CN112070696A - 一种基于纹理与结构分离的图像修复方法及系统、终端 - Google Patents

一种基于纹理与结构分离的图像修复方法及系统、终端 Download PDF

Info

Publication number
CN112070696A
CN112070696A CN202010926365.2A CN202010926365A CN112070696A CN 112070696 A CN112070696 A CN 112070696A CN 202010926365 A CN202010926365 A CN 202010926365A CN 112070696 A CN112070696 A CN 112070696A
Authority
CN
China
Prior art keywords
image
point
tensor
texture
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010926365.2A
Other languages
English (en)
Inventor
马然
王可可
薄德智
安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202010926365.2A priority Critical patent/CN112070696A/zh
Publication of CN112070696A publication Critical patent/CN112070696A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于纹理与结构分离的图像修复方法及系统，采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；基于预测得到的缺失区域边缘信息，优化基于样本块修复算法的优先级函数，进而对结构图像进行修复，得到结构修复结果；对于纹理图像，采用多样本块融合的次优匹配块修复方法，对纹理图像进行修复，得到纹理修复结果；结合结构修复结果和纹理修复结果，实现对图像的修复。本发明充分利用图像的已知信息，在保持修复结果结构性连续的同时，合理的恢复出图像的纹理部分，在修复结果的主观质量和客观指标上都得到了明显的提升。

Description

一种基于纹理与结构分离的图像修复方法及系统、终端
技术领域
本发明涉及数字图像处理技术领域，具体地，涉及一种基于纹理与结构分离的图像修复方法及系统、终端。
背景技术
数字图像在保存或传输的过程中，可能会受到损坏，图像修复的目的是恢复出图像中缺失的区域或者是移除图像中的特定目标。近些年，随着计算机技术的快速发展，出现了很多优秀的数字图像修复算法。在处理图像修复问题的时候，使修复结果保持较好的结构一致性和纹理一致性是比较困难的，但这两个因素又对图像的主观效果起着决定性的作用。如何能够更好地保持图像的结构和纹理信息，是图像修复算法研究的重点。现有的算法大致可以划分为两类，即基于扩散的修复、基于样本的修复。
基于扩散的修复：该方法通过寻找偏微分方程的解将已知信息沿着待修复边界平滑的扩散到待修复区域中去。Bertalmio M,Sapiro G,Caselles V,Ballester C,Imageinpainting,in:Proc.ACM SIGGRAPH,New Orleans,Louisiana,2000,pp.417–424.首先提出了基于扩散的修复方法，通过沿着等照度线方向以各向异性的方式来传播边界信息到未知区域。由于该类算法采用了局部平滑假设，并且只使用了待填充区域的边界信息来进行修复，所以基于扩散的方法适用于较小的丢失块和比较平滑区域的修复。当待修复区域比较大或者是包含复杂的纹理时，其修复结果会严重下降并产生模糊的伪影。
基于样本的修复：为了克服基于扩散修复的缺点，图像的非局部自相似性被用来填充缺失的区域。基于样本块方法通过假设待修复区域可以根据一个以边界点为中心的块来逐步完成图像的修复。Criminisi A,Toyama K,Region Filling and Object Removalby Exemplar-Based Image Inpainting,IEEE TRANSACTIONS ON IMAGE PROCESSING，2004,13(9):1200-1212.把修复优先级扩展到基于样本的修复算法中，它能够同时将线性结构和二维纹理传播到待修复区域中去。该算法通过待修复块的置信项与数据项相乘来定义修复优先级，从而保证优先修复包含线性结构的区域。随后利用自相似性来搜索与待修复块相匹配的块来完成修复。Rares A,Reinders M,Edge-Based Image Restoration,IEEETRANSACTIONS ON IMAGE PROCESSING,2005,14(10):1454-1468.通过先对缺失区域的边缘预测，然后再进行插值，使修复结果能够保持较好的结构信息。为了进一步改进该算法，引入了不同的约束来改进优先级函数和匹配块的搜索，比如结构稀疏性、区域分割技术、分数梯度函数、结构一致性、自适应样本匹配等。Ding D,Ram S,Image Inpainting UsingNonlocal Texture Matching and Nonlinear Filtering,IEEE TRANSACTIONS ON IMAGEPROCESSING,2019,28(4):1705-1719.提出了一种非局部纹理相似性度量的修复方法，在对纹理和几何结构图像大面积区域缺失时取得了较好的效果。Zeng J,Fu X,ImageInpainting Algorithm Based on Saliency Map and Gray Entropy,Arabian Journalfor Science and Engineering,2019,44:3549-3558.提出了基于角度感知和补丁匹配的修复方法。该方法先对待修复图像进行一个预修复，随后用其引导匹配块的搜索。现有基于样本的修复在应对纹理和大区域丢失时结果都比较良好，但是其容易受噪声的影响并且容易造成结构的不连续，并且当背景信息比较复杂时，也容易对其结构的修复带来影响。
发明内容
本发明针对现有技术中存在的上述不足，提供了一种基于纹理与结构分离的图像修复方法及系统、终端。
本发明是通过以下技术方案实现的。
根据本发明的一个方面，提供了一种基于纹理与结构分离的图像修复方法，包括：
采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
基于预测得到的缺失区域边缘信息，优化基于样本块修复算法的优先级函数，进而对结构图像进行修复，得到结构修复结果；
对于纹理图像，采用多样本块融合的次优匹配块修复方法，对纹理图像进行修复，得到纹理修复结果；
结合结构修复结果和纹理修复结果，最终实现对图像的修复。
优选地，所述相对总变分图像平滑模型为：
Figure BDA0002668559270000021
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，并且有：
Figure BDA0002668559270000031
Figure BDA0002668559270000032
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure BDA0002668559270000033
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像。
优选地，λ取值为0.015。
优选地，ε取值为3。
优选地，所述张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure BDA0002668559270000034
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量，At代表矩阵A的转置；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure BDA0002668559270000035
Figure BDA0002668559270000036
点pi向点pj的棒张量投票表示为：
Figure BDA0002668559270000037
其中：
Figure BDA0002668559270000038
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数；
点pj所接收的球张量投票表示为：
Figure BDA0002668559270000041
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息。
优选地，设I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure BDA0002668559270000042
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，即为以点q为中心的块的置信值均值，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure BDA0002668559270000043
为p点的等照度线方向，α为归一化参数；
所述基于样本块修复算法为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure BDA0002668559270000044
Figure BDA0002668559270000045
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure BDA0002668559270000051
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复。
优选地，所述置信项初始化分为三类，分别为已知区域、未知区域和边缘预测区域；对于已知区域置信值初始化为1，对于未知区域置信值初始化为0，而对于有预测边缘的区域其置信值初始化为50；则初始化值如下所示：
Figure BDA0002668559270000052
当待修复块中包含预测出的边缘时其置信项的值会远大于其它块的值，所以，其优先级函数的值也会比较大，这样就会优先修复有预测边缘的区域，从而保持图像的结构一致性。
优选地，所述多样本块融合的次优匹配块修复方法，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去；其中，根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
优选地，所述n取值为2，权重比为7:3，其中Ψ1为最优匹配块，Ψ2为次优匹配块，则：
Ψp＝0.7*Ψ1+0.3*Ψ2
其中，ΨP是以p为中心的待修复样本块。
根据本发明的另一个方面，提供了一种基于纹理与结构分离的图像修复系统，包括：
纹理与结构分离模块：采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
边缘预测模块：对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
结构图像修复模块：基于预测得到的缺失区域边缘信息，优化基于样本块修复模型的优先级函数，进而对结构图像进行修复，得到结构修复结果；
纹理图像修复模块：对于纹理图像，采用多样本块融合的次优匹配块修复模型，对纹理图像进行修复，得到纹理修复结果；
最终修复结果获取模块：结合结构图像修复模块得到的结构修复结果和纹理图像修复模块得到的纹理修复结果，最终实现对图像的修复。
优选地，所述相对总变分图像平滑模型为：
Figure BDA0002668559270000061
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，并且有：
Figure BDA0002668559270000062
Figure BDA0002668559270000063
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure BDA0002668559270000064
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像。
优选地，λ取值为0.015。
优选地，ε取值为3。
优选地，所述张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure BDA0002668559270000065
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量，At代表矩阵A的转置；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure BDA0002668559270000066
Figure BDA0002668559270000071
点pi向点pj的棒张量投票表示为：
Figure BDA0002668559270000072
其中：
Figure BDA0002668559270000073
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数；
点pj所接收的球张量投票表示为：
Figure BDA0002668559270000074
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息。
优选地，所述基于样本块修复模型为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure BDA0002668559270000075
Figure BDA0002668559270000076
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure BDA0002668559270000081
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复；
上述中，I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure BDA0002668559270000082
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，即为以点q为中心的块的置信值均值，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure BDA0002668559270000083
为p点的等照度线方向，α为归一化参数。
优选地，所述多样本块融合的次优匹配块修复模型，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去；其中，根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，所述处理器执行所述计算机程序时能够用于执行上述任一项所述的方法。
由于采用了上述技术方案，本发明与现有技术相比较，具有如下至少一项有益效果：
本发明提供的基于纹理与结构分离的图像修复方法及系统、终端，充分利用了待修复图像的已知结构信息，使修复结果能够更好地保持结构一致性。
本发明提供的基于纹理与结构分离的图像修复方法及系统、终端，充分的利用图像的已知信息，能够在保持修复结果结构性连续的同时，合理的恢复出图像的纹理部分。
本发明提供的基于纹理与结构分离的图像修复方法及系统、终端，在修复结果的主观质量和客观指标上都得到了明显的提升。
本发明提供的基于纹理与结构分离的图像修复方法及系统、终端，对纹理部分的修复采用多匹配块融合的方法来得到待修复区域的像素值，提高了匹配块搜索的准确性，在保持图像修复结果结构完整性的同时也能完成大区域丢失的背景纹理填充。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一优选实施例中基于纹理与结构分离的图像修复方法流程图。
图2为本发明一优选实施例中纹理图像与结构图像分离示意图。
图3为本发明一优选实施例中边缘预测示意图。
图4为本发明一优选实施例中结构图像修复示意图。
图5为本发明一优选实施例中纹理图像修复示意图。
图6为本发明一优选实施例中修复结果示意图。
图7为本发明一优选实施例中基于样本块修复算法示意图。
具体实施方式
下面对本发明的实施例作详细说明：本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。
本发明一实施例提供了一种基于纹理与结构分离的图像修复方法，该方法旨在使图像修复的结果保持完整的结构信息的同时也能恢复出较好的纹理信息。
本实施例提供的基于纹理与结构分离的图像修复方法，对待修复图像进行纹理与结构的分离，并在结构图像的修复中引入了边缘预测的信息来优化优先级函数，在纹理图像的修复中引入了一种新的融合修复的策略。首先，通过相对总变分模型来得到图像的结构图和纹理图，分别进行独立的修复。接着，对结构图采用基于张量投票的边缘预测算法来预测出待修复区域内缺失的边缘，并以预测出的边缘信息来改进优先级函数，从而使修复优先级更加的合理，减少随着修复的进行带来结构部分错误的累积。为了提高匹配块搜索的准确性，本方法对纹理部分的修复采用多匹配块融合的方法来得到待修复区域的像素值。本方法在保持图像修复结果结构完整性的同时也能完成大区域丢失的背景纹理填充。
基于以上技术构思及目的，本实施例所提供的方法以基于样本块的图像修复算法作为基础的模型，在进行修复前先对待修复图像做一些预处理，该预处理包括：对原始图像的纹理与结构进行分离，并对缺失区域边缘进行预测。首先完成待修复图像纹理与结构部分的分离。然后在结构图像的基础上完成待修复图像缺失区域内的边缘预测。最后采用改进的优先级函数和匹配块搜索来分别完成结构和纹理部分的修复。
本方法包括如下步骤：
步骤1，采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
步骤2，对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
步骤3，基于预测得到的缺失区域边缘信息，优化基于样本块修复算法的优先级函数，进而对结构图像进行修复，得到结构修复结果；
步骤4，对于纹理图像，采用多样本块融合的次优匹配块修复方法，对纹理图像进行修复，得到纹理修复结果；
步骤5，结合结构修复结果和纹理修复结果，最终实现对图像的修复。
步骤1中，大部分的图像并不是单纯的由纹理或结构组成的，而是由纹理和结构共同组成的，因此一幅图像可以表示为I＝Is+It，其中，Is代表结构部分，It代表纹理部分。
步骤2中，对结构图像进行边缘预测，由于结构图像中不包含细节的纹理，这样就可以去除纹理部分的边缘信息对缺失边缘预测的影响，从而提高边缘预测的准确性。
步骤3中，在预测缺失区域边缘信息的基础上来改进基于样本块修复算法的优先级函数，从而使修复结果能够保持更好的结构一致性。
步骤4中，在基于样本块修复的基础上，改进其最优匹配块的搜索策略，从而提高匹配块搜索的准确信性。
步骤5中，由步骤3和步骤4的修复结果来得到最终的修复结果。
作为一优选实施例，相对总变分图像平滑模型为：
Figure BDA0002668559270000101
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数，其值优选为0.015；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，其值优选为3，并且有：
Figure BDA0002668559270000111
Figure BDA0002668559270000112
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure BDA0002668559270000113
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像。
作为一优选实施例，张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure BDA0002668559270000114
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure BDA0002668559270000115
Figure BDA0002668559270000116
点pi向点pj的棒张量投票表示为：
Figure BDA0002668559270000117
其中：
Figure BDA0002668559270000118
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数。
点pj所接收的球张量投票表示为：
Figure BDA0002668559270000121
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，对这些信息采用一定的策略，即把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息。
作为一优选实施例，设I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure BDA0002668559270000122
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，即为以点q为中心的块的置信值均值，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure BDA0002668559270000123
为p点的等照度线方向，α为归一化参数；
基于样本块修复算法为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure BDA0002668559270000124
Figure BDA0002668559270000125
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure BDA0002668559270000131
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复。
作为一优选实施例，置信项初始化分为三类，分别为已知区域、未知区域和边缘预测区域；对于已知区域置信值初始化为1，对于未知区域置信值初始化为0，而对于有预测边缘的区域其置信值初始化为50；则初始化值如下所示：
Figure BDA0002668559270000132
当待修复块中包含预测出的边缘时其置信项的值会远大于其它块的值，所以，其优先级函数的值也会比较大，这样就会优先修复有预测边缘的区域，从而保持图像的结构一致性。
作为一优选实施例，多样本块融合的次优匹配块修复方法，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去。本实施例所提供的多样本块融合修复的方法根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
作为一优选实施例，n取值为2，权重比为7:3，其中Ψ1为最优匹配块，Ψ2为次优匹配块，则：
Ψp＝0.7*Ψ1+0.3*Ψ2
其中，ΨP是以p为中心的待修复样本块。
下面结合附图，对本发明上述实施例所提供的技术方案进一步详细描述如下。
本实施例所提供的方法，其整体流程如图1所示，本实施例在Windo10以及Matlab2016环境下编程仿真。首先，利用基于相对总变分(RTV)的图像平滑模型来得到待修复图像的结构图像部分，原因是RTV模型具有普遍适用性，对待平滑的图像没有特殊的要求。其纹理图像部分为待修复图像与结构图像部分的差异。在得到纹理与结构图像之后，分别对纹理与结构图像部分进行修复。在结构修复中引入边缘预测信息，在纹理修复中引入分层融合策略。
本实施例方法中采用纹理与结构分离策略，并且在结构修复部分加入边缘预测信息来改善优先级函数，在纹理修复部分中采用匹配块搜索的策略来提高匹配的准确度。具体实施步骤如下：
步骤1.使用RTV模型来得到图像的结构与纹理部分：将待修复图像分解为结构图像Is与纹理图像It，纹理与结构分离结果如图2所示。
步骤2.基于张量投票模型的待修复区域内边缘预测：使用张量投票模型来预测待修复结构图像缺失区域内的边缘信息；预测得到的边缘信息如图3所示。
步骤3.基于边缘信息的结构修复：使用预测出的边缘信息来优化优先级函数。具体方式为：在置信值初始化的时候，在预测出边缘的部分赋予较大的置信值，已知的部分置信值设为1，未知的部分置信值设为0；具体地，基于边缘信息对结果图像进行修复的过程为：
首先根据优先级函数来计算待修复区域边界的优先级，由于对预测出边缘的地方赋予了较大的置信值，所以包含预测出边缘点的地方其优先级函数值会比较大，从而优先进行修复；
其次，找到最优先修复的块后，根据平方差和准则在已知区域中来搜索待修复块的最佳匹配块；
最后，把最佳匹配块的值复制到待修复块对应的区域中去，重复上面的过程，直到所有的待修复区域填充完成。
结构图像修复后的结果如图4所示。
步骤4.基于多样本块融合的纹理修复：考虑到原始基于样本块的修复模型中最优匹配块搜索存在的非最优的情况，此步骤采用一种多样本块融合的匹配策略，能够提高匹配结果的准确性；具体地，基于多样本块融合对纹理图像进行修复的过程为：
首先根据优先级函数来计算待修复区域边界的优先级，找出最优先修复的待修复块；
其次，找到最优先修复的块后，根据平方差和准则在已知区域中来搜索与待修复块匹配程度较高的前n个匹配块；
最后，给选择出来的n个匹配块赋予不同的权重来作为最终的待修复块的值，重复上述过程直到所有的待修复区域填充完成。
进一步地，n取值为2，权重比为7:3。
纹理图像修复后的结果如图5所示。
步骤5.获得最终修复结果：采用纹理与结构分离的修复方法，只需把纹理与结构的修复结果相加就可得到最终的修复结果，如图6所示。
在步骤1中，RTV模型数学表达式如式(6)：
Figure BDA0002668559270000141
其中I表示输入图像，p为二维图像像素的索引值，S代表输出的结构图像。并且有：
Figure BDA0002668559270000151
Figure BDA0002668559270000152
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure BDA0002668559270000153
在步骤2中，张量投票模型就是各个点通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征。在进行张量投票前，根据二维图像上点的数据信息(梯度、曲率等)，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure BDA0002668559270000154
其中λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量。张量T可以由棒张量分量TS(Stick Tensor)和球张量分量TB(Ball Tensor)组成，其中：
Figure BDA0002668559270000155
Figure BDA0002668559270000156
pi向pj的棒张量投票可以表示为：
Figure BDA0002668559270000157
其中：
Figure BDA0002668559270000158
vj＝(I-2rrT)vi (15)
上式中vi代表的是点pi处张量主特征向量的单位向量，vj为pj处收到的来自pi的棒张量投票矩阵主特征向量的单位向量，r为pi指向pj的单位向量。
而pj所接收的球张量投票可以表示为：
Figure BDA0002668559270000159
其中：
R＝(I-2rrT) (17)
张量场中的每个点在完成球张量投票和棒张量投票过程后，就可分别提取张量场中每个点的棒张量和球张量信息。对这些信息采用一定的策略或方法，即可预测出丢失结构信息。
在步骤3中，本实施例中采用的基础模型为基于样本块的修复模型，如图7所示，其主要包含三步，即优先级函数的计算、匹配块的搜索和置信值的更新。设I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure BDA0002668559270000161
表示待修复区域和已知区域的边界，p为边界上的任意一点，ΨP是以p为中心大小为9x9的待修复样本块，np为p点的法线方向，
Figure BDA0002668559270000162
为p点的等照度线方向。
目标块优先级的计算如下：
P(p)＝C(p)·D(p) (1)
上式中C(p)为p点的置信项；D(p)为p点的数据项。C(p)和D(p)的计算如下：
Figure BDA0002668559270000163
Figure BDA0002668559270000164
上式中α为归一化参数，其值为255。
最优匹配块的搜索是根据像素平方差之和SSD(Sum of Squared Differences)准则进行的，其计算公式如下：
d(Ψp,Ψq)＝∑(I(p)-I(q))2 (4)
式中I(p)和I(q)分别表示目标块和匹配块的像素值。在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去。
在完成填充之后，需要对新填充区域的置信值进行更新，其更新策略如下：
Figure BDA0002668559270000165
重复上面的过程，直到所有的待修复区域填充完成。
本实施例方法的置信值初始化分为三类，即已知区域、未知区域和边缘预测区域。对于已知区域置信值初始化为1，对于未知区域置信值初始化为0，而对于有预测边缘的区域其置信值初始化为50。其初始化值如式(13)：
Figure BDA0002668559270000171
从置信项表达式(2)可知，当待修复块中包含预测出的边缘时其置信项的值会远大于其它块的值，所以，其优先级函数的值也会比较大，这样就会优先修复有预测边缘的区域，从而较好的保持图像的结构一致性。
在步骤4中，本实施例方法提出了一种多样本块融合的修复策略。在基于样本块算法中匹配块的搜索存在一定缺陷，实验发现其根据平方差和(SSD)准则搜索到的最优匹配块的修复结果有时并没有次优匹配块修复的结果好，基于此本实施例提出了一个多匹配块搜索的方法用以纹理部分的修复。也就是说在匹配块搜索的时候，选取前n个的匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重来作为最终的修复结果。本实施例中选取n的值为2，权重比为7:3，其中Ψ1为最优匹配块，Ψ2为次优匹配块。
Ψp＝0.7*Ψ1+0.3*Ψ2 (19)
本发明另一实施例提供了一种基于纹理与结构分离的图像修复系统，包括：
纹理与结构分离模块：采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
边缘预测模块：对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
结构图像修复模块：基于预测得到的缺失区域边缘信息，优化基于样本块修复模型的优先级函数，进而对结构图像进行修复，得到结构修复结果；
纹理图像修复模块：对于纹理图像，采用多样本块融合的次优匹配块修复模型，对纹理图像进行修复，得到纹理修复结果；
最终修复结果获取模块：结合结构图像修复模块得到的结构修复结果和纹理图像修复模块得到的纹理修复结果，最终实现对图像的修复。
作为一优选实施例，相对总变分图像平滑模型为：
Figure BDA0002668559270000172
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数，其值优选为0.015；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，其值优选为3，并且有：
Figure BDA0002668559270000181
Figure BDA0002668559270000182
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure BDA0002668559270000183
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像。
作为一优选实施例，张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure BDA0002668559270000184
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure BDA0002668559270000185
Figure BDA0002668559270000186
点pi向点pj的棒张量投票表示为：
Figure BDA0002668559270000187
其中：
Figure BDA0002668559270000188
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数；
点pj所接收的球张量投票表示为：
Figure BDA0002668559270000191
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，对这些信息采用一定的策略，即把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息。
作为一优选实施例，基于样本块修复模型为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure BDA0002668559270000192
Figure BDA0002668559270000193
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure BDA0002668559270000194
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复；
上述中，I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure BDA0002668559270000195
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure BDA0002668559270000201
为p点的等照度线方向，α为归一化参数。
作为一优选实施例，多样本块融合的次优匹配块修复模型，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去。本实施例中，多样本块融合修复的方法根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
根据本发明的第三个方面，提供了一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，处理器执行计算机程序时能够用于执行上述任一项的方法。
可选地，存储器，用于存储程序；存储器，可以包括易失性存储器(英文：volatilememory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)，如静态随机存取存储器(英文：static random-access memory，缩写：SRAM)，双倍数据率同步动态随机存取存储器(英文：Double Data Rate Synchronous Dynamic Random Access Memory，缩写：DDR SDRAM)等；存储器也可以包括非易失性存储器(英文：non-volati le memory)，例如快闪存储器(英文：flash memory)。存储器用于存储计算机程序(如实现上述方法的应用程序、功能模块等)、计算机指令等，上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器中。并且上述的计算机程序、计算机指令、数据等可以被处理器调用。
处理器，用于执行存储器存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。具体可以参见前面方法实施例中的相关描述。
处理器和存储器可以是独立结构，也可以是集成在一起的集成结构。当处理器和存储器是独立结构时，存储器、处理器可以通过总线耦合连接。
本发明上述实施例提供的基于纹理与结构分离的图像修复方法及系统、终端，对待修复图像通过使用相对总变分的图像平滑模型来达到纹理与结构分离的目的。并在结构图像的修复中引入了边缘预测的信息来优化优先级函数、在纹理图像的修复中引入了一种新的多样本块融合修复的策略。本发明上述实施例提供的基于纹理与结构分离的图像修复方法及系统、终端，充分的利用图像的已知信息，能够在保持修复结果结构性连续的同时，合理的恢复出图像的纹理部分。该方法及系统、终端在修复结果的主观质量和客观指标上都得到了明显的提升。
需要说明的是，本发明提供的方法中的步骤，可以利用系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照系统的技术方案实现方法的步骤流程，即，系统中的实施例可理解为实现方法的优选例，在此不予赘述。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种基于纹理与结构分离的图像修复方法，其特征在于，包括：
采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
基于预测得到的缺失区域边缘信息，优化基于样本块修复算法的优先级函数，进而对结构图像进行修复，得到结构修复结果；
对于纹理图像，采用多样本块融合的次优匹配块修复方法，对纹理图像进行修复，得到纹理修复结果；
结合结构修复结果和纹理修复结果，最终实现对图像的修复。
2.根据权利要求1所述的基于纹理与结构分离的图像修复方法，其特征在于，所述相对总变分图像平滑模型为：
Figure FDA0002668559260000011
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，并且有：
Figure FDA0002668559260000012
Figure FDA0002668559260000013
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure FDA0002668559260000014
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像。
3.根据权利要求1所述的基于纹理与结构分离的图像修复方法，其特征在于，所述张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure FDA0002668559260000021
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量，At代表矩阵A的转置；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure FDA0002668559260000022
Figure FDA0002668559260000023
点pi向点pj的棒张量投票表示为：
Figure FDA0002668559260000024
其中：
Figure FDA0002668559260000025
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数；
点pj所接收的球张量投票表示为：
Figure FDA0002668559260000026
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息。
4.根据权利要求1所述的基于纹理与结构分离的图像修复方法，其特征在于，设I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure FDA0002668559260000031
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，即为以点q为中心的块的置信值均值，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure FDA0002668559260000032
为p点的等照度线方向，α为归一化参数；
所述基于样本块修复算法为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure FDA0002668559260000033
Figure FDA0002668559260000034
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure FDA0002668559260000035
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复。
5.根据权利要求4所述的基于纹理与结构分离的图像修复方法，其特征在于，所述置信项初始化分为三类，分别为已知区域、未知区域和边缘预测区域；对于已知区域置信值初始化为1，对于未知区域置信值初始化为0，而对于有预测边缘的区域其置信值初始化为50；则初始化值如下所示：
Figure FDA0002668559260000036
当待修复块中包含预测出的边缘时其置信项的值会远大于其它块的值，所以，其优先级函数的值也会比较大，这样就会优先修复有预测边缘的区域，从而保持图像的结构一致性。
6.根据权利要求1所述的基于纹理与结构分离的图像修复算法，其特征在于，所述多样本块融合的次优匹配块修复方法，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去；其中，根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
7.根据权利要求6所述的基于纹理与结构分离的图像修复算法，其特征在于，所述n取值为2，权重比为7:3，其中Ψ1为最优匹配块，Ψ2为次优匹配块，则：
Ψp＝0.7*Ψ1+0.3*Ψ2
其中，ΨP是以p为中心的待修复样本块。
8.一种基于纹理与结构分离的图像修复系统，其特征在于，包括：
纹理与结构分离模块：采用相对总变分图像平滑模型对待修复图像进行分离，得到待修复图像的纹理图像和结构图像；
边缘预测模块：对于结构图像，使用张量投票模型，预测待修复结构图像缺失区域边缘信息；
结构图像修复模块：基于预测得到的缺失区域边缘信息，优化基于样本块修复模型的优先级函数，进而对结构图像进行修复，得到结构修复结果；
纹理图像修复模块：对于纹理图像，采用多样本块融合的次优匹配块修复模型，对纹理图像进行修复，得到纹理修复结果；
最终修复结果获取模块：结合结构图像修复模块得到的结构修复结果和纹理图像修复模块得到的纹理修复结果，最终实现对图像的修复。
9.根据权利要求8所述的基于纹理与结构分离的图像修复系统，其特征在于，还包括如下任意一项或任意多项：
-所述相对总变分图像平滑模型为：
Figure FDA0002668559260000041
其中，Ip表示输入图像，Sp代表输出的结构图像，p为二维图像像素的索引值，λ为一常数；θx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异总变化量，θy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异总变化量，ξx(p)为像素p在窗口R(p)上沿x方向上的绝对空间差异固有变化，ξy(p)为像素p在窗口R(p)上沿y方向上的绝对空间差异固有变化，ε为一常数，并且有：
Figure FDA0002668559260000051
Figure FDA0002668559260000052
其中，gp，q为根据空间相似性定义的加权函数；
R(p)为以p为中心的一个正方形区域内所有像素点的索引，g为高斯核函数：
Figure FDA0002668559260000053
其中，xp为p点的横坐标，xq为q点的横坐标，yp为p点的纵坐标，yq为q点的纵坐标；
通过所述相对总变分图像平滑模型得到图像的结构图像，将原图与结构图像做差，即得到所需的纹理图像；
-所述张量投票模型，通过向周围传播自身的结构微分信息并同时接收相邻点的信息来推断出自身所在模型的总体结构特征；在进行张量投票前，根据二维图像上点的数据信息，为每一个点分配一个非负定二阶对称矩阵，即为该点的张量T：
Figure FDA0002668559260000054
其中，λ1≥λ2≥0为张量的特征值，e1和e2为其对应的特征向量，At代表矩阵A的转置；张量T由棒张量分量TS和球张量分量TB组成，其中：
Figure FDA0002668559260000055
Figure FDA0002668559260000056
点pi向点pj的棒张量投票表示为：
Figure FDA0002668559260000057
其中：
Figure FDA0002668559260000058
vj＝(I-2rrt)vi
上式中，vi代表的是点pi处张量主特征向量的单位向量，vj为点pj处收到的来自点pi的棒张量投票矩阵主特征向量的单位向量，r为点pi指向点pj的单位向量，-l2/σ2中l为pi和pj间的距离，σ为控制投票区域大小的尺度参数；
点pj所接收的球张量投票表示为：
Figure FDA0002668559260000061
其中：
R＝(I-2rrt)
其中，I为输入图像；
张量场中的每个点在完成球张量投票和棒张量投票过程后，分别提取张量场中每个点的棒张量和球张量信息，把张量的主分量大于一定阈值的点保留，作为候选边缘点，其余的张量清零，从边缘断点处开始通过选取局部区域极大值的方法来挑选出一条曲线作为预测出的丢失结构信息，即为待修复结构图像缺失区域边缘信息；
-所述基于样本块修复模型为：
P(p)＝C(p)·D(p)
其中，P(p)为p点优先级函数的值，C(p)为p点的置信项，D(p)为p点的数据项，有：
Figure FDA0002668559260000062
Figure FDA0002668559260000063
根据像素平方差之和SSD准则进行最优匹配块搜索，其方法为：
d(Ψp,Ψq)＝∑(I(p)-I(q))2
式中，I(p)和I(q)分别表示目标块和匹配块的像素值，在搜索到最优的匹配块之后，把匹配块对应位置的像素值复制到目标块中去；
在完成填充之后，对新填充区域的置信值进行更新，其更新策略为：
Figure FDA0002668559260000064
重复上面的过程，直到所有的待修复区域填充完成，实现对结构图像的修复；
上述中，I为待修复的受损图像，Ω为待修复区域，Φ为已知区域或源区域，
Figure FDA0002668559260000066
表示待修复区域和已知区域的边界，p为边界上的任意一点，C(q)为q点的置信项，即为以点q为中心的块的置信值均值，ΨP是以p为中心的待修复样本块，Ψq是以q为中心的待修复样本块，np为p点的法线方向，
Figure FDA0002668559260000065
为p点的等照度线方向，α为归一化参数；
-所述多样本块融合的次优匹配块修复模型，在匹配块搜索时，基于样本块的修复方法只选取最优匹配块也就是平方差和最小的块，然后把最优匹配块的值复制到待修复块中去；其中，根据平方差和准则选取前n个匹配程度较高的块作为候选块，然后对这些候选块分配不同的权重作为最终的待修复块的修复结果。
10.一种终端，包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时能够用于执行权利要求1至7中任一项所述的方法。
CN202010926365.2A 2020-09-07 2020-09-07 一种基于纹理与结构分离的图像修复方法及系统、终端 Pending CN112070696A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010926365.2A CN112070696A (zh) 2020-09-07 2020-09-07 一种基于纹理与结构分离的图像修复方法及系统、终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010926365.2A CN112070696A (zh) 2020-09-07 2020-09-07 一种基于纹理与结构分离的图像修复方法及系统、终端

Publications (1)

Publication Number Publication Date
CN112070696A true CN112070696A (zh) 2020-12-11

Family

ID=73662752

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010926365.2A Pending CN112070696A (zh) 2020-09-07 2020-09-07 一种基于纹理与结构分离的图像修复方法及系统、终端

Country Status (1)

Country Link
CN (1) CN112070696A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546071A (zh) * 2022-11-28 2022-12-30 南京视云信息科技有限公司 一种适于图像恢复的数据处理方法和设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4205760B1 (ja) * 2007-12-27 2009-01-07 株式会社ファースト 画像マッチング方法、プログラムおよび応用装置
CN102117481A (zh) * 2011-03-17 2011-07-06 西安交通大学 一种破损图像自动数字化修复的方法
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN104574413A (zh) * 2015-01-22 2015-04-29 深圳大学 一种肺部ct图像的血管分叉点提取方法及系统
KR20170040983A (ko) * 2015-10-06 2017-04-14 한양대학교 산학협력단 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치
CN109829867A (zh) * 2019-02-12 2019-05-31 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
CN109886939A (zh) * 2019-01-30 2019-06-14 西安电子科技大学 基于张量投票的桥梁裂缝检测方法
CN110246100A (zh) * 2019-06-11 2019-09-17 山东师范大学 一种基于角度感知块匹配的图像修复方法和系统
CN110660051A (zh) * 2019-09-20 2020-01-07 西南石油大学 一种基于导航金字塔的张量投票处理方法
CN110675318A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4205760B1 (ja) * 2007-12-27 2009-01-07 株式会社ファースト 画像マッチング方法、プログラムおよび応用装置
CN102117481A (zh) * 2011-03-17 2011-07-06 西安交通大学 一种破损图像自动数字化修复的方法
CN102324102A (zh) * 2011-10-08 2012-01-18 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN104574413A (zh) * 2015-01-22 2015-04-29 深圳大学 一种肺部ct图像的血管分叉点提取方法及系统
KR20170040983A (ko) * 2015-10-06 2017-04-14 한양대학교 산학협력단 다중 스케일 블록 영역 검출을 이용한 영상 잡음 제거 방법 및 장치
CN109886939A (zh) * 2019-01-30 2019-06-14 西安电子科技大学 基于张量投票的桥梁裂缝检测方法
CN109829867A (zh) * 2019-02-12 2019-05-31 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法
CN110246100A (zh) * 2019-06-11 2019-09-17 山东师范大学 一种基于角度感知块匹配的图像修复方法和系统
CN110675318A (zh) * 2019-09-10 2020-01-10 中国人民解放军国防科技大学 一种基于主结构分离的稀疏表示图像超分辨率重建方法
CN110660051A (zh) * 2019-09-20 2020-01-07 西南石油大学 一种基于导航金字塔的张量投票处理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王可可等: "基于分层融合和样例的图像修复", 《光电子成像与多媒体技术VI》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115546071A (zh) * 2022-11-28 2022-12-30 南京视云信息科技有限公司 一种适于图像恢复的数据处理方法和设备
CN115546071B (zh) * 2022-11-28 2023-03-31 南京视云信息科技有限公司 一种适于图像恢复的数据处理方法和设备

Similar Documents

Publication Publication Date Title
CN113516135B (zh) 一种基于深度学习的遥感影像建筑物提取及轮廓优化方法
CN108460746B (zh) 一种基于结构和纹理分层预测的图像修复方法
CN107133913B (zh) 一种自动矫直的图像拼接方法
CN112381098A (zh) 基于目标分割领域自学习的半监督学习方法和系统
CN107967673B (zh) 一种自适应样本块图像修复方法
CN111179285B (zh) 一种图像处理方法、系统及存储介质
CN111553858B (zh) 基于生成对抗网络的图像修复方法、系统及其应用
CN111414923B (zh) 基于单幅rgb图像的室内场景三维重建方法及系统
CN109741268B (zh) 一种针对壁画的破损图像补全方法
CN109829867B (zh) 一种针对稳定填充的球形收敛样本块修复方法
CN111507921B (zh) 一种基于低秩恢复的隧道点云去噪方法
CN111105382A (zh) 视频修复方法
CN115345866B (zh) 一种遥感影像中建筑物提取方法、电子设备及存储介质
CN116934780B (zh) 一种基于深度学习的电成像测井图像裂缝分割方法及系统
Salem A Survey on Various Image Inpainting Techniques.
K. Alilou et al. Exemplar-based image inpainting using svd-based approximation matrix and multi-scale analysis
CN112150497A (zh) 基于二值神经网络的局部激活方法与系统
CN112070696A (zh) 一种基于纹理与结构分离的图像修复方法及系统、终端
CN109816781B (zh) 一种基于图像细节和结构增强的多视图立体几何方法
CN113421210B (zh) 一种基于双目立体视觉的表面点云重建方法
Rakhimol et al. Restoration of ancient temple murals using cGAN and PConv networks
Zhao et al. NormalNet: Learning-based mesh normal denoising via local partition normalization
CN112686822B (zh) 一种基于堆叠生成对抗网络的图像补全方法
Zarif et al. Image completion: Survey and comparative study
CN112489207A (zh) 一种空间约束的密集匹配点云平面基元提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination