CN107492082A - 一种利用边缘统计特征的mrf样本块图像修复方法 - Google Patents
一种利用边缘统计特征的mrf样本块图像修复方法 Download PDFInfo
- Publication number
- CN107492082A CN107492082A CN201710908722.0A CN201710908722A CN107492082A CN 107492082 A CN107492082 A CN 107492082A CN 201710908722 A CN201710908722 A CN 201710908722A CN 107492082 A CN107492082 A CN 107492082A
- Authority
- CN
- China
- Prior art keywords
- mrow
- image
- edge
- mtd
- msub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000008439 repair process Effects 0.000 title claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 28
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000006073 displacement reaction Methods 0.000 claims abstract description 26
- 238000006243 chemical reaction Methods 0.000 claims abstract description 12
- 238000010276 construction Methods 0.000 claims abstract description 9
- 238000005457 optimization Methods 0.000 claims abstract description 8
- 238000012790 confirmation Methods 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 238000000844 transformation Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001427 coherent effect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种利用边缘统计特征的MRF样本块图像修复方法，包括以下步骤：对待修复图像I，确认破损区域为Ω；对待修复图像I划分为边缘特征图像Iedge和非边缘特征图像Inon‑edge；分别统计相似样本块间的偏移映射，将偏移映射作为候选标签用于下一步的优化求解；利用Curvelet变换提取待修复图像I的8方向特征；构造保持邻域连续一致性的全局能量方程；利用选择出的候选标签和多标签图割算法求解全局能量极值；将每个节点对应标签的信息复制到未知区域中，得到修复后图像IR。本方法能够有效地保持修复后图像中结构部分的连贯性，使得修复后图像看起来更加自然，更符合人眼视觉要求，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。
Description
技术领域
本发明涉及基于样本块的图像修复方法，特别涉及基于MRF的图像修复方法。
背景技术
数字图像修复是根据待修复图像内的已知信息，按照一定的规则对丢失信息进行修补的一门技术，其主要目的是使修复后图像看起来连贯自然。随着数字图像处理技术的发展，数字图像修复技术成为当前计算机图形学和计算机视觉的一个研究热点，在古文物保护，影视特效制作，图像有损压缩，特定目标移除等方面具有重大的应用价值。目前数字图像修复技术主要分为三类：基于扩散的方法、基于稀疏的方法、基于样本块的方法。而基于样本块的方法因其在大区域破损修复方面的优良性能受到了越来越多的关注。基于样本块的方法根据其实施方式可以划分为基于匹配的方法和基于MRF的方法。
文献1(Komodakis,N.Tziritas,G.Image completion using efficient beliefpropagation via priority scheduling and dynamic pruning[J].IEEE Transactionson Image Processing.2007,16(11):2649-2661.)为缓解基于匹配的方法中的误差累积现象，将图像修复问题转换全局能量求极值问题，具体做法是将已知信息看作标签，将丢失信息看作节点，利用全局能量方程衡量标签与节点间的相似性，最后利用优化方法求解全局能量极值以得到分配给每个节点的合适标签，据此补全破损图像。但是该算法采用置信度传播算法求解算局能量极值，而置信度传播算法易陷入局部最优，不能得到全局最优值；且该算法计算复杂度较好，修复效率较低。
近年来，为获得更优的补全结果，研究学者提出了不同的MRF修复方法：(1)文献2(L.Yunqiang,V.Caselles.Exemplar-Based Image Inpainting Using Multiscale GraphCuts[J].IEEE Transactions on Image Processing.2013,22(5):1699-1711.)将破损区域的临近位置的已知信息作为候选标签，利用图像的局部自相似性来补全破损图像。(2)文献3(He,K.Sun,J.Image Completion Approaches Using the Statistics of SimilarPatches.IEEE Transactions on Pattern Analysis and Machine Intelligence.2014,36(12):2423-2435.)统计样本块与其相似块之间的偏移位置，据此选择出少数占统治地位的偏移位置作为候选标签，而后利用图割算法求解全局能量优化极值。(3)文献4(W.Xue,R.Zhang.Graph-based image completion using patch offsets and structurefeature[C].In:Fifth International Conference on Graphic and Image Processing,2014,International Society for Optics and Photonics:906906-906906-9.)引入HOG特征以寻找到更优的匹配块，并自适应确定候选标签个数以获得全局最优极值。
上述方法从候选标签选择和全局能量方程构造方面进行改进，以期获得良好的修复结果。但是这些方法对结构信息较少的破损图像并不能很好的保持修复后图像结构部分的连贯性。文献2仅用临近位置上的已知信息来填补丢失信息，以及引入梯度信息来构造全局能量方程，但由于候选标签选择的不够合适，仍不能较好的修复破损图像。文献3和文献4统计了相似样本块间的偏移映射，据此选择候选标签，但是对于已知区域内结构信息较少的破损图像，仍不能很好地保持修复后图像结构部分的连贯性。因此如何选择合适的先验信息来指导图像修复以及构造合理的全局能量优化方程仍是基于MRF的修复方法需要解决的关键问题。
发明内容
本发明主要是克服现有技术中的不足之处，提供一种利用边缘特征统计的MRF图像修复方法，该方法能够有效地保持修复后图像中结构部分的连贯性，使得修复后图像看起来更加自然，更符合人眼视觉要求，尤其适合具有复杂纹理和结构特征的真实照片或合成图像的修复。
本发明解决上述技术问题所提供的技术方案是：一种利用边缘统计特征的MRF样本块图像修复方法，包括以下步骤：
A、对待修复图像I，确认破损区域为Ω；
B、对待修复图像I划分为边缘特征图像Iedge和非边缘特征图像Inon-edge；
C、将边缘特征图像Iedge和非边缘特征图像Inon-edge分别统计相似样本块间的偏移映射，并将偏移映射作为候选标签用于下一步的优化求解；
D、利用Curvelet变换提取待修复图像I的8方向特征；
E、构造保持邻域连续一致性的全局能量方程；
F、利用选择出的候选标签和多标签图割算法求解全局能量极值，得到分配给每个节点的标签m；
G、将每个节点对应标签的信息复制到未知区域中，即I(x)＝I(x+m)，得到修复后图像IR；
其中I(x)表示图像位于位置x上的RGB强度值。
进一步的是，所述步骤B中具体过程为：
(1)首先利用Curvelet变换提取待修复图像I的高频信息和低频信息：若待修复图像I为彩色图像，将其由RGB空间转到YUV空间内，利用IY标记Y通道图像；若待修复图像I为灰度图像，令IY＝I；
(2)再利用Curvelet正变换将IY变换到超小波域：
Qij＝T+(IY)
其中T+表示Curvelet正变换，Qij表示IY经过Curvelet正变换后得到的多尺度多方向特征系数，i表示尺度，j表示方向；Curvelet低频信息是指最低尺度层Curvelet系数矩阵Q11；高频尺度层系数矩阵，每个系数矩阵便代表一个不同尺度层下的方向矩阵；
(3)利用Curvelet反变换得到不同的方向特征图像{Ik}k＝1,…,8：
Ik＝T-(Hk(Q))
其中Hk(Q)代表最低频系数矩阵和第k个方向特征系数矩阵的集合，具体规则为：
其中{Zk}k＝1,…,8为不同方向系数矩阵的集合；
(4)而后利用canny算子对每一方向特征图像{Ik}k＝1,…,8进行边缘特征提取，并对提取后的边缘特征进行形态学操作以获得每个方向上的丰富的边缘信息Bk；
(5)而后将不同方向上的边缘信息{Bk}k＝1,…,8进行融合得到最终待修复图像的边缘特征B；
(6)按照待修复图像I中的每个像素点的位置来划分边缘特征图像Iedge和非边缘特征图像Inon-edge，其位于边缘点的图像为边缘特征图像Iedge，则Iedge＝I·B，非位于边缘点的图像为非边缘特征图像，则
其中表示对边缘信息取反。
进一步的是，所述步骤C的具体过程为：
1)在边缘特征图像Iedge和非边缘特征图像Inon-edge中分别计算样本块与其相似块间的偏移映射，
2)并利用二维直方图对其进行统计，计算得到边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2；
3)从上述计算得到的边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2分别选出K1和K2个最大值，并将K个偏移映射作为候选标签用于下一步的优化求解；
其中K＝K1+K2。
进一步的是，所述步骤D的具体过程为：
利用在步骤B中得到的8个方向系数矩阵集合{Zk}k＝1,…,8来提取不同的方向特征，则第k个方向特征根据下式计算得到：
Ak＝T-(Nk(Q))
其中Nk(Q)(k＝1,2,…,8)为集合Zk中的系数矩阵：
进一步的是，所述步骤E具体过程为；
a、其全局能量方程包含数据项能量和平滑项能量两项，即能量方程如下式所示：
其中(x,x')是表示4邻域，L表示上节中选出的候选标签或者K＝K1+K2是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上；
b、若候选标签是有效的，即x+m位于已知区域，将此时的数据项能量置为0，否则置为+∞。
c、令a＝L(x)和b＝L(x')，将8方向特征与颜色特征融合共同构造平滑项能量：
Es(a,b)＝||I(x+ma)-I(x+mb)||2+||I(x'+ma)-I(x'+mb)||2+λ(||A(x+ma)-A(x+mb)||2+||A(x'+ma)-A(x'+mb)||2)
其中λ是权重参数。
本发明具有以下优点：
一、本发明提出边缘特征图像提取方法。本发明首先利用Curvelet变换提取待修复图像的8方向特征图像，利用canny算子分别提取8方向特征图像的边缘特征，并利用形态学算子对边缘信息进行膨胀操作，最后融合丰富的8方向边缘信息作为待修复图像的边缘特征。根据待修复图像的已知信息是否位于边缘特征点将待修复图像划分为边缘特征图像和非边缘特征图像，可以更好的保持修复后图像结构部分的连贯性。
二、本发明在划分了边缘图像和非边缘图像之后，在边缘图像和非边缘图像内分别计算相似样本块间的偏移映射，并利用二维直方图来统计偏移映射，以此获得更为合适的候选标签。
三、本发明将8方向特征引入到能量方程构造中。本发明利用Curvelet变换提取待修复图像的8方向特征信息，将其与颜色信息融合共同衡量相邻像素间的差异性，以此更好的保持修复后图像的连续一致性。
总之，本发明方法利用Curvelet变换提取待修复图像的8方向特征图像，分别提取其边缘特征并进行形态学处理，并将8方向边缘信息进行融合得到最终的边缘信息，据此划分边缘图像和非边缘图像，可以获得更为合适的先验信息；在边缘图像和非边缘图像中分别统计相似块间的偏移映射，避免了纹理信息和平滑信息的干扰；并引入8方向特征以构造更好的全局能量方程，使得修复后图像更好的保持结构部分的连贯性及与邻域信息的连续一致性，看起来更加连贯自然，符合人眼视觉要求。
附图说明
图1为本发明实施例使用的Curvelet系数矩阵示意图；
图2为本发明实施例提取8方向特征图像时Curvelet系数矩阵的分割示意图；
图3为本发明实施例提取8方向特征时Curvelet系数矩阵的分割示意图；
图4本发明实施例的算法流程框图；
图5为采用文献2算法、文献3算法及本发明方法对小尺度缺失区域进行修复的效果示意图，同时给出修复后图像的PSNR值；其中分图(a1)-(a2)为原始图像，分图(b1)-(b2)分别为分图(a1)-(a2)发生缺损后的待修复图像，其中黑色部分表示待修复区域。分图(c1)-(c2)为利用文献3算法对分图(b1)-(b2)修复后的结果图，分图(d1)-(d2)为利用文献2算法对分图(b1)-(b2)修复后的结果图，分图(e1)-(e2)为利用本发明方法对分图(b1)-(b2)修复后的结果图；
图6为采用文献2算法、文献3算法及本发明方法对目标移除后信息缺失区域进行修复的效果示意图，其中分图(a1)-(a3)为原始图像，分图(b1)-(b3)分别为分图(a1)-(a3)发生缺损后的待修复图像，其中黑色部分表示待修复区域；分图(c1)-(c3)为利用文献3算法对分图(b1)-(b3)修复后的结果图，分图(d1)-(d3)为利用文献2算法对分图(b1)-(b3)修复后的结果图，分图(e1)-(e3)为利用本发明方法对分图(b1)-(b3)修复后的结果图。
具体实施方式
下面结合实施例和附图对本发明做更进一步的说明。
如图1所示，本发明的一种利用边缘统计特征的MRF样本块图像修复方法，包括以下步骤：
步骤1、对待修复图像I，确认破损区域为Ω；
步骤2、利用Curvelet变换提取待修复图像I的高频信息和低频信息：若待修复图像I为彩色图像，将其由RGB空间转到YUV空间内，利用IY标记Y通道图像；若待修复图像I为灰度图像，令IY＝I；
步骤3、再利用Curvelet正变换将IY变换到超小波域：
Qij＝T+(IY)
其中T+表示Curvelet正变换，Qij表示IY经过Curvelet正变换后得到的多尺度多方向特征系数，i表示尺度，j表示方向；Curvelet低频信息是指最低尺度层Curvelet系数矩阵Q11；高频尺度层系数矩阵，每个系数矩阵便代表一个不同尺度层下的方向矩阵；本发明采用的Curvelet变换共有5个尺度层，第2到第5尺度层分别包含16、32、32和64个方向系数矩阵；
步骤4、利用Curvelet反变换得到不同的方向特征图像{Ik}k＝1,…,8：
Ik＝T-(Hk(Q))
其中Hk(Q)代表最低频系数矩阵和第k个方向特征系数矩阵的集合，具体规则为：
其中{Zk}k＝1,…,8为不同方向系数矩阵的集合；
步骤5、而后利用canny算子对每一方向特征图像{Ik}k＝1,…,8进行边缘特征提取，并对提取后的边缘特征进行形态学操作以获得每个方向上的丰富的边缘信息Bk；
步骤6、而后将不同方向上的边缘信息{Bk}k＝1,…,8进行融合得到最终待修复图像的边缘特征B；
步骤7、按照待修复图像I中的每个像素点的位置来划分边缘特征图像Iedge和非边缘特征图像Inon-edge，其位于边缘点的图像为边缘特征图像Iedge，则Iedge＝I·B，非位于边缘点的图像为非边缘特征图像，则
其中表示对边缘信息取反；
步骤8、在边缘特征图像Iedge和非边缘特征图像Inon-edge中分别计算样本块与其相似块间的偏移映射，
步骤9、并利用二维直方图对其进行统计，计算得到边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2；
步骤10、从上述计算得到的边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2分别选出K1和K2个最大值，并将K个偏移映射作为候选标签用于下一步的优化求解；其中K＝K1+K2；
步骤11、利用Curvelet变换提取待修复图像I的8方向特征；利用在步骤4中得到的8个方向系数矩阵集合{Zk}k＝1,…,8来提取不同的方向特征，则第k个方向特征根据下式计算得到：
Ak＝T-(Nk(Q))
其中Nk(Q)(k＝1,2,…,8)为集合Zk中的系数矩阵：
步骤12、构造保持邻域连续一致性的全局能量方程；将8方向特征与颜色特征融合在一起共同衡量相邻像素间的连续一致性，构造结合8方向特征的平滑能量项，具体过程为；
其全局能量方程包含数据项能量和平滑项能量两项，即能量方程如下式所示：
其中(x,x')是表示4邻域，L表示上节中选出的候选标签或者K＝K1+K2是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上；
若候选标签是有效的，即x+m位于已知区域，将此时的数据项能量置为0，否则置为+∞。
令a＝L(x)和b＝L(x')，将8方向特征与颜色特征融合共同构造平滑项能量：
Es(a,b)＝||I(x+ma)-I(x+mb)||2+||I(x'+ma)-I(x'+mb)||2+λ(||A(x+ma)-A(x+mb)||2+||A(x'+ma)-A(x'+mb)||2)
其中λ是权重参数，为了平衡颜色信息和方向特征信息间的约束。
步骤13、利用选择出的候选标签和多标签图割算法求解全局能量极值，得到分配给每个节点的标签m；
步骤14、每个节点对应标签的信息复制到未知区域中，即I(x)＝I(x+m)，得到修复后图像IR；其中I(x)表示图像位于位置x上的RGB强度值。
以上所述，并非对本发明作任何形式上的限制，虽然本发明已通过上述实施例揭露，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些变动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
仿真实验：
下面是图像修复的仿真实验。通过仿真实验可验证本发明方法较其他修复方法可得到更优的修复效果。在下面的仿真实验中，将本发明所提供的方法所得到的修复结果与其他修复方法所得到的修复结果进行比较。
图5中给出了本发明方法与文献2、文献3算法在目标移除上的修复对比结果图，其中分图(a1)-(a2)为原始图像，分图(b1)-(b2)分别为分图(a1)-(a2)发生缺损后的待修复图像，其中黑色部分表示待修复区域。分图(c1)-(c2)为利用文献2算法对分图(b1)-(b2)修复后的结果图，分图(d1)-(d2)为利用文献3算法对分图(b1)-(b2)修复后的结果图，分图(e1)-(e2)为利用本发明方法对分图(b1)-(b2)修复后的结果图。
比较图5的各分图可以看出：本发明方法较文献2和文献3算法可以获得更优的修复效果，能够更好的保持结构部分的连贯性，与邻域信息的连续一致性。同时，从修复后图像的PSNR值可以看出，本发明方法较文献2和文献3算法在PSNR值上至少提高2.5dB。这是因为文献2仅用临近的偏移位置作为候选标签，而文献3算法在全局能量方程构造上仅考虑了颜色信息。
图6中给出了本发明方法与文献2、文献3算法在目标移除上的修复对比结果图。其中，分图(a1)-(a3)为原始图像，分图(b1)-(b3)分别为分图(a1)-(a3)目标移除后的待修复图像，其中黑色部分表示待修复区域；分图(c1)-(c3)为利用文献2算法对分图(b1)-(b3)修复后的结果图，分图(d1)-(d3)为利用文献3算法对分图(b1)-(b3)修复后的结果图，分图(e1)-(e3)为利用本发明方法对分图(b1)-(b3)修复后的结果图。
比较图6的修复结果分图可以看出，本发明方法较文献2和文献3算法可以获得更好的修复效果，保持结构部分的连通性及基于邻域信息的连续一致性，满足人眼视觉要求。
以上仿真实验结果表明，本发明方法在保持修复后图像结构部分的连通性、与邻域信息的连续一致性及满足人眼视觉要求上明显优于现有方法，在图像修复的应用领域中具有可行性和适用性。
Claims (5)
1.一种利用边缘统计特征的MRF样本块图像修复方法，其特征在于，包括以下步骤：
A、对待修复图像I，确认破损区域为Ω；
B、对待修复图像I划分为边缘特征图像Iedge和非边缘特征图像Inon-edge；
C、将边缘特征图像Iedge和非边缘特征图像Inon-edge分别统计相似样本块间的偏移映射，并将偏移映射作为候选标签用于下一步的优化求解；
D、利用Curvelet变换提取待修复图像I的8方向特征；
E、构造保持邻域连续一致性的全局能量方程；
F、利用选择出的候选标签和多标签图割算法求解全局能量极值，得到分配给每个节点的标签m；
G、将每个节点对应标签的信息复制到未知区域中，即I(x)＝I(x+m)，得到修复后图像IR；
其中I(x)表示图像位于位置x上的RGB强度值。
2.根据权利要求1所述的一种利用边缘统计特征的MRF样本块图像修复方法，其特征在于，所述步骤B中具体过程为：
(1)首先利用Curvelet变换提取待修复图像I的高频信息和低频信息：若待修复图像I为彩色图像，将其由RGB空间转到YUV空间内，利用IY标记Y通道图像；若待修复图像I为灰度图像，令IY＝I；
(2)再利用Curvelet正变换将IY变换到超小波域：
Qij＝T+(IY)
其中T+表示Curvelet正变换，Qij表示IY经过Curvelet正变换后得到的多尺度多方向特征系数，i表示尺度，j表示方向；Curvelet低频信息是指最低尺度层Curvelet系数矩阵Q11；高频尺度层系数矩阵，每个系数矩阵便代表一个不同尺度层下的方向矩阵；
(3)利用Curvelet反变换得到不同的方向特征图像{Ik}k＝1,…,8：
Ik＝T-(Hk(Q))
其中Hk(Q)代表最低频系数矩阵和第k个方向特征系数矩阵的集合，具体规则为：
<mrow>
<msub>
<mi>H</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>d</mi>
</mrow>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mrow>
<mi>s</mi>
<mo>,</mo>
<mi>d</mi>
</mrow>
</msub>
<mo>&Element;</mo>
<msub>
<mi>Z</mi>
<mi>k</mi>
</msub>
<mi>o</mi>
<mi>r</mi>
<mi> </mi>
<mi>s</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
其中{Zk}k＝1,…,8为不同方向系数矩阵的集合；
(4)而后利用canny算子对每一方向特征图像{Ik}k＝1,…,8进行边缘特征提取，并对提取后的边缘特征进行形态学操作以获得每个方向上的丰富的边缘信息Bk；
(5)而后将不同方向上的边缘信息{Bk}k＝1,…,8进行融合得到最终待修复图像的边缘特征B；
(6)按照待修复图像I中的每个像素点的位置来划分边缘特征图像Iedge和非边缘特征图像Inon-edge，其位于边缘点的图像为边缘特征图像Iedge，则Iedge＝I·B，非位于边缘点的图像为非边缘特征图像，则
其中表示对边缘信息取反。
3.根据权利要求2所述的一种利用边缘统计特征的MRF样本块图像修复方法，其特征在于，所述步骤C的具体过程为：
1)在边缘特征图像Iedge和非边缘特征图像Inon-edge中分别计算样本块与其相似块间的偏移映射，
2)并利用二维直方图对其进行统计，计算得到边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2；
3)从上述计算得到的边缘特征图像的偏移映射统计h1和非边缘特征图像的偏移映射统计h2分别选出K1和K2个最大值，并将K个偏移映射作为候选标签用于下一步的优化求解；
其中K＝K1+K2。
4.根据权利要求3所述的一种利用边缘统计特征的MRF样本块图像修复方法，其特征在于，所述步骤D的具体过程为：
利用在步骤B中得到的8个方向系数矩阵集合{Zk}k＝1,…,8来提取不同的方向特征，则第k个方向特征根据下式计算得到：
Ak＝T-(Nk(Q))
其中Nk(Q)(k＝1,2,…,8)为集合Zk中的系数矩阵：
<mrow>
<msub>
<mi>N</mi>
<mi>k</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>Q</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mtable>
<mtr>
<mtd>
<mrow>
<mi>i</mi>
<mi>f</mi>
</mrow>
</mtd>
<mtd>
<mrow>
<msub>
<mi>Q</mi>
<mrow>
<mi>i</mi>
<mi>j</mi>
</mrow>
</msub>
<mo>&Element;</mo>
<msub>
<mi>Z</mi>
<mi>k</mi>
</msub>
</mrow>
</mtd>
</mtr>
</mtable>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>w</mi>
<mi>i</mi>
<mi>s</mi>
<mi>e</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
<mo>.</mo>
</mrow>
5.根据权利要求4所述的一种利用边缘统计特征的MRF样本块图像修复方法，其特征在于，所述步骤E具体过程为；
a、其全局能量方程包含数据项能量和平滑项能量两项，即能量方程如下式所示：
<mrow>
<mi>E</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mi>x</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msub>
<mi>E</mi>
<mi>d</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>)</mo>
</mrow>
<mo>+</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mo>(</mo>
<mi>x</mi>
<mo>,</mo>
<mi>x</mi>
<mo>)</mo>
<mo>|</mo>
<mi>x</mi>
<mo>&Element;</mo>
<mi>&Omega;</mi>
<mo>,</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>&Element;</mo>
<mi>&Omega;</mi>
</mrow>
</munder>
<msub>
<mi>E</mi>
<mi>s</mi>
</msub>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>x</mi>
<mo>)</mo>
<mo>,</mo>
<mi>L</mi>
<mo>(</mo>
<msup>
<mi>x</mi>
<mo>&prime;</mo>
</msup>
<mo>)</mo>
<mo>)</mo>
</mrow>
</mrow>
其中(x,x')是表示4邻域，L表示上节中选出的候选标签或者K＝K1+K2是候选标签的个数，仅在破损区域边界上才选择标签而L(x)＝i就表示将位于的像素点的信息复制到位置x上；
b、若候选标签是有效的，即x+m位于已知区域，将此时的数据项能量置为0，否则置为+∞。
c、令a＝L(x)和b＝L(x')，将8方向特征与颜色特征融合共同构造平滑项能量：
Es(a,b)＝||I(x+ma)-I(x+mb)||2+||I(x'+ma)-I(x'+mb)||2+λ(||A(x+ma)-A(x+mb)||2+||A(x'+ma)-A(x'+mb)||2)
其中λ是权重参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908722.0A CN107492082A (zh) | 2017-09-29 | 2017-09-29 | 一种利用边缘统计特征的mrf样本块图像修复方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710908722.0A CN107492082A (zh) | 2017-09-29 | 2017-09-29 | 一种利用边缘统计特征的mrf样本块图像修复方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107492082A true CN107492082A (zh) | 2017-12-19 |
Family
ID=60653857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710908722.0A Pending CN107492082A (zh) | 2017-09-29 | 2017-09-29 | 一种利用边缘统计特征的mrf样本块图像修复方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107492082A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364276A (zh) * | 2018-03-13 | 2018-08-03 | 重庆大学 | 基于标签数据库的纹理图像合成方法 |
| CN109658346A (zh) * | 2018-11-13 | 2019-04-19 | 达闼科技（北京）有限公司 | 图像修复方法、装置、计算机可读存储介质及电子设备 |
| CN111028135A (zh) * | 2019-12-10 | 2020-04-17 | 国网重庆市电力公司电力科学研究院 | 一种图像文件修复方法 |
| WO2020108358A1 (zh) * | 2018-11-29 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置、计算机设备和存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252416A1 (en) * | 2007-07-16 | 2009-10-08 | Nikos Komodakis | System and Method for Optimizing Single and Dynamic Markov Random Fields with Primal Dual Strategies |
| CN105957027A (zh) * | 2016-04-22 | 2016-09-21 | 西南石油大学 | 一种基于所需方向结构特征统计的mrf样图像修复方法 |
-
2017
- 2017-09-29 CN CN201710908722.0A patent/CN107492082A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090252416A1 (en) * | 2007-07-16 | 2009-10-08 | Nikos Komodakis | System and Method for Optimizing Single and Dynamic Markov Random Fields with Primal Dual Strategies |
| CN105957027A (zh) * | 2016-04-22 | 2016-09-21 | 西南石油大学 | 一种基于所需方向结构特征统计的mrf样图像修复方法 |
Non-Patent Citations (2)
| Title |
|---|
| 李志丹: "基于结构稀疏性的样本块图像修补算法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
| 李志丹等: "基于Curvelet方向特征的样本块图像修复算法", 《电子学报》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364276A (zh) * | 2018-03-13 | 2018-08-03 | 重庆大学 | 基于标签数据库的纹理图像合成方法 |
| CN108364276B (zh) * | 2018-03-13 | 2021-12-03 | 重庆大学 | 基于标签数据库的纹理图像合成方法 |
| CN109658346A (zh) * | 2018-11-13 | 2019-04-19 | 达闼科技（北京）有限公司 | 图像修复方法、装置、计算机可读存储介质及电子设备 |
| WO2020108358A1 (zh) * | 2018-11-29 | 2020-06-04 | 腾讯科技（深圳）有限公司 | 图像修复方法、装置、计算机设备和存储介质 |
| US11798132B2 (en) | 2018-11-29 | 2023-10-24 | Tencent Technology (Shenzhen) Company Limited | Image inpainting method and apparatus, computer device, and storage medium |
| CN111028135A (zh) * | 2019-12-10 | 2020-04-17 | 国网重庆市电力公司电力科学研究院 | 一种图像文件修复方法 |
| CN111028135B (zh) * | 2019-12-10 | 2023-06-02 | 国网重庆市电力公司电力科学研究院 | 一种图像文件修复方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107492070B (zh) | 一种双通道卷积神经网络的单图像超分辨率计算方法 | |
| CN107492082A (zh) | 一种利用边缘统计特征的mrf样本块图像修复方法 | |
| CN104240244B (zh) | 一种基于传播模式和流形排序的显著性物体检测方法 | |
| CN109064396A (zh) | 一种基于深度成分学习网络的单幅图像超分辨率重建方法 | |
| Zhang et al. | Exemplar-based image inpainting using color distribution analysis | |
| CN111179196B (zh) | 一种基于分而治之的多分辨率深度网络图像去高光方法 | |
| CN108460744A (zh) | 一种水泥刻槽路面图像降噪增强与裂缝特征提取方法 | |
| CN106506901A (zh) | 一种显著性视觉注意模型的混合式数字图像半色调方法 | |
| CN110634147A (zh) | 基于双边引导上采样的图像抠图方法 | |
| Gai et al. | Multi-focus image fusion method based on two stage of convolutional neural network | |
| CN107154026B (zh) | 一种基于自适应亮度高程模型的消除路面阴影的方法 | |
| EP4075373A1 (en) | Image processing method and apparatus | |
| CN103325095A (zh) | 一种结合方向因子的样本块稀疏性图像修复方法 | |
| CN111951172A (zh) | 一种图像优化方法、装置、设备和存储介质 | |
| CN110268442B (zh) | 在图像中检测背景物上的外来物的计算机实现的方法、在图像中检测背景物上的外来物的设备以及计算机程序产品 | |
| CN104134198A (zh) | 一种对图像进行局部处理的方法 | |
| CN105931180A (zh) | 利用显著信息引导的图像不规则马赛克拼接方法 | |
| CN103810729A (zh) | 一种基于等高线的光栅图像矢量化方法 | |
| CN111415299B (zh) | 一种高分辨率图像风格迁移方法 | |
| CN111080723B (zh) | 基于Unet网络的图像元素分割方法 | |
| Dwivedi et al. | Single image dehazing using extended local dark channel prior | |
| CN105957027B (zh) | 一种基于所需方向结构特征统计的mrf样本块图像修复方法 | |
| CN104268845A (zh) | 极值温差短波红外图像的自适应双局部增强方法 | |
| CN116934583A (zh) | 基于深浅特征融合网络的遥感图像超分辨率算法 | |
| US20060104532A1 (en) | Digital image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171219 |
|
| RJ01 | Rejection of invention patent application after publication |