CN107507139A - 基于Facet方向导数特征的样例双重稀疏图像修复方法 - Google Patents

基于Facet方向导数特征的样例双重稀疏图像修复方法 Download PDF

Info

Publication number
CN107507139A
CN107507139A CN201710628792.0A CN201710628792A CN107507139A CN 107507139 A CN107507139 A CN 107507139A CN 201710628792 A CN201710628792 A CN 201710628792A CN 107507139 A CN107507139 A CN 107507139A
Authority
CN
China
Prior art keywords
mrow
msub
mover
image block
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710628792.0A
Other languages
English (en)
Other versions
CN107507139B (zh
Inventor
白相志
晋达睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710628792.0A priority Critical patent/CN107507139B/zh
Publication of CN107507139A publication Critical patent/CN107507139A/zh
Application granted granted Critical
Publication of CN107507139B publication Critical patent/CN107507139B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及基于Facet方向导数特征的样例双重稀疏图像修复方法：步骤一：在Facet模型下获取图像不同方向的方向特征信息；步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序；步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修复。本发明方法对方向特征进行充分利用，通过构造新的图像块距离计算函数，并在稀疏求解环节加入方向特征空间一致性和连续性约束；同时对修复优先级函数进行调整和完善，将图像块置信度数值控制在合理范围之内，确保优先级计算结果的可靠性。充分考虑了图像的色彩信息和方向特征信息，能够较好地应对各种图像损伤情况，具有较好的普适性和广阔的市场前景与应用价值。

Description

基于Facet方向导数特征的样例双重稀疏图像修复方法
【技术领域】
本发明涉及基于Facet方向导数特征的样例双重稀疏图像修复方法，稀疏特性和图像修 复技术在图像应用领域具有广泛的应用，隶属于数字图像处理领域。
【背景技术】
图像修复是指利用图像未受损区域的灰度、颜色、纹理等特征对受损区域进行修复重建， 或去除图像中的多余物体。人工的图像修复方式通常较为依赖修复者的工作经验，效率较低， 且修复结果存在较强的主观性。数字图像修复的方法则可以较好地克服上述缺点。数字图像 修复指以计算机程序为主体，数字图像为修复目标，在标定待修复区域的情况下，利用图像 中的已知信息修复图中的受损部分。数字图像修复方法根据原理不同大致可分为以下几类： 基于样例的修复方法、基于扩散的修复方法以及基于稀疏特性的修复方法等。
图像的稀疏性质在近些年被学者们广泛研究。埃拉德等人通过分析图像结构层和纹理层 在不同字典下稀疏度的不同，利用离散余弦变换和曲波变换将结构层和纹理层分开(参见文献： 埃拉德,斯塔克,奎尔,多诺霍.利用形态学分析的纹理层与卡通层同时修复方法.应用和计 算谐波分析.卷19,340-358,2005.(M.Elad,J.L.Starck,P.Querre,andD.L.Donoho, “Simultaneous cartoon and texture image inpainting usingmorphological component analysis (MCA),”Appl.Comput.Harmonic Anal.,vol.19,no.3,pp.340-358,2005.))；法蒂里根据贝叶斯 框架下的最大似然估计法提出了期望最大化修复算法(法蒂里,斯塔克.基于稀疏表示的最大 期望值图像修复方法.美国电子电器工程师协会图像处理国际会议.61-64,2005.(M.J.Fadili and J.L.Starck,“EM algorithmfor sparse representation-based image inpainting,”in Proc.IEEE Int.Conf.ImageProcess.,Sep.2005,pp.II-61–II-64.))。但基于固定字典的稀疏修复方法的普适 性有所欠缺。因此，学习型字典的概念被提出。周明远等提出了非参数的贝叶斯框架下的字 典学习(周明远等.一种利用非参数的贝叶斯字典学习的图像降噪与修复方法.美国电气电子工程师学会图像处理汇刊.卷21,130-144,2012.(M.Zhou et al.,“NonparametricBayesian dictionary learning for analysis of noisy and incomplete images,”IEEE Trans.Image Process.,vol. 21,no.1,pp.130–144,Jan.2012.))；迈拉尔等则提出在线学习方法来训练和构建过完备字典(迈拉尔,巴赫,庞斯,萨皮罗.一种矩阵正则化与稀疏编码的在线学习方法.机器学习研究杂 志.卷11,19-60,2010.(J.Mairal,F.Bach,J.Ponce,and G.Sapiro,“Online learning for matrix factorization and sparsecoding,”J.Mach.Learn.Res.,vol.11,pp.19–60,Jan.2010.))。
基于样例的修复方法一般分为两类：图像块匹配方法和基于马尔科夫随机场的方法。其 中图像块匹配方法的基本思想是通过寻找与待修复区域边缘图像块相似度高的已知区域图像 块，并将成功匹配的已知信息填入待修复图像块的被破坏区域。最早的基于样例 (exemplar-based)的修复方法(参见文献：克里米尼西,佩雷斯,富山.一种基于样例图像修复的 目标物移除方法.计算机视觉国际会议.721-728,2003.(A.Criminisi,P.Perez,and K.Toyama, “Object removal by exemplar-based image inpainting,”inProc.Int.Conf.Comp.Vision,2003, pp.721–728.))由克里米尼西等人提出，该算法首先计算破损边缘上每个点的优先权值，然后 选择以最大优先权值点为中心的块作为当前待填充块，在源区域中根据匹配准则搜索与待填 充块最相似的匹配块并将其填充到待填充块中的破损区域，最后更新填充边缘，并重复上述 过程直至破损区域完全被填充。但由于该方法中的填充顺序不够稳定以及匹配准则不够合理 等问题，不能很好的保持结构部分的连贯性且易产生误匹配现象。针对此类问题，学者们提 出了各种改进方法。如仵冀颖等人将切向等照度线引入优先级的计算中(参见文献：仵冀颖,阮 秋琦.曲率驱动的基于亥姆霍兹涡量方程的图像修复模型.模式识别国际会议.810-813,2006. (J.Wu and Q.Ruan,“Object removal by cross isophotes examplar-based image inpainting,”inProc.Int.Conf.Pattern Recognition,2006,pp.810–813.))；D.J.弗洛林纳贝尔等人通过求取图像块 的离散傅里叶变换系数，提出了新的修复优先级计算公式。(参见文献：弗洛林纳贝尔,茱丽 叶,萨达西瓦.基于频率域与空间域的图像块衍生修复方法.计算机图形学.卷19,1153-1165, 2011.(D.Jemi Florinabel,S.Ebenezer Juliet,and V.Sadasivam,“Combined frequency and spatial domain-based patch propagation for imagecompletion,”Comput.Graph.,vol.35,no.6,pp. 1051–1062,Jun.2011.))
现有基于样例的修复方法往往不能很好地保持修复后图像的结构连贯性及修复区域的连 续自然过渡。而基于稀疏特性的修复方法对大面积区域缺损情况的修复能力仍存在很大的缺 陷。为了对受损图像的结构成分和纹理成分同时进行有效修复，本发明提出了一种基于Facet 方向导数特征的样例双重稀疏图像修复方法。
【发明内容】
1、目的：基于样例的图像修复方法原理简单、修复过程迅速便捷，但该方法未充分考虑 和利用图像中的方向特征信息，因此对于某些结构的修复并不理想。针对此类问题，本发明 提出了基于Facet方向导数特征的样例双重稀疏图像修复方法。首先得到图像不同方向的方 向导数，将其引入图像结构稀疏度的计算，使图像的方向信息在修复过程中得到利用；其次， 对图像块置信度数值计算公式做出调整，从而构造新的修复优先级计算函数。改进方法充分 考虑了图像的方向信息和修复优先顺序的合理性，因此得到的修复结果在结构的连续性上得 到了明显改善。
2、技术方案：为实现上述目的，本发明的技术方案如下：首先在Facet模型下分别得到 图像块在垂直、水平、45°和135°四个方向的方向导数，将其引入图像结构稀疏度的计算当中； 之后将方向导数以一定比重加入图像块距离的计算中，提升筛选候选相似图像块的鲁棒性， 并且完善图像块置信度的计算函数，调整取值范围，得到更为合理的修复顺序；最后通过候 选图像块联合稀疏表示出待修复块未知区域的信息，其中通过引入与相邻区域连续性约束来 确保填补内容在视觉上的连贯性，并通过加入方向约束项对局部一致性约束做出改进。改进 算法中充分考虑了方向信息，因此修复质量得到明显提高。
本发明是一种基于Facet方向导数特征的样例双重稀疏图像修复方法，该方法具体步骤 如下：
步骤一：在Facet模型下获取图像不同方向的方向特征信息(参见文献：哈拉利克.二阶 导数零交叉处的数字阶跃边缘.美国电气和电子工程师协会模式分析与机器智能汇刊.58-68, 1984.(R.M.Haralick.Digital step edges from zero crossing of seconddirectional derivatives[J]. IEEE Trans on Pattern Analysis and MachineIntelligence,1984,6(1):58-68.))。本发明方法中选用 2D模型进行应用，其区域灰度拟合多项式形式如下：
f(r,c)＝k1+k2r+k3c+k4r2+k5rc+k6c2+k7r3+k8r2c+k9rc2+k10c3。
其中，(r,c)是该Facet区域的坐标，ki为最小二乘法逼近取得的拟合系数。拟合区域大 小一般取5×5，且各区域毗邻相连。
在极坐标系下，上述多项式可改写为如下形式：
f(ρ)＝k1+(k2sinα+k3cosα)ρ+(k4sin2α+k5sinαcosα+k6cos2α)ρ2
+(k7sin3α+k8sin2αcosα+k9sinαcos2α+k10cos3α)ρ3。
对其求一阶导数fα'(ρ)，即得到α方向图像的方向导数。本发明方法在Facet模型下求 取α为0°、-90°、45°、135°的四个方向的一阶方向特征矩阵。
步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序。改进的修复优先级 计算函数如下：
其中，ρ(p)为p点的结构稀疏度，C(p)为p点处图像块的置信度,被定义为当前图像块 中未受损像素置信度数值之和与全部像素数量置信度之和的比值。H为待修复区域边界像素 点构成的集合，n为集合中的元素个数。
结构稀疏度ρ(p)的计算方法如下：
其中，N(p)为p点的邻域，其大小大于待修复图像块的大小，Ns(p)定义为在p点邻域内已知像素点构成的域，运算|·|的作用是计算区域内像素点的数量。为以点p为中心 的图像块与以点pi为中心的图像块的相似度。具体地，的计算方法如下：
其中，ds(·,·)的作用是计算基于Facet方向特征的图像块距离，为归一化算子，σ 为调节因子，在实验中一般设置为5。
基于Facet方向特征的图像块距离的计算方法如下：
ds＝(1-η)·d(Ψp,Ψq)+η·d(Φp,Φq)。
其中，Φp与Φq为方向特征阵中中心位于点p和点q的图像块，Ψp和Ψq为原图像当中中心位于p点和q点的图像块，d(·,·)表示两样本块间的均方距离，调节因子η设置为0.4。
所述步骤二具体算法步骤为：
首先，遍历图像，确定待修复区域边缘像素点p的集合；
其次，计算以p为中心的图像块与邻域内其他未受损图像块的ds，并据此得到以及 ρ(p)；
然后，计算以p为中心的图像块的C(p)；
最后，计算各点修复优先级。
步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修 复，其中候选图像块为筛选出的与待修复图像块匹配度较高的图像块集合。目标函数如下：
其中，为候选最佳匹配图像块集合，匹配度由步骤二中基于Facet方向特征的图 像块距离衡量。通过步骤三中稀疏求解方法确定稀疏表示系数αq后，破损图像块中的未知 区域将以如下方式填补：
稀疏求解约束项如下：
其中，F为待修复图像块已知部分的抽取矩阵，为待修复图像块未知部分的抽取矩阵， ε是允许的最大误差值，权重系数β设置为0.25，第一项约束项保证了被稀疏表示的图像块 在已知区域保持与目标图像块的一致性，第三项约束项的作用是保持被修复区域与周围图像 的连续性，两项约束均在色彩空间内；第二项与第四项约束项在方向特征空间对图像的一致 性和连贯性做出约束。
该稀疏求解问题可简写为如下形式：
其中，
该约束项更精确地指导整个稀疏表示的过程，综合邻域当中的方向信息和色彩信息得到 一个更准确的修复结果。
其中，目标函数中稀疏表示系数αq具体求解过程如下(设已进行n步，现为 第n+1步)：
首先，定义格拉姆矩阵G＝(ΨTET-X)T(ΨTET-X)，其中 X＝{DΨq1,DΨq2,...,DΨqn,DΨ}，E为单位列向量；
其次，求取将代入计算误差εn+1；
最后，若εn+1＜εn，则返回第一步求取格拉姆矩阵继续进行计算；若εn+1＞εn，则停止计 算，输出
通过稀疏表示出目标图像块后，则可将图像块中相应缺失部分填入。
3、优点及功效：原有的基于样例的修复方法未充分考虑图像的方向特征，仅在色彩空间 中进行探索，且原修复优先级计算中置信度项衰减过快，导致后期优先级函数不可靠。因此， 通常不能得到可靠的修复结果。本发明提出的基于Facet方向导数特征的样例双重稀疏图像 修复方法对方向特征进行充分利用，通过构造新的图像块距离计算函数，并在稀疏求解环节 加入方向特征空间一致性和连续性约束；同时对修复优先级函数进行调整和完善，将图像块 置信度数值控制在合理范围之内，确保优先级计算结果的可靠性。算法充分考虑了图像的色 彩信息和方向特征信息，因此能够较好地应对各种图像损伤情况，具有较好的普适性。具有 广阔的市场前景与应用价值。
【附图说明】
图1为本发明提出的基于Facet方向导数特征的样例双重稀疏图像修复方法的原理框图。
图2a为提取方向特征所用原始图像。
图2b为0°方向特征矩阵。
图2c为-90°方向特征矩阵。
图2d为45°方向特征矩阵。
图2e为135°方向特征矩阵。
图3a至图3e展示了本发明提出的修复优先级函数下得到的大致修复顺序。
图4为稀疏表示系数求解环节流程框图。
图5a至图5h为本发明得到的部分修复结果。
【具体实施方式】
为了更好地理解本发明的技术方案，以下结合附图对本发明的实施方式作进一步描述。
步骤一：在Facet模型下获取图像的不同方向的方向特征信息(参见文献：哈拉利克.二 阶导数零交叉处的数字阶跃边缘.美国电气和电子工程师协会模式分析与机器智能汇刊. 58-68,1984.(R.M.Haralick.Digital step edges from zero crossing ofsecond directional derivatives[J].IEEE Trans on Pattern Analysis and MachineIntelligence,1984,6(1):58-68.))。本发 明方法中选用2D模型进行应用，其区域灰度拟合多项式形式如下：
f(r,c)＝k1+k2r+k3c+k4r2+k5rc+k6c2+k7r3+k8r2c+k9rc2+k10c3。
其中，(r,c)是该Facet区域的坐标，ki为最小二乘法逼近取得的拟合系数。拟合区域大 小一般取5×5，且各区域毗邻相连。
在极坐标系下，上述多项式可改写为如下形式：
f(ρ)＝k1+(k2sinα+k3cosα)ρ+(k4sin2α+k5sinαcosα+k6cos2α)ρ2
+(k7sin3α+k8sin2αcosα+k9sinαcos2α+k10cos3α)ρ3。
对其求一阶导数fα'(ρ)，即得到α方向图像的方向导数。本发明方法在Facet模型下求 取α为0°、-90°、45°、135°的四个方向的一阶方向特征矩阵。
图2a为原始图像，图2b为0°方向特征矩阵，图2c为-90°方向特征矩阵，图2d为45°方向特征矩阵，图2e为135°方向特征矩阵。
步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序。改进的修复优先级 计算函数如下：
其中，ρ(p)为p点的结构稀疏度，C(p)为p点处图像块的置信度,定义为当前图像块中 未受损像素置信度数值之和与全部像素数量置信度之和的比值。H为待修复区域边界像素点 构成的集合，n为集合中的元素个数。
在初始化时，将未受损区域像素点置信度数值c设置为1，受损区域置信度数值c设置为 0。随着每一次修复过程的进行，被填补的区域像素的c值将被更新为被修复区域中心像素的c值。
结构稀疏度ρ(p)的计算方法如下：
其中，N(p)为p点的邻域，其大小大于待修复图像块的大小，大小一般定为45×45。Ns(p)定义为在p点邻域内已知像素点构成的域，运算|·|的作用是计算区域内像素点的数量。 为以点p为中心的图像块与以点pi为中心的图像块的相似度。具体地，的计算方 法如下：
其中，ds(·,·)的作用是计算基于Facet方向特征的图像块距离，为归一化算子，σ 为调节因子，在实验中一般设置为5。
基于Facet方向特征的图像块距离的计算方法如下：
ds＝(1-η)·d(Ψp,Ψq)+η·d(Φp,Φq)
其中，Φp与Φq为方向特征阵中中心位于点p和点q的图像块，Ψp和Ψq为原图像当中中心位于p点和q点的图像块，d(·,·)表示两样本块间的均方距离，调节因子η设置为0.4。
所述步骤二具体算法步骤为：
首先，遍历图像，确定待修复区域边缘像素点p的集合；
其次，计算以p为中心的图像块与邻域内其他未受损图像块的ds，并据此得到以及 ρ(p)；
然后，计算以p为中心的图像块的C(p)；
最后，计算各点修复优先级。
图3a至图3e展示了在本发明提出的修复优先级函数下得到的大致修复顺序。从图3中 可以看出，结构稀疏度大、图像块置信度相对较高的部分将得到优先修复，此部分对人眼主 观感受有较大的影响。
步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修 复，其中候选图像块为筛选出的与待修复图像块匹配度较高的图像块集合。目标函数如下：
其中，为候选最佳匹配图像块集合，匹配度由步骤二中基于Facet方向特征的图 像块距离衡量。通过步骤三中稀疏求解方法确定稀疏表示系数αq后，破损图像块中的未知 区域将以如下方式填补：
稀疏求解约束项如下：
其中，F为待修复图像块已知部分的抽取矩阵，为待修复图像块未知部分的抽取矩阵， ε是允许的最大误差值，权重系数β设置为0.25，第一项约束项保证了被稀疏表示的图像块 在已知区域保持与目标图像块的一致性，第三项约束项的作用是保持被修复区域与周围图像 的连续性，两项约束均在色彩空间内；第二项与第四项约束项在方向特征空间对图像的一致 性和连贯性做出约束。
该稀疏求解问题可简写为如下形式：
其中
该约束项更精确地指导整个稀疏表示的过程，综合邻域当中的方向信息和色彩信息得到 一个更准确的修复结果。
其中，目标函数中稀疏表示系数αq具体求解过程如下(设已进行n步，现为 第n+1步)：
首先，定义格拉姆矩阵G＝(ΨTET-X)T(ΨTET-X)，其中 X＝{DΨq1,DΨq2,...,DΨqn,DΨ}，E为单位列向量；
其次，求取将代入计算误差εn+1；
最后，若εn+1＜εn，则返回第一步求取格拉姆矩阵继续进行计算；若εn+1＞εn，则停止计 算，输出
通过稀疏表示出目标图像块后，则可将图像块中相应缺失部分填入。
图4为稀疏系数求解流程框图。
为了展示本发明的效果，图5a～图5h展示了不同图像损伤模式下的修复情况，由修复结 果可以看出，本发明能够成功地修复不同种情况下的图像损伤。其中损伤形式包括划痕、文 字和块状遮挡。图5h则展示了目标物移除的结果。

Claims (5)

1.一种基于Facet方向导数特征的样例双重稀疏图像修复方法，其特征在于：该方法具体步骤如下：
步骤一：在Facet模型下获取图像不同方向的方向特征信息，选用2D模型进行应用，其区域灰度拟合多项式形式如下：
f(r,c)＝k1+k2r+k3c+k4r2+k5rc+k6c2+k7r3+k8r2c+k9rc2+k10c3,
其中，(r,c)是该Facet区域的坐标，ki为最小二乘法逼近取得的拟合系数；拟合区域大小一般取5×5，且各区域毗邻相连；
在极坐标系下，上述多项式可改写为如下形式：
f(ρ)＝k1+(k2sinα+k3cosα)ρ+(k4sin2α+k5sinαcosα+k6cos2α)ρ2
+(k7sin3α+k8sin2αcosα+k9sinαcos2α+k10cos3α)ρ3；
对其求一阶导数fα'(ρ)，即得到α方向图像的方向导数在Facet模型下求取α为0°、-90°、45°、135°的四个方向的一阶方向特征矩阵；
步骤二：采用改进的修复优先级计算函数进行待修复图像块的排序：
首先，遍历图像，确定待修复区域边缘像素点p的集合；
其次，计算以p为中心的图像块与邻域内其他未受损图像块的ds，并据此得到以及ρ(p)；
然后，计算以p为中心的图像块的C(p)；
最后，计算各点修复优先级；
步骤三：通过候选图像块的稀疏表示对步骤二确定的修复优先级最大的破损区域进行修复，其中候选图像块为筛选出的与待修复图像块匹配度较高的图像块集合；目标函数如下：
<mrow> <mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>=</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>N</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>q</mi> </msub> <msub> <mi>&amp;Psi;</mi> <mi>q</mi> </msub> <mo>;</mo> </mrow>
其中，为候选最佳匹配图像块集合，匹配度由步骤二中基于Facet方向特征的图像块距离衡量；通过步骤三中稀疏求解方法确定稀疏表示系数αq后，破损图像块中的未知区域将以如下方式填补：
<mrow> <msub> <mi>F&amp;Psi;</mi> <mi>p</mi> </msub> <mo>=</mo> <mi>F</mi> <mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>;</mo> </mrow>
稀疏求解约束项如下：
<mrow> <mo>|</mo> <mo>|</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>-</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>|</mo> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;epsiv;</mi> <mo>,</mo> </mrow>
<mrow> <mo>|</mo> <mo>|</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Phi;</mi> <mi>p</mi> </msub> <mo>-</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mover> <msub> <mi>&amp;Phi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>|</mo> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;epsiv;</mi> <mo>,</mo> </mrow>
<mrow> <mi>&amp;beta;</mi> <mo>|</mo> <mo>|</mo> <mi>F</mi> <mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>-</mo> <mi>F</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>&amp;omega;</mi> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <msub> <mi>&amp;Psi;</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>|</mo> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;epsiv;</mi> <mo>,</mo> </mrow>
<mrow> <mi>&amp;beta;</mi> <mo>|</mo> <mo>|</mo> <mi>F</mi> <mover> <msub> <mi>&amp;Phi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>-</mo> <mi>F</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>&amp;omega;</mi> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <msub> <mi>&amp;Phi;</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>|</mo> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;epsiv;</mi> <mo>;</mo> </mrow>
其中，F为待修复图像块已知部分的抽取矩阵，为待修复图像块未知部分的抽取矩阵，ε是允许的最大误差值，权重系数β设置为0.25，第一项约束项保证了被稀疏表示的图像块在已知区域保持与目标图像块的一致性，第三项约束项的作用是保持被修复区域与周围图像的连续性，两项约束均在色彩空间内；第二项与第四项约束项在方向特征空间对图像的一致性和连贯性做出约束；
该稀疏求解问题可简写为如下形式：
<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>{</mo> <mo>|</mo> <mo>|</mo> <mover> <mi>&amp;alpha;</mi> <mo>&amp;RightArrow;</mo> </mover> <mo>|</mo> <msub> <mo>|</mo> <mn>1</mn> </msub> <mo>}</mo> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mo>|</mo> <mo>|</mo> <mi>D</mi> <mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>^</mo> </mover> <mo>-</mo> <msub> <mi>&amp;Psi;</mi> <mi>T</mi> </msub> <mo>|</mo> <mo>|</mo> <mo>&lt;</mo> <mi>&amp;epsiv;</mi> <mo>,</mo> </mrow>
<mrow> <munderover> <mo>&amp;Sigma;</mo> <mi>i</mi> <mi>N</mi> </munderover> <msub> <mi>&amp;alpha;</mi> <mi>i</mi> </msub> <mo>=</mo> <mn>1</mn> <mo>;</mo> </mrow>
其中，
<mrow> <mi>D</mi> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <msqrt> <mi>&amp;beta;</mi> </msqrt> <mi>F</mi> <mo>,</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <msqrt> <mi>&amp;beta;</mi> </msqrt> <mi>F</mi> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> <mo>,</mo> </mrow>
<mrow> <msub> <mi>&amp;Psi;</mi> <mi>T</mi> </msub> <mo>=</mo> <msup> <mrow> <mo>&amp;lsqb;</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>,</mo> <msqrt> <mi>&amp;beta;</mi> </msqrt> <mi>F</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>&amp;omega;</mi> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <msub> <mi>&amp;Psi;</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>,</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Phi;</mi> <mi>p</mi> </msub> <mo>,</mo> <msqrt> <mi>&amp;beta;</mi> </msqrt> <mi>F</mi> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <mi>&amp;omega;</mi> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <msub> <mi>&amp;Phi;</mi> <msub> <mi>p</mi> <mi>i</mi> </msub> </msub> <mo>&amp;rsqb;</mo> </mrow> <mi>T</mi> </msup> <mo>;</mo> </mrow>
该约束项更精确地指导整个稀疏表示的过程，综合邻域当中的方向信息和色彩信息得到一个更准确的修复结果。
2.根据权利要求1所述的一种基于Facet方向导数特征的样例双重稀疏图像修复方法，其特征在于：步骤二中所述的改进的修复优先级计算函数如下：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&amp;CenterDot;</mo> <mo>&amp;lsqb;</mo> <mfrac> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>H</mi> </mrow> </munder> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> </mrow> <mrow> <munder> <mo>&amp;Sigma;</mo> <mrow> <mi>i</mi> <mo>&amp;Element;</mo> <mi>H</mi> </mrow> </munder> <mi>C</mi> <mrow> <mo>(</mo> <mi>i</mi> <mo>)</mo> </mrow> <mo>/</mo> <mi>n</mi> </mrow> </mfrac> <mo>&amp;CenterDot;</mo> <mi>C</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>;</mo> </mrow>
其中，ρ(p)为p点的结构稀疏度，C(p)为p点处图像块的置信度,被定义为当前图像块中未受损像素置信度数值之和与全部像素数量置信度之和的比值，H为待修复区域边界像素点构成的集合，n为集合中的元素个数。
3.根据权利要求2所述的一种基于Facet方向导数特征的样例双重稀疏图像修复方法，其特征在于：所述的结构稀疏度ρ(p)的计算方法如下：
<mrow> <mi>&amp;rho;</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>=</mo> <msqrt> <mrow> <mo>&amp;lsqb;</mo> <munder> <mo>&amp;Sigma;</mo> <mrow> <msub> <mi>p</mi> <mi>i</mi> </msub> <mo>&amp;Element;</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </munder> <msub> <msup> <mi>&amp;omega;</mi> <mn>2</mn> </msup> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <mo>&amp;rsqb;</mo> <mo>&amp;CenterDot;</mo> <mfrac> <mrow> <mo>|</mo> <msub> <mi>N</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> <mrow> <mo>|</mo> <mi>N</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> <mo>|</mo> </mrow> </mfrac> </mrow> </msqrt> <mo>;</mo> </mrow>
其中，N(p)为p点的邻域，其大小大于待修复图像块的大小，Ns(p)定义为在p点邻域内已知像素点构成的域，运算|·|的作用是计算区域内像素点的数量，为以点p为中心的图像块与以点pi为中心的图像块的相似度；具体地，的计算方法如下：
<mrow> <msub> <mi>&amp;omega;</mi> <mrow> <mi>p</mi> <mo>,</mo> <msub> <mi>p</mi> <mi>i</mi> </msub> </mrow> </msub> <mo>=</mo> <mfrac> <mn>1</mn> <mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>p</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <msup> <mi>e</mi> <mrow> <mo>-</mo> <mfrac> <mrow> <msub> <mi>d</mi> <mi>s</mi> </msub> <mrow> <mo>(</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Psi;</mi> <mi>p</mi> </msub> <mo>,</mo> <mover> <mi>F</mi> <mo>&amp;OverBar;</mo> </mover> <msub> <mi>&amp;Psi;</mi> <mrow> <mi>p</mi> <mi>i</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <msup> <mi>&amp;sigma;</mi> <mn>2</mn> </msup> </mfrac> </mrow> </msup> <mo>;</mo> </mrow>
其中，ds(·,·)的作用是计算基于Facet方向特征的图像块距离，为归一化算子，σ为调节因子。
4.根据权利要求3所述的一种基于Facet方向导数特征的样例双重稀疏图像修复方法，其特征在于：所述的基于Facet方向特征的图像块距离的计算方法如下：
ds＝(1-η)·d(Ψp,Ψq)+η·d(Φp,Φq)；
其中，Φp与Φq为方向特征阵中中心位于点p和点q的图像块，Ψp和Ψq为原图像当中中心位于p点和q点的图像块，d(·,·)表示两样本块间的均方距离，调节因子η设置为0.4。
5.根据权利要求1所述的一种基于Facet方向导数特征的样例双重稀疏图像修复方法，其特征在于：步骤三中所述目标函数中稀疏表示系数αq具体求解过程如下：设已进行n步，现为第n+1步：
首先，定义格拉姆矩阵G＝(ΨTET-X)T(ΨTET-X)，其中X＝{DΨq1,DΨq2,...,DΨqn,DΨ}，E为单位列向量；
其次，求取将代入计算误差εn+1；
最后，若εn+1＜εn，则返回第一步求取格拉姆矩阵继续进行计算；若εn+1＞εn，则停止计算，输出
通过稀疏表示出目标图像块后，则可将图像块中相应缺失部分填入。
CN201710628792.0A 2017-07-28 2017-07-28 基于Facet方向导数特征的样例双重稀疏图像修复方法 Active CN107507139B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710628792.0A CN107507139B (zh) 2017-07-28 2017-07-28 基于Facet方向导数特征的样例双重稀疏图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710628792.0A CN107507139B (zh) 2017-07-28 2017-07-28 基于Facet方向导数特征的样例双重稀疏图像修复方法

Publications (2)

Publication Number Publication Date
CN107507139A true CN107507139A (zh) 2017-12-22
CN107507139B CN107507139B (zh) 2019-11-22

Family

ID=60690272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710628792.0A Active CN107507139B (zh) 2017-07-28 2017-07-28 基于Facet方向导数特征的样例双重稀疏图像修复方法

Country Status (1)

Country Link
CN (1) CN107507139B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN111724320A (zh) * 2020-06-19 2020-09-29 北京波谱华光科技有限公司 一种盲元填充方法和系统
CN112541856A (zh) * 2020-12-07 2021-03-23 重庆邮电大学 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106508A2 (en) * 2005-04-04 2006-10-12 Technion Research & Development Foundation Ltd. System and method for designing of dictionaries for sparse representation
CN103325095A (zh) * 2013-06-24 2013-09-25 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN104680492A (zh) * 2015-03-11 2015-06-03 浙江工业大学 基于样本结构一致性的图像修复方法
CN106023102A (zh) * 2016-05-16 2016-10-12 西安电子科技大学 一种基于多尺度结构块的图像修复方法
CN106851248A (zh) * 2017-02-13 2017-06-13 浙江工商大学 基于稀疏性的图像修复优先级计算方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006106508A2 (en) * 2005-04-04 2006-10-12 Technion Research & Development Foundation Ltd. System and method for designing of dictionaries for sparse representation
CN103325095A (zh) * 2013-06-24 2013-09-25 西南交通大学 一种结合方向因子的样本块稀疏性图像修复方法
CN104680492A (zh) * 2015-03-11 2015-06-03 浙江工业大学 基于样本结构一致性的图像修复方法
CN106023102A (zh) * 2016-05-16 2016-10-12 西安电子科技大学 一种基于多尺度结构块的图像修复方法
CN106851248A (zh) * 2017-02-13 2017-06-13 浙江工商大学 基于稀疏性的图像修复优先级计算方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665456A (zh) * 2018-05-15 2018-10-16 广州尚医网信息技术有限公司 基于人工智能的乳腺超声病灶区域实时标注的方法及系统
CN110189278A (zh) * 2019-06-06 2019-08-30 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN110189278B (zh) * 2019-06-06 2020-03-03 上海大学 一种基于生成对抗网络的双目场景图像修复方法
CN111724320A (zh) * 2020-06-19 2020-09-29 北京波谱华光科技有限公司 一种盲元填充方法和系统
CN111724320B (zh) * 2020-06-19 2021-01-08 北京波谱华光科技有限公司 一种盲元填充方法和系统
CN112541856A (zh) * 2020-12-07 2021-03-23 重庆邮电大学 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法
CN112541856B (zh) * 2020-12-07 2022-05-03 重庆邮电大学 一种结合马尔科夫场和格拉姆矩阵特征的医学类图像风格迁移方法

Also Published As

Publication number Publication date
CN107507139B (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN107507139A (zh) 基于Facet方向导数特征的样例双重稀疏图像修复方法
Li et al. Automatic skull defect restoration and cranial implant generation for cranioplasty
CN111507898A (zh) 基于自适应调整的图像超分辨率重建方法
Nana et al. Automatic reconstruction of beam structures from 3D topology optimization results
Kang et al. Mesh-based morphing method for rapid hull form generation
CN103295196A (zh) 基于非局部字典学习和双正则项的图像超分辨率重建方法
CN110197462A (zh) 一种人脸图像实时美化与纹理合成方法
CN107590775B (zh) 一种利用回归树场的图像超分辨率放大方法
CN104299250A (zh) 基于先验模型的正面人脸图像合成方法及系统
CN107967673A (zh) 一种自适应样本块图像修复方法
CN104063856A (zh) 一种快速超分辨率图像重建方法和装置
Svitov et al. Dinar: Diffusion inpainting of neural textures for one-shot human avatars
Yang et al. DMAT: Deformable medial axis transform for animated mesh approximation
CN116310066A (zh) 一种单图像三维人体形态估计方法及应用
CN109559278B (zh) 基于多特征学习的超分辨图像重建方法及系统
CN105069766B (zh) 一种基于汉字图像轮廓特征描述的碑文修复方法
KR101409842B1 (ko) 근육 및 외형 곡면 기반 개체 표준 메쉬 모델의 파라메트릭 제어를 통한 자동 리깅 및 형상 전이 방법
Sun et al. Structure-guided virtual restoration for defective silk cultural relics
CN116725563B (zh) 眼球突出度测量装置
CN104463793B (zh) 一种视频超分辨率重建方法及其系统
CN114332186A (zh) 一种无监督单视图船舶深度估计方法
Wang et al. Feature-preserving Mumford–Shah mesh processing via nonsmooth nonconvex regularization
Wang et al. Damage sensitive and original restoration driven thanka mural inpainting
CN104881842A (zh) 一种基于图像分解的图像超分辨率方法
Pang et al. An effective quad-dominant meshing method for unorganized point clouds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant