CN110298798B - 一种基于低秩张量补全与离散全变分的图像修复方法 - Google Patents

一种基于低秩张量补全与离散全变分的图像修复方法 Download PDF

Info

Publication number
CN110298798B
CN110298798B CN201910536041.5A CN201910536041A CN110298798B CN 110298798 B CN110298798 B CN 110298798B CN 201910536041 A CN201910536041 A CN 201910536041A CN 110298798 B CN110298798 B CN 110298798B
Authority
CN
China
Prior art keywords
image
formula
tensor
low
image restoration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910536041.5A
Other languages
English (en)
Other versions
CN110298798A (zh
Inventor
郑建炜
秦梦洁
陈婉君
徐宏辉
路程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201910536041.5A priority Critical patent/CN110298798B/zh
Publication of CN110298798A publication Critical patent/CN110298798A/zh
Application granted granted Critical
Publication of CN110298798B publication Critical patent/CN110298798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于低秩张量补全与离散全变分的图像修复方法，该方法引入离散全变分正则项因子整合到统一的目标函数中，提出基于低秩张量补全与离散全变分的方法，来用作自然图像修复，并且识别输入损坏图像的待修复像素，并通过建立已知元素和未知元素之间的关系，对待修复区域的边界进行不同方向的扩散，将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复，最终得到修复后的图像
Figure DDA0002101203980000011
本申请的图像修复方法在边缘处理上更加平滑，整体图像修复也更加精准。

Description

一种基于低秩张量补全与离散全变分的图像修复方法
技术领域
本申请属于图像处理领域，具体涉及一种基于低秩张量补全与离散全变分的图像修复方法。
背景技术
随着现代网络技术、计算机通信以及采样技术的快速发展，待分析的数据大都具有很复杂的结构。在捕获高维多线性数据的过程中，会有部分数据丢失。低秩张量补全(LowRank Tensor Completion,LRTC)是根据数据集的低秩性来恢复出丢失元素。矩阵补全，即二阶张量补全问题，可以有效的从已知项的较小样本中估计矩阵的缺失值，已被应用到著名的Netflix问题中，在这个问题中，我们可以根据一小部分的电影评级来推断用户对未知电影的偏好。矩阵补全方法通常假设矩阵是低秩的，以此为约束，使给定的不完全矩阵和估计矩阵的差值最小化。但当待分析数据具有复杂的结构时，用矩阵描述高维数据会造成数据的维数灾难、过拟合甚至会破坏数据结构。因此，张量作为矩阵高阶推广能够更好的表达出高阶数据复杂的本质结构。其中，低秩表示是一种极具应用前景的方法。低秩表示广泛应用在信号处理和计算机视觉领域，如图像分类、动态分割和人脸识别等。
图像修复是计算机视觉和图像处理领域的一个重要研究内容，它可以表述为一个缺失值估计问题。缺失值估计的核心问题在于如何建立已知元素和未知元素之间的关系。近年来，有许多学者提出了不同的图像修复算法，主要分为三类：1)基于变分微分方程的图像修复；2)基于纹理合成的图像修复；3)混合方法。Bertalmia等人首次提出基于微分方程的图像修复方法，其通过对待修复区域的边界进行不同方向的扩散将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复。这种方法仅对图像中仅有较小区域的破损才具有较好的修复效果。Chan等人提出了全变分(Total Variation,TV)算法，其最大优点是有效克服了线性滤波在抑制噪声的同时平滑图像边缘，但是TV算法的最大缺陷是不能满足人类视觉中的“不连续”原则。曲率驱动扩散(Curvature-Drive Diffusion,CDD)算法，是对TV算法的一种改进算法，其目的是解决在TV算法中视觉不连续问题。Criminisi等人提出了基于样本块的图像修复算法，其利用待修复区域的边界信息计算待修复块的优先级，然后在图像未破损区域寻找与待修复块相似度最大的样本块来进行填充修补。该算法对大面积的破损区域有较好的修复效果，但是修复时间过长降低了算法效率。
发明内容
本申请提供一种基于低秩张量补全与离散全变分的图像修复方法，该方法在自然图像修复中，在边缘处理上更加平滑，整体图像修复也更加精准。
为实现上述目的，本申请所采取的技术方案为：
一种基于低秩张量补全与离散全变分的图像修复方法，所述基于低秩张量补全与离散全变分的图像修复方法，包括：
步骤1、获取不完全张量
Figure GDA0002816666760000021
即破损图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；
步骤2、以低秩张量补全模型为框架，引入TVd正则项和Schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，所述的图像修复模型为：
Figure GDA0002816666760000022
式中，
Figure GDA0002816666760000023
表示输出的恢复张量，
Figure GDA0002816666760000024
表示输入的不完全张量，且
Figure GDA0002816666760000025
N表示张量的维度，βi为0或1，λi表示平衡参数，TVd(D(i)M(i))和||M(i)||sp为正则项，M(i)表示张量
Figure GDA0002816666760000026
展开后的第i层矩阵，[D(i)]j,j＝1，[D(i)]j,j+1＝-1，D(i)中的其他元素为0；
步骤3、引入辅助变量
Figure GDA0002816666760000027
和
Figure GDA0002816666760000028
将对所述图像修复模型中
Figure GDA0002816666760000029
的求解转化为对
Figure GDA00028166667600000210
的求解，将对所述图像修复模型中
Figure GDA00028166667600000211
的求解转化为对
Figure GDA00028166667600000212
的求解；
步骤4、采用CP算法迭代优化所述辅助变量
Figure GDA00028166667600000213
采用ADMM算法求解所述图像修复模型中的R子问题、M子问题和
Figure GDA00028166667600000214
子问题，以更新辅助变量
Figure GDA00028166667600000215
未知变量
Figure GDA00028166667600000216
恢复张量
Figure GDA00028166667600000217
步骤5、判断是否达到预设的迭代次数，若达到预设的迭代次数，则输出最新的恢复张量
Figure GDA00028166667600000218
即修复后的图像；若未达到迭代次数，则进入步骤4继续迭代；
其中，所述以低秩张量补全模型为框架，引入TVd正则项和Schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，包括：
步骤2.1、取所述低秩张量补全模型为：
Figure GDA0002816666760000031
式中，
Figure GDA0002816666760000032
表示输出的恢复张量，
Figure GDA0002816666760000033
表示输入的不完全张量，且
Figure GDA0002816666760000034
N表示张量的维度，M(i)表示张量
Figure GDA0002816666760000035
展开后的第i层矩阵，αi和λi是平衡参数，||M(i)||*和TV(M(i))是正则项；
步骤2.2、引入TVd正则项保持图像的光滑性，TVd定义公式如下：
Figure GDA0002816666760000036
式中，|·|表示在
Figure GDA0002816666760000037
上的l2范数，n表示上采样因子，u(i,j)表示图像中的像素值，Ω表示所述集合Ω，且Ω＝IP×IQ表示大小为P×Q的二维离散域，
Figure GDA0002816666760000038
表示离散灰度图；
根据所述TVd定义公式，得到TVd的对偶形式为：
Figure GDA0002816666760000039
式中，
Figure GDA00028166667600000310
步骤2.3、针对低秩矩阵M引入Schatten-p范数为：
Figure GDA00028166667600000311
式中，min{m,n}是低秩矩阵M的秩，σi表示M的第i个奇异值，p为Schatten-p范数的参数，当p＝1时，||M||sp则为所有的奇异值之和，即核范数；
且||M||sp的近端映射可表示为：
Figure GDA00028166667600000312
式中，λ表示平衡参数，p为Schatten-p范数的参数；
步骤2.4、利用TVd正则项和Schatten-p范数优化所述低秩张量补全模型，得到基于低秩张量补全与离散全变分的图像修复模型；
其中，所述引入辅助变量
Figure GDA0002816666760000041
和
Figure GDA0002816666760000042
将对所述图像修复模型中
Figure GDA0002816666760000043
的求解转化为对
Figure GDA0002816666760000044
的求解，将对所述图像修复模型中
Figure GDA0002816666760000045
的求解转化为对
Figure GDA0002816666760000046
的求解，包括：
步骤3.1、考虑到图像修复模型中的正则项TVd(D(i)M(i))和正则项||M(i)||sp是不独立的，故引入辅助变量
Figure GDA0002816666760000047
和
Figure GDA0002816666760000048
将所述图像修复模型重写为：
Figure GDA0002816666760000049
步骤3.2、采用ADMM算法将公式(7)展开，图像修复模型的展开式为：
Figure GDA00028166667600000410
式中，
Figure GDA00028166667600000411
是拉格朗日算子，ρ1，ρ2，ρ3是平衡参数，
Figure GDA00028166667600000412
是Frobenius范数；
根据公式(6)和(8)，从而将对所述图像修复模型中
Figure GDA00028166667600000413
的求解转化为对
Figure GDA00028166667600000414
的求解，将对所述图像修复模型中
Figure GDA00028166667600000415
的求解转化为对
Figure GDA00028166667600000416
的求解；
其中，所述采用CP算法迭代优化所述辅助变量
Figure GDA00028166667600000417
包括：
步骤4.1、建立
Figure GDA00028166667600000418
在ADMM算法下的子问题为：
Figure GDA00028166667600000419
步骤4.2、根据TVd的对偶形式，将步骤4.1中的公式(9)重写为：
Figure GDA00028166667600000420
步骤4.3、采用CP算法求解步骤4.2中的公式(10)，得到最新的
Figure GDA0002816666760000051
求解过程如下：
步骤4.3.1、初始化参数τ,σ＞0；θ∈[0,1],迭代次数k＝0，最大迭代次数a，Q(i),q(i)＝0,
Figure GDA0002816666760000052
步骤4.3.2、若k≤a，继续向下执行；否则输出Q(i) k+1，作为
Figure GDA0002816666760000053
的最新值；
步骤4.3.3、
Figure GDA0002816666760000054
步骤4.3.4、Q(i) k+1＝proxτ[G](Q(i) k-τKTq(i) k+1)；
步骤4.3.5、
Figure GDA0002816666760000055
步骤4.3.6、k＝k+1，并返回至步骤4.3.2；
其中，所述采用ADMM算法求解所述图像修复模型中的M子问题，以更新未知变量
Figure GDA0002816666760000056
包括：
步骤4.4、建立
Figure GDA0002816666760000057
在ADMM算法下的子问题为：
Figure GDA0002816666760000058
步骤4.5、采用近端梯度下降方法求解
Figure GDA0002816666760000059
的子问题，包括：
令
Figure GDA00028166667600000510
式中，ψk(M(i))表示
Figure GDA00028166667600000511
的利普希兹常数，且令
Figure GDA00028166667600000512
根据公式(12)、(13)将公式(11)重写为：
Figure GDA00028166667600000513
式中，
Figure GDA00028166667600000514
Figure GDA00028166667600000515
表示ψk(M(i) k+1)在点M(i) k的梯度，且
Figure GDA00028166667600000516
令
Figure GDA00028166667600000517
Figure GDA00028166667600000518
为；
Figure GDA0002816666760000061
公式(16)中，ω(i) k的定义为；
Figure GDA0002816666760000062
其中，
Figure GDA0002816666760000063
在对公式(14)求解时，对公式(15)求导得到
Figure GDA0002816666760000064
将
Figure GDA0002816666760000065
代入公式(17)得到ω(i) k的值，并将ω(i) k代入公式(16)中得到
Figure GDA0002816666760000066
将
Figure GDA0002816666760000067
代入公式(14)中得到M(i) k+1作为
Figure GDA0002816666760000068
的最新值；
其中，所述采用ADMM算法求解所述图像修复模型中的R子问题，以更新辅助变量
Figure GDA0002816666760000069
包括：
步骤4.6、建立
Figure GDA00028166667600000610
在ADMM算法下的子问题为：
Figure GDA00028166667600000611
步骤4.7、通过最小化问题的求解，即对公式(18)求导，计算出R(i)为：
Figure GDA00028166667600000612
式中I为单位矩阵，且计算得到R(i)作为
Figure GDA00028166667600000613
的最新值；
其中，采用ADMM算法求解所述图像修复模型中的
Figure GDA00028166667600000614
子问题，以更新恢复张量
Figure GDA00028166667600000615
包括：
步骤4.8、建立
Figure GDA00028166667600000616
在ADMM算法下的子问题为：
Figure GDA00028166667600000617
步骤4.9、通过最小化问题的求解，即对公式(20)求导，计算出
Figure GDA00028166667600000618
为：
Figure GDA00028166667600000619
式中，fold(i)(·)表示张量的模式N展开的相反操作；公式(21)输出的
Figure GDA00028166667600000620
作为
Figure GDA00028166667600000621
的最新值。
作为优选，所述确定破损图像中待修复区域的所有未知像素点的集合Ω，包括：
获取破损图像中所有像素点的像素值，划分像素值不为0的像素点为已知像素点，划分像素值为0的像素点为未知像素点，取所有未知像素点组成集合Ω。
作为优选，所述基于低秩张量补全与离散全变分的图像修复方法在算法中显示为：
输入：不完全张量
Figure GDA0002816666760000071
初始化迭代次数T＝0，最大迭代次数b，λ,ρ1，ρ2，ρ3和μ∈[1，1.5]；
输出：恢复张量
Figure GDA0002816666760000072
S6.1、初始化
Figure GDA0002816666760000073
S6.2、若T≤b，则继续向下执行；否则输出恢复张量
Figure GDA0002816666760000074
S6.3、通过公式(9)，(11)，(18)，(20)分别更新
Figure GDA0002816666760000075
S6.4、更新
Figure GDA0002816666760000076
S6.5、更新
Figure GDA0002816666760000077
S6.6、更新
Figure GDA0002816666760000078
S6.7、计算ρ1＝μρ1,ρ2＝μρ2,ρ3＝μρ3；
S6.8、T＝T+1，并返回至S6.2。
本申请提供的基于低秩张量补全与离散全变分的图像修复方法，该方法引入离散全变分正则项因子整合到统一的目标函数中，提出基于低秩张量补全与离散全变分的方法，来用作自然图像修复，并且识别输入损坏图像的待修复像素，并通过建立已知元素和未知元素之间的关系，对待修复区域的边界进行不同方向的扩散，将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复，最终得到修复后的图像
Figure GDA0002816666760000079
本申请的图像修复方法在边缘处理上更加平滑，整体图像修复也更加精准。
附图说明
图1为本申请的基于低秩张量补全与离散全变分的图像修复方法的流程图；
图2为待修复区域的一种实施例示意图；
图3为本申请的一种应用示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本申请。
如图1所示，在一实施例中，提供一种基于低秩张量补全与离散全变分的图像修复方法，以一种对边缘处理更加平滑，整体图像修复更加精准的方式实现图像修复，克服了现有技术中图像修复的不足，具有较大的推广意义。
基于低秩张量补全与离散全变分的图像修复方法的具体步骤如下：
步骤1、获取不完全张量
Figure GDA0002816666760000081
即破损图像，确定破损图像中待修复区域的所有未知像素点的集合Ω。
如图2所示，在获取集合Ω时，首先获取破损图像中所有像素点的像素值，划分像素值不为0的像素点为已知像素点，划分像素值为0的像素点为未知像素点，取所有未知像素点组成待修复区域的集合Ω，且待修复区域的边界为
Figure GDA0002816666760000082
步骤2、以低秩张量补全模型为框架，引入TVd正则项和Schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型。
步骤2.1、取现有技术中的低秩张量补全(LRTC)模型为：
Figure GDA0002816666760000083
式中，
Figure GDA0002816666760000084
表示输出的恢复张量，
Figure GDA0002816666760000085
表示输入的不完全张量，且
Figure GDA0002816666760000086
N表示张量的维度，M(i)表示张量
Figure GDA0002816666760000087
展开后的第i层矩阵，
Figure GDA0002816666760000088
表示张量展开后的第i层矩阵，αi和λi是平衡参数，||M(i)||*和TV(M(i))是正则项。
步骤2.2、由于TV作为衡量图像光滑度的标准的最大缺陷是不能满足人类视觉中的“不连续”原则，故本实施例中引入TVd正则项保持图像的光滑性，TVd定义公式如下：
Figure GDA0002816666760000091
式中，|·|表示在
Figure GDA0002816666760000092
上的l2范数，n表示上采样因子，u(i,j)表示图像中的像素值，Ω表示所述集合Ω，且Ω＝IP×IQ表示大小为P×Q的二维离散域，
Figure GDA0002816666760000093
表示离散灰度图。
根据所述TVd定义公式，得到TVd的对偶形式为：
Figure GDA0002816666760000094
式中，
Figure GDA0002816666760000095
步骤2.3、对于数据恢复来说，直接最小化数据的秩显然是一个NP-hard问题，但是由于核范数可以视为秩的凸近似，虽然在这种近似下数据恢复的准确率和鲁棒性都有所提高，但是标准的核范数存在的最大的问题为奇异值受到抑制且重构数据与原始数据之间的误差较大。
为了解决核范数中存在的问题，同时高效地恢复图像，本实施例针对低秩矩阵M引入Schatten-p范数为：
Figure GDA0002816666760000096
式中，min{m,n}是低秩矩阵M的秩，σi表示M的第i个奇异值，p为Schatten-p范数的参数，当p＝1时，||M||sp则为所有的奇异值之和，即核范数。
且||M||sp的近端映射可表示为：
Figure GDA0002816666760000097
式中，λ表示平衡参数，p为Schatten-p范数的参数。
步骤2.4、利用TVd正则项和Schatten-p范数优化所述低秩张量补全模型，得到基于低秩张量补全与离散全变分的图像修复模型为：
Figure GDA0002816666760000098
式中，
Figure GDA0002816666760000099
表示输出的恢复张量，
Figure GDA00028166667600000910
表示输入的不完全张量，且
Figure GDA00028166667600000911
N表示张量的维度，βi为0或1，βi＝1表示张量的第i个模展开中具有光滑分段先验，βi＝0表示张量的第i个模展开中不具有光滑分段先验，λi表示平衡参数，TVd(D(i)M(i))和||M(i)||sp为正则项，M(i)表示张量
Figure GDA0002816666760000101
展开后的第i层矩阵，
Figure GDA0002816666760000102
表示张量展开后的第i层矩阵，D(i)表示(Ii-1)-by-Ii的矩阵，且[D(i)]j,j＝1，[D(i)]j,j+1＝-1，D(i)中的其他元素为等于0。3
步骤3、引入辅助变量
Figure GDA0002816666760000103
和
Figure GDA0002816666760000104
将对所述图像修复模型中
Figure GDA0002816666760000105
的求解转化为对
Figure GDA0002816666760000106
的求解，将对所述图像修复模型中
Figure GDA0002816666760000107
的求解转化为对
Figure GDA0002816666760000108
的求解。
步骤3.1、考虑到图像修复模型中的正则项TVd(D(i)M(i))和正则项||M(i)||sp是不独立的，故引入辅助变量
Figure GDA0002816666760000109
和
Figure GDA00028166667600001010
将所述图像修复模型(公式(6))重写为：
Figure GDA00028166667600001011
步骤3.2、采用ADMM算法(Alternating Direction Method of Multipliers，交替方向乘子法)将公式(7)展开，图像修复模型的展开式为：
Figure GDA00028166667600001012
式中，
Figure GDA00028166667600001013
是拉格朗日算子，ρ1，ρ2，ρ3是平衡参数，
Figure GDA00028166667600001014
是Frobenius范数。
根据公式(6)和(8)将对所述图像修复模型中
Figure GDA00028166667600001015
的求解转化为对
Figure GDA00028166667600001016
的求解，将对所述图像修复模型中
Figure GDA00028166667600001017
的求解转化为对
Figure GDA00028166667600001018
的求解。
步骤4、采用(Chambolle-Pock)CP算法迭代优化所述辅助变量
Figure GDA00028166667600001019
采用ADMM算法求解所述图像修复模型中的R子问题、M子问题和
Figure GDA00028166667600001020
子问题，以更新辅助变量
Figure GDA0002816666760000111
未知变量
Figure GDA0002816666760000112
恢复张量
Figure GDA0002816666760000113
具体地，采用CP算法迭代优化所述辅助变量
Figure GDA0002816666760000114
包括：
步骤4.1、建立
Figure GDA0002816666760000115
在ADMM算法下的子问题为：
Figure GDA0002816666760000116
步骤4.2、根据TVd的对偶形式，将步骤4.1中的公式(9)重写为：
Figure GDA0002816666760000117
步骤4.3、CP算法应用于解决一种基本最小值和对偶最大值的形式问题，该形式问题可表达为
Figure GDA0002816666760000118
且公式(10)与该形式的结构相同，故采用CP算法求解步骤4.2中的公式(10)，得到最新的
Figure GDA0002816666760000119
求解过程如下：
步骤4.3.1、初始化参数τ,σ＞0；θ∈[0,1],迭代次数k＝0，最大迭代次数a，本实施例中可设置a为100，Q(i),q(i)＝0,
Figure GDA00028166667600001110
步骤4.3.2、若k≤a，继续向下执行；否则输出Q(i) k+1，作为
Figure GDA00028166667600001111
的最新值；
步骤4.3.3、
Figure GDA00028166667600001112
步骤4.3.4、Q(i) k+1＝proxτ[G](Q(i) k-τKTq(i) k+1)；
步骤4.3.5、
Figure GDA00028166667600001113
步骤4.3.6、k＝k+1，并返回至步骤4.3.2。
具体的，采用ADMM算法求解图像修复模型中的M子问题，以更新未知变量
Figure GDA00028166667600001114
包括：
步骤4.4、建立
Figure GDA00028166667600001115
在ADMM算法下的子问题为：
Figure GDA00028166667600001116
步骤4.5、采用近端梯度下降方法求解
Figure GDA00028166667600001117
的子问题，包括：
令
Figure GDA00028166667600001118
式中，ψk(M)表示
Figure GDA0002816666760000121
的利普希兹常数，且令
Figure GDA0002816666760000122
根据公式(12)、(13)将公式(11)重写为：
Figure GDA0002816666760000123
式中，
Figure GDA0002816666760000124
Figure GDA0002816666760000125
表示ψk(M(i) k+1)在点M(i) k的梯度，且
Figure GDA0002816666760000126
令
Figure GDA0002816666760000127
Figure GDA0002816666760000128
为；
Figure GDA0002816666760000129
公式(16)中，ω(i) k的定义为；
Figure GDA00028166667600001210
其中，
Figure GDA00028166667600001211
在对公式(14)求解时，对公式(15)求导得到
Figure GDA00028166667600001212
将
Figure GDA00028166667600001213
代入公式(17)得到ω(i) k的值，并将ω(i) k代入公式(16)中得到
Figure GDA00028166667600001214
将
Figure GDA00028166667600001215
代入公式(14)中得到M(i) k+1作为
Figure GDA00028166667600001216
的最新值。
具体的，采用ADMM算法求解所述图像修复模型中的R子问题，以更新辅助变量
Figure GDA00028166667600001217
包括：
步骤4.6、建立
Figure GDA00028166667600001218
在ADMM算法下的子问题为：
Figure GDA00028166667600001219
步骤4.7、通过最小化问题的求解，即对公式(18)求导，计算出R(i)为：
Figure GDA00028166667600001220
式中I为单位矩阵，且计算得到R(i)作为
Figure GDA00028166667600001221
的最新值。
具体的，采用ADMM算法求解所述图像修复模型中的
Figure GDA00028166667600001222
子问题，以更新恢复张量
Figure GDA0002816666760000131
包括：
步骤4.8、建立
Figure GDA0002816666760000132
在ADMM算法下的子问题为：
Figure GDA0002816666760000133
步骤4.9、通过最小化问题的求解，即对公式(20)求导，计算出
Figure GDA0002816666760000134
为：
Figure GDA0002816666760000135
式中，fold(i)(·)表示张量的模式N展开的相反操作；公式(21)输出的
Figure GDA0002816666760000136
作为
Figure GDA0002816666760000137
的最新值。
在对所有子问题求解完成后，更新拉格朗日算子
Figure GDA0002816666760000138
和平衡参数ρ1，ρ2，ρ3。
步骤5、判断是否达到预设的迭代次数，若达到预设的迭代次数，则输出最新的恢复张量
Figure GDA0002816666760000139
即修复后的图像；若未达到迭代次数，则进入步骤4继续迭代。
如图3所示，图中最左侧的图为破损图像，经过本实施例的基于低秩张量补全与离散全变分的图像修复方法处理后，输出最右侧的修复图像，该修复图像的边缘处理平滑，且修复的精准度高。
本实施例引入离散全变分正则项因子整合到统一的目标函数中，并提出基于低秩张量补全与离散全变分的方法，来用作自然图像修复，使得图像处理过程中在边缘处理上更加平滑，整体图像修复也更加精准。
以下通过实施例进一步说明本申请基于低秩张量补全与离散全变分的图像修复方法的流程。
实施例1
本申请的基于低秩张量补全与离散全变分的图像修复方法在算法中显示为：
输入：不完全张量
Figure GDA00028166667600001310
初始化迭代次数T＝0，最大迭代次数b，λ,ρ1，ρ2，ρ3和μ∈[1，1.5]；
输出：恢复张量
Figure GDA00028166667600001311
S6.1、初始化
Figure GDA0002816666760000141
S6.2、若T≤b，则继续向下执行；否则输出恢复张量
Figure GDA0002816666760000142
S6.3、通过公式(9)，(11)，(18)，(20)分别更新
Figure GDA0002816666760000143
S6.4、更新
Figure GDA0002816666760000144
S6.5、更新
Figure GDA0002816666760000145
S6.6、更新
Figure GDA0002816666760000146
S6.7、计算ρ1＝μρ1,ρ2＝μρ2,ρ3＝μρ3；
S6.8、T＝T+1，并返回至S6.2。
该算法中的S6.1对应于图像修复方法中的步骤1～3，该算法中的S6.3～S6.7对应于图像修复方法中的步骤4，该算法中的S6.2、S6.8对应于图像修复方法中的步骤5。
需要说明的是，本申请中涉及的参数(相关字母或符号)表示的含义相同，从而避免重复定义参数含义。
本实施例的基于低秩张量补全与离散全变分的图像修复方法，首先识别输入损坏图像的待修复像素，并通过建立已知元素和未知元素之间的关系，对待修复区域的边界进行不同方向的扩散，将未破损区域的信息扩散到待修补的区域的内部来对图像进行修复，最终得到修复后的图像
Figure GDA0002816666760000147
该图像修复方法在边缘处理上更加平滑，整体图像修复也更加精准。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于低秩张量补全与离散全变分的图像修复方法方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种基于低秩张量补全与离散全变分的图像修复方法，其特征在于，所述基于低秩张量补全与离散全变分的图像修复方法，包括：
步骤1、获取不完全张量
Figure FDA00028166667500000123
即破损图像，确定破损图像中待修复区域的所有未知像素点的集合Ω；
步骤2、以低秩张量补全模型为框架，引入TVd正则项和Schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，所述的图像修复模型为：
Figure FDA0002816666750000011
式中，
Figure FDA0002816666750000012
表示输出的恢复张量，
Figure FDA0002816666750000013
表示输入的不完全张量，且
Figure FDA0002816666750000014
N表示张量的维度，βi为0或1，λi表示平衡参数，TVd(D(i)M(i))和||M(i)||sp为正则项，M(i)表示张量
Figure FDA0002816666750000015
展开后的第i层矩阵，[D(i)]j,j＝1，[D(i)]j,j+1＝-1，D(i)中的其他元素为0；
步骤3、引入辅助变量
Figure FDA0002816666750000016
和
Figure FDA0002816666750000017
将对所述图像修复模型中
Figure FDA0002816666750000018
的求解转化为对
Figure FDA0002816666750000019
的求解，将对所述图像修复模型中
Figure FDA00028166667500000110
的求解转化为对
Figure FDA00028166667500000111
的求解；
步骤4、采用CP算法迭代优化所述辅助变量
Figure FDA00028166667500000112
采用ADMM算法求解所述图像修复模型中的R子问题、M子问题和
Figure FDA00028166667500000113
子问题，以更新辅助变量
Figure FDA00028166667500000114
未知变量
Figure FDA00028166667500000115
恢复张量
Figure FDA00028166667500000116
步骤5、判断是否达到预设的迭代次数，若达到预设的迭代次数，则输出最新的恢复张量
Figure FDA00028166667500000117
即修复后的图像；若未达到迭代次数，则进入步骤4继续迭代；
其中，所述以低秩张量补全模型为框架，引入TVd正则项和Schatten-p范数，构建基于低秩张量补全与离散全变分的图像修复模型，包括：
步骤2.1、取所述低秩张量补全模型为：
Figure FDA00028166667500000118
式中，
Figure FDA00028166667500000119
表示输出的恢复张量，
Figure FDA00028166667500000120
表示输入的不完全张量，且
Figure FDA00028166667500000121
N表示张量的维度，M(i)表示张量
Figure FDA00028166667500000122
展开后的第i层矩阵，αi和λi是平衡参数，||M(i)||*和TV(M(i))是正则项；
步骤2.2、引入TVd正则项保持图像的光滑性，TVd定义公式如下：
Figure FDA0002816666750000021
式中，|·|表示在
Figure FDA0002816666750000022
上的l2范数，n表示上采样因子，u(i,j)表示图像中的像素值，Ω表示所述集合Ω，且Ω＝IP×IQ表示大小为P×Q的二维离散域，
Figure FDA0002816666750000023
表示离散灰度图；
根据所述TVd定义公式，得到TVd的对偶形式为：
Figure FDA0002816666750000024
式中，
Figure FDA0002816666750000025
步骤2.3、针对低秩矩阵M引入Schatten-p范数为：
Figure FDA0002816666750000026
式中，min{m,n}是低秩矩阵M的秩，σi表示M的第i个奇异值，p为Schatten-p范数的参数，当p＝1时，||M||sp则为所有的奇异值之和，即核范数；
且||M||sp的近端映射可表示为：
Figure FDA0002816666750000027
式中，λ表示平衡参数，p为Schatten-p范数的参数；
步骤2.4、利用TVd正则项和Schatten-p范数优化所述低秩张量补全模型，得到基于低秩张量补全与离散全变分的图像修复模型；
其中，所述引入辅助变量
Figure FDA0002816666750000028
和
Figure FDA0002816666750000029
将对所述图像修复模型中
Figure FDA00028166667500000210
的求解转化为对
Figure FDA00028166667500000211
的求解，将对所述图像修复模型中
Figure FDA00028166667500000212
的求解转化为对
Figure FDA00028166667500000213
的求解，包括：
步骤3.1、考虑到图像修复模型中的正则项TVd(D(i)M(i))和正则项||M(i)||sp是不独立的，故引入辅助变量
Figure FDA00028166667500000214
和
Figure FDA00028166667500000215
将所述图像修复模型重写为：
Figure FDA0002816666750000031
步骤3.2、采用ADMM算法将公式(7)展开，图像修复模型的展开式为：
Figure FDA0002816666750000032
式中，
Figure FDA0002816666750000033
是拉格朗日算子，ρ1，ρ2，ρ3是平衡参数，
Figure FDA0002816666750000034
是Frobenius范数；
根据公式(6)和(8)，从而将对所述图像修复模型中
Figure FDA0002816666750000035
的求解转化为对
Figure FDA0002816666750000036
的求解，将对所述图像修复模型中
Figure FDA0002816666750000037
的求解转化为对
Figure FDA0002816666750000038
的求解；
其中，所述采用CP算法迭代优化所述辅助变量
Figure FDA0002816666750000039
包括：
步骤4.1、建立
Figure FDA00028166667500000310
在ADMM算法下的子问题为：
Figure FDA00028166667500000311
步骤4.2、根据TVd的对偶形式，将步骤4.1中的公式(9)重写为：
Figure FDA00028166667500000312
步骤4.3、采用CP算法求解步骤4.2中的公式(10)，得到最新的
Figure FDA00028166667500000313
求解过程如下：
步骤4.3.1、初始化参数τ,σ＞0；θ∈[0,1],迭代次数k＝0，最大迭代次数a，Q(i),q(i)＝0,
Figure FDA00028166667500000314
步骤4.3.2、若k≤a，继续向下执行；否则输出Q(i) k+1，作为
Figure FDA00028166667500000315
的最新值；
步骤4.3.3、
Figure FDA00028166667500000316
步骤4.3.4、Q(i) k+1＝proxτ[G](Q(i) k-τKTq(i) k+1)；
步骤4.3.5、
Figure FDA0002816666750000041
步骤4.3.6、k＝k+1，并返回至步骤4.3.2；
其中，所述采用ADMM算法求解所述图像修复模型中的M子问题，以更新未知变量
Figure FDA0002816666750000042
包括：
步骤4.4、建立
Figure FDA0002816666750000043
在ADMM算法下的子问题为：
Figure FDA0002816666750000044
步骤4.5、采用近端梯度下降方法求解
Figure FDA0002816666750000045
的子问题，包括：
令
Figure FDA0002816666750000046
式中，ψk(M(i))表示
Figure FDA0002816666750000047
的利普希兹常数，且令
Figure FDA0002816666750000048
根据公式(12)、(13)将公式(11)重写为：
Figure FDA0002816666750000049
式中，
Figure FDA00028166667500000410
表示ψk(M(i) k+1)在点M(i) k的梯度，且
Figure FDA00028166667500000411
令
Figure FDA00028166667500000412
Figure FDA00028166667500000418
为；
Figure FDA00028166667500000413
公式(16)中，ω(i) k的定义为；
Figure FDA00028166667500000414
其中，t(i) 0＝1,
Figure FDA00028166667500000415
在对公式(14)求解时，对公式(15)求导得到
Figure FDA00028166667500000416
将
Figure FDA00028166667500000417
代入公式(17)得到ω(i) k的值，并将ω(i) k代入公式(16)中得到
Figure FDA0002816666750000051
将
Figure FDA0002816666750000052
代入公式(14)中得到M(i) k+1作为
Figure FDA0002816666750000053
的最新值；
其中，所述采用ADMM算法求解所述图像修复模型中的R子问题，以更新辅助变量
Figure FDA0002816666750000054
包括：
步骤4.6、建立
Figure FDA0002816666750000055
在ADMM算法下的子问题为：
Figure FDA0002816666750000056
步骤4.7、通过最小化问题的求解，即对公式(18)求导，计算出R(i)为：
Figure FDA0002816666750000057
式中I为单位矩阵，且计算得到R(i)作为
Figure FDA0002816666750000058
的最新值；
其中，采用ADMM算法求解所述图像修复模型中的
Figure FDA0002816666750000059
子问题，以更新恢复张量
Figure FDA00028166667500000510
包括：
步骤4.8、建立
Figure FDA00028166667500000511
在ADMM算法下的子问题为：
Figure FDA00028166667500000512
步骤4.9、通过最小化问题的求解，即对公式(20)求导，计算出
Figure FDA00028166667500000513
为：
Figure FDA00028166667500000514
式中，fold(i)(·)表示张量的模式N展开的相反操作；公式(21)输出的
Figure FDA00028166667500000515
作为
Figure FDA00028166667500000516
的最新值。
2.如权利要求1所述的基于低秩张量补全与离散全变分的图像修复方法，其特征在于，所述确定破损图像中待修复区域的所有未知像素点的集合Ω，包括：
获取破损图像中所有像素点的像素值，划分像素值不为0的像素点为已知像素点，划分像素值为0的像素点为未知像素点，取所有未知像素点组成集合Ω。
3.如权利要求1所述的基于低秩张量补全与离散全变分的图像修复方法，其特征在于，所述基于低秩张量补全与离散全变分的图像修复方法在算法中显示为：
输入：不完全张量
Figure FDA0002816666750000061
初始化迭代次数T＝0，最大迭代次数b，λ,ρ1，ρ2，ρ3和μ∈[1，1.5]；
输出：恢复张量
Figure FDA0002816666750000062
S6.1、初始化
Figure FDA0002816666750000063
S6.2、若T≤b，则继续向下执行；否则输出恢复张量
Figure FDA0002816666750000064
S6.3、通过公式(9)，(11)，(18)，(20)分别更新
Figure FDA0002816666750000065
S6.4、更新
Figure FDA0002816666750000066
S6.5、更新
Figure FDA0002816666750000067
S6.6、更新
Figure FDA0002816666750000068
S6.7、计算ρ1＝μρ1,ρ2＝μρ2,ρ3＝μρ3；
S6.8、T＝T+1，并返回至S6.2。
CN201910536041.5A 2019-06-20 2019-06-20 一种基于低秩张量补全与离散全变分的图像修复方法 Active CN110298798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910536041.5A CN110298798B (zh) 2019-06-20 2019-06-20 一种基于低秩张量补全与离散全变分的图像修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910536041.5A CN110298798B (zh) 2019-06-20 2019-06-20 一种基于低秩张量补全与离散全变分的图像修复方法

Publications (2)

Publication Number Publication Date
CN110298798A CN110298798A (zh) 2019-10-01
CN110298798B true CN110298798B (zh) 2021-02-19

Family

ID=68028374

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910536041.5A Active CN110298798B (zh) 2019-06-20 2019-06-20 一种基于低秩张量补全与离散全变分的图像修复方法

Country Status (1)

Country Link
CN (1) CN110298798B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798663B (zh) * 2019-11-13 2021-08-31 河北工业大学 基于稀疏感知的无线多媒体传感器网络图像获取方法
CN111260571B (zh) * 2020-01-11 2022-09-23 浙江工业大学 一种基于非凸低秩低梯度的深度图像修复方法
CN111325697B (zh) * 2020-03-04 2022-10-25 西安交通大学 一种基于张量本征变换的彩色图像修复方法
CN111598798B (zh) * 2020-04-27 2023-09-05 浙江工业大学 一种基于低秩张量链分解的图像修复方法
CN111598795B (zh) * 2020-04-27 2023-08-29 浙江工业大学 一种基于张量环分解的高光谱图像去噪方法及装置
CN111951183B (zh) * 2020-07-14 2024-03-29 浙江工业大学 基于近端交替惩罚算法的低秩全变分高光谱图像修复方法
CN111951185B (zh) * 2020-07-15 2024-03-29 浙江工业大学 基于低秩张量环分解与高阶结构化与图像修复方法
CN112085666B (zh) * 2020-07-30 2024-03-26 浙江工业大学 一种基于重启策略与近似交替惩罚算法的图像补全方法
CN112116532B (zh) * 2020-08-04 2022-07-12 西安交通大学 一种基于张量块循环展开的彩色图像补全方法
CN112241938B (zh) * 2020-08-21 2024-02-13 浙江工业大学 基于光滑塔克分解与高阶张量汉克化的图像修复方法
CN112596104B (zh) * 2020-12-09 2022-04-01 成都理工大学 一种结合张量分解和全变分的地震资料去噪方法
CN112991195B (zh) * 2021-01-29 2024-02-02 西安理工大学 针对破损视频的α阶全变分约束的低秩张量补全方法
CN113222858A (zh) * 2021-06-01 2021-08-06 山东贝特建筑项目管理咨询有限公司 一种锚栓图像的图像修复方法和系统
CN114119426B (zh) * 2022-01-26 2022-07-01 之江实验室 非局部低秩转换域与全连接张量分解图像重构方法及装置
CN116931619B (zh) * 2023-09-13 2024-01-09 深圳英谷激光有限公司 一种激光器的温度控制方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101674397B (zh) * 2009-09-27 2013-01-09 上海大学 视频序列中划痕的修复方法
CN102595140B (zh) * 2012-03-09 2014-05-28 北京邮电大学 基于图像修复和矢量预测算子的帧内预测视频编码方法
CN104123702A (zh) * 2014-07-08 2014-10-29 浙江传媒学院 一种基于交替方向法的高效图像修复方法
CN108171675B (zh) * 2018-03-16 2021-10-01 广东工业大学 一种基于分离Bregman迭代优化的图像修复方法及装置
CN108765517B (zh) * 2018-04-18 2022-09-02 天津大学 一种基于凸优化的多张量视觉数据填充方法
CN109461122B (zh) * 2018-06-27 2021-09-14 北京工业大学 一种基于多视点图像的压缩感知图像重建方法
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN109886884B (zh) * 2019-01-21 2023-09-01 长沙理工大学 一种基于限定核范数的低秩张量估计的视觉数据补全方法
CN109829867B (zh) * 2019-02-12 2022-09-09 西南石油大学 一种针对稳定填充的球形收敛样本块修复方法

Also Published As

Publication number Publication date
CN110298798A (zh) 2019-10-01

Similar Documents

Publication Publication Date Title
CN110298798B (zh) 一种基于低秩张量补全与离散全变分的图像修复方法
Wang et al. Decoupling noise and features via weighted ℓ1-analysis compressed sensing
US20200242822A1 (en) Digital Media Environment for Style-Aware Patching in a Digital Image
Chen et al. An improved method for semantic image inpainting with GANs: Progressive inpainting
US11164306B2 (en) Visualization of inspection results
Béréziat et al. Solving ill-posed image processing problems using data assimilation
CN111325697B (zh) 一种基于张量本征变换的彩色图像修复方法
Chen et al. Structure-aware image inpainting using patch scale optimization
CN112037223B (zh) 图像缺陷检测方法、装置及电子设备
Ding et al. Tensor completion via nonconvex tensor ring rank minimization with guaranteed convergence
Wen et al. Hybrid BM3D and PDE filtering for non-parametric single image denoising
Carrillo et al. Enhancement of damaged-image prediction through Cahn–Hilliard image inpainting
Sangeetha et al. A novel exemplar based Image Inpainting algorithm for natural scene image completion with improved patch prioritizing
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
Gajewski et al. On a nonlocal model of image segmentation
US20200410730A1 (en) Image Modification Styles Learned from A Limited Set of Modified Images
Sangeetha et al. Combined structure and texture image inpainting algorithm for natural scene image completion
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
Xie et al. Novel hybrid low-rank tensor approximation for hyperspectral image mixed denoising based on global-guided-nonlocal prior mechanism
CN108701206B (zh) 用于面部对准的系统和方法
US11200708B1 (en) Real-time color vector preview generation
CN110232401B (zh) 基于图片转换的病灶判断方法、装置、计算机设备
Sun et al. Reliable Rolling‐guided Point Normal Filtering for Surface Texture Removal
CN113052798A (zh) 屏幕老化检测模型训练方法及屏幕老化检测方法
Ge et al. Global image completion with joint sparse patch selection and optimal seam synthesis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant