CN111028162B - 基于截断Schattenp-范数的图像缺失恢复方法 - Google Patents

基于截断Schattenp-范数的图像缺失恢复方法 Download PDF

Info

Publication number
CN111028162B
CN111028162B CN201911170072.XA CN201911170072A CN111028162B CN 111028162 B CN111028162 B CN 111028162B CN 201911170072 A CN201911170072 A CN 201911170072A CN 111028162 B CN111028162 B CN 111028162B
Authority
CN
China
Prior art keywords
matrix
norm
optimization model
truncated
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911170072.XA
Other languages
English (en)
Other versions
CN111028162A (zh
Inventor
曹飞龙
张清华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN201911170072.XA priority Critical patent/CN111028162B/zh
Publication of CN111028162A publication Critical patent/CN111028162A/zh
Application granted granted Critical
Publication of CN111028162B publication Critical patent/CN111028162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于截断Schatten p‑范数的图像缺失恢复方法,主要涉及矩阵填充和低秩稀疏分解问题。结合截断范数与Schatten p‑范数的特点与优势,通过对p(0<p≤1)值的调整,增强模型的灵活性和在实际问题应用中的有效性。在求解模型时,利用函数展开先将非凸优化模型转化为凸优化模型。然后,应用基于交替方向乘子法(ADMM)的两步迭代算法求解优化模型。本发明还给出了算法的收敛性证明。通过与现有恢复方法的比较,本发明具有更高的恢复精确度。

Description

基于截断Schattenp-范数的图像缺失恢复方法
技术领域
本发明属于矩阵恢复技术领域,具体涉及基于截断Schatten p-范数的图像缺失恢复方法。
背景技术
在实际问题中,信号往往是缺失的或受噪声污染,同时,需要恢复的信号通常以矩阵的形式出现,而且是低秩或近似低秩的。基于此,人们提出了低秩矩阵恢复(Lowrankmatrixrecovery)理论,通过矩阵恢复实现信号缺失的恢复。
矩阵填充(Matrix completion)是矩阵恢复的一个特例,其目的是如何依据已有的信息将不完整的矩阵补全。它在图像复原、视频去噪以及推荐系统中均有较好的应用。以典型的NetflixPrize问题为例,根据用户对部分电影的评价,推测出他们对其他电影的喜爱程度,然后为其他用户进行电影推荐。
假定X∈Rm×n是待恢复的低秩矩阵,其填充问题可以表示为如下的优化问题:
Figure BDA0002288446090000011
其中rank(·)表示矩阵的秩,
Figure BDA0002288446090000012
是已知数据的位置坐标集合。[PΩ(X)]ij是采样算子,且有
Figure BDA0002288446090000013
矩阵恢复的另一个重要问题是低秩稀疏分解,又称之为鲁棒主成分分析(Robustprinciple component analysis,简写为RPCA),它在医学图像处理、视频监控、模式识别等实际问题中有着广泛的应用。对于一个低秩或近似低秩的矩阵M∈Rm×n,RPCA的主要目的是将M分解成一个低秩矩阵X与一个稀疏矩阵E之和,即M=X+E,其中X和E是未知矩阵。换言之,需要解如下优化问题:
Figure BDA0002288446090000014
其中‖·‖0表示矩阵的
Figure BDA0002288446090000015
范数,λ(>0)是正则化参数。
由于秩函数是非凸且不连续的,因此,优化问题(1)和(2)都是NP难问题,它们均不能直接用常用的优化算法求解。Fazel提出了用核范数(Nuclear norm,简写为NN)‖·‖*代替优化问题(1)和(2)中的秩函数,并用
Figure BDA0002288446090000025
范数代替
Figure BDA0002288446090000026
范数。
迄今,已有一系列研究说明核范数确实可以近似地代替秩函数。同时,一些关于求解核范数凸优化的算法也相继被提出。这是因为在秩函数中,所有非零奇异值的作用是一样的,而核范数将所有非零奇异值相加,并同时将其和最小化,尽可能使不同的奇异值具有不同的贡献。然而,核范数不是秩函数的最佳近似替代。尽管基于核范数的算法有较强的理论保证,但是,在实际应用中,这些算法只能得到次优解。
2012年,一种核范数的非凸最小优化替代被提出,即Schatten p-范数,
Figure BDA0002288446090000021
0<p≤1。显然,当p=1时,其等价于核范数,而当p越接近0时,Schatten p-范数就越近似于秩函数。2013年,Hu等人提出了截断核范数(Truncatednuclear norm,简写为TNN):
Figure BDA0002288446090000022
其主要思想是去掉前r个较大的奇异值,将剩余的(min(m,n)-r)个奇异值相加,以减小大奇异值对低秩的影响。最近,Gu等人提出用加权核范数(Weighted nuclear norm,简写为WNN)代替核范数,其表示为
Figure BDA0002288446090000023
旨在用不同的权重改变奇异值对秩函数的影响。事实表明,加权核范数具有较好的近似效果。一种所谓截断Schatten p-范数(Truncated Schatten p-Norm,简写为TSPN)被Feng提出,该范数只对(min(m,n)-r)个奇异值的p次幂进行求和,即
Figure BDA0002288446090000024
Feng将截断Schatten p-范数应用在压缩感知问题上,并利用ADMM方法对模型进行求解。
因此,利用截断Schatten p-范数进行图像恢复具有一定的应用前景,但现有技术未将其应用于图像恢复,也未提出截断Schatten p-范数在图像恢复应用中的技术方案。
发明内容
有鉴于此,本发明提出了一种基于截断Schatten p-范数的图像缺失恢复方法,以获得更好的基于矩阵恢复的图像恢复效果。
为了实现本发明目的,本发明提供了以下步骤的基于截断Schatten p-范数的图像缺失恢复方法,包括以下步骤:
(1)图像缺失部分对应待恢复的矩阵X∈Rm×n,其矩阵填充优化模型为
Figure BDA0002288446090000031
其中rank(·)表示矩阵的秩,
Figure BDA0002288446090000032
是已知数据的位置坐标集合,[PΩ(X)]ij为采样算子,其表达式为
Figure BDA0002288446090000033
(2)用截断Schatten p-范数代替秩函数进行矩阵低秩约束,其模型为
Figure BDA0002288446090000034
其中σ(·)为奇异值,A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1;
(3)利用函数展开,将上述非凸优化模型转化为凸优化模型:
Figure BDA0002288446090000035
其中ωi=p(1-σi(B A))(σi(Xk))p-1.;
(4)用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,得到恢复好的矩阵,以实现图像恢复;
(5)验证基于截断Schatten p-范数的矩阵填充算法的收敛性。
可选的,在步骤(3)中,所述的使用函数展开将非凸优化模型转化为凸优化模型,具体步骤如下:
1)令
Figure BDA0002288446090000036
则其关于σ(X)的导数为
Figure BDA0002288446090000037
从而,
Figure BDA0002288446090000038
2)F(σ(X))的一阶泰勒展开式为
Figure BDA0002288446090000041
再令ωi=p(1-σi(B A))(σi(Xk))p-1,则
Figure BDA0002288446090000042
即为凸优化模型的目标函数。
可选的,在步骤(4)中,利用基于交替方向乘子法的两步迭代算法求解模型,其步骤如下:
第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
第二步:先固定As和Bs,并计算第k次迭代的权重
Figure BDA0002288446090000043
然后,用ADMM算法求解凸优化模型;优化模型的拉格朗日函数为:
Figure BDA0002288446090000044
其中Y是拉格朗日乘子,μ>0是惩罚参数,N为辅助变量。
可选的,用交替方向乘子法求解模型的步骤如下:
(1)输入:观测矩阵M,坐标集合Ω,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=M,N0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure BDA0002288446090000045
(6)第3步:固定其他变量,更新
Figure BDA0002288446090000046
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Nk+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X。
本发明的另一技术解决方案是,提供一种基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:包括以下步骤:
(1)将原始矩阵M分解成一个低秩矩阵X与一个稀疏矩阵E的和,其低秩稀疏分解优化模型为
Figure BDA0002288446090000051
其中‖·‖0表示矩阵的
Figure BDA0002288446090000057
范数,λ(>0)是正则化参数。
(2)用截断Schatten p-范数代替秩函数,并用
Figure BDA0002288446090000058
范数代替
Figure BDA0002288446090000059
范数,模型转化为
Figure BDA0002288446090000052
其中σ(·)为奇异值,
Figure BDA0002288446090000053
A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1;
(3)与矩阵填充算法相同,利用函数展开方法,先对非凸优化模型进行转化,
Figure BDA0002288446090000054
其中ωi=p(1-σi(B A))(σi(Xk))p-1
(4)用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,得到分解的低秩矩阵和稀疏矩阵。
可选的,在步骤(4)中,利用基于交替方向乘子法的两步迭代算法求解模型,其步骤如下:
(a)第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
(b)第二步:先固定As和Bs,并计算第k次迭代的权重
Figure BDA0002288446090000055
然后,用ADMM算法求解凸优化模型。优化模型的拉格朗日函数为
Figure BDA0002288446090000056
其中Y是拉格朗日乘子,μ>0是惩罚参数。
可选的,用交替方向乘子法求解模型的步骤如下:
(1)输入:原始矩阵M,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=0,E0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure BDA0002288446090000061
(6)第3步:固定其他变量,更新
Figure BDA0002288446090000062
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Ek+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X和E。
本发明与现有技术相比,具有如下优点:本发明引入Schatten p-范数,通过对p值的调整,使模型更具灵活性。同时,结合截断,去掉前r个较大的奇异值,将剩余的(min(m,n)-r)个奇异值的p次幂相加,以减小大奇异值对低秩的影响,提高了模型在实际应用中的可行性和有效性;在求解模型时,利用函数展开技术,对非凸优化模型进行转化,使得求解更为简便,能够实现图像缺失的快速和准确恢复。
附图说明
图1是本发明矩阵填充模型TSPN-MC的流程图;
图2是本发明矩阵低秩稀疏分解模型TSPN-RPCA的流程图;
图3是本发明TSPN-MC用来检验矩阵填充模型性能的四张测试图像;
图4是本发明TSPN-MC与现有WNN、TNN和NN方法对测试图像1在缺失度为40%情况下的图像复原效果图;
图5是本发明TSPN-MC与现有WNN、TNN和NN方法对测试图像4在缺失度为80%情况下的图像复原效果图;
图6是本发明TSPN-MC与现有WNN、TNN和NN方法对测试图像2在有文本覆盖情况下的图像复原效果图;
图7是本发明TSPN-RPCA与现有LRSD-TNN和IALM方法在视频Bootstrap、Hall和Lobby上的前后景分离效果图。
具体实施方式
参照图1,本发明TSPN-MC的具体实施过程如下:
步骤一,对于待恢复的矩阵X∈Rm×n,其矩阵填充优化模型为
Figure BDA0002288446090000071
其中rank(·)表示矩阵的秩,
Figure BDA0002288446090000072
是已知数据的位置坐标集合,[PΩ(X)]ij为采样算子,其表达式为
Figure BDA0002288446090000073
步骤二,用截断Schatten p-范数代替秩函数进行矩阵低秩约束,其模型为
Figure BDA0002288446090000074
其中σ(·)为奇异值,A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1。
步骤三,利用函数展开思想,将上述非凸优化模型转化为凸优化模型:
Figure BDA0002288446090000075
其中ωi=p(1-σi(B A))(σi(Xk))p-1.
首先,令
Figure BDA0002288446090000076
则其关于σ(X)的导数为
Figure BDA0002288446090000077
从而,
Figure BDA0002288446090000078
然后,F(σ(X))的一阶泰勒展开式为
Figure BDA0002288446090000079
再令ωi=p(1-σi(B A))(σi(Xk))p-1,则
Figure BDA0002288446090000081
即为凸优化模型的目标函数。
步骤四,用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,其步骤如下:
第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
第二步:先固定As和Bs,并计算第k次迭代的权重
Figure BDA0002288446090000085
然后,用ADMM算法求解凸优化模型。优化模型的拉格朗日函数为
Figure BDA0002288446090000082
其中Y是拉格朗日乘子,μ>0是惩罚参数,N为辅助变量。用ADMM求解模型的步骤如下:
(1)输入:观测矩阵M,坐标集合Ω,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=M,N0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure BDA0002288446090000083
(6)第3步:固定其他变量,更新
Figure BDA0002288446090000084
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Nk+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X。
步骤五,证明基于截断Schatten p-范数的矩阵填充算法的收敛性。
参照图2,本发明TSPN-RPCA的具体实施过程如下:
步骤一,将原始矩阵M分解成一个低秩矩阵X与一个稀疏矩阵E的和,其低秩稀疏分解优化模型为
Figure BDA0002288446090000091
其中‖·‖0表示矩阵的
Figure BDA0002288446090000097
范数,λ(>0)是正则化参数。
步骤二,用截断Schatten p-范数代替秩函数,并用
Figure BDA0002288446090000098
范数代替
Figure BDA0002288446090000099
范数,模型转化为
Figure BDA0002288446090000092
其中σ(·)为奇异值,
Figure BDA0002288446090000093
A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1。
步骤三,与矩阵填充算法相同,利用函数展开方法,先对非凸优化模型进行转化,
Figure BDA0002288446090000094
其中ωi=p(1-σi(B A))(σi(Xk))p-1
步骤四,用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,得到分解的低秩矩阵和稀疏矩阵,其具体步骤如下:
第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
第二步:先固定As和Bs,并计算第k次迭代的权重
Figure BDA0002288446090000095
然后,用ADMM算法求解凸优化模型。优化模型的拉格朗日函数为
Figure BDA0002288446090000096
其中Y是拉格朗日乘子,μ>0是惩罚参数。用交替方向乘子法求解模型的步骤如下:
(1)输入:原始矩阵M,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=0,E0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure BDA0002288446090000101
(6)第3步:固定其他变量,更新
Figure BDA0002288446090000102
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Ek+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X和E。
本发明的优势由以下实验结果与视觉效果图进一步说明。
1.实验说明
(1)矩阵填充TSPN-MC
1)设定人工数据的缺失度分别为ps=0.1,0.2,0.3,矩阵大小为m=n=400,且服从高斯分布N(0,1);
2)针对每个缺失度,以间隔0.05选取pr∈[0.05,0.3]的值,计算对应人工数据的秩r=pr×m;
3)本发明TSPN-MC与现有的WNN、TNN和NN三种方法在不同人工数据上恢复性能进行对比,以人工矩阵恢复误差作为评价指标,实验中的p值由具体实验决定;
4)选取四张大小为300×300的图像,分别比较本发明与WNN、TNN和NN三种方法在图像缺失度为20%、40%、60%、80%以及文本遮盖情况下的图像复原性能;
5)以峰值信噪比作为图像复原性能的评价指标,实验中的p值由具体实验决定。
(2)矩阵低秩稀疏分解TSPN-RPCA
1)生成秩为r的低秩矩阵X0,稀疏度为spr的稀疏矩阵E0,M0=X0+E0
2)设置人工数据实验p=0.2,当r=0.1n,spr=0.05时,矩阵大小分别设置为100×100、500×500和900×900;当固定矩阵大小为m=n=500时,分别设置r=0.1n,spr=0.1和r=0.05n,spr=0.05两种情况;
3)比较本发明TSPN-RPCA与LRSD-TNN、IALM、ALM以及APG方法在不同人工数据上的分解效果;
4)本发明TSPN-RPCA与现有LRSD-TNN和IALM方法在视频Bootstrap、Hall和Lobby上的前后景分离效果图,设置p=0.2,截断秩为R=3。
2.仿真内容与结果
1)本发明TSPN-MC与现有的WNN、TNN和NN三种方法在不同人工数据上恢复性能进行对比
本实验的目的是:展示本发明TSPN-MC与现有的WNN、TNN和NN三种方法对由不同缺失度和不同秩生成的人工数据的恢复性能。
从表1,表2,以及表3的误差结果可以看出,TSPN-MC和WNN比其他两种方法的恢复效果好,但是,TSPN-MC的恢复误差最小,相比其他三种方法具有更好的性能。
表1人工数据恢复误差结果(ps=0.1,p=0.4)
Figure BDA0002288446090000111
表2人工数据恢复误差结果(ps=0.2,p=0.4)
Figure BDA0002288446090000112
表3人工数据恢复误差结果(ps=0.3,p=0.3)
Figure BDA0002288446090000113
2)本发明TSPN-MC与WNN、TNN和NN三种方法在图像缺失度为20%、40%、60%、80%以及文本遮盖情况下的图像复原性能
本实验的目的是:分别展示在不同图像缺失度情况下,本发明TSPN-MC与WNN、TNN和NN三种方法的图像复原效果,以及PSNR值的变化趋势。
在缺失度为20%、40%、60%、80%以及文本遮盖情况下,本发明与现有的WNN、TNN和NN三种对四幅大小为300×300的标准测试自然图像进行复原的评价指标PSNR值如表4-表7所示。从表中的PSNR值可以看出,本发明的图像复原效果要超过其他三种方法。测试图像1在缺失度为40%情况下的复原视觉效果如图4所示,其中图4(a)为原图,图4(b)是缺失图,图4(c)、图4(d)、图4(e)和图4(f)分别是TSPN-MC、WNN、TNN和NN方法的复原图像。测试图像4在缺失度为80%情况下的复原视觉效果如图5所示,其中图5(a)为原图,图5(b)是缺失图,图5(c)、图5(d)、图5(e)和图5(f)分别是TSPN-MC、WNN、TNN和NN方法的复原图像。测试图像2在文本遮盖情况下的复原视觉效果如图6所示,其中图6(a)为原图,图6(b)是缺失图,图6(c)、图6(d)、图6(e)和图6(f)分别是TSPN-MC、WNN、TNN和NN方法的复原图像。从图像复原效果图可知,本发明复原的图像更加接近原始图像,清晰度更高。
表4测试图1复原的PSNR(dB)(p=0.7,R=8)
Figure BDA0002288446090000121
表5测试图2复原的PSNR(dB)(p=0.8,R=3)
Figure BDA0002288446090000122
表6测试图3复原的PSNR(dB)(p=0.9,R=2)
Figure BDA0002288446090000123
表7测试图4复原的PSNR(dB)(p=0.7,R=4)
Figure BDA0002288446090000124
3)本发明TSPN-RPCA与LRSD-TNN、IALM、ALM以及APG方法在不同人工数据上的分解效果。
本实验的目的是:验证本发明TSPN-RPCA在人工随机生成数据上的矩阵分解恢复性能。
表8、表9和表10分别是在r=0.1n,spr=0.05情况下,m=n=100,500,900的矩阵恢复误差结果。表11和表12是在固定m=n=500时,分别设置r=0.1n,spr=0.1和r=0.05n,spr=0.05两种情况下,本发明与其他方法的恢复结果。从表中的结果可分析出,本发明TSPN-RPCA的恢复精度比其他方法高,但是在时间上的消耗会比较大。
表8人工数据恢复误差结果(m=n=100,r=0.1n,spr=0.05)
Figure BDA0002288446090000131
表9人工数据恢复误差结果(m=n=500,r=0.1n,spr=0.05)
Figure BDA0002288446090000132
表10人工数据恢复误差结果(m=n=900,r=0.1n,spr=0.05)
Figure BDA0002288446090000133
表11人工数据恢复误差结果(m=n=500,r=0.1n,spr=0.1)
Figure BDA0002288446090000134
表12人工数据恢复误差结果(m=n=500,r=0.05n,spr=0.05)
Figure BDA0002288446090000135
Figure BDA0002288446090000141
4)本发明TSPN-RPCA与现有LRSD-TNN和IALM方法在视频Bootstrap、Hall和Lobby上的前后景分离效果图。
本实验的目的是:通过在实际视频上的前后景分离实验,验证本发明的优势。
图7是本发明TSPN-RPCA与现有LRSD-TNN和IALM方法在视频Bootstrap、Hall和Lobby上的前后景分离效果图。图7第一行是TSPN-RPCA与LRSD-TNN和IALM方法对视频Bootstrap进行前后景分离的结果;图7第二行是对视频Hall的分离结果;图7第三行是对视频Lobby的分离结果。从视觉图中可以看出,本发明方法能清晰分离出视频中的运动目标。其他两种方法的分离效果相对较差,出现了背景中的灯光以及运动目标形成的“鬼影”。
综上所述,本发明的两个模型都具有较好的矩阵恢复性能,在实际应用中,也表现出较高的精确性与稳定性。
虽然以上将实施例分开说明和阐述,但涉及部分共通之技术,在本领域普通技术人员看来,可以在实施例之间进行替换和整合,涉及其中一个实施例未明确记载的内容,则可参考有记载的另一个实施例。
以上所述的实施方式,并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等,均应包含在该技术方案的保护范围之内。

Claims (7)

1.一种基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:包括以下步骤:
(1)图像缺失部分对应待恢复的矩阵X∈Rm×n,其矩阵填充优化模型为
Figure FDA0002288446080000011
其中rank(·)表示矩阵的秩,
Figure FDA0002288446080000017
是已知数据的位置坐标集合,[PΩ(X)]ij为采样算子,其表达式为
Figure FDA0002288446080000012
(2)用截断Schatten p-范数代替秩函数进行矩阵低秩约束,其模型为
Figure FDA0002288446080000013
其中σ(·)为奇异值,A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1;
(3)利用函数展开,将上述非凸优化模型转化为凸优化模型:
Figure FDA0002288446080000014
其中ωi=p(1-σi(B A))(σi(Xk))p-1.;
(4)用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,得到恢复好的矩阵,以实现图像恢复;
(5)验证基于截断Schatten p-范数的矩阵填充算法的收敛性。
2.根据权利要求1所述的基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:在步骤(3)中,所述的使用函数展开将非凸优化模型转化为凸优化模型,具体步骤如下:
1)令
Figure FDA0002288446080000015
则其关于σ(X)的导数为
Figure FDA0002288446080000016
从而,
Figure FDA0002288446080000021
2)F(σ(X))的一阶泰勒展开式为
Figure FDA0002288446080000022
再令ωi=p(1-σi(B A))(σi(Xk))p-1,则
Figure FDA0002288446080000023
即为凸优化模型的目标函数。
3.根据权利要求1或2所述的基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:在步骤(4)中,利用基于交替方向乘子法的两步迭代算法求解模型,其步骤如下:
第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
第二步:先固定As和Bs,并计算第k次迭代的权重
Figure FDA0002288446080000024
然后,用ADMM算法求解凸优化模型;优化模型的拉格朗日函数为:
Figure FDA0002288446080000025
其中Y是拉格朗日乘子,μ>0是惩罚参数,N为辅助变量。
4.根据权利要求3所述的基于截断Schattenp-范数的图像缺失恢复方法,其特征在于:用交替方向乘子法求解模型的步骤如下:
(1)输入:观测矩阵M,坐标集合Ω,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=M,N0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure FDA0002288446080000031
(6)第3步:固定其他变量,更新
Figure FDA0002288446080000032
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Nk+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X。
5.一种基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:包括以下步骤:
(1)将原始矩阵M分解成一个低秩矩阵X与一个稀疏矩阵E的和,其低秩稀疏分解优化模型为
Figure FDA0002288446080000033
其中‖·‖0表示矩阵的l0范数,λ(>0)是正则化参数。
(2)用截断Schatten p-范数代替秩函数,并用l1范数代替l0范数,模型转化为
Figure FDA0002288446080000034
其中σ(·)为奇异值,
Figure FDA0002288446080000035
A∈Rr×m,B∈Rr×n,AA=Ir×r,BB=Ir×r,0<p≤1;
(3)与矩阵填充算法相同,利用函数展开方法,先对非凸优化模型进行转化,
Figure FDA0002288446080000036
其中ωi=p(1-σi(B A))(σi(Xk))p-1
(4)用基于交替方向乘子法的两步迭代算法求解上述凸优化模型,得到分解的低秩矩阵和稀疏矩阵。
6.根据权利要求5所述的基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:在步骤(4)中,利用基于交替方向乘子法的两步迭代算法求解模型,其步骤如下:
(a)第一步:先初始化X1=M,并在第s+1次迭代中计算Xs=UsΔsVs。然后,根据Us和Vs,计算得到As和Bs
(b)第二步:先固定As和Bs,并计算第k次迭代的权重
Figure FDA0002288446080000041
然后,用ADMM算法求解凸优化模型。优化模型的拉格朗日函数为
Figure FDA0002288446080000042
其中Y是拉格朗日乘子,μ>0是惩罚参数。
7.根据权利要求6所述的基于截断Schatten p-范数的图像缺失恢复方法,其特征在于:用交替方向乘子法求解模型的步骤如下:
(1)输入:原始矩阵M,As,Bs,参数p,μ0,μmax,ρ,ε;
(2)初始化:X0=0,E0=0,Y0=0,迭代次数k=0;
(3)在第k+1次迭代中:
(4)第1步:计算权重W;
(5)第2步:固定其他变量,更新
Figure FDA0002288446080000043
(6)第3步:固定其他变量,更新
Figure FDA0002288446080000044
(7)第4步:更新Yk+1=Ykk(M-Xk+1-Ek+1)和μk+1=min(ρμkmax);
(8)重复步骤(4)-(7),直到满足收敛条件时停止;
(9)输出:恢复矩阵X和E。
CN201911170072.XA 2019-11-26 2019-11-26 基于截断Schattenp-范数的图像缺失恢复方法 Active CN111028162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911170072.XA CN111028162B (zh) 2019-11-26 2019-11-26 基于截断Schattenp-范数的图像缺失恢复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911170072.XA CN111028162B (zh) 2019-11-26 2019-11-26 基于截断Schattenp-范数的图像缺失恢复方法

Publications (2)

Publication Number Publication Date
CN111028162A CN111028162A (zh) 2020-04-17
CN111028162B true CN111028162B (zh) 2023-03-31

Family

ID=70202104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911170072.XA Active CN111028162B (zh) 2019-11-26 2019-11-26 基于截断Schattenp-范数的图像缺失恢复方法

Country Status (1)

Country Link
CN (1) CN111028162B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117478365B (zh) * 2023-10-17 2024-05-10 南京邮电大学 一种计及攻击的能源互联网用电数据软恢复方法、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064412A (zh) * 2018-06-20 2018-12-21 南京邮电大学 一种低秩图像的去噪方法
CN109919857A (zh) * 2019-01-21 2019-06-21 北京航空航天大学 一种基于加权斯莱特恩范数最小化的噪声图像补全方法
CN110120026A (zh) * 2019-05-23 2019-08-13 东北大学秦皇岛分校 基于Schatten Capped p范数的矩阵补全方法
CN110210282A (zh) * 2019-04-03 2019-09-06 南京邮电大学 一种基于非凸低秩稀疏分解的运动目标检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109064412A (zh) * 2018-06-20 2018-12-21 南京邮电大学 一种低秩图像的去噪方法
CN109919857A (zh) * 2019-01-21 2019-06-21 北京航空航天大学 一种基于加权斯莱特恩范数最小化的噪声图像补全方法
CN110210282A (zh) * 2019-04-03 2019-09-06 南京邮电大学 一种基于非凸低秩稀疏分解的运动目标检测方法
CN110120026A (zh) * 2019-05-23 2019-08-13 东北大学秦皇岛分校 基于Schatten Capped p范数的矩阵补全方法

Also Published As

Publication number Publication date
CN111028162A (zh) 2020-04-17

Similar Documents

Publication Publication Date Title
Xue End-to-end chinese landscape painting creation using generative adversarial networks
Zha et al. Compressed sensing image reconstruction via adaptive sparse nonlocal regularization
CN110210282B (zh) 一种基于非凸低秩稀疏分解的运动目标检测方法
CN115082639A (zh) 图像生成方法、装置、电子设备和存储介质
CN110830043B (zh) 一种基于混合加权全变分和非局部低秩的图像压缩感知重构方法
CN110244299B (zh) 一种基于admm的sar图像恢复的分布式方法
Ma et al. EFFICIENT BOX-CONSTRAINED TV-TYPE-l¹ ALGORITHMS FOR RESTORING IMAGES WITH IMPULSE NOISE
CN109785242B (zh) 一种基于逐波段广义双线性模型的高光谱图像的解混方法
CN115393231B (zh) 一种缺陷图像的生成方法、装置、电子设备和存储介质
CN110992366A (zh) 一种图像语义分割方法、装置及存储介质
CN111028162B (zh) 基于截断Schattenp-范数的图像缺失恢复方法
CN114820352A (zh) 一种高光谱图像去噪方法、装置及存储介质
CN116205820A (zh) 图像增强方法、目标识别方法、设备及介质
CN105590296B (zh) 一种基于双字典学习的单帧图像超分辨率复原方法
CN112233046A (zh) 一种柯西噪声下的图像复原方法及其应用
Xiao et al. A dive into sam prior in image restoration
Mai et al. Deep unrolled low-rank tensor completion for high dynamic range imaging
CN111402173A (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
Abo El Rejal An end-to-end CNN approach for enhancing underwater images using spatial and frequency domain techniques
CN113487512A (zh) 一种基于边缘信息指导的数字图像修复方法及装置
Shen et al. Fast adaptive optimization of weighted vector median filters
CN112184571A (zh) 一种基于非凸秩近似的鲁棒主成分分析方法
CN112017159A (zh) 一种遥感场景下的地面目标真实感仿真方法
CN117237501A (zh) 一种隐式的风格化新视角合成方法
CN116612009A (zh) 一种多尺度连接生成对抗网络医学图像超分辨率重建方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant