CN115170418A - 符合退化的低秩高维图像填充模型及其填充方法与系统 - Google Patents

符合退化的低秩高维图像填充模型及其填充方法与系统 Download PDF

Info

Publication number
CN115170418A
CN115170418A CN202210783254.XA CN202210783254A CN115170418A CN 115170418 A CN115170418 A CN 115170418A CN 202210783254 A CN202210783254 A CN 202210783254A CN 115170418 A CN115170418 A CN 115170418A
Authority
CN
China
Prior art keywords
model
tensor
filling
dimensional image
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210783254.XA
Other languages
English (en)
Other versions
CN115170418B (zh
Inventor
胡业勋
蒋太翔
赵熙乐
刘贵松
黄鹂
高强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kashgar Electronic Information Industry Technology Research Institute
Southwestern University Of Finance And Economics
Original Assignee
Kashgar Electronic Information Industry Technology Research Institute
Southwestern University Of Finance And Economics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kashgar Electronic Information Industry Technology Research Institute, Southwestern University Of Finance And Economics filed Critical Kashgar Electronic Information Industry Technology Research Institute
Priority to CN202210783254.XA priority Critical patent/CN115170418B/zh
Publication of CN115170418A publication Critical patent/CN115170418A/zh
Application granted granted Critical
Publication of CN115170418B publication Critical patent/CN115170418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/77Retouching; Inpainting; Scratch removal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及属于计算机视觉领域。本发明提供符合退化的低秩高维图像填充模型构建方法,首先,选择训练数据,构建训练集;其次,选择预训练好的深度填充网络作为待构建模型的隐式正则项;然后,构建模型,创建辅助变量与拉格朗日乘子,得到模型的增广拉格朗日函数,将模型求解分割为不同的子问题后再迭代求解;利用训练集对模型进行训练,确定超参数,所述超参数至少包括模型最大迭代次数、模型收敛阈值、模型权衡参数;直至预测性能达到预设值后停止训练,则符合退化的低秩高维图像填充模型构建完成。本发明将张量完备化的退化过程构建为线性退化算子,引入到模型求解过程中,使模型可以有效利用到张量的退化信息。

Description

符合退化的低秩高维图像填充模型及其填充方法与系统
技术领域
本发明属于计算机视觉领域,具体涉及符合退化的低秩高维图像填充模型及其填充方法与系统。
背景技术
高维图像数据是传统二维图像的一种多维推广,包括视频,多光谱图像,核磁共振图像等。由于维数的增多,这些数据相较于传统的二维图像能够储存更多的信息,例如视频可表示时间的变化信息。高维图像在虚拟现实,卫星遥感成像,医学成像等领域都有着广泛的应用。在现实世界中,工作者会使用各类仪器来获取高维图像,但是在现实成像过程中,由于成像环境、成像设备以及传输条件的限制,导致获取到的高维图像出现像素缺失现象。而图像内容的信息缺失在现实应用中影响巨大,如何修复图像缺失的信息也就成为了计算机视觉领域的研究热点。
高维图像填充,也被称为张量完备化(tensor completion)。在实际应用中,需要基于观测到的图像数据和观测数据的支撑集Ω,即所有观测到的元素的位置的集合去求解满足如下线性系统的真实图像数据。
O=PΩ(X)
其中,PΩ为张量投影算子,表示除在集合Ω中的点保留原值外,其余点上像素值均为0。
在现实世界中,许多问题都可以被表述为丢失信息的填充问题,如彩色图像修补,核磁共振图像修补,视频修补和高光谱修复等。而张量完备化的核心问题就是如何精确刻画和有效利用已知元素和待预测元素之间的关系。
由于涉及到真实物理过程的反演,张量完备化问题在求解上通常具有不适定性,会出现问题解不唯一或者不稳定的情况。为了解决这个问题,研究者通常会在观测张量的基础上引入各类正则化先验知识以约束可行解的范围,提高问题解的稳定性。在高维图像补全领域中基于张量低秩先验(low-rank prior)的高维图像补全方法和基于数据驱动先验(data-driven prior)的卷积神经网络张量完备化模型以及结合了这两者的基于即插即用框架的张量完备化方法均是当下的研究热点。
基于张量低秩先验的张量完备化(low-rank tensor completion,以下简称为LRTC)方法通过引入低秩先验正则来挖掘图像张量内在联系从而约束求解。例如LRTC会利用多光谱图像在光谱维度上的信息冗余来填补图像缺失信息。但是目前有关张量的秩(rank)的定义并不唯一,如基于CP分解提出的CP秩,基于Tucker分解提出的Tucker秩,tubal秩(tubal rank)等。
基于深度学习数据驱动先验的深度卷积网络张量完备化模型,如当下人工智能领域中最为经典且强大的卷积神经网络(convolutional neural network,以下简称为CNN),从大规模的现实图像数据中学习到数据驱动先验知识,再利用这些先验知识恢复出缺失的像素。
基于即插即用框架(Plug-and-play framework)的张量完备化模型将张量低秩先验与数据驱动先验结合,引入张量低秩项和用于图像去噪的深度去噪器(deep denoiser)用于解决模型中的对应子问题并填充丢失的图像信息。
但随着不同种类的高维图像在现实世界中应用越来越广泛,以上几种张量完备化的模型方法都存在不同缺点,影响恢复结果的准确性。
对于基于张量低秩先验的张量完备化方法,由于当前现实世界中的高维图像的空间细节通常过于丰富,导致其张量结构并非严格低秩,此时使用低秩先验约束解空间的效果会受很大影响,求解也不稳定。
对于基于深度学习数据驱动先验的深度卷积网络张量完备化模型,其需要大量的高维图像进行训练。但由于成像设备、成像环境以及传输带宽的限制,获取清晰可用的高维图像难度较大,导致此类模型的训练可用数据数量较少,影响了模型参数的拟合,降低了恢复精度。此外,高维图像数据较传统二维图像要庞大许多,会导致深度网络训练时间成本大大增加,降低开发效率。
对于传统基于即插即用框架的张量完备化模型,其虽然结合了张量低秩先验和由深度去噪器学习到数据驱动先验,但此类模型把引入数据驱动先验的子问题看成去噪问题,忽略了去噪问题与张量完备化问题中的张量退化过程不匹配的现实,并没有利用到退化过程信息,如果该子问题的输入分布并不符合去噪器的预设形式,便会对最终结果产生较大影响。
发明内容
针对上述现有技术,本发明目的在于提出了符合退化的低秩高维图像填充方法。旨在解决张量结构不完全低秩,高维图像数据难获得,深度网络训练慢,传统即插即用模型与退化过程不符合,难以利用退化信息等问题。
本发明解决上述技术问题,采用的技术方案是,符合退化的低秩高维图像填充模型构建方法,包括以下步骤:
步骤1:选择训练数据,构建训练集;所述训练数据包括低秩高维图像的线性退化算子与观测张量;所述线性退化算子由低秩高维图像的缺失区域决定,观测张量由低秩高维图像的未缺失区域决定;
步骤2:调用预训练好的深度填充网络作为待构建模型的隐式正则项;
步骤3:构建模型,模型公式如下:
Figure BDA0003730587080000031
其中,X为待预测张量,A为线性退化算子,TNN表示张量核范数,b为观测张量,Φ(X)是隐式正则项,λ为权衡参数,A(X)表示对X经过A退化后得到的结果,s.t.A(X)=b意为模型受制于条件A(X)=b;
步骤4:根据模型公式创建辅助变量与拉格朗日乘子,得到模型的增广拉格朗日函数,根据模型公式迭代求解的顺序构建并调用模型子问题;
步骤5:利用训练集对模型进行训练,确定超参数,所述超参数包括模型最大迭代次数、模型收敛阈值以及模型权衡参数;直至预测性能达到预设值后停止训练,则符合退化的低秩高维图像填充模型构建完成。
在一个实施例中,所述步骤2中,当图像缺失区域成结构化时选择结构化丢失的彩色图像样本集或者灰度图像样本集训练的深度填充网络;当图像缺失区域成随机分布时选择用随机丢失的灰度图或彩色图像样本集训练的深度填充网络。
在一个实施例中,所述步骤3中,对于一个张量的核范数计算如下:
Figure BDA0003730587080000032
其中,
Figure BDA0003730587080000033
表示对待预测张量X沿着第三维度做傅里叶变换得到的新张量,X(:,:,i)表示待预测张量X第三个维度第i个切片,n为待预测张量X第三维度的长度,||·||*表示矩阵的核范数。
在一个实施例中,所述步骤4中,创建辅助变量与拉格朗日乘子,得到模型的增广拉格朗日函数,包括如下步骤:
引入大小与观测张量b相同的两个辅助变量Y,Z,模型公式可改写为:
Figure BDA0003730587080000041
随后引入拉格朗日乘子Λi与对应的非负参数βi(i=1,2,3),得到模型的增广拉格朗日函数
Figure BDA0003730587080000042
其中,Λi(i=1,2,3)为拉格朗日乘子,βi(i=1,2,3)为拉格朗日乘子对应的非负参数,
Figure BDA0003730587080000043
表示括号内表达式的F范数。
在一个实施例中,所述步骤4中,根据模型公式迭代求解的顺序构建并调用模型子问题,所述子问题包括:
对于辅助变量Z,其子问题如下所示
Figure BDA0003730587080000044
其中,Yk表示第k次迭代时Y的值,
Figure BDA0003730587080000045
表示第k次迭代时Λ3的值;
辅助变量Z的子问题通过T-SVD分解和软阈值法SVT求解,求解过程如下所示:
Zk+1=U*D*VH
其中,
Figure BDA0003730587080000046
Figure BDA0003730587080000047
其中,D是一个全对角张量,即在D所有第三维度的切片上,除对角线元素外其他的元素均为0;U,S,V是
Figure BDA0003730587080000048
进行T-SVD分解的结果;S是一个全对角张量;U,V是正交张量;D(i,i,k)表示D的第一、二维度位置为i,第三维度位置为k的点的值;max{·,·}表示取括号内最大的值作为结果;
对于辅助变量Y,其子问题如下所示:
Figure BDA0003730587080000051
其中,Xk表示第k次迭代时X的值;
Figure BDA0003730587080000052
表示第k次迭代时Λ2的值;
Figure BDA0003730587080000053
表示第k次迭代时Λ3的值;Zk+1表示第k+1次迭代时Z的值;
辅助变量Y的求解公式如下:
Figure BDA0003730587080000054
其中,I表示单位张量,A*表示A的共轭算子;
对于待预测张量X,其子问题如下所示:
Figure BDA0003730587080000055
其中:
Figure BDA0003730587080000056
Figure BDA0003730587080000057
而X的子问题又可以分为n个子问题,其中n为X第三维度的长度;
n个子问题如下所示:
Figure BDA0003730587080000058
其中,i=1,2,...,n;该子问题的解如下所示:
Kx+1(:,∶,i)=Inpainting(B(:,∶,i))
其中,Inpainting(·)指使用深度填充网络求解。
本发明还提供一种符合退化的低秩高维图像填充方法,包括以下步骤:
步骤1:对待填充的低秩高维图像进行预处理,构造线性退化算子及其观测张量;
步骤2:将线性退化算子及其观测张量输入至上述任意一项所述的符合退化的低秩高维图像填充模型,得到输出张量;
步骤3:将观测张量上有像素位置的值对应覆盖到输出张量上,得到填充后的图像张量。
在一个实施例中,所述步骤1中,构造线性退化算子包括以下步骤:创建大小与观测图像相等的全1张量,根据观测图像无像素的位置,将全1张量对应位置的值置0,再将其拉伸为1维向量作为线性退化算子。
在一个实施例中,所述步骤1中,构造观测张量包括以下步骤:创建大小与观测图像相等的全0张量,根据观测图像有像素的位置,将全0张量对应位置的像素值与观测图像相等,得到观测张量。
本发明还提供一种符合退化的低秩高维图像填充系统,包括输入模块,模型参数数据库,图像张量数据库,深度填充网络模型及参数库,处理模块及输出模块;
所述模型参数数据库,用于存储上述任意一项所述的符合退化的低秩高维图像填充模型代码及至少一组超参数;
所述图像张量数据库,用于存储观测张量及线性退化算子;
所述深度填充网络模型及参数库,用于存储符合退化的低秩高维图像填充模型所要用到的所有深度填充网络及其对应的训练参数;
所述处理模块,用于根据上述任意一项所述的符合退化的低秩高维图像填充方法,调用上述模块存储数据,对输入模块输入的待填充低秩高维图像进行填充,并将填充后的图像张量通过输出模块进行输出。
本发明的有益效果在于,本发明通过将张量完备化的退化过程构建为线性退化算子,引入到模型求解过程中,使模型可以有效利用到张量的退化信息;使用在灰度图像或彩色图像上预训练好的深度填充网络作为模型的隐式正则项,用于引入符合退化过程的数据驱动先验来约束可行解范围,解决由于张量结构不完全低秩导致低秩先验效用下降问题,提高求解稳定性;同时本方法使用他人在灰度图像或彩色图像上预训练好的深度填充网络使得开发人员不必自行训练网络,大大提高开发效率;如果特殊情况必须训练,直接采用易获取,结构小的灰度图像或彩色图像来训练网络相比使用难获取,结构大的其他高维图像也能节省许多时间成本。在工业场景下,根据实际应用可线下编写并调试效果更好的深度填充网络模型放入系统中的深度填充网络模型及参数库。系统可实现线下调试不同超参数的组合放入模型参数数据库,可线下扩充图像张量数据库中的图像数量种类,从而实现系统即插即。
附图说明
图1为本发明实施例1中的模型构建流程图。
图2为本发明实施例1中的模型运行流程图。
图3为本发明实施例3中的系统工作流程图。
具体实施方式
本说明书中公开的所有特征,或公开的所有方法或过程中的步骤,除了互相排斥的特征和/或步骤以外,均可以以任何方式组合。为了本技术领域的人员更好的理解本发明,下面结合附图和以下实施例对本发明作进一步详细描述。
实施例1
本例提供一种符合退化的低秩高维图像填充模型构建方法,如图1所示,包括以下步骤:
首先,选择训练数据,进行数据处理,构成训练集及测试集。训练数据包括低秩高维图像的线性退化算子与观测张量。其中,线性退化算子由低秩高维图像的缺失区域决定,观测张量由低秩高维图像的未缺失区域决定。通过将张量完备化的退化过程构建为线性退化算子,引入到模型求解过程中,这样可以使模型有效利用到张量的退化信息。
其次,调用预训练好的深度填充网络作为待构建模型的隐式正则项。调用训练好的深度填充网络是需要同时下载网络的预训练参数,利用预训练参数对网络进行调试,确保网络能够正确填充图像。
该步骤引入符合退化过程的数据驱动先验来约束可行解范围,解决了由于张量结构不完全低秩导致低秩先验效用下降问题,提高了求解稳定性。同时,使用他人在灰度图像或彩色图像上预训练好的深度填充网络使得开发人员不必自行训练网络,大大提高开发效率。在深度填充网络选择时,可以根据图像的缺失情况选择合适的预训练好的深度填充网络,当图像缺失区域成随机分布时最好选择用随机丢失的灰度图或彩色图像样本集训练的深度填充网络。当图像缺失区域成结构化时选择结构化丢失的彩色图像样本集或者灰度图像样本集训练的深度填充网络。具体使用时,下载选择好的深度填充网络及其预训练参数;采用预训练参数对深度填充网络进行训练,输入观测张量确保深度填充网络能够正确填充图像。
然后,如图2所示,搭建模型。本专利构建的模型公式如下:
Figure BDA0003730587080000081
其中,X为待预测张量,A为线性退化算子,TNN表示张量核范数,b为观测张量,Φ(X)是隐式正则项,λ为权衡参数,A(X)表示对X经过A退化后得到的结果,s.t.A(X)=b意为模型受制于条件A(X)=b;
对于一个张量的核范数计算如下:
Figure BDA0003730587080000082
其中,
Figure BDA0003730587080000083
表示对待预测张量X沿着第三维度做傅里叶变换得到的新张量,X(:,:,i)表示待预测张量X第三个维度第i个切片,n为待预测张量X第三维度的长度,||·||*表示矩阵的核范数。
然后通过引入两个大小与观测张量b相同的辅助变量Y,Z,模型可重写为:
Figure BDA0003730587080000084
随后引入拉格朗日乘子Λi与对应的非负参数βi(i=1,2,3),得到模型的增广拉格朗日函数
Figure BDA0003730587080000085
其中,Λi(i=1,2,3)为拉格朗日乘子,βi(i=1,2,3)为拉格朗日乘子对应的非负参数,
Figure BDA0003730587080000086
表示括号内表达式的F范数。
根据模型公式迭代求解的顺序构建并调用模型子问题,本例中基于ADMM框架将模型求解分割为不同的子问题后再迭代求解,需要注意的是在搭建模型时需按照模型公式中迭代求解的顺序调用子问题求解程序。对应辅助变量和拉格朗日乘子的调用也需对应模型公式。
所述子问题包括:
对于辅助变量Z,其子问题如下所示
Figure BDA0003730587080000091
其中,Yk表示第k次迭代时Y的值,
Figure BDA0003730587080000092
表示第k次迭代时Λ3的值;
辅助变量Z的子问题通过T-SVD分解和软阈值法SVT求解,求解过程如下所示:
Zk+1=U*D*VH
其中,
Figure BDA0003730587080000093
Figure BDA0003730587080000094
其中,D是一个全对角张量,即在D所有第三维度的切片上,除对角线元素外其他的元素均为0,U,S,V是
Figure BDA0003730587080000095
进行T-SVD分解的结果,S是一个全对角张量,U,V是正交张量,D(i,i,k)表示D的第一、二维度位置为i,第三维度位置为k的点的值,max{·,·}表示取括号内最大的值作为结果;
对于辅助变量Y,其子问题如下所示:
Figure BDA0003730587080000096
其中,Xk表示第k次迭代时X的值,
Figure BDA0003730587080000097
表示第k次迭代时Λ2的值,
Figure BDA0003730587080000098
表示第k次迭代时Λ3的值,Zk+1表示第k+1次迭代时Z的值;
辅助变量Y的求解公式如下:
Figure BDA0003730587080000099
其中,I表示单位矩阵,A*表示A的共轭算子;
对于待预测张量X,其子问题如下所示:
Figure BDA00037305870800000910
其中:
Figure BDA0003730587080000101
Figure BDA0003730587080000102
而X的子问题又可以分为n个子问题,其中n为X第三维度的长度;
X的子问题子问题如下所示:
Figure BDA0003730587080000103
其中,i=1,2,...,n。该子问题的解如下所示
Xk+1(:,∶,i)=Inpainting(B(:,∶,i))
其中,Inpainting(·)指使用深度填充网络求解。
可见,关于待预测张量X的子问题数学表示,需要选择深度填充网络作为此子问题的求解器。
然后,对模型进行训练调试,调整确定超参数,所述超参数至少包括模型最大迭代次数、模型收敛阈值、模型权衡参数;直至预测性能达到预设值后停止训练,则符合退化的低秩高维图像填充模型构建完成。
本例通过将张量完备化的退化过程构建为线性退化算子,引入到模型求解过程中,使模型可以有效利用到张量的退化信息,实现与退化过程一致的图像填充。
实施例2
本例基于实施例1提供的符合退化的低秩高维图像填充模型构建方法,提供一种符合退化的低秩高维图像填充方法包括以下步骤:
步骤1:对待填充的低秩高维图像进行预处理,构造线性退化算子及其观测张量;构造线性退化算子包括以下步骤:创建大小与观测图像相等的全1张量,随后根据观测图像无像素的位置,将全1张量对应位置的值置0,再将其拉伸为1维向量作为线性退化算子。构造观测张量包括以下步骤:建一个全0张量,大小与观测图像相同,根据观测图像有像素的位置,让全0张量对应位置的像素值与观测图像相等,得到观测张量。
步骤2:将线性退化算子及其观测张量输入至实施例1所述的符合退化的低秩高维图像填充模型,得到输出张量;
步骤3:将观测张量上有像素位置的值对应覆盖到输出张量上,得到填充后的图像张量。
本例提供的符合退化的低秩高维图像填充方法将张量完备化的退化过程构建为线性退化算子,引入到模型求解过程中,使模型可以有效利用到张量的退化信息,实现与退化过程一致的图像填充。
实施例3
本例基于实施例1及实施例2提供一种符合退化的低秩高维图像填充系统,包括输入模块,模型参数数据库,图像张量数据库,深度填充网络模型及参数库,处理模块及输出模块。
所述模型参数数据库,用于存储实施例1所述的符合退化的低秩高维图像填充模型及至少一组超参数,应当保证存储的模型是调试后测试无误的,存储的超参数也应是效果优秀的超参数。所述图像张量数据库,用于存储观测张量及线性退化算子;观测张量数据与退化算子可用于模型开发与调试。所述深度填充网络模型及参数库,用于存储深度填充网络及其对应的训练参数。所述处理模块,用于根据实施例2所述的符合退化的低秩高维图像填充方法,调用上述模块存储数据,对输入模块输入的待填充低秩高维图像进行填充,并将填充后的图像张量通过输出模块进行输出。
在系统使用场景下流程如图3所示。使用过程中,工作人员可以根据实际应用可线下编写并调试效果更好的深度填充网络模型放入深度填充网络模型及参数库。可线下调试不同超参数的组合放入模型参数数据库,也可线下扩充图像张量数据库中的图像数量种类,从而实现系统的即插即用,以此提高了系统开发效率,减少了系统开发成本。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何属于本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。

Claims (9)

1.符合退化的低秩高维图像填充模型构建方法,其特征在于,包括以下步骤:
步骤1:选择训练数据,构建训练集;所述训练数据包括低秩高维图像的线性退化算子与观测张量;所述线性退化算子由低秩高维图像的缺失区域决定,观测张量由低秩高维图像的未缺失区域决定;
步骤2:调用预训练好的深度填充网络作为待构建模型的隐式正则项;
步骤3:构建模型,模型公式如下:
Figure FDA0003730587070000011
其中,X为待预测张量,A为线性退化算子,TNN表示张量核范数,b为观测张量,Φ(X)是隐式正则项,λ为权衡参数,A(X)表示对X经过A退化后得到的结果,s.t.A(X)=b意为模型受制于条件A(X)=b;
步骤4:根据模型公式创建辅助变量与拉格朗日乘子,得到模型的增广拉格朗日函数,根据模型公式迭代求解的顺序构建并调用模型子问题;
步骤5:利用训练集对模型进行训练,确定超参数,所述超参数包括模型最大迭代次数、模型收敛阈值以及模型权衡参数;直至预测性能达到预设值后停止训练,则符合退化的低秩高维图像填充模型构建完成。
2.根据权利要求1所述的符合退化的低秩高维图像填充模型构建方法,其特征在于,所述步骤2中,当图像缺失区域成结构化时选择结构化丢失的彩色图像样本集或者灰度图像样本集训练的深度填充网络;当图像缺失区域成随机分布时选择用随机丢失的灰度图或彩色图像样本集训练的深度填充网络。
3.根据权利要求2所述的符合退化的低秩高维图像填充模型构建方法,其特征在于,所述步骤3中,对于一个张量的核范数计算如下:
Figure FDA0003730587070000012
其中,
Figure FDA0003730587070000013
表示对待预测张量X沿着第三维度做傅里叶变换得到的新张量,X(:,:,i)表示待预测张量X第三个维度第i个切片,n为待预测张量X第三维度的长度,||·||*表示矩阵的核范数。
4.根据权利要求3所述的符合退化的低秩高维图像填充模型构建方法,其特征在于,所述步骤4中,创建辅助变量与拉格朗日乘子,得到模型的增广拉格朗日函数,包括如下步骤:
引入大小与观测张量b相同的两个辅助变量Y,Z,模型公式可改写为:
Figure FDA0003730587070000014
随后引入拉格朗日乘子Λi与对应的非负参数βi(i=1,2,3),得到模型的增广拉格朗日函数
Figure FDA0003730587070000021
其中,Λi(i=1,2,3)为拉格朗日乘子,βi(i=1,2,3)为拉格朗日乘子对应的非负参数,
Figure FDA0003730587070000022
表示括号内表达式的F范数。
5.根据权利要求4所述的符合退化的低秩高维图像填充模型构建方法,其特征在于,所述步骤4中,根据模型公式迭代求解的顺序构建并调用模型子问题,所述子问题包括:
对于辅助变量Z,其子问题如下所示
Figure FDA0003730587070000023
其中,Yk表示第k次迭代时Y的值,
Figure FDA0003730587070000024
表示第k次迭代时Λ3的值;
辅助变量Z的子问题通过T-SVD分解和软阈值法SVT求解,求解过程如下所示:
Zk+1=U*D*VH
其中,
Figure FDA0003730587070000025
Figure FDA0003730587070000026
其中,D是一个全对角张量,即在D所有第三维度的切片上,除对角线元素外其他的元素均为0;U,S,V是
Figure FDA0003730587070000027
进行T-SVD分解的结果;S是一个全对角张量;U,V是正交张量;D(i,i,k)表示D的第一、二维度位置为i,第三维度位置为k的点的值;max{·,·}表示取括号内最大的值作为结果;
对于辅助变量Y,其子问题如下所示:
Figure FDA0003730587070000028
其中,Xk表示第k次迭代时X的值;
Figure FDA0003730587070000029
表示第k次迭代时Λ2的值;
Figure FDA00037305870700000210
表示第k次迭代时Λ3的值;Zk+1表示第k+1次迭代时Z的值;
辅助变量Y的求解公式如下:
Figure FDA0003730587070000031
其中,I表示单位张量,A*表示A的共轭算子;
对于待预测张量X,其子问题如下所示:
Figure FDA0003730587070000032
其中:
Figure FDA0003730587070000033
Figure FDA0003730587070000034
而X的子问题又可以分为n个子问题,其中n为X第三维度的长度;
n个子问题如下所示:
Figure FDA0003730587070000035
其中,i=1,2,...,n;该子问题的解如下所示:
Xk+1(:,∶,i)=Inpainting(B(:,∶,i))
其中,Inpainting(·)指使用深度填充网络求解。
6.符合退化的低秩高维图像填充方法,其特征在于,包括以下步骤:
步骤1:对待填充的低秩高维图像进行预处理,构造线性退化算子及其观测张量;
步骤2:将线性退化算子及其观测张量输入至权利要求1-5任意一项所述的与退化过程一致的即插即用低秩高维图像填充模型,得到输出张量;
步骤3:将观测张量上有像素位置的值对应覆盖到输出张量上,得到填充后的图像张量。
7.根据权利要求6所述的符合退化的低秩高维图像填充方法,其特征在于,所述步骤1中,构造线性退化算子包括以下步骤:创建大小与观测图像相等的全1张量,根据观测图像无像素的位置,将全1张量对应位置的值置0,再将其拉伸为1维向量作为线性退化算子。
8.根据权利要求7所述的符合退化的低秩高维图像填充方法,其特征在于,所述步骤1中,构造观测张量包括以下步骤:创建大小与观测图像相等的全0张量,根据观测图像有像素的位置,将全0张量对应位置的像素值与观测图像相等,得到观测张量。
9.符合退化的低秩高维图像填充系统,其特征在于,包括输入模块,模型参数数据库,图像张量数据库,深度填充网络模型及参数库,处理模块及输出模块;
所述模型参数数据库,用于存储权利要求1-5任意一项所述的符合退化的低秩高维图像填充模型代码及至少一组超参数;
所述图像张量数据库,用于存储观测张量及线性退化算子;
所述深度填充网络模型及参数库,用于存储符合退化的低秩高维图像填充模型所要用到的所有深度填充网络及其对应的训练参数;
所述处理模块,用于根据权利要求6-8任意一项所述的符合退化的低秩高维图像填充方法,调用上述模块存储数据,对输入模块输入的待填充低秩高维图像进行填充,并将填充后的图像张量通过输出模块进行输出。
CN202210783254.XA 2022-07-05 2022-07-05 符合退化的低秩高维图像填充模型及其填充方法与系统 Active CN115170418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210783254.XA CN115170418B (zh) 2022-07-05 2022-07-05 符合退化的低秩高维图像填充模型及其填充方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210783254.XA CN115170418B (zh) 2022-07-05 2022-07-05 符合退化的低秩高维图像填充模型及其填充方法与系统

Publications (2)

Publication Number Publication Date
CN115170418A true CN115170418A (zh) 2022-10-11
CN115170418B CN115170418B (zh) 2023-10-17

Family

ID=83491866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210783254.XA Active CN115170418B (zh) 2022-07-05 2022-07-05 符合退化的低秩高维图像填充模型及其填充方法与系统

Country Status (1)

Country Link
CN (1) CN115170418B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745880A (zh) * 2024-02-19 2024-03-22 西南交通大学 多维非线性变换的医学图像填充方法、装置、设备及介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787516A (zh) * 2016-03-09 2016-07-20 南京信息工程大学 一种基于空谱局部性低秩超图学习的高光谱图像分类方法
US20160371563A1 (en) * 2015-06-22 2016-12-22 The Johns Hopkins University System and method for structured low-rank matrix factorization: optimality, algorithm, and applications to image processing
CN108268426A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于切线单折线法的信赖域求解逻辑回归分析的方法
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法
CN109948708A (zh) * 2019-03-21 2019-06-28 西安电子科技大学 基于迭代隐式正则的多时多光谱图像特征级信息融合方法
CN110675331A (zh) * 2019-08-13 2020-01-10 南京人工智能高等研究院有限公司 图像去噪方法、装置、计算机可读存储介质及电子设备
CN110827212A (zh) * 2019-10-11 2020-02-21 南京信息工程大学 基于交叠组合稀疏高阶全变分的图像复原方法
CN111105364A (zh) * 2019-12-03 2020-05-05 复旦大学 一种基于秩一分解和神经网络的图像复原方法
US20200241096A1 (en) * 2019-01-25 2020-07-30 Siemens Healthcare Limited Method of reconstructing magnetic resonance image data
CN113222834A (zh) * 2021-04-22 2021-08-06 南京航空航天大学 一种基于平滑约束和矩阵分解的视觉数据张量补全方法
CN114282348A (zh) * 2021-11-17 2022-04-05 南京邮电大学 基于隐式正则与算法bdca的相位恢复方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160371563A1 (en) * 2015-06-22 2016-12-22 The Johns Hopkins University System and method for structured low-rank matrix factorization: optimality, algorithm, and applications to image processing
CN105787516A (zh) * 2016-03-09 2016-07-20 南京信息工程大学 一种基于空谱局部性低秩超图学习的高光谱图像分类方法
CN108268426A (zh) * 2016-12-30 2018-07-10 广东精点数据科技股份有限公司 一种基于切线单折线法的信赖域求解逻辑回归分析的方法
CN109241491A (zh) * 2018-07-28 2019-01-18 天津大学 基于联合低秩和稀疏表示的张量结构性缺失填充方法
US20200241096A1 (en) * 2019-01-25 2020-07-30 Siemens Healthcare Limited Method of reconstructing magnetic resonance image data
CN109948708A (zh) * 2019-03-21 2019-06-28 西安电子科技大学 基于迭代隐式正则的多时多光谱图像特征级信息融合方法
CN110675331A (zh) * 2019-08-13 2020-01-10 南京人工智能高等研究院有限公司 图像去噪方法、装置、计算机可读存储介质及电子设备
CN110827212A (zh) * 2019-10-11 2020-02-21 南京信息工程大学 基于交叠组合稀疏高阶全变分的图像复原方法
CN111105364A (zh) * 2019-12-03 2020-05-05 复旦大学 一种基于秩一分解和神经网络的图像复原方法
CN113222834A (zh) * 2021-04-22 2021-08-06 南京航空航天大学 一种基于平滑约束和矩阵分解的视觉数据张量补全方法
CN114282348A (zh) * 2021-11-17 2022-04-05 南京邮电大学 基于隐式正则与算法bdca的相位恢复方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. SALMAN ASIF 等: "Low-Rank Tensor Ring Model for Completing Missing Visual Data", 《ICASSP 2020 - 2020 IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP)》, pages 5415 *
郑建炜 等: "张量环因子非凸秩约束的高光谱图像超解析", 《光子学报》, pages 213 - 227 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117745880A (zh) * 2024-02-19 2024-03-22 西南交通大学 多维非线性变换的医学图像填充方法、装置、设备及介质
CN117745880B (zh) * 2024-02-19 2024-05-03 西南交通大学 多维非线性变换的医学图像填充方法、装置、设备及介质

Also Published As

Publication number Publication date
CN115170418B (zh) 2023-10-17

Similar Documents

Publication Publication Date Title
CN111369440B (zh) 模型训练、图像超分辨处理方法、装置、终端及存储介质
CN109949219B (zh) 一种超分辨率图像的重构方法、装置及设备
US11514694B2 (en) Teaching GAN (generative adversarial networks) to generate per-pixel annotation
CN104867119B (zh) 基于低秩矩阵重建的结构性缺失图像填充方法
US11348203B2 (en) Image generation using subscaling and depth up-scaling
US20230401672A1 (en) Video processing method and apparatus, computer device, and storage medium
CN110139046B (zh) 一种基于张量的视频帧合成方法
WO2022156621A1 (zh) 基于人工智能的图像上色方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN110197183A (zh) 一种图像盲去噪的方法、装置和计算机设备
CN115170418A (zh) 符合退化的低秩高维图像填充模型及其填充方法与系统
CN115830165A (zh) 基于对抗生成网络的国画绘制过程生成方法、装置和设备
CN116630514A (zh) 图像处理方法、装置、计算机可读存储介质及电子设备
CN110751599B (zh) 一种基于截断核范数的视觉张量数据补全方法
CN116363308A (zh) 人体三维重建模型训练方法、人体三维重建方法和设备
CN108520532B (zh) 识别视频中物体运动方向的方法及装置
CN107729885B (zh) 一种基于多重残差学习的人脸增强方法
CN113850298A (zh) 一种图像识别方法、装置及相关设备
Pajot et al. Unsupervised adversarial image inpainting
CN115115723A (zh) 图像重建模型生成及图像重建方法、装置、设备和介质
CN115147426B (zh) 基于半监督学习的模型训练与图像分割方法和系统
CN111105364A (zh) 一种基于秩一分解和神经网络的图像复原方法
CN113962332A (zh) 基于自优化融合反馈的显著目标识别方法
WO2021248356A1 (en) Method and system for generating images
CN112346126A (zh) 低级序断层的识别方法、装置、设备及可读存储介质
Tamir et al. DeepInPy: Deep Inverse Problems in Python

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant