CN114119426B - 非局部低秩转换域与全连接张量分解图像重构方法及装置 - Google Patents
非局部低秩转换域与全连接张量分解图像重构方法及装置 Download PDFInfo
- Publication number
- CN114119426B CN114119426B CN202210090686.2A CN202210090686A CN114119426B CN 114119426 B CN114119426 B CN 114119426B CN 202210090686 A CN202210090686 A CN 202210090686A CN 114119426 B CN114119426 B CN 114119426B
- Authority
- CN
- China
- Prior art keywords
- tensor
- image
- decomposition
- local
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 131
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000006243 chemical reaction Methods 0.000 title claims abstract description 42
- 239000011159 matrix material Substances 0.000 claims description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 230000004069 differentiation Effects 0.000 claims description 4
- 238000003709 image segmentation Methods 0.000 claims description 3
- 230000008521 reorganization Effects 0.000 claims description 3
- 230000003595 spectral effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001228 spectrum Methods 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了非局部低秩转换域与全连接张量分解图像重构方法及装置，包括：S1，输入待修复图像；S2，构建张量分解模型，包括：S2.1，分割输入图像，得到非局部张量块；S2.2，将非局部张量块引入B样条转换域，得到非局部张量块的转换域形式；S2.3，通过非局部张量块，构造非局部相似张量块组；S2.4，联合全连接张量分解，构造全连接张量分解因子；S2.5，构建低秩张量补全模型，并根据S2.1‑2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型；S3，构建图像修复模型，获取待修复图像，通过张量分解模型得到的修复图像张量块组，得到修复后的图像。使得在光谱图像修复中，图像重构更加精准。
Description
技术领域
本发明涉及图像处理技术领域，尤其是涉及基于非局部低秩转换域与全连接张量分解的图像重构方法及装置。
背景技术
由于制造工艺、器件老化或者传输错误等因素影响，高维图像数据在捕获和生成过程中，存在像素丢失情况。低秩张量补全（Low Rank Tensor Completion，LRTC）是根据数据集的低秩性来恢复出丢失元素。矩阵补全是一种二阶张量补全方法，通常假设矩阵是低秩的，以此为约束，使给定的不完全矩阵和估计矩阵的差值最小化。但当待分析数据具有复杂的结构时，用矩阵描述高维数据存在维数灾难、过拟合、数据结构信息不完全等问题。因此，张量作为矩阵高阶推广能够更好的表示高阶数据复杂的本质结构。其中，低秩表示是一种极具应用前景的方法，其广泛应用在信号处理和计算机视觉领域，如图像修复、分类，视频分割，人脸识别等。
图像修复是图像处理领域的一个重要研究内容，它可以表述为一个缺失值估计问题，其核心问题在于如何建立已知元素和未知元素之间的关系。近年来，众多学者提出了不同的张量型图像修复算法，主要分为四类：1）基于非局部的图像修复方法；2）基于先验正则项的图像修复方法；3）基于张量分解的图像修复方法；4）混合方法。基于非局部的图像修复算法，其利用待修复区域的边界信息计算待修复块的优先级，然后在图像未破损区域寻找与待修复块相似度最大的样本块来进行填充修补。该算法对大面积的破损区域有较好的修复效果，但是修复时间过长降低了算法效率。其中图像的先验属性包括低秩性、光滑性、稀疏性等，被广泛转化为先验模型的泛化极值问题，但是也存在破坏视觉理论的连通问题。其中关于张量分解的模型主要针对高阶视觉数据，比如，张量列、张量环等张量分解形式广泛应用于图像重构方法中，其最大的优点可以更好的刻画图像的本质属性，提高算法效率。
随着深度神经网络架构的最新发展，深度学习方法在对象检测，图像分类和图像降噪等计算机视觉任务中具有重要意义。但是，基于深度学习的方法需要大量标记的样本，这些样本难以获取，并且大量标记的样本对于计算机计 算力要求较高，因此小样本传统方法的研究和应用仍然是必要的，并且有很大的改进空间。
发明内容
为解决现有技术的不足，本发明引入非局部低秩转换域与全连接张量分解形式，将其整合到统一的目标函数中，实现光谱图像的修复的目的，本发明采用如下的技术方案：
一种非局部低秩转换域与全连接张量分解图像重构方法，包括如下步骤：
S1，输入待修复图像；
S2，构建非局部低秩转换域与全连接张量分解模型，包括如下步骤：
S2.1，分割输入图像，得到非局部张量块；
S2.2，将非局部张量块引入B样条（B-spline）转换域，得到非局部张量块的转换域形式；
S2.3，通过非局部张量块，构造非局部相似张量块组；
S2.4，联合全连接张量分解，构造全连接张量分解因子；
S2.5，构建低秩张量补全模型，并根据S2.1-2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型，分解模型是将输入待修复图像和输出修复图像，分别进行图像分割、B样条转换域引入和相似张量块分组，得到待修复图像张量块组和修复图像张量块组，通过待修复图像张量块组与修复图像张量块组，结合张量分解因子计算损失，得到损失最小时的修复图像张量块组；
S3，构建图像修复模型，获取待修复图像，通过S2构建好的所述张量分解模型，将得到的所述修复图像张量块组，通过逆向域转换和张量重组得到修复后的图像。
进一步地，所述S2.1中的非局部张量块表示为
，L=(M-d M +1)
(N-d W +1)表示将原始输入图像
分割成L个非局部张量块，d M 表示非局部张量块的长，d W 表
示非局部张量块的宽。
进一步地，所述S2.2中将非局部张量块经维度模展开后，结合B样条转换域算子，进行折叠操作，得到非局部张量块的转换域形式。在B样条转换域中，由正交基生成紧框架，这也保证了转换后数据的正交性和线性无关性，其中转换数据中存在的冗余部分也更好的保留了原始数据的几何特征和具体的细节信息。
进一步地，所述S2.3中为了更充分探索光谱图像的非局部相似性，将非局部张量块聚类为K个非局部相似张量块组。
进一步地，所述S2.4中采用全连接张量分解进一步表示非局部相似张量块，将转换域形式的非局部张量块，根据张量维度进行分解，通过预定义的秩和张量分解因子进行分解，得到转换域形式的非局部张量块与张量分解因子的对应关系，从而提高高阶视觉数据表示的灵活性和鲁棒性。
进一步地，所述S1中确定图像待修复区域，将图像中的像素点分为已知点和未知点，已知点是图像中像素值不为0的点，未知点是图像中像素值为0的点，将未知点作为图像待修复区域；所述S2.5中，将待修复图像张量块组与修复图像张量块组的差值，与区分是否为图像待修复区域的变量计算内积，求解内积的范数最小化时的修复图像张量块组及其对应的全连接张量分解因子。通过全连接张量分解形式，提高了数据表示能力和计算效率，也可以更好的保存光谱图像的空间和光谱信息，此外，B样条转换，也使得模型具有更好的低秩性。
进一步地，所述S2.5采用近端交替最小化算法进行优化，包括如下步骤：
S2.5.1，固定修复图像张量块组，分离出其对应的全连接张量分解因子；
S2.5.2，通过近端交替最小化算法，构建当前修复图像张量块组及对应的全连接张量分解因子与下一次迭代的更新形式；
S2.5.3，对更新形式中当前、下一代修复图像张量块组及其对应的全连接张量分解因子进行展开后，采用交替更新的方法，得到再下一代全连接张量分解因子；
S2.5.4，再下一代全连接张量分解因子和下一代修复图像张量块组，采用最小二乘算法进行一阶微分，得到再下一代修复图像张量块组；
S2.5.5，当下一代修复图像张量块组和再下一代修复图像张量块组的收敛，满足收敛条件时，终止迭代，得到最终的修复图像张量块组及其对应的全连接张量分解因子。
进一步地，所述S2.5.3中对更新形式的展开，是将修复图像张量块按维度进行分解，并分为包含和不包含分解因子的张量，将包含分解因子的张量按维度展开，得到包含分解因子的模展开矩阵，将不包含分解因子的张量按维度展开，得到不包含分解因子的模展开矩阵，将分解因子按维度展开得到分解因子的模展开矩阵；所述交替更新的方法，是通过计算当前分解因子的模展开矩阵与下一代分解因子的模展开矩阵的差值，以及下一代包含分解因子的模展开矩阵，与下一代分解因子的模展开矩阵和不包含分解因子的模展开矩阵的积的差值，最终得到再下一代全连接分解因子。
进一步地，所述展开是将张量按维度展开成向量元素，对向量元素进行重构，重构后的张量能够按维度进行展开和折叠操作。
一种非局部低秩转换域与全连接张量分解图像重构装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现所述的一种非局部低秩转换域与全连接张量分解图像重构方法。
本发明的优势和有益效果在于：
本发明的非局部低秩转换域与全连接张量分解图像重构方法及装置，对高阶图像数据丢失进行修复的过程中，引入非局部低秩转换域与全连接张量分解形式，并整合到统一的目标函数，构建修复模型，通过训练好的修复模型进行图像修复，使整体图像修复更加精准。
附图说明
图1是本发明的原理图。
图2是本发明的实施结构图。
图3是本发明非局部低秩转换域与全连接张量分解图像重构方法的流程图。
图4是本发明的方法中构建非局部低秩转换域与全连接张量分解模型的流程图。
图5是本发明非局部低秩转换域与全连接张量分解图像重构装置的结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
如图1至图4所示，一种非局部低秩转换域与全连接张量分解图像重构方法，包括如下步骤：
S1，输入待修复图像；
确定图像待修复区域，将图像中的像素点分为已知点和未知点，已知点是图像中像素值不为0的点，未知点是图像中像素值为0的点，将未知点作为图像待修复区域；图像中所有未知点组成集合；
输入破损图像
，确定图像待修复区域，将图像中的像素点分为已知点
和未知点，所述已知点是图像中像素值不为0的点，未知点是图像中像素值为0的点；图像中
所有未知点组成集合Ω，其中M、W、H分别表示图像的长、宽、高。
S2，构建非局部低秩转换域与全连接张量分解模型，包括如下步骤：
S2.1，分割输入图像，得到非局部张量块；
联合考虑光谱图像的低秩性和非局部相似性，对张量块做聚类进行分组处理，其
中非局部张量块表示为
，L=(M-d M +1)(N-d W +1)表示将原始输入图像
分割成L个非局部张量块，d M 表示非局部张量块的长，d W 表示非局部张量块的宽。
S2.2，将非局部张量块引入B样条（B-spline）转换域，得到非局部张量块的转换域形式；
在B样条转换域中，由正交基生成紧框架，这也保证了转换后数据的正交性和线性无关性，其中转换数据中存在的冗余部分也更好的保留了原始数据的几何特征和具体的细节信息；
具体来说，将非局部张量块经维度模展开后，结合B样条转换域算子，进行折叠操作，得到非局部张量块的转换域形式；
第l个非局部张量块
的转换域形式表示为：
其中F b 表示B样条转换域算子，
表示张量
的第三维度模展开矩阵，fold3
(·)表示折叠算子，fH表示经域转换后非局部张量块的高。
S2.3，通过非局部张量块，构造非局部相似张量块组；
为了更充分探索光谱图像的非局部相似性，将非局部张量块聚类为K个非局部相
似张量块组；非局部张量块为
，第k个非局部相似张量块组的转换域形式表示为
，其包含s (k)个非局部相似张量块。
S2.4，联合全连接张量分解，构造全连接张量分解因子；
为提高高阶视觉数据表示的灵活性和鲁棒性，本发明采用全连接张量分解进一步表示非局部相似张量块，将转换域形式的非局部张量块，根据张量维度进行分解，通过预定义的秩和张量分解因子进行分解，得到转换域形式的非局部张量块与张量分解因子的对应关系；其定义如下：
其中
表示
在位置(i 1, i 2,…,i N )的元素值，N表示张量的维
度，
表示全连接张量分解因子，r表示索引，其下标表示索引位置，其最大值为R，R表
示预定义的秩，并将公式（2）简写为，
，
表示全连接张量分解操作。
S2.5，构建低秩张量补全模型，并根据S2.1-2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型，分解模型是将输入待修复图像和输出修复图像，分别进行图像分割、B样条转换域引入和相似张量块分组，得到待修复图像张量块组和修复图像张量块组，通过待修复图像张量块组与修复图像张量块组，结合张量分解因子计算损失，得到损失最小时的修复图像张量块组；
具体地，将待修复图像张量块组与修复图像张量块组的差值，与区分是否为图像待修复区域的变量计算内积，求解内积的范数最小化时的修复图像张量块组及其对应的全连接张量分解因子；
低秩张量补全模型的公式表达为：
其中，
表示输入待修复图像，
表示输出修复图像，
，其中1表示可观
察的像素，0表示缺失的像素，表示内积，
表示Frobenius范数，
表示求解函数最小
化时
的值，λ是平衡参数，
表示先验正则项；
通过S2.1-2.4对低秩张量补全模型进行优化，得到基于非局部低秩转换域与全连接张量分解模型：
其中，
表示求解函数最小化时
和
的值，
表示
所对应的
，
表示根据S2.3对
分组的第k个张量组，
表示根据S2.3对
分组的第k个
张量组，通过全连接张量分解形式，提高了数据表示能力和计算效率，也可以更好的保存光
谱图像的空间和光谱信息，此外，B样条转换，也使得模型具有更好的低秩性；
采用近端交替最小化（proximal alternating minimization，PAM）算法进行优
化；求解子问题
和
；包括如下步骤：
S2.5.1，固定修复图像张量块组，分离出其对应的全连接张量分解因子；
公式（4）使用近端交替最小化算法进行优化，首先，固定变量
，分离出关于变
量
的函数，可得，张量分解因子
重写为：
S2.5.2，通过近端交替最小化算法，构建当前修复图像张量块组及对应的全连接张量分解因子与下一次迭代的更新形式；
为了有效的解决问题（5），采用近端交替最小化算法，将变量
和
重写为基
于其下一次变量迭代更新形式：
其中ρ>0表示近端算子，
是
的下一次迭代，
是
的下一次迭代，
是
的下一次迭代；
S2.5.3，对更新形式中当前、下一代修复图像张量块组及其对应的全连接张量分解因子进行展开后，采用交替更新的方法，得到再下一代全连接张量分解因子；
对更新形式的展开，是将修复图像张量块按维度进行分解，并分为包含和不包含分解因子的张量，将包含分解因子的张量按维度展开，得到包含分解因子的模展开矩阵，将不包含分解因子的张量按维度展开，得到不包含分解因子的模展开矩阵，将分解因子按维度展开得到分解因子的模展开矩阵；所述交替更新的方法，是通过计算当前分解因子的模展开矩阵与下一代分解因子的模展开矩阵的差值，以及下一代包含分解因子的模展开矩阵，与下一代分解因子的模展开矩阵和不包含分解因子的模展开矩阵的积的差值，最终得到再下一代全连接分解因子；
具体地，根据公式（8）采用交替更新的方法求解子问题
得到：
其中，G、X、M分别根据定理1得到；
定理1：假设一个N阶张量
，其全连接张量分解表示为
，
，
表示
中不包含分解因子
的张量，t表示索
引，根据定义1得到张量
按维度t的模展开矩阵
，张量
按维度t的模展开矩阵
，分解因子
按维度t展开得到模展开矩阵
，有以下表示：
其中
，
，m、n表示不同的向量元素。
所述展开是将张量按维度展开成向量元素，对向量元素进行重构，重构后的张量能够按维度进行展开和折叠操作；
具体地，定义1：假设一个N阶张量
，I N 表示数据第N维的维度I，其
广义张量展开形式为：
其中，
表示按照向量n N 指定顺序重新排列的张量，
表示第1到d的
向量元素与第d+1到N的向量元素构成的展开矩阵X，简化上式，
，
表示上式的逆操作，reshape(·)表示重构操作，GenUnfold(·)表示展开操作，GenFold
(·)表示折叠操作。
对于公式（9），采用最小二乘算法，对其进行一阶微分并令其等于零，直接求解如下：
S2.5.4，再下一代全连接张量分解因子和下一代修复图像张量块组，采用最小二乘算法进行一阶微分，得到再下一代修复图像张量块组；
在获得张量因子
后，关于子问题
也是采用最小二乘算法，对其进行
一阶微分并令其等于零直接得出：
其中
表示
的补集。
S2.5.5，当下一代修复图像张量块组和再下一代修复图像张量块组的收敛，满足收敛条件时，终止迭代，得到最终的修复图像张量块组及其对应的全连接张量分解因子；
通过迭代更新获得子问题
和
，满足迭代终止条件：
终止迭代，其中j表示迭代次数，tol表示收敛阈值参数。
S3，构建图像修复模型，获取待修复图像，通过S2构建好的所述张量分解模型，将得到的所述修复图像张量块组，通过逆向域转换和张量重组得到修复后的图像。
对每个非局部相似组
进行修复处理，对转换域后的数据还原至原始数据域，
，
，unfold3(·)表示按第三维度模展开算
子，
表示逆向的域转换，fold3(·)表示折叠算子；最终得到修复后的张量数据块
，对于分块重组输出高质量视觉数据
，完成图像重构。
与前述非局部低秩转换域与全连接张量分解图像重构方法的实施例相对应，本发明还提供了非局部低秩转换域与全连接张量分解图像重构装置的实施例。
参见图5，本发明实施例提供的一种非局部低秩转换域与全连接张量分解图像重构装置，包括一个或多个处理器，用于实现上述实施例中的非局部低秩转换域与全连接张量分解图像重构方法。
本发明非局部低秩转换域与全连接张量分解图像重构装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明非局部低秩转换域与全连接张量分解图像重构装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的非局部低秩转换域与全连接张量分解图像重构方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡（Smart Media Card，SMC）、SD卡、闪存卡（Flash Card）等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。
Claims (7)
1.一种非局部低秩转换域与全连接张量分解图像重构方法，其特征在于包括如下步骤：
S1，输入待修复图像；确定图像待修复区域，将图像中的像素点分为已知点和未知点，已知点是图像中像素值不为0的点，未知点是图像中像素值为0的点，将未知点作为图像待修复区域；
S2，构建非局部低秩转换域与全连接张量分解模型，包括如下步骤：
S2.1，分割输入图像，得到非局部张量块；
S2.2，将非局部张量块经维度模展开后，结合B样条转换域算子，进行折叠操作，从而将非局部张量块引入B样条转换域，得到非局部张量块的转换域形式；
S2.3，通过非局部张量块，构造非局部相似张量块组；
S2.4，联合全连接张量分解，构造全连接张量分解因子；采用全连接张量分解进一步表示非局部相似张量块，将转换域形式的非局部张量块，根据张量维度进行分解，通过预定义的秩和张量分解因子进行分解，得到转换域形式的非局部张量块与张量分解因子的对应关系；
S2.5，构建低秩张量补全模型，并根据S2.1-2.4进行优化，得到基于非局部低秩转换域与全连接张量分解模型，分解模型是将输入待修复图像和输出修复图像，分别进行图像分割、B样条转换域引入和相似张量块分组，得到待修复图像张量块组和修复图像张量块组，通过待修复图像张量块组与修复图像张量块组，结合张量分解因子计算损失，得到损失最小时的修复图像张量块组；将待修复图像张量块组与修复图像张量块组的差值，与区分是否为图像待修复区域的变量计算内积，求解内积的范数最小化时的修复图像张量块组及其对应的全连接张量分解因子；
S3，构建图像修复模型，获取待修复图像，通过S2构建好的所述张量分解模型，将得到的所述修复图像张量块组，通过逆向域转换和张量重组得到修复后的图像。
2.根据权利要求1所述的非局部低秩转换域与全连接张量分解图像重构方法，其特征在于所述S2.1中的非局部张量块表示为
，L=(M-d M +1)(N-d W +1)表示将原始输入图像
分割成L个非局部张量块，d M 表示非局部张量块的长，d W 表示非局部张量块的宽。
3.根据权利要求1所述的非局部低秩转换域与全连接张量分解图像重构方法，其特征在于所述S2.3中将非局部张量块聚类为K个非局部相似张量块组。
4.根据权利要求1所述的非局部低秩转换域与全连接张量分解图像重构方法，其特征在于所述S2.5采用近端交替最小化算法进行优化，包括如下步骤：
S2.5.1，固定修复图像张量块组，分离出其对应的全连接张量分解因子；
S2.5.2，通过近端交替最小化算法，构建当前修复图像张量块组及对应的全连接张量分解因子与下一次迭代的更新形式；
S2.5.3，对更新形式中当前、下一代修复图像张量块组及其对应的全连接张量分解因子进行展开后，采用交替更新的方法，得到再下一代全连接张量分解因子；
S2.5.4，再下一代全连接张量分解因子和下一代修复图像张量块组，采用最小二乘算法进行一阶微分，得到再下一代修复图像张量块组；
S2.5.5，当下一代修复图像张量块组和再下一代修复图像张量块组的收敛，满足收敛条件时，终止迭代，得到最终的修复图像张量块组及其对应的全连接张量分解因子。
5.根据权利要求4所述的非局部低秩转换域与全连接张量分解图像重构方法，其特征在于所述S2.5.3中对更新形式的展开，是将修复图像张量块按维度进行分解，并分为包含和不包含分解因子的张量，将包含分解因子的张量按维度展开，得到包含分解因子的模展开矩阵，将不包含分解因子的张量按维度展开，得到不包含分解因子的模展开矩阵，将分解因子按维度展开得到分解因子的模展开矩阵；所述交替更新的方法，是通过计算当前分解因子的模展开矩阵与下一代分解因子的模展开矩阵的差值，以及下一代包含分解因子的模展开矩阵，与下一代分解因子的模展开矩阵和不包含分解因子的模展开矩阵的积的差值，最终得到再下一代全连接分解因子。
6.根据权利要求4或5所述的非局部低秩转换域与全连接张量分解图像重构方法，其特征在于所述展开是将张量按维度展开成向量元素，对向量元素进行重构，重构后的张量能够按维度进行展开和折叠操作。
7.一种非局部低秩转换域与全连接张量分解图像重构装置，其特征在于，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述一个或多个处理器执行所述可执行代码时，用于实现权利要求1-6 中任一项所述的一种非局部低秩转换域与全连接张量分解图像重构方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090686.2A CN114119426B (zh) | 2022-01-26 | 2022-01-26 | 非局部低秩转换域与全连接张量分解图像重构方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210090686.2A CN114119426B (zh) | 2022-01-26 | 2022-01-26 | 非局部低秩转换域与全连接张量分解图像重构方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114119426A CN114119426A (zh) | 2022-03-01 |
| CN114119426B true CN114119426B (zh) | 2022-07-01 |
Family
ID=80361731
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210090686.2A Active CN114119426B (zh) | 2022-01-26 | 2022-01-26 | 非局部低秩转换域与全连接张量分解图像重构方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119426B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115169566A (zh) * | 2022-09-09 | 2022-10-11 | 之江实验室 | 基于张量网络局部采样的随机量子线路模拟方法和装置 |
| CN116996708B (zh) * | 2023-08-10 | 2024-02-09 | 广州阿凡提电子科技有限公司 | 基于机器学习的短视频数据标签推荐方法、系统及云平台 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015042873A1 (en) * | 2013-09-27 | 2015-04-02 | Google Inc. | Decomposition techniques for multi-dimensional data |
| CN104217449A (zh) * | 2014-09-19 | 2014-12-17 | 西安电子科技大学 | 基于相关性向量分组的压缩感知图像重构方法 |
| KR101747029B1 (ko) * | 2016-04-01 | 2017-06-27 | 경희대학교 산학협력단 | 전류를 주입 없이 mri를 이용한 저주파 전도도 영상 복원 장치 및 그 방법 |
| CN108537252B (zh) * | 2018-03-21 | 2022-04-08 | 温州大学苍南研究院 | 一种基于新范数的图像噪声去除方法 |
| CN108876884B (zh) * | 2018-06-21 | 2022-06-14 | 汕头大学 | 一种基于非局部的张量低秩正则化的高光谱图像重建方法 |
| CN110223243A (zh) * | 2019-05-05 | 2019-09-10 | 李晓彤 | 基于张量的非局部自相似和低秩正则的张量修复方法 |
| CN110298798B (zh) * | 2019-06-20 | 2021-02-19 | 浙江工业大学 | 一种基于低秩张量补全与离散全变分的图像修复方法 |
| CN110501072B (zh) * | 2019-08-26 | 2020-07-24 | 北京理工大学 | 一种基于张量低秩约束的快照式光谱成像系统的重构方法 |
| CN111325697B (zh) * | 2020-03-04 | 2022-10-25 | 西安交通大学 | 一种基于张量本征变换的彩色图像修复方法 |
| CN111598798B (zh) * | 2020-04-27 | 2023-09-05 | 浙江工业大学 | 一种基于低秩张量链分解的图像修复方法 |
| CN111951185B (zh) * | 2020-07-15 | 2024-03-29 | 浙江工业大学 | 基于低秩张量环分解与高阶结构化与图像修复方法 |
| CN112241938B (zh) * | 2020-08-21 | 2024-02-13 | 浙江工业大学 | 基于光滑塔克分解与高阶张量汉克化的图像修复方法 |
| CN112991195B (zh) * | 2021-01-29 | 2024-02-02 | 西安理工大学 | 针对破损视频的α阶全变分约束的低秩张量补全方法 |
| CN113222832B (zh) * | 2021-04-14 | 2024-02-06 | 浙江工业大学 | 一种基于结构化张量的分簇多光谱图像修复方法及装置 |
| CN113421198B (zh) * | 2021-06-17 | 2023-10-20 | 南京邮电大学 | 一种基于子空间的非局部低秩张量分解的高光谱图像去噪方法 |
| CN113920216A (zh) * | 2021-11-12 | 2022-01-11 | 中国人民解放军战略支援部队信息工程大学 | 基于张量核范数和变换Lp范数的能谱CT重建方法及装置 |
-
2022
- 2022-01-26 CN CN202210090686.2A patent/CN114119426B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114119426A (zh) | 2022-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Nonlocal low-rank tensor completion for visual data | |
| Simon et al. | Rethinking the CSC model for natural images | |
| CN114119426B (zh) | 非局部低秩转换域与全连接张量分解图像重构方法及装置 | |
| Fan et al. | Deep learning based matrix completion | |
| CN110400276B (zh) | 高光谱图像去噪方法、装置 | |
| Liu et al. | Block matching local SVD operator based sparsity and TV regularization for image denoising | |
| Bahri et al. | Robust Kronecker component analysis | |
| Mahmoudi et al. | Sparse representations for range data restoration | |
| Ding et al. | Tensor train rank minimization with nonlocal self-similarity for tensor completion | |
| CN116665065B (zh) | 基于十字交叉注意力的高分辨率遥感影像变化检测方法 | |
| CN112634149A (zh) | 一种基于图卷积网络的点云去噪方法 | |
| Zhang et al. | Tensor graph convolutional neural network | |
| Cui et al. | Fast hierarchical deep unfolding network for image compressed sensing | |
| Cao et al. | MRI reconstruction based on Bayesian group sparse representation | |
| Esmaeilzehi et al. | Ultralight-weight Three-Prior Convolutional Neural Network for Single Image Super Resolution | |
| Xu et al. | Nonlocal B-spline representation of tensor decomposition for hyperspectral image inpainting | |
| Silva et al. | Efficient separable filter estimation using rank-1 convolutional dictionary learning | |
| Gong et al. | Accurate regularized tucker decomposition for image restoration | |
| Asante-Mensah et al. | Image reconstruction using superpixel clustering and tensor completion | |
| CN114596466A (zh) | 一种基于张量网络模型的多模态图像缺失补全的分类方法 | |
| CN116128747A (zh) | 基于结构化张量稀疏模型的多光谱图像去噪方法及装置 | |
| CN111951185B (zh) | 基于低秩张量环分解与高阶结构化与图像修复方法 | |
| Xia et al. | Embedded conformal deep low-rank auto-encoder network for matrix recovery | |
| Xiong et al. | Hyperspectral imagery denoising via reweighed sparse low-rank nonnegative tensor factorization | |
| Lyu et al. | Applications of online nonnegative matrix factorization to image and time-series data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |