CN112116532B - 一种基于张量块循环展开的彩色图像补全方法 - Google Patents
一种基于张量块循环展开的彩色图像补全方法 Download PDFInfo
- Publication number
- CN112116532B CN112116532B CN202010774427.2A CN202010774427A CN112116532B CN 112116532 B CN112116532 B CN 112116532B CN 202010774427 A CN202010774427 A CN 202010774427A CN 112116532 B CN112116532 B CN 112116532B
- Authority
- CN
- China
- Prior art keywords
- image
- tensor
- expansion
- matrix
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 125000004122 cyclic group Chemical group 0.000 title claims abstract description 29
- 239000011159 matrix material Substances 0.000 claims abstract description 61
- 238000005457 optimization Methods 0.000 claims abstract description 23
- 238000000354 decomposition reaction Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 9
- AYFVYJQAPQTCCC-GBXIJSLDSA-N L-threonine Chemical compound C[C@@H](O)[C@H](N)C(O)=O AYFVYJQAPQTCCC-GBXIJSLDSA-N 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims description 3
- 230000009191 jumping Effects 0.000 claims description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 238000012217 deletion Methods 0.000 description 8
- 230000037430 deletion Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 5
- 235000002566 Capsicum Nutrition 0.000 description 4
- 241000758706 Piperaceae Species 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于张量块循环展开的彩色图像补全方法,属于图像处理技术领域。首先输入待补全图像并对缺失像素进行n近邻初始化,得到目标图像;然后初始化模型参数,估计目标图像的块循环展开秩并设置权重系数。接着将目标图像以张量形式输入图像补全模型,并采用交替方向乘子法通过迭代对模型进行凸优化求解,其中图像补全模型为基于张量块循环展开的低秩矩阵因式分解模型。最后,对迭代得到的张量进行数据格式转换,使之以待补全图像的格式输出。本方法在进行张量块循环展开时增加了图像切片之间的联系性,从而在一定程度上降低了展开操作所造成的图像结构信息的损失;补全图像的峰值信噪比有了显著提高,且纹理和细节信息更加丰富。
Description
技术领域
本发明属于图像处理技术领域,具体涉及一种基于张量块循环展开的彩色图像补全方法。
背景技术
随着时代的发展和科技的进步,数据的表现形式不断地推陈出新。针对图像数据而言,黑白时代利用矩阵即可表示和处理;然而进入彩色时代,利用矩阵处理图像变得困难,于是高阶数组被用来储存图像以保存其特殊的结构,这种高阶数组通常被称为张量。张量是向量和矩阵概念的推广,向量和矩阵可视为特殊的一阶张量和二阶张量。
视觉信息是人们日常生活中感知和认知世界最多且最有效的一种信息,从二维的灰度图像到三通道彩色图像,乃至四维的视频数据,图像无时不刻充斥着人们生活的方方面面。然而,在图像的形成、传输和保存的过程中,由于成像系统、记录设备和保存环境的不完善等的影响,导致图像质量的下降;而高质量图像所带来的视觉感知和图像信息是损坏图像无法比拟的。因此,通过张量补全来进行图像恢复具有重要的研究意义和应用价值。
目前,张量补全主要是利用张量的低秩特性对待补全张量进行优化求解,较成熟的方法是通过不同的张量分解模型对张量进行展开,并对展开矩阵采用低秩矩阵补全的方法进行处理。张量分解模型主要有CP分解、Tucker分解、Tensor Train(TT)分解、TensorRing(TR)分解以及Hierarchical Tensor(HT)分解等;然而,利用上述分解模型对张量进行展开时不可避免地破坏了张量的原始结构,一定程度上降低了张量元素之间的联系性。从而导致张量补全效果不尽人意。
发明内容
为了解决上述问题,本发明的目的在于提供一种基于张量块循环展开的彩色图像补全方法,简便高效,补全图像的峰值信噪比有了显著提高,且纹理和细节信息更加丰富。
本发明是通过以下技术方案来实现:
一种基于张量块循环展开的彩色图像补全方法,包括以下步骤:
步骤1:输入待补全图像并对其缺失像素进行n近邻初始化,得到目标图像;
步骤2:设置最大迭代次数K、块循环秩的截断参数thre以及相邻两次迭代间的误差阈值ε;
步骤5:计算相邻两次迭代之间的相对误差RE;
步骤6:当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻两次迭代间的误差阈值ε时,输出图像,完成图像的补全;否则跳至步骤4进行下一次迭代。
进一步优选地,近邻n的取值为待补全图像可观测像素点比例的10~30倍。
优选地,步骤2中,最大迭代次数K为100,块循环秩的截断参数0.005≤thre≤0.02,相邻两次迭代间的误差阈值ε为0.001。
然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数αn;截断秩rn定义如下:
αn=min(IaIn,IbIn)
α=α/sum(α)。
优选地,步骤4包括以下步骤:
步骤4.1:对输入张量进行块循环展开,建立基于张量块循环展开的低秩矩阵因式分解模型目标函数;
进一步优选地,步骤4.2中,采用交替方向乘子法进行凸优化求解,具体为:
优选地,步骤5中,相邻两次迭代之间的相对误差定义为:
与现有技术相比,本发明具有以下有益的技术效果:
本发明公开的基于张量块循环展开的彩色图像补全方法,在张量块循环矩阵基础上提出了一种新的张量展开模型,即张量块循环展开;利用该展开模型,展开矩阵的行数和列数更加平衡、更接近方阵。相比于mode-n和modes-n展开方式,虽然块循环展开矩阵依旧在一定程度上破坏了原始张量结构,但通过张量块循环组合的方式,增加了张量数据各元素之间的联系性,从而在一定程度上弥补了结构破坏带来的不利影响,使本发明能够得到更好的补全效果。同时,从张量块循环展开矩阵出发,本发明定义的块循环秩,其本质为展开矩阵的截断秩,使得本发明中所采用的张量补全算法在迭代过程可以采用矩阵因式分解进行优化求解,从而避免了采用SVD分解方案的巨大计算量。采用该方法补全图像的峰值信噪比有了显著提高,且纹理和细节信息更加丰富。
进一步地,一般情况下当图像像素点缺失大于90%时补全效果不再显著,因此本发明主要针对缺失率小于等于90%的情况。当利用n近邻方法对图像缺失像素点进行初始化时,为了使初始化像素值更加接近真实值,需要保证近邻的数量大于等于3;而为了提升效率,n的值不宜过大,一般设置不超过10,因此n的取值设置为图像可观测像素点比例的10~30倍,使其处于一个合理的范围。
进一步地,迭代次数为一个经验值,需要经过多次实验得到,若设置过小,则凸优化无法达到最优值,若设置过大,则可能造成过拟合。经过多次实验验证,最大迭代次数设置为100左右比较合适。在凸优化迭代过程中,算法的收敛速度随着迭代次数的增加逐渐减小,当算法的收敛速度很小时,每次迭代对算法结果的优化将不再显著;本发明中所定义的迭代误差和收敛速度呈正相关,故当相邻两次迭代间的误差满足误差条件时,停止迭代以减小算法耗时。实验中我们发现当相邻两次迭代间的误差小于0.001时,后续迭代对补全图像质量的提升十分有限,因此误差阈值ε设置为0.001。
附图说明
图1为本发明的基于张量块循环展开的彩色图像补全方法的流程图;
图2是本发明张量块循环展开与mode-n展开对比示意图(三阶彩色图像数据沿第三个维度展开);
图3是本发明实施例中原始图像Lena;
图4是本发明实施例中原始图像House;
图5是本发明实施例中原始图像Facade;
图6是本发明实施例中原始图像Peppers;
图7是本发明实施例中原始图像Barbara;
图8是本发明实施例中Lena的随机缺失图像;
图9是本发明实施例中House的横条纹缺失图像;
图10是本发明实施例中Facade的竖条纹缺失图像;
图11是本发明实施例中Peppers的随机划痕缺失图像;
图12是本发明实施例中Barbara的文字遮挡缺失图像;
图13是本发明实施例中Lena的补全图像;
图14是本发明实施例中House的补全图像;
图15是本发明实施例中Facade的补全图像;
图16是本发明实施例中Peppers的补全图像;
图17是本发明实施例中Barbara的补全图像。
具体实施方式
下面以附图和具体实施例对本发明做进一步的详细说明,所述是对本发明的解释而不是限定。
如图1所示,本发明的基于张量块循环展开的彩色图像补全方法,具体包括以下步骤:
步骤1:输入待补全的缺失图像将图像的每个像素值看作一个元素,储存图像为三阶张量的形式,当输入三通道彩色图像时,I3=3。然后对缺失像素进行初始化,此处初始化缺失像素点为其n近邻已知像素点的平均值,得到目标图像其中n的值可根据待补全图像可观测像素点的比例设置,一般设置为可观测像素点比例的10~30倍,使n的取值在3~10之间。
步骤2:设置最大迭代次数K、块循环秩截断参数thre以及相邻两次迭代间的误差阈值ε;其中迭代次数一般可设置为100,块循环秩截断参数thre可在[0.005,0.02]范围内取值,相邻两次迭代间的误差阈值ε可设置为0.001。
张量块循环展开可理解为对张量其中一个维度作切片操作,切片依次构成块队列,然后块队列循环向后移动,最终当第一张切片块移动到队列尾端时结束。图2所示为三通道彩色图像按第三个维度—色彩通道进行mode-n展开和块循环展开的示意图,从图中可以直观看出,相比mode-n展开,块循环展开(bcirc)增加了图像RGB三通道之间的联系性,并且展开矩阵更加平衡。
此外,得到展开矩阵后需要估计它们的截断秩,此处采用奇异值估计方法,对展开矩阵进行SVD分解得到奇异值矩阵S(n)来估计张量的块循环展开矩阵的截断秩rn,其中rn满足:
αn=min(IaIn,IbIn)
为了使其满足α1+α2+α3=1,还需对权重系数除以权重系数之和,即:
α=α/sum(α)
步骤4.1:分别对的三个维度作张量块循环展开,得到三个展开矩阵X(n),n=1,2,3;需要注意的是此处不能再利用SVD分解进行优化求解。因为SVD分解计算量比较大,而本发明中所采用的张量块循环展开矩阵要比mode-n和modes-n展开矩阵大很多,如果每次算法迭代都需要处理SVD分解,整个算法的计算量将会十分巨大,这种情况下将会耗费大量的资源。因此,需要在迭代过程尽可能地中避免SVD分解。此处采用低秩矩阵因式分解的方法,在估计得到张量展开矩阵截断秩rn的条件下,展开矩阵X(n)可因式分解为X(n)=UV,从而建立基于张量块循环展开的低秩矩阵因式分解目标函数:
当展开维度n固定时,上述优化问题可以更一般地表示为:
步骤4.2:针对步骤4.1得到的优化模型,可以采用交替方向乘子法(ADMM)或块坐标下降法(BCD)来进行优化求解,此处我们采用ADMM来进行凸优化求解。固定变量X(n),Un,Vn中的任意两个变量而改变另一个变量,此时该模型简化为一个简单的凸优化问题。通过下式分别更新三个变量:
步骤4.3:对步骤4.2得到的解矩阵作张量块逆展开(即利用块循环展开矩阵构造张量)得到和原始图像数据大小相同的张量然后利用步骤3中得到的权重系数对加权求和。具体操作为:首先需要将解矩阵中在原始张量中位置相同的切片求其平均值,然后在张量的展开维度上叠加切片构造与被展开张量同样大小的张量最后对重构张量加权求和得到补全张量并利用可观测子集Ω实现具体表示如下:
步骤5:计算相邻两次迭代之间的相对误差RE,其定义为:
步骤6:判断是否满足以下两个停止条件中的任意一个;若满足,输出图像;否则跳至步骤4;
(1)迭代次数达到最大迭代次数;
(2)相邻两次迭代间的误差小于误差阈值。
需要说明的是,迭代次数为一个经验值,需要经过多次实验得到,若设置过小,则凸优化无法达到最优值,若设置过大,则可能造成过拟合。
在凸优化迭代过程中,算法的收敛速度随着迭代次数的增加逐渐减小,当算法的收敛速度很小时,每次迭代对算法结果的优化将不再显著;本发明中所定义的迭代误差和收敛速度呈正相关,故当相邻两次迭代间的误差满足误差条件时,停止迭代以减小算法耗时。
为了展示本发明对彩色图像的补全效果,此处选取数字图像处理标准测试集中的五张图像做不同种类缺失的实验,原始图如图3至图7所示。五种缺失分别为如图8所示Lena图像的像素点随机缺失、图9所示House图像的横条纹缺失、图10所示Facade图像的竖条纹缺失、图11所示Peppers图像的随机划痕缺失以及图12所示Barbara图像的文字遮挡缺失。
利用本发明分别对缺失图像进行补全处理,得到的补全效果图如图13至图17所示。从视觉上主观判断,本发明可以很好地处理五种不同类型的缺失,对比原始图像发现在图像的细节和纹理等方面有不错的补全效果。为了证实这一判断,此处采用评价图像补全质量好坏的客观指标峰值信噪比(PSNR)、结构相似度(SSIM)和特征相似度(FSIM)来进行评价。缺失图像和补全图像的三个指标对比如表1所示。
表1
通过主观视觉和客观指标双重评价,以上实验证明本发明方法在图像补全方面效果显著,且补全图像质量较高。
需要说明的是,以上所述仅为本发明实施方式的一部分,根据本发明所描述的系统所做的等效变化,均包括在本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做类似的方式替代,只要不偏离本发明的结构或者超越本权利要求书所定义的范围,均属于本发明的保护范围。
Claims (5)
1.一种基于张量块循环展开的彩色图像补全方法,其特征在于,包括以下步骤:
步骤1:输入待补全图像并对其缺失像素进行n近邻初始化,得到目标图像;
步骤2:设置最大迭代次数K、块循环秩的截断参数thre以及相邻两次迭代间的误差阈值ε;
然后估计块循环展开矩阵X(n)的截断秩rn以及权重系数αn;截断秩rn定义如下:
αn=min(IaIn,IbIn)
α=α/sum(α);
步骤4包括以下步骤:
步骤4.1:对输入张量进行块循环展开,建立基于张量块循环展开的低秩矩阵因式分解模型目标函数;
步骤4.2中,采用交替方向乘子法进行凸优化求解,具体为:
步骤5:计算相邻两次迭代之间的相对误差RE;
步骤6:当迭代次数达到最大迭代次数K或相邻两次迭代间的相对误差RE小于相邻两次迭代间的误差阈值ε时,输出图像,完成图像的补全;否则跳至步骤4进行下一次迭代。
3.如权利要求2所述的基于张量块循环展开的彩色图像补全方法,其特征在于,近邻n的取值为待补全图像可观测像素点比例的10~30倍。
4.如权利要求1所述的基于张量块循环展开的彩色图像补全方法,其特征在于,步骤2中,最大迭代次数K为100,块循环秩的截断参数0.005≤thre≤0.02,相邻两次迭代间的误差阈值ε为0.001。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010774427.2A CN112116532B (zh) | 2020-08-04 | 2020-08-04 | 一种基于张量块循环展开的彩色图像补全方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010774427.2A CN112116532B (zh) | 2020-08-04 | 2020-08-04 | 一种基于张量块循环展开的彩色图像补全方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112116532A CN112116532A (zh) | 2020-12-22 |
CN112116532B true CN112116532B (zh) | 2022-07-12 |
Family
ID=73799138
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010774427.2A Active CN112116532B (zh) | 2020-08-04 | 2020-08-04 | 一种基于张量块循环展开的彩色图像补全方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112116532B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113393402B (zh) * | 2021-06-25 | 2022-09-13 | 广东工业大学 | 一种基于张量环分解恢复图像背景的方法 |
CN113538296A (zh) * | 2021-08-26 | 2021-10-22 | 北京环境特性研究所 | 一种红外图像目标检测方法、装置、计算设备及存储介质 |
CN114841888B (zh) * | 2022-05-16 | 2023-03-28 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN110298798A (zh) * | 2019-06-20 | 2019-10-01 | 浙江工业大学 | 一种基于低秩张量补全与离散全变分的图像修复方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9681147B2 (en) * | 2014-01-20 | 2017-06-13 | Board Of Trustees Of Michigan State University | Compression of image ensembles using tensor decomposition |
CN108305297A (zh) * | 2017-12-22 | 2018-07-20 | 上海交通大学 | 一种基于多维张量字典学习算法的图像处理方法 |
CN108765517B (zh) * | 2018-04-18 | 2022-09-02 | 天津大学 | 一种基于凸优化的多张量视觉数据填充方法 |
US11531902B2 (en) * | 2018-11-13 | 2022-12-20 | International Business Machines Corporation | Generating and managing deep tensor neural networks |
CN110415307B (zh) * | 2019-06-14 | 2021-03-19 | 中国地质大学(武汉) | 一种基于张量补全的多能ct成像方法、装置及其存储设备 |
-
2020
- 2020-08-04 CN CN202010774427.2A patent/CN112116532B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107016649A (zh) * | 2017-02-24 | 2017-08-04 | 同济大学 | 一种基于局部低秩张量估计的视觉数据补全方法 |
CN110298798A (zh) * | 2019-06-20 | 2019-10-01 | 浙江工业大学 | 一种基于低秩张量补全与离散全变分的图像修复方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112116532A (zh) | 2020-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112116532B (zh) | 一种基于张量块循环展开的彩色图像补全方法 | |
CN111275643A (zh) | 基于通道和空间注意力的真实噪声盲去噪网络模型及方法 | |
CN113450288B (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
CN107133930A (zh) | 基于低秩矩阵重建和稀疏表示的行列缺失图像填充方法 | |
Fang et al. | Variational single image dehazing for enhanced visualization | |
CN111986108B (zh) | 一种基于生成对抗网络的复杂海空场景图像去雾方法 | |
CN109886391B (zh) | 一种基于空间正反对角卷积的神经网络压缩方法 | |
CN113222834B (zh) | 一种基于平滑约束和矩阵分解的视觉数据张量补全方法 | |
CN110880165A (zh) | 一种基于轮廓和颜色特征融合编码的图像去雾方法 | |
CN112287973A (zh) | 基于截尾奇异值和像素插值的数字图像对抗样本防御方法 | |
Jiang et al. | Learning a referenceless stereopair quality engine with deep nonnegativity constrained sparse autoencoder | |
CN112581378A (zh) | 基于显著性强度和梯度先验的图像盲去模糊方法和装置 | |
CN106780450A (zh) | 一种基于低秩多尺度融合的图像显著性检测方法 | |
CN110751599A (zh) | 一种基于截断核范数的视觉张量数据补全方法 | |
CN105184742B (zh) | 一种基于拉普拉斯图特征向量的稀疏编码的图像去噪方法 | |
CN117252936A (zh) | 一种适配多种训练策略的红外图像彩色化方法及系统 | |
CN111553296A (zh) | 一种基于fpga实现的二值神经网络立体视觉匹配方法 | |
Fu et al. | Attentionlut: Attention fusion-based canonical polyadic lut for real-time image enhancement | |
CN117745570A (zh) | 一种基于低秩全变分深度先验融合的视觉数据补全方法 | |
CN110610508B (zh) | 一种静态视频分析方法及系统 | |
Lu et al. | A nonlocal feature self-similarity based tensor completion method for video recovery | |
CN111627077A (zh) | 一种医疗图像的处理方法及其压缩、还原系统 | |
CN114841895B (zh) | 一种基于双向映射网络的图像阴影去除方法 | |
CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
CN115474048A (zh) | 基于分裂四元数模型的快速彩色图像压缩方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |