CN111738926A

CN111738926A - 恢复图像的方法及其系统

Info

Publication number: CN111738926A
Application number: CN202010051781.2A
Authority: CN
Inventors: 詹克宇; 曾中超; 孙岳
Original assignee: Xi'an Wanhong Electronic Technology Co ltd
Current assignee: Xi'an Wanhong Electronic Technology Co ltd
Priority date: 2020-01-17
Filing date: 2020-01-17
Publication date: 2020-10-02

Abstract

本发明的恢复图像的方法，涉及图像处理的技术领域，解决现有技术的方法恢复图像效果较低的技术问题。该方法包括获取待恢复的图像并确定所述图像的丢失值数据；根据所述丢失值数据确定所述图像待补全的三阶张量；确定第一模型，所述第一模型根据所述三阶张量进行图像的低秩与稀疏约束处理所确定；根据所述第一模型确定所述图像的目标张量；转换所述目标张量格式确定所述图像的所述丢失值数据的恢复。本发明用以提高图像处理的功能，满足人们能够提高图像数据恢复的要求。

Description

恢复图像的方法及其系统

【技术领域】

本发明属于图像处理的技术领域，尤其是一种恢复图像的方法及其系统。

【背景技术】

图像恢复是计算机视觉中的一个基本问题。例如，在数据的采集或处理过程中，由于设备、传输条件限制或人为因素，获得的图像中可能会出现有丢失内容信息的情况，如何从获得的图像中恢复出丢失的值是图像处理研究中的一项高频任务，也是，越来越受到人们的关注问题。主要原因是因为在图像中，场景和物体可能是比较复杂的，而且仅通过当前图像进行恢复可以利用的信息较少。

现有的主流图像恢复方法主要是通过利用图像的先验知识来恢复丢失值，如，利用图像低秩特性的TNN方法。此外，Xutao Li等人在文章Low-rank tensor completionwith total variation for visual data inpainting(Thirty-First AAAI Conferenceon Artificial Intelligence. 2017)中针对图像恢复问题提出了一种恢复方法，该方法结合图像的低秩特性与光滑特性，提出了基于张量展开的核范数和差分项的优化模型(LRTC-TV)，并通过交替方向乘子法对模型进行求解，以实现图像的恢复。该方法的通用性较差，不能用于大多数的图像，且差分项会产生比较明显的阶梯效应，对于图像的细节部分恢复较差。

现有技术的方法未有效的利用图像的内部结构特征和未充分利用图像间丢失信息和未丢失信息的关系，以实现更好的恢复效果和更多细节的保留。

有鉴于此，特提出本发明。

【发明内容】

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种恢复图像的方法，解决现有技术的方法因未有效的利用图像的内部结构特征，致使图像恢复效果较低的技术问题。

本发明解决其技术问题所采用的技术方案是：提供一种恢复图像的方法，所述方法包括：

获取待恢复的图像并确定所述图像的丢失值数据；

根据所述丢失值数据确定所述图像待补全的三阶张量；

确定第一模型，所述第一模型根据所述三阶张量进行图像的低秩与稀疏约束处理所确定；

根据所述第一模型确定所述图像的目标张量；

转换所述目标张量格式确定所述图像的所述丢失值数据的恢复。

在一个优选或可选的实施方式中，确定所述图像的丢失值数据的方法包括：

根据获取所述待恢复的图像进行二值化处理确定丢失值数据，所述丢失值数据为待恢复的图像数据中对应元素矢量为零的区域。

在一个优选或可选的实施方式中，所述第一模型确定所述图像的目标张量的方法包括：

预设替代变量，根据所述替代变量确定对应的朗格朗日乘子变量，所述替代变量用于替代目标张量的变量；

根据所述替代变量确定第二模型，所述第二模型根据所述替代变量和所述朗格朗日乘子变量将所述第一模型转化为增广拉格朗日函数模型。

根据所述第二模型确定所述图像的目标张量。

在一个优选或可选的实施方式中，根据所述第二模型确定所述图像的目标张量的方法包括：

预设迭代次数；

利用交替方向乘子法在所述预设迭代次数内处理所述第二模型，获取处理后的所述第二模型作为待恢复的所述图像的目标张量，所述目标张量与待恢复的所述图像所对应的尺寸数据相同。

另一方面提供一种恢复图像的系统，所述系统包括：

获取模块，用于获取待恢复的图像并确定所述图像的丢失值数据；

第一确定模块，用于根据所述丢失值数据确定所述图像待补全的三阶张量；

第二确定模块，用于根据所述三阶张量进行图像的低秩与稀疏约束处理确定第一模型；

第三确定模块，用于所述第一模型确定所述图像的目标张量；

转换模块，用于转换所述目标张量格式恢复所述图像的所述丢失值数据。

在一个优选或可选的实施方式中，所述获取模块还用于二值化处理所述待恢复的图像以确定丢失值数据，所述丢失值数据为待恢复的图像数据中对应元素矢量为零的区域。

在一个优选或可选的实施方式中，所述第三确定模块还用于预设替代变量，根据所述替代变量确定对应的朗格朗日乘子变量，所述替代变量用于替代目标张量的变量；

所述第二模型根据所述替代变量和所述朗格朗日乘子变量将所述第一模型转化为增广拉格朗日函数模型，所述增广拉格朗日函数模型作为第二模型；根据所述第二模型确定所述图像的目标张量。

在一个优选或可选的实施方式中，所述第三确定模块还用于通过预设迭代次数并利用交替方向乘子法在所述预设迭代次数内处理所述第二模型，获取处理后的所述第二模型作为待恢复的所述图像的目标张量，所述目标张量与待恢复的所述图像所对应的尺寸数据相同。

本发明所提供的方法，具有以下特征：

获取待恢复的图像并确定所述图像的丢失值数据；根据所述丢失值数据确定所述图像待补全的三阶张量；

所述第一模型根据所述三阶张量进行图像的低秩与稀疏约束处理所确定第一模型，根据所述第一模型确定所述图像的目标张量，图像等视觉数据往往具有复杂的数据结构，张量作为向量和矩阵的高阶推广可有效的表示图像等高维数据的内部结构，如，三阶张量，张量补全可以通过三阶张量分解或者秩最小化来完成，通过分解的方法通常需要指人工指定分解的所用到的秩，会直接影响恢复结果，而秩最小化通过最小化张量的秩建立模型进行迭代求解，可以得到较好的效果，待恢复图像补全的更细化处理。将图像看作是一个张量，通过张量补全的方法来进行图像恢复，基于自然图像的低秩与稀疏特性的处理，更加有效的利用图像的内部结构特征，充分利用图像间丢失信息和未丢失信息的关系，实现更好的恢复效果和更多细节的保留，通过目标张量的格式保存成图像格式，获取更好的图像恢复效果。

【附图说明】

图1为本发明恢复图像方法的框架图；

图2为本发明恢复图像方法的第一模型确定图像目标张量的框架图；

图3为本发明恢复图像方法的第二模型确定图像目标张量的框架图；

图4本发明恢复图像的系统的结构示意图；

图5本发明恢复图像的系统需要提供的四张原始图形；

图6本发明恢复图像系统恢复狒狒图像与现有技术的恢复狒狒图像的技术效果对比；

图7本发明恢复图像系统恢复Barbara图像与现有技术的恢复 Barbara图像的技术效果对比；

图8本发明恢复图像系统恢复Lena图像与现有技术的恢复Lena 图像的技术效果对比；

图9本发明恢复图像系统恢复Light图像与现有技术的恢复Light 图像的技术效果对比。

【具体实施方式】

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。术语“左前，右前，左后，右后”用于位置关系的描述，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。

如图1所示的恢复图像的方法，该恢复方法包括：

S101:获取待恢复的图像并确定恢复图像的丢失值数据。例如，输入待恢复的图像Y，

和指示集合P，

其中，其中n₁和n₂表示图像的长和宽，对于彩色图像，n₃表示图像通道数， n₃＝3，P为丢失值数据,例如，通过二值化处理可得图像的丢失值数据；

S102:根据恢复丢失值数据确定恢复图像待恢复的三阶张量，将图像看作是三阶张量，因此，将图像恢复转换为补全一个三阶张量。三阶张量可以表示图像的变化量，图像与图形的不同是图像的点除了有坐标，还具有颜色特性，如RGB、RGBA、YCbcr等表示的颜色。拿RGB的图像来说，它的变化量包括坐标和色值变化。图像坐标的变化相当于图形的变化，即是一个矩阵的变化。色值变化也就是RGB 在颜色空间中的一个点变化，也是一个矩阵的变化，图像变化有两个矩阵变化，三阶张量是矩阵的组合，则可以用三阶张量来表示图像的变化量；

S103:确定第一模型，第一模型根据三阶张量进行图像的低秩与稀疏约束处理所确定；图像的低秩与稀疏约束处理可充分利用图像的内部结构特征和图像间丢失信息和未丢失信息的关系，实现更好的恢复效果和更多细节的保留；

如，将图像恢复转化为补全一个张量，低秩与稀疏约束处理，建立优化模型，即为，第一模型并满足公式2.1：

其中，‖Y-P⊙X‖_F表示 Y-P⊙X的Frobenius范数，等于张量所有元素的平方和开方；

⊙表示两个相同大小的张量间对应元素的乘积操作；

||X||_*表示X的核范数，定义为，

表示将

进行张量奇异值分解

后，对

沿第三维进行傅里叶变换得到的

的第(i，i，k)个元素，

表示

的转置，·表示两个张量的乘积，对于两个三阶张量

和

定义为

表示循环卷积，[n₁]表示1到n₁的集合，

表示三阶张量

第i行第j列的管(tube)；

||F(X)||₀表示F(X)的l₀范数，等于所有非零元素的个数，F(X)表示X的离散余弦变换，λ₁和λ₁为可调参数；

S104:根据第一模型确定待恢复图像的目标张量，通过最小化张量的秩建立模型进行迭代求解，目标张量是一个大小与待恢复图像尺寸大小相同的张量，例如，长宽等各个数据相同；

S105:转换恢复目标张量格式确定恢复图像的恢复丢失值数据的恢复。例如，目标张量确定后通过文件格式的保存，生成待恢复图像的恢复图像，格式的保存属于现有技术，在此不再赘述。

本案的方法，将图像看作是一个张量，通过张量补全的方法来进行图像恢复，基于自然图像的低秩与稀疏特性的处理，更加有效的利用图像的内部结构特征，充分利用图像间丢失信息和未丢失信息的关系，实现更好的恢复效果和更多细节的保留，通过目标张量的格式保存成图像格式，获取更好的图像恢复效果。

作为可选的实施方式，确定图像的丢失值数据的方法包括：

根据获取待恢复的图像进行二值化处理确定丢失值数据，丢失值数据为待恢复的图像数据中对应元素为零的区域。如，输入一幅内容有随机丢失的图像Y，其大小为n₁×n₂×n₃，对于彩色图像，n₃表示图像通道数即n₃＝3，P是一个指示集合，大小与图像Y相同，用于表示像素值是否缺失，如果像素值缺失，则P中对应位置元素为0，否则为1，二值化处理，矢量为1的区域表示数据未丢失，为0的区域位置代表数据的丢失。

作为可选的实施方式，第一模型确定恢复图像的目标张量的方法包括：

预设替代变量，根据替代变量确定对应的朗格朗日乘子变量，替代变量用于替代目标张量的变量，目的是对获取三阶张量进行求解，原始张量的求解无法做到，但，通过拉格朗日函数及其变量的预设可进行求解，如下：

由于F(X)的l₀范数是非凸的，无法直接求解，使用l₀范数的凸近似l₁范数代替l₀范数，2.1中的优化模型转化为以下形式：

其中，||F(X)||₁表示张量的l₁范数，等于F(X)所有非零元素绝对值的，并转化为转化为增广拉格朗日函数形式，具体如下：

引入辅助变量

转化第一模型为以下形式：

上述形式通过最小化求解，写成最小化以下增广拉格朗日函数模型形式，形成第二模型，如下，如式2.4：

其中，ρ₁和ρ₂为惩罚因子，

为拉格朗日乘子；

引入辅助变量和拉格朗日乘子变量，固定其他变量Z,W,M,N不变，更新

则2.4中的目标函数变为以下形式，式2.5：

式2.5进一步变形转化为式2.6：

式2.6，

其中，

表示

的离散余弦反变换。按照 Frobenius范数最小求解得到

进一步的，固定其他变量

不变，更新

则2.6中的目标函数变为以下形式，式2.7：

则

可以通过

获得，其中

为阈值判决函数，定义为

表示对d中的所有元素进行逐元素判断，其中

d表示

的向量化形式，sign为符号函数。

同理，固定其他变量

不变，更新

则2.6中的目标函数变为以下形式：

则

可以通过

获得，

为张量奇异值阈值函数，其中

定义为

满足

其中，

和

分别表示张量

和

沿着第三维进行傅里叶变换后的张量，

表示

的第 (i，i，k)个元素。

然后，采用以下形式更新拉格朗日乘子，

以上，根据预设替代变量确定第二模型，第二模型根据替代变量和朗格朗日乘子变量将第一模型转化为增广拉格朗日函数模型，即为第二模型。通过预设替代变量，转化为可以求解的增广拉格朗日函数形式的模型；

根据第二模型确定所述图像的目标张量。

进一步的，如图3所示，根据第二模型确定所述图像的目标张量的方法包括：

预设迭代次数；例如，设置重复次数300次；

利用交替方向乘子法在预设迭代次数内处理第二模型，获取处理后的第二模型作为待恢复图像的目标张量，目标张量与待恢复的所述图像所对应的尺寸数据相同。

交替方向乘子法在预设迭代次数内处理第二模型的方法如下：

采用交替方向乘子法对上述问题进行迭代求解，首先初始化各个变量及最大迭代次数

将目标张量

辅助变量

拉格朗日乘子

分别初始化为0。则可以通过以下步骤分别求解各个变量：

1)固定其他变量Z,W,M,N不变，更新

将

以外的变量看作定值，目标函数变为以下最小化形式，式 3.1：

进一步转化为，式3.2：

其中，

表示

的离散余弦反变换。按照Frobenius 范数最小求解得到

2)固定其他变量

不变，更新

将

以外的变量看作定值，目标函数变为以下最小化形式：

则

可以通过

获得，其中

为阈值判决函数，定义为

表示对d中的所有元素进行逐元素判断，其中

d表示

的向量化形式，sign为符号函数。

3)固定其他变量

不变，更新

将

以外的变量看作定值，目标函数变为以下最小化形式：

则

可以通过

获得，

表示张量奇异值阈值函数，其中

定义为

其中

满足

和

分别表示张量

和

沿着第三维进行傅里叶变换后的张量。

4)更新拉格朗日乘子

和

按照以下形式更新拉格朗日乘子：

5)重复进行以上步骤

重复以上的过程迭代求解，直至达到设定的最大迭代次数

例如，300次，退出循环，将最终得到的目标张量

转换为对应的格式得到恢复后的图像。

通过表一进行说明，表一为通过前序所述的TNN处理方法、 LRTC-TV处理方法及其本案的方法做对比，本案提供如图5所示， Baboon、Barbara、Lena和Light四张原始图像，在数据的采集或处理过程中，由于设备、传输条件限制或人为因素，获得的图像中可能会出现有丢失内容信息的情况，将这四张图像的恢复进行对比，仿真得出的恢复结果与峰值信噪比(PSNR)和结构相似性(SSIM)计算结果表明，本发明提出的方法在实际的图像恢复应用中可以实现更好的恢复效果。

仿真条件与内容

本发明使用彩色图像进行仿真，输入的图像是随机丢失若干像素值后的图像，对图像恢复进行仿真。在仿真中使用的图像均是大小为256*256的三通道彩色图像，在图像中丢失的像素数量为总数量的 70％，设置的最大迭代次数K为300，λ₁＝1.3，λ₂＝0.1，ρ₁＝ρ₂＝0.01，并且分别与基于张量低秩的方法TNN、基于张量低秩与差分的方法 LRTC-TV进行了性能对比，见表一：所对应的PSNR/SSIM值，峰值信噪比/图像相似度的指标，本案的方法各项值均高于现有技术；

	TNN	LRTC-TV	本案的方法
				Baboon	21.57/0.750	23.23/0.799	23.41/0.818
Barbara	25.44/0.852	27.44/0.905	28.84/0.923
				Lena	25.90/0.948	28.23/0.970	29.56/0.977
Light	18.57/0.650	18.26/0.689	20.35/0.751

表一

仿真结果与分析

参见图6，图6是在Baboon图像上进行图像恢复的仿真，图6(a) 是原始的图像，图6(b)是丢失信息待恢复的图像，图6(c)是使用TNN 方法对图像进行恢复的结果，图6(d)是使用LRTC-TV方法对图像进行恢复的结果，图6(e)是使用本发明方法对图像进行恢复的结果，本发明方法的恢复效果更加清晰。

参见图7，图7是在Barbara图像上进行图像恢复的仿真，图7(a) 是原始的图像，图7(b)是丢失信息待恢复的图像，图7(c)是使用TNN 方法对图像进行恢复的结果，图7(d)是使用LRTC-TV方法对图像进行恢复的结果，图7(e)是使用本发明方法对图像进行恢复的结果。可以看出，本发明的方法进行图像恢复取得的结果更加清晰，同时细节较为丰富，视觉效果最好。

参见图8，图8是在Lena图像上进行图像恢复的仿真，图8(a) 是原始的图像，图8(b)是丢失信息待恢复的图像，图8(c)是使用TNN 方法对图像进行恢复的结果，图8(d)是使用LRTC-TV方法对图像进行恢复的结果，图8(e)是使用本发明方法对图像进行恢复的结果。可以看出，结果与图7中结果相似，本发明的方法效果更好。

参见图9，图9是在Light图像上进行图像恢复的仿真，图9(a) 是原始的图像，图9(b)是丢失信息待恢复的图像，图9(c)是使用TNN 方法对图像进行恢复的结果，图9(d)是使用LRTC-TV方法对图像进行恢复的结果，图9(e)是使用本发明方法对图像进行恢复的结果。可以看出，结果与图6至图8中结果相似，本发明的方法效果更好。

本案方法的简述理解，包括有以下步骤：

1)输入待恢复的图像与对应的指示集合，获取丢失的数据；

2)结合图像低秩与稀疏的特性处理，建立优化模型为第一模型，有效的利用图像的内部结构特征和图像间丢失信息和未丢失信息的关系；

3)引入预设替代变量对目标张量进行替换，并确定拉格朗日乘子，构造增广拉格朗日函数形式的模型，形成第二模型；

4)采用交替方向乘子法进行迭代求解，得到恢复后的图像。本发明将图像恢复看作补全一个张量，利用图像低秩与稀疏的特性，结合核范数与l₀范数。实现上述所述的建立模型进行迭代求解。

本发明整体恢复效果更加精准，同时能对细节部分的恢复效果也比较好。本发明方法可以用于恢复图像中丢失的信息，提高图像质量。

如图4所示，另一方面一种恢复图像的系统，该系统包括：

获取模块，用于获取待恢复的图像并确定图像的丢失值数据；

第一确定模块，用于根据丢失值数据确定图像待补全的三阶张量；

第二确定模块，用于根据三阶张量进行图像的低秩与稀疏约束处理确定第一模型；

第三确定模块，用于第一模型确定图像的目标张量；

转换模块，用于转换目标张量格式恢复图像的所述丢失值数据。

作为可选的实施方式，获取模块还用于二值化处理待恢复的图像以确定丢失值数据，丢失值数据为待恢复的图像数据中对应元素矢量为零的区域。

作为可选的实施方式，第三确定模块还用于预设替代变量，根据替代变量确定对应的朗格朗日乘子变量，替代变量用于替代目标张量的变量；

第二模型根据替代变量和朗格朗日乘子变量将第一模型转化为增广拉格朗日函数模型，增广拉格朗日函数模型作为第二模型；根据第二模型确定图像的目标张量。

作为可选的实施方式，第三确定模块还用于通过预设迭代次数并利用交替方向乘子法在预设迭代次数内处理所述第二模型，获取处理后的第二模型作为待恢复的图像的目标张量，目标张量与待恢复的图像所对应的尺寸数据相同。

以上对本发明所提供的方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离发明创造原理的前提下，还可以对发明进行若干改进和修饰，这些改进和修饰也落入发明权利要求的保护范围。

Claims

1.一种恢复图像的方法，其特征在于，所述方法包括：

获取待恢复的图像并确定所述图像的丢失值数据；

根据所述丢失值数据确定所述图像待补全的三阶张量；

根据所述第一模型确定所述图像的目标张量；

2.根据权利要求1所述的方法，其特征在于，确定所述图像的丢失值数据的方法包括：

根据获取所述待恢复的图像进行二值化处理确定丢失值数据，所述丢失值数据为待恢复的图像数据中像素点为零的区域。

3.根据权利要求1所述的方法，其特征在于，所述第一模型确定所述图像的目标张量的方法包括：

根据所述替代变量确定第二模型，所述第二模型根据所述替代变量和所述朗格朗日乘子变量将所述第一模型转化为增广拉格朗日函数模型；

根据所述第二模型确定所述图像的目标张量。

4.根据权利要求3所述的方法，其特征在于，所述第二模型确定所述图像目标张量的方法包括：

预设迭代次数；

5.一种恢复图像的系统，其特征在于，所述系统包括：

6.根据权利要求5所述的系统，其特征在于，所述获取模块还用于二值化处理所述待恢复的图像以确定丢失值数据，所述丢失值数据为待恢复的图像数据中像素点为零的区域。

7.根据权利要求6所述的系统，其特征在于，所述第三确定模块还用于预设替代变量，根据所述替代变量确定对应的朗格朗日乘子变量，所述替代变量用于替代目标张量的变量；

8.根据权利要求7所述的系统，其特征在于，所述第三确定模块还用于通过预设迭代次数并利用交替方向乘子法在所述预设迭代次数内处理所述第二模型，获取处理后的所述第二模型作为待恢复的所述图像的目标张量，所述目标张量与待恢复的所述图像所对应的尺寸数据相同。