CN107067374B - 基于两级插值的矩阵补全二维图像处理方法 - Google Patents

Abstract

本发明公开了一种基于两级插值的矩阵补全二维图像处理方法，主要用于对像素有缺失的图像进行补全，其实现步骤是：(1)读入二维图像矩阵；(2)获得参考图像矩阵；(3)获得下采样图像矩阵；(4)第一级插值；(5)对第一级插值后的下采样图像矩阵进行预滤波；(6)第二级插值。本发明既提高了矩阵补全的精确度，又可以广泛应用于像素有缺失的图像矩阵，本发明可用于对像素有缺失的图像进行补全。

Description

基于两级插值的矩阵补全二维图像处理方法

技术领域

本发明属于图像处理技术领域，更进一步涉及二维图像矩阵补全技术领域中的一种基于两级插值的矩阵补全二维图像处理方法。本发明可用于对像素有缺失的图像进行补全，恢复出满足人眼视觉和计算机处理要求的图像。

背景技术

矩阵补全作为信号与图像处理技术的一个强大的新兴分支，已成为继压缩感知之后的又一种重要的信号获取工具。目前，矩阵补全大多基于低秩矩阵，将插值算法用到图像矩阵补全是一种新的思想。

浙江大学在其申请的专利“基于低秩矩阵恢复的非局部图像修复方法”(申请号：201510030191.0，公开号：CN104680487A)中公开了一种基于低秩矩阵恢复的非局部图像修复方法。该方法分别针对低秩纹理和自然图像分别进行预补全；将预补全图像划分为若干个图像块，基于块匹配和分组法计算各个图像块的匹配块矩阵；利用低秩矩阵补全对匹配块矩阵进行对各个图像块进行修复；整合所有图像块的修复结果根据整合结果对待修复图像进行修复。该发明综合使用基于样例和基于数值计算两种图像补全方法。该发明的应用场景广，但是，该方法仍然存在的不足之处是：只运用了图像的统计特性，忽略了图像的结构信息，图像补全准确率低。

Wei Chen等人在其发表的论文“Nonlocal low-rank matrix completion forimage interpolation using edge detection and neural network”(Springer Natureon Signal,Image and Video Processing,May 2014,Volume 8,Issue 4,pp 657-663)提出了一种将边缘检测和神经网络与图像插值相结合进行矩阵补全的方法。该方法先用传统的插值算法对图像进行插值，然后将图像按照平滑区域、边缘区域或按照纹理的不同分块，对不同种类的图像块运用相应的插值算法进行插值，最后用神经网络和低秩矩阵补全对图像块进一步补全。该方法对图像边缘的恢复效果较好，但是，该方法仍然存在的不足之处是：该方法只能运用在低秩数据中。

发明内容

本发明的目的在于克服上述现有技术的不足，提出一种基于两级插值的矩阵补全二维图像处理方法。本发明能够提高矩阵补全的精度和准确度。恢复出满足人眼视觉和计算机处理要求的二维图像矩阵。

实现本发明的技术思路是，结合矩阵的数据统计特性和结构特性，通过两级插值估计出矩阵中的缺失元素，由于每一级插值结果都由原二维图像矩阵中的非零元素进行修正，因此矩阵补全结果更加精确。

为实现上述目的，本发明包括如下步骤：

(1)读入二维图像矩阵：

读入待补全的M×N二维图像矩阵y，M、N分别表示二维图像矩阵y的行数和列数；

(2)获得参考图像矩阵：

将待补全二维图像矩阵y中的缺失元素值置零，得到参考图像矩阵；

(3)获得下采样图像矩阵：

对参考图像矩阵进行步长为2的下采样，得到下采样图像矩阵：

(4)第一级插值：

对下采样图像矩阵进行第一级插值，得到下采样图像矩阵中幅度值大小为零的元素信息的第一级插值后下采样图像矩阵；

(5)对第一级插值后的下采样图像矩阵进行预滤波；

(5a)对第一级插值后的下采样图像矩阵进行方向提升小波正变换，得到两个高频和两个低频，共四个方向提升小波系数；

(5b)按照下式，分别对两个高频和两个低频方向提升小波系数进行软阈值变换，得到变换后的方向提升小波系数：

其中，表示软阈值变换后的方向提升小波系数，j表示四个方向提升小波系数的序号，j＝1,2,3,4，sgn表示符号函数，w_j表示软阈值变换前的第j个方向提升小波系数，λ表示通用阈值，lg表示求对数操作，K表示方向提升小波系数w_j的维数；

(5c)对软阈值变换后的四个方向提升小波系数分别进行方向提升小波反变换，得到预滤波后的下采样图像矩阵；

(6)第二级插值；

(6a)定义一个与预滤波后的下采样图像矩阵大小相同的零矩阵D；

(6b)按照下式，选取预滤波后的下采样图像矩阵中上半部分元素的值，赋给零矩阵D中的元素，得到图像矩阵E，被赋值的零矩阵D中的元素的横、纵坐标分别为预滤波后的下采样图像矩阵中的赋值元素坐标的二倍：

D(2p,2q)＝P(p,q)

其中，D(2p,2q)表示零矩阵D的元素坐标，P(p,q)表示预滤波后的下采样图像矩阵元素坐标，p、q分别表示零矩阵D的元素的横坐标和纵坐标，M和N分别表示零矩阵D的行数和列数；

(6c)按照下式，计算改进的分段自回归模型参数：

其中，表示改进的分段自回归模型参数，表示对分段自回归模型参数a求最小值操作，Σ表示求和操作，i表示图像矩阵E中非零元素的位置，Ω表示一个正八边形的窗，x_i表示图像矩阵E中的非零元素，表示图像矩阵E中位于i处的四个8-邻域像素，t＝1,2,3,4，k表示图像矩阵E中零元素的位置，F表示当前窗Ω中非零元素点的位置，y_k表示窗Ω中幅度值为零的元素，表示在图像矩阵E中位于k处的四个8-邻域像素；

(6d)用改进的分段自回归模型对图像矩阵E中的非零元素的8-邻域元素进行插值补全，得到图像矩阵E中的非零元素的8-邻域元素值；

(6e)按照下式，对图像矩阵E中的非零元素的8-邻域元素的值进行修正：

其中，G(p,q)表示对图像矩阵E修正后的图像矩阵，(p,q)表示图像矩阵G(p,q)中的元素的坐标，p＝1,2…M，q＝1,2...N，H(p,q)表示参考图像矩阵；

(6f)用改进的分段自回归模型，对图像矩阵G(p,q)中的非零元素的4-邻域元素进行插值补全，得到图像矩阵R；

(6g)用参考图像矩阵H中的非零元素修正图像矩阵R的值，得到修正后的补全图像矩阵：

其中，I(p,q)表示修正后的补全图像矩阵，(p,q)表示图像矩阵I(p,q)中的元素的坐标，p＝1,2...M，q＝1,2...N；

(7)得到补全图像矩阵。

本发明与现有方法相比具有如下优点：

第一，本发明通过两级插值构成补全图像矩阵过程，并且每一级插值结果都由参考图像矩阵中的非零元素进行修正，利用了矩阵的统计特性，更充分利用图像矩阵的统计特性和结构信息，克服了现有技术矩阵补全准确率低的缺点，使得本发明具有图像矩阵补全精确度高的优点。

第二，本发明通过对第一级插值后的图像矩阵进行预滤波，利用方向提升小波对图像边缘和纹理进行修正，为第二级插值打好基础，克服了现有技术图像恢复效果差的不足，使得本发明进一步提高了图像恢复的准确度。

第三，本发明通过两级插值对图像矩阵进行补全，可以对所有像素有缺失的图像进行补全，克服了现有技术只能运用在低秩数据上的缺点，使得本发明具有实用性强的优点。

附图说明

图1是本发明的流程图；

图2是本发明的第一级插值示意图；

图3是本发明的第二级插值示意图；

图4是分别用本发明和传统插值算法对灰度图像Lena的进行矩阵不全的仿真图。

具体实施方式

下面结合附图，对本发明作进一步的详细描述。

参照附图1，本发明实现的步骤如下。

步骤1，读入图矩阵像。

读入待补全的M×N图像矩阵y，M、N分别表示图像矩阵y的行数和列数；

步骤2，获得参考图像矩阵。

将待补全图像矩阵y中的缺失元素值置零，得到参考图像矩阵；

步骤3，获取下采样图像矩阵。

对参考图像矩阵进行步长为2的下采样，得到下采样图像矩阵。

步骤4，第一级插值。

对下采样图像矩阵进行第一级插值，得到下采样图像矩阵中幅度值大小为零的元素信息的第一级插值后下采样图像矩阵。

下面结合图2，对第一级插值的方法描述如下：

第1步，从下采样图像矩阵中任意选取一个元素A，对所选取元素的幅度值等于零的元素进行插值：

第2步，在参考图像矩阵中找到与下采样图像矩阵中待插值元素A对应位置上的元素；

第3步，以参考图像矩阵中元素A为中心，设置窗口大小为3×3元素，对参考图像矩阵加窗；

第4步，按照下式，计算待插值元素第一次插值后的幅度值：

其中，f(A)表示待插值元素第一次插值后的幅度值，A表示待插值元素，Σ表示求和操作，L表示约束因子，win表示窗口大小，k表示区间[-L,L]中的一个整数，ω表示加权系数，num表示窗口内非零元素的总数，*表示乘法操作，H表示参考图像矩阵，i、j分别表示参考图像矩阵H中的元素在下采样图像矩阵中的对应坐标位置的横坐标和纵坐标， M、N分别表示图像矩阵y矩阵的行数和列数；

第5步，判断下采样矩阵中的非零元素是否选取完，若是，则完成了下采样矩阵的第一级插值，否则，执行第1步。

步骤5，对第一级插值后的下采样图像矩阵进行预滤波。

(5a)对第一级插值后的下采样矩阵进行方向提升小波正变换，得到两个高频和两个低频，共四个方向提升小波系数，方向提升小波正变换的方法如下：

第1步，对第一级插值后的下采样图像矩阵沿着竖直方向进行离散小波变换，得到第一级插值后的下采样图像矩阵中包含低频子带和高频子带的第一层小波系数；

第2步，对低频子带和高频子带，分别沿着水平方向进行离散小波变换，得到第一级插值后下采样图像矩阵第二层方向的两个高频和两个低频，共四个提升小波系数。

(5b)按照下式，分别对两个高频和两个低频方向提升小波系数进行软阈值变换，得到变换后的方向提升小波系数：

其中，表示软阈值变换后的方向提升小波系数，j表示四个方向提升小波系数的序号，j＝1,2,3,4，sgn表示符号函数，w_j表示软阈值变换前的第j个方向提升小波系数，λ表示通用阈值，lg表示求对数操作，K表示方向提升小波系数w_j的维数。

(5c)对软阈值变换后的四个方向提升小波系数分别进行方向提升小波反变换，得到预滤波后的下采样图像矩阵。

步骤6，第二级插值。

(6a)定义一个与预滤波后的下采样图像矩阵大小相同的零矩阵D；

(6b)按照下式，选取预滤波后的下采样图像矩阵中上半部分元素的值，赋给零矩阵D中的元素，得到图像矩阵E，被赋值的零矩阵D中的元素的横、纵坐标分别为预滤波后的下采样图像矩阵中的赋值元素坐标的二倍：

D(2p,2q)＝P(p,q)

其中，D(2p,2q)表示零矩阵D的元素坐标，P(p,q)表示预滤波后的下采样图像矩阵元素坐标，p、q分别表示零矩阵D的元素的横坐标和纵坐标，M和N分别表示零矩阵D的行数和列数。

如图3中，黑色实心圆点为预滤波后的矩阵元素在零矩阵D中的空间位置,灰色圆点为实心圆点的8-邻域点，白色圆圈为黑色圆点的4-邻域点；

(6c)按照下式，计算改进的分段自回归模型参数：

其中，表示改进的分段自回归模型参数，表示对分段自回归模型参数a求最小值操作，Σ表示求和操作，i表示矩阵E中非零元素的位置，Ω表示一个正八边形的窗，x_i表示图像矩阵E中的非零元素，表示图像矩阵E中位于i处的四个8-邻域像素，t＝1,2,3,4，k表示图像矩阵E中零元素的位置，F表示当前窗Ω中非零元素点的位置，y_k表示窗Ω中幅度值为零的元素，表示在图像矩阵E中位于k处的四个8-邻域像素。

(6d)用改进的分段自回归模型对图像矩阵E中的非零元素的8-邻域元素进行插值补全，得到图像矩阵E中的非零元素的8-邻域元素值；

(6e)按照下式，对图像矩阵E中的非零元素的8-邻域元素的值进行修正：

其中，G(p,q)表示对图像矩阵E修正后的图像矩阵，(p,q)表示图像矩阵G(p,q)中的元素的坐标，p＝1,2...M，q＝1,2...N，H(p,q)表示参考图像矩阵；

(6f)用改进的分段自回归模型，对图像矩阵G(p,q)中的非零元素的4-邻域元素进行插值补全，得到图像矩阵R；

(6g)用参考图像矩阵H中的非零元素修正图像矩阵R的值，得到修正后的补全图像矩阵：

其中，I(p,q)表示修正后的补全图像矩阵，(p,q)表示图像矩阵I(p,q)中的元素的坐标，p＝1,2...M，q＝1,2...N。

本发明的效果可以通过以下仿真做进一步的说明。

1.仿真条件：

本发明是在中央处理器为Intel(R)Core i7-2100 3.10GHZ、内存4G、WINDOWS7操作系统上，运用MATLAB软件进行的仿真。本发明以Lena图像为例，说明本发明的图像矩阵补全仿真效果，Lena图像的大小为512×512，灰度范围为0～255。

2.仿真内容：

本发明对完整的Lena图像做处理，令其丢失10％～50％的像素，得到受损程度不同的缺失图像矩阵。对缺失情况不同的图像矩阵分别采用双线性插值和本发明方法进行补全得到两种方法的图像矩阵补全结果。用峰值信噪比PSNR作为客观评价标准来测试和对比算法的补全有效性，用图像矩阵补全结果图说明各算法补全结果的主观视觉效果。

图4为Lena图像在丢失10％和50％的像素点的情况下，不同方法的补全效果图。图4(a)为完整Lena图，图4(b)为丢失10％的像素点的Lena图，图4(c)为用双线性插值处理图4(b)所得结果，图4(d)为用本发明方法处理图4(b)所得结果，图4(e)为丢失50％的像素点的Lena图，图4(f)为用双线性插值处理图4(f)所得结果，图4(g)为本发明方法处理图4(f)所得的结果。

3.仿真效果分析：

表1为双线性插值和本发明方法在Lena图像像素受到不同程度缺失情况下的补全结果的PSNR。

表1本发明与双线性插值结果的PSNR比较(dB)

表1中，第一列表示Lena图像缺失像素占Lena图像所有像素的百分比，第二列表示缺失图像对应的PSNR，第三列表示用于做对比的双线性插值矩阵补全结果的PSNR，第四列表示本发明矩阵补全结果的PSNR。

由表1可见，随着图像矩阵元素缺失比例的增加，本发明对不同缺失程度的图像矩阵进行补全时，均能获得高于双线性插值补全的图像矩阵的PSNR。这是因为本发明采用了两级插值构成图像矩阵补全的过程，并且对每一级插值结果进行修正，保留了图像原有的细节和结构信息。

综上所述，本发明能准确地恢复出满足人眼视觉和计算机处理要求的清晰图像，无论从视觉效果还是客观评价结果，本发明的图像矩阵补全结果均好于现有的方法。

Claims (3)

1.一种基于两级插值的矩阵补全二维图像处理方法，包括如下步骤：

(1)读入二维图像矩阵；

读入待补全的M×N二维图像矩阵y，M、N分别表示二维图像矩阵y的行数和列数；

(2)获得参考图像矩阵：

将待补全二维图像矩阵y中的缺失元素值置零，得到参考图像矩阵；

(3)获得下采样图像矩阵：

对参考图像矩阵进行步长为2的下采样，得到下采样图像矩阵：

(4)第一级插值：

对下采样图像矩阵进行第一级插值，得到下采样图像矩阵中幅度值大小为零的元素信息的第一级插值后下采样图像矩阵；

(5)对第一级插值后的下采样图像矩阵进行预滤波；

(5a)对第一级插值后的下采样图像矩阵进行方向提升小波正变换，得到两个高频和两个低频，共四个方向提升小波系数；

(5b)按照下式，分别对两个高频和两个低频方向提升小波系数进行软阈值变换，得到变换后的方向提升小波系数：

其中，表示软阈值变换后的方向提升小波系数，j表示四个方向提升小波系数的序号，j＝1,2,3,4，sgn表示符号函数，w_j表示软阈值变换前的第j个方向提升小波系数，λ表示通用阈值，lg表示求对数操作，K表示方向提升小波系数w_j的维数；

(5c)对软阈值变换后的四个方向提升小波系数分别进行方向提升小波反变换，得到预滤波后的下采样图像矩阵；

(6)第二级插值；

(6a)定义一个与预滤波后的下采样图像矩阵大小相同的零矩阵D；

(6b)按照下式，选取预滤波后的下采样图像矩阵中上半部分元素的值，赋给零矩阵D中的元素，得到图像矩阵E，被赋值的零矩阵D中的元素的横、纵坐标分别为预滤波后的下采样图像矩阵中的赋值元素坐标的二倍：

D(2p,2q)＝P(p,q)

其中，D(2p,2q)表示零矩阵D的元素坐标，P(p,q)表示预滤波后的下采样图像矩阵元素坐标，p、q分别表示零矩阵D的元素的横坐标和纵坐标，M和N分别表示零矩阵D的行数和列数；

(6c)按照下式，计算改进的分段自回归模型参数：

其中，表示改进的分段自回归模型参数，表示对分段自回归模型参数a求最小值操作，Σ表示求和操作，i表示图像矩阵E中非零元素的位置，Ω表示一个正八边形的窗，x_i表示图像矩阵E中的非零元素，表示图像矩阵E中位于i处的四个8-邻域像素，t＝1,2,3,4，k表示图像矩阵E中零元素的位置，F表示当前窗Ω中非零元素点的位置，y_k表示窗Ω中幅度值为零的元素，表示在图像矩阵E中位于k处的四个8-邻域像素；

(6d)用改进的分段自回归模型对图像矩阵E中的非零元素的8-邻域元素进行插值补全，得到图像矩阵E中的非零元素的8-邻域元素值；

(6e)按照下式，对图像矩阵E中的非零元素的8-邻域元素的值进行修正：

其中，G(p,q)表示对图像矩阵E修正后的图像矩阵，(p,q)表示图像矩阵G(p,q)中的元素的坐标，p＝1,2…M，q＝1,2…N，H(p,q)表示参考图像矩阵；

(6f)用改进的分段自回归模型，对图像矩阵G(p,q)中的非零元素的4-邻域元素进行插值补全，得到图像矩阵R；

(6g)用参考图像矩阵H中的非零元素修正图像矩阵R的值，得到修正后的补全图像矩阵：

其中，I(p,q)表示修正后的补全图像矩阵，(p,q)表示图像矩阵I(p,q)中的元素的坐标，p＝1,2…M，q＝1,2…N；

(7)得到补全图像矩阵。

2.根据权利要求1所述的基于两级插值的矩阵补全二维图像处理方法，其特征在于，步骤(4)中所述的第一级插值的具体步骤如下：

第1步，从下采样图像矩阵中任意选取一个元素，对所选取元素的幅度值等于零的元素进行插值；

第2步，在参考图像矩阵中找到与下采样图像矩阵中待插值元素对应位置上的元素B；

第3步，以元素B为中心，设置窗口大小为3×3元素，对参考图像矩阵加窗；

第4步，按照下式，计算待插值元素第一次插值后的幅度值：

其中，f(A)表示待插值元素第一次插值后的幅度值，A表示待插值元素，Σ表示求和操作，L表示约束因子，win表示窗口大小，k表示区间[-L,L]中的一个整数，ω表示加权系数，num表示窗口内非零元素的总数，*表示乘法操作，H表示参考图像矩阵，i、j分别表示参考图像矩阵H中的元素在下采样图像矩阵中的对应坐标位置的横坐标和纵坐标， M、N分别表示二维图像矩阵y的行数和列数；

第5步，判断下采样图像矩阵中的非零元素是否选取完，若是，则完成了下采样图像矩阵的第一级插值，否则，执行第1步。

3.根据权利要求1所述的基于两级插值的矩阵补全二维图像处理方法，其特征在于，步骤(5a)中所述的方向提升小波正变换，得到方向提升小波系数的具体步骤如下：

第1步，对第一级插值后的下采样图像矩阵沿着竖直方向进行离散小波变换，得到第一级插值后的下采样图像矩阵中包含低频子带和高频子带的第一层小波系数；

第2步，对低频子带和高频子带，分别沿着水平方向进行离散小波变换，得到第一级插值后下采样图像矩阵第二层方向的两个高频和两个低频，共四个提升小波系数。