CN104050642A - 彩色图像复原方法 - Google Patents

Abstract

本发明提供一种彩色图像复原方法，其特征在于，包括以下步骤：步骤1：读入多幅退化的彩色图像，根据色感不变性理论，分别计算每张退化的彩色图像的R(x，y)图像数据；步骤2：将所有的R(x，y)图像数据分别分成R、G和B三个通道；步骤3：将每个通道内的所有图像数据组成一个单通道图像矩阵，得到三个单通道图像矩阵，对每个单通道图像矩阵进行低秩分解，得到三个低秩矩阵A和三个误差矩阵E；以及步骤4：分别将三个低秩矩阵A和三个误差矩阵E进行R、G、B复合，得到复原图像和误差矩阵。根据本发明所提供的彩色图像复原方法，可以在不使用参考图像的情况下，利用多幅彩色退化图像进行图像复原，所得到的复原图像非常接近于原图。

Description

彩色图像复原方法

技术领域

本发明涉及图像复原技术，特别涉及一种结合色感不变性理论和鲁棒主成分分析的彩色图像复原方法。

背景技术

图像相比于字符和语音，包含了大量的直接信息，在机器视觉、信号处理、信息检索等领域中得到了广泛应用。然而，彩色图像在生成和传输过程中，容易受到外界因素的干扰，例如光照变化、图像遮挡、倾斜和噪声等影响，造成图像的退化，从而导致信息丢失，影响图像的应用。因此，对退化的彩色图像进行复原是重要的步骤。

目前，大多数图像复原方法是针对于解决图像复原中某个特定的问题，比如图像去噪、图像倾斜、图像遮挡或去光照影响等。对于图像去噪，与传统的空域和频域去噪方法相比，采用基于小波变换的去噪方法能够得到不错的去噪效果，但是需要对阈值和尺度间相关提出严格的要求，这样容易造成图像模糊。对倾斜图像的校正复原需要参考图像，一般采用基于特征点匹配的校正方法，先进行特征提取，如角点、尺度不变特征转换等，然后根据特征匹配进行倾斜校正。但是在参考图像无法获取或受到破坏的情况下，特征点无法提取，该方法就无法使用。

对于多幅图像修复，可以用高维数据来描述。主成分分析(PCA)是一种最常见的分析高维数据的方法，将多个相互关联量转换成几个独立量。但是PCA只能对没有噪声的高维数据进行有效复原，现实中经常有很多的像素被污染和破坏，用PCA来复原会带来较大的误差。鲁棒主成分分析(RPCA)方法是一种比较稳健高效地进行高维数据下图像复原的方法，虽然RPCA对噪声的处理能力比PCA有很大的提高，但对于破坏更为严重的高维数据，RPCA方法的恢复效果不够接近原图。

发明内容

本发明是针对上述问题进行的，目的在于提供一种结合色感不变性和鲁棒主成分分析的彩色图像复原方法，对多幅彩色退化图像进行批处理，从而完好地复原图像。

本发明为实现上述目的，采用了以下的技术方案：

本发明提供一种彩色图像复原方法，其特征在于，包括以下步骤：步骤1：读入多幅退化的彩色图像，根据色感不变性理论，分别计算每张退化的彩色图像的R(x,y)图像数据；步骤2：将所有的R(x,y)图像数据分别分成R、G和B三个通道；步骤3：将每个通道内的所有图像数据组成一个单通道图像矩阵，得到三个单通道图像矩阵，对每个单通道图像矩阵进行低秩分解，得到三个低秩矩阵A和三个误差矩阵E；以及步骤4：分别将三个低秩矩阵A和三个误差矩阵E进行R、G、B复合，得到复原图像和误差矩阵，

其中，步骤1包括以下步骤：

步骤1a：将一个退化的彩色图像进行如下分解：S(x,y)＝R(x,y)·L(x,y)(1)，式中，S(x,y)是读入的退化的彩色图像数据，R(x,y)是反射光照分量，对应退化的彩色图像中的高频分量，L(x,y)是入射光照分量，对应退化的彩色图像中的低频分量；步骤1b：对公式(1)进行对数变换：r(x,y)＝logR(x,y)＝logS(x,y)-logL(x,y)(2)，式中，r(x,y)是对数域输出图像数据，对对数域输出图像数据进行低通滤波，去除入射光照分量L(x,y)：r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)](3)，式中，*是卷积符号，F(x,y)是高斯指数函数，式中σ是高斯密度参数；步骤1c：将低通滤波后的对数域图像数据r(x,y)进行指数变换，得到R(x,y)图像数据；步骤1d：重复步骤1a～1c，分别计算出所有退化的彩色图像所对应的R(x,y)图像数据，

步骤3包括以下步骤：

步骤3a：设一个通道内有n幅退化图像d₁,......,d_n，用e₁,e_n分别表示退化图像d₁,......,d_n的误差，设n幅退化图像分别对应的未退化图像是将未退化图像的分辨率表示为w×h，即对未退化图像进行行列变换R^w×h→R^m(m＝w×h)，把行列变换后的n幅未退化图像组成矩阵A：采用相同的方法把n幅退化图像组成矩阵D：D＝[d₁,......,d_n]∈R^m×n，把误差组成误差矩阵E：E＝[e₁,......,e_n]∈R^m×n，则将退化图像复原模型描述如下： $\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)s.t.D=A+E,{\left|\right|E\left|\right|}_0\&le;\mathrm{\&delta;}---\left(4\right),$ 式中，||·||₀是L0范数，δ是退化图像中受到误差干扰的像素的最大个数；步骤3b：对公式(4)用拉格朗日形式代替求解： $\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{0}s.t.D=A+E---\left(5\right),$ 式中，λ是平衡参数，将公式(5)的非凸优化问题松弛为凸问题，并将等式约束松弛为不等式约束： $\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{1}s.t.{\left|\right|A+E-D\left|\right|}_F^2<\mathrm{\&epsiv;}---\left(6\right),$ 式中，||·||_*是核范数，||·||₁是L1范数，ε是可接受的误差和噪声的最大值；步骤3c：将公式(6)优化为基于拉格朗日乘子法的快速求解算法： $\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1{+\frac{\mathrm{\&mu;}}{2}\left|\right|A+E-D\left|\right|}_F^2---\left(7\right),$ 对公式(7)进行求解，得到低秩矩阵A和误差矩阵E。

本发明所提供的彩色图像复原方法，还可以具有这样的特征:其中，多幅退化的彩色图像的退化种类各不相同。

发明的作用与效果

根据本发明所提供的彩色图像复原方法，因为先根据色感不变性理论消除图像的光照影响，然后分别在R、G、B三个通道内用鲁棒主成分分析进行复原，再复合成彩色图像，因此，该方法可以在不使用参考图像的情况下，利用多幅彩色退化图像进行图像复原。

另外，因为对多幅彩色退化图像进行批处理，不同的图像退化的位置不同，多幅退化图像可以相互参考图像中正常的部分，因此该方法能够较完整地保留原图像特征，所获得的复原图像非常接近于原图。

附图说明

图1是参考图像和各种退化图像；

图2是本发明的彩色图像复原方法的算法流程图；

图3是实施例一得到的复原图像；

图4是实施例一得到的误差图像；

图5是采用RPCA法得到的复原图像；

图6是实施例一中采用不同的复原方法得到的复原图像对比图：a、光照退化图像，b、RPCA法复原图像，c、Retinex法复原图像，d、Retinex+RPCA法复原图像，e、未退化原图像；

图7是实施例二中采用不同的复原方法得到的复原图像对比图：a、原图，b、噪声退化图像，c、双线性滤波复原图像，d、小波变换复原图像，e、RPCA法复原图像，f、Retinex+RPCA法复原图像；以及

图8是实施例二中采用不同的复原方法得到的复原图像的峰值信噪比对比图。

具体实施方式

以下结合附图，对本发明所涉及的彩色图像复原方法作详细阐述。

<实施例一>

图1是参考图像和各种退化图像。

如图1所示，与参考图像相比，多幅退化图像分别受到了噪声、遮挡、水印、倾斜、马赛克或光照等不同的退化。本实施例所提供的彩色图像复原方法是在不需要参考图像的情况下，对多幅退化图像进行批处理，得到复原图像。

图2是本发明的彩色图像复原方法的算法流程图。

如图2所示，彩色图像复原方法包括以下步骤：

步骤S-1：在计算机上，使用MATLAB2010b读入如图1所示的多幅退化的彩色图像，根据色感不变性(Retinex)理论计算各退化彩色图像的R(x,y)图像数据，包括以下步骤：

步骤S-1a：Retinex理论认为图像的像素亮度由入射光照分量和反射光照分量组成，入射光照分量决定了图像中像素达到的动态范围，对应图像中的低频信号，反射光照分量只与物体本身固有性质有关，对应图像中的高频分量。据此，将一个退化的彩色图像用如下模型表示：S(x,y)＝R(x,y)·L(x,y)       (1)

式中，S(x,y)是退化的彩色图像数据，R(x,y)是反射光照分量，L(x,y)是入射光照分量。

步骤S-1b：对公式(1)进行对数变换：

r(x,y)＝logR(x,y)＝logS(x,y)-logL(x,y)       (2)

式中，r(x,y)是对数域输出图像数据；

对公式(2)进行低通滤波，去除入射光照分量，从而消除光照条件对图像的影响：r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]     (3)

式中，*是卷积符号，F(x,y)是高斯指数函数，其中σ是高斯密度参数，在本实施例中取σ＝30。

步骤S-1c：对r(x,y)进行指数变换，得到消除了光照退化的R(x,y)图像数据。

步骤S-1d：重复上述步骤S-1a～S-1c，分别计算所有退化彩色图像的R(x,y)图像数据。

步骤S-2：将每个图像的R(x,y)图像都分成R、G和B三个通道；

步骤S-3：将每个通道内的所有图像数据组成一个单通道图像矩阵，得到三个单通道图像矩阵，然后对每个单通道图像矩阵进行低秩分解，得到三个低秩矩阵A和三个误差矩阵E，详细步骤如下：

步骤S-3a：设一个通道内有n幅退化图像d₁,......,d_n，用e₁,......,e_n分别表示退化图像d₁,......,d_n的误差，设n幅退化图像分别对应的未退化图像是实际中的退化图像是未退化图像和误差的叠加。

将未退化图像的分辨率表示为w×h，即对未退化图像进行行列变换R^w×h→R^m(m＝w×h)，把行列变换后的n幅未退化图像组成矩阵A：未退化图像之间是线性相关的，故矩阵A满足低秩性。采用相同的方法把n幅退化图像组成矩阵D：D＝[d₁,......,d_n]∈R^m×n，每一幅退化图像不是线性相关的，故退化图像矩阵D不能近似低秩。把误差组成误差矩阵E：E＝[e₁,......,e_n]∈R^m×n，则将退化图像复原模型描述如下：

$\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)s.t.D=A+E,{\left|\right|E\left|\right|}_0\&le;\mathrm{\&delta;}---\left(4\right)$

式中，||·||₀是L0范数，δ是所述退化图像中受到误差干扰的像素的最大个数，即退化的像素值，δ值不能太高，否则图像的整体性可能遭到破坏，导致无法复原，控制δ值不高于20％。

步骤S-3b：对公式(4)用拉格朗日形式求解，即：

$\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{0}s.t.D=A+E---\left(5\right)$

式中，λ是平衡参数，取(m·n)^0.5。由于公式(5)是NP-hard问题，为了得到这一问题的近似解，将公式(5)中的非凸优化问题松弛到凸问题，即：

$\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{1}s.t.D=A+E---\left(6\right)$

式中，||·||_*是核范数，||·||₁是L1范数。由于矩阵D中的序列图像均受到不同程度的退化，公式(6)中的约束项等式并不是完全相等的，故将其松弛为不等式约束，即：

$\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{1}s.t.{\left|\right|A+E-D\left|\right|}_F^2<\mathrm{\&epsiv;}---\left(7\right)$

式中，ε是可接受的误差和噪声的最大值。

步骤S-3c：采用基于拉格朗日乘子法的快速求解算法将公式(7)进行优化如下： $\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1{+\frac{\mathrm{\&mu;}}{2}\left|\right|A+E-D\left|\right|}_F^2---\left(8\right)$

式中，μ是拉格朗日乘数，在本实施例中μ值取1。

对公式(8)进行求解，获得低秩矩阵A和误差矩阵E。

步骤S-4：将三个通道内的低秩矩阵A进行R、G、B复合，得到复原图像矩阵，对复原图像矩阵的每一列均进行行列变换R^m→R^w×h，即可得到复原图像。对三个通道内的误差矩阵E进行R、G、B复合，并进行行列变换，即可得到误差图像。

图3是实施例一得到的复原图像。

如图3所示，采用本实施例的Retinex和RPCA结合的方法对多幅退化图像进行复原之后，得到的复原图像非常接近于原图。

图4是实施例一得到的误差图像。

如图4所示，本实施例所提供的Retinex和RPCA结合的方法可以有效地消除噪声、遮挡、倾斜、马赛克、光照等退化造成的误差。

图5是采用RPCA法得到的复原图像。

如图5所示，若采用RPCA方法对退化图像进行复原，即仅对退化图像进行低秩分解得到低秩矩阵，而不进行光照校正，则图像复原效果不佳，与图3中本实施例得到的复原图像相比，只采用RPCA法所得到的复原图像没有消除光照影响，图像比较模糊。

图6是实施例一中采用不同的复原方法得到的复原图像对比图：a、光照退化图像，b、RPCA法复原图像，c、Retinex法复原图像，d、Retinex+RPCA法复原图像，e、未退化原图像。

如图6所示，采用RPCA法复原图像(图6b)不能消除光照退化，而采用Retinex法复原图像(图6c)完全消除了入射光的影响，与原图像(图6e)相比仍有较大的色差，而采用本实施例的Retinex与RPCA结合的复原方法进行图像复原，得到的复原图像(图6d)虽然仍受到入射光的影响，但是比其他复原方法获得的复原图像更加接近于原图。

<实施例二>

将本发明的图像复原方法的去噪声干扰能力与传统方法相比较。

图7是实施例二中采用不同的复原方法得到的复原图像对比图：a、原图，b、噪声退化图像，c、双线性滤波复原图像，d、小波变换复原图像，e、RPCA法复原图像，f、Retinex+RPCA法复原图像。

如图7所示，a是蝴蝶飞行视频中的某一帧，分辨率是512×512，连续取12帧图像进行实验。对a中加入标准差σ为30的高斯噪声，得到的噪声退化图像如图7b所示。图7c～f分别是采用双线性滤波、小波变换、RPCA法和Retinex+RPCA法对噪声退化图像进行复原之后得到的复原图像。对比图7c～f可见，采用本发明所提供的Retinex+RPCA法对图像进行复原，可以得到最佳的复原效果，复原图像清晰度高，完整滴保留了原图像的细节信息，非常接近于原图。

峰值信噪比(PSNR)常作为评价图像质量的一个指标，PSNR值越大，则图像质量越好。PSNR的定义式如下：

$\mathrm{PSNR}=10\lg \left(\frac{{255}^2}{\frac{1}{\mathrm{mn}}\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{n}{\mathrm{\&Sigma;}}}{({\hat{A}}_{\mathrm{ij}}-A_{\mathrm{ij}}^{*})}^2}\right)---\left(9\right)$

根据公式(9)计算图7c～f的4幅复原图像的PSNR值。

图8是实施例二中采用不同的复原方法得到的复原图像的峰值信噪比对比图。

如图8所示，采用双线性滤波法得到的复原图像的PSNR值最低，RPCA法去除噪声的效果比小波变换和双线性滤波法更好，所获得的复原图像的PSNR值较高。而本发明提供的Retinex结合RPCA法所获得的复原图像的PSNR值最高，说明该方法噪声鲁棒性最强。

实施例的作用与效果

根据实施例一所提供的彩色图像复原方法，因为将Retinex理论与RPCA法相结合，先根据Retinex理论消除图像的光照影响，然后分别在R、G、B三个通道内用RPCA法进行复原，再复合成彩色图像，因此，该方法可以在不使用参考图像的情况下，利用多幅彩色退化图像进行图像复原。

另外，因为对多幅彩色退化图像进行批处理，不同的图像退化的位置不同，多幅退化图像可以相互参考图像中正常的部分，因此该方法能够较完整地保留原图像特征，所获得的复原图像非常接近于原图。

由实施例二可见，本发明所提供的彩色图像复原方法具有很强的噪声鲁棒性，与传统的图像复原方法相比，采用本发明提供的复原方法所得到的复原图像具有更高的清晰度和峰值信噪比。

当然，本发明所提供的彩色图像复原方法并不仅仅限定于以上实施例所述的内容。以上仅为本发明构思下的基本说明，而依据本发明的技术方案所作的任何等效变换，均应属于本发明的保护范围。

Claims (2)

1.一种彩色图像复原方法，其特征在于，包括以下步骤：

步骤1：读入多幅退化的彩色图像，根据色感不变性理论，分别计算每张所述退化的彩色图像的R(x,y)图像数据；

步骤2：将所有的所述R(x,y)图像数据分别分成R、G和B三个通道；

步骤3：将每个通道内的所有图像数据组成一个单通道图像矩阵，得到三个单通道图像矩阵，对每个所述单通道图像矩阵进行低秩分解，得到三个低秩矩阵A和三个误差矩阵E；以及

步骤4：分别将三个所述低秩矩阵A和三个所述误差矩阵E进行R、G、B复合，得到复原图像和误差矩阵，

其中，所述步骤1包括以下步骤：

步骤1a：将一个所述退化的彩色图像进行如下分解：

S(x,y)＝R(x,y)·L(x,y)       (1)

式中，S(x,y)是读入的所述退化的彩色图像数据，R(x,y)是反射光照分量，对应所述退化的彩色图像中的高频分量，L(x,y)是入射光照分量，对应所述退化的彩色图像中的低频分量；

步骤1b：对公式(1)进行对数变换：

r(x,y)＝logR(x,y)＝logS(x,y)-logL(x,y)       (2)

式中，r(x,y)是对数域输出图像数据，

对所述对数域输出图像数据进行低通滤波，去除所述入射光照分量L(x,y)：

r(x,y)＝logS(x,y)-log[F(x,y)*S(x,y)]         (3)

式中，*是卷积符号，F(x,y)是高斯指数函数，式中σ是高斯密度参数；

步骤1c：将所述低通滤波后的对数域图像数据r(x,y)进行指数变换，得到R(x,y)图像数据；

步骤1d：重复所述步骤1a～1c，分别计算出所有退化的彩色图像所对应的R(x,y)图像数据，

所述步骤3包括以下步骤：

步骤3a：设一个通道内有n幅退化图像d₁,......,d_n，用e₁,,.e_n分别表示所述退化图像d₁,......,d_n的误差，设所述n幅退化图像分别对应的未退化图像是将所述未退化图像的分辨率表示为w×h，即对所述未退化图像进行行列变换R^w×h→R^m(m＝w×h)，把行列变换后的n幅未退化图像组成矩阵A：采用相同的方法把所述n幅退化图像组成矩阵D：D＝[d₁,......,d_n]∈R^m×n，把所述误差组成误差矩阵E：E＝[e₁,......,e_n]∈R^m×n，则将所述退化图像复原模型描述如下：

$\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)s.t.D=A+E,{\left|\right|E\left|\right|}_0\&le;\mathrm{\&delta;}---\left(4\right)$

式中，||·||₀是L0范数，δ是所述退化图像中受到误差干扰的像素的最大个数；

步骤3b：对公式(4)用拉格朗日形式代替求解：

$\underset{A,E}{\arg \min }\mathrm{Rank}\left(A\right)+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{0}s.t.D=A+E---\left(5\right)$

式中，λ是平衡参数，

将公式(5)的非凸优化问题松弛为凸问题，并将等式约束松弛为不等式约束： $\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_{1}s.t.{\left|\right|A+E-D\left|\right|}_F^2<\mathrm{\&epsiv;}---\left(6\right)$

式中，||·||_*是核范数，||·||₁是L1范数，ε是可接受的误差和噪声的最大值；

步骤3c：将公式(6)优化为基于拉格朗日乘子法的快速求解算法：

$\underset{A,E}{\arg \min }{\left|\right|A\left|\right|}_{*}+\mathrm{\&lambda;}{\left|\right|E\left|\right|}_1{+\frac{\mathrm{\&mu;}}{2}\left|\right|A+E-D\left|\right|}_F^2---\left(7\right)$

对公式(7)进行求解，得到低秩矩阵A和误差矩阵E。

2.根据权利要求1所述的彩色图像复原方法，其特征在于：

其中，多幅所述退化的彩色图像的退化种类各不相同。