CN103442159A - 基于rs-svm集成的边缘自适应去马赛克方法 - Google Patents

Abstract

本发明提供一种基于RS-SVM集成的边缘自适应去马赛克方法。其实现步骤是：(1)获取马赛克图像；(2)将马赛克图像分成边缘区域和平滑区域；(3)利用信号相关性方法插值平滑区域；(4)利用SVM集成法插值边缘区域。步骤(4)先在利用色彩相关性及色差恒定原理构建的色差平面上构建原始样本集；再利用Bagging方法对原始样本集重取样；再利用粗糙集动态约简算法约简重取样出的样本特征；然后用约简后的样本训练成员回归机；再用训练好的成员回归机估计待插值点的色差值；最后计算出丢失的像素值。本发明能改善图像的细小边缘区域的边缘特征，抑制伪彩色效应或锯齿现象，提高成像质量。

Description

基于RS-SVM集成的边缘自适应去马赛克方法

技术领域

本发明涉及图像去马赛克领域，尤其涉及一种基于RS-SVM集成的边缘自适应去马赛克方法。 

背景技术

数码相机作为一种备受欢迎的彩色图像成像设备，是一种利用电子传感器把光学影像转换成电子数据的照相机。数码相机的传感器是一种光感应式的电荷耦合器件(CCD）或互补金属氧化物半导体(CMOS），要获得一幅彩色图像需要三个CCD或者CMOS在每个像素点分别获取R、G、B三种基本颜色分量。而传感器的价格比较昂贵，为了减小电子产品的体积，降低成本和复杂性，通常仅使用单传感器并在其表面覆盖彩色滤波阵列来同时获得三种基本颜色分量。因此，传感器阵列的每个像素点只能采集到一个颜色分量，为了得到一幅全彩色图像，每个像素点必须通过其相邻的已知颜色分量估计出该像素点丢失的另外两种颜色分量，这个过程被称为去马赛克(Demosaicking)。 

传统的最邻近插值、线性插值等方法在平滑区域能取得较好的效果，但会降低图像的边缘特征，造成伪彩色效应或锯齿现象。近年来，许多以获取高质量彩色图像为目的的去马赛克方法被相继提出，例如应用信号相关性的方法[1]，应用空间和色彩相关性的方法[2]，基于框架的方法[3]，基于图像修复艺术的方法[4]，基于异质性投影的方法[5]，利用稀疏表示的方法[6]，利用自适应加权的方法[7]。这些方法均提高了图像的成像质量，但在插值图像中仍出现伪彩色效应，无法满足人们对高质量彩色图像的需求。 

支持向量机集成(Support Vector Machine Ensemble,SVM Ensemble)是一种新型的机器学习方法，是集成学习的一种具体体现，是将集成学习应用于机器学习领域的产物。它不仅继承了支持向量机解决小样本、非线性、高维及局部极值等问题的优势，而且稳定性、泛化能力均优于单个支持向量机。迄今为止，支持向量机集成已被成功应用在混沌时间序列预测，入侵检测，故障诊断，雷达目标高分辨率一维距离像识别，高分辨率遥感图像分类，卫星图像分割等领域，并显示出优势，但将其应用于图像去马赛克方面的研究还颇为鲜见。 

集成学习中，如何生成集成个体和如何生成集成结果是两个热点问题。个体之间的差异性是研究集成个体成生中的关键因素，差异性越大越能保证预测结果的准确性。属性约简是粗糙集理论(Rough Set,RS)研究的核心问题之一，采用粗糙集动态约简算法进行特征扰动，过滤学习性能欠佳的特征子集，更有利于生成差异性大、精度高的个体。因此，本发明利用粗糙集动态约简样本，并用约简后的样本训练集成个体，然后用训练好的集成个体估计马赛克图像中丢失的颜色分量。 

发明内容

本发明提出的基于RS-SVM集成的边缘自适应去马赛克方法，目的在于改善图像的细小边缘区域的边缘特征，减少插值图像中的伪彩色(虚假色)或锯齿现象，提高成像质量。 

本发明的主要思想：边缘的像素值和其周围的像素值相差很大，若采用传统的最邻近插值、线性插值方法会降低图像的边缘特征，造成伪彩色或者锯齿现象，但在平滑区域能取得较好的效果。SVM集成法作为一种高精度的机器学习技术，通过学习边缘像素和其邻近像素之间的关系，可以插值出丢失的边缘像素，此方法精度高，但处理速度相对慢。将SVM集成法用于插值边缘像素既可以提高成像质量，又可以保证处理速率。 

本发明的目的通过下述技术方案实现：先获取马赛克图像，再将马赛克图像分成平滑区域和边缘区域，然后在平滑区域采用信号相关性方法[1]插值，在边缘区域采用SVM集成法插值。SVM集成法在利用彩色图像各平面间的色彩相关性及色差恒定原理构建的色差平面上实现，在色差平面上利用局部区域内色差值之间的空间相关性建构原始样本集，并利用Bagging方法对原始样本集重取样，再用粗糙集动态约简算法约简重取样出的样本特征，并将约简后的样本用于训练成员回归机，然后利用训练好的成员回归机估计待插值点的色差值，最后计算出丢失的像素值。 

下面对本发明的具体步骤详细说明(以Bayer彩色滤波阵列获取的马赛克图像为例)。 

为便于说明，下面将已知R分量的点，已知G分量的点和已知B分量的点分别简记为R点，G点和B点。 

一、获取马赛克图像：以Bayer模式获取待去马赛克的图像。 

二、边缘提取：将一幅以Bayer模式获取的马赛克图像分成边缘区域和平滑区域。先将马赛克图像做平滑处理，然后对其进行拉普拉斯操作，最后通过零交叉将一幅马赛克图像分成边缘区域和平滑区域。 

三、插值平滑区域：利用信号相关性方法插值 

1、构造色差平面K_r=G-R和K_b=G-B 

(1)在G点，利用公式 

K_r(i,j)=G_i,j-(R_i-1,j+R_i+1,j)/2(G在偶数行)     (1) 

K_r(i-1,j-1)=G_i-1,j-1-(R_i-1,j-2+R_i-1,j)/2(G在奇数行)     (2) 

计算G点处的色差值，然后利用公式 

K'_r(i-1,j)=(K_r(i-1,j-1)+K_r(i-2,j)+K_r(i-1,_j+1)+K_r(i,j))/4     (3) 

计算R点处的色差值，得Kr色差平面。 

(2)在G点，利用公式 

K_b(i,j)=G_i,j-(B_i,j-1+B_i,j+1)/2(G在偶数行)     (4) 

K_b(i-1,j-1)=G_i-1,j-1-(B_i-2,j-1+B_i,j-1)/2(G在奇数行)     (5) 

计算G点处的色差值，然后利用公式 

K'_b(i,j-1)=(K_b(i,j-2)+K_b(i-1,j-1)+K_b(i,j)+K_b(i+1,j-1))/4     (6) 

计算B点处的色差值，得到得K_b色差平面。 

2、插值G平面：需要估计R点的G分量和B点的G分量。 

(1)在R点，利用G_i-1,j=K'_r(i-1,j)+R_i-1,j可得R_i-1,j处的G分量，同理，计算出所有R点的G分量。 

(2)在B点，利用公式G_i,j-1=K'_b(i,j-1)+B_i,j-1可得B_i,j-1处的G分量，同理，计算出所有B点的G分量。 

此时，G平面上的所有G分量均为已知(G'表示估计值)，可在插值R、B平面时使用。 

3、插值R平面：需要估计G点的R分量和B点的R分量。 

(1)在G点，利用公式 

K'_r(i,j)=(K'_r(i-1,j)+K'_r(i+1,j))/2(G在偶数行)     (7) 

K'_r(i-1,j-1)=(K'_r(i-1,j-2)+K'_r(i-1,j))/2(G在奇数行)     (8) 

获得G点的色差值，然后利用R_i,j=G_i,j-K'_r(i,j)可得G_i,j处的R分量，同理，求出所有G点的R分量。 

(2)在B点，利用公式 

K'_r(i,j-1)=(K'_r(i-1,j-2)+K'_r(i-1,j)+K'_r(i+1,j)+K'_r(i+1,j-2))/4(9) 

获得B点的色差值，然后利用R_i,j-1=G'_i,j-1-K'_r(i,j-1)可得B_i,j-1处的R分量，同理，求出所有B点的R分量。 

4、插值B平面：和插值R平面类似，在K_b平面上实现，具体过程不再叙述。 

四、插值边缘区域：利用SVM集成法插值 

在色差平面上利用局部区域内的空间相关性构造原始样本集，采用bootstrap重采样技术对原始样本集重取样，再用粗糙集动态约简算法约简重取样出的样本特征，并将约简后的样本用于训练成员回归机，然后利用训练好的成员回归机估计待插值点的色差值，最后计算出丢失的像素值。 

采用SVM集成方法实现此步操作，需要对R、G、B三个平面分别插值，无论对那个平面插值都包括以下5步： 

1)构建色差平面：根据彩色图像各平面间的色彩相关性及色差恒定原理构建色差平面K_r或K_b； 

2)建构原始样本集：在色差平面K_r或K_b上利用色差值建构原始样本集X={X₁,X₂,…,X_n}，其样本X_i={x₁,x₂,...,x₇,Y},i=1,...,n，其中输入样本x₁,x₂,...,x₇为7维向量，输出样本Y为1维向量； 

3)训练成员回归机： 

步骤1：对原始样本集X采用bootstrap重采样技术获得N组含有m(m<n)个样本的样本集，构成子系统集合S=｛S₁,S₂,…,S_N｝，其中，子系统S_j=(U_j,C∪D)是第j(j=1,2,…,N)组样本集， 

为样本集合，C为属性非空的有限集合，D=｛d|d∈Y｝为决策属性集合； 

步骤2：对每一个子系统S_j，采用基于属性重要度的粗糙集相对约减算法进行属性约简 

步骤3：统计步骤2中属性约简

出现的频率 

$f_{\mathrm{re}}=C|\frac{S_j|S_j\&Element;S,B\&Element;{\mathrm{reduct}}_{S_j}\left(C\right),j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n}{\left|S\right|}\&GreaterEqual;T|;$

步骤4：约简出现的频率fre越高，该约简就越稳定，泛化能力越强。当所有属于的约简B出现的频率超过给定的阈值T时，给出最终约简输出：该输出即为用于训练成员回归机的训练样本； 

步骤5：利用上述bagging-rough算法获得的训练样本对各个成员回归机进行训练，生成高差异性和高精度的成员回归机。 

4)估计色差平面上待插值点的色差值：用训练好的成员回归机估计待插值点的色差值，然后将各成员回归机估计的结果采用集成决策输出，其输出即为估计的色差值。 

5)确定待估计的像素分量。 

1、插值G平面：需要估计R点的G分量和B点的G分量。 

(1)估计R点的G分量 

1)估计R点的色差值 

a、构造色差平面K_r：在G点利用K_r(i,j)=G_i,j-(R_i-1,j+R_i+1,j)/2(G在偶数行)和K_r(i-1,j-1)=G_i-1,j-1-(R_i-1,j-2+R_i-1,j)/2(G在奇数行)构造色差平面K_r； 

b、构建原始样本集：在K_r色差平面上，以每一个K_r为中心点，若其周围5×5区域内K_r值均存在，则以该点的K_r值作为输出样本构造两个样本。例如，选择输入样本为K_r(i-1,j-1),K_r(i-1,j+1)，K_r(i+1,j+1)，K_r(i+1,j-1)，|K_r(i-1,j-1)-K_r(i+1,j+1)|，|K_r(i-1,j+1)-K_r(i+1,j-1)|，(K_r(i-1,j-1)+K_r(i-1,j+1)+K_r(i+1,j+1)+K_r(i+1,j-1))/4，输出样本为K_r(i,j)的样本；选择输入样本为K_r(i,j-2),K_r(i-2,j)，K_r(i,j+2)，K_r(i+2,j)，|K_r(i,j-2)-K_r(i,j+2)|，|K_r(i-2,j)-K_r(i+2,j)|，(K_r(i,j-2)+K_r(i-2,j)+K_r(i,j+2)+K_r(i+2,j))/4，输出样本为K_r(i,j)的样本。将上述方式构造的样本组成原始样本集X={X₁,X₂,…,X_n}； 

c、训练成员回归机：按照3)中的步骤进行。 

d、估计R点处的K_r色差值：以每一个R点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K_r值。例如，若R_i-1,j上、下、左、右的四个K_r值存在，则以K_r(i-1,j-1)，K_r(i-2,j)，K_r(i-1,j+1)，K_r(i,j)，|K_r(i-1,j-1)-K_r(i-1,j+1)|，|K_r(i-2,j)-K_r(i,j)|， (K_r(i-1,j-1)+K_r(i-2,j)+K_r(i-1,j+1)+K_r(i,j))/4作为上一步训练好的成员回归机的输入，则成员回归机就可以估计出R_i-1,j处的K_r值。最后将各成员回归机估计的结果采用集成决策输出，其输出即为R_i-1,j点的K'_r(i-1,j)值。 

2)利用公式G=K'_r+R计算出R点的G分量，其中K'_r为上一步估计出的R点处的色差值。例如，利用G_i-1,j=K'_r(i-1,j)+R_i-1,j可得R_i-1,j点的G分量。 

(2)估计B点的G分量 

与(1)类似，不同之处是在K_b色差平面上进行，K_b色差平面利用公式K_b(i,j)=G_i,j-(B_i,j-1+B_i,j+1)/2(G在偶数行)和K_b(i-1,j-1)=G_i-1,j-1-(B_i-2,j-1+B_i,j-1)/2(G在奇数行)构造，在K_b色差平面上利用B点估计出的K'_b色差值及公式G=K'_b+B计算出B点的G分量，例如，利用公式G_i,j-1=K'_b(i,j-1)+B_i,j-1可得B_i,j-1点处的G分量。 

此时，G平面上的所有G分量均为已知，可在插值R、B平面时使用。 

2、插值R平面：需要估计B点的R分量和G点的R分量。 

在R点利用该点的R分量及上一步插值出的G'分量构建K^_r色差平面，此步在每个R点利用K^_r=G'-R实现。 

(1)估计B点的R分量 

1)估计B点处的色差值 

a、构建原始样本集：在色差平面K^_r上，以每一个K^_r为中心点，若其周围5×5区域内K^_r值均存在，则以该K^_r值作为输出样本构造两个样本。例如，选择输入样本为K^_r(i-1,j-2)，K^_r(i-3,j)，K^_r(i-1,j+2)，K^_r(i+1,j)，|K^_r(i-1,j-2)-K^_r(i-1,j+2)|，|K^_r(i-3,j)-K^_r(i+1,j)|，(K^_r(i-1,j-2)+K^_r(i-3,j)+K^_r(i-1,j+2)+K^_r(i+1,j))/4，输出样本为K^_r(i-1,j)的样本；选择输入样本为K^_r(i-3,j-2)，K^_r(i-3,j+2)，K^_r(i+1,j+2)，K^_r(i+1,j-2)，|K^_r(i-3,j-2)-K^_r(i+1,j+2)|，|K^_r(i-3,j+2)-K^_r(i+1,j-2)|，(K^_r(i-3,j-2)+K^_r(i-3,j+2)+K^_r(i+1,j+2)+K^_r(i+1,j-2))/4，输出样本为K^_r(i-1,j)的样本。将上述方式构造的样本组成原始样本集X={X₁,X₂,…,X_n}； 

b、训练成员回归机：按照3)中的步骤进行； 

c、估计B点的色差值K^_r：以每一个B点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K^_r值。例如，若B_i,j-1四个邻角的色差值K^_r存在，则以K^_r(i-1,j-2)，K^_r(i-1,j)，K^_r(i+1,j)，K^_r(i+1,j-2)，|K^_r(i-1,j-2)-K^_r(i+1,j)|，|K^_r(i-1,j)-K^_r(i+1,j-2)|，(K^_r(i-1,j-2)+K^_r(i-1,j)+K^_r(i+1,j)+K^_r(i+1,j-2))/4作为上一步训练好的成员回归机的输入样本，即可估计出B_i,j-1点的K^_r值。最后将各成员回归机估计的结果采用集成决策输出，其输出即为B_i,j-1点的K^'_r(i,j-1)值。 

2)利用公式R=G'-K^'_r计算B点的R分量，其中K^'_r为上一步估计出的B点处的色差值。例如，利用R_i,j-1=G'_i,j-1-K^'_r(i,j-1)可得B_i-1,j点的R分量。 

(2)估计G点的R分量 

以每一个G点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K^_r值。例如，若G_i,j上、下、左、右的色差值K^_r均存在，则以K^'_r(i,j-1)，K^_r(i-1,j)，K^'_r(i,j+1)，K^_r(i+1,j)，|K^'_r(i,j-1)-K^'_r(i,j+1)|，|K^_r(i-1,j)-K^_r(i+1,j)|，(K^'_r(i,j-1)+K^_r(i-1,j)+K^'_r(i,j+1)+K^_r(i+1,j))/4作为输入样本，估计B点的R分量时训练好的成员回归机就可以估计出G_i,j点的K^_r值；然后将各成员回归机估计的结果采用集成决策输出，其输出即为G_i,j点的K^'_r(i,j)值；最后利用R=G-K^'_r计算出G点的R分量，其中K^'_r是估计出的G点的色差值。 

3、插值B平面：需要估计R点的B分量和G点的B分量。 

在马赛克图像的B点利用该点的B分量及插值G平面时估计的G'分量构建K^_b色差平面，此步在每个B点利用K^_b=G'-B实现。 

(1)估计R点的B分量 

此步和插值R平面的时的(1)类似，不同之处在于其插值过程在色差平面K^_b上实现：先在K^_b平面上构建原始样本集，再利用粗糙集动态约简算法约简的样本训练成员回归机，然后用训练好的成员回归机估计R点的色差值K^'_b，最后利用公式B=G'-K^'_b计算出R点的B分量。 

(2)估计G点的B分量 

此步和插值R平面的时的(2)类似，在色差平面K^_b上，利用估计R点的B分量时训练好的成员回归机估计G点的色差值K^'_b，然后用公式B=G-K^'_b计算出G点的B分量。 

本发明利用SVM集成法插值边缘像素既可以提高成像质量，又可以保证处理速率。利用图像相关性构造原始样本集，采用bootstrap重采样技术对原始样本集重取样，并利用粗糙集动态约简样本特征，能够保证训练样本的差异性，提高成员回归机的预测精度，恢复图像的细小边缘区域的边缘特征。 

附图说明

图1是Bayer模式示意图。 

图2是用于和马赛克图像卷积的含有平滑内核的平面示意图。 

其中，图2(a)为与R和B平面卷积的平面图，图2(b)为与G平面卷积的平面图。 

图3是用于对平滑后的马赛克图像进行拉普拉斯操作的Laplacian算子示意图。 

其中，图3(a)为与卷积后的R和B平面进行拉普拉斯操作的Laplacian算子示意图，图3(b)为与卷积后的G平面进行拉普拉斯操作的Laplacian算子示意图。 

图4是插值G平面时构建的色差平面示意图。 

其中，图4(a)为在G点利用该点的G分量和与之相邻的已知的R分量构造的K_r色差平面，图4(b)为在G点利用该点的G分量和与之相邻的已知的B分量构造的K_b色差平面。 

图5是插值G平面时估计出的色差平面示意图。 

其中，图5(a)为估计出图4(a)平面上的所有R点对应的色差值后的色差平面(K'_r为估计出的色差值)，图5(b)为估计出图4(b)平面上的所有B点对应的色差值后的色差平面(K'_b为估计出的色差值)。 

图6是插值R平面时的色差平面示意图。 

其中，图6(a)为在R点利用插值G平面时估计出的G分量(G'为估计值)及该点的R分量构造出的K^_r色差平面，图6(b)为估计出图6(a)上所有B点的色差值后的色差平面(K^'_r为B点的估计值)。 

图7是插值B平面时的色差平面示意图。 

其中，图7(a)为在B点利用插值G平面时估计出的G分量(G'为估计值)及该点的B分量构造出的K^_b色差平面，图7(b)为估计出图7(a)上所有R点的色差值后的色差平面(K^'_b为R点的估计值)。 

图8是对kodim19应用本发明的方法及其它去马赛克方法的局部放大区域的效果比对图。 

其中，图8(a)为标准图像，图8(b)为应用参考文献[1]中的方法获取的结果图像，图8(c)为应用参考文献[2]中的方法获取的结果图像，图8(d)为应用参考文献[3]中的方法获取的结果图像，图8(e)为应用参考文献[4]中的方法获取的结果图像，图8(f)为应用参考文献[5]中的方法获取的结果图像，图8(g)为应用参考文献[6]中的方法获取的结果图像，图8(h)为应用参考文献[7]中的方法获取的结果图像，图8(i)为应用本发明的方法获取的结果图像。 

图9是基于RS-SVM集成的边缘自适应去马赛克方法的核心流程图。 

具体实施方式

为了更好地了解本发明的技术方案，下面按照图9的流程，结合附图1～8对本发明的具体实施方式作进一步的详细说明。 

一、获取马赛克图像：按照图1的Bayer模式获取的马赛克图像。 

二、边缘提取：利用图2平滑输入的马赛克图像，然后用图3对平滑后的马赛克图像进行拉普拉斯操作，最后通过零交叉将一幅马赛克图像分成边缘区域和平滑区域。 

三、插值平滑区域 

1、利用公式(1)～(3)构造图5(a)的Kr色差平面，利用公式(4)～(6)构造图5(b)的K_b色差平面。 

2、插值G平面：此步在图5上进行。 

在图5(a)上，利用G=K_r'+R计算出所有R点的G分量。在图5(b)上，利用G=K'_b+B计算出所有B点的G分量。 

3、插值R平面：此步在图5(a)上进行。 

利用公式(7)～(8)计算出G点的色差值，然后利用R=G-K'_r求出所有G点的R分量。利 用公式(9)计算出B点的色差值，然后利用R=G'-K'_r计算出所有B点的R分量。 

4、插值B平面：此步在图5(b)上进行，过程和插值R平面类似。 

四、插值边缘区域 

1、插值G平面 

(1)估计R点的G分量 

1)估计R点的色差值 

先利用公式(1)～(2)构造图4(a)的K_r色差平面；再构建原始样本集：在图4(a)上，以每一个K_r为中心点，若其周围5×5区域内K_r值均存在，则以该点的K_r值作为输出样本构造两个样本。构造样本的模式一：以图2(b)中的C1，C2，C3，C4，|C1-C3|，|C2-C4|，(C1+C2+C3+C4)/4所在位置的K_r值作为样本的输入，以A所在位置的K_r值作为样本的输出；模式二：以图2(b)中的B1，B2，B3，B4，(B1+B2+B3+B4)/4，|B1-B3|，|B2-B4|所在位置的K_r值作为样本的输入，以A所在位置的K_r值作为样本的输出，将上述方式构造的样本组成原始样本集X={X₁,X₂,…,X_n}；然后训练成员回归机：对原始样本集X采用bootstrap重采样技术获得N组含有m(m<n)个样本的样本集构成子系统集合S=｛S₁,S₂,…,S_N｝，再对每一个子系统S_j采用基于属性重要度的粗糙集相对约减算法进行属性约简

统计约简

出现的频率，并根据阈值确定最终的约简输出，再用约简输出训练成员回归机；最后用训练好的成员回归机估计R点的K_r值：在图4(a)上，以每一个R点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K_r值。以图2(b)中的C1，B2，C2，A，|C1-C2|，|B2-A|，(C1+B2+C2+A)/4所在位置的K_r值作为训练好的成员回归机的输入，即可插值出D1(R点)所在位置的色差值。图5(a)为估计出所有R点的K_r值的示意图(K'_r为估计值)。 

2)计算R点的G分量，在图5(a)上利用G=K'_r+R计算出所有R点的G分量。 

(2)估计B点的G分量 

与(1)类似，利用公式(4)～(5)构造图4(b)，然后按照(1)中的方法估计所有B点的K_b值得到图5(b)(K'_b为估计值)，最后，在图5(b)上利用公式G=K'_b+B计算出所有B点的G分量。 

此时，G平面上的所有G分量均为已知，可在插值R、B平面时使用。 

2、插值R平面 

(1)估计B点的R分量 

1)估计B点的色差值 

先在R点利用K^_r=G'-R(G'为插值出的G分量)构造图6(a)的K^_r色差平面；再构造原始样本集：在图6(a)上，以每一个K^_r为中心点，若其周围5×5区域内K^_r值均存在，则以该K^_r值作为输出样本构造两个样本，样本模式一：利用与K^_r值相邻的上、下、左、右的四个色差值构造(构造方式与插值G平面时相同)7维输入样本，样本模式二：利用与K^_r值相邻的左上角、左下角、右上角、右下角的四个色差值构造7维输入样本，以每一个K^_r为输出样 本构造的样本组成原始样本集；然后训练成员回归机(训练方法和插值G平面时相同)；最后用训练好的成员回归机估计B点的K^_r值：在图6(a)上，以每一个B点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K^_r值。例如，以K^_r(i-1,j-2)，K^_r(i-1,j)，K^_r(i+1,j)，K^_r(i+1,j-2)，|K^_r(i-1,j-2)-K^_r(i+1,j)|，|K^_r(i-1,j)-K^_r(i+1,j-2)|，(K^_r(i-1,j-2)+K^_r(i-1,j)+K^_r(i+1,j)+K^_r(i+1,j-2))/4作为训练好的成员回归机的输入样本，即可插值估计出B_i,j-1点的色差值，将各成员回归机估计的结果采用集成决策输出，其输出即为B_i,j-1点的K^'_r(i,j-1)值。图6(b)为估计出所有B点的色差值的示意图(K^'_r为估计值)。 

2)计算B点的R分量，在图6(b)上利用R=G'-K^'_r计算出所有B点的R分量。 

(2)估计G点的R分量 

在图6(b)上，以每一个G点为中心点，在其周围的3×3区域内构造输入样本，用以估计该中心点的K^_r值。例如，以K^'_r(i,j-1)，K^_r(i-1,j)，K^'_r(i,j+1)，K^_r(i+1,j)，|K^'_r(i,j-1)-K^'_r(i,j+1)|，|K^_r(i-1,j)-K^_r(i+1,j)|，(K^'_r(i,j-1)+K^_r(i-1,j)+K^'_r(i,j+1)+K^_r(i+1,j))/4作为输入样本，估计B点的R分量时训练好的成员回归机就可以估计出G_i,j点的色差值；然后将各成员回归机估计的结果用集成决策输出，输出即为G_i,j点的K^'_r(i,j)色差值；最后利用R=G-K^'_r计算出G点的R分量。 

3、插值B平面 

在B点利用该点的B分量及前面插值出的G'分量构建图7(a)的K^_b色差平面，此步在每个B点利用K^_b=G'-B实现。 

(1)估计R点的B分量 

此步和插值R平面的时的(1)类似，不同之处在于：先在7(a)上构建原始样本集，训练成员回归机；然后插值估计出所有R点的色差值，如图7(b)；最后，在图7(b)上利用公式B=G'-K^'_b计算出R点的B分量 

(2)估计G点的B分量 

此步和插值R平面的时的(2)类似，在图7(b)上，先插值估计出G点的K^'_b值，最后利用公式B=G-K^'_b计算出G点的B分量。 

按照以上步骤采用文献[8]中的LIBSVM软件在MATLAB7.0中进行仿真，选择γ-SVR作为成员回归机，成员回归机使用径向基函数RBF，其余参数采用默认设置。 

评价去马赛克效果的方法是：先对一幅标准彩色图象采样成Bayer型马赛克图像，然后对其去马赛克得到去马赛克后的彩色图像，最用通过与原标准彩色图像对比评价。 

为了说明本发明中方法的有效性，对文献[9]中的卡达标准彩色图像库的图像进行测试，先获取彩色图像的Bayer型马赛克图像，然后利用文献[1]、文献[2]、文献[3]、文献[4]、文献[5]、文献[6]、文献[7]和本发明的方法进行去马赛克。 

先对结果图像进行客观评价，客观指标采用彩色图像峰值信噪比(CPSNR)衡量，其计算 公式为 $\mathrm{CPSNR}=10{\log }_{10}\frac{{255}^2\&CenterDot;M\&CenterDot;N\&CenterDot;3}{\underset{z=1}{\overset{3}{\mathrm{\&Sigma;}}}\underset{m=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{n=1}{\overset{N}{\mathrm{\&Sigma;}}}{[I(m,n,z)-\tilde{I}(m,n,z)]}^2},$ 其中I和

表示标准彩色图像和去马赛克的结果图像，其大小均为M×N×3，其像素分别为I(m,n,z)和

M和N分别是图像的行数和列数。表1中给出了对24幅标准彩色图像采用8种不同去马赛克方法获得的结果图像的彩色图像峰值信噪比。从表中可以看出，本发明方法获得了最高的CPSNR，表明本发明的去马赛克效果最好，结果图像的质量优于其它方法。 

再对结果图像进行主观评价，图8是对kodim19采用不同去马赛克方法获得的结果图像的局部放大区域，从图中看出，文献[1]、文献[2]和文献[3]的结果图像中虚假色非常明显，尤其是文献[1]；文献[4]和文献[7]的结果图像中基本没用虚假色，但栅栏边缘较模糊，视觉效果不理想；文献[5]的结果图像中栅栏的边缘信息保存的较好，但有虚假色；本发明方法消除了虚假色、且保存了栅栏边缘的信息，获得了最好的去马赛克效果。 

仿真实验表明本发明对图像纹理区域(边缘区域)的恢复效果很好，克服了结果图像中在细小边缘出现虚假色的缺点，尤其适用于含边缘区域较多的图像。 

表1不同方法去马赛克图像的CPSNR 

参考文献 

[1]S.C.Pei,I.K.Tam.Effective color interpolation in CCD color filter array using signal correlation.IEEE Trans.on Circuits and Systems for Video Technology,2003,13(6):503-513. 

[2]L.L.Chang,Y.P.Tan.Effective use of spatial and spectral correlations for color filter array demosaicking.IEEE Trans.on Consumer Electronics,2004,50(1):355-365. 

[3]R.Lukac,K.N.Plataniotis.Data-adaptive filters for demosaicking:A framework.IEEE Trans.on Consum.Electron,2005,51(2):560-570. 

[4]S.Ferradans,M.Bertalmio,and V.Caselles.Geometry-based demosaicking.IEEE Trans.on Image Processing,2009,18(3):665-670. 

[5]K.L.Chung,W.J.Yang,W.M.Yan,and C.C.Wang.Demosaicing of color filter array captured images using gradient edge detection masks and adaptive heterogeneity-projection.IEEE Trans.on Image Processing,2008,17(12):2356-2367. 

[6]J.Mairal,M.Elad,G.Sapiro.Sparse representation for color image restoration.IEEE Trans.on Image Processing,2008,17(1):53-69. 

[7]P.W.Hao,Y.Li,Z.C.Lin,E.Dubois.A geometric method for optimal design of color filter arrays.IEEE Trans.on Image Processing,2011,20(3):709-722. 

[8]C.-C.Chang and C.-J.Lin,LIBSVM:a library for support vector machines,2001.Software available at http://www.csie.ntu.edu.tw/～cjlin/libsvm. 

[9]http://r0k.us/graphics/kodak/index.html。

Claims (2)

1.一种基于RS-SVM集成的边缘自适应去马赛克方法，其特征在于包括如下步骤：

(1)获取马赛克图像：以Bayer模式获取待去马赛克的图像；

(2)边缘提取：对待去马赛克的图像进行边缘提取，将图像分成边缘区域和平滑区域；

(3)插值平滑区域：利用信号相关性方法插值平滑区域；

(4)插值边缘区域：利用SVM集成法插值边缘区域。

2.根据权利要求1所述的基于RS-SVM集成的边缘自适应去马赛克方法，其特征在于：步骤(4)中，所述的利用支持向量机集成法插值边缘区域的具体步骤如下：

第一步：插值G平面

(1)估计R点的G分量

1)估计R点的色差值

①.构造色差平面K_r：在马赛克图像的G点利用K_r(i,j)=G_i,j-(R_i-1,j+R_i+1,j)/2(G在偶数行)和K_r(i-1,j-1)=G_i-1,j-1-(R_i-1,j-2+R_i-1,j)/2(G在奇数行)构造色差平面；

②.构建原始样本集：在K_r色差平面上，以每一个K_r为中心点，若其周围5×5区域内K_r值均存在，则以该点的K_r值作为输出样本构造两个样本，例如，选择输入样本为K_r(i-1,j-1),K_r(i-1,j+1)，K_r(i+1,j+1)，K_r(i+1,j-1)，|K_r(i-1,j-1)-K_r(i+1,j+1)|，|K_r(i-1,j+1)-K_r(i+1,j-1)|，(K_r(i-1,j-1)+K_r(i-1,j+1)+K_r(i+1,j+1)+K_r(i+1,j-1))/4，输出样本为K_r(_i,j)的样本；选择输入样本为K_r(i,_j-2),K_r(i-2,j)，K_r(i,j+2)，K_r(i+2,j)，|K_r(i,j-2)-K_r(i,j+2)|，|K_r(i-2,j)-K_r(i+2,j)|，(K_r(i,j-2)+K_r(i-2,j)+K_r(i,j+2)+K_r(i+2,j))/4，输出样本为K_r(i,j)的样本，将上述方式构造的样本组成原始样本集X={X₁,X₂,…,X_n}；

③.训练成员回归机：先对原始样本集X采用bootstrap重采样技术获得N组含有m(m<n)个样本的样本集，构成子系统集合S=｛S₁,S₂,…,S_N｝；再对每一个子系统S_j采用基于属性重要度的粗糙集相对约减算法进行属性约简

再统计属性约简出现的频率 $f_{\mathrm{re}}=C|\frac{S_j|S_j\&Element;S,B\&Element;{\mathrm{reduct}}_{S_j}\left(C\right),j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,n}{\left|S\right|}\&GreaterEqual;T|$ ；然后判断当所有属于

的约简B出现的频率超过给定的阈值T时，给出最终约简输出：

最后利用约简输出作为训练样本训练成员回归机；

④.估计R点的色差值：在色差平面K_r上，以每一个R点为中心点，在其周围的3×3区域内构造输入样本，估计该中心点的K_r值，例如，若R_i-1,j上、下、左、右的四个K_r值存在，则以K_r(i-1,j-1)，K_r(i-2,j)，K_r(i-1,j+1)，K_r(i,_j)，|K_r(i-1,j-1)-K_r(i-1,j+1)|，|K_r(i-2,j)-K_r(i,j)|，(K_r(i-1,j-1)+K_r(i-2,j)+K_r(i-1,j+1)+K_r(i,j))/4作为上一步训练好的成员回归机的输入，成员回归机就可以估计出R_i-1,j点对应的色差值，最后将各成员回归机估计的结果用集成决策输出，其输出即为R_i-1,j点的K'_r(i-1,j)色差值；

2)计算R点的G分量

利用公式G=K'_r+R计算出R点的G分量，其中K'_r为上一步估计的R点的色差值；

(2)估计B点的G分量

1)估计B点的色差值

先在马赛克图像的G点利用K_b(i,j)=G_i,j-(B_i,j-1+B_i,j+1)/2(G在偶数行)和K_b(i-1,j-1)=G_i-1,j-1-(B_i-2,j-1+B_i,j-1)/2(G在奇数行)构造K_b色差平面，然后在K_b色差平面

上利用估计R点的色差值的方式估计出所有B点的色差值；

2)计算B点的G分量

利用B点估计出的K'_b色差值及公式G=K'_b+B计算出B点的G分量；

第二步：插值R平面

(1)估计B点的R分量

1)估计B点的色差值

①.构造色差平面K^_r：在马赛克图像的R点利用K^_r=G'-R构造色差平面，其中G'为第一步插值出的G分量；

②.构建原始样本集：在色差平面K^_r上，以每一个K^_r为中心点，若其周围5×5区域内K^_r值均存在，则以该K^_r值作为输出样本构造两个样本，例如，选择输入样本为K^_r(i-1,j-2)，K^_r(i-3,j)，K^_r(i-1,j+2)，K^_r(i+1,j)，|K^_r(i-1,j-2)-K^_r(i-1,j+2)|，|K^_r(i-3,j)-K^_r(i+1,j)|，(K^_r(i-1,j-2)+K^_r(i-3,j)+K^_r(i-1,j+2)+K^_r(i+1,j))/4，输出样本为K^_r(i-1,j)的样本；选择输入样本为K^_r(i-3,j-2)，K^_r(i-3,j+2)，K^_r(i+1,j+2)，K^_r(i+1,j-2)，|K^_r(i-3,j-2)-K^_r(i+1,j+2)|，|K^_r(i-3,j+2)-K^_r(i+1,j-2)|，(K^_r(i-3,j-2)+K^_r(i-3,j+2)+K^_r(i+1,j+2)+K^_r(i+1,j-2))/4，输出样本为K^_r(i-1,j)的样本，将上述方式构造的样本组成原始样本集X={X₁,X₂,…,X_n}；

③.训练成员回归机：和估计R点的色差值时训练成员回归机的方法相同；

④.估计B点的色差值：在色差平面K^_r上，以每一个B点为中心点，在其周围的3×3区域内构造输入样本，估计该中心点的K^_r值，例如，若B_i,j-1四个邻角的色差值K^_r存在，则以K^_r(i-1,j-2)，K^_r(i-1,j)，K^_r(i+1,j)，K^_r(i+1,j-2)，|K^_r(i-1,j-2)-K^_r(i+1,j)|，|K^_r(i-1,j)-K^_r(i+1,j-2)|，(K^_r(i-1,j-2)+K^_r(i-1,j)+K^_r(i+1,j)+K^_r(i+1,j-2))/4作为上一步训练好的成员回归机的输入样本，即可插值估计出B_i,j-1点的色差值，最后将各成员回归机估计的结果用集成决策输出，其输出即为B_i,j-1点的K^'_r(i,j-1)色差值；

2)计算B点的R分量

利用公式R=G'-K^'_r计算出B点的R分量，其中K^'_r为上一步估计的B点的色差值；

(2)估计G点的R分量

利用估计B点的色差值时训练好的成员回归机估计G点的色差值，在色差平面K^_r上，以每一个G点为中心点，在其周围的3×3区域内构造输入样本，估计该中心点的K^_r值，例如，若G_i,j上、下、左、右的色差值K^_r均存在，则以K^'_r(i,j-1)，K^_r(i-1,j)，K^'_r(i,j+1)，K^_r(i+1,j)，|K^'_r(i,j-1)-K^'_r(i,j+1)|，|K^_r(i-1,j)-K^_r(i+1,j)|，(K^'_r(i,j-1)+K^_r(i-1,j)+K^'_r(i,j+1)+K^_r(i+1,j))/4作为输入样本，训练好的成员回归机就可以估计出G_i,j点的色差值，然后将各成员回归机估计的结果用集成决策输出，其输出即为G_i,j点的K^'_r(i,j)色差值，最后利用R=G-K^'_r计算出G点的R分量；

第三步：插值B平面

在马赛克图像的B点利用K^_b=G'-B构造色差平面K^_b，其中G'为第一步插值出的G分量；

(1)估计R点的B分量

此步和插值R平面的时的(1)类似，不同之处在于其插值过程在色差平面K^_b上实现：先在K^_b平面上构建原始样本集，再利用粗糙集动态约简算法约简的样本训练成员回归机，然后用训练好的成员回归机估计R点的色差值K^'_b，最后利用公式B=G'-K^'_b计算出R点的B分量；

(2)估计G点的B分量

此步和插值R平面的时的(2)类似，在色差平面K^_b上，利用估计R点的B分量时训练好的成员回归机估计G点的色差值K^'_b，然后利用公式B=G-K^'_b计算出G点的B分量。

Images