CN107578392B - 一种基于残余插值的卷积神经网络去马赛克方法 - Google Patents

Abstract

本发明属于图像处理技术领域，尤其涉及一种基于残余插值的卷积神经网络去马赛克算法。为解决当前图像恢复方法在斜边区域恢复不够准确以及图像整体分辨率较低的问题，本方法首先利用边缘检测算法恢复绿色通道，再采用残余插值方法恢复红蓝平面，得到残余插值结果后,最后采用卷积神经网络作为一个修正项进一步改进结果图像，将去马赛克结果作为卷积神经网络的输入,对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,经过训练逐步修正卷积神经网络的权重。该方法不仅在水平和垂直方向检测边缘，而且增加了倾斜方向边缘的检测，使图像在斜边区域恢复更加准确，提升了图像的分辨率，得到的去马赛克图像边缘更清晰。

Description

一种基于残余插值的卷积神经网络去马赛克方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于残余插值的卷积神经网络去马赛克方法。

背景技术

单传感器彩色成像技术在数码相机行业领域得到广泛的应用，在一个具有单传感器相机中,在传感器表面覆盖了一层彩色滤波阵列(CFA:Color Filter Array)，每个像素点仅采样红、绿、蓝三种颜色分量之一,如果恢复全彩色图像,需要对丢失的两种颜色分量进行估计,我们将估计丢失颜色的过程称为去马赛克。当今应用最广泛的彩色图像为BayerCFA模式的图像，在Bayer CFA模式中,绿色像素点按梅花形网格采样,红色和蓝色像素点按矩形网格采样,其中，绿色样本是红色或蓝色样本数目的二倍。到目前为止,国内外的研究人员已提出了许多去马赛克算法。由于去马赛克的过程相当于一个图像插值的过程,通常采用双线性和双三次等简单的插值方法,在图像平滑区域也有较好的效果。然而这些方法相当于各向同性的低通滤波,会产生显著的边缘模糊、拉链效应等缺陷。针对该缺陷，可采用自适应方向插值算法，利用梯度检测水平和垂直边缘的方向,分别沿着水平和垂直的边缘方向进行插值,但采用这种方法会使图像的整体分辨率变低；采用基于色调平滑过渡准则的方法,根据色差(红-绿,蓝-绿)恒定假设进行插值,但是得到的全彩色图像在绿色分量值突变的地方具有较大的插值误差。采用残余插值算法，在色差插值的基础上进行改进，该方法是在残余域上进行插值，与色差域相比，残余域更平滑，插值精度更高，但该方法在斜边区域恢复不够准确。

发明内容

针对上述问题，本发明提出一种基于残余插值的卷积神经网络去马赛克方法，包括以下步骤：

步骤1：对训练图像去除马赛克；

步骤101:在残余插值算法的基础上插值绿色平面，通过检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道；

步骤102：将插值后的绿色平面作为红、蓝平面的引导图，采用残余插值算法分别插值红、蓝平面，恢复红色与蓝色通道，得到去马赛克后的低分辨率图像集；

步骤2：采用卷积神经网络算法，将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签，修正去马赛克结果。

在所述步骤101插值绿色平面的过程中，采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘，具体步骤为：

步骤一：检测训练图像在水平、垂直方向的边缘，采用MLRI算法分别在水平和垂直方向对训练图像的红、绿、蓝平面进行插值；

步骤二：分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差和σ_h与垂直方向的5×5邻域内色差和σ_v；

步骤三：利用水平和垂直方向的边缘检测算子σ₁＝max(σ_h/σ_v,σ_v/σ_h)，检测训练图像在水平、垂直的边缘，若在水平和垂直方向均检测不到边缘，则计算对角线方向上的边缘检测算子σ₂，检测训练图像对角线方向的边缘。

所述红、绿、蓝平面在水平方向的5×5邻域内色差和σ_h与垂直方向的5×5邻域内色差和σ_v的计算公式为：

水平方向:

垂直方向：

式中，

表示水平方向红绿或蓝绿色差，i、j表示位置索引；

表示水平方向绿色平面的估计值；

表示水平方向红色平面的估计值；

表示垂直方向红绿或蓝绿色差；

表示垂直方向绿色平面的估计值；

表示垂直方向红色平面的估计值。

所述四个方向斜边的梯度和估计值分别表示为：

d_3,6＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₁-R₅|+|2B₂-B₄-B₆|

d_3,8＝|G₃-G₈|+|G₈-G₁₁|+|2R₇-R₁-R₉|+|2B₄-B₂-B₁₂|

d_6,11＝|G₃-G₆|+|G₈-G₁₁|+|2R₇-R₅-R₁₃|+|2B₁₀-B₂-B₁₂|

d_8,11＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₉-R₁₃|+|2B₁₂-B₄-B₁₀|

式中，G_i,R_i,B_i分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。

在所述步骤三中利用对角线方向上的边缘检测算子σ₂，检测训练图像对角线方向的边缘的具体步骤如下所述：

1)假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8，分别定义这4个绿色分量在4个倾斜方向的斜边为G_3，6、G_3，8、G_6，11和G_8，11，计算这四个方向斜边的梯度d_3,6、d_3,8、d_6,11、d_8,11和估计值

并对梯度求和,得到四个方向斜边的边缘检测算子σ_3,6,σ_3,8,σ_6,11,σ_8,11；

2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为：

m＝min(σ_3,6,σ_3,8,σ_6,11,σ_8,11)

n＝mean(σ_3,6,σ_3,8,σ_6,11,σ_8,11)

得到对角线方向上的边缘检测算子σ₂为：

σ₂＝m/n

3)根据给定阈值τ₁、τ₂以及决策公式插值绿色像素，所述决策公式为：

当σ₁>τ₁并且σ₁＝σ_v/σ_h,则:

当σ₁>τ₁并且σ₁＝σ_h/σ_v，则:

当σ₂<τ₂并且m＝σ_3,6，则:

当σ₂<τ₂并且m＝σ_3,8，则:

当σ₂<τ₂并且m＝σ_6,11，则:

当σ₂<τ₂并且m＝σ_8,11，则:

若以上均不满足，则:

其中，水平方向权重w^H和垂直方向权重w^V是通过对原图求取水平梯度d^H和垂直梯度d^V的倒数而获得，所述水平梯度d^H和垂直梯度d^V的计算公式如下所示：

d^H＝|G_i,j-1-G_i,j+1|+|2R_i,j-R_i,j-2-R_i,j+2|,

d^V＝|G_i-1,j-G_i+1,j|+|2R_i,j-R_i-2,j-R_i+2,j|

式中，G_i，j和R_i，j分别表示去马赛克前的绿色平面和红色平面的像素值信息。

所述步骤1中，在对蓝色和绿色平面进行插值时，分别采用类Laplacian插值模板，以保持边缘信息，对图像产生锐化效果；所述类Laplacian插值模板如下所示：

式中，P_b表示在蓝色采样点处插值红色像素所用的插值模板；

表示在水平方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板；

表示在垂直方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板。

所述步骤2利用卷积神经网络修正去马赛克结果的具体方法为：

步骤a)将去马赛克后得到的低分辨率图像集Y_i,i∈1…n为输入,将对应的高分辨率图像集X_i,i∈1…n与低分辨率图像集Y_i,i∈1…n之间的残余X_i-Y_i为标签训练卷积神经网络；其中，将卷积神经网络的第一层作为特征提取层，用来对低分辨率图像Y有重叠地提取特征块，并生成高维向量；将网络的第二层作为非线性映射层，完成由低维向量到高维向量的非线性映射，映射出的高维向量代表高分辨率特征块；将网络的第三层作为重构层，将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像；

步骤b)将卷积神经网络的三层网络结构参数化，表示为：

F₁(Y)＝max(0,W₁*Y+B₁)

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)

F₃(Y)＝W₃*F₂(Y)+B₃

式中，F₁(Y)、F₂(Y)、F₃(Y)分别表示卷积神经网络第一、二、三层的输出；W_i,B_i分别表示卷积核和偏置项,Y表示低分辨率图像；

步骤c)通过网络训练逐步修正卷积神经网络的权重。

所述通过网络训练逐步修正卷积神经网络的权重的具体方法为：

步骤a)采用最小化均方误差作为损失函数，用来估计学习映射函数F的网络参数θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，所述损失函数为：

其中，n是训练样本数，F(Y_i；θ)表示需要学习的目标函数，X_i-Y_i表示高分辨率图像和低分辨率图像的差，X_i表示高分辨率图像，Y_i表示去马赛克后的低分辨率图像。

步骤b)采用随机梯度下降法最小化损失函数,并将卷积神经网络的权重按以下方式更新：

其中，

l∈{1,2,3}

式中，Δ_i+1表示迭代i+1次后的梯度，Δ_i表示迭代i次后的梯度，η表示学习率，L表示损失函数，

表示i次迭代后第l层的权重，

表示i+1次迭代后第l层的权重，l表示层数，i是层数索引；

本发明的有益效果在于：

1、本发明提出的倾斜方向的边缘检测算子，不仅在水平和垂直方向检测边缘，而且增加了倾斜方向边缘的检测，克服了图片在斜边区域恢复不够准确的问题。

2、本发明加入卷积神经网络作为修正项，在插值完成后，利用深度卷积神经网络,进一步训练插值结果，提升了恢复出来的图像的整体分辨率。

附图说明

附图1为基于残余插值的卷积神经网络去马赛克方法结构图；

附图2为红色采样点处的插值绿色分量示意图；

附图3为各算法在IMAX数据集上的视觉比较。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

附图1为基于残余插值的卷积神经网络去马赛克方法结构图，如图1所示，本方法包括以下步骤：

步骤1：对训练图像去除马赛克，具体步骤如下所述：

步骤101:在残余插值算法的基础上，采用边缘检测算法插值绿色平面，通过边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘，以恢复绿色通道；

步骤102：将插值完的绿色平面作为红蓝平面的引导图，再次采用残余插值算法分别插值红蓝平面，恢复红色和蓝色通道；以插值红色平面为例,蓝色平面与其进行相同处理,插值红色平面的具体方法如下所述：

步骤a)引导滤波生成红色平面的初步估计值；

步骤b)在红色采样点处计算估计值与真实像素值之间的残余域,对残余域线性插值,将得到的残余插值结果与估计值相加，最终得到红色平面；

步骤2：利用卷积神经网络，将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,修正去马赛克结果；

其中，将网络的第一层作为特征提取层，用来提取低分辨率图像的特征量并生成高维向量；将网络的第二层作为非线性映射层，完成由低维向量到高维向量的非线性映射；将网络的第三层作为重构层，重建高分辨率图像。

具体地，在对训练图像去马赛克的过程中，首先插值绿色平面，在残余插值算法的基础上，采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘，具体步骤为：

步骤一：检测训练图像在水平、垂直方向的边缘，采用MLRI算法分别在水平和垂直方向对训练图像的红色平面R、绿色平面G和蓝色平面B进行插值，得到插值后的水平红色平面

水平绿色平面

水平蓝色平面

垂直红色平面

水平绿色平面

水平蓝色平面

步骤二：分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差和σ_h与垂直方向的5×5邻域内色差和σ_v；

水平方向:

垂直方向：

式中，

表示水平方向红绿或蓝绿色差，i、j表示位置索引；

表示水平方向绿色平面的估计值；

表示水平方向红色平面的估计值；

表示垂直方向红绿或蓝绿色差；

表示垂直方向绿色平面的估计值；

表示垂直方向红色平面的估计值。

步骤三：令水平和垂直方向的边缘检测算子σ₁＝max(σ_h/σ_v,σ_v/σ_h)，检测训练图像在水平、垂直的边缘，若在水平和垂直方向均检测不到边缘，则计算对角线方向上的边缘检测算子σ₂，检测训练图像对角线方向的边缘，具体步骤如下所述：

1)如图2所示，假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8，分别定义这4个绿色分量在4个倾斜方向的斜边为G_3，6、G_3，8、G_6，11和G_8，11，计算这四个方向斜边的梯度d_3,6、d_3,8、d_6,11、d_8,11和估计值

并对梯度求和,得到四个方向斜边的边缘检测算子σ_3,6,σ_3,8,σ_6,11,σ_8,11；所述四个方向斜边的梯度和估计值分别表示为：

d_3,6＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₁-R₅|+|2B₂-B₄-B₆|

d_3,8＝|G₃-G₈|+|G₈-G₁₁|+|2R₇-R₁-R₉|+|2B₄-B₂-B₁₂|

d_6,11＝|G₃-G₆|+|G₈-G₁₁|+|2R₇-R₅-R₁₃|+|2B₁₀-B₂-B₁₂|

d_8,11＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₉-R₁₃|+|2B₁₂-B₄-B₁₀|

式中，G_i,R_i,B_i分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。

2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为：

m＝min(σ_3,6,σ_3,8,σ_6,11,σ_8,11)

n＝mean(σ_3,6,σ_3,8,σ_6,11,σ_8,11)

得到对角线方向上的边缘检测算子σ₂为：

σ₂＝m/n

3)根据给定阈值τ₁、τ₂以及决策公式插值绿色像素，所述决策公式为：

当σ₁>τ₁并且σ₁＝σ_v/σ_h,则:

当σ₁>τ₁并且σ₁＝σ_h/σ_v，则:

当σ₂<τ₂并且m＝σ_3,6，则:

当σ₂<τ₂并且m＝σ_3,8，则:

当σ₂<τ₂并且m＝σ_6,11，则:

当σ₂<τ₂并且m＝σ_8,11，则:

若以上均不满足，则:

其中，水平方向权重w^H和垂直方向权重w^V是通过对原图求取水平梯度d^H和垂直梯度d^V的倒数而获得，所述水平梯度d^H和垂直梯度d^V的计算公式如下所示：

d^H＝|G_i,j-1-G_i,j+1|+|2R_i,j-R_i,j-2-R_i,j+2|,

d^V＝|G_i-1,j-G_i+1,j|+|2R_i,j-R_i-2,j-R_i+2,j|

式中，G_i，j和R_i，j分别表示去马赛克前的绿色平面和红色平面的像素值信息。

具体地，步骤1在对蓝色和绿色平面进行插值时，分别采用类Laplacian插值模板，以保持边缘信息，对图像产生锐化效果；所述类Laplacian插值模板如下所示：

式中，P_b表示在蓝色采样点处插值红色像素所用的插值模板；

表示在水平方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板；

表示在垂直方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板。

具体地，利用卷积神经网络修正去马赛克结果的具体方法为：

步骤a)将去马赛克后得到的低分辨率图像集Y_i,i∈1…n为输入,将对应的高分辨率图像集X_i,i∈1…n与低分辨率图像集Y_i,i∈1…n之间的残余X_i-Y_i作为标签训练卷积神经网络；其中，卷积神经网络的第一层对低分辨率图像Y有重叠地提取特征块，并将获得的特征块表示为高维向量；卷积神经网络的第二层实现由低维向量到高维向量的非线性映射,映射出的高维向量代表高分辨率特征块；卷积神经网络的第三层将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像；

步骤b)将卷积神经网络的三层网络结构参数化，可表示为：

F₁(Y)＝max(0,W₁*Y+B₁)

F₂(Y)＝max(0,W₂*F₁(Y)+B₂)

F₃(Y)＝W₃*F₂(Y)+B₃

式中，F₁(Y)、F₂(Y)、F₃(Y)分别表示卷积神经网络第一、二、三层的输出；W_i,B_i分别表示卷积核和偏置项,Y表示低分辨率图像；

其中，W₁包含n₁个大小为c×f₁×f₁大小的滤波器,c是输入图像的通道数,f₁表示每个滤波器的空间大小，在图像上进行n₁次卷积操作,所有的滤波器尺寸为c×f₁×f₁，B₁是n₁维偏置项,其中每个元素对应一个滤波器。网络第一层实现为每个特征块提取到n₂维特征；W₂包含n₂个大小为n₁×f₂×f₂的滤波器,n₂表示网络第二层中滤波器的个数；B₂是n₂维的偏置项,输出的n₂维向量代表高分辨率特征块；W₃包含c个大小为n₂×f₃×f₃的滤波器,B₃是c维偏置项。

步骤c)通过网络训练逐步修正卷积神经网络的权重：

1)采用最小化均方误差作为损失函数，用来估计学习映射函数F的网络参数θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，所述损失函数为：

其中，n是训练样本数，F(Y_i；θ)表示需要学习的目标函数，X_i-Y_i表示高分辨率图像和低分辨率图像的差，X_i表示高分辨率图像，Y_i表示去马赛克后的低分辨率图像。

2)采用随机梯度下降法最小化损失函数,并将卷积神经网络的权重按以下方式更新：

其中，

l∈{1,2,3}

式中，Δ_i+1表示迭代i+1次后的梯度，Δ_i表示迭代i次后的梯度，η表示学习率，L表示损失函数，

表示i次迭代后第l层的权重，

表示i+1次迭代后第l层的权重，l表示层数，i是层数索引；

每一层滤波器的权重采用高斯分布随机地初始化,高斯分布以0为均值,0.001为标准差.前两层学习率为10-4,最后一层学习率为10-5。

在训练过程中,从训练图像中随机有重叠地采集原始彩色图像集{X_i}为f_sub×f_sub×c-pixel特征块，把采集的特征块当做一幅小的图像来进行处理,为了得到网络中输入的低分辨率图像,我们首先对真实图像采样为Bayer CFA模式的图片,然后对其进行去马赛克处理。

为了消除边缘影响,训练过程中所有的卷积层没有填充,网络产生一个更小的输出((f_sub-f₁-f₂-f₃+3)²×c)。

实施例1

本实施例采用Bayer格式的图像，通过有间隔地采样得到91幅图像作为训练集，随机裁剪为33*33的小块,采用本发明提出的去马赛克方法产生低分辨率样本集,并在Caffe上训练模型。选择IMAX数据集作为测试集测试模型，设置权重衰减项为0,动力为0.9,采用随机梯度下降的优化策略，卷积神经网络的各层参数设置为：n₁＝64，n₂＝32，f₁＝9，f₂＝5，f₃＝5。其中，n₁,n₂分别表示网络第一层、第二层中滤波器的个数，f₁,f₂,f₃表示每个滤波器的空间大小，本实施例是在实验环境为GeForce GTX TITAN GPU,32G内存,ubuntu操作系统和Matlab16.04(R2016a)平台下进行的。

采用测试去马赛克性能的标准的IMAX18数据集进行实验，所述IMAX数据集包含18张尺寸500*500的图像，分别采用基于残余插值的卷积神经网络算法(RICNN)以及目前去马赛克效果较好的Hamilton算法、GBTF算法、PID算法、RI算法、MLRI算法、FDRI算法、IRI算法和LSSC算法去除马赛克，并将结果进行比较，从图3所示的各算法在IMAX数据集上的视觉效果比较可以看出，本发明提出的算法在倾斜边缘处明显减少了拉链效应,与现有算法相比在视觉上更接近原图。

本实施例将去马赛克图像和原图像之间的峰值信噪比(PSNR)作为评价指标，峰值信噪比值越大，代表图片复原的效果越好。通过表1和表2所示的各算法在IMAX 18数据集上的CPSNR和运行的平均时间结果对比可以看出,本发明提出的方法在IMAX数据集上的峰值信噪比高达37.14dB,比IRI和LSSC分别高出0.08db和1.09db,并且在运行时间上比IRI和LSSC分别降低1.7倍和157倍,综合以上实验数据以及图片去马赛克恢复质量和运行时间,本发明的RICNN算法具有明显的优势。

表1各算法在IMAX数据集上的平均峰值信噪比(CPSNR)

表2各算法在IMAX数据集上的运行时间

No.	Hamilton	GBTF	PID	RI	MLRI	IRI	FDRI	LSSC	Pro
										Time(s)	0.24	10.60	1.90	2.62	0.54	5.12	0.94	453.58	2.88

此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，包括以下步骤：

步骤1：对训练图像去除马赛克；

步骤101：在残余插值算法的基础上插值绿色平面，通过边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道，在所述步骤101插值绿色平面的过程中，采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘的具体步骤为：

步骤一：检测训练图像在水平、垂直方向的边缘，采用MLRI算法分别在水平和垂直方向对训练图像的红、绿、蓝平面进行插值；

步骤二：分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差和σ_h与垂直方向的5×5邻域内色差和σ_v；

步骤三：利用水平和垂直方向的边缘检测算子σ₁＝max(σ_h/σ_v，σ_y/σ_h)，检测训练图像在水平、垂直的边缘；若在水平和垂直方向均检测不到边缘，则计算对角线方向上的边缘检测算子σ₂，检测训练图像对角线方向的边缘，具体步骤如下：

1)假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8，分别定义这4个绿色分量在4个倾斜方向的斜边为G_a，6、G_3，8、G_6，11和G_8，11，计算这四个方向斜边的梯度d_3，6、d_3，8、d_6，11、d_8，11和估计值

并对梯度求和，得到四个方向斜边的边缘检测算子σ_3，6，σ_3，8，σ_6，11，σ_8，11；

2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为：

m＝min(σ_3，6，σ_3，8，σ_6，11，σ_8，11)

n＝mean(σ_3，6，σ_3，8，σ_6，11，σ_8，11)

得到对角线方向上的边缘检测算子σ₂为：

σ₂＝m/n

3)根据给定阈值τ₁、τ₂以及决策公式插值绿色像素，所述决策公式为：

当σ₁＞τ₁并且σ₁＝σ_v/σ_h，则：

当σ₁＞τ₁并且σ₁＝σ_h/σ_v，则：

当σ₂＜τ₂并且m＝σ_3，6，则：

当σ₂＜τ₂并且m＝σ_3，8，则：

当σ₂＜τ₂并且m＝σ_6，11，则：

当σ₂＜τ₂并且m＝σ_8，11，则：

若以上均不满足，则：

其中，水平方向权重w^H和垂直方向权重w^V是通过对原图求取水平梯度d^H和垂直梯度d^V的倒数而获得，所述水平梯度d^H和垂直梯度d^V的计算公式如下所示：

d^H＝|G_i，j-1-G_i，j+1|+|2R_i，j-R_i，j-2-R_i，j+₂|，

d^V＝|G_i-1，j-G_i+1，j|+|2R_i，j-R_i-2，j-R_i+2，j|

式中，G_i，j和R_i，j分别表示去马赛克前的绿色平面和红色平面的像素值信息；

步骤102：将插值后的绿色平面作为红、蓝平面的引导图，采用残余插值算法分别插值红、蓝平面，恢复红色与蓝色通道，得到去马赛克后的低分辨率图像集；

步骤2：采用卷积神经网络算法，将去马赛克结果作为卷积神经网络的输入，将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签，修正去马赛克结果。

2.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，所述红、绿、蓝平面在水平方向的5×5邻域内色差和σ_h与垂直方向的5×5邻域内色差和σ_v的计算公式为：

水平方向：

垂直方向：

式中，

表示水平方向红绿或蓝绿色差，i、j表示位置索引；

表示水平方向绿色平面的估计值；

表示水平方向红色平面的估计值；

表示垂直方向红绿或蓝绿色差；

表示垂直方向绿色平面的估计值；

表示垂直方向红色平面的估计值。

3.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，所述四个方向斜边的梯度和估计值分别表示为：

d_3，6＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₁-R₅|+|2B₂-B₄-B₆|

d_3，8＝|G₃-G₈|+|G₈-G₁₁|+|2R₇-R₁-R₉|+|2B₄-B₂-B₁₂|

d_6，11＝|G₃-G₆|+|G₈-G₁₁|+|2R₇-R₅-R₁₃|+|2B₁₀-B₂-B₁₂|

d_8，11＝|G₃-G₈|+|G₆-G₁₁|+|2R₇-R₉-R₁₃|+|2B₁₂-B₄-B₁₀|

式中，G_i，R_i，B_i分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。

4.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，所述步骤1中，在对蓝色和绿色平面进行插值时，分别采用类Laplacian插值模板，以保持边缘信息，对图像产生锐化效果；所述类Laplacian插值模板如下所示：

式中，P_b表示在蓝色采样点处插值红色像素所用的插值模板；

表示在水平方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板；

表示在垂直方向邻域内是红色像素点的绿色采样点处，插值红色像素所用的插值模板。

5.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，所述步骤2利用卷积神经网络修正去马赛克结果的具体方法为：

步骤a)将去马赛克后得到的低分辨率图像集Y_i，i∈1…n为输入，将对应的高分辨率图像集X_i，i∈1…n与低分辨率图像集Y_i，i∈1…n之间的残余X_i-Y_i为标签训练卷积神经网络；其中，将卷积神经网络的第一层作为特征提取层，用来对低分辨率图像Y有重叠地提取特征块，并生成高维向量；将网络的第二层作为非线性映射层，完成由低维向量到高维向量的非线性映射，映射出的高维向量代表高分辨率特征块；将网络的第三层作为重构层，将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像；

步骤b)将卷积神经网络的三层网络结构参数化，表示为：

F₁(Y)＝max(0，W₁*Y+B₁)

F₂(Y)＝max(0，W₂*F₁(Y)+B₂)

F₃(Y)＝W₃*F₂(Y)+B₃

式中，F₁(Y)、F₂(Y)、F₃(Y)分别表示卷积神经网络第一、二、三层的输出；W_i，B_i分别表示卷积核和偏置项，Y表示低分辨率图像；

步骤c)通过网络训练逐步修正卷积神经网络的权重。

6.根据权利要求5所述的一种基于残余插值的卷积神经网络去马赛克方法，其特征在于，所述通过网络训练逐步修正卷积神经网络的权重的具体方法为：

步骤a)采用最小化均方误差作为损失函数，用来估计学习映射函数F的网络参数θ＝{W₁，W₂，W₃，B₁，B₂，B₃}，所述损失函数为：

其中，n是训练样本数，F(Y_i；θ)表示需要学习的目标函数，X_i-Y_i表示高分辨率图像和低分辨率图像的差，X_i表示高分辨率图像，Y_i表示去马赛克后的低分辨率图像；

步骤b)采用随机梯度下降法最小化损失函数，并将卷积神经网络的权重按以下方式更新：

其中，

l∈{1，2，3}

式中，Δ_i+1表示迭代i+1次后的梯度，Δ_i表示迭代i次后的梯度，η表示学习率，L表示损失函数，

表示i次迭代后第l层的权重，

表示i+1次迭代后第l层的权重，l表示层数，i是层数索引。

Images