CN107578392A - 一种基于残余插值的卷积神经网络去马赛克算法 - Google Patents
一种基于残余插值的卷积神经网络去马赛克算法 Download PDFInfo
- Publication number
- CN107578392A CN107578392A CN201710872364.2A CN201710872364A CN107578392A CN 107578392 A CN107578392 A CN 107578392A CN 201710872364 A CN201710872364 A CN 201710872364A CN 107578392 A CN107578392 A CN 107578392A
- Authority
- CN
- China
- Prior art keywords
- convolutional neural
- neural networks
- green
- interpolation
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 55
- 238000012549 training Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000003708 edge detection Methods 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 10
- 230000004075 alteration Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 18
- 230000000694 effects Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 3
- 238000012937 correction Methods 0.000 abstract description 2
- 238000011084 recovery Methods 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003706 image smoothing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像处理技术领域,尤其涉及一种基于残余插值的卷积神经网络去马赛克算法。为解决当前图像恢复方法在斜边区域恢复不够准确以及图像整体分辨率较低的问题,本方法首先利用边缘检测算法恢复绿色通道,再采用残余插值方法恢复红蓝平面,得到残余插值结果后,最后采用卷积神经网络作为一个修正项进一步改进结果图像,将去马赛克结果作为卷积神经网络的输入,对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,经过训练逐步修正卷积神经网络的权重。该方法不仅在水平和垂直方向检测边缘,而且增加了倾斜方向边缘的检测,使图像在斜边区域恢复更加准确,提升了图像的分辨率,得到的去马赛克图像边缘更清晰。
Description
技术领域
本发明属于图像处理技术领域,尤其涉及一种基于残余插值的卷积神经网络去马赛克算法。
背景技术
单传感器彩色成像技术在数码相机行业领域得到广泛的应用,在一个具有单传感器相机中,在传感器表面覆盖了一层彩色滤波阵列(CFA:Color Filter Array),每个像素点仅采样红、绿、蓝三种颜色分量之一,如果恢复全彩色图像,需要对丢失的两种颜色分量进行估计,我们将估计丢失颜色的过程称为去马赛克。当今应用最广泛的彩色图像为BayerCFA模式的图像,在Bayer CFA模式中,绿色像素点按梅花形网格采样,红色和蓝色像素点按矩形网格采样,其中,绿色样本是红色或蓝色样本数目的二倍。到目前为止,国内外的研究人员已提出了许多去马赛克算法。由于去马赛克的过程相当于一个图像插值的过程,通常采用双线性和双三次等简单的插值方法,在图像平滑区域也有较好的效果。然而这些方法相当于各向同性的低通滤波,会产生显著的边缘模糊、拉链效应等缺陷。针对该缺陷,可采用自适应方向插值算法,利用梯度检测水平和垂直边缘的方向,分别沿着水平和垂直的边缘方向进行插值,但采用这种方法会使图像的整体分辨率变低;采用基于色调平滑过渡准则的方法,根据色差(红-绿,蓝-绿)恒定假设进行插值,但是得到的全彩色图像在绿色分量值突变的地方具有较大的插值误差。采用残余插值算法,在色差插值的基础上进行改进,该方法是在残余域上进行插值,与色差域相比,残余域更平滑,插值精度更高,但该方法在斜边区域恢复不够准确。
发明内容
针对上述问题,本发明提出一种基于残余插值的卷积神经网络去马赛克算法,包括以下步骤:
步骤1:对训练图像去除马赛克;
步骤101:在残余插值算法的基础上插值绿色平面,通过检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道;
步骤102:将插值后的绿色平面作为红、蓝平面的引导图,采用残余插值算法分别插值红、蓝平面,恢复红色与蓝色通道,得到去马赛克后的低分辨率图像集;
步骤2:采用卷积神经网络算法,将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,修正去马赛克结果。
在所述步骤101插值绿色平面的过程中,采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘,具体步骤为:
步骤一:检测训练图像在水平、垂直方向的边缘,采用MLRI算法分别在水平和垂直方向对训练图像的红、绿、蓝平面进行插值;
步骤二:分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差σh和与垂直方向的5×5邻域内色差和σv;
步骤三:利用水平和垂直方向的边缘检测算子σ1=max(σh/σv,σv/σh),检测训练图像在水平、垂直的边缘,若在水平和垂直方向均检测不到边缘,则计算对角线方向上的边缘检测算子σ2,检测训练图像对角线方向的边缘。
所述红、绿、蓝平面在水平方向的5×5邻域内色差和σh与垂直方向的5×5邻域内色差和σv的计算公式为:
水平方向:
垂直方向:
式中,表示水平方向红绿或蓝绿色差,i、j表示位置索引;表示水平方向绿色平面的估计值;表示水平方向红色平面的估计值;表示垂直方向红绿或蓝绿色差;表示垂直方向绿色平面的估计值;表示垂直方向红色平面的估计值。
所述四个方向斜边的梯度和估计值分别表示为:
d3,6=|G3-G8|+|G6-G11|+|2R7-R1-R5|+|2B2-B4-B6|
d3,8=|G3-G8|+|G8-G11|+|2R7-R1-R9|+|2B4-B2-B12|
d6,11=|G3-G6|+|G8-G11|+|2R7-R5-R13|+|2B10-B2-B12
d8,11=|G3-G8|+|G6-G11|+|2R7-R9-R13|+|2B12-B4-B10
式中,Gi,Ri,Bi分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。
在所述步骤三中利用对角线方向上的边缘检测算子σ2,检测训练图像对角线方向的边缘的具体步骤如下所述:
1)假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8,分别定义这4个绿色分量在4个倾斜方向的斜边为G3,6、G3,8、G6,11和G8,11,计算这四个方向斜边的梯度d3,6、d3,8、d6,11、d8,11和估计值 并对梯度求和,得到四个方向斜边的边缘检测算子σ3,6,σ3,8,σ6,11,σ8,11;
2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为:
m=min(σ3,6,σ3,8,σ6,11,σ8,11)
n=mean(σ3,6,σ3,8,σ6,11,σ8,11)
得到对角线方向上的边缘检测算子σ2为:
σ2=m/n
3)根据给定阈值τ1、τ2以及决策公式插值绿色像素,所述决策公式为:
当σ1>τ1并且σ1=σV/σH,则:
当σ1>τ1并且σ1=σH/σV,则:
当σ2<τ2并且m=σ3,6,则:
当σ2<τ2并且m=σ3,8,则:
当σ2<τ2并且m=σ6,11,则:
当σ2<τ2并且m=σ8,11,则:
若以上均不满足,则:
其中,水平方向权重wH和垂直方向权重wV是通过对原图求得的水平梯度dH和垂直梯度dV的倒数而获得,所述水平梯度dH和垂直梯度dV的计算公式如下所示:
dH=|Gi,j-1-Gi,j+1|+|2Ri,j-Ri,j-2-Ri,j+2|,
dV=|Gi-1,j-Gi+1,j|+|2Ri,j-Ri-2,j-Ri+2,j|
式中,Gi,j和Ri,j分别表示去马赛克前的绿色平面和红色平面的像素值信息。
所述步骤1在对蓝色和绿色采样点处的残余域线性插值时,分别采用类Laplacian插值模板,以保持边缘信息,对图像产生锐化效果;所述类Laplacian插值模板如下所示:
式中,Pb表示在蓝色采样点处插值红色像素所用的插值模板;表示在水平方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板;表示在垂直方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板。
所述步骤2利用卷积神经网络修正去马赛克结果的具体方法为:
步骤a)将去马赛克后得到的低分辨率图像集Yi,i∈1…n为输入,将对应的高分辨率图像集Xi,i∈1…n与低分辨率图像集Yi,i∈1…n之间的残余Xi-Yi为标签训练卷积神经网络;其中,将卷积神经网络的第一层作为特征提取层,用来对低分辨率图像Y有重叠地提取特征块,并生成高维向量;将网络的第二层作为非线性映射层,完成由低维向量到高维向量的非线性映射,映射出的高维向量代表高分辨率特征块;将网络的第三层作为重构层,将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像;
步骤b)将卷积神经网络的三层网络结构参数化,表示为:
F1(Y)=max(0,W1*Y+B1)
F2(Y)=max(0,W2*F1(Y)+B2)
F3(Y)=W3*F2(Y)+B3
式中,F1(Y)、F2(Y)、F3(Y)分别表示卷积神经网络第一、二、三层的输出;Wi,Bi分别表示卷积核和偏置项,Y表示低分辨率图像;
步骤c)通过网络训练逐步修正卷积神经网络的权重。
所述通过网络训练逐步修正卷积神经网络的权重的具体方法为:
步骤a)采用最小化均方误差作为损失函数,用来估计学习映射函数F的网络参数θ={W1,W2,W3,B1,B2,B3},所述损失函数为:
其中,n是训练样本数,F(Yi;θ)表示需要学习的目标函数,Xi-Yi表示高分辨率图像和低分辨率图像的差,Xi表示高分辨率图像,Yi表示去马赛克后的低分辨率图像。
步骤b)采用随机梯度下降法最小化损失函数,并将卷积神经网络的权重按以下方式更新:
其中,
l∈{1,2,3}
式中,Δi+1表示迭代i+1次后的梯度,Δi表示迭代i次后的梯度,η表示学习率,L表示损失函数,Wi l表示i次迭代后第l层的权重,表示i+1次迭代后第l层的权重,l表示层数,i是层数索引;
本发明的有益效果在于:
1、本发明提出的倾斜方向的边缘检测算子,不仅在水平和垂直方向检测边缘,而且增加了倾斜方向边缘的检测,克服了图片在斜边区域恢复不够准确的问题。
2、本发明加入卷积神经网络作为修正项,在插值完成后,利用深度卷积神经网络,进一步训练插值结果,提升了恢复出来的图像的整体分辨率。
附图说明
附图1为基于残余插值的卷积神经网络去马赛克算法结构图;
附图2为红色采样点处的插值绿色分量示意图;
附图3为各算法在IMAX数据集上的视觉比较;
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
附图1为基于残余插值的卷积神经网络去马赛克算法结构图,如图1所示,本方法包括以下步骤:
步骤1:对训练图像去除马赛克,具体步骤如下所述:
步骤101:在残余插值算法的基础上,采用边缘检测算法插值绿色平面,通过边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘,以恢复绿色通道;
步骤102:将插值完的绿色平面作为红蓝平面的引导图,再次采用残余插值算法分别插值红蓝平面,恢复红色和蓝色通道;以插值红色平面为例,蓝色平面与其进行相同处理,插值红色平面的具体方法如下所述:
步骤a)引导滤波生成红色平面的初步估计值;
步骤b)在红色采样点处计算估计值与真实像素值之间的残余域,对残余域线性插值,将得到的残余插值结果与估计值相加,最终得到红色平面;
步骤2:利用卷积神经网络,将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,修正去马赛克结果;
其中,将网络的第一层作为特征提取层,用来提取低分辨率图像的特征量并生成高维向量;将网络的第二层作为非线性映射层,完成由低维向量到高维向量的非线性映射;将网络的第三层作为重构层,重建高分辨率图像。
具体地,在对训练图像去马赛克的过程中,首先插值绿色平面,在残余插值算法的基础上,采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘,具体步骤为:
步骤一:检测训练图像在水平、垂直方向的边缘,采用MLRI算法分别在水平和垂直方向对训练图像的红色平面R、绿色平面G和蓝色平面B进行插值,得到插值后的水平红色平面水平绿色平面水平蓝色平面垂直红色平面水平绿色平面水平蓝色平面
步骤二:分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差σh和与垂直方向的5×5邻域内色差和σv;
水平方向:
垂直方向:
式中,表示水平方向红绿或蓝绿色差,i、j表示位置索引;表示水平方向绿色平面的估计值;表示水平方向红色平面的估计值;表示垂直方向红绿或蓝绿色差;表示垂直方向绿色平面的估计值;表示垂直方向红色平面的估计值。
步骤三:令水平和垂直方向的边缘检测算子σ1=max(σh/σv,σv/σh),检测训练图像在水平、垂直的边缘,若在水平和垂直方向均检测不到边缘,则计算对角线方向上的边缘检测算子σ2,检测训练图像对角线方向的边缘,具体步骤如下所述:
1)如图2所示,假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8,分别定义这4个绿色分量在4个倾斜方向的斜边为G3,6、G3,8、G6,11和G8,11,计算这四个方向斜边的梯度d3,6、d3,8、d6,11、d8,11和估计值 并对梯度求和,得到四个方向斜边的边缘检测算子σ3,6,σ3,8,σ6,11,σ8,11;所述四个方向斜边的梯度和估计值分别表示为:
d3,6=|G3-G8|+|G6-G11|+|2R7-R1-R5|+|2B2-B4-B6|
d3,8=|G3-G8|+|G8-G11|+|2R7-R1-R9|+|2B4-B2-B12|
d6,11=|G3-G6|+|G8-G11|+|2R7-R5-R13|+|2B10-B2-B12|
d8,11=|G3-G8|+|G6-G11|+|2R7-R9-R13|+|2B12-B4-B10|
式中,Gi,Ri,Bi分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。
2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为:
m=min(σ3,6,σ3,8,σ6,11,σ8,11)
n=mean(σ3,6,σ3,8,σ6,11,σ8,11)
得到对角线方向上的边缘检测算子σ2为:
σ2=m/n
3)根据给定阈值τ1、τ2以及决策公式插值绿色像素,所述决策公式为:
当σ1>τ1并且σ1=σV/σH,则:
当σ1>τ1并且σ1=σH/σV,则:
当σ2<τ2并且m=σ3,6,则:
当σ2<τ2并且m=σ3,8,则:
当σ2<τ2并且m=σ6,11,则:
当σ2<τ2并且m=σ8,11,则:
若以上均不满足,则:
其中,水平方向权重wH和垂直方向权重wV是通过对原图求得的水平梯度dH和垂直梯度dV的倒数而获得,所述水平梯度dH和垂直梯度dV的计算公式如下所示:
dH=|Gi,j-1-Gi,j+1|+|2Ri,j-Ri,j-2-Ri,j+2|,
dV=|Gi-1,j-Gi+1,j|+|2Ri,j-Ri-2,j-Ri+2,j|
式中,Gi,j和Ri,j分别表示去马赛克前的绿色平面和红色平面的像素值信息。
具体地,步骤1在对蓝色和绿色采样点处的残余域线性插值时,分别采用类Laplacian插值模板,以保持边缘信息,对图像产生锐化效果;所述类Laplacian插值模板如下所示:
式中,Pb表示在蓝色采样点处插值红色像素所用的插值模板;表示在水平方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板;表示在垂直方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板。
具体地,利用卷积神经网络修正去马赛克结果的具体方法为:
步骤a)将去马赛克后得到的低分辨率图像集Yi,i∈1…n为输入,将对应的高分辨率图像集Xi,i∈1…n与低分辨率图像集Yi,i∈1…n之间的残余Xi-Yi作为标签训练卷积神经网络;其中,卷积神经网络的第一层对低分辨率图像Y有重叠地提取特征块,并将获得的特征块表示为高维向量;卷积神经网络的第二层实现由低维向量到高维向量的非线性映射,映射出的高维向量代表高分辨率特征块;卷积神经网络的第三层将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像;
步骤b)将卷积神经网络的三层网络结构参数化,可表示为:
F1(Y)=max(0,W1*Y+B1)
F2(Y)=max(0,W2*F1(Y)+B2)
F3(Y)=W3*F2(Y)+B3
式中,F1(Y)、F2(Y)、F3(Y)分别表示卷积神经网络第一、二、三层的输出;Wi,Bi分别表示卷积核和偏置项,Y表示低分辨率图像;
其中,W1包含n1个大小为c×f1×f1大小的滤波器,c是输入图像的通道数,f1表示每个滤波器的空间大小,在图像上进行n1次卷积操作,所有的滤波器尺寸为c×f1×f1,B1是n1维偏置项,其中每个元素对应一个滤波器。网络第一层实现为每个特征块提取到n1维特征;W2包含n2个大小为n1×f2×f2的滤波器,n2表示网络第二层中滤波器的个数;B2是n2维的偏置项,输出的n2维向量代表高分辨率特征块;W3包含c个大小为n2×f3×f3的滤波器,B3是c维偏置项。
步骤c)通过网络训练逐步修正卷积神经网络的权重:
1)采用最小化均方误差作为损失函数,用来估计学习映射函数F的网络参数θ={W1,W2,W3,B1,B2,B3},所述损失函数为:
其中,n是训练样本数,F(Yi;θ)表示需要学习的目标函数,Xi-Yi表示高分辨率图像和低分辨率图像的差,Xi表示高分辨率图像,Yi表示去马赛克后的低分辨率图像。
2)采用随机梯度下降法最小化损失函数,并将卷积神经网络的权重按以下方式更新:
其中,
l∈{1,2,3}
式中,Δi+1表示迭代i+1次后的梯度,Δi表示迭代i次后的梯度,η表示学习率,L表示损失函数,Wi l表示i次迭代后第l层的权重,表示i+1次迭代后第l层的权重,l表示层数,i是层数索引;
每一层滤波器的权重采用高斯分布随机地初始化,高斯分布以0为均值,0.001为标准差.前两层学习率为10-4,最后一层学习率为10-5。
在训练过程中,从训练图像中随机有重叠地采集原始彩色图像集{Xi}为fsub×fsub×c-pixel特征块,把采集的特征块当做一幅小的图像来进行处理,为了得到网络中输入的低分辨率图像,我们首先对真实图像采样为Bayer CFA模式的图片,然后对其进行去马赛克处理。
为了消除边缘影响,训练过程中所有的卷积层没有填充,网络产生一个更小的输出((fsub-f1-f2-f3+3)2×c)。
实施例1
本实施例采用Bayer格式的图像,通过有间隔地采样得到91幅图像作为训练集,随机裁剪为33*33的小块,采用本发明提出的去马赛克方法产生低分辨率样本集,并在Caffe上训练模型。选择IMAX数据集作为测试集测试模型,设置权重衰减项为0,动力为0.9,采用随机梯度下降的优化策略,卷积神经网络的各层参数设置为:n1=64,n2=32,f1=9,f2=5,f3=5。其中,n1,n2分别表示网络第一层、第二层中滤波器的个数,f1,f2,f3表示每个滤波器的空间大小,本实施例是在实验环境为GeForce GTX TITAN GPU,32G内存,ubuntu操作系统和Matlab16.04(R2016a)平台下进行的。
采用测试去马赛克性能的标准的IMAX18数据集进行实验,所述IMAX数据集包含18张尺寸500*500的图像,分别采用基于残余插值的卷积神经网络算法(RICNN)以及目前去马赛克效果较好的Hamilton算法、GBTF算法、PID算法、RI算法、MLRI算法、FDRI算法、IRI算法和LSSC算法去除马赛克,并将结果进行比较,从图3所示的各算法在IMAX数据集上的视觉效果比较可以看出,本发明提出的算法在倾斜边缘处明显减少了拉链效应,与现有算法相比在视觉上更接近原图。
本实施例将去马赛克图像和原图像之间的峰值信噪比(PSNR)作为评价指标,峰值信噪比值越大,代表图片复原的效果越好。通过表1和表2所示的各算法在IMAX 18数据集上的CPSNR和运行的平均时间结果对比可以看出,本发明提出的方法在IMAX数据集上的峰值信噪比高达37.14dB,比IRI和LSSC分别高出0.08db和1.09db,并且在运行时间上比IRI和LSSC分别降低1.7倍和157倍,综合以上实验数据以及图片去马赛克恢复质量和运行时间,本发明的RICNN算法具有明显的优势。
表1各算法在IMAX数据集上的平均峰值信噪比(CPSNR)
No. | Hamilton | GBTF | PID | RI | MLRI | IRI | FDRI | LSSC | Pro |
1 | 28.12 | 26.95 | 29.08 | 29.12 | 28.97 | 29.12 | 29.38 | 29.06 | 29.61 |
2 | 33.92 | 33.80 | 34.62 | 35.00 | 35.08 | 35.03 | 35.16 | 34.64 | 35.45 |
3 | 30.56 | 32.77 | 32.19 | 33.75 | 33.86 | 34.29 | 33.54 | 32.16 | 33.73 |
4 | 33.02 | 35.20 | 36.39 | 37.86 | 37.64 | 37.13 | 38.06 | 36.41 | 38.08 |
5 | 33.04 | 31.27 | 34.06 | 33.91 | 33.99 | 34.70 | 34.83 | 34.08 | 34.77 |
6 | 36.40 | 33.66 | 37.60 | 38.29 | 38.26 | 38.82 | 38.91 | 37.58 | 39.50 |
7 | 34.03 | 38.21 | 34.81 | 36.95 | 37.46 | 39.17 | 35.85 | 34.80 | 36.44 |
8 | 35.77 | 37.75 | 36.61 | 36.96 | 36.94 | 39.03 | 38.17 | 36.62 | 37.98 |
9 | 35.49 | 34.52 | 36.78 | 35.92 | 36.44 | 37.49 | 37.54 | 36.76 | 37.48 |
10 | 37.51 | 36.12 | 38.28 | 38.15 | 38.62 | 38.87 | 39.02 | 38.30 | 39.37 |
11 | 38.23 | 37.04 | 39.47 | 39.43 | 39.91 | 39.85 | 40.02 | 39.45 | 40.34 |
12 | 37.38 | 36.73 | 38.21 | 39.61 | 39.64 | 39.78 | 39.95 | 38.23 | 39.66 |
13 | 39.81 | 38.89 | 40.80 | 40.27 | 40.51 | 40.47 | 41.01 | 40.81 | 40.85 |
14 | 37.73 | 37.30 | 38.60 | 38.92 | 38.76 | 38.85 | 39.32 | 38.59 | 39.34 |
15 | 38.13 | 37.19 | 39.09 | 38.37 | 38.91 | 39.31 | 39.45 | 39.03 | 39.46 |
16 | 32.30 | 30.28 | 34.19 | 35.17 | 35.09 | 35.15 | 35.42 | 34.25 | 35.70 |
17 | 31.92 | 28.99 | 33.17 | 32.44 | 32.58 | 33.68 | 33.76 | 33.12 | 33.88 |
18 | 33.62 | 34.11 | 35.55 | 36.52 | 36.12 | 36.26 | 36.21 | 35.55 | 36.37 |
avg | 34.83 | 34.49 | 36.09 | 36.48 | 36.60 | 37.06 | 36.98 | 36.05 | 37.14 |
表2各算法在IMAX数据集上的运行时间
No. | Hamilton | GBTF | PID | RI | MLRI | IRI | FDRI | LSSC | Pro |
Time(s) | 0.24 | 10.60 | 1.90 | 2.62 | 0.54 | 5.12 | 0.94 | 453.58 | 2.88 |
此实施例仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应该以权利要求的保护范围为准。
Claims (8)
1.一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,包括以下步骤:
步骤1:对训练图像去除马赛克;
步骤101:在残余插值算法的基础上插值绿色平面,通过检测训练图像在水平、垂直和对角线方向的边缘恢复绿色通道;
步骤102:将插值后的绿色平面作为红、蓝平面的引导图,采用残余插值算法分别插值红、蓝平面,恢复红色与蓝色通道,得到去马赛克后的低分辨率图像集;
步骤2:采用卷积神经网络算法,将去马赛克结果作为卷积神经网络的输入,将对应的全彩色图像和去马赛克结果之间的残余作为卷积神经网络的标签,修正去马赛克结果。
2.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,在所述步骤101插值绿色平面的过程中,采用边缘检测算法检测训练图像在水平、垂直和对角线方向的边缘,具体步骤为:
步骤一:检测训练图像在水平、垂直方向的边缘,采用MLRI算法分别在水平和垂直方向对训练图像的红、绿、蓝平面进行插值;
步骤二:分别计算训练图像的红、绿、蓝平面在水平方向的5×5邻域内色差σh和与垂直方向的5×5邻域内色差和σv;
步骤三:利用水平和垂直方向的边缘检测算子σ1=max(σh/σv,σv/σh),检测训练图像在水平、垂直的边缘,若在水平和垂直方向均检测不到边缘,则计算对角线方向上的边缘检测算子σ2,检测训练图像对角线方向的边缘。
3.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,所述红、绿、蓝平面在水平方向的5×5邻域内色差和σh与垂直方向的5×5邻域内色差和σv的计算公式为:
水平方向:
垂直方向:
式中,表示水平方向红绿或蓝绿色差,i、j表示位置索引;表示水平方向绿色平面的估计值;表示水平方向红色平面的估计值;表示垂直方向红绿或蓝绿色差;表示垂直方向绿色平面的估计值;表示垂直方向红色平面的估计值。
4.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,所述四个方向斜边的梯度和估计值分别表示为:
d3,6=|G3-G8|+|G6-G11|+|2R7-R1-R5|+|2B2-B4-B6|
d3,8=|G3-G8|+|G8-G11|+|2R7-R1-R9|+|2B4-B2-B12|
d6,11=|G3-G6|+|G8-G11|+|2R7-R5-R13|+|2B10-B2-B12|
d8,11=|G3-G8|+|G6-G11|+|2R7-R9-R13|+|2B12-B4-B10|
式中,Gi,Ri,Bi分别表示去马赛克前的绿色、红色和蓝色平面中的第i个像素信息。
5.根据权利要求2所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,在所述步骤三中利用对角线方向上的边缘检测算子σ2,检测训练图像对角线方向的边缘的具体步骤如下所述:
1)假设与红色平面中的某个像素点R7相邻的4个绿色分量分别为G3、G6、G11、G8,分别定义这4个绿色分量在4个倾斜方向的斜边为G3,6、G3,8、G6,11和G8,11,计算这四个方向斜边的梯度d3,6、d3,8、d6,11、d8,11和估计值 并对梯度求和,得到四个方向斜边的边缘检测算子σ3,6,σ3,8,σ6,11,σ8,11;
2)令四个方向斜边的边缘检测算子的最小值m和均值n分别为:
m=min(σ3,6,σ3,8,σ6,11,σ8,11)
n=mean(σ3,6,σ3,8,σ6,11,σ8,11)
得到对角线方向上的边缘检测算子σ2为:
σ2=m/n
3)根据给定阈值τ1、τ2以及决策公式插值绿色像素,所述决策公式为:
当σ1>τ1并且σ1=σV/σH,则:
当σ1>τ1并且σ1=σH/σV,则:
当σ2<τ2并且m=σ3,6,则:
当σ2<τ2并且m=σ3,8,则:
当σ2<τ2并且m=σ6,11,则:
当σ2<τ2并且m=σ8,11,则:
若以上均不满足,则:
其中,水平方向权重wH和垂直方向权重wV是通过对原图求得的水平梯度dH和垂直梯度dV的倒数而获得,所述水平梯度dH和垂直梯度dV的计算公式如下所示:
dH=|Gi,j-1-Gi,j+1|+|2Ri,j-Ri,j-2-Ri,j+2|,
dV=|Gi-1,j-Gi+1,j|+|2Ri,j-Ri-2,j-Ri+2,j|
式中,Gi,j和Ri,j分别表示去马赛克前的绿色平面和红色平面的像素值信息。
6.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,所述步骤1在对蓝色和绿色采样点处的残余域线性插值时,分别采用类Laplacian插值模板,以保持边缘信息,对图像产生锐化效果;所述类Laplacian插值模板如下所示:
式中,Pb表示在蓝色采样点处插值红色像素所用的插值模板;表示在水平方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板;表示在垂直方向邻域内是红色像素点的绿色采样点处,插值红色像素所用的插值模板。
7.根据权利要求1所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,所述步骤2利用卷积神经网络修正去马赛克结果的具体方法为:
步骤a)将去马赛克后得到的低分辨率图像集Yi,i∈1…n为输入,将对应的高分辨率图像集Xi,i∈1…n与低分辨率图像集Yi,i∈1…n之间的残余Xi-Yi为标签训练卷积神经网络;其中,将卷积神经网络的第一层作为特征提取层,用来对低分辨率图像Y有重叠地提取特征块,并生成高维向量;将网络的第二层作为非线性映射层,完成由低维向量到高维向量的非线性映射,映射出的高维向量代表高分辨率特征块;将网络的第三层作为重构层,将第二层得到的高分辨率特征块重组成一幅完整的高分辨率图像;
步骤b)将卷积神经网络的三层网络结构参数化,表示为:
F1(Y)=max(0,W1*Y+B1)
F2(Y)=max(0,W2*F1(Y)+B2)
F3(Y)=W3*F2(Y)+B3
式中,F1(Y)、F2(Y)、F3(Y)分别表示卷积神经网络第一、二、三层的输出;Wi,Bi分别表示卷积核和偏置项,Y表示低分辨率图像;
步骤c)通过网络训练逐步修正卷积神经网络的权重。
8.根据权利要求7所述的一种基于残余插值的卷积神经网络去马赛克算法,其特征在于,所述通过网络训练逐步修正卷积神经网络的权重的具体方法为:
步骤a)采用最小化均方误差作为损失函数,用来估计学习映射函数F的网络参数θ={W1,W2,W3,B1,B2,B3},所述损失函数为:
其中,n是训练样本数,F(Yi;θ)表示需要学习的目标函数,Xi-Yi表示高分辨率图像和低分辨率图像的差,Xi表示高分辨率图像,Yi表示去马赛克后的低分辨率图像。
步骤b)采用随机梯度下降法最小化损失函数,并将卷积神经网络的权重按以下方式更新:
其中,
l∈{1,2,3}
式中,Δi+1表示迭代i+1次后的梯度,Δi表示迭代i次后的梯度,η表示学习率,L表示损失函数,Wi l表示i次迭代后第l层的权重,表示i+1次迭代后第l层的权重,l表示层数,i是层数索引。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710872364.2A CN107578392B (zh) | 2017-09-25 | 2017-09-25 | 一种基于残余插值的卷积神经网络去马赛克方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710872364.2A CN107578392B (zh) | 2017-09-25 | 2017-09-25 | 一种基于残余插值的卷积神经网络去马赛克方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107578392A true CN107578392A (zh) | 2018-01-12 |
CN107578392B CN107578392B (zh) | 2021-11-05 |
Family
ID=61039036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710872364.2A Expired - Fee Related CN107578392B (zh) | 2017-09-25 | 2017-09-25 | 一种基于残余插值的卷积神经网络去马赛克方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107578392B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460499A (zh) * | 2018-04-02 | 2018-08-28 | 福州大学 | 一种融合用户时间信息的微博客用户影响力排名方法 |
CN108615227A (zh) * | 2018-05-08 | 2018-10-02 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
CN109658358A (zh) * | 2018-12-25 | 2019-04-19 | 辽宁工程技术大学 | 一种基于多导向滤波的快速bayer彩色重建方法 |
CN109978788A (zh) * | 2019-03-25 | 2019-07-05 | 厦门美图之家科技有限公司 | 卷积神经网络生成方法、图像去马赛克方法及相关装置 |
CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
CN111402146A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
CN111445395A (zh) * | 2020-03-03 | 2020-07-24 | 哈尔滨工程大学 | 一种基于深度学习的侧扫声呐瀑布图像中间区域修复方法 |
CN111696036A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
CN112424794A (zh) * | 2018-07-11 | 2021-02-26 | 索迪欧有限公司 | 使用马赛克图像传感器检测高分辨率的机器可读标签 |
CN112805744A (zh) * | 2019-07-05 | 2021-05-14 | 百度时代网络技术(北京)有限公司 | 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法 |
CN112990166A (zh) * | 2021-05-19 | 2021-06-18 | 北京远鉴信息技术有限公司 | 一种人脸真伪的识别方法、识别装置及电子设备 |
CN116883250A (zh) * | 2023-09-07 | 2023-10-13 | 江苏游隼微电子有限公司 | 一种基于阈值划分和色域转换的去马赛克方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11869169B2 (en) | 2021-08-10 | 2024-01-09 | Samsung Electronics Co., Ltd. | Adaptive sub-pixel spatial temporal interpolation for color filter array |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104159091A (zh) * | 2014-07-30 | 2014-11-19 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于边缘检测的颜色插值方法 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
-
2017
- 2017-09-25 CN CN201710872364.2A patent/CN107578392B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104159091A (zh) * | 2014-07-30 | 2014-11-19 | 广东顺德中山大学卡内基梅隆大学国际联合研究院 | 一种基于边缘检测的颜色插值方法 |
CN106600538A (zh) * | 2016-12-15 | 2017-04-26 | 武汉工程大学 | 一种基于区域深度卷积神经网络的人脸超分辨率算法 |
Non-Patent Citations (2)
Title |
---|
DAISUKE KIKU,ETC.: ""Minimized-Laplacian Residual Interpolation for Color Image Demosaicking"", 《DIGITAL PHOTOGRAPHY X: CONFERENCE ON DIGITAL PHOTOGRAPHY X, 3-5 FEBRUARY 2013, SAN FRANCISCO, CALIFORNIA, UNITED STATES》 * |
YUSUKE MONNO,ETC.: ""Adaptive residual interpolation for color image demosaicking"", 《2015 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108460499B (zh) * | 2018-04-02 | 2022-03-08 | 福州大学 | 一种融合用户时间信息的微博客用户影响力排名方法 |
CN108460499A (zh) * | 2018-04-02 | 2018-08-28 | 福州大学 | 一种融合用户时间信息的微博客用户影响力排名方法 |
CN108615227B (zh) * | 2018-05-08 | 2021-02-26 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
CN108615227A (zh) * | 2018-05-08 | 2018-10-02 | 浙江大华技术股份有限公司 | 一种图像摩尔纹的抑制方法及设备 |
CN112424794A (zh) * | 2018-07-11 | 2021-02-26 | 索迪欧有限公司 | 使用马赛克图像传感器检测高分辨率的机器可读标签 |
CN112424794B (zh) * | 2018-07-11 | 2024-06-07 | 索迪欧有限公司 | 使用马赛克图像传感器检测高分辨率的机器可读标签 |
CN109658358A (zh) * | 2018-12-25 | 2019-04-19 | 辽宁工程技术大学 | 一种基于多导向滤波的快速bayer彩色重建方法 |
CN109978788A (zh) * | 2019-03-25 | 2019-07-05 | 厦门美图之家科技有限公司 | 卷积神经网络生成方法、图像去马赛克方法及相关装置 |
CN109978788B (zh) * | 2019-03-25 | 2020-11-27 | 厦门美图之家科技有限公司 | 卷积神经网络生成方法、图像去马赛克方法及相关装置 |
CN110009590B (zh) * | 2019-04-12 | 2021-02-02 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
CN110009590A (zh) * | 2019-04-12 | 2019-07-12 | 北京理工大学 | 一种基于卷积神经网络的高质量彩色图像去马赛克方法 |
CN112805744B (zh) * | 2019-07-05 | 2024-04-09 | 百度时代网络技术(北京)有限公司 | 用于对多光谱图像去马赛克的系统和方法 |
CN112805744A (zh) * | 2019-07-05 | 2021-05-14 | 百度时代网络技术(北京)有限公司 | 用于使用深度全色图像引导残余内插对多光谱图像去马赛克的系统和方法 |
CN111402146A (zh) * | 2020-02-21 | 2020-07-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
WO2021164234A1 (zh) * | 2020-02-21 | 2021-08-26 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
CN111402146B (zh) * | 2020-02-21 | 2022-05-10 | 华为技术有限公司 | 图像处理方法以及图像处理装置 |
CN111445395A (zh) * | 2020-03-03 | 2020-07-24 | 哈尔滨工程大学 | 一种基于深度学习的侧扫声呐瀑布图像中间区域修复方法 |
CN111696036B (zh) * | 2020-05-25 | 2023-03-28 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
CN111696036A (zh) * | 2020-05-25 | 2020-09-22 | 电子科技大学 | 基于空洞卷积的残差神经网络及两阶段图像去马赛克方法 |
CN112990166B (zh) * | 2021-05-19 | 2021-08-24 | 北京远鉴信息技术有限公司 | 一种人脸真伪的识别方法、识别装置及电子设备 |
CN112990166A (zh) * | 2021-05-19 | 2021-06-18 | 北京远鉴信息技术有限公司 | 一种人脸真伪的识别方法、识别装置及电子设备 |
CN116883250A (zh) * | 2023-09-07 | 2023-10-13 | 江苏游隼微电子有限公司 | 一种基于阈值划分和色域转换的去马赛克方法 |
CN116883250B (zh) * | 2023-09-07 | 2023-12-08 | 江苏游隼微电子有限公司 | 一种基于阈值划分和色域转换的去马赛克方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107578392B (zh) | 2021-11-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107578392A (zh) | 一种基于残余插值的卷积神经网络去马赛克算法 | |
EP3783374A1 (en) | Method for detecting corona discharge employing image processing | |
CN105657402B (zh) | 一种深度图恢复方法 | |
CN102132323B (zh) | 用于自动图像矫直的系统和方法 | |
CN103347190B (zh) | 一种边相关的联合彩色去马赛克和放大方法 | |
CN109389552A (zh) | 一种基于上下文相关多任务深度学习的图像超分辨算法 | |
CN102103751B (zh) | 前景图像提取方法及装置 | |
CN108038883A (zh) | 一种应用于公路路面视频图像的裂缝检测及识别方法 | |
CN102630019B (zh) | 去马赛克的方法和装置 | |
CN105913396A (zh) | 一种噪声估计的图像边缘保持混合去噪方法 | |
CN106651792B (zh) | 一种卫星影像条带噪声去除方法及装置 | |
CN107784637B (zh) | 一种红外图像增强的方法 | |
CN108734668B (zh) | 图像色彩恢复方法、装置、计算机可读存储介质及终端 | |
CN110544300B (zh) | 一种基于二维手绘图像特征自动生成三维模型的方法 | |
CN109544464A (zh) | 一种基于轮廓提取的火灾视频图像分析方法 | |
CN107730453A (zh) | 图像质量提升方法 | |
CN107945127A (zh) | 一种基于图像列灰度概率一致性的高速运动图像去模糊方法 | |
CN111325688B (zh) | 融合形态学聚类优化大气光的无人机图像去雾方法 | |
CN108024100A (zh) | 基于改进边缘导向的Bayer格式图像插值方法 | |
CN105335930B (zh) | 边缘数据驱动的鲁棒性人脸超分辨率处理方法及系统 | |
CN102663703A (zh) | 基于Treelet的Bayer型CFA图像去噪方法 | |
CN111598790A (zh) | 基于对偶深度神经网络的高光谱遥感图像去噪方法 | |
CN114792310A (zh) | 一种LCD屏幕中边缘模糊的Mura缺陷检测方法 | |
CN110827209A (zh) | 一种联合颜色与深度信息的自适应深度图像修复方法 | |
CN105930811A (zh) | 基于图像处理的手掌纹理特征检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211105 |