CN114445290A - 一种面向硬件的联合去噪去马赛克方法 - Google Patents

Abstract

本发明公开了一种面向硬件的联合去噪去马赛克方法，其步骤包括：1、在以红色或者蓝色为中心的窗口中根据Bayer Raw数据的特性，计算出左右上下四个方向的准确权重，然后插值出所有缺失的绿色信息；2、计算插值绿色通道所需要的高频系数；3、计算全局方向权重和表决方向权重；4、对绿色通道进行插值；5、对绿色通道进行边缘保持的方向小波去噪；6、采用针对颜色通道设计的插值矩阵，对颜色通道进行插值；7、对颜色通道进行方向小波去噪。本发明在移动硬件平台能接受的低代价范围内，在去马赛克的同时也能去除噪声，从而能提升现有方案的图像质量，并改善运算复杂度和功耗。

Description

一种面向硬件的联合去噪去马赛克方法

技术领域

本发明涉及图像信号处理领域，具体的说是一种面向硬件的联合去噪去马赛克方法。

背景技术

智能手机由于其普及型、便携性以及强大的处理能力，已经取代数码相机和单反相机，成为日常摄影的主要工具。图像信号处理器作为成像系统中的重要环节，在很大程度上决定了图像质量的好坏。在智能手机平台的图像信号处理器有几大挑战：(1)作为单反相机的替代品，智能手机尤其是旗舰手机对图像质量的要求很高；(2)由于硬件面积和功耗的限制，在智能手机平台对算法复杂度的要求也很高；(3)手机平台需要实时处理高帧率高分辨率图像的能力。在图像信号处理器中，去噪和去马赛克作为其中的主要组成部分，是近年来的热门研究课题。

早期的去马赛克和去噪是分开进行的，在图像信号处理流程中处于级联模式。具体有两种实现方式：先去噪后去马赛克；先去马赛克后去噪。这两种方式均有优缺点。先去马赛克后去噪的优势在于，在去噪时，三通道的信息都是齐全的，因此可以达到较优的去噪效果。但其劣势是去马赛克时观测到的是带噪声的原始Raw图，因此去马赛克的效果会受噪声影响。相反，先去噪后去马赛克的优势是去马赛克时能够看到无噪声的图，便于得到较好的去马赛克结果。但劣势在单通道的Raw图上去噪有比较大的挑战，如果去噪效果不好，会损失分辨率，也会造成去马赛克中的伪彩色。

由于分开的去马赛克和去噪存在缺陷，之后大部分的解决方案都转向了联合去噪和去马赛克。传统的联合去噪去马赛克方法对问题进行数学建模，然后利用优化算法求解得到无噪声的去马赛克图像。这类算法虽然效果优于级联方式的去马赛克和去噪，而且参数数量普遍很少，但也存在一定的问题。首先计算量比较大，体现在运行速度上，需要较长的时间才能处理一幅图。其次，效果也不尽如人意，在具有挑战性的场景，有很强的伪彩色出现，无法满足高端旗舰平台的需求。

近年来，基于深度学习的方法成为联合去噪去马赛克的主流方向。基于深度学习的方法以带噪声的马赛克图像为输入，以无噪声的彩色图像作为监督，利用GPU/CPU的强大计算能力学习到输入输出之间的映射网络。由于有大量的图片作为训练图像，深度学习方法可以训练出大规模的卷积神经网络。相应的，深度学习方法对应的联合去噪去马赛克效果也是最优的。但高昂的运算代价限制了深度学习方法的使用范围，无法应用在对处理速度和硬件实现代价要求非常高的手机硬件平台。

现在的方法主要存在以下四个缺点：

缺点1：级联方式的去噪和去马赛克效果不佳。在传统的图像信号处理流程中，去噪和去马赛克是独立的模块。不论去马赛克在前或者去噪在前，均存在缺陷，无法充分利用已知的信息，得到最优的结果。

缺点2：基于传统方法的联合去噪去马赛克存在图像质量问题。现有公开的联合去噪和去马赛克算法无论是在客观的峰值信噪比(PSNR)还是主观的图像质量上，均与实际的使用需求有较大的差距。尤其是在具有挑战性的高频彩色区域，具有很明显的伪彩色，无法满足实际需求。

缺点3：当前基于传统方法的联合去噪去马赛克硬件实现代价过高。基于传统方法的联合去噪去马赛克的应用对象是硬件平台，对处理窗口大小，参数数量和计算复杂度均有严格的要求。而当前的算法以迭代为主，处理窗口、运算时间和计算复杂度都无法满足需求。

缺点4：基于深度学习的方法无法在手机硬件平台实现。基于深度学习的方法虽然在效果上有着无与伦比的优势，但也有其局限性。深度模型具有海量的参数、巨大的计算量以及很大的处理窗口。以上任何一个条件均限制了深度学习方法在硬件平台的实现。在高帧率高分辨率的应用场景下，深度学习的方法更不可能硬件实现。

以上四个缺点都是现有技术的主要问题。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种面向硬件的联合去噪去马赛克方法，以期能在移动硬件平台能接受的低代价范围内，获取优异的图像质量，在去马赛克的同时也能去除噪声，从而能提升现有方案的图像质量，并改善运算复杂度和功耗。

本发明为解决方法问题采用如下方法方案：

本发明一种面向硬件的联合去噪去马赛克方法的特点按如下步骤进行：

步骤1，获取二维Bayer图像I_Bayer，其中，所述二维Bayer图像I_Bayer是以维度为2×2的阵列排列而成，每个阵列中的第一行第一列像素为B像素，第一行第二列像素和第二行第一列像素均为G像素，第二行第二列像素为R像素；

步骤2，设定滑动窗口的尺寸为9×9；从所述二维Bayer图像I_Bayer中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下进行滑动窗口处理，得到每个滑动窗口所对应的图像块，且当滑动窗口中的中心像素点为R像素或者B像素，则计算对应图像块的中心像素点在其左右上下四方向的权重W_L，W_R，W_U，W_D，当中心像素点所在的图像块内的像素点不满足9×9的尺寸，则采用镜像的方式填补；

步骤3，对每个滑动窗口内的R像素、G像素和B像素分别计算其平均值M_R，M_G，M_B；并分别计算R像素的白平衡系数

和B像素的白平衡系数

再对滑动窗口内的R像素和 B像素分别乘以对应的白平衡系数，从而得到每个滑动窗口内更新后的图像块；

步骤4，自动镜像反转：

步骤4.1，利用式(1)计算任一滑动窗口内更新后的图像块中的中心像素点在其左右上下四个方向的梯度和TD_L，TD_R，TD_U，TD_D：

式(1)中，A表示9×9的图像块，(i，j)表示中心像素点的坐标，(m，n)表示图像块中任意一个像素点；

步骤4.2，将左右梯度值的差异与所设定的阈值T进行比较，如果

则将更新后的图像块中右半部分的像素点赋值给左半部份的像素点，如果

则将更新后的图像块中左半部分的像素点赋值给右半部份的像素点；

步骤4.3，将上下梯度值的差异与所设定的阈值T进行比较，如果

则更新后的图像块中下半部分的像素点赋值给上半部分的像素点，如果

则更新后的图像块中上半部分的像素点赋值给下半部分的像素点，从而得到镜像反转后的图像块；

步骤5，根据式(1)计算镜像反转后的图像块的中心像素点(i，j)在其左右上下四个方向的梯度和TD′_L，TD′_R，TD′_U，TD′_D；再利用单调下降函数将梯度和TD′_L，TD′_R，TD′_U，TD′_D转换成对应四个方向的局部梯度权重W_L-Local，W_R-Local，W_U-Local，W_D-Local；

步骤6，计算镜像反转后的图像块在水平方向和竖直方向的全局方向权重W_H-global，W_V-global：

步骤6.1、获取镜像反转后的图像块的中心像素点(i，j)所在的5×5尺寸的Raw数据块，利用式(2)计算所述Raw数据块中像素点(m，n)处的水平方向和竖直方向的全局梯度H1(m，n)，V1(m，n)，从而得到所述Raw数据块的15个水平方向和竖直方向的全局梯度：

式(2)中，A′表示5×5尺寸的Raw数据块；

步骤6.2、从15个水平方向和竖直方向的全局梯度中剔除最大的3个水平方向和竖直方向的全局梯度以及最小的6个水平方向和竖直方向的全局梯度，用剩下的6个水平方向和竖直方向的全局梯度的平均值即为计算所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-global，W_V-global；

步骤7，计算镜像反转后的图像块在水平方向和竖直方向的通道间权重W_H-Var，W_V-Var：

步骤7.1、利用式(3)计算所述Raw数据块中像素点(m，n)处的水平方向和竖直方向的通道间梯度H2(m，n)，V2(m，n)，从而得到所述Raw数据块的20个水平方向和竖直方向的全局梯度：

步骤7.2、从20个水平方向和竖直方向的全局梯度中剔除最大的4个水平方向和竖直方向的全局梯度以及最小的8个水平方向和竖直方向的全局梯度，用剩下的8个水平方向和竖直方向的全局梯度的平均值即为所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-Var， W_V-Var；

步骤8，计算镜像反转后的图像块在水平方向和竖直方向的颜色方差权重W_H-VarCbr，W_V-VarCbr和绝对颜色权重W_H-AbsCbr，W_V-AbsCbr：

步骤8.1，获取镜像反转后的图像块的中心像素点(i，j)所在的7×7尺寸的数据块，利用式(4)得到所述数据块中像素点(m，n)处水平方向和竖直方向的插值结果G_H(m，n)，G_V(m，n)：

式(4)中，G表示经过镜像反转后的7×7数据块中的G像素点的值；

步骤8.2，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；

再利用单调下降函数将水平方向和竖直方向的标准方差转换成对应的颜色方差权重 W_H-VarCbr，W_V-VarCbr；

步骤8.3，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

再利用单调下降函数将水平方向和竖直方向的均值转换成对应的绝对颜色权重W_H-AbsCbr，W_V-AbsCbr；

步骤9，利用式(5)计算镜像反转后的图像块的中心像素点(i，j)在其四个方向的融合权重 W_L-init，W_R-init，W_U-init，W_D-init：

步骤10，利用式(6)计算计算镜像反转后的图像块在水平方向和竖直方向的颜色权重 W_H-Color，W_V-Color：

步骤11，定义颜色阈值为Thre_Color，如果

或者

则利用式(7)得到融合权重W_L，W_R，W_U，W_D；否则，直接将 W_L-init，W_R-init，W_U-init，W_D-init依次赋值给融合权重W_L，W_R，W_U，W_D；

步骤12，利用融合权重W_L，W_R，W_U，W_D对二维Bayer图像I_Bayer进行插值，得到初始绿色目标图像I_Green-Init：

对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为G像素，则将中心像素点(i，j)的值复制给绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)为B 像素，则按照式(8)得到绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)采样点为R像素，则将式(8)的B像素替换成R像素后，计算得到绿色目标图像I_Green-Init的中心像素点的值GV；

式(8)中，G_L表示原始的图像块的中心像素点(i，j)左侧G像素点的值，G_R表示原始的图像块的中心像素点(i，j)右侧的G像素点的值，G_U表示原始的图像块的中心像素点(i，j)上方的 G像素点的值，G_D表示原始的图像块的中心像素点(i，j)下方的G像素点的值；B表示9×9 尺寸的原始的图像块中B像素点的值；

步骤13，计算绿色目标图像I_Green的自适应高频系数β^*：

步骤13.1：对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为R像素或者B像素，则执行步骤13.2；否则，

步骤13.2：获取中心像素点(i，j)所在的3×3区域，并初始化高频系数β＝min；

步骤13.3：利用公式(9)计算高频系数β在3×3区域内所有非G像素的绿色通道：

式(9)中，G′_L表示3×3区域内中心像素点(i，j)左侧的G像素点的值，G′_R表示3×3区域内中心像素点(i，j)右侧的G像素点的值，G′_U表示3×3区域内中心像素点(i，j)上方的G 像素点的值，G′_D表示3×3区域内中心像素点(i，j)下方的G像素点的值，GV1表示在3× 3区域内任意一个非G像素的绿色通道；

步骤13.4：所述中心像素点(i，j)的绿色通道与3×3区域内其余八个绿色通道进行比较，如果中心像素点(i，j)的绿色通道小于八个绿色通道的最小值或者大于八个绿色通道的最大值，则表示中心像素点(i，j)为奇异点，并执行步骤13.5；反之，表示中心像素点(i，j)为正常点；并执行步骤步骤13.6；

步骤13.5：将当前的高频系数β作为自适应高频系数β*，并执行步骤14；否则，执行步骤13.6；

步骤13.6：将β+s赋值给β后，判断β＞max是否成立，若成立，则将当前的β作为自适应高频系数β*，并执行步骤14；否则返回步骤13.3；其中，s表示步长；min表示高频系数的下限值，max表示高频系数的上限值；

步骤14，计算绿色目标图像I_Green-Init在水平0度、竖直90度、45度和135度四个方向的初始梯度权重W_0-Init，W_90-Init，W_45-Init，W_135-Init；

步骤14.1，设定滑动窗口的尺寸为5×5；从所述对绿色目标图像I_Green-Init中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素数据块；当中心像素点所在的G像素数据块内的像素点不满足5×5的尺寸，则采用镜像的方式填补；

步骤14.2，利用式(10)计算每个G像素数据块的中心像素点(i，j)在其四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅，并通过单调下降函数将四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅依次转换成四个方向的权重W_0-Init，W_90-Init，W_45-Init，W_135-Init；

步骤15，在绿色目标图像I_Green-Init上计算四个方向的表决权重，得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅；

步骤15.1，设定滑动窗口的尺寸为9×9；并对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素图像块；

步骤15.2，在所述G像素图像块的中心像素点所在的7×7区域内，计算7×7区域内的每个像素点在其3×3的邻域内水平0度、竖直90度、45度和135度的四个方向的梯度；

步骤15.3，寻找7×7区域内的每个像素点在其3×3的邻域内最小梯度；若存在一个最小梯度，则令相应方向的权重为4；若存在两个最小梯度，则令相应方向的权重均为2；若存在两个以上的最小梯度，则令所有方向的权重均为1；

步骤15.4，将7×7区域内的所有49个像素点在每个方向上的权重进行累加，得到所述 G像素图像块的中心像素点在四个方向上的表决权重V₀，V₄₅，V₉₀，V₁₃₅；

步骤15.5，利用式(11)得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅：

步骤16，对二维Bayer图像I_Bayer图进行方向中值滤波，得到滤波后的二维Bayer图像 I′_Bayer；

步骤16.1，设定滑动窗口的尺寸为5×5；并对二维Bayer图像I_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个窗口图像；

步骤16.2，所述窗口图像的中心像素点在水平0度、竖直90度、45度和135度四个方向上取包括自身的最近邻的同颜色通道的三个像素点；

步骤16.3，对三个像素点进行中值滤波，得到每个方向的中值滤波结果；

步骤16.4，利用更新后的权重W₀，W₉₀，W₄₅，W₁₃₅对每个方向的中值滤波结果进行加权平均，得到滤波后的二维Bayer图像I′_Bayer；

步骤17，对滤波后的二维Bayer图像I′_Bayer的绿色通道进行插值，得到插值后的绿色图像I_Green；

步骤17.1、设定滑动窗口的尺寸为9×9；并对滤波后的二维Bayer图像I′_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个滑窗图像；

步骤17.2、如果滑窗图像的中心像素点(i，j)为G像素，则将滑窗图像的中心像素点(i，j) 赋值插值后的绿色图像I_Green的中心像素点；再执行步骤18；否则，利用式(12)更新滑窗图像的中心像素点(i，j)在左右上下四个方向上的权重W_L′，W_R′，W_U′，W_D′；

步骤17.3；如果滑窗图像的中心像素点(i，j)为B像素，则按照式(13)计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像I_Green的中心像素点；否则，表示窗图像的中心像素点(i，j)为R像素，则将式(13)的B替换成R后，计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像IGreen的中心像素点；

式(13)中，G″_L表示9×9尺寸滑窗图像的中心像素点(i，j)左侧的G像素点的值，G″_R表示9×9尺寸滑窗图像的中心像素点(i，j)右侧的G像素点的值，G″_U表示9×9尺寸滑窗图像的中心像素点(i，j)上方的G像素点的值，G″_D表示9×9尺寸滑窗图像的中心像素点(i，j)下方的G像素点的值；

步骤18，对插值后的绿色图像I_Green进行方向小波去噪，得到去噪后的绿色图像I_Green-DNS；

步骤18.1，设定滑动窗口的尺寸为5×5，并对插值后的绿色图像I_Green按照从左到右，从上到下进行滑动窗口遍历，得到若干个绿色窗口图像；

步骤18.2，在绿色窗口图像的中心像素点的水平0度、竖直90度、45度和135度方向上分别取5个像素点，其中一个方向上的5个像素点记为D[0]，D[1]，D[2]，D[3]，D[4]；

步骤18.3，计算式(14)一个方向上5个像素点的一维小波变换值D’[0]，D’[1]，D’[2]，D’[3]，D’[4]；

步骤18.4，令D’[0]，D’[2]，D’[4]分别为三个高频系数，并分别进行软阈值操作，若当前的高频系数大于阈值T，则计算当前的高频系数与阈值T的差值并赋值给当前的高频系数，若当前的高频系数小于-T，则计算当前的高频系数与-T的累加和并赋值给当前的高频系数，否则令当前的高频系数为0；

步骤18.5，利用式(15)对一维小波变换值D’[0]，D′[1]，D′[2]，D′[3]，D’[4]进行反变换，得到一个方向上去噪后的中心像素点D″[2]：

D”[2]＝(D’[1]+D’[3])/2+(D′[2]×6-D’[0]-D’[4])/8 (15)

步骤18.6，将4个方向上去噪后的中心像素点记为DNS₀，DNS₄₅，DNS₉₀，DNS₁₃₅，利用式(16)对去噪后的中心像素点进行加权平均，得到去噪后的绿色图像I_Green-DNS：

步骤19，对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS进行插值，得到蓝色图像I_Blue和红色图像I_Red；

步骤19.1，定义R像素点或B像素点的基本插值矩阵为：

定义G像素点的基本插值矩阵为：

步骤19.2，在R像素点上插值出蓝色值，在B像素点上插值出红色值：

步骤19.2.1，设定滑动窗口的尺寸为9×9，并分别对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS按照从左到右，从上到下进行滑动窗口遍历，得到相应若干个9 ×9的Bayer数据块和绿色数据块；

步骤19.2.2，如果Bayer数据块的中心像素点为G像素，则执行步骤19.3；否则将Bayer数据块和绿色数据块内所有对应的像素点相减后，得到色差块；

步骤19.2.3，利用基本插值矩阵W_BR-RB作为权重，计算色差块的中心像素点的色差信息；并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色/红色值；

步骤19.2.4，如果Bayer数据块的中心像素点为B像素点，则将Bayer数据块的中心像素点的值赋值蓝色图像I_Blue的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给红色图像I_Red的中心像素点；

如果Bayer数据块的中心像素点为R像素点，则将Bayer数据块的中心像素点的值赋值红色图像I_Red的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给蓝色图像I_Blue的中心像素点；

步骤19.3，在G像素点插值出的红色值和蓝色值；

步骤19.3.1，设定滑动窗口的尺寸为9×9，并分别对蓝色图像I_Blue和红色图像I_Red按照从左到右，从上到下进行滑动窗口遍历，相应得到若干个蓝色数据块和红色数据块；

步骤19.3.2，如果Bayer数据块的中心像素点为G像素点，则计算蓝色数据块和绿色数据块的中心像素点的差值得到蓝色色差矩阵，计算红色数据块和绿色数据块的中心像素点的差值得到红色色差矩阵；

步骤19.3.3，以G像素点的基本插值矩阵W_BR-G作为权重，计算中心像素点的蓝色和红色色差，并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色值和红色值，并将蓝色值赋给蓝色图像I_Blue的中心像素点，将红色值赋给红色图像I_Red的中心像素点；

步骤20，对蓝色图像I_Blue和红色图像I_Red的R像素和B像素行色差域的方向小波去噪，得到去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS；

步骤20.1，利用式(17)分别对蓝色图像I_Blue和红色图像I_Red中的每个像素点进行处理，从而得到转换后的蓝色差图像I_Cb和红色差图像I_Cr；

Cb＝BB-GG；Cr＝RR-GG； (17)

式(17)中，BB、GG和RR分别表示I_Blue、I_Green-DNS和I_Red中同一位置的三个颜色通道的像素值；Cb和Cr分别表示同一位置的像素点的蓝色色差和红色色差；

步骤20.2，按照步骤18的过程分别对所述蓝色差图像I_Cb和红色差图像I_Cr进行方向小波去噪；得到去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr；

步骤20.3，利用式(18)对去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr分别进行反变换，将 BB’和RR’分别赋给去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS相应的位置：

BB′＝Cb′+GG；RR′＝Cr′+GG； (18)

式(18)中，Cb′、Cr′分别表示I′_Cb、I′_Cr中同一位置的去噪后的色差，BB’、RR’分别表示去噪后的蓝色像素和红色像素值。

与已有技术相比，本发明有益效果体现在：

1、本发明设计了一种全新的面向移动硬件平台的联合去噪去马赛克方法，相对传统算法(级联或者联合去噪去马赛克)，本发明在大幅改善运算复杂度和运算时间的情况下，依然能取得更优异的结果。相对深度学习方法，本发明所提出的方法的复杂度和参数数量都远低，同时在效果上也能逼近基于深度学习的方法。

2、本发明方法拓展了当前算法在移动硬件平台的使用范围，并极大改善了图像质量。首先，本方法采用的是可以在移动硬件平台使用的传统方法，而不是很难硬件实现的深度学习方法。其次，本发明设计了新的联合去马赛克和去噪算法，在严格保持代价的情况下，依然可以取得理想的效果。最后，本发明把去马赛克和去噪通过共享权重的方式串联起来，提高了联合去噪去马赛克的性能和效率。

3、相对于其他传统方法，本发明的主观图像质量高于其他方法，去除噪声的同时没有引入伪彩色或者拉链噪声；而且峰值信噪比PSNR也高于其他方法；同时，运行时间远低于其他方法。

附图说明

图1a为现有技术中中心采样点为蓝色像素的Bayer模式图；

图1b为现有技术中中心采样点为红色像素的Bayer模式图；

图2为本发明的所提出的联合去噪去马赛克方法的流程图。

具体实施方式

本实施例中，一种面向硬件的联合去噪去马赛克系统分为3个模块：

1)去马赛克模块：通过挖掘原始Raw图像的特征，提出了一种新的去马赛克算法。当插值沿着边缘方向时，梯度和颜色方差都较小，反之梯度和颜色方差都较大，因此本系统利用不同方向的梯度和颜色方差作为权重计算的重要组成部分。通过自适应的方式计算颜色通道对亮度通道的贡献比例，在保持分辨率的情况下，避免了大部分传统方法引入的拉链噪声；

2)去噪模块：该模块在插值后的图像上去除图像传感器引入的光电噪声。并设计了一种新的基于一维小波去噪的边缘保持去噪方法。首先分别对水平、竖直、两个对角线方向进行一维小波去噪，得到四个去噪后的中间结果。然后利用去马赛克过程中产生的权重系数，对去噪结果进行加权平均。同时也引入了方向表决权重，使方向权重在弱纹理区域更稳健准确；

3)联合去噪去马赛克：利用去噪和去马赛克交替进行的方式，得到最终无噪声的彩色图像。先对输入的原始图像计算各个方向的插值权重，插值出绿色通道。然后在绿色通道图像上进行去噪。接着插值颜色通道。最后在颜色通道进行小波去噪。在插值和去噪过程中，共享方向权重，以达到改善图像质量和降低代价的目的。

本实施例中，如图2所示，一种面向硬件的联合去噪去马赛克方法的过程如下：

步骤1，获取二维Bayer图像I_Bayer，其中，二维Bayer图像I_Bayer是以维度为2×2的阵列排列而成，每个阵列中的第一行第一列像素为B像素，第一行第二列像素和第二行第一列像素均为G像素，第二行第二列像素为R像素；

步骤2，设定滑动窗口的尺寸为9×9；从二维Bayer图像I_Bayer中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下进行滑动窗口处理，得到每个滑动窗口所对应的图像块，且当滑动窗口中的中心像素点为R像素或者B像素，则计算对应图像块的中心像素点在其左右上下四方向的权重W_L，W_R，W_U，W_D，当中心像素点所在的图像块内的像素点不满足9×9的尺寸，则采用镜像的方式填补；

图1a和图1b给出了中心点是R和B的Bayer图。

步骤3，对每个滑动窗口内的R像素、G像素和B像素分别计算其平均值M_R，M_G，M_B；并分别计算R像素的白平衡系数

和B像素的白平衡系数

再对滑动窗口内的R像素和 B像素分别乘以对应的白平衡系数，从而得到每个滑动窗口内更新后的图像块；

在某些高频区域，尤其是分辨率卡区域，白平衡之前毫无方向性。只有做了白平衡，利用通道间的相关性才能判断出方向，从而消除或者减少伪彩色的发生。

步骤4，自动镜像反转：

步骤4.1，利用式(1)计算任一滑动窗口内更新后的图像块中的中心像素点在其左右上下四个方向的梯度和TD_L，TD_R，TD_U，TD_D：

式(1)中，A表示9×9的数据块，(i，j)表示中心像素点的坐标，(m，n)表示图像块中任意一个像素点；

步骤4.2，将左右梯度值的差异与所设定的阈值T进行比较，如果

则将更新后的图像块中右半部分的像素点赋值给左半部份的像素点，如果

则将更新后的图像块中左半部分的像素点赋值给右半部份的像素点；

步骤4.3，将上下梯度值的差异与所设定的阈值T进行比较，如果

则更新后的图像块中下半部分的像素点赋值给上半部分的像素点，如果

则更新后的图像块中上半部分的像素点赋值给下半部分的像素点，从而得到镜像反转后的图像块；

在插值过程中，常见的错误是端口封口问题。根本原因在于封口处方向容易判断出错。本发明提出的自动镜像反转方法能够排除梯度计算时的干扰，改善或者消除了端口封口现象。

步骤5，根据式(1)计算镜像反转后的图像块的中心像素点(i，j)在其左右上下四个方向的梯度和TD′_L，TD′_R，TD′_U，TD′_D；再利用单调下降函数将梯度和TD′_L，TD′_R，TD′_U，TD′_D转换成对应四个方向的局部梯度权重W_L-Local，W_R-Local，W_U-Local，W_D-Local；

在前一步中，也计算了四个方向的梯度，用来决定是否做镜像反转。在当前步骤中，用镜像反转后的数据计算四个方向的梯度。转换成权重后，和之后的权重合并，得到最终的四个方向的权重。

步骤6，计算镜像反转后的图像块在水平方向和竖直方向的全局方向权重W_H-global，W_V-global：

步骤6.1、获取镜像反转后的图像块的中心像素点(i，j)所在的5×5尺寸的Raw数据块，利用式(2)计算Raw数据块中像素点(m，n)处的水平方向和竖直方向的全局梯度 H1(m，n)，V1(m，n)，从而得到Raw数据块的15个水平方向和竖直方向的全局梯度：

式(2)中，A，表示经过白平衡和镜像反转后的数据块，(i，j)表示中心像素点的坐标， (m，n)表示图像块中任意一个像素点；

步骤6.2、从15个水平方向和竖直方向的全局梯度中剔除最大的3个水平方向和竖直方向的全局梯度以及最小的6个水平方向和竖直方向的全局梯度，用剩下的6个水平方向和竖直方向的全局梯度的平均值即为计算Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-global， W_V-global；

全局方向梯度不考虑左右或者上下之间的差异，只计算水平和竖直方向的梯度。这种方式对分辨率卡上的分辨率对有很好的效果。在此计算中，采用通道内的梯度。对于强边缘，全局方向梯度具有非常好的效果。

步骤7，计算镜像反转后的图像块在水平方向和竖直方向的通道间权重W_H-Var，W_V-Var：

步骤7.1、利用式(3)计算Raw数据块中像素点(m，n)处的水平方向和竖直方向的通道间梯度H2(m，n)，V2(m，n)，从而得到Raw数据块的20个水平方向和竖直方向的全局梯度：

步骤7.2、从20个水平方向和竖直方向的全局梯度中剔除最大的4个水平方向和竖直方向的全局梯度以及最小的8个水平方向和竖直方向的全局梯度，用剩下的8个水平方向和竖直方向的全局梯度的平均值即为Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-Var，W_V-Var；

在某些极端情况下，两个方向的通道内梯度都很小，不具有区分度。此时，采用通道间能够辅助判断边缘方向信息。通道间梯度是通道内梯度的有益和必要补充。

步骤8，计算镜像反转后的图像块在水平方向和竖直方向的颜色方差权重W_H-VarCbr，W_V-VarCbr和绝对颜色权重W_H-AbsCbr，W_V-AbsCbr：

步骤8.1，获取镜像反转后的图像块的中心像素点(i，j)所在的7×7尺寸的数据块，利用式(4)得到数据块中像素点(m，n)处水平方向和竖直方向的插值结果G_H(m，n)，G_V(m，n)：

式(4)中，G表示经过镜像反转后的9×9数据块中的G像素点的值。

步骤8.2，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的标准方差以及 R像素与G像素之差的标准方差；

再利用单调下降函数将水平方向和竖直方向的标准方差转换成对应的颜色方差权重 W_H-VarCbr，W_V-VarCbr；

步骤8.3，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

再利用单调下降函数将水平方向和竖直方向的均值转换成对应的绝对颜色权重W_H-AbsCbr，W_V-AbsCbr；

根据颜色一致性原理，颜色的分布是均匀平滑的。颜色方差反应了颜色的变化程度，颜色越平滑，方差越小。因此，沿着正确的方向插值得到的颜色方差比沿着错误的方向插值的方差小。以此为线索，可以得到把方差转成插值权重。

大自然的海量数据统计表明，大自然是灰度世界，也就是红绿蓝三个通道的统计平均值是一致的。结合灰度世界假设，沿着正确边缘方向插值的绝对颜色要小于等于沿着错误边缘插值。因此，绝对颜色通过单调递减函数转换成梯度后，可以作为最终权重的组成部分。

步骤9，利用式(5)计算镜像反转后的图像块的中心像素点(i，j)在其四个方向的融合权重 W_L-init，W_R-init，W_U-init，W_D-init：

步骤10，利用式(6)计算计算镜像反转后的图像块在水平方向和竖直方向的颜色权重 W_H-Color，W_V-Color：

步骤11，定义颜色阈值为Thre_Color，如果

或者

则利用式(7)得到融合权重W_L，W_R，W_U，W_D；否则，直接将 W_L-init，W_R-init，W_U-init，W_D-init依次赋值给融合权重W_L，W_R，W_U，W_D；

虽然连乘得到的权重在绝大部分地方都是正确有效的，但在少数高频区域仍会出错。基于颜色的权重在此区域具有较好的区分度。因此，当颜色权重具有主导方向时，优先选择颜色权重。

步骤12，利用融合权重W_L，W_R，W_U，W_D对二维Bayer图像I_Bayer进行插值，得到初始绿色目标图像I_Green-Init：

对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为G像素，则将中心像素点(i，j)的值复制给绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)为B 像素，则按照式(8)得到绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)采样点为R像素，则将式(8)的B像素替换成R像素后，计算得到绿色目标图像I_Green-Init的中心像素点的值GV；

式(8)中，G_L表示中心点左侧的候选绿色值，G_R表示中心点右侧的候选绿色值，G_U表示中心点上侧的候选绿色值，G_D表示中心点下侧的候选绿色值；B表示9×9数据块中的B像素点。

此时，使用的是默认的0.5的高频系数。此步插值的目的并不作为最终结果，而只是用来计算其后的方向。虽然部分区域会有拉链噪声，但这些噪声对所有的方向的影响都是一样的，并不影响最终的结果。

步骤13，计算绿色目标图像I_Green的自适应高频系数β*：

步骤13.1：对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为R像素或者B像素，则执行步骤13.2；否则，

步骤13.2：获取中心像素点(i，j)所在的3×3区域，并初始化高频系数β＝min；

步骤13.3：利用公式(9)计算高频系数β在3×3区域内所有非G像素的绿色通道：

式(9)中，G′_L表示中心点左侧的候选绿色值，G′_R表示中心点右侧的候选绿色值，G′_U表示中心点上侧的候选绿色值，G′_D表示中心点下侧的候选绿色值，GV1表示在3×3区域内任意一个非G像素的绿色通道；

步骤13.4：中心像素点(i，j)的绿色通道与3×3区域内其余八个绿色通道进行比较，如果中心像素点(i，j)的绿色通道小于八个绿色通道的最小值或者大于八个绿色通道的最大值，则表示中心像素点(i，j)为奇异点，并执行步骤13.5；反之，表示中心像素点(i，j)为正常点；并执行步骤步骤13.6；

步骤13.5：将当前的高频系数β作为自适应高频系数β*，并执行步骤14；否则，执行步骤13.6；

步骤13.6：将β+s赋值给β后，判断β＞max是否成立，若成立，则将当前的β作为自适应高频系数β*，并执行步骤14；否则返回步骤13.3；其中，s表示步长；min表示高频系数的下限值，max表示高频系数的上限值；

此步骤利用方向信息采用迭代的方式确定插值绿色通道时所需要的高频系数。高频系数对最终的结果至关重要。当绿色通道与颜色通道有相关性时，加入颜色通道的高频能够增强分辨率并减少伪彩色。而当绿色通道与颜色通道无关时，颜色通道的高频会引入拉链噪声。因此，需要根据图像内容自适应的地决定高频系数。

步骤14，计算绿色目标图像I_Green-Init在水平0度、竖直90度、45度和135度四个方向的初始梯度权重W_0-Init，W_90-Init，W_45-Init，W_135-Init。

步骤14.1，设定滑动窗口的尺寸为5×5；从对绿色目标图像I_Green-Init中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素数据块；当中心像素点所在的G像素数据块内的像素点不满足5×5的尺寸，则采用镜像的方式填补；

步骤14.2，利用式(10)计算每个G像素数据块的中心像素点(i，j)在其四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅，并通过单调下降函数将四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅依次转换成四个方向的权重W_0-Init，W_90-Init，W_45-Init，W_135-Init；

之前的梯度是基于Bayer数据的，仅仅计算了水平和竖直方向。但去噪过程中，也需要用到对角线的方向。因此本步骤在全分辨率的绿色通道图像上，计算4个方向的梯度。梯度越小，对应的权重越大。

步骤15，在绿色目标图像I_Green-Init上计算四个方向的表决权重，得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅；

步骤15.1，设定滑动窗口的尺寸为9×9；并对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素图像块；

步骤15.2，在G像素图像块的中心像素点所在的7×7区域内，计算7×7区域内的每个像素点在其3×3的邻域内水平0度、竖直90度、45度和135度的四个方向的梯度；

步骤15.3，寻找7×7区域内的每个像素点在其3×3的邻域内最小梯度；若存在一个最小梯度，则令相应方向的权重为4；若存在两个最小梯度，则令相应方向的权重均为2；若存在两个以上的最小梯度，则令所有方向的权重均为1；

步骤15.4，将7×7区域内的所有49个像素点在每个方向上的权重进行累加，得到G像素图像块的中心像素点在四个方向上的表决权重V₀，V₄₅，V₉₀，V₁₃₅；

步骤15.5，利用式(11)得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅：

之前计算的方向梯度在对比度较高时有较好的效果。但在对比度比较差的弱纹理区域，四个方向的区分性不够强。用表决权重对纹理的强弱不敏感，在弱纹理区域依然可以找到主导方向。加上表决权重后，去马赛克和去噪的效果都有一定的提高。

步骤16，对二维Bayer图像I_Bayer图进行方向中值滤波，得到滤波后的二维Bayer图像 I′_Bayer；

步骤16.1，设定滑动窗口的尺寸为5×5；并对二维Bayer图像I_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个窗口图像；

步骤16.2，窗口图像的中心像素点在水平0度、竖直90度、45度和135度四个方向上取包括自身的最近邻的同颜色通道的三个像素点；

步骤16.3，对三个像素点进行中值滤波，得到每个方向的中值滤波结果；

步骤16.4，利用更新后的权重W₀，W₉₀，W₄₅，W₁₃₅对每个方向的中值滤波结果进行加权平均，得到滤波后的二维Bayer图像I′_Bayer；

图像传感器的噪声基本满足高斯分布。对于个别超出3δ的噪声点，由于其跟正常点的差异很大，需要跟用较大的去噪窗口和参数才能去除，但副作用边缘模糊和分辨率损失。为了能够去除孤立噪声，本发明采用方向中值滤波。因为有准确的方向作为指导，因此本步骤不会造成图像模糊和分辨率的损失。

步骤17，对滤波后的二维Bayer图像I′_Bayer的绿色通道进行插值，得到插值后的绿色图像I_Green；

步骤17.1、设定滑动窗口的尺寸为9×9；并对滤波后的二维Bayer图像I′_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个滑窗图像；

步骤17.2、如果滑窗图像的中心像素点(i，j)为G像素，则将滑窗图像的中心像素点(i，j) 赋值插值后的绿色图像I_Green的中心像素点；再执行步骤18；否则，利用式(12)更新滑窗图像的中心像素点(i，j)在左右上下四个方向上的权重W′_L，W_R′，W_U′，W_D′；

步骤17.3；如果滑窗图像的中心像素点(i，j)为B像素，则按照式(13)计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像I_Green的中心像素点；否则，表示窗图像的中心像素点(i，j)为R像素，则将式(13)的B替换成R后，计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像I_Green的中心像素点；

式(13)中，G″_L表示中心点左侧的候选绿色值，G″_R表示中心点右侧的候选绿色值，G″_U表示中心点上侧的候选绿色值，G″_D表示中心点下侧的候选绿色值；

此步插值是最终的绿色通道插值，所采用的权重和高频系数均为更新后的结果。

步骤18，对插值后的绿色图像I_Green进行方向小波去噪，得到去噪后的绿色图像I_Green-DNS；

步骤18.1，设定滑动窗口的尺寸为5×5，并对插值后的绿色图像I_Green按照从左到右，从上到下进行滑动窗口遍历，得到若干个绿色窗口图像；

步骤18.2，在绿色窗口图像的中心像素点的水平0度、竖直90度、45度和135度方向上分别取5个像素点，其中一个方向上的5个像素点记为D[0]，D[1]，D[2]，D[3]，D[4]；

步骤18.3，计算式(14)一个方向上5个像素点的一维小波变换值 D′[0]，D′[1]，D’[2]，D′[3]，D′[4]；

步骤18.4，令D’[0]，D’[2]，D’[4]分别为三个高频系数，并分别进行软阈值操作，若当前的高频系数大于阈值T，则计算当前的高频系数与阈值T的差值并赋值给当前的高频系数，若当前的高频系数小于-T，则计算当前的高频系数与-T的累加和并赋值给当前的高频系数，否则令当前的高频系数为0；

步骤18.5，利用式(15)对一维小波变换值D’[0]，D′[1]，D′[2]，D，[3]，D′[4]进行反变换，得到一个方向上去噪后的中心像素点D”[2]：

D”[2]＝(D’[1]+D，[3])/2+(D’[2]×6-D’[0]-D’[4])/8 (15)

步骤18.6，将4个方向上去噪后的中心像素点记为DNS₀，DNS₄₅，DNS₉₀，DNS₁₃₅，利用式(16)对去噪后的中心像素点进行加权平均，得到去噪后的绿色图像I_Green-DNS：

因为窗口的大小只有5×5，去噪能力有限。在噪声比较高时，本文采用多级去噪的方式。每级采用同样的算法，但采用不用的去噪参数。每级的输入图是上一级去噪后的结果。多级之间共用权重系数，以达到降低代价的目的。

步骤19，对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS进行插值，得到蓝色图像I_Blue和红色图像I_Red；

步骤19.1，定义R像素点或B像素点的基本插值矩阵为：

定义G像素点的基本插值矩阵为：

步骤19.2，在R像素点上插值出蓝色值，在B像素点上插值出红色值：

步骤19.2.1，设定滑动窗口的尺寸为9×9，并分别对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS按照从左到右，从上到下进行滑动窗口遍历，得到相应若干个9 ×9的Bayer数据块和绿色数据块；

步骤19.2.2，如果Bayer数据块的中心像素点为G像素，则执行步骤19.3；否则将Bayer数据块和绿色数据块内所有对应的像素点相减后，得到色差块；

步骤19.2.3，利用基本插值矩阵W_BR-RB作为权重，计算色差块的中心像素点的色差信息；并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色/红色值；

步骤19.2.4，如果Bayer数据块的中心像素点为B像素点，则将Bayer数据块的中心像素点的值赋值蓝色图像I_Blue的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给红色图像I_Red的中心像素点；

如果Bayer数据块的中心像素点为R像素点，则将，则Bayer数据块的中心像素点的值赋值红色图像I_Red的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给蓝色图像I_Blue的中心像素点；

步骤19.3，在G像素点插值出的红色值和蓝色值；

步骤19.3.1，设定滑动窗口的尺寸为9×9，并分别对蓝色图像I_Blue和红色图像I_Red按照从左到右，从上到下进行滑动窗口遍历，相应得到若干个蓝色数据块和红色数据块；

步骤19.3.2，如果Bayer数据块的中心像素点为G像素点，则计算蓝色数据块和绿色数据块的中心像素点的差值得到蓝色色差矩阵，计算红色数据块和绿色数据块的中心像素点的差值得到红色色差矩阵；

步骤19.3.3，以G像素点的基本插值矩阵W_BR-G作为权重，计算中心像素点的蓝色和红色色差，并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色值和红色值，并将蓝色值赋给蓝色图像I_Blue的中心像素点，将红色值赋给红色图像I_Red的中心像素点；

在绿色通道插值和去噪后，得到了无噪声的全分辨率的绿色通道。根据颜色一致性原理，在色差通道插值颜色通道具有较少的伪彩色和颜色混叠。因此本发明采用基于色差的插值方法。因为每个位置缺失的信息不一样，为了保持对称性，本发明先插值颜色采样点另一个缺失的颜色。插值后，在绿色通道每个颜色上下左右均有了红色和蓝色信息，此时再同时插出绿色采样点缺失的另外两个值。

步骤20，对蓝色图像I_Blue和红色图像I_Red的R像素和B像素行色差域的方向小波去噪，得到去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS；

步骤20.1，利用式(17)分别对蓝色图像I_Blue和红色图像I_Red中的每个像素点进行处理，从而得到转换后的蓝色差图像I_Cb和红色差图像I_Cr；

Cb＝BB-GG；Cr＝RR-GG； (17)

式(17)中，BB、GG和RR分别表示I_Blue、I_Green-DNS和I_Red中同一位置的三个颜色通道的像素值；Cb和Cr分别表示同一位置的像素点的蓝色色差和红色色差；

步骤20.2，按照步骤18的过程分别对蓝色差图像I_Cb和红色差图像I_Cr进行方向小波去噪；得到去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr；

步骤20.3，利用式(18)对去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr分别进行反变换，将 BB’和RR’分别赋给去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS相应的位置：

BB′＝Cb′+GG；RR′＝Cr′+GG； (18)

式(18)中，Cb′、Cr′分别表示I′_Cb、I′_Cr中同一位置的去噪后的色差，BB’、RR’分别表示去噪后的蓝色和红色像素值。

在色差通道去噪具有较好的效果，原因包括：(1)人眼对颜色的高频没有对亮度敏感，因此可以采用更大的去噪参数(区别于绿色通道)；(2)在色差域，颜色分布比较均匀，突变少于原始的颜色通道，在此空间去噪效果较好。

Claims (1)

1.一种面向硬件的联合去噪去马赛克方法，其特征按如下步骤进行：

步骤1，获取二维Bayer图像I_Bayer，其中，所述二维Bayer图像I_Bayer是以维度为2×2的阵列排列而成，每个阵列中的第一行第一列像素为B像素，第一行第二列像素和第二行第一列像素均为G像素，第二行第二列像素为R像素；

步骤2，设定滑动窗口的尺寸为9×9；从所述二维Bayer图像I_Bayer中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下进行滑动窗口处理，得到每个滑动窗口所对应的图像块，且当滑动窗口中的中心像素点为R像素或者B像素，则计算对应图像块的中心像素点在其左右上下四方向的权重W_L，W_R，W_U，W_D，当中心像素点所在的图像块内的像素点不满足9×9的尺寸，则采用镜像的方式填补；

步骤3，对每个滑动窗口内的R像素、G像素和B像素分别计算其平均值M_R，M_G，M_B；并分别计算R像素的白平衡系数

和B像素的白平衡系数

再对滑动窗口内的R像素和B像素分别乘以对应的白平衡系数，从而得到每个滑动窗口内更新后的图像块；

步骤4，自动镜像反转：

步骤4.1，利用式(1)计算任一滑动窗口内更新后的图像块中的中心像素点在其左右上下四个方向的梯度和TD_L，TD_R，TD_U，TD_D：

式(1)中，A表示9×9的图像块，(i，j)表示中心像素点的坐标，(m，n)表示图像块中任意一个像素点；

步骤4.2，将左右梯度值的差异与所设定的阈值T进行比较，如果

则将更新后的图像块中右半部分的像素点赋值给左半部份的像素点，如果

则将更新后的图像块中左半部分的像素点赋值给右半部份的像素点；

步骤4.3，将上下梯度值的差异与所设定的阈值T进行比较，如果

则更新后的图像块中下半部分的像素点赋值给上半部分的像素点，如果

则更新后的图像块中上半部分的像素点赋值给下半部分的像素点，从而得到镜像反转后的图像块；

步骤5，根据式(1)计算镜像反转后的图像块的中心像素点(i，j)在其左右上下四个方向的梯度和TD′_L，TD′_R，TD′_U，TD′_D；再利用单调下降函数将梯度和TD′_L，TD′_R，TD′_U，TD′_D转换成对应四个方向的局部梯度权重W_L-Local，W_R-Local，W_U-Local，W_D-Local；

步骤6，计算镜像反转后的图像块在水平方向和竖直方向的全局方向权重W_H-global，W_V-global：

步骤6.1、获取镜像反转后的图像块的中心像素点(i，j)所在的5×5尺寸的Raw数据块，利用式(2)计算所述Raw数据块中像素点(m，n)处的水平方向和竖直方向的全局梯度H1(m，n)，V1(m，n)，从而得到所述Raw数据块的15个水平方向和竖直方向的全局梯度：

H1(m，n)＝|A′(i+m，j+n)-A′(i+m，j+n+2)| (2)

V1(m，n)＝|A′(i+m，j+n)-A′(i+m+2，j+n)|

式(2)中，A’表示5×5尺寸的Raw数据块；

步骤6.2、从15个水平方向和竖直方向的全局梯度中剔除最大的3个水平方向和竖直方向的全局梯度以及最小的6个水平方向和竖直方向的全局梯度，用剩下的6个水平方向和竖直方向的全局梯度的平均值即为计算所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-global，W_V-global；

步骤7，计算镜像反转后的图像块在水平方向和竖直方向的通道间权重W_H-Var，W_V-Var：

步骤7.1、利用式(3)计算所述Raw数据块中像素点(m，n)处的水平方向和竖直方向的通道间梯度H2(m，n)，V2(m，n)，从而得到所述Raw数据块的20个水平方向和竖直方向的全局梯度：

H2(m，n)＝|A′(i+m，j+n)-A′(i+m，j+n+1)| (3)

V2(m，n)＝|A′(i+m，j+n)-A′(i+m+1，j+n)|

步骤7.2、从20个水平方向和竖直方向的全局梯度中剔除最大的4个水平方向和竖直方向的全局梯度以及最小的8个水平方向和竖直方向的全局梯度，用剩下的8个水平方向和竖直方向的全局梯度的平均值即为所述Raw数据块在水平方向和竖直方向的全局最优梯度；并利用单调下降函数将全局最优梯转换成在水平方向和竖直方向的全局方向权重W_H-Var，W_V-Var；

步骤8，计算镜像反转后的图像块在水平方向和竖直方向的颜色方差权重W_H-VarCbr，W_V-VarCbr和绝对颜色权重W_H-AbsCbr，W_V-AbsCbr：

步骤8.1，获取镜像反转后的图像块的中心像素点(i，j)所在的7×7尺寸的数据块，利用式(4)得到所述数据块中像素点(m，n)处水平方向和竖直方向的插值结果G_H(m，n)，G_V(m，n)：

G_H(m，n)＝(G(i+m，j+n-1)+G(i+m，j+n+1))/2 (4)

G_V(m，n)＝(G(i+m-1，j+n)+G(i+m+1，j+n))/2

式(4)中，G表示经过镜像反转后的7×7数据块中的G像素点的值；

步骤8.2，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的标准方差以及R像素与G像素之差的标准方差；

再利用单调下降函数将水平方向和竖直方向的标准方差转换成对应的颜色方差权重W_H-VarCbr，W_V-VarCbr；

步骤8.3，计算插值后的数据块中每个像素点在水平方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

计算插值后的数据块中每个像素点在竖直方向的B像素与G像素之差的绝对值的均值以及R像素与G像素之差的绝对值的均值；

再利用单调下降函数将水平方向和竖直方向的均值转换成对应的绝对颜色权重W_H-AbsCbr，W_V-AbsCbr；

步骤9，利用式(5)计算镜像反转后的图像块的中心像素点(i，j)在其四个方向的融合权重W_L-init，W_R-init，W_U-init，W_D-init：

步骤10，利用式(6)计算计算镜像反转后的图像块在水平方向和竖直方向的颜色权重W_H-Color，W_V-Color：

W_H-Color＝W_H-VarCbr.W_H-AbsCbr (6)

W_V-Color＝W_V-VarCbr.W_V-AbsCbr

步骤11，定义颜色阈值为Thre_Color，如果

或者

则利用式(7)得到融合权重W_L，W_R，W_U，W_D；否则，直接将W_L-init，W_R-init，W_U-init，W_D-init依次赋值给融合权重W_L，W_R，W_U，W_D；

W_L＝W_R＝W_H-Color(7)

W_U＝W_D＝W_H-Color

步骤12，利用融合权重W_L，W_R，W_U，W_D对二维Bayer图像I_Bayer进行插值，得到初始绿色目标图像I_Green-Init：

对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为G像素，则将中心像素点(i，j)的值复制给绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)为B像素，则按照式(8)得到绿色目标图像I_Green-Init的中心像素点的值GV；若其中心像素点(i，j)采样点为R像素，则将式(8)的B像素替换成R像素后，计算得到绿色目标图像I_Green-Init的中心像素点的值GV；

式(8)中，G_L表示原始的图像块的中心像素点(i，j)左侧G像素点的值，G_R表示原始的图像块的中心像素点(i，j)右侧的G像素点的值，G_U表示原始的图像块的中心像素点(i，j)上方的G像素点的值，G_D表示原始的图像块的中心像素点(i，j)下方的G像素点的值；B表示9×9尺寸的原始的图像块中B像素点的值；

步骤13，计算绿色目标图像I_Green的自适应高频系数β^*：

步骤13.1：对二维Bayer图像I_Bayer中原始的图像块，若其中心像素点(i，j)为R像素或者B像素，则执行步骤13.2；否则，

步骤13.2：获取中心像素点(i，j)所在的3×3区域，并初始化高频系数β＝min；

步骤13.3：利用公式(9)计算高频系数β在3×3区域内所有非G像素的绿色通道：

式(9)中，G′_L表示3×3区域内中心像素点(i，j)左侧的G像素点的值，G′_R表示3×3区域内中心像素点(i，j)右侧的G像素点的值，G′_U表示3×3区域内中心像素点(i，j)上方的G像素点的值，G′_D表示3×3区域内中心像素点(i，j)下方的G像素点的值，GV1表示在3×3区域内任意一个非G像素的绿色通道；

步骤13.4：所述中心像素点(i，j)的绿色通道与3×3区域内其余八个绿色通道进行比较，如果中心像素点(i，j)的绿色通道小于八个绿色通道的最小值或者大于八个绿色通道的最大值，则表示中心像素点(i，j)为奇异点，并执行步骤13.5；反之，表示中心像素点(i，j)为正常点；并执行步骤步骤13.6；

步骤13.5：将当前的高频系数β作为自适应高频系数β^*，并执行步骤14；否则，执行步骤13.6；

步骤13.6：将β+s赋值给β后，判断β＞max是否成立，若成立，则将当前的β作为自适应高频系数β^*，并执行步骤14；否则返回步骤13.3；其中，s表示步长；min表示高频系数的下限值，max表示高频系数的上限值；

步骤14，计算绿色目标图像I_Green-Init在水平0度、竖直90度、45度和135度四个方向的初始梯度权重W_0-Init，W_90-Init，W_45-Init，W_135-Init；

步骤14.1，设定滑动窗口的尺寸为5×5；从所述对绿色目标图像I_Green-Init中的第一个像素点开始，以第一个像素点为中心像素点，按照从左到右，从上到下对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素数据块；当中心像素点所在的G像素数据块内的像素点不满足5×5的尺寸，则采用镜像的方式填补；

步骤14.2，利用式(10)计算每个G像素数据块的中心像素点(i，j)在其四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅，并通过单调下降函数将四个方向的平均梯度TD₀，TD₉₀，TD₄₅，TD₁₃₅依次转换成四个方向的权重W_0-Init，W_90-Init，W_45-Init，W_135-Init；

步骤15，在绿色目标图像I_Green-Init上计算四个方向的表决权重，得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅；

步骤15.1，设定滑动窗口的尺寸为9×9；并对绿色目标图像I_Green-Init进行滑动窗口处理，得到若干个G像素图像块；

步骤15.2，在所述G像素图像块的中心像素点所在的7×7区域内，计算7×7区域内的每个像素点在其3×3的邻域内水平0度、竖直90度、45度和135度的四个方向的梯度；

步骤15.3，寻找7×7区域内的每个像素点在其3×3的邻域内最小梯度；若存在一个最小梯度，则令相应方向的权重为4；若存在两个最小梯度，则令相应方向的权重均为2；若存在两个以上的最小梯度，则令所有方向的权重均为1；

步骤15.4，将7×7区域内的所有49个像素点在每个方向上的权重进行累加，得到所述G像素图像块的中心像素点在四个方向上的表决权重V₀，V₄₅，V₉₀，V₁₃₅；

步骤15.5，利用式(11)得到更新后的权重W₀，W₉₀，W₄₅，W₁₃₅：

步骤16，对二维Bayer图像I_Bayer图进行方向中值滤波，得到滤波后的二维Bayer图像I′_Bayer；

步骤16.1，设定滑动窗口的尺寸为5×5；并对二维Bayer图像I_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个窗口图像；

步骤16.2，所述窗口图像的中心像素点在水平0度、竖直90度、45度和135度四个方向上取包括自身的最近邻的同颜色通道的三个像素点；

步骤16.3，对三个像素点进行中值滤波，得到每个方向的中值滤波结果；

步骤16.4，利用更新后的权重W₀，W₉₀，W₄₅，W₁₃₅对每个方向的中值滤波结果进行加权平均，得到滤波后的二维Bayer图像I′_Bayer；

步骤17，对滤波后的二维Bayer图像I′_Bayer的绿色通道进行插值，得到插值后的绿色图像I_Green；

步骤17.1、设定滑动窗口的尺寸为9×9；并对滤波后的二维Bayer图像I′_Bayer按照从左到右，从上到下进行滑动窗口处理，得到若干个滑窗图像；

步骤17.2、如果滑窗图像的中心像素点(i，j)为G像素，则将滑窗图像的中心像素点(i，j)赋值插值后的绿色图像I_Green的中心像素点；再执行步骤18；否则，利用式(12)更新滑窗图像的中心像素点(i，j)在左右上下四个方向上的权重W_L′，W_R′，W_U′，W_D′；

步骤17.3；如果滑窗图像的中心像素点(i，j)为B像素，则按照式(13)计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像I_Green的中心像素点；否则，表示窗图像的中心像素点(i，j)为R像素，则将式(13)的B替换成R后，计算插值滑窗图像的中心像素点(i，j)的G像素，并赋给插值后的绿色图像I_Green的中心像素点；

式(13)中，G″_L表示9×9尺寸滑窗图像的中心像素点(i，j)左侧的G像素点的值，G″_R表示9×9尺寸滑窗图像的中心像素点(i，j)右侧的G像素点的值，G″_U表示9×9尺寸滑窗图像的中心像素点(i，j)上方的G像素点的值，G″_D表示9×9尺寸滑窗图像的中心像素点(i，j)下方的G像素点的值；

步骤18，对插值后的绿色图像I_Green进行方向小波去噪，得到去噪后的绿色图像I_Green-DNS；

步骤18.1，设定滑动窗口的尺寸为5×5，并对插值后的绿色图像I_Green按照从左到右，从上到下进行滑动窗口遍历，得到若干个绿色窗口图像；

步骤18.2，在绿色窗口图像的中心像素点的水平0度、竖直90度、45度和135度方向上分别取5个像素点，其中一个方向上的5个像素点记为D[0]，D[1]，D[2]，D[3]，D[4]；

步骤18.3，计算式(14)一个方向上5个像素点的一维小波变换值D’[0]，D’[1]，D’[2]，D’[3]，D’[4]；

步骤18.4，令D’[0]，D’[2]，D’[4]分别为三个高频系数，并分别进行软阈值操作，若当前的高频系数大于阈值T，则计算当前的高频系数与阈值T的差值并赋值给当前的高频系数，若当前的高频系数小于-T，则计算当前的高频系数与-T的累加和并赋值给当前的高频系数，否则令当前的高频系数为0；

步骤18.5，利用式(15)对一维小波变换值D’[0]，D’[1]，D’[2]，D’[3]，D’[4]进行反变换，得到一个方向上去噪后的中心像素点D”[2]：

D”[2]＝(D’[1]+D’[3])/2+(D’[2]×6-D’[0]-D’[4])/8 (15)

步骤18.6，将4个方向上去噪后的中心像素点记为DNS₀，DNS₄₅，DNS₉₀，DNS₁₃₅，利用式(16)对去噪后的中心像素点进行加权平均，得到去噪后的绿色图像I_Green-DNS：

步骤19，对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS进行插值，得到蓝色图像I_Blue和红色图像I_Red；

步骤19.1，定义R像素点或B像素点的基本插值矩阵为：

定义G像素点的基本插值矩阵为：

步骤19.2，在R像素点上插值出蓝色值，在B像素点上插值出红色值：

步骤19.2.1，设定滑动窗口的尺寸为9×9，并分别对滤波后的二维Bayer图像I′_Bayer和去噪后的绿色图像I_Green-DNS按照从左到右，从上到下进行滑动窗口遍历，得到相应若干个9×9的Bayer数据块和绿色数据块；

步骤19.2.2，如果Bayer数据块的中心像素点为G像素，则执行步骤19.3；否则将Bayer数据块和绿色数据块内所有对应的像素点相减后，得到色差块；

步骤19.2.3，利用基本插值矩阵W_BR-RB作为权重，计算色差块的中心像素点的色差信息；并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色/红色值；

步骤19.2.4，如果Bayer数据块的中心像素点为B像素点，则将Bayer数据块的中心像素点的值赋值蓝色图像I_Blue的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给红色图像I_Red的中心像素点；

如果Bayer数据块的中心像素点为R像素点，则将Bayer数据块的中心像素点的值赋值红色图像I_Red的中心像素点，将恢复出绿色数据块的蓝色/红色值赋给蓝色图像I_Blue的中心像素点；

步骤19.3，在G像素点插值出的红色值和蓝色值；

步骤19.3.1，设定滑动窗口的尺寸为9×9，并分别对蓝色图像I_Blue和红色图像I_Red按照从左到右，从上到下进行滑动窗口遍历，相应得到若干个蓝色数据块和红色数据块；

步骤19.3.2，如果Bayer数据块的中心像素点为G像素点，则计算蓝色数据块和绿色数据块的中心像素点的差值得到蓝色色差矩阵，计算红色数据块和绿色数据块的中心像素点的差值得到红色色差矩阵；

步骤19.3.3，以G像素点的基本插值矩阵W_BR-G作为权重，计算中心像素点的蓝色和红色色差，并与绿色数据块的中心像素点相加，从而恢复出绿色数据块缺失的蓝色值和红色值，并将蓝色值赋给蓝色图像I_Blue的中心像素点，将红色值赋给红色图像I_Red的中心像素点；

步骤20，对蓝色图像I_Blue和红色图像I_Red的R像素和B像素行色差域的方向小波去噪，得到去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS；

步骤20.1，利用式(17)分别对蓝色图像I_Blue和红色图像I_Red中的每个像素点进行处理，从而得到转换后的蓝色差图像I_Cb和红色差图像I_Cr；

Cb＝BB-GG；Cr＝RR-GG； (17)

式(17)中，BB、GG和RR分别表示I_Blue、I_Green-DNS和I_Red中同一位置的三个颜色通道的像素值；Cb和Cr分别表示同一位置的像素点的蓝色色差和红色色差；

步骤20.2，按照步骤18的过程分别对所述蓝色差图像I_Cb和红色差图像I_Cr进行方向小波去噪；得到去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr；

步骤20.3，利用式(18)对去噪后的蓝色差图像I′_Cb和红色差图像I′_Cr分别进行反变换，将BB’和RR’分别赋给去噪后的蓝色图像I_Blue-DNS和红色图像I_Red-DNS相应的位置：

BB′＝Cb′+GG；RR′＝Cr′+GG； (18)

式(18)中，Cb′、Cr′分别表示I′_Cb、I′_Cr中同一位置的去噪后的色差，BB’、RR’分别表示去噪后的蓝色像素和红色像素值。

Images