CN104537625A - 一种基于方向标志位的Bayer彩色图像插值方法 - Google Patents

Abstract

本发明提供一种基于方向标志位的Bayer彩色图像插值方法，首先对未知绿色分量进行恢复，采用边缘检测算子对每个像素点四个方向的梯度进行检测，根据检测到的梯度大小确定每个像素点处的方向标志位信息，同时计算每个像素点与相邻像素的色差系数，然后根据方向标志位信息和色差系数对未知绿色分量进行插值恢复。恢复出整幅图像的全部绿色分量后，最后基于色差法则恢复出全部的未知红色和蓝色分量，最终完成对Bayer图像的彩色插值。与传统仅仅检测水平和垂直边缘进行单通道独立插值的方法相比，本发明在保持原有方法较低复杂度和较高图像质量的基础上，进一步提高了插值精度，更适合人眼观察，为后续用于高精度图像复原提供了基础。

Description

一种基于方向标志位的Bayer彩色图像插值方法

技术领域

本发明涉及一种图像插值方法，特别是一种基于方向标志位(direction flag bit)的Bayer彩色图像插值方法，属于数字图像处理和光电成像领域。该方法实现对Bayer马赛克图像快速高效插值恢复，得到的图像达到了良好的视觉效果，提高了现有算法的恢复图像质量，增强了图像的色彩对比度，强化了图像的边缘清晰度，取得了算法性能和图像质量的平衡。可以广泛应用于各种图像采集系统和数码相机系统中。

背景技术

在图像采集和光电成像系统结构中，数字彩色摄像头一般有两种：一种是三镜片的图像传感器，在一个像素上使用三个传感器分别对R、G、B颜色分量进行采集，图像分辨率高，色彩艳丽，但造成相机体积大、成本高，主要应用于专业领域。大多数彩色相机采用单镜片图像传感器，然后在感光表面覆盖一层颜色滤波阵列(color filter array，CFA)，经过CFA后每个像素点只能获得物理三基色(红、绿、蓝)任意其中一种分量，每个像素点存在的颜色分量可能不同，但均仅含有其中一种颜色分量。为了获得全彩色图像,就要利用周围像素点复原另外两种缺少的颜色分量，称这个过程为颜色插值。

随着数码相机的快速发展和逐渐普及，关于Bayer彩色图像的插值算法在图像压缩、解码和显示方面变得越来越重要，在过去十几年中一直是研究热点。目前已经出现了一些应用到数码相机中的优秀算法，但是目前的彩色插值算法还存在着一些难题。传统的算法大体可以分为两大类，第一类是利用单通道进行独立插值，算法简单快速，缺点是插值恢复的图像质量效果欠佳，无法应用到高精度系统中。第二类利用了多通道相关性进行插值，插值效果有所提高，但由于算法复杂，运算量大，应用受限。

因此，如何选择适当的Bayer彩色图像算法，在图像质量和还原效率之间达到平衡是当前图像采集和光电成像领域迫切面临的实际问题。

发明内容

本发明技术解决问题：针对现有技术的不足，提供一种基于方向标志位(direction flagbit)的Bayer彩色图像插值方法，可以提高现有算法的恢复图像质量，增强图像的色彩对比度，强化图像边缘清晰度，在性能和效率之间取得平衡。

为实现这样的目的，本发明的技术方案：一种基于方向标志位的Bayer彩色图像插值方法，包括如下步骤：

步骤一、原始Bayer图像边缘梯度检测：

原始Bayer图像中，三种颜色分量间存在较强的相关性，为降低复杂度，仅考虑某一分量的梯度信息来确定方向标志位。

所述方向标志位含义定义为：

flag＝00表示边缘存在像素点水平方向；

flag＝01表示边缘存在像素点垂直方向；

flag＝10表示边缘存在像素点对角方向1；

flag＝11表示边缘存在像素点对角方向2；

其中对角方向1取为平面直角坐标系中45°或-135°方向，对角方向2取为平面直角坐标系中135°或-45°方向。

所述梯度检测算子定义如下：

当中心(i,j)像素处于红色或蓝色分量时，

水平梯度检测算子α：α＝|G(i,j+1)-G(i,j-1)|    (公式1)

垂直梯度检测算子β：β＝|G(i-1,j)-G(i+1,j)|     (公式2)

对角梯度检测算子1：

   (公式3)

对角梯度检测算子2：

$\mathrm{\ω}=\frac{1}{2}*|G(i,j-1)+G(i-1,j)-G(i+1,j)-G(i,j+1)|$    (公式4)

当中心(i,j)像素处于绿色分量时，

水平梯度检测算子α：

$\mathrm{\α}=\frac{1}{2}*|G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)|$    (公式5)

垂直梯度检测算子β：

$\mathrm{\β}=\frac{1}{2}*|G(i-1,j-1)+G(i-1,j+1)-G(i+1,j-1)-G(i+1,j+1)|$    (公式6)

对角梯度检测算子1：

   (公式7)

对角梯度检测算子2：

$\mathrm{\ω}=\frac{1}{2}*|G(i+1,j-1)+G(i-1,j+1)-G(i-1,j-1)-G(i+1,j+1)|$    (公式8)

根据定义的梯度检测算子计算出每个像素点处水平、垂直和两个对角方向的梯度值，选择其中最小梯度值的方向作为边缘存在的方向并用定义的标志位进行标记。同时，计算出每个绿色分量像素点与周围3×3邻域内蓝色分量和红色分量像素之间的色差值。另外，标志位计算和色差值计算具有的并行处理的显著特点。

其中像素(i,j)处的红绿色差和蓝绿色差定义如下：

$K_{\mathrm{gr}}(i,j)=G(i,j)-\frac{R(i,j-1)+R(i,j+1)}{2}$   (公式9)

$K_{\mathrm{gb}}(i,j)=G(i,j)-\frac{B(i,j-1)+B(i,j+1)}{2}$    (公式10)

步骤二、恢复图像未知绿色分量：

根据步骤一计算得到的每个像素点标志位信息和色差系数，对图像的未知绿色分量进行恢复。由于人眼视觉特性，高效的插值算法都会沿边缘进行插值，而不是跨越边缘，否则会出现模糊和杂色。因此，针对不同边缘的插值公式如下：

当flag分别等于00,01,10,11时，恢复红色分量像素处的未知绿色分量公式分别如下，其中a，b分别是权重系数，经过对a和b的协作调节，本发明a取值b取值

$g(i,j)=a*(R(i,j)+\frac{K_{\mathrm{gr}}(i,j-1)+K_{\mathrm{gr}}(i,j+1)}{2})+b*\left(\frac{G(i-1,j)+G(i+1,j)}{2}\right)$  (公式11)

$g(i,j)=a*(R(i,j)+\frac{K_{\mathrm{gr}}(i-1,j)+K_{\mathrm{gr}}(i+1,j)}{2})+b*\left(\frac{G(i,j-1)+G(i,j+1)}{2}\right)$  (公式12)

$\begin{array}{c}g(i,j)=a*[R(i,j)+a*\left(\frac{K_{\mathrm{gr}}(i-1,j)+K_{\mathrm{gr}}(i,j+1)}{2}\right)+b*\left(\frac{K_{\mathrm{gr}}(i,j-1)+K_{\mathrm{gr}}(i+1,j)}{2}\right)]\\ +b*\left[\frac{G(i,j-1)+G(i-1,j)+G(i,j+1)+G(i+1,j)}{2}\right]\end{array}$  (公式13)

$\begin{array}{c}g(i,j)=a*[R(i,j)+a*\left(\frac{K_{\mathrm{gr}}(i,j+1)+K_{\mathrm{gr}}(i-1,j)}{2}\right)+b*\left(\frac{K_{\mathrm{gr}}(i+1,j)+K_{\mathrm{gr}}(i,j+1)}{2}\right)]\\ +b*\left[\frac{G(i,j-1)+G(i-1,j)+G(i,j+1)+G(i+1,j)}{4}\right]\end{array}$  (公式14）

按照上述公式进行插值，可以恢复出全部的绿色分量。

步骤三、恢复未知红色和蓝色分量：

对步骤二得到的马赛克图像，利用色差定律恢复出剩余的未知红色和蓝色分量。色差定律假设不同分量之间的差值在图像局部范围内,可以看作是接近于一个常数。利用步骤二恢复出的已知绿色分量和待求颜色分量之间颜色差恒定的特点，可以计算得到未知的红色和蓝色分量，完成对全部颜色分量的插值恢复，最终得到插值完成的彩色图像。

本发明与现有技术相比的有益效果在于：

(1)本发明采用基于方向标志位(direction flag bit)的Bayer彩色图像插值方法，与传统基于单通道的插值方法相比保持了更清晰的图像边缘细节，增强了图像的色彩还原度；

(2)本发明在基于边缘梯度检测的Bayer彩色图像插值方法基础上，增加了四个梯度方向边缘检测算子，利用方向标志位信息快速定位像素点的边缘方向，在保持原有算法高质量和快速的同时，进一步提高了图像恢复质量；

(3)本发明采用基于方向标志位(direction flag bit)的Bayer彩色图像插值方法，与传统图像插值算法在恢复绿色分量过程中相比，利用了不同通道间的蓝绿色差信息，并结合了周围领域同色分量的相关性，并根据方向标志位信息对它们进行不同权重赋值，进一步有效提高了绿色分量的恢复精度，保持了清晰的边缘细节；

(4)本发明采用基于方向标志位(direction flag bit)的Bayer彩色图像插值方法，与原有算法在恢复蓝绿分量过程中相比，利用通道间的相关性并结合已经恢复的高精度绿色分量，进一步提高了对蓝绿分量的恢复，增强了图像的色彩还原度。

总之：本发明在保持原有算法低复杂度和高图像质量的基础上，进一步提高了插值精度，增强了图像的色彩还原度，更适合人眼观察或机器进行分析处理，为后续高精度成像提供了基础。

附图说明

图1为本发明方法的整体框架实现流程图；

图2为本发明与传统5种典型算法的效果对比曲线图，横坐标代表测试图片序列号，纵坐标代表方法评价指标SSIM值，序列号从1至6共6幅测试图像，分别代表Caps、Bikes、Parrots、Womanhat、Plane和Cemetry，而SSIM值范围是从0至1，值越接近1代表恢复图像与原图越相似，方法效果越好；

图3(a)和图3(b)分别是测试图像Parrots和其Bayer格式图像，为便于记录，后续附图均以二值黑白图显示。原始图像分辨率为768×512×3×8比特，而Bayer格式图像分辨率为768×512×8比特；

图4(a)和图4(b)分别是对Parrots的Bayer格式恢复出的绿色分量和红蓝分量结果，其中(a)图中每个像素点只含有绿色(G)分量，图像分辨率为768×512×8比特，而(a)图中每个像素点包含有红色(R)和蓝色(B)两种颜色分量，图像分辨率为768×512×2×8比特；

图5为本发明对图像Parrots的Bayer格式最终插值完成恢复出的结果，图像分辨率为768×512×3×8比特；

图6(a)和图6(b)分别是原始图像Parrots和对其插值恢复后图像的2倍局部放大图，原始图像Parrots和恢复图像的分辨率均是768×512×3×8比特的彩色图像；

图7(a)和图7(b)分别是原始图像Caps和对其恢复图像的2倍局部放大图，原始图像Caps和恢复图像的分辨率均是768×512×3×8比特的彩色图像；

图8(a)和图8(b)分别是原始图像Womanhat和对其恢复图像的2倍局部放大图，原始图像Womanhat和恢复图像的分辨率均是480×720×3×8比特的彩色图像。

具体实施方式

下面结合附图对本发明的实施例作详细说明。本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于以下的实施例。

如图1所示，本实施例的算法流程分为：梯度检测、计算方向标志位和色差系数、恢复未知绿色分量、恢复未知红蓝分量四个部分。

本实例提供了一种基于方向标志位(direction flag bit)的Bayer彩色图像插值算法，具体包括如下步骤：

步骤一：梯度检测。本实施例对输入的一幅分辨率为768×512像素，位宽为8比特的Bayer彩色图像进行处理，其中实例Bayer图像的格式为RGGB。本发明方法对其它格式(GBRG、GRBG和BGGR)同样适用。首先从图像左上角坐标(1,1)位置开始，按照从左至右，从上至下的顺序，逐像素进行梯度模板和匹配，边界处像素不存在时复制第1行、第2行和第1列、第2列像素对应补全处理。其中梯度模板包含水平、垂直和对角方向4个算子，而2个对角方向定义为平面直角坐标系中45°或-135°方向和135°或-45°方向，当中心(i,j)像素处于红色或蓝色分量时，梯度检测算子分别如公式(1)～(4)所示，当中心(i,j)像素处于绿色分量时，梯度检测算子分别如公式(5)～(8)所示。

步骤二：计算方向标志位和色差系数。完成步骤一操作后，可以获取得到每个像素点处的四个梯度值，然后根据选取四个梯度值中的最小值所在的方向作为该像素点处的边缘方向，用2位二进制方向标志位00,01,10,11(direction flag bit)分别对每个像素进行标记。其中方向位标记的方法是：如果水平梯度算子α最小，则标记为00；如果垂直梯度算子β最小，则标记为01；如果45°或-135°方向梯度算子最小，则标记为10；如果135°或-45°方向梯度算子ω最小，则标记为11。

在逐像素进行梯度模板匹配和方向位标记的同时，从图像坐标(1,1)位置开始，按照从左至右，从上至下的顺序，对绿色分量(G)像素进行红蓝色差计算，边界处像素不存在时复制第1行、第2行和第1列、第2列像素对应补全处理。其中像素(i,j)处红绿色差和蓝绿色差的公式分别如公式(9)(10)所示。

完成以上操作后，可以获取得到每个像素点的方向标志位信息和绿色分量(G)的蓝绿色差系数K_gr和蓝绿色差系数K_gb。

步骤三：恢复未知绿色分量。完成步骤二操作后，可以获取得到图像中每个像素点处的1个标志位信息和2个色差系数。对未知绿色分量进行插值恢复时，主要的理论基础是方向标志位(direction flag)确定插值应该沿着哪个方向进行，而色彩系数则是指导插值应该插多少。具体来说，以恢复红色分量(R)处的未知G分量为例，当flag等于00时，意味着插值沿着水平进行，这时考虑未知绿色分量与左右相邻的已知红色分量之间的强相关性，赋予该部分较大权重a，而赋予上下相邻的已知绿色分量较小的权重b，插值公式如式(11)。相应flag等于01时，赋予未知绿色分量与上下相邻的已知红色分量之间的强相关性部分较大权重a，赋予左右相邻已知绿色分量较小权重b，插值公式如式(12)。对角方向时，情况略有不同。当flag等于10时，意味着插值应该沿着45°或-135°方向进行，这时考虑色差系数也应该沿着该方向进行权重赋值，同时要考虑周围已知绿色分量的相关性，因此对45°或-135°方向进行分别赋予不同权重a和b，对周围像素均值赋予较小权重b，插值公式如式(13)。同理当flag等于11时，沿着135°或-45°方向赋予不同权值a和b，对周围已经绿色分量均值赋予较小权重b，插值公式如(14)。

步骤四：恢复未知红蓝分量。完成对步骤三的操作后，已经实现对图像全部绿色分量的高精度插值还原，得到全部绿色分量。下面对图像进行未知蓝色分量和未知红色分量进行插值还原，主要是基于高精度还原的绿色分量和未知蓝色和红色分量之间存在着强烈的相关性，相应的理论叫做色差定律，色差定律假设不同分量之间的差值在图像局部范围内,可以看作是接近于一个常数。数学表达为：

R_ij-G_ij＝R_mn-G_mn B_ij-G_ij＝B_mn-G_mn   (公式15)

在上面的等式中，G_ij和G_mn为步骤三求得的值，R_mn和B_mn为已知分量，R_ij和B_ij是要待求的未知红绿分量。因此，利用公式(15)可以计算得到全部的红色分量(R)和蓝色分量(B)，完成对Bayer图像的全部插值。恢复出的彩色图像达到了良好的视觉效果，提高了现有算法的恢复图像质量，增强了图像的色彩对比度，强化了图像的边缘清晰度，可以广泛应用于各种图像采集系统和数码相机系统中。

为了验证本发明方法的有效性，用从网上下载的图像集进行测试。图3(b)为分辨率是768×512×3×8比特的Bayer格式图像，用本发明使用的方法首先对其进行梯度检测，计算出方向标志位(direction flag bit)和色差系数后，恢复出未知的绿色分量后的结果如图4(a)所示。接下来利用绿色分量恢复未知红蓝分量，其插值恢复出的结果如图4(b)所示。最后输出的插值恢复彩色图像如图5所示。从图中可以看到，恢复出的图像与原图相比，较好地保持了图像的色彩对比度和边缘清晰度。

为了定量评估插值方法的性能，随机选取图像集中的6幅图像进行基于方向标志位(direction flag bit)的Bayer彩色图像插值方法实验，同时采用5种常规图像插值方法对相同图像进行插值作为对比，选取被广泛接受的结构相似性(Structural Similarity，SSIM)作为客观评价标准。评估结果如图2所示，从图中可以看出，与大部分传统方法相比，本发明在保持原有方法较低复杂度和较高图像质量的基础上，进一步提高了插值精度，更适合人眼观察，为后续用于高精度图像复原提供了基础。

本发明未详细阐述部分属于本领域技术人员的公知技术。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例变化，变型都将落在本发明权利要求书的范围内。

Claims (4)

1.一种基于方向标志位的Bayer彩色图像插值方法，其特征在于，包括如下步骤：

步骤一、原始Bayer图像边缘梯度检测：

原始Bayer图像中，每个像素点处仅存在三基色分量中的某一种，需要恢复该像素点处缺失的其它两种颜色分量，而原始图像中不同像素点处的三种颜色分量间存在相关性，为降低复杂度，仅考虑某一分量的梯度信息来确定方向标志位；

所述方向标志位含义定义为：

flag＝00表示边缘存在像素点水平方向；

flag＝01表示边缘存在像素点垂直方向；

flag＝10表示边缘存在像素点对角方向1；

flag＝11表示边缘存在像素点对角方向2；

所述梯度检测算子定义如下：

当中心第i行，第j列(i,j)像素处于红色或蓝色分量时，其中G(i,j)代表位于第i行，j列的绿色分量像素灰度值大小，下述符号含义类似；

水平梯度检测算子α：α＝|G(i,j+1)-G(i,j-1)|  (公式1)

垂直梯度检测算子β：β＝|G(i-1,j)-G(i+1,j)|  (公式2)

对角梯度检测算子1：

  (公式3)

对角梯度检测算子2：

$\mathrm{\ω}=\frac{1}{2}*|G(i,j-1)+G(i-1,j)-G(i+1,j)-G(i,j+1)|$   (公式4)

当中心(i,j)像素处于绿色分量时，

水平梯度检测算子α：

$\mathrm{\α}=\frac{1}{2}*|G(i-1,j+1)+G(i+1,j+1)-G(i-1,j-1)-G(i+1,j-1)|$   (公式5)

垂直梯度检测算子β：

$\mathrm{\β}=\frac{1}{2}*|G(i-1,j-1)+G(i-1,j+1)-G(i+1,j-1)-G(i+1,j-1)|$   (公式6)

对角梯度检测算子1：

  (公式7)

对角梯度检测算子2：

$\mathrm{\ω}=\frac{1}{2}*|G(i+1,j-1)+G(i-1,j+1)-G(i-1,j-1)-G(i+1,j+1)|$   (公式8)

根据定义的梯度检测算子计算出每个像素点处水平、垂直和两个对角方向的梯度值，选择其中最小梯度值的方向作为边缘存在的方向并用定义的标志位进行标记；同时，计算出每个绿色分量像素点与周围3×3邻域内红色分量和蓝色分量像素之间的色差值；

其中像素(i,j)处的红绿色差和蓝绿色差定义分别如下：

$K_{\mathrm{gr}}(i,j)=G(i,j)-\frac{R(i,j-1)+R(i,j+1)}{2}$   (公式9)

$K_{\mathrm{gb}}(i,j)=G(i,j)-\frac{B(i,j-1)+B(i,j+1)}{2}$   (公式10)

步骤二、恢复图像未知绿色分量：

根据步骤一计算得到的每个像素点标志位信息和色差系数，对图像的未知绿色分量进行恢复；由于人眼视觉特性，高效的插值算法都会沿边缘进行插值，而不是跨越边缘，否则会出现模糊和杂色；因此，针对不同边缘的插值公式如下：

当flag分别等于00,01,10,11时，恢复红色分量像素处的未知绿色分量公式分别如下，其中a，b分别是相关权重系数。

$g(i,j)=a*(R(i,j)+\frac{K_{\mathrm{gr}}(i,j-1)+K_{\mathrm{gr}}(i,j+1)}{2})+b*\left(\frac{G(i-1,j)+G(i+1,j)}{2}\right)$   (公式11)

$g(i,j)=a*(R(i,j)+\frac{K_{\mathrm{gr}}(i-1,j)+K_{\mathrm{gr}}(i+1,j)}{2})+b*\left(\frac{G(i,j-1)+G(i,j+1)}{2}\right)$   (公式12)

按照上述公式进行插值，可以恢复出全部的绿色分量；

步骤三、恢复未知红色和蓝色分量：

对步骤二得到的马赛克图像，利用色差定律恢复出剩余的未知红色和蓝色分量；色差定律假设不同分量之间的差值在图像局部范围内,可以看作是接近于一个常数；利用步骤二恢复出的已知绿色分量和待求颜色分量之间颜色差恒定的特点，计算得到未知的红色和蓝色分量，完成对全部颜色分量的插值恢复，最终得到插值完成的彩色图像。

2.根据权利要求1所述的基于方向标志位的Bayer彩色图像插值方法，其特征在于，所述步骤一中方向标志位运算和梯度检测能同时进行，具有并行计算的特点。

3.根据权利要求1所述的基于方向标志位的Bayer彩色图像插值方法，其特征在于，所述步骤一公式3中对角方向1是平面直角坐标系中45°或-135°方向，对角方向2是平面直角坐标系中135°或-45°方向。

4.根据权利要求1所述的基于方向标志位的Bayer彩色图像插值方法，其特征在于，所述步骤二中，a和b分别为水平和垂直方向像素相关性的权重系数，取