CN108024100A - 基于改进边缘导向的Bayer格式图像插值方法 - Google Patents

Abstract

一种基于改进边缘导向的Bayer格式图像插值方法，首先在一个Bayer像素阵列中使用边缘导向的插值重建得到第一、第二像素缺失的第三分量，然后基于该第三分量，分别在第二、第一插值点像素上以边缘导向的插值分别重建得到第一、第二分量，最后基于该第一、第二分量以边缘导向的插值重建得到第三色像素缺失的第二、第一分量。本发明利用了各颜色通道之间的相关性和边缘导向插值思想，对插值方法和传统边缘导向插值方法进行改进和优化，运用梯度法和色差定律，对R、G、B三通道均使用了边缘导向插值，除了能有效加强插值效果外，还简单易行，容易实现。

Description

基于改进边缘导向的Bayer格式图像插值方法

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于改进边缘导向的Bayer格式图像插值方法。

背景技术

现有的Bayer格式图像插值方法中有些过于复杂，难以在硬件上实现，只停留在理论层面，有些方法未过于复杂但是插值效果存在改进的空间。

数字图像采集系统中，多使用CCD或CMOS图像传感器，其原理是在感光表面覆盖一层彩色滤波阵列(Color Filter Array，CFA)，在多种CFA中，Bayer CFA最为经典，应用最为广泛。Bayer CFA中，感光表面交替覆盖着一层蓝色滤镜、绿色滤镜和红色滤镜，有1/2的像素为绿色像素，红色像素和蓝色像素各占1/4，这是因为人眼对绿色更为敏感，这样的颜色排列使得人眼能分辨更多的颜色细节。由于采用Bayer CFA所采集的图像在每一个像素点的位置上只有一种颜色分量，为了获得另外两种缺失的颜色分量，需要利用这个像素以及其周围像素的强度相关性进行估算，这个过程叫做彩色插值(Color Interpolation)。彩色插值方法大概可以分为两类：

第一类是在进行插值时，单个的颜色通道独立插值，例如一个像素的未知G通道分量仅由其余像素的已知G通道分量估算得出，而与R分量和B分量无关，这类方法包括双线性插值法、邻域插值法、卷积插值法等，其中最典型的方法是双线性插值法。第一类插值方法复杂度低，易于实现，但是方法忽略了各颜色通道之间的相关性，虽然在平滑区域能得到较好的结果，但是在边界区域会失真明显。

第二类插值方法利用了多通道之间的相关性，即像素的未知G通道分量不仅由周围已知G通道分量决定，而且与周围像素的R分量和B分量密切相关。第二类插值算法能更好地还原细节及边界，这类算法包括边缘导向插值方法、自适应颜色插值方法、基于小波变换或傅里叶变换的颜色插值方法等，虽然第二类插值方法恢复效果较好，但是这些方法中有些过于复杂，难以实现。

目前比较典型的插值方法是双线性插值和边缘导向插值，很多改进插值方法都是基于这两种方法。

双线性插值方法：双线性插值方法一般是对图像进行3x3窗口处理，这种方法的实质是，需插值的颜色分量等于相邻区域同色分量的均值。双线性插值方法对每个分量进行的是单独插值，没有利用颜色通道之间的相关性，因此插值得到的图像可能会出现伪彩色。但是由于这种插值方法效果良好，并且简单、易于实现，是很多改进方法的基础。

边缘导向插值方法：不同颜色通道之间有很强的相关性，边缘导向插值方法即利用了颜色通道之间的相关性，改善了边缘恢复效果。首先计算插值点(红蓝像素)的水平梯度和垂直梯度，取较小的梯度作为插值方向，插值得到缺失的绿色分量信息，再依据色差定律，对插值点插值得到红色分量和蓝色分量。插值过程中，充分利用了颜色通道之间的相关性，相比双线性插值方法有了较明显的提高，但是仅在插值G分量时考虑到了插值方向，插值R分量和B分量时并没有考虑到边缘导向。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于改进边缘导向的Bayer格式图像插值方法，利用了各颜色通道之间的相关性和边缘导向插值思想，对双线性插值方法和传统边缘导向插值方法进行改进和优化，运用梯度法和色差定律，对R、G、B三通道均使用了边缘导向插值，除了能有效加强插值效果外，还简单易行，容易实现。

本发明是通过以下技术方案实现的：

本发明涉及一种基于改进边缘导向的Bayer格式图像插值方法，首先在一个Bayer像素阵列中使用边缘导向的插值重建得到第一、第二像素缺失的第三分量，然后基于该第三分量，分别在第二、第一插值点像素上以边缘导向的插值分别重建得到第一、第二分量，最后基于该第一、第二分量以边缘导向的插值重建得到第三色像素缺失的第二、第一分量。

所述的第一像素、第二像素、第三像素、第一分量、第二分量以及第三分量分别对应为红色、蓝色和绿色像素以及红色、蓝色绿色分量中的任一。

步骤1)重建第一、第二像素的第三分量，具体为：

①计算出插值点的水平梯度和垂直梯度，即将插值点左右像素的第三分量相减的绝对值大小作为水平梯度，将插值点上下像素的第三分量相减的绝对值大小作为垂直梯度；插值点R_i,j或B_i,j的水平梯度△H和垂直梯度△V分别为：△H＝|G_i-1，j-G_i+1，j|，△V＝|G_i，j-1-G_i，j+1|，其中：下标表示的是像素的位置，下标的第一位表示行数，第二位表示列数；

②将两个梯度的较小值所代表的方向作为插值方向，即当水平梯度小于垂直梯度时，水平方向为插值方向，否则垂直方向为插值方向；若两梯度值相等，不考虑插值方向；

③利用边缘导向的双线性插值得到R像素和B像素缺失的G分量，具体为：当插值方向为水平方向，插值点缺失的第三分量值为左右两个像素第三分量值的平均值；当插值方向为垂直方向，插值点缺失的第三分量值为上下两个像素第三分量值的平均值；当水平梯度等于垂直梯度，插值点缺失的第三分量值为上下左右四个像素第三分量值的平均值，即：

G分量的插值为：

步骤2)重建第二像素的第一分量，具体为：

①以第二色插值点像素为中心，取3×3像素窗口，此正方形窗口的两个对角线分别称为主对角线和次对角线，主对角线和次对角线顶点位置处的像素均为第一像素，计算这四个顶点的R-G值，即R-G色差空间；

②计算R-G色差空间的主对角线梯度和次对角线梯度，主对角线梯度为3×3窗口右上顶点|R-G|和左下顶点处的|R-G|差值的绝对值，次对角线梯度为3×3窗口左上顶点|R-G|和右下顶点处的|R-G|差值的绝对值，插值点B_i，j的主对角线梯度△M和次对角线梯度△N分别为：△M＝||R_i-1，j-1-G_i-1，j-1|-|R_i+1，j+1-G_i+1，j+1||，△N＝||R_i-1，j+1-G_i-1，j+1|-|R_i+1，j-1-G_i+1，j-1||；

③将主对角线梯度和次对角线梯度中的较小值所代表的方向作为插值方向，即主对角线梯度小于次对角线梯度时，主对角线方向为插值方向，主对角线梯度大于次对角线梯度时，次对角线方向为插值方向；若两梯度值相等，不考虑插值方向；

④利用边缘导向的双线性插值得到B像素缺失的R分量，具体为：当插值方向为主对角线方向，则插值点B_i，j的R-G值为主对角线两个顶点位置像素的R-G的平均值，因为插值点的G值已经通过步骤1)得到，因此可以得到第二色插值点缺失的第一分量

步骤3)重建第一像素的第二分量，具体为：

①以第一色插值点像素为中心，取3×3像素窗口，主对角线和次对角线顶点位置处的像素均为第二像素，计算这四个顶点的B-G值，即B-G色差空间；

②计算B-G色差空间的主对角线梯度和次对角线梯度，主对角线梯度为3×3窗口右上顶点|B-G|和左下顶点处的|B-G|差值的绝对值，次对角线梯度为3×3窗口左上顶点的|B-G|和右下顶点处的|B-G|差值的绝对值，插值点R_i，j的主对角线梯度△M和次对角线梯度△N分别为：△M＝||B_i-1，j-1-G_i-1，j-1|-|B_i+1，j+1-G_i+1，j+1||，△N＝||B_i-1，j+1-G_i-1，j+1|-|B_i+1，j-1-C_i+1，j-1||。

③将主对角线梯度和次对角线梯度中的较小值所代表的方向作为插值方向，即主对角线梯度小于次对角线梯度时，主对角线方向为插值方向，主对角线梯度大于次对角线梯度时，次对角线方向为插值方向；

④利用边缘导向的双线性插值得到R像素缺失的B分量，具体为：当插值方向为主对角线方向，则插值点R_i,j的B-G值为主对角线两个顶点位置像素的B-G的平均值，因为插值点的G值已经通过步骤1)得到，因此可以得到第一色插值点缺失的第二分量

步骤4)重建第三像素的第一、第二分量，具体方法是：

①由步骤2)和步骤3)，第三像素上下位置的第二像素缺失的第一分量、左右位置的第一像素缺失的第二分量均已插值得到，因此可以计算第三像素插值点的第一色水平梯度、第一色垂直梯度和第二色水平梯度、第二色垂直梯度，其中：插值点G_i,j的第一色水平梯度△H和第一色垂直梯度△V分别为：△H＝|R_i-1，j-R_i+1，j|，△V＝|R_i，j-1-R_i，j+1|，第二色水平梯度、第二色垂直梯度同理。

②将两个梯度的较小值所代表的方向作为插值方向，即水平梯度小于垂直梯度时，水平方向为插值方向，垂直梯度小于水平梯度时，垂直方向为插值方向；

③利用边缘导向的双线性插值得到第三像素缺失的第一或第二分量，具体为：当插值方向为水平方向，插值点缺失的第一或第二分量值为左右两个像素第一或第二分量值的平均值；当插值方向为垂直方向，插值点缺失的第一或第二分量值为上下两个像素第一或第二分量值的平均值；当水平梯度等于垂直梯度，插值点缺失的第一或第二分量值为上下左右四个像素第一或第二分量值的平均值。

技术效果

与现有技术相比，本发明提出的改进边缘导向插值方法中，每一步重建过程均使用边缘导向插值实现边缘检测，插值效果更为细腻平滑。

附图说明

图1为Bayer格式彩色滤波阵列示意图；

图2为实施例方法流程示意图；

图3为实施例与其余两种方法插值得到的图像对比图。

具体实施方式

本实施例适用于图像传感器数据采集格式为Bayer格式的颜色插值，图1展示了Bayer格式彩色滤波阵列的排列方式。

在具体描述方式的阐述过程中，R、G、B分量分别代表红色、绿色、蓝色分量，Bayer格式彩色滤波阵列中的每一小块表示一个像素，分别有红色像素、绿色像素和蓝色像素，下标表示的是像素的位置，下标的第一位表示行数，第二位表示列数。

如图2所示，本实施例以第一、第二、第三分别对应红色、蓝色、绿色为例，通过重建绿色分量，然后重建蓝色像素的红色分量，再重建红色像素的蓝色分量，最后重建绿色像素的红蓝分量。

步骤1)重建红蓝像素的绿色分量，具体为：

①计算出插值点的水平梯度和垂直梯度，即将插值点左右像素的绿色分量相减的绝对值大小作为水平梯度，将插值点上下像素的绿色分量相减的绝对值大小作为垂直梯度；以B₃₃像素为例，插值点B₃₃的水平梯度△H和垂直梯度△V分别为：△H＝|G₃₄-G₃₂|，△V＝|G₂₃-G₄₃|。

②将两个梯度的较小值所代表的方向作为插值方向，即水平梯度小于垂直梯度时，水平方向为插值方向，垂直梯度小于水平梯度时，垂直方向为插值方向；

③利用边缘导向的双线性插值得到R像素和B像素缺失的G分量，具体为：当插值方向为水平方向，插值点缺失的绿色分量值为左右两个像素绿色分量值的平均值；当插值方向为垂直方向，插值点缺失的绿色分量值为上下两个像素绿色分量值的平均值；当水平梯度等于垂直梯度，插值点缺失的绿色分量值为上下左右四个像素绿色分量值的平均值。以B₃₃像素为例，G分量的插值为：

步骤2)重建蓝色像素的红色分量，具体为：

①以蓝色插值点像素为中心，取3×3像素窗口，此正方形窗口的两个对角线分别称为主对角线和次对角线，主对角线和次对角线顶点位置处的像素均为红色像素，计算这四个顶点的R-G值，即R-G色差空间；

②计算R-G色差空间的主对角线梯度和次对角线梯度，主对角线梯度为3×3窗口右上顶点|R-G|和左下顶点处的|R-G|差值的绝对值，次对角线梯度为3×3窗口左上顶点|R-G|和右下顶点处的|R-G|差值的绝对值，以B₃₃像素为例，其主对角线梯度△M和次对角线梯度△N分别为：△M＝||R₂₂-G₂₂|-|R₄₄-G₄₄||，△N＝||R₂₄-G₂₄|-|R₄₂-G₄₂||。

③将主对角线梯度和次对角线梯度中的较小值所代表的方向作为插值方向，即主对角线梯度小于次对角线梯度时，主对角线方向为插值方向，主对角线梯度大于次对角线梯度时，次对角线方向为插值方向；

④利用边缘导向的双线性插值得到B像素缺失的R分量，具体为：当插值方向为主对角线方向，则插值点B_i,j的R-G值为主对角线两个顶点位置像素的R-G的平均值，因为插值点的G值已经通过(1)得到，因此可以得到蓝色插值点缺失的红色分量，B₃₃像素的R分量为

步骤3)重建红色像素的蓝色分量，具体为：

①以红色插值点像素为中心，取3×3像素窗口，主对角线和次对角线顶点位置处的像素均为蓝色像素，计算这四个顶点的B-G值，即B-G色差空间；

②计算B-G色差空间的主对角线梯度和次对角线梯度，主对角线梯度为3×3窗口右上顶点|B-G|和左下顶点处的|B-G|差值的绝对值，次对角线梯度为3×3窗口左上顶点|B-G|和右下顶点处的|B-G|差值的绝对值；

③将主对角线梯度和次对角线梯度中的较小值所代表的方向作为插值方向，即主对角线梯度小于次对角线梯度时，主对角线方向为插值方向，主对角线梯度大于次对角线梯度时，次对角线方向为插值方向；

④利用边缘导向的双线性插值得到R像素缺失的B分量，具体为：当插值方向为主对角线方向，则插值点R_i,j的B-G值为主对角线两个顶点位置像素的B-G的平均值，因为插值点的G值已经通过(1)得到，因此可以得到红色插值点缺失的蓝色分量。

步骤4)重建绿色像素的红蓝分量，具体为：

①由步骤(2)(3)，绿色像素上下位置的蓝色像素缺失的红色分量、左右位置的红色像素缺失的蓝色分量均已插值得到，因此可以计算绿色像素插值点的红色水平梯度、红色垂直梯度和蓝色水平梯度、蓝色垂直梯度。以G₃₄像素为例，其蓝色水平梯度△H和蓝色垂直梯度△V分别为：△H＝|B₃₅-B₃₃|，△v＝|B₂₄-B₄₄|。

②将两个梯度的较小值所代表的方向作为插值方向，即水平梯度小于垂直梯度时，水平方向为插值方向，垂直梯度小于水平梯度时，垂直方向为插值方向；

③利用边缘导向的双线性插值得到G像素缺失的R(或B)分量，具体为：当插值方向为水平方向，插值点缺失的R(或B)分量值为左右两个像素R(或B)分量值的平均值；当插值方向为垂直方向，插值点缺失的R(或B)分量值为上下两个像素R(或B)分量值的平均值；当水平梯度等于垂直梯度，插值点缺失的R(或B)分量值为上下左右四个像素R(或B)分量值的平均值。以G₃₄像素插值B分量为例，

峰值信噪比PSNR是衡量图像失真的客观标准，原图像和处理后图像之间的PSNR值越小，失真越明显。其中：max表示每位像素的颜色深度，8位图像数据的max为256。MSE表示原图像和处理图像的均方差，m×n大小的A、B图之间的

为了验证本方法提出的插值方法的有效性和优越性，将本方法与双线性插值、传统边缘导向插值各自插值得到图像进行了对比，并且根据客观的PSNR值的计算进一步验证插值效果。

插值效果对比如图3所示，图像三通道的PSNR值计算如下表，

上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。

Claims (6)

1.一种基于改进边缘导向的Bayer格式图像插值方法，其特征在于，首先在一个Bayer像素阵列中使用边缘导向的插值重建得到第一、第二像素缺失的第三分量，然后基于该第三分量，分别在第二、第一插值点像素上以边缘导向的插值分别重建得到第一、第二分量，最后基于该第一、第二分量以边缘导向的插值重建得到第三色像素缺失的第二、第一分量；

所述的第一像素、第二像素、第三像素、第一分量、第二分量以及第三分量分别对应为红色、蓝色和绿色像素以及红色、蓝色绿色分量中的任一。

2.根据权利要求1所述的方法，其特征是，所述的边缘导向是指：计算插值点的水平梯度和垂直梯度或计算以插值点为中心的正方形像素阵列的主、次对角线色差空间的梯度，以两个梯度中的较小值作为插值方向。

3.根据权利要求1所述的方法，其特征是，所述的插值是指：在边缘导向确定的插值方向以两侧相邻像素的分量的平均值作为重建的分量。

4.根据权利要求1或2所述的方法，其特征是，所述的插值方向具体通过以下方式得到：将插值点左右像素的第三分量相减的绝对值大小作为水平梯度，将插值点上下像素的第三分量相减的绝对值大小作为垂直梯度；插值点R_i,j或B_i,j的水平梯度△H和垂直梯度△V分别为：△H＝|G_i-1,j-G_i+1,j|，△V＝|G_i,j-1-G_i,j+1|，其中：下标表示的是像素的位置，下标的第一位表示行数，第二位表示列数；将两个梯度的较小值所代表的方向作为插值方向，即当水平梯度小于垂直梯度时，水平方向为插值方向，否则垂直方向为插值方向，当两梯度值相等，不考虑插值方向。

5.根据权利要求1或2所述的方法，其特征是，所述的插值方向具体通过以下方式得到：以第一或第二插值点像素为中心，取3×3像素窗口，主对角线和次对角线顶点位置处的像素均为第二或第一像素，计算这四个顶点的色差空间的主对角线梯度和次对角线梯度，将主对角线梯度和次对角线梯度中的较小值所代表的方向作为插值方向，即主对角线梯度小于次对角线梯度时，主对角线方向为插值方向，主对角线梯度大于次对角线梯度时，次对角线方向为插值方向。

6.根据权利要求1或3所述的方法，其特征是，所述的重建，包括第二、第一像素上第三分量的重建、第二、第一插值点像素上第一、第二分量的重建以及第三像素上第一或第二分量的重建，其中：

第二、第一像素上的第三分量的插值为：

第二插值点像素上的第一分量

第一插值点像素上的第二分量

第三像素上的第一或第二分量为：当插值方向为水平方向，插值点缺失的第一或第二分量值为左右两个像素第一或第二分量值的平均值；当插值方向为垂直方向，插值点缺失的第一或第二分量值为上下两个像素第一或第二分量值的平均值；当水平梯度等于垂直梯度，插值点缺失的第一或第二分量值为上下左右四个像素第一或第二分量值的平均值。