CN108122201A - 一种拜耳插值拉链效应去除方法 - Google Patents

Abstract

本发明公开了一种拜耳插值拉链效应的去除方法，拜耳插值是一种对彩色滤光片阵列各个像素点所缺少的颜色分量进行插补的装置，拉链效应是在拜耳插值中最容易出现的一种图像误差，本发明利用拉链效应在亮度域突变，在色度域平坦的特征，首先将拜耳插值后的RGB图像数据经过颜色空间变换转换到亮度‑色度颜色空间（如YUV，Lab等），然后逐个判定图像亮度分量像素点所在区域的纹理类型，如果为平坦区域则进行低通滤波，如果是水平或垂直边缘区域则分别进行水平和垂直方向滤波，最后将滤波后的图像亮度分量与原色度分量组成新图像，再经过颜色空间逆变换，得到最终RGB图像。该方法可有效消除拜耳插值产生的拉链效应，显著提高图像质量。

Description

一种拜耳插值拉链效应去除方法

技术领域

本发明涉及图像处理领域，尤其涉及一种彩色滤光片阵列（CFA）颜色插补处理方法及系统。

背景技术

全彩色数码图像在常见显示设备上显示时，一般每个像素会对应一组红、绿、蓝分量，然而，在单传感器图像采集系统中，传感器中的每个感光单元都会覆盖一种特定的颜色滤光片，由这些滤光片组成的阵列叫做彩色滤光片阵列（CFA），每个感光单元只负责采集其彩色滤光片所对应的一种色彩信息，单传感器系统得到的原始（RAW）数据中并没有完全包含每个像素位置所需的全部红、绿、蓝信息，因此，由该原始数据获取全彩色图像时，需要用到颜色插补装置。

在实际应用中，彩色滤光片阵列（CFA）有很多种，其中最常见的为拜耳（Bayer）阵列，由拜耳阵列类型的传感器得到原始图像数据称为拜耳图像数据，一般称由拜耳图像数据得到全彩色图像数据的方法为拜耳插值。目前，常见的拜耳插值方法有双线性插值方法、Hamilton & Adam边缘自适应插值方法等，这些方法在图像平坦区以及普通纹理区通常可以得到比较好的效果，但是在纹理密集区或高对比度边缘区这些方法往往会出现严重的拉链效应。

发明内容

为了解决目前拜耳插值方法容易出现的拉链效应问题，本发明提出了一种拜耳插值拉链效应去除方法，本发明不同于传统的拉链效应去除方法，其处理的是拜耳插值后的图像数据，与具体的拜耳插值方法无关，即其可以用来去除任意拜耳插值方法所产生的拉链效应；一般地，图像拉链效应在图像的边缘区域较容易发生，且主要体现在亮度分量上，本发明利用图像拉链效应的这种特征提出，针对图像不同纹理区域做不同滤波的方法来去除拉链效应，该方法可以做到在最大限度保留图像细节的同时去除拉链效应；需要说明的是，本发明公开的具体实施方式并不限制本发明的公开范围，本发明公开范围还包含未在具体实施例中的各个方面。

为实现本发明的目的，本发明提供的技术方案是：一种拜耳插值拉链效应去除方法，其步骤如下。

步骤一，将拜耳插值后的RGB图像数据经过颜色空间变换转换到亮度-色度颜色空间，所述亮度-色度颜色空间是指可以将图像分解为亮度数据及色度数据的颜色空间，亮度-色度颜色空间可以由很多种，包括YUV颜色空间，Lab颜色空间等，所述YUV颜色空间，Y为亮度数据，U和V为色度数据，所述Lab颜色空间，L为亮度数据，a和b为色度数据。

步骤二，根据步骤一所述图像亮度数据，判定出每个像素点的区域纹理类型，所述区域的纹理类型包括：平坦区，水平纹理区，垂直纹理区。

步骤三，对步骤一所述图像亮度数据进行方向滤波，所述方向滤波为：对平坦区像素数据进行低通滤波，对水平纹理区像素数据进行水平方向滤波，对垂直纹理区像素数据进行垂直方向滤波。

步骤四，将步骤三所述滤波后的图像亮度数据与步骤一所述图像色度数据组合成新图像，并根据步骤一所述颜色空间变换选择相应的颜色空间逆变换，得到最终的RGB图像数据。

附图说明

图1为本发明一个实施例所述一种拜耳插值拉链效应去除方法的流程示意图。

图2为本发明一个实施例所述包括具有拉链效应去除模块的图像处理系统的示意图。

图3为本发明一个实施例所述拜耳图像数据结构示意图。

图4为本发明一个实施例所述拜耳插之后的RGB图像数据结构示意图。

图5为本发明一个实施例所述颜色空间转换后的YUV图像数据结构示意图。

图6为本发明另一个实施例所述包括带有拉链效应去除模块的拜耳插值方法的图像处理系统的示意图。

具体实施方式

下面结合附图对本发明做进一步的说明。

图2展示了一个带有拉链效应去除模块的图像处理系统的具体实施例，该图像处理系统主要包括图像采集单元202、图像处理器201以及图像输出或存储单元208，图像采集单元202与图像处理器201相连接，图像处理器201与图像输出或存储单元208相连接，图像处理器201用于接收并处理图像采集单元202采集的图像数据，并送给图像输出或存储单元208用以显示在终端屏幕上，或者储存于非易失存储装置中。

在特定实施例中，所述图像采集单元可表述为相机或者图像传感器，其采集的拜耳图像数据结构如图3所示，需要说明的是，图3所展示的只是拜耳图像数据结构中的一种RGGB结构，另外还有BGGR/GBRG/GRBG等结构类型。

所述图像处理器201中的拜耳插值模块203，可对拜耳图像数据中缺失的颜色分量进行插补，其输出RGB图像数据结构如图4所示。

所述图像处理器中的拉链效应去除模块204，可对拜耳插值后的图像数据进行处理，其首先判定出图像的不同纹理区域，然后根据不同纹理区域进行不同的滤波处理，最终得到无拉链效应的图像数据，需要说明的是，在特定的实施例中，拜耳插值模块可以包含本发明所述的拉链效应去除模块形成一种带有拉链效应去除模块的拜耳插值模块如图6中603所示，该方法同样在本发明公开范围之内。

所述图像处理器中的颜色校准和伽马矫正模块206，用于执行颜色空间校准功能，其可以将非标准颜色空间图像数据转换为标准颜色空间图像数据，例如sRGB颜色空间等。

所述图像处理器中的颜色空间转换模块207，用于将标准颜色空间图像数据转换为图像输出或存储格式数据，例如YUV数据，图5给出了YUV图像数据结构示意图。

所述图像输出或存储单元，可表述为显示装置（如显示器，投影仪）或非易失存储装置（如硬盘，Nand Flash等）。

参见图1，其描述了一种拜耳插值拉链效应去除方法的一个特定实施例，该实施例步骤如下：

步骤一，颜色空间变换101，将拜耳插值后的RGB图像数据经过颜色空间变换转换到亮度-色度颜色空间，得到图像亮度和色度数据，所述亮度-色度颜色空间是指可以将图像分解为亮度数据及色度数据的颜色空间，在一个特定实施例中，采用式(1)作为颜色空间变换公式，其可以得到标准的YUV数据；

(1)

在另一个实施例中，也可以采用式(2)所示简化颜色空间变换方法，该变换可有效降低计算复杂度，且同样可以得到较好的效果；

(2)

步骤二，纹理类型判定102，根据步骤一所述图像亮度数据，判定出每个像素点所在区域的纹理类型，所述区域的纹理类型包括：平坦区，水平纹理区，垂直纹理区，在一个特定实施例中，所述区域的纹理类型判定方法如下：

利用(3)式所示滤波器对图像亮度分量进行滤波得到水平纹理强度；

(3)

利用(4)式所示滤波器对图像亮度分量进行滤波得到垂直纹理强度；

(4)

最后利用水平纹理强度和垂直纹理强度来判定纹理区域类型，假设0表示平坦区，1表示水平纹理区，2表示垂直纹理区，表示平坦区域阈值，则纹理区域类型判定方程如式(5)所示：

(5)

步骤三，低通滤波103，水平方向滤波104，垂直方向滤波105，对步骤一所述图像亮度数据结合步骤二所述纹理类型进行方向滤波，所述方向滤波为：对平坦区像素数据进行低通滤波103，对水平纹理区像素数据进行水平方向滤波104，对垂直纹理区像素数据进行垂直方向滤波105，具体滤波方式描述如下：

当前像素区域类型为平坦区时，对该区域像素数据进行低通滤波，在一个特定实施例中使用式(6)所示低通滤波器；

(6)

当前像素区域类型为水平纹理区时，对该区域像素数据执行水平方向滤波，在一个特定实施例中使用式(7)所示水平方向滤波器；

(7)

当前像素区域类型为垂直纹理区时，对该区域像素数据执行垂直方向滤波，在一个特定实施例中使用式(8)所示垂直方向滤波器；

(8)

步骤四，颜色空间逆变换106，将步骤三所述滤波后的图像亮度数据与步骤一所述图像色度数据和组合成新图像，并根据步骤一所述颜色空间变换选择相应的颜色空间逆变换，得到最终的RGB图像数据；对应于步骤一中第一个特定实施例，采用式(9)作为颜色空间逆变换公式，其可以到的最终的RGB数据；

(9)

对应于步骤一中第二个特定实施例，采用式(10)作为颜色空间逆变换公式，也可以到的最终的RGB数据；

(10)。

需要说明的是，本发明步骤一所使用的颜色空间变换并不局限与实施例中提到的YUV和Lab，任何可分离的亮度-色度颜色空间都在本发明公开范围之内。本发明步骤二计算水平和垂直纹理强度方法同样不局限于式(3)和式(4)，本发明公开范围包含任何可以计算水平和垂直纹理强度的方法。本发明步骤三采用的低通滤波方式，同样不限于式(6)，本发明公开范围包含任何可以用做低通滤波的滤波器，尤其也包括中值滤波等非线性滤波器，另外步骤三所公开的方向滤波器，同样也包含其他具有方向滤波作用的滤波器类型。

本发明利用拉链效应在亮度域突变，在色度域平坦的特征，只对图像亮度分量进行分纹理区滤波处理，其可以做到最大限度地保存图像正常纹理的同时有效去除拉链效应。

综上所述，在现有技术中，对拜耳图像数据进行颜色插补操作时，有许多方法都会在图像纹理丰富的区域产生拉链效应，本发明在基本颜色插补操作之后，引入针对图像亮度分量分纹理区滤波处理的方法，可有效去除颜色插补产生的拉链效应，从而显著地提高了图像质量。

Claims (9)

1.一种拜耳插值拉链效应去除方法，该方法包括如下步骤：

步骤一，将拜耳插值后的图像数据经过颜色空间变换转换到亮度-色度颜色空间；

步骤二，根据步骤一所述图像亮度数据，判定出该图像每个像素的区域纹理类型；

步骤三，根据该图像每个像素所在区域的纹理类型，对所述图像亮度数据进行方向滤波；

步骤四，将步骤三所述滤波后的图像亮度数据与步骤一所述图像色度数据组合成新图像，进行颜色空间逆变换，得到最终图像数据。

2.根据权利要求1所述的拜耳插值后的图像数据，其特征在于，包括R、G、B三个颜色通道。

3.根据权利要求1所述的亮度-色度颜色空间，其特征在于，是指可以将图像分解为亮度数据及色度数据的颜色空间，包括YUV、Lab等。

4.根据权利要求1所述的区域纹理类型，其特征在于，包括：平坦区，水平纹理区，垂直纹理区。

5.根据权利要求1和4所述的区域纹理类型判定方法，其特征在于，首先计算出图像亮度分量的水平和垂直纹理强度，当水平和垂直纹理强度都小于一定阈值时，则判定为平坦区，否则，如果水平纹理强度大于垂直纹理强度，则判定为水平纹理区，如果垂直纹理强度大于水平纹理强度，则判定为垂直纹理区。

6.根据权利要求1所述的方向滤波，其特征在于，包括低通滤波，水平方向滤波，垂直方向滤波。

7.根据权利要求6所述的低通滤波，水平方向滤波，垂直方向滤波，其特征在于，包括平均滤波、高斯滤波、中值滤波等滤波类型。

8.根据权利要求1所述的颜色空间变换，其特征还在于，其变换后的图像数据，包括亮度和色度数据。

9.根据权利要求1所述的颜色空间变换和颜色空间逆变换，其特征在于，两者变换矩阵都为可逆矩阵，且两者变换矩阵的乘积为单位矩阵。