CN104539919B - 图像传感器的去马赛克方法及装置 - Google Patents

Abstract

本发明公开了一种图像传感器的去马赛克方法及装置，该方法包括：将以2×2为最小采样周期，在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；定义亮度及色度分量与图像传感器的四个滤镜对应的原始色域的转换关系，并将RAW图像看成四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；分别对亮度及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度及色度信号；通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到对应的原始色域图像信号，本发明可解决去马赛克后输出图像分辨率低、亮色混叠严重等问题。

Description

图像传感器的去马赛克方法及装置

技术领域

本发明涉及图像信号处理领域，特别是涉及一种基于以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的去马赛克方法及装置。

背景技术

Bayer格式的图像传感器在每个像素位置上只采样红绿蓝三原色中的一种。为了提升去马赛克后输出图像的分辨率，Bayer格式图像传感器在其2×2的最小采样周期的对角线位置上采样绿色。

某些应用要求成像设备能够同时提供被摄场景的RGB图像和红外图像，从降低成本的角度考虑，这就需要图像传感器在采样红绿蓝三原色的同时也采集红外光。在现有Bayer格式传感器基础上最简单的一种改进方法是将现有2×2最小采样周期对角线上的一个绿色滤镜换成红外滤镜。如图1所示，是一种改进型图像传感器。图2是这种改进型图像传感器对应的一个典型的量化响应曲线，横坐标是入射光波长，纵坐标是不同波长对应的量化效率。后续为了说明的方便，称这种改进型图像传感器为RGBIR传感器。

由于红外(Infrared Radiation，IR)通道和绿色通道对入射光的量化响应曲线形状存在极大差异，导致了对角线位置上绿色和红外的采样值一般也差异较大。而传统针对Bayer格式的去马赛克方法的处理流程一般是首先利用Bayer采样对角线上的两个绿色通道的相关性，内插出全分辨率的绿色通道，然后再基于局部色差一致性的假设，内插出全分辨率的红色和蓝色通道。不难看出，将一个绿色通道替换成了红外通道之后，四个通道的采样率一致，所以这种先内插高采样率的绿色通道的去马赛克方法显然不再适用于改进型的图像传感器。

虽然，将双线性(bilinear)、双三次(bicubic)等普通的内插方法分别作用于RGBIR传感器的四个通道可以完成RGBIR的去马赛克操作，输出四个全分辨率的图像。但是这类将每个通道独立内插的做法完全没有利用通道间的信息，去马赛克后输出图像的效果会存在分辨率低、亮色混叠严重等问题。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种图像传感器的去马赛克方法及装置，其能够在保证输入例如RGBIR格式的RAW(原始)图像经过去马赛克操作后输出图像分辨率较高的同时抑制高频部分的亮色混叠现象，同时弱化了去马赛克输出图像常见的“网格”等人工痕迹。

为达上述及其它目的，本发明提出一种图像传感器的去马赛克方法，包括如下步骤：

步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；

步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；

步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；

步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。

进一步地，步骤三中，亮度分量的去马赛克运算通过一个亮度滤波器和输入的RAW数据进行卷积运算从RAW数据中恢复出亮度信号或在3个色度分量都完成去马赛克运算之后由原始RAW数据和卷积得到的色度分量之和相减获得。

进一步地，所述亮度滤波器的参数预先设定或根据RAW图像中当前像素的局部特征动态调整。

进一步地，所述根据RAW图像中当前像素的局部特征动态调整包括如下方法：

先计算以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数；或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域，若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则判断当前像素所在频段，并选用在该频段上响应较好的亮度滤波器参数。

进一步地，所述对于平坦区域的判定，指计算各方向间的梯度差或比值并与预定义阈值比较，当结果小于预定义阈值且各方向的梯度绝对值也小于预定义阈值时，认为是平坦区域；所述对于边界区域的判定，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果大于预定义阈值且被减或被除梯度所示方向的梯度绝对值也大于预定义阈值时，认为是边界区域；若当前像素既不在平坦区域，也不在边界区域，则该像素处于细节区域。

进一步地，所述判断当前像素所在频段由以下方法近似得到：预定义几组通过频率不同的带通滤波器和当前像素所在n×n邻域做卷积运算后取最大值，其对应的带通滤波器通过频率为当前像素所在频段。

进一步地，步骤三中，所述色度分量去马赛克的运算通过三个高通滤波器分别和输入的RAW数据进行卷积运算，从RAW数据中分别恢复出色度信号或其中某一个色度分量的去马赛克输出在亮度和其他2个色度分量完成去马赛克运算之后由原始RAW数据与亮度和其他2个色度分量之和相减获得。

进一步地，所述高通滤波器的参数预先设定或利用以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数或根据RAW图像中当前像素的局部特征以及该亮度滤波器参数动态调整。

进一步地，所述根据RAW图像中当前像素的局部特征以及上述亮度滤波器参数动态调整色度滤波器参数为：若当前像素对应的亮度滤波器的通带接近默认色度滤波器的通带时，抑制色度滤波器的幅值；反之，则保留色度滤波器的幅值。

进一步地，该图像传感器为RGBIR图像传感器，在步骤301之前，还包括对第四通道进行预校正运算的步骤，所述第四通道指RGB通道外的通道。

进一步地，所述第四通道的预校正运算由校正因子和第四通道分量相乘完成，所述校正因子包括全局校正因子和局部校正因子，所述全局校正因子由输入的RAW图像中RGB通道的平均值和第四通道平均值相除获得，所述局部校正因子由当前第四通道邻域内的RGB通道的平均值和第四通道平均值相除获得，全局校正因子和局部校正因子通过加权系数融合得到所述校正因子。

为达到上述目的，本发明还提供一种图像传感器的去马赛克装置，包括：

原始RAW图像输入单元，用于获取以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的原始RAW图像；

前处理单元，将原始的RAW图像看成为四个全幅面的图像经过采样函数相加后的输出结果，并定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜对应的原始色域的转换关系，将全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；

去马赛克单元，利用预设的参数或者内插参数生成单元动态生成的参数与RAW图像进行卷积运算内插至全幅面图像；

全幅面图像输出单元，经过矩阵变换输出最终全幅面的原始色域图像。

进一步地，该装置还包括：

第一统计单元，用于统计输入的RAW图像中RGB均值和第四通道均值的比例关系；

第二统计单元，用于计算以当前像素为中心的n×n邻域在各方向上的梯度信息；

校正因子计算单元，根据局部和全局的统计信息生成当前位置第四通道校正因子；

前处理单元，用于利用校正因子完成第四通道的校正操作；

内插参数生成单元，获取以当前像素为中心的n×n邻域在各方向上的梯度信息并由此计算去马赛克运算所需要的参数送至所述去马赛克单元。

与现有技术相比，本发明一种图像传感器的去马赛克方法及装置通过将图像传感器的四个通道RAW数据看作一个亮度分量和三个色度分量经过采样函数的组合。使用预定义参数，或者，通过分析图像局部梯度，根据图像内容自适应地配置亮度、色度滤波器参数，经过和RAW数据的卷积运算分别得到亮度和色度分量。最终经过矩阵运算得到去马赛克后的四个全分辨率的红、绿、蓝以及其他图像，本发明能够在保证输入例如RGBIR格式的RAW图像经过去马赛克操作后输出图像分辨率较高的同时抑制高频部分的亮色混叠现象，同时弱化了去马赛克输出图像常见的“网格”等人工痕迹。

附图说明

图1为一种典型的RGBIR图像传感器；

图2为一种典型的RGBIR图像传感器的量化响应曲线图；

图3一种图像传感器的去马赛克方法的步骤流程图；

图4为本发明一种图像传感器的去马赛克装置的系统架构图；

图5为本发明一种图像传感器的去马赛克装置之较佳实施例的系统架构图；

图6为本发明提供的去马赛克方法的第一实施例的流程图；

图7为本发明提供的去马赛克方法的第二实施例的流程图；

图8为本发明提供的去马赛克方法的第三实施例的流程图；

图9为本发明实施例中以IR为中心的5×5邻域的梯度方向示意图；

图10为本发明提供的去马赛克方法中计算红外校正因子的一个实施例的流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图3一种图像传感器的去马赛克方法的步骤流程图。如图3所示，本发明一种图像传感器的去马赛克方法，包括如下步骤：

步骤301，将基于以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果。

在本发明较佳实施例中，以2×2为最小采样周期的RGBIR格式的图像传感器为例，将原始的RAW图像看成是四个全幅面的RGBIR图像经过采样函数相加后的输出结果。可以表示为下式

$\begin{array}{c}{f}_{\mathrm{CFA}}=\frac{1}{4}{f}_R(1-{(-1)}^{n_1})(1+{(-1)}^{n_2})+\frac{1}{4}{f}_B(1+{(-1)}^{n_1})(1-{(-1)}^{n_2})\\ +\frac{1}{4}{f}_G(1+{(-1)}^{n_1})(1+{(-1)}^{n_2})+\frac{1}{4}{f}_{\mathrm{IR}}(1-{(-1)}^{n_1})(1-{(-1)}^{n_2})\end{array}$

其中f代表全幅面图像，如f_CFA代表全幅面的RAW图像，f_R代表全幅面的R图像，以此类推。n₁＝[1,2,...H]，n₂＝[1,2,...W]分别代表图像垂直和水平方向像素位置，H为全幅面图像高度，W为全幅面图像宽度。

步骤302，定义亮度分量L，色度分量C1,C2,C3与该图像传感器的四个滤镜对应的原始色域的转换关系，并将步骤301中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果。

在本发明较佳实施例中，以RGBIR格式的图像传感器为例，定义亮度分量L,色度分量C1,C2,C3和RGBIR的转换关系用矩阵表示如下：

$\left[\begin{array}{c}{f}_L\\ f_{C_1}\\ f_{C_2}\\ f_{C_3}\end{array}\right]=\left[\begin{array}{cccc}1/4& 1/4& 1/4& 1/4\\ 1/4& 1/4& -1/4& -1/4\\ -1/4& 1/4& 1/4& -1/4\\ -1/4& 1/4& -1/4& 1/4\end{array}\right]\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\\ f_{\mathrm{IR}}\end{array}\right]$

需要注意的是，以2×2为最小采样周期，且对角线位置为G和IR的RGBIR的传感器有8种排列方式。不同排列方式对应不同的采样函数以及亮度色度分量与RGBIR分量之间转换矩阵。本发明较佳实施例为了简洁，只以图1这种顺时针为IRRGB的排列方式为例进行说明，但不以此为限。

全幅面的RAW图像(CFA)可以看成是四个全幅面的亮度和色度分量经过采样函数相加后的输出结果

$f_{\mathrm{CFA}}=f_L+f_{C_1}{(-1)}^{n_2}+f_{C_2}{(-1)}^{n_1}+f_{C_3}{(-1)}^{n_1+n_2}=f_L+f_{C_1}{e}^{j2\mathrm{\π}{n}_2/2}+f_{C_2}{e}^{j2\mathrm{\π}{n}_1/2}+f_{C_3}{e}^{j2\mathrm{\π}(n_1+n_2)/2}$

其中-1＝e^jπ，则色度分量C1可以看成是调制到中心频率为(0.5，0)上的高频信号，色度分量C2可以看成是调制到中心频率为(0，0.5)上的高频信号，色度分量C3可以看成是调制到中心频率为(0.5，0.5)上的高频信号；而亮度分量可以看成一个基频信号。

步骤303，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号。

具体来说，亮度分量去马赛克运算可以通过一个亮度滤波器和输入的全幅面的RAW数据进行卷积运算从RAW数据中恢复出亮度信号。这里亮度滤波器的参数可以预先设定，也可以根据RAW图像中当前像素的局部特征动态调整。

具体地，根据RAW图像中当前像素的局部特征动态调整亮度滤波器参数，具体是指先通过计算以当前像素为中心的n×n(为获得较好的处理效果，n最好大于或等于3)邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数。或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域。若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则需要判断当前像素所在频段，并选用在此频段上响应较好的亮度滤波器参数。

对于平坦区域的判定，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果小于预定义阈值且各方向的梯度绝对值也小于预定义阈值时，认为是平坦区域。

对于边界区域的判定，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果大于预定义阈值且被减或被除梯度所示方向的梯度绝对值也大于预定义阈值时，认为是边界区域。

一般可以认为，若当前像素既不在平坦区域，也不在边界区域，则该像素处于细节区域。

当判断当前像素处于细节区域时，需要判断当前像素所在频段。在本发明较佳实施例中，当前像素所在频段由以下方法近似得到：预定义几组通过频率不同的带通滤波器和当前像素所在n×n邻域做卷积运算后取最大值，其对应的带通滤波器通过频率即为当前像素所在频段。

在本发明较佳实施例中，色度分量去马赛克的运算可以通过三个高通滤波器分别和输入的全幅面的RAW数据进行卷积运算，从RAW数据中分别恢复出色度信号。这里高通滤波器的参数可以预先设定，也可以利用上述梯度值(即以当前像素为中心的n×n邻域在各方向上的梯度)或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数。或者根据RAW图像中当前像素的局部特征以及前述亮度滤波器参数动态调整。

上述根据RAW图像中当前像素的局部特征以及上述亮度滤波器参数动态调整色度滤波器参数，其思想是降低亮度和色度在高频部分的混叠(假色)现象。具体是指当前像素对应的亮度滤波器的通带接近默认色度滤波器的通带时，抑制色度滤波器的幅值；反之，则保留色度滤波器的幅值。具体地，若亮度滤波器在水平方向上的通过频率较高时，则抑制当前像素对应的色度C1滤波器的幅值；若亮度滤波器在垂直方向上的通过频率较高时，则抑制当前像素对应的色度C2滤波器的幅值；若亮度滤波器在对角线方向上的通过频率较高时，则抑制当前像素对应的色度C3滤波器的幅值。抑制色度滤波器的幅值是指通过动态计算调整因子α∈[0～1]，点乘至色度滤波器参数上完成。

上述色度滤波器的参数调整也可以通过调整色度滤波器的截止频率来实现。具体是指当前像素对应的亮度滤波器的通带接近默认色度滤波器的通带时，提升色度滤波器的截止频率。具体地，若亮度滤波器在水平方向上的通过频率较高时，则提升当前像素对应的色度C1滤波器的截止频率；若亮度滤波器在垂直方向上的通过频率较高时，则提升当前像素对应的色度C2滤波器的截止频率；若亮度滤波器在对角线方向上的通过频率较高时，则提升当前像素对应的色度C3滤波器的截止频率。

需要说明的是，上述亮度分量的去马赛克输出也可以在3个色度分量都完成去马赛克运算之后由原始RAW数据和全幅面的色度分量之和相减获得。类似地，某一个色度分量的去马赛克输出也可以在亮度和其他2个色度分量完成去马赛克运算之后由原始RAW数据和上述全幅面的亮度和2个色度分量之和相减获得。

步骤304，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。

在本发明较佳实施例中，经过下式的矩阵运算得到全幅面的RGBIR信号。

$\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\\ f_{\mathrm{IR}}\end{array}\right]=\left[\begin{array}{cccc}1& 1& -1& -1\\ 1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]\left[\begin{array}{c}{f}_L\\ f_{C_1}\\ f_{C_2}\\ f_{C_3}\end{array}\right]$

较佳的，在步骤301之前，还包括对第四通道进行预校正运算的步骤。

这里，第四通道指的是四个通道中RGB通道外的通道，如果是RGBIR图像传感器，第四通道则为红外通道，如果是RGBW图像传感器，W代表无色的滤镜，即这个通路响应从可见光到红外光的全部波长光线，第四通道则为W通道。这里仍以RGBIR图像传感器为例，具体地说，在进行上述亮度和色度的卷积运算之前，最好对红外通道进行预校正运算，这是由于红外通道的量化相应曲线和RGB通道的量化相应曲线存在较大差异，在某些场景可能导致即使在相邻区域红外和可见光通道的信号也存在较大差距。而滤波器设计时受到阶数的限制，会有波纹现象。经过卷积运算之后，RAW图像上相邻区域输入信号的差异可能会被放大，那么在平坦区域上去马赛克输出可能会出现“网格”现象。红外通道预校正的目的是为了弱化当前像素邻近区域尤其是平坦区域上红外通道和可见光(RGB)通道的差异。

红外通道(第四通道)的预校正运算由校正因子和红外分量相乘完成。校正因子包括全局校正因子和局部校正因子。全局校正因子由输入的RAW图像中RGB通道的平均值和红外通道平均值相除获得。局部校正因子由当前红外通道邻域内的RGB通道的平均值和红外通道平均值相除获得。全局校正因子和局部校正因子通过加权系数融合得到。加权系数由当前红外通道邻近的RGB通道的梯度值通过查表计算得到。梯度值越大，局部校正因子的加权系数越小，反之则越大。

需要说明的是，本发明所采用的去马赛克方法，不仅适用于RGBIR格式的图像传感器，同时也适用于任何以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器，比如将IR通道的红外滤镜替换为其他颜色滤镜或者全波长通过滤镜，如业内出现的RGBW或RGBC图像传感器，本发明不以此为限。仅以RGBIR格式的图像传感器示例。

图4为本发明一种图像传感器的去马赛克装置的系统架构图。如图4所示，本发明一种图像传感器的去马赛克装置，包括：原始RAW图像输入单元100、前处理单元101、去马赛克单元102以及全幅面图像输出单元103。原始RAW图像输入单元100用于获取以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的原始RAW图像，在本发明较佳实施例中，该图像传感器为RGBIR，原始RAW图像输入单元100获取包含红外信息的下采样的图像；前处理单元101将原始的RAW图像看成为四个全幅面的图像经过采样函数相加后的输出结果，并定义亮度分量L，色度分量C1,C2,C3与该图像传感器的四个滤镜对应的原始色域的转换关系，将全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果

在本发明较佳实施例中，以2×2为最小采样周期的RGBIR格式的图像传感器为例，前处理单元101将原始的RAW图像看成是四个全幅面的RGBIR图像经过采样函数相加后的输出结果。表示为下式

$\begin{array}{c}{f}_{\mathrm{CFA}}=\frac{1}{4}{f}_R(1-{(-1)}^{n_1})(1+{(-1)}^{n_2})+\frac{1}{4}{f}_B(1+{(-1)}^{n_1})(1-{(-1)}^{n_2})\\ +\frac{1}{4}{f}_G(1+{(-1)}^{n_1})(1+{(-1)}^{n_2})+\frac{1}{4}{f}_{\mathrm{IR}}(1-{(-1)}^{n_1})(1-{(-1)}^{n_2})\end{array}$

其中f代表全幅面图像，如f_CFA代表全幅面的RAW图像，f_R代表全幅面的R图像，以此类推。n₁＝[1,2,...H]，n₂＝[1,2,...W]分别代表图像垂直和水平方向像素位置，H为全幅面图像高度，W为全幅面图像宽度。

定义亮度分量L,色度分量C1,C2,C3和RGBIR的转换关系用矩阵表示如下：

$\left[\begin{array}{c}{f}_L\\ f_{C_1}\\ f_{C_2}\\ f_{C_3}\end{array}\right]=\left[\begin{array}{cccc}1/4& 1/4& 1/4& 1/4\\ 1/4& 1/4& -1/4& -1/4\\ -1/4& 1/4& 1/4& -1/4\\ -1/4& 1/4& -1/4& 1/4\end{array}\right]\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\\ f_{\mathrm{IR}}\end{array}\right]$

全幅面的RAW图像(CFA)可以看成是四个全幅面的亮度和色度分量经过采样函数相加后的输出结果

$f_{\mathrm{CFA}}=f_L+f_{C_1}{(-1)}^{n_2}+f_{C_2}{(-1)}^{n_1}+f_{C_3}{(-1)}^{n_1+n_2}=f_L+f_{C_1}{e}^{j2\mathrm{\π}{n}_2/2}+f_{C_2}{e}^{j2\mathrm{\π}{n}_1/2}+f_{C_3}{e}^{j2\mathrm{\π}(n_1+n_2)/2}$

其中-1＝e^jπ，则色度分量C1可以看成是调制到中心频率为(0.5，0)上的高频信号，色度分量C2可以看成是调制到中心频率为(0，0.5)上的高频信号，色度分量C3可以看成是调制到中心频率为(0.5，0.5)上的高频信号；而亮度分量可以看成一个基频信号。

去马赛克单元102利用预设的参数或者内插参数生成单元动态生成的参数与RAW图像进行卷积运算内插至全幅面图像；全幅面图像输出单元102经过矩阵变换输出最终全幅面的原始色域图像。

较佳的，前处理单元101还用于完成红外通道的校正操作。红外通道校正的目的是为了弱化当前像素邻近区域尤其是平坦区域上红外通道和可见光(RGB)通道的差异。

图5为本发明一种图像传感器的去马赛克装置之较佳实施例的系统架构图。如图5所示，除包含原始RAW图像输入单元200、前处理单元203、去马赛克单元206以及全幅面图像输出单元207外，该图像传感器还包括第一统计单元201、第二统计单元202、校正因子计算单元203、内插参数生成单元205。其中第一统计单元201用于统计输入的RAW图像中RGB均值和第四通道均值的比例关系；第二统计单元202用于计算以当前像素为中心的5×5邻域在各方向上的梯度信息；校正因子计算单元204根据局部和全局的统计信息生成当前位置第四通道校正因子；前处理单元203还用于完成第四通道的校正操作；内插参数生成单元205获取以当前像素为中心的5×5邻域在各方向上的梯度信息并由此计算去马赛克运算所需要的参数；去马赛克单元206根据内插参数生成单元205提供的参数将各分量的下采样图像经过卷积运算内插至全幅面图像；全幅面图像输出单元207经过矩阵变换输出最终全幅面的RGBIR图像。

以下将配合图5通过几个具体实施例来进一步说明本发明之图像传感器的去马赛克方法。

实施例1(以下实施例均以RGBIR图像传感器为例)

图6为本发明提供的去马赛克方法的第一实施例的流程图，具体包括如下步骤：

S6.1,前处理单元得到红外通道的校正因子θ。校正因子与原红外通道像素值IR相乘得到校正后的红外通道像素IR'。校正因子的具体计算方法参见后续图9和对应说明。

S6.2,去马赛克单元取得预设的5×5邻域亮度L内插参数，和当前像素5x5邻域的RAW信号通过卷积运算得到当前像素位置的亮度信号P_L，这里以5×5邻域为例，但不以此为限。

S6.3,去马赛克单元取得预设的5×5邻域色度C1内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C1信号。

S6.4，去马赛克单元取得预设的5×5邻域色度C2内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C2信号。

S6.5，去马赛克单元取得预设的5×5邻域色度C3内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C3信号。

S6.6，去马赛克单元通过下列矩阵运算得到当前位置的RGBIR信号P_R,P_G,P_B和P_IR。

$\left[\begin{array}{c}{P}_R\\ P_G\\ P_B\\ P_{\mathrm{IR}}\end{array}\right]=\left[\begin{array}{cccc}1& 1& -1& -1\\ 1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]\left[\begin{array}{c}{P}_L\\ P_{C_1}\\ P_{C_2}\\ P_{C_3}\end{array}\right]$

实施例2

图7为本发明提供的去马赛克方法的第二实施例的流程图，具体包括如下步骤：

S7.1,前处理单元得到红外通道的校正因子θ。校正因子与原红外通道像素值IR相乘得到校正后的红外通道像素IR'。

S7.2，去马赛克单元取得预设的5×5邻域色度C1内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C1信号。

S7.3，去马赛克单元取得预设的5×5邻域色度C2内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C2信号。

S7.4，去马赛克单元取得预设的5×5邻域色度C3内插参数，和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的色度C3信号。

S7.5，将上述卷积后得到的当前点的色度C1C2C3信号求和，将原始的RAW信号与色度信号之和相减得到当前点的亮度信号P_L。

S7.6,去马赛克单元通过下列矩阵运算得到当前位置的RGBIR信号P_R,P_G,P_B和P_IR。

$\left[\begin{array}{c}{P}_R\\ P_G\\ P_B\\ P_{\mathrm{IR}}\end{array}\right]=\left[\begin{array}{cccc}1& 1& -1& -1\\ 1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]\left[\begin{array}{c}{P}_L\\ P_{C_1}\\ P_{C_2}\\ P_{C_3}\end{array}\right]$

实施例3：

图8是本发明提供的去马赛克方法的另一个实施例的流程图，具体包括如下步骤：

S8.1，统计单元计算得到红外校正因子，校正红外通道。

S8.2,计算以当前像素为中心的5×5邻域中四个通道在水平(H)、垂直(V)和对角线(D1,D2)方向上的局部梯度值。具体如下：

▽Hg＝(abs(G₂₄-G₂₂)+abs(G₄₄-G₄₂))/2

▽Vg＝(abs(G₂₂-G₄₂)+abs(G₂₄-G₄₄))/2

▽D1g＝abs(G₂₂-G₄₄)

▽D2g＝abs(G₂₄-G₄₂)

▽Hr＝(abs(R₁₂-R₁₄)+abs(R₃₂-R₃₄)+abs(R₅₂-R₅₄))/3

▽Vr＝(abs(R₁₂-R₃₂)+abs(R₃₂-R₅₂)

+abs(R₁₄-R₃₄)+abs(R₃₄-R₅₄))/4

▽D1r＝(abs(R₁₂-R₃₄)+abs(R₃₂-R₅₄))/2

▽D2r＝(abs(R₁₄-R₃₂)+abs(R₃₄-R₅₂))/2

▽Hir＝(abs(IR₁₁-IR₁₃)+abs(IR₁₅-IR₁₃)

+abs(IR₃₁-IR₃₃)+abs(IR₃₅-IR₃₃)

+abs(IR₅₁-IR₅₃)+abs(IR₅₅-IR₅₃))/6

▽Vir＝(abs(IR₁₁-IR₃₁)+abs(IR₅₁-IR₃₁)

+abs(IR₁₃-IR₃₃)+abs(IR₅₃-IR₃₃)

+abs(IR₁₅-IR₃₅)+abs(IR₅₅-IR₃₅))/6

▽D1ir＝(abs(IR₁₁-IR₃₃)+abs(IR₅₅-IR₃₃))/2▽D2ir＝(abs(IR₁₅-IR₃₃)+abs(IR₅₁-IR₃₃))/2

▽Hb＝(abs(B₂₁-B₂₃)+abs(B₂₅-B₂₃)

+abs(B₄₁-B₄₃)+abs(B₄₅-B₄₃))/4

▽Vb＝(abs(B₂₁-B₄₁)+abs(B₂₃-B₄₃)+abs(B₂₅-B₄₅))/3

▽D1b＝(abs(B₂₁-B₄₃)+abs(B₂₃-B₄₅))/2

▽D2b＝(abs(B₂₃-B₄₁)+abs(B₂₅-B₄₃))/2,

其中abs代表取绝对值运算，▽代表梯度，▽Hg则代表g通道在水平方向上的梯度(其余通道在不同方向上的梯度表示方法与之类似)；G₂₄等代表5x5邻域中像素值，见图9。

图9为本发明实施例中以IR为中心的5×5邻域的梯度方向示意图。需要注意的是，上述是以中心点为IR时5×5邻域的梯度计算方法。中心点为其他元素时邻域梯度计算方法与上述方法类似，在此不做赘述。

S8.3,将上述四个通道在水平、垂直、对角线1，对角线2上的梯度值分别累加取均值，得到当前像素邻域四个方向上的梯度值▽H,▽V,▽D1,▽D2。将梯度值送入预设查找表得到对应的亮度和色度滤波器参数。

S8.4，去马赛克单元将取得的亮度对应的5×5领域内插参数和当前像素5×5邻域的RAW信号通过卷积运算得到当前像素位置的亮度信号。

S8.5，去马赛克单元将取得的每个色度对应的5×5内插参数，和当前像素5x5邻域的RAW信号通过三次卷积运算得到当前像素位置的色度C1，C2和C3信号。

S8.6，去马赛克单元通过下列矩阵运算得到当前位置的RGBIR信号。

$\left[\begin{array}{c}{f}_R\\ f_G\\ f_B\\ f_{\mathrm{IR}}\end{array}\right]=\left[\begin{array}{cccc}1& 1& -1& -1\\ 1& 1& 1& 1\\ 1& -1& 1& -1\\ 1& -1& -1& 1\end{array}\right]\left[\begin{array}{c}{f}_L\\ f_{C_1}\\ f_{C_2}\\ f_{C_3}\end{array}\right].$

图10为本发明提供的去马赛克方法中计算红外校正因子的一个实施例的流程图，具体包括如下步骤：

S10.1,计算以当前红外像素为中心的3×3邻域中绿色通道的均值与当前红外像素值的比例，得到局部校正因子。下标n×n代表以当前红外像素为中心的3×3邻域。

S10.2,第一统计单元计算当前整幅RAW图像中RGB通道的均值和红外通道的均值之比例，得到全局校正因子。下标H×W代表输入宽为W高为H的整幅RAW图像。

S10.3，分别计算以当前红外像素为中心的3×3邻域中四个G元素中的极大值和极小值之间的差异绝对值Dg，两个B元素的差异绝对值Db以及两个R元素的差异绝对值Dr。选取上述三者之间的极大值D_max＝max(Db,Dr,Dg)查找预设LUT表得到置信因子λ，利用公式θ＝(G_f+λ×L_f)融合全局校正因子和局部校正因子，得到最终校正因子。

综上所述，本发明一种图像传感器的去马赛克方法及装置通过将图像传感器的四个通道RAW数据看作一个亮度分量和三个色度分量经过采样函数的组合。使用预定义参数，或者，通过分析图像局部梯度，根据图像内容自适应地配置亮度、色度滤波器参数，经过和RAW数据的卷积运算分别得到亮度和色度分量。最终经过矩阵运算得到去马赛克后的四个全分辨率的红、绿、蓝以及其他图像，本发明能够在保证输入例如RGBIR格式的RAW图像经过去马赛克操作后输出图像分辨率较高的同时抑制高频部分的亮色混叠现象，同时弱化了去马赛克输出图像常见的“网格”等人工痕迹。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (13)

1.一种图像传感器的去马赛克方法，包括如下步骤：

步骤一，将以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器获得的原始的RAW图像看成为四个全幅面的原始色域图像经过采样函数相加后的输出结果；

步骤二，定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜的转换关系，并将步骤一中的全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；

步骤三，分别对亮度分量及三个色度分量进行去马赛克运算，从输入的RAW数据中恢复出当前像素位置的亮度信号及色度信号；

步骤四，通过矩阵运算将去马赛克后当前像素位置的亮度和色度信号转换得到当前像素位置对应的原始色域图像信号。

2.如权利要求1所述的一种图像传感器的去马赛克方法，其特征在于：步骤三中，亮度分量的去马赛克运算通过一个亮度滤波器和输入的RAW数据进行卷积运算从RAW数据中恢复出亮度信号或在3个色度分量都完成去马赛克运算之后由原始RAW数据和卷积得到的色度分量之和相减获得。

3.如权利要求2所述的一种图像传感器的去马赛克方法，其特征在于：所述亮度滤波器的参数预先设定或根据RAW图像中当前像素的局部特征动态调整。

4.如权利要求3所述的一种图像传感器的去马赛克方法，其特征在于，所述根据RAW图像中当前像素的局部特征动态调整包括如下方法：

先计算以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息，然后利用梯度值或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数；或者通过计算不同方向之间梯度差或比值并与预定义阈值比较，从而判断当前像素处于平坦区域还是边界区域或者是细节区域，若当前像素处于平坦区域，则选用对低频区域响应较好的亮度滤波器参数；若当前像素处于边界区域，则需要判断当前像素所在边界方向，并选用在此方向上响应较好的亮度滤波器参数；若当前像素处于细节区域时，则判断当前像素所在频段，并选用在该频段上响应较好的亮度滤波器参数。

5.如权利要求4所述的一种图像传感器的去马赛克方法，其特征在于：所述判断当前像素处于平坦区域，指计算各方向间的梯度差或比值并与预定义阈值比较，当结果小于预定义阈值且各方向的梯度绝对值也小于预定义阈值时，认为是平坦区域；所述判断当前像素处于边界区域，是指计算各方向间的梯度差或比值并与预定义阈值比较，当结果大于预定义阈值且被减或被除梯度所示方向的梯度绝对值也大于预定义阈值时，认为是边界区域；若当前像素既不在平坦区域，也不在边界区域，则该像素处于细节区域。

6.如权利要求5所述的一种图像传感器的去马赛克方法，其特征在于：所述判断当前像素所在频段由以下方法得到：预定义几组通过频率不同的带通滤波器和当前像素所在n×n邻域做卷积运算后取最大值，其对应的带通滤波器通过频率为当前像素所在频段。

7.如权利要求2所述的一种图像传感器的去马赛克方法，其特征在于：步骤三中，所述色度分量去马赛克的运算通过三个高通滤波器分别和输入的RAW数据进行卷积运算，从RAW数据中分别恢复出色度信号；或其中某一个色度分量的去马赛克输出在亮度和其他2个色度分量完成去马赛克运算之后，由原始RAW数据与亮度和其他2个色度分量之和相减获得。

8.如权利要求7所述的一种图像传感器的去马赛克方法，其特征在于：所述高通滤波器的参数预先设定或利用以当前像素为中心的n×n邻域在各方向上的梯度或其他等效信息作为检索值查找预定义查找表得到对应的滤波器参数或根据RAW图像中当前像素的局部特征以及该亮度滤波器参数动态调整。

9.如权利要求8所述的一种图像传感器的去马赛克方法，其特征在于：所述根据RAW图像中当前像素的局部特征以及上述亮度滤波器参数动态调整高通滤波器参数为：若当前像素对应的亮度滤波器的通带接近默认色度滤波器的通带时，抑制色度滤波器的幅值；反之，则保留色度滤波器的幅值。

10.如权利要求1所述的一种图像传感器的去马赛克方法，其特征在于，该图像传感器为RGBIR图像传感器，在步骤一之前，还包括对第四通道进行预校正运算的步骤，所述第四通道指RGB通道外的通道。

11.如权利要求10所述的一种图像传感器的去马赛克方法，其特征在于：所述第四通道的预校正运算由校正因子和第四通道分量相乘完成，所述校正因子包括全局校正因子和局部校正因子，所述全局校正因子由输入的RAW图像中RGB通道的平均值和第四通道平均值相除获得，所述局部校正因子由当前第四通道邻域内的RGB通道的平均值和第四通道平均值相除获得，全局校正因子和局部校正因子通过加权系数融合得到所述校正因子。

12.一种图像传感器的去马赛克装置，包括：

原始RAW图像输入单元，用于获取以2×2为最小采样周期，并且在每个最小采样周期中存在四个不同滤镜的图像传感器的原始RAW图像；

前处理单元，将原始的RAW图像看成为四个全幅面的图像经过采样函数相加后的输出结果，并定义亮度分量(L)，色度分量(C1,C2,C3)与该图像传感器的四个滤镜对应的原始色域的转换关系，将全幅面的RAW图像看成为四个全幅面的亮度和色度分量经过采样函数相加后的输出结果；

去马赛克单元，利用预设的参数或者内插参数生成单元动态生成的参数与RAW图像进行卷积运算内插至全幅面图像；

全幅面图像输出单元，经过矩阵变换输出最终全幅面的原始色域图像。

13.如权利要求12所述的一种图像传感器的去马赛克装置，其特征在于，还包括：

第一统计单元，用于统计输入的RAW图像中RGB均值和第四通道均值的比例关系；

第二统计单元，用于计算以当前像素为中心的n×n邻域在各方向上的梯度信息；

校正因子计算单元，根据局部和全局的统计信息生成当前位置第四通道校正因子；

所述前处理单元，用于利用校正因子完成第四通道的校正操作；

所述内插参数生成单元，获取以当前像素为中心的n×n邻域在各方向上的梯度信息并由此计算去马赛克运算所需要的参数送至所述去马赛克单元。