CN103905802A - 一种基于p模式色彩滤镜阵列的去马赛克方法及装置 - Google Patents

Abstract

本发明公开了一种基于P模式色彩滤镜阵列的去马赛克方法及装置，用于对经过P模式色彩滤镜阵列后被图像传感器获得的原始数据进行去马赛克处理。该方法首先将原始数据分离成亮度分量和色彩分量，对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；然后对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并根据所述第一亮度值P与所述第二亮度值Y的比值对色彩分量进行映射得到最终的色彩分量输出。该装置包括分离模块、方向判断插值模块、色彩插值模块和合成模块。本发明的方法及装置有效地提升了图像清晰度，达到更好的人眼感受。

Description

一种基于P模式色彩滤镜阵列的去马赛克方法及装置

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于色彩滤镜阵列的去马赛克方法及装置。

背景技术

图像传感器（sensor）是将光信号转换成电信号的器件，图像传感器每个感光单元称为一个像素，像素值的大小表征了感应到的光照强度大小，但是无法表征颜色。为了表征颜色，通常在图像传感器前加一块色彩滤镜，每个色彩滤镜单元对应一个像素，只允许单一颜色的光通过并被图像传感器捕获。经过这样的处理，像素值就可以表征特定颜色光强的大小。

然而经过色彩滤镜阵列CFA（Color Filter Array）被图像传感器捕获的图像是马赛克形式的，需要通过插值算法来去马赛克，因此去马赛克算法也称为色彩滤镜阵列插值算法（CFAI）。

目前业界主流的CFA都是基于拜尔模式（Bayer Pattern）的，也称为Bayer Pattern CFA。Bayer Pattern CFA每4个滤镜单元中有2个G（绿色）、1个R（红色）和1个B（蓝色）单元，因此能捕获25%的R（红光）、50%的G（绿光）以及25%的B（蓝光）。经过Bayer Pattern CFA的图像都是马赛克（Mosaic）形式的，需要通过色彩滤镜阵列插值算法进行去马赛克（Demosaic）处理。

出于实际应用中对感光性能的要求，Kodak等公司推出了一种新的CFA，它不仅包括R、G、B三种颜色滤镜单元，还包括所有波长的光全都透过的亮度滤镜单元。如图1所示，该滤镜阵列中亮度滤镜单元（P）表示所有波长的光全部透过的滤镜，其信息完全是亮度信息。可以看到亮度信息占到整个图像传感器的50%，G分量占25%，R分量和B分量各占12.5%。由于其排列形式多种多样，业界并没有统一的规范的称呼，在下文中对于满足这种性质的CFA，统称为P Pattern CFA（P模式色彩滤镜阵列）。

Kodak公司基于P Pattern CFA的去马赛克方法如图2所示，首先将RAW数据（经过图像传感器成像出来的原始数据，通常是马赛克形式的）分离成亮度分量（P分量，Pan Pixels）和色彩分量（C，Color Pixels），并对亮度分量和色彩分量进行下采样（Downsample），分别对亮度分量，以及色彩分量与亮度分量的差值（CDiff）进行去马赛克插值（Interpolate），然后将CDiff上采样（Upsample）后与亮度分量相加，得到输出的彩色去马赛克图像Result。

然而由于处理流程和插值算法本身的局限性，导致得到的去马赛克图像分辨率和锐度低，表现在实际场景中就是人眼感觉清晰度低。

发明内容

本发明的目的是提供一种基于P模式色彩滤镜阵列的去马赛克方法及装置，针对经过P Pattern CFA后，图像传感器成像出来的RAW数据进行去马赛克处理，能够有效提升图像清晰度，达到更好的人眼感受。

为了实现上述目的，本发明技术方案如下：

一种基于P模式色彩滤镜阵列的去马赛克方法，用于对经过P模式色彩滤镜阵列后被图像传感器获得的原始数据进行去马赛克处理，该方法包括步骤：

将所述原始数据分离成亮度分量和色彩分量；

对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；

根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

其中，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，包括如下步骤：

对于亮度分量中缺少亮度值的像素，计算其水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|；

比较该像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|，如果|D_H|<|D_V|，则按照水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按照垂直方向进行插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

进一步地，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，还包括步骤：

根据像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|的比较结果，如果|D_H|<|D_V|，则给该像素打上标识mark=1，否则给该像素打上标识mark=0；

以该像素为中心，为其邻域内所有缺少亮度值的像素配置权重mask，计算该邻域内所有缺少亮度值的像素的标识mark与对应的权重mask之积的和sum，将该sum值与该邻域内各像素权重的和对应的阈值进行比较，如果大于该阈值，则修正该像素的mark值为1，否则修正该像素的mark值为0；

根据修正后的该像素的mark值，若mark=1，按水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按垂直方向插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。根据缺少亮度值像素的邻域对该像素的mark值进行修正，并重新进行插值，可以避免由于噪声等因素造成的插值错误。

进一步地，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，还包括如下步骤：

计算该像素45°对角线中心差分的梯度|D_45°|和135°对角线中心差分的梯度|D_135°|，比较该像素|D_H|、|D_V|、|D_45°|、|D_135°|，沿梯度最小的方向修改该像素的第一亮度值P为梯度最小方向上该像素的两个相邻像素亮度值的均值。综合考虑像素各个方向的中心差分的梯度，然后在梯度最小的方向进行插值，可以有效防止像素级的突变，保持较好的连续性。

其中，所述该邻域内各像素权重的和对应的阈值为(∑mask(i,j)-1)/2，其中∑mask(i,j)为该邻域内各像素权重的和，(i,j)为各像素坐标。

进一步地，所述对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样，其中：

对色彩分量中的G分量采用基于方向判断的插值方法进行去马赛克插值。本发明分离出的色彩分量包括G分量、R分量、B分量，亮度分量（P分量）和色彩分量中的G分量采用相同的基于方向判断的插值方法进行去马赛克插值。

本发明同时提出的一种基于P模式色彩滤镜阵列的去马赛克装置，用于对经过P模式色彩滤镜阵列后被图像传感器获得的原始数据进行去马赛克处理，该装置包括：

分离模块，用于接收并将所述原始数据分离成亮度分量和色彩分量；

方向判断插值模块，用于对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

色彩插值模块，用于对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；

合成模块，用于根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

其中，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，执行以下操作：

对于亮度分量中缺少亮度值的像素，计算其水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|；

比较该像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|，如果|D_H|<|D_V|，则按照水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按照垂直方向进行插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

进一步地，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，还执行以下操作：

根据像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|的比较结果，如果|D_H|<|D_V|，则给该像素打上标识mark=1，否则给该像素打上标识mark=0；

以该像素为中心，为其邻域内所有缺少亮度值的像素配置权重mask，计算该邻域内所有缺少亮度值的像素的标识mark与对应的权重mask之积的和sum，将该sum值与该邻域内各像素权重的和对应的阈值进行比较，如果大于该阈值，则修正该像素的mark值为1，否则修正该像素的mark值为0；

根据修正后的该像素的mark值，若mark=1，按水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按垂直方向插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

进一步地，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，还执行以下操作：

计算该像素45°对角线中心差分的梯度|D_45°|和135°对角线中心差分的梯度|D_135°|，比较该像素|D_H|、|D_V|、|D_45°|、|D_135°|，沿梯度最小的方向修改该像素的第一亮度值P为梯度最小方向上该像素的两个相邻像素亮度值的均值。

进一步地，所述色彩插值模块包括：

下采样单元，用于对色彩分量进行下采样；

G分量插值单元，用于对色彩分量中的G分量进行去马赛克插值；

R/B分量插值单元，用于对色彩分量中的R/B分量进行去马赛克插值；

上采样单元，用于对插值后的色彩分量进行上采样；

所述G分量插值单元与方向判断插值模块为同一器件。G分量与P分量共用方向判断插值模块，可以有效节约装置的制造成本。

本发明提出的一种基于P模式色彩滤镜阵列的去马赛克方法及装置，通过基于方向判断的插值方法对分离的P分量和色彩分量中的G分量进行去马赛克插值，并根据各像素的亮度值对色彩分量进行修正，相比Kodak公司基于P Pattern CFA的去马赛克方法算法更简单，并且有效地提升了图像清晰度，达到更好的人眼感受。同时该装置中P分量与G分量共用方向判断插值模块，可以有效节约装置的制造成本。

附图说明

图1为P模式色彩滤镜阵列的示意图；

图2为现有技术基于P模式色彩滤镜阵列的去马赛克方法流程图；

图3为本发明基于P模式色彩滤镜阵列的去马赛克方法流程图；

图4为本发明实施例基于方向判断的插值区域示意图；

图5为本发明基于方向判断的插值方法流程图；

图6a为本发明实施例的一种权重分配图；

图6b为本发明实施例的另一种权重分配图；

图6c为本发明实施例的再一种权重分配图；

图7为本发明下采样示意图；

图8为本发明上采样示意图；

图9为本发明基于P模式色彩滤镜阵列的去马赛克装置结构示意图。

具体实施方式

下面结合附图和实施例对本发明技术方案做进一步详细说明，以下实施例不构成对本发明的限定。

图3示出了本实施例基于色彩滤镜阵列的去马赛克方法流程，包括如下步骤：

1）、将经过P模式色彩滤镜阵列后被图像传感器捕获的原始数据RAW分离成亮度分量和色彩分量。

在如图1所示的P Pattern CFA的作用下，图像传感器捕获的原始数据包括50%的亮度分量（P分量），而色彩分量中G分量占25%，R分量和B分量各占12.5%。将原始数据RAW分离成亮度分量（P分量）和色彩分量（C分量，包括G分量、R分量和B分量）。

然后需要对亮度分量和色彩分量进行去马赛克插值，对于亮度分量和色彩分量的去马赛克插值不分先后顺序，同时对两者进行去马赛克插值，以下两个步骤不分先后顺序。

2）、对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

通常对于Bayer Pattern CFA，为了实现图像从原始数据到全彩色的图像的重建，需要对原始数据图像中的每一个像素点进行插值，利用其周围像素点的色彩值来估计出确实的另外两个色彩值，最终得到一个每个像素点包含红、绿、蓝三个像素值的全彩色图，这个过程就叫做去马赛克。而对于P Pattern CFA，则还需要对亮度分量进行插值处理，并利用亮度分量对色彩分量进行映射，得到更清晰的图像。以下以图4为例，详述对亮度分量进行插值处理的过程，图4中白色表示该像素为亮度分量，灰色表示该像素缺少亮度分量，需要通过插值填补。具体过程如图5所示，包括步骤如下：

步骤501、对于亮度分量中缺少亮度值的像素，计算其水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|。

像素水平方向的中心差分D_H等于其水平方向相邻像素的亮度值的差值，像素垂直方向的中心差分D_V等于其垂直方向相邻像素的亮度值的差值。

例如，对于像素33，其水平方向的中心差分D_H33=P₃₄-P₃₂；其垂直方向的中心差分D_V33=P₄₃–P₂₃。

其中P₃₄是像素34的亮度值，P₃₂是像素32的亮度值，P₄₃是像素43的亮度值，P₂₃是像素23的亮度值。

对应地，水平方向的梯度为|D_H|，垂直方向的梯度为|D_V|，因此根据中心差分可以计算出各像素在水平方向和垂直方向的梯度。

步骤502、比较该像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|，如果|D_H|<|D_V|，则按照水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按照垂直方向进行插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

所谓的插值即取该像素的第一亮度值P为该方向上该像素的相邻像素亮度值的均值。

在对比水平方向中心差分的梯度和垂直方向中心差分的梯度大小之后，已经可以得到该像素点的插值方向，并可以进行插值。对于一般监控环境下的自然景物，线条、细节都是连续的，不会存在像素级的突变（指上下左右都是一个方向，而中间却是另一个方向的情况）。但是考虑到由于噪声等因素的存在，可能导致方向判断错误，从而导致插值错误。因此可以通过对要处理的像素点及周边像素点的原始判断结果进行一个标记（mark），然后判断邻域内哪个方向比重较大，就将该像素点的结果修正为该方向。为了避免噪声引起的插值错误，本实施例基于方向判断的插值方法还包括如下步骤：

步骤503、根据像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|的比较结果，如果|D_H|<|D_V|，则给该像素打上标识mark=1，否则给该像素打上标识mark=0；以该像素为中心，为其邻域内所有缺少亮度值的像素配置权重mask，计算该邻域内所有缺少亮度值的像素的标识mark与对应的权重mask之积的和sum，将该sum值与该邻域内各像素权重的和对应的阈值进行比较，如果大于该阈值，则修正该像素的mark值为1，否则修正该像素的mark值为0。

具体地，如果|D_H|<|D_V|，即水平梯度较小，则mark=1；否则，mark=0。按照同样的方法可以得到每个缺少P分量像素上的mark。

对于像素33，如果设定其邻域为以像素33为中心的5×5范围，以（x，y）表示像素33的坐标，（i，j）是以（x，y）为中心的邻域内所有确实P分量的像素坐标，则：

sum(x,y)=∑mark(i,j)×mask(i,j)

其中，sum(x,y)是像素33邻域内所有缺少亮度值的像素的标识mark与该像素对应的权重mask之积的和。

如果sum(x,y)>(∑mask(i,j)-1)/2，则将当前像素mark(x,y)值修正为1，否则将mark(x,y)值修正为0，其中(∑mask(i,j)-1)/2为该邻域内各像素权重的和对应的阈值。

需要说明的是，像素对应的权重mask可以自由配置，对于一个像素的邻域来说，将对该像素影响重要的邻域内其他缺少亮度值的像素的权重设置为高权重，将对该像素影响小的领域内其他缺少亮度值的像素的权重设置为低权重。常见的几种权重分配如图6a、图6b、图6c所示。

步骤504、根据修正后的该像素的mark值，若mark=1，按水平方向进行插值，否则按垂直方向插值，得到该像素的第一亮度值P。

若mark=1，说明水平方向梯度较小，按水平方向插值，否则按垂直方向插值。

例如：若mark33=1，则P₃₃=(P₃₂+P₃₄)/2，否则P₃₃=(P₂₃+P₄₃)/2。

用同样的方法得到所有缺失P分量的像素的第一亮度值P。

然而，对于一个像素，以上仅考虑了水平方向和垂直方向的插值，还需要考虑像素在对角线方向的连续性，因此本实施例基于方向判断的插值方法还包括如下步骤：

步骤505、计算该像素45°对角线中心差分的梯度|D_45°|和135°对角线中心差分的梯度|D_135°|，比较该像素|D_H|、|D_V|、|D_45°|、|D_135°|，沿梯度最小的方向修改该像素的第一亮度值P为梯度最小方向上该像素的两个相邻像素亮度值的均值。

由于通过步骤501-504已经给所有不含亮度值的像素计算出了对应的第一亮度值P，本步骤进一步计算像素的对角线中心差分，并比较水平方向中心差分的梯度、垂直方向中心差分的梯度以及对角线方向中心差分的梯度，沿梯度最小的方向修改该像素的亮度值为梯度最小方向上两个相邻像素亮度值的均值。

例如：对于像素33，其对角线中心差分分别为：

D_45°33=P₄₂‐P₂₄

D_135°33=P₄₄‐P₂₂

对应地，45°对角线中心差分的梯度为|D_45°|、135°对角线中心差分的梯度为|D_135°|，因此根据对角线中心差分可以计算出各像素在对角线方向中心差分的梯度。而经过比较四个方向上的梯度，即比较|D_H|、|D_V|、|D_45°|、|D_135°|，其最小值对应的方向就是梯度最小的方向，然后对该像素的亮度值进行修正。如果|D_45°|最小，则：P₃₃=(P₄₂+P₂₄)/2；如果|D_135°|最小，则P₃₃=(P₄₄+P₂₂)/2。

3）、对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样。

由于在P Pattern CFA的作用下，图像传感器捕获的原始数据包括50%的亮度分量（P分量），而色彩分量中G分量占25%，R分量和B分量各占12.5%。因此需要对分离后的色彩分量进行下采样，抽取RAW原始数据中的各色彩分量；同时在完成去马赛克插值处理后，需要对色彩分量进行上采样，以恢复成RAW原始数据图像大小。下采样的主要目的是使抽取出来的色彩分量格式变成普通Bayer格式方便后续的插值，如图7所示。图7中左边为分离后的色彩分量分布情况，右边为经过下采样得到的色彩分量分布情况，具体下采样方法为：B=(B₁+B₂)/2，G=(G₁+G₂)/2，G’=(G₃+G₄)/2，R=(R₁+R₂)/2……，下采样得到的图像大小为原图大小的1/4。

而上采样如图8所示，以插值得到的某一色彩分量比如G分量为例，图8中左边为插值后得到的G色彩分量分布情况，右边为经过上采样得到的G色彩分量分布情况。具体方法如下：

先上采样恢复到原图大小：

G₁₁=G₁₂=G₁₃=G₁₄=G₁；

G₂₁=G₂₂=G₂₃=G₂₄=G₂；

G₃₁=G₃₂=G₃₃=G₃₄=G₃；

G₄₁=G₄₂=G₄₃=G₄₄=G₄；

然后对整个分量进行一次高斯滤波，避免色块。

R、B色彩分量的上采样与G分量相同，上采样得到的图像大小为上采样前的4倍，与原图大小相同。

由于分离出来的色彩分量只包含R、G、B分量，也可以看成是经过Bayer Pattern CFA得到的数据。容易知道，G分量在普通Bayer Pattern中的位置关系与P分量在P Pattern中的位置关系完全一致，因此本实施例对于G分量的插值处理采用与P分量同样的基于方向判断的插值方法进行插值。而对于R、B分量的插值，则完全采用基于Bayer Pattern CFA的传统方法来进行插值处理，例如采用色比恒定或者色差恒定原则进行插值，这里不再赘述。

4）、根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

通过步骤3）得到的R、G、B色彩分量，可以计算出各像素的第二亮度值Y：

Y=0.299R+0.587G+0.114B，

并利用如下映射公式：

Result（R/G/B）=Color（R/G/B）×P/Y，

得到最终的输出结果Result。

可见最后各像素的色彩分量为原色彩分量的P/Y倍，有效地提升了图像清晰度，达到更好的人眼感受。

本实施例基于P模式色彩滤镜阵列的去马赛克装置结构如图9所示，包括：

分离模块，用于接收并将所述原始数据分离成亮度分量和色彩分量；

方向判断插值模块，用于对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

色彩插值模块，用于对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；

合成模块，用于根据去马赛克插值后的色彩分量计算出各像素的亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

其中，色彩插值模块还包括：

下采样单元，用于对色彩分量进行下采样；

G分量插值单元，用于对色彩分量中的G分量进行去马赛克插值；

R/B分量插值单元，用于对色彩分量中的R/B分量进行去马赛克插值；

上采样单元，用于对插值后的色彩分量进行上采样；

其中G分量插值单元与方向判断插值模块为同一器件，也可以为同样的两个器件。G分量与P分量共用方向判断插值模块，可以有效节约装置的制造成本。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种基于P模式色彩滤镜阵列的去马赛克方法，用于对经过P模式色彩滤镜阵列后被图像传感器获得的原始数据进行去马赛克处理，所述P模式色彩滤镜阵列不仅包括R、G、B三种颜色滤镜单元，还包括所有波长的光全都透过的亮度滤镜单元，其特征在于，该方法包括步骤：

将所述原始数据分离成亮度分量和色彩分量；

对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；

根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

2.根据权利要求1所述的去马赛克方法，其特征在于，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，包括如下步骤：

对于亮度分量中缺少亮度值的像素，计算其水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|；

比较该像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|，如果|D_H|<|D_V|，则按照水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按照垂直方向进行插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

3.根据权利要求2所述的去马赛克方法，其特征在于，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，还包括步骤：

根据像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|的比较结果，如果|D_H|<|D_V|，则给该像素打上标识mark=1，否则给该像素打上标识mark=0；

以该像素为中心，为其邻域内所有缺少亮度值的像素配置权重mask，计算该邻域内所有缺少亮度值的像素的标识mark与对应的权重mask之积的和sum，将该sum值与该邻域内各像素权重的和对应的阈值进行比较，如果大于该阈值，则修正该像素的mark值为1，否则修正该像素的mark值为0；

根据修正后的该像素的mark值，若mark=1，按水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按垂直方向插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

4.根据权利要求2或3所述的去马赛克方法，其特征在于，所述对亮度分量采用基于方向判断的插值方法进行去马赛克插值，还包括如下步骤：

计算该像素45°对角线中心差分的梯度|D₄₅°|和135°对角线中心差分的梯度|D_135°|，比较该像素|D_H|、|D_V|、|D_45°|、|D_135°|，沿梯度最小的方向修改该像素的第一亮度值P为梯度最小方向上该像素的两个相邻像素亮度值的均值。

5.根据权利要求1所述的去马赛克方法，其特征在于，所述对色彩分量进行下采样后，进行去马赛克插值，然后进行上采样，其中：

对色彩分量中的G分量采用基于方向判断的插值方法进行去马赛克插值。

6.一种基于P模式色彩滤镜阵列的去马赛克装置，用于对经过P模式色彩滤镜阵列后被图像传感器获得的原始数据进行去马赛克处理，所述P模式色彩滤镜阵列不仅包括R、G、B三种颜色滤镜单元，还包括所有波长的光全都透过的亮度滤镜单元，其特征在于，该装置包括：

分离模块，用于接收并将所述原始数据分离成亮度分量和色彩分量；

方向判断插值模块，用于对亮度分量采用基于方向判断的插值方法进行去马赛克插值，得到各像素的第一亮度值P；

色彩插值模块，用于对色彩分量进行下采样后，分别进行去马赛克插值，然后进行上采样；

合成模块，用于根据去马赛克插值后的色彩分量计算出各像素的第二亮度值Y，并将色彩分量乘以所述第一亮度值P与所述第二亮度值Y的比值映射得到最终的色彩分量输出。

7.根据权利要求6所述的去马赛克装置，其特征在于，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，执行以下操作：

对于亮度分量中缺少亮度值的像素，计算其水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|；

比较该像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|，如果|D_H|<|D_V|，则按照水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按照垂直方向进行插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

8.根据权利要求7所述的去马赛克装置，其特征在于，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，还执行以下操作：

根据像素水平方向中心差分的梯度|D_H|和垂直方向中心差分的梯度|D_V|的比较结果，如果|D_H|<|D_V|，则给该像素打上标识mark=1，否则给该像素打上标识mark=0；

以该像素为中心，为其邻域内所有缺少亮度值的像素配置权重mask，计算该邻域内所有缺少亮度值的像素的标识mark与对应的权重mask之积的和sum，将该sum值与该邻域内各像素权重的和对应的阈值进行比较，如果大于该阈值，则修正该像素的mark值为1，否则修正该像素的mark值为0；

根据修正后的该像素的mark值，若mark=1，按水平方向进行插值，计算该像素的第一亮度值P为水平方向上该像素的相邻像素亮度值的均值；否则按垂直方向插值，计算该像素的第一亮度值P为垂直方向上该像素的相邻像素亮度值的均值。

9.根据权利要求7或8所述的去马赛克装置，其特征在于，所述方向判断插值模块在对亮度分量采用基于方向判断的插值方法进行去马赛克插值时，还执行以下操作：

计算该像素45°对角线中心差分的梯度|D_45°|和135°对角线中心差分的梯度|D_135°|，比较该像素|D_H|、|D_V|、|D_45°|、|D_135°|，沿梯度最小的方向修改该像素的第一亮度值P为梯度最小方向上该像素的两个相邻像素亮度值的均值。

10.根据权利要求6所述的去马赛克装置，其特征在于，所述色彩插值模块包括：

下采样单元，用于对色彩分量进行下采样；

G分量插值单元，用于对色彩分量中的G分量进行去马赛克插值；

R/B分量插值单元，用于对色彩分量中的R/B分量进行去马赛克插值；

上采样单元，用于对插值后的色彩分量进行上采样；

所述G分量插值单元与方向判断插值模块为同一器件。

Images