CN101489142A - 数字影像的彩色插补方法 - Google Patents

Abstract

本发明涉及一种数字影像的彩色插补方法，依据一贝尔图块进行数字影像的像素插补，该彩色插补方法包括以下步骤：从该贝尔图块中设定一选取区域，用以选取出复数个颜色像素；利用一滤通器对该选取区域中的每一个像素进行滤通处理，借以产生相应的一亮度区块；根据该亮度区块与该贝尔图块的相应位置的该颜色像素，进行一影像彩度处理产生一彩度区块；以及将该亮度区块与该彩度区块进行一影像组合处理，产生一输出影像区块。本发明可以提高数字影像的影像清晰度。

Description

数字影像的彩色插补方法

技术领域

本发明涉及一种对数字影像的处理方法，特别是关于一种利用贝尔图块(Bayer pattern)执行数字影像的彩色插补方法。

背景技术

在感光元件中，由数百万个感光单元(或像素)组成的数组覆盖在传感器的表面。在受光后整个感光元件的像素数组上的累积电荷在感光元件的一端读出。将累积电荷通过一个仿真前端(AFE)芯片或感光处理器进行量化。

为了精确地表现一幅彩色图像，传感器的每个像素位置上都需要3种颜色样本，最常见被使用的就是RGB三原色。但若在同一个像素位置上设置三层颜色感光元件的话，会使得数字相机的成本大幅地增加。所以有人提出彩色滤光片数组(color filter array，以下简称CFA)的方式来进行像素颜色受光。当今最广泛使用的CFA是贝尔图块(Bayer pattern)。

请参考图1所示，其为现有技术的贝尔图块示意图。贝尔图块100是利用了人眼对绿色强度的辨别灵敏度大于红色或蓝色的原理。因此，在贝尔图块100的彩色滤光片数组中，绿色滤光片出现的次数是蓝色滤光片或红色滤光片的两倍，使得每四个像素形成一个单元。滤光片的排列顺序为红色滤光片与绿色滤光片交替排列；次一列则是由绿色滤光片与蓝色滤光片交替排列。

最后由数字摄像处理器根据每一个像素接收的光量进行颜色的内插处理。请参考表1所示，其为颜色像素的滤光数组的部分列表：

 

G1	R2	G3	R4
				B5	G6	B7	G8
G9	R10	G11	R12

 

B13

G14

B15

G16

表1

以内插计算为例，对于蓝色像素与红色像素位置的绿色像素内插。请参考表1所示，因为绕在周围的四个像素都有真实的绿色像素，因此要还原这失去的绿色像素，是利用周围颜色来进行插补：

G’₇＝(G₃+G₆+G₈+G₁₁)/4，式1

R’₇＝(R₂+R₄+R₁₀+R₁₂)/4，式2

B’₆＝(B₅+B₇)/2，式3

其中G，R，B分别代表真实的绿色像素、红色像素和蓝色像素；G’、R’与B’则代表内插得到的绿色像素值、红色像素值和蓝色像素值。

在上述颜色像素的颜色重建后，可以得到贝尔图块100所有像素的颜色修正值。在经过补偿后得到下述表2，其为补偿后的每一像素各颜色列表。

 

G1R’1B’1	G’2R2B’2	G3R’3B’3	G’4R4B’4
				G’5R’5B5	G6R’6B’6	G’7R’7B7	G8R’8B’8
G9R’9B’9	G’10R10B’10	G11R’11B’11	G’12R12B’12
				G’13R’13B13	G14R’14B’14	G’15R’15B15	G16R’16B’16

表2

G’₇插补时仅使用上下左右四相邻的G像素，然而在B₇上仍有相当重要的信息没有被利用，而造成插补出的影像，分辨率较差。

发明内容

本发明所要解决的技术问题在于提供一种数字影像的彩色插补方法，以提高数字影像的影像清晰度。

为了解决上述技术问题，本发明提供一种数字影像的彩色插补方法，依据一贝尔图块进行数字影像的像素插补，其特点在于，该彩色插补方法包括以下步骤：

从该贝尔图块中设定一选取区域，用以选取出复数个颜色像素；

利用一滤通器对该选取区域中的每一个像素进行滤通处理，借以产生相应的一亮度区块；

根据该亮度区块与该贝尔图块的相应位置的该颜色像素，进行一影像彩度处理产生一彩度区块；以及

将该亮度区块与该彩度区块进行一影像组合处理，产生一输出影像区块。

上述数字影像的彩色插补方法，其特点在于，进行该影像彩度处理后，还包括下列步骤：

对该彩度区块中的非绿色像素进行一绿色值补偿手段，记录这些像素所取得的一已补偿绿色像素值。

上述数字影像的彩色插补方法，其特点在于，该亮度区块与该彩度区块进行该影像组合处理中，还包括下列步骤：

将该亮度区块与该彩度区块合并成一绿色影像区块；以及

进行一颜色像素补偿手段，用以对该绿色影像区块中的每一像素进行像素的颜色补偿产生该输出影像区块。

本发明通过提供一种结合数字影像的亮度滤通与彩度滤通的颜色插补处理方法，以提高数字影像的影像清晰度。

以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。

附图说明

图1为现有技术的贝尔图块示意图；

图2a为本发明的运作流程示意图；

图2b为亮度插补手段的运作流程示意图；

图3a为影像的像素数组示意图；

图3b为水平影像素屏蔽示意图；

图3c为垂直影像素屏蔽示意图；

图3d为亮度区块生成示意图；

图4a为彩色区块的示意图；

图4b为彩色区块插补的示意图；

图5为影像组合处理的运作流程示意图；

图6为绿色影像区块示意图；

图7为在绿色影像区块中的红色像素的分布示意图。

其中，附图标记：

100     贝尔图块

300     像素数组

310     水平影像屏蔽

320     垂直影像屏蔽

400     亮度区块

500     彩度区块

600     绿色影像区块

具体实施方式

请参考图2a所示，其为本发明的运作流程示意图。本发明所揭露的数字影像的彩色插补方法，其中包括下列步骤：步骤S210，设定选取区域，从贝尔图块中选取出多个颜色像素并记录颜色像素的相应位置于选取区域中，选取区域为一m*n像素数组。贝尔图块中的颜色分布是由绿色像素与红色像素交错构成一列，蓝色像素与绿色像素构成次一列，再分别由绿/红像素与蓝/绿像素两两交错形成贝尔图块。在贝尔图块中的每一个像素仅存在一种颜色值，并未具有其它颜色值。

在本实施例中设定选取区域为5*5像素数组。步骤S220，根据选取区域中的影像边缘，产生相应的像素边界权重值。

请另外参考图2b，其为亮度插补手段的运作流程示意图。在亮度插补手段中还包括以下步骤：步骤S231，根据选取区域的像素数组大小，用以分别设定水平影像屏蔽与垂直影像屏蔽。步骤S232，根据水平影像屏蔽检测选取区域中每一像素相应的影像水平边界权重值。步骤S233，根据垂直影像屏蔽检测选取区域中每一像素相应的影像垂直边界权重值。

请同时配合图3a、3b与3c所示，其分别为影像的像素数组、水平影像屏蔽与垂直影像屏蔽示意图。图3a、3b与3c中分别为5*5的像素数组。图3a的像素数组300中的P_ij代表的是像素位置(i，j)。图3b中的Eh_ij代表的是像素位置(i，j)的影像水平边界权重值310。图3c中的Ev_ij代表的是像素位置(i，j)的影像垂直边界权重值320。其检测方式是将图3b与图3c的影像屏蔽分别套用至图3a的像素数组300中，分别计算影像的水平与垂直的分量距离。分量距离的计算可以依据不同算法来执行，本实施例是提供以下方式为例：

Eh₃₃＝|P₂₂-P₄₂+P₂₃-P₄₃+P₂₄-P₄₄|   式4

Ev₃₃＝|P₂₂-P₂₄+P₃₂-P₃₄+P₄₂-P₄₄|   式5

对于选取区域中的其它像素的影像水平边界权重值310与影像垂直边界权重值320可以依据上式得到。

步骤S230，根据贝尔图块的各种颜色像素进行相应的亮度插补手段。当目前处理的像素是位于贝尔图块的绿色像素，则用滤通器产生对应的亮度像素，滤通器请参考下式6所示：

$L_{\mathrm{ij}}=\frac{1}{\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}}\underset{i=1}{\overset{m}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}{g}_{\mathrm{ij}}*P_{\mathrm{ij}}$          式6

$M_g=\left[\begin{array}{ccccc}{g}_{11}& g_{12}& g_{13}& g_{14}& g_{15}\\ g_{21}& g_{22}& g_{23}& g_{24}& g_{25}\\ g_{31}& g_{32}& g_{33}& g_{34}& g_{35}\\ g_{41}& g_{42}& g_{43}& g_{44}& g_{45}\\ g_{51}& g_{52}& g_{53}& g_{54}& g_{55}\end{array}\right]$

式6中M_g为一低通滤波器，g_ij为相应选取区域中的每一像素位置的低通滤波系数。

若目前处理的像素位于贝尔图块100的红色或蓝色像素，将此一像素利用水平滤通器与垂直滤通器分别产生两个相应的水平亮度像素与垂直亮度像素。接着将水平亮度像素与垂直亮度像素进行加权平均，用以产生此一像素相应的亮度像素。请分别参考式7，其为对非绿色像素的滤通器：

$L_{\mathrm{ij}}=\frac{{\mathrm{Ev}}_{\mathrm{ij}}}{{\mathrm{Ev}}_{\mathrm{ij}}+{\mathrm{Eh}}_{\mathrm{ij}}}*L_h+\frac{{\mathrm{Eh}}_{\mathrm{ij}}}{{\mathrm{Ev}}_{\mathrm{ij}}+{\mathrm{Eh}}_{\mathrm{ij}}}*L_v$         式7

$L_h=\frac{1}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}\×P_{\mathrm{ij}}$

$L_v=\frac{1}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{b}_{\mathrm{ij}}}\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{b}_{\mathrm{ij}}\×P_{\mathrm{ij}}$

$M_h=\frac{1}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{a}_{\mathrm{ij}}}\left[\begin{array}{ccccc}{a}_{11}& a_{12}& a_{13}& a_{14}& a_{15}\\ a_{21}& a_{22}& a_{23}& a_{24}& a_{25}\\ a_{31}& a_{32}& a_{33}& a_{34}& a_{35}\\ a_{41}& a_{42}& a_{43}& a_{44}& a_{45}\\ a_{51}& a_{52}& a_{53}& a_{54}& a_{55}\end{array}\right]$   式7-1

$M_v=\frac{1}{\underset{i=1}{\overset{5}{\mathrm{\Σ}}}\underset{j=1}{\overset{5}{\mathrm{\Σ}}}{b}_{\mathrm{ij}}}\left[\begin{array}{ccccc}{b}_{11}& b_{12}& b_{13}& b_{14}& b_{15}\\ b_{21}& b_{22}& b_{23}& b_{24}& b_{25}\\ b_{31}& b_{32}& b_{33}& b_{34}& b_{35}\\ b_{41}& b_{42}& b_{43}& b_{44}& b_{45}\\ b_{51}& b_{52}& b_{53}& b_{54}& b_{55}\end{array}\right]$    式7-2

L_ij为选取区域中像素位置(i，j)；a_ij为低通滤波系数；b_ij为低通滤波系数；Ev_ij为影像垂直边界权重值；Eh_ij为影像水平边界权重值；L_v为利用M_v产生的垂直亮度像素；L_h是利用M_h产生的水平亮度像素。

请配合参考图3d所示，其为亮度区块生成示意图。对贝尔图块100中的每一像素进行上述的影像插补处理，并将这些像素依序排列组合后输出为亮度区块400。

步骤S240，根据亮度区块与选取区域进行影像彩度处理，产生彩度区块。特别值得注意的是，本实施例中对于选取区域中的不同颜色像素的所在位置进行相应的处理。若当前计算的颜色像素为贝尔图块100的绿色像素，将选取区域中的每一像素与亮度区块400中相应位置的像素进行该影像彩度处理，并执行下式用以产生彩度区块500中相应位置的彩度像素：

Cg_ij＝P_ij-L_ij    式8

若当前计算的颜色像素为贝尔图块100的红色像素或蓝色像素，执行下式用以产生彩度区块500中相应位置的彩度像素：

Cg_ij＝0       式9

Cg_ij为彩度区块中的位置(i，j)；P_ij为选取区域中像素位置(i，j)；L_ij为亮度区块中(i，j)像素位置。

接下来，对彩度区块500进行插补手段，用以产生对应于贝尔图块100的红色像素/蓝色像素位置彩度像素。彩度补偿手段系根据下式10，进行非绿色像素的彩度插补：

${\mathrm{Cg}}_{\mathrm{ij}}=\frac{{\mathrm{Cg}}_{i,j-1}+{\mathrm{Cg}}_{i-1,j}+{\mathrm{Cg}}_{i+1,j}+{\mathrm{Cg}}_{i,j+1}}{4}$      式10

请参考图4a所示，其为彩色区块的示意图。其中，Cg_ij为彩度区块500中的颜色像素位置(i，j)的彩度值。举例来说，对于Cg₂₃(图4a中虚线框)而言，此一颜色像素位置中并没有彩度值(其值为0)，所以需要利用周边像素的彩度值来对此一像素位置进行彩度值的补插动作。请参考图4b所示，其为彩色区块插补的示意图。其处理方式请参考式11

${\mathrm{Cg}}_{23}=\frac{{\mathrm{Cg}}_{\mathrm{2,2}}+{\mathrm{Cg}}_{\mathrm{1,3}}+{\mathrm{Cg}}_{\mathrm{3,3}}+{\mathrm{Cg}}_{\mathrm{2,4}}}{4}$   式11

重复进行各颜色的插补动作，使得在彩度区块500中的每一像素位置中皆具有相应的彩度值。接着，步骤S250，将亮度区块与彩度区块进行影像组合处理，产生输出影像区块。请配合图5，其为影像组合处理的运作流程示意图。在进行影像组合处理中还包括下列步骤：步骤S251，将亮度区块与彩度区块合并成绿色影像区块。对于亮度区块400的每一像素与相应位置的彩度区块500中的每一像素进行叠加的动作，用以产生绿色影像区块600。其中，亮度区块400与彩度区块500的叠加请参考下式所示：

G_ij＝L_ij+Cg_ij      式12

G_ij为绿色影像区块的像素位置(i，j)；L_ij为亮度区块中像素位置(i，j)；Cg_ij为彩度区块中彩度像素位置(i，j)。请参考图6所示，其为绿色影像区块示意图。

步骤S252，进行红色像素或蓝色像素补偿手段，用以对绿色影像区块中的每一颜色像素进行像素的颜色补偿产生输出影像区块。在贝尔图块100中的每一个颜色像素仅具有单一的颜色值。为了能让每一颜色像素可以得到其余颜色值，利用颜色像素补偿手段从周遭的其它颜色像素进行其它颜色的插补计算。

以欲对红色像素的其它颜色补偿为例，对于需要插补处理的情况有以下三种：状况1.在具有红色像素与绿色像素相邻的列(row)上的绿色像素；状况2.在具有蓝色像素与绿色像素相邻的列上的绿色像素；状况3.在具有蓝色像素与绿色像素相邻的列上的蓝色像素。请配合图7所示，其为在绿色影像区块中的红色像素的分布示意图。其中，R_ij为红色像素位置(i，j)；G_ij为绿色像素位置(i，j)；B_ij为蓝色像素位置(i，j)。在本实施例中是根据不同状况利用相应的算法进行相应的颜色补偿。

在状况1时：

根据红色像素周遭的绿色像素进行颜色补偿动作。请参考下式12。

$R_{i,j}=G_{i,j}+\frac{(R_{i-1,j}-G_{i-1,j})+(R_{i+1,j}-G_{i+1,j})}{2}$    式12

在状况2时：

根据红色像素周遭的绿色像素进行颜色补偿动作。请参考下式13。

$R_{i,j}=G_{i,j}+\frac{(R_{i,j-1}-G_{i,j-1})+(R_{i,j+1}-G_{i,j+1})}{2}$   式13

在状况3时：

根据红色像素周遭的绿色像素进行颜色补偿动作。请参考下式14。

$R_{i,j}=G_{i,j}+$

$\frac{(R_{i-1,j-1}-G_{i-1,j-1})+(R_{i+1,j-1}-G_{i+1,j-1})}{2}+$

$\frac{(R_{i-1,j+1}-G_{i-1,j+1})+(R_{+1i,j+1}-G_{i+1,j+1})}{2}$    式14

对于蓝色像素的颜色补偿与红色像素的处理动作相同，所以在此不再多加赘述。最后，对绿色影像区块600每一个颜色像素位置记录其中的每一颜色值至输出影像区块中。并重复执行步骤S210，直至完成贝尔图块中所有的颜色像素为止。

本发明提供一种结合数字影像的亮度滤通与彩度滤通的颜色插补处理方法，用以提高数字影像的影像清晰度。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明权利要求的保护范围。

Claims (3)

1、一种数字影像的彩色插补方法，依据一贝尔图块进行数字影像的像素插补，其特征在于，该彩色插补方法包括以下步骤：

从该贝尔图块中设定一选取区域，用以选取出复数个颜色像素；

利用一滤通器对该选取区域中的每一个像素进行滤通处理，借以产生相应的一亮度区块；

根据该亮度区块与该贝尔图块的相应位置的该颜色像素，进行一影像彩度处理产生一彩度区块；以及

将该亮度区块与该彩度区块进行一影像组合处理，产生一输出影像区块。

2、根据权利要求1所述的数字影像的彩色插补方法，其特征在于，进行该影像彩度处理后，还包括下列步骤：

对该彩度区块中的非绿色像素进行一绿色值补偿手段，记录这些像素所取得的一已补偿绿色像素值。

3、根据权利要求1所述的数字影像的彩色插补方法，其特征在于，该亮度区块与该彩度区块进行该影像组合处理中，还包括下列步骤：

将该亮度区块与该彩度区块合并成一绿色影像区块；以及

进行一颜色像素补偿手段，用以对该绿色影像区块中的每一像素进行像素的颜色补偿产生该输出影像区块。

Images