CN1326088C

CN1326088C - 补足像素色彩的内插法

Info

Publication number: CN1326088C
Application number: CNB2004100042208A
Authority: CN
Inventors: 陈中平; 黄旭鍊
Original assignee: Altek Corp
Current assignee: Altek Corp
Priority date: 2004-02-10
Filing date: 2004-02-10
Publication date: 2007-07-11
Anticipated expiration: 2024-02-10
Also published as: CN1655190A

Abstract

本发明提供一种补足像素色彩的内插法，应用于一绿、红、蓝像素所组成的阵列的色彩补足，使每一像素各含有红、蓝、绿三元素。本发明的内插法包括：在接收该像素阵列的信号之后，根据欲插补的红/蓝像素周围的绿像素以及所述绿像素周围的红、蓝像素一并考虑来判断在水平和垂直方向上的信号走势变化，根据变化最小的方向，将每一红/蓝像素邻接的二绿像素加以平均，以利用此平均值补足红/蓝像素的绿色元素的资料，接着再对于水平及垂直方向的像素，分别以内插法补足每一像素所遗失的蓝色或红色元素，进而使每一像素各含有绿、红、蓝三元素。本发明能提供准确的插补色彩值，以达成高分辨率且分辨率稳定的功效。

Description

补足像素色彩的内插法

技术领域

本发明有关一种补足像素色彩的方法，特别是关于一种增加判断信号走势变化流程的像素色彩内插法，以提供准确的色彩插补值。

背景技术

影像传感器阵列为广泛应用在数字摄影中用以记绿影像信号的装置，在每一影像感测器上组成画面的最小单位被称为像素中(pixel)，换言之，每一像素即为一个光电体。

由于像素本身只对光的强度有反应，但对光的色彩则完全没有分释能力，所以单纯影像或感测器阵列本身只能拍得灰阶的影像，若要拍到彩色的影像，便要在影像感测器阵列的每一光电体前加上红(R)、绿(G)、蓝(B)三原色中的滤镜或滤光片，使每一个光电体只能接收和量度其中一种原色的光度强弱，其中，R滤镜、G滤镜及B滤镜分别仅让红光、绿光及蓝光通过。如图1所示，影像传感器阵列的影像像素较普遍的排列方式为绿、蓝(G、B)一列，另一列则是红、绿(R、G)列，进而依序排列组成分布平均的RGB矩阵排列，而另一种常用的排列方式则是CYGM(Cyan-Yellow-Green-Magenta)。

由于每一影像像素仅具有单一色彩元素，因此利用影像处理器接收来自于影像传感器阵列的影像像素辉度数之后，通常先利用内插法(interpolation)重建每一影像像素所遗失的色彩元素，以使每一像素皆具有三原色。现有技术色彩插补方法是利用每一原色像素旁边的其它像素，为每一原色像素计算出其余两色的资料。举例来说，如图1所示，每一红色像素10的周边分别有着四个蓝色像素12和四个绿色像素14，像素插值系统会利用最近的四个蓝色像素12的光度平均值和四个绿色像素14的光度平均值，为中心的红色像素10计算出所遗失的绿色和蓝色的资料，以使红色像素得到一完整的RGB光度资料。同理，蓝色和绿色像素12、14的插补原理亦相同。然而，当拍摄一些具有细致彩色线条或精密色彩变化的影像时，若被平均的四点像素其中一点为位于影像边缘或信号走势变化较大之处，则整体平均值将会受此点影响而产生较大的误差，使得此处的分辨率变差，出现色噪(color noise)或色纹现象，而影响整体影像画质。

为了改善此问题，台湾专利公告第413797号公开了一种彩色重建的边缘相关内插法，其以中心像素的水平、垂直及45度方向性来作内插，然该专利中仅以绿色(G)光度值的走势来判断方向性，而仍存在着误判方向的可能性，导致插补值不一定正确，无法提供稳定的分辨率。

发明内容

本发明提供一种补足像素色彩的内插法，以提供准确插补值，使细致彩色线条及精密色彩变化的影像仍可保持高分辨率。

本发明提供的补足像素色彩的内插法，应用于光线通过一彩色滤光片后所产生的影像像素阵列，该影像像素阵列为红像素、蓝像素及绿像素所组成，该内插法用以将每一该像素所遗失的色彩元素予以补足，使每一像素各含有红、蓝、绿三元素，该补足像素色彩的内插法包括下列步骤：

接收该影像像素阵列的信号，并根据欲插补的红/蓝像素周围的绿像素以及所述绿像素周围的红、蓝像素一并考虑来判断在水平和垂直方向上的信号走势变化；

根据变化最小的方向，将每一红/蓝像素邻接的二绿像素加以平均，所得的平均值成为每一该红/蓝像素中的绿色元素的资料；以及

对于水平及垂直方向的所有像素，分别以内插法补足每一像素所遗失的蓝色元素或/及红色元素，进而使每一像素各含有绿、红、蓝三元素。

本发明提供一种补足像素色彩的内插法，应用于光线通过一彩色滤光片后所产生的影像像素阵列，该影像像素阵列包含有第一像素、第二像素及第三像素，该内插法用以将每一该像素所遗失的色彩元素予以补足，使每一该像素各含有第一元素、第二元素及第三元素，该补足像素色彩的内插法包括下列步骤：

接收该影像像素阵列的信号，并根据欲插补的第二/第三像素周围的第一像素以及所述第一像素周围的第二、第三像素一并考虑来判断在水平和垂直方向上的信号走势变化；

根据变化最小的方向，将每一该第二/第三像素邻接的二该第一像素加以平均，所得的平均值成为每一该第二/第三像素中的第一元素的资料；

对于水平及垂直方向的该等像素，分别以内插法补足每一该像素所遗失的第二元素或/及第三元素，进而使每一该像素各含有第一、第二及第三元素。

本发明的补足像素色彩的内插法，能达成影像分辨率高且分辨率稳定的功效，令输出影像呈现自然平滑的图像。

附图说明

图1为现有技术中在影像像素阵列中插补色彩的示意图。

图2为本发明所插补的影像像素阵列的示意图。

图3为本发明补足像素色彩的内插法的流程图。

图4A至第图4C为本发明重建绿色元素的各步骤像素阵列示意图。

图5A至图5D为本发明以水平方向重建蓝色及红色元素的各步骤像素阵列示意图。

图6A至图6D为本发明以垂直方向重建蓝色及红色元素的各步骤像素阵列示意图。

图7为本发明仿真一实际影像的像素阵列的示意图及列示像素的光度值。

具体实施方式

本发明在进行内插计算之前，先将所欲插补的红/蓝像素周围的四个绿像素进行信号边缘及走势变化的判断，且此判断步骤同时一并考虑绿像素周边的红、蓝像素信号变化，以利用信号变化较小的水平或垂直方向的二个绿像素来加以平均，提供红/蓝像素的绿色元素插补值，再以绿色元素为基础进行其它像素所遗失的红色元素及/或蓝色元素的内插计算，以使整个内插过程的信号数值呈现良好的连接关系。

如图2所示，在光线通过一彩色滤光片后所产生的影像像素阵列20，其由多个像素22所组成，包括红像素24、蓝像素26及绿像素28，以一绿、蓝像素(G、B)列及一红、绿像素(R、G)列依序排列形成阵列，进而构成每一红像素24或蓝像素26的周围具有四个绿像素28的阵列。由于每一原色像素22仅具有单一色彩元素，因此必须将每一像素22所遗失的其它二色彩元素予以补足，使每一像素22各含有红、蓝、绿三元素。

由于在红、蓝、绿三原色中，绿原色的辉度值最高而可提供较准确的光度资料，因此本发明的内插法先以绿像素28为基准，判断其周围的信号走势变化而将二间隔的绿像素28加以平均，此平均值即作为红像素24或蓝像素26所遗失的绿色元素的光度值。

本发明补足像素色彩的方法采用软件，通常以一影像处理装置来实现。此补足像素色彩的方法的流程图请参阅图3所示，其运用内插法且在内插过程加入判断的流程，请同时参阅图2，本发明的方法包括下列步骤：首先，如步骤S10，接收由影像传感器阵列所传来的影像像素阵列20的信号，而后由左至右依序扫描影像像素阵列20，每扫描到一蓝像素26或红像素24，以其周围的四个绿像素28为基准，判断此四个绿像素28周围的水平与重直方向的信号走势变化，且此判断信号走势变化的步骤，是根据此四个绿像素28中每一绿像素28的周边的绿像素28及红/蓝像素24/26的值来加以判断；接着如步骤S12，依据变化最小的方向，将每一红/蓝像素24/26邻接的二绿像素28加以平均，此平均值即成为每一红/蓝像素24/26中的绿色元素，如此重复步骤S10及S12，依序扫描且重建每一红、蓝像素24、26中所遗失的绿色元素，直至所有红、蓝像素24、26中的绿色元素重建完成。上述扫描的方向亦可由右至左或由上至下等方向扫描。

其中，在步骤S10至S12中，当绿像素28的周围像素22信号值的水平方向的走势变化较垂直方向小，则以水平方向为基准，将每一红/蓝像素24/26水平二侧邻接的二绿像素28加以平均，此平均值即成为每一红/蓝24/26像素中的绿色元素，以补足其绿色元素；而当绿像素28周围的像素22信号值的垂直方向的走势变化较水平方向小，则以垂直方向为基准，将每一红/蓝像素24/26垂直二侧邻接的二绿像素28加以平均，以补足红/蓝像素24/26中的绿色元素。

在如步骤S10及S12重建完成该等像素22所遗失的绿色元素之后，接下来以内插法补足的该等像素22所遗失的蓝色元素及/或红色元素，以补足每一绿像素28所遗失的蓝色及红色元素，补足每一蓝像素26所遗失的红色元素，以及补足每一红像素24所遗失的蓝色元素。首先，如步骤S14所示，对于影像像素阵列20中水平方向排列的像素22，以内插法补足的该等像素22所遗失的蓝色元素及/或红色元素：而后接续如步骤S16，再针对垂直方向以内插法补足影像像素阵列20中的像素22所遗失的蓝色元素及/或红色元素，如此即完成该等像素22的红色元素及蓝色元素的重建，进而使每一像素22各含有绿、蓝、红三元素，完成像素色彩的重建程序而结束插补运作流程，即步骤S18。

在上述补足像素色彩的内插法中，于重建完成彩色元素之后，先以水平方向而后再以垂直方向分别进行蓝、红元素的重建；然而，本发明的蓝、红元素是基于绿元素的变化量而计算，故当不限定蓝、红元素抑或红、蓝元素的重建顺序，且不限定水平方向及垂直方向的重建顶序，亦即本发明亦可以先重建重直方向的蓝、红元素而后再进行水平方向重建来实施。

以下特以一具体范例来详细验证说明本发明的内插法。

利用本发明的补足像素色彩的内插法作为影像处理系统中色彩重建的实际应用如图4A至图4C、图5A至图5D以及图6A至图6D所示，首先，如图4A所示，影像通过彩色滤光阵列(color filter array，CFA)及影像感测器阵列之后形成如图所示的影像像素阵列，在此影像进行后续处理之前，必需所将“遗失的”色彩成分加以重建。本发明先对绿(G)颜色进行计算，首先，针对绿蓝绿蓝(GBGB)列处理，在图4 A中，G₅原为不存在的，B₅位置的G₅的重建需参考B₅四周的G₂、G₄、G₆、G₈四个绿光度值，且经过一定的判断，此判断原则的计算式如下：

ΔH＝|G₄-G₆|+|B₅-B₃+B₅-B₇|；

ΔV＝|G₂-G₈|+|B₅-B₁+B₅-B₉|；

其中，ΔH代表水平方向的信号走势变化，而ΔV代表垂直方向的信号走势变化。

当ΔH＜ΔV，则 G₅＝(G₄+G₆)÷2；

当ΔH＞ΔV，则 G₅＝(G₂+G₈)÷2；

进而将B₅位置的所遗失的G₅予以补足。

如此依序将GBGB列中的B位置所遗失的G’值以前述内插方法求出，因此，图4A变成图4B，GBGB列中的每一B位置各具有绿色元素G’。

在完成GBGB列的彩色元素重建之后，接着，针对绿红绿红(GRGR)列处理，如图4B所示，G₅原为不存在的，R₅位置的G₅的重建需参考其四周的G₂、G₄、G₆、G₈，且经过一定的判断，此判断原则的计算式如下：

ΔH＝|G₄-G₆|+|R₅-R₃+R₅-R₇|；

ΔV＝|G₂-G₈|+|R₅-R₁+R₅-R₉|；

当ΔH＜ΔV，则G₅＝(G₄+G₆)÷2；

当ΔH＞ΔV，则G₅＝(G₂+G₈)÷2；

进而将R₅位置的所遗失的G₅予以补足。

如此依序将GRGR列中的R位置所遗失的G’值通过前述内插方法予以求出，因此，图4B变成图4C，使GRGR列中的每一R位置各具有绿色元素G’。至此，已完成影像像素阵列中所有像素的绿颜色重建。

在完成G颜色重建之后，接着，参考水平方向的蓝像素值(B)将水平GBGB列中缺少的蓝色元素B’值计算出来，如图5A所示，B₀’原为不存在的，G₀位置的B₀’的重建需参考G₀水平二例的B₁及G₁’差值、B₂及G₂’差值以及G₀，计算式如下：

B₀’＝[(B₁-G₁’)+(B₂-G₂’)]÷2+G₀ 式(1)

如此依序将水平方向的GBGB列中的G像素所缺少的B’值一一计算出来，因此，图5A变成图5B，使GBGB列中的每一G位置各具有蓝色元素B’。

接续如图5C所示，参考水平方向的R值将水平GRGR列所缺少的红色R’值计算出来，在图5C中，R₀’原为不存在的，G₀位置的R₀’的重建需参考G₀水平二例的R₁及G₁’差值、R₂及G₂’差值以及G₀，计算式如下：

R₀’＝[(R₁-G₁’)+(R₂-G₂’)]÷2+G₀ 式(2)

如此依序将水平方向的GRGR列中所缺少的R’值一一计算出来，因此，图5C变成图5D，GRGR列中的每一G位置各具有红色元素R’。至此，已针对水平方向完成影像像素阵列中蓝(B)颜色及红(R)颜色的重建。

在完成水平方向的蓝、红颜色重建之后，接着，重建垂直方向的蓝、红颜色，其重建方法及原理同于水平方向。首先，如图6A所示，参考垂直方向的B值，将垂直方向中将含GR’或RG’的像素所缺少的B’值计算出来，在图6A中，B₀’原为不存在的，G₀位置的B₀’的重建需参考G₀垂直二例的B₁及G₁’差值、B₂及G₂’差值以及G₀，计算式如下，同与上式(1)：

B₀’＝[(B₁-G₁’)+(B₂-G₂’)]÷2+G₀ 式(1)

如此依序将重直方向中将含GR’或RG’的像素所缺少的蓝色元素B’值一一计算出来，因此，图6A变成图6B，使每一行的每一像素各具有蓝色元素。

接续如图6C所示，参考垂直方向的R值将垂直方向中含BG’或GB’的像素所缺少的红色元素R’值计算出来，在图6C中，R₀’原为不存在的，G₀位置的R₀’的重建需参考G₀垂直二例的R₁及G₁’差值、R₂及G₂’差值以及G₀，计算式如下，同于上式(2)：

R₀’＝[(R₁-G₁’)+(R₂-G₂’)]÷2+G₀ 式(2)

如此依序将垂直方向中的像素所缺少的R’值一一计算出来，使得图6C的影像像素阵列变成图6D所示的态样，令每一像素各含有RGB三颜色值，进而完成整个影像重建的程序。

在了解本发明的具体实施方法之后，以下特针对一具体比较例说明运用本发明的方法及现有方法的差异，以验证本发明所达成的作用及功效。如图7所示，首先，仿真一条接近黑色的直线(深色表示)通过一接近白色的区域(浅色表示)，采用现有技术中的色彩插补法，仅以G值变化来判断垂直与水平方向的信号走势变化而求取插补值G_C，其判断过程的计算式如下：

垂直：变化量(G₁-G₄)＝|233-230|＝3；

水平：变化量(G₂-G₃)＝|24-20|＝4；

则(水平变化量)＞(垂直变化量)。

若如现有技术中仅以G值变化来判断，则因判断资料不足而导致系统误判为垂直方向的信号变化量较小，使得系统以(G₁+G₄)/2来计算中心G_C值，因而造成误判，使得G值成为20，231，24不连续，令此线看起来呈现断掉状态。

相反地，利用本发明的色彩插补方法，先以下式计算G值的垂直与水平方向的信号走势变化：

垂直G：变化量(G₁-G₄)＝|233-230|＝3；

水平G：变化量(G₂-G₃)＝|24-20|＝4；

接着再同时加上R值辅助判断，其计算式如下：

垂直R：变化量(2R_C-R₅-R₈)＝|50-200-203|＝353；

水平R：变化量(2R_C-R₆-R₇)＝|50-21-23|＝6；

则(垂直G+垂直R＞(水平G+水平R)。

因此，加入R值判断后，较能真实反应实际的信号走势变化，得到水平方向的信号变化较小的信息，故系统将以(G₂+G₃)/2来计算中心G_C值，进而得到一较为正确的插补值，使G值为20，22，24，故此条线看起来不会断掉，而呈现较连续且清晰的画质。

因此，本发明利用在内插计算前，考虑G值同时一并考虑周边B、R值的方向性，以加入边缘及走势判断的流程，进而利用信号变化较小的水平或垂直方向的二个绿像素值来加以平均，以获得一较为准确的G值，而后再以G值为基础内插求出B值及R值，使整个内插过程的信号数值呈现良好的连接关系，达到提供准确插补色彩值的最终目的，以达成分辨率高且稳度的功效，令影像自然呈现平滑的图像，以确实改善现有技术中插补系统误差大的缺点。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种补足像素色彩的内插法，应用于光线通过一彩色滤光片后所产生的影像像素阵列，该影像像素阵列为红像素、蓝像素及绿像素所组成，该内插法用以将每一该像素所遗失的色彩元素予以补足，使每一像素各含有红、蓝、绿三元素，该补足像素色彩的内插法包括下列步骤：

2.如权利要求1所述的补足像素色彩的内插法，其特征在于：所述像素阵列为一绿、蓝像素列及一红、绿像素列依序排列形成的阵列。

3.如权利要求1所述的补足像素色彩的内插法，其特征在于：判断信号走势变化的步骤是对于每一欲插补的红/蓝像素周围的绿像素的水平及垂直方向，根据其周边的绿像素及红/蓝像素的值加以判断。

4.如权利要求1所述的补足像素色彩的内插法，其特征在于：当欲插补的红/蓝像素周围的绿像素的周围像素信号值的水平方向的走势变化较垂直方向小，则以水平方向为基准，将每一该红/蓝像素水平二侧邻接的二该绿像素加以平均，此平均值成为每一该红/蓝像素中的绿色元素，而补足其绿色元素。

5.如权利要求1所述的补足像素色彩的内插法，其特征在于：当欲插补的红/蓝像素周围的绿像素的周围像素信号值的垂直方向的走势变化较水平方向小，则以垂直方向为基准，将每一该红/蓝像素垂直二侧邻接的二该绿像素加以平均，此平均值成为每一该红/蓝像素中的绿色元素，而补足其绿色元素。

6.如权利要求1所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的蓝色元素或红色元素的步骤中，先对于水平方向排列的该等像素补足色彩元素，而后再对于垂直方向排列的该等像素补足色彩元素。

7.如权利要求1所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的蓝色元素或/及红色元素的步骤中，先对于垂直方向排列的该等像素补足色彩元素，而后再对于水平方向排列的该等像素补足色彩元素。

8.如权利要求1所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的蓝色元素或/及红色元素的步骤中，补足每一该绿像素所遗失的蓝色及红色元素，补足每一该蓝像素所遗失的红色元素，以及补足每一该红像素所遗失的蓝色元素。

9.一种补足像素色彩的内插法，应用于光线通过一彩色滤光片后所产生的影像像素阵列，该影像像素阵列包含有第一像素、第二像素及第三像素，该内插法用以将每一该像素所遗失的色彩元素予以补足，使每一该像素各含有第一元素、第二元素及第三元素，该补足像素色彩的内插法包括下列步骤：

10.如权利要求9所述的补足像素色彩的内插法，其特征在于：所述第一、第二及第三像素分别为绿像素、红像素及蓝像素，且该像素阵列为一绿、蓝像素列及一红、绿像素列依序排列形成的阵列。

11.如权利要求9所述的补足像素色彩的内插法，其特征在于：判断信号走势变化的步骤是对于每一欲插补的第二/第三像素周围的第一像素的水平及垂直方向，根据其周边的第一像素及第二/第三像素的值加以判断。

12.如权利要求9所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的第二元素或/及第三元素的步骤，是先对于水平方向排列的该等像素补足色彩元素，而后再对于垂直方向排列的该等像素补足色彩元素。

13.如权利要求9所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的第二元素或/及第三元素的步骤，是先对于垂直方向排列的该等像素补足色彩元素，而后再对于水平方向排列的该等像素补足色彩元素。

14.如权利要求9所述的补足像素色彩的内插法，其特征在于：补足该等像素所遗失的第二元素或/及第三元素的步骤，是补足每一该第一像素所遗失的第二及第三元素，补足每一该第二像素所遗失的第三元素，以及补足每一该第三像素所遗失的第二元素。