CN112788310B - 影像处理方法及相关的影像处理电路 - Google Patents

Abstract

本公开涉及影像处理方法及相关的影像处理电路。本发明公开了一种影像处理方法，其包含有以下步骤：自一影像传感器接收一原始影像数据，其中该影像传感器为一具有四像素单元的贝尔传感器，该原始影像数据报含了每一个像素所具有的颜色信息，且每一个像素的该颜色信息仅对应到单一颜色；针对准备要进行处理的一特定像素，选择包含该特定像素在内的一区域；根据该特定像素的位置以决定是否将该区域内的颜色信息进行翻转以产生一翻转后区域；以及使用该区域或是该翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生该特定像素所缺乏的颜色信息。

Description

影像处理方法及相关的影像处理电路

技术领域

本发明系有关于影像处理，尤指一种应用在具有四像素单元的贝尔传感器的影像处理方法。

背景技术

图1为应用在一具有四像素单元的贝尔传感器的色彩滤波阵列100的示意图。如图1所示，色彩滤波阵列100包含了16个像素，其中左上角为分别用来产生绿色信息G11、G12、G21、G22的四个像素，右上角为分别用来产生红色信息R13、R14、R23、R24的四个像素，左下角为分别用来产生蓝色信息B31、B32、B41、B42的四个像素，而右下角为分别用来产生绿色信息G33、G34、G43、G44的四个像素。贝尔传感器在明亮光源环境时，色彩滤波阵列100会输出上述16个像素的颜色信息，而在低光源环境时，色彩滤波阵列100会将同一颜色像素的颜色信息进行加总(例如，将红色信息R13、R14、R23、R24加总)以输出传统的贝尔样式(bayerpattern)，以牺牲分辨率来换取较高的感亮度。

然而，由于色彩滤波阵列100所输出的对应到16个像素的颜色信息都只包含了单一颜色，例如最左上角的像素仅包含了绿色信息G11，因此，后续的影像处理电路会需要使用周遭像素的所包含的其他颜色信息来内插出所缺乏的颜色信息。举例来说，由于最左上角的像素仅包含了绿色信息G11，因此，影像处理电路会使用周遭像素的多个蓝色信息来进行内插以获得最左上角的像素的蓝色信息，并使用周遭像素的多个红色信息来进行内插以获得最左上角的像素的红色信息。然而，由于色彩滤波阵列100具有特殊的排列方式，因此，无法使用单一的内插方式来对每一个像素进行处理，举例来说，具有到绿色信息G11、G12、G21、G22的四个像素的每一者与周边具有蓝色信息B31、B32、B41、B42的四个像素的相对位置并不相同，因此具有绿色信息G11、G12、G21、G22的四个像素在计算出对应的蓝色信息时所采用的具有蓝色信息的像素的相对位置与权重并不相同，故会需要多组电路或多组算法来进行对应的内插操作，因而增加了设计与制造上的成本。

在另一先前技术中，影像处理电路也可以将色彩滤波阵列100所输出的颜色信息先进行马赛克重排(re-mosaic)以产生出贝尔样式，之后再套用习知贝尔传感器的解马赛克(demosaicing)技术，然而，这种做法由于多了一次内插操作(即，马赛克重排)，因此会让影像细节损失，因而影响到影像质量。

发明内容

因此，本发明的目的之一在于提出一种影像处理方法，其可以在使单一的内插方式来对具有四像素单元的贝尔传感器所输出的原始影像数据进行处理，且不需要对原始影像数据进行马赛克重排，以解决先前技术中的问题。

在本发明的一个实施例中，公开了一种影像处理方法，其包含有以下步骤：自一影像传感器接收一原始影像数据，其中该影像传感器为一具有四像素单元的贝尔传感器，该原始影像数据包含了每一个像素所具有的颜色信息，且每一个像素的该颜色信息仅对应到单一颜色；针对准备要进行处理的一特定像素，选择包含该特定像素在内的一区域；根据该特定像素的位置以决定是否将该区域内的颜色信息进行翻转以产生一翻转后区域；以及使用该区域或是该翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生该特定像素所缺乏的颜色信息。

在本发明的另一个实施例中，公开了一种影像处理电路，其包含有一接收电路、一预处理电路以及一内插电路。在该影像处理电路的操作中，该接收电路用以自一影像传感器接收一原始影像数据，其中该影像传感器为一具有四像素单元的贝尔传感器，该原始影像数据报含了每一个像素所具有的颜色信息，且每一个像素的该颜色信息仅对应到单一颜色；该预处理电路用以针对准备要进行处理的一特定像素，选择包含该特定像素在内的一区域，并根据该特定像素的位置以决定是否将该区域内的颜色信息进行翻转以产生一翻转后区域；以及该内插电路用以使用该区域或是该翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生该特定像素所缺乏的颜色信息。

附图说明

图1为应用在一具有四像素单元的贝尔传感器的色彩滤波阵列100的示意图。

图2为根据本发明一实施例的影像处理电路的示意图。

图3为影像传感器所产生的原始影像数据的示意图。

图4为特定像素为像素P44时所选择的区域的示意图。

图5为特定像素为像素P45时所选择的区域的示意图。

图6为特定像素为像素P45时对区域进行垂直翻转以产生翻转后区域的示意图。

图7为特定像素为像素P54时所选择的区域的示意图。

图8为特定像素为像素P54时对区域进行水平翻转以产生翻转后区域的示意图。

图9为特定像素为像素P55时所选择的区域的示意图。

图10为特定像素为像素P55时对区域进行水平与垂直翻转以产生翻转后区域的示意图。

图11为根据本发明一实施例的影像处理方法的流程图。

具体实施方式

图2为根据本发明一实施例的影像处理电路200的示意图。如图2所示，影像处理电路200系用来接收来自一影像传感器202的原始影像数据，并对原始影像数据进行内插处理以补足每一个像素所缺乏的颜色信息后产生一处理后影像数据，而该处理后影像数据透过一后端处理电路204的处理后传送到一显示面板206并显示于其上。在本实施例中，影像传感器202为具有四像素单元的贝尔传感器，亦即影像传感器202包含如图1所示的色彩滤波阵列100。需注意的是，图1所示的色彩滤波阵列100仅是作为说明，在实作上影像传感器202会具有多个依序排列的色彩滤波阵列100。

在影像处理电路200的操作中，接收电路210自影像传感器202接收原始影像数据，其中原始影像数据报含了每一个像素所具有的颜色信息，且每一个像素的颜色信息仅对应到单一颜色。为了方便以下的说明，原始影像数据系以图3为例来进行说明，在图3中，原始影像数据报含了一个10*10的像素阵列，其包含了像素P00～P99及对应的颜色信息，其中图示的Rxx代表着红色信息(例如R00、R01、...)、Gxx代表着绿色信息(例如G02、G03、…)、而Bxx代表着蓝色信息(例如B22、B23、…)，而每一个像素P00～P99仅具有单一颜色信息。接着，针对准备要进行处理的一特定像素，预处理电路220选择包含该特定像素在内的一区域，并根据该特定像素的位置以决定是否将该区域内的颜色信息进行翻转以产生一翻转后区域。具体来说，针对原始影像数据中相邻且具有相同单一颜色信息的四个像素，若是该特定像素的位置对应到该四个像素中的一第一像素，不对该区域内的颜色信息进行任何翻转；若是该特定像素的位置对应到该四个像素中的一第二像素，对该区域内的颜色信息进行水平翻转以产生该翻转后区域；若是该特定像素的位置对应到该四个像素中的一第三像素，对该区域内的颜色信息进行垂直翻转以产生该翻转后区域；以及若是该特定像素的位置对应到该四个像素中的一第四像素，对该区域内的颜色信息进行水平与垂直翻转以产生该翻转后区域。

详细来说，假设像素P44、P45、P54、P55分别做为影像处理电路100所需要处理的特定像素。先参考图4，假设目前影像处理电路100所需要处理的是具有红色信息R44的特定像素P44，亦即影像处理电路100需要对特定像素P44进行处理以得到所缺乏的绿色信息与蓝色信息，则预处理电路220可以以特定像素P44为中心点选择一个9*9的区域410(亦即，像素P00～P88)。而在本实施例中，当特定像素P44为正在进行处理的像素时，区域410不进行任何的翻转。

接着，参考图5，假设目前影像处理电路100所需要处理的是具有红色信息R45的特定像素P45，亦即影像处理电路100需要对特定像素P45进行处理以得到所缺乏的绿色信息与蓝色信息，则预处理电路220可以以特定像素P45为中心点选择一个9*9的区域510(亦即，像素P01～P89)，并对区域510作水平翻转以得到图6所示的翻转后区域510’。详细来说，在水平翻转的过程中，系以像素P05、P15、P25、P35、P45、P55、P65、P75、P85为轴心进行左右两侧颜色信息的翻转，亦即翻转后区域510’的第一行(column)为区域510的最后一行、翻转后区域510’的第二行为区域510的倒数第二行…以此类推。在电路的实际操作中，可以透过对区域510的每一列(row)进行相反方向的读取以得到翻转后区域510’。

接着，参考图7，假设目前影像处理电路100所需要处理的是具有红色信息R54的特定像素P54，亦即影像处理电路100需要对特定像素P54进行处理以得到所缺乏的绿色信息与蓝色信息，则预处理电路220可以以特定像素P54为中心点选择一个9*9的区域710(亦即，像素P10～P98)，并对区域510作垂直翻转以得到图8所示的翻转后区域710’。详细来说，在垂直翻转的过程中，系以像素P50、P51、P52、P53、P54、P55、P56、P57、P58为轴心进行上下两侧颜色信息的翻转，亦即翻转后区域710’的第一列为区域710的最后一列、翻转后区域710’的第二列为区域710的倒数第二列…以此类推。在电路的实际操作中，可以透过对区域710的每一行(row)进行相反方向的读取以得到翻转后区域710’。

接着，参考图9，假设目前影像处理电路100所需要处理的是具有红色信息R55的特定像素P55，亦即影像处理电路100需要对特定像素P55进行处理以得到所缺乏的绿色信息与蓝色信息，则预处理电路220可以以特定像素P55为中心点选择一个9*9的区域910(亦即，像素P11～P99)，并对区域910作垂直翻转与水平翻转以得到图10所示的翻转后区域910’。在电路的实际操作中，可以透过对区域910的每一行进行相反方向的读取以得到一暂时区域，并再对该暂时区域的每一列进行相反方向的读取以得到翻转后区域910’。

如上所述，由于区域410、翻转后区域510’、翻转后区域710’以及翻转后区域910’具有相同的颜色信息分布(亦即区域410、翻转后区域510’、翻转后区域710’以及翻转后区域910’中具有相同坐标的像素系具有相同的颜色信息)，因此，不论目前所处理的是特定像素P44、P45、P54、P55中的哪一者，内插电路230都可以使用相同的内插方式来对区域410或是翻转后区域510’、710’、910’中至少一部分像素的颜色信息进行内插操作，以产生特定像素P44、P45、P54、P55所缺乏的颜色信息。在本实施例中，相同的内插方式指的是该至少一部分像素与特定像素具有固定的相对位置及/或固定的权重。举例来说，假设目前内插电路230准备对特定像素P44进行处理以得到其蓝色信息，则内插电路230可以选择区域410中的像素P22、P23、P26、P32、P33、P36、P62、P63、P66的蓝色信息来进行内插操作(例如，加权相加/加权平均)以产生特定像素P44所缺乏的蓝色信息；假设目前内插电路230准备对特定像素P45进行处理以得到其蓝色信息，则内插电路230可以选择翻转后区域510’中的像素P27、P26、P23、P37、P36、P33、P67、P66、P63的蓝色信息来进行内插操作以产生特定像素P45所缺乏的蓝色信息；假设目前内插电路230准备对特定像素P54进行处理以得到其蓝色信息，则内插电路230可以选择翻转后区域710’中的像素P72、P73、P76、P62、P63、P66、P32、P33、P36的蓝色信息来进行内插操作以产生特定像素P54所缺乏的蓝色信息；假设目前内插电路230准备对特定像素P55进行处理以得到其蓝色信息，则内插电路230可以选择翻转后区域910’中的像素P77、P76、P73、P67、P66、P36、P37、P36、P33的蓝色信息来进行内插操作以产生特定像素P55所缺乏的蓝色信息。如上所述，由于所选择进行内插的具有蓝色信息的像素与特定像素具有相同的相对位置，故内插电路230可以使用相同的电路，或是采用共用的演算法，来对不同的特定像素进行处理，因此可以有效地降低制造与设计上的成本。

图11为根据本发明一实施例的影像处理方法的流程图。参考以上实施例所述的内容，影像处理方法的流程如下所述。

步骤1100：流程开始。

步骤1102：自一影像传感器接收一原始影像数据，其中该影像传感器为一具有四像素单元的贝尔传感器。

步骤1104：针对准备要进行处理的一特定像素，选择包含该特定像素在内的一区域。

步骤1106：根据该特定像素的位置以决定是否将该区域内的颜色信息进行翻转以产生一翻转后区域。

步骤1108：使用该区域或是该翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生该特定像素所缺乏的颜色信息。

以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

符号说明

100 色彩滤波阵列

200 影像处理电路

202 影像传感器

204 后端处理电路

206 显示面板

210 接收电路

220 预处理电路

230 内插电路

410、510、710、910 区域

510’、710’、910’ 翻转后区域

1100～1108 步骤

P00～P99 像素

R00～R99 红色信息

G02～G97 绿色信息

B22～B77 蓝色信息

Claims (7)

1.一种影像处理方法，包含有：

自一影像传感器接收一原始影像数据，其中所述影像传感器为一具有四像素单元的贝尔传感器，所述原始影像数据包含了每一个像素所具有的颜色信息，且每一个像素的所述颜色信息仅对应到单一颜色；

针对准备要进行处理的一特定像素，选择包含所述特定像素在内的一区域；

根据所述特定像素的位置以决定是否将所述区域内的颜色信息进行翻转以产生一翻转后区域；以及

使用所述区域或是所述翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生所述特定像素所缺乏的颜色信息，

其中根据所述特定像素的位置以决定是否将所述区域内的颜色信息进行翻转以产生所述翻转后区域的步骤包含有：根据所述特定像素的位置以决定将所述区域内的颜色信息进行水平翻转、垂直翻转、或是水平与垂直翻转，以产生所述翻转后区域，以及

其中根据所述特定像素的位置以决定将所述区域内的颜色信息进行水平翻转、垂直翻转、或是水平与垂直翻转，以产生所述翻转后区域的步骤包含有：针对原始影像数据中相邻且具有相同单一颜色信息的四个像素，若是所述特定像素的位置对应到所述四个像素中的一第一像素，不对所述区域内的颜色信息进行任何翻转；若是所述特定像素的位置对应到所述四个像素中的一第二像素，对所述区域内的颜色信息进行水平翻转以产生所述翻转后区域；若是所述特定像素的位置对应到所述四个像素中的一第三像素，对所述区域内的颜色信息进行垂直翻转以产生所述翻转后区域；以及若是所述特定像素的位置对应到所述四个像素中的一第四像素，对所述区域内的颜色信息进行水平与垂直翻转以产生所述翻转后区域。

2.根据权利要求1所述的影像处理方法，其中不论所述特定像素对应到所述四个像素中的哪一个像素，所产生的用来进行内插操作的所述区域或是所述翻转后区域会具有相同的颜色信息分布。

3.根据权利要求1或2所述的影像处理方法，其中使用所述区域或是所述翻转后区域中所述至少一部分像素的颜色信息来进行内插操作，以产生所述特定像素所缺乏的颜色信息的步骤包含有：

不论是所述区域或是所述翻转后区域，使用相同的内插方式并来对所述区域或是所述翻转后区域中所述至少一部分像素的颜色信息进行内插操作，以产生所述特定像素所缺乏的颜色信息。

4.根据权利要求3所述的影像处理方法，其中所述相同的内插方式指的是所述至少一部分像素与所述特定像素具有固定的相对位置。

5.根据权利要求4所述的影像处理方法，其中所述相同的内插方式指的是所述至少一部分像素与所述特定像素具有固定的相对位置以及固定的权重。

6.一种影像处理电路，包含有：

一接收电路，用以自一影像传感器接收一原始影像数据，其中所述影像传感器为一具有四像素单元的贝尔传感器，所述原始影像数据包含了每一个像素所具有的颜色信息，且每一个像素的所述颜色信息仅对应到单一颜色；

一预处理电路，耦接于所述接收电路，用以针对准备要进行处理的一特定像素，选择包含所述特定像素在内的一区域，并根据所述特定像素的位置以决定是否将所述区域内的颜色信息进行翻转以产生一翻转后区域；以及

一内插电路，耦接于所述预处理电路，用以使用所述区域或是所述翻转后区域中至少一部分像素的颜色信息来进行内插操作，以产生所述特定像素所缺乏的颜色信息，

其中所述预处理电路根据所述特定像素的位置以决定将所述区域内的颜色信息进行水平翻转、垂直翻转、或是水平与垂直翻转，以产生所述翻转后区域，以及

其中根据所述特定像素的位置以决定将所述区域内的颜色信息进行水平翻转、垂直翻转、或是水平与垂直翻转，以产生所述翻转后区域的步骤包含有：针对原始影像数据中相邻且具有相同单一颜色信息的四个像素，若是所述特定像素的位置对应到所述四个像素中的一第一像素，不对所述区域内的颜色信息进行任何翻转；若是所述特定像素的位置对应到所述四个像素中的一第二像素，对所述区域内的颜色信息进行水平翻转以产生所述翻转后区域；若是所述特定像素的位置对应到所述四个像素中的一第三像素，对所述区域内的颜色信息进行垂直翻转以产生所述翻转后区域；以及若是所述特定像素的位置对应到所述四个像素中的一第四像素，对所述区域内的颜色信息进行水平与垂直翻转以产生所述翻转后区域。

7.根据权利要求6所述的影像处理电路，其中不论是所述区域或是所述翻转后区域，所述内插电路使用相同的内插方式并来对所述区域或是所述翻转后区域中所述至少一部分像素的颜色信息进行内插操作，以产生所述特定像素。

Images