CN110858894B - 色彩重建装置与方法 - Google Patents

Abstract

本发明公开了一种色彩重建装置与方法，能够准确地还原一目标像素的色彩。该装置的一实施例包含：一方向性特征估计电路，用来依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值；一边缘纹理判定电路，用来判断该水平变化特征值与该垂直变化特征值的关系符合N个预设关系的其中之一，从而判断该目标像素的一方向性，其中该N为不小于四的整数；以及一色彩还原电路，用来依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。

Description

色彩重建装置与方法

技术领域

本发明涉及影像处理，尤其涉及色彩重建装置与方法。

背景技术

现今具有影像获取功能的消费性电子产品，如数码相机、监控系统、手机、笔记本电脑、摄影机等等，多数利用色彩滤波阵列(Color Filter Array,CFA)以于感光元件上记录红色(R)、绿色(G)、蓝色(B)等色彩信息，其中，感光元件的每个像素位置只会记录一种色彩的强度以降低制造成本；举例而言，一个2×2影像像素阵列的第一列(row)与第二列分别记录RG与GB。另外，一些特殊的影像感测器会记录红外线(IR)或白色(W)，以降低成本和/或增加应用性；举例而言，一个2×2影像像素阵列的第一列与第二列分别记录RG与BIR，或者分别记录RG与BW。由于每个像素位置只记录了单一色彩信息，因此，每个像素位置所遗失的色彩信息就需要通过色彩重建以还原出该像素位置的所有色彩信息，从而得到全彩影像。

在IC设计应用上，由于色彩重建需要参考一目标像素的附近像素的色彩信息(例如：当要重建该目标像素的红色信息时，该目标像素附近记录红色信息的像素的值会被拿来参考)，所以色彩重建需要使用许多存储器缓冲空间(例如：行缓冲器)，且要达到较佳的色彩重建效果通常需要复杂的计算，以准确地判断出该目标像素所处位置的颜色强度变化倾向(后称为方向性判断)。因此，如何在减少相关制造与计算成本下，避免在影像还原过程中导致非预期的失真(例如：垂直边或水平边上产生拉链状、色彩重叠、摩尔纹、假色等等)，一直是色彩还原的研发重点。据上所述，在进行还原的过程中，方向性判断扮演关键性角色，若方向性判断不准确，不只容易导致失真，也会严重影响最后输出的影像的清晰度。目前技术中，方向性判断是判断一像素的方向性为下列三种方向的其中之一：水平方向；垂直方向；以及无方向。

某些目前的色彩重建技术(例如：中国台湾专利公告号TWI274908B的专利、中国台湾专利公告号第TWI282519B号的专利以及中国台湾专利公告号TW201121305A的专利)需要大量的除法以及许多存储器缓冲空间，不易以硬件实现，更不具成本效益。

发明内容

本发明的目的之一在于提供一种色彩重建装置与一种色彩重建方法，以更准确地还原一目标像素的色彩。

本发明的色彩重建装置的一实施例包含一方向性特征估计电路、一边缘纹理判定电路以及一色彩还原电路。该方向性特征估计电路用来依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值。该边缘纹理判定电路用来判断该水平变化特征值与该垂直变化特征值的关系符合多个预设关系的其中之一，从而判断该目标像素的一方向性。该色彩还原电路用来执行下列步骤：当该方向性属于一水平类型时，依据该参考范围内的像素的值计算一第二颜色的水平特征值、一第三颜色的水平特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值，然后依据该第二颜色的水平特征值与该第二颜色的无方向特征值计算该目标像素的该第二颜色的值，以及依据该第三颜色的水平特征值与该第三颜色的无方向特征值计算该目标像素的该第三颜色的值；以及当该方向性属于一垂直类型时，依据该参考范围内的像素的值计算该第二颜色的垂直特征值、该第三颜色的垂直特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值，然后依据该第二颜色的垂直特征值与该第二颜色的无方向特征值计算该目标像素的该第二颜色的值，以及依据该第三颜色的垂直特征值与该第三颜色的无方向特征值计算该目标像素的该第三颜色的值。

本发明的色彩重建装置的另一实施例包含一方向性特征估计电路、一边缘纹理判定电路以及一色彩还原电路。该方向性特征估计电路用来依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值。该边缘纹理判定电路用来判断该水平变化特征值与该垂直变化特征值的关系符合N个预设关系的其中之一，从而判断该目标像素的一方向性，其中该N为不小于四的整数。该色彩还原电路用来依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。

本发明的色彩重建方法的一实施例包含下列步骤：依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素该一第一颜色的值；判断该水平变化特征值与该垂直变化特征值的关系符合N个预设关系的其中之一，从而判断该目标像素的一方向性，其中该N为不小于四的整数；以及依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。

有关本发明的特征、实作与技术效果，兹配合附图作优选实施例详细说明如下。

附图说明

图1显示本发明的色彩重建装置的一实施例；

图2显示一范例性的影像像素阵列所记录的色彩信息；

图3显示本发明的方向性区间的一实施例；

图4显示图1的色彩还原电路所执行的步骤的一实施例；

图5显示本发明的色彩重建装置的另一实施例；

图6显示图5的锐化电路所执行的步骤的一实施例；以及

图7显示本发明的色彩重建方法的一实施例。

符号说明

100 色彩重建装置

110 方向性特征估计电路

120 边缘纹理判定电路

130 色彩还原电路

G_1,1、B_1,2、…、R_6,5、G_6,6 影像像素阵列所记录的色彩信息

H_C 水平变化特征值

V_C 垂直变化特征值

a₁～a₄、b 决定方向性区间的参数

H1、H2、H3、H4、Non-H 水平方向区间

V1、V2、V3、V4、Non-V 水平方向区间

S410～S440 步骤

500 色彩重建装置

510 锐化电路

R_final、G_final、B_final 更新后的第一、第二与第三颜色的值

S610～S620 步骤

S710～S730 步骤

具体实施方式

本发明公开一种色彩重建装置与一种色彩重建方法，能够准确地还原一目标像素的色彩，并避免影像失真。

图1显示本发明的色彩重建装置的一实施例。图2显示一范例性(非限制性)的影像像素阵列所记录的色彩信息(亦即：色彩滤波阵列所输出的信号)，其中R、G、B分别代表红色、绿色与蓝色信息，下标i,j(例如：1,1、1,2、1,3…等等)代表像素位置；为了避免图面复杂，图2仅显示部分色彩信息记录。图1的色彩重建装置100包含一方向性特征估计电路110、一边缘纹理判定电路120以及一色彩还原电路130，所述电路分述如后。

请参阅图1与图2。方向性特征估计电路110用来接收影像像素阵列所记录的色彩信息，并依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值H_C与一垂直变化特征值V_C，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的第一颜色的值。H_C与V_C的计算可采用已知或自行开发的演算法，像是离散余弦转换(Discrete Cosine Transform,DCT)、小波转换(Wavelet Transform)与梯度(Gradient)计算。举例而言，如图2所示，由于记录绿色信息的像素数量较多，且绿色信息较能反映纹理的特征，因此，绿色梯度可用于纹理判断；假定目标像素为记录红色信息的像素Ri,j或记录蓝色信息的像素B_i,j，参考范围是以目标像素为中心的5×5像素矩阵所构成的范围，则目标像素的H_C与V_C可通过以下梯度计算式来得到：

H_C＝abs(G_i-2,j-1-G_i-2,j+1)+abs(G_i,j-1-G_i,j+1)+abs(G_i+2,j-1-G_i+2,j+1) (式1.1)

V_C＝abs(G_i-1,j-2-G_i+1,j-1)+abs(G_i-1,j-G_i+1,j)+abs(G_i-1,j+2-G_i+1,j+2) (式1.2)，

其中运算符号“abs”代表取绝对值，G代表记录绿色信息的像素，下标i+x,j+y(例如：i-2,j-1)代表像素位置，x、y均为整数；假定目标像素为记录绿色信息的像素G_i,j，参考范围是以目标像素为中心的5×5像素矩阵所构成的范围，则目标像素的H_C与V_C可通过以下梯度计算式来得到：

H_c＝abs(2×G_i,j-G_i,j-2-G_i,j+2)+abs(2×G_i-2,j-G_i-2,j-2-G_i-2,j+2)+abs(2×G_i+2,j-G_i+2,j-2-G_i+2,j+2) (式1.3)

V_C＝abs(2×G_i,j-G_i-2,j-G_i+2,j)+abs(2×G_i,j-2-G_i-2,j-2-G_i+2,j-2)+abs(2×G_i,j+2-G_i-2,j+2-G_i+2,j+2) (式1.4)。

值得注意的是，本领域技术人员可依本公开，了解如何利用不同演算法和/或不同参考范围来计算H_C与V_C。

请参阅图1。图1的边缘纹理判定电路120用来判断前述目标像素的H_C与V_C的关系符合多个预设关系的哪一个，从而判断该目标像素的一方向性(或说判断该目标像素的纹理特征会落在哪一个方向性区间)。举例而言，图3显示依据水平变化特征值H_C与垂直变化特征值V_C所决定的纹理特征可能座落的方向性区间的一范例，图3的方向性区间包含水平方向区间H1、H2、H3、H4与Non-H(或称H5)以及垂直方向区间V1、V2、V3、V4与Non-V(或称V5)，边缘纹理判定电路120依据该目标像素的H_C与V_C来判断该目标像素的纹理特征是否位于任一个水平(垂直)方向区间，若该纹理特征位于区间Non-H(Non-V)，边缘纹理判定电路120再依据该目标像素的H_C与V_C来判断该目标像素的纹理特征是否位于任一个垂直(水平)方向区间，若该纹理特征同时位于区间Non-H与区间Non-V，边缘纹理判定电路120判断该目标像素的方向性为无方向性。另举例而言，边缘纹理判定电路120依据下列判断式来判断该目标像素的方向性落于哪一区间：

其中“Direction”代表方向性，T_k(于本例中k＝1～4)为临界值用于决定区间的范围，T₁>T₂>…>T₄>0可由实施本发明者依其需求决定。式2.1也可均等地表示如下式：

其中参数a_k(于本例中k＝1～4)可理解为图3的区间分隔线的斜率，a₁>a₂>a₃>a₄，参数b可理解为图3的区间分隔线在垂直轴上的位移(offset)。值得注意的是，实施本发明者可参考本公开，依其需求来决定方向性区间的数目以及相关参数值(例如：T_k，或a_k与b)。

请参阅图1。在判断出前述目标像素的方向性后，色彩还原电路130依据该方向性来进行插补(例如：加权插补)，以还原该目标像素所遗失的色彩信息。详言之，如图4所示，色彩还原电路130用来执行下列步骤：

步骤S410：当前述目标像素的方向性属于一水平类型时，依据该参考范围内的像素的值计算一第二颜色的水平特征值、一第三颜色的水平特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值。当该目标像素的第一颜色为红色时，上述计算的一范例如下所示：

其中R＝R_i,j为该目标像素的第一颜色的值，G_H与B_H分别为该第二与第三颜色的水平特征值，G_nd与B_nd分别为该第二与第三颜色的无方向特征值。当然，本领域技术人员能依本公开，了解当该目标像素的该第一颜色为蓝色或绿色时，如何计算该第二与第三颜色的水平特征值以及该第二与第三颜色的无方向特征值。

步骤S420：承步骤S410，当该目标像素的方向性属于该水平类型时，依据该第二颜色的水平特征值与该第二颜色的无方向特征值计算该目标像素的第二颜色的值，以及依据该第三颜色的水平特征值与该第三颜色的无方向特征值计算该目标像素的第三颜色的值。当该目标像素的第一颜色为红色时，上述计算的一范例如下所示：

R＝R_ij

G＝α×G_H+β×G_n；

B＝α×B_H+β×B_nd，

其中G为该目标像素的第二颜色的值，B为该目标颜色的第三颜色的值，参数α与参数β可依实施本发明者的需求(例如：对影像乱度的偏好)而定，举例来说，α与β的一范例如下表所示：

步骤S430：当该方向性属于一垂直类型时，依据该参考范围内的像素的值计算该第二颜色的垂直特征值、该第三颜色的垂直特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值。当该目标像素的第一颜色为红色时，上述无方向特征值的一计算范例如式3.2所示，上述垂直特征值的一计算范例如下所示：

其中G_V与B_V分别为该第二与第三颜色的垂直特征值。当然，本领域技术人员能依本公开，了解当该目标像素的第一颜色为蓝色或绿色时，如何计算该第二与第三颜色的垂直特征值。

步骤S440：承步骤S430，当该目标像素的方向性属于该垂直类型时，依据该第二颜色的垂直特征值与该第二颜色的无方向特征值计算该目标像素的第二颜色的值，以及依据该第三颜色的垂直特征值与该第三颜色的无方向特征值计算该目标像素的第三颜色的值。当该目标像素的第一颜色为红色时，上述计算的一范例如下所示：

为了让影像的锐利度提高，本发明的色彩重建装置可进一步包含一锐化电路如图5所示。图5的色彩重建装置500中，锐化电路510用来执行下列步骤如图6所示：

步骤S610：当该方向性属于该水平类型时，依据该参考范围内的像素的值计算一水平高频特征值，接着依据该目标像素的第一颜色的值与该水平高频特征值更新该目标像素的第一颜色的值、依据该目标像素的第二颜色的值以及该水平高频特征值更新该目标像素的第二颜色的值、以及依据该目标像素的第三颜色的值以及该水平高频特征值更新该目标像素的第三颜色的值。上述计算的一范例如下所示：

H_f＝α×H_C+β×N_c(式4.1)

其中N_C为无方向的高频特征值(例如：

)，R_final、G_final与B_final分别为更新后的该第一、第二与第三颜色的值，γ_k为区间Hk(例如：前述区间H1～H5的其中之一)的高频参数，其可由实施者依其需求自行决定。

步骤S620：当该方向性属于该垂直类型时，依据该参考范围内的像素的值计算一垂直高频特征值，接着依据该当前值与该垂直高频特征值更新该目标像素的第一颜色的值、依据该目标像素的第二颜色的值以及该垂直高频特征值更新该目标像素的第二颜色的值、以及依据该目标像素的第三颜色的值以及该垂直高频特征值更新该目标像素的第三颜色的值。上述垂直高频特征值的一计算范例如下所示：

H_f＝α×V_C+β×N_c(式4.3)，

而目标像素的各颜色值的更新的一范例如式4.2所示。

本发明的色彩重建装置的另一实施例包含一方向性特征估计电路、一边缘纹理判定电路以及一色彩还原电路。该方向性特征估计电路(例如：图1的方向性特征估计电路110)用来依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的第一颜色的值。该边缘纹理判定电路(例如：图1的边缘纹理判定电路120)用来判断该水平变化特征值与该垂直变化特征值的关系符合N个预设关系的其中之一，从而判断该目标像素的一方向性，其中该N为不小于四的整数。该色彩还原电路(例如：图1的色彩还原电路130)用来依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。上述N个预设关系的一范例包含多种不同水平方向性关系(例如：前述H1～H4)与一非水平方向性关系(例如：前述Non-H)，和/或包含多种不同垂直方向性关系(例如：前述V1～V4)与一非垂直方向性关系(例如：前述Non-V)。由于本领域技术人员能够参酌图1～图6的实施例来了解本实施例的细节与变化，重复及冗余的说明在此省略。

本发明还公开一种色彩重建方法，其一实施例如图7所示，包含下列步骤：

步骤S710：依据一目标像素的一第一颜色以及一参考范围内的像素的值计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的第一颜色的值。本步骤可由图1的方向性特征估计电路110或其等效电路来执行。

步骤S720：判断该水平变化特征值与该垂直变化特征值的关系符合N个预设关系的其中之一，从而判断该目标像素的一方向性，其中该N为不小于四的整数。本步骤可由图1的边缘纹理判定电路120或其等效电路来执行。

步骤S730：依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。本步骤可由图1的色彩还原电路130或其等效电路来执行。

由于本领域技术人员能够参酌前述装置实施例的公开来了解本方法实施例的细节与变化，亦即前述装置实施例的技术特征均可合理应用于本方法实施例中，因此，重复及冗余的说明在此省略。

请注意，在实施为可能的前提下，本技术领域技术人员可选择性地实施前述任一实施例中部分或全部技术特征，或选择性地实施前述多个实施例中部分或全部技术特征的组合，借此增加本发明实施时的弹性。

综上所述，本发明能够更准确地判断一目标像素的方向性，再据以还原该目标像素的色彩，从而避免影像失真。

虽然本发明的实施例如上所述，然而所述实施例并非用来限定本发明，本技术领域技术人员可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范围，换言之，本发明的专利保护范围须视本说明书的权利要求所界定者为准。

Claims (10)

1.一种色彩重建装置，包含：

一方向性特征估计电路，用来依据一目标像素的一第一颜色以及一参考范围内的像素的值，计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值；

一边缘纹理判定电路，用来判断该水平变化特征值与该垂直变化特征值的关系符合多个预设关系的其中之一，从而判断该目标像素的一方向性；以及

一色彩还原电路，用来执行下列步骤：

当该方向性属于一水平类型时，依据该参考范围内的像素的值计算一第二颜色的水平特征值、一第三颜色的水平特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值，然后依据该第二颜色的水平特征值与该第二颜色的无方向特征值计算该目标像素的该第二颜色的值，以及依据该第三颜色的水平特征值与该第三颜色的无方向特征值计算该目标像素的该第三颜色的值；以及

当该方向性属于一垂直类型时，依据该参考范围内的像素的值计算该第二颜色的垂直特征值、该第三颜色的垂直特征值、该第二颜色的无方向特征值以及该第三颜色的无方向特征值，然后依据该第二颜色的垂直特征值与该第二颜色的无方向特征值计算该目标像素的该第二颜色的值，以及依据该第三颜色的垂直特征值与该第三颜色的无方向特征值计算该目标像素的该第三颜色的值。

2.如权利要求1所述的色彩重建装置，进一步包含：

一锐化电路，用来执行下列步骤：

当该方向性属于该水平类型时，依据该参考范围内的像素的值计算一水平高频特征值，接着依据该当前值与该水平高频特征值更新该目标像素的该第一颜色的值、依据该目标像素的该第二颜色的值以及该水平高频特征值更新该目标像素的该第二颜色的值、以及依据该目标像素的该第三颜色的值以及该水平高频特征值更新该目标像素的该第三颜色的值；以及

当该方向性属于该垂直类型时，依据该参考范围内的像素的值计算一垂直高频特征值，接着依据该当前值与该垂直高频特征值更新该目标像素的该第一颜色的值、依据该目标像素的该第二颜色的值以及该垂直高频特征值更新该目标像素的该第二颜色的值、以及依据该目标像素的该第三颜色的值以及该垂直高频特征值更新该目标像素的该第三颜色的值。

3.如权利要求2所述的色彩重建装置，其中该锐化电路依据该水平变化特征值与该垂直变化特征值计算该水平高频特征值。

4.如权利要求1所述的色彩重建装置，其中该水平类型包含多种不同水平方向性与一非水平方向性，和/或该垂直类型包含多种不同垂直方向性与一非垂直方向性。

5.一种色彩重建装置，包含：

一方向性特征估计电路，用来依据一目标像素的一第一颜色以及一参考范围内的像素的值，计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值；

一边缘纹理判定电路，用来判断该水平变化特征值与该垂直变化特征值的关系符合方向性区间的N个预设关系的其中之一，该方向性区间的N个预设关系包含多个水平方向区间和多个垂直方向区间以及无方向性，从而判断该目标像素的一方向性，其中该N为不小于四的整数；以及

一色彩还原电路，用来依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。

6.如权利要求5所述的色彩重建装置，进一步包含：

一锐化电路，用来于该色彩还原电路计算出该目标像素的该第二颜色的值以及该目标像素的该第三颜色的值后，依据该参考范围内的像素的值、该目标像素的该第一颜色的值、该目标像素的该第二颜色的值、以及该目标像素的该第三颜色的值，更新该目标像素的该第一颜色的值、该目标像素的该第二颜色的值以及该目标像素的该第三颜色的值。

7.如权利要求5所述的色彩重建装置，其中该N个预设关系包含多种不同水平方向性关系与一非水平方向性关系，和/或包含多种不同垂直方向性关系与一非垂直方向性关系。

8.一种色彩重建方法，包含：

依据一目标像素的一第一颜色以及一参考范围内的像素的值，计算一水平变化特征值与一垂直变化特征值，其中该目标像素位于该参考范围内，且该目标像素的一当前值为该目标像素的该第一颜色的值；

判断该水平变化特征值与该垂直变化特征值的关系符合方向性区间的N个预设关系的其中之一，该方向性区间的N个预设关系包含多个水平方向区间和多个垂直方向区间以及无方向性，从而判断该目标像素的一方向性，其中该N为不小于四的整数；以及

依据该方向性以及该参考范围内的像素的值，计算该目标像素的一第二颜色的值以及该目标像素的一第三颜色的值。

9.如权利要求8所述的色彩重建方法，进一步包含：

于计算出该目标像素的该第二颜色的值以及该目标像素的该第三颜色的值后，依据该参考范围内的像素的值、该目标像素的该第一颜色的值、该目标像素的该第二颜色的值、以及该目标像素的该第三颜色的值，更新该目标像素的该第一颜色的值、该目标像素的该第二颜色的值以及该目标像素的该第三颜色的值。

10.如权利要求8所述的色彩重建方法，其中该N个预设关系包含多种不同水平方向性关系与一非水平方向性关系，和/或包含多种不同垂直方向性关系与一非垂直方向性关系。

Images