CN110830680B

CN110830680B - 确定滤波器系数的方法

Info

Publication number: CN110830680B
Application number: CN201810899621.6A
Authority: CN
Inventors: 李宗轩; 唐婉儒; 周旸庭; 陈世泽
Original assignee: Realtek Semiconductor Corp
Current assignee: Realtek Semiconductor Corp
Priority date: 2018-08-08
Filing date: 2018-08-08
Publication date: 2021-03-16
Anticipated expiration: 2038-08-08
Also published as: CN110830680A

Abstract

本发明公开一种确定滤波器系数的方法，其一实施例包含下列步骤：提供一目标滤波器的系数，并计算一目标滤波响应；依据收集数据及/或预设数据以及依据一第一数据格式进行运算，使得一第一滤波响应近似该目标滤波响应，从而确定一第一滤波器的系数；以及依据该收集数据及/或该预设数据以及依据一第二数据格式进行运算，使得一第二滤波响应近似该目标滤波响应，从而确定一第二滤波器的系数。据上所述，该第一滤波响应与该第二滤波响应都近似于该目标滤波响应，能够减少滤波响应不一致所带来的负面影响，且该第一滤波器与该第二滤波器相较于该目标滤波器较为精简，能够取代该目标滤波器以降低成本。

Description

确定滤波器系数的方法

技术领域

本发明是关于滤波器设计，尤其是关于确定滤波器系数的方法。

背景技术

滤波器经常用于信号处理。基于成本考量，滤波器的设计通常朝向减少滤波器所处理的信号个数以降低计算复杂度，或者前端电路减少信号的采样率(sampling rate)以减少输入至滤波器的数据量。举例而言，影像感测装置的颜色滤波阵列(Color FilterArray，CFA)令影像感测装置的感光元件的每个像素位置只记录一种色彩的强度以降低制造成本；然而，由于每个像素位置只记录了单一色彩信息，因此，一像素位置所遗失的色彩信息需通过滤波器依据其它像素位置所记录的色彩信息，还原出该像素位置的所有色彩信息；举例而言，当一目标像素的位置只记录了绿色信息，滤波器会依据该目标像素附近记录红色信息的像素来插补出该目标像素的红色信息，以及依据该目标像素附近记录蓝色信息的像素来插补出该目标像素的蓝色信息。

请参阅图1、图2与图3，图1显示感光元件的影像像素阵列记录红色信息(R)、绿色信息(G)与蓝色信息(B)的一范例，图2显示该影像像素阵列所记录的红色信息，图3显示该影像像素阵列所记录的蓝色信息；为避免图式过于复杂，图1～图3仅显示部分纪录信息。如图2与图3 所示，若欲还原出像素T₁(T₃)与像素T₂(T₄)的红色(蓝色)信息，会使用到二种滤波器，其中一种依据像素T₁(T₃)的上方与下方像素的红色 (蓝色)信息进行插补以产生像素T₁(T₃)的红色(蓝色)信息，另一种依据像素T₂(T₄)的左上方、右上方、左下方与右下方像素的红色(蓝色) 信息进行插补以产生像素T₂(T₄)的红色(蓝色)信息。目前技术中，上述二种滤波器的滤波响应通常不一致，容易造成影像失真(例如：拉链效应(Zipper Effect))。

发明内容

本发明的一目的在于提供一种确定滤波器系数的方法，以避免先前技术的问题。

本发明的确定滤波器系数的方法的一实施例包含下列步骤：提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应是关于该目标滤波器处理原始数据；依据收集数据及/或预设数据以及依据一第一数据格式进行运算，使得一第一滤波响应与该目标滤波响应的差异小于一阈值，从而确定一第一滤波器的系数，其中该第一滤波响应是关于该第一滤波器处理第一数据，该第一数据源自于该原始数据；以及依据该收集数据及/或该预设数据以及依据一第二数据格式进行运算，使得一第二滤波响应与该目标滤波响应的差异小于该阈值，从而确定一第二滤波器的系数，其中该第二滤波响应是关于该第二滤波器处理第二数据，该第二数据源自于该原始数据。据上所述，该第一滤波响应与该第二滤波响应都近似于该目标滤波响应，能够减少滤波响应不一致所带来的负面影响。

本发明的确定滤波器系数的方法的另一实施例包含下列步骤：提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应关于该目标滤波器处理原始数据；以及依据收集数据及/或预设数据以及依据一前端滤波器的型式进行运算，使得一设计滤波响应与该目标滤波响应的差异小于一阈值，从而确定一设计滤波器的系数，其中该设计滤波响应是关于该设计滤波器处理滤波数据，该滤波数据是该前端滤波器处理该原始数据而产生的数据。据上所述，该设计滤波响应近似于该目标滤波响应，且该设计滤波器相较于该目标滤波器较为精简，能够取代该目标滤波器以降低成本。

有关本发明的特征、操作与功效，现配合图式作优选实施例详细说明如下。

附图说明

[图1]显示一示例性的影像像素阵列所记录的色彩信息；

[图2]显示图1的影像像素阵列所记录的红色信息及利用该红色信息的插补方式；

[图3]显示图1的影像像素阵列所记录的蓝色信息及利用该蓝色信息的插补方式；

[图4]显示本发明的确定滤波器系数的方法的一实施例；

[图5]显示影像感测装置所获取的未经过颜色滤波阵列的红色的信号；以及

[图6]显示本发明的确定滤波器系数的方法的另一实施例。

具体实施方式

随着近代数据科学与机器学习的发展，一种常被讨论的理论是通过可被训练的计算模型来近似数据关联的真实规律。本发明的确定滤波器系数的方法即是基于该理论的研发成果(research development)。上述理论可见于下列文献：台湾大学信息工程系林轩田教授的讲义“Machine Learning Foundations(机器学习基石)”(文献来源：第21页，“https://www.csie.ntu.edu.tw/～htlin/mooc/doc/01_handout.pdf”)。

图4显示本发明的确定滤波器系数的方法的一实施例，其可由通用计算机(general purpose computer)来执行。该实施例包含下列步骤：

步骤S410：提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应是关于该目标滤波器处理原始数据。举例而言，该原始数据包含一影像感测装置所获取的未经过颜色滤波阵列(Color Filter Array， CFA)的某一颜色(例如：红色)的信号(例如：以图5的像素R₂₂的位置(对应图2的像素T₁的位置)为中心的九个像素的红色信息

)；为简化说明以利了解，假定该原始数据包含一维影像矩阵q^T＝[R₀ R₁ R₂R₃ R₄ R₅ R₆ R₇ R₈]以及该目标滤波器的系数为f^T＝[f₀ f₁ f₂ f₃ f₄ f₅ f₆ f₇ f₈]，该目标滤波响应可表示为f^Tq，其中上标T代表矩阵的转置(transpose)。值得注意的是，该原始数据也包含其它数据，像是一影像感测装置所获取的未经过颜色滤波阵列的其它颜色(例如：绿色与蓝色)的信号。

步骤S420：依据收集数据及/或预设数据(例如：自行给定的数据像是后述的对角矩阵与正交正规化基底b₀，...，b_m-1)以及依据一第一数据格式(例如：一滤波器产生图2的像素T₁的红色信息时，该滤波器所参考的像素的分布样式

其中G₂₂对应图2的像素T₁的位置，其它对应围绕像素T₁的八个像素的位置)进行运算，使得一第一滤波响应与该目标滤波响应的差异小于一阈值，从而确定一第一滤波器的系数，其中该第一滤波响应是关于该第一滤波器处理第一数据(例如：颜色滤波阵列电路处理该原始数据而产生的数据，像是以图2的像素T₁为中心的九个像素的数据)，该第一数据源自于该原始数据，该阈值可由实施本发明者依其设计需求自行确定。举例而言，假定该收集数据包含一维影像阵列 p^T＝[G₀ R₁ G₂ R₃ G₄ R₅ G₆ R₇ G₈](例如：图1的阵列的第一行中九个像素的值)以及该第一滤波器的系数为g^T＝[g₀ g₁ g₂ g₃ g₄ g₅ g₆ g₇ g₈]，该第一滤波响应g^Tp应近似于该目标滤波响应f^Tq(亦即：g^Tp≈f^Tq)，且对于非红色的数据(亦即：G₀、G₂、G₄、G₆、G₈)而言，该第一滤波器的系数g^T应为零，其可表示如下式：

(上式适用于当该目标滤波器为任一种滤波器时)

(上式适用于当该目标滤波器为一低通滤波器时)

(上式适用于当该目标滤波器为一高通滤波器时)

而步骤S420即是用来当g^Tp与f^Tq的差异最小时(或达到(例如：小于或等于)前述阈值时)运算出第一滤波器的系数g^T。值得注意的是，上式中，矩阵C与矩阵d是依据数据格式来确定(矩阵C与矩阵d于图6 的实施例中是依据前端滤波器的格式来确定)；换言之，不同的数据格式对应不同的矩阵C与矩阵d，以达到对非目标颜色的数据而言滤波器的系数为零的目的。另值得注意的是，当收集数据是经由充分(数据笔数够多) 且适当(数据多样性高)的采样而得时，该收集数据越能接近于完整数据所关联的真实规律，该差异也会跟着缩小。另举例而言，以一未经过颜色滤波阵列的5×5大小的RGB像素矩阵为例，完整的RGB影像数据q(包含二十五个红色像素的数据R₀～R₂₄、二十五个绿色像素的数据G₀～G₂₄与二十五个蓝色像素的数据B₀～B₂₄)可以表示如下：

q^T＝[q₀ q₁ ...... q₇₄]＝[R₀ ... R₂₄ G₀ ... G₂₄ B₀ ... B₂₄]

在该完整的RGB影像数据q通过颜色滤波阵列后，若该矩阵的中心的像素为目标像素且该目标像素的红色信息R₁₂待求出，则该目标滤波器 f的系数可表示如下：

而第一滤波器的系数g须满足下列条件(其可以Cg＝d的形式被表示)：

1.

2.

3.

4.

5.

6.

其中Ω_C的定义如下：

Ω_C＝{k|0≤k≤24∧像素k是C像素}，C∈{R，G，B}

Ω_C表示通过颜色滤波阵列的该5×5矩阵中分别对应R、G、B通道 (channel)的索引(index)；条件1～3是基本要求，以达成在对通道C做滤波时不参考非通道C的像素；条件4～6的意义是取一个二十五点的低通滤波器LPF、一个二十五点的高通滤波器HPF₀以及一个二十五点的高通滤波器HPF₁分别表示如下：

LPF＝[g₀ ... g₂₄]

HPF₀＝[g₂₅ ... g₄₉]

HPF₁＝[g₅₀ ... g₇₄]

并希望下式成立：

g^Tq＝LPF(R)+HPF₀(G)+HPF₁(B)≈APF(R)

其中APF代表全通滤波器，而APF(R)相当于经过颜色滤波阵列前的完整的R通道数据。

步骤S430：依据该收集数据及/或该预设数据以及依据一第二数据格式(例如：一滤波器产生图2的像素T₂的红色信息时，该滤波器所参考的像素的分布样式

其中B₂₅对应图2的像素T₂的位置，其它对应围绕像素T₂的八个像素的位置)进行运算，使得一第二滤波响应与该目标滤波响应的差异小于该阈值，从而确定一第二滤波器的系数，其中该第二滤波响应是关于该第二滤波器处理第二数据(例如：颜色滤波阵列电路处理该原始数据而产生的数据，像是以图2的像素T₂为中心的九个像素的数据)，该第二数据源自于该原始数据。据上所述，该第一滤波器与该第二滤波器的滤波响应都近似于该目标滤波器的滤波响应，因此，该第一滤波器与该第二滤波器的滤波响应也会相近，从而避免了滤波响应不一致所导致的负面影响(例如：影像失真)。由于步骤S430与步骤S420 相仿，两步骤的差异仅在于所依据的数据格式的不同，因此，本领域具有通常知识者可依据步骤S420的说明来了解步骤S430的实施细节与变化。

底下说明是关于计算前述g^Tp与f^Tq的差异的一实施范例。首先，g^Tp 与f^Tq的差异可由平方误差的方式来量化并被最佳化，如下所示：

Minimize(g^Tq-f^Tq)²

其中“Minimize”代表“解出能够使方程式的值(在此为(g^Tq-f^Tq)²的值)为最小的g”(或说“最佳化”)。前述收集数据可表示如下：

Q＝{q_i|0≤i＜n}

其中Q为该收集数据，n代表数据的笔数(通常为正整数)，每笔数据q_i可以是一数据集像是前述像素阵列 q^T＝[R₀ R₁ R₂ R₃ R₄ R₅ R₆ R₇ R₈]。因此，根据该收集数据 Q计算出该第一滤波器的系数g^T，相当于是解出下式：

其中“subject to Cg＝d”代表“「在满足Cg＝d的条件下」做Minimize(最佳化)的操作”，矩阵C与矩阵d的说明载于先前段落，上式的解的求法可参考下列文献：L.Vandenberghe，“Constrained least squares”pages 15～16， ECE133A(Winter 2018)(文献来源：http://www.seas.ucla.edu/～vandenbe/133A/lectures/cls.pdf)。上述的误差项

可改写如下：

其中矩阵M如下式所示：

上式中，E[qq^T]代表qq^T的期望值，相关于该收集数据Q的统计特性，且矩阵M的大小只和数据q的维度m有关(例如：当 q^T＝[R₀ R₁ R₂ R₃ R₄ R₅ R₆ R₇ R₈]时，m＝9)，而与前述数据的笔数n无关，因此最佳化滤波器系数的过程不会耗费过多的储存空间。另外，矩阵M是对称且半正定的矩阵(symmetric positive semidefinite matrix)，因此，特征值分解(Eigen Decomposition)可用来处理矩阵M，如下所示：

其中

(m维度的欧几里得空间(Euclidean_space)，或说m维度的实数空间)为特征向量(Eigen Vector)，是一组正交正规化基底(Orthonormal Basis)，其相对应的特征值(Eigen Value)为λ₀≥…≥λ_m-1≥0，对半正定矩阵做特征值分解的理论基础见于下列文献：“Lecture 3Positive Semidefinite Matrices”，Theorem 2(文献来源： http://www.math.ucsd.edu/～njw/Teaching/Math271C/Lecture_03.pdf)；ZicoKolter，“Linear Algebra Review and Reference”，section 3.13，September 30， 2015(文献来源：http://cs229.stanford.edu/section/cs229-1inalg.pdf)。根据上述，矩阵S可被导出如下：

该矩阵S能使下式成立：

M＝S^TS

因此，前述误差项可表示如下：

根据上述推导，g^Tp与f^Tq的差异的最佳化(亦即： Minimize(g^Tq-f^Tq)²)可改写如下：

Minimize||Sg-Sf||²subject to Cg＝d

上式中，矩阵S源自于已知的收集数据Q，矩阵f为自行确定的目标滤波器的系数，因此该第一滤波器的系数g^T可据以求出。值得注意的是，前述第二滤波器的系数的求法与该第一滤波器之的系数g^T的求法相同。另值得注意的是，其它可用来计算g^Tp与f^Tq的差异的数学操作亦得用于本发明。

承前所述，当该收集数据Q不足以用于进行有效统计以学习出可靠的矩阵S时，实施本发明者可参考既存的影像统计信息(例如：自然界影像的色彩变化的统计数据)，自行确定一对角矩阵(其作为前述的预设数据) 如下：

并确定一组

向量空间上的正交正规化基底b₀，...，b_m-1，从而利用该对角矩阵与该正交正规化基底来近似矩阵S，以确定滤波器的系数。上式中，w_i的一非限制性的例子为

其中i＝0～(m-1)，m为前述数据q的维度，σ为数据分布的标准差；更详细地说，以一维影像信号为例，可以依该信号取得离散余弦转换的基底(DCT basis)b_k ^T如下

(参考文献： https://en.wikipedia.org/wiki/Discrete_cosine_transform#DCT-II)，同时基于自然影像的平滑性(smoothness)(亦即：高频成分的能量较弱)，取

于本实施例的一示例性操作中，前述第一数据与第二数据分别包含一特定颜色的像素数据。举例而言，该特定颜色的像素数据是红色像素数据或蓝色像素数据。于本实施例的一示例性操作中，该第一数据的该特定颜色的像素数据的数据量小于该原始数据的该特定颜色的像素数据的数据量，该第二数据的该特定颜色的像素数据的数据量小于该原始数据的该特定颜色的像素数据的数据量。于本实施例的一示例性操作中，该第一滤波器与该第二滤波器除系数的设定外，为已知滤波器。于本实施例的一示例性操作中，该第一数据不包含一目标像素的该特定颜色的像素数据，因此，该第一滤波器通过插补方式，依据该第一数据产生该目标像素的该特定颜色的像素数据；该第二数据不包含另一目标像素的该特定颜色的像素数据，因此，该第二滤波器通过插补方式，依据该第二数据产生该另一目标像素的该特定颜色的像素数据。

图6显示本发明的确定滤波器系数的方法的另一实施例，其可由一般计算机来执行。该实施例包含下列步骤：

步骤S610：提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应关于该目标滤波器处理原始数据。

步骤S620：依据收集数据及/或预设数据以及依据一前端滤波器(例如：颜色滤波阵列或是自行定义的遮罩(mask))的型式进行运算，使得一设计滤波响应与该目标滤波响应的差异小于一阈值，从而确定一设计滤波器的系数，其中该设计滤波响应是关于该设计滤波器处理滤波数据，该滤波数据是该前端滤波器处理该原始数据而产生的数据。

综上所述，图6的实施例是使一种滤波器的滤波响应近似于一目标滤波器的滤波响应；相较之下，图4的实施例是使两种滤波器的滤波响应均近似一目标滤波器的滤波响应，因此，图6的应用范围更广。于本实施例的一示例性操作中，该滤波数据包含一特定颜色的像素数据，该滤波数据不包含一目标像素的该特定颜色的像素数据，该设计滤波器用来依据该滤波数据产生该目标像素的该特定颜色的像素数据。于本实施例的一示例性操作中，该特定颜色为红色、绿色与蓝色的其中之一。于本实施例的一示例性操作中，该滤波数据的该特定颜色的像素数据的数据量小于该原始数据的该特定颜色的像素数据的数据量。

由于本领域具有通常知识者能够参酌图4的实施例的说明来了解图6 的实施例的细节与变化，亦即图4的实施例的技术特征均可合理应用于图 6的实施例，因此，在不影响图6的实施例的公开要求与可实施性的前提下，重复及冗余的说明在此省略。

请注意，在实施为可能的前提下，本技术领域具有通常知识者可选择性地实施前述任一实施例中部分或全部技术特征，或选择性地实施前述复数个实施例中部分或全部技术特征的组合，由此增加本发明实施时的弹性。

综上所述，本发明能够适切地确定一或数个滤波器的系数，使该/该些滤波器的滤波响应近似于一目标滤波器的滤波响应，除能减少滤波响应不一致所带来的负面影响，也能在该/该些滤波器的数据处理量较少的情形下，以该/该些滤波器取代该目标滤波器来降低成本。

虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明的明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围须视本说明书的申请专利范围所界定者为准。

符号说明

R 像素阵列所记录的红色信息

G 像素阵列所记录的绿色信息

B 像素阵列所记录的蓝色信息

T₁、T₂、T₃、T₄ 像素

S410～S430 步骤

R₁₁、R₁₂、…、R₆₅、R₆₆ 像素

S610～S620 步骤。

Claims

1.一种确定滤波器系数的方法，包含下列步骤：

提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应是关于该目标滤波器处理原始数据；

依据收集数据及/或预设数据以及依据一第一数据格式进行运算，使得一第一滤波响应与该目标滤波响应的差异小于一阈值，从而确定一第一滤波器的系数，其中该第一滤波响应是关于该第一滤波器处理第一数据，该第一数据源自于该原始数据；以及

依据该收集数据及/或该预设数据以及依据一第二数据格式进行运算，使得一第二滤波响应与该目标滤波响应的差异小于该阈值，从而确定一第二滤波器的系数，其中该第二滤波响应是关于该第二滤波器处理第二数据，该第二数据源自于该原始数据。

2.根据权利要求1所述的确定滤波器系数的方法，其中该原始数据是影像数据，该第一数据与该第二数据均为一颜色滤波阵列电路处理该原始数据而产生的数据。

3.根据权利要求2所述的确定滤波器系数的方法，其中该第一数据与该第二数据分别包含一特定颜色的像素数据。

4.根据权利要求3所述的确定滤波器系数的方法，其中该第一数据的该特定颜色的像素数据的数据量小于该原始数据的该特定颜色的像素数据的数据量，该第二数据的该特定颜色的像素数据的数据量小于该原始数据的该特定颜色的像素数据的数据量。

5.根据权利要求3所述的确定滤波器系数的方法，其中该第一数据不包含一目标像素的该特定颜色的像素数据，该第一滤波器用来依据该第一数据产生该目标像素的该特定颜色的像素数据，该第二数据不包含另一目标像素的该特定颜色的像素数据，该第二滤波器用来依据该第二数据产生该另一目标像素的该特定颜色的像素数据。

6.根据权利要求3所述的确定滤波器系数的方法，其中该特定颜色为红色或蓝色。

7.一种确定滤波器系数的方法，包含下列步骤：

提供一目标滤波器的系数，并计算一目标滤波响应，其中该目标滤波响应关于该目标滤波器处理原始数据；以及

依据收集数据及/或预设数据以及依据一前端滤波器的型式进行运算，使得一设计滤波响应与该目标滤波响应的差异小于一阈值，从而确定一设计滤波器的系数，其中该设计滤波响应是关于该设计滤波器处理滤波数据，该滤波数据是该前端滤波器处理该原始数据而产生的数据。

8.根据权利要求7所述的确定滤波器系数的方法，其中该原始数据是影像数据。

9.根据权利要求8所述的确定滤波器系数的方法，其中该滤波数据包含一特定颜色的像素数据，该滤波数据不包含一目标像素的该特定颜色的像素数据，该设计滤波器用来依据该滤波数据产生该目标像素的该特定颜色的像素数据。

10.根据权利要求9所述的确定滤波器系数的方法，其中该前端滤波器是一颜色滤波阵列电路。