CN1520696A - 组合彩色空间矩阵变换和有限冲击响应滤波器 - Google Patents

Abstract

同样的电路被用来实现FIR滤波和彩色空间变换。常规FIR滤波器的乘法－加法阵列的输入被适当地进行多路复用，以提供同一乘法－加法阵列的其它应用。以这种方式，例如，同一个乘法－加法阵列能用于比例缩放图象，并用于把此图象从一个彩色空间变换到另一个彩色空间。

Description

组合彩色空间矩阵变换和有限冲击响应滤波器

本发明涉及视频处理领域，尤其涉及包含彩色空间矩阵变换和有限冲击响应(FIR)滤波器的视频处理器。

FIR滤波器：

有限冲击响应(FIR)滤波器通常用于在视频处理系统中对图象元素(象素)值，特别是对当图象被从其原始形式进行比例缩放(sca1ed)或其它变换时所产生的象素值进行滤波。例如，对一个图象进行1/10抽样或降低采样率以产生4∶1的图象尺寸压缩，只需要对每4个输入象素值进行挑选而提供每个输出象素值便可实现。然而，这样的采样一般会产生视觉异常和/或不连续性，因为所选择的特定象素值可能不代表未选中的象素值。FIR滤波器对多个象素值进行加权平均而产生每个象素值，从而减少对未经滤波的比例缩放时可能会出现的视觉异常和不连续性。在图象放大应用中，其中对每个输入采样值产生多个输出采样值，对每个输出采样值的内插值进行加权平均，其中包含有紧邻输入采样值以外的象素值，从而保证在输入采样值之间的填充更少有人为的迹象。

用于视频处理的通常的FIR的结构是一个六抽头、三分量滤波器，它提供的一个输出象素值取决于六个输入象素值，每一个象素值用三个分量代表，如在RGB彩色空间中的红-绿-兰分量。在常规的六抽头、三分量FIR滤波器中，实现以下的变换：

$\left[\begin{array}{c}{a^{\′}}_0\\ {a^{\′}}_1\\ {a^{\′}}_2\end{array}\right]=\left[\begin{array}{cccccc}{c}_{00}& c_{01}& c_{02}& c_{03}& c_{04}& c_{05}\\ c_{10}& c_{11}& c_{12}& c_{13}& c_{14}& c_{15}\\ c_{20}& c_{21}& c_{22}& c_{23}& c_{24}& c_{25}\end{array}\right]\×\left[\begin{array}{ccc}{a}_0^0& a_1^0& a_2^0\\ a_0^{-1}& a_1^{-1}& a_2^{-1}\\ a_0^{-2}& a_1^{-2}& a_2^{-2}\\ a_0^{-3}& a_1^{-3}& a_2^{-3}\\ a_0^{-4}& a_1^{-4}& a_2^{-4}\\ a_0^{-5}& a_1^{-5}& a_2^{-5}\end{array}\right]+\left[\begin{array}{c}{e}_0\\ e_1\\ e_2\end{array}\right]$

在上式中，a_i ^j对应第j个象素值的第i个分量，C₀₀-C₂₅是系数或加权值，用于提供加权平均，并且，e₀-e₃是加到每一个输出象素分量值a₀′-a₃′上的转换或偏移项。为便于理解，后续的其它处理，包括量化、舍入、箝位等，在此不再赘述。

应当注意，为了有效地滤波，一个FIR滤波器至少要有三个抽头，一般最好用六个或更多个抽头。要实现六抽头、三分量FIR滤波器的实例，至少需要十八个乘法器和加法器。

彩色空间变换：

一般而言，不同的视频处理应用采用不同的象素值彩色空间表示法。例如，计算机系统通常采用RGB(红-绿-兰)彩色空间，其中每个象素值用一个红色分量、一个绿色分量和一个兰色分量表示。另一方面，常规的广播电视信号，其利用对应于YUV彩色空间的一个亮度分量(Y)和两个色度分量(U和V)对图象编码。YUV的一种正交变化(a quadrature variation)是YIQ彩色空间。在数字视频编码中所采用的YCbCr彩色空间是YUV的比例缩放版本。在本领域中，图象的其它彩色空间表示法也很常见。在1966年由加利福尼亚，圣地亚哥的HighText Interactive，Inc出版的、Keith Jack所著的“VIDEODEMYSTIFIED”一书中，提出了八种不同的彩色空间标准，并有从一种彩色空间变换为另一种彩色空间的方程式。

在传统的支持一个以上彩色空间的系统中，彩色空间之间的变换通常是由为特定的彩色空间变换而专门定制的硬件来实现的。一种定制的设计允许减少电路和该电路在集成电路中所占的面积，但将这种设计的应用限制在特定的彩色空间变换。若想支持多种变换，一般要采用矩阵变换结构如下：

$\left[\begin{array}{c}{A^{\′}}_0\\ {A^{\′}}_1\\ {A^{\′}}_2\end{array}\right]=\left[\begin{array}{ccc}{C}_{00}& C_{01}& C_{02}\\ C_{10}& C_{11}& C_{12}\\ C_{20}& C_{21}& C_{22}\end{array}\right]\×\left[\begin{array}{c}{A}_0+D_0\\ A_1+D_1\\ A_2+D_2\end{array}\right]+\left[\begin{array}{c}{B}_0\\ B_1\\ B_2\end{array}\right]$

此处A₀-A₂是输入象素在输入彩色空间中的分量值，A₀′-A₂′是输出象素在输出采色空间中的分量值，D₀-D₂是与输入彩色分量有关的偏移，B₀-B₂是与输出彩色分量有关的偏移，而且，C₀₀-C₂₂是特定变换方程的系数。例如，常规的RGB和YC_bC_r彩色空间之间的转换(conversion)由下述方程实现。

从具有R-G-B分量值的输入象素到具有Y-C_b-C_r分量值的输出象素：

$\left[\begin{array}{c}Y\\ \mathrm{Cb}\\ \mathrm{Cr}\end{array}\right]=\left[\begin{array}{ccc}0.257& 0.504& 0.098\\ -0.148& -0.291& 0.439\\ 0.439& -0.368& -0.071\end{array}\right]\×\left[\begin{array}{c}R\\ G\\ B\end{array}\right]+\left[\begin{array}{c}16\\ 128\\ 128\end{array}\right].$

从具有Y-C_b-Cr分量值的输入象素到具有R-G-B分量值的输出象素：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{ccc}1.164& 0& 1.596\\ 1.164& -0.392& -0.813\\ 1.164& 0& 2.017\end{array}\right]\×\left[\begin{array}{c}Y-16\\ \mathrm{Cb}-128\\ \mathrm{Cr}-128\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right].$

在一个被配置成提供多种彩色空间变换的系统中，用下载适当的系数和偏移值到一3×3矩阵乘法器和加法器的方法，可实现不同的输入-输出彩色空间变换。注意，这样的实施例要求至少9个乘法器和加法器，外加一个预处理器，它从特定彩色空间的输入分量(如Y-16，C_b-128，和C_r-128)减去适当的偏移(D₀，D₁，D₂)。

本发明的目的在于减少为实现彩色空间变换所需要的电路和面积。

本发明进一步的目的是优化用于FIR滤波的电路的效用。

上述这些以及其它的目的可以通过采用同样的电路以实现FIR滤波和彩色空间变换来达到。常规FIR滤波器的乘法-加法阵列的输入被适当地进行多路复用，以提供FIR滤波器分量(filter component)的其它应用。以这种方式，例如，各分量的同一个乘法-加法阵列可用于比例缩放一个图象，并用于把此图象从一个彩色空间变换到另一个彩色空间。

下面参照附图，以举例的方式进一步详细阐述本发明，其中：

图1表示按照本发明的视频处理系统的框图实例。

图2表示按照本发明的多用途FIR滤波器组合的框图实例。

这些图中，同样的参考数字表示类似或对应的特征或功能。

图1表示按照本发明的图象处理系统100的框图实例。处理系统100被表示为本发明的一个应用实例，但如本领域的普通技术人员将会认识到，本发明不局限于这个应用实例。该处理系统100允许具有不同格式的多个输入图象源，特别是允许具有使用不同彩色空间编码的象素值的图象源。源选择器110选择一特定的输入图象源，并把选择的图象提供给彩色空间转换器120。在这个例子中，为使设计复杂性最小化，若有必要，该彩色空间转换器120被配置成将一个彩色空间中的象素编码转换到一个特定的彩色空间中的编码，该系统的其余部分被配置来进行处理。就是说，例如在基于计算机的显示系统中，存在着一些实用过程和应用程序，它们都是基于RGB彩色空间编码的。例如，被配置来清晰(sharpen)图象、或从图象中消除噪声的图象增强方案，通常对处理RGB编码的图象是有用的。通过把其它彩色空间的编码转换为RGB编码，这些现存的实用过程和应用程序便可利用。正如在本发明背景中所讨论的那样，在常规的图象处理系统中，彩色空间转换功能是由专用硬件或3×3矩阵乘法提供的。按照本发明，该彩色空间转换器120被配置成使用FIR滤波器140b的乘法和加法部件(the multiplication and addition component)，下文将对其作进一步讨论。

如本领域中常常见的那样，在图象处理系统实例100中，一存储器130被用于在处理块中间传送图象数据。例如，该存储器130可以包括用于图象各行的行缓存器，用于序列图象的帧存储器、高速缓存器(cache memory)等等。在这个例子中，彩色空间转换器120被配置成向FIR滤波器140b提供源图象数据，而且FIR滤波器140b被配置成把彩色空间转换后的数据置于存储器130中。

定标器150被配置成对来自存储器130的图象提供可选的比例缩放。如下文将进一步讨论的，按照本发明，该例示定标器150被配置成经由多路复用器140a，使用如同彩色空间转换器120一样的FIR滤波器140b的乘法-加法阵列。在本例中，来自FIR滤波器140b的比例缩放后的图象版本，也存在存储器130内，用于由显示驱动器160随后进行处理，以便在显示器170上提供图象。应当注意，其它处理，如量化、舍入、箝位、锐化等可应用于在存储器130中的已或未比例缩放的数据，这在本领域中是常见的，为便于理解，未在图1中示出。

由多路复用器140a选择FIR滤波器140b的输入是来自彩色空间转换器120，还是来自定标器150。取决于处理系统100的特定配置和所支持的功能，多路复用器140a可以对FIR滤波器140b的使用引入约束条件。例如，对于系统100的最大吞吐量，多路复用器140a可以配置成对给定的输入数据流只有一个功能可应用，即彩色空间转换或图象比例缩放。就是说，例如在基于RGB的系统中，仅可对来自RGB源的图象提供比例缩放，并不要求彩色空间转换。若吞吐量不是关键，那么系统100可被配置成设定多路复用器140a转换每一输入图象到选定的彩色空间，且在图象被转换以后，设定多路复用器140a对已彩色空间转换的图象进行比例缩放。对本领域的普通技术人员而言，根据以上描述，其它多路转接方案将是显而易见的。例如，该系统可以配置成控制多路复用器140a，使得来自转换器120和定标器150的数据可以被交替地处理，因而就允许连续地处理，尽管它对整个处理过程与由FIR滤波器140b将处理限于一个输入或者另一个输入的系统相比，处理速度要慢些。

图2表示根据本发明的多用途FIR滤波器组合140的框图实例。FIR滤波器组合140包括前面提到的FIR滤波器140b和多个多路复用器220、230、240，这些多路复用器在图1中表示为多路复用器140a。

根据本发明，多路复用器220、230、240被配置为向FIR滤波器140b提供适当的输入，以实现希望进行的转换。在图2的例子中，输入InB相应于常规的对FIR滤波器的输入，以实现比例缩放功能，如前面所讨论的关于6抽头、3分量(component)FIR滤波器，它提供以下矩阵运算：

$\left[\begin{array}{c}{a^{\′}}_0\\ {a^{\′}}_1\\ {a^{\′}}_2\end{array}\right]=\left[\begin{array}{cccccc}{c}_{00}& c_{01}& c_{02}& c_{03}& c_{04}& c_{05}\\ c_{10}& c_{11}& c_{12}& c_{13}& c_{14}& c_{15}\\ c_{20}& c_{21}& c_{22}& c_{23}& c_{24}& c_{25}\end{array}\right]\×\left[\begin{array}{ccc}{a}_0^0& a_1^0& a_2^0\\ a_0^{-1}& a_1^{-1}& a_2^{-1}\\ a_0^{-2}& a_1^{-2}& a_2^{-2}\\ a_0^{-3}& a_1^{-3}& a_2^{-3}\\ a_0^{-4}& a_1^{-4}& a_2^{-4}\\ a_0^{-5}& a_1^{-5}& a_2^{-5}\end{array}\right]+\left[\begin{array}{c}{e}_0\\ e_1\\ e_2\end{array}\right]$

如图2的实例所示，在FIR滤波器140b中的一系列延迟单元210提供a⁰，a^-1，.....a^-5的象素值，相应于例如一组象素值包括一水平行的六象素长度。基于比例缩放因子和输入、输出象素值的相位，采用本领域中的常规算法，系数c₀₀-c₂₅和偏移e₀-e₃由定标器150(图1)设定。上述矩阵乘法和加法经由一乘法器和加法器阵列250实现，如在本领域中对于常规的FIR滤波器常见的那样。

为向多路复用的FIR滤波器系统140提供输入InA的彩色空间转换，由6抽头、3分量FIR滤波器实例提供的常规3×3矩阵运算如下。

前面提到，常规3×3彩色空间转换由以下方程提供：

$\left[\begin{array}{c}{A^{\′}}_0\\ {A^{\′}}_1\\ {A^{\′}}_2\end{array}\right]=\left[\begin{array}{ccc}{C}_{00}& C_{01}& C_{02}\\ C_{10}& C_{11}& C_{12}\\ C_{20}& C_{21}& C_{22}\end{array}\right]\×\left[\begin{array}{c}{A}_0+D_0\\ A_1+D_1\\ A_2+D_2\end{array}\right]+\left[\begin{array}{c}{B}_0\\ B_1\\ B_2\end{array}\right].$

这个常规3×3彩色空间转换可被表示为等效于：

$\left[\begin{array}{c}{A^{\′}}_0\\ {A^{\′}}_1\\ {A^{\′}}_2\end{array}\right]=\left[\begin{array}{cccccc}{C}_{00}& C_{01}& C_{02}& C_{00}& C_{01}& C_{02}\\ C_{10}& C_{11}& C_{12}& C_{10}& C_{11}& C_{12}\\ C_{20}& C_{21}& C_{22}& C_{20}& C_{21}& C_{22}\end{array}\right]\×\left[\begin{array}{ccc}{A}_0& A_0& A_0\\ A_1& A_1& A_1\\ A_2& A_2& A_2\\ D_0& D_0& D_0\\ D_1& D_1& D_1\\ D_2& D_2& D_2\end{array}\right]+\left[\begin{array}{c}{B}_0\\ B_1\\ B_2\end{array}\right].$

即3×3彩色空间转换系数矩阵c₀₀-c₂₂被重复一次以填充6×3FIR滤波器系数矩阵，并且输入值A₀-A₂和偏移D₀-D₂被作为离散项(discrete entries)提供。例如，在本发明技术背景中提到过的，YC_bC_r到RGB的彩色空间转换被重新计算如下：

$\left[\begin{array}{c}R\\ G\\ B\end{array}\right]=\left[\begin{array}{cccccc}1.164& 0& 1.596& 1.164& 0& 1.596\\ 1.164& -0.392& -0.813& 1.164& -0.392& -0.813\\ 1.164& 0& 2.017& 1.164& 0& 2.017\end{array}\right]\×\left[\begin{array}{ccc}Y& Y& Y\\ \mathrm{Cb}& \mathrm{Cb}& \mathrm{Cb}\\ \mathrm{Cr}& \mathrm{Cr}& \mathrm{Cr}\\ -16& -16& -16\\ -128& -128& -128\\ -128& -128& -128\end{array}\right]+\left[\begin{array}{c}0\\ 0\\ 0\end{array}\right].$

通过将常规3×3彩色空间转换矩阵运算重组成一个6×3 FIR滤波器矩阵，多路复用器220、230、240可配置为给图2实例的6×3 FIR滤波器140b提供适当的输入。如图所示，当模式信号被认定其状态变为与实现常规FIR滤波器功能的状态相反时，FIR滤波器140b的乘法-加法阵列250的输入被多路复用器切换，以提供适当的输入值A₀-A₂、输出偏移值B₀-B₂、重复系数值C₀₀-C₂₂和输入偏移D₀-D₂给6×3乘法器和加法器，去实现上述6×3彩色变换矩阵运算。注意，虽然3×3彩色空间变换是由3×6乘法-加法阵列250实现的，它比通常用于实现3×3矩阵运算的常规3×3乘法-加法阵列大得多，但却获得了节约电路面积的效果，因为可以预期多路复用器220、230、240比常规3×3乘法-加法阵列耗用更小的面积。

如本领域普通技术人员所熟知的，若提供不同大小的FIR滤波器140b，则3×3彩色空间转换矩阵运算需要重做，以适应不同大小的FIR滤波器。例如，可以用一个4×4 FIR滤波器，方法是把3×3彩色空间矩阵的参数直接填入4×4 FIR滤波器的3×3子集，并且未用的输入填入零。

前面仅说明了本发明的原理。由此将会理解，本领域的普通技术人员能够设计出在这里未明确描述或表示的不同的、使本发明的原理具体化的方案，但这些方案都落在下述权利要求书的精神和范围之内。

Claims (11)

1.一种图象处理系统(100)，包括：

-彩色空间转换器(120)，被配置成提供从第一个彩色空间(InA)中的象素值(A0-A2)到第二个彩色空间中的对应象素值的转换；

-定标器(150)，被配置成提供将第一种比例(InB)下的象素值(a⁰-a⁵)比例缩放到第二种比例下的对应象素值，以及

-滤波器(140b)，被配置成将滤波器功能(function)应用于象素值；其中

该彩色空间转换器(120)利用该滤波器(140b)来提供该转换，并且

该定标器(150)利用该滤波器(140b)来提供该比例缩放。

2.如权利要求1所述的图象处理系统(100)，还包括一第一多路复用器(220)，被配置成有选择地提供象素值(A0-A2，a⁰-a^-5)给滤波器(140b)，以便有选择地实现该转换和比例缩放。

3.如权利要求2所述的图象处理系统(100)，还包括一第二多路复用器(230)，被配置成有选择地提供彩色空间转换系数(C₀₀-C₂₂)和比例缩放系数(c₀₀-c₂₅)给滤波器(140b)，以便有选择地实现该转换和比例缩放。

4.如权利要求3所述的图象处理系统(100)，其中一第三多路复用器(240)被配置成有选择地提供偏移参数(B₀-B₂，e₀-e₂)给滤波器(140b)，以便有选择地实现该转换和比例缩放。

5.如权利要求1所述的图象处理系统(100)，其中该滤波器(140b)是一FIR滤波器。

6.如权利要求1所述的图象处理系统(100)，还包括一存储器，它使得在彩色空间转换器(120)、定标器(150)和滤波器(140b)中间像素值的传送(communication)更方便。

7.如权利要求1所述的图象处理系统(100)，其中该滤波器(140b)是一六抽头、三单元(element)FIR滤波器。

8.如权利要求1所述的图象处理系统(100)，其中，

该滤波器(140b)包括一乘法-加法阵列(250)，并且

该彩色空间转换器(120)利用该滤波器(140b)的乘法-加法阵列(250)来提供该转换，并且

该定标器(150)利用该滤波器(140b)的乘法-加法阵列来提供该比例缩放。

9.一种处理系统，包括：

-乘法-加法阵列(250)，其包括：

六个数据输入，每个数据输入包括三个单元输入(e1ementinputs)，和18个系数输入；

该乘法-加法阵列(250)被配置成实现6个数据输入和18个系数的3×6矩阵乘法，以便提供一具有3个单元输出的输出(out)，和

-多路复用器(140a)，可操作地耦合到该乘法-加法阵列(250)上，被配置成

当多路复用器(140a)处于第一可选模式时，提供其每个具有3个分量值的6个象素值(a⁰-a^-5)中的每一个给6个数据输入中的每一个；并且

当多路复用器(140a)处于第二可选模式时，

提供单个象素值的3个分量(A₀-A₂)中的每一个给6个数据输入中的3个数据输入，且3个分量中的每一个被提供给该3个数据输入中每一个的3个单元输入，并且

提供与单个象素值的3个分量(A₀-A₂)相关的3个偏移(D₀-D₂)中的每一个给上述6个数据输入中的另外3个，且3个偏移(D₀-D₂)中的每一个被提供给另外3个数据输入中每一个的3个单元输入。

10.如权利要求9所述的处理系统，其中该多路复用器(140a)进一步被配置成：

当多路复用器(140a)处于第一可选模式时，提供18个比例缩放系数(C₀₀-C₂₅)给18个系数输入，以提供一与6个象素值(a⁰-a^-5)对应的比例缩放后的象素值作为输出(out)；并且

当多路复用器(140a)处于第二可选模式时，

提供9个彩色空间转换系数(C₀₀-C₂₂)给：

由18个系数输入中的9个组成的第一组系数输入中的每一个，以及

由18个系数输入中的另外9个组成的第二组系数输入中的每一个，

以提供单个象素值(A₀-A₂)的彩色空间转换作为输出(out)。

11.如权利要求10所述的处理系统，其中，

该乘法-加法阵列(250)还包括：

3个偏移输入，用于对3个单元输出中的每一个进行偏移；并且

该多路复用器(140a)进一步被配置为：

当多路复用器(140a)处于第一可选模式时，提供3个比例缩放偏移(e₀-e₂)给3个偏移输入，以对已比例缩放的象素值进行偏移；并且

当多路复用器(140a)处于第二可选模式时，

提供3个彩色空间偏移(B₀-B₂)给3个偏移输入，以对单个象素值(A₀-A₂)的彩色空间转换进行偏移。

Images