CN102282854B - 用于混合图像的方法和装置 - Google Patents

Abstract

用于混合前景图像(B)与背景图像(A)的方法和电路，前景图像和背景图像按像素来布置并具有颜色表示(R，G，B)。前景图像(A)具有根据所谓α平面的透明度参数(T(x，y))，α平面代表将向前景图像应用的透明度分布图。该方法包括步骤：-对α平面应用抖动方法以将透明度参数(T)转换成一位透明度参数(T’)；-将一位透明度参数(T’)用于控制复用单元，复用单元具有分别接收前景图像(A)和背景图像(B)的两个输入。在一个实施例中，将一位透明度参数T’转换成例如8位编码的一系列连续值的两个极值。该方法然后将四像素插值方法应用于前景图像(A)以在混合过程中创建五级透明度参数、然后将五级透明度参数用于控制复用电路以实现混合前景图像与背景图像。

Description

用于混合图像的方法和装置

技术领域

本发明涉及数字图像处理，并且更具体地涉及一种用于混合图像的方法。

背景技术

随着数字无线通信的问世和移动电话的发展，图形和视频处理对于移动电话消费者而言颇为重要。

越来越多的移动电话获得新的性能，其中，使用更深的配色方案以及可以显示视频对象。除了构造待显示的对象之外，还有以最高效的方式组合和显示它们的实际挑战。

待实现的功能包括用以下变换组装若干图形源或者视频源：

·颜色转换

·几何变换，例如仿射变换：平移、旋转、缩放、剪切、镜像和对称。

·选择和混合。称为“平面”的各种源从背景到前景分层而具有简单的叠加或者更复杂的透明度效果。

·当应用真实的混合功能时，前景平面信息由值范围为[0，1]的十进制小数因子加权，而背景平面由一减去这一因子加权。透明度信息可以来自若干源：

-每层全局透明度信息

-来自色值的透明度信息(也称为色度键控)

-来自像素值的透明度信息

所有上述功能一般实施于显示合成单元或者图形表现器中。然而，透明度管理一般是在硬件中集成的最后一项，因为在像素级的透明度管理消耗大量硬件资源和存储器占用区。

实际上，下层硬件的色键控复杂性颇为简单，因为依赖于简单选择，该选择的标准源是用于整个“平面”的恒定值或者声明为透明度值的具体色值。支持“每像素”混合合成能力需要真实乘法和累加功能以及存储于系统存储器中的每像素专用透明度信息。

在需要演进人机界面外观时，这些复杂混合方案隐含丢弃更早一代硬件。

参照图1A，回顾用于混合一个前景图像A与背景图像B的很经典的色度键控选择方法。该机制对于待显示的各像素而言基于多路复用器10，该多路复用器在第一输入接收必须在前景上显示的图像A的颜色(R、B、G分量)，而第二输入接收视为背景的图像B的色分量。多路复用器10由比较器11控制，该比较器比较前景图像的分量值与参考值(色度键控)，二者在相等时使多路复用器10输出背景分量B。

这一第一现有技术机制的主要优点归因于在小型设备如移动电话中有利的很简单和低成本的构造。然而，弊端归因于由于图形硬件有限而既无图像混合也无透明度控制这样的事实。

图1B图示了提供对两个前景和背景图像的混合过程的更好控制的另一现有技术。该机制基于一个加法器20，该加法器的两个输入分别接收一个乘法器(分别为21和22)的输出。乘法器21计算值A×(1-α)，而乘法器22产生α×B。因此，生成值A×(1-α)+α×B，这提供对混合效果的改善的和“连续的”控制，并且因此提供更高效的图形显示。

这一第二现有技术的弊端在于首先需要复杂的硬件电路用于实施两个乘法器这样的事实。

此外，需要更多存储空间用于实施其中α值对于各像素而言可能不同的8位混合过程。

为了说明的目的，可以考虑以下例子的简单配色方案，该方案基于间接颜色信息获取、存储位图颇为高效。使用256个颜色条目的色彩查找表机制的QVGA图像需要320×240字节以存储画面内容加上色彩查找表(CLUT)本身。假设CLUT条目由3字节(8位编码的红色、绿色和蓝色通道)组成，整个图像将占用：320×240+256×3＝77568字节。在效果上需要多级透明度，它通常为16、64或者甚至256级。超出16级并且由于字节对准约束，各像素将需要全透明度字节。在前一QVGA例子的情况下，它将简单地倍增存储要求。现在考虑“真色”描述，其中各像素让它的色信息分别针对65K、262K和16M配色方案直接编码为16位、18位或者24位；存储增加2或者3倍。添加“每像素混合”进一步以4倍增加存储要求。

希望获得与用图1B的过程获得的图形表现尽可能接近的图形表现、但是硬件电路组合与图1A的选择电路尽可能接近。

益处将不言而喻：可用图形电路的再使用率较高，另外减少向图像存储区分配的存储器占用区。

发明内容

本发明的一个目的在于提供一种用于用有限的硬件电路和高显色性(highrendering)的图形混合来混合两个图像的方法。

本发明的又一目的在于提供一种需要有限硬件并且制造成本低的用于参照背景图像控制前景图像的透明度的电路。

本发明的又一目的在于实现一种适合于移动电话设备的用于控制两个图像的混合的方法和设备。

这些和其它目的借助一种用于根据N位编码的透明度参数来混合前景图像(B)与背景图像(A)的方法来实现。

前景图像和背景图像按像素来布置并且具有颜色表示(例如，R，G，B)。透明度参数(T(x，y))限定代表将向前景图像应用的透明度分布图的所谓α平面。

该方法包括以下步骤：

-对所述α平面应用抖动方法以将所述透明度参数(T)转换成一位透明度参数(T’)；

-将所述一位透明度参数(T’)用于控制复用单元，该复用单元具有分别接收前景图像(A)和背景图像(B)的两个输入。

在一个实施例中，将一位透明度参数T’转换成例如8位编码的一系列连续值的两个极值。

在一个实施例中，该方法将四像素插值方法应用于前景图像(A)，用于创建五级透明度参数、然后将五级透明度参数的结果用于控制基于简单多路复用器的选择电路。

这样，用基于复用电路的很简单的硬件电路实现了一种复杂的(5级)混合过程。

在一个实施例中，将一位透明度参数T’转换成8位表示格式的00或者FF。

优选地，抖动方法为弗洛伊德-斯坦伯格(Floyd Steinberg)抖动方法。

可替选地，抖动方法可以为半色调化或者抖动排序。实际上任何可用抖动算法都可以适用。

本发明还提供一种用于根据N位编码的并且限定α平面的透明度参数(T(x，y))来混合前景图像(B)与背景图像(A)的图形电路，该α平面代表将向前景图像施加的透明度。该电路包括用于复用来自背景图像(B)或者前景图像(A)的色分量的复用装置并且特征在于：

-用于对所述α平面应用抖动方法以将所述透明度参数(T)转换成一位透明度参数(T’)的装置；

-用于将所述一位透明度参数(T’)应用于所述复用装置的装置。

在一个实施例中，该电路还包括：

-用于将所述一位透明度参数T’转换成例如8位编码的一系列连续值的两个极值的装置；

-用于将四像素插值方法应用于前景图像(A)以在混合过程中创建五级透明度参数的装置；

-用于将所述五级透明度参数应用于控制所述复用装置以实现前景图像与背景图像的改进混合的装置。

本发明的电路特别适合于实现手持设备或者移动电话显示器的图形电路，但是可以涵盖其中有类似需要的其它领域。

附图说明

参照在结合以下附图阅读时的下文具体描述将最好地理解本发明一个或者多个实施例的其它特征。

图1A图示了现有技术的经典色度键控选择方法；

图1B图示了混合方法的原理，该混合方法提供参照背景图像B控制前景图像A的透明度；

图2A和2B分别示出了本发明的混合方法的第一实施例和第二实施例；

图3A图示了8位编码的原有α平面分布图，图3B图示了在通过抖动过程减少之后的相同分布图；

图4图示了弗洛伊德-斯坦伯格(Floyd-Steinberg)抖动方法的原理；

图5图示了在实施例中用于生成插值像素分量的插值机制的原理；

图6图示了用于实施本发明的混合方法的一个电路的主要结构。

具体实施方式

下文公开的实施例特别适合于用于诸如手持设备、移动电话等资源有限的小型设备的图形显示电路的设计。

然而应当清楚，这是本发明的方法和电路的仅一个特定实施例，并且后者可能适应广泛应用。

假设前景图像A对于各像素(X，Y)而言由三个基本分量R_A(x，y)、G_A(x，y)和B_A(x，y)集以及由用于控制混合过程的透明度因子T(x，y)限定。应当注意，给出R-G-B表示系统仅作为例子，并且可以考虑另一表示系统。

在优选实施例中，各像素具有定义以下参数的用32位编码的表示：

(T(x，y)，R_A(x，y)，G_A(x，y)，B_A(x，y))

T(x，y)参数定义可以用N＝8位编码的将在混合过程中使用的透明度分布图，并且可以由图3A中示出的所谓α平面表示。

或者简记为(T，R_A，G_A，B_A)。

类似地，假设背景图像B对于各像素(x，y)而言由分量(R_B，G_B，B_B)表示。

参照图2A，现在描述用于混合前景图像A与背景图像B的方法的一个实施例。

该方法始于步骤21，该步骤在于对代表待混合的前景图像的透明度分布图的α平面应用抖动方法以将T(x，y)透明度参数减少至1位参数。

可以考虑许多抖动技术用于实现8位到1位转换过程、如例如而不限于半色调化、抖动排序或者在优选实施例中为弗洛伊德-斯坦伯格(Floyd-Steinberg)抖动技术。

抖动技术在本领域中为公知，并且为求简洁，将不进一步阐述。关于优选实施例的弗洛伊德-斯坦伯格抖动技术，回顾弗洛伊德-斯坦伯格算法可以应用于任何量化过程并且具体应用于减少至单个位就足够了。图4根据以下方案回顾主要过程，该过程基于抖动误差的分布，分别在第j+1行左边、底边、右边和在第j行右边的四个接近的邻近像素上的抖动误差由α＝7/16、β＝3/16；γ＝5/16和δ＝1/16这一组值加权：

-根据为数据表示而分配的输出级数来量化初始数量，

-通过将初始数量减去量化值来计算误差值，

-根据以下模式和权重将误差添加到邻近像素：

-可以在正常光栅扫描中完成画面扫描，但是一些算法根据线数目奇偶性从左至右以及从右至线交替线扫描。

该方法在步骤22中将抖动方法用于将T透明度参数(用N位编码)转换成一位透明度参数T’。

然后在步骤23中，该方法使用计算出的T’参数作为用于控制复用电路的控制信号，复用电路具有相应接收前景图像(A)的色分量和背景图像(B)的色分量的两个输入。

已经观察到借助这一方法来简单地实现美学混合效果，并且这是一种颇为令人感兴趣的效果。

向α平面应用抖动过程的结果在图3B中被示意地示出并且造成将前景像素透明度T的表示转换成它的新表示T’，而令人感兴趣的结果在于，可以用根据T’的值复用(R_A，G_A，B_A)或者(R_B，G_B，B_B)的仅一个多路复用器实现混合。

实现有可能显示与背景图像B混合的前景图像A而无需任何如在图1B的技术中那样的乘法器，这是很有利的。

参照图2B，现在描述明显改进混合效果而无需附加复杂电路的第二实施例。

图2B的步骤31和32与图2A的步骤21和22相同。

第二实施例于是与第一实施例不同在于接下来的以下步骤：

该方法然后继续步骤33，其中假设前景图像A由利用N＝8位α平面的标准表示(每像素24位)组成，原8位透明度值的一位量化和抖动信息转换如下：

如果T’＝1则T”＝0xFF；

如果T’的值＝0则T”＝0x00。

值为MSB字节

因此同样提供画面的颜色表示，该表示并入8位编码的透明度参数。

下面，在步骤34中，该方法继续前景图像的表示(T”，R_A，G_A，B_A)(T”为MSB)的4像素插值，以产生将四个邻近像素的信息纳入考虑之中的插值表示(T”ⁱ，R_Ai，G_A ⁱ，B_A ⁱ)。

应当注意，关于特定参数T”，这一4像素插值造成可以产生与以下序列对应的五个确切混合级：

0、1/4、1/2、3/4和1。

明显技术效果在于可以用最少硬件电路容易地实现这样的混合值。

实际上，在步骤35中，简单地使用参数T”’作为用于控制复用电路的控制信号从而允许在图像A的像素和图像B的像素的五个加权求和之间选择。

这样的选择需要很有限的硬件电路。

实际上，除以2通过向LSB的单次移位而容易地实现。

向LSB的两次连续移位容易产生除以4。

最后，借助将两个先前级1/4与1/2相加容易实现3/4级。

可见无需复杂乘法器就可以实现五级混合过程而仍然使用如在图1A的基本过程中使用的选择多路复用器，并且这是很有利的结果。

在一个特定实施例中，将图5的插值过程应用于根据以下公式生成插值表示(T”_i，R_A ⁱ，G_A ⁱ，B_A ⁱ  )：

T”ⁱ(x，y)＝1/4(T”(x，y)+T”(x+1，y)+T”(x，y+1)+T”(x+1，y+1))

并且

以类似方式对R_A ⁱ，G_A ⁱ，B_A ⁱ进行插值：

R_A ⁱ(x，y)＝1/4(R_A(x，y)+R_A(x+1，y)+R_A(x，y+1)+R_A(x+1，y+1))

G_A ⁱ(x，y)＝1/4(G_A(x，y)+G_A(x+1，y)+G_A(x，y+1)+G_A(x+1，y+1))

B_A ⁱ(x，y)＝1/4(B_A(x，y)+B_A(x+1，y)+B_A(x，y+1)+B_A(x+1，y+1))

参照图6，现在描述可以用于进行混合过程并且以五级T”i参数控制的五个输入的复用块100为基础的电路的一个实施例。该复用块的第一和第五输入分别在引线110上接收前景像素A的分量而在引线120上接收背景像素B的分量。

分别为131和133的两个一位移位电路连接到引线110(像素A)和120(像素B)用于进行除以二的运算。

分别为132和134的两个两位移位电路连接到引线110(像素A)和120(像素B)用于进行除以4的运算。

三个加法器141、142和143具有分别与选择块100的第二、第三和第四输入连接的输出。

加法器141具有与2位移位电路132的输出连接的第一输入、与一位移位电路133连接的第二输入和与两位移位电路134连接的第三输入。该加法器141产生A分量的值的1/4加上B分量的值的3/4。

加法器142具有与一位移位电路131的输出连接的第一输入和与一位移位电路133连接的第二输入，以产生A分量的值的1/2加上B分量的值的1/2、也就是纯混合。

加法器143具有与一位移位电路131的输出连接的第一输入、与两位移位电路132连接的第二输入和与两位移位电路134连接的第三输入。

本发明用与分数像素插值过程关联的单个位选择叠加实现一种8位混合方案。在实践中，已经观察到很少弊端归因于α平面的抖动并且因此归因于原透明度参数T的一位减少。Floyd Steinberg抖动算法传统上被视为一种由于经常与大分辨率对象(在整个A4格式纸张上的打印机数以百计DPI分辨率)关联而计算很密集的算法。考虑已经考虑过的移动电话环境应用，屏幕尺寸为QCIF+(220×176)或者QVGA(320×240)。因而，所需CPU工作需要很合理，另外，透明度信息应用于人机界面内容，这即使考虑小图形动画也变化不快。

Claims (10)

1.一种用于混合前景图像（A）与背景图像（B）的方法，所述前景图像和背景图像按像素来布置并且具有定义所述像素的颜色的颜色表示（R，G，B），所述前景图像还具有N位编码的透明度参数（T（x，y）），所述透明度参数限定代表将向所述前景图像应用的透明度分布图的所谓α平面；

所述方法包括以下步骤：

-对所述α平面应用抖动方法以将所述透明度参数（T）转换成一位透明度参数（T’）；

-将所述一位透明度参数（T’）用于控制具有分别接收所述前景图像（A）和所述背景图像（B）的两个输入的复用单元；

-将所述一位透明度参数（T’）转换成一系列连续值的两个极值；

-将四像素插值方法应用于所述前景图像（A），用以在混合过程中创建代表五个不同的混合级的透明度参数；

-将所述透明度参数用于控制复用电路，以实现混合所述前景图像与所述背景图像。

2.根据权利要求1所述的方法，其特征在于，所述一位透明度参数（T’）转换成8位表示格式的00或者FF。

3.根据权利要求1或2所述的方法，其特征在于，所述抖动方法为弗洛伊德-斯坦伯格抖动方法。

4.根据权利要求1或2所述的方法，其特征在于，所述抖动方法为半色调化或者抖动排序。

5.一种用于混合前景图像（A）与背景图像（B）的图形电路，所述前景图像和背景图像按像素来布置并且具有定义所述像素的颜色的颜色表示（R，G，B），所述前景图像还具有透明度参数（T（x，y）），所述透明度参数限定代表将向所述前景图像应用的透明度分布图的所谓α平面；

所述电路包括：

-用于复用来自背景图像（B）的色分量或者来自前景图像（A）的色分量的复用装置，

其特征在于，所述电路还包括：

-用于对所述α平面应用抖动方法以将所述透明度参数（T）转换成一位透明度参数（T’）的装置；

-用于将所述一位透明度参数（T’）应用于所述复用装置的装置；

-用于将所述一位透明度参数（T’）转换成一系列连续值的两个极值的装置；

-用于将四像素插值方法应用于所述前景图像（A）以在混合过程中创建代表五个不同的混合级的透明度参数的装置；

-用于将所述透明度参数应用于控制所述复用装置以实现所述前景图像与所述背景图像的改进混合的装置。

6.根据权利要求5所述的图形电路，其特征在于，所述电路包括用于将所述透明度参数（T’）转换成8位表示格式的00或者FF的装置。

7.根据权利要求5所述的图形电路，其特征在于，所述抖动方法为弗洛伊德-斯坦伯格抖动方法。

8.根据权利要求5所述的图形电路，其特征在于，所述抖动方法为半色调化或者抖动排序。

9.一种手持设备，包括如权利要求5至8中任一项所述的图形电路。

10.根据权利要求9所述的手持设备，其中所述手持设备是移动电话。