处理用于一个颜色顺序显示器的信号
本发明涉及一种用于处理表示一系列彩色图像的信号的方法,其中所述彩色图像将要在颜色顺序显示器上显示。本发明同样涉及一种用于在颜色顺序显示器上显示一系列图像的设备和系统。
从现有技术可知,通过显示每个图像的单独颜色分量(典型的是红、绿和蓝)来呈现图像序列中的图像。已存在多种用于显示这样的单独颜色分量的方式。本质上,产生颜色是显示器的空间和时间分辨率之间的折衷。
第一种显示装置(比如CRT(阴极射线管)或者LCD(液晶显示器)装置)同时产生并显示所有的颜色分量。例如在红、绿和蓝色分量的情况下,红、绿和蓝色的点被同时向屏幕投影,这样增加了显示器的空间分辨率。由于同时显示,对于每个颜色分量都要使用专用的硬件部分。
第二种显示装置(比如LCoS(硅上液晶)显示器)相反地是顺序显示每个图像的颜色分量,例如首先是每个图像的红色分量,然后是绿色分量并且最后是蓝色分量。因此LCoS显示器对于每单个点产生三倍的光,这样增加了显示器的时间分辨率。各颜色分量的影像速率典型地是将被呈现的图像序列中的图像速率的三倍。这种方式的一个优点是能够在相对低的有限成本下达到一个很高的分辨率,因为对于每个颜色分量可以顺序使用相同的硬件。
传统上,用于颜色分量的顺序显示的颜色分量信号可直接源自输入信号。但是颜色分量的顺序显示在视频场景中引入运动对象的伪像。因为各单独的颜色分量在不同的时间显示,因此根据原始运动轨迹仅有一个颜色分量可被显示。例如,如果根据原始运动轨迹红色信号被显示(即在显示时间出现在正确的图像位置),则绿色和蓝色信号从原始运动轨迹的偏移产生一个被称为“颜色分裂”的伪像。
图1示出了这样的一个图像序列的颜色分量的传统显示器。图1是描述在图像号n上的图像中的对象的位置的图表。该框图中的箭头表示一个白球在图像序列中的运动。球在每个图像中被拆分为绿色分量G、红色分量R和蓝色分量B,其被按顺序显示。如图可见,绿色分量总是在白球的正确位置显示。红色和蓝色分量对于每个图像都被呈现在与绿色分量相同的位置处,但却是在稍后的时刻显示,这在所显示视频中作为前述的“颜色分裂”可被看见。
为了避免这样的伪像,已经提出了对于颜色顺序显示器应用在图像序列上执行运动估计,并且在基色空间中对于各颜色分量应用相应的运动补偿。类似的技术已经被应用到扫描速率转换电视机,并且也很好的适用于颜色顺序显示器的应用。在一种简单明了的实现方式中,三个颜色分量中的两个必须被运动补偿。
图2示出了具有这样的运动补偿的对图像序列的颜色分量的显示。图2同样是表示在图像号n上的图像中的一个对象的位置的框图,其中的箭头指示白球的运动。没有运动补偿的绿色分量G与前面一样总是在白球的正确位置显示。红色分量R和蓝色分量B对于每个图像同样在比绿色分量晚的时刻出现。但是在这种情况下,红色分量R由对于对应红色分量将被显示的时刻所确定的运动矢量进行运动补偿,而蓝色分量B由对于对应蓝色分量将被显示的时刻所确定的运动矢量进行运动补偿。对应的运动矢量是通过例如在绿色分量所呈现的时刻对球的位置进行内插所确定的。因此,红色分量R和蓝色分量B总是在白球的正确位置显示,这意味着在运动的情况下,运动对象对于每个颜色分量被显示在另一个图像位置处。
对至少一个颜色分量的运动补偿已经在例如国际专利申请WO 01/10131A1中描述了。其中所介绍的补偿方案在影像流中对于各区域或对象确定运动矢量,对于各个颜色分量的对应呈现时间预测对象位置(例如通过内插或外插),并且顺序显示表示在预测位置的各区域或对象的对应颜色平面。其中也提出了在不要求运动补偿内插的时刻获得对于最重要颜色分量(例如绿色)的参考时间的判定。
在显示器典型的180Hz的高图像速率以及通常的高空间分辨率下,对三个颜色分量中的两个进行补偿的功能的实现成本是很高的。另一方面,对仅仅单个颜色分量的运动补偿将常常不会导致伪像的充分减少。
本发明的一个目的是使得在使用颜色顺序显示装置时能够以低成本获得高质量图像呈现。本发明由各独立权利要求所限定。各从属权利要求限定各优选实施例。
所述至少三个基色分量可以是例如基色分量红、绿和蓝,但也可以是任意其它的三种基色分量。所述至少三个基色分量可进一步包括多于三个的基色分量以用于多基色显示器。不同于基色空间的颜色空间可以特别(但不限定)是一个亮度/色度空间或一个对于多基色分量定义的类似空间。用于对应彩色图像显示的基色分量可以被完全按顺序显示或者仅仅是部分按顺序显示。在四个基色分量的情况下,例如四个基色分量中的头两个可以被同时显示,之后四个基色分量中的后两个基色分量可以被同时显示。
本发明通过下列考虑进行,即信号在不同于基色空间的另一个颜色空间内的表示将比在基色空间中的相同感知质量的表示需要更小的带宽。人类视觉系统(HVS)例如对于亮度误差比对色度误差更敏感,因此信号在亮度/色度空间中的表示将比在基色空间中的相同感知质量的表示需要更小的带宽。例如,对于高质量YUV信号处理而言,通常推荐4:2:2的采样栅格,而RGB处理需要4:4:4的采样栅格。另一方面,需要在基色空间中获得运动补偿。因此提出了在不同于基色空间的颜色空间中执行数据的运动补偿,并且接着所获得的信号将被转换到基色空间中以用于显示。
本发明的一个优点是其允许一种更简单并且因此更便宜的运动补偿,而在所感知的图像质量中的优点能够得到保持。
本发明典型地使用在基色空间中。在这种情况下,即如果所接收的表示一系列彩色图像的信号构成所述彩色图像序列的各颜色分量,首先将各颜色分量转换到不同于基色空间的颜色空间中,然后将运动补偿应用到在不同于基色空间的颜色空间中的所得到的信号上。但是在一些应用中,不同于基色空间的颜色空间中的信号在系统中可能已经可用,并且不需要专门的转换来进行运动补偿。
运动补偿通常基于运动估计,其可在任何位置和任何颜色空间中进行。
在所述不同于基色空间的颜色空间是亮度/色度空间的情况下,优选地可仅通过亮度信号来估计运动,而信号中的颜色信息在处理估计部分中被忽略。在最经济的方式中,基于所估计的运动仅仅对亮度进行运动补偿。然后经运动补偿的亮度信息和未经运动补偿的色度信息被转换成所需的颜色分量(例如借助于矩阵)。由于HVS对于亮度中的误差比对于色度中的误差更加敏感,所以对于亮度的运动补偿产生多数的感知图像改善,从而对色度的运动描绘可在质量上降低。因为这导致了对色度信号的较小的运动补偿,从而达到了成本节约的目的。
但是也可以在亮度/色度空间中基于通过亮度信号估计的运动或基于通过色度信号估计的运动来对色度信号进行补偿。即使在这种情况下,因为基色空间的更高的带宽,亮度/色度空间中的运动补偿仍然比基色空间中的运动补偿更简单。
补偿可以在每次显示基色分量时单独地执行,这类似于现有技术中的已知方式。因此,不同于基色空间的颜色空间的至少一部分(例如亮度/色度颜色空间中的至少亮度)在需要显示基色的时刻被变为有效。
进一步,有可能只在单个时刻(例如在最重要的时刻)对不同于基色空间的颜色空间的至少一部分进行补偿。例如,可以只在单个时刻对亮度/色度空间中的色度信号或者甚至全部色度和亮度信号组进行补偿。
在一个优选实施例中,从对于每个连续图像对的单个运动估计操作中获得运动矢量以用来进行运功补偿,并且这些运动矢量对于对应的所显示颜色分量被应用在正确的时刻。尽管有较小的误差,但是通过仅执行单个运动估计会显著节约成本。
如果从对于每个连续图像对的单独运动估计操作中获得运动矢量,那么优选地对于多个图像在单个通路中进行运动补偿。对于多数运动补偿的时间内插算法,经运动补偿的数据和未经运动补偿的数据都需要。因此,对于两个输出影像应用相同的未经运动补偿的数据。当这两个图像在单个通路中生成时,就能达到在数据访问方面的显著节约。
在所述不同于基色空间的颜色空间是亮度/色度空间的情况下,并且当色度信号在该亮度/色度空间中也被运动补偿的情况下,优选地相比于经运动补偿的亮度信号的时刻的数量减少经运动补偿的色度信号的时刻的数量。
在仅有亮度信号被运动补偿时,优选地借助于中值滤波操作来计算色度信号,该中值滤波操作使用来自前面图像的未经运动补偿的样本、来自当前图像的未经运动补偿的样本以及一个指示颜色缺失的值。
如果所接收的信号是隔行信号,则优选地在亮度/色度空间中对信号去隔行。优选地,利用由运动估计获得的运动矢量对所述去隔行进行运动补偿。
本发明可被用于任何使用颜色顺序显示器的设备或系统,例如在电视机中。颜色顺序显示器可以(但不必)作为本发明的设备的一部分。
本发明可由硬件或软件程序来实现。
如果仅仅对于亮度信号估计运动矢量,本发明对于颜色顺序显示器中的应用允许对视频格式转换的现有算法和实现方式进行再利用,比如在现有电视系统中的扫描速率转换。
本发明的这些和其它方面将参考结合附图描述的下述实施例变得明显并被阐明。
图1是示出了在传统的颜色顺序显示系统中对视频的各颜色分量的没有运动补偿的显示的示意图;
图2是示出了在传统的颜色顺序显示系统中对视频的各颜色分量的具有运动补偿的显示的示意图;
图3是实施本发明的第一实施例的颜色顺序显示系统的框图;
图4是实施本发明的第二实施例的颜色顺序显示系统的框图;
图5示出了可应用在图3或4的系统中的第一种运动补偿;以及
图6示出了可应用在图3或4的系统中的第二种运动补偿。
图3是实施本发明的第一实施例的颜色顺序显示系统(例如电视机)的示意性框图。系统1包括处理部件2和颜色顺序显示部件3。
处理部件2包括第一矩阵部分4,其同时构成处理部件2中的用于接收RGB信号的接收部分。第一矩阵电路4具有一个Y输出端和一个U/V输出端。
第一矩阵部分4的Y输出端通过第一压缩部分5连接到第一存储器MEM6、运动估计部分ME7以及第一运动补偿部分MC8的对应输入端。第一存储器6的输出端连接到运动估计部分7的另一个输入端和第一运动补偿部分8的另一个输入端。运动估计部分7的输出端连接到第一运动补偿部分8的第三个输入端。第一运动补偿部分8的输出端连接到第二矩阵部分9的第一输入端。
第一矩阵部分4的U/V输出端通过第二压缩部分10连接到第二存储器MEM11以及第二运动补偿部分MC12的对应输入端。第二存储器11的输出端连接到第二运动补偿部分12的另一个输入端。运动估计部分7的输出端连接到第二运动补偿部分12的第三输入端。第二运动补偿部分12的输出端连接到第二矩阵部分9的第二输入端。
当彩色图像序列将由显示部件3所呈现时,该图像序列的红R、绿G和蓝B各颜色分量RGB必须被提供给显示部件3。连续的彩色图像由第一时间间隔所隔开,该图像序列中的各个图像的编号被标记为n。该图像序列的可用的颜色分量RGB首先被输入到第一矩阵部分4。
第一矩阵部分4通过已知方式的矩阵变换操作将所接收的颜色分量RGB转换成亮度和色度信号YUV。所述转换包括一个下变换来获得降低的带宽。更具体来说,各颜色分量RGB的采样栅格是4:4:4,而YUV信号的采样栅格是4:2:2。即色度信号的分辨率仅仅是亮度信号的分辨率的一半,并且是每个原始RGB分量的分辨率的一半。可替换地,YUV信号也可以是已在系统中可用的。
每个图像的颜色分量RGB都将以预定的第二时间间隔由显示部件3连续地显示,其中该第二时间间隔典型的是第一时间间隔的1/3。此外,对于每个图像颜色分量的显示顺序典型地是绿一红一蓝。因此亮度信号Y被第一压缩部分5时间压缩并且被相应地延迟,并且色度信号UV被第二压缩部分10时间压缩并且被相应地延迟。
由第一压缩部分5所输出的图像n的亮度信号Y被提供到第一存储器6、运动估计部分7和第一运动补偿部分8,而由第二压缩部分10所输出的图像n的色度信号UV被提供到第二存储器11和第二运动补偿部分10。同时,第一存储器6将所存储的前一个图像n-1的亮度信号Y提供给运动估计部分7和第一运动补偿部分8。而且,第二存储器11将所存储的前一个图像n-1的色度信号U/V提供给第二运动补偿部分12。基于所接收的信号,运动估计部分7估计从对应图像到下一个图像(即在图像n-1和图像n之间)的运动。图像序列的绿色分量被显示的时刻被选择作为参考时间,即作为图像n-1和n的时刻。运动估计部分7还对图像的所有部分例如通过内插来计算运动矢量vec。运动矢量表示图像中不同部分的运动,该运动本应是在从图像n-1进展到两个图像n-1和n之间的其中一个特定时刻发生的,在其间估计对应的运动。对于亮度信号Y的红色和蓝色分量,共同或单独的运动矢量被确定,这将会在以下通过更详细的实例来描述。然后所确定的运动矢量vec被运动估计部分7提供给第一运动补偿部分8和第二运动补偿部分12。可替换地,运动矢量也可由运动补偿部分8和12基于从运动估计部分7接收的运动信息来计算。
由于图像序列中的绿色分量被显示的时刻被选择作为参考时间,第一运动补偿部分8将所接收的图像n-1的亮度信号Y不加运动补偿地作为信号Yg传递给第二矩阵部分9的第一输入端。类似地,第二运动补偿部分12将所接收的图像n-1的色度信号UV不加运动补偿地作为信号UVg传递给第二矩阵部分9的第二输入端。Yg在绿色分量的时刻产生亮度信号,以及UVg在绿色分量的时刻产生色度信号。
第一运动补偿部分8还基于所接收的运动矢量vec分别对于亮度信号Y的红色和蓝色分量来对所接收的图像n-1的亮度信号Y进行补偿。然后第一运动补偿部分8将亮度信号Y的经运动补偿的Yr和亮度信号Y的经运动补偿的Yb提供给第二矩阵部分9的第一输入端。Yr在红色分量的时刻产生亮度信号。类似地,Yb在蓝色分量的时刻产生亮度信号。第二运动补偿部分12基于所接收的一个或多个运动矢量vec分别对于色度信号UV的红色和蓝色分量的对所接收的图像n-1的UV信号进行运动补偿。然后第二运动补偿部分12将色度信号UV的经运动补偿的UVr和色度信号UV的经运动补偿的UVb提供给第二矩阵部分9的第二输入端。UVr在红色分量的时刻产生色度信号。类似地,UVb在蓝色分量的时刻产生色度信号。
第二矩阵部分9通过矩阵操作将所接收的YUV信号转换成具有采样栅格为4:4:4的经运动补偿的颜色分量RGB。然后经运动补偿的颜色分量RGB被提供给颜色顺序显示部件3,其将所接收的RGB颜色分量以已知的方式连续地投影到屏幕上。
由于在YUV空间中的带宽小于在基色空间中的带宽,因此所需要的处理量相对于已知的基色空间中的运动补偿被减少了。进一步地,只有亮度信号需要运动补偿。
应当理解的是,在颜色分量RGB被输入到第一矩阵部分4之前也可对其应用压缩。但是这可能需要三个场存储器,然而如图3所配置的那样仅采用两个场存储器5、10也可能达到相同的结果。因此在亮度/色度空间中执行压缩会更加成本有效。此外,从功能的观点来看,同样可能仅在运动补偿之后进行压缩或者甚至在由第二矩阵部分9所输出的颜色分量RGB上应用压缩,尽管这会进一步增加所需要的存储器数量。
图4是实施本发明的第二实施例的颜色顺序显示系统(例如电视机)的示意性框图。该第二实施例允许进一步减少所需处理。同样的附图标记被用于与图3中相对应的部件。
图4的颜色顺序显示系统1的结构与图3所示的颜色顺序显示系统1的结构相同,除了第二压缩部分10的输出端直接连接到第二矩阵部分9的第二输入端以外。第二存储器11和第二运动补偿部分12被省略。
剩余部件的操作与参考图3所描述的相同。
因此第二矩阵部分9同上面一样接收经运动补偿的亮度信号Yr、Yb和Yg,并且另外还有未经运动补偿的色度信息U/V代替了经运动补偿的色度信号Uvr、UVb和UVg。第二矩阵部分9通过矩阵操作将所接收的信息转换成所需的RGB颜色分量。最终得到的RGB颜色分量再次被提供给显示部件3以用于显示。
由于人类视觉系统对于亮度伪像最为敏感,所以通过在如图4所示的系统中去除色度运动补偿就达到了显著的成本节约,而不引入强的感知伪像。
从现有技术已知,运动估计和运动补偿可在两个系统中执行,例如如图2所呈现的那样。比如,在绿色分量被认为是在正确位置显示时,就为红色分量和蓝色分量的显示时刻确定专用的运动矢量。然后各个相关的运动矢量被用来补偿亮度信号Y的红色分量和亮度信号Y的蓝色分量。
可替换地,所有的运动矢量都通过对于每个连续的图象对n-1和n进行单个运动补偿操作(即对于两个图像n-1和n的时刻之间的单个时刻)来获得。然后运动矢量在对应于亮度信号Y的各个分量的正确时刻被应用于运动补偿,并且在图3所示的系统中在对应于色度信号UV的各个分量的正确时刻被应用于运动补偿。
应当注意的是,在图3和4所示的系统中,运动估计和运动补偿是在输出图像速率空间中执行。因此,运动矢量可在它们被需要的时间点有效,并且可以对于Yr和Yb的时刻被优化。对于单个时刻优化矢量并且在多个时刻使用它们并没有显著的优点。
如果运动矢量在图3或4的系统之外被计算(例如出于去隔行的目的)或者如果现有的用于视频格式转换的运动补偿的IC(集成电路)被用于提供运动矢量,那么对于多个时刻使用单个矢量组将更有益处。在这样的情况下,运动矢量可以在单个时刻有效、可以被上变换到输出速率空间并且可以用于多个时刻。尽管这种方式带来了很小的误差,但是通过在这些情况下仅仅执行单个运动估计达到了显著的成本节约。
图5通过实例示出了对于每个图像使用单个运动矢量组的第一种可能性。图5中的第一垂直线代表第一图像n-1的时刻,由Y[n-1]指示,以及其中的第二垂直线代表第二图像n的时刻,由Y[n]指示。所指示的时刻Y[n-1]和Y[n]对应于图像n-1和n的亮度信号Y的绿色分量的显示时刻。因此绿色分量的显示时刻被用作参考时刻,并且在YUV信号的绿色分量上不执行运动补偿。带箭头的第一根线51表示在某一图像位置处的运动矢量。运动估计部分计算这个矢量。如图5所示,矢量51在其已被计算出来的特定时刻T是有效的,在该实例中该特定时刻T是在图像Y[n-1]和Y[n]的时刻之间的一半。对于信号Yr和Yb的计算,需要在它们各自时刻的运动矢量。在该实例中,运动矢量51的值作为矢量52被应用到Yr信号,并且作为矢量53被应用到Yb信号。通过这种方式,来自估计部分的单个运动矢量被用于计算Yr和Yb信号。尽管这将引入很小的误差,但是所感知的伪像通常是可接受的。
图6通过实例示出了对于每个图像使用单个运动矢量组的第二种可能性。图6中的第一垂直线同样代表第一图像n-1的时刻,由Y[n-1]指示,以及其中的第二垂直线代表第二图像n的时刻,由Y[n]指示。所指示的时刻Y[n-1]和Y[n]对应于图像n-1和n的亮度信号Y的绿色分量的显示时刻。因此绿色分量的显示时刻被用作参考时刻,并且在YUV信号的绿色分量上不执行运动补偿。带箭头的第一根线61表示在某一图像位置处的运动矢量。运动估计部分计算这个矢量。如图所示,矢量61在其被已计算出来的特定时刻T是有效的。该运动估计部分被按照如下方式控制:即该矢量在Yr信号的时刻有效。对于Yb信号的计算,需要在它的对应时刻的运动矢量。在该实例中,运动矢量61的值同样作为矢量62被应用到Yb。通过这种方式,来自该运动估计部分的单个运动矢量被用于计算Yr和Yb信号。该矢量对于Yr信号是正确的,但是对于Yb信号将引入很小的误差。由于Yb信号比Yr信号对所感知的图像质量有更小的作用,所以这种方法通常得到比图5所示的方法更好的整体感知图像质量。
在这两种方法中,来自运动估计部分(比如运动估计部分7)的单个运动矢量组被应用在运动补偿部分(比如运动补偿部分8)中,用来计算在红色和蓝色分量的两个时刻的亮度信号。在图3的系统中,所确定的运动矢量组还被用在第二运动补偿部分12中,以计算在红色和蓝色分量的时刻的两个色度信号。
应当注意的是,本发明所描述的实施例仅仅构成了本发明的多种可能实施例中的所选择的几个。应当注意的是,上述实施例是说明而不是限制本发明,并且本领域熟练技术人员可在不脱离所附权利要求书的范围的情况下设计许多替换实施例。在权利要求中,括号中的附图标记不应当用来限制权利要求。“包括”一词不排除权利要求中所列出的之外的其它元件和步骤的存在。元件之前的“一个”不排除多个这种元件的存在。本发明可借助于包括多个分离元件的硬件以及借助于适当编程的计算机来实现。在列举多个装置的装置权利要求中,这些装置中的一些可以被体现为同一硬件项。在互不相同的从属权利要求中陈述某些措施这一事实并不意味着这些措施的组合不是有益的。