CN102595022A

CN102595022A - 多媒体装置及其移动补偿方法

Info

Publication number: CN102595022A
Application number: CN2011100265051A
Authority: CN
Inventors: 张孝恩; 姜建德; 林义峰
Original assignee: Novatek Microelectronics Corp
Current assignee: Novatek Microelectronics Corp
Priority date: 2011-01-10
Filing date: 2011-01-10
Publication date: 2012-07-18

Abstract

本发明是一种多媒体装置及其移动补偿方法，用以于两画面之间产生中间画面。多媒体装置包括插补单元、线性处理单元及合并单元。插补单元依据两画面的第一与第二像素数据、及第三像素数据之间的大小关系来产生第一参考像素数据。第一及第二像素数据依据中间画面的待插补像素的位置及相关的移动向量而取得。第三像素数据是依据待插补像素于此两画面中实质上相同位置的两笔像素数据而取得。线性处理单元线性组合第一及第二像素数据来产生第二参考像素数据。合并单元依据第一与第二像素数据的差值来合并此两参考像素数据，以产生待插补像素的像素数据。

Description

多媒体装置及其移动补偿方法

技术领域

本发明是关于一种电子装置及其控制方法，且特别是关于一种多媒体装置及其移动补偿方法。

背景技术

近年来，因应液晶电视的需求，有越来越多的研究着重在移动估测/移动补偿(Motion Estimation/Motion Compensation，或简称为ME/MC)的领域上。移动估测/移动补偿是一种算法的技术，常应用在视讯编码来达到视讯压缩。

一般而言，移动估测是指一种从邻近画面中决定移动向量的方法。所谓的移动向量用以表示一张画面及另一张画面之间的转换关系。移动向量可相关于整张画面，如全域移动估测，或相关于画面的一部分，如长方型的区块或其它形状的区域。或者，移动向量亦可相关于每个像素。另外，将移动向量应用至画面来产生另一张影像的方法，称为移动补偿。移动估测/移动补偿的结合，是影像压缩的重要关键技术。

更详细地说，于移动估测/移动补偿中，是分析两张要显示在屏幕上的画面，并用计算的方式估测出这两张画面的中间状态，亦即，于此两张画面之间产生一插补画面。请参照图1，其绘示为利用移动估测/移动补偿来产生一插补画面的一例的示意图。首先，移动估测算法会找出两张画面I-frame与P-frame上所有会动的物体，如物体Obj。之后，利用两张画面I-frame与P-frame之间的差异，计算出一移动向量(motion vector)MV来代表此物体Obj在画面上的移动路径。然后，再以移动补偿的算法，利用移动向量MV及两张画面I-frame与P-frame来估测物体Obj移动的中间状态，而产生出插补画面M-frame。

然而，当移动估测算法无法产生正确的移动向量时，移动补偿算法常会产生错误的插补画面。而当这样的插补画面被插入到显示的序列中时，便会造成观赏者的不适。举例来说，当一个小的物体在背景中移动时，常常会因为无法有效地分离此物体与背景，使移动估测算法无法找到此小物体正确的物体移动向量，而以背景移动向量来取代。此时，移动补偿算法在插补画面时，所产生的插补画面的背景上便会有此物体的残影出现。故知，在利用移动估测/移动补偿时来插补画面时，如何提高插补画面的像素数据的正确性，这是业界所致力的课题之一。

发明内容

本发明的目的是提供一种多媒体装置及其移动补偿方法，能消除画面背景上的物体残影而增加插补画面的画面数据的正确性，且能适当地增加画面播放的顺畅性。

根据本发明的一方面，提出一种多媒体装置，用以于一第一画面及一第二画面之间插入一中间画面。此多媒体装置包括一插补单元、一线性处理单元、及一合并单元。此插补单元用以依据第一画面的一第一像素数据、第二画面的一第二像素数据、及一第三像素数据之间的大小关系，来产生一第一参考像素数据。第一像素数据及第二像素数据是依据中间画面的一待插补像素的位置及相关的一移动向量而取得。第三像素数据是依据待插补像素于第一画面及第二画面中实质上相同位置的两笔像素数据而取得。此线性处理单元用以线性组合第一像素数据及第二像素数据，来产生一第二参考像素数据。此合并单元用以依据第一像素数据与第二像素数据的差值，来合并第一参考像素数据及第二参考像素数据，以产生待插补像素的像素数据。

根据本发明的另一方面，提出一种多媒体装置的移动补偿方法，用以于多媒体装置所接收的一第一画面及一第二画面之间插入一中间画面。此移动补偿方法包括下步骤。依据第一画面的一第一像素数据、第二画面的一第二像素数据、及一第三像素数据之间的大小关系，来产生一第一参考像素数据。其中，第一像素数据及第二像素数据是依据中间画面的一待插补像素的位置及相关的一移动向量而取得，而第三像素数据是依据待插补像素于第一画面及第二画面中实质上相同位置的两笔像素数据而取得。线性组合第一像素数据及第二像素数据，来产生一第二参考像素数据。依据第一像素数据与第二像素数据的差值，来合并第一参考像素数据及第二参考像素数据，以产生待插补像素的像素数据。

于本发明所提出的多媒体装置及其移动补偿方法中，是使用两画面的像素数据的差值来决定如何合并两参考像素数据，如此，可适当地调整此两种依不同方式取得的参考像素数据的输出比例，进而消除画面背景上的物体残影来提供正确的画面数据，并使画面播放顺畅。

为了对本发明的上述及其它方面有更佳的了解，下文将配合附图对本发明的较佳实施例作详细说明。

附图说明

图1绘示为利用移动估测/移动补偿来产生一中间画面的一例的示意图。

图2A绘示为依据本发明一实施例的多媒体装置的一例的方块图。

图2B绘示是依据本发明实施例的一多媒体装置于一第一画面及一第二画面之间产生一中间画面的一例的示意图。

图3绘示为图2A的多媒体装置的一例的电路图。

具体实施方式

请同时参照图2A及图2B，图2A绘示为依据本发明一实施例的多媒体装置的一例的方块图，图2B绘示是依据本发明一实施例的多媒体装置于一第一画面及一第二画面之间产生一中间画面的一例的示意图。于图2B所示的例中，画面上的一物体Obj是在背景bcg中移动，此物体Obj例如是从一第一画面I-frame沿着移动路径MT移动至一第二画面P-frame。此多媒体装置200用以于第一画面I-frame及第二画面P-frame之间产生一中间画面M-frame。如图2A所示，多媒体装置200包括一插补单元210、一线性处理单元220、及一合并单元230。各单元之间的动作关系如下。

插补单元210用以依据第一画面I-frame的一第一像素数据I-data、第二画面P-frame的一第二像素数据P-data、及一第三像素数据Z-data之间的大小关系，来产生一第一参考像素数据M-data-ref(1)。此两像素数据I-data及P-data例如是像素I-pixel及P-pixel的像素数据，且可依据中间画面M-frame的一待插补像素M-pixel的位置及相关的一移动向量MV而取得。移动向量MV例如是由一前级的移动估测算法所提供。第三像素数据Z-data可依据待插补像素M-pixel于第一画面I-frame及第二画面P-frame中实质上相同位置的两笔像素数据而取得，如像素I-pixel-Z及P-pixel-Z的像素数据。线性处理单元220用以线性组合第一像素数据I-data及第二像素数据P-data，来产生第二参考像素数据M-data-ref(2)。合并单元230用以依据第一像素数据I-data与第二像素数据P-data的差值，来合并第一参考像素数据M-data-ref(1)及第二参考像素数据M-data-ref(2)，以产生待插补像素M-pixel的像素数据M-data。

依据本发明上述实施例所提出的多媒体装置，通过使用两画面的像素数据的差值来合并两参考像素数据，可适当地调整此两种依不同方式取得的参考像素数据的输出比例，而能消除画面背景上的物体残影并提高画面数据的正确性，且能适当地增加画面播放的顺畅性。兹以此多媒体装置的一实施例进一步说明如下。

请同时参照图2B及图3，图3绘示为图2A的多媒体装置的一例的电路图。此多媒体装置300包括一插补单元310、一线性处理单元320、及一合并单元330，并用以于第一画面I-frame及第二画面P-frame之间产生一中间画面M-frame。

插补单元310包含一中值过滤器311。中值过滤器311依据第一画面I-frame的像素I-pixel的第一像素数据I-data、第二画面P-frame的像素P-pixel的第二像素数据P-data、及第三像素数据Z-data的中值，来产生一第一参考像素数据M-data-ref(1)，如函式Med(I-data，P-data，Z-data)所示。相较于传统直接混合两像素I-pixel及P-pixel的像素数据而使得中间画面M-frame的背景上有物体残影的作法，于本实施例中，使用中值方式所产生的第一参考像素数据M-data-ref(1)能消除背景上的物体残影，从而提高中间画面M-frame的正确性。

举例来说，针对中间画面M-frame的待插补像素M-pixel，此两像素I-pixel及P-pixel例如是多媒体装置300依据待插补像素M-pixel的位置及相关的一移动向量MV而来决定。待插补像素M-pixel所相关的移动向量MV可由一移动估测算法针对此待插补像素M-pixel的位置来提供。此时，当从待插补像素M-pixel的位置沿着移动向量MV往两画面I-frame及P-frame沿伸时，便能找到两笔像素I-pixel及P-pixel的位置而得到两笔像素数据I-data及P-data。然而，由于在背景中移动的物体Obj面积大小可能无法让移动估测算法有效地分离物体与背景，导致移动估测算法所产生的移动向量大部分是与背景的移动向量同方向。换言之，对于图2B的待插补像素M-pixel而言，即使此待插补像素M-pixel的位置很靠近物体Obj，移动估测算法所提供的移动向量MV通常会与背景移动向量MV-bcg同方向，而不会与代表物体Obj的移动路径MP的物体移动向量MV-Obj同方向。

然而，对于背景上的待插补像素M-pixel(亦可视之为未落在物体的移动路径MT上的像素)而言，沿伸移动向量MV所找到的像素可能是物体Obj的移动路径MP内的像素，如沿伸待插补像素M-pixel而找到的第一像素I-pixel。此时，若直接将所得到的此两笔像素I-pixel及P-pixel的像素数据I-data及P-data进行合并，会造成待插补像素M-pixel的像素数据错误，致使中间画面M-frame的背景上(如未落在移动路径MT的待插补像素M-pixel)出现物体Obj的残影。

于此实施例中，如图3所示，插补单元310还使用第三像素数据Z-data来决定待插补像素M-pixel的像素数据，以消除物体残影。有关第三像素数据Z-data的取得方式，例如是由多媒体装置300依据待插补像素M-pixel于第一画面I-frame及第二画面P-frame中实质上相同位置的两笔像素数据而取得，如图2B的两笔像素I-pizel-Z及P-pixel-Z的像素数据，或是邻近位置的两像素数据。由于两笔像素I-pizel-Z及P-pixel-Z并未落在物体的移动路径MP，故所产生第三像素数据Z-data能帮助插补单元310提高待插补像素M-pixel的数据正确性。

于一实施例中，第三像素数据Z-data例如是由多媒体装置300依据此两笔像素I-pizel-Z及P-pixel-Z的像素数据的平均值而产生。假设于图2B中，第一像素I-pixel是白色物体、第二像素P-pixel为的绿色背景、而两笔像素I-pizel-Z及P-pixel-Z亦为绿色，故平均的第三像素数据Z-data亦为绿色。此时，若直接混合第一及第二像素I-pixel及P-pixel，将会得到浅绿色(白色物体于背景上的残影)。而于本实施例中，插补单元310的中值过滤器311依据此三笔像素数据所分别表示的白色、绿色、绿色的中值，便会产生绿色的第一参考像素数据M-data-ref(1)，此处所产生的绿色与背景颜色相仿，故能消除背景上的物体残影，而能提高数据正确性。

线性处理单元320用以线性组合第一像素数据I-data及第二像素数据P-data，来产生第二参考像素数据M-data-ref(2)。申请人发现，在画面的移动向量有很高的一致性的情形下，例如是摇拍(Panning)技巧所拍摄的画面，画面的背景会呈现均等移动的现象。因此，本实施例使用线性组合方式所产生的第二参考像素数据M-data-ref(2)能有效地增加此种画面的数据正确性，并藉以提高画面播放的顺畅性。

于本实施例中，线性处理单元320包含一均值过滤器321。均值过滤器321依据第一像素数据I-data及第二像素数据P-data的均值，来产生第二参考像素数据M-data-ref(2)，如函式(I-data+P-data)/2所示。然而本发明亦不限于使用均值来产生第二参考像素数据M-data-ref(2)。

合并单元330用以依据第一像素数据I-data与第二像素数据P-data的差值，来合并第一参考像素数据M-data-ref(1)及第二参考像素数据M-data-ref(2)，以产生待插补像素M-pixel的像素数据M-data。举例来说，当两像素数据I-data与P-data的差值很大时，则表示直接混合两像素数据会有物体残影的问题，故此时本实施例可提高插补单元310所产生的第一参考像素数据M-data-ref(1)的输出含量，来消除物体残影并提高画面数据的正确性。再者，当两像素数据I-data与P-data的差值很小时，则表示画面的移动向量有很高的一致性，故此时本实施例可提高线性处理单元320所产生的第二参考像素数据M-data-ref(2)的输出含量，来提高画面播放的顺畅性。如此，本实施例通过适当地调整两种依不同方式取得的参考像素数据的输出比例，能消除画面背景上的物体残影而提高画面数据的正确性，并适当地增加画面播放的顺畅性。

于一实施例中，合并单元330在合并两像素数据I-data与P-data时，可线性组合第一参考像素数据M-data-ref(1)及第二参考像素数据M-data-ref(2)，以产生待插补像素M-pixel的像素数据。

举例来说，请参照图3，合并单元330包括一权重产生器331、两多路复用器332、334、两乘法器333、335、及一加法器336。多路复用器332及334例如是分别选择传送多媒体装置300的两预设参数a1及a2至乘法器333及335。此两预设参数a1及a2的和例如是1，然而亦不限于此。第一乘法器333计算第一参考像素数据M-data-ref(1)与参数a1之积，第二乘法器335计算第二参考像素数据M-data-ref(2)及参数a2之积，而加法器336还依据两个积的和来产生待插补像素M-pixel的像素数据M-data。

权重产生器331可依据第一像素数据I-data与第二像素数据P-data的差值来决定一第一参数a1’及一第二参数a2’。此两参数a1’及a2’之和例如是1，然而亦不限于此。权重产生器331还用以判断第一像素数据I-data与第二像素数据P-data的差值是否大于一临界值。若差值未大于此临界值，则令多路复用器332及334输出对应的预设参数a1及a2；若差值大于此临界值时，则令多路复用器332及334输出对应的第一及第二参数a1’及a2’。再者，当此差值再大于一更高的临界值时，合并单元330的权重产生器331可还提高第一参数a1’并降低第二参数a2’。总之，当两像素数据I-data与P-data的差值增大时，本实施例可提高第一参考像素数据M-data-ref(1)的输出含量，来消除画面背景上的物体残影并提高画面数据的正确性，并于上述差值减小时，提高第二参考像素数据M-data-ref(2)的输出含量来增加画面播放的顺畅性。

于本发明实施例所提出的多媒体装置及其移动补偿方法中，是使用两画面的像素数据的差值来决定如何合并两参考像素数据，如此，可适当地调整此两种依不同方式取得的参考像素数据的输出比例，进而消除画面背景上的物体残影来提供正确的画面数据，并使画面播放顺畅。

综上所述，虽然本发明已以较佳实施例揭露如上，然而其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种等同的改变或替换。因此，本发明的保护范围当视后附的本申请权利要求范围所界定的为准。

Claims

1.一种多媒体装置，用以于一第一画面及一第二画面之间产生一中间画面，其特征在于，该多媒体装置包括：

一插补单元，用以依据该第一画面的一第一像素数据、该第二画面的一第二像素数据、及一第三像素数据之间的大小关系，来产生一第一参考像素数据，其中该第一像素数据及该第二像素数据是依据该中间画面的一待插补像素的位置及相关的一移动向量而取得，而该第三像素数据是依据该待插补像素于该第一画面及该第二画面中实质上相同位置的两笔像素数据而取得；

一线性处理单元，用以线性组合该第一像素数据及该第二像素数据，来产生一第二参考像素数据；以及

一合并单元，用以依据该第一像素数据与该第二像素数据的差值，来合并该第一参考像素数据及该第二参考像素数据，以产生该待插补像素的像素数据。

2.根据权利要求1所述的多媒体装置，其特征在于，该插补单元包含一中值过滤器，用以依据该第一像素数据、该第二像素数据、及该第三像素数据的中值，来产生该第一参考像素数据。

3.根据权利要求1所述的多媒体装置，其特征在于，该线性处理单元包含一均值过滤器，用以依据该第一像素数据及该第二像素数据的均值，来产生该第二参考像素数据。

4.根据权利要求1所述的多媒体装置，其特征在于，该合并单元用以依据该第一像素数据与该第二像素数据的差值，来线性组合该第一参考像素数据及该第二参考像素数据，以产生该待插补像素的像素数据。

5.根据权利要求4所述的多媒体装置，其特征在于，该合并单元包括：

一权重产生器，用以依据该第一像素数据与该第二像素数据的差值来决定一第一参数及一第二参数；

一第一多路复用器，连接至该权重产生器，用以选择该第一参数及一预定参数其中之一；

一第二多路复用器，连接至该权重产生器，用以选择该第二参数及另一预定参数其中之一；

一第一乘法器，连接至该第一多路复用器与该插补单元，用以计算该第一参考像素数据与该第一参数之积；

一第二乘法器，连接至该第二多路复用器及该线性处理单元，用以计算该第二参考像素数据及该第二参数之积；以及

一加法器，连接至该第一乘法器及该第二乘法器，用以依据该两个积的和来产生该待插补像素的像素数据。

6.根据权利要求5所述的多媒体装置，其特征在于，当该第一像素数据与该第二像素数据的差值大于一临界值时，该权重产生器提高该第一参数并降低该第二参数。

7.一种多媒体装置的移动补偿方法，用以于该多媒体装置所接收的一第一画面及一第二画面之间产生一中间画面，其特征在于，该方法包括：

依据该第一画面的一第一像素数据、该第二画面的一第二像素数据、及一第三像素数据之间的大小关系，来产生一第一参考像素数据，其中该第一像素数据及该第二像素数据是依据该中间画面的一待插补像素的位置及相关的一移动向量而取得，而该第三像素数据是依据该待插补像素于该第一画面及该第二画面中相同位置的两笔像素数据而取得；

线性组合该第一像素数据及该第二像素数据，来产生一第二参考像素数据；以及

依据该第一像素数据与该第二像素数据的差值，来合并该第一参考像素数据及该第二参考像素数据，以产生该待插补像素的像素数据。

8.根据权利要求7所述的移动补偿方法，其特征在于，于产生该第一参考像素数据的步骤中，是依据该第一像素数据、该第二像素数据、及该第三像素数据的中值，来产生该第一参考像素数据。

9.根据权利要求7所述的移动补偿方法，其特征在于，于产生该第二参考像素数据的步骤中，是依据该第一像素数据及该第二像素数据的均值，来产生该第二参考像素数据。

10.根据权利要求7所述的移动补偿方法，其特征在于，于产生该待插补像素的像素数据的步骤中，是依据该第一像素数据与该第二像素数据的差值，来线性组合该第一参考像素数据及该第二参考像素数据，以产生该待插补像素的像素数据。

11.根据权利要求10所述的移动补偿方法，其特征在于，依据差值来线性组合该第一参考像素数据及该第二参考像素数据的步骤包括：

依据该第一像素数据与该第二像素数据的差值，决定一第一参数及一第二参数；

计算该第一参考像素数据与该第一参数的积、及该第二参考像素数据及该第二参数的积；以及

依据该两个积的和，来产生该待插补像素的像素数据。

12.根据权利要求11所述的移动补偿方法，其特征在于，依据差值来线性组合该第一参考像素数据及该第二参考像素数据的步骤还包括：

判断该第一像素数据与该第二像素数据的差值大于一临界值时，若是，则提高该第一参数并降低该第二参数。