CN100471232C - 数字动态影像去交错方法与装置 - Google Patents

Abstract

本发明提出一种数字动态影像去交错方法与装置，特别涉及一种数字动态影像去交错方法，其包含：依据第一像素值、第二像素值、第一临界值和第二临界值间的相对关系判定预估像素是否位于影像中的人造水平线之上；以及若预估像素被判定是位于该影像中的人造水平线之上，则以静态影像原则求取预估像素的亮度值。本发明亦包含执行此方法的装置。本发明所述的数字动态影像去交错方法与装置，可进行影像中的人造水平线的侦测，且可使用较少的系统资源执行动态物体的侦测。

Description

数字动态影像去交错方法与装置

技术领域

本发明是有关于一种视频信号处理的方法和装置，特别是关于一种数字动态影像的去交错(deinterlacing)方法和装置。

背景技术

动态视频影像的表示方法基于组成影像的顺序可以分为渐进式(progressive)和交错式(interlaced)两种技术，二者的基本差别在于组成帧(frame)的扫描线(scan lines)采样时点的不同。构成渐进式视频影像中同一帧的所有像素(picture elements或pixels)是采样于同一时点。而交错式视频影像的帧则包含采样于交替时点的二组扫描线，相邻扫描线是采样于不同的时点。以交错式技术表示的视频每一帧会产生二个称为图场(fields)的半帧，二个图场共同构成视频顺序中的单一帧。构成帧的第一个图场和第二个图场通常称为偶数图场(even field)和奇数图场(odd field)，其各自包含多条扫描线。例如，传统的电视和录影机是使用交错式技术表示动态视频影像，而计算机的监视器以及某些DVD播放器则通常使用渐进式视频技术。

实务上，某些应用需要将交错式视频影像显示于渐进式的影像装置。该应用需要将交错式视频影像转换为渐进式格式。将交错式视频影像转换为渐进式格式的程序即称为去交错(deinterlacing)，其将上述的偶数图场和奇数图场结合为单一帧。数字动态影像的去交错方法基本上是设法在原始图场中任意二相邻的扫描线内插出预估扫描线上的所有像素值，该预估扫描线上的像素本文以下通称为预估像素(predicted pixels)。预估像素值的决定是先判断预估像素是位于移动中(动态像素)或是静止(静态像素)的物体上。位于移动中物体的预估像素值通常以称为摆动(Bob)的方式利用同一时序目前图场上(假设为odd field)的邻近像素内插而推得该目前图场上的偶数扫描线上的预估像素。位于静止物体上的预估像素值则常以称为交织(Weave)的方式利用时序上前一图场(假设为even field)和目前图场(假设为odd field)上的邻近像素内插而推得该目前图场上的偶数扫描线上的预估像素。在上述例子中，不论是以摆动方式或是交织方式所取得的偶数扫描线，皆会完成一个偶数图场，而该偶数图场在后续处理中会与奇数图场合并以完成一完整帧(frame)。

图1显示一常用的数字动态影像去交错装置100的区块示意图。其中的摆动/交织侦测元件120利用一临界值和前一图场(包含于其中的扫描线暂存于扫描线缓冲区110)和目前图场(暂存于视频帧缓冲区900)上的像素值的关系判定预估像素是动态或静态。此种仅提供一组临界值的设计未特别考虑画面中刻意呈现的人工线(诸如球赛计分信息的外框)，且对于动态物体无法提供一个可以先行侦测的机制以判断执行摆动或是交织动作，故其去交错效果于动态影像上的表现并不理想。例如，由于影像中一些人造的水平线难以用一组临界值正确侦测，故常被误判为位于动态物体上的点，而以动态影像原则求取预估像素值，此可能造成部分水平线消失于预估图场中。

其它数字动态影像的去交错方法或装置亦曾被提出。例如，第6,414,719号美国专利提出一种利用中值滤波器(median filter)的交错式对非交错式转换装置和方法，其声称利用中值滤波器的去交错方式可以得到更接近原始影像的内插画面。然该方法的计算较为繁琐，故会占用较多系统资源，例如存储空间和计算时间等。

鉴于上述已知技术的缺失，其有必要提出改良的数字动态影像去交错方法和装置，以改进诸如人造的水平线的消失、动态影像表现不佳和占用太多系统资源等问题。

发明内容

本发明提出的一种数字动态影像去交错方法与装置，其可以进行人造的水平线的侦测，以避免误判其为动态影像，而能有较佳的动态表现，且可使用较少的系统资源执行动态物体的侦测。

依此，本发明提出一种数字动态影像去交错方法，其包含：依据第一像素值、第二像素值、第一临界值和第二临界值间的相对关系判定预估像素是否位于影像中的人造水平线之上；以及若预估像素被判定是位于该影像中的人造水平线之上，则以静态影像原则求取预估像素的亮度值，其中第一临界值大于第二临界值，预估像素和第一像素是分别位于数字动态影像中时序上相邻帧(frame)中同一垂直位置的扫描线上，该预估像素和该第一像素具有相邻的水平位置，且预估像素和第二像素是分别位于同一帧中相邻垂直位置的扫描线上。

本发明亦提出一种数字动态影像去交错装置，其包含人造水平线侦测元件、扫描线缓冲区和处理单元。人造水平线侦测元件依据第一像素值、第二像素值、第一临界值和第二临界值间的相对关系判定预估像素是否位于影像中的人造水平线之上；扫描线缓冲区，连接至一视频帧缓冲区，该视频帧缓冲区暂存包含该第二像素值的目前图场(field)，而该扫描线缓冲区则暂存包含该第一像素值的扫描线；处理单元则用以于人造水平线侦测元件判定预估像素是位于该影像中的人造水平线上之时，以静态影像原则求取预估像素的亮度值，其中该第一临界值大于该第二临界值，该预估像素和该第一像素是分别位于该数字动态影像中时序上相邻帧中同一垂直位置的扫描线上，该预估像素和该第一像素具有相邻的水平位置，且该预估像素和该第二像素分别位于该目前帧中相邻垂直位置的扫描线上。

本发明所述的数字动态影像去交错方法与装置，可进行影像中的人造水平线的侦测，且可使用较少的系统资源执行动态物体的侦测。

附图说明

图1显示一常用的数字动态影像去交错装置的区块示意图；

图2显示依据本发明一实施例的数字动态影像去交错方法的流程图；

图3显示依据本发明各像素之间时序和空间上的相对关系；

图4显示依据本发明另一实施例的数字动态影像去交错方法的流程图；

图5显示依据本发明又一实施例的数字动态影像去交错方法的流程图；

图6显示依据本发明一实施例的数字动态影像去交错装置。

具体实施方式

本发明的诸多特色可经由以下图式更进一步被理解。

影像去交错方法通常用来决定预估图场中一预估像素的亮度值。利用此方法得出预估图场内每一像素的亮度值，即达到去交错的目的。以下的说明，像素的亮度值可简称为像素值。二像素值之差是指二像素值相减结果的绝对值，意即二像素值中较大者减去较小者的结果。

图2显示依据本发明一实施例的数字动态影像去交错方法的流程图，其包含：计算第一像素值和第二像素值之差(流程20)；将第一像素值和第二像素值之差分别与第一临界值和第二临界值间做比较(流程22)，其中的第一临界值大于第二临界值；若第一像素值和第二像素值之差大于第一临界值或小于第二临界值，则判定预估像素位于人造水平线之上，且以静态影像原则求取预估像素的亮度值(流程24)；若第一像素值和第二像素值之差介于第一临界值和第二临界值之间，则判定预估像素非位于人造水平线之上，而以动态影像原则求取预估像素的亮度值(流程26)。

图3显示本实施例中各像素间在时序和空间上的相对关系，其包含前一帧(previous frame)Mp、目前帧(current frame)Mc、前一图场(previous field)Fp和目前图场(current field)Fc、分别相对于前一图场Fp和目前图场Fc的预估图场Fpp和Fcc(其包含图中以虚线连接的像素)以及其中的第一像素Y、第二像素Z和预估像素K。图中的圆形表示像素，以实线连接者表示原始图场，以虚线连接者则表示预估图场。目前图场Fc和其相对的预估图场Fcp构成目前帧Mc。去交错即可以利用目前图场Fc和前一图场Fp上的像素，计算预估图场Fcp上的像素以完成目前帧Mc。(同理，前一图场Fp和其相对的预估图场Fpp构成前一帧Mp。而预估图场Fpp可能是基于前一图场Fp和其在时序上的更前一图场来决定。)由图3可知，第一像素Y和第二像素Z是分别位于时序上前一帧Mp和目前帧Mc中的像素，其中，第一像素Y与预估像素K亦是分别位于时序上前一帧Mp和目前帧Mc中的像素，且具有相邻的水平位置(或水平坐标)以及相同的垂直位置(或垂直坐标)。预估像素K则是和第二像素Z分别位于目前帧Mc中相邻垂直位置的扫描线上的像素。上述以及本文之后提及的位置或坐标概念，均是基于一完整帧内的空间关系。

流程22、24和26是在判断预估像素是否位于人造水平线之上并作相对的处置。位于人造水平线上的像素以传统的动态侦测方法常被误判为位于动态物体上的点，而以动态影像原则求取预估像素值，如前所述，此可能造成部分水平线无端消失。流程22、24和26仅是示范判定预估像素位于人造水平线上的方法，本发明并未限定于此。只要是利用符合上述定义的第一像素值、第二像素值、第一临界值和第二临界值间的相对关系做人造水平线的判定，均未脱离本发明的范畴。

图4显示依据本发明另一实施例的数字动态影像去交错方法的流程图，其包含：分别以第一像素值、第二像素值和一动态临界值做比较(流程40)；若第一像素值和第二像素值均大于或者均小于该动态临界值，则以静态影像原则求取预估像素的亮度值(流程42)；反之，若第一像素值和第二像素值中，其像素值较大者大于该动态临界值，另一像素值小于该动态临界值，则以动态影像原则求取预估像素的亮度值(流程44)。

本实施例中的第一像素、第二像素和预估像素间时序和空间上的相对关系亦如图3所示，在此不再赘述。

图5显示依据本发明又一实施例的数字动态影像去交错方法，此方法基本上是结合显示于图2的方法和图4的方法，其包含：计算第一像素值和第二像素值之差(流程50)；将第一像素值和第二像素值之差分别与第一临界值和第二临界值间做比较(流程51)；若第一像素值和第二像素值之差大于第一临界值或小于第二临界值，则判定预估像素位于人造水平线之上，且以静态影像原则求取预估像素的亮度值(流程52)；分别以第一像素值、第二像素值和动态临界值做比较(流程53)；若第一像素值和第二像素值均大于或者均小于动态临界值，则以静态影像原则求取预估像素的亮度值(流程54)；若第一像素值和第二像素值中，其像素值较大者大于动态临界值，另一像素值小于动态临界值，则以动态影像原则求取预估像素的亮度值(流程55)。

本领域技术人员应能理解，本实施例的判断原则是优先判断预估像素是否位于人造水平线之上。若预估像素被判定位于人造水平线之上，则以静态影像原则求取其亮度值。若预估像素被判定非位于人造水平线之上，再以如图4所示的方法，决定预估像素的亮度值。依据本发明的另一实施例，其优先以图4所示的方法判定预估像素是否是动态的像素。若预估像素被判定为动态像素，则再以如图2所示的方法，决定预估像素是否位于人造水平线之上。

以静态影像原则求取预估像素的亮度值通常是以称为交织(Weave)的方式自前一图场与目前图场内的相关像素值预测预估像素值。依据本发明一实施例，以静态影像原则求取预估像素的亮度值是计算第一像素值和第二像素值的线性组合，其中第一像素值和第二像素值的权重可以是各50％。

以动态影像原则求取预估像素的亮度值通常是以称为摆动(Bob)的方式自原图场内的相关像素值预测预估像素值。依据本发明一实施例，以动态影像原则求取预估像素的亮度值是直接使得预估像素值等于第二像素值。

图6显示依据本发明一实施例的数字动态影像去交错装置600。此数字动态影像去交错装置600包含扫描线缓冲区(linebuffer)610、人造水平线侦测元件620、动态侦测元件630以及处理单元(processing unit)640。图6亦显示视频帧缓冲区900和显示缓冲区910，用以例示依据本发明的数字动态影像去交错装置和其他单元或外部装置的连接关系。扫描线缓冲区610连接视频帧缓冲区900、人造水平线侦测元件620、动态侦测元件630以及处理单元640，其接收并储存来自视频帧缓冲区900的影像数据并提供时序上属于前一图场的像素数据(位于扫描线上)予人造水平线侦测元件620、动态侦测元件630以及处理单元640使用。人造水平线侦测元件620连接视频帧缓冲区900、扫描线缓冲区610和处理单元640，其依据视频帧缓冲区900内的目前图场像素和扫描线缓冲区610内的前一图场像素判断预估像素是否位于人造水平线之上，并将判断的结果送至处理单元640。动态侦测元件630连接视频帧缓冲区900、扫描线缓冲区610和处理单元640，其依据视频帧缓冲区900内的目前图场像素和扫描线缓冲区610内的前一图场像素判断预估像素是否是位于动态物体上的像素(或者称为动态像素)，并将判断的结果送至处理单元640。处理单元640连接视频帧缓冲区900、扫描线缓冲区610、人造水平线侦测元件620、动态侦测元件630和显示缓冲区910，其依据人造水平线侦测元件620和动态侦测元件630的判断结果以动态影像原则(即Bob方式)或静态影像原则(即Weave方式)处理视频帧缓冲区900内的目前图场信息和扫描线缓冲区610内的前一图场信息以求取预估像素的亮度值，并传送至显示缓冲区910。

人造水平线侦测元件620可以利用揭示于图2的方法判断去交错的预估像素是否位于人造水平线之上。换言之，人造水平线侦测元件620可以依据前一图场像素值、目前图场像素值、第一临界值和第二临界值间的相对关系判定预估像素是否位于人造水平线之上。例如，当前一图场像素值和目前图场像素值之差大于第一临界值或小于第二临界值之时，即判定预估像素是位于人造水平线之上。

动态侦测元件630可以利用揭示于图4的方法判断去交错的预估像素是否是动态像素。意即，动态侦测元件630可以依据前一图场像素值、目前图场像素值和一动态临界值的相对关系判定该预估像素是否是动态像素。例如，当前一图场像素值和目前图场像素值中的较大者大于动态临界值，且其中的较小者小于动态临界值之时，即判定预估像素是动态像素。

处理单元640依据人造水平线侦测元件620和动态侦测元件630的判断结果决定预估像素的预估方式。其可以优先参考人造水平线侦测元件620的判断结果，意即当人造水平线侦测元件620判定预估像素位于人造水平线上时，以静态影像原则处理；当人造水平线侦测元件620判定预估像素非位于人造水平线上时，再参考动态侦测元件630的判断结果决定预估像素的预估方式。依据本发明的其他实施例，处理单元640亦可以优先参考动态侦测元件630的判断结果，当其结果为动态像素时，再参考人造水平线侦测元件620的判断结果决定预估像素的预估方式。此外，处理单元640可以用揭示于上的静态影像原则和动态影像原则求取预估像素值。例如，对于静态像素以前一图场像素值和目前图场像素值的线性组合来代表预估像素值；对于动态像素则令预估像素值等于目前图场像素值。

本实施例中所提及的前一图场像素、目前图场像素和预估像素的时序和空间相对关系亦如图3所示，其中前一图场像素和目前图场像素分别相对于图中的第一像素Y和第二像素Z。

视频帧缓冲区900和扫描线缓冲区610可以是诸如动态随机存取存储器(dynamic random access memory或DRAM)的独立存储元件或是其一部分。人造水平线侦测元件620、动态侦测元件630以及处理单元640可以是诸如专用集成电路(applicationspecific integrated circuit或ASIC)中的逻辑模块或是数字信号处理器(digital signal processor或DSP)中的程序模块。显示缓冲区910可以是和本发明的数字动态影像去交错装置600同一系统甚至同一芯片内的视频存储缓冲区，亦可以是外接视频装置的视频存储缓冲区。

以上所述仅为本发明较佳实施例，然其并非用以限定本发明的范围，任何熟悉本项技术的人员，在不脱离本发明的精神和范围内，可在此基础上做进一步的改进和变化，因此本发明的保护范围当以本申请的权利要求书所界定的范围为准。

附图中符号的简单说明如下：

20-26：数字动态影像去交错方法的流程

40-44：数字动态影像去交错方法的流程

50-55：数字动态影像去交错方法的流程

100：已知数字动态影像去交错装置

110：扫描线缓冲区

120：摆动/交织侦测元件

140：处理单元

600：数字动态影像去交错装置

610：扫描线缓冲区

620：人造水平线侦测元件

630：动态侦测元件

640：处理单元

900：视频帧缓冲区

910：显示缓冲区

Fc：目前图场

Fp：前一图场

Fcp：相对于目前图场的预估图场

Fpp：相对于前一图场的预估图场

Mc：目前帧

Mp：前一帧

K：预估像素

Y：第一像素

Z：第二像素

Claims (10)

1.一种数字动态影像去交错方法，其特征在于，其包含：

依据一第一像素值、一第二像素值、一第一临界值和一第二临界值间的相对关系判定一预估像素是否位于影像中的人造水平线之上；以及

若该预估像素被判定是位于该影像中的人造水平线之上，则以静态影像原则求取该预估像素的亮度值，

其中该第一临界值大于该第二临界值，该预估像素和该第一像素是分别位于该数字动态影像中时序上相邻帧中同一垂直位置的扫描线上，该预估像素和该第一像素具有相邻的水平位置，且该预估像素和该第二像素分别位于同一帧中相邻垂直位置的扫描线上。

2.根据权利要求1所述的数字动态影像去交错方法，其特征在于，更包括：

当该第一像素值和该第二像素值之差的绝对值大于该第一临界值或小于该第二临界值之时，则判定该预估像素是位于该影像中的人造水平线之上；

若该预估像素被判定是非位于该影像中的人造水平线之上，则以动态影像原则求取该预估像素的亮度值。

3.根据权利要求1或2所述的数字动态影像去交错方法，其特征在于，上述的静态影像原则是指使得该预估像素的亮度值等于该第一像素值和该第二像素值的线性组合。

4.根据权利要求1所述的数字动态影像去交错方法，其特征在于，更包含：

依据该第一像素值、该第二像素值和一动态临界值的相对关系判定该预估像素是否是动态像素；以及

若该预估像素被判定是动态像素，则以动态影像原则求取该预估像素的亮度值，否则则以静态影像原则求取该预估像素的亮度值。

5.根据权利要求4所述的数字动态影像去交错方法，其特征在于，当该第一像素值和该第二像素值中的较大者大于该动态临界值，且该第一像素值和该第二像素值中的较小者小于该动态临界值，则判定该预估像素是动态像素。

6.根据权利要求5所述的数字动态影像去交错方法，其特征在于，上述的动态影像原则是指使得该预估像素的亮度值等于该第二像素值。

7.一种数字动态影像去交错装置，其特征在于，其包含：

一人造水平线侦测元件，其依据一第一像素值、一第二像素值、一第一临界值和一第二临界值间的相对关系判定一预估像素是否位于影像中的人造水平线之上；

一扫描线缓冲区，连接至一视频帧缓冲区，该视频帧缓冲区暂存包含该第二像素值的目前图场，而该扫描线缓冲区则暂存包含该第一像素值的扫描线；

一处理单元，用以于该人造水平线侦测元件判定该预估像素是位于该影像中的人造水平线上之时，以静态影像原则求取该预估像素的亮度值，

其中该第一临界值大于该第二临界值，该预估像素和该第一像素是分别位于该数字动态影像中时序上相邻帧中同一垂直位置的扫描线上，该预估像素和该第一像素具有相邻的水平位置，且该预估像素和该第二像素分别位于该目前帧中相邻垂直位置的扫描线上。

8.根据权利要求7所述的数字动态影像去交错装置，其特征在于，当该第一像素值和该第二像素值之差的绝对值大于该第一临界值或小于该第二临界值之时，该人造水平线侦测元件判定该预估像素是位于该影像中的人造水平线之上，其中上述的静态影像原则是指使得该预估像素的亮度值等于该第一像素值和该第二像素值的线性组合。

9.根据权利要求7所述的数字动态影像去交错装置，其特征在于，更包含一动态侦测元件，其依据该第一像素值、该第二像素值、和一动态临界值的相对关系判定该预估像素是否是动态像素，其中该处理单元于该动态侦测元件判定该预估像素是动态像素之时，以动态影像原则求取该预估像素的亮度值。

10.根据权利要求9所述的数字动态影像去交错装置，其特征在于，当该第一像素值和该第二像素值中的较大者大于该动态临界值，且该第一像素值和该第二像素值中的较小者小于该动态临界值之时，该动态侦测元件判定该预估像素是动态像素，其中上述的动态影像原则是指使得该预估像素的亮度值等于该第二像素值。

Images