CN1701609A - 图像处理装置和图像处理方法 - Google Patents

Abstract

本发明防止在具有恒速运动的周期图案的屏幕上错误地确定运动图像部分，同时防止被运动图像包围的静止图像的边缘部分受到运动图像处理。本发明提供了：运动检测部分(3，51)，用于接收隔行图像的像素数据(Pi(0))和通过将像素数据(Pi(0))延迟2场(2F)所获得的像素数据(Pi(+2F))来检测运动；历史值生成部分(52，53)，用于生成历史值(Hk)，其指示了基于运动检测结果(Dif(0))而连续地将图像确定为“静止图像”的次数；和像素数据插值部分(4)，用于以根据前面的运动检测结果(Dif(0))和历史值(Hk)得出的混和比率(Rmix)来混合像素数据(Pm)和像素数据(Ps)，其中基于隔行图像的像素数据通过一场内的插值获得像素数据(Pm)，通过多场间的插值生成像素数据(Ps)。所述历史值(Hk)越大，像素数据插值部分(4)混和的通过场间插值所获得的像素(Ps)的数量就越多。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及图像处理装置和图像处理方法，用于检测隔行图像的运动，并且根据结果利用补偿方法生成用于补偿行的数据以获得非隔行图像。

背景技术

当前的电视信号制式大体上分为采用隔行扫描的隔行信号制式和采用非隔行扫描的非隔行信号制式。隔行扫描也叫“跳跃”扫描，该扫描是一种对构成一屏电视图像的525或1125条扫描行进行隔行扫描的方法。在该方法中，通过隔行扫描两次生成一个显示屏(一帧)，并且一帧由具有交替扫描行的两个扫描屏(第一和第二场)构成。另一方面，非隔行扫描不是“跳跃”扫描，该扫描是一种连续对每个扫描行进行扫描的方法。

在图像显示设备中，例如当在部分运动图像上显示其他静止图像时，必须通过将隔行信号转换成非隔行信号来显示该静止图像，以抑止静止图像上的闪烁并获得高质量的图像。该转换被称作IP(隔行/逐行)转换，具有用于多屏显示的IP转换功能的图像显示设备是已知的。在下文中，将把隔行和非隔行之间的转换称作IP转换。

另外，根据图像显示面板的类型，尤其象使用自照明PDP(等离子体显示面板)和LED(发光二极管)的图像显示面板等，存在一些由逐行信号驱动的显示面板，它们都具有IP转换功能。

虽然存在多种IP转换方法，但是只有运动自适应IP转换方法已被广泛地使用，该方法用于由场之间的图像数据差来检测图像的运动，并且在运动图像的场中和静止图像的场之间执行插值来根据图像的类型(运动图像或静止图像)自适应地生成行数据，以获得高质量的图像。在该方法中，通过将适于运动图像的图像数据和适于静止图像的图像数据自适应地混和来生成新行的图像数据，其中通过从作为生成行数据的对象的场内的图像进行插值而获得适于运动图像的图像数据(此后称为运动图像插值数据)，通过从包括作为生成行数据的对象的场在内的两场之间的图像进行插值而获得适于静止图像的图像数据(此后称为静止图像插值数据)。在确定混和比率时，已经使用了下述基于将被插值的像素的前场和后场的帧差的方法，该方法当帧差大时增加运动图像插值数据的混和比率，当帧差小时增加静止图像插值数据的混和比率。

在运动自适应IP转换方法中，如果在确定混和比率时确定更接近运动图像(即，确定增加运动图像插值数据的混和比率)，则因为运动图像插值是在同一场中处理，所以不会导致大的屏幕错误。另一方面，如果错误地将运动图像确定为静止图片，则从根据该运动具有不同数据的两场创建一屏，这样图像轮廓变混叠了，水平条纹变得高可见，或者在坏的情形中图像看起来成双的了，从而导致图片错误。因此，在传统的运动自适应IP转换中，倾向于作出接近运动图像的确定。

然而，当没有正确地将静止图片确定为静止图像时，就不能生成具有高垂直分辨率的静止图像，所以在确定更接近运动图像的传统运动自适应IP转换中，通过牺牲静止图像的垂直分辨率来防止图片错误。

已经通过发展基本的IP转换方法提出了一种IP转换方法，用于使用更多场(例如6个场)的信息，而不是相邻的两场，从而能够反映将要根据时间和空间被插值的具有不同像素信息的像素的信息(例如，参考日本未审查专利公开No.2002-185933，在下面将其称作现有技术文件1)。

在现有技术文件1中，作为按照时间反映不同像素的更多信息的方法，计算在大范围中复杂组合的场的差，例如，当前场数据和延迟2场的数据的差、延迟1场的数据和延迟3场的数据的差、延迟2场的数据和延迟6场的数据的差、以及当前场延迟数据和延迟6场的数据的差。将各个差与预定的阈值相比较来设置标志，计算所获得的标志数据的逻辑和，然后基于标志数据的逻辑和来确定运动图像和静止图像的混和比率。此外，作为使用空间信息的情形，如上面的现有技术文件1所述，可以对将被插值的像素的上面和下面4行执行插值计算。

在这些方法中，通过按照时间和空间反映将被插值的不同像素的信息来确定混和比率，使得例如在周期图案以大约适应于该周期的速度移动的情形中，将下述运动图像部分确定地检测为“运动图像”，所述运动图像部分是在一定时间间隔内观察时，因为数据没有发生微小的改变，所以易被错误地被检测为静止图像的部分。另外，例如即使当诸如字母表中的字母(字幕)在屏幕上移动时，部分像素中的运动图像被错误地检测为静止图像的情形减少了。因此，通过使用在现有技术文件1中描述的IP转换方法，就可以防止图像质量下降，以防止由于将运动图像错误地检测为静止图像而导致的图像边缘看上去发生混叠。

然而，在现有技术文件1中描述的IP转换方法中，由于参考大量的场来区分运动图像和静止图像，所以需要大容量的场存储器。

另外，例如在将由PC(个人计算机)等创建的静止字幕叠加到将要显示在TV节目中用摄像机拍摄的运动图像上的情形中，当参考太大范围的周围像素或者大量场时，这种大范围检测结果的效果似乎是副作用。即，因为周围是运动图像，所以在应当显示相同数据的静止图像(字幕)的边缘部分处，可能不必要地作出更接近运动图像的确定。在这种情形中，只有静止字幕的边缘部分看起来比在某些情形中的其他字幕部分更清楚或者更模糊。由于与背景运动图像中的相比，字幕在水平方向和垂直方向具有更高的频率分量，所以当边缘变模糊时，这高度可见，并且图片质量下降。

另一方面，作为一种使得静止图像的边缘部分在作为背景的运动图像上更不容易被注意到的方法，已知一种IP转换方法，其包括确定静止图像和运动图像的边界的处理(例如，参考日本专利公开No.3347234，其将被称作现有技术文件2)。

在该方法中，在不同于所有三行(当前行、前一行的输出和后一行的输出)都示出运动或者所有三行都示出不运动的情形中，基于运动检测的结果确定存在边界。行数据被替换，使得在边界确定的结果与运动检测的结果之间不存在矛盾。

因为在现有技术文件2中描述的IP转换方法不使用大容量场存储器，并且使得静止图像的边缘部分在作为背景的运动图像上更加不引人注意，所以该方法是一种极好的方法。

然而，在现有技术文件2中描述的方法中，没有考虑大范围像素的信息，以至于不能解决要由上面解释的现有技术文件1所克服的问题，即：在具有以恒定速度移动的运动字幕或者运动周期图案的屏幕上，将运动图像部分(运动周期图案和运动字幕)错误地确定为静止图像。

发明内容

本发明的一个目的是在具有以恒速运动的周期图案和运动字幕等的屏幕上防止将运动图像部分错误地确定为静止图像，并且防止对静止图像的边缘部分进行运动图像处理，使其在作为背景的运动图像上变得高度可见。

根据本发明的用于将隔行图像转变成非隔行图像数据的图像处理装置包括：运动检测部分(3，51)，用于比较隔行图像的像素数据(考虑到与附图一致，在下文中用像素数据所属的场屏的标号来描述构成场屏Pi(0)和Pi(+2F)的像素数据Di(0)和Di(+2F))以执行运动检测；历史值生成部分(52，53)，用于生成历史值(Hk)，所述历史值(Hk)示出了基于来自运动检测部分的运动检测结果(Dif(0))连续确定为“静止图像”的次数；和像素数据插值部分(4)，用于以根据所述运动检测结果(Dif(0))和所述历史值(Hk)得出的混和比率(Rmix)来混合像素数据(Pm)和像素数据(Ps)，其中基于所述隔行图像的像素数据通过在一场中插值生成所述像素数据(Pm)，通过在多场之间插值生成所述像素数据(Ps)，其中所述历史值(Hk)越大，所述像素数据插值部分(4)混和的通过场间插值所生成的像素数据(Ps)的数量就越大。

像素数据插值部分包括：场内插值部分(41)，用于由一场中的像素数据(Pi(+F))通过插值生成像素数据(Pm)；场间插值部分(42)，用于由多场中像素数据(Pi(+F)和Pi(+2F))通过插值生成像素数据(Ps)；像素数据混和部分(43)，用于以预定的混和比率(Rmix)将来自场内插值部分(41)的像素数据(Pm)和来自场间插值部分(42)的像素数据(Ps)进行混和；和混合比率设置部分(44)，用于以下列方式改变根据所述运动检测部分(3，51)的运动检测结果(Dif(0))和所述历史值(Hk)而确定的混合比率(Rmix)，所述方式为所述历史值(Hk)越大，来自所述场间插值部分(42)的像素数据(Ps)的比率变得越高。

根据本发明将隔行图像数据转换成非隔行图像数据的图像处理方法，包括以下步骤：运动检测步骤，通过在帧之间逐个像素地对隔行图像的像素数据(Pi(0)和Pi(+2F))进行比较来执行运动检测；生成历史值(Hk)的步骤，该历史值(Hk)示出了基于运动检测的检测结果连续确定为“静止图像”的次数；和像素数据插值步骤，该步骤以根据所述运动检测结果(Dif(0))和所述历史值(Hk)得出的混和比率(Rmix)来混合像素数据(Pm)和像素数据(Ps)，其中基于所述隔行图像的像素数据通过在一场中插值生成所述像素数据(Pm)，通过在多场之间插值生成所述像素数据(Ps)，其中所述历史值(Hk)越大，混和的通过场间插值所生成的像素数据(Ps)的数量就越大。

像素数据插值步骤还包括：场内插值步骤，由一场中的像素数据(Pi(+F))通过插值生成该场中没有像素数据的行的像素数据(Pm)；场问插值步骤，由多场中的像素数据(Pi(+F)和Pi(+2F))通过插值生成像素数据(Ps)；像素数据混和步骤，以预定的混和比率(Rmix)将通过场内插值生成的像素数据(Pm)和通过场间插值生成的像素数据(Ps)进行混和；和混合比率设置步骤，以下列方式改变根据所述运动检测的运动检测结果(Dif(0))和所述历史值(Hk)而确定的混合比率(Rmix)，所述方式为所述历史值(Hk)越大，通过所述场间插值生成的所述像素数据(Ps)的比率变得越高。

在本发明中，作为利用运动检测部分(3，51)对隔行图像的像素数据进行运动检测的结果，当像素数据没有差别或者只有小差别时，其被确定为静止图像，而当差别大时，其被确定为运动图像。至于生成历史值，为每个像素生成作为连续确定为静止图像的次数的历史值(Hk)。在像素数据插值部分(4)(或者在插值步骤中)中，根据生成的历史值(Hk)确定像素的插值方法(应该用该方法创建新数据)。详细地说，像素数据插值部分(4)包括适于运动图像的场内插值部分(41)、适于静止图像的场间插值部分(42)、用于以预定比率(Rmix)混合这两个插值部分的输出的像素数据混和部分(43)和用于设置混合比率(Rmix)的混和比率设置部分(44)。混合比率设置部分(44)确定上面的混合比率(Rmix)，以使得历史值(Hk)越大，插值变得越接近静止图像，即通过场间插值生成的像素数据的比率(Ps)变高。

在上面的图像处理中，例如在以预定周期重复的图案以适应于该周期的速度移动的情形中，在重复显示该图案的像素的位置处，当在一定时间间隔内观察时，总是存在被确定为静止图像的图案部分。然而，在本发明中对每个像素连续被确定为静止图像的次数(历史值)进行计数，使得静止图像的历史值(Hk)以与图案的宽度相对应的周期变得间断。

也就是说，当通过使用历史值(Hk)从全局上看时，上述以预定周期重复的图案不被确定为完全静止图像或完全运动图像。因此，获得自适应于该重复图案周期或移动速度的混和比率(Rmix)，并且通过使用该混和比率在该像素位置处生成新的像素数据(Po)。

另外，当例如字母之类的字幕好象流动一样移动时，历史值(Hk)在字母之间变得间断，使得通过使用自适应于字母间隔和移动速度的混合比率(Rmix)在显示该字幕的位置生成像素数据(Po)。

此外，在由运动图像包围的静止图像字幕的边缘部分，没有考虑外围像素信息，只有在该像素处的历史信息成为作出决定所用的信息，使得在该像素处的历史值(Hk)依赖于字幕的显示时间，并且作出足够大并更接近完全静止图像的确定。因此，在静止图像字幕的边缘部分以接近静止图像的混和比率(Rmix)生成新的像素数据(Po)。

附图说明

图1是根据第一实施方式的图像处理装置的方框图。

图2是示出了三个连续场屏的位置关系的视图。

图3是示出了当从图2中示出的前面A侧观察时查明三个场屏的位置关系的帧差的方法的视图。

图4是以与图3所示相同的方式示出了在三个场屏的位置关系处的场内插值的视图。

图5是以与图3所示相同的方式示出了在三个场屏的位置关系处的场问插值的视图。

图6是历史值生成处理的流程图。

图7是混合比率设置处理的流程图。

图8是示出了具有混合比率参考表中的混合比率的两个输入参数的关系示例的图。

图9是用于解释当圆形图像在静止背景上移动时混合比率的转变的视图。

图10是示出了具有被运动图像包围的静止图像字幕(字母表字母)的屏幕的视图。

图11是第二实施方式的图像处理装置的方框图。

具体实施方式

下面将结合附图解释一种图像处理装置和图像处理方法的优选实施方式。该图像处理装置实现为具有运动自适应IP转换功能的装置或集成电路(IC)。

第一实施方式

图1是根据第一实施方式的图像处理装置的方框图。图1所示的图像处理装置1A大致包括场延迟部分2、帧差计算部分3、图像数据插值部分4和静止图像的历史值生成部分5。

场延迟部分2包括第一场延迟部分21和第二场延迟部分22，第一场延迟部分用于将输入场屏Pi(0)延迟1场并将其输出，第二场延迟部分22用于将从第一场延迟部分输入的被延迟1场(1F)之后的场屏Pi(+F)再延迟1场(1F)。第二场延迟部分22输出延迟了2场(2F)，即正好延迟一帧的场屏Pi(+2F)。

在这里，用“F”表示一场(或者说时间轴上的一个场屏间隔)的延迟时间，用“+”表示超前的相位，并且用“-”表示延迟的相位。此外，用“0”表示当前时刻。在图1所示的状态中，在输入场图像Pi(0)的时刻(当前时刻)，将刚好在一场延迟时间(在下文中简称为1F)之前输入到第一场延迟部分21中的前一场屏Pi(+F)(其中相位刚好超前1F)从第一场延迟部分21输出。另外，将刚好在当前时刻之前两场延迟时间(在下文中简称为2F)时输入到第一场延迟部分21中的再前一场屏Pi(+2F)(其中相位刚好超前2F)从第二场延迟部分22输出。

在图2中示出了三个场屏Pi(0)、Pi(+F)和Pi(+2F)的位置关系。图2通过将时间轴引入二维屏幕空间示出了三维图，其中用“→t”表示时间轴。另外，图3到图5示出了从图2示出的前面A侧观察时三个场屏的位置关系的视图。

在上面解释了通过在屏幕上执行两次隔行扫描(一帧)完成一个图片来显示隔行显示屏，在图2中，用白圈指示属于第一次扫描的第一场屏的像素(或像素数据)，用黑圈指示属于第二次扫描的第二场屏的像素(或像素数据)。在这种情形中，通过将在当前时刻的输入屏Pi(0)与相位刚好从Pi(0)超前1F的屏Pi(+F)组合起来配置一帧，并且用一组具有进一步超前相位的图像配置另一帧，即Pi(+2F)和未示出的Pi(+3F)。如图3所示，用黑圈指示第二场屏Pi(+F)的像素，在其两侧的第一场屏Pi(0)和Pi(+2F)具有在垂直方向上刚好被移位一行扫描间隔L的位置关系。另外，由于是隔行扫描，所以将每个屏的像素数据行的间隔都设置为两行扫描间隔(2L)。

图1中示出的帧差计算部分3(在图中用“ΔP”指示)将在当前时刻的输入场屏Pi(0)和来自第二场延迟部分22的延迟一帧后的场屏Pi(+2F)作为输入接收，并且通过计算例如获得帧之间的每个像素的亮度数据差的绝对值(下文称作帧差)。如图3所示，例如由场屏Pi(0)中的像素数据Dk(0)和场屏Pi(+2F)中的像素数据Dk(+2F)获得帧差Dif(0)，并且对每个像素重复该处理。通过计算连续为每个像素生成帧差Dif(0)，并且将其分别输入到像素数据插值部分4和历史值生成部分5。

如图1所示，像素数据插值部分4包括场内插值部分41、场间插值部分42、像素数据混和部分(在图中用“MIX.”指示)43和混和比率Rmix设置部分44。

尽管没有具体图示出，但是场内插值部分41包括行延迟部分和插值部分，行延迟部分用于将每一行的输入场图像数据延迟，插值部分用于通过使用延迟的行数据等进行插值来生成隔行图像的行之间的新行数据。结果，场内插值部分41可以生成适于运动图像的插值方法，即能够只用同一场中的数据全新地生成非隔行图像所需要的行的像素数据。

存在下述场内插值法的示例，但是场内插值法又不具体限于下述示例，所述示例如图4所示，通过将延迟1F之后的场屏Pi(+F)中的关注行的像素数据Dk(+F)和将其延迟一行而获得的像素数据Dk-2(+F)(一帧中两个扫描行)分别乘以0.5，然后将其混和，就为前述两行之间原本没有像素的扫描行生成了新的像素数据Dk-1(+F)。

下面将如上所述利用同一场中的多个像素数据为运动图像生成的场屏称作“运动图像插值屏Pm”。

场间插值部分42将相互之间刚好相移一场的两系统像素数据行(两个场屏)作为输入接收。尽管没有具体图示出，但是场间插值部分42包括插值部分，该插值部分用于通过插值由输入的两系统像素数据行生成隔行图像的行之间的新行数据。结果，场间插值部分42能够全新地生成适于静止图像的插值方法，即由在时间上相邻的不同场中的数据生成非隔行图像所必需的行的像素数据。

存在下述场间插值法的示例，但是场间插值法义不具体限于下述示例，所述示例如图5所示，通过将属于延迟1F之后的场屏Pi(+F)的关注行的像素数据Dk(+F)和对应于延迟2F之后的场屏Pi(+2F)像素数据Dk(+2F)分别乘以0.5，然后将其混和，就为在延迟1F之后的场屏Pi(+F)上原本没有像素数据的扫描行生成了新的像素数据Dk-1(+F)。

下面将由如上所述利用属于不同场的多个像素数据为静止图像生成的新像素数据组成的场屏称作“静止图像插值屏Ps”。

像素数据混和部分43从场内插值部分41将运动图像插值屏Pm作为输入接收，从场间插值部分42将静止图像插值屏Ps作为输入接收，接着用为每个像素确定的预定混和比率Rmix将两个插值屏Pm和Ps的像素数据混和，然后输出新的像素数据行(输出屏)Po。尽管没有具体图示出，但是可以例如用两个乘法器和一个加法器实现这种像素数据混和部分43的功能，其中所述乘法器用于将插值数据与适于实现混和比率Rmix的系数分别相乘，所述加法器用于将两个乘法器的输出相加。

本实施方式中的像素数据混合部分43的混和比率Rmix设置为可变的。例如，在上面的配置中，将两个乘法器的系数设置为可变的。

混和比率设置部分44(作为用于设置和改变混合比率的装置)根据输入的历史值来控制混合比率Rmix。混和比率设置部分44通常从帧差计算部分3将帧差Dif(0)作为输入接收，并且通过使用根据帧差Dif(0)的混和比率作为基准，根据输入历史值H来改变作为基准的混和比率。由混合比率设置部分44根据历史值H来控制混合比率和以及提供历史值生成部分5，这是本实施方式的重要特性之一。

历史值生成部分5将输入的帧差Dif(0)与参考值REF比较大小，历史值生成部分5包括：运动比较部分51(在图中用“COMP.”指示)，用于确定运动图像和静止图像；历史值存储器52(在图中用“H存储器”指示)，用于为每个像素保持并更新连续被运动比较部分51确定为“静止图像”的次数；和历史值延迟部分53，用于将保持的历史值H延迟二场(2F)，即一帧的数量。历史值存储器52具有用地址为每个像素指定的存储空间，并且配置来能够递增用地址为每个像素指定的保持数据(历史值)。注意，在图1中，关注像素的当前时刻的历史值用“Hk(0)”来表示，延迟2F后的历史值用Hk(+2F)来表示。

详细地说，运动比较部分51将输入帧差Dif(0)与预定参考值REF进行比较，以确定运动图像和静止图像的边界，并且当输入帧差Dif(0)大于或等于参考值时，确定为“运动图像”，而当输入帧差Dif(0)小于参考值REF，确定为“静止图像”。运动比较部分51输出信号S51，例如每次确定为“静止图像”时输出高电平脉冲。每次输出信号S51为高电平脉冲时，历史值存储器52就将存储的前一个像素的历史值Hk(0)增加一帧(相位前进一帧)，并将其输出。接着将历史值Hk(0)刚好延迟2F，然后将延迟后的历史值Hk(+2F)输入到混和比率设置部分44。用输出到混和比率设置部分44的历史值Hk(+2F)将历史值存储器52中的内容重写。结果，将其配置为每次基于输出到混和比率设置部分44的历史值Hk(+2F)确定为静止图像时，就将历史值逐个相加。由于是基于帧差Dif(0)来计算历史值，所以优选地在图3所示的像素Dk(0)或Dk(+2F)点处对历史值进行计数。另一方面，如图5所示，场间插值使用像素Dk(+2F)，而像素Dk(0)没有被使用。此时，优选地在像素Dk(+2F)处对历史值进行计数，并且在本实施方式中将历史值Hk(0)延迟2F以用于设置混合比率。

注意，运动比较部分51和帧差计算部分3包括本发明的“运动检测部分”的实施方式。

图6是历史值生成处理的流程图。

在图6示出的处理开始点，假定存储在历史值存储器52中的历史值为Hk(-2F)。在步骤ST1处，将延迟一帧(即在前面的处理中的二场(2F))所获得的历史值Hk(0)输入到历史值存储器52。

当在步骤ST2中输入帧差Dif(0)后，在下一步骤ST3中将帧差Dif(0)与参考值REF相比较。当帧差Dif(0)大于或等于参考值REF时，确定像素属于运动图像，并且在步骤ST4A中将存储在历史值存储器52的相应地址处的像素历史值Hk(0)复位。结果，确定将要处理的图像部分不再是静止状态，并且进入运动图像状态。另一方面，当帧差Dif(0)小于参考值REF时，在步骤ST4B中，将存储在历史值存储器52的相应地址处的静止图像的历史值Hk(0)递增，并且确定将要处理的图像部分仍处于静止图像状态。

此后，在步骤ST5中，历史值延迟部分53将历史值Hk(0)刚好延迟2F，延迟后的历史值Hk(+2F)被发送到混和比率设置部分44，并且用延迟后的历史值Hk(+2F)将在历史值存储器52中对应于该像素的地址处的存储区域中的内容重写。

在每次为每个像素输入帧差Dif时重复执行该处理。

图7是混合比率设置处理的流程图。

当混和比率设置部分44在步骤ST10中将帧差Dif(0)作为输入接收，并在步骤ST11中将与帧差Dif(0)相对应的历史值Hk(+2F)作为输入接收时，它在下一步骤ST12中获得运动图像插值屏Pm和静止图像插值屏Ps的混合比率Rmix。虽然可以逐点执行计算，但是这里加入了通过两个输入参数(帧差和历史值)指定混合比率的表，并且通过参考该表获得混合比率Rmix。

图8是示出了表中的两个输入参数和混合比率Rmix的关系示例的图。

常规情况下，只利用帧差、而不考虑确定为静止图像的次数来确定混合比率，但是在图8中示出的本实施方式的实施例中，当历史值小于某一个值时，将混合比率确定为常数，而不用考虑帧差。注意，该图仅仅是示例，存在多种方法用于确定混合比率。当从全局上看时，在帧差相同时，历史值越大所确定的混合比率就越接近静止图像；在历史值相同时，帧差越小所确定的混和比率就越接近静止图像。这里，当帧差相同时，当历史值大时，历史值不一定总是接近静止图像。如图8中的示例所示，可以部分包括即使在历史值改变的时候混合比率也不改变的部分。“当从全局上看时”意思是说在长的时间范围内混合比率随历史值一起变化。

注意，在本发明中“历史值越大、插值方法变得越接近静止图像的插值方法”包括如上所述的从全局上看的情形。即，在本发明中，除了历史值越大，插值方法逐渐变得更接近静止图像的情形外，存在在中间即使历史值变化时，插值方法也不变化的部分。但是当从全局上看时，也包括随着历史值变大，插值方法变为更接近静止图像的情形。

注意，图8示出了静止图像的混合比率值的示例。在该情形中，在完全运动图像的情形中Rmix＝0，在完全静止图像的情形中Rmix＝1.0，当在它们之间更接近静止图像时，可以将Rmix值设置为接近1。

在本实施方式中，当通过参考作为连续确定为静止图像的次数的历史值，基于帧差Dif来确定运动图像插值屏Pm和静止图像插值屏Ps的混和比率时，可以和在使用大量场延迟存储器时一样的方法参考过去的大量场的运动状态。因此，运动图像或静止图像的确定变得有保证了。另外，由于插值屏的混合比率可以更轻微地变化，因此可以防止图像在刚刚变为静止之后突然受到静止图像处理，看起来好像突然提高了分辨率一样。

此外，可以将在计算图8中示出的静止图像的历史值时使用的静止图像的阈值(参考值REF)设置为与帧差的噪声成分相比足够大，以使得帧差的噪声难以影响历史值。

在本实施方式中引入的被称作历史值的参数指示该值越大，就越可能是静止图像。因此，当静止图像的历史值大时，与只用场差进行确定相比，可以确定更接近静止图像。结果，根据多种情形可以提高运动自适应隔行和非隔行转换的效果。

例如，当以预定周期重复的图案以适应于所述周期的速度移动时，在重复显示该图案的像素位置以某一时间间隔观察时，总有一个图案部分被确定为静止图像。然而，由于在本实施方式中为每个像素计数被确定为静止图像的次数(历史值)，所以静止图像的历史值以与图案的宽度相对应的周期发生间断。即，由于当历史值达到某一值时被重置，所以当通过使用历史值从全局上看时，以预定周期重复的图案既不被确定为完全静止图像，也不被确定为完全运动图像。因此，混合比率变得自适应于重复图案的周期和移动速度，并且在该像素位置处以所述混合比率生成新的像素数据。另外，如图9所示，即使起初作出接近静止图像的确定，当某一图案长时间移动时作出接近运动图像的确定也是有利的。

另外，例如字母之类的字幕好像流动一样移动时，字母之间的历史值变得间断，从而以同样的方式，以适应于字母间隔和移动速度的混和比率，在显示字幕的位置生成像素数据。

此外，如图10所示，在由运动图像包围的静止图像字幕(字母表字母)的边缘部分，没有考虑外围像素信息，只有在该像素处的历史值成为作出决定所用的信息，使得在该像素处的历史值依赖于字幕的显示时间，并且变得足够大，能够作出接近完全静止图像的确定。因此，在静止图像字幕的边缘部分以接近静止图像的混和比率生成新的像素数据。

第二实施方式

本实施方式涉及历史值生成部分的改变。

图11示出了根据第二实施方式的图像处理装置的方框图。

图像处理装置1B与图1中示出的图像处理装置1A(第一实施方式)的不同点在与将历史值生成部分5划分成用于延迟一场的第一历史值场延迟部分54和第二历史值场延迟部分55，并且将延迟1F之后的历史值Hk(+F)从中间连接点输出。延迟1F之后的历史值Hk(+F)和从第二历史值场延迟部分55输出的延迟2F的历史值Hk(+2F)一起被输入到混合比率设置部分44。

结果，本实施方式中的混和比率设置部分44还参考在1F延迟屏Pi(+F)中用于插值的像素，例如在图4中示出的示例中的像素Dk(+F)和/或Dk-2(+F)的历史值Hk(+2F)。因此，可以作出更复杂、精细的确定。

在第一实施方式中，当历史值是具有相同帧差Dif的Hk(+2F)时，确定混合比率为1，而在本实施方式中，可以通过历史值Hk(+F)将混和比率控制得更精细地改变。另外，例如当图4中示出的像素Dk(+F)和Dk-2(+F)的历史值Hk(+F)都为“0”时，换句话说，确定二者都是运动图像的可能性很高。由于即使基于在第一实施方式中示出的历史值确定要在像素之间插值的像素为静止图像，该像素也被运动图像像素从上、下两方面夹在中间，所以可能增加输出接近运动图像的混合比率的确定。如上所解释的，在第二实施方式中，可以通过组合大量的历史值作出多种确定。结果，可以实现高可靠性的运动自适应控制。

注意，在第一和第二实施方式中，还从图2中“B”所示的箭头方向(扫描方向)上相邻的像素之间获得帧差，以便可以提高确定运动图像和静止图像的准确性。另外，通过对在扫描方向上相邻的像素的历史值进行计数，也可以提高历史值的准确性。

Claims (6)

1.一种用于将隔行图像数据转换成非隔行图像数据的图像处理装置，包括：

运动检测部分(3，51)，用于比较隔行图像的像素数据(考虑到与附图一致，在下文中用像素数据所属的场屏的标号来描述构成场屏Pi(0)和Pi(+2F)的像素数据Di(0)和Di(+2F))以执行运动检测；

历史值生成部分(52，53)，用于生成历史值(Hk)，所述历史值(Hk)示出了基于来自所述运动检测部分的运动检测结果(Dif(0))连续确定为“静止图像”的次数；和

像素数据插值部分(4)，用于以根据所述运动检测结果(Dif(0))和所述历史值(Hk)得出的混和比率(Rmix)来混合像素数据(Pm)和像素数据(Ps)，其中基于所述隔行图像的像素数据通过在一场中插值生成所述像素数据(Pm)，通过在多场之间插值生成所述像素数据(Ps)，其中所述历史值(Hk)越大，所述像素数据插值部分(4)混和的通过场间插值所生成的像素数据(Ps)的数量就越大。

2.如权利要求1所述的图像处理装置，其中，所述像素数据插值部分(4)包括：

场内插值部分(41)，用于由一场中的像素数据(Pi(+F))通过插值生成所述像素数据(Pm)；

场间插值部分(42)，用于由多场中的像素数据(Pi(+F)和Pi(+2F))通过插值生成所述像素数据(Ps)；

像素数据混和部分(43)，用于以确定的混和比率(Rmix)将来自所述场内插值部分(41)的像素数据(Pm)和来自所述场间插值部分(42)的像素数据(Ps)进行混和；和

混合比率设置部分(44)，用于以下列方式改变根据所述运动检测部分(3，51)的运动检测结果(Dif(0))和所述历史值(Hk)而确定的混合比率(Rmix)，所述方式为所述历史值(Hk)越大，来自所述场间插值部分(42)的像素数据(Ps)的比率变得越高。

3.如权利要求1所述的图像处理装置，其中，所述历史值生成部分(52，53)生成历史值(Hk(+2F))并且对于每个插值进行更新，所述历史值(Hk(+2F))用于下述场中的相邻像素的插值，所述场是通过所述插值将要生成的像素数据所在的场向后延迟1场的场。

4.如权利要求1所述的图像处理装置，其中，所述历史值生成部分(52，53)生成历史值(Hk(+F))和历史值(Hk(+2F))，并且分别对于每个插值进行更新，其中所述历史值(Hk(+F))用于以下场中的相邻像素的插值，该场不同于通过所述插值将要生成的像素数据所在的场，所述历史值(Hk(+2F))用于以下场中的相邻像素的插值，该场就是通过所述插值将要生成的像素数据所在的同一场。

5.一种将隔行图像数据转换成非隔行图像数据的图像处理方法，包括以下步骤：

运动检测步骤，通过在帧之间逐个像素地对隔行图像的像素数据(Pi(0)和Pi(+2F))进行比较来执行运动检测；

生成历史值(Hk)的步骤，所述历史值(Hk)示出了基于所述运动检测的结果连续确定为“静止图像”的次数；和

像素数据插值步骤，该步骤以根据所述运动检测结果(Dif(0))和所述历史值(Hk)得出的混和比率(Rmix)来混合像素数据(Pm)和像素数据(Ps)，其中基于所述隔行图像的像素数据通过在一场中插值生成所述像素数据(Pm)，通过在多场之间插值生成所述像素数据(Ps)，其中所述历史值(Hk)越大，混和的通过场间插值而生成的像素数据(Ps)的数量就越大。

6.如权利要求5所述的图像处理方法，其中，所述像素数据的插值步骤还包括：

场内插值步骤，由一场中的像素数据(Pi(+F))通过插值生成所述场中没有像素数据的行的像素数据(Pm)；

场间插值步骤，由多场中的像素数据(Pi(+F)和Pi(+2F))通过插值生成所述像素数据(Ps)；

像素数据混和步骤，以预定的混和比率(Rmix)将通过所述场内插值生成的像素数据(Pm)和通过所述场间插值生成的像素数据(Ps)进行混和；以及

混合比率设置步骤，以下列方式改变根据所述运动检测的运动检测结果(Dif(0))和所述历史值(Hk)而确定的混合比率(Rmix)，所述方式为所述历史值(Hk)越大，通过所述场间插值生成的像素数据(Ps)的比率变得越高。

Images