CN101146203B - 扫描转换装置 - Google Patents

Abstract

本发明提供一种扫描转换装置。在该扫描转换装置中，第一插值像素生成单元基于在具有相同奇偶性的图像之间检测到的运动矢量，针对两个扫描场的图像中的一个图像生成不存在的扫描线的插值像素。第二插值像素生成单元利用针对在两个扫描场的图像中已由第一插值像素生成单元生成了插值像素的扫描场的图像的像素，来生成不存在的扫描线的扫描场内插值像素。错误插值检测单元通过与位于上扫描线和下扫描线处的像素进行比较，来针对第一插值像素生成单元生成的插值像素检测错误插值。信号混合输出单元基于错误插值检测单元的检测，利用第一插值像素生成单元和第二插值像素生成单元生成的插值像素来输出视频信号。

Description

扫描转换装置 

技术领域

本发明涉及用于将隔行视频信号转换成逐行视频信号的扫描转换装置。 

背景技术

为了在近年来已经快速普及的等离子显示器和液晶显示器上输出根据诸如NTSC(美国国家电视标准委员会)制式和PAL(逐行倒相)制式传送的信号，必需执行隔行/逐行转换(下文中，简写为“IP转换”)。常规上，将隔行视频信号的扫描线之间的像素插值方法用于IP转换。 

作为像素插值方法的示例，提供了扫描场内(intra-field)插值。图1是用于说明根据常规技术的扫描场内插值的概要的图。在图1的例示中，仅清楚地示出了特定点的像素以说明插值处理，而省略了其它区域。在清楚地示出像素的区域中，颜色区别扫描线是通过对隔行视频信号进行IP转换而获得的像素。该图中的留白(white-out)扫描线表示插值扫描线。作为示例，图1中由x标记指示的像素示出了利用由o标记指示的像素在双线性插值中插值的示例。 

扫描场内插值不改变在未插值的情况下垂直方向上的分辨率，而基于真实视频信号的扫描线和插值扫描线被保证为同一时钟时间的视频信号。这种插值方法在视频中存在移动时有效，并且存在针对作为视频中存在/不存在移动的判断结果而存在移动的情况能够执行上述扫描场内插值的技术，如日本特开专利申请公报No.2003-32636、2004-266395、2005-191619以及2006-67009中所示。 

图2是用于说明根据常规技术的运动自适应IP转换的图。图2中所示的移动判断单元101基于前一扫描场的视频信号与当前扫描场的视频信号之间的比较来判断视频图像的移动。接着，它基于移动判断单元针 对视频图像的移动而生成的判断结果，来生成针对静止图像的扫描场间插值像素，并且生成针对运动图像的扫描场内插值像素。 

图3是用于说明根据常规技术的运动补偿IP转换的图。运动补偿IP转换对具有相同奇偶性的扫描场信号进行比较，由此测量视频图像的移动量并且基于该移动量生成插值像素。图3中所示的运动矢量检测单元111搜索两个扫描场信号(在此即是Fld(t)和Fld(t-2))之间的预定目标像素的移动量，并且估计单个扫描场中的移动量以对它进行插值。混合处理单元在一扫描场信号内针对每一个点计算扫描场间/扫描场内插值像素的加权和，并且输出IP转换后信号。 

另外，传送的视频信号包括电影、动画等的胶片素材，和计算机图形素材等。这些信号经受电视电影转换，如2∶2影院还原(pull-down)、2∶3影院还原或者在信号的传送源并且通过在隔行视频信号上叠加而传送的转换。接收侧需要执行用于释放这些影院还原序列的处理。 

图4是示出用于释放影院还原的扫描转换装置的构造的图。当在2∶3/2∶2序列检测单元121处从接收到的信号中检测到2∶3或2∶2视频图像传送序列时，将视频信号提供给执行逐行转换处理的影院还原释放处理单元。未经受影院还原的视频信号在隔行用IP转换单元处经受扫描转换。应注意到，隔行用IP转换单元的构造和操作类似于运动自适应IP转换或运动补偿IP转换的处理。 

这里，提供了对影院还原序列的进一步说明。图5A和图5B是用于说明影院还原序列的图。图5A是表示2∶2影院还原处理的图，而图5B是表示2∶3影院还原处理的图。 

首先对图5A所示的2∶2影院还原进行说明。相对于该图中所示的时间轴，上部是执行影院还原之前的视频信号，而下部是执行影院还原之后的视频信号。而且在该图中，实线表示视频信号中的在上扫描场中传送的信号，而虚线表示在下扫描场中传送的信号。 

当将特定帧改变成隔行视频信号时，2∶2影院还原处理通过交替加载上扫描场和下扫描场来传送信号。这里，单个扫描场的传送定时假定为t1、t2等。假定第一帧的上扫描场的视频信号在时钟时间t1加载，第一 帧的下扫描场的视频信号在作为下一传送定时的时钟时间t2加载。类似地，针对第二帧，上扫描场的视频信号在时钟时间t3加载，而下扫描场的视频信号在时钟时间t4加载。这样，奇数号帧与偶数号帧之比2∶2构成扫描场的指配数量。 

类似地，在图5B所示的2∶3影院还原处理中，奇数号帧与偶数号帧之比2∶3构成扫描场的指配数量。即，针对第一帧，上扫描场和下扫描场的视频信号分别在时钟时间t1和t2加载/传送，而针对第二帧，上扫描场、下扫描场以及上扫描场的视频信号分别在随后的时钟时间t3、t4以及t5加载/传送。 

现实中，在2∶2和2∶3序列检测单元处难于避免的问题是因噪声等而造成的错误检测。尽管2∶2素材和2∶3素材可以高度有效地实现高图像质量，但错误检测可以导致图像质量的较大劣化。因为这个原因，通常在电视机制造商处设置最终调节，用于仅检测可以稳定检测到的素材。结果，作为传送序列中的2∶2或2∶3视频图像序列，存在不能检测到的一些视频图像序列。 

同时，在真实视频图像信号中，存在将2∶2或2∶3影院还原视频信号和隔行视频信号在时间和空间上相混合而传送的情况。在这种情况下，不能局部地执行常规的隔行用IP转换。 

而且，因为扫描场之间的变化差别较小，所以难于检测到针对慢运动视频图像的扫描场之间的变化差别。因为这些原因，所以对没有检测到序列的视频图像信号执行隔行用IP转换。 

在对2∶2或2∶3视频图像信号的隔行用IP转换中执行运动自适应插值或运动补偿插值，会导致生成闪烁、锯齿、隔行干扰等的问题。即，尽管针对电视电影视频信号实际上不需要对影院还原至上扫描场和下扫描场的两个扫描场的视频信号进行插值，但如果在当前帧与下一帧之间检测到运动则执行插值处理，从而作为对实际上不存在于帧内的信号进行像素插值的结果，造成了图像中的干扰。 

同时，日本特开专利申请公报No.2005-102191和2004-180242，提出了首先执行影院还原释放处理来检测生成的错误插值以改进包括2∶2 或2∶3的视频图像的图像质量的多种技术。 

在日本特开专利申请公报No.2005-102191中提到的技术，首先释放影院还原，接着，如果在影院还原错误检测单元处检测到错误插值，则通过执行隔行用IP转换来修正被检测到错误插值的点。采用这种方法使得一方面难于设置用于检查错误插值的条件，而另一方面妨碍了已经用于常规2:2/2:3检测处理的信息在用于检测错误插值的处理中的有效使用。由此，生产这种图像处理装置成本相对较高。而且，因为不是必需在数值上判断错误插值，所以在用于检测错误插值的影院还原错误检测单元处执行的处理可能难于成为有效的错误插值检测手段。 

在日本特开专利申请公报No.2004-180242中提到的技术，通过检测同一图像的重复来判断电视电影视频图像，由此使得可以对因影院还原处理而造成的错误插值做出响应。虽然这种技术对电视电影视频图像(即，通过电视电影转换生成的视频图像)和隔行视频图像在时间上相混合的视频图像是有效的，然而，该技术不能对它们在空间上相混合的视频图像做出响应。同时，在日本特开专利申请公报No.2004-180242中提到的技术是一种用于对在不能将视频图像信号判断为非电视电影图像时使该视频图像信号经受影院还原处理的问题进行响应的技术。 

希望能够检测到针对包括2:2和2:3的视频图像信号执行隔行IP转换的事实并且对与执行隔行用IP转换相关联地生成的错误插值做出响应。 

发明内容

本发明的目的是，提供一种用于高精度地检测与针对难于检测的电视电影视频图像执行IP转换相关联的错误插值的技术。 

为了解决上述问题，本发明提供了一种用于将隔行视频图像信号转换成逐行图像信号的扫描转换装置，该扫描转换装置包括：第一插值像素生成单元，该第一插值像素生成单元用于根据在由时钟时间t处的扫描场和先于时钟时间t处的扫描场两个扫描场的时钟时间t-2处的扫描场构成的具有相同奇偶性的扫描场的像素之间检测到的运动矢量MV，获得相当于一个时钟时间的移动量的移动量MV/2，并且用于将先于时钟时间t处的扫描场一个扫描场的时钟时间t-1处的扫描场的像素移动该移动量MV/2，以生成时钟时间t处的扫描场的插值像素；第二插值像素生成单 元，该第二插值像素生成单元用于利用已由所述第一插值像素生成单元生成了插值像素的时钟时间t处的扫描场内的像素，来生成扫描场中的不存在的水平扫描线的插值像素；错误插值检测单元，该错误插值检测单元用于通过根据时钟时间t处的扫描场的像素和由所述第一插值像素生成单元生成的时钟时间t处的扫描场的插值像素获得表示水平方向上的像素偏移的第二运动矢量，并将时钟时间t处的扫描场的运动矢量MV与该第二运动矢量进行比较，来检测错误插值；输出单元，该输出单元用于基于所述错误插值检测单元的检测结果，利用所述第一插值像素生成单元和所述第二插值像素生成单元生成的插值像素，来输出视频图像信号。 

当生成扫描场间插值像素时，利用根据具有相同奇偶性的扫描场获得的运动矢量来执行运动补偿IP转换。在针对包括电视电影视频图像在内的图像执行运动补偿IP转换的情况下，通过错误插值检测单元检测沿扫描线方向在真实像素与插值像素之间出现偏移的事实。这种构造使得可以防止在包括电视电影视频图像在内的视频图像中出现伪像。 

运动矢量检测单元可以使用具有不同奇偶性的扫描场数据，作为用于在仅从具有相同奇偶性的两个扫描场的图像之间获得一矢量之后验证该矢量的参照。并且，可以根据水平边缘的存在或不存在来控制插值单元。 

所述错误插值检测单元可以被设置成包括：偏移检测单元，该偏移检测单元用于检测在被确定为所述第一插值像素生成单元执行插值的对象的扫描线与位于前述扫描线上方或下方一条扫描线处的扫描线之间出现的扫描线方向上的偏移；和比较判断单元，该比较判断单元用于在所述偏移检测单元检测到偏移时，基于与所述扫描线方向有关的偏移与所述运动矢量之间的比较，来判断是否为错误插值。所述比较判断单元可以被设置成，如果所述偏移等于扫描线方向上的运动矢量的一半，则判断所述第一插值像素生成单元执行的插值为错误插值。 

所述输出单元可以被设置成，如果所述比较判断单元判断为错误插值，则利用所述第二插值像素生成单元生成的插值像素来输出视频信号。由于没有输出因运动补偿IP转换而造成错误插值的像素，从而防止了图像的伪像。 

一种另选的构造还可以包括：记录单元，该记录单元用于记录输入扫描场的像素信号和所述第一插值像素生成单元生成的扫描场的像素信 号，其中，如果所述比较判断单元判断为错误插值，则所述输出单元对记录在所述记录单元中的先前扫描场的像素信号和被判断为错误插值的扫描场的像素信号进行组合，并且输出组合后的像素信号。即使所述第一插值像素生成单元生成的插值被判断为错误插值，也可以通过有效地利用该插值像素而非丢弃它，来防止图像的伪像。 

本发明被设计成，即使错误插值是由于使在时间和空间上与电视电影素材相混合并且难于检测的视频图像信号经受运动补偿IP转换所引起的，也可以高度准确地对其进行检测，由此使得能够防止错误插值。这使得能够转换成逐行图像信号，而不会产生伪像。 

附图说明

图1是用于说明根据常规技术的扫描场内插值的概要的图； 

图2是用于说明根据常规技术的运动自适应IP转换的图； 

图3是用于说明根据常规技术的运动补偿IP转换的图； 

图4是用于说明根据常规技术的影院还原序列释放的图； 

图5A是用于说明影院还原序列的图； 

图5B是用于说明影院还原序列的图； 

图6是根据本发明实施方式的扫描转换装置的原理的图； 

图7例示了错误插值检测单元的构造； 

图8A是说明扫描场之间的运动矢量和插值的图； 

图8B是说明扫描场之间的运动矢量和插值的图； 

图9是用于说明错误插值检测单元的操作的图； 

图10A是用于说明扫描转换装置的操作的图； 

图10B是用于说明扫描转换装置的操作的图； 

图11例示了信号混合输出单元的构造； 

图12例示了信号混合输出单元的另一构造； 

图13A是用于说明对扫描场组合的控制的图； 

图13B是用于说明对扫描场组合的控制的图； 

图14示出了用于获得运动矢量的另一方法； 

图15A是说明图9中所示的运动矢量检测单元11的操作的图； 

图15B是说明图9中所示的运动矢量检测单元11的操作的图； 

图16A是用于说明对具有运动矢量的一半长度的矢量和插值图像进行比较的处理； 

图16B是用于说明对具有运动矢量的一半长度的矢量和插值图像进行比较的处理；以及 

图17是示出在利用通过图14中所示的运动矢量检测单元获得的运动矢量来执行运动补偿IP转换时获得的图像的图。 

具体实施方式

下面，参照附图，对本发明的优选实施方式进行详细说明。 

图6是根据本发明实施方式的扫描转换装置的原理的图。图6所示扫描转换装置1包括：运动矢量检测单元11、第一插值像素生成单元12、第二插值像素生成单元13、错误插值检测单元14、信号混合输出单元15、序列检测单元16、影院还原释放单元17以及选择器单元18。 

运动矢量检测单元11对具有相同奇偶性的两个扫描场进行比较，并且检测视频图像的运动矢量。如果运动矢量检测单元11检测到运动，则第一插值像素生成单元12生成在扫描场之间插值的像素。如果运动矢量检测单元11没有检测到运动，则第二插值像素生成单元13生成在扫描场内插值的像素。错误插值检测单元14基于检测到的矢量与在扫描场之间插值的图像来检测与IP转换相关联的错误插值。信号混合输出单元15基于插值像素、运动矢量以及错误插值检测单元14的处理结果生成输出信号。 

序列检测单元16从接收到的视频图像信号中检测诸如2∶2和2∶3的序列。影院还原释放单元17执行用于释放针对由序列检测单元16检测到的序列的影院还原的处理，并且将视频图像信号转换成逐行图像信号。选择器单元18被设置成包括选择器，并且基于信号混合输出单元15和影院还原释放单元17的输出而从扫描转换装置1输出信号。 

根据本实施方式的扫描转换装置1包括错误插值检测单元14，该错误插值检测单元14基于扫描场之间的运动矢量和插值像素，检测针对实际上不需要扫描场间插值的电视电影视频图像执行的错误插值。信号混合输出单元15基于错误插值检测单元14关于错误插值的判断结果，输出插值像素，作为对扫描场之间插值的像素进行加权和对扫描场内插值的像素进行加权的结果。选择器单元18基于对序列进行影院还原的结果和与扫描场的视频图像信号相关联的插值结果来选择要输出的信号。 

下面，对构成扫描转换装置1的单个单元的操作进行具体说明。 

图7例示了错误插值检测单元14的构造。错误插值检测单元14包括运动矢量搜索单元21和比较判断单元22。 

运动矢量搜索单元21基于时钟时间t处的扫描场中的像素(其被定义为当前扫描场输入像素Fld(t))和由第一插值像素生成单元12根据当前扫描场输入像素Fld(t)生成的扫描场间插值像素Fld(t)′，来搜索在水平方向上存在或不存在位移。比较判断单元22对由运动矢量检测单元11检测到的运动矢量MV和由运动矢量搜索单元21获得的表示水平方向上的偏移的矢量MV′进行比较，由此判断扫描场像素Fld(t)与Fld(t)′之间在扫描线方向上的偏移是否是由于在将影院还原序列视频图像错误地转换成逐行图像时造成的错误插值所导致的。 

下面，对运动矢量检测单元11检测到的运动矢量MV进行说明。图8A和8B是说明扫描场之间的运动矢量与插值的图。图8A是用于说明检测与在时钟时间t传送的扫描场像素Fld(t)有关的运动矢量的方法的图。 

先于时钟时间t处的扫描场两个扫描场(即，时钟时间“t-2”处)的先前扫描场中的扫描场信号，和时钟时间t处的扫描场信号具有相同奇偶性。即，如果在时钟时间t接收到上/下扫描场的视频信号，则在时钟时间t-2也接收到上/下扫描场的视频信号。基于这个事实，通过与具有相同奇偶性的最接近扫描场信号进行比较，获得时钟时间t处的图像的移动量。 

作为示例，与6×4大小的区域(即，在时钟时间t-2处的占用由该图中的斜阴影线指示的位置的像素)有关的是，在时钟时间t处(即，两个扫描场之后)对该区域所在的位置进行搜索。在图8A所示的示例中， 搜索沿水平方向加/减两个像素的范围和加/减一个像素的范围。根据搜索范围中具有最高相关度的点获得运动矢量MV。在图8A中，运动矢量MV为(-2，1)。运动矢量MV是在两个时钟时间时段内的移动量，因此，假定时钟t-1与时钟t之间的移动量为MV/2，由此执行扫描场间插值。 

图8B是用于说明利用运动矢量MV的扫描场间插值的图。在图8B的例示中，阴影线部分表示存在扫描场信号的区域，而留白部分表示要生成插值像素的区域。 

为了对时钟时间t处的帧信号Frm(t)进行插值，需要在时钟时间t前一时钟时间处的帧信号，即，时钟时间t-1处的帧信号Frm(t-1)。通过按等于针对一个时钟时间的移动量的矢量MV/2的量移动时钟时间t-1处的信号，来执行插值。图8B所示的示例用x标记表示在帧信号Frm(t)中的通过将Frm(t-1)处的扫描场信号移动MV/2而获得的插值像素。 

另外，存在没有用整数坐标表示作为用于执行扫描场间插值的运动矢量MV的一半的矢量的情况。在这种情况下，针对在时钟时间t前一时钟时间处的帧信号Frm(t-1)生成扫描场内插值像素，并且基于获得的插值像素数据对帧信号Frm(t)的插值进行插值。用于利用运动矢量执行扫描场间插值的方法(包括针对没有用整数表示一个时钟时间的移动量的情况而使用的插值方法)采用已知技术。 

如上所述，由于在前一时钟时间处的扫描场和当前扫描场之间存在MV/2的移动，获得了扫描场间插值像素。即，按运动矢量的一半长度平行移动扫描场间插值像素。图7中所示的比较判断单元22对等于一个时钟时间时长内的移动量的MV/2，和时钟时间t处的真实扫描场信号Fld(t)与沿扫描线方向的插值扫描场信号Fld(t)′之间的偏移量进行比较。 

图9是用于说明错误插值检测单元14的操作的图。如已经说明的，通过将前一时钟时间处的具有不同奇偶性的扫描场信号移动运动矢量MV的一半长度，来获得与时钟时间t对应的进行了扫描场间插值的插值像素Fld(t)′。应注意到，出于简化说明的目的，下面的说明仅采用了水平移动。 

当运动矢量搜索单元21识别到当前扫描场的扫描场信号Fld(t)与其 在水平方向上的插值扫描场信号Fld(t)′之间存在偏移的事实时，比较判断单元22对插值扫描场信号Fld(t)′的偏移与具有运动矢量的一半长度的矢量MV/2进行比较。 

如上所述，作为电视电影转换的结果，按2∶2或2∶3的序列传送由诸如动画的帧构成的视频图像。这使得通过划分上扫描场和下扫描场来传送特定帧。如果所述帧与下一帧之间存在移动，则检测到运动矢量MV，然而，如果基于该运动矢量MV执行扫描场间插值，则因为在上扫描场与下扫描场之间不存在真实移动，所以在真实扫描场信号与插值扫描场信号之间沿矢量方向出现偏移。 

基于这种情况，如果扫描场信号Fld(t)与插值扫描场信号Fld(t)′之间的偏移的长度和方向和作为运动矢量的一半的MV/2的长度和方向相同，则比较判断单元22判断视频信号为电视电影视频图像。 

图10A和10B是用于说明根据本实施方式的扫描转换装置1的操作的图。图10A示出了在传送视频图像时每一个阶段处的信号；而图10B示出了在传送逐行图像时每一个阶段处的信号。在该图的从左到右的方向上，按单个发生定时(例如，1/60秒)的接收序列示出信号，而在从上到下的方向上，按提供给扫描转换装置1的相应单元的在特定定时处传送的视频图像信号的序列示出视频信号。这里，说明例示了将4×6像素的图像向右移动一个像素的情况。 

首先说明扫描转换装置1在处理视频图像时的操作。图10A的上部示出了输入给视频摄像机的视频图像信号。图10A的中部示出了转换成用于传送上部所示视频图像信号的隔行信号的状态，而下部示出了插值视频图像信号。因为图像在每一个传送定时向右移动一个像素，所以检测到运动矢量MV并且执行运动补偿IP转换，即，扫描场间插值。不对上部图像和下部图像之间的边界线上的像素进行插值。 

接下来说明扫描转换装置1在处理逐行图像时的操作。在图10B中，阶段(1)是原始图像，假定按30帧每秒(fps)的速率传送该原始图像。阶段(2)是经受影院还原处理的视频图像信号。图10B所示示例示出了每一个图像被划分成上扫描场和下扫描场来传送的2∶2序列。阶段(3) 示出了已经在序列检测单元16处从影院还原释放的信号。如果如上所述通过序列检测单元16检测到序列，则获得等同于扫描线(1)的原始图像的视频图像。如果序列检测单元16没有检测到序列，则执行正常运动补偿IP转换。 

阶段(4)示出了在通过运动补偿IP转换生成扫描场间插值像素时的信号。例示了时钟时间t＝t3时的图像，如果在时钟时间t＝t3时的扫描场信号与具有相同奇偶性的扫描场(即，时钟时间t＝t1时的扫描场信号)之间检测到运动矢量，则MV＝(2，0)。因为这种情况，所以通过假定将时钟时间t3处的扫描场信号相对于时钟时间t＝t2(＝t3-1)处的扫描场向右移动一个像素来执行扫描场间插值。然而，时钟时间t2处的信号是按2∶2影院还原获得的信号，由此与时钟时间t3处的扫描场信号相比真实图像向左偏移了两个像素。因为这种情况，所以执行针对电视电影视频图像的运动补偿IP转换使得图像在水平方向上的梳状干扰清楚可见。根据本实施方式的扫描转换装置1被设置成，在错误插值检测单元14处检测梳状图像干扰(下文中，其被简称为“梳状”)并且修正因再一次IP转换而造成的图像干扰。 

阶段(5)示出了因错误插值的像素而修改的信号。如果在错误插值检测单元14处检测到梳状，则扫描转换装置1判断使用扫描场间插值像素带来了视频图像的可见干扰(即，根据图10B所示示例的水平锯齿(即，伪像))，执行后面说明的混合处理，并利用合适的插值像素来输出视频图像信号。 

阶段(6)示出了插值帧。如果检测到运动补偿IP转换生成错误插值的事实，则利用每一个扫描场的信号来生成相对于图像移动方向没有可见锯齿的合适帧。后面，将对用于生成阶段(6)的帧的方法的细节进行说明。 

如上所述，因未检测到序列而对包括电视电影视频图像在内的视频图像信号执行扫描场间插值处理生成了错误插值。当检测到这种错误插值时，信号混合输出单元15针对从每一个插值单元输出的信号进行加权，并且合成视频图像信号，以输出经恰当IP转换的视频图像信号。 

图11例示了信号混合输出单元的构造。图11中所示的信号混合输出单元15A包括混合处理单元51和选择器单元52。 

混合处理单元51基于从运动矢量检测单元11输入的信息，根据视频图像的运动输出插值像素。作为示例，混合处理单元51识别视频图像内具有移动的区域，并且确定扫描场间插值像素与扫描场内插值像素之比。在本实施方式中，用混合处理来表示用于确定扫描场间插值像素与扫描场内插值像素之比并且合成输出信号的处理。 

信号混合输出单元15A的选择器单元52基于从错误插值检测单元14输入的信息，判断是否恰当地执行了运动补偿IP转换，即，是否恰当地生成了扫描场间插值像素。接着，如果没有检测到错误插值，则选择器单元52输出从混合处理单元51输出的合成信号，而如果检测到错误插值，则输出扫描场内插值像素。 

如果对于包括电视电影视频图像的视频图像信号发生了错误插值，则如图11所示构成的信号混合输出单元15A输出扫描场内插值像素。因此，即使针对包括尚未检测到序列的电视电影在内的视频图像信号执行IP转换，也能够防止因错误插值而造成伪像的可见呈现。 

图12例示了信号混合输出单元的另一构造。图12所示的信号混合输出单元15B包括混合处理单元51、选择器单元53以及扫描场存储器54。混合处理单元51的操作和图11所示信号混合输出单元15A包括的混合处理单元51的操作类似，由此省略了对其的说明。 

扫描场存储器54被用于以扫描场为单位记录视频图像信号，由此记录真实像素信号和扫描场之间的插值像素信号。选择器单元53在基于从错误插值检测单元14输入的信息识别出因IP转换而生成错误插值的事实后，利用存储在扫描场存储器54中的信号来生成输出信号。作为示例，它将与在时钟时间t2接收到的视频图像信号对应的插值像素信号(其是针对上扫描场插值的)以及与在一个扫描场后(即，在时钟时间t3)接收到的视频图像信号对应的插值像素信号(其是针对下扫描场插值的)进行组合，并且将在时钟时间t3接收到的视频图像信号(即，上扫描场)和在时钟时间t4接收到的视频图像信号(即，下扫描场)进行组合，如 图10B中的阶段(6)所示。这使得可以获得没有伪像的视频图像信号。将利用存储在扫描场存储器54中的视频图像信号而生成输出信号表达为“扫描场组合”。 

图13A和13B是用于说明对扫描场组合的控制的图。图13A示出了用于表示构成一个帧的上扫描场和下扫描场的方法。图13B的上部示出了真实扫描场信号，而中部除示出真实扫描场信号外还示出了通过运动补偿IP转换生成的扫描场之间的插值像素。在通过执行运动补偿IP转换而去隔行化的信号中，在真实扫描场信号与通过插值获得的扫描场信号之间出现时间偏移。该时间偏移和参照图10B中的阶段(4)所述的偏移相同。 

如图13B的下部所示，对扫描场组合的控制被设置成，输出利用扫描场存储器54延迟一个扫描场的扫描场插值数据。这种设置使得，即使在错误插值检测单元14处检测到错误插值，也可以通过有效地利用扫描场之间的插值数据而非丢弃该数据，来执行运动补偿。 

而且，运动矢量检测单元11可以如下所述，被设置成能够按更高准确度选择合适的运动矢量。 

图14示出了用于获得在运动矢量检测单元11处检测到的运动矢量的改进方法。运动矢量检测单元11包括边缘检测单元61、第一矢量检测单元62、插值图像生成单元63以及第二矢量检测单元64。 

第一矢量检测单元62对具有相同奇偶性的两个扫描场图像进行比较，以检测视频图像的运动矢量MV。第一矢量检测单元62的操作和参照图8A所述的操作相同。边缘检测单元61根据具有相同奇偶性的两个扫描场图像来检测图像的边缘。 

插值图像生成单元63执行针对奇偶性与为在第一矢量检测单元62处获得运动矢量而使用的奇偶性不同的扫描场图像的插值处理。即，它获得用于和为获得运动矢量MV而使用的扫描线相同的扫描线的插值像素。应注意到，用于在插值图像生成单元63处生成插值图像的方法采用了上述的扫描场内插值方法。 

另外，通过具有不同奇偶性的扫描场图像内的边缘存在性来适当控制 插值图像的生成方法。作为最佳方法的一个示例，使用了最近邻域方法。 

这里，边缘检测单元61通过利用诸如Sobel和拉普拉斯算子的已知边缘检测算子的方法，或者在第一矢量检测单元62处检查候选矢量的匹配程度的方法，来检测边缘。即，用于检查匹配程度的方法监测在矢量搜索中搜索候选矢量时的最大和最小匹配程度。接着，它可以判断存在与匹配程度的最小值(即，最佳矢量)与最大值之间的动态范围的量值成比例并且与构成候选矢量的坐标紧密度(closeness)成比例的更陡峭边缘。 

可以基于通过第一矢量检测单元62获得的运动矢量MV，沿和运动矢量MV相同的方向执行对边缘的检测。另选的是，可以沿图像的水平方向，即，沿扫描线方向检测边缘。当插值图像生成单元63生成插值图像时，可以通过参照与图像边缘有关的信息，同样针对具有更高空间频率的区域按更高的准确度执行用于检测运动矢量的匹配处理。 

第二矢量检测单元64利用在插值图像生成单元63处生成的插值图像，检查由第一矢量检测单元62检测到的运动矢量是否被恰当地选择。 

图14所示的运动矢量检测单元11参照具有不同奇偶性的扫描场图像，以便按更高准确度获得运动矢量，并且该运动矢量是采用和图8A所示相同的方式，在第一矢量检测单元62处在具有相同奇偶性的扫描场之间获得的。即，插值图像生成单元63根据具有不同奇偶性的扫描场图像通过插值处理生成了具有相同奇偶性的扫描场图像。接着，第二矢量检测单元64参照在插值图像生成单元63处生成的图像，并且验证第一矢量检测单元62处获得的运动矢量MV。如果选择了不合适的候选矢量，则执行再选择另一候选矢量或从一些候选矢量中选择/保留一个候选矢量的处理。 

接下来说明图14所示运动矢量检测单元的操作。 

图15A和15B是说明图14所示运动矢量检测单元11的操作的图。考虑传送图像为视频图像的情况。如图15A的上部所示，针对每一个扫描场，4×6大小的矩形图像都向右移动一个像素。与图15A的上部所示的视频图像相对应地，如图15A的下部所示将上扫描场和下扫描场的隔行信号交替输入至扫描转换装置1。 

图14的第一矢量检测单元62根据图15A的下部所示的图像获得运动矢量MV。图15B是说明用于验证针对图15A下部所示的图像获得的运动矢量MV的处理操作的图。 

通过与时钟时间t＝n-2处的作为具有相同奇偶性的扫描场图像的图像进行比较(类似地，通过用于获得上述运动矢量MV的方法)，来获得与时钟时间t＝n处的扫描场有关的运动矢量MV。针对具有获得的运动矢量MV的一半长度的矢量MV/2位于为获得运动矢量而使用的两个图像之间的时钟时间t＝n-1处的图像的插值像素上的事实，来执行验证。 

根据图15B所示的示例，判断具有根据时钟时间t＝n和t＝n-2处的扫描场图像获得的三个矢量的相应一半长度的三个矢量是否位于相应时钟时间t＝n-1处的扫描场的插值图像上。 

在具有在第一矢量检测单元62处获得的三个运动矢量的一半长度的三个矢量中，与时钟时间t＝n-2和时钟时间t＝n处的图像的中部和下部对应的矢量的端部位于时钟时间t＝n-1处的插值图像上。在这种情况下，第二矢量检测单元64通过执行矢量与插值像素之间的匹配而判断插值像素位于矢量的端部处，并且第一矢量检测单元62判断这些运动矢量具有高可靠度，并且判断选择了合适的矢量。 

同时，关于与时钟时间t＝n-2和t＝n处的图像的上部的扫描线对应的矢量，不存在与时钟时间t＝n-1对应的插值图像。在这种情况下，第二矢量检测单元64判断运动矢量具有低可靠度，并且判断未选择到合适的运动矢量。使第二矢量检测单元64判断为未被恰当选择的运动矢量经受诸如再选择运动矢量的处理。 

图16A和16B是说明用于对具有运动矢量MV的一半长度的矢量MV/2和插值图像进行比较的处理的图。 

图16A示出了由第一矢量检测单元62获得的具有相同奇偶性的扫描场图像之间的运动矢量MV；而图16B示出了获得具有获得的运动矢量MV的一半长度的矢量MV/2的处理，和将该矢量MV/2与根据奇偶性与为获得所述运动矢量而使用的扫描场图像的奇偶性不同的图像获得的插值图像进行比较的处理。 

在图16A中，实线和虚线分别示出了具有互不相同的奇偶性的扫描场，即，上扫描场和下扫描场。这里，针对由实线表示的扫描场图像获得运动矢量MV。 

在图16B中，实线表示时钟时间t＝n-1处的扫描场的插值像素，即，和时钟时间t＝n-2(和t＝n)处的扫描场的扫描线相同的像素。判断根据图16A所示的运动矢量MV获得的一半长度的矢量MV/2的端部是否位于时钟时间t＝n-1处的扫描场中的插值像素上。如果矢量MV/2的端部处于针对时钟时间t＝n-1的图像的插值像素上，则判断获得的矢量MV是合适的。 

图17是示出在利用通过图14所示的运动矢量检测单元11获得的运动矢量来执行运动补偿IP转换时获得的图像的图。 

关于图16A和16B的时钟时间t＝n-2和t＝n的图像，第二矢量检测单元64针对上部中的扫描线的验证确认矢量的端部处不存在插值像素。基于不存在针对最上部扫描线的与运动矢量(即，具有其一半长度的矢量)对应的插值像素的事实，可以根据扫描场内插值，如图17所示，在时钟时间t＝n-1处针对最上部扫描线执行像素的插值。同样针对其它扫描场，使得能够基于第二矢量检测单元64的验证结果来执行恰当的插值。 

如上所述，图14所示的运动矢量检测单元11被构造成，在第二矢量检测单元64处验证获得的运动矢量MV，判断在矢量MV/2的端部处是否存在具有不同奇偶性的插值图像，并且在不存在插值图像时，再选择恰当的运动矢量。这种构造使得可以按更高的准确度获得运动矢量。 

同时，关于高空间频率的区域，即，密集图像的区域，往往出现运动矢量的错误检测。运动矢量的错误检测会造成诸如在利用运动矢量执行扫描场间插值像素生成处理时的图像劣化以及在执行错误插值检测处理时的错误插值检测准确度降低的问题。然而，上述运动矢量验证处理，改进了向图6所示的第一插值像素生成单元12和图7所示的错误插值检测单元14的判断单元22输入的运动矢量MV/2的准确度，由此有助于防止出现这些问题。 

Claims (11)

1.一种扫描转换装置，其用于将隔行视频信号转换成逐行图像信号，所述扫描转换装置包括：

第一插值像素生成单元，该第一插值像素生成单元用于根据在由时钟时间t处的扫描场和先于时钟时间t处的扫描场两个扫描场的时钟时间t-2处的扫描场构成的具有相同奇偶性的扫描场的像素之间检测到的运动矢量MV，获得相当于一个时钟时间的移动量的移动量MV/2，并且用于将先于时钟时间t处的扫描场一个扫描场的时钟时间t-1处的扫描场的像素移动该移动量MV/2，以生成时钟时间t处的扫描场的插值像素；

第二插值像素生成单元，该第二插值像素生成单元用于利用已由所述第一插值像素生成单元生成了插值像素的时钟时间t处的扫描场内的像素，来生成扫描场中的不存在的水平扫描线的插值像素；

错误插值检测单元，该错误插值检测单元用于通过根据时钟时间t处的扫描场的像素和由所述第一插值像素生成单元生成的时钟时间t处的扫描场的插值像素获得表示水平方向上的像素偏移的第二运动矢量，并将时钟时间t处的扫描场的运动矢量MV与该第二运动矢量进行比较，来检测错误插值；

输出单元，该输出单元用于基于所述错误插值检测单元的检测结果，利用所述第一插值像素生成单元和所述第二插值像素生成单元生成的插值像素，来输出视频图像信号。

2.根据权利要求1所述的扫描转换装置，所述扫描转换装置还包括：

序列检测单元，该序列检测单元用于检测正在输入经电视电影转换的隔行视频信号的事件，和

影院还原释放单元，该影院还原释放单元用于在所述序列检测单元检测到经电视电影转换的隔行视频图像信号时，将该隔行视频图像信号转换成逐行图像信号，其中

如果所述影院还原释放单元尚未执行逐行图像转换处理，则所述输出单元利用所述第一插值像素生成单元和所述第二插值像素生成单元生成的插值像素，来输出视频图像信号。

3.根据权利要求1或2所述的扫描转换装置，其中，

所述错误插值检测单元包括：

偏移检测单元，该偏移检测单元用于根据时钟时间t处的扫描场的像素和由所述第一插值像素生成单元生成的时钟时间t处的扫描场的插值像素来获得第二运动矢量，和

比较判断单元，该比较判断单元用于通过将根据所述具有相同奇偶性的扫描场的像素获得的运动矢量MV与在所述偏移检测单元中获得的第二运动矢量进行比较，来判断是否为错误插值。

4.根据权利要求3所述的扫描转换装置，其中，

如果所述第二运动矢量等于根据所述具有相同奇偶性的扫描场的像素获得的所述运动矢量MV的一半，则所述比较判断单元判断所述第一插值像素生成单元执行的插值为错误插值。

5.根据权利要求4所述的扫描转换装置，其中，

如果所述比较判断单元判断为错误插值，则所述输出单元利用所述第二插值像素生成单元生成的插值像素来输出视频信号。

6.根据权利要求4所述的扫描转换装置，所述扫描转换装置还包括：

记录单元，该记录单元用于记录输入扫描场的像素信号和所述第一插值像素生成单元生成的扫描场的像素信号，其中，

如果所述比较判断单元判断为错误插值，则所述输出单元对记录在所述记录单元中的先前扫描场的像素信号和被判断为错误插值的扫描场的像素信号进行组合，并且输出组合后的像素信号。

7.根据权利要求1所述的扫描转换装置，所述扫描转换装置还包括：

运动矢量检测单元，该运动矢量检测单元用于检测所述运动矢量MV，其中，

所述运动矢量检测单元包括：

第一运动矢量检测单元，该第一运动矢量检测单元用于根据所述具有相同奇偶性的扫描场的像素来获得运动矢量，

插值图像生成单元，该插值图像生成单元用于通过获得与所述第一运动矢量检测单元用来获得运动矢量的扫描线相同的扫描线的插值像素，来生成插值图像，以及

第二运动矢量检测单元，该第二运动矢量检测单元用于基于由所述插值图像生成单元生成的插值图像，来验证所述第一运动矢量检测单元获得的运动矢量，其中，

所述错误插值检测单元利用所述第二运动矢量检测单元验证的运动矢量来检测错误插值。

8.根据权利要求7所述的扫描转换装置，

所述运动矢量检测单元包括边缘检测单元，该边缘检测单元根据所述具有相同奇偶性的扫描场的像素来检测边缘。

9.根据权利要求8所述的扫描转换装置，

所述边缘检测单元沿与所述第一运动矢量检测单元获得的运动矢量相同的方向检测所述边缘。

10.一种扫描转换方法，其用于将隔行视频信号转换成逐行图像信号，所述扫描转换方法包括以下步骤：

第一插值像素生成步骤，用于根据在由时钟时间t处的扫描场和先于时钟时间t处的扫描场两个扫描场的时钟时间t-2处的扫描场构成的具有相同奇偶性的扫描场的像素之间检测到的运动矢量MV，获得相当于一个时钟时间的移动量的移动量MV/2，并且用于将先于时钟时间t处的扫描场一个扫描场的时钟时间t-1处的扫描场的像素移动该移动量MV/2，以生成时钟时间t处的扫描场的插值像素；

第二插值像素生成步骤，用于利用已在所述第一插值像素生成步骤生成了插值像素的时钟时间t处的扫描场内的像素，来生成扫描场中的不存在的水平扫描线的插值像素；

错误插值检测步骤，用于通过根据时钟时间t处的扫描场的像素和在所述第一插值像素生成步骤生成的时钟时间t处的扫描场的插值像素获得表示水平方向上的像素偏移的第二运动矢量，并将时钟时间t处的扫描场的运动矢量MV与该第二运动矢量进行比较，来检测错误插值；以及

输出步骤，用于基于对所述错误插值检测步骤的检测结果，利用所述第一插值像素生成步骤和所述第二插值像素生成步骤生成的插值像素，来输出视频图像信号。

11.一种错误插值检测方法，其用于检测在将隔行视频图像信号转换成逐行图像信号时出现的错误插值，所述错误插值检测方法包括以下步骤：

第一插值像素生成步骤，用于根据在由时钟时间t处的扫描场和先于时钟时间t处的扫描场两个扫描场的时钟时间t-2处的扫描场构成的具有相同奇偶性的扫描场的像素之间检测到的运动矢量MV，获得相当于一个时钟时间的移动量的移动量MV/2，并且用于将先于时钟时间t处的扫描场一个扫描场的时钟时间t-1处的扫描场的像素移动该移动量MV/2，以生成时钟时间t处的扫描场的插值像素；

第二插值像素生成步骤，用于利用已在所述第一插值像素生成步骤生成了插值像素的时钟时间t-1处的扫描场内的像素，来生成扫描场中的不存在的水平扫描线的插值像素；

错误插值检测步骤，用于通过根据时钟时间t处的扫描场的像素和在所述第一插值像素生成步骤生成的时钟时间t处的扫描场的插值像素获得表示水平方向上的像素偏移的第二运动矢量，并将时钟时间t处的扫描场的运动矢量MV与该第二运动矢量进行比较，来检测错误插值；以及

输出步骤，用于基于对所述错误插值检测步骤的检测结果，利用所述第一插值像素生成步骤和所述第二插值像素生成步骤生成的插值像素，来输出视频图像信号。

Images