CN101552866A - 视频信号内插设备、视频显示设备以及视频信号内插方法 - Google Patents

Abstract

一种视频信号内插设备，该设备包括：检测模块(36b)，通过块匹配从输入的之前帧的视频信号和之后帧的视频信号中检测运动矢量；算法模块(36c)，计算检测到的运动矢量的直方图；校正模块(36d)，基于计算出的直方图来实施校正处理，以免输出由检测模块(36b)错误地检测到的运动矢量；以及生成模块(37)，基于被实施过校正处理的运动矢量，从之前帧的视频信号和之后帧的视频信号中产生内插帧的视频信号。

Description

视频信号内插设备、视频显示设备以及视频信号内插方法

技术领域

本发明涉及视频信号内插设备、视频显示设备、以及视频信号内插方法，其中，基于检测到的运动矢量，从之前帧的视频信号和之后帧的视频信号中来产生内插帧的视频信号。

背景技术

众所周知，为了更加平滑并且自然的展现图像运动，薄型液晶显示器等等的新近模型加入了帧内插功能。该帧内插功能意味着从逐帧输入的视频信号中来产生内插帧的视频信号，并且以加倍的速率交替显示输入帧的视频信号和内插帧的视频信号。

更具体地，该帧内插功能将之前和之后输入的帧的图像各自分隔成多个块，并且通过比较之前帧和之后帧的相同块之间的图像来检测运动矢量。基于检测到的这些运动矢量，从之前帧的视频信号和之后帧的视频信号中来产生内插帧的视频信号。

该类型的帧内插功能要求将帧内逐块运动搜索的范围设置得更宽，以便即使从快速移动的图像中也能够精确地检测到运动矢量。然而，加宽搜索的范围增加了需要检测的矢量的数量，也具有了错误检测的更高发生频率。

第2003-259374号日本专利申请出版物披露了一种用于通过以下步骤来转换扫描格式的设备和方法：计算最终运动矢量上的直方图数据；将计算出的直方图数据的最大值与预定阈值进行比较以确定是否存在整体运动；以及基于确定结果来适应性地产生内插帧。

发明内容

本发明是鉴于上述的情况来实现的。因此本发明的目的是提供一种视频信号内插设备、一种视频显示设备、以及一种视频信号内插方法，其中，即使从快速移动的图像中也能够精确地检测运动矢量，并且通过范围的设定(extension)能够防止由于运动矢量的错误检测而引起的错误的帧内插，从而实现了具有平滑运动的优质的视频显示。

根据本发明的一个方面，提供了一种视频信号内插设备，该设备包括：输入模块，配置为被逐帧输入视频信号；检测模块，配置为通过块匹配从输入到输入模块的之前帧的视频信号和之后帧的视频信号中检测运动矢量；算法模块，配置为计算由检测模块检测到的运动矢量的直方图；校正模块，配置为基于由算法模块计算出的直方图来实施校正处理，以免输出由检测模块错误地检测到的运动矢量；以及生成模块，配置为基于被校正模块实施过校正处理的运动矢量从之前帧的视频信号和之后帧的视频信号中来产生内插帧的视频信号。

根据本发明的另一方面，提供了一种视频显示设备，该设备包括：输入模块，配置为用于被逐帧输入视频信号；检测模块，配置为通过块匹配从输入到输入模块的之前帧的视频信号和之后帧的视频信号中检测运动矢量；算法模块，配置为计算由检测模块检测到的运动矢量的直方图；校正模块，配置为基于由算法模块计算出的直方图来实施校正处理，以免输出由检测模块错误地检测到的运动矢量；生成模块，配置为基于被校正模块实施过校正处理的运动矢量从之前帧的视频信号和之后帧的视频信号中产生内插帧的视频信号；以及显示模块，配置为选择性地显示由生成模块产生的内插帧的视频信号和逐帧输入到输入模块的视频信号。

根据本发明的另一方面，提供了一种视频信号内插方法，该方法包括：逐帧输入视频信号；通过块匹配从输入的之前帧的视频信号和之后帧的视频信号中来检测运动矢量；计算检测到的运动矢量的直方图；基于计算出的直方图来实施校正处理，以免输出错误地检测到的运动矢量；以及基于被实施过校正处理的运动矢量从之前帧的视频信号和之后帧的视频信号中来产生内插帧的视频信号。

根据以上对本发明的描述，基于检测到的运动矢量的直方图实施校正处理，以免输出错误地检测到的运动矢量。这使得甚至从快速移动的图像中也能够精确地检测到运动矢量，并且通过范围的设定能够防止由于运动矢量的错误检测引起的错误的帧内插，从而得到具有平滑运动的优质的视频显示。

本发明的另外的目的和优势将在下面的描述中阐明，并且部分地将通过描述而变得显而易见，或者可以通过本发明的实践来获悉。通过下文中特别指出的手段以及组合的方式能够实现并且获得本发明的目的和优势。

附图说明

并入本说明书并且构成本说明书的一部分的附图示出了本发明的实施例，连同上面给出的发明内容的描述以及下面给出的实施例的详细描述用于解释本发明的原理。

图1是示出了本发明的实施例的框图，用于阐述电视广播接收设备的视频信号处理系统；

图2是用于解释并示出根据本实施例的电视广播接收设备所具有的帧内插处理模块的实例的框图；

图3是用于解释并示出根据本实施例的帧内插处理模块所具有的运动矢量检测模块的实例的框图；

图4是用于解释并示出由根据本实施例的运动矢量检测模块所计算出的运动矢量直方图的实例的曲线图；

图5是用于解释并示出由根据本实施例的运动矢量检测模块执行的第一校正处理操作的流程图；

图6是用于解释并示出由根据本实施例的运动矢量检测模块执行的第二校正处理操作的流程图；

图7是用于解释并示出如何正常地检测沿垂直方向移动的水平线的运动矢量的示意图；

图8是用于解释并示出由于瞬变现象垂直运动的水平线的运动矢量是如何被错误地检测的示意图；以及

图9是用于解释并示出由根据本实施例的运动矢量检测模块计算出的运动矢量直方图的另一实施例的曲线图。

具体实施方式

在下文中，将参考附图详细描述本发明的实施例。图1示意性地示出了电视广播接收设备11的视频信号处理系统，其中，将在本实施例中描述该电视广播接收设备。更具体地，通过设计用于接收数字电视广播的天线12来接收数字电视广播信号，并且将该数字电视广播信号通过输入端13供应给调谐和解调模块14。

调谐和解调模块14将输入的数字电视广播信号调谐到所期望信道的广播信号，解调该调谐后的信号并且将结果输出到解码器15。解码器15对从调谐和解调模块14输入的信号实施解码处理，从而产生输出到选择器16的数字视频信号。

通过设计用于接收模拟电视广播的天线17来接收模拟电视广播信号，并且将该模拟电视广播信号通过输入端18供应给调谐和解调模块19。调谐和解调模块19将输入的模拟电视广播信号调谐到所期望信道的广播信号，并解调该调谐后的信号以产生模拟视频信号。

将通过该调谐和解调模块19产生的模拟视频信号提供给A/D(模拟/数字)转换模块20，在该转换模块中，在输出到选择器16之前，将该模拟视频信号转换成数字视频信号。

将供应给设计用于模拟视频信号的外部输入端21的模拟视频信号提供给A/D转换模块22，在该转换模块中，在输出到选择器16之前，将该模拟视频信号转换成数字视频信号。将供应给设计用于数字视频信号的外部输入端23的数字视频信号直接提供给选择器16。

此处，选择器16从分别由解码器15、A/D转换模块20和22以及外部输入端23提供的数字视频信号中选择一种数字视频信号，并且将所选择的数字视频信号提供给视频信号处理模块24。

视频信号处理模块24对输入的数字视频信号进行各种形式的信号处理，包括定标、IP(顺序隔行扫描)转换、增强处理、边缘增强、白平衡、伽马校正、高频振动处理以及帧内插处理。

然后，将通过视频信号处理模块24信号处理后的视频信号提供给用于视频显示的视频显示模块25。顺便提及，该视频显示模块25可以是平板显示器，诸如表面传导电子发射显示器、液晶显示器以及等离子显示器。

该电视广播接收设备11的各种操作，包括以上提到的种种接收操作，均处于控制模块26的集中控制之下。控制模块26是具有内置CPU(中央处理器)等等的微处理器。控制模块26接收来自操作模块27的操作信息或通过接收模块29接收从远程控制器28传输的操作信息，并且控制多个组件以对该操作的内容作出反映。

此处，控制模块26主要存取：ROM(只读存储器)30，其包含用于CPU执行的控制程序；RAM(随机存取存储器)31，其用于为CPU提供工作区域；以及非易失性存储器32，其用于存储各种类型的设定信息、控制信息等。

图2示出了帧内插处理模块33的实施例，其中，该帧内插处理模块包括在上述的视频信号处理模块24中。更具体地，该帧内插处理模块33具有输入端34，其中，60帧/秒的例如RGB、YCbCr、或其他标准的视频信号被提供给该输入端。将提供给该输入端34的视频信号连续地逐帧存储到帧储存器35中。

将该帧存储器35中存储的每个帧的视频信号均提供给运动矢量检测模块36。如图3中所示，该运动矢量检测模块36具有输入端36a、检测模块36b、算法模块36c、校正模块36d、以及输出端36e。将存储在帧存储器35中的视频信号提供给输入端36a。检测模块36b从提供给输入端36a的视频信号中来检测运动矢量。算法模块36c计算由检测模块36b检测到的运动矢量的直方图。基于由算法模块36c计算出的直方图，校正模块36d实施预定的校正处理，以免输出由检测模块36b错误地检测到的运动矢量。输出端36e输出由校正模块36d校正后的运动矢量。

检测模块36b通过使用一种所谓的块匹配方法来检测运动矢量，其中，基于帧存储器35中存储的当前帧的视频信号和之前帧的视频信号，通过比较相应块的单位中的像素来预测运动。

如随后将描述的，算法模块36c计算由检测模块36b检测到的运动矢量的直方图，以及校正模块36d基于计算出的直方图上的运动矢量的分布来检测错误地检测到的运动矢量。然后该校正模块36d进行设置以排除错误地检测到的运动矢量，并使该检测模块36b重新执行运动检测处理。因此，仅仅得到确定为正确的运动矢量，并且通过输出端36e将该运动矢量输出到内插帧生成模块37。

基于由运动矢量检测模块36提供的且确定为正确的运动矢量，内插帧生成模块37从帧存储器35中存储的当前帧的视频信号和之前帧的视频信号中来产生内插帧的视频信号。将产生的视频信号存储到帧存储器35中。

然后，以加倍的速率交替地读取帧存储器35中存储的输入帧的视频信号和内插帧的视频信号。以120帧/秒的速率将读取到的视频信号从输出端38输出。应该注意，通过内插控制模块39来控制帧内插处理模块33的上述操作，其中，该内插控制模块39由上述的控制模块26来控制。

图4示出了根据块匹配方法从由上述的运动矢量检测模块36检测到的运动矢量中的水平运动矢量中计算的直方图的实施例。该直方图示出了通过块匹配方法从检测到的水平运动矢量中计算出的各个相同的运动矢量的数目(矢量频率(vector frequencies))。

图4的直方图具有这样的特性，其中，运动矢量集中在水平零矢量的附近，在距离水平零矢量附近相当远的水平矢量位置B和-B处只发现少量运动矢量。

用类似这样的直方图，在距离水平零矢量附近相当远的水平矢量位置B和-B处检测到的运动矢量可能就是基于错误的检测得到的。然后，运动矢量检测模块36实施预定的校正处理，以免输出错误地检测到的运动矢量，因此只是将确定为正确的运动矢量输出到内插帧生成模块37。

例如，为了防止输出错误地检测到的运动矢量，运动矢量检测模块36的校正处理由以下将要描述的第一校正处理和第二校正处理构成。第一校正处理是当通过块匹配方法执行运动检测时限制除了基于运动矢量的直方图确定为正确的运动矢量以外的运动矢量。

更具体地，运动矢量检测模块36将阈值设定到例如计算出的直方图的最大矢量频率的10％，并且将运动搜索的新的范围仅仅设定到其中矢量频率超出该阈值的区域L1。然后运动矢量检测模块36基于该新设定的运动搜索的范围重新执行运动检测处理。这使得能够只是将确定为正确的运动矢量输出到帧生成模块37而不带有错误地检测到的运动矢量。

图5示出了上述第一校正处理操作的整体流程图。即，当该处理开始时(步骤S5a)，运动矢量检测模块36在步骤S5b中通过块匹配方法执行运动检测处理。在步骤S5c中，运动矢量检测模块36确定在单一块上的运动检测处理是否是在当前设定的搜索范围内完成的。如果确定其仍需要完成(否)，则运动矢量检测模块36返回到步骤S5b的处理。

如果在上述步骤S5c中确定了在单一块上的运动检测处理是在当前设定的搜索范围内完成的(是)，则在步骤S5d中运动矢量检测模块36确定在单一帧内对于所有块的运动检测处理是否完成。如果确定其仍需要完成(否)，则运动矢量检测模块36返回到步骤S5b的处理。

另一方面，如果在上述步骤S5d中确定在单一帧内对于所有块的运动检测处理完成了(是)，则运动矢量检测模块36在步骤S5e中计算来自检测到的运动矢量的直方图。在步骤S5f中，运动矢量检测模块36确定矢量频率落到预定阀值或小于预定阀值的区域是否存在。

如果确定矢量频率落到预定阈值或小于预定阈值的区域存在(是)，则运动矢量检测模块36进入到步骤S5g以将运动搜索的新的范围仅仅设定到矢量频率超过阈值的区域。然后运动矢量检测模块36返回到步骤S5b的处理。

如果在上述步骤S5f中确定矢量频率落到预定阈值或小于预定阈值的区域不存在(否)，则运动矢量检测模块36在步骤S5h中将检测到的运动矢量输出到内插帧生成模块37，并结束处理(步骤S5i)。

现在，当通过块匹配方法执行运动检测时，基于运动矢量的直方图，第二校正处理是将预定的偏移(offset)加到SAD(在每个块中的之前帧和之后帧之间的像素差之和)。更具体地，运动矢量检测模块36将阈值设定到例如计算出的直方图的最大矢量频率的10％。然后运动矢量检测模块36将预定偏移加到根据块匹配计算出的SAD，以使在矢量频率落到阀值或小于阀值的区域L2和区域L3中的SAD值减少。换句话说，加上偏移是为了减少区域L2和区域L3中的运动矢量的矢量频率。然后运动矢量检测模块36用该SAD偏移重新执行运动检测处理。这使得能够只是将确定为正确的运动矢量输出到内插帧生成模块37而不带有错误地检测到的运动矢量。

图6示出了上述第二校正处理操作的整体流程图。即，当该处理开始时(步骤S6a)，运动矢量检测模块36在步骤S6b中通过块匹配方法执行运动检测处理，并在步骤S6c中产生SAD。

在步骤S6d中，运动矢量检测模块36确定在单一块上的运动检测处理是否是在预定的搜索范围内完成的。如果确定其仍需要完成(否)，则运动矢量检测模块36返回到步骤S6b的处理。

如果在上述步骤S6b中确定了在单一块上的运动检测处理是在预定的搜索范围内完成的(是)，则在步骤S6e中运动矢量检测模块36确定在单一帧内对于所有块的运动检测处理是否完成。如果确定其仍需要完成(否)，则运动矢量检测模块36返回到步骤S6b的处理。

另一方面，如果在上述步骤S6e中确定在单一帧内对于所有块的运动检测处理完成了(是)，则运动矢量检测模块36在步骤S6f中从检测到的运动矢量中计算直方图。在步骤S6g中，运动矢量检测模块36确定矢量频率落到预定阀值或小于预定阀值的区域是否存在。

如果确定矢量频率落到预定阈值或小于预定阈值的区域存在(是)，则运动矢量检测模块36进入到步骤S6h以将偏移加到之前产生的SAD，以使运动矢量频率在矢量频率小于或等于阈值的区域中减少。然后运动矢量检测模块36返回到步骤S6b的处理。

如果在上述步骤S6g中确定矢量频率落到预定阈值或小于预定阈值的区域不存在(否)，则运动矢量检测模块36在步骤S6i中将检测到的运动矢量输出到内插帧生成模块37，并结束处理(步骤S6j)。

如在上述的第二校正处理中，将偏移加到SAD是防止运动矢量的错误检测的有效方法。例如，当显示重复图像时，很可能出现运动矢量的错误检测。众所周知，就SAD值而言，这些错误的运动矢量与正确的运动矢量仅仅具有微小的差异。

为了分开与正确的运动矢量的这些微小的差异，将偏移加到SAD。然后，通过将小偏移加到由直方图所确定的特定的运动矢量上(即，加到处于矢量频率落到阀值或小于阀值的区域中的运动矢量上)来重新执行运动矢量的检测。这样就减少了错误的运动矢量以选择正确的运动矢量。

在图4中示出的直方图中，假设出现在距离水平零矢量附近相当远的水平矢量位置B和-B处的运动矢量是正确的运动矢量，该运动矢量没有被错误地检测。即使在这种情况下，因为加上的偏移量很小，所以在明显的物体移动的情况下，在下一轮的运动矢量的检测中，不排除再次获得该运动矢量。

图7和图8示出了由于一种被称为“瞬变”现象引起的运动矢量的错误检测的实施例。通过块匹配方法进行的运动矢量的检测使用矩形形状的块，其中，该矩形形状的块的垂直边要比水平边短。瞬变指的是显著地发生在沿块的短边方向运动的图像中(即，在垂直滚动的图像中等)的缺陷现象。

在图7中，符号(a)和符号(b)代表各自的实施例，其中，图中阴影所示的细水平线从屏幕的下部到上部垂直移动。用虚线中示出的块来捕捉水平线，并且该水平线的运动被正常地检测。

通过比较，图8中符号(a)和符号(b)代表在屏幕上向下执行块匹配的实施例，并且匹配出现在了背景图像中。由于噪声或者其他微小的SAD差异，错误的向下的运动矢量被确定为是有效的(具有更小的SAD)，而不是屏幕上向上的正确的运动矢量，结果就是错误检测为向下的运动矢量。如果基于该错误地检测到的运动矢量产生内插帧的视频信号，水平线就会失踪。

就普通图像而言，这种垂直瞬变现象可能出现在少量字符从屏幕下部滚动到屏幕的上部的情况中，如在电影职员名单中，字符的微小笔画导致闪烁的问题。

图9示出了在上述情况中职员名单图像上的运动矢量直方图的实施例。更具体地，垂直零矢量集中于背景上，等等，并且沿正方向(屏幕上向上的方向)的相当数量的运动矢量(字符的原始运动)以有效成分的形式存在(图9的右侧)。相反，由于垂直瞬变现象只有少数错误地检测到的矢量出现在负方向(屏幕上向下的方向；图9的左侧)。

这种直方图表明负方向上的运动矢量非常可能是基于错误的检测得到的。因此，SAD是在矢量频率小于或等于预定阈值的负方向区域中的偏移。该偏移使得由于瞬变现象在负方向上的运动矢量的SAD大于正确的运动矢量的SAD，从而增加了在下一轮的运动矢量检测中仅仅检测正确的运动矢量的可能性。

根据上述实施例，直方图是从检测到的运动矢量计算得到的。基于计算出的直方图上的运动矢量的分布，限定了用于块匹配的搜索范围和/或SAD是用于排除错误的运动矢量的输出的偏移，以仅将确定为正确的运动矢量输出到内插帧生成模块37。这使得甚至从快速移动的图像中也能够精确地检测运动矢量，并且通过范围的设定来防止由于运动矢量的错误检测引起的错误的帧内插，从而得到具有平滑运动的优质的视频显示。

同样还可能避免由于瞬变现象以及重复图像等等中的微小SAD差异引起的运动矢量的错误检测。当摄像机沿水平方向、垂直方向、倾斜方向、或其它方向扫视时，由于屏幕内的运动方向通常是统一的，所以直方图特征性地集中在那个运动的方向上。在该情况下，如果少量地运动矢量处于与运动方向完全不同的区域内，则错误检测的概率就会增加。因此，能够使用上述实施例的技术来避免运动矢量的错误检测。

文中描述的系统的各个模块能够作为软件应用程序、硬件和/或软件模块、或诸如服务器的一台或多台计算机上的组件来实施。当单独示出各种模块时，它们可以共享某些或全部上述的基础逻辑或编码。

应当注意，本发明并不限定于上述实施例的确定形式，而在不背离本发明宗旨的情况下，可以通过对组件作各种修改来体现以及实施。上述实施例中公开的多个组件可以适当地进行组合以构成各种发明。例如，可以省略实施例中描述的某些组件。不同实施例的组件可以进行适当地组合。

Claims (7)

1.一种视频信号内插设备，其特征在于，包括：

输入模块(34)，配置为被逐帧输入视频信号；

检测模块(36b)，配置为通过块匹配从输入到所述输入模块(34)的之前帧的视频信号和之后帧的视频信号中检测运动矢量；

算法模块(36c)，配置为计算由所述检测模块(36b)检测到的所述运动矢量的直方图；

校正模块(36d)，配置为基于由所述算法模块(36c)计算出的所述直方图来实施校正处理，以免输出由所述检测模块(36b)错误地检测到的运动矢量；以及

生成模块(37)，配置为基于被所述校正模块(36d)实施过所述校正处理的运动矢量从所述之前帧的视频信号和所述之后帧的视频信号中产生内插帧的视频信号。

2.根据权利要求1所述的视频信号内插设备，其特征在于：

所述校正模块(36d)配置为将由所述算法模块(36c)计算出的所述直方图的矢量频率与预定阈值进行比较以检测由所述检测模块(36b)错误地检测到的运动矢量，并实施所述校正处理以免输出所述错误地检测到的运动矢量。

3.根据权利要求1所述的视频信号内插设备，其特征在于：

所述校正模块(36d)配置为将由所述算法模块(36c)计算出的所述直方图的矢量频率与预定阈值进行比较，将设计用于块匹配的运动搜索的新的范围仅仅设定到所述矢量频率超过所述阈值的区域，并使所述检测模块(36b)基于新设定的运动搜索的所述范围执行运动矢量的检测。

4.根据权利要求1所述的视频信号内插设备，其特征在于：

所述校正模块(36d)配置为将由所述算法模块(36c)计算出的所述直方图的矢量频率与预定阈值进行比较，并且使所述检测模块(36b)利用加到用于块匹配的SAD值的预定偏移来执行运动矢量的检测，以使所述运动矢量的所述矢量频率在所述矢量频率小于或等于所述阈值的区域中减少。

5.一种视频显示设备，其特征在于，包括：

输入模块(34)，配置为用于被逐帧输入视频信号；

检测模块(36b)，配置为通过块匹配从输入到所述输入模块(34)的之前帧的视频信号和之后帧的视频信号中检测运动矢量；

算法模块(36c)，配置为计算由所述检测模块(36b)检测到的所述运动矢量的直方图；

校正模块(36d)，配置为基于由所述算法模块(36c)计算出的所述直方图来实施校正处理，以免输出由所述检测模块(36b)错误地检测到的运动矢量；

生成模块(37)，配置为基于被所述校正模块(36d)实施过所述校正处理的运动矢量从所述之前帧的视频信号和所述之后帧的视频信号中产生内插帧的视频信号；以及

显示模块(25)，配置为选择性地显示由所述生成模块(37)产生的所述内插帧的视频信号和逐帧输入到所述输入模块(34)的所述视频信号。

6.一种视频信号内插方法，其特征在于，包括以下步骤：

逐帧输入(34)视频信号；

通过块匹配从输入的之前帧的视频信号和之后帧的视频信号中检测(S5b到S5d、S6b到S6e)运动矢量；

计算(S5e、S6f)检测到的所述运动矢量的直方图；

基于计算出的所述直方图来实施校正处理(S5g、S6h)，以免输出错误地检测到的运动矢量；以及

基于被实施所述校正处理的运动矢量，从所述之前帧的视频信号和所述之后帧的视频信号中产生(37)内插帧的视频信号。

7.根据权利要求6所述的视频信号内插方法，其特征在于：

实施所述校正处理(S5g、S6h)包括以下步骤：将计算出的所述直方图的矢量频率与预定阈值进行比较以检测错误地检测到的运动矢量并且实施校正处理以免输出所述错误地检测到的运动矢量。

Images