CN101674448B - 视频信号处理装置和视频信号处理方法 - Google Patents

Abstract

本发明提供了一种视频信号处理装置，其在由实际视频信号形成的原始图像帧之间生成插值帧。帧插值单元生成针对各像素指示生成形成插值帧的像素的过程的像素插值信息；接着，增强滤波器系数调整单元利用像素插值信息针对各像素确定要应用于形成插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；然后，增强滤波器应用单元对形成插值帧的像素应用通过系数调整单元针对各像素调整了系数的增强滤波器。

Description

视频信号处理装置和视频信号处理方法

技术领域

这里讨论的实施方式涉及视频信号处理装置、视频信号处理方法和视频信号处理程序。

背景技术

近来，以液晶显示器(LCD)和等离子显示面板(PDP)为代表的具有又大又薄屏幕的电视机是电视机市场的主流。在采用液晶显示器的电视机中，由于称作“保持显示器”的在16.7毫秒(1/60秒)内持续显示同一图像的系统，与自发光等离子显示器相比较，会报告出现图像模糊。当眼球跟随画面上图像的移动进行连续移动时，由于画面上的连续静止图像导致眼球的移动与图像的移动之间不匹配，从而认为出现这种模糊。为了提高这种运动图像特性，缩短保持时间是有效的。因此，现在许多液晶显示器采用二倍速显示。

为了实现二倍速显示，存在在由实际视频信号形成的原始图像帧之间插入黑屏帧的方法和在原始图像帧之间插入插值帧的方法。图14是解释传统技术的示意图。作为插入插值帧的方法，存在在原始图像帧之间插入一个插值帧的二倍速显示方法以及在原始图像帧之间插入三个插值帧的四倍速显示方法，如图14所示。作为插入插值帧的方法，还存在将24帧电影视频转换成120帧每秒(fps)的五倍速显示方法。由于插值帧生成为插值图像以插值在原始图像帧之间，所以在显示的图像中会出现模糊。因此，当插入帧的数量增加时，会损失运动图像(或者动画)的清晰度。

通常，为了减小在放大(或插值)帧中出现的模糊，公开了一种增强图像的边缘的增强处理方法(增强器)。针对形成帧的各像素执行增强处理以检测图像的边缘，并且在检测时对边缘应用增强滤波器，以清楚地强调边缘的方向的亮度差。公开了一种基于搜索运动矢量的结果控制用于在时间轴方向上进行增强处理的增强滤波器的系数的方法和一种基于各像素群的运动矢量的可靠性生成插值帧的亮度的方法。

在日本特开2006-91412号公报和日本特表2004-518339号公报中示例性公开了这样的传统技术。

上述传统技术的问题在于：可能不能够对插入了插值帧的流执行恰当的增强处理。例如，当对插入了插值帧的流应用传统增强处理时，不需要进行增强的原始图像帧也会增强，因此没有执行恰当的增强。另外，传统的增强处理对整个帧均匀地应用增强滤波器。然而，由于插值帧的模糊并不均匀地出现于帧内的所有像素中，所以出现如下问题：静止文本字幕增强太大，因此不能够进行恰当的增强。

发明内容

本发明的一个目的在于至少部分解决现有技术中的问题。

本发明涉及一种视频信号处理装置，其在由实际视频信号形成的原始图像帧之间生成插值帧，所述视频信号处理装置包括：像素信息生成单元，其生成指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为针对各像素指示生成形成所述插值帧的像素的过程的信息；系数调整单元，其利用由所述像素信息生成单元生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；以及增强滤波器应用单元，其对形成所述插值帧的像素应用通过所述系数调整单元针对各像素调整了系数的增强滤波器。

本发明还涉及一种视频信号处理方法，其在由实际视频信号形成的原始图像帧之间生成插值帧，所述视频信号处理方法包括以下步骤：生成步骤，生成指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为针对各像素指示生成形成所述插值帧的像素的过程的信息；确定步骤，利用通过所述生成步骤生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度；调整步骤，根据所确定的程度，针对各像素调整增强滤波器的系数；以及应用步骤，对形成所述插值帧的像素应用通过所述调整步骤针对各像素调整了系数的增强滤波器。

本发明又涉及一种帧率转换装置，其通过在原始图像帧之间插入插值帧来转换帧率，所述帧率转换装置包括：帧插值单元，其生成在所述原始图像帧之间进行插值的所述插值帧；像素信息生成单元，其指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为生成针对各像素指示生成形成插值帧的像素的过程的信息；系数调整单元，其利用由所述像素信息生成单元生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；增强滤波器应用单元，其对形成由所述帧插值单元生成的插值帧的像素应用通过所述系数调整单元针对各像素调整了系数的增强滤波器；以及插值帧插入单元，其将通过所述增强滤波器应用单元应用了增强滤波器的插值帧插入在所述原始图像帧之间。

利用在权利要求中具体指出的要素和组合实现并获得本发明的目的和优点。

应该理解，上述一般性描述和下面的详细描述是示例性和解释性的并且并非限制所要求保护的本发明。

附图说明

图1是解释根据第一实施方式的视频信号处理装置的概要的示意图；

图2是根据第一实施方式的视频信号处理装置的构成的框图；

图3是解释运动矢量搜索的示意图；

图4是解释插值像素的生成的示意图；

图5A和5B是解释增强滤波器的系数的调整的示意图；

图6是由根据第一实施方式的视频信号处理装置执行的处理步骤的序列图；

图7是由根据第一实施方式的视频信号处理装置执行的处理步骤的流程图；

图8是解释根据第二实施方式的运动矢量搜索的示意图；

图9是由根据第二实施方式的视频信号处理装置执行的处理步骤的流程图；

图10是根据第三实施方式的视频信号处理装置的结构的框图；

图11是解释帧率转换装置的示意图；

图12是解释帧率转换装置的另一个示意图；

图13示出了执行视频信号处理程序的计算机；以及

图14是解释传统技术的示意图。

具体实施方式

下面将参照附图详细解释根据本发明的视频信号处理装置、视频信号处理方法和视频信号处理程序的示例性实施方式。首先解释根据第一实施方式的视频信号处理装置的概要，接下来解释根据第一实施方式的视频信号处理装置的构成、过程程序和效果。然后，解释其它实施方式。

首先，参照图1解释根据第一实施方式的视频信号处理装置的概要。图1是解释视频信号处理装置的概要的示意图。在第一实施方式中，尽管假定视频信号处理装置生成进行二倍速显示的插值帧，但是本发明不限于此并且还能够类似地应用到四倍速显示和五倍速显示。

如图1所示，在根据第一实施方式的视频信号处理装置中，帧插值单元在原始图像帧之间生成插值帧。此时，帧插值单元生成针对各插值像素指示如何生成像素的过程的像素插值信息。

例如，帧插值单元搜索原始图像帧之间的运动矢量，并且利用搜索到的运动矢量生成各个插值像素。此时，针对指示如何生成像素的过程的像素插值信息，帧插值单元生成“运动矢量经过了插值帧上的像素坐标”的信息和“运动矢量没有经过插值帧上的像素坐标”的信息。

接下来，如图1所示，在视频信号处理装置中，增强滤波器系数调整单元利用像素插值信息针对各插值像素确定将应用到插值像素的增强程度，并且根据确定的程度针对各插值像素调整增强滤波器的系数。

例如当像素插值信息是“运动矢量经过了插值帧上的像素坐标”的信息时，增强滤波器系数调整单元确定不增加将要应用到插值像素的增强程度。增强滤波器系数调整单元将增强滤波器的系数调整为“α＝1”。

另外，例如当像素插值信息是“运动矢量没有经过插值帧上的像素坐标”的信息时，增强滤波器系数调整单元确定应该增加将要应用到插值像素的增强程度。增强滤波器系数调整单元然后将增强滤波器的系数调整为“α＞1”。

如图1所示，在视频信号处理装置中，增强滤波器应用单元对形成插值帧的各插值像素应用具有针对各插值像素调整的系数的增强滤波器。

例如，增强滤波器应用单元利用针对各插值像素调整的系数“α＝1”来计算增强滤波器的系数“B”，并且对相应的插值像素应用系数“B”。另外，例如，增强滤波器应用单元利用针对各插值像素调整的系数“α＞1”来计算增强滤波器的系数“B”，并且对相应的插值像素应用系数“B”。

如上所述，根据第一实施方式的视频信号处理装置利用指示各插值过程的生成过程的像素插值信息来针对各插值像素调整增强滤波器的系数。视频信号处理装置对各插值像素应用增强滤波器。因此，视频信号处理装置能够对插入了插值帧的流执行恰当的增强处理。

例如，在插值像素的过程中，当运动矢量没有经过插值帧上的像素坐标时，认为在插值像素中出现模糊。另一方面，当运动矢量经过插值帧上的像素坐标时，不认为在插值像素中出现模糊。如上所述，插值帧的模糊不会均匀地出现于所有的插值像素中。在这方面，根据第一实施方式的视频信号处理装置基于插值像素的过程确定在插值像素中是否出现模糊。由此，例如通过进行调整使得不增强静止文本字幕，能够恰当地对流进行增强。

参照图2到图5解释根据第一实施方式的视频信号处理装置的构成。图2是视频信号处理装置的构成的框图。

如图2所示，根据第一实施方式的视频信号处理装置10包括帧插值单元11、增强滤波器系数调整单元12和增强滤波器应用单元13。

帧插值单元11生成原始图像帧之间的插值帧，并且生成针对各像素指示生成形成插值帧的插值像素的过程的像素插值信息。具体地讲，帧插值单元11包括矢量搜索单元11a和像素插值单元11b。

矢量搜索单元11a连接到像素插值单元11b，并且搜索原始图像帧之间的运动矢量。具体地讲，矢量搜索单元11a搜索输入原始图像流的原始图像帧之间的运动矢量，并且向像素插值单元11b通知搜索的运动矢量。在第一实施方式中，矢量搜索单元11a搜索一帧的运动矢量，并且向像素插值单元11b通知这一帧的运动矢量。

参照图3解释由矢量搜索单元11a执行的运动矢量搜索。图3是解释运动矢量搜索的示意图。在图3中的水平方向上的三条实线之中，上实线和下实线表示用于搜索运动矢量的原始图像帧，而中间实线表示要进行插值的帧。垂直方向上的虚线将像素坐标表示为像素所在的位置。

如图3所示，矢量搜索单元11a例如利用基于MPEG(运动图像专家组)所采用的块匹配的矢量搜索来对原始图像帧之间的运动矢量进行搜索。也就是说，矢量搜索单元11a将原始图像帧划分成多个块，并且搜索运动矢量的块单元。矢量搜索单元11a还能够搜索运动矢量的像素单元。

当由矢量搜索单元11a搜索到的运动矢量是左向运动矢量时，矢量搜索单元11a搜索在左向上运动量3的矢量。当由矢量搜索单元11a搜索到的运动矢量是右向运动矢量时，矢量搜索单元11a搜索在左向上运动量2的矢量。如图3所示，左向运动矢量没有经过插值帧上的像素坐标。另一方面，如图3所示，右向运动矢量经过插值帧上的像素坐标。

像素插值单元11b连接到矢量搜索单元11a、增强滤波器系数调整单元12和增强滤波器应用单元13。像素插值单元11b生成要进行插值的帧和像素插值信息。具体地讲，像素插值单元11b利用从矢量搜索单元11a通知的运动矢量生成插值像素和像素插值信息。当像素插值单元11b通过生成一帧的插值像素生成插值帧时，像素插值单元11b向增强滤波器应用单元13发送插值帧。当像素插值单元11b通过生成一帧内的插值像素来生成一帧的像素插值信息时，像素插值单元11b向增强滤波器系数调整单元12通知所生成的像素插值信息。

参照图4解释由像素插值单元11b生成插值像素。图4是解释插值像素的生成的示意图。当从矢量搜索单元11a通知的运动矢量经过插值帧上的像素坐标时(见图3右侧的运动矢量)，像素插值单元11b平行移动现有像素以生成要进行插值的像素。例如，如图4所示，当大小是运动矢量“mv”的一半的“mv/2”矢量的端点在像素坐标上时，像素插值单元11b平行于运动矢量“mv”移动原始图像帧中的现有像素以生成插值像素。

另一方面，当从矢量搜索单元11a通知的运动矢量没有经过插值帧上的像素坐标时(见图3左侧的运动矢量)，像素插值单元11b利用附近现有像素进行计算来生成插值像素。例如，如图4所示，当“mv/2”矢量的端点不在像素坐标上时，像素插值单元11b利用运动矢量“mv/2”的端点附近的四个现有像素执行双线性插值计算来生成插值像素。在这个过程中，通过应用低通滤波器生成插值像素。因此，在生成的插值像素中出现模糊。

接下来，解释由像素插值单元11b执行的像素插值信息的生成。根据第一实施方式的像素插值单元11b针对像素插值信息生成“运动矢量经过了插值帧上的像素坐标”的信息和“运动矢量没有经过插值帧上的像素坐标”的信息。例如通过确定从矢量搜索单元11a通知的运动矢量除以2获得的商是否是整数来生成这个信息。

像素插值单元11b能够设置成仅仅将用于生成插值像素的矢量信息通知给增强滤波器系数调整单元12作为像素插值信息。在这种情况下，增强滤波器系数调整单元12确定运动矢量除以2获得的商是否是整数，并且确定是“运动矢量经过了插值帧上的像素坐标”还是“运动矢量没有经过插值帧上的像素坐标”。

增强滤波器系数调整单元12连接到像素插值单元11b和增强滤波器应用单元13。增强滤波器系数调整单元12利用像素插值信息针对各插值像素确定要应用到插值像素的增强程度，并且根据确定的程度调整增强滤波器的系数。具体地讲，增强滤波器系数调整单元12利用从像素插值单元11b通知的像素插值信息针对各插值像素确定增强程度，针对各插值像素调整增强滤波器的系数，并且向增强滤波器应用单元13通知一帧的调整系数。

参照图5A和5B解释由增强滤波器系数调整单元12执行的增强滤波器的系数的调整。图5A和5B是解释增强滤波器的系数的调整的示意图。在第一实施方式中，增强滤波器应用单元13利用图5A所示的增强滤波器并且利用图5B所示的方程计算增强滤波器的系数“B”。“B”是正数，附近四个像素的差值用作增强系数。增强滤波器系数调整单元12针对各插值像素调整系数“α”，由此针对各插值像素调整增强滤波器的系数。

例如当像素插值信息指示运动矢量经过插值滤波器上的像素坐标时，增强滤波器系数调整单元12确定要应用于插值像素的增强程度没有改变，并且将该系数调整为系数“α＝1”。因此，通过图5B所示的方程计算的增强滤波器的系数“B”没有改变。结果，要应用于插值像素的增强的程度也没有改变。

另一方面，例如当像素插值信息指示运动矢量不经过插值滤波器上的像素坐标时，增强滤波器系数调整单元12确定要应用于插值像素的增强程度增加，并且将该系数调整为系数“α＞1”。通过图5B所示的方程计算的增强滤波器的系数“B”是大值。结果，要应用于插值像素的增强的程度增加。

增强滤波器应用单元13连接到像素插值单元11b和增强滤波器调整单元12，并且对形成插值帧的各插值像素应用针对各插值像素调整了系数的增强滤波器。具体地讲，增强滤波器应用单元13利用从增强滤波器系数调整单元12通知的一帧的系数针对各插值像素对从像素插值单元11b发送的一帧的插值帧应用增强滤波器。

例如，当增强滤波器应用单元13对一帧的插值帧应用增强滤波器时，增强滤波器应用单元13利用从增强滤波器系数调整单元12通知的整个一帧的系数“α”来针对各插值像素计算整个帧内的增强滤波器的系数“B”。增强滤波器应用单元13然后针对各插值像素对整个一帧的插值帧应用针对各插值像素计算的整个帧内的增强滤波器的系数“B”。

接下来参照图6和图7解释由根据第一实施方式的视频信号处理装置执行的处理步骤。图6是由视频信号处理装置执行的处理步骤的序列图，而图7是由视频信号处理装置执行的处理步骤的流程图。

如图6所示，在视频信号处理装置10中，矢量搜索单元11a搜索原始图像帧之间的运动矢量(步骤S101)，并且向像素插值单元11b通知搜索到的运动矢量(步骤S102)。

像素插值单元11b然后生成插值像素和像素插值信息(步骤S103)，并且生成一帧的插值帧(步骤S104)。像素插值单元11b向增强滤波器应用单元13发送所生成的插值帧(步骤S105)，并且向增强滤波器系数调整单元12通知生成的像素插值信息(步骤S106)。

接下来，增强滤波器系数调整单元12利用通知的像素插值信息针对各插值像素确定要应用于插值像素的增强的程度(步骤S107)，并且根据确定的程度针对各插值像素调整增强滤波器的系数(步骤S108)。增强滤波器系数调整单元12向增强滤波器应用单元13通知调整后的增强滤波器的系数(步骤S109)。

另一方面，增强滤波器应用单元13利用从增强滤波器系数调整单元12通知的系数对从像素插值单元11b发送的形成插值帧的各插值像素应用增强滤波器(步骤S110)。

接下来，参照图7解释由视频信号处理装置10执行的整个处理步骤。视频信号处理装置10搜索运动矢量(步骤S201)，生成像素插值信息(步骤S202)，并且确定运动矢量除以2获得的商是否是整数(步骤S203)。通过确定运动矢量除以2获得的商是否是整数，视频信号处理装置10确定生成插值像素的过程，并且确定是否应该增加增强程度。

当运动矢量除以2获得的商是整数(步骤S203为是)时，通过平行移动现有像素生成插值像素。因此，该插值像素的增强程度不应该增加。因此，视频信号处理装置10将增强滤波器的系数调整为“α＝1”(步骤S204)。另一方面，当运动矢量除以2获得的商不是整数(步骤S203为否)时，通过应用低通滤波器生成插值像素。因此，该插值像素的增强程度不应该增加。因此，视频信号处理装置10将增强滤波器的系数调整为“α＞1”(步骤S205)。

然后，视频信号处理装置10针对各插值像素计算增强滤波器的系数“B”(步骤S206)，并且对各插值像素应用增强滤波器(步骤S207)。

如上所述，视频信号处理装置10在由实际视频信号形成的原始图像帧之间生成插值帧。帧插值单元11生成针对各插值像素指示生成形成插值帧的插值像素的过程的像素插值信息。增强滤波器系数调整单元12利用像素插值信息针对各插值像素确定要应用于插值像素的增强程度，并且根据确定的程度针对各插值像素调整增强滤波器的系数。增强滤波器应用单元13对形成插值帧的各插值像素应用针对各插值像素调整了系数的增强滤波器。

如上所述，视频信号处理装置10利用针对各插值像素指示生成过程的像素插值信息来针对各插值像素调整增强滤波器的系数，并且对各插值像素应用增强滤波器。从而，视频信号处理装置10能够对插入了插值帧的流执行恰当的处理。

例如，在生成插值像素的过程中，当运动矢量没有经过插值帧上的像素坐标时，认为在生成的插值像素中出现模糊。另一方面，当运动矢量经过插值帧上的像素坐标时，不认为在生成的插值像素中出现模糊。如上所述，在所有插值像素中没有均匀出现插值帧的模糊。在这个方面，视频信号处理装置10利用关于如何生成插值帧中的插值像素的信息确定在插值像素中是否出现模糊，然后视频信号处理装置10针对各插值像素调整增强滤波器的系数。因此，例如通过调整使得静止文本字幕没有增强可以对流进行恰当增强。

另外，根据第一实施方式的帧插值单元11针对像素插值信息生成指示在原始图像帧之间搜索到的运动矢量是否经过插值帧上的像素坐标的信息。当像素插值信息指示运动矢量没有经过插值帧上的像素坐标时，增强滤波器系数调整单元12确定要应用于由像素插值信息进行表示的像素的增强程度应该增加。增强滤波器系数调整单元12根据确定的程度调整系数。

如上所述，视频信号处理装置10将运动矢量的信息用于像素插值信息。因此，当通过搜索运动矢量执行插值像素的生成时，视频信号处理装置10能够对插入了插值帧的流执行恰当的增强处理。

根据上述第一实施方式的视频信号处理装置通过在原始图像帧之间在一个方向上搜索运动矢量生成插值帧。根据本发明的第二实施方式的视频信号处理装置通过在两个方向上搜索运动矢量生成插值帧。因此，在基于生成插值像素的过程确定增强的程度时，根据第二实施方式的视频信号处理装置还利用搜索到的两个运动矢量之间的关系。

参照图8解释根据第二实施方式的运动矢量搜索。图8是解释根据第二实施方式的运动矢量搜索的示意图。当由矢量搜索单元11a搜索到的运动矢量是左向运动矢量时，这些运动矢量具有两个运动矢量其中之一为另一个运动矢量的逆矢量的逆矢量关系。当由矢量搜索单元11a搜索的运动矢量是右向运动矢量时，两个运动矢量其中之一不是另一个运动矢量逆矢量。逆矢量是指仅仅是矢量的方向不同的两个矢量之间的关系，如图8的左侧所示。

当两个运动矢量其中之一与另一个运动矢量为逆矢量关系时，认为运动矢量的可靠性为高。因此，像素插值单元11b基于这些运动矢量生成插值像素。另一方面，当两个运动矢量其中之一与另一个运动矢量不是逆矢量关系时，认为运动矢量的可靠性为低。因此，像素插值单元11b利用一种通过进一步混合利用两个运动矢量生成的插值像素减小误差的方法生成插值像素。换言之，当没有获得逆矢量的关系时，像素插值单元11b有意地在插值像素中生成模糊。

因此，增强滤波器系数调整单元12确定运动矢量是否经过插值帧上的像素坐标，并且还确定两个运动矢量其中之一是否与另一个运动矢量为逆矢量关系。当像素插值信息指示两个运动矢量其中之一与另一个运动矢量不是逆矢量关系时，增强滤波器系数调整单元12确定不改变要应用于插值像素的增强的程度而不考虑运动矢量是否经过像素坐标。增强滤波器系数调整单元12将系数调整为“α＝1”。或者，作为确定不改变增强的程度的替代，增强滤波器系数调整单元12能够确定降低增强的程度。在这种情况下，增强滤波器系数调整单元12将系数调整为“α＜1”。

参照图9解释这个特征。图9是由根据第二实施方式的视频信号处理装置执行的处理步骤的流程图。视频信号处理装置10搜索运动矢量(步骤S301)，生成像素插值信息(步骤S302)，并且确定运动矢量除以2获得的商是否是整数(步骤S303)。

当运动矢量除以2获得的商是整数(步骤S303中为是)时，通过平行移动现有像素生成插值像素。因此，不应该增加插值像素的增强程度。因此，视频信号处理装置10将增强滤波器的系数调整为“α＝1”(步骤S304)。

另一方面，当运动矢量除以2获得的商不是整数(步骤S303为否)时，根据第二实施方式的视频信号处理装置10还确定两个运动矢量其中之一是否与另一个运动矢量为逆矢量关系(步骤S305)。

当两个运动矢量其中之一与另一个运动矢量为逆矢量关系(步骤S305为是)时，插值像素的增强程度应该增加。因此，视频信号处理装置10将增强滤波器的系数调整为“α＞1”(步骤S306)。另一方面，当两个运动矢量其中之一与另一个运动矢量不是逆矢量关系(步骤S305为否)时，认为有意地在插值像素中生成模糊，并且不应该增加插值像素的增强程度。因此，视频信号处理装置10将系数调整为“α＝1”(步骤S307)。

然后，视频信号处理装置10针对各插值像素计算增强滤波器的系数“B”(步骤S308)，并且对各插值像素应用增强滤波器(步骤S309)。

如上所述，根据第二实施方式的帧插值单元11指示运动矢量是否经过插值帧上的像素坐标，并且还生成指示两个运动矢量其中之一是否与另一个运动矢量为逆矢量关系的像素插值信息。当像素插值信息指示两个运动矢量其中之一与另一个运动矢量不是逆矢量关系时，增强滤波器系数调整单元12确定不增加增强程度，并且根据确定的程度调整系数。

如上所述，视频信号处理装置10将指示两个运动矢量是否为逆矢量关系的信息用作像素插值信息。因此，当通过在两个方向上搜索运动矢量执行插值像素的生成时，视频信号处理装置10能够对插入了插值帧的流执行恰当的增强处理。

尽管在上面解释了第一和第二实施方式，但是可以通过不同于上述实施方式的各种不同实施方式执行本发明。

在第一和第二实施方式中，假定将固定值用于增强滤波器的系数“B”，如图5B所示。然而，本发明不限于此。能够针对各插值像素计算增强滤波器的系数“B”，并且可以将不同的值用于各插值像素。

参照图10简要解释本发明的第三实施方式。图10是根据第三实施方式的视频信号处理装置的构成的框图。如图10所示，根据第三实施方式的视频信号处理装置20还包括边缘检测单元24，该边缘检测单元24位于增强滤波器应用单元23的前置级。图10所示的帧插值单元21、增强滤波器系数调整单元22和增强滤波器应用单元23分别对应于图2所示的帧插值单元11、增强滤波器系数调整单元12和增强滤波器应用单元13。

边缘检测单元24针对各插值像素在从像素插值单元21b发送的插值帧中检测形成插值帧的各插值像素的边缘量。为了检测类边缘(edge-like)特征，例如，已知的是对外围3×3像素应用拉普拉斯算子。然后，边缘检测单元24针对各插值像素根据检测到的类边缘特征计算增强滤波器的系数“B”。当边缘检测单元24针对一帧计算增强滤波器的系数“B”时，边缘检测单元24向增强滤波器应用单元23发送插值帧，并且向增强滤波器应用单元23通知针对每帧计算出的增强滤波器的系数“B”。

增强滤波器应用单元23利用从增强滤波器系数调整单元22通知的系数“α”针对各插值像素计算从边缘检测单元24通知的增强滤波器的系数“B”。增强滤波器应用单元23针对一帧计算增强滤波器的系数“B”，并且对形成插值帧的各插值像素应用计算出的增强滤波器的系数“B”。

上述视频信号处理装置例如可以实现为图11和图12所示的帧率转换装置的一部分。也就是说，如图11所示，除了帧插值单元110、增强滤波器系数调整单元120和增强滤波器应用单元130以外，帧率转换装置100还包括原始图像帧输入接收单元101、插值帧插入单元102和输出单元103。图11所示的帧插值单元110、增强滤波器系数调整单元120和增强滤波器应用单元130分别对应于图2所示的帧插值单元11、增强滤波器系数调整单元12和增强滤波器应用单元13。

原始图像帧输入接收单元101接收原始图像帧的视频流的输入，并且将输入接收的原始图像帧发送给矢量搜索单元110a。原始图像帧输入接收单元101还向插值帧插入单元102发送输入接收的原始图像帧。插值帧插入单元102将通过增强滤波器应用单元130应用了增强滤波器的插值帧插入在从原始图像帧输入接收单元101发送的原始图像帧之间，并且将插值帧发送给输出单元103。输出单元103输出通过插值帧插入单元102插入了插值帧的视频流。

例如当需要应用增强滤波器扩展图像时，能够如图12所示实现帧率转换装置。也就是说，如图12所示，帧率转换装置200还能够包括插值帧插入单元202，该插值帧插入单元202位于增强滤波器应用单元230之后。图12所示的帧插值单元210、增强滤波器系数调整单元220和增强滤波器应用单元230分别对应于图2所示的帧插值单元11、增强滤波器系数调整单元12和增强滤波器应用单元13。

插值帧插入单元202将通过像素插值单元210b生成的插值帧插入在从原始图像帧输入接收单元201发送的原始图像帧之间，并且将生成的插值帧发送给增强滤波器应用单元230。增强滤波器应用单元230对各插值像素应用调整了系数的增强滤波器。结果，增强滤波器应用单元230对原始图像帧应用没有调整系数的增强滤波器(“α＝1”)。增强滤波器应用单元230将应用了增强滤波器的视频流发送给输出单元203。输出单元203输出插入了插值帧并且应用了增强滤波器的视频流。

如上所述，增强滤波器应用单元230还具有应用用于放大等的增强滤波器的传统增强滤波器应用单元的功能。因此，能够减小成本。

在第一和第二实施方式中，通过确定增强应该增加还是不应该增加来调整系数。然而，本发明不限于此。例如，当两个方向的运动矢量不是逆矢量关系时，可以通过确定增强应该减小来将系数调整为“α＜1”。

除非另外指明，否则在本说明书中描述或者在附图(例如，图6、图7和图9)中所示的处理步骤、具体名称和包括各种类型的数据和参数的信息可以任意改变。

在附图中描述的各个装置的各个组成要素是功能性概念，并且附图(例如，图2、图10、图11和图12)中描述在物理上相同的结构并不总是必需的。也就是说，这些装置的分布和集成的特定模式不限于这里描述的模式，并且根据各种类型的负载和使用状态，所有或一部分装置能够在功能上或者在物理上分布或集成在任意单元中。此外，通过各个装置执行的处理功能的全部或者任意部分可以由中央处理单元(CPU)和由该CPU进行分析和执行的程序来实现或者可以由有线逻辑来实现为硬件。

通过预先准备程序，诸如个人计算机和工作站的计算机能够执行在以上实施方式中解释的各种过程。下面参照图13解释执行功能与上述实施方式的功能相似的视频信号处理程序的计算机的一个示例。图13描述了执行视频信号处理程序的计算机。

如图13所示，视频信号处理程序(计算机)30包括彼此通过总线36连接的高速缓冲存储器31、RAM(随机存取存储器)32、HDD(硬盘驱动器)33、ROM(只读存储器)34和CPU 35。ROM 34包括呈现了与上述实施方式的功能相似的功能的视频信号处理程序。也就是说，ROM34包括矢量搜索程序34a、像素插值程序34b、增强滤波器系数调整程序34c和增强滤波器应用程序34d，这如图13所示。

CPU 35通过读取这些程序执行程序34a到34d。如图13所示，程序34a到34d用作矢量搜索处理35a、像素插值处理35b、增强滤波器系数调整处理35c和增强滤波器应用处理35d。处理35a到35d分别对应于矢量搜索单元11a、像素插值单元11b、增强滤波器系数调整单元12和增强滤波器应用单元13。

各程序34a到34d并不是必需要预先存储在ROM 34中。例如，这些程序可以存储在诸如FD(软盘)、CD(压缩盘)一ROM、MO(磁光)盘、DVD(数字多功能盘)、光磁盘和插入计算机30中的IC(集成电路)卡的“便携式物理介质”、诸如设置在计算机30内部或外部的HDD的“固定物理介质”或者经由公共线路、互联网、LAN(局域网)或WAN(广域网)连接到计算机30的“另一计算机(或者服务器)”中，并且计算机从这些介质读取并执行这些程序。

根据这些实施方式，能够对插入了插值帧的流执行恰当的增强处理。

这里叙述的所有示例和条件语言是用于教学目的，以帮助读者理解本发明和发明人对促进现有技术贡献的概念，并且解释为不限于这些具体叙述的示例和条件，说明书中的这些示例的组织也不涉及本发明的优劣性的展示。尽管详细描述了本发明的实施方式，但是应该理解在不偏离本发明的精神和范围的情况下可以进行各种改变、替代和改动。

Claims (5)

1.一种视频信号处理装置，其在由实际视频信号形成的原始图像帧之间生成插值帧，所述视频信号处理装置包括：

像素信息生成单元，其生成指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为针对各像素指示生成形成所述插值帧的像素的过程的信息；

系数调整单元，其利用由所述像素信息生成单元生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；以及

增强滤波器应用单元，其对形成所述插值帧的像素应用通过所述系数调整单元针对各像素调整了系数的增强滤波器。

2.如权利要求1所述的视频信号处理装置，其中

当所述信息指示所述运动矢量不经过所述插值帧上的像素坐标时，所述系数调整单元确定应该增加要应用于由所述信息表示的像素的增强程度，并且根据所确定的程度来调整所述系数。

3.如权利要求2所述的视频信号处理装置，其中，所述视频信号处理装置在所述原始图像帧之间在两个方向上搜索运动矢量并且生成所述插值帧，

所述像素信息生成单元生成指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标、并且指示在所述原始图像帧之间在两个方向上搜索到的两个运动矢量其中之一是否与另一个运动矢量为逆矢量关系的信息，作为所述指示生成形成所述插值帧的像素的过程的信息，并且

当所述信息指示在所述原始图像帧之间在两个方向上搜索到的两个运动矢量其中之一与另一个运动矢量不是逆矢量关系时，即使所述信息指示所述运动矢量不经过所述插值帧上的像素坐标，所述系数调整单元也确定不增加所述增强程度，并且根据所确定的程度调整所述系数。

4.一种视频信号处理方法，其在由实际视频信号形成的原始图像帧之间生成插值帧，所述视频信号处理方法包括以下步骤：

生成步骤，生成指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为针对各像素指示生成形成所述插值帧的像素的过程的信息；

确定步骤，利用通过所述生成步骤生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度；

调整步骤，根据所确定的程度，针对各像素调整增强滤波器的系数；以及

应用步骤，对形成所述插值帧的像素应用通过所述调整步骤针对各像素调整了系数的增强滤波器。

5.一种帧率转换装置，其通过在原始图像帧之间插入插值帧来转换帧率，所述帧率转换装置包括：

帧插值单元，其生成在所述原始图像帧之间进行插值的所述插值帧；

像素信息生成单元，其指示在所述原始图像帧之间搜索到的运动矢量是否经过所述插值帧上的像素坐标的信息，作为生成针对各像素指示生成形成插值帧的像素的过程的信息；

系数调整单元，其利用由所述像素信息生成单元生成的所述信息，根据所述信息指示所述运动矢量是否经过所述插值帧上的像素坐标，针对各像素确定要应用于形成所述插值帧的像素的增强程度，并且根据所确定的程度针对各像素调整增强滤波器的系数；

增强滤波器应用单元，其对形成由所述帧插值单元生成的插值帧的像素应用通过所述系数调整单元针对各像素调整了系数的增强滤波器；以及

插值帧插入单元，其将通过所述增强滤波器应用单元应用了增强滤波器的插值帧插入在所述原始图像帧之间。

Images