CN1135837C - 运动影像自适应显示速度的自动控制装置及其方法 - Google Patents

Abstract

本发明公开了一种运动影像自适应显示速度的自动控制装置和方法。其中，运动影像检测单元检测接收的运动影像文件中的切换和检测切换之间的一定数量的帧，并确定运动影像文件中帧之间的图像差的大小。存储器存储一新运动影像数据以及所述运动影像文件。显示模块在运动影像处在快进模式中，根据切换(cut)之间的距离(或帧数)在快进时段内改变重放速度；和根据通过检测帧之间的图像差而获得的运动影像中运动的变化在慢放时段内改变重放速度；以便可以根据运动影像的特征动态地控制快进或慢放时段内的重放速度，从而满足用户的视觉特性。从而，本发明能够在快进或慢放模式时段中根据运动影像的变化速度自适应地控制运动影像的加速和速度改变。

Description

运动影像自适应显示速度的自动控制装置及其方法

技术领域

本发明涉及一种运动影像系统和方法，特别是运动影像显示的自动速度控制。

背景技术

运动影像重放期间，希望改变重放速度的用户可以输入命令以便以快进或慢放模式观看重放影像。然而，由于在快进或慢放模式中的重放在这两种模式期间保持在恒定速度，显示速度可能不满足用户的视觉感觉。

例如，运动影像在快进模式中快速显示，而与屏幕上场景的变化是否快无关，使用户很难辨别或理解这部分运动影像。另一方面，当屏幕上场景的变化慢时，即使是快速的快进模式也会变得使用户感到乏味。

同样，在慢放模式中运动影像的显示速度减慢，而与屏幕上场景的变化是否快无关。因此，在这部分运动影像中，用户在视觉上感觉到显示速度好象没有改变，即使显示速度已经减慢。然而，当场景变化慢时，减慢的显示速度可能太慢而使用户感到乏味。

通常，快进模式目的在于提供高速搜索，慢放模式对特定场景或运动影像中的动作提供详细的搜索。因此，当运动的变化快时或当运动影像中的场景改变频繁时，考虑到用户的视觉感觉能力，在快进或慢放模式中显示速度相对于固定的显示速度应更慢。另一方面，当运动影像中的运动变化慢时，在快进或慢放模式中显示速度相对于固定显示速度应更快。

然而，由于两种常规的快进和慢放模式中的固定显示速度，不能如上面讨论的适当地满足用户的感觉要求。就是说，如果在常规装置中以快进或慢放模式显示运动影像，无论是快进还是慢放，均以固定速度重放运动影像。因此，用户不能在快进或慢放模式中动态地显示运动影像。

结果是，在快进模式中，由于相当慢的屏幕变化，当运动变化很少时，用户不能实现满意的运动影像场景重放。同样，由于显示速度比期望的速度快得多，当运动变化快或当场景改变频繁时，用户很难在运动影像场景中搜索到特定的场景或动作。

在慢放模式中，由于相当慢的屏幕变化，当运动变化很少时，用户不能实现满意的运动影像场景重放。由于相当快的屏幕改变，当运动变化快或当场景改变频繁时，用户也不能实现详细地显示运动影像的场景。

发明内容

因此，本发明的一个目的是至少解决相关技术中的问题和缺陷。

本发明的另一个目的是提供一种根据运动影像中的运动等级自动控制运动影像显示速度的运动影像自适应显示。

本发明另外的优点、目的、和特征的一部分将在下面的说明书中陈述，一部分在本领域普通技术人员对下面的说明书进行审查时将变得显而易见，或可从本发明的实施中了解。本发明的目的和优点可以如所附权利要求中特别指出的那样实现和完成。

为实现这些目的并根据在此实施和概括说明的本发明的目的，根据本发明的运动影像自适应显示速度的自动控制装置，包括：运动影像检测单元，其检测接收的运动影像文件中的切换和检测切换之间的一定数量的帧，并确定运动影像文件中帧之间的图像差的大小；和存储器，其存储一新运动影像数据，该数据中包含与检测的切换相对应的信息和与图像差大小相对应的信息，所述存储器还存储所述运动影像文件显示模块，其根据存储器中存储的新运动影像数据和运动影像文件中的数据以可变速度显示运动影像，其中显示模块在快进显示期间以比正常显示速度更快的可变速度显示运动影像，其中可变速度是根据切换之间的帧数确定的，其中显示模块在慢放显示期间以比正常显示速度更慢的可变速度显示运动影像，其中可变速度是根据图像差的大小确定的。

为了实现上述目的，根据本发明的运动影像自适应显示速度的自动控制方法，包括步骤：(a)检测接收的运动影像文件中的切换和检测切换之间的一定数量的帧，并获得运动影像文件中预定数量的帧之间的图像差的大小；和(b)存储一新运动影像数据以及所述运动影像文件，其中所述新运动影像数据包含与检测的切换相对应的信息和与图像差大小相对应的信息；(c)根据新运动影像数据和原始运动影像数据以可变速度显示运动影像，其中步骤(c)包括在快进显示期间以比正常显示速度更快的可变速度显示运动影像的步骤，其中可变速度是根据切换之间的帧数确定的；其中步骤(c)包括在慢放显示期间以比正常显示速度更慢的可变速度显示运动影像的步骤，其中可变速度是根据图像差的大小确定的。

附图说明

参考下面的附图详细描述本发明，其中相同的参考标号表示相同部件，其中：

图1是说明根据本发明的运动影像自适应显示速度自动控制装置的方框图；和

图2是说明根据本发明的运动影像自适应显示速度自动控制方法的流程图。

具体实施方式

现在详细参考本发明的优选实施例，附图中说明了实例。

图1是说明根据本发明的运动影像动态显示速度自动控制装置的方框图。如图1所示，自动控制装置包括：运动影像文件101；速度调节信息检测模块102，用于在快进(FF)或慢放(SM)时段期间控制运动影像文件101的重放速度；第一存储模块103，用于存储动态速度运动影像数据；第二存储模块104，用于存储恒定速度运动影像数据；和显示模块105，用于根据切换之间的帧数和帧之间的图像差确定运动影像的变化，以便在快进(FF)或慢放(SM)时段中瞬时地增加/降低显示速度。

速度调节信息检测模块102进一步包括一个切换检测模块102a，用于提取运动影像中的切换和计算两个切换之间的帧数，以检测运动影像的变化；和一个影像差检测模块102b，用于获得运动影像中两帧之间的图像差。

特别是，切换检测模块102a提取和存储为确定场景的变化而检测的切换，检测的切换索引和切换之间距离信息(帧数)。影像差检测模块102b检测两个相邻帧之间的图像差，并存储运动变化(影像运动)。

对于快进显示速度，显示模块105具有使切换之间距离与显示速度有关的算法，由此可根据检测的切换之间的距离动态调节显示速度。对于慢放显示速度，显示模块105也具有使运动变化与显示速度有关的算法，由此可根据检测的运动变化动态地调节显示速度。

图2是说明根据本发明运动影像的自适应显示速度的自动控制方法的流程图，并参考图1说明该方法。

在步骤201，自动控制方法读取运动影像文件101。然后，切换检测模块102a和影像差检测模块102b在步骤202和203中同时进行切换检测和图像差检测。此后，在步骤204，检测的信息与分别在第一和第二存储模块103和104中的原始运动影像文件存储在一起。

特别是，以下面的方式由切换检测模块102a在步骤202执行切换检测。一个切换定义为划分运动影像场景的点。当显示的场景急剧改变时，例如当位置和背景改变时，检测到一个切换。索引检测的切换，计算切换之间的帧数(距离信息)，并在步骤204与运动影像文件存储在一起。

可用许多现有算法之一实现检测这些切换和切换之间的帧数的方法(算法)。

然而，在本发明中，用彩色直方图获得距离信息。就是说，当与两个连续帧对应的彩色直方图的差别超过阈值时，检测到连续帧之间的切换。用两个检测的切换之间的帧数表示切换之间的距离，即两个连续切换之间的距离信息。

切换的位置和切换之间的距离信息作为新运动影像文件与连续帧的原始运动影像文件101一起存储在第二存储模块104中。通过适当地分配存储区可将一个存储器用作第二存储模块104和第一存储模块103二者。存储器可以以任何方式存储FF或SM显示时段所需的数据。此外，可将下面讨论的计算的跳帧或帧周期存储在第一模块103中，而不是存储切换信息和距离信息。

影像差检测模块102b以下面的方式在步骤203进行图像差检测。图像差的大小是两个相邻帧之间的运动中差别。当两帧之间的运动快时或当场景在两帧之间改变时图像差的大小较大。因此，通过把与第n帧和第(n+1)帧对应的像素值相减获得图像差的大小。

此后，在步骤204，图像差大小的信息与连续帧的原始运动影像文件101一起存储在第二存储模块104中。如上面讨论的，切换检测信息和图像差检测信息与原始运动影像文件101存储在一起。

当接收来自用户的FF或SM的命令时，利用存储的切换检测信息和影像差检测信息可以动态地控制速度。在步骤205至210由图1的显示模块105进行动态速度控制。

对于FF显示速度，调节跳帧数并在FF显示时段内自适应地控制速度。对于SM显示速度，改变帧的时间周期并在SM显示时段内自适应地控制速度。

下面说明用户选择的FF显示模式期间动态速度控制的操作。如果用户希望以快进模式显示显示运动影像，当屏幕上显示的变化快时，在FF显示时段内以比原始FF显示速度相对慢的速度显示运动影像。如果屏幕上显示的变化少，则以比原始FF显示速度相对快的速度显示运动影像。因此，用户可辨别显示速度的变化，以使用户可以在接近恒定的辨别水平搜索运动影像。

由于在常规的运动影像快进显示速度中跳帧数是固定的，即使在具有重要帧的时段内进行快速显示，不能为用户提供详细的搜索。然而，如上面讨论的，根据本发明的动态速度控制方法解决了这一问题。

在常规的快速显示速度中，以恒定的间隔跳跃原始帧约5帧，并显示。在本发明中，常规的快速或慢速显示定义为正常快速或慢速显示，并根据用户的命令有选择地实现自适应加速/改变速度显示或正常的快速/慢速速度显示。

在步骤205，做出用户是否希望FF显示的判断。如果接收到FF显示的命令，显示模块105在步骤206进行显示控制，以实现FF显示时段的自适应加速/改变速度控制。特别是，用下列等式的算法调节跳帧数：

Skip_k＝integer[Dist(k)/(aDist(k)+b)

If(Dist(k)＜b)then Skip_k＝1

其中‘Skip_k’是跳帧数，用来表示第k切换和第(k+1)切换之间的帧，‘Dist(k)’表示两个连续切换之间的距离信息(帧的总数)，常数‘a’根据Dist(k)的大小确定自动速度控制的程度，常数‘b’定义显示这些切换之间的距离所需的最少显示时间，‘integer′是一个整数计算值。

如果切换之间的距离比最小显示时间‘b’短，以便等式(2)的正常速度显示运动影像，防止该显示时段的信息丢失。由于‘Dist(k)’以及常数值‘a’和‘b’是预定的，当切换之间的距离较长，即‘Dist(k)’值较高时，跳帧数‘Skip_k’增加，以便在FF显示时段以相对更快的速度显示运动影像。另一方面，当切换之间的距离较短，即‘Dist(k)′值低时，跳帧数‘Skip_k’降低，以便在FF显示时段以相对更慢的速度显示运动影像。

随着适当地指定整体速度调节系数‘b’和相对速度调节系数‘a’，考虑跳帧数‘skip_k’和切换之间的距离，从而改变自动速度控制程度。当常数‘a’为‘0’时，把切换之间的所有时段显示最小显示时间‘b’，而与每个时段的长度无关，当常数‘b’为‘0’时，以比正常显示速度快1/a倍的速度显示切换之间的所有时段。

下面说明用户选择的SM显示模式期间动态速度控制的操作。如果用户希望以慢显示速度显示运动影像，例如当运动影像中的运动快时，在SM显示时段内以比原始慢显示速度相对慢的速度显示运动影像。当运动影像中的运动慢时，则以比原始慢显示速度相对快的速度显示运动影像。因此，用户可在该显示速度中辨别稳定的变化，以使用户可以在接近恒定的辨别水平详细地搜索运动影像。

由于在常规的运动影像慢显示速度中帧周期是固定的，即使在不重要帧的时段也进行慢显示，向用户提供乏味的搜索处理。然而，如上面讨论的，根据本发明的动态速度控制方法解决了这一问题。

这种情况下，帧周期定义为屏幕上显示一帧的时间，正常显示模式中的原始时间周期表示为‘Torig’。在常规的慢显示速度中，指定帧周期比原始帧周期长，从而以慢显示速度显示运动影像。在本发明中，常规慢显示定义为正常慢显示，根据用户的命令有选择地实现自适应加速/改变速度显示或正常慢显示之一。

在步骤207，做出用户是否希望SM显示模式的判断。如果从用户接收到慢显示命令，显示模块105在步骤208进行显示控制以实现SM显示时段的自适应加速/改变速度控制。特别是，用下面等式的算法调节帧周期：

T′(n)＝Torgi(n)*mDiff(n)*β

T′(n)＝Tmin，如果T′(n)＜Tmin

其中‘T′(n)’表示改变的第(n)帧周期；‘Torig’是原始帧周期，例如在NTSC中为1/30秒；‘mDiff(n)’是第(n)帧和相邻帧之间图像差的大小；‘Tmin’是取决于该装置的最小帧周期；‘β’是用于确定自动速度控制程度的速度控制系数。

‘Torig(n)’，‘Tmin’，和‘β’的值是预定的，当影像差‘mDiff(n)’的量值较大时，帧周期‘T′(n)’增加，以便在SM显示时段中以相对更慢的速度显示运动影像。另一方面，当影像差‘mDiff(n)’的量值较小时，帧周期‘T′(n)’减小，以便在SM显示时段中以相对更快的速度显示运动影像。

随着适当地指定慢显示算法中的速度调节系数‘β’，考虑帧周期和影像差的量值以改变自动速度控制的程度。

继续FF或SM显示时段中的自适应显示速度自动控制直到在步骤209从用户接收到停止命令。如果选择停止命令，在步骤210停止改变速度显示，并返回到步骤201读取运动文件。

如上面讨论的，当以快或慢显示速度显示运动影像时，运动影像的自适应显示速度的自动控制装置及其方法能够考虑到用户的视觉特点在FF或SM时段内动态地控制运动影像的速度。

例如，在快显示速度的情况下，当场景变化在相对更快的显示速度不激烈时，用户可搜索运动影像，当场景变化在相对更慢的显示速度激烈时，用户可搜索运动影像。

另一方面，在慢显示速度的情况下，当运动变化在相对更快的显示速度不激烈时，用户可搜索运动影像，当运动变化在相对更慢的显示速度激烈时，用户可搜索运动影像。

如果在FF或SM时段以比常规快或慢速度相对更快或更慢的显示速度显示运动影像，用户可欣赏运动变化是动态的运动影像的详细搜索，例如体育广播节目，和运动变化是静态的运动影像的高速搜索，例如音乐会节目。

另外，本发明可选择地执行现有的正常快速或正常慢速显示以及自适应加速/改变速度控制，其中速度改变程度由建立的自动速度控制系数确定，从而达到重放速度满足用户搜索的目的。

上述实施例仅作为实例而不应解释为对本发明的限定。本发明可易于应用其它类型的装置。本发明的说明书是用来说明而不是限制权利要求的范围。许多替换、变化、和改进对本领域技术人员来说是显而易见的。

Claims (16)

1.一种运动影像自适应显示速度的自动控制装置，包括：

运动影像检测单元，其检测接收的运动影像文件中的切换和检测切换之间的一定数量的帧，并确定运动影像文件中帧之间的图像差的大小；和

存储器，其存储一新运动影像数据，该数据中包含与检测的切换相对应的信息和与图像差大小相对应的信息，所述存储器还存储所述运动影像文件；

显示模块，其根据存储器中存储的新运动影像数据和运动影像文件中的数据以可变速度显示运动影像，其中显示模块在快进显示期间以比正常显示速度更快的可变速度显示运动影像，其中可变速度是根据切换之间的帧数确定的，其中显示模块在慢放显示期间以比正常显示速度更慢的可变速度显示运动影像，其中可变速度是根据图像差的大小确定的。

2.根据权利要求1所述的装置，其中由快进过程的跳帧数控制可变速度，其中快进过程的跳帧数基于切换之间的帧数。

3.根据权利要求2所述的装置，用下面的等式调节跳帧数：

Skip_k＝integer[Dist(k)/(aDist(k)+b)]

其中‘Skip_k’是第k切换和第k+1切换之间的帧的跳帧数，‘Dist(k)’表示两个连续切换之间的总帧数，‘a’是预定常数，‘b’是预定常数，‘integer’是一个整数计算值。

4.根据权利要求3所述的装置，其中如果常数‘a’是‘0’，以最小的显示时间‘b’显示切换之间的所有时段，而与每个时段的长度无关，如果常数‘b’是‘0’，以比正常显示中的速度快1/a的更快显示速度显示切换之间的所有时段。

5.根据权利要求1所述的装置，其中运动影像检测单元包括：

切换检测模块，用于检测运动影像文件中的切换和检测切换之间的帧数；和

图像差检测模块，用于获得运动影像文件中帧之间的图像差。

6.根据权利要求1所述的装置，其中存储器包括：

第一存储模块，用于存储包含检测的切换信息的新运动影像数据；和

第二存储模块，用于存储图像差信息，所述存储器还存储接收的运动影像文件。

7.根据权利要求1所述的装置，其中由慢放过程的帧周期控制可变速度，其中慢放过程的帧周期基于切换之间的帧数。

8.根据权利要求7所述的装置，其中用下面的等式调节帧周期：

T′(n)＝Torgi(n)*mDiff(n)*β

T′(n)＝Tmin，如果T′(n)＜Tmin

其中‘T′(n)’表示改变的第n帧周期；‘Torig’是原始帧周期；‘mDiff(n)’是第n帧和相邻帧之间图像差的大小；‘Tmin’是最小帧周期；‘β’是预定常数。

9.一种运动影像自适应显示速度的自动控制方法，包括步骤：

(a)检测接收的运动影像文件中的切换和检测切换之间的一定数量的帧，并获得运动影像文件中预定数量的帧之间的图像差的大小；和

(b)存储一新运动影像数据以及所述运动影像文件，其中所述新运动影像数据包含与检测的切换相对应的信息和与图像差大小相对应的信息；

(c)根据新运动影像数据和原始运动影像数据以可变速度显示运动影像，其中步骤(c)包括在快进显示期间以比正常显示速度更快的可变速度显示运动影像的步骤，其中可变速度是根据切换之间的帧数确定的；

其中步骤(c)包括在慢放显示期间以比正常显示速度更慢的可变速度显示运动影像的步骤，其中可变速度是根据图像差的大小确定的。

10.根据权利要求9所述的方法，其中由快进过程的跳帧数控制可变速度，其中快进过程的跳帧数基于切换之间的帧数。

11.根据权利要求10所述的方法，其中用下面的等式调节跳帧数：

Skip_k＝integer[Dist(k)/(aDist(k)+b)]

其中‘Skip_k’是第k切换和第k+1切换之间的帧的跳帧数，‘Dist(k)’表示两个连续切换之间的总帧数，‘a’是预定常数，‘b’是预定常数，‘integer’是一个整数计算值。

12.根据权利要求11所述的方法，其中如果常数‘a’是‘0’，以最小的显示时间‘b’显示切换之间的所有时段，而与每个时段的长度无关，如果常数‘b’是‘0’，以比正常显示中的速度快1/a的更快显示速度显示切换之间的所有时段。

13.根据权利要求9所述的方法，其中步骤(a)中检测切换的步骤包括步骤：

为运动影像数据的每帧建立一个彩色直方图；和

当与两个连续帧对应的彩色直方图的差异超过预定阈值时指定切换。

14.根据权利要求9所述的方法，其中在步骤(a)获得图像差的步骤包括把与第n帧和第n+1帧对应的像素值相减的步骤。

15.根据权利要求9所述的方法，其中由慢放过程的帧周期控制可变速度，其中慢放过程的帧周期基于切换之间的帧数。

16.根据权利要求15所述的方法，其中用下面的等式调节帧周期：

T′(n)＝Torgi(n)*mDiff(n)*β

T′(n)＝Tmin，如果T′(n)＜Tmin

其中‘T′(n)’表示改变的第n帧周期；‘Torig’是原始帧周期；‘mDiff(n)’是第n帧和相邻帧之间图像差的大小；‘Tmin’是最小帧周期；‘β’是预定常数。

Images