CN101902634A

CN101902634A - 有剧烈场景变化检测的视频代码转换系统及其使用的方法

Info

Publication number: CN101902634A
Application number: CN2009102468176A
Authority: CN
Inventors: A·拉马钱德兰
Original assignee: ViXS Systems Inc
Current assignee: ViXS Systems Inc
Priority date: 2008-10-30
Filing date: 2009-10-30
Publication date: 2010-12-01
Anticipated expiration: 2029-10-30
Also published as: EP2194719A3; US20100111162A1; US8787447B2; EP2194719A2; CN101902634B

Abstract

本公开涉及一种具有剧烈场景变化检测的视频代码转换系统及其使用的方法。具体公开了一种用于将视频信号代码转换为代码转换后的视频信号的系统，所述系统包括：剧烈场景变化检测模块，用于检测图像序列中的剧烈场景变化，其中剧烈场景变化表示场景复杂度的变化。代码转换器部件产生代码转换后的视频信号，其中当检测到剧烈场景变化时，调整图像序列中的至少一个图像的质量参数。

Description

有剧烈场景变化检测的视频代码转换系统及其使用的方法

技术领域

本发明涉及在诸如视频处理设备的设备中使用的视频代码转换。

背景技术

视频编码对于现代视频处理设备已经变成一个重要问题。健壮的编码算法允许视频信号以降低的带宽被传输以及被保存在更小的存储空间中。许多编码方法的标准已经被公布，其中包括H.264标准，它也被称为MPEG-4 Part 10或者高级视频编码(AVC)。虽然标准提出了许多强有力的技术，但是进一步提高这些方法的性能以及实现速度是可能的。此外，多种格式的颁布已经导致其中以一个格式的视频信号必须被代码转换为另一个格式以便在特定的设备上使用、用于传输或用于存储的情况。这些代码转换方法的精确度面临习惯于高分辨率和更好图像质量的用户的详细审查。

通过比较常规和传统系统和本发明，常规和传统方法的更多局限性和缺点对本领域普通技术人员将变得显而易见。

附图说明

图1呈现根据本发明实施例的视频处理设备125的方框图表示。

图2呈现根据本发明实施例的视频代码转换系统102的方框图表示。

图3呈现根据本发明实施例的视频分发系统175的方框图表示。

图4呈现根据本发明实施例的视频存储系统179的方框图表示。

图5呈现根据本发明实施例的方法的流程图表示。

具体实施方式

图1呈现根据本发明实施例的视频处理设备125的方框图表示。具体来讲，视频处理设备125包括能够从一个或多个诸如广播电缆系统、广播卫星系统、因特网、数字视频盘播放器、数字视频录像机的源或其它视频源接收视频信号110的接收模块100，诸如机顶盒、电视接收器、个人计算机、有线电视接收器、卫星广播接收器、宽带调制解调器、3G收发器或其它信息接收器或收发器。视频代码转换系统102被耦接到接收模块100来代码转换所述视频信号110来形成代码转换后的视频信号112。

在本发明的实施例中，所述视频信号110可以包括已经经由无线介质直接地或通过一个或多个卫星或其它中继站或通过有线电视网、光网络或其它传输网络传输的广播视频信号，诸如电视信号、高清电视信号、增强的高清电视信号或其它广播视频信号。此外，视频信号110可以由存储的视频文件来生成，从诸如磁带、磁盘或光盘的记录介质重放，以及可以包括经由诸如局域网、广域网、城域网或因特网的公共或私有网络传输的流视频信号。

可以根据如下格式分别编码视频信号110以及代码转换后的视频信号112，所述格式是诸如H.264、MPEG-4 part 10高级视频编码(AVC)的数字视频格式或诸如运动图像专家组(MPEG)格式(诸如MPEG1、MPEG-2或MPEG4)、Quicktime格式、Real媒体格式、Windows媒体视频(WMV)或音频视频交错(AVI)，或另一种标准或专有的数字视频格式的其它数字视频格式。

视频代码转换系统102包括将结合许多可选功能和特征来更详细描述的剧烈场景变化检测模块150，所述可选功能和特征是结合以下的附图2-5描述的。

图2呈现根据本发明实施例的视频代码转换系统102的方框图表示。具体来讲，视频代码转换系统102根据H.264标准、MPEG-4标准、VC-1(SMPTE标准421M)、MPEG-2或其它标准的许多功能以及特征工作来将经由信号接口198接收的视频输入信号110代码转换成为另一个数字视频格式并作为代码转换后的视频信号112输出。

视频代码转换系统102包括代码转换器部件103、信号接口198、处理模块230以及高场景成本检测模块150。处理模块230可以利用单个处理设备或多个处理设备来实现。这种处理设备可以是微处理器、协处理器、微型控制器、数字信号处理器、微型计算机、中央处理单元、现场可编程门阵列、可编程逻辑器件、状态机、逻辑电路、模拟电路、数字电路、和/或基于保存在诸如存储器模块232的存储器中的可操作指令来处理信号(模拟和/或数字)的任何设备。存储器模块232可以是单个存储器设备或多个存储器设备。这种存储器设备可以包括硬盘驱动器或其它磁盘驱动器、只读存储器、随机存取存储器、易失性存储器、非易失性存储器、静态存储器、动态存储器、闪存、高速缓冲存储器、和/或存储数字信息的任何设备。应注意的是，当所述处理模块经由状态机、模拟电路、数字电路、和/或逻辑电路实现它的一个或多个功能时，存储对应的可操作指令的存储器可以被嵌入到包括状态机、模拟电路、数字电路和/或逻辑电路的电路中或在其外部。

处理模块230以及存储器模块232经由总线250被耦接到信号接口198以及多个其它模块，诸如高场景成本检测模块150、解码模块240以及编码模块236。根据处理模块230的具体实现方式，视频代码转换系统102的模块可以以软件、固件或硬件来实现。还应注意的是，本发明的软件实现可以被存储在诸如磁盘或光盘、只读存储器或随机存取存储器的有形存储介质上并且可以作为制造产品来生产。虽然显示了具体的总线架构，但是依照本发明，可以同样地实现使用在一个或多个模块之间的直接连接和/或附加总线的可替换架构。

代码转换器部件103可以通过经由解码模块240解码视频信号110以及经由编码模块236重新编码解码结果来产生代码转换后的视频信号112来工作。然而可替换地，解码模块240以及编码模块236可以合作以使用视频信号110的参数来将所述视频信号110变换成代码转换后的信号112的格式。具体来讲，可以平衡(leverage)视频信号110的格式和代码转换后的视频信号112的格式之间的相似性来减少所需要的计算量以及避免全译码和重新编码。

剧烈场景变化检测模块150检测图像，诸如视频信号110的帧和/或场，的序列中的剧烈场景变化。具体来讲，剧烈场景变化是基于图像序列中的图像之间的场景复杂度的变化来指示的。这种剧烈场景变化可以包括从很高复杂度图像到非常低复杂度图像的变化，从非常低复杂度图像到很高复杂度图像的变化等等。响应于检测到剧烈场景变化，代码转换器部件103快速地调整用于其中场景变化被检测到的图像的质量参数来补偿所述剧烈场景变化。这有助于避免否则将由这种剧烈场景变化所引起的溢出以及其它视觉伪像。

在本发明的实施例中，所述剧烈场景变化检测模块150仅基于视频信号110的I型图像(I图片)以及P型图像(P图片)的分析来检测所述剧烈场景变化。当剧烈场景变化检测模块150在所述视频信号的P型图像中检测到剧烈场景变化时，所述代码转换器部件103可以转换所述P型图像为I型图像以便编码成所述代码转换后的视频信号112的数字格式。

结合下列示例描述剧烈场景变化检测模块150的操作。设想这种情况，其中视频信号110是MPEG-2格式的视频信号，其要被代码转换成为代码转换后的AVC视频信号112。剧烈场景变化检测模块150可以使用诸如来自所述视频信号110的图像水平统计数据，此处为基于MPEG-2的统计数据，的编码参数来确定场景复杂度的变化。

例如，场景复杂度可以基于图像中使用的比特数b；用于图像的一些或所有宏块的方差值(variance value)var；以及量化步长值(QP)来表征。通过以函数f的形式有效地组合这些参数，可以确定第i个图像的场景复杂度G_i：

C_i＝f(b，var，QP)

可以采用这三个参数的加权线性函数，并且加权系数被选择来归一化特定参数或基于实验结果产生所述加权系数。可替换地，可以同样地采用非线性函数。

此外，剧烈场景变化检测模块150可以确定图像序列中多个图像上的平均场景复杂度C。例如，可以如下确定该平均场景复杂度：

C＝∑(C_i)_{i＝(n-k)至(n-1)}

以这种方式，可以基于前面k个图像的移动平均值来确定该平均场景复杂度。可以基于如上所述的平均场景复杂度和用于当前场景C_n的场景复杂度之间的差值，诸如绝对差值，来确定场景复杂度的变化。虽然上面示出了一致的移动平均值，但是可以同样地采用指数加权的移动平均值、其它加权的平均值或其它平均值。剧烈场景变化检测模块150通过比较场景复杂度的变化和场景复杂度阈值来检测剧烈场景变化。具体来讲，当场景复杂度的变化与场景复杂度阈值ST的比较不利时，诸如当|C-C_n|＞SCT时，该剧烈场景变化检测模块150可以检测到剧烈的场景。

场景复杂度阈值可以基于对具有不同复杂度的实际场景的分析来实验性地确定，不同复杂度包括场景复杂度中的剧烈变换，其将导致溢出或不具有本发明的优点的其它不希望的伪像。

一旦对应于特定图像的剧烈场景变化被检测到，如所讨论的那样，可以快速地调节质量来补偿。依照本发明的实施例，代码转换器部件103调整QP的值来补偿该剧烈场景变化。例如，对于从低复杂度图像到高复杂度图像的变化，可以提高QP。同样地，对于从高复杂度图像到低复杂度图像的变化，可以降低QP。虽然前述描述已经集中于从低到高和从高到低的场景复杂度变化，但是可同样地实现大量的具有更精细等级的不同变化。

图3呈现根据本发明实施例的视频分发系统175的方框图表示。具体来讲，经由传输路径122将代码转换后的视频信号112传输到视频解码器104。随后，视频解码器104可以操作来解码所述代码转换后的视频信号112，以便在诸如电视10、计算机20的显示设备或其它显示设备上显示。

所述传输路径122包括无线路径，其根据诸如802.11协议、WIMAX协议、蓝牙协议等等的无线局域网协议工作。此外，所述传输路径可以包括有线路径，其根据诸如通用串行总线协议、以太网协议或其它高速协议的有线协议工作。

图4呈现根据本发明实施例的视频存储系统179的方框图表示。具体来讲，设备11是具有内置式数字视频记录器功能的机顶盒、独立的数字视频记录器、DVD录像机/播放器或其它存储用于在诸如电视12的视频显示设备上显示的代码转换后的视频信号112的设备。虽然视频代码转换器102被显示为单独的装置，但是它可以被合并到设备11里。虽然举例说明了这些具体的设备，但是视频存储系统179可以包括硬盘驱动器、闪存设备、计算机、DVD刻录机(burner)、或任何其它能够根据结合此处所述的本发明的特征与功能而描述的方法以及系统产生、存储、解码和/或显示合成视频流220的设备。

图5呈现根据本发明实施例的方法的流程图表示。具体来讲，提供了一种结合一个或多个功能以及特征使用的方法，其中所述功能以及特征是结合附图1-5描述的。在步骤500，所述方法确定在所述图像中是否检测到剧烈场景变化。当检测到剧烈场景变化时，则如步骤504所示，调整质量参数，并且如步骤506所示，产生代码转换后的图像。

依照本发明的实施例，步骤500包括基于视频信号的至少一个编码参数来产生复杂度。所述至少一个编码参数可以包括用于编码所述至少一个图像的多个比特，至少一个图像中的多个宏块的平均方差，和/或量化步长值。步骤500还包括比较场景复杂度的变化和场景复杂度阈值，并且当场景复杂度的变化与场景复杂度阈值的比较不利时，检测到剧烈场景变化。此外，步骤500可以包括基于与图像序列中的多个图像对应的场景复杂度的移动平均值，产生场景复杂度的变化。

在本发明的实施例中，所述视频信号可以是MPEG-2信号，而所述代码转换后的视频信号可以是AVC信号。步骤500可以包括仅基于图像序列的I型图像和P型图像来检测剧烈场景变化。当在P型图像中检测到剧烈场景变化时，步骤506可以包括转换该P型图像为I型图像。

在优选实施例中，所述各种电路元件是使用0.35微米或更小的CMOS技术实现的。然而，假设可以在本发明的宽范围内使用其它电路技术，集成或非集成电路技术均可。

虽然此处已经明确地描述了本发明的各种功能以及特征的具体组合，这些特征与功能的其它组合是可能的，其不受在此公开的具体示例的限制，并且明显包括在本发明的范围内。

本领域技术人员将理解，如同可能在这里使用的，术语“基本上”或“大约”给其相应的术语和/或在各项之间的相对性提供行业内接受的容差。这种行业内接受的容差范围从低于百分之一到百分之二十，并且对应于但不局限于元件值、集成电路处理变化、温度变化、上升和下降时间、和/或热噪声。这种各项之间的相对性的范围从几个百分比的差异到量级的差异。本领域技术人员还将理解，如同可能在这里使用的，术语“耦接”包括直接耦接和经由其他组件、元件、电路、或模块的间接耦接，其中，对于间接耦接，居间的组件、元件、电路或模块不改变信号的信息，但可能调整它的电流水平、电压水平和/或功率水平。本领域技术人员还将理解，推断的耦接(即，通过推断得知：一个元件耦接到另一个元件)包括在两个元件之间以跟“耦接”相同的方式进行的直接和间接耦接。本领域技术人员还将理解，如同可能在这里使用的，术语“相比是有利的(compare favorably)”表示在两个或更多元素、项、信号等之间进行的比较提供所期望的关系。例如，如果所期望的关系是信号1的幅度比信号2的大，则当信号1的幅度大于信号2的幅度时或者当信号2的幅度小于信号1的幅度时，可以得到有利的比较。

在本发明各种实施例的描述里使用了术语“模块”，模块包括功能块，其以执行一个或多个诸如处理输入信号以产生输出信号之类的功能的硬件、软件和/或固件实现。如此处所使用的，模块可包含其本身是模块的子模块。因此，此处已经描述了用于实现视频代码转换编码系统和与其一起使用的剧烈场景变化检测模块的装置、方法以及几个实施例，其包括优选实施例。在此描述的本发明的各种实施例具有使本发明区别于现有技术的特征。

因此，根据以上公开，在一些实施例中，公开了一种用于将视频信号代码转换为代码转换后的视频信号的系统，所述视频信号包括图像序列，所述系统包括：剧烈场景变化检测模块，用于检测所述图像序列中的剧烈场景变化，其中所述剧烈场景变化表示场景复杂度的变化；以及耦接到所述剧烈场景变化检测模块的代码转换器部件，用于产生所述代码转换后的视频信号，其中当检测到所述剧烈场景变化时，调整所述图像序列中的至少一个图像的质量参数。

在另一些实施例中，在所述系统中，所述剧烈场景变化检测模块基于视频信号的至少一个编码参数来产生场景复杂度。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括用于编码所述至少一个图像的多个比特。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

在另一些实施例中，在所述系统中，所述至少一个编码参数包括量化步长值。

在另一些实施例中，在所述系统中，所述剧烈场景变化检测模块比较场景复杂度的变化和场景复杂度阈值，并且当所述场景复杂度的变化与所述场景复杂度阈值的比较不利时，所述剧烈场景变化检测模块检测到所述剧烈场景变化。

在另一些实施例中，在所述系统中，所述剧烈场景变化检测模块基于与所述图像序列中的多个图像对应的场景复杂度的移动平均值来产生场景复杂度的变化。

在另一些实施例中，在所述系统中，所述剧烈场景变化检测模块仅基于所述图像序列的I型图像和P型图像来检测所述剧烈场景变化。

在另一些实施例中，在所述系统中，当所述剧烈场景变化检刻模块检测到所述图像序列的P型图像中的剧烈场景变化时，所述代码转换器部件将所述P型图像转换为I型图像。

在另一些实施例中，在所述系统中，所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。

根据以上公开，在一些实施例中，公开了一种用于将视频信号代码转换为代码转换后的视频信号的方法，所述视频信号包括图像序列，所述方法包括：在所述图像序列中检测剧烈场景变化，其中所述剧烈场景变化表示场景复杂度的变化；以及产生所述代码转换后的视频信号，其中当检测到所述剧烈场景变化时，调整所述图像序列中的至少一个图像的质量参数。

在另一些实施例中，在所述方法中，在所述图像序列中检测所述剧烈场景变化的步骤包括：基于视频信号的至少一个编码参数来产生场景复杂度。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括用于编码所述至少一个图像的多个比特。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

在另一些实施例中，在所述方法中，所述至少一个编码参数包括量化步长值。

在另一些实施例中，在所述方法中，在所述图像序列中检测所述剧烈场景变化的步骤包括：比较场景复杂度的变化和场景复杂度阈值，以及当所述场景复杂度的变化与所述场景复杂度阈值的比较不利时，检测到所述剧烈场景变化。

在另一些实施例中，在所述方法中，在所述图像序列中检测所述剧烈场景变化的步骤包括：基于与所述图像序列中的多个图像对应的场景复杂度的移动平均值来产生场景复杂度的变化。

在另一些实施例中，在所述方法中，在所述图像序列中检测所述剧烈场景变化的步骤包括：仅基于所述图像序列的I型图像和P型图像来检测所述剧烈场景变化。

在另一些实施例中，在所述方法中，在所述图像序列中检测所述剧烈场景变化的步骤包括：检测到所述图像序列的P型图像中的剧烈场景变化，并且其中产生所述代码转换后的视频信号的步骤包括：将所述P型图像转换为I型图像。

在另一些实施例中，在所述方法中，所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。

对于本领域技术人员显而易见的是，所公开的发明可以以许多方式修改，并且可以采用除上面所特别陈述和描述的优选形式以外的许多实施例。因此，意欲通过所附的权利要求书覆盖落在本发明实际精神和范围内的本发明的所有修改。

Claims

1.一种用于将视频信号代码转换为代码转换后的视频信号的系统，所述视频信号包括图像序列，所述系统包括：

剧烈场景变化检测模块，用于检测所述图像序列中的剧烈场景变化，其中所述剧烈场景变化表示场景复杂度的变化；以及

耦接到所述剧烈场景变化检测模块的代码转换器部件，用于产生所述代码转换后的视频信号，其中当检测到所述剧烈场景变化时，调整所述图像序列中的至少一个图像的质量参数。

2.如权利要求1所述的系统，其中所述剧烈场景变化检测模块基于视频信号的至少一个编码参数来产生场景复杂度。

3.如权利要求2所述的系统，其中所述至少一个编码参数包括用于编码所述至少一个图像的多个比特。

4.如权利要求2所述的系统，其中所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

5.如权利要求2所述的系统，其中所述至少一个编码参数包括量化步长值。

6.如权利要求2所述的系统，其中所述剧烈场景变化检测模块比较场景复杂度的变化和场景复杂度阈值，并且当所述场景复杂度的变化与所述场景复杂度阈值的比较不利时，所述剧烈场景变化检测模块检测到所述剧烈场景变化。

7.如权利要求6所述的系统，其中所述剧烈场景变化检测模块基于与所述图像序列中的多个图像对应的场景复杂度的移动平均值来产生场景复杂度的变化。

8.如权利要求1所述的系统，其中所述剧烈场景变化检测模块仅基于所述图像序列的I型图像和P型图像来检测所述剧烈场景变化。

9.如权利要求1所述的系统，其中当所述剧烈场景变化检测模块检测到所述图像序列的P型图像中的剧烈场景变化时，所述代码转换器部件将所述P型图像转换为I型图像。

10.如权利要求1所述的系统，其中所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。

11.一种用于将视频信号代码转换为代码转换后的视频信号的方法，所述视频信号包括图像序列，所述方法包括：

在所述图像序列中检测剧烈场景变化，其中所述剧烈场景变化表示场景复杂度的变化；以及

产生所述代码转换后的视频信号，其中当检测到所述剧烈场景变化时，调整所述图像序列中的至少一个图像的质量参数。

12.如权利要求11所述的方法，其中在所述图像序列中检测所述剧烈场景变化的步骤包括：

基于视频信号的至少一个编码参数来产生场景复杂度。

13.如权利要求12所述的方法，其中所述至少一个编码参数包括用于编码所述至少一个图像的多个比特。

14.如权利要求12所述的方法，其中所述至少一个编码参数包括所述至少一个图像中的多个宏块的平均方差。

15.如权利要求12所述的方法，其中所述至少一个编码参数包括量化步长值。

16.如权利要求12所述的方法，其中在所述图像序列中检测所述剧烈场景变化的步骤包括：

比较场景复杂度的变化和场景复杂度阈值，以及

当所述场景复杂度的变化与所述场景复杂度阈值的比较不利时，检测到所述剧烈场景变化。

17.如权利要求16所述的方法，其中在所述图像序列中检测所述剧烈场景变化的步骤包括：

基于与所述图像序列中的多个图像对应的场景复杂度的移动平均值来产生场景复杂度的变化。

18.如权利要求11所述的方法，其中在所述图像序列中检测所述剧烈场景变化的步骤包括：

仅基于所述图像序列的I型图像和P型图像来检测所述剧烈场景变化。

19.如权利要求11所述的方法，其中在所述图像序列中检测所述剧烈场景变化的步骤包括：

检测到所述图像序列的P型图像中的剧烈场景变化，并且

其中产生所述代码转换后的视频信号的步骤包括：

将所述P型图像转换为I型图像。

20.如权利要求11所述的方法，其中所述视频信号是MPEG-2信号，而所述代码转换后的视频信号是AVC信号。