CN103270764B - 用于处理视频信号的方法和设备 - Google Patents

Abstract

用于处理视频信号的方法、设备和计算机程序产品，所述视频信号包括多个帧，其中视频信号的帧在抖动缓冲器中被接收，以及帧是以可变的输出速率从抖动缓冲器被输出的，以便解决在接收的帧中的抖动。输出速率的变化根据视频信号的视觉信息内容被控制，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

Description

用于处理视频信号的方法和设备

技术领域

本发明涉及用于处理视频信号的方法和设备。具体地，本发明涉及控制来自抖动缓冲器的视频信号的帧的输出速率。

背景技术

用户可以通过在网络上传送和接收信号而在通信网上互相通信。通信技术的进步导致在这样的网络上通信的用户的数量快速增加，并且在通信中在用户之间转移的数据量也快速增加。网络现在支持视频信号在用户之间的传输。视频信号可包括帧序列，当视频信号被播出时帧序列被顺序地显示。正如本领域已知的，视频信号可以按照用于网络上的传输的许多不同的协议被编码。

当设备通过通信网接收视频信号的帧时，在播出帧之前需要进行一定量的去抖动（dejitter）。例如，这可能是由于到达接收设备的帧的定时被网络中的问题扰乱。接收设备可以把所接收的视频帧存储在抖动缓冲器中，以便平滑接收的帧中的某些抖动。然而，即使当在接收设备中使用抖动缓冲器时，在视频帧中仍可能出现抖动，例如，当抖动缓冲器变为完全满或完全空时。为了处置剩余的抖动，可以在接收设备中实施算法，以计算来自抖动缓冲器的视频帧的输出速率应当如何改变，以便减小视频帧的抖动。算法的目的在于通过改变来自抖动缓冲器的帧的输出速率而减少抖动缓冲器变为完全满或完全空的次数。

发明内容

按照本发明的第一方面，提供了处理视频信号的方法，视频信号包括多个帧，该方法包括：在抖动缓冲器上接收视频信号的帧；以可变的输出速率从抖动缓冲器输出所述帧，以便解决在接收的帧中的抖动，其中输出速率的变化根据视频信号的视觉信息内容被控制，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

按照本发明的第二方面，提供了用于处理视频信号的设备，视频信号包括多个帧，该设备包括：用于接收视频信号的帧的抖动缓冲器，该设备被配置成以可变的输出速率从抖动缓冲器输出帧，以便解决在接收的帧中的抖动，该设备还包括控制装置，用于根据视频信号的视觉信息内容控制输出速率的变化，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

按照本发明的第三方面，提供了计算机程序产品，其包括由计算机处理装置执行的用于处理视频信号的计算机可读指令，视频信号包括多个帧，所述指令包括用于进行以下项的指令：在抖动缓冲器上接收视频信号的帧；以可变的输出速率从抖动缓冲器输出帧，以便解决在接收的帧中的抖动，其中输出速率的变化根据视频信号的视觉信息内容被控制，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

按照本发明的第四方面，提供了处理视频信号的方法，视频信号包括多个帧，该方法包括：分析视频信号的视觉信息内容，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分；根据对视觉信息内容的分析，确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度；以及用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。

按照本发明的第五方面，提供了用于处理视频信号的设备，视频信号包括多个帧，该方法包括：分析装置，用于分析视频信号的视觉信息内容，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分；敏感度确定装置，用于根据对视觉信息内容的分析，确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度；以及标记装置，用于用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。

按照本发明的第六方面，提供了计算机程序产品，其包括由计算机处理装置执行的用于处理视频信号的计算机可读指令，视频信号包括多个帧，所述指令包括用于进行以下项的指令：分析视频信号的视觉信息内容，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分；根据对视觉信息内容的分析，确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的各自敏感度；以及用指示各自的确定的敏感度的标志来标记所述帧中的每个帧。

本发明人认识到，改变视频帧的输出速率将加快或减慢视频信号的回放，以及这可以导致以所显示信号中的太快或太慢运动的形式的、视频信号中的可视伪像，由此使得视频信号失真。

然而，有利地，视频信号的视觉信息内容被考虑，以及来自抖动缓冲器的帧的输出速率的变化是考虑到这样的变化将引入到视觉信息内容的感知的失真而被控制的。本发明人认识到，来自抖动缓冲器的帧的输出速率的变化所造成的感性失真，对于某些视觉信息内容要比对于其它视觉信息内容更大。对于输出速率的变化将对其造成较低水平的感性失真的那些帧，所述变化可被控制为更大。这样做的结果是，比起不考虑视频信号的视觉信息内容的现有方法，在视频信号中的与回放速度有关的失真更少可见（即，对于观看视频信号的视觉信息内容的用户来说是更少能察觉的）。由于与回放速度有关的失真对于用户不太能察觉，所以达到了视频信号的感知上的更愉悦的回放。

优选地，输出速率的变化被控制成使得输出速率的显著变化仅仅对于在视觉信息内容中有较低运动水平的帧才出现。还优选地，输出速率的变化被控制成使得输出速率的变化随视觉信息内容中运动的增加而减小。术语“运动(motion)”被使用来指每帧的视觉信息内容的改变的量（与前一帧相比较）。当输出速率的变化对于在其被播出时具有视觉信息内容中的相对较低运动水平的帧序列发生时，它们对于视频信号的观众而言是不太能察觉的。本发明人认识到，如果要在其上输出视频信号的设备是移动设备，则用户趋向于摇动移动设备，这样使得与设备不是移动设备时相比，视频信号中的运动的质量对于用户来说在感觉上可能是不太重要的。所以，输出设备是否为移动设备的知识可被使用来据此控制视频信号的输出速率。

优选地，每个帧包括指示所述帧对于用以播出视频信号帧的速率的变化的敏感度的标志，并根据帧的标志来控制输出速率的变化。所述标志可以在编码器、在解码器、或在通信网中的另外节点上被添加到帧。优选地，帧的输出速率仅仅在被输出的帧的标志指示所述帧对于用以播出视频信号帧的速率的变化相当不敏感时才显著地变化。

视频信号的帧的视觉信息内容的外观（appearance）可以被确定，并且被使用来确定帧对于用以播出帧的速率的改变的敏感度。本发明人认识到，通过在改变帧被播出的速率时考虑帧的视觉信息内容，可以达到视频信号在感觉上的更愉悦的回放。

附图说明

为了更好地了解本发明和显示本发明可以如何付诸实践，现在将通过例子的方式参照以下的附图，在图上：

图1是按照优选实施例的通信网的示意图；

图2是按照优选实施例的、用于标记视频信号的帧的过程的流程图；以及

图3是按照优选实施例的、用于从抖动缓冲器输出帧的过程的流程图。

具体实施方式

参照图1，现在描述按照优选实施例的通信网100。通信网100包括设备102和设备114，它们可以经由通信网的其余部分（在图1上总的被表示为112）而通过网络100互相通信。通信网100例如可以是互联网。设备102包括CPU 104、编码器块106、标记器块108和网络接口块110。CPU 104控制设备102中其它块的运行，正如对本领域技术人员来说是明显的。编码器块106的输出被耦合到标记器块108的输入。标记器块108的输出被耦合到网络接口块110的输入。网络接口块110被耦合到网络的其余部分112。

设备114包括CPU 116、网络接口块118、抖动缓冲器120、解码器块122、显示器124和控制器块126。CPU 116控制设备114中其它块的运行，正如对本领域技术人员来说是明显的。网络接口块118被耦合到网络的其余部分112。网络接口块118的输出被耦合到抖动缓冲器120的输入。抖动缓冲器120的输出被耦合到解码器块122的输入。解码器块122的输出被耦合到显示器124的输入。控制器块126被耦合到抖动缓冲器120，以便控制它的运行。

现在参照图2描述网络100的运行，图2显示了按照优选实施例的、用于标记视频信号的帧的过程的流程图。设备102将视频信号经由通信网的其余部分112发送到设备114。视频信号的帧通过使用对于设备102和设备114都已知的特定协议在编码器块106中被编码。

在步骤S202，分析视频信号的帧的视觉信息内容。视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。换句话说，视觉信息内容是当视频信号被播出时观众将看到的视频信号的部分，并且视频信号的这个部分被分析。这样，分析视觉信息内容的步骤包括确定视觉信息内容的外观。

在步骤S204，根据对帧的视觉信息内容的分析，确定视频信号的帧中的每个帧对于用以播出视频信号帧的速率的变化的敏感度。本发明人认识到，帧对于用以播出帧的速率的变化的敏感度依赖于视频信号的帧的视觉信息内容。例如，在视觉信息内容中有相对较高运动水平的帧的敏感度高于在视觉信息内容中有相对较低运动水平的帧的敏感度。带有相对较高运动水平的帧具有相对较大量的、从前一帧的视觉信息内容发生改变的视觉信息内容。同样地，带有相对较低运动水平的帧具有相对较小量的、从前一帧的视觉信息内容发生改变的视觉信息内容。其他因素也可以影响帧的敏感度。例如，对应于视频信号的音频信号可以伴随视频信号，以及确定帧的敏感度的步骤可以依赖于对音频信号的分析。例如，当视频信号描绘正在谈话的人时，来自音频信号的暗示可被使用来确定在视频信号与音频信号之间的同步（例如，对口型）是否重要。当视频信号的视觉信息内容描绘正在谈话的人时，视频帧对于用以播出帧的速率的变化是非常敏感的，因为当一个人正谈话时视频的观众可以容易地注意到视频信号的定时的失真。

在步骤S206，标记器块108用帧的已确定的敏感度来标记帧。因此，在步骤S206后，帧具有指示帧对于用以播出帧的速率的变化的敏感度的标志。然后，通过使用网络接口块110和118，可以通过网络的其余部分112把帧发送到设备114。虽然图1显示标记器块108是与编码器块106分开的，但在其它实施例中，标记器块108是编码器块106的一部分。在这些其它实施例中，标记操作可以是编码过程的一部分，其中关于视频信号的许多有用信息在编码过程期间得到，其可被使用来在标记过程中对帧进行标记。在另外的实施例中，标记器块108可以放置在编码器块106的前面，以使得标记过程对未编码的信号进行操作（先于在编码器块106中执行编码）。

现在将参照图3描述设备114的运行，图3显示了按照优选实施例的、用于从抖动缓冲器120输出帧的过程的流程图。如上所述，设备114在网络接口块118处接收视频信号的帧。在步骤S302，所述帧被传递到抖动缓冲器120。帧被存储在抖动缓冲器120中，以便解决在接收的帧中的抖动。控制器块126被使用来控制用以从抖动缓冲器120输出帧的速率。在步骤S304，帧从抖动缓冲器120输出，并在解码器块122上被接收，在解码器块122中通过使用与编码器块106使用来对帧进行编码的相同协议对帧进行解码，正如本领域已知的。然后，解码的帧传到显示器124，在步骤S306，在显示器124上显示所述帧。

帧的标志被控制器块126使用来确定从抖动缓冲器120输出帧的输出速率。具体地，在帧的标志指示帧对于用以播出帧的速率的变化高度敏感的场合下，则帧从抖动缓冲器输出的速率不变化（与前一帧的输出速率相比较）。而在帧的标志指示帧对于用以播出帧的速率的变化并非高度敏感的场合下，则帧从抖动缓冲器输出的速率可以变化。帧从抖动缓冲器120的输出速率确定当帧在显示器124中被显示时帧被播出的速率。

考虑帧的视觉信息内容，控制器块126控制从抖动缓冲器120的输出速率的变化，以便解决在接收的帧中的抖动。如上所述，这可以通过以下方式而达到，即：用指示帧对于用以播出帧的速率的变化的敏感度的标志来标记帧，以使得控制器块126可以简单地读取帧的标志，而由此在确定从抖动缓冲器120的输出速率的变化时考虑帧的视觉信息内容。

作为例子，输出速率的显著加速或减慢可能只在其中视频信号的视觉信息内容中有小运动的视频区域中（在时间和/或空间上）被执行。在一些实施例中，抖动缓冲器持有视频帧的区段（即，空间区域）。例如，如果视频帧中的背景是静止的，则可以发送该帧的仅仅其中有运动的空间区域。在这种情形下，如上所述，输出速率的显著加速或减慢可能只在其中视频信号的视觉信息内容中有小运动的视频空间区域中执行。

如上所述，在确定视频帧的敏感度时，标记器块108可以考虑与视频信号相伴随的音频信号的内容。视频帧的从抖动缓冲器120的输出速率的确定也可以考虑音频信号的内容和音频帧的时间戳。对应的音频抖动缓冲器可能因为各种原因而决定延迟或加速音频帧，正如本领域已知的。控制器块126可以比照使得音频和视频信号不同步的成本来对改变视频信号的回放速度的成本加权，以确定如何变化视频帧的从抖动缓冲器120的输出速率。如上所述，当音频信号输送语音时，使得音频和视频信号同步是很重要的。

使得音频和视频信号同步的重要性可以取决于视频信号的质量。例如，对于较高质量的视频信号（例如，较高的分辨率、帧速率或比特速率）来说，同步音频和视频信号可以是更重要的，因为当视频信号的质量较高时，音频和视频信号之间的同步的任何缺乏对于用户都是更明显的。当视频信号的质量较低时，控制器块126可以不尝试把音频和视频信号同步到这样高的程度（即，采取更宽松的方法）。

在上述的方法中，步骤S202和S204在设备102中实施，例如在编码器块106中、在标记器块108中、或通过CPU 104被实施。步骤S206在设备102的标记器块108中被实施。这样，帧的标记在发送设备102中—即在传输的编码器端—被实施。作为编码过程的一部分，编码器块106分析视频信号，并能访问原始视频，所以，在发送设备102处执行标记可以是高效的。帧可以被指派以相对敏感度，这可以通过使用带内或带外信号而用信号通知接收设备114的控制器块126。

在替换实施例中，帧的标记可以在接收设备114处（即，在传输的解码器端）而不是在发送设备102处被实施。比起在发送设备102处执行帧的标记，这是不太高效的，因为接收设备114（以及发送设备102）于是需要分析视频信号。然而，在接收设备114处执行标记的好处在于，这并不需要专门的编码器来得到参数。这允许本发明在接收设备114处被实施，即使是在视频信号是从通信网100中不实施本发明的第三方设备被接收的情况下。

在另外的替换实施例中，帧的标记可以在通信网的其余部分112中的另外节点处被执行。该另外节点在视频信号被从发送设备102发送时接收它，执行标记过程，然后把视频信号转发到接收设备114。这样，流分析在另外的节点处执行，以便在发送设备102之外分析视频信号的视觉信息内容。这些实施例可能不能同上述的其它实施例一样高效，因为在另外的节点处需要进行对视频信号的处理，而在那里以前只需要很少的处理或不需要处理。然而，使用另外的节点的好处在于，既不需要发送设备102也不需要接收设备114具有能力来分析视频信号的视觉信息内容以便确定帧对于用以播出帧的速率的变化的敏感度。

图1显示抖动缓冲器120处在解码器块122的前面，这样，接收的帧被传递到抖动缓冲器120，以便解决在接收的帧中的抖动，然后，从抖动缓冲器输出的帧被传递到解码器块122以便解码。在替换实施例中，在接收的视频信号的处理中解码器块可以在抖动缓冲器之前，这样使得视频信号在解码器块中被解码，然后，帧被传送到抖动缓冲器，以便解决在接收的帧中的抖动。

在另外的实施例中，可以有两个抖动缓冲器：放置在解码器块122之前的第一抖动缓冲器，和放置在解码器块122之后的第二抖动缓冲器。控制器块126可以根据CPU可用性和视频数据对于输出速率的改变的敏感度做出决定，以确定如何快速地从第一抖动缓冲器移动数据到第二抖动缓冲器。例如，对于具有无限的CPU资源可用的情况，优选地是尽可能快速地腾空第一抖动缓冲器，然后，根据解码的数据，做出关于视频帧的输出速率的变化的决定。实际上，某些数据将既处在第一抖动缓冲器又处在第二抖动缓冲器中。

类似地，图1显示在设备102中进行视频信号处理时，编码器块106处在标记器块108的前面，这样，视频信号在编码器块106中被编码，然后，编码的帧被传递到标记器块108，以随之对帧进行标记，正如上面讨论的。在替换实施例中，标记器块可以在编码器块的前面，这样，帧被标记器块标记，然后帧在编码器块中被编码。

块106到110和118到126可以在设备102和114中以软件或硬件被实施，正如本领域技术人员将会明白的。同样地，在图2和3中给出的方法步骤可以在设备102和114中以软件或硬件被实施。

正如本领域已知的，通信网100可以使用在私有协议上构建的对等(“P2P”)拓扑，以便允许在设备104与设备114之间通信。替换地，通信网100可以使用另外一种拓扑来允许在设备104与设备114之间通信，诸如基于集中式服务器的通信系统。

以上描述的方法步骤可以借助于计算机可读指令在设备102和设备114处被实施。在这种意义下，可以提供一种计算机程序产品，其包括由CPU（104和116）执行的计算机可读指令，用于执行以上描述的方法步骤，由此随之处理视频信号。

虽然本发明是参照优选实施例具体地显示和描述的，但本领域技术人员将理解，可以在形式和细节上做出各种改变，而不背离由所附权利要求限定的本发明的范围。

Claims (17)

1.一种处理视频信号的方法，所述视频信号包括多个帧，该方法包括：

在抖动缓冲器上接收视频信号的帧，该抖动缓冲器被配置为：

持有该视频信号的帧的多个区段，每个区段与该视频信号的帧的单独区域相关联；以及以与该视频信号的帧的其它区段不同的输出速率输出该视频信号的帧的至少一个区段；

以可变的输出速率从抖动缓冲器输出帧，以便解决在接收的帧中的抖动，其中输出速率的变化根据视频信号的视觉信息内容被控制，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

2.权利要求1的方法，其中输出速率的变化或是根据输出速率的变化将引入到视觉信息内容的、感知的失真的确定而被控制，或是被控制成使得输出速率的变化随着视觉信息内容中运动的增加而减小。

3.权利要求1的方法，其中每个帧包括指示帧对于用以播出视频信号帧的速率的变化的敏感度的标志，以及其中输出速率的变化根据所述帧的标志被控制。

4.权利要求3的方法，其中用所述标志标记每个帧。

5.权利要求4的方法，其中视频信号的视觉信息内容被分析，以确定每个帧对于用以播出视频信号帧的速率的变化的敏感度，以便在标记所述帧时使用。

6.权利要求5的方法，其中对应于视频信号的音频信号被分析，以便在确定每个帧对于用以播出视频信号帧的速率的变化的敏感度时使用。

7.权利要求4的方法，其中抖动缓冲器是接收设备的一部分，以及在抖动缓冲器上通过通信网从发送设备接收所述视频信号，以及

其中在以下设备上标记每个帧，即：(i)发送设备；(ii)接收设备；或(iii)通信网中的其它设备。

8.权利要求1的方法，其中从抖动缓冲器输出的帧以可变的输出速率被播出。

9.用于处理视频信号的设备，所述视频信号包括多个帧，该设备包括：

用于接收视频信号的帧的抖动缓冲器，该设备被配置成以可变的输出速率从抖动缓冲器输出帧，以便解决在接收的帧中的抖动，其中该抖动缓冲器还被配置为：

持有该视频信号的帧的多个区段，每个区段与该视频信号的帧的单独区域相关联；以及以与该视频信号的帧的其它区段不同的输出速率输出该视频信号的帧的至少一个区段；

该设备还包括控制装置，用于根据视频信号的视觉信息内容来控制输出速率的变化，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。

10.权利要求9的设备，其中输出速率的变化或是根据输出速率的变化将引入到视觉信息内容的、感知的失真的确定而被控制，或是被控制成使得输出速率的变化随着视觉信息内容中运动的增加而减小。

11.权利要求9的设备，其中每个帧包括指示帧对于用以播出视频信号帧的速率的变化的敏感度的标志，以及其中输出速率的变化根据所述帧的标志被控制。

12.权利要求11的设备，其中用所述标志标记每个帧。

13.权利要求12的设备，其中视频信号的视觉信息内容被分析，以确定每个帧对于用以播出视频信号帧的速率的变化的敏感度，以便在标记所述帧时使用。

14.权利要求13的设备，其中对应于视频信号的音频信号被分析，以便在确定每个帧对于用以播出视频信号帧的速率的变化的敏感度时使用。

15.权利要求12的设备，其中抖动缓冲器是接收设备的一部分，以及在抖动缓冲器上通过通信网从发送设备接收所述视频信号，以及

其中在以下设备上标记每个帧，即：(i)发送设备；(ii)接收设备；或(iii)通信网中的其它设备。

16.权利要求9的设备，其中从抖动缓冲器输出的帧以可变的输出速率被播出。

17.一种用于处理视频信号的设备，所述视频信号包括多个帧，所述设备包括：

用于在抖动缓冲器上接收视频信号的帧的装置，其中该抖动缓冲器还被配置为：

持有该视频信号的帧的多个区段，每个区段与该视频信号的帧的单独区域相关联；以及以与该视频信号的帧的其它区段不同的输出速率输出该视频信号的帧的至少一个区段；

用于以可变的输出速率从抖动缓冲器输出帧，以便解决在接收的帧中的抖动的装置，其中输出速率的变化根据视频信号的视觉信息内容被控制，视频信号的视觉信息内容是当视频信号被播出时该视频信号要被显示的部分。