CN102204257A - 低延迟视频编码器 - Google Patents

Abstract

本发明提供了与捕获的视频会议或者远程呈现对话有关的视频数据和与其相关的视频信号。该视频信号被分解为数据段，在视频信号内数据段从一个视频帧到另一个后续的视频帧是相同的。每个数据段被独立地编码以产生编码的段数据，使得对于给定的数据段产生I帧和P帧两者，以便在远端处支持数据段的独立重建。该编码的段数据随后被传送给远端。

Description

低延迟视频编码器

技术领域

本发明通常涉及视频会议，尤其是，涉及低延迟高分辨率的视频会议和远程呈现(telepresence)应用。

背景技术

有史以来，已经采用各种各样的系统用于在短距离上交换消息。光电报，诸如例如烟幕信号、烽火和信号灯网络追溯到古代。当然，这样的系统在通信方之间需要径直的视距，并且仅仅在比较短的距离上是有效的。随着在十九世纪电子电报的出现，甚至在大的距离上，在两方之间通信信号的传输变得进一步更加实用和经济合算。近年来，随着双向无线电通信系统和模拟或者数字电话网的发展，与实质上位于世界上任何地方的一方或多方通信已经或多或少变成日常工作事项。

令人遗憾地，在长距离上支持通信的大多数当前的系统有些受到限制，其中它们不包括可视的通信成分。这导致包括身体语言、面部表情和手势的可视的提示没有在通信方之间传达的缺点。这样的可视的提示是重要的，并且是在人之间通信往往未发觉的方面。没有这些熟悉的视觉提示，对于一方来说准确地解释别人的感应、心情和诚意是更加困难的。

这种局限性被较好地认识到，并且至少自二十世纪六十年代以来，除了在各方之间音频通信之外，正在努力开发包括可视的通信成分的实用的方法。事实上，这个目的已经使用视频会议技术和可视电话以不同程度的成功实现。视频会议是一组交互的远程通信技术，其允许两个或更多个位置去经由双向并行视频和音频传输来交互作用。在视频会议系统中使用的核心技术是音频和视频流的实时数字压缩。视频会议系统的其它的部件包括：视频输入，即，摄像机或者网络摄像机；视频输出，即，计算机监视器、电视接收机或者投影仪；音频输入，即，麦克风；音频输出，即，与显示设备或者电话有关的通常地扬声器；数据传输，即，模拟或者数字电话网、LAN或者因特网。

简单的模拟视频会议可以在电视接收机发明初期建立。这样的视频会议系统由经由有线、射频链路或者移动链路连接的两个闭路电视系统组成。在使用标准电话网络去传送慢扫描视频信号，诸如由AT&T开发的第一系统进行的尝试失败，主要由于差的画面质量和缺乏有效的视频压缩技术。仅仅在二十世纪八十年代数字电话传输网络变为可允许的，诸如ISDN，保证用于压缩的视频和音频传输的最小位速率(通常地128千比特/s)。最后，在二十世纪九十年代，基于IP(网际协议)的视频会议变为可允许的，并且开发更加有效的视频压缩技术，允许桌上型电脑，或者基于个人计算机(PC)的视频会议。

在这点上，值得注意的是，尽管许多的优点，商店和个人已经缓慢采用基于IP的视频会议，甚至当高速因特网服务已经变得以合理的成本更加广泛地可用时。这个失败至少部分地是由于典型地不舒适的感受，其与基于IP的视频会议有关。尤其是，通常视频成分具有差的质量和“波浪起伏的”，或者没有与通信的音频成分精确同步。而非增强通信，该视频成分可以实际上提供假的视觉提示，并且甚至使通信方迷惑或者令人作呕。当然，当该视频成分被充分地改善以提供通信方更加逼真的运动和逼真表示的时候，很可能出现更宽的采用。因此，在视频数据的编码和传输方面每个递增的改善是朝着实现视频会议广泛的采用的方向重要的步骤。

进一步最新的发展是远程呈现，其密切地与视频会议相关。远程呈现指的是一组技术，其允许人在除其实际的位置以外的位置上感觉仿佛他们存在，以给出他们呈现的相貌，或者具有印象。好的远程呈现策略将人的因素首先聚焦在视觉协作解决方案上，其从传统的视频会议的不自然的“演说者头部特写”感受中分离出来，精确地复制大脑固有的选项用于人际信息交流。这些提示包括全尺寸的参与者、流体运动、准确的肤色和真实的目光接触的外形。在许多的远程呈现应用中，存在对于高分辨率的视频内容隐含的需求。

视频会议和远程呈现的广泛采用的主要障碍是需要在两个或更多个远程位置之间经由通信网络不断地和实时传送大量的视频数据。因此，视频编码技术用于减少传送的视频数据量。例如，MPEG算法压缩数据以形成小的数据集合，其可以容易地传送，并且然后解压缩。MPEG通过仅仅表示从一个帧到另一个，而不是每个完整帧的变化，实现其高的压缩速率。该视频信息然后被使用称作离散余弦变换(DCT)的技术编码。例如，在人从固定背景旁边走过的场景下，取决于哪个表示需要更少的位去适当地表示该画面，或者使用运动补偿，或者作为刷新的图像数据，或者作为两者的组合，仅仅移动区域将需要被表示。没有变化的场景部分不需要被重复地发送。MPEG使用一种有损耗的压缩，因为某些数据被除去，但是，数据的减少通常为人眼难以觉察到。

在典型的视频压缩设计中发现的三个主要画面或者帧类型是内编码画面(I帧)、预测的画面(P帧)和双预示的画面(B帧)。但是，对于实时视频通信，仅仅考虑内(I帧)和预示的(P帧)。在运动顺序中，单个画面帧被集中在一起(称作一组画面，或者GOP)并且播放，使得浏览器注册视频空间运动。也称作关键帧，I帧是数字内容的单个帧，编码器不依赖于放在其之前的帧检查，I帧存储需要显示该帧的所有数据。典型地，在压缩的视频中，I帧与P帧散布。包含的I帧越多，视频质量将越好，但是，I帧包含大量数据，因此提高网络通信负载。P帧跟随I帧，并且仅仅包含已经从先前的I帧变化的数据(诸如，颜色或者内容变化)。因此，P帧依赖于I帧去填充大部分数据。实质上，视频的每个帧被分析以确定具有运动的区域和静态的区域。当P帧被发送的时候，它们包含已经对于整个帧变化的数据。类似地，每个I帧包含用于整个帧的数据。因此，峰值和平均网络负荷两者是比较高的。

现代的视频编码技术工作极好，并且能够实现在200∶1至500∶1的范围内的压缩比。令人遗憾地，这类编码是计算非常地昂贵，并且在发送端需要超强大的处理能力。专用的视频会议和远程呈现系统在大多数情况上是成本价格过高的，其确实具有足够的处理能力，并且对于实时编码高分辨率视频是有效的。另一方面，基于PC的视频会议系统很少具有足够的处理能力去实时操纵视频编码操作。例如，使用具有四个2GHz中央处理器核心的现代的计算机去编码高分辨率视频(以每秒30帧数的1920×1080像素)引入200ms无法接受的延迟。值得注意的是，在接收端解码编码的视频需要的处理能力显著地更少。

与现代的视频编码技术有关的另一个问题是由经由通信网络发送I帧所引起的高峰值/平均数据成组传送。当视频会议开始的时候，最初出现数据成组传送，并且在整个视频会议期间还每隔一段时间。该提高的网络通信量可以在接收端上接收I帧数据时导致延迟，导致不连贯的视频和/或分组损失。降低I帧传输的频率没有减小峰值数据成组传送发出，并且另外使视频质量恶化。

提供克服现有技术的以上提及的局限性的至少一些的方法和系统将是有益的。

发明内容

按照本发明的一个方面，提供了一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话的一个有关，该方法包括：捕获视频数据，并且依赖于其提供视频信号数据；将视频信号数据分解为数据段，在相同的视频信号数据内，从一个视频帧到另一个后续的视频帧的数据段相同；独立地编码每个数据段以产生编码的段数据，使得对于给定的数据段产生I帧和P帧两者，并且允许在远端处独立重建数据段；和传送编码的段数据。

按照本发明的一个方面，提供了一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话的一个有关，该方法包括：捕获视频帧数据的序列，该视频帧数据的序列包括视频信号的至少一部分；将每个帧分解为多个数据段；相互独立地编码数据段，并且至少一些数据段与编码数据段的其它的并行编码；和经由通信网络传送编码的数据段，使得某些数据段的传输随后与其它的数据段的传输偏移。

按照本发明的一个方面，提供了一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话的一个有关，该方法包括：捕获视频帧数据的序列，该视频帧数据的序列包括视频信号的至少一部分；将每个帧分解为包括第一数据段和包括第二数据段的多个数据段，第一数据段至少包含在对话期间的阈值运动量，第二数据段包含在对话期间的小于阈值运动量；编码第一数据段，和独立地编码第二数据段，使得对于第一和第二数据段的每个产生I帧和P帧两者；经由通信网络传送与第一数据段有关的I帧，并且在足够用于减小数据成组传送速率的延迟之后，经由通信网络传送与第二数据段有关的I帧，以便以用于减小从其中产生的数据成组传送速率的方式传送第一和第二数据段。

按照本发明的一个方面，提供了一种用于实时编码视频信号的视频编码系统，该视频信号与视频会议和远程呈现对话的一个有关，该系统包括：用于接收包括帧数据的视频信号的端口，该帧数据可分解为多个不同的预先确定的数据段；多个视频编码器，每个用于独立地编码预先确定的数据段的不同的一个；和用于将编码的数据段提供到网络上的收发信机。

附图说明

现在将结合以下的附图描述本发明的示范的实施例，其中：

图1是示出现有技术视频编码的简化流程图；

图2是示出用于现有技术视频编码的帧大小对帧数的图形显示；

图3是示出按照本发明的一个实施例的视频编码的简化流程图；

图4是示出按照本发明的一个实施例用于视频编码的帧大小对帧数的图形显示；和

图5a-d图解地举例说明有关将一个帧分解为数据段的四个变化。

具体实施方式

给出以下的描述以允许所属技术领域的专业人员生成和使用本发明，并且在特别的应用及其需求的背景下提供。对于公开的实施例的各种各样的修改对那些本领域技术人员来说是容易地显而易见的，并且不脱离本发明的范围，在此处限定的原理可以适用于其他的实施例和应用。因此，本发明不意欲被限制在公开的实施例，而是要给予按照在此处公开的原理和特点最宽的范围。

参考图1，所示出的是按照现有技术用于编码高分辨率的视频的简化流程图。原始的高分辨率的视频信号从HD(高分辨率)视频信源提供给视频编码器。该视频编码器然后按照预先确定的编码技术编码视频信号。该编码的视频信号被提供给发射机，用于经由网络传输。如在图1中示出的，在高分辨率的视频编码和传输的现有技术方法中，整个高分辨率的帧由编码器处理，并且传送给网络用于传输。在捕获和整个帧的编码结束之间的延迟对于高分辨率的帧可以是有效的，诸如例如数量级为毫秒的100s。

现在参考图2，很明显，对于现有技术方法，视频比特流的视频编码峰值对平均位速率比是很高的，由于大的I帧，其导致在网络上通信量大的成组传送，并且通常导致分组损失。当I帧以帧间隔传送时，在21上示出的峰值数据成组传送周期地出现。该平均位速率22显示为水平线。虽然平均位速率22是比较低的，其将对于所有数据成组传送数据在一个数据成组传送21a和后续数据成组传送21b之间花费整个时间，并且以平均位速率插进要传送的数据，因此，除非该可用带宽是充分地高，有效的延迟由该数据成组传送21产生。甚至当可用带宽足够容纳数据成组传送带宽时，那么，该数据成组传送有助于视频传输的延迟，因为数据仍然被经由网络接口顺序地传送。如上文讨论的，每个I帧包含用于整个帧的数据，并且每个P帧包含已经对于整个帧变化的数据。

尽管有一些缺点，现有技术视频编码技术非常适用于许多的应用。尤其是，仅举几个例子，以这种方式的视频编码是用于广播视频应用、视频点播系统应用和DVD视频存储应用。在上述的应用中，提前执行该编码，使得处理需求不是有效的限制因素。此外，在传输应用中，该视频数据在播放之前被缓存，以便减轻与到网络上的高峰值数据成组传送相关的问题。在该技术中众所周知，数据的缓存将补偿数据成组传送的一些影响，并且在专用的传输中，该网络基于系统，诸如广播或者DVD。已经做了很多去估算缓存和供IP网络中使用的缓存器大小。在这些的每个中，视频数据在从信源到目的地的单个方向流动。这些策略对于非交互的应用是有效的，但是，令人遗憾地，不适用于实时视频会议应用。

现在参考图3，所示出的是按照本发明一个实施例用于视频编码的简化流程图。原始的高分辨率的视频信号从HD视频信源提供给分配器。该分配器然后将视频信号的每个帧分解为多个数据段。每个数据段使用单独的编码器独立地编码选择性地，在单独的CPU上执行。用于每个区域的编码的视频数据被提供给发射机，并且随后经由网络传送。

例如，原始的高分辨率视频信号以12个矩形数据段(4个水平频带和3个垂直列)的形式被分解为多个数据段，其每个被处理、压缩和独立地传送给接收端。在接收端上，每个数据段被解码，并且该解码的数据段被重新组合以再现接近于原始信号的图像。并行编码不同的数据段减少延迟，例如，与ms的100s相比用于编码需要大约50ms。此外，独立地编码该数据段减少到网络上的数据成组传送。

作为一个说明性的例子，如果编码器A需要X毫秒去编码全高分辨率帧，然后，N个数据段在大约(X/N)毫秒结束编码，从而减少延迟数量级为N的因子。另外，由于每个数据段被分别地编码，每个数据段的I帧出现最好是与其它的数据段偏移，使得当至少另一个数据段生成P帧的时候，每个数据段的I帧出现，从而减少到网络上的整个峰值对平均数据成组传送，并且可能减少分组损失。这些在图4中图解地示出，这里用于数据段(0)、数据段(1)和数据段(2)的I帧一个与另一个偏移。

在图4中示出的每个信号具有大约5kB的P帧大小，和大约20kB的I帧大小。因此，对于示出的三个数据段例子，对于每个帧传送10kB的P帧数据，并且对于相同的帧传送20kB的I帧数据，产生30kB的帧数据。这些在图2中在24上示出。如从图2中看到的，成组传送数据位速率比现有技术显著地减少，同时保持相似的平均数据速率和相似的视频传输编码质量。当然，使用更多的数据段允许进一步提高平均数据位速率，直到许多的数据段被选择为止，使得影响数据速率的编码效率被大大地减小。

此外选择性地，每个数据段的编码的目标位速率被独立地设置，因此，由于应用可以被分配更高的位速率，数据段被认为是更加重要的。

现在参考图5，选择性地采用许多的形式将高分辨率帧分解为独立地编码的数据段。直接了当的方法是将每个图像分割为在每个原始图像内以行和列调整的一系列的矩形分段。使用这种方法，其比较直接了当地提供或者很小或者很大的许多的数据段。四个可允许的其它的方法作为特定的和非限制例子示出。

在图5a中，该帧被划分为多个水平频带。图5a示出作为不同的数据段的每个频带，并且每个数据段具有相同的大小。选择性地，两个或更多个邻接或者非邻接频带合并以形成单个数据段。此外选择性地，该数据段的一些具有不同的大小。

在图5b中，每个数据段是作为4的因子的图像的下采样表示。当然，选择性地，使用另一个下采样因子。

在图5c中，该帧被分成偶数和奇数行，这里一个数据段由所有偶数行组成，并且另一个数据段由所有奇数行组成。

在图5d中，该帧被分成灵活大小的窗口。在举例说明的特定的和非限制例子中，该帧被分成同样大小的上和下水平频带，在水平频带之间扩展的相等大小的左和右垂直频带，和中央矩形窗口。

选择性地，该帧分解过程是参考图5a-d描述的方法的组合。

如上所述，按照本发明实施例的方法和系统利用视频会议视频图像典型地是整体来看相对静态的事实。例如，在视频会议应用中，摇摄和/或快速场景变化是少有的事情。由于这个缘故，该帧的背景部分近似恒定。这个信息对于专用于视频会议应用的视频编码器是非常有用的。尤其是，预先已知每个帧的大范围可能或者甚至非常可能与在先前的帧中是相同的。因此，该视频编码器不需要以每秒24至60帧数的速率，以解析的方式对于每个帧确定这个事实。更确切些，仅仅对于视频编码器来说有必要处理该图像以确定移动区域。选择性地，I帧以其发出的速率被相对于通用的视频编码减小。与电影和广播电视不同，这是因为在视频会议中存在低的概率，即，该视频信号将包括场景变化、摇摄运动，或者需要要发送的新的I帧的其他类型的变化。

另外，利用该知识将该帧分解为多个数据段，即，每个帧的大范围可能或者甚至非常可能与在先前的帧中相同。尤其是，每个数据段被与相互的数据段独立地编码。如果对于特别的数据段，其确定相对于先前的帧的相同的数据段的变化超过阈值，那么，用于该数据段的I帧仅仅被发送。相同的帧的其它的数据段的一些或者全部可能仅仅需要P帧。事实上，在视频会议参加者占据的区域外面的那些帧可能仅仅在非常长的间隔上需要I帧，同时包含参加者面部一部分的那些数据段需要更加频繁的I帧。总的说来，这种方法势必减小到网络上成组传送和平均数据信息量两者，并且减小延迟，由于I帧仅仅对于单个的数据段，而不是对于整个帧发送，并且用于不同的数据段的I帧以不同的时间间隔偏移和/或发送。

在简单应用中，该数据段定义为几何形状，诸如矩形或者正方形。选择性地，该数据段基于以下的知识定义，该知识是基于特别的视频会议或者远程呈现系统的使用提供或者确定的。例如，如果所期望的是单个参加者将中央地就座在视频帧内，那么，用于分解该帧的可接受的策略可以是在图5d中举例说明的那个，其中中央矩形位于包含参加者面部的该帧的部分上。因此，水平和垂直数据段定义期待包含更少运动的该帧的部分。该中央矩形可以进一步分配给具有高位速率的编码器，同时其余的数据段被分配低的位速率。做为选择，中央矩形可以使用双核心处理器的一个处理器编码，并且双核心处理器的另一个处理器可以编码其余的数据段的全部。选择性地，数据段的一些没有每个帧处理。

该数据段选择性地是不规则的和/或非邻接的。进一步选择性地，该数据段被动态地确定，并且在一个或多个视频会议对话的整个过程期间变化。

可以设想不脱离本发明的精神或者范围的许多其它的实施例。

Claims (41)

1.一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话中一个有关，该方法包括：

捕获视频数据，并且依赖于其提供视频信号数据；

将视频信号数据分解为数据段，在相同的视频信号数据内，从一个视频帧到另一个后续的视频帧的数据段相同；

独立地编码每个数据段以产生编码的段数据，使得对于给定的数据段产生I帧和P帧，并且允许在远端处独立重建数据段；和

传送编码的段数据。

2.根据权利要求1的方法，其中，所述数据段被预先确定不存在分析视频信号数据的视频帧的在先的步骤。

3.根据权利要求1-2的任何一个的方法，其中，每个数据段包括与视频信号数据的视频帧的不同的预先确定的区域有关的数据。

4.根据权利要求1-3的任何一个的方法，其中，传送编码的段数据包括相对于传送数据段的另一个的I帧，传送具有延迟的数据段之一的I帧，以便减小最大数据成组传送速率。

5.根据权利要求1-4的任何一个的方法，其中，传送编码的段数据包括在相同的重叠时段期间传送数据段之一的I帧，和传送数据段的另一个的至少一个P帧。

6.根据权利要求1-5的任何一个的方法，其中，所述数据段被均匀地依大小排列几何形状。

7.根据权利要求1-5的任何一个的方法，其中，与数据段的另一个相比，数据段长度和形状的至少一个对于数据段的一个是不同的。

8.根据权利要求1-7的任何一个的方法，其中，数据段的至少一个包括与视频信号数据的视频帧的多个预先确定的非邻接区域有关的数据。

9.根据权利要求1-8的任何一个的方法，其中，视频信号数据依赖于应用数据被分解为数据段，应用数据在视频信号数据之外，并且表示在视频信号数据的视频帧的不同的区域中期望的运动量。

10.根据权利要求1-9的任何一个的方法，其中，依赖于在先的使用数据执行将视频信号数据分解为数据段，在先的使用数据在视频信号数据之外，并且表示在不同的视频信号数据的视频帧的不同的区域中预先地确定的运动量。

11.根据权利要求1-10的任何一个的方法，其中，在对于数据段的一个有规律地间隔的I帧之间的周期不同于在对于数据段的另一个有规律地间隔的I帧之间的周期。

12.根据权利要求1-11的任何一个的方法，其中，独立地编码每个数据段包括与编码数据段的另一些并行编码至少一些数据段。

13.根据权利要求1-12的任何一个的方法，其中，独立地编码每个数据段包括将每个不同的数据段分配给多个编码器的不同的编码器。

14.根据权利要求13的方法，其中，多个编码器的至少一个编码器具有大于多个编码器的其他编码器的位速率的位速率。

15.根据权利要求1-14的任何一个的方法，其中，传送编码的段数据包括传送数据段的一个的I帧，并且在其传输期间，传送除I帧以外的所有其它的数据段。

16.一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话的一个有关，该方法包括：

捕获视频帧数据的序列，该视频帧数据的序列包括视频信号的至少一部分；

将每个帧分解为多个数据段；

相互独立地编码数据段，并且至少某些数据段与编码数据段其它的并行编码；和

经由通信网络传送编码的数据段，使得某些数据段的传输随后与其它的数据段的传输偏移。

17.根据权利要求16的方法，其中，数据段被预先确定不存在分析视频帧数据的序列的视频帧的在先的步骤。

18.根据权利要求16-17的任何一个的方法，其中，每个数据段包括与视频帧数据的序列的视频帧的不同的预先确定的区域有关的数据。

19.根据权利要求16-18的任何一个的方法，其中，相互独立地编码数据段包括对于多个数据段的每个产生I帧和P帧，以便在远端处支持独立重建数据段。

20.根据权利要求19的方法，其中，传送编码的段数据包括借助于相对于传送数据段的另一个的I帧的延迟传送数据段的一个的I帧，以便减小数据成组传送速率。

21.根据权利要求19-20的任何一个的方法，其中，传送编码的数据段包括传送数据段的一个的I帧，并且在相同的重叠时段期间传送数据段的另一个的P帧。

22.根据权利要求21的方法，其中传送编码的段数据包括传送数据段的一个的I帧，并且在其传输期间，传送所有其它的数据段的除I帧以外的。

23.根据权利要求19-22的任何一个的方法，其中，在对于数据段的一个有规律地间隔的I帧之间的周期不同于在对于数据段的另一个有规律地间隔的I帧之间的周期。

24.根据权利要求16-23的任何一个的方法，其中，多个数据段的数据段表示均匀地依大小排列几何形状的图像数据。

25.根据权利要求16-23的任何一个的方法，其中，多个数据段的至少一个数据段包括与视频帧数据的序列的视频帧的多个预先确定的非邻接区域有关的数据。

26.根据权利要求16-25的任何一个的方法，其中，每个视频帧依赖于应用数据被分解为数据段，应用数据在视频帧数据的序列之外，并且表示在视频帧的不同的区域中期望的运动量。

27.根据权利要求26的方法，其中，应用数据包括在先的使用数据，在先的使用数据表示在先前的通信对话中确定的运动量。

28.根据权利要求16-27的任何一个的方法，其中，独立地编码数据段包括将每个不同的数据段分配给多个编码器的不同的编码器。

29.根据权利要求28的方法，其中，多个编码器的至少一个编码器具有与多个编码器的其它的编码器相比较不同的处理性能特征。

30.一种用于实时编码视频信号的方法，该视频信号与视频会议和远程呈现对话的一个有关，该方法包括：

捕获视频帧数据的序列，该视频帧数据的序列包括视频信号的至少一部分；

将每个帧分解为包括至少包含在对话期间的阈值运动量的第一数据段，和包含在对话期间的小于阈值运动量的第二数据段；

编码第一数据段，和独立地编码第二数据段，使得对于第一数据段和第二数据段的每个产生I帧和P帧；

经由通信网络传送与第一数据段有关的I帧，并且在足以减小数据成组传送速率的延迟之后，经由通信网络传送与第二数据段有关的I帧，以便以减小从其中产生的数据成组传送速率的方式传送第一数据段和第二数据段。

31.根据权利要求30的方法，其中，数据段被预先确定不存在分析视频帧数据的序列的视频帧的在先的步骤。

32.根据权利要求30-31的任何一个的方法，其中，每个数据段包括与视频帧数据的序列的视频帧的不同的预先确定的区域有关的数据。

33.根据权利要求30-32的任何一个的方法，其中，对于第一数据段I帧产生的比率比对于第二数据段I帧产生的比率更加频繁。

34.根据权利要求30-33的任何一个的方法，其中，多个数据段的数据段被预先确定固定均匀地依大小排列几何形状。

35.根据权利要求30-33的任何一个的方法，其中，第一数据段的大小和形状的至少一个与第二数据段相比是不同的。

36.根据权利要求30-35的任何一个的方法，其中，第一数据段和第二数据段的至少一个包括与视频帧数据的序列的视频帧的多个预先确定的非邻接区域有关的数据。

37.根据权利要求30-36的任何一个的方法，其中，每个视频帧依赖于应用数据被分解为多个数据段，应用数据在视频帧数据的序列之外，并且与用户首选项和表示在视频帧的不同的区域中的运动量的历史数据的至少一个有关。

38.根据权利要求30-37的任何一个的方法，其中，编码第一数据段和独立地编码第二数据段包括将第一数据段分配给多个不同的编码器的第一编码器，和将第二数据段分配给多个编码器的第二不同的编码器。

39.根据权利要求38的方法，其中，第一编码器具有与第二不同的编码器相比较不同的性能特征。

40.一种用于实时编码视频信号的视频编码系统，该视频信号与视频会议和远程呈现对话的一个有关，该系统包括：

用于接收包括帧数据的视频信号的端口，该帧数据可分解为多个不同的预先确定的数据段；

多个视频编码器，每个用于独立地编码预先确定的数据段的不同的一个；和

用于将编码的数据段提供到网络上的收发信机。

41.根据权利要求40的视频编码系统，包括：

用于存储预先确定的数据的存储器，该预先确定的数据对于多个不同的数据段的每个表示形成其一部分的图像区域。

Images