CN102550035A - 在产生混合图像视频序列时对不同子图像的帧内编码进行时间同步的方法 - Google Patents

Abstract

在用于对第一视频流进行编码的方法中，产生图像的时间序列。为此，使用如下同步信号：该同步信号由与第一视频流无关的第二视频流导出或者以与在编码第一视频流时相对应的方式而为对与第一视频流无关的第二视频流进行编码的基础。

Description

在产生混合图像视频序列时对不同子图像的帧内编码进行时间同步的方法

技术领域

本发明涉及一种用于对视频流进行编码的方法、一种用于混合两个视频流的方法、一种用于执行视频会议的方法和一种用于执行或者辅助这种方法的设备。 

背景技术

用于进行视频编码的方法、即用于对视频数据流进行编码的方法目前在许多技术领域中有着广泛的应用领域。在视频会议系统中，常用的是，多个用户的视频流被联合（“混合”）成唯一的视频流。在这种联合或者混合的情况下，编码过的输出视频流由两个编码过的输入视频流生成，例如用于共同显示两个视频流。这样的方法例如在WO 2009/049974 A2中予以描述。 

发明内容

本发明所基于的任务是说明了一种用于对在这样的应用中、尤其是与视频会议结合地来使用的视频流进行编码的方法。该任务通过根据独立权利要求之一所述的方法或者设备来解决。 

根据本发明规定，在产生编码过的图像序列的情况下使用了如下同步信号：该同步信号由与要编码的第一视频流无关的第二视频流导出，或者该同步信号以与在编码第一视频流时相对应的方式而为对与要编码的第一视频流无关的第二视频流进行编码的基础。 

由或者从数据流导出信号或者信息、尤其是由或者从视频流导出同步信号应结合本发明的描述被理解为以任何方式产生这种信号或者这种信息，其中导出该信号或者该信息的数据流的结构特征被用于产生所导出的信号或者所导出的信息。由于数据流是数据或数据组（例如图像、像点或像点的块）的时间序列，所以这种数据流的结构通过该数据或者数据组的结构特征和该数据或者数据组与时刻的相关性来确定。在数据流来自同样、即根据确定的模式构造的分别与确定的时刻相关的数据块的时间序列的示例性情况下，同步信号可以由该数据流例如通过检测所述时刻和通过产生描述所述时刻的信号来导出。由或者从数据流导出信号或信息、尤其是由或者从视频流导出同步信号的另外的例子在描述本发明的优选实施例的进一步过程中来说明。 

在根据本发明的方法中，因此第一视频流借助如下同步信号来生成：该同步信号由与第一视频流无关的第二视频流导出，或者尽管该同步信号不从第二视频流导出，但是该同步信号以与在编码第一视频流时相对应的方式而为对第二视频流进行编码的基础。同步信号因此也可以是外部同步信号，例如是以相对应的方式而为对至少两个要编码的视频流进行编码的基础的简单的时间信号。 

在编码时、即在压缩视频流时、也即在压缩运动图像序列时，伴随压缩而出现的数据减小基本上以如下两种途径来实现：一方面，单个图像利用优选地基于块的方法（例如借助所谓的离散余弦变换（DCT））来压缩。该方法大致对应于公知的针对单个图像的JPEG标准。此外，在图像内容常常仅仅微小地改变的彼此相继的单个图像之间的相关性（关联）被利用来进行数据减少。为此目的，引入所谓的预测结构，在所述的预测结构中优选地使用如下三种图像类型（所述图像类型也被称作帧（Frame））。 

– 所谓的I图像在不利用彼此相继的图像的关联的情况下被存储。这些图像因此并不与后续的或先前的图像相关。由于仅仅使用一个图像的图像内容来编码这些图像，所以这些图像也被称作“帧内编码的（intra-kodiert）”图像。因而，得到名称I图像。 

– 所谓的P图像附加地也根据先前的P图像或者I图像来预言（预测）并且因此也称作所预测的图像。 

– 所谓的B图像具有其名称是因为这些图像被双向地插值或预测。在此，不同于P图像，附加地也存在对后续的P图像或者I图像的参考。然而，必须已经将所参考的后续的图像解码，用以解码B图像，由此需要较大数目的图像存储并且常常提高了解码过程的总延迟时间。 

这些图像类型的时间序列表征所谓的预测结构。在这种情况下涉及如下视频流的结构特征：根据该视频流优选地可以导出同步信号或者相对应的信息。这样，通过例如与在视频流中的I图像相关的时刻在该同步信号中被引用，这种同步信号例如可以由该视频流的预测结构导出。在以下的优选实施例的描述中可以认识到用于由视频流导出同步信号的其他可能性。 

与本发明的描述结合地，术语“编码”意味着视频流的优选地伴随减小数据量（数据压缩、压缩）而出现的数字表示，所述视频流即表示视频信号、也就是数字图像或者数字化的图像的时间序列的数据流。在对这种编码过的视频流进行解码时通常产生如下数据流：该数据流能够实现对视频信号的再现或者处理。 

在本发明的优选的实施形式中，图像序列包括被预测编码的图像、尤其是P图像，并且包括未被预测编码的图像、尤其是I图像，而且同步信号被用于使未被预测编码的图像（尤其是I图像）在两个独立的视频流的两个图像序列中的位置同步。在第一种情况下，即在同步信号从第二视频流导出的情况下，使用同步信号优选地来控制未被预测编码的图像在第一视频流中的位置。在另一情况下，即在以相对应的方式使用同步信号来对这两个视频流进行编码的情况下，以相对应的方式控制未被预测编码的图像在两个图像序列中的位置。 

在预测图像的情况下，利用的是，在时间上彼此相继的图像中的确定的图像部分仅仅微小地改变或者仅仅占据相继的图像中的不同的位置。在这些前提条件下，借助运动矢量能预言将来的图像部分，所述运动矢量说明了图像部分在彼此相继的图像之间的偏移。然而，在此通常会发生在要编码的图像块之间的残差，这些残差接着例如可以借助离散余弦变换和紧接着的量化而被编码。 

根据另一优选的实施例规定，同步信号由用于使第一视频流和第二视频流混合的设备来产生。这种设备的例子是视频会议系统、尤其是在此所使用的服务器，多个要编码的视频流通过不同视频与会者的用户终端设备而为这些视频会议系统所用。同步信号在此优选地包含关于在未被预测编码的图像（尤其是I图像）在两个独立的视频流的两个图像序列中的位置之间的时间偏差的信息，或者该同步信号由这种信息导出。 

在另一优选的实施例中，同步信号包含关于被预测编码的图像（尤其是P图像或者B图像）的数目的信息，其中，在两个视频流中的至少一个中，所述数目的被预测编码的图像跟随未被预测编码的图像（尤其是跟随I图像），直至出现另一被预测编码的图像，或者该同步信号由这种信息导出。 

根据本发明的方法和不同的实施例适于使两个视频流混合，其中这些视频流中的至少一个根据上述类型的方法被编码或者曾被编码。由此，该方法也适于执行视频会议，其中至少两个视频流根据上述方法之一被混合。 

作为这样的用于执行视频会议的方法的优选实施形式而规定，在另一用户进入该视频会议中时，该另一用户的视频流首先被不同步地编码，并且一旦用于混合视频流的设备可以根据先前描述的或者后续描述的实施例之一产生同步信号，该另一用户的视频流就被同步。在此，特别优选该方法的如下实施形式：在该实施形式中，用于混合视频流的设备在同步之前或者在同步期间用信号通知所希望的预测结构。 

本发明也可以通过用于执行或者辅助所述方法之一的设备来实现，该设备被设立用于根据所描述的方法之一产生和发送或者接收或者处理同步信号。 

附图说明

在下文中参照附图借助优选的实施例更为详细地描述了本发明。 

在此， 

图1示意性地示出了根据本发明的用于对视频流进行编码的方法的优选的实施例；

图2示意性地示出了根据本发明的用于对视频流进行编码的方法的另一优选的实施例；

图3示出了具有所谓的IPPP编码的带有第一预测结构的第一视频流；

图4示出了具有所谓的IPPP编码的带有第二预测结构的第二视频流；

图5示出了通过混合在图3和4中所示的视频流来形成的输出视频流，其中预测结构没有根据本发明被同步；

图6示出了具有第三“分层的”预测结构的第三视频流；

图7示出了具有第四“分层的”预测结构的第四视频流；

图8示出了通过混合在图6和7中所示的视频流来形成的输出视频流，其中预测结构没有根据本发明被同步；

图9示出了在图6中所示的带有根据本发明的同步信号s的视频流；

图10示出了根据本发明的修改过的具有缩短的图像组长度和具有根据本发明的同步信号s的视频流；

图11示出了通过混合在图9和10中所示的视频流来形成的输出视频流，其中预测结构根据本发明被同步；

图12示出了具有“分层的”预测结构的视频流，其中具有7个P图像的组与未被预测编码的I图像相关；

图13示出了具有“分层的”预测结构的、图像组长度根据本发明通过同步信号s相对于图12中的图示被缩短的视频流；

图14示出了通过混合在图12和13中所示的根据本发明被同步的视频流来形成的输出视频流。

具体实施方式

图3、4和5示出了具有IPPP编码的两个视频流的混合，其中预测结构没有根据本发明被同步。在图3中所示的视频流中，图像31、32、33、34、35、36、37和38在时间上彼此相继。图像31和35是未被预测编码的（“帧内编码的”）I图像。图像32、33、34、36、37和38是被预测编码的P图像。在不参考其他图像的情况下被编码的I图像31和35可以在不参考其他图像的情况下被解码。P图像借助基于先前的图像来预言其图像内容地被编码，并且因而可以仅仅在借助先前的图像的图像内容的情况下被解码。 

相对应的情况也适用于在图4中所示的由I图像42和46以及P图像41、43、44、45、47和48构成的视频流，其中不同在于，在图4中所示的视频流中在如下时刻出现I图像42和46：在这些时刻，在图3中所示的视频流中出现P图像32和36。为了解码P图像41，需要知道未在图4中示出的在图像41之前的图像的图像内容。需要图像48来解码在图4中未示出的在时间上跟随在图像48之后的图像。 

在图3和4中，各个图像组（“group of pictures”，GOP）尽管具有相同的长度；但是图像组的起始点、即I图像31、35、42和46在时间上彼此偏移。在图4中所示的视频流中出现未被预测编码的I图像42和46的时刻在图3中所示的视频数据序列中对应于在该视频数据序列中出现被预测编码的P图像32或36的时刻。因而，在没有根据本发明进行同步的情况下混合两个在图3和4中所示的视频流时，在图5中所示的输出视频流中的所有图像都是被预测编码的P图像、即图像51至58。所有图像都通过参考而与相邻的图像相联系。 

该现象导致不存在输出视频流的入口点（“随机访问点（random access point）”），这对于该方法的可靠性及其容错是不利的。 

在分层的编码的情况下，出现另一问题。分层的编码能够实现时间上的可缩放性（Skalierbarkeit），所述时间上的可缩放性尤其能够实现更好的误差保护方法。这样，在具有时间上的可缩放性的视频流的情况下，时间基准平面、即最低的时间分辨等级受到良好保护，以便防止不受控的误差传播。与此相反，在IPPP编码的情况下，在损失P图像的情况下，所有后续的P图像不再无误差地被解码。 

在图6中所示的视频流中，P图像63和67并不与相应的在其前的p图像62或66相关，而是与分别在其前的I图像61或65相关。与此相反，p图像64和68与在其前的P图像63或67相关。类似地适用于图7中所示的视频流。P图像74和78并不与相应的在其前的p图像73或77相关，而是与分别在其前的I图像72或76相关。与此相反，p图像71和75与在其前的P图像70或74相关，其中P图像70在图7中未示出。 

如在图6、7和尤其是在图8中所示的那样，分层的预测结构在混合在图6和7中所示的视频流时导致如下问题：许多图像、即在图8中所示的输出图像序列中的图像83、84、87和88具有与多个过去图像的相关性，即具有与多个参考图像的相关性，这些相关性也称作多重参考（“multiple references”），这通常导致提高的存储器开销。 

这样，例如图像83与图像81和82相关，图像84与图像82和83相关，图像87与图像85和86相关，而图像88与图像86和87相关。这种多重相关性提高了在解码时的误差的概率并且常常也提高了用于编码和解码的开销。此外，这种多重相关性在一些视频标准中并不能被反映，并且也失去了时间上的可放缩性，这在图8中通过“？”符号来表示。这导致在解码输出视频流时的提高的容易出错性。 

本发明现在如在图1和2中所示的那样通过根据同步信号s1或s12控制对至少一个视频流1和/或2的编码E1或E2来解决该问题，该同步信号s1或s12在图1和2中所示的实施例中通过用于混合视频流1或2或其编码过的视频流1′或2′的设备E12来提供。编码器E1或E2对视频流1或2进行编码并且产生编码过的视频流1′或2′。这些编码过的视频流1′或2′在图1中所示的实施例中被输送给用于混合两个视频流的设备E12，于是或者其中该设备提供被输送给用于对视频流2进行编码的设备E2并且被所述设备E2使用的同步信号s1。 

在图1中所示的实施例中，同步信号s1仅仅被输送给编码器E2，而不被输送给编码器E1。同步因此是可能的，因为在本发明的该实施形式中，同步信号s1从视频流1或1′导出。由视频流1或1′导出的同步信号在此包含用于使视频流2的编码E2同步的信息，所述信息由视频流1′的结构特征（例如由视频流1′的预测结构）导出。用于进行混合的设备E12借助根据本发明的同步过的视频流1′和2′产生混合过的视频流12。 

在图2中所示的本发明的实施例中，同步信号s12被输送给两个编码器E1和E2。同步信号s12因而不必从两个视频流之一被导出。代替地，也可以涉及外部信号、例如时间信号，该外部信号被两个编码器E1和E2（以相对应的方式）用于同步。表述“以相对应的方式”在此应意味着：同步信号被两个编码器E1和E2在算法上以相同的方式用于对相应的视频流1和2进行编码。 

在根据本发明的方法中，使用了如下同步信号：该同步信号由与第一视频流无关的第二视频流导出或者以与在编码第一视频流时相对应的方式而为对与第一视频流无关的第二视频流进行编码的基础。本发明的主要构思因此是，使输入视频流、优选地输入视频流的预测结构同步，以便以这种方式在混合时产生改进的输出视频流。 

为此目的，本发明规定，控制两个编码器中的至少一个来使得可以进行这种同步。为了实现视频流与预先给定的预测结构的同步，也可以彼此组合的以下两个基本措施是合适的：通过中央服务器（例如通过用于混合视频流的设备）用信号通知偏移，或者使用共同的时基。这两个措施或其组合还可以通过图像重复率的精细调节来补充。 

执行输入视频流1′和2′的混合的设备E12（例如服务器）例如可以计算输入视频流的时间偏差。为了通过同步消除所计算的偏移，随着请求，设备E12（例如在视频会议系统中的服务器）向所述一个或多个相对应的视频数据源的视频编码器（“终点”）寄送将图像组（“GOP”）的图像数目减小当时计算的偏差的指示。在本发明的另一实施形式中，图像组的长度也可以被延长或可以使用对图像组长度缩短或者延长的组合或混合形式。如果输入视频流的图像组长度尚不相等，则该图像组长度作为新参数优选地被一同传输。 

该行为方式示例性地在图9、10和11中被示出。用于混合输入视频流的设备E12的至用于图10中所示的视频流的编码器的同步信号s大致可以在于用于将图像组长度缩短一个图像的指示。在紧接着得到的可能性的情况下，编码器会实施该指示。 

这样，图9示出了具有图像91至98的视频流，这些图像91至98包括图像91至94以及图像95至98构成的两个图像组。图像组的各第一图像91和95在该例子中为I图像，所有其余的图像92、93、94、96、97和98是P图像或者p图像。在大写字母和小写字母之间的差别在此用于表示图像属于不同的时间分辨率水平。 

该情形对应于图6中所示的情形。现在为了避免图8中所示出的问题，促使在图7中所示的视频流的编码器通过该同步信号来缩短图像组长度。接着，由图7中所示的视频流得到图10中所示的视频流，其中在被预测编码的图像74之后并未跟随被预测编码的图像75，而是其中在被预测编码的图像104之后跟随未被预测编码的I图像105。因此，促使编码器通过同步信号在不参考先前的图像的情况下对图像105进行编码，即产生未被预测编码的I图像105。 

在将这两个根据本发明被同步的、在图9和10中所示的视频流进行混合的情况下，形成图11中所示的输出视频流，其中图8中所示的、图像87和88的多重相关性并未出现。图像116、117或者118都没有与多于一个的先前的图像相关。 

但是，图像组并不一定必须从帧内图像（I图像）开始，而是图像组也可以从被预测编码的图像开始，如这在图12、13和14中所示的那样。以这种方式可以避免网络中的数据率由于所有发送方同时传输I图像而短期极大地升高。为此，优选地也可以附加地用信号通知和传输关于图像组是否应从帧内图像开始的信息或者将所述信息集成到同步信号中。 

在本发明的一些优选实施例中，在同步信号中或者除了同步信号之外也可以将预测结构和帧内图像的间距用信号通知给编码器，如这可以以图12和13中所示的视频流为例而示出的那样。如果由编码器产生的预测结构并不与由混合器E12所期望的预测结构相一致，则上述情形尤其是有利的。信令在这种情况下例如可以看起来如下：在“帧内周期=8”的情况下，“I0 p2 P1 p2”。字母符号在此表示图像类型，其中I代表图像类型“帧内图像”，P（“大写P”）代表图像类型“P参考图像”，p（“小写p”）代表图像类型“P-非参考图像”。参数“帧内周期”在此说明时间上的缩放等级。 

在本发明的另一优选的实施形式中，该消息也可以具有其他内容，该其他内容但是实现了被寻址的编码器的类似的或者相同的特性。规范的一种可能性可能为指示编码器在确定的图像号码下启动图像组，或者如果图像组尚未一致，则可以以专用的图像组长度启动。相对应的指示例如可以是：“在图像号码y的情况下的图像组长度等于x的新图像组”。图像号码的计算通过服务器根据视频流的偏移和信令的延迟来进行。 

对于后者而言，必须保证的是，信令包在对新图像组的图像号码进行编码之前到达编码器。在这两种所述的情况下，信令例如可以借助用于实时控制媒体流的协议来进行，优选地借助RTP控制协议（RTCP，RTP-Control-Protocol）来进行。 

如果新用户到达视频会议中，则该用户首先不同步地启动对视频数据的编码和发送。由此，首先，其他用户的先前可能存在的同步性（相同的预测结构）将失去。但是，一旦服务器例如可以计算偏差，则新用户接着优选地尽可能地被同步。可以已经事先向新用户用信号通知所希望的预测结构。这可以优选地在商定连接时或者通过已经描述的类似RTCP的信令来实现。 

所描述的并且其他的仍有后续的实施例也可以组合地实现。在此，信令通常可以包括可以适当地组合的如下要素： 

- 图像偏差或者图像组长度的延长或缩短

- 判定新图像组是否从帧内图像开始

- 图像组长度

- 预测结构，该预测结构隐含地包含关于图像组长度的信息

- 帧内周期、即帧内图像的间距。

控制元件或者参数优选地由第二视频流导出，即由第二视频流的预测结构或者由该视频流的其他结构特征确定或计算。对此的不同例子先前曾予以描述。 

预测结构的同步也能通过共同的时基来实现。因此，本发明规定如下实施例：其中每个终点首先与参考时基同步。这例如可以借助所谓的网络时间协议（NTP，Network-Time-Protocol）来实现。使视频流1′和2′混合的通信服务器E12例如也可以自身用作参考时基的源。这种情形例如在图2中示出。 

在本发明的优选的实施形式中，信令接着可以如下地进行：服务器向每个终点E1或E2寄送在确定的时刻启动寄送确定的预测结构的请求。起始点在此优选地根据数据从终点至服务器的传输时间来计算。数据从终点至服务器的传输时间优选地例如可以被估计为所谓的往返时间（RTT，Round-Trip-Time）的一半。开始新图像组的时刻接着优选地可以如下来计算： 

T（新图像组；i）=T（混合；i）-T（传输；i）≈T（混合，i）-RTT/2，其中i=1，…，n，其中n是终点的数目，即要混合的独立的视频流的数目，即例如与会者的数目。

通过预先给定图像组的起始点和预先给定预测结构，发送方可以计算在预测结构与时基之间的固定映射（Mapping）并且从此以后提供具有被同步的预测结构的视频流。由实验性检验的估计得到，网络时间协议（NTP）的精度在这种情况下为大约10毫秒。 

因而，基于此的同步的不精确度最大为20毫秒，因为终点可在不同的方向上偏离（即“向前或向后”）。这在25Hz的图像重复率的情况下对应于图像的偏差。 

如已经提及的那样，该偏差（如果存在）可以通过偏移的信令（如上所描述的那样）被补偿。根据本发明的应用和实施形式，图像重复率的精细调节可以是有利的或者是值得希望的。由于时间参考主要是在不使用共同的时基的情况下可以发散在各个终点中，所以即使在已经同步过的视频流并且图像重复率在形式上相同的情况下也会随着时间而构造偏差。为了抵消这种偏差，一个或多个终点的图像率优选地可以相对应地被再调节。为此，服务器优选地向所述一个或多个终点E1或E2寄送指示，例如寄送具有如下内容的指示：“将图像重复率提高x”，其中x的负值应对应于图像重复率的减小。 

在对应于在时间间隔中（即每个时间间隔）所接收到的图像的数目的所估计的图像率的情况下，修正值x在此可以根据输入数据流与参考时间的偏离优选地如下被计算： 

x=[(目标图像率/所估计的图像率)-1]*100%。

所描述的本发明根据实施形式能够实现以尤其是与完整转换要混合的视频流的代码相比比较小的开销将视频流混合。在此，时间上的可放缩性被保持。 

由此可能的是，输出视频流在图像重复频率和数据率方面与应用的要求相匹配，更确切地说，在同时减小容易出错性的情况下，优选地通过特别的误差保护（例如通过传输重复（“re-transmission”））针对时间基准平面（“basis layer（基准层）”）、即最低的时间分辨等级与应用的要求相匹配。输出视频流中的可能不能通过视频编码标准映射的复杂预测结构可以借助本发明来避免。 

根据本发明所产生的输出视频流常常可以以较小的存储器开销来解码。在传统方法的情况下常常不可避免的附加延迟在根据本发明的方法中被最小化或者被完全消除，因为各个要混合的输入视频流并未延迟。 

前面所描述的本发明的实施例也可以有利地彼此组合。然而本发明并不限于前面所明确描述的实施例。本领域技术人员借助本发明的本说明书能够没有困难地发现和实施其他有利的实施例。 

Claims (10)

1.一种用于对第一视频流进行编码的方法，其中产生图像的时间序列，其特征在于，

在产生图像序列时使用同步信号，该同步信号由与第一视频流无关的第二视频流导出或者以与在编码第一视频流时相对应的方式而为对与第一视频流无关的第二视频流进行编码的基础。

2.根据权利要求1所述的方法，其特征在于，图像序列包括时间上被预测编码的图像、尤其是P图像，并且包括未在时间上被预测编码的图像、尤其是I图像，而且使用同步信号来使未被预测编码的图像、尤其是I图像在两个独立的视频流的两个图像序列中的位置同步。

3.根据上述权利要求之一所述的方法，其特征在于，同步信号由用于使第一视频流和第二视频流混合的设备来产生。

4.根据上述权利要求之一所述的方法，其特征在于，同步信号包含关于未被预测编码的图像、尤其是I图像在两个独立的视频流的两个图像序列中的位置之间的时间偏差的信息或者由所述信息导出。

5.根据上述权利要求之一所述的方法，其特征在于，同步信号包含关于被预测编码的图像、尤其是P图像或者B图像的数目的信息或者由所述信息导出，其中所述数目的被预测编码的图像在两个视频流中的至少一个中跟随于未被预测编码的图像、尤其是跟随于I图像，直至出现其他的被预测编码的图像。

6.一种用于使两个视频流混合的方法，所述视频流中的至少一个视频流根据上述权利要求之一所述的方法被编码或者曾被编码。

7.一种用于执行视频会议的方法，其中，至少两个视频流根据上一权利要求所述的方法被混合。

8.根据权利要求7所述的方法，其特征在于，在另一用户进入视频会议时，该另一用户的视频流首先不同步地被编码，并且一旦用于混合视频流的设备能根据上述权利要求之一产生同步信号，该另一用户的视频流就被同步。

9.权利要求6至8之一所述的方法，其特征在于，用于混合视频流的设备在同步之前或者在同步期间向其他用户的视频流的编码器用信号通知所希望的预测结构。

10.一种用于执行或者辅助根据上述权利要求之一所述的方法的设备，其特征在于，该设备被设立用于根据上述权利要求之一产生和发送或者接收和处理同步信号。

Images