CN103997654A - 低时延的多视点分布式视频编码系统帧排列方式 - Google Patents

Abstract

本发明属于分布式视频编码技术领域，为实现提高视频帧的重构质量，降低解码时延，本发明采取的技术方案是，低时延的多视点分布式视频编码系统帧排列方式，包括如下步骤：首先，在时间方向上，即同一个视点不同时刻的帧，奇数视点的前两帧都是关键帧即K帧，从第三帧开始出现非关键帧即WZ帧，此后K帧、WZ帧交替出现；偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现；奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一K帧外推出后面的WZ帧；第二，在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的。本发明主要应用于视频编码。

Description

低时延的多视点分布式视频编码系统帧排列方式

技术领域

发明属于分布式视频编码技术领域，尤其涉及一种低时延的多视点分布式视频编码系统帧排列方式。

技术背景

分布式视频编码是一种新兴的视频编码技术，它能够使运动估计与运动补偿预测从编码端转移到解码端，有效地降低了编码端复杂度，适用于低复杂度、低功耗的视频系统，如无线监控系统、无线视频系统等。多视点分布式视频编码和传统的单视点视频编码相比可以提供更多的视频场景信息。

多视点分布式视频编码中，边信息的获得是整个系统的关键部分，直接影响解码端非关键帧的重构质量。不同的帧排列方式采用不同的时间边信息和视点间边信息生成方式，传统的多视点分布式视频编码系统中选择的大多都是棋盘型的帧排列方式，但这种帧排列方式的多视点视频编码系统中存在着大量的时间延迟，不能够满足实时性要求高的视频系统的要求。

现有的多视点分布式视频编码的帧排列方式大多采用棋盘型，即关键帧(K帧)和非关键帧(WZ帧)间隔排布，在这种排列方式中，视点间边信息与时间边信息分别采用视差矢量内插法和运动补偿内插法。这种排列方式在视点内部采用运动补偿内插法，这导致视点内部的解码顺序与显示顺序不一致，从而导致了一定的解码时延，加上本身的传输时延，这种边信息解码方式存在较大时延。为了降低整个系统的解码时延，急需一种新型的帧排列方式。

发明内容

为了克服现有技术的不足，实现提高视频帧的重构质量，降低解码时延，能够适用于对实时性要求高的视频系统。为此，本发明采取的技术方案是，低时延的多视点分布式视频编码系统帧排列方式，包括如下步骤：首先，在时间方向上，即同一个视点不同时刻的帧，奇数视点的前两帧都是关键帧即K帧，从第三帧开始出现非关键帧即WZ帧，此后K帧、WZ帧交替出现；偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现；奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一K帧外推出后面的WZ帧；偶数视点的第二帧与第三帧外推出第四帧；第二，在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的；每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量内插法获得的。

解码顺序如下：对于视点之间的边信息解码，是先解码1号视点的第一帧关键帧K帧，同时解码3号视点的第一帧关键帧K帧，然后通过视差矢量内插法解码2号视点的第一帧非关键帧WZ帧；依次按照这样的顺序，视点间解码，先解码K帧，再由已解码的关键帧通过视差矢量内插法解码WZ帧；在视点内部，在1号视点内部，先解码1号帧关键帧K帧，再解码2号帧关键帧K帧，然后由已解码的2个K帧，经过运动补偿外推法获得2号帧非关键WZ帧的边信息，从而重构出2号帧。然后将已解码的3号帧，和解码的4号帧，通过运动补偿外推法外推出5号帧的时间边信息，重构出5号帧；在2号视点内部，1号帧和2号帧非关键帧WZ帧是通过视点间边信息得到解码的，然后已解码的2号帧与3号帧关键帧K帧，通过运动补偿外推法获得4号帧的视点间边信息，解码4号帧，然后4号帧与5号帧外推解码6号帧，以此类推其他的帧间解码，帧间的解码，是通过前两帧根据运动补偿外推法得到WZ帧的。

与已有技术相比，本发明的技术特点与效果：

比较之前的棋盘式排列的多视点分布式视频编码，本发明所提的低时延的多视点分布式视频编码系统帧排列方式，在视点间采用视差矢量内插法，保证了视点间边信息的质量。在视点内部，采用运动补偿外推法，保证了视频的解码顺序与显示顺序的一致性，降低了解码时延，同时降低了传输时延，能够很好的满足实时性视频系统的要求。

附图说明

图1本发明的一种低时延的多视点分布式视频编码系统帧排列方式。

具体实施方式

一种低时延的多视点分布式视频编码系统帧排列方式，按照帧的排列，可以从两个方向考虑-时间和视点。首先，在时间方向上，即同一个视点不同时刻的帧，奇数视点的前两帧都是关键帧(K帧)，从第三帧开始出现非关键帧(WZ帧)，此后K帧、WZ帧交替出现。偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现。奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一K帧外推出后面的WZ帧。偶数视点的第二帧与第三帧外推出第四帧等。第二，在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的。每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量内插法获得的。

视点内部的时间边信息的生成方法为运动补偿外推法

结合附图对本发明作更详细的说明。

传统的棋盘型多视点分布式视频编码帧排列方式中，在视点内部采用运动补偿内插法，通过当前帧的前、后两帧作运动估计、运动补偿等获得当前帧的时间边信息。由于涉及到对后一帧的运动计、运动补偿等，这就要求必须要首先解码后一帧，那么就导致整个视频的解码顺序与视频的显示顺序不一致。系统的解码时延包括解码后一帧的时延和传输后一帧的时延。

如图1所示，所述的低时延的多视点分布式视频编码系统帧排列图中，横向表示时间，纵向表示视点。K代表关键帧，WZ代表非关键帧。在时间方向上，即同一个视点不同时刻的帧，奇数视点的前两帧都是K帧，从第三帧开始出现WZ帧，此后K帧、WZ帧交替出现。偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现。奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一K帧外推出后面的WZ帧。偶数视点的第二帧与第三帧外推出第四帧等。第二，在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的。每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量内插法获得的。对于本发明的低时延的多视点分布式视频编码的帧排列方法，解码顺序如下：对于视点之间的边信息解码，是先解码1号视点的第一帧(K帧)，同时解码3号视点的第一帧(K帧)，然后通过视差矢量内插法解码2号视点的第一帧(WZ帧)。依次按照这样的顺序，视点间解码，先解码K帧，再由已解码的关键帧通过视差矢量内插法解码WZ帧。在视点内部(以1号视点和2号视点为例)，在1号视点内部，先解码1号帧(K帧)，再解码2号帧(K帧)，然后由已解码的2个K帧，经过运动补偿外推法获得2号帧(WZ)帧的边信息，从而重构出2号帧。然后将已解码的3号帧，和解码的4号帧，通过运动补偿外推法外推出5号帧的时间边信息，重构出5号帧。在2号视点内部，1号帧和2号帧(WZ帧)是通过视点间边信息得到解码的，然后已解码的2号帧与3号帧(K)帧，通过运动补偿外推法获得4号帧的视点间边信息，解码4号帧，然后4号帧与5号帧外推解码6号帧，以此类推其他的帧间解码，帧间的解码，是通过前两帧根据运动补偿外推法得到WZ帧的。

2号视点内部的第3帧是由第1帧与第2帧通过运动补偿外推法获得的。同样的，第4帧是由第2帧、第3帧通过运动补偿外推法获得，所以描述为第二帧与第三帧外推出第四帧。

Claims (2)

1.一种低时延的多视点分布式视频编码系统帧排列方式，其特征是，包括如下步骤：首先，在时间方向上，即同一个视点不同时刻的帧，奇数视点的前两帧都是关键帧即K帧，从第三帧开始出现非关键帧即WZ帧，此后K帧、WZ帧交替出现；偶数视点的前两帧是WZ帧，第三帧是K帧，此后K帧、WZ帧交替出现；奇数视点的前两帧外推出后一帧，然后把当前解码的WZ帧作为已解码帧与后一K帧外推出后面的WZ帧；偶数视点的第二帧与第三帧外推出第四帧；第二，在视点方向上，即不同视点同一时刻的帧，在同一时刻的不同视点的帧的排列是K帧与WZ帧交替出现的；每个视点的WZ帧的边信息是通过与之相邻的视点的同一时刻的K帧通过视差矢量内插法获得的。

2.如权利要求1所述的低时延的多视点分布式视频编码系统帧排列方式，其特征是，解码顺序如下：对于视点之间的边信息解码，是先解码1号视点的第一帧关键帧K帧，同时解码3号视点的第一帧关键帧K帧，然后通过视差矢量内插法解码2号视点的第一帧非关键帧WZ帧；依次按照这样的顺序，视点间解码，先解码K帧，再由已解码的关键帧通过视差矢量内插法解码WZ帧；在视点内部，在1号视点内部，先解码1号帧关键帧K帧，再解码2号帧关键帧K帧，然后由已解码的2个K帧，经过运动补偿外推法获得2号帧非关键WZ帧的边信息，从而重构出2号帧。然后将已解码的3号帧，和解码的4号帧，通过运动补偿外推法外推出5号帧的时间边信息，重构出5号帧；在2号视点内部，1号帧和2号帧非关键帧WZ帧是通过视点间边信息得到解码的，然后已解码的2号帧与3号帧关键帧K帧，通过运动补偿外推法获得4号帧的视点间边信息，解码4号帧，然后4号帧与5号帧外推解码6号帧，以此类推其他的帧间解码，帧间的解码，是通过前两帧根据运动补偿外推法得到WZ帧的。