CN100512446C - 一种基于自适应时域亚采样的多描述视频编解码方法 - Google Patents

Abstract

本发明提供一种基于自适应时域亚采样的多描述视频编解码方法，包含：通过自适应时域亚采样调整原始视频序列的运动信息；将调整后的视频序列分成具有一定相关性的两路视频子序列，分别进行压缩后将生成两个描述在信道传输；如果所述两个描述同时收到，则对两个描述进行中心解码，得到较高质量的重建视频；如果只收到单路描述，则对其进行单路解码，得到可接受质量的重建视频。本发明的优点在于：在保证视频编码压缩性能的前提下，提高了视频传输的可靠性，有利于在复杂的网络情况下实现可靠传输；对现有的标准信源编解码器以及信道编解码器没有做任何改动，易于兼容现有的视频标准。

Description

一种基于自适应时域亚采样的多描述视频编解码方法

技术领域

本发明涉及一种新型的视频编解码方法，尤其涉及一种基于自适应时域亚采样的多描述视频编解码方法。

背景技术

近年来，随着INTERNET和个人无线通信设备的普及和推广，视频传输广泛应用于视频电话、电话会议、远程教学、远程医疗、广告、娱乐、资料检索等领域，在包交换网络和窄带网络中实时可靠的传输视频已成为必然需求。但是，现实中互联网和无线通信网等网络的信道并不十分可靠。互联网中存在信道干扰、网络拥塞和路由选择延迟等问题，导致数据错误及分组丢失等现象的存在；而无线通信网络信道的随机比特错误和连续的突发性差错等问题进一步恶化了信道状况，导致所传输视频数据的大量字段失效或彻底丢失。这些对于压缩数据是致命的问题，因为压缩后的数据一般是由不等长码字构成的码流，如果出现错误或数据包丢失，都会引起错误扩散等一系列问题，不但严重影响视频业务的服务质量，甚至会导致整个视频通信系统完全失效，成为限制网络实时视频技术发展的瓶颈。

传统的视频编码更着重于提高压缩性能，在产生数据传输错误后主要被动依赖于后期信道编码的纠错能力。新近制定的视频编码国际标准如MPEG-4中的精细粒度分级编码(FGS-Fine Granularity Scalable)等，也开始试图采用新的编码框架，来更好的适应网络传输。在FGS编码中，基本层采用较强的错误保护措施，如较强的前向纠错(FEC-Forward Error Correction)和自动反馈重传(ARQ-Automatic Repeat reQuest)，以保证传输的可靠性。但这种方法也存在如下问题：首先，基本层错误会导致解码重建质量的严重下降；其次，增强层依赖于基本层，若基本层丢失，增强层也将无用；再次，反复的ARQ会引起延时过度，强FEC也会因其复杂度带来额外延时，严重影响视频的实时播放。

多描述视频编码就是针对不可靠网络实时视频传输问题而产生的。多描述编码(MDC-Multiple Description Coding)假设在信源和信宿之间有多个信道，各个信道同时出错的概率非常低，通过生成多个同等重要、可独立解码的关于编码的描述，从而保证在其中一些描述丢失的时候，仍可以得到可接受的图像质量。而随着描述的增加，图像质量也随之提高。由于使用部分的信息就可以重建出一个质量可接受的图像，因此多描述编码在基于包的网络、无优先保护机制的INTERNET、分集通信系统--多天线的无线信道、语音编码、图像编码、视频编码、多分布的存储系统以及低延时的系统中将有着非常重要的应用。与分级编码相比，它特别适合于不提供优先权的网络视频传送。

多描述编码的历史可以追溯到20世纪70年代，当时Bell实验室为了在电话网上提供不间断的电话业务，将来自一个通话的信号进行奇偶分离成两路信号，并在两个分离的信道上传输。随后进行了信息理论的研究。自Vaishampayan给出了第一个实用的基于标量量化的多描述编码方法后，MDC的研究开始由理论向构造实用的MDC系统转变。许多新的多描述图像编码方法出现，主要包括基于标量量化的多描述图像编码方法，基于相关变换的多描述图像编码方法，以及基于格型矢量量化的多描述图像编码方法等。多描述视频编码的研究主要从1999年开始，现在主要集中于两类方法，即基于运动补偿循环的方法和基于前后处理的方法。由于多描述视频编码系统包含单路解码器和中心解码器这两种解码器，因此，编解码器预测时所用的参考帧有可能不一致，产生漂移问题，从而导致解码质量的严重下降。这是多描述视频编码亟需解决的重要问题。

采用基于运动补偿循环的方法，将预测误差部分或全部作为冗余信息发送到解码端，在一定程度上可以避免漂移问题的出现，但是随着解码重建质量的提高，也付出了压缩性能下降的代价。同时，其编码端的复杂度也大大提高，不易与现有视频标准兼容，从而限制了该方法的实际应用。

采用基于前后处理的方法，在编码前先将原始视频序列进行预处理，引入冗余，并分割成多个视频子序列，各个子序列可以独立进行编解码，从而有效的解决了编解码器的参考帧的误配问题。在解码端，随着收到的视频子序列的增加，可以将其进行融合从而得到更好的重建质量。另外该方法易于现有视频标准兼容，达到较好的率失真性能，从而具有重要的实用价值。基于空域亚采样的前后处理方法，对输入帧进行离散余弦变换(DCT-DiscreteCosine Transform)，并向DCT系数添加零系数引入冗余，然后进行逆DCT变换产生过采样帧。其后将过采样帧按空域分解为两个描述，例如奇行奇列和偶行偶列像素组成一个描述，其余像素组成另一个描述。两个描述单独由标准编码器编码。若两个描述同时收到，可按上述过程的逆过程恢复视频信号，如果只收到一个描述，则丢失像素由其同列的相邻像素值代替。在传统的时域亚采样方法中，输入视频序列按照奇偶数帧采样成为两个子序列进行传输，并且每个子序列也可以独立解码。该方法虽然没有直接引入冗余，但是在亚采样的同时也破坏了视频序列固有的时域相关性。

上述实验结果表明，冗余引入策略的优劣，在很大程度上决定了编解码器的性能。一般来讲，冗余引入多，各个描述中的相关性强，有利于提高单路重建质量，但是同时也会导致压缩性能的下降。因此，多描述编码器的设计重点就是要通过冗余信息的处理使得解码重建质量和压缩性能达到较好的折中。

然而，现有的方法都是在频域或空域引入冗余，没有考虑到视频序列本身的特点，即视频序列的运动信息，忽略了视频序列的时域相关性。从而不利于进行运动估计和运动补偿，因此导致压缩性能的下降，在单路收到时，也无法有效的估计丢失信息。

因此，本发明人提出了一种基于自适应时域亚采样的多描述视频编解码方法，较好解决了这些问题。

发明内容

本发明的主要目的，在于解决上述缺陷，避免缺陷存在，提出了一种基于自适应时域亚采样的多描述视频编解码方法，包含：调整原始视频序列的运动信息；将调整后的视频序列分成两路视频子序列，分别进行压缩，将生成的两个描述在信道中传输；如果所述两个描述同时收到，则对两个描述进行中心解码，得到重建视频；如果只收到单路描述，则对其进行单路解码，得到重建视频。

一种视频编解码方法，调整原始视频序列的运动信息进一步包含：判断原始视频序列的运动信息的剧烈程度，如果运动平滑，则采用下采样方法，完成跳帧操作；如果运动剧烈，则采用上采样方法，完成内插帧操作。

一种视频编解码方法，计算任意相邻两帧的运动矢量的最大模值，比较最大模值与阈值的大小，判断两帧之间运动信息的剧烈程度。

一种视频编解码方法，跳帧与内插帧的帧数为偶数。

一种视频编解码方法，对调整后的视频序列，按照奇数帧偶数帧的方式分成两路视频子序列分别进行压缩后在信道传输。

一种视频编解码方法，单路解码进一步包含：

(1)如果当前帧为原始帧标识，其后续帧为内插帧标识，则当前帧为重建帧；

(2)如果当前帧为内插帧标识，其后续帧为原始帧标识，则当前帧为在编码端内插得到的重建帧；

(3)如果当前帧为内插帧标识，其后续帧同样也为内插帧标识，则将所述连续有内插帧标识的帧进行融合操作，得到重建帧；

(4)如果当前帧为原始帧标识，其后续帧同样也为原始帧标识，则在所述两个有原始帧标识的帧中间内插一个新的重建帧。

本发明与现有技术相比其优点在于：无论是在压缩性能的客观量度上，还是恢复视频质量的主观评价上，都有了相当程度的提高。针对不同的运动信息，更好的保持了视频子序列中的时域相关性，从而有利于进行高效的运动估计和运动补偿，提高压缩性能，同时，良好的时域相关性也使单路解码器能够更有效的恢复丢失信息，提高单路解码的重建质量。由于本发明是基于前后处理方法进行的，对现有的标准信源编解码器以及信道编解码器没有做任何改动，所以易于兼容现有的视频标准，是一个灵活可靠、有实用价值的编解码方法。

附图说明

图1为本发明的编解码方法系统框架模型图；

图2为本发明的编解码方法中预处理和后处理的实例说明图；

图3a为本发明与基于空域亚采样的方法在两路收到时的率失真性能比较图；

图3b为本发明与基于空域亚采样的方法在单路收到时的率失真性能比较图；

图4a为本发明与传统时域亚采样的方法在两路收到时的率失真性能比较图；

图4b为本发明与传统时域亚采样的方法在单路收到时的率失真性能比较图；

图5a与图5b为传统时域亚采样方法和本发明在70帧时单路收到的图像对比；

图6a与图6b为传统时域亚采样方法和本发明在72帧时单路收到的图像对比；

图7a与图7b为传统时域亚采样方法和本发明在93帧时单路收到的图像对比。

具体实施方式

有关本发明的技术内容及详细说明，现配合附图说明如下：

如图1所示，本发明提供一种基于自适应时域亚采样多描述视频编码方法。该方法在编码前对原始视频序列进行预处理，通过调整原始视频序列的运动信息，使所生成的描述具有较为平滑的运动信息，从而保证较好的时域相关性。在预处理结束以后，对新生成的视频序列，按照奇数帧偶数帧的方式分成两个视频子序列。所述子序列可以使用标准编码器进行压缩，而后作为两个描述在两个信道上传输。在接收端，使用同样的标准解码器解码所收到的描述。当两路同时收到时，要按照奇数帧偶数帧的方式对两路视频子序列进行重新排序，然后进入后处理阶段。在后处理阶段，可以通过帧内插的方法来估计丢失的信息，同时通过下采样的方法处理冗余信息。

(1)预处理方法

在预处理阶段，将使用可变帧率的亚采样引入自适应的冗余，即引入自适应的内插帧，只有在运动剧烈的两帧之间内插帧，所以是自适应的。其主要目的是产生具有适度运动的描述，从而在有效压缩的同时改进单路的重建质量。亚采样有两种方式包括上采样和下采样。上采样结果是增加采样点，下采样结果是减少采样点。

首先，计算任意相邻两帧的运动矢量的最大模值，比较最大模值与阈值的大小，判断两帧之间运动信息的剧烈程度。该阈值是经过统计视频序列所有相邻两帧的运动矢量最大模值以后选取的。针对某视频的阈值一旦选定以后，就不再改变了。如果最大模值小于等于阈值，说明两帧之间的运动已经足够平滑，则在保证稳定运动的前提下采用可变帧率的下采样方法，通过跳帧来获得较高的压缩效率。需要注意的是为了保持对新生成的视频序列，按照奇数帧偶数帧的方式分成的两个视频子序列两路均衡，跳帧的帧数是偶数。相反，如果最大模值大于等于阈值，说明两帧之间的运动不平稳，由于两帧之间的剧烈运动会严重影响单路解码器的错误恢复性能，因此根据运动信息的剧烈程度，采用可变帧率的上采样方法，通过内插帧平滑剧烈的运动，从而保证描述中的时域相关性。同样考虑到两路的均衡，内插帧的帧数也是偶数。

另外，为了区分原始帧，内插帧和跳过的帧，分别使用符号‘1’，‘0’，或‘2’来标识。这些标识可以采用熵编码来进一步压缩，与该方法总的比特率相比，其存储大小可以忽略不计。

(2)后处理方法

在后处理阶段，中心解码器和单路解码器需要分别设计。

中心解码器

因为两个描述是按照奇数帧偶数帧方式生成的，所以在中心解码器中也要按照同样的方式交替存取，重新排序后，生成新的视频序列。然后根据标识，对内插帧采用下采样方法进行融合，对跳过的帧采用上采样方法进行内插，从而最终得到重建的视频。

单路解码器

如果只收到单个描述，则所有标识为‘2’的跳过的帧首先进行内插重建，然后将其标识重新设置为‘1’。这时所收到的标识可能有以下四种情况：

1)如果当前标识为‘1’，但是其后续标识为‘0’，则当前标识所指的帧是重建帧。

2)如果当前标识为‘0’，但是其后续标识为‘1’，则当前标识所指的帧是在编码端内插得到的，可以看作重建帧。

3)如果当前标识为‘0’，但是其后续标识也为‘0’，则这些标识连续为‘0’的帧应该进行融合操作得到重建帧。

4)如果当前标识为‘1’，但是其后续标识也为‘1’，则在两个标识为‘1’的帧中间需要内插一个新的重建帧。

如图2所示，用一个简单实例说明了预处理和后处理过程。原始视频序列有10帧，分别为F₁到F₁₀。经过预处理阶段调整运动信息后，得到16帧。如图所示，自适应的内插了偶数个帧。例如，在帧F₁和帧F₂之间内插了2帧，在帧F₄和帧F₅之间内插了4帧。同时，也自适应的跳过了偶数个帧。例如在帧F₅和帧F₈之间跳过了2帧。预处理结束后，按照奇数帧偶数帧方式，生成了两个描述分别在信道1和信道2上传输。这两个描述的标识分别是‘101001201’和‘011002101’。在接收端，标识为‘2’的跳过的帧首先被内插重建，并重新设置两个描述的标识为‘101001101’和‘011001101’。当只有一个信道1正常工作时，在帧F₃和帧F₅之间的两帧需要融合生成一个新的重建帧，并且在帧F₅和帧F₇之间需要内插一个新的帧估计丢失的帧F6当只有一个信道2正常工作时，在帧F₄和帧F₆之间的两帧需要融合生成一个新的重建帧，并且在帧F₆和帧F₈之间需要内插一个新的帧估计丢失的帧F₇；当两个信道都正常工作时，除了跳过的帧F₆和F₇以外，其余的帧在不使用标准编解码的情况下可以无损恢复。

图3和图4分别对QCIF格式的标准视频序列“Foreman”和“Coastguard”做了实验。如图3所示，与基于空域亚采样的方法相比，本发明提出的方法能够在同样的传输码率下获得约1-2dB的中心重建增益和约1-3dB的单路重建增益。如图4所示，与基于时域亚采样的传统方法相比，本发明提出的方法能够在同样的传输码率下获得约0.8-1.5dB的中心重建增益和约0.5-1dB的单路重建增益。再如图5～图7所示，是140kbps下与传统时域亚采样方法相比的单路重建质量，由此可见，对某些运动信息剧烈的帧，本发明方法取得了更多的增益。

上述仅为本发明的较佳实施例而已，并非用来限定本发明实施范围。即凡依本发明申请专利范围所做的均等变化与修饰，皆为本发明专利范围所涵盖。

Claims (3)

1、一种基于自适应时域亚采样的多描述视频编解码方法，其特征在于，包含：

调整原始视频序列的运动信息；

将调整后的视频序列分成两路视频子序列，分别进行压缩，将生成的两个描述在信道中传输；

如果所述两个描述同时收到，则对两个描述进行中心解码，得到重建视频；

如果只收到单路描述，则对其进行单路解码，得到重建视频；

判断原始视频序列的运动信息的剧烈程度，如果运动平滑，则采用下采样方法，完成跳帧操作；如果运动剧烈，则采用上采样方法，完成内插帧操作；

对调整后的视频序列，按照奇数帧偶数帧的方式分成两路视频子序列分别进行压缩后在信道传输；跳帧与内插帧的帧数为偶数。

2、根据权利要求1所述的一种视频编解码方法，其特征在于，计算任意相邻两帧的运动矢量的最大模值，比较最大模值与阈值的大小，判断两帧之间运动信息的剧烈程度。

3、根据权利要求1所述的一种视频编解码方法，其特征在于，单路解码进一步包含：

(1)如果当前帧为原始帧标识，其后续帧为内插帧标识，则当前帧为重建帧；

(2)如果当前帧为内插帧标识，其后续帧为原始帧标识，则当前帧为在编码端内插得到的重建帧；

(3)如果当前帧为内插帧标识，其后续帧同样也为内插帧标识，则将所述连续有内插帧标识的帧进行融合操作，得到重建帧；

(4)如果当前帧为原始帧标识，其后续帧同样也为原始帧标识，则在所述两个有原始帧标识的帧中间内插一个新的重建帧。

Images