CN102378067A - 一种鲁棒性的移动视频解码方法 - Google Patents

Abstract

本发明提供了一种鲁棒性的移动视频解码方法，通过统计各数据片中宏块的数目来判定每一帧码流的完整性，在码流有缺失时，使用解码数据片过程中所得中间信息来评估解码后图像的质量，并通过有选择的丢弃解码后一些质量比较差的视频图像，在网络条件比较差或处于流量高峰时有效地提高了移动视频带给人的视觉体验。

Description

一种鲁棒性的移动视频解码方法

技术领域

本发明涉及数字视频领域，针对移动视频通信的特殊需求，具体涉及一种鲁棒性的移动视频解码方法。

背景技术

全球移动通信已全面进入3G时代，各种基于高速网络的业务层出不穷，而以移动视频点播、移动视频电话、移动视频会议、移动视频监控、视频短消息等为代表的数字移动视频业务最具发展前景。但即便如此，由于无线网络的特殊性，网络拥塞、带宽抖动等情况不可避免，严重影响各种移动终端上视频图像解码显示的质量，在一定程度上制约了移动视频通信的发展。因此，如何进一步提高移动视频带给人的视觉感受，便显得尤为重要。

视频编码标准H.264/AVC不仅压缩效率高，网络适应性也较强，适合用于移动视频通信。并且，由于视频的信息量较大，多采用其所支持的分片机制，即首先把一帧视频图像划分为若干个数据片，然后对各数据片进行编码，最后再把各数据片的码流封装成数据包放入独立的分组中进行传输，以确保每个分组中的数据可以独立解码，大大提高了视频信号抗干扰的能力。但这也只是从编码的角度提高视频信号的可靠性，对于实时性要求比较高的移动视频业务，实际应用中会发现，无线网络的带宽极易受接入用户量、移动终端所处的环境等影响，这种不稳定会造成不同程度的丢包，使得终端解码显示的图像质量在某个时间段内很差，严重影响人的视觉感受，对于这种情况，目前并无很好的解决方法。

发明内容

本发明的目的在于针对上述现有技术的问题，提供一种鲁棒性的移动视频解码方法，在网络条件比较差或处于流量高峰时，显著提高移动视频带给人的视觉感受。

本发明的技术方案为.一种鲁棒性的移动视频解码方法，对发送端视频编码后传输到移动终端的码流进行解码，发送端视频编码时采用分片机制且分片时仅指定数据片的上限尺寸，并把单个数据片封装成数据包进行发送，所述码流由可独立解码的数据片组成，实现解码包括以下步骤：

步骤1，根据数据包的包头信息，对数据包进行排序和拼接得到属于当前帧的码流，记录当前帧的码流所使用数据包的个数及各数据包中数据片的尺寸；

步骤2，将当前帧的码流送入解码器中对数据片解码，记录当前帧的码流中每个数据片中宏块的数目及首个宏块的位置；

步骤3，根据步骤2所记录每个数据片中宏块的数目统计当前帧的码流中宏块总数目，通过比较宏块总数目和当前帧解码所得图像应有宏块总数，确定当前帧的码流是否完整，

完整则将当前帧解码所得图像显示且作为参考图像，进入步骤4；

不完整则计算每个数据片所含宏块的平均信息量和当前帧解码所得图像中部的宏块总数，根据计算结果对当前帧解码所得图像进行处理，进入步骤4；所述处理包括是否对当前帧解码所得图像进行显示、作为后面帧的参考图像或直接丢弃； 

步骤4，返回执行步骤1～3，处理下一帧的码流。

而且，步骤3中根据计算结果对当前帧解码所得图像进行处理，具体实现方式如下，

若存在一个数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示且作为后面帧的参考图像，未超过则将当前帧解码所得图像作为后面帧的参考图像但不显示，

若不存在任一个数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示但不作为后面帧的参考图像，未超过则将当前帧解码所得图像直接丢弃。

而且，步骤3中，根据步骤1所得各数据片的尺寸及步骤2所记录的各数据片中宏块的数目，计算每个数据片所含宏块的平均信息量S_i/M_i，

其中，S_i是当前帧的码流接收到的第i个数据片的尺寸，单位是字节，0≤i≤N-1，N是码流中数据片的总数目；M_i是第i个数据片中宏块的数目。

而且，步骤3中，计算码流中位于图像中部的宏块总数，具体实现方式如下，

若码流中第k个宏块满足(P_k+1)%(W/B)>Th2且Th2<(P_k+1)/B<H/B-Th2，则认为该宏块处于图像中部， 

其中，P_k 是码流中第k个宏块在图像中的位置，由步骤2所记录每个数据片中宏块的数目及首个宏块的位置计算得到，0≤P_k≤W*H/B²-1，0≤k≤M-1，M是步骤3所得当前帧的码流中宏块总数目，W、H分别是指图像的宽度和高度，宏块的尺寸为BxB，Th2是预设的经验阈值。

本发明具有以下优点和积极效果：

1）对于移动终端而言，视频解码端的复杂度相对比较低，本发明的处理过程所涉及的计算简单而有效，并未带来复杂度的提升，仅是需要一些空间开销去记录解码的中间信息。

2）本发明的处理过程具有普适性，对于一般的视频通信均可以取得较好的效果。特别对于实时性要求比较高的移动视频通信，效果更加明显。

附图说明

图1是本发明实施例的流程图。

图2 是本发明的图像中部位置示意图。

具体实施方式   

本发明对解码后的图像质量从数据片的角度进行评估，在显示时有选择的丢弃一些主观感受比较差的视频帧。对于H.264/AVC的分片机制，常用的分片方式有三种：限制片的尺寸、限制片中宏块数目、限制分片的数目，三者也可以结合使用，其中限制片尺寸的方式所得到的各数据片在内部所含宏块数目上的差异会很大，最能体现视频内容运动的剧烈程度，例如一个数据片的尺寸很小，但解码所得到的宏块数目却很多，即填充了一帧图像的大片区域，那么这个数据片所对应的视频内容几乎可以认为是静止的。另外，当确定有数据包丢失时，即收到的一帧视频码流不完整，如果所丢失的数据片多位于图像的边缘位置且对应的图像内容无运动变化，这时人的视觉感受不会受到很大的影响。基于这两点，针对发送端视频编码时采用分片机制且分片时仅指定片的上限尺寸，并把单个片封装成数据包进行发送的情况，本发明设计了一种鲁棒性的移动视频解码方法，在对一帧视频码流进行解码的同时，记录其中各数据片的中间解码信息，并在此基础上评估解码后的图像质量，以决定这一帧是否显示、是否作为后面帧的参考图像，两者皆非，则可以直接丢弃。

以下结合附图和实施例详细说明本发明技术方案。本发明实施例的流程参见图1：

步骤1，根据数据包的包头信息，对数据包进行排序和拼接得到属于当前帧的码流，记录当前帧的码流所使用数据包的个数及各数据包中负载（即数据片）的尺寸。

记录的数据包数目就是数据片的数目，而且一定是个整数，这是由发送端把单个片封装成数据包的前提所决定。换言之，如果出现数据包丢失，丢失的数据片数目也一定是个整数。

    实施例进行步骤1时，具体执行了以下步骤：

S11~S13：移动终端接收来自无线网络的视频数据包并进行排序。

步骤S11接收来自无线网络的视频数据包，由于无线网络本身的不稳定性，如网络拥塞、带宽抖动等，所接收到的数据包会出现不同程度的丢包和乱序。步骤S12将接收到的数据包放入一个缓存队列为排序做准备。队列的长度必须大于一个整数值才能进行后面的操作，但也不能过长，能够存储3～10个数据包就可以，以免带来延迟。步骤S13根据包头信息对队列中的数据包进行排序。

S14～S17：在步骤S11～S13排序的基础上这四个步骤共完成一帧码流的拼接；

步骤S14取一个数据包，并把必要的包头信息和其中的码流放入步骤S15中进行拼接，步骤S16就是根据包头信息判别拼接是否完成，没有完成，则回到S11去接收下一个数据包，排序之后继续拼接，完成则输出一帧码流到解码器，即进入步骤S17，读入一帧码流。该帧即本轮执行步骤1～3处理帧，根据本领域习惯称为当前帧。

S21：记录码流中各数据片的尺寸；

由于视频发送端把单个数据片封装成数据包进行发送，那么，对于步骤S14取出的每一个数据包，其数据部分负载的长度就是数据片的尺寸。又由于解码器对码流中的数据片是按照从左往右、自上到下的顺序进行解码，步骤S21所记录的各数据片尺寸便一一对应于解码时各数据片的尺寸。

S22：记录码流中数据片的数目；

对于步骤S16拼接完成后输出的一帧码流，其中所含数据片的数目就是拼接时所使用的数据包数目，这也是由视频发送端把单个数据片封装成数据包进行发送的前提所决定，即简单设置一个计数器，步骤S22便可记录拼接所得一帧码流中数据片的数目。至此，步骤S21和S22在码流拼接的同时得到了一帧码流中数据片的数目及各数据片的尺寸。

步骤2，将当前帧的码流送入解码器中对数据片解码，记录当前帧的码流中每个数据片中宏块的数目及首个宏块的位置。记录的数据片中宏块数目决定了片在图像中所填充区域的大小，与片的尺寸一起被用来评估片所对应的图像内容运动剧烈程度，当出现丢包时，记录的各数据片中首个宏块位置被用来评估所丢失的片在图像中的分布情况。

    实施例进行步骤2时，具体执行了以下步骤：

S3：对步骤S17读入的一帧码流进行解码，并在解码的同时记录各数据片所包含的宏块数目及首个宏块位置；

需要注意的是，如果解码器本身具有一些容错机制对丢失的片进行修补或掩盖，这些被修补或掩盖的片不在统计范围内，即仅仅记录所接收数据片的宏块信息。

步骤3，根据步骤2所记录每个数据片中宏块的数目统计当前帧的码流中宏块总数目，通过比较宏块总数目和当前帧解码所得图像应有宏块总数，确定当前帧的码流是否完整。

完整则将当前帧解码所得图像显示且作为参考图像，进入步骤4；不完整则计算每个数据片所含宏块的平均信息量和当前帧解码所得图像中部的宏块总数，根据计算结果对当前帧解码所得图像进行处理，进入步骤4；所述处理包括是否对当前帧解码所得图像进行显示、作为后面帧的参考图像或直接丢弃。

为便于实施参考起见，本发明提出步骤3中根据计算结果对当前帧解码所得图像进行处理，具体实现方式如下：

若存在一个数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示且作为后面帧的参考图像，未超过则将当前帧解码所得图像作为后面帧的参考图像但不显示，

若不存在数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示但不作为后面帧的参考图像，未超过则将当前帧解码所得图像直接丢弃。

实施例进行步骤3时，具体执行了以下步骤：

S41：统计码流中宏块的总数目；

对步骤S3中所记录的各数据片所包含的宏块数目进行累加，得到当前正在解码的码流中宏块总数目，为判别这一帧码流是否完整做准备。

S42：判断正在解码的一帧码流是否完整，完整则进入步骤S71，否则进入步骤S5；

码流中宏块的大小为16x16，对于各种分辨率的视频，其所含宏块的数目固定，如QCIF格式的视频所含宏块数目为176x144/16²=99。这一步只需将步骤S41得到的宏块总数目与所传输视频图像应有的宏块数目进行比较，便可断定当前解码的一帧码流是完整还是缺失。

S5：判断解码后所得图像的内容是否运动比较剧烈，剧烈则转到S61，否则转到S62；

对一帧码流进行解码的同时，计算各数据片所含宏块的平均信息量S_i/M_i，只要存在一个数据片所含宏块的平均信息量大于设定的阈值，就认为解码后所得图像的内容运动比较剧烈，即：若存在S_i/M_i>Th1，就认为解码所得图像的内容运动比较剧烈。S_i是接收到的第i个数据片的尺寸，单位是字节，0≤i≤N-1；N是码流中数据片的总数目；M_i是第i个数据片中宏块的数目；Th1是预设的阈值，可事先通过测试取得经验阈值；S_i和N分别由步骤S21和S22得到，M_i由步骤S3得到。

S61、S62：这两个步骤所执行的操作完全相同，就是判断所丢失的数据片是否多位于一帧图像的边缘位置，在流程图中分为两个步骤仅是为了体现所需运行条件的不同。

计算码流中位于图像中部的宏块总数时，若码流中第k个宏块满足(P_k+1)%(W/B)>Th2且Th2<(P_k+1)/B<H/B-Th2，则该宏块处于图像中部。P_k 是码流中第k个宏块在图像中的位置，0≤P_k≤W*H/B²-1，0≤k≤M-1，M是步骤S41所得当前帧的码流中宏块总数目，W、H分别是指图像的宽度和高度，宏块的尺寸为BxB，Th2是预设的经验阈值。宏块的尺寸为BxB，实施例根据H.264/AVC协议，取B=16。

实施例设置了计数器count，以便计算码流中部的宏块总数。若满足(P_k+1)%(W/16)>Th2且Th2<(P_k+1)/16<H/16-Th2，则count++，表示如果宏块位于一幅图像的中部，计数器的值就增加1；P_k 是第k个宏块在图像中的位置，0≤P_k≤W*H/16²-1，0≤k≤M-1，M是码流中宏块的总数目，W、H分别是指视频图像的宽度和高度，宏块的尺寸为16x16，Th2是预设的经验阈值，可事先通过测试取得经验阈值，例如取值为2，count初始值为0；其中M由步骤S41得到，P_k 由步骤S3得到，步骤S3中得到了数据片中宏块的数目和首个宏块的位置，片中宏块是连续的，那么其它宏块的位置也就可以计算确定了。遍历所有的宏块，若count>(W*H/16²)/2，即码流中位于图像中部的宏块在数量上超过了视频图像应有宏块总数的一半，则认为所丢失的数据片多位于图像的边缘位置。

S42→S71：由步骤S42到S71，说明步骤S17读入的一帧码流完整无缺，此时按一般方式处理解码后得到的图像，即显示该图像并将它作为后面帧解码的参考图像；

S42→S5→S61→S71：依次执行这几个步骤，说明步骤S17读入的一帧码流不完整，读入的码流所对应的图像内容运动比较剧烈而且所丢失的数据片多位于图像的边缘位置，此时也按一般的方式处理解码后得到的图像，显示且作为参考图像；

S42→S5→S61→S72：依次执行这几个步骤，说明步骤S17读入的一帧码流不完整，读入的码流所对应的图像内容运动比较剧烈，但是所丢失的数据片多位于图像的中部位置，此时就认为解码后所得图像的主观质量较差，仅可以作为参考图像，不必显示；

S42→S5→S62→S73：依次执行这几个步骤，说明步骤S17读入的一帧码流不完整，读入的码流所对应的图像内容运动比较缓慢或完全静止，但由于所丢失的数据片多位于图像的边缘位置，解码后所得图像可以显示，但不作为参考图像；

S42→S5→S62→S74：依次执行这几个步骤，说明步骤S17读入的一帧码流不完整，读入的码流所对应的图像内容运动比较缓慢或完全静止，而且所丢失的数据片多位于图像的中部位置，此时解码后所得图像直接丢弃，既不显示，也不作为参考图像。

参见图2，图像中第一个宏块Q1的位置P₁为0，数据片中首个宏块的位置记录在片头的句法元素中。图中A处标识的矩形框，框内为图像的中部位置。Th2 = 2，表示从图像的边界到图像中部位置的边界有2个宏块的间隔。宏块Q2位于矩形框以外，就是位于图像的边缘位置。宏块Q3位于矩形框以内，就是位于图像的中部位置。

步骤4，返回执行步骤1～3，处理下一帧的码流。

实施例执行的相应步骤标记为S8，即以下一帧为当前帧，重复以上各步骤处理移动终端接收到的视频码流，直到码流传输终止。

使用这样一种鲁棒性的移动视频解码方法，不需要在数据包中增添任何额外的字节就可以在接收端判别出每一帧码流是否完整，并且在码流有缺失时，使用解码数据片的过程中所得中间信息来评估解码后图像的质量。最终，通过有选择的丢弃一些质量比较差的视频帧，有效地提高了移动视频带给人的视觉感受。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (4)

1.一种鲁棒性的移动视频解码方法，对发送端视频编码后传输到移动终端的码流进行解码，发送端视频编码时采用分片机制且分片时仅指定数据片的上限尺寸，并把单个数据片封装成数据包进行发送，所述码流由可独立解码的数据片组成，其特征在于：实现解码包括以下步骤，

步骤1，根据数据包的包头信息，对数据包进行排序和拼接得到属于当前帧的码流，记录当前帧的码流所使用数据包的个数及各数据包中数据片的尺寸；

步骤2，将当前帧的码流送入解码器中对数据片解码，记录当前帧的码流中每个数据片中宏块的数目及首个宏块的位置；

步骤3，根据步骤2所记录每个数据片中宏块的数目统计当前帧的码流中宏块总数目，通过比较宏块总数目和当前帧解码所得图像应有宏块总数，确定当前帧的码流是否完整，

完整则将当前帧解码所得图像显示且作为参考图像，进入步骤4；

不完整则计算每个数据片所含宏块的平均信息量和当前帧解码所得图像中部的宏块总数，根据计算结果对当前帧解码所得图像进行处理，进入步骤4；所述处理包括是否对当前帧解码所得图像进行显示、作为后面帧的参考图像或直接丢弃； 

步骤4，返回执行步骤1～3，处理下一帧的码流。

2.根据权利要求1所述鲁棒性的移动视频解码方法，其特征在于：步骤3中根据计算结果对当前帧解码所得图像进行处理，具体实现方式如下，

若存在一个数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示且作为后面帧的参考图像，未超过则将当前帧解码所得图像作为后面帧的参考图像但不显示，

若不存在数据片所含宏块的平均信息量大于设定的阈值Th1，则判断码流中位于图像中部的宏块总数是否超过当前帧解码后所得图像应有宏块总数的一半，超过则将当前帧解码所得图像显示但不作为后面帧的参考图像，未超过则将当前帧解码所得图像直接丢弃。

3.根据权利要求1或2所述鲁棒性的移动视频解码方法，其特征在于：步骤3中，根据步骤1所得各数据片的尺寸及步骤2所记录的各数据片中宏块的数目，计算每个数据片所含宏块的平均信息量S_i/M_i，

其中，S_i是当前帧的码流接收到的第i个数据片的尺寸，单位是字节，0≤i≤N-1，N是码流中数据片的总数目；M_i是第i个数据片中宏块的数目。

4.根据权利要求1或2所述鲁棒性的移动视频解码方法，其特征在于：步骤3中，计算码流中位于图像中部的宏块总数，具体实现方式如下，

若码流中第k个宏块满足(P_k+1)%(W/B)>Th2且Th2<(P_k+1)/B<H/B-Th2，则认为该宏块处于图像中部， 

其中，P_k 是码流中第k个宏块在图像中的位置，由步骤2所记录每个数据片中宏块的数目及首个宏块的位置计算得到，0≤P_k≤W*H/B²-1，0≤k≤M-1，M是步骤3所得当前帧的码流中宏块总数目，W、H分别是指图像的宽度和高度，宏块的尺寸为BxB，Th2是预设的经验阈值。

Images