CN100571399C - 基于多参考预测链编码的无线视频传输方法 - Google Patents

Abstract

本发明涉及基于多参考预测链编码的无线视频传输方法，属于无线视频通信领域，该方法包括：初始化；根据当前时刻所确定的参考预测链的条数和同步点的个数进行多参考预测链信源编码，及信道编码；通过通信网络进行传输发送到客户端；客户端对接收到的视频信号进行解码播放，并通过后向信道对服务器端进行信息反馈；服务器端计算无线信道的丢包率，并实时更新多参考预测链的条数和同步点的个数，对视频数据进行编码、并打包发送。本发明可使无线信道误码率大尺度剧烈变化时传输稳定，视觉质量高。能抵抗用户快速移动对于无线视频通信的影响，无线信道利用率达到优化，为不同要求的用户提供不同质量的服务。

Description

基于多参考预测链编码的无线视频传输方法

技术领域

本发明属于无线视频通信领域，特别涉及用于无线视频实时传输的多参考预测链编码方法。

背景技术

随着因特网和编码技术的迅猛发展，人们开始有了在网络上传输视频和图像的愿望，流媒体作为一种新的媒体传播形式也悄然兴起。广泛的用于互联网多媒体新闻发布、在线直播、网络广告、电子商务、视频点播、远程教育、远程医疗、网络电台、实时视频会议等互联网信息服务的方方面面，成为日常生活中得到信息、获取资讯所不可或缺的有效方法和快速途径。然而基于有线网络的流媒体服务，已经不能够满足现实的需要。任何人在任何时间、任何地点都能够使用流媒体服务，既是一种良好的愿望，也是迫切的需求。

无线视频传输服务的需求日益扩大，其面临着稳定性和传输效率两个方面的挑战。首先，无线信道带宽有限，3G标准下户外车载匀速运动峰值带宽只有384kbps。其次，无线信道误码率高且时变性强，具有显著的动态性。而且无线视频通信具有实时性的要求，这种差错会造成视频质量的严重下降，并且会引起播放缓冲区的下溢，引起视频播放的停顿，甚至导致无线视频通信连接的中断。无线视频传输系统的设计，就是要在稳定性和传输效率之间进行艰难的取舍，以期达到最优的折衷。

一般的无线视频通信系统由服务器、传输信道和客户端三部分组成。其一般的无线视频传输方法为：服务器对采集到的视频信号进行信源编码和信道编码，并对编码后的数据进行打包封装，通过无线信道传送给客户端。客户端对接收的数据包先后进行信道解码和信源解码，如数据包传输无误，则解码成功，能够正确播放，向服务器反馈正确接收信号(ACK)；如数据包传输有误，则不能正确解码播放，向服务器反馈错误接收信号(NACK)。

现有的信源编码方法，采用单一参考预测链的方法，即每一视频帧参考前一帧的数据进行编码，以消除时间域的冗余信息。然而，正因为如此，当前一视频帧出现差错时，将会造成参考它进行编码的一系列视频帧解码失败，进而造成播放的中断，连接的异常中止。为了提高无线视频传输过程中的稳定性，有许多差错控制的方法。分别在信源编码和信道编码阶段加入冗余信息，来抵抗差错的干扰。由于无线视频传输的实时性的需求，前向纠错编码方法FEC，成为其中最为典型的差错控制方法。该方法在信道编码阶段，对数据包加入冗余信息。

然而，无线信道的误码率随时间变化剧烈，很难事先进行准确的估计。为了确保无线连接的稳定，FEC这种采用固定冗余值的方法只能采用最恶劣的信道条件作为参考值。显然，无线信道的动态性决定了这是以牺牲传输效率为代价的。

采用单一参考链然后加入冗余值进行保护的方法的局限性表现在：

1.受无线信道的差错影响较大。当一个数据包发生差错时，不仅要影响当前视频帧，还会将差错向后续帧传递，一直延续到下一个I帧出现。

2.无线视频通信系统的稳定性差。实时的视频通信有严格的时间限制，当无线信道的状态发生急剧变化时，极易造成无线连接的异常中断。

3.无线信道的利用率低。在加入冗余进行差错保护后，不能根据信道的状态进行相应的调节，多数时间处在极低的效率下工作。

4.应用性和可移植性不强。需要事先对无线信道具有一定的先验知识，才能进行正常运行。

对于理想的高斯白噪声信道，误码率较为平稳，影响并不明显。然而现实应用中，这种情况很少。考虑到移动用户在不同蜂窝之间运动时，由软切换造成的误码率会有显著的大尺度的急剧变化。如何在这种应用中，在整个视频通信过程中克服差错的传递，一直具有良好的视觉效果，如何保证无线视频服务能够顺畅连续的工作，如何在有限的无线资源下使传输效率达到最优，这在技术上仍然是一个空白。

发明内容

本发明为克服单参考链编码方法受差错影响大，采用FEC传输效率低的不足之处，提出一种基于多参考预测链编码的无线视频实时传输方法，可使无线信道误码率大尺度剧烈变化时传输稳定，视觉质量高。能抵抗用户快速移动对于无线视频通信的影响，无线信道利用率达到优化，为不同要求的用户提供不同质量的服务。

本发明提出的基于多参考预测链编码的无线视频传输方法，其特征在于，该方法包括以下步骤：

1)对服务器端进行初始化；

2)服务器端对将要传输的视频内容根据当前时刻所确定的参考预测链的条数和同步点的个数进行多参考预测链信源编码，对信源编码后的视频信息进行信道编码；

3)信道编码后的视频信息通过通信网络进行传输发送到客户端；

4)客户端对接收到的视频信号进行解码播放，并根据接收到的数据包的状态，进行差错探测，同时得到的正确或是错误的探测结果，把正确接收确认(ACK)信号和错误接收确认(NACK)信号，通过后向信道对服务器端进行信息反馈；

5)服务器端在收到接收端的反馈信号后，计算无线信道的丢包率，并根据丢包率实时更新多参考预测链的条数和同步点的个数；

6)用更新后的多参考预测链的条数和同步点的个数，重复执行步骤2)-6)，对视频数据进行编码、并打包发送。

本发明的原理

用户不仅希望保持无线通信连接的稳定性，还希望尽可能的提高视频质量。本发明所基于的方法是信道自适应的多参考预测链编码技术。这种技术可以根据历史信息，对当前的信道状态进行估计，选择最合适的参考链和同步点个数。使得在充分利用网络资源的情况下，能够消除各个视频帧间差错传播，并且保证无线连接的连续与流畅。

本发明的特点及技术效果

1.稳定性能强。支持用户的大范围快速移动，不受外界条件变化的影响，能够自动的调整抗错参数，保证无线实时视频服务的连贯与顺畅。

2.抗差错传播性能好。能够有效抑制，差错在视频帧之间的传播，有效提高视频播放质量。

3.无线网络资源利用率高。此算法能够保证一直充分利用网络资源，能够尽可能多的传输视频数据信息。

4.实用性大。算法实现集中在服务器端，不需要对网络中间件和用户端作较大修改。

5.算法简单。计算复杂度小，运算快速，不会增加服务器过多额外的开销。

具体实施方式

本发明提出的基于多参考预测链编码的无线视频实时传输方法结合附图及实施例说明如下：

本发明的基于多参考预测链编码的无线视频传输方法，包括以下步骤：

1)对服务器端进行初始化；

2)服务器端对将要传输的视频内容根据当前时刻所确定的参考预测链的条数和同步点的个数进行多参考预测链信源编码，对信源编码后的视频信息进行信道编码；

3)信道编码后的视频信息通过通信网络进行传输发送到客户端；

4)客户端对接收到的视频信号进行解码播放，并根据接收到的数据包的状态，进行差错探测，同时得到的正确或是错误的探测结果，把正确接收确认(ACK)信号和错误接收确认(NACK)信号，通过后向信道对服务器进行信息反馈；

5)服务器端在收到接收端的反馈信号后，计算无线信道的丢包率，并根据丢包率实时更新多参考预测链的条数和同步点的个数；

6)用更新后的多参考预测链的条数和同步点的个数，重复执行步骤2)-6)，对视频数据进行编码、并打包发送。

上述步骤1)的具体实现方法，包括以下步骤：

(11)首先发送一段时间(时间长短无严格要求，时间太长，让客户端等待的时间过长；时间短则得到的统计信息不准确，一般取10秒左右为宜)的无冗余保护数据包，对客户端的反馈信息进行统计，得到当前网络信道丢包率的估计值；

(12)根据丢包率的估计值，对信源编码的参考链个数及同步点个数进行初始化；

上述步骤2)的多参考预测链信源编码具体实现方法为：

把所有P帧分为若干个组，每个组构成一条参考链，在一条参考链中设置多个同步点，P帧编码时参考它的组内前一帧作运动预测，当一条参考链发生错误时，用其他参考链中的相应的同步点信息替代；

所述参考链条数设置为ref，则第1、1+ref、1+2ref、…1+nref个P帧构成一条参考链，第2、2+ref、2+2ref、…2+nref个P帧构成一条参考链，以此类推，共构成ref条参考链；

所述同步点个数设置：一条参考链中的P帧个数为N，同步点个数为syn，则每隔N/syn帧设定一个用于同步的P帧作为同步点，该帧编码与其他参考链中相应位置的P帧相同。

上述步骤5)的具体实现方法，包括以下步骤：

(51)对客户端发送回的反馈信息实时接收、采集；

(52)对反馈信息进行统计计算，计算信道丢包率：(本发明的计算丢包率的方法采用限定记忆法)即采用时刻t之前收到的S个反馈信息(即每收到一个新的反馈信息时，就用它替代统计数据中距离当前时间间隔最长的反馈信息的数据，S的取值无严格要求，S越大则统计数据越准确但对环境变化的反应越慢，对于本发明方法S取1000左右较为合适)统计信道丢包率，得到时刻t的信道丢包率perobs(t)，并将perobs(t)作为观测值(这样统计得到的丢包率相对准确，更能反映当前的网络状态)；具体计算公式如下：

$\mathrm{perobs}\left(t\right)=\frac{1}{s}\underset{i=n_t}{\overset{n_t-s+1}{\mathrm{\Σ}}}m\left(i\right)$

式中，n_t＝max{k|t_k＜t}

t表示当前时刻，k表示第k个数据包，则t_k表示第k个数据包的反馈信息到达的时刻。因此，n_t表示到t时刻为止最后到达的数据包的反馈信息；

(53)根据实际观测值，确定新的参考链条数及同步点个数：

$\mathrm{\ΔP}=\frac{\mathrm{perobs}\left(t\right)}{\mathrm{perobs}(t-w)}---\left(2\right)$

$\mathrm{ref}\left(t\right)=\mathrm{ref}(t-w)+\left\{\begin{array}{cc}1,& \mathrm{\&Delta;P}\&GreaterEqual;10\\ 0,& 0.1<\mathrm{\&Delta;P}<10\\ -1,& \mathrm{\&Delta;P}\&le;0.1\end{array}\right.---\left(3\right)$

其中，ref(t)表示t时刻的参考链的条数，syn(t)表示t时刻的同步点的个数，w表示调整的时间间隔。ceil()表示向上取整函数。

本发明方法中的步骤3)-4)的具体实现方法均可采用已有技术中的常规方法。

本发明的原理

信道自适应多参考预测链编码的码流具有优秀的大尺度抗错特性，在部分参考预测链数据错误的情况下，能迅速的阻止码流的错误扩散，恢复码流的正常解码。参考预测链的个数越多，码流的抗错性越强。在只出现一个错误帧的情况下，码流能在人眼几乎还未感觉出来的时候通过同步点恢复正常。多参考帧预测方法法运行P帧使用它前面的任何一个I/P帧作预测。这种方案允许P帧里的宏块选取在若干帧中最接近它的图块作为预测块。因此多参考帧预测方法可以有效提高编码效率。受损帧的后续P帧可通过对其他无损帧作预测而恢复正常解码，因此多参考预测算法可以提高码流的抗错性。

与此同时，服务器端可以根据信道的反馈信息，自适应的调整选用的参考链与同步点的数量，对信道资源进行尽可能的充分利用，达到视觉效果的最优。

本方法根据当前信道状态，实时调整编码方案，有效抵抗信道误码对实时视频传输的影响，在保证连接有效的情况下，提高服务质量。

本发明的实施例详细说明如下：

本实施例由通过无线网络点播本地H.264媒体文件来完成，所有操作由网络仿真软件NS2.26、H.264编码器、手持终端H.264播放器完成。

H.264编码器配置

CPU：Intel PIV 2.4GHz

内存：512M

操作系统：Windows XP

播放器：LSMP Media Player

手持终端H.264播放器配置

CPU：Intel X scale 400MHz

内存：64M

播放节目：标准测试视频流TEMPETE.264和MOBILE.264。这2个码流均为CIF格式(352×288)，帧率为30帧/秒。

本实施例包括以下步骤：

1)首先服务器端和客户端建立连接，并对网络状态进行初步探测：即设定发送10秒钟的无冗余保护数据包，每秒发送30个数据包，包大小为255比特，对反馈信息进行统计，得到当前网络信道丢包率的估计值；设定反馈信息的个数为S＝1000，调整的时间间隔为w＝0.04；根据初步测试得到的丢包率值，对信源编码器中的量化参数、参考链个数及同步点个数进行初始化，设参考链个数为1，同步点个数为0；

2)服务器端对将要传输的视频内容根据当前时刻所确定的参考预测链的条数和同步点的个数进行多参考预测链信源编码，对信源编码后的视频信息进行信道编码；

3)信道编码后的视频信息通过通信网络进行传输发送到客户端；

4)客户端对接收到的视频信号进行解码播放，并根据接收到的数据包的状态，进行差错探测，同时得到的正确或是错误的探测结果，把正确接收确认(ACK)信号和错误接收确认(NACK)信号，通过后向信道对服务器进行信息反馈；

5)服务器端在收到接收端的反馈信号后，根据公式(1)对反馈信息进行统计计算，得到当前无线信道的丢包率值；

6)根据得到的丢包率值，按照公式(2)-(4)更新参考链条数和同步点个数，

7)用更新后的多参考预测链的条数和同步点的个数，重复执行步骤2)-7)，对视频数据进行编码、并打包发送。

优秀的无线视频实时通信系统，应该同时具有良好的稳定性和较高的网络传输效率。本发明提出的信道自适应多参考预测链编码技术，即能够消除播放的视频帧间的差错传播，保证播放质量和系统的稳定性，又能够根据网络状态自适应的调整抗错参数(参考链和同步点个数)，从而充分利用网络资源。因而具有现有技术所无法比拟的优势，有很强的创新性和实用性，具有很大的推广价值。

Claims (2)

1、一种基于多参考预测链编码的无线视频传输方法，其特征在于，该方法包括以下步骤：

1)对服务器端进行初始化；

2)服务器端对将要传输的视频内容根据当前时刻所确定的参考预测链的条数和同步点的个数进行多参考预测链信源编码，对信源编码后的视频内容进行信道编码；

3)信道编码后的视频内容通过无线信道进行传输发送到客户端；

4)客户端对接收到的视频内容进行解码播放，并根据接收到的数据包的状态，进行差错探测，同时得到正确或是错误的探测结果，把正确接收确认(ACK)信号和错误接收确认(NACK)信号，通过后向信道对服务器端进行信息反馈；

5)服务器端在收到客户端的反馈信息后，计算无线信道的丢包率，并根据丢包率实时更新参考预测链的条数和同步点的个数；

6)重复执行步骤2)-5)，用更新后的参考预测链的条数和同步点的个数，对视频内容进行编码、并打包发送；

所述步骤2)的多参考预测链信源编码具体实现方法为：

把所有P帧分为若干个组，每个组构成一条参考预测链，在一条参考预测链中设置多个同步点，P帧编码时参考它的组内前一帧作运动预测，当一条参考预测链发生错误时，用其他参考预测链中的相应的同步点信息替代；

所述参考预测链条数设置为ref，则第1、1+ref、1+2ref、…1+nref个P帧构成一条参考预测链，第2、2+ref、2+2ref、…2+nref个P帧构成一条参考预测链，以此类推，共构成ref条参考预测链；

所述同步点个数设置：一条参考预测链中的P帧个数为N，同步点个数为syn，则每隔N/syn帧设定一个用于同步的P帧作为同步点，该帧编码与其他参考预测链中相应位置的P帧相同；

所述步骤5)的具体实现方法，包括以下步骤：

(51)对客户端发送回的反馈信息实时接收、采集；

(52)对反馈信息进行统计计算，采用限定记忆法计算信道丢包率：即采用时刻t之前收到的S个反馈信息统计信道丢包率，得到时刻t的信道丢包率perobs(t)，并将perobs(t)作为观测值；具体计算公式如下：

$\mathrm{perobs}\left(t\right)=\frac{1}{s}\underset{i=n_t}{\overset{n_t-s+1}{\mathrm{\&Sigma;}}}m\left(i\right)$

式中，n_t＝max{k|t_k＜t}

t表示当前时刻，k表示第k个数据包，则t_k表示第k个数据包的反馈信息到达的时刻；n_t表示到t时刻为止最后到达的数据包的反馈信息；

(53)根据实际观测值，确定新的参考预测链条数及同步点个数：

$\mathrm{\&Delta;P}=\frac{\mathrm{perobs}\left(t\right)}{\mathrm{perobs}(t-w)}$

$\mathrm{ref}\left(t\right)=\mathrm{ref}(t-w)+\left\{\begin{array}{cc}1,& \mathrm{\&Delta;P}\&GreaterEqual;10\\ 0,& 0.1<\mathrm{\&Delta;P}<10\\ -1,& \mathrm{\&Delta;P}\&le;0.1\end{array}\right.$

其中，ref(t)表示t时刻的参考预测链的条数，syn(t)表示t时刻的同步点的个数，w表示调整的时间间隔；ceil()表示向上取整函数。

2、如权利要求1所述的方法，其特征在于，所述步骤1)的具体实现方法，包括以下步骤：

(11)首先发送一段时间的无冗余保护数据包，对客户端的反馈信息进行统计，得到当前无线信道丢包率的估计值；

(12)根据丢包率的估计值，对信源编码的参考预测链条数及同步点个数进行初始化。