CN102316315B - 一种实时视频传输方法 - Google Patents

Abstract

本发明公开了一种实时视频传输方法，属于Ad Hoc网络技术领域。本发明方法为：1)源节点采用优先级线性编码方法对视频流进行编码；2)将编码后的每一数据块放到一数据包中并通过无线链路广播发送该数据包；3)转发节点根据计算所得的转发概率将已接收到的数据包使用优先级编码算法重编码成新的数据包并发向目标节点；4)目标节点接收到以自己为目的的数据包后，采用优先级线性编码方法解码数据包，生成原始的视频流。与现有技术相比，本发明提高了网络带宽的利用率和视频传输质量。

Description

一种实时视频传输方法

技术领域

本发明涉及实时视频传输，尤其涉及一种面向Ad Hoc网络中基于优先级线性编码和机会路由的实时视频传输的方法，属于Ad Hoc网络技术领域。

背景技术

随着带有短距离无线通信设备的普及，以及802.11无线通信技术的发展，使得在基于WIFI的Ad Hoc网络中传输实时视频成为可能。但是，无线链路的高且多变的丢包率严重影响了视频的质量，这使得在Ad Hoc网络中传输高质量的视频变得具有挑战性。另外，由于无线链路的带宽有限，在设计视频传输系统时需要考虑系统的带宽利用率。

目前，大多数流行的视频压缩算法(如：H.264和MPEG4)都采用移动补偿预测(Motion-Compensated Prediction，MCP)机制。虽然MCP机制具有很高的压缩性能，但是它使得视频流的容错能力严重下降。一个MCP流包含两种视频帧：内部帧(intra-frame，如：I帧)和外部帧(inter-frame，如：P帧和B帧)。内部帧的编码是通过去除该帧中的空间冗余。而外部帧的编码是通过去除连续帧中的时间冗余。其中，I帧只去除了帧内的空间冗余；P帧以它前面的I帧和P帧为参考帧，去除了时间冗余；而B帧的编码是通过以前后的I帧和P帧为参考帧，去除了时间冗余。去除连续帧中的时间冗余虽然可以大大减少视频帧的字节数。但是它引入了一个严重的问题：错误传播现象。如果参考帧的数据包在传输过程中丢失，它会使得所有依赖它编码的帧在解码时出错。这严重损伤了视频流的质量。MCP视频流中的帧有不同的视觉值，即它们对视频流质量的影响不同。I帧的视觉值大于P帧和B帧，而靠近I帧的P帧的视觉值要大于其他P帧。B帧的视觉值最小。

针对上述的错误传播现象，人们提出了不均等的错误保护机制(Unequal Error Protection，简称UEP)，给予视觉值高的帧更多的错误保护。已知的UEP机制包括：1)根据视频数据包中视频帧的视觉值的大小使用不同的优先级的MAC层重传机制；2)根据视频数据包中视频帧的视觉值的大小使用不同强度的前向纠错机制(Forward Error Correction，简称FEC)；3)根据视频数据包中视频帧的视觉值的大小使用不同数量的冗余路径传输数据包。已有的UEP机制依靠发送更多的数据包或者使用更多的传输路径，它们的无线链路利用率低。虽然在链路资源充足时，它们可以提高视频流的质量。但是当链路带宽几乎不能满足视频传输需要时，它们的性能会严重下降。

机会路由可以提高网络带宽的利用率。它与传统路由不同之处在于：传统的路由机制只选择单一的下一跳节点，而机会路由允许所有监听到数据包且更靠近目标节点的节点参与数据包的转发。早先的机会路由机制由于要求所有节点按照一定的顺序接入无线媒体。这使得他们的无线链路的空间利用率很低。后来人们提出使用网络编码(Network Coding，简称NC)结合机会路由来使得节点可以随机地接入无线媒体，进而避免了之前的机会路由机制的空间利用率低的缺点。但是这些基于NC的机会路由算法都是针对文件传输。当被应用于视频流传输环境中，它们要求源节点在发送数据包之前必须缓存具有一定量的原始数据，而且要求目标节点在解码前也必须接收一定量的数据包。这将引进数秒的延迟，不适合实时视频的传输。

发明内容

本发明的目的在于克服现有技术中存在的问题，提出一种实时视频传输方法，取名为OR-PLC，该方法特别适用于Ad Hoc网络中实时视频传输。

概括地说，本发明方法包括：基于优先级线性编码由源节点按设定的冗余度渐进地产生视频流，基于机会路由所述视频流经转发节点被发送到目标节点；

该方法还包括：

所述视频流将被多个所述转发节点监听到。转发节点根据计算所得的转发概率将已接收到的数据包使用优先级编码算法重编码成新的数据包并发向目标节点；

所述转发节点根据与周围邻居的丢包率计算接收到的每个数据包的所述转发概率；所述目标节点不断的接收到所述数据包，并使用优先级线性编码方法解码数据包，生成原始的视频流。

在本发明方法所针对实时视频传输系统中，存在多条视频流。每条视频流有唯一的源节点和目标节点，以及多个转发节点。视频流由源节点产生并通过转发节点机会地接收和概率地转发，最终传输到目标节点。本发明的目标在于维持视频质量的同时提高网络带宽的利用率。

本发明的技术方案为：

一种实时视频传输方法，其步骤为：

1)源节点采用优先级线性编码方法对视频流进行编码；

2)将编码后的每一数据块放到一数据包中并通过无线链路广播发送该数据包；所述数据包的包头包括：源节点IP地址、目标节点IP地址、视频流编号、视频段编号、到达目的节点的期望传输次数ETX、编码系数向量中非零元素的个数Coefficient Length、编码系数向量中的非零元素Coefficient Vector；

3)转发节点检查所接收到数据包，如果该数据包中的ETX值小于本身节点到目的节点的ETX值，则丢弃该数据包；否则判断该数据包与已接收的数据包是否线性相关，如果线性相关则丢弃该数据包，否则保存该数据包；

4)转发节点保存一数据包时，计算发送一数据包的转发概率，并确定是否发送一个数据包；

5)如果确定发送一个数据包，则转发节点对已接收到的属于当前GOP的所有数据包采用优先级编码方法重编码，以生成一新数据包，并将该新数据包发向目标节点；

6)目标节点接收到以自己为目的的数据包后，采用优先级线性编码方法解码数据包，生成原始的视频流。

进一步的，转发节点根据其与邻居节点的丢包率计算发送一个数据包的转发概率。

进一步的，转发概率P_k＝Π_j＜iε_kj；其中，P_k为转发节点j对从节点k接收的数据包的转发概率，∈_ki表示节点k与节点j之间的丢包率。

进一步的，转发节点通过广播的形式将所述新数据包发向目标节点。

进一步的，生成一新数据包的方法为：将已接收到的属于当前GOP的所有数据包重新编码得到的编码块放到一新数据包中，该新数据包包头中的源节点IP地址、目标节点IP地址、视频流编号、视频段编号与原数据包包头中的信息对应相同，该新数据包包头中的ETX值为转发节点本身到目标节点的ETX值；同时根据重编码时所用的编码向量修改该新数据包包头中的Coefficient Length值和Coefficient Vector值。

进一步的，所述优先级线性编码方法为：首先对视频流数据进行分段；然后将每一段分成等长的若干数据块；最后使用编码系数矩阵与每一数据块进行线性变换，生成编码后的数据块。

进一步的，所述编码系数矩阵的结构为：每个编码系数矩阵中系数为零的位置都相同，每个非零的系数从1到255中随机选取。

进一步的，所述编码系数矩阵中的第i行系数向量的非零系数的个数为NZ_i；其中，

α取值4或5。

进一步的，将视频流数据的每一GOP划分为一段。

进一步的，采用Gaussian-Jordon消元算法检查数据包的线性相关性。

本方法采用的优先级线性编码(Priority Linear Coding，简称PLC)可以解决基于网络编码的机会路由引进大延迟的缺点。PLC和网络编码都要求先将原始数据先分成段B，再将每一个段分成等长的数据块[b1，b2，……，bn]，然后才使用编码系数矩阵与数据块进行线性变换进而生成编码后的数据块。该线性变换可以表示如下：

$c_i=\underset{j=1}{\overset{n}{\mathrm{\Σ}}}{\mathrm{\β}}_{i,j}*b_j---(1-1)$

其中ci表示编码后的数据块，β_i，1，β_i，2，…，β_i，n是编码系数矩阵中第i行的系数。图1是基于网络编码的机会路由中使用的系数矩阵的一个简单例子。图2是本方法中使用的系数矩阵的一个简单例子。不难看出，由于本方法的系数矩阵每行的后面具有一定量的0元素，因此在生成编码块时，只需要部分的原始块。所以PLC可以渐进的编码，减少了缓存数据带来的延迟。解码过程具有类似的性质。另外在PLC机制中，一个段中的数据块最后以不同的优先级被解码出来，越前面的数据包具有更高的优先级。当发送丢包时，后面的数据块有可能不能被成功解码。

以下将分别说明本方法在源节点、转发节点和目标节点上的设计。

在源节点上，MCP视频流的每一个GOP(Group Of Picture)被当作PLC中的一个段，每个段被分成n个块(称为block)。每个block的大小可以由公式(2-1)和(2-2)计算得到。

$\mathrm{GOP}\_\mathrm{byte}=\frac{\mathrm{GOP}\_\mathrm{frame}}{\mathrm{FPS}}*\frac{\mathrm{bitrate}}{8}---(2-1)$

$k=\frac{\mathrm{GOP}\_\mathrm{byte}}{n}---(2-2)$

其中GOP_byte表示GOP含有的字节数，GOP_frame表示GOP中含有的帧数，FPS是视频流的帧率，bitrate是视频流的字节率，k表示每个block的大小。

每个GOP由一个I帧开始，后面跟着多个P帧和B帧组成。因此每个GOP的所有的block的视频值是递减的。这与优先级线性编码的优先级自序刚好一致。因此在编码后，视频值高的block具有更高的优先级被成功解码。

在本发明中，每个GOP的编码系数矩阵采用固定的样式，即每个GOP的编码系数矩阵中的相同位置处的系数要么都为非零，要么都为零。每个非零的系数都是从1到255中随机得到的。编码系数矩阵中的第i行系数向量的非零系数的个数为NZ_i，可以公式(3)得到：

其中，在本发明中α取值4或5。

每个经PLC编码得到的数据块被放在一个数据包中。数据包的格式如图3所示。OR-PLCHeader是本方法添加的头部，它包括SRC_IP源节点IP地址；DST_IP目标节点IP地址；FLOW_ID视频流编号；BATCH_ID视频段编号；ETX表示期望传输次数(ExpectedTransmission Count，简称为ETX)，它是无线网络中一种用来表示节点间距离的机制；Coefficient Length表示系数向量中非零元素的个数；Coefficient Vector表示系数向量，它只包含非零元素。最后，数据包发向目标节点。

由于无线链路的广播特性，转发节点能够机会地接收到附近节点发送的数据包。当一个转发节点监听到一个数据包时，它比较数据包中的ETX是否比自己到目的地的ETX要大。转发节点丢弃ETX比自己小的数据包，保存ETX比自己大的数据包，并检查这个数据包是否与它已经接收到的数据包线性不相关。它丢弃那些线性相关的数据包，仅仅存储线性不相关的。在接收到一个线性不相关的数据包之后，转发节点需要决策是否发送一个新数据包。在本方法中，转发节点根据与邻居节点的丢包率，计算一个概率值，并以该概率发送一个新数据包。形式化的描述如下：对于两个节点i和j，i＜j表示节点i比节点j更靠近目标节点，即i具有更小的ETX。当转发节点i从节点k接收到一个数据包packet时，它以概率P_k发送一个数据包：

P_k＝Π_j＜iε_kj                                 (4)

其中∈_ki表示节点k与j之间的丢包率。

转发节点发送的新数据包的OR-PLC Header中的SRC_IP、DST_IP、FLOW_ID和BATCH_ID字段与packet的对应字段相同。发送的数据包中的ETX字段需要修改成它自己到目标节点的ETX。同时需要修改Coefficient Length、编码系数向量Coefficient Vector，以及编码块One Encoded Block字段。其中，Coefficient Length修改为新的Coefficient Vector的长度，而新的编码系数向量和编码块是通过对已接收到的数据包重编码得到的，它们可分别由公式：v＝∑β_jv_j和c＝∑β_jb_j求得，其中β_j是随机选取的非零系数，v_j是该转发节点已经接收到的与packet属于相同视频段的数据包的编码系数向量，b_j是这些数据包中的编码后的block。

目标节点与转发节点一样，能够机会地接收到附近节点发送的数据包。目标节点保存以自己为目的地的数据包。根据数据包中的系数向量和编码后的数据包，目标节点使用PLC就可以渐进地将原始的block解码出来，再拼装成视频帧。

与现有技术相比，本发明的积极效果为：

本发明充分利用无线传输的广播特性，极大地减少了数据包的重传次数，提高了网络带宽的利用率；本发明根据不同视频帧对视频质量的影响不同，使用优先级编码机制对它们进行编码，比起其它的视频传输机制，如果目标节点接收到相同数量的视频数据包，本发明中的目标节点最终得到的视频质量将高于现有的传输机制，如之前所述的基于MAC重传的机制、基于FEC的机制，以及基于冗余传输路径的机制。

附图说明

图1是基于网络编码的机会路由机制中的编码系数矩阵的一个简单例子。

图2是本方法中使用的PLC的编码系数矩阵的一个简单例子。

图3表示本方法中使用的数据包的格式。

图4表示本发明实施例的一个简单例子。

图5表示本发明实施例实时视频传输过程示意图。

具体实施方式

以下结合附图通过实施例详细说明本发明，但不构成对本发明的限制。

本实施例提供一个采用本发明方法的实时视频传输系统实例。

在本实施例中，源节点是一种视频采集节点。它使用VIA的工控主板CN13000，主频1.3GHz，并配备1G的金士顿内存，采用EDiMAX的EW-7318USg 802.11无线网卡进行通信。源节点使用SONY的480CP摄像头采集视频，并通过海康的DS-4004HC视频采集卡，将摄像头的模拟信号转化为H.264的视频流，波特率(bit rate)设置为250Kb/s，帧的分辨率为标准CIF格式：352×288，帧率设置为15fps，每个GOP包含15帧，格式为[IPP……]，没有B帧。源节点的操作系统使用fedora 1.6。本实施例中，源节点同时作为其它视频流传输的转发节点。因此转发节点与源节点的硬件和软件都相同。目标节点是具有802.11通信功能的终端，本实施例中有两种：Nokia 810 PDA和Nokia N97手机，这两款移动设备都具有802.11通信功能。

图4是本实施例的一个简单示意图。其中节点0为源节点，节点1和2为转发节点，节点3为目标节点。从图中可以看出，在一段时间内，源节点发送了7个数据包。由于无线通信的丢包和广播特性，节点1、2和3分别接收到6、5和1个数据包。节点1通过计算每个包的转发概率，最后只发送了4个数据包。这4个数据包被节点2接收到3个，被节点3接收到2个。节点2一共接收到8个数据包，但是只发送了5个数据包，其中的4个数据包被目标节点接收。目标节点将接收到的7个数据包使用PLC解码，就可以得到原始的视频帧。

参考图5，本实施例视频传输过程包括：

源节点使用H.264视频采集卡生成视频流。视频流被按GOP分成段，每段再被分成n个block，然后使用PLC对block进行编码。每个编码后的block被放入一个数据包，数据包中还携带了一些进行路由控制需要的信息和解码需要的系数向量，如图3所示。数据包最后被广播出去。

源节点广播出去的数据包将被多个转发节点接收到。转发节点每收到一个数据包，就比较数据包中的ETX是否比自己到目标节点的ETX大，并使用已有的Gaussian-Jordon消元算法检查数据包的线性相关性，将符合要求的数据包保存下来。当转发节点每保存一个符合要求的数据包时，它需要计算发送一个数据包的概率，用以决定是否发送一个数据包。如果决定发送，转发节点将使用PLC把已经收到的属于同一GOP的所有数据包进行重编码，将生成的重编码块组装入新的数据包，并通过广播的形式发送出去。

目标节点接收到以自己为目的的数据包后，使用PLC将原始的block恢复出来，再拼装成视频帧，然后将视频帧传递给视频播放器Mplayer。

Claims (10)

1.一种实时视频传输方法，其步骤为：

1)源节点采用优先级线性编码方法对视频流进行编码；

2)将编码后的每一数据块放到一数据包中并通过无线链路广播发送该数据包；所述数据包的包头包括：源节点IP地址、目标节点IP地址、视频流编号、视频段编号、到达目的节点的期望传输次数ETX、编码系数向量中非零元素的个数Coefficient Length、编码系数向量中的非零元素Coefficient Vector；

3)转发节点检查所接收到数据包，如果该数据包中的ETX值小于本身节点到目的节点的ETX值，则丢弃该数据包；否则判断该数据包与已接收的数据包是否线性相关，如果线性相关则丢弃该数据包，否则保存该数据包；

4)转发节点保存一数据包时，计算发送一数据包的转发概率，并确定是否发送一个数据包；

5)如果确定发送一个数据包，则转发节点对已接收到的属于当前GOP的所有数据包采用优先级编码方法重编码，以生成一新数据包，并将该新数据包发向目标节点；

6)目标节点接收到以自己为目的的数据包后，采用优先级线性编码方法解码数据包，生成原始的视频流。

2.如权利要求1所述的方法，其特征在于转发节点根据其与邻居节点的丢包率计算发送一个数据包的转发概率。

3.如权利要求2所述的方法，其特征在于转发概率P_k＝∏_j＜iε_kj；其中，P_k为转发节点i对于从节点k接收到的数据包的转发概率，j＜i表示节点j比节点i更靠近目标节点，ε_kj表示节点k与节点j之间的丢包率。

4.如权利要求1所述的方法，其特征在于转发节点通过广播的形式将所述新数据包发向目标节点。

5.如权利要求1或4所述的方法，其特征在于生成一新数据包的方法为：将已接收到的属于当前GOP的所有数据包重新编码得到的编码块放到一新数据包中，该新数据包包头中的源节点IP地址、目标节点IP地址、视频流编号、视频段编号与原数据包包头中的信息对应相同，该新数据包包头中的ETX值为转发节点本身到目标节点的ETX值；同时根据重编码时所用的编码向量修改该新数据包包头中的Coefficient Length值和Coefficient Vector值。

6.如权利要求1所述的方法，其特征在于所述优先级线性编码方法为：首先对视频流数据进行分段；然后将每一段分成等长的若干数据块；最后使用编码系数矩阵与每一数据块进行线性变换，生成编码后的数据块。

7.如权利要求6所述的方法，其特征在于所述编码系数矩阵的结构为：每个编码系数矩阵中系数为零的位置都相同，每个非零的系数从1到255中随机选取。

8.如权利要求7所述的方法，其特征在于所述编码系数矩阵中的第i行系数向量的非零系数的个数为NZ_i；其中，

α取值4或5。

9.如权利要求6所述的方法，其特征在于将视频流数据的每一GOP划分为一段。

10.如权利要求1所述的方法，其特征在于采用Gaussian-Jordon消元算法检查数据包的线性相关性。

Images