CN103986932B - 一种视频数据流的信源信道联合编解码方法 - Google Patents

Abstract

一种视频数据流的信源信道联合编解码方法，所述方法的步骤包括：发射端将图像帧的每一区块指定于一子信道独立编码传输，当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息以反映各子信道的解码完成状况；将M轮传输所获得的字符信息的累计作为各子信道的可靠性评价值；计算当前传输的每一图像帧区块的均方误差与DCT系数的乘积，将其作为所述图像帧区块的重要性评价值；以可靠性评价值和重要性评价值为依据匹配用于传输各图像帧区块的子信道。本发明可满足发射端对于不同信道状况的子信道进行不同的数据包传输调度，从而在基本不影响视频传输质量的前提下，提高传输效率；可减少无线路由器在多人同时上传/下载视频流时的调度代价。

Description

一种视频数据流的信源信道联合编解码方法

技术领域

本发明涉及数据传输技术领域，尤其涉及一种视频数据流的信源信道联合编解码方法。

背景技术

目前，移动视频传输正在成为无线通信的主要网络负载。根据思科(Cisco)视频报表，点播视频的网络流量负载将在2015年增至现在的三倍。 然而，因为无线信道状况极其不稳定，移动视频流的质量很不理想。这个问题吸引了大量的研究兴趣，其目的是提高移动视频传输的性能。当下最前沿的文献提出了改善移动视频传输的几种新技术。这些方案的基本思想是通过解决高度数据冗余，实现较为优质的视频传输效果。

如今，MU-MIMO（多用户多输入多输出）系统可以支持多用户同时上传/下载视频。然而，几乎没有现有技术可以实现在MU-MIMO的WLAN （无线局域网络）实现较为理想的视频传输性能。主要的原因是由于高度的数据冗余可导致数据包冲突和丢包的概率增加，以至于限制了传输性能。

在日常生活中，用户经常会遇到如下两种很差的无线视频体验。一是在某些体育盛会（如：世界杯），很多人一起看相同的视频节目，从而导致了很多人的视频流会卡在某些画面，使得多人同时的视频流下载用户体验极差。二是当用户在上传拍摄的有趣事件的同时，其他在附近的人也会同时上传几乎相同的内容的视频流。这使得多人同时的视频流上传用户体验极差。 几乎没有现有的办法可以解决这两个经常发生在人们日常生活中的问题。这促使技术人员去设计出基于MU-MIMO的、更为高效的、可多人同时上传/下载的视频传输方案。另外，现在大多数的移动设备可以拍摄高清晰度（HD ）视频，以及许多近期发布的专业相机都支持Wi-Fi。这种高清视频流的无线传输会带来更重的无线网络负载，更使得实现这样一个有效的方案显得迫在眉睫。

当下的多人同时视频上传/下载的MU-MIMO的无线传输的性能难以改善，其困难主要为如下两点：1）经常改变无线信道状况；2）共享带宽。视频编解码器是专门设计为在一个相对固定的比特率工作，这个固定的比特率是根据当前信道条件的估算。然而，根据所测量的信道条件来调节比特率这种方法是不实际的。关键原因是，由于无线链路变化频繁，无法得到的瞬时信道质量的信息。此外，由于共享带宽，多人同时上载/下载高清视频与高度的数据冗余会带来更重的工作量，并导致冲突或丢包的概率很高。简而言之，在不断波动的信道条件下，如何高效的实现多人同时视频上传/下载是主要的困难。

针对无线视频收发，技术人员提出了通过接收器的反馈来进行信道和视频数据压缩率的切换。具体而言，当发送器无法正确接收到周期性的接收器反馈时，发射器会切换无线传输的频带，以及视频压缩比例，从而利用其他频段和合适的视频压缩比来完成较为优质的视频流传输。但是，这种方法需要经常改变传输的无线频段，这种频繁切换频段的方法在很多情况下是无法适用的（比如周围频段被其他设备占用）。再者，在多用户同时上传/下载视频时，改变频段会带来很大的额外控制代价（如发射器要接收和协调各个接收器所能利用的其他频段，然后还要进行频段分析来确定最终需要切换的频段范围）。

技术人员还提出了通过将视频多帧图像进行分离，打乱顺序，从而分成重要信息和非重要的信息。然后将重要信息分配到信道状况较好的子载波上，将非重要信息分配到信道状况较差的子载波上。该方法对单人视频上传下载较为有效，但是当应用于同一局部区域多用户上传/下载视频流时，数据的冗余性较高。再者，对视频流的图像帧进行乱序，会对接收端带来很大的额外计算代价（如：还原顺序）。最后，仅根据子载波信道状况分配数据传输，因为无法获得瞬时信道状况，丢包率还是会比较高。

发明内容

为了克服上述所指的现有技术中的不足之处，本发明提供一种视频数据流的信源信道联合编解码方法，以对于不同信道状况的子信道进行不同的数据包传输调度，在基本不影响视频传输质量的前提下，提高传输效率。

本发明是通过以下技术方案实现的：

一种视频数据流的信源信道联合编解码方法，其步骤包括：

S1、发射端将图像帧的每一区块指定于一子信道独立编码传输，当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S2、将M轮传输所获得的字符信息的累计作为各子信道的可靠性评价值，M为大于等于1的整数；

S3、计算当前传输的每一图像帧区块的均方误差及DCT系数，将此二者的乘积作为所述图像帧区块的重要性评价值；

S4、以可靠性评价值和重要性评价值为依据，匹配用于传输各图像帧区块的子信道。

进一步地，所述步骤S1中的独立编码传输基于正交频分复用技术的频率分集及无比率编码。

优选地，所述步骤S1中的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

优选地，所述步骤S1中的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

优选地，在步骤S2中，将M轮传输所获得的每个子信道对应的M个bit的数值进行求和，将求和结果作为各子信道的可靠性评价值。

优选地，在步骤S2中，将求和结果从大到小依次排序，反映各子信道的可靠性从高到低的排序。在步骤S3中，将各图像帧区块的均方误差及DCT系数的乘积从大到小依次排序，反映各图像帧区块的重要性从高到低的排序。

优选地，在步骤S4中，根据步骤S2的求和结果排序与步骤S3的乘积排序依次匹配用于传输各图像帧区块的子信道，使排列在前的子信道传输排列在前的图像帧区块，使排列在后的子信道传输排列在后的图像帧区块。

在步骤S4中，根据步骤S2的可靠性评价值与步骤S3的重要性评价值依次匹配用于传输各图像帧区块的子信道，使可靠性评价值高的子信道传输重要性评价值高的图像帧区块，使可靠性评价值低的子信道传输重要性评价值低的图像帧区块。

优选地，在步骤S4中，当检测到一图像帧区块的传输轮数达到第P轮且未完成解码后，判断该图像帧区块的重要性评价值是否小于一预设值，若是，则放弃传输该图像帧区块，P为大于1且小于M的整数。

与现有技术相比，本发明利用正交频分复用技术(OFDM)的频率分集(frequencydiversity)和无比率编码(rateless codes)，并提出了微反馈机制（Micro-ACK），可以满足发射端对于不同信道状况的子信道进行不同的数据包传输调度，从而在基本不影响视频传输质量的前提下，提高传输效率；将对视频流每帧画面影响因子大的数据放在信道条件好的子信道上传输，影响因子小的数据放在信道条件较差的子信道传输；可用来支持多人同时视频上传/下载的跨层无线传输设计，减少无线路由器在多人同时上传/下载视频流时的调度代价（如：数据包冲突，丢包等），从而提高了多人上传/下载的视频流传输效率。

附图说明

附图1为本发明一种实施例的视频数据流的信源信道联合编解码方法的实现流程示意图；

附图2为应用本发明实施的基于多用户输入输出的无线视频传输的实现流程示意图；

附图3为应用本发明实施的基于多用户输入输出的无线视频传输中的信源信道联合编解码方法的实现流程示意图；

附图4为应用本发明实施的基于多用户输入输出的无线视频传输的接收端解码流程示意图。

具体实施方式

为了便于本领域技术人员的理解，下面结合附图对本发明作进一步的描述。

一种视频数据流的信源信道联合编解码方法，尤其可应用于多用户输入输出的无线视频传输，如附图1所示，其步骤包括：

S101、发射端将图像帧的每一区块指定于一子信道独立编码传输；

S102、当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S103、将M轮传输所获得的字符信息的累计作为各子信道的可靠性评价值，M为大于等于1的整数；

S104、计算当前传输的每一图像帧区块的均方误差及DCT系数，将此二者的乘积作为所述图像帧区块的重要性评价值；

S105、以可靠性评价值和重要性评价值为依据，匹配用于传输各图像帧区块的子信道。

在步骤S101中，利用正交频分复用技术(OFDM)的频率分集(frequencydiversity)和无比率编码(rateless codes)，采用子信道独立编码传输。

在步骤S102中，提出了微反馈机制（Micro-ACK）。微反馈机制（Micro-ACK）的具体是：在发射端每完成一轮信息传输，接收端会反馈给发射端一个字符（symbol）的信息，而不是发送一个传统较大的acknowledge包反馈。这个字符由N个bit组成，N表示当前传输所占用的子信道个数。其中字符信息的每个bit采用BPSK的调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。通过这个极为轻量级的信道条件反馈，从而可以满足发射端对于不同信道状况的子信道进行不同的数据包调度传输（比如让高解码率的子信道传输新的区块信息，低解码率的子信道仍旧传输之前未能解码信息）。优选地，所述步骤S1中的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

只通过根据频率分集的无比率码并不能保证优质的无线视频传输性能。这是因为在无比率编码中，所有数据比特会被赋予同样的重要性级别，然而，一个图像帧的每个区块（chunk）的所包含的视频信息分布并不是均匀的，鉴于此，不能把每个区块以同等重要性来发射。因此在本发明的信源和信道匹配过程，该信源信道匹配设计是基于这样一个事实：子通道的状态和信源每个区块所携带的视频信息都是非均匀分布的。如果用更可靠的子信道来传输信息含量高的区块，使用信道条件较差的子信道来传输信息含量低的区块，则可以利用频率分集来实现不等错误保护UEP（ unequal error protection）。传统的方法利用高数据冗余来实现UEP，本发明则是利用信源信道的相互匹配达到同样的目的，无需额外的冗余信息传输，而是利用微反馈（Micro-ACK）信息来估计信道状况。在步骤S103中，根据连续的M轮传输得到的Micro–ACK信息，将M轮传输所获得的每个子信道对应的M个bit的数值进行求和，将求和结果作为各子信道的可靠性评价值。将求和结果从大到小依次排序，反映各子信道的可靠性从高到低的排序（因为1代表成功解码，0代表未成功解码，所以一段时间内，1越多代表子信道条件越好的几率越大），这样完成了信道条件由好到差的估计。

而对于图像帧的区块对还原画面的重要性分析，则通过计算均方误差MeanSquared Error（MSE）和利用F-spinal编码所计算的DCT 系数来衡量。MSE表示当前图像帧区块对其所属图像组GOP的影响，DCT系数表示当前图像帧区块对当前图像帧的影响。在步骤S104中，将要同时传输的每个图像帧区块的MSE和DCT系数相乘，将各图像帧区块的均方误差及DCT系数的乘积从大到小依次排序，反映各图像帧区块的重要性从高到低的排序，乘积越大代表该图像帧区块越重要，这样就完成了图像帧区块的重要性分析。

在步骤S105中，根据步骤S103的可靠性评价值与步骤S104的重要性评价值依次匹配用于传输各图像帧区块的子信道，使可靠性评价值高的子信道传输重要性评价值高的图像帧区块，使可靠性评价值低的子信道传输重要性评价值低的图像帧区块，即用信道条件好的子信道传输重要的区块信息，从而完成了信源信道匹配过程。具体地，可根据步骤S103的求和结果排序与步骤S104的乘积排序依次匹配用于传输各图像帧区块的子信道，使排列在前的子信道传输排列在前的图像帧区块，使排列在后的子信道传输排列在后的图像帧区块。

优选地，在步骤S105中，若不重要的图像帧区块在信道条件差的子信道上经多轮传输仍无法正确解码，则选择舍弃该部分信息，进行后续传输。具体地，当检测到一图像帧区块的传输轮数达到第P轮且未完成解码后，判断该图像帧区块的重要性评价值是否小于一预设值，若是，则放弃传输该图像帧区块，而为其所在子信道分配新的图像帧区块，P为大于1且小于M的整数。

附图2还公开了一种利用本发明的视频数据流的信源信道联合编解码方法实现的基于多用户输入输出的无线视频传输方法，其步骤包括：

S201、获取同时上传或者同时下载的若干股视频流数据；

S202、对视频流数据进行空间域相似性压缩；

S203、在OFDM调制方式下对视频流数据进行基于F-spinal的无比率编码；

S204、执行信道信源匹配；

S205、通过无线信道发送视频流数据；

S206、接收端反馈信道条件至发射端，反馈至无比率编码和信道信源匹配过程中。

其中，所述无线视频传输方法主要包含三部分，即空间域相似度压缩、基于F-spinal的无比率编码、信源信道匹配。该无线视频传输方法是一种基于多用户多输入多输出(MU-MIMO)技术的高效无线视频传输设计，其目的是提高多用户同时上传/下载视频传输质量和效率，利用了局部范围内（比如局域网内）用户视频流相似度和正交频分复用技术(OFDM)的频率分集(Frequency Diversity)，对无线视频流数据进行了合理的压缩和无比率编码。从而在保证视频流质量的前提下，降低了传输的冗余性，进而减少了无线路由器在多人同时上传/下载视频流时的调度代价，从而提高了多人上传/下载的视频流传输效率。

由于在同一局部区域内，同时段用户所下载或上传的视频流具有很高的相似度，因此，为了更进一步提高效率，利用数据冗余，除了关注视频传输过程，本发明也对客户行为进行了分析和关注，对多人同时上传/下载的视频流进行空间域相似度压缩，通过充分利用空间域的相似度，进一步压缩数据。

在步骤S202中，对多股同时上传/下载的视频流进行相似度匹配，若该多股视频流相似度达到一预设阀值，则可采用空间域压缩。以多人同时上传视频流为例，在首次进行空间域压缩前，路由端（即无线路由器）首先根据在某一较短的时间段内同时上传的视频流的相似度进行判定。所述相似度分析是对若干股视频流的同一时间点的图像帧进行相似度分析，判定过程是通过计算多股视频流同一时间的图像帧相似度。优选地，采用计算平均绝对差（Mean Absolute Difference）进行图像帧的相似度分析。优选地，所述预设阀值设置为50%～70%，较佳地，可设置为60%。当该若干股视频流的相似度大于等于60%，则满足压缩条件，接收端广播反馈回一帧共同分享的基准帧（I-frame）；各发射端接收后，以此帧图像为基准，生成基于此帧的图像组GOP（group of picture）的后续帧（包含P帧、B帧等）；在该图像组GOP的后续帧传输过程中，所有上传用户都是基于共同分享的该基准帧来发送上传变换帧图像（包含P帧、B帧等）。之后无线路由器通过分析后续GOP中I-frame的相似度来判定是否继续反馈公共基准帧，若相似度小于预设阈值，则可终止空间域压缩。比如，如果后续分析的GOP中I-frame的相似度大于60%，则依旧反馈公共基准帧，然后进行空间域压缩；反之，即相似度小于60%时，则不反馈公共基准帧，也不进行空间域压缩。

在步骤S203中，在OFDM调制方式下利用频率分集改善了无比率编码传输冗余性。为了应对频繁变化的信道条件，本发明采用无比率码，以确保发射端以一个相对固定的比特率发送视频流。然而，当下最好的无比率码（即脊柱码spinal codes），不能直接应用在当下无线OFDM （正交频分复用）系统中，这是因为脊柱码无法利用频率分集，从而无法根据不同子载波状况来调节传输的效率。根据实验观察，由于频率选择性衰落，接收端上每个子载波的解码能力各不相同。因此，可以通过利用频率分集实现更高的信道容量，可以通过修改脊柱码，提出改进的细粒度脊柱码(F-spinal)。

基于F-spinal的无比率编码，其视频流编码具体分为离散余弦变换（DiscreteCosine Transform），量化分级（Quantization）以及本发明提出的F-spinal无比率编码。前两个步骤是标准的MPEG4视频编码格式操作，因此不再赘述，其中离散余弦变换（DiscreteCosine Transform）所得到的的DCT系数应用于图像帧区块的重要性评价值的计算，如附图3所示。在此将传统MPEG4视频编码格式的第三步，即压缩（Compression），用本实施例的F-spinal无比率编码替代。F-spinal无比率编码是基于脊柱码（spinal code）改进而来。传统的spinal code并没有考虑OFDM的频率分集特性，它直接将图像帧一个区块的数据流并行传输在所有OFDM子信道上。这样的话，在这个区块的信息被完全成功解码之前，所有子信道都在持续传输。在这个过程中，信道条件较好的有较高解码率的子信道则会不停的传输已经成功解码的冗余信息，因此信道的整体利用率较低。基于OFDM特有的频率分集特点，在此提出的改进版的F-spinal采用子信道独立编码传输。具体做法就是将每个区块的信息放在某个特定的子信道上传输，这样每个子信道上传输的内容就是相对独立的，即每个子信道解码不需要依靠其他子信道的解码信息。这样信道条件好，解码率高的子信道完成解码后，就可以在这种子信道上传输新的区块信息。

相比于传统无比率编码不需要发射端知道信道状况，本实施例的F-spinal则需要接收端反馈哪些子信道已经成功完成当下信息传输，可以发射新的区块信息。鉴于此，本实施例提出了微反馈机制（Micro-ACK），其反馈的字符信息可用于计算子信道的可靠性评价值，如附图3所示。通过这个极为轻量级的信道条件反馈，还可以满足发射端对于不同信道状况的子信道进行不同的数据包调度传输（比如让高解码率的子信道传输新的区块信息，低解码率的子信道仍旧传输之前未能解码信息）。

利用本发明的信源信道联合编解码方法与相似性空间域压缩、F-spinal无比率编码相结合，在信道条件较差的情况下，相比于传统方法（如：mpeg4）可以提高视频质量约为5dB 的峰值信噪比PSNR（Peak Signal-to-Noise Ratio）。由于使用了改进版脊柱码，可以在丢包率高达10%的情况下，仍可保持较为优质的用户视频画质（约32 dB PSNR）；在保障视频质量相对稳定的情况下，提高了视频流传输效率；相比于传统视频编码方式（如：mpeg4），可使得网络吞吐率可以高达140% (信噪比SNR小于20 dB)，平均性能为传统编码方式的120%。

如附图4所示，为接收端的数据处理流程图。其工作流程基本为附图2的无线视频传输方法的实现过程的一个逆过程。在此不再赘述。

以上内容是结合具体的优选方式对本发明所作的进一步详细说明，不应认定本发明的具体实施只局限于以上说明。对于本技术领域的技术人员而言，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，均应视为由本发明所提交的权利要求确定的保护范围之内。

Claims (8)

1.一种视频数据流的信源信道联合编解码方法，其步骤包括：

S1、发射端将图像帧的每一区块指定于一子信道上独立编码传输，当发射端完成一轮数据传输后，接收端向发射端反馈一字符信息，该字符信息反映各子信道的解码完成状况；

S2、将M轮传输所获得的字符信息的累计作为各子信道的可靠性评价值，M为大于等于1的整数；

S3、计算当前传输的每一图像帧区块的均方误差及DCT系数，将此二者的乘积作为所述图像帧区块的重要性评价值；

S4、以可靠性评价值和重要性评价值为依据，匹配用于传输各图像帧区块的子信道；

所述步骤S1中的独立编码传输基于正交频分复用技术的频率分集及无比率编码，所述无比率编码为基于F-spinal的无比率编码；

在步骤S4中，根据步骤S2的可靠性评价值与步骤S3的重要性评价值依次匹配用于传输各图像帧区块的子信道，使可靠性评价值高的子信道传输重要性评价值高的图像帧区块，使可靠性评价值低的子信道传输重要性评价值低的图像帧区块。

2.根据权利要求1所述的视频数据流的信源信道联合编解码方法，其特征在于：所述步骤S1中的字符信息由N个bit组成，N表示当前传输所占用的子信道个数。

3.根据权利要求2所述的视频数据流的信源信道联合编解码方法，其特征在于：所述步骤S1中的字符信息的每个bit采用BPSK调制方式，以1代表子信道已经完成当前一轮传输数据的解码，以0代表子信道未完成当前一轮传输数据的解码。

4.根据权利要求3所述的视频数据流的信源信道联合编解码方法，其特征在于：在步骤S2中，将M轮传输所获得的每个子信道对应的M个bit的数值进行求和，将求和结果作为各子信道的可靠性评价值。

5.根据权利要求4所述的视频数据流的信源信道联合编解码方法，其特征在于：在步骤S2中，将求和结果从大到小依次排序，反映各子信道的可靠性从高到低的排序。

6.根据权利要求5所述的视频数据流的信源信道联合编解码方法，其特征在于：在步骤S3中，将各图像帧区块的均方误差及DCT系数的乘积从大到小依次排序，反映各图像帧区块的重要性从高到低的排序。

7.根据权利要求6所述的视频数据流的信源信道联合编解码方法，其特征在于：在步骤S4中，根据步骤S2的求和结果排序与步骤S3的乘积排序依次匹配用于传输各图像帧区块的子信道，使排列在前的子信道传输排列在前的图像帧区块，使排列在后的子信道传输排列在后的图像帧区块。

8.根据权利要求1所述的视频数据流的信源信道联合编解码方法，其特征在于：在步骤S4中，当检测到一图像帧区块的传输轮数达到第P轮且未完成解码后，判断该图像帧区块的重要性评价值是否小于一预设值，若是，则放弃传输该图像帧区块，P为大于1且小于M的整数。