CN102131083B - 可分级视频优先级传输方法及装置 - Google Patents

Abstract

本发明公开了一种可分级视频优先级传输方法，包括：对可分级视频每个画面组(GOP)经过分级视频编码(SVC)后的分层码流进行优先级排序；对排序后的SVC分层码流进行打包以及Raptor编码，并通过传输信道将编码后的可分级视频码流发送到可分级视频的接收端。本发明还公开了一种可分级视频优先级传输装置。本发明根据SVC分层码流的层次化特色，首先对SVC分层码流进行优先级排序，然后再对排序后的SVC分层码流进行打包以及Raptor编码，解决了可分级视频码流优化选择以及传输的问题，并且可以最终提高可分级视频码流重建图像的质量。

Description

可分级视频优先级传输方法及装置

技术领域

本发明涉及可分级视频编码（SVC）技术领域，特别涉及可分级视频优先级传输方法及装置。

背景技术

SVC是一种具有分级功能且高效的视频编码方法。SVC可以把视频序列编码成由一个基本层和多个具有不同分级特性的增强层组成的码流，其中基本层可以恢复出具有最低分辨率和质量的图像序列，而增强层可以恢复出具有更高分辨率和质量的图像序列。SVC提供的时域，空域和质量域三种可分级方式，保证了终端可以从收到的SVC码流中提取出满足一定目标码率，帧率以及空间分辨率的码流，并恢复出具有不同码率、帧率或者分辨率的视频图像，因此，SVC是一种适用于网络视频传输的算法，具有日益广泛的应用前景。随着宽带网络的发展和人们对视频内容需求的增加，在基于SVC的视频系统中，对同一视频内容，不同的终端可能需求更快的帧率，或更高的分辨率，或者更佳的质量，SVC的分级特性决定了只需要对信源进行一次编码，就可满足不同终端的需要。

在具有一定丢包率或拥塞的网络中，不同终端在一定的时间内可能收不到全部码流，但是，因为较低分辨率，帧率或质量的视频可以从较低层的码流中重建得到，SVC可以使终端在收到部分码流时恢复出具有一定失真的视频图像。在这种情况下，如何保证不同的终端用户的视频服务质量是视频传输面临的最大挑战。其中，传输码流的顺序以及码流数据包的格式是视频传输方法中的两个关键问题。

在网络中传输SVC分层码流时，源信息是以最大的分辨率和比特率编码的。如果在传输的过程中没有由于带宽的改变而产生的丢包时，不同的可分级视频的接收端根据自身的接收能力可以提取不同分辨率的比特流。然而，如果发生丢包，可分级视频的接收端就可能无法接收到足够的数据包以重建出满足其分辨率要求的视频图像，在这种情况下，可分级视频接收端恢复的视频序列的质量就要退化。也就是说，可分级视频接收端重建视频图像的质量将受到网络中信道丢包率的影响，当丢包率增大时，重建图像的质量会明显下降。为此，需要一种行之有效的对SVC分层码流进行处理的方法，以减少信道丢包率对重建视频图像质量的影响。

发明内容

为了解决上述技术问题，本发明提供了一种可分级视频优先级传输方法及装置，以提高可分级视频码流重建视频图像的质量。

本发明实施例所述的可分级视频优先级传输方法，包括：对可分级视频每个画面组GOP经过SVC编码后的分层码流进行优先级排序；以及对排序后的SVC分层码流进行打包以及Raptor编码，并通过传输信道将编码后的可分级视频码流发送到可分级视频的接收端；其中，所述Raptor编码包括：分别对排序并打包后每层的信源矩阵块进行RS编码并交织，得到m个数据包；确定LT编码的度；以及根据确定的LT编码的度，对m个数据包进行LT编码，得到n个数据包。

其中，对SVC分层码流进行优先级排序包括：定义排序路径上的所有可能节点为状态节点，每个状态节点对应于一定的(s,t,q)特性，其中，s，t和q分别表示空域、时域和质量域的分辨率特性；根据s，t和q增长的步长不同，将所有的状态节点划分成不同的阶段，其中，具有相同增长步长的状态节点处于相同的阶段；分别根据每个状态节点的码率及其对应的峰值信噪比PSNR计算每个状态节点的排序因子；在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大；以及按照最优路径从初始阶段到目的阶段上各个状态节点的顺序输出SVC分层码流。

根据如下公式计算每个节点的排序因子：

$Q_i\left(g_j\right)={\mathrm{PSNR}}_{t_i\left(g_j\right)}-{\mathrm{PSNR}}_{t\left(g_0\right)}-\frac{(R_{t_i\left(g_j\right)}-R_{t\left(g_0\right)})\·({\mathrm{PSNR}}_{t\left(g_{K-1}\right)}-{\mathrm{PSNR}}_{t\left(g_0\right)})}{R_{t\left(g_{K-1}\right)}-R_{t\left(g_0\right)}}$

其中，g_j表示第j个阶段，t_i(g_j)表示第j个阶段中的第i个状态节点，t(g₀)表示初始阶段的初始状态节点，t(g_K-1)表示目的阶段的目的状态节点，

表示状态节点t_i(g_j)的PSNR，

表示状态节点t_i(g_j)的码率，

表示初始状态节点t(g₀)的PSNR，

表示初始状态节点t(g₀)的码率，

表示目的状态节点t(g_K-1)的PSNR，

表示目的状态节点t(g_K-1)的码率，O_i(g_j)表示状态节点t_i(g_j)的排序因子，K代表阶段的总数。

在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括：根据如下公式计算从初始阶段到目的阶段的状态节点可能构成的所有路径上各个状态节点的排序因子的加权和：

其中，S_x代表从初始阶段到目的阶段的状态节点可能构成的所有路径中的第x条路径上各个节点状态节点的排序因子的加权和；O(g_j)代表该第x条路径在第j阶段上状态节点的排序因子；ω_j为第j阶段的加权因子，0＜ω_j＜1，0≤j≤K-1；以及将具有最大排序因子加权和的路径作为最优路径。

在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括：

A0，选择初始阶段的初始状态节点作为起始点，并将节点标识j设置为0，将初始阶段的排序因子加权和S₀(t)设置为0，将初始节点的最佳路径状态节点集合初始化为初始状态节点；

A1，采用如下公式计算第j阶段中各个状态节点的排序因子加权和S_j(t_i)以及分别记录从初始阶段到第j阶段中各个状态节点的最佳路径的状态节点集合：

$S_j\left(t_i\right)=\underset{k}{\max }(w_j{O}_i\left(g_j\right)+S_{j-1}\left(t_k\right))$

M_j(t_i)＝{M_j-1(t_k),t_i}

其中，S_j(t_i)代表第j阶段上第i个状态节点t_i的排序因子加权和；S_j-1(t_k)代表第j-1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上第i个状态节点t_i的排序因子；M_j(t_i)代表第j阶段上第i个状态节点t_i的最佳路径的状态节点集合；M_j-1(t_k)为第j-1阶段上与状态节点t_i相连的各个状态节点中排序因子加权和的最大值对应的状态节点的最佳路径的状态节点集合；

A2，令j=j+1，判断j是否等于K-1，如果是，则将目的状态节点的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径；否则，返回A1。

在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括：

a0，选择目的阶段的目的状态节点作为起始点，并将节点标识j设置为K-2，将初始阶段的排序因子加权和T_K-1(t)设置为0，将初始节点的最佳路径状态节点集合初始化为目的状态节点；

a1，采用如下公式计算计算第j阶段中各个状态节点到目的阶段的排序因子加权和T_j(t_i)以及分别记录从第j阶段中各个状态节点到目的阶段的最佳路径的状态节点集合：

$T_j\left(t_i\right)=\underset{k}{\max }(w_j{O}_i\left(g_j\right)+T_{j+1}\left(t_k\right))$

M_j(t_i)＝{t_i,M_j+1(t_k)}

其中，T_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的排序因子加权和；T_j+1(t_k)代表第j+1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上上第i个状态节点t_i的排序因子；M_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的最佳路径的状态节点集合；M_j+1(t_k)为第j+1阶段上与状态节点t_i相连的各个状态节点到目的阶段排序因子加权和中最大值对应的状态节点到目的阶段的最佳路径的状态节点集合；

a2，令j=j-1，判断j是否等于0，如果是，则将初始状态节点到目的阶段的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径；否则，返回a1。

上述第j阶段的加权因子ω_j为ω^j+1，其中，0＜ω＜1，0≤j≤K-1。

若最优路径多于一条，本发明实施例所述方法进一步包括：增加每个阶段的加权因子的值，并重新在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径。

上述确定LT编码的度包括：在的范围内选择度d的值，其中，θ为度分布函数参数，当度分布函数为Robust-Soliton函数时，

其中，常数c＞0，δ为可允许的失败译码概率；或者包括：建立m的取值范围与度d的最佳取值范围的对应关系；根据m的值确定度d的最佳取值范围；以及在度d的最佳取值范围内随机选择一个整数作为LT编码的度d。

本发明的实施例还公开了一种可分级视频优先级传输装置，包括：分级视频编码SVC单元，用于对可分级视频每个画面组GOP进行SVC编码；优先级排序单元，用于对SVC编码后的SVC分层码流进行优先级排序；打包单元，用于对排序后的SVC分层码流进行打包；以及Raptor编码单元，用于对打包后的SVC分层码流进行Raptor编码，并通过传输信道发送到可分级视频的接收端；其中，Raptor编码单元包括：RS编码模块，用于分别对打包后每层的信源矩阵块进行RS编码，得到m个数据包；LT编码度确定模块，用于确定LT编码的度；以及LT编码模块，用于根据确定的LT编码的度对上述m个数据包进行LT编码，得到n个数据包。

其中，优先级排序单元包括：阶段划分模块，用于定义排序路径上的所有可能节点为状态节点，每个状态节点对应于一定的(s,t,q)特性，并根据s,t和q增长的步长不同，将所有的状态节点划分成不同的阶段，其中，s，t和q分别表示空域、时域和质量域的分辨率特性，且具有相同增长步长的状态节点处于相同的阶段；排序因子确定模块，用于分别根据每个状态节点的码率及其对应的峰值信噪比PSNR计算每个状态节点的排序因子；最优路径确定模块，用于在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大；以及排序结果输出模块，用于按照最优路径从初始阶段到目的状态上各个状态节点的顺序输出SVC分层码流。

本发明所述的可分级视频优先级传输方法及装置根据SVC分层码流的层次化特色，首先对SVC分层码流进行优先级排序，然后再对排序后的SVC分层码流进行打包以及Raptor编码，解决了可分级视频码流优化选择以及传输的问题，并且可以最终提高可分级视频码流重建图像的质量。

附图说明

下面将通过参照附图详细描述本发明的示例性实施例，使本领域的普通技术人员更清楚本发明的上述及其它特征和优点，附图中：

图1为本发明实施例所述的可分级视频优先级传输方法流程图；

图2为本发明实施例所述的对SVC分层码流进行优先级排序的方法流程图；

图3为将所有状态节点划分成不同阶段后的示意图；

图4为按照从初始阶段到目的阶段的顺序对所有状态节点进行搜索得到最优路径的方法流程图；

图5为按照从目的阶段到初始阶段的顺序对所有状态节点进行搜索得到最优路径的方法流程图；

图6为SVC分层码流打包后的示意图；

图7为本发明实施例所述的Raptor编码过程示意图；

图8为本发明的实施例所述的可分级视频优先级传输装置内部结构示意图；

图9显示了对可分级视频序列领班（Foreman）采用默认排序方法、基于质量层的优先排序方法以及本发明实施例提出的优先级排序方法的率失真性能；

图10显示了对可分级视频序列足球（Football）采用默认排序方法、基于质量层的优先排序方法以及本发明实施例提出的优先级排序方法的率失真性能；

图11显示了对可分级视频序列城市（City）采用默认排序方法、基于质量层的优先排序方法以及本发明实施例提出的优先级排序方法的率失真性能；

图12显示了对可分级视频序列海港（Harbour）采用默认排序方法、基于质量层的优先排序方法以及本发明实施例提出的优先级排序方法的率失真性能；

图13显示了不同的丢包率和信源数据包数N下采用标准LT编码方式以及本发明实施例提出的自适应选择度的LT编码方式时可分级视频接收端的成功译码率。

具体实施方式

为了直接应用于现有的H.264/SVC视频编码标准，提高视频流的服务质量，本发明的实施例提出了一种可分级视频优先级传输方法。如图1所示，该方法包括以下步骤：

步骤101：对可分级视频每个画面组（GOP，Group of Pictures）经过SVC编码后的SVC分层码流进行优先级排序。

步骤102：对排序后的SVC分层码流进行打包以及Raptor编码，并通过传输信道将编码后的可分级视频码流发送到可分级视频的接收端。

可分级视频的接收端在收到编码后的码流后通过Raptor解码以及码流复合后即可得到SVC分层码流，然后再经过SVC解码后重建视频图像。

本发明的实施例根据SVC分层码流的层次化特色，首先对SVC分层码流进行优先级排序，然后再对排序后的SVC分层码流进行打包以及Raptor编码，解决了可分级视频码流优化选择以及传输的问题，可以最终提高可分级视频码流重建图像的质量。

下面将结合附图详细说明上述步骤101所述的对SVC分层码流进行优先级排序的方法。

在本发明的实施例中，优先级排序是指以GOP为单位对经过SVC编码后的SVC分层码流按其重要性进行优先级次序排列，其目的是使得接收端在正确接收到一定数量的数据包的情况下恢复出的图像质量最佳。

假定视频序列每个GOP的大小是N，每个GOP图像经SVC编码后，可产生码率为R的L层SVC分层码流。其中，第i层码流的码率由R_i表示；反映第1至第i层码流对应重建图像的失真度的峰值信噪比参数（PSNR）由PSNR_i表示（1≤i≤L）。每个GOP的SVC分层码流经优先级排序后，分别得到的L层码流的码率R_i及对应的PSNR_i值满足如下公式（1）：

$\left\{\begin{array}{c}\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{R}_i=R\\ {\mathrm{PSNR}}_i\≤{\mathrm{PSNR}}_{i+1},1\≤i\≤L-1\end{array}\right.---\left(1\right)$

已知可以采用默认的SVC分层码流排序方法对SVC分层码流进行优先级排序。具体而言，默认的SVC分层码流排序方法是以GOP为单位按时域层排序的。每一个时域层包含一些空域层，这些空域层又可能包含一个基本的质量域（例如SNR）层和几个增强的质量域层。

此外，还可以采用基于质量层的SVC分层码流排序方法对SVC分层码流进行优先级排序。具体而言，基于质量层的SVC分层码流排序方法假设第i帧图像编码成d层（比如QCIF层，CIF层和4CIF层），在每一层内，图像编码成基本层和质量层，其中质量层的分辨率特性为q，计算每幅图像的码率函数R(d,i,q)和失真函数D(d,i,q)，通过建立率失真R-D曲线获得最优的每帧图像的质量层的排列顺序。

本发明实施例还提出了一种新的优先级排序的方法。图2显示了本发明实施例所述的对SVC分层码流进行优先级排序的方法。如图2所示，该方法包括如下步骤：

步骤201：定义排序路径上的所有可能节点为状态节点（state），每个状态节点对应于一定的(s,t,q)特性，并根据s,t和q增长的步长不同，将所有的状态节点划分成不同的阶段（stage），其中，具有相同增长步长的状态节点处于相同的阶段。

在本实施例中，为了描述方便将SVC分层码流的特性用三元组(s,t,q)表示，其中s,t和q分别表示空域、时域和质量域的分辨率特性。其中，具有最低分辨率特性的码流表示为（0，0，0），可分级视频的接收端接收到该码流后可以恢复出最基本的视频质量。具有最高分辨率的码流表示为(s^*,t^*,q^*)，可分级视频的接收端接收到该码流后可以完全恢复出包含最高分辨率的各种分辨率的视频质量。具有中间分辨率的码流表示为(s,t,q)，可分级视频的接收端接收到该码流后可以恢复出包含这种中间分辨率的各种分辨率的视频质量。

本实施例所述的优先级排序方法的目标就是从具有最低分辨率特性的码流开始到具有最高分辨率特性的码流为止，即从状态节点（0，0，0）（又称为初始状态节点）开始到状态节点(s^*,t^*,q^*)（又称为目的状态节点）为止，寻找一条具有最优分辨率特性增长的路径，确保接收端恢复出的码流具有最优的率失真特性。

图3为将所有状态节点划分成不同阶段后的示意图。如图3所示，具有不同分辨率特性的12个状态节点（state（0，0，0）至state（1，2，1））被分别划分至5个阶段（stage0至stage4）。此时，具有最优分辨率特性增长的路径的选择问题就转化为如何从初始状态节点state（0，0，0）到目的状态节点state（1，2，1）中选择合适的状态节点构成一条最优路径的问题。

步骤202：分别根据每个状态节点的码率及其对应的PSNR计算每个状态节点的排序因子。

在上述步骤202中，可以通过如下公式（2）计算每个节点的排序因子。

$Q_i\left(g_j\right)={\mathrm{PSNR}}_{t_i\left(g_j\right)}-{\mathrm{PSNR}}_{t\left(g_0\right)}-\frac{(R_{t_i\left(g_j\right)}-R_{t\left(g_0\right)})\·({\mathrm{PSNR}}_{t\left(g_{K-1}\right)}-{\mathrm{PSNR}}_{t\left(g_0\right)})}{R_{t\left(g_{K-1}\right)}-R_{t\left(g_0\right)}}---\left(2\right)$

其中，g_j表示第j个阶段，t_i(g_j)表示第j个阶段中的第i个状态节点；t(g₀)表示初始阶段的初始状态节点；t(g_K-1)表示目的阶段的目的状态节点；

表示状态节点t_i(g_j)的PSNR；

表示状态节点t_i(g_j)的码率；

表示初始状态节点t(g₀)的PSNR；

表示初始状态节点t(g₀)的码率；

表示目的状态节点t(g_K-1)的PSNR；

表示目的状态节点t(g_K-1)的码率；以及O_i(g_j)表示状态节点t_i(g_j)的排序因子；K代表阶段的总数。

在本发明的实施例中，使用O_i(g_j)描述从第j-1个阶段到第j个阶段的第i个状态节点的路径的凸度，可以被看成是相对于基准质量的增量。

步骤203：在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大。

在本步骤中，可以根据如下公式（3）计算从初始阶段到目的阶段的状态节点可能构成的所有路径上各个状态节点的排序因子的加权和：

$S_x=\underset{j=0}{\overset{K-1}{\mathrm{\Σ}}}{\mathrm{\ω}}_{j}O\left(g_j\right)---\left(3\right)$

其中，S_x代表从初始阶段到目的阶段的状态节点可能构成的所有路径中的第x条路径上各个节点状态节点的排序因子的加权和；O(g_j)代表该第x条路径在第j阶段上状态节点的排序因子；ω_j为第j阶段的加权因子，0＜ω_j＜1，0≤j≤K-1；然后，将具有最大排序因子加权和的路径作为最优路径。

较佳地，可以令第g_j阶段的加权因子为ω^j+1，0＜ω＜1，0≤j≤K-1。通过实验可以发现，对于一般的视频序列ω＝0.2时可以获得较好的优先级排序结果。

步骤204：按照最优路径从初始阶段到目的状态上各个状态节点的顺序输出SVC分层码流。

在本步骤中，可以将最优路径上各个节点上具有相同质量域特性的状态节点输出为一层SVC分层码流。

具体而言，在本发明的实施例中，还可以采用多种方法在从初始阶段到目的阶段的状态节点构成的所有可能路径中确定最优路径。例如，可以按照从初始阶段到目的阶段的顺序对所有状态节点进行搜索以得到所述最优路径，或者可以按照从目的阶段到初始阶段的顺序对所有状态节点进行搜索以得到所述最优路径。

图4为按照从初始阶段到目的阶段的顺序对所有状态节点进行搜索得到所述最优路径的方法流程图，该方法主要包括：

步骤301：选择初始阶段的初始状态节点作为起始点，并初始化迭代参数，包括：将节点标识j设置为0，将初始阶段的排序因子加权和S₀(t)设置为0，并将初始节点的最佳路径状态节点集合初始化为初始状态节点。

步骤302：计算第j阶段中各个状态节点的排序因子加权和S_j(t_i)，并分别记录从初始阶段到第j阶段中各个状态节点的最佳路径的状态节点集合。

在本步骤中，可以通过如下公式（4）计算第j阶段中各个状态节点的排序因子加权和S_j(t_i)：

$S_j\left(t_i\right)=\underset{k}{\max }(w_j{O}_i\left(g_j\right)+S_{j-1}\left(t_k\right))---\left(4\right)$

其中，S_j(t_i)代表第j阶段上第i个状态节点t_i的排序因子加权和；S_j-1(t_k)代表第j-1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上上第i个状态节点t_i的排序因子。从上述公式（4）可以看出，第j阶段上第i个状态节点t_i的排序因子加权和S_j(t_i)为该状态节点排序因子的加权值加上上一个阶段（即第j-1阶段）上与该状态节点相连的各个状态节点中排序因子加权和的最大值。

此外，第j阶段上第i个状态节点t_i的最佳路径的状态节点集合可以采用如下公式（5）计算得到：

M_j(t_i)＝{M_j-1(t_k),t_i}     （5）

其中，M_j(t_i)代表第j阶段上第i个状态节点t_i的最佳路径的状态节点集合；M_j-1(t_k)为第j-1阶段上与状态节点t_i相连的各个状态节点中排序因子加权和的最大值对应的状态节点的最佳路径的状态节点集合。

步骤303：令j=j+1，判断第j阶段是否为目的阶段，即判断j是否等于K-1，如果是，则执行步骤304；否则，返回步骤302。

步骤304：将目的状态节点的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径。

图5为按照从目的阶段到初始阶段的顺序对所有状态节点进行搜索得到所述最优路径的方法流程图，该方法主要包括：

步骤401：选择目的阶段的目的状态节点作为起始点，并初始化迭代参数，包括：将节点标识j设置为K-2，将初始阶段的排序因子加权和T_K-1(t)设置为0，并将初始节点的最佳路径状态节点集合初始化为目的状态节点。

步骤402：计算第j阶段中各个状态节点到目的阶段的排序因子加权和T_j(t_i)，并分别记录从第j阶段中各个状态节点到目的阶段的最佳路径的状态节点集合。

在本步骤中，可以通过如下公式（6）计算第j阶段中各个状态节点的排序因子加权和T_j(t_i)：

$T_j\left(t_i\right)=\underset{k}{\max }(w_j{O}_i\left(g_j\right)+T_{j+1}\left(t_k\right))---\left(6\right)$

其中，T_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的排序因子加权和；T_j+1(t_k)代表第j+1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上上第i个状态节点t_i的排序因子。从上述公式（6）可以看出，第j阶段上第i个状态节点t_i到目的阶段的排序因子加权和T_j(t_i)为该状态节点排序因子的加权值加上下一个阶段（即第j+1阶段）上与该状态节点相连的各个状态节点到目的阶段的排序因子加权和中的最大值。

此外，第j阶段上第i个状态节点t_i到目的阶段的最佳路径的状态节点集合可以采用如下公式（7）计算得到：

M_j(t_i)＝{t_i,M_j+1(t_k)}      （7）

其中，M_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的最佳路径的状态节点集合；M_j+1(t_k)为第j+1阶段上与状态节点t_i相连的各个状态节点到目的阶段排序因子加权和中最大值对应的状态节点到目的阶段的最佳路径的状态节点集合。

步骤403：令j=j-1，判断第j阶段是否为初始阶段，即判断j是否等于0，如果是，则执行步骤404；否则，返回步骤402。

步骤404：将初始状态节点到目的阶段的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径。

需要说明的是，图4和图5所述的方法给出的仅是在所有状态节点中搜索最佳路径的示范性举例，本发明的实施例并不仅限于采用上述两种方法。

另外，需要说明的是，若在步骤203中确定的最优路径多于一条，则可以增加每个阶段的加权因子的值，并重新在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径。例如，如果在图4所示搜索过程的步骤302中发现上一个阶段中有多于一个状态节点对应于排序因子加权和的最大值或者在图5所示搜索过程的步骤402中发现下一个阶段中有多于一个状态节点对应于排序因子加权和的最大值，则可以增加各个阶段的加权因子，并返回步骤301或401，重新执行图4或图5所示的搜索过程。

从上述描述可以看出，本发明实施例所述的对SVC分层码流进行优先级排序的方法充分考虑在单个GOP内不同的空域、时域以及质量域分层码流的率失真性能，因此，优先级排序结果更加合理，进而提高SVC分层码流的率失真性能。

下面再结合附图详细说明步骤102所述的打包以及Raptor编码的方法。

图6为SVC分层码流打包后的示意图。如图6所示，在打包过程中，首先将L层SVC分层码流分别转换为w_i×h_i的信源矩阵块，其中，w_i为信源矩阵块的宽度；h_i为信源矩阵块的高度，且满足如下公式（8）所示的约束条件。该约束条件保证了经过信道解码以后，前面的信源符号总能比后面的信源符号优先恢复，即重要性高的信息总是比重要性低的信息优先恢复。然后，再分别在每个信源矩阵块进行Raptor编码，得到n个数据包。

$\left\{\begin{array}{c}{w}_i\≤w_{i+1},w_L=k\\ h_i=\frac{R_i}{w_i},\underset{i=1}{\overset{L}{\mathrm{\Σ}}}{h}_i=P_{\mathrm{length}}\end{array}\right.,1\≤i\≤L-1---\left(8\right)$

这n个数据包在一定丢包率的信道中进行传输到达分级视频的接收端。假设可分级视频接收端接收到α(0≤α≤n)个数据包，经过码流复合后得到的码元的数目为r，则α和r之间的关系满足如下公式（9）所示的约束条件：

$\left\{\begin{array}{c}\mathrm{\&alpha;}=0=>r=0\\ 0<\mathrm{\&alpha;}<k=>0<r<R\\ k\&le;\mathrm{\&alpha;}\&le;n=>r=R\end{array}\right.---\left(9\right)$

另，假设可分级视频接收端收到第i层码流的概率P_i是α的函数，满足如下公式（10）所示的约束条件：

$P_i=\left\{\begin{array}{c}0,\mathrm{\&alpha;}<w_i\\ 1,\mathrm{\&alpha;}\&GreaterEqual;w_i\end{array}\right.,1\&le;i\&le;L---\left(10\right)$

则在一定的带宽和丢包率情况下，由公式（10）可知，可分级视频流的传输应该满足在0<α≤n时，使可分级视频接收端从r个码元中恢复出的视频图像的PSNR最大。该目标可以通过优化打包参数中的w_i来达成，即优化目标函数如下面的公式（11）所示。目前，可以通过多种搜索算法分别确定L层SVC分层码流的打包宽度w_i以最大化恢复出的视频图像的PSNR，在此就不再赘述了。

$D=\underset{w_i}{\max }\underset{i=1}{\overset{L}{\mathrm{\&Sigma;}}}{\mathrm{PSNR}}_i\&CenterDot;P_i---\left(11\right)$

此外，在本发明的实施例中，Raptor编码采用RS+LT的形式，其编码过程如图7所示，主要包括：

步骤501：分别对排序并打包后每层的信源矩阵块进行RS编码并交织，得到m个数据包，这m个数据包长度固定为P_length个符号。

即在本步骤中，通过在每个信源矩阵块之后填充大小为(m-w_i)×h_i携带冗余信息的矩阵块（例如可以通过对大小为w_i×h_i的信源矩阵块进行前向纠错编码（FEC）生成大小为(m-w_i)×h_i的矩阵块）得到L个大小分别为m×h_i的矩阵块。如图6所示，这L个矩阵块的高度之和为P_length，因此，这L个矩阵块组合在一起可以得到长度固定为P_length个符号的m个数据包。

步骤502：确定LT编码的度d。

步骤503：根据确定的LT编码的度d，对上述m个数据包进行LT编码，得到n个数据包，这n个数据包的长度也固定为P_length个符号。

即在本步骤中，随机的从上述m个数据包中选择β个数据包1≤β≤d，并将β个数据包中所对应的信息按位异或运算后得到一个新的数据包。如此反复执行，直至得到n个长度也固定为P_length个符号的数据包。

通过上述图7所示的Raptor编码过程可以看出，LT编码的度d的大小是决定LT编码复杂度的关键。另外，LT编码中度d的大小的选择决定了可分级视频接收端成功译码概率。一般的LT编码中m的取值较大（10³-10⁴），此时，度d的取值满足d∈[1,m]。而在本发明所述的视频系统中，码流处理和传输的基本单元都是GOP，GOP码流的大小直接影响到m的取值范围，为了保证终端视频回放的质量和延迟，要求终端要在一定时间内对该GOP的码流进行解码并恢复出具有最小失真的视频图像，但是，当GOP码流较小时（m<10³），随着m值的减小，度d为1的数据包数量减少，会造成LT码解码的成功译码概率逐步降低，终端恢复的视频严重失真甚至无法解码。因此d∈[1,m]的选择范围并不适合于可分级视频码流的传输，因此，本发明的实施例还给出了自适应选择度d取值范围的方法。

已知，在LT(n，m)算法中，度d分布为Robust-Soliton分布，其分布函数如下公式（12）所示：

$\mathrm{\&mu;}\left(i\right)=(\mathrm{\&rho;}\left(i\right)+\mathrm{\&tau;}\left(i\right))/[\underset{i=1}{\overset{m}{\mathrm{\&Sigma;}}}\mathrm{\&rho;}\left(i\right)+\mathrm{\&tau;}\left(i\right)]---\left(12\right)$

其中， $\mathrm{\&rho;}\left(i\right)=\left\{\begin{array}{cc}1/m,& i=1\\ 1/i(i-1),& i=\mathrm{2,3},...,m\end{array}\right.,$ $\mathrm{\&tau;}\left(i\right)=\left\{\begin{array}{cc}\mathrm{\&theta;}/\left(\mathrm{im}\right),& i=\mathrm{1,2},...,(m/\mathrm{\&theta;})-1\\ \ln (\mathrm{\&theta;}/\mathrm{\&delta;})\mathrm{\&theta;}/m,& i=m/\mathrm{\&theta;}\\ 0,& \mathrm{others}\end{array}\right.,$ 常数c＞0，

δ为可允许的失败译码概率。

从上述公式（11）所示的度d分布函数可知，度d为1到

时所占的概率超过95%，而度d为到m时所占的概率不到5%。因此，在自适应选择度d的大小时，可以只考虑1到

的范围，即可以在的范围内选择度d，其中，θ为Robust-Soliton分布函数的参数。

另外，度d的选择范围还需要考虑RS编码的译码能力，保证在LT译码时不能成功译码的包在RS编码的纠删范围之内，即要满足δ≤α，其中，α为m值所对应的RS编码的冗余度。根据上述原则，首先对m的取值范围进了分类，然后仿真得到m值在不同度范围内的失败译码概率，如此，确定在不同m的取值范围内度d的最佳取值范围，即建立m的取值范围与度d的最佳取值范围的对应关系，如表1所示。

m的取值范围	[1,63]	[64,127]	[128,255]	[256-511]	[512-1278]
						度d的最佳取值范围	1～3	1～4	1～5	1～6	1～7

表1

如此，在上述步骤502中，可以首先根据m的值确定度d的最佳取值范围，然后再在度d的最佳取值范围内随机选择一个整数作为LT编码的度d。

从上述自适应选择度d取值范围的方法可以看出，在本实施例的LT编码过程中，度d的选择范围得到了大大缩小，从而大大降低了LT编码的复杂度。另外，通过在度的最佳取值范围内选择度的值还可以进一步提高可分级视频接收端的成功译码率。

除了上述可分级视频优先级传输方法，本发明的实施例还提供了可分级视频优先级传输装置，其内部结构如图8所示，主要包括：

SVC编码单元，用于对可分级视频每个GOP进行SVC编码；

优先级排序单元，用于对SVC编码后的SVC分层码流进行优先级排序；

打包单元，用于对排序后的SVC分层码流进行打包；以及

Raptor编码单元，用于对打包后的SVC分层码流进行Raptor编码，并通过传输信道发送到可分级视频的接收端。

在本发明的实施例中，上述优先级排序单元内部包括：

阶段划分模块，用于定义排序路径上的所有可能节点为状态节点，每个状态节点对应于一定的(s,t,q)特性，并根据s,t和q增长的步长不同，将所有的状态节点划分成不同的阶段，其中，s，t和q分别表示空域、时域和质量域的分辨率特性，具有相同增长步长的状态节点处于相同的阶段；

排序因子确定模块，用于分别根据每个状态节点的码率及其对应的PSNR计算每个状态节点的排序因子；如前所述，上述排序因子确定模块可以通过上述公式（2）计算每个节点的排序因子；

最优路径确定模块，用于在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大；如前所述，上述最优路径确定模块可以采用图4和图5所述的方法确定最优路径；以及

排序结果输出模块，用于按照最优路径从初始阶段到目的状态上各个状态节点的顺序输出SVC分层码流。

此外，上述Raptor编码单元内部包括：

RS编码模块，用于分别对打包后每层的信源矩阵块进行RS编码，得到m个数据包；

LT编码度确定模块，用于确定LT编码的度d；以及

LT编码模块，用于根据确定的LT编码的度d对上述m个数据包进行LT编码，得到n个数据包。

如前所述，本发明实施例所述的可分级视频优先级传输装置根据SVC分层码流的层次化特色，首先对SVC分层码流进行优先级排序，然后再对排序后的SVC分层码流进行打包以及Raptor编码，解决了可分级视频码流优化选择以及传输的问题，并且可以最终提高可分级视频码流重建图像的质量。

由于本发明实施例所述的可分级视频优先级传输装置在对SVC分层码流进行优先级排序时充分考虑在单个GOP内不同的空域、时域以及质量域分层码流的率失真性能，因此，使得优先级排序结果更加合理，进而提高了SVC分层码流的率失真性能。另外，本发明实施例所述的可分级视频优先级传输装置在进行LT编码时可以自适应选择LT编码的度的取值范围，这一方面可以大大降低了LT编码的复杂度，另一方面还可以大大提高可分级视频接收端的成功译码率。

下面将通过仿真详细说明本发明实施例所述方法的技术效果。表2显示了仿真模型的参数。

表2

图9至图12分别显示了对领班（Foreman）、足球（Football）、城市（City）以及海港（Harbour）四种可分级视频序列采用默认排序方法、基于质量层的优先排序方法以及本发明实施例提出的优先级排序方法的率失真性能。其中，带正方形的曲线代表采用默认排序方法的率失真性能；带菱形的曲线代表采用基于质量层的优先排序方法的率失真性能；带圆形的曲线代表本发明实施例提出的优先级排序方法的率失真性能。

从图9至图12可以看出，当码率较低时，在全部序列的仿真结果中，本发明实施例提出的优先级排序方法的率失真性能明显好于其它两种方法。而当码率较高时，本发明实施例所述排序方法的率失真性能仍然好于另外两种算法。

表3列出了采用上述三种排序方法对不同分辨率和码率的视频序列进行优先级排序后得到的平均PSNR。从表2可以看出，本发明实施例提出的优先级排序方法在不同的码率下的性能都最好。其中，在码率较低的CIF序列Foreman中，本发明实施例提出的优先级排序方法的平均PSNR相对于默认排序方法以及率失真优先排序方法都提高了8.21dB；在码率较高的CIF序列Football中，本发明实施例提出的优先级排序方法的平均PSNR性能提高了6.41dB；在低码率4CIF序列City中，本发明实施例提出的优先级排序方法的平均PSNR相对于默认排序方法以及率失真优先排序方法分别提高3.28dB和2.83dB；在高码率的4CIF序列Harbour中，本发明实施例提出的优先级排序方法的平均PSNR相对于默认排序方法以及率失真优先排序方法分别提高了1.94dB和1.64dB。

表3

图13显示了不同的丢包率和信源数据包数N下采用标准LT编码方式（称为SLT）以及本发明实施例提出的自适应选择度的LT编码方式（称为ALT）时可分级视频接收端的成功译码率（SDR）。在图13中，发送数据包冗余为25%，带正方形和圆形的曲线分别为N为576采用SLT以及ALT时可分级视频接收端的SDR，带正三角形和倒三角形的曲线分别为N为1278采用SLT以及ALT时可分级视频接收端的SDR。由图13可知，N取不同值时，ALT的SDR值明显好于SLT的结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种可分级视频优先级传输方法，其特征在于，包括： 

对可分级视频每个画面组GOP经过分级视频编码SVC后的分层码流进行优先级排序； 

对排序后的SVC分层码流进行打包以及Raptor编码，并通过传输信道将编码后的可分级视频码流发送到可分级视频的接收端；其中， 

所述Raptor编码包括： 

分别对排序并打包后每层的信源矩阵块进行RS编码并交织，得到m个数据包； 

确定LT编码的度；以及 

根据确定的LT编码的度，对m个数据包进行LT编码，得到n个数据包。 

2.根据权利要求1所述的方法，其特征在于，对SVC分层码流进行优先级排序包括： 

定义排序路径上的所有可能节点为状态节点，每个状态节点对应于一定的(s,t,q)特性，其中，s，t和q分别表示空域、时域和质量域的分辨率特性； 

根据s，t和q增长的步长不同，将所有的状态节点划分成不同的阶段，其中，具有相同增长步长的状态节点处于相同的阶段； 

分别根据每个状态节点的码率及其对应的峰值信噪比PSNR计算每个状态节点的排序因子； 

在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大；以及 

按照最优路径从初始阶段到目的阶段上各个状态节点的顺序输出SVC分层码流。 

3.根据权利要求2所述的方法，其特征在于，根据如下公式计算每个节点的排序因子： 

其中，g_j表示第j个阶段，t_i(g_j)表示第j个阶段中的第i个状态节点，t(g₀)表示初始阶段的初始状态节点，t(g_K-1)表示目的阶段的目的状态节点， 

表示状态节点t_i(g_j)的PSNR，

表示状态节点t_i(g_j)的码率，表示初始状态节点t(g₀)的PSNR，

表示初始状态节点t(g₀)的码率， 

表示目的状态节点t(g_K-1)的PSNR，

表示目的状态节点t(g_K-1)的码率，O_i(g_j)表示状态节点t_i(g_j)的排序因子，K代表阶段的总数。 

4.根据权利要求2所述的方法，其特征在于，所述在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括： 

根据如下公式计算从初始阶段到目的阶段的状态节点可能构成的所有路径上各个状态节点的排序因子的加权和： 

其中，S_x代表从初始阶段到目的阶段的状态节点可能构成的所有路径中的第x条路径上各个节点状态节点的排序因子的加权和；O(g_j)代表该第x条路径在第j阶段上状态节点的排序因子；ω_j为第j阶段的加权因子，0＜ω_j＜1，0≤j≤K-1； 

将具有最大排序因子加权和的路径作为最优路径。 

5.根据权利要求2所述的方法，其特征在于，所述在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括： 

A0，选择初始阶段的初始状态节点作为起始点，并将节点标识j设置为0，将初始阶段的排序因子加权和S₀(t)设置为0，将初始节点的最佳路径状态节点集合初始化为初始状态节点； 

A1，采用如下公式计算第j阶段中各个状态节点的排序因子加权和S_j(t_i)以及分别记录从初始阶段到第j阶段中各个状态节点的最佳路径的状态节点集合： 

M_j(t_i)＝{M_j-1(t_k),t_i} 

其中，S_j(t_i)代表第j阶段上第i个状态节点t_i的排序因子加权和；S_j-1(t_k)代表第j-1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上第i个状态节点t_i的排序因子；M_j(t_i)代表第j阶段上第i个状态节点t_i的最佳路径的状态节点集合；M_j-1(t_k)为第j-1阶段上与状态节点t_i相连的各个状态节点中排序因子加权和的最大值对应的状态节点的最佳路径的状态节点集合； 

A2，令j=j+1，判断j是否等于K-1，如果是，则将目的状态节点的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径；否则，返回A1。 

6.根据权利要求2所述的方法，其特征在于，所述在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径包括： 

a0，选择目的阶段的目的状态节点作为起始点，并将节点标识j设置为K-2，将初始阶段的排序因子加权和T_K-1(t)设置为0，将初始节点的最佳路径状态节点集合初始化为目的状态节点； 

a1，采用如下公式计算计算第j阶段中各个状态节点到目的阶段的排序因子加权和T_j(t_i)以及分别记录从第j阶段中各个状态节点到目的阶段的最佳路径的状态节点集合： 

M_j(t_i)＝{t_i,M_j+1(t_k)} 

其中，T_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的排序因子加权和；T_j+1(t_k)代表第j+1阶段上与状态节点t_i相连接的第k个状态节点t_k的排序因子加权和；ω_j代表第j阶段的加权因子；O_i(g_j)代表第j阶段上上第i个状态节点t_i的排序因子；M_j(t_i)代表第j阶段上第i个状态节点t_i到目的阶段的最佳路径的状态节点集合；M_j+1(t_k)为第j+1阶段上与状态节点t_i相连的各 个状态节点到目的阶段排序因子加权和中最大值对应的状态节点到目的阶段的最佳路径的状态节点集合； 

a2，令j=j-1，判断j是否等于0，如果是，则将初始状态节点到目的阶段的最佳路径的状态节点集合中各个状态节点组成的路径作为最佳路径；否则，返回a1。 

7.根据权利要求4，5或6所述的方法，其特征在于，第j阶段的加权因子ω_j为ω^j+1，其中，0＜ω＜1，0≤j≤K-1。 

8.根据权利要求2所述的方法，其特征在于，若最优路径多于一条，则进一步包括： 

增加每个阶段的加权因子的值，并重新在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径。 

9.根据权利要求1所述的方法，其特征在于，所述确定LT编码的度包括：在

的范围内选择度d的值，其中，θ为度分布函数参数，当度分布函数为Robust-Soliton函数时，

其中，常数c＞0，δ为可允许的失败译码概率。 

10.根据权利要求1所述的方法，其特征在于，所述确定LT编码的度包括： 

建立m的取值范围与度d的最佳取值范围的对应关系； 

根据m的值确定度d的最佳取值范围；以及 

在度d的最佳取值范围内随机选择一个整数作为LT编码的度d。 

11.一种可分级视频优先级传输装置，其特征在于，包括： 

分级视频编码SVC单元，用于对可分级视频每个画面组GOP进行SVC编码； 

优先级排序单元，用于对SVC编码后的SVC分层码流进行优先级排序； 

打包单元，用于对排序后的SVC分层码流进行打包；以及 

Raptor编码单元，用于对打包后的SVC分层码流进行Raptor编码，并 通过传输信道发送到可分级视频的接收端；其中， 

所述Raptor编码单元包括： 

RS编码模块，用于分别对打包后每层的信源矩阵块进行RS编码，得到m个数据包； 

LT编码度确定模块，用于确定LT编码的度；以及 

LT编码模块，用于根据确定的LT编码的度对上述m个数据包进行LT编码，得到n个数据包。 

12.根据权利要求11所述的装置，其特征在于，所述优先级排序单元包括： 

阶段划分模块，用于定义排序路径上的所有可能节点为状态节点，每个状态节点对应于一定的(s,t,q)特性，并根据s,t和q增长的步长不同，将所有的状态节点划分成不同的阶段，其中，s，t和q分别表示空域、时域和质量域的分辨率特性，且具有相同增长步长的状态节点处于相同的阶段； 

排序因子确定模块，用于分别根据每个状态节点的码率及其对应的峰值信噪比PSNR计算每个状态节点的排序因子； 

最优路径确定模块，用于在从初始阶段到目的阶段的状态节点可能构成的所有路径中确定最优路径，其中，最优路径上各个状态节点的排序因子的加权和最大；以及 

排序结果输出模块，用于按照最优路径从初始阶段到目的状态上各个状态节点的顺序输出SVC分层码流。 

Images