CN101674482B - 部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法 - Google Patents

Abstract

本发明公开了一种部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法，该方法针对无线广播下的环境进行简化，在用户状态不确定或部分可观测条件下，对可伸缩视频流进行调度，采用部分可观测马尔可夫决策过程建立数据包调度优化模型，它包括状态集合、行动集合、状态转移函数、报酬函数、观察集合、观察概率，给出调度过程，其步骤：(1)假设一个无线广播传输环境模型；(2)对可伸缩视频流的每一帧数据分为层，每层打包为一个数据包，每一帧的数据包集合记为，设立数据包调度优化模型；(3)对可伸缩视频流优化调度。该方法建立可伸缩视频流的数据包调度优化模型，能提高视频流的平均PSNR值，以实现用户整体视频接收质量最佳化。

Description

部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法

技术领域

本发明涉及的是一种部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法。

背景技术

伴随视频编码与通信技术的飞速发展，在无线网络上传输视频流已经成为多媒体应用的一个非常重要的发展方向。基于H.264/AVC的可伸缩扩展标准(Scalable Video Coding，SVC)于2007年正式形成，它实现了单一码流同时在时间、空间和质量多维尺度上的可伸缩性。在无线网络中传输可伸缩视频流，异构用户根据信道实时状况和接收能力得到同一内容在不同尺度组合下的视频图像，可以进一步提高传输可靠性和接收质量。

数据包调度是可伸缩视频流传输中的一个关键问题，调度策略的优异将直接影响用户整体接收质量以及网络资源的合理利用。传统的调度算法包括排序优先型(sorted-priority)和帧结构型(framed-based)两大类都是基于公平性的调度原则，要求节点必须公平地为每个视频流提供服务，链路带宽必须在不同的视频流之间进行公平分配。然而，可伸缩视频流不同层次码流之间存在严格的隶属依赖关系，公平性调度方法无法实现视频流的最优化质量接收。Dong Nguyen等人探讨了在无线单播和广播环境下，AP(无线接入点)进行通讯等数据交换操作，采用马尔可夫决策过程(Markov decision process，MDP)进行数据包优化调度，随后提出了基于随机网络编码的调度算法。两种算法均假设用户的状态信息是完全可知的，在现实世界中难以实现。S.H.Kang提出了一种基于数据包优先级的调度算法，仅仅考虑了数据包的不同重要性，而忽略了调度性能的整体优化问题。对于系统状态信息部分可知的情况，Dihong Tian等人提出了点对点通信模型下的数据包调度策略。对于多描述编码视频流，Ali C.Begen等人提出了多点对单点的数据包调度算法。

发明内容

本发明的目的是针对现有技术存在的不足，提供一种部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法，该方法能提高视频流的平均PSNR值，进而以实现用户整体视频接收质量的最佳化。

为达到上述目的，本发明的构思是：上述部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法，针对无线广播下的环境进行假设简化，在用户状态不确定或部分可观测的条件下，对可伸缩视频流进行调度，采用部分可观测马尔可夫决策过程建立数据包调度优化模型，该模型包括状态集合、行动集合、状态转移概率、报酬函数、观察集合、观察概率，给出具体调度过程，其步骤如下：

(1)、假设一个无线广播传输环境模型，其具体如下：

(1-1)、AP需要将视频流发送给M个接收者r¹，r²，…，r^M；

(1-2)、AP需要在N个时隙内将L个包的集合L＝{l₁，l₂，…，l_L}发送给接收者；

(1-3)、每一帧数据(L个包)的最大发送时间均为N个时隙。N个时隙结束之后，AP转向下一帧数据的发送；

(1-4)、AP转发1个数据包的时间是一个时隙；

(1-5)、假设无线信道的丢包率服从参数为p_i的伯努利分布，

(2)、分别对可伸缩视频流的每一帧数据分为L层，每层打包为一个数据包，每一帧的数据包集合记为L＝{l₁，l₂，…，l_L}，设立数据包调度优化模型，它包括如下：

(2-1)、状态集合

在任一给定的时间节点，假设接收者r^m收到了若干数据包，它是L的一个子集。该子集可以用L位矢量表示，即(b₁ ^m，b₂ ^m，…，b_L ^m)^T，其中b∈{0，1}。b_i＝1表示r^m拥有数据包l_i，否则b_i＝0。共有M个接收者，系统的状态s用一个矩阵来表示： $s=\left(\begin{array}{cccc}{b}_1^1& b_1^2& \·\·\·& b_1^M\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ b_L^1& b_L^2& \·\·\·& b_L^M\end{array}\right),$ 系统一共有2^M×L个状态。

$S=\{s_1,s_2,\·\·\·,s_{2^{M\×L}}\}$ 表示M个用户拥有的数据包的状态集合， $b=[p_1,p_2,\·\·\·,p_{2^{M\×L}}]$ 表示对应状态的概率分布 $\underset{i=1}{\overset{2^{M\×L}}{\mathrm{\Σ}}}{p}_i=1.$

(2-2)、行动集合

A＝{a₁，a₂，…，a_L}表示M个用户拥有的数据包的行动集合，在每一个时隙内AP选择一个需要发送的数据包，a_l表示“发送第l个数据包”；

(2-3)、状态转移概率

在给定参数为p_i的伯努利丢包模型下，直接计算出状态转移概率P(s_t+1＝s′|s_t＝s，a_t＝a)。例如，发送两个包到两个接收者，M＝2，L＝2。假设 $s=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right),$ $s^{\′}=\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right).$ 在t时刻，系统处在s状态，即r¹拥有数据包l₁，r²拥有数据包l₂。此时，AP选择行动a₁＝“发送l₁”，那么转移到状态s′的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝0；如果选择行动a₂＝“发送l₂”，那么转移到的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝1-p₁。

(2-4)、报酬函数

报酬的选择必须使每一时间节点下的瞬时报酬r(s，a)的总和能准确地反应既定目标——视频流质量的最优化。把接收者接收到每一个特定数据包所减少的失真作为瞬时报酬，视频质量最优等价于所有M个用户的视频失真总和最小。

事实上，在状态s下采取行动a后，并不会提供一个很明确的瞬时报酬。但是，可以很明确地知道当系统从s转移到s′后的回报值。举例来说，给定一个SVC分层视频流，并且接收到每一层后相应的失真减少值已经给出。如果状态s表示一个接收者拥有第一层和第二层视频流，状态s′表示接收者拥有第一层、第二层和第三层视频流，则从状态s转移到s′的瞬时报酬值是r(s′，s)，该值等于第三层贡献的失真减少值。采取行动a后的状态转移概率已知，瞬时报酬r(s，a)可以通过下式计算

$r(s,a)=\underset{j\∈S}{\mathrm{\Σ}}P\left(j\right|s,a)r(j,s).$

(2-5)、观察集合

O表示AP能观察到的观察集合，O＝{ACK，NAK}，o(t)＝{o₁(t)，o₂(t)，…，o_M(t)}表示在t时刻M个用户的联合观察，o_i(t)∈{ACK，NAK}，其中

ACK：确认收到数据包的反馈

NAK：没有收到数据包的反馈

(2-6)、观察概率

由于观察结果的不确定性，观察结果o在状态s下采取行动a后，用一个条件概率函数Z(s，a，o)＝pr(o|s，a)来给出。

(3)、对可伸缩视频流优化调度

一个H帧的视频流，每一帧由L层组成，每一层打成一个包，假设初始信念状态为

设定第2^M×L个状态为所有接收者成功接收到所有数据包的目标状态，针对某一帧数据包的具体调度步骤如下：

(3-1)、部分可观测马尔可夫决策过程参数输入：初始信念状态 $b^{t_0}=[p_1^{t_0},p_2^{t_0},\·\·\·,p_{2^{M\×L}}^{t_0}];$

(3-2)、选择需要发送的数据包：在每一个时隙内AP通过下式选择需要发送的最优数据包，

${\mathrm{\Π}}_1(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\arg \max }\left\{R_1^1\right[k|s_i,b_0,t_0]+R_1^2\left[k\right|s_i,b_0,t_0]+\·\·\·R_1^M[k|s_i,b_0,t_0]\}$

其中∏₁(b₀，t₀)表示一步部分可观测马尔可夫决策过程需要发送的最优数据包；R₁ ^m[k|s_i，b₀，t₀]表示t₀时刻在初始信念为b₀的情况下，发送第k个数据包后第m个用户获得的一步失真减少；Ω(t)表示在t时刻需要发送的数据包的集合，初始时刻的Ω(t₀)＝{1，2，…，L}；

(3-3)、信念状态更新一次：每发送一个数据包，进行一次联合观察o，o(t)＝{o₁(t)，o₂(t)，…，o_M(t)}，其中o_i(t)∈{ACK，NAK}，系统发生状态转移，从状态s_i转移到状态s_j，根据接收到的反馈的不同，s_j的取值一共有2^M种情况，即 的一次更新过程如下：

(3-3-1)、

$\left\{\begin{array}{c}{p}_i^{t_1}=p_i^{t_0}\\ p_{j^{00\·\·\·01}}^{t_1}=p_{j^{00\·\·\·01}}^{t_0}\\ \·\\ \·\\ \·\\ p_{j^{11\·\·\·11}}^{t_1}=p_{j^{11\·\·\·11}}^{t_0}\end{array}\right.$

(3-3-2)、

$\left\{\begin{array}{c}{p}_i^{t_1}=0\\ p_{j^{00\·\·\·01}}^{t_1}=p_{j^{00\·\·\·01}}^{t_0}+p_i^{t_0}\\ \·\\ \·\\ \·\\ p_{j^{11\·\·\·11}}^{t_1}=p_{j^{11\·\·\·11}}^{t_0}\end{array}\right.$

(3-3-2^M)、

$\left\{\begin{array}{c}{p}_i^{t_1}=0\\ p_{j^{00\·\·\·01}}^{t_1}=p_{j^{00\·\·\·01}}^{t_0}\\ \·\\ \·\\ \·\\ p_{j^{11\·\·\·11}}^{t_1}=p_{j^{11\·\·\·11}}^{t_0}+p_i^{t_0}\end{array}\right.$

收益值为：

$H_1(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\max }\left\{R_1^1\right[k|s_i,b_0,t_0]+R_1^2\left[k\right|s_i,b_0,t_0]+\·\·\·R_1^M[k|s_i,b_0,t_0]\},$

H₁(b₀，t₀)表示一步部分可观测马尔可夫决策过程的收益值。每发送一次，概率更新一次，状态的确定度越来越大；

(3-4)、判断发送时隙n是否大于最大发送时隙数N，若大于，则转移到下一帧的数据包进行发送；否则接着发送此帧的数据包。经过n步后，部分可观测马尔可夫决策过程的最大失真减少及其最优策略分别如下：

$H_n(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\max }\left\{R_n^1\right[k|s_i,b_0,t_0]+R_n^2\left[k\right|s_i,b_0,t_0]+\·\·\·R_n^M[k|s_i,b_0,t_0]\}$

${\mathrm{\Π}}_n(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\arg \max }\left\{R_n^1\right[k|s_i,b_0,t_0]+R_n^2\left[k\right|s_i,b_0,t_0]+\·\·\·R_n^M[k|s_i,b_0,t_0]\}$

经过N个时隙后，转移到下一帧数据包的调度，直至H帧的视频流的数据包调度完成。

本发明的部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法与现有技术相比较具有的优点是：该方法在用户状态不确定或部分可观测条件下，建立了可伸缩视频流的数据包调度优化模型。仿真结果表明随着丢包率以及调度规模的增大，该方法逐渐逼近最优化调度算法——MDP算法；而与传统的调度算法FIFO和RR相比，能提高视频流的平均PSNR值，以实现用户整体视频接收质量的最佳化。

附图说明

图1本发明针对多个用户的无线广播模型的示意图；

图2(a)本发明丢包率对“Bus”序列与其它算法比较的平均PSNR示意图；

图2(b)本发明丢包率对“Foreman”序列与其它算法比较的平均PSNR示意图；

图3(a)本发明发送时隙对“Bus”序列与其它算法比较的平均PSNR示意图；

图3(b)本发明发送时隙对“Foreman”序列与其它算法比较的平均PSNR示意图；

图4(a)本发明用户数目对“Bus”序列与其它算法比较的平均PSNR示意图；

图4(b)本发明用户数目对“Foreman”序列与其它算法比较的平均PSNR示意图；

图5本发明所述方法针对某一帧数据包的核心模块流程框图。

具体实施方式

以下结合附图对本发明的实施例作进一步的详细说明。

下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为前提下进行实施，给出了详细的实施方式，但本发明的保护范围不限于下述的实施例。

如图1所示，上述部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法，其具体步骤如下：

(1)、假设一个无线广播模型，其具体如下

(1-1)、AP需要将视频流发送给2个接收者r¹，r²；

(1-2)、AP需要在N个时隙内将L个包的集合L＝{l₁，l₂，…，l_L}发送给接收者；

(1-3)、每一帧数据(L个包)的最大发送时间均为N个时隙。N个时隙结束之后，AP转向下一帧数据的发送；

(1-4)、AP转发1个数据包的时间是一个时隙；

(1-5)、假设无线信道的丢包率服从参数为p_i的伯努利分布。

(2)、对2个用户的可伸缩视频流的每一帧数据分为L层，每层打包为一个数据包，一帧的数据包集合记为L＝{l₁，l₂，…，l_L}，其部分可观测马尔可夫决策过程的数据包调度优化模型定义如下：

(2-1)、状态集合

在任一给定的时间节点，假设接收者r^m已经收到了若干数据包，它是L的一个子集。

该子集可以用L位矢量表示，即(b₁ ^m，b₂ ^m，…，b_L ^m)^T，其中b∈{0，1}。b_i＝1表示r^m拥有数据包l_i，否则b_i＝0。只有2个接收者，系统的状态s用一个矩阵来表示： $s=\left(\begin{array}{cc}{b}_1^1& b_1^2\\ \·& \·\\ \·& \·\\ \·& \·\\ b_L^1& b_L^2\end{array}\right),$ 系统一共有2^2L个状态。

$S=\{s_1,s_2,\·\·\·,s_{2^{2L}}\}$ 表示r¹，r²拥有的数据包的状态集合， $b=[p_1,p_2,\·\·\·,p_{2^{2L}}]$ 表示对应状态的概率分布， $\underset{i=1}{\overset{2^{2L}}{\mathrm{\Σ}}}{p}_i=1.$

(2-2)、行动集合

A＝{a₁，a₂，…，a_L}表示r¹，r²拥有的数据包的行动集合，在每一个时隙内AP选择一个需要发送的数据包，a_l表示“发送第l个数据包”。

(2-3)、状态转移概率

在给定参数为p_i的伯努利丢包模型下，可以直接计算出状态转移概率P(s_t+1＝s′|s_t＝s，a_t＝a)。例如，发送两个数据包到两个接收者，M＝2，L＝2。假设 $s=\left(\begin{array}{cc}1& 0\\ 0& 1\end{array}\right),$ $s^{\′}=\left(\begin{array}{cc}1& 0\\ 1& 1\end{array}\right).$ 在t时刻，系统处在s状态，即r¹拥有数据包l₁，r²拥有数据包l₂。此时，AP选择行动a₁＝“发送l₁”，那么转移到状态s′的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝0；如果选择行动a₂＝“发送l₂”，那么转移到的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝1-p₁。

(2-4)、报酬函数

报酬函数的选择必须使每一时间节点下的瞬时报酬r(s，a)的总和能准确地反应既定目标——视频流质量的最优化，可以把接收者接收到每一个特定数据包所减少的失真作为瞬时报酬。视频质量最优就等价于两个用户的视频失真总和最小。

事实上，在状态s下采取行动a后，并不会提供一个很明确的瞬时报酬。但是，可以很明确地知道当系统从s转移到s′后的回报值。举例来说，给定一个SVC分层视频流，并且接收到每一层后相应的失真减少值已经给出。如果状态s表示一个接收者拥有第一层和第二层视频流，状态s′表示接收者拥有第一层、第二层和第三层视频流，则从状态s转移到s′的瞬时报酬值是r(s′，s)，该值等于第三层贡献的失真减少值。采取行动a后的状态转移概率已知，瞬时报酬r(s，a)可以通过下式计算

$r(s,a)=\underset{j\∈S}{\mathrm{\Σ}}P\left(j\right|s,a)r(j,s).$

(2-5)、观察集合

O表示AP能观察到的观察集合，O＝{ACK，NAK}，o(t)＝{o¹(t)，o²(t)}表示在t时刻2个用户的联合观察，oⁱ(t)∈{ACK，NAK}，其中

ACK：确认收到数据包的feedback

NAK：没有收到数据包的feedback

(2-6)、观察概率

由于观察结果的不确定性，观察结果o在状态s下采取行动a后，用一个条件概率函数Z(s，a，o)＝pr(o|s，a)来给出。

(3)、可伸缩视频流的优化调度，如图5所示，一个H帧的视频流，每一帧由L层组成，每一层打成一个包，假设初始信念状态为

设定第2^2L个状态为所有接收者成功接收到所有数据包的目标状态，针对某一帧的数据包具体调度步骤如下：

(3-1)、部分可观测马尔可夫决策过程参数输入：初始信念状态 $b^{t_0}=[p_1^{t_0},p_2^{t_0},\·\·\·,p_{2^{2L}}^{t_0}];$

(3-2)、选择需要发送的数据包：在每一个时隙内AP通过下式选择需要发送的数据包，

${\mathrm{\Π}}_1(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\arg \max }\left\{R_1^1\right[k|s_i,b_0,t_0]+R_1^2\left[k\right|s_i,b_0,t_0\left]\right\}$

其中∏₁(b₀，t₀)表示一步部分可观测马尔可夫决策过程需要发送的最优数据包；R₁ ^m[k|s_i，b₀，t₀]表示t₀时刻在初始信念为b₀的情况下，发送第k个数据包后第m个用户获得的一步失真减少；Ω(t)表示在t时刻需要发送的数据包的集合，初始时刻的Ω(t₀)＝{1，2，…，L}；

(3-3)、信念状态更新一次：每发送一个数据包，进行一次联合观察o，o(t)＝{o₁(t)，o₂(t)}，其中o_i(t)∈{ACK，NAK}，系统发生状态转移，从状态s_i转移到状态s_j，根据接收到的反馈的不同，s_j的取值一共有4种情况，即 $s_j=\{s_i,s_j^{10},s_j^{01},s_j^{11}\},$ 各个元素的含义如下：

s_i：r¹和r²都没有收到第k层数据包

s_j ⁰¹：r¹收到第k层数据包，r²没收到

s_j ¹⁰：r²收到第k层数据包，r¹没收到

s_j ¹¹：r¹和r²都收到第k层数据包

的一次更新过程如下：

(3-3-1)、o＝{NAK，NAK}

$\left\{\begin{array}{c}{p}_i^{t_1}=p_i^{t_0}\\ p_{j^{10}}^{t_1}=p_{j^{10}}^{t_0}\\ p_{j^{01}}^{t_1}=p_{j^{01}}^{t_0}\\ p_{j^{11}}^{t_1}=p_{j^{11}}^{t_0}\end{array}\right.$

(3-3-2)、o＝{NAK，ACK}

$\left\{\begin{array}{c}{p}_i^{t_1}=0\\ p_{j^{10}}^{t_1}=p_{j^{10}}^{t_0}\\ p_{j^{01}}^{t_1}=p_{j^{01}}^{t_0}+p_i^{t_0}\\ p_{j^{11}}^{t_1}=p_{j^{11}}^{t_0}\end{array}\right.$

(3-3-3)、o＝{ACK，NAK}

$\left\{\begin{array}{c}{p}_i^{t_1}=0\\ p_{j^{10}}^{t_1}=p_{j^{10}}^{t_0}+p_i^{t_0}\\ p_{j^{01}}^{t_1}=p_{j^{01}}^{t_0}\\ p_{j^{11}}^{t_1}=p_{j^{11}}^{t_0}\end{array}\right.$

(3-3-4)、o＝{ACK，ACK}

$\left\{\begin{array}{c}{p}_i^{t_1}=0\\ p_{j^{10}}^{t_1}=p_{j^{10}}^{t_0}\\ p_{j^{01}}^{t_1}=p_{j^{01}}^{t_0}\\ p_{j^{11}}^{t_1}=p_{j^{11}}^{t_0}+p_i^{t_0}\end{array}\right.$

收益值为：

$H_1(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\max }\left\{R_1^1\right[k|s_i,b_0,t_0]+R_1^2\left[k\right|s_i,b_0,t_0\left]\right\}$

H₁(b₀，t₀)表示一步的部分可观测马尔可夫决策过程收益值。每发送一次，概率更新一次，状态的确定度越来越大；

(3-4)、判断发送时隙n是否大于最大发送时隙数N，若大于，则转移到下一帧的数据包进行发送；否则接着发送此帧的数据包。经过n步后，部分可观测马尔可夫决策过程的最大失真减少及其最优策略分别如下：

$H_n(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\max }\left\{R_n^1\right[k|s_i,b_0,t_0]+R_n^2\left[k\right|s_i,b_0,t_0\left]\right\}$

${\mathrm{\Π}}_n(b_0,t_0)=\underset{k\∈\mathrm{\Ω}\left(t_0\right)}{\arg \max }\left\{R_n^1\right[k|s_i,b_0,t_0]+R_n^2\left[k\right|s_i,b_0,t_0\left]\right\}$

经过N个时隙后转移到下一帧数据包的调度，直至H帧的视频流的数据包调度完成。

图2(a)、2(b)、3(a)、3(b)、4(a)、4(b)分别把部分可观测马尔可夫决策过程算法与在状态信息可知的最优化调度算法MDP算法、传统的FIFO算法，即只是简单的按照数据包到达的顺序进行发送，且每个数据包最多只有两次发送机会，以及轮询调度算法(Round Robin，RR)。假设初始信念

状态为，设定第2^M×L个状态为所有接收者成功接收到所有数据包的目标状态。图中方块符实线代表MDP算法的收益值的变化趋势，空心圆圈虚线代表部分可观测马尔可夫决策过程算法的变化趋势，五角星符双划线代表RR算法的变化趋势，菱形符点划线代表FIFO算法的变化趋势。图2(a)、2(b)只是针对两种不同的序列做了仿真，四个用户的丢包率相同，分别为p₁＝p₂＝p₃＝p₄＝0.2，0.3，0.5，0.6以及N＝3的情况下平均PSNR值的比较。从中可以看出随着丢包率的增加，部分可观测马尔可夫决策过程逐渐接近MDP，丢包率越大，接收者正确接收到数据包的概率越小，此时网络的吞吐量急剧减少，对数据包进行优化调度是十分关键的，而部分可观测马尔可夫决策过程和MDP都采用了优化调度，两者的差距越来越小；而与FIFO的差距越来越大，随着丢包率的增大，更加需要对数据包进行调度，而FIFO仍然按照数据包到达的顺序发送数据包。图3(a)、3(b)给出了发送时隙对平均PSNR值的影响。四个用户的丢包概率相同，即p₁＝p₂＝p₃＝p₄＝0.3，随着N的增加，部分可观测马尔可夫决策过程逐渐接近MDP，N越大，部分可观测马尔可夫决策过程中的状态的确定度也越来越大，两种算法越来越接近；而随着N的增大，接收者成功接收到数据包的概率增加，三种算法随着N的增加差距越来越小。图4(a)、4(b)给出了用户数目对平均PSNR值的影响。p₁＝0.3，p₂＝0.4，p₃＝0.5，p₄＝0.6，即从一个到四个用户的丢包概率是不同的，N＝3。从中可以看出随着丢包率、发送时隙和用户数目的增加，本算法逐渐逼近最优化的调度算法MDP，与传统的调度算法RR和FIFO相比，其PSNR值提高了大约1分贝。

Claims (1)

1.一种部分可观测马尔可夫决策过程中可伸缩视频流的优化调度方法，其特征在于，针对无线广播下的环境进行假设简化，在用户状态不确定或部分可观测的条件下，对可伸缩视频流进行调度，采用部分可观测马尔可夫决策过程建立数据包调度优化模型，该模型包括状态集合、行动集合、状态转移概率、报酬函数、观察集合、观察概率，给出具体的调度过程，其具体步骤如下：

(1)、假设一个无线广播传输环境模型，其具体为：

(1-1)、AP需要将视频流发送给M个接收者r¹，r²，…，r^M；

(1-2)、AP需要在N个时隙内将L个包的集合L＝{l₁，l₂，…，l_L}发送给接收者；

(1-3)、每一帧数据(L个包)的最大发送时间均为N个时隙，N个时隙结束之后，AP转向下一帧数据包的发送；

(1-4)、AP转发1个数据包的时间是一个时隙；

(1-5)、假设无线信道的丢包率服从参数为p_i的伯努利分布；

(2)、分别对可伸缩视频流的每一帧数据分为L层，每层打包为一个数据包，每一帧的数据包集合记为L＝{l₁，l₂，…，l_L}，设立数据包调度优化模型，具体步骤为：

(2-1)、状态集合：在任一给定的时间节点，假设接收者r^m收到了若干数据包，它是L的一个子集，该子集可以用L位矢量表示，即 

其中b∈{0，1}，b_i＝1表示r^m拥有数据包l_i，否则b_i＝0，共有M个接收者，系统的状态s用一个矩阵来表示： 

系统一共有2^M×L个状态，

表示M个用户拥有的数据包的状态集合， 

表示对应状态的概率分布 

(2-2)、行动集合：A＝{a₁，a₂，…，a_L}表示M个用户拥有的数据包的行动集合，在每一个时隙内AP选择一个需要发送的数据包，a_l表示“发送第l个数据包”；

(2-3)、状态转移概率：在给定参数为p_i的伯努利丢包模型下，可以直接计算出状态转移 概率P(s_t+1＝s′|s_t＝s，a_t＝a)，例如，发送两个包到两个接收者，M＝2，L＝2，假设 

在t时刻，系统处在s状态，即r¹拥有数据包l₁，r²拥有数据包l₂，此时，AP选择行动a₁＝“发送l₁”，那么转移到状态s′的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝0；如果选择行动a₂＝“发送l₂”，那么转移到的概率是P(s_t+1＝s′|s_t＝s，a_t＝a)＝1-p₁；

(2-4)、报酬函数：报酬函数的选择必须使每一时间节点下的瞬时报酬r(s，a)的总和能准确地反应既定目标——视频流质量的最优化，可以把接收者接收到每一个特定数据包所减少的失真作为瞬时报酬，视频质量最优等价于所有M个用户的视频失真总和最小；

采取行动a后的状态转移概率已知，瞬时报酬r(s，a)可以通过下式计算

；

(2-5)、观察集合：O表示AP能观察到的观察集合，O＝{ACK，NAK}，o(t)＝{o₁(t)，o₂(t)，…，o_M(t)}表示在t时刻M个用户的联合观察，oⁱ(t)∈{ACK，NAK}，其中

ACK：确认收到数据包的反馈；

NAK：没有收到数据包的反馈；

(2-6)、观察概率：观察结果的不确定性，观察结果o在状态s下采取行动a后，用一个条件概率函数Z(s，a，o)＝pr(o |s，a)来给出；

(3)、对可伸缩视频流优化调度：假设初始信念状态为： 

设定第2^M×L个状态为所有接收者成功接收到所有数据包的目标状态，针对某一帧数据包的具体调度步骤如下：

(3-1)、部分可观测马尔可夫决策过程的参数输入：初始信念状态 

(3-2)、选择需要发送的数据包：在每一个时隙内AP通过下式选择需要发送的数据包，

其中∏₁(b₀，t₀)表示一步部分可观测马尔可夫决策过程需要发送的最优数据包； 

表示t₀时刻在初始信念为b₀的情况下，发送第k个数据包后第m个用户获得的一步失真减少；Ω(t)表示在t时刻需要发送的数据包的集合，初始时刻的Ω(t₀)＝{1，2，…，L}；

(3-3)、信念状态更新一次：每发送一个数据包，进行一次联合观察o，o(t)＝{o₁(t)，o₂(t)，…，o_M(t)}，其中o_i(t)∈{ACK，NAK}，系统发生状态转移，从状态s_i转移到状态s_j，根据接收到的反馈的不同，s_j的取值一共有2^M种情况，即 

的一次更新过程如下：

收益值为：

H₁(b₀，t₀)表示一步部分可观测马尔可夫决策过程的收益值，每发送一次，概率更新一次，状态的确定度越来越大；

(3-4)、判断发送时隙n是否大于最大发送时隙数N，若大于，则转移到下一帧的数据包 进行发送；否则接着发送此帧的数据包。经过n步后，部分可观测马尔可夫决策过程的最大失真减少及其最优策略分别如下：

经过N个时隙后转移到下一帧数据包的调度，直至H帧的视频流的数据包调度完成。 

Images