CN107105438A - 一种基于QoS的数能一体传输策略设计方法 - Google Patents

一种基于QoS的数能一体传输策略设计方法 Download PDF

Info

Publication number
CN107105438A
CN107105438A CN201710261104.1A CN201710261104A CN107105438A CN 107105438 A CN107105438 A CN 107105438A CN 201710261104 A CN201710261104 A CN 201710261104A CN 107105438 A CN107105438 A CN 107105438A
Authority
CN
China
Prior art keywords
mrow
msub
msup
state
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710261104.1A
Other languages
English (en)
Other versions
CN107105438B (zh
Inventor
于秦
王伟东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CHENGDU RUIFENG INFORMATION TECHNOLOGY CO.,LTD.
Original Assignee
Chengdu Rui Feng Mdt Infotech Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Rui Feng Mdt Infotech Ltd filed Critical Chengdu Rui Feng Mdt Infotech Ltd
Priority to CN201710261104.1A priority Critical patent/CN107105438B/zh
Publication of CN107105438A publication Critical patent/CN107105438A/zh
Application granted granted Critical
Publication of CN107105438B publication Critical patent/CN107105438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W16/00—Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22—Traffic simulation tools or models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/06—Testing, supervising or monitoring using simulated traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H04W28/24—Negotiating SLA [Service Level Agreement]; Negotiating QoS [Quality of Service]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于QoS的数能一体传输策略设计方法，包括以下步骤：S1、确定网络通信模型，建立数能一体化网络中的上下行网络模型；S2、对网络通信模型影响决策的相关因素进行分析；S3、定义网络通信模型的状态空间和动作空间；S4、求解上行和下行数据队列的状态转移矩阵；S5、求解电池电量的状态转移矩阵；S6、求出系统的状态转移矩阵；S7、建立基于MDP的优化策略模型并求解该优化策略模型。本发明以保证一定的QoS为前提，基于马尔科夫决策过程建立了一个关于传输决策问题的决策类模型，采取适当的策略进行通信，设计出最优的数据和能量协同传输策略，以此达到系统吞吐量最大。

Description

一种基于QoS的数能一体传输策略设计方法
技术领域
本发明属于数能一体化通信网络技术领域，特别涉及一种基于QoS的数能一体传输策略设计方法。
背景技术
随着无线网络技术的快速发展和移动设备的数量急剧增加，如手机和可穿戴设备等的用户设备(UEs)产生了巨大的数据量。如何为这些设备的无线供能成为一个具有挑战性的问题。无线能量传输(Wireless Energy Transfer，WET)技术可以收集外在RF信号并通过电路设计将其转化为直流(Direct Current，DC)电路用于无线信息传输(WirelessInformation Transfer，WIT)，从而处理一些能量受限和不稳定网络的能量瓶颈问题。数能一体化通信网络(Data and energy integrated communication networks，DEINs)是一种能实现数据与能量协作传输的新型网络。在数能一体化网络中，能量和数据可以同时传输，亦可以通过传输能量信号为能量受限设备提供能量进行信息传输，延长网络寿命。
在实际的无线通信网络系统中，通信网络环境是复杂的。以一个通信接入点和节点为例，通常节点具有一定的移动性，即移动节点位置的概率性，通信接入点具备一定的覆盖范围，接入点和节点之间存在一个有效的通信距离，接入点和节点之间又会存在通信数据包的丢失，通信数据包到达与传输的概率性等等，这些因素均可直接影响到通信质量的好坏，故采取适当的策略进行通信，使得利益最大化，是数能一体化传输网络的优化方向。
发明内容
本发明的目的在于分析讨论数能一体化网络中数能协同传输策略问题，即上行传输数据、下行传输数据，或者下行传输能量。考虑一般的数能一体化网络场景，本发明基于马尔科夫决策过程，以系统吞吐量最大为优化目标，建立了关于数能协同传输决策优化模型，从而得到最有数能协同传输策略。本发明提供了分析数能一体化网络中数能系统传输策略设计的模型化分析框架。
本发明的目的是通过以下技术方案来实现的：一种基于QoS的数能一体传输策略设计方法，包括以下步骤：
S1、确定网络通信模型，建立数能一体化网络中的上下行网络模型；
S2、对网络通信模型影响决策的相关因素进行分析；
S3、定义网络通信模型的状态空间和动作空间；
S4、求解上行和下行数据队列的状态转移矩阵；
S5、求解电池电量的状态转移矩阵；
S6、求出系统的状态转移矩阵；
S7、建立基于MDP的优化策略模型并求解该优化策略模型。
进一步地，所述步骤S1具体实现方法为：设立一个通信接入点和移动节点，通信接入点下行传输数据或能量至移动节点；移动节点使用电池中的能量进行上行传输数据和下行接收数据：移动节点通过消耗能量将数据上行传输至通信接入点，或者移动节点发送供能请求至通信接入点；若接入点下行传输数据，两者则产生下行数据通信过程；若接入点下行传输能量，两者则产生下行能量传输过程；移动节点产生的数据，并消耗一定的能量将其上行传输到接入点，同时移动节点也可能会发送能量传输请求至接入点，请求接入点供给一定的能量至移动节点，而请求多少能量则是概率性的，当移动节点收到接入点的能量后，将能量存在自身的电池中，设电池的最大容量为E；通信接入点和移动节点的上行信道和下行信道均有数据通信的需求，通信接入点和移动节点分别存在一个有限的队列，用于存储待发送的数据，队列大小分别表示为Qd和Qu。
在数能一体化网络中，假设电池的能量仅仅来源于通信接入点下行信道传输的能量收集；若移动节点的电池电量为0，移动节点将自动的关机，就不能继续传输或接收数据；但是，为了本发明讨论简单起见，假设移动节点可以存储一点儿备用电量，当其电池电量为0时，移动节点仍然可以向接入点发送能量传输请求，请求进行能量供给，从而使得移动节点能够永远处于正常的运行状态；另外，本发明中所讨论的能量传输请求和接入点下行能量属于一个动作，可在一个时隙内完成。
进一步地，所述步骤S2具体包括以下子步骤：
S21、在该通信网络系统中，移动节点是具有移动性，即其概率性的改变位置；对移动节点移动性的考虑，规定一组移动节点位置的集合LS＝{0，1，...，l，...，L}，其中L表示位置的最大个数；移动节点在任何时间的位置l均在位置集合LS中，即l∈LS；移动节点在一个时隙内从位置l移动到位置l′的概率为P(Nl，l′)；设接入点的位置lA，其覆盖范围表示为LA；
S22、进行无线能量传输：若移动节点所在位置l∈LA，且决定向接入点请求传输能量，则移动节点在位置l收集到能量e的概率表示为P(El，e)，其中e∈{0，1，...，Ce}，Ce为传输能量的最大值；移动节点收集到能量e表示其电池电量储存增加e；
S23、计算数据包的到达和传输概率：对于上行数据队列和下行数据队列来说，若移动节点位于位置l，且存在m个数据包到达的概率分别表示为P(Ul，m)和P(Dl，m)；其中，m∈{0，1，...，Cm}，Cm为到达的最大数据包个数；若移动节点位置l处于接入点的覆盖范围之内，即l∈LA，并且通信系统决定移动节点上行传输数据至接入点，或者接入点下行传输数据至移动节点，其传输一个数据包的概率表示为P(Sl)；
S24、定义决策的主要参考因素QoS指标，包括吞吐量和数据包丢失率两类指标，其中吞吐量指的是上行传输和下行传输的吞吐量。
进一步地，所述步骤S3包括以下子步骤：
S31、定义通信系统的状态空间：
S＝{(L,E,Qd ,Qu )；L∈LS,E∈{0,1,...,E},Qd ∈{0,1,...,Qd},Qu ∈{0,1,...,Qu}}
其中：L表示移动节点移动位置的状态集合，E表示移动节点电池电量的状态集合，Qd 表示下行数据传输队列长度的状态集合，Qu 表示上行数据传输队列长度的状态集合；
通信系统某一时刻的系统状态组合表示为s＝(l,e,qd,qu)∈S，系统状态表达式中的l,e,qd,qu分别对应于状态集合中的随机变量L,E,Qd ,Qu ；
S32、定义通信系统的动作空间：若通信系统中移动节点的位置l在接入点的覆盖范围之内，即l∈LA，且移动节点的电池电量为正值，则两者可发生多种可能的通信过程；若在接入点的覆盖范围之内，但移动节点的电池电量为0，则两者只可能发生能量包通信过程；若不在接入点的覆盖范围之内，则不可能发生任何通信过程；故一般情况下，该系统模型的动作空间表示如下：
其中，“0”表示下行传输数据包通信过程，“1”表示上行传输数据包通信过程，“2”表示下行传输能量通信过程。
进一步地，所述步骤S4包括以下子步骤：
S41、对于上行数据队列，讨论不上行传输数据包，只有待上行传输的数据包到达的情况；考虑若系统中的移动节点位置l∈Ls\LA，即移动节点不在系统接入点的覆盖范围之内，或者在覆盖范围之内但动作为下行传输能量，则系统就不上行传输数据包，而只存在待上行传输的数据到达的情况；在这种情况下，上行数据队列长度的变化只存在增加的情况，直到队列长度增加到最大值，上行数据队列的状态转移矩阵表示如下：
其中，矩阵的每一行都表示上行数据队列的数据长度，即qd＝0,1,...,Qd；
S42、对于上行数据队列，讨论上行传输数据包，且有待上行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Ul表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
上式表示了队列状态转移受到数据传输概率和数据到达概率的影响，数据队列可以达到的最大长度即为该队列的最大有限长度Qd；
S43、对于下行数据队列的状态转移情况；设下行不传输数据包且有数据包到达情况下的状态转移矩阵为表示如下：
S44、对于下行数据队列，讨论下行传输数据包，且有待下行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Dl表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
进一步地，所述步骤S5包括以下子步骤：
S51、计算系统下行传输能量时的电池电量状态转移；考虑若移动节点的位置l∈LA，即其在系统的通信覆盖范围之内，系统判断决定移动节点向接入点申请能量需求，于是系统接入点通过下行信道传输能量至移动节点，然后移动节点使用能量收集的技术将能量储存至其电池中，电池电量增加。系统中电池电量状态的转移矩阵表示如下：
其中，状态转移矩阵的每一行表示移动节点电池电量的当前状态，每一列表示经过系统决策后移动节点电量的下一个状态；
S52、考虑系统上行传输数据时的电池电量状态转移；考虑若移动节点的位置l∈LA，即其在系统的通信覆盖范围之内，系统判断决定移动节点上行传输数据至通信接入点，上行传输数据消耗一定的能量，故电池电量减小，系统电池电量对应的状态转移矩阵如下：
S53、考虑系统下行传输数据时的电池电量状态转移；若系统中移动节点的位置l∈lA，且系统选择下行传输数据，同情况S52相同，亦会消耗电池的电量。该情况下的状态转移矩阵和状态转移矩阵El类似，用El′表示，只需将两个数据队列的状态转移矩阵替换成系统下行传输数据情况下的状态转移矩阵，即替换成系统下行传输数据时的电池电量状态转移矩阵为：
S54、考虑系统中移动节点在接入点的通信覆盖范围之外的电池电量状态转移；考虑若系统中移动节点的位置l∈Ls\LA，即移动节点在接入点的通信覆盖范围之外，此时移动节点和接入点不存在任何通信过程，系统中只存在移动节点的数据到达过程，电池的电量不会增加，也不会减少。用表示该情况下的状态转移矩阵，电池电量状态转移表示如下：
在该矩阵中，因为电池电量保持不变，故只有对角线元素不为0，其中亦包含了移动节点在接入点覆盖之外情况下上行数据队列和下行数据队列的状态融合矩阵。
由马尔科夫决策过程模型中的动作集合可知，系统的状态转移主要包含三种动作，即“0”，“1”和“2”；系统在某一个状态s时，转移的下一个状态s′的概率将会因为当前动作选择的不同而变化。所述步骤S6具体实现方法为：为了得到系统的状态转移概率，根据动作集合中的三种动作分三种情况进行讨论：
(1)动作“0”，即系统下行传输数据的通信过程，当系统下行传输数据时，设系统的状态转移矩阵为P(0)；若移动节点的位置l∈Ls\LA，即移动节点不在系统接入点的通信覆盖范围之内，系统的状态转移对应于步骤S54中的情况；若移动节点的位置l∈LA，即在系统接入点的通信覆盖范围之内，系统的状态转移对应于步骤S53中的情况；故系统的状态转移矩阵P(0)表示为：
(2)动作“1”，即系统上行传输数据的通信过程，设系统的状态转移矩阵为P(1)；若位置l∈LA，系统的状态转移对应于步骤S52中的情况；反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(1)表示为：
(3)动作“2”，即系统下行传输能量的通信过程，设系统的状态转移矩阵为P(2)；若位置l∈LA，系统的状态转移对应于步骤S51中的情况，反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(2)表示为：
进一步地，所述步骤S7包括以下子步骤：
S71、建立基于MDP的优化策略模型：
其中，λL,d(x)和λL,u(x)分别表示下行数据队列和上行数据队列的数据丢包率；fd(st′,at′)和fu(st′,at′)分别表示在时刻t′系统状态为st′∈S、at′∈A时的下行数据队列长度和上行数据队列长度吞吐量的瞬时值；δd和δu分别表示下行数据队列和上行数据队列的数据丢包率约束值；
S72、根据优化后的模型求解，将该问题对应到一个等价的线性规划问题，具体表示如下：
其中，ps,s′(a)为状态转移矩阵P(a)中的一个元素，表示系统选择动作a，状态s到状态s′转移概率；p(s,a)表示给定任意状态s采用动作a的概率；
令上述线性问题的最优解为p*(s,a)，于是系统的最优决策x*(s,a)为
若则x*(s,0)＝x*(s,1)＝0，x*(s,2)＝1，即系统将决定下行传输能量。
本发明的有益效果是：本发明以保证一定的QoS为前提，基于马尔科夫决策过程建立了一个关于传输决策问题的决策类模型，采取适当的策略进行通信，设计出最优的数据和能量协同传输策略，以此达到系统吞吐量最大，能够使得利益最大化，能够有效提高通信质量。
附图说明
图1为本发明的基于QoS的数能一体传输策略设计方法流程图；
图2为本发明的输能一体化网络模型结构示意图。
具体实施方式
下面结合附图进一步说明本发明的技术方案。
本发明的一种基于QoS的数能一体传输策略设计方法，由网络场景建立、系统模型分析和基于马尔科夫决策过程的建模三个部分组成。具体流程如图1所示，包括以下步骤：
S1、确定网络通信模型，建立数能一体化网络中的上下行网络模型；具体实现方法为：设立一个通信接入点和移动节点，通信接入点下行传输数据或能量至移动节点；移动节点使用电池中的能量进行上行传输数据和下行接收数据：移动节点通过消耗能量将数据上行传输至通信接入点，或者移动节点发送供能请求至通信接入点；若接入点下行传输数据，两者则产生下行数据通信过程；若接入点下行传输能量，两者则产生下行能量传输过程；移动节点产生的数据，并消耗一定的能量将其上行传输到接入点，同时移动节点也可能会发送能量传输请求至接入点，请求接入点供给一定的能量至移动节点，而请求多少能量则是概率性的，当移动节点收到接入点的能量后，将能量存在自身的电池中，设电池的最大容量为E；通信接入点和移动节点的上行信道和下行信道均有数据通信的需求，通信接入点和移动节点分别存在一个有限的队列，用于存储待发送的数据，队列大小分别表示为Qd和Qu。该网络通信模型中的上行数据传输和下行数据传输分别有不同的QoS需求，如图2所示。
在数能一体化网络中，假设电池的能量仅仅来源于通信接入点下行信道传输的能量收集；若移动节点的电池电量为0，移动节点将自动的关机，就不能继续传输或接收数据；但是，为了本发明讨论简单起见，假设移动节点可以存储一点儿备用电量，当其电池电量为0时，移动节点仍然可以向接入点发送能量传输请求，请求进行能量供给，从而使得移动节点能够永远处于正常的运行状态；另外，本发明中所讨论的能量传输请求和接入点下行能量属于一个动作，可在一个时隙内完成。
S2、对网络通信模型影响决策的相关因素进行分析；具体包括以下子步骤：
S21、在该通信网络系统中，移动节点是具有移动性，即其概率性的改变位置；对移动节点移动性的考虑，规定一组移动节点位置的集合LS＝{0，1，...，l，...，L}，其中L表示位置的最大个数；移动节点在任何时间的位置l均在位置集合LS中，即l∈LS；移动节点在一个时隙内从位置l移动到位置l′的概率为P(Nl，l′)；设接入点的位置lA，其覆盖范围表示为LA，在位置集合LS中有些位置在接入点的覆盖范围之内，有些则不在覆盖范围之内；
S22、进行无线能量传输：若移动节点所在位置l∈LA，且决定向接入点请求传输能量，则移动节点在位置l收集到能量e的概率表示为P(El，e)，其中e∈{0，1，...，Ce}，Ce为传输能量的最大值；忽略考虑收集能量转化效率的影响因素，移动节点收集到能量e表示其电池电量储存增加e；
S23、计算数据包的到达和传输概率：对于上行数据队列和下行数据队列来说，若移动节点位于位置l，且存在m个数据包到达的概率分别表示为P(Ul，m)和P(Dl，m)；其中，m∈{0，1，...，Cm}，Cm为到达的最大数据包个数；若移动节点位置l处于接入点的覆盖范围之内，即l∈LA，并且通信系统决定移动节点上行传输数据至接入点，或者接入点下行传输数据至移动节点，其传输一个数据包的概率表示为P(Sl)；
S24、定义决策的主要参考因素QoS指标；决策的最主要参考因素也正是满足相关的QoS指标；包括吞吐量和数据包丢失率两类指标，其中吞吐量指的是上行传输和下行传输的吞吐量，即系统在进行能量供应的前提下，又要保证相应的吞吐量。
S3、定义网络通信模型的状态空间和动作空间；包括以下子步骤：
S31、定义通信系统的状态空间：
S＝{(L,E,Qd ,Qu )；L∈LS,E∈{0,1,...,E},Qd ∈{0,1,...,Qd},Qu ∈{0,1,...,Qu}}
其中：L表示移动节点移动位置的状态集合，E表示移动节点电池电量的状态集合，Qd 表示下行数据传输队列长度的状态集合，Qu 表示上行数据传输队列长度的状态集合；
通信系统某一时刻的系统状态组合表示为s＝(l,e,qd,qu)∈S，系统状态表达式中的l,e,qd,qu分别对应于状态集合中的随机变量L,E,Qd ,Qu ；
S32、定义通信系统的动作空间：若通信系统中移动节点的位置l在接入点的覆盖范围之内，即l∈LA，且移动节点的电池电量为正值，则两者可发生多种可能的通信过程；若在接入点的覆盖范围之内，但移动节点的电池电量为0，则两者只可能发生能量包通信过程；若不在接入点的覆盖范围之内，则不可能发生任何通信过程；故一般情况下，该系统模型的动作空间表示如下：
其中，“0”表示下行传输数据包通信过程，“1”表示上行传输数据包通信过程，“2”表示下行传输能量通信过程。
S4、求解上行和下行数据队列的状态转移矩阵；包括以下子步骤：
S41、对于上行数据队列，讨论不上行传输数据包，只有待上行传输的数据包到达的情况；考虑若系统中的移动节点位置l∈Ls\LA，即移动节点不在系统接入点的覆盖范围之内，或者在覆盖范围之内但动作为下行传输能量，则系统就不上行传输数据包，而只存在待上行传输的数据到达的情况；在这种情况下，上行数据队列长度的变化只存在增加的情况，直到队列长度增加到最大值，上行数据队列的状态转移矩阵表示如下：
其中，矩阵的每一行都表示上行数据队列的数据长度，即qd＝0,1,...,Qd；
S42、对于上行数据队列，讨论上行传输数据包，且有待上行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Ul表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
上式表示了队列状态转移受到数据传输概率和数据到达概率的影响，数据队列可以达到的最大长度即为该队列的最大有限长度Qd；
S43、对于下行数据队列的状态转移情况；设下行不传输数据包且有数据包到达情况下的状态转移矩阵为 表示如下：
S44、对于下行数据队列，讨论下行传输数据包，且有待下行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Dl表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
S5、求解电池电量的状态转移矩阵；包括以下子步骤：
S51、计算系统下行传输能量时的电池电量状态转移；考虑若移动节点的位置l∈LA，即其在系统的通信覆盖范围之内，系统判断决定移动节点向接入点申请能量需求，于是系统接入点通过下行信道传输能量至移动节点，然后移动节点使用能量收集的技术将能量储存至其电池中，电池电量增加。系统中电池电量状态的转移矩阵表示如下：
其中，状态转移矩阵的每一行表示移动节点电池电量的当前状态，每一列表示经过系统决策后移动节点电量的下一个状态；
S52、考虑系统上行传输数据时的电池电量状态转移；考虑若移动节点的位置l∈LA，即其在系统的通信覆盖范围之内，系统判断决定移动节点上行传输数据至通信接入点，上行传输数据消耗一定的能量，故电池电量减小，系统电池电量对应的状态转移矩阵如下：
S53、考虑系统下行传输数据时的电池电量状态转移；若系统中移动节点的位置l∈LA，且系统选择下行传输数据，同情况S52相同，亦会消耗电池的电量。该情况下的状态转移矩阵和状态转移矩阵El类似，用El′表示，只需将两个数据队列的状态转移矩阵替换成系统下行传输数据情况下的状态转移矩阵，即替换成系统下行传输数据时的电池电量状态转移矩阵为：
S54、考虑系统中移动节点在接入点的通信覆盖范围之外的电池电量状态转移；考虑若系统中移动节点的位置l∈Ls\LA，即移动节点在接入点的通信覆盖范围之外，此时移动节点和接入点不存在任何通信过程，系统中只存在移动节点的数据到达过程，电池的电量不会增加，也不会减少。用表示该情况下的状态转移矩阵，电池电量状态转移表示如下：
在该矩阵中，因为电池电量保持不变，故只有对角线元素不为0，其中亦包含了移动节点在接入点覆盖之外情况下上行数据队列和下行数据队列的状态融合矩阵。
S6、求出系统的状态转移矩阵；具体实现方法为：由马尔科夫决策过程模型中的动作集合可知，系统的状态转移主要包含三种动作，即“0”，“1”和“2”；系统在某一个状态s时，转移的下一个状态s′的概率将会因为当前动作选择的不同而变化。为了得到系统的状态转移概率，根据动作集合中的三种动作分三种情况进行讨论：
(1)动作“0”，即系统下行传输数据的通信过程，当系统下行传输数据时，设系统的状态转移矩阵为P(0)；若移动节点的位置l∈Ls\LA，即移动节点不在系统接入点的通信覆盖范围之内，系统的状态转移对应于步骤S54中的情况；若移动节点的位置l∈LA，即在系统接入点的通信覆盖范围之内，系统的状态转移对应于步骤S53中的情况；故系统的状态转移矩阵P(0)表示为：
(2)动作“1”，即系统上行传输数据的通信过程，设系统的状态转移矩阵为P(1)，具体的分析过程以类似情况(1)，根据移动节点的位置是否在接入点的覆盖范围内，将位置因素与步骤S5讨论的状态转移矩阵进行融合；若位置l∈LA，系统的状态转移对应于步骤S52中的情况；反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(1)表示为：
(3)动作“2”，即系统下行传输能量的通信过程，设系统的状态转移矩阵为P(2)；具体分析情况均类似与情况(1)，这里不再赘述。若位置l∈LA，系统的状态转移对应于步骤S51中的情况，反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(2)表示为：
S7、建立基于MDP的优化策略模型并求解该优化策略模型；包括以下子步骤：
S71、建立基于MDP的优化策略模型：
其中，上述表达式中的两个约束条件分别表示下行和上行数据队列的数据丢包率约束；λL,d(x)和λL,u(x)分别表示下行数据队列和上行数据队列的数据丢包率；fd(st′,at′)和fu(st′,at′)分别表示在时刻t′系统状态为st′∈S、at′∈A时的下行数据队列长度和上行数据队列长度吞吐量的瞬时值；δd和δu分别表示下行数据队列和上行数据队列的数据丢包率约束值；
S72、根据优化后的模型求解，将该问题对应到一个等价的线性规划问题，具体表示如下：
其中，ps,s′(a)为状态转移矩阵P(a)中的一个元素，表示系统选择动作a，状态s到状态s′转移概率；p(s,a)表示给定任意状态s采用动作a的概率；
令上述线性问题的最优解为p*(s,a)，于是系统的最优决策x*(s,a)为
若则x*(s,0)＝x*(s,1)＝0，x*(s,2)＝1，即系统将决定下行传输能量。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (8)

1.一种基于QoS的数能一体传输策略设计方法，其特征在于，包括以下步骤：
S1、确定网络通信模型，建立数能一体化网络中的上下行网络模型；
S2、对网络通信模型影响决策的相关因素进行分析；
S3、定义网络通信模型的状态空间和动作空间；
S4、求解上行和下行数据队列的状态转移矩阵；
S5、求解电池电量的状态转移矩阵；
S6、求出系统的状态转移矩阵；
S7、建立基于MDP的优化策略模型并求解该优化策略模型。
2.根据权利要求1所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S1具体实现方法为：设立一个通信接入点和移动节点，通信接入点下行传输数据或能量至移动节点；移动节点使用电池中的能量进行上行传输数据和下行接收数据：移动节点通过消耗能量将数据上行传输至通信接入点，或者移动节点发送供能请求至通信接入点；当移动节点收到接入点的能量后，将能量存在自身的电池中，设电池的最大容量为E；通信接入点和移动节点分别存在一个有限的队列，用于存储待发送的数据，队列大小分别表示为Qd和Qu。
3.根据权利要求2所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S2具体包括以下子步骤：
S21、在该通信网络系统中，移动节点是具有移动性，规定一组移动节点位置的集合LS＝{0，1，...，l，...，L}，其中L表示位置的最大个数；移动节点在任何时间的位置l均在位置集合LS中，即l∈Ls；移动节点在一个时隙内从位置l移动到位置l′的概率为P(Nl，l′)；设接入点的位置lA，其覆盖范围表示为LA；
S22、进行无线能量传输：若移动节点所在位置l∈LA，且决定向接入点请求传输能量，则移动节点在位置l收集到能量e的概率表示为P(El，e)，其中e∈{0，1，...，Ce}，Ce为传输能量的最大值；移动节点收集到能量e表示其电池电量储存增加e；
S23、计算数据包的到达和传输概率：对于上行数据队列和下行数据队列来说，若移动节点位于位置l，且存在m个数据包到达的概率分别表示为P(Ul，m)和P(Dl，m)；其中，m∈{0，1，...，Cm}，Cm为到达的最大数据包个数；若移动节点位置l处于接入点的覆盖范围之内，即l∈LA，并且通信系统决定移动节点上行传输数据至接入点，或者接入点下行传输数据至移动节点，其传输一个数据包的概率表示为P(Sl)；
S24、定义决策的主要参考因素QoS指标，包括吞吐量和数据包丢失率两类指标，其中吞吐量指的是上行传输和下行传输的吞吐量。
4.根据权利要求3所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S3包括以下子步骤：
S31、定义通信系统的状态空间：
S＝{(L,E,Qd ,Qu )；L∈LS,E∈{0,1,...,E},Qd ∈{0,1,...,Qd},Qu ∈{0,1,...,Qu}}
其中：L表示移动节点移动位置的状态集合，E表示移动节点电池电量的状态集合，Qd 表示下行数据传输队列长度的状态集合，Qu 表示上行数据传输队列长度的状态集合；
通信系统某一时刻的系统状态组合表示为s＝(l,e,qd,qu)∈S，系统状态表达式中的l,e,qd,qu分别对应于状态集合中的随机变量L,E,Qd ,Qu ；
S32、定义通信系统的动作空间：
其中，“0”表示下行传输数据包通信过程，“1”表示上行传输数据包通信过程，“2”表示下行传输能量通信过程。
5.根据权利要求4所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S4包括以下子步骤：
S41、对于上行数据队列，讨论不上行传输数据包，只有待上行传输的数据包到达的情况；在这种情况下，上行数据队列长度的变化只存在增加的情况，直到队列长度增加到最大值，上行数据队列的状态转移矩阵表示如下：
其中，矩阵的每一行都表示上行数据队列的数据长度，即qd＝0,1,...,Qd；
S42、对于上行数据队列，讨论上行传输数据包，且有待上行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Ul表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>,</mo> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>C</mi> <mi>m</mi> </msub> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>m</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>0</mn> </mrow> <msub> <mi>C</mi> <mi>m</mi> </msub> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>U</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>P</mi> <mo>(</mo> <msub> <mi>S</mi> <mi>l</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
上式表示了队列状态转移受到数据传输概率和数据到达概率的影响，数据队列可以达到的最大长度即为该队列的最大有限长度Qd；
S43、对于下行数据队列的状态转移情况；设下行不传输数据包且有数据包到达情况下的状态转移矩阵为表示如下：
S44、对于下行数据队列，讨论下行传输数据包，且有待下行传输的数据包到达的情况；
考虑若系统中移动节点的位置l∈LA，并且选择上行传输上行数据队列中的数据，于是，上行数据队列因为上行数据包的传输，长度减小，又会因为一定数据包的到达，长度增加；该情况下的上行数据队列受到上行数据传输和相应数据包到达两个概率性因素的影响，其上行数据队列的状态转移矩阵Dl表示如下：
考虑数据队列长度从i到j的变化，除了数据到达之外，还要考虑数据传输；因此，矩阵中p(l,m,m')的表达式如下：
<mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>l</mi> <mo>,</mo> <mi>m</mi> <mo>,</mo> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>=</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <mi>m</mi> <mo>=</mo> <mn>1</mn> </mrow> <msub> <mi>C</mi> <mi>m</mi> </msub> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>S</mi> <mi>l</mi> </msub> <mo>)</mo> </mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mrow> <mi>l</mi> <mo>,</mo> <mi>m</mi> </mrow> </msub> <mo>)</mo> </mrow> <mo>+</mo> <msubsup> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>0</mn> </mrow> <msub> <mi>C</mi> <mi>m</mi> </msub> </msubsup> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>D</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>m</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <mrow> <mo>(</mo> <mn>1</mn> <mo>-</mo> <mi>P</mi> <mo>(</mo> <msub> <mi>S</mi> <mi>l</mi> </msub> <mo>)</mo> <mo>)</mo> </mrow> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
6.根据权利要求5所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S5包括以下子步骤：
S51、计算系统下行传输能量时的电池电量状态转移矩阵
其中，状态转移矩阵的每一行表示移动节点电池电量的当前状态，每一列表示经过系统决策后移动节点电量的下一个状态；
S52、系统上行传输数据时的电池电量状态转移矩阵为：
S53、系统下行传输数据时的电池电量状态转移矩阵为：
S54、系统中移动节点在接入点的通信覆盖范围之外的电池电量状态转移矩阵为：
在该矩阵中，因为电池电量保持不变，故只有对角线元素不为0，其中亦包含了移动节点在接入点覆盖之外情况下上行数据队列和下行数据队列的状态融合矩阵。
7.根据权利要求6所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S6具体实现方法为：为了得到系统的状态转移概率，根据动作集合中的三种动作分三种情况进行讨论：
(1)动作“0”，即系统下行传输数据的通信过程，当系统下行传输数据时，设系统的状态转移矩阵为P(0)；若移动节点不在系统接入点的通信覆盖范围之内，系统的状态转移对应于步骤S54中的情况；若移动节点在系统接入点的通信覆盖范围之内，则系统的状态转移对应于步骤S53中的情况；故系统的状态转移矩阵P(0)表示为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mn>0</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <msup> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <msup> <mover> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>s</mi> </msub> <mo>\</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
(2)动作“1”，即系统上行传输数据的通信过程，设系统的状态转移矩阵为P(1)；若位置l∈LA，系统的状态转移对应于步骤S52中的情况；反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(1)表示为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <msup> <mover> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>s</mi> </msub> <mo>\</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> <mo>;</mo> </mrow>
(3)动作“2”，即系统下行传输能量的通信过程，设系统的状态转移矩阵为P(2)；若位置l∈LA，系统的状态转移对应于步骤S51中的情况，反之，系统的状态转移对应于步骤S54中的情况；故状态转移矩阵P(2)表示为：
<mrow> <mi>P</mi> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <mover> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>P</mi> <mrow> <mo>(</mo> <msub> <mi>N</mi> <mrow> <mi>l</mi> <mo>,</mo> <msup> <mi>l</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mo>)</mo> </mrow> <msup> <mover> <msub> <mi>E</mi> <mi>l</mi> </msub> <mo>&amp;OverBar;</mo> </mover> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>l</mi> <mo>&amp;Element;</mo> <msub> <mi>L</mi> <mi>s</mi> </msub> <mo>\</mo> <msub> <mi>L</mi> <mi>A</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>14</mn> <mo>)</mo> </mrow> <mo>.</mo> </mrow>
8.根据权利要求7所述的基于QoS的数能一体传输策略设计方法，其特征在于，所述步骤S7包括以下子步骤：
S71、建立基于MDP的优化策略模型：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mi>x</mi> </munder> <msub> <mi>g</mi> <mi>T</mi> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>d</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>lim</mi> <mrow> <mi>t</mi> <mo>&amp;RightArrow;</mo> <mi>&amp;infin;</mi> </mrow> </munder> <mi>sup</mi> <mfrac> <mn>1</mn> <mi>t</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>1</mn> </mrow> <mi>t</mi> </munderover> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>d</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>s</mi> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> </msub> <mo>,</mo> <msub> <mi>a</mi> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;delta;</mi> <mi>d</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;lambda;</mi> <mrow> <mi>L</mi> <mo>,</mo> <mi>u</mi> </mrow> </msub> <mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>lim</mi> <mrow> <mi>t</mi> <mo>&amp;RightArrow;</mo> <mi>&amp;infin;</mi> </mrow> </munder> <mi>sup</mi> <mfrac> <mn>1</mn> <mi>t</mi> </mfrac> <munderover> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> <mo>=</mo> <mn>1</mn> </mrow> <mi>t</mi> </munderover> <mi>E</mi> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mi>u</mi> </msub> <mo>(</mo> <mrow> <msub> <mi>s</mi> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> </msub> <mo>,</mo> <msub> <mi>a</mi> <msup> <mi>t</mi> <mo>&amp;prime;</mo> </msup> </msub> </mrow> <mo>)</mo> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;delta;</mi> <mi>u</mi> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>15</mn> <mo>)</mo> </mrow> </mrow>
其中，λL,d(x)和λL,u(x)分别表示下行数据队列和上行数据队列的数据丢包率；fd(st′,at′)和fu(st′,at′)分别表示在时刻t′系统状态为st′∈S、at′∈A时的下行数据队列长度和上行数据队列长度吞吐量的瞬时值；δd和δu分别表示下行数据队列和上行数据队列的数据丢包率约束值；
S72、根据优化后的模型求解，将该问题对应到一个等价的线性规划问题，具体表示如下：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mrow> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mi>h</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <msub> <mi>f</mi> <mi>d</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;delta;</mi> <mi>d</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <msub> <mi>f</mi> <mi>u</mi> </msub> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>&amp;le;</mo> <msub> <mi>&amp;delta;</mi> <mi>u</mi> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <msub> <mi>p</mi> <mrow> <mi>s</mi> <mo>,</mo> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> </mrow> </msub> <mrow> <mo>(</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>,</mo> <msup> <mi>s</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> </mrow> </munder> <munder> <mi>&amp;Sigma;</mi> <mrow> <mi>a</mi> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mn>1</mn> <mo>,</mo> <mi>p</mi> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>16</mn> <mo>)</mo> </mrow> </mrow>
其中，ps,s′(a)为状态转移矩阵P(a)中的一个元素，表示系统选择动作a，状态s到状态s′转移概率；p(s,a)表示给定任意状态s采用动作a的概率；
令上述线性问题的最优解为p*(s,a)，于是系统的最优决策x*(s,a)为
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>x</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> <mo>=</mo> <mfrac> <mrow> <msup> <mi>p</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <mi>a</mi> <mo>)</mo> </mrow> </mrow> <mrow> <munder> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msup> <mi>p</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> </mrow> </mfrac> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>&amp;Element;</mo> <mi>S</mi> <mo>,</mo> <munder> <mi>&amp;Sigma;</mi> <mrow> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <mo>&amp;Element;</mo> <mi>A</mi> </mrow> </munder> <msup> <mi>p</mi> <mo>*</mo> </msup> <mrow> <mo>(</mo> <mi>s</mi> <mo>,</mo> <msup> <mi>a</mi> <mo>&amp;prime;</mo> </msup> <mo>)</mo> </mrow> <mo>&gt;</mo> <mn>0</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>17</mn> <mo>)</mo> </mrow> </mrow>
若则x*(s,0)＝x*(s,1)＝0，x*(s,2)＝1，即系统将决定下行传输能量。
CN201710261104.1A 2017-04-20 2017-04-20 一种基于QoS的数能一体传输策略设计方法 Active CN107105438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710261104.1A CN107105438B (zh) 2017-04-20 2017-04-20 一种基于QoS的数能一体传输策略设计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710261104.1A CN107105438B (zh) 2017-04-20 2017-04-20 一种基于QoS的数能一体传输策略设计方法

Publications (2)

Publication Number Publication Date
CN107105438A true CN107105438A (zh) 2017-08-29
CN107105438B CN107105438B (zh) 2020-06-26

Family

ID=59658173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710261104.1A Active CN107105438B (zh) 2017-04-20 2017-04-20 一种基于QoS的数能一体传输策略设计方法

Country Status (1)

Country Link
CN (1) CN107105438B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272167A (zh) * 2018-10-09 2019-01-25 华北电力大学（保定） 一种基于uudn和q神经网络的绿色能量合作方法
CN111741531A (zh) * 2020-08-12 2020-10-02 浙江工商大学 一种5g基站下通信设备最佳运行状态的优化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104202789A (zh) * 2014-08-08 2014-12-10 杭州电子科技大学 兼顾能量有效性与传输可靠性的认知中继节点选择方法
US20150207355A1 (en) * 2014-01-23 2015-07-23 Gogoro Inc. Systems and methods for utilizing an array of power storage devices, such as batteries
CN105744628A (zh) * 2016-02-02 2016-07-06 电子科技大学 一种数能一体化通信网络的资源分配最优化方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150207355A1 (en) * 2014-01-23 2015-07-23 Gogoro Inc. Systems and methods for utilizing an array of power storage devices, such as batteries
CN104202789A (zh) * 2014-08-08 2014-12-10 杭州电子科技大学 兼顾能量有效性与传输可靠性的认知中继节点选择方法
CN105744628A (zh) * 2016-02-02 2016-07-06 电子科技大学 一种数能一体化通信网络的资源分配最优化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IMTIAZ AHMED，AISSA IKHLEF，ETC.: "Power allocation for an energy harvesting transmitter with hybrid energy sources", 《IEEE TRANSACTIONS ON WIRELESS COMMUNICATIONS ( VOLUME: 12 , ISSUE: 12 , DECEMBER 2013 )》 *
冯剑，王平阳，等: "基于能量获取的无线通信系统研究", 《CNKI 电信科学 2015年02期》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109272167A (zh) * 2018-10-09 2019-01-25 华北电力大学（保定） 一种基于uudn和q神经网络的绿色能量合作方法
CN109272167B (zh) * 2018-10-09 2021-04-20 华北电力大学（保定） 一种基于uudn和q神经网络的绿色能量合作方法
CN111741531A (zh) * 2020-08-12 2020-10-02 浙江工商大学 一种5g基站下通信设备最佳运行状态的优化方法

Also Published As

Publication number Publication date
CN107105438B (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
Zhou et al. Wireless-powered cooperative communications: Power-splitting relaying with energy accumulation
Gunduz et al. Designing intelligent energy harvesting communication systems
Shi et al. An energy-efficiency Optimized LEACH-C for wireless sensor networks
Liu et al. Theoretical analysis of the lifetime and energy hole in cluster based wireless sensor networks
CN102006237B (zh) 用于容迟网络的路由决策方法
CN107171701B (zh) 一种MassiveMIMO系统基于混合能量采集的功率分配方法
CN105896672A (zh) 一种无线充电传感器网络系统中移动机器人的充电方法
CN104661260A (zh) 一种QoS感知和负载均衡的无线Mesh智能电网路由机制
Knorn et al. Distortion minimization in multi-sensor estimation using energy harvesting and energy sharing
CN106131918A (zh) 无线传感网中能量采集节点的联合路径选择和功率分配方法
CN109618399A (zh) 多用户移动边缘计算系统中的分布式能量管理优化方法
Huang et al. Decentralized delay optimal control for interference networks with limited renewable energy storage
CN105744629A (zh) 一种基于中继选择的能量采集中继系统时间优化分配方法
CN113727306B (zh) 一种基于深度强化学习的解耦c-v2x网络切片方法
CN107105438A (zh) 一种基于QoS的数能一体传输策略设计方法
Zeng et al. Data delivery from WSNs to cloud based on a fog structure
Wang et al. Energy-efficient and delay-guaranteed routing algorithm for software-defined wireless sensor networks: A cooperative deep reinforcement learning approach
CN106357315B (zh) 一种具有不完全csi的大型多天线网络能效资源分配方法
CN105338602A (zh) 一种基于虚拟mimo的压缩数据收集方法
CN108174448B (zh) 蜂窝d2d通信的资源分配方法
CN106304239A (zh) 能量采集多中继协作通信系统的中继选择方法
CN107612078A (zh) 一种射频能量捕获网络数据收集及移动能量源均衡化充电方法
Zhu et al. SyRoC: Symbiotic robotics for QoS-aware heterogeneous applications in IoT-edge-cloud computing paradigm
CN106304365A (zh) Td‑lte电力无线专网能效资源分配方法与系统
CN113923802B (zh) 软件定义无线传感器网络中能量高效的分层拓扑控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210806

Address after: No. 4, Section 2, Jianshe North Road, Chenghua District, Chengdu, Sichuan 610051

Patentee after: Wang Weidong

Address before: 610041 floor 3, No. 4, Xinhang Road, West Park, high tech Zone (West Zone), Chengdu, Sichuan

Patentee before: CHENGDU RUIFENG INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: 611730 floor 3, No. 4, Xinhang Road, West Park, high tech Zone (West Zone), Chengdu, Sichuan

Patentee after: CHENGDU RUIFENG INFORMATION TECHNOLOGY CO.,LTD.

Address before: No. 4, Section 2, Jianshe North Road, Chenghua District, Chengdu, Sichuan 610051

Patentee before: Wang Weidong