CN108494632B - 一种基于强化学习的移动数据流量卸载方法 - Google Patents

一种基于强化学习的移动数据流量卸载方法 Download PDF

Info

Publication number
CN108494632B
CN108494632B CN201810298887.5A CN201810298887A CN108494632B CN 108494632 B CN108494632 B CN 108494632B CN 201810298887 A CN201810298887 A CN 201810298887A CN 108494632 B CN108494632 B CN 108494632B
Authority
CN
China
Prior art keywords
flow
utility function
content
content provider
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810298887.5A
Other languages
English (en)
Other versions
CN108494632A (zh
Inventor
江昊
曾园园
李倩
刘冰清
胡芷毅
张毅
彭铎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN201810298887.5A priority Critical patent/CN108494632B/zh
Publication of CN108494632A publication Critical patent/CN108494632A/zh
Application granted granted Critical
Publication of CN108494632B publication Critical patent/CN108494632B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/062—Generation of reports related to network traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/06—Generation of reports
    • H04L43/067—Generation of reports using time frame reporting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/82—Miscellaneous aspects
    • H04L47/826—Involving periods of time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/70—Admission control; Resource allocation
    • H04L47/83—Admission control; Resource allocation based on usage prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明公开了一种基于强化学习的移动数据流量卸载方法，首先基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；然后针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。

Description

一种基于强化学习的移动数据流量卸载方法
技术领域
本发明属于移动互联网技术领域，特别涉及一种基于强化学习的移动数据流量卸载方法。
背景技术
根据思科的移动网络前景报告预测，全球移动数据流量将在2019年增长到292EB，并且97％的数据流量为智能流量。移动数据流量卸载是近年来兴起的一种新兴技术，利用互补网络分担原本在蜂窝网络上传输的数据流量，能够有效解决蜂窝网络流量负载问题，并且可以提升运营商的服务质量，保障用户的使用体验，减小用户的数据流量费用，提供更大的接入带宽。由于大部分互补网络已经存在或部署代价较小，相较于建设更多宏蜂窝网络基站，升级网络配置的传统措施，移动数据流量卸载在经济成本、建设周期等投入代价方面有着巨大的优势。因此，移动数据流量卸载的研究成为一个热点问题，引起了业界学者的广泛关注。
移动数据流量卸载是利用互补网络传输数据，从而降低蜂窝网络负载的一种技术。流量卸载的目标是在保障用户服务质量QoS的前提下，降低移动网络上对带宽需求较大的服务的成本，减小其对网络负载的影响。该技术可以有效解决移动数据量的激增所造成的资源竞争和用户体验指数下降的问题。基于机会连接的移动数据流量卸载，利用用户之间的机会通信进行流量卸载，可以减小回程链路的负载和传输代价。
发明内容
为了解决上述技术问题，本发明提出了一种基于强化学习的移动数据流量卸载方法。
本发明所采用的技术方案是：一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。
本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。
相对于现有技术，本发明的优点是：现有技术需要依赖于具体已知的流量负载情况，本发明可以在未来一天的流量负载是未知的情况下，通过分析流量负载的历史变化趋势，利用强化学习方法提前做出未来一天中最优的流量卸载决策。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于强化学习的移动数据流量卸载方法，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量；利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集。因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略；
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用.
本发明的目标是制定流量卸载策略，使得系统中各时段运营商、内容提供方和内容需求方三方的总效用目标函数达到最优，系统总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令系统的总效用目标函数最优化的流量卸载策略。
在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)。这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为
Figure BDA0001619174090000031
Figure BDA0001619174090000041
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At,则迭代式为：
Figure BDA0001619174090000042
对于a≠At，则迭代式如下所示：
Figure BDA0001619174090000043
则选择行为a的概率为：
Figure BDA0001619174090000044
其中，α是可控参数，Rt是t时刻选择行为At的收益，
Figure BDA0001619174090000045
是前t时刻选择行为At获得收益的平均值。在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (3)

1.一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤1的具体实现包括以下子步骤：
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略；
步骤2的具体实现包括以下子步骤：
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx；
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用；
系统总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令系统的总效用目标函数最优化的流量卸载策略。
2.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤1.2中，利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集；因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量。
3.根据权利要求1-2任意一项所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2中所述强化学习方法，在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)；这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为：
Figure FDA0002695982680000021
Figure FDA0002695982680000022
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At，则迭代式为：
Figure FDA0002695982680000023
对于行为a≠At，则迭代式如下所示：
Figure FDA0002695982680000031
则选择行为a的概率为：
Figure FDA0002695982680000032
其中，α是可控参数，Rt是t时刻选择行为At的收益，
Figure FDA0002695982680000033
是前t时刻选择行为At获得收益的平均值；在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
CN201810298887.5A 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法 Active CN108494632B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810298887.5A CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810298887.5A CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Publications (2)

Publication Number Publication Date
CN108494632A CN108494632A (zh) 2018-09-04
CN108494632B true CN108494632B (zh) 2020-12-01

Family

ID=63314654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810298887.5A Active CN108494632B (zh) 2018-04-04 2018-04-04 一种基于强化学习的移动数据流量卸载方法

Country Status (1)

Country Link
CN (1) CN108494632B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110798842B (zh) * 2019-01-31 2022-06-28 湖北工业大学 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105491510A (zh) * 2015-12-17 2016-04-13 西安电子科技大学 一种密集异构蜂窝网络中面向资源共享的业务卸载方法
CN105764121A (zh) * 2016-01-18 2016-07-13 浙江工业大学 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法
CN106358300A (zh) * 2015-07-16 2017-01-25 中国人民解放军理工大学 一种微蜂窝网络中的分布式资源分配方法
CN106851741A (zh) * 2016-12-10 2017-06-13 浙江大学 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160080246A1 (en) * 2014-09-12 2016-03-17 Futurewei Technologies, Inc. Offloading Tenant Traffic in Virtual Networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106358300A (zh) * 2015-07-16 2017-01-25 中国人民解放军理工大学 一种微蜂窝网络中的分布式资源分配方法
CN105491510A (zh) * 2015-12-17 2016-04-13 西安电子科技大学 一种密集异构蜂窝网络中面向资源共享的业务卸载方法
CN105764121A (zh) * 2016-01-18 2016-07-13 浙江工业大学 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法
CN106851741A (zh) * 2016-12-10 2017-06-13 浙江大学 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Collective Human Mobility Patterns: A Case Study Using Data Usage Detail Records;Qian Li等;《 2017 IEEE International Conference on Internet of Things (iThings) and IEEE Green Computing and Communications (GreenCom) and IEEE Cyber, Physical and Social Computing (CPSCom) and IEEE Smart Data (SmartData)》;20170621;全文 *
基于强化学习的异构网络流量卸载方案研究;占庆祥等;《电子测量技术》;20180123;全文 *

Also Published As

Publication number Publication date
CN108494632A (zh) 2018-09-04

Similar Documents

Publication Publication Date Title
Yang et al. Content popularity prediction towards location-aware mobile edge caching
Luo et al. Channel state information prediction for 5G wireless communications: A deep learning approach
CN111585816B (zh) 一种基于自适应遗传算法的任务卸载决策方法
CN112153616B (zh) 一种基于深度学习的毫米波通信系统中的功率控制方法
CN102638870B (zh) 无线异构网络接入选择方法
CN105120468A (zh) 一种基于演化博弈论的动态无线网络选择方法
CN107135469B (zh) 一种分布式用户接入方法
CN107949025A (zh) 一种基于非合作博弈的网络选择方法
CN104684095A (zh) 一种异构网络融合场景中基于遗传运算的资源分配方法
CN114118748B (zh) 一种服务质量预测方法、装置、电子设备及存储介质
CN108494632B (zh) 一种基于强化学习的移动数据流量卸载方法
Hu et al. A study of LTE network performance based on data analytics and statistical modeling
Koratagere Anantha Kumar et al. Techno-economic assessment of 5G infrastructure sharing business models in rural areas
Tang et al. A reinforcement learning approach for D2D-assisted cache-enabled HetNets
CN108235415A (zh) 一种考虑用户体验的基站节能方法
CN109981340A (zh) 雾计算网络系统中联合资源优化的方法
CN106535226A (zh) 一种基于协同学理论的多网络协同选择和聚合方法
CN105407514A (zh) 一种基于ahp/r-topsis的无线网络垂直切换方法
CN105722203B (zh) 大规模天线系统基于粒子群算法的高能效功率分配方法
CN110933687A (zh) 一种基于解耦的用户上下行接入方法及系统
CN109561129B (zh) 一种基于光纤-无线网络的协同计算卸载方法
CN110602760A (zh) 一种面向车联网的多效用准则高能效网络选择方法
CN106102148A (zh) 一种基站休眠方法及装置
CN104754669A (zh) 基于网络QoS预测的异构无线网络垂直切换判决方法
CN108901003A (zh) 一种d2d协作网络场景下基于社会关系的功率分配方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant