CN108494632A - 一种基于强化学习的移动数据流量卸载方法 - Google Patents
一种基于强化学习的移动数据流量卸载方法 Download PDFInfo
- Publication number
- CN108494632A CN108494632A CN201810298887.5A CN201810298887A CN108494632A CN 108494632 A CN108494632 A CN 108494632A CN 201810298887 A CN201810298887 A CN 201810298887A CN 108494632 A CN108494632 A CN 108494632A
- Authority
- CN
- China
- Prior art keywords
- flow
- utility function
- content
- user
- intensified learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000013016 learning Effects 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000007599 discharging Methods 0.000 title claims abstract description 10
- 230000006870 function Effects 0.000 claims abstract description 44
- 238000007619 statistical method Methods 0.000 claims abstract description 8
- 230000006399 behavior Effects 0.000 claims description 10
- 238000004891 communication Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
- H04L41/147—Network analysis or design for predicting network behaviour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/062—Generation of reports related to network traffic
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/06—Generation of reports
- H04L43/067—Generation of reports using time frame reporting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/82—Miscellaneous aspects
- H04L47/826—Involving periods of time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/70—Admission control; Resource allocation
- H04L47/83—Admission control; Resource allocation based on usage prediction
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明公开了一种基于强化学习的移动数据流量卸载方法，首先基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；然后针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。
Description
技术领域
本发明属于移动互联网技术领域，特别涉及一种基于强化学习的移动数据流量卸载方法。
背景技术
根据思科的移动网络前景报告预测，全球移动数据流量将在2019年增长到292EB，并且97％的数据流量为智能流量。移动数据流量卸载是近年来兴起的一种新兴技术，利用互补网络分担原本在蜂窝网络上传输的数据流量，能够有效解决蜂窝网络流量负载问题，并且可以提升运营商的服务质量，保障用户的使用体验，减小用户的数据流量费用，提供更大的接入带宽。由于大部分互补网络已经存在或部署代价较小，相较于建设更多宏蜂窝网络基站，升级网络配置的传统措施，移动数据流量卸载在经济成本、建设周期等投入代价方面有着巨大的优势。因此，移动数据流量卸载的研究成为一个热点问题，引起了业界学者的广泛关注。
移动数据流量卸载是利用互补网络传输数据，从而降低蜂窝网络负载的一种技术。流量卸载的目标是在保障用户服务质量QoS的前提下，降低移动网络上对带宽需求较大的服务的成本，减小其对网络负载的影响。该技术可以有效解决移动数据量的激增所造成的资源竞争和用户体验指数下降的问题。基于机会连接的移动数据流量卸载，利用用户之间的机会通信进行流量卸载，可以减小回程链路的负载和传输代价。
发明内容
为了解决上述技术问题，本发明提出了一种基于强化学习的移动数据流量卸载方法。
本发明所采用的技术方案是：一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。
本发明利用强化学习中的Gradient Bandit算法，通过多天长期学习训练，做出最优的流量卸载决策。
相对于现有技术，本发明的优点是：现有技术需要依赖于具体已知的流量负载情况，本发明可以在未来一天的流量负载是未知的情况下，通过分析流量负载的历史变化趋势，利用强化学习方法提前做出未来一天中最优的流量卸载决策。
附图说明
图1是本发明实施例的流程图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
请见图1，本发明提供的一种基于强化学习的移动数据流量卸载方法，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量；利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集。因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略；
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用.
本发明的目标是制定流量卸载策略，使得系统中各时段运营商、内容提供方和内容需求方三方的总效用目标函数达到最优，系统总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令系统的总效用目标函数最优化的流量卸载策略。
在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)。这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At,则迭代式为：
对于a≠At，则迭代式如下所示：
则选择行为a的概率为：
其中，α是可控参数，Rt是t时刻选择行为At的收益，是前t时刻选择行为At获得收益的平均值。在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。
Claims (5)
1.一种基于强化学习的移动数据流量卸载方法，其特征在于，包括以下步骤：
步骤1：基于手机用户上网记录数据，进行用户流量需求分析，分别针对用户总流量和可卸载流量进行统计分析；
步骤2：针对运营商、内容提供方和内容需求方，根据运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数，利用强化学习方法，求解令系统的总效用目标函数最优化的流量卸载策略。
2.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于，步骤1的具体实现包括以下子步骤：
步骤1.1：基于手机用户上网记录数据，针对用户总流量进行统计分析，统计各天中每个时段的用户总流量需求；
步骤1.2：基于手机用户上网记录数据，针对可卸载流量进行统计分析，统计各天中每个时段的可卸载流量。
3.根据权利要求2所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤1.2中，利用用户之间的机会通信进行流量卸载，需要满足以下3个条件：用户对在时间、空间和内容维度有交集；因此对用户进行筛选，针对有相遇行为并且访问过相同类型的互联网内容的用户，进行流量需求统计，这一部分流量即为可卸载流量。
4.根据权利要求1所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2的具体实现包括以下子步骤：
步骤2.1：设计运营商效用函数、内容提供方效用函数、内容需求方效用函数和系统总效用函数；
运营商的效用函数由提供流量的收益和成本两部分构成，令用户需求总流量为q，可卸载流量为f,流量卸载比例为x,则运营商的真实流量负载为q-fx,运营商的每单位流量定价为p,单位流量的成本为e,效用函数为：
U1(x)＝(p-e)·(q-fx)；
内容提供方的效用函数由提供流量的收益和成本两部分构成，内容提供方提供的总流量为可卸载流量f和卸载比例x的乘积fx，令内容提供方的每单位流量定价为d，内容提供方的单位流量成本为g，则内容提供方的效用函数为：
U2(x)＝(d-g)fx；
内容需求方的效用由获得的流量收益和支付的费用两部分组成，如下式所示：
U3(x)＝αlog(1+q)-p(q-fx)-dfx；
其中α是与用户体验相关的参数，第二项为支付给运营商的费用，第三项为支付给内容提供方的费用；
系统总效用目标函数为：
U(x)＝λ1·U1(x)+λ2·U2(x)+λ3·U3(x)
s.t.λ1+λ2+λ3＝1
λ1≥0；λ2≥0；λ3≥0；
λ1、λ2和λ3为三方效用函数的归一化权重，其中对三方的效用函数分别进行了归一化，并且限制了优化式中各权重的取值范围；
步骤2.2：利用强化学习中的Gradient Bandit算法，求解令系统的总效用目标函数最优化的流量卸载策略。
5.根据权利要求1-4任意一项所述的基于强化学习的移动数据流量卸载方法，其特征在于：步骤2中所述强化学习方法，在强化学习模型中有2类行为action，在第t轮迭代中，当action为1时，表示选择从运营商获取内容，相应的收益为Rt(1)＝U(xt＝0)，当action为2时，表示选择从内容提供方获取内容，相应的收益为Rt(2)＝U(xt＝1)；这2类action的偏好因子分别记为Ht(1)和Ht(2)，初始时t＝0，令Ht(1)＝Ht(2)＝0，则选择这2类action的概率分别为：
在后续t轮迭代中，πt(1)和πt(2)按照下式进行更新，假设当前t时刻的action为At，则迭代式为：
对于a≠At，则迭代式如下所示：
则选择行为a的概率为：
其中，α是可控参数，Rt是t时刻选择行为At的收益，是前t时刻选择行为At获得收益的平均值；在t+1时刻根据t时刻的概率πt(1)和πt(2)，选择从运营商或内容提供方获取数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810298887.5A CN108494632B (zh) | 2018-04-04 | 2018-04-04 | 一种基于强化学习的移动数据流量卸载方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810298887.5A CN108494632B (zh) | 2018-04-04 | 2018-04-04 | 一种基于强化学习的移动数据流量卸载方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108494632A true CN108494632A (zh) | 2018-09-04 |
| CN108494632B CN108494632B (zh) | 2020-12-01 |
Family
ID=63314654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810298887.5A Active CN108494632B (zh) | 2018-04-04 | 2018-04-04 | 一种基于强化学习的移动数据流量卸载方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108494632B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798842A (zh) * | 2019-01-31 | 2020-02-14 | 湖北工业大学 | 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160080246A1 (en) * | 2014-09-12 | 2016-03-17 | Futurewei Technologies, Inc. | Offloading Tenant Traffic in Virtual Networks |
| CN105491510A (zh) * | 2015-12-17 | 2016-04-13 | 西安电子科技大学 | 一种密集异构蜂窝网络中面向资源共享的业务卸载方法 |
| CN105764121A (zh) * | 2016-01-18 | 2016-07-13 | 浙江工业大学 | 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法 |
| CN106358300A (zh) * | 2015-07-16 | 2017-01-25 | 中国人民解放军理工大学 | 一种微蜂窝网络中的分布式资源分配方法 |
| CN106851741A (zh) * | 2016-12-10 | 2017-06-13 | 浙江大学 | 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法 |
-
2018
- 2018-04-04 CN CN201810298887.5A patent/CN108494632B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160080246A1 (en) * | 2014-09-12 | 2016-03-17 | Futurewei Technologies, Inc. | Offloading Tenant Traffic in Virtual Networks |
| CN106358300A (zh) * | 2015-07-16 | 2017-01-25 | 中国人民解放军理工大学 | 一种微蜂窝网络中的分布式资源分配方法 |
| CN105491510A (zh) * | 2015-12-17 | 2016-04-13 | 西安电子科技大学 | 一种密集异构蜂窝网络中面向资源共享的业务卸载方法 |
| CN105764121A (zh) * | 2016-01-18 | 2016-07-13 | 浙江工业大学 | 一种蜂窝流量卸载网络中基于动态排序的设备与基站连接方法 |
| CN106851741A (zh) * | 2016-12-10 | 2017-06-13 | 浙江大学 | 蜂窝网络中基于社交关系的分布式移动节点文件缓存方法 |
Non-Patent Citations (2)
| Title |
|---|
| QIAN LI等: "Collective Human Mobility Patterns: A Case Study Using Data Usage Detail Records", 《 2017 IEEE INTERNATIONAL CONFERENCE ON INTERNET OF THINGS (ITHINGS) AND IEEE GREEN COMPUTING AND COMMUNICATIONS (GREENCOM) AND IEEE CYBER, PHYSICAL AND SOCIAL COMPUTING (CPSCOM) AND IEEE SMART DATA (SMARTDATA)》 * |
| 占庆祥等: "基于强化学习的异构网络流量卸载方案研究", 《电子测量技术》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110798842A (zh) * | 2019-01-31 | 2020-02-14 | 湖北工业大学 | 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法 |
| CN110798842B (zh) * | 2019-01-31 | 2022-06-28 | 湖北工业大学 | 一种基于多用户深度强化学习的异构蜂窝网络流量卸载方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108494632B (zh) | 2020-12-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Mishra et al. | Economic analysis of networking technologies for rural developing regions | |
| Oughton et al. | Policy choices can help keep 4G and 5G universal broadband affordable | |
| Oughton et al. | Supportive 5G infrastructure policies are essential for universal 6G: Assessment using an open-source techno-economic simulation model utilizing remote sensing | |
| Cano et al. | Cooperative infrastructure and spectrum sharing in heterogeneous mobile networks | |
| EP2519074B1 (en) | Method and device for adjusting service processing resources in a multi-mode base station system | |
| CN111047425B (zh) | 一种行为预测方法及装置 | |
| CN104684095B (zh) | 一种异构网络融合场景中基于遗传运算的资源分配方法 | |
| Jha et al. | Techno-economic assessment of the potential for LTE based 4G mobile services in rural India | |
| CN111193615B (zh) | 一种移动边缘计算网络中的边缘计算节点选择方法 | |
| US7561883B2 (en) | System and method for management of the resources of a broadband mobile network having prolonged fixed accesses by wireless local area network access terminals | |
| US11218369B2 (en) | Method, apparatus and system for changing a network based on received network information | |
| Sun et al. | Cournot equilibrium in the mobile virtual network operator oriented oligopoly offloading market | |
| Koratagere Anantha Kumar et al. | Techno-economic assessment of 5G infrastructure sharing business models in rural areas | |
| Joe-Wong et al. | Offering supplementary network technologies: Adoption behavior and offloading benefits | |
| Abdel-Rahman et al. | Dimensioning virtualized wireless access networks from a common pool of resources | |
| CN108494632A (zh) | 一种基于强化学习的移动数据流量卸载方法 | |
| Stordahl et al. | Long-term mobile data traffic forecasts for the Western European market | |
| Jha et al. | Techno-commercial feasibility analysis of 4G mobile services in India | |
| Sadreddini et al. | PSO-optimized Instant Overbooking Framework for cognitive radio networks | |
| CN104168660A (zh) | 确定优先级的方法及装置 | |
| US8165135B2 (en) | Methods, computer networks, and computer program products that facilitate providing broadband services wirelessly to third party users via a mesh network of customer premise equipment | |
| CN113205231A (zh) | 一种离网预测方法及装置 | |
| CN106304150B (zh) | 一种网络接入方法及装置 | |
| CN103561471A (zh) | 一种多用户单中继通信系统中的带宽分配方法 | |
| Elayoubi et al. | Impatience in mobile networks and its application to data pricing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |