CN109600798A - 一种网络切片中多域资源分配方法及装置 - Google Patents

一种网络切片中多域资源分配方法及装置 Download PDF

Info

Publication number
CN109600798A
CN109600798A CN201811362302.8A CN201811362302A CN109600798A CN 109600798 A CN109600798 A CN 109600798A CN 201811362302 A CN201811362302 A CN 201811362302A CN 109600798 A CN109600798 A CN 109600798A
Authority
CN
China
Prior art keywords
current network
service request
service
network
provider
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811362302.8A
Other languages
English (en)
Other versions
CN109600798B (zh
Inventor
王鲁晗
周新力
温向明
路兆铭
马璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201811362302.8A priority Critical patent/CN109600798B/zh
Publication of CN109600798A publication Critical patent/CN109600798A/zh
Application granted granted Critical
Publication of CN109600798B publication Critical patent/CN109600798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/16—Central resource management; Negotiation of resources or communication parameters, e.g. negotiating bandwidth or QoS [Quality of Service]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0893—Assignment of logical groups to network elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/145—Network analysis or design involving simulating, designing, planning or modelling of a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种网络切片中多域资源分配方法及装置，所述方法包括获取当前网络切片服务请求；计算当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量的差值；若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商接受所述当前网络切片服务请求，并为其分配c个资源；若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，则基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策。本发明实现了在满足用户网络切片服务请求的前提下，作出最优的决策，使得多域网络基础设备商长期累积的收益最大化。

Description

一种网络切片中多域资源分配方法及装置
技术领域
本发明涉及通信领域，尤其涉及一种网络切片中多域资源分配方法及装置。
背景技术
随着移动数据流量爆炸式的增长，海量的移动终端和多种新应用的崛起，未来的无线网络需要更加灵活开放，5G网络被期待能够满足不同新服务的需求，并且能够支持垂直业务。为了应对以上挑战，网络切片概念被提出，网络切片是端到端的逻辑网络并且能提供不同的服务来满足用户的特殊需求。在网络切片中，不同的服务代表着不同的网络实体，每个实体由一系列的虚拟化网络功能组成，这些网络功能共享底层网络提供的虚拟资源，按需分配资源，这种方式简化了网络部署、操作和管理，同时提高了服务的灵活性和效率。但由于底层资源的匮乏，同时网络部署的价格也昂贵，要想满足所有的用户服务请求是一件非常困难的事情。所以，如何高效而合理的分配底层多域资源，并且协同底层资源协作是我们亟待解决的问题。
发明内容
本发明提供一种网络切片中多域资源分配方法、装置、电子设备及计算机可读存储介质。
第一方面，本发明提供了一种网络切片中多域资源分配方法。
获取当前网络切片服务请求；
计算当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量的差值；
若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商接受所述当前网络切片服务请求，并为其分配c个资源；
若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，则基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策。
第二方面，本发明实施例中提供了一种网络切片中多域资源分配装置。
具体的，所述网络切片中多域资源分配装置，包括：
第一获取模块，被配置为获取当前网络切片服务请求；
计算模块，被配置为计算当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量的差值；
接受模块，被配置为若当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商S接受所述当前网络切片服务请求，并为其分配c个资源；
第二获取模块，被配置为若当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，采用强化学习方法对多域网络基础设备商的动作进行学习，获取多域网络基础设备商针对当前网络切片服务请求的服务决策。
第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器；所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行上述第一方面中网络切片中多域资源分配方法的计算机指令。
第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储网络切片中多域资源分配装置所用的计算机指令，其包含用于执行上述第一方面中网络切片中多域资源分配方法为网络切片中多域资源分配装置所涉及的计算机指令。
本发明采用基于马尔可夫决策过程的多域网络服务资源提供商协作的分配方法，在底层的系统基础网络资源不足，网络切片部署花销庞大的背景下，采用多个底层的基础设备提供商联合协作，充分合理的利用资源。同时多域网络服务资源提供商系统根据当前的系统状态，面对即将到来的服务请求，在尽量满足用户服务请求的前提下，作出最优的决策，使得系统长期累积的收益最大化，底层资源的利用率最大化。相比于传统的切片资源分配方法，本方法是动态分配的，包括服务的到达和离开，服务的时间都是随机变化的，底层系统资源也更加贴近实际，同时本方法在收益方面也优于传统的方法。
附图说明
图1示出根据本发明一实施方式的网络切片中多域资源分配方法的流程图；
图2示出根据本发明一实施方式的网络切片中多域资源分配方法的应用场景的示意图；
图3示出基于马尔可夫决策过程模型与基于贪心算法的多域资源分配总收益仿真对比图；
图4示出根据本发明一实施方式的网络切片中多域资源分配装置的示意图；
图5示出根据本发明一实施方式的电子设备的结构框图；
图6是适于用来实现根据本发明一实施方式的网络切片中多域资源分配方法的计算机系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。
本发明采用基于马尔可夫决策过程的多域网络服务资源提供商协作的分配方法，在底层的系统基础网络资源不足，网络切片部署花销庞大的背景下，采用多个底层的基础设备提供商联合协作，充分合理的利用资源。当一个区域的基础设备提供商在接收到一个当前网络切片服务请求时，根据传统方法，该基础设备提供商根据自身当前资源情况选择接受或拒绝该服务请求，并未考虑其相邻区域基础设备提供商的资源情况，以及全域的经济收益情况。根据本发明，若一个区域的基础设备提供商收到一个当前网络切片服务请求时，首先判断自身的资源情况，如果资源充足则接受该服务请求，若资源比较紧张(没有资源可以接受该服务请求，或者接受了该服务请求后可能无法再接受其他收益更好的服务请求)，则根据全域的收益情况来做出具体的服务策略，按照收益最大化做出以下几种决定：由当前基础设施提供商接受该服务请求、拒绝该服务请求、将该服务请求传送到邻域的基础设施提供商。同样地，邻域的基础设施提供商在接收到该服务请求后，继续做同样的决策，接受、拒绝或转发到邻域基础设施提供商，以此类推。该服务请求被转发的次数可以预先设定，可以是1次、2次……，或者不限定次数。
根据本发明的一方面，提供一种网络切片中多域资源分配方法，图1 是本发明网络切片中多域资源分配方法的流程图，图2示出根据本公开一实施方式的网络切片中多域资源分配方法的应用场景的示意图，如图1和图2所示，网络切片中多域资源分配方法包括：
步骤S1：获取当前网络切片服务请求。
在本实施例中，底层网络系统由多域网络服务资源提供商构成，但底层网络系统的资源是有限的，其中，多域网络服务资源提供商是指多个基础设施供应商(例如：移动、联通、电信、华为、中兴等)供应的基础设计的底层网络资源，包括无线的、有线的，相邻地域的基础设备供应商相互协作称为多域协作。
假设每个网络服务资源提供商都有K个资源块，基础设施在分配资源过程中是以最小的基础单元块为单位的，在部署网络切片过程中有很多虚拟化网络功能(VNF)需要部署在虚拟资源里，在本实施例中，采用最小的资源块，即虚拟资源单元(VRU)。
所述获取当前网络切片服务请求，包括获取当前网络切片服务请求类型及资源数量。每个网络服务资源提供商都有两类的服务请求，分别为新的服务请求和邻域传输服务请求,假设每个请求需要c个资源块， c∈{0,1,2...,C}，其中C代表网络服务资源提供商可为该服务请求提供的最大资源块数量，C小于K。当底层的物理资源被抽象成为虚拟资源后，会编排成一条服务链，即为一个网络切片。
假设新的服务请求和邻域传输服务请求到达底层网络系统都是随机的，服从泊松分布，即新的服务请求和邻域传输服务请求的到达率分别为λn,λt；底层网络系统处理服务的时间也是变化的，且新的服务和邻域传输服务在底层网络系统的处理时间服从指数分布，其服务速率为μ。
步骤S2：计算当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量的差值。
当前网络切片服务请求到达当前网络服务资源提供商S时，首先确定当前网络服务资源提供商S剩余的资源数量，若当前网络服务资源提供商 S剩余资源数量足够大时，表明当前网络服务资源提供商S还拥有足够的资源空间可以接受连续不断的网络切片服务请求；若当前网络服务资源提供商S没有拥有足够的资源空间，表明当前网络服务资源提供商S剩余资源数量不足够接受后续的网络切片服务请求时，此时需要从多域网络服务资源提供商的总收益角度考虑，判断当前网络服务资源提供商S是接受、拒绝或者将其服务传送给邻域的基础设施提供商。
步骤S3：若当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商 S接受所述当前网络切片服务请求，并为其分配c个资源。
当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求资源数量的差值大于第一阈值C1时，表明当前网络服务资源提供商S 还拥有足够的资源空间可以接受连续不断的网络切片服务请求，此时，当前网络基础设备商S接受所述当前网络切片服务请求，并为其分配c个资源。本发明对第一阈值C1的具体数值不作具体限定，在实际应用中，可根据具体的需要来确定，比如可假设C1＝10c,或C1＝100c等。
步骤S4：若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，则基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策。
当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求资源数量的差值小于第一阈值C1时，表明当前网络服务资源提供商S 并不拥有足够的资源空间去接受后续的网络切片服务请求时，此时需要从多域网络服务资源提供商的总收益角度考虑，采用强化学习方法对多域网络基础设备商的动作进行学习处理，获取多域网络基础设备商针对当前网络切片服务请求的服务决策。
在本发明的一个实施例中，所述强化学习方法为马尔可夫决策过程。马尔可夫决策过程是指决策者周期地或者连续地观察具有马尔可夫性的随机动态系统，根据观察到的每个时刻的状态，作出最优的动作决策，系统的状态是随机的，转移概率具有随机性。
在本发明的一个实施例中，所述步骤S4，若当前网络服务资源提供商 S的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，采用强化学习方法对多域网络基础设备商的动作进行学习，获取多域网络基础设备商针对当前网络切片服务请求的服务决策的步骤，包括步骤 S41-S43：
步骤S41：根据当前网络切片服务请求及多域网络服务资源提供商当前状态，建立马尔可夫决策过程模型；
根据当前网络切片服务请求及多域网络服务资源提供商当前状态，马尔可夫决策过程模型可用一个四元组<S,A,R,T>表示，其中，
S代表状态空间，可以表示多域网络服务资源提供商的资源空间状态及正在发生的事情e，当e∈An，表示当前网络切片服务向当前网络服务资源提供商S发起请求，e∈At表示当前网络服务资源提供商S转发当前网络切片服务请求到邻域网络服务资源提供商，而e∈FC{c＝1,2,3...C}表示其他网络切片服务将要离开并且当前网络服务资源提供商S要释放c个资源块。
A代表动作空间，可以表示多域网络基础设备商的动作，即采取的服务决策，所述多域网络基础设备商的动作包括但不限于：当前网络服务资源提供商S接受当前网络切片服务请求并为其分配c个资源块、当前网络服务资源提供商S将当前网络切片服务请求传输到邻域网络基础设备商系统、当前网络服务资源提供商S拒绝当前网络切片服务请求、邻域网络基础设备商接受当前网络切片服务请求并为其分配c个资源块、邻域网络基础设备商拒绝当前网络切片服务请求、当前网络基础设备商系统或者邻域网络基础设备商提供完服务之后释放资源且对应的网络切片离开网络。当前网络切片服务请求到达当前网络服务资源提供商S时，当前网络服务资源提供商S做出服务决策，其中这里“服务决策”是指：
其中，a(s)＝-1表示当前网络服务资源提供商S将当前网络切片服务请求传输到邻域网络服务资源提供商，a(s)＝0表示当前网络服务资源提供商S 拒绝当前网络切片服务请求，a(s)＝c表示当前网络服务资源提供商S接受当前网络切片服务请求并且为其分配c个基本资源块。a(s)＝-2表示当前网络服务资源提供商S针对该服务请求已经完成服务释放资源，与该资源对应的网络切片服务将要离开。
R代表奖励函数，由于当前网络服务资源提供商S拒绝当前网络切片服务请求会产生一定的传输消耗费用，因此多域网络基础设备商系统在不同的状态下所采取的不同的动作后的收益公式为：γ(s,a)＝ω(s,a)-g(s,a)，其中ω(s,a)表示多域网络基础设备商系统在状态s下执行动作a的总收入， g(s,a)表示多域网络基础设备商系统在状态s下执行动作a的总消耗。
T代表状态转移函数，在步骤S1中已设置新的服务和邻域传输服务的到达率分别为λn,λt，且新的服务和邻域传输服务在底层网络系统的处理时间服从指数分布，其服务速率为μ，可以计算出所有状态下在执行不同的动作后的到达新状态的转移概率q(j|s,a),表示由当前状态s到下一状态j 的概率，其中q(j|s,a)是关于λn,λtμ,c的函数，在此就不详细列出。
步骤S42：根据马尔可夫决策过程模型，计算多域网络服务资源提供商的总收益；
在建立马尔可夫决策过程模型之后，多域网络服务资源提供商的总收益计算公式可表示为：
上式为贝尔曼方程，其中，γ(s,a)为当前多域网络服务资源提供商系统的总收益， 为归一化系数,α为折扣系数，确保了多域网络服务资源提供商的总收益最终收敛，v(s)表示状态s时当前多域网络服务资源提供商系统的总收益，ν(j)表示下一个状态j时多域网络服务资源提供商系统的总收益。
步骤S43：选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
通过强化学习值迭代的方法最终多域网络服务资源提供商的总收益会收敛，则收敛的值就是多域网络服务资源提供商的最大长期累积收益，选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
在本发明的一个实施例中，所述步骤S43，选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策的步骤，包括以下三种情况：
(1)若多域网络服务资源提供商的总收益最大时对应的动作是接受当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为当前网络服务资源提供商S接受当前网络切片服务请求并且为其分配c个基本资源块。
(2)若多域网络服务资源提供商的总收益最大时对应的动作是传输当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为当前网络切片服务请求传输到邻域网络服务资源提供商。
根据本发明优选实施例，当前网络切片服务请求被当前网络服务资源提供商传输到邻域网络服务资源提供商后，邻域网络服务资源提供商根据自身资源情况选择接受或拒绝该服务请求，不再将该服务请求继续传输到下一个邻域网络服务资源提供商。在该实施例中，邻域网络服务资源提供商可根据现有技术的方式选择接受或拒绝该服务请求。
但在另外的实施例中，邻域网络服务资源提供商也可按照与当前网络服务资源提供商类似的方式做出服务决策，接受、拒绝该服务请求，或者将该服务请求继续传输到下一个邻域网络服务资源提供商。
(3)若多域网络服务资源提供商的总收益最大时对应的动作是拒绝当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为拒绝当前网络切片服务请求，则当前网络服务资源提供商 S拒绝当前网络切片服务请求。本发明中由于底层网络系统资源有限，通过建立马尔可夫决策过程模型，也就是在当前状态下，底层网络系统根据当前的多域网络服务资源系统状态，面对用户发送的不同种类的服务请求，为使底层网络系统总收益最大，同时又满足用户的服务要求，所作出的服务响应决策。当前的服务决策同时会影响下一个状态进一步影响整个长期的累积收益，所以马尔可夫的服务决策是保守的，是全局最优的决策。
相比于传统的网络切片资源分配方法，本方法是动态分配的，包括服务的到达和离开，服务的时间都是随机变化的，底层系统资源也更加贴近实际，同时本方法在收益方面也优于传统的方法。图3示出基于马尔可夫决策过程模型与基于贪心算法的多域资源分配总收益仿真对比图。
本发明采用基于马尔可夫决策过程的多域网络服务资源提供商协作的分配方法，在底层的系统基础网络资源不足，网络切片部署花销庞大的背景下，采用多个底层的基础设备提供商联合协作，充分合理的利用资源。同时多域网络服务资源提供商系统根据当前的系统状态，面对即将到来的服务请求，在尽量满足用户服务请求的前提下，作出最优的决策，使得系统长期累积的收益最大化，底层资源的利用率最大化。
下述为本发明装置实施例，可以用于执行本发明方法实施例。
图4示出根据本发明一实施方式的数据监控装置的结构框图，该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图4所示，网络切片中多域资源分配装置包括：
第一获取模块401，被配置为获取当前网络切片服务请求。
在本实施例中，底层网络系统由多域网络服务资源提供商构成，但底层网络系统的资源是有限的，其中，多域网络服务资源提供商是指多个基础设施供应商(例如：移动、联通、电信、华为、中兴等)供应的基础设计的底层网络资源，包括无线的、有线的，相邻地域的基础设备供应商相互协作成为多域协作。
假设每个网络服务资源提供商都有K个资源块，基础设施在分配资源过程中是以最小的基础单元块为单位的，在部署网络切片过程中有很多虚拟化网络功能(VNF)需要部署在虚拟资源里，在本实施例中，采用最小的资源块，即虚拟资源单元(VRU)。
所述第一获取模块，包括第一获取子模块，被配置为获取当前网络切片服务请求类型及资源数量。每个网络服务资源提供商都有两类的服务请求，分别为新的服务请求和邻域传输服务请求,假设每个请求为c个资源 c∈{0,1,2...,C}，其中C代表网络服务资源提供商拥有的资源总量。当底层的物理资源被抽象成为虚拟资源后，会编排成一条服务链，即为一个网络切片。
假设新的服务和邻域传输服务到达底层网络系统都是随机的，服从泊松分布，即新的服务和邻域传输服务的到达率分别为λn,λt；底层网络系统处理服务的时间也是变化的，且新的服务和邻域传输服务在底层网络系统的处理时间服从指数分布，其服务速率为μ。
计算模块402，被配置为计算当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量的差值。
当前网络切片服务请求到达当前网络服务资源提供商S时，首先确定当前网络服务资源提供商S剩余的资源数量，若当前网络服务资源提供商 S剩余资源数量足够大时，表明当前网络服务资源提供商S还拥有足够的资源空间可以接受连续不断的网络切片服务请求；若当前网络服务资源提供商S没有拥有足够的资源空间，表明当前网络服务资源提供商S剩余资源数量不足够接受后续的网络切片服务请求时，此时需要从多域网络服务资源提供商的总收益角度考虑，判断当前网络服务资源提供商S是接受、拒绝或者将其服务传送给邻域的基础设施提供商。
接受模块403，被配置为若当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商S接受所述当前网络切片服务请求，并为其分配c个资源。
当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求资源数量的差值大于第一阈值C1时，表明当前网络服务资源提供商S 还拥有足够的资源空间可以接受连续不断的网络切片服务请求，此时，当前网络基础设备商S接受所述当前网络切片服务请求，并为其分配c个资源。本发明对第一阈值C1的具体数值不作具体限定，在实际应用中，可根据具体的需要来确定，比如可假设C1＝10c,或C1＝100c等。
第二获取模块404，被配置为若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，则基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策。
当前网络服务资源提供商S的剩余的资源数量与当前网络切片服务请求资源数量的差值小于第一阈值C1时，表明当前网络服务资源提供商S 并不拥有足够的资源空间去接受后续的网络切片服务请求时，此时需要从多域网络服务资源提供商的总收益角度考虑，采用强化学习方法对多域网络基础设备商的动作进行学习处理，获取多域网络基础设备商针对当前网络切片服务请求的服务决策。
在本发明的一个实施例中，所述强化学习方法为马尔可夫决策过程。马尔可夫决策过程是指决策者周期地或者连续地观察具有马尔可夫性的随机动态系统，根据观察到的每个时刻的状态，作出最优的动作决策，系统的状态是随机的，转移概率具有随机性。
在本发明的一个实施例中，所述第二获取模块，包括建立子模块、计算子模块和选取子模块，其中：
建立子模块，被配置为根据当前网络切片服务请求及多域网络服务资源提供商当前状态，建立马尔可夫决策过程模型。
根据当前网络切片服务请求及多域网络服务资源提供商当前状态，马尔可夫决策过程模型可用一个四元组<S,A,R,T>表示，其中，
S代表状态空间，可以表示多域网络服务资源提供商的资源空间状态及正在发生的事情e，当e∈An，表示当前网络切片服务向当前网络服务资源提供商S发起请求，e∈At表示当前网络服务资源提供商S转发当前网络切片服务请求到邻域网络服务资源提供商，而e∈FC{c＝1,2,3...C}表示其他网络切片服务将要离开并且当前网络服务资源提供商S要释放c个资源块。
A代表动作空间，可以表示多域网络基础设备商的动作，即采取的服务决策，所述多域网络基础设备商的动作包括但不限于接受当前网络切片服务请求并为其分配c个资源块、将当前网络切片服务请求传输到邻域网络基础设备商系统、拒绝当前网络切片服务请求、当前网络基础设备商系统释放资源且其他网络切片服务将要离开。当前网络切片服务请求到达当前网络服务资源提供商S时，当前网络服务资源提供商S做出服务决策，其中这里“服务决策”是指：
其中，a(s)＝-1表示当前网络切片服务请求传输到邻域网络服务资源提供商，a(s)＝0表示拒绝当前网络切片服务请求，a(s)＝c表示当前网络服务资源提供商S接受当前网络切片服务请求并且为其分配c个基本资源块。 a(s)＝-2表示当前网络服务资源提供商S在释放资源，其他网络切片服务将要离开。
R代表奖励函数，由于当前网络服务资源提供商S拒绝当前网络切片服务请求会产生一定的传输消耗费用，因此多域网络基础设备商系统在不同的状态下所采取的不同的动作的后的收益公式为：γ(s,a)＝ω(s,a)-g(s,a)，其中ω(s,a)表示多域网络基础设备商系统在状态s下执行动作a的总收入， g(s,a)表示多域网络基础设备商系统在状态s下执行动作a的总消耗。
T代表状态转移函数，在步骤S1中已设置新的服务和邻域传输服务的到达率分别为λn,λt，且新的服务和邻域传输服务在底层网络系统的处理时间服从指数分布，其服务速率为μ，我们可以计算出所有状态下在执行不同的动作后的到达新状态的转移概率q(j|s,a),表示由当前状态s到下一状态j的概率，其中q(j|s,a)是关于λn,λtμ,c的函数，在此就不详细列出。
计算子模块，被配置为根据马尔可夫决策过程模型，计算多域网络服务资源提供商的总收益。
在建立马尔可夫决策过程模型之后，多域网络服务资源提供商的总收益计算公式可表示为：
上式为贝尔曼方程，其中，γ(s,a)为当前多域网络服务资源提供商系统的总收益， 为归一化系数,α为折扣系数，确保了多域网络服务资源提供商的总收益最终收敛，v(s)表示状态s时当前多域网络服务资源提供商系统的总收益，ν(j)表示下一个状态j时多域网络服务资源提供商系统的总收益。
选取子模块，被配置为选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
通过强化学习值迭代的方法最终多域网络服务资源提供商的总收益会收敛，则收敛的值就是多域网络服务资源提供商的最大长期累积收益，选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
在本发明的一个实施例中，所述选取子模块，包括以下三种情况：
(1)若多域网络服务资源提供商的总收益最大时对应的动作是接受当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为当前网络服务资源提供商S接受当前网络切片服务请求并且为其分配c个基本资源块。
(2)若多域网络服务资源提供商的总收益最大时对应的动作是传输当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为当前网络切片服务请求传输到邻域网络服务资源提供商。
(3)若多域网络服务资源提供商的总收益最大时对应的动作是拒绝当前网络切片服务请求，则多域网络基础设备商针对当前网络切片服务请求的服务决策为拒绝当前网络切片服务请求。
本发明实施例还公开了一种电子设备，图5示出根据本发明一实施方式的电子设备的结构框图，如图5所示，所述电子设备500包括存储器501 和处理器502；其中，
所述存储器501用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器502执行以实现上述任一方法步骤。
图6是适于用来实现根据本发明一实施方式的网络切片中多域资源分配方法的计算机系统的结构示意图。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行上述实施方式中的各种处理。在 RAM603中，还存储有系统600操作所需的各种程序和数据。CPU601、ROM602 以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质 611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分 608。
特别地，根据本发明的实施方式，上文描述的方法可以被实现为计算机软件程序。例如，本发明的实施方式包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行所述数据监控方法的程序代码。在这样的实施方式中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种网络切片中多域资源分配方法，其特征在于，包括：
获取当前网络切片服务请求；
计算当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量的差值；
若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商接受所述当前网络切片服务请求并为其分配资源；
若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，则基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策。
2.根据权利要求1所述的一种网络切片中多域资源分配方法，其特征在于，所述获取当前网络切片服务请求，包括获取当前网络切片服务请求类型及资源数量。
3.根据权利要求2所述的一种网络切片中多域资源分配方法，其特征在于，基于多域网络服务资源提供商的总收益情况对所述服务请求做出服务决策的步骤进一步包括：
根据当前网络切片服务请求及多域网络服务资源提供商当前状态，建立马尔可夫决策过程模型；
根据马尔可夫决策过程模型，计算多域网络服务资源提供商的总收益；
选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
4.根据权利要求3所述的一种网络切片中多域资源分配方法，其特征在于，所述多域网络基础设备商的动作包括：所述当前网络服务资源商接受所述当前网络切片服务请求并为其分配资源、所述当前网络服务资源商拒绝所述当前网络切片服务请求、所述当前网络服务资源商将所述当前网络切片服务请求传输到邻域网络基础设备商、所述邻域网络基础设备商接受所述当前网络切片服务请求并为其分配资源、所述邻域网络服务资源商拒绝所述当前网络切片服务请求、所述当前或邻域网络基础设备商针对所述服务请求提供完服务后释放资源同时对应的网络切片离开系统。
5.一种网络切片中多域资源分配装置，其特征在于，包括：
第一获取模块，被配置为获取当前网络切片服务请求；
计算模块，被配置为计算当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量的差值；
接受模块，被配置为若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值大于第一阈值，所述当前网络基础设备商接受所述当前网络切片服务请求并为其分配资源；
第二获取模块，被配置为若当前网络服务资源提供商的剩余的资源数量与当前网络切片服务请求的资源数量差值小于第一阈值，获取多域网络基础设备商针对当前网络切片服务请求的服务决策。
6.根据权利要求5所述的一种网络切片中多域资源分配装置，其特征在于，所述第一获取模块，包括第一获取子模块，被配置为获取当前网络切片服务请求类型及资源数量。
7.根据权利要求6所述的网络切片中多域资源分配装置，其特征在于，所述第二获取模块，包括：
建立子模块，被配置为根据当前网络切片服务请求及多域网络服务资源提供商当前状态，建立马尔可夫决策过程模型；
计算子模块，被配置为根据马尔可夫决策过程模型，计算多域网络服务资源提供商的总收益；
选取子模块，被配置为选取多域网络服务资源提供商的总收益最大时对应的动作，作为多域网络基础设备商针对当前网络切片服务请求的服务决策。
8.根据权利要求7所述的一种网络切片中多域资源分配装置，其特征在于，所述多域网络基础设备商的动作包括：所述当前网络服务资源商接受所述当前网络切片服务请求并为其分配资源、所述当前网络服务资源商拒绝所述当前网络切片服务请求、所述当前网络服务资源商将所述当前网络切片服务请求传输到邻域网络基础设备商、所述邻域网络基础设备商接受所述当前网络切片服务请求并为其分配资源、所述邻域网络服务资源商拒绝所述当前网络切片服务请求、所述当前或邻域网络基础设备商针对所述服务请求提供完服务后释放资源同时对应的网络切片离开系统。
9.一种电子设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行以实现权利要求1-5任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该计算机指令被处理器执行时实现权利要求1-5任一项所述的方法步骤。
CN201811362302.8A 2018-11-15 2018-11-15 一种网络切片中多域资源分配方法及装置 Active CN109600798B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811362302.8A CN109600798B (zh) 2018-11-15 2018-11-15 一种网络切片中多域资源分配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811362302.8A CN109600798B (zh) 2018-11-15 2018-11-15 一种网络切片中多域资源分配方法及装置

Publications (2)

Publication Number Publication Date
CN109600798A true CN109600798A (zh) 2019-04-09
CN109600798B CN109600798B (zh) 2020-08-28

Family

ID=65957995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811362302.8A Active CN109600798B (zh) 2018-11-15 2018-11-15 一种网络切片中多域资源分配方法及装置

Country Status (1)

Country Link
CN (1) CN109600798B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111092751A (zh) * 2019-11-26 2020-05-01 中盈优创资讯科技有限公司 监控数据处理方法及装置
CN111277437A (zh) * 2020-01-17 2020-06-12 全球能源互联网研究院有限公司 一种智能电网的网络切片资源分配方法
CN111294762A (zh) * 2020-01-23 2020-06-16 北京邮电大学 基于无线接入网络ran切片协作的车辆业务处理方法
CN111556573A (zh) * 2020-04-24 2020-08-18 中国科学院计算技术研究所 一种激励切片协作的无线资源分配方法
CN111769988A (zh) * 2020-06-30 2020-10-13 中国科学院计算技术研究所 一种多切片共享基站资源的管理方法
WO2021139378A1 (zh) * 2020-01-07 2021-07-15 华为技术有限公司 通信方法和通信装置
CN113543210A (zh) * 2021-06-28 2021-10-22 北京科技大学 一种5G-TSN跨域QoS与资源映射方法、设备和计算机可读存储介质
CN114073055A (zh) * 2019-04-26 2022-02-18 三菱电机株式会社 网络控制器
CN114531342A (zh) * 2020-10-30 2022-05-24 中国电信股份有限公司 基于区块链的网络切片资源交易系统、方法和介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023169663A1 (en) * 2022-03-08 2023-09-14 Telefonaktiebolaget Lm Ericsson (Publ) End-to-end orchestration for network service negotiation

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412040A (zh) * 2016-09-19 2017-02-15 北京邮电大学 一种缓存资源分配的方法及装置
CN106922002A (zh) * 2017-04-26 2017-07-04 重庆邮电大学 一种基于内部拍卖机制的网络切片虚拟资源分配方法
CN108063830A (zh) * 2018-01-26 2018-05-22 重庆邮电大学 一种基于mdp的网络切片动态资源分配方法
CN108076531A (zh) * 2018-01-08 2018-05-25 北京邮电大学 一种面向多服务商的无线网络切片资源动态分配方法
CN108495358A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 一种基于nfv的网络切片选择方法
CN108810992A (zh) * 2017-05-02 2018-11-13 大唐移动通信设备有限公司 一种网络切片的资源控制方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106412040A (zh) * 2016-09-19 2017-02-15 北京邮电大学 一种缓存资源分配的方法及装置
CN106922002A (zh) * 2017-04-26 2017-07-04 重庆邮电大学 一种基于内部拍卖机制的网络切片虚拟资源分配方法
CN108810992A (zh) * 2017-05-02 2018-11-13 大唐移动通信设备有限公司 一种网络切片的资源控制方法和装置
CN108076531A (zh) * 2018-01-08 2018-05-25 北京邮电大学 一种面向多服务商的无线网络切片资源动态分配方法
CN108063830A (zh) * 2018-01-26 2018-05-22 重庆邮电大学 一种基于mdp的网络切片动态资源分配方法
CN108495358A (zh) * 2018-03-09 2018-09-04 西安电子科技大学 一种基于nfv的网络切片选择方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114073055B (zh) * 2019-04-26 2023-11-17 三菱电机株式会社 网络控制器
CN114073055A (zh) * 2019-04-26 2022-02-18 三菱电机株式会社 网络控制器
CN111092751A (zh) * 2019-11-26 2020-05-01 中盈优创资讯科技有限公司 监控数据处理方法及装置
CN111092751B (zh) * 2019-11-26 2022-04-19 中盈优创资讯科技有限公司 监控数据处理方法及装置
WO2021139378A1 (zh) * 2020-01-07 2021-07-15 华为技术有限公司 通信方法和通信装置
CN111277437B (zh) * 2020-01-17 2022-11-22 全球能源互联网研究院有限公司 一种智能电网的网络切片资源分配方法
CN111277437A (zh) * 2020-01-17 2020-06-12 全球能源互联网研究院有限公司 一种智能电网的网络切片资源分配方法
CN111294762B (zh) * 2020-01-23 2021-04-13 北京邮电大学 基于无线接入网络ran切片协作的车辆业务处理方法
CN111294762A (zh) * 2020-01-23 2020-06-16 北京邮电大学 基于无线接入网络ran切片协作的车辆业务处理方法
CN111556573A (zh) * 2020-04-24 2020-08-18 中国科学院计算技术研究所 一种激励切片协作的无线资源分配方法
CN111769988A (zh) * 2020-06-30 2020-10-13 中国科学院计算技术研究所 一种多切片共享基站资源的管理方法
CN114531342A (zh) * 2020-10-30 2022-05-24 中国电信股份有限公司 基于区块链的网络切片资源交易系统、方法和介质
CN114531342B (zh) * 2020-10-30 2024-04-09 中国电信股份有限公司 基于区块链的网络切片资源交易系统、方法和介质
CN113543210A (zh) * 2021-06-28 2021-10-22 北京科技大学 一种5G-TSN跨域QoS与资源映射方法、设备和计算机可读存储介质

Also Published As

Publication number Publication date
CN109600798B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN109600798B (zh) 一种网络切片中多域资源分配方法及装置
Lee et al. Resource allocation for vehicular fog computing using reinforcement learning combined with heuristic information
Yang et al. Resource assignment based on dynamic fuzzy clustering in elastic optical networks with multi-core fibers
CN111246586B (zh) 一种基于遗传算法的分配智能电网资源的方法及系统
CN113037877B (zh) 云边端架构下时空数据及资源调度的优化方法
CN109829332A (zh) 一种基于能量收集技术的联合计算卸载方法及装置
Wang et al. Dual-driven resource management for sustainable computing in the blockchain-supported digital twin IoT
CN116541106B (zh) 计算任务卸载方法、计算设备及存储介质
CN111277860B (zh) 移动边缘网络中视频缓存的方法、装置、设备及可读介质
CN109743751B (zh) 无线接入网的资源分配方法及装置
CN113271221B (zh) 网络能力开放方法、系统及电子设备
CN106846031A (zh) 基于信誉系统和Stackelberg博弈的可信P2P流媒体带宽定价方法
CN112187670B (zh) 一种基于群体智能的网络化软件共享资源分配方法及装置
Al-Hilo et al. Vehicle-assisted RSU caching using deep reinforcement learning
Kibalya et al. A novel dynamic programming inspired algorithm for embedding of virtual networks in future networks
Xu et al. Online learning algorithms for offloading augmented reality requests with uncertain demands in MECs
Poryazov et al. Three intuitionistic fuzzy estimations of uncertainty in service compositions
CN111694670B (zh) 资源分配方法、装置、设备和计算机可读介质
Halabi et al. Reliability-driven task assignment in vehicular crowdsourcing: A matching game
JP7510661B2 (ja) 制御量算出装置及び制御量算出方法
CN115361453B (zh) 一种面向边缘服务网络的负载公平卸载与迁移方法
Xu et al. Learning-driven algorithms for responsive AR offloading with non-deterministic rewards in metaverse-enabled MEC
Jasim et al. Optimal intelligent edge‐servers placement in the healthcare field
CN111328107B (zh) 多云异构移动边缘计算系统架构和能量优化的设计方法
Chen et al. Deep reinforcement learning based container cluster placement strategy in edge computing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant