CN115397026A - 一种接入网系统的资源调度方法 - Google Patents

一种接入网系统的资源调度方法 Download PDF

Info

Publication number
CN115397026A
CN115397026A CN202211022472.8A CN202211022472A CN115397026A CN 115397026 A CN115397026 A CN 115397026A CN 202211022472 A CN202211022472 A CN 202211022472A CN 115397026 A CN115397026 A CN 115397026A
Authority
CN
China
Prior art keywords
utilization rate
cpu utilization
enabled
control module
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211022472.8A
Other languages
English (en)
Inventor
袁春经
陈宇
方泽诚
田雨
王园园
田霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Computing Technology of CAS
Original Assignee
Institute of Computing Technology of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Computing Technology of CAS filed Critical Institute of Computing Technology of CAS
Priority to CN202211022472.8A priority Critical patent/CN115397026A/zh
Publication of CN115397026A publication Critical patent/CN115397026A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/18Network planning tools
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W16/00Network planning, e.g. coverage or traffic planning tools; Network deployment, e.g. resource partitioning or cells structures
    • H04W16/22Traffic simulation tools or models
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W28/00Network traffic management; Network resource management
    • H04W28/02Traffic management, e.g. flow control or congestion control
    • H04W28/08Load balancing or load distribution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/455Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533Hypervisors; Virtual machine monitors
    • G06F9/45558Hypervisor-specific management and integration aspects
    • G06F2009/45595Network integration; Enabling network access in virtual machine instances
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本发明提供了一种接入网系统的资源调度方法及预测模型,方法包括:监测该覆盖区域当前已启用的无线收发装置对应的已启用容器副本数量以及其对应的控制模块在一段时间内的历史CPU使用率时间序列;利用预测模型根据历史CPU使用率序列预测未来预设时间段内该控制模块所需的CPU使用率预测值;根据CPU使用率预测值、预设的控制模块的CPU使用率预警值以及已启用容器副本数量调度无线收发装置对应的控制模块所需的运行资源。本发明的技术方案通过提前对接入网的负载进行预测,并根据预测的负载量在云端为接入网中所有基站中启用的无线收发装置对应的控制模块调度所需运行资源,从而使得接入网可以根据实时需求进行资源的动态调整。

Description

一种接入网系统的资源调度方法
技术领域
本发明涉及移动通信技术领域,更具体地说,涉及一种接入网系统的资源调度方法。
背景技术
在5G加速部署的过程中,除了业务的多样性为5G带来的挑战之外,通信业务的潮汐效应也造成业务对应的数据量和负载随着时间、地点发生变化。
潮汐效应普遍存在于办公区、学校以及居民区等区域,在不同的时间和区域内,小区内的数据业务和负载压力不同,比如白天办公区基站的负载高于居民区,深夜居民区基站的负载高于办公区等。基站作为接入网的功能实体,当面对潮汐效应时,如果接入网不做出相应的适应性调整,则会在波峰处造成负载压力过大,波谷处造成大量的资源浪费。因此为了对接入网系统资源的合理利用,需要对接入网的资源进行动态按需调整。
现目前通信网络中应对潮汐效应的方法是根据流量负载变化对接入网中部分基站进行休眠或关闭,但是这种方式采用固定时间段或人工的方式进行操作,对潮汐效应的实际情况无法准确感知,不能敏捷地应对流量需求的变化。
发明内容
因此,本发明的目的在于克服上述现有技术的缺陷,提供一种接入网系统的资源调度方法及预测模型。
本发明的目的是通过以下技术方案实现的:
根据本发明的第一方面,提供一种接入网系统的资源调度方法,所述接入网系统包括资源调度平台和多个基站,同一基站对同一覆盖区域配置有按需启用的多套无线收发装置,所述无线收发装置由与之建立连接的控制模块控制运行并与控制模块共同建立为用户服务的小区,所述资源调度平台在云端为所有基站中启用的无线收发装置对应的控制模块调度所需运行资源并以容器副本的形式部署控制模块,所述运行资源包括CPU资源,所述方法包括按照预设的频率采用以下方式为每个覆盖区域配置的无线收发装置对应的控制模块调度所需运行资源:
监测该覆盖区域当前已启用的无线收发装置对应的已启用容器副本数量以及其对应的控制模块在一段时间内的历史CPU使用率时间序列;
利用预先训练的预测模型根据所述历史CPU使用率序列预测未来预设时间段内该控制模块所需的CPU使用率预测值;
根据CPU使用率预测值、预设的控制模块的CPU使用率预警值以及已启用容器副本数量获得未来需启用容器副本的期望数量,并根据期望数量与已启用数量调度无线收发装置对应的控制模块所需的运行资源,其中,在容器副本的期望数量大于已启用数量时,通过增加容器副本的启用数量来增加对应控制模块所需的运行资源,在容器副本的期望数量小于已启用数量时,通过减少已启用容器副本的数量来减少对应控制模块所需的运行资源。
在本发明的一些实施例中,所述方法包括:
在容器副本的期望数量大于已启用数量时,启用新的无线收发装置,并建立增加的容器副本与新的无线收发装置的连接,生成为用户服务的新的小区;
在容器副本的期望数量小于已启用数量时,停用超出期望数量的容器副本对应的控制模块控制的小区并回收对应容器副本的运行资源以及关闭对应的无线收发装置。
在本发明的一些实施例中,所述接入网系统包括以下至少一种架构形式的基站:
基站为包括基带处理单元和射频收发单元的架构形式,所述无线收发装置为射频收发单元,所述控制模块为实现基带处理单元对应的功能的模块;
基站为包括集中单元、分布单元和有源天线单元的架构形式,所述无线收发装置为有源天线单元,所述控制模块为实现集中单元、分布单元对应的功能的模块,并且集中单元和分布单元作为不同类型的控制模块以容器副本的形式部署;和
基站为包括控制面集中单元、用户面集中单元、分布单元和有源天线单元的架构形式,所述无线收发装置设置为有源天线单元,所述控制模块为实现控制面集中单元、用户面集中单元、分布单元对应的功能的模块,并且控制面集中单元、用户面集中单元、分布单元作为不同类型的控制模块以容器副本的形式部署。
在本发明的一些实施例中,针对基带处理单元、分布单元、集中单元或者用户面集中单元对应类型的控制模块,分别确定每种类型的控制模块对应容器副本的期望数量,所述期望数量通过向上取整函数获取已启用容器数量与比例系数的乘积来获取;其中,所述比例系数为所述CPU使用率预测值和所述CPU使用率预警值的比值。
在本发明的一些实施例中,所述期望数量按照以下方式确定:
Figure BDA0003814583150000031
其中,R′expect表示需启用容器副本的期望数量;Rcur表示已启用容器副本数量;CPUpred表示CPU使用率预测值,CPUthreshold表示CPU使用率预警值,ceil表示向上取整函数。
在本发明的一些实施例中,在利用向上取整函数获取到所述期望数量时,比较所述期望数量与预先为该控制模块对应的容器副本设置的期望数量阈值的大小,并在所述期望数量大于所述期望数量阈值时,选择所述期望数量阈值作为最终的期望数量。
在本发明的一些实施例中,在减少已启用容器副本的数量时,基于已启用容器副本优先级由低到高的顺序回收对应容器副本的运行资源。
在本发明的一些实施例中,所述预测模型为ARIMA-LSTM混合模型,且所述ARIMA-LSTM混合模型以通过平稳性检验的历史CPU使用率序列为输入、以CPU使用率预测值序列为输出经训练获得。
根据本发明的第二方面,提供一种应用于第一方面所述方法中用于预测控制模块所需运行资源的预测模型,其特征在于,所述预测模型包括:
ARIMA模型,用于根据通过平稳性检验的历史CPU使用率序列输出第一CPU使用率预测值序列和残差序列,其中,所述残差序列中的残差值为所述第一CPU使用率预测值序列中的第一CPU使用率预测值和输入的CPU使用率序列中对应的CPU使用率值的差值;
LSTM模型,用于根据所述残差序列输出第二CPU使用率预测值序列,所述LSTM模型的输出门之后添加有注意力机制层;
输出模块,用于将所述第一CPU使用率预测值序列和所述第二CPU使用率预测值序列相加,输出包括未来预设时间段内的CPU使用率预测值的CPU使用率预测值序列。
根据本发明的第三方面,提供一种电子设备,其特征在于,包括:
存储器,其中存储器用于存储可执行指令;
所述一个或多个处理器被配置为经由执行所述可执行指令以实现第一方面所述方法的步骤。
与现有技术相比,本发明的优点在于:
一方面将基站进行云化设计并在同一基站的同一覆盖区域配置有按需启用的多套无线收发装置,从而可以利用云原生机制中的弹性伸缩技术对基站所需运行资源和无线收发装置启用数量的灵活调整;另一方面通过预测模型对基站所需的资源提前进行预测,从而使得接入网系统可以根据预测的资源提前进行伸缩调度,以确保资源调度的及时性。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1为根据本发明实施例提供的接入网系统的一种资源调度流程示意图;
图2为根据本发明实施例提供的预测模型的预测流程示意图;
图3为根据本发明实施例提供的ARIMA模型的训练流程示意图;
图4为根据本发明实施例提供的LSTM模型的训练流程示意图;
图5为根据本发明实施例提供的接入网系统的另一种资源调度流程示意图;
图6为根据本发明实施例提供的接入网系统架构示意图。
具体实施方式
为了使本发明的目的,技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
如在背景技术部分提到的,现有的通信网络不能准确的感知潮汐效应的出现,也无法根据实时需求进行资源的动态灵活调整。为解决上述技术问题,本申请实施例通过将接入网系统中的基站进行云化设计(即:将基站中用于启用无线收发装置对应的控制模块以容器副本的形式部署在云端,同时在云端为基站中启用的无线收发装置对应的控制模块调度运行资源)并在同一基站的同一覆盖区域配置有按需启用的多套无线收发装置,从而使得接入网系统可以利用云原生机制中的弹性伸缩技术对基站所需运行资源和无线收发装置启用数量的灵活调整。概括来说,在预定的频率内,本发明通过预测模型去感知每个覆盖区域未来的资源需求,对每个覆盖区域所需的资源动态伸缩调整,提前分配好资源,更好地满足每个覆盖区域未来服务用户所需的资源。其中,本发明通过以基站的每个覆盖区域的历史CPU使用率序列为输入、以CPU使用率预测值序列为输出训练的预测模型来对基站的每个覆盖区域未来所需资源进行预测,更好的感知负载潮汐效应带来的资源需求,以更敏捷地面对资源需求的变化,从而使得接入网系统可以在预测的所需资源超过或低于预先设置的所需资源阈值时进行对应的伸缩操作,以通过提前进行伸缩操作的方式来调度该覆盖区域所需的资源,从而确保资源调度的及时性。
为了更好的理解本发明,下面从模型结构、训练样本、训练方式几个方面介绍一下预测模型的训练。
一、模型结构
由于预测模型是根据历史流量负载时间序列来对包括t2时刻/时间段(t2=t+t1,t表示当前时刻/时间段,t1表示伸缩操作所需的操作时间)的接入网的流量负载进行预测,因此为实现上述技术方案,需选取时间序列模型来实现,根据本发明的一个实施例,预测模型可以采用ARIMA模型(差分整合移动回归模型(Autoregressive Integrated MovingAverage model))或LSTM模型(长短期记忆网络(Long Short-Term Memory,LSTM))来实现。进一步地,考虑到在接入网系统中,流量负载的高低主要通过控制模块的CPU使用率来体现,而由于接入网系统中的潮汐效应以及自身波动的影响,导致控制模块的CPU使用率既包括线性部分又包括非线性部分,使得ARIMA模型(ARIMA模型具备较好的线性拟合能力,对于非线性和非平稳的数据预测结果相对较差)或LSTM模型(则与ARIMA模型相反,具备较好的非线性拟合能力,对于线性和平稳的数据预测结果相对较差)不能准确的对本申请中既包括线性部分又包括非线性部分的CPU使用率序列进行预测,因此,为提高对CPU使用率序列预测的准确度,根据本发明的一个实施例,将对线性部分具有较好拟合能力的ARIMA模型和对非线性部分具有较好拟合能力的LSTM/BiLSTM模型组合起来,形成ARIMA-LSTM混合模型或ARIMA-BiLSTM混合模型来对既包含线性部分又包括非线性部分的CPU使用率序列进行预测。由于ARIMA-LSTM混合模型和ARIMA-BiLSTM混合模型中的区别仅在于ARIMA-LSTM混合模型中的长短期记忆网络为单向长短期记忆网络,ARIMA-BiLSTM混合模型中的长短期记忆网络为双向长短期记忆网络,两者结构类似,训练流程一致,因此,以下以ARIMA-LSTM混合模型为例对预测模型进行说明:
本申请实施例提供的ARIMA-LSTM混合模型,如图2所示,包括:
ARIMA模型,用于根据通过平稳性检验的历史CPU使用率序列F(t)输出第一CPU使用率预测值序列M′(t)和残差序列N(t),其中,残差序列N(t)中的残差值为第一CPU使用率预测值序列M′(t)中的第一CPU使用率预测值和输入的CPU使用率序列F(t)中对应的CPU使用率值的差值;
LSTM模型,用于根据残差序列N(t)输出第二CPU使用率预测值序列N′(t);
输出模块,用于将第一CPU使用率预测值序列M′(t)和第二CPU使用率预测值序列相加,输出包括未来预设时间段内的CPU使用率预测值的CPU使用率预测值序列F′(t),即:F′(t)=M′(t)+N′(t)。
进一步地,考虑到对时序数据而言,注意力机制层可以使模型更加关注对结果影响较大的时间点(影响较大的时间点是指注意力得分最高的时间点,其中,注意力得分由注意力机制层基于前n个历史时刻的隐藏状态与当前细胞状态计算而来,注意力得分越高代表该历史时刻的隐藏状态对当前时刻输入的重要度就越高,其对结果的影响越大),因此为了进一步提高预测模型的预测结果准确度,根据本发明的一个实施例,在LSTM模型的输出门之后添加有一个或者多个注意力机制层,通过将注意力机制层和LSTM模型相结合,使得在计算当前时刻(T时刻)的输出状态时,能够综合考虑前面n个时刻(T-1,T-2,…,T-n时刻)的隐藏状态,并基于注意力机制层对历史序列的隐藏状态分配不同的注意力系数,进而使得LSTM模型输出序列中的每一项的生成概率都受输入的多个历史序列隐藏状态的影响,以提升预测的精确度。
二、训练样本
在预测模型的网络结构设置好了以后,为了能利用该预测模型根据通过平稳性检验的历史CPU使用率序列来预测未来预设时间段内的CPU使用率预测值,还需要构建训练集并用构建的训练集来对该预测模型进行训练,以通过不断的迭代训练来获取预测模型的最佳参数,从而使得预测模型能够根据输入的历史CPU使用率序列输出未来预设时间段内的CPU使用率预测值。
根据本发明的一个实施例,训练集包括第一训练集和第二训练集,其中,第一训练集用于构建和训练ARIMA模型,其包括多个第一训练样本,每个第一训练样本包括CPU使用率序列。根据本发明的一个实施例,第一训练集中的CPU使用率序列可以通过将接入网的历史CPU使用率序列按指定序列长度分割而成,例如将一个总序列长度为50的历史CPU使用率序列以10作为序列长度分割成5个第一训练样本,即5个第一训练样本依次为{F1,F2,…,F10}、{F11,F12,…,F20}、{F21,F22,…,F30}、{F31,F32,…,F40}以及{F41,F42,…,F40};其中,为了尽可能多的增加第一训练样本的数量,作为优选地,可以采取以窗口大小为D,滑动步长为d的滑动窗口策略对接入网的历史CPU使用率序列进行划分,例如将一个总序列长度为50的历史CPU使用率序列以10作为窗口大小,1作为滑动步长分割成41个第一训练样本,则41个第一训练样本依次为{F1,F2,…,F10}、{F2,F3,…,F11}、{F3,F2,…,F12}、……{F41,F42,…,F50}。其中,值得说明的是,以上对序列长度的设置仅为示意,以便直观理解本发明的技术方案,实际应用时,可根据应用现场的需求以及设备的具体情况按需设置。
另外,还值得说明的是,在获取CPU使用率序列时,采集CPU使用率的间隔时间可以按需设置,例如间隔时间可以设置为1s、10s、1min、5min、1h、2h或者其他,根据本发明的一个实施例,发明人通过对接入网的历史CPU使用率序列进行分析发现,在一个小时内,CPU使用率波动幅度较小,可近似认为保持不变,因此将采集CPU使用率的间隔时间设置为1h。
第二训练集用于训练LSTM模型,其包括多个第二训练样本,每个第二训练样本包括残差序列;其中,每个第二训练样本中的残差序列为输入至训练完毕的ARIMA模型的CPU使用率序列与其对应输出的CPU使用率预测值序列的差值。其中,输入至训练完毕的ARIMA模型的CPU使用率序列可以与第一训练集中的CPU使用率序列相同,也可以不同。为了减少构建训练集的时间,作为优选的,输入至训练完毕的ARIMA模型的CPU使用率序列与第一训练集中的CPU使用率序列相同。
三、训练方式
在预测模型的网络结构和训练样本均构建好以后,为了能利用该预测模型根据历史CPU使用率序列预测出准确的CPU使用率预测值,还需要利用训练集来对该预测模型进行训练,以获预测模型的最佳参数。以下对预测模型的训练过程进行说明:
预测模型的训练过程包括ARIMA模型的训练过程和LSTM模型的训练过程,其中,ARIMA模型的训练过程包括ARIMA模型的构建和ARIMA模型的训练两部分,如图3所示,以下分别对ARIMA模型的构建和ARIMA模型的训练过程进行说明:
1、ARIMA模型的训练
1.1、ARIMA模型的构建
对第一训练集中的CPU使用率序列进行平稳性检验,得到第一检验结果;当第一检验结果为是时,根据该CPU使用率数据序列的自相关图和偏相关图分别确定自回归项数的数值范围和移动平均项数的数值范围,并根据自回归项数的数值范围中的每一数值和移动平均项数的数值范围中的每一数值建立多个ARIMA模型,并应用赤池信息准则(AIC)或贝叶斯信息准则(BIC)从多个ARIMA模型中确定ARIMA模型的p,d,q参数,其中p代表自回归项、d代表差分项、q代表移动平均项;当第一检验结果为否时,首先对该CPU使用率数据序列进行差分处理,得到差分后的CPU使用率数据序列;然后对当前差分后的CPU使用率数据序列进行平稳性检验,得到第二检验结果;若第二检验结果为是时,返回根据该CPU使用率数据序列的自相关图和偏相关图分别确定自回归项数的数值范围和移动平均项数的数值范围的步骤;若第二检验结果为否时,则对差分后的CPU使用率数据序列再次进行差分处理,得到多阶差分后的CPU使用率数据序列,并令多阶差分后的CPU使用率数据序列为当前差分后的CPU使用率数据序列,并返回对当前差分后的CPU使用率数据序列进行平稳性检验,直至第二检验结果为是。根据本发明的一个实施例,根据该CPU使用率数据序列的自相关图和偏相关图分别确定自回归项数的数值范围和移动平均项数的数值范围包括以下步骤:首先根据自相关图和偏自相关图分别计算自相关系数和偏自相关系数,然后根据自相关系数首次出现截尾时对应的延迟阶数确定自回归项数的数值范围,根据偏自相关系数首次出现衰减趋势时对应的延迟阶数确定移动平均项数的数值范围。
1.2、ARIMA模型的训练
在获取到ARIMA模型的p,d,q参数后,还需要利用第一训练集训练ARIMA模型来确定ARIMA模型的系数,根据本发明的一个实施例,在训练ARIMA模型时,首先需要对第一训练集中的CPU使用率序列进行平稳性检验,并对不满足平稳性校验CPU使用率序列进行差分处理以获取通过平稳性校验的CPU使用率序列,然后将通过平稳性校验的CPU使用率序列输入至已确定p,d,q参数的ARIMA模型中进行训练,从而得到训练好的ARIMA模型,进而可以根据输入的历史CPU使用率序列预测线性部分的CPU使用率预测值序列。
2、LSTM模型的训练
根据本发明的一个实施例,如图4所示,在训练LSTM模型时,LSTM模型根据第二训练集中的残差序列输出非线性部分的CPU使用率预测值序列,利用残差序列前移一个时间点得到自监督序列与非线性部分的CPU使用率预测值序列计算的损失值更新LSTM模型的参数,直至损失函数收敛或者迭代次数达到迭代次数阈值,从而得到最优的LSTM模型。根据本发明的一个实施例,使用均方误差函数(Mean Squared Error,MSE)作为训练的损失函数,使用Adam算法作为优化器,训练目标至损失函数收敛或者迭代次数达到迭代次数阈值。
经过上述实施例训练后的预测模型可以实现基于历史CPU使用率序列预测未来预设时间段内所需的CPU使用率预测值。
如前面提到的,本发明为了解决背景技术部分所提到的技术问题,提出了将基站进行云化设计并引入预测模型的技术方案,以此来利用云原生机制中的弹性伸缩技术来对基站的每个覆盖区域所需资源进行灵活调整。
根据本发明的一个实施例,本发明提供一种接入网系统的资源调度方法,其中,接入网系统包括资源调度平台和多个基站,同一基站对同一覆盖区域(同一覆盖区域可以是基站所有扇区覆盖的区域(粗粒度),也可以是基站的某一个扇区所覆盖的区域(细粒度),在具体实施时,可按需选择,本申请实施例不对其做任何限制)配置有按需启用的多套无线收发装置,无线收发装置由与之建立连接的控制模块控制运行并与控制模块共同建立为用户服务的小区,资源调度平台在云端为所有基站中启用的无线收发装置对应的控制模块调度所需运行资源并以容器副本的形式部署控制模块,运行资源包括CPU资源,方法包括按照预设的频率采用以下步骤为每个覆盖区域配置的无线收发装置对应的控制模块调度所需运行资源和/或部署控制模块,如图1所示,包括:
S1:监测该覆盖区域当前已启用的无线收发装置对应的已启用容器副本数量以及其对应的控制模块在一段时间内的历史CPU使用率时间序列;由于本方案是将基站进行云化设计,而云服务平台(资源管理平台)对资源监控是现有技术,因此本方案不对其具体实现过程进行说明,例如,在kubernetes系统中,采用cAdvisor收集容器副本(Pod)中CPU、内存、网络等资源使用情况。此外,考虑到在云服务平台中会存在负载均衡机制,因此在本发明的一个实施例中,针对一个已启用的无线收发装置,只需监测其对应的一个控制模块在一段时间内的历史CPU使用率时间序列即可。
S2:利用前述实施例提供的预测模型根据历史CPU使用率序列预测未来预设时间段内该控制模块所需的CPU使用率预测值;
S3:根据CPU使用率预测值、预设的控制模块的CPU使用率预警值以及已启用容器副本数量获得未来需启用容器副本的期望数量,并根据期望数量与已启用数量调度无线收发装置对应的控制模块所需的运行资源。
根据本发明的一个实施例,在根据期望数量与已启用数量调度无线收发装置对应的控制模块所需的运行资源时,若容器副本的期望数量大于已启用数量,则通过增加容器副本的启用数量来增加对应控制模块所需的运行资源;若容器副本的期望数量小于已启用数量,则通过减少已启用容器副本的数量来减少对应控制模块所需的运行资源。同时,为保证接入网系统的通信质量,作为优选地,在减少已启用容器副本的数量时,基于已启用容器副本优先级由低到高的顺序回收对应容器副本的运行资源。其中,已启用容器副本的优先级可以基于云平台自身的打分机制(比如K8s中的打分机制)来实现,容器副本的分数越高,其优先级越高,容器副本的分数越低,其优先级越低,在得到每个容器副本的分数后,通过删除超出期望数量且分数最低的容器副本以实现回收对应容器副本的运行资源。
根据本发明的一个实施例,根据期望数量与已启用数量提前预定时间调度无线收发装置对应的控制模块所需的运行资源并部署控制模块。提前的预定时间可以根据实施者的需要设置,本发明对此不作任何限制,例如是提前1分钟、2分钟、200秒等。
根据本发明的一个实施例,期望数量通过向上取整函数获取已启用容器数量与比例系数的乘积来获取;其中,比例系数为CPU使用率预测值和CPU使用率预警值的比值。根据本发明的一个实施例,期望数量按照以下方式确定:
Figure BDA0003814583150000111
其中,R′expect表示需启用容器副本的期望数量;Rcur表示已启用容器副本数量;CPUpred表示CPU使用率预测值,CPUthreshold表示CPU使用率预警值,ceil表示向上取整函数。
进一步地,考虑到上述实施例虽然在云端根据基站的流量负载调整了相应的运行资源,但是由于基站的硬件设备(无线收发装置)并没有做相应的调整,依旧存在与基站的流量负载不匹配的情况,基于此,为了更好的应对通信系统的潮汐效应,根据本发明的一个实施例,在容器副本的期望数量大于已启用数量时,启用新的无线收发装置,并建立增加的容器副本与新的无线收发装置的连接,生成为用户服务的新的小区;在容器副本的期望数量小于已启用数量时,停用超出期望数量的容器副本对应的控制模块控制的小区并回收对应容器副本的运行资源以及关闭对应的无线收发装置。
进一步地,考虑到现目前的基站有三种不同的架构形式,在进行基站的云化设计时,不同架构形式的基站存在不同的部署方式和资源分配方式,以下分别对不同架构的基站在进行云化设计时的部署方式及资源调度过程进行说明:
架构1:基带处理单元(BBU)和射频收发单元(RRU)的架构形式基站的部署方式为:
无线收发装置设置为射频收发单元,控制模块设置为实现基带处理单元对应的功能的模块,并以容器副本的形式部署在资源调度平台;
资源调度过程为:
当容器副本的期望数量大于已启用数量时,一方面通过增加容器副本的启用数量来增加对应控制模块所需的运行资源,另一方面通过启用新的无线收发装置,并建立增加的容器副本与新的无线收发装置的连接,生成为用户服务的新的小区;当容器副本的期望数量小于已启用数量时,一方面通过减少已启用容器副本的数量来减少对应控制模块所需的运行资源,另一方面通过停用超出期望数量的容器副本对应的控制模块控制的小区并回收对应容器副本的运行资源以及关闭对应的无线收发装置。
架构2:集中单元(CU)、分布单元(DU)和有源天线单元(AAU)的架构形式
基站的部署方式为:
无线收发装置设置为有源天线单元,控制模块设置为实现集中单元、分布单元对应的功能的模块,并且集中单元和分布单元作为不同类型的控制模块以容器副本的形式部署;其中,一个集中单元可以连接多个分布单元,每个分布单元对应一个无线收发装置。
资源调度过程为:
当集中单元、分布单元对应类型的控制模块的容器副本的期望数量大于已启用数量时,一方面通过增加该类型的控制模块的容器副本的启用数量来增加对应控制模块所需的运行资源;另一方面,如果增加的是分布单元对应类型的控制模块的容器副本,还通过启用新的无线收发装置,并建立分布单元与该增加的容器副本之间以及该增加的容器副本与新启用的无线收发装置的连接,生成为用户服务的新的小区;
当集中单元、分布单元对应类型的控制模块的容器副本的期望数量小于已启用数量时,一方面通过减少该类型的控制模块的已启用容器副本的数量来减少对应控制模块所需的运行资源;另一方面,如果减少的是分布单元对应类型的控制模块的容器副本,还通过回收超出期望数量的分布单元对应类型的控制模块的容器副本的运行资源以及关闭与其建立连接的无线收发装置和分布单元,以停用超出期望数量的分布单元对应类型的控制模块控制的小区。
架构3:控制面集中单元(CUCP)、用户面集中单元(CUUP)、分布单元(DU)和有源天线单元(AAU)的架构形式
基站的部署方式为:
无线收发装置设置为有源天线单元,控制模块设置为实现控制面集中单元、用户面集中单元、分布单元对应的功能的模块,并且控制面集中单元、用户面集中单元、分布单元作为不同类型的控制模块以容器副本的形式部署;其中,一个控制面集中单元可以连接多个用户面集中单元,每个用户面集中单元连接一个分布单元,一个分布单元对应一个无线收发装置。
资源调度过程为:
当用户面集中单元或者分布单元对应类型的控制模块的容器副本的期望数量大于已启用数量时,一方面通过增加该类型的控制模块的容器副本的启用数量来增加对应控制模块所需的运行资源;另一方面,如果增加的是分布单元对应类型的控制模块的容器副本,还通过启用新的无线收发装置,并建立分布单元与该增加的容器副本之间以及该增加的容器副本与新启用的无线收发装置的连接,生成为用户服务的新的小区;
当用户面集中单元或者分布单元对应类型的控制模块的容器副本的期望数量小于已启用数量时,一方面通过减少该类型的控制模块的已启用容器副本的数量来减少对应控制模块所需的运行资源;另一方面,如果减少的是分布单元对应类型的控制模块的容器副本,还通过超出期望数量的分布单元对应类型的控制模块的容器副本的运行资源以及关闭与其建立连接的无线收发装置和分布单元,以停用超出期望数量的分布单元对应类型的控制模块控制的小区。
进一步地,考虑到接入网系统的基站在进行扩容操作时,需要从资源调度平台的镜像仓库中拉取相应的基站镜像,由于基站镜像包含基站依赖的所有软件环境,在运行时占用的CPU和内存较大,因此为了避免基站扩容时占据过多的系统资源,根据本发明的一个实施例,接入网系统还针对基站的每一个类型的容器副本数设置了期望数量阈值,在利用向上取整函数获取到的期望数量大于对应的容器副本设置的期望数量阈值时,选择期望数量阈值作为最终的期望数量,并进行后续的扩容操作,如图5所示。
其中需要说明的是,基站在进行云化设计时,可以基于不同的云服务器实现,在具体实施时,可根据实际需求进行选择,本实施例不对其做任何限制。例如,根据本发明的一个实施例,接入网系统中的资源调度平台可基于Kubernetes容器集群管理平台实现,如图6所示,其包括一个主节点和多个接入节点;其中,主节点部署有资源监控模块、负载预测模块、弹性伸缩模块、副本控制器(Replication Controller)以及访问控制接口(APIServer);接入节点中部署有管控模块以及基站中用于启用无线收发装置对应的控制模块,根据本发明的一个实施例,接入节点中的控制模块为实现控制面集中单元、用户面集中单元、分布单元对应的功能的模块,并且控制面集中单元、用户面集中单元、分布单元作为不同类型的控制模块以Pod(含有一个或者多个容器副本)的形式部署,且一个控制面集中单元可以连接多个用户面集中单元,每个用户面集中单元连接一个分布单元,一个分布单元对应一个有源天线。进一步地,为保证基站侧硬件设备对通信数据的处理效率,作为优选地,还可以配置FPGA加速卡,通过相应的控制模块(比如DU Pod)调用FPGA加速卡处理通信数据,以进一步提升通信质量。
资源调度平台工作时,通过资源监控模块获取集中单元或分布单元对应类型的控制模块的Pod的CPU使用率序列,其次将获取的CPU使用率序列传输至负载预测模块,负载预测模块利用预测模型根据资源监控模块提供的CPU使用率序列进行负载预测,得到预测的CPU使用率预测值序列,然后弹性伸缩模块根据负载预测模块预测的CPU使用率预测值序列、预先设置的集中单元或分布单元对应类型的控制模块的Pod的CPU使用率预警值以及接入节点已启用的集中单元或分布单元对应类型的控制模块的Pod副本数计算得到期望副本数,最后将期望副本数发送给副本控制器,通过副本控制器根据期望副本数与已启用副本数的数量关系生成相应控制指令(扩容指令或缩容指令)并通过访问控制接口控制接入节点进行相应的Pod扩容操作或Pod缩容操作;同时,由于接入节点中存在管控模块,可以根据新扩容Pod副本为其下发基站所需要的配置参数,并通过建立新扩容Pod副本或删除已启用Pod副本与无线收发装置的连接来建立或删除小区等操作。
其中,需要说明的是,管控模块的功能为现有技术,本申请实施例并不涉及对其的改进,因此不对其具体的工作原理进行详细阐述。根据本发明的一个实施例,还可以将管控模块实现的功能集成到主节点,通过主节点的控制来完成对应的基站启动、建立或删除小区等操作。
需要说明的是,虽然上文按照特定顺序描述了各个步骤,但是并不意味着必须按照上述特定顺序来执行各个步骤,实际上,这些步骤中的一些可以并发执行,甚至改变顺序,只要能够实现所需要的功能即可。
本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
计算机可读存储介质可以是保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以包括但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。
以上已经描述了本发明的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (11)

1.一种接入网系统的资源调度方法,其特征在于,所述接入网系统包括资源调度平台和多个基站,同一基站对同一覆盖区域配置有按需启用的多套无线收发装置,所述无线收发装置由与之建立连接的控制模块控制运行并与控制模块共同建立为用户服务的小区,所述资源调度平台在云端为所有基站中启用的无线收发装置对应的控制模块调度所需运行资源并以容器副本的形式部署控制模块,所述运行资源包括CPU资源,所述方法包括按照预设的频率采用以下方式为每个覆盖区域配置的无线收发装置对应的控制模块调度所需运行资源:
监测该覆盖区域当前已启用的无线收发装置对应的已启用容器副本数量以及其对应的控制模块在一段时间内的历史CPU使用率时间序列;
利用预先训练的预测模型根据所述历史CPU使用率序列预测未来预设时间段内该控制模块所需的CPU使用率预测值;
根据CPU使用率预测值、预设的控制模块的CPU使用率预警值以及已启用容器副本数量获得未来需启用容器副本的期望数量,并根据期望数量与已启用数量调度无线收发装置对应的控制模块所需的运行资源,其中,在容器副本的期望数量大于已启用数量时,通过增加容器副本的启用数量来增加对应控制模块所需的运行资源,在容器副本的期望数量小于已启用数量时,通过减少已启用容器副本的数量来减少对应控制模块所需的运行资源。
2.根据权利要求1所述的方法,其特征在于,所述方法包括:
在容器副本的期望数量大于已启用数量时,启用新的无线收发装置,并建立增加的容器副本与新的无线收发装置的连接,生成为用户服务的新的小区;
在容器副本的期望数量小于已启用数量时,停用超出期望数量的容器副本对应的控制模块控制的小区并回收对应容器副本的运行资源以及关闭对应的无线收发装置。
3.根据权利要求2所述的方法,其特征在于,所述接入网系统包括以下至少一种架构形式的基站:
基站为包括基带处理单元和射频收发单元的架构形式,所述无线收发装置为射频收发单元,所述控制模块为实现基带处理单元对应的功能的模块;
基站为包括集中单元、分布单元和有源天线单元的架构形式,所述无线收发装置为有源天线单元,所述控制模块为实现集中单元、分布单元对应的功能的模块,并且集中单元和分布单元作为不同类型的控制模块以容器副本的形式部署;和
基站为包括控制面集中单元、用户面集中单元、分布单元和有源天线单元的架构形式,所述无线收发装置设置为有源天线单元,所述控制模块为实现控制面集中单元、用户面集中单元、分布单元对应的功能的模块,并且控制面集中单元、用户面集中单元、分布单元作为不同类型的控制模块以容器副本的形式部署。
4.根据权利要求3所述的方法,其特征在于,针对基带处理单元、分布单元、集中单元或者用户面集中单元对应类型的控制模块,分别确定每种类型的控制模块对应容器副本的期望数量,所述期望数量通过向上取整函数获取已启用容器数量与比例系数的乘积来获取;其中,所述比例系数为所述CPU使用率预测值和所述CPU使用率预警值的比值。
5.根据权利要求4所述的方法,其特征在于,所述期望数量按照以下方式确定:
Figure FDA0003814583140000021
其中,R′expect表示需启用容器副本的期望数量;Rcur表示已启用容器副本数量;CPUpred表示CPU使用率预测值,CPUthreshold表示CPU使用率预警值,ceil表示向上取整函数。
6.根据权利要求4所述的方法,其特征在于,在利用向上取整函数获取到所述期望数量时,比较所述期望数量与预先为该控制模块对应的容器副本设置的期望数量阈值的大小,并在所述期望数量大于所述期望数量阈值时,选择所述期望数量阈值作为最终的期望数量。
7.根据权利要求1所述的方法,其特征在于,在减少已启用容器副本的数量时,基于已启用容器副本优先级由低到高的顺序回收对应容器副本的运行资源。
8.根据权利要求1-7中任意一项所述的方法,其特征在于,所述预测模型为ARIMA-LSTM混合模型,且所述ARIMA-LSTM混合模型以通过平稳性检验的历史CPU使用率序列为输入、以CPU使用率预测值序列为输出经训练获得。
9.一种应用于权利要求1-8任一所述方法中用于预测控制模块所需运行资源的预测模型,其特征在于,所述预测模型包括:
ARIMA模型,用于根据通过平稳性检验的历史CPU使用率序列输出第一CPU使用率预测值序列和残差序列,其中,所述残差序列中的残差值为所述第一CPU使用率预测值序列中的第一CPU使用率预测值和输入的CPU使用率序列中对应的CPU使用率值的差值;
LSTM模型,用于根据所述残差序列输出第二CPU使用率预测值序列,所述LSTM模型的输出门之后添加有注意力机制层;
输出模块,用于将所述第一CPU使用率预测值序列和所述第二CPU使用率预测值序列相加,输出包括未来预设时间段内的CPU使用率预测值的CPU使用率预测值序列。
10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序可被处理器执行以实现权利要求1-8中任一项所述方法的步骤。
11.一种电子设备,其特征在于,包括:
一个或多个处理器;以及
存储器,其中存储器用于存储可执行指令;
所述一个或多个处理器被配置为经由执行所述可执行指令以实现权利要求1-8中任一项所述方法的步骤。
CN202211022472.8A 2022-08-25 2022-08-25 一种接入网系统的资源调度方法 Pending CN115397026A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211022472.8A CN115397026A (zh) 2022-08-25 2022-08-25 一种接入网系统的资源调度方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211022472.8A CN115397026A (zh) 2022-08-25 2022-08-25 一种接入网系统的资源调度方法

Publications (1)

Publication Number Publication Date
CN115397026A true CN115397026A (zh) 2022-11-25

Family

ID=84121928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211022472.8A Pending CN115397026A (zh) 2022-08-25 2022-08-25 一种接入网系统的资源调度方法

Country Status (1)

Country Link
CN (1) CN115397026A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604276A (zh) * 2022-11-28 2023-01-13 北京润尼尔网络科技有限公司(Cn) 基于服务器资源利用的智能管理系统
CN117768469A (zh) * 2024-02-22 2024-03-26 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统
CN118069377A (zh) * 2024-04-22 2024-05-24 中诚华隆计算机技术有限公司 一种处理器环境验证的云数据处理方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115604276A (zh) * 2022-11-28 2023-01-13 北京润尼尔网络科技有限公司(Cn) 基于服务器资源利用的智能管理系统
CN115604276B (zh) * 2022-11-28 2023-03-10 北京润尼尔网络科技有限公司 基于服务器资源利用的智能管理系统
CN117768469A (zh) * 2024-02-22 2024-03-26 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统
CN117768469B (zh) * 2024-02-22 2024-06-07 广州宇中网络科技有限公司 一种基于大数据的云服务管理方法及系统
CN118069377A (zh) * 2024-04-22 2024-05-24 中诚华隆计算机技术有限公司 一种处理器环境验证的云数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN115397026A (zh) 一种接入网系统的资源调度方法
US11132608B2 (en) Learning-based service migration in mobile edge computing
US11696153B2 (en) Transfer learning of network traffic prediction model among cellular base stations
Wei et al. Joint user scheduling and content caching strategy for mobile edge networks using deep reinforcement learning
CN106341893A (zh) 一种资源分配的方法及装置
CN114125785A (zh) 数字孪生网络低时延高可靠传输方法、装置、设备及介质
CN108964817A (zh) 一种异构网络联合计算卸载及资源分配方法
CN113469325A (zh) 一种边缘聚合间隔自适应控制的分层联邦学习方法、计算机设备、存储介质
CN113965961B (zh) 一种车联网环境下的边缘计算任务卸载方法与系统
CN114007225A (zh) Bwp的分配方法、装置、电子设备及计算机可读存储介质
CN105379412A (zh) 一种控制多个无线接入节点的系统和方法
Hua et al. GAN-based deep distributional reinforcement learning for resource management in network slicing
EP4175370A2 (en) Power saving in radio access network
Alcaraz et al. Model-based reinforcement learning with kernels for resource allocation in RAN slices
CN115066006A (zh) 一种基于强化学习的基站休眠方法、设备和介质
CN103916969A (zh) 联合授权用户感知与链路状态估计方法与装置
CN101360319B (zh) 一种基于业务量的资源预留方法及装置
CN113010317B (zh) 联合服务部署与任务卸载方法、装置、计算机设备及介质
Verma et al. Federated learning approach for auto-scaling of virtual network function resource allocation in 5G-and-Beyond networks
CN115866690A (zh) 任务卸载和资源分配联合优化方法、装置、设备及介质
Luo et al. Handover algorithm based on Bayesian-optimized LSTM and multi-attribute decision making for heterogeneous networks
Ho et al. Energy efficiency learning closed-loop controls in O-RAN 5G network
CN112953666B (zh) 认知无线网络中基于信道质量的频谱预测切换方法
Dey Phenomenon of Excess of Artificial Intelligence: Quantifying the Native AI, Its Leverages in 5G/6G and Beyond
Eisen et al. Dual domain learning of optimal resource allocations in wireless systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination