CN108737266A - 基于双估计器的动态路由选择方法 - Google Patents

基于双估计器的动态路由选择方法 Download PDF

Info

Publication number
CN108737266A
CN108737266A CN201810403384.XA CN201810403384A CN108737266A CN 108737266 A CN108737266 A CN 108737266A CN 201810403384 A CN201810403384 A CN 201810403384A CN 108737266 A CN108737266 A CN 108737266A
Authority
CN
China
Prior art keywords
estimators
estimator
action
value
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810403384.XA
Other languages
English (en)
Other versions
CN108737266B (zh
Inventor
杨钰
张苏宁
王震宇
朱斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Original Assignee
Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd filed Critical Suzhou Power Supply Co of State Grid Jiangsu Electric Power Co Ltd
Priority to CN201810403384.XA priority Critical patent/CN108737266B/zh
Publication of CN108737266A publication Critical patent/CN108737266A/zh
Application granted granted Critical
Publication of CN108737266B publication Critical patent/CN108737266B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/14—Routing performance; Theoretical aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00—Routing or path finding of packets in data switching networks
    • H04L45/02—Topology update or discovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/50—Queue scheduling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L49/00—Packet switching elements
    • H04L49/90—Buffering arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，包括以下步骤：(1)获取环境信息；(2)设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，初始化值函数和奖赏信息；(3)每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作；(4)传输时路由的选择方法为，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作；(5)通过双估计器对值函数进行更新；(6)每个时间步重复执行一次步骤(3)至步骤(6)。本发明减少了网络的拥塞，能够以较小的成本学习到更好的策略，提高了网络的性能，能够有效处理高随机网络中的路由选择问题。

Description

基于双估计器的动态路由选择方法
技术领域
本发明涉及一种网络路由的选择方法，具体涉及一种动态路由选择方法，尤其是适用于高随机网络下的动态路由选择方法。
背景技术
近年来，随着网络技术的发展，网络的总体通信数据不断增加。在日趋复杂的网络中，制定有效的路由策略显得尤为重要。传统的静态路由选择算法通常使用固定规则，例如路由表，进行路由选择。这种方法对于网络状态的波动不能及时做出相应的调整，因此很难应用到负载不确定的大规模网络中。动态路由选择算法能够根据当前的网络状态自动调整路由选择策略，但是一般的动态算法需要全局信息并且复杂度较高，反而增加了网络的负载。
强化学习是一类能从实际环境数据中学习的机器学习方法，在自动控制等领域获得了较为广泛的应用。Q学习是强化学习中的一个经典算法。将强化学习中的Q学习算法应用到路由选择当中，能够以较小的计算成本达到根据网络状态动态调整策略的目的，并且不需要全局信息只通过使用当前路由的信息进行学习。但是，如果在路由算法中直接使用Q学习方法也会存在问题。由于Q学习使用了最大化的估计器来进行函数的估计，因此会产生最大化偏差，导致直接使用Q学习的路由算法在高随机网络中学习到的值函数被高估，从而影响学习速率，使得这种路由选择算法在高随机的网络环境中的性能较差。
发明内容
本发明的发明目的是提供一种基于双估计器的动态路由选择方法，通过对值函数估计方式的改良，实现在高随机的网络状态下较为准确地估计值函数，保证策略的收敛性，通过对当前网络状态的判断，选择最优动作，减少网络拥塞提高网络性能。
为达到上述发明目的，本发明采用的技术方案是：一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，路由选择方法包括以下步骤：
(1) 通过数据传输系统获取环境信息，所述环境信息包括连通的路由节点与传输延迟；
(2) 预设行动策略为贪心策略，设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，根据步骤(1)中获得的环境信息初始化值函数和奖赏信息；
(3) 每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作，路由节点先从其队列存储系统中取出最前面的数据包进行传输，设数据包的目标路由为d，当前路由为x，则当前状态为，当队列存储系统为空时，不进行数据传输；同时路由进行数据接收的工作，当数据包接收完成后放入队列存储系统中；
(4) 步骤(3)中进行传输时路由的选择方法为，在状态，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作，得到的对应动作，为选择传输数据的路由节点，通过数据传输系统将数据传输到路由后，得到后续状态和立即奖赏信息，立即奖赏信息包括两部分：数据传输时间t与数据包等待时间w；
(5) 根据步骤(4)中得到的信息，通过双估计器对值函数进行更新，更新方法为：
采用随机方式选择估计器；
被选择的估计器为估计器Q，首先得到在估计器Q中下一个状态的最优动作，其中，函数是指在所有的可选动作中，返回Q值最小的那个动作，a是指在状态S t+1下的可选动作；接着使用另一个估计器U计算误差，其中t是数据传输时间，w是数据包等待时间，γ为折扣因子，取值0≤γ≤1，表示估计器U在S t+1状态采用A t+1动作时对应的值；最后使用误差进行值函数的更新，为学习步长，取值0＜≤1；
(6) 每个时间步重复执行一次步骤(3)至步骤(6)，直至完成数据传输。
上述技术方案中，数据传输系统进行数据的接收与传输，当网络出现拥塞时，将数据转移至队列存储系统中，等待网络通畅后再通过数据传输系统传递出去，路由选择系统通过数据在队列等待的时间和传输时间进行值函数的学习，从而选择最优的策略将数据通过数据传输系统传递到下一个路由节点。在获取环境信息时，可以同时获取网路中源路由节点至目的路由节点的网络拓扑结构。
上述技术方案中，步骤(2)中，初始化时，通过每个路由节点可连通的路由节点初始化值函数的结构，并将其中的值初始化为0。
步骤(3)中，接收的数据包被存储到队列存储系统中等待以后的时间步被传输，队列存储系统采用先进先出方式存储。
由于使用了两个估计器，而每个时间步只能更新一个估计器的值函数，所以要选择一个估计器进行更新，这里使用随机的方式选择估计器，为了保证学习的有效性，设置两个估计器被选择的概率都为50%。
优选的技术方案，步骤(4)中，根据估计器的值函数选取最优动作时，取两个估计器的值函数的平均值，以平均值最小的估计器对应的动作作为最优动作。
上述技术方案中，折扣因子γ用来描述问题中对后续奖赏的重视程度；学习步长通过控制更新的幅度来影响学习速率。
上述技术方案中，采用贪心策略的目的是增加策略对环境的探索，如果每次只选取最优动作，那么可能使得学习到的值函数不准确导致策略陷入局部最优。
上述技术方案中，数据传输系统可以得到的信息有：数据包的目标路由，使用目标路由和当前路由才能唯一确定一个状态，仅使用当前路由作为状态，会使值函数评估混乱，不能学习到最优策略；执行动作是：在当前路由能够连通的所有路由；所述奖赏中的数据包等待时间是：数据包在当前路由的存储队列等待的时间。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
1、本发明基于双估计器进行路由选择，能够在高随机网络中高效地学习到最优策略，不受单估计器会有的最大化偏差的影响，计算出来的值函数更准确，减少了网络的拥塞。
2、本发明使用值函数表示选择路由的好坏，能够以较小的成本学习到更好的策略，提高了网络的性能。
3、本发明采用贪心策略，增加了策略对环境的探索，不易陷入局部最优，能够有效处理高随机网络中的路由选择问题。
附图说明
图1是本发明实例一的路由选择流程图；
图2为本发明实例一的网络拓扑结构；
图3为本发明实例一中传输系统示意图；
图4为本发明实例一中贪心算法示意图；
图5为本发明实例一中的双估计器学习算法。
具体实施方式
下面结合附图及实施例对本发明作进一步描述：
实施例一：
路由节点包括数据传输系统、队列存储系统、路由选择系统，所述数据传输系统负责数据包的传输与接收并将目标路由和数据传输时间传入路由选择系统，所述队列存储系统将接收的数据存储至队列等待路由做出选择后将数据包通过数据传输系统发送至下一路由并将数据包在队列中的等待时间传入路由选择系统，所述路由选择系统根据接收到的信息通过双估计器方法来进行处理，并控制数据传输系统进行相应的数据传输工作。其中：所述路由选择系统通过贪心策略进行动作的选择，对环境进行充分探索的同时不会影响学习的效率，做出动作后根据得到的信息通过双估计器进行学习，提高网络性能减少网络拥塞。
参见图1所示，具体的路由选择方法包括以下步骤：
(1) 通过数据传输系统获取环境信息，所述环境信息包括连通的路由节点与传输延迟；
(2) 提供两个估计器，每个估计器的参数包括当前状态、动作，根据步骤(1)中获得的环境信息初始化值函数和奖赏信息；
(3) 每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作，路由节点先从其队列存储系统中取出最前面的数据包进行传输，设数据包的目标路由为d，当前路由为x，则当前状态为，当队列存储系统为空时，不进行数据传输；同时路由进行数据接收的工作，当数据包接收完成后放入队列存储系统中；
(4) 根据预定行动策略选择动作并将数据传递至下一个路由节点，获得奖赏与下一个状态；
(5) 通过双估计器进行学习，下一时间步重复步骤(3)。
本实施例的网络拓扑结构参见附图2所示，图中1-15为不同的路由节点。
数据传输系统如附图3所示。
参见附图4，步骤(4)中，采用贪心算法，在状态，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作。
具体的双估计器学习算法如图5所示，在每个时间步，得到的对应动作，为选择传输数据的路由节点，通过数据传输系统将数据传输到路由后，得到后续状态和立即奖赏信息，立即奖赏信息包括两部分：数据传输时间t与数据包等待时间w。
据此通过双估计器对值函数进行更新，更新方法为：
采用随机方式选择估计器；
被选择的估计器为估计器Q，首先得到在估计器Q中下一个状态的最优动作，接着使用另一个估计器U计算误差，其中t是数据传输时间，w是数据包等待时间，γ为折扣因子，取值0≤γ≤1，最后使用误差进行值函数的更新，为学习步长，取值0＜≤1。

Claims (7)

1.一种基于双估计器的动态路由选择方法，在路由节点处具有数据传输系统、队列存储系统、路由选择系统，其特征在于，路由选择方法包括以下步骤：
(1) 通过数据传输系统获取环境信息，所述环境信息包括连通的路由节点与传输延迟；
(2) 预设行动策略为贪心策略，设定的初始值；提供两个估计器，每个估计器的参数包括当前状态、动作，根据步骤(1)中获得的环境信息初始化值函数和奖赏信息；
(3) 每个时间步中，网路中的每个路由节点同时进行数据传输与数据接收的工作，路由节点先从其队列存储系统中取出最前面的数据包进行传输，设数据包的目标路由为d，当前路由为x，则当前状态为，当队列存储系统为空时，不进行数据传输；同时路由进行数据接收的工作，当数据包接收完成后放入队列存储系统中；
(4) 步骤(3)中进行传输时路由的选择方法为，在状态，获得一随机数，当随机数大于时，根据估计器的值函数选取最优动作，否则随机选取动作，得到的对应动作，为选择传输数据的路由节点，通过数据传输系统将数据传输到路由后，得到后续状态和立即奖赏信息，立即奖赏信息包括两部分：数据传输时间t与数据包等待时间w；
(5) 根据步骤(4)中得到的信息，通过双估计器对值函数进行更新，更新方法为：
采用随机方式选择估计器；
被选择的估计器为估计器Q，首先得到在估计器Q中下一个状态的最优动作，其中，函数是指在所有的可选动作中，返回Q值最小的那个动作，a是指在状态S t+1下的可选动作；接着使用另一个估计器U计算误差，其中t是数据传输时间，w是数据包等待时间，γ为折扣因子，取值0≤γ≤1，表示估计器U在S t+1状态采用A t+1动作时对应的值；最后使用误差进行值函数的更新，为学习步长，取值0＜≤1；
(6) 每个时间步重复执行一次步骤(3)至步骤(6)，直至完成数据传输。
2.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(2)中，初始化时，通过每个路由节点可连通的路由节点初始化值函数的结构，并将其中的值初始化为0。
3.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(2)中，使用步骤(1)中的传输延迟初始化奖赏信息，作为立即奖赏信息中的数据传输时间的初始值。
4.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(3)中，接收的数据包被存储到队列存储系统中等待以后的时间步被传输，队列存储系统采用先进先出方式存储。
5.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：步骤(4)中，根据估计器的值函数选取最优动作时，取两个估计器的值函数的平均值，以平均值最小的估计器对应的动作作为最优动作。
6.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：根据对后续奖赏的重视程度选择折扣因子γ的值。
7.根据权利要求1所述的基于双估计器的动态路由选择方法，其特征在于：根据对学习速率的要求选择学习步长的值。
CN201810403384.XA 2018-04-28 2018-04-28 基于双估计器的动态路由选择方法 Active CN108737266B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810403384.XA CN108737266B (zh) 2018-04-28 2018-04-28 基于双估计器的动态路由选择方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810403384.XA CN108737266B (zh) 2018-04-28 2018-04-28 基于双估计器的动态路由选择方法

Publications (2)

Publication Number Publication Date
CN108737266A true CN108737266A (zh) 2018-11-02
CN108737266B CN108737266B (zh) 2021-02-12

Family

ID=63939417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810403384.XA Active CN108737266B (zh) 2018-04-28 2018-04-28 基于双估计器的动态路由选择方法

Country Status (1)

Country Link
CN (1) CN108737266B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080044122A (ko) * 2006-11-15 2008-05-20 성균관대학교산학협력단 위상 변이 네트워크 기반의 차동 순차 추정 방법
CN101523915A (zh) * 2005-09-22 2009-09-02 高通股份有限公司 使用min-max方法的用于视频编码的两遍速率控制技术
CN102256262A (zh) * 2011-07-14 2011-11-23 南京邮电大学 基于分布式独立学习的多用户动态频谱接入方法
CN102868972A (zh) * 2012-09-05 2013-01-09 河海大学常州校区 基于改进q学习算法的物联网错误传感器节点定位方法
CN103346970A (zh) * 2013-07-31 2013-10-09 哈尔滨工业大学 一种SpaceWire动态路由实现方法
KR20150069496A (ko) * 2013-12-12 2015-06-23 한국과학기술원 다중 라디오 환경에서 에너지 효율이 높은 파라미터 선택 방법 및 장치
CN104834994A (zh) * 2015-04-17 2015-08-12 国家电网公司 基于svm的小样本继电保护可靠性参数估计方法
CN105578486A (zh) * 2016-02-29 2016-05-11 重庆邮电大学 一种异构密集网络中容量与覆盖联合优化方法
CN105791280A (zh) * 2016-02-29 2016-07-20 西安交通大学 一种抵御电力系统直流状态估计中数据完整性攻击的方法
CN105978725A (zh) * 2016-05-13 2016-09-28 芦慧 一种基于传感器网络的非脆弱性分布式故障估计方法
CN106022973A (zh) * 2016-07-04 2016-10-12 国网江苏省电力公司扬州供电公司 一种基于贪心算法的实时分配配网三相负荷平衡的调度策略
CN106411749A (zh) * 2016-10-12 2017-02-15 国网江苏省电力公司苏州供电公司 一种基于q学习的用于软件定义网络的路径选择方法
CN107045655A (zh) * 2016-12-07 2017-08-15 三峡大学 基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法
CN107292344A (zh) * 2017-06-26 2017-10-24 苏州大学 一种基于环境交互的机器人实时控制方法
CN107403426A (zh) * 2017-06-20 2017-11-28 北京工业大学 一种目标物体检测方法及设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101523915A (zh) * 2005-09-22 2009-09-02 高通股份有限公司 使用min-max方法的用于视频编码的两遍速率控制技术
KR20080044122A (ko) * 2006-11-15 2008-05-20 성균관대학교산학협력단 위상 변이 네트워크 기반의 차동 순차 추정 방법
CN102256262A (zh) * 2011-07-14 2011-11-23 南京邮电大学 基于分布式独立学习的多用户动态频谱接入方法
CN102868972A (zh) * 2012-09-05 2013-01-09 河海大学常州校区 基于改进q学习算法的物联网错误传感器节点定位方法
CN103346970A (zh) * 2013-07-31 2013-10-09 哈尔滨工业大学 一种SpaceWire动态路由实现方法
KR20150069496A (ko) * 2013-12-12 2015-06-23 한국과학기술원 다중 라디오 환경에서 에너지 효율이 높은 파라미터 선택 방법 및 장치
CN104834994A (zh) * 2015-04-17 2015-08-12 国家电网公司 基于svm的小样本继电保护可靠性参数估计方法
CN105578486A (zh) * 2016-02-29 2016-05-11 重庆邮电大学 一种异构密集网络中容量与覆盖联合优化方法
CN105791280A (zh) * 2016-02-29 2016-07-20 西安交通大学 一种抵御电力系统直流状态估计中数据完整性攻击的方法
CN105978725A (zh) * 2016-05-13 2016-09-28 芦慧 一种基于传感器网络的非脆弱性分布式故障估计方法
CN106022973A (zh) * 2016-07-04 2016-10-12 国网江苏省电力公司扬州供电公司 一种基于贪心算法的实时分配配网三相负荷平衡的调度策略
CN106411749A (zh) * 2016-10-12 2017-02-15 国网江苏省电力公司苏州供电公司 一种基于q学习的用于软件定义网络的路径选择方法
CN107045655A (zh) * 2016-12-07 2017-08-15 三峡大学 基于多智能体随机一致博弈和虚拟发电部落的狼群部落策略方法
CN107403426A (zh) * 2017-06-20 2017-11-28 北京工业大学 一种目标物体检测方法及设备
CN107292344A (zh) * 2017-06-26 2017-10-24 苏州大学 一种基于环境交互的机器人实时控制方法

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
ANDREAS KLEIN ET AL: "Fuzzy Q-Learning for Mobility Robustness Optimization in wireless networks", 《2013 IEEE GLOBECOM WORKSHOPS (GC WKSHPS)》 *
HASSELT H V: "Double Q-Learning", 《THE PROCEEDINGS OF NEURAL INFORMATION PROCESSING SYSTEMS》 *
YANG YU ET AL: "An Efficient Trust Evaluation Scheme for Node Behavior Detection in the Internet of Things", 《WIRELESS PERSONAL COMMUNICATIONS》 *
傅启明等: "一种二阶TD Error快速Q(λ)算法", 《模式识别与人工智能》 *
朱丽娜: "基于自律计算的网络系统可信性自优化方法研究", 《中国优秀硕士学位论文全文数据库》 *
李荥等: "一种基于Q学习的无线传感网络路由方法", 《计算技术与自动化》 *
班颖: "基于决策理论的认知无线电动态频谱接入技术研究", 《中国优秀硕士学位论文全文数据库》 *
胡裕靖等: "不完美信息扩展式博弈中在线虚拟遗憾最小化", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
CN108737266B (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US8913618B2 (en) Reordering packets
US7739404B2 (en) Scalable methods for distributing routing information to border gateway protocol (BGP) devices
CN111416771A (zh) 基于多智能体强化学习路由策略控制路由动作的方法
CN108429701A (zh) 网络加速系统
CN109327511A (zh) 一种基于http协议的数据请求方法和服务器
CN110221842A (zh) 数据刷写方法、装置、设备及计算机可读存储介质
CN109257282A (zh) 一种数据传输方法及装置
Yi et al. Satellite constellation of MEO and IGSO network routing with dynamic grouping
CN109861765A (zh) 一种校正方法及装置
JP2023029606A (ja) ゲートウェイに基づく時間ペリメータを使った複数のゲートウェイから到着するメッセージの時間ベースの処理
US20240048498A1 (en) Data transmission method, electronic device, and storage medium
CN101023455A (zh) 使用排队控制和单向延迟测量实现网络拥塞控制的方法和设备
CN108737266A (zh) 基于双估计器的动态路由选择方法
CN109787861B (zh) 网络数据延迟控制方法
US10979207B1 (en) Time-based processing of messages arriving from multiple gateways using gateway-based time perimeters
CN108401040A (zh) 用于ndn的内容接收方法、内容发送方法、装置及系统
CN107707483A (zh) 一种负载均衡方法、系统、设备及计算机存储介质
CN111901237B (zh) 源路由选路方法及系统、相关设备及计算机可读存储介质
CN107196856A (zh) 一种确定路由转发路径的方法和装置
CN109152079B (zh) 一种针对tsch网络的时隙调度和信道分配方法
EP3531622A1 (en) Method of handling packet flow in software-defined network, computer program product, and software-defined network
CN112019443A (zh) 多路径数据传输方法及装置
CN1918867B (zh) 用于传输控制协议初始化会话建立的透明优化
CN113705826B (zh) 面向分布式机器学习的参数同步组播方法
US11133919B2 (en) Time-triggered distribution of messages from a region of networked machines to multiple destinations using gateway-based time perimeters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant