CN113885329A - 一种基于深度强化学习的移动机器人路径规划方法 - Google Patents

一种基于深度强化学习的移动机器人路径规划方法 Download PDF

Info

Publication number
CN113885329A
CN113885329A CN202111220548.3A CN202111220548A CN113885329A CN 113885329 A CN113885329 A CN 113885329A CN 202111220548 A CN202111220548 A CN 202111220548A CN 113885329 A CN113885329 A CN 113885329A
Authority
CN
China
Prior art keywords
mobile robot
reward
reinforcement learning
path planning
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111220548.3A
Other languages
English (en)
Inventor
王军
刘超越
杨云宵
陈祉烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang University of Chemical Technology
Original Assignee
Shenyang University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang University of Chemical Technology filed Critical Shenyang University of Chemical Technology
Priority to CN202111220548.3A priority Critical patent/CN113885329A/zh
Publication of CN113885329A publication Critical patent/CN113885329A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)
  • Manipulator (AREA)

Abstract

一种基于深度强化学习的移动机器人路径规划方法，涉及一种移动机器人路径规划方法，本发明提出的稀疏环境下基于深度强化学习的移动机器人路径规划方法，采用置信水平来实现对探索与利用之间的平衡；通过后见回放经验机制的使用，解决在稀疏奖励环境下难以收敛的问题，提升了样本利用率，加快收敛速度，一定程度上避免了强化学习在路径规划中需要设计复杂奖励函数。由于稀疏奖励是强化学习应用在移动机器人路径规划中比较棘手的问题，本发明不需要复杂的奖励函数设计，同时也可以更加充分的利用样本，增加奖励，使算法迭代更快，更容易收敛，解决了稀疏奖励带来的困难。

Description

一种基于深度强化学习的移动机器人路径规划方法
技术领域
本发明涉及一种移动机器人路径规划方法，特别是涉及一种基于深度强化学习的移动机器人路径规划方法。
背景技术
移动机器人路径规划是当前移动机器人研究的热点方向，随着移动机器人技术的快速发展和应用场景逐渐复杂化，对于移动机器人来说，在复杂未知的环境中规划路径是一个非常重要的问题。传统算法有A-Star，蚁群算法，遗传算法等，谷歌的DeepMind公司提出（Deep Reinforcement Learning，DRL）算法，将深度学习与强化学习相结合，使得深度强化学习在路径规划中显示出了巨大的潜力。深度强化学习使用神经网络模型逼近值函数，回放经验池用于打破样本顺序，以解决从强化学习中获得的经验与时序关联的问题，它提高了深度神经网络稳定性并易收敛。
在稀疏奖励环境中，奖励函数必须设计得很好。在许多复杂的情况下，只有在满足特定条件的情况下才会给予奖励，因此稀疏奖励带来的负面影响，难以解决。
发明内容
本发明的目的在于提供一种基于深度强化学习的移动机器人路径规划方法，由于稀疏奖励是强化学习应用在移动机器人路径规划中比较棘手的问题，本发明不需要复杂的奖励函数设计，同时也可以更加充分的利用样本，增加奖励，使算法迭代更快，更容易收敛，解决了稀疏奖励带来的困难。
本发明的目的是通过以下技术方案实现的：
一种基于深度强化学习的移动机器人路径规划方法，所述方法包括建立神经网络模型以及训练流程；
建立神经网络模型流程：
初始化回放经验池
Figure DEST_PATH_IMAGE001
，容量为
Figure 710598DEST_PATH_IMAGE002
，随机初始化估计网络参数
Figure DEST_PATH_IMAGE003
，初始化目标网络参
Figure 213386DEST_PATH_IMAGE004
，目标选择策略
Figure DEST_PATH_IMAGE005
；for episode = 1, M do；采集目标
Figure 98165DEST_PATH_IMAGE006
，并初始化状态
Figure DEST_PATH_IMAGE007
for t = 0, T-1 do；采用UCB策略选择动作
Figure 427516DEST_PATH_IMAGE008
；
Figure DEST_PATH_IMAGE009
移动机器人执行动作
Figure 187268DEST_PATH_IMAGE010
，得到下一个状态
Figure DEST_PATH_IMAGE011
end for；for t = 0, T-1 do；
Figure 918463DEST_PATH_IMAGE012
将数据样本
Figure DEST_PATH_IMAGE013
存储到回放经验池
Figure 974144DEST_PATH_IMAGE014
中，从当前episode选取附加目标
Figure DEST_PATH_IMAGE015
存储
Figure 790790DEST_PATH_IMAGE016
到回放经验池
Figure DEST_PATH_IMAGE017
；end for；for t = 1, N do
从回放经验池
Figure 91584DEST_PATH_IMAGE018
中采样mini-batch样本数据
Figure DEST_PATH_IMAGE019
；执行梯度下降，更新网络参数
Figure 677286DEST_PATH_IMAGE020
每隔
Figure DEST_PATH_IMAGE021
步，更新目标网络权值
Figure 169447DEST_PATH_IMAGE022
；
end for；
end for；
建立训练流程：
此
Figure DEST_PATH_IMAGE023
函数不仅需要状态、动作，还需要目标；因此
Figure 473390DEST_PATH_IMAGE023
函数被定义为:
Figure 748513DEST_PATH_IMAGE024
（5）；
奖励函数依赖于
Figure DEST_PATH_IMAGE025
，即
Figure 946977DEST_PATH_IMAGE026
；在每一个回合中采样一个目标
Figure DEST_PATH_IMAGE027
，并在整个回合中保持固定，在奖励稀疏的环境中采用相对简单的二分奖励函数，如果未实现目标奖励为-1，实现目标奖励为0；奖励函数如下：
Figure 344460DEST_PATH_IMAGE028
（6）；
把相对应轨迹的最后时刻的状态作为新目标，即
Figure DEST_PATH_IMAGE029
，样本附加存放对应的目标变为
Figure 135699DEST_PATH_IMAGE030
，加上原目标产生的轨迹，即经验池里面存放2倍于真实采样到的样本；那么目标函数可以表示为：
Figure DEST_PATH_IMAGE031
（7）；
DRL经典探索算法有
Figure 276830DEST_PATH_IMAGE032
策略，玻尔兹曼策略，汤普森抽样；
Figure DEST_PATH_IMAGE033
策略虽然每个动作都有被选择的概率，但是无引导性，这并不能有助于移动机器人很大概率的发现最优动作；
本发明采用与置信区间上界(Upper-Confidence-Bound, UCB)采用置信水平来实现对探索与利用之前的平衡，置信区间越大，方差越大，采样的不确定性就越大；如下公式(8)所示：
Figure 338589DEST_PATH_IMAGE034
（8）
所述的一种基于深度强化学习的移动机器人路径规划方法，上述其
Figure DEST_PATH_IMAGE035
为经验数据,
Figure 172553DEST_PATH_IMAGE036
代表回放经验池的回放记忆单元。
所述的一种基于深度强化学习的移动机器人路径规划方法，所述公式(8)中，
Figure DEST_PATH_IMAGE037
，
Figure 185508DEST_PATH_IMAGE038
表示目前该动作
Figure DEST_PATH_IMAGE039
被选择的次数，
Figure DEST_PATH_IMAGE041
为权值；开始训练时，所有动作均未执行，
Figure 691183DEST_PATH_IMAGE042
会趋于无穷大，移动机器人将会执行所有动作，随着训练时间的增长，当前动作被执行的次数很低时，
Figure DEST_PATH_IMAGE043
值变大，不确定性越高，对应动作被执行的概率越大；反之亦然；随着训练次数的增加，
Figure 105983DEST_PATH_IMAGE044
增长速度会越来越慢，
Figure DEST_PATH_IMAGE045
增长速度基本保持不变，
Figure 48532DEST_PATH_IMAGE046
值逐渐下降，每个动作的置信区间都变得收敛。
本发明的优点与效果是：
本发明提出的稀疏环境下基于深度强化学习的移动机器人路径规划方法，采用置信水平来实现对探索与利用之间的平衡；通过后见回放经验机制的使用，解决在稀疏奖励环境下难以收敛的问题，提升了样本利用率，加快收敛速度，一定程度上避免了强化学习在路径规划中需要设计复杂奖励函数。
附图说明
图1为本发明神经网络模型图；
图2为本发明训练流程图。
具体实施方式
下面结合附图所示实施例对本发明进行详细说明。
本发明通过置信区间上界探索策略选择执行的动作，采用后见经验回放机制，把已到达的状态作为目标，移动机器人可以得到更多积极的奖励，这样可以充分利用样本，提升探索效率。
本发明提出的深度卷积神经网络模型包含三个卷积层和两个全连接层，通过端对端的方法训练，以原始RGB图像作为输入，经处理最后得到上、下、左、右四个动作的Q值。
如图1所示神经网络模型，具体流程如下。
初始化回放经验池
Figure DEST_PATH_IMAGE047
，容量为
Figure 548783DEST_PATH_IMAGE048
，随机初始化估计网络参数
Figure DEST_PATH_IMAGE049
，初始化目标网络参
Figure 31717DEST_PATH_IMAGE050
，目标选择策略
Figure DEST_PATH_IMAGE051
；for episode = 1, M do；采集目标
Figure 68068DEST_PATH_IMAGE052
，并初始化状态
Figure DEST_PATH_IMAGE053
for t = 0, T-1 do；采用UCB策略选择动作
Figure 243835DEST_PATH_IMAGE054
；
Figure DEST_PATH_IMAGE055
移动机器人执行动作
Figure 231382DEST_PATH_IMAGE056
，得到下一个状态
Figure DEST_PATH_IMAGE057
end for；for t = 0, T-1 do；
Figure 518007DEST_PATH_IMAGE058
将数据样本
Figure DEST_PATH_IMAGE059
存储到回放经验池
Figure 146216DEST_PATH_IMAGE060
中，从当前episode选取附加目标
Figure DEST_PATH_IMAGE061
；
Figure 492883DEST_PATH_IMAGE062
存储
Figure DEST_PATH_IMAGE063
到回放经验池
Figure 967727DEST_PATH_IMAGE064
；end for；for t = 1, N do
从回放经验池
Figure DEST_PATH_IMAGE065
中采样mini-batch样本数据
Figure 58043DEST_PATH_IMAGE066
；执行梯度下降，更新网络参数
Figure DEST_PATH_IMAGE067
每隔
Figure 803407DEST_PATH_IMAGE068
步，更新目标网络权值
Figure DEST_PATH_IMAGE069
end for
end for；
训练流程图如2所示。
此时
Figure 55397DEST_PATH_IMAGE070
函数不仅需要状态、动作，还需要目标。因此
Figure DEST_PATH_IMAGE071
函数被定义为:
Figure 17537DEST_PATH_IMAGE072
(5)
奖励函数依赖于
Figure DEST_PATH_IMAGE073
,即
Figure 645964DEST_PATH_IMAGE074
。在每一个回合中采样一个目标
Figure DEST_PATH_IMAGE075
，并在整个回合中保持固定，在奖励稀疏的环境中采用相对简单的二分奖励函数，如果未实现目标奖励为-1，实现目标奖励为0。奖励函数如下：
Figure 508485DEST_PATH_IMAGE076
(6)
把相对应轨迹的最后时刻的状态作为新目标，即
Figure DEST_PATH_IMAGE077
，样本附加存放对应的目标变为
Figure 931376DEST_PATH_IMAGE078
，加上原目标产生的轨迹，即经验池里面存放2倍于真实采样到的样本。那么目标函数可以表示为：
Figure DEST_PATH_IMAGE079
（7）
其中
Figure 380812DEST_PATH_IMAGE080
为经验数据,
Figure DEST_PATH_IMAGE081
代表回放经验池的回放记忆单元。
DRL经典探索算法有
Figure 812930DEST_PATH_IMAGE082
策略，玻尔兹曼策略，汤普森抽样。
Figure 703525DEST_PATH_IMAGE082
策略虽然每个动作都有被选择的概率，但是无引导性，这并不能有助于移动机器人很大概率的发现最优动作。本文采用与置信区间上界(Upper-Confidence-Bound, UCB)采用置信水平来实现对探索与利用之前的平衡，置信区间越大，方差越大，采样的不确定性就越大。如公式(8)所示：
Figure DEST_PATH_IMAGE083
(8)
其中，
Figure 126679DEST_PATH_IMAGE084
，
Figure DEST_PATH_IMAGE085
表示目前该动作
Figure 797832DEST_PATH_IMAGE086
被选择的次数，
Figure DEST_PATH_IMAGE087
为权值。开始训练时，所有动作均未执行，
Figure 33641DEST_PATH_IMAGE088
会趋于无穷大，移动机器人将会执行所有动作，随着训练时间的增长，当前动作被执行的次数很低时，
Figure 44322DEST_PATH_IMAGE088
值变大，不确定性越高，对应动作被执行的概率越大；反之亦然。随着训练次数的增加。
Figure DEST_PATH_IMAGE089
增长速度会越来越慢，
Figure 590708DEST_PATH_IMAGE090
增长速度基本保持不变，
Figure DEST_PATH_IMAGE091
值逐渐下降，每个动作的置信区间都变得收敛。

Claims (3)

1.一种基于深度强化学习的移动机器人路径规划方法，其特征在于，所述方法包括建立神经网络模型以及训练流程；
建立神经网络模型流程：
初始化回放经验池
Figure DEST_PATH_IMAGE002
，容量为
Figure DEST_PATH_IMAGE004
，随机初始化估计网络参数
Figure DEST_PATH_IMAGE006
，初始化目标网络参
Figure DEST_PATH_IMAGE008
，目标选择策略
Figure DEST_PATH_IMAGE010
；for episode = 1, M do；采集目标
Figure DEST_PATH_IMAGE012
，并初始化状态
Figure DEST_PATH_IMAGE014
for t = 0, T-1 do；采用UCB策略选择动作
Figure DEST_PATH_IMAGE016
；
Figure DEST_PATH_IMAGE018
移动机器人执行动作
Figure DEST_PATH_IMAGE020
，得到下一个状态
Figure DEST_PATH_IMAGE022
end for；for t = 0, T-1 do；
Figure DEST_PATH_IMAGE024
将数据样本
Figure DEST_PATH_IMAGE026
存储到回放经验池
Figure DEST_PATH_IMAGE028
中，从当前episode选取附加目标
Figure DEST_PATH_IMAGE030
存储
Figure DEST_PATH_IMAGE032
到回放经验池
Figure DEST_PATH_IMAGE034
；end for；for t = 1, N do
从回放经验池
Figure DEST_PATH_IMAGE036
中采样mini-batch样本数据
Figure DEST_PATH_IMAGE038
；执行梯度下降，更新网络参数
Figure DEST_PATH_IMAGE040
每隔
Figure DEST_PATH_IMAGE042
步，更新目标网络权值
Figure DEST_PATH_IMAGE044
；
end for；
end for；
建立训练流程：
此
Figure DEST_PATH_IMAGE046
函数不仅需要状态、动作，还需要目标；因此
Figure 89886DEST_PATH_IMAGE046
函数被定义为:
Figure DEST_PATH_IMAGE048
（5）；
奖励函数依赖于
Figure DEST_PATH_IMAGE050
，即
Figure DEST_PATH_IMAGE052
；在每一个回合中采样一个目标
Figure DEST_PATH_IMAGE054
，并在整个回合中保持固定，在奖励稀疏的环境中采用相对简单的二分奖励函数，如果未实现目标奖励为-1，实现目标奖励为0；奖励函数如下：
Figure DEST_PATH_IMAGE056
（6）；
把相对应轨迹的最后时刻的状态作为新目标，即
Figure DEST_PATH_IMAGE058
，样本附加存放对应的目标变为
Figure DEST_PATH_IMAGE060
，加上原目标产生的轨迹，即经验池里面存放2倍于真实采样到的样本；那么目标函数可以表示为：
Figure DEST_PATH_IMAGE062
（7）；
DRL经典探索算法有
Figure DEST_PATH_IMAGE064
策略，玻尔兹曼策略，汤普森抽样；
Figure 552222DEST_PATH_IMAGE064
策略虽然每个动作都有被选择的概率，但是无引导性，这并不能有助于移动机器人很大概率的发现最优动作；
本发明采用与置信区间上界(Upper-Confidence-Bound, UCB)采用置信水平来实现对探索与利用之前的平衡，置信区间越大，方差越大，采样的不确定性就越大；如下公式(8)所示：
Figure DEST_PATH_IMAGE066
。
2.根据权利要求1所述的一种基于深度强化学习的移动机器人路径规划方法，其特征在于，上述其
Figure DEST_PATH_IMAGE068
为经验数据,
Figure DEST_PATH_IMAGE070
代表回放经验池的回放记忆单元。
3.根据权利要求1所述的一种基于深度强化学习的移动机器人路径规划方法，其特征在于，所述公式(8)中，
Figure DEST_PATH_IMAGE072
，
Figure DEST_PATH_IMAGE074
表示目前该动作
Figure DEST_PATH_IMAGE076
被选择的次数，
Figure DEST_PATH_IMAGE078
为权值；开始训练时，所有动作均未执行，
Figure DEST_PATH_IMAGE080
会趋于无穷大，移动机器人将会执行所有动作，随着训练时间的增长，当前动作被执行的次数很低时，
Figure 227530DEST_PATH_IMAGE080
值变大，不确定性越高，对应动作被执行的概率越大；反之亦然；随着训练次数的增加，
Figure DEST_PATH_IMAGE082
增长速度会越来越慢，
Figure DEST_PATH_IMAGE084
增长速度基本保持不变，
Figure 428704DEST_PATH_IMAGE082
值逐渐下降，每个动作的置信区间都变得收敛。
CN202111220548.3A 2021-10-20 2021-10-20 一种基于深度强化学习的移动机器人路径规划方法 Withdrawn CN113885329A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111220548.3A CN113885329A (zh) 2021-10-20 2021-10-20 一种基于深度强化学习的移动机器人路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111220548.3A CN113885329A (zh) 2021-10-20 2021-10-20 一种基于深度强化学习的移动机器人路径规划方法

Publications (1)

Publication Number Publication Date
CN113885329A true CN113885329A (zh) 2022-01-04

Family

ID=79003637

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111220548.3A Withdrawn CN113885329A (zh) 2021-10-20 2021-10-20 一种基于深度强化学习的移动机器人路径规划方法

Country Status (1)

Country Link
CN (1) CN113885329A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721397A (zh) * 2022-04-19 2022-07-08 北方工业大学 一种基于强化学习和好奇心的迷宫机器人路径规划方法
CN115494732A (zh) * 2022-09-29 2022-12-20 湖南大学 一种基于近端策略优化的无人机轨迹设计和功率分配方法
CN115993831A (zh) * 2023-03-23 2023-04-21 安徽大学 基于深度强化学习的机器人无目标网络的路径规划方法
CN116384469A (zh) * 2023-06-05 2023-07-04 中国人民解放军国防科技大学 一种智能体策略生成方法、装置、计算机设备和存储介质
CN114721397B (zh) * 2022-04-19 2024-05-31 北方工业大学 一种基于强化学习和好奇心的迷宫机器人路径规划方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114721397A (zh) * 2022-04-19 2022-07-08 北方工业大学 一种基于强化学习和好奇心的迷宫机器人路径规划方法
CN114721397B (zh) * 2022-04-19 2024-05-31 北方工业大学 一种基于强化学习和好奇心的迷宫机器人路径规划方法
CN115494732A (zh) * 2022-09-29 2022-12-20 湖南大学 一种基于近端策略优化的无人机轨迹设计和功率分配方法
CN115494732B (zh) * 2022-09-29 2024-04-12 湖南大学 一种基于近端策略优化的无人机轨迹设计和功率分配方法
CN115993831A (zh) * 2023-03-23 2023-04-21 安徽大学 基于深度强化学习的机器人无目标网络的路径规划方法
CN115993831B (zh) * 2023-03-23 2023-06-09 安徽大学 基于深度强化学习的机器人无目标网络的路径规划方法
CN116384469A (zh) * 2023-06-05 2023-07-04 中国人民解放军国防科技大学 一种智能体策略生成方法、装置、计算机设备和存储介质
CN116384469B (zh) * 2023-06-05 2023-08-08 中国人民解放军国防科技大学 一种智能体策略生成方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN113885329A (zh) 一种基于深度强化学习的移动机器人路径规划方法
Devlin et al. Neural program meta-induction
Such et al. Deep neuroevolution: Genetic algorithms are a competitive alternative for training deep neural networks for reinforcement learning
CN110262511B (zh) 基于深度强化学习的双足机器人自适应性行走控制方法
CN112362066B (zh) 一种基于改进的深度强化学习的路径规划方法
CN111260027B (zh) 一种基于强化学习的智能体自动决策方法
CN109063823B (zh) 一种智能体探索3d迷宫的批a3c强化学习方法
CN110919659A (zh) 一种基于ddgpes的机器人控制方法
CN111898728A (zh) 一种基于多Agent强化学习的团队机器人决策方法
CN116448117A (zh) 一种融合深度神经网络和强化学习方法的路径规划方法
Hussein et al. Deep reward shaping from demonstrations
CN114859911A (zh) 一种基于drl的四足机器人路径规划方法
CN113487039A (zh) 基于深度强化学习的智能体自适应决策生成方法及系统
CN113435025A (zh) 一种结合多级优化模型的机器人高性能轨迹自动生成方法
Kantasewi et al. Multi Q-table Q-learning
CN116128060A (zh) 一种基于对手建模与蒙特卡洛强化学习的棋类博弈方法
CN114161419B (zh) 一种情景记忆引导的机器人操作技能高效学习方法
CN114372520A (zh) 一种基于双智能体竞争强化学习的机器人路径探索方法
Khan et al. Playing a FPS doom video game with deep visual reinforcement learning
CN109344961A (zh) 一种基于pso的权值直接确定神经网络结构优化方法
CN115793634A (zh) 一种面向避障移动机器人路径规划方法
Jiang et al. Generative exploration and exploitation
CN115936058A (zh) 一种基于图注意力网络的多智能体迁移强化学习方法
CN111539989B (zh) 基于优化方差下降的计算机视觉单目标跟踪方法
CN112755538B (zh) 一种基于多智能体的实时战略游戏对局方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220104

WW01 Invention patent application withdrawn after publication