CN111351489A - 一种基于CNN与改进A-Star算法的护理机器人路径规划方法 - Google Patents

一种基于CNN与改进A-Star算法的护理机器人路径规划方法 Download PDF

Info

Publication number
CN111351489A
CN111351489A CN202010354057.7A CN202010354057A CN111351489A CN 111351489 A CN111351489 A CN 111351489A CN 202010354057 A CN202010354057 A CN 202010354057A CN 111351489 A CN111351489 A CN 111351489A
Authority
CN
China
Prior art keywords
star
cnn
path
planning method
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010354057.7A
Other languages
English (en)
Other versions
CN111351489B (zh
Inventor
王志凌
郭玉婷
张杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinling Institute of Technology
Original Assignee
Jinling Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinling Institute of Technology filed Critical Jinling Institute of Technology
Priority to CN202010354057.7A priority Critical patent/CN111351489B/zh
Publication of CN111351489A publication Critical patent/CN111351489A/zh
Application granted granted Critical
Publication of CN111351489B publication Critical patent/CN111351489B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0217Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with energy consumption, time reduction or distance reduction criteria
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明涉及一种基于CNN与改进A‑Star算法的护理机器人路径规划方法。医务人员首先输入要去的目的地;然后护理机器人把起点和终点信息发送的医院服务器,医院采集医院各区域的图像信息,然后使用CNN识别路径图像人群密度;接着计算各个区域的行人速度,并使用量化后的速度去改进A‑Star的评估函数;最后,对A‑Star加上直线优先约束,使用改进的A‑Star函数寻找最优路径。本发明融合了人群密度和机器人转向对机器人速度影响,将基于距离的代价估计函数优化为基于时间的函数,选择较为开阔的区域快速到达终点。避免人员造成拥堵以及增大与病人距离以降低病人头脚碰撞障碍物的风险。减少转向次数,最大次数保证机器人的平稳运行和提升效率。

Description

一种基于CNN与改进A-Star算法的护理机器人路径规划方法
技术领域
本发明涉及机器人领域,特别设计基于CNN与改进A-Star算法的护理机器人路径规划方法。
背景技术
由于移动机器人具有自主运行、移动灵活等特点,所以在国防科技、生活服务、生产建设等重要领域具有广阔的开发利用前景.随着移动机器人不断被普及应用,若移动机器人行进路径效率不高,则会严重影响其工作质量.如何快速地规划出一条有效的安全路径极具研究意义与实际应用价值。
护理机器人通常在室内环境下进行工作时,需要对不同高度的障碍物进行感知,才能安全正常的进行护理工作。在对室内环境进行清晰的感知的基础上,需要解决的另一个难题是路径规划。护理机器人在室内的路径规划应尽可能居中或者尽量优先选择人员密度低的路径,避免人员造成拥堵以及增大与病人距离以降低病人头脚碰撞障碍物的风险。减少转向次数,最大次数保证机器人的平稳运行和提升效率。
A-Star算法是一种静态路网中求解最短路径最有效的直接搜索方法,也是许多其他问题的常用启发式算法。A-Star算法寻找的最优路径仅仅是理论上的路径最短,实际情况机器人行走还要受到人群密度和转向次数的影响,此问题是传统A-Star算法不能解决的。
发明内容
为了解决上述存在问题。本发明提出一种基于CNN与改进A-Star算法的护理机器人路径规划方法,优先选择人员密度低和直线路径,避开拥堵区域,减少转向次数,保证机器人的平稳运行和提升效率。为达此目的:
本发明提出基于CNN与改进A-Star算法的护理机器人路径规划方法,具体步骤如下:
步骤1:医护人员向护理机器人输入目的地,护理机器人把目的地起点和终点发送给医院服务器;
步骤2:服务器读取顾客到达目的地的各条路径的视频图像信息;
步骤3:服务器对图像预处理和提取图像的特征信息作为训练数据的输入,并利用CNN计算人群密度;
步骤4:服务器根据人群密度与行人速度的数学模型计算出路径的速度函数,并对速度量化;
步骤5:护理机器人接收到路径行人量化速度后,并使用量化后的速度去改进A-Star的评估函数;
步骤6:护理机器人对A-Star加上直线优先约束,使用改进的A-Star函数寻找最优路径。
作为本发明进一步改进,所述步骤3中CNN网络训练时对图像的人头进行估算,并对人头进行标记,图像整体画面的标准和密度图函数可用公式分别表示为:
Figure BDA0002472866450000021
F(ο)=S(ο)*Gσ(p) (2)
其中,οi表示头部的某一点,人员标注为δ(ο-οi),n代表图像标注的总人数,Gσ表示是高斯核。
作为本发明进一步改进,所述步骤3中提取的特征主要是图像的色调、色饱和度、灰度(HSG)信息。
作为本发明进一步改进,所述步骤3中CNN算法选用激活函数和损失函数分别为:
F(x)=max(0,x) (3)
其中,x为输入数据值;
Figure BDA0002472866450000022
其中,D表示密度图,N为训练图像的总量,ei是网络输出的图像二维标准密度图,gi是二维标准密度图。
作为本发明进一步改进,所述步骤4中人群密度与行人速度的数学模型为:
v=-0.383D+1.507 (5)
其中,D表示人群密度。
作为本发明进一步改进,所述步骤4中行人速度的量化公式为:
Figure BDA0002472866450000031
其中,floor表示向下取整,V*=0时,此区域可视为障碍物。
作为本发明进一步改进,所述步骤5中A-Star的评估函数由传统的路径评估函数转化为时间评估函数具体公式为:
Figure BDA0002472866450000032
其中,g(n)是起点到终点的最佳路径值,h(n)起点到终点的最佳路径的启发值。
作为本发明进一步改进,所述步骤6中A-Star的线性约束条件为:
Figure BDA0002472866450000033
其中,d*(i)表示第i步路径的行驶方向,d(i)min是第i次各方向时间评估函数最小值f(i)tmin对应的路径方向,dp是第i-1次行走路径方向,dp方向在第i次对应的时间评估值为f(i)tp,T为阈值。
本发明基于CNN与改进A-Star算法的护理机器人路径规划方法,有益效果在于:
1.本发明利用改进A-Star技术,寻求路径时间最优。
2.本发明利用优先直线约束,使得机器人尽可能选取直线路径,运行更加平稳。
3.本发明能够避开拥堵区域,能够缓解医院拥堵情况,增加效率。
4.本发明算法实现简单。
附图说明
图1是系统流程图;
图2是人群密度与速度关系模型图;
图3是系统工作流程图;
图4是传统A-Star算法路径规划结果图;
图5是改进A-Star算法路径规划结果图;
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细描述:
本发明提出一种基于CNN与改进A-Star算法的护理机器人路径规划方法,优先选择人员密度低和直线路径,避开拥堵区域,减少转向次数,保证机器人的平稳运行和提升效率。如图1是系统流程图。
首先,医护人员向护理机器人输入目的地,护理机器人把目的地起点和终点发送给医院服务器;服务器读取顾客到达目的地的各条路径的视频图像信息;服务器对图像预处理和提取图像的特征信息作为训练数据的输入,并利用CNN计算人群密度。
CNN网络训练时对图像的人头进行估算,并对人头进行标记,图像整体画面的标准和密度图函数可用公式分别表示为:
Figure BDA0002472866450000041
F(ο)=S(ο)*Gσ(p) (2)
其中,οi表示头部的某一点,人员标注为δ(ο-οi),n代表图像标注的总人数,Gσ表示是高斯核。
提取的特征主要是图像的色调、色饱和度、灰度(HSG)信息。
CNN算法选用激活函数和损失函数分别为:
F(x)=max(0,x) (3)
其中,x为输入数据值;
Figure BDA0002472866450000042
其中,D表示密度图,N为训练图像的总量,ei是网络输出的图像二维标准密度图,gi是二维标准密度图。
然后,服务器根据人群密度与行人速度的数学模型计算出路径的速度函数,并对速度量化,护理机器人接收到路径行人量化速度后,并使用量化后的速度去改进A-Star的评估函数,人群密度与速度关系图以及量化后的关系图如图2所示。
人群密度与行人速度的数学模型为:
v=-0.383D+1.507(5)
其中,D表示人群密度。
速度的量化公式为:
Figure BDA0002472866450000051
其中,floor表示向下取整,V*=0时,此区域可视为障碍物。
A-Star的评估函数由传统的路径评估函数转化为时间评估函数具体公式为:
Figure BDA0002472866450000052
其中,g(n)是起点到终点的最佳路径值,h(n)起点到终点的最佳路径的启发值。
最后,护理机器人对A-Star加上直线优先约束,使用改进的A-Star函数寻找最优路径图3,图4和图5分别是传统A-Star算法路径规划图,加入人群密度影响的A-Star算法路径规划图和本发明改进的A-Star算法路径规划图。
A-Star的线性约束条件为:
Figure BDA0002472866450000053
其中,d*(i)表示第i步路径的行驶方向,d(i)min是第i次各方向时间评估函数最小值f(i)tmin对应的路径方向,dp是第i-1次行走路径方向,dp方向在第i次对应的时间评估值为f(i)tp,T为阈值。
A-Star算法流程为:
(1)将初始节点放入到open列表中。
(2)判断open列表。如果为空,则搜索失败。如果open列表中存在目标节点,则搜索成功。
(3)从open列表中取出F值最小的节点作为当前节点,并将其加入到close列表中,并记录上一步行走方向d。
(4)计算当前节点的相邻的所有可到达节点,生成一组子节点。对于每一个子节点:
a)如果该节点在close列表中,则丢弃它;
b)如果该节点在open列表中,则检查其通过当前节点计算得到的F值是否更小,寻找最小的F值,并和上一步行走方向d(如果当前方向d的节点在open列表)的F比较是否满足条件更新其F值,将最优的节点的父节点设置为当前节点;
c)如果该节点不在open列表中,则将其加入到open列表,并计算F值,设置其父节点为当前节点。
(5)转回步骤(2)。
以上所述,仅是本发明的较佳实施例而已,并非是对本发明作任何其他形式的限制,而依据本发明的技术实质所作的任何修改或等同变化,仍属于本发明所要求保护的范围。

Claims (8)

1.基于CNN与改进A-Star算法的护理机器人路径规划方法,具体步骤如下,其特征在于,
步骤1:医护人员向护理机器人输入目的地,护理机器人把目的地起点和终点发送给医院服务器;
步骤2:服务器读取顾客到达目的地的各条路径的视频图像信息;
步骤3:服务器对图像预处理和提取图像的特征信息作为训练数据的输入,并利用CNN计算人群密度;
步骤4:服务器根据人群密度与行人速度的数学模型计算出路径的速度函数v,并对速度量化;
步骤5:护理机器人接收到路径行人量化速度后,并使用量化后的速度去改进A-Star的评估函数;
步骤6:护理机器人对A-Star加上直线优先约束,使用改进的A-Star函数寻找最优路径。
2.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤3中CNN网络训练时对图像的人头进行估算,并对人头进行标记,图像整体画面的标准和密度图函数可用公式分别表示为:
Figure FDA0002472866440000011
F(ο)=S(ο)*Gσ(p) (2)
其中,οi表示头部的某一点,人员标注为δ(ο-οi),n代表图像标注的总人数,Gσ表示是高斯核。
3.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤3中提取的特征主要是图像的色调、色饱和度、灰度(HSG)信息。
4.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤3中CNN算法选用激活函数和损失函数分别为:
F(x)=max(0,x) (3)
其中,x为输入数据值;
Figure FDA0002472866440000012
其中,D表示密度图,N为训练图像的总量,ei是网络输出的图像二维标准密度图,gi是二维标准密度图。
5.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤4中人群密度与行人速度的数学模型为:
v=-0.383D+1.507 (5)
其中,D表示人群密度。
6.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤4中行人速度的量化公式为:
Figure FDA0002472866440000021
其中,floor表示向下取整,V*=0时,此区域可视为障碍物。
7.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤5中A-Star的评估函数由传统的路径评估函数转化为时间评估函数具体公式为:
Figure FDA0002472866440000022
其中,g(n)是起点到终点的最佳路径值,h(n)起点到终点的最佳路径的启发值。
8.根据权利要求1所述的基于CNN与改进A-Star算法的护理机器人路径规划方法,其特征在于;
所述步骤6中A-Star的线性约束条件为:
Figure FDA0002472866440000023
其中,d*(i)表示第i步路径的行驶方向,d(i)min是第i次各方向时间评估函数最小值f(i)tmin对应的路径方向,dp是第i-1次行走路径方向,dp方向在第i次对应的时间评估值为f(i)tp,T为阈值。
CN202010354057.7A 2020-04-29 2020-04-29 一种基于CNN与改进A-Star算法的护理机器人路径规划方法 Active CN111351489B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010354057.7A CN111351489B (zh) 2020-04-29 2020-04-29 一种基于CNN与改进A-Star算法的护理机器人路径规划方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010354057.7A CN111351489B (zh) 2020-04-29 2020-04-29 一种基于CNN与改进A-Star算法的护理机器人路径规划方法

Publications (2)

Publication Number Publication Date
CN111351489A true CN111351489A (zh) 2020-06-30
CN111351489B CN111351489B (zh) 2023-06-23

Family

ID=71196504

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010354057.7A Active CN111351489B (zh) 2020-04-29 2020-04-29 一种基于CNN与改进A-Star算法的护理机器人路径规划方法

Country Status (1)

Country Link
CN (1) CN111351489B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556711A (zh) * 2020-11-17 2021-03-26 浙江大学 适用于山区复杂地形应急避难最快步行路径的规划方法
CN112731919A (zh) * 2020-12-01 2021-04-30 汕头大学 一种基于人群密度估计的指引机器人方法及系统
CN114264314A (zh) * 2021-12-24 2022-04-01 上海应用技术大学 危险品安全运输管理系统及方法
CN114872029A (zh) * 2022-06-09 2022-08-09 深圳市巨龙创视科技有限公司 一种机器人视觉识别系统
CN115562265A (zh) * 2022-09-29 2023-01-03 哈尔滨理工大学 一种基于改进a*算法的移动机器人路径规划方法
CN115640921A (zh) * 2022-10-12 2023-01-24 中南大学湘雅医院 一种院内危重患者转运路径规划方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844364A (zh) * 2016-04-08 2016-08-10 上海派毅智能科技有限公司 基于启发函数的服务机器人最优路径规划方法
CN106041931A (zh) * 2016-06-30 2016-10-26 广东工业大学 一种多障碍空间多agv机器人协作防碰撞路径优化方法
CN106970615A (zh) * 2017-03-21 2017-07-21 西北工业大学 一种深度强化学习的实时在线路径规划方法
CN109190325A (zh) * 2018-11-20 2019-01-11 山东师范大学 基于行人拥挤度分析的人群疏散路径规划仿真方法
CN110488839A (zh) * 2019-08-30 2019-11-22 长安大学 一种基于切线交叉法的足式机器人路径规划方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105844364A (zh) * 2016-04-08 2016-08-10 上海派毅智能科技有限公司 基于启发函数的服务机器人最优路径规划方法
CN106041931A (zh) * 2016-06-30 2016-10-26 广东工业大学 一种多障碍空间多agv机器人协作防碰撞路径优化方法
CN106970615A (zh) * 2017-03-21 2017-07-21 西北工业大学 一种深度强化学习的实时在线路径规划方法
CN109190325A (zh) * 2018-11-20 2019-01-11 山东师范大学 基于行人拥挤度分析的人群疏散路径规划仿真方法
CN110488839A (zh) * 2019-08-30 2019-11-22 长安大学 一种基于切线交叉法的足式机器人路径规划方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112556711A (zh) * 2020-11-17 2021-03-26 浙江大学 适用于山区复杂地形应急避难最快步行路径的规划方法
CN112556711B (zh) * 2020-11-17 2023-02-17 浙江大学 适用于山区复杂地形应急避难最快步行路径的规划方法
CN112731919A (zh) * 2020-12-01 2021-04-30 汕头大学 一种基于人群密度估计的指引机器人方法及系统
CN112731919B (zh) * 2020-12-01 2023-09-01 汕头大学 一种基于人群密度估计的指引机器人方法及系统
CN114264314A (zh) * 2021-12-24 2022-04-01 上海应用技术大学 危险品安全运输管理系统及方法
CN114872029A (zh) * 2022-06-09 2022-08-09 深圳市巨龙创视科技有限公司 一种机器人视觉识别系统
CN114872029B (zh) * 2022-06-09 2024-02-02 深圳市巨龙创视科技有限公司 一种机器人视觉识别系统
CN115562265A (zh) * 2022-09-29 2023-01-03 哈尔滨理工大学 一种基于改进a*算法的移动机器人路径规划方法
CN115562265B (zh) * 2022-09-29 2024-01-05 哈尔滨理工大学 一种基于改进a*算法的移动机器人路径规划方法
CN115640921A (zh) * 2022-10-12 2023-01-24 中南大学湘雅医院 一种院内危重患者转运路径规划方法和系统

Also Published As

Publication number Publication date
CN111351489B (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111351489A (zh) 一种基于CNN与改进A-Star算法的护理机器人路径规划方法
US20210109537A1 (en) Autonomous exploration framework for indoor mobile robotics using reduced approximated generalized voronoi graph
EP3729226B1 (en) Semantic obstacle recognition for path planning
US10139236B2 (en) Route generation program, route generation method and route generation apparatus
US7463948B2 (en) Robot control apparatus
US20200339159A1 (en) Automatic driving track obtaining method and apparatus
CN112985445B (zh) 基于高精地图的车道级精度实时性运动规划方法
Wang et al. Efficient object search with belief road map using mobile robot
CN111694356B (zh) 一种行驶控制方法、装置、电子设备及存储介质
US11281225B2 (en) Driving method of robot
US11960291B2 (en) Computer-implemented method and device for controlling a mobile robot based on semantic environment maps
JPWO2020129309A1 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
CN115298516A (zh) 利用用于对象的静态分数进行标测
JP7101815B2 (ja) 案内ロボット制御装置、及び、それを用いた案内システム、並びに、案内ロボット制御方法
CN113358118B (zh) 非结构环境中端到端的室内移动机器人自主导航方法
CN115042809A (zh) 一种基于动态轨迹规划的自动驾驶连续避障方法
Stein et al. Navigating in populated environments by following a leader
CN117246425A (zh) 四足机器人导航避障与攀爬楼梯方法及系统
CN111563632A (zh) 一种基于SVM与A-Star算法的高效导购机器人的设计方法
US20200033135A1 (en) Guidance robot and method for navigation service using the same
JP7431092B2 (ja) 制御プラットフォーム及び制御方法
CN113432610A (zh) 机器人通行规划方法、装置、机器人及存储介质
Santos et al. A Personal Robot as an Improvement to the Customers’ In-Store Experience
WO2023153221A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN117055601B (zh) 一种无人机送餐路径规划方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant