CN110696003A - 基于slam技术和深度学习的水边救援机器人 - Google Patents

基于slam技术和深度学习的水边救援机器人 Download PDF

Info

Publication number
CN110696003A
CN110696003A CN201910874749.1A CN201910874749A CN110696003A CN 110696003 A CN110696003 A CN 110696003A CN 201910874749 A CN201910874749 A CN 201910874749A CN 110696003 A CN110696003 A CN 110696003A
Authority
CN
China
Prior art keywords
module
information
deep learning
slam technology
rescue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910874749.1A
Other languages
English (en)
Inventor
曾军英
朱伯远
王璠
秦传波
翟懿奎
甘俊英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuyi University
Original Assignee
Wuyi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuyi University filed Critical Wuyi University
Priority to CN201910874749.1A priority Critical patent/CN110696003A/zh
Publication of CN110696003A publication Critical patent/CN110696003A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了基于SLAM技术和深度学习的水边救援机器人,包括:图像信息采集模块,用于采集周边环境的地图信息和水面环境的图像信息;声音信息采集模块,用于采集水面环境的声音信息;信息处理模块,用于接收所述地图信息、所述图像信息和所述声音信息,并基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法进行识别;控制模块,用于输出运动控制信号;运动模块,用于根据所述运动控制信息响应动作;传输接收模块,用于数据传输;救援报警模块,连接至所述信息处理模块并用于发出救援信号。本发明实施例的基于SLAM技术和深度学习的水边救援机器人,能够进行快速巡逻,并且检测到突发的溺水情况并及时通知救援人员,高效智能。

Description

基于SLAM技术和深度学习的水边救援机器人
技术领域
本发明涉及机器人技术领域,特别涉及一种基于SLAM技术和深度学习的水边救援机器人。
背景技术
目前,对于溺水救援,救援队所采取的方法依旧是志愿队员每天分时段轮流值守游泳人群密集区,一是效率较低,二是对非密集区的关注度不够,在非密集区也有可能随时发生溺水事件。
发明内容
本发明旨在至少解决现有技术中存在的技术问题之一。为此,本发明提出一种基于SLAM技术和深度学习的水边救援机器人,能够检测到突发的溺水情况并及时通知救援人员,高效智能。
根据本发明实施例的基于SLAM技术和深度学习的水边救援机器人,包括:图像信息采集模块,用于采集周边环境的地图信息和水面环境的图像信息;声音信息采集模块,用于采集水面环境的声音信息;信息处理模块,用于接收所述地图信息、所述图像信息和所述声音信息,并基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法进行识别;控制模块,连接至所述信息处理模块并用于输出运动控制信号;运动模块,连接至所述控制模块并用于根据所述运动控制信息响应动作;传输接收模块,连接至所述信息处理模块并用于数据传输;救援报警模块,连接至所述信息处理模块并用于发出救援信号。
根据本发明实施例的基于SLAM技术和深度学习的水边救援机器人,至少具有如下有益效果:机器人能够通过图像信息采集模块获取地图信息和水面的图像信息,通过声音信息采集模块获取水面的声音信息,然后机器人会基于ROS 系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法,对上述地图信息、图像信息和声音信息进行分析和识别,机器人会通过控制模块来控制运动模块运动从而实现行走,当识别为溺水情况时,会将上述图像信息和声音信息通过传输接收模块发送至远处的控制室,控制室内的工作人员会对图像信息和声音信息进行查看,若确认为溺水情况时,控制室的工作人员会通过传输接收模块发送操作信号至信息处理模块,所述信息处理模块会响应驱动救援报警模块发出救援信号,吸引路人及时参与共同救援以及给救援人员传达目标位置,使救援队可以更有目标的快速到达。本发明实施例的基于SLAM技术和深度学习的水边救援机器人,能够进行快速巡逻,并且检测到突发的溺水情况并及时通知救援人员,高效智能。
根据本发明的一些实施例,所述图像信息采集模块包括:第一图像信息采集单元,包括用于地图构建的激光雷达和用于避障检测的第一双目摄像头;第二图像信息采集单元,包括用于采集水面状况的第二双目摄像头。
根据本发明的一些实施例,所述声音信息采集模块包括:定向录音设备,用于采集水面环境的声音信息。
根据本发明的一些实施例,所述运动模块包括四组运动单元,每组所述运动单元包括电机和与所述电机相连接的轮子。
根据本发明的一些实施例,所述轮子为麦克纳姆轮。
根据本发明的一些实施例,所述传输接收模块为无线传输接收模块或有线传输接收模块。
根据本发明的一些实施例,所述救援报警模块包括蜂鸣器和/或指示灯。
根据本发明的一些实施例,还包括用于放置急救用品的急救箱。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例的基于SLAM技术和深度学习的水边救援机器人中模块连接关系的示意图;
图2为本发明实施例的基于SLAM技术和深度学习的水边救援机器人的结构图;
图3为本发明实施例的基于SLAM技术和深度学习的水边救援机器人中激光雷达三角测距的原理图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
在本发明的描述中,需要理解的是,涉及到方位描述,例如上、下、前、后、左、右等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,若干的含义是一个或者多个,多个的含义是两个以上,大于、小于、超过等理解为不包括本数,以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
本发明的描述中,除非另有明确的限定,设置、安装、连接等词语应做广义理解,所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
参照图1至图3,本发明的一个实施例,提供一种基于SLAM技术和深度学习的水边救援机器人,包括:图像信息采集模块100,用于采集周边环境的地图信息和水面环境的图像信息;声音信息采集模块200,用于采集水面环境的声音信息;信息处理模块300,用于接收所述地图信息、所述图像信息和所述声音信息,并基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法进行识别;控制模块400,连接至所述信息处理模块300并用于输出运动控制信号;运动模块500,连接至所述控制模块400并用于根据所述运动控制信息响应动作;传输接收模块600,连接至所述信息处理模块300并用于数据传输;救援报警模块700,连接至所述信息处理模块300并用于发出救援信号。
根据本发明实施例的基于SLAM技术和深度学习的水边救援机器人,至少具有如下有益效果:机器人能够通过图像信息采集模块100获取地图信息和水面的图像信息,通过声音信息采集模块200获取水面的声音信息,然后机器人会基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法,对上述地图信息、图像信息和声音信息进行分析和识别,机器人会通过控制模块400来控制运动模块500运动从而实现行走,当识别为溺水情况时,会将上述图像信息和声音信息通过传输接收模块600发送至远处的控制室,控制室内的工作人员会对图像信息和声音信息进行查看,若确认为溺水情况时,控制室的工作人员会通过传输接收模块600发送操作信号至信息处理模块300,所述信息处理模块300会响应驱动救援报警模块700发出救援信号,吸引路人及时参与共同救援以及给救援人员传达目标位置,使救援队可以更有目标的快速到达。本发明实施例的基于SLAM技术和深度学习的水边救援机器人,能够进行快速巡逻,并且检测到突发的溺水情况并及时通知救援人员,高效智能。
根据本发明的一些实施例,所述图像信息采集模块100包括:第一图像信息采集单元110,包括用于地图构建的激光雷达111和用于避障检测的第一双目摄像头112;第二图像信息采集单元120,包括用于采集水面状况的第二双目摄像头121。激光雷达111通过实时扫描机器人周边环境来为地图构建提供扫描值,第一双目摄像头112通过视野中的距离信息来为自动避障做参数上的最优调整,捕捉的实时检测图像来实现自动避让。第二双目摄像头121通过捕捉的水面实时检测图像来实现水面状况采集。
激光雷达111用来为构建地图提供扫描值,为信息处理模块300中的自动避障算法提供与障碍物间的真实距离;第一双目摄像头112用来确定物体间的距离信息以及采集实时检测图像。
激光雷达111发射激光束,遇到障碍物会进行反射,根据相似三角形原理即可计算出机器人与障碍物间的真实距离。计算公式如下:
Figure BDA0002203969110000051
Figure BDA0002203969110000053
发射角度β为已知量,q为实测距离,s为激光头与镜头的距离,f为镜头的焦距,成像仪中x与s对应。
第一双目摄像头112中的双目被硬件调制为绝对同步、同时输出数据,深度可在更长的范围内捕获。配备红外设备,保证其可以在夜间正常运作。和人眼一样,抓拍的是物体同一瞬间的双目图片。可根据拍摄目标的远近来调整双目的间距,这样便会有效提高三维识别和测量的精度。
本发明实施例的信息处理模块300兼顾基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测算法,可以将激光雷达111的扫描值和第一双目摄像头112捕捉到的实时图像以及距离信息进行分析处理,使机器人达到机器人解锁、路径规划、自动避障、数字检测和机械臂控制的功能。
本发明采用基于ROS系统的SLAM技术来构建地图,通过调用目前比较完善的地图构建开源包GMappiong,使用激光和里程计的信息来生成二维地图,并且通过边缘化线性变量来减少状态空间的维数,提高估计精度。
采用基于ROS系统的自动避障算法Dynamic Window Approach(DWA)来应对机器人行进过程中遇到的障碍物。通过机器人上安装的激光雷达111来计算机器人与障碍物的距离,基于机器人位置,传感器姿态,障碍物信息和作为SLAM 地图的结果而获得的网格地图来计算障碍物区域、预计会和障碍物碰撞的区域以及机器人可移动区域。
采用Mask R-CNN对信息采集模块二采集到的水面图像进行分割,判断图像中实物是否处于溺水情况,由于救援本身的特殊性,判断溺水算法的阈值与精度都无需达到极高也可使用,都可以将达到阈值的图像都传送给控制台来进行进一步的判断。
采用基于CNN来对采集到的声音进行识别处理。由于呼救声音本身的特殊性,现有的卷积神经网络可以进行极高精确度的识别。
控制模块400是由各种可以直接利用的接口组成的主控板,可以处理上级中央处理器下达的控制指令,进而驱动麦克纳姆轮的速度,方位等信息。
控制模块400采用PID调节算法,其控制规律为:
Figure BDA0002203969110000061
Kp为比例系数,TI为积分时间常数,TD为微分时间常数,error(t)为偏差信号。
error(t)=yd(t)-y(t) (5)
yd(t)为给定值,y(t)为输出值,两者做差为误差值,即偏差信号。
根据本发明的一些实施例,所述声音信息采集模块200包括:定向录音设备210,用于采集水面环境的声音信息。
根据本发明的一些实施例,所述运动模块500包括四组运动单元510,每组所述运动单元510包括电机511和与所述电机511相连接的轮子512。
根据本发明的一些实施例,所述轮子512为麦克纳姆轮。在主控板的驱动下,四个麦克纳姆轮的速度由四个独立的电机511提供,通过编程可实现水平面上的任意方位移动,使得巡检机器人的寻址更加准确迅速。
麦克纳姆轮采用最常见的O-长方形安装方式,轮子512转动可以产生yaw 轴转动力矩,而且转动力矩的力臂也比较长。
采用正逆运动学模型来实现麦克纳姆轮的全方位移动。正运动学模型可以通过四个轮子512的速度,计算出底盘的运动状态,而逆运动学模型则是可以根据底盘的运动状态解算出四个轮子512的速度。
根据本发明的一些实施例,所述传输接收模块600为无线传输接收模块600 或有线传输接收模块600。
根据本发明的一些实施例,所述救援报警模块700包括蜂鸣器和/或指示灯。本实施例中,可以通过发声和/或发光的方式来吸引路人及时参与共同救援以及给救援人员传达目标位置,使救援队可以更有目标的快速到达。
根据本发明的一些实施例,还包括用于放置急救用品的急救箱800。本实施例中,可以在急救箱800内放置足够的急救用品,使用方便。
上面结合附图对本发明实施例作了详细说明,但是本发明不限于上述实施例,在所述技术领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (8)

1.一种基于SLAM技术和深度学习的水边救援机器人,其特征在于,包括:
图像信息采集模块,用于采集周边环境的地图信息和水面环境的图像信息;
声音信息采集模块,用于采集水面环境的声音信息;
信息处理模块,用于接收所述地图信息、所述图像信息和所述声音信息,并基于ROS系统的SLAM技术以及基于深度卷积神经网络的目标检测及声音分类算法进行识别;
控制模块,连接至所述信息处理模块并用于输出运动控制信号;
运动模块,连接至所述控制模块并用于根据所述运动控制信息响应动作;
传输接收模块,连接至所述信息处理模块并用于数据传输;
救援报警模块,连接至所述信息处理模块并用于发出救援信号。
2.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述图像信息采集模块包括:
第一图像信息采集单元,包括用于地图构建的激光雷达和用于避障检测的第一双目摄像头;
第二图像信息采集单元,包括用于采集水面状况的第二双目摄像头。
3.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述声音信息采集模块包括:
定向录音设备,用于采集水面环境的声音信息。
4.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述运动模块包括四组运动单元,每组所述运动单元包括电机和与所述电机相连接的轮子。
5.根据权利要求4所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述轮子为麦克纳姆轮。
6.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述传输接收模块为无线传输接收模块或有线传输接收模块。
7.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,所述救援报警模块包括蜂鸣器和/或指示灯。
8.根据权利要求1所述的基于SLAM技术和深度学习的水边救援机器人,其特征在于,还包括用于放置急救用品的急救箱。
CN201910874749.1A 2019-09-17 2019-09-17 基于slam技术和深度学习的水边救援机器人 Pending CN110696003A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910874749.1A CN110696003A (zh) 2019-09-17 2019-09-17 基于slam技术和深度学习的水边救援机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910874749.1A CN110696003A (zh) 2019-09-17 2019-09-17 基于slam技术和深度学习的水边救援机器人

Publications (1)

Publication Number Publication Date
CN110696003A true CN110696003A (zh) 2020-01-17

Family

ID=69194703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910874749.1A Pending CN110696003A (zh) 2019-09-17 2019-09-17 基于slam技术和深度学习的水边救援机器人

Country Status (1)

Country Link
CN (1) CN110696003A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113730860A (zh) * 2021-09-09 2021-12-03 南阳中天防爆电气股份有限公司 一种未知环境下的消防机器人自主灭火方法
CN117383768A (zh) * 2023-12-08 2024-01-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096620A1 (ko) * 2010-02-03 2011-08-11 중앙대학교 산학협력단 긴급구조 시스템 및 위치 검출 방법
CN106682574A (zh) * 2016-11-18 2017-05-17 哈尔滨工程大学 一维深度卷积网络的水下多目标识别方法
CN109048846A (zh) * 2018-09-25 2018-12-21 五邑大学 一种烟雾巡检机器人及其控制方法
US10163323B1 (en) * 2018-02-14 2018-12-25 National Chin-Yi University Of Technology Swimming pool safety surveillance system
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
US20190034712A1 (en) * 2016-01-26 2019-01-31 Coral Detection Systems Ltd. Methods and systems for drowning detection
CN109703716A (zh) * 2019-02-12 2019-05-03 李家和 一种防溺水巡逻机器人
CN109895978A (zh) * 2019-04-18 2019-06-18 广州拓浪智能应急科技有限公司 一种水面救援智能搭载平台
CN109906614A (zh) * 2016-11-07 2019-06-18 株式会社雷姆洛克 监视系统以及移动机器人装置
KR20190100085A (ko) * 2019-08-05 2019-08-28 엘지전자 주식회사 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011096620A1 (ko) * 2010-02-03 2011-08-11 중앙대학교 산학협력단 긴급구조 시스템 및 위치 검출 방법
US20190034712A1 (en) * 2016-01-26 2019-01-31 Coral Detection Systems Ltd. Methods and systems for drowning detection
CN109906614A (zh) * 2016-11-07 2019-06-18 株式会社雷姆洛克 监视系统以及移动机器人装置
CN106682574A (zh) * 2016-11-18 2017-05-17 哈尔滨工程大学 一维深度卷积网络的水下多目标识别方法
US10163323B1 (en) * 2018-02-14 2018-12-25 National Chin-Yi University Of Technology Swimming pool safety surveillance system
CN109102678A (zh) * 2018-08-30 2018-12-28 青岛联合创智科技有限公司 一种融合uwb室内定位与视频目标检测与跟踪技术的溺水行为检测方法
CN109048846A (zh) * 2018-09-25 2018-12-21 五邑大学 一种烟雾巡检机器人及其控制方法
CN109703716A (zh) * 2019-02-12 2019-05-03 李家和 一种防溺水巡逻机器人
CN109895978A (zh) * 2019-04-18 2019-06-18 广州拓浪智能应急科技有限公司 一种水面救援智能搭载平台
KR20190100085A (ko) * 2019-08-05 2019-08-28 엘지전자 주식회사 인공 지능을 이용하여, 위험 상황을 감지할 수 있는 로봇 및 그의 동작 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王文峰: "《MATLAB计算机视觉与机器认知》", 31 August 2017 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113730860A (zh) * 2021-09-09 2021-12-03 南阳中天防爆电气股份有限公司 一种未知环境下的消防机器人自主灭火方法
CN117383768A (zh) * 2023-12-08 2024-01-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法
CN117383768B (zh) * 2023-12-08 2024-03-12 中国林业科学研究院林产化学工业研究所 一种污水循环处理控制系统及方法

Similar Documents

Publication Publication Date Title
US8214082B2 (en) Nursing system
US11407116B2 (en) Robot and operation method therefor
CN111506109B (zh) 传感器数据的选择性处理
US20200088524A1 (en) Airport guide robot and operation method therefor
TWI827649B (zh) 用於vslam比例估計的設備、系統和方法
CN109333504A (zh) 一种巡逻机器人和巡逻机器人管理系统
US20120050535A1 (en) System and method for tracking
CN208953962U (zh) 一种机器人感知系统及机器人
JP2008268204A (ja) 明滅する光学的ビーコンを使用した、車両のための目標ナビゲーション
WO2020062427A1 (zh) 一种烟雾巡检机器人及其控制方法
CN110696003A (zh) 基于slam技术和深度学习的水边救援机器人
JP2020079997A (ja) 情報処理装置、情報処理方法、及びプログラム
Waniek et al. Cooperative SLAM on small mobile robots
CN208180984U (zh) 先进驾驶辅助系统及设备
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体
CN106774324B (zh) 一种双摄像头三维识别巡逻机器人
Hu et al. Bayesian fusion of ceiling mounted camera and laser range finder on a mobile robot for people detection and localization
CN217801729U (zh) 一种室外机器人
Rana et al. Comparative study of Automotive Sensor technologies used for Unmanned Driving
CN112925326B (zh) 一种基于激光雷达和深度相机数据融合的agv避障方法
CN113084776B (zh) 基于视觉的多传感器融合的智能防疫机器人及系统
Reina et al. LIDAR and stereo imagery integration for safe navigation in outdoor settings
Li et al. Mobile robot map building based on laser ranging and kinect
CN212623088U (zh) 一种基于图像识别和激光测距的铁塔姿态预警装置
CN113064425A (zh) 一种agv设备及其导航的控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200117