CN110238820A - 基于特征点的手眼标定方法 - Google Patents

基于特征点的手眼标定方法 Download PDF

Info

Publication number
CN110238820A
CN110238820A CN201910627805.1A CN201910627805A CN110238820A CN 110238820 A CN110238820 A CN 110238820A CN 201910627805 A CN201910627805 A CN 201910627805A CN 110238820 A CN110238820 A CN 110238820A
Authority
CN
China
Prior art keywords
camera
characteristic point
robot
hand
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910627805.1A
Other languages
English (en)
Inventor
赵素雷
刘海庆
郭寅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Isvision Hangzhou Technology Co Ltd
Original Assignee
Isvision Hangzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Isvision Hangzhou Technology Co Ltd filed Critical Isvision Hangzhou Technology Co Ltd
Priority to CN201910627805.1A priority Critical patent/CN110238820A/zh
Publication of CN110238820A publication Critical patent/CN110238820A/zh
Pending legal-status Critical Current

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/045Polar coordinate type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了一种基于特征点的手眼标定方法,包括如下步骤:机器人按照多个相机拍照位姿,带动相机对固定在机器人周围的特征点进行多角度拍照,得到所述特征点在相机像素坐标系Of‑uv中的坐标值为(ui,vi),特征点在机器人基坐标系Ob‑xbybzb下的位置为(x'j,y'j,z'j);记第i个相机拍照位姿下机器人基坐标系Ob‑xbybzb到机器人末端工具坐标系Ot‑xtytzt的转换关系矩阵为联立多个相机成像模型方程,解算手眼关系矩阵cTt;本方法可以仅利用特征点,建立机器人手眼标定方程而实现快速标定,不需要标定板等标定设备,降低了对外界标定环境要求,有效提高手眼标定效率。

Description

基于特征点的手眼标定方法
技术领域
本发明涉及机器人标定技术领域,尤其是一种基于特征点的手眼标定方法。
背景技术
随着工业自动化的发展,机器人视觉技术在工业生产中的应用广泛,如:将视觉相机固定在机器人末端法兰上,协助机器人实现目标物体的可视化,并通过机器人末端执行器实现引导抓取等任务。
机器人视觉技术中手眼标定是必要的环节,手眼标定能够确定视觉相机和末端执行器之间的位姿关系,通过手眼标定,机器人可根据相机拍照结果确定被测目标相对于末端执行器的空间位姿,从而精确指导机器人实现引导抓取任务。
传统的手眼标定方法通常采用:将标定板固定在平面上,分别从不同机器人位姿采集标定板图像,建立手眼标定模型;但该方法耗时长,且当标定板不太平整时,手眼标定精度会存在偏差,此外,机器人工作现场,受到环境因素制约,无法合适的固定标定板。
发明内容
为了解决上述问题,本发明提出一种基于特征点的手眼标定方法,本方法仅利用特征点,建立机器人手眼标定方程而实现快速标定,不需要标定板等标定设备,降低了对外界标定环境要求,有效提高手眼标定效率。
一种基于特征点的手眼标定方法,包括如下步骤:
机器人按照预先设定的多个相机拍照位姿,带动相机对固定在机器人周围的特征点进行多角度拍照,获得多张特征点图像,得到所述特征点在相机像素坐标系Of-uv中的坐标值为(ui,vi),i表示第i个相机拍照位姿,i=1,2,3……n,n为相机拍照位姿数;
所述特征点在机器人基坐标系Ob-xbybzb下的位置为(x'j,y'j,z'j),j=1,2……m,m为特征点个数;
记第i个相机拍照位姿下机器人基坐标系Ob-xbybzb到机器人末端工具坐标系Ot-xtytzt的转换关系矩阵为
根据相机成像模型可得:
其中,si为尺寸因子,M为经标定得到的相机内参矩阵;
联立多个上式,解算出机器人末端工具坐标系Ot-xtytzt到相机坐标系Oc-xcyczc的转换关系矩阵,即手眼关系矩阵cTt
进一步,所述特征点数量m为1个,相机拍照位姿数n≥5。
或者,所述特征点数量m为2个,相机拍照位姿数n≥3。
或者,所述特征点数量m≥6个,相机拍照位姿数n≥2。
优选,所述特征点固定于机器人测量工位的地面上。
优选,所述特征点为圆形反光标记点。
进一步,所述矩阵通过读取机器人控制器中机器人位姿参数确定。
进一步,所述手眼关系矩阵cTt:利用齐次矩阵的单位正交性作为约束条件以均方差最小构造目标函数,通过最小二乘法进行非线性优化解算。
进一步,所述预先设定的多个相机拍照位姿通过对机器人的示教过程获得,保障在每一个相机拍照位姿处,所有特征点处于相机视野范围内。
为了提高手眼标定精度,多张特征点图像中,特征点的像素坐标系中位置应尽量分散;
优选,所述预先设定的多个相机拍照位姿数为9个,分别位于特征点的正上方和侧上方,相机光轴与特征点所在平面法相之间的夹角分别为0°、45°,相邻两相机之间的夹角为45°。
与现有手眼标定技术相比,本方法采用特征点进行手眼标定,能够在工业现场的复杂环境下有效进行,不需要借助其他标定设备,仅需要一个特征点就可以完成单目相机的手眼标定,且特征点不占用现场空间,标定结束后仍可保留在工作现场原状,当现场手眼关系需要重新标定时,只需机器人调用保存的标定示教运动轨迹,对固定的反光点进行拍照,重新获取手眼关系,整个操作过程时间仅需10分钟左右;而传统手眼标定方法借助标定板,需要现场摆放标定板,重新操控机器人对标定板进行多角度拍摄,整个标定过程持续1小时左右,本发明方法效率高,可以广泛应用于工程现场的快速手眼标定。
附图说明
图1为实施例1中9个相机拍照位姿、特征点位置示意图;
图2为实施例1中9个相机拍照位姿下获得的特征点的像素位置。
具体实施方式
以下结合附图和实施例对本发明的技术方案进行详细描述。
实施例1
本发明提出了一种基于反光标记点2的手眼标定方法,该方法不借助外界标定设备,适用于现场快速标定,作为本发明一个实施例,进行以下步骤:
一、首先确定待手眼标定机器人的工作空间,在工作空间中部地面或者其他开放位置固定粘贴1个反光标记点2,如图1所示,反光标记点位置固定,其三维坐标在机器人基坐标系Ob-xbybzb下为一个未知的固定值(x'1,y'1,z'1)。
二、根据固定反光标记点2的位置,通过对机器人的示教过程调整机器人将相机1移动到选取位姿附近,保证反光标记点2出现在相机视野当中;
如图1中所示,预先设定9个具有范围代表性的相机拍照位姿,分别位于反光标记点2的正上方和侧上方,相机光轴与反光标记点2所在平面法相之间的夹角分别为0°、45°,相邻两相机之间的夹角为45°,相机位姿无先后顺序。
三、当需要进行手眼标定时,机器人按照预先设定的9个相机拍照位姿,带动相机对固定在机器人周围的反光标记点2进行多角度拍照,获得多张反光标记点2图像,得到所述反光标记点2在相机像素坐标系Of-uv中的坐标值为(ui,vi),i表示第i个相机拍照位姿,i=1,2,3……9;
为了提高手眼标定精度,多张反光标记点2图像中,反光标记点2的像素坐标系中位置应尽量分散,图1中9个相机位姿无顺序的和图2中9个预定像素点一一对应;
根据机器人运动学模型中的9组不同机器人位姿得到机器人基坐标系到机器人末端工具坐标系的齐次矩阵
根据相机成像模型可得:
其中,si为尺寸因子,M为经标定得到的相机内参矩阵;
联立9个上式,将手眼标定矩阵cTt的单位正交性作为约束,以均方差最小为目标函数,利用最小二乘法进行非线性优化求解,解算出机器人末端工具坐标系Ot-xtytzt到相机坐标系Oc-xcyczc的转换关系矩阵,即手眼关系矩阵cTt
实施例2
作为本发明的另一个实施例,进行以下步骤:
一、首先确定待手眼标定机器人的工作空间,在工作空间中部地面或者其他开放位置固定粘贴6个反光标记点2,反光标记点位置固定,其三维坐标在机器人基坐标系Ob-xbybzb下为一个未知的固定值(x'j,y'j,z'j),j=1,2……6。
二、根据固定的6个反光标记点2的位置,通过对机器人的示教过程调整机器人将相机1移动到选取位姿附近,保证6个反光标记点2均出现在相机视野当中;
如图1中所示,预先设定7个具有范围代表性的相机拍照位姿,分别位于反光标记点2的正上方和侧上方,相机光轴与反光标记点2所在平面法相之间的夹角分别约为0°、45°,侧上方相邻两相机之间的夹角约为60°,相机位姿无先后顺序。
三、当需要进行手眼标定时,机器人按照预先设定的7个相机拍照位姿,带动相机对固定在机器人周围的反光标记点2进行多角度拍照,获得多张反光标记点2图像,得到所述反光标记点2在相机像素坐标系Of-uv中的坐标值为(ui,vi),i表示第i个相机拍照位姿,i=1,2,3……7;
根据机器人运动学模型中的7组不同机器人位姿得到机器人基坐标系到机器人末端工具坐标系的齐次矩阵
根据相机成像模型可得:
其中,si为尺寸因子,M为经标定得到的相机内参矩阵;
联立7个上式,将手眼标定矩阵cTt的单位正交性作为约束,以均方差最小为目标函数,利用最小二乘法进行非线性优化求解,解算出机器人末端工具坐标系Ot-xtytzt到相机坐标系Oc-xcyczc的转换关系矩阵,即手眼关系矩阵cTt
为了方便解释和精确限定所附权利要求,术语“上”、“下”、“左”和“右”是对特征位置的示例性实施方式的描述。
前面对本发明具体示例性实施方案所呈现的描述是出于说明和描述的目的。前面的描述并不想要成为毫无遗漏的,也不是想要把本发明限制为所公开的精确形式,显然,根据上述教导很多改变和变化都是可能的。选择示例性实施方案并进行描述是为了解释本发明的特定原理及其实际应用,从而使得本领域的其它技术人员能够实现并利用本发明的各种示例性实施方案及其不同选择形式和修改形式。本发明的范围旨在由所附权利要求书及其等价形式所限定。

Claims (9)

1.一种基于特征点的手眼标定方法,其特征在于包括如下步骤:
机器人按照预先设定的多个相机拍照位姿,带动相机对固定在机器人周围的特征点进行多角度拍照,获得多张特征点图像,得到所述特征点在相机像素坐标系Of-uv中的坐标值为(ui,vi),i表示第i个相机拍照位姿,i=1,2,3……n,n为相机拍照位姿数;
所述特征点在机器人基坐标系Ob-xbybzb下的位置为(x'j,y'j,z'j),j=1,2……m,m为特征点个数;
记第i个相机拍照位姿下机器人基坐标系Ob-xbybzb到机器人末端工具坐标系Ot-xtytzt的转换关系矩阵为
根据相机成像模型可得:
其中,si为尺寸因子,M为经标定得到的相机内参矩阵;
联立多个上式,解算出机器人末端工具坐标系Ot-xtytzt到相机坐标系Oc-xcyczc的转换关系矩阵,即手眼关系矩阵cTt
2.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述特征点数量m为1个,相机拍照位姿数n≥5。
3.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述特征点数量m为2个,相机拍照位姿数n≥3。
4.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述特征点数量m≥6个,相机拍照位姿数n≥2。
5.如权利要求1~4中任一项所述基于特征点的手眼标定方法,其特征在于:所述特征点固定于机器人测量工位的地面上。
6.如权利要求1~4中任一项所述基于特征点的手眼标定方法,其特征在于:所述特征点为圆形反光标记点。
7.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述矩阵通过读取机器人控制器中机器人位姿参数确定。
8.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述预先设定的多个相机拍照位姿通过对机器人的示教过程获得,保障在每一个相机拍照位姿处,所有特征点处于相机视野范围内。
9.如权利要求1所述基于特征点的手眼标定方法,其特征在于:所述预先设定的多个相机拍照位姿数为9个,分别位于特征点的正上方和侧上方,相机光轴与特征点所在平面法相之间的夹角分别为0°、45°,相邻两相机之间的夹角为45°。
CN201910627805.1A 2019-07-12 2019-07-12 基于特征点的手眼标定方法 Pending CN110238820A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910627805.1A CN110238820A (zh) 2019-07-12 2019-07-12 基于特征点的手眼标定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910627805.1A CN110238820A (zh) 2019-07-12 2019-07-12 基于特征点的手眼标定方法

Publications (1)

Publication Number Publication Date
CN110238820A true CN110238820A (zh) 2019-09-17

Family

ID=67892074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910627805.1A Pending CN110238820A (zh) 2019-07-12 2019-07-12 基于特征点的手眼标定方法

Country Status (1)

Country Link
CN (1) CN110238820A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
CN111443337A (zh) * 2020-03-27 2020-07-24 北京航空航天大学 一种基于手眼标定的雷达-imu标定方法
CN112621711A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112621743A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于末端的手眼标定方法及存储介质
CN112659129A (zh) * 2020-12-30 2021-04-16 杭州思锐迪科技有限公司 机器人的定位方法、装置、系统和计算机设备
CN113021328A (zh) * 2019-12-09 2021-06-25 广东博智林机器人有限公司 一种手眼标定方法、装置、设备和介质
WO2021158773A1 (en) * 2020-02-06 2021-08-12 Berkshire Grey, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095226A1 (en) * 2002-11-21 2006-05-04 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN1331642C (zh) * 2004-07-15 2007-08-15 上海交通大学 焊接机器人单目视觉传感器
CN103175485A (zh) * 2013-02-20 2013-06-26 天津工业大学 一种飞机涡轮发动机叶片修复机器人的视觉标定方法
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN106839979A (zh) * 2016-12-30 2017-06-13 上海交通大学 激光线结构光传感器的手眼标定方法
CN106940894A (zh) * 2017-04-12 2017-07-11 无锡职业技术学院 一种基于主动视觉的手眼系统自标定方法
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109470142A (zh) * 2018-11-22 2019-03-15 北京航天计量测试技术研究所 一种基于圆形标志点的单目位姿测量方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060095226A1 (en) * 2002-11-21 2006-05-04 Samsung Electronics Co., Ltd. Hand/eye calibration method using projective invariant shape descriptor of 2-dimensional image
CN1331642C (zh) * 2004-07-15 2007-08-15 上海交通大学 焊接机器人单目视觉传感器
CN103175485A (zh) * 2013-02-20 2013-06-26 天津工业大学 一种飞机涡轮发动机叶片修复机器人的视觉标定方法
CN106553195A (zh) * 2016-11-25 2017-04-05 中国科学技术大学 工业机器人抓取过程中的物体6自由度定位方法及系统
CN106839979A (zh) * 2016-12-30 2017-06-13 上海交通大学 激光线结构光传感器的手眼标定方法
CN106940894A (zh) * 2017-04-12 2017-07-11 无锡职业技术学院 一种基于主动视觉的手眼系统自标定方法
CN109015630A (zh) * 2018-06-21 2018-12-18 深圳辰视智能科技有限公司 基于标定点提取的手眼标定方法、系统及计算机存储介质
CN109470142A (zh) * 2018-11-22 2019-03-15 北京航天计量测试技术研究所 一种基于圆形标志点的单目位姿测量方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周卫林: ""基于深度分层特征的激光视觉焊缝检测与跟踪系统的研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113021328A (zh) * 2019-12-09 2021-06-25 广东博智林机器人有限公司 一种手眼标定方法、装置、设备和介质
CN110977980A (zh) * 2019-12-17 2020-04-10 上海嘉奥信息科技发展有限公司 基于光学定位仪的机械臂实时手眼标定方法及系统
WO2021158773A1 (en) * 2020-02-06 2021-08-12 Berkshire Grey, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
US11826918B2 (en) 2020-02-06 2023-11-28 Berkshire Grey Operating Company, Inc. Systems and methods for camera calibration with a fiducial of unknown position on an articulated arm of a programmable motion device
CN111443337A (zh) * 2020-03-27 2020-07-24 北京航空航天大学 一种基于手眼标定的雷达-imu标定方法
CN111443337B (zh) * 2020-03-27 2022-03-08 北京航空航天大学 一种基于手眼标定的雷达-imu标定方法
CN112621711A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112621743A (zh) * 2020-11-19 2021-04-09 深圳众为兴技术股份有限公司 机器人及其相机固定于末端的手眼标定方法及存储介质
CN112621743B (zh) * 2020-11-19 2022-11-25 深圳众为兴技术股份有限公司 机器人及其相机固定于末端的手眼标定方法及存储介质
CN112621711B (zh) * 2020-11-19 2022-11-29 深圳众为兴技术股份有限公司 机器人及其相机固定于机架的手眼标定方法以及存储介质
CN112659129A (zh) * 2020-12-30 2021-04-16 杭州思锐迪科技有限公司 机器人的定位方法、装置、系统和计算机设备
CN112659129B (zh) * 2020-12-30 2022-08-09 杭州思锐迪科技有限公司 机器人的定位方法、装置、系统和计算机设备

Similar Documents

Publication Publication Date Title
CN110238820A (zh) 基于特征点的手眼标定方法
JP6966582B2 (ja) ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法
CN110103217B (zh) 工业机器人手眼标定方法
CN110202560A (zh) 一种基于单个特征点的手眼标定方法
CN110116411B (zh) 一种基于球目标的机器人3d视觉手眼标定方法
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN108436909A (zh) 一种基于ros的相机和机器人的手眼标定方法
CN111536902B (zh) 一种基于双棋盘格的振镜扫描系统标定方法
CN109448054A (zh) 基于视觉融合的目标分步定位方法、应用、装置及系统
CN110276799B (zh) 一种坐标标定方法、标定系统及机械臂
CN108555908A (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN109382821B (zh) 校准方法、校准系统及程序
CN111775146A (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN109671122A (zh) 手眼相机标定方法及装置
CN107253190A (zh) 一种高精度机器人手眼相机自动标定的装置及其使用方法
CN110634164B (zh) 视觉传感器快速标定方法
CN113379849B (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111872922B (zh) 基于3d视觉传感器的三自由度并联机器人手眼标定方法
US20090281662A1 (en) Simulator for visual inspection apparatus
CN110490942A (zh) 一种基于scara机械手第二臂的移动相机标定方法
CN114643578A (zh) 一种提高机器人视觉引导精度的标定装置及方法
CN111811433A (zh) 基于红蓝正交条纹的结构光系统标定方法及装置和应用
CN115284292A (zh) 基于激光相机的机械臂手眼标定方法及装置
CN112958960B (zh) 一种基于光学靶标的机器人手眼标定装置
CN110928311A (zh) 一种基于全景相机下直线特征的室内移动机器人导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190917