CN106695796B - 基于ransac的便携式激光扫描测量臂手眼标定方法 - Google Patents
基于ransac的便携式激光扫描测量臂手眼标定方法 Download PDFInfo
- Publication number
- CN106695796B CN106695796B CN201710095487.XA CN201710095487A CN106695796B CN 106695796 B CN106695796 B CN 106695796B CN 201710095487 A CN201710095487 A CN 201710095487A CN 106695796 B CN106695796 B CN 106695796B
- Authority
- CN
- China
- Prior art keywords
- indicate
- hand
- relative motion
- eye calibrating
- spin matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1692—Calibration of manipulator
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
- B25J13/089—Determining the position of the robot with reference to its environment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/022—Optical sensing devices using lasers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
Abstract
本发明提供了一种将现有手眼标定方法与随机采样一致性算法(RANSAC,Random Sample Consensus)结合的新的手眼标定方法,能有效地解决标定数据的筛选问题并同时提高手眼标定算法的精度和鲁棒性;包括以下步骤:设定数据筛选原则,综合考虑关节臂末端相对运动旋转轴之间的夹角和测量臂与扫描测头相对运动的旋转角差值两因素;利用RANSAC算法对标定数据进行阈值自适应预筛选;利用现有的手眼标定算法对筛选后的标定数据进行估计;其中通过增大机器人手臂末端执行器两次相对运动旋转轴之间的夹角∠(kAij,kAjk),增大机器人手臂末端执行器与摄像机坐标系相对运动的旋转角度误差Δθ可实现提高手眼标定方程中旋转矩阵求解精度。
Description
技术领域
本发明涉及机器人手眼标定领域,特别涉及一种关节臂式三坐标测量机手眼关系的数据筛选领域。
背景技术
近年来,大型飞机、船舶、机车等现代大型装备制造业领域对大范围现场快速、高效率、高精度测量技术的需求越来越多,因此便携、快速、高精度测量成为精密测量技术的一个重要发展方向。便携式测量臂以其测量精度高、操作方便和结构简单等优势,具有传统三坐标测量机无可比拟的灵活性,在便携式测量臂末端安装激光扫描测头,就可以将其应用范围拓展到机器视觉测量领域。目前,测量臂末端与激光扫描测头的坐标变换关系主要是建立二者之间的手眼标定矩阵方程。手眼标定问题由Tsai和Shiu于1989年首次提出,最早被用于机器人的手眼标定,随着仪器科学技术的飞速发展,其应用范围越来越广泛,且一直是计算机视觉领域研究热点。
1989年,Tsai提出基于旋转轴与旋转角的经典变换算法解决手眼标定问题,但算法十分复杂、计算过程繁复,实用性差。同年,Shiu提出了手眼标定的闭环线性解法,该算法由于分步求出的旋转矩阵和平移向量,存在误差传递的问题,求解精度不高。1991年,Zhuang提出了基于四元数方程的一步线性法和两步线性法,该算法简化了推导过程,但没有考虑到视觉传感器与机器人手臂末端执行器之间的相对旋转角问题,数值稳定性差。1999年,Daniilidis采用对偶四元数和螺旋理论的方法得出了线性闭环解法,该算法计算步骤简洁,但对测量噪声十分敏感,鲁棒性不高。1999年,Andreff等提出了基于矩阵直积的线性闭环解法,该算法适用于标定小角度移动的测量场合,但求解的结果通常情况下并不满足旋转矩阵的正交和单位特性,需要再进行正交化,求解精度有限。2008年,李爱国,胡英,马孜提出了同时确定手眼关系以及机器人坐标系到世界坐标系关系的两种算法。2010年,Abed Malti为了避免平移向量的误差对旋转矩阵求解精度的影响,结合欧氏运动群SE(3),提出一种改进的对偶四元数算法,增强了标定结果的精度和鲁棒性。2010年,毛剑飞等给出了手眼标定算法的四元数矩阵分析与几何解释的对照。2011年,王君臣等分别基于卡尔曼滤波和极大似然估计的思想对测量噪声进行了处理,提高了标定的精度。2015年,王金桥等利用遗传算法优化手眼标定算法的数学模型。这些研究较好地解决了手眼标定的求解算法问题,但标定数据的筛选对标定精度具有至关重要的影响,还需做进一步的研究,提高手眼标定算法的鲁棒性。
因此,需要一种能有效地解决标定数据的筛选问题并同时提高手眼标定算法的鲁棒性的基于RANSAC的便携式激光扫描测量臂手眼标定方法。
发明内容
本发明的目的在于提供一种将现有手眼标定方法与随机采样一致性算法(RANSAC,Random Sample Consensus)结合的新的手眼标定方法,能有效地解决标定数据的筛选问题并同时提高手眼标定算法的精度和鲁棒性。
具体的,本发明提供的一种基于RANSAC的便携式激光扫描测量臂手眼标定方法,包括以下步骤:
设定数据筛选原则,综合考虑关节臂末端相对运动旋转轴之间的夹角和测量臂与扫描测头相对运动的旋转角差值两因素;
利用RANSAC算法对标定数据进行阈值自适应预筛选;
利用现有的手眼标定算法对筛选后的标定数据进行估计。
定义A表示视觉传感器的变换矩阵,B表示机器人手臂末端执行器的变换矩阵,X表示手眼变换关系矩阵,则手眼标定方程为AX=XB,可以用旋转矩阵R和平移向量t表示为:
RARX=RXRB (1)
(RA-I3)tX=RXtB-tA (2)
由上述方程可知:至少需要两次旋转轴非平行的相对位姿变换可唯一确定手眼关系X。手眼标定方程的求解算法主要有轴角表示法、四元数法、矩阵直积法以及对偶四元数法,各算法在求解精度、效率以及鲁棒性上存在一定的差异,其中,除了算法本身会影响标定方程的求解精度,Tsai推导和证明了标定数据的选择同样会影响标定方程的求解精度。
假定标定数据中旋转矩阵R的标定误差为ΔR,得到旋转矩阵的误差公式:
R'A=RA-ΔRA R'B=RB-ΔRB (3)
式中∠(kAij,kAjk)表示两次相对运动的旋转轴夹角,θA表示相对运动的旋转角度,由上述公式可知提高手眼标定方程中旋转矩阵求解精度的因素为:①增大机器人手臂末端执行器两次相对运动旋转轴之间的夹角∠(kAij,kAjk);②增大视觉传感器相对运动的旋转角,即增大机器人手臂末端执行器与摄像机坐标系相对运动的旋转角度误差Δθ。
本发明的有益效果在于提供一种阈值自适应的数据筛选方法,是对机器手和摄像机的标定数据进行预先筛选,设定旋转轴夹角自适应更新和抽样次数自适应更新的原则,结合RANSAC思想提出一种阈值自适应的数据筛选方法,从而提高手眼标定方程的鲁棒性和求解精度。
应当理解,前述大体的描述和后续详尽的描述均为示例性说明和解释,并不应当用作对本发明所要求保护内容的限制。
附图说明
参考随附的附图,本发明更多的目的、功能和优点将通过本发明实施方式的如下描述得以阐明,其中:
图1示意性示出本发明的阈值自适应的数据筛选方法的算法步骤图。
图2示意性示出筛选前后旋转向量误差。
图3示意性示出筛选前后平移向量误差。
具体实施方式
通过参考示范性实施例,本发明的目的和功能以及用于实现这些目的和功能的方法将得以阐明。然而,本发明并不受限于以下所公开的示范性实施例;可以通过不同形式来对其加以实现。说明书的实质仅仅是帮助相关领域技术人员综合理解本发明的具体细节。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
本发明提供一种基于RANSAC的便携式激光扫描测量臂手眼标定方法,有效地提高了标定算法的精度和鲁棒性,该方法包括以下步骤:
步骤一,设定数据筛选原则,综合考虑关节臂末端相对运动旋转轴之间的夹角和测量臂与扫描测头相对运动的旋转角差值两因素;
步骤二,利用RANSAC算法对标定数据进行阈值自适应预筛选;
步骤三,利用现有的手眼标定算法对筛选后的标定数据进行估计。
所述的RANSAC的算法是由Fischler和Bolles于1981年所引入的鲁棒方法,最初用于确定摄像机姿态的研究,随着科学技术的发展,其应用领域已经广泛深入到计算机视觉领域和其它学科的估计问题。针对两个手眼标定精度影响因素,设定旋转轴夹角自适应更新和抽样次数自适应更新的原则,同时考虑到标定的鲁棒性和快速性,结合RANSAC思想提出一种阈值自适应的数据筛选方法。
步骤一中的数据筛选原则为:通过①增大机器人手臂末端执行器两次相对运动旋转轴之间的夹角∠(kAij,kAjk);②增大视觉传感器相对运动的旋转角,即增大机器人手臂末端执行器与摄像机坐标系相对运动的旋转角度误差Δθ,从而实现提高手眼标定方程中旋转矩阵求解精度。
图1是本发明步骤二中的阈值自适应的数据筛选方法的算法步骤图,如图1所示本发明的阈值自适应的数据筛选方法的基本步骤如下:
I.对旋转矩阵的旋转角进行预筛选。旋转角接近0°或180°,不满足罗德里格旋转角特性,旋转轴具有歧义性。
II.设置初始内点比例ω0和初始抽样次数K0。其中,ω0=n0/N,K0=logz/log(1-ω2),z为K0次抽样均为坏样本的概率,N为I预筛选后的数集空间点总数,n0为初始内点个数。
III.任意抽取两次相对运动i,j,计算旋转轴ri,rj的夹角θij,使夹角满足条件:90°-θt<θij<90°+θt,θt为角度阈值,测量臂两次相对运动旋转轴之间的最优夹角为90°,根据该原则筛选出符合条件的点,通过数据筛选更新内点比例ωi,若ωi>ω0,则ω0=ωi,并更新K0。
IV.更新内点个数n0,判断内点个数是否满足实验预设个数(本发明设定为15),若n0<15,则更新筛选阈值θt,θt=θt+1。
V.判断抽样次数是否超过K0,若超过则停止抽样,否则,返回III。
由图1看出,抽样次数和角度阈值自适应更新的目的是使内点个数满足抽样点的要求,保证有足够多次抽样,同时保证标定的快速性和鲁棒性。并且抽样次数在更新过程中是单调下降的,所以抽样过程必终止。因此,RANSAC算法是一种满足筛选要求的自适应算法。
下面结合图2、图3比较误差,进一步说明本发明中对标定数据进行预筛选是有必要的。通常情况下,手眼标定方程的求解算法四种,分别为:轴角表示法、四元数法、矩阵直积法以及对偶四元数法,各算法在求解精度、效率以及鲁棒性上存在一定的差异。其中误差大的是没有进行数据筛选的结果,误差小的是首先使用了本发明提出的数据筛选的方法,然后再用常用的四种方法标定得到的结果,结果用旋转向量和平移向量来评定,如图2所示,是筛选前后旋转向量误差的平均值;如图3所示,是筛选前后平移向量误差的平均值,由图可知:筛选前的误差明显大于筛选后的误差,RANSAC算法主要针对的筛选因素是机器人手臂末端执行器两次相对运动旋转轴之间的夹角,但由于旋转轴的精度提高,平移向量的精度也随之有一定程度的提高。因此本发明中对标定数据进行预筛选可以有效提高手眼标定手眼标定方程的鲁棒性和求解精度。
下面结合表1,表1示意性示出精度评估时,实验误差计算结果。结合步骤三详述采用以目的为导向的精度评价方法进行精度评估,即根据已标定的手眼关系X和未参与计算X的机械手运动模型提供的变换矩阵Bi来计算摄像机变换矩阵的估计值将摄像机标定数据中的每个测量值Ai与对应的估计值进行比较,定义相对旋转和相对平移的误差公式如下:
表1实验数据筛选前后相对估计误差均值(%)
kx :旋转向量误差;tx :平移向量误差。
表1
实验误差计算结果如表1所示,由表1可知,对于相同的测量数据,使用RANSAC算法进行数据筛选之后,四种标定方法得到的相对旋转轴和相对平移向量的精度误差均值较之未筛选之前标定的误差数据,都得到了改善。因此,进一步验证得知:进行数据筛选之后的RANSAC算法能够有效地筛除数据,减小手眼标定误差。
本发明提供一种阈值自适应的数据筛选方法,将现有手眼标定方法与随机采样一致性算法(RANSAC,Random Sample Consensus)结合的新的手眼标定方法,在解决标定方程的求解算法问题的同时还对机器手和摄像机的标定数据进行预先筛选,设定旋转轴夹角自适应更新和抽样次数自适应更新的原则,能有效地解决标定数据的筛选问题并同时提高手眼标定算法的精度和鲁棒性。
结合这里披露的本发明的说明和实践,本发明的其他实施例对于本领域技术人员都是易于想到和理解的。说明和实施例仅被认为是示例性的,本发明的真正范围和主旨均由权利要求所限定。
Claims (4)
1.一种基于RANSAC的便携式激光扫描测量臂手眼标定方法,将现有手眼标定方法与随机采样一致性算法结合的新的手眼标定方法,包括以下步骤:
设定数据筛选原则,综合考虑关节臂末端相对运动旋转轴之间的夹角和测量臂与扫描测头相对运动的旋转角差值两因素;
利用RANSAC算法对标定数据进行阈值自适应预筛选;
利用现有的手眼标定算法对筛选后的标定数据进行估计;
所述的阈值自适应的数据筛选方法的基本步骤如下:
I.对旋转矩阵的旋转角进行预筛选,旋转角接近0°或180°,不满足罗德里格旋转角特性,旋转轴具有歧义性;
II.设置初始内点比例ω0和初始抽样次数K0,其中,ω0=n0/N,K0=logz/log(1-ω2),z为K0次抽样均为坏样本的概率,N为I预筛选后的数集空间点总数,n0为初始内点个数,ω为旋转角的角速度;
III.任意抽取两次相对运动i,j,计算旋转轴ri,rj的夹角θij,使夹角满足条件:90°-θt<θij<90°+θt,θt为角度阈值,测量臂两次相对运动旋转轴之间的最优夹角为90°,根据该原则筛选出符合条件的点,通过数据筛选更新内点比例ωi,若ωi>ω0,则ω0=ωi,并更新K0;
IV.更新内点个数n0,判断内点个数是否满足实验预设个数,其中预设个数设定为15,若n0<15,则更新筛选阈值θt,θt=θt+1;
V.判断抽样次数是否超过K0,若超过则停止抽样,否则,返回III。
2.根据权利要求1所述的便携式激光扫描测量臂手眼标定方法,其特征在于,采用以目的为导向的精度评价方法进行精度评估,具体方法如下:根据已标定的手眼关系X和未参与计算X的机械手运动模型提供的变换矩阵Bi来计算摄像机变换矩阵的估计值将摄像机标定数据中的每个测量值Ai与对应的估计值进行比较,定义相对旋转和相对平移的误差公式如下:
其中中,,kAi表示摄像机标定数据中的测量值的旋表转示向摄量像误差;tAi表示摄像机标定数据中的测量值的平移向量误差;eR表示相对旋转的误差;et表示相对平移的误差。
3.根据权利要求1所述的便携式激光扫描测量臂手眼标定方法,其特征在于,所述手眼标定方法求解精度的影响因素包括算法本身和标定数据的选择;
假定标定数据中旋转矩阵R的标定误差为ΔR,得到旋转矩阵的误差公式:
RA'=RA-ΔRA,RB'=RB-ΔRB(3)
式中∠(kAij,kAjk)表示两次相对运动的旋转轴夹角,θA表示相对运动的旋转角度;由上述公式可知提高手眼标定方程中旋转矩阵求解精度的因素为:增大机器人手臂末端执行器两次相对运动旋转轴之间的夹角∠(kAij,kAjk);增大视觉传感器相对运动的旋转角,即增大机器人手臂末端执行器与摄像机坐标系相对运动的旋转角度误差Δθ;RA表示视觉传感器的旋转矩阵,ΔRA表示视觉传感器的旋转矩阵的标定误差;RA’表示视觉传感器的实际测量的旋转矩阵;RB表示机器人手臂末端执行器的旋转矩阵;ΔRB表示机器人手臂末端执行器的旋转矩阵的标定误差;RB’表示机器人手臂末端执行器的实际测量的旋转矩阵;θAij表示第一次相对运动的旋转角度;θAjk表示第二次相对运动的旋转角度;σRcg表示旋转矩阵求解精度;表示视觉传感器第一次旋转矩阵的精度;表示视觉传感器第二次旋转矩阵的精度;表示机器人手臂末端执行器的第一次旋转矩阵的精度;表示机器人手臂末端执行器的第二次旋转矩阵的精度。
4.根据权利要求1所述的便携式激光扫描测量臂手眼标定方法,其特征在于,所述手眼标定方法中手眼关系X的唯一确定至少需要两次旋转轴非平行的相对位姿变换,具体公式如下:
定义A表示视觉传感器的变换矩阵,B表示机器人手臂末端执行器的变换矩阵,X表示手眼变换关系矩阵,则手眼标定方程为AX=XB,用旋转矩阵R和平移向量t表示为:
RARX=RXRB (1)
(RA-I3)tX=RXtB-tA (2)
I3表示单位矩阵。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610946250 | 2016-11-02 | ||
CN2016109462503 | 2016-11-02 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106695796A CN106695796A (zh) | 2017-05-24 |
CN106695796B true CN106695796B (zh) | 2019-04-05 |
Family
ID=58917163
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710095487.XA Active CN106695796B (zh) | 2016-11-02 | 2017-02-22 | 基于ransac的便携式激光扫描测量臂手眼标定方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106695796B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111546347B (zh) * | 2020-06-03 | 2021-09-03 | 中国人民解放军海军工程大学 | 一种适用于动态环境下的机械臂路径规划方法 |
CN113237434B (zh) * | 2021-04-25 | 2022-04-01 | 湖南大学 | 一种基于阶梯形标定物的激光轮廓传感器eye-in-hand标定方法 |
CN113771096A (zh) * | 2021-11-09 | 2021-12-10 | 北京壹点灵动科技有限公司 | 机械臂的位姿信息的处理方法和装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132616A (zh) * | 2014-08-19 | 2014-11-05 | 苏州北硕检测技术有限公司 | 激光测量机器人的手眼标定方法及系统 |
CN104842371A (zh) * | 2015-05-29 | 2015-08-19 | 山东大学 | 一种基于非最小化最优化算法的机器人手眼标定方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100468857B1 (ko) * | 2002-11-21 | 2005-01-29 | 삼성전자주식회사 | 2차원 형상에 대한 투사 불변형 표현자를 이용한핸드/아이 캘리브레이션 방법 |
-
2017
- 2017-02-22 CN CN201710095487.XA patent/CN106695796B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132616A (zh) * | 2014-08-19 | 2014-11-05 | 苏州北硕检测技术有限公司 | 激光测量机器人的手眼标定方法及系统 |
CN104842371A (zh) * | 2015-05-29 | 2015-08-19 | 山东大学 | 一种基于非最小化最优化算法的机器人手眼标定方法 |
Non-Patent Citations (1)
Title |
---|
面向工业应用的机器人手眼标定与物体定位;程玉立;《中国优秀硕士学位论文全文数据库(电子期刊)信息科技辑》;20160815;第I138-I229页 |
Also Published As
Publication number | Publication date |
---|---|
CN106695796A (zh) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5746477B2 (ja) | モデル生成装置、3次元計測装置、それらの制御方法及びプログラム | |
CN105818167B (zh) | 采用远距数字摄像头校准铰接的末端执行器的方法 | |
CN106910223B (zh) | 一种基于凸松弛全局优化算法的机器人手眼标定方法 | |
JP5297403B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、プログラムおよび記憶媒体 | |
CN106920261B (zh) | 一种机器人手眼静态标定方法 | |
JP6180087B2 (ja) | 情報処理装置及び情報処理方法 | |
CN105809702B (zh) | 一种基于Tsai算法的改进位姿估计方法 | |
JP6271953B2 (ja) | 画像処理装置、画像処理方法 | |
CN107256568B (zh) | 一种高精度机械臂手眼相机标定方法及标定系统 | |
CN106695796B (zh) | 基于ransac的便携式激光扫描测量臂手眼标定方法 | |
TWI517101B (zh) | 三維掃描器校正系統及其校正方法 | |
CN101116101A (zh) | 位置/姿势测量方法和设备 | |
CN105806315A (zh) | 基于主动编码信息的非合作目标相对测量系统及测量方法 | |
CN106991705B (zh) | 一种基于p3p算法的位置参数估计方法 | |
CN113910219A (zh) | 运动臂系统以及控制方法 | |
JP7462769B2 (ja) | 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法 | |
CN113870366B (zh) | 基于位姿传感器的三维扫描系统的标定方法及其标定系统 | |
CN112712565A (zh) | 基于视觉与imu融合的飞机蒙皮损伤无人机绕检定位方法 | |
CN109489558A (zh) | 距离测量系统和距离测量方法 | |
CN112414324A (zh) | 一种基于双目立体视觉的直升机旋翼桨叶扭转角测量方法 | |
WO2016123813A1 (zh) | 一种智能设备的姿态关系计算方法和智能设备 | |
CN109084734B (zh) | 基于单目显微视觉的微球姿态测量装置及测量方法 | |
CN112665517B (zh) | 一种多相机大视场表面形状测量标定方法 | |
CN107966135B (zh) | 一种基于穹顶结构的多目视觉测量方法 | |
WO2018180503A1 (ja) | 身体向推定装置および身体向推定プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |