CN106524945B - 一种基于机械臂和结构光视觉的平面夹角在线测量方法 - Google Patents

一种基于机械臂和结构光视觉的平面夹角在线测量方法 Download PDF

Info

Publication number
CN106524945B
CN106524945B CN201610896157.6A CN201610896157A CN106524945B CN 106524945 B CN106524945 B CN 106524945B CN 201610896157 A CN201610896157 A CN 201610896157A CN 106524945 B CN106524945 B CN 106524945B
Authority
CN
China
Prior art keywords
point
mechanical arm
angle
line
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610896157.6A
Other languages
English (en)
Other versions
CN106524945A (zh
Inventor
王秀平
吕佳
陈晶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Professional College of Science and Technology
Original Assignee
Wuxi Professional College of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Professional College of Science and Technology filed Critical Wuxi Professional College of Science and Technology
Priority to CN201610896157.6A priority Critical patent/CN106524945B/zh
Publication of CN106524945A publication Critical patent/CN106524945A/zh
Application granted granted Critical
Publication of CN106524945B publication Critical patent/CN106524945B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/26—Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Abstract

本发明提供了一种基于机械臂和结构光视觉的平面夹角在线测量方法，其可有效实现平面夹角在线测量，以及实时检测工业生产过程中两个平面构成的夹角；控制器控制连接机械臂，摄像机固定于机械臂末端，结构光投射器固定于摄像机一侧，结构光投射器投射于待测量的且构成夹角的两个平面表面上，结构光投射器采用线结构光投射器或者面结构光投射器，将机械臂末端与摄像机间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，然后对摄像机采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角。

Description

一种基于机械臂和结构光视觉的平面夹角在线测量方法
技术领域
本发明涉及计算机视觉测量技术领域，尤其是用于由结构光视觉实现平面夹角实时在线测量，为机器人自动焊接、切割、抓取等操作提供信息，具体为一种基于机械臂和结构光视觉的平面夹角在线测量方法。
背景技术
在智能制造领域，常常需要在线获取工业制造对象的几何特征信息，以便于机械臂在焊接、切割、抓取时能准确地进行操作，在这些几何特征中，工件表面的夹角是一个比较重要的特征信息，如果能获取了工件表面的夹角，将有助于机械臂实时调整位姿，提高操作的精度和效率，并为确定操作空间、避免发生碰撞提供信息。
现有的三维检测装置，分为接触式和非接触式两类，其中接触式检测装置效率不高，且容易在物体表面产生划痕，因此，近年来以机器视觉为代表的非接触式三维检测装置得到了较多的研究与应用。
计算机视觉测量技术，以光学为基础，融光电子学、计算机技术、激光技术、图像处理技术等现代科学技术为一体，组成的光、机、电、计算机的综合测量系统。具有非接触、高速度、能满足实时性等诸多优点。国内外一些研究人员针对不同的应用场合，提出了一些基于计算机视觉的平面角度测量方法，如白福忠等在《角度的图像测量法》(计量学报，2007，28(4)：314-316)一文中提出利用相机在垂直于两待测平面边缘的位置，拍摄一幅图像，在图像中检测工件平面的边缘，再进行霍夫变换拟合出边缘直线，从而求得平面夹角，但是这种方法需要将相机移动到两平面边缘位置，拍摄图像时要保证相机与两平面边缘线所构成的平面相垂直，而这一要求增加了图像采集的难度，在有些场合很难实现；雷经发等在《基于计算机视觉的平面夹角测量方法》(华南理工大学学报(自然科学版)，2011，39(8)：54-59)一文中提出在两待测平面上分别贴上圆标记，采用预先标定的相机进行1次图像采集，即可测得两平面间的夹角，而这种方法需要预先在平面上增加特定标记，降低了测量的方便性和实时性。
发明内容
针对上述问题，本发明提供了一种基于机械臂和结构光视觉的平面夹角在线测量方法，其可有效实现平面夹角在线测量，以及实时检测工业生产过程中两个平面构成的夹角。
其技术方案是这样的：
一种基于机械臂和结构光视觉的平面夹角在线测量方法，其包括机械臂、结构光视觉系统，与计算机连接的控制器控制连接所述机械臂，所述结构光视觉系统包括摄像机、结构光投射器，所述摄像机固定于所述机械臂末端，所述结构光投射器固定于所述摄像机一侧，其特征在于：所述结构光投射器投射于待测量的且构成夹角的两个平面表面上，所述结构光投射器采用线结构光投射器或者面结构光投射器，将所述机械臂末端与摄像机间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，然后对所述摄像机采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角。
其进一步特征在于，所述结构光投射器采用线结构光投射器，其平面夹角在线测量方法的步骤是：
(1.1)图像采集：用控制器操纵机械臂末端，在至少两个不同的位姿上分别采集结构光图像，并记录机械臂末端位姿；
(1.2)光条直线拟合：对每一幅图像分别进行处理，提取光条中心点，并拟合成两条相交的光条直线段，得到光条直线段上的点和光条直线段的交点；
(1.3)平面拟合：根据系统标定结果，将各幅图像中的光条直线段上的点变换到统一的坐标系中，由交点左侧的光条直线段的点集，拟合得到一个平面的方程，由交点右侧的光条直线段的点集，拟合得到另一个平面的方程；
(1.4)夹角求取：根据所述步骤(1.3)中的两个平面的法向量，求得两个平面的夹角；
所述结构光投射器采用多线结构光投射器，其平面夹角在线测量方法的步骤是：
(2.1)图像采集：用控制器操纵机械臂末端，采集一幅结构光图像；
(2.2)光条直线拟合：对图像进行处理，提取光条中心点，根据结构光的线条数和模式的不同，拟合成若干条光条直线，得到光条直线段上的点，并进一步求得构成夹角的两个平面的交线上的点，从而计算出交线；
(2.3)平面拟合：根据系统标定结果，将图像中的光条中心线上的点变换到摄像机坐标系中，并由交线左侧的点和右侧的点分别拟合得到两个平面方程；
(2.4)夹角求取：根据所述步骤(2.3)中的两个平面的法向量，求得两个平面的夹角。
本发明的有益效果是，通过将结构光视觉系统固定在机械臂末端，作为检测与测量的机器视觉装置，在结构光视觉系统，及其与机械臂末端之间的位姿关系预先标定的基础上，在机械臂开始工作之前和工作过程中，由结构光视觉系统实时采集结构光投射在两个平面上图像，可实时图像处理并测量出两个平面构成的夹角。
附图说明
图1是基于结构光视觉的机械臂结构示意图；
图2是不同类型结构光投射器的工作示意图；
图3是单线结构光平面夹角在线测量的流程图；
图4是多线结构光或者面结构光平面夹角在线测量的流程图。
具体实施方式
如图1～图4所示，一种基于机械臂和结构光视觉的平面夹角在线测量方法，其包括机械臂3、结构光视觉系统，控制器5控制连接机械臂3，计算机连接控制器5，线结构光视觉系统包括摄像机4、结构光投射器6，摄像机4是用于采集结构光投射图像，并将图像传送给由计算机软硬件构成的图像处理系统，摄像机4固定于机械臂3末端，结构光投射器6固定于摄像机4一侧，结构光投射器6投射于待测量的且构成夹角的两个平面表面上，作为检测与测量的机器视觉装置，结构光投射器6采用线结构光投射器或者面结构光投射器，将机械臂3末端与摄像机4间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，机械臂3末端与摄像机4间的关系矩阵，也就是手眼关系矩阵；然后对摄像机4采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角。
系统参数预先标定：
摄像机内部参数矩阵：
其中，fu、fv分别为u轴和v轴的尺度因子，fs是u轴和v轴的不垂直因子，(u0,v0)为主点坐标；
在摄像机坐标系中的结构光平面方程：
ax+by+cz+1＝0 (2)
其中，a、b、c为结构光平面方程的参数；
摄像机相对于机器人末端的手眼关系矩阵为：
其中，Rm为旋转矩阵，pm为平移矩阵，n为法向矢量，o为方位矢量，a为接近矢量，p为位置矢量；
如图2(a)中，结构光投射器6采用线结构光投射器，即采用单线结构光投射器，其平面夹角在线测量方法的步骤具体是：
(1.1)图像采集：用控制器操纵机械臂末端，以两个不同的位姿，分别采集一幅结构光图像，并记录机械臂末端位姿分别为Te1和Te2，则由位姿1到位姿2的变换矩阵为Te12＝Te2Te1 1，由位姿2到位姿1的变换矩阵为Te21＝Te1Te2 1；
(1.2)光条直线拟合：对每一幅图像分别进行处理，提取光条中心点，并采用最小二乘法拟合成两条相交的光条直线段li1和li2，其中下标i表示图像的序号，直线段的交点Oi为两个平面交线上的点，交点左侧的直线段为li1，交点右侧的直线段为li2；
(1.3)平面拟合：
(1.3.1)坐标变换：根据系统标定结果，求得各幅图像中的光条直线段上的点在某一位姿下摄像机坐标系中的三维坐标，具体方法是：
设光条直线段上的点p在摄像机中图像坐标(u，v),可以计算点p在摄像机的焦距归一化成像平面上的成像点pc＝(xc，yc)的坐标：
空间点p也在摄像机的光轴中心点与pc构成的直线上，即符合方程
从物体表面激光条纹上取得的特征点，必然在激光平面上，同时还在摄像机的光轴中心点与成像平面上的成像点之间的一条直线上，利用该直线方程和激光平面方程，可解出特征点在摄像机坐标系下的三维坐标，将式(5)代入式(2)得
进一步求得其在机器人末端坐标系下的坐标(xe，ye，ze)
再将不同的位姿下的点利用位姿变换矩阵变换到统一的坐标系中；
(1.3.2)将交点左侧的光条直线段上的点组成一个点集P1，由点集P1采用最小二乘法拟合得到平面α，其方程为：a1x+b1y+c1z+1＝0；
(1.3.3)将交点右侧的光条直线段上的点组成一个点集P2，由点集P2采用最小二乘法拟合得到另一平面β，其方程为：a2x+b2y+c1z+1＝0；
(4)夹角求取：根据两个平面的法向量和求得两个平面的夹角θ为：
夹角θ存在两个解，一个为其本身，另一个为其补角，则在工业生产过程中，可以通过先验证判断其值为哪一个。
如图2(b)中，结构光投射器6采用多线结构光投射器，或者如图2(c)中，结构光投射器6采用面结构光投射器，面结构光投射器也即模式结构光投射器，两者平面夹角在线测量方法的步骤均是：
(2.1)图像采集：用控制器操纵机械臂末端，采集一幅结构光图像；
(2.2)光条直线拟合：对图像进行处理，提取光条中心线，拟合成若干条光条直线段，并根据多线结构光或面结构光的特点，确定光条中心线的交点Oi，这些交点为构成夹角的两个平面交线上的点，由这些点得到两个平面的交线，将交线左侧的直线段记为li1，交线右侧的直线段记为li2，其中下标i表示直线段的序号；
(2.3))平面拟合：
(2.3.1)坐标变换：根据系统标定结果，将图像中的光条直线段上的点变换到摄像机坐标系中，
具体方法是：
设光条直线段上的点p在摄像机中图像坐标(u，v)，可以计算点p在摄像机的焦距归一化成像平面上的成像点pc＝(xc，yc)的坐标：
空间点p也在摄像机的光轴中心点与pc构成的直线上，即符合方程
从物体表面激光条纹上取得的特征点，必然在激光平面上，同时还在摄像机的光轴中心点与成像平面上的成像点之间的一条直线上，利用该直线方程和激光平面方程，可解出特征点在摄像机坐标系下的三维坐标，将式(10)代入式(2)得
(2.3.2)将交线左侧的光条直线段上的点组成一个点集P1，由点集P1采用最小二乘法拟合得到平面α，其方程为：a1x+b1y+c1z+1＝0；
(2.3.3)将交线右侧的光条直线段上的点组成一个点集P2，由点集P2采用最小二乘法拟合得到另一平面β，其方程为：a2x+b2y+c1z+1＝0；
(2.4)夹角求取：根据两个平面的法向量和求得两个平面的夹角θ为：
夹角θ存在两个解，一个为其本身，另一个为其补角，则在工业生产过程中，可以通过先验证判断其值为哪一个。
以及为了提高精度，可以在不同的位姿采用多幅图像，此种情况，在步骤(2.1)中要记录每处的机械臂末端位姿，在步骤(2.3.1)完成之后，要将不同的位姿下的点利用位姿变换矩阵变换到统一的坐标系中。

Claims (1)

1.一种基于机械臂和结构光视觉的平面夹角在线测量方法，其包括机械臂、结构光视觉系统，与计算机连接的控制器控制连接所述机械臂，所述结构光视觉系统包括摄像机、结构光投射器，所述摄像机固定于所述机械臂末端，所述结构光投射器固定于所述摄像机一侧，其特征在于：所述结构光投射器投射于待测量的且构成夹角的两个平面表面上，所述结构光投射器采用线结构光投射器或者面结构光投射器，将所述机械臂末端与摄像机间的关系矩阵、摄像机内外参数、结构光参数先经过预先标定，然后对所述摄像机采集的结构光图像进行处理，提取光条中心线，分别获得两个平面的光条中心线上的点，并将其坐标统一变换到机器人末端坐标系中，然后由两组相交直线段得到两个平面的方程，从而求得两个平面的夹角；
所述结构光投射器采用线结构光投射器，其平面夹角在线测量方法的步骤是：
（1.1）图像采集：用控制器操纵机械臂末端，在至少两个不同的位姿上分别采集结构光图像，并记录机械臂末端位姿；
（1.2）光条直线拟合：对每一幅图像分别进行处理，提取光条中心点，并拟合成两条相交的光条直线段，得到光条直线段上的点和光条直线段的交点；
（1.3）平面拟合：根据系统标定结果，将各幅图像中的光条直线段上的点变换到统一的坐标系中，由交点左侧的光条直线段的点集，拟合得到一个平面的方程，由交点右侧的光条直线段的点集，拟合得到另一个平面的方程；
（1.4）夹角求取：根据所述步骤（1.3）中的两个平面的法向量，求得两个平面的夹角；
或者所述结构光投射器采用多线结构光投射器，其平面夹角在线测量方法的步骤是：
（2.1）图像采集：用控制器操纵机械臂末端，采集一幅结构光图像；
（2.2）光条直线拟合：对图像进行处理，提取光条中心点，根据结构光的线条数和模式的不同，拟合成若干条光条直线，得到光条直线段上的点，并进一步求得构成夹角的两个平面的交线上的点，从而计算出交线；
（2.3）平面拟合：根据系统标定结果，将图像中的光条中心线上的点变换到摄像机坐标系中，并由交线左侧的点和右侧的点分别拟合得到两个平面方程；
（2.4）夹角求取：根据所述步骤（2.3）中的两个平面的法向量，求得两个平面的夹角。
CN201610896157.6A 2016-10-13 2016-10-13 一种基于机械臂和结构光视觉的平面夹角在线测量方法 Active CN106524945B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610896157.6A CN106524945B (zh) 2016-10-13 2016-10-13 一种基于机械臂和结构光视觉的平面夹角在线测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610896157.6A CN106524945B (zh) 2016-10-13 2016-10-13 一种基于机械臂和结构光视觉的平面夹角在线测量方法

Publications (2)

Publication Number Publication Date
CN106524945A CN106524945A (zh) 2017-03-22
CN106524945B true CN106524945B (zh) 2019-07-12

Family

ID=58332071

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610896157.6A Active CN106524945B (zh) 2016-10-13 2016-10-13 一种基于机械臂和结构光视觉的平面夹角在线测量方法

Country Status (1)

Country Link
CN (1) CN106524945B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122872A1 (fr) * 2019-12-20 2021-06-24 Airbus Operations (S.A.S.) Procédé de vissage ou de sertissage automatisé et dispositif pour sa mise en œuvre

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108562246B (zh) * 2018-04-28 2020-09-15 北京机械设备研究所 一种测量和调整伺服阀气嘴装配角度的方法
CN108942918B (zh) * 2018-05-21 2023-04-07 沈阳建筑大学 一种基于线结构光的立体定位方法
CN109489552B (zh) * 2018-12-07 2021-06-25 深圳中广核工程设计有限公司 一种核反应堆稳压器视频检查装置的激光定位方法及系统
CN109709574B (zh) * 2019-01-09 2021-10-26 国家海洋局第一海洋研究所 一种海底微地形激光扫描成像系统及三维地形重建方法
CN110440733B (zh) * 2019-08-26 2021-01-05 上海鑫燕隆汽车装备制造有限公司 白车身线体焊接机器人相对工装位置的测量方法
CN110617766A (zh) * 2019-10-16 2019-12-27 广东博智林机器人有限公司 平面位姿测量方法、装置及存储介质
CN111844807B (zh) * 2020-06-15 2021-10-08 西安交通大学 一种用于复合材料铺放设备的接触式自动标定装置及方法
CN112710235B (zh) * 2020-12-21 2022-08-26 阿波罗智联(北京)科技有限公司 结构光测量传感器的标定方法和装置
CN113536210A (zh) * 2021-06-04 2021-10-22 黄淮学院 基于向量遍历线结构光条纹中心坐标的计算方法
CN113418927A (zh) * 2021-06-08 2021-09-21 长春汽车工业高等专科学校 基于线结构光的汽车模具视觉检测系统及检测方法
CN114102622B (zh) * 2021-11-22 2023-07-14 清华大学 机器人系统及其测控方法和面激光接受器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729643A (zh) * 2012-10-12 2014-04-16 Mv科技软件有限责任公司 多模式场景中的三维对象的识别和姿势确定
CN104700406A (zh) * 2015-03-11 2015-06-10 浙江大学 平面产状提取方法和系统
CN105092403A (zh) * 2015-08-18 2015-11-25 哈尔滨工业大学 一种适合于精确评价金刚石玻式压头角度参数的方法
CN105783726A (zh) * 2016-04-29 2016-07-20 无锡科技职业学院 一种基于线结构光视觉检测的曲线焊缝三维重建方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08318491A (ja) * 1995-05-19 1996-12-03 Honda Motor Co Ltd ワークの位相検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729643A (zh) * 2012-10-12 2014-04-16 Mv科技软件有限责任公司 多模式场景中的三维对象的识别和姿势确定
CN104700406A (zh) * 2015-03-11 2015-06-10 浙江大学 平面产状提取方法和系统
CN105092403A (zh) * 2015-08-18 2015-11-25 哈尔滨工业大学 一种适合于精确评价金刚石玻式压头角度参数的方法
CN105783726A (zh) * 2016-04-29 2016-07-20 无锡科技职业学院 一种基于线结构光视觉检测的曲线焊缝三维重建方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
结构光三维角度测量系统位姿参数优化研究;丁洵等;《河北科技大学学报》;20151031;第36卷(第5期);第"1.1 模型构建"部分

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021122872A1 (fr) * 2019-12-20 2021-06-24 Airbus Operations (S.A.S.) Procédé de vissage ou de sertissage automatisé et dispositif pour sa mise en œuvre
FR3105053A1 (fr) * 2019-12-20 2021-06-25 Airbus Operations (S.A.S.) Procédé de vissage ou de sertissage automatisé et dispositif pour sa mise en œuvre

Also Published As

Publication number Publication date
CN106524945A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
CN106524945B (zh) 一种基于机械臂和结构光视觉的平面夹角在线测量方法
CN106041937B (zh) 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN104034263B (zh) 一种锻件尺寸的非接触测量方法
CN102927908B (zh) 机器人手眼系统结构光平面参数标定装置及方法
CN104315995B (zh) 基于虚拟多立方体标准目标的tof深度相机三维坐标标定装置和方法
CN108098762A (zh) 一种基于新型视觉引导的机器人定位装置及方法
CN104217441A (zh) 一种基于机器视觉的机械臂定位抓取方法
CN105303560A (zh) 机器人激光扫描式焊缝跟踪系统标定方法
CN105547153B (zh) 基于双目视觉的插件元件针脚视觉定位方法及装置
CN104613899A (zh) 一种全自动的结构光手眼三维测量系统标定方法
CN202757587U (zh) 基于多ccd的空间尺寸测量装置
Fan et al. A simple calibration method of structured light plane parameters for welding robots
CN107218904A (zh) 一种基于锯齿靶标的线结构光视觉传感器标定方法
CN111856436A (zh) 一种多线激光雷达和红外相机的联合标定装置及标定方法
JP7353757B2 (ja) アーチファクトを測定するための方法
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
Wan et al. High-precision six-degree-of-freedom pose measurement and grasping system for large-size object based on binocular vision
CN103644894A (zh) 一种复杂曲面目标识别及三维位姿测量的方法
Baykal Inspection of Screw Holes on Machine Parts Using Robot Vision
CN105928484B (zh) 基于双目视觉的电梯导轨自动测量系统
Wei et al. Indoor mobile robot obstacle detection based on linear structured light vision system
Lin et al. Image-sensor-based fast industrial-robot positioning system for assembly implementation
CN106622990A (zh) 零件定位识别处理系统
CN206912816U (zh) 识别机械工件位姿的装置
Zhang et al. Camera Calibration Algorithm for Long Distance Binocular Measurement

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant