CN107442973B - 基于机器视觉的焊道定位方法及装置 - Google Patents

基于机器视觉的焊道定位方法及装置 Download PDF

Info

Publication number
CN107442973B
CN107442973B CN201610372724.8A CN201610372724A CN107442973B CN 107442973 B CN107442973 B CN 107442973B CN 201610372724 A CN201610372724 A CN 201610372724A CN 107442973 B CN107442973 B CN 107442973B
Authority
CN
China
Prior art keywords
plane
coordinate
workpiece
projection
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610372724.8A
Other languages
English (en)
Other versions
CN107442973A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Acetylene Welder Factory Co ltd
Original Assignee
Shanghai Acetylene Welder Factory Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Acetylene Welder Factory Co ltd filed Critical Shanghai Acetylene Welder Factory Co ltd
Priority to CN201610372724.8A priority Critical patent/CN107442973B/zh
Publication of CN107442973A publication Critical patent/CN107442973A/zh
Application granted granted Critical
Publication of CN107442973B publication Critical patent/CN107442973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B23MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23KSOLDERING OR UNSOLDERING; WELDING; CLADDING OR PLATING BY SOLDERING OR WELDING; CUTTING BY APPLYING HEAT LOCALLY, e.g. FLAME CUTTING; WORKING BY LASER BEAM
    • B23K37/00Auxiliary devices or processes, not specially adapted to a procedure covered by only one of the preceding main groups
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Abstract

本发明公开了一种基于机器视觉的焊道定位方法和装置。一种基于机器视觉的焊道定位方法,用于定位工件的焊道,焊道包括多个特征点,包括如下步骤:通过工业相机对一特征点拍照,获取特征点在第一平面内的投影点;在第一平面内,通过工业相机在不同位置对投影点拍照,获取投影点在第一平面内的至少两个不同拍照位置的图像数据;根据至少两个不同的图像数据,计算投影点在第一平面内的坐标值;根据投影点在第一平面内的坐标值,计算特征点在工件坐标系中的坐标值。一种基于机器视觉的焊道定位装置,包括机器人和工业相机、视觉处理系统以及机器人控制系统。上述基于机器视觉的焊道定位方法和装置,使得定位更加简单直接。

Description

基于机器视觉的焊道定位方法及装置
技术领域
本发明涉及焊接技术领域,特别涉及一种焊道定位方法及装置。
背景技术
在焊接技术领域,存在多种寻找焊道的方法,比如电信号寻位、直接示教取得坐标值,或者在固定的用户坐标下寻找焊接工件的焊道位置。但是这些方法对工件焊道的结构、焊道的位置以及焊接工装都有要求,具有一定的局限性,一旦焊道超出了特定位置或者焊道结构特殊,就无法搜寻了。
此外,还存在一种机器视觉方法定位焊道,但是通常的机器视觉方法需要事先输入工件的三维图形,然后通过图形对比实现焊道的定位,步骤较为繁琐复杂。
发明内容
基于此,有必要针对上述工件焊道的定位问题,提供一种基于机器视觉的焊道定位方法及装置。
一种基于机器视觉的焊道定位方法,用于定位工件的焊道,所述焊道包括多个特征点,包括如下步骤:
通过工业相机对一所述特征点拍照,获取所述特征点在第一平面内的投影点;
在所述第一平面内,通过所述工业相机在不同位置对所述投影点拍照,获取所述投影点在所述第一平面内的至少两个不同拍照位置的图像数据;
根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值;
根据所述投影点在所述第一平面内的坐标值,计算所述特征点在工件坐标系中的坐标值。
在其中一个实施例中,在所述在所述第一平面内,通过所述工业相机在不同位置对所述投影点拍照,获取所述投影点在所述第一平面内的至少两个不同拍照位置的图像数据的步骤中,还包括步骤:
在所述第一平面内,确定所述工业相机的第一位置;
根据所述第一位置确定所述工业相机的第二位置;
分别在所述第一位置和所述第二位置获取所述投影点在所述第一平面内的不同的图像数据。
在其中一个实施例中,所述工件坐标系为空间直角坐标系,所述工件的长度方向为X轴,宽度方向为Y轴,高度方向为Z轴,其中,XY平面为工作面。
在其中一个实施例中,所述第一平面为所述工件坐标系的YZ平面。
在其中一个实施例中,所述第一位置在所述工件坐标系的YZ平面内,并且距离所述工作面第一预设距离,所述第一预设距离高于所述工件的高度;所述第二位置在所述YZ平面内,和所述第一位置相距第二预设距离,并且到所述工作面的距离为所述第一预设距离。
在其中一个实施例中,所述步骤根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值,是根据所述获取的图像数据,计算所述投影点在所述工件坐标系中的Y值和Z值。
在其中一个实施例中,所述第一平面为所述工件坐标系的XZ平面。
在其中一个实施例中,所述第一位置在所述工件坐标系的XZ平面内,并且距离所述工作面第二预设距离,所述第二预设距离高于所述工件的高度;所述第二位置在所述XZ平面内,和所述第一位置相距第三预设距离,并且到所述工作面的距离为所述第二预设距离。
在其中一个实施例中,所述步骤根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值,是根据所述获取的图像数据,计算所述投影点在所述工件坐标系中的X值和Z值。
上述基于机器视觉的焊道定位方法,通过获取工件特征点的投影点,并获取该投影点的至少两个不同拍照位置的图像数据,计算工件特征点的三维坐标,因此无需事先输入工件的三维图片进行对比,使得定位更加简单直接。
一种基于机器视觉的焊道定位装置,包括机器人和工业相机,所述工业相机设置在所述机器人上,所述机器人能够控制所述工业相机移动,所述工业相机用于获取所述特征点的投影点,并获取所述投影点的至少两个不同拍照位置的图像数据;
视觉处理系统,所述视觉处理系统和所述工业相机连接,用于根据所述至少两个图像数据,计算所述特征点在工件坐标系中的坐标值;以及
机器人控制系统,所述机器人控制系统和所述视觉处理系统以及所述机器人连接,用于根据所述特征点的坐标值控制所述机器人。
上述基于机器视觉的焊道定位装置,通过工业相机获取工件特征点的投影点,并获取该投影点的至少两个不同拍照位置的图像数据,计算工件特征点的三维坐标,控制机器人。因此无需事先输入工件的三维图片进行对比,使得定位更加简单直接。
附图说明
图1为一实施例的基于机器视觉的焊道定位方法的步骤流程图;
图2为本发明一实施例的基于机器视觉焊道定位方法的子步骤流程图;
图3为本发明一实施例的基于机器视觉的焊道定位方法的坐标示意图;
图4为本发明一实施例基于机器视觉的焊道定位装置的结构示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
参见图1,为本发明一实施例的基于机器视觉的焊道定位方法的步骤流程图。如图1中所示,一种基于机器视觉的焊道定位方法,用于定位工件的焊道,该焊道可以包括多个特征点,该基于机器视觉的焊道定位方法包括,步骤S100:通过工业相机对一特征点拍照,获取该特征点在第一平面内的投影点。该第一平面可以是任何一个坐标平面,根据投影在不同坐标平面的投影点,能够根据投影点和特征点的关系,计算出特征点的坐标值。
步骤S200:在第一平面内,通过工业相机在不同位置对投影点拍照,获取投影点在第一平面内的至少两个不同拍照位置的图像数据。该两个不同的图像数据不重合,并且只在该投影点处有一个交点。由于在一个平面内,两条相交直线可以确定一个交点,从而可以进一步确定该交点的坐标。
步骤S300:根据该至少两个不同的图像数据,计算投影点在第一平面内的坐标值。
步骤S400:根据投影点在第一平面内的坐标值,计算特征点在工件坐标系中的坐标值。
这种基于机器视觉的焊道定位方法,通过获取工件特征点的投影点,并获取该投影点的至少两个不同的图像数据,计算工件特征点的三维坐标,因此无需事先输入工件的三维图片进行对比,使得定位更加简单直接。
请参见图2,为本发明一实施例的基于机器视觉焊道定位方法的步骤S200 的子步骤流程图。如图所示,在步骤S200在第一平面内,通过工业相机在不同位置对投影点拍照,获取投影点在第一平面内的至少两个不同的图像数据中,还包括,步骤S210,在第一平面内,确定工业相机的第一位置P1,获取该第一位置P1的坐标值P1(x1,y1,z1)。
步骤S220,根据第一位置P1确定工业相机的第二位置P2,获取该第二位置 P2的坐标值P2(x2,y2,z2)。
步骤S230,分别在第一位置P1和第二位置P2获取投影点在第一平面的图像数据。
从而根据在第一位置P1和第二位置P2所获取的投影点的图像数据,以及第一位置P1和第二位置P2的坐标值,计算投影点的坐标值,进而计算出特征点Q 的坐标值。
请参见图3,为本发明一实施例的基于机器视觉的焊道定位方法的坐标示意图。如图所示,在本实施例中,该工件坐标系为空间直角坐标系,工件的长度方向为X轴,宽度方向为Y轴,高度方向为Z轴,其中,XY平面为工作面。该第一平面为工件坐标系的YZ平面,工件W设置在工作面,即XY平面上,第一位置P1在该工件坐标系的YZ平面内,并且距离工作面,即XY平面为第一预设距离h,该第一预设距离h高于工件的高度。第二位置P2也在YZ平面内,并且和第一位置P1相距第二预设距离d,且到工作面,即XY平面的距离也为第一预设距离h。即第一位置P1和第二位置P2的连线平行于Y轴。因此,可知,在本实施例中,x1=x2=0,z1=z2。获取特征点Q在YZ平面上的第一投影点Q1。在图3中,特征点Q和第一投影点Q1在图中显示为重合。分别从第一位置P1和第二位置P2获得该第一投影点Q1的图像数据,在本实施例中,可以得到经过第一位置P1、第一投影点Q1的直线,并将该直线延长和Y轴相交,得到第一投影点Q1相对与第一位置P1的距离l1。同理,可以得到第一投影点Q1相对与第二位置P2的距离l2。那么,经过第一位置P1和第一投影点Q1两点的在YZ平面的直线方程(1)为:
z=a1×y+b1
其中a1、b1由y1、l1确定。进一步地,可以确定:
同理,经过第二位置P2和第一投影点Q1两点的在YZ平面的直线方程(2) 为:
z=a2×y+b2
同理,可以确定:
由于直线方程(1)和直线方程(2)均经过第一投影点Q1,因此:
a1×yQ1+b1=a2×yQ1+b2
从而可以计算得到:
由于第一投影点Q1为特征点Q在YZ平面上投影,因此,特征点Q的坐标值:
yQ=yQ1;zQ=zQ1
同理,在另一个实施例中,该第一平面可以为工件坐标系的XZ平面,从而可以获取特征点在XZ平面的第二投影点Q2,并且在XZ平面内确定第一位置和第二位置,从而可以计算得到第二投影点Q2的坐标值xQ2。由于第二投影点 Q2为特征点Q在XY平面上的投影,因此特征点Q的坐标值:
xQ=xQ2
从而可以确定特征点Q在工件坐标系中的坐标值(xQ,yQ,zQ)。进一步通过对多个特征点的坐标值的确定,可以得到焊道的坐标信息,从而可以完成焊接。
这样的基于机器视觉的焊道定位方法,只需获取焊道特征点的多个图像数据,通过计算,便可直接得到特征点的坐标值,从而大大简化了处理过程,提高了效率,简单方便。
请参见图4,为本发明一实施例基于机器视觉的焊道定位装置的结构示意图。如图所示,一种基于机器视觉的焊道定位装置100,包括机器人110、工业相机120、视觉处理系统130和机器人控制系统140。该工业相机120可以设置在机器人110上,机器人110能够控制工业相机120移动,工业相机120用于获取特征点的投影点,并获取该投影点的至少两个不同拍照位置的图像数据。
视觉处理系统130和工业相机140连接,用于根据获取的至少两个图像数据,计算特征点在工件坐标系中的坐标值。
机器人控制系统140和视觉处理系统130以及机器人110连接,用于根据计算得到的特征点的坐标值控制机器人110。
这样的基于机器视觉的焊道定位装置,通过工业相机获取工件特征点的投影点,并获取该投影点的至少两个不同的图像数据,计算工件特征点的坐标,控制机器人。因此无需事先输入工件的三维图片进行对比,使得定位更加简单直接。
优选地,该工业相机120可以安装在机器人110的机械臂上,并且该视觉处理系统130可以通过总线(以太网或DeviceNet)将焊道的位置坐标传送到机器人控制系统140,从而机器人110能够将该位置坐标信息映射到机器人坐标系中,控制设置在机器人机器臂上的焊枪到达指定位置进行焊接。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于机器视觉的焊道定位方法,用于定位工件的焊道,所述焊道包括多个特征点,其特征在于,包括如下步骤:
通过工业相机对一所述特征点拍照,获取所述特征点在第一平面内的投影点;
在所述第一平面内,通过所述工业相机在不同位置对所述投影点拍照,获取所述投影点在所述第一平面内的至少两个不同拍照位置的图像数据,所述至少两个不同的图像数据不重合,并且只在该投影点处有一个交点;
根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值;
根据所述投影点在所述第一平面内的坐标值,计算所述特征点在工件坐标系中的坐标值;
其中,所述第一平面为至少两个不同的坐标平面,根据投影在不同坐标平面的投影点,以及所述投影点和所述特征点的关系,计算出所述特征点的坐标值。
2.根据权利要求1所述的基于机器视觉的焊道定位方法,其特征在于,在所述在所述第一平面内,通过所述工业相机在不同位置对所述投影点拍照,获取所述投影点在所述第一平面内的至少两个不同拍照位置的图像数据的步骤中,还包括步骤:
在所述第一平面内,确定所述工业相机的第一位置;
根据所述第一位置确定所述工业相机的第二位置;
分别在所述第一位置和所述第二位置获取所述投影点在所述第一平面内的不同的图像数据。
3.根据权利要求2所述的基于机器视觉的焊道定位方法,其特征在于,所述工件坐标系为空间直角坐标系,所述工件的长度方向为X轴,宽度方向为Y轴,高度方向为Z轴,其中,XY平面为工作面。
4.根据权利要求3所述的基于机器视觉的焊道定位方法,其特征在于,所述第一平面为所述工件坐标系的YZ平面。
5.根据权利要求4所述的基于机器视觉的焊道定位方法,其特征在于,所述第一位置在所述工件坐标系的YZ平面内,并且距离所述工作面第一预设距离,所述第一预设距离高于所述工件的高度;所述第二位置在所述YZ平面内,和所述第一位置相距第二预设距离,并且到所述工作面的距离为所述第一预设距离。
6.根据权利要求5所述的基于机器视觉的焊道定位方法,其特征在于,所述步骤根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值,是根据所述获取的图像数据,计算所述投影点在所述工件坐标系中的Y值和Z值。
7.根据权利要求3所述的基于机器视觉的焊道定位方法,其特征在于,所述第一平面为所述工件坐标系的XZ平面。
8.根据权利要求7所述的基于机器视觉的焊道定位方法,其特征在于,所述第一位置在所述工件坐标系的XZ平面内,并且距离所述工作面第三预设距离,所述第三预设距离高于所述工件的高度;所述第二位置在所述XZ平面内,和所述第一位置相距第四预设距离,并且到所述工作面的距离为所述第三预设距离。
9.根据权利要求8所述的基于机器视觉的焊道定位方法,其特征在于,所述步骤根据所述至少两个不同的图像数据,计算所述投影点在所述第一平面内的坐标值,是根据所述获取的图像数据,计算所述投影点在所述工件坐标系中的X值和Z值。
10.一种基于机器视觉的焊道定位装置,用于定位工件的焊道,所述焊道包括多个特征点,其特征在于,包括机器人和工业相机,所述工业相机设置在所述机器人上,所述机器人能够控制所述工业相机移动,所述工业相机用于获取所述特征点的投影点,并获取所述投影点的至少两个不同拍照位置的图像数据;
视觉处理系统,所述视觉处理系统和所述工业相机连接,用于根据所述至少两个图像数据,计算所述特征点在工件坐标系中的坐标值;以及
机器人控制系统,所述机器人控制系统和所述视觉处理系统以及所述机器人连接,用于根据所述特征点的坐标值控制所述机器人;
其中,所述基于机器视觉的焊道定位装置用于执行如权利要求1-9中任一项中所述的基于机器视觉的焊道定位方法。
CN201610372724.8A 2016-05-30 2016-05-30 基于机器视觉的焊道定位方法及装置 Active CN107442973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610372724.8A CN107442973B (zh) 2016-05-30 2016-05-30 基于机器视觉的焊道定位方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610372724.8A CN107442973B (zh) 2016-05-30 2016-05-30 基于机器视觉的焊道定位方法及装置

Publications (2)

Publication Number Publication Date
CN107442973A CN107442973A (zh) 2017-12-08
CN107442973B true CN107442973B (zh) 2020-06-16

Family

ID=60484967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610372724.8A Active CN107442973B (zh) 2016-05-30 2016-05-30 基于机器视觉的焊道定位方法及装置

Country Status (1)

Country Link
CN (1) CN107442973B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108972547B (zh) * 2018-06-22 2021-07-16 华南理工大学 一种八自由度焊接轨迹在线生成系统协调运动控制方法
WO2020042031A1 (zh) * 2018-08-29 2020-03-05 深圳配天智能技术研究院有限公司 视觉焊接系统的缝隙检测方法以及系统
CN110328461B (zh) * 2019-03-19 2021-07-23 重庆金康动力新能源有限公司 焊点定位方法及焊点定位装置
CN110202560A (zh) * 2019-07-12 2019-09-06 易思维(杭州)科技有限公司 一种基于单个特征点的手眼标定方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159410A (ja) * 1995-12-05 1997-06-20 Hitachi Ltd 加工位置検出装置および自動加工システム
EP1767743A1 (de) * 2005-09-26 2007-03-28 Siemens Aktiengesellschaft Verfahren zum Herstellen eines zu beschichtenden Gasturbinen-Bauteils mit freigelegten Öffnungen, Vorrichtung zur Durchführung des Verfahrens und beschichtbare Turbinenschaufel mit Filmkühlöffnungen
CN104933718A (zh) * 2015-06-23 2015-09-23 广东省自动化研究所 一种基于双目视觉的物理坐标定位方法
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5911934B2 (ja) * 2014-09-18 2016-04-27 ファナック株式会社 輪郭線計測装置およびロボットシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09159410A (ja) * 1995-12-05 1997-06-20 Hitachi Ltd 加工位置検出装置および自動加工システム
EP1767743A1 (de) * 2005-09-26 2007-03-28 Siemens Aktiengesellschaft Verfahren zum Herstellen eines zu beschichtenden Gasturbinen-Bauteils mit freigelegten Öffnungen, Vorrichtung zur Durchführung des Verfahrens und beschichtbare Turbinenschaufel mit Filmkühlöffnungen
CN105313126A (zh) * 2014-07-29 2016-02-10 精工爱普生株式会社 控制系统、机器人系统、以及控制方法
CN104933718A (zh) * 2015-06-23 2015-09-23 广东省自动化研究所 一种基于双目视觉的物理坐标定位方法
CN105157609A (zh) * 2015-09-01 2015-12-16 大连理工大学 基于两组相机的大型零件全局形貌测量方法

Also Published As

Publication number Publication date
CN107442973A (zh) 2017-12-08

Similar Documents

Publication Publication Date Title
CN107442973B (zh) 基于机器视觉的焊道定位方法及装置
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP4508252B2 (ja) ロボット教示装置
US9679385B2 (en) Three-dimensional measurement apparatus and robot system
US10786904B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
US9519736B2 (en) Data generation device for vision sensor and detection simulation system
JP2005342832A (ja) ロボットシステム
JP2011011321A (ja) ロボットシステム及びロボットシステムのキャリブレーション方法
JP2005052926A (ja) 視覚検査装置の教示装置及び教示方法
JP2016000442A (ja) ロボット、ロボットシステム及び制御装置
Zhang et al. 3-D model-based multi-camera deployment: A recursive convex optimization approach
JP5917767B2 (ja) 立体補正方法
CN106331527A (zh) 一种图像拼接方法及装置
JP2017118396A (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
CN111091594A (zh) 多点云平面融合方法及装置
KR101438514B1 (ko) 다중 영상을 이용한 원자로 내부 로봇 위치 측정 시스템 및 위치 측정방법
CN211915840U (zh) 一种基于单目视觉的三维五轴激光切割机床
JP5858773B2 (ja) 3次元計測方法、3次元計測プログラム及びロボット装置
US20200098118A1 (en) Image processing apparatus and image processing method
EP3547260A1 (en) Device, system and method for automatic calibration of image devices
JP2009264898A (ja) ワーク位置姿勢計測方法および計測装置
CN111801198A (zh) 一种手眼标定方法、系统及计算机存储介质
JP2015031601A (ja) 3次元計測装置及び方法並びにプログラム
KR101467898B1 (ko) 레이저 포인터를 이용한 마킹 보조 장치 및 방법
KR20170115129A (ko) 촬영부가 마련된 위치 인식 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant