CN107292930B - 一种机械臂的引导方法及装置 - Google Patents

一种机械臂的引导方法及装置 Download PDF

Info

Publication number
CN107292930B
CN107292930B CN201710588892.5A CN201710588892A CN107292930B CN 107292930 B CN107292930 B CN 107292930B CN 201710588892 A CN201710588892 A CN 201710588892A CN 107292930 B CN107292930 B CN 107292930B
Authority
CN
China
Prior art keywords
mechanical arm
target
coordinates
space
target sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710588892.5A
Other languages
English (en)
Other versions
CN107292930A (zh
Inventor
刘荣海
唐法庆
魏杰
耿磊昭
郑欣
郭新良
杨迎春
于虹
许宏伟
周静波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Yunnan Power Grid Co Ltd filed Critical Electric Power Research Institute of Yunnan Power Grid Co Ltd
Priority to CN201710588892.5A priority Critical patent/CN107292930B/zh
Publication of CN107292930A publication Critical patent/CN107292930A/zh
Application granted granted Critical
Publication of CN107292930B publication Critical patent/CN107292930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/005General purpose rendering architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

本申请公开了一种机械臂的引导方法及装置,首先采集机械臂末端和目标样品的图像,再将图像合成三维影像,然后在三维影像上,标记机械臂末端的空间位置坐标和目标样品上点源的空间位置坐标,再根据目标样品上点源的空间位置坐标,确定目标样品上的目标部件轮廓,然后根据目标部件轮廓,确定目标部件的空间位置坐标,最后根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对机械臂操作。本申请实施例提供的方法及装置,可以使机械臂对结构复杂的部件进行准确的定位和导引,避免在操作过程中出现偏差。

Description

一种机械臂的引导方法及装置
技术领域
本申请涉及工业机械技术领域,尤其涉及一种机械臂的引导方法及装置。
背景技术
工业机械臂是模拟人手臂、手腕和手功能的机械电子装置。它可把任一物件或工具按空间位姿(位置和姿态)的时变要求进行移动,从而完成某一工业生产的作业要求。工业机械臂主要应用在自动化及半自动化生产领域,通过机械臂可代替生产现场工人的大量重复性工作。
为了更好地对机械臂进行操作,通常需要对机械臂定位。目前,机械臂的定位主要靠坐标的输入或人为设定机械臂的工作路径及流程,依靠的方法为可见光视觉定位和引导。但是,可见光视觉定位和导引虽然解决了机械臂工作路径单一的问题,但对于结构复杂的部件的定位和导引,可见光视觉定位技术无法满足需求。
发明内容
本申请提供了一种机械臂的引导方法及装置,以解决目前机械臂无法对结构复杂的部件的定位和导引的问题。
一方面,本申请的实施例提供了一种机械臂的引导方法,所述方法包括:
采集机械臂末端和目标样品的图像;
将所述图像合成三维影像;
在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
根据所述目标部件轮廓,确定所述目标部件的空间位置坐标;
根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
可选的,在所述采集机械臂末端和目标样品的图像之前,还包括:将机械臂末端和目标样品置于同一个具有固定三维坐标的空间内。
可选的,所述采集所述机械臂末端和所述目标样品的图像的方法为X射线透照成像。
可选的,所述图像包括从两个或者两个以上角度获取的X射线影像。
可选的,所述将图像合成三维影像之后,还包括:
对所述三维图像进行局部轮廓修正。
可选的,所述对三维图像进行局部轮廓修正包括:根据所述X射线影像的灰度分布对所述三维图像进行局部轮廓修正。
另一方面,本申请提供一种机械臂的引导装置,所述装置包括:
采集单元,用于采集机械臂末端和目标样品的图像;
合成单元,用于将所述图像合成三维影像;
标记单元,用于在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
目标部件轮廓确定单元,用于根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
坐标确定单元,用于根据所述目标部件轮廓,确定操作所述目标部件的空间位置坐标;
操作单元,用于根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
可选的,所述装置还包括:
修正单元,用于对所述三维图像进行局部轮廓修正。
由以上技术方案可知,本申请实施例提供了一种机械臂的引导方法及装置,首先采集机械臂末端和目标样品的图像,再将图像合成三维影像,然后在三维影像上,标记机械臂末端的空间位置坐标和目标样品上点源的空间位置坐标,再根据目标样品上点源的空间位置坐标,确定目标样品上的目标部件轮廓,然后根据目标部件轮廓,确定目标部件的空间位置坐标,最后根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对机械臂操作。本申请实施例提供的方法及装置,可以使机械臂对结构复杂的部件进行准确的定位和导引,避免在操作过程中出现偏差。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为根据本申请实施例提供的一种机械臂的引导方法的流程图;
图2为根据本申请实施例提供的一种机械臂的引导装置的结构图。
图示说明:
其中,1-采集单元;2-合成单元;3-修正单元;4-标记单元;5-目标部件轮廓确定单元;6-坐标确定单元;7-操作单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,为本申请实施例提供的一种机械臂的引导方法的流程图,所述方法包括:
步骤101,采集机械臂末端和目标样品的图像;
步骤102,将所述图像合成三维影像;
步骤103,在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
步骤104,根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
步骤105,根据所述目标部件轮廓,确定所述目标部件的空间位置坐标;
步骤106,根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
由以上技术方案可知,本申请实施例提供了一种机械臂的引导方法,首先采集机械臂末端和目标样品的图像,再将图像合成三维影像,然后在三维影像上,标记机械臂末端的空间位置坐标和目标样品上点源的空间位置坐标,再根据目标样品上点源的空间位置坐标,确定目标样品上的目标部件轮廓,然后根据目标部件轮廓,确定目标部件的空间位置坐标,最后根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对机械臂操作。本申请实施例提供的方法,可以使机械臂对结构复杂的部件进行准确的定位和导引,避免在操作过程中出现偏差。
可选的,在所述采集机械臂末端和目标样品的图像之前,还包括:将机械臂末端和目标样品置于同一个具有固定三维坐标的空间内,该空间包括X轴、Y轴和Z轴。
可选的,所述采集所述机械臂末端和所述目标样品的图像的方法为X射线透照成像。
X射线又称伦琴射线,它是肉眼看不见的一种射线,但可使某些化合物产生荧光或使照相底片感光;它在电场或磁场中不发生偏转,能发生反射、折射、干涉、衍射等;它具有穿透物质的本领,但对不同物质它的穿透本领不同;能使分子或原子电离。
可选的,所述图像包括从两个或者两个以上角度获取的X射线影像。从多角度进行X射线透照成像,可以获得更加准确的图像,以得到更加准确的机械臂引导。
可选的,所述将图像合成三维影像之后,还包括:
对所述三维图像进行局部轮廓修正。
可选的,所述对三维图像进行局部轮廓修正包括:根据所述X射线影像的灰度分布对所述三维图像进行局部轮廓修正。
利用X射线影像的灰度分布对三维图像进行局部轮廓修正基于以下原理:
X射线穿透物体时,被物体所吸收,因为厚度和材料的差异,导致图像显示灰度有差异。此差异用公式表示为:
I=I0e-μd,(1)
其中,I是X射线穿透物体后的射线强度,I0是穿透物体前的X射线强度,d为物体某一点的厚度,μ反映的是材料的吸收特性。
一般地,材料密度越大,对X射线的吸收越大。由以上公式(1)可以看出,透照厚度和密度大的物体(或缺陷),其对X射线的吸收也大,穿透物体后的X射线强度I就越小,灰度就越大。一般地,缺陷部位为同一种材料,即μ相等。
三维缺陷轮廓面上任意两点之间厚度比:
I1与I2与厚度d1和d2处的灰度成反比,用G1和G2来表示d1和d2处的灰度,可得到
I1/I2=G2/G1,(3)
因此,
d1/d2=log(G2/G1)/(-μd2)+1=1-log(G2/G1)/(μd2),(4)
简化为,
d2-d1=log(G2/G1)/μ,(5)
这表明,缺陷材质已知的情况下,缺陷轮廓上任意两点之间的厚度差可以通过灰度差计算出来。
例如,检测人员通过两张不同角度的X射线二维图像,识别出缺陷投影面为椭圆,进而假设缺陷为近似椭球形缺陷,根据计算坐标将标准椭球形缺陷插入。插入后,选取其中一张图像,提取出缺陷平面图上的各点灰度值,根据灰度值的差异,来计算这种图像透照方面上的厚度差异,在标准椭球体上逐点来修正该图像反映的缺陷透照方向的厚度差异;然后再提取另外一张图像上的灰度差异,依此类推,在第一次修正的椭球体上逐点修正第二张图像反映的缺陷透照方向的厚度差异,最终形成接近真实的缺陷轮廓。
由以上技术方案可知,本申请实施例提供了一种机械臂的引导方法,首先采集机械臂末端和目标样品的图像,再将图像合成三维影像,然后在三维影像上,标记机械臂末端的空间位置坐标和目标样品上点源的空间位置坐标,再根据目标样品上点源的空间位置坐标,确定目标样品上的目标部件轮廓,然后根据目标部件轮廓,确定目标部件的空间位置坐标,最后根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对机械臂操作。本申请实施例提供的方法,可以使机械臂对结构复杂的部件进行准确的定位和导引,避免在操作过程中出现偏差。
举例说明本申请实施例提供的一种机械臂的引导方法:
示例一
利用X射线三维影像导引机械臂完成某部件上一个螺栓的拧紧。
将机械臂末端和目标样品放置于同一空间内,该空间的三维坐标已确定(或者在X、Y和Z轴上具布置有铅字刻度尺);
利用X射线数字成像(DR或CR)从两个不同角度(垂直螺栓孔和与螺栓孔轴线成45°夹角)分别对机械臂末端和目标样品进行X射线透照成像,得到有机械臂末端和目标样品的两张X射线影像;
从上述两张平面X射线影像中,提取出影像中机械臂和目标样品的特征,根据特征生成机械臂末端和目标样品的三维影像,并根据平面X射线影像的灰度分布对三维影像进行局部轮廓修正;
在三维影像内标记出机械臂末端的空间位置坐标(x,y,z),标记出目标样品上所有点源的空间位置坐标;
计算识别出目标样品上螺帽所处的坐标(x0,y0,z0),以及拧紧后螺帽应该处于的坐标(x1,y1,z1);
将(x0,y0,z0)输入机械臂控制程序,将其设置为机械臂第一阶段运动的终点,输入坐标(x1,y1,z1),将其设置为机械臂第二阶段运动的终点;
机械臂首先完成第一阶段动作:从(x,y,z)运动到(x0,y0,z0),此时,机械臂接触到螺栓的螺帽;
机械臂接触螺帽后,旋转指令在机械臂末端达到(x0,y0,z0)时发起,顶紧螺帽,开始旋转,直到机械臂末端到达终点坐标(x1,y1,z1),完成拧紧螺栓的导引操作,机械臂末端旋转停止。
示例二
利用X射线三维影像导引机械臂完成物体移动。
将机械臂末端和物体放置于同一空间内,该空间的三维坐标已确定(或者在X、Y和Z轴上具布置有铅字刻度尺);
利用X射线数字成像(DR或CR)从两个不同角度(垂直螺栓孔和与螺栓孔轴线成45°夹角)对机械臂末端和物体进行X射线透照成像,得到有机械臂末端和目标样品的两张X射线影像;
从上述两张平面X射线影像中,提取出影像中机械臂和目标样品的特征,根据特征生成机械臂末端和目标样品的三维影像,并根据平面X射线影像的灰度分布对三维影像进行局部轮廓修正;
在三维影像内标记出机械臂末端的空间位置坐标(x,y,z),并标记出物体上所有点的空间位置坐标;
计算识别出边缘任意一点的坐标(x0,y0,z0),标记出物体移动的终点坐标(x1,y1,z1);
将(x0,y0,z0)输入机械臂控制程序,将其设置为机械臂第一阶段运动的终点,输入坐标(x1,y1,z1),将其设置为机械臂第二阶段运动的终点;
机械臂首先完成第一阶段动作:从(x,y,z)运动到(x0,y0,z0),机械臂接触到物体并进行抓握;
机械臂抓紧物体后,开始第二阶段的任务规划,直到机械臂末端到达终点坐标(x1,y1,z1),完成物体的移动。
如图2所示,为本申请实施例提供的一种机械臂的引导装置的结构图,所述装置包括:
采集单元1,用于采集机械臂末端和目标样品的图像;
合成单元2,用于将所述图像合成三维影像;
标记单元4,用于在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
目标部件轮廓确定单元5,用于根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
坐标确定单元6,用于根据所述目标部件轮廓,确定操作所述目标部件的空间位置坐标;
操作单元7,用于根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
可选的,所述装置还包括:
修正单元3,用于对所述三维图像进行局部轮廓修正。
由以上技术方案可知,本申请实施例提供了一种机械臂的引导方法及装置,首先采集机械臂末端和目标样品的图像,再将图像合成三维影像,然后在三维影像上,标记机械臂末端的空间位置坐标和目标样品上点源的空间位置坐标,再根据目标样品上点源的空间位置坐标,确定目标样品上的目标部件轮廓,然后根据目标部件轮廓,确定目标部件的空间位置坐标,最后根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对机械臂操作。本申请实施例提供的方法及装置,可以使机械臂对结构复杂的部件进行准确的定位和导引,避免在操作过程中出现偏差。
本领域技术人员在考虑说明书及实践这里公开的申请后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (8)

1.一种机械臂的引导方法,其特征在于,所述方法包括:
采集机械臂末端和目标样品的图像;
将所述图像合成三维影像;
在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
根据所述目标部件轮廓,确定所述目标部件的空间位置坐标;
根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
2.根据权利要求1所述的方法,其特征在于,在所述采集机械臂末端和目标样品的图像之前,还包括:将机械臂末端和目标样品置于同一个具有固定三维坐标的空间内。
3.根据权利要求1所述的方法,其特征在于,所述采集所述机械臂末端和所述目标样品的图像的方法为X射线透照成像。
4.根据权利要求3所述的方法,其特征在于,所述图像包括从两个或者两个以上角度获取的X射线影像。
5.根据权利要求1所述的方法,其特征在于,所述将图像合成三维影像之后,还包括:
对所述三维影像进行局部轮廓修正。
6.根据权利要求5所述的方法,其特征在于,所述对三维影像进行局部轮廓修正包括:根据X射线影像的灰度分布对所述三维影像进行局部轮廓修正。
7.一种机械臂的引导装置,其特征在于,所述装置包括:
采集单元,用于采集机械臂末端和目标样品的图像;
合成单元,用于将所述图像合成三维影像;
标记单元,用于在所述三维影像上,标记所述机械臂末端的空间位置坐标和所述目标样品上点源的空间位置坐标;
目标部件轮廓确定单元,用于根据所述目标样品上点源的空间位置坐标,确定所述目标样品上的目标部件轮廓;
坐标确定单元,用于根据所述目标部件轮廓,确定操作所述目标部件的空间位置坐标;
操作单元,用于根据所述机械臂末端的空间位置坐标与所述目标部件的空间位置坐标,对所述机械臂操作。
8.根据权利要求7所述的装置,其特征在于,所述装置还包括:
修正单元,用于对所述三维影像进行局部轮廓修正。
CN201710588892.5A 2017-07-19 2017-07-19 一种机械臂的引导方法及装置 Active CN107292930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710588892.5A CN107292930B (zh) 2017-07-19 2017-07-19 一种机械臂的引导方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710588892.5A CN107292930B (zh) 2017-07-19 2017-07-19 一种机械臂的引导方法及装置

Publications (2)

Publication Number Publication Date
CN107292930A CN107292930A (zh) 2017-10-24
CN107292930B true CN107292930B (zh) 2020-07-14

Family

ID=60101146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710588892.5A Active CN107292930B (zh) 2017-07-19 2017-07-19 一种机械臂的引导方法及装置

Country Status (1)

Country Link
CN (1) CN107292930B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181823A (en) * 1989-10-27 1993-01-26 Grumman Aerospace Corporation Apparatus and method for producing a video display
CN105654474A (zh) * 2015-12-28 2016-06-08 深圳先进技术研究院 基于视觉引导的机械臂定位方法及装置
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法
CN106251282A (zh) * 2016-07-19 2016-12-21 中国人民解放军63920部队 一种机械臂采样环境仿真图的生成方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5181823A (en) * 1989-10-27 1993-01-26 Grumman Aerospace Corporation Apparatus and method for producing a video display
CN105654474A (zh) * 2015-12-28 2016-06-08 深圳先进技术研究院 基于视觉引导的机械臂定位方法及装置
CN106251282A (zh) * 2016-07-19 2016-12-21 中国人民解放军63920部队 一种机械臂采样环境仿真图的生成方法及装置
CN106041937A (zh) * 2016-08-16 2016-10-26 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制系统的控制方法

Also Published As

Publication number Publication date
CN107292930A (zh) 2017-10-24

Similar Documents

Publication Publication Date Title
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
JP2007172621A (ja) 拡張現実感システムにおける不正確情報を決定する方法及びシステム
CN106625713A (zh) 提高涂胶工业机器人涂胶精度的方法
DE112006002674T5 (de) Verfahren und Vorrichtungen für praktisches 3D-Sichtigkeitssystem
US20140240520A1 (en) System and method for calibration of machine vision cameras along at least three discrete planes
JP2019169156A (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
Cabras et al. An adaptive and fully automatic method for estimating the 3D position of bendable instruments using endoscopic images
Olbrich et al. Augmented reality pipe layout planning in the shipbuilding industry
JP2010276447A (ja) 位置計測装置、位置計測方法およびロボットシステム
CN107292930B (zh) 一种机械臂的引导方法及装置
DE102018109774A1 (de) Bildverarbeitungssystem, Bildverarbeitungsvorrichtung und Bildverarbeitungsprogramm
CN106959704B (zh) 三维形貌测量仪的控制方法及其系统
Zhang et al. A mobile sensing system for real-time 3D weld pool surface measurement in manual GTAW
Blumensath et al. Calibration of robotic manipulator systems for cone-beam tomography imaging
US10724963B2 (en) Device and method for calculating area to be out of inspection target of inspection system
León-Duarte et al. A software tool for the calculation of time standards by means of predetermined motion time systems and motion sensing technology
FR2949587A1 (fr) Procede et installation de realisation d'assemblage de pieces mettant en oeuvre la realite augmentee
Bönig et al. Accuracy and immersion improvement of hybrid motion capture based real time virtual validation
JP2014153287A (ja) 形状計測装置および形状計測方法
Antonello et al. Efficient measurement of fibre orientation for mapping carbon fibre parts with a robotic system
JP2019074395A (ja) X線ct撮像方法及びct撮像対象物
JPH06250730A (ja) 産業用ロボットの教示装置
Manakov et al. Visual shape and position sensing algorithm for a continuum robot
JP2010133718A (ja) 作業対象物の位置検出方法および位置検出装置
Mueller et al. DETERMINATION OF STEERING WHEEL ANGLES DURING CAR ALIGNMENT BY IMAGE ANALYSIS METHODS.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant