CN115035195B - 点云坐标提取方法、装置、设备及存储介质 - Google Patents

点云坐标提取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115035195B
CN115035195B CN202210964575.XA CN202210964575A CN115035195B CN 115035195 B CN115035195 B CN 115035195B CN 202210964575 A CN202210964575 A CN 202210964575A CN 115035195 B CN115035195 B CN 115035195B
Authority
CN
China
Prior art keywords
point cloud
calibration
center
coordinate
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210964575.XA
Other languages
English (en)
Other versions
CN115035195A (zh
Inventor
盖增园
迟小羽
杨传龙
王丽军
赵俊瑞
史学冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN202210964575.XA priority Critical patent/CN115035195B/zh
Publication of CN115035195A publication Critical patent/CN115035195A/zh
Application granted granted Critical
Publication of CN115035195B publication Critical patent/CN115035195B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本申请公开了一种点云坐标提取方法、装置、设备及存储介质,涉及图像处理技术领域。方法包括:获取包含标定块的第一点云图像,标定块包括至少四个圆柱状的标定点以及一个定位圆,任一标定点的第一底面侧为凹陷状,凹陷中心设置一与第一底面中心重合的凸起部;对第一点云图像执行圆心提取操作,圆心提取操作包括:根据第一点云图像确定目标点云集;将目标点云集转换为平面图像;提取平面图像中包括的定位圆的圆心坐标和标定点的圆心坐标;根据定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;对任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在第一点云图像中的坐标。

Description

点云坐标提取方法、装置、设备及存储介质
技术领域
本申请涉及图像处理技术领域,更具体地,涉及一种点云坐标提取方法、一种点云坐标提取装置、一种电子设备以及一种计算机可读存储介质。
背景技术
随着科技的发展,工业机器人作为替代人工的智能设备,已经被应用到越来越多的行业中。
目前,工业机器人在被使用过程中,需要通过相机实现使用视觉对工业机器人的机械手进行引导。但是,由于工业机器人的机械手和相机分别使用的是自身的坐标系,因此,相机所确定出的物体的坐标,为物体在相机坐标系下的坐标。在此基础上,需要将物体在相机坐标系下的坐标,通过手眼转换矩阵转换至机械手坐标系下的坐标。这样,才可实现对机械手的有效引导。
其中,手眼转换矩阵的获取方式通常为:在机械手上设置包含标定点的标定块;相机采集包含标定块的点云图像;由于标定块上的标定点尺寸小导致相机得到的点云无法反映出标定块原来的形状,因此,人工手动在点云图像中选取标定块中的标定点,以确定出标定点在相机坐标系下的坐标;确定出对应标定点在机械手坐标系下的坐标;根据标定点在相机坐标系下的坐标和在机械手坐标系下的坐标,确定手眼转换矩阵。
由于需要人工在点云图像中选取标定块中的标定点,以确定出对应标定点在相机坐标系下的坐标,这使得确定手眼转化矩阵的效率大大降低。
发明内容
本申请的一个目的是提供一种用于点云坐标提取的新技术方案。
根据本申请的第一方面,提供了一种点云坐标提取方法,包括:
获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与所述第一底面中心重合的凸起部;
对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括:根据所述第一点云图像,确定目标点云集;将所述目标点云集转换为平面图像;提取所述平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;
对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标。
可选的,所述根据所述第一点云图像,确定目标点云集,包括:
拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
根据所述平面方程,确定所述第一点云图像的旋转矩阵;
根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
选取所述第一点云图像中属于所述平面方程上的任一第一点云;
根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
根据所述分割值,分割所述第二点云图像,得到目标点云集。
可选的,所述根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值,包括:
根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
根据所述旋转角度旋转更新所述平面图像;
根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
可选的,所述提取所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标,包括:
提取所述平面图像中的圆形轮廓;
根据所述圆形轮廓的大小关系,确定出所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标。
可选的,所述方法还包括:
获取每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标;
根据每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标,以及对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标,确定目标转换矩阵。
根据本申请的第二方面,提供了一种点云坐标提取装置,包括:
第一获取模块,用于获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与所述第一底面中心重合的凸起部;
第一执行模块,用于对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括:根据所述第一点云图像,确定目标点云集;将所述目标点云集转换为平面图像;提取所述平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;
第二执行模块,用于对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标。
可选的,所述第一执行模块具体用于:
拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
根据所述平面方程,确定所述第一点云图像的旋转矩阵;
根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
选取所述第一点云图像中属于所述平面方程上的任一第一点云;
根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
根据所述分割值,分割所述第二点云图像,得到目标点云集。
可选的,所述第一执行模块具体用于:
根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
根据所述旋转角度旋转更新所述平面图像;
根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
根据本申请的第三方面,提供了一种电子设备,所述电子设备包括如第二方面中任一项所述的点云坐标提取装置;
或者,所述电子设备包括存储器和处理器,所述存储器用于存储计算机指令,所述处理器用于从所述存储器中调用所述计算机指令,以执行如第一方面中任一项所述的点云坐标提取方法。
根据本申请的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据第一方面中任一项所述的点云坐标提取方法。
在本申请实施例中,提供了一种点云坐标的提取方法,该方法包括:获取包含标定块的第一点云图像,其中,标定块包括至少四个圆柱状的标定点以及一个定位圆,任一标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部;对第一点云图像执行圆心提取操作,圆心提取操作包括:根据第一点云图像,确定目标点云集;将目标点云集转换为平面图像;提取平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在第一点云图像中的坐标。通过该方法可自动提取出标定点的圆心坐标在相机坐标系下的坐标,以及标定点的圆心坐标对应的索引值。这相比于人工选取的方式可大大的提高确定手眼转换矩阵的效率。
通过以下参照附图对本申请的示例性实施例的详细描述,本申请的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例,并且连同其说明一起用于解释本申请的原理。
图1是本申请实施例提供的一种点云坐标提取方法的流程示意图;
图2a是本申请实施例提供的一种标定块的俯视图;
图2b是本申请实施例提供的一种第一点云图像的局部俯视图;
图2c是本申请实施例提供的一种第一点云图像的局部侧视图;
图3是本申请实施例提供的一种目标点云集的示意图;
图4是本申请实施例提供的一种第一点云图像中属于标定块的平面方程的点云组成的图像的示意图;
图5是本申请实施例提供的一种第二点云图像的示意图;
图6是本申请实施例提供的一种平面图像的示意图;
图7是本申请实施例提供的一种标定点的圆心坐标对应的索引值的示意图;
图8是本申请实施例提供的一种点云坐标提取装置的结构示意图;
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
<方法实施例>
本申请实施例提供了一种点云坐标提取方法,如图1所示,该方法包括如下S1100-S1300:
S1100、获取包含标定块的第一点云图像。
其中,标定块包括至少四个圆柱状的标定点以及一个定位圆,任一标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部。
在本申请实施例中,第一底面为圆柱状的标定点的远离标定块一面的底面。以及,标定块上的圆柱状的标定点的形状相同。
在本申请的一个实施例中,标定块的俯视图如图2a所示,第一点云图像的局部俯视图如图2b所示,以及第一点云图像的局部侧视图如图2c所示。
需要说明的是,图2a中以标定块中包括7*7个圆柱标定点为例进行示出。
在本申请实施例中,如图2a所示,可设置定位圆和圆柱状的标定点对应的圆形轮廓大小不同,以将定位圆和圆柱标定点区分。另外,可通过在标定块上打孔,将所打孔形成的圆孔作为定位圆。
在一个示例中,定位圆的圆形轮廓大于标定点对应的圆形轮廓。
在本申请实施例中,定位圆的作用为作为标定点的参考定位点,以实现对标定点的圆心坐标的索引值的确定。
在本申请实施例中,标定块至少包括四个圆柱状的标定点的原因在于,确定相机坐标系与标定块坐标系间的转换矩阵时需至少四组参数。其中一组参数为一个圆柱状的标定点上的点在相机坐标系下的坐标,以及对应点在标定块坐标系下的坐标。
在本申请实施例中,标定块具有特定的形状,具体的:标定块包括至少四个圆柱状标定点以及一个定位圆,任一标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部。这是因为,经申请人大量测试,基于该形状的标定块可得到更为准确的相机坐标系与标定块坐标系间的转换矩阵。
在本申请实施例中,可通过电子设备上的相机采集包含标定块的第一点云图像。基于此,电子设备可从相机中获取第一点云图像。可以理解的是,第一点云图像中包括多个点云,每一点云对应有在相机坐标系下的坐标。
S1200、对第一点云图像执行圆心提取操作。
其中,圆心提取操作包括如下S1210-S1240:
S1210、根据第一点云图像,确定目标点云集。
在本申请实施例中,目标点云集由将第一点云图像旋转至平行于相机坐标系中的XOY、YOZ或XOZ平面后,位于同一切片的点云组成,且该切片上包含的点云数量最多。基于此可知,目标点云集可准确的反映出标定点的截面,该截面中包括标定点的圆心。这样,基于目标点云集可得到标定点的圆心坐标。
在本申请的一个实施例中,目标点云集可如图3所示。
在本申请的一个实施例中,在将第一点云图像旋转至平行于相机坐标系中的XOY平面的情况下,上述S1210可通过如下S1211-S1216来实现:
S1211、拟合第一点云图像中的点云,得到标定块的平面方程。
在本申请的一个实施例中,上述S1211的具体实现可以为:将第一点云图像输入至平面拟合算法中,得到标定块的平面方程。
在一个示例中,平面拟合算法可以为RANSAC算法。
在本申请的一个实施例中,第一点云图像中属于标定块的平面方程的点云组成的图像如图4所示。
S1212、根据平面方程,确定第一点云图像的旋转矩阵。
在本申请的一个实施例中,上述S1212的具体实现可以为:根据平面方程,得到该平面方程对应的法向量;确定相机坐标系中XOY平面的法向量;基于平面方程对应的法向量,以及相机坐标系中XOY平面的法向量,得到第一点云图像的旋转矩阵。
S1213、根据旋转矩阵,将第一点云图像旋转至第一平面,得到第二点云图像。
在本申请实施例中,第一平面为相机坐标系中的XOY平面。基于上述S1213可实现将第一点云图像旋转至平行于XOY平面的平面。在本申请实施例中,将第一点云图像旋转至平行于XOY平面的平面后所对应的点云图像即为第二点云图像。
在一个实施例中,第二点云图像可如图5所示。
S1214、选取第一点云图像中属于平面方程上的任一第一点云。
S1215、根据第一点云和旋转矩阵,确定第二点云图像的分割值。
在本申请实施例中,将第一点云按照旋转矩阵旋转,得到第一点云对应在第二点云图像中的点云。将该点云在Z方向上的取值作为第二点云图像的分割值。或者,将该点云在Z方向上的取值,以及在Z方向上的预设偏差范围内的取值,作为第二点云图像的分割值。
S1216、根据分割值,分割第二点云图像,得到目标点云集。
在本申请实施例中,上述S1216的具体实现可以为:将第二点云图像中,Z轴上的取值等于分割值的点云集作为目标点云集。
S1220、将目标点云集转换为平面图像。
在本申请实施例中,上述S1220为将3D点云转换为2D图像的过程。该过程可具体为:对目标点云集中的点云平移和放大,以得到平面图像。
在本申请的一个实施例中,平面图像可如图6所示。
S1230、提取平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标。
在本申请的一个实施例中,上述S1230可通过如下S1231和S1232:
S1231、提取平面图像中的圆形轮廓。
在本申请实施例中,可通过计算平面图像上每一像素的圆率以实现上述S1231。其中,圆率指的是,像素为组成圆的像素的概率。
需要说明的是,在定位圆未完全被采集的情况下,定位圆对应的圆形轮廓则为一圆弧。而该圆弧可通过拟合的方式,得到定位圆对应的完整的圆形轮廓。
S1232、根据圆形轮廓的大小关系,确定出平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标。
在本申请的一个实施例中,在定位圆的圆形轮廓大于标定点对应的圆形轮廓,标定块上的标定点的形状相同的基础上,将基于上述S1232得到的最大的圆形轮廓作为定位圆的圆形轮廓,将除定位圆的圆形轮廓外相等的圆形轮廓作为标定点的圆形轮廓。
进一步的,在一个实施例中,根据定位圆的圆形轮廓对应的坐标,计算定位圆对应的圆心坐标以得到定位圆的圆心坐标。以及,根据标定点的圆形轮廓对应的坐标,计算标定点对应的圆心坐标以得到标定点的圆心坐标。
或者,将平面图像中位于定位圆的圆心轮廓中的点的坐标记为定位圆的圆心坐标。以及,将平面图像中位于标定点的圆心轮廓中的点的坐标记为标定点的圆心坐标。
S1240、根据定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值。
在本申请的一个实施例中,上述S1240可通过如下S1241-S1243来实现:
S1241、根据定位圆的圆心坐标以及距离定位圆的圆心坐标最近的标定点的圆心坐标,确定平面图像的旋转角度。
在本申请实施例中,根据定位圆的圆心坐标以及距离定位圆的圆心坐标最近的标定点的圆心坐标,计算出定位圆的圆心坐标与距离定位圆的圆心坐标最近的标定点的圆心坐标之间的直线,与平面图像的坐标系中Y轴或X轴之间的夹角。将该夹角作为平面图像待旋转的旋转角度。
S1242、根据旋转角度旋转更新平面图像。
在本申请实施例中,根据旋转角度旋转平面图像,得到旋转更新的平面图像。基于此,可实现平面图像中的相邻的标定点的圆心坐标之间的连线平行于平面图像坐标系中的Y轴或X轴。这样使得相邻的标定点的圆心坐标间的距离是固定的,以更为方便的确定标定点的圆心坐标对应的索引值。
S1243、根据旋转更新后的平面图像中的任一标定点的圆心坐标、距离定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
在本申请实施例中,在上述S1243之前还包括:根据基于上述S1243的旋转角度,对基于S1240得到的定位圆的圆心坐标和至少四个标定点的圆心坐标进行旋转,以得到在旋转更新的平面图像中定位圆的圆心坐标和至少四个标定点的圆心坐标。
在本申请的一个实施例中,以旋转角度为:定位圆的圆心坐标与距离定位圆的圆心坐标最近的标定点的圆心坐标之间的直线,与平面图像的坐标系中Y轴之间的夹角为例,上述S1243的具体实现可以为:将距离定位圆的圆心坐标最近的标定点的圆心坐标对应的索引值记为1。其中,将距离定位圆的圆心坐标最近的标定点的圆心坐标记为参考圆心坐标。
对于除参考圆心坐标外的标定点的圆心坐标的索引值根据下述步骤得到:
对于任一除参考圆心坐标外的标定点的圆心坐标,计算其与参考圆心坐标之间的相对关系;根据相对关系确定除参考圆心坐标外的标定点的圆心坐标的索引值。
在一个示例中,将位于参考圆心坐标左侧相邻的标定点的圆心坐标的索引值记为0,将位于参考圆心坐标右侧相邻的标定点的圆心坐标的索引值记为2,同理可得到每一标定点的圆心坐标的索引值。基于此,在该示例中,标定点的圆心坐标对应的索引值可如图7所示。
需要说明的是,确定标定点的圆心坐标对应的索引值的原因在于:在标定块坐标系下标定点的圆心坐标为多个,每一个对应有索引值;在确定相机坐标系与标定块坐标系间的转换矩阵时,需选择属于同一(或存在映射关系的)索引值的在相机坐标系下标定点的圆心坐标以及在标定块坐标系下标定点的圆心坐标。因此,需要确定出标定点的圆心坐标的索引值。其中,标定点在标定块坐标系下的圆心坐标的索引值人为预先设定。
在本申请实施例中,人为预先将标定块坐标系下的圆心坐标的索引值,或基于S1243得到的索引值如图7。
S1300、对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在第一点云图像中的坐标。
在本申请实施例中,逆圆心提取操作具体指的是将圆心坐标还原至第一点云图像中的操作。
在一个实施例中,上述还原过程具体可以为:对于任一标定点的圆心坐标,将对应圆心坐标按照S1241得到的旋转角度,向偏离Y轴的方向旋转;按照S1220中的平移和放大,对对应标定点所在坐标系进行相对应反向平移以及缩小,得到相机坐标系;基于反向平移量以及缩小量,确定标定点的圆心坐标对应在相机坐标系下的坐标;根据上述S1212的旋转矩阵,得到该旋转矩阵的逆矩阵;对于标定点的圆心坐标对应在相机坐标系下的坐标,按照逆矩阵旋转,得到标定点的圆心坐标对应在第一点云图像中的坐标。
将标定点的圆心坐标对应在第一点云图像中的点云的坐标,与对应的索引值进行绑定。这样便得到标定点的圆心在相机坐标系下的坐标,以及对应的索引值。
在本申请实施例中,提供了一种点云坐标的提取方法,该方法包括:获取包含标定块的第一点云图像,其中,标定块包括至少四个圆柱状的标定点以及一个定位圆,任一标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部;对第一点云图像执行圆心提取操作,圆心提取操作包括:根据第一点云图像,确定目标点云集;将目标点云集转换为平面图像;提取平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在第一点云图像中的坐标。通过该方法可自动提取出标定点的圆心坐标在相机坐标系下的坐标,以及标定点的圆心坐标对应的索引值。这相比于人工选取的方式可大大的提高确定手眼转换矩阵的效率。
在本申请的一个实施例中,本申请实施例提供的点云坐标的提取方法还包括如下S1400和S1500:
S1400、获取每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标。
在本申请实施例中,上述S1400为预先计算得到。
S1500、根据每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标,以及对应索引值的标定点的圆心坐标对应在第一点云图像中的坐标,确定目标转换矩阵。
在本申请实施例中,上述S1500的具体实现可以为:将同一索引值对应对应标定点的圆心坐标在标定块坐标系下的坐标,以及标定点的圆心坐标对应在第一点云图像中的坐标,分别代入公式:M*Pt_target=Pt_camera,从而得到M。
其中:Pt_target为标定点的圆心坐标在标定块坐标系下的坐标,Pt_camera为Pt标定点的圆心坐标对应在第一点云图像中的坐标,M为目标转换矩阵,即相机坐标与标定块坐标系间的转换矩阵。
在一个实施例中,在标定块的坐标系与机械手的坐标系相同时,将目标转换矩阵作为手眼转换矩阵。在标定块的坐标系与机械手的坐标系存在映射矩阵的情况下,根据目标转换矩阵,以及映射矩阵确定手眼转换矩阵。
<例子>
结合上述方法实施例,本申请实施例提供的一种点云坐标提取方法包括如下步骤:
S2100、获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与所述第一底面中心重合的凸起部。
S2200、对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括如下S2201-S2212:
S2201、拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
S2202、根据所述平面方程,确定所述第一点云图像的旋转矩阵;
S2203、根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
S2204、选取所述第一点云图像中属于所述平面方程上的任一第一点云;
S2205、根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
S2206、根据所述分割值,分割所述第二点云图像,得到目标点云集;
S2207、将所述目标点云集转换为平面图像;
S2208、提取所述平面图像中的圆形轮廓;
S2209、根据所述圆形轮廓的大小关系,确定出所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标;
S2210、根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
S2211、根据所述旋转角度旋转更新所述平面图像;
S2212、根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
S2300、对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标。
<装置实施例>
在本申请实施例中,提供了一种点云坐标提取装置800,如图8所示,包括:第一获取模块810、第一执行模块820以及第二执行模块830,其中:
第一获取模块810,用于获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与所述第一底面中心重合的凸起部;
第一执行模块820,用于对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括:根据所述第一点云图像,确定目标点云集;将所述目标点云集转换为平面图像;提取所述平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;
第二执行模块830,用于对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标。
在一个实施例中,所述第一执行模块820具体用于:
拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
根据所述平面方程,确定所述第一点云图像的旋转矩阵;
根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
选取所述第一点云图像中属于所述平面方程上的任一第一点云;
根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
根据所述分割值,分割所述第二点云图像,得到目标点云集。
在一个实施例中,所述第一执行模块820具体用于:
根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
根据所述旋转角度旋转更新所述平面图像;
根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
在一个实施例中,所述第一执行模块820具体用于:
提取所述平面图像中的圆形轮廓;
根据所述圆形轮廓的大小关系,确定出所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标。
在一个实施例中,本申请实施例提供的点云坐标提取装置800,还包括第二获取模块以及确定模块,其中:
第二获取模块,用于获取每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标;
确定模块,用于根据每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标,以及对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标,确定目标转换矩阵。
<设备实施例>
本申请实施例提供了一种电子设备900,该电子设备900包括如上述装置实施例提供的任一种点云坐标提取装置800。
或者,如图9所示,所述电子设备900包括存储器910和处理器920,所述存储器910用于存储计算机指令,所述处理器920用于从所述存储器910中调用所述计算机指令,以执行如上述方法实施例中任一项所述的点云坐标提取方法。
在本申请的一个实施例中,电子设备900可以为计算机,或者工业机器人等,对此本申请不做限定。
<存储介质实施例>
本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的点云坐标提取方法。
本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质,其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身,诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如,通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备,或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令,并转发该计算机可读程序指令,以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码,所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等,以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中,通过利用计算机可读程序指令的状态信息来个性化定制电子电路,例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA),该电子电路可以执行计算机可读程序指令,从而实现本申请的各个方面。
这里参照根据本申请实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本申请的各个方面。应当理解,流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合,都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器,从而生产出一种机器,使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时,产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中,这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作,从而,存储有指令的计算机可读介质则包括一个制造品,其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上,使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤,以产生计算机实现的过程,从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分,所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是,通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进,或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本申请的范围由所附权利要求来限定。

Claims (8)

1.一种点云坐标提取方法,其特征在于,包括:
获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部;
对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括:根据所述第一点云图像,确定目标点云集;将所述目标点云集转换为平面图像;提取所述平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;
对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标;
其中,所述目标点云集由将所述第一点云图像旋转至平行于相机坐标系中任一平面后,位于同一切片的点云组成,且所述切片上包含的点云数量最多;
所述根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值,包括:
根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
根据所述旋转角度旋转更新所述平面图像;
根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第一点云图像,确定目标点云集,包括:
拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
根据所述平面方程,确定所述第一点云图像的旋转矩阵;
根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
选取所述第一点云图像中属于所述平面方程上的任一第一点云;
根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
根据所述分割值,分割所述第二点云图像,得到目标点云集。
3.根据权利要求1所述的方法,其特征在于,所述提取所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标,包括:
提取所述平面图像中的圆形轮廓;
根据所述圆形轮廓的大小关系,确定出所述平面图像中包括的所述定位圆的圆心坐标和至少四个标定点的圆心坐标。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标;
根据每一索引值对应标定点的圆心坐标在标定块坐标系下的坐标,以及对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标,确定目标转换矩阵。
5.一种点云坐标提取装置,其特征在于,包括:
第一获取模块,用于获取包含标定块的第一点云图像,其中,所述标定块包括至少四个圆柱状的标定点以及一个定位圆,任一所述标定点的第一底面侧为凹陷状,且凹陷中心设置一与第一底面中心重合的凸起部;
第一执行模块,用于对所述第一点云图像执行圆心提取操作,所述圆心提取操作包括:根据所述第一点云图像,确定目标点云集;将所述目标点云集转换为平面图像;提取所述平面图像中包括的定位圆的圆心坐标和至少四个标定点的圆心坐标;根据所述定位圆的圆心坐标和至少四个标定点的圆心坐标,确定任一标定点的圆心坐标对应的索引值;
第二执行模块,用于对于任一标定点的圆心坐标,执行逆圆心提取操作,得到对应索引值的标定点的圆心坐标对应在所述第一点云图像中的坐标;
其中,所述目标点云集由将所述第一点云图像旋转至平行于相机坐标系中任一平面后,位于同一切片的点云组成,且所述切片上包含的点云数量最多;
所述第一执行模块具体用于:
根据所述定位圆的圆心坐标以及距离所述定位圆的圆心坐标最近的标定点的圆心坐标,确定所述平面图像的旋转角度;
根据所述旋转角度旋转更新所述平面图像;
根据旋转更新后的所述平面图像中的任一标定点的圆心坐标、距离所述定位圆的圆心坐标最近的标定点的圆心坐标间的位置关系,确定对应标定点的圆心坐标对应的索引值。
6.根据权利要求5所述的装置,其特征在于,所述第一执行模块具体用于:
拟合所述第一点云图像中的点云,得到所述标定块的平面方程;
根据所述平面方程,确定所述第一点云图像的旋转矩阵;
根据所述旋转矩阵,将所述第一点云图像旋转至第一平面,得到第二点云图像;
选取所述第一点云图像中属于所述平面方程上的任一第一点云;
根据所述第一点云和所述旋转矩阵,确定第二点云图像的分割值;
根据所述分割值,分割所述第二点云图像,得到目标点云集。
7.一种电子设备,其特征在于,所述电子设备包括如权利要求5或6任一项所述的点云坐标提取装置;
或者,所述电子设备包括存储器和处理器,所述存储器用于存储计算机指令,所述处理器用于从所述存储器中调用所述计算机指令,以执行如权利要求1-4中任一项所述的点云坐标提取方法。
8.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-4中任一项所述的点云坐标提取方法。
CN202210964575.XA 2022-08-12 2022-08-12 点云坐标提取方法、装置、设备及存储介质 Active CN115035195B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210964575.XA CN115035195B (zh) 2022-08-12 2022-08-12 点云坐标提取方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210964575.XA CN115035195B (zh) 2022-08-12 2022-08-12 点云坐标提取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115035195A CN115035195A (zh) 2022-09-09
CN115035195B true CN115035195B (zh) 2022-12-09

Family

ID=83130929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210964575.XA Active CN115035195B (zh) 2022-08-12 2022-08-12 点云坐标提取方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115035195B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116977274A (zh) * 2023-05-22 2023-10-31 中山大学 适用于移动生产线上的坚果智能检测方法及系统
CN116739898B (zh) * 2023-06-03 2024-04-30 广东西克智能科技有限公司 基于圆柱特征的多相机点云拼接方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651900A (zh) * 2016-12-27 2017-05-10 中国农业大学 一种基于轮廓分割的高架原位草莓三维建模方法
CN112330699A (zh) * 2020-11-14 2021-02-05 重庆邮电大学 一种基于重叠区域对齐的三维点云分割方法
CN112907683A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种点胶平台的相机标定方法、装置及相关设备
CN113959362A (zh) * 2021-09-22 2022-01-21 杭州申昊科技股份有限公司 结构光三维测量系统标定方法、巡检数据处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020507137A (ja) * 2017-12-11 2020-03-05 ベイジン ディディ インフィニティ テクノロジー アンド ディベロップメント カンパニー リミティッド 車両周辺の物体を識別して測位するためのシステムおよび方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651900A (zh) * 2016-12-27 2017-05-10 中国农业大学 一种基于轮廓分割的高架原位草莓三维建模方法
CN112330699A (zh) * 2020-11-14 2021-02-05 重庆邮电大学 一种基于重叠区域对齐的三维点云分割方法
CN112907683A (zh) * 2021-04-07 2021-06-04 歌尔光学科技有限公司 一种点胶平台的相机标定方法、装置及相关设备
CN113959362A (zh) * 2021-09-22 2022-01-21 杭州申昊科技股份有限公司 结构光三维测量系统标定方法、巡检数据处理方法

Also Published As

Publication number Publication date
CN115035195A (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN115035195B (zh) 点云坐标提取方法、装置、设备及存储介质
CN109215080B (zh) 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
EP2026279B1 (en) Method and system for aligning three-dimensional surfaces
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
CN109145969B (zh) 三维物体点云数据的处理方法、装置、设备及介质
CN105260740A (zh) 一种元件识别方法及装置
CN112435297B (zh) 目标物体位姿确定方法、装置、存储介质及电子设备
Leavline et al. On teaching digital image processing with MATLAB
CN111275758B (zh) 混合型3d视觉定位方法、装置、计算机设备及存储介质
Sahu et al. Shape features for image-based servo-control using image moments
WO2019015761A1 (en) ELECTRONIC DEVICE, SYSTEM AND METHOD FOR DETERMINING THE INSTALLATION OF AN OBJECT
EP3410389A1 (en) Image processing method and device
CN115409951B (zh) 图像处理方法、装置、电子设备及存储介质
US20200273244A1 (en) Correcting segmented surfaces to align with a rendering of volumetric data
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
Seo et al. 3D Hole center and surface normal estimation in robot vision systems
CN109613553B (zh) 基于激光雷达确定场景中物体数量的方法、装置及系统
Chen et al. Performance evaluation of 3D keypoints and descriptors
Károly et al. Automatic generation and annotation of object segmentation datasets using robotic arm
CN115414117B (zh) 骨科手术机器人执行末端位置坐标的确定方法及装置
Brito et al. Using geometric interval algebra modeling for improved three-dimensional camera calibration
CN115861428B (zh) 一种位姿测量方法、装置、终端设备及存储介质
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
CN109388464B (zh) 元素控制方法及装置
CA2140621A1 (en) Estimation of surface geometry from relative range images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant