CN111288891A - 非接触式三维测量定位系统、方法及存储介质 - Google Patents
非接触式三维测量定位系统、方法及存储介质 Download PDFInfo
- Publication number
- CN111288891A CN111288891A CN202010086270.4A CN202010086270A CN111288891A CN 111288891 A CN111288891 A CN 111288891A CN 202010086270 A CN202010086270 A CN 202010086270A CN 111288891 A CN111288891 A CN 111288891A
- Authority
- CN
- China
- Prior art keywords
- laser
- coordinate system
- receiving
- motor
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 111
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 4
- 230000004807 localization Effects 0.000 claims 1
- 238000009434 installation Methods 0.000 abstract description 4
- 230000009286 beneficial effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C1/00—Measuring angles
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明实施例公开了一种非接触式三维测量定位系统、方法及存储介质,其中该系统包括:固定设置的激光发射装置,包括:激光发射单元,用于发射点激光;第一旋转单元,用于旋转激光发射单元,并记录旋转角度;设置于目标物体的激光接收装置,包括:接收件,用于接收点激光,得到激光斑点;第二旋转单元,用于旋转接收件,并记录旋转角度;图像采集装置,用于采集激光斑点图像;处理装置,用于根据接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,确定目标物体的位姿参数。通过将激光发射和接收装置分体式设置,可扩大三维测量定位的测量范围,且便于安装与拓展;且通过将视觉与激光测量定位方法结合,保证了测量速度和精度。
Description
技术领域
本发明实施例涉及三维测量定位技术,尤其涉及一种非接触式三维测量定位系统、方法及存储介质。
背景技术
随着科学技术的迅速发展,非接触式三维测量定位方法的应用需求越来越多,如三维定位、三维测量、三维重建、目标跟踪、缺陷检测等,在实物仿形、自动化加工、机器视觉、机器人控制、地图构建等领域均有重要的应用。
现有技术中,常见的非接触式三维测量定位方法包括:激光测量定位方法、超声波测量定位方法和视觉测量定位方法等。其中,激光测量定位方法的测量范围小、测量精度较低;超声波测量定位方法的测量定位效果容易受物体内部结构的影响,不能测量结构复杂的对象;而视觉测量定位方法不仅对测量物体的结构形状要求低,而且测量速度快、精度高、测量视野相对较大,在三维测量定位方面应用广泛。
视觉测量定位方法包括双目测量定位和基于线结构光的单目测量定位等,但其测量定位范围相对较小,通常在米级以内,不能适应较大测量定位范围(如 10m*10m*0.2m的测量定位范围)需求。因此,亟需一种新的非接触式范围测量方法。
发明内容
有鉴于此,本发明实施例提供了非接触式三维测量定位系统、方法及存储介质,实现了在较大测量定位范围情况下的非接触式三维测量定位,且保证了测量速度和精度。
第一方面,本发明实施例提供了一种非接触式三维测量定位系统,包括:
激光发射装置,固定设置于测量场景中的预设位置,包括:激光发射单元,用于发射点激光;第一旋转单元,用于旋转所述激光发射单元,并记录激光发射单元的旋转角度;
激光接收装置,设置于所述测量场景中的目标物体,包括:接收件,用于接收点激光,得到激光斑点;第二旋转单元,用于旋转所述接收件,并记录接收件的旋转角度;
图像采集装置,用于采集所述接收件上的激光斑点图像;
处理装置,用于接收所述激光发射单元的旋转角度、所述接收件的旋转角度和所述激光斑点图像,并根据所述激光发射单元的旋转角度、所述接收件的旋转角度和所述激光斑点图像,确定所述目标物体的位姿参数。
第二方面,本发明实施例提供了一种非接触式三维测量定位方法,应用于本发明任一实施例所述系统中的处理装置,包括:
接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;
解析所述激光斑点图像,得到激光斑点的图像像素坐标;
基于图像像素坐标系与接收件坐标系的对应关系,根据所述激光斑点的图像像素坐标,确定激光斑点的接收件坐标;
将所述至少一组激光发射单元的旋转角度、接收件的旋转角度和所述接收件坐标输入至预先构建的定位模型,输出目标物体的位姿参数。
第三方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的非接触式三维测量定位方法。
本发明实施例提供的一种非接触式三维测量定位系统、方法及存储介质,测量定位系统包括:激光发射装置,固定设置于测量场景中的预设位置,包括:激光发射单元,用于发射点激光;第一旋转单元,用于旋转激光发射单元,并记录激光发射单元的旋转角度;激光接收装置,设置于测量场景中的目标物体,包括:接收件,用于接收点激光,得到激光斑点;第二旋转单元,用于旋转接收件,并记录接收件的旋转角度;图像采集装置,用于采集接收件上的激光斑点图像;处理装置,用于接收激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;根据激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,以及预先构建的定位模型,确定目标物体的位姿参数。
通过将激光发射和接收装置分体式设置,可扩大三维测量定位的测量范围,且便于安装与拓展;基于分体式定位系统,处理装置可预先构建对应的定位模型,可实现目标物体的位姿参数输出;通过将视觉测量定位方法与激光测量定位方法相结合,保证了测量速度和精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图做一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种非接触式三维测量定位系统结构框图;
图2是本发明实施例一提供的一种非接触式三维测量定位系统结构示意图;
图3是本发明实施例二提供的一种非接触式三维测量定位方法流程图;
图4是本发明实施例三提供的一种非接触式三维测量定位方法中坐标关系示意图;
图5是本发明实施例四提供的一种非接触式三维测量定位方法中系统标定步骤流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,以下将参照本发明实施例中的附图,通过实施方式清楚、完整地描述本发明的技术方案,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。下述各实施例中,每个实施例中同时提供了可选特征和示例,实施例中记载的各个特征可进行组合,形成多个可选方案,不应将每个编号的实施例仅视为一个技术方案。
实施例一
图1是本发明实施例一提供的一种非接触式三维测量定位系统结构框图,本实施例可适用于较大测量定位范围的非接触式三维测量定位的情况,还可适用于较大测量定位范围内的一维/二维测量定位、目标追踪、轨迹重构或局部地图导航的情况。应用该非接触式三维测量定位系统,可实现非接触式三维测量定位方法。
参见图1,本实施例中非接触式三维测量定位系统,包括:
激光发射装置10,固定设置于测量场景中的预设位置,包括:激光发射单元11,用于发射点激光;第一旋转单元12,用于旋转激光发射单元,并记录激光发射单元的旋转角度;
激光接收装置20,设置于测量场景中的目标物体,包括:接收件21,用于接收点激光,得到激光斑点;第二旋转单元22,用于旋转接收件,并记录接收件的旋转角度;
图像采集装置30,用于采集接收件上的激光斑点图像;
处理装置40,用于接收激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;根据激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,以及预先构建的定位模型,确定目标物体的位姿参数。
本实施例提供的非接触式三维测量定位系统在使用时,激光发射装置固定布置在测量场景里的某个位置(即预设位置),该预设位置为便于测量定位的位置,例如为测量场景的中间位置。激光发射装置在测量定位过程中不能移动,以保证多次测量结果的一致性。激光接收装置布置在目标物体上,且目标物体在测量场景中静止或运动。由于目标物体的多样性,如不同种类的机器人或移动平台,通过将激光发射装置和激光接收装置分体式布局在测量场景中,可以解决传统激光测量定位装置的安装位置受限问题,安装更方便。此外,通过将激光发射装置和激光接收装置分体式布局在测量场景中,还可有效地扩大测量定位范围。
上述激光发射装置中的激光发射单元,可以发射高汇聚的点激光,例如为点激光器。激光发射单元连接在激光发射装置的第一旋转单元上,第一旋转单元旋转时,可带动激光发射单元旋转,以改变点激光发射方向。此外,第一旋转单元还可以记录激光发射单元的绝对旋转角度,以方便获取激光发射单元反射的点激光的方向。
上述激光接收装置中的接收件,例如为接收板,可以接收点激光,且点激光在接收件上可留下激光斑点。接收件连接在激光接收装置的第二旋转单元上,第二旋转单元旋转时,可带动接收件旋转,以保证目标物体在测量场景中的不同位置处时,接收件均能接收到较好的激光斑点。此外,第二旋转单元也可以记录接收件的绝对旋转角度,以方便获取目标物体的旋转角度参数。
上述图像采集装置,例如可以包括相机和镜头,可以采集接收件上的激光斑点图像。通过图像采集装置采集激光斑点图像,实现了将视觉与激光测量定位方法结合,保证了测量速度和精度。
上述处理装置,可以包括处理器和存储器,且存储中可以存储有计算机程序,该程序被处理器执行时可以实现:根据激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,以及预先构建的定位模型,确定目标物体的位姿参数。处理装置使用的定位模型,为基于上述分体式测量系统中各硬件坐标系之间的对应关系所构建的测量定位模型,该定位模型的构建步骤详见下述实施例,在此不做过多解释。通过该预先构建的定位模型,处理装置可基于激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,得到目标物体的位姿参数。且处理装置还可将得到的目标物体的位姿参数发送至其他应用平台,以供其他应用平台使用。
其中,激光发射装置、激光接收装置和图像采集装置可以与处理装置建立有线和/或无线通信连接,以分别用于激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的收发。
可选的,激光发射装置、激光接收装置、图像采集装置和处理装置,都还包括无线通信单元。激光发射装置、激光接收装置和图像采集装置可通过分别其上设置的无线通信单元与处理装置的无线通信单元建立通信连接。激光发射装置、激光接收装置和图像采集装置的无线通信单元可分别用于发送激光发射单元的旋转角度、发送接收件的旋转角度和发送激光斑点图像;处理装置的无线通信单元则可以接收激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像。通过无线通信单元通信,可适应大范围的三维测量定位需求,避免对目标物体运行产生限制。
其中,激光接收装置、图像采集装置和处理装置可集成为一个装置,并可将该集成装置设置于目标物体上,以实现一种新的分体式系统。
此外,本实施例提供的非接触式三维测量定位系统包括的各装置综合价格相对较低,能有效降低配置有该测量定位系统的相关设备(如机器人)的成本。
示例性的,图2是本发明实施例一提供的一种非接触式三维测量定位系统结构示意图。参见图2,该定位系统同样包括激光发射装置10、激光接收装置 20、图像采集装置30和处理装置40,且激光发射装置10包括激光发射单元11,激光接收装置20包括接收件21。
可选的,激光发射装置10的第一旋转单元,包括:
第一电机121,用于在第一方向上旋转激光发射单元;
第二电机122,用于在第二方向上旋转激光发射单元;
第一角度探测器(图2未示出),用于记录第一电机121的第一旋转角度;
第二角度探测器(图2未示出),用于记录第二电机122的第二旋转角度。
其中,第一电机和第二电机可为两个高精度伺服电机,分别用于控制激光发射单元在第一方向和第二方向上的旋转;且第一方向例如可以是纵向,即激光发射单元的俯仰方向,第二方向例如可以是横向,即激光发射单元的水平方向。其中,第一角度探测器和第二角度探测器可以为光电编码器、陀螺仪或霍尔传感器,可分别与第一电机和第二电机连接,以分别记录第一电机当前的绝对角度(第一旋转角度)和第二电机当前的绝对角度(第二旋转角度)。
再参见图2,可选的,激光接收装置20的第二旋转单元,包括:
第三电机221,用于在第三方向上旋转接收件;
第三角度探测器(图2未示出),用于记录第三电机221的第三旋转角度。
其中,第三电机同样可以为高精度伺服电机,用于控制接收件在第三方向上的旋转;且第三方向例如可以是横向,即接收件的水平方向。其中,第三角度探测器同样可以为光电编码器、陀螺仪或霍尔传感器,可与接收件连接,以记录接收件当前的绝对角度(第三旋转角度)。
其中,上述第一/二/三电机的精度越高,在接收件尺寸不变的情况下,测量系统适应的测量场景范围的尺寸也就越大。
可选的,其特征在于,激光发射装置的数量为至少一个。由于本发明实施例提供的测量系统采用分体式布局,便于系统拓展,当一个激光发射装置不能满足测量范围需求时,可以使用两个以上激光发射装置实现拼接测量定位,以满足更大范围的测量需求。
可选的,测量场景为光照场景时,接收件配置于单面透光的暗箱中。单面透光的暗箱不仅可以避免挡住激光,还有利于适应各种复杂光照场景,如室外复杂光照场景,从而可以提高测量系统的自然场景的适应能力,保证了系统精度与稳定性。
可选的,目标物体为运动物体时,处理单元,还用于实时确定运动物体的位姿参数,并根据实时确定的位姿参数构建运动物体的运动轨迹。当目标物体为运动物体时,例如为运动机器人时,处理单元可实时接收激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,以实时确认目标物体的位姿参数,基于历史确定的位姿参数,进一步可以获得目标物体的运动轨迹,即实现目标物体的轨迹重构。
综上,本实施例提供的非接触式三维测量定位系统具有精度高、抗干扰性强、测量定位范围超大、价格低等优点,适用于超大范围的测量定位、目标跟踪等应用,特别是在超大空间内为移动平台等提供高精度的绝对坐标参考系具有独特应用优势。
本实施例提供的非接触式三维测量定位系统包括:激光发射装置,固定设置于测量场景中的预设位置,包括:激光发射单元,用于发射点激光;第一旋转单元,用于旋转激光发射单元,并记录激光发射单元的旋转角度;激光接收装置,设置于测量场景中的目标物体,包括:接收件,用于接收点激光,得到激光斑点;第二旋转单元,用于旋转接收件,并记录接收件的旋转角度;图像采集装置,用于采集接收件上的激光斑点图像;处理装置,用于接收激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;根据激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像,以及预先构建的定位模型,确定目标物体的位姿参数。通过将激光发射和接收装置分体式设置,可扩大三维测量定位的测量范围,且便于安装与拓展;基于分体式定位系统,处理装置可预先构建对应的定位模型,可实现目标物体的位姿参数输出;通过将视觉测量定位方法与激光测量定位方法相结合,保证了测量速度和精度。
实施例二
图3是本发明实施例二提供的一种非接触式三维测量定位方法流程图,本实施例可适用于较大测量定位范围的非接触式三维测量定位的情况,还可适用于较大测量定位范围内的一维/二维测量定位、目标追踪、轨迹重构或局部地图导航的情况。该方法可以由本发明任一实施例提供的非接触式三维测量定位系统中的处理装置实现,具体可由处理装置中的硬件和/或软件实现。
参见图3,该非接触式三维测量定位方法,应用于本发明任一系统中的处理装置,包括如下步骤:
S310、接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像。
本发明提供的非接触式三维测量定位系统在使用时,处理装置可接收同一时间下激光发射装置记录的激光发射单元的旋转角度、激光接收装置记录的接收件的旋转角度,以及图像采集装置采集的激光斑点图像。且处理装置可将同一时间下的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像作为一组数据。
S320、解析激光斑点图像,得到激光斑点的图像像素坐标。
其中,激光斑点图像是由像素组成的,激光斑点的图像像素坐标是激光斑点对应的像素在图像像素坐标系中的位置。通常可以以图像左上角为原点,建立以像素为单位的图像像素坐标系u-v,其中像素的横坐标u与纵坐标v分别是在其图像数组中所在的列数与所在行数。处理装置可首先识别激光斑点对应的像素,再获取该像素在图像像素坐标系下的列数与行数,以得到激光斑点的图像像素坐标。
S330、基于图像像素坐标系与接收件坐标系的对应关系,根据激光斑点的图像像素坐标,确定激光斑点的接收件坐标。
其中,图像像素坐标系与图像采集装置坐标系具备对应关系,同时图像采集装置坐标系与接收件坐标系也具备对应关系,据此可推导出图像像素坐标系与接收件坐标系的对应关系。进而,基于图像像素坐标系与接收件坐标系的对应关系,可确定激光斑点在接收件坐标系下的接收件坐标。
可选的,基于图像像素坐标系与接收件坐标系的对应关系,根据激光斑点的图像像素坐标,确定激光斑点的接收件坐标,包括:
根据图像采集装置的内参参数,将激光斑点的图像像素坐标转化为图像物理坐标;根据图像采集装置的畸变参数,对图像物理坐标进行修正;基于图像物理坐标系与图像采集装置坐标系的对应关系,根据修正后的图像物理坐标,确定图像采集装置坐标;基于图像采集装置坐标系与标定板坐标系的对应关系,根据图像采集装置坐标,确定标定板坐标;将标定板坐标作为激光斑点的接收件坐标。
其中,接收件坐标系与图像像素坐标系之间的关系,即相机机透视投影模型,可推导如下:
图像像素坐标系与图像物理坐标系的关系可由如下公式表示:
其中,(rc,cc)为激光斑点在图像像素坐标系下的坐标,为激光斑点在图像物理坐标系下的坐标,sx为横向每毫米上的像素个数,sy为纵向每毫米上的像素个数,cx和cy分别表示图像的中心像素坐标和图像原点像素坐标之间相差的横向和纵向像素数。
公式(2-1)中sx、sy、cx和cy为图像采集装置的内参参数,根据图像采集装置的内参参数,以及公式(2-1)中图像像素坐标系与图像物理坐标系的关系,可将激光斑点的图像像素坐标(rc,cc)转化为图像物理坐标
其中,图像采集装置存在的透镜畸变,且畸变参数可由如下公式表示:
其中,K1、K2和K3为透镜的径向畸变参数,P1和P2为透镜的切向畸变参数。通过公式(2-2),可对图像物理坐标进行畸变修正,得到修正后的图像物理坐标(u,v)。
图像物理坐标系与图像采集装置坐标系的关系可由如下公式表示:
其中,图像物理坐标系与相机坐标系为相似三角形的关系,k为两三角形间的比例系数,f为图像采集装置焦距。通过公式(2-3),可根据修正后的图像物理坐标(u,v),得到图像采集装置坐标(xc,yc,zc)。
记CHW为世界坐标系相对于图像采集装置坐标系的位置姿态矩阵,则世界坐标系坐标(xw,yw,0)与图像采集装置坐标系坐标(xc,yc,zc)存在如下关系:
其中,CHW包括旋转矩阵CRW与平移矩阵CTW,且CRW和CTW为图像采集装置外参。图像物理坐标与世界坐标/标定板坐标系进而存在如下的关系:
故通过图像采集装置标定,获取图像采集装置内参、外参和畸变参数,可以由激光斑点的图像像素坐标(rc,cc)获得标定板平面内的坐标(xw,yw)。
在本系统中,可将接收件坐标系与式(2-5)中描述的标定板坐标系,设置为如下关系:
因此,可将标定板坐标(xw,yw)作为激光斑点的接收件坐标(b,c)。
S340、将至少一组激光发射单元的旋转角度、接收件的旋转角度和接收件坐标输入至预先构建的定位模型,输出目标物体的位姿参数。
基于本发明中分体式测量系统中各硬件坐标系之间的对应关系,可预先构建出测量定位模型,且将至少一组激光发射单元的旋转角度、接收件的旋转角度和接收件坐标输入至该定位模型,可输出目标物体的位姿参数。
可选的,位姿参数包括下述至少一项:目标物体相对于世界坐标系的至少一个维度的平移参数,和/或旋转参数;其中,接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的组数,与位姿参数的项数相对应。
其中,位姿参数可以为目标物体相对于世界坐标系的三维位置姿态矩阵,可包括(X,Y,Z)坐标以及绕各坐标轴的旋转角度;当忽略目标物体的旋转角度和高度Z坐标时,得到(X,Y)坐标,可用于二维定位应用场景;当忽略目标物体的旋转角度和二维(X,Y)坐标时,得到高度Z坐标,可用于高度定位应用场景。
接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的组数,与位姿参数的项数相对应:当位姿参数中需求解的参数项越多时,需要接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的组数则越大;反之,当位姿参数中需求解的参数项越少时,需要接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的组数则越小。
本实施例提供的非接触式三维测量定位方法,处理装置接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;解析激光斑点图像,得到激光斑点的图像像素坐标;基于图像像素坐标系与接收件坐标系的对应关系,根据激光斑点的图像像素坐标,确定激光斑点的接收件坐标;将至少一组激光发射单元的旋转角度、接收件的旋转角度和接收件坐标输入至预先构建的定位模型,输出目标物体的位姿参数。
本实施例提供的非接触式三维测量定位方法,处理装置基于分体式定位系统,可预先构建对应的定位模型,以实现目标物体的位姿参数输出。本实施例与上述实施例提出的非接触式三维测量定位系统属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例三
本实施例在上述方法实施例基础上,对定位模型的构建步骤进行了详细描述。本发明实施例与上述实施例提出的非接触式三维测量定位方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
可选的,定位模型的构建步骤,包括:构建激光发射装置模型和激光接收装置模型;整合激光发射装置模型和激光接收装置模型,得到定位模型。
激光发射装置模型中可以包括激光发射单元坐标系、第一电机坐标系、第二电机坐标系和世界坐标系之间的转换关系矩阵,且这些转换关系矩阵中可以包括激光发射装置参数以及激光发射单元的旋转角度。
激光接收装置模型中可以包括接收件坐标系、第三电机坐标系和世界坐标系之间的转换关系矩阵,且这些转换关系矩阵中可以包括激光接收装置参数以及接收件的旋转角度,且可以将激光接收装置参数中第三电机的位姿参数作为目标物体的位姿参数。
以世界坐标系作为纽带,可以建立激光发射装置模型和激光接收装置模型的关系,也就可以得到激光发射单元的旋转角度、接收件的旋转角度、接收件坐标和目标物体的位姿参数的关系,从而实现定位模型的构建。
示例性的,图4是本发明实施例三提供的一种非接触式三维测量定位方法中坐标关系示意图。参见图4,可选的,激光发射装置模型的构建步骤,包括:
构建激光发射单元坐标系相对于第一电机坐标系的位置姿态矩阵M1HL;构建第一电机坐标系相对于第二电机坐标系的位置姿态矩阵M2HM1,M2HM1包含第一电机的第一旋转角度;构建第二电机坐标系相对于世界坐标系的位置姿态矩阵WHM2,WHM2包含第二电机的第二旋转角度;由M1HL、M2HM1和WHM2,得到激光发射单元坐标系相对于世界坐标系的位置姿态矩阵WHL;根据WHL得到激光发射装置模型如下:
其中,λ为预设比例系数,(x',y',z')为点激光的世界坐标。
参见图4,建立激光发射单元坐标系HL时,可将激光发射单元发射的点激光的激光线作为XL轴,可将激光线与YLOZL平面的交点设为(0,1b,1c)。激光发射单元坐标系HL相对于第一电机坐标系HM1的位置姿态矩阵可用M1HL可用如下公式表示:
其中,1β,1γ,1b,1c为激光发射单元参数。
建立第一电机坐标系HM1时,可将第一电机的电机轴作为YM1轴,第一电机的电机轴与XM1OZM1平面的交点设为(2a,0,2c)。第一电机坐标系HM1相对于第二电机坐标系HM2的位置姿态矩阵可用如下公式表示:
其中,2α,2γ,2a,2c为第一电机参数,β为第一电机的第一旋转角度。
建立第二电机坐标系HM2时,可将第二电机的电机轴作为ZM2轴,第二电机的电机轴与XM2OYM2平面的交点设为(0,0,0)。第二电机坐标系HM2相对于世界坐标系HW的位置姿态矩阵可用如下公式表示:
其中,γ为第二电机的第二旋转角度。
由式(3-1)、(3-2)和(3-3),可推导出激光发射单元坐标系HL相对于世界坐标系HW的位置姿态矩阵,如下公式表示:
WHL=WHM2*M2HM1*M1HL, (3-4)
由式(3-4)可知,激光发射单元发射的激光线方程可如下公式表示:
其中,λ为预设比例系数,(x',y',z')为点激光的世界坐标。式(3-5)化简可得式(3-6):
可将式(3-6)作为激光发射装置模型。
再参见图4,可选的,激光接收装置模型的构建步骤,包括:
构建接收件坐标系相对于第三电机坐标系的位置姿态矩阵M3HR,M3HR包含第三电机的第三旋转角度;构建第三电机坐标系相对于世界坐标系的位置姿态矩阵WHM3,WHM3包含目标物体的位姿参数;由M3HR和WHM3,得到接收件坐标系相对于世界坐标系的位置姿态矩阵可用WHR;根据WHR得到激光接收装置模型如下:
其中,(x',y',z')为点激光的世界坐标,(b,c)是激光斑点的接收件坐标。
构建接收件坐标系HR时,可将接收件屏幕作为yoz平面。接收件坐标系 HR相对于第三电机坐标系HM3的位置姿态矩阵可用如下公式表示:
其中,3α,3β,3γ,3a,3b为接收件参数,γ′为第三电机的第三旋转角度。
第三电机坐标系HM3相对于世界坐标系HW的位置姿态矩阵可用如下公式表示:
其中,4γ,4β,4γ,4a,4b,4c为目标物体的位姿参数。
由式(3-7)和(3-8),可推导出接收件坐标系HR相对于世界坐标HW的位置姿态矩阵如下公式所示:
WHR=WHM3*M3HR, (3-9)
由式(3-9)可知,接收件上的激光斑点在世界坐标系HW中的坐标(x',y',z'),可用如下齐次式表示:
其中,(x',y',z')是激光斑点在世界坐标系HW中的坐标,(b,c)是激光斑点在接收件坐标系HR中的坐标。可将式(3-10)作为激光接收装置模型。
将式(3-6)的激光发射装置模型与式(3-10)的激光接收装置模型联立化简,可得如下公式:
可将式(3-11)作为测量定位系统的定位模型。
本实施例在上述实施例基础上,基于分布式的非接触三维测量系统,分别构建激光发射装置模型和激光接收装置模型,并整合为系统的定位模型,从而可实现目标物体的三维位姿参数输出。本发明实施例与上述实施例提出的式测量定位方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例四
本实施例在上述方法实施例基础上,对非接触式三维测量定位方法中系统标定步骤进行了详细描述。本发明实施例与上述实施例提出的非接触式三维测量定位方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
图5是本发明实施例四提供的一种非接触式三维测量定位方法中系统标定步骤流程图。参见图5,在接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像之前,还包括如下系统标定步骤:
S510、通过标定板对图像采集装置进行标定,确定图像采集装置的内参参数、畸变参数,以及图像采集装置坐标系与标定板坐标系的对应关系;
S520、控制激光发射装置的第一电机在第一方向上旋转N个角度,并接收第一电机当前的第一旋转角度,且第一电机在第一方向上为任一角度时,控制激光发射装置的第二电机在第二方向上旋转N个角度,并接收第二电机当前的第二旋转角度;
S530、于第一电机为当前的第一旋转角度,且第二电机为当前的第二旋转角度时,接收激光接收装置的第三电机当前的第三旋转角度,和图像采集装置采集的激光斑点图像;
S540、根据确定的图像采集装置的内参参数、畸变参数,以及图像采集装置坐标系与标定板坐标系的对应关系,和N2个激光斑点图像,确定N2个激光斑点的接收件坐标;
S550、根据N2组第一旋转角度、第二旋转角度、第三旋转角度和激光斑点的接收件坐标,确定激光发射装置和激光接收装置的系统参数。
本发明提供的分体式三维测量定位系统在使用前需要进行系统标定校准工作,通过校准可计算出相关系统参数,即激光发射装置参数(包括激光发射单元参数和第一电机参数)、激光接收装置参数(包括接收件参数)、图像采集装置内参(包括sx、sy、cx和cy)、图像采集装置外参(包括旋转矩阵与平移矩阵)和图像畸变参数(包括径向畸变参数和切向畸变参数)这5组数据。
其中,通过图像采集装置采集标定板图像,并进行图像处理和运算,可获取图像采集装置内参、外参和图像畸变参数,其中图像采集装置外参即可用于表示图像采集装置坐标系与标定板坐标系的对应关系。其中,第一电机在第一方向(例如纵向)上角度变化N次,且每个纵向角度保持不变时,第二电机在第二方向(例如横向)上扫描N(N=6)个点,即共发射N2(例如36)个位置的点激光。每个位置的点激光发射后,通过调整第三电机角度,使得激光斑点在接收件上显示效果良好。
图像采集装置采集激光斑点图像,并发送至处理装置。处理装置根据确定的图像采集装置的内参参数、畸变参数,以及图像采集装置坐标系与标定板坐标系的对应关系,确定N2个激光斑点图像对应的接收件坐标。同时,处理装置还可以接收每张激光斑点图像采集时的第一旋转角度、第二旋转角度和第三旋转角度。处理装置将N2组第一旋转角度、第二旋转角度、第三旋转角度和激光斑点的接收件坐标输入定位模型,可确定激光发射装置参数和激光接收装置参数,即确定激光发射装置和激光接收装置的系统参数。其中,在进行系统标定校准后,只要不拆卸相关硬件,则标定校准数据可重复使用。
本实施例在上述实施例基础上,对非接触式三维测量定位方法中系统标定步骤进行了详细描述,通过系统标定步骤,可求解出系统中激光发射装置、激光接收装置的系统参数、图像采集装置的内参、外参和畸变参数,且在进行系统标定校准后,只要不拆卸相关硬件,系统参数数据可重复使用。本发明实施例与上述实施例提出的非接触式三维测量定位方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
实施例五
本实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上述实施例提出的非接触式三维测量定位方法。
本实施例提出的系统与上述实施例提出的非接触式三维测量定位方法属于同一发明构思,未在本实施例中详尽描述的技术细节可参见上述实施例,并且本实施例与上述实施例具有相同的有益效果。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器 (Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
Claims (15)
1.一种非接触式三维测量定位系统,其特征在于,包括:
激光发射装置,固定设置于测量场景中的预设位置,包括:激光发射单元,用于发射点激光;第一旋转单元,用于旋转所述激光发射单元,并记录激光发射单元的旋转角度;
激光接收装置,设置于所述测量场景中的目标物体,包括:接收件,用于接收点激光,得到激光斑点;第二旋转单元,用于旋转所述接收件,并记录接收件的旋转角度;
图像采集装置,用于采集所述接收件上的激光斑点图像;
处理装置,用于接收所述激光发射单元的旋转角度、所述接收件的旋转角度和所述激光斑点图像;根据所述激光发射单元的旋转角度、所述接收件的旋转角度和所述激光斑点图像,以及预先构建的定位模型,确定所述目标物体的位姿参数。
2.根据权利要求1所述的系统,其特征在于,所述第一旋转单元,包括:
第一电机,用于在第一方向上旋转所述激光发射单元;
第二电机,用于在第二方向上旋转所述激光发射单元;
第一角度探测器,用于记录所述第一电机的第一旋转角度;
第二角度探测器,用于记录所述第二电机的第二旋转角度。
3.根据权利要求1所述的系统,其特征在于,所述第二旋转单元,包括:
第三电机,用于在第三方向上旋转所述接收件;
第三角度探测器,用于记录所述第三电机的第三旋转角度。
4.根据权利要求1-3中任一项所述的系统,其特征在于,所述激光发射装置的数量为至少一个。
5.根据权利要求1-3中任一项所述的系统,其特征在于,所述测量场景为光照场景时,所述接收件配置于单面透光的暗箱中。
6.根据权利要求1-3中任一项所述的系统,其特征在于,所述激光发射装置、所述激光接收装置、所述图像采集装置和所述处理装置,都还包括无线通信单元。
7.根据权利要求1-3中任一项所述的系统,其特征在于,所述目标物体为运动物体时,所述处理单元,还用于实时确定所述运动物体的位姿参数,并根据实时确定的位姿参数构建所述运动物体的运动轨迹。
8.一种非接触式三维测量定位方法,其特征在于,应用于权利要求1-7中任一项所述系统中的处理装置,包括:
接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像;
解析所述激光斑点图像,得到激光斑点的图像像素坐标;
基于图像像素坐标系与接收件坐标系的对应关系,根据所述激光斑点的图像像素坐标,确定激光斑点的接收件坐标;
将所述至少一组激光发射单元的旋转角度、接收件的旋转角度和所述接收件坐标输入至预先构建的定位模型,输出目标物体的位姿参数。
9.根据权利要求8所述的方法,其特征在于,所述基于图像像素坐标系与接收件坐标系的对应关系,根据所述激光斑点的图像像素坐标,确定激光斑点的接收件坐标,包括:
根据图像采集装置的内参参数,将所述激光斑点的图像像素坐标转化为图像物理坐标;
根据所述图像采集装置的畸变参数,对所述图像物理坐标进行修正;
基于图像物理坐标系与图像采集装置坐标系的对应关系,根据修正后的图像物理坐标,确定图像采集装置坐标;
基于图像采集装置坐标系与标定板坐标系的对应关系,根据图像采集装置坐标,确定标定板坐标;
将所述标定板坐标作为激光斑点的接收件坐标。
10.根据权利要求8所述的方法,其特征在于,所述定位模型的构建步骤,包括:
构建激光发射装置模型和激光接收装置模型;
整合所述激光发射装置模型和所述激光接收装置模型,得到定位模型。
13.根据权利要求8-12任一项所述的方法,其特征在于,在所述接收至少一组激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像之前,还包括如下系统标定步骤:
通过标定板对所述图像采集装置进行标定,确定所述图像采集装置的内参参数、畸变参数,以及所述图像采集装置坐标系与标定板坐标系的对应关系;
控制激光发射装置的第一电机在第一方向上旋转N个角度,并接收第一电机当前的第一旋转角度,且第一电机在第一方向上为任一角度时,控制激光发射装置的第二电机在第二方向上旋转N个角度,并接收第二电机当前的第二旋转角度;
于所述第一电机为当前的第一旋转角度,且所述第二电机为当前的第二旋转角度时,接收激光接收装置的第三电机当前的第三旋转角度,和图像采集装置采集的激光斑点图像;
根据确定的图像采集装置的内参参数、畸变参数,以及所述图像采集装置坐标系与标定板坐标系的对应关系,和N2个激光斑点图像,确定N2个激光斑点的接收件坐标;
根据N2组第一旋转角度、第二旋转角度、第三旋转角度和激光斑点的接收件坐标,确定激光发射装置和激光接收装置的系统参数。
14.根据权利要求8-12任一项所述的方法,其特征在于,所述位姿参数包括下述至少一项:目标物体相对于世界坐标系的至少一个维度的平移参数,和/或旋转参数;
其中,接收的激光发射单元的旋转角度、接收件的旋转角度和激光斑点图像的组数,与所述位姿参数的项数相对应。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求8-14中任一所述的非接触式三维测量定位方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010086270.4A CN111288891B (zh) | 2020-02-11 | 2020-02-11 | 非接触式三维测量定位系统、方法及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010086270.4A CN111288891B (zh) | 2020-02-11 | 2020-02-11 | 非接触式三维测量定位系统、方法及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111288891A true CN111288891A (zh) | 2020-06-16 |
CN111288891B CN111288891B (zh) | 2021-08-31 |
Family
ID=71021343
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010086270.4A Active CN111288891B (zh) | 2020-02-11 | 2020-02-11 | 非接触式三维测量定位系统、方法及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111288891B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797808A (zh) * | 2020-07-17 | 2020-10-20 | 广东技术师范大学 | 一种基于视频特征点追踪的逆向方法及系统 |
CN112268523A (zh) * | 2020-10-09 | 2021-01-26 | 华中科技大学鄂州工业技术研究院 | 一种激光三维测量装置及测量方法 |
CN113756815A (zh) * | 2021-08-16 | 2021-12-07 | 山西科达自控股份有限公司 | 设备位置图像识别系统 |
CN115184973A (zh) * | 2022-07-08 | 2022-10-14 | 中国科学院微小卫星创新研究院 | 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101738161A (zh) * | 2008-11-14 | 2010-06-16 | 中国科学院沈阳自动化研究所 | 一种测量运动物体六维位姿的设备和方法 |
EP3037839A1 (de) * | 2014-12-12 | 2016-06-29 | Tesat Spacecom GmbH & Co. KG | Drehlagen-bestimmung eines sensors mittels eines von einem satelliten ausgestrahlten laserstrahls |
CN107543495A (zh) * | 2017-02-17 | 2018-01-05 | 北京卫星环境工程研究所 | 航天器设备自动准直测量系统、准直方法与测量方法 |
CN109215108A (zh) * | 2017-06-30 | 2019-01-15 | 深圳先进技术研究院 | 基于激光扫描的全景三维重建系统及方法 |
CN109212497A (zh) * | 2018-10-30 | 2019-01-15 | 哈尔滨工业大学 | 一种空间六自由度车载雷达天线位姿偏差测量及对接方法 |
-
2020
- 2020-02-11 CN CN202010086270.4A patent/CN111288891B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101738161A (zh) * | 2008-11-14 | 2010-06-16 | 中国科学院沈阳自动化研究所 | 一种测量运动物体六维位姿的设备和方法 |
EP3037839A1 (de) * | 2014-12-12 | 2016-06-29 | Tesat Spacecom GmbH & Co. KG | Drehlagen-bestimmung eines sensors mittels eines von einem satelliten ausgestrahlten laserstrahls |
CN107543495A (zh) * | 2017-02-17 | 2018-01-05 | 北京卫星环境工程研究所 | 航天器设备自动准直测量系统、准直方法与测量方法 |
CN109215108A (zh) * | 2017-06-30 | 2019-01-15 | 深圳先进技术研究院 | 基于激光扫描的全景三维重建系统及方法 |
CN109212497A (zh) * | 2018-10-30 | 2019-01-15 | 哈尔滨工业大学 | 一种空间六自由度车载雷达天线位姿偏差测量及对接方法 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111797808A (zh) * | 2020-07-17 | 2020-10-20 | 广东技术师范大学 | 一种基于视频特征点追踪的逆向方法及系统 |
CN111797808B (zh) * | 2020-07-17 | 2023-07-21 | 广东技术师范大学 | 一种基于视频特征点追踪的逆向方法及系统 |
CN112268523A (zh) * | 2020-10-09 | 2021-01-26 | 华中科技大学鄂州工业技术研究院 | 一种激光三维测量装置及测量方法 |
CN113756815A (zh) * | 2021-08-16 | 2021-12-07 | 山西科达自控股份有限公司 | 设备位置图像识别系统 |
CN113756815B (zh) * | 2021-08-16 | 2024-05-28 | 山西科达自控股份有限公司 | 设备位置图像识别系统 |
CN115184973A (zh) * | 2022-07-08 | 2022-10-14 | 中国科学院微小卫星创新研究院 | 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法 |
CN115184973B (zh) * | 2022-07-08 | 2024-04-16 | 中国科学院微小卫星创新研究院 | 基于惯性测量与激光测距的星载超远距离目标测速和定位系统及其方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111288891B (zh) | 2021-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111288891B (zh) | 非接触式三维测量定位系统、方法及存储介质 | |
CN111473739B (zh) | 一种基于视频监控的隧道塌方区围岩变形实时监测方法 | |
US9965870B2 (en) | Camera calibration method using a calibration target | |
CN1712891B (zh) | 立体图像的关联方法和三维数据作成装置 | |
US9020240B2 (en) | Method and surveying system for noncontact coordinate measurement on an object surface | |
CN111815716B (zh) | 一种参数标定方法及相关装置 | |
US8036452B2 (en) | Method and measurement system for contactless coordinate measurement on an object surface | |
CN110728715A (zh) | 一种智能巡检机器人像机角度自适应调整方法 | |
CN108646259A (zh) | 一种三维激光扫描仪设站定向装置及方法 | |
CN106123798B (zh) | 一种数字摄影激光扫描装置 | |
Ahmadabadian et al. | An automatic 3D reconstruction system for texture-less objects | |
KR20130138247A (ko) | 신속 3d 모델링 | |
CN113446956B (zh) | 数据采集设备及数据校正方法、装置、电子设备 | |
CN102927908A (zh) | 机器人手眼系统结构光平面参数标定装置及方法 | |
CN110084785B (zh) | 一种基于航拍图像的输电线垂弧测量方法及系统 | |
KR101342393B1 (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
CN112254670B (zh) | 一种基于光扫描和智能视觉融合的3d信息采集设备 | |
CN114743021A (zh) | 一种输电线路图像与点云数据的融合方法及系统 | |
CN112254680A (zh) | 一种多自由度的智能视觉3d信息采集设备 | |
Hosseininaveh et al. | A low-cost and portable system for 3D reconstruction of texture-less objects | |
JP6788915B2 (ja) | 3dレーザスキャナ、3dレーザスキャナシステム、建設作業機械及び建設工事方法 | |
Dias et al. | 3D reconstruction of real world scenes using a low‐cost 3D range scanner | |
CN114037768A (zh) | 一种多套跟踪式扫描仪联合标定的方法和装置 | |
Wu | Photogrammetry: 3-D from imagery | |
CN112254669B (zh) | 一种多偏置角度的智能视觉3d信息采集设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |