CN111220076A - 一种跟踪定位和标志点定位混合的定位方法和装置 - Google Patents

一种跟踪定位和标志点定位混合的定位方法和装置 Download PDF

Info

Publication number
CN111220076A
CN111220076A CN202010028772.1A CN202010028772A CN111220076A CN 111220076 A CN111220076 A CN 111220076A CN 202010028772 A CN202010028772 A CN 202010028772A CN 111220076 A CN111220076 A CN 111220076A
Authority
CN
China
Prior art keywords
coordinate system
mode
track
current frame
scanning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010028772.1A
Other languages
English (en)
Inventor
郑顺义
刘庆龙
王晓南
成剑华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Zhongguan Automation Technology Co ltd
Original Assignee
Wuhan Zhongguan Automation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Zhongguan Automation Technology Co ltd filed Critical Wuhan Zhongguan Automation Technology Co ltd
Priority to CN202010028772.1A priority Critical patent/CN111220076A/zh
Publication of CN111220076A publication Critical patent/CN111220076A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明实施例提供的一种跟踪定位和标志点定位混合的定位方法和装置，设置两种扫描模式：Tracker模式和Handy模式混合使用。开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。

Description

一种跟踪定位和标志点定位混合的定位方法和装置
技术领域
本发明实施例涉及定位技术领域，尤其涉及一种跟踪定位和标志点定位混合的定位方法和装置。
背景技术
HyperScan是由Track智能光学追踪仪和3D球形扫描仪(简称“球扫”)如图1所示。Track智能光学追踪仪由两个镜头和固定三脚架组成，是固定在测量场景中的。球扫在扫描的过程中需要保证在Track智能光学追踪仪的视野之内，Track智能光学追踪仪的双镜头拍摄的影像中需要提取和识别球扫上的反光标志点(4个以上)，然后利用前方交会等算法计算反光标志点三维坐标，从而配合球扫出厂标定结果来进行坐标转换，计算球扫中各影像帧的位置和姿态。然后，将球扫中通过当前帧获取的球扫坐标系下的三维点云坐标转换到Tracker坐标系下，完成三维点云的拼接。
但是，如果扫描的物体太大，物体完全遮挡球扫(如图2所示)，使得Track无法追踪球扫上的反光标志点，导致三维点云拼接失败。其中，图2为Track智能光学追踪仪工作时球扫被完全遮挡示意图。
发明内容
本发明实施例提供一种跟踪定位和标志点定位混合的定位方法和装置，用以解决现有技术中扫描的物体太大，物体完全遮挡球扫，使得Track无法追踪球扫上的反光标志点，导致三维点云拼接失败的问题。
第一方面，本发明实施例提供一种跟踪定位和标志点定位混合的定位方法，包括：
球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
作为优选的，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式，具体包括：
S101，若判断获知开始扫描时采用Tracker模式，则在开始进入遮挡区域的时候切换至Handy模式，出遮挡区域后再切换Tracker模式；
S102，若判断获知开始扫描时采用Handy模式，则在开始进入未遮挡区域的时候切换至Tracker模式，等再次进入遮挡区域后再切换回Handy模式。
作为优选的，还包括：
若判断获知进入过渡区域，在过渡区域内球扫在Track的视野内，且球扫扫描的区域内贴有标志点，则在过渡区域取标志点坐标系m1和Track坐标系t1的转换关系。
作为优选的，则在过渡区域获取标志点坐标系m1和Track坐标系t1的转换关系，具体包括：
标志点坐标系m1到Track坐标系转换t1，在某一时刻当前帧在球扫坐标系下激光线三维数据坐标Pc，则存在以下转换关系：
Figure BDA0002363474270000021
Figure BDA0002363474270000022
令：
Figure BDA0002363474270000023
Figure BDA0002363474270000024
其中，激光线三维坐标点由标志点坐标系m1转换到Track坐标系t1的旋转矩阵为Rm1_t1，平移向量为Tm1_t1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1；
Track坐标系t1到标志点坐标系m1转换，在某一时刻当前帧在球扫坐标系下数据计算的激光线三维数据坐标Pc，则存在以下转换关系：
Figure BDA0002363474270000031
令：
Figure BDA0002363474270000032
Figure BDA0002363474270000033
其中，激光线三维坐标点由Track坐标系t1转换到标志点坐标系m1的旋转矩阵为Rt1_m1，平移向量为Tt1_m1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧计算的激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1。
作为优选的，S101中，出遮挡区域后再切换Tracker模式，具体包括：
切换至Tracker模式后，Track设备重新开始工作，此时的坐标系为Track坐标系t2，进行Track坐标系t2→Track坐标系t1的转换；转换公式如下：
Figure BDA0002363474270000034
令：
Figure BDA0002363474270000035
Figure BDA0002363474270000036
其中，Rt2_t1为Track坐标系t2→Track坐标系t1的旋转矩阵，Tt2_t1为平移向量；根据Rt2_t1、Tt2_t1将激光线在Track坐标系t2的三维坐标转换到Track坐标系t1坐标系下；Pt1、Pt2分别表示当前帧激光线在Track坐标系t1、t2下的坐标，Pm1表示当前帧激光线在标志点坐标系m1下的坐标，Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；Rc_t2和Tc_t2分别表示为当前帧球扫坐标系与Track坐标系t2之间的旋转矩阵和平移向量；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。
作为优选的，S102中，等再次进入遮挡区域后再切换回Handy模式，具体包括：
切换至Handy模式后，Track停止工作，此时的坐标系为标志点坐标系m2，进行标志点坐标系m2→标志点坐标系m1的转换；转换公式如下：
Figure BDA0002363474270000041
令：
Figure BDA0002363474270000042
Figure BDA0002363474270000043
其中，Rm2_m1为标志点坐标系m2→标志点坐标系m1的旋转矩阵，Tm2_m1为平移向量；Pm1、Pm2分别表示当前帧激光线三维点坐标在标志点坐标系m1、m2下的坐标，Pt1表示当前帧激光线三维点坐标在Track坐标系t1下的坐标，Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。Rc_m2和Tc_m2分别表示为当前帧球扫坐标系与标志点坐标系m2之间的旋转矩阵和平移向量。Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量。根据Rm2_m1和Tm2_m1将激光线三维坐标转换到标志点坐标系m1下。
第二方面，本发明实施例提供一种跟踪定位和标志点定位混合的定位装置，包括：
Handy模块，用于按照Handy模式进行球扫扫描；
Tracker模块，用于按照Tracker模式进行球扫扫描；
混合拼接模块，球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述跟踪定位和标志点定位混合的定位方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述跟踪定位和标志点定位混合的定位方法的步骤。
本发明实施例提供的一种跟踪定位和标志点定位混合的定位方法和装置，设置两种扫描模式：Tracker模式和Handy模式混合使用。开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为Track智能光学追踪仪的结构示意图；
图2为Track智能光学追踪仪工作时球扫被完全遮挡示意图；
图3为球形扫描仪示意图；
图4为根据本发明实施例的以开始时Tracker模式为例的定位方法流程框图；
图5为根据本发明实施例的以开始时Handy模式为例的定位方法流程框图；
图6为根据本发明实施例的球扫在扫描时，左右相机采集带有激光线和反光标志点的第一帧影像示意图；
图7为根据本发明实施例的球扫处于未遮挡区域的扫描示意图；
图8为根据本发明实施例的一种电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
HyperScan是由Track智能光学追踪仪(简称“Track”)和3D球形扫描仪(简称“球扫”)。Track跟踪系统由两个镜头和固定三脚架组成，是固定在测量场景中的。球扫在扫描的过程中需要保证在Track跟踪系统的视野之内，Track的双镜头拍摄的影像中需要提取和识别球扫上的反光标志点(4个以上)，然后利用前方交会等算法计算反光标志点三维坐标，从而配合球扫出厂标定结果来进行坐标转换，计算球扫中各影像帧的位置和姿态。然后，将球扫中通过当前帧获取的三维点云坐标转换到Track坐标系下，完成三维点云的拼接。但是，如果扫描的物体太大，物体完全遮挡球扫，使得Track无法追踪球扫上的反光标志点，导致三维点云拼接失败。
因此，本发明实施例提出一种跟踪定位和标志点定位混合的定位方法和装置，设置两种扫描模式：Tracker模式和Handy模式混合使用。开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。以下将通过多个实施例进行展开说明和介绍。
图4为本发明实施例提供一种跟踪定位和标志点定位混合的定位方法，包括：
球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
在本实施例中，通过被遮挡区域粘贴一定的反光标志点，赋值遮挡区域的点云拼接。
在本实施例中，作为一种优选的实施方式，Handy模式点云拼接原理：
1)在物体表面贴有反光标志点，球扫在扫描时，左右相机采集带有激光线和反光标志点的第一帧影像，如图6所示。图6为根据本发明实施例的球扫在扫描时，左右相机采集带有激光线和反光标志点的第一帧影像示意图。
通过识别提取标志点的像点坐标，采用空间前方交会等算法计算标志点的三维点坐标，建立标志点集。
通过提取影像的激光线中心点坐标(激光线在物体的表面)，采用空间前方交会等算法计算激光线的三维坐标，即物体表面的三维点坐标。
标志点的三维坐标和激光线的三维坐标都在“第一帧时左相机的相机坐标系”下，并将该坐标系称为“标志点坐标系m”。
2)球扫在移动扫描时，通过左右相机获取第二帧影像，以同样的方式计算第二帧影像在当前球扫坐标系下的标志点三维坐标和激光线三维坐标。可以理解的是，扫描过程中球扫在移动，每一时刻都有每一时刻的球扫坐标系。
3)球扫在采集影像时，相机的帧率特别高，因此相邻的第一帧和第二帧影像中存在重复的标志点(至少4个点)，将第二帧中的标志点三维坐标和标志点集合中的标志点坐标进行匹配，假设第一帧4个标志点三维坐标用
Figure BDA0002363474270000081
表示(上标表示帧号，下标表示当前帧中标志点的点号)第一帧标志点的三维坐标是在“标志点坐标系m下”，第二帧4个标志点三维坐标用
Figure BDA0002363474270000082
表示。
通过以下公式计算“第二帧球扫坐标系”与“标志点坐标系m”之间的转换关系。
Figure BDA0002363474270000083
其中，
Figure BDA0002363474270000084
表示当前帧球扫坐标系与标志点坐标系m之间的旋转矩阵，
Figure BDA0002363474270000085
表示当前帧球扫坐标系与标志点坐标系m之间的平移向量。
4)通过第3)步中计算得到的旋转矩阵Rc_m和平移向量Tc_m，将第二帧生成的激光线三维坐标转换到“标志点坐标系m”下。完成三维点云的拼接工作，如以下公式所示。
Figure BDA0002363474270000091
其中：
Figure BDA0002363474270000092
表示第二帧的激光线三维坐标在“第二帧球扫坐标系”下的坐标。
Figure BDA0002363474270000093
表示第二帧的激光线三维坐标转换到标志点坐标系m下的坐标。
5)通过第3)步中计算得到的旋转矩阵Rc_m和平移向量Tc_m，将第二帧生成的标志点三维坐标转换到“标志点坐标系m”下。与第一帧中第标志点三维坐标进行拼接，扩充标志点集。
6)第三帧影像获取后，以同样的方式计算标志点三维坐标和激光线三维坐标。重复步骤3)4)5)，以此类推直至所有的三维坐标都转换到“标志点坐标系m”下完成点云拼接。
在本实施例中，作为一种优选的实施方式，Tracker模式下点云拼接原理：
(1)图3为球形扫描仪示意图，对球扫进行出厂标定，获得球扫本体上的反光标志点在“球扫坐标系”下的三维坐标。用
Figure BDA0002363474270000094
(其中s表示在“球扫坐标系”下的坐标，i＝1，2，3，…，156)表示。
(2)球扫开始扫描时，利用扫描仪上的激光器在待测物体表面投射激光线，配合扫描仪上的左右镜头获取当前帧激光线影像，在影像中提取激光线的像点坐标，计算通过空间前方交会等算法，计算激光线位于“当前帧球扫坐标系”下的三维坐标。
(3)在扫描的同时Track上的左右相机会获取球扫本体上反光标志点影像，然后识别并提取反光标志点的像点坐标，通过前方空间交会等算法计算出反光标志点在“Track坐标系t”下的坐标。用
Figure BDA0002363474270000095
(其中t表示在“Track坐标系t”下的坐标，i＝1，2，3，…，156)表示，至少获得4个反光标志点坐标。
Figure BDA0002363474270000101
其中，
Figure BDA0002363474270000102
表示当前帧球扫坐标系与Track坐标系t之间的旋转矩阵，
Figure BDA0002363474270000103
表示当前帧球扫坐标系与Track坐标系t之间的平移向量。
(4)求得Rc_t和Tc_t后，将激光线三维坐标点由“当前帧球扫坐标系”转换到“Track坐标系t”下。
Figure BDA0002363474270000104
其中：
Figure BDA0002363474270000105
表示当前第i帧的激光线三维坐标在“当前帧球扫坐标系”下的坐标。。
Figure BDA0002363474270000106
表示当前帧的激光线三维坐标转换到Track坐标系t下的坐标。
(5)重复步骤(2)(3)(4)，将球扫每一帧影像获取的激光线三维坐标转换到“Track坐标系t”下，进行点云拼接，直至扫描完成。
在本实施例中，作为一种优选的实施方式，以上两种模式各有优缺点，Handy模式需要在待扫描的物体表面贴标志点，完成点云的拼接工作，但不会因为扫描物体体积大，导致遮挡问题；Tracker模式扫描时不需要在待扫描物体表面贴标志点，通过Track追踪完成点云拼接问题，但是会因为扫描物体体积大的原因，扫描物体遮挡球扫，导致Track追踪失败，无法完成拼接工作。因此结合两种扫描模式，可以很好的完成大物体的扫描工作。需要说明的是，采用Handy模式时Track不参与工作，只有球扫工作；采用Tracker模式时Track、球扫一起工作。本发明实施例中，“Track”即是指Track智能光学追踪仪。
在上述实施例的基础上，本实施例中通过设置两种扫描模式，结合Tracker模式和Handy模式混合使用。
S101，若判断获知开始扫描时采用Tracker模式，则在开始进入遮挡区域的时候切换至Handy模式，出遮挡区域后再切换Tracker模式；
S102，若判断获知开始扫描时采用Handy模式，则在开始进入未遮挡区域的时候切换至Tracker模式，等再次进入遮挡区域后再切换回Handy模式。
具体地，第一种扫描模式，开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。第二种扫描模式，开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。
在上述各实施例的基础上，还包括：
若判断获知进入过渡区域，在过渡区域内球扫在Track的视野内，且球扫扫描的区域内贴有标志点，则在过渡区域获取标志点坐标系m1和Track坐标系t1的转换关系。
为了便于区分，本实施例中，球扫扫描过程中第一次采用Tracker模式和第二次采用Tracker模式时，Track坐标系依次用t1、t2…表示。球扫扫描过程中第一次采用Handy模式和第二次采用Handy模式时，标志点坐标系依次用m1、m2…表示。本实施例中，球扫被完全遮挡之前的区域称之为“过渡区域”，在过渡区域内球扫在Track的视野内，并且球扫扫描的区域内贴有标志点，如图7所示。
在上述各实施例的基础上，则在过渡区域获取标志点坐标系m1和Track坐标系t1的转换关系，具体包括标志点坐标系m1到Track坐标系t1转换，以及Track坐标系t1到标志点坐标系m1转换。其中：
开始扫描时如果采用Tracker模式，进入到“过渡区域”后，进行模式切换，切换到“Handy模式”，此时需要求解标志点坐标系m1到Track坐标系t1转换，在某一时刻当前帧在球扫坐标系下数据计算的激光线三维数据坐标Pc，则存在以下转换关系：
Figure BDA0002363474270000121
Figure BDA0002363474270000122
令：
Figure BDA0002363474270000123
Figure BDA0002363474270000124
其中，激光线三维坐标点由标志点坐标系m1转换到Track坐标系t1的旋转矩阵为Rm1_t1，平移向量为Tm1_t1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1。
开始扫描时如果采用Handy模式，进入到“过渡区域”后，进行模式切换，切换到Tracker模式，此时需要求解Track坐标系t1到标志点坐标系m1转换，在某一时刻当前帧在球扫坐标系下数据计算的激光线三维数据坐标Pc，则存在以下转换关系：
Figure BDA0002363474270000125
令：
Figure BDA0002363474270000126
Figure BDA0002363474270000127
其中，激光线三维坐标点由Track坐标系t1转换到标志点坐标系m1的旋转矩阵为Rt1_m1，平移向量为Tt1_m1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧计算的激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1。
在本实施例中，作为一种优选的实施方式，Handy模式和Tracker模式组合使用，具体包括：
球扫被完全遮挡之前的区域称之为“过渡区域”，在过渡区域内球扫在Track的视野内，并且球扫扫描的区域内贴有标志点，如图7所示，图7为根据本发明实施例的球扫处于未遮挡区域的扫描示意图。在过渡区域计算出“标志点坐标系m”和“Track坐标系t”的转换关系。
(1)“标志点坐标系m”到“Track坐标系t”转换，在某一时刻当前帧在球扫坐标系下计算的激光线三维数据坐标Pc，则存在以下转换关系。
Figure BDA0002363474270000131
Figure BDA0002363474270000132
令：
Figure BDA0002363474270000133
Figure BDA0002363474270000134
(2)“Track坐标系t”到“标志点坐标系m”转换，在某一时刻当前帧在球扫坐标系下计算的激光线三维数据坐标Pc，则存在以下转换关系。
Figure BDA0002363474270000135
令：
Figure BDA0002363474270000136
Figure BDA0002363474270000137
其中，各参数定义参照上述实施例。
并且保证在整个扫描过程中“Tracker坐标系”和“标志点坐标系”的相对位置不会发生变动，即Track和粘贴标志点的物体相对位置不会发生变动，如果相对位置改变，需要重新计算“Track坐标系”和“标志点坐标系”的转换关系。
在上述实施例的基础上，S101中，出遮挡区域后再切换Tracker模式，具体包括：
切换至Tracker模式后，Track设备重新开始工作，此时的初始坐标系为Track坐标系t2，进行Track坐标系t2→Track坐标系t1的转换；转换公式如下：
Figure BDA0002363474270000141
令：
Figure BDA0002363474270000142
Figure BDA0002363474270000143
其中，Rt2_t1为Track坐标系t2→Track坐标系t1的旋转矩阵，Tt2_t1为平移向量；根据Rt2_t1、Tt2_t1将激光线在Track坐标系t2的三维坐标转换到Track坐标系t1坐标系下；Pt1、Pt2分别表示当前帧激光线在Track坐标系t1、t2下的坐标，Pm1表示当前帧激光线在标志点坐标系m1下的坐标，Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；Rc_t2和Tc_t2分别表示为当前帧球扫坐标系与Track坐标系t2之间的旋转矩阵和平移向量；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。
本申请的描述中，→表示转换到。
在本实施例中，作为一种优选的实施方式，如图4中所示，图4为根据本发明实施例的以开始时Tracker模式为例的定位方法流程框图，本实施例以开始时“Tracker模式”为例进行说明，图4示出了球扫的第一种扫描模式，开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。具体流程如下：
①开始设置为“Tracker模式”扫描，此时的“Track坐标系”作为初始坐标系/Track坐标系t1；
②进入到“过渡区域”后，进行模式切换，切换到“Handy模式”；
③然后计算三维坐标点由“标志点坐标系m1”转换到“Track坐标系t1”的旋转矩阵为Rm1_t1平移向量为Tm1_t1；
④Track跟踪设备停止工作；
⑤将Handy模式下得到在“标志点坐标系m1”下的激光线三维坐标转换到“Track坐标系t1”下；
⑥退出“完全遮挡区域”后，进入“过渡区域”，再切换回“Tracker模式”，Track跟踪设备重新开始工作；
⑦由于Track设备重新开始工作，此时的“Track坐标系”不是初始的“Track坐标系t1”，命名为Track坐标系t2，然后计算三维坐标点由“Track坐标系t2”转换到“标志点坐标系m1”的过渡旋转矩阵为Rt2_m1和平移向量为Tt2_m1，此时求解Rt2_m1和Tt2_m1的目的是在步骤⑧中使用；
⑧计算Track坐标系t2到Track坐标系t1的转换关系；
转换公式如下：
Figure BDA0002363474270000151
令：
Figure BDA0002363474270000152
Figure BDA0002363474270000153
其中：Rt2_t1为Track坐标系t2→Track坐标系t1的旋转矩阵，Tt2_t1为平移向量；根据Rt2_t1、Tt2_t1将激光线在Track坐标系t2的三维坐标转换到Track坐标系t1坐标系下；Pt1、Pt2分别表示当前帧激光线在Track坐标系t1、t2下的坐标，Pm1表示当前帧激光线在标志点坐标系m1下的坐标，Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；Rc_t2和Tc_t2分别表示为当前帧球扫坐标系与Track坐标系t2之间的旋转矩阵和平移向量；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。
⑨根据Rt2_t1和Tt2_t1将Track坐标系t2下的激光线三维坐标转换到Track坐标系t1下。
在上述各实施例的基础上，S102中，等再次进入遮挡区域后再切换回Handy模式，具体包括：
切换至Handy模式后，Track停止工作，此时的初始坐标系为标志点坐标系m2，进行标志点坐标系m2→标志点坐标系m1的转换；转换公式如下：
Figure BDA0002363474270000161
令：
Figure BDA0002363474270000162
Figure BDA0002363474270000163
其中，Rm2_m1为标志点坐标系m2→标志点坐标系m1的旋转矩阵，Tm2_m1为平移向量；Pm1、Pm2分别表示当前帧激光线三维点坐标在标志点坐标系m1、m2下的坐标，Pt1表示当前帧激光线三维点坐标在Track坐标系t1下的坐标，Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。Rc_m2和Tc_m2分别表示为当前帧球扫坐标系与标志点坐标系m2之间的旋转矩阵和平移向量。Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量。根据Rm2_m1 Tm2_m1将激光线三维坐标转换到“标志点坐标系m1坐标系下。
在本实施例中，作为一种优选的实施方式，如图5中所示，图5为根据本发明实施例的以开始时Handy模式为例的定位方法流程框图，本实施例以开始时“Handy模式”为例进行说明，图5示出了球扫的开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。具体流程如下：
<1>开始，球扫处于“完全遮挡区域”，设置为“Handy模式”扫描开始扫描，此时的“标志点坐标系”作为初始坐标系/标志点坐标系m1；
<2>进入到“过渡区域”后，进行模式切换，切换到“Tracker模式”，Track设备开始工作；
<3>然后计算三维坐标点由“Track坐标系t1”转换到“标志点坐标系m1”的旋转矩阵为Rt1_m1平移向量为Tt1_m1；
<4>将Tracker模式下得到在“Track坐标系t1”下的激光线三维坐标转换到“标志点坐标系m1”下；
<5>再次进入“完全遮挡区域”前，先进入“过渡区域”，再切换回“Handy模式”；
<6>然后计算三维坐标点由“标志点坐标系m2”转换到“Track坐标系t1”的旋转过渡矩阵为Rm2_t1和平移向量为Tm2_t1，此时求解Rm2_t1和Tm2_t1的目的是在步骤<7>中使用；
<7>Track跟踪设备停止工作。由于重新进入“Handy模式”，此时的“标志点坐标系”不是初始的“标志点坐标系m1”，命名此坐标系为“标志点坐标系m2”，因此需要进行m2→m1的转换；可以理解的是，本实施例中，Handy模式的点云拼接采用“标志点坐标系”。其中，以Handy模式开始扫描时点云拼接采用标志点坐标系m1；重新进入Handy模式后点云拼接采用标志点坐标系m2。
转换公式如下：
Figure BDA0002363474270000181
令：
Figure BDA0002363474270000182
Figure BDA0002363474270000183
其中：Rm2_m1为“标志点坐标系m2”→标志点坐标系m1的旋转矩阵，Tm2_m1为平移向量；
<8>根据Rm2_m1和Tm2_m1将激光线三维坐标转换到“标志点坐标系m1”坐标系下。
本发明实施例还提供一种跟踪定位和标志点定位混合的定位装置，基于上述各实施例中的跟踪定位和标志点定位混合的定位方法，包括：
Handy模块，用于按照Handy模式进行球扫扫描；
Tracker模块，用于按照Tracker模式进行球扫扫描；
混合拼接模块，球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
本发明实施例提供了一种电子设备，如图8所示，该服务器可以包括：处理器(processor)810、通信接口(Communications Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各实施例提供的跟踪定位和标志点定位混合的定位方法，例如包括：
若判断获知开始扫描时采用Tracker模式，则在开始进入遮挡区域的时候切换至Handy模式，出遮挡区域后再切换Tracker模式；
若判断获知开始扫描时采用Handy模式，则在开始进入未遮挡区域的时候切换至Tracker模式，等再次进入遮挡区域后再切换回Handy模式。
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的跟踪定位和标志点定位混合的定位方法，例如包括：
若判断获知开始扫描时采用Tracker模式，则在开始进入遮挡区域的时候切换至Handy模式，出遮挡区域后再切换Tracker模式；
若判断获知开始扫描时采用Handy模式，则在开始进入未遮挡区域的时候切换至Tracker模式，等再次进入遮挡区域后再切换回Handy模式。
综上所述，本发明实施例提供的一种跟踪定位和标志点定位混合的定位方法和装置，设置两种扫描模式：Tracker模式和Handy模式混合使用。开始扫描时如果采用Tracker模式，在开始进入遮挡区域的时候切换至Handy模式，出遮挡的区域后再切换Tracker模式。开始扫描时如果采用Handy模式，在开始进入未遮挡的区域的时候切换至Tracker模式，等再次进入遮挡的区域后再切换回Handy模式。通过计算出Tracker模式和Handy模式下点云的转换关系即可解决存在遮挡时点云的拼接问题。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种跟踪定位和标志点定位混合的定位方法，其特征在于，包括：
球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
2.根据权利要求1所述的跟踪定位和标志点定位混合的定位方法，其特征在于，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式，具体包括：
S101，若判断获知开始扫描时采用Tracker模式，则在开始进入遮挡区域的时候切换至Handy模式，出遮挡区域后再切换Tracker模式；
S102，若判断获知开始扫描时采用Handy模式，则在开始进入未遮挡区域的时候切换至Tracker模式，等再次进入遮挡区域后再切换回Handy模式。
3.根据权利要求2所述的跟踪定位和标志点定位混合的定位方法，其特征在于，还包括：
若判断获知进入过渡区域，在过渡区域内球扫在Track的视野内，且球扫扫描的区域内贴有标志点，则在过渡区域获取标志点坐标系m1和Track坐标系t1的转换关系。
4.根据权利要求3所述的跟踪定位和标志点定位混合的定位方法，其特征在于，则在过渡区域获取标志点坐标系m1和Track坐标系t1的转换关系，具体包括：
标志点坐标系m1到Track坐标系转换t1，在某一时刻当前帧在球扫坐标系下激光线三维数据坐标Pc，则存在以下转换关系：
Figure FDA0002363474260000021
Figure FDA0002363474260000022
令：
Figure FDA0002363474260000023
Figure FDA0002363474260000024
其中，激光线三维坐标点由标志点坐标系m1转换到Track坐标系t1的旋转矩阵为Rm1_t1，平移向量为Tm1_t1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1；
Track坐标系t1到标志点坐标系m1转换，在某一时刻当前帧在球扫坐标系下数据计算的激光线三维数据坐标Pc，则存在以下转换关系：
Figure FDA0002363474260000025
令：
Figure FDA0002363474260000026
Figure FDA0002363474260000027
其中，激光线三维坐标点由Track坐标系t1转换到标志点坐标系m1的旋转矩阵为Rt1_m1，平移向量为Tt1_m1；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量；Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；当前帧计算的激光线在球扫坐标系下坐标表示为Pc，在标志点坐标系m1下表示为Pm1，在Track坐标系t1下表示为Pt1。
5.根据权利要求4所述的跟踪定位和标志点定位混合的定位方法，其特征在于，S101中，出遮挡区域后再切换Tracker模式，具体包括：
切换至Tracker模式后，Track设备重新开始工作，此时的初始坐标系为Track坐标系t2，进行Track坐标系t2→Track坐标系t1的转换；转换公式如下：
Figure FDA0002363474260000031
令：
Figure FDA0002363474260000032
Figure FDA0002363474260000033
其中，Rt2_t1为Track坐标系t2→Track坐标系t1的旋转矩阵，Tt2_t1为平移向量；根据Rt2_t1、Tt2_t1将激光线在Track坐标系t2的三维坐标转换到Track坐标系t1坐标系下；Pt1、Pt2分别表示当前帧激光线在Track坐标系t1、t2下的坐标，Pm1表示当前帧激光线在标志点坐标系m1下的坐标，Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量；Rc_t2和Tc_t2分别表示为当前帧球扫坐标系与Track坐标系t2之间的旋转矩阵和平移向量；Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。
6.根据权利要求4所述的跟踪定位和标志点定位混合的定位方法，其特征在于，S102中，等再次进入遮挡区域后再切换回Handy模式，具体包括：
切换至Handy模式后，Track停止工作，此时的坐标系为标志点坐标系m2，进行标志点坐标系m2→标志点坐标系m1的转换；转换公式如下：
Figure FDA0002363474260000041
令：
Figure FDA0002363474260000042
Figure FDA0002363474260000043
其中，Rm2_m1为标志点坐标系m2→标志点坐标系m1的旋转矩阵，Tm2_m1为平移向量；Pm1、Pm2分别表示当前帧激光线三维点坐标在标志点坐标系m1、m2下的坐标，Pt1表示当前帧激光线三维点坐标在Tracker坐标系t1下的坐标，Rc_m1和Tc_m1分别表示为当前帧球扫坐标系与标志点坐标系m1之间的旋转矩阵和平移向量。Rc_m2和Tc_m2分别表示为当前帧球扫坐标系与标志点坐标系m2之间的旋转矩阵和平移向量。Rc_t1和Tc_t1分别表示为当前帧球扫坐标系与Track坐标系t1之间的旋转矩阵和平移向量。
7.一种跟踪定位和标志点定位混合的定位装置，其特征在于，包括：
Handy模块，用于按照Handy模式进行球扫扫描；
Tracker模块，用于按照Tracker模式进行球扫扫描；
混合拼接模块，球扫在扫描时，若判断获知开始进入遮挡区域，则采用至Handy模式，若判断获知进入未遮挡区域，则采用切换Tracker模式。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述跟踪定位和标志点定位混合的定位方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述跟踪定位和标志点定位混合的定位方法的步骤。
CN202010028772.1A 2020-01-11 2020-01-11 一种跟踪定位和标志点定位混合的定位方法和装置 Pending CN111220076A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010028772.1A CN111220076A (zh) 2020-01-11 2020-01-11 一种跟踪定位和标志点定位混合的定位方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010028772.1A CN111220076A (zh) 2020-01-11 2020-01-11 一种跟踪定位和标志点定位混合的定位方法和装置

Publications (1)

Publication Number Publication Date
CN111220076A true CN111220076A (zh) 2020-06-02

Family

ID=70828330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010028772.1A Pending CN111220076A (zh) 2020-01-11 2020-01-11 一种跟踪定位和标志点定位混合的定位方法和装置

Country Status (1)

Country Link
CN (1) CN111220076A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
CN113140042A (zh) * 2021-04-19 2021-07-20 杭州思看科技有限公司 三维扫描拼接方法、装置、电子装置和计算机设备
CN113409406A (zh) * 2021-08-19 2021-09-17 武汉中观自动化科技有限公司 一种大范围单目跟踪扫描设备
WO2024001915A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描数据显示方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN108613626A (zh) * 2018-05-31 2018-10-02 武汉中观自动化科技有限公司 一种球体扫描仪及三维扫描系统
CN108805976A (zh) * 2018-05-31 2018-11-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN109102548A (zh) * 2018-08-23 2018-12-28 武汉中观自动化科技有限公司 一种用于标识跟踪范围的方法及系统
CN209085582U (zh) * 2018-12-24 2019-07-09 苏州瀚华智造智能技术有限公司 一种产品外形检测装置
CN110440692A (zh) * 2019-08-27 2019-11-12 大连理工大学 激光跟踪仪与结构光3d扫描仪组合式测量标定方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107421465A (zh) * 2017-08-18 2017-12-01 大连理工大学 一种基于激光跟踪仪的双目视觉拼接方法
CN109000582A (zh) * 2018-03-15 2018-12-14 杭州思看科技有限公司 跟踪式三维扫描装置的扫描方法及系统、存储介质、设备
CN108613626A (zh) * 2018-05-31 2018-10-02 武汉中观自动化科技有限公司 一种球体扫描仪及三维扫描系统
CN108805976A (zh) * 2018-05-31 2018-11-13 武汉中观自动化科技有限公司 一种三维扫描系统及方法
CN109102548A (zh) * 2018-08-23 2018-12-28 武汉中观自动化科技有限公司 一种用于标识跟踪范围的方法及系统
CN209085582U (zh) * 2018-12-24 2019-07-09 苏州瀚华智造智能技术有限公司 一种产品外形检测装置
CN110440692A (zh) * 2019-08-27 2019-11-12 大连理工大学 激光跟踪仪与结构光3d扫描仪组合式测量标定方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
CN113140042A (zh) * 2021-04-19 2021-07-20 杭州思看科技有限公司 三维扫描拼接方法、装置、电子装置和计算机设备
CN113409406A (zh) * 2021-08-19 2021-09-17 武汉中观自动化科技有限公司 一种大范围单目跟踪扫描设备
WO2024001915A1 (zh) * 2022-06-30 2024-01-04 先临三维科技股份有限公司 扫描数据显示方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN111220076A (zh) 一种跟踪定位和标志点定位混合的定位方法和装置
CN107223269B (zh) 三维场景定位方法和装置
CN108335353B (zh) 动态场景的三维重建方法、装置和系统、服务器、介质
EP3786890A1 (en) Method and apparatus for determining pose of image capture device, and storage medium therefor
CN111023970B (zh) 多模式三维扫描方法及系统
KR102555820B1 (ko) 이미지 프로젝션 방법, 장치, 기기 및 저장 매체
CN103810685B (zh) 一种深度图的超分辨率处理方法
WO2020192706A1 (zh) 物体三维模型重建方法及装置
CN110163903A (zh) 三维图像的获取及图像定位方法、装置、设备和存储介质
KR20220092928A (ko) 포인트 클라우드 라벨링 방법, 장치, 전자 기기, 저장 매체 및 프로그램 제품
CN103745452A (zh) 相机外参评估方法、装置、相机外参标定方法和装置
CN109905600A (zh) 成像方法、成像装置及计算机可读存储介质
CN113366491B (zh) 眼球追踪方法、装置及存储介质
CN110838164B (zh) 基于物体点深度的单目图像三维重建方法、系统及装置
CN110428501B (zh) 全景影像生成方法、装置、电子设备及可读存储介质
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN110428372A (zh) 深度数据与2d激光数据融合方法及装置、存储介质
CN112967344A (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111382618A (zh) 一种人脸图像的光照检测方法、装置、设备和存储介质
CN110348351A (zh) 一种图像语义分割的方法、终端和可读存储介质
CN111105467A (zh) 一种图像标定方法、装置及电子设备
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
CN112164099A (zh) 基于单目结构光的自检自校准方法及装置
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
WO2018173205A1 (ja) 情報処理システム、その制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200602

RJ01 Rejection of invention patent application after publication