CN110930382A - 基于标定板特征点提取的点云拼接精度评估方法及系统 - Google Patents

基于标定板特征点提取的点云拼接精度评估方法及系统 Download PDF

Info

Publication number
CN110930382A
CN110930382A CN201911135057.1A CN201911135057A CN110930382A CN 110930382 A CN110930382 A CN 110930382A CN 201911135057 A CN201911135057 A CN 201911135057A CN 110930382 A CN110930382 A CN 110930382A
Authority
CN
China
Prior art keywords
point cloud
dot
circle center
splicing
measured
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911135057.1A
Other languages
English (en)
Inventor
欧清扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Bozhilin Robot Co Ltd
Original Assignee
Guangdong Bozhilin Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Bozhilin Robot Co Ltd filed Critical Guangdong Bozhilin Robot Co Ltd
Priority to CN201911135057.1A priority Critical patent/CN110930382A/zh
Publication of CN110930382A publication Critical patent/CN110930382A/zh
Priority to CN202010265582.1A priority patent/CN112825190B/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供一种基于标定板特征点提取的点云拼接精度评估方法,对单图像成像质量和多图拼接精度评估,包括:步骤1,在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值;步骤2,布置测量机器人,使待测区域在测量机器人上的相机的视域内;步骤3,相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。本发明还提供了一种基于标定板特征点坐标提取的点云精度评估系统。本发明提出了适用于建筑实测实量场景的精度评估方法,从三维点云数据的成像质量及拼接算法精度完备的评估了测量精度。

Description

基于标定板特征点提取的点云拼接精度评估方法及系统
技术领域
本发明涉及一种点云拼接精度评估方法及系统,具体涉及一种基于标定板特征点提取的点云拼接精度评估方法及系统。
背景技术
在建筑施工阶段,由于人工作业效率限制,实测实量工人只能对数据进行部分采集,采集方式多凭经验及感觉,虽有操作技术规范,但实际上难以严格按本实施。这样无论建筑数据类型还是数据采集方法,都难以评估及保证实测实量结果的精度。建筑实测实量机器人基于高精度视觉传感系统,对建筑施工阶段的室内数据进行三维重建,通过测量算法处理三维点云数据,从而得到各个待测指标。由于测量机器人采集到的建筑数据近乎全采样,可以通过对建筑点云数据的评测算法量化评估测量结果。
该测量结果的精度取决于点云数据的成像质量和拼接效果。成像质量包括径向和空间距离示值误差,目前多采用扫描仪配合球型标靶的装置评估该示值误差。但建筑测量空间过大,球型标靶的尺寸较小成本较高,且难以配合在墙面、天花板等数据对象上。另一方面,拼接效果的精度评估目前基本由点云处理软件得出,该拼接精度等于两两待拼接点云的最近点平均间距。但由于墙面点云拼接最重要的是平面是否重合,即评估两平面点云的法向量误差,这种以最近点间距均值评估平面的拼接精度意义不大。另外,由于建筑场景的测量对象都是大视野平面,仅拼接重叠的点云数量就很大,最近点并不是匹配点,即使最近点间距近乎零也不能保证匹配精度很高。
发明内容
鉴于此,本发明提供了一种基于标定板特征点提取的点云拼接精度评估方法,所述点云拼接精度评估方法用于对单图像成像质量或多图拼接精度评估,包括以下步骤:
步骤1,在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值;
步骤2,布置测量机器人,使待测区域在所述测量机器人上的相机的视域内;
步骤3,所述相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
作为本发明进一步的改进,所述点云精度评估方法在评估单图像成像质量时,步骤1的方法具体为:取一房间的阴角,在该阴角的每面墙一定区域贴上圆点标定纸,各面墙的圆点标定纸上的各个圆点大小一致且均匀排布,在所有圆点标定纸上选取至少7条待测圆心距。
作为本发明进一步的改进,选取7条待测圆心距,其中:3条待测圆心距分别是平行于三面墙的平行线,3条待测圆心距分别是平行于三面墙的对角线,1条待测圆心距是平行于整个房间的对角线且该圆心距不小于房间对角线长度的1/3。
作为本发明进一步的改进,步骤3的方法具体为:所述相机对每个位置拍摄至少3幅图,每幅图至少有6个圆点的点云数据,每幅图至少有3组空间圆心距数据,同时所述相机对7条待测圆心距进行拍摄得到每条待测圆心距的测量值,从相机拍摄的图中提取出圆点点云并拟合圆心坐标,根据拟合出的圆心坐标计算空间圆心间距,并进行精度评估。
作为本发明进一步的改进,在进行精度评估时,包括特征标靶重复性、空间重复性和空间距离示值误差的计算,其中:
根据式(1)计算特征标靶重复性:
Figure BDA0002279367030000031
其中,
Figure BDA0002279367030000032
上述式中,s(δ)为标靶重复性,δi为标靶中心点位偏差,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,
Figure BDA0002279367030000033
分别为圆点各轴系坐标分量平均值,n为测量次数且至少为6次;
根据式(2)计算空间重复性:
Figure BDA0002279367030000034
其中,
Figure BDA0002279367030000035
上述式中,s(D)为空间重复性,Di为绝对距离测量值,
Figure BDA0002279367030000037
为绝对距离平均值,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次;
根据式(3)计算空间距离示值误差:
ΔLi-j=Li-j-Ls(i-j) (3)
其中,
Figure BDA0002279367030000036
上述式中,ΔLi-j为空间距离示值误差,Li-j为空间距离测得值,Ls(i-j)为空间距离参考值,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值。
作为本发明进一步的改进,取空间距离示值误差的最大值作为校准结果。
作为本发明进一步的改进,所述点云精度评估方法在评估多图拼接精度时,步骤1的方法具体为:在待拼接的两面墙的重合区域贴上圆点标定纸,各墙上圆点标定纸上的各个圆点大小一致且均匀排布,每个圆点中央内嵌一编码标记。
作为本发明进一步的改进,编码标记为AprilTag。
作为本发明进一步的改进,步骤3的方法具体为:测量机器人在位姿1拍摄得到待测墙面的点云1,经过位姿变换,在位姿2拍摄得到待测墙面的点云2,点云1和点云2中有共同的标定圆点,将点云1和点云2拼接后,提取点云1和点云2中的圆心坐标点阵,并进行拼接精度评估。
作为本发明进一步的改进,在进行精度评估时,包括拼接平整度的计算和拼接重合度的计算,其中:
计算拼接平整度时,根据提取出的点云1和点云2的圆心坐标点阵后,通过最小二乘法拟合两平面,两平面的单位法向量叉乘后得到拼接平整度;
根据式(4)计算拼接重合度:
Figure BDA0002279367030000041
其中,
Figure BDA0002279367030000042
上述式中,Dp为拼接重合度,Pi-j为两两匹配圆点中心的空间差距,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次。
本发明还提供了一种基于标定板特征点坐标提取的点云精度评估系统,所述点云拼接精度评估系统用于对单图像成像质量或多图拼接精度评估,包括:
圆点标定模块,其用于在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值;
机器人布置模块,其用于布置测量机器人,使待测区域在所述测量机器人上的相机的视域内;
采集评估模块,其用于通过所述相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
作为本发明进一步的改进,所述点云精度评估方法在评估单图像成像质量时,所述圆点标定模块中:取一房间的阴角,在该阴角的每面墙一定区域贴上圆点标定纸,各面墙的圆点标定纸上的各个圆点大小一致且均匀排布,在所有圆点标定纸上选取至少7条待测圆心距。
作为本发明进一步的改进,选取7条待测圆心距,其中:3条待测圆心距分别是平行于三面墙的平行线,3条待测圆心距分别是平行于三面墙的对角线,1条待测圆心距是平行于整个房间的对角线且该圆心距不小于房间对角线长度的1/3。
作为本发明进一步的改进,所述采集评估模块中:所述相机对每个位置拍摄至少3幅图,每幅图至少有6个圆点的点云数据,每幅图至少有3组空间圆心距数据,同时所述相机对7条待测圆心距进行拍摄得到每条待测圆心距的测量值,从相机拍摄的图中提取出圆点点云并拟合圆心坐标,根据拟合出的圆心坐标计算空间圆心间距,并进行精度评估。
作为本发明进一步的改进,所述采集评估模块在进行精度评估时,包括特征标靶重复性、空间重复性和空间距离示值误差的计算,其中:
根据式(5)计算特征标靶重复性:
Figure BDA0002279367030000051
其中,
Figure BDA0002279367030000052
上述式中,s(δ)为标靶重复性,δi为标靶中心点位偏差,Xi、Yi、Zi分别为圆点各轴系坐标值,
Figure BDA0002279367030000053
分别为圆点i在点云数据中提取拟合的圆心各轴系坐标分量平均值,n为测量次数且至少为6次;
根据式(6)计算空间重复性:
Figure BDA0002279367030000054
其中,
Figure BDA0002279367030000055
上述式中,s(D)为空间重复性,Di为绝对距离测量值,
Figure BDA0002279367030000062
为绝对距离平均值,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次;
根据式(7)计算空间距离示值误差:
ΔLi-j=Li-j-Ls(i-j) (7)
其中,
Figure BDA0002279367030000061
上述式中,ΔLi-j为空间距离示值误差,Li-j为空间距离测得值,Ls(i-j)为空间距离参考值,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值。
作为本发明进一步的改进,取空间距离示值误差的最大值作为校准结果。
作为本发明进一步的改进,所述点云精度评估系统在评估多图拼接精度时,所述圆点标定模块中:在待拼接的两面墙的重合区域贴上圆点标定纸,各墙上圆点标定纸上的各个圆点大小一致且均匀排布,每个圆点中央内嵌一编码标记。
作为本发明进一步的改进,编码标记为AprilTag。
作为本发明进一步的改进,所述采集评估模块中:测量机器人在位姿1拍摄得到待测墙面的点云1,经过位姿变换,在位姿2拍摄得到待测墙面的点云2,点云1和点云2中有共同的标定圆点,将点云1和点云2拼接后,提取点云1和点云2中的圆心坐标点阵,并进行拼接精度评估。
作为本发明进一步的改进,所述采集评估模块在进行精度评估时,包括拼接平整度的计算和拼接重合度的计算,其中:
计算拼接平整度时,根据提取出的点云1和点云2的圆心坐标点阵后,通过最小二乘法拟合两平面,两平面的单位法向量叉乘后得到拼接平整度;
根据式(8)计算拼接重合度:
Figure BDA0002279367030000071
其中,
Figure BDA0002279367030000072
上述式中,Dp为拼接重合度,Pi-j为两两匹配圆点中心的空间差距,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次。
本发明的有益效果:
(1)本发明在房间内某阴角的衔接墙面上贴上圆点标定纸,以圆点标定纸代替了传统的球型标靶,通过点云处理算法提取所需圆的点云,算得圆心坐标从而得到圆心距,实现径向、空间的距离示值误差测量,解决球靶覆盖面积小且难以准确固定在墙面、天花板等数据对象上的问题,大幅降低成像质量精度评估的成本;
(2)本发明通过重叠区域的点云平面拟合分别得到两平面的法向量,以法向量的叉乘结果作为拼接平整度指标,解决了“以最近点间距均值评估平面拼接”的不切合问题;
(3)本发明在重叠区域布满圆点标定纸,通过算法提取标定纸上的圆心坐标作为匹配点,以匹配对间距累积作为拼接重合度指标,解决“最近点并不是匹配点,即使最近点间距近乎零也不能保证匹配精度很高”的问题;
(4)本发明从单图成像质量和多图拼接精度两方面构成精度评估指标:通过提取单图中圆点点云数据,经精度评测算法最终可得到圆心重复性和空间距离示值误差及重复性等3个指标,以评价单图成像质量;通过提取多图中匹配圆点的点云数据,经算法最终可得到拼接平整度和重合度2个指标,以衡量多图点云拼接精度;通过以上指标,更为完备及精确地量化了建筑室内三维重建的精度评估;
(5)本发明所提取的圆点点云、圆心坐标及圆心距等核心数据,经本发明的精度评估后可以得到几个评估指标,该评估指标可作为特征点阈值筛选标定板圆点,经筛选后的圆点可再作为高精度匹配特征,应用于需要点云特征提取的其他场景。
附图说明
通过参照附图详细描述其示例实施例,本公开的上述和其它目标、特征及优点将变得更加显而易见。下面描述的附图仅仅是本公开的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例所述的一种基于标定板特征点提取的点云拼接精度评估方法的流程示意图;
图2是本发明在评估单图像成像质量时,采用的空间立体结构示意图;
图3是本发明在多图拼接精度评估时,采用的墙面对象示意图;
图4是内嵌的编码标记示意图;
图5是图3的点云拼接后的效果示意图;
图6是本发明实施例所述的一种基于标定板特征点提取的点云拼接精度评估系统的系统框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。
虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员以使得本发明所属技术领域的技术人员能够容易实施。正如本发明所属技术领域的技术人员能够容易理解,将在后面描述的实施例在不脱离本发明的概念和范围的基础上可变形为多种形式。在附图中尽量将相同或相似的部分用相同的附图标记表示。
在此使用的专业术语只是用来说明特定实施例而提供的,并不是用来限制本发明。在此使用的单数形式在没有表示明确的相反含义的情况下也包含复数形式。在说明书中使用的“包含”的具体化了特定的特性、领域、常数、步骤、动作、要素及/或成分,并不排除其他特定的特性、领域、常数、步骤、动作、要素、成分及/或组的存在或附加。
将下面使用的技术用语及科学用语包括在内的所有用语具有与本发明所属技术领域的技术人员一般理解的含义相同的含义。在词典中所定义的用语被补充解释为与相关技术文献和当前公开的内容相符的含义,在没有定义的情况下,不能被解释为具有非常正式的含义。
本发明实施例所述的一种基于标定板特征点提取的点云拼接精度评估方法,适用于建筑实测实量场景的测量评估,从三维点云数据的成像质量及拼接算法精度完备的评估了测量精度。从单图成像质量和多图拼接精度两方面构成精度评估指标:包括圆心重复性和空间距离示值误差及重复性等3个单图成像质量指标,和拼接平整度和重合度2个拼接精度指标。
如图1所示,本发明实施例所述的一种基于标定板特征点提取的点云拼接精度评估方法,所述点云拼接精度评估方法用于对单图像成像质量或多图拼接精度评估,包括以下步骤:
步骤1,在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值。
步骤2,布置测量机器人,使待测区域在所述测量机器人上的相机的视域内。
步骤3,所述相机对待测区域进行拍摄,从拍摄到的图片中通过点云处理算法提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
下面将结合附图详细阐述该基于标定板特征点提取的点云拼接精度评估方法如何用于对单图像成像质量或多图拼接精度评估。
实施例1,当所述点云精度评估方法在评估单图像成像质量时,采用如图2所示的空间立体结构,并通过如下步骤实现:
步骤1,取一房间的阴角,在该阴角的每面墙一定区域贴上圆点标定纸,各面墙的圆点标定纸上的各个圆点大小一致且均匀排布,在所有圆点标定纸上选取7条待测圆心距,这7条待测圆心距可以充分地描述一个空间,当然也不仅仅限于7条,可以选取更多条来描述空间。其中,7条待测圆心距中:3条待测圆心距分别平行于三面墙(XOY、YOZ、XOZ)的平行线(如图2中待测圆心距1、2、3所示),3条待测圆心距分别平行于三面墙(XOY、YOZ、XOZ)的对角线(如图2中待测圆心距4、5、6所示),1条待测圆心距是平行于整个房间的对角线且该圆心距不小于房间对角线长度的1/3(如图2中待测圆心距7所示)。
上述步骤通过在房间内某阴角的衔接墙面上贴上圆点标定纸,以圆点标定纸代替了传统的球型标靶,通过点云处理算法提取所需圆的点云,算得圆心坐标从而得到圆心距,实现径向、空间的距离示值误差测量,解决球靶覆盖面积小且难以准确固定在墙面、天花板等数据对象上的问题,大幅降低成像质量精度评估的成本。
步骤2,在空间一侧安置测量机器人,安置位置须满足7条待测圆心距在相机的视域内。
步骤3,相机对每个位置拍摄至少3幅图,每幅图至少有6个圆点的点云数据,每幅图至少有3组空间圆心距数据,同时相机对7条待测圆心距进行拍摄得到每条待测圆心距的测量值,从相机拍摄的图中提取出圆点点云并拟合圆心坐标,根据拟合出的圆心坐标计算空间圆心间距,并进行精度评估。
具体的,在进行精度评估时,包括特征标靶重复性、空间重复性和空间距离示值误差的计算,其中:
根据式(1)计算特征标靶重复性:
Figure BDA0002279367030000111
其中,
Figure BDA0002279367030000112
上述式中,s(δ)为标靶重复性,mm;δi为标靶中心点位偏差,mm;Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值;
Figure BDA0002279367030000113
Figure BDA0002279367030000114
分别为圆点各轴系坐标分量平均值,mm;n为测量次数且至少为6次;
标靶重复性指标越小则重复性越高,即标靶中心点位偏差越小,单图成像质量越高。
根据式(2)计算空间重复性:
Figure BDA0002279367030000115
其中,
Figure BDA0002279367030000116
上述式中,s(D)为空间重复性,mm;Di为绝对距离测量值(即空间圆心距真值的三轴分量),mm;
Figure BDA0002279367030000117
为绝对距离平均值,mm;Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,mm;n为测量次数且至少为6次;
空间重复性指标越小则空间圆心距的重复性越高,单图成像质量越高。
根据式(3)计算空间距离示值误差:
ΔLi-j=Li-j-Ls(i-j) (3)
其中,
Figure BDA0002279367030000118
上述式中,ΔLi-j为空间距离示值误差,mm;Li-j为圆点i和圆点j之间的空间距离测得值,mm;Ls(i-j)为空间距离参考值,mm;i、j分别为对应圆点序号;Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值;Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值。
空间距离示值误差为7条圆心距测得值与真值的差值,该差值越小,单张图像成像质量越高。
进一步的,取空间距离示值误差的最大值作为校准结果,该空间距离示值误差具有更好的代表性。
上述步骤中,通过提取的圆点点云、圆心坐标及圆心距等核心数据,经精度评测算法最终可得到圆心重复性和空间距离示值误差及重复性等3个指标,以评价单图成像质量,通过综合评定以上3个指标,更为完备及精确地量化了建筑室内三维重建的精度评估,另外,该评估指标可作为特征点阈值筛选标定板圆点,经筛选后的圆点可再作为高精度匹配特征,应用于需要点云特征提取的其他场景。
实施例2,当点云精度评估方法在评估多图拼接精度时,采用如图3所示的墙面对象,并通过如下步骤实现:
步骤1,在待拼接的两面墙的重合区域贴上圆点标定纸,各墙上圆点标定纸上的各个圆点大小一致且均匀排布,每个圆点中央内嵌一编码标记。如图4所示,编码标记为AprilTag,内嵌标记可以快速准确地找到匹配圆点。
编码标记不限于AprilTag,其他可以满足独一无二、自动生成、算法可识别等要求的标记都是可以。
步骤2,布置测量机器人,使两面墙及重合区域均在测量机器人上的相机的视域内。
步骤3,测量机器人在位姿1拍摄得到待测墙面的点云1,经过位姿变换,在位姿2拍摄得到待测墙面的点云2,点云1和点云2中有共同的标定圆点,如图5所示,将点云1和点云2经算法拼接后,提取点云1和点云2中的圆心坐标点阵,并进行拼接精度评估。
具体的,在进行精度评估时,包括拼接平整度的计算和拼接重合度的计算,其中:
计算拼接平整度时,根据提取出的点云1和点云2的圆心坐标点阵后,通过最小二乘法拟合两平面,两平面的单位法向量叉乘后得到拼接平整度;
叉乘结果越接近零,拼接平整度越高,多图点云拼接精度越高。
根据式(4)计算拼接重合度:
Figure BDA0002279367030000131
其中,
Figure BDA0002279367030000132
上述式中,Dp为拼接重合度,Pi-j为两两匹配圆点中心的空间差距,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次。
拼接重合度指标越小则空间圆心的重合度越高,多图点云拼接精度越高。
上述步骤通过重叠区域的点云平面拟合分别得到两平面的法向量,以法向量的叉乘结果作为拼接平整度指标,解决了“以最近点间距均值评估平面拼接”的不切合问题。另外,在重叠区域布满圆点标定纸,通过算法提取标定纸上的圆心坐标作为匹配点,以匹配对间距累积作为拼接重合度指标,解决“最近点并不是匹配点,即使最近点间距近乎零也不能保证匹配精度很高”的问题。
进一步的,该方法所提取的圆点点云、圆心坐标及圆心距等核心数据,经本发明的精度评估后可以得到几个评估指标,该评估指标可作为特征点阈值筛选标定板圆点,经筛选后的圆点可再作为高精度匹配特征,应用于需要点云特征提取的其他场景。
本发明实施例所述的一种基于标定板特征点提取的点云精度评估系统,如图6所示,所述点云拼接精度评估系统用于对单图像成像质量或多图拼接精度评估,包括:圆点标定模块、机器人布置模块和采集评估模块。
圆点标定模块用于在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值。机器人布置模块,其用于布置测量机器人,使待测区域在所述测量机器人上的相机的视域内。采集评估模块,其用于通过相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
下面将结合附图详细阐述该基于标定板特征点提取的点云拼接精度评估系统如何用于对单图像成像质量或多图拼接精度评估。
实施例3,当所述点云拼接精度评估系统在评估单图像成像质量时,采用如图2所示的空间立体结构,并通过下述模块来实现。
圆点标定模块,通过取一房间的阴角,在该阴角的每面墙一定区域贴上圆点标定纸,各面墙的圆点标定纸上的各个圆点大小一致且均匀排布,在所有圆点标定纸上选取至少7条待测圆心距。本实施例选取7条待测圆心距,其中:3条待测圆心距分别是平行于三面墙的平行线(如图2中待测圆心距1、2、3所示),3条待测圆心距分别是平行于三面墙的对角线(如图2中待测圆心距4、5、6所示),1条待测圆心距是平行于整个房间的对角线且该圆心距不小于房间对角线长度的1/3(如图2中待测圆心距7所示)。
该圆点标定模块通过在房间内某阴角的衔接墙面上贴上圆点标定纸,以圆点标定纸代替了传统的球型标靶,通过点云处理算法提取所需圆的点云,算得圆心坐标从而得到圆心距,实现径向、空间的距离示值误差测量,解决球靶覆盖面积小且难以准确固定在墙面、天花板等数据对象上的问题,大幅降低成像质量精度评估的成本。
机器人布置模块,通过布置测量机器人,使待测区域在所述测量机器人上的相机的视域内。
采集评估模块,通过相机对每个位置拍摄至少3幅图,每幅图至少有6个圆点的点云数据,每幅图至少有3组空间圆心距数据,同时所述相机对7条待测圆心距进行拍摄得到每条待测圆心距的测量值,从相机拍摄的图中提取出圆点点云并拟合圆心坐标,根据拟合出的圆心坐标计算空间圆心间距,并进行精度评估。
具体的,所述采集评估模块在进行精度评估时,包括特征标靶重复性、空间重复性和空间距离示值误差的计算,其中:
根据式(5)计算特征标靶重复性:
Figure BDA0002279367030000151
其中,
Figure BDA0002279367030000152
上述式中,s(δ)为标靶重复性,δi为标靶中心点位偏差,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,
Figure BDA0002279367030000153
分别为圆点各轴系坐标分量平均值,n为测量次数且至少为6次;
标靶重复性指标越小则重复性越高,即标靶中心点位偏差越小,单图成像质量越高。
根据式(6)计算空间重复性:
Figure BDA0002279367030000154
其中,
Figure BDA0002279367030000155
上述式中,s(D)为空间重复性,Di为绝对距离测量值,
Figure BDA0002279367030000156
为绝对距离平均值,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次;
空间重复性指标越小则空间圆心距的重复性越高,单图成像质量越高。
根据式(7)计算空间距离示值误差:
ΔLi-j=Li-j-Ls(i-j) (7)
其中,
Figure BDA0002279367030000157
上述式中,ΔLi-j为空间距离示值误差,Li-j为圆点i和圆点j之间的空间距离测得值,Ls(i-j)为空间距离参考值,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值。
空间距离示值误差为7条圆心距测得值与真值的差值,该差值越小,单张图像成像质量越高。
进一步的,取空间距离示值误差的最大值作为校准结果。
上述三个模块,通过提取的圆点点云、圆心坐标及圆心距等核心数据,经精度评测算法最终可得到圆心重复性和空间距离示值误差及重复性等3个指标,以评价单图成像质量,通过以上指标,更为完备及精确地量化了建筑室内三维重建的精度评估,另外,该评估指标可作为特征点阈值筛选标定板圆点,经筛选后的圆点可再作为高精度匹配特征,应用于需要点云特征提取的其他场景。
实施例4,当所述点云拼接精度评估系统在评估多图拼接精度时,采用如图3所示的墙面对象,并通过下述模块实现:
圆点标定模块,通过在待拼接的两面墙的重合区域贴上圆点标定纸,各墙上圆点标定纸上的各个圆点大小一致且均匀排布,每个圆点中央内嵌一编码标记。优选的,编码标记为AprilTag。
机器人布置模块,通过布置测量机器人,使待测区域在所述测量机器人上的相机的视域内。
采集评估模块,通过测量机器人在位姿1拍摄得到待测墙面的点云1,经过位姿变换,在位姿2拍摄得到待测墙面的点云2,点云1和点云2中有共同的标定圆点,将点云1和点云2拼接后,提取点云1和点云2中的圆心坐标点阵,并进行拼接精度评估。
具体的,所述采集评估模块在进行精度评估时,包括拼接平整度的计算和拼接重合度的计算,其中:
计算拼接平整度时,根据提取出的点云1和点云2的圆心坐标点阵后,通过最小二乘法拟合两平面,两平面的单位法向量叉乘后得到拼接平整度;
叉乘结果越接近零,拼接平整度越高,多图点云拼接精度越高。
根据式(8)计算拼接重合度:
Figure BDA0002279367030000171
其中,
Figure BDA0002279367030000172
上述式中,Dp为拼接重合度,Pi-j为两两匹配圆点中心的空间差距,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次。
拼接重合度指标越小则空间圆心的重合度越高,多图点云拼接精度越高。
上述三个模块通过重叠区域的点云平面拟合分别得到两平面的法向量,以法向量的叉乘结果作为拼接平整度指标,解决了“以最近点间距均值评估平面拼接”的不切合问题。另外,在重叠区域布满圆点标定纸,通过算法提取标定纸上的圆心坐标作为匹配点,以匹配对间距累积作为拼接重合度指标,解决“最近点并不是匹配点,即使最近点间距近乎零也不能保证匹配精度很高”的问题。
进一步的,该系统所提取的圆点点云、圆心坐标及圆心距等核心数据,经本发明的精度评估后可以得到几个评估指标,该评估指标可作为特征点阈值筛选标定板圆点,经筛选后的圆点可再作为高精度匹配特征,应用于需要点云特征提取的其他场景。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如下面的权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施方式的权利要求书由此明确地并入该具体实施方式,其中每个权利要求本身都作为本发明的单独实施例。
此外,本领域的技术人员能够理解,尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
至此,本领域技术人员应认识到,虽然本文已详尽示出和描述了本发明的多个示例性实施例,但是,在不脱离本发明精神和范围的情况下,仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此,本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。

Claims (11)

1.一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,所述点云拼接精度评估方法用于对单图像成像质量或多图拼接精度评估,包括以下步骤:
步骤1,在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值;
步骤2,布置测量机器人,使待测区域在所述测量机器人上的相机的视域内;
步骤3,所述相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
2.根据权利要求1所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,所述点云精度评估方法在评估单图像成像质量时,步骤1的方法具体为:取一房间的阴角,在该阴角的每面墙一定区域贴上圆点标定纸,各面墙的圆点标定纸上的各个圆点大小一致且均匀排布,在所有圆点标定纸上选取至少7条待测圆心距。
3.根据权利要求2所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,选取7条待测圆心距,其中:3条待测圆心距分别是平行于三面墙的平行线,3条待测圆心距分别是平行于三面墙的对角线,1条待测圆心距是平行于整个房间的对角线且该圆心距不小于房间对角线长度的1/3。
4.根据权利要求3所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,步骤3的方法具体为:所述相机对每个位置拍摄至少3幅图,每幅图至少有6个圆点的点云数据,每幅图至少有3组空间圆心距数据,同时所述相机对7条待测圆心距进行拍摄得到每条待测圆心距的测量值,从相机拍摄的图中提取出圆点点云并拟合圆心坐标,根据拟合出的圆心坐标计算空间圆心间距,并进行精度评估。
5.根据权利要求4所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,在进行精度评估时,包括特征标靶重复性、空间重复性和空间距离示值误差的计算,其中:
根据式(1)计算特征标靶重复性:
Figure FDA0002279367020000021
其中,
Figure FDA0002279367020000022
上述式中,s(δ)为标靶重复性,δi为标靶中心点位偏差,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,
Figure FDA0002279367020000023
分别为圆点各轴系坐标分量平均值,n为测量次数且至少为6次;
根据式(2)计算空间重复性:
Figure FDA0002279367020000024
其中,
Figure FDA0002279367020000025
上述式中,s(D)为空间重复性,Di为绝对距离测量值,
Figure FDA0002279367020000026
为绝对距离平均值,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次;
根据式(3)计算空间距离示值误差:
ΔLi-j=Li-j-Ls(i-j) (3)
其中,
Figure FDA0002279367020000027
上述式中,ΔLi-j为空间距离示值误差,Li-j为空间距离测得值,Ls(i-j)为空间距离参考值,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值。
6.根据权利要求5所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,取空间距离示值误差的最大值作为校准结果。
7.根据权利要求1所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,所述点云精度评估方法在评估多图拼接精度时,步骤1的方法具体为:在待拼接的两面墙的重合区域贴上圆点标定纸,各墙上圆点标定纸上的各个圆点大小一致且均匀排布,每个圆点中央内嵌一编码标记。
8.根据权利要求7所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,编码标记为AprilTag。
9.根据权利要求7所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,步骤3的方法具体为:测量机器人在位姿1拍摄得到待测墙面的点云1,经过位姿变换,在位姿2拍摄得到待测墙面的点云2,点云1和点云2中有共同的标定圆点,将点云1和点云2拼接后,提取点云1和点云2中的圆心坐标点阵,并进行拼接精度评估。
10.根据权利要求9所述的一种基于标定板特征点提取的点云拼接精度评估方法,其特征在于,在进行精度评估时,包括拼接平整度的计算和拼接重合度的计算,其中:
计算拼接平整度时,根据提取出的点云1和点云2的圆心坐标点阵后,通过最小二乘法拟合两平面,两平面的单位法向量叉乘后得到拼接平整度;
根据式(4)计算拼接重合度:
Figure FDA0002279367020000031
其中,
Figure FDA0002279367020000032
上述式中,Dp为拼接重合度,Pi-j为两两匹配圆点中心的空间差距,i、j分别为对应圆点序号,Xi、Yi、Zi分别为圆点i在点云数据中提取拟合的圆心各轴系坐标值,Xj、Yj、Zj分别为圆点j在点云数据中提取拟合的圆心各轴系坐标值,n为测量次数且至少为6次。
11.一种基于标定板特征点提取的点云拼接精度评估系统,其特征在于,所述点云拼接精度评估系统用于对单图像成像质量或多图拼接精度评估,包括:
圆点标定模块,其用于在待测区域布置圆点标定纸,且每张圆点标定纸上的各个圆点的直径及圆心距为定值;
机器人布置模块,其用于布置测量机器人,使待测区域在所述测量机器人上的相机的视域内;
采集评估模块,其用于通过所述相机对待测区域进行拍摄,从拍摄到的图片中提取出圆点点云数据,得到圆点点云的圆心坐标,进一步得到圆心距,并进行精度评估。
CN201911135057.1A 2019-11-19 2019-11-19 基于标定板特征点提取的点云拼接精度评估方法及系统 Pending CN110930382A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911135057.1A CN110930382A (zh) 2019-11-19 2019-11-19 基于标定板特征点提取的点云拼接精度评估方法及系统
CN202010265582.1A CN112825190B (zh) 2019-11-19 2020-04-07 一种精度评估方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911135057.1A CN110930382A (zh) 2019-11-19 2019-11-19 基于标定板特征点提取的点云拼接精度评估方法及系统

Publications (1)

Publication Number Publication Date
CN110930382A true CN110930382A (zh) 2020-03-27

Family

ID=69850306

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911135057.1A Pending CN110930382A (zh) 2019-11-19 2019-11-19 基于标定板特征点提取的点云拼接精度评估方法及系统
CN202010265582.1A Active CN112825190B (zh) 2019-11-19 2020-04-07 一种精度评估方法、系统、电子设备和存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010265582.1A Active CN112825190B (zh) 2019-11-19 2020-04-07 一种精度评估方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (2) CN110930382A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461981A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 点云拼接算法的误差估计方法和装置
CN112782679A (zh) * 2021-02-03 2021-05-11 中国地质环境监测院(自然资源部地质灾害技术指导中心) 激光雷达与空三测量数据融合组合评估模具及其评测方法
CN113344866A (zh) * 2021-05-26 2021-09-03 长江水利委员会水文局长江上游水文水资源勘测局 一种点云综合精度评价方法
CN113470116A (zh) * 2021-06-16 2021-10-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN114022566A (zh) * 2021-11-04 2022-02-08 安徽省爱夫卡电子科技有限公司 一种用于单线激光雷达和相机的联合标定方法
CN115930784A (zh) * 2023-01-09 2023-04-07 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114322899A (zh) * 2021-12-27 2022-04-12 苏州方石科技有限公司 地坪检测方法及储存介质及电子装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2677755B1 (fr) * 1991-06-14 1993-12-10 Peugeot Automobiles Dispositif pour le calage d'un robot par rapport a une ligne de production.
CN1841008A (zh) * 2005-04-01 2006-10-04 鸿富锦精密工业(深圳)有限公司 激光量测机台扫描精度验证方法
EP2453205A1 (de) * 2010-11-11 2012-05-16 Leica Geosystems AG Konstruktionsvermessungsgerät zum Vermessen und Markieren von Raumpunkten entlang von auf einer Oberfläche horizontal verlaufenden Höhenlinien
CN104019765B (zh) * 2014-06-25 2016-10-05 山东理工大学 基于激光束法区域网平差的多站点云整体定向方法
GB2528669B (en) * 2014-07-25 2017-05-24 Toshiba Res Europe Ltd Image Analysis Method
CN105222724B (zh) * 2015-09-10 2018-09-18 北京天远三维科技股份有限公司 多线阵列激光三维扫描系统及多线阵列激光三维扫描方法
CN105551039B (zh) * 2015-12-14 2017-12-08 深圳先进技术研究院 结构光三维扫描系统的标定方法及装置
CN106651752B (zh) * 2016-09-27 2020-01-21 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111461981A (zh) * 2020-03-30 2020-07-28 北京百度网讯科技有限公司 点云拼接算法的误差估计方法和装置
CN111461981B (zh) * 2020-03-30 2023-09-01 北京百度网讯科技有限公司 点云拼接算法的误差估计方法和装置
CN112782679A (zh) * 2021-02-03 2021-05-11 中国地质环境监测院(自然资源部地质灾害技术指导中心) 激光雷达与空三测量数据融合组合评估模具及其评测方法
CN113344866A (zh) * 2021-05-26 2021-09-03 长江水利委员会水文局长江上游水文水资源勘测局 一种点云综合精度评价方法
CN113470116A (zh) * 2021-06-16 2021-10-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN113470116B (zh) * 2021-06-16 2023-09-01 杭州海康威视数字技术股份有限公司 对摄像装置标定数据的验证方法、装置、设备及存储介质
CN114022566A (zh) * 2021-11-04 2022-02-08 安徽省爱夫卡电子科技有限公司 一种用于单线激光雷达和相机的联合标定方法
CN115930784A (zh) * 2023-01-09 2023-04-07 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法
CN115930784B (zh) * 2023-01-09 2023-08-25 广州市易鸿智能装备有限公司 一种视觉检测系统的点检方法

Also Published As

Publication number Publication date
CN112825190A (zh) 2021-05-21
CN112825190B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
CN110930382A (zh) 基于标定板特征点提取的点云拼接精度评估方法及系统
CN108317953A (zh) 一种基于无人机的双目视觉目标表面3d检测方法及系统
CN110689579A (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
CN103759670B (zh) 一种基于数字近景摄影的物体三维信息获取方法
CN102376089B (zh) 一种标靶校正方法及系统
JP4886560B2 (ja) 情報処理装置、情報処理方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
CN110068270A (zh) 一种基于多线结构光图像识别的单目视觉箱体体积测量方法
CN102798350B (zh) 一种臂架挠度的测量方法、装置及系统
CN102155923A (zh) 基于立体靶标的拼接测量方法及系统
CN102800096B (zh) 一种摄像机参数的鲁棒性估计算法
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
CN113592989A (zh) 一种三维场景的重建系统、方法、设备及存储介质
CN109859272A (zh) 一种自动对焦双目摄像头标定方法及装置
CN109801333A (zh) 体积测量方法、装置、系统及计算设备
CN107607091A (zh) 一种测量无人机飞行航迹的方法
CN111524193B (zh) 一种物体二维尺寸的测量方法及测量装置
CN113963067B (zh) 一种采用小靶标对大视场视觉传感器进行标定的标定方法
CN115187612A (zh) 一种基于机器视觉的平面面积测量方法、装置及系统
Knyaz et al. Joint geometric calibration of color and thermal cameras for synchronized multimodal dataset creating
CN103424087A (zh) 一种大尺度钢板三维测量拼接系统及方法
CN111260735B (zh) 一种单次拍摄的lidar与全景相机的外参数标定方法
CN109829951B (zh) 平行等位检测方法、装置与自动驾驶系统
CN116597132A (zh) 一种钢结构节点静动态位移非接触式测量方法及系统
CN115717865A (zh) 环形结构全场变形测量方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200327

WD01 Invention patent application deemed withdrawn after publication