CN116468764A - 基于超点空间引导的多视图工业点云高精度配准系统 - Google Patents

基于超点空间引导的多视图工业点云高精度配准系统 Download PDF

Info

Publication number
CN116468764A
CN116468764A CN202310732592.5A CN202310732592A CN116468764A CN 116468764 A CN116468764 A CN 116468764A CN 202310732592 A CN202310732592 A CN 202310732592A CN 116468764 A CN116468764 A CN 116468764A
Authority
CN
China
Prior art keywords
point
super
point cloud
points
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310732592.5A
Other languages
English (en)
Inventor
陈霄宇
王兴国
赵壮
韩静
张毅
郑东亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202310732592.5A priority Critical patent/CN116468764A/zh
Publication of CN116468764A publication Critical patent/CN116468764A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/52—Scale-space analysis, e.g. wavelet analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于超点空间引导的多视图工业点云高精度配准系统，属于高精度点云数据处理技术领域。包括如下步骤：使用投影仪投射一组正弦条纹至目标物体上，触发单目相机捕获对应图像；对得到的图像利用相位算法分析，得到获取目标深度信息的绝对相位；结合得到的绝对相位和单目相机与投影仪的标定信息计算出目标点云。有效提升配准成功率并且提升配准精度，成功解决了现有的点云重建方法无法测量大工件点云的问题。此外，相比于激光跟踪仪等昂贵的扫描设备，本发明的系统以低成本实现高精度的多视图点云配准。这可以为其他3D工业视觉任务提供可靠的数据源并且拓展应用场景。

Description

基于超点空间引导的多视图工业点云高精度配准系统
技术领域
本发明涉及一种基于超点空间引导的多视图工业点云高精度配准系统，属于高精度点云数据处理技术领域。
背景技术
近年来，传统的2D工业视觉已经很难满足智能制造发展的需求，随着人力成本的提高以及工业智能化的发展，三维测量技术以其高效率、高精度、非接触性等优势在智能化制造领域发挥着越来越重要的作用，工业视觉技术迎来了从2D到3D的升维突破，3D工业视觉技术迎来了快速发展，所以高精度的完整点云在工业领域扮演着越来越重要的角色。相比与图像，点云具有更加直观有效的3D表达能力，3D建模、焊缝检测、路径规划以及工件质量检测等相关技术都离不开工件的点云数据。现有的三维测量技术可以方便地测量出小尺寸工件的点云，但大工件的点云受测量视野限制需要多视角测量，因此如何获得不同视角位姿来对齐点云成为关键问题。此外工件结构的高度相似性导致现有点云配准方法的成功率无法满足工业任务需求。很多3D视觉系统搭载在工业机器人末端来获取位姿信息，但是机器人较大的绝对定位误差（大约1mm）很难实现不同视角点云的高精度配准。此外，对机器人等辅助设备的依赖也会限制上述技术的应用场景。所以如何整合3D测量系统的不同测量视角得到高精度的大工件点云成为3D工业视觉领域的重要环节。
非接触式的点云测量技术以其是否投射主动光分为被动测量和主动测量。常见的被动测量方式为双目立体测量，但受被动测量受物体照度以及表面反射率影响大，通过图像亮度难以得到准确的立体匹配结果，导致点云测量精度有限，所以双目立体测量很少应用在3D工业视觉领域。主动光测量以投射的主动光类型划分为线结构光和面结构光。线结构光的测量范围仅局限在激光束区域，测量效率低，很难得到完整的工件轮廓信息。而面结构光则是将一组正弦条纹投射在工件上，然后分析被几何调制的条纹信息获取工件点云。与线结构光相比，面结构光的测量范围可以覆盖整个相机视场，测量效率更高且能得到高分辨率的点云。但是上述点云获取方式都受到硬件测量视场角的限制，只能重建出单视角的点云，无法整合不同视角获得大工件的完整点云。
为了获得大工件的完整点云，需要将不同视角的部分点云通过位姿矩阵转换到统一的坐标系下。在工业视觉邻域，点云拼接技术以是否需要硬件辅助分为辅助拼接和自动拼接两类。辅助拼接使用人工标志点、转盘以及激光跟踪仪等设备来获取不同视角的位姿数据。现有技术通过匹配不同视角下的点云标志点来得到精准的位姿转换矩阵，但是贴标志点损坏了工件的表面细节，无法应用到无损测量场景中；所以有通过将物体放置在转盘上来计算不同拍摄视角的位姿变换，然后实现360°点云测量，但该方法位姿变换方式单一且仅适用于小体积物体的360o轮廓测量；激光跟踪仪是通过分析扫描头的位姿变换来拼接不同视角的点云，具有很高的测量精度和鲁棒性。但是激光跟踪仪对工作环境要求苛刻，设备装配的稳定性、空气粉尘、温度等因素会导致测量精度明显下降，此外激光跟踪仪价格昂贵，这使其很难在工业作业场景中广泛应用。自动拼接不需要硬件辅助，通过分析两个点云的几何位置特征相似度来计算特征点的匹配关系，从而得到不同视角的位姿变换。相比于辅助拼接，自动拼接具有场景适应能力强，应用方便且成本低的特点，具有深远的研究意义。
自动拼接主要包括传统拼接方式以及基于深度学习的拼接。其中ICP是最常见的传统拼接方法，将对应点匹配估计转换为目标函数的优化过程，为源点云的每个点在目标点云中寻找一个最近邻点作为对应点。此后出现了许多ICP的变体，比如Go-ICP牺牲较长时间来寻找全局最优配准。但如果没有可靠的初始位置，他们很容易陷入局部最小值，导致配准失败。此外还有基于局部特征描述子和RANSAC的方法，通过PFH或FPFH等特征描述子寻找对应点的匹配关系，然后通过随机一致性算法得到最后的转换关系。但是上述传统的特征描述子的表征能力有限，限制了算法的精度性能。因此PointNetLK首先将Pointnet融合到端到端的点云配准网络，利用深度学习的特征挖掘能力来迭代计算位姿变换矩阵；此外Ppfnet和3Dmatch使用深度学习挖掘几何特征描述来实现更强大的表征能力，代替PFH或FPFH等传统描述方式实现更好的配准性能；近几年的工作开始关注点云重叠区域对配准性能的提升，技术人员在网络模型中建立了信息交互机制来实现待匹配点云之间的特征交互，使模型更关注于点云的重叠区域从而提升配准性能。然而工业领域大工件几何结构相似度比较高，相似的几何特征容易导致深度学习模型输出错误的对应点匹配关系，影响配准精度。所以需要一种鲁棒地测量出大工件的高精度点云的系统。
发明内容
发明目的：针对上述现有存在的问题和不足，本发明的目的是提供一种基于超点空间引导的多视图工业点云高精度配准系统，采用了物理机制引导模型进行特征挖掘的方式来提升模型的可靠性并减少对数据的依赖性。此外在模型推理过程中，也基于物理先验筛选可靠的匹配点对来确保转换矩阵的准确性。
技术方案：为实现上述发明目的，本发明采用以下技术方案：
一种基于超点空间引导的多视图工业点云高精度配准系统，包括如下步骤：
步骤1：使用投影仪投射一组正弦条纹至目标物体上，触发单目相机捕获对应图像；
步骤2：对步骤1得到的图像利用相位算法分析，得到获取目标深度信息的绝对相位；
步骤3：结合步骤2得到的绝对相位和单目相机与投影仪的标定信息计算出目标点云。
进一步的，所述步骤1中使用机器人、固定工件手持条纹结构光系统或固定系统移动工件进行位姿变化。
进一步的，所述步骤2中相位算法分析具体包括：超点空间引导的配准优化、基于空间兼容性的超点匹配、超点空间引导的多尺度特征挖掘和位姿估计。
进一步的，所述步骤2中相位算法分析具体步骤为：
步骤2.1：超点空间引导的配准优化：通过分析图像点云和全局特征相似度，基于已知的对应超点空间分析局部特征来计算对应点；
步骤2.2：基于空间兼容性的超点匹配：
进一步的，所述步骤2.1的具体步骤为：
步骤2.1.1：通过估计一个姿态变换矩阵来对齐不同视角的点云和/>，其中，/>和/>分别表示/>和/>中点的数量，/>为超点空间半径，/>，/>；
步骤2.1.2：定义表示/>和/>中的对应点，如果/>和/>是对应点，则/>为1，反之则为0；
步骤2.1.3：分析点云和/>全局特征相似度得到对应点/>，然后使用/>获得/>；
步骤2.1.4：假设已知和/>中有/>组对应关键点/>，以这些关键点作为节点，在/>和/>之间划分/>组超点空间；
步骤2.1.5：定义 表示/>中的对应点，/>为超点空间中点的数量，如果第/>组超点空间中的/>和/>是对应点，则/>为1，反之则为0；
步骤2.1.6：优化后点云配准目标函数如下：
。
进一步的，所述步骤2.2具体步骤为：经空间兼容性处理后，筛选掉大部分错误的对应点得到候选关键点对，其公式如下：
候选关键点及其邻域点构成的点集为超点空间，假设候选关键点对有/>组对应关键点对，以这些关键点作为节点，/>作为超点空间半径(与工件尺寸相关)，将/>和/>分别切分为/>组对应的候选超点空间对/>，每个超点空间内点的个数为/>。
进一步的，所述步骤2.3具体步骤为：约束超点特征以及聚合后的全局特征的相似度，所述约束超点特征使用circle loss进行模型约束，全局特征定义集合为/>中距离/>小于/>的点，集合/>为/>中距离/>大于/>的点，全局特征的circleloss计算如下，
其中为/>中点的数量，/>代表特征距离，/>和/>和超参数/>决定权重/>和/>的大小。上式相向计算得/>，则/>，
对于组对应的局部点云，超点特征的circle loss为，
其中为对应的超点对数量，/>为超点空间中点的数量，同理，上式可相向计算得/>，则 />，则模型的损失函数为。
进一步的，所述步骤2.3具体步骤为：位姿矩阵置信度也越高，其中/>计算如下式所示，
，
其中为位姿变换函数，/>为最近邻函数，/>为重叠区的距离阈值，/>为中点的个数，上式相向计算可得/>，则/>。
有益效果：与现有技术相比，本发明具有以下优点：有效提升配准成功率并且提升配准精度，成功解决了现有的点云重建方法无法测量大工件点云的问题。此外，相比于激光跟踪仪等昂贵的扫描设备，本发明的系统以低成本实现高精度的多视图点云配准。这可以为其他3D工业视觉任务提供可靠的数据源并且拓展应用场景。
附图说明
图1是本发明的实施例的单目条纹感知系统示意图；
图2是本发明的实施例的机器人系统示意图；
图3是本发明的实施例的样本钛合金工件；
图4是本发明的实施例的数据集中不同视角点云的重合度示意图；
图5是本发明的实施例的数据处理算法流程图；
图6是本发明的实施例的样本标记点示意图；
图7是本发明的实施例的样本转换关系示意图；
图8是本发明的实施例的样本转换对应关系示意图；
图9是本发明的实施例的配准模型网络架构；
图10是本发明的实施例的超点选择模块示意图；
图11是本发明的实施例的样本实验视角1配准误差示意图；
图12是本发明的实施例的样本实验视角2配准误差示意图；
图13是本发明的实施例的样本实验视角3配准误差示意图；
图14是本发明的实施例的样本点云降采样配准误差示意图，
图中：（a）—本发明的实施例的样本配准误差，（b）—对先验的多视角点云配准对比，
图15是本发明的实施例的召回率对比示意图。
实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，与线结构光相比，条纹结构光可以高效快捷的获得高精度高分辨率的点云，可以为网络模型提供更可靠的几何信息。为了实现设备的方便操作性，我们采用单目条纹结构光系统获取不同视角的点云数据，如图1所示。首先投影仪投射一组正弦条纹到目标物体上，同时触发单目相机捕获对应的图像；然后利用相位展开算法分析被物体外形轮廓调制的条纹图像，得到获取目标深度信息的绝对相位；最后结合绝对相位和相机与投影仪的标定信息计算出目标点云。
为了更准确的描述工件的几何特征，本发明首先将不同视角点云中对应匹配的关键点及其近邻构成的每对点集定义为对应的超点空间，以此为深度学习的特征挖掘提供空间引导先验。基于此融合条纹投影轮廓术（FPP）与深度学习的特征表征能力设计了多视角工业点云高精度配准系统。本发明的系统能够在不用任何辅助设备的前提下对齐不同视角的点云，输出高精度高分辨率的工件完整点云，为工业场景的3D视觉任务提供可靠的源数据。
具体来说，首先使用FPP分别测量工件不同视角的高精度点云来保证系统精度和鲁棒性。为了应对大工件结构相似度高导致的配准问题，基于FPP数据特性提出超点空间优化配准策略，将不同视角的点云划分为若干对应匹配的局部超点空间，以此引导模型挖掘点云更鲁棒的特征表示。此外提出基于超点特征的可靠性融合策略，整合置信度高的超点空间特征来提升点云配准的精度和鲁棒性。总的来说，采用了物理机制引导模型进行特征挖掘的方式来提升模型的可靠性并减少对数据的依赖性。此外在模型推理过程中，也基于物理先验筛选可靠的匹配点对来确保转换矩阵的准确性。
系统配置和数据集
与线结构光相比，条纹结构光可以高效快捷的获得高精度高分辨率的点云，可以为网络模型提供更可靠的几何信息。为了实现设备的方便操作性，采用单目条纹结构光系统获取不同视角的点云数据，如图1所示。首先投影仪投射一组正弦条纹到目标物体上，同时触发单目相机捕获对应的图像；然后利用相位展开算法分析被物体外形轮廓调制的条纹图像，得到获取目标深度信息的绝对相位；最后结合绝对相位和相机与投影仪的标定信息计算出目标点云。
在数据集制作过程中，为了获得高精度高分辨率的大工件点云，采用工业机器人搭载条纹结构光系统进行数据采集，利用机器人获得视角之间的位姿变换，如图2所示。由于机器人存在较大的定位误差（大约1mm），所以以机器人的位姿变换作为初解，然后使用ICP优化迭代出最优解作为数据集的真实值。然而在模型训练完成后，本发明的算法可以脱离机器人，适用于固定工件手持条纹结构光系统或固定系统移动工件两种方便快捷的操作模式。
数据集制作的系统包括两个模块：单目条纹感知系统和机器人系统。单目条纹感知系统包括单目相机和投影仪两部分，中间连接一根触发线。在数据采集过程中，投影仪向目标投射一组条纹结构光，同时触发相机捕获对应图像，由计算机分析被目标轮廓调制的条纹信息得到对应的点云；然后机器人移动位姿采集下一个视角的点云数据，并记录视角位姿变换数据。实验设施包括一个投影仪（DLP4500），一个工业相机（MV-CA023-10UC），一个焦距为12mm的镜头（MVL-HF1224M-10MP），一个电脑以及一个工业机器人（ERER-MA02010-A00-C）。如图3所示，数据集中拍摄的样本为航天领域的钛合金工件，其化学成分如下表1所示。不同视角的样本点云的重合度如图4所示，横坐标为重叠区比例，纵坐标为样本数量，数据集中1872组点云的重合度在0.35-0.75之间，这可以使模型适应于不同视角变化的点云配准。
表1
数据处理
数据处理包括基于超点空间引导的配准优化，基于空间兼容性的超点匹配，超点空间引导的多尺度特征挖掘以及位姿估计四部分。算法流程图如图5所示。
基于超点空间引导的配准优化
虽然深度学习具有强大的特征挖掘能力，但是大工件高度相似的几何结构会导致现有配准方法性能下降，无法满足工业应用需求。点云配准通过估计一个姿态变换矩阵来对齐不同视角的点云/>和/>，其中/>和/>分别表示/>和/>中点的数量，/>。此外定义/>表示/>和/>中的对应点。如果/>和/>是对应点，则/>为1，反之则为0。点云配准问题可以通过最小化下面目标函数表示，
（1）
公式（1）的求解过程可以分成两阶段，首先分析点云和/>全局特征相似度得到对应点/>，然后使用/>获得/>。显然，/>的精度决定了/>的精度，/>的求解能力反映了算法配准的性能。
然而大工件几何相似度比较高，导致全局特征约束得到的会有很多错误对应点。我们认为若已知局部点云切块的对应关系，则会显著降低/>的求解难度，并提升/>的准确度，如图6所示。假设已知/>和/>中有/>组对应关键点。以这些关键点作为节点，/>作为超点空间半径(与工件尺寸相关)，在/>和/>之间划分/>组超点空间/>。定义 />表示/>中的对应点，/>为超点空间中点的数量。如果第/>组超点空间中的/>和/>是对应点，则/>为1，反之则为0。则优化后的目标函数如下所示，
（2）
相比于公式（1），公式（2）则是基于已知的对应超点空间分析局部特征来计算对应点，这使得此目标函数的最小化方向更加明确且不易陷入局部最优。
总的来说，为了解决工业场景中工件相似度高带来的配准性能问题，基于公式（2）提出基于超点空间引导的点云配准系统。首先利用空间兼容性以及多模态数据进行超点匹配（3.2），然后使用深度学习模型推理每组超点空间的（3.3），最后聚合置信度高的/>并使用/>估计姿态变换矩阵（3.4）。如图6所示。
基于空间兼容性的超点匹配
通过条纹结构光系统可以得到不同视角的图像、点云以及像素与3D点的转换关系等多模态数据。为了在和/>中建立对应的超点空间，首先分析对齐的图像和点云获得候选关键点对，然后利用空间兼容性进行关键点筛选，最后基于可靠的关键点对合成对应的超点空间，如图7所示。
图像能够清晰的表征目标物体的纹理信息，点云可以直观的描述几何结构特征。为了保证先验的鲁棒性，利用的多模态特性来融合/>和/>的多维度特征。对于不同视角的图像，采用/>来表征特征点得到/>和/>。然后根据描述子的特征相似度来计算配对的关键点对/>，然后通过转换关系将/>从图像映射到/>空间/>；同理，对不同视角的点云/>和/>，采用/>表征特征点得/>和/>，然后根据特征描述子的特征相似度 /> 来计算配对关键点对/>。过程如图8所示。
然而工件高度相似的几何特征会导致上述候选的对应关键点的匹配误差，所以我们采用空间兼容性[35,36]进行关键点对的筛选。空间兼容性是广泛应用于刚性变换的一种相似性度量手段，可以提升变换的鲁棒性和效率，如图8所示，由于几何一致性，对于给定的两组对应点，其中图上c1-c6表示匹配正确的对应点，c7表示匹配错误的点，对于点d21、d21’、d27和d27‘，如果空间距离差比较小 ，则会得到较高分数，而空间距离差比较大的/>则会筛选掉。所以经空间兼容性处理后可以筛选掉大部分错误的对应点得到候选关键点对，
（4）
其中为空间兼容性函数，/>为最远点采样函数，确保候选关键点对空间分布的均匀性。
定义候选关键点及其邻域点构成的点集为超点空间。假设候选关键点对有/>组对应关键点对，以这些关键点作为节点，/>作为超点空间半径(与工件尺寸相关)，将/>和/>分别切分为/>组对应的候选超点空间对/>，每个超点空间内点的个数为/>。
超点空间引导的多尺度特征挖掘
准确可靠的特征描述是配准不同视角点云的关键。由公式（1）所示，以往的配准模型都是基于点云的全局特征相似度的约束来挖掘每个点的特征，但几何高度相似的工件容易陷入局部最优，使得高度相似但并不重叠的部分误匹配。基于公式（2），利用关键点对的先验将工件点云在空间上有序的拆解为若干个超点空间，并分别在局部超点空间以及全局特征上约束模型训练。通过多尺度约束来使模型表征更加准确可靠的特征描述，减少上述误匹配情况。此外上述超点空间位于点云的重叠区域，可以更合理的约束模型训练。
如图9所示，模型沿用FCGF的ResUNet网络架构，在编码和解码部分使用残差结构和skip连接来增强特征表达能力。对给定的两个不同视角的点云和/>， ResUNet的瓶颈部分的/>和/>分别为/>和/>的编码后的高维特征，可以更好的感知近邻局部区域的几何结构信息。为了提升超点空间约束的可靠性，在瓶颈部分设计了一个超点选择模块，如图10所示。首先分别在/>和/>检索/>中节点的高维特征/>，然后计算每组特征相似度 />，选择其中/>组置信度高的超点空间对/>来引导模型特征约束。
点云特征解码后，本发明设计了特征划分模块将全局特征和/>分组为对应的局部特征。基于超点空间对/>，将点云切分为对应的局部点云，并使用每个超点空间内的局部点云特征来表征超点特征。此外为了表征重叠区内的全局信息，我们分别聚合/>和/>内的所有超点空间点来消除非重叠区域，并定义聚合后的点特征为全局特征。
在训练过程中，为了使模型表征更加可靠的多尺度特征，分别约束超点特征以及聚合后的全局特征的相似度。考虑超点空间聚合后的全局点云和/>，其中/>为聚合后点的个数。首先使用/>位姿对齐/>和/>。为了监督/>和/>中对应点的特征描述，沿用circle loss进行模型约束。在全局特征约束时，定义集合/>为/>中距离/>小于/>的点，集合为/>中距离/>大于/>的点。全局特征的/>计算如下，
其中为/>中点的数量，/>代表特征距离，/>和和超参数/>决定权重/>和/>的大小。上式相向计算得/>，则/>。
类似地，对于组对应的局部点云，超点特征的circle loss为，
其中为对应的超点对数量，/>为超点空间中点的数量。同理，上式可相向计算得/>，则 />。则模型的损失函数为
位姿估计
基于超点空间引导的配准模型，我们可以挖掘出组超点特征。为了得到最优位姿矩阵，我们提出了基于超点特征的可靠性融合策略将位姿估计过程分为两个阶段。我们在第一阶段计算m组超点特征置信度。首先使用RANSAC分析超点特征得到/>个位姿矩阵，然后分别使用这些位姿矩阵对齐/>和/>。我们认为对齐后的点云的重叠点数越多，则位姿矩阵置信度/>也越高，其中/>计算如下式所示，
其中为位姿变换函数，/>为最近邻函数，/>为重叠区的距离阈值，/>为中点的个数。上式相向计算可得/>，则/>。
在第二个阶段，我们将超点特征置信度排序并选取其中组高置信度的特征。基于公式（2），通过RANSAC得到每组超点空间的/>估计出最后的位姿矩阵/>，最后使用对齐不同视角的点云。
实验
大工件的点云精度受系统单视角点云获取精度以及配准精度影响，因此使用标准球以及激光跟踪仪分别验证了系统的点云获取精度以及配准精度，并且展示了不同工件的拼接效果；此外还将本发明的算法分别与经典传统算法以及近期的深度学习算法进行性能比较。由于系统获得的点云具有高分辨率的特性，为保证配准算法效率，统一将点云降采样到点距为3.8mm。
系统精度测试
系统的单视角点云获取精度决定了最后大工件点云的精度。实验中使用条纹结构光系统获得半径为25.486mm的标准球点云，通过单视角点云的测量半径与实际半径计算系统的点云获取精度。如图所示，标准球的单视角点云拟合的球半径为25.475mm，对比实际半径可得系统的单视角点云误差为0.011mm，具有很高的单视角点云测量精度。条纹结构光系统的测量精度受系统拍摄分辨率影响，对精度要求更高的工业场景，可以通过减小拍摄视场来提高精度。
如图11~13所示，其中图11的D1为工件在图示的部位长度，图13的D2也为工件在图示的部位长度，对比测试出的长度并不同，为了测试系统的配准误差，对比配准后的标准球点云半径与单视角标准球点云半径来验证算法的配准误差。将标准球放置在大工件旁边，采集包含标准球的三个视角数据，然后使用本发明的算法配准工件点云得到合成的标准球点云。三个视角配准后的标准球点云半径为25.451mm，单视角标准球的点云半径为25.475mm，可得系统的三个视角的配准误差为0.024mm。
为了测试算法多视角配准的大工件点云的精度，将算法得到的配准点云与激光跟踪仪（REEyee Scan Trak, the accuracy is 0.03mm）扫描的点云进行精度对比。为了保证结果的可靠性，跟踪仪测量精度为5次扫描结果取平均值所得。如图12所示。激光跟踪仪测量的工件点云周长为3296.84mm，系统配准10个视角得到点云周长为3296.68mm，精度相差0.16mm。如图11，13所示，对于尺寸较小的工件，系统与跟踪仪的精度误差在0.07mm之内。激光跟踪仪具有很高的测量精度，但是设备价格昂贵且测量精度受环境影响会明显下降。本实验证明本发明的算法能以更低的硬件成本得到与跟踪仪精度一致的点云，这在工业制造领域具有很高的应用前景。
此外，考虑到点云降采样对算法精度和鲁棒性的影响，我们分别使用将点云降采样到不同分辨率来测试算法的精度和鲁棒性。为了便于统一对比，将模型估计的三组位姿矩阵分别与数据集gt对比。如表2所示，其中RRE为旋转误差，RTE为平移误差，上述均为数据集所有样本的平均误差，评估数据集样本的整体配准表现;此外，将所有样本配准结果中RRE<0. 1 o，RTE<0.03mm的比例作为配准成功的召回率RR，评估高精度配准的样本比例。由表2可知，点云分辨率变大，算法精度和召回率都有明显提升，可以有效提升算法性能，但点云点数过多会减小模型训练的效率。
表2
性能比较
为了进一步验证算法的配准性能，对比了我们算法与常用的经典算法（Go-ICP，SAC-IA，FGR）以及深度学习算法（FCGF，D3Feat，Predator）在数据集上表现。在测试配准性能时，我们将点云降采样到点距为3.8mm。常用的经典算法由于特征描述能力不足，在配准结构相似度高的大工件配准时，很容易陷入局部最优输出错误的位姿。如下表所示，经典算法召回率（RRE<0. 1 o，RTE<0.03mm的样本占比）均小于0.1，表明从超过90%数据样本都存在很大的配准误差；此外RRE和RTE也表明经典算法配准的平均误差很大。
相比于经典算法，基于深度学习的配准算法在精度和鲁棒性上都有很大提升。如下表3所示，深度学习算法的配准召回率都高于0.8，表明超过80%的数据样本的RRE<0. 1o，RTE<0.03mm，算法性能有了很大提升；然而结构相似度比较高的大工件会导致误配准，如图14中（a）所示，部分样本大的配准误差使得RRE和RTE 远高于召回阈值（0. 1 o,0.03mm）。对比来说，我们的算法的召回率达到95%，RRE和RTE低于召回阈值（0. 1 o,0.03mm），表明数据集整体配准精度很高，没有因结构相似性高出现较大的配准误差，如图14中（b）所示。实验表明我们基于超点对先验的多视角点云配准系统提升了结构相似度高的大工件的配准表现，从而提升了数据集的整体召回率。
为了进一步验证数据集点云重叠区对配准性能的影响，我们抽出数据集中重叠区比例小于50%的样本测试算法表现。如表所示，经典算法的配准表现很差，配准召回率均为0，深度学习算法（FCGF，D3Feat，Predator）的配准表现也有所下降。而我们的算法由于超点空间引导使得模型很大程度上避免重叠区的影响，所以配准表现起伏不大。
表3
/>
此外，我们的模型是基于超点对先验进行针对性的特征挖掘，通过空间信息引导模型局部以及全局的特征约束，这有利于模型更快地学习到准确鲁棒的特征描述子。如图15所示，召回率为算法成功的可能性，epoch为训练的次数，在训练过程中，我们的模型可以更快地实现更高的召回率，表明我们模型的训练效率明显高于其他算法，节省训练时间。
为了得到工业场景中完整的大工件点云，融合条纹投影轮廓术（FPP）与深度学习的特征表征设计了基于超点空间引导的多视角工业点云高精度配准系统。我们的系统能够在不用任何辅助设备的前提下对齐不同视角的点云，输出高精度高分辨率的工件完整点云，为工业场景的3D视觉任务提供可靠的源数据。实验结果证明，我们的系统相比于激光跟踪仪能以低成本的硬件获得高精度的大工件点云。标准球验证系统的配准误差为0.024mm；对于周长为3.3m的大工件，我们测量的点云精度与激光跟踪仪测量结果一致。此外我们的系统的配准成功率高于95%，满足工业生产需求。
相比于现有的点云配准算法，本发明的系统可以有效提升配准成功率并且提升配准精度，成功解决了现有的点云重建方法无法测量大工件点云的问题。此外，相比于激光跟踪仪等昂贵的扫描设备，我们的系统以低成本实现高精度的多视图点云配准。这可以为其他3D工业视觉任务提供可靠的数据源并且拓展应用场景。但是点云配准始终存在累计误差的问题。如实验显示，配准视角的增多会导致点云精度的下降。所以在以后研究中，将聚焦于点云配准的累计误差问题。

Claims (7)

1.一种基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：包括如下步骤：
步骤1：使用投影仪投射一组正弦条纹至目标物体上，触发单目相机捕获对应图像；
步骤2：对步骤1得到的图像利用相位算法分析，得到获取目标深度信息的绝对相位；
步骤3：结合步骤2得到的绝对相位和单目相机与投影仪的标定信息计算出目标点云。
2.根据权利要求1所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤1中使用机器人、固定工件手持条纹结构光系统或固定系统移动工件进行位姿变化。
3.根据权利要求2所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤2中相位算法分析具体步骤为：
步骤2.1：超点空间引导的配准优化：通过分析图像点云和全局特征相似度，基于已知的对应超点空间分析局部特征来计算对应点；
步骤2.2：基于空间兼容性的超点匹配：通过空间兼容性对步骤2.1得到的对应点进行关键点对的筛选，去掉错误对应点；
步骤2.3：超点空间引导的多尺度特征挖掘：使用FCGF的ResUNet网络架构，瓶颈部分设设有超点选择模块，消除非重叠区域，定义聚合后的点特征为全局特征；
步骤2.4：位姿估计：计算超点特征置信度，使用位姿矩阵对齐，对齐后的点云的重叠点数越多，则位姿矩阵置信度也越高，通过RANSAC估计出最后的位姿矩阵，对齐不同视角的点云。
4.根据权利要求3所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤2.1的具体步骤为：
步骤2.1.1：通过估计一个姿态变换矩阵来对齐不同视角的点云和/>，其中，/>为点云/>和/>中的任意一点，/>分别为点的索引，/>和/>分别表示/>和/>中点的数量，/>为旋转矩阵，/>，/>为平移矩阵，/>，/>表示三个实数项，/>表示的矩阵；
步骤2.1.2：定义表示/>和/>中的对应点，如果/>和/>是对应点，则为1，反之则为0；
步骤2.1.3：分析点云和/>全局特征相似度得到对应点/>，然后使用/>获得/>；
步骤2.1.4：假设已知和/>中有/>组对应关键点/>，以这些关键点作为节点，在/>和/>之间划分/>组超点空间/>；
步骤2.1.5：定义 表示/>中的对应点，/>为超点空间中点的数量，如果第/>组超点空间中的/>和/>是对应点，则/>为1，反之则为0；
步骤2.1.6：优化后点云配准目标函数如下：
，/>为点云/>和/>的任意一点；/>分别为点云/>和/>中点的索引，/>为超点空间的索引。
5.根据权利要求3所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤2.2具体步骤为：经空间兼容性处理后，筛选掉大部分错误的对应点得到候选关键点对，其公式如下：
，候选关键点及其邻域点构成的点集为超点空间，假设候选关键点对/>有/>组对应关键点对，以这些关键点作为节点，将/>和/>分别切分为/>组对应的候选超点空间对，每个超点空间内点的个数为/>，/>为点云/>和/>的第一组对应超点，其中/>分别表示超点属于/>和/>。
6.根据权利要求3所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤2.3具体步骤为：约束超点特征以及聚合后的全局特征的相似度，所述约束超点特征使用circle loss进行模型约束，局特征定义集合为/>中距离/>小于/>的点，集合/>为/>中距离/>大于/>的点，全局特征的circle loss计算如下，
；
其中代表特征距离，/>和/>和超参数/>决定权重/>和/>的大小，上式相向计算得/>，则/>；
其中为聚合后点的个数，同理，上式可相向计算得/>，则，则模型的损失函数为/>。
7.根据权利要求6所述的基于超点空间引导的多视图工业点云高精度配准系统，其特征在于：所述步骤2.3具体步骤为：位姿矩阵置信度也越高，其中/>计算如下式所示，
，
其中为位姿变换函数，/>为最近邻函数，/>为重叠区的距离阈值，/>为/>中点的个数，上式相向计算可得/>，则/>。
CN202310732592.5A 2023-06-20 2023-06-20 基于超点空间引导的多视图工业点云高精度配准系统 Pending CN116468764A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310732592.5A CN116468764A (zh) 2023-06-20 2023-06-20 基于超点空间引导的多视图工业点云高精度配准系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310732592.5A CN116468764A (zh) 2023-06-20 2023-06-20 基于超点空间引导的多视图工业点云高精度配准系统

Publications (1)

Publication Number Publication Date
CN116468764A true CN116468764A (zh) 2023-07-21

Family

ID=87179299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310732592.5A Pending CN116468764A (zh) 2023-06-20 2023-06-20 基于超点空间引导的多视图工业点云高精度配准系统

Country Status (1)

Country Link
CN (1) CN116468764A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095033A (zh) * 2023-07-25 2023-11-21 重庆邮电大学 一种基于图像与几何信息引导的多模态点云配准方法
CN117475170A (zh) * 2023-12-22 2024-01-30 南京理工大学 基于fpp的由局部到全局结构引导的高精度点云配准方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109575A1 (zh) * 2019-12-02 2021-06-10 广东技术师范大学 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置
CN115861397A (zh) * 2022-11-25 2023-03-28 福州大学 一种基于改进fpfh-icp的点云配准方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021109575A1 (zh) * 2019-12-02 2021-06-10 广东技术师范大学 基于融入全局视觉和局部视觉的机器人视觉引导方法和装置
CN115861397A (zh) * 2022-11-25 2023-03-28 福州大学 一种基于改进fpfh-icp的点云配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XINGGUO WANG等: "High-precision point cloud registration system of multi-view industrial self-similar workpiece based on super-point space guidance", JOURNAL OF INTELLIGENT MANUFACTURING, pages 2 - 14 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117095033A (zh) * 2023-07-25 2023-11-21 重庆邮电大学 一种基于图像与几何信息引导的多模态点云配准方法
CN117095033B (zh) * 2023-07-25 2024-05-24 重庆邮电大学 一种基于图像与几何信息引导的多模态点云配准方法
CN117475170A (zh) * 2023-12-22 2024-01-30 南京理工大学 基于fpp的由局部到全局结构引导的高精度点云配准方法
CN117475170B (zh) * 2023-12-22 2024-03-22 南京理工大学 基于fpp的由局部到全局结构引导的高精度点云配准方法

Similar Documents

Publication Publication Date Title
US11961244B2 (en) High-precision dynamic real-time 360-degree omnidirectional point cloud acquisition method based on fringe projection
Scaramuzza et al. A flexible technique for accurate omnidirectional camera calibration and structure from motion
Zhang et al. A 3D reconstruction method for pipeline inspection based on multi-vision
CN116468764A (zh) 基于超点空间引导的多视图工业点云高精度配准系统
CN109341668B (zh) 基于折射投影模型和光束追踪法的多相机测量方法
Liu et al. Tube measurement based on stereo-vision: a review
CN115797408A (zh) 融合多视角图像和三维点云的目标跟踪方法及装置
Meng et al. Defocused calibration for large field-of-view binocular cameras
CN114638795A (zh) 一种多结构光测量单元在线测量方法及系统
Jiang et al. A ball-shaped target development and pose estimation strategy for a tracking-based scanning system
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP7230722B2 (ja) 画像処理装置及び画像処理方法
Shi et al. Large-scale three-dimensional measurement based on LED marker tracking
Goto et al. 3D environment measurement using binocular stereo and motion stereo by mobile robot with omnidirectional stereo camera
Cociaş et al. Multiple-superquadrics based object surface estimation for grasping in service robotics
CN111882663A (zh) 一种融合语义信息完成视觉slam闭环检测方法
Li et al. A camera on-line recalibration framework using SIFT
CN114581503A (zh) 煤矿井下环境建模方法及系统
Zhao et al. Binocular vision measurement for large-scale weakly textured ship hull plates using feature points encoding method
Kang et al. 3D urban reconstruction from wide area aerial surveillance video
Katai-Urban et al. Reconstructing atmospheric cloud particles from multiple fisheye cameras
Wang et al. High-precision point cloud registration system of multi-view industrial self-similar workpiece based on super-point space guidance
Zhang et al. Camera calibration algorithm for long distance binocular measurement
Xie et al. Real-time reconstruction of unstructured scenes based on binocular vision depth
Orghidan et al. Catadioptric single-shot rangefinder for textured map building in robot navigation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination