CN113643270A - 一种基于点云数据的图像配准方法及装置 - Google Patents

一种基于点云数据的图像配准方法及装置 Download PDF

Info

Publication number
CN113643270A
CN113643270A CN202110973167.6A CN202110973167A CN113643270A CN 113643270 A CN113643270 A CN 113643270A CN 202110973167 A CN202110973167 A CN 202110973167A CN 113643270 A CN113643270 A CN 113643270A
Authority
CN
China
Prior art keywords
rigid transformation
transformation matrix
cloud data
model
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110973167.6A
Other languages
English (en)
Other versions
CN113643270B (zh
Inventor
李建辉
姚毅
杨艺
全煜鸣
金刚
彭斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lingyun Shixun Technology Co ltd
Luster LightTech Co Ltd
Original Assignee
Shenzhen Lingyun Shixun Technology Co ltd
Luster LightTech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lingyun Shixun Technology Co ltd, Luster LightTech Co Ltd filed Critical Shenzhen Lingyun Shixun Technology Co ltd
Priority to CN202110973167.6A priority Critical patent/CN113643270B/zh
Publication of CN113643270A publication Critical patent/CN113643270A/zh
Application granted granted Critical
Publication of CN113643270B publication Critical patent/CN113643270B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请的一种基于点云数据的图像配准方法，包括：将CAD模型网格化为三角面片模型；计算三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型；获取待测工件的点云数据；计算实际点对的局部特征；将实际点对的局部特征与局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵；基于粗配准刚性变换矩阵计算CAD模型与点云数据的精配准刚性变换矩阵；根据精配准刚性变换矩阵对点云数据进行旋转平移变换，使CAD模型与待测工件的点云数据相匹配。通过本申请方法能够准确计算待测工件的局部特征，当局部特征准确度高时，能够提高粗配准的精准度，同时也能为精配准提供准确的初始变换矩阵。本申请还提供一种基于点云数据的图像配准装置。

Description

一种基于点云数据的图像配准方法及装置
技术领域
本申请涉及图像处理技术领域，尤其涉及一种基于点云数据的图像配准方法及装置。
背景技术
工业产品的表面缺陷对产品的美观度、舒适度和使用性能等带来不良影响，所以生产企业对工件的表面缺陷进行检测以便及时发现并加以控制。在表面缺陷检测过程中，通常先将待测工件的CAD标准模型与实时采集的待测工件点云数据进行匹配，即图像配准方法，再检测待测工件是否有缺陷。图像配准方法一般包括粗配准和精配准。其中，粗配准是将不同坐标系下的点云大致统一到一个全局坐标系下进行初始坐标变换，为精配准提供一个良好的初始变换矩阵。在具有良好初始变换矩阵的条件下进行精配准，可提高精配准的精度和速度。
目前常采用采样一致性初始配准算法(Sample Consensus Initial Aligment,SAC-IA)进行粗配准。SAC-IA算法主要分为以下过程：对标准模型和待测工件进行数据采样；基于采样数据分别计算标准点云的特征描述子以及待测工件点云的特征描述子；根据标准点云和待测工件点云的特征描述子，计算初始配准对应点对；根据初始配准对应点对求出粗配准刚性变换矩阵。同时，粗配准是个迭代的过程，所以结束迭代的条件之一是人为设定的迭代次数，如果达到预先设定的迭代次数，那么这个粗配准过程结束。
SAC-IA算法的特征描述子是基于特征点(keypoint)与其邻域点的空间几何关系来编码的。在标准点云或待测工件点云中选取特征点时具有一定的随机性，使得粗配准过程获得的粗配准刚性变换矩阵也具有一定的随机性，导致粗配准结果的精准度较低，进而也增加了精配准的误匹配几率。目前通过增加粗配准过程中的迭代次数，达到提高粗配准结果精准度的目的，但迭代次数增加又造成了匹配耗时长、匹配效率低的问题。
发明内容
本申请提供了一种基于点云数据的图像配准方法及装置，以不增加迭代次数的情况下，提高粗配准的精准度。本申请采用的技术方案如下：
一种基于点云数据的图像配准方法，包括以下步骤：
将CAD模型网格化为三角面片模型，所述CAD模型为待测工件的标准模型；
计算所述三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型，所述模型点对由所述三角面片模型中的任意两个模型点组成；
获取所述待测工件的点云数据，所述点云数据是利用三维扫描设备对待测工件表面进行数据采样而得到；
计算所述点云数据中实际点对的局部特征，其中，所述点云数据中的点由实际点和参考点组成，所述实际点和参考点组成所述实际点对；
将所述实际点对的局部特征与所述局部特征模型中的局部特征进行粗配准，获得粗配准刚性变换矩阵；
基于粗配准刚性变换矩阵，对所述CAD模型与所述点云数据进行精配准，获得精配准刚性变换矩阵；
根据所述精配准刚性变换矩阵对所述点云数据进行旋转、平移变换，使所述CAD模型与所述待测工件的点云数据相匹配。
进一步地，将所述实际点对的局部特征与所述局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵，包括以下步骤：
搜索局部特征与所述模型点对的局部特征相匹配的所述实际点对，局部特征相匹配的所述实际点对和所述模型点对构成匹配点对；
计算所述匹配点对之间的刚性变换矩阵；
对所述刚性变换矩阵进行筛选，得到粗配准刚性变换矩阵。
进一步地，对所述刚性变换矩阵进行筛选，包括：
对所述刚性变换矩阵进行投票；
选取票数大于或等于票数阈值的刚性变换矩阵为粗配准刚性变换矩阵；
剔除票数小于所述票数阈值的刚性变换矩阵。
进一步地，对所述刚性变换矩阵进行筛选，包括：
对所述刚性变换矩阵进行投票；
选取票数大于或等于票数阈值的刚性变换矩阵为候选刚性变换矩阵；
从所述候选刚性变换矩阵中选取出相似刚性变换矩阵；
剔除所述相似刚性变换矩阵中票数最低的刚性变换矩阵，剩余的刚性变换矩阵即为粗配准刚性变换矩阵。
进一步地，从所述候选刚性变换矩阵中选取出相似刚性变换矩阵，包括：
比较任意两个所述候选刚性变换矩阵的平移量和旋转角度差异值是否同时处于预设阈值范围内：
若任意两个候选刚性变换矩阵的平移量和旋转角度差异值同时处于预设阈值范围内，则两个候选刚性变换矩阵互为相似变换矩阵；否则两个候选刚性变换矩阵不互为相似刚性变换矩阵。
进一步地，基于粗配准刚性变换矩阵，计算所述CAD模型与所述点云数据的精配准刚性变换矩阵，包括以下步骤：
通过所述粗配准刚性变换矩阵对所述点云数据进行刚性变换，获得变换后的点云数据；
计算变换后的点云数据中的每个点到所述CAD模型中的每个三角面片之间的距离；
从所述距离中选取出变化后的点云数据中的每个点到所述CAD模型中的每个三角面片之间的最小距离；
将所述最小距离对应的变化后的点云数据中的点与所述三角面片的中点组成对应点；
以所述对应点作为迭代对象进行迭代，计算得到精配准刚性变换矩阵。
又一方面，本申请还提供一种基于点云数据的图像配准装置，包括：
网格化模块，用于将CAD模型网格化为三角面片模型，所述CAD模型为待测工件的标准模型；
第一计算模块，用于计算所述三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型，所述模型点对由所述三角面片模型中的任意两个模型点组成；
获取模块，获取所述待测工件的点云数据，所述点云数据是利用三维扫描设备对待测工件的表面进行数据采样而得到；
第二计算模块，用于计算所述点云数据中实际点对的局部特征，其中，所述点云数据中的点由实际点和参考点组成，所述实际点和参考点组成所述实际点对；
粗配准模块，用于将所述实际点对的局部特征与所述局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵；
精配准模块，用于基于粗配准刚性变换矩阵计算所述CAD模型与所述点云数据的精配准刚性变换矩阵；
变换模块，用于根据所述精配准刚性变换矩阵对所述点云数据进行旋转、平移变换，使所述CAD模型与所述待测工件的点云数据相匹配。
进一步地，所述粗配准模块包括：
搜索单元，用于搜索局部特征与所述模型点对的局部特征相匹配的所述实际点对，局部特征相匹配的所述实际点对和所述模型点对构成匹配点对；
第二计算单元，用于计算所述匹配点对之间的刚性变换矩阵；
筛选单元，用于对所述刚性变换矩阵进行筛选，得到粗配准刚性变换矩阵。
又一方面，本申请还提供一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或者多个处理器实现所述的基于点云数据的图像配准方法。
又一方面，本申请还提供一种计算机可读介质，其上储存有计算机程序，所述程序被处理器执行时实现所述的基于点云数据的图像配准方法。
采用本申请的技术方案的有益效果如下：
本申请将点云数据中的点分为实际点和参考点两部分，并两两组成实际点对，该实际点对的数量丰富且覆盖全面，以该实际点对为基础能够准确计算待测工件的局部特征。当实际点对的局部特征准确度高时，利用实际点对的局部特征继续进行粗配准，能够提高粗配准结果的精准度，同时也能为精配准提供准确的初始变换矩阵。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为为本申请实施例所提供的基于点云数据的图像配准方法的流程图。
具体实施方式
下面将详细地对实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下实施例中描述的实施方式并不代表与本申请相一致的所有实施方式。仅是与权利要求书中所详述的、本申请的一些方面相一致的系统和方法的示例。
参见图1，为本申请实施例所提供的基于点云数据的图像配准方法的流程图。
实施例一
在表面缺陷检测过程中，通常先采用图像配准方法将待测工件的CAD标准模型与实时采集的待测工件点云数据进行匹配，再检测待测工件是否有缺陷。本申请提供的一种基于点云数据的图像配准方法，能够提供良好的初始变换矩阵,提高传统算法点云的配准精度和收敛速度。
本申请的一种基于点云数据的图像配准方法，具体包括以下步骤：
S1.将CAD模型网格化为三角面片模型，CAD模型为待测工件的标准模型。对CAD模型进行网格化时包括但不限于delaunay三角网格化方法。
S2.计算三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型。三角面片模型中的点为模型点，模型点对是由三角面片模型中的任意两个模型点组成的。
局部特征包括但不限于曲率及其位置、点对及其方向信息、几何特征等。以点对特征为例，将网格化后的三角面片模型中所有模型点两两组成模型点对。获取模型点对的特，包括：模型点对的两模型点之间的距离为d，模型点对中两模型点的方向分别为α1、α2，方向为α1的模型点到方向为α2的模型点的方向为α12，方向为α1的模型点的曲率为θ1，方向为α2的模型点的曲率θ2等，将以上也正组成一个多维特征为F(d，α1，α2，α12，θ1，θ2，…)；将多维特征F与其对应的模型点对保存建模，即得到利用模型点对所建立的局部特征模型。
图像配准中，不仅要获取标准模型的局部特征，还需要获取待测工件的点云数据，利用待测工件的点云数据提取待测工件的局部特征。
S3.获取待测工件的点云数据，点云数据是利用三维扫描设备对待测工件表面进行数据采样而得到。
S4.计算点云数据中实际点对的局部特征。
在本实施例中，将点云数据中的点分为两部分：参考点和实际点。从点云数据的点中选取具有以下特点的点作为参考点：曲率较大、空间均匀分布或/和可作为几何体的关键点。点云数据中的点除参考点之外，剩余的点即为实际点。将实际点和参考点两两随机组成实际点对。可见本申请在计算待测工件的局部特征时，将待测工件的点云数据中的点全部用于计算局部特征，避免了随机选取特征点所造成的局部特征计算不准确的问题。
以上步骤中,也可先执行S3-S4，后执行S1-S2。
进一步地，以获取标准模型和待测工件的数据为基础，进行图像配准。图像配准是将两幅尺寸相当的图像映射到同一个坐标系中，使它们的局部特征对应。其中一幅图像的坐标不变，另一幅图像要经过平移、旋转操作，直至两幅图像配准为止。本实施例采用的图像配准方法包括粗配准和精配准。
S5.将实际点对的局部特征与局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵。
在本实施例中，将实际点对的局部特征与局部特征模型中的局部特征进行匹配，具体包括：
搜索局部特征与模型点对的局部特征相匹配的实际点对，局部特征相匹配的实际点对和模型点对构成匹配点对；
计算匹配点对之间的刚性变换矩阵；
对刚性变换矩阵进行筛选，获得粗配准刚性变换矩阵。对刚性变换矩阵进行筛选时有两种筛选方式。
第一种筛选方式是：对刚性变换矩阵进行投票；选取票数大于或等于票数阈值的刚性变换矩阵为粗配准刚性变换矩阵；剔除票数小于票数阈值的刚性变换矩阵。
第二种筛选方式是：对刚性变换矩阵进行投票；选取票数大于或等于票数阈值的刚性变换矩阵为候选刚性变换矩阵；从候选刚性变换矩阵中选取出相似刚性变换矩阵；剔除相似刚性变换矩阵中票数最低的刚性变换矩阵，剩余的刚性变换矩阵即为粗配准刚性变换矩阵。
第二种筛选方式较第一种筛选方式多了从候选刚性变换矩阵中选取相似刚性变换矩阵的过程。从候选刚性变换矩阵中选取出相似刚性变换矩阵，包括：比较任意两个候选刚性变换矩阵的平移量和旋转角度差异值是否同时处于预设阈值范围内：若任意两个候选刚性变换矩阵的平移量和旋转角度差异值同时处于预设阈值范围内，则两个候选刚性变换矩阵互为相似变换矩阵；否则两个候选刚性变换矩阵不互为相似刚性变换矩阵。第二种筛选方式中，除了剔除票数低于票数阈值的刚性变化矩阵之外，还增加了一个剔除条件-平移量和旋转角度差异值。通过该剔除条件可以找出候选刚性变换矩阵中的相似变换矩阵，并将相似变换矩阵中的投票数最低的变换矩阵剔除。通过第二种筛选方式对刚性变换矩阵进行筛选，最终获得的粗配准刚性变化矩阵有效度高、可用性强。
在两点云相差较大的情况下，精配准算法容易陷入局部最优解，从而无法得到较好的匹配结果，故需要先给定一个初始变换矩阵，可见精配准对初始变换矩阵依赖极大，将通过以上步骤获取的粗配准刚性变换矩阵作为精配准的初始变换矩阵，可以极大提高精配准的精度和速度。具体为：
S6.基于粗配准刚性变换矩阵，计算CAD模型与点云数据的精配准刚性变换矩阵，具体包括以下步骤：
通过粗配准刚性变换矩阵对点云数据进行刚性变换，获得变换后的点云数据；
计算变换后的点云数据中的每个点到CAD模型中的每个三角面片之间的距离；当然，还可以计算变换后的点云数据中的点到CAD模型中模型点之间的距离、或者变换后的点云数据中的点到CAD模型中模型点之间的欧式距离。但由于点到面距离比点到点距离的收敛速度快，因此优选变换后的点云数据中的点到CAD模型的三角面片之间的距离；
从距离中选取出变化后的点云数据中的每个点到CAD模型中的每个三角面片之间的最小距离；
将最小距离对应的变化后的点云数据中的点与三角面片的中点组成对应点；通过三角面片中三个顶点可以求出三角面片的中点。
以对应点作为迭代对象进行迭代，计算得到精配准刚性变换矩阵，计算方法可采用SVD、最小二乘法或者四元数法求取精配准刚性变换矩阵；也可根据最小距离对变换后的点云数据中的点进行加权，权重函数可以为Huber、tukey、cauchy等，通过加权可以减少噪声点干扰。
迭代过程具体包括：
输入对应点，采用SVD、最小二乘法或者四元数法求取精配准刚性变换矩阵；
判断是否满足停止迭代条件：
若满足至少一个停止迭代条件，则停止迭代计算，输出精配准刚性变换矩阵，否则继续进行该迭代过程；
停止迭代条件为最小距离平方差小于平方差阈值、迭代次数大于迭代次数阈值、或两次刚体变换矩阵之间的平移量和旋转角度差异值同时处于预设阈值范围。
S7.根据精配准刚性变换矩阵对点云数据进行旋转、平移变换，使CAD模型与待测工件的点云数据相匹配。
本申请将点云数据中的点分为实际点和参考点两部分，并两两组成实际点对，该实际点对的数量丰富且覆盖全面，以该实际点对为基础能够准确计算待测工件的局部特征。当实际点对的局部特征准确度高时，利用实际点对的局部特征继续进行粗配准，能够提高粗配准结果的精准度，以粗配准获得的粗配准刚性变化矩阵作为精配准的初始变换矩阵，能够降低精匹配的误匹配几率，提高配准精度和收敛速度。
实施例二
本实施例通过一种基于点云数据的图像配准装置，包括：
网格化模块，用于将CAD模型网格化为三角面片模型，CAD模型为待测工件的标准模型；
第一计算模块，用于计算三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型，模型点对由三角面片模型中的任意两个模型点组成；
获取模块，获取待测工件的点云数据，点云数据是利用三维扫描设备对待测工件的表面进行数据采样而得到；
第二计算模块，用于计算点云数据中实际点对的局部特征，其中，点云数据中的点由实际点和参考点组成，实际点和参考点组成实际点对；
粗配准模块，用于将实际点对的局部特征与局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵；
精配准模块，用于基于粗配准刚性变换矩阵计算CAD模型与点云数据的精配准刚性变换矩阵；
变换模块，用于根据精配准刚性变换矩阵对点云数据进行旋转、平移变换，使CAD模型与待测工件的点云数据相匹配。
进一步地，粗配准模块包括：
搜索单元，用于搜索局部特征与模型点对的局部特征相匹配的实际点对，局部特征相匹配的实际点对和模型点对构成匹配点对；
第二计算单元，用于计算匹配点对之间的刚性变换矩阵；
筛选单元，用于对刚性变换矩阵进行筛选，得到粗配准刚性变换矩阵。
上述基于点云数据的图像配准装置中的各个模块可全部或部分通过硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备的处理器中，以便于处理器调用执行以上各个模块对应的操作。
实施例三
本实施例提供一种计算机设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当一个或多个程序被一个或多个处理器执行，使得一个或者多个处理器实现上述的基于点云数据的图像配准方法。
实施例四
本实施例提供一种计算机可读介质，其上储存有计算机程序，程序被处理器执行时实现上述的基于点云数据的图像配准方法。
本申请提供的实施例之间的相似部分相互参见即可，以上提供的具体实施方式只是本申请总的构思下的几个示例，并不构成本申请保护范围的限定。对于本领域的技术人员而言，在不付出创造性劳动的前提下依据本申请方案所扩展出的任何其他实施方式都属于本申请的保护范围。

Claims (10)

1.一种基于点云数据的图像配准方法，其特征在于，包括以下步骤：
将CAD模型网格化为三角面片模型，所述CAD模型为待测工件的标准模型；
计算所述三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型，所述模型点对由所述三角面片模型中的任意两个模型点组成；
获取所述待测工件的点云数据，所述点云数据是利用三维扫描设备对待测工件表面进行数据采样而得到；
计算所述点云数据中实际点对的局部特征，其中，所述点云数据中的点由实际点和参考点组成，所述实际点和参考点组成所述实际点对；
将所述实际点对的局部特征与所述局部特征模型中的局部特征进行粗配准，获得粗配准刚性变换矩阵；
基于粗配准刚性变换矩阵，对所述CAD模型与所述点云数据进行精配准，获得精配准刚性变换矩阵；
根据所述精配准刚性变换矩阵对所述点云数据进行旋转、平移变换，使所述CAD模型与所述待测工件的点云数据相匹配。
2.根据权利要求1所述的基于点云数据的图像配准方法，其特征在于，将所述实际点对的局部特征与所述局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵，包括以下步骤：
搜索局部特征与所述模型点对的局部特征相匹配的所述实际点对，局部特征相匹配的所述实际点对和所述模型点对构成匹配点对；
计算所述匹配点对之间的刚性变换矩阵；
对所述刚性变换矩阵进行筛选，得到粗配准刚性变换矩阵。
3.根据权利要求2所述的基于点云数据的图像配准方法，其特征在于，对所述刚性变换矩阵进行筛选，包括：
对所述刚性变换矩阵进行投票；
选取票数大于或等于票数阈值的刚性变换矩阵为粗配准刚性变换矩阵；
剔除票数小于所述票数阈值的刚性变换矩阵。
4.根据权利要求2所述的基于点云数据的图像配准方法，其特征在于，对所述刚性变换矩阵进行筛选，包括：
对所述刚性变换矩阵进行投票；
选取票数大于或等于票数阈值的刚性变换矩阵为候选刚性变换矩阵；
从所述候选刚性变换矩阵中选取出相似刚性变换矩阵；
剔除所述相似刚性变换矩阵中票数最低的刚性变换矩阵，剩余的刚性变换矩阵即为粗配准刚性变换矩阵。
5.根据权利要求4所述的基于点云数据的图像配准方法，其特征在于，从所述候选刚性变换矩阵中选取出相似刚性变换矩阵，包括：
比较任意两个所述候选刚性变换矩阵的平移量和旋转角度差异值是否同时处于预设阈值范围内：
若任意两个候选刚性变换矩阵的平移量和旋转角度差异值同时处于预设阈值范围内，则两个候选刚性变换矩阵互为相似变换矩阵；否则两个候选刚性变换矩阵不互为相似刚性变换矩阵。
6.根据权利要求1-5任意一项所述的基于点云数据的图像配准方法，其特征在于，基于粗配准刚性变换矩阵，计算所述CAD模型与所述点云数据的精配准刚性变换矩阵，包括以下步骤：
通过所述粗配准刚性变换矩阵对所述点云数据进行刚性变换，获得变换后的点云数据；
计算变换后的点云数据中的每个点到所述CAD模型中的每个三角面片之间的距离；
从所述距离中选取出变化后的点云数据中的每个点到所述CAD模型中的每个三角面片之间的最小距离；
将所述最小距离对应的变化后的点云数据中的点与所述三角面片的中点组成对应点；
以所述对应点作为迭代对象进行迭代，计算得到精配准刚性变换矩阵。
7.一种基于点云数据的图像配准装置，其特征在于，包括：
网格化模块，用于将CAD模型网格化为三角面片模型，所述CAD模型为待测工件的标准模型；
第一计算模块，用于计算所述三角面片模型中所有模型点对的局部特征及空间位置，建立局部特征模型，所述模型点对由所述三角面片模型中的任意两个模型点组成；
获取模块，获取所述待测工件的点云数据，所述点云数据是利用三维扫描设备对待测工件的表面进行数据采样而得到；
第二计算模块，用于计算所述点云数据中实际点对的局部特征，其中，所述点云数据中的点由实际点和参考点组成，所述实际点和参考点组成所述实际点对；
粗配准模块，用于将所述实际点对的局部特征与所述局部特征模型中的局部特征进行匹配，获得粗配准刚性变换矩阵；
精配准模块，用于基于粗配准刚性变换矩阵计算所述CAD模型与所述点云数据的精配准刚性变换矩阵；
变换模块，用于根据所述精配准刚性变换矩阵对所述点云数据进行旋转、平移变换，使所述CAD模型与所述待测工件的点云数据相匹配。
8.根据权利要求7所述的基于点云数据的图像配准装置，其特征在于，所述粗配准模块包括：
搜索单元，用于搜索局部特征与所述模型点对的局部特征相匹配的所述实际点对，局部特征相匹配的所述实际点对和所述模型点对构成匹配点对；
第二计算单元，用于计算所述匹配点对之间的刚性变换矩阵；
筛选单元，用于对所述刚性变换矩阵进行筛选，得到粗配准刚性变换矩阵。
9.一种计算机设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或者多个处理器实现如权利要求1至6任意一项所述的基于点云数据的图像配准方法。
10.一种计算机可读介质，其上储存有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6任意一项所述的基于点云数据的图像配准方法。
CN202110973167.6A 2021-08-24 2021-08-24 一种基于点云数据的图像配准方法及装置 Active CN113643270B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110973167.6A CN113643270B (zh) 2021-08-24 2021-08-24 一种基于点云数据的图像配准方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110973167.6A CN113643270B (zh) 2021-08-24 2021-08-24 一种基于点云数据的图像配准方法及装置

Publications (2)

Publication Number Publication Date
CN113643270A true CN113643270A (zh) 2021-11-12
CN113643270B CN113643270B (zh) 2024-04-26

Family

ID=78423533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110973167.6A Active CN113643270B (zh) 2021-08-24 2021-08-24 一种基于点云数据的图像配准方法及装置

Country Status (1)

Country Link
CN (1) CN113643270B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114131293A (zh) * 2021-11-25 2022-03-04 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114373004A (zh) * 2022-01-13 2022-04-19 强联智创（北京）科技有限公司 一种基于动态级联网络的无监督三维图像刚性配准方法
CN115408549A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN115526922A (zh) * 2022-11-28 2022-12-27 湖南大学 基于分块标签描述子的航空发动机叶片点云数据配准方法
CN116030022A (zh) * 2023-02-01 2023-04-28 天津风霖物联网科技有限公司 建筑预制构件的质量检测系统及方法
CN117314987A (zh) * 2023-11-29 2023-12-29 法奥意威(苏州)机器人系统有限公司 点云配准方法和装置
CN117876446A (zh) * 2024-03-11 2024-04-12 法奥意威(苏州)机器人系统有限公司 基于圆柱体检测的点云配准方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258309A1 (en) * 2002-12-07 2004-12-23 Patricia Keaton Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
CN102831101A (zh) * 2012-07-30 2012-12-19 河南工业职业技术学院 基于多个标志点自动识别的点云数据拼接方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109919984A (zh) * 2019-04-15 2019-06-21 武汉惟景三维科技有限公司 一种基于局部特征描述子的点云自动配准方法
CN111145232A (zh) * 2019-12-17 2020-05-12 东南大学 一种基于特征信息变化度的三维点云自动配准方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040258309A1 (en) * 2002-12-07 2004-12-23 Patricia Keaton Method and apparatus for apparatus for generating three-dimensional models from uncalibrated views
CN102831101A (zh) * 2012-07-30 2012-12-19 河南工业职业技术学院 基于多个标志点自动识别的点云数据拼接方法
CN103236064A (zh) * 2013-05-06 2013-08-07 东南大学 一种基于法向量的点云自动配准方法
CN109448034A (zh) * 2018-10-24 2019-03-08 华侨大学 一种基于几何基元的零件位姿获取方法
CN109544456A (zh) * 2018-11-26 2019-03-29 湖南科技大学 基于二维图像和三维点云数据融合的全景环境感知方法
CN109919984A (zh) * 2019-04-15 2019-06-21 武汉惟景三维科技有限公司 一种基于局部特征描述子的点云自动配准方法
CN111145232A (zh) * 2019-12-17 2020-05-12 东南大学 一种基于特征信息变化度的三维点云自动配准方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王健宇: "工业分拣过程点云数据处理方法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, pages 23 - 50 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11787051B2 (en) 2021-11-25 2023-10-17 Nanjing University Of Aeronautics And Astronautics Method for automatically processing structure-reinforcing member of aircraft
CN114131293A (zh) * 2021-11-25 2022-03-04 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114131293B (zh) * 2021-11-25 2022-11-01 南京航空航天大学 一种飞机结构加强件自动化加工方法
CN114373004B (zh) * 2022-01-13 2024-04-02 强联智创（北京）科技有限公司 一种动态图像配准方法
CN114373004A (zh) * 2022-01-13 2022-04-19 强联智创（北京）科技有限公司 一种基于动态级联网络的无监督三维图像刚性配准方法
CN115408549A (zh) * 2022-08-31 2022-11-29 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN115408549B (zh) * 2022-08-31 2024-04-12 深圳前海瑞集科技有限公司 工件点云的过滤方法、装置、计算机可读介质及电子设备
CN115526922A (zh) * 2022-11-28 2022-12-27 湖南大学 基于分块标签描述子的航空发动机叶片点云数据配准方法
CN116030022A (zh) * 2023-02-01 2023-04-28 天津风霖物联网科技有限公司 建筑预制构件的质量检测系统及方法
CN117314987A (zh) * 2023-11-29 2023-12-29 法奥意威(苏州)机器人系统有限公司 点云配准方法和装置
CN117314987B (zh) * 2023-11-29 2024-01-26 法奥意威(苏州)机器人系统有限公司 点云配准方法和装置
CN117876446A (zh) * 2024-03-11 2024-04-12 法奥意威(苏州)机器人系统有限公司 基于圆柱体检测的点云配准方法和装置
CN117876446B (zh) * 2024-03-11 2024-05-24 法奥意威(苏州)机器人系统有限公司 基于圆柱体检测的点云配准方法和装置

Also Published As

Publication number Publication date
CN113643270B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN113643270B (zh) 一种基于点云数据的图像配准方法及装置
CN110287873B (zh) 基于深度神经网络的非合作目标位姿测量方法、系统及终端设备
JP5759161B2 (ja) 物体認識装置、物体認識方法、学習装置、学習方法、プログラム、および情報処理システム
US9633281B2 (en) Point cloud matching method
CN107748871A (zh) 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法
Yang et al. Rotational contour signatures for both real-valued and binary feature representations of 3D local shape
JP5800494B2 (ja) 特定領域選択装置、特定領域選択方法及びプログラム
Cheng et al. Building boundary extraction from high resolution imagery and lidar data
Cheng et al. An automatic and robust point cloud registration framework based on view-invariant local feature descriptors and transformation consistency verification
CN112164145A (zh) 基于点云数据快速提取室内三维线段结构的方法
CN112381862A (zh) 一种cad模型与三角网格全自动配准方法和装置
CN116758126A (zh) 一种基于相似三角形的误匹配剔除的快速点云配准方法
Lu et al. Point cloud registration algorithm fusing of super 4pcs and icp based on the key points
CN112070800A (zh) 一种基于三维点云极化地图表征的智能车定位方法及系统
CN117557733B (zh) 基于超分辨率的自然保护区三维重建方法
CN109345571B (zh) 一种基于扩展高斯图像的点云配准方法
CN112232248B (zh) 一种多线LiDAR点云数据平面特征的提取方法及装置
CN114332172A (zh) 一种基于协方差矩阵改进的激光点云配准方法
Paffenholz et al. Geo-referencing point clouds with transformational and positional uncertainties
CN113012271A (zh) 一种基于uv贴图的手指三维模型纹理映射方法
CN116503452A (zh) 一种基于sift特征提取的点云配准方法
Liu et al. An improved local descriptor based object recognition in cluttered 3D point clouds
CN118052840B (zh) 一种实时姿态信息计算方法、装置、设备和存储介质
Avidar et al. Point cloud registration using a viewpoint dictionary
Shunqing et al. Optimization of Harris corner detection algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant