CN111223132A - 一种物体配准方法及系统 - Google Patents

一种物体配准方法及系统 Download PDF

Info

Publication number
CN111223132A
CN111223132A CN201911354832.2A CN201911354832A CN111223132A CN 111223132 A CN111223132 A CN 111223132A CN 201911354832 A CN201911354832 A CN 201911354832A CN 111223132 A CN111223132 A CN 111223132A
Authority
CN
China
Prior art keywords
point cloud
cloud image
image
source
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911354832.2A
Other languages
English (en)
Inventor
吕岳
吕淑静
屠晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Normal University
Original Assignee
East China Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Normal University filed Critical East China Normal University
Priority to CN201911354832.2A priority Critical patent/CN111223132A/zh
Publication of CN111223132A publication Critical patent/CN111223132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物体配准方法及系统，其所述方法包括以下步骤：接收源点云图像和目标点云图像；计算所述源点云图像和目标点云图像的点云特征；对所述源点云图像和目标点云图像进行粗配准处理和精配准处理，获得目标点云图像中源点云图像的精确位置和姿态信息。利用本发明公开的方法及系统，可以有效的实现对目标物体的检测和定位，有较强的实用性。

Description

一种物体配准方法及系统
技术领域
本发明涉及智能制造领域，更具体地说，涉及一种物体配准方法及系统在基于机器视觉领域中的应用。
背景技术
随着科技的进步和社会的发展，对工业生产的要求逐渐提高，传统制造业不能适应社会发展的需要，制造业需要向智能制造进行转型和升级。在这场向智能制造转型的浪潮中，基于机器视觉的机械臂抓取技术有了广泛的应用需求。
机器视觉即是智能制造中，用机器来代替人眼，即利用图像采集设备采集信息，再使用计算机进行处理，确定物体的位置，最终用于机械臂对物体进行抓取、测量和加工等操作。根据实际的生产情况，物体的摆放可能是有序的，或者是无序的。在机械臂无序抓取的情况下，物体的摆放位置杂乱，可能发生倾斜、交叠等复杂情况。因此，用点云图像进行物体配准，获得物体的位置和姿态信息就成为机械臂无序抓取中的一个关键技术问题。
发明内容
针对上述关键技术问题，本发明公开一种物体配准方法及系统，可以有效的实现对目标物体的检测和定位。
一种物体配准方法，包括以下步骤：
接收源点云图像和目标点云图像；
计算所述源点云图像和目标点云图像的点云特征；
对所述源点云图像和目标点云图像进行粗配准处理和精配准处理，获得目标点云图像中源点云图像的精确位置和姿态信息。
所述的点云特征包括点云法线及与邻近点的距离信息。
所述计算源点云图像和目标点云图像的点云特征均采用构建特征直方图的方法，所述方法包括以下步骤：
选取点云中的任意一点，确定所述点的邻近点；
用直线连接所述点与所述邻近点，获得连接线的方向；
计算连线的特征，获得该点的特征直方图。
所述的粗配准处理包括以下步骤：
对源点云图像进行采样，得到采样点集合P，在目标点云图像中获取与集合P中每个采样点特征最相似的点组成目标点集合Q，其相似的点称为采样点的对应点；
对集合P中的每一个采样点，计算其与集合Q中对应点的变换矩阵，并计算基于该矩阵将集合P中所有采样点进行变换后与集合Q中对应点的损失和；
得到损失和最小的变换矩阵即是粗配准结果，所述变换矩阵包含旋转矩阵和平移向量。
所述的精配准处理，包括以下步骤：
对粗配准得到的变换矩阵进行优化迭代，直到集合P中的所有点经过变换矩阵变换后与集合Q中的对应点的损失和小于预定的阈值误差，获得最终的变换矩阵，得到源点云图像在目标点云图像中的位置和姿态信息。
一种基于上述方法的物体配准系统，该系统至少包括获取点云特征模块、粗配准模块、精配准模块及存储模块，其中：
获取点云特征模块：用以获取点云图像的点云特征，包括源点云图像的点云特征和目标点云图像的点云特征；
粗配准模块：计算源点云特征与目标点云特征的变换矩阵，对源点云图像在目标点云图像中的位置和姿态做初步判断；
精配准模块：对粗配准模块获得的变换矩阵进行迭代优化，得到源点云图像在目标点云图像中精确位置和姿态；
存储模块：用以存储配准中使用的源点云图库。
实施本发明采用一种电子设备，所述设备包括处理器以及存储器，所述存储器用于存储可执行程序；所述处理器用于执行所述可执行程序以实现权利要求1-5所述的任何一种所述的方法。
本发明公开的方法和系统中所述的模块，在实际应用中，即可以在一台服务器上部署多个模块，也可以每一模块独立部署在不同的服务器上，特别的，根据需要，为了提供更强大的计算处理能力，也可以根据需要将模块部署到集群服务器上。
本发明的方法已在无序抓取系统应用，经过测试，对于物体的摆放位置杂乱，倾斜、交叠等复杂情况都可以进行定位和配准。
附图说明
图1为本发明方法流程示意图；
图2为本发明构建特征直方图的方法流程示意图；
图3为本发明粗配准处理流程示意图；
图4为本发明精配准处理流程示意图；
图5为本发明系统的结构示意图。
具体实施方式
为了对本发明有更清楚全面的了解，下面结合附图，对本发明的具体实施方式进行详细描述。
参阅图1，图1示出了本发明物体配准方法的流程示意图，具体包括以下步骤：
S10，开始该处理流程。
S11，接收源点云图像和目标点云图像；
源点云图像即为只含有待检测目标的点云图像，目标点云图像为待检测目标在某个场景下的点云图像。
S12，计算所述源点云图像和目标点云图像的点云特征；
在实际生产过程中，如果直接用点云中的所有点进行配准，会造成配准时间过长的问题。而且对于包含大量平面的物体点云，直接配准会造成平面点云在计算中占用的比例过大，导致出现点云配准的结果偏移。因此本发明实现中首先对点云图像进行下采样，然后计算采样点的法线特征及与邻近点的连线特征，并用直方图的方法进行统计获得点云特征，加速配准，提高配准效果。
S13，对所述源点云图像和目标点云图像进行粗配准处理，获得目标点云大致的位置和姿态；
S14，对所述源点云图像和目标点云图像进行精配准处理，获得目标点云精确的位置和姿态信息。
S15，结束此流程。
参阅图2，图2示出了本发明构建特征直方图的流程示意图，具体包括以下步骤：
S20，开始该处理流程。
S21，计算源点云图像和目标点云图像的点云特征，选取点云中的任意一点，确定所述点的邻近点；
S22，用直线连接所述点与所述邻近点，获得连接线的方向；
S23，计算连线的特征，获得该点的特征直方图，即FPFH特征。
S24，结束此流程。
参阅图3，图3示出了本发明粗配准处理流程示意图，具体包括以下步骤：
S30，开始该处理流程；
S31，对源点云图像进行采样得到采样点集合P，在目标点云图像中获取与集合P中每个点对应的点组成的点集合Q；
具体实现中，在源点云中选取n个采样点组成点集合P，选取的要求：
a.这n个采样点的FPFH特征的差异尽量大。
b.这n个点互相之间的距离大于最小采样距离dmin。
设n个采样点的集合为
Figure BDA0002335615190000041
对于源点云采样点集合P中的n个采样点，在目标点云图像中查找与该采样点的FPFH特征相近的点qj，组成集合Q，则pi和qj为集合P和Q的对应点。
S32，计算集合P和Q的变换矩阵,变换矩阵表示为M，所述变换矩阵M包含旋转矩阵R和平移向量T；
计算任一对应点对pi和qj的变换矩阵，作为集合P和Q的变换矩阵。把集合P中的n个采样点用变换矩阵变换运算，得到变换后的点集合为
Figure BDA0002335615190000042
S33，针对集合P中所有采样点计算变换矩阵的损失和；
使用Huber损失函数计算损失值。Huber函数的计算方法如公式(3-1)所示。
Figure BDA0002335615190000043
mi表示集合P变换运算后的点集合P′中第i个点p′i与其在Q对应点的距离。计算所有采样点的损失和，作为当前变换矩阵的损失和LM：
Figure BDA0002335615190000044
S34，得到损失和最小的变化矩阵即是配准结果；
重复步骤S32-S33，直到迭代次数大于预设值，或者损失和LM足够小。使得损失和LM最小的变化矩阵M即是算法求得的配准结果。
S35，结束此流程。
请参阅图4，图4示出了本发明精配准处理流程示意图，具体包括以下步骤:
S40，开始该处理流程；
S41，设粗配准阶段得到变换矩阵为初始变换矩阵，表示为M0，包含旋转矩阵R0和平移向量T0。
对集合P进行姿态变换：
P′＝M0P (4-1)
S42，不断优化变换矩阵M，使得集合P中的所有点经过M变换后与集合Q的距离小于预定的阈值误差δ；
不断优化变换矩阵M的方法如下：
根据已有的变换矩阵Mk(第k次迭代的变换矩阵)对源点云进行姿态变化：
P′＝MkP (4-2)
使姿态变换后的集合P‘和集合Q姿态接近。
最小化目标函数f(R,T)，并求得新的旋转矩阵Rk+1和平移向量Tk+1，并组合为变换矩阵Mk+1。重新设定阈值误差δ。
重复步骤S42，直到迭代次数达到预定的最大值，或者集合P′与集合Q的平均距离小于给定的阈值。
S43，完成步骤S42后得到的变换矩阵即为最终的变换矩阵，表示为M，其中包含最终旋转矩阵R和最终平移向量T。
S44，结束此流程。
参阅图5，图5示出了本发明物体配准系统的结构示意图，具体包括：获取点云特征模块100、粗配准模块200、精配准模块300、存储模块400，其中：
点云特征模块100：用以获取点云图像的点云特征，包括源点云图像的点云特征和目标点云图像的点云特征；
粗配准模块200：计算源点云特征与目标点云特征的变换矩阵，对源点云图像在目标点云图像中的位置和姿态做初步判断；
精配准模块300：对粗配准模块获得的变换矩阵进行迭代优化，得到源点云图像在目标点云图像中精确位置和姿态；
存储模块400：用以存储配准中使用的源点云图库。
本实施例还提供一种电子设备，所述电子设备中包括处理器及存储器，所述存储器中存储有可执行程序，当所述可执行程序在计算机上运行时，所述计算机执行上述任一实施例所述的目标检测方法和系统。
需要说明的是，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过计算机程序来指令相关的硬件来完成，所述计算机程序可以存储于计算机可读存储介质中，所述存储介质可以包括但不限于：只读存储器(ROM，Read OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁盘或光盘等。

Claims (6)

1.一种物体配准方法，其特征在于，包括以下步骤：
接收源点云图像和目标点云图像；
计算所述源点云图像和目标点云图像的点云特征；
对所述源点云图像和目标点云图像进行粗配准处理和精配准处理，获得目标点云图像中源点云图像的精确位置和姿态信息。
2.根据权利要求1所述的方法，其特征在于，所述的点云特征包括点云法线及与邻近点的距离信息。
3.根据权利要求1所述的方法，其特征在于，所述计算源点云图像和目标点云图像的点云特征均采用构建特征直方图的方法，所述方法包括以下步骤：
选取点云中的任意一点，确定所述点的邻近点；
用直线连接所述点与所述邻近点，获得连接线的方向；
计算连线的特征，获得该点的特征直方图。
4.根据权利要求1所述的方法，其特征在于，所述的粗配准处理包括以下步骤：
对源点云图像进行采样，得到采样点集合P，在目标点云图像中获取与集合P中每个采样点特征最相似的点组成目标点集合Q，其相似的点称为采样点的对应点；
对集合P中的每一个采样点，计算其与集合Q中对应点的变换矩阵，并计算基于该矩阵将集合P中所有采样点进行变换后与集合Q中对应点的损失和；
得到损失和最小的变换矩阵即是粗配准结果，所述变换矩阵包含旋转矩阵和平移向量。
5.根据权利要求1所述的方法，其特征在于，所述的精配准处理，包括以下步骤：
对粗配准得到的变换矩阵进行优化迭代，直到集合P中的所有点经过变换矩阵变换后与集合Q中的对应点的损失和小于预定的阈值误差，获得最终的变换矩阵，得到源点云图像在目标点云图像中的位置和姿态信息。
6.一种基于权利要求1所述方法的物体配准系统，其特征在于，该系统至少包括获取点云特征模块、粗配准模块、精配准模块及存储模块，其中：
获取点云特征模块：用以获取点云图像的点云特征，包括源点云图像的点云特征和目标点云图像的点云特征；
粗配准模块：计算源点云特征与目标点云特征的变换矩阵，对源点云图像在目标点云图像中的位置和姿态做初步判断；
精配准模块：对粗配准模块获得的变换矩阵进行迭代优化，得到源点云图像在目标点云图像中精确位置和姿态；
存储模块：用以存储配准中使用的源点云图库。
CN201911354832.2A 2019-12-25 2019-12-25 一种物体配准方法及系统 Pending CN111223132A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911354832.2A CN111223132A (zh) 2019-12-25 2019-12-25 一种物体配准方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911354832.2A CN111223132A (zh) 2019-12-25 2019-12-25 一种物体配准方法及系统

Publications (1)

Publication Number Publication Date
CN111223132A true CN111223132A (zh) 2020-06-02

Family

ID=70827845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911354832.2A Pending CN111223132A (zh) 2019-12-25 2019-12-25 一种物体配准方法及系统

Country Status (1)

Country Link
CN (1) CN111223132A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN108665491A (zh) * 2018-03-22 2018-10-16 西安电子科技大学 一种基于局部参考点的快速点云配准方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109903319A (zh) * 2019-03-13 2019-06-18 北京信息科技大学 一种基于多分辨率的快速迭代最近点配准算法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105989604A (zh) * 2016-02-18 2016-10-05 合肥工业大学 一种基于kinect的目标物体三维彩色点云生成方法
CN106780459A (zh) * 2016-12-12 2017-05-31 华中科技大学 一种三维点云数据自动配准方法
CN108133458A (zh) * 2018-01-17 2018-06-08 视缘(上海)智能科技有限公司 一种基于目标物体空间点云特征的自动拼接方法
CN108665491A (zh) * 2018-03-22 2018-10-16 西安电子科技大学 一种基于局部参考点的快速点云配准方法
CN108564605A (zh) * 2018-04-09 2018-09-21 大连理工大学 一种三维测量点云优化配准方法
CN109087342A (zh) * 2018-07-12 2018-12-25 武汉尺子科技有限公司 一种基于特征匹配的三维点云全局配准方法及系统
CN109903319A (zh) * 2019-03-13 2019-06-18 北京信息科技大学 一种基于多分辨率的快速迭代最近点配准算法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112017225A (zh) * 2020-08-04 2020-12-01 华东师范大学 一种基于点云配准的深度图像匹配方法
CN112017225B (zh) * 2020-08-04 2023-06-09 华东师范大学 一种基于点云配准的深度图像匹配方法

Similar Documents

Publication Publication Date Title
CN108044627B (zh) 抓取位置的检测方法、装置及机械臂
CN109545072B (zh) 地图构建的位姿计算方法、装置、存储介质和系统
US11776217B2 (en) Method for planning three-dimensional scanning viewpoint, device for planning three-dimensional scanning viewpoint, and computer readable storage medium
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN110942515A (zh) 基于点云的目标物体三维计算机建模方法和目标识别方法
CN108364313B (zh) 一种自动对位的方法、系统及终端设备
CN113838191A (zh) 一种基于注意力机制和单目多视角的三维重建方法
KR20120023052A (ko) 3 차원에 있어서의 형상의 일치를 판정하는 방법 및 장치
CN110738222A (zh) 图像匹配方法、装置、计算机设备和存储介质
CN111223132A (zh) 一种物体配准方法及系统
CN116091727A (zh) 一种基于多尺度特征描述的复杂曲面点云配准方法、电子设备及存储介质
CN109785372B (zh) 基于软决策优化的基础矩阵鲁棒估计方法
CN113635299B (zh) 一种机械臂的校正方法、终端设备及存储介质
CN110793437A (zh) 手操器的定位方法、装置、存储介质及电子设备
CN113159103A (zh) 图像匹配方法、装置、电子设备以及存储介质
CN113763485B (zh) 温漂系数获取方法、电子设备、存储介质和图像校正方法
CN114459482B (zh) 边界简化方法、路径规划方法、装置、设备及系统
CN110208271A (zh) 一种相控阵天线的损伤检测方法、损伤检测装置及终端
CN112233178B (zh) 基于机器视觉的复杂环境中动态物料测距方法
CN114743150A (zh) 目标跟踪方法、装置、电子设备及存储介质
Cao et al. Object detection in VHR image using transfer learning with deformable convolution
CN110210443B (zh) 一种优化投影对称性近似稀疏分类的手势识别方法
CN113591949A (zh) 一种立木特征点匹配方法、装置、设备及介质
CN110807818A (zh) 基于关键帧的rgb-dslam方法和装置
CN109345573B (zh) 一种位置信息确定方法、电子设备和计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200602

WD01 Invention patent application deemed withdrawn after publication