CN110120013A - 一种点云拼接方法及装置 - Google Patents
一种点云拼接方法及装置 Download PDFInfo
- Publication number
- CN110120013A CN110120013A CN201910403995.9A CN201910403995A CN110120013A CN 110120013 A CN110120013 A CN 110120013A CN 201910403995 A CN201910403995 A CN 201910403995A CN 110120013 A CN110120013 A CN 110120013A
- Authority
- CN
- China
- Prior art keywords
- point
- group
- characteristic point
- image
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 239000000284 extract Substances 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000000354 decomposition reaction Methods 0.000 claims description 6
- 238000013459 approach Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 abstract description 11
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种点云拼接方法及装置，包括：获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组图像的特征点对集合；根据所述特征点对集合，将第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。本申请通过2D特征点及3D特征点的融合，使得后续点云拼接更加准确，且无需进行最近点迭代计算，避免了点云配准过程中的繁琐过程，节约时间。
Description
技术领域
本申请涉及计算机视觉技术和图像视频处理技术领域，尤其涉及一种点云拼接方法及装置。
背景技术
随着计算机技术与三维扫描技术的迅猛发展，三维重建技术在各行各业得到了广泛的应用与发展。三维重建技术是基于视觉的三维重建，指的是通过摄像机获取场景物体的数据图像，并对此图像进行分析处理，再结合计算机视觉知识推导出现实环境中物体的三维信息。点云拼接技术作为三维重建中图像处理的重要技术之一，相应地成为目前研究的重点。点云拼接技术是将不同视角下采集到的点云数据进行拼接，使不同视角下的局部点云数据转换到统一坐标系下，进而可以得到被测实体或场景的相对完整的点云数据。
点云拼接处理过程中的点云配准，即求出两个点云数据之间的坐标位置变换关系，目的是找到一点云数据到另一点云数据的相对位置和方向。点云配准中应用最广发的方法为迭代最近点算法，迭代最近点算法对待配准的两片初始点云有较高的重叠度要求，因此需要先通过粗配准得到矩阵变换参数，进而将待配准点云数据转换到统一坐标系内。迭代最近点算法是基于最小二乘法的最优匹配算法，假设两个点集对齐，且其中一个点集上的最近点与另一个点集中的每个点对齐，采用最近点搜索，计算最优刚体变换，直至配准收敛，也就是说，将不同视角的点云数据，运用迭代最近点算法每次寻找两个点集中的最近点，并使其欧式距离的平方和最小，从而计算出点云间的刚体变换，将该刚体变换应用于点云获得新的目标点云，若目标函数误差收敛于给定阈值，终止迭代，否则继续查找最近点。
上述迭代最近点算法中，很大程度上依赖于初始迭代值的选取，若初始迭代值选择的不合理，易使算法陷入局部最优导致整个迭代过程不能正确收敛，致使点云拼接结果不准确。另外，迭代最近点算法复杂度较高，比较耗费时间，所以容易造成点云拼接耗时较长。
发明内容
本申请提供了一种点云拼接方法及装置，以解决现有技术中点云拼接耗时较长，且结果不准确的技术问题。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
第一方面，本申请实施例公开了一种点云拼接方法，所述方法包括：
获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
可选地，在上述点云拼接方法中，分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对，包括：
利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
可选地，在上述点云拼接方法中，分别提取每组所述图像中所述点云图中的3D特征点，包括：
利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点。
可选地，在上述点云拼接方法中，分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，包括：
根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：
idx＝y*width+x
式中，idx为所述点云图中的索引值，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
根据计算出的索引值，得到并记录对应的所述三维点云坐标。
可选地，在上述点云拼接方法中，根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图，包括：
从所述特征点对集合中，随机抽取4个特征点对；
通过SVD奇异值分解的方法求出旋转与平移矩阵；
将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
第二方面，本申请实施例公开了一种点云拼接装置，所述装置包括：
图像获取模块，用于获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
特征点提取模块，用于分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
特征点合并模块，用于分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
点云图拼接模块，用于根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
可选地，在上述点云拼接装置中，所述特征点提取模块包括2D特征点对提取模块，所述2D特征点对提取模块包括：
2D特征点获取模块，用于利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
2D特征点匹配模块，用于根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
2D特征点对获取模块，用于利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
可选地，在上述点云拼接装置中，所述特征点提取模块包括3D特征点获取模块，用于利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点。
可选地，在上述点云拼接装置中，所述特征点合并模块包括：
2D-3D匹配模块，用于根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：
idx＝y*width+x
式中，idx为所述点云图中的索引，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
三维点云坐标生成模块，用于根据计算出的索引值，得到并记录对应的所述三维点云坐标。
可选地，在上述点云拼接装置中，所述点云图拼接模块包括：
特征点对选取模块，用于从所述特征点对集合中，随机抽取4个特征点对；
旋转与平移矩阵计算模块，用于通过SVD奇异值分解的方法求出旋转与平移矩阵；
坐标转换模块，用于将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
与现有技术相比，本申请的有益效果为：
本申请提供了一种点云拼接方法及装置，可以通过双目RGB-D相机等获取被测物体的两组图像，所述图像均包括左/右视图及点云图，在每组图像中，分别提取所述左/右视图中的2D特征点对，以及所述点云图中的3D特征点；然后，将每组图像中的所述左/右视图中的2D特征点对索引至该图像中的点云图，计算出所述2D特征点对在点云图中的三维点云坐标，并将所述三维点云坐标与该点云图中的所述3D特征点对进行合并，得到最终特征点对集合；最后，根据所述最终特征点对集合，将两组所述点云图变换至统一坐标系，得到拼接后的点云图。与现有的方法相比，本申请中在进行点云拼接时，通过2D特征点及3D特征点的融合，实现不同视角下的特征点的结合，捕捉到不同角度的特征点，从而实现对点云数据的精确配准，使得后续点云拼接更加准确，该过程中，无需进行最近点迭代计算，避免了点云配准过程中的繁琐过程，节约时间。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种点云拼接方法的流程示意图；
图2为本发明实施例提供的一种获取2D特征点对方法的流程示意图；
图3为本发明实施例提供的一种2D特征点转换为三维点云坐标方法的流程示意图；
图4为本发明实施例提供的一种两组点云图拼接方法的流程示意图；
图5为本发明实施例提供的一种点云拼接装置的基本结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
参见图1，为本发明实施例提供的一种点云拼接方法的流程示意图。结合图1，所述点云拼接方法包括如下步骤：
步骤S110：获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
在具体实施过程中，可通过双目RGB-D相机，如zed相机采集两组图像，两组图像分别为第一组图像I1和第二组图像I2，所述第一组图像I1和第二组图像I2具有一定重叠区域，本申请中的点云拼接方法，即方便、精确的实现所述第一组图像I1和第二组图像I2的拼接。RGB-D相机是由左、右侧两个相机构成的，每组图像均包括左侧相机采集到的左视图(和)、右侧相机采集到的右视图(和)以及RGB-D相机采集到的点云图(Cloud1和Cloud2)。
步骤S120：分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
对于2D特征点对的提取，参见图2，为本发明实施例提供的一种获取2D特征点对方法的流程示意图。如图2所示，提取每组所述图像中左视图和右视图中相匹配的2D特征点对的具体过程如下：
步骤S121：利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
图像的特征点可以简单的理解为图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等，特征点对是两张图像中相匹配的两个点。本申请中利用ORB算法对左/右视图中的2D特征点进行提取和描述，当然，所述第一组图像I1和第二组图像I2中提取出的2D特征点是基于两组所述图像的重叠部分。ORB是一种快速特征点提取和描述的算法，分为两部分，分别是特征点提取和特征点描述。具体地，采用ORB算法提取每组图像3000-8000个特征点，得到特征点后进一步以某种方式描述这些特征点的属性，本申请中利用BRIEF算法对特征点进行方向等描述，生成128维的描述子。BRIEF算法计算出来的是一个二进制串的特征描述符，它是在每一个特征点的邻域内，选择n对像素点pi、qi(i＝1,2,…,n)，然后比较每个点对的灰度值的大小。如果I(pi)>I(qi)，则生成二进制串中的1，否则为0。所有的点对都进行比较，则生成长度为n的二进制串。
步骤S122：根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
通过所述描述子，计算第一组图像I1中左视图和右视图中2D特征点间的欧氏距离，对左视图中的2D特征点，分别计算它与右视图中所有2D特征点的欧式距离，然后找到所有欧式距离中最小的和次小的，计算最小欧式距离与次小欧式距离的比值，如果比值在阈值范围内，则认为是匹配正确的2D特征点对。欧氏距离的计算过程为：假设左视图中特征点A的坐标为(x1，y1)，右视图中特征点B的坐标为(x2，y2)，则A、B之间的欧氏距离为：
步骤S123：利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
将匹配后的左/右视图划分成网格，对每一个局部，统计特征点匹配总的数量记为M，对于局部的某一对特征点，统计周围领域对该特征点有帮助的正确的特征点匹配数目记为m，计算匹配正确的概率m/M，若该概率达到90％或者95％以上，则认为是匹配正确的。这使得某个匹配的特征点对周围的特征点对都是正确的匹配，均对该特征点对的匹配有着积极的作用。最终得到所述左/右视图的2D特征点对集合
对于每组所述图像中所述点云图中的3D特征点的提取，所述第一组图像I1和第二组图像I2中点云图中提取出的3D特征点也是位于两组所述图像的重叠区域。利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点集合，记为以FPFH算法为例，提取步骤如下：首先对每一个样本点，计算这个点和它的K领域内每个点之间的三维特征值，然后统计输出成一个简化的点特征直方图(SPFH)，其中，K是点云图中每个样本点计算特征向量时考虑的邻域数量。最后分别确定K领域中每一个点的K领域，按第一步分别形成自己的SPFH，使用邻近的SPFH值来计算最终直方图(FPFH)。
步骤S130：分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
在S12O中，提取出每组所述图像中左视图和右视图中相匹配的2D特征点对，再将所述2D特征点对对应至两组点云图中，得到对应的三维点云坐标。具体过程参见图3，为本发明实施例提供的一种2D特征点转换为三维点云坐标方法的流程示意图，由图3所示，转换过程如下：
步骤S131：根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：idx＝y*width+x，式中，idx为所述点云图中的索引值，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
步骤S132：根据计算出的索引值，得到并记录对应的所述三维点云坐标，记为
举例来说，图片分辨率为640*480，2D特征点在左/右视图中的横纵坐标为(100，50)，则在3D点云图中对应的索引值计算为640*50+100＝32100，而索引值32100对应点云图中(100，50，20)的三维点云坐标，所以即可根据2D特征点(100，50)找到三维点云坐标(100，50，20)。
将2D特征点对转换到3D的特征点对集合之后，再将 与3D特征点合并，此处的合并为点集合的合并，取并集，得到每组所述图像中重叠区域的特征点对集合
步骤S140：根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
参见图4，为本发明实施例提供的一种两组点云图拼接方法的流程示意图。通过图4所示，最后的拼接过程包括：
步骤S141：从所述特征点对集合中，随机抽取4个特征点对；
步骤S142：通过SVD奇异值分解的方法求出旋转与平移矩阵；
步骤S143：将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
由上述技术方案可见，本发明实施例提供的一种点云拼接方法，获取被测物体的两组图像中左/右视图中的2D特征点对，以及两组图像中所述点云图中的3D特征点；然后，将每组图像中的所述左/右视图中的2D特征点对索引至该图像中的点云图，计算出所述2D特征点对在点云图中的三维点云坐标，并将所述三维点云坐标与该点云图中的所述3D特征点对进行合并，得到最终特征点对集合；最后，根据所述最终特征点对集合，将两组所述点云图变换至统一坐标系，得到拼接后的点云图。本申请中在进行点云拼接时，通过2D特征点及3D特征点的融合，实现不同视角下的特征点的结合，捕捉到不同角度的特征点，从而实现对点云数据的精确配准，使得后续点云拼接更加准确，该过程中，无需进行最近点迭代计算，避免了点云配准过程中的繁琐过程，节约时间。
基于相同的技术构思，本发明实施例还提供了一种点云拼接装置，如图5所示，包括依次连接的图像获取模块510、特征点提取模块520、特征点合并模块530和点云图拼接模块540，其中：
所述图像获取模块510，用于获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
所述特征点提取模块520，用于分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
所述特征点合并模块530，用于分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
所述点云图拼接模块540，用于根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
进一步，所述特征点提取模块520包括2D特征点对提取模块，所述2D特征点对提取模块包括：
2D特征点获取模块，用于利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
2D特征点匹配模块，用于根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
2D特征点对获取模块，用于利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
所述特征点提取模块520还包括3D特征点获取模块，用于利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点。
为计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，本实施例提供的点云拼接装置还包括：
2D-3D匹配模块，用于根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：idx＝y*width+x，式中，idx为所述点云图中的索引，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
三维点云坐标生成模块，用于根据计算出的索引值，得到并记录对应的所述三维点云坐标。
为实现两幅点云图的拼接，本实施例提供的点云拼接装置还包括：
特征点对选取模块，用于从所述特征点对集合中，随机抽取4个特征点对；
旋转与平移矩阵计算模块，用于通过SVD奇异值分解的方法求出旋转与平移矩阵；
坐标转换模块，用于将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
本实施例提供的点云拼接装置，通过2D特征点及3D特征点的融合，实现不同视角下的特征点的结合，捕捉到不同角度的特征点，从而实现对点云数据的精确配准，使得后续点云拼接更加准确，该过程中，无需进行最近点迭代计算，避免了点云配准过程中的繁琐过程，节约时间。
由于以上实施方式均是在其他方式之上引用结合进行说明，不同实施例之间均具有相同的部分，本说明书中各个实施例之间相同、相似的部分互相参见即可。在此不再详细阐述。
需要说明的是，在本说明书中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或暗示这些实体或操作之间存在任何这种实际的关系或顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种电路结构、物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的电路结构、物品或者设备中还存在另外的相同要素。
本领域技术人员在考虑说明书及实践这里发明的公开后，将容易想到本申请的其他实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求的内容指出。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种点云拼接方法，其特征在于，所述方法包括：
获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
2.根据权利要求1所述的点云拼接方法，其特征在于，分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对，包括：
利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
3.根据权利要求1所述的点云拼接方法，其特征在于，分别提取每组所述图像中所述点云图中的3D特征点，包括：
利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点。
4.根据权利要求1所述的点云拼接方法，其特征在于，分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，包括：
根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：
idx＝y*width+x
式中，idx为所述点云图中的索引值，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
根据计算出的索引值，得到并记录对应的所述三维点云坐标。
5.根据权利要求1所述的点云拼接方法，其特征在于，根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图，包括：
从所述特征点对集合中，随机抽取4个特征点对；
通过SVD奇异值分解的方法求出旋转与平移矩阵；
将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
6.一种点云拼接装置，其特征在于，所述装置包括：
图像获取模块，用于获取被测物体的第一组图像和第二组图像，每组所述图像均包括所述被测物体的左/右视图及点云图；
特征点提取模块，用于分别提取每组所述图像中左视图和右视图中相匹配的2D特征点对、以及所述点云图中的3D特征点；
特征点合并模块，用于分别计算每组所述图像中所述2D特征点对在相对应的点云图中的三维点云坐标，并将所述三维点云坐标与相对应的所述3D特征点合并，得到每组所述图像的特征点对集合；
点云图拼接模块，用于根据所述特征点对集合，将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
7.根据权利要求6所述的点云拼接装置，其特征在于，所述特征点提取模块包括2D特征点对提取模块，所述2D特征点对提取模块包括：
2D特征点获取模块，用于利用ORB算法，提取每组所述左/右视图中的预设数目的2D特征点，分别对所述2D特征点进行描述，生成n维描述子；
2D特征点匹配模块，用于根据所述描述子，将所述左/右视图中的2D特征点进行匹配；
2D特征点对获取模块，用于利用GMS算法，筛选出匹配错误的2D特征点，得到所述左/右视图的2D特征点对。
8.根据权利要求6所述的点云拼接装置，其特征在于，所述特征点提取模块包括3D特征点获取模块，用于利用FPFH或者3D SURF算法，分别提取两组所述图像中点云图中的3D特征点。
9.根据权利要求6所述的点云拼接装置，其特征在于，所述特征点合并模块包括：
2D-3D匹配模块，用于根据所述2D特征点与所述点云图之间的对应关系，计算出索引值，所述计算公式为：
idx＝y*width+x
式中，idx为所述点云图中的索引，x、y分别为2D特征点对的横纵坐标值，width为图片长度；
三维点云坐标生成模块，用于根据计算出的索引值，得到并记录对应的所述三维点云坐标。
10.根据权利要求6所述的点云拼接装置，其特征在于，所述点云图拼接模块包括：
特征点对选取模块，用于从所述特征点对集合中，随机抽取4个特征点对；
旋转与平移矩阵计算模块，用于通过SVD奇异值分解的方法求出旋转与平移矩阵；
坐标转换模块，用于将所述第一组图像和第二组图像的点云图变换至统一坐标系，得到拼接后的点云图。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910403995.9A CN110120013B (zh) | 2019-05-15 | 2019-05-15 | 一种点云拼接方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910403995.9A CN110120013B (zh) | 2019-05-15 | 2019-05-15 | 一种点云拼接方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110120013A true CN110120013A (zh) | 2019-08-13 |
| CN110120013B CN110120013B (zh) | 2023-10-20 |
Family
ID=67522495
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910403995.9A Active CN110120013B (zh) | 2019-05-15 | 2019-05-15 | 一种点云拼接方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110120013B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992259A (zh) * | 2019-10-14 | 2020-04-10 | 中国科学院自动化研究所 | 基于2d-3d弱特征3d邻域概率匹配的rgb-d点云拼接方法及系统 |
| CN111353985A (zh) * | 2020-03-02 | 2020-06-30 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN113140042A (zh) * | 2021-04-19 | 2021-07-20 | 杭州思看科技有限公司 | 三维扫描拼接方法、装置、电子装置和计算机设备 |
| CN113658166A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于网格模型的点云缺陷检测方法和装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104392426A (zh) * | 2014-10-23 | 2015-03-04 | 华中科技大学 | 一种自适应的无标志点三维点云自动拼接方法 |
| CN105928493A (zh) * | 2016-04-05 | 2016-09-07 | 王建立 | 基于无人机的双目视觉三维测绘系统和方法 |
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| CN107958489A (zh) * | 2016-10-17 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种曲面重建方法及装置 |
| CN108053367A (zh) * | 2017-12-08 | 2018-05-18 | 北京信息科技大学 | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 |
| CN108317953A (zh) * | 2018-01-19 | 2018-07-24 | 东北电力大学 | 一种基于无人机的双目视觉目标表面3d检测方法及系统 |
| CN108470324A (zh) * | 2018-03-21 | 2018-08-31 | 深圳市未来媒体技术研究院 | 一种鲁棒的双目立体图像拼接方法 |
| CN108510530A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种三维点云匹配方法及其系统 |
| CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
-
2019
- 2019-05-15 CN CN201910403995.9A patent/CN110120013B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9466143B1 (en) * | 2013-05-03 | 2016-10-11 | Exelis, Inc. | Geoaccurate three-dimensional reconstruction via image-based geometry |
| CN104392426A (zh) * | 2014-10-23 | 2015-03-04 | 华中科技大学 | 一种自适应的无标志点三维点云自动拼接方法 |
| CN105928493A (zh) * | 2016-04-05 | 2016-09-07 | 王建立 | 基于无人机的双目视觉三维测绘系统和方法 |
| CN107958489A (zh) * | 2016-10-17 | 2018-04-24 | 杭州海康威视数字技术股份有限公司 | 一种曲面重建方法及装置 |
| CN108510530A (zh) * | 2017-02-28 | 2018-09-07 | 深圳市朗驰欣创科技股份有限公司 | 一种三维点云匹配方法及其系统 |
| CN107316325A (zh) * | 2017-06-07 | 2017-11-03 | 华南理工大学 | 一种基于图像配准的机载激光点云与影像配准融合方法 |
| CN108053367A (zh) * | 2017-12-08 | 2018-05-18 | 北京信息科技大学 | 一种基于rgb-d特征匹配的3d点云拼接与融合方法 |
| CN108317953A (zh) * | 2018-01-19 | 2018-07-24 | 东北电力大学 | 一种基于无人机的双目视觉目标表面3d检测方法及系统 |
| CN108470324A (zh) * | 2018-03-21 | 2018-08-31 | 深圳市未来媒体技术研究院 | 一种鲁棒的双目立体图像拼接方法 |
| CN109242873A (zh) * | 2018-08-22 | 2019-01-18 | 浙江大学 | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 |
| CN109509226A (zh) * | 2018-11-27 | 2019-03-22 | 广东工业大学 | 三维点云数据配准方法、装置、设备及可读存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 陈驰;杨必胜;田茂;李健平;邹响红;吴唯同;宋易恒;: "车载MMS激光点云与序列全景影像自动配准方法", 测绘学报, no. 02 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110992259A (zh) * | 2019-10-14 | 2020-04-10 | 中国科学院自动化研究所 | 基于2d-3d弱特征3d邻域概率匹配的rgb-d点云拼接方法及系统 |
| CN110992259B (zh) * | 2019-10-14 | 2021-09-21 | 中国科学院自动化研究所 | 基于弱特征邻域概率匹配的点云拼接方法及系统 |
| CN111353985A (zh) * | 2020-03-02 | 2020-06-30 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN111353985B (zh) * | 2020-03-02 | 2022-05-03 | 电子科技大学 | 一种基于深度相机的机场自助托运行李的检测方法 |
| CN113140042A (zh) * | 2021-04-19 | 2021-07-20 | 杭州思看科技有限公司 | 三维扫描拼接方法、装置、电子装置和计算机设备 |
| CN113658166A (zh) * | 2021-08-24 | 2021-11-16 | 凌云光技术股份有限公司 | 一种基于网格模型的点云缺陷检测方法和装置 |
| CN113658166B (zh) * | 2021-08-24 | 2024-04-12 | 凌云光技术股份有限公司 | 一种基于网格模型的点云缺陷检测方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110120013B (zh) | 2023-10-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107833181B (zh) | 一种基于变焦立体视觉的三维全景图像生成方法 | |
| Drost et al. | 3d object detection and localization using multimodal point pair features | |
| CN110120013A (zh) | 一种点云拼接方法及装置 | |
| US20160328601A1 (en) | Three-dimensional facial recognition method and system | |
| CN106447601B (zh) | 一种基于投影-相似变换的无人机遥感影像拼接方法 | |
| CN103530599A (zh) | 一种真实人脸和图片人脸的区别方法和系统 | |
| CN110956661B (zh) | 基于双向单应矩阵的可见光与红外相机动态位姿计算方法 | |
| CN104077760A (zh) | 一种航空摄影测量的快速拼接系统及其实现方法 | |
| CN111160291B (zh) | 基于深度信息与cnn的人眼检测方法 | |
| Urban et al. | Finding a good feature detector-descriptor combination for the 2D keypoint-based registration of TLS point clouds | |
| KR101818984B1 (ko) | 깊이정보를 이용한 안면인식시스템 | |
| CN103700082B (zh) | 基于对偶四元数相对定向的图像拼接方法 | |
| CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
| CN114331879A (zh) | 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法 | |
| CN111127556B (zh) | 基于3d视觉的目标物体识别和位姿估算方法以及装置 | |
| CN113095187A (zh) | 一种基于图像特征匹配对齐的试卷批改方法 | |
| CN116958419A (zh) | 一种基于波前编码的双目立体视觉三维重建系统和方法 | |
| CN110009670A (zh) | 基于fast特征提取和piifd特征描述的异源图像配准方法 | |
| CN115035546A (zh) | 三维人体姿态检测方法、装置及电子设备 | |
| KR101673144B1 (ko) | 부분 선형화 기반의 3차원 영상 정합 방법 | |
| CN106056599B (zh) | 一种基于物体深度数据的物体识别算法及装置 | |
| Yang et al. | Depth from water reflection | |
| CN113225484B (zh) | 快速获取屏蔽非目标前景的高清图片的方法及装置 | |
| CN110674817B (zh) | 一种基于双目摄像头的车牌防伪的方法及装置 | |
| CN107424141A (zh) | 一种基于概率块的面部图像质量评估方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |