CN110264567B - 一种基于标记点的实时三维建模方法 - Google Patents
一种基于标记点的实时三维建模方法 Download PDFInfo
- Publication number
- CN110264567B CN110264567B CN201910534171.5A CN201910534171A CN110264567B CN 110264567 B CN110264567 B CN 110264567B CN 201910534171 A CN201910534171 A CN 201910534171A CN 110264567 B CN110264567 B CN 110264567B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- point
- points
- mark
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000004364 calculation method Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 5
- 230000000007 visual effect Effects 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 18
- 239000003550 marker Substances 0.000 claims description 13
- 238000013519 translation Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003708 edge detection Methods 0.000 claims description 7
- 230000005484 gravity Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000009499 grossing Methods 0.000 claims description 2
- 238000005192 partition Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 8
- 238000009616 inductively coupled plasma Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241000555745 Sciuridae Species 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Abstract
本发明公开了一种基于标记点的实时三维建模方法，包括如下步骤：数据采集和预处理、提取标记点组建刚体、配准并生成全局点云；本发明利用深度传感器捕获放置在转盘上的物体的点云，并通过滤波器来滤除背景和异常点云，保证点云数据的准确。接着从视图点云中提取出标记点点云，并用分区补偿法来找出圆心，从而组建刚体。紧接着通过计算各个视角下的多点刚体本身建立的坐标系与全局坐标系之间的位姿关系来间接计算各视角间的位姿变换关系，完成每一视角点云的配准。最后将多帧的点云数据进行配准融合，就可以得到全局点云模型。实验结果表明，该方法能够实时并且有效地完成三维物体的建模，计算时间远低于扫描时间且平均准确度为90%。
Description
技术领域：
本发明涉及一种基于标记点的实时三维建模的方法，属于基于深度摄像头进行三维建模的计算机视觉领域。
背景技术：
目前较为常用的三维建模方式有：基于激光扫描仪测距进行的建模，基于立体视觉法的建模以及基于结构光测的深度数据进行的建模。
基于激光扫描仪的三维建模方式，通常扫描设备通过不断的对场景或目标物体发射激光，并通过反射光返回的时间来测定目标到设备之间的距离，通过大量高密度的扫描，得到一组关于场景或目标物体的点云，由于采样密度通常非常高，可以通过直接显示三维点云，来显示出物体的形状，也可以通过插值拟合或其他方法，将所获得的点云转换为三维网格，重构出目标几何来，再完成纹理映射，实现模型的建立，即减小了数据量，同时也可以获得一些基本的结构信息。
基于立体视觉法的建模是另外一种常用的三维重建方法。主要包括直接利用测距器获取距离信息、通过一幅图像推测三维信息和利用不同视点上的两幅或多幅图像恢复三维信息等三种方式。通过模拟人类视觉系统，基于视差原理获取图像对应点之间的位置偏差，恢复出三维信息。U.R.Dhond等人提出了基于层次处理的三目立体约束方法。二十世纪90年代末，涌现出诸如图像匹配的前沿算法、遮挡处理算法等。M.Z.Brown等人总结了2000年到2010年间的三维视觉发展的总体概况，包括遮挡、配准和效率等的相关分析。D.Scharstein等人比较了现阶段各种算法的性能。Hartley和O.Faugeras提出了基于多帧的多视图几何方法，来恢复三维物体。Carsten Rother提出一种边恢复摄像机参数边三维重建的方法。
基于结构光测的深度数据进行的建模是通过向表面光滑无特征的物体发射具有特征点的光线，依据光源中的立体信息辅助提取物体的深度信息。具体的过程包括两个步驟，首先利用激光投影仪向目标物体投射可编码的光束，生成特征点；然后根据投射模式与投射光的几何图案，通过三角测量原理计算摄像机光心与特征点之间的距离，由此便可获取生成特征点的深度信息，实现模型重建。这种可编码的光束就是结构光，包括各种特定样式的点、线、面等图案。结构光法解决了物体表面平坦、纹理单一、灰度变化缓慢等问题。因为实现简单且精度较高，所结构光法的应用非常广泛，目前已有多家公司生产了以结构光技术为基础的硬件设备，如PrimeSensor公司的PrimeSensor、微软公司的Kinect和华硕公司的Xtion PROLIVE等产品。
近年来，随着低价、便携、高效的深度传感器的出现，基于深度信息的三维重建受到越来越多的研究者的关注。
2010年，Henry首先使用Kinect传感器完成了室内空间的重构。不过此时的三维模型还不够精细，表面附着了明虽黑斑像素点，重建速度也非常缓慢，约为2fps(帧每秒)。这种方法的速度与精度都需要提高。
2011年，Microsoft剑桥研究院Newcombe提出了KinectFusion项目。该项目旨在通过移动Kinect传感器，获取点云数据的坐标、法向量，利用迭代最近点算法完成配准，最后用移动立方体方法生成表面，但此方法不适用于动态建模。
2012年，Chatterjee采用Kinect建立了一个几何一致三维模型的系统，该系统采用自适应双边滤波器来平滑含噪声的深度图，采用全局迭代最近点(Iterative ClosestPoint)：ICP配准方法实现精确和一致的对齐，最后，使用基于符号距离函数的标准流程来构建感兴趣目标的完整三维模型，从而融合对齐扫描。
2013年，Chen设计实现了一个GPU辅助计算的Kinect三维重建系统。利用GPU显存和分层数据结构，可以达到对大型场景实时精细建模的目的。此方法为了加快运算速度，提高重建效率。范哲等人使用ICP算法来计算两组点云数据间的变换矩阵，借助于点云库(Point Cloud Library)：PCL进行三维点云数据的配准。
2015年，Shi等人通过消除不必要的对应点对提出了三维建模解决方案，提高了点云配准的准确性。除此之外，他们还提出了一种闭环优化策略来消除ICP算法产生的累积误差。Mayoore等人提出了一种消除累积误差的全局对齐策略。另外，他们提出了一种纹理映射方法，它将每个点的颜色复制到三角形网格上的顶点，使重建模型更加精确。
2016年，Ma等人提出了一种新的点云配准算法用于相邻视图云的配准，该算法采用同余球面策略搜索对应点。
2017年，Martin提出了建立均匀栅格的研究思路来对三维重建中的稠密点云进行精简，对Z轴上数据到栅格的远近找出中值来代替所有点数据，但是仍然没能考虑原始点云的特征信息。
综上所述，基于深度传感器的深度数据的三维建模方法与激光扫描、结构光扫描等建模方法具有低消耗、低成本、高性能、高精度的优点。三维建模技术在医学治疗、文物保护、游戏开发、工业设计、航天航海等方面有着重要的作用。因此，基于深度传感器的深度数据的三维建模方法会越来越受到研究者的关注，必将有着广阔的应用空间。
公开于该背景技术部分的信息仅仅旨在增加对本发明的总体背景的理解，而不应当被视为承认或以任何形式暗示该信息构成已为本领域一般技术人员所公知的现有技术。
发明内容：
本发明的目的在于提供一种以深度传感器为例的三维建模方法和应用，从而克服上述现有技术中的缺陷。
为实现上述目的，本发明提供了一种基于标记点的实时三维建模方法和应用，该方法包括如下步骤：
步骤1：获取点云数据和预处理；
通过深度传感器捕捉深度图像与彩色图像，利用转化算法找到两者之间的对应关系，从而生成点云数据并可视化，去除点云数据中的背景和噪声；
步骤2：提取标记点组建刚体；
通过平面提取算法和提取密集区域策略将疑似标记点的点云分割提取出来，利用形状判决策略将标记点从疑似的点云集中提取出来，从而组建刚体。
步骤3：进行配准，获得重建模型；
通过获得的多点刚体本身组成的坐标系和全局坐标系之间的位姿关系，求出相邻视角之间的旋转平移矩阵，完成相邻视角之间的配准，将多帧视角点云进行配准融合获得重建模型。
本发明进一步限定的技术方案为：
进一步的，所述步骤1中，点云数据的获取是通过转化算法来寻找深度图像和彩色图像之间的关系，以及深度图像和空间点深度之间的对应关系，生成彩色点云数据。采用直通滤波器将物体初步和背景来分离出来。接下来通过平面检测算法的检测出平面的位置，根据点云距平面的距离将物体与背景进一步分割，最后通过边缘检测算法将物体完全剥离出来。
进一步的，所述步骤2中，运用平面提取算法将平面提取出来，并根据颜色提取出标记点点云。根据密集点云区域的策略将距离较近的一些点聚集为一个点云，将标记点点云分割为几个只含有单个标记点的点云，并根据形状判决策略消除对圆形区域的误判。提出扇区补偿法来解决标记点点云疏密不均导致圆心坐标不准的问题，使圆心坐标计算更加准确。
进一步的，所述步骤3中，相邻帧的点云数据的配准是通过旋转平移矩阵完成的，旋转平移矩阵的计算则由多点刚体本身的坐标系与全局坐标系之间的位姿关系得来。与ICP算法不同，组成全局点云模型需要的数帧点云不需要位置接近，任意两帧之间点云都可以配准融合成全局点云模型，减少了点云配准的计算量。
进一步的，所述步骤3中，任意两帧之间点云都可以配准融合成全局点云模型。
进一步的，步骤1：获取点云数据和预处理；
步骤1-1：获取点云数据；获取深度图像后，将深度图像的(u，v)坐标通过内外参数矩阵映射到世界坐标(x，y，z)，的到灰色三维点云；将彩色图作为纹理、映射到灰色点云上，最后就可以获得彩色点云；
步骤1-2：预处理；获取的深度图像和RGB图像包含背景和噪声点云，这些点云会影响点云配准的精度；通过直通滤波器来初步滤除背景接着通过平面提取算法提取平面方程将平面和物体分割出来，分割的具体步骤如下：认为地平面上的点为内部点，其他点为外部点；取n个内部点表示为P1，P2，P3，……，Pn，将它们分成多组，每组t个点。P1，P2，……，Pr1；Pr1+1，Pr1+2，……，Pr2；Pr2+1，Pr2+2，……，Pn；每组的中心坐标计算公式如下：
这样，就可获得多个点
它们将用于计算平面方程ax+by+cz＝d，通过点到平面的距离将物体从背景中分离出来，最后，本发明通过边缘检测算法将物体完全剥离出来；
步骤2：提取标记点组建刚体；
步骤2-1：提取并分割标记点；通过之前提到的平面检测算法来检测到平面位置；因为标记点与平面有明显的颜色差异，通过滤波器来仅让特定颜色的点通过，从而提取标记点点云；通过提取密集点云区域的策略，将距离较近的一些点聚集为一个点云，将单个标记点点云从所有标记点点云中分割出来；
步骤2-2：纠正标记点；白色平板上可能出现的污渍或者物体与平板的接缝处的颜色可能与标记点颜色相似，因此提取标记点点云时需要根据标记点特定形状来过滤其它噪点；采用基于形状判决的策略将标记点正确提取出来；具体为将圆片状点云分为多个区域，每个区域的面积都相同，由于点云中的点是大致均匀分布的，因此每个区域中的点数不会相差太大，通过判断这些区域的点数差值的绝对值就可以判断是否是本文需要的半径的圆片状标记点点云；
步骤2-3：提取圆心坐标组成刚体；通过扇区补偿法弥补点云疏密不均以及部分缺失导致的计算误差，圆心的计算可以通过计算圆形区域的重心得到；具体做法为：①将圆形按半径分为面积相等的内环、中环以及外环，然后将圆形分为多个扇形部分，这样内环、中环以及外环都被分为相应个区域；②分别对每个环的区域中的点数去掉一个最高值，去掉一个最小值，然后计算平均值，小于这个平均值的区域向其中加入点使其与平均值相等，大于这个平均值的区域向其中删除点使其与平均值相同；③重新计算点云的重心；
步骤3：进行配准，获得重建模型；
步骤3-1：相邻视角配准；采用基于多点刚体的配准方法即通过旋转平移矩阵来表示相邻视角之间位姿变换关系；
配准的具体步骤为①根据参考帧的刚体的局部坐标系与全局坐标系之间的转换关系求出旋转平移矩阵；②再依据当前帧的局部坐标系和全局坐标系之间的关系，就可以完成当前帧点云和参考帧点云之间对应。
步骤3-2：获得重建模型；将不同视角的点云融合在一起就可以获得重建的三维模型；任意两帧之间点云都可以进行配准融合成全局点云模型；最后还通过移动最小二乘滤波器来平滑融合后的点云模型。
一种基于标记点在实时三维建模中的应用。
与现有技术相比，本发明的有益效果为：
1、本发明采用滤波器、平面提取算法和边缘检测算法能够准确地滤除背景和噪声，减少了接下来点云配准的计算量和错误率。
2、本发明采用的密集点云区域提取策略和形状判决策略，能够准确的将标记点分割提取出来。
3、本发明采用的多点刚体配准方法，不同视角的点云不需要位置接近，任意两帧
之间点云都可以配准融合成全局点云模型，使实时三维建模成为可能。
附图说明：
图1为本发明的基于标记点的三维建模方法框图。
图2为本发明的预处理中滤除背景和异常点的效果图。
图2(a)为深度传感器采集的原始点云数据。
图2(b)为通过直通滤波器滤除后的效果。
图2(c)为经过平面提取算法和边缘检测后提取的点云效果图。
图3为本发明的构建的基于标记点的三维建模的实验场景图。
其中，圆点为本发明中设置的标记点。
图4为本发明的标记点提取结果图。
图5为本发明的经过分区补偿后提取的圆心效果图。
图5(a)为标记点点云疏密不均的情况。
图5(b)为分区补偿后的标记点点云图。
图5(c)为标记点的点云部分缺失的情况。
图5(d)为分区补偿后的标记点点云图。
图6为本发明的三只松鼠箱子的三维建模结果图。
其中，图6(a)为三只松鼠箱子实物图。
图6(b)为生成的箱子点云模型。
图7为本发明的龙猫的三维建模结果图。
图7(a)为龙猫实物图。
图7(b)为生成的龙猫点云模型。
图8为本发明的工具箱的三维建模结果图。
图8(a)为工具箱实物图。
图8(b)为生成的工具箱点云模型。
具体实施方式：
下面对本发明的具体实施方式进行详细描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
如图1所示，整个建模方法的步骤如下：
步骤1：获取点云数据和预处理；
步骤1-1：获取点云数据；获取深度图像后，将深度图像的(u，v)坐标通过内外参数矩阵映射到世界坐标(x，y，z)，这样就可以的到灰色三维点云。将彩色图作为纹理、映射到灰色点云上，最后就可以获得彩色点云。
步骤1-2：预处理；获取的深度图像和RGB图像包含背景和噪声点云，这些点云会影响点云配准的精度。本发明通过直通滤波器来初步滤除背景如图2，接着通过平面提取算法提取平面方程将平面和物体分割出来，分割的具体步骤如下：认为地平面上的点为内部点，其他点为外部点。取n个内部点表示为P1，P2，P3，……，Pn，将它们分成多组，P1，P2，……，Pr1；Pr1+1，Pr1+2，……，Pr2；Pr2+1，Pr2+2，……，Pn；每组的中心坐标计算公式如下：
这样，就可获得多个点
它们将用于计算平面方程ax+by+cz＝d，通过点到平面的距离将物体从背景中分离出来，最后，本发明通过边缘检测算法将物体完全剥离出来，步骤效果图如图2。
步骤2：提取标记点组建刚体；
步骤2-1：提取并分割标记点；本发明通过之前提到的平面检测算法来检测到平面位置。因为标记点与平面有明显的颜色差异，本发明通过滤波器来仅让特定颜色的点通过，从而提取标记点点云。实验环境如图3。本发明通过提取密集点云区域的策略，将距离较近的一些点聚集为一个点云，将单个标记点点云从所有标记点点云中分割出来。
步骤2-2：纠正标记点；白色平板上可能出现的污渍或者物体与平板的接缝处的颜色可能与标记点颜色相似，因此提取标记点点云时需要根据标记点特定形状来过滤其它噪点。本发明采用基于形状判决的策略将标记点正确提取出来。具体实现思路为将圆片状点云分为多个区域，每个区域的面积都相同，由于点云中的点是大致均匀分布的，因此每个区域中的点数不会相差太大，通过判断这些区域的点数差值的绝对值就可以判断是否是本文需要的半径的圆片状标记点点云。标记点提取效果如图4。
步骤2-3：提取圆心坐标组成刚体；由于噪声的影响，分离出来的标记点可能会出现各区域疏密不太均匀，以及圆片边缘部分缺失等情况，会导致直接提取的重心偏离实际的圆心。本发明通过扇区补偿法弥补点云疏密不均以及部分缺失导致的计算误差，圆心的计算可以通过计算圆形区域的重心得到。具体做法为：①将圆形按半径分为面积相等的内环、中环以及外环，然后将圆形分为多个扇形部分，这样内环、中环以及外环都被分为相应个区域；②分别对每个环的区域中的点数去掉一个最高值，去掉一个最小值，然后计算平均值，小于这个平均值的区域向其中加入点使其与平均值相等，大于这个平均值的区域向其中删除点使其与平均值相同。③重新计算点云的重心，这样就可以实现弥补疏密不均以及部分缺失导致圆心计算误差大的情况。圆心提取效果如图5所示。
步骤3：进行配准，获得重建模型；
步骤3-1：相邻视角配准；关于相邻视角的配准，本发明提出了一种基于多点刚体的配准方法。本发明中配准即通过旋转平移矩阵来表示相邻视角之间位姿变换关系。
配准的具体步骤为①根据参考帧的刚体的局部坐标系与全局坐标系之间的转换关系求出旋转平移矩阵；②再依据当前帧的局部坐标系和全局坐标系之间的关系，就可以完成当前帧点云和参考帧点云之间对应。
步骤3-2：获得重建模型；本发明将不同视角的点云融合在一起就可以获得重建的三维模型。基于标记点的三维建模不需要位置接近，任意两帧之间点云都可以进行配准融合成全局点云模型。因此，本发明只需几帧点云就可以完成建模，大大减少了相邻视角点云配准的时间。本发明最后还通过移动最小二乘滤波器来平滑融合后的点云模型。建模效果如图6、7、8所示。
综上所述，本发明通过深度传感器实现了实时的三维建模。为了完成三维建模，本发明通过深度传感器捕获放置在转盘上的物体的点云，还通过分割和预处理来滤除背景和异常点云。接着从视图点云中分割出单个标记点点云，并用分区补偿法来找出圆心，从而组建刚体。紧接着通过计算各个视角下的基于刚体本身建立的坐标系与全局坐标系之间的位姿关系来完成每一视角点云的配准。然后将多帧点云数据进行配准融合，就可以得到全局点云模型。最后通过实验验证了本发明提出的基于标记点的实时三维重建结果的准确性、实时性和鲁棒性。
前述对本发明的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本发明限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本发明的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本发明的各种不同的示例性实施方案以及各种不同的选择和改变。本发明的范围意在由权利要求书及其等同形式所限定。
Claims (10)
1.一种基于标记点的实时三维建模方法，其特征在于：包括如下步骤：
步骤1：获取点云数据和预处理；通过深度传感器捕捉深度图像与彩色图像，利用转化算法找到两者之间的对应关系，从而生成点云数据并可视化，去除点云数据中的背景和噪声；
步骤2：提取标记点组建刚体；通过平面提取算法和提取密集区域策略将疑似标记点的点云依次单个提取出来，再利用形状判决策略滤除错误的标记点点云，从而组建刚体；
步骤2：提取标记点组建刚体；
步骤2-1：提取并分割标记点；通过之前提到的平面检测算法来检测到平面位置；因为标记点与平面有明显的颜色差异，通过滤波器来仅让特定颜色的点通过，从而提取标记点点云；通过提取密集点云区域的策略，将距离较近的一些点聚集为一个点云，将单个标记点点云从所有标记点点云中分割出来；
步骤2-2：纠正标记点；白色平板上可能出现的污渍或者物体与平板的接缝处的颜色可能与标记点颜色相似，因此提取标记点点云时需要根据标记点特定形状来过滤其它噪点；采用基于形状判决的策略将标记点正确提取出来；具体为将圆片状点云分为多个区域，每个区域的面积都相同，由于点云中的点是大致均匀分布的，因此每个区域中的点数不会相差太大，通过判断这些区域的点数差值的绝对值就可以判断是否是本文需要的半径的圆片状标记点点云；
步骤2-3：提取圆心坐标组成刚体；通过扇区补偿法弥补点云疏密不均以及部分缺失导致的计算误差，圆心的计算可以通过计算圆形区域的重心得到；具体做法为：①将圆形按半径分为面积相等的内环、中环以及外环，然后将圆形分为多个扇形部分，这样内环、中环以及外环都被分为相应个区域；②分别对每个环的区域中的点数去掉一个最高值，去掉一个最小值，然后计算平均值，小于这个平均值的区域向其中加入点使其与平均值相等，大于这个平均值的区域向其中删除点使其与平均值相同；③重新计算点云的重心；
步骤3：进行配准，获得重建模型；通过获得的多点刚体本身组成的坐标系和全局坐标系之间的位姿关系，求出相邻视角之间的旋转平移矩阵，完成相邻视角之间的配准，将多帧视角点云进行配准融合获得重建模型。
2.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于：所述步骤1中，点云数据的获取是通过转化算法来寻找深度图像和彩色图像之间的关系，以及深度图像和空间点深度之间的对应关系，从而生成彩色点云数据。
3.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于：所述步骤1中，采用滤波器将物体和背景来初步分离出来；接下来通过平面检测算法检测出平面的位置，根据点云距平面的距离将物体与背景进一步分割；再通过边缘检测算法将物体完全剥离出来。
4.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于：所述步骤2中，根据颜色提取出标记点点云。
5.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于：所述步骤2中，根据密集点云区域的策略将距离较近的一些点聚集为一个点云，将标记点点云分割为几个只含有单个标记点的点云，并根据形状判决策略消除对圆形区域的误判。
6.根据权利要求5所述的基于标记点的实时三维建模方法，其特征在于，所述步骤2中，提出扇区补偿法来使圆心坐标计算更加准确。
7.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于，所述步骤3中，相邻帧点云数据的配准是通过旋转平移矩阵完成的，旋转平移矩阵的计算由多点刚体本身的坐标系与全局坐标系之间的位姿关系得来。
8.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于，所述步骤3中，任意两帧之间点云都可以配准融合成全局点云模型。
9.根据权利要求1所述的基于标记点的实时三维建模方法，其特征在于，步骤1：获取点云数据和预处理；
步骤1-1：获取点云数据；获取深度图像后，将深度图像的（u，v）坐标通过内外参数矩阵映射到世界坐标（x，y，z），得到灰色三维点云；将彩色图作为纹理、映射到灰色点云上，最后就可以获得彩色点云；
步骤1-2：预处理；获取的深度图像和RGB图像包含背景和噪声点云，这些点云会影响点云配准的精度；通过直通滤波器来初步滤除背景，接着通过平面提取算法提取平面方程将平面和物体分割出来，分割的具体步骤如下：认为地平面上的点为内部点，其他点为外部点；取n个内部点表示为P1，P2，P3，……，Pn，将它们分成多组，P1，P2，……，Pr1；Pr1+1，Pr1+2，……，Pr2；Pr2+1，Pr2+2，……，Pn；每组的中心坐标计算公式如下：
这样，就可获得多个点
= (
, 
, 
) ， j = 1,2,3,…，j为正整数，它们将用于计算平面方程ax + by + cz = d，通过点到平面的距离将物体从背景中分离出来，最后通过边缘检测算法将物体完全剥离出来；
步骤3：进行配准，获得重建模型；
步骤3-1：相邻视角配准；采用基于多点刚体的配准方法即通过旋转平移矩阵来表示相邻视角之间位姿变换关系；
配准的具体步骤为①根据参考帧的刚体的局部坐标系与全局坐标系之间的转换关系求出旋转平移矩阵；②再依据当前帧的局部坐标系和全局坐标系之间的关系，就可以完成当前帧点云和参考帧点云之间对应；
步骤3-2：获得重建模型；将不同视角的点云融合在一起就可以获得重建的三维模型；任意两帧之间点云都可以进行配准融合成全局点云模型；最后还通过移动最小二乘滤波器来平滑融合后的点云模型。
10.一种权利要求1所述的基于标记点的实时三维建模方法在实时三维建模中的应用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534171.5A CN110264567B (zh) | 2019-06-19 | 2019-06-19 | 一种基于标记点的实时三维建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910534171.5A CN110264567B (zh) | 2019-06-19 | 2019-06-19 | 一种基于标记点的实时三维建模方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110264567A CN110264567A (zh) | 2019-09-20 |
| CN110264567B true CN110264567B (zh) | 2022-10-14 |
Family
ID=67919518
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910534171.5A Active CN110264567B (zh) | 2019-06-19 | 2019-06-19 | 一种基于标记点的实时三维建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110264567B (zh) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110838137A (zh) * | 2019-09-23 | 2020-02-25 | 西北大学 | 一种基于伪Huber损失函数的三维点云刚体配准方法及系统 |
| CN114270410A (zh) * | 2019-10-17 | 2022-04-01 | 深圳市大疆创新科技有限公司 | 移动物体的点云融合方法、系统及计算机存储介质 |
| CN111444811B (zh) * | 2020-03-23 | 2023-04-28 | 复旦大学 | 一种三维点云目标检测的方法 |
| CN112070816B (zh) * | 2020-07-29 | 2024-04-05 | 深圳瀚维智能医疗科技有限公司 | 用于按摩设备的人体背部三维点云重建方法、装置及计算机可读存储介质 |
| CN111932671A (zh) * | 2020-08-22 | 2020-11-13 | 扆亮海 | 基于密集点云数据的三维实体模型重建方法 |
| CN112348893B (zh) * | 2020-10-30 | 2021-11-19 | 珠海一微半导体股份有限公司 | 一种局部点云地图构建方法及视觉机器人 |
| CN112508767B (zh) * | 2020-12-14 | 2023-10-13 | 北京超星未来科技有限公司 | 一种基于gpu的gmm点云配准方法 |
| CN112817324A (zh) * | 2020-12-17 | 2021-05-18 | 国网山西省电力公司运城供电公司 | 配网线路多无人机协同巡检任务分配方法和系统 |
| CN112669444A (zh) * | 2020-12-17 | 2021-04-16 | 国网山西省电力公司运城供电公司 | 配网线路无人机巡检典型场景的快速构建方法及系统 |
| CN112783196A (zh) * | 2020-12-17 | 2021-05-11 | 国网山西省电力公司运城供电公司 | 配网线路无人机自主飞行路径规划方法及系统 |
| CN112754658B (zh) * | 2020-12-31 | 2023-03-14 | 华科精准（北京）医疗科技有限公司 | 一种手术导航系统 |
| CN112950679A (zh) * | 2021-01-28 | 2021-06-11 | 武汉博雅弘拓科技有限公司 | 基于摄影测量技术的冗余点云自动剔除方法和系统 |
| CN112862878B (zh) * | 2021-02-07 | 2024-02-13 | 浙江工业大学 | 一种基于3d视觉的机械臂修坯方法 |
| CN112907713A (zh) * | 2021-02-24 | 2021-06-04 | 中基发展建设工程有限责任公司 | 一种点云数据处理方法及系统 |
| CN113034676A (zh) * | 2021-03-29 | 2021-06-25 | 黑芝麻智能科技(上海)有限公司 | 三维点云图的生成方法、装置、计算机设备和存储介质 |
| CN113205536B (zh) * | 2021-05-28 | 2022-04-29 | 湖北工业大学 | 骨料密集度云图的绘制方法 |
| CN113516772B (zh) * | 2021-06-30 | 2023-09-15 | 同济大学 | 三维场景重建方法及装置、bim模型的优化方法及装置 |
| CN113538666B (zh) * | 2021-07-22 | 2022-04-19 | 河北农业大学 | 一种植物植株三维模型快速重建方法 |
| CN113554691B (zh) * | 2021-07-22 | 2022-05-10 | 河北农业大学 | 一种植株高度测量方法 |
| CN113763537A (zh) * | 2021-09-07 | 2021-12-07 | 岱悟智能科技(上海)有限公司 | 一种基于平面识别的三维点云平面优化方法 |
| CN113514812B (zh) * | 2021-09-14 | 2021-12-14 | 北京海兰信数据科技股份有限公司 | 一种岸基雷达杂波抑制处理方法及系统 |
| CN113903179B (zh) * | 2021-09-30 | 2022-07-26 | 山东大学 | 一种基于点云密度叠加分布的多线束激光雷达背景滤除装置的使用方法 |
| WO2023179782A1 (zh) * | 2022-03-25 | 2023-09-28 | 先临三维科技股份有限公司 | 三维扫描系统、方法、装置和移动计算模组 |
| CN116912427B (zh) * | 2023-09-12 | 2023-11-24 | 武汉工程大学 | 基于标记点三角特征聚类的三维扫描重建方法及系统 |
| CN117115169A (zh) * | 2023-10-25 | 2023-11-24 | 宁波吉烨汽配模具有限公司 | 一种汽车配件压铸模具表面形变异常智能识别方法 |
| CN117409149A (zh) * | 2023-12-07 | 2024-01-16 | 武汉中测晟图遥感技术有限公司 | 基于立体约束的光束法平差方程的三维建模方法及系统 |
-
2019
- 2019-06-19 CN CN201910534171.5A patent/CN110264567B/zh active Active
Non-Patent Citations (1)
| Title |
|---|
| A Triangular Texture Mapping for 3D Modeling with Kinect;杨枫等;《Proceedings of the 2018 International Conference on Computing and Pattern Recognition》;20180623;第55-60页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110264567A (zh) | 2019-09-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN109872397B (zh) | 一种基于多目立体视觉的飞机零件的三维重建方法 | |
| CN113436260B (zh) | 基于多传感器紧耦合的移动机器人位姿估计方法和系统 | |
| CN108564616B (zh) | 快速鲁棒的rgb-d室内三维场景重建方法 | |
| CN104484668B (zh) | 一种无人机多重叠遥感影像的建筑物轮廓线提取方法 | |
| Zhou et al. | Seamless fusion of LiDAR and aerial imagery for building extraction | |
| Cheng et al. | 3D building model reconstruction from multi-view aerial imagery and lidar data | |
| US7509241B2 (en) | Method and apparatus for automatically generating a site model | |
| CN111563921B (zh) | 一种基于双目相机的水下点云获取方法 | |
| CN111060924B (zh) | 一种slam与目标跟踪方法 | |
| CN111524233B (zh) | 一种静态场景动态目标的三维重建方法 | |
| CN107862735B (zh) | 一种基于结构信息的rgbd三维场景重建方法 | |
| CN112001926B (zh) | 基于多维语义映射rgbd多相机标定方法、系统及应用 | |
| CN103839286B (zh) | 一种对象语义约束的真正射影像优化采样方法 | |
| CN112164145B (zh) | 基于点云数据快速提取室内三维线段结构的方法 | |
| CN113223135A (zh) | 一种基于特殊复合平面镜虚像成像的三维重建装置和方法 | |
| CN113178009A (zh) | 一种利用点云分割和网格修补的室内三维重建方法 | |
| CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
| CN114782628A (zh) | 基于深度相机的室内实时三维重建方法 | |
| Zhang et al. | Lidar-guided stereo matching with a spatial consistency constraint | |
| Wang et al. | Terrainfusion: Real-time digital surface model reconstruction based on monocular slam | |
| CN115564926A (zh) | 基于影像建筑物结构学习的三维面片模型构建方法 | |
| CN114463521B (zh) | 一种面向空地影像数据融合的建筑目标点云快速生成方法 | |
| Zhao et al. | Double propagation stereo matching for urban 3-d reconstruction from satellite imagery | |
| CN113487631B (zh) | 基于lego-loam的可调式大角度探测感知及控制方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |