CN104809757A

CN104809757A - 一种通过颜色与形状组合匹配三维点云的设备与方法

Info

Publication number: CN104809757A
Application number: CN201510218362.2A
Authority: CN
Inventors: 陈欣; 王凤麟
Original assignee: Nanjing Lang Biao Electronic Science And Technology Co Ltd
Current assignee: Nanjing Lang Biao Electronic Science And Technology Co Ltd
Priority date: 2015-05-04
Filing date: 2015-05-04
Publication date: 2015-07-29

Abstract

本发明提供了一种通过颜色与形状组合匹配三维点云的设备与方法包括固定平台、光感应装置、投影装置、计算机、转台，所述固定平台用于固定投影装置和光感应装置；所述投影装置固定于固定平台上，并连接计算机；所述转台上放置需要扫描的物体，多面扫描后自动拼接；所述计算机与投影装置连接并按时序发送需要投影的光栅数据至投影装置，所述光感应装置、投影装置及物体的相对位置不变。方法包括特征点提取和特征点匹配的步骤。本发明能同时获得三维坐标和色彩，从而可以找到更多的特征点，基于更多地特征点可以解决一些当前无法解决的自动拼接问题。

Description

一种通过颜色与形状组合匹配三维点云的设备与方法

技术领域

本发明涉及三维扫描技术领域，特别涉及一种通过颜色与形状组合匹配三维点云的设备与方法。

背景技术

三维扫描技术最早应用于工业，因为行业特殊性，点云数据对三维精度要求较高，但对颜色不敏感。针对工业设计的三维扫描设备获得的原始点云无色彩。

随着三维技术在其他行业如文化、教育、医疗的兴起，对三维模型色彩也提出要求，例如WRL格式的三维点云数据，每个数据就可以包括三维坐标和RGB色彩值。当前主流技术为了顺应该需求，基于原来的技术另外添加彩色相机，在获得模型后进行贴图，属于后期获得颜色。

对于点云数据的拼接，工业上的方法是通过对扫描对象粘贴标识点的办法，但是对于很多扫描对象如文物、人体等，难以通过该方法实现。因此出现了基于特征点识别和匹配，得到旋转和平移矩阵后，对点云数据进行旋转平移完成拼接过程。

问题在于：对于特征点提取，因为目前扫描得到的点云通常只有三维坐标，因此都是通过曲率或法线变化获得，只与三维形状相关。那么对于一些三维形状变化不明显的物体，极端如圆球、平面，无法获得特征点或有较大误差。

三维点云模型的特征点主要包括两类，一类是模型本身固有的特征点，这类特征点主要通过分析模型表面的集合特性来提取特点，例如曲率大小，点间法线变化等等。另一类特征点是和人们看模型所关注的外形，轮廓等有关的点，是依赖视点的特征点，例如轮廓点，提示性轮廓点等。目前特征点提取的主流方法为：利用曲率提取特征点、利用点间法线变化提取特征点、提取视点相关的特征点。

本发明人于的申请号为CN201310542302.7的在先申请《一种三维重建方法》采用光投射设备、光感应设备重建目标物体的三维模型；所述光投射设备将一图案投影至所述目标物体上任一目标点，以形成投影点，所述光感应设备记录所述投影点以形成记录点，并建立第三坐标系计算目标点在光感应设备平面的坐标系内的坐标。

本发明的目的是要在通过该设备能同时获得三维坐标和色彩，从而可以找到更多地特征点，基于更多地特征点可以解决一些当前无法解决的自动拼接问题。

发明内容

本发明的目的是提供一种通过颜色与形状组合匹配三维点云的设备，能同时获得三维坐标和色彩，从而可以找到更多的特征点。

为实现上述目的，本发明采用以下技术方案：一种通过颜色与形状组合匹配三维点云的设备，包括固定平台、光感应装置、投影装置、计算机、转台，其中，所述固定平台用于固定投影装置和光感应装置；所述投影装置固定于固定平台上，并连接计算机；所述转台上放置需要扫描的物体，用于多面扫描后自动拼接。

所述计算机与投影装置连接并按时序发送需要投影的光栅数据至投影装置，不同焦距下的投影装置将这些光栅序列投影至转台或转台上的物体的不同的投影位置；所述光感应装置固定于固定平台上，用于记录投影位置；所述光感应装置、投影装置及物体的相对位置不变。

所述投影装置为投影仪、幻灯机、手机投影仪或投影器。

所述光感应装置为照相机或摄像机。

所述转台为电动精密旋转台。

本发明的另一个目的是提供一种通过颜色与形状组合匹配三维点云的方法。

一种通过颜色与形状组合匹配三维点云的方法，包括如下步骤：（1）特征点提取：每个点云有（X，Y，Z，R，G，B）数值，首先对 XYZ的特征点提取，得到形状特征点；然后对RGB的特征点提取，采用SIFT算法对二维图像的特征点提取；对三维点的色彩特征点提取，可以先在二维特征点用SIFT算法获得后，对应到三维坐标上，这样处理后，每个点云数据可以用（X，Y，Z，R，G，B，flag）来表示，其中flag=0表示同时是形状和色彩特征点，=1表示只是形状特征点，=2表示只是色彩特征点，=其他表示不是特征点。

（2）特征点匹配：采用常规的特征点匹配法进行匹配，flag=0和1 的点去匹配形状特征点，flag=0和2的点进行颜色特征点匹配。

步骤（2）中的处理方法如下：（2-1）、对于匹配的特征点总和超过3的情况，需要优选较好的3个，求得旋转和平移矩阵后完成拼接；（2-2）、对于只有3个特征点的情况，直接求旋转和平移矩阵后完成拼接；（2-3）、对于不足3个特征点的情况，无法完成拼接。

有益效果：本发明的设备能同时获得三维坐标和色彩，从而可以找到更多地特征点，基于更多地特征点可以解决一些当前无法解决的自动拼接问题。本发明可以精确获得相机底片上每个像素对应的三维点坐标和色彩值，且因为方案的特殊性，坐标和色彩计算数据都来源于同一相机底片，因此无需进行旋转平移对应点的颜色，理论上不存在误差。匹配特征点包括了颜色特征点，比存粹的形状特征点更多，同时选择的余地更大，可以得到更优质的特征点。

附图说明

图1是本发明的设备的结构示意图。

图2是计算得到的三维模型（无色彩）。

图3是相机底片上原始彩色二维照片。

图4是坐标和色彩对应后贴图得到的彩色三维模型。

图5是无色彩的球形点云数据无法找到形状特征点。

图6是同样情况下基于本发明找到匹配的颜色特征点。

图7是本发明精确完成拼接得到的图。

图8是点集合的示意图。

具体实施方式

下面结合附图对本发明作进一步说明。

如图1所示，一种通过颜色与形状组合匹配三维点云的设备，包括固定平台、光感应装置、投影装置、计算机、转台，其中，固定平台用于固定投影装置和光感应装置；投影装置固定于固定平台上，并连接计算机；转台上放置需要匹配三维点云的物体，用于自动拼接；计算机与投影装置连接并发送定标数据至投影装置，不同焦距下的投影装置将定标数据投影至转台或转台上的物体的不同的投影位置；光感应装置固定于固定平台上，用于记录投影位置；光感应装置、投影装置及物体的相对位置不变。

投影装置为投影仪，不仅移动方便，且调整焦距时不影响其他设备工作。也可采用幻灯机、手机投影仪或投影器，但上述投影装置或因成像不清晰或因不方便调整位置等无法提供最便捷的定标过程至使用者。

光感应装置为照相机或摄像机等可精确记录不同成像的设备，使用者可精确识别通过照相或拍摄记录下的成像中的定标图案即可。光感应装置的选择并不仅限于上述提到的照相机或摄像机的使用，本领域技术人员可根据上述表达的技术效果变换光感应装置的选择。

转台为电动精密旋转台。

定标数据包括每个像素对应的三维点坐标和色彩。

上述设备能同时获得三维坐标和色彩，从而可以找到更多地特征点，基于更多地特征点可以解决一些当前无法解决的自动拼接问题。

一种利用上述设备通过颜色与形状组合匹配三维点云的方法，包括如下步骤：

（1）特征点提取：每个点云有（X，Y，Z，R，G，B）数值，首先采用当前主流方法对 XYZ的特征点提取，得到形状特征点；利用光感应装置实现图象的采集，并将图象传输至计算机，序列图像上用改进的 SUSAN 算法提取特征点，具体如下：将图象传输至计算机后，在计算机中完成以下程序。

S01、输入序列图象，得到当前图像，对图像进行预处理，采用高斯滤波去除图像中的噪声影响，然后把彩色图像转换成灰度图像。

S02、初始化参数，成功匹配次数： success_match_time=0，成功匹配的特征点个数：success_point_num=0。

S03、如果图像间的成功匹配次数 success_match_time>5, 则预测当前匹配的重叠区域，具体方法为：1)读入当前匹配之前的五次匹配数据： X 轴和 Y 轴偏移量；2)由 Kalman 滤波算法的状态预测方程得到当前匹配的重叠区域： (X 轴 Y 轴偏移量 ) ；3)根据预测出的 X 轴和 Y 轴偏移量，进行优化，如果 x 轴或 y 轴的偏移量过大，可能是由于预测误差所导致，以至于两幅图像的重叠区域过小，找不到匹配点或成功匹配点数太少，需要强制配置一个比较适当的重叠区域；如果 x 轴或 y 轴的偏移量过小，在两幅图像匹配时，可能会产生大量的信息冗余，需要强制配置一个比较适当的重叠区域4)经过优化之后的 Kalman 滤波算法最后输出 X 轴和 Y 轴偏移量。

S04、根据预测出的重叠区域，只在该重叠区域上用 SUSAN 算法提取特征点具体方法,具体为：1) 初始化参数：当前图像中像素的最大值 max=0，当前图像中像素的最小值min=0，当前图像中的特征点个数 totalcorner=0 ；2) 计算图像的相似度阈值 thre=(max-min)/10;3)构造像素点圆形区域的模板。圆形区域的模板一般都采用3×3、 5×5或者7×7的模板，为了提高提取特征点的精确性，本文采用 5×5 的模板：4) 用下式来计算圆形模板中与核心点有相似灰度值的像素个数，像素个数被定义为 USAN 值。

式中为模版内属于 USAN 区域象素的判别函数；为模板中心象素的灰度值；为模板内任意其他像素的灰度值；t是灰度差门限。

5) 用下式来计算特征点的初始响应值。

式中, 为任意点的 USAN 区域大小。

6) 根据下式响应函数值大于某一特定门限值 g 的点就被认为是初始特征点。

式中为响应函数， g 为几何门限。

然后对RGB的特征点提取，因为三维点与二维点有唯一对应关系，因此可以简化为对二维图像的特征点提取，目前已有成熟的方法，如SIFT算法，计算得到的三维点云如图2所示；通过 SIFT 方法进行特征点提取；视觉对惯性系统的约束主要体现在前后几帧图像中特征点坐标的变化上，因此，需要对预处理后的图像提取特征点；SIFT 方法进行特征点提取分为四步骤来实现：1) 检测尺度空间极值点；首次，定义图像尺度空间函数为 L(x， y， σ)，输入图像用 I(x， y) 表示，对输入图像进行卷积操作，则有。其中是尺度可变高斯函数， (x，y) 是空间坐标，σ是尺度坐标。采用不同的σ对图像进行高斯卷积，得到高斯图像金字塔。

其次，对高斯图像金字塔中相邻尺度的两个高斯图像相减得到高斯差分图像。

最后，将高斯差分图像中每一个像素都与其周围点相比较，得到极值点；2) 精确确定极值点位置；将位于边缘的极值点删掉，余下的则为 SIFT 特征点；3) 为每个特征点指定方向参数在以特征点为中心的邻域窗口内采样，并用直方图统计邻域像素的梯度方向。直方图的峰值代表了该特征点处邻域梯度的主方向，即作为该特征点的方向。当存在另一个相当于主峰值 80％能量的峰值时，则将这个方向认为是该特征点的辅方向。

4) 特征点描述向量的生成；首先将坐标轴旋转为特征点的方向，计算每个特征点邻域中梯度方向直方图并根据位置排序，然后将特征向量长度归一化，该向量就是 SIFT 特征点描述向量。

参照图3、4，对三维点的色彩特征点提取，可以先在二维特征点用SIFT算法获得后，对应到三维坐标上，这样处理后，每个点云数据可以用（X，Y，Z，R，G，B，flag）来表示，其中flag=0表示同时是形状和色彩特征点，=1表示只是形状特征点，=2表示只是色彩特征点，=其他表示不是特征点；（2）特征点匹配：均采用当前主流方法进行匹配，每一个 SIFT 特征点描述向量均代表了该特征点唯一的特征，对特征点进行匹配即对其特征点描述向量进行匹配。由于SIFT特征点提取方法提取出的特征点具有很高的鲁棒性，对图像的旋转、缩放、平移、光线以及遮挡等具有不变性。用128维的高维度来对特征点进行描述，使得特征点描述符之间具有很大的差异性，因此可以直接利用特征点之间的几何特性进行特征点的匹配；当前应用较多的为基于欧几里德距离的最近邻法作为衡量标准，相似性的进行图像匹配，该方法具体实现过程如下：设第一幅图像中第i个特征点，第二幅图像中的第j个特征点a i ， b j 的特征描述符为：a_i ＝ [α_i0， α_i1 ，……， α_i127 ] ；b_j ＝ [β_j0 ， β_j1 ，……， β_j127 ] 则这两个特征点描述符的欧几里德距离为: 。

将a_i与第二幅图像中所有的特征点计算距离，存入数组 D_i· ，并将这些距离从小到大排序，如果最小的距离 D_i0与次最小距离 D_i1的比值在某一个阈值内 (τ)，即 D_i0 ＜＝τ×D_i1 ，则认为匹配成功。把当前帧中所有的特征点都与前一帧进行匹配便得到特征点的匹配关系。

flag=0和1 的点去匹配形状特征点，flag=0和2的点进行颜色特征点匹配；处理方法如下：（2-1）、对于匹配的特征点总和超过3的情况，需要优选较好的3个，求得旋转和平移矩阵后完成拼接；如图8，例如点集合为A1A2.。。。AN，遍历其中选择任意3个点的情况，如A1A2A3连接成的空间三角形，3个夹角B1B2B3都接近60度为最优，因为对于该序列，可以求得S=abs（B1-60）+ abs（B2-60）+abs（B3-60），（abs为绝对值函数），S越小越好，这样在所有的特征点中选出S最小的三个特征点作为最后结果，求得旋转和平移矩阵后完成拼接；（2-2）、对于只有3个特征点的情况，直接求旋转和平移矩阵后完成拼接；（2-3）、对于不足3个特征点的情况，无法完成拼接。

如图5，无色彩的球形点云数据无法找到形状特征点，在同样情况下基于本发明可以找到足够多匹配的颜色特征点，如图6；最后如图7精确完成拼接。

Claims

1.一种通过颜色与形状组合匹配三维点云的设备，其特征在于：包括固定平台、光感应装置、投影装置、计算机、转台，其中，所述固定平台用于固定投影装置和光感应装置；所述投影装置固定于固定平台上，并连接计算机；所述转台上放置需要扫描的物体，用于多面扫描后自动拼接；所述计算机与投影装置连接并按时序发送需要投影的光栅数据至投影装置，不同焦距下的投影装置将这些光栅序列投影至转台或转台上的物体的不同的投影位置；所述光感应装置固定于固定平台上，用于记录投影位置；所述光感应装置、投影装置及物体的相对位置不变。

2.如权利要求1所述的通过颜色与形状组合匹配三维点云的设备，其特征在于：所述投影装置为投影仪、幻灯机、手机投影仪或投影器。

3.如权利要求1所述的通过颜色与形状组合匹配三维点云的设备，其特征在于：所述光感应装置为照相机或摄像机。

4.如权利要求1所述的通过颜色与形状组合匹配三维点云的设备，其特征在于：所述转台为电动精密旋转台。

5.如权利要求1所述的通过颜色与形状组合匹配三维点云的设备，其特征在于：所述物体的扫描结果包括每个像素对应的三维点坐标和色彩。

6.一种通过颜色与形状组合匹配三维点云的方法，其特征在于：包括如下步骤：（1）特征点提取：每个点云有（X，Y，Z，R，G，B）数值，其中，（X，Y，Z）表示空间坐标，（R，G，B）表示红绿蓝的色彩分量，首先对 XYZ的特征点提取，得到形状特征点；然后对RGB的特征点提取，采用SIFT算法对二维图像的特征点提取；对三维点的色彩特征点提取，可以先在二维特征点用SIFT算法获得后，对应到三维坐标上，这样处理后，每个点云数据可以用（X，Y，Z，R，G，B，flag）来表示， flag是通过传统方法计算形状和色彩特征点后得到的一个点的标志量，用于表示该点的特征，其中flag=0表示同时是形状和色彩特征点，=1表示只是形状特征点，=2表示只是色彩特征点，=其他表示不是特征点；（2）特征点匹配：采用常规的特征点匹配法进行匹配，flag=0和1 的点去匹配形状特征点，flag=0和2的点进行颜色特征点匹配。

7.如权利要求6所述的通过颜色与形状组合匹配三维点云的方法，其特征在于：步骤（2）中的处理方法如下：（2-1）、对于匹配的特征点总和超过3的情况，需要优选较好的3个，求得旋转和平移矩阵后完成拼接；（2-2）、对于只有3个特征点的情况，直接求旋转和平移矩阵后完成拼接；（2-3）、对于不足3个特征点的情况，无法完成拼接。