CN111161404B - 一种环形扫描形貌三维重建方法、装置及系统 - Google Patents

Abstract

本发明涉及三维重建技术领域，公开了一种环形扫描形貌三维重建方法、装置、系统以及计算机存储介质，其中方法包括以下步骤：S1、获取从当前高度上环绕待测物体的不同角度处采集的图像，得到一组全方位的图像组；S2、通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新；S3、利用当前外参模型对所述图像组进行点云拼接，得到点云数据组；S4、将当前高度的点云数据组与上一高度的点云数据组进行拼接；S5、判断待测物体是否扫描完成，如果是，则输出拼接完的点云数据得到三维模型，否则移动至下一高度进行图像采集，并重复步骤S1至S5。本发明对相机的外参进行校准，拼接误差低，建模精度高。

Description

一种环形扫描形貌三维重建方法、装置及系统

技术领域

本发明涉及三维重建技术领域，具体涉及一种环形扫描形貌三维重建方法、装置、系统以及计算机存储介质。

背景技术

三维重建是指对某些三维物体或者三维的场景的一种恢复和重构，重建出来的模型，方便计算机表示和处理。与传统的建模方式以及使用三维扫描仪扫描物体得到立体模型的方法相比，基于图像三维重建的方法具有成本低廉、真实感强、自动化程度高的优点，因而具有广泛的应用前景。在三维重建时，环向扫描获取图像相较于轴向扫描获取图像，每帧图像的变化更为复杂，特征点匹配、目标物分割提取、图像拼接更为困难。通常为了缩短扫描时间、提升重建质量，360°全方位的环向扫描需要多相机同时采图，这就带来视差的问题，需要通过拼接算法解决图像视差问题。拼接算法基于相机的标定参数建立，由于相机在扫描采图时需要进行移动，因此相机的震动会导致实际外参与标定外参会产生误差，从而直接导致拼接误差。

发明内容

本发明的目的在于克服上述技术不足，提供一种环形扫描形貌三维重建方法、装置、系统以及计算机存储介质，解决现有技术中由于相机震动带来外参误差，导致出现拼接误差、重建精度低的技术问题。

为达到上述技术目的，本发明的技术方案提供一种环形扫描形貌三维重建方法，包括以下步骤：

S1、获取从当前高度上环绕待测物体的不同角度处采集的图像，得到一组全方位的图像组；

S2、通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新；

S3、利用当前外参模型对所述图像组进行点云拼接，得到点云数据组；

S4、将当前高度的点云数据组与上一高度的点云数据组进行拼接；

S5、判断待测物体是否扫描完成，如果是，则输出拼接完的点云数据得到三维模型，否则移动至下一高度进行图像采集，并转重复步骤S1至S5。

本发明还提供一种环形扫描形貌三维重建装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述环形扫描形貌三维重建方法。

本发明还提供一种环形扫描形貌三维重建系统，包括所述环形扫描形貌三维重建装置，还包括多个相机以及运动控制装置，所述运动控制装置包括丝杠、立柱、圆环、伺服电机以及运动控制卡；

所述丝杠可转动的连接于所述立柱上，所述圆环通过连接件连接于所述丝杠上，多个所述相机在所述圆环上均匀布置，所述伺服电机与所述丝杠传动连接，所述伺服电机与所述运动控制卡电连接，各所述相机以及所述运动控制卡分别与所述环形扫描形貌三维重建装置电连接。

与现有技术相比，本发明的有益效果包括：本发明通过匹配相邻相机采集的相邻图像之间的相同特征点，重新求取外参坐标，从而对外参模型进行更新，使得外参模型与相机当前的位姿相匹配，消除了相机的抖动对外参模型的影响，然后通过更新后的外参模型进行相邻图像的点云拼接，消除外参变化带来的拼接误差，提高重建精度。

附图说明

图1是本发明提供的环形扫描形貌三维重建方法一实施方式的流程图；

图2是本发明提供的环形扫描形貌三维重建系统一实施方式的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明的实施例1提供了环形扫描形貌三维重建方法，以下简称本方法，包括以下步骤：

S1、获取从当前高度上环绕待测物体的不同角度处采集的图像，得到一组全方位的图像组；

S2、通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新；

S3、利用当前外参模型对图像组进行点云拼接，得到点云数据组；

S4、将当前高度的点云数据组与上一高度的点云数据组进行拼接；

S5、判断待测物体是否扫描完成，如果是，则输出拼接完的点云数据得到三维模型，否则移动至下一高度进行图像采集，并重复步骤S1至S5。

目前，被动式重建方法一般都是通过特征点配准实现的，本实施例在此基础之上，进一步采用并行全局优化方法。也就是说，先使用特征点来进行比较粗糙的配准，因为稀疏特征点本身就可以用来做回环检测和位姿优化。但是特征点匹配存在误差，因此直接通过特征点匹配进行点云拼接会出现一定误差，但是各相机之间的相对位置是不会变化的，因此首先通过匹配相邻相机采集的相邻图像之间的相同特征点，重新求取外参坐标，从而对外参模型进行更新，使得外参模型与相机当前的位姿相匹配，消除了相机的抖动对外参模型的影响，然后通过更新后的外参模型进行相邻图像的点云拼接，消除外参变化带来的拼接误差，提高重建精度。本发明通过更新相机的外参模型去优化局部误差，即根据外参模型获取相邻相机之间的相对位置关系，根据相对位置关系对配准结果进行调节优化，使得重建精度更高。

优选的，图像为深度图像。

本实施例基于待测物体的深度图像进行三维重建，深度图像包括RGB(Red、Green、Blue，红绿蓝)色彩信息和深度信息。采集完深度图像后，对RGB色彩信息和深度信息进行配对，得到一一对应的彩色图和深度图。因此，我们可以在同一个图像位置，读取到色彩信息和距离信息，计算像素的3D相机坐标，生成点云。因此本优选实施例建立的三维模型带有颜色和纹理信息，重建效果更精细，可用于人面部扫描、医美手术术前规划、医美预期效果展示等场景。

优选的，获取从当前高度上环绕待测物体的不同角度处采集的图像，包括：

控制各相机相互通信，使得各相机在同一时刻从不同角度处同步采集图像。

为了保证在同一高度处不同角度处的图像保持同步采集，通过各相机之间的通信实现多相机同步协同处理。由于各相机通过相互通信实现同步采集，因此只需对其中一个相机的运动速率和采集频率进行计算，其他的均参照该相机执行，即可实现不同高度处的同步采集，因此通过通信实现同步采集可节约运算资源，增加可靠性。

优选的，通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新，包括：

评估上一高度处的图像组与当前图像组之间的相关度；

判断相关度是否高于设定阈值，如果高于，则不进行外参模型的更新，如果不高于，则对外参模型进行更新。

由于特征点的提取、相同特征点的匹配算法具备一定的复杂度，将会拖慢系统运行速度，因此本优选实施例首先评估外参模型的误差是否过大，在外参模型过大时才进行更新校准，否则直接进行拼接，以免频繁更新导致扫描重建速度过慢。

具体的，外参模型的误差是通过上一高度处的图像组与当前图像组之间的相关度进行评估的。点云的变化与相机的位姿变化是相对应的，因此如果点云的变化度较大，说明相机发生了较大的位姿变化，需要进行外参更新校准，否则不需要。

优选的，评估上一高度处的图像组与当前图像组之间的相关度，包括：

根据上一高度处的图像组中点云坐标与当前图像组中点云坐标计算实际位移值，以实际位移值作为相关度。

由于点云的变化与相机的位姿变化是相对应的，因此根据点云坐标计算的实际位移值，判断相机实际位移量与预设位移量是否存在过大偏差。如果实际位移值大于设定阈值，表明移动太大，需要优化。预设阈值根据相机的运动速度和场景精度要求进行设定即可。

优选的，利用当前外参模型对图像组进行点云拼接，得到点云数据组，包括：

根据外参模型将图像的像素坐标系转换为世界坐标系；

在世界坐标系内分别根据每一图像构建单幅图像的点云数据；

拼接多幅图像的点云数据得到一组点云数据。

具体的，构建单幅图像的点云数据，需要对相机进行相机标定得到相机参数，相机参数包括外参模型和内参模型，外参模型采用上述方法进行更新，根据相机参数将图像的像素坐标系转换为世界坐标系；在世界坐标系根据图像构建点云数据。

相机标定是获取相机参数的过程，在三维重建过程中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数；相机参数包括外参模型和内参模型。在某一时刻的固定视角下，相机输出的图像包括物体的纹理信息和深度信息，即可根据获得的相机参数完成像素坐标系与世界坐标系的转换，构建出单幅图像的点云数据。

获得不同视角下的点云数据后需要进行点云拼接。进行点云拼接前首先要提取图像特征点并匹配，本实施例使用的是稀疏SIFT特征点进行配准。调用OpenCV函数提取相邻图像的SIFT角点，调用匹配函数实现特征点匹配，实现相邻图像的相邻角点的拼接。

具体的，对SIFT特征点进行匹配，包括：

调用OpenCV函数提取图像的SIFT特征点；

筛选有效SIFT特征点，筛除其他SIFT特征点；

调用匹配函数对有效SIFT特征点进行相同特征点的匹配。

目前，被动式重建方法一般都是通过特征点配准实现的，本优选实施例在此基础之上，进一步采用并行全局优化方法，也就是说，先使用稀疏的SIFT特征点来进行比较粗糙的配准，因为稀疏特征点本身就可以用来做回环检测和位姿优化。但是SIFT特征点匹配存在误差，因此通过SIFT特征点匹配进行点云拼接会出现一定误差，但是各相机之间的相对位置是不会变化的，故通过更新后的外参模型去优化局部误差，即根据外参模型获取相邻相机之间的相对位置关系，根据相对位置关系对配准结果进行调节优化。

优选的，将当前高度的点云数据组与上一高度的点云数据组进行拼接，包括：

当前高度的图像采集成功后检测实际采集高度，根据预设的采集间距计算预设采集高度；

判断实际采集高度与预设采集高度的差值是否大于设定阈值，如果大于，则采用实际采集高度对采集间距进行校准，然后根据校准后的采集间距进行点云数据组的拼接，否则直接根据预设的采集间距进行点云数据组的拼接。

除了同一高度上相邻图像之间拼接时存在误差之外，相邻高度的点云数据组之间的拼接，也可能因为丝杆的伺服电机丢步等原因，产生移动误差，进而影响拼接效果。因此，本优选实施例在每次采集完图像后检测实际采集高度，并与预设采集高度进行对比，如果偏差过大就对采集间距进行校准更新，再进行点云数据组拼接，如果偏差不大就直接进行点云数据组拼接，从而消除了相机在高度上的运动误差带来的拼接误差，进一步提高重建精度。

优选的，移动至下一高度进行图像采集，包括：

根据设定的采集间距设置相机的运动速率与采集频率之间的关系模型；

根据关系模型设置运动速率值以及采集频率值；

控制相机从当前高度开始以运动速率值移动至下一高度，并以采集频率值进行图像采集，实现等间距图像采集。

为了保证相机的运动速率和采集频率相互配合、保持同步，通过关系模型调节图像采集频率以及相机运动速率，使得各相机每移动固定的采集间距时进行相应图像采集，从而达到同步采集的目的。具体的，关系模型可以设置为：L＝(1/f)*V，L为采集间距，f为采集频率，V为运动速率。设置了采集间距后，根据需求设置采集频率和运动速率其中一个后，另一个就相应确定，且能保证采集过程和运动过程相互配合。

优选的，移动至下一高度进行图像采集，还包括：

每次图像采集成功后记录当前实际采集高度以及采集时间；

根据实际采集高度以及采集时间对下一次采集的运动速率值以及采集频率值进行微调。

本优选实施例在建立关系模型保持相机的图像采集频率和运动频率一致的前提下，在每次图像采集成功后输出一个正脉冲信号，记录当前采集高度和采集时间，将其作为系统反馈信息实时调节二者关系，保证每帧图片之间相机的角度偏移量一致，确保了后续重建的精度和准度。具体的，从上往下运动时：如果当前采集高度比根据关系模型计算的预设采集高度要高，则相应调快运动速率，即调大运动速率值；如果当前采集高度比根据关系模型计算的预设采集高度要低，则相应调慢运动速率，即调小运动速率值。从下往上运动时，则正好相反，在此不过多赘述。具体的，如果当前采集时间比根据关系模型计算的预设采集时间快，则调慢采集频率，即调小采集频率值；如果当前采集时间比根据关系模型计算的预设采集时间慢，则调快采集频率，即调大采集频率值。

实施例2

本发明的实施例2提供了环形扫描形貌三维重建装置，包括处理器以及存储器，存储器上存储有计算机程序，计算机程序被处理器执行时，实现以上实施例提供的环形扫描形貌三维重建方法。

本实施例提供的环形扫描形貌三维重建装置，用于实现环形扫描形貌三维重建方法，因此，环形扫描形貌三维重建方法所具备的技术效果，环形扫描形貌三维重建装置同样具备，在此不再赘述。

实施例3

如图2所示，本发明的实施例3提供了环形扫描形貌三维重建系统，包括以上实施例提供的环形扫描形貌三维重建装置，还包括多个相机1以及运动控制装置；运动控制装置包括丝杠21、立柱22、圆环23、伺服电机以及运动控制卡；

丝杠21可转动的连接于立柱22上，圆环23通过连接件连接于丝杠21上，多个相机1在圆环23上均匀布置，伺服电机与丝杠21传动连接，伺服电机与运动控制卡电连接，各相机1以及运动控制卡分别与环形扫描形貌三维重建装置电连接。

具体的，运动控制卡与伺服电机电连接，并用于控制伺服电机的转动，伺服电机与丝杠21传动连接，相机1通过圆环23设置于丝杠21上，并在伺服电机的驱动下沿丝杠21上下移动，从而实现不同高度处的图像采集。环形扫描形貌三维重建装置作为上位机，可以通过工控机、计算机等实现。运动控制装置实现相机1的运动，负责扫描过程的运动控制，各相机1采集不同角度下图像，将采集到的图像传入上位机，利用上位机内环形扫描形貌三维重建方法得到相机1运动轨迹与待测物体的点云图，将点云数据传入三维引擎进行后处理，得到三维模型，以用于其他逆向工程等。环形扫描形貌三维重建装置、伺服电机以及运动控制卡均内置于控制箱3内。

优选的，相机1为深度相机，该深度相机用于获取深度图像。

优选的，相机1均具备通信模块，各相机1相互通信连接。

优选的，在立柱22上沿高度方向间隔设置有电容传感器，用于检测实际采集高度，当前高度的图像采集成功后检测实际采集高度，根据预设的采集间距计算预设采集高度；判断实际采集高度与预设采集高度的差值是否大于设定阈值，如果大于，则采用实际采集高度对采集间距进行校准，然后根据校准后的采集间距进行点云数据组的拼接，否则直接根据预设的采集间距进行点云数据组的拼接。

优先的，电容传感器设置在固定丝杆21的侧面，以避免影响圆环23的移动。

本实施例提供的环形扫描形貌三维重建系统，包括环形扫描形貌三维重建装置，因此，环形扫描形貌三维重建装置所具备的技术效果，环形扫描形貌三维重建系统同样具备，在此不再赘述。

实施例4

本发明的实施例4提供了计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时，实现以上实施例提供的环形扫描形貌三维重建方法。

本实施例提供的计算机存储介质，用于实现环形扫描形貌三维重建方法，因此，环形扫描形貌三维重建方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。

Claims (10)

1.一种环形扫描形貌三维重建方法，其特征在于，包括以下步骤：

S1、获取从当前高度上环绕待测物体的不同角度处采集的图像，得到一组全方位的图像组；

S2、通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新；

S3、利用当前外参模型对所述图像组进行点云拼接，得到点云数据组；

S4、将当前高度的点云数据组与上一高度的点云数据组进行拼接；

S5、判断待测物体是否扫描完成，如果是，则输出拼接完的点云数据得到三维模型，否则移动至下一高度进行图像采集，并重复步骤S1至S5。

2.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述图像为深度图像，所述深度图像包括RGB色彩信息和深度信息。

3.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述获取从当前高度上环绕待测物体的不同角度处采集的图像，包括：

控制各相机相互通信，使得各相机在同一时刻从不同角度处同步采集图像。

4.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述通过匹配当前图像组中相邻图像之间的相同特征点求取外参坐标，根据外参坐标对标定的外参模型进行更新，包括：

评估上一高度处的图像组与当前图像组之间的相关度；

判断所述相关度是否高于设定阈值，如果高于，则不进行外参模型的更新，如果不高于，则对外参模型进行更新。

5.根据权利要求4所述的环形扫描形貌三维重建方法，其特征在于，所述评估上一高度处的图像组与当前图像组之间的相关度，包括：

根据上一高度处的图像组中点云坐标与当前图像组中点云坐标计算实际位移值，以所述实际位移值作为所述相关度。

6.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述利用当前外参模型对所述图像组进行点云拼接，得到点云数据组，包括：

根据所述外参模型将图像的像素坐标系转换为世界坐标系；

在所述世界坐标系内分别根据每一所述图像构建单幅图像的点云数据；

拼接多幅所述图像的点云数据得到点云数据组。

7.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述将当前高度的点云数据组与上一高度的点云数据组进行拼接，包括：

当前高度的图像采集成功后检测实际采集高度，根据预设的采集间距计算预设采集高度；

判断所述实际采集高度与预设采集高度的差值是否大于设定阈值，如果大于，则采用实际采集高度对采集间距进行校准，然后根据校准后的采集间距进行点云数据组的拼接，否则直接根据预设的采集间距进行点云数据组的拼接。

8.根据权利要求1所述的环形扫描形貌三维重建方法，其特征在于，所述移动至下一高度进行图像采集，包括：

根据设定的采集间距设置相机的运动速率与采集频率之间的关系模型；

根据所述关系模型设置运动速率值以及采集频率值；

控制相机从当前高度开始以所述运动速率值移动至下一高度，并以所述采集频率值进行图像采集，实现等间距图像采集。

9.一种环形扫描形貌三维重建装置，其特征在于，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如权利要求1-8任一所述的环形扫描形貌三维重建方法。

10.一种环形扫描形貌三维重建系统，其特征在于，包括如权利要求8所述的环形扫描形貌三维重建装置，还包括多个相机以及运动控制装置，各所述相机呈环形布置，所述运动控制装置包括丝杠、立柱、圆环、伺服电机以及运动控制卡；

所述丝杠可转动的连接于所述立柱上，所述圆环通过连接件连接于所述丝杠上，多个所述相机在所述圆环上均匀布置，所述伺服电机与所述丝杠传动连接，所述伺服电机与所述运动控制卡电连接，各所述相机以及所述运动控制卡分别与所述环形扫描形貌三维重建装置电连接。

Images