CN114111624A - 一种带标记点投射装置的手持三维扫描方法、设备及介质 - Google Patents

Abstract

本发明提出了一种带标记点投射装置的手持三维扫描方法、设备及介质，通过投射装置在被扫描物体表面投射特殊图案投影，对被扫描物体表面的特殊图案进行图像处理，并且通过直线拟合和轮廓拟合的方式获取特殊图案的单帧特征点，对多帧图像中特殊图案的单帧特征点进行最小二乘法整体约束得到标准差最小的特征中心即为该轻度平滑图案的最终特征点，依靠最终特征点以及相机获取的两个具有3个及以上相同特征点的前后帧图像为前后帧，计算出当前帧的位姿关系RT，用于扫描仪的特征拼接，计算出当前扫描仪的位姿。本发明实现了在不粘贴标志点的情况下就能精确扫描的技术效果。

Description

一种带标记点投射装置的手持三维扫描方法、设备及介质

技术领域

本发明涉及三维扫描技术领域，尤其涉及一种带标记点投射装置的手持三维扫描方法、设备及介质。

背景技术

高端制造业的发展，对产品质量有更高的要求，因此对工业产品的质检效率也提出了更高的要求，同时在文博、工艺品行业，对产品的保护标准较为严格，同时对产品的数字化及高精度还原修复也更为重视，因此对扫描产品的方法提出了更高的要求。

目前市面上存在的高精度三维激光扫描仪皆为粘贴标志点的方式，双目系统或多目系统通过相机的图像，进行标志点的提取及匹配，完成扫描仪的完整模型拼接，达到高精度测量的目的；但对于制造行业，磨具、铸件、车体、轨道等大型产品来说，粘贴标志点是一个即耗时又浪费的过程，大批次的产品质量检测对单个产品的三维重建及检测的频率间隔有较为明确的要求、同时标志点的重复利用型较差，使用一次后基本需重复粘贴，浪费资源，提高了检测的成本。

在文博、工艺品、考古等行业，产品的保护是极为重要的，同时对精细程度有极其严格的追求，三维扫描仪如需粘贴标志点，则无法完成改产品的扫描，白光扫描仪的精细程度及精度有所降低，所以不粘贴标志点、保证激光类扫描仪的精度是迫切的需求。

因此，当前还没有一个普遍适用的方法，能够解决在不粘贴标志点的情况下就能实现精确扫描的问题。带有标记点投射装置的手持三扫描系统重在解决产品表面粘贴标记的问题，最大程度保护产品本身，同时可进行高精度测量并还原产品的特征。

发明内容

有鉴于此，本发明提出了一种带标记点投射装置的手持三维扫描方法，用于解决在不粘贴标志点的情况下就能实现精确扫描的问题。

本发明的技术方案是这样实现的：

本发明第一方面，公开一种带标记点投射装置的手持三维扫描方法，所述方法包括：

S1，被扫描物体和投射装置固定位姿，所述投射装置向所述被扫描物体表面投射特殊图案投影；

S2，扫描仪扫描所述被扫描物体，对被扫描物体表面的特殊图案进行图像处理，得到轻度平滑的图案；

S3，对所述轻度平滑的图案进行特征提取，确定所述轻度平滑的图案的中心点，以所述中心点为单帧特征点；

S4，在持续扫描过程中，持续N帧图像都检测到所述轻度平滑图案，每一帧图像都有特征中心Pi点，对N帧图像的单帧特征点Pi进行最小二乘法整体约束，计算出标准差最小的Pi点，所述标准差最小的Pi点即为该轻度平滑图案的最终特征点P，用于后续的特征拼接；

S5，相机获取的图像中，两个具有3个及以上相同特征点的前后帧图像为前后帧，计算出当前帧的位姿关系RT，用于扫描仪的特征拼接，计算出当前扫描仪的位姿。

本发明通过上述方法，通过投影特殊图案的方式，获取图案特征点并进行计算，实现了在不粘贴标志点的情况下就能精确扫描。

在以上技术方案的基础上，优选的，步骤S2具体包括

通过Canny边缘检测算法，在被扫描物体表面的特殊图案上应用一个高斯滤波器，进行降噪处理，得到经过高斯滤波后的轻度平滑图案。

在以上技术方案的基础上，优选的，步骤S3具体包括：

S3-1，根据Canny算法的滞后作用确定的全局固定门限阈值拟合轻度平滑图案，并计算确定所述轻度平滑图案的中心点P1＇；

S3-2，根据自定义的门限拟合轻度平滑图案，并再次计算确定所述轻度平滑图案的中心点P1＇＇，并根据P1＇和P1＇＇获取当前单帧特征点P1。

在以上技术方案的基础上，优选的，步骤S3-1具体包括：

S3-1-1，根据Canny算法的滞后作用确定全局固定的一个固定高门限阈值和一个固定低门限阈值，跟踪轻度平滑图案边缘，所述固定高门限阈值用于判定是否为轻度平滑图案边缘的曲线，若是则由此出发，利用方向信息跟踪可追踪的轻度平滑图案边缘；当追踪该轻度平滑图案边缘时，应用所述固定低门限阈值，追踪含有轻度平滑图案边缘的区域，直到找到下一个曲线的起点；

S3-1-2，根据所述固定高门限阈值、固定低门限阈值和距离函数设定所述轻度平滑图案的标定模型：直线模型1和直线模型2、轻度平滑图案轮廓形状的常规标准模型3；

S3-1-3，根据直线模型1、直线模型2进行直线拟合，并以直线模型1和直线模型2的交点，为中心点P1＇。

在以上技术方案的基础上，优选的，步骤S3-2具体包括：

S3-2-1，针对不同图案轮廓形状设定分别对应的参数组，所述参数组形式为[低门限,高门限]；

S3-2-2，根据所述轻度平滑图案轮廓形状，确定对应的参数组；

S3-2-3，根据对应的参数组再次确定中心点P1＇＇；

S3-2-4，计算中心点P1＇与中心点P1＇之间的距离，若超过预设距离阈值，则放弃该帧特征点，继续计算下一帧特征点；若未超过预设距离阈值，则以P1＇与P1＇＇的加权中心点为当前帧特征点P1。

在以上技术方案的基础上，优选的，步骤S3-2-3包括：

若所述轻度平滑图案轮廓形状为圆形，则根据

拟合圆形，其中f为公差，(x_i,y_i)为平滑图案轮廓上的点坐标，(x_c,y_c)为平滑图案圆心坐标，R为平滑图案半径，取f最小时的(x_c,y_c)为中心点P1＇＇；

计算中心点P1＇与中心点P1＇＇之间的距离，若超过预设距离阈值，则放弃该帧特征点，继续计算下一帧特征点；若未超过预设距离阈值，则以P1＇与P1＇＇的加权中心点为当前单帧特征点P1。

在以上技术方案的基础上，优选的，步骤S4具体包括：

S4-1，扫描仪再次扫描到所述轻度平滑图案，执行步骤S3，计算当前帧中轻度平滑图案特征点Pi(1<＝i<＝N)直至完成扫描；

S4-2，对当前特征点和加权特征点进行加权约束获得轻度平滑图案的最终特征中心P。在以上技术方案的基础上，优选的，步骤S4-2中，所述加权约束，其公式为：

其中，f(x)即为计算的权值结果，x为当前特征点与加权特征点的距离；以特征中心P1为当前特征点，特征中心P2为加权特征点；计算得到第一次加权结果P12，将P12作为新的当前特征点，P3作为新的加权特征点进行计算，以此类推直至N帧数据的特征点计算完成，得到最终特征点P。

本发明通过上述方法，准确获取多帧数据的特殊图案特征点，便于后续进行特征拼接。

本发明第二方面，公开一种电子设备，所述设备包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种带标记点投射装置的手持三维扫描方法程序，一种带标记点投射装置的手持三维扫描方法程序配置为实现如本发明第一方面所述的一种带标记点投射装置的手持三维扫描方法。

本发明第三方面，公开一种计算机可读存储介质，所述存储介质上存储有一种带标记点投射装置的手持三维扫描方法程序，所述一种带标记点投射装置的手持三维扫描方法程序被执行时实现如本发明第一方面所述的一种带标记点投射装置的手持三维扫描方法。

本发明的一种带标记点投射装置的手持三维扫描方法相对于现有技术具有以下有益效果：

(1)通过投影特殊图案的方式，获取图案特征点并进行计算，实现了在不粘贴标志点的情况下就能精确扫描；

(2)通过直线拟合以及外轮廓拟合的方式获取单帧特征点，再对多帧图像的特征点进行加权约束计算，得到特殊图案的最终特征点，便于进行特征拼接和计算。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种带标记点投射装置的手持三维扫描方法工作流程图；

图2为本发明一种带标记点投射装置的特殊图案示意图之一；

图3为本发明一种带标记点投射装置的单投射装置和带扫描工件的位姿示意图之一；

图4为本发明一种带标记点投射装置的多投射装置和带扫描工件的位姿示意图之一。

具体实施方式

下面将结合本发明实施方式，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

实施例

本发明一种带标记点投射装置的手持三维扫描方法工作流程见图1，处理步骤说明如下：

第一步，被扫描物体和投射装置固定位姿，所述投射装置向所述被扫描物体表面投射特殊图案投影。转第二步。

应当理解的是，投射装置可单一工作，也可多台同时工作。

第二步，扫描仪扫描所述被扫描物体，对被扫描物体表面的特殊图案进行图像处理，得到轻度平滑的图案。转第三步。

应当理解的是，通过Canny边缘检测算法，在被扫描物体表面的特殊图案上应用一个高斯滤波器，进行降噪处理，得到经过高斯滤波后的轻度平滑图案。

第三步，对所述轻度平滑的图案进行特征提取，确定所述轻度平滑的图案的中心点，以所述中心点为单帧特征点。转第四步。

应当理解的是，首先通过直线拟合的方式获取轻度平滑的图案的中心点P1＇：

根据Canny算法的滞后作用确定全局固定的一个固定高门限阈值和一个固定低门限阈值，跟踪轻度平滑图案边缘，所述固定高门限阈值用于判定是否为轻度平滑图案边缘的曲线，若是则由此出发，利用方向信息跟踪可追踪的轻度平滑图案边缘；当追踪该轻度平滑图案边缘时，应用所述固定低门限阈值，追踪含有轻度平滑图案边缘的区域，直到找到下一个曲线的起点；

根据所述固定高门限阈值、固定低门限阈值和距离函数设定所述轻度平滑图案的标定模型：直线模型1和直线模型2、轻度平滑图案轮廓形状的常规标准模型3；

根据直线模型1、直线模型2进行直线拟合，并以直线模型1和直线模型2的交点，为中心点P1＇；

然后通过拟合图案轮廓的方式获得轻度平滑的图案的中心点P1＇＇：

针对不同图案轮廓形状设定分别对应的参数组，所述参数组形式为[低门限,高门限]；根据图像形状，遍历所有形状参数组，确定误差最小的参数组为对应参数组，根据对应的参数组再次确定中心点P1＇＇，其中：

若所述轻度平滑图案轮廓形状为圆形，则根据

拟合圆形，其中f为公差，(x_i,y_i)为平滑图案轮廓上的点坐标，(x_c,y_c)为平滑图案圆心坐标，R为平滑图案半径，取f最小时的(x_c,y_c)为中心点P1＇＇；

如：将特殊图案的轮廓与预设的圆形、椭圆、方形等多种图案对应的参数组进行拟合，确定最适合的形状的参数组，即可确定其轮廓形状；再根据轮廓形状计算中心点P1＇＇，若特殊图案形状确定为圆形，则可根据

进行拟合，取f最小时的(x_c,y_c)为中心点P1＇＇；

若所述轻度平滑图案轮廓形状为方形，参考直线拟合方式拟合方形的四条边，锁定路径；

计算中心点P1＇与中心点P1＇＇之间的距离，若超过预设距离阈值，则放弃该帧特征点，继续计算下一帧特征点；若未超过预设距离阈值，则以P1＇与P1＇＇的加权中心点为当前单帧特征点P1。

第四步，扫描仪再次扫描到所述轻度平滑图案，执行第三步，获得当前帧的特征点P2；对于N帧图像，可以得到轻度平滑图案特征点Pi(1<＝i<＝N)直至完成扫描；在持续扫描过程中，持续N帧图像都检测到同一轻度平滑图案，每一帧图像都有单帧特征点Pi点，再对N帧图像的Pi点进行最小二乘法整体约束，计算出标准差最小的Pi点，所述标准差最小的Pi点即为该轻度平滑图案的最终特征点P，用于后续的特征拼接。转第五步。

应当理解的是，扫描仪扫描到N帧图像，每一帧图像经历第三步都可得到当前帧的特征点Pi，对N帧图像的Pi进行最小二乘法整体约束，计算出标准差最小的Pi点，所述标准差最小的Pi点即为该轻度平滑图案的最终特征点P。

应当理解的是，对当前特征点与加权特征点进行加权约束，加权计算公式为

其中，f(x)即为计算的权值结果，x为当前特征点与加权特征点的距离；以特征点P1为当前特征点，特征点P2为加权特征点；计算得到第一次加权结果P12，将P12作为新的当前特征点，P3作为新的加权特征点进行计算，以此类推直至N帧图像的特征点计算完成，得到轻度平滑图案的最终特征中心P。

第五步，相机获取的图像中，两个具有3个及以上相同特征点的前后帧图像为前后帧，计算出当前帧的位姿关系RT，用于扫描仪的特征拼接，计算出当前扫描仪的位姿。

本发明还公开一种电子设备，所述设备包括：至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种带标记点投射装置的手持三维扫描方法程序，一种带标记点投射装置的手持三维扫描方法程序配置为实现如本发明实施例所述的一种带标记点投射装置的手持三维扫描方法。

本发明还公开一种计算机可读存储介质，所述存储介质上存储有一种带标记点投射装置的手持三维扫描方法程序，所述一种带标记点投射装置的手持三维扫描方法程序被执行时实现如本发明实施例所述的一种带标记点投射装置的手持三维扫描方法。

以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种带标记点投射装置的手持三维扫描方法，其特征在于，所述一种带标记点投射装置的手持三维扫描方法具体包括：

S1，被扫描物体和投射装置固定位姿，所述投射装置向所述被扫描物体表面投射特殊图案投影；

S2，扫描仪扫描所述被扫描物体，对被扫描物体表面的特殊图案进行图像处理，得到轻度平滑的图案；

S3，对所述轻度平滑的图案进行特征提取，确定所述轻度平滑的图案的中心点，以所述中心点为单帧特征点；

S4，在持续扫描过程中，持续N帧图像都检测到所述轻度平滑图案，每一帧图像都有特征中心Pi，1<＝i<＝N，点，对N帧图像的单帧特征点Pi进行最小二乘法整体约束，计算出标准差最小的Pi点，所述标准差最小的Pi点即为该轻度平滑图案的最终特征点P，用于后续的特征拼接；

S5，相机获取的图像中，两个具有3个及以上相同特征点的前后帧图像为前后帧，计算出当前帧的位姿关系RT，用于扫描仪的特征拼接，计算出当前扫描仪的位姿。

2.如权利要求1所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S2具体包括：

通过Canny边缘检测算法，在被扫描物体表面的特殊图案上应用一个高斯滤波器，进行降噪处理，得到经过高斯滤波后的轻度平滑图案。

3.如权利要求2所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S3具体包括：

S3-1，根据Canny算法的滞后作用确定的全局固定门限阈值拟合轻度平滑图案，并计算确定所述轻度平滑图案的中心点P1＇；

S3-2，根据自定义的门限拟合轻度平滑图案，并再次计算确定所述轻度平滑图案的中心点P1＇＇，并根据P1＇和P1＇＇获取当前单帧特征点P1。

4.如权利要求3所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S3-1具体包括：

S3-1-1，根据Canny算法的滞后作用确定全局固定的一个固定高门限阈值和一个固定低门限阈值，跟踪轻度平滑图案边缘，所述固定高门限阈值用于判定是否为轻度平滑图案边缘的曲线，若是则由此出发，利用方向信息跟踪可追踪的轻度平滑图案边缘；当追踪该轻度平滑图案边缘时，应用所述固定低门限阈值，追踪含有轻度平滑图案边缘的区域，直到找到下一个曲线的起点；

S3-1-2，根据所述固定高门限阈值、固定低门限阈值和距离函数设定所述轻度平滑图案的标定模型：直线模型1和直线模型2、轻度平滑图案轮廓形状的常规标准模型3；

S3-1-3，根据直线模型1、直线模型2进行直线拟合，并以直线模型1和直线模型2的交点，为中心点P1＇。

5.如权利要求3所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S3-2具体包括：

S3-2-1，针对不同图案轮廓形状设定分别对应的参数组，所述参数组形式为[低门限,高门限]；

S3-2-2，根据所述轻度平滑图案轮廓形状，确定对应的参数组；

S3-2-3，根据对应的参数组再次确定中心点P1＇＇；

S3-2-4，计算中心点P1＇与中心点P1＇＇之间的距离，若超过预设距离阈值，则放弃该帧特征点，继续计算下一帧特征点；若未超过预设距离阈值，则以P1＇与P1＇＇的加权中心点为当前单帧特征点P1。

6.如权利要求5所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S3-2-3包括：

若所述轻度平滑图案轮廓形状为圆形，则根据

拟合圆形，其中f为公差，(x_i,y_i)为平滑图案轮廓上的点坐标，(x_c,y_c)为平滑图案圆心坐标，R为平滑图案半径，取f最小时的(x_c,y_c)为中心点P1＇＇。

7.如权利要求3所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S4具体包括：

S4-1，扫描仪再次扫描到所述轻度平滑图案，执行步骤S3，计算当前帧中轻度平滑图案特征点Pi，1<＝i<＝N，直至完成扫描；

S4-2，对当前特征点和加权特征点进行加权约束获得轻度平滑图案的最终特征中心P。

8.如权利要求7所述的一种带标记点投射装置的手持三维扫描方法，其特征在于，所述步骤S4-2中，所述加权约束，其公式为：

其中，f(x)即为计算的权值结果，x为当前特征点与加权特征点的距离；以特征点P1为当前特征点，特征点P2为加权特征点；计算得到第一次加权结果P12，将P12作为新的当前特征点，P3作为新的加权特征点进行计算，以此类推直至N帧数据的特征点计算完成，得到轻度平滑图案的最终特征中心P。

9.一种电子设备，其特征在于，包括至少一个处理器、至少一个存储器、通信接口和总线；其中，所述处理器、存储器、通信接口通过所述总线完成相互间的通信；所述存储器存储有可被所述处理器执行的一种带标记点投射装置的手持三维扫描方法程序，一种带标记点投射装置的手持三维扫描方法程序配置为实现如权利要求1至8任一项的一种带标记点投射装置的手持三维扫描方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有一种带标记点投射装置的手持三维扫描方法程序，所述一种带标记点投射装置的手持三维扫描方法程序被执行时实现如权利要求1至8中任一项的一种带标记点投射装置的手持三维扫描方法。

Images