CN112113505B

CN112113505B - 一种基于线结构光的便携扫描测量装置及方法

Info

Publication number: CN112113505B
Application number: CN202011006083.7A
Authority: CN
Inventors: 郭彦彬; 王国平; 刘迎宾; 叶韶华
Original assignee: Huazhong University of Science and Technology; Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology; Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date: 2020-09-23
Filing date: 2020-09-23
Publication date: 2022-02-01
Anticipated expiration: 2040-09-23
Also published as: CN112113505A

Abstract

本发明公开了一种基于线结构光的便携扫描测量装置及方法，装置包括：相机组、激光器组、光源控制模块、传感器固定模块和硬件连接支撑结构，所述相机组和光源控制模块通过传感器固定模块连接于所述硬件连接支撑结构一端，所述激光器组通过传感器固定模块连接于所述硬件连接支撑结构中间位置。本发明能够根据场景的特点对相机组、激光器组进行灵活地角度调整，结合硬件结构的灵活性，根据相机组、激光器组之间的相对位置关系，自适应地调节合适的重建参数，以高效、高精度地完成对场景或核心复杂零件的三维重建。

Description

一种基于线结构光的便携扫描测量装置及方法

技术领域

本发明涉及三维建模技术领域，具体地说，涉及一种基于线结构光的便携扫描测量装置及方法。

背景技术

随着虚拟现实、增强现实技术的快速发展，各行业对场景、产线、核心零件的数字化模型需求愈加旺盛，传统使用CAD、UG等工业建模软件进行模型重建的方法已不能满足建模效率、建模精度及模型还原度等技术指标。近几年，计算机视觉领域异军突起，各种三维重建方法被提出，如：单目重建、双目重建、深度相机重建等，但基于计算机视觉的重建方法建模精度差，无法从根本上解决工业、医疗场景下对模型精度的要求。基于线结构光的三维重建技术利用激光测距的原理，可实现对三维模型的快速扫描建模，该方法的测量精度远高于基于计算机视觉技术的建模方法，但目前基于线结构光的测量设备具有灵活性差、便携性弱、集成性低的缺点，即使市场上现有的手持式三维测量装置也无法实现灵活的调节激光器组及相机传感器的位置、角度等参数，从而无法实现对具备复杂拓扑结构的快速全建模。

发明内容

为解决上述技术问题，本发明公开了一种基于线结构光的便携扫描测量装置及方法，可根据场景的特点对相机、激光器组进行灵活地角度调整，以高效、高精度地完成对场景或核心复杂零件的三维重建；其包括：

相机组、激光器组、光源控制模块、传感器固定模块和硬件连接支撑结构，所述相机组和光源控制模块通过传感器固定模块连接于所述硬件连接支撑结构一端，所述激光器组通过传感器固定模块连接于所述硬件连接支撑结构中间位置。

优选的，所述传感器固定模块包括：相机组固定模块、激光器固定模块和光源固定模块，所述相机组固定模块与所述相机组连接，所述激光器固定模块与所述激光器组连接，所述光源固定模块与所述光源控制模块连接。

优选的，所述相机组包括两组无畸变、高帧率、高分辨率工业相机及两个对应的工业镜头，所述工业镜头与所述工业相机连接，所述工业相机通过所述相机组固定模块与所述硬件连接支撑结构连接。

优选的，所述激光器组包括7个型号相同、位置和角度不同的高品质激光器，所述激光器末端通过所述激光器固定模块与所述硬件连接支撑结构连接。

优选的，所述光源控制模块包括2个环形光源和1个数字光源控制器，所述光源控制模块套设于工业镜头外侧，并且通过所述光源固定模块连接于所述相机组固定模块一端。

优选的，所述硬件连接支撑结构包括：

U型支架，所述U型支架横臂与所述激光器固定模块连接；

挡板，所述挡板布置于所述U型支架侧面，并且与所述U型支架竖臂连接；

L型支架，所述L型支架一端连接于所述U型支架竖臂外侧；

T形块，所述T形块转动连接于所述L型支架另一端，并且与所述相机组固定模块固定连接。

优选的，通过调节所述T形块与所述L型支架之间的固定螺丝，调节所述相机组的拍摄角度；通过调节工业相机与相机组固定模块之间的固定螺丝，调节所述相机组与目标物体之间的距离。

优选的，所述硬件连接支撑结构还包括手柄，所述手柄设置于所述U型支架外侧远离所述相机组方向，并且与所述L型支架固定连接。

优选的，一种基于线结构光的便携扫描测量方法，应用于所述的一种基于线结构光的便携扫描测量装置，包括：

步骤一：开启装置电源，对所述相机组、激光器组供电；

步骤二：将光源控制器模式开关调节至交流模式，此时，光源控制器会产生一定频率的方波信号，方波信号的上升沿即为相机采集图像的触发信号，每产生一次上升沿，对应一帧图片，由于是在光源照亮的期间捕获，故称该帧图像为亮图，当高电平周期结束后，产生下降沿，此时，一个电平变化周期内，相机的第一帧图片已采集完毕，并开始第二帧图片的采集，由于是在光源熄灭的期间捕获，故称该帧图像为暗图，亮图与暗图为相机在特定的位姿下的一组对应图；

步骤三：根据所述图像组的图像，进行三维模型的重建；

其中，所述步骤三包括：

根据在安装好各个传感器后的相对位置，对两个相机的位置关系进行参数标定，得到相机的内外参；

对7条激光线的位置关系进行参数标定，得到拟合激光的平面方程系数；

对两个相机之间位姿进行标定，实时进行误差修正；

将激光线所扫描位置的两组或者多组三维点云数据进行点云配准，实现目标物体的全建模。

优选的，所述激光线标定算法包括：

将激光线投射到一个标定板上，摆放20个不同的位置，分别同时检测标定板的圆心坐标和激光二维坐标；

将标定板世界坐标系转换到相机坐标系下；

拟合20个不同位置下标定板所在的三维平面方程；

根据标定板平面方程和激光二维坐标求出激光的三维坐标；

使用所有的激光三维坐标来拟合激光的平面方程AX+BY+CZ＝D，生成平面方程系数A、B、C、D。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明结构示意图；

图2为本发明传感器固定模块结构示意图；

图3为本发明相机组结构示意图；

图4为本发明硬件连接支撑结构示意图。

图中：1.相机组；2.激光器组；3.光源控制模块；4.传感器固定模块；5.硬件连接支撑结构；11.工业相机；12.工业镜头；21.激光器；31.环形光源；41.相机组固定模块；42.激光器固定模块；43.光源固定模块；51.U型支架；52.挡板；53.L型支架；54.T形块；55.手柄。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

下面将结合附图对本发明做进一步描述。

如图1-4所示，本实施例提供的一种基于线结构光的便携扫描测量装置，包括：

相机组1、激光器组2、光源控制模块3、传感器固定模块4和硬件连接支撑结构5，所述相机组1和光源控制模块3通过传感器固定模块4连接于所述硬件连接支撑结构5一端，所述激光器组2通过传感器固定模块4连接于所述硬件连接支撑结构5中间位置。

本发明的工作原理和有益效果为：

本发明提供一种基于线结构光的便携扫描测量装置，使用时，首先，开启装置电源，对所述相机组1、激光器组2供电；然后，将光源控制器模式开关调节至交流模式，采集亮图与暗图的图像组；最后，根据所述图像组的图像，进行三维模型的重建。使用过程中，测量人员通过手持所述硬件连接支撑结构5，对目标物体进行扫描，所述相机组1和激光器组2相对目标物体的角度和距离，通过固定螺丝进行灵活调整。

本发明能够根据场景的特点对相机组、激光器组进行灵活地角度调整，结合硬件结构的灵活性，根据相机组、激光器组之间的相对位置关系，自适应地调节合适的重建参数，以高效、高精度地完成对场景或核心复杂零件的三维重建。

如图2所示，在一个实施例中，所述传感器固定模块4包括：

相机组固定模块41、激光器固定模块42和光源固定模块43，所述相机组固定模块41与所述相机组1连接，所述激光器固定模块42与所述激光器组2连接，所述光源固定模块43与所述光源控制模块3连接。

上述技术方案的工作原理和有益效果为：

所述传感器固定模块4实现所述相机组1、激光器组2、和光源控制模块3的固定，并将其与所述硬件连接支撑结构5紧固连接，保证所述相机组1、激光器组2、和光源控制模块3的准确安装。

如图3所示，在一个实施例中，所述相机组1包括两组无畸变、高帧率、高分辨率工业相机11及两个对应的工业镜头12，所述工业镜头12与所述工业相机11连接，所述工业相机11通过所述相机组固定模块41与所述硬件连接支撑结构5连接。

上述技术方案的工作原理和有益效果为：

工业相机11是相机组1中的一个关键组件，其最本质的功能就是将通过工业镜头12进入的光信号转变成有序的电信号，在装置中主要作用为拍摄多组不同角度的建模物体照片及对应的线结构光照片。

在一个实施例中，所述激光器组2包括7个型号相同、位置和角度不同的高品质激光器21，所述激光器21末端通过所述激光器固定模块42与所述硬件连接支撑结构5连接。

上述技术方案的工作原理和有益效果为：

所述7个激光器21均匀布置于U型支架内，并且激光发射角度不同，实现激光的均匀照射，所述激光器21在扫描过程中全程开启，将多条激光线相对均匀的照射到目标物体表面，从而配合相机组1得到激光图像，所述激光器根据需求进行合理排列，保证了对不同拓扑结构的物体进行全建模，提高图像的采集质量和完整性。

在一个实施例中，所述一种基于线结构光的便携扫描测量装置，所述光源控制模块3包括2个环形光源31和1个数字光源控制器，所述光源控制模块3套设于工业镜头12外侧，并且通过所述光源固定模块43连接于所述相机组固定模块41一端。

上述技术方案的工作原理和有益效果为：

所述环形光源31与所述工业镜头12同心设置，保证光照均匀，所述光源控制模块3主要作用是为相机组1提供足够的光照环境，所述光源控制模块3通过设置曝光模式，实现与相机组1采集图像之间的高精度配合，实现在正确的时间点获取正确的含激光线的图片。

如图4所示，在一个实施例中，所述硬件连接支撑结构5包括：

U型支架51，所述U型支架51横臂与所述激光器固定模块42连接；

挡板52，所述挡板52布置于所述U型支架51侧面，并且与所述U型支架51竖臂连接；

L型支架53，所述L型支架53一端连接于所述U型支架51竖臂外侧；

T形块54，所述T形块54转动连接于所述L型支架53另一端，并且与所述相机组固定模块41固定连接。

上述技术方案的工作原理和有益效果为：

所述硬件连接支撑结构5将所述相机组1、激光器组2、光源控制器模块3和传感器固定模块4紧凑、巧妙地结合在一起，实现各组件的固定，保证相对位置准确，确保扫描测量过程中各组件位置不发生偏移，提高成像质量和建模精度。

在一个实施例中，通过调节所述T形块54与所述L型支架53之间的固定螺丝，调节所述相机组1的拍摄角度；通过调节工业相机11与相机组固定模块41之间的固定螺丝，调节所述相机组1与目标物体之间的距离。

上述技术方案的工作原理和有益效果为：

由于目标物体的外形尺寸不同，对相机组1角度和间距的要求也不同，通过固定螺丝对相机组1进行调节，实现相机组1以所述L型支架53末端为中心的转动，和在所述相机组固定模块41上的滑动，扩大了所述相机组1的拍摄范围，适应不同的目标物体，有效解决由于拍摄角度和距离引起的拍摄不方便的问题，从而提高装置的场景适应性。

在一个实施例中，所述硬件连接支撑结构5还包括手柄55，所述手柄55设置于所述U型支架51外侧远离所述相机组1方向，并且与所述L型支架53固定连接。

上述技术方案的工作原理和有益效果为：

所述手柄55连接于所述L型支架53上，并且远离所述相机组1布置，提高了装置的便携性和灵活性，减少使用过程中的误碰，有效拓展装置的使用环境和范围。

在一个实施例中，一种基于线结构光的便携扫描测量方法，应用于所述的一种基于线结构光的便携扫描测量装置，包括：

步骤一：开启装置电源，对所述相机组1、激光器组2供电；

步骤三：根据所述图像组的图像，进行三维模型的重建；

其中，所述步骤三包括：

对两个相机之间位姿进行标定，实时进行误差修正；

上述技术方案的工作原理和有益效果为：

本发明采用张正友标定法对相机进行标定。

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)。在张张正友标定法中用于标定的棋盘格是三维场景中的一个平面，成像平面的像是另一个平面。其中，标定棋盘是特质的，交点坐标是已知的，通过角点的提取算法得到，知道了两个对应点的坐标，就可以得到棋盘平面和图像平面的单应性矩阵H。通过上面的相机模型，令：

sm＝K[R t]M

通过对应点解的H后，可以通过上面的等式得到相机内参数K，以及外参旋转矩阵R和平移向量t。

假设棋盘格所在的平面为世界坐标Z＝0的平面，这样的棋盘格任意一点P的世界坐标为(X,Y，0)，所以第三行r₃的数据可以被省略。

由于每个单应性方程能提供两个方程，内参数矩阵包含五个方程，要求解至少需要三个单应性矩阵，使用至少三幅棋盘格对图片进行标定，改变相机与标定板之间的相对位置来得到三个不同的图片，通过图像得到关于内参数的两个等式，令

B是一个对称矩阵，未知量只有6个，将6个未知量写成向量的形式：

b＝[B₁₁ B₁₂ B₂₂ B₁₃ B₂₁ B₃₃]^T

令h_i为单应性矩阵的第i个行向量，则有：

h_i＝[h₁ h₂ h₃]^T

故：

v_ij＝[h_i1h_j1 h_i1h_j2+h_i2h_j1 h_i2h_j2 h_i3h_j1+h_i1h_j3 h_i3h_j2+h_i2h_j3 h_i3h_j3]

结合上面两式重写矩阵可以推导出：

上面是取得约束的约束等式，假如n幅图像，则V是2n×6的矩阵。

最后，使用SVD法求解最小二乘，得到相机的各个内参：

相机的各个外参：

r₃＝r₁·r₂

t＝λK^-1h₃

本发明采用ICP的位姿估计算法，对两个相机之间位姿进行标定。

由于对目标物体重建的过程是持续地利用激光线对物体进行反复扫描，故如何评估在两个不同扫描位置之间的位姿变化情况是完整重建出目标物体的关键。采用ICP的位姿估计算法，实现了对相机位姿的高精度估计，并利用回环检测思维，实时进行误差修正，大大减少了相机因位姿估计引入的累计误差。

点云配准的最终目的是通过一定的旋转和平移变换将不同坐标系下的两组或者多组点云数据统一到同一参考坐标系下。这个过程，可以通过一组映射来完成。假设映射变换为H，这H可以用以下的公式来表示：

简化为：

其中A代表旋转矩阵，T代表平移向量，V代表透视变换向量，S代表整体的比例因子：

T＝[t_x t_y t_z]^T

V＝[v_x v_y v_z]^T

因为根据一系列图片得到的点云数据只存在旋转和平移变换，不存在形变，所以将V设为零向量，比例因子S＝1。

映射变换H可以表示为：

其中，旋转矩阵R_3×3和平移矩阵T_3×1可以通过以下公式来表示：

T_3×1＝[t_x t_y t_z]^T

其中α、β、γ分别表示点沿x、y、z轴的旋转角度，t_x、t_y、t_z分别表示点沿x、y、z轴的平移量。

通过以上映射得到目标物体表面的所有三维点云，实现目标物体的全建模。

在一个实施例中，所述激光线标定算法包括：

将标定板世界坐标系转换到相机坐标系下；

拟合20个不同位置下标定板所在的三维平面方程；

根据标定板平面方程和激光二维坐标求出激光的三维坐标；

上述技术方案的工作原理和有益效果为：

传统的单线激光标定方法主要基于三角测距原理，严格要求相机与线激光器的平行关系，若线激光器与相机的轴线夹角太大则严重影响标定参数的精度及扫描重建的结果，本发明提出的标定算法在双目标定参数的基础上，通过调节光源控制器的亮暗，在同一视角下，拍摄一组(两张)对应图片，拍摄约20组亮暗图片，用于激光平面参数标定，标定过程如下：

第一步，将激光线投射到一个标定板上，同时检测标定板的圆心坐标和激光二维坐标；

第二步，重复1第一步，摆放20个不同的位置；

第三步，得到20个位置的标定板圆心坐标和激光线的二维坐标。

上述标定算法放宽了相机与线激光器的平行关系，降低操作难度，提高激光标定参数精度，从而提高扫描重建的准确性。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims

1.一种基于线结构光的便携扫描测量装置，其特征在于，包括：

相机组(1)、激光器组(2)、光源控制模块(3)、传感器固定模块(4)和硬件连接支撑结构(5)，所述相机组(1)和光源控制模块(3)通过传感器固定模块(4)连接于所述硬件连接支撑结构(5)一端，所述激光器组(2)通过传感器固定模块(4)连接于所述硬件连接支撑结构(5)中间位置；

所述传感器固定模块(4)包括：相机组固定模块(41)、激光器固定模块(42)和光源固定模块(43)，所述相机组固定模块(41)与所述相机组(1)连接，所述激光器固定模块(42)与所述激光器组(2)连接，所述光源固定模块(43)与所述光源控制模块(3)连接；

所述硬件连接支撑结构(5)包括：

U型支架(51)，所述U型支架(51)横臂与所述激光器固定模块(42)连接；

挡板(52)，所述挡板(52)布置于所述U型支架(51)侧面，并且与所述U型支架(51)竖臂连接；

L型支架(53)，所述L型支架(53)一端连接于所述U型支架(51)竖臂外侧；

T形块(54)，所述T形块(54)转动连接于所述L型支架(53)另一端，并且与所述相机组固定模块(41)固定连接。

2.根据权利要求1所述的一种基于线结构光的便携扫描测量装置，其特征在于，所述相机组(1)包括两组无畸变、高帧率、高分辨率工业相机(11)及两个对应的工业镜头(12)，所述工业镜头(12)与所述工业相机(11)连接，所述工业相机(11)通过所述相机组固定模块(41)与所述硬件连接支撑结构(5)连接。

3.根据权利要求1所述的一种基于线结构光的便携扫描测量装置，其特征在于，所述激光器组(2)包括7个型号相同、位置和角度不同的高品质激光器(21)，所述激光器(21)末端通过所述激光器固定模块(42)与所述硬件连接支撑结构(5)连接。

4.根据权利要求1所述的一种基于线结构光的便携扫描测量装置，其特征在于，所述光源控制模块(3)包括2个环形光源(31)和1个数字光源控制器，所述光源控制模块(3)套设于工业镜头(12)外侧，并且通过所述光源固定模块(43)连接于所述相机组固定模块(41)一端。

5.根据权利要求1所述的一种基于线结构光的便携扫描测量装置，其特征在于，通过调节所述T形块(54)与所述L型支架(53)之间的固定螺丝，调节所述相机组(1)的拍摄角度；通过调节工业相机(11)与相机组固定模块(41)之间的固定螺丝，调节所述相机组(1)与目标物体之间的距离。

6.根据权利要求1所述的一种基于线结构光的便携扫描测量装置，其特征在于，所述硬件连接支撑结构(5)还包括手柄(55)，所述手柄(55)设置于所述U型支架(51)外侧远离所述相机组(1)方向，并且与所述L型支架(53)固定连接。

7.一种基于线结构光的便携扫描测量方法，应用于如权利要求1-6中任一项所述的一种基于线结构光的便携扫描测量装置，其特征在于，包括：

步骤一：开启装置电源，对所述相机组(1)、激光器组(2)供电；

步骤三：根据所述图像组的图像，进行三维模型的重建；

其中，所述步骤三包括：

对两个相机之间位姿进行标定，实时进行误差修正；

8.根据权利要求7所述的一种基于线结构光的便携扫描测量方法，其特征在于，所述激光线标定算法包括：

将标定板世界坐标系转换到相机坐标系下；

拟合20个不同位置下标定板所在的三维平面方程；

根据标定板平面方程和激光二维坐标求出激光的三维坐标；