CN107449373B - 基于立体视觉的高速结构光扫描方法与系统 - Google Patents

Abstract

本发明提供了一种基于立体视觉的高速结构光扫描方法和系统。该扫描方法包括：将彼此平行的多条光带投射到待扫描物体的表面上；利用立体视觉照相设备获取待扫描物体的表面上的光带图像；利用光带提取算法提取每条光带在图像中的二维位置坐标，利用立体视觉算法识别每条光带的光带序号；参照光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标。该扫描系统包括配置成能够将多条光带投射到待扫描物体的表面上的多个激光器；配置成获取所述待扫描物体的表面上的光带图像的立体视觉照相设备；处理单元；以及可选地，推进机构。

Description

基于立体视觉的高速结构光扫描方法与系统

技术领域

本发明属于测试测量技术领域，涉及光学、机械、电子、计算机等技术的高速实时的非接触式三维测量，具体而言，涉及一种基于立体视觉的高速结构光扫描方法与系统。

背景技术

结构光扫描是一种结合光电技术、计算机视觉技术的测量方法，能以非接触的方式测量物体的表面轮廓尺寸。

传统的结构光扫描方法包括使激光器发出的光束经过光学系统，形成某种形式的光点或光带，将此光点或光带投射到被测物体上，以在被测物体上形成有特定图案的光点或光带，用高速相机采集光点或光带图像，并通过图像处理技术对光带或光点图案进行提取，从而得到在高速相机视野范围内的被测物体的表面轮廓信息。当光点或光带和高速相机相对于该被测物体移动时，就能获得该被测物体的整体轮廓形状信息。

众所周知，评价结构光扫描检测质量的主要技术指标是光带图像的分辨率和数据的采集处理频率。但是，在用于车载轨道在线检测等测量的单束光扫描的场合中，光强度有限，因而所采集光带图像的分辨率有一定局限；另外，在相同硬件设施的条件下，采集处理模块的处理速度有一定限制，相机输出频率亦难以有大幅度的提升，因而扫描速度受到一定限制，导致数据采集处理频率受到限制。在这种情况下，将难以进一步提升检测速度，导致难以进一步提高结构光扫描检测的质量。改变硬件设施，例如使用现有技术中的高速立体相机来进行采集待扫描物体的轮廓信息和信息处理，会大大提高设备成本费用，并且由于高速立体相机所采集图像信息量巨大，导致要处理信息量巨大，亦将大大影响扫描检测速率，导致结构光扫描检测的质量下降。

因而，在此背景之下，急需研发一种手段，使得能在确保扫描检测精度的情况下，提高光带图像分辨率和/或数据采集处理频率，进而提高结构光扫描检测的质量，从而实现对待扫描物体的高精度和高速的三维扫描测量。

发明内容

为了解决上述问题中的至少一个，本发明的一个目的是提供一种基于立体视觉的高速结构光扫描系统，能实现高精度和高速的三维扫描测量，获得待检测物体的整个或部分表面的三维坐标及表面轮廓信息，并且能够解决由于改变光强度(例如增加光束)导致的光带乱序的问题。

本发明的另一个目的是提供一种基于立体视觉的高速结构光扫描方法，能实现高精度、高速的三维扫描测量，获得待检测物体的整个或部分表面的三维坐标及表面轮廓信息。

具体而言，本发明提供的基于立体视觉的高速结构光扫描系统，包括：

多个激光器，该多个激光器配置成能够将彼此平行的多条光带投射到待扫描物体的表面上；

立体视觉照相设备，该立体视觉照相设备配置成获取待扫描物体的表面上的光带图像；

处理单元，该处理单元配置成接收来自立体视觉照相设备所获取的光带图像；利用光带提取算法提取每条光带在图像中的二维位置坐标，并利用立体视觉算法识别每条光带的光带序号；以及参照各光带的光带序号，利用对应该光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标。

进一步地，该立体视觉照相设备包括至少两个高速相机，且该至少两个高速相机优选地被安装成均可以获取上述光带的光带图像。

进一步地，该多个激光器和立体视觉照相设备相对于彼此的空间位置关系是固定的且共同构成扫描机构。进一步地，该待扫描物体被放置成使得该多个激光器能够在其待扫描表面上形成彼此平行的多条光带。

进一步地，本发明提供的基于立体视觉的高速结构光扫描系统还包括推进机构。该推进机构配置成能够进行驱动，以使待扫描物体沿待扫描表面所在的平面且垂直于多条光带的方向的相对运动。

进一步地，该多条光带连续扫过待扫描物体的整个或部分表面，从而能够获取待扫描物体的整个或部分表面的三维坐标及表面轮廓信息。

本发明提供的基于立体视觉的高速结构光扫描方法，包括以下步骤：

A)将彼此平行的多条光带投射到待扫描物体的表面上；

B)利用立体视觉照相设备获取待扫描物体的表面上的光带图像；

C)利用光带提取算法提取每条光带在图像中的二维位置坐标，利用立体视觉算法识别每条光带的光带序号；

D)参照光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标。

进一步地，该多条光带由多个激光器发出，该立体视觉照相设备包括至少两个高速相机。进一步地，该至少两个高速相机安装成均可以获取上述光带的光带图像。

进一步地，该多个激光器和立体视觉照相设备相对于彼此的空间位置关系是固定的且共同构成扫描机构。进一步地，该待扫描物体被放置成使得多个激光器能够在其待扫描表面上形成彼此平行的多条光带。

进一步地，多条光带的数量等同于上述扫描方法的扫描密度增加的倍数。

进一步地，在上述步骤C)中，该至少两个高速相机分别获取所述包含多个光带的图像，根据同一条光带在该至少两个高速相机可能的成像位置关系，识别出每条光带的光带序号。

进一步地，根据本发明提供的基于立体视觉的高速结构光扫描方法，在扫描过程中，使待扫描物体与扫描机构之间进行沿待扫描表面所在的平面且垂直于多条光带的方向的相对运动，其中多条光带连续扫过该待扫描物体的整个或部分表面，从而能够获取该待扫描物体的整个或部分表面的三维坐标及表面轮廓信息。

本发明的有益效果是：

1、本发明采用多条光带进行扫描，提高了采样密度，增加了光带图像分辨率，进而提高了结构光扫描的检测速度，其中，光带数量越多，采样密度越高，则结构光扫描的检测速度越快；

2、本发明采用了包括至少两个高速相机的立体视觉照相设备，从而具有以下优势：

1)本发明中所使用的至少两个高速相机获取各光带的含简单二维位置信息的光带图像，而后通过处理单元进行快速处理，即利用至少两个高速相机之间的相对设置位置以及所获得的图像之间的视差，经光带提取算法和立体视觉算法，获得相对采集方向上所采集光带的光带序号的准确排序，从而可避免使用多个光带同时扫描时，由于被测物体表面相对较大起伏而在采样过程中出现的乱序现象，进而提高了结构光扫描检测的检测精度；

2)由于本发明中仅需计算光带的二维位置坐标，所需处理信息量较少，大大提高了数据采集处理的速率，即相较于现有技术大幅度提高了结构光扫描检测的检测速度；以及

3)由于本发明中仅需获得包含二维位置信息的光带图像，使用功能简单的立体视觉照相设备即可实现，因而也避免了对昂贵立体相机的需求，从而大大降低了设备成本，提高了其经济可行性。

附图说明

图1是根据本发明的基于立体视觉的高速结构光扫描系统的整体示意图；

图2是根据本发明的另一个基于立体视觉的高速结构光扫描系统的整体示意图；

图3是根据本发明的又一个基于立体视觉的高速结构光扫描系统的整体示意图；

图4是本发明的基于立体视觉的高速结构光扫描系统的测量原理的示意图；

图5是本发明的基于立体视觉的高速结构光扫描系统在扫描过程中遇到凹面时的测量原理的示意图，其中，示出了一台相机拍到的光带图像及其序号；

图6是本发明的基于立体视觉的高速结构光扫描系统在扫描过程中遇到凸面时的测量原理的示意图，其中，示出了一台相机拍到的光带图像及其序号；

图7示出了立体视觉照相设备采集的图像。

图8示出了本发明的基于立体视觉的高速结构光扫描方法的流程图。

附图标记：

1、高速结构光扫描系统；2.1、2.2、2.3、激光器；3.1、3.2、3.3光带；4、待扫描物体；5、立体视觉照相设备；6、处理单元；7.1、7.2、高速相机；8、推进机构；9、上位机；10、下位机。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将通过具体实施方式并结合附图来进一步详细清楚地描述本发明。本领域技术人员应理解，所描述的具体实施方式仅是用于说明本发明的目的，并不意图限制本发明的范围。此外，应理解本领域技术人员在本发明的精神和范围内做出的对本发明的具体实施方式的任何改变、改进以及等同替换等都落入本发明所保护的范围内。

参照图1，图1是根据本发明的基于立体视觉的高速结构光扫描系统的整体示意图。本发明提供的一种基于立体视觉的高速结构光扫描系统1，包括：

三个激光器2.1、2.2、2.3，该三个激光器2.1、2.2、2.3配置成能够将彼此平行的三条光带3.1、3.2、3.3投射到待扫描物体4的表面上；

立体视觉照相设备5，该立体视觉照相设备5配置成获取待扫描物体4的表面上的光带图像；

处理单元6，该处理单元6配置成接收来自立体视觉照相设备5所获取的光带图像；利用光带提取算法提取每条光带在图像中的二维位置坐标，并利用立体视觉算法识别每条光带的光带序号；以及参照各光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标。

其中，可选地，立体视觉照相设备5包括被安装成均可以获取上述光带的光带图像的两个高速相机7.1、7.2。

可选地，三个激光器2.1、2.2、2.3和立体视觉照相设备5相对于彼此的空间位置关系是固定的且共同构成扫描机构，且待扫描物体4放置成使得三个激光器2.1、2.2、2.3能够在其待扫描表面上形成彼此平行的三条光带3.1、3.2、3.3。

参考图2，图2是根据本发明的另一个基于立体视觉的高速结构光扫描系统的整体示意图。可选地，该基于立体视觉的高速结构光扫描系统1还包括推进机构8，这里是列车，配置成能够进行驱动，以使待扫描对象4(铁轨)沿待扫描表面所在的平面且垂直于三条光带3.1、3.2、3.3的方向的相对运动。其中，光带3.1、3.2、3.3连续扫过待扫描物体4(铁轨)的表面，从而能够获取待扫描物体4的整个或部分表面的三维坐标及表面轮廓信息。

参见图7，图7示出了立体视觉照相设备采集的图像，具体地，示出了三条光带中，中间光带被遮挡：A左相机图像，B右相机图像；左边光带被遮挡：C左相机图像，D右相机图像，其中，3条光带中有1条光带被遮挡，因此图像中只有2条光带，这时如果只有一个相机就无法判断哪个光带被遮挡，即无法识别光带序号，也无法利用相应光带的标定曲线输出测量结果。从图中还可以看到，由于立体视觉照相设备中的不同高速相机的视角不同，所采集的图像也是不同的，存在视差，利用视差可以确定每条光带距离高速相机的前后距离，以此为基础可以确定光带的序号，进而利用相应序号光带的标定曲线更准确地获得被测物体的轮廓。

参照图3，图3是根据本发明的又一个基于立体视觉的高速结构光扫描系统的整体示意图。可选地，根据本发明的基于立体视觉的高速结构光扫描系统的处理单元6可以包括上位机9和下位机10。其中，可选地，上位机9配置来对所获得的每一条光带的每一帧图像所携带的坐标数据信息进行实时存储及附加算法处理，而下位机10配置来传送所计算出的光带数据。基于上位机9和下位机10实时存储、计算以及传送的光带数据，处理单元6可进一步对光带进行准确的定位。

此外，参照图8，图8示出了本发明的基于立体视觉的高速结构光扫描方法的流程图。根据本发明的一种基于立体视觉的高速结构光扫描方法，包括以下步骤：

A)将彼此平行的三条光带3.1、3.2、3.3投射到待扫描物体4的表面上；

B)利用立体视觉照相设备5获取待扫描物体4的表面上的三条光带3.1、3.2、3.3的光带图像；

C)利用光带提取算法提取每条光带在图像中的二维位置坐标，利用立体视觉算法识别每条光带的光带序号；

D)参照光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标。

可选地，该待扫描物体4为需检测整个或部分表面的三维坐标及表面轮廓信息的任何物体。

可选地，该光带由激光器发出，可以为两条、四条、五条或更多条。可选地，该激光器为两个、三个、四个、五个或更多个。

可选地，该立体视觉照相设备5包括至少两个高速相机。可选地，该至少两个高速相机安装成均可以获取上述光带的光带图像。

可选地，上述激光器和立体视觉照相设备相对于彼此的空间位置关系是固定的且共同构成扫描机构。可选地，该待扫描物体被放置成使得上述激光器能够在其待扫描表面上形成彼此平行的多条光带。

可选地，多条光带的数量等同于上述扫描方法的扫描密度增加的倍数。即，光带数量越多，扫描/采样密度越高。

可选地，在上述步骤C)中，上述至少两个高速相机分别获取包含上述光带的图像，根据同一条光带在该至少两个高速相机可能的成像位置关系，识别出每条光带的光带序号。

可选地，在扫描过程中，使待扫描物体4与扫描机构之间进行沿待扫描表面所在的平面且垂直于上述光带的方向的相对运动，其中各光带连续扫过该待扫描物体的整个或部分表面，从而能够获取该待扫描物体4的整个或部分表面的三维坐标及表面轮廓信息。

参照图1-4，扫描检测一待扫描物体4的实际操作过程可按如下进行：使用三个(也可以是两个、四个、五个或更多个)激光器2.1、2.2、2.3发出三条(数量与实际使用的激光器的数量一致)光带3.1、3.2、3.3，将彼此平行的三条光带3.1、3.2、3.3投射到待扫描物体4的表面上(如图4所示)；然后，立体视觉照相设备5中的两个(可选地，三个、四个、五个或更多个)高速相机7.1、7.2同时对所投射的光带进行采集，获取待扫描物体4的表面上的各光带的光带图像(如图4所示)；处理单元6对立体视觉照相设备5获取的各光带图像进行处理，利用光带提取算法提取每条光带在图像中的二维位置坐标，然后利用立体视觉算法识别每条光带的光带序号，其中处理单元6可基于两个高速相机7.1、7.2之间的相对设置位置以及经对其采集的光带图像进行简单图像处理而获得的二维位置信息，准确获得各光带所对应的光带序号；然后，处理单元6参照所获得的各光带的相应光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标；可选地，利用推进机构8(如图2中所示)进行驱动，使待扫描物体4沿待扫描表面所在的平面且垂直于所述多条光带的方向进行相对运动，同时上述激光器2.1、2.2、2.3和立体视觉照相设备5以及处理单元6对该待扫描物体4重复之前的操作，从而得到各光带3.1、3.2、3.3在扫描方向上的一系列对应的三维位置坐标信息，并基于这些三维位置坐标信息，最终获得待扫描物体4的相应表面的轮廓信息。

可选地，处理单元6可包括上位机9和下位机10(如图3所示)。

可选地，上位机9通过光带提取算法对所获得的每一条光带的每一帧图像所携带的坐标数据信息进行实时存储及附加算法处理，下位机10传送所计算出的光带数据；然后，处理单元6基于上位机9和下位机10实时存储、计算以及传送的光带数据，通过立体视觉算法进行定位，从而获得各光带的光带序号。

可选地，处理单元6可基于该立体视觉照相设备5的至少两个高速相机所采集的光带图像，通过简单图像处理技术快速获得各光带所扫描的待扫描物体的表面轮廓信息。

另外，在实际扫描检测操作的过程中，待扫描物体的表面常有不平整不规则的表面，例如凹的或凸的表面等，传统结构光扫描过程中，在多条光带同时扫描的情况下，这种不平整表面所致遮挡将导致无法撷取到某些光带图像，而可能会发生多个光带的乱序现象。

根据本发明，参照图5-6，图5是本发明的基于立体视觉的高速结构光扫描系统在扫描过程中遇到凹面时的测量原理的示意图；图6是本发明的基于立体视觉的高速结构光扫描系统在扫描过程中遇到凸面时的测量原理的示意图。在本发明的立体视觉照相设备只能采集到部分光带(例如图5中所示的光带3.1和3.3或图6中所示的光带3.2和3.3)的光带图像的情况下，经本发明的处理单元处理可准确地确定上述部分光带的光带序号。具体而言，在遇到不平整不规则的例如凹的或凸的表面等时，立体视觉照相设备5中的两个(也可为三个、四个、五个或更多个)高速相机7.1、7.2同时对所投射的三条(也可为两条、三条、五条或更多条)光带3.1、3.2、3.3进行采集，由于不平表面仅获得两条光带图像(如图5-6中所示)，而后处理单元6基于两个高速相机的安装位置、角度、同一条光带在两个高速相机可能的成像位置关系等，经光带提取算法提取每条光带在图像中的二维位置坐标，并利用立体视觉算法准确地识别出所获得的两条光带的光带序号分别为3.1和3.3(图5)或3.2和3.3(图6)。因此，避免了因仅撷取到部分光带的光带图像，而无法判别准确的光带序号的情况，大大提高了结构光扫描检测的精度。

Claims (5)

1.一种基于立体视觉的高速结构光扫描方法，其特征在于，包括以下步骤：

A)将彼此平行的多条光带投射到待扫描物体的表面上；

B)利用立体视觉照相设备获取所述待扫描物体的表面上的光带图像；

C)利用光带提取算法提取每条光带在图像中的二维位置坐标，利用立体视觉算法识别每条光带的光带序号，获得相对采集方向上所采集光带的光带序号的准确排序，从而可避免使用多个光带同时扫描时，由于被测物体表面相对较大起伏而在采样过程中出现的乱序现象；

D)参照所述光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标，

其中，所述多条光带由多个激光器发出，所述立体视觉照相设备包括至少两个高速相机，所述至少两个高速相机被安装成均可以获取所述光带图像，所述多个激光器和所述立体视觉照相设备相对于彼此的空间位置关系是固定的且共同构成扫描机构，所述待扫描物体放置成使得所述多个激光器能够在其待扫描表面上形成多条光带，

在所述步骤C)中，所述至少两个高速相机分别获取所述包含多个光带的图像，根据同一条光带在所述至少两个高速相机可能的成像位置关系以及所述至少两个高速相机的安装位置和角度，利用立体视觉算法识别出每条光带的光带序号。

2.根据权利要求1所述的基于立体视觉的高速结构光扫描方法，其特征在于，在扫描过程中，所述待扫描物体与所述扫描机构之间存在沿待扫描表面所在的平面且垂直于所述多条光带的方向的相对运动，其中，所述多条光带连续扫过所述待扫描物体的整个或部分表面，从而能够获取所述待扫描物体的整个或部分表面的三维坐标及表面轮廓信息。

3.根据权利要求1所述的基于立体视觉的高速结构光扫描方法，其特征在于，所述多条光带的数量等同于所述扫描方法的扫描密度增加的倍数。

4.一种基于立体视觉的高速结构光扫描系统，其特征在于，包括：

多个激光器，配置成能够将彼此平行的多条光带投射到待扫描物体的表面上；

立体视觉照相设备，配置成获取所述待扫描物体的表面上的光带图像；

处理单元，配置成接收来自所述立体视觉照相设备的所述光带图像；利用光带提取算法提取每条光带在图像中的二维位置坐标，和利用立体视觉算法识别每条光带的光带序号；参照所述光带的光带序号，利用对应此光带序号的标定曲线，将所获得的对应此光带序号的光带在图像中的二维位置坐标变换为三维位置坐标，获得相对采集方向上所采集光带的光带序号的准确排序，从而可避免使用多个光带同时扫描时，由于被测物体表面相对较大起伏而在采样过程中出现的乱序现象，所述立体视觉照相设备包括至少两个高速相机，所述至少两个高速相机被安装成均可以获取所述光带图像，所述多个激光器和所述立体视觉照相设备相对于彼此的空间位置关系是固定的且共同构成扫描机构，所述待扫描物体放置成使得所述多个激光器能够在其待扫描表面上形成多条光带，其中，所述至少两个高速相机分别获取所述包含多个光带的图像，根据同一条光带在所述至少两个高速相机可能的成像位置关系以及所述至少两个高速相机的安装位置和角度，利用立体视觉算法识别出每条光带的光带序号。

5.根据权利要求4所述的基于立体视觉的高速结构光扫描系统，其特征在于，进一步包括推进机构，所述推进机构配置成能够进行驱动，以使所述待扫描物体沿待扫描表面所在的平面且垂直于所述多条光带的方向的相对运动，其中，所述多条光带连续扫过所述待扫描物体的整个或部分表面，从而能够获取所述待扫描物体的整个或部分表面的三维坐标及表面轮廓信息。

Images