CN113160416B - 一种用于煤流检测的散斑成像装置及方法 - Google Patents

Abstract

本发明公开了一种用于煤流检测的散斑成像装置及方法，包括激光源、棱镜和高反镜组、棱镜控制板卡、电源、工控机、红外摄像机、RGB摄像机和嵌入式视觉计算处理器；将以上设备集成在同一个盒状的装置中，将所用的接口放在装置后部，上部设有散热通风口，以保证装置的正常运行。棱镜和高反镜组将散斑投射到煤流表面，嵌入式视觉计算处理器采集携带了煤流表面三维点云数据的散斑图像，以散斑图像的二次匹配算法对煤流实体三维点云重构、煤流体积计算、煤流量计算和数据上传，实现煤流监测的功能。

Description

一种用于煤流检测的散斑成像装置及方法

技术领域

本发明涉及光学工程范畴，主要涉及采用散斑结构光三维测量技术对刮板输送机上煤流进行实时测量的装置和方法。

背景技术

要实现刮板输送机煤流监测，需要准确测量刮板输送机实时运输的煤流量。传统的煤流量测量方法有称重法、超声波测距法和激光测距法，这些方法都有一定缺陷。称重法是用称重传感器对刮板输送机上的煤流量进行接触式测量的一种方法，由于其测量原理的本身缺陷，这种测量方法的准确性容易受安装环境、振动、电机的电磁场等影响。超声波测距法是将刮板输送机上的煤流截面近似成梯形，应用超声波测距原理对煤流高度进行测量，再结合托辊长度、托辊夹角、堆积角、煤的密度和刮板输送机的运行速度计算煤流量。因为煤流的表面是不规则的，该方法将煤流表面近似成平面，所以计算精度较低，同时超声波容易受障碍物的影响，抗干扰能力较差。激光测距法和超声波测距法相似，不同于后者的是该方法通过对煤流表面进行激光扫描得到煤流截面的高度数据，然后再计算煤流量。这种方法速度较慢，而且设备成本较高。

刮板输送机煤流监测是为了获取刮板运输机煤流负载数据，为控制刮板输送机的运行速度提供数据支持，减少刮板输送机的磨损和能量的损失，刮板输送机煤流自适用匹配提供数据支撑、理论支撑和资料支撑等，可以实现综采煤流负荷平衡的自适应控制。

发明内容

本发明要解决的技术问题是根据现有技术的不足，提供一种用于煤流检测的散斑成像装置及方法，可以实现综采煤流负荷平衡的自适应控制。

本发明的技术方案是，一种用于煤流检测的散斑成像装置，其特征是包括激光源、棱镜和高反镜组、棱镜控制板卡、电源、工控机、红外摄像机、RGB摄像机和嵌入式视觉计算处理器；将以上设备集成在同一个盒状的装置中，将所用的接口放在装置后部，上部设有散热通风口，以保证装置的正常运行。

一种用于煤流检测的散斑成像方法，其特征是，棱镜和高反镜组将散斑投射到煤流表面，嵌入式视觉计算处理器采集携带了煤流表面三维点云数据的散斑图像，以散斑图像的二次匹配算法对煤流实体三维点云重构、煤流体积计算、煤流量计算和数据上传，实现煤流监测的功能。

进一步地，煤流实体三维点云重构部分首先将获得得煤流上表面的三维点云数据与煤流下表面的三维点云数据进行拼接，然后与刮板输送机表面的三维点云信息融合形成封闭的三维点云曲面，然后填充封闭的三维点云曲面内部得到煤流实体三维点云模型。

进一步地，煤流体积计算部分采用Delaunay三角剖分法对煤流实体三维点云模型进行体积计算，通过对煤流实体三维点云模型的三维凸包进行四面体划分，使点云变成多个小型四面体网格模型，然后对每个四面体进行体积计算并求和得到煤流的体积。

进一步地，是煤流量计算采用平均流量法对刮板输送机煤流进行估计，把煤流体积和煤流在刮板送机速度方向上的长度的比值作为平均截面面积，而煤流量为煤流密度、平均截面面积和刮板输送机平均速度的乘积，计算出刮板送机的煤流量。

进一步地，数据上传是将计算的煤流量数据上传到数据库，为刮板输送机负载自适应调速提供数据支持。

进一步地，首先对煤流的散斑图像进行初始解码以获得初始视差图像，基于初始视差图像，引入视差梯度匹配点的分类预测方法，对匹配范围进行二次定位，实现二次匹配，从而获得稠密的三维点云数据；其中二次匹配包括稀疏匹配和稠密匹配。

进一步地，稀疏匹配包括以下几个步骤：

(1)选择匹配代价：用红外摄像机、RGB摄像机两个相机所成图像的熵减去两个图像对应点的联合熵来表示匹配代价，其中H_L和H_R分别表示左相机和右相机所成像的熵，H_L,R表示两个图象对应点的联合熵。

MI_L,R＝H_L+H_R-H_L,R (2.1)

(2)代价聚合：采用SGM作为代价函数，SGM加入八个方向的梯度，并在各个方向引入了顺序约束，

考虑到路径增长使，MI_L,R和L'的和会特别大，因此加入一个函数校正匹配代价，SGM的代价聚合后为：

L_R(p,d)＝MI_L,R+L-min_kL_R(p-r,k) (2.3)

(3)视差选择：按照代价最小原则进行选择；

(4)视差优化：采用中值滤波、左右一致性检测排除异常值，提高匹配的准确性。

进一步地，稠密匹配采用基于初始视差图像的二次稠密匹配算法，通过视差梯度缩减匹配搜索空间范围，读取初始视差矩阵，计算出视差梯度

根据视差梯度/>

的匹配范围不同决定是否进行二次匹配，进而获得稠密视差图；

其中，O₁、O₂分别是左右两个视点镜头光心，被测对象是任意两点P₁(X₁,Y₁,Z₁)和P₂(X₂,Y₂,Z₂)，在左右两个视图中对应的成像点分别是p_1l(x_1l,y_1l)、p_1r(x_1r,y_1r)、p_2l(x_2l,y_2l)和p_2r(x_2r,y_2r)，以左视图作为参考，则P₁的视差值为d₁＝x_1l-x_1r，P₂的视差值为d₂＝x_2l-x_2r，视差梯度

表示为

其中||g代表向量范数。

本发明的创造性特点如下：

1、针对采煤过程中环境阴暗、光线薄弱、且煤的颜色较深、煤流运动的速度较快等问题，本发明构建了基于散斑的刮板输送机煤流监测方法，并结合双目视觉技术，实现了对刮板输送机煤流实时监测的功能。

2、本发明通过将散斑投射在煤流表面，用嵌入式视觉计算处理器采集煤流表面的散斑图案，然后采用相关算法对其进行解算，对煤流进行三维重建、体积计算和煤流量计算，实现煤流监测的功能。

3、本发明具有速度快、精度高等优点，同时又能解决综采工作面的恶劣环境引发煤流量测量不准确的问题。

4、成像装置结构简单，识别快速，操作简单。

附图说明

附图是用来提供本发明的进一步理解，构成说明书的一部分，并不构成对本发明的限制。

图1是散斑结构光扫描的原理示意流程示意图。

图2是棱镜和高反镜激光编码的散斑结构光装置组成图。

图3是散斑结构光煤流三维重建系统示意图。

图4是煤流测量装置安装示意图。

图5是煤流检测成像装置。

图6是双目成像系统视差梯度。

图7是稠密匹配的算法流程。

图8是煤流监测方法总体流程图。

图9是相机成像原理图。

图10是各坐标之间的关系图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将对本发明的技术方案进行详细描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有付出创造性劳动的前提下所得到的所有其他实施方式，都属于本发明所保护的范围。

如图1、图2所示，本发明提供一种用于煤流检测的散斑成像装置，包括激光源，棱镜系统，棱镜控制板卡，电源，工控机，红外摄像机，RGB摄像机和嵌入式视觉计算处理器。将以上所有设备集成在同一个盒状的装置中，以便于后续的使用方便，将所用的接口放在装置后部，上部设有散热通风口，以保证装置的正常运行。该成像装置结构简单，识别快速，操作简单。

针对采煤过程中环境阴暗、光线薄弱、且煤的颜色较深、煤流运动的速度较快等问题，构建了基于散斑的刮板输送机煤流监测方法，并结合双目视觉技术，实现了对刮板输送机煤流实时监测的功能。

其中散斑成像装置的安装、煤堆表面点云采集与三维重建、基于煤堆实体三维点云计算煤流负载是实现煤流量监测提取的核心技术。

散斑在三维重建方面具有速度快、精度高等优点，同时又能解决综采工作面的恶劣环境引发煤流量测量不准确的问题。本发明通过将散斑投射在煤流表面，用嵌入式视觉计算处理器采集煤流表面的散斑图案，然后采用相关算法对其进行解算，对煤流进行三维重建、体积计算和煤流量计算，实现煤流监测的功能。

嵌入式视觉计算处理器能够采集煤流表面的三维点云数据，然而将该数据转换成煤流量数据还需要设计相关的算法，该部分由编码软件部分完成。

编码软件部分包括煤流实体三维点云重构、煤流体积计算、煤流量计算和数据上传四个部分。

煤流实体点云重构部分能够将煤流表面的三维点云数据和刮板输送机表面的三维点云信息融合形成封闭的三维点云曲面，然后填充曲面内部得到煤流的三维实体模型。

煤流体积计算部分是对煤流实体的三维点云数据进行体积计算，保证体积计算的精确度。

煤流量计算是通过分析体积和流量之间的函数关系，并根据该关系求出实时煤流量。

数据上传主要是将计算的煤流量数据上传到数据库，为刮板输送机负载自适应调速提供数据支持。

二维棱镜实现散斑结构光扫描的原理示意如图1所示。从激光器发出的激光束通过扩束及动态聚焦镜组后，入射到X轴棱镜上，经过X轴棱镜的偏转扫描实现水平方向反射，激光束入射到Y轴高反镜上，再经过Y轴高反镜的偏转扫描实现俯仰方向反射，即可将散斑投影到工作面上。通过变换两棱镜的夹角，可在工作面上形成扫描曲线。在扫描工作面的任何一个空间点，均可通过计算棱镜与高反镜不同的旋转角度并驱动控制棱镜和高反镜旋转。

其中X轴棱镜所在转轴与Z轴平行，通过X棱镜所在轴的旋转，实现激光束在水平方向的扫描投影；Y轴高反镜所在转轴与X轴平行，通过Y轴高反镜所在轴的旋转，实现激光束在俯仰方向的扫描投影。

具体过程为，散斑成像装置将散斑投射到煤流表面，嵌入式视觉计算处理器采集携带了煤流表面三维信息的散斑图像，通过以散斑图像的二次匹配算法对煤流表面实现快速、高精度、稠密的三维点云重构。如图4、图5所示。

首先对煤流的散斑图像进行初始解码以获得初始视差图像，此时的视差是稀疏的，不足以实现高精度的煤流表面三维重构。因此，基于初始视差图像，引入视差梯度匹配点的分类预测方法，对匹配范围进行二次定位，实现二次匹配，从而获得稠密的三维点云数据。如图3所示。双目标定是实现三维信息恢复的基本的、重要的一步,就其实现过程而言,通常先进行单目标定,即对系统中两相机分别进行标定,得出其内、外参数,再通过外参数来确定两相机间的位姿关系。对单目定标来说,是为了求出被测对象与所成像的投影关系,也就是求得空间中被测对象任意点世界坐标及其所成像上对应点像素坐标间关系。其具体实现多种多样,就常用的传统定标方法来说，通常对特定的标定模块进行成像,根据该投块上一系列世界坐标、像素坐标己知的角点，来计算相机内、外参数的过程。标定精度直接关系着三维恢复的效果。

本发明采用平面标定法，圆点标定板对每个相机进行标定。该方法的核心思想是假定原点标定板开始处于Z＝0的平面，再通过通过角点检测算法采集标定板对应点的位置坐标，然后通过数学方法计算相机参数。

标定时采用的是理想相机成像模型，该模型的原理图如图9所示。

为了便于描述成像模型，引入了像素坐标系、图像坐标系、相机坐标系和世界坐标系，各个坐标系之间的关系如图10所示。

像素坐标系通常以传感器靶面左上角为坐标系原点，水平向右为u轴，竖直向下为v轴。图像坐标系是以传感器靶面的一点O₁为原点，x、y轴分别平行u、v轴。图像坐标系和像素坐标系的关系用下列公式表示：

上式中，(u₀,v₀)为O₁，dx，dy表示像素元尺寸，该式还可以表示齐次坐标形式：

相机坐标系是为了反应传感器靶面和相机的位置关系，以相机光心O_c为原点，X_c，Y_c分别平行于x轴和y轴，Z_c为相机光轴建立的三维坐标系。对于相机坐标系下的被测点P(X_c,Y_c,Z_c)，成像点p(x,y)，两点之间的关系可表示为：

世界坐标系是用于描述相机位置的，如图10所示，该坐标系有X_w、Y_w和Z_w三个坐标轴组成，相机的位置可以通过旋转和平移进行描述，如下式所示：

式中R为3×3的旋转矩阵，t为平移向量，0^T＝(0,0,0)。根据上述公式，可以得到世界坐标系下的被测点P和像素坐标系下的成像点p之间的关系式：

有上式可知，被测点P和成像点p的关系取决于f、dx、dy、u₀、v₀和旋转矩阵R以及平移量t决定，其中f、dx、dy、u₀、v₀为相机内参，M为相机内参矩阵，其余为相机外参。

简化公式1.5得到如公式1.6

上式中s为尺度因子。在相机成像过程中，u轴和v轴不完全正交，可将M用下式表示

考虑到满足上述投影关系的矩阵只有单应性矩阵H＝M[r₁ r₂ t]，若记

将公式1.8代入1.6得到公式1.9

记h＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂]^T，消去s后有

记h′＝[h₁₁ h₁₂ h₁₃ h₂₁ h₂₂ h₂₃ h₃₁ h₃₂1]^T，则有

将H用列向量形式表示H＝[h₁ h₂ h₃]＝λM[r₁ r₂ t]，其中λ＝1/s，可得到

标定采集时，图像对不处于平行状态，即r1,r2相互正交，则有

结合公式1.12，有

将M^-TM^-1记为B，然后代入1.13有

记

则有

将式1.15表示为

若相机采集定标了N幅不同位姿的图像，结合公式1.17可得到2N个方程，用矩阵表示为

V_2N×6b＝0 (1.18)

当N大于2时，b有唯一解，且求得的b中含有比例因子。求得b后，可得到矩阵B。由B＝M^-TM^-1，有

结合式1.7，则可获得相机的各个内参，然后根据内参矩阵M求取每幅图像对应的外参。实际求解时，用最大释然法对上述结果进行优化。若对N幅图像进行标定，每幅图像中标定的点个数为m，则可以通过下式进行优化

本发明对双目相机的参数标定采用了多次标定取平均值的方法。

本发明的双目匹配算法有稀疏匹配和稠密匹配两种。稀疏匹配采用半全局双目匹配算法，其实质是动态规划算法的一种改进算法。该方法根据深度变化赋予不同惩罚来增加平滑约束，然后对左右两个深度图进行顺序检测确保唯一性约束，匹配准确度较高。该方法主要包括以下几个步骤：

(1)选择匹配代价。成像的过程中，曝光模式是极其复杂的，因此，用左右两个相机所成图像的熵减去两个图像对应点的联合熵来表示匹配代价，其中H_L和H_R分别表示左相机和右相机所成像的熵，H_L,R表示两个图象对应点的联合熵。

MI_L,R＝H_L+H_R-H_L,R (2.1)

(2)代价聚合。常用的AD、SD等代价函数受光照的影响较大，因此采用SGM作为代价函数。SGM加入八个方向的梯度，而且还考虑了像素级别的相似度衡量易混淆，在各个方向引入了顺序约束。

考虑到路径增长是，MI_L,R和L'的和会特别大，因此加入一个函数校正匹配代价。SGM的代价聚合后为：

L_R(p,d)＝MI_L,R+L-min_kL_R(p-r,k) (2.3)

(3)视差选择。按照代价最小原则进行选择。

(4)视差优化。采用中值滤波、左右一致性检测排除异常值，提高匹配的准确性。

稠密匹配包括视差梯度获取和二次稠密匹配。本发明中采用的相机分辨率较高，直接进行稠密匹配会造成匹配时间过长，因此，本发明提出了基于初始视差图像的二次稠密匹配算法，通过视差梯度缩减匹配搜索空间范围，减少匹配时长，提高匹配效率。

水平放置且经过校正后的双目系统如图6所示。其中，O₁、O₂分别是左右两个视点镜头光心，被测对象是任意两点P₁(X₁,Y₁,Z₁)和P₂(X₂,Y₂,Z₂)，在左右两个视图中对应的成像点分别是p_1l(x_1l,y_1l)、p_1r(x_1r,y_1r)、p_2l(x_2l,y_2l)和p_2r(x_2r,y_2r)。以左视图作为参考，则P₁的视差值为d₁＝x_1l-x_1r，P₂的视差值为d₂＝x_2l-x_2r。视差梯度

表示为

其中||g||代表向量范数。记p_1v＝(p_1l+p_1r)/2，p_2v＝(p_2l+p_2r)/2，则上式可以表示为

二次匹配算法中采用了效率最高的局部匹配算法，使用了NCC作为二次匹配中的代价函数，NCC的公式表示如下

其中I_L、I_r分别代表左右图像，(x,y)为左右图像中待匹配点的坐标，d为视差，W为待匹配点所在的窗口区域，i，j分别为窗口的行和列。读取初始视差矩阵，用式2.4计算出视差梯度

根据视差梯度/>

的匹配范围不同决定是否进行二次匹配，进而获得稠密视差图。

通过上述方法得到的煤流表面三维稠密点云。煤流的三维重建是为了获得其三维实体点云数据。结合双目摄像头和煤流检测编码优化成像装置只能获得煤流上表面的三维点云数据，因此还需要获得煤流下表面的三维点云数据，然后将两部分点云数据拼接，填充上煤流上下表面之间的区域即可得到实体点云模型。如图5所示，煤流下表面可近似为刮板输送机的上表面，因此可先采集刮板输送机的上表面的点云数据作为重建时的数据。通过对煤流实体进行三维重建后，就能得到其三维点云数据。采用了Delaunay三角剖分法对煤流实体三维点云进行体积计算。通过对煤流点云数据的三维凸包进行四面体划分，使点云变成多个小型四面体网格模型，然后对每个四面体进行体积计算并求和得到煤流的体积。对于单个四面体体积计算，本文采用了行列式法。

如图4所示。设第i个四面体T_i的四个顶点坐标分别为P₀(x_o,y₀,z₀)，P₁(x₁,y₁,z₁)，P₂(x₂,y₂,z₂)，P₃(x₃,y₃,z₃)，T_i的体积为V_i，则V_i可以由下列公式计算得到：

由于煤流是由所有生成的四面体构成，因此煤流体积为所有生成四面体体积之和，假设该部分煤流生成的四面体个数为n，则煤流体积为：

设煤流平均流量为

煤流体积为V、煤流密度为ρ、和刮板输送机平均速度为

则有：

本发明采用平均流量法对刮板输送机煤流进行估计，把煤流体积和煤流在刮板送机速度方向上的长度的比值作为平均截面面积，而煤流量为煤流密度、平均截面面积和刮板输送机平均速度的乘积，因此可以计算出刮板送机的煤流量。

安装说明：(1)散斑结构光煤流三维重建系统的结构如图5所示。该系统的硬件主要包括煤流检测编码优化成像装置和红外摄像头。散斑结构光煤流测量系统的装置在综采工作面的安装位置如图4所示。激光器通过散斑发生元件后形成散斑场投射至煤流表面。

Claims (1)

1.一种用于煤流检测的散斑成像方法，其特征是，棱镜和高反镜组将散斑投射到煤流表面，嵌入式视觉计算处理器采集携带了煤流表面三维点云数据的散斑图像，以散斑图像的二次匹配算法对煤流实体三维点云重构、煤流体积计算、煤流量计算和数据上传，实现煤流监测的功能；

其中煤流实体三维点云重构部分的具体方法是：首先将获得的煤流上表面的三维点云数据与煤流下表面的三维点云数据进行拼接，然后与刮板输送机表面的三维点云信息融合形成封闭的三维点云曲面，然后填充封闭的三维点云曲面内部得到煤流实体三维点云模型；

其中煤流体积计算部分的具体方法是：采用Delaunay三角剖分法对煤流实体三维点云模型进行体积计算，通过对煤流实体三维点云模型的三维凸包进行四面体划分，使点云变成多个小型四面体网格模型，然后对每个四面体进行体积计算并求和得到煤流的体积；

其中煤流量计算部分的具体方法是：采用平均流量法对刮板输送机煤流进行估计，把煤流体积和煤流在刮板送机速度方向上的长度的比值作为平均截面面积，而煤流量为煤流密度、平均截面面积和刮板输送机平均速度的乘积，计算出刮板送机的煤流量；

其中数据上传部分的具体方法是：将计算的煤流量数据上传到数据库，为刮板输送机负载自适应调速提供数据支持；

其中散斑图像的二次匹配算法的具体方法是：首先对煤流的散斑图像进行初始解码以获得初始视差图像，基于初始视差图像，引入视差梯度匹配点的分类预测方法，对匹配范围进行二次定位，实现二次匹配，从而获得稠密的三维点云数据；其中二次匹配包括稀疏匹配和稠密匹配；

其中稀疏匹配包括以下几个步骤：

(1)选择匹配代价：用红外摄像机、RGB摄像机两个相机所成图像的熵减去两个图像对应点的联合熵来表示匹配代价，其中H_L和H_R分别表示左相机和右相机所成像的熵，H_L,R表示两个图像对应点的联合熵；

MI_L,R＝H_L+H_R-H_L,R (2.1)

(2)代价聚合：采用SGM作为代价函数，SGM加入八个方向的梯度，并在各个方向引入了顺序约束，

考虑到路径增长使，MI_L,R和L'的和会特别大，因此加入一个函数校正匹配代价，SGM的代价聚合后为：

L_R(p,d)＝MI_L,R+L-min_kL_R(p-r,k) (2.3)

(3)视差选择：按照代价最小原则进行选择；

(4)视差优化：采用中值滤波、左右一致性检测排除异常值，提高匹配的准确性；

稠密匹配采用基于初始视差图像的二次稠密匹配算法，通过视差梯度缩减匹配搜索空间范围，读取初始视差矩阵，计算出视差梯度▽d，根据视差梯度

的匹配范围不同决定是否进行二次匹配，进而获得稠密视差图；

其中，O₁、O₂分别是左右两个视点镜头光心，被测对象是任意两点P₁(X₁,Y₁,Z₁)和P₂(X₂,Y₂,Z₂)，在左右两个视图中对应的成像点分别是p_1l(x_1l,y_1l)、p_1r(x_1r,y_1r)、p_2l(x_2l,y_2l)和p_2r(x_2r,y_2r)，以左视图作为参考，则P₁的视差值为d₁＝x_1l-x_1r，P₂的视差值为d₂＝x_2l-x_2r，视差梯度

表示为

其中||·||代表向量范数。

Images