CN110033506A - 基于结构光的综采工作面三维重建系统和重建方法 - Google Patents

Abstract

本发明公开了一种基于结构光的综采工作面三维重建系统和重建方法，对综采工作面三维信息进行采集，提取综采工作面二维图像；对多张综采工作面二维图像进行降噪平滑处理、拼接，从而得到综采工作面的全景图像；对全景图像条纹进行边缘检测，从而准确地获取条纹的边缘信息；根据获取的边缘信息，将投影在综采工作面上的结构光图案和获取的畸变条纹图像进行精确匹配，计算综采工作面的三维坐标信息；利用MATLAB语言对综采工作面进行三维重建。本发明将结构光三维重建系统用于综采工作面的三维重建,对提高煤矿安全生产、矿工安全具有重要的实用价值，对煤矿建设实现数字化具有重大意义。

Description

基于结构光的综采工作面三维重建系统和重建方法

技术领域

本发明属于光学工程技术领域，尤其涉及一种基于结构光的综采工作面三维重建方法和装置。

背景技术

目前，数字化煤矿建设已成为煤矿行业发展的必然趋势，对综采工作面进行三维重建已变得越来越重要，然而现有技术对综采工作面的三维重建却很少涉及。

发明内容

本发明的目的是提出了一种基于结构光的综采工作面三维重建系统和重建方法。本发明对综采工作面的重建是基于结构光的三维重建技术，

本发明的技术方案是，一种基于结构光的综采工作面三维重建系统，包括，结构光源发射器、摄像头、底板及计算机，其特征是：

带有圆形螺栓孔的底板与液压支架的顶部连接，结构光源发射器和摄像头与底板固定连接，在安装结构光源发射器和摄像头过程中要特别注意，需要保证结构光源发射器发出的结构光所形成的平面与摄像头的中心光轴之间的夹角在40°～60°之间，即在与投射方向成一定角度方向的位置安装摄像头。

底板所使用的材料为较厚的钢板，上面的螺栓孔布置需要满足结构光源发射器和摄像头的安装要求。

结构光源发射器1的投影面积由其自身的焦距和液晶片尺寸等参数决定，计算公式如下：

式中，S代表结构光投射面的尺寸，l代表投射的距离，f₂代表结构光源发射器的焦距，m代表液晶片的尺寸，

其中，N代表计算的理论值，V代表综采工作面的面积，S代表结构光投射面的尺寸,n代表摄像头的个数。

由此可以确定在液压支架上布置结构光源发射器及摄像头的数量。一个底板上面安装一个结构光源发射器和一个摄像头，使用尽量少的摄像头获取整个综采工作面的图像。

一种基于结构光的综采工作面三维重建方法，包括以下步骤；

步骤1，结构光源发射器将含有特定编码信息的结构光投射到综采工作面上，利用摄像头对综采工作面上的结构光图像进行采集，提取多张包含有深度信息的综采工作面结构光图像；

步骤2，对步骤1得到的综采工作面结构光图像经过一个3*3的低通滤波器H去除高频噪声，同时对结构光图像进行平滑滤波处理，避免后续进行边缘检测时检测到假边缘；

步骤3，对步骤2滤波处理过的多张综采工作面结构光图像进行拼接，从而得到综采工作面的全景图像；

步骤4，对步骤3得到的综采工作面的全景图像条纹进行边缘检测，从而准确地获取条纹的边缘信息；

步骤5，根据步骤4获取的边缘信息，将结构光图像和获取的畸变条纹图像进行精确匹配，并根据几何测量原理计算综采工作面的三维坐标信息；

步骤6，根据步骤5的三维坐标信息，利用MATLAB语言对综采工作面进行三维重建。

本发明将结构光三维重建系统用于综采工作面的三维重建,对提高煤矿安全生产、矿工安全具有重要的实用价值，对煤矿建设实现数字化具有重大意义。

附图说明

图1是本发明方法的流程示意图。

图2是综采工作面三维重建系统的安装位置示意图。

图3是利用综采工作面三维重建系统扫描获取工作面二维图像的原理图。

具体实施方式

下面结合附图对本发明做进一步详细描述。基于结构光的综采工作面三维重建系统和重建方法，包括以下步骤；

三维重建系统的安装，如图2和图3所示，

带有圆形螺栓孔的底板3与液压支架的顶部通过焊接连接，结构光源发射器1和摄像头2通过螺栓与底板3固定连接，在安装结构光源发射器1和摄像头2过程中要特别注意，需要保证结构光源发射器1发出的结构光所形成的平面与摄像头2的中心光轴之间的夹角在40°～60°之间；发明中底板材料为较厚的钢板，上面的螺栓孔布置需要满足结构光源发射器1和摄像头2的安装要求。

结构光源发射器的投影面积由其自身的焦距和液晶片尺寸等参数决定，计算公式如下：

式中，S代表结构光投射面的尺寸，l代表结构光发射器离综采工作面的距离，f代表结构光源发射器的焦距，m代表液晶片的尺寸。

其中，V代表综采工作面的面积，S代表结构光投射面的尺寸,n代表摄像头的个数，N代表计算的理论值。

由此可以确定在液压支架上布置结构光源发射器1及摄像头2的数量。一个底板3上面安装一个摄像头2和一个结构光源发射器1，以尽量少的摄像头获取整个工作面的图像。

如图1所示，上述重建系统的重建方法包括以下步骤：

步骤1，对综采工作面图像进行采集

利用安装好的上述系统装置对综采工作面的图像信息进行采集，如图3所示，由结构光源发射器1发射含有编码的面结构光图像，将其投射到综采工作面上，含有编码的面结构光图像将会随综采工作面形状的调制而发生畸变；然后通过摄像头2(需要事先对摄像头及结构光源发射器进行标定，方法有很多，这里就不做具体阐述)拍摄到经综采工作面调制过的结构光图像，这样就完成了对包含有深度信息的综采工作面二维图像的采集，将多个摄像头拍摄的综采工作面各部分的图像传输至计算机，为下一步图像预处理做准备。

步骤2，对综采工作面图像进行降噪平滑预处理

由于矿井下环境复杂，在对综采工作面图像采集的过程中，会存在环境噪声、综采工作面局部出现散射等不利因素，摄像头2采集到的经调制后的综采工作面图像将会很容易引入噪声，因此首先对调制后的综采工作面图像进行降噪处理。具体步骤如下：

对步骤1得到的综采工作面图像经过一个3*3的低通滤波器H去除高频噪声，同时对图像进行平滑处理，可以避免后续进行边缘检测时检测到假边缘。

设由步骤1得到的综采工作面原图像为f(u,v)，经3*3的低通滤波器降噪、平滑处理后的综采工作面图像为g(i,j),表达式为：

其中，i,j＝0,1,2,3…n-1；M是点(i,j)的领域中点的坐标集合，该集合中不包含(i，j)，A代表集合内坐标的总数。为了更好的对综采工作面图像进行降噪、平滑处理，综合考虑，本发明选用了最为常见的3*3线性低通滤波器

步骤3，对多张经过步骤2处理过的综采工作面图像进行拼接，得到综采工作面的全景图像。

①在步骤2中对多张拍摄的综采工作面图像进行了降噪平滑后，接下来需要对这些待拼接的多张综采工作面图像进行柱面投影变换。即将步骤2中得到的多张综采工作面图像映射到一个统一的柱面坐标空间上，其目的是为了保持综采工作面图像重叠区域内景物的视觉一致特性。

其中，r表示投射柱面的半径,l表示综采工作面图像宽度，h表示综采工作面图像的高度。

②对变换后的多张综采工作面图像进行图像匹配，计算出两幅图像之间的单位矩阵。本发明采用相应的匹配算法得到待拼接的综采工作面图像的匹配对，然后再根据得到的匹配对利用线性变换计算出综采工作面图像之间的单位矩阵。

③最后根据得到的综采工作面图像之间的单位矩阵信息利用相应的图像融合算法对综采工作面图像进行拼接，得到综采工作面的全景图像。

步骤4，对步骤3得到的综采工作面全景图像进行边缘检测

本发明选用的边缘检测方法是对综采工作面图像中每个像素的某个具体领域来构造Sobel边缘算子，其本质是计算综采工作面图像的一阶导数，并利用局部差分确定边缘点。具体方法如下：

①构造Sobel算子模板；

Sobel卷积因子

Sobel算子包含有两组3*3的卷积核，分别为横向以及纵向，

②把步骤3得到的综采工作面图像中的每个像素与这两个卷积核作平面卷积，

其中，f(x，y)为分别代表经横向及纵向边缘检测前的综采工作面图像灰度值，Gx及Gy分别代表经横向及纵向边缘检测后的综采工作面图像灰度值。

③计算得到该像素点的输出值

在计算的过程中，为计算方便，可使用其近似值；

G＝|G_x|+|G_y|

如果计算的梯度G大于选取的阈值，即确定该点(x，y)为边缘点。并由公式计算该点梯度方向；

④利用上面的方法来完成结构光条纹边缘的检测，准确地获取条纹的边缘信息。

步骤5，根据步骤4获取的条纹边缘信息，将综采工作面结构光图像和获取的畸变条纹图像进行精确匹配，并根据几何测量原理计算综采工作面的三维坐标；

①由步骤4获取的条纹边缘信息，根据子序列唯一性，可以确定发生畸变的条纹在原综采工作面结构光图像中的序数，将综采工作面结构光图像和获取的畸变条纹图像进行精确匹配。

②完成匹配后，根据几何测量原理，结合前面标定好的摄像头及结构光源发射器参数，计算得到综采工作面的三维坐标。

设综采工作面任意一点N(x,y,z)在摄像头坐标系中的坐标为M₁＝(x₁,y₁,z₁)^T,在结构光发射器坐标系中的坐标为M₂＝(x₂,y₂,z₂)^T,在综采工作面图像坐标系中的坐标为(m，n)。

由摄像头坐标系和结构光发射器坐标系的转换关系得：

其中a代表转换矩阵的参数，

根据建立的结构光源发射器和摄像头的几何模型可得到：

化简得

由上面的算式可得

进一步得出综采工作面上某一点M在摄像头坐标系中的坐标为其中f₁，f₂分别代表摄像头焦距和结构光源发射器的焦距。

同理,由上面的转换矩阵可以得到综采工作面空间坐标点N在结构光源发射器坐标系中的坐标。

通过上面的计算，可以得出综采工作面空间上某一点的三维坐标，进一步可以获得整个综采工作面所有点的三维坐标。

步骤6，根据步骤5采集到的三维坐标信息，利用计算机高级编程语言如MATLAB语言来完成综采工作面的三维重建。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于结构光的综采工作面三维重建系统，包括结构光源发射器(1)、摄像头(2)、底板(3)及计算机(4)，其特征是：

带有圆形螺栓孔的底板(3)与液压支架的顶部连接，结构光源发射器(1)和摄像头(2)与底板(3)固定连接，一个底板(3)上面安装一个结构光源发射器(1)和一个摄像头2，使结构光源发射器(1)发出的结构光所形成的平面与摄像头(2)的中心光轴之间的夹角在40°～60°之间；底板上面的螺栓孔布置需要满足结构光源发射器(1)和摄像头(2)的安装要求；液压支架上布置结构光源发射器(1)及摄像头(2)的数量按照以下公式确定：

其中，N代表计算的理论值，V代表综采工作面的面积，S代表结构光投影面积,n代表摄像头的个数；式中S计算公式如下：

式中，S代表结构光投影面积，l代表投射的距离，f₂代表结构光源发射器的焦距，m代表液晶片的尺寸。

2.如权利要求1所述的基于结构光的综采工作面三维重建系统，其特征是重建系统的重建方法包括以下步骤：

步骤1，结构光源发射器将含有特定编码信息的结构光投射到综采工作面上，利用摄像头对综采工作面上的结构光图像进行采集，提取多张包含有深度信息的综采工作面结构光图像；

步骤2，对步骤1得到的综采工作面结构光图像经过一个3*3的低通滤波器H去除高频噪声，同时对结构光图像进行平滑滤波处理，避免后续进行边缘检测时检测到假边缘；

步骤3，对步骤2滤波处理过的多张综采工作面结构光图像进行拼接，从而得到综采工作面的全景图像；

步骤4，对步骤3得到的综采工作面的全景图像条纹进行边缘检测，从而准确地获取条纹的边缘信息；

步骤5，根据步骤4获取的边缘信息，将结构光图像和获取的畸变条纹图像进行精确匹配，并根据几何测量原理计算综采工作面的三维坐标信息；

步骤6，根据步骤5的三维坐标信息，利用MATLAB语言对综采工作面进行三维重建。

3.如权利要求2所述的基于结构光的综采工作面三维重建系统，其特征是步骤2降噪处理的具体步骤如下：

设由步骤1得到的综采工作面原图像为f(u,v)，经3*3的低通滤波器降噪、平滑滤波处理后的综采工作面图像为g(i,j),表达式为：

其中，i,j＝0,1,2,3…n-1，M是点(i,j)的领域中点的坐标集合，该集合中不包含(i，j)，A代表集合内坐标的总数，其中3*3线性低通滤波器

4.如权利要求2所述的基于结构光的综采工作面三维重建系统，其特征是步骤3拼接的具体步骤如下：

①将步骤3中得到的多张综采工作面图像映射到一个统一的柱面坐标空间上进行柱面投影变换，使综采工作面图像重叠区域内景物的视觉保持一致特性；

其中，r表示投射柱面的半径,b表示综采工作面图像宽度，h表示综采工作面图像的高度；

②对变换后的多张综采工作面图像进行图像匹配，计算出两幅图像之间的单位矩阵；采用相应的匹配算法得到待拼接的综采工作面图像的匹配对，然后再根据得到的匹配对利用线性变换计算出综采工作面图像之间的单位矩阵；

③最后根据得到的综采工作面图像之间的单位矩阵信息，利用相应的图像融合算法对综采工作面图像进行拼接，得到综采工作面的全景图像。

5.如权利要求2所述的基于结构光的综采工作面三维重建系统，其特征是步骤4边缘检测方法是：对综采工作面图像中每个像素的某个具体领域构造Sobel边缘算子，具体方法如下：

①构造Sobel边缘算子模板：Sobel算子包含有两组3*3的卷积核，分别为横向以及纵向；

②把得到的综采工作面图像中的每个像素与这两个卷积核作平面卷积，

其中，f(x，y)为经横向及纵向边缘检测前的综采工作面图像灰度值；Gx及Gy分别代表经横向及纵向边缘检测后的综采工作面图像灰度值；

③计算得到该像素点的灰度值

在计算的过程中，为计算方便，可使用其近似值；

G＝|G_x|+|G_y|

如果计算的梯度G大于选取的阈值，即确定该点(x，y)为边缘点，该像素点的梯度方向可由公式计算；

④利用上面的方法来完成结构光条纹边缘的检测，准确地获取条纹的边缘信息。

6.如权利要求2所述的基于结构光的综采工作面三维重建系统，其特征是步骤5精确匹配方法是：

①由步骤4获取的条纹边缘信息，根据子序列唯一性，可以确定发生畸变的条纹在综采工作面原图像中的序数，将综采工作面结构光图像和获取的畸变条纹图像进行精确匹配；

②完成匹配后，根据几何测量原理，结合前面标定好的摄像头及结构光源发射器参数，计算得到综采工作面的三维坐标；

设综采工作面任意一点N(x,y,z)在摄像头坐标系中的坐标为M₁＝(x₁,y₁,z₁)^T,在结构光发射器坐标系中的坐标为M₂＝(x₂,y₂,z₂)^T,在综采工作面图像坐标系中的坐标为(m，n)；

由摄像头坐标系和结构光发射器坐标系的转换关系得：a代表转换矩阵的参数，

根据结构光源发射器和摄像头的几何基础理论知识可得到：

化简得

由上面的算式可得

进一步得出综采工作面上某一点N在摄像头坐标系中的坐标为其中f₁，f₂分别代表摄像头焦距和结构光源发射器的焦距；

同理,由上面的转换矩阵可以得到综采工作面空间坐标点N在结构光源发射器坐标系中的坐标；

通过上面的计算，可以得出综采工作面空间上某一点的三维坐标，进一步可以获得整个综采工作面所有点的三维坐标。