CN109238173B - 一种储煤场三维实景重构系统及煤量快速估算方法 - Google Patents

Abstract

一种储煤场三维实景重构系统及煤量快速估算方法，属于计算机视觉技术领域。重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。优点：具有较高的煤量估算精度，适用于大规模露天储煤场的煤量估算，能推广应用于其他行业的堆场储运管理。准确的核算出煤矿、煤运港口和火力发电厂等生产或使用煤炭的储煤场的煤量。

Description

一种储煤场三维实景重构系统及煤量快速估算方法

技术领域

本发明涉及一种计算机视觉技术领域的储煤场煤量快速估算方法，特别是一种储煤场三维实景重构系统及煤量快速估算方法。

背景技术

对于煤矿、煤运港口和火力发电厂等生产或使用煤炭的企业，准确的核算储煤场的煤量对上述企业的经营决策和生产计划制定至关重要，直接影响着企业的经济效益。

目前，通常采用激光测量或摄影测量来代替人工估算方法，实现储煤场煤量的估算，提高储运管理的实时性和准确性。其中，激光测量主要根据激光打点得到的煤堆表面坐标，形成三维点云，实现对煤堆的重构和煤量估算；文献(张文军、舒新前、姜洪才等，基于激光三维扫描的不规则煤场测量系统设计[J].煤炭科学技术,2009(5):111-114.)，专利(程力、王秋颖、陆闽宁等，一种远程高精度全范围激光盘煤系统；CN203719624U[P].2014.)设计一种远程高精度全范围激光盘煤系统，在堆取料机门架上安装转动云台与激光扫描仪，定位更加精确，相对测量误差和重复测量误差更小；煤储量测量结果更加精确。与之不同，摄影测量主要采用运动恢复结构算法重构煤场的三维模型，进而得到煤堆的体积信息；文献(程健、祖丰收、王东伟等，露天储煤场无人机自动盘煤系统研究[J].煤炭科学技术,2016,44(5):160-165.)采用无人机获取融合GPS精确定位信息的煤场高清图像，并应用运动恢复结构算法，重构得到露天储煤场的三维实景模型。文献(董建伟、李海滨、孔德明等，基于多视图立体视觉的煤场三维建模方法研究[J].燕山大学学报,2016,40(2):136-141.)将无人机图像与多视图三维重建技术相结合，采用无人机搭载摄像机进行港口煤场图像采集，根据运动恢复结构和稠密立体匹配的重建原理，实现煤场三维重建。

以上两种方法均存在一定局限性。激光测量法实现简单，但是储煤场环境具有多粉尘、多水雾特性，会严重影响激光测量的准确性，并且激光探头的布置受制于场地，布置的探头数量不能保证点云的准确性。特别在煤炭港口的露天储煤场中，该类问题对煤量估算的准确性影响显著。摄影测量对环境适应性好，不需要布设固定检测装置，只需要采用无人机搭载高清摄像头，通过对煤场进行全景拍摄，采用先进的图像处理技术，即可以准确的重构出储煤场的三维模型。但是，通常需要依靠高清图像来保证重构模型的准确性，从而增加了重构算法的时间复杂度。

发明内容

本发明的目的是要提供一种储煤场三维实景重构系统及煤量快速估算方法，解决激光测量法中因激光探头的布置对煤量估算的准确性不够以及摄影测量法中依靠高清图像来保证重构模型的准确性，从而增加了重构算法的时间复杂度的问题。

本发明的目的是这样实现的：包括储煤场三维实景重构系统和基于储煤场三维实景重构系统的煤量快速估算方法。

储煤场三维实景重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。

基于储煤场三维实景重构系统的煤量快速估算方法，包括如下步骤：

步骤1)对高清摄像头采集的正射图像进行预处理，并提取图像的特征点；

步骤2)结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差；

步骤3)求解投影误差函数，得到特征点的真实坐标，构建稀疏点云；

步骤4)根据稀疏点云生成稠密点云，并重构储煤场表面；

步骤5)采用积分法估算煤堆体积，快速核算真实煤量。

所述的步骤1)的具体内容为：

11)针对高清摄像头采集的正射图像进行高斯模糊处理，并采用均值降采样缩小图像容量；

12)计算处理后图像的积分图：

其中，x,y表示图像中像素点的坐标，I(i,j)表示横坐标为坐标为i，纵坐标为j的像素点的灰度值，I_Σ(x,y)表示积分区域的像素累积灰度值；

13)基于上述积分图，利用滑动窗口法，近似计算出各个像素点的二阶偏导数D_xx、D_xy、D_yy，进而求出该像素点的Hessian矩阵的模值ΔH：

ΔH_(x,y)＝D_xxD_yy-(μD_xy)² (2)

其中，μ为比例系数；此处，滑动窗口选取不同尺寸，生成不同模值矩阵；

设选取r个不同尺寸的滑动窗口，其取值为ω_i∈(9,15,27,34)，i＝1,2,…,r，采用不同大小的滑动窗口对图像处理r次，计算所得的模值矩阵构成图像金字塔；

14)采用非极大值抑制方法，在图像金字塔的各个层级中寻找极值点，其对应的原始图片中相应的像素点，即为特征点；

15)记s_l为第l个特征点所在的金字塔层数，计算该特征点周围4s×4s范围内各个像素的小波响应，将得到的小波响应以特征点为中心进行高斯函数加权，选取具有最大加权值的方向作为特征点的方向；

16)以第l个特征点为中心，取20s×20s个像素，采用模板，计算该区域内s×s大小的子区域中各个像素的哈尔小波响应值；记子区域水平与竖直方向的哈尔小波响应分别为h_x和h_y，则第n个特征点的描述v_l为：

其中，i,j为子区域在20s×20s区域内的坐标。

所述步骤2)的具体内容为：

21)读取已有标记图像的EXIF信息，将图像按GPS位置和采样时间进行排列；

22)记采样总次数为N_c，每张图像中的特征点个数为N_3D，q_lm表示第m次采样下的第l个特征点的二维坐标，Q_l为q_lm在实景中对应点的三维坐标，R_m为像机旋转矩阵，t_m为坐标转换矩阵，K_m为像机参数修正矩阵，g(Q_l,R_m,t_m,K_m)表示从二维图像到三维实景的映射函数，则根据光束平差法，计算特征点的重投影误差E为：

23)记同一特征点之间的轨迹长度为γ_l，轨迹长度的均值为μ_l，轨迹长度的方差为σ_l，特征点现实坐标与真实坐标之间的残差为s_lm＝||q_lm-g(Q_l,R_m,t_m,K_m)||₂，则该特征点的鲁棒性误差函数为：

24)根据光束平差法和鲁棒性误差函数，得到两幅连续图像之间的投影误差函数为：

所述的步骤3)的具体内容为：

31)根据图像的GPS位置信息，初始化Q_l ⁽⁰⁾；

32)计算鲁棒性误差函数的雅可比矩阵

采用Levenberg–Marquardt迭代法计算Q_l ^(k+1)＝Q_l ^(k)-(J^TJ+ωI)^-1J^Tρ_lm，得到使E最小的特征点真实坐标Q_l ^(k′)；

33)基于特征点的真实坐标，构建储煤场三维虚拟场景的稀疏点云。

所述步骤4)的具体内容为：

41)计算所有匹配特征点的光度函数g(q_lm,q_kn)：

g(q_lm,q_kn)＝f(q_lm)·f(q_kn) (7)

其中，q_lm和q_kn表示相匹配的一对特征点，f(q_lm)表示该特征点周围5×5区域的归一化交叉相关值；

42)选取第m个采样时刻的第l个特征点周围5×5的区域记为p_lm，对p_lm进行扩展，任意追加一个与p_lm相邻的2×2区域，计算新区域光度；若光度值变化不超过光度变化阈值

，则将2×2邻域的中心点所对应的真实坐标记入点云，并将两个区域组合形成新的p_lm；

43)重复步骤42)，直到遍历所有图像，形成稠密点云；

44)计算任意两个扩展后p_lm之间的距离，若小于接近度阈值ζ，则删去其中任意一个p_lm所包含的点云，实现对稠密点云的滤波；

45)计算稠密点云的沃罗诺伊图，生成储煤场三维模型表面。

所述的步骤5)的具体内容为：

51)将储煤场三维模型的底面分割成1×1mm²的子区域；

52)计算储煤场三维重构表面到各个子区域的高，记为该子区域的体积；

53)将所有子区域进行体积求和，得到储煤场的煤量。

有益效果，采用上述方案，实现了储煤场煤量的快速准确核算；相比于传统的激光盘煤方法，本发明用于图像数据采集的时间短，采用特征点生成的点云可以更好的捕捉到煤堆的纹理，生成的模型精度更高，且不存在测量死角，同时可以避免水雾、粉尘等环境因素的影响；相比于现有的摄影测量方法，本方案所使用的特征点提取速度更快，并且将特征点匹配与光束平差法相结合，可以省去特征点匹配与消除误匹配点两个步骤，只需要求解光束平差优化函数就可以直接得到特征点的三维坐标，在不损失精度的情况下，显著缩短生成稀疏点云所需计算时间；解决了露天储煤场煤量估算过程中，测量难度大，盘点耗时长的问题，达到了本发明的目的。实现储煤场煤量的快速估算，有效提高煤量的估算精度，为智能储运管理和经营决策提供指导依据。储煤场三维实景重构系统及煤量快速估算方法，为煤量的准确管理提供技术基础。

储煤场三维实景重构系统及煤量快速估算方法，实现基于高清数字摄影的储煤场虚拟重建，进而实现基于视觉的煤量快速核算。储煤场高清数字图像由无人机所携带的高清数字摄像机采集获得，提取图像的特征点，结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差，得到特征点的真实坐标。进而，根据构建的稀疏点云生成稠密点云，重构储煤场表面，并采用积分法估算煤堆体积，快速核算真实的煤量。

优点：1)采用无人机搭载高清摄像头获取煤场的正射图像，能够避免粉尘水、雾等环境因素的影响，并且无需在现场安装其他设备，成本低，灵活度高；2)采用摄影测量的方法对煤场进行三维重构，采集数据的速度更快，精度更高，且不存在测量死角；3)使用本发明中的方法进行三维重构，可以在不损失精度的情况下，显著缩短重构计算时间。

该方法具有较高的煤量估算精度，特别适用于大规模露天储煤场的煤量估算，可推广应用于其他行业的堆场储运管理。准确的核算出煤矿、煤运港口和火力发电厂等生产或使用煤炭的储煤场的煤量。

附图说明：

图1是本发明的储煤场三维虚拟重构系统示意图。

图2是本发明的储煤场三维虚拟重构及煤量估算方法示意图。

图3是本发明的特征点提取示意图。

图4是本发明的模型的稀疏点云。

图5是本发明的模型的稠密点云所形成的模型表面。

具体实施方式

下面结合附图对本发明做进一步描述。以下实施例仅用于更加清楚的说明本发明的技术方案，而不能以此来限定本发明的保护范围

实施例1：本发明包括储煤场三维实景重构系统和基于储煤场三维实景重构系统的煤量快速估算方法。

储煤场三维实景重构系统，包括高清摄像头、工业级四旋翼无人机、无人机地面站、数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算。

基于储煤场三维实景重构系统的煤量快速估算方法，包括如下步骤：

步骤1)对高清摄像头采集的正射图像进行预处理，并提取图像的特征点；

步骤2)结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差；

步骤3)求解投影误差函数，得到特征点的真实坐标，构建稀疏点云；

步骤4)根据稀疏点云生成稠密点云，并重构储煤场表面；

步骤5)采用积分法估算煤堆体积，快速核算真实煤量。

所述的步骤1)的具体内容为：

11)针对高清摄像头采集的正射图像，采用3×3的高斯卷积核进行高斯模糊处理，并采用2×2的窗口进行均值降采样，缩小图像容量；

12)计算图像的积分图：

其中，x,y表示图像中像素点的坐标，I(i,j)表示横坐标为坐标为i，纵坐标为j的像素点的灰度值，I_Σ(x,y)表示积分区域的像素累积灰度值；

13)结合积分图，分别使用9×9，15×15，21×21，27×27模板滤波器对图像进行滑动窗口处理，以此近似计算出各个像素点的二阶偏导数D_xx，D_xy，D_yy，进而求出该像素点的Hessian矩阵的模值ΔH，比例系数μ取0.9：

ΔH＝D_xxD_yy-(0.9D_xy)² (2)

用不同大小的滑动窗口对图像多次处理，计算所得的模值矩阵构成图像金字塔；

14)采用非极大值抑制方法，在图像金字塔的各个层级中的寻找极值点，其对应的原始图片中的点，即为特征点；

15)记s_l为第l个特征点所在的金字塔层数，计算该特征点周围4s×4s范围内各个像素的小波响应，将得到的小波响应以特征点为中心进行高斯函数加权，选取具有最大加权值的方向作为特征点的方向；

16)以第l个特征点为中心，取20s×20s个像素，采用模板，计算该区域内s×s大小的子区域中各个像素的哈尔小波响应值。记子区域水平与竖直方向的哈尔小波响应分别为h_x和h_y，则第n个特征点的描述v_l为：

其中，i,j为子区域在20s×20s区域内的坐标。

所述的步骤2)的具体内容为：

21)读取已有标记图像的EXIF信息，将图像按GPS位置和采样时间进行排列；

22)记采样总次数为N_c，每张图像中的特征点个数为N_3D，q_lm表示第m次采样下的第l个特征点的二维坐标，Q_l为q_lm在实景中对应点的三维坐标，R_m为像机旋转矩阵，t_m为坐标转换矩阵，K_m为像机参数修正矩阵，g(Q_l,R_m,t_m,K_m)表示从二维图像到三维实景的映射函数，则根据光束平差法，计算特征点的重投影误差E为：

23)记同一特征点之间的轨迹长度为γ_l，轨迹长度的均值为μ_l，轨迹长度的方差为σ_l，特征点现实坐标与真实坐标之间的残差为s_lm＝||q_lm-g(Q_l,R_m,t_m,K_m)||₂，则该特征点的鲁棒性误差函数为：

24)根据光束平差法和鲁棒性误差函数，得到两幅连续图像之间的投影误差函数为：

所述的步骤3)的具体内容为：

31)根据图像的GPS位置信息，初始化Q_l ⁽⁰⁾；

32)计算鲁棒性误差函数的雅可比矩阵

采用Levenberg–Marquardt迭代法计算Q_l ^(k+1)＝Q_l ^(k)-(J^TJ+ωI)^-1J^Tρ_lm，得到使E最小的特征点真实坐标Q_l ^(k′)；

33)基于特征点的真实坐标，构建储煤场三维虚拟场景的稀疏点云。

所述的步骤4)的具体内容为：

41)计算所有匹配特征点的光度函数g(q_lm,q_kn)：

g(q_lm,q_kn)＝f(q_lm)·f(q_kn) (7)

其中，q_lm和q_kn表示相匹配的一对特征点，f(q_lm)表示该特征点周围5×5区域的归一化交叉相关值,

其中，特征点q_lm的坐标是

I(x,y)表示坐标(x,y)的像素的灰度值，

表示特征点周围5×5范围内像素灰度值的均值；

42)选取第m个采样时刻的第l个特征点周围5×5的区域记为p_lm，对p_lm进行扩展，任意追加一个与p_lm相邻的2×2区域，计算新区域光度。取光度变化阈值

若光度值变化不超过该阈值，则将2×2邻域的中心点所对应的真实坐标记入点云，并将两个区域组合形成新的p_lm；

43)重复步骤42)，直到遍历所有图像，形成稠密点云；

44)计算任意两个扩展后p_lm之间的距离d(p_lm)＝|c(p_lm)-c(p_kn)·n(p_lm)|+|c(p_lm)-c(p_kn)·n(p_kn)|；设接近度阈值ζ＝0.25，若小于接近度阈值，则任意删去其中一个p_lm所包含的点云，实现对稠密点云的滤波；

45)计算稠密点云的沃罗诺伊图，生成储煤场三维模型表面。

所述的步骤5)的具体内容为：

51)将储煤场三维模型的底面分割成1×1mm²的子区域；

52)计算储煤场三维重构表面到各个子区域的高，记为该子区域的体积；

53)将所有子区域进行体积求和，得到储煤场的煤量。

Claims (4)

1.一种基于储煤场三维实景重构系统的煤量快速估算方法，其特征是：

所述储煤场三维实景重构系统包括高清摄像头、工业级四旋翼无人机、无人机地面站和数据服务器；所述高清摄像头、工业级四旋翼无人机、无人机地面站构成系统的数据采集部分；所述工业级四旋翼无人机用于搭载高清摄像头，获取储煤场的正射图像；所述无人机地面站控制无人机在储煤场内按巡航路径飞行；所述数据服务器通过无线网络接收高清摄像头获取的正射影像，进行储煤场三维虚拟重构，并对煤量进行估算，包括以下步骤：

步骤1)对高清摄像头采集的正射图像进行预处理，并提取图像的特征点；

步骤2)结合EXIF信息，采用光束平差法，计算两幅图像特征点之间的投影误差，具体步骤包括：

21)读取已有标记图像的EXIF信息，将图像按GPS位置和采样时间进行排列；

22)记采样总次数为N_C，每张图像中的特征点个数为N_3D，q_lm表示第m次采样下的第l个特征点的二维坐标，Q_l为q_lm在实景中对应点的三维坐标，R_m为像机旋转矩阵，t_m为坐标转换矩阵，K_m为像机参数修正矩阵，g(Q_l,R_m,t_m,K_m)表示从二维图像到三维实景的映射函数，则根据光束平差法，计算特征点的重投影误差E为：

23)记同一特征点之间的轨迹长度为γ_l，轨迹长度的均值为μ_l，轨迹长度的方差为σ_l，特征点现实坐标与真实坐标之间的残差为s_lm＝||q_lm-g(Q_l,R_m,t_m,K_m)||₂，则该特征点的鲁棒性误差函数为：

24)根据光束平差法和鲁棒性误差函数，得到两幅连续图像之间的投影误差函数为：

步骤3)求解投影误差函数，得到特征点的真实坐标，构建稀疏点云，具体步骤包括：

31)根据图像的GPS位置信息，初始化Q_l ⁽⁰⁾；

32)计算鲁棒性误差函数的雅可比矩阵

采用Levenberg-Marquardt迭代法计算

得到使E最小的特征点真实坐标

33)基于特征点的真实坐标，构建储煤场三维虚拟场景的稀疏点云；

步骤4)根据稀疏点云生成稠密点云，并重构储煤场表面；

步骤5)采用积分法估算煤堆体积，快速核算真实煤量。

2.根据权利要求1所述的一种基于储煤场三维实景重构系统的煤量快速估算方法，其特征是：所述的步骤1)的具体内容为：

11)针对高清摄像头采集的正射图像进行高斯模糊处理，并采用均值降采样缩小图像容量；

12)计算处理后图像的积分图：

其中，x,y表示图像中像素点的坐标，I(i,j)表示横坐标为坐标为i，纵坐标为j的像素点的灰度值，I_∑(x,y)表示积分区域的像素累积灰度值；

13)基于上述积分图，利用滑动窗口法，近似计算出各个像素点的二阶偏导数D_xx、D_xy、D_yy，进而求出该像素点的Hessian矩阵的模值ΔH：

ΔH_(x,y)＝D_xxD_yy-(μD_xy)² (2)

其中，μ为比例系数；此处，滑动窗口选取不同尺寸，生成不同模值矩阵；

设选取r个不同尺寸的滑动窗口，其取值为W_i∈(9,15,27,34)，i＝1,2,…,r，采用不同大小的滑动窗口对图像处理r次，计算所得的模值矩阵构成图像金字塔；

14)采用非极大值抑制方法，在图像金字塔的各个层级中寻找极值点，其对应的原始图片中相应的像素点，即为特征点；

15)记s_l为第l个特征点所在的金字塔层数，计算该特征点周围4s×4s范围内各个像素的小波响应，将得到的小波响应以特征点为中心进行高斯函数加权，选取具有最大加权值的方向作为特征点的方向；

16)以第l个特征点为中心，取20s×20s个像素，采用模板，计算该区域内s×s大小的子区域中各个像素的哈尔小波响应值；记子区域水平与竖直方向的哈尔小波响应分别为h_x和h_y，则第n个特征点的描述v_l为：

其中，i,j为子区域在20s×20s区域内的坐标。

3.根据权利要求1所述的一种基于储煤场三维实景重构系统的煤量快速估算方法，其特征是：所述步骤4)的具体内容为：

41)计算所有匹配特征点的光度函数g(q_lm,q_kn)：

g(q_lm,q_kn)＝f(q_lm)·f(q_kn) (7)

其中，q_lm和q_kn表示相匹配的一对特征点，f(q_lm)表示该特征点周围5×5区域的归一化交叉相关值；

42)选取第m个采样时刻的第l个特征点周围5×5的区域记为p_lm，对p_lm进行扩展，任意追加一个与p_lm相邻的2×2区域，计算新区域光度；若光度值变化不超过光度变化阈值

则将2×2邻域的中心点所对应的真实坐标记入点云，并将两个区域组合形成新的p_lm；

43)重复步骤42)，直到遍历所有图像，形成稠密点云；

44)计算任意两个扩展后p_lm之间的距离，若小于接近度阈值ζ，则删去其中任意一个p_lm所包含的点云，实现对稠密点云的滤波；

45)计算稠密点云的沃罗诺伊图，生成储煤场三维模型表面。

4.根据权利要求1所述的一种基于储煤场三维实景重构系统的煤量快速估算方法，其特征是：所述的步骤5)的具体内容为：

51)将储煤场三维模型的底面分割成1×1mm的子区域；

52)计算储煤场三维重构表面到各个子区域的高，记为该子区域的体积；

53)将所有子区域进行体积求和，得到储煤场的煤量。

Images