CN112161568A - 基于多目普通摄像机的大型煤堆体积测量方法 - Google Patents

基于多目普通摄像机的大型煤堆体积测量方法 Download PDF

Info

Publication number
CN112161568A
CN112161568A CN202011043080.0A CN202011043080A CN112161568A CN 112161568 A CN112161568 A CN 112161568A CN 202011043080 A CN202011043080 A CN 202011043080A CN 112161568 A CN112161568 A CN 112161568A
Authority
CN
China
Prior art keywords
point cloud
coal pile
volume
points
method based
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011043080.0A
Other languages
English (en)
Inventor
郑艳伟
杨晓强
胥晓山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nodal Internet Beijing Technology Co ltd
Shandong University
Original Assignee
Nodal Internet Beijing Technology Co ltd
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nodal Internet Beijing Technology Co ltd, Shandong University filed Critical Nodal Internet Beijing Technology Co ltd
Priority to CN202011043080.0A priority Critical patent/CN112161568A/zh
Publication of CN112161568A publication Critical patent/CN112161568A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明属于计算机视觉技术领域，涉及基于视觉的煤堆体积测量方法。基于多目普通摄像机的大型煤堆体积测量方法，包括：(1)将多个摄像头获取的高清图像导入MVE软件中，重建出粗的三维点云数据；(2)对得到粗的煤堆点云进行校正处理，得到经校正的煤堆点云，并将其分割出来；(3)对点云进行尺度变换，获取点云对应的真实尺寸；(4)对点云进行网格分割，计算煤堆体积。本发明采用多个高清摄像头获得的图像，利用运动结构恢复技术还原待测煤堆模型，实现了操作简单，易于控制，价格低廉的煤堆体积计算办法。

Description

基于多目普通摄像机的大型煤堆体积测量方法
技术领域
本发明属于计算机视觉技术领域，涉及基于视觉的煤堆体积测量方法。
背景技术
数据显示，近20年来，全球火电机容量翻了一番，截至2018年底，全球在运煤电机组装机达202.4万兆瓦，在建装机23.6万兆瓦，计划建装机33.6万兆瓦。燃煤电厂在我国的火电厂中仍然占有很大比例。盘煤是电厂运营过程中必不可少的重要环节。
传统的盘煤方法是先将煤堆整形，然后进行人工测量，最后根据煤堆外形进行体积估计。此盘煤方法费时费力，测量结果也极不准确，极大的限制了现代化煤场管理水平的提高。近年来随着激光雷达盘煤得到推广。相比传统方式，激光雷达盘煤在易用性和准确性上有大幅度提升，但是激光雷达存在着成本高，部署复杂，维护难，可用距离短等缺陷。
近年来，随着无人机技术的不断发展，已有厂商利用无人机进行室外盘煤。无人机是目前各种盘煤方法中最经济适用的。利用无人机搭载高清摄像头获取煤堆的图像，并融合无人机的GPS定位信息，通过利用图像的三维重建技术获得煤堆模型，进而计算煤堆体积。无人机盘煤方案成本低，效率高，但存在抖动问题。此外，室内场景由于封闭，往往导致无人机起飞困难，且定位效果差，因此无人机盘煤适用于露天煤场。然而近些年，国家对环保方面的要求日益提高，封闭煤场将逐渐取代露天煤场以达到环保要求。
发明内容
针对现有技术的缺点，本发明提供了一种基于视觉的煤堆体积测量方法。本发明采用了多个高清摄像头获得图像，利用运动结构恢复技术还原待测煤堆模型，实现了操作简单，易于控制，价格低廉的煤堆体积计算办法。
本发明解决其技术问题采用的技术方案是：基于多目普通摄像机的大型煤堆体积测量方法，包括：
1.将多个摄像头获取的高清图像导入MVE软件中，重建出粗的三维点云数据；
2.对得到粗的煤堆点云进行校正处理，得到经校正的煤堆点云，并将其分割出来；
3.选择三点以确定包围盒底面作为煤堆所在空间地面，根据已知物体尺寸进行尺度变换；
4.对校正完成的点云利用网格分割，利用累加的办法进行煤堆体积计算。
作为本发明的一种优选方式，步骤2中对粗点云的校正处理包括：
利用点云处理库中的体素类以大小为0.5m的体素规格进行下采样，利用每个体素中的质心表征该体素中的所有点；
对点云进行去噪，剔除离群点。
进一步优选地，离群点的剔除方法为：计算每个点到其领域内所有点的距离，假设结果服从高斯分布，把偏离均值和标准差区间的点作为噪声点去除。
作为本发明的一种优选方式，步骤3包括：
将步骤2得到的校正后的点云导入三维点云处理软件，根据三点确定一个平面，选择三点作为虚拟地面；
根据尺度已知的物体来对煤堆点云进行尺寸换算。
进一步优选地，尺度已知的物体选择运煤轨道：γ＝lcloud/lreal。其中，lcloud代表轨道在点云中的长度，lreal代表轨道真实长度；根据上述比例，换算出煤堆的真是尺寸。
进一步优选地，步骤4中计煤堆体积计算方法为：将得到的虚拟地面进行二维划分，划分为若干个小正方形，点云中每个点会沿Z轴投影至虚拟地面中的小方格中；
该点所代表的体积即为该点在Z方向上的高度与小方格的面积之积：
累加所有点的体积运算结果，即得到煤堆体积。
进一步优选地，对于因为去噪等缺失点的方格，以周围K个点进行插值点，用于体积运算。
本发明提供了一种测量大型煤堆体积的有效方法，此方法基于三维重建技术准确测量大型煤堆体积。相比现有的激光测量方案具有价格低廉，效率高的优势，节省了大量人力，物力，财力。同时，此方法解决了无人机方案室内难以飞行，GPS定位不准确的问题。此方法可推广运用于所有室内大小型煤堆体积测量的场景。
附图说明
图1为本发明实施例中基于多目普通摄像机的大型煤堆体积测量方法的流程示意图；
图2为阶段效果图示，其中：(a)为初始获得的粗点云，(b)为初始包含旋转的点云，(c)为调整方向后消除旋转影响后的点云，(d)为未调整尺度的点云高度图，(e)为调整尺度后的点云高度图。
具体实施方式
下面结合附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明采用了基于运动结构恢复的多摄像头三维重建方法和基于网格的体积计算方法，方法流程见图1。
步骤1，将获取的高清煤堆图像导入MVE软件中，重建出煤堆的粗三维点云，粗是指包含误匹配点造成的噪声，如图2(a)所示。
该步骤中，导入到MVE中的图像大小为4608×3456,宽4608像素，高3456像素。图像导入后的具体处理流程如下：
(1)图像预处理：将不可能有重叠区域的图像提前剔除。
(2)图像特征点提取与匹配：图像特征点提取利用的是SIFT(Scale-invariantfeature transform)算法，SIFT基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。用kd-tree模型计算两幅图像特征点间的欧氏距离来判断特征点是否匹配。
(3)稀疏点云重建：进行增量式重建。匹配的特征点形成track，利用光束平差法(bundle adjustment)来减少误差，并估计相机内外参数，否则导致漂移。最终生成稀疏点云。
(4)稠密点云重建，先对图像进行聚簇，减少运算量。然后根据PMVS对图像进行匹配、膨胀、过滤。在局部光度一致性和全局可见性约束下完成点云的稠密重建。
步骤2，对得到的粗的煤堆点云利用体素进行下采样并利用数学办法进行去噪，具体为：
(1)利用CC的subSample对重建出的点云进行下采样处理，以质心点代表一个体素中的所有点，体素采样大小为0.7m。
(2)应用统计学滤波来噪声点处理，原理是算出某点到其领域内所有点的距离，假设结果服从高斯分布，把偏离均值和标准差区间的点作为噪声点去除。
(3)去噪后获得的点云不止包括煤堆，还包含其他杂物，因此利用三维点云处理软件CloudCompare的切割工具将煤堆点云切出，杂物抛弃，得到如图2(b)所示的点云，以便进行后续处理。
步骤3，选择三点以确定包围盒底面作为煤堆所在空间地面，根据已知物体尺寸进行尺度变换。
(1)在三维点云处理软件CloudCompare中选择三点作为煤堆点云的底面，体积也将根据此底面计算。
将步骤2得到的点云导入CC(CloudCompare)，由于之前噪声的影响，点云相对于包围盒有一定的旋转角度，虽然噪声已在步骤2中去除，但旋转角度仍然存在，根据三点确定一个平面，可以人工选择三点作为底面，消除旋转，如图2(c)所示。
(2)此时得到的点云坐标系尺度往往大于真实坐标系，如图2(d)所示，需要一个比例关系对煤堆点云进行变换来校正比例。校正比例计算公式如下：γ＝lcloud/lreal，可由CC中的比例缩放工具完成。其中，lcloud代表轨道在点云中的长度，lreal代表轨道真实长度103.5米。
由于运动结构恢复的点云没有尺度信息，需要根据尺度已知的物体来对煤堆点云进行恢复。尺度已知的物体选择运煤轨道。校正比例即轨道点云长度与轨道真实长度之比。尺度校正后的点云如图2(e)所示。
步骤4，对校正完成的点云利用网格分割，利用累加的办法进行煤堆体积计算。
将上述得到的虚拟底面进行二维划分，划分为若干个小正方形，点云中每个点会沿Z轴投影至虚拟底面中的小方格中。则该点所代表的体积即为该点在Z方向上的高度与小方格的面积之积。小方格边长为d，则该格代表的体积可取格中点Z坐标的体积与方格面积之积：v＝d2×avg(Z)，则煤堆总体积：
Figure BDA0002707209090000041
至此完成了对煤堆体积的计算。
对于因为去噪等缺失点的方格，以周围K个点进行插值点，用于体积运算。
本发明的算法首先利用多个高清摄像头获得的图像，进行大型煤堆的稀疏、稠密重建，利用运动结构恢复技术还原待测煤堆模型，进行体积计算。该方法不但适用于封闭空间煤堆体积测量，解决了无人机方案室内难以飞行，GPS定位不准确的问题。该方法同样适用于其他需求，例如城市重建，小型室内场景的三维重建等。

Claims (7)

1.基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，包括：
(1)将多个摄像头获取的高清图像导入MVE软件中，重建出粗的三维点云数据；
(2)对得到粗的煤堆点云进行校正处理，得到经校正的煤堆点云，并将其分割出来；
(3)对点云进行尺度变换，获取点云对应的真实尺寸；
(4)对点云进行网格分割，计算煤堆体积。
2.根据权利要求1所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，步骤(2)中对粗点云的校正处理包括：
利用点云处理库中的体素类以大小为0.5m的体素规格进行下采样，利用每个体素中的质心表征该体素中的所有点；
对点云进行去噪，剔除离群点。
3.根据权利要求2所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，离群点的剔除方法为：计算每个点到其领域内所有点的距离，假设结果服从高斯分布，把偏离均值和标准差区间的点作为噪声点去除。
4.根据权利要求3所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，步骤(3)具体包括：
将步骤2得到的校正后的点云导入CC，根据三点确定一个平面，选择三点作为虚拟地面；
根据尺度已知的物体来对煤堆点云进行尺寸变换。
5.根据权利要求4所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，以运煤轨道为尺度已知的物体：γ＝lcloud/lreal；其中，lcloud代表轨道在点云中的长度，lreal代表轨道真实长度；
根据r和点云中煤堆的尺寸，换算出煤堆的真实尺寸。
6.根据权利要求5所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，煤堆体积计算方法为：
将得到的虚拟地面进行二维划分，划分为若干个小正方形，点云中每个点会沿Z轴投影至虚拟地面中的小方格中；
每个点所代表的体积即为该点在Z方向上的高度与小方格的面积之积：
累加所有点的体积运算结果，即得到煤堆体积。
7.根据权利要求6所述的基于多目普通摄像机的大型煤堆体积测量方法，其特征在于，对于因为去噪缺失点的方格，以周围K个点进行插值点，用于体积运算。
CN202011043080.0A 2020-09-28 2020-09-28 基于多目普通摄像机的大型煤堆体积测量方法 Pending CN112161568A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043080.0A CN112161568A (zh) 2020-09-28 2020-09-28 基于多目普通摄像机的大型煤堆体积测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043080.0A CN112161568A (zh) 2020-09-28 2020-09-28 基于多目普通摄像机的大型煤堆体积测量方法

Publications (1)

Publication Number Publication Date
CN112161568A true CN112161568A (zh) 2021-01-01

Family

ID=73860923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043080.0A Pending CN112161568A (zh) 2020-09-28 2020-09-28 基于多目普通摄像机的大型煤堆体积测量方法

Country Status (1)

Country Link
CN (1) CN112161568A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570623A (zh) * 2021-07-28 2021-10-29 广东工业大学 大型煤堆开挖点、堆料点自动识别方法及装置
CN116499364A (zh) * 2023-06-30 2023-07-28 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN111127622A (zh) * 2019-11-25 2020-05-08 浙江大学 基于图像分割的三维点云离群点剔除方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886961A (zh) * 2019-03-27 2019-06-14 重庆交通大学 基于深度图像的中大型货物体积测量方法
CN111127622A (zh) * 2019-11-25 2020-05-08 浙江大学 基于图像分割的三维点云离群点剔除方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113570623A (zh) * 2021-07-28 2021-10-29 广东工业大学 大型煤堆开挖点、堆料点自动识别方法及装置
CN113570623B (zh) * 2021-07-28 2023-12-01 广东工业大学 大型煤堆开挖点、堆料点自动识别方法及装置
CN116499364A (zh) * 2023-06-30 2023-07-28 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统
CN116499364B (zh) * 2023-06-30 2023-09-12 济南作为科技有限公司 盘煤仪三维激光点云调畸变方法及系统

Similar Documents

Publication Publication Date Title
CN110221311B (zh) 基于tls和uav自动化提取高郁闭林分树高的方法
Cheng et al. 3D building model reconstruction from multi-view aerial imagery and lidar data
US10521694B2 (en) 3D building extraction apparatus, method and system
CN114998338B (zh) 一种基于激光雷达点云的矿山开采量计算方法
CN104952107A (zh) 基于车载LiDAR点云数据的桥梁三维重建方法
CN112465732A (zh) 一种车载激光点云与序列全景影像的配准方法
CN112161568A (zh) 基于多目普通摄像机的大型煤堆体积测量方法
CN112465849B (zh) 一种无人机激光点云与序列影像的配准方法
CN112197773A (zh) 基于平面信息的视觉和激光定位建图方法
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN108846374B (zh) 电力设备巡检方法及装置
Kocaman et al. 3D city modeling from high-resolution satellite images
CN114563000B (zh) 一种基于改进型激光雷达里程计的室内外slam方法
Li et al. New methodologies for precise building boundary extraction from LiDAR data and high resolution image
Hu et al. A novel approach to extracting street lamps from vehicle-borne laser data
CN114549779A (zh) 场景模型重建方法、装置、电子设备和存储介质
Li et al. A review of true orthophoto rectification algorithms
CN116912443A (zh) 一种使用无人机航测技术的矿区点云和影像融合建模方法
CN114972672B (zh) 输电线路实景三维模型构建方法、装置、设备和存储介质
CN112365534B (zh) 一种基于单目相机三维重建的大型煤堆体积测量方法
CN113686600B (zh) 一种旋耕机、开沟机性能鉴定装置
CN112767460B (zh) 空间指纹图配准基元特征描述与匹配方法
CN115390050A (zh) 车载激光雷达的标定方法、装置及设备
Gupta et al. Comparative evaluation of pleiades, Cartosat-2 and Kompsat-3 Stereo data for DSM and 3D model generation
CN118334263B (zh) 基于截断符号距离函数的融合激光点云的高精度建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210101

RJ01 Rejection of invention patent application after publication