CN112150629A - 一种基于视觉的盘煤系统及方法 - Google Patents
一种基于视觉的盘煤系统及方法 Download PDFInfo
- Publication number
- CN112150629A CN112150629A CN202011026737.2A CN202011026737A CN112150629A CN 112150629 A CN112150629 A CN 112150629A CN 202011026737 A CN202011026737 A CN 202011026737A CN 112150629 A CN112150629 A CN 112150629A
- Authority
- CN
- China
- Prior art keywords
- coal
- dimensional
- point cloud
- aerial vehicle
- unmanned aerial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003245 coal Substances 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims description 25
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000011084 recovery Methods 0.000 claims abstract description 15
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 238000009499 grossing Methods 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000000280 densification Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30132—Masonry; Concrete
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于视觉的盘煤系统，包括数据采集模块和图像处理模块，所述数据采集模块与图像处理模块连接；所述数据采集模块，用于接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；所述图像处理模块，用于根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型，根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；再对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
Description
技术领域
本发明涉及机器视觉技术领域，尤其涉及一种基于视觉的盘煤系统及方法。
背景技术
盘煤是指火电厂盘点电厂存储的煤量，传统的盘煤方法主要是人工盘煤和激光盘煤，人工盘煤只能针对规模较小的储煤场，采用物料斗或者推机把煤堆整理成规则的长方体或棱台，然后用皮尺或者更加精密的测量仪器计算煤堆体积，估算出煤储量；激光盘煤使用激光打点构造三维点云，进一步计算煤储量，虽然精确高效但成本高、实施难度大，难以进行普及。因此，传统的煤堆测量存在工作量大、效率低、测量不精确且耗费较高的缺点。
随着无人机技术的发展普及，无人机空中摄像采集图像越来越多地应用在测量工作中，随着三维重建技术的发展，通过无人机低空航摄系统获取相关数据，再采用三维重建算法生成煤场的三维模型，进而计算出储煤量成为一种可行方案。
但是现有的采用无人机进行处理时存下下述问题：
1)无人机正射图像信息量较大，存在丰富的数据量和数据信息彼此参杂，但难以直接使用运动恢复结构算法准确恢复出场景的三维结构，要解决计算效率和准确度的问题；
2)基于二维图像进行煤场的三维重建，最关键的是从图像序列中解算出相机参数，图像序列的选取对重建结果影响较大，准确获取不同角度的图像序列是一个难点；
3)储煤场的煤堆形状不规则，并且规模较大，煤堆现场堆放混乱，使得煤储量计算极其困难，在堆放过程中部分煤炭质量损失，煤堆密度分布不均，基于三维场景的煤储量计算准确度值得考究；
4)煤场储煤管理存在问题，以人工填写表格为主，煤堆信息匮乏，自动化程度低，导致煤堆的信息融合困难，煤炭种类、堆放位置、相应储煤量等基础信息数据较模糊，要使得盘煤更加简洁便利，需解决煤场的管理问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供了一种基于视觉的盘煤系统及方法，通过无人机摄像采集煤场图像序列，基于图像序列使用运动恢复结构算法恢复出场景的三维结构，采用视觉算法将稀疏点云稠密化，最终实现煤堆的三维重构，根据三维模型对煤储量进行盘点，极大提高盘煤的精确度和效率。
为了实现以上目的，本发明采用以下技术方案：
一种基于视觉的盘煤系统，包括数据采集模块和图像处理模块，所述数据采集模块与图像处理模块连接；
所述数据采集模块，用于接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
所述图像处理模块，用于根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型，根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；再对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
进一步的，所述图像处理模块中基于运动恢复结构算法计算相机的参数具体为：
对每张2维图片检测特征点，对每对图片中的特征点进行匹配，只保留满足几何约束的匹配，最后执行迭代式的、鲁棒的运动恢复结构算法来恢复相机的内参和外参，得到相机的匹配特征点。
进一步的，所述图像处理模块中根据所述参数构建三维稀疏点云模型具体为：
将匹配特征点映射到三维空间坐标系上，映射矩阵由相机外参和内参构成，得到三维稀疏点云模型。
进一步的，所述图像处理模块中根据三维稀疏点云模型进行稠密点云模型重构是基于多视角立体视觉算法构造三维稠密点云，得到稠密点云模型。
进一步的，所述图像处理模块中构建煤场的三维模型具体为：
根据三维稠密点云之间的网络拓扑连接关系构造出煤场的表面形态，并基于三角网格进行三维网格重建，其中三角网络中三个邻近的数据点相连成为一个三角形，将三维稠密点云中所有的点均连成三角形构成煤场的三角网络，得到三角网络三维模型。
进一步的，所述将三维稠密点云中所有的点均连成三角形构成三角网络具体包括：
构建模块，用于取三角网络的边界点构建一个初始三角形，其中初始三角形包含全部三维稠密点云数据；
排序模块，用于将三维稠密点云中的全部点进行排序，并依次插入点列表；
构造模块，用于根据插入列表中的点pi，寻找与点pi最接近且包含点pi的三角形，并将pi作为顶点，与三角形三个顶点相连，构造三个新三角形；
交换模块，用于利用局部优化算法交换凸四边形的对角线优化三角网格；
删除模块，用于删除初始三角形。
进一步的，所述得到三角网络三维模型后还包括基于拉普拉斯光顺算法对三角网格三维模型进行去噪光顺化处理，其中对于每个网格顶点定义拉普拉斯算子表示为：
其中，N(Pi)表示顶点Pi的领域点，点数量为
权值wi取
对顶点进行位置调整，表示为：
pi＝pi+λL(pi)
其中，λ表示用于控制调整速度的常数。
进一步的，所述图像处理模块中计算煤堆重量具体为：
选取三维模型中需要测量的煤堆，并将选取的煤堆进行分隔，得到多个小区域，利用点云的高程信息得到煤堆表面到小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度，并根据得到的体积和密度计算煤堆重量。
相应的，还提供一种基于视觉的盘煤方法，包括步骤：
S1.接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
S2.根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型；
S3.根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；
S4.对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
进一步的，所述步骤S4中计算煤堆重量具体为：
选取三维模型中需要测量的煤堆，并将选取的煤堆进行分隔，得到多个小区域，利用点云的高程信息得到煤堆表面到小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度，并根据得到的体积和密度计算煤堆重量。
与现有技术相比，本发明的有益效果为：
1、利用无人机携带摄像设备进行煤场数据获取，数据采集过程全自动化，快速高效。
2、使用三维重构算法构造了煤场的三维模型，为煤场后续清点以及维护提供了便利。
3、对三维模型进行了去噪光顺化，使模型更加美观精确，减少了干扰、噪声对盘煤的影响。
4、将无人机航摄、三维重构与盘煤联系到一起，拓展了无人机和视觉技术的应用场景。
附图说明
图1是实施例一提供的一种基于视觉的盘煤系统结构图；
图2是实施例一提供的三维重建流程图示意图；
图3是实施例一提供的运动恢复结构算法流程示意图；
图4是实施例一提供的PMVS算法流程示意图；
图5是实施例一提供的三角形三维网格模型示意图；
图6是实施例一提供的计算出的煤堆体积示意图；
图7是实施例二提供的一种基于视觉的盘煤方法流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
本发明的目的是针对现有技术的缺陷，提供了一种基于视觉的盘煤系统及方法。
实施例一
本实施例提供一种基于视觉的盘煤系统，如图1所示，包括数据采集模块和图像处理模块，数据采集模块与图像处理模块连接；
数据采集模块11，用于接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
图像处理模块12，用于根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型，根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；再对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
在本实施例中，如图2所示为三维重建流程图，基于视觉的三维重建的基本流程为：图像获取->特征匹配->深度估计->稀疏点云->相机参数估计->稠密点云->表面重建->纹理映射。
在本实施例中，数据采集模块11包括六旋翼无人机、高清相机云台、地面通讯平台以及无人机升降平台。
六旋翼无人机采用的是大疆M600工业级无人机，无人机搭载高清相机云台进行航摄，地面站设立升降平台以及无人机通讯装置，无人机飞行高度设定为160m，相机俯仰角-90°，使用大疆官方飞行控制平台进行航迹规划，飞行航迹保证图像能覆盖整个煤场，航向和旁向重叠率为80％和70％，每张图片分辨率为5472×3078。
数据采集模块11中无人机的POS数据信息包括GPS数据和IMU数据，即倾斜摄影测量中的外方位元素：(纬度、经度、高程、航向角(Phi)、俯仰角(Omega)及翻滚角(Kappa))。
GPS数据一般用X、Y、Z表示，代表了飞机在飞行中曝光点时刻的地理位置。
IMU数据主要包含了：航向角(Phi)、俯仰角(Omega)及翻滚角(Kappa)三个数据。
在本实施例中，图像处理模块主要基于图像预处理算法、运动恢复结构算法、稠密点云模型重构算法、三维模型重构算法等进行处理。
图像处理模块12中基于运动恢复结构算法计算相机的参数具体为：
运动恢复结构(Structure from Motion，SfM)是指从各种角度的图像中解算出相机参数，恢复场景三维结构的过程，借助视图间特征匹配点的几何关系，恢复相机位置姿态信息和三维点坐标位置。一个基本的SfM流程可以描述为:对每张2维图片检测特征点，对每对图片中的特征点进行匹配，只保留满足几何约束的匹配，最后执行一个迭代式的、鲁棒的SfM方法来恢复相机的内参和外参。相机的内参包含焦距、像主点坐标以及像素大小等，可通过相机标定获得，相机的外参即位置姿态，主要是指拍摄时的旋转角度和平移量。将匹配特征点映射到三维空间坐标系上，映射矩阵由相机外参和内参构成，由此得到三维稀疏点云场景结构。如图3所示为运动恢复结构算法流程图。
图像处理模块12中根据所述参数构建三维稀疏点云模型具体为：
通过运动恢复算法能够恢复场景的三维结构，但是构成场景的点云数量较少不能满足实际应用的要求，使用多视角立体视觉MVS算法来构造三维稠密点云，多视角立体视觉MVS几乎对照片中的每个像素点都进行匹配，几乎重建每一个像素点的三维坐标，这样得到的点的密集程度可以较接近图像展示出的清晰度，可以实现稠密重建的效果。稠密重建的基本思路是寻找空间中具有图像一致性的点，本发明选用基于面片的MVS算法进行稠密化，面片是一个近似的正切于重建物体表面的小矩形，一边平行于参考相机的x轴，由二维图像和相机参数得到，这些面片相较于稀疏点云有更精细的信息，能够更好地重构物体表面。三维重建PMVS算法是基于稀疏点云结构对稀疏点云进行扩散，过滤掉错误的面片，对扩散过程和过滤过程不断迭代，最后得到稠密点云。如图4所示为PMVS算法流程图。
图像处理模块12中构建煤场的三维模型具体为：
稠密点云构建完成后，需要对点云进行三维网格重构，根据点云之间的网络拓扑连接关系构造出煤场的表面形态，使储煤场三维模型更加真实、准确，本发明使用三角网格进行三维网格重建，三个邻近的数据点相连成为一个三角形，将点云中所有的点都连成三角形构成三角网络，尽可能构造成等边三角形，使用逐点插入法生成三角网格，先构建包含所有稠密点云的大三角形，逐一插入剩下的点，新插入的点与已有点尽可能连成等边三角形。
1)取边界点构建一个初始三角形，包含全部点云数据；
2)点云中全部点排序依次插入点列表；
3)插入一个点pi，寻找最接近的包含了pi的三角形，将pi作为顶点，与三角形三个顶点相连，构造三个新三角形；
4)利用LOP(Local Optimization Procedure局部优化算法)算法交换凸四边形的对角线优化三角网格；
5)循环步骤3)和步骤4)直到全部点处理完毕；
6)删除初始三角形。
三角网格模型存在一些干扰信息，例如狭长的三角形、噪声，使用拉普拉斯光顺算法进行去噪光顺化，对于每个网格顶点定义拉普拉斯算子：
其中，N(Pi)表示顶点Pi的领域点，点数量为
权值wi取
对顶点进行位置调整，表示为：
pi＝pi+λL(pi)
其中，λ表示用于控制调整速度的常数，该算法将顶点移向领域的形心，使网格趋向于均匀。
由此得到煤场的三角形三维网格模型，如图5所示为三角形三维网格模型。
图像处理模块12中计算煤堆重量具体为：
在三维模型中选定一个需要测量的煤堆，用一个四边形框选该煤堆，将该四边形分割成1×1mm2的小区域，利用点云的高程信息得到煤堆表面到每个1×1mm2小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度即可计算出煤堆重量。如图6所示为计算出的煤堆体积示意图。
本实施例为煤场的盘煤工作提供了一种基于视觉的方法，使盘煤工作更加便利、高效、精确。
本实施例的有益效果为：
1)利用无人机携带摄像设备进行煤场数据获取，数据采集过程全自动化，快速高效；
2)使用三维重构算法构造了煤场的三维模型，为煤场后续清点以及维护提供了便利；
3)对三维模型进行了去噪光顺化，使模型更加美观精确，减少了干扰、噪声对盘煤的影响；
4)将无人机航摄、三维重构与盘煤联系到一起，拓展了无人机和视觉技术的应用场景。
实施例二
本实施例提供一种基于视觉的盘煤方法，如图7所示，包括步骤：
S11.接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
S12.根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型；
S13.根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；
S14.对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
进一步的，所述步骤S14中计算煤堆重量具体为：
选取三维模型中需要测量的煤堆，并将选取的煤堆进行分隔，得到多个小区域，利用点云的高程信息得到煤堆表面到小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度，并根据得到的体积和密度计算煤堆重量。
需要说明的是，本实施例提供的一种基于视觉的盘煤方法与实施例一类似，在此不多做赘述。
与现有技术相比，本发明的有益效果为：
1、利用无人机携带摄像设备进行煤场数据获取，数据采集过程全自动化，快速高效。
2、使用三维重构算法构造了煤场的三维模型，为煤场后续清点以及维护提供了便利。
3、对三维模型进行了去噪光顺化，使模型更加美观精确，减少了干扰、噪声对盘煤的影响。
4、将无人机航摄、三维重构与盘煤联系到一起，拓展了无人机和视觉技术的应用场景。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种基于视觉的盘煤系统，其特征在于，包括数据采集模块和图像处理模块，所述数据采集模块与图像处理模块连接；
所述数据采集模块，用于接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
所述图像处理模块，用于根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型，根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；再对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
2.根据权利要求1所述的一种基于视觉的盘煤系统，其特征在于，所述图像处理模块中基于运动恢复结构算法计算相机的参数具体为：
对每张2维图片检测特征点，对每对图片中的特征点进行匹配，只保留满足几何约束的匹配，最后执行迭代式的、鲁棒的运动恢复结构算法来恢复相机的内参和外参，得到相机的匹配特征点。
3.根据权利要求2所述的一种基于视觉的盘煤系统，其特征在于，所述图像处理模块中根据所述参数构建三维稀疏点云模型具体为：
将匹配特征点映射到三维空间坐标系上，映射矩阵由相机外参和内参构成，得到三维稀疏点云模型。
4.根据权利要求1所述的一种基于视觉的盘煤系统，其特征在于，所述图像处理模块中根据三维稀疏点云模型进行稠密点云模型重构是基于多视角立体视觉算法构造三维稠密点云，得到稠密点云模型。
5.根据权利要求4所述的一种基于视觉的盘煤系统，其特征在于，所述图像处理模块中构建煤场的三维模型具体为：
根据三维稠密点云之间的网络拓扑连接关系构造出煤场的表面形态，并基于三角网格进行三维网格重建，其中三角网络中三个邻近的数据点相连成为一个三角形，将三维稠密点云中所有的点均连成三角形构成煤场的三角网络，得到三角网络三维模型。
6.根据权利要求5所述的一种基于视觉的盘煤系统，其特征在于，所述将三维稠密点云中所有的点均连成三角形构成三角网络具体包括：
构建模块，用于取三角网络的边界点构建一个初始三角形，其中初始三角形包含全部三维稠密点云数据；
排序模块，用于将三维稠密点云中的全部点进行排序，并依次插入点列表；
构造模块，用于根据插入列表中的点pi，寻找与点pi最接近且包含点pi的三角形，并将pi作为顶点，与三角形三个顶点相连，构造三个新三角形；
交换模块，用于利用局部优化算法交换凸四边形的对角线优化三角网格；
删除模块，用于删除初始三角形。
7.根据权利要求6所述的一种基于视觉的盘煤系统，其特征在于，所述得到三角网络三维模型后还包括基于拉普拉斯光顺算法对三角网格三维模型进行去噪光顺化处理，其中对于每个网格顶点定义拉普拉斯算子表示为：
其中，N(Pi)表示顶点Pi的领域点，点数量为
权值wi取
对顶点进行位置调整，表示为：
pi＝pi+λL(pi)
其中，λ表示用于控制调整速度的常数。
8.根据权利要求1所述的一种基于视觉的盘煤系统，其特征在于，所述图像处理模块中计算煤堆重量具体为：
选取三维模型中需要测量的煤堆，并将选取的煤堆进行分隔，得到多个小区域，利用点云的高程信息得到煤堆表面到小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度，并根据得到的体积和密度计算煤堆重量。
9.一种基于视觉的盘煤方法，其特征在于，包括步骤：
S1.接收无人机获取的储煤场的图像信息以及无人机的POS数据信息，并将图像信息及无人机的POS数据信息发送至图像处理模块；
S2.根据图像信息以及无人机的POS数据信息基于运动恢复结构算法计算相机的参数，并根据所述参数构建三维稀疏点云模型；
S3.根据三维稀疏点云模型进行稠密点云模型重构，并根据稠密点云模型基于三维重构算法以及纹理映射构建煤场的三维模型；
S4.对三维模型中选定区域进行积分计算出煤堆体积，根据选定区域的煤种类和对应的密度计算得到煤堆重量。
10.根据权利要求所述的一种基于视觉的盘煤方法，其特征在于，所述步骤S4中计算煤堆重量具体为：
选取三维模型中需要测量的煤堆，并将选取的煤堆进行分隔，得到多个小区域，利用点云的高程信息得到煤堆表面到小区域的平均距离，将每个小区域的煤堆体积进行累加，得到煤堆体积，根据煤堆的种类查找对应煤种密度，并根据得到的体积和密度计算煤堆重量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026737.2A CN112150629A (zh) | 2020-09-25 | 2020-09-25 | 一种基于视觉的盘煤系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011026737.2A CN112150629A (zh) | 2020-09-25 | 2020-09-25 | 一种基于视觉的盘煤系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112150629A true CN112150629A (zh) | 2020-12-29 |
Family
ID=73897598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011026737.2A Pending CN112150629A (zh) | 2020-09-25 | 2020-09-25 | 一种基于视觉的盘煤系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112150629A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570623A (zh) * | 2021-07-28 | 2021-10-29 | 广东工业大学 | 大型煤堆开挖点、堆料点自动识别方法及装置 |
| CN114003068A (zh) * | 2021-11-23 | 2022-02-01 | 西安热工研究院有限公司 | 一种基于无人机的电厂煤场温度监控系统及方法 |
| CN114111567A (zh) * | 2021-09-26 | 2022-03-01 | 华能国际电力股份有限公司大连电厂 | 一种原煤仓用煤堆测量方法及装置 |
| CN114562939A (zh) * | 2022-01-20 | 2022-05-31 | 华能汕头海门发电有限责任公司 | 基于无人机的激光盘煤系统 |
| CN114898068A (zh) * | 2022-05-19 | 2022-08-12 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN115980741A (zh) * | 2023-01-04 | 2023-04-18 | 华能国际电力股份有限公司上海石洞口第二电厂 | 多数据源三维数据融合算法 |
| CN116233390A (zh) * | 2023-03-10 | 2023-06-06 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
| CN118570397A (zh) * | 2024-07-31 | 2024-08-30 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 煤矿主井井底积煤与尾绳的3d图像生成与分析系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247834A (zh) * | 2017-05-31 | 2017-10-13 | 华中科技大学 | 一种基于图像识别的三维环境模型重构方法、设备及系统 |
| US20190325089A1 (en) * | 2018-04-18 | 2019-10-24 | Reconstruct Inc. | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays |
| CN110850457A (zh) * | 2019-10-22 | 2020-02-28 | 同济大学 | 一种用于室内煤场的无人机定位导航方法 |
| CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际（重庆）智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
-
2020
- 2020-09-25 CN CN202011026737.2A patent/CN112150629A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107247834A (zh) * | 2017-05-31 | 2017-10-13 | 华中科技大学 | 一种基于图像识别的三维环境模型重构方法、设备及系统 |
| US20190325089A1 (en) * | 2018-04-18 | 2019-10-24 | Reconstruct Inc. | Computation of point clouds and joint display of point clouds and building information models with project schedules for monitoring construction progress, productivity, and risk for delays |
| CN110850457A (zh) * | 2019-10-22 | 2020-02-28 | 同济大学 | 一种用于室内煤场的无人机定位导航方法 |
| CN111599001A (zh) * | 2020-05-14 | 2020-08-28 | 星际（重庆）智能装备技术研究院有限公司 | 基于图像三维重建技术的无人机导航地图构建系统及方法 |
Non-Patent Citations (6)
| Title |
|---|
| ARKO LUCIEER .ETAL: "Mapping landslide displacements using structure from motion(Sfm) and image correlation of multi-temporal UAV photography", PROGRESS IN PHYSICAL GEOGRAPHY, vol. 38, 31 December 2014 (2014-12-31) * |
| 刘国勇 著: "流体仿真与应用 基于Fluent仿真计算与应用实例", 31 January 2017, 冶金工业出版社, pages: 82 * |
| 刘开江: "三角网格模型的鲁棒中轴生成方法研究", 中国优秀硕士学位论文全文数据库 (信息科技辑), no. 01, 15 January 2018 (2018-01-15), pages 27 - 28 * |
| 程健 等: "露天储煤场无人机自动盘煤系统研究", 煤炭科学技术, vol. 44, no. 05, 31 May 2016 (2016-05-31), pages 161 - 164 * |
| 董建伟 等: "基于多视图立体视觉的煤场三维建模方法研究", 燕山大学学报, vol. 40, no. 02, 31 March 2016 (2016-03-31) * |
| 龙宇航 等: "高空遥感图像空间特征信息三维虚拟重建仿真", 计算机仿真, no. 12, 31 December 2019 (2019-12-31) * |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113570623B (zh) * | 2021-07-28 | 2023-12-01 | 广东工业大学 | 大型煤堆开挖点、堆料点自动识别方法及装置 |
| CN113570623A (zh) * | 2021-07-28 | 2021-10-29 | 广东工业大学 | 大型煤堆开挖点、堆料点自动识别方法及装置 |
| CN114111567A (zh) * | 2021-09-26 | 2022-03-01 | 华能国际电力股份有限公司大连电厂 | 一种原煤仓用煤堆测量方法及装置 |
| CN114003068A (zh) * | 2021-11-23 | 2022-02-01 | 西安热工研究院有限公司 | 一种基于无人机的电厂煤场温度监控系统及方法 |
| CN114562939A (zh) * | 2022-01-20 | 2022-05-31 | 华能汕头海门发电有限责任公司 | 基于无人机的激光盘煤系统 |
| CN114562939B (zh) * | 2022-01-20 | 2023-11-07 | 华能汕头海门发电有限责任公司 | 基于无人机的激光盘煤系统 |
| CN114898068B (zh) * | 2022-05-19 | 2023-10-20 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN114898068A (zh) * | 2022-05-19 | 2022-08-12 | 海尔数字科技（上海）有限公司 | 三维建模方法、装置、设备及存储介质 |
| CN115980741A (zh) * | 2023-01-04 | 2023-04-18 | 华能国际电力股份有限公司上海石洞口第二电厂 | 多数据源三维数据融合算法 |
| CN116233390A (zh) * | 2023-03-10 | 2023-06-06 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
| CN116233390B (zh) * | 2023-03-10 | 2024-04-26 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
| CN118570397A (zh) * | 2024-07-31 | 2024-08-30 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 煤矿主井井底积煤与尾绳的3d图像生成与分析系统 |
| CN118570397B (zh) * | 2024-07-31 | 2024-09-27 | 山东济矿鲁能煤电股份有限公司阳城煤矿 | 煤矿主井井底积煤与尾绳的3d图像生成与分析系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112150629A (zh) | 一种基于视觉的盘煤系统及方法 | |
| CN113607135B (zh) | 一种用于路桥施工领域的无人机倾斜摄影测量方法 | |
| CN108765298A (zh) | 基于三维重建的无人机图像拼接方法和系统 | |
| CN101604018B (zh) | 高分辨率遥感影像数据处理方法及其系统 | |
| Pepe et al. | Techniques, tools, platforms and algorithms in close range photogrammetry in building 3D model and 2D representation of objects and complex architectures | |
| CN107504957A (zh) | 利用无人机多视角摄像快速进行三维地形模型构建的方法 | |
| CN109389635A (zh) | 一种基于无人机影像序列的煤场采挖量计算方法 | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| CN105184863A (zh) | 一种基于无人机航拍序列影像的边坡三维重建方法 | |
| CN109708622A (zh) | 基于Pixhawk利用无人机对建筑物进行三维建模的方法 | |
| CN114998536A (zh) | 基于新型基础测绘的模型生成方法、装置及存储介质 | |
| CN112288848B (zh) | 无人机航拍三维建模计算工程量的方法 | |
| CN113192193A (zh) | 基于Cesium三维地球框架的高压输电线路走廊三维重建方法 | |
| WO2020181508A1 (zh) | 一种数字地表模型的构建方法及处理设备、系统 | |
| CN109238173A (zh) | 一种储煤场三维实景重构系统及煤量快速估算方法 | |
| CN113192200B (zh) | 一种基于空三并行计算算法的城市实景三维模型的构建方法 | |
| CN113920275B (zh) | 三角网格构建方法、装置、电子设备及可读存储介质 | |
| CN113032977A (zh) | 基于无人机逆建模技术的土石方量测算方法 | |
| AGUILAR et al. | 3D coastal monitoring from very dense UAV-Based photogrammetric point clouds | |
| CN110458945B (zh) | 通过空中倾斜摄影结合视频数据的自动建模方法及系统 | |
| CN113282695B (zh) | 一种基于遥感影像的矢量地理信息采集方法和装置 | |
| Xiao et al. | Monitoring excavation slope stability using drones | |
| CN114913297A (zh) | 一种基于mvs稠密点云的场景正射影像生成方法 | |
| MOKRANE et al. | DEM generation based on UAV photogrammetry | |
| CN111783192B (zh) | 基于倾斜摄影实景模型的复杂地形场地平整土方计算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |