CN116233390B - 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 - Google Patents
一种基于多目立体视觉的煤堆无人自动化作业系统及方法 Download PDFInfo
- Publication number
- CN116233390B CN116233390B CN202310228795.0A CN202310228795A CN116233390B CN 116233390 B CN116233390 B CN 116233390B CN 202310228795 A CN202310228795 A CN 202310228795A CN 116233390 B CN116233390 B CN 116233390B
- Authority
- CN
- China
- Prior art keywords
- point cloud
- coal pile
- data
- coal
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003245 coal Substances 0.000 title claims abstract description 155
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000000463 material Substances 0.000 claims abstract description 38
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000008859 change Effects 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000004891 communication Methods 0.000 claims description 22
- 230000004927 fusion Effects 0.000 claims description 17
- 239000000428 dust Substances 0.000 claims description 11
- 238000004140 cleaning Methods 0.000 claims description 10
- 230000001502 supplementing effect Effects 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 240000004282 Grewia occidentalis Species 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000007726 management method Methods 0.000 description 23
- 239000010410 layer Substances 0.000 description 21
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000017525 heat dissipation Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000000243 solution Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000306 component Substances 0.000 description 1
- 239000008358 core component Substances 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010790 dilution Methods 0.000 description 1
- 239000012895 dilution Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000002346 layers by function Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Control And Safety Of Cranes (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种多目立体视觉的煤堆无人自动化作业系统及方法，涉及煤堆自动化作业技术领域，该装置主要包括：当远程控制中心接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域；数据处理装置对多目图像采集装置采集的点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型；远程控制中心根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云，以控制自动作业装置进行取料操作。本发明能够高效率高精度实时的实现煤堆无人自动化作业。
Description
技术领域
本发明涉及煤堆自动化作业技术领域，特别是涉及一种基于多目立体视觉的煤堆无人自动化作业系统及方法。
背景技术
随着煤炭生产管理水平要求不断提高，自动化、无人化、智能化已经成为发展趋势，因此通过人工操作斗轮机进行取料的方式，不符合煤炭生产管理水平要求。
为了符合煤炭生产管理水平要求，现提供了一种基于激光雷达的煤堆无人自动化作业系统，该系统中的三维激光扫描技术能够提供物体表面的三维点云数据，因此可以获取高精度、高分辨率的数字场景模型，从而实现煤堆无人自动化作业。但是该系统受限于较高的成本，在量产方面比较困难，不利于大规模使用，同时，由于激光雷达只能实现静态三维建模，所以无法实现物体的动态跟踪。另外，激光雷达生成的三维点云数据比较稀疏，对于远距离物体或者较小物体来说，反射点的数量较少，在大规模场景下且测量时间较长，不利于数据的实时处理。此外，激光雷达产生的三维点云数据没有颜色信息，不利于数据的全面采集。
发明内容
本发明的目的是提供一种基于多目立体视觉的煤堆无人自动化作业系统及方法，能够高效率高精度实时的实现煤堆无人自动化作业。
为实现上述目的，本发明提供了如下方案：
一种多目立体视觉的煤堆无人自动化作业系统，包括：煤堆多目阵列采集终端设备、数据处理装置、自动作业装置和远程控制中心；
所述煤堆多目阵列采集终端设备至少包括设置在煤场区域顶棚上的多目图像采集装置以及与所述多目图像采集装置连接的数据控制装置；
所述远程控制中心用于当接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域；
所述数据控制装置用于控制多目图像采集装置采集点云数据更新变化区域的图像数据；
所述数据处理装置用于对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型；
所述远程控制中心还用于根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云；
所述自动作业装置用于根据ROI矩形区点云进行取料操作。
可选地，所述远程控制中心通过5G通讯方式分别与所述数据控制装置、所述数据处理装置和所述自动作业装置连接。
可选地，所述多目图像采集装置包括多个多目相机单元，且在实际应用过程中，多个所述多目相机单元按照阵列方式排列在煤场区域顶棚上；
所述多目相机单元包括四根伸缩杆以及四个相机；其中，四根所述伸缩杆的一端均相连，四根所述伸缩杆的另一端均安装有相机；四个所述相机以所述伸缩杆的一端为圆心，呈四角阵列，并分别向内倾斜。
可选地，所述煤堆多目阵列采集终端设备的部署方式为固定支架24小时监测方式；所述煤堆多目阵列采集终端设备还包括供电装置、5G通讯装置、补光装置和清洁装置；
所述供电装置用于分别为所述多目图像采集装置、所述数据控制装置、所述5G通讯装置、所述补光装置以及所述清洁装置供电；
所述数据控制装置通过所述5G通讯装置与所述远程控制中心进行双向数据传输；
所述补光装置用于在夜间或恶劣环境下随所述多目图像采集装置一起工作，对于缺乏光照的煤场区域进行灯光补偿；
所述清洁装置用于对多目图像采集装置中的镜头进行除尘。
可选地，所述数据控制装置为小型边缘计算设备，至少包括存储器和处理器；
所述处理器用于接收所述远程控制中心发出的采集指令，并将所述采集指令下发至所述多目图像采集装置以控制多目图像采集装置采集图像数据、记录拍摄时间信息和GPS定位信息；所述存储器用于存储多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果。
可选地，还包括：数据传输装置，用于将多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果通过5G通讯上传到所述数据处理装置。
可选地，所述数据处理装置，用于：
对点云数据更新变化区域的图像数据进行煤堆语义分割，利用改进的ResNet-101深度学习神经网络生成煤堆语义图，并根据所述煤堆语义图，提取图像特征点；
根据图像特征点，利用匹配算法，获得特征点匹配对；
根据特征点匹配对，采用空三算法，生成局部点云；
对所述局部点云依次进行点云融合、点云抽稀以及点云网格化进行处理，生成点云数据更新变化区域对应的煤堆三维模型。
本发明还提供了一种多目立体视觉的煤堆无人自动化作业方法，包括：
当远程控制中心接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域；
数据控制装置控制多目图像采集装置实时采集点云数据更新变化区域的图像数据；
数据处理装置对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型；
远程控制中心根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云；
自动作业装置根据ROI矩形区点云进行取料操作。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
针对现有技术缺陷，本发明提供了一种基于多目立体视觉的煤堆无人自动化作业系统及方法。相较于现有的基于激光雷达的煤堆无人自动化作业系统而言，降低了对激光雷达的依赖性，使用多目视觉技术有效提高了数据获取和数据处理的实时性，且依然具有良好可用的检测精度，同时工作效率得到了大幅度提高，减少了工作人员的工作量，使作业操作更加高效、便捷、稳定和安全，实现了在煤堆无人自动化作业领域的高可用性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多目立体视觉的煤堆无人自动化作业系统的逻辑架构图；
图2为本发明实施例提供的基于多目立体视觉的煤堆无人自动化作业系统的结构示意图；
图3为本发明实施例提供的煤堆多目阵列采集终端设备的硬件组成图；
图4为本发明实施例提供的四目相机阵列设备排布示意图；
图5为本发明实施例提供的煤堆无人自动化作业系统的工作流程图；
图6为本发明实施例提供的煤堆多目阵列采集终端设备布局侧视图；
图7为本发明实施例提供的煤堆多目阵列采集终端设备布局俯视图；
图8为本发明实施例提供的煤堆多目阵列采集终端设备的侧视图；
图9为本发明实施例提供的煤堆多目阵列采集终端设备的俯视图；
图10为本发明实施例提供的基于多目立体视觉的煤堆无人自动化作业系统的工作流程图；
图11为本发明实施例提供的空三算法原理示意图；
图12为本发明实施例提供的斗轮机与煤堆工作俯视图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本发明实施例提供了一种基于多目立体视觉的煤堆无人自动化作业系统，其逻辑架构如图1所示，按照功能划分主要分为5个层次，即采集层、计算层、数据层、服务层和用户层。其中，用户层、数据层和服务层偏向于软件系统，采集层偏向于硬件系统，计算层兼软件系统和硬件系统，是本系统的核心组件。该系统的各个层次的功能如下所述：
采集层由固定点位部署的可见光采集终端/组、毫米波采集终端/组以及采集控制器构成，采集控制器主要完成数据通信、主控程序、任务指令、任务调度、数据上报、告警上报以及离线存储等功能。
计算层是本系统的核心功能层，主要完成三维重建和多源数据融合工作，计算层中的软件系统运行在GPU服务器上。计算层中的核心算法具体包括原始影像校正、多视点图像校正、特征提取、特征匹配、空三解算/平差、生成三维点云、点云抽稀、三维语义分割、三维网格模型以及纹理模型等处理步骤。
数据层包括空间数据库、影像数据库和业务数据库；空间数据库存储了静态的料场、取料机、监测点等三维空间数据和动态的取料机实时位置数据和煤堆的实时三维点云和三维模型数据；影像数据库存储了原始的采集影像和处理后的二维影像和三维影像；业务数据库存储了终端、任务、调度、数据成果、接口数据以及用户角色权限告警和日志等数据。
服务层是本系统的常驻服务，主要包括任务调度、异常告警、权限认证、煤堆变化区识别、煤堆三维点云数据裁剪、多源数据融合等服务；另外服务层还提供了数据共享服务和外部接口服务。
用户层为用户的交互界面，主要由监控管理、盘煤管理以及系统管理三部分构成。其中，监控管理包括终端管理、参数管理、任务管理、数据管理、料场实时场景管理以及作业过程的三维可视化管理；盘煤管理主要包括盘煤作业计划管理以及盘煤作业成果管理；系统管理主要包括接口管理、用户管理、角色管理、权限管理、系统告警管理和系统日志管理。
如图2所示，本发明实施例提供的基于多目立体视觉的煤堆无人自动化作业系统包括煤堆多目阵列采集终端设备、自动作业装置和远程控制中心。
所述煤堆多目阵列采集终端设备至少包括设置在煤场区域顶棚上的多目图像采集装置以及与所述多目图像采集装置连接的数据控制装置。
所述远程控制中心用于当接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域。
所述数据控制装置用于控制多目图像采集装置采集点云数据更新变化区域的图像数据。
所述数据处理装置用于对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型。
所述远程控制中心还用于根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的感兴趣区域(Region of Interest，ROI)矩形区点云。
所述自动作业装置用于根据ROI矩形区点云进行取料操作。
在本发明实施例中，所述远程控制中心通过5G通讯方式分别与所述数据控制装置、所述数据处理装置和所述自动作业装置连接。
在本发明实施例中，煤堆多目阵列采集终端设备主要应用在采集层上，部署方式为固定支架24小时监测方式。如图3所示，该煤堆多目阵列采集终端设备包括供电装置、多目图像采集装置、数据控制装置、5G通讯装置、补光装置和清洁装置。
1)供电装置支持直流电源供电，同时支持POE供电。供电装置用于分别为多目图像采集装置、数据控制装置、5G通讯装置、补光装置以及清洁装置供电；供电装置上的电源指示灯用于保证煤堆多目阵列采集终端设备能够正常工作。
2)多目图像采集装置包括多个多目相机单元，且在实际应用过程中，多个多目相机单元按照阵列方式排列在煤场区域顶棚上。如图4所示，本发明实施例提供的多目相机单元以四目相机为主，对多目相机的选择可根据实际需求而定。多目相机单元包括四根伸缩杆以及四个相机；其中，四根伸缩杆的一端均相连，四根伸缩杆的另一端均安装有相机；四个相机以伸缩杆的一端为圆心，呈四角阵列，并分别向内倾斜。因为相机焦距越大，可视距离越远，视场角越小，所以对于煤堆的三维重建，相机对煤场的拍摄高度在50米以内为宜，也可根据实际使用情况进行适当调整。
3)补光装置由补光灯组成，安装在煤堆多目阵列采集终端设备主体(下方外露，用于在夜间或恶劣环境下随多目图像采集装置一起工作，对于缺乏光照的煤场进行灯光补偿，确保多目图像采集装置采集图像的可用性。
4)5G通讯装置包括5G模块和5G天线，实现低延迟、高带宽实时回传数据至远程控制中心；所述数据控制装置通过所述5G通讯装置与所述远程控制中心进行双向数据传输。
5)清洁装置由除尘刷组成；针对煤场环境灰尘及湿度过大，短时间就会影响图像采集效果，甚至完全遮挡镜头，根据镜头烟尘堆积识别结果，启动除尘刷，对镜头进行除尘以及自动自我清洁，确保多目图像采集装置在高粉尘、高湿度环境下的正常使用，即该清洁装置主要用于对多目图像采集装置中的镜头进行除尘。
6)数据控制装置为小型边缘计算设备，主要包括主板、存储器和处理器。其中，所述数据控制装置至少包括存储器和处理器；所述处理器用于接收所述远程控制中心发出的采集指令，并将所述采集指令下发至所述多目图像采集装置以控制多目图像采集装置采集图像数据、记录拍摄时间信息和GPS定位信息、初步处理采集的图像数据；所述存储器用于存储多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果，标定结果包括内参数和外参数。
在本发明实施例中，该煤堆多目阵列采集终端设备还包括主壳体、固定件、散热孔、USB接口、北斗RTK天线接口、RTK模块等。主壳体为主体容器。固定件用于使煤堆多目阵列采集终端设备安稳固定在煤场顶棚。散热孔保证煤堆多目阵列采集终端设备的快速散热。USB接口与多目图像采集装置连接，用于传输多目图像采集装置采集的图像数据。北斗RTK天线接口和RTK模块用于获取高精度坐标、位姿、高度、速度等数据，可提高空三算法的计算精度。
在本发明实施例中，该系统还包括数据传输装置。
所述数据传输装置用于将多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果通过5G通讯上传到所述数据处理装置。
在本发明实施例中，所述数据处理装置，用于：
对点云数据更新变化区域的图像数据进行煤堆语义分割，利用改进的ResNet-101深度学习神经网络生成煤堆语义图，并根据所述煤堆语义图，提取图像特征点.
根据图像特征点，利用匹配算法，获得特征点匹配对。
根据特征点匹配对，采用空三算法，生成局部点云。
对所述局部点云依次进行点云融合、点云抽稀以及点云网格化进行处理，生成点云数据更新变化区域对应的煤堆三维模型，并将点云数据更新变化区域对应的煤堆三维模型上传到远程控制中心。
(4)远程控制中心
本发明实施例提供的远程控制中心用于处理数据处理装置上传的数据，并结合自动作业装置的请求完成对整个系统的监控和管理。远程控制中心通过5G通讯获取自动作业装置发送的位置信息和工况信息，由此定位出更新点云数据的变化区域并下发采集指令。部署在煤场顶棚上的煤堆多目阵列采集终端设备接受指令执行采集任务，通过多目相机单元对煤场进行图像数据采集，完成数据传输和处理后，通过5G通讯回传到远程控制中心。当远程控制中心收到自动作业装置发出的取料请求并发出允许取料指令后，根据自动作业装置中斗轮机ROI区域参数要求，获得ROI区域的矩形对角线两个坐标点(x1，y1)、(x2，y2)，定位出所需全局点云基础之上的ROI矩形区，对抽稀后的全局点云进行裁剪，生成可即时共享给自动作业装置的斗轮机ROI矩形区点云，返回该区域的三维空间内的煤堆点云数据，系统共享给斗轮机的点云精度为30cm。
(5)自动作业装置
自动作业装置收到取料指令，获取ROI矩形区点云后，控制斗轮机依次开启悬臂皮带机，斗轮装置，通过当前的煤堆点云数据开始回转取料。如果煤堆已取完95％时，预计取料量将超过煤堆剩余量时，则斗轮机向远程控制中心发出更换料堆请求。斗轮机取完预计取料量后，向远程控制中心发送取料完成确认。作业完成后，自动作业装置控制斗轮机回到驻机位置。自动作业装置的处理流程如图5所示。
本发明实施例提供的煤堆多目阵列采集终端设备可按照图6和图7所示方式进行安装和布局。煤堆多目阵列采集终端设备可以安装在顶棚两侧煤堆上方位置，挂高32米，纵向距离50米，平均每个煤堆多目阵列采集终端设备覆盖约50平方米的范围，安装侧视图如图6所示，俯视图如图7所示。煤堆多目阵列采集终端设备的侧视图如图8所示，煤堆多目阵列采集终端设备的俯视图如图9所示。
本发明实施例提供的基于多目立体视觉的煤堆无人自动化作业系统的工作流程如图10所示。
远程控制中心通过5G通讯技术和自动作业装置(例如取料机，具体为斗轮机)控制器开放的外部接口获取自动作业装置发送的位置信息与工况信息，由此定位出点云数据更新变化区域，并下发采集指令。部署在煤场顶棚上的多目图像采集装置接受此指令后执行采集任务，具体包括如下所示。
1)煤堆多目阵列采集终端设备完成对多目相机单元的标定，得到每个多目相机单元的标定结果，标定结果包括内参数和外参数。内参数，比如相机的畸变参数可以将畸变的图像恢复为正常图像，外参数，如不同相机之间的外参，使所有相机输出转换到同一坐标系下
通过相机标定可以确定相机的图像像素和真实三维世界绝对尺寸的关系，可采用基于标定平面的相机标定方法，如张正友标定法。对于二维点m＝[u，v]T和与之对应的三维点M＝[X，Y，Z]T，它们的增广向量可表示为m’＝[u，v，1]T和M′＝[X，Y，Z，1]T。根据相机模型可得张正友标定法一般公式sm’＝A[R|t]M′(1)。
其中为相机内参矩阵，[R|t]为相机外参矩阵，s为缩放系数。通过方程求解可得相机内参数和外参数，并结合极大似然估计的非线性优化方法(2)对参数进行优化，其中，n为标定平面数量，m为标定平面角点数量，mij为第j个点在第i幅图像中的像点，Ri为第i幅图像的旋转矩阵，ti为第i幅图像的平移向量，Mj为第j个点的空间坐标。
2)对图像数据进行煤堆语义分割。
首先采集煤堆图片，对煤堆图片数据进行标注预处理，将标注预处理的图片数据分为训练样本数据集与测试样本数据集。
然后将训练样本数据集输入特征提取网络中，以生成融合特征图；特征提取网络使用改进的ResNet-101网络，改进的ResNet-101网络删除原本的第四阶段和第五阶段的下采样操作，保留第四阶段和第五阶段的其他内容。在改进的ResNet-101网络的第四阶段通过多尺度输入同时输入第三阶段输出的特征图以及额外输入特征图，输出低级特征图。第五阶段通过多尺度输入同时输入第四阶段输出的特征图以及额外输入特征图，输出高级特征图。第四阶段输入的额外输入特征图为输入图片通过残差单元处理后获得，第五阶段输入的额外输入特征图通过压缩原始输入图片使其与前一阶段输出特征图大小相同获得。之后，在改进的ResNet-101网络第五阶段后面构建融合注意力模块，利用融合注意力模块融合低级特征图和高级特征图，输出包含全局上下文语义信息的新的特征图。在融合注意力模块后面构建全局上下文增强模块，增强新的特征图的全局表示，从而获取特征图中各像素之间的远距离依赖关系，得到最终的融合特征图。
接着将最终的融合特征图输入经过预训练的分类器中生成语义图。
最后利用测试样本数据集检测生成的语义图性能，检验特征提取网络的性能，性能达标即可用以对煤堆照片图像进行语义分割，若不达标则重新训练。
3)根据语义图，提取图像特征点。
角点是重要的图像特征点，它包含了丰富的二维结构信息，在三维重建中角点提取具有十分重要的意义。故可根据一个像素与周围邻域的像素差别程度判断该像素是否是一个角点。
如果一个像素与周围邻域的像素差别较大，那么可以认为该像素是一个角点。在图像中选择像素p，其灰度值为Ip。再设置一个阈值T，如取T为Ip的20％。选择像素p周围半径为r的m个像素作为比较像素。选取的圆上有连续的N个像素大于Ip+T或者Ip-T，那么可以认为像素p就是一个角点，即特征点。
在第一版检测完成后，使用非极大值抑制，在一定区域内仅保留响应极大值的特征点，避免特征点集中的情况。用0和1表示的二进制串作为描述向量，表示特征点邻域内p、q两个像素灰度值的大小。如果像素p比像素q大，则取1，反之则取0。在特征点的周围选择n对这样的p、q像素对，可得到n维有0和1组成的向量。
4)根据图像特征点，利用匹配算法，获得特征点匹配对。
首先计算一个特征点描述向量与其他所有特征点描述向量之间的距离，然后将得到的距离进行排序，取距离最近的作为匹配点，并选择已经匹配的点对以其汉明距离小于最小距离的两倍作为判断依据，如果小于该值则认为是一个错误的匹配，过滤掉该匹配。反之则认为是一个正确的匹配。其中，汉明距离公式为其中i＝0，1，...，n-1，x、y都是n位的编码，/>表示异或。
5)根据特征点匹配对，采用如图11所示的空三算法，生成局部点云。
首先，完成数据准备工作，包括建立测区目录、建立测区信息、相机信息、控制信息数据(含POS数据)文件；影像数据的准备和检查处理；量测框标及内定向；选取航线拼接点和检查等工作。其中，构架航线必须排在基本航线之后；构架航线的像片排列顺序必须与基本航线的排列顺序(“从上到下”或“从下到上”)一致。
其次，在区域范围内按航线依次进行相对定向建立像对模型，并通过连接点实现航线内的模型连接以及航线之间的模型连接，主要工作包括自动相对定向、自动选择连接点、自动转点与自动量测等。单个模型相对定向点数量应不少于50，分布基本均匀，且标准点位置应该有点。
然后进行点位量测。量测控制点，对外业提交的像控点、外业保密检查点进行辨认和量测，点号与外业点号一致。选定加密点，在没有外业像控点的标准点位上人工量测加密点。量测内业保密点，每幅图量测20至30个保密点，要求点位明显易判，目标特征明显，分布均匀，按保密点编号。以检验DEM、DOM、DLG成果平面与高程精度。保密点应制作小影像。
接着，进行空中三角测量平差。预平差剔除粗差点，通过平差计算对连接点、像控点进行粗差检测，剔除或检测出粗差点。光束法区域网平差，采用光束法进行整体平差，获得加密点及检查点的三维大地坐标和像片的外方位元素。平差结果检查分析，对加密成果进行单模型绝对定向，检查定向点残差，若超限则进行人工修测，重新平差计算，反复操作，直至加密的像控点、检查点残差全部在规定的限差之内。自动生成像控点、检查点点位图片。
最后，进行加密精度检测，对于加密点中误差可采用下式进行估算：
其中，M控为控制点检测中误差，Δ为多余控制点的不符值，n为评定精度检测点个数。
最后根据空三加密成果与深度的关系，将空三加密成果转化为深度信息，从而获得物体表面的三维点云，即生成局部点云。
6)对所述局部点云依次进行点云融合、点云抽稀以及点云网格化进行处理，生成煤堆三维模型。
点云融合：将点云序列信息编码并输出为一致维数的且包含卷积参数的卷积点云信息。根据自注意力机制将卷积点云信息初步融合，输出包含自注意力参数的第一点云信息。根据自注意力机制将第一点云信息进一步融合，输出包含输出融合参数的第二点云信息。根据卷积特征提取函数及全连接网络降采样函数获取第一点云信息的第一特征输入信息和第二点云信息的第二特征输入信息。根据对抗自监督学习算法设计关于第一特征输入信息和第二特征输入信息的对比损失函数。对比损失函数其最终用于指导第一点云信息和第二点云信息两者之间相似的部分尽量融合、不相似部分尽量远离。梯度下降函数输出值为对比损失函数的输入值。基于反向传播算法更新梯度下降函数，直至对比损失函数收敛。将对比损失函数收敛时的融合参数确定为最佳融合参数。由此最终完成点云融合。
点云抽稀：程序读取输入点云文件点数量，设置空间抽稀距离d＝0.3m，根据抽稀距离d计算坐标去重系数S＝1/d＝3.3；程序依次读取点坐标xyzf，使用坐标去重系数S乘以xyz每个坐标分量，转换为整形化坐标xyzi，其中f表示单精度浮点数，i表示整数类型；将xyzi所占用12个字节内存，使用4个随机数产生器R1，R2，R3，R4，生成4个信息标记，再用一个随机数产生器R将这4个信息标记映射到(1-8×n)中的4个自然数n1，n2，n3，n4；判断内存缓存的第n1，n2，n3，n4二进制位是否全部设置为1，如果全部为1则该点已经存在，需要过滤删除，不输出到目标点云文件，如果不全部为1，则将4个二进制位全部设置为1，并将该点输出到目标点云文件；依次处理，直到所有点处理完毕，完成空间抽稀去重过滤，得到全局煤堆三维点云。
点云网格化：对于获取的三维点云P＝{(p1，n1)，...，(pn，nN)}、被测物体M和待重建曲面S，根据指示函数知/>将重建曲面S的问题转换为重构χM，利用斯托克斯公式可将点云及其法向量和指示函数χM进行联系，实现对煤堆三维点云的网格重建，得到煤堆的三维模型。
7)自动取料。
斗轮机走行到取料区域，发出取料请求到远程控制中心。当远程控制中心发出允许取料指令后，根据斗轮机ROI区域参数要求，获得ROI区域的矩形对角线两个坐标点(x1，y1)、(x2，y2)，定位出所需全局点云基础之上的ROI矩形区，对抽稀后的全局点云文件进行裁剪，生成可即时共享给斗轮机的ROI矩形区点云，返回该区域的三维空间内的煤堆点云数据。共享给斗轮机的点云精度为30cm。
斗轮机收到取料指令，获取ROI矩形区点云后，依次开启悬臂皮带机，斗轮装置，通过当前的煤堆点云数据开始回转取料。如果煤堆已取完95％时，预计取料量将超过煤堆剩余量时，则斗轮机向远程控制中心发出更换料堆请求。斗轮机取完预计取料量后，向远程控制中心发送取料完成确认。作业完成后，斗轮机回到驻机位置；其中，斗轮机与煤堆工作示意图如图12所示。
为了实现上述目的，本发明还提供了一种多目立体视觉的煤堆无人自动化作业方法，包括：
S1：当远程控制中心接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域。
S2：数据控制装置控制多目图像采集装置实时采集点云数据更新变化区域的图像数据。
S3：数据处理装置对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型。
S4：远程控制中心根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云。
S5：自动作业装置根据ROI矩形区点云进行取料操作。
与现有技术相比，本发明的创新部分是：
(1)使用改进的ResNet-101特征提取网络对煤堆图像进行了语义特征提取，进一步提高了多目立体视觉三维煤堆重建模型的精确度。
(2)开发了基于边缘计算的多目立体视觉采集设备，有效解决激光雷达无法实现的动态跟踪功能，满足无人自动化作业系统部署低成本、数据处理实时和高效的要求。
(3)开发的多目立体视觉三维重建系统实现了煤堆斗轮机的自动化作业，系统对大场景的三维模型优化效果显著，能够有效降低对激光雷达的高依赖性，实现对数据的全面处理。
目前国内对于煤堆的取料依然是采取人工操作斗轮机的方式为主，但是人工取料效率低，严重依赖工作人员的现场操作，且工作人员进行操作过程中因为存在盲区以及产生的烟尘影响其视野，都极大地限制和干扰操作人员的高效工作。利用多目视觉重建实现煤堆的无人自动化作业不仅实时性得到了保证，效率得到了大幅提高，获取的数据更加精准，还减少了工作人员的工作负担，操作上也更加高效、便捷、稳定和安全。
在多目立体视觉三维重建过程中，通过5G通讯将影像数据实时回传到远程控制中心进行实时处理，实现数据与影像的并行采集和处理功能，大幅度减少了终端设备的处理时间，提升了效率。5G分布式计算的高速率、降低数据传输时延、保证数据精准安全等优点，有效契合本发明的应用需求。
本发明通过多目图像采集装置实时获取图像数据，提取图像特征点，对图像进行语义分割，利用匹配算法获得特征点匹配对，通过空三算法获取深度信息，从而生成局部点云，经过点云融合、点云抽稀，得到全局煤堆三维点云，最后通过点云网格化处理后得到煤堆的三维模型。在斗轮机进行取料时，能够共享区域内的煤堆点云数据，使斗轮机完成无人自动化作业。
本发明通过5G通讯传输数据，做到了终端设备的高带宽、低延迟的实时回传，实时无人自动化作业，做到实时反馈。该系统实现了图像与三维点云数据的边采集边处理功能，大幅度减少了终端设备上数据回传和处理的时间。
本发明所述的煤堆多目阵列采集终端设备的部署方式为固定支架24小时部署，有别于其他大量使用无人机建模算法的点状数据测量，本发明可以实现高精准的匹配，高质量实时模型。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
Claims (7)
1.一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，包括：煤堆多目阵列采集终端设备、数据处理装置、自动作业装置和远程控制中心；
所述煤堆多目阵列采集终端设备至少包括设置在煤场区域顶棚上的多目图像采集装置以及与所述多目图像采集装置连接的数据控制装置；
所述远程控制中心用于当接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域；
所述数据控制装置用于控制多目图像采集装置采集点云数据更新变化区域的图像数据；
所述数据处理装置用于对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型，具体包括：对点云数据更新变化区域的图像数据进行煤堆语义分割，利用改进的ResNet-101深度学习神经网络生成煤堆语义图，并根据所述煤堆语义图，提取图像特征点；根据图像特征点，利用匹配算法，获得特征点匹配对；根据特征点匹配对，采用空三算法，生成局部点云；对所述局部点云依次进行点云融合、点云抽稀以及点云网格化进行处理，生成点云数据更新变化区域对应的煤堆三维模型；
所述远程控制中心还用于根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云；
所述自动作业装置用于根据ROI矩形区点云进行取料操作。
2.根据权利要求1所述的一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，所述远程控制中心通过5G通讯方式分别与所述数据控制装置、所述数据处理装置和所述自动作业装置连接。
3.根据权利要求1所述的一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，所述多目图像采集装置包括多个多目相机单元，且在实际应用过程中，多个所述多目相机单元按照阵列方式排列在煤场区域顶棚上；
所述多目相机单元包括四根伸缩杆以及四个相机；其中，四根所述伸缩杆的一端均相连，四根所述伸缩杆的另一端均安装有相机；四个所述相机以所述伸缩杆的一端为圆心，呈四角阵列，并分别向内倾斜。
4.根据权利要求1所述的一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，所述煤堆多目阵列采集终端设备的部署方式为固定支架24小时监测方式；所述煤堆多目阵列采集终端设备还包括供电装置、5G通讯装置、补光装置和清洁装置；
所述供电装置用于分别为所述多目图像采集装置、所述数据控制装置、所述5G通讯装置、所述补光装置以及所述清洁装置供电；
所述数据控制装置通过所述5G通讯装置与所述远程控制中心进行双向数据传输；
所述补光装置用于在夜间或恶劣环境下随所述多目图像采集装置一起工作，对于缺乏光照的煤场区域进行灯光补偿；
所述清洁装置用于对多目图像采集装置中的镜头进行除尘。
5.根据权利要求3所述的一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，所述数据控制装置为小型边缘计算设备，至少包括存储器和处理器；
所述处理器用于接收所述远程控制中心发出的采集指令，并将所述采集指令下发至所述多目图像采集装置以控制多目图像采集装置采集图像数据、记录拍摄时间信息和GPS定位信息；所述存储器用于存储多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果。
6.根据权利要求5所述的一种多目立体视觉的煤堆无人自动化作业系统，其特征在于，还包括：数据传输装置，用于将多目图像采集装置采集的图像数据、记录的拍摄时间信息和GPS定位信息、以及多目相机单元的标定结果通过5G通讯上传到所述数据处理装置。
7.一种多目立体视觉的煤堆无人自动化作业方法，其特征在于，包括：
当远程控制中心接收到自动作业装置发送的取料请求后，获取当前阶段煤场区域自动作业装置的位置信息和工况信息，并根据当前阶段煤场区域取料机的位置信息和工况信息，确定点云数据更新变化区域；
数据控制装置控制多目图像采集装置实时采集点云数据更新变化区域的图像数据；
数据处理装置对点云数据更新变化区域的图像数据进行处理，生成点云数据更新变化区域对应的煤堆三维模型，具体包括：对点云数据更新变化区域的图像数据进行煤堆语义分割，利用改进的ResNet-101深度学习神经网络生成煤堆语义图，并根据所述煤堆语义图，提取图像特征点；根据图像特征点，利用匹配算法，获得特征点匹配对；根据特征点匹配对，采用空三算法，生成局部点云；对所述局部点云依次进行点云融合、点云抽稀以及点云网格化进行处理，生成点云数据更新变化区域对应的煤堆三维模型；
远程控制中心根据点云数据更新变化区域对应的煤堆三维模型，确定自动作业装置对应的ROI矩形区点云；
自动作业装置根据ROI矩形区点云进行取料操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228795.0A CN116233390B (zh) | 2023-03-10 | 2023-03-10 | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310228795.0A CN116233390B (zh) | 2023-03-10 | 2023-03-10 | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116233390A CN116233390A (zh) | 2023-06-06 |
| CN116233390B true CN116233390B (zh) | 2024-04-26 |
Family
ID=86571111
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310228795.0A Active CN116233390B (zh) | 2023-03-10 | 2023-03-10 | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116233390B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112150629A (zh) * | 2020-09-25 | 2020-12-29 | 福建华电可门发电有限公司 | 一种基于视觉的盘煤系统及方法 |
| CN112446949A (zh) * | 2020-09-02 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于变构臂载视觉的环境场采集系统 |
| WO2022088982A1 (zh) * | 2020-10-30 | 2022-05-05 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
-
2023
- 2023-03-10 CN CN202310228795.0A patent/CN116233390B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112446949A (zh) * | 2020-09-02 | 2021-03-05 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | 一种基于变构臂载视觉的环境场采集系统 |
| CN112150629A (zh) * | 2020-09-25 | 2020-12-29 | 福建华电可门发电有限公司 | 一种基于视觉的盘煤系统及方法 |
| WO2022088982A1 (zh) * | 2020-10-30 | 2022-05-05 | 京东方科技集团股份有限公司 | 三维场景构建方法、装置、系统和存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| Analysis of artificial intelligence industry based on grey correlation ‐‐ a case study of Tianjin;Jianxun Zhang;《2021 2nd International Conference on Electronics, Communications and Information Technology (CECIT)》;20211231;全文 * |
| 基于交织预取率的帮助线程预取质量调节算法;张建勋;《计算机应用研究》;20180208;全文 * |
| 基于多视图立体视觉的煤场三维建模方法研究;董建伟;李海滨;孔德明;李长安;;燕山大学学报;20160331(第02期);全文 * |
| 基于虚拟现实的全息数字化煤矿安全监控及应急调度系统;王涛;罗陆锋;李英杰;;煤炭技术;20141210(第12期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116233390A (zh) | 2023-06-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111144388B (zh) | 一种基于单目影像的道路标志标线的更新方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| Barazzetti et al. | True-orthophoto generation from UAV images: Implementation of a combined photogrammetric and computer vision approach | |
| Remondino et al. | Image-based surface measurement for close-range heritage documentation | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| Sauerbier et al. | The practical application of UAV-based photogrammetry under economic aspects | |
| CN115937288A (zh) | 一种变电站三维场景模型构建方法 | |
| CN112288848A (zh) | 无人机航拍三维建模计算工程量的方法 | |
| US20230186561A1 (en) | Method for 3d reconstruction from satellite imagery | |
| Özdemir et al. | A multi-purpose benchmark for photogrammetric urban 3D reconstruction in a controlled environment | |
| Ahmadabadian et al. | Image selection in photogrammetric multi-view stereo methods for metric and complete 3D reconstruction | |
| CN115982806A (zh) | 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质 | |
| Barrile et al. | 3D modeling with photogrammetry by UAVs and model quality verification | |
| Javadnejad et al. | An assessment of UAS-based photogrammetry for civil integrated management (CIM) modeling of pipes | |
| Teller | Automatic acquisition of hierarchical, textured 3D geometric models of urban environments: Project plan | |
| CN116233390B (zh) | 一种基于多目立体视觉的煤堆无人自动化作业系统及方法 | |
| CN116863083A (zh) | 变电站三维点云数据的处理方法和装置 | |
| CN113538668A (zh) | 地质模型构建方法、系统、存储介质以及电子设备 | |
| CN116129064A (zh) | 电子地图生成方法、装置、设备及存储介质 | |
| CN115345945A (zh) | 利用无人机多目视觉重建高速公路的自动巡检方法及系统 | |
| Zhu | A pipeline of 3D scene reconstruction from point clouds | |
| CN114531700A (zh) | 一种非人工的基站天线工参采集系统及方法 | |
| CN114387488A (zh) | 基于potree点云影像融合的道路提取系统及方法 | |
| Fernández-Hernandez et al. | A new trend for reverse engineering: Robotized aerial system for spatial information management |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |