CN116109675A - 一种煤矿井下场景现实捕捉感知方法及设备 - Google Patents

一种煤矿井下场景现实捕捉感知方法及设备 Download PDF

Info

Publication number
CN116109675A
CN116109675A CN202310124912.9A CN202310124912A CN116109675A CN 116109675 A CN116109675 A CN 116109675A CN 202310124912 A CN202310124912 A CN 202310124912A CN 116109675 A CN116109675 A CN 116109675A
Authority
CN
China
Prior art keywords
scene
target object
map
information
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310124912.9A
Other languages
English (en)
Inventor
叶晨曦
南柄飞
韩默渊
吴江伟
郭志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Beijing Meike Tianma Automation Technology Co Ltd
Original Assignee
Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Beijing Meike Tianma Automation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ccteg Beijing Tianma Intelligent Control Technology Co ltd, Beijing Meike Tianma Automation Technology Co Ltd filed Critical Ccteg Beijing Tianma Intelligent Control Technology Co ltd
Priority to CN202310124912.9A priority Critical patent/CN116109675A/zh
Publication of CN116109675A publication Critical patent/CN116109675A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computer Hardware Design (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Aiming, Guidance, Guns With A Light Source, Armor, Camouflage, And Targets (AREA)

Abstract

本发明提出一种煤矿井下场景现实捕捉感知方法及设备，该方法能够准确获取在一体化坐标系下的环境设备状态信息，而且针对关键目标对象进行实时捕获与追踪。同时结合采场环境先验数据信息、目标对象物理模型，实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。

Description

一种煤矿井下场景现实捕捉感知方法及设备
技术领域
本发明涉及煤矿开采技术领域，尤其涉及一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质。
背景技术
煤矿智能化开采是现阶段煤矿转型的必然趋势，而对于视觉感知技术的研究将极大程度上促进煤矿智能化开采进程。然而，现有煤矿井下场景感知系统往往手段单一，功能有限，无法为煤矿智能化无人开采提供完备技术支撑。因此，当前煤矿井下尚缺乏一套成熟的环境感知与现实捕捉方法与系统，针对采场环境设备状况进行充分、全面感知，为构建感知、决策、控制有效闭环，实现智能开采奠定基础。
现有技术中，有技术人员提出一种基于激光雷达与IMU的煤矿井下机器人运动平台定位方案并基于catograppher等SLAM开源算法进行煤矿井下空间地图构建，此方案利用机器人运动平台通过简单技术方案实现场景环境感知与定位，其定位结果精度较低；其具有机器人运动平台定位与建图功能，但此系统无法全面感知机器人周围环境状态，仅简单实现障碍物的避障功能；而且缺乏关键目标对象追踪捕获、环境状态感知与分析等功能。
发明内容
本发明提供一种煤矿井下场景现实捕捉感知方法、装置、设备、存储介质，旨在实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。
为此，本发明的第一个目的是提出一种煤矿井下场景现实捕捉感知方法，包括：
在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；
基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；
对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
其中，在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建包括步骤：
获取多模态同步配准数据，并进行输出处理分析；其中，所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(IMU)、UWB设备、轮速计及标识标靶识别装置的感知传感器所采集的数据；
基于分析处理后的所述多模态同步配准数据，进行场景特征提取与动态特征检测识别；
结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪，获取初步机器人运动平台定位信息；
基于初步机器人运动平台定位信息，生成局部地图和全局地图，并对所述局部地图和全局地图进行优化；
对优化后的所述局部地图和全局地图进行地图矫正，并进行实景投影。
其中，基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中，包括：
通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型；
将实时的场景数据输入已完成构建的所述感知算法模型，输出结果为目标对象检测识别结果及场景区域分割结果；
基于机器人运动平台定位数据与局部地图数据，将目标对象检测识别或者场景区域分割结果映射到相应特征地图中，实现目标对象在场景地图中的实例分割；
根据目标对象在场景地图中的实例分割结果，通过分析处理目标对象所在的局部空间地图数据，实现目标对象状态实时感知。
其中，在构建感知算法模型的步骤中，基于数据分析与处理计算，选择模型训练架构，完成深度神经网络结构设计；其中，
针对视觉图像的场景分割与目标对象检测识别使用yolov7，针对激光雷达点云的场景分割使用SPVCNN，针对图像与激光点云融合数据的实例分割使用2DPASS。
其中，对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航的步骤包括：
在目标对象检测识别的基础上，结合目标对象定位信息与场景地图实例分割结果信息，基于特征匹配与滤波/非线性优化等算法进行目标对象的二维与三维特征追踪；
根据目标对象特征追踪结果，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测；
根据目标对象的移动规划预测结果，结合场景全局地图数据进行机器人运动平台的路径规划与状态控制规划；
在机器人运动平台的目标路径规划完成的基础上，实时判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪。
其中，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测的步骤中，局部避障路径规划流程如下：
基于场景特征地图，生成指定高度的障碍物地图；
根据机器人运动平台外观几何特征，在地图障碍物四周进行安全边缘轮廓生成；
根据机器人运动平台的物理模型与状态信息构建相应质点控制模型，结合障碍物地图生成状态栅格(lattice graph)；
以目标对象的空间位置作为终点坐标，在状态栅格(lattice graph)中生成目标结点的控制空间路径；
基于控制空间路径数据，通过机器人运动平台速度规划器，计算获取速度信息；
机器人运动平台按照控制空间路径进行运动导航；
在运动过程中，循环执行本流程，根据机器人运动平台位置信息及目标对象实时状态位置信息，进行障碍物场景地图更新。
其中，在进行目标对象追踪捕获的步骤中，包括：
在机器人运动平台目标路径规划完成的基础上，实时检测目标对象是否在前端传感器数据帧中，据此判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪；
若目标对象未被捕获则将针对机器人运动平台运动进行规划控制，直至目标对象被稳定捕获，此时目标对象状态与机器人运动平台状态均被稳定监测。
本发明的第二个目的是提出一种煤矿井下场景现实捕捉感知装置，包括：
煤矿井下场景定位及地图构建模块，用于在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；
煤矿井下关键目标对象智能识别与定位模块，用于基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；
煤矿井下捕获追踪与避障导航模块，用于对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
本发明的第三个目的在于提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的方法中的各步骤。
本发明的第四个目的在于提出存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据前述技术方案的方法中的各步骤。
区别于现有技术，本发明提供的煤矿井下场景现实捕捉感知方法，能够准确获取在一体化坐标系下的环境设备状态信息，而且针对关键目标对象进行实时捕获与追踪。同时结合采场环境先验数据信息、目标对象物理模型，实现采场环境目标对象的实时可视化动态监测，为智能开采提供感知依据。
附图说明
本发明的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明提供的一种煤矿井下场景现实捕捉感知方法的流程示意图。
图2是本发明提供的一种煤矿井下场景现实捕捉感知方法中进行煤矿井下场景定位及地图构建的流程示意图。
图3是本发明提供的一种煤矿井下场景现实捕捉感知方法中进行煤矿井下关键目标对象智能识别与定位的流程示意图。
图4是本发明提供的一种煤矿井下场景现实捕捉感知方法中进行煤矿井下捕获追踪与避障导航的流程示意图。
图5是本发明提供的一种煤矿井下场景现实捕捉感知装置的结构示意图。
图6是本发明提供的一种存储有计算机指令的非瞬时计算机可读存储介质的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
如图1所示，为本发明实施例所提供的一种煤矿井下场景现实捕捉感知方法，本发明通过适配多模态传感器进行感知，通过多模传感数据进行实时融合与智能分析处理，进行井下场景的实时空间建图，机器人运动平台实时定位、路径规划与导航，关键设备目标对象的识别与捕获，作业场景空间数字化构建，以及作业工况的智能感知应用。最终控制管理中心通过远程通讯节点与场景实景再现系统实现针对井下场景状况的实时动态监测。
本发明的方法所适配传感器如下:
1、所需适配的传感器类型为多模态传感器，至少包括一台视觉相机，一台与视觉相机配准的激光雷达，以及一台惯性导航里程计(IMU)。本系统可针对感知应用的需求适配多类型，多组数传感器。如视觉相机可为红外相机，热成像相机，数量可因感知应用的具体实现方案而变化；激光雷达可以为机械激光雷达、固态激光雷达、半固态激光雷达、毫米波激光雷达等。
2、除视觉相机、激光雷达、与IMU这三类传感器，针对感知应用需求扩展添加其他传感器来增加感知效果，如UWB设备、轮速计、各类型标识标靶识别装置等，但其他传感器并非必需的。
此外，本发明还需要包含一台时间同步源进行所有传感器数据时间配准与同步。同时所有传感器需已完成相应内、外参标定工作。内参标定指的是传感器因自身特性而需要的标定工作，外参标定指的是多传感器之前相互位姿信息的确认。
针对煤矿智能化无人开采转型过程中场景智能感知相关技术需求，本发明提出一套完备的针对煤矿井下场景的现实捕捉与感知方法，以解决现阶段煤矿井下场景因设备环境状况感知能力有限，且无法实现一系列关键核心问题。
该方法具体包括：
S110：在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行地图构建。
特定坐标系可以是以机器人运动平台运动平台目标对象为中心构建的坐标系，也可以是经过坐标转换的矿井地质坐标系，以及以特定位置或设备为原点的坐标系等。位姿信息指的是机器人运动平台目标对象在空间中的六自由度状态信息，包括三自由度位置信息与三自由度姿态信息，其流程图如下图2所示。
该步骤具体包括：
S111：获取多模态同步配准数据，并进行输出处理分析；其中，多模态同步配准数据包括视觉相机、激光雷达、惯性导航里程计IMU、UWB设备、轮速计及标识标靶识别装置采集的数据。
针对各传感器类型的数据，基于标定参数数据进行加工处理与配准筛选。数据加工处理包括：
(1)针对IMU数据基于滤波算法进行噪音消除，并且基于内参数据进行零漂补偿等操作；
(2)针对视觉图像数据，基于内参进行畸变处理，以及针对煤矿场景光照、粉尘等影响要素引起的噪声进行处理操作，实现视觉效果提升等；
(3)针对激光雷达数据，结合IMU数据与后端优化后的定位数据，进行动态漂移误差补偿操作；以及结合激光雷达特性基于IMU插值方法针对激光雷达内部电子元件运动引起的点云噪声进行处理。
配准筛选主要包括：
(1)针对未同步数据进行补偿与配准，解决数据同步问题；
(2)针对加工处理后的数据进行不良数据的筛除与降采样操作。
S112：基于分析处理后的多模态同步配准数据，进行场景特征匹配、特征追踪和动态物体检测识别，获取初步机器人运动平台定位信息及对目标对象的运动状态判断。
基于特定模型(如匀速运动模型等)针对各类传感器帧数据进行特征提取。视觉特征的提取与描述基于SURF、GFTT与BRIEF等方法；激光雷达数据特征提取在重定位时选择点、线、面特征，在实时定位时选择直接特征方法。
基于动态目标对象检测、识别结果针对帧数据特征进行筛选；
基于特征筛选结果，通过特征匹配算法实现前端特征的匹配与追踪；
基于前端特征匹配与追踪结果，获取初步机器人运动平台定位信息。
针对视觉相机图像帧或者激光雷达点云数据帧，基于感知算法模型实现目标对象的自动检测识别；在目标对象检测识别结果的基础上，结合当前帧数据区域中所提取的特征与上一帧的特征提取结果进行匹配与追踪，实现目标对象运动状态的判断。
S113：基于初步机器人运动平台定位信息及对目标对象的运动状态判断结果，生成局部地图和全局地图，并对局部地图和全局地图进行优化。
在前端场景特征匹配与特征追踪的基础上，基于所提取特征生成的局部特征地图数据与前端初始定位信息，进行多传感器数据的融合与后端非线性优化，获取高精度定位信息；
同时基于滑动窗口优化模型与概率边缘化方法限制后端优化规模，控制后端计算量，实现高精度定位信息的实时输出。
S114：对优化后的局部地图和全局地图进行地图矫正，并进行实景投影。
基于后端优化结果，针对当前帧特征数据与局部地图数据，筛选并去除配准失败的特征数据，同时基于优化后的定位数据，进行额外特征匹配，完成特征恢复与补充；
将后端优化后的局部地图数据更行至全局特征地图中；
根据优化后的定位结果将图像帧数据投影到局部实景地图中；
基于光度误差优化模型完善局部实景地图并进行可视化显示；
基于滑动窗口模型将局部实景地图保存至全局实景地图中并进行显示。
S120：基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取。
目标对象类型至少包括：煤矿工人，采煤机，液压支架顶板、护帮板。
目标对象的状态信息将根据目标对象不同有所不同，如采煤机的状态信息将包括采煤机是否运行，采煤机位置，采煤机滚筒，以及摇臂高度等信息；液压支架护帮板状态信息则为护帮板是否打开，打开角度等信息，其流程如下图3所示。
具体的，该步骤包括：
S121：通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型。
采集场景数据，包括视觉图像帧和激光点云帧数据，并针对场景数据进行处理与分析；设计训练数据集结构，手动或者自动标注样本数据，进行训练样本数据集的构建；基于数据分析与处理计算平台，选择模型训练架构，完成深度神经网络结构设计，如针对视觉图像的场景分割与目标对象检测识别可使用YOLOv7，针对激光雷达点云的场景分割可使用SPVCNN，以及针对图像与激光点云融合数据的实例分割可使用2DPASS等；通过深度学习迭代训练，实现感知算法模型构建。
S122：将实时的场景数据输入已完成构建的所述感知算法模型，输出结果为目标对象检测识别结果及场景区域分割结果。
根据感知计算平台，针对算法模型进行转换，以及压缩等轻量化处理；部署感知算模型于计算处理平台上，实时输入传感器帧数据进行推理计算，输出目标对象检测识别或者场景区域分割结果。
S123：基于机器人运动平台定位数据与局部地图数据，将目标对象检测识别或者场景区域分割结果映射到相应特征地图中，实现目标对象在场景地图中的实例分割。
S124：根据目标对象在场景地图中的实例分割结果，通过分析处理目标对象所在的局部空间地图数据，实现目标对象状态实时感知。
S130：对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
当场景出现障碍物时，系统优先执行避障操作，然后进行目标对象追踪捕获，其流程如下图4所示。
具体的，该步骤包括：
S131：在目标对象检测识别的基础上，结合目标对象定位信息与场景地图实例分割结果信息，基于特征匹配与滤波/非线性优化等算法进行目标对象的二维与三维特征追踪。
S132：根据目标对象特征追踪结果，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测。
S133：根据目标对象的移动规划预测结果，结合场景全局地图数据进行机器人运动平台的路径规划与状态控制规划。
状态控制规划将根据系统具体应用需求而有所不同。若机器人运动平台运动平台基于固定轨道上进行移动运动，当周围出现障碍物时，则机器人运动平台运动平台将停止追踪并进行预警；若机器人运动平台运动平台为自由探索式，在目标追踪与运动导航过程中出现障碍物时，则围绕障碍物完成自动绕行。
当机器人运动平台与目标对象所处的局部特征地图中不存在任何可预见障碍物信息时，通过构建路径场的方式，计算获取到达目标追踪安全位置的最短直线路径，并实时增量式更新场景地图。
当机器人运动平台在移动过程中检测到局部地图中出现障碍物信息时，将基于机器人运动平台模型与局部地图数据进行局部避障路径规划。具体局部避障路径规划流程如下：
基于场景特征地图，生成指定高度的障碍物地图；
根据机器人运动平台外观几何特征，在地图障碍物四周进行安全边缘轮廓生成；
根据机器人运动平台的物理模型与状态信息构建相应质点控制模型，结合障碍物地图生成状态栅格(lattice graph)；
以目标对象的空间位置作为终点坐标，在状态栅格(lattice graph)中生成目标结点的控制空间路径；
基于控制空间路径数据，通过机器人运动平台速度规划器，计算获取速度信息；
机器人运动平台按照控制空间路径进行运动导航；
在运动过程中，循环执行本流程，根据目标对象实时状态位置信息，进行障碍物场景地图更新。
S134：在机器人运动平台的目标路径规划完成的基础上，实时判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪。
若目标对象未被捕获则将针对机器人运动平台运动进行规划控制，直至目标对象被稳定捕获，此时目标对象状态与机器人运动平台状态均被稳定监测。具体流程如下：
根据前端目标对象检测结果，获取目标对象在数据帧中坐标信息；
根据前端传感器可视画面尺度，计算实时数据帧的中轴坐标信息；
以目标对象在数据帧中的坐标信息和数据帧的中轴坐标信息的偏移量作为控制误差，以机器人运动平台角速度作为控制参数，建立目标对象捕获追踪控制模型；
基于滤波算法针对目标对象运动状态进行预测，计算获取机器人运动平台的速度规划信息，实时调整前端传感器姿态，实现目标的稳定捕获追踪。
如图5所示，本发明提供了一种煤矿井下场景现实捕捉感知装置300，包括：
煤矿井下场景定位及地图构建模块310，用于在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；
煤矿井下关键目标对象智能识别与定位模块320，用于基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；
煤矿井下捕获追踪与避障导航模块330，用于对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
为了实现实施例，本发明还提出一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述技术方案的煤矿井下场景现实捕捉感知方法中的各步骤。
如图6所示，非临时性计算机可读存储介质800包括指令的存储器810，接口830，指令可由根据煤矿井下场景现实捕捉处理器820执行以完成方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
为了实现实施例，本发明还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如本发明实施例的煤矿井下场景现实捕捉。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对所述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在所述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现所述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。所述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
所述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，所述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对所述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种煤矿井下场景现实捕捉感知方法，其特征在于，包括：
在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并基于获取的场景地图信息进行局部地图与全局地图构建；
基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；
对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
2.根据权利要求1所述的煤矿井下场景现实捕捉感知方法，其特征在于，在特定坐标系中获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行行局部地图与全局地图构建包括步骤：
获取多模态同步配准数据，并进行输出处理分析；其中，所述多模态同步配准数据包括已完成时钟同步与标定的视觉相机、激光雷达、惯性导航里程计(IMU)、UWB设备、轮速计及标识标靶识别装置的感知传感器所采集的数据；
基于分析处理后的所述多模态同步配准数据，进行场景特征提取与动态特征检测识别；
结合特征提取结果与动态特征检测识别结果进行场景特征筛选与匹配及场景特征追踪，获取初步机器人运动平台定位信息；
基于初步机器人运动平台定位信息，生成局部地图和全局地图，并对所述局部地图和全局地图进行优化；
对优化后的所述局部地图和全局地图进行地图矫正，并进行实景投影。
3.根据权利要求1所述的煤矿井下场景现实捕捉感知方法，其特征在于，基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取的步骤中，包括：
通过所采集场景数据进行处理后得到的数据集，对所述感知算法模型进行训练，构建感知算法模型；
将实时的场景数据输入已完成构建的所述感知算法模型，输出结果为目标对象检测识别结果及场景区域分割结果；
基于机器人运动平台定位数据与局部地图数据，将目标对象检测识别或者场景区域分割结果映射到相应特征地图中，实现目标对象在场景地图中的实例分割；
根据目标对象在场景地图中的实例分割结果，通过分析处理目标对象所在的局部空间地图数据，实现目标对象状态实时感知。
4.根据权利要求3所述的煤矿井下场景现实捕捉感知方法，其特征在于，在构建感知算法模型的步骤中，基于数据分析与处理计算，选择模型训练架构，完成深度神经网络结构设计；其中，
针对视觉图像的场景分割与目标对象检测识别使用yolov7，针对激光雷达点云的场景分割使用SPVCNN，针对图像与激光点云融合数据的实例分割使用2DPASS。
5.根据权利要求3所述的煤矿井下场景现实捕捉感知方法，其特征在于，对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航的步骤包括：
在目标对象检测识别的基础上，结合目标对象定位信息与场景地图实例分割结果信息，基于特征匹配与滤波/非线性优化等算法进行目标对象的二维与三维特征追踪；
根据目标对象特征追踪结果，基于运动模型对目标对象移动方向、移动速度、移动加速度等状态信息进行移动规划预测；
根据目标对象的移动规划预测结果，结合场景全局地图数据进行机器人运动平台的路径规划与状态控制规划；
在机器人运动平台的目标路径规划完成的基础上，实时判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪。
6.根据权利要求5所述的煤矿井下场景现实捕捉感知方法，其特征在于，基于运动模型对目标对象移动方向、移动速度信息进行移动规划预测的步骤中，局部避障路径规划流程如下：
基于场景特征地图，生成指定高度的障碍物地图；
根据机器人运动平台外观几何特征，在地图障碍物四周进行安全边缘轮廓生成；
根据机器人运动平台的物理模型与状态信息构建相应质点控制模型，结合障碍物地图生成状态栅格(lattice graph)；
以目标对象的空间位置作为终点坐标，在状态栅格(lattice graph)中生成目标结点的控制空间路径；
基于控制空间路径数据，通过机器人运动平台速度规划器，计算获取速度信息；
机器人运动平台按照控制空间路径进行运动导航；
在运动过程中，循环执行本流程，根据目标对象实时状态位置信息，进行障碍物场景地图更新。
7.根据权利要求1所述的煤矿井下场景现实捕捉感知方法，其特征在于，在进行目标对象追踪捕获的步骤中，包括：
在机器人运动平台目标路径规划完成的基础上，实时检测目标对象是否在前端传感器数据帧中，据此判断目标对象是否被稳定捕获，完成机器人运动平台对目标对象的捕获追踪；
若目标对象未被捕获则将针对机器人运动平台运动进行规划控制，直至目标对象被稳定捕获，此时目标对象状态与机器人运动平台状态均被稳定监测。
8.一种煤矿井下场景现实捕捉感知装置，其特征在于，包括：
煤矿井下场景定位及地图构建模块，用于在特定坐标系中，获取场景中机器人运动平台目标对象的实时位姿信息，并获取场景地图信息进行局部地图与全局地图构建；
煤矿井下关键目标对象智能识别与定位模块，用于基于场景地图信息进行场景关键目标识别和跟踪，同时结合场景中机器人运动平台目标对象的姿态数据进行关键目标的状态信息获取；
煤矿井下捕获追踪与避障导航模块，用于对运动目标对象进行稳定捕获和追踪，并根据所述场景局部地图信息进行障碍物目标的躲避，基于场景全局地图信息进行目标追踪与导航。
9.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法中的各步骤。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法中的各步骤。
CN202310124912.9A 2023-02-03 2023-02-03 一种煤矿井下场景现实捕捉感知方法及设备 Pending CN116109675A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310124912.9A CN116109675A (zh) 2023-02-03 2023-02-03 一种煤矿井下场景现实捕捉感知方法及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310124912.9A CN116109675A (zh) 2023-02-03 2023-02-03 一种煤矿井下场景现实捕捉感知方法及设备

Publications (1)

Publication Number Publication Date
CN116109675A true CN116109675A (zh) 2023-05-12

Family

ID=86263663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310124912.9A Pending CN116109675A (zh) 2023-02-03 2023-02-03 一种煤矿井下场景现实捕捉感知方法及设备

Country Status (1)

Country Link
CN (1) CN116109675A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669735A (zh) * 2023-12-08 2024-03-08 太原理工大学 煤矿业务场景人工智能模型的应用系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117669735A (zh) * 2023-12-08 2024-03-08 太原理工大学 煤矿业务场景人工智能模型的应用系统
CN117669735B (zh) * 2023-12-08 2024-10-29 太原理工大学 煤矿业务场景人工智能模型的应用系统

Similar Documents

Publication Publication Date Title
CN112014857B (zh) 用于智能巡检的三维激光雷达定位导航方法及巡检机器人
US9870624B1 (en) Three-dimensional mapping of an environment
CN116050277A (zh) 一种煤矿井下场景现实捕捉感知及仿真方法及设备
CN112197770B (zh) 一种机器人的定位方法及其定位装置
Held et al. Precision tracking with sparse 3d and dense color 2d data
CN102298070B (zh) 估算无人机,尤其是能够在自动驾驶下执行悬停飞行的无人机的水平速度的方法
CN110298914B (zh) 一种建立果园中果树冠层特征地图的方法
WO2018071416A1 (en) Laser scanner with real-time, online ego-motion estimation
WO2018140701A1 (en) Laser scanner with real-time, online ego-motion estimation
EP4068206A1 (en) Object tracking in local and global maps systems and methods
CN115407357B (zh) 基于大场景的低线束激光雷达-imu-rtk定位建图算法
CN113256716B (zh) 一种机器人的控制方法及机器人
US11295521B2 (en) Ground map generation
CN118135526B (zh) 基于双目相机的四旋翼无人机视觉目标识别与定位方法
Yang et al. A hierarchical approach for refining point cloud quality of a low cost UAV LiDAR system in the urban environment
CN116109675A (zh) 一种煤矿井下场景现实捕捉感知方法及设备
CN110942520B (zh) 作业设备辅助定位方法、装置、系统及存储介质
Li et al. Multi-sensor fusion for robust localization with moving object segmentation in complex dynamic 3D scenes
CN116817891A (zh) 一种实时多模态感知的高精地图构建方法
KR102618680B1 (ko) 영상과 라이다를 이용한 실시간 3차원 물체 인식 및 추적하는 시스템
Wang et al. 3D-LIDAR based branch estimation and intersection location for autonomous vehicles
CN117470259A (zh) 一种子母式空地协同多传感器融合三维建图系统
Alliez et al. Indoor localization and mapping: Towards tracking resilience through a multi-slam approach
Jia et al. A Multi-Sensor Fusion Localization Algorithm Via Dynamic Target Removal
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination