CN114594489A - 一种矿用三维彩色点云重建系统及方法 - Google Patents

一种矿用三维彩色点云重建系统及方法 Download PDF

Info

Publication number
CN114594489A
CN114594489A CN202210142832.1A CN202210142832A CN114594489A CN 114594489 A CN114594489 A CN 114594489A CN 202210142832 A CN202210142832 A CN 202210142832A CN 114594489 A CN114594489 A CN 114594489A
Authority
CN
China
Prior art keywords
laser radar
point cloud
information
line laser
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210142832.1A
Other languages
English (en)
Inventor
关士远
吴方朋
任伟
谷敏永
付振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Meike Tianma Automation Technology Co Ltd
Beijing Tianma Intelligent Control Technology Co Ltd
Original Assignee
Beijing Meike Tianma Automation Technology Co Ltd
Beijing Tianma Intelligent Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Meike Tianma Automation Technology Co Ltd, Beijing Tianma Intelligent Control Technology Co Ltd filed Critical Beijing Meike Tianma Automation Technology Co Ltd
Priority to CN202210142832.1A priority Critical patent/CN114594489A/zh
Priority to PCT/CN2022/077777 priority patent/WO2023155228A1/zh
Publication of CN114594489A publication Critical patent/CN114594489A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本申请提出一种矿用三维彩色点云重建系统及方法，所述系统包括：第一多线激光雷达、第二多线激光雷达、激光雷达支架、全景相机、惯性导航装置和数据处理电脑；其中，所述第一多线激光雷达设置在所述激光雷达支架上且呈水平方向，所述第二多线激光雷达设置在所述激光雷达支架且其设置的位置与所述第一多线激光雷达呈直角互补结构；所述全景相机设置在所述第一多线激光雷达的上方；所述惯性导航装置设置在激光雷达支架的下方；所述数据处理电脑设置在所述激光雷达支架的下方。本申请提供的技术方案，使得构建点云的同时为点云增加RGB信息，还原被扫描环境的真实景象，解决了难以对煤矿工作面进行物体识别的问题。

Description

一种矿用三维彩色点云重建系统及方法
技术领域
本申请涉及煤矿三维重建技术领域，尤其涉及一种矿用三维彩色点云重建系统及方法。
背景技术
当前对于煤矿井下环境的三位重建，主要采用激光雷达或深度相机装置对环境信息进行采集，并结合惯性导航装置，建立点云地图，完成三维重建。
但是，仅采用激光雷达测量获取到的信息是被扫描物体的位置信息，没有物体表面纹理的彩色RGB信息，即利用激光雷达对环境扫描只能建立含有位置信息的点云地图，人眼很难通过观察点云地图对目标进行识别，尤其在煤矿环境中，除了需要利用深度信息构建点云地图，实现实时观察环境物体也非常重要。而采用深度相机装置进行三位重建，虽然可以生成彩色的深度图像，但光线对其影响较大，采集到的点云数据精度容易收到环境干扰，最终造成生成的图像与实际相差较大。
发明内容
本申请提供一种矿用三维彩色点云重建系统及方法，以至少解决相关技术中的不能够准确还原被扫描的煤矿工作面环境的真实景象的技术问题。
本申请第一方面实施例提出一种矿用三维彩色点云重建系统，包括：
第一多线激光雷达、第二多线激光雷达、激光雷达支架、全景相机、惯性导航装置和数据处理电脑；
所述第一多线激光雷达设置在所述激光雷达支架上且呈水平方向，所述第二多线激光雷达设置在所述激光雷达支架且其设置的位置与所述第一多线激光雷达呈直角互补结构；
所述全景相机设置在所述第一多线激光雷达的上方；
所述惯性导航装置设置在所述第一多线激光雷达所在位置的激光雷达支架的下方；
所述数据处理电脑设置在所述激光雷达支架的下方且分别与第一多线激光雷达、第二多线激光雷达、全景相机和惯性导航装置相连。
优选的，所述矿用三维彩色点云重建系统还包括：全景相机底座、惯性导航装置支架和数据处理电脑支架；
所述全景相机通过所述全景相机底座设置在所述第一多线激光雷达的上方；
所述惯性导航装置通过惯性导航装置支架设置在所述第一多线激光雷达所在位置的激光雷达支架的下方；
所述数据处理电脑通过数据处理电脑支架设置在所述激光雷达支架的下方。
优选的，所述第一多线激光雷达及第二多线激光雷达的垂直视角为±15°，水平视角为360°。
优选的，所述第一多线激光雷达与第二多线激光雷达均用于采集煤矿工作面的三维地质信息，并将采集的所述煤矿工作面的三维地质信息发送到数据处理电脑；
所述全景相机为360°球形视角的全景相机，用于采集煤矿工作面的色彩信息，并将采集的所述煤矿工作面的色彩信息发送到数据处理电脑；
所述惯性导航装置，用于实时采集所述激光雷达支架自由度的位姿信息，并将采集的所述激光雷达支架自由度的位姿信息发送到数据处理电脑；
所述数据处理电脑，用于接收所述煤矿工作面的三维地质信息、色彩信息和所述激光雷达支架自由度的位姿信息，并基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建。
进一步的，所述基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建，包括：
获取第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵，并基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
基于惯性导航装置采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
进一步的，所述基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达与第二多线激光雷达间的外参矩阵，将第二多线激光雷达采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达对应的坐标系上；
基于第一多线激光雷达与惯性导航装置间的外参矩阵，将采集的所述激光雷达支架自由度的位姿信息变换到第一多线激光雷达对应的坐标系上；
将进行变换后的第一多线激光雷达对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
进一步的，所述基于惯性导航装置采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
本申请第二方面实施例提出一种矿用三维彩色点云重建方法，包括：
采集煤矿工作面的三维地质信息、色彩信息、所述激光雷达支架自由度的位姿信息，并获取所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵；
基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
优选的，所述基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达与第二多线激光雷达间的外参矩阵，将第二多线激光雷达采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达对应的坐标系上；
基于第一多线激光雷达与惯性导航装置间的外参矩阵，将采集的所述激光雷达支架自由度的位姿信息变换到第一多线激光雷达对应的坐标系上；
将进行变换后的第一多线激光雷达对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
优选的，所述利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
本申请的实施例提供的技术方案至少带来以下有益效果：
本申请提供了一种矿用三维彩色点云重建系统及方法，其中，所述系统包括：第一多线激光雷达、第二多线激光雷达、激光雷达支架、全景相机、全景相机底座、惯性导航装置和数据处理电脑；所述第一多线激光雷达设置在所述激光雷达支架上且呈水平方向，所述第二多线激光雷达设置在所述激光雷达支架且其设置的位置与所述第一多线激光雷达呈直角互补结构；所述全景相机通过所述全景相机底座设置在所述第一多线激光雷达的上方；所述惯性导航装置设置在所述第一多线激光雷达所在位置的激光雷达支架的下方；所述数据处理电脑设置在所述激光雷达支架的下方且分别与第一多线激光雷达、第二多线激光雷达、全景相机和惯性导航装置相连。本申请提供的技术方案，使得构建点云的同时为点云增加RGB信息，还原被扫描环境的真实景象，解决了难以对煤矿工作面进行物体识别的问题。
本申请附加的方面以及优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面以及优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本申请一个实施例提供的一种矿用三维彩色点云重建系统的结构图；
图2为根据本申请一个实施例提供的一种矿用三维彩色点云重建系统中含有惯性导航装置支架的系统结构图；
图3为根据本申请一个实施例提供的一种矿用三维彩色点云重建方法的流程图。
附图标记说明：
第一多线激光雷达1、第二多线激光雷达2、激光雷达支架3、全景相机4、全景相机底座5、惯性导航装置6、数据处理电脑7、惯性导航装置支架8和数据处理电脑支架9。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
本申请提出的一种矿用三维彩色点云重建系统及方法，其中，所述系统包括：第一多线激光雷达1、第二多线激光雷达2、激光雷达支架3、全景相机4、惯性导航装置6和数据处理电脑7；所述第一多线激光雷达1设置在所述激光雷达支架上且呈水平方向，所述第二多线激光雷2达设置在所述激光雷达支架3且其设置的位置与所述第一多线激光雷达1呈直角互补结构；所述全景相机4设置在所述第一多线激光雷达1的上方；所述惯性导航装置设置6在所述第一多线激光雷达1所在位置的激光雷达支架3的下方；所述数据处理电脑7设置在所述激光雷达支架3的下方且分别与第一多线激光雷达1、第二多线激光雷达2、全景相机4和惯性导航装置6相连。本申请提供的技术方案，使得构建点云的同时为点云增加RGB信息即色彩信息，还原被扫描环境的真实景象，解决了难以对煤矿工作面进行物体识别的问题。
下面参考附图描述本申请实施例的矿用三维彩色点云重建系统及方法。
实施例1
图1为根据本申请一个实施例提供的一种矿用三维彩色点云重建系统的结构图，如图1所示，所述矿用三维彩色点云重建系统包括：至少一个第一多线激光雷达1、至少一个第二多线激光雷达2、至少一个激光雷达支架3、至少一个全景相机4、至少一个惯性导航装置6和数据处理电脑7；
需要注意的是，图1示出的是一种一个第一多线激光雷达1、一个第二多线激光雷达2、一个激光雷达支架3、一个全景相机4、一个惯性导航装置6和一个数据处理电脑7系统结构图，图1仅作示例，并不作为对本申请实施例的限制。
在本公开实施例中，所述第一多线激光雷达1设置在所述激光雷达支架3上且呈水平方向，所述第二多线激光雷达2设置在所述激光雷达支架3且其设置的位置与所述第一多线激光雷达1呈直角互补结构；
所述第一多线激光雷达及第二多线激光雷达的垂直视角为±15°，水平视角为360°；
其中，所述第一多线激光雷达1与第二多线激光雷达2均用于采集煤矿工作面的三维地质信息，并将采集的所述煤矿工作面的三维地质信息发送到数据处理电脑7。
在本公开实施例中，所述全景相机4设置在所述第一多线激光雷达1的上方；
其中，所述全景相机4为360°球形视角的全景相机，用于采集煤矿工作面的色彩信息即RGB信息，并将采集的所述煤矿工作面的色彩信息发送到数据处理电脑7。
在本公开实施例中，所述惯性导航装置6设置在所述第一多线激光雷达1所在位置的激光雷达支架3的下方；
其中，所述惯性导航装置6，用于实时采集所述激光雷达支架自由度的位姿信息，并将采集的所述激光雷达支架自由度的位姿信息发送到数据处理电脑。
在本公开实施例中，所述数据处理电脑7设置在所述激光雷达支架3的下方且分别与第一多线激光雷达1、第二多线激光雷达2、全景相机4和惯性导航装置相连6；
其中，所述数据处理电脑，用于接收所述煤矿工作面的三维地质信息、色彩信息和所述激光雷达支架自由度的位姿信息，并基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建；
所述数据处理电脑7可以采用8核处理器，且电脑的功耗可根据需要设定为10w或15w或30w。
需要说明的是，所述数据处理电脑7设置在所述激光雷达支架3的下方仅作一个示例，还可以固定在激光雷达支架3的其他部分或单独放置。
在本公开实施例中，如图2所示，
所述矿用三维彩色点云重建系统还包括：全景相机底座5、惯性导航装置支架8和数据处理电脑支架9；
所述全景相机4通过所述全景相机底座5设置在所述第一多线激光雷达1的上方；
所述惯性导航装置6通过惯性导航装置支架8设置在所述第一多线激光雷达1所在位置的激光雷达支架3的下方；
所述数据处理电脑7通过数据处理电脑支架9设置在所述激光雷达支架3的下方。
需要说明的是，所述基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建，包括：
获取第一多线激光雷达1与第二多线激光雷达1间的外参矩阵、第一多线激光雷达1与惯性导航装置6间的外参矩阵，并基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
基于惯性导航装置6采集的所述激光雷达支架3自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
进一步的，所述基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达1与第二多线激光雷达2间的外参矩阵，将第二多线激光雷达2采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达1对应的坐标系上；
基于第一多线激光雷达1与惯性导航装置6间的外参矩阵，将采集的所述激光雷达支架3自由度的位姿信息变换到第一多线激光雷达1对应的坐标系上；
将进行变换后的第一多线激光雷达1对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
其中，所述基于惯性导航装置6采集的所述激光雷达支架3自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架3自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
综上所示，本申请提出的一种矿用三维彩色点云重建系统，通过使用两颗多线激光雷达，呈直角结构布置，可扩大激光雷达的扫描范围，采集更多的点云信息，同时通过使用全景相机，采集当前位置的色彩信息即RGB信息，利用外参矩阵，将点云信息与色彩信息变换到同一坐标系，将位于同一位置的点的信息与色彩信息融合，使得构建点云的同时为点云增加RGB信息即色彩信息，还原被扫描环境的真实景象，解决了难以对煤矿工作面进行物体识别的问题。
实施例2
图3为根据本申请一个实施例提供的矿用三维彩色点云重建方法的流程图，如图3所示，所述方法可以包括：
步骤1：采集煤矿工作面的三维地质信息、色彩信息、所述激光雷达支架自由度的位姿信息，并获取所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵；
步骤2：基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
步骤3：利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
步骤4：将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
在本公开实施例中，所述基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达与第二多线激光雷达间的外参矩阵，将第二多线激光雷达采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达对应的坐标系上；
基于第一多线激光雷达与惯性导航装置间的外参矩阵，将采集的所述激光雷达支架自由度的位姿信息变换到第一多线激光雷达对应的坐标系上；
将进行变换后的第一多线激光雷达对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
在本公开实施例中，所述利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
综上所示，本申请提出的一种矿用三维彩色点云重建方法，通过采集煤矿工作面的三维地质信息、色彩信息、所述激光雷达支架自由度的位姿信息，并获取所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵；基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息；利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。使得构建点云的同时为点云增加RGB信息即色彩信息，还原被扫描环境的真实景象，解决了难以对煤矿工作面进行物体识别的问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种矿用三维彩色点云重建系统，其特征在于，所述系统包括：第一多线激光雷达、第二多线激光雷达、激光雷达支架、全景相机、惯性导航装置和数据处理电脑；
所述第一多线激光雷达设置在所述激光雷达支架上且呈水平方向，所述第二多线激光雷达设置在所述激光雷达支架且其设置的位置与所述第一多线激光雷达呈直角互补结构；
所述全景相机设置在所述第一多线激光雷达的上方；
所述惯性导航装置设置在所述第一多线激光雷达所在位置的激光雷达支架的下方；
所述数据处理电脑设置在所述激光雷达支架的下方且分别与第一多线激光雷达、第二多线激光雷达、全景相机和惯性导航装置相连。
2.如权利要求1所述的矿用三维彩色点云重建系统，其特征在于，所述矿用三维彩色点云重建系统还包括：全景相机底座、惯性导航装置支架和数据处理电脑支架；
所述全景相机通过所述全景相机底座设置在所述第一多线激光雷达的上方；
所述惯性导航装置通过惯性导航装置支架设置在所述第一多线激光雷达所在位置的激光雷达支架的下方；
所述数据处理电脑通过数据处理电脑支架设置在所述激光雷达支架的下方。
3.如权利要求1所述的矿用三维彩色点云重建系统，其特征在于，所述第一多线激光雷达及第二多线激光雷达的垂直视角为±15°，水平视角为360°。
4.如权利要求1所述的矿用三维彩色点云重建系统，其特征在于，所述第一多线激光雷达与第二多线激光雷达均用于采集煤矿工作面的三维地质信息，并将采集的所述煤矿工作面的三维地质信息发送到数据处理电脑；
所述全景相机为360°球形视角的全景相机，用于采集煤矿工作面的色彩信息，并将采集的所述煤矿工作面的色彩信息发送到数据处理电脑；
所述惯性导航装置，用于实时采集所述激光雷达支架自由度的位姿信息，并将采集的所述激光雷达支架自由度的位姿信息发送到数据处理电脑；
所述数据处理电脑，用于接收所述煤矿工作面的三维地质信息、色彩信息和所述激光雷达支架自由度的位姿信息，并基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建。
5.如权利要求4所述的矿用三维彩色点云重建系统，其特征在于，所述基于所述接收到的信息对所述煤矿工作面的三维激光点云信息进行重建，包括：
获取第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵，并基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
基于惯性导航装置采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
6.如权利要求5所述的矿用三维彩色点云重建系统，其特征在于，所述基于所述外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达与第二多线激光雷达间的外参矩阵，将第二多线激光雷达采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达对应的坐标系上；
基于第一多线激光雷达与惯性导航装置间的外参矩阵，将采集的所述激光雷达支架自由度的位姿信息变换到第一多线激光雷达对应的坐标系上；
将进行变换后的第一多线激光雷达对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
7.如权利要求6所述的矿用三维彩色点云重建系统，其特征在于，所述基于惯性导航装置采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
8.基于上述权利要求1-7任一项所述的矿用三维彩色点云重建系统的矿用三维彩色点云重建方法，其特征在于，所述方法包括：
采集煤矿工作面的三维地质信息、色彩信息、所述激光雷达支架自由度的位姿信息，并获取所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵；
基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息；
利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，得到畸变补偿处理后的所述点云信息；
将所述畸变补偿处理后的所述点云信息与采集得到的色彩信息变换到同一坐标系下，然后在对应的点云位置增加色彩信息，得到重建后的所述煤矿工作面对应的三维激光点云信息。
9.如权利要求8所述的矿用三维彩色点云重建方法，其特征在于，所述基于采集的所述煤矿工作面的三维地质信息、色彩信息和获取的所述第一多线激光雷达与第二多线激光雷达间的外参矩阵、第一多线激光雷达与惯性导航装置间的外参矩阵确定所述煤矿工作面对应的三维激光点云信息，包括：
基于第一多线激光雷达与第二多线激光雷达间的外参矩阵，将第二多线激光雷达采集的所述煤矿工作面的三维地质信息变换到第一多线激光雷达对应的坐标系上；
基于第一多线激光雷达与惯性导航装置间的外参矩阵，将采集的所述激光雷达支架自由度的位姿信息变换到第一多线激光雷达对应的坐标系上；
将进行变换后的第一多线激光雷达对应的坐标系上的点云信息作为所述煤矿工作面对应的三维激光点云信息。
10.如权利要求8所述的矿用三维彩色点云重建方法，其特征在于，所述利用采集的所述激光雷达支架自由度的位姿信息对所述煤矿工作面对应的三维激光点云信息进行畸变补偿处理，包括：
利用扩展卡尔曼滤波算法对采集的所述激光雷达支架自由度的位姿信息进行姿态解算，得到所述姿态解算结果；
利用所述姿态解算结果将所述煤矿工作面对应的三维激光点云信息中的各帧点云中的点分别变换到所述帧点云的第一个点所在时刻的坐标系上。
CN202210142832.1A 2022-02-16 2022-02-16 一种矿用三维彩色点云重建系统及方法 Pending CN114594489A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210142832.1A CN114594489A (zh) 2022-02-16 2022-02-16 一种矿用三维彩色点云重建系统及方法
PCT/CN2022/077777 WO2023155228A1 (zh) 2022-02-16 2022-02-24 矿用三维彩色点云重建系统、方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210142832.1A CN114594489A (zh) 2022-02-16 2022-02-16 一种矿用三维彩色点云重建系统及方法

Publications (1)

Publication Number Publication Date
CN114594489A true CN114594489A (zh) 2022-06-07

Family

ID=81804413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210142832.1A Pending CN114594489A (zh) 2022-02-16 2022-02-16 一种矿用三维彩色点云重建系统及方法

Country Status (2)

Country Link
CN (1) CN114594489A (zh)
WO (1) WO2023155228A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105006021B (zh) * 2015-06-30 2016-10-12 南京大学 一种适用于快速点云三维重建的颜色映射方法及装置
US11105905B2 (en) * 2018-11-30 2021-08-31 Lyft, Inc. LiDAR and camera rotational position calibration using multiple point cloud comparisons
CN110456328A (zh) * 2019-07-24 2019-11-15 佛山市云展智能科技有限公司 多线激光雷达标定系统及标定方法
CN113239726B (zh) * 2021-04-06 2022-11-08 北京航空航天大学杭州创新研究院 基于着色点云的目标检测方法、装置和电子设备
CN113504544A (zh) * 2021-08-11 2021-10-15 上海维智卓新信息科技有限公司 一种数字孪生地图采集设备
CN113643382B (zh) * 2021-08-22 2023-10-10 浙江大学 一种基于旋转激光融合相机的稠密着色点云获取方法及装置

Also Published As

Publication number Publication date
WO2023155228A1 (zh) 2023-08-24

Similar Documents

Publication Publication Date Title
CN108665536B (zh) 三维与实景数据可视化方法、装置与计算机可读存储介质
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN113570721B (zh) 三维空间模型的重建方法、装置和存储介质
US6208353B1 (en) Automated cartographic annotation of digital images
JP2003519421A (ja) 任意の局面の受動的な体積画像の処理方法
CN110246221A (zh) 真正射影像获得方法及装置
CN112469967B (zh) 测绘系统、测绘方法、装置、设备及存储介质
US11995793B2 (en) Generation method for 3D asteroid dynamic map and portable terminal
CA3063606A1 (en) Method and apparatus for planning sample points for surveying and mapping, control terminal, and storage medium
CN111337037A (zh) 移动激光雷达slam制图装置及数据处理方法
US10664947B2 (en) Image processing apparatus and image processing method to represent part of spherical image in planar image using equidistant cylindrical projection
CN111640177B (zh) 一种基于水下声呐探测的三维建模方法及无人潜水器
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN115049794A (zh) 通过深度补全生成稠密的全局点云图方法及系统
CN107958491B (zh) 移动增强现实虚拟坐标与施工现场坐标匹配方法
CN105404127A (zh) 一种拍照采集三维信息的全息成像系统和成像方法
CN114612622A (zh) 机器人三维地图位姿显示方法、装置、设备及存储介质
CN114594489A (zh) 一种矿用三维彩色点云重建系统及方法
CN117274453A (zh) 基于图像和点云深度融合的三维重建及真实场景还原方法
CN110519774B (zh) 基于vr技术的基站勘察方法、系统和设备
CN114494563B (zh) 航拍视频在数字地球上的融合显示方法和装置
CN114567742A (zh) 全景视频的传输方法、装置及存储介质
CN109089100B (zh) 一种双目立体视频的合成方法
CN113888702A (zh) 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法
JP7150460B2 (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination