CN116819554A - 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质 - Google Patents

矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质 Download PDF

Info

Publication number
CN116819554A
CN116819554A CN202310555319.XA CN202310555319A CN116819554A CN 116819554 A CN116819554 A CN 116819554A CN 202310555319 A CN202310555319 A CN 202310555319A CN 116819554 A CN116819554 A CN 116819554A
Authority
CN
China
Prior art keywords
obstacle
laser
environment
information
mine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310555319.XA
Other languages
English (en)
Inventor
杨帆
陈瑞洋
陈逸康
秦骅
赵冲
卫星
陆阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei University of Technology
Original Assignee
Hefei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei University of Technology filed Critical Hefei University of Technology
Priority to CN202310555319.XA priority Critical patent/CN116819554A/zh
Publication of CN116819554A publication Critical patent/CN116819554A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质，方法包括：获取环境激光点云图像，基于环境激光点云图像，生成障碍物的物理信息，其中，物理信息包括：物体位置、物体速度与物体尺寸；获取环境二维图像,基于环境二维图像，利用视觉检测系统初步生成障碍物的物体种类；构建并训练置信度评价模型，将物理信息和初步判断的障碍物种类结果输入训练后的置信度评价模型，获取障碍物的多维判定结果。本发明解决现有纯视觉导航系统无法应对低照度环境探测与纯激光雷达导航系统成本过高的问题，通过合理调度摄像头与激光雷达硬件，可以提高物体识别检测精确度，使自动巡检车辆更好地应用于井下矿场场景中。

Description

矿场低照度下激光与视觉信息冗余的评价方法、系统和存储 介质
技术领域
本发明涉及矿井无人巡检车辆的环境信息识别技术领域，特别是涉及矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质。
背景技术
随着工业化水平的不断提高，以及智能化技术的迭代更新，越来越多的场景需要实现机器自动化。其中由于人工作业面临的巨大安全风险，地照度的井下矿场对于可实现自动驾驶的巡检车辆有着巨大的需求。如何能够在低照度的环境下使车辆尽可能的探测到周围环境的实际情况是保证自动驾驶巡检车行车安全的关键。
现有产品大多采用单一摄像头或激光雷达的方法，通过单一传感器传输回的数据进行周围环境判断。如果只采用摄像头，则在一些极度昏暗的环境下，无法较好的捕捉场景特征，而如果采用过多的激光雷达只会是车辆成本显著提高且目标检测精确较低。
发明内容
本发明的目的是提供矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质，解决现有纯视觉导航系统无法应对低照度环境探测与纯激光雷达导航系统成本过高的问题，通过合理调度摄像头与激光雷达硬件，本发明的方法、系统和存储介质可以提高物体识别检测精确度，使自动巡检车辆更好地应用于井下矿场场景中。
为实现上述目的，本发明提供了如下方案：
矿场低照度下激光与视觉信息冗余的评价方法，包括：
获取环境激光点云图像，基于所述环境激光点云图像，生成障碍物的物理信息，其中，所述物理信息包括：物体位置、物体速度与物体尺寸；
获取环境二维图像,基于所述环境二维图像，利用视觉检测系统初步生成所述障碍物的物体种类；
构建并训练置信度评价模型，将所述物理信息和初步判断的障碍物种类结果输入训练后的所述置信度评价模型，获取所述障碍物的多维判定结果。
可选地，基于所述环境二维图像数据，生成所述障碍物的物体种类包括：
基于激光雷达装置回传的画面信息与特征位置点，建立所述环境激光点云图像，通过目标检测算法对所述环境激光点云图像中的障碍物进行检测，生成所述物理信息。
可选地，通过目标检测算法对所述环境激光点云图像中的障碍物进行检测，生成所述物理信息包括：
利用选择框框选所述环境激光点云图像中的障碍物，从而获得位置以及尺寸状态信息
基于前一帧的障碍物状态，利用3D卡尔曼滤波预测当前帧的障碍物的目标状态，获取预测结果；
通过数据关联方案将所述位置以及尺寸状态信息与所述预测结果进行匹配，根据匹配结果，利用所述3D卡尔曼滤波更新所述目标状态，结合传感装置，生成所述物理信息。
可选地，基于所述环境二维图像数据，利用视觉检测系统初步生成所述障碍物的物体种类包括：
基于深度学习的目标检测算法，通过yoloV3作为基本骨架构建检测网络；
获取矿场训练集，对所述矿场训练集进行噪声添加处理，通过噪声添加处理后的所述矿场训练集训练所述检测网络；
将所述环境二维图像输入训练后的所述检测网络，并根据所述障碍物的特定方位，生成所述物体种类。
可选地，所述物体位置包括：所述障碍物在X轴、Y轴以及Z轴的位置；
其中，坐标系X轴正方向为车辆的直前方，坐标系Y轴正方向为车辆的正右侧，坐标系Z轴正方向为竖直向上方向，坐标系的原点位于车辆的车身正中位置，原点距地面高度为零。
可选地，所述物体速度包括：所述障碍物沿X轴的速度和所述障碍物沿Y轴的速度。
可选地，所述物体尺寸包括：所述障碍物的长度、宽度和高度；
其中，所述物体尺寸为激光雷达装置和摄像头硬件采集的所述物体尺寸的平均值。
可选地，所述置信度评价模型包括：
输入层、低层卷积层、残差层、高层卷积层以及输出层；
所述输入层，用于根据所述物理信息和所述图像数据生成多维数据向量；
所述低层卷积层，用于根据所述多维数据向量进行卷积操作来生成特征初步结果；
所述残差层，用于将所述特征初步结果映射给所述高层卷积层；
所述高层卷积层，用于通过深度卷积结合所述残差层的映射结果，提取特征信息；
所述输出层，用于将所述特征信息进行特征图提取，映射到样本标记空间；所述输出层通过映射到样本标记空间的特征图提取结果，生成所述障碍物的多维判定结果。
为实现上述目的，本发明还提供了矿场低照度下激光与视觉信息冗余的评价系统，包括：
物理信息获取模块、物体种类获取模块和评价模块；
所述物理信息获取模块，用于获取环境激光点云图像，基于所述环境激光点云图像，生成障碍物的物理信息，其中，所述物理信息包括：物体位置、物体速度与物体尺寸；
所述物体种类获取模块，用于获取环境二维图像,基于所述环境二维图像，生成所述障碍物的物体种类；
所述评价模块，用于构建并训练置信度评价模型，将所述物理信息和所述环境二维图像的图像数据输入训练后的所述置信度评价模型，获取所述障碍物的多维判定结果。
为实现上述目的，本发明还提供了一种存储介质，包括：所述存储介质中包括计算机可执行指令，所述可执行指令被执行时，应用于上述权利要求1-8任一项所述的矿场低照度下激光与视觉信息冗余的评价方法。
本发明的有益效果为：
本发明通过合理调度摄像头与激光雷达硬件对周围环境进行感知，针对矿场下巡检车辆实现目标检测的难题进行改进：通过视觉信息的辅助解决纯激光雷达检测成本过高且物体种类识别精确度较低的问题；通过激光点云信息的辅助纯视觉摄像头方案在低照度下感知能力不足并且无法准确输出位置、速度等特征信息的问题。考虑到实际成本，本发明通过摄像头与激光雷达的组合可以更好地在控制成本的条件下提高环境感知能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的矿场低照度下激光与视觉信息冗余的评价方法流程图；
图2为本发明实施例的视觉检测模块进行混合训练方法流程图；
图3为本发明实施例的激光视觉信息时间同步方法流程图；
图4为本发明实施例的评价系统网络层结构示意图；
图5为本发明实施例的车辆外部视觉摄像头与激光雷达搭载方法流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
以下，通过具体的实施例进一步详细说明本公开的技术方案。
首先，本实施例提供了矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质，参考图1，矿场低照度下激光与视觉信息冗余的评价方法，包括以下步骤：
获取环境激光点云图像，基于环境激光点云图像，生成障碍物的物理信息，其中，物理信息包括：物体位置、物体速度与物体尺寸；
获取环境二维图像,基于环境二维图像，利用视觉检测系统初步生成障碍物的物体种类；
构建并训练置信度评价模型，将物理信息和初步判断的障碍物种类结果输入训练后的置信度评价模型，获取障碍物的多维判定结果，具体为：
步骤S101、利用激光雷达硬件结合识别算法，建立激光检测系统，构建实时点云分布图，实现对于车辆周围障碍物的点云检测，其中检测信息包括：车辆周围目标物体的方位、尺寸。此特征信息用于输出车辆周围障碍物特征，作为输入数据传给深度网络输入层；
步骤S102、利用摄像头硬件构建视觉检测系统，采集环境二维图像数据，由于视觉摄像头目标检测精度较高，可以避免后续神经网络进行过多物体种类的判断，故调用Yolo模型完成初步物体种类检测，将其输入到深度网络输入层，如图2；
通过算法构建置信度评价模型，将采集到的点云以及图像数据直接输入评价模型；具体数据类型包括：x、y、z三个方向上的位置，x、y方向上的速度、目标物体的尺寸以及视觉摄像头初步检测得到的目标物体的种类；置信度评价模型包括以下网络结构：输入层、低层卷积层、残差层、高层卷积层以及输出层。其中，输入层、低层卷积层、高层卷积层以及输出层从前到后线性连接。为避免梯度消失，残差层由低层卷积层直接传输到高层卷积层，如图4。具体为：
步骤S103、输入层根据原始点云与图像数据生成多维数据向量；
步骤S104、低层卷积层根据数据向量进行卷积操作来生成特征初步结果；
步骤S105、残差层将低层卷积结果映射给高层卷积网络，避免卷积过程中可能产生的梯度消失；
步骤S106、高层卷积层通过深度卷积合并残差层传输结果，进一步提取特征信息；
步骤S107、全连接层将卷积层输出的数据进行特征图提取，映射到样本标记空间；
步骤S108、输出层生成最优的目标物体多维判定结果。
矿场目标物体位置包括：目标物体在X轴、Y轴以及Z轴的位置。其中，坐标系X轴正方向为车辆的直前方，Y轴正方向为车辆的正右侧，Z轴正方向为竖直向上方向；坐标系的原点位于车辆的车身正中位置，原点距地面高度为零。
目标物体速度包括：目标物体沿X轴的速度和目标物体沿Y轴的速度(默认情况下低照度矿场物体无Z轴速度)；
目标物体尺寸包括：目标物体的长度、宽度和高度。
激光雷达硬件雷达采集的目标物体尺寸为激光雷达和视觉摄像头采集的目标物体尺寸的平均值。
在本实施例中，使用到的利用激光雷达硬件结合识别算法，建立激光检测系统的方法，通过以下两个步骤完成：
(1)基于激光雷达硬件回传的画面信息与特征位置点，建立实时点云图像；
(2)使用目标检测算法对于点云中的障碍物进行检测，输出障碍物方位以及大小、速度信息；
在本实施例中，使用目标检测算法对于点云中的障碍物进行检测，通过以下两个步骤完成：
(1)融合基于体素和基于点云的方法，将检测到的3D目标使用包围盒框选呈现；
(2)通过前一帧的目标状态，利用3D卡尔曼滤波预测当前帧的目标状态；使用数据关联方案将检测结果与预测结果进行匹配；根据匹配结果，利用3D卡尔曼滤波更新目标状态；结合IMU传感器，输出相对于自身的位置信息。
在本实施例中，利用摄像头硬件，结合目标检测算法构建视觉检测系统，实时检测周围障碍物种类信息通过如下两个步骤完成：
(1)基于深度学习的目标检测算法，使用YoloV3作为骨架网络，利用训练集与添加井下噪声训练集进行常规目标障碍物的训练并保存至本地；
(2)利用保存的网络模型，利用车辆四周的摄像头对于不同视角的障碍物进行检测，并根据其特定方位输出，其障碍物信息与方位信息。
其中，基于深度学习的目标检测算法进行训练并保存的方法，考虑到地下矿场的环境特点，需要对于公开数据集进行噪声处理；以yoloV3为骨架搭建检测网络进行训练；将训练结果保存至本地。
上述目标检测训练算法中对于公开数据集进行噪声处理的方法为：
对于输入的数据集中的所有图像，采用随机种子的方法，随机地将其分为4类；
对第一类、第二类、第三类、第四类分别中的每一张图片，有2/3的概率添加椒盐噪声、高斯噪声、乘性噪声与柏松噪声。在此过程中，各个标签以及groundtruth等全部参数保持不变；
上述采用随机种子随机分为4类图像的方法中，对于每一张图片，计算机系统生成随机数num，该图片归为的噪声类别为category，通过以下公式进行求得：
category＝num％4
在本实施例中，参考图3，以yoloV3为骨架网络搭建检测网络进行训练的方法通过如下三个步骤完成：
(1)以yoloV3作为检测网路进行图像特征识别；
(2)通过添加噪声制作的混合数据集进行混合噪声训练，得到yoloV3的3个特征层的预测结果；循环计算损失，设定阈值threshold，将误差loss进行判断：
(3)判断比较情况：
若loss大于threshold，则继续进行反向传播；
若loss小于threshold，则将模型以pkl格式保存到本地。
在本实施例中，各层网络配置如下，具体结构图如图5所示：
在输入层，将获取到的雷达与摄像头的感知数据处理为向量表示。后续网络模型的输入数据为9*1的矩阵。其中，第一个维度的九个值即分别对应感知数据的9个值，即x、y、z三个方向上的位置，x、y方向上的速度目标物体的尺寸以及初步判断的物体种类：Px、Py、Pz、Vx、Vy、L、W、H和C。
卷积层共有三层。第一层卷积层对感知数据的向量表示进行卷积处理，以进行初步的特征提取。第一层卷积层的卷积核大小为1*1，卷积核数量为32，卷积步长为1*1。经过卷积处理，第一卷积层输出9*1*32大小的特征数据；在第二卷积层，以第一卷积层输出的特征数据为输入，对其进行卷积处理。第二卷积层卷积核大小为1*1，卷积核数量为64，卷积步长Stride为1*1。经过卷积处理，第二卷积层输出9*1*64大小的特征数据；在第二卷积层，以第一卷积层输出的特征数据为输入，对其进行卷积处理。第二卷积层卷积核大小为1*1，卷积核数量为128，卷积步长Stride为1*1。经过卷积处理，第二卷积层输出9*1*128大小的特征数据。
残差层将低层卷积层结果映射给高层卷积层，消除可能存在的网络梯度消失的问题。卷积核大小为1*1，卷积核数量为128，卷积步长为1*1。
在全连接层中，以第三层卷积层输出的特征数据为输入，进行特征提取，最终输出9*128大小的特征数据。
在输出层Output-layer，以全连接层的输出为输入的特征数据，最终将所述的感知数据融合为8*1的独热向量矩阵，其中8为物体类别数目。
本实施例中，可通过预先采集的数据集，将矿井中物体分为以下几类，相应地，输出层结果为独热向量。若检测为标志牌，则输出矩阵[0，0，1，0，0，0，0,0]，如表1所示，矿井物体分类标签
表1
物体名称 数据集标签
石块 0
施工人员 1
标志牌 2
管道 3
电缆 4
消防器 5
照明灯 6
运输轨道 7
本实施例中的损失函数是根据预先获取的先验知识来相应构建的。具体的，损失函数表示为：
Loss＝As*abs(DIffSize)+Bp*abs(DIffPosition)+Cv*abs(DIffSpeed)+Dc*abs(DIffcategory)
上式中，Loss为所述损失函数，DIffSpeed为目标物体速度差，DIffPosition为目标物体位置差，DIffSize为目标物体尺寸差，DIffcategory为目标物体种类差abs()为取绝对值运算，As、Bp、Cv、Dc根据所述先验知识确定的影响因子。
在本实施例中，输出层处理映射到样本标记空间的特征图从而得到多维判断结果通过通过softmax函数完成。对于输出层传入的n维向量，可表示为
z＝(z1,z2,...,zi)
其中zi表示网络输出层的第i个神经元的输出，每个神经元的输出对应一个类别的概率估计值。此softmax函数将每个元素zi转化为一个非负数pi，该数值表示样本属于第i类的概率，使得所有概率之和为1，采用公式为：
pi＝exp(zi)/(exp(z1)+exp(z2)+...+exp(zn))
其中，pi为样本属于第i类的概率估计值，范围是0～1，exp()为对网络神经元进行的指数化操作，作用是将神经元的输出值压缩到非负数区间，便于进行归一化操作。
从而，softmax函数通过将每个元素zi指数化并归一化，将网络输出的向量映射到概率分布空间，从而得到每个物体类别的概率估计。取目标检测概率估计最大值对应类别为正确类别，生成独热向量，得到判断结果。
在本实施例中，融合模型的损失函数中，将先验知识以权重的形式考虑进去，有效得加快损失函数的收敛速度，缩短训练周期，同时提升融合效果。
在本实施例中，对于构建的检测视觉检测系统，障碍物检测通过如下方法完成：使用保存到本地的模型，对于图像中的物体进行传统目标检测识别；结合IMU惯性传感器的数据，输出障碍物信息种类。
在本实施例中，通过多维数据输入通过如下步骤完成：
(1)对于特定区域，通过提取一致性特征信息进行特征级的信息融合，将激光雷达与视觉摄像头的检测信息记录到本地；
(2)参考图3为本发明的激光雷达与摄像头数据同步时的方法，其描述了利用时间轴事件来进行两种信息同步的方案，即以固定时间间隔向系统回传各传感器数据，根据时间戳将其进行同步，以固定时间间隔进行一次同步操作；
在本实施例中，障碍物判断的方法为：
将输出的障碍物置信度设为truth.将阈值设为top_threshold，这里我们采用行进中的动态判断方法，在每一个瞬间，存在以下两种情况：
若truth>top_threshold，则判断相关方位以及相关角度上存在障碍物；
若truth<top_threshold，则判断该地可能由于误解或其他情况错误判断了障碍物的存在，判断其没有障碍物。
在本实施例中，考虑到行车过程中的物体方位信息是不断变化的，需进行动态的信息判定方法，其通过以下方法完成：
由于车辆在行进过程中的角度与方位是不断发生变化的，所以每一瞬间的融合结果也不断发生变化，存在以下两种情况：
若行进过程中，某一地点的障碍物融合判断输出阈值发生变化，从小于阈值变为大于阈值，或从大于阈值变为小于阈值，则重新判定障碍物，方法与之相同；
如果某一地点的障碍物一直未发生变化，则车辆不更新判断结果，继续按照之前的结果进行输出。
本实施例还提供了矿场低照度下激光与视觉信息冗余的评价系统，包括：物理信息获取模块、物体种类获取模块和评价模块；物理信息获取模块，用于获取环境激光点云图像，基于环境激光点云图像，生成障碍物的物理信息，其中，物理信息包括：物体位置、物体速度与物体尺寸；物体种类获取模块，用于获取环境二维图像,基于环境二维图像，生成障碍物的物体种类；评价模块，用于构建并训练置信度评价模型，将物理信息和环境二维图像的图像数据输入训练后的置信度评价模型，获取障碍物的多维判定结果。
需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本实施例还公开了一种计算机可读地存储介质，可读存储介质中包括计算机可执行指令，可执行指令被执行时用于上述矿场低照度下激光与视觉信息冗余的评价方法。
本领域内的技术人员应明白，本实施例可提供为方法、系统、或计算机程序产品。因此，本实施例采用结合软件和硬件方面的实施例的形式。而且，本实施例可采用包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本实施例是参照根据本实施例实施的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的系统。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上可以执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
基于同一发明构思，本实施例还提供了一种车辆激光雷达与摄像头搭载方法，包括车辆主体视觉摄像头以及顶部激光雷达。所述车辆运行时采用的避障方法与策略实现如上任意实施例所述的方法。
图5是出了本实施例所提供的一种更为具体的车辆激光雷达与视觉摄像头搭载方法，该车辆可以包括车辆主体、四周摄像头、位于顶部的激光雷达。其彼此之间通过常规通信方法来实现设备内部的通信连接；所述激光雷达设置在车辆的车顶部正中位置，所述视觉摄像头设置在车辆的前后玻璃头部正中位置以及左右车门正中位置。
该搭载方法还包括：处理器和不同类型的多个传感器；所述不同类型的多个传感器，被配置为采集得到感知数据；
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，包括：
获取环境激光点云图像，基于所述环境激光点云图像，生成障碍物的物理信息，其中，所述物理信息包括：物体位置、物体速度与物体尺寸；
获取环境二维图像,基于所述环境二维图像，利用视觉检测系统初步生成所述障碍物的物体种类；
构建并训练置信度评价模型，将所述物理信息和初步判断的障碍物种类结果输入训练后的所述置信度评价模型，获取所述障碍物的多维判定结果。
2.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，基于所述环境二维图像数据，生成所述障碍物的物体种类包括：
基于激光雷达装置回传的画面信息与特征位置点，建立所述环境激光点云图像，通过目标检测算法对所述环境激光点云图像中的障碍物进行检测，生成所述物理信息。
3.根据权利要求2所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，通过目标检测算法对所述环境激光点云图像中的障碍物进行检测，生成所述物理信息包括：
利用选择框框选所述环境激光点云图像中的障碍物，从而获得位置以及尺寸状态信息
基于前一帧的障碍物状态，利用3D卡尔曼滤波预测当前帧的障碍物的目标状态，获取预测结果；
通过数据关联方案将所述位置以及尺寸状态信息与所述预测结果进行匹配，根据匹配结果，利用所述3D卡尔曼滤波更新所述目标状态，结合传感装置，生成所述物理信息。
4.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，基于所述环境二维图像数据，利用视觉检测系统初步生成所述障碍物的物体种类包括：
基于深度学习的目标检测算法，通过yoloV3作为基本骨架构建检测网络；
获取矿场训练集，对所述矿场训练集进行噪声添加处理，通过噪声添加处理后的所述矿场训练集训练所述检测网络；
将所述环境二维图像输入训练后的所述检测网络，并根据所述障碍物的特定方位，生成所述物体种类。
5.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，所述物体位置包括：所述障碍物在X轴、Y轴以及Z轴的位置；
其中，坐标系X轴正方向为车辆的直前方，坐标系Y轴正方向为车辆的正右侧，坐标系Z轴正方向为竖直向上方向，坐标系的原点位于车辆的车身正中位置，原点距地面高度为零。
6.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，所述物体速度包括：所述障碍物沿X轴的速度和所述障碍物沿Y轴的速度。
7.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，所述物体尺寸包括：所述障碍物的长度、宽度和高度；
其中，所述物体尺寸为激光雷达装置和摄像头硬件采集的所述物体尺寸的平均值。
8.根据权利要求1所述的矿场低照度下激光与视觉信息冗余的评价方法，其特征在于，所述置信度评价模型包括：
输入层、低层卷积层、残差层、高层卷积层以及输出层；
所述输入层，用于根据所述物理信息和所述图像数据生成多维数据向量；
所述低层卷积层，用于根据所述多维数据向量进行卷积操作来生成特征初步结果；
所述残差层，用于将所述特征初步结果映射给所述高层卷积层；
所述高层卷积层，用于通过深度卷积结合所述残差层的映射结果，提取特征信息；
所述输出层，用于将所述特征信息进行特征图提取，映射到样本标记空间；所述输出层通过映射到样本标记空间的特征图提取结果，生成所述障碍物的多维判定结果。
9.矿场低照度下激光与视觉信息冗余的评价系统，其特征在于，包括：
物理信息获取模块、物体种类获取模块和评价模块；
所述物理信息获取模块，用于获取环境激光点云图像，基于所述环境激光点云图像，生成障碍物的物理信息，其中，所述物理信息包括：物体位置、物体速度与物体尺寸；
所述物体种类获取模块，用于获取环境二维图像,基于所述环境二维图像，生成所述障碍物的物体种类；
所述评价模块，用于构建并训练置信度评价模型，将所述物理信息和所述环境二维图像的图像数据输入训练后的所述置信度评价模型，获取所述障碍物的多维判定结果。
10.一种存储介质，其特征在于，包括：所述存储介质中包括计算机可执行指令，所述可执行指令被执行时，应用于上述权利要求1-8任一项所述的矿场低照度下激光与视觉信息冗余的评价方法。
CN202310555319.XA 2023-05-16 2023-05-16 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质 Pending CN116819554A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310555319.XA CN116819554A (zh) 2023-05-16 2023-05-16 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310555319.XA CN116819554A (zh) 2023-05-16 2023-05-16 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质

Publications (1)

Publication Number Publication Date
CN116819554A true CN116819554A (zh) 2023-09-29

Family

ID=88119379

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310555319.XA Pending CN116819554A (zh) 2023-05-16 2023-05-16 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质

Country Status (1)

Country Link
CN (1) CN116819554A (zh)

Similar Documents

Publication Publication Date Title
US20230054914A1 (en) Vehicle localization
CN110097553B (zh) 基于即时定位建图与三维语义分割的语义建图系统
CN110349250B (zh) 一种基于rgbd相机的室内动态场景的三维重建方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN106845547B (zh) 一种基于摄像头的智能汽车定位与道路标识识别系统及方法
CN101701818B (zh) 远距离障碍的检测方法
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN110765922A (zh) 一种agv用双目视觉物体检测障碍物系统
CN108027877A (zh) 用于非障碍区检测的系统和方法
CN112508985B (zh) 一种基于语义分割的slam回环检测改进方法
CN111611853A (zh) 一种传感信息融合方法、装置及存储介质
CN115049700A (zh) 一种目标检测方法及装置
CN113903011A (zh) 一种适用于室内停车场的语义地图构建及定位方法
CN115936029B (zh) 一种基于二维码的slam定位方法及装置
CN112800938B (zh) 无人驾驶车辆检测侧面落石发生的方法及装置
WO2022062480A1 (zh) 移动设备的定位方法和定位装置
CN117058646B (zh) 基于多模态融合鸟瞰图的复杂道路目标检测方法
CN117576652B (zh) 道路对象的识别方法、装置和存储介质及电子设备
CN115830265A (zh) 一种基于激光雷达的自动驾驶运动障碍物分割方法
CN113688738A (zh) 一种基于激光雷达点云数据的目标识别系统及方法
CN106650814B (zh) 一种基于车载单目视觉室外道路自适应分类器生成方法
CN117671617A (zh) 一种集装箱港口环境下的实时车道识别方法
CN117036484A (zh) 一种基于几何和语义的视觉定位与建图方法、系统、设备及介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN116819554A (zh) 矿场低照度下激光与视觉信息冗余的评价方法、系统和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination