CN117456501A - 使用传感器对摄像头进行补充的自动驾驶方法和系统 - Google Patents

使用传感器对摄像头进行补充的自动驾驶方法和系统 Download PDF

Info

Publication number
CN117456501A
CN117456501A CN202311262555.9A CN202311262555A CN117456501A CN 117456501 A CN117456501 A CN 117456501A CN 202311262555 A CN202311262555 A CN 202311262555A CN 117456501 A CN117456501 A CN 117456501A
Authority
CN
China
Prior art keywords
scene
radar
image
camera
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311262555.9A
Other languages
English (en)
Inventor
陈睿
马亮
郭星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Space Research Institute
Original Assignee
Data Space Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Data Space Research Institute filed Critical Data Space Research Institute
Priority to CN202311262555.9A priority Critical patent/CN117456501A/zh
Publication of CN117456501A publication Critical patent/CN117456501A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及自动驾驶和图像识别技术领域，尤其是一种使用传感器对摄像头进行补充的自动驾驶方法和系统。本发明提出的一种使用传感器对摄像头进行补充的自动驾驶方法，结合摄像头拍摄图像判断场景和障碍物距离，选择目标雷达，启动目标雷达获取雷达点云图；将拍摄图像和雷达点云图输入障碍物识别模型，获取障碍物识别模型输出的障碍物识别结果。本发明提出的使用传感器对摄像头进行补充的自动驾驶方法，可以达到一个相对的平衡，获得较高的平均精度和相对较低的时间消耗。

Description

使用传感器对摄像头进行补充的自动驾驶方法和系统
技术领域
本发明涉及自动驾驶和图像识别技术领域，尤其是一种使用传感器对摄像头进行补充的自动驾驶方法和系统。
背景技术
自动驾驶是当前社会的研究热点，自动驾驶中不可或缺的一部分就是对道路情况的自动识别判断。机器识别主要有摄像头图像识别和雷达点云识别两个方向，但是两者各有各的缺点，因此有人提出将两者结合，但是两种数据差别较大，如何实现数据融合并取得理想的效果，目前还没有定论。
传统的深度融合方法使用外部校准矩阵，将所有激光雷达点直接投射到相应的像素熵。然而，由于噪声的存在，这种逐个像素的排列方式不够准确。目前的研究工作使用直观的方法来融合跨模式的数据，如串联和元素的乘法。这些简单的操作无法融合分布差异较大的数据，很难弥合两种模式之间的语义差距。一些工作试图使用更精简的速率的级联结构来融合数据并提高性能，然而，这些方法的算法的复杂度方法的复杂性太高了，这往往会导致所使用的算力的增加。而且对于恶劣天气，以上方法难以克服天气干扰，识别精度很不理想。
发明内容
为了克服上述现有技术中无法解决摄像数据和雷达数据融合的缺陷，本发明提出了一种使用传感器对摄像头进行补充的自动驾驶方法，可实现计算效率和精度的平衡，适用性更广。
本发明提出的一种使用传感器对摄像头进行补充的自动驾驶方法，包括以下步骤：
S1、设定四种场景：正常、过曝、遮挡和雨雾；构建障碍物识别模型，其输入为拍摄图像和雷达点云图，其输出为障碍物识别结果；
S2、结合摄像头拍摄图像判断场景和障碍物距离，选择目标雷达，启动目标雷达获取雷达点云图；
S3、将拍摄图像和雷达点云图输入障碍物识别模型，获取障碍物识别模型输出的障碍物识别结果。
优选的，S2中定义障碍物距离大于设定值时标注为远距离，障碍物距离小于或者等于设定距离时标注为近距离；场景和障碍物距离与雷达的映射关系为：
过曝场景且近距离时，选择超声波雷达；
过曝场景且远距离时，选择毫米波雷达；
遮挡场景且近距离时，选择超声波雷达；
遮挡场景且远距离时，选择激光雷达；
雨雾场景时，选择毫米波雷达或者激光雷达。
优选的，S1还包括统计过曝、遮挡、雨雾三种场景的场景特征；场景特征的统计方式为：选择多个环境，在同一个环境下获取过曝、遮挡、雨雾三种不同场景下的拍摄图像作为一组样本；在样本中的拍摄图像上绘制同心圆，画一条由圆心向外延伸的直线，取直线与每一个同心圆的交点，获取各交点的Shapley值，获取样本中各拍摄图像上由圆心向外各交点的Shapley值的变化趋势；统计所有样本中各场景下拍摄图像的Shapley值的变化趋势，提取与场景相关的Shapley值的变化趋势特征作为场景特征；
S2中结合拍摄图像判定场景的方法为：在拍摄图像上绘制同心圆和由圆心向外延伸的直线，获取由圆心向外各交点的Shapley值的变化趋势作为参照特征，获取与参照特征相似度最高的场景特征对应的场景作为拍摄图像的场景识别结果。
优选的，拍摄图像上以最靠近中心点的shapley值为0的点作为圆心，绘制同心圆。
优选的，拍摄图像上绘制同心圆均采用相同的同心圆半径比例。
优选的，障碍物识别模型包括特征提取模块、解释器模块和融合模块；特征提取模块用于提取拍摄图像的图像特征；解释器模块的输入连接特征提取模块的输出，解释器模块用于对特征提取模块输出的图像特征进行解释并输出特征解释结果；融合模块的输入分别连接障碍物识别模块的输入和解释器模块的输出，融合模块的输入为目标雷达输出的雷达点云图和解释器模块输出的特征解释结果，融合模块的输出为拍摄图像识别结果。
优选的，障碍物识别模型的获取包括以下步骤：
SA1、获取预训练的特征提取模块，基于神经网络构建解释器模块，构建重投影矩阵模型作为融合模块；结合特征提取模块、解释器模块和融合模块构成障碍物识别模型；构建学习样本{拍摄图像，雷达点云图；障碍物识别结果}；拍摄图像标注有场景和远/近距离，雷达点云图由拍摄图像对应的目标雷达提供；
SA2、令障碍物识别模型对学习样本进行机器学习，学习过程中对解释器模块进行参数训练，直至障碍物识别模型收敛。
优选的，从预训练的VGG-16网络中提取前7层网络作为特征提取模块。
本发明提出的一种自动驾驶系统，包括摄像头、激光雷达、毫米波雷达、超声波雷达和控制处理模块，控制处理模块分别连接摄像头、激光雷达、毫米波雷达和超声波雷达；控制处理模块中加载有障碍物识别模型；控制处理模块用于实现所述的使用传感器对摄像头进行补充的自动驾驶方法。
本发明提出的一种自动驾驶系统，存储有计算机程序和障碍物识别模型，所述计算机程序被执行时用于实现所述的使用传感器对摄像头进行补充的自动驾驶方法。本发明的优点在于：
(1)本发明提出一种使用传感器对摄像头进行补充的自动驾驶方法，可以使自动驾驶能够准确地在一些难以识别的场景(如：曝光过度，遮挡，和雨雾情况)下顺利区分前后景，并节省自动驾驶的计算能力。
(2)本发明主要利用多传感器融合的方法对摄像头难以识别的场景进行辅助识别，通过可解释性学习的理论对神经网络的识别情况进行分析，将所得的拍摄图像进行特征提取，根据特征差异选择相应的辅助传感器，帮助识别。本发明可以降低神经网络的参数堆叠，起到节省算力的作用，同时还提高了计算效率，并保证了计算精度。
附图说明
图1为拍摄图像上同心圆绘制示意图；
图2(a)为某一环境处于过曝场景下的拍摄图像的Shapley值变化趋势；
图2(b)为图2(a)环境处于遮挡场景下的拍摄图像的Shapley值变化趋势；
图2(c)为图2(a)环境处于雨雾场景下的拍摄图像的Shapley值变化趋势；
图3(a)为另一环境处于过曝场景下的拍摄图像的Shapley值变化趋势；
图3(b)为图3(a)环境处于遮挡场景下的拍摄图像的Shapley值变化趋势；
图3(c)为图3(a)环境处于雨雾场景下的拍摄图像的Shapley值变化趋势；
图4为场景、距离与雷达的对应关系；
图5为使用传感器对摄像头进行补充的自动驾驶方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
场景判断方法
本实施方式中，设定四种场景：正常、过曝、遮挡和雨雾；过曝、遮挡和雨雾情况下结合指定的雷达提供的雷达点云图进行障碍物识别。过曝指的是阳光导致物体过曝的场景，遮挡指的是发生物体遮挡的场景，雨雾指的是雨雾天气下导致前景模糊的场景。
本实施方式中，首先获取过曝、遮挡和雨雾三种场景下的拍摄图像，然后提取各拍摄图像的Shapley值变化趋势，统计同一场景下的拍摄图像的Shapley值变化趋势的特征作为场景特征；对于待识别场景的拍摄图像提取Shapley值变化趋势作为参照特征，获取与参照特征相似度最高的场景特征对应的场景作为待识别场景的拍摄图像的场景识别结果。
参照图1，本实施方式中，获取拍摄图像的Shapley值变化趋势的方式为：首先在拍摄图像上以最靠近中心点的shapley值为0的点作为圆心，绘制同心圆，画一条由圆心向外延伸的直线，取直线与每一个同心圆的交点，获取各交点的Shapley值，获取拍摄图像上由圆心向外各交点的Shapley值的变化趋势作为拍摄图像的Shapley值变化趋势。
本实施方式中，场景特征的统计方式为：选择多个环境，在同一个环境下获取过曝、遮挡、雨雾三种不同场景下的拍摄图像作为一组样本；获取样本中各拍摄图像的Shapley值变化趋势；统计所有样本中各场景下拍摄图像的Shapley值变化趋势，提取与场景相关的Shapley值的变化趋势特征作为场景特征。如此，选择相同环境，保证了样本中不同场景下的拍摄图像的内容相同，可避免由于拍摄图像的内容造成的Shapley值变化趋势的差异。
具体实施时，可进一步确定同心圆的半径比例，如此拍摄图像上绘制同心圆均采用相同的同心圆半径比例，有利于进一步提高根据Shapley值变化趋势判定场景的精确性。
本实施例中，统计获得过曝场景对应的场景特征为Shapley值变化趋势呈现上升趋势，如图2(a)和图3(a)所示；遮挡场景对应的场景特征为Shapley值变化趋势具有至少一个急促上升趋势，如图2(b)和图3(b)所示；雨雾场景对应的场景特征为Shapley值变化趋势较为平缓，如图2(c)和图3(c)所示。其中图2(a)、图2(b)和图2(c)为同一环境中不同场景下的拍摄图像的Shapley值变化趋势，图3(a)、图3(b)和图3(c)为同一环境中不同场景下的拍摄图像的Shapley值变化趋势。
障碍物识别模型及其训练方法
本实施方式中提出障碍物识别模型包括特征提取模块、解释器模块和融合模块。
特征提取模块用于提取拍摄图像的图像特征。具体的，从预训练的VGG-16网络中提取前7层网络作为特征提取模块。
解释器模块的输入连接特征提取模块的输出，解释器模块用于对特征提取模块输出的图像特征进行解释并输出特征解释结果。本实施方式中，基于神经网络构建解释器模块。
融合模块的输入分别连接障碍物识别模块的输入和解释器模块的输出，融合模块的输入为目标雷达输出的雷达点云图和解释器模块输出的特征解释结果，融合模块的输出为拍摄图像识别结果。本实施方式中，构建重投影矩阵模型作为融合模块。
本实施方式中，特征提取模块为预训练网络；障碍物识别模型对学习样本进行机器学习，以训练解释器模块，直至障碍物识别模型收敛。具体的，学习样本为{拍摄图像，雷达点云图；障碍物识别结果}；拍摄图像标注有场景和远/近距离，雷达点云图由拍摄图像对应的目标雷达提供。
参照图4，本实施方式中，定义障碍物距离大于设定值时标注为远距离，障碍物距离小于或者等于设定距离时标注为近距离；具体的，定设定值为3m，障碍物距离小于或者等于3米时，标注为近距离；障碍物距离大于3米时，标注为远距离。场景和障碍物距离与雷达的映射关系为：对于由光晕引起的过曝情况而言，近距离时，我们可以首选超声波雷达辅助，远距离时，毫米波雷达的识别速度会比激光雷达的3D点云形成速度快，所以远距离时可以优选毫米波雷达作为辅助。对于由轮廓感引起的遮挡情况而言，近距离时，可以首选超声波雷达辅助，远距离时，可以选择形成3D点云的激光雷达作为辅助传感器。对于雨雾天气下的纹理抖动模糊现象，我们可以优先选择识别速度较快的毫米波雷达进行辅助，其次选择可形成3D点云的激光雷达进行辅助。
参照图5，本实施方式提出的使用传感器对摄像头进行补充的自动驾驶方法，包括以下步骤：
S1、设定四种场景：正常、过曝、遮挡和雨雾；构建障碍物识别模型，其输入为拍摄图像和雷达点云图，其输出为障碍物识别结果；
S2、结合摄像头拍摄图像判断场景和障碍物距离，选择目标雷达，启动目标雷达获取雷达点云图；
S3、将拍摄图像和雷达点云图输入障碍物识别模型，获取障碍物识别模型输出的障碍物识别结果。
以下结合具体实施例，对上述的使用传感器对摄像头进行补充的自动驾驶方法进行阐述。
本实施例中，采用数据集ImageNet50对VGG-16网络进行训练，从收敛后的VGG-16网络中提取前7层作为特征提取模块。然后构建200个学习样本{拍摄图像，雷达点云图；障碍物识别结果}，将200个学习样本作为训练集，令障碍物识别模型对训练集进行学习，以训练解释器模块，直至障碍物识别模型收敛。
本实施例中，首先验证障碍物遮挡模型在恶劣天气即雨雾和过曝下的识别精度，具体在DENSE数据集上验证本发明提供的障碍物识别模型与多个对比算法进行验证。对比算法包括用于二维检测的DSNet算法、RetinaNet算法和AOD-Net算法以及用于三维融合检测的PointNet算法、PointNet++算法和FUSION-SSD算法，验证结果如表1所示，其中ours为本发明提出的使用传感器对摄像头进行补充的自动驾驶方法的简称。
表1在DENSE数据集上进行恶劣天气的验证结果
本实施例中，对于遮挡情况，采用COCO数据集对障碍物识别模型进行验证，且对比算法包括用于实现二维检测的SSD、R-FCN和FPN-FRCN以及用于实现三维融合检测的C-YOLO、MV3D和BirdNet+，验证结果参见下表2。
表2在COCO数据集上进行遮挡场景的验证结果。
结合表1表2可知，使用二维检测方法的耗时和计算量较小，但准确率也较小。使用三维融合检测的模型的识别精度比二维检测的要高得多，但相比之下，它更耗时。本发明提出的使用传感器对摄像头进行补充的自动驾驶方法，可以达到一个相对的平衡，获得较高的平均精度和相对较低的时间消耗。
当然，对于本领域技术人员而言，本发明不限于上述示范性实施例的细节，而还包括在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现的相同或类似结构。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
本发明未详细描述的技术、形状、构造部分均为公知技术。

Claims (10)

1.一种使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，包括以下步骤：
S1、设定四种场景：正常、过曝、遮挡和雨雾；构建障碍物识别模型，其输入为拍摄图像和雷达点云图，其输出为障碍物识别结果；
S2、结合摄像头拍摄图像判断场景和障碍物距离，选择目标雷达，启动目标雷达获取雷达点云图；
S3、将拍摄图像和雷达点云图输入障碍物识别模型，获取障碍物识别模型输出的障碍物识别结果。
2.如权利要求1所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，S2中定义障碍物距离大于设定值时标注为远距离，障碍物距离小于或者等于设定距离时标注为近距离；场景和障碍物距离与雷达的映射关系为：
过曝场景且近距离时，选择超声波雷达；
过曝场景且远距离时，选择毫米波雷达；
遮挡场景且近距离时，选择超声波雷达；
遮挡场景且远距离时，选择激光雷达；
雨雾场景时，选择毫米波雷达或者激光雷达。
3.如权利要求1所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，S1还包括统计过曝、遮挡、雨雾三种场景的场景特征；场景特征的统计方式为：选择多个环境，在同一个环境下获取过曝、遮挡、雨雾三种不同场景下的拍摄图像作为一组样本；在样本中的拍摄图像上绘制同心圆，画一条由圆心向外延伸的直线，取直线与每一个同心圆的交点，获取各交点的Shapley值，获取样本中各拍摄图像上由圆心向外各交点的Shapley值的变化趋势；统计所有样本中各场景下拍摄图像的Shapley值的变化趋势，提取与场景相关的Shapley值的变化趋势特征作为场景特征；
S2中结合拍摄图像判定场景的方法为：在拍摄图像上绘制同心圆和由圆心向外延伸的直线，获取由圆心向外各交点的Shapley值的变化趋势作为参照特征，获取与参照特征相似度最高的场景特征对应的场景作为拍摄图像的场景识别结果。
4.如权利要求3所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，拍摄图像上以最靠近中心点的shapley值为0的点作为圆心，绘制同心圆。
5.如权利要求4所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，拍摄图像上绘制同心圆均采用相同的同心圆半径比例。
6.如权利要求1所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，障碍物识别模型包括特征提取模块、解释器模块和融合模块；特征提取模块用于提取拍摄图像的图像特征；解释器模块的输入连接特征提取模块的输出，解释器模块用于对特征提取模块输出的图像特征进行解释并输出特征解释结果；融合模块的输入分别连接障碍物识别模块的输入和解释器模块的输出，融合模块的输入为目标雷达输出的雷达点云图和解释器模块输出的特征解释结果，融合模块的输出为拍摄图像识别结果。
7.如权利要求6所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，障碍物识别模型的获取包括以下步骤：
SA1、获取预训练的特征提取模块，基于神经网络构建解释器模块，构建重投影矩阵模型作为融合模块；结合特征提取模块、解释器模块和融合模块构成障碍物识别模型；构建学习样本{拍摄图像，雷达点云图；障碍物识别结果}；拍摄图像标注有场景和远/近距离，雷达点云图由拍摄图像对应的目标雷达提供；
SA2、令障碍物识别模型对学习样本进行机器学习，学习过程中对解释器模块进行参数训练，直至障碍物识别模型收敛。
8.如权利要求7所述的使用传感器对摄像头进行补充的自动驾驶方法，其特征在于，从预训练的VGG-16网络中提取前7层网络作为特征提取模块。
9.一种采用如权利要求2-8任一项所述的使用传感器对摄像头进行补充的自动驾驶方法的自动驾驶系统，其特征在于，包括摄像头、激光雷达、毫米波雷达、超声波雷达和控制处理模块，控制处理模块分别连接摄像头、激光雷达、毫米波雷达和超声波雷达；控制处理模块中加载有障碍物识别模型；控制处理模块用于实现如权利要求2-8任一项所述的使用传感器对摄像头进行补充的自动驾驶方法。
10.一种自动驾驶系统，其特征在于，存储有计算机程序和障碍物识别模型，所述计算机程序被执行时用于实现如权利要求1-8任一项所述的使用传感器对摄像头进行补充的自动驾驶方法。
CN202311262555.9A 2023-09-27 2023-09-27 使用传感器对摄像头进行补充的自动驾驶方法和系统 Pending CN117456501A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311262555.9A CN117456501A (zh) 2023-09-27 2023-09-27 使用传感器对摄像头进行补充的自动驾驶方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311262555.9A CN117456501A (zh) 2023-09-27 2023-09-27 使用传感器对摄像头进行补充的自动驾驶方法和系统

Publications (1)

Publication Number Publication Date
CN117456501A true CN117456501A (zh) 2024-01-26

Family

ID=89580730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311262555.9A Pending CN117456501A (zh) 2023-09-27 2023-09-27 使用传感器对摄像头进行补充的自动驾驶方法和系统

Country Status (1)

Country Link
CN (1) CN117456501A (zh)

Similar Documents

Publication Publication Date Title
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN111222395B (zh) 目标检测方法、装置与电子设备
CN108596961B (zh) 基于三维卷积神经网络的点云配准方法
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN112052860A (zh) 一种三维目标检测方法及系统
CN113935428A (zh) 基于图像识别的三维点云聚类识别方法及系统
CN113761999A (zh) 一种目标检测方法、装置、电子设备和存储介质
CN113192182A (zh) 一种基于多传感器的实景重建方法及系统
TWI745204B (zh) 基於深度學習之高效率光達物件偵測方法
CN112562093A (zh) 目标检测方法、电子介质和计算机存储介质
CN112683228A (zh) 单目相机测距方法及装置
CN115147328A (zh) 三维目标检测方法及装置
CN112613450A (zh) 一种增强在困难样本上表现的3d目标检测方法
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
CN116503760A (zh) 基于自适应边缘特征语义分割的无人机巡航检测方法
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN116310902A (zh) 一种基于轻量级神经网络的无人机目标检测方法及系统
CN115862000A (zh) 目标检测方法、装置、车辆及存储介质
CN117456501A (zh) 使用传感器对摄像头进行补充的自动驾驶方法和系统
CN115249269A (zh) 目标检测方法、计算机程序产品、存储介质及电子设备
CN111008555B (zh) 一种无人机图像弱小目标增强提取方法
CN115953589B (zh) 一种基于深度相机的发动机缸体孔径尺寸测量方法
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination