CN110929692B - 一种基于多传感器信息融合的三维目标检测方法及装置 - Google Patents

一种基于多传感器信息融合的三维目标检测方法及装置 Download PDF

Info

Publication number
CN110929692B
CN110929692B CN201911269486.8A CN201911269486A CN110929692B CN 110929692 B CN110929692 B CN 110929692B CN 201911269486 A CN201911269486 A CN 201911269486A CN 110929692 B CN110929692 B CN 110929692B
Authority
CN
China
Prior art keywords
image
rgb
candidate frame
feature map
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911269486.8A
Other languages
English (en)
Other versions
CN110929692A (zh
Inventor
朱明�
王佳荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Original Assignee
Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Institute of Optics Fine Mechanics and Physics of CAS filed Critical Changchun Institute of Optics Fine Mechanics and Physics of CAS
Priority to CN201911269486.8A priority Critical patent/CN110929692B/zh
Publication of CN110929692A publication Critical patent/CN110929692A/zh
Application granted granted Critical
Publication of CN110929692B publication Critical patent/CN110929692B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多传感器信息融合的三维目标检测方法、装置、设备及计算机可读存储介质，包括：融合激光雷达与摄像头传感器采集到的3D点云与RGB图像，生成RGB‑I图像；根据3D点云生成多通道鸟瞰图，从而确定感兴趣区域；基于卷积神经网络分别提取并融合RGB‑I图像与鸟瞰图的感兴趣区域特征；利用多层感知机基于感兴趣区域特征融合图像预测目标的置信度、大致位置及尺寸，确定候选框；基于注意力机制自适应赋予不同传感器候选框特征图不同的像素权重，进行跳跃式融合；利用多层感知机处理候选框特征融合图像，输出三维检测结果。本发明所提供的方法、装置、设备及计算机可读存储介质，提高了目标识别率，可获得目标精确定位。

Description

一种基于多传感器信息融合的三维目标检测方法及装置
技术领域
本发明涉及自动驾驶技术领域，特别是涉及一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质。
背景技术
以预防、智能为核心的自动驾驶技术已成为现代交通的迫切需求，解决智能车在复杂场景下多目标识别和三维定位，是三维环境感知的关键，是车辆安全、可靠行驶的前提。传统的单一传感器很难对场景中的动态或静态的目标进行及时和准确地识别与检测，则多传感器联合检测，优势互补是智能感知的趋势。目前，基于多传感器的三维目标检测技术仍存在源数据初始特征提取不充分；多模态数据匹配融合方式简单低效；复杂道路交通工况下，感知性能易受距离、形变、尺度变化、重叠、遮挡等因素的影响等难点。
综上所述可以看出，如何充分高效的利用多传感器信息，减少智能车在复杂场景下对目标的漏检、误检率，提高识别率同时实现检测目标的精确定位是目前有待解决的问题。
发明内容
本发明的目的是提供一种基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质，以解决现有技术中多模态数据匹配融合粗糙低效和复杂环境下三维目标无法精确识别和定位的问题。
为解决上述技术问题，本发明提供一种基于多传感器信息融合的三维目标检测方法，包括：分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
优选地，所述将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像包括：
通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；
将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；
将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，生成RGB-I图像。
优选地，所述利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像包括：
利用所述卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；
将所述感兴趣区域分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图；
将所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图调整至固定尺寸后进行融合，得到所述感兴趣区域特征融合图像。
优选地，所述基于注意力机制自适应地赋予多所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：
将所述候选框分别投影至所述RGB-I图像的特性图与所述鸟瞰图的特征图，得到所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图；
将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图调整至固定尺寸后，基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重；
完成候选框权重赋予后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像。
优选地，所述基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重包括：
采用全局平均池化操作对当前候选框特征图
Figure BDA0002313769490000031
依据空间维度H×W进行聚合，生成通道描述符Pavg∈R(C×1×1)；
利用预建多层感知器对所述通道描述符进行解码操作，得到一维注意力图；其中，所述预建多层感知器包括神经元为C/r×H×W的全连接层、ReLU函数、神经元为C×H×W的全连接层、sigmoid函数；
对所述一维注意力图进行整形操作后，得到元素注意图M∈R(C×H×W)；
将所述元素注意图与所述当前候选框特征图相乘后，得到对所述当前候选框特征图中每个元素进行赋值加权处理后的特征图；
其中，C、H、W分别为所述当前候选框特征图的通道数、高、宽；r为还原比。
优选地，所述对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：
将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图的均值分别输入第一全连接层与第二全连接层；
将所述第一全连接层的输出特征图与所述第二全连接层的输出特征图的均值分别输入第三全连接层与所述第四全连接层后，计算所述第三全连接层的输出特征图与所述第四全连接层的输出特征图的均值，得到中间特征图；
计算所述RGB-I图像的候选框特征图、所述鸟瞰图的候选框特征图与所述中间特征图的均值，得到所述候选框特征融合图像。
本发明还提供了一种基于多传感器信息融合的三维目标检测装置，包括：
第一融合模块，用于分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
确定模块，用于根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
第二融合模块，用于利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
筛选模块，用于利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
第三融合模块，用于基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
获取模块，用于利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
优选地，所述第一融合模块包括：
转换单元，用于通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；
第一投影单元，用于将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；
生成单元，用于将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，融合生成RGB-I图像。
本发明还提供了一种基于多传感器信息融合的三维目标检测设备，包括：
存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多传感器信息融合的三维目标检测方法的步骤。
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多传感器信息融合的三维目标检测方法的步骤。
本发明所提供的基于多传感器信息融合的三维目标检测方法，采用激光雷达与摄像头传感器采集预设环境区域内的3D点云与RGB图像。将所述3D点云与所述RGB图像进行融合，生成RGB-I图像。基于3D点云生成鸟瞰图，根据所述鸟瞰图确定感兴趣区域。利用卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像。利用多层感知机处理多幅感兴趣区域特征融合图像，以初步预测所述预设环境区域中的目标的置信度、位置与三维大小，生成候选框，并根据所述目标的置信度与所述预设置信度阈值，对所述候选框进行筛选根据所述RGB-I图像与所述鸟瞰图的特征图，确定所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图。利用注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的权重后，将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像。最后，利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。本发明所提供的方法，采用激光雷达和摄像头传感器，基于深度学习，对3D点云和RGB图像进行了多阶段互补、精细和有导向的融合。本发明突破了单一传感器的局限，并结合卷积神经网络、多层感知机、注意力机制等对多传感器数据进行分析、综合、平衡，根据多模态数据在时间和空间冗余或互补特性进行容错处理，扩大系统的时频覆盖范围和数据资源，得到更准确、更稳定、更关键的环境信息。本发明构建了智能多目标识别与三维定位方法，利用神经网络强大的自学习和特征提取能力对融合后的多传感器数据进行处理，解决了自动驾驶场景下目标密集、尺度跨度大、遮挡、实时检测等难点，提升识别率和定位精度，降低漏检、误检率。
附图说明
为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所提供的基于多传感器信息融合的三维目标检测方法的第一种具体实施例的流程图；
图2为本发明所提供的基于多传感器信息融合的三维目标检测方法的第二种具体实施例的流程图；
图3为本发明所提供的基于多传感器信息融合的三维目标检测方法的技术框图；
图4为所述注意力模块的结构示意图；
图5为RGB-I图像与鸟瞰图的候选框特征图跳跃式融合的示意图；
图6为本发明实施例提供的一种基于多传感器信息融合的三维目标检测装置的结构框图。
具体实施方式
本发明的核心是提供一种基于多传感器信息融合的三维目标检测的方法、装置、设备以及计算机可读存储介质，提高了自动驾驶场景下的目标识别率，并可精确定位目标。
为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，图1为本发明所提供的基于多传感器信息融合的三维目标检测方法的第一种具体实施例的流程图；具体操作步骤如下：
步骤S101：分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
步骤S102：根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
步骤S103：利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
步骤S104：利用多层感知机处理所述感兴趣区域特征融合图像，以预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
步骤S105：基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
步骤S106：利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
本实施例构建了智能多目标识别与三维定位方法，利用神经网络强大的自学习和特征提取能力对环境信息进行处理，解决了自动驾驶场景下目标密集、尺度跨度大、遮挡、实时检测等难点，提升识别率和定位精度，降低漏检、误检率。
基于上述实施例，在本实施例中，对获取所述RGB-I图像与所述鸟瞰图的感兴趣区域特征或候选框特征时，通过将所述感兴趣区域或所述候选框投影至所述RGB-I图像与所述鸟瞰图的特征图上获取。采用不同的多级全连接网络，实现所述RGB-I图像与所述鸟瞰图的感兴趣区域特征或候选框特征的融合。
请参考图2和图3，图2为本发明所提供的基于多传感器信息融合的三维目标检测方法的第二种具体实施例的流程图，图3为本发明所提供的基于多传感器信息融合的三维目标检测方法的技术框图；具体操作步骤如下：
步骤S201：分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
在预处理阶段，若全面融合原始数据层信息，则运算量较大，且信息冗余度高，严重影响算法效率。因此本实施例设计选择性融合以取代全局融合。根据激光雷达和摄像头之间的空间几何关系，创新性地将所述3D点云的反射强度信息添加到对应的RGB图像中，使图片具备更丰富的光谱信息。
在预融合时，通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系。其次，将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成。将转换坐标后的对应3D点的反射强度作为第四个通道，得到新颖的RGB-I表达形式，以很少的额外计算成本完成了选择性预融合。
通过下述公式：
Figure BDA0002313769490000091
Figure BDA0002313769490000092
将所述3D点云从三维激光雷达坐标系转换至相机坐标系，将所述相机坐标系下的3D点云投影至所述RGB图像；其中，(x,y,z)为激光雷达坐标系中的三维点坐标，(u,v)为对应于(x,y,z)的相机图像像素坐标；
Figure BDA0002313769490000093
为从激光雷达坐标系变换至相机坐标系的外参矩阵，由旋转矩阵
Figure BDA0002313769490000094
和平移矩阵
Figure BDA0002313769490000095
组成。Prect为将相机坐标系中的3D点转变成相机坐标系下的2D点的投影矩阵。
步骤S202：根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
在预处理阶段，基于原始激光雷达点云转换成六通道的的鸟瞰图(BEV，Bird EyeView)形式，采用锚机制基于BEV图生成感兴趣区域ROI(Region Of Interest)。即把探测范围内的三维空间划分为若干个三维矩形区域。本发明可以0.5m为采样间隔距离，每个采样点生成4个三维锚点，由2种尺度大小和2种长宽比例组成，以此匹配车、人、自行车等不同尺度的目标。
步骤S203：利用卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；
步骤S204：将所述感兴趣区域分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图；
步骤S205：将所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征与图调整至固定尺寸后进行融合，得到所述感兴趣区域特征融合图像；
在所述初步筛选阶段，利用卷积神经网络分别对RGB-I和鸟瞰图进行特征提取，得到具有强语义信息和高分辨的特征图。将预处理阶段预测得到的感兴趣区域分别投影到两个特征图上，经裁剪、缩放分别得到固定尺寸的代表不同传感器的感兴趣区域特征，将其拼接在一起以实现特征级的充分融合。
步骤S206：利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框筛选；
在初步筛选阶段，设计弱检测网络根据感兴趣区域融合特征实现初步预测。经预处理阶段融合后的特征分别经由两组网络分支进行三维边界框回归和二元分类。其中回归分支估计(ΔcX,ΔcY,ΔcZ,ΔdX,ΔdY,ΔdZ)，表示感兴趣区域和目标在中心点和尺寸之间的差异；分类分支预测感兴趣区域包含目标的概率，确定此区域是目标还是背景。根据预测出的回归量对感兴趣区域进行解码操作，生成相应候选框。结合预测的目标概率，利用非极大值抑制算法对候选框进行筛选。
步骤S207：将所述候选框分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图；
步骤S208：将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图调整至尺寸一致后，基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重；
在精细预测阶段，将初步筛选阶段预测得到的候选框分别投影RGB-I和鸟瞰图对应的特征图上，通过裁剪和缩放得到固定尺寸的推荐候选框特征。在目前的基于多传感器的方法中，代表不同传感器的候选框特征的权重在融合时是固定的，这不可避免地影响了关键信息的表达，限制了算法对各种情况的自适应能力。本实施例针对上述问题设计了注意力模块，通过对来自不同传感器数据的每个候选框特征图进行学习，判断其中每一像素的重要度和可信度，并依此赋权重值。即让注意力模型作为特征选择器，增加有用信息的贡献，抑制无用干扰，所述注意力模块的结构如图4所示。
注意力模块由编码部分和解码部分组成：针对候选框
Figure BDA0002313769490000111
Figure BDA0002313769490000112
首先使用全局平均池化操作对其按空间维度(H×W)进行聚合，生成通道描述符Pavg∈R(C×1×1)，完成候选框特征图编码操作。然后，使用全连接层和激活函数组成的多层感知器对其进行解码操作，得到一维(1D)注意力图。其中全连接层逐层增加尺寸，第一层神经元是(C/r×H×W)，后接ReLU函数。第二层神经元为(C×H×W)，后接sigmoid函数，其中r为还原比。最后对一维(1D)注意图进行整形操作，将其转换为元素注意图M∈R(C×H×W)，该元素注意图的维数与输入P相同。将其与P相乘，则实现了对输入候选框特征图的每个元素进行赋值加权处理，使处理后的特征富含关键且有效的目标信息。
步骤S209：完成候选框权重赋予后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
如图5所示，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合时，首先，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图求和取均值，使用两个独立的全连接层学习取均值之后的特征。然后，重复上述操作一次，得到中间输出。最后，创新性地应用跳过连接对原始输入和中间输出进行融合，即对所述RGB-I图像的候选框特征图、所述鸟瞰图的候选框特征图与所述中间输出的求和取均值，使最终的融合结果既包含清晰的原始信息又具有反复抽象后的特征。随后将其传递到一系列全连接层中，用于最终的精细预测。
步骤S210：利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
在精细预测阶段，设计强检测器基于融合后的候选框特征进行最终的精细预测。首先，将初步筛选阶段融合后的特征分别通过三个平行的全连接层进行处理，进行三维边界框精细回归、运动方向估计和类别分类。估计的方向由(cos(θ)，sin(θ))向量间接表示。三维边界框通过一个10维向量(Δx1…Δx4,Δy1…Δy4,Δh1,Δh2)进行编码，其分别表示从地面到底角的偏移量，在满足物理约束的同时减少了冗余。然后，利用非极大值抑制，根据预测的分类分数筛选出若干候选框，并将其基于预测出的回归量解码，得到最终的检测结果。
本实施例首先根据先验知识，对所述3D点云和所述RGB图像进行选择性的预融合，再基于融合数据预测出周围环境中的感兴趣区域；在初步筛选阶段，首先利用卷积神经网络模组对对预融合数据(RGB-I)和预处理数据(BEV)进行特征提取，然后将感兴趣区域对应的RGB-I和BEV特征区域进行充分融合，再根据融合特征进行目标三维大小和位置的初步预测，推荐多个候选框；在精细预测阶段，首先基于注意力机制，自适应地赋予来自不同传感器的候选框特征图不同的像素权重，再进行跳跃式融合。再根据融合的候选框特征图进行目标三维位置和尺寸细化、方向估计和类别分类，得到最终的三维检测结果。本实施例所设计的预处理阶段、初步筛选阶段、精细预测阶段采用级联形式，任务的难度和精细度逐阶提升，在各阶段分别采用特定的预融合、特征级融合、决策级融合方法和网络结构以配合不同的检测任务，使模型具有更好的鲁棒性和容错性，根据每个阶段融合后的数据分别进行进一步预测和学习，包括感兴趣区域生成、候选框推荐和预结果细化。融合和检测算法交替进行，嵌合在一起构成了一个端到端的兼具识别和三维定位功能的多传感器三维目标检测网络。本发明实施例可实时探测周围环境内的运动或静止目标物体(如汽车、行人、骑车人、树木、车道线等)的类别、三维位置和尺寸、运动方向等物理属性。
请参考图6，图6为本发明实施例提供的一种基于多传感器信息融合的三维目标检测装置的结构框图；具体装置可以包括：
第一融合模块100，用于分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
确定模块200，用于根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
第二融合模块300，用于利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
筛选模块400，用于利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
第三融合模块500，用于基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
获取模块600，用于利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
本实施例的基于多传感器信息融合的三维目标检测装置用于实现前述的基于多传感器信息融合的三维目标检测方法，因此基于多传感器信息融合的三维目标检测装置中的具体实施方式可见前文中的基于多传感器信息融合的三维目标检测方法的实施例部分，例如，第一融合模块100，确定模块200，第二融合模块300，筛选模块400，第三融合模块500，获取模块600，分别用于实现上述基于多传感器信息融合的三维目标检测方法中步骤S101，S102，S103，S104，S105和S106，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。
本发明具体实施例还提供了一种基于多传感器信息融合的三维目标检测设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现上述一种基于多传感器信息融合的三维目标检测方法的步骤。
本发明具体实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于多传感器信息融合的三维目标检测方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本发明所提供的基于多传感器信息融合的三维目标检测方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种基于多传感器信息融合的三维目标检测方法，其特征在于，包括：
分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
2.如权利要求1所述的方法，其特征在于，所述将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像包括：
通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；
将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；
将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，生成RGB-I图像。
3.如权利要求1所述的方法，其特征在于，所述利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像包括：
利用所述卷积神经网络分别提取所述RGB-I图像与所述鸟瞰图的特征，得到所述RGB-I图像的特征图与所述鸟瞰图的特征图；
将所述感兴趣区域分别投影至所述RGB-I图像的特征图与所述鸟瞰图的特征图，得到所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图；
将所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图调整至固定尺寸后进行融合，得到所述感兴趣区域特征融合图像。
4.如权利要求1所述的方法，其特征在于，所述基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：
将所述候选框分别投影至所述RGB-I图像的特性图与所述鸟瞰图的特征图，得到所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图；
将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图调整至固定尺寸后，基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重；
完成候选框权重赋予后，对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像。
5.如权利要求4所述的方法，其特征在于，所述基于所述注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重包括：
采用全局平均池化操作对当前候选框特征图
Figure FDA0002313769480000031
依据空间维度H×W进行聚合，生成通道描述符Pavg∈R(C×1×1)；
利用多层感知器对所述通道描述符进行解码操作，得到一维注意力图；其中，所述多层感知器包括神经元为C/r×H×W的全连接层、ReLU函数、神经元为C×H×W的全连接层、sigmoid函数；
对所述一维注意力图进行整形操作后，得到元素注意图M∈R(C×H×W)；
将所述元素注意图与所述当前候选框特征图相乘后，得到对所述当前候选框特征图中每个元素进行赋值加权处理后的特征图；
其中，C、H、W分别为所述当前候选框特征图的通道数、高、宽；r为还原比。
6.如权利要求4所述的方法，其特征在于，所述对加权处理后的所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像包括：
将所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图的均值分别输入第一全连接层与第二全连接层；
将所述第一全连接层的输出特征图与所述第二全连接层的输出特征图的均值分别输入第三全连接层与第四全连接层后，计算所述第三全连接层的输出特征图与所述第四全连接层的输出特征图的均值，得到中间特征图；
计算所述RGB-I图像的候选框特征图、所述鸟瞰图的候选框特征图与所述中间特征图的均值，得到所述候选框特征融合图像。
7.一种基于多传感器信息融合的三维目标检测装置，其特征在于，包括：
第一融合模块，用于分别获取智能车上安装的激光雷达与摄像头传感器采集到的预设环境区域内的3D点云与RGB图像，将所述RGB图像与所述3D点云中的反射率进行融合，生成RGB-I图像；
确定模块，用于根据所述3D点云生成鸟瞰图，并依据所述鸟瞰图确定感兴趣区域；
第二融合模块，用于利用卷积神经网络提取所述RGB-I图像与所述鸟瞰图的特征图后，获取并融合所述RGB-I图像的感兴趣区域特征图与所述鸟瞰图的感兴趣区域特征图，得到感兴趣区域特征融合图像；
筛选模块，用于利用多层感知机处理所述感兴趣区域特征融合图像，以初步预测所述预设环境区域中目标的置信度、三维大小与位置，生成候选框，并根据所述目标的置信度与预设置信度阈值，对所述候选框进行筛选；
第三融合模块，用于基于注意力机制自适应地赋予所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图不同的像素权重后，对所述RGB-I图像的候选框特征图与所述鸟瞰图的候选框特征图进行跳跃式融合，得到候选框特征融合图像；
获取模块，用于利用多层感知机对所述候选框特征融合图像进行处理，获取所述候选框特征融合图像中目标对象的类别、三维尺寸、三维位置与运动方向。
8.如权利要求7所述的装置，其特征在于，所述第一融合模块包括：
转换单元，用于通过根据所述激光雷达与所述摄像头传感器间的位置关系预先标定得到的外部参数，将所述3D点云从三维激光雷达坐标系转换至相机坐标系；
第一投影单元，用于将所述相机坐标系下的3D点云投影至所述RGB图像，确定所述3D点云的每个激光雷达点在所述RGB图像的对应位置；其中，每个位置的像素由R、G、B三个通道组成；
生成单元，用于将所述3D点云的每个激光雷达点的反射强度作为所述RGB图像中对应位置的第四通道，融合生成RGB-I图像。
9.一种基于多传感器信息融合的三维目标检测设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至6任一项所述一种基于多传感器信息融合的三维目标检测方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述一种基于多传感器信息融合的三维目标检测方法的步骤。
CN201911269486.8A 2019-12-11 2019-12-11 一种基于多传感器信息融合的三维目标检测方法及装置 Active CN110929692B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911269486.8A CN110929692B (zh) 2019-12-11 2019-12-11 一种基于多传感器信息融合的三维目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911269486.8A CN110929692B (zh) 2019-12-11 2019-12-11 一种基于多传感器信息融合的三维目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN110929692A CN110929692A (zh) 2020-03-27
CN110929692B true CN110929692B (zh) 2022-05-24

Family

ID=69860094

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911269486.8A Active CN110929692B (zh) 2019-12-11 2019-12-11 一种基于多传感器信息融合的三维目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN110929692B (zh)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11165462B2 (en) * 2018-11-07 2021-11-02 Samsung Electronics Co., Ltd. Motion assisted leakage removal for radar applications
CN111539291B (zh) * 2020-04-16 2022-08-26 创新奇智(合肥)科技有限公司 基于雷达波的目标检测方法及装置、电子设备、存储介质
CN111583337B (zh) * 2020-04-25 2023-03-21 华南理工大学 一种基于多传感器融合的全方位障碍物检测方法
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN111597959B (zh) * 2020-05-12 2023-09-26 盛景智能科技(嘉兴)有限公司 行为检测方法、装置及电子设备
EP4145338A4 (en) * 2020-05-13 2023-06-21 Huawei Technologies Co., Ltd. TARGET DETECTION METHOD AND APPARATUS
CN113705279B (zh) * 2020-05-21 2022-07-08 阿波罗智联(北京)科技有限公司 目标对象的位置识别的方法及装置
CN111626217B (zh) * 2020-05-28 2023-08-22 宁波博登智能科技有限公司 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111709923B (zh) * 2020-06-10 2023-08-04 中国第一汽车股份有限公司 一种三维物体检测方法、装置、计算机设备和存储介质
CN112001226B (zh) * 2020-07-07 2024-05-28 中科曙光(南京)计算技术有限公司 一种无人驾驶3d目标检测方法、装置及存储介质
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN111814764B (zh) * 2020-08-27 2023-08-18 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN112070838B (zh) * 2020-09-07 2024-02-02 洛伦兹（北京）科技有限公司 基于二维-三维融合特征的对象识别与定位方法及装置
CN112052860B (zh) * 2020-09-11 2023-12-01 中国人民解放军国防科技大学 一种三维目标检测方法及系统
CN112101222A (zh) * 2020-09-16 2020-12-18 中国海洋大学 一种基于无人艇多模态传感器的海面三维目标检测方法
CN113762001B (zh) * 2020-10-10 2024-04-19 北京京东乾石科技有限公司 一种目标检测方法、装置、电子设备和存储介质
CN112132829A (zh) * 2020-10-23 2020-12-25 北京百度网讯科技有限公司 车辆信息的检测方法、装置、电子设备和存储介质
CN112433193B (zh) * 2020-11-06 2023-04-07 山东产研信息与人工智能融合研究院有限公司 一种基于多传感器的模位置定位方法及系统
CN112329678B (zh) * 2020-11-12 2023-03-24 山东师范大学 一种基于信息融合的单目行人3d定位的方法
CN112434707B (zh) * 2020-11-14 2022-09-09 武汉中海庭数据技术有限公司 一种交通路口rpp点自动提取方法及装置
CN112560972B (zh) * 2020-12-21 2021-10-08 北京航空航天大学 基于毫米波雷达先验定位和视觉特征融合的目标检测方法
CN112580561B (zh) * 2020-12-25 2023-11-03 上海高德威智能交通系统有限公司 目标检测方法、装置、电子设备及存储介质
CN112699808B (zh) * 2020-12-31 2024-06-07 深圳市华尊科技股份有限公司 密集目标检测方法、电子设备及相关产品
CN112712129B (zh) * 2021-01-11 2024-04-19 深圳力维智联技术有限公司 多传感器融合方法、装置、设备及存储介质
CN112863183B (zh) * 2021-01-14 2022-04-08 深圳尚桥信息技术有限公司 一种交通流数据融合方法及系统
CN112434682B (zh) * 2021-01-27 2021-04-27 知行汽车科技（苏州）有限公司 基于多传感器的数据融合方法、装置及存储介质
CN112462373A (zh) * 2021-02-02 2021-03-09 聚时科技(江苏)有限公司 基于多传感器融合的船舱位检测方法
CN112819080B (zh) * 2021-02-05 2022-09-02 四川大学 一种高精度通用的三维点云识别方法
CN112990229A (zh) * 2021-03-11 2021-06-18 上海交通大学 多模态3d目标检测方法、系统、终端及介质
CN113011317B (zh) * 2021-03-16 2022-06-14 青岛科技大学 三维目标检测方法及检测装置
CN113095228B (zh) * 2021-04-13 2024-04-30 地平线(上海)人工智能技术有限公司 图像中的目标检测方法、装置及计算机可读存储介质
CN113110451B (zh) * 2021-04-14 2023-03-14 浙江工业大学 一种深度相机与单线激光雷达融合的移动机器人避障方法
CN113468947B (zh) * 2021-04-16 2023-07-18 中国民航科学技术研究院 一种多雷达站鸟情信息融合以及成像方法
CN113205515B (zh) * 2021-05-27 2023-04-18 上海高德威智能交通系统有限公司 目标检测方法、装置、及计算机存储介质
CN113255779B (zh) * 2021-05-28 2023-08-18 中国航天科工集团第二研究院 多源感知数据融合识别方法、系统及计算机可读存储介质
CN113435253B (zh) * 2021-05-31 2022-12-02 西安电子科技大学 一种多源影像联合城区地表覆盖分类方法
CN113240734B (zh) * 2021-06-01 2024-05-17 深圳市捷顺科技实业股份有限公司 一种基于鸟瞰图的车辆跨位判断方法、装置、设备及介质
CN113887349A (zh) * 2021-09-18 2022-01-04 浙江大学 一种基于图像和点云融合网络的道路区域图像识别方法
CN113902897B (zh) * 2021-09-29 2022-08-23 北京百度网讯科技有限公司 目标检测模型的训练、目标检测方法、装置、设备和介质
CN114092963B (zh) * 2021-10-14 2023-09-22 北京百度网讯科技有限公司 关键点检测及模型训练方法、装置、设备和存储介质
CN114264660A (zh) * 2021-12-03 2022-04-01 国网黑龙江省电力有限公司电力科学研究院 基于绿光激光成像的输电线路杆塔表面缺陷检测方法装置
CN114998856B (zh) * 2022-06-17 2023-08-08 苏州浪潮智能科技有限公司 一种多相机图像的3d目标检测方法、装置、设备及介质
CN115041771B (zh) * 2022-07-04 2023-03-31 华威焊割科技(浙江)有限公司 自动行进管道焊接和切割一体式加工设备及其控制方法
CN115131619B (zh) * 2022-08-26 2022-11-22 北京江河惠远科技有限公司 基于点云和图像融合的特高压零件分拣方法和系统
CN115436910B (zh) * 2022-08-31 2024-05-03 苏州轻棹科技有限公司 一种对激光雷达点云进行目标检测的数据处理方法和装置
CN116416586B (zh) * 2022-12-19 2024-04-02 香港中文大学（深圳） 基于rgb点云的地图元素感知方法、终端及存储介质
CN115861601B (zh) * 2022-12-20 2023-12-29 清华大学 一种多传感器融合感知方法及装置
CN116363615B (zh) * 2023-03-27 2024-02-23 小米汽车科技有限公司 数据融合方法、装置、车辆和存储介质
CN117690079A (zh) * 2023-12-05 2024-03-12 合肥雷芯智能科技有限公司 一种基于图像融合的安防警戒系统及目标检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516127A (zh) * 2017-08-21 2017-12-26 山东大学 服务机器人自主获取人穿携物品归属语义的方法及系统
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110197173A (zh) * 2019-06-13 2019-09-03 重庆邮电大学 一种基于双目视觉的路沿检测方法
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8155807B2 (en) * 2009-03-04 2012-04-10 Raytheon Company Fusion for automated target recognition

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107516127A (zh) * 2017-08-21 2017-12-26 山东大学 服务机器人自主获取人穿携物品归属语义的方法及系统
CN109597087A (zh) * 2018-11-15 2019-04-09 天津大学 一种基于点云数据的3d目标检测方法
US10408939B1 (en) * 2019-01-31 2019-09-10 StradVision, Inc. Learning method and learning device for integrating image acquired by camera and point-cloud map acquired by radar or LiDAR corresponding to image at each of convolution stages in neural network and testing method and testing device using the same
CN109948661A (zh) * 2019-02-27 2019-06-28 江苏大学 一种基于多传感器融合的3d车辆检测方法
CN110197173A (zh) * 2019-06-13 2019-09-03 重庆邮电大学 一种基于双目视觉的路沿检测方法
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
Cooperative fusion for road obstacles detection using laser scanner and camera;Shashibushan Yenkanchi等;《2016 12th World Congress on Intelligent Control and Automation (WCICA)》;20160929;983-986 *
MCF3D_ Multi-Stage Complementary Fusion for Multi-Sensor 3D Object Detection;Jiarong Wang等;《IEEE Access》;20190705;第7卷;90801-90814 *
基于深度学习的视频问答研究;陈杰;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20181015(第10期);I138-1012 *
基于特征融合的目标检测与重识别;翟耀;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20190715(第7期);I138-31 *
结合弯道检测的车辆前向碰撞预警系统研究;周洋;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20161115(第11期);C035-80 *
面向自动驾驶的多传感器三维环境感知系统关键技术研究;王佳荣;《中国优秀博硕士学位论文全文数据库(博士)工程科技Ⅱ辑》;20210115(第1期);C035-30 *

Also Published As

Publication number Publication date
CN110929692A (zh) 2020-03-27

Similar Documents

Publication Publication Date Title
CN110929692B (zh) 一种基于多传感器信息融合的三维目标检测方法及装置
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN111027401A (zh) 一种摄像头和激光雷达融合的端到端目标检测方法
CN111738110A (zh) 基于多尺度注意力机制的遥感图像车辆目标检测方法
Jebamikyous et al. Autonomous vehicles perception (avp) using deep learning: Modeling, assessment, and challenges
CN114565900A (zh) 基于改进YOLOv5和双目立体视觉的目标检测方法
CN111709343A (zh) 一种点云检测方法、装置、计算机设备和存储介质
CN116783620A (zh) 根据点云的高效三维对象检测
CN115346177A (zh) 一种新的路侧视角下目标检测系统及方法
CN113312983A (zh) 基于多模态数据融合的语义分割方法、系统、装置及介质
CN117274749B (zh) 一种基于4d毫米波雷达和图像的融合3d目标检测方法
CN113139602A (zh) 基于单目相机和激光雷达融合的3d目标检测方法及系统
CN114332708A (zh) 交通行为检测方法、装置、电子设备及存储介质
Singh Surround-view vision-based 3d detection for autonomous driving: A survey
CN116612468A (zh) 基于多模态融合与深度注意力机制的三维目标检测方法
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
Pang et al. TransCAR: Transformer-based camera-and-radar fusion for 3D object detection
CN113269147B (zh) 基于空间和形状的三维检测方法、系统、存储及处理装置
JP2018124963A (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN116704304A (zh) 一种混合注意力机制的多模态融合目标检测方法
CN115880659A (zh) 用于路侧系统的3d目标检测方法、装置及电子设备
Unger et al. Multi-camera bird’s eye view perception for autonomous driving
CN115588047A (zh) 一种基于场景编码的三维目标检测方法
CN113569803A (zh) 一种基于多尺度卷积的多模态数据融合车道目标检测的方法及系统
CN114862952A (zh) 无人机检测与防御方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant