CN115496977B - 一种基于多模态序列数据融合的目标检测方法及装置 - Google Patents

一种基于多模态序列数据融合的目标检测方法及装置 Download PDF

Info

Publication number
CN115496977B
CN115496977B CN202211116943.1A CN202211116943A CN115496977B CN 115496977 B CN115496977 B CN 115496977B CN 202211116943 A CN202211116943 A CN 202211116943A CN 115496977 B CN115496977 B CN 115496977B
Authority
CN
China
Prior art keywords
features
current moment
deep
fusion
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211116943.1A
Other languages
English (en)
Other versions
CN115496977A (zh
Inventor
李志伟
王坤峰
张国英
卢凤黎
谭启凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Chemical Technology
Original Assignee
Beijing University of Chemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Chemical Technology filed Critical Beijing University of Chemical Technology
Priority to CN202211116943.1A priority Critical patent/CN115496977B/zh
Publication of CN115496977A publication Critical patent/CN115496977A/zh
Application granted granted Critical
Publication of CN115496977B publication Critical patent/CN115496977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种基于多模态序列数据融合的目标检测方法及装置，涉及智能驾驶技术领域，该方法包括：获取当前时刻的RGB图像和点云数据；将RGB图像的图像特征和二维点云图像的点云特征进行融合得到融合特征；判断融合特征是否为关键帧；如果为是则利用主分支对融合特征得到深层特征，利用多个大卷积核将时间对齐后的内存关键帧特征和深层特征进行融合，得到感知特征；否则利用次分支对融合特征进行处理得到浅层特征，对浅层特征进行特征变换得到深层特征，利用多个小卷积核将时间对齐后的内存关键帧特征和深层特征进行融合，得到感知特征；利用感知网络对感知特征进行处理，得到目标检测结果。本申请提高了目标检测的精度和速度。

Description

一种基于多模态序列数据融合的目标检测方法及装置
技术领域
本申请涉及智能驾驶技术领域，尤其是涉及一种基于多模态序列数据融合的目标检测方法及装置。
背景技术
环境感知技术是智能车辆等移动机器人执行控制规划模块的必要前提，对智能车辆等机器人技术而言至关重要。环境感知技术指的是智能车辆等移动机器人通过感知算法处理来自各种传感器采集的数据，检测并理解周围环境的方法。常见的车道线检测算法、目标检测算法、实例分割算法等均属于环境感知算法。智能驾驶技术要求环境感知算法必须同时具备较高的准确度和速度。然而现有环境感知技术存在一些问题：
单帧感知算法的限制：设计复杂的感知算法提高感知精度会产生处理速度较低的问题，不能达到实时性；或者为了使感知算法达到实时性，设计相对简单的算法，则会产生感知精度较低的问题。
单传感器数据的限制：单传感器算法存在天然的数据缺陷，而多传感器算法会导致模型计算量显著增加。
针对上述问题，考虑连续观测获得图像和点云的序列数据，利用序列数据中的上下文信息，以及多传感器融合的信息互补，可以在提高感知算法精度的同时提高其速度，改善算法性能。
现有的基于序列数据进行环境感知的算法主要包括：
1)基于光流模型增强环境中识别对象的特征提取方法；
2)基于循环神经网络融合视频数据中连续帧之间的关联信息；
3)基于注意力机制进行视频中前后帧数据特征聚合，提高感知精度。
上述方法都是为了更好的聚合前后序列帧数据信息，提高感知精度，并没有着重提高感知算法运行速度。此外，现有基于序列数据的感知算法主要针对单一传感器，缺乏多传感器融合的序列感知算法。
发明内容
有鉴于此，本申请提供了一种基于多模态序列数据融合的目标检测方法及装置，以解决上述技术问题。
第一方面，本申请实施例提供了一种基于多模态序列数据融合的目标检测方法，所述方法包括：
获取当前时刻的RGB图像和点云数据；
对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧；
如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果。
在一种的可能实现中，对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵，将点云数据投影到像素平面，得到二维点云图像；二维点云图像的点云特征包括：x,y,z和r；(x,y,z)为像元中心点的三维坐标；r为激光雷达的反射率；
提取RGB图像的图像特征，图像特征包括红色通道值R、绿色通道值G和蓝色通道值B；
则当前时刻的融合特征包括：红色通道值R、绿色通道值G、蓝色通道值B、x、y、z和激光雷达的反射率r。
在一种的可能实现中，计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧；包括：
计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度St：
Figure BDA0003845702360000031
其中，It为对当前时刻的融合特征进行压缩后的一维向量，Ilast_key为对上一个关键帧的融合特征进行压缩后的一维向量；
判断余弦相似度St是否大于相似度阈值，若为是，则当前时刻的融合特征为非关键帧，否则，当前时刻的融合特征为关键帧，若当前时刻对应的帧数为第一帧，则当前时刻的融合特征为关键帧。
在一种的可能实现中，所述主分支采用DenseNet网络，所述次分支采用ShuffleNet网络。
在一种的可能实现中，利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到感知特征；包括：
获取主分支输出的当前时刻的深层特征Ft；
计算当前时刻p1位置上的深层特征图
Figure BDA0003845702360000041
和p2位置上内存关键帧的深层特征图Mp2的运动矩阵S(p1,p2)：
Figure BDA0003845702360000042
其中，深层特征图
Figure BDA0003845702360000043
的大小为(N,C,H,W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure BDA0003845702360000044
将深层特征图
Figure BDA0003845702360000045
变换为(N,H×W,C/8)的三维矩阵；深层特征图Mp2的大小为(N,C,H,W)，θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H×W)的三维矩阵，
Figure BDA0003845702360000046
为(N,H×W,H×W)的三维矩阵；其中，内存关键帧的深层特征为上一个关键帧的深层特征；
计算对齐到p1位置的内存特征图
Figure BDA0003845702360000047
Figure BDA0003845702360000048
对内存特征图
Figure BDA0003845702360000049
与深层特征图
Figure BDA00038457023600000410
进行融合，得到p1位置的感知特征
Figure BDA00038457023600000411
Figure BDA00038457023600000412
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure BDA0003845702360000051
表示3个连续大卷积核的卷积操作，3个连续大卷积核的大小分别为7×7、5×5和3×3；
将所有p1位置的感知特征
Figure BDA0003845702360000052
组成当前时刻的感知特征
Figure BDA0003845702360000053
在一种的可能实现中，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；包括：
将次分支的浅层特征通过特征变换模块映射为深层特征Ft，其中，特征变换模块包括3个串联的卷积核：3×3、3×3和3×3；
深层特征图Mp2的运动矩阵S(p1,p2)：
Figure BDA0003845702360000054
其中，深层特征图
Figure BDA0003845702360000055
的大小为(N,C,H,W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure BDA0003845702360000056
将深层特征图
Figure BDA0003845702360000057
变换为(N,H×W,C/8)的三维矩阵；深层特征图Mp2的大小为(N,C,H,W)，θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H×W)的三维矩阵，
Figure BDA0003845702360000058
为(N,H×W,H×W)的三维矩阵；
计算对齐到p1位置的内存特征图
Figure BDA0003845702360000059
Figure BDA00038457023600000510
对内存特征图
Figure BDA00038457023600000511
与深层特征图
Figure BDA00038457023600000512
进行融合，得到p1位置的感知特征
Figure BDA00038457023600000513
Figure BDA00038457023600000514
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure BDA00038457023600000515
表示3个连续小卷积核的卷积操作，3个小卷积核大小为：3×3、3×3和3×3；
将所有p1位置的感知特征
Figure BDA0003845702360000061
组成当前时刻的感知特征
Figure BDA0003845702360000062
在一种的可能实现中，所述方法还包括：如果当前时刻的融合特征为关键帧，将内存关键帧的感知特征更新为当前时刻的感知特征
Figure BDA0003845702360000063
第二方面，本申请实施例提供了一种基于多模态序列数据融合的目标检测装置，所述装置包括：
获取单元，用于获取当前时刻的RGB图像和点云数据；
融合单元，用于对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
判断单元，用于计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧，若为是，进入关键帧处理单元，否则进入非关键帧处理单元；
关键帧处理单元，用于如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到感知特征；
非关键帧处理单元，用于如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
检测单元，用于利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果。
第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例的基于多模态序列数据融合的目标检测方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本申请实施例的基于多模态序列数据融合的目标检测方法。
本申请提高了目标检测的精度和速度。
附图说明
为了更清楚地说明本申请具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的基于多模态序列数据融合的目标检测方法的流程图；
图2为本申请实施例提供的基于多模态序列数据融合的目标检测装置的功能结构图；
图3为本申请实施例提供的电子设备的功能结构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
首先对本申请实施例的设计思想进行简单介绍。
关键帧：图像和点云序列数据中物体运动变化中关键动作所在的数据帧。
非关键帧：也称过渡帧，是视频数据中两个关键帧之间的帧，该帧与关键帧数据存在大量相似信息。
余弦相似度：又称为余弦相似性，是通过计算两个向量的夹角余弦值来评估他们的相似性。
RGB图像：是指通过车载相机采集到的RGB图像，为三通道图像。
点云：是指通过激光雷达得到的关于物体外观表面的点数据，每个点数据包含x、y、z三维坐标和反射强度r。
内存关键帧特征：主特征提取网络提取关键帧得到特征图，并将该特征图存放到一个固定内存中用于非关键帧的计算，该特征称为内存关键帧特征。
数据融合：是指将点云强度图与RGB图像采用融合算法，输出一种图像数据。
在介绍了本申请涉及的技术用语后，接下来，对本申请实施例的设计思想进行简单介绍。
针对现有的基于序列数据进行环境感知的算法存在的技术问题，本申请采用双流架构的稀疏帧感知方式以及运用简单特征聚合方法，可以在提高感知算法精度的同时提高算法速度。
为此，本申请提供了一种基于多模态序列数据融合的目标检测方法，包括：获取当前时刻的RGB图像和点云数据；对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧；如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果。
与现有技术相比，本申请的优势在于：
1、本申请采用了采用双流架构的稀疏帧感知方式，并利用余弦相似度计算输入数据是否为关键帧，可以合理、客观地选择合适的数据作为关键帧，通过数学方法作为理论支撑，具有一定的可解释性；
2、本申请采用了激光雷达点云和相机图像的融合结构，扩充了序列感知模型的数据域，可以补充更丰富的特征，从而提高模型的可靠性和精度。
3、本申请提出一种特征融合方法，根据输入数据是否为关键帧自动调用不同的数据融合方式，使得特征融合效果达到最优。
在介绍了本申请实施例的应用场景和设计思想之后，下面对本申请实施例提供的技术方案进行说明。
如图1所示，本申请的实施例提供了一种基于多模态序列数据融合的目标检测方法，所述方法包括：
步骤101：获取当前时刻的RGB图像和点云数据；
在车辆上安装相机和激光雷达，并通过张氏标定法进行标定。利用车载前向单目相机或前向单目摄像头采集连续的路面图像，前向单目相机拍摄的是行驶车辆的行车方向正前方和路面上方的路面图像，即采集的路面图像信息是对应于采集车辆的行车方向的正前方和路面上方的信息的透视图。利用激光雷达采集连续的点云数据，得到点云序列。
在本实施例中，路面图像信息和路面点云信息是同步采集的。即可以在行驶车辆上安装配置激光雷达和前向单目相机后，标定它们的相对位置姿态，同时开始对同一路面开始路面数据信息采集。
本申请是对序列数据逐帧进行处理。
步骤102：对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
在本实施例中，充分利用激光雷达点云和相机图像之间的互补优势，在光照条件变化、色彩图像过于相似等纯图像检测容易失灵的情况下能够有效改善检测效果，并且克服了纯点云检测中点云数据过于稀疏的弱点，提高了目标检测的鲁棒性。
利用激光雷达坐标系与相机成像坐标系的转换矩阵将点云数据投影到像素平面，得到灰度图像对应的二维点云图像。
示例性地，考虑激光雷达和前向摄像头已经完成标定工作，且根据标定参数得到了激光雷达三维坐标系和世界三维坐标系的转换矩阵K_1，相机二维成像坐标系和世界三维坐标系的转换矩阵K_2。若空间点在世界坐标系下对应的三维坐标为X_0，点云所在的雷达坐标系中对应的三维坐标为X_1,可计算出相机成像坐标系下的二维坐标为U。从而二值化的激光雷达点云转换为RGB图像对应的二维点云图像H。
截取二维点云图像H和RGB图像对应位置且相同尺寸的部分，再对空缺的部分以0值填补，得到H’。应当注意，由于二维点云图像可能经过裁剪、拉伸或其他变换过程，因此二维点云图像应当根据RGB图像部分进行调整。
示例性地，对二维点云图像H和三通道RGB图像T进行融合。先处理图像T，对3通道的色彩信息R、G和B，其取值范围为[0,255]，除以255后得到新值，作为色彩信息。一方面是为了和二值化的点云在数值的范围上对应，二是对数值进行归一化可以加速检测网络训练过程的收敛过程，得到图像T’。
示例性地，将相同尺寸大小点云投影图，经过预处理后获得点云特征，叠加到图像预处理后的图像特征，作为额外通道特征。示例性地，点云特征和图像特征的叠加可以是分别带有权重的，所带权重作为网络参数，由网络在训练过程中学习得到，也可以根据经验值预设。值得注意的是，这里图像、点云的融合起到了对两者的不同区域加权的作用。
在不影响目标识别的情况下，对融合特征进行裁剪、拉伸或其他变换过程；融合特征预处理的主要目的是消除融合特征中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取、匹配和识别的可靠性。
步骤103：计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的输入融合特征是否为关键帧；
计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度St：
Figure BDA0003845702360000121
其中，It为对当前时刻的融合特征进行压缩后的一维向量，Ilast_key为对上一个关键帧的融合特征进行压缩后的一维向量；
判断余弦相似度St是否大于相似度阈值，若为是，则当前时刻的融合特征为非关键帧，否则，当前时刻的融合特征为关键帧，若当前时刻对应的帧数为第一帧，则当前时刻的融合特征为关键帧。
步骤104：如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
本实施例中，根据关键帧或非关键帧设置独立的特征处理分支。对输入的融合特征进行多次卷积操作，操作次数由输入数据尺寸、网络结构决定。主分支采用训练好的Densenet121网络。
当前时刻的融合特征输入主分支，输出深层特征Ft；
计算当前时刻p1位置上的深层特征图
Figure BDA0003845702360000122
和p2位置上内存关键帧的深层特征图Mp2的运动矩阵S(p1,p2)：
Figure BDA0003845702360000123
其中，深层特征图
Figure BDA0003845702360000131
的大小为(N,C,H,W)，N代表batch，此处N＝1，C为通道数，H和W分别为图像的高和宽，
Figure BDA0003845702360000132
将深层特征图
Figure BDA0003845702360000133
变换为(N,H×W,C/8)的三维矩阵；深层特征图Mp2的大小为(N,C,H,W)，θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H×W)的三维矩阵，
Figure BDA0003845702360000134
为(N,H×W,H×W)的三维矩阵，其中，内存关键帧的深层特征为上一个关键帧的深层特征；
计算对齐到p1位置的内存特征图
Figure BDA0003845702360000135
Figure BDA0003845702360000136
对内存特征图
Figure BDA0003845702360000137
与深层特征图
Figure BDA0003845702360000138
进行融合，得到p1位置的感知特征
Figure BDA0003845702360000139
Figure BDA00038457023600001310
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure BDA00038457023600001311
表示3个连续大卷积核的卷积操作，3个连续大卷积核的大小分别为7×7、5×5和3×3；对于关键帧输入，由于当前提取的特征与内存特征运动差异较大，因此采用较大卷积进行特征融合。
将所有p1位置的感知特征
Figure BDA00038457023600001312
组成当前时刻的感知特征
Figure BDA00038457023600001313
步骤105：如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
本实施例中，次分支采用训练好的Shufflenet V2神经网络。
如果当前时刻的融合特征为非关键帧，经过次分支提取的特征为相对浅层级的特征，无法直接与内存关键帧的深层级特征进行特征融合，因此需要一个特征变换模块将次分支的浅层特征映射为对应于主分支的深层特征：
Ft＝TSAM(ft)
其中，Ft为当前时刻映射后的深层特征，ft为当前时刻经过次分支提取的浅层特征，TSAM为特征变换模块，包括3个串联的卷积核：3×3、3×3和3×3；
深层特征图Mp2的运动矩阵S(p1,p2)：
Figure BDA0003845702360000141
其中，深层特征图
Figure BDA0003845702360000142
的大小为(N,C,H,W)，
Figure BDA0003845702360000143
将深层特征图
Figure BDA0003845702360000144
变换为(N,H×W,C/8)的三维矩阵；深层特征图Mp2的大小为(N,C,H,W)，θ2(Mp2)将深层特征图Mp2变换为(N,C/8,H×W)的三维矩阵，
Figure BDA0003845702360000145
为(N,H×W,H×W)的三维矩阵；
计算对齐到p1位置的内存特征图
Figure BDA0003845702360000146
Figure BDA0003845702360000147
对内存特征图
Figure BDA0003845702360000148
与深层特征图
Figure BDA0003845702360000149
进行融合，得到p1位置的感知特征
Figure BDA00038457023600001410
Figure BDA00038457023600001411
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure BDA00038457023600001412
表示3个连续小卷积核的卷积操作，3个小卷积核大小为：3×3、3×3和3×3；由于当前时刻提取特征与内存特征鱼洞差异较小，因此采用小卷积核卷积融合特征。
将所有p1位置的感知特征
Figure BDA0003845702360000151
组成当前时刻的感知特征
Figure BDA0003845702360000152
步骤106：利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果。
所述方法还包括：如果当前时刻的融合特征为关键帧，将内存关键帧的感知特征更新为当前时刻的感知特征
Figure BDA0003845702360000153
所述方法还包括：
基于工具PyTorch实现Densenet121和Shufflenet V2神经网络，设定网络的编码器和解码器的尺寸大小、批处理数量、训练轮次数(第一次训练轮次数应较大，以保证融合网络收敛，如200轮)等超参数后,从训练集中随机读取数据(包含当前时刻和前面某一时刻两帧数据)处理得到融合特征，计算两张融合特征的相似度，确定当前时刻融合特征是否为关键帧,将前一时刻数据输入到主分支提取深层特征并当作内存特征，根据输入是否为关键帧将当前时刻融合特征输入到主分支或者次分支提取特征，并进行相应的特征融合，将得到的感知特征输入到检测器中得到相应检测结果(result)和损失(loss),以p轮训练和验证为一个周期，确定最佳的thred、offset等超参数。最后当验证模型在验证集表现最好时说明模型训练完成。
示例性地，第一次可训练200轮，之后以训练10轮为一个周期，调整一次超参数，直到选出最优的超参数。
基于上述实施例，本申请实施例提供了一种基于多模态序列数据融合的目标检测装置，参阅图2所示，本申请实施例提供的基于多模态序列数据融合的目标检测装置200至少包括：
获取单元201，用于获取当前时刻的RGB图像和点云数据；
融合单元202，用于对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
判断单元203，用于计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧，若为是，进入关键帧处理单元，否则进入非关键帧处理单元；
关键帧处理单元204，用于如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到感知特征；
非关键帧处理单元205，用于如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
检测单元206，用于利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果。
需要说明的是，本申请实施例提供的基于多模态序列数据融合的目标检测装置200解决技术问题的原理与本申请实施例提供的基于多模态序列数据融合的目标检测方法相似，因此，本申请实施例提供的基于多模态序列数据融合的目标检测装置200的实施可以参见本申请实施例提供的基于多模态序列数据融合的目标检测方法的实施，重复之处不再赘述。
基于上述实施例，本申请实施例还提供了一种电子设备，参阅图3所示，本申请实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本申请实施例提供的基于多模态序列数据融合的目标检测方法。
本申请实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(RandomAccess Memory，RAM)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(ReadOnly Memory，ROM)3023。
存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(Input/Output，I/O)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(Local AreaNetwork，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)子系统、磁带驱动器以及数据备份存储子系统等。
需要说明的是，图3所示的电子设备300仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本申请实施例提供的基于多模态序列数据融合的目标检测方法。
具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本申请实施例提供的基于多模态序列数据融合的目标检测方法。
本申请实施例提供的方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本申请实施例提供的基于多模态序列数据融合的目标检测方法。
本申请实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、RAM、ROM、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、光纤、便携式紧凑盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
本申请实施例提供的程序产品可以采用CD-ROM并包括程序代码，还可以在计算设备上运行。然而，本申请实施例提供的程序产品不限于此，在本申请实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
最后所应说明的是，以上实施例仅用以说明本申请的技术方案而非限制。尽管参照实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，对本申请的技术方案进行修改或者等同替换，都不脱离本申请技术方案的精神和范围，其均应涵盖在本申请的权利要求范围当中。

Claims (7)

1.一种基于多模态序列数据融合的目标检测方法，其特征在于，所述方法包括：
获取当前时刻的RGB图像和点云数据；
对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧；
如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果；
所述主分支采用DenseNet网络，所述次分支采用ShuffleNet网络；
利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；包括：
获取主分支输出的当前时刻的深层特征Ft；
计算当前时刻p1位置上的深层特征图
Figure FDA0004070129760000011
和p2位置上内存关键帧的深层特征图Mp2的运动矩阵S(p1，p2)：
Figure FDA0004070129760000021
其中，深层特征图
Figure FDA0004070129760000022
的大小为(N，C，H，W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure FDA0004070129760000023
将深层特征图
Figure FDA0004070129760000024
变换为(N，H×W，C/8)的三维矩阵；深层特征图Mp2的大小为(N，C，H，W)，θ2(Mp2)将深层特征图Mp2变换为(N，C/8，H×W)的三维矩阵，
Figure FDA0004070129760000025
为(N，H×W，H×W)的三维矩阵：其中，内存关键帧的深层特征为上一个关键帧的深层特征；
计算对齐到p1位置的内存特征图
Figure FDA0004070129760000026
Figure FDA0004070129760000027
对内存特征图
Figure FDA0004070129760000028
与深层特征图
Figure FDA0004070129760000029
进行融合，得到p1位置的感知特征
Figure FDA00040701297600000210
Figure FDA00040701297600000211
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure FDA00040701297600000212
表示3个连续大卷积核的卷积操作，3个连续大卷积核的大小分别为7×7、5×5和3×3；
将所有p1位置的感知特征
Figure FDA00040701297600000213
组成当前时刻的感知特征
Figure FDA00040701297600000214
对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；包括：
将次分支的浅层特征通过特征变换模块映射为深层特征Ft，其中，特征变换模块包括3个串联的卷积核：3×3、3×3和3×3；
深层特征图Mp2的运动矩阵S(p1，p2)：
Figure FDA0004070129760000031
其中，深层特征图
Figure FDA0004070129760000032
的大小为(N，C，H，W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure FDA0004070129760000033
将深层特征图
Figure FDA0004070129760000034
变换为(N，H×W，C/8)的三维矩阵；深层特征图Mp2的大小为(N，C，H，W)，θ2(Mp2)将深层特征图Mp2变换为(N，C/8，H×W)的三维矩阵，
Figure FDA0004070129760000035
为(N，H×W，H×W)的三维矩阵；
计算对齐到p1位置的内存特征图
Figure FDA0004070129760000036
Figure FDA0004070129760000037
对内存特征图
Figure FDA0004070129760000038
与深层特征图
Figure FDA0004070129760000039
进行融合，得到p1位置的感知特征
Figure FDA00040701297600000310
Figure FDA00040701297600000311
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure FDA00040701297600000312
表示3个连续小卷积核的卷积操作，3个小卷积核大小为：3×3、3×3和3×3；
将所有p1位置的感知特征
Figure FDA00040701297600000313
组成当前时刻的感知特征
Figure FDA00040701297600000314
2.根据权利要求1所述的基于多模态序列数据融合的目标检测方法，其特征在于，对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；包括：
利用激光雷达坐标系与相机成像坐标系的转换矩阵，将点云数据投影到像素平面，得到二维点云图像；二维点云图像的点云特征包括：x，y，z和r；(x，y，z)为像元中心点的三维坐标；r为激光雷达的反射率：
提取RGB图像的图像特征，图像特征包括红色通道值R、绿色通道值G和蓝色通道值B；
则当前时刻的融合特征包括：红色通道值R、绿色通道值G、蓝色通道值B、x、y、z和激光雷达的反射率r。
3.根据权利要求2所述的基于多模态序列数据融合的目标检测方法，其特征在于，计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧；包括：
计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度St：
Figure FDA0004070129760000041
其中，It为对当前时刻的融合特征进行压缩后的一维向量，Ilast_key为对上一个关键帧的融合特征进行压缩后的一维向量；
判断余弦相似度St是否大于相似度阈值，若为是，则当前时刻的融合特征为非关键帧，否则，当前时刻的融合特征为关键帧，若当前时刻对应的帧数为第一帧，则当前时刻的融合特征为关键帧。
4.根据权利要求1所述的基于多模态序列数据融合的目标检测方法，其特征在于，所述方法还包括：如果当前时刻的融合特征为关键帧，将内存关键帧的感知特征更新为当前时刻的感知特征
Figure FDA0004070129760000042
5.一种基于多模态序列数据融合的目标检测装置，其特征在于，所述装置包括：
获取单元，用于获取当前时刻的RGB图像和点云数据；
融合单元，用于对点云数据进行处理，得到二维点云图像，将RGB图像的图像特征和二维点云图像的点云特征进行融合，得到当前时刻的融合特征；
判断单元，用于计算当前时刻的融合特征和上一个关键帧的融合特征的余弦相似度，根据余弦相似度判断当前时刻的融合特征是否为关键帧，若为是，进入关键帧处理单元，否则进入非关键帧处理单元；
关键帧处理单元，用于如果当前时刻的融合特征为关键帧，利用预先训练完成的主分支对当前时刻的融合特征进行处理，得到当前时刻的深层特征，然后利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
非关键帧处理单元，用于如果当前时刻的融合特征为非关键帧，利用预先训练完成的次分支对当前时刻的融合特征进行处理，得到当前时刻的浅层特征，对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；
检测单元，用于利用感知网络对当前时刻的感知特征进行处理，得到当前时刻的目标检测结果；
所述主分支采用DenseNet网络，所述次分支采用ShuffleNet网络；
利用多个大卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；包括：
获取主分支输出的当前时刻的深层特征Ft；
计算当前时刻p1位置上的深层特征图
Figure FDA0004070129760000061
和p2位置上内存关键帧的深层特征图Mp2的运动矩阵S(p1，p2)：
Figure FDA0004070129760000062
其中，深层特征图
Figure FDA0004070129760000063
的大小为(N，C，H，W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure FDA0004070129760000064
将深层特征图
Figure FDA0004070129760000065
变换为(N，H×W，C/8)的三维矩阵：深层特征图Mp2的大小为(N，C，H，W)，θ2(Mp2)将深层特征图Mp2变换为(N，C/8，H×W)的三维矩阵，
Figure FDA0004070129760000066
为(N，H×W，H×W)的三维矩阵：其中，内存关键帧的深层特征为上一个关键帧的深层特征；
计算对齐到p1位置的内存特征图
Figure FDA0004070129760000067
Figure FDA0004070129760000068
对内存特征图
Figure FDA0004070129760000069
与深层特征图
Figure FDA00040701297600000610
进行融合，得到p1位置的感知特征
Figure FDA00040701297600000611
Figure FDA00040701297600000612
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure FDA00040701297600000613
表示3个连续大卷积核的卷积操作，3个连续大卷积核的大小分别为7×7、5×5和3×3；
将所有p1位置的感知特征
Figure FDA00040701297600000614
组成当前时刻的感知特征
Figure FDA00040701297600000615
对浅层特征进行特征变换得到深层特征，然后利用多个小卷积核将时间对齐后的内存关键帧的深层特征和当前时刻的深层特征进行融合，得到当前时刻的感知特征；包括：
将次分支的浅层特征通过特征变换模块映射为深层特征Ft，其中，特征变换模块包括3个串联的卷积核：3×3、3×3和3×3；
深层特征图Mp2的运动矩阵S(p1，p2)：
Figure FDA0004070129760000071
其中，深层特征图
Figure FDA0004070129760000072
的大小为(N，C，H，W)，N代表batch，N＝1，C为通道数，H和W分别为图像的高和宽，
Figure FDA0004070129760000073
将深层特征图
Figure FDA0004070129760000074
变换为(N，H×W，C/8)的三维矩阵；深层特征图Mp2的大小为(N，C，H，W)，θ2(Mp2)将深层特征图Mp2变换为(N，C/8，H×W)的三维矩阵，
Figure FDA0004070129760000075
为(N，H×W，H×W)的三维矩阵：
计算对齐到p1位置的内存特征图
Figure FDA0004070129760000076
Figure FDA0004070129760000077
对内存特征图
Figure FDA0004070129760000078
与深层特征图
Figure FDA0004070129760000079
进行融合，得到p1位置的感知特征
Figure FDA00040701297600000710
Figure FDA00040701297600000711
其中，θv(·)为1×1卷积操作，concat(·)表示在通道维度叠加操作，
Figure FDA00040701297600000712
表示3个连续小卷积核的卷积操作，3个小卷积核大小为：3×3、3×3和3×3；
将所有p1位置的感知特征
Figure FDA00040701297600000713
组成当前时刻的感知特征
Figure FDA00040701297600000714
6.一种电子设备，其特征在于，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述的基于多模态序列数据融合的目标检测方法。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现如权利要求1-4任一项所述的基于多模态序列数据融合的目标检测方法。
CN202211116943.1A 2022-09-14 2022-09-14 一种基于多模态序列数据融合的目标检测方法及装置 Active CN115496977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211116943.1A CN115496977B (zh) 2022-09-14 2022-09-14 一种基于多模态序列数据融合的目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211116943.1A CN115496977B (zh) 2022-09-14 2022-09-14 一种基于多模态序列数据融合的目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN115496977A CN115496977A (zh) 2022-12-20
CN115496977B true CN115496977B (zh) 2023-04-25

Family

ID=84469291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211116943.1A Active CN115496977B (zh) 2022-09-14 2022-09-14 一种基于多模态序列数据融合的目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN115496977B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668550A (zh) * 2021-01-18 2021-04-16 沈阳航空航天大学 基于关节点-深度联合关注rgb模态数据的双人交互行为识别方法
CN114170460A (zh) * 2021-11-24 2022-03-11 北京化工大学 一种基于多模态融合的艺术品分类方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN110570457B (zh) * 2019-08-07 2023-01-06 中山大学 一种基于流数据的三维物体检测与跟踪方法
CN110688905B (zh) * 2019-08-30 2023-04-18 中山大学 一种基于关键帧的三维物体检测与跟踪方法
CN111352112B (zh) * 2020-05-08 2022-11-29 泉州装备制造研究所 基于视觉、激光雷达和毫米波雷达的目标检测方法
CN115049821A (zh) * 2022-05-23 2022-09-13 中国矿业大学 一种基于多传感器融合的三维环境目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112668550A (zh) * 2021-01-18 2021-04-16 沈阳航空航天大学 基于关节点-深度联合关注rgb模态数据的双人交互行为识别方法
CN114170460A (zh) * 2021-11-24 2022-03-11 北京化工大学 一种基于多模态融合的艺术品分类方法及系统

Also Published As

Publication number Publication date
CN115496977A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
CN110059558B (zh) 一种基于改进ssd网络的果园障碍物实时检测方法
JP2022515895A (ja) 物体認識方法及び装置
CN112270249A (zh) 一种融合rgb-d视觉特征的目标位姿估计方法
CN105654067A (zh) 一种车辆检测方法及装置
CN110427797B (zh) 一种基于几何条件限制的三维车辆检测方法
CN115861632B (zh) 一种基于图卷积的视觉激光融合的三维目标检测方法
CN111696196B (zh) 一种三维人脸模型重建方法及装置
CN112037142B (zh) 一种图像去噪方法、装置、计算机及可读存储介质
CN115049821A (zh) 一种基于多传感器融合的三维环境目标检测方法
CN110909656B (zh) 一种雷达与摄像机融合的行人检测方法和系统
CN114764856A (zh) 图像语义分割方法和图像语义分割装置
CN114037834B (zh) 一种基于振动信号和rgb图像融合的语义分割方法及装置
CN115861601A (zh) 一种多传感器融合感知方法及装置
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN114596503A (zh) 一种基于遥感卫星影像的道路提取方法
CN112529917A (zh) 一种三维目标分割方法、装置、设备和存储介质
CN115496977B (zh) 一种基于多模态序列数据融合的目标检测方法及装置
CN116091793A (zh) 一种基于光流融合的光场显著性检测方法
CN112069997B (zh) 一种基于DenseHR-Net的无人机自主着陆目标提取方法及装置
CN112446292B (zh) 一种2d图像显著目标检测方法及系统
CN114898447A (zh) 一种基于自注意力机制的个性化注视点检测方法及装置
CN117036658A (zh) 一种图像处理方法及相关设备
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN117523428B (zh) 基于飞行器平台的地面目标检测方法和装置
US20240054765A1 (en) Information processing method and apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant