CN113255779B - 多源感知数据融合识别方法、系统及计算机可读存储介质 - Google Patents
多源感知数据融合识别方法、系统及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113255779B CN113255779B CN202110592973.9A CN202110592973A CN113255779B CN 113255779 B CN113255779 B CN 113255779B CN 202110592973 A CN202110592973 A CN 202110592973A CN 113255779 B CN113255779 B CN 113255779B
- Authority
- CN
- China
- Prior art keywords
- target
- source
- view
- data
- fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 156
- 230000008447 perception Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000010276 construction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 238000013135 deep learning Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000007500 overflow downdraw method Methods 0.000 claims description 7
- 230000001953 sensory effect Effects 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000011176 pooling Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 240000004050 Pentaglottis sempervirens Species 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000005295 random walk Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000001559 infrared map Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多源感知数据融合识别方法、系统及计算机可读存储介质。该多源感知数据融合识别方法，首先获取环境的多源目标观测数据，然后根据观测数据构建多源目标观测数据集，最后以多源目标观测数据集为输入，采用多源感知数据融合识别模型识别待检测目标，以解决单一传感器获取环境信息较为局限、场景适应性差、受环境因素影响较大、鲁棒性不强以及识别性能较差等问题，进而有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。
Description
技术领域
本发明涉及数据处理技术领域，特别是涉及一种多源感知数据融合识别方法、系统及计算机可读存储介质。
背景技术
目标检测与识别是指基于单一或多种传感器的观测，来判定观测环境中是否含有预先定义的目标，并对存在的目标进行识别分类，并确定其空间位置和范围的过程。目标检测与识别作为计算机视觉和图像理解的基础，具有十分重要的意义，支撑着计算机视觉领域中更复杂、更高级的任务，如场景理解、目标追踪、事件检测等。
复杂场景中最为常见的目标观测手段为可见光图像，其具有近距离检测性能优越、可提取目标信息以及特征等优点，但易受光照灵敏度、图像噪声等影响。基于单一可见光图像的目标检测往往受限于观测条件、传感器性能、目标特性等多种因素。
因此，迫切需要一种有效、可行的多源感知数据融合识别方法，从不同角度、不同方面对相关数据进行互补采集，以突破单一传感器的自身缺陷，有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。
发明内容
本发明的目的是提供一种多源感知数据融合识别方法、系统及计算机可读存储介质，从不同角度、不同方面对相关数据进行互补采集，以突破单一传感器的自身缺陷，进而有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。
为实现上述目的，本发明提供了如下方案：
一种多源感知数据融合识别方法，包括：
获取环境的观测数据；所述观测数据包括：可见光数据、红外数据和激光雷达点云数据；
根据所述观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；
获取多源感知数据融合识别模型；
以所述多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标。
优选地，所述多源感知数据融合识别模型的构建过程，具体包括：
获取目标的观测数据，所述目标的观测数据包括：目标的可见光点数据、目标的红外数据和目标的激光雷达点云数据；
根据所述目标的观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；
提取所述第二多源目标多视图数据集的特征和感兴趣区域；
获取特征融合模型；所述特征融合模型为基于深度学习的目标多特征融合方法确定的模型；
采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；
获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；
采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型。
优选地，所述采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果，具体包括：
获取所述第二多源目标观测数据集中各图像的LiDAR点的特征；
按照深度分别对所述LiDAR点的特征进行连接；
对相同深度中的每一切片做1×1卷积操作，得到融合结果。
优选地，所述获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征，具体包括：
在所述第二多源目标多视图数据集中的BEV图上，采用k最邻近算法确定LiDAR点；
根据所述LiDAR点，将所述第二多源目标多视图数据集中的BEV图反投影到3D空间中，得到3D投影图像；
将所述3D投影图像进行投影，得到平面图像；
获取平面图像上像素和每一所述LiDAR点的偏置；
获取多层感知器，并根据所述偏置确定LiDAR点的特征。
优选地，采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型，具体包括：
获取初始多视图目标分类器；
利用图像的类别标签，根据所述融合结果训练所述初始多视图目标分类器，得到与所述初始多视图目标分类器对应的多视图目标分类器模型后，以所述多视图目标分类器模型计算初始伪标签，利用affinity net的方式对所述初始伪标签进行优化，得到优化后的伪标签结果；
基于所述伪标签结果确定多视图目标分类器模型中每一输出的Loss值；所述Loss值包括：位置Loss值和与该位置相对应的目标类别loss值；
在设定计算周期内，基于最大的Loss值更新所述多视图目标分类器模型的参数，得到多源感知数据融合识别模型。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供的多源感知数据融合识别方法，首先获取环境的观测数据，然后根据观测数据构建多源目标多视图数据集，最后以多源目标多视图数据集为输入，采用多源感知数据融合识别模型识别待检测目标，以解决单一传感器获取环境信息较为局限、场景适应性差、受环境因素影响较大、鲁棒性不强以及识别性能较差等问题。
并且，在构建多源感知数据融合识别模型的过程中，利用可见光图像、红外图像、激光雷达多视图的ROI区域特征集成融合方法，提高多源特征的表示能力；采用深度学习的方法，在目标区域标定的前提下，将形状先验建模加入graph-cuts 能量函数中，构建多源感知数据融合识别模型，从不同角度、不同方面对相关数据进行互补采集，以突破单一传感器的自身缺陷，进而有效提高信息的互补能力，达到提高检测融合系统检测弹性的目的。
对应于上述提供的多源感知数据融合识别方法，本发明还提供了以下实施方案：
第一种多源感知数据融合识别系统，包括：
观测数据获取模块，用于获取环境的观测数据；所述观测数据包括：可见光数据、红外数据和激光点云数据；
第一多源目标多视图数据集构建模块，用于根据所述环境的观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；
多源感知数据融合识别模型获取模块，用于获取多源感知数据融合识别模型；
目标检测模块，用于以所述第一多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标。
优选地，还包括多源感知数据融合识别模型构建模块；所述多源感知数据融合识别模型构建模块，具体包括：
观测数据获取单元，用于获取目标的观测数据，所述观测数据包括：目标的可见光数据、目标的红外数据和目标的激光点云数据；
多源目标多视图数据集构建单元，用于根据所述观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；
提取单元，用于提取所述第二多源目标多视图数据集的特征和感兴趣区域；
数据融合模型获取单元，用于获取数据融合模型；所述数据融合模型为基于深度学习的目标多特征融合方法确定的模型；
融合结果确定单元，用于采用所述数据融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；
多视图目标分类器模型获取单元，用于获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；
多源感知数据融合识别模型构建单元，用于采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型。
优选地，所述融合结果确定单元，具体包括：
特征获取子单元，用于获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征；
连接子单元，用于按照深度分别对所述LiDAR点的特征进行连接；
融合结果确定子单元，用于对相同深度中的每一切片做1×1卷积操作，得到融合结果。
第二种多源感知数据融合识别系统，包括：
处理器、存储器、通讯接口和总线；
所述处理器、通信接口、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的存储的逻辑指令，以执行上述多源感知数据融合识别方法。
此外，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令用于执行上述多源感知数据融合识别方法。
因本发明提供的多源感知数据融合识别系统和计算机可读存储介质与上述提供的多源感知数据融合识别方法的优点相同，此处不再进行赘述。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1为本发明提供的多源感知数据融合识别方法的流程图；
图2为本发明提供的多源感知数据融合识别方法的流程框图；
图3为本发明实施例提供的基于形状先演方法的ROI提议生成流程示意图；
图4为本发明实施例提供的前景掩码层示意图；
图5为本发明提供的第一种多源感知数据融合识别系统的结构示意图；
图6为本发明提供的第二种多源感知数据融合识别系统的结构示意图。
实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
如图1和图2所示，一种多源感知数据融合识别方法，包括：
步骤100：获取环境的观测数据。环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光雷达点云数据。
步骤101：根据环境的观测数据构建第一多源目标多视图数据集。第一多源目标多视图数据集包括：BEV图、RGB图和红外图。
步骤102：获取多源感知数据融合识别模型。
步骤103：以第一多源目标多视图数据集为输入，采用多源感知数据融合识别模型识别待检测目标。
为了能够通过分析不同传感器信息的数据结构、时间和空间差异性，本发明所采用的多源感知数据融合识别模型的构建过程，具体包括：
A、获取目标的观测数据。目标的观测数据包括：目标的可见光数据、目标的红外数据和目标的激光雷达点云数据。
实施步骤A的主要目的在于：通过构建鸟瞰图（BEV图），可以把3维点云的水平位置信息转换为鸟瞰图的像素坐标信息，高度和维度上的信息转换为鸟瞰图的通道信息，对3维环境进行有效的2维表示。6个通道的BEV图输入是一个0.1米分辨率的2D网格，包括5个高度通道和1个密度通道。点云沿着地平面的法线在[0, 2.5米]之间被划分为5个相等的切片，并且每个切片产生高度通道，每个网格单元表示该单元中的点的最大高度。
B、根据目标的观测数据构建第二多源目标多视图数据集。第二多源目标多视图数据集包括：BEV图、RGB图和红外图。
C、提取第二多源目标多视图数据集的特征和感兴趣区域。
步骤C实质是基于形状先验的图像特征提取和ROI区域生成的过程。该过程具体实施步骤为：
BEV图、RGB图像和红外图被输入特征表示模块获得特征。为了提高计算效率，仅使用RPN的鸟瞰视图（BEV图）特征生成提议区域。基于提议区域的深度信息，RGB图像和IR图像中BEV 3D提议区域之外的图像特征被前景掩码层掩盖。然后，经过掩码处理的图像特征图和BEV特征图被裁剪并传递到多视图分类器，提供最终的分类、定位结果。
a、图像特征提取与BEV图像的ROI提取
大多数图像中的前景目标具有显著的形状特征，本发明借助于该特性，将形状信息从形状模板传递给测试图像，基于形状预测方法获取前景目标的形状先验，并利用该先验为graph-cuts算法构建前景模型。
在进行特征提取和融合的过程中，本发明提出了方法SP-FGS。对于给定的测试图像，如图3所示，SP-FGS首先通过R-CNN模型检测到前景目标的大概位置区域，该区域为后续形状匹配算法提供了基本搜索空间。第二步，将该区域内的目标gPb-ucm方法获取其轮廓表示，该轮廓用于生成形状先验。第三步，根据FDCM形状匹配算法计算当前目标与形状模板集的匹配得分，并将高匹配得分的形状模板与该区域目标做投影运算得到形状先验。最后，将形状先验融合进graph-cuts算法中并指导其分割过程。这里使用RANSAC（random sampleconsensus)算法获取形状的线性表示。该算法首先随机选择一些点并推理出这些点的直线表达（确定直线的斜率）。然后计算其他点与该条直线方向上的偏差，只有当偏差小于所设定的阈值才说明该点也在这条直线上，将增加这条直线的支持率，保存当前支持率最大的线段。上述过程迭代进行直到某条线段的支持率低于设定的阈值。RANSAC 算法能够保存具有确定结构的点并去掉噪声点。获取线性表示之后，本发明需要计算目标与形状模板的匹配度。形状模板及目标的线性表示分别 和/>T 与V的倒角距离定义为：
(1)
其中，t i 表示形状模板元素，v i 表示线性元素，|T|表示T中点的个数。该距离为T中每个点到V中最近邻边的平均距离。为了提高鲁棒性及处理背景杂乱问题，提出融合边方向信息的倒角距离：
(2)
其中，表示子分量。
b、LiDAR的前景掩码（foreground mask）
为了识别图像的前景和背景，具有每个像素深度信息是必要的。但是由于激光雷达点云的稀疏性，图像平面中的大部分深度信息都是未知的。首先，该层用3D提议投影的前视2D边框裁剪并调整其（稀疏）深度图的大小。为了计算方便，调整大小的深度图是k×k大小裁剪图像特征图的n倍。由于深度信息在前视图是不连续的，因此使用最近邻内插算法获得大小调整过的深度图。然后将nk×nk深度图等分成k×k网格。这样，每个网格单元表示k×k图像特征图对应像素的深度信息。该层计算每个网格单元中非零深度值的中值mij，零值表示该像素没有激光雷达点信息。前景掩码层的计算过程如图4所示。其中，图4中的Cropped Depth Map中文含义为：裁切深度图，Median Grid中文含义为：中间网格，Mask中文含义为：隐藏，Feature Maps中文含义为：特征地图，Masked Feature Maps中文含义为：屏蔽特征地图。
c、ROI池化
RPN可以根据输入的鸟瞰图给出目标可能存在的所有位置。这个过程会产生大量的候选区域，引起大量的计算负担，无法做到实时检测。因此在RPN后增加了ROI池化。ROI池化层能实现训练和测试阶段的显著加速，并提高检测准确率。该层有两个输入：
1）从CNN网络中获得的固定大小的特征图。
2）一个表示所有ROI的N*7的矩阵，其中N表示ROI的数目。第一列表示图像索引，其余列表示目标的三维空间坐标。
ROI池化具体操作如下：
1）根据输入BEV，将ROI映射到特征图对应位置。
2）将映射后的区域划分为相同大小的sections（sections数量与输出的维度相同）。
3）对每个sections进行最大池化操作。
经过步骤C的处理，就可以将图像从不同大小的方框得到固定大小的相应的特征图。
D、获取数据融合模型。数据融合模型为基于深度学习的目标多特征融合方法。
E、采用数据融合模型，根据第一多源目标多视图数据集的特征和感兴趣区域得到融合结果。其中，步骤E优选包括：
a、获取第二多源目标多视图数据集中各图像的LiDAR点的特征。为了保证IR图像特征、RGB图像特征与LiDAR特征在同一特征维度下，需要将图像特征投影到三维的LiDAR特征空间中，获取第二多源目标多视图数据集中各图像的LiDAR点的特征的过程具体包括：
1） 获取第二多源目标多视图数据集中各图像的LiDAR点的特征，具体包括：
2）在第二多源目标多视图数据集中的BEV图上，采用k最邻近算法确定LiDAR点。
3）根据LiDAR点，将第二多源目标多视图数据集中的BEV图反投影到3D空间中，得到3D投影图像。
4）将3D投影图像进行投影，得到平面图像。
5）获取平面图像上像素和每一LiDAR点的偏置。
6）获取多层感知器，并根据偏置确定LiDAR点的特征。
其中，MLP主要使用了深度参数连续卷积（Deep Parametric ContinuousConvolution， DPCCN），和传统卷积不同的是DPCCN主要是为非结构数据设计的。在融合层中DPCCN聚合了离散的图像特征并形成新的BEV 特征。传统的CNN权重学习是通过直接给定卷积模板中的某个位置对应的初始权重来学习的，但是三维点的位置是不固定的，不一定是离散的，所以不能通过下标的方式去得到数组的参数。DPCCN中的卷积核由多层感知机MLP定义，为：
（3）
其中，为点i的邻域点，/>为点/>的特征，/>为/>的对应的坐标。
假设本发明要根据FV特征计算BEV某一处的特征，首先根据K近邻在2D BEV平面中找到与之距离最近的k个点(图中五个彩色小圆圈)，然后反投影到3D空间内，再将这k个点投影到FV中，并找到每一个点所对应的图像特征，最后将这些图像特征和3D偏差合并到一起输入到MLP，输出BEV中对应位置的目标特征。
3D偏差为目标像素和点云中邻域点之间的相对位置关系，可以衡量不同的点对目标像素的贡献度。
b、按照深度分别对LiDAR点的特征进行连接。
c、对相同深度中的每一切片做1×1卷积操作，得到融合结果。
实施该处步骤b和步骤c的目的，主要是为了实现经多视图目标分类器模型（CAM）表示的可见光ROI、LiDAR ROI和红外ROI的特征融合。
在可见光图像特征和红外特征经过融合层得到在BEV上的3D特征后和原始的LiDAR特征合并到一起，和普通的直接合并不一样，为了增强算法的鲁棒性，这里增加了一层的卷积操作。增加这一层的主要作用有两个：（i）集成方法的优势：减少误差，（ii）允许特定于源的特征在融合过程之后仍然存在。通过该层可以使得来自不同来源的3D特征的通道可以选择性地混合。
F、获取多视图目标分类器模型。多视图目标分类器模型的初始结构为ResNet-50网络结构。
G、采用融合结果对多视图目标分类器模型进行训练，得到多源感知数据融合识别模型，具体包括：
a、采用融合结果对多视图目标分类器模型进行训练，得到多源感知数据融合识别模型，具体包括：
b、利用图像的类别标签，根据融合结果训练多视图目标分类器，得到与多视图目标分类器对应的多视图目标分类器模型后，以多视图目标分类器模型为初始伪标签，利用affinity net的方式对初始伪标签进行优化，得到优化后的伪标签结果。
c、确定多视图目标分类器模型中每一输出的Loss值。Loss值包括：位置Loss值和与该位置相对应的目标类别loss值。
d、在设定计算周期内，基于最大的Loss值更新多视图目标分类器模型的参数，得到多源感知数据融合识别模型。
具体的，本发明采用的产生多视图目标分类器模型的分类网络为ResNet-50网络结构，不同于目前主流专门用于弱监督分割任务产生多视图目标分类器模型而设计的ResNet-38，ResNet-50结构参数与计算量更少，在本发明采用的结构中，并没有为了保持提取特征的骨干网中的最后两层特征图大小不变，同时也要保证卷积核的感受野，而放弃下采样操作，使用空洞卷积。这样做虽然能够使最终产生多视图目标分类器模型的特征图的尺寸更大，能够保留更多的信息。输出的最后一层特征的是，这样做能够极大加快训练的速度。对于输入分类网络的图片数据的尺寸，采用的是最简单的/>，而不是目前主要用/>或者是/>，减少了运算量，证明了本发明提出的自适应池化模块是一个轻量级的结构。
在利用图像的类别标签，训练好分类网络，得到其对应多视图目标分类器模型后，把它作为初始伪标签，然后本发明利用了affinity net的方式去对其进行优化。其思路是，通过设计好的一个深度卷积网络，去预测像素间的相关性，而训练该affinity net的监督信息是之前多视图目标分类器模型产生的置信度高的前景和背景，相同语义类别语义关联度为1，不同语义类别语义关联度为0，而置信度低的区域不参与计算。为了减少计算量和减少无效的计算，每次都在一个半径范围内，该位置与圆内其他位置的相似度大小。训练得到的affinity net，对于输入的每张图像，都产生其所有像素位置的关联度矩阵，然后采用随机游走的方式，利用其关联度矩阵作为随机游走的状态转移矩阵，在原始输入的多视图目标分类器模型上进行随机游走，将多视图目标分类器模型的激活分传到同一语义类别的附近区域，从而得到更加完整的位置信息。从该过程可以看到，初始多视图目标分类器模型作为监督信息，他的准确性对于训练affinity net，从而得到最终的优化伪标签是产生直接影响的，而采用设计好的自适应池化分类网络模型的分类网络产生的多视图目标分类器模型具有更加准确的位置信息，引入更少的背景噪声，能够提供更精准的监督数据参与affinity net的训练，从而得到更加准确的像素相似度信息，进而得到更加准确的伪标签结果。
在Loss值的计算，具体包括如下过程：
RGB和红外两个输出的每一个馈入到相应的子输出（sub-output）损失中。每个子输出损失采用在相应通道视图中IoU分配的标签计算。融合层之前增加隐藏集成层增强网络的鲁棒性。对于多视图分类器中的每一个输出都计算位置Loss和位置对应的目标类别Loss。以BEV输出为例，类别Loss和位置Loss分别为：
其中分别为真实目标类别标签和预测目标类别。/>分别为真实目标位置和预测目标位置。
在计算得到Loss之后，为了得到最优的伪标签，还需要进行最大化单源噪声（MaxSSN）的处理，具体如下：
给定多源输入和真实标签y,/>为loss函数，若某一个输入被噪声污染，最大化单源噪声loss定义如下：
最小化MaxSSN需要次前向传播单不更新梯度，保留这几次的loss值，选择最大的一次更新参数。
综上，本发明提供的多源感知数据融合识别方法，能够通过分析不同传感器信息在数据结构、时间、空间的差异性，结合多模态信息处理技术，构建基于多传感器的多模态信息融合模型，实现多源传感器信息融合。面向实际应用场景，利用机器学习提取目标物特征，构建基于神经网络的多传感器目标感知深度学习框架，进而训练出目标感知模型，最终实现常见应用场景下的目标精准识别。本发明结合真实测试环境与天气及光照干扰对所提出多传感器目标识别模型不断迭代优化，提高其在复杂环境下的鲁棒性。在工程应用中，一旦确定模型参数，就无需再次训练，有效提升了效率。本发明算法原理简单，计算结果可靠，可具体应用于雷达干扰抑制数据分析中，具有广阔的应用价值和市场前景。
对应于上述提供的多源感知数据融合识别方法，本发明还提供了两种不同结构的多源感知数据融合识别系统。
其中，如图5所示，第一种多源感知数据融合识别系统，包括：观测数据获取模块500、多源目标多视图数据集构建模块501、多源感知数据融合识别模型获取模块502和目标检测模块503。
观测数据获取模块500用于获取环境的观测数据。环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光点云数据。
多源目标多视图数据集构建模块501用于根据观测数据构建第一多源目标多视图数据集。第一多源目标多视图数据集包括：BEV图、RGB图和红外图。
多源感知数据融合识别模型获取模块502用于获取多源感知数据融合识别模型。
目标检测模块503用于以第一多源目标多视图数据集为输入，采用多源感知数据融合识别模型识别待检测目标。
为了能够通过分析不同传感器信息的数据结构、时间和空间差异性，本发明提供的多源感知数据融合识别系统还包括多源感知数据融合识别模型构建模块。
进一步，为了提高数据融合和识别的精确度，上述多源感知数据融合识别模型构建模块具体包括：观测数据获取单元、多源目标多视图数据集构建单元、提取单元、数据融合模型获取单元、融合结果确定单元、多视图目标分类器模型获取单元和多源感知数据融合识别模型构建单元。
其中，观测数据获取单元用于获取目标的观测数据，包括：目标的可见光数据、目标的红外数据和目标的激光点云数据。
多源目标多视图数据集构建单元用于根据目标的观测数据集构建第二多源目标多视图数据集。第二多源目标多视图数据集包括：BEV图、RGB图和红外图。
提取单元用于提取第二多源目标多视图数据集的特征和感兴趣区域。
数据融合模型获取单元用于获取数据融合模型。数据融合模型为基于深度学习的目标多特征融合方法确定的模型。
融合结果确定单元用于采用数据融合模型，根据第二多源目标多视图数据集的特征和感兴趣区域得到融合结果。
多视图目标分类器模型获取单元用于获取多视图目标分类器模型。多视图目标分类器模型的初始结构为ResNet-50网络结构。
多源感知数据融合识别模型构建单元用于采用融合结果对多视图目标分类器模型进行训练，得到多源感知数据融合识别模型。
为了保证IR图像特征、RGB图像特征与LiDAR特征能够在同一特征维度下，本发明上述提供的融合结果确定单元可以优选包括：特征获取子单元、连接子单元和融合结果确定子单元。
其中，特征获取子单元用于获取第二多源目标多视图数据集中各图像的LiDAR点的特征。
连接子单元用于按照深度分别对LiDAR点的特征进行连接。
融合结果确定子单元用于对相同深度中的每一切片做1×1卷积操作，得到融合结果。
如图6所示，本发明提供的第二种多源感知数据融合识别系统，包括：
处理器（processor）600和存储器（memory）601，还可以包括通信接口（Communication Interface）602和总线603。其中，处理器600、通信接口602、存储器601可以通过总线603完成相互间的通信。通信接口602可以用于信息传输。处理器600可以调用存储器601中的逻辑指令，以执行上述实施例的用于气泡放电装置的控制方法。
此外，上述的存储器601中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器601作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器600通过运行存储在存储器601中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述方法实施例中的用于气泡放电装置的控制方法。
存储器601可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序。存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器601可以包括高速随机存取存储器，还可以包括非易失性存储器。
此外，本发明还提供一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令设置为执行上述多源感知数据融合识别方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。本公开实施例的范围包括权利要求书的整个范围，以及权利要求书的所有可获得的等同物。当用于本申请中时，虽然术语“第一”、“第二”等可能会在本申请中使用以描述各元件，但这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一个元件区别开。比如，在不改变描述的含义的情况下，第一元件可以叫做第二元件，并且同样第，第二元件可以叫做第一元件，只要所有出现的“第一元件”一致重命名并且所有出现的“第二元件”一致重命名即可。第一元件和第二元件都是元件，但可以不是相同的元件。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”（a）、“一个”（an）和“”（the）旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”（comprise）及其变型“包括”（comprises）和/或包括（comprising）等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品（包括但不限于装置、设备等），可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机可执行指令产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
Claims (6)
1.一种多源感知数据融合识别方法，其特征在于，包括：
获取环境的观测数据；所述环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光雷达点云数据；
根据所述环境的观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；
获取多源感知数据融合识别模型；
以所述第一多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标；
所述多源感知数据融合识别模型的构建过程，具体包括：
获取目标的观测数据；所述目标的观测数据包括：目标的可见光点数据、红外数据和激光雷达点云数据；
根据所述目标的观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；
提取所述第二多源目标多视图数据集的特征和感兴趣区域；
获取特征融合模型；所述特征融合模型为基于深度学习的目标多特征融合方法确定的模型；
采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；
获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；
采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型；
所述采用所述特征融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果，具体包括：
获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征；
按照深度分别对所述LiDAR点的特征进行连接；
对相同深度中的每一切片做1×1卷积操作，得到融合结果；
所述获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征，具体包括：
在所述第二多源目标多视图数据集中的BEV图上，采用k最邻近算法确定LiDAR点；
根据所述LiDAR点，将所述第二多源目标多视图数据集中的BEV图反投影到3D空间中，得到3D投影图像；
将所述3D投影图像进行投影，得到平面图像；
获取平面图像上像素和每一所述LiDAR点的偏置；
获取多层感知器，并根据所述偏置确定LiDAR点的特征；
采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型，具体包括：
获取初始多视图目标分类器；
利用图像的类别标签，根据所述融合结果训练所述初始多视图目标分类器，得到与所述初始多视图目标分类器对应的多视图目标分类器模型后，以所述多视图目标分类器模型计算初始伪标签，利用affinity net的方式对所述初始伪标签进行优化，得到优化后的伪标签结果；
基于所述伪标签结果确定多视图目标分类器模型中每一输出的Loss值；所述Loss值包括：位置Loss值和与该位置相对应的目标类别loss值；
在设定计算周期内，基于最大的Loss值更新所述多视图目标分类器模型的参数，得到多源感知数据融合识别模型。
2.一种多源感知数据融合识别系统，其特征在于，用于实现如权利要求1所述的一种多源感知数据融合识别方法，包括：
观测数据获取模块，用于获取环境的观测数据；所述环境的观测数据包括：环境的可见光数据、环境的红外数据和环境的激光雷达点云数据；
第一多源目标多视图数据集构建模块，用于根据所述环境的观测数据构建第一多源目标多视图数据集；所述第一多源目标多视图数据集包括：BEV图、RGB图和红外图；
多源感知数据融合识别模型获取模块，用于获取多源感知数据融合识别模型；
目标检测模块，用于以所述第一多源目标多视图数据集为输入，采用所述多源感知数据融合识别模型识别待检测目标。
3.根据权利要求2所述的多源感知数据融合识别系统，其特征在于，还包括多源感知数据融合识别模型构建模块；所述多源感知数据融合识别模型构建模块，具体包括：
观测数据获取单元，用于获取目标的观测数据；所述目标的观测数据包括：目标的可见光数据、目标的红外数据和目标的激光点云数据；
多源目标多视图数据集构建单元，用于根据所述观测数据构建第二多源目标多视图数据集；所述第二多源目标多视图数据集包括：BEV图、RGB图和红外图；
提取单元，用于提取所述第二多源目标多视图数据集的特征和感兴趣区域；
数据融合模型获取单元，用于获取数据融合模型；所述数据融合模型为基于深度学习的目标多特征融合方法确定的模型；
融合结果确定单元，用于采用所述数据融合模型，根据所述第二多源目标多视图数据集的特征和感兴趣区域得到融合结果；
多视图目标分类器模型获取单元，用于获取多视图目标分类器模型；所述多视图目标分类器模型的初始结构为ResNet-50网络结构；
多源感知数据融合识别模型构建单元，用于采用所述融合结果对所述多视图目标分类器模型进行训练，得到多源感知数据融合识别模型。
4.根据权利要求3所述的多源感知数据融合识别系统，其特征在于，所述融合结果确定单元，具体包括：
特征获取子单元，用于获取所述第二多源目标多视图数据集中各图像的LiDAR点的特征；
连接子单元，用于按照深度分别对所述LiDAR点的特征进行连接；
融合结果确定子单元，用于对相同深度中的每一切片做1×1卷积操作，得到融合结果。
5.一种多源感知数据融合识别系统，其特征在于，包括：
处理器、存储器、通讯接口和总线；
所述处理器、通信接口、存储器通过所述总线完成相互间的通信；
所述处理器用于调用所述存储器中的存储的逻辑指令，以执行如权利要求1所述的多源感知数据融合识别方法。
6.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令；所述计算机可执行指令用于执行如权利要求1所述的多源感知数据融合识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592973.9A CN113255779B (zh) | 2021-05-28 | 2021-05-28 | 多源感知数据融合识别方法、系统及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110592973.9A CN113255779B (zh) | 2021-05-28 | 2021-05-28 | 多源感知数据融合识别方法、系统及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113255779A CN113255779A (zh) | 2021-08-13 |
| CN113255779B true CN113255779B (zh) | 2023-08-18 |
Family
ID=77185139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110592973.9A Active CN113255779B (zh) | 2021-05-28 | 2021-05-28 | 多源感知数据融合识别方法、系统及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255779B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12106225B2 (en) | 2019-05-30 | 2024-10-01 | The Research Foundation For The State University Of New York | System, method, and computer-accessible medium for generating multi-class models from single-class datasets |
| CN114973181B (zh) * | 2022-07-29 | 2022-10-14 | 武汉极目智能技术有限公司 | 多目bev视角的环境感知方法、装置、设备及存储介质 |
| CN116597402A (zh) * | 2023-04-19 | 2023-08-15 | 华为技术有限公司 | 一种场景感知方法及其相关设备 |
| CN116665002B (zh) * | 2023-06-28 | 2024-02-27 | 北京百度网讯科技有限公司 | 图像处理方法、深度学习模型的训练方法和装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015157058A1 (en) * | 2014-04-07 | 2015-10-15 | Bae Systems Information & Electronic Systems Integration Inc. | Contrast based image fusion |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
| CN110826166A (zh) * | 2018-08-06 | 2020-02-21 | 中国科学院声学研究所 | 一种模型驱动的水下探测体系仿真系统 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| CN111461221A (zh) * | 2020-04-01 | 2020-07-28 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向自动驾驶的多源传感器融合目标检测方法和系统 |
| CN111783831A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 基于多源多标签共享子空间学习的复杂图像精确分类方法 |
| CN112509333A (zh) * | 2020-10-20 | 2021-03-16 | 智慧互通科技股份有限公司 | 一种基于多传感器感知的路侧停车车辆轨迹识别方法及系统 |
-
2021
- 2021-05-28 CN CN202110592973.9A patent/CN113255779B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015157058A1 (en) * | 2014-04-07 | 2015-10-15 | Bae Systems Information & Electronic Systems Integration Inc. | Contrast based image fusion |
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测系统 |
| CN110826166A (zh) * | 2018-08-06 | 2020-02-21 | 中国科学院声学研究所 | 一种模型驱动的水下探测体系仿真系统 |
| CN110873879A (zh) * | 2018-08-30 | 2020-03-10 | 沈阳航空航天大学 | 一种多源异构传感器特征深度融合的装置及方法 |
| CN110428008A (zh) * | 2019-08-02 | 2019-11-08 | 深圳市唯特视科技有限公司 | 一种基于多融合传感器的目标探测与识别装置和方法 |
| CN110929692A (zh) * | 2019-12-11 | 2020-03-27 | 中国科学院长春光学精密机械与物理研究所 | 一种基于多传感器信息融合的三维目标检测方法及装置 |
| CN111461221A (zh) * | 2020-04-01 | 2020-07-28 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种面向自动驾驶的多源传感器融合目标检测方法和系统 |
| CN111783831A (zh) * | 2020-05-29 | 2020-10-16 | 河海大学 | 基于多源多标签共享子空间学习的复杂图像精确分类方法 |
| CN112509333A (zh) * | 2020-10-20 | 2021-03-16 | 智慧互通科技股份有限公司 | 一种基于多传感器感知的路侧停车车辆轨迹识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| Object fusion tracking based on visible and infrared images: A comprehensive review;Xingchen Zhang等;《Information Fusion》;第63卷;第166-187页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255779A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255779B (zh) | 多源感知数据融合识别方法、系统及计算机可读存储介质 | |
| CN112417967B (zh) | 障碍物检测方法、装置、计算机设备和存储介质 | |
| Saleh et al. | Cyclist detection in lidar scans using faster r-cnn and synthetic depth images | |
| US12073575B2 (en) | Object-centric three-dimensional auto labeling of point cloud data | |
| JP2016062610A (ja) | 特徴モデル生成方法及び特徴モデル生成装置 | |
| EP3414641A1 (en) | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation | |
| Vaquero et al. | Dual-branch CNNs for vehicle detection and tracking on LiDAR data | |
| Schoenberg et al. | Segmentation of dense range information in complex urban scenes | |
| CN113267761B (zh) | 激光雷达目标检测识别方法、系统及计算机可读存储介质 | |
| Nguyen et al. | Real-time vehicle detection using an effective region proposal-based depth and 3-channel pattern | |
| Shi et al. | An improved lightweight deep neural network with knowledge distillation for local feature extraction and visual localization using images and LiDAR point clouds | |
| Lian et al. | Towards unified on-road object detection and depth estimation from a single image | |
| Shao et al. | Semantic segmentation for free space and lane based on grid-based interest point detection | |
| Li et al. | High-precision motion detection and tracking based on point cloud registration and radius search | |
| Hou et al. | Multi-modal feature fusion for 3D object detection in the production workshop | |
| Zhao et al. | DHA: Lidar and vision data fusion-based on road object classifier | |
| IL277741B2 (en) | System and method for visual positioning | |
| CN117789160A (zh) | 一种基于聚类优化的多模态融合目标检测方法及系统 | |
| Nayan et al. | Real time multi-class object detection and recognition using vision augmentation algorithm | |
| Venugopala | Comparative study of 3D object detection frameworks based on LiDAR data and sensor fusion techniques | |
| CN116778262A (zh) | 一种基于虚拟点云的三维目标检测方法和系统 | |
| Yusuf et al. | Data Fusion of Semantic and Depth Information in the Context of Object Detection | |
| CN116664851A (zh) | 一种基于人工智能的自动驾驶数据提取方法 | |
| Chai et al. | 3D gesture recognition method based on faster R-CNN network | |
| Kim et al. | Development of a real-time automatic passenger counting system using head detection based on deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |