CN111339830A - 一种基于多模态数据特征的目标分类方法 - Google Patents

一种基于多模态数据特征的目标分类方法 Download PDF

Info

Publication number
CN111339830A
CN111339830A CN202010063535.9A CN202010063535A CN111339830A CN 111339830 A CN111339830 A CN 111339830A CN 202010063535 A CN202010063535 A CN 202010063535A CN 111339830 A CN111339830 A CN 111339830A
Authority
CN
China
Prior art keywords
point
laser radar
channel data
data
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010063535.9A
Other languages
English (en)
Inventor
张新钰
周沫
谭启凡
李骏
刘华平
马浩淳
赵建辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN202010063535.9A priority Critical patent/CN111339830A/zh
Publication of CN111339830A publication Critical patent/CN111339830A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本发明提供了一种基于多模态数据特征的目标分类方法，包括以下步骤：采集激光雷达点云数据和RGB图像数据；获取激光雷达点云数据的若干特征；根据若干特征获得若干激光雷达特征图；对激光雷达特征图进行上采样并稠密化；获取激光雷达特征图的三通道数据，并与RGB图像数据融合形成六通道数据；采用深度学习网络模型对六通道数据进行训练，获得分类结果。本发明通过从激光雷达上获取的三个特征作为三通道数据与RGB图像的三通道数据融合形成六通道数据，通过使用深度学习网络模型对六通道数据进行训练，在训练之后针对每一个目标会获得多个不同的概率，在多个概率中选取概率最大的数值作为最后的目标分类结果，可以更加准确的检测出目标，准确率更高。

Description

一种基于多模态数据特征的目标分类方法
技术领域
本发明涉及多传感器融合及模式识别技术领域，特别是涉及一种基于多模态数据特征的目标分类方法。
背景技术
目标分类是开发智能驾驶汽车的必备技术之一，为加强智能驾驶汽车的环境感知能力，往往在车辆周围安装多类传感器。当前的目标分类方法大多是基于图像的计算机视觉方法。尽管视觉图像包含了最丰富的语义信息，但传统的光学相机对环境光照变化十分敏感，且图像计算需要消耗大量计算机资源。更重要的是，在高动态的驾驶条件下，视觉测距并不稳定，由于缺乏深度信息会导致基于图像的方法无法估计物体距离和分清道路上的重叠物体。雷达传感器可以提供具有高频率的精确距离信息，但数据分辨率太过稀疏导致使用具有一定的局限性。
在智能驾驶环境中，受车体振动，光线和相机测距精度的影响，深度特征的误差也相对较高，例如Kinect传感器无法用于室外远距离的目标检测。单一类型传感器对环境感知均存在一定的劣势，不能对目标更好的检测、分类。
发明内容
为了克服现有技术中不能对目标更好的检测、分类的问题，进而提供一种基于多模态数据特征的目标分类方法。
为了实现上述目的，本发明提供了一种基于多模态数据特征的目标分类方法，包括以下步骤：
采集激光雷达点云数据和RGB图像数据；
获取激光雷达点云数据的若干特征；
根据若干特征获得若干激光雷达特征图；
对激光雷达特征图进行上采样并稠密化；
获取激光雷达特征图的三通道数据，并与RGB图像数据融合形成六通道数据；
采用深度学习网络模型对六通道数据进行训练，获得分类结果。
优选地，特征包括深度距离特征、垂直高度特征和法向量角度特征。
优选地，激光雷达特征图包括深度特征图、高度特征图和角度特征图。
优选地，采用双边滤波器对激光雷达特征图进行上采样并稠密化处理；
对激光雷达特征图进行上采样并稠密化的步骤为：在激光雷达特征图中取任意点q点，激光雷达测量的q点表示深度的灰度值为Iq，通过q点上采样获得任意一点p点深度值，双边滤波器的计算公式为：
Figure BDA0002375260310000021
其中，Dp为上采样稠密化后p点的深度值；Wp为归一化因子；
Figure BDA0002375260310000022
为q点对p点深度的影响权重；
Figure BDA0002375260310000023
为距离惩罚项；‖p-q‖为p点和q点之间的欧几里德距离；N为激光雷达特征图上的像素点，其中N大于等于1。
优选地，获得深度特征图的步骤包括：
获取像素点对应的三维坐标点；
根据三维坐标点获取像素点的灰度值E，并获得深度特征图；
其中，公式为：
Figure BDA0002375260310000031
E(u，v)为像素点的灰度值，(x，y，z)为像素点对应的三维坐标点。
优选地，获得高度特征图的步骤包括：
根据垂直高度获得高度特征图，用灰度值Q来表示当前点到地面的垂直高度，距离地面越小灰度值越小；距离地面越大灰度值越大。
优选地，获得角度特征图的步骤包括：
获取像素点处于平面上的法向量；
采用像素点切平面上的两个切向量的叉乘积作为像素点的法向量；
根据像素点的法向量获取像素点的灰度值W，并获得角度特征图；
其中，公式为：
N＝Sx×Sy；
Figure BDA0002375260310000032
其中，(x，y)为像素点p的坐标。
优选地，深度学习网络模型为卷积神经网络模型；卷积神经网络模型包括从上到下依次排列的六个卷积层和两个全连接层。
优选地，全连接层包括从上到下依次排列的第一全连接层和第二全连接层，第二全连接层进行六通道数据分类。
优选地，获得分类结果步骤包括：
采用卷积神经网络模型对六通道数据进行训练；
第二全连接层进行六通道数据分类，输出六通道数据分类的概率M；
概率M中概率最大的作为分类结果。
本发明所述技术方案具有如下技术效果：
通过对获得的激光雷达特征图进行上采样并稠密化，使激光雷达特征图的分辨率与RGB图像一致。之后将从激光雷达上获取的三个特征，即深度距离特征、垂直高度特征和法向量角度特征作为三通道数据与RGB图像的三通道数据融合形成六通道数据。
通过使用深度学习网络模型对六通道数据进行训练，在训练之后针对每一个目标会获得多个不同的概率，在多个概率中选取概率最大的数值作为最后的目标分类结果。该方法可以更加准确的检测出目标，准确率更高，以有效地解决现有技术中存在的不能对目标更好的检测、分类的问题。
附图说明
图1是本发明中涉及的基于多模态数据特征的目标分类方法的操作流程示意图；
图2是本发明实施例中涉及的激光雷达采集的激光雷达点云数据示意图；
图3是本发明实施例中涉及的上采样稠密化的深度特征图；
图4是本发明实施例中涉及的上采样稠密化的高度特征图；
图5是本发明实施例中涉及的上采样稠密化的角度特征图；
图6是本发明实施例中涉及的卷积神经网络模型具体结构示意图；
图7是本发明实施例中涉及的卷积神经网络模型训练示意图；
图8是本发明实施例中涉及的卷积神经网络训练期间的平均准确率示意图。
具体实施方式
下面结合附图说明根据本发明的具体实施方式。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开的具体实施例的限制。
为了解决不能对目标更好的检测、分类的问题，本发明提供一种基于多模态数据特征的目标分类方法。
如图1所示，本发明提供一种基于多模态数据特征的目标分类方法，其特征在于，包括以下步骤：
S1、采集激光雷达点云数据和RGB图像数据；
下面将以一个具体的实现方式详细说明采集激光雷达点云数据和RGB图像数据的方法：
通过安装在智能驾驶汽车上的彩色摄像机获取RGB图像(图中未示出)。
示例地：彩色摄像机的频率为10Hz，分辨率：1392×512像素，视场角：90度×35度。
可以通过Velodyne HDL-64E激光雷达获取激光雷达点云数据(如图3所示)。并且彩色摄像机和Velodyne HDL-64E激光雷达的位置都已经做了标定，共采集了7481张RGB图像和与之对应的激光雷达点云；其中，7481张RGB图像和与之对应的激光雷达点云包含51865个目标，即选取KITTI数据集中的7418组数据。
从上述KITTI数据集的7418组数据即51865个目标中选取6843个目标的数据对用于实验，其中，包含1750辆汽车，1750名行人，1643辆卡车，1700辆自行车，最大像素为600×365，最小像素为30×30。选择五种道路对象，分别包括行人，自行车，小汽车，箱式货车，卡车和其它对象作为分类对象，其中，其它对象作为负样本类型，用来提高卷积神经网络模型这个分类器的鲁棒性和泛化能力。在6843个数据中的5475个数据用于训练，1368个数据用于测试，并且全部数据都含有标签。
S2、获取激光雷达点云数据的若干特征；
在本步骤中，获取激光雷达点云数据的特征，其中，特征包括深度距离特征、垂直高度特征和法向量角度特征。
S3、根据若干特征获得若干激光雷达特征图；
在本步骤中，将深度距离特征、垂直高度特征和法向量角度特征分别投影到图像上对应生成即深度特征图、高度特征图和角度特征图。
S31、具体的，通过获取深度距离特征，得到深度特征图的步骤为：
通过彩色摄像机和激光雷达的转换矩阵，将激光雷达点云数据转化到与RGB图像对应的像素空间，并获取像素点对应的三维坐标点。
根据三维坐标点获取像素点的灰度值E，并利用灰度值E获得深度特征图。
其中，公式为：
Figure BDA0002375260310000071
E(u，v)为像素点的灰度值，(x，y，z)为像素点对应的三维坐标点。
用灰度值E表示当前点到智能驾驶汽车的距离，其中，距离越远，灰度值越小；反之距离越近，灰度值越大。
S32、具体的，通过获取垂直高度特征，得到高度特征图的步骤为：
用灰度值Q来表示当前点到地面的垂直高度，距离地面越小灰度值越小；距离地面越大灰度值越大。
S33、具体的，通过获取法向量角度特征，得到角度特征图的步骤为：
获取像素点处于一定范围内平面上的法向量，例如当设置法向量计算窗口大小是5×5时，则从以该点为中心的25个点来估计p＝(x，y)的法线。可以使用其切平面上的两个切向量的叉乘积作为位置p的法向量：其中，公式为：
N＝Sx×Sy；
Figure BDA0002375260310000072
其中，(x，y)为像素点p的坐标；
根据像素点的法向量获取像素点的灰度值W，并获得角度特征图。
S4、对激光雷达特征图进行上采样并稠密化。
在本步骤中，当获得深度特征图、高度特征图和角度特征图后，采用双边滤波器对上述特征图进行上采样并稠密化处理，得到如图3所示的深度特征图、如图4所示的高度特征图、如图5所示角度特征图。此时获得的深度特征图、高度特征图和角度特征图分辨率与RGB图像的分辨率一致，便于后期的目标检测、分类。
其中步骤为：在激光雷达特征图中取任意点q点，激光雷达测量的q点表示深度的灰度值为Iq，通过q点上采样获得任意一点p点深度值，双边滤波器的计算公式为：
Figure BDA0002375260310000081
其中，由于q点为p点附近的点，则上采样后输出映射Dp的深度大小，都可以用其N邻域内稀疏部分的深度值计算；
Dp为上采样稠密化后p点的深度值；
Wp为归一化因子，确保转换后的值在灰度范围0-255之间；
Figure BDA0002375260310000082
为q点对p点深度的影响权重；一般来说，
Figure BDA0002375260310000083
的值与距离值成比例并且线性减小，作为惩罚来返回它们与激光雷达的测量距离的函数，且它只取一定范围的值(Iq∈N)来将权重
Figure BDA0002375260310000084
作归一化；
Figure BDA0002375260310000085
为距离惩罚项，它的大小与像素位置p和位置q之间的欧几里德距离‖p-q‖成反比；
‖p-q‖为p点和q点之间的欧几里德距离；
N为激光雷达特征图上的像素点，其中N大于等于1。
S5、获取激光雷达特征图的三通道数据，并与RGB图像数据融合形成六通道数据。
在本步骤中，将深度特征图、高度特征图和角度特征图中的三通道数据(即DHA通道特征)与RGB图像数据中的三通道数据(即RGB通道特征)合并为六通道数据(即RGBDHA数据集)。
S6、采用深度学习网络模型对六通道数据进行训练，获得分类结果。
如图6所示，在本步骤中，深度学习网络模型为卷积神经网络模型。卷积神经网络模型包括从上到下依次排列的六个卷积层和两个全连接层。其中，全连接层包括从上到下依次排列的第一全连接层和第二全连接层，即如图6所示的全连接层7和全连接层8。第二全连接层进行六通道数据分类。从卷积层1到卷积层6的参数都是固定的，以防止过度拟合，同时，第二全连接层即全连接层8为同RGBDHA数据集匹配的6分类。
如图6所示，具体的，卷积神经网络模型为改进的AlexNet模型。其中，卷积层1中具有96个卷积核，卷积核的尺寸为11×11×3，激活层1在卷积层1之后，池化层1在激活层1之后，标准化1(RPN)在池化层1之后。
卷积层2中具有256个卷积核，卷积核的尺寸为5×5×3，激活层2在卷积层2之后，池化层2在激活层2之后，标准化2(RPN)在池化层2之后。
卷积层3中具有384个卷积核，卷积核的尺寸为3×3×3，激活层3在卷积层3之后。
卷积层4中具有384个卷积核，卷积核的尺寸为3×3×3，激活层4在卷积层4之后。
卷积层5中具有256个卷积核，卷积核的尺寸为3×3×3，激活层5在卷积层5之后。
卷积层6中具有256个卷积核，卷积核的尺寸为3×3×3，激活层6在卷积层6之后，池化层6在激活层6之后。
即在卷积层1，卷积层2和卷积层6的卷积操作之后，图像做了最大池化。
第一全连接层为全连接层7，激活层7在全连接层7之后，全连接层7输出4096个数据。
第二全连接层为全连接层8，全连接层8输出6个数据，即输出六类分类结果。
如图7所示，使用该深度学习网络模型对生成的六通道数据进行训练。根据深度学习网络模型要求，需要将图像调整为128×128分辨率以获得有效输入，然后将它们作为输入数据放入深度学习网络模型中，进行训练，产生最终训练结果。其中，训练和测试过程在NVIDIA Jetson TX1上进行。训练数据的服务器配置为：CPU为Intel Core(TM)i7-5930K，频率为3.5GHz；2个GPU(显卡)，GPU为GeForce GTX titan x。测试数据的计算设备配置为NVIDIA Jetson TX1：CPU为ARM A57，GPU(显卡)为1TFLOP/s 256-core Maxwell。系统环境为Ubuntu16.04和CUDA8.0，使用Caffe框架下运行卷积神经网络模型模型。
如图8所示，显示了深度学习网络模型分别对RGB(三原色)特征通道数据和六通道数据在训练时的平均准确率。根据图像可知，在迭代进行到200次以后，基于六通道数据的分类准确率就明显比基于RGB(三原色)特征通道数据的高。在迭代训练约1300次以后，使用六通道数据的分类器的分类准确率最高可达约96％，相比较而言，仅仅使用RGB(三原色)特征通道数据的分类器的分类在迭代2000次左右才达到稳定，准确率最高仅为约81％。
综上所述采用深度学习网络模型对六通道数据进行训练比基于对RGB(三原色)特征通道数据的训练得到的准确率最高，效果更好。
表1为基于六通道数据分类结果的混淆矩阵。在混淆矩阵中，主对角线中的值是能够正确分类的目标所占的百分比，其它值为错误分类代表其它目标的百分比。
表1基于六通道数据分类结果的混淆矩阵(％)
Figure BDA0002375260310000111
Figure BDA0002375260310000121
从混淆矩阵中可以发现行人和自行车的分类结果完全正确。有1.4％的小汽车误分类为其它。箱式货车中有7％误分类为卡车，1.6％误分类为其它。卡车中有8.6％误分类为箱式货车，2.8％误分类为其它。有2.8％的其它目标误分类为箱式货车。
实验结果中只有小部分小汽车、箱式货车和卡车被误分类成其它类别，分类结果的主要问题发生在卡车和箱式货车的分类错误。这个错误的原因可能是所用数据集中的这两个类别的车非常相似，特别是从背面检测时，很难区分这两种类型的货车。
综上所述，通过对获得的激光雷达特征图进行上采样并稠密化，使激光雷达特征图的分辨率与RGB图像一致。之后将从激光雷达上获取的三个特征，即深度距离特征、垂直高度特征和法向量角度特征作为三通道数据与RGB图像的三通道数据融合形成六通道数据。通过使用深度学习网络模型对六通道数据进行训练，在训练之后针对每一个目标会获得多个不同的概率，在多个概率中选取概率最大的数值作为最后的目标分类结果。
该方法可以更加准确的检测出目标，准确率更高，以有效地解决现有技术中存在的不能对目标更好的检测、分类的问题。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态数据特征的目标分类方法，其特征在于，包括以下步骤：
采集激光雷达点云数据和RGB图像数据；
获取所述激光雷达点云数据的若干特征；
根据若干所述特征获得若干激光雷达特征图；
对所述激光雷达特征图进行上采样并稠密化；
获取所述激光雷达特征图的三通道数据，并与所述RGB图像数据融合形成六通道数据；
采用深度学习网络模型对所述六通道数据进行训练，获得分类结果。
2.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，所述特征包括深度距离特征、垂直高度特征和法向量角度特征。
3.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，所述激光雷达特征图包括深度特征图、高度特征图和角度特征图。
4.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，采用双边滤波器对所述激光雷达特征图进行上采样并稠密化处理；
对所述激光雷达特征图进行上采样并稠密化的步骤为：在所述激光雷达特征图中取任意点q点，激光雷达测量的q点表示深度的灰度值为Iq，通过q点上采样获得任意一点p点深度值，所述双边滤波器的计算公式为：
Figure FDA0002375260300000021
其中，Dp为上采样稠密化后p点的深度值；Wp为归一化因子；
Figure FDA0002375260300000022
为q点对p点深度的影响权重；
Figure FDA0002375260300000023
为距离惩罚项；‖p-q‖为p点和q点之间的欧几里德距离；N为激光雷达特征图上的像素点，其中N大于等于1。
5.根据权利要求3所述的基于多模态数据特征的目标分类方法，其特征在于，获得所述深度特征图的步骤包括：
获取像素点对应的三维坐标点；
根据所述三维坐标点获取所述像素点的灰度值E，并获得所述深度特征图；
其中，公式为：
Figure FDA0002375260300000024
E(u，v)为像素点的灰度值，(x，y，z)为像素点对应的三维坐标点。
6.根据权利要求3所述的基于多模态数据特征的目标分类方法，其特征在于，获得所述高度特征图的步骤包括：
根据垂直高度获得所述高度特征图，用灰度值Q来表示当前点到地面的垂直高度，距离地面越小灰度值越小；距离地面越大灰度值越大。
7.根据权利要求3所述的基于多模态数据特征的目标分类方法，其特征在于，获得所述角度特征图的步骤包括：
获取所述像素点处于平面上的法向量；
采用所述像素点切平面上的两个切向量的叉乘积作为所述像素点的法向量；
根据所述像素点的法向量获取所述像素点的灰度值W，并获得所述角度特征图；
其中，公式为：
N＝Sx×Sy；
Figure FDA0002375260300000031
其中，(x，y)为所述像素点p的坐标。
8.根据权利要求1所述的基于多模态数据特征的目标分类方法，其特征在于，所述深度学习网络模型为卷积神经网络模型；所述卷积神经网络模型包括从上到下依次排列的六个卷积层和两个全连接层。
9.根据权利要求8所述的基于多模态数据特征的目标分类方法，其特征在于，所述全连接层包括从上到下依次排列的第一全连接层和第二全连接层，所述第二全连接层进行所述六通道数据分类。
10.根据权利要求9所述的基于多模态数据特征的目标分类方法，其特征在于，获得分类结果步骤包括：
采用卷积神经网络模型对所述六通道数据进行训练；
所述第二全连接层进行所述六通道数据分类，输出所述六通道数据分类的概率M；
所述概率M中概率最大的作为分类结果。
CN202010063535.9A 2020-01-20 2020-01-20 一种基于多模态数据特征的目标分类方法 Pending CN111339830A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010063535.9A CN111339830A (zh) 2020-01-20 2020-01-20 一种基于多模态数据特征的目标分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010063535.9A CN111339830A (zh) 2020-01-20 2020-01-20 一种基于多模态数据特征的目标分类方法

Publications (1)

Publication Number Publication Date
CN111339830A true CN111339830A (zh) 2020-06-26

Family

ID=71185206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010063535.9A Pending CN111339830A (zh) 2020-01-20 2020-01-20 一种基于多模态数据特征的目标分类方法

Country Status (1)

Country Link
CN (1) CN111339830A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN112183578A (zh) * 2020-09-01 2021-01-05 国网宁夏电力有限公司检修公司 一种目标检测方法、介质及系统
CN112766135A (zh) * 2021-01-14 2021-05-07 北京航空航天大学杭州创新研究院 目标检测方法、装置、电子设备和存储介质
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113239749A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多模态联合学习的跨域点云语义分割方法
CN114638764A (zh) * 2022-03-25 2022-06-17 江苏元贞智能科技有限公司 基于人工智能的多曝光图像融合方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107576960A (zh) * 2017-09-04 2018-01-12 苏州驾驶宝智能科技有限公司 视觉雷达时空信息融合的目标检测方法及系统
CN109146929A (zh) * 2018-07-05 2019-01-04 中山大学 一种基于事件触发相机与三维激光雷达融合系统下的物体识别与配准方法
CN110543858A (zh) * 2019-09-05 2019-12-06 西北工业大学 多模态自适应融合的三维目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANHUI ZHAO ET AL.: "DHA: Lidar and Vision data Fusion-based On Road Object Classifier", 《INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 *
安德鲁•理查德森: "《视觉传达革命 数据视觉化设计》", 31 July 2018, 中国青年出版社 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860425A (zh) * 2020-07-30 2020-10-30 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
CN111860425B (zh) * 2020-07-30 2021-04-09 清华大学 一种深度多模态跨层交叉融合方法、终端设备及存储介质
US11120276B1 (en) 2020-07-30 2021-09-14 Tsinghua University Deep multimodal cross-layer intersecting fusion method, terminal device, and storage medium
CN112183578A (zh) * 2020-09-01 2021-01-05 国网宁夏电力有限公司检修公司 一种目标检测方法、介质及系统
CN112183578B (zh) * 2020-09-01 2023-05-23 国网宁夏电力有限公司检修公司 一种目标检测方法、介质及系统
CN112766135A (zh) * 2021-01-14 2021-05-07 北京航空航天大学杭州创新研究院 目标检测方法、装置、电子设备和存储介质
CN112766135B (zh) * 2021-01-14 2024-03-19 北京航空航天大学杭州创新研究院 目标检测方法、装置、电子设备和存储介质
CN113065590A (zh) * 2021-03-26 2021-07-02 清华大学 一种基于注意力机制的视觉与激光雷达多模态数据融合方法
CN113239749A (zh) * 2021-04-27 2021-08-10 四川大学 一种基于多模态联合学习的跨域点云语义分割方法
CN114638764A (zh) * 2022-03-25 2022-06-17 江苏元贞智能科技有限公司 基于人工智能的多曝光图像融合方法及系统
CN114638764B (zh) * 2022-03-25 2023-01-24 江苏元贞智能科技有限公司 基于人工智能的多曝光图像融合方法及系统

Similar Documents

Publication Publication Date Title
CN109635685B (zh) 目标对象3d检测方法、装置、介质及设备
CN111339830A (zh) 一种基于多模态数据特征的目标分类方法
Heinzler et al. Cnn-based lidar point cloud de-noising in adverse weather
US11093799B2 (en) Rare instance classifiers
CN107729801B (zh) 一种基于多任务深度卷积神经网络的车辆颜色识别系统
Vaudrey et al. Differences between stereo and motion behaviour on synthetic and real-world stereo sequences
CN111160120A (zh) 基于迁移学习的Faster R-CNN物品检测方法
CN111046781B (zh) 一种基于三元注意力机制的鲁棒三维目标检测方法
CN111160249A (zh) 基于跨尺度特征融合的光学遥感图像多类目标检测方法
CN113506318B (zh) 一种车载边缘场景下的三维目标感知方法
US10878259B2 (en) Vehicle detecting method, nighttime vehicle detecting method based on dynamic light intensity and system thereof
CN112949633B (zh) 一种基于改进YOLOv3的红外目标检测方法
CN110569782A (zh) 一种基于深度学习目标检测方法
CN107545263A (zh) 一种物体检测方法及装置
CN113269040A (zh) 结合图象识别与激光雷达点云分割的驾驶环境感知方法
CN109886086B (zh) 基于hog特征和线性svm级联分类器的行人检测方法
CN111242046B (zh) 一种基于图像检索的地面交通标志识别方法
CN115631344B (zh) 一种基于特征自适应聚合的目标检测方法
CN106407951A (zh) 一种基于单目视觉的夜间前方车辆检测方法
Zelener et al. Cnn-based object segmentation in urban lidar with missing points
CN116486368A (zh) 基于自动驾驶场景下的多模态融合三维目标鲁棒检测方法
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
Sheu et al. FHI-Unet: faster heterogeneous images semantic segmentation design and edge AI implementation for visible and thermal images processing
CN111476226B (zh) 一种文本定位方法、装置及模型训练方法
CN110910497B (zh) 实现增强现实地图的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200626