CN110781927A - 车路协同下基于深度学习的目标检测与分类方法 - Google Patents

车路协同下基于深度学习的目标检测与分类方法 Download PDF

Info

Publication number
CN110781927A
CN110781927A CN201910962361.7A CN201910962361A CN110781927A CN 110781927 A CN110781927 A CN 110781927A CN 201910962361 A CN201910962361 A CN 201910962361A CN 110781927 A CN110781927 A CN 110781927A
Authority
CN
China
Prior art keywords
target
point cloud
cloud data
representing
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910962361.7A
Other languages
English (en)
Other versions
CN110781927B (zh
Inventor
郑建颖
张力文
徐浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN201910962361.7A priority Critical patent/CN110781927B/zh
Publication of CN110781927A publication Critical patent/CN110781927A/zh
Application granted granted Critical
Publication of CN110781927B publication Critical patent/CN110781927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了车路协同下基于深度学习的目标检测与分类方法,包括:获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类。本方法基于深度学习对目标进行了准确的检测与分类,既确定了目标的位置,也确定了目标的类型,基于该方法,实现了对城市交通进行有效的管理,保证了交通安全,提高了通行效率,从而形成的安全、高效和环保的道路交通系统。

Description

车路协同下基于深度学习的目标检测与分类方法
技术领域
本发明涉及目标检测与分类领域,具体是车路协同下基于深度学习的目标检测与分类方法。
背景技术
迅猛发展的社会经济为城市交通系统带来了更多的压力和挑战,如道路的拥堵和出行路线的错误决策等已经成为了阻碍交通效率提升的棘手问题。因此,研究者们提出了智能交通系统这一概念,寻求使用先进的技术手段解决交通中的现实问题,为交通参与者们提供更好的服务。
监控设备是智能交通系统中重要的道路基础设施,它可以通过车路协同技术为车辆提供周围的道路状况数据,从而有助于驾驶安全和通行效率。同时,它可以收集交通大数据,用于研究交通参与者的行为,构造更为精密的智能交通模型。因此,高精度和可靠的监控设备是ITS必不可少的先决条件。激光雷达是一种先进的数据采集传感器,它配备了许多激光发射器,通过主动发射激光并接收目标反射的信号来收集点云数据。激光雷达可以计算激光发射到返回的延迟,直接在三维空间中获得目标的准确位置。它具有探测距离长、定位精度高、不受环境光线变化的影响、全天候工作等优点,迎合了智能交通系统的实际需求,无疑为一种具有极大应用前景的交通监控设备。
目标检测是监控设备在智能交通系统中的一项最基本、也是最重要的任务。在点云数据中,传统的检测方法的核心大多是聚类。如先在场景中使用聚类算法寻找在帧序列中不发生移动的背景,然后根据点云与这些背景之间的相对位移来寻找目标。或者直接将场景中的点云聚类成簇,然后根据一些先验知识,如目标的位置、大小等,判断这些簇是否属于待检测的目标。但是,城市交通场景往往非常复杂,目标之间又存在着严重的遮挡,仅仅基于聚类算法和使用先验知识显然无法应对这些复杂的现实场景。同时,以上的方法仅能够在场景中定位出前景中的目标,但无法对这些目标进行分类。而城市交通系统对不同类型的交通参与者存在着不同的管理需求,而且还存在着大量的机动车、非机动车、行人混行的路段,道路目标的分类也扮演着至关重要的角色。
因此,如何在复杂的城市交通场景中,对目标进行准确的检测与分类是本领域技术人员亟待解决的问题。
发明内容
鉴于上述问题,本发明的目的是为了解决现有技术无法应对复杂的城市交通场景,不能精准的对目标进行检测与分类,进而不能对目标进行有效管理的问题。
本发明实施例提供车路协同下基于深度学习的目标检测与分类方法,包括:
获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;
采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类。
在一个实施例中,将所述目标的点云数据映射到矩阵中的计算过程,包括:
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure BDA0002229132110000031
Figure BDA0002229132110000032
Figure BDA0002229132110000033
其中,θ为球坐标系在水平方向上与法向量的夹角,为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。
在一个实施例中,根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类,包括:
通过卷积运算对卷积块进行特征提取;
通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
在一个实施例中,所述全连接网络,包括:
通过softmax函数描述类别的预测概率分布,公式如下:
Figure BDA0002229132110000035
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
在一个实施例中,所述全连接网络,还包括:
通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
Figure BDA0002229132110000036
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
第二方面,本发明还提供车路协同下基于深度学习的目标检测与分类系统,包括:
网格化模块,用于获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;
判断模块,用于采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
分类模块,用于根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类。
在一个实施例中,所述网格化模块,包括:
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure BDA0002229132110000041
Figure BDA0002229132110000043
其中,θ为球坐标系在水平方向上与法向量的夹角,为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。
在一个实施例中,所述分类模块,包括:
分类器子模块,用于通过卷积运算对卷积块进行特征提取;
加权校正子模块,用于通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
在一个实施例中,所述加权校正子模块,包括:
预测单元,用于通过softmax函数描述类别的预测概率分布,公式如下:
Figure BDA0002229132110000045
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
在一个实施例中,所述加权校正子模块,还包括:
评估优化单元,用于通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
Figure BDA0002229132110000051
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
本发明实施例提供的上述技术方案的有益效果至少包括:
本发明实施例提供的车路协同下基于深度学习的目标检测与分类方法,本方法采用基于网格化与帧融合的密度聚类对目标进行检测,避免了对欧氏距离的大量计算,降低了聚类的计算复杂度,采用帧融合可以提升聚类时的数据密度,也可以对后续分类环节的结果进行校正,有效地减少因形态过度残缺导致的分类错误,能够对目标进行准确检测与分类,进而对城市交通实现有效管理。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步地详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例提供的车路协同下基于深度学习的目标检测与分类方法的流程图;
图2为本发明实施例提供的步骤S101中笛卡尔坐标转换为球面坐标的示意图;
图3为本发明实施例提供的步骤S103流程图;
图4为本发明实施例提供的步骤S1032中的全连接网络的示意图;
图5为本发明实施例1提供的定位测试示意图;
图6为本发明实施例1提供的不带校正环节的分类测试示意图;
图7为本发明实施例1提供的带融合帧校正的分类测试示意图;
图8为本发明实施例提供的车路协同下基于深度学习的目标检测与分类系统的框图;
图9为本发明实施例提供的加权校正子模块832的框图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
参照图1所示,本发明实施例提供的车路协同下基于深度学习的目标检测与分类方法,该方法包括:步骤S101~S103;
S101、获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;具体的,通过一个一对一的球坐标系映射将空间中无序分布的点云投影至一个或多个同尺寸的特征矩阵中,来实现云点数据的网格化;
S102、采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
S103、根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类;其中,将来自邻域的三维坐标数据编码为可用于分类的高维语义信息,通过高维的局部特征对所述目标进行分类。
在本实施例中,采用基于网格化与帧融合的密度聚类对目标进行检测,避免了对欧氏距离的大量计算,降低了聚类的计算复杂度,采用帧融合可以提升聚类时的数据密度,也可以对后续分类环节的结果进行校正,有效地减少因形态过度残缺导致的分类错误,能够对目标进行准确检测与分类,进而对城市交通实现有效管理。
其中,步骤S102中,在网格化的基础上,采用基于网格化与帧融合的密度聚类(GF-DBSCAN),判断空间中目标的邻域关系和密度,基于网格化与帧融合的密度聚类(GF-DBSCAN)算法采用假定聚类结果可以通过密度来确定的方法来进行计算。
基于网格化与帧融合的密度聚类(GF-DBSCAN)充分利用了网格数据的在数据结构上的的优势,假设某两点在真实道路空间中的相邻的必要条件是两点网格化后的对应元素在特征矩阵中相邻,利用这一假设可以通过矩阵元素的索引快速且较为精确的筛选出某一点的待测邻域,然后仅计算该点与这一邻域中元素的欧氏距离最终确定空间中相邻关系,避免了大量且无用的计算,大大降低了聚类的计算复杂度和运行耗时。
在一个实施例中,参照图2所示,步骤S101,包括:
由于原始的点云数据为一组无序、离散的三维笛卡尔坐标构成,所以首先进行网格化,将点云映射到矩阵中,从而降低聚类的复杂度;
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure BDA0002229132110000071
Figure BDA0002229132110000072
Figure BDA0002229132110000073
其中,θ为球坐标系在水平方向上与法向量的夹角,为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。由于激光雷达上安装的激光发射器在垂直方向上以相同的角度间隔排列,并且它们在水平方向上以固定频率对场景进行采样,因此,点云在两个方向上都具有固定的分辨率,θ和
Figure BDA0002229132110000081
的分布都离散且间隔均匀。
进一步的,建立网格化后的点云特征矩阵组合(i,a,N),其中,i表示点云在球坐标系中的垂直角,a表示水平方位角,N表示特征矩阵的个数。根据实际需要N可以不同(例如当描述子是距离时特征N=1,当描述子是三维笛卡尔坐标时N=3),如果矩阵中某一位置的元素不存在,则可以根据需要将N设置为0或空值。
在本实施例中,与体素化或投影这些多对一的映射相比,由于点云从三维笛卡尔坐标系到球面坐标系的转换是一对一的,所以点云中包含的信息在数据转换的过程中不会丢失,数据转换的本质是重新对点云进行了空间排序,并将它们填入网格中,有利于判断点云之间的邻域关系,方便聚类操作,有利于对目标的准确检测。
在一个实施例中,参照图3-4所示,步骤S103中,基于上述GF-DBSCAN,卷积神经网络(CNN)只需对已找到的对象进行分类。
为了扩展特征维度,令输入网络的描述子为三维笛卡尔坐标(x,y,z),即N=3。同时,由于对象的真实类别不应在连续帧中改变,因此在帧融合中获取的连续数据可以用于提高网络的分类准确率,具体步骤S1031-S1032如下:
S1031、通过卷积运算对卷积块进行特征提取;
其中,由于简单直接堆叠网络的层数不仅不能提高性能,甚至会导致性能降低,所以,卷积运算被分成许多具有相同结构的卷积块(conv block)。
通过前馈路径直接将输入x与输出相加,可以使卷积块在训练期间拟合的复杂解函数f(x)退化为恒等映射f(x)=0,避免了因人为构造的网络深度超过解空间需求时导致的性能降低,即该设计能使我们的卷积神经网络(CNN)模型自适应问题所需的解空间深度。同时,使用简洁的多层感知器(MLP)构建另一类前馈路径,用于学习通道之间的权重w,然后使用w与对应通道的元素值相乘后作为每个通道的输出。
S1032、通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
在本实施例中,通过权重共享卷积核提取局部特征,即使全局特征被破坏,也能准确识别物体的特征,能够精确的对目标进行分类,满足了复杂的交通场景的实际需要。
在一个实施例中,上述步骤S1032中的全连接网络,包括:
通过softmax函数描述类别的预测概率分布,公式如下:
Figure BDA0002229132110000091
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
在一个实施例中,上述步骤S1032中的全连接网络,还包括:
通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
Figure BDA0002229132110000092
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
其中,交叉熵损失函数的本质是量化模型预测值和真实标签之间的偏差。学习过程中L的降低代表着模型的预测精度在提高、网络表现得越好。
下面通过一个完整的实施例来说明车路协同下基于深度学习的目标检测与分类方法的实验效果。
实施例1:
比如,将算法的测试建立在800帧已经完成人工标注的数据中,交通对象分为四类:大型车辆(货车和公共汽车),小型车辆(汽车),自行车和行人,共有4550个目标,包括860辆大型车辆,1530辆小型车辆,1450辆自行车和710名行人。
测试的结果如下:
1、定位测试
在实验中,使用不同IoU(Intersection-over-Union)阈值下的召回率来评估聚类算法的性能,召回率越高说明定位的精度越高。不同场景中的聚类结果低于2个IoU阈值如下表所示:
从上表与图5可知,与传统的DBSCAN相比,我们的GF-DBSCAN在计算速度方面表现良好。与另一种流行的聚类方法K-means相比,因为GF-DBSCAN具有无需事先指定簇个数、可以自动排除噪点等优势,在定位精度上取得了极大的优势。
2、不带校正环节的分类测试
实验中将数据根据点的数量和形态的完整度分为了三个不同的难度。不同难度下的分类结果如下表所示:
Figure BDA0002229132110000102
Figure BDA0002229132110000111
由上表与图6可知,与GF-DBSCAN+VGG16、Gaussian Distribution+Lenet5相比,GFD-net使用了更先进的基于卷积神经网络的分类器结构,在分类的结果上具有较大优势。与Pointnet、HOG+SVM相比,由于GFD-net基于局部特征,在高难度的数据中优势更加明显。
3、带融合帧校正的分类测试
通过融合不同帧来测试校正的结果与其对运算时间的影响,不同难度下的分类结果如下表所示:
Figure BDA0002229132110000112
Figure BDA0002229132110000121
由上表与图7可知,使用了带连续帧校正的算法比仅基于单帧的分类取得了更高的平均精度,而且由于连续帧的数据以并行方式输入到模型中,因此计算时间与单帧相比没有过度显著的增加,算法仍然能保证实时性。
在本实施例中,现有技术中,激光雷达在空间中的分辨率较低,导致点云中的特征稀少,根据所搭载的激光发射器的数量,激光雷达收集到一帧数据中的,点云个数约为20000-100000,这一数值远小于一张图片中的数百甚至数千万个像素。其次,在交通场景中,物体彼此遮挡,本身就稀少的特征还会因为遮挡而产生残缺,这更增加了分类的难度。对于上述问题,在定位阶段,许多同类型算法选择将3D点云投影到低维空间以增加数据密度,然后使用基于密度的聚类(DBSCAN)获取目标的点云簇。然而,基于密度的聚类算法需要通过大量计算点与点之间的欧氏距离评估点云的密度,该法计算复杂度太高,这不利于实现算法的实时性。在分类阶段,一些同类方法通过人工或机器学习等手段寻找点云中的全局特征,然后使用基于支持向量机(SVM)或决策树的分类器对点云进行分类。然而,这些方法寻找到的均为点云的全局特征,但由于交通场景中存在着严重遮挡,全局特征往往损失严重,分类正确率较低。
而本申请采用基于网格化与帧融合的密度聚类对目标进行检测,能够更加准确的对目标进行检测,并且通过权重共享卷积核提取点云数据的局部特征,对目标进行分类,在点云整体形态因遮挡被破坏的情况下依然可以被检测出并进行分类,因此满足了复杂交通场景的实际需要。其中,使用帧融合聚类获得到的连续数据对分类的结果进行校正,形态较为完好的帧应该在最终的分类结果中拥有更高的权重,而形态残缺的帧所占权重应较低,所以,使用帧融合聚类对分类结果进行校正的方法可以有效地减少因形态过度残缺导致的分类错误,提高分类准确度,实现了对城市交通的有效管理。
基于同一发明构思,本发明实施例还提供了车路协同下基于深度学习的目标检测与分类系统,由于该装置所解决问题的原理与前述车路协同下基于深度学习的目标检测与分类方法相似,因此该装置的实施可以参见前述方法的实施,重复之处不再赘述。
本发明实施例提供的车路协同下基于深度学习的目标检测与分类系统,参照图8所示,包括:
网格化模块81,用于获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;具体的,通过一个一对一的球坐标系映射将空间中无序分布的点云投影至一个或多个同尺寸的特征矩阵中,来实现云点数据的网格化;
判断模块82,用于采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
分类模块83,用于根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类;其中,将来自邻域的三维坐标数据编码为可用于分类的高维语义信息,通过高维的局部特征对所述目标进行分类。
在一个实施例中,所述网格化模块81,包括:
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure BDA0002229132110000131
Figure BDA0002229132110000132
Figure BDA0002229132110000133
其中,θ为球坐标系在水平方向上与法向量的夹角,
Figure BDA0002229132110000134
为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。
由于激光雷达上安装的激光发射器在垂直方向上以相同的角度间隔排列,并且它们在水平方向上以固定频率对场景进行采样,因此,点云在两个方向上都具有固定的分辨率,θ和
Figure BDA0002229132110000143
的分布都离散且间隔均匀。
在一个实施例中,参照图9所示,所述分类模块83,包括:
分类器子模块831,用于通过卷积运算对卷积块进行特征提取;
加权校正子模块832,用于通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
在一个实施例中,所述加权校正子模块832,包括:
预测单元8321,用于通过softmax函数描述类别的预测概率分布,公式如下:
Figure BDA0002229132110000141
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
在一个实施例中,所述加权校正子模块,还包括:
评估优化单元8322,用于通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
Figure BDA0002229132110000142
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
其中,交叉熵损失函数的本质是量化模型预测值和真实标签之间的偏差。学习过程中L的降低代表着模型的预测精度在提高、网络表现得越好。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.车路协同下基于深度学习的目标检测与分类方法,其特征在于,包括:
获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;
采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类。
2.如权利要求1所述的车路协同下基于深度学习的目标检测与分类方法,其特征在于,将所述目标的点云数据映射到矩阵中的计算过程,包括:
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure FDA0002229132100000011
Figure FDA0002229132100000012
Figure FDA0002229132100000013
其中,θ为球坐标系在水平方向上与法向量的夹角,
Figure FDA0002229132100000014
为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。
3.如权利要求1所述的车路协同下基于深度学习的目标检测与分类方法,其特征在于,根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类,包括:
通过卷积运算对卷积块进行特征提取;
通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
4.如权利要求3所述的车路协同下基于深度学习的目标检测与分类方法,其特征在于,所述全连接网络,包括:
通过softmax函数描述类别的预测概率分布,公式如下:
Figure FDA0002229132100000021
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
5.如权利要求4所述的车路协同下基于深度学习的目标检测与分类方法,其特征在于,所述全连接网络,还包括:
通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
Figure FDA0002229132100000022
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
6.车路协同下基于深度学习的目标检测与分类系统,其特征在于,包括:
网格化模块,用于获取目标的点云数据,并将所述目标的点云数据映射到矩阵中,对所述点云数据进行网格化;
判断模块,用于采用基于网格化与帧融合的密度聚类,判断空间中目标的邻域关系和密度;
分类模块,用于根据所述基于网格化与帧融合的密度聚类,通过权重共享卷积核提取所述点云数据的局部特征,对所述目标进行分类。
7.如权利要求6所述的车路协同下基于深度学习的目标检测与分类系统,其特征在于,所述网格化模块,包括:
将激光雷达视为一质点o,所有的激光都由o发出,则所述目标的点云数据的笛卡尔坐标一对一的映射到以o为中心的球面坐标系的转换公式如下所示:
Figure FDA0002229132100000031
Figure FDA0002229132100000032
Figure FDA0002229132100000033
其中,θ为球坐标系在水平方向上与法向量的夹角,
Figure FDA0002229132100000034
为球坐标系在垂直方向上与法向量的夹角,d为点到O的距离;x、y、z为目标点云数据的三维笛卡尔坐标。
8.如权利要求6所述的车路协同下基于深度学习的目标检测与分类系统,其特征在于,所述分类模块,包括:
分类器子模块,用于通过卷积运算对卷积块进行特征提取;
加权校正子模块,用于通过全连接网络,将在卷积块中提取的特征变换为所述目标属于类别的概率分布,对所述目标进行分类。
9.如权利要求6所述的车路协同下基于深度学习的目标检测与分类系统,其特征在于,所述加权校正子模块,包括:
预测单元,用于通过softmax函数描述类别的预测概率分布,公式如下:
Figure FDA0002229132100000035
其中,Sj表示模型预测的该目标属于第j类的概率分布,N表示分类的总数,aj表示神经元对于第j类的激活值,Sj的取值恒在[0,1]之间。
10.如权利要求6所述的车路协同下基于深度学习的目标检测与分类系统,其特征在于,所述加权校正子模块,还包括:
评估优化单元,用于通过交叉熵损失函数评估模型的性能并优化参数,公式如下:
其中,yj表示目标属于第j类的真实概率,i表示目标真实属于的类别,Sj表示模型预测的目标属于第j类的概率分布,Si表示正确种类的softmax值。
CN201910962361.7A 2019-10-11 2019-10-11 车路协同下基于深度学习的目标检测与分类方法 Active CN110781927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910962361.7A CN110781927B (zh) 2019-10-11 2019-10-11 车路协同下基于深度学习的目标检测与分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910962361.7A CN110781927B (zh) 2019-10-11 2019-10-11 车路协同下基于深度学习的目标检测与分类方法

Publications (2)

Publication Number Publication Date
CN110781927A true CN110781927A (zh) 2020-02-11
CN110781927B CN110781927B (zh) 2023-05-23

Family

ID=69385725

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910962361.7A Active CN110781927B (zh) 2019-10-11 2019-10-11 车路协同下基于深度学习的目标检测与分类方法

Country Status (1)

Country Link
CN (1) CN110781927B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369600A (zh) * 2020-02-12 2020-07-03 苏州大学 一种基于参照物的激光雷达点云数据配准方法
CN111401190A (zh) * 2020-03-10 2020-07-10 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111680754A (zh) * 2020-06-11 2020-09-18 北京字节跳动网络技术有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111898688A (zh) * 2020-08-04 2020-11-06 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN112199459A (zh) * 2020-09-30 2021-01-08 深兰人工智能(深圳)有限公司 3d点云分割方法、分割装置
CN114924274A (zh) * 2022-04-08 2022-08-19 苏州大学 一种基于固定网格的高动态铁路环境雷达感知方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110032949A (zh) * 2019-03-22 2019-07-19 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109543601A (zh) * 2018-11-21 2019-03-29 电子科技大学 一种基于多模态深度学习的无人车目标检测方法
CN109829399A (zh) * 2019-01-18 2019-05-31 武汉大学 一种基于深度学习的车载道路场景点云自动分类方法
CN110008843A (zh) * 2019-03-11 2019-07-12 武汉环宇智行科技有限公司 基于点云和影像数据的车辆目标联合认知方法和系统
CN110032949A (zh) * 2019-03-22 2019-07-19 北京理工大学 一种基于轻量化卷积神经网络的目标检测与定位方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369600A (zh) * 2020-02-12 2020-07-03 苏州大学 一种基于参照物的激光雷达点云数据配准方法
CN111369600B (zh) * 2020-02-12 2024-02-09 苏州大学 一种基于参照物的激光雷达点云数据配准方法
CN111401190A (zh) * 2020-03-10 2020-07-10 上海眼控科技股份有限公司 车辆检测方法、装置、计算机设备和存储介质
CN111680754A (zh) * 2020-06-11 2020-09-18 北京字节跳动网络技术有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111680754B (zh) * 2020-06-11 2023-09-19 抖音视界有限公司 图像分类方法、装置、电子设备及计算机可读存储介质
CN111898688A (zh) * 2020-08-04 2020-11-06 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN111898688B (zh) * 2020-08-04 2023-12-05 沈阳建筑大学 一种基于三维深度学习的机载LiDAR数据树种分类方法
CN112199459A (zh) * 2020-09-30 2021-01-08 深兰人工智能(深圳)有限公司 3d点云分割方法、分割装置
CN114924274A (zh) * 2022-04-08 2022-08-19 苏州大学 一种基于固定网格的高动态铁路环境雷达感知方法

Also Published As

Publication number Publication date
CN110781927B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110781927B (zh) 车路协同下基于深度学习的目标检测与分类方法
JP7430277B2 (ja) 障害物検出方法及び装置、コンピュータデバイス、並びにコンピュータプログラム
Chen et al. Distribution line pole detection and counting based on YOLO using UAV inspection line video
CN111832655B (zh) 一种基于特征金字塔网络的多尺度三维目标检测方法
CN106971563B (zh) 智能交通信号灯控制方法及系统
CN114639243B (zh) 智能交通预测与决策方法及可读存储介质
CN111626217A (zh) 一种基于二维图片和三维点云融合的目标检测和追踪方法
CN111553201B (zh) 一种基于YOLOv3优化算法的交通灯检测方法
CN111027430B (zh) 一种面向无人车智能评估的交通场景复杂度计算方法
CN112487919A (zh) 一种基于相机与激光雷达的3d目标检测与跟踪方法
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
CN112633176A (zh) 一种基于深度学习的轨道交通障碍物检测方法
CN114821507A (zh) 一种用于自动驾驶的多传感器融合车路协同感知方法
US11798289B2 (en) Streaming object detection and segmentation with polar pillars
CN115187964A (zh) 基于多传感器数据融合的自动驾驶决策方法及SoC芯片
CN113378751A (zh) 一种基于dbscan算法的交通目标识别方法
CN116830164A (zh) LiDAR去相关对象检测系统与方法
CN114821519B (zh) 一种基于坐标注意力的交通标志识别方法及系统
Zhang et al. Gc-net: Gridding and clustering for traffic object detection with roadside lidar
CN115100741A (zh) 一种点云行人距离风险检测方法、系统、设备和介质
Luo et al. Dynamic multitarget detection algorithm of voxel point cloud fusion based on pointrcnn
CN113378647B (zh) 基于三维点云的实时轨道障碍物检测方法
CN114120270A (zh) 一种基于注意力和采样学习的点云目标检测方法
Zhang et al. Multi-modal virtual-real fusion based transformer for collaborative perception
Chen et al. Identification and classification of trucks and trailers on the road network through deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant