CN113721255A - 基于激光雷达与视觉融合的列车站台停车点精准检测方法 - Google Patents

基于激光雷达与视觉融合的列车站台停车点精准检测方法 Download PDF

Info

Publication number
CN113721255A
CN113721255A CN202110939927.1A CN202110939927A CN113721255A CN 113721255 A CN113721255 A CN 113721255A CN 202110939927 A CN202110939927 A CN 202110939927A CN 113721255 A CN113721255 A CN 113721255A
Authority
CN
China
Prior art keywords
station
image
platform
probability
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110939927.1A
Other languages
English (en)
Other versions
CN113721255B (zh
Inventor
周彬
杨松岳
王章宇
余贵珍
刘文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110939927.1A priority Critical patent/CN113721255B/zh
Publication of CN113721255A publication Critical patent/CN113721255A/zh
Application granted granted Critical
Publication of CN113721255B publication Critical patent/CN113721255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括:S1:构建视觉分类网络,实现图像的特征提取;S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集特征间的最小距离;S4:构建点云分类网络对轨道站台和非站台帧分类,得到当前点云帧属于不同站台停车点的概率;S5:对S3得到的最小距离和S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台i d。

Description

基于激光雷达与视觉融合的列车站台停车点精准检测方法
技术领域
本发明属于轨道交通自动驾驶技术领域,更具体地涉及一种基于激光雷达与视觉融合的列车站台停车点精准检测方法。
背景技术
轨道交通每天输送大量人员,给人们出行生活带来了极大的便利。为保证乘客有序上下车,需要让列车具备站台停车点精准检测功能,保证列车可以精准停车对位。同时这一功能还让列车具备在关键位置精准定位的能力,辅助列车在关键区域进行定位矫正。当前的站台停车点检测基本依赖于轨道区域布设的应答器与列车通讯进行定位。这不但增加了布设成本,还过于依赖列车与应答器之间的通讯能力。
当前有研究者对站台检测展开研究。例如公布号为CN211617679U的中国实用新型专利,公开了在列车车头和车尾上分别安装激光和毫米波检测单元,通过传感器信号实现站台停车点检测。但是在列车车头和车尾架设检测多个检测单元工程量较大,需要依靠检测单元之间的网络通信,并且只能检测是否为站台,无法分辨站台名称。公开号为CN111856441A的中国发明专利申请,公开了通过车载摄像头实现列车站台停车点精准检测,但是单独依靠摄像头进行检测容易受到传感器安装角度和光线变换的影响,检测效果易受到外界干扰,鲁棒性和稳定性较低。
为了解决本领域的上述问题,本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过多传感器融合来实现车载自主站台停车点精准检测。
发明内容
为了克服上述现有技术的缺点,并解决现有站台停车点检测算法需要架设大量传感器并且过于依赖网络通讯的问题,本发明提供一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,能够通过车载激光雷达和视觉传感器实现站台停车点精准检测。
根据本发明的实施方式提供了一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的视觉特征数据集进行相似度度量,得到当前特征与不同站台停车点数据集特征间的最小距离;
S4:构建点云分类网络对轨道站台和非站台帧进行分类,得到当前点云帧属于不同站台停车点的概率;
S5:对S3和S4得到的结果通过DS判据进行融合,融合的结果通过阈值判定判断当前停车点的站台id。
在一个可选的实施方式中,步骤S1可以包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI
在一个可选的实施方式中,所述步骤S2可以包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的特征存入视觉特征数据集L。
在一个可选的实施方式中,所述步骤S3可以包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
Figure BDA0003214481300000031
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
Figure BDA0003214481300000032
d=(d1,d2,…,di),i∈{1,2,…,m}。
在一个可选的实施方式中,所述步骤S4可以包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
Figure BDA0003214481300000041
其中,
Figure BDA0003214481300000042
表示当前点云是站台i的概率,
Figure BDA0003214481300000043
表示当前点云是非站台的概率。
在一个可选的实施方式中,所述步骤S5可以包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
Figure BDA0003214481300000044
Figure BDA0003214481300000045
其中,d0为自行设置的非站台距离阈值,对应的
Figure BDA00032144813000000413
为当前图像特征是非站台的概率,
Figure BDA00032144813000000412
为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,
Figure BDA0003214481300000046
表示计算e的次方,不是变量);
S5-2:计算通过步骤S5-1得到的图像站台概率
Figure BDA00032144813000000411
和通过步骤S4经由激光雷达得到的点云站台概率
Figure BDA0003214481300000047
之间的冲突程度G
Figure BDA0003214481300000048
Figure BDA0003214481300000049
Figure BDA00032144813000000410
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,
Figure BDA0003214481300000056
为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
Figure BDA0003214481300000051
其中,ki表示站台i的权重,
Figure BDA0003214481300000052
表示当前点云是站台i的概率,
Figure BDA0003214481300000057
为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
Figure BDA0003214481300000053
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,
Figure BDA0003214481300000054
表示当前点云是站台i的概率,
Figure BDA0003214481300000058
为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
Figure BDA0003214481300000055
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度
Figure BDA0003214481300000059
则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,
Figure BDA00032144813000000510
是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果
Figure BDA00032144813000000511
或者indext=0,
则rest=0,即当前不是站台停车点,否则执行以下步骤S5-8,
其中,
Figure BDA00032144813000000512
表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext
本发明的实施方式至少具有以下优点。本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过参考附图和以下说明,本发明的其它装置、设备、系统、方法、特征和优点将是明显的。包括在本说明书中的所有的另外的这种系统、方法、特征和优点都在本发明的范围内,且由所附权利要求保护。
附图说明
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制,重点应放在示出本发明的原理上。
图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。
图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。
图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。
图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是,除非另有说明,本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
以下结合附图对本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法进行详细说明。图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
参考图1,本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法包括以下步骤:
S1:构建视觉分类网络,并且构建图像特征提取网络,实现图像的分类和图像的特征提取(如图2所示);
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集(如图2中点线虚线框所示);
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前点云帧特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台点云帧和非站台点云帧进行分类(如图3所示),得到当前点云帧属于不同站台停车点的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据(Dempster-Shaferenvidence theory)进行融合,融合的结果通过阈值判定判断当前的站台停车点id(如图4所示)。
上述图像特征提取网络是视觉分类网络的一部分,可以先获得视觉分类网络,再从视觉分类网络中截取视觉分类网络的一部分,得到图像特征提取网络。
参考图2,进一步地,所述步骤S1的可包括以下步骤:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类(如图2所示);
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI。由于图像特征提取网络是图像分类网络结构的一部分,该对应的层指图像特征提取网络与图像分类网络中结构一致的部分。
进一步地,所述步骤S2的处理过程可包括以下步骤:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,其中j∈{1,2,…,ni},构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库S=∪i∈{1,2,…,m}Si,其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量li,j=FI(Ii,j),并将所有提取到的特征存入视觉特征数据集L,其中li,j表示图像Iij所对应的图像特征。
进一步地,所述步骤S3可包括以下步骤:
S3-1:类同于步骤S2-2,通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
Figure BDA0003214481300000091
应理解,上述计算包括但不限于使用L1范数,还可使用L2范数等;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
Figure BDA0003214481300000092
d=(d1,d2,…,di),i∈{1,2,…,m}。
根据上述说明可理解,在该实施方式中,通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题
参考图3,进一步地,所述步骤S4可包括以下步骤:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp(如图3所示);
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
Figure BDA0003214481300000101
其中,
Figure BDA0003214481300000102
表示当前点云是站台i的概率,
Figure BDA0003214481300000103
表示当前点云是非站台的概率。
通过以上对步骤S4的说明可理解,其中通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题。
参考图4,进一步地,所述步骤S5可包括以下步骤:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
Figure BDA0003214481300000104
Figure BDA0003214481300000105
其中,d0为自行设置的非站台距离阈值,对应的
Figure BDA00032144813000001010
为当前图像特征是非站台的概率,
Figure BDA00032144813000001011
为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,
Figure BDA0003214481300000106
表示计算e的(dmax-di)次方;
S5-2:计算通过步骤S5-1得到的图像站台概率
Figure BDA00032144813000001012
和通过步骤S4经由激光雷达得到的点云站台概率
Figure BDA0003214481300000107
之间的冲突程度G
Figure BDA0003214481300000108
Figure BDA0003214481300000109
Figure BDA0003214481300000111
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,
Figure BDA0003214481300000116
为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
Figure BDA0003214481300000112
其中,ki表示站台i的权重,
Figure BDA0003214481300000113
表示当前点云是站台i的概率,
Figure BDA0003214481300000117
为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
Figure BDA0003214481300000114
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,
Figure BDA0003214481300000118
表示当前点云是站台i的概率,
Figure BDA0003214481300000119
为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
Figure BDA0003214481300000115
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度
Figure BDA00032144813000001111
则当前停车点的站台id为rest=rest-1
否则执行以下步骤S5-7,其中
Figure BDA00032144813000001112
是自行设定的阈值,pθ表示不确定程度,rest-1表示上一时刻输出的站台id;
S5-7:如果
Figure BDA00032144813000001110
或者indext=0,
则rest=0,即当前不是站台停车点,
否则执行以下步骤S5-8,
其中,
Figure BDA0003214481300000121
表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext
通过上述关于步骤S5的说明可理解,其中基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题。此外,通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过上述本发明的实施方式所提供的方法,可以在站台不先行布设大量传感器的前提下,只通过列车车载传感器实现列车运行全过程站台停车点的高效稳定检测。
通过上述说明可理解,根据本发明的实施方式所提供的基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
应理解,前述仅说明了一些实施方式,可进行改变、修改、增加和/或变化而不偏离所公开的实施方式的范围和实质,该实施方式是示意性的而不是限制性的。此外,所说明的实施方式涉及当前考虑为最实用和最优选的实施方式,其应理解为实施方式不应限于所公开的实施方式,相反地,旨在覆盖包括在该实施方式的实质和范围内的不同的修改和等同设置。此外,上述说明的多种实施方式可与其它实施方式共同应用,如,一个实施方式的方面可与另一个实施方式的方面结合而实现再另一个实施方式。另外,任何给定组件的各独立特征或构件可构成另外的实施方式。
以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (6)

1.一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前点云帧特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台和非站台帧进行分类,得到当前点云帧属于不同站台的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台id。
2.根据权利要求1所述的基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,所述步骤S1包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型;
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI
3.根据权利要求2所述的基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,所述步骤S2包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的图像特征存入视觉特征数据集L。
4.根据权利要求1所述的基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,所述步骤S3包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j
Figure FDA0003214481290000021
其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
Figure FDA0003214481290000031
d=(d1,d2,…,di),i∈{1,2,…,m}。
5.根据权利要求4所述的基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,所述步骤S4包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
Figure FDA0003214481290000032
其中,
Figure FDA0003214481290000033
表示当前点云是站台i的概率,
Figure FDA0003214481290000034
表示当前点云是非站台的概率。
6.根据权利要求5所述的基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,所述步骤S5包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
Figure FDA0003214481290000035
Figure FDA0003214481290000036
其中,d0为自行设置的非站台距离阈值,对应的
Figure FDA0003214481290000037
为当前图像特征是非站台的概率,
Figure FDA0003214481290000038
为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离;
S5-2:获得通过步骤S5-1得到的图像站台概率
Figure FDA0003214481290000039
和通过步骤S4经由激光雷达得到的点云站台概率
Figure FDA0003214481290000041
之间的冲突程度G
Figure FDA0003214481290000042
Figure FDA0003214481290000043
Figure FDA0003214481290000044
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积;
S5-3:计算各个站台分配的权重
Figure FDA0003214481290000045
其中,ki表示站台i的权重,
Figure FDA0003214481290000046
表示当前点云是站台i的概率,
Figure FDA0003214481290000047
为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
Figure FDA0003214481290000048
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,
Figure FDA0003214481290000049
表示当前点云是站台i的概率,
Figure FDA00032144812900000410
为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
Figure FDA00032144812900000411
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度
Figure FDA00032144812900000413
则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,
Figure FDA00032144812900000414
是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果
Figure FDA00032144812900000412
或者indext=0,
则rest=0,即当前不是停车点站台,否则执行以下步骤S5-8,
其中,
Figure FDA0003214481290000051
表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是停车点站台,站台id为rest=indext
CN202110939927.1A 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法 Active CN113721255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939927.1A CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939927.1A CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Publications (2)

Publication Number Publication Date
CN113721255A true CN113721255A (zh) 2021-11-30
CN113721255B CN113721255B (zh) 2023-09-26

Family

ID=78676697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939927.1A Active CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Country Status (1)

Country Link
CN (1) CN113721255B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080150786A1 (en) * 1997-10-22 2008-06-26 Intelligent Technologies International, Inc. Combined Imaging and Distance Monitoring for Vehicular Applications
KR100869835B1 (ko) * 2007-08-03 2008-11-21 한국철도기술연구원 다중 센서 기반의 승강장 모니터링 시스템
WO2014160027A1 (en) * 2013-03-13 2014-10-02 Image Sensing Systems, Inc. Roadway sensing systems
CN109425365A (zh) * 2017-08-23 2019-03-05 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
WO2019071840A1 (zh) * 2017-10-13 2019-04-18 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
US20190248390A1 (en) * 2018-02-15 2019-08-15 Hi-Tec Security Systems Ltd. Track intrusion detection system
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111547085A (zh) * 2020-04-22 2020-08-18 中国铁路设计集团有限公司 自移动式轨道交通三维扫描系统
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
US20200379114A1 (en) * 2017-08-04 2020-12-03 Tsinghua University Detecting system fusing lidar point cloud and image
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统
GB2584619A (en) * 2019-05-23 2020-12-16 The Local Data Company Ltd Electronic counting device and method for counting objects
CN112488022A (zh) * 2020-12-11 2021-03-12 武汉理工大学 一种环视全景监控方法、装置及系统
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080150786A1 (en) * 1997-10-22 2008-06-26 Intelligent Technologies International, Inc. Combined Imaging and Distance Monitoring for Vehicular Applications
KR100869835B1 (ko) * 2007-08-03 2008-11-21 한국철도기술연구원 다중 센서 기반의 승강장 모니터링 시스템
WO2014160027A1 (en) * 2013-03-13 2014-10-02 Image Sensing Systems, Inc. Roadway sensing systems
US20200379114A1 (en) * 2017-08-04 2020-12-03 Tsinghua University Detecting system fusing lidar point cloud and image
CN109425365A (zh) * 2017-08-23 2019-03-05 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
WO2019071840A1 (zh) * 2017-10-13 2019-04-18 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
US20190248390A1 (en) * 2018-02-15 2019-08-15 Hi-Tec Security Systems Ltd. Track intrusion detection system
US20200357143A1 (en) * 2019-05-09 2020-11-12 Sri International Semantically-aware image-based visual localization
GB2584619A (en) * 2019-05-23 2020-12-16 The Local Data Company Ltd Electronic counting device and method for counting objects
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111547085A (zh) * 2020-04-22 2020-08-18 中国铁路设计集团有限公司 自移动式轨道交通三维扫描系统
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统
CN112488022A (zh) * 2020-12-11 2021-03-12 武汉理工大学 一种环视全景监控方法、装置及系统
CN113221648A (zh) * 2021-04-08 2021-08-06 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GIBSON, CR 等: "isual stability of laser vision correction in an astronaut on a Soyuz mission to the International Space Station", JOURNAL OF CATARACT AND REFRACTIVE SURGERY, vol. 38, no. 8, XP028427836, DOI: 10.1016/j.jcrs.2012.06.012 *
张爱武: "移动激光雷达的瞬时三维构像方法", 测绘学报, vol. 47, no. 6 *

Also Published As

Publication number Publication date
CN113721255B (zh) 2023-09-26

Similar Documents

Publication Publication Date Title
Börcs et al. Instant object detection in lidar point clouds
Al-qaness et al. An improved YOLO-based road traffic monitoring system
Ni et al. An improved deep network-based scene classification method for self-driving cars
WO2023109099A1 (zh) 基于非侵入式检测的充电负荷概率预测系统及方法
Pamula Road traffic conditions classification based on multilevel filtering of image content using convolutional neural networks
CN111709381A (zh) 基于YOLOv3-SPP的道路环境目标检测方法
Lin et al. A real-time vehicle counting, speed estimation, and classification system based on virtual detection zone and YOLO
CN104020751A (zh) 基于物联网的校园安全监测系统及方法
CN111783569B (zh) 一种自助托运系统的行李规格检测与人包信息绑定方法
Yao et al. Coupling intent and action for pedestrian crossing behavior prediction
CN106096504A (zh) 一种基于无人机机载平台的车型识别方法
Soilán et al. Semantic segmentation of point clouds with pointnet and kpconv architectures applied to railway tunnels
CN108501954A (zh) 一种手势识别方法、装置、汽车和存储介质
CN106710228A (zh) 一种客货分道交通参数监测系统的实现方法
KR102186974B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 시스템
Kanchana et al. Computer vision for autonomous driving
Del Rosario et al. Multi-view multi-object tracking in an intelligent transportation system: A literature review
BOURJA et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Liu et al. Research on security of key algorithms in intelligent driving system
Sharma et al. Deep Learning-Based Object Detection and Classification for Autonomous Vehicles in Different Weather Scenarios of Quebec, Canada
CN113721255A (zh) 基于激光雷达与视觉融合的列车站台停车点精准检测方法
Dagvasumberel et al. Railroad near-miss occurrence detection and risk estimation system with data from camera using deep learning
Abu-Alsaad CNN-Based Smart Parking System.
Yang et al. Locator slope calculation via deep representations based on monocular vision
CN113762043A (zh) 异常轨迹识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant