CN113721255B - 基于激光雷达与视觉融合的列车站台停车点精准检测方法 - Google Patents

基于激光雷达与视觉融合的列车站台停车点精准检测方法 Download PDF

Info

Publication number
CN113721255B
CN113721255B CN202110939927.1A CN202110939927A CN113721255B CN 113721255 B CN113721255 B CN 113721255B CN 202110939927 A CN202110939927 A CN 202110939927A CN 113721255 B CN113721255 B CN 113721255B
Authority
CN
China
Prior art keywords
station
image
probability
current
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110939927.1A
Other languages
English (en)
Other versions
CN113721255A (zh
Inventor
周彬
杨松岳
王章宇
余贵珍
刘文韬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beihang University
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN202110939927.1A priority Critical patent/CN113721255B/zh
Publication of CN113721255A publication Critical patent/CN113721255A/zh
Application granted granted Critical
Publication of CN113721255B publication Critical patent/CN113721255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • Electromagnetism (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Image Analysis (AREA)

Abstract

一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括:S1:构建视觉分类网络,实现图像的特征提取;S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集特征间的最小距离;S4:构建点云分类网络对轨道站台和非站台帧分类,得到当前点云帧属于不同站台停车点的概率;S5:对S3得到的最小距离和S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台i d。

Description

基于激光雷达与视觉融合的列车站台停车点精准检测方法
技术领域
本发明属于轨道交通自动驾驶技术领域,更具体地涉及一种基于激光雷达与视觉融合的列车站台停车点精准检测方法。
背景技术
轨道交通每天输送大量人员,给人们出行生活带来了极大的便利。为保证乘客有序上下车,需要让列车具备站台停车点精准检测功能,保证列车可以精准停车对位。同时这一功能还让列车具备在关键位置精准定位的能力,辅助列车在关键区域进行定位矫正。当前的站台停车点检测基本依赖于轨道区域布设的应答器与列车通讯进行定位。这不但增加了布设成本,还过于依赖列车与应答器之间的通讯能力。
当前有研究者对站台检测展开研究。例如公布号为CN211617679U的中国实用新型专利,公开了在列车车头和车尾上分别安装激光和毫米波检测单元,通过传感器信号实现站台停车点检测。但是在列车车头和车尾架设检测多个检测单元工程量较大,需要依靠检测单元之间的网络通信,并且只能检测是否为站台,无法分辨站台名称。公开号为CN111856441A的中国发明专利申请,公开了通过车载摄像头实现列车站台停车点精准检测,但是单独依靠摄像头进行检测容易受到传感器安装角度和光线变换的影响,检测效果易受到外界干扰,鲁棒性和稳定性较低。
为了解决本领域的上述问题,本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过多传感器融合来实现车载自主站台停车点精准检测。
发明内容
为了克服上述现有技术的缺点,并解决现有站台停车点检测算法需要架设大量传感器并且过于依赖网络通讯的问题,本发明提供一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,能够通过车载激光雷达和视觉传感器实现站台停车点精准检测。
根据本发明的实施方式提供了一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的视觉特征数据集进行相似度度量,得到当前特征与不同站台停车点数据集特征间的最小距离;
S4:构建点云分类网络对轨道站台和非站台帧进行分类,得到当前点云帧属于不同站台停车点的概率;
S5:对S3和S4得到的结果通过DS判据进行融合,融合的结果通过阈值判定判断当前停车点的站台id。
在一个可选的实施方式中,步骤S1可以包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI
在一个可选的实施方式中,所述步骤S2可以包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的特征存入视觉特征数据集L。
在一个可选的实施方式中,所述步骤S3可以包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m}。
在一个可选的实施方式中,所述步骤S4可以包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
其中,表示当前点云是站台i的概率,/>表示当前点云是非站台的概率。
在一个可选的实施方式中,所述步骤S5可以包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,/>表示计算e的次方,不是变量);
S5-2:计算通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是站台停车点,否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext
本发明的实施方式至少具有以下优点。本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过参考附图和以下说明,本发明的其它装置、设备、系统、方法、特征和优点将是明显的。包括在本说明书中的所有的另外的这种系统、方法、特征和优点都在本发明的范围内,且由所附权利要求保护。
附图说明
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制,重点应放在示出本发明的原理上。
图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。
图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。
图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。
图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是,除非另有说明,本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
以下结合附图对本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法进行详细说明。图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
参考图1,本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法包括以下步骤:
S1:构建视觉分类网络,并且构建图像特征提取网络,实现图像的分类和图像的特征提取(如图2所示);
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集(如图2中点线虚线框所示);
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前点云帧特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台点云帧和非站台点云帧进行分类(如图3所示),得到当前点云帧属于不同站台停车点的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据(Dempster-Shaferenvidence theory)进行融合,融合的结果通过阈值判定判断当前的站台停车点id(如图4所示)。
上述图像特征提取网络是视觉分类网络的一部分,可以先获得视觉分类网络,再从视觉分类网络中截取视觉分类网络的一部分,得到图像特征提取网络。
参考图2,进一步地,所述步骤S1的可包括以下步骤:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类(如图2所示);
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI。由于图像特征提取网络是图像分类网络结构的一部分,该对应的层指图像特征提取网络与图像分类网络中结构一致的部分。
进一步地,所述步骤S2的处理过程可包括以下步骤:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,其中j∈{1,2,…,ni},构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库S=∪i∈{1,2,…,m}Si,其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量li,j=FI(Ii,j),并将所有提取到的特征存入视觉特征数据集L,其中li,j表示图像Iij所对应的图像特征。
进一步地,所述步骤S3可包括以下步骤:
S3-1:类同于步骤S2-2,通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
应理解,上述计算包括但不限于使用L1范数,还可使用L2范数等;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m}。
根据上述说明可理解,在该实施方式中,通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题
参考图3,进一步地,所述步骤S4可包括以下步骤:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp(如图3所示);
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率其中,/>表示当前点云是站台i的概率,/>表示当前点云是非站台的概率。
通过以上对步骤S4的说明可理解,其中通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题。
参考图4,进一步地,所述步骤S5可包括以下步骤:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,/>表示计算e的(dmax-di)次方;
S5-2:计算通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度
则当前停车点的站台id为rest=rest-1
否则执行以下步骤S5-7,其中是自行设定的阈值,pθ表示不确定程度,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是站台停车点,
否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext
通过上述关于步骤S5的说明可理解,其中基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题。此外,通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过上述本发明的实施方式所提供的方法,可以在站台不先行布设大量传感器的前提下,只通过列车车载传感器实现列车运行全过程站台停车点的高效稳定检测。
通过上述说明可理解,根据本发明的实施方式所提供的基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
应理解,前述仅说明了一些实施方式,可进行改变、修改、增加和/或变化而不偏离所公开的实施方式的范围和实质,该实施方式是示意性的而不是限制性的。此外,所说明的实施方式涉及当前考虑为最实用和最优选的实施方式,其应理解为实施方式不应限于所公开的实施方式,相反地,旨在覆盖包括在该实施方式的实质和范围内的不同的修改和等同设置。此外,上述说明的多种实施方式可与其它实施方式共同应用,如,一个实施方式的方面可与另一个实施方式的方面结合而实现再另一个实施方式。另外,任何给定组件的各独立特征或构件可构成另外的实施方式。
以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (1)

1.一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前图像特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前图像特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台和非站台点云进行分类,得到当前点云属于不同站台的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台id;
所述步骤S1包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型;
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI
所述步骤S2包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的图像特征存入视觉特征数据集L;
所述步骤S3包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j
其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m};
所述步骤S4包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
其中,表示当前点云是站台i的概率,/>表示当前点云是非站台的概率;
所述步骤S5包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离;
S5-2:获得通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是停车点站台,否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是停车点站台,站台id为rest=indext
CN202110939927.1A 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法 Active CN113721255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110939927.1A CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110939927.1A CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Publications (2)

Publication Number Publication Date
CN113721255A CN113721255A (zh) 2021-11-30
CN113721255B true CN113721255B (zh) 2023-09-26

Family

ID=78676697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110939927.1A Active CN113721255B (zh) 2021-08-17 2021-08-17 基于激光雷达与视觉融合的列车站台停车点精准检测方法

Country Status (1)

Country Link
CN (1) CN113721255B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100869835B1 (ko) * 2007-08-03 2008-11-21 한국철도기술연구원 다중 센서 기반의 승강장 모니터링 시스템
WO2014160027A1 (en) * 2013-03-13 2014-10-02 Image Sensing Systems, Inc. Roadway sensing systems
WO2019071840A1 (zh) * 2017-10-13 2019-04-18 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111547085A (zh) * 2020-04-22 2020-08-18 中国铁路设计集团有限公司 自移动式轨道交通三维扫描系统
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统
GB2584619A (en) * 2019-05-23 2020-12-16 The Local Data Company Ltd Electronic counting device and method for counting objects

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796081B2 (en) * 1997-10-22 2010-09-14 Intelligent Technologies International, Inc. Combined imaging and distance monitoring for vehicular applications
CN107219533B (zh) * 2017-08-04 2019-02-05 清华大学 激光雷达点云与图像融合式探测系统
CN109425365B (zh) * 2017-08-23 2022-03-11 腾讯科技(深圳)有限公司 激光扫描设备标定的方法、装置、设备及存储介质
US20190248390A1 (en) * 2018-02-15 2019-08-15 Hi-Tec Security Systems Ltd. Track intrusion detection system
US11361470B2 (en) * 2019-05-09 2022-06-14 Sri International Semantically-aware image-based visual localization
CN110533695A (zh) * 2019-09-04 2019-12-03 深圳市唯特视科技有限公司 一种基于ds证据理论的轨迹预测装置及方法
CN112488022B (zh) * 2020-12-11 2024-05-10 武汉理工大学 一种环视全景监控方法、装置及系统
CN113221648B (zh) * 2021-04-08 2022-06-03 武汉大学 一种基于移动测量系统的融合点云序列影像路牌检测方法
CN113255560A (zh) * 2021-06-09 2021-08-13 深圳朗道智通科技有限公司 基于图像与激光数据的自动驾驶场景下的目标检测系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100869835B1 (ko) * 2007-08-03 2008-11-21 한국철도기술연구원 다중 센서 기반의 승강장 모니터링 시스템
WO2014160027A1 (en) * 2013-03-13 2014-10-02 Image Sensing Systems, Inc. Roadway sensing systems
WO2019071840A1 (zh) * 2017-10-13 2019-04-18 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
GB2584619A (en) * 2019-05-23 2020-12-16 The Local Data Company Ltd Electronic counting device and method for counting objects
CN111506688A (zh) * 2020-04-09 2020-08-07 中国铁道科学研究院集团有限公司电子计算技术研究所 一种铁路客运车站多源数据可视化集成展示方法
CN111547085A (zh) * 2020-04-22 2020-08-18 中国铁路设计集团有限公司 自移动式轨道交通三维扫描系统
CN112085034A (zh) * 2020-09-11 2020-12-15 北京埃福瑞科技有限公司 一种基于机器视觉的轨道交通列车定位方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
isual stability of laser vision correction in an astronaut on a Soyuz mission to the International Space Station;Gibson, CR 等;JOURNAL OF CATARACT AND REFRACTIVE SURGERY;第38卷(第8期);全文 *
移动激光雷达的瞬时三维构像方法;张爱武;测绘学报;47(6);全文 *

Also Published As

Publication number Publication date
CN113721255A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
Pamula Road traffic conditions classification based on multilevel filtering of image content using convolutional neural networks
CN112149547B (zh) 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法
CN111709381A (zh) 基于YOLOv3-SPP的道路环境目标检测方法
WO2023109099A1 (zh) 基于非侵入式检测的充电负荷概率预测系统及方法
CN112418117A (zh) 一种基于无人机图像的小目标检测方法
Audebert et al. Deep learning for urban remote sensing
CN112863186B (zh) 一种基于车载无人机的逃逸车辆快速识别和追踪方法
Sheppard et al. Real-time scene understanding for UAV imagery based on deep convolutional neural networks
CN113284144B (zh) 一种基于无人机的隧道检测方法及装置
CN109492700A (zh) 一种基于多维信息融合的复杂背景目标识别方法
CN111582069B (zh) 一种空基监视平台的轨道障碍物零样本分类方法及装置
Senthilnath et al. BS-McL: Bilevel segmentation framework with metacognitive learning for detection of the power lines in UAV imagery
Rezaee et al. IoMT-assisted medical vehicle routing based on UAV-Borne human crowd sensing and deep learning in smart cities
Do et al. A novel algorithm for estimating fast-moving vehicle speed in intelligent transport systems
Bourja et al. Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3
Cui et al. Optimizing Internet of Things-based intelligent transportation system’s information acquisition using deep learning
KR20200084947A (ko) 차량의 주차면 분석을 위한 지능형 cctv 시스템
KR102143073B1 (ko) 차량의 주차면 분석을 위한 지능형 cctv 장치
CN113721255B (zh) 基于激光雷达与视觉融合的列车站台停车点精准检测方法
CN112926415A (zh) 一种行人避让系统和行人监测方法
CN116824541A (zh) 基于双通道的行人过街意向预测方法、模型及装置
CN116222579A (zh) 一种基于建筑施工的无人机巡察方法及系统
Kročka et al. Extending parking occupancy detection model for night lighting and snowy weather conditions
CN113673326B (zh) 一种基于图像深度学习的无人机平台人群计数方法及系统
Khan et al. Detection and identification of vehicles from high-resolution aerial images using deep learning approaches with the tuned parameters

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant