CN113721255B - 基于激光雷达与视觉融合的列车站台停车点精准检测方法 - Google Patents
基于激光雷达与视觉融合的列车站台停车点精准检测方法 Download PDFInfo
- Publication number
- CN113721255B CN113721255B CN202110939927.1A CN202110939927A CN113721255B CN 113721255 B CN113721255 B CN 113721255B CN 202110939927 A CN202110939927 A CN 202110939927A CN 113721255 B CN113721255 B CN 113721255B
- Authority
- CN
- China
- Prior art keywords
- station
- image
- probability
- current
- point cloud
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 44
- 230000004927 fusion Effects 0.000 title claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 230000000007 visual effect Effects 0.000 claims abstract description 25
- 239000008186 active pharmaceutical agent Substances 0.000 claims abstract description 12
- 238000005259 measurement Methods 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 239000013598 vector Substances 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 12
- 238000010276 construction Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- JXASPPWQHFOWPL-UHFFFAOYSA-N Tamarixin Natural products C1=C(O)C(OC)=CC=C1C1=C(OC2C(C(O)C(O)C(CO)O2)O)C(=O)C2=C(O)C=C(O)C=C2O1 JXASPPWQHFOWPL-UHFFFAOYSA-N 0.000 claims description 3
- 238000005286 illumination Methods 0.000 claims description 3
- 238000007477 logistic regression Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Probability & Statistics with Applications (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Train Traffic Observation, Control, And Security (AREA)
Abstract
一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括:S1:构建视觉分类网络,实现图像的特征提取;S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集特征间的最小距离;S4:构建点云分类网络对轨道站台和非站台帧分类,得到当前点云帧属于不同站台停车点的概率;S5:对S3得到的最小距离和S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台i d。
Description
技术领域
本发明属于轨道交通自动驾驶技术领域,更具体地涉及一种基于激光雷达与视觉融合的列车站台停车点精准检测方法。
背景技术
轨道交通每天输送大量人员,给人们出行生活带来了极大的便利。为保证乘客有序上下车,需要让列车具备站台停车点精准检测功能,保证列车可以精准停车对位。同时这一功能还让列车具备在关键位置精准定位的能力,辅助列车在关键区域进行定位矫正。当前的站台停车点检测基本依赖于轨道区域布设的应答器与列车通讯进行定位。这不但增加了布设成本,还过于依赖列车与应答器之间的通讯能力。
当前有研究者对站台检测展开研究。例如公布号为CN211617679U的中国实用新型专利,公开了在列车车头和车尾上分别安装激光和毫米波检测单元,通过传感器信号实现站台停车点检测。但是在列车车头和车尾架设检测多个检测单元工程量较大,需要依靠检测单元之间的网络通信,并且只能检测是否为站台,无法分辨站台名称。公开号为CN111856441A的中国发明专利申请,公开了通过车载摄像头实现列车站台停车点精准检测,但是单独依靠摄像头进行检测容易受到传感器安装角度和光线变换的影响,检测效果易受到外界干扰,鲁棒性和稳定性较低。
为了解决本领域的上述问题,本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过多传感器融合来实现车载自主站台停车点精准检测。
发明内容
为了克服上述现有技术的缺点,并解决现有站台停车点检测算法需要架设大量传感器并且过于依赖网络通讯的问题,本发明提供一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,能够通过车载激光雷达和视觉传感器实现站台停车点精准检测。
根据本发明的实施方式提供了一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过S1进行特征提取,得到当前点云帧特征,并与S2构建的视觉特征数据集进行相似度度量,得到当前特征与不同站台停车点数据集特征间的最小距离;
S4:构建点云分类网络对轨道站台和非站台帧进行分类,得到当前点云帧属于不同站台停车点的概率;
S5:对S3和S4得到的结果通过DS判据进行融合,融合的结果通过阈值判定判断当前停车点的站台id。
在一个可选的实施方式中,步骤S1可以包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI。
在一个可选的实施方式中,所述步骤S2可以包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si,
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的特征存入视觉特征数据集L。
在一个可选的实施方式中,所述步骤S3可以包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m}。
在一个可选的实施方式中,所述步骤S4可以包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp;
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
其中,表示当前点云是站台i的概率,/>表示当前点云是非站台的概率。
在一个可选的实施方式中,所述步骤S5可以包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage,
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,/>表示计算e的次方,不是变量);
S5-2:计算通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是站台停车点,否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext。
本发明的实施方式至少具有以下优点。本发明的实施方式提供了一种基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过参考附图和以下说明,本发明的其它装置、设备、系统、方法、特征和优点将是明显的。包括在本说明书中的所有的另外的这种系统、方法、特征和优点都在本发明的范围内,且由所附权利要求保护。
附图说明
通过参考附图可更好地理解本发明。图中的构件不应视作按比例绘制,重点应放在示出本发明的原理上。
图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。
图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。
图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。
图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。需要注意的是,除非另有说明,本发明使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
以下结合附图对本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法进行详细说明。图1为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法的流程图。图2为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中图像特征提取网络构建的流程图。图3为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的点云分类网络构建的流程图。图4为根据本发明的实施方式的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法中的DS判据融合的流程图。
参考图1,本发明的实施方式所提供的一种基于激光雷达与视觉融合的列车站台停车点精准检测方法包括以下步骤:
S1:构建视觉分类网络,并且构建图像特征提取网络,实现图像的分类和图像的特征提取(如图2所示);
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台停车点视觉特征数据集(如图2中点线虚线框所示);
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前点云帧特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前点云帧特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台点云帧和非站台点云帧进行分类(如图3所示),得到当前点云帧属于不同站台停车点的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据(Dempster-Shaferenvidence theory)进行融合,融合的结果通过阈值判定判断当前的站台停车点id(如图4所示)。
上述图像特征提取网络是视觉分类网络的一部分,可以先获得视觉分类网络,再从视觉分类网络中截取视觉分类网络的一部分,得到图像特征提取网络。
参考图2,进一步地,所述步骤S1的可包括以下步骤:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类(如图2所示);
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型(如图2中点线虚线框所示);
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI。由于图像特征提取网络是图像分类网络结构的一部分,该对应的层指图像特征提取网络与图像分类网络中结构一致的部分。
进一步地,所述步骤S2的处理过程可包括以下步骤:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,其中j∈{1,2,…,ni},构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库S=∪i∈{1,2,…,m}Si,其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量li,j=FI(Ii,j),并将所有提取到的特征存入视觉特征数据集L,其中li,j表示图像Iij所对应的图像特征。
进一步地,所述步骤S3可包括以下步骤:
S3-1:类同于步骤S2-2,通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维,
应理解,上述计算包括但不限于使用L1范数,还可使用L2范数等;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m}。
根据上述说明可理解,在该实施方式中,通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题
参考图3,进一步地,所述步骤S4可包括以下步骤:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp(如图3所示);
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率其中,/>表示当前点云是站台i的概率,/>表示当前点云是非站台的概率。
通过以上对步骤S4的说明可理解,其中通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题。
参考图4,进一步地,所述步骤S5可包括以下步骤:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage,
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离,/>表示计算e的(dmax-di)次方;
S5-2:计算通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积,为当前图像特征lnow是站台i的概率;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度
则当前停车点的站台id为rest=rest-1,
否则执行以下步骤S5-7,其中是自行设定的阈值,pθ表示不确定程度,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是站台停车点,
否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是站台停车点,站台id为rest=indext。
通过上述关于步骤S5的说明可理解,其中基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题。此外,通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
通过上述本发明的实施方式所提供的方法,可以在站台不先行布设大量传感器的前提下,只通过列车车载传感器实现列车运行全过程站台停车点的高效稳定检测。
通过上述说明可理解,根据本发明的实施方式所提供的基于激光雷达与视觉融合的轨道交通站台停车点精准检测方法,通过基于激光雷达和视觉融合的站台停车点精准检测框架,用多传感器分别检测站台停车点,随后根据检测结果进行决策级融合,提高了检测的鲁棒性和实时性,解决了针对轨道交通站台停车点检测鲁棒性不高并且需要提前布设设备的问题;通过基于神经网络实现图像特征高效稳定的提取的方式,运用神经网络的泛化能力,将高维图像压缩成低维向量,实现了以低维特征表征图像信息的功能,解决了图像特征繁杂,难以用低维特征表征图像信息的问题;通过分类神经网络处理激光点云实时检测站台停车点的方式,运用分类神经网络的自学习与自适应性,实现基于激光点云的站台停车点快速检测,解决了激光雷达点云波动变化大,难以实现站台匹配的问题;通过融合激光雷达与图像实时检测站台停车点的方式,结合列车运行的先验知识,改进现有的DS理论方法实现多传感器融合精准检测站台停车点,解决了激光雷达站台停车点检测稳定性不高,图像站台停车点检测对于光线变化敏感的问题。
应理解,前述仅说明了一些实施方式,可进行改变、修改、增加和/或变化而不偏离所公开的实施方式的范围和实质,该实施方式是示意性的而不是限制性的。此外,所说明的实施方式涉及当前考虑为最实用和最优选的实施方式,其应理解为实施方式不应限于所公开的实施方式,相反地,旨在覆盖包括在该实施方式的实质和范围内的不同的修改和等同设置。此外,上述说明的多种实施方式可与其它实施方式共同应用,如,一个实施方式的方面可与另一个实施方式的方面结合而实现再另一个实施方式。另外,任何给定组件的各独立特征或构件可构成另外的实施方式。
以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (1)
1.一种基于激光雷达与视觉融合的列车站台停车点精准检测方法,其特征在于,包括以下步骤:
S1:构建视觉分类网络,实现图像的特征提取;
S2:采集所有轨道站台不同时刻图像数据,并对图像进行特征提取,构建站台的停车点视觉特征数据集;
S3:在列车运行过程中,摄像头采集的每一帧图像通过步骤S1进行特征提取,得到当前图像特征,并与步骤S2构建的停车点视觉特征数据集进行相似度度量,得到当前图像特征与不同站台的停车点视觉特征数据集的特征间的最小距离;
S4:构建点云分类网络来对轨道站台和非站台点云进行分类,得到当前点云属于不同站台的概率;
S5:对步骤S3得到的最小距离和步骤S4得到的概率通过DS判据进行融合,融合的结果通过阈值判定判断当前的站台id;
所述步骤S1包括:
S1-1:提供神经网络模型结构,其中将采集的图像缩放到统一尺寸,运用卷积神经网络对于图像进行压缩得到特征图,利用多个反向残差神经网络进行特征提取,通过平均池化获得1024维向量,使用全连接网络和逻辑回归操作实现图像的分类;
S1-2:在步骤S1-1神经网络模型结构基础上删除后续的任务层,保留特征提取部分,构建新的特征提取神经网络模型;
S1-3:将步骤S1-1得到的图像的分类作为模型参数导入到步骤S1-2构建的新的特征提取神经网络模型的对应的层中,从而构建图像特征提取器FI;
所述步骤S2包括:
S2-1:对于列车运行线路中的每一个站台i∈{1,2,…,m},采集不同时刻不同光照强度的ni张图像Iij,构建站台i的样本库Si,所有列车运行线路的各站台样本库构成样本库
S=∪i∈{1,2,…,m}Si,
其中,m为一条线路中所有的站数,ni为数据集中站台i的图像数量数目,j(j∈{1,2,…,ni}),此处U表示集合并集;
S2-2:使用步骤S1-3构建的特征提取器FI对图像Iij进行特征提取,得到1024维向量
li,j=FI(Ii,j),
其中li,j表示图像Iij所对应的图像特征,
并且将所有提取到的图像特征存入视觉特征数据集L;
所述步骤S3包括:
S3-1:通过步骤S1-3构建的特征提取器FI对当前摄像头采集的图像Inow进行特征提取,得到1024维向量lnow=FI(Inow),其中lnow表示当前图像所对应的图像特征;
S3-2:通过L1范数计算当前图像特征lnow与视觉特征数据集L内的特征li,j之间距离di,j,
其中lnow,k表示当前图像特征lnow,li,j,k表示特征li,j的特征第k维;
S3-3:当前图像特征lnow与站台样本库Si中的特征之间最小距离为di,各个站台的最小特征距离共同构成图像特征距离d,
d=(d1,d2,…,di),i∈{1,2,…,m};
所述步骤S4包括:
S4-1:采集列车运行过程中的非站台点云和站台点云作为数据集,将采集的点云采样到固定的点数,利用卷积神经网络将点云全局特征映射到高维特征空间,考虑到点云顺序对于检测结果没有影响,通过平均池化获取点云特征向量,再使用全连接网络实现点云分类,从而构建点云站台分类器Fp;
S4-2:当前由激光雷达采集点云Pnow,通过步骤S4-1构建的点云站台分类器Fp对当前点云Pnow进行分类,得到当前点云Pnow是各个站台的概率
其中,表示当前点云是站台i的概率,/>表示当前点云是非站台的概率;
所述步骤S5包括:
S5-1:将步骤S3-3所得到的图像特征距离d转换为图像站台概率pimage,
其中,d0为自行设置的非站台距离阈值,对应的为当前图像特征是非站台的概率,/>为当前图像特征lnow是站台i的概率,dmax是不同站台特征距离的最大值,di是当前图像特征lnow与站台样本库Si中的特征之间最小距离;
S5-2:获得通过步骤S5-1得到的图像站台概率和通过步骤S4经由激光雷达得到的点云站台概率/>之间的冲突程度G
其中,C是所有u、v相等的点云站台概率和图像站台概率积,D是所有u、v不等的点云站台概率和图像站台概率积;
S5-3:计算各个站台分配的权重
其中,ki表示站台i的权重,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-4:通过DS判据来融合图像站台概率pimage和点云站台概率ppoint
其中,pi表示当前停车点的站台id为i的概率,pθ表示不确定程度,kθ为自行设定的权重值,ki表示站台i的权重,G表示冲突程度,表示当前点云是站台i的概率,/>为当前图像特征lnow是站台i的概率;
S5-5:计算当前时刻t最可能停车点的站台id为
其中,pi表示当前停车点的站台id为i的概率,t为当前时刻,rest表示输出的站台id,indext表示站台最可能的id;
S5-6:如果不确定程度则当前停车点的站台id为rest=rest-1,否则执行以下步骤S5-7,
其中,是自行设定的阈值,rest-1表示上一时刻输出的站台id;
S5-7:如果或者indext=0,
则rest=0,即当前不是停车点站台,否则执行以下步骤S5-8,
其中,表示表示当前停车点的站台id为indext的概率,pth表示自行设定的概率阈值;
S5-8:当前是停车点站台,站台id为rest=indext。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939927.1A CN113721255B (zh) | 2021-08-17 | 2021-08-17 | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110939927.1A CN113721255B (zh) | 2021-08-17 | 2021-08-17 | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113721255A CN113721255A (zh) | 2021-11-30 |
CN113721255B true CN113721255B (zh) | 2023-09-26 |
Family
ID=78676697
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110939927.1A Active CN113721255B (zh) | 2021-08-17 | 2021-08-17 | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113721255B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100869835B1 (ko) * | 2007-08-03 | 2008-11-21 | 한국철도기술연구원 | 다중 센서 기반의 승강장 모니터링 시스템 |
WO2014160027A1 (en) * | 2013-03-13 | 2014-10-02 | Image Sensing Systems, Inc. | Roadway sensing systems |
WO2019071840A1 (zh) * | 2017-10-13 | 2019-04-18 | 重庆市勘测院 | 无gnss信号下的点云数据采集方法及装置 |
CN111506688A (zh) * | 2020-04-09 | 2020-08-07 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种铁路客运车站多源数据可视化集成展示方法 |
CN111547085A (zh) * | 2020-04-22 | 2020-08-18 | 中国铁路设计集团有限公司 | 自移动式轨道交通三维扫描系统 |
CN112085034A (zh) * | 2020-09-11 | 2020-12-15 | 北京埃福瑞科技有限公司 | 一种基于机器视觉的轨道交通列车定位方法及系统 |
GB2584619A (en) * | 2019-05-23 | 2020-12-16 | The Local Data Company Ltd | Electronic counting device and method for counting objects |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7796081B2 (en) * | 1997-10-22 | 2010-09-14 | Intelligent Technologies International, Inc. | Combined imaging and distance monitoring for vehicular applications |
CN107219533B (zh) * | 2017-08-04 | 2019-02-05 | 清华大学 | 激光雷达点云与图像融合式探测系统 |
CN109425365B (zh) * | 2017-08-23 | 2022-03-11 | 腾讯科技(深圳)有限公司 | 激光扫描设备标定的方法、装置、设备及存储介质 |
US20190248390A1 (en) * | 2018-02-15 | 2019-08-15 | Hi-Tec Security Systems Ltd. | Track intrusion detection system |
US11361470B2 (en) * | 2019-05-09 | 2022-06-14 | Sri International | Semantically-aware image-based visual localization |
CN110533695A (zh) * | 2019-09-04 | 2019-12-03 | 深圳市唯特视科技有限公司 | 一种基于ds证据理论的轨迹预测装置及方法 |
CN112488022B (zh) * | 2020-12-11 | 2024-05-10 | 武汉理工大学 | 一种环视全景监控方法、装置及系统 |
CN113221648B (zh) * | 2021-04-08 | 2022-06-03 | 武汉大学 | 一种基于移动测量系统的融合点云序列影像路牌检测方法 |
CN113255560A (zh) * | 2021-06-09 | 2021-08-13 | 深圳朗道智通科技有限公司 | 基于图像与激光数据的自动驾驶场景下的目标检测系统 |
-
2021
- 2021-08-17 CN CN202110939927.1A patent/CN113721255B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100869835B1 (ko) * | 2007-08-03 | 2008-11-21 | 한국철도기술연구원 | 다중 센서 기반의 승강장 모니터링 시스템 |
WO2014160027A1 (en) * | 2013-03-13 | 2014-10-02 | Image Sensing Systems, Inc. | Roadway sensing systems |
WO2019071840A1 (zh) * | 2017-10-13 | 2019-04-18 | 重庆市勘测院 | 无gnss信号下的点云数据采集方法及装置 |
GB2584619A (en) * | 2019-05-23 | 2020-12-16 | The Local Data Company Ltd | Electronic counting device and method for counting objects |
CN111506688A (zh) * | 2020-04-09 | 2020-08-07 | 中国铁道科学研究院集团有限公司电子计算技术研究所 | 一种铁路客运车站多源数据可视化集成展示方法 |
CN111547085A (zh) * | 2020-04-22 | 2020-08-18 | 中国铁路设计集团有限公司 | 自移动式轨道交通三维扫描系统 |
CN112085034A (zh) * | 2020-09-11 | 2020-12-15 | 北京埃福瑞科技有限公司 | 一种基于机器视觉的轨道交通列车定位方法及系统 |
Non-Patent Citations (2)
Title |
---|
isual stability of laser vision correction in an astronaut on a Soyuz mission to the International Space Station;Gibson, CR 等;JOURNAL OF CATARACT AND REFRACTIVE SURGERY;第38卷(第8期);全文 * |
移动激光雷达的瞬时三维构像方法;张爱武;测绘学报;47(6);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113721255A (zh) | 2021-11-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Börcs et al. | Instant object detection in lidar point clouds | |
WO2023109099A1 (zh) | 基于非侵入式检测的充电负荷概率预测系统及方法 | |
Pamula | Road traffic conditions classification based on multilevel filtering of image content using convolutional neural networks | |
CN112149547B (zh) | 基于图像金字塔引导和像素对匹配的遥感影像水体识别方法 | |
CN111709381A (zh) | 基于YOLOv3-SPP的道路环境目标检测方法 | |
CN112418117A (zh) | 一种基于无人机图像的小目标检测方法 | |
Audebert et al. | Deep learning for urban remote sensing | |
CN112863186B (zh) | 一种基于车载无人机的逃逸车辆快速识别和追踪方法 | |
Sheppard et al. | Real-time scene understanding for UAV imagery based on deep convolutional neural networks | |
CN109492700A (zh) | 一种基于多维信息融合的复杂背景目标识别方法 | |
CN113284144B (zh) | 一种基于无人机的隧道检测方法及装置 | |
CN111582069B (zh) | 一种空基监视平台的轨道障碍物零样本分类方法及装置 | |
Senthilnath et al. | BS-McL: Bilevel segmentation framework with metacognitive learning for detection of the power lines in UAV imagery | |
Rezaee et al. | IoMT-assisted medical vehicle routing based on UAV-Borne human crowd sensing and deep learning in smart cities | |
KR102186974B1 (ko) | 차량의 주차면 분석을 위한 지능형 cctv 시스템 | |
Bourja et al. | Real time vehicle detection, tracking, and inter-vehicle distance estimation based on stereovision and deep learning using YOLOv3 | |
CN113673326B (zh) | 一种基于图像深度学习的无人机平台人群计数方法及系统 | |
Cui et al. | Optimizing Internet of Things-based intelligent transportation system’s information acquisition using deep learning | |
KR102143073B1 (ko) | 차량의 주차면 분석을 위한 지능형 cctv 장치 | |
CN113721255B (zh) | 基于激光雷达与视觉融合的列车站台停车点精准检测方法 | |
CN116310894B (zh) | 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 | |
CN112926415A (zh) | 一种行人避让系统和行人监测方法 | |
CN116824541A (zh) | 基于双通道的行人过街意向预测方法、模型及装置 | |
CN116222579A (zh) | 一种基于建筑施工的无人机巡察方法及系统 | |
CN115719368A (zh) | 一种多目标船舶跟踪方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |