CN110281983B - 一种基于视觉场景识别的轨道列车精准停车系统 - Google Patents

Abstract

本申请公开了一种基于视觉场景识别的轨道列车精准停车系统，该系统包括：环境感知系统，自主决策系统和执行系统；环境感知系统用于获取列车运行前方的图像信息，利用深度学习模型，识别图像信息中的停车标，并确定停车标在图像信息中的位置信息和长度信息，并根据位置信息和长度信息，计算列车与轨道旁停车标之间的距离；自主决策系统用于根据距离和列车驾驶信息，利用列车运动模型，计算列车的速度曲线，确定列车的档位信息；执行系统用于根据速度曲线和档位信息，对列车进行停车制动。通过本申请中的技术方案，计算单个像素点对应的真实轨道长度，累计求和获得机车距离前方停车标的长度，实现机车档位制定，达到精准停车的目的。

Description

一种基于视觉场景识别的轨道列车精准停车系统

技术领域

本申请涉及列车自动驾驶的技术领域，具体而言，涉及一种基于视觉场景识别的轨道列车精准停车系统。

背景技术

近年来，随着自动化的发展，列车自动驾驶(Automatic Train Operation,ATO)系统逐渐成为轨道列车准确、平稳停车的重要保障。ATO系统可以完成列车驾驶员的工作，这些工作包括列车平稳运行、速度调整，在站台的适当停车位置平稳停车。ATO辅助列车自动保护装置(Automatic Train Protection,ATP)工作、接收来自ATP的信息。ATO通过牵引/制动线控制列车，使其维持在一个参考速度上运行，并实现准确停车。

列车上有类似于汽车导航的一个一维地图，叫做电子地图，其将线路中的所有信号设备进行标注，需要列车车载设备在运行过程中不断读取。列车线路上的应答器可以实现定位以使得列车获得线路中的具体位置；运行中的列车通过不断经过多个应答器持续地实现位置校正，减少行驶过程中的累计误差，提高列车的测速测距精度，从而计算自己在线路中的精确位置。列车进入站台后，经过第一个应答器开始校正，计算自己的位置和当前速度，同时计算列车应该输出的牵引力和制动力，通过ATO输出给列车，使列车通过调整档位来调整速度。一般来说，列车经过3-4次速度调整之后，最终可以计算出一个比较准确的制动力，保证列车正好停在停车点的位置，从而实现精确自动停车。

而现有技术中，还存在列车停站不准的情况，其因素主要包括信号轨旁ATO设备、车载ATO设备和车辆闸瓦性能。轨旁ATO系统提供给列车轨道电路ID和轨道电路边界以及站台区域的环线来实现精确停车，当轨旁系统发生故障时，列车在该站台无法精准停车。同样，车载ATO系统通过接收轨旁发来的信息生成停车制动曲线来控制列车到站精确停车，车载ATO系统故障将导致列车在多站停站不准。

发明内容

本申请的目的在于：利用基于深度学习的场景识别技术对视频中的停车标进行识别，通过计算单个像素点对应的真实轨道长度，累计求和获得机车距离前方停车标的长度，实现机车档位制定，达到精准停车的目的。

本申请的技术方案是：提供了一种基于视觉场景识别的轨道列车精准停车系统，该系统包括：环境感知系统，自主决策系统和执行系统；环境感知系统用于获取列车运行前方的图像信息，利用深度学习模型，识别图像信息中的停车标，并确定停车标在图像信息中的位置信息和长度信息，并根据位置信息和长度信息，计算列车与轨道旁停车标之间的距离；自主决策系统用于根据距离和列车驾驶信息，利用列车运动模型，计算列车的速度曲线，确定列车的档位信息；执行系统用于根据速度曲线和档位信息，对列车进行停车制动。

上述任一项技术方案中，进一步地，深度学习模型由编码函数、解码函数和分类器函数构成，环境感知系统包括：稀疏自编码器，分类器和计算模块；稀疏自编码器由多层神经元组成，稀疏自编码器用于根据列车驾驶信息数据库中的测试集，确定编码函数和解码函数的训练参数，并根据确定好的训练参数，提取图像信息中的特征数据；分类器用于根据测试集，利用反馈式学习算法，确定分类器函数的分类精确率和召回率，并根据分类精确率和召回率，识别特征数据，确定图像信息中的停车标；计算模块用于根据图像信息和图像信息中的停车标，确定位置信息和长度信息，并计算距离。

上述任一项技术方案中，进一步地，编码函数f(·)的计算公式为：

f(X)＝s_f(W⁽¹⁾X+b⁽¹⁾)

式中，f(·)为编码函数，s_f(·)为编码函数f(·)的激活函数，W⁽¹⁾为神经元中输入层与隐藏层之间的第一权值矩阵，X为输入层的特征数据，b⁽¹⁾为第一偏置；

解码函数g(·)的计算公式为：

g(a)＝s_g(W⁽²⁾a+b⁽²⁾)

a＝f(X)

Y＝g(a)

式中，a为经过激活函数s_f(·)之后隐藏层的激活量，g(·)为解码函数，s_g(·)为解码函数g(·)的激活函数，W⁽²⁾为神经元中隐藏层与输出层之间的第二权值矩阵，b⁽²⁾为第二偏置，Y为特征数据，其中，W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾构成训练参数。

上述任一项技术方案中，进一步地，环境感知系统包括：最优解计算模块；

最优解计算模块用于根据整体代价函数，计算编码函数和解码函数的训练参数的最优解，将最优解作为训练好的训练参数。

上述任一项技术方案中，进一步地，整体代价函数J_sparse(W,b)的计算公式为：

式中，β为惩罚因子权重，s₂为第2层神经元的节点数，j为神经元的层数，t为测试集的个数，n_l为稀疏自编码器的最大层数，l为遍历的辅助变量，λ为权值矩阵对代价函数的贡献度，

表示第i个输入神经元对下一层神经元j在第l层神经网络(输入层为第一层)中的权重，

为神经元的平均激活值，h_W,b(x)为给定输入x的稀疏自编码器的输出，

为惩罚因子，ρ为稀疏性参数。

上述任一项技术方案中，进一步地，列车运动模型的计算公式为：

式中，v为列车的当前行驶速度，k为列车的当前位置，p(k)为牵引功率，M为牵引总重量，w₀(v)为在当前行驶速度v时单位运行基本阻力，r为列车管减压量，v₀为制动的初速度，b_b(r,v,v₀)为制动单位合力，ε为列车上的点距列车头部的距离，θ(ε)为距离列车头部ε处的列车质量密度函数，g(k-ε)为距离列车头部ε处的线路附加阻力，L_e为列车长度，

为加权单位附加阻力。

本申请的有益效果是：

利用基于深度学习的场景识别技术来定义视频中的物体，对停车标进行识别，将该信息返回至自主决策系统；自主决策系统根据此信息制定相应的档位，并得到连续时间内的机车制动曲线，随后将相应的档位下发至执行系统，达到精准定位。整个过程不需要司机手动制定档位，只需要司机观察机车异常情况，并且该方法避免了车载ATO系统和轨旁ATO系统容错率极低的情况。这种方法可以有效降低司机的疲劳程度，提高驾驶的安全性和可靠性。

附图说明

本申请的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1是根据本申请的一个实施例的基于视觉场景识别的轨道列车精准停车系统的示意框图；

图2是根据本申请的一个实施例的稀疏自编码器的示意图；

图3是根据本申请的一个实施例的特征提取及视觉场景分类的示意图；

图4是根据本申请的一个实施例的特征矩阵分类的示意图；

图5是根据本申请的一个实施例的列车车头与停车标之间距离的示意图。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面结合附图和具体实施方式对本申请进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互结合。

在下面的描述中，阐述了很多具体细节以便于充分理解本申请，但是，本申请还可以采用其他不同于在此描述的其他方式来实施，因此，本申请的保护范围并不受下面公开的具体实施例的限制。

如图1所示，本实施例提供了一种基于视觉场景识别的轨道列车精准停车系统，包括：环境感知系统，自主决策系统和执行系统；

环境感知系统用于获取列车运行前方的图像信息，利用深度学习模型，识别图像信息中的停车标，并确定停车标在图像信息中的位置信息和长度信息，并根据位置信息和长度信息，计算列车与轨道旁停车标之间的距离；

具体地，列车上有类似于汽车导航的一个一维地图，叫做电子地图，其将线路中的所有信号设备进行标注，需要列车车载设备在运行过程中不断读取。列车线路上的应答器可以实现定位以使得列车获得线路中的具体位置；运行中的列车通过不断经过多个应答器持续地实现位置校正，减少行驶过程中的累计误差，提高列车的测速测距精度，从而计算自己在线路中的精确位置。

环境感知系统主要负责采集列车前方图像，使用深度学习技术对图像进行处理，也可以采用环境先验知识对深度学习神经网络模型进行训练，确定神经网络的参数，确定好参数后，列车获得当前行驶状态下的图像信息，利用深度学习模型，识别图像中的停车标，获得列车车头与停车标的相对位置。其次，该子系统采集线路信息(包括线路限速、运行时刻表、时间偏差等信息)和列车实时运行状况信息(包括运行速度、档位等信息)，与获得的列车车头与停车标距离的信息一并回传给自主决策系统。

视觉传感器获得列车前方图像，通过基于深度学习的场景识别技术识别停车标，根据停车标在图像中的长度、实际长度、停车标与车头的图像距离来获得实际距离，同时实际距离是不断变化的，所以通过同步定位与地图构建(Simultaneous Localization andMapping,SLAM)来实时绘制列车的一维运行路线，可以实时获得列车位置，方便计算列车与停车标的距离，将信息传至决策系统。

场景的定义具有与语义一致性，可以通过可命名的人类视觉方法来表征现实环境。场景识别就是从诸多图像中筛选出具有相似场景语义特征的图像、并将视觉场景进行分类的技术。本实施例使用对图像描述4个层级(语义类型、组合对象、抽象语义、详细语义描述)的第一个层级语义类型识别。

进一步地，深度学习模型由编码函数、解码函数和分类器函数构成，环境感知系统包括：稀疏自编码器，分类器和计算模块；

稀疏自编码器由多层神经元组成，稀疏自编码器用于根据列车驾驶信息数据库中的测试集，确定编码函数和解码函数的训练参数，并根据确定好的训练参数，提取图像信息中的特征数据；

具体地，稀疏自编码器包括输入层、隐藏层、输出层，三者之间的关系如图2所示，将列车驾驶信息数据库中的测试集作为无标记数据，将无标记数据输入稀疏自编码器，选择适当的隐藏层神经元数量，生成表示输入数据的编码，将编码通过解码器后的输出信号同之前的输入信号作比较，得到重构误差。

更进一步地，编码函数f(·)的计算公式为：

f(X)＝s_f(W⁽¹⁾X+b⁽¹⁾)

解码函数g(·)的计算公式为：

g(a)＝s_g(W⁽²⁾a+b⁽²⁾)

a＝f(X)

Y＝g(a)

式中，f(·)为所述编码函数，s_f(·)为所述编码函数f(·)的激活函数，W⁽¹⁾为所述神经元中输入层与所述隐藏层之间的第一权值矩阵，X为所述输入层的特征数据，b⁽¹⁾为第一偏置，a为经过所述激活函数s_f(·)之后所述隐藏层的激活量，g(·)为所述解码函数，s_g(·)为所述解码函数g(·)的激活函数，W⁽²⁾为所述神经元中隐藏层与输出层之间的第二权值矩阵，b⁽²⁾为第二偏置，Y为所述特征数据，其中，W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾构成所述训练参数，即需要训练的参数，将W⁽¹⁾和W⁽²⁾统一用W表示，将b⁽¹⁾和b⁽²⁾统一用b表示。为方便描述，我们使用h_W,b(x)来表示给定输入x的稀疏自编码器的输出。

具体地，设f(·)和g(·)分别表示编码函数和解码函数，X为输入的特征数据,a是经过编码函数之后隐藏层节点激活量(值)，Y是解码后的特征数据，n为输入层(输出层)神经元数量，m为隐藏层神经元数量。

其中，s_f为编码器激活函数，通常取Sigmod函数，即

同样的，s_g为解码器激活函数，我们同样取Sigmod函数。

稀疏自编码器的参数为W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾(即需要训练的参数)。为方便描述，我们使用h_W,b(x)来表示给定输入x的稀疏自编码器的输出。

输出数据可以看作是对输入数据的预测，稀疏自编码器可以利用反向传播算法调整神经网络的参数，当输出数据与输入数据接近程度超过一定的阈值时，该稀疏自编码器就保留了原始输入数据的大部分信息，也就是说，自编码器的神经网络已训练好。

进一步地，环境感知系统包括：最优解计算模块；最优解计算模块用于根据整体代价函数，计算编码函数和解码函数的训练参数的最优解，将最优解作为训练好的训练参数。

在计算最优解的过程中，我们引入惩罚因子的概念，假设隐藏层每个神经元的平均激活值为：

式中，

表示在给定输入x的情况下，自编码器神经网络隐藏层神经元j的激活值，由参数

和偏置项

以及输入数据构成，其中，

表示第j个输入神经元对下一层神经元i在第l层神经网络(输入层为第一层)中的权重。

为了让尽可能多的神经元处于抑制状态，也就是神经元的平均激活值

越小越好，设定稀疏性参数ρ＝0.05，为了使

尽可能地接近ρ，我们采用相对熵类似的概念来刻画

与ρ的接近程度，其中，相对熵用来描述两个随机分布的差异程度，两个分布差异越大，其对应的相对熵也越大，如果两个分布相同，则它们的相对熵为0。

设定惩罚因子的计算公式为：

因此隐藏层所有神经元的惩罚因子为：

式中，s₂为第2层神经网络的节点数量。

更进一步地，整体代价函数J_sparse(W,b)的计算公式为：

式中，β为惩罚因子权重，s₂为第2层神经元的节点数，j为神经元的层数，t为测试集的个数，n_l为稀疏自编码器的最大层数，l为遍历的辅助变量，λ为权值矩阵对代价函数的贡献度，

表示第i个输入神经元对下一层神经元j在第l层神经网络(输入层为第一层)中的权重，

为神经元的平均激活值，h_W,b(x)为给定输入x的稀疏自编码器的输出，

为惩罚因子，ρ为稀疏性参数。

通过反向梯度求导函数，求得minJ_sparse(W,b)时各参数的值，即可得到最优解。最后得到的是该稀疏自编码器的参数设置，即W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾。然后将隐藏层得到的编码(特征)，作为输入信号进入第二层逐层训练。

分类器用于根据测试集，利用反馈式学习算法，确定分类器函数的分类精确率和召回率，并根据分类精确率和召回率，识别特征数据，确定图像信息中的停车标；

具体地，稀疏自编码器经过无监督方法提取特征之后，获得了能够最大程度复现输入信号的特征信息。分类器是将已知的训练数据进行学习得到分类规则然后对未知数据进行分类的方法。通过在自编码器的顶端添加分类器，也就是不同的列车场景有不同的特征矩阵表示，这些表示可能被分到不同的类别中，总体结构如图3所示，特征矩阵分类示例如图4所示，分类器f为求和操作(用sum表示)，三个特征向量(1,2,3,2,0,0,1)^T、(1,1,1,1,1,1,1)^T、(2,4,3,2,3,3,2)^T通过函数f之后会得到向量内数值的求和，向量的和值小于阈值(threshold，这里设为10)时被分到set1中，大于阈值时会被分到set2。

建立输入信号特征及其正确分类结果(训练数据事先进行人工识别得到的结果)，利用多层神经网络的监督学习方法进行反馈式学习，得到分类精确率和召回率，进而微调分类器参数。此处分类器的作用是正确将停车标分类，进而通过图像滤波、图像增强及边缘提取得到停车标在图像的位置以及长度。

计算模块用于根据图像信息和图像信息中的停车标，确定位置信息和长度信息，并计算距离。

具体地，如图5所示，假定图像中停车标长度为ab(识别出停车标之后将图像精度转化为SLAM的精度，经过图像滤波、图像增强和边缘处理后得到长度)，两者距离为mn(SLAM得到)，AB为提前测量好进行系统设定，则实际车头距停车标长度MN＝AB*(mn/ab)。

自主决策系统用于根据距离和列车驾驶信息，利用列车运动模型，计算列车的速度曲线，确定列车的档位信息，其中，列车驾驶信息包括列车速度、列车线路距离、列车运行时间、列车驾驶时刻信息；

具体地，采用现有的方法，集合驾驶先验只是，通过全局规划，根据速度曲线即可确定列车的档位信息，此处不再赘述。环境感知系统将上传得到的图像长度和实际的停车标长度，结合算出列车车头距离停车标的实际长度。

通过环境感知系统获得列车车头距离停车标的实际长度、列车运行的线路信息以及实时运行状况信息，完成从当前运行状态到在停车标处停车这一过程的规划计算，得到列车驾驶档位和速度曲线，满足停车位置、时刻表、时间偏差等要求。

进一步地，列车运动模型的计算公式为：

t(0)＝0，t(ε)＝T

v(0)＝v(ε)＝0

式中，T是调度的运行时间，v或者v(k)为列车的当前行驶速度，k为列车的当前位置，p(k)为牵引功率，M为牵引总重量，w₀(v)为在当前行驶速度v时单位运行基本阻力，r为列车管减压量，v₀为制动的初速度，b_b(r,v,v₀)为制动单位合力，ε为列车上的点距列车头部的距离，θ(ε)为距离列车头部ε处的列车质量密度函数，g(k-ε)为距离列车头部ε处的线路附加阻力，L_e为列车长度，

为加权单位附加阻力，t则表示列车的运行时刻。

执行系统用于根据速度曲线和档位信息，对列车进行停车制动，即在自主决策系统将档位序列发送到执行系统之后，执行系统会根据档位序列，选择相应的方向盘、油门、制动等来执行控制子系统发来的命令，得到速度曲线和档位信息，对列车进行停车制动，该方法可采用现有的制动方法，此处不再赘述。

本申请的有益效果还包括：

1.摒弃车载ATO系统和轨旁ATO系统之间极高的耦合性以及极低的容错率，采用基于深度学习的视觉场景识别来确定列车距离停车标的距离以及列车在线路的位置，使得停车更稳定、更准确；

2.对于视觉场景识别，通过对场景先验知识进行训练，提取特征并且对多个不同地点的停车标识进行分类，也就是首先进行特征提取，然后进行特征分类，得到图像中停车标的位置和其在图像中的具体长度以及车头距离停车标的长度。这种方法适应于不同环境下的场景识别，可扩展性好；

3.对于策略制定，本专利不使用直接根据速度和距离计算加速度的方法，而是使用BLSTM模型动态的调整列车档位，生成档位序列实时调整，因为列车停车过程中可能有很多种意外情况，所以使用基于BLSTM的档位制定使得其策略制定稳定、有效。

以上结合附图详细说明了本申请的技术方案，本申请提出了一种基于视觉场景识别的轨道列车精准停车系统，包括：环境感知系统，自主决策系统和执行系统；环境感知系统用于获取列车运行前方的图像信息，利用深度学习模型，识别图像信息中的停车标，并确定停车标在图像信息中的位置信息和长度信息，并根据位置信息和长度信息，计算列车与轨道旁停车标之间的距离；自主决策系统用于根据距离和列车驾驶信息，利用列车运动模型，计算列车的速度曲线，确定列车的档位信息；执行系统用于根据速度曲线和档位信息，对列车进行停车制动。通过本申请中的技术方案，计算单个像素点对应的真实轨道长度，累计求和获得机车距离前方停车标的长度，实现机车档位制定，达到精准停车的目的。

本申请中的步骤可根据实际需求进行顺序调整、合并和删减。

本申请装置中的单元可根据实际需求进行合并、划分和删减。

尽管参考附图详地公开了本申请，但应理解的是，这些描述仅仅是示例性的，并非用来限制本申请的应用。本申请的保护范围由附加权利要求限定，并可包括在不脱离本申请保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。

Claims (6)

1.一种基于视觉场景识别的轨道列车精准停车系统，其特征在于，该系统包括：环境感知系统，自主决策系统和执行系统；

所述环境感知系统用于获取列车运行前方的图像信息，利用深度学习模型，识别所述图像信息中的停车标，并确定所述停车标在所述图像信息中的位置信息和长度信息，并根据所述位置信息和所述长度信息，计算所述列车与轨道旁停车标之间的距离；

所述自主决策系统用于根据所述距离和列车驾驶信息，利用列车运动模型，计算所述列车的速度曲线，确定所述列车的档位信息；

所述执行系统用于根据所述速度曲线和所述档位信息，对所述列车进行停车制动。

2.如权利要求1所述的基于视觉场景识别的轨道列车精准停车系统，其特征在于，所述深度学习模型由编码函数、解码函数和分类器函数构成，所述环境感知系统包括：稀疏自编码器，分类器和计算模块；

所述稀疏自编码器由多层神经元组成，所述稀疏自编码器用于根据列车驾驶信息数据库中的测试集，确定所述编码函数和所述解码函数的训练参数，并根据确定好的所述训练参数，提取所述图像信息中的特征数据；

所述分类器用于根据所述测试集，利用反馈式学习算法，确定所述分类器函数的分类精确率和召回率，并根据所述分类精确率和所述召回率，识别所述特征数据，确定所述图像信息中的所述停车标；

所述计算模块用于根据所述图像信息和所述图像信息中的所述停车标，确定所述位置信息和所述长度信息，并计算所述距离。

3.如权利要求2所述的基于视觉场景识别的轨道列车精准停车系统，其特征在于，所述编码函数f(·)的计算公式为：

f(X)＝s_f(W⁽¹⁾X+b⁽¹⁾)

式中，f(·)为所述编码函数，s_f(·)为所述编码函数f(·)的激活函数，W⁽¹⁾为所述神经元中输入层与隐藏层之间的第一权值矩阵，X为所述输入层的特征数据，b⁽¹⁾为第一偏置；

所述解码函数g(·)的计算公式为：

g(a)＝s_g(W⁽²⁾a+b⁽²⁾)

a＝f(X)

Y＝g(a)

式中，a为经过所述激活函数s_f(·)之后所述隐藏层的激活量，g(·)为所述解码函数，s_g(·)为所述解码函数g(·)的激活函数，W⁽²⁾为所述神经元中隐藏层与输出层之间的第二权值矩阵，b⁽²⁾为第二偏置，Y为所述特征数据，其中，W⁽¹⁾,b⁽¹⁾,W⁽²⁾,b⁽²⁾构成所述训练参数。

4.如权利要求3所述的基于视觉场景识别的轨道列车精准停车系统，其特征在于，所述环境感知系统包括：最优解计算模块；

所述最优解计算模块用于根据整体代价函数，计算所述编码函数和所述解码函数的训练参数的最优解，将所述最优解作为训练好的所述训练参数。

5.如权利要求4所述的基于视觉场景识别的轨道列车精准停车系统，其特征在于，所述整体代价函数J_sparse(W,b)的计算公式为：

式中，β为惩罚因子权重，s₂为第2层神经元的节点数，j为神经元的层数，t为测试集的个数，n_l为稀疏自编码器的最大层数，l为遍历的辅助变量，λ为权值矩阵对代价函数的贡献度，

表示第i个输入神经元对下一层神经元j在第l层神经网络中的权重，

为神经元的平均激活值，h_W,b(x)为给定输入x的稀疏自编码器的输出，

为惩罚因子，ρ为稀疏性参数。

6.如权利要求1所述的基于视觉场景识别的轨道列车精准停车系统，其特征在于，所述列车运动模型的计算公式为：

式中，v为所述列车的当前行驶速度，k为所述列车的当前位置，p(k)为牵引功率，M为牵引总重量，w₀(v)为在当前行驶速度v时单位运行基本阻力，r为列车管减压量，v₀为制动的初速度，b_b(r,v,v₀)为制动单位合力，ε为列车上的点距列车头部的距离，θ(ε)为距离列车头部ε处的列车质量密度函数，g(k-ε)为距离列车头部ε处的线路附加阻力，L_e为列车长度，

为加权单位附加阻力。

Images