CN115662071A - 一种轨道交通灾害预警方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明公开了一种轨道交通灾害预警方法、装置、电子设备及存储介质，本发明采用无人机伴飞列车，且距离列车车头一定距离，并通过视觉检测的方式来对铁路沿线的泥石流等自然灾害进行灾害识别，因此，本发明无需提前部署传感器、标记物和监测设备，适用面广，且可对列车前方的泥石流等自然灾害进行实时预警，实时性好，同时，伴飞方式可将检测范围全面覆盖轨道沿线，其检测范围更广，有效提高了列车运行的安全性。

Description

一种轨道交通灾害预警方法、装置、电子设备及存储介质

技术领域

本发明属于轨道交通灾害预警技术领域，具体涉及一种轨道交通灾害预警方法、装置、电子设备及存储介质。

背景技术

泥石流一般发生在山区或者其它沟谷深壑，地形险峻的地区，是暴雨、暴雪或其它自然灾害引发的山体滑坡并携带有大量泥沙以及石块的特殊洪流，其具有突然爆发、能量大、来势凶猛、破坏力极强的特点，是我国公认的四大地质灾害之一。

我国铁路路线分布广泛，地形复杂，大多分布在山区地域，在非正常情况下，特别是暴风雨季节后，铁路沿线出现泥石流的概率极大，给列车运行带来了极大的安全隐患；且在历年铁路运输过程中，因铁路沿线爆发泥石流导致列车出现脱轨的事故也时有发生，造成了非常严重的人员伤亡以及财产损失。

目前，传统的泥石流检测包括接触式和非接触式检测，但是，两种方式都需要在泥石流易发区域或者周边区域预置传感器，以通过传感器获取山体位移或者水位信息，从而进行灾害预警，其存在以下不足：(1)需要预置传感器或标记物；(2)需要在有可能发生泥石流的地方部署监测设备，包括摄像头，雷达或卫星等；前述不足则会导致需要预测泥石流的发生地点，并进行提前部署，其实时性不高，且在无法预测泥石流的发生地点时，就不能进行泥石流的灾害预测；因此，提供一种无需提前部署传感器和标记物，无需在铁路沿线部署监测设备，且检测实时性高的轨道交通灾害预警方法迫在眉睫。

发明内容

本发明的目的是提供一种轨道交通灾害预警方法、装置、电子设备及存储介质，用以解决现有技中所存在的需要在泥石流易发地点提前部署传感器和监测设备，导致检测实时性不高的问题。

为了实现上述目的，本发明采用以下技术方案：

第一方面，提供了一种轨道交通灾害预警方法，应用于列车行进过程中，处于列车轨道前方，且始终与列车保持预设距离的无人机，其中，所述方法包括：

对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像；

将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块；

对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标；

基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹；

根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警。

基于上述公开的内容，本发明采用无人机伴飞列车的方式来进行轨道沿线泥石流的灾害预警，即无人机始终位于列车前方预设距离处，因此，可在列车行进过程中，全面覆盖列车的行进路线，从而实现列车行进全过程的泥石流预警，其工作过程为：首先对轨道沿线的地形地貌进行视频采集，并提取出视频中关键帧的图像，作为待识别图像；然后，则会对各个待识别图像进行图像识别，识别出每张待识别图像中的各个第一目标对象的尺寸数据以及位置坐标，该步骤相当于识别出各待识别图像中与泥石流相关的物体(如石块等)，接着，再对各个待识别图像进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，该步骤相当于是检测出在视频流中运动的物体，而运动的物体可能会移动至轨道，从而对列车运行造成安全隐患，因此，本发明将检测出的运动物体作为灾害目标；最后，基于检测出的灾害目标的运动轨迹以及尺寸数据，即可来进行灾害预警。

通过上述设计，本发明采用无人机伴飞列车，且距离列车车头一定距离，并通过视觉检测的方式来对铁路沿线的泥石流等自然灾害进行灾害识别，因此，本发明无需提前部署传感器、标记物和监测设备，适用面广，且可对列车前方的泥石流等自然灾害进行实时预警，实时性好，同时，伴飞方式可将检测范围全面覆盖轨道沿线，其检测范围更广，有效提高了列车运行的安全性。

在一个可能的设计中，在对列车轨道前方预设距离处的地形地貌进行视频采集前，所述方法还包括：

获取训练数据集，其中，所述训练数据集包括多张不同轨道沿线的地形地貌图像；

对每张地形地貌图像中的泥石流目标对象所在的区域进行标注，得出每张地形地貌图像中泥石流目标对象的真实锚框，以利用每张地形地貌图像中的泥石流目标对象的真实锚框，组成每张地形地貌图像的标注信息，其中，所述泥石流目标对象包括石块；

以所述训练数据集和所述训练数据集中每张地形地貌图像的标注信息为输入，每张地形地貌图像中泥石流目标对象的位置坐标以及尺寸数据为输出，训练Y0L0v4神经网络模型，以在训练完毕后，得到所述图像识别模型。

在一个可能的设计中，所述图像识别模型的损失函数为：

上述式(1)中，L表示所述图像识别模型的损失函数，A表示在任一地形地貌图像输入 Y0L0v4神经网络模型后，Y0L0v4神经网络模型检测到的任一地形地貌图像中泥石流目标对象的预测锚框，B表示任一地形地貌图像中泥石流目标对象的真实锚框，L₁(A,B)表示任一地形地貌图像中泥石流目标对象的预测锚框与真实锚框之间重叠区域的损失函数，A_o表示所述预测锚框的中心点，Bo表示所述真实锚框的中心点，s²(A_o,B_o)表示所述预测锚框的中心点与所述真实锚框的中心点之间的欧式距离，c表示矩形区域的对角线长度，且所述矩形区域为所述真实锚框的长度边和宽度边的延长线，与所述预测锚框的长度边和宽度边的延长线所围成的区域，g,k均为所述真实锚框与所述预测锚框的长宽比的惩罚项；

其中，

上述式(2)中，S₁表示所述真实锚框与所述预测锚框相交的面积，S₂表示所述真实锚框与所述预测锚框合并后的面积；

上述式(3)中，w表示所述预测锚框的宽度，h表示所述预测锚框的长度，w′表示所述真实锚框的宽度，h′表示所述预测锚框的长度。

在一个可能的设计中，对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标，包括：

从所有待识别图像中，确定出第一图像以及第二图像，其中，所述第一图像为关键帧处于所述视频流最前方的待识别图像，所述第二图像为所述待识别图像中除去所述第一图像后剩余的待识别图像；

利用所述第一图像以及所述第二图像，对所述第一图像中的各个第一目标对象进行目标跟踪，以从各个第二图像中，确定出所述第一图像中至少一个第一目标对象相对应的第二目标对象，以将至少一个第一目标对象和至少一个第一目标对象对应的第二目标对象，作为灾害目标，其中，任一第一目标对象，与该任一第一目标对象对应的第二目标对象为同一物体，且任一第二目标对象存在于所有第二图像中。

基于上述公开的内容，本发明公开了目标跟踪的具体过程，即先确定出处于视频流最前方的关键帧对应的待识别图像，将其作为第一图像，而待识别图像中剩余的图像，则作为第二图像；然后，以第一图像中的各个第一目标对象为检测对象，进行跟踪检测，也就是检测各个第二图像中，是否还存在有前述第一目标对象，其实质过程为：在各个第二图像中确定出与至少一个第一目标为同一物体的第二目标对象，即只要存在于各个第二图像中的第一目标对象，则说明其是运动对象，可能会运动至轨道上，对列车产生危害；因此，即可将至少一个第一目标对象和至少一个第一目标对象对应的第二目标对象(也就是存在于各个第二图像中的第一目标对象)，作为灾害目标。

在一个可能的设计中，任一待识别图像中的任一第一目标对象的位置坐标为所述图像识别模型所检测到该任一第一目标对象在所述任一待识别图像中对应预测锚框的中心坐标；

其中，基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹，包括：

基于每张待识别图像中各个第一目标对象的位置坐标，确定出各个灾害目标在不同待识别图像中对应预测锚框的中心点；

对于任一灾害目标，获取包含有所述任一灾害目标的待识别图像对应关键帧的视频时间，并按照视频时间从先至后的顺序，将包含有任一灾害目标的待识别图像进行排序；

按照排序顺序，将各个目标图像中的任一灾害目标对应预测锚框的中心点进行连线，以在连线后，得到所述任一灾害目标的运动轨迹，其中，所述目标图像为包含有所述任一灾害目标的待识别图像。

基于上述公开的内容，本发明公开了各个灾害目标对应运动轨迹的生成过程，其具体过程为：先基于各个灾害目标在不同待识别图像中的位置坐标，确定出各个灾害目标在不同待识别图像中对应预测锚框的中心点，然后，对于任一灾害目标，将其对应的待识别图像按照各自关键帧的时间先后顺序进排序，最后，按照排序顺序，将各个灾害目标在不同待识别图像中对应预测锚框的中心点连线起来，即可得到任一灾害目标的运动轨迹。

在一个可能的设计中，根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，包括：

从各个灾害目标中，筛选出尺寸数据大于第一阈值的灾害目标，作为预警对象；

判断所述预警对象的运动轨迹的轨迹长度是否大于轨迹阈值；

若是，则判定灾害预警结果为危险；和/或

判断所述灾害目标的总数量是否大于第二阈值；

若是，则判断各个灾害目标的运动轨迹的轨迹长度是否大于所述轨迹阈值；

若是，则判定灾害预警结果为危险。

基于上述公开的内容，本发明公开了基于灾害目标的尺寸数据以及运动轨迹来进行灾害预警的具体方法，即设置有两个预警条件，其一为：尺寸数据大于第一阈值的灾害目标，其对应的运动轨迹的轨迹长度大于轨迹阈值；此种预警条件则针对巨石等物体的灾害预警，防止其滚落至轨道，从而对列车造成危害；其二是：灾害目标的总数量要大于第二阈值，且每个灾害目标的运动轨迹的轨迹长度要大于轨迹阈值；第二种预警条件则针对轨道沿线的大范围碎石滑坡的预警；由此，只要满足前述两个预警条件的其中一个或两个，均可触发预警，也就是判定灾害预警结果为危险。

在一个可能设计的，在得出灾害预警结果后，所述方法还包括：

若灾害预警结果为危险，则对列车前方预设距离处的区域进行视频采集，得到灾害视频；

将所述灾害视频和所述预警信息同时发送至所述列车的驾驶终端，以在发送后，完成对所述列车的交通灾害预警。

基于上述公开的内容，本发明在判定出灾害预警结果为危险时，还可采集灾害视频，并连同预警信息一同发送至列车，从而便于列车的驾驶人员及时了解列车前方的道路情况，从而根据道路情况采取相应的处理措施；由此，进一步的提高了预警的有效性。

第二方面，提供了一种轨道交通灾害预警装置，包括：

图像采集单元，用于对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像；

图像识别单元，用于将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块；

目标跟踪单元，用于对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标；

目标跟踪单元，用于基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹；

预警单元，用于根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警。

第三方面，提供了另一种轨道交通灾害预警装置，以装置为电子设备为例，包括依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如第一方面或第一方面中任意一种可能设计的所述轨道交通灾害预警方法。

第四方面，提供了一种存储介质，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面或第一方面中任意一种可能设计的所述轨道交通灾害预警方法。

第五方面，提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如第一方面或第一方面中任意一种可能设计的所述轨道交通灾害预警方法。

有益效果：

(1)本发明采用无人机伴飞列车，且距离列车车头一定距离，并通过视觉检测的方式来对铁路沿线的泥石流等自然灾害进行灾害识别，因此，本发明无需提前部署传感器、标记物和监测设备，适用面广，且可对列车前方的泥石流等自然灾害进行实时预警，实时性好，同时，伴飞方式可将检测范围全面覆盖轨道沿线，其检测范围更广，有效提高了列车运行的安全性。

附图说明

图1为本发明实施例提供的轨道交通灾害预警系统的架构示意图；

图2为本发明实施例提供的列车上的停机舱的结构示意图；

图3为本发明实施例提供的停机舱的具体结构示意图；

图4为本发明实施例提供的轨道交通灾害预警方法的步骤流程示意图；

图5为本发明实施例提供的图像识别模型对应的预测锚框与真实锚框的效果示意图；

图6为本发明实施例提供的轨道交通灾害预警装置的结构示意图；

图7为本发明实施例提供的电子设备的结构示意图。

附图标记：10-列车；20-机巢舱门；30-停机舱；40-舱门驱动机构；50-控制装置；60- 充电装置；70-驱动电机；80-销轴；90-RTK天线。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

应当理解，尽管本文可能使用术语第一、第二等等来描述各种单元，但是这些单元不应当受到这些术语的限制。这些术语仅用于区分一个单元和另一个单元。例如可以将第一单元称作第二单元,并且类似地可以将第二单元称作第一单元，同时不脱离本发明的示例实施例的范围。

应当理解，对于本文中可能出现的术语“和/或”，其仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，单独存在B，同时存在A和B三种情况；对于本文中可能出现的术语“/和”，其是描述另一种关联对象关系，表示可以存在两种关系，例如，A/和B，可以表示：单独存在A，单独存在A和B两种情况；另外，对于本文中可能出现的字符“/”，一般表示前后关联对象是一种“或”关系。

实施例：

参见图1所示，为本申请提供一种轨道交通灾害预警系统，该系统可以但不限于包括至少两个无人机，其中，两无人机采用间隔工作方式，伴飞在列车车头前方预设距离处(如1-3 公里)，也就是一无人机工作时，另一无人机在列车上充电，而当一无人机电量不足时，其可返回至列车进行充电，而另一无人机则起飞至列车前方，进行灾害预警；由此，采用间隔工作方式，可实现对列车前方灾害的不间断预警；可选的，无人机通信连接列车的驾驶终端，以实现预警信息的传输。

参见图2和图3所示，在本实施例中，举例在列车的顶部设置有停机舱30，其中，停机舱30的机巢舱门20与舱门驱动机构40连接(如采用步进电机驱动)，以此来实现机巢舱门20的自动开闭，同时，停机舱20内还设置有充电装置60、控制装置50和RTK(Real-timekinematic，实时动态)通信装置，具体应用时，舱门驱动机构40、充电装置60以及RTK通信装置均与所述控制装置50相连，且控制装置50通过第一无线通信装置与无人机实时通信，以实现数据通信，而RTK通信装置则定位无人机。

参见图3所示，举例所述RTK通信装置可以但不限于包括：驱动电机70、RTK天线90和销轴80，其中，所述驱动电机70和销轴80的一端连接，且所述TRK天线90固定连接销轴80，因此，可在驱动电机70的驱动下，转动90度；具体应用时，当机巢舱门20关闭时，RTK天线90处于水平位置，当机巢舱门20打开时，控制装置50控制驱动电机70工作，带动销轴 80转动，从而带动RTK天线90转到垂直位置。

相应的，无人机上设置有第二无线通信装置，高清摄像机以及定位模块，其中，定位模块采用(Real-time kinematic，实时动态)载波相位差分技术，与列车上的RTK通信装置相互通信，以实现无人机伴飞的精准定位，可选的，举例无人机在工作时通过RTK定位保持在列车车头前方1公里，高度为100m的位置处。

在具体实施时，举例所述无线通信模块包括4G通信模块以及4G天线，所述4G天线与所述4G通信模块相连，所述4G通信模块通过4G传输网络与无人机通信，其中，无人机在列车出站后，通过无线通信模块接收启动工作的信号；无人机在工作时如果检测到泥石流等灾害，则将检测结果传回到列车上。

更进一步的，举例高清摄像机内置有AI(Artificial Intelligence，人工智能)算法，其可使用本实施例所提供的方法，来提取视频流中关键帧的图像，并对提取的图像进行目标识别，以及目标跟踪，以得到灾害目标，最终，基于灾害目标的运动轨迹以及尺寸数据，来得出灾害预警结果，并将灾害预警结果回传至列车，以实现对列车的交通灾害预警。

参见图4所示，本实施例所提供的轨道交通灾害预警方法，可以但不限于在无人机侧运行，可以理解的，前述执行主体并不构成对本申请实施例的限定，相应的，本方法的运行步骤可以但不限于如下述步骤S1～S5所示。

S1.对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像；具体应用时，无人机是沿轨道飞行，然后在飞行过程中，拍摄轨道沿线的地形地貌，以形成视频流；而在得到轨道沿线地形地貌的视频流后，则可提取出视频流中关键帧对应的图像，从而将其作为待识别图像，以便后续对待识别图像进行图像识别，以及目标跟踪，从而完成列车的交通灾害预警；可选的，关键帧对应图像的提取，是根据视频流中时间的先后顺序，从前至后依次提取；另外，也可在视频流中每隔预设时间提取一张图像，如1s或2s，同时，还可直接使用无人机间隔预设时间，来采集轨道沿线地形地貌的图像；因此，图像的获取方式可根据实际使用而具体设定，在此不限定于前述举例。

在得到视频流中各个关键帧对应的图像后，即可对各个关键帧对应的图像进行图像识别，以识别出图像内与泥石流相关的目标，如石块等，以便后续对识别出的目标进行目标跟踪，从而实现灾害预警，其中，图像识别过程如下述步骤S2所示。

S2.将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块；具体应用时，举例图像识别模型可以但不限于采用训练后的Y0L0v4神经网络模型，而任一待识别图像中的任一第一目标对象的位置坐标为图像识别模型所检测到该任一第一目标对象在所述任一待识别图像中对应预测锚框的中心坐标，也就是该任一第一目标对象在检测时，其对应检测框的中心坐标；同时，任一第一目标对象的尺寸数据，则是该任一第一目标对象对应预测锚框的面积。

可选的，下述提供Y0L0v4神经网络模型的其中一种训练方法，可以但不限于如下述步骤 S01～S03所示。

S01.获取训练数据集，其中，所述训练数据集包括多张不同轨道沿线的地形地貌图像；具体应用时，可使用无人机沿不同轨道沿线进行拍摄，得到不同轨道沿线的地形地貌图像，同时，还可拍摄沙石较多的山坡图像，由此，可保证数据的多样性，提高模型的泛化能力。

在得到训练数据集后，即可对训练数据集中的每张地形地貌图像进行信息标注，以便后续帮助模型进行训练，其中，标注过程如下述步骤S02所示。

S02.对每张地形地貌图像中的泥石流目标对象所在的区域进行标注，得出每张地形地貌图像中泥石流目标对象的真实锚框，以利用每张地形地貌图像中的泥石流目标对象的真实锚框，组成每张地形地貌图像的标注信息，其中，所述泥石流目标对象包括石块；具体应用时，可以但不限于使用labelImg(一种图像标注工具)进行信息标注，且标注的是地形地貌图像中与泥石流相关的目标对象(即前述的泥石流目标对象，如石块等)，以及泥石流目标对象的真实检测框(即真实锚框)、真实检测框的中心点坐标，由此，在完成每张地形地貌图像的信息标注后，即可得到每张地形地貌图像的标注信息，而该标注信息则用于后续模型训练中，损失函数的计算，以便基于损失函数值来判断模型是否收敛。

在完成训练数据集中每张地形地貌图像的信息标注后，即可输入至Y0L0v4神经网络模型进行模型训练，其中，训练过程如下述步骤S03所示。

S03.以所述训练数据集和所述训练数据集中每张地形地貌图像的标注信息为输入，每张地形地貌图像中泥石流目标对象的位置坐标以及尺寸数据为输出，训练Y0L0v4神经网络模型，以在训练完毕后，得到所述图像识别模型；具体应用时，所述图像识别模型的损失函数主要是最小化模型输出值与真实值的差异，通俗来讲，就是模型输出的泥石流目标对象的尺寸数据和位置坐标，与其在地形地貌图像中真实的尺寸数据和位置坐标之间的差异足够小；当然，泥石流目标对象真实的尺寸数据和位置坐标，则是根据其对应的真实锚框得到的(位置坐标为真实锚框的中心点坐标，而尺寸数据则是真实锚框的面积)。

参见图5所示，A表示在任一地形地貌图像输入Y0L0v4神经网络模型后，Y0L0v4神经网络模型检测到的任一地形地貌图像中泥石流目标对象的预测锚框，而B则表示任一地形地貌图像中泥石流目标对象的真实锚框，那么，本实施例所提供的模型的损失函数，则主要从真实锚框与预测锚框的中心点的距离(即图5中的s)，真实锚框与预测锚框的重叠面积以及二者的长宽比来实现，其可以但不限于如下述式(1)所示：

上述式(1)中，L表示所述图像识别模型的损失函数，A表示在任一地形地貌图像输入 Y0L0v4神经网络模型后，Y0L0v4神经网络模型检测到的任一地形地貌图像中泥石流目标对象的预测锚框，B表示任一地形地貌图像中泥石流目标对象的真实锚框，L₁(A,B)表示任一地形地貌图像中泥石流目标对象的预测锚框与真实锚框之间重叠区域的损失函数，A_o表示所述预测锚框的中心点，Bo表示所述真实锚框的中心点，s²(A_o,B_o)表示所述预测锚框的中心点与所述真实锚框的中心点之间的欧式距离，c表示矩形区域的对角线长度，且所述矩形区域为所述真实锚框的长度边和宽度边的延长线，与所述预测锚框的长度边和宽度边的延长线所围成的区域，g,k均为所述真实锚框与所述预测锚框的长宽比的惩罚项。

同时，

上述式(2)中，S₁表示所述真实锚框与所述预测锚框相交的面积，S₂表示所述真实锚框与所述预测锚框合并后的面积；而两个惩罚项的计算公式则分别如下述公式(3)和(4)所示：

上述式(3)中，w表示所述预测锚框的宽度，h表示所述预测锚框的长度，w′表示所述真实锚框的宽度，h′表示所述预测锚框的长度。

在本实施例中，若地形地貌图像中的泥石流目标对象存在多个时，那么则可使用前述公式计算出每个泥石流目标对象的损失函数值，然后取平均值，从而来作为整个模型的损失函数值。

由此，利用前述公式(1)～(4)计算得到损失函数后，即可在训练过程中，判断模型是否收敛，即在当损失函数的值小于预设值，或值不再变化时，即可结束训练，得到图像识别模型，而在得到图像识别模型后，在实际使用过程中，则直接将各个待识别图像输入至图像识别模型中，从而得出各个待识别图像中每个第一目标对象的尺寸数据和位置坐标。

在得到每张待识别图像中各个第一目标对象的尺寸数据和位置坐标后，即可对每张待识别图像中的各个第一目标对象进行目标跟踪，以便检测出视频流中运动的物体，从而基于运动物体的轨迹和尺寸数据，来进行列车的交通灾害预警，其中，目标跟踪过程如下述步骤S3所示。

S3.对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标；具体应用时，该步骤相当于是检测出在视频流中运动的物体，而运动的物体可能会移动至轨道，从而对列车运行造成安全隐患，因此，本发明则将检测出的运动物体作为灾害目标，以便后续生成灾害目标的运动轨迹，并利用灾害目标的运动轨迹以及尺寸数据，来进行灾害预警；可选的，举例每张待识别图像中的各个第一目标对象的目标跟踪过程，可以但不限于如下述步骤S31和步骤S32所示。

S31.从所有待识别图像中，确定出第一图像以及第二图像，其中，所述第一图像为关键帧处于所述视频流最前方的待识别图像，所述第二图像为所述待识别图像中除去所述第一图像后剩余的待识别图像。

S3.利用所述第一图像以及所述第二图像，对所述第一图像中的各个第一目标对象进行目标跟踪，以从各个第二图像中，确定出所述第一图像中至少一个第一目标对象相对应的第二目标对象，以将至少一个第一目标对象和至少一个第一目标对象对应的第二目标对象，作为灾害目标，其中，任一第一目标对象，与该任一第一目标对象对应的第二目标对象为同一物体，且任一第二目标对象存在于所有第二图像中。

前述步骤S31和步骤S32的工作原理为：

先确定出处于视频流最前方的关键帧对应的待识别图像，将其作为第一图像，而视频流中剩余关键帧对应的待识别图像则作为第二图像；然后，以第一图像中的各个第一目标对象为检测对象，在各个第二图像中进行跟踪检测，也就是检测各个第二图像中，是否还存在有前述第一目标对象，若各个第二图像中存在有与前述第一目标对象表征为同一物体的第二目标对象，那么则说明，前述第一目标对象依旧存在于各个第二图像中，其随时间的推移位置在不断变化，也就是其处于运动状态，而运动对象可能会移动至轨道上，对列车产生危害；因此，本实施例则可将前述步骤S32中匹配出的至少一个第一目标对象和至少一个第一目标对象对应的第二目标对象，作为灾害目标。

下述以一个实例来阐述前述步骤S31和步骤S32：假设，第一图像中的第一目标对象为石块A1、石块A2和石块A3，第二图像为3张(分别为T2、T3和T4)，其中，T2中的第二目标对象为石块B1、石块B2和石块B3，T3中的第二目标对象为石块C1、石块C2和石块C3，T4 中的第二目标对象为石块D1、石块D2和石块D3，同时，经过步骤S32后，确定出石块B1、石块C2和石块D1表征的物体就为石块A1，石块B2、石块C1和石块D2表征的物体就为石块 A2，而3张第二图像中则不存在有表征石块A3的第二目标对象，因此，三张第二图像中石块 B1、石块C2和石块D1表征的物体其实质就为第一图像中的石块A1，同理，石块B2、石块C1 和石块D2表征的物体则为第一图像中的石块A2，因此，可判断石块B1、石块C2、石块D1、 A1、石块B2、石块C1、石块D2和石块A2，属于灾害目标；当然，不同数量的第一图像和第二图像中目标对象的跟踪过程，与前述举例原理相同，于此不再赘述。

更进一步的，在本实施例中，前述步骤S32中，可以但不限于使用Deepsort算法进行第一图像中各个第一目标对象，在各个第二图像中的目标跟踪，Deepsort算法可对不同图像上的同一目标进行跟踪，并赋予独特的id来标识，从而完成不同图像中同一目标的跟踪识别，其中，该算法是基于Sort目标跟踪进行的改进，它引入深度学习模型，在实时目标跟踪过程中，提取目标的外观特征进行最近邻近匹配，是目标跟踪的常用算法，其原理不再赘述。

在完成待识别图像中各个第一目标对象的跟踪，得到待识别图像中运动的目标对象(即灾害目标)后，即可生成各个灾害目标的运动轨迹，以便基于运动轨迹和各个灾害目标的尺寸数据，来进行列车的交通灾害预警，其中，各个灾害目标的轨迹生成过程如下述步骤S4所示。

S4.基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹；在本实施例中，由于前述就已说明任一第一目标对象的位置坐标为其对应预测锚框的中心点坐标，因此，在实际应用时，对于任一灾害目标，则是基于该任一灾害目标在不同待识别图像中对应预测锚框的中心点，来生成其对应的运动轨迹，其中，具体过程如下述步骤S41～S43 所示。

S41.基于每张待识别图像中各个第一目标对象的位置坐标，确定出各个灾害目标在不同待识别图像中对应预测锚框的中心点。

S42.对于任一灾害目标，获取包含有所述任一灾害目标的待识别图像对应关键帧的视频时间，并按照视频时间从先至后的顺序，将包含有任一灾害目标的待识别图像进行排序。

S43.按照排序顺序，将各个目标图像中的任一灾害目标对应预测锚框的中心点进行连线，以在连线后，得到所述任一灾害目标的运动轨迹，其中，所述目标图像为包含有所述任一灾害目标的待识别图像。

下述在前述举例的基础上，来阐述前述步骤S41～S43，对于石块A1，其在剩余的待识别图像中，对应有石块B2、石块C1和石块D2(前述三个石块实质均为石块A1)，也就是说，石块A1除了存在于第一图像中，还在第二图像T2、第二图像T3和第二图像T4中存在，且第一图像和第二图像均为待识别图像，因此，相当于是先在第一图像中，确定出石块A1对应预测锚框的中心点，在第二图像T2中确定出石块B2对应预测锚框的中心点，在第二图像T3中确定出石块C1对应预测锚框的中心点，以及在第二图像T4中确定出石块D2对应锚框的中心点；接着，将第一图像和3张第二图像，依据各自对应的关键帧的视频时间从先至后的顺序，来进行排序，假设排序顺序为第一图像、第二图像T2、第二图像T3和第二图像T4，最后，即可按照前述图像的排序顺序，将前述确定出的中心点进行连线，而连接起来的线段则为石块A1的运动轨迹；当然，其余各个灾害目标的运动轨迹生成过程与前述举例原理相同，于此不再赘述。

在得到各个灾害目标的运动轨迹后，即可结合各个灾害目标的尺寸数据，来进行列车的灾害预警，其中，预警过程如下述步骤S5所示。

S5.根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警；具体应用时，预警过程可以但不限于包括如下步骤S51～S56。

S51.从各个灾害目标中，筛选出尺寸数据大于第一阈值的灾害目标，作为预警对象。

S52.判断所述预警对象的运动轨迹的轨迹长度是否大于轨迹阈值。

S53.若是，则判定灾害预警结果为危险；和/或

S54.判断所述灾害目标的总数量是否大于第二阈值。

S55.若是，则判断各个灾害目标的运动轨迹的轨迹长度是否大于所述轨迹阈值。

S56.若是，则判定灾害预警结果为危险。

基于前述步骤S51～S56，本实施例设置有两个预警条件，其一为：尺寸数据大于第一阈值的灾害目标，其对应的运动轨迹的轨迹长度大于轨迹阈值；此种预警条件则针对巨石等物体；即检测巨石是否会滚落至轨道，从而对列车造成危害；其二是：灾害目标的总数量要大于第二阈值，且每个灾害目标的运动轨迹的轨迹长度要大于轨迹阈值；第二种预警条件则针对轨道沿线的大范围碎石滑坡；由此，只要满足前述两个预警条件的其中一个或两个，均可触发预警，也就是判定灾害预警结果为危险；当然，在本实施例第一阈值、第二阈值和轨迹阈值，可根据实际使用而具体设定，在此不作具体限定。

另外，在本实施例中，若无人机得出列车前方的灾害预警结果为危险，那么无人机还可对列车前方预设距离处的区域进行视频采集，得到灾害视频，并同时所述灾害视频和所述预警信息同时发送至所述列车的驾驶终端，以在发送后，完成对所述列车的交通灾害预警；由此，便于列车的驾驶人员及时了解列车前方的道路情况，从而根据道路情况采取相应的处理措施，以进一步的提高预警的有效性。

可选的，灾害视频的时长可以但不限于为5-10s，而预警信息则可以但不限于为“距离列车xxkm处发生泥石流滑坡，请及时采取制动措施”；当然，预警信息的展示内容也可根据实际使用的具体设定，在此不限定于前述举例。

由此通过前述步骤S1～S5所详细描述的轨道交通灾害预警方法，本发明采用无人机伴飞列车，且距离列车车头一定距离，并通过视觉检测的方式来对铁路沿线的泥石流等自然灾害进行灾害识别，因此，本发明无需提前部署传感器、标记物和监测设备，适用面广，且可对列车前方的泥石流等自然灾害进行实时预警，实时性好，同时，伴飞方式可将检测范围全面覆盖轨道沿线，其检测范围更广，有效提高了列车运行的安全性。

如图6所示，本实施例第二方面提供了一种实现实施例第一方面中所述的轨道交通灾害预警方法的硬件装置，包括：

图像采集单元，用于对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像。

图像识别单元，用于将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块。

目标跟踪单元，用于对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标。

目标跟踪单元，用于基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹。

预警单元，用于根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警。

本实施例提供的装置的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

如图7所示，本实施例第三方面提供了另一种轨道交通灾害预警装置，以装置为电子设备为例，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如实施例第一方面所述的轨道交通灾害预警方法。

具体举例的，所述存储器可以但不限于包括随机存取存储器(random accessmemory，RAM)、只读存储器(Read Only Memory，ROM)、闪存(Flash Memory)、先进先出存储器(First Input First Output，FIFO)和/或先进后出存储器(First In Last Out，FILO)等等；具体地，处理器可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器可以采用 DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现，同时，处理器也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。

在一些实施例中，处理器可以在集成有GPU(Graphics Processing Unit，图像处理器)， GPU用于负责显示屏所需要显示的内容的渲染和绘制，例如，所述处理器可以不限于采用型号为STM32F105系列的微处理器、精简指令集计算机(reduced instruction setcomputer,RISC) 微处理器、X86等架构处理器或集成嵌入式神经网络处理器(neural-network processing units，NPU)的处理器；所述收发器可以但不限于为无线保真(WI FI)无线收发器、蓝牙无线收发器、通用分组无线服务技术(General Packet Radio Service，GPRS)无线收发器、紫蜂协议(基于IEEE802.15.4标准的低功耗局域网协议，ZigBee)无线收发器、3G收发器、4G 收发器和/或5G收发器等。此外，所述装置还可以但不限于包括有电源模块、显示屏和其它必要的部件。

本实施例提供的电子设备的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第四方面提供了一种存储包含有实施例第一方面所述的轨道交通灾害预警方法的指令的存储介质，即所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如第一方面所述的轨道交通灾害预警方法。

其中，所述存储介质是指存储数据的载体，可以但不限于包括软盘、光盘、硬盘、闪存、优盘和/或记忆棒(Memory Stick)等，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

本实施例提供的存储介质的工作过程、工作细节和技术效果，可以参见实施例第一方面，于此不再赘述。

本实施例第五方面提供了一种包含指令的计算机程序产品，当所述指令在计算机上运行时，使所述计算机执行如实施例第一方面所述的轨道交通灾害预警方法，其中，所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种轨道交通灾害预警方法，其特征在于，应用于列车行进过程中，处于列车轨道前方，且始终与列车保持预设距离的无人机，其中，所述方法包括：

对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像；

将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块；

对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标；

基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹；

根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警。

2.根据权利要求1所述的方法，其特征在于，在对列车轨道前方预设距离处的地形地貌进行视频采集前，所述方法还包括：

获取训练数据集，其中，所述训练数据集包括多张不同轨道沿线的地形地貌图像；

对每张地形地貌图像中的泥石流目标对象所在的区域进行标注，得出每张地形地貌图像中泥石流目标对象的真实锚框，以利用每张地形地貌图像中的泥石流目标对象的真实锚框，组成每张地形地貌图像的标注信息，其中，所述泥石流目标对象包括石块；

以所述训练数据集和所述训练数据集中每张地形地貌图像的标注信息为输入，每张地形地貌图像中泥石流目标对象的位置坐标以及尺寸数据为输出，训练Y0L0v4神经网络模型，以在训练完毕后，得到所述图像识别模型。

3.根据权利要求2所述的方法，其特征在于，所述图像识别模型的损失函数为：

上述式(1)中，L表示所述图像识别模型的损失函数，A表示在任一地形地貌图像输入Y0L0v4神经网络模型后，Y0L0v4神经网络模型检测到的任一地形地貌图像中泥石流目标对象的预测锚框，B表示任一地形地貌图像中泥石流目标对象的真实锚框，L₁(A,B)表示任一地形地貌图像中泥石流目标对象的预测锚框与真实锚框之间重叠区域的损失函数，A_o表示所述预测锚框的中心点，Bo表示所述真实锚框的中心点，s²(A_o,B_o)表示所述预测锚框的中心点与所述真实锚框的中心点之间的欧式距离，c表示矩形区域的对角线长度，且所述矩形区域为所述真实锚框的长度边和宽度边的延长线，与所述预测锚框的长度边和宽度边的延长线所围成的区域，g,k均为所述真实锚框与所述预测锚框的长宽比的惩罚项；

其中，

上述式(2)中，S₁表示所述真实锚框与所述预测锚框相交的面积，S₂表示所述真实锚框与所述预测锚框合并后的面积；

上述式(3)中，w表示所述预测锚框的宽度，h表示所述预测锚框的长度，w′表示所述真实锚框的宽度，h′表示所述预测锚框的长度。

4.根据权利要求1所述的方法，其特征在于，对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标，包括：

从所有待识别图像中，确定出第一图像以及第二图像，其中，所述第一图像为关键帧处于所述视频流最前方的待识别图像，所述第二图像为所述待识别图像中除去所述第一图像后剩余的待识别图像；

利用所述第一图像以及所述第二图像，对所述第一图像中的各个第一目标对象进行目标跟踪，以从各个第二图像中，确定出所述第一图像中至少一个第一目标对象相对应的第二目标对象，以将至少一个第一目标对象和至少一个第一目标对象对应的第二目标对象，作为灾害目标，其中，任一第一目标对象，与该任一第一目标对象对应的第二目标对象为同一物体，且任一第二目标对象存在于所有第二图像中。

5.根据权利要求1所述的方法，其特征在于，任一待识别图像中的任一第一目标对象的位置坐标为所述图像识别模型所检测到该任一第一目标对象在所述任一待识别图像中对应预测锚框的中心坐标；

其中，基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹，包括：

基于每张待识别图像中各个第一目标对象的位置坐标，确定出各个灾害目标在不同待识别图像中对应预测锚框的中心点；

对于任一灾害目标，获取包含有所述任一灾害目标的待识别图像对应关键帧的视频时间，并按照视频时间从先至后的顺序，将包含有任一灾害目标的待识别图像进行排序；

按照排序顺序，将各个目标图像中的任一灾害目标对应预测锚框的中心点进行连线，以在连线后，得到所述任一灾害目标的运动轨迹，其中，所述目标图像为包含有所述任一灾害目标的待识别图像。

6.根据权利要求1所述的方法，其特征在于，根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，包括：

从各个灾害目标中，筛选出尺寸数据大于第一阈值的灾害目标，作为预警对象；

判断所述预警对象的运动轨迹的轨迹长度是否大于轨迹阈值；

若是，则判定灾害预警结果为危险；和/或

判断所述灾害目标的总数量是否大于第二阈值；

若是，则判断各个灾害目标的运动轨迹的轨迹长度是否大于所述轨迹阈值；

若是，则判定灾害预警结果为危险。

7.根据权利要求1所述的方法，其特征在于，在得出灾害预警结果后，所述方法还包括：

若灾害预警结果为危险，则对列车前方预设距离处的区域进行视频采集，得到灾害视频；

将所述灾害视频和所述预警信息同时发送至所述列车的驾驶终端，以在发送后，完成对所述列车的交通灾害预警。

8.一种轨道交通灾害预警装置，其特征在于，包括：

图像采集单元，用于对列车轨道前方预设距离处的地形地貌进行视频采集，得到视频流，并提取出所述视频流中关键帧对应的图像，作为待识别图像；

图像识别单元，用于将每张待识别图像输入至图像识别模型中进行图像识别，得到每张待识别图像中各个第一目标对象的位置坐标以及尺寸数据，其中，所述第一目标对象包括泥石流中夹杂的石块；

目标跟踪单元，用于对每张待识别图像中的各个第一目标对象进行目标跟踪，识别出不同待识别图像中属于同一物体的第一目标对象，以将不同待识别图像中属于同一物体的第一目标对作为灾害目标；

目标跟踪单元，用于基于每张待识别图像中各个第一目标对象的位置坐标，得出各个灾害目标的运动轨迹；

预警单元，用于根据各个灾害目标的运动轨迹以及各个灾害目标的尺寸数据，得出灾害预警结果，并在所述灾害预警结果为危险时，向所述列车的驾驶终端发送预警信息，以在发送后，完成对所述列车的交通灾害预警。

9.一种电子设备，其特征在于，包括：依次通信相连的存储器、处理器和收发器，其中，所述存储器用于存储计算机程序，所述收发器用于收发消息，所述处理器用于读取所述计算机程序，执行如权利要求1～7任意一项所述的轨道交通灾害预警方法。

10.一种存储介质，其特征在于，所述存储介质上存储有指令，当所述指令在计算机上运行时，执行如权利要求1～7任意一项所述的轨道交通灾害预警方法。

Images