CN114782888B - 轨道咽喉区异常检测的方法及系统 - Google Patents

Abstract

本发明公开了一种轨道咽喉区异常检测的方法及系统。该方法包括如下步骤：获取轨道咽喉区的连续N帧图像；基于预设模型对连续N帧图像进行异常检测，以获取每一帧图像的异常得分值；将每一帧图像的异常得分值与预先设定的分类阈值相比较，以获取异常检测结果；根据异常检测结果获取异常图像，并基于预设模型获取异常图像上每一个像素的像素异常得分值；将每一个像素的像素异常得分值与预先设定的定位阈值相比较，以确定异常图像上存在异常的像素位置；将各个存在异常的像素位置整合，以获取异常图像上的异常区域。利用本发明，可以有效提轨道咽喉区的安全保障能力。

Description

轨道咽喉区异常检测的方法及系统

技术领域

本发明涉及一种轨道咽喉区异常检测的方法，还涉及相应的异常检测系统，属于轨道检测技术领域。

背景技术

轨道交通的咽喉区(简称为轨道咽喉区)是行车和调车最繁忙的地方。轨道咽喉区的通过能力日益增大，对咽喉区的安全性提出了更高要求。

目前，轨道咽喉区存在一些风险隐患。例如：1)道岔的基本轨与尖轨之间存在较大缝隙，当异物入侵时(比如过车时崩落的石块)，容易导致基本轨与尖轨无法密贴。2)工务、电务和供电三个专业在咽喉区施工作业频繁，使用的工器具种类繁多，容易出现工器具遗留现象。3)转辙机在检修完成后，箱盖(尤其是外箱盖)未闭合或者未完全固定，容易危害行车安全。4)人员闯入咽喉区，影响行车安全和人身安全。

然而，目前而言，轨道咽喉区主要依靠人工巡检，在偏远地区，巡检周期长，无法及时发现异常情况，存在安全隐患。

发明内容

本发明所要解决的首要技术问题在于提供一种轨道咽喉区异常检测的方法。

本发明所要解决的另一技术问题在于提供一种轨道咽喉区异常检测的系统。

为了实现上述技术目的，本发明采用以下的技术方案：

根据本发明实施例的第一方面，提供一种轨道咽喉区异常检测的方法，包括：

获取轨道咽喉区的连续N帧图像，其中N为正整数；

基于预设模型对所述连续N帧图像进行异常检测，以获取每一帧图像的异常得分值；

将每一帧图像的所述异常得分值与预先设定的分类阈值相比较，以获取异常检测结果；

根据所述异常检测结果获取异常图像，并基于所述预设模型获取所述异常图像上每一个像素的像素异常得分值；

将每一个像素的所述像素异常得分值与预先设定的定位阈值相比较，以确定所述异常图像上存在异常的像素位置；

将各个存在异常的像素位置整合，以获取所述异常图像上的异常区域。

其中较优地，所述获取轨道咽喉区的N帧图像具体包括：

针对轨道咽喉区预先设定多个摄像头，以使每个所述摄像头均能够检测多个关键点位；

按照设定时间，定时控制所述多个摄像头对各自对应的关键点位进行N帧图像的采集。

其中较优地，所述基于预设模型对所述N帧图像进行异常检测，以获取每一帧图像的异常得分值具体包括：

利用预设的正常图片和异常图片进行预训练，得到训练好的教师模型；

利用预设的正常图片进行预训练，得到训练好的学生模型，并使得在正常图片下，所述学生模型的输出结果与所述教师模型的输出结果相同或相近；

将所述N帧图像分别输入所述教师模型，以获取每一帧图像的第一输出结果；

将所述N帧图像分别输入所述学生模型，以获取每一帧图像的第二输出结果；

对于任意一帧图像，根据所述第一输出结果与所述第二输出结果，获取每一帧图像的异常得分值；其中，若所述第一输出结果与所述第二输出结果相同或相近，则所述异常得分值小，反之，则所述异常得分值偏大。

其中较优地，所述分类阈值通过以下方式进行设定：

利用预设的正常图片和异常图片运行所述预设模型，以得到每张图片的热力图；

选取每张热力图中的最大热力值作为所述热力图的得分；

分别以每张热力图的得分作为阈值，得到四个基本指标TP、FP、TN和FN；

基于所述四个基本指标TP、FP、TN和FN，绘制P-R曲线；

利用所述P-R曲线得到F1-score；

选择F1-score的TOP-5最大值，求平均值，作为最终的分类阈值。

其中较优地，所述定位阈值通过以下方式进行设定：

采用语义分割的方式对预设的异常图片进行标注，以标注出异物所在的位置；

利用标注完成的异常图片运行所述预设模型，以得到每个异常图片的包含每个像素得分的热力图；

分别以所述热力图中的每个像素得分作为阈值，得到四个基本指标TP、FP、TN和FN；

基于所述四个基本指标TP、FP、TN和FN，绘制P-R曲线；

利用所述P-R曲线得到F1-score；

选择F1-score的TOP-5最大值，求平均值，作为最终的定位阈值。

其中较优地，所述异常检测的类型至少包括：

所述N帧图像中的轨道咽喉区是否存在异物；

所述N帧图像中的轨道咽喉区是否有工具残留；

所述N帧图像中的轨道咽喉区是否存在转辙机箱盖未闭合；

所述N帧图像中的轨道咽喉区是否存在行人。

其中较优地，所述分类阈值和所述定位阈值均根据日期和时间进行动态调整；

调整方式如下：

thresh＝(0.5+α+β)*thresh，thresh为所述分类阈值或所述定位阈值；

α＝0.1+|x-6|*0.05，x为月份值；

β的取值如下：

在22:00～9:00的时间段内，β的取值为-0.1；在9:00～18:00的时间段内，β的取值为0；在18:00～22:00的时间段内，β的取值为0.1。

其中较优地，还包括：

根据所述异常图像上的异常区域，向业务子系统发送报警信息。

其中较优地，在向业务子系统发送报警信息的过程中，采用滑动窗口的方式判断是否存在异常。

根据本发明实施例的第二方面，提供一种轨道咽喉区异常检测的系统，包括：

视频监控子系统，包括多个设置于轨道咽喉区的摄像头，以用于对各自对应的关键点位进行N帧图像的采集；

异常检测子系统，与所述视频监控子系统连接，以接收所述视频监控子系统发送的N帧图像，并对所述N帧图像进行异常检测；

业务子系统，与所述异常检测子系统连接，以接收所述异常检测子系统根据检测结果发送的报警信息，并进行业务分配。

与现有技术相比较，本发明具有以下的技术效果：

1)鲁棒性强：传统算法只能识别已知有限的异常种类，本算法采用无监督学习，无需负样本，可识别正常之外的其他异常种类。

2)泛化能力强：多个咽喉区场景可以混合训练和推理。

3)复杂度低：传统异常检测算法需手动提取特征，通过形状轮廓、色彩空间等特征进行异常分析，而本方法及系统通过神经网络自动提取图像特征，免去复杂的特征工程；

4)抗干扰能力强：只要保证正常样本数据的多样性，可适应不同光照、不同天气变化情况。

附图说明

图1为本发明实施例提供的一种轨道咽喉区异常检测的方法的整体流程示意图；

图2为获取任意一帧图像的异常得分值的示意图；

图3为滑动窗口的示意图；

图4为本发明实施例提供的一种轨道咽喉区异常检测的系统结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明的技术内容进行详细具体的说明。

图1所示为本发明实施例提供的一种轨道咽喉区异常检测的方法流程图，其具体包括步骤S1～S6：

S1：获取轨道咽喉区的连续N帧图像。其中，N为正整数(下同)。

具体的，包括步骤S11～S12：

S11：针对轨道咽喉区预先设定多个摄像头，以使每个摄像头均能够检测多个关键点位(例如：咽喉区基本轨、尖轨、密贴区和转辙机等)。本发明实施例中，通过3个摄像头采集15个关键点位的图像数据，每隔5分钟采集一组10帧图像，连续采集7天。获取不同时间、光线、天气的样本数据(即正常图片和异常图片)，可用于对预设模型进行训练。

由于采用了面向服务的视频分析架构，实现了摄像头的动态接入。因此，在不改变系统的条件下，可以随时增减摄像头，以满足不同情况的使用需求。

S12：按照设定时间，定时控制多个摄像头对各自对应的关键点位进行连续N帧图像的采集。

当摄像头设置完毕后，通过定时控制多个摄像头到达预设位置，从而对关键点位进行N帧图像的采集。需要注意的是，步骤S11中采集的N帧图像为预先拍摄的样本图像，用于训练模型；而步骤S12中所采集的N帧图像为实际使用过程中，所需要检测的图像。

通过步骤S11中采集的样本图像对模型进行训练后，利用训练好的模型对S12中实际采集的连续N帧图像进行异常检测(下文进行详细说明)。

S2：基于预设模型对连续N帧图像进行异常检测，以获取每一帧图像的异常得分值。

知识蒸馏是一种模型压缩方法，就是将已经训练好的大模型包含的知识蒸馏提取到另一个小模型里面去。知识蒸馏的过程是首先对教师模型进行预训练得到一个训练好的检测模型。然后，训练学生模型，此时除了将标记的数据作为优化目标外，还需要学生模型的输出无限逼近教师的输出。

将知识蒸馏技术应用到异常检测的基本思想是：对于预训练的教师模型和随机初始化的学生模型在正常样本上进行知识蒸馏，使得学生模型的输出去逼近教师模型的输出，完成在正常样本上的知识学习。因此，在正常样本上教师模型和学生模型上预测得到的特征(embedding)是十分相似的，而当输入异常样本时，由于学生模型并未见过异常，因此教师和学生模型输出的特征相差较大，进而判断输入图像为异常。

具体的，包括步骤S21～S25：

S21：利用预设的正常图片和异常图片进行预训练，得到训练好的教师模型。

本发明实施例中，通过步骤S11获取正常图片和异常图片后，利用该图片对模型进行训练，从而能够得到训练好的教师模型。可以理解的是，该教师模型能够同时识别正常图片和异常图片。

S22：利用预设的正常图片进行预训练，得到训练好的学生模型。

具体的，当训练好教师模型后，利用步骤S11获取正常图片对另一个模型进行训练，从而得到训练好的学生模型，并使得在正常图片下，学生模型的输出结果与教师模型的输出结果相同或相近。可以理解的是，该学生模型仅能够识别正常图片。

S23：将N帧图像分别输入教师模型，以获取每一帧图像的第一输出结果。

当教师模型和学生模型均训练完成后，通过将步骤S12中获取的N帧图像分别输入到教师模型内，从而能够获取对应每一帧图像的第一输出结果(即每一帧图像输出的特征)。

S24：将N帧图像分别输入学生模型，以获取每一帧图像的第二输出结果。

类似的，将上述步骤S12中获取的N帧图像分别输入到学生模型内，从而能够获取对应每一帧图像的第二输出结果。

S25：对于任意一帧图像，根据第一输出结果与第二输出结果，获取每一帧图像的异常得分值。

具体的，对于任意一帧图像而言，当获取第一输出结果与第二输出结果后，通过将第一输出结果与第二输出结果相比较，从而可得出对应于该图像的异常得分值。

具体比较过程如下：

如图2所示，浅色箭头表示在训练阶段的计算流程。深色箭头表示在实测阶段(即输入未知图片判断是否正常)分别从教师模型和学生模型三个尺度大小的特征层进行比较求差，得到三个不同尺度大小的特征图P1、P2和P3，然后将三个不同尺度大小的特征图P1、P2和P3融合(称为特征金字塔融合)得到最后的anomaly map，即该图像的异常得分值。

其中，可以理解的是，若第一输出结果与第二输出结果相同或相近，则异常得分值小，反之，则异常得分值大。

S3：将每一帧图像的异常得分值与预先设定的分类阈值相比较，以获取异常图像。

当获取每一帧图像的异常得分值后，可将该异常得分值与预先设定的分类阈值相比较，若异常得分值大于分类阈值，则该图像为异常图像，反之，则该图像为正常图像。

本发明实施例中，判断图像为异常图像具体分为以下几种类型：

1.N帧图像中的轨道咽喉区是否存在异物；

2.N帧图像中的轨道咽喉区是否有工具残留；

3.N帧图像中的轨道咽喉区是否存在转辙机箱盖未闭合；

4.N帧图像中的轨道咽喉区是否存在行人。

可以理解的是，N为正整数。在其他实施例中，还可以根据实际需要适当增减异常图像的判断类型，从而满足不同情况的使用需求。

其中，分类阈值通过以下方式进行设定：

1)利用预设的正常图片和异常图片运行预设模型(即教师模型)，以得到每张图片的热力图。

2)选取每张热力图中的最大热力值作为热力图的得分。

3)分别以每张热力图的得分作为阈值，得到四个基本指标TP、FP、TN和FN。其中，四个基本指标的含义如下：

True Positive(TP)：预测标签为异常，真实标签也为异常；

False Positive(FP)：预测标签为异常，真实标签却为正常；

False Negative(FN)：预测标签为正常，真实标签却为异常；

True Negative(TN)：预测标签为正常，真实标签也为正常。

4)基于四个基本指标TP、FP、TN和FN，绘制P-R曲线。

具体的，当获得四个基本指标TP、FP、TN和FN后，利用该四个基本指标可计算出查全率Recall和查准率Precision。

其中，

以该查全率Recall作为横坐标，以该查准率Precision作为纵坐标，即可绘制出P-R曲线。

5)利用P-R曲线得到F1-score。

利用上述P-R曲线，可计算出F1-score。

其中，F1-score综合考虑了Precision和Recall，可以解释为precision和recall的加权平均值，具体定义如下：

6)为提高阈值的可靠性，选择F1-score的TOP-5最大值，求平均值，作为最终的分类阈值。其中，TOP-5表示前5个最大值，比如：F1-score的得分情况为1、3、5、6、7、8、9，则TOP-5表示的数为9、8、7、6、5，然后再利用9、8、7、6、5这五个数求平均值，从而得到最终的分类阈值。

可以理解的是，只有当precision和recall的值都高时，F1-score的取值也高，异常检测的模型也更稳健。因此，通过取F1-score的TOP-5最大值所对应的阈值求平均值，即为对应的分类阈值，在该阈值下，用于异常检测的模型的性能最佳。

S4：针对异常图像，基于预设模型获取异常图像上每一个像素的像素异常得分值。

当通过步骤S3找出异常图像后，需要进一步对异常图像进行识别，以找出异常图像上的异常区域。

本发明实施例中，当找出异常图像后，通过对异常图像上的每一个像素进行异常得分值检测，从而可得到该异常图像上的每一个像素的异常得分值。其中，具体检测方式参照步骤S2，即：通过教师模型对于该像素的第一检测结果与学生模型对于该像素的第二检测结果相比较，从而能够得出该像素的异常得分值。

S5：将每一个像素的像素异常得分值与预先设定的定位阈值相比较，以确定异常图像上存在异常的像素位置。

当通过步骤S4确定每一个像素的像素异常得分值后，通过将该像素异常得分值与预先设定的定位阈值相比较，若该像素异常得分值大于定位阈值，则说明该像素存在异常，反之，则该像素正常。

由此，通过比较可确定每一个像素是否存在异常，进而确定异常图像上存在异常的像素位置。

其中，定位阈值通过以下方式进行设定：

1)采用语义分割的方式对预设的异常图片进行标注，以标注出异物所在的位置。

2)利用标注完成的异常图片运行预设模型(即教师模型)，以得到每个异常图片的包含每个像素得分的热力图。

3)分别以热力图中的每个像素得分作为阈值，得到四个基本指标TP、FP、TN和FN。

4)基于四个基本指标TP、FP、TN和FN，绘制P-R曲线。

5)利用P-R曲线得到F1-score；

6)为提高阈值的可靠性，选择F1-score的TOP-5最大值，求平均值，作为最终的定位阈值。

此外，在上述实施例中，分类阈值和定位阈值均根据日期和时间进行动态调整，以适应不同光照和不同天气的变化情况。

具体调整方式如下：

thresh＝(0.5+α+β)*thresh，thresh为分类阈值或定位阈值；

α＝0.1+|x-6|*0.05，x为月份值；

β的取值如下：

在22:00～9:00的时间段内，β的取值为-0.1；在9:00～18:00的时间段内，β的取值为0；在18:00～22:00的时间段内，β的取值为0.1。

S6：将各个存在异常的像素位置整合，以获取异常图像上的异常区域。

当通过步骤S5找出所有存在异常的像素后，将这些像素所在的像素位置整合，即为该异常图像上的异常区域，从而可对该异常区域进行针对性处理。

S7：根据异常图像上的异常区域，向业务子系统发送报警信息。

本发明实施例中，在向业务子系统发送报警信息的过程中，采用滑动窗口的方式判断是否存在异常，从而能够避免出现误报的情况。

具体的，滑动窗口示意图如图3所示，N表示检测没有异常，Y表示检测有异常。T＝0时刻，在长度L为3的窗口内，结果均为N，则判断该时刻没有异常；T＝1时刻，有一次检测结果为Y，而其余两次结果为N，这一次的Y可能是误检引起，则判断该时刻没有异常；T＝2时刻，有2次结果检测为Y，一次检测结果为N，判断该时刻有异常。

如图4所示，本发明实施例还提供一种轨道咽喉区异常检测的系统，包括：视频监控子系统1、异常检测子系统2以及业务子系统3。

其中，视频监控子系统1包括多个设置于轨道咽喉区的摄像头11，以用于对各自对应的关键点位进行N帧图像的采集。

异常检测子系统2与视频监控子系统1连接，以接收视频监控子系统发送的N帧图像，并对N帧图像进行异常检测。可以理解的是，该异常检测子系统2具有训练好的教师模型和学生模型。

业务子系统3与异常检测子系统2连接，以接收异常检测子系统2根据检测结果发送的报警信息，并进行业务分配。

综上所述，本发明所提供的轨道咽喉区异常检测的方法及系统，具有以下技术特点：

1)鲁棒性强：传统算法只能识别已知有限的异常种类，本算法采用无监督学习，无需负样本，可识别正常之外的其他异常种类。

2)泛化能力强：多个咽喉区场景可以混合训练和推理。

3)复杂度低：传统异常检测算法需手动提取特征，通过形状轮廓、色彩空间等特征进行异常分析，而本方法及系统通过神经网络自动提取图像特征，免去复杂的特征工程；

4)抗干扰能力强：只要保证正常样本数据的多样性，可适应不同光照、不同天气变化情况。

上面对本发明所提供的轨道咽喉区异常检测的方法及系统进行了详细的说明。对本领域的一般技术人员而言，在不背离本发明实质内容的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (9)

1.一种轨道咽喉区异常检测的方法，其特征在于包括如下步骤：

获取轨道咽喉区的连续N帧图像，其中N为正整数；

基于预设模型对所述连续N帧图像进行异常检测，以获取每一帧图像的异常得分值；

将每一帧图像的所述异常得分值与预先设定的分类阈值相比较，以获取异常检测结果；

根据所述异常检测结果获取异常图像，并基于所述预设模型获取所述异常图像上每一个像素的像素异常得分值；

将每一个像素的所述像素异常得分值与预先设定的定位阈值相比较，以确定所述异常图像上存在异常的像素位置；

将各个存在异常的像素位置整合，以获取所述异常图像上的异常区域；

其中，所述分类阈值通过以下方式进行设定：

利用预设的正常图片和异常图片运行所述预设模型，以得到每张图片的热力图；

选取每张热力图中的最大热力值作为所述热力图的得分；

分别以每张热力图的得分作为阈值，得到四个基本指标TP、FP、TN和FN；

基于所述四个基本指标TP、FP、TN和FN，绘制P-R曲线；

利用所述P-R曲线得到F1-score；

选择F1-score的TOP-5最大值所对应的阈值，求平均值，作为最终的分类阈值。

2.如权利要求1所述的方法，其特征在于所述获取轨道咽喉区的N帧图像，具体包括：

针对轨道咽喉区预先设定多个摄像头，以使每个所述摄像头均能够检测多个关键点位；

按照设定时间，定时控制所述多个摄像头对各自对应的关键点位进行N帧图像的采集。

3.如权利要求1所述的方法，其特征在于所述基于预设模型对所述N帧图像进行异常检测，以获取每一帧图像的异常得分值，具体包括：

利用预设的正常图片和异常图片进行预训练，得到训练好的教师模型；

利用预设的正常图片进行预训练，得到训练好的学生模型，并使得在正常图片下，所述学生模型的输出结果与所述教师模型的输出结果相同或相近；

将所述N帧图像分别输入所述教师模型，以获取每一帧图像的第一输出结果；

将所述N帧图像分别输入所述学生模型，以获取每一帧图像的第二输出结果；

对于任意一帧图像，根据所述第一输出结果与所述第二输出结果，获取每一帧图像的异常得分值；其中，若所述第一输出结果与所述第二输出结果相同或相近，则所述异常得分值小，反之，则所述异常得分值大。

4.如权利要求1所述的方法，其特征在于所述定位阈值通过以下方式进行设定：

采用语义分割的方式对预设的异常图片进行标注，以标注出异物所在的位置；

利用标注完成的异常图片运行所述预设模型，以得到每个异常图片的包含每个像素得分的热力图；

分别以所述热力图中的每个像素得分作为阈值，得到四个基本指标TP、FP、TN和FN；

基于所述四个基本指标TP、FP、TN和FN，绘制P-R曲线；

利用所述P-R曲线得到F1-score；

选择F1-score的TOP-5最大值所对应的阈值，求平均值，作为最终的定位阈值。

5.如权利要求1所述的方法，其特征在于所述异常检测的类型至少包括：

所述N帧图像中的轨道咽喉区是否存在异物；

所述N帧图像中的轨道咽喉区是否有工具残留；

所述N帧图像中的轨道咽喉区是否存在转辙机箱盖未闭合；

所述N帧图像中的轨道咽喉区是否存在行人。

6.如权利要求1所述的方法，其特征在于所述分类阈值和所述定位阈值均根据日期和时间进行动态调整；调整方式如下：

thresh₁＝(0.5+α+β)*thresh₂，其中，thresh₁表示调整后的分类阈值或定位阈值，thresh₂表示预先设定的分类阈值或定位阈值；

α＝0.1+|x－6|*0.05，x为月份值；

β的取值如下：

在22:00-9:00的时间段内，β的取值为－0.1；在9:00-18:00的时间段内，β的取值为0；在18:00-22:00的时间段内，β的取值为0.1。

7.如权利要求1所述的方法，其特征在于还包括：

根据所述异常图像上的异常区域，向业务子系统发送报警信息。

8.如权利要求7所述的方法，其特征在于，在向业务子系统发送报警信息的过程中，采用滑动窗口的方式判断是否存在异常。

9.一种轨道咽喉区异常检测的系统，用于执行权利要求1～8中任意一项所述的方法，其特征在于包括：

视频监控子系统，包括多个设置于轨道咽喉区的摄像头，以用于对各自对应的关键点位进行N帧图像的采集；

异常检测子系统，与所述视频监控子系统连接，以接收所述视频监控子系统发送的N帧图像，并对所述N帧图像进行异常检测；

业务子系统，与所述异常检测子系统连接，以接收所述异常检测子系统根据检测结果发送的报警信息，并进行业务分配。

Images