CN114627444A - 一种轨道交通的辅助安全驾驶方法及系统 - Google Patents

Abstract

本发明提供一种轨道交通的辅助安全驾驶方法及系统，包括以下步骤：步骤S1，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；步骤S2，对列车行驶过程中的图像数据进行预处理与数据增加处理；步骤S3，通过滑动窗口对待测图片进行目标检测；步骤S4，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；步骤S5，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别。本发明能够用于实时辅助列车司机的安全驾驶，尽可能地避免因环境光线、天气、疲劳以及视线距离等引起的误判，能够有效地提升列车的运行安全，保障了大众的安全出行。

Description

一种轨道交通的辅助安全驾驶方法及系统

技术领域

本发明涉及一种辅助安全驾驶方法，尤其涉及一种轨道交通的辅助安全驾驶方法，并进一步涉及采用了该轨道交通的辅助安全驾驶方法的辅助安全驾驶系统。

背景技术

随着轨道交通的快速发展，地铁已经成为大众出行的主要交通工具，保证地铁运行的安全变得尤为重要。当前城市轨道均采用基于无线通信技术的CBTC移动闭塞系统实现关自动驾驶，但由于此系统在实际工程还未完全成熟，需要驾驶员全程跟进列车运行，确保列车的安全运行。然而列车司机容易出现疲劳等状态，同时列车实际运行时会因光线和天气等多种因素，容易造成列车驾驶员对信号灯灯色以及轨道道岔等进行误判，从而导致列车运行时存在安全隐患。

发明内容

本发明所要解决的技术问题是需要提供一种能够提升列车运行安全的用于轨道交通的辅助安全驾驶方法。在此基础上，还进一步提供采用了该轨道交通的辅助安全驾驶方法的辅助安全驾驶系统。

对此，本发明提供一种轨道交通的辅助安全驾驶方法，包括以下步骤：

步骤S1，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

步骤S2，对列车行驶过程中的图像数据进行预处理与数据增加处理；所述数据增加处理也称数据增强处理；

步骤S3，通过滑动窗口对待测图片进行目标检测；

步骤S4，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

步骤S5，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号。

本发明的进一步改进在于，所述步骤S1中，通过焦距为25mm的远距摄像头进行预先的目标物体识别。

本发明的进一步改进在于，所述步骤S2包括以下子步骤：

步骤S201，将摄像头拍摄的视频数据进行逐帧取出，通过模糊过滤掉视频的前模糊帧后，获取到第一帧图像数据，以第一帧图像数据为起点，逐帧采用相似图片去重的方式间隔保存图像数据；

步骤S202，对保存的图像数据进行防抖处理，所述防抖处理包括Harris角点处理、全精度运动估计以及Kalman滤波处理中的至少一种；

步骤S203，对防抖处理后的数据进行数据增加处理。

本发明的进一步改进在于，所述步骤S203中，对数据进行数据增加处理的过程包括随机抖动缩放处理、图片亮度调节处理、HSV改变处理、随机水平翻转和旋转处理、标签平滑label smoothing处理、数据增强mixup处理、数据增强cutout处理、数据增强cutmix处理、数据增强mosaic处理以及将一幅图像粘贴在另一幅图像中的随机位置中的至少一种。

本发明的进一步改进在于，所述步骤S3包括以下子步骤：

步骤S301，对待测图片从左到右、从上到下切分成预设像素的小图，并控制相邻小图的边框重叠比例；

步骤S302，对切分出来的小图进行目标检测，获得相应的目标框坐标；

步骤S303，将所有小图所检测出来的目标框坐标还原到切分前的原图上，并合并切分重叠部分的结果，实现对待测图片的目标检测。

本发明的进一步改进在于，所述步骤S301中，控制相邻小图的边框宽和边框高的重叠比例均为0.2。

本发明的进一步改进在于，所述步骤S4包括以下子步骤：

步骤S401，采用深度学习神经网络框架pytorch或者人工智能学习框架Tensorflow进行训练，获得模型；

步骤S402，将训练好的模型进行模型转换，先转换成中间表达格式框架的模型，再转换成所述边缘计算机支持的模型；

步骤S403，对转换后的模型进行量化压缩。

本发明的进一步改进在于，所述步骤S402的模型转换过程包括以下子步骤：

步骤S4021，将训练好的模型转成中间表达格式框架的onnx模型；

步骤S4022，判断所述边缘计算机的设备类型，若所述边缘计算机为嵌入式系统Jetson设备，则将onnx模型转化成深度学习推理框架中的tensorrt模型；若所述边缘计算机为人工智能模型RK3399Pro设备，则将onnx模型转化成rknn网络模型。

本发明的进一步改进在于，所述步骤S403的量化压缩过程包括以下子步骤：

步骤S4031，返回所述步骤S401，将深度学习神经网络框架pytorch和人工智能学习框架Tensorflow的模型进行降低比特数的量化压缩；

步骤S4032，在进行压缩的过程中，对量化压缩的模型进行模型微调处理。

本发明还提供一种轨道交通的辅助安全驾驶系统，采用了如上所述的轨道交通的辅助安全驾驶方法，并包括：

视频或图片采集模块，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

图像数据预处理与数据增加模块，对列车行驶过程中的图像数据进行预处理与数据增加处理；

算法模型训练模块，通过滑动窗口对待测图片进行目标检测；

模型压缩与部署模块，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

实时目标识别模块，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号。

与现有技术相比，本发明的有益效果在于：先通过摄像头采集列车行驶过程中前方的图像数据，然后通过图像数据预处理、数据增加以及滑动窗口方式的目标检测实现列车运行过程中远距离信号灯、轨道道岔以及障碍物等目标物体的检测与识别，再根据结果进行模型的训练、压缩和部署，以便用于实时辅助列车司机的安全驾驶，尽可能地避免因环境光线、天气、疲劳以及视线距离等引起的误判，本发明能够有效地提升列车的运行安全，保障了大众的安全出行。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是本发明一种实施例的工作原理示意图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

如图1和图2所示，本例提供一种轨道交通的辅助安全驾驶方法，包括以下步骤：

步骤S1，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

步骤S2，对列车行驶过程中的图像数据进行预处理与数据增加处理；

步骤S3，通过滑动窗口对待测图片进行目标检测；

步骤S4，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

步骤S5，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号，比如通过语音提醒驾驶员检测结果等方式。

值得说明的是，本例步骤S1和步骤S5都进行数据采集，但这两个数据采集的过程并不完全相同；因为考虑到列车运行速度较快，因此，需要提前对远处的目标物体进行识别，从而做出相应的决策。本例在所述步骤S1中，优选通过焦距为25mm的远距摄像头进行预先的目标物体识别，用于提前观察前方远距离的目标物体，如信号灯、轨道道岔或障碍物等。在步骤S5中，则是用于当前的实时数据采集，便于通过实时的数据采集以及边缘计算机上的模型来实现实时的目标物体识别。

另外，由于在列车行驶过程中的信号灯、轨道道岔以及障碍物的变化频率较低，因此，不需要对每一帧的图像进行目标检测，此外，在列车行驶过程中可能会由于设备架设等原因造成画面抖动，因此对于图像的选择取出和防抖预处理是非常必要的。

本例所述步骤S2包括以下子步骤：

步骤S201，将摄像头拍摄的视频数据进行逐帧取出，通过模糊过滤掉视频的前模糊帧后，比如可以预先设置一个自定义的模糊阈值，过滤掉低于该模拟阈值的图像之后，获取到第一帧图像数据，以第一帧图像数据为起点，逐帧采用相似图片去重的方式间隔保存图像数据；其中，相似图片去重的方式中，相识度的判断也可以根据实际情况和需求进行自定义的相似度阈值判断，当低于该相似度阈值时保存图像，当高于该相似度阈值时，实现去重（即删除）处理；

步骤S202，对保存的图像数据进行防抖处理，所述防抖处理包括Harris角点处理、全精度运动估计以及Kalman滤波处理中的至少一种，以降低图像因为抖动而造成的模糊；

步骤S203，对防抖处理后的数据进行数据增加处理。

本例对获取到的图片在训练或者推理前会经过大量的数据增加操作，以提升模型的准确度和泛化能力。本例在所述步骤S203中，对数据进行数据增加处理的过程包括随机抖动缩放处理、图片亮度调节处理、HSV改变处理、随机水平翻转和旋转处理、标签平滑label smoothing处理、数据增强mixup处理、数据增强cutout处理、数据增强cutmix处理、数据增强mosaic处理以及将一幅图像粘贴在另一幅图像中的随机位置中的至少一种。

本例步骤S3中的算法模型采用基于深度学习的目标检测算法。基于深度学习的目标检测算法目前有两大主流方向，分别是两阶段（two-stage）模型和一阶段（one-stage）模型。两阶段模型需要先搜索出候选框，再通过深度卷积神经网络对候选框进行特征提取，从而确定候选框的目标类别与目标位置，这种操作需要对大量候选框进行卷积操作，使得计算比较耗时，不适合应用在实时的边缘端场景中使用。一阶段模型属于端到端的模型，直接从输入图片或者视频中提取目标物体不同分辨率下的特征，映射到目标物体的置信度、目标类别以及目标位置，从而确定目标物体的类别与定位。

本例采用的目标检测算法指的是用于目标物体特征提取的网络结构，包括但不限于CSPDarknet53、EfficientNet系列、Resnest系列以及轻量化网络结构MobileNet系列、GhostNet、ShuffleNet_V2等。在目标检测算法中，特征提取主要是采用卷积操作提取一系列的特征图，再通过池化操作进行下采样，以及通过激活函数进行非线性的特征映射来提升特征的表达能力，其工作原理如图2所示，从而使得更好预测结果。

为了提高目标检测的精度，本例在骨架网络后增加了基于特征金字塔网络（FPN）的优化结构，包括但不限于PANet、NAS-FPN以及BiFPN等网络结构，加快不同特征层间的信息流通，最后输出检测结果。

更为具体的，考虑到轨道交通属于远距离检测，待测目标都是小目标，因此本例创新地提出一种基于滑动窗口的目标检测方法，以提升小目标的检测准确度，在具体的实现过程中，所述步骤S3包括以下子步骤：

步骤S301，对待测图片从左到右、从上到下切分成预设像素的小图，并控制相邻小图的边框重叠比例；所述预设像素优选为256*256像素，当然，在实际应用中，可以根据实际情况和需求更改成其他像素尺寸的小图；优选的，所述步骤S301中，控制相邻小图的边框宽和边框高的重叠比例均为0.2，便于后续的合并，不丢失关键信息的基础上，还能够避免信息过度冗余；

步骤S302，对切分出来的小图进行目标检测，获得相应的目标框坐标；值得说明的是，对各个小图进行目标检测使用同一个算法模型，比如均采用上述任意一种目标检测算法，进而避免不是同一个算法模型而增加计算量等问题；

步骤S303，将所有小图所检测出来的目标框坐标还原到切分前的原图上，并合并切分重叠部分的结果，即根据目标框坐标将其合并至原图上，以便实现对待测图片的目标检测。

本例会将训练好的模型部署在边缘计算机等边缘设备上。边缘设备普遍采用的是ARM Linux或者Android系统，因此本例会将模型转换成边缘计算机所支持的框架再进行部署，这些边缘计算机所支持的框架包括但不限于嵌入式框架tflite、腾讯开源推理框架tnn、深度神经网络推理框架mnn、腾讯ncnn以及深度学习推理框架tensorrt等。具体的转换过程如下，本例所述步骤S4包括以下子步骤：

步骤S401，采用深度学习神经网络框架pytorch或者人工智能学习框架Tensorflow进行训练，获得模型；如图1所示，获得训练的模型后，还优选进行模型测试，选用一批未参与训练的数据来测试模型的准确度，当模型测试准确度未达到用户需求时，比如未达到准确率阈值90%时，判定为模型测试未通过，通过重新调整模型参数，或者优化数据及数据增强方法进行算法优化，当然，在实际应用中，该准确率阈值90%可以根据实际情况和需求进行自定义修改和设置；当模型测试准确度达到用户需求时，比如达到或超过准确率阈值90%时，判定为模型测试通过，以此模型作为最终模型，跳转至后续步骤；

步骤S402，将训练好的模型进行模型转换，先转换成中间表达格式框架的模型，再转换成所述边缘计算机支持的模型，此时的模型，已经转换成边缘计算机等边缘端的模型；

步骤S403，对转换后的模型进行量化压缩。

更为优选的，本例所述步骤S402的模型转换过程包括以下子步骤：

步骤S4021，将训练好的模型转成中间表达格式框架的onnx模型；

步骤S4022，判断所述边缘计算机的设备类型，若所述边缘计算机为嵌入式系统Jetson设备，则将onnx模型转化成深度学习推理框架中的tensorrt模型；若所述边缘计算机为人工智能模型RK3399Pro设备，则将onnx模型转化成rknn网络模型。

本例所述步骤S403的量化压缩过程包括以下子步骤：

步骤S4031，返回所述步骤S401，将深度学习神经网络框架pytorch和人工智能学习框架Tensorflow的模型进行降低比特数的量化压缩，比如将32比特压缩为16比特或8比特等。模型量化是指将浮点激活值或权重（通常以32比特浮点数表示）近似为低比特的整数（16比特或8比特），进而在低比特的表示下完成计算的过程，因此，模型量化可以压缩模型参数，降低模型存储开销，而且可以通过降低访存和有效利用低比特计算指令提升模型的推理速度；

步骤S4032，在进行量化压缩的过程中，会采用约200张训练数据对压缩的模型进行模型微调（finetuning）处理，以提升模型的准确度；在实际应用中，进行模型微调处理所采用的训练数据数量可以根据实际情况和需求进行自定义修改和设置。

为了提高边缘计算机模型的计算速度，本例在所述步骤S403对模型进行量化压缩。模型在深度学习神经网络框架pytorch或人工智能学习框架Tensorflow下训练时，一般采用的网络权值和激活值等模型参数都是采用高精度浮点数float32来表示。与现有技术不同，本例采用低精度int8来作为深度学习神经网络框架pytorch和人工智能学习框架Tensorflow的模型参数，通过这种低精度的近似表示来加快模型应用时的推理速度，以达到模型的轻量化，即将原来float32上获得的模型参数压缩到int8。

本例使用低精度的模型推理的优点包括：模型存储主要是每个层的权值，量化后模型占用空间小，float32可以缩减至int8，并且激活值用int8后，减小了内存的访问带宽需求；单位时间内处理定点运算指令比浮点数运算指令多。

当然，模型的量化压缩会在一定程度上降低预测的准确度，因此，本例在量化压缩的同时通过步骤S4032对int8的模型进行了模型微调处理finetune，以减小量化压缩带来的精度损失，经测试得知，本例量化压缩后的模型相比原始模型计算速度提升约2.3倍，而精度损失约0.5%，仍属于可靠的范围内。

本例还提供一种轨道交通的辅助安全驾驶系统，采用了如上所述的轨道交通的辅助安全驾驶方法，并包括：

视频或图片采集模块，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

图像数据预处理与数据增加模块，对列车行驶过程中的图像数据进行预处理与数据增加处理；

算法模型训练模块，通过滑动窗口对待测图片进行目标检测；

模型压缩与部署模块，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

实时目标识别模块，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号。

综上所述，本例先通过摄像头采集列车行驶过程中前方的图像数据，然后通过图像数据预处理、数据增加以及滑动窗口方式的目标检测实现列车运行过程中远距离信号灯、轨道道岔以及障碍物等目标物体的检测与识别，再根据结果进行模型的训练、压缩和部署，以便用于实时辅助列车司机的安全驾驶，尽可能地避免因环境光线、天气、疲劳以及视线距离等引起的误判，本例能够有效地提升列车的运行安全，保障了大众的安全出行。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种轨道交通的辅助安全驾驶方法，其特征在于，包括以下步骤：

步骤S1，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

步骤S2，对列车行驶过程中的图像数据进行预处理与数据增加处理；

步骤S3，通过滑动窗口对待测图片进行目标检测；

步骤S4，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

步骤S5，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号。

2.根据权利要求1所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S1中，通过焦距为25mm的远距摄像头进行预先的目标物体识别。

3.根据权利要求1所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S2包括以下子步骤：

步骤S201，将摄像头拍摄的视频数据进行逐帧取出，通过模糊过滤掉视频的前模糊帧后，获取到第一帧图像数据，以第一帧图像数据为起点，逐帧采用相似图片去重的方式间隔保存图像数据；

步骤S202，对保存的图像数据进行防抖处理，所述防抖处理包括Harris角点处理、全精度运动估计以及Kalman滤波处理中的至少一种；

步骤S203，对防抖处理后的数据进行数据增加处理。

4.根据权利要求3所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S203中，对数据进行数据增加处理的过程包括随机抖动缩放处理、图片亮度调节处理、HSV改变处理、随机水平翻转和旋转处理、标签平滑label smoothing处理、数据增强mixup处理、数据增强cutout处理、数据增强cutmix处理、数据增强mosaic处理以及将一幅图像粘贴在另一幅图像中的随机位置中的至少一种。

5.根据权利要求1至4任意一项所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S3包括以下子步骤：

步骤S301，对待测图片从左到右、从上到下切分成预设像素的小图，并控制相邻小图的边框重叠比例；

步骤S302，对切分出来的小图进行目标检测，获得相应的目标框坐标；

步骤S303，将所有小图所检测出来的目标框坐标还原到切分前的原图上，并合并切分重叠部分的结果，实现对待测图片的目标检测。

6.根据权利要求5所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S301中，控制相邻小图的边框宽和边框高的重叠比例均为0.2。

7.根据权利要求1至4任意一项所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S4包括以下子步骤：

步骤S401，采用深度学习神经网络框架pytorch或者人工智能学习框架Tensorflow进行训练，获得模型；

步骤S402，将训练好的模型进行模型转换，先转换成中间表达格式框架的模型，再转换成所述边缘计算机支持的模型；

步骤S403，对转换后的模型进行量化压缩。

8.根据权利要求7所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S402的模型转换过程包括以下子步骤：

步骤S4021，将训练好的模型转成中间表达格式框架的onnx模型；

步骤S4022，判断所述边缘计算机的设备类型，若所述边缘计算机为嵌入式系统Jetson设备，则将onnx模型转化成深度学习推理框架中的tensorrt模型；若所述边缘计算机为人工智能模型RK3399Pro设备，则将onnx模型转化成rknn网络模型。

9.根据权利要求7所述的轨道交通的辅助安全驾驶方法，其特征在于，所述步骤S403的量化压缩过程包括以下子步骤：

步骤S4031，返回所述步骤S401，将深度学习神经网络框架pytorch和人工智能学习框架Tensorflow的模型进行降低比特数的量化压缩；

步骤S4032，在进行压缩的过程中，对量化压缩的模型进行模型微调处理。

10.一种轨道交通的辅助安全驾驶系统，其特征在于，采用了如权利要求1至9任意一项所述的轨道交通的辅助安全驾驶方法，并包括：

视频或图片采集模块，通过摄像头采集列车行驶过程中的图像数据，所述图像数据包括视频数据或图片数据；

图像数据预处理与数据增加模块，对列车行驶过程中的图像数据进行预处理与数据增加处理；

算法模型训练模块，通过滑动窗口对待测图片进行目标检测；

模型压缩与部署模块，训练并压缩模型，将训练和压缩好的模型部署至边缘计算机上；

实时目标识别模块，通过摄像头实时采集行驶过程中的视频数据，将实时采集的视频数据输入至所述边缘计算机的模型中，实现实时的目标物体识别，所述目标物体识别包括对信号灯状态、轨道道岔以及障碍物的识别，并在目标物体识别之后发出提醒信号。

Images