CN113792575A - 一种基于计算机视觉的地下交通工具进出站检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于计算机视觉的地下交通工具进出站检测系统及方法，所述系统包括视频采集模块、车号框检测修正模块、车号识别模块、方向检测模块、时间检测模块；所述视频采集模块用于采集地下交通工具进出站的视频信息；所述的车号框检测修正模块用于获取有效车号框并对所述车号框进行修正；所述车号识别模块用于识别所述有效车号框中车号；所述方向检测模块用于确定地下交通工具运行方向，所述时间检测模块用于确定地下交通工具的进站时间和出站时间。本发明相较于传统技术，其价格低廉，便于部署，通过软件部署实时识别地下交通工具运行信息，速度快，准确率高。

Description

一种基于计算机视觉的地下交通工具进出站检测系统及方法

技术领域

本发明属于计算机视觉领域，具体涉及一种基于计算机视觉的地下交通工具进出站检测系统及方法。

背景技术

随着经济的迅速发展、生活水平的不断提高，为了满足人们的出行需要，越来越多的城市都覆盖了地下交通。地下交通承载着城市公共交通运输的巨大运力，乘坐地下交通成为许多人几乎每天都要做的事情，据2019年中国地下交通大数据统计，北京、上海地下交通站的日均客运量均超过1000万人次。

随着地下交通运输任务日益繁重，对地下交通运营调度管理效率的提升有着迫切的需求，为更好地进行地下交通调度指挥，需要确定各列地下交通工具的运行信息，主要包括具体车号其进出站时间、运行方向等。所述地下交通工具是指在地下运行的交通工具，包括地铁，轻轨等地下运行的交通工具。所述运行方向为地下交通工具相对于车站的运行方向，有向左和向右两种情况。

目前地面上适用的普通机动车车牌识别系统不能应用于地下交通工具进出站检测。主要原因在于：由于地下交通工具运行环境光线差、地下交通工具进站过程中，先由黑暗环境到明亮的候车厅环境又进入黑暗环境(车厢位置在候车厅是明亮的，但是车头位置是在候车厅之外，因此环境比较黑暗)，同时地下交通工具本身有很强的车头灯光，因此现实运用中采取抓取地下交通工具车头正面车号时因反光严重而无法进行车号识别；目前地面上适用的普通机动车车牌识别系统不能应用于地下交通工具进出站检测。例如现有车牌识别专利如CN111414890A尽管采用了一定的光照补偿，但是在地下交通工具运行环境中，若使用正对车牌的摄像头拍摄还是会出现反光问题，无法从根本上解决问题。

对于地下交通工具，其运输任务日益繁重，对地下交通运营调度管理效率的提升有着迫切的需求，为更好地进行地下交通调度指挥，需要确定各列地下交通工具的运行信息，主要包括具体车号、进出站时间、运行方向等。

现有技术一般是通过硬件部署来获取地下交通工具的运行信息，但是硬件解决方案建设成本高，维护费用高，使用不方便。目前地下交通站常用的运行信息获取方法为采用射频技术进行地下交通车号识别和进出站监测，如吴晓等(基于RFID射频技术的地铁车辆段车号识别及定位监测方案研究，低碳世界.2016,第019期，203-204)通过RFID射频识别和传感计轴即可稳定实时地识别到各进出车辆的身份,同时在调度平台上实时显示每种车辆的运行位置及变化情况，这需要每间隔50米就放置一个造价高昂的射频传感器，每公里仅传感器费用就数万，所需成本非常高，且由于是硬件设备，后期运营维护费用很高，如果设备有损坏维修时会影响列车运行。

其次，现有单纯通过纯软件不用额外增加摄像头方式无法获取所有地下交通工具的运行信息。例如专利(CN 112418097 A)融合了深度学习的目标检测技术、机械视觉技术和OCR技术，可以比较快速的获取地铁车号，但是对于整体地铁的运行信息还存在欠缺，主要表现在：该技术不能获取地铁的出站时间，同时不能判断地铁的运行方向。同时该技术还是需要借助硬件部署，首先需要在车头附近位置部署摄像头，不能借助现有摄像头增加了建设成本和维护成本，同时需要部署车感器识别车辆是否进站从而触发摄像设备，接着进行车头标识识别进而车号识别。该技术方案不能完全借助以软件来实现，该技术采用部署摄像头采集车头正面标识和车号的方式，对于地下交通运行环境，还是存在反光问题，其识别结果会存在误差。

发明内容

为解决完全通过软件实现地下交通工具的运行信息获取，降低现有地下交通工具射频识别系统高昂的建设成本以及运营维护费用，解决现有采用视觉技术正面识别地下交通工具中存在无法获取离站时间以及车辆运行方向的问题，本发明公开了一种基于计算机视觉地下交通工具进出站状态的系统及方法，针对特殊的地下交通应用场景，通过计算机视觉技术实时识别地下交通工具车号、记录进站时间、出站时间及判断运行方向等，速度快，准确率高。本发明不需要新增任何硬件设备，利用地下交通工具车头侧面也有车号的有利条件，利用侧面拍摄驾驶室的摄像头(该摄像头用于判断司机有没有违规操作以及记录列车往来情况)获取车号视频信息，也不需要传感器，成本低，相较于传统技术，便于部署，容易推广。

本发明的目的是提供一种基于计算机视觉的地下交通工具进出站检测系统及方法，能够实时获取地下交通工具的车号及其进出站时间和方向信息以用于进行地下交通工具调度指挥，且具有较高的准确性和实时性，同时成本相对较低。

以下描述不应以任何方式解释为限制所附权利要求书的标的物。

本发明公开了一种基于计算机视觉的地下交通工具进出站检测方法，所述的检测方法用于地下交通工具进出站信息实时检测，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，包含如下步骤：

S11.采集地下交通工具车头位置侧面的视频；

S12.对所述视频实时进行帧处理，获得若干连续视频帧，取当前视频帧获取车号框坐标并修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框，进入步骤S13，反之进入步骤S15；作为优选，采用EAST文本检测器获取所述车号框坐标；作为优选，修正车号框的方法包括滤除无效框、修正所述车号框的坐标偏差；所述滤除无效框的方法包括根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围。所述EAST文本检测器是一个文本检测的经典模型，直接实现端到端文本检测；所述端到端指的是输入是原始数据,输出是最后的结果。所述感兴趣区域(region of interest)，是指机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。

S13.利用训练好的车号文本识别模型识别所述有效车号框中的车号；结合相邻连续两帧以上视频帧的车号识别结果判断车号是否有效，如果能识别出车号则车号有效，则进出站标志为进站，记录进站时间，进入步骤S14；如果不能识别出车号则车号无效，且返回步骤S11；

S14.根据所述有效车号框坐标确定所述地下交通工具运动方向；

S15.当所述视频帧没有获取到有效车号框时，若连续三帧以上视频帧均未获取到有效车号框，且此时所述进出站标志为进站，则将所述进出站标志修改为出站，记录出站时间，

其他情况则返回步骤S11。

作为优选，所述检测方法还包括以下步骤，将所述识别的车号、运行方向、进站时间、出站时间传输给服务器并记录到数据库中。

作为优选，所述车号文本识别模型的训练步骤如下：

S31：建立图片数据集；所述图片数据集包括多种常用字体生成的数字字符图片和真实的地下交通工具进出站视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔；

S32：采用公式(1)和(2)对步骤S31所述图片数据集中生成的数字字符图片进行后

斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随

机噪声、旋转、平移；

S33：对经过步骤S32处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S34：使用真实的地下交通工具进出站视频帧进行迁移学习。

作为优选，所述头结构为CRNN文本识别网络中用于获取文本识别结果的网络结构，所述头结构利用网络之前提取的特征做出预测，输出文本识别结果。

作为优选，所述目标函数用于计算“预测结果”与“真实标记”之间的误差，并通过所述误差反向传播指导文本识别模型参数更新。本发明所述目标函数为最小化损失函数，所述损失函数为CTC loss。

作为优选，所述用常用字体包括arial，arialuni和dengb等字体。

作为优选，所述步骤S14中确定所述地下交通工具运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

作为优选，所述步骤S13中获得所述列车进站时间的方法是：如果确定识别的车号有效，就将第一次识别的所述有效车号的时间作为进站时间；所述步骤S15中获取所述列车出站时间方法是：如果连续三帧以上视频帧未检测到有效车号框，就返回这连续视频帧中第一帧的时间作为出站时间；所述步骤S13、S15中获取进站、出站时间的另一种方法是：通过帧差法进行运动检测，若检测到运动且检测到有效车号，则说明进站，返回进站时间；若检测到运动且未检测到有效车号，则说明出站，返回出站时间。

作为优选，所述方法执行全过程中，采用持续传输心跳包来检测程序是否正常运行。所述心跳包就是在程序运行正常且终端和服务器间成功连接时，终端定时向服务器端发送的自定义的命令字，类似于心跳。所述方法执行全过程中，保证程序持续运行的一种方法为：通过监测传输的心跳包，从而监测程序是否正常运行、终端与服务器是否稳定连接，若出现问题则可以通过类似看门狗的机制自动重启并上报，以保证程序运行的稳定性和可靠性。

本发明还公开了一种基于计算机视觉的地下交通工具进出站检测系统，所述的检测系统用于实时获取地下交通工具进出站信息，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，所述系统包含视频采集模块、车号框检测修正模块、车号识别模块、方向检测模块、时间检测模块；其中：

所述视频采集模块包含摄像头，用于采集地下交通工具停靠处车头位置侧面的视频，并将所述视频信息实时传输给所述车号框检测修正模块；所述的视频采集模块在地下交通工具侧面放置；

所述的车号框检测修正模块，用于对视频采集模块中获取的视频实时进行帧处理，获得若干连续视频帧，取当前视频帧获取车号框坐标并修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框；

所述车号识别模块，用于识别车号，利用连续三帧以上的视频帧识别所述有效车号框中的车号，如果有效，则识别此车号；

所述方向检测模块用于确定地下交通工具运行方向；作为优选所述方向模块检测地下交通工具运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

所述时间检测模块用于确定地下交通工具的进站时间和出站时间，

所述时间检测模块通过所述车号识别模块以及所述车号框检测修正模块输出结果确定进站时间和出站时间，所述进站时间为车号识别模块中第一次识别的所述有效车号的时间；所述出站时间获取方法为：通过车号框检测修正模块对连续三帧以上视频帧进行检测未检测到有效车号框，且此时进出站标志为进站，就返回这连续视频帧中第一帧的时间作为出站时间。

作为优选，所述系统还包括通信传输模块，将进出站信息传输给服务器，所述的系统检测结果包括地下交通工具车号、地下交通工具进出站时间和运行方向。

作为优选，所述的系统检测结果还包括程序运行信号，所述要传输的程序运行信号是指用于判断程序是否保持正常运行的一个信号：当程序正常运行，则输出程序运行信号；反之当程序中断，则不输出该信号。程序运行信号在系统运行全过程中持续通过通信传输模块传输，检测到程序运行信号则说明程序正常运行，检测不到则说明程序运行出现问题。

作为优选，所述车号框检测修正模块包括EAST文本检测器以及车号框修正模块；所述车号框修正模块用于滤除无效框、修正所述车号框的坐标偏差，以提高速度和精度；所述滤除无效框的方法包括根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围；所述车号框检测修正模块输入为所述视频采集模块采集到的视频流，输出信息传输给车号识别模块。

作为优选，所述车号识别模块为采用车号文本识别模型进行车号识别的模块，其输入来自所述车号框检测修正模块，其输出信息传输给方向检测模块。所述车号识别模块的输出结果可进一步结合相邻两帧以上视频帧检测及识别结果进行判断，确保所述车号识别结果的有效性，以提高准确率；所述车号文本识别模型为一种采用CRNN文本识别修正网络对自建的图片数据集进行训练的模型。

作为优选，所述车号文本识别模型的训练步骤如下：

S31：建立图片数据集；所述图片数据集包括多种常用字体生成的数字字符图片和真实的地下交通工具进出站视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔；

S32：采用公式(1)和(2)对步骤S31所述图片数据集中生成的数字字符图片进行后斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31

所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随机噪声、旋转、平移；

S33：对经过步骤S32处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S34：使用真实的地下交通工具进出站视频帧进行迁移学习。

作为优选，所述头结构为CRNN文本识别网络中用于获取文本识别结果的网络结构，所述头结构利用网络之前提取的特征做出预测，输出文本识别结果。

作为优选，所述目标函数用于计算“预测结果”与“真实标记”之间的误差，并通过所述误差反向传播指导文本识别模型参数更新。本发明所述目标函数为最小化损失函数，所述损失函数为CTC loss。

作为优选，所述用常用字体包括arial，arialuni和dengb等字体。

本发明的优点与有益效果如下：

1.本发明实现地下交通工具的运行信息的实时获取，降低现有地下交通工具射频识别系统高昂的建设成本以及运营维护费用，解决现有采用视觉技术正面识别地下交通工具中存在无法获取离站时间以及车辆运行方向的问题。

2.本发明克服了不需要新增任何硬件设备，利用现有的侧面拍摄驾驶室的摄像头(该摄像头之前仅用于判断司机有没有违规操作以及记录列车往来情况，从未用作车号识别使用)巧妙的获取车号视频信息，解决精确车号识别问题，克服了车头反光问题，也不需要传感器，成本低，相较于传统技术，便于部署，容易推广。

3.在车号识别模块训练过程中通过对数字照片进行倾斜化预处理，从而使训练的模型更适用于倾斜的地下交通工具车号的识别，提高地下交通场景下车号识别的准确率。此外，通过在车号识别器后引入投票方法确定识别结果的有效性，利用前后帧信息，减少误判，提高精度和鲁棒性。

4.通过车号框检测修正模块和车号识别模块确定车号，通过先验知识综合前后几帧信息确定进出站时间和方向，只涉及两个简单的模型，算法计算量小，方便快捷，具有较高的精度和实时性。

5.通过在车号框检测修正模块前设置感兴趣区域，在其后根据车号框面积、车号框宽高比等滤除无效检测结果以确定是否有有效车号框，从而摒弃无用的干扰信息，一方面更好地确定是否是背景，另一方面减轻了后续车号识别的负担，提升了速度和精度。

6.通过30万张特定字体生成的数字照片进行预训练而后使用真实的车号数据进行迁移学习得到车号识别模型，这种方法中生成的图片不需要人工采集和标定，大大减少了工作量和时间资源，而后使用实际图片进行迁移学习，快速更新模型，很好地在预训练模型的基础上提高了模型在具体应用领域的性能。

附图说明

所属领域的技术人员在受益于优选实施例的以下详细描述且在参考所附图式后将明白本发明的另外优点，其中：

图1为本发明实施例一的基于计算机视觉的交通工具进出站检测方法的总流程图。

图2为本发明实施例一中的车号框检测修正模块流程图。

图3为本发明实施例一中的车号框检测修正模块矩形框使用的扩展方法示意图。

图4为本发明实施例一中的方向检测模块流程图。

图5为一种基于计算机视觉的地下交通工具进出站检测系统，所述检测系统包括：视频采集模块、车号框检测修正模块、车号识别模块、方向检测模块、时间检测模块、通信传输模块、终端、服务器

具体实施方式

为了使本发明的目的、技术方案及优点更加明白清楚，以下通过特定的具体实施例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，此处所描述的具体实施例仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。各种实施例的以下描述不应以任何方式解释为限制所附权利要求书的标的物。

实施例一：

如图5所示一种基于计算机视觉的地下交通工具进出站检测系统，所述系统用于实时获取地下交通工具进出站信息，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，所述检测系统包括视频采集模块、车号框检测修正模块、车号识别模块、方向检测模块、时间检测模块以及通信传输模块。其中：

所述视频采集模块包括摄像头，用于采集地下交通工具停靠处车头位置的视频信息，并将所述视频信息实时传输给所述车号框检测修正模块；所述的视频采集模块在地下交通工具侧面偏移放置，首先可以排除地下交通站光线反射的影响，其次可以复用现有的摄像装置，还可以检测车辆运行方向；本实例使用的摄像头是网络摄像头，摄像头RTSP视频流通过网线传输给开发板终端。

所述的车号框检测修正模块，用于对视频采集模块中获取的视频实时进行帧处理，获得若干连续视频帧，取当前视频帧获取车号框坐标并修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框；

所述车号识别模块用于识别车号，利用连续三帧以上的视频帧识别所述有效车号框中的车号，如果有效，则识别此车号；

所述方向检测模块，用于确定地下交通工具运行方向；

作为优选，如图4所示所述方向检测模块确定所述列车运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

所述时间检测模块用于确定地下交通工具的进站时间和出站时间，所述时间检测模块通过所述车号识别模块以及所述车号框检测修正模块输出结果确定进站时间和出站时间，所述进站时间为车号识别模块中第一次识别的所述有效车号的时间；所述出站时间获取方法为：通过车号框检测修正模块对连续三帧以上视频帧进行检测未检测到有效车号框，且此时进出站标志为进站，就返回这连续视频帧中第一帧的时间作为出站时间。

所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，

所述车号框检测修正模块、车号识别模块和方向检测模块在本实施例中具体部署在RK3399ProD开发板上。

所述的通信传输模块实现所述终端与所述服务器之间的通信，将系统检测结果传输给服务器，所述的系统检测结果包括地下交通工具车号、地下交通工具进出站时间和运行方向。本实施例利用TCP通信协议将车号、方向、进出站时间、程序运行信号等信息传输到服务器并记录到数据库，交由系统实时在大厅显示车号、方向、进站出站时间。

作为优选，所述车号框检测修正模块包括EAST文本检测器以及车号框修正模块；所述车号框修正模块用于滤除无效框、修正所述车号框的坐标偏差，以提高速度和精度；所述滤除无效框的方法包括以下的一项或多项：根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围；感兴趣区域设置为车头的车号大致所在位置，大小为600x300，要保留的车号框面积大小范围为10000～50000，宽高比范围为1～3。所述车号框检测修正模块输入为所述视频采集模块采集到的视频流，输出信息传输给车号识别模块。

作为优选，采用车号文本识别模型进行车号识别的模块，其输入来自所述车号框检测修正模块，其输出信息传输给方向检测模块。所述车号识别模块的输出结果可进一步结合相邻两帧以上视频帧检测及识别结果进行判断，确保所述车号识别结果的有效性，以提高准确率；所述车号文本识别模型为一种采用CRNN文本识别修正网络对自建的图片数据集进行训练的模型。

作为优选，所述车号识别模型的训练步骤如下：

S31：建立所述图片数据集；所述图片数据集包括30万张多种常用字体生成的数字字符图片和15000张视频采集模块采集的包含地下交通工具真实车号的视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔。

S32：采用公式(1)和(2)对步骤S31所述图片数据集中生成的数字字符图片进行后斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随机噪声、旋转、平移；

S33：对经过步骤S32处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S34：使用真实的地下交通工具进出站视频帧进行迁移学习。

作为优选，所述头结构为CRNN文本识别网络中用于获取文本识别结果的网络结构，所述头结构利用网络之前提取的特征做出预测，输出文本识别结果。

作为优选，所述目标函数用于计算“预测结果”与“真实标记”之间的误差，并通过所述误差反向传播指导文本识别模型参数更新。本发明所述目标函数为最小化损失函数，所述损失函数为CTC loss。

作为优选，所述用常用字体包括arial，arialuni和dengb等字体。

作为优选，所述通讯传输模块实现终端与服务器之间的通信，利用通信协议完成信息的传输。所述信息包括：车号、方向、进出站时间、程序运行信号。所述要传输的程序运行信号是指用于判断程序是否保持正常运行的一个信号：当程序正常运行，则输出程序运行信号；反之当程序中断，则不输出该信号。程序运行信号在系统运行全过程中持续通过通信传输模块传输，检测到程序运行信号则说明程序正常运行，检测不到则说明程序运行出现问题。

如图1所示,本发明还公开了一种基于计算机视觉的地下交通工具进出站检测方法，所述的检测方法用于地下交通工具进出站信息实时检测，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，所述检测方法包括如下步骤：

S11.采集地下交通工具停靠处车头位置的视频；

S12.如图2所示，对所述视频实时进行视频帧预处理，获得若干连续视频帧，取当前视频帧采用EAST文本检测器做文本检测获取车号框坐标，并通过滤除无效框、修正所述车号框的坐标偏差修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框，进入步骤S13，反之进入步骤S15；所述滤除无效框的方法包括根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围；

本实施例滤除无效框的方法包括：设置感兴趣区域，只对区域内进行检测；根据车号框面积滤除，具体值和摄像头安装有关，实际应用中对第一辆列车做标定，得到平均像素面积大小，然后根据这个值取一定范围以滤除不符合要求的框；根据车号框宽高比滤除，检测到的车号框宽高比应该在一定范围内。如果检测到有效车号框，需要对其进行车号识别，检测到的车号框若存在坐标偏差问题会影响后续车号识别精度，因此需要解决车号框坐标偏差问题，本实施例采用的方法为：对矩形框做稍微扩展操作，避免字符被车号检测器矩形框分割得不完整。如图3所示，蓝框为准确车号区域，红框为车号检测器检测到的车号区域，可以看到红框将车号分割得不完整，黄框为进行扩展操作后的矩形框，此框内可得到完整的车号区域。

S13.利用训练好的车号文本识别模型识别所述有效车号框中的车号；结合前3帧视频帧的车号识别结果判断车号是否有效，

如果能识别出车号则车号有效，则进出站标志为进站，记录进站时间，进入步骤S14；

如果不能识别出车号则车号无效，且返回步骤S11；

本实验选择使用连续3帧判断车号，本实验测试了35100张车牌号，错误36张，车号识别准确率可以达到99.89％；如果直接使用单帧识别结果，则准确率为98.10％。

S14.根据所述有效车号框坐标和车号识别结果确定所述地下交通工具运动方向；

S15.当所述视频帧没有获取到有效车号框时，若连续三帧以上视频帧均未获取到有效车号框，且此时所述进出站标志为进站，则将所述进出站标志修改为出站，记录出站时间，进入步骤S16，其他情况则返回步骤S11

S16.利用通信传输模块将所述识别的车号、运行方向、进站时间、出站时间传输给服务器并记录到数据库中；

作为优选，所述车号文本识别模型的训练步骤如下：

S31：建立图片数据集；所述图片数据集包括多种常用字体生成的数字字符图片和真实的地下交通工具进出站视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔；

S32：采用公式(1)和(2)对步骤S31所述图片数据集中生成的数字字符图片进行后斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随机噪声、旋转、平移；

S33：对经过步骤S32处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S34：使用真实的地下交通工具进出站视频帧进行迁移学习。

作为优选，所述头结构为CRNN文本识别网络中用于获取文本识别结果的网络结构，所述头结构利用网络之前提取的特征做出预测，输出文本识别结果。

作为优选，所述目标函数用于计算“预测结果”与“真实标记”之间的误差，并通过所述误差反向传播指导文本识别模型参数更新。本发明所述目标函数为最小化损失函数，所述损失函数为CTC loss。

作为优选，所述用常用字体包括arial，arialuni和dengb等字体。

作为优选，所述步骤S14中确定所述地下交通工具运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

作为优选，所述步骤S13中获得所述列车进站时间的方法是：如果确定识别的车号有效，就将第一次识别的所述有效车号的时间作为进站时间；所述步骤S15中获取所述列车出站时间方法是：如果连续三帧以上视频帧未检测到有效车号框，就返回这连续视频帧中第一帧的时间作为出站时间；所述步骤S13、S15中获取进站、出站时间的另一种方法是：通过帧差法进行运动检测，若检测到运动且检测到有效车号，则说明进站，返回进站时间；若检测到运动且未检测到有效车号，则说明出站，返回出站时间。

作为优选，所述方法执行全过程中，采用持续传输心跳包来检测程序是否正常运行。所述心跳包就是在程序运行正常且终端和服务器间成功连接时，终端定时向服务器端发送的自定义的命令字，类似于心跳。所述方法执行全过程中，保证程序持续运行的一种方法为：通过监测传输的心跳包，从而监测程序是否正常运行、终端与服务器是否稳定连接，若出现问题则可以通过类似看门狗的机制自动重启并上报，以保证程序运行的稳定性和可靠性。

对比例：

采用专利(CN 112418097 A)拍摄地下交通工具正面车头位置的视频信息，用于地下交通工具进出站信息实时检测，由于光线问题导致识别率特别低，实验识别了2000张车牌，只能准确识别出1002张车牌，车号识别准确率只有50.13％，由于采用正面拍摄方式，无法获取车号框位移，因此不能识别出地下交通工具运行方向。

Claims (10)

1.一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述的检测方法用于地下交通工具进出站信息实时检测，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，包含如下步骤：

S11.采集地下交通工具车头位置侧面的视频；

S12.对所述视频实时进行帧处理，获得若干连续视频帧，取当前视频帧获取车号框坐标并修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框，进入步骤S13，反之进入步骤S15；作为优选，采用EAST文本检测器获取所述车号框坐标；作为优选，修正车号框的方法包括滤除无效框、修正所述车号框的坐标偏差；所述滤除无效框的方法包括根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围。

S13.利用训练好的车号文本识别模型识别所述有效车号框中的车号；结合相邻连续两帧以上视频帧的车号识别结果判断车号是否有效，

如果能识别出车号则车号有效，则进出站标志为进站，记录进站时间，进入步骤S14；

如果不能识别出车号则车号无效，且返回步骤S11；

S14.根据所述有效车号框坐标确定所述地下交通工具运动方向；

S15.当所述视频帧没有获取到有效车号框时，若连续三帧以上视频帧均未获取到有效车号框，且此时所述进出站标志为进站，则将所述进出站标志修改为出站，记录出站时间，其他情况则返回步骤S11。

2.根据权利要求1所述的一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述检测方法还包括以下步骤，将所述识别的车号、运行方向、进站时间、出站时间传输给服务器并记录到数据库中。

3.根据权利要求1所述的一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述车号文本识别模型的训练步骤如下：

S31：建立图片数据集；所述图片数据集包括多种常用字体生成的数字字符图片和真实的地下交通工具进出站视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔；

S32：采用公式(1)和(2)对步骤S31所述图片数据集中生成的数字字符图片进行后斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随机噪声、旋转、平移；

S33：对经过步骤S32处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S34：使用真实的地下交通工具进出站视频帧进行迁移学习。

4.根据权利要求1所述的一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述步骤S14中确定所述地下交通工具运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

5.根据权利要求1所述的一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述步骤S13中获得所述列车进站时间的方法是：如果确定识别的车号有效，就将第一次识别的所述有效车号的时间作为进站时间；所述步骤S15中获取所述列车出站时间方法是：如果连续三帧以上视频帧未检测到有效车号框，就返回这连续视频帧中第一帧的时间作为出站时间；所述步骤S13、S15中获取进站、出站时间的另一种方法是：通过帧差法进行运动检测，若检测到运动且检测到有效车号，则说明进站，返回进站时间；若检测到运动且未检测到有效车号，则说明出站，返回出站时间。

6.根据权利要求1所述的一种基于计算机视觉的地下交通工具进出站检测方法，其特征在于，所述方法执行全过程中，采用持续传输心跳包来检测程序是否正常运行。

7.一种基于计算机视觉的地下交通工具进出站检测系统，其特征在于，所述的检测系统用于实时获取地下交通工具进出站信息，所述进出站信息包含：地下交通工具的车号、进站时间、出站时间及运行方向，所述系统包含视频采集模块、车号框检测修正模块、车号识别模块、方向检测模块、时间检测模块；其中：

所述视频采集模块，用于采集地下交通工具停靠处车头位置侧面的视频，并将所述视频信息实时传输给所述车号框检测修正模块；所述的视频采集模块在地下交通工具侧面放置；

所述的车号框检测修正模块，用于对视频采集模块中获取的视频实时进行帧处理，获得若干连续视频帧，取当前视频帧获取车号框坐标并修正车号框；判断修正后的视频帧图片中是否存在车号框，如果有则称该车号框为有效车号框；

所述车号识别模块，用于识别车号，利用连续三帧以上的视频帧识别所述有效车号框中的车号，如果有效，则识别此车号；

所述方向检测模块，用于确定地下交通工具运行方向；优选的，所述方向模块检测地下交通工具运动方向的方法为：根据有效车号框中心点的横坐标的累计位移进行判断，若所述累计位移大于正阈值，则所述列车运行方向为从视频采集模块的左侧至右侧；若所述累计位移小于负阈值，则所述列车运行方向为从右至左；所述正阈值和负阈值绝对值为所述感兴趣区域宽度的10％-50％，正阈值为正，负阈值为负。

所述时间检测模块通过所述车号识别模块以及所述车号框检测修正模块输出结果确定进站时间和出站时间，作为优选，所述进站时间为车号识别模块中第一次识别的所述有效车号的时间；所述出站时间具体为：通过车号框检测修正模块对连续三帧以上视频帧进行检测未检测到有效车号框，且此时进出站标志为进站，就返回这连续视频帧中第一帧的时间作为出站时间。

8.根据权利要求7所述的一种基于计算机视觉的地下交通工具进出站检测系统，其特征在于，所述系统还包括通信传输模块，将进出站信息传输给服务器，所述的系统检测结果包括地下交通工具车号、地下交通工具进出站时间和运行方向。

优选的，所述的系统检测结果还包括程序运行信号，所述要传输的程序运行信号是指用于判断程序是否保持正常运行的一个信号：当程序正常运行，则输出程序运行信号；反之当程序中断，则不输出该信号。程序运行信号在系统运行全过程中持续通过通信传输模块传输，检测到程序运行信号则说明程序正常运行，检测不到则说明程序运行出现问题。

9.根据权利要求7所述的一种基于计算机视觉的地下交通工具进出站检测系统，其特征在于，所述车号框检测修正模块包括EAST文本检测器以及车号框修正模块；所述车号框修正模块用于滤除无效框、修正所述车号框的坐标偏差，以提高速度和精度；所述滤除无效框的方法包括根据地下交通工具停靠时所述车号大致位置设置感兴趣区域、根据所述车号大小设置要保留的车号框大小和宽高比范围；所述车号框检测修正模块输入为所述视频采集模块采集到的视频，输出信息传输给车号识别模块。

10.根据权利要求7所述的一种基于计算机视觉的地下交通工具进出站检测系统，其特征在于，所述车号识别模块为采用车号文本识别模型进行车号识别的模块，其输入来自所述车号框检测修正模块，其输出信息传输给方向检测模块。所述车号识别模块的输出结果可进一步结合相邻两帧以上视频帧检测及识别结果进行判断，确保所述车号识别结果的有效性，以提高准确率；所述车号文本识别模型为一种采用CRNN文本识别修正网络对自建的图片数据集进行训练的模型。所述车号文本识别模型的训练步骤如下：

S101：建立图片数据集；所述图片数据集包括多种常用字体生成的数字字符图片和真实的地下交通工具进出站视频帧；所述生成数字字符图片的方法为：截取所述视频帧中背景图片，在所述背景图片上打上指定字体的数字字符，并确保字符之间有合理的间隔；

S102：采用公式(3)和(4)对步骤S101所述图片数据集中生成的数字字符图片进行后斜化处理：

上式中h，w分别为所述数字字符图片的高度和宽度；n为后斜系数，对每张图片都随机选取一个值作为后斜系数来执行后斜化，后斜系数越大则后斜程度越大，该系数的取值范围为0.05h～0.15h；α为平面旋偏比例超参数，调整α可以调整在二维平面上旋转偏移的程度，在此取值为

x为原始图像上点的横坐标，y为原始图像上点的纵坐标，x‘为经过后斜化后该点的横坐标，y‘为经过后斜化后该点的纵坐标；作为优选，对步骤S31所述图片数据集中生成的数字字符图片还可以叠加下列一种或者多种数据增强方法：随机噪声、旋转、平移；

S103：对经过步骤S102处理得到的图片，采用CRNN文本识别修正网络进行训练；所述修正方法包括以下的一种或者多种：删除CRNN中的RNN部分，修改头结构，修改目标函数。

S104：使用真实的地下交通工具进出站视频帧进行迁移学习。

Images