CN114120293A - 一种地铁列车乘客检测方法及系统 - Google Patents

一种地铁列车乘客检测方法及系统 Download PDF

Info

Publication number
CN114120293A
CN114120293A CN202111438568.8A CN202111438568A CN114120293A CN 114120293 A CN114120293 A CN 114120293A CN 202111438568 A CN202111438568 A CN 202111438568A CN 114120293 A CN114120293 A CN 114120293A
Authority
CN
China
Prior art keywords
passenger
detection
tracking
target
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111438568.8A
Other languages
English (en)
Inventor
谷立群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Waycom Century Technology Co ltd
Original Assignee
Beijing Waycom Century Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Waycom Century Technology Co ltd filed Critical Beijing Waycom Century Technology Co ltd
Priority to CN202111438568.8A priority Critical patent/CN114120293A/zh
Publication of CN114120293A publication Critical patent/CN114120293A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

本发明实施例提供的一种地铁列车乘客检测方法、系统、电子设备和存储介质，涉及城市轨道交通检测技术领域，所述检测方法通过获取乘客图像并进行预处理以提高图像检测的速度；将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标,再对乘客的头部区域进行跟踪，输出乘客运行轨迹；基于所述乘客运行轨迹与车门区域的相对关系，判断乘客运行状态，是进入车厢还是离开车厢，不仅可以统计乘客上下车的数量，还能计算出车内乘客的数量，精确到个位数，为地铁运营公司合理的分配运力和组织管理起到了数据支撑的作用。

Description

一种地铁列车乘客检测方法及系统
技术领域
本发明涉及城市轨道交通检测技术领域，尤其涉及一种地铁列车乘客检测方法、系统、电子设备和存储介质。
背景技术
地铁作为现代城市中人们出行的重要交通工具，每天承载着巨大的客流量，截止2021年10月底，北京轨道交通路网总客运量为23.5亿人次，日均客运量为778万人次，其中，工作日日均客运量超915万人次，日最高客运量1220.07万人次，已经比2019年同期下降18%。因此为了提升运营水平，提高乘客出行满意度，预测乘客数量，制定完善的乘客进出站方案、换乘的疏导和管理方案，急需获取乘客出行的大数据信息。
目前各城市轨道交通运营公司，主要是依据地铁自动售检票系统（AFC）检测乘客进出站数据和空气弹簧悬挂系统检测地铁列车载客量数据，这两种方式关注的焦点是车站和运营线路，只能体现乘客整体的出行规律，无法检测到乘客个体的出行行为。
发明内容
本发明的实施例提供了一种地铁列车乘客检测方法、系统、电子设备和存储介质，所述检测方法通过对乘客个体的运行轨迹进行检测，可以提供乘客上下车的数据以及车厢内乘客的数量。
第一方面，本发明的实施例提供了一种地铁列车乘客检测方法，所述检测方法包括：
获取乘客图像并进行预处理以提高图像的检测速度；
将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
基于所述乘客运行轨迹判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留几种情况。
作为一种可能实现的实施方式，所述获取乘客图像并进行预处理以提高图像检测速度包括：
采用RTSP协议获取视频流，通过FFMpeg解码库进行解码，将视频帧率降低到目标范围内，将视频帧的分辨率降低到目标范围内。
作为一种可能实现的实施方式，所述YOLOv5深度学习模型训练的数据集是在列车真实运行环境下的图像上进行标注得到的图片。
作为一种可能实现的实施方式，所述检测方法还包括，基于获取的乘客位置和置信度，通过非极大值抑制的方法得到目标乘客的位置坐标。
作为一种可能实现的实施方式，对跟踪中的乘客使用卡尔曼滤波算法进行预测，通过匈牙利算法对乘客的检测框和跟踪目标的预测框进行级联匹配，得到最优的匹配结果，包括：
使用DeepSort算法，对跟踪目标进行预测，计算乘客检测框和乘客跟踪模块产生的预测框之间的相似度，然后通过级联匹配的算法进行乘客ID匹配，若预测框匹配到了检测框，则对跟踪目标状态进行更新，若预测框没有匹配到检测框，则删除乘客ID，若检测框没有匹配到跟踪预测框，则对检测到的乘客分配一个ID，然后进行跟踪处理。
作为一种可能实现的实施方式，所述检测方法还包括：
检测后的数据保存到数据库，并计算出车内乘客的数量，在显示设备上进行显示，其中，所述检测后的数据包括乘客上下车的数据以及车厢内乘客的数量。
第三方面，本发明的实施例提供了地铁列车乘客检测系统，所述检测系统包括：
图像获取子系统，获取乘客图像并进行预处理以提高图像的检测速度；
乘客检测子系统，将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
乘客跟踪子系统，使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
数据分析子系统，基于所述乘客运行轨迹和车门区域的相对关系，判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留几种情况。
第三方面，本发明的实施例提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如第一方面任一项所述的方法。
第四方面，本发明的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述的方法。
本发明实施例提供的一种地铁列车乘客检测方法、系统、电子设备和存储介质，涉及城市轨道交通检测技术领域，所述检测方法通过获取乘客图像并进行预处理以提高图像检测的速度；将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标,再对乘客的头部区域进行跟踪，输出乘客运行轨迹；基于所述乘客运行轨迹与车门区域的相对关系，判断乘客运行状态，是进入车厢还是离开车厢，不仅可以统计乘客上下车的数量，还能计算出车内乘客的数量，精确到个位数，为地铁运营公司合理的分配运力和组织管理起到了数据支撑的作用。
应当理解，发明内容部分中所描述的内容并非旨在限定本发明的实施例的关键或重要特征，亦非用于限制本发明的范围。本发明的其它特征将通过以下的描述变得容易理解。
附图说明
为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例的地铁列车乘客检测系统结构拓扑图；
图2示出了本发明实施例的地铁列车乘客检测系统架构图；
图3示出了本发明的实施例的一种地铁列车乘客检测方法的流程图；
图4示出了本发明的实施例的一种地铁列车乘客检测系统的结构示意图；
图5示出了本发明的实施例的乘客检测子系统进行检测的流程图；
图6示出了本发明的实施例的乘客跟踪子系统进行乘客跟踪的流程图；
图7示出了本发明的实施例的数据分析子系统进行数据分析的流程图；
图8示出了本发明实施例的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
需要说明的是，本发明实施例描述的仅仅是为了更加清楚的说明本发明实施例的技术方案，并不构成对本发明实施例提供的技术方案的限定。
图1示出了本发明实施例的地铁列车乘客检测系统结构拓扑图，如图1所示，监控系统服务器和监控显示器位于司机室，两侧司机室各一套，视频分析服务器位于客室，司机室有一个摄像机，客室有两个摄像机，视频分析主机从客室摄像机获取视频流，将检测到的乘客上下车数据通过以太网传输到司机室的监控系统服务器，监控系统服务器汇总各客室视频分析主机的数据后保存到本地数据库，并在监控显示屏上进行显示。
图2示出了本发明实施例的地铁列车乘客检测系统架构图，如图2所示，乘客检测系统采用C/S架构，主要分为表示层、业务逻辑层、数据层，这种架构分清了各层次的责任，明确了层次的边界，保障了数据的有序传递，使得系统更加稳定，易于维护和扩展，达到高内聚低耦合的目标。
地铁列车乘客检测系统的表示层位于视频监控系统主机中，界面使用qt creator进行开发，处于最上层，具有用户交互界面，用于接收用户输入指令，显示查询数据的结果。具体显示内容包括，摄像机视频显示，控制单画面显示和四画面显示，控制摄像机轮巡显示，控制媒体播放主机的媒体播放源切换，录像文件查询界面，录像文件回放界面，录像文件回放控制，日志查询界面，设备运行状态显示界面，系统参数配置界面，显示乘客信息显示界面，用户管理界面等。
地铁列车乘客检测系统的业务逻辑层，分为两个部分，一部分位于视频监控系统主机内部，一部分位于视频分析主机内部。视频监控主机负责摄像机视频的解码显示处理，负责摄像机视频录像任务的处理，录像文件回放及控制机制的处理，负责与摄像机、广播控制主机、媒体播放主机、视频分析主机的以太网通信功能，负责系统参数配置，日志记录、查询、删除等任务。视频分析主机的业务逻辑功能包括，获取监控摄像机的视频流，解码抽帧，降低视频分辨率，负责乘客目标检测任务，负责乘客目标跟踪任务，输出乘客运行轨迹，判断乘客上下门的行为动作，与视频监控主机和广播控制主机进行网络通信，接收时间、速度、开关门等信息，将检测结果发送到视频监控主机上。
数据层是数据的持久化层，在车厢乘客检测系统中，这一层主要用于存储系统配置参数、用户信息数据库和乘客信息数据库。
车厢乘客检测系统的表示层位于视频监控系统主机中，界面可以使用qt creator进行开发，处于最上层，具有用户交互界面，用于接收用户输入指令，显示查询数据的结果。具体显示内容包括，摄像机视频显示，控制单画面显示和四画面显示，控制摄像机轮巡显示，控制媒体播放主机的媒体播放源切换，录像文件查询界面，录像文件回放界面，录像文件回放控制，日志查询界面，设备运行状态显示界面，系统参数配置界面，显示乘客信息显示界面，用户管理界面等。
车厢乘客检测系统的业务逻辑层，分为两个部分，一部分位于视频监控系统主机内部，一部分位于视频分析主机内部。视频监控主机负责摄像机视频的解码显示处理，负责摄像机视频录像任务的处理，录像文件回放及控制机制的处理，负责与摄像机、广播控制主机、媒体播放主机、视频分析主机的以太网通信功能，负责系统参数配置，日志记录、查询、删除等任务。视频分析主机的业务逻辑功能包括，获取监控摄像机的视频流，解码抽帧，降低视频分辨率，负责乘客目标检测任务，负责乘客目标跟踪任务，输出乘客运行轨迹，判断乘客上下门的行为动作，与视频监控主机和广播控制主机进行网络通信，接收时间、速度、开关门等信息，将检测结果发送到视频监控主机上。
数据层是数据的持久化层，在车厢乘客检测系统中，这一层主要用于存储系统配置参数、用户信息数据库和乘客信息数据库。
图3示出了本发明的实施例的一种地铁列车乘客检测方法的流程图，如图1所示，所述检测方法包括：
S20、获取乘客图像并进行预处理以提高图像检测的速度；
S40、将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
S60、使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
S80、基于所述乘客运行轨迹和车门区域的相对关系判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留几种情况。
本发明实施例提供的一种地铁列车乘客检测方法、系统、电子设备和存储介质，涉及城市轨道交通检测技术领域，所述检测方法通过获取乘客图像并进行预处理以提高图像检测的速度；将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标,再对乘客的头部区域进行跟踪，输出乘客运行轨迹；基于所述乘客运行轨迹与车门区域的相对关系，判断乘客运行状态，是进入车厢还是离开车厢，不仅可以统计乘客上下车的数量，还能计算出车内乘客的数量，精确到个位数，为地铁运营公司合理的分配运力和组织管理起到了数据支撑的作用。
具体地，所述获取乘客图像并进行预处理以降低图像的分辨率包括：
采用RTSP协议获取视频流，通过FFMpeg解码库进行解码，将视频帧率降低到目标范围内，将视频帧的分辨率降低到目标范围内。例如，通过前端摄像机采用RTSP协议获取视频流，通过FFMpeg解码库进行解码，将视频帧率降低为10帧/秒，将视频帧的分辨率降低为640x386。
具体地，所述使用的YOLOv5模型对乘客目标进行检测，模型训练的数据集是在列车真实运行环境下的图像上进行标注的。将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，检测过程中需要遍历整张图片，获取到目标检测框的位置和置信度，；基于获取的乘客位置和置信度，通过非极大值抑制的方法得到目标乘客的位置坐标。
在一些实施例中，对跟踪中的乘客使用卡尔曼滤波算法进行预测，通过匈牙利算法对乘客的检测框和跟踪目标的预测框进行级联匹配，得到最优的匹配结果。算法使用DeepSort，使用卡尔曼滤波算法进行未来帧状态预测，这个环节对目标跟踪算法非常重要，在一帧图像中检测到多个乘客，根据上一帧图像中乘客的位置预测出下一帧中乘客的位置，再通过余弦相似度算法计算匹配检测到的目标和预测到的目标之间的距离，再通过匈牙利算法对检测框和预测框中的目标进行匹配，如果检测到的乘客目标没有匹配到预测的乘客目标，说明此乘客新出现在车厢，为其分配一个跟踪器，如果检测到的乘客匹配到了预测的位置的乘客，说明此乘客已经处于跟踪状态，根据检测框的位置更新跟踪器的参数，如果预测的乘客没有匹配到检测到的乘客目标，说明此乘客已经离开车厢，则将分配给他的跟踪器进行删除，此时获得了一组乘客的运行轨迹数据。
本实施例，使用DeepSort算法，对跟踪目标进行预测，计算乘客检测框和乘客跟踪模块产生的预测框之间的相似度，然后通过级联匹配的算法进行乘客ID匹配，若预测框匹配到了检测框，则对跟踪目标状态进行更新，若预测框没有匹配到检测框，则删除乘客ID，若检测框没有匹配到跟踪预测框，则对检测到的乘客分配一个ID，然后进行跟踪处理。
具体地，所述检测方法还包括：
S100、检测后的数据保存到数据库，并计算出车内乘客的数量，在显示设备上进行显示，其中，所述检测后的数据包括车内乘客的数量及位置坐标。
基于同一发明构思，本发明实施例还提供了一种地铁列车乘客检测系统，可以用于实现上述实施例中所描述的地铁列车乘客检测方法，如下面实施例所述。由于该地铁列车乘客检测系统解决问题的原理与地铁列车乘客检测方法相似，因此地铁列车乘客检测系统的实施可以参见一种地铁列车乘客检测方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4示出了本发明的实施例的一种地铁列车乘客检测系统的结构示意图。如图2、4所示，所述检测系统包括：
所述检测系统包括：
图像获取子系统，获取乘客图像并进行预处理以提高图像的检测速度；
乘客检测子系统，将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
乘客跟踪子系统，使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
数据分析子系统，基于所述乘客运行轨迹判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留几种情况。
本实施例提供的一种地铁列车乘客检测系统通过图像获取子系统获取乘客图像并进行预处理以提高图像的检测速度；乘客检测子系统将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；乘客跟踪子系统使用DeepSort算法对乘客的头部进行跟踪,得到乘客运行轨迹；数据分析子系统基于所述乘客运行轨迹判断乘客运行状态，本实施例基于深度学习的目标检测技术检测到乘客的位置，再对乘客的头部目标进行跟踪，判断乘客运行的轨迹是进入车厢还是离开车厢，还能计算出车内乘客的数量，精确到个位数，为地铁运营公司合理的分配运力和组织管理起到了数据支撑的作用。
图5示出了本发明的实施例的乘客检测子系统进行检测的流程图，如图5所示，乘客检测子系统，首先初始化检测模型，设置检测目标类型，设置检测图像宽度和高度，设置置信度阈值，设置前端摄像机的取流地址，加载模型权重文件，构造一个检测器模型的实例，然后通过rtsp协议获取摄像机视频流，对图像进行预处理，对视频流进行抽帧，降低到10帧/秒，将图像的分辨率降低为640x384，对图像的像素值做归一化处理，预处理接收后输出的是原图像和处理后的图像，接下来对图像中的目标进行检测，将预处理后的图像传入检测器实例中，输出的是一系列的检测结果，此时同一个对象可能有多个检测框，需要通过非极大值抑制的方法去掉多余的检测框，最后将检测结果进行保存，用来更新接下来的跟踪器，接下来进行下一帧的检测。
图6示出了本发明的实施例的乘客跟踪子系统进行乘客跟踪的流程图，如图6所示，乘客跟踪子系统中，DeepSort算法主要由三个模块组成，特征提取模块引入了深度学习特征，用于帧间目标匹配，特征匹配模块采用级联匹配的方法达到多目标之间的最优匹配，目标预测模块负责检测目标的跟踪，通过与检测目标之间的关联关系更新参数。DeepSort模块的输入是一组检测目标的矩形框，矩形框由乘客检测模块提供。
首先，对乘客检测子系统检测到的第一帧图像中的乘客目标赋予一个ID编号，使用卡尔曼滤波算法对乘客目标的位置进行预测，再使用YOLO模型提取目标框的深度特征，最后将乘客ID号、提取的深度特征和乘客预测位置进行关联。
使用匈牙利算法对乘客目标检测框和乘客目标预测框进行特征匹配，如果乘客目标检测框和乘客目标预测框之间的特征距离小于一个阈值，就认为检测框和预测框的乘客目标属于同一个ID，关联成功；如果乘客检测框和乘客预测框之间的特征距离很大，就认为这两个检测框和预测框中的乘客不属于同一个ID，再选择下一个预测框进行匹配。如果乘客检测框和乘客预测框通过了匈牙利匹配算法，则对这两个检测框和预测框进行IOU匹配，如果匹配成功，则使用卡尔曼滤波算法更新乘客检测目标的状态，接下来进行下一帧乘客检测目标运动位置的预测。如果乘客检测框没有匹配到乘客预测框，说明这个乘客是新出现的目标，需要对其赋予一个新的ID编号。
乘客跟踪子系统对跟踪中的乘客使用卡尔曼滤波算法进行预测，然后使用YOLO模型提取深度特征，然后又通过匈牙利算法对乘客的检测框和跟踪目标的预测框进行级联匹配，得到最优的匹配结果，减低了卡尔曼滤波算法预测的不确定性带来的风险，提高了匹配的成功率，降低了由于遮挡和环境干扰导致的ID切换。如果匹配成功则更新跟踪器的参数和特征值。
图7示出了本发明的实施例的数据分析子系统进行数据分析的流程图，如图7所示，数据分析子系统，在检测系统启动后，先加载“虚拟门”坐标数据，然后检测系统从前端摄像机读取视频流，经过图像预处理后，送入乘客检测模块进行目标检测，检测结果送入乘客跟踪子系统，进行乘客跟踪，得到一系列的乘客运行轨迹数据，如果车门是打开状态，说明还有乘客会上下车，继续检测、跟踪乘客轨迹，当车门关闭后，乘客上下车的动作完成，则开始进行乘客轨迹分析，先判断乘客是否经过了“虚拟门”的区域，如果没有经过，说明乘客是在车内进行移动，如果乘客经过了“虚拟门”的区域，说明乘客有上车或下车的动作，再判断乘客移动的方向，如果乘客的目标在“虚拟门”的区域内消失了，说明车门关闭后，乘客离开了摄像机的采集范围，也就是乘客下车了，如果乘客没有消失，而是从“虚拟门”的区域移动到了车厢内部，说明乘客是上车的动作。当所有的轨迹分析完成后，把数据存储到数据库，轨迹分析流程结束。
视频监控子系统，将检测后的数据保存到数据库，并计算出车内乘客的数量，在显示设备上进行显示，其中，所述检测后的数据包括车内乘客的数量及位置坐标；例如数据显示模块位于视频监控主机上，视频监控主机通过以太网接收到检测数据后，汇总后存储到本地数据库，数据库使用sqlite，数据项包括车厢号、车门号、时间、站点、上车人数、下车人数，同时在界面上进行显示。
本发明实施例还提供了一种计算机电子设备，图8示出了可以应用本发明实施例的电子设备的结构示意图，如图8所示，该计算机电子设备包括，中央处理单元（CPU）801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储部分808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有系统操作所需的各种程序和数据。CPU 801、ROM 802以及RAM 803通过总线504彼此相连。输入/输出（I/O）接口805也连接至总线804。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中所述地铁列车乘客检测系统中所包含的计算机可读存储介质；也可以是单独存在，未装配入电子设备中的计算机可读存储介质。计算机可读存储介质存储有一个或者一个以上程序，所述程序被一个或者一个以上的处理器用来执行描述于本发明的一种地铁列车乘客检测方法。
以上描述仅为本发明的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本发明中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本发明中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (9)

1.一种地铁列车乘客检测方法，其特征在于，所述检测方法包括：
获取乘客图像并进行预处理以提高图像检测的速度；
将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
基于所述乘客运行轨迹判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留。
2.根据权利要求1所述的检测方法，其特征在于，所述获取乘客图像并进行预处理以提高检测速度包括：
采用RTSP协议获取视频流，通过FFMpeg解码库进行解码，将视频帧率降低到目标范围内，将视频帧的分辨率降低到目标范围内。
3.根据权利要求1所述的检测方法，其特征在于，所述YOLOv5深度学习模型训练的数据集是在列车真实运行环境下的图像上进行标注得到的图片。
4.根据权利要求1所述的检测方法，其特征在于，所述检测方法还包括，基于获取的乘客位置和置信度，通过非极大值抑制的方法得到目标乘客的位置坐标。
5.根据权利要求1所述的检测方法，其特征在于，对跟踪中的乘客使用卡尔曼滤波算法进行预测，通过匈牙利算法对乘客的检测框和跟踪目标的预测框进行级联匹配，得到最优的匹配结果，包括：
使用DeepSort算法，对跟踪目标进行预测，计算乘客检测框和乘客跟踪模块产生的预测框之间的相似度，然后通过级联匹配的算法进行乘客ID匹配，若预测框匹配到了检测框，则对跟踪目标状态进行更新，若预测框没有匹配到检测框，则删除乘客ID，若检测框没有匹配到跟踪预测框，则对检测到的乘客分配一个ID，然后进行跟踪处理。
6.根据权利要求1-5任一项所述的检测方法，其特征在于，所述检测方法还包括：
检测后的数据保存到数据库，并计算出车内乘客的数量，在显示设备上进行显示，其中，所述检测后的数据包括乘客上下车的数量以及车厢内乘客的数量。
7.一种地铁列车乘客检测系统，其特征在于，所述检测系统包括：
图像获取子系统，获取乘客图像并进行预处理以提高图像的检测速度；
乘客检测子系统，将经过预处理过的图像输入到预先训练的YOLOv5深度学习模型，输出得到目标乘客的位置坐标；
乘客跟踪子系统，使用DeepSort算法对乘客的头部进行跟踪，得到乘客运行轨迹；
数据分析子系统，基于所述乘客运行轨迹与车门区域的相对关系判断乘客运行状态，其中，运行状态包括乘客在车厢内移动、乘客从车厢门口进入车厢内、乘客从车厢内移动到车厢外及乘客在车门附近逗留。
8.一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述的方法。
CN202111438568.8A 2021-11-30 2021-11-30 一种地铁列车乘客检测方法及系统 Pending CN114120293A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111438568.8A CN114120293A (zh) 2021-11-30 2021-11-30 一种地铁列车乘客检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111438568.8A CN114120293A (zh) 2021-11-30 2021-11-30 一种地铁列车乘客检测方法及系统

Publications (1)

Publication Number Publication Date
CN114120293A true CN114120293A (zh) 2022-03-01

Family

ID=80368200

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111438568.8A Pending CN114120293A (zh) 2021-11-30 2021-11-30 一种地铁列车乘客检测方法及系统

Country Status (1)

Country Link
CN (1) CN114120293A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973680A (zh) * 2022-07-01 2022-08-30 哈尔滨工业大学 一种基于视频处理的公交客流获取系统及方法
CN115457036A (zh) * 2022-11-10 2022-12-09 中国平安财产保险股份有限公司 检测模型训练方法、智能点数方法和相关设备
CN115471137A (zh) * 2022-10-25 2022-12-13 深圳市旗扬特种装备技术工程有限公司 一种可动态调整运力的城市轨道交通运营调度系统
CN116563287A (zh) * 2023-07-10 2023-08-08 长沙海信智能系统研究院有限公司 一种公交车辆的客流量检测方法及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532852A (zh) * 2019-07-09 2019-12-03 长沙理工大学 基于深度学习的地铁站行人异常事件检测方法
KR102109647B1 (ko) * 2019-12-03 2020-05-12 주식회사 핀텔 딥러닝을 이용한 대중교통수단의 승하차 계수 시스템 및 방법
CN111640135A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种基于硬件前端的tof摄像头行人计数方法
CN111931652A (zh) * 2020-08-11 2020-11-13 沈阳帝信人工智能产业研究院有限公司 着装检测方法、装置和监测终端
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110532852A (zh) * 2019-07-09 2019-12-03 长沙理工大学 基于深度学习的地铁站行人异常事件检测方法
KR102109647B1 (ko) * 2019-12-03 2020-05-12 주식회사 핀텔 딥러닝을 이용한 대중교통수단의 승하차 계수 시스템 및 방법
CN111640135A (zh) * 2020-05-25 2020-09-08 台州智必安科技有限责任公司 一种基于硬件前端的tof摄像头行人计数方法
CN111931652A (zh) * 2020-08-11 2020-11-13 沈阳帝信人工智能产业研究院有限公司 着装检测方法、装置和监测终端
CN113052058A (zh) * 2021-03-19 2021-06-29 深圳市点创科技有限公司 一种车载客流统计方法、装置及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
孙任强: ""基于深度学习的地铁站行人检测与追踪"", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114973680A (zh) * 2022-07-01 2022-08-30 哈尔滨工业大学 一种基于视频处理的公交客流获取系统及方法
CN115471137A (zh) * 2022-10-25 2022-12-13 深圳市旗扬特种装备技术工程有限公司 一种可动态调整运力的城市轨道交通运营调度系统
CN115457036A (zh) * 2022-11-10 2022-12-09 中国平安财产保险股份有限公司 检测模型训练方法、智能点数方法和相关设备
CN116563287A (zh) * 2023-07-10 2023-08-08 长沙海信智能系统研究院有限公司 一种公交车辆的客流量检测方法及电子设备

Similar Documents

Publication Publication Date Title
CN114120293A (zh) 一种地铁列车乘客检测方法及系统
US8294763B2 (en) Method for building and extracting entity networks from video
CN112750150B (zh) 基于车辆检测和多目标跟踪的车流量统计方法
EP1564704A2 (en) Method and apparatus for processing pictures of vehicles
KR20080085837A (ko) 비디오에서의 물체 조밀도 판단
Nakashima et al. Passenger counter based on random forest regressor using drive recorder and sensors in buses
Zhang et al. Adaptive background learning for vehicle detection and spatio-temporal tracking
WO2022198817A1 (zh) 车辆图像聚类及轨迹还原方法
CN107610282A (zh) 一种公交客流统计系统
CN113344196A (zh) 预测模型的训练方法、装置、计算机设备及存储介质
CN105809954A (zh) 交通事件检测方法以及系统
Chen et al. Dual-modality vehicle anomaly detection via bilateral trajectory tracing
Lumentut et al. Evaluation of recursive background subtraction algorithms for real-time passenger counting at bus rapid transit system
CN113743260A (zh) 一种地铁站台密集人流情况下的行人跟踪方法
CN112560641A (zh) 基于视频的双向客流通道中的单向客流信息检测方法
CN113515968A (zh) 街道的异常事件检测方法、装置、设备及介质
CN109195106B (zh) 列车内定位方法和装置
CN117611795A (zh) 基于多任务ai大模型的目标检测方法、模型训练方法
CN112562315A (zh) 一种获取车流信息的方法、终端及存储介质
CN114078319A (zh) 一种检测交通事故隐患地点的方法及装置
CN114640807B (zh) 基于视频的对象统计方法、装置、电子设备和存储介质
CN112307846A (zh) 乘务违规分析方法
CN112053098B (zh) 订单处理方法、装置、服务器及计算机存储介质
CN111523529B (zh) 基于乘客出行轨迹的轨道交通疫情防控系统及方法
CN114492544A (zh) 模型训练方法及装置、交通事件发生概率评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220301

RJ01 Rejection of invention patent application after publication