CN114973680A - 一种基于视频处理的公交客流获取系统及方法 - Google Patents

一种基于视频处理的公交客流获取系统及方法 Download PDF

Info

Publication number
CN114973680A
CN114973680A CN202210774188.XA CN202210774188A CN114973680A CN 114973680 A CN114973680 A CN 114973680A CN 202210774188 A CN202210774188 A CN 202210774188A CN 114973680 A CN114973680 A CN 114973680A
Authority
CN
China
Prior art keywords
bus
passenger
getting
standard
portrait
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210774188.XA
Other languages
English (en)
Inventor
全威
王�华
柯犇
王浩
孙繁昊
王鹏淏
吴建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN202210774188.XA priority Critical patent/CN114973680A/zh
Publication of CN114973680A publication Critical patent/CN114973680A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/123—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/133—Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams within the vehicle ; Indicators inside the vehicles or at stops

Abstract

一种基于视频处理的公交客流获取系统及方法，它属于公交客流获取领域。本发明解决了现有公交客流信息获取方法不能准确获取到详细的公交客流信息的问题。本发明利用车载相机获取公交乘客上下车的客流视频，再运用算法处理客流视频获取乘客面部特征和其它外观特征，得到乘客的多特征向量，并对多特征向量之间进行相似度对比从而实现乘客上下车的重识别，最后结合GNSS模块中的位置和时间信息就可得知该乘客的上下车地点和时间。本发明方法在大客流量的情况下，仍然能够获得准确详细的公交客流信息。本发明方法可以应用于公交客流获取领域。

Description

一种基于视频处理的公交客流获取系统及方法
技术领域
本发明属于公交客流获取领域，具体涉及一种基于视频处理的公交客流获取系统及方法。
背景技术
随着城镇化进程的加快，交通拥堵等问题需要及时解决。作为有效缓解交通拥堵的方法，城市公共交通得到人们的关注。要使城市公交系统高效地运行，公交企业需要获取准确的乘客出行数据。通过这些数据获得出行特征，根据获得的出行特征，公交企业可以有效改善公交线路和时刻表。
目前获取公交客流信息的方法主要有以下几种：
1)人工采集：公交车上有专人来负责统计上车乘客出发点、目的地、乘车时间等信息。该方法在乘客较少时准确度较高，但是在客流量较大的时候数据受到人为因素的影响较大。
2)传感器采集：通过在公交车车门处安装压力传感器、光电传感器等对通过的乘客进行计数。此种方式只能对乘客进行计数，但无法得知具体乘客在何处上下车。
3)WiFi探针技术：WiFi探针技术则是依靠无线网络，依靠如手机等移动设备接入WiFi热点获取计算设备的MAC地址，实现对被检测设备信息的记录，从而统计车上的人数。此种方法无法对未开启WiFi功能的设备进行检测，同样也无法得到某位乘客具体的上下车地点。
综上所述，现有公交客流信息获取方法仍然不能准确获取到详细的公交客流信息。
发明内容
本发明的目的是为解决现有公交客流信息获取方法不能准确获取到详细的公交客流信息的问题，而提出的一种基于视频处理的公交客流获取系统及方法。
本发明为解决上述技术问题所采取的技术方案是：
基于本发明的一个方面，一种基于视频处理的公交客流获取系统，所述系统包括摄像头模块、GNSS模块和存储控制模块，其中：
所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；
所述GNSS模块用于实时采集公交车的经纬度信息；
所述摄像头模块和GNSS模块通过USB串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；
再结合GNSS模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。
基于本发明的另一个方面，一种基于视频处理的公交客流获取方法，所述方法具体包括以下步骤：
步骤S1、公交车位置信息获取
利用GNSS模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；
步骤S2、公共车客流正面视频信息获取
当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；
否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；
步骤S3、视频信息处理
利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；
利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；
步骤S4、公交客流信息匹配
将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；
将公交车乘客上、下车的时间点与GNSS模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。
本发明的有益效果是：
本发明提出了一种基于视频处理的公交客流获取系统及方法，利用车载相机获取公交乘客上下车的客流视频，再运用算法处理客流视频获取乘客面部特征和其它外观特征，得到乘客的多特征向量，并对多特征向量之间进行相似度对比从而实现乘客上下车的重识别，最后结合GNSS模块中的位置和时间信息就可得知该乘客的上下车地点和时间。本发明方法在大客流量的情况下，仍然能够获得准确详细的公交客流信息。
附图说明
图1是本发明的一种基于视频处理的公交客流获取系统的架构图；
图2是本发明的一种基于视频处理的公交客流获取方法的流程图；
图3是标准特征向量库生成的示意图；
图4是乘客多特征示意图；
图5是上、下车乘客匹配流程图。
具体实施方式
具体实施方式一、结合图1说明本实施方式。本实施方式所述的一种基于视频处理的公交客流获取系统，所述系统包括摄像头模块、GNSS模块(全球导航卫星系统)和存储控制模块，其中：
所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；
具体地，所述摄像头模块为车载相机，布设摄像头模块的数量取决于公交车内可上、下车出入口的总数量，安装在公交车进口门的前方车顶上以拍摄客流进入公交车的正面视频，安装在出口门的门框上以拍摄客流离开公交车的正面视频；
所述GNSS模块用于实时采集公交车的经纬度信息；
所述摄像头模块和GNSS模块通过USB串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；
再结合GNSS模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。
具体实施方式二：本实施方式与具体实施方式一不同的是，所述系统由公交车车载电池供电。
其它步骤及参数与具体实施方式一相同。
具体实施方式三、结合图2说明本实施方式。基于具体实施方式一所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，所述方法具体包括以下步骤：
步骤S1、公交车位置信息获取
利用GNSS模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；
公交客流信息检测系统开始工作时，GNSS模块即持续提取信息，GNSS模块的工作状态会一直持续到系统停止工作；
步骤S2、公共车客流正面视频信息获取
当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；
否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；
步骤S3、视频信息处理
利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；
利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；
步骤S4、公交客流信息匹配
将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；
将公交车乘客上、下车的时间点与GNSS模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。
本发明的方法主要有以下有益效果：
①与传统方法相比，通过处理视频帧的方法获取客流信息能够在极短的时间捕捉到乘客目标，从而在客流量较大时能够快速准确获取乘客信息，遗漏情况较少；
②能够获得具体每名乘客的上下车客流信息，该信息对公交系统的规划、建设具有更重要的意义；
③本发明所提出的方法不仅能够用在公交车上，也能够运用在地铁、轻轨或是车站的客流信息的获取上，具有一定的通用性。
具体实施方式四：结合图3说明本实施方式。本实施方式与具体实施方式三不同的是，所述步骤S3的具体过程为：
步骤S31、利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再通过人像目标检测算法获取到每张图片中上车乘客的目标检测框；
步骤S32、利用多目标检测算法将步骤S31的每张图片中的目标检测框替换成跟踪框，并为每一个跟踪目标分配一个跟踪ID号；
步骤S33、对于任意一位上车乘客，均对上车乘客进行持续跟踪直至离开摄像头模块的拍摄范围，对于某位上车乘客来说，按照该位上车乘客在连续跟踪的各张图片中的跟踪框边缘，分别从连续跟踪的各张图片中截取出该位上车乘客的人像，再对截取出的人像进行矫正，将矫正后的该位上车乘客的全部人像共同存入同一文件夹中形成该位上车乘客的人像集；
同理，分别获得每位上车乘客的人像集；
步骤S34、对于任意一位上车乘客的人像集，采用人像质量评估算法(包含但不仅限EQFace人脸质量评估算法)分别对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位上车乘客的标准人像；
同理，分别获得每位上车乘客的标准人像；
步骤S35、采用特征提取器(利用图片训练集训练深度学习模型获得特征提取器)分别提取出每位上车乘客对应的标准人像的多种特征，如图4所示，所述多种特征包括面部特征、口罩特征、眼镜特征、帽子特征和服装特征；
对于某位上车乘客来说，该位上车乘客的多种特征组成该位上车乘客所对应的标准人像的多特征向量，再将该位上车乘客所对应标准人像的多特征向量存储在存储控制模块中，根据该位上车乘客的跟踪ID号以及该位上车乘客所对应标准人像的拍摄时间对该位上车乘客所对应标准人像的多特征向量进行命名；
同理，分别得到每位上车乘客所对应标准人像的多特征向量；全部上车乘客对应的多特征向量组成上车乘客的标准特征向量库；
步骤S36、利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量。
在出口门，也可以通过持续跟踪的方式采集图片，对于每位下车的乘客，将通过连续跟踪获得的该位下车乘客的各张图片组成人像集，对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位下车乘客的标准人像，将标准人像的多特征向量与标准特征向量库中的多特征向量进行匹配，得到匹配结果。
其它步骤及参数与具体实施方式三相同。
具体实施方式五：本实施方式与具体实施方式三或四不同的是，所述人像目标检测算法为YOLOv5目标检测算法。
本实施方式的方法可以是YOLOv5目标检测算法，但是不局限于YOLOv5目标检测算法。
其它步骤及参数与具体实施方式三或四相同。
具体实施方式六：本实施方式与具体实施方式三至五之一不同的是，所述多目标检测算法为Deep Sort多目标跟踪算法。
本实施方式的方法可以是Deep Sort多目标跟踪算法，但是不局限于Deep Sort多目标跟踪算法。
其它步骤及参数与具体实施方式三至五之一相同。
具体实施方式七：本实施方式与具体实施方式三至六之一不同的是，所述人像质量评估算法为EQFace人脸质量评估算法。
本实施方式的方法可以是EQFace人脸质量评估算法，但是不局限于EQFace人脸质量评估算法。
其它步骤及参数与具体实施方式三至六之一相同。
具体实施方式八：结合图5说明本实施方式。本实施方式与具体实施方式三至七之一不同的是，所述步骤S4的具体过程为：
步骤S41、对于任意的一位下车乘客，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
所述步骤S41中，该位下车乘客所对应的多特征向量与标准特征向量库中任意一个多特征向量A的特征相似度的计算方式为：
计算出该位下车乘客所对应的多特征向量中的面部特征与标准特征向量库中的多特征向量A中的面部特征的余弦距离d1、计算出下车乘客所对应的多特征向量中的口罩特征与标准特征向量库中的多特征向量A中的口罩特征的余弦距离d2、计算出下车乘客所对应的多特征向量中的眼镜特征与标准特征向量库中的多特征向量A中的眼镜特征的余弦距离d3、计算出下车乘客所对应的多特征向量中的服装特征与标准特征向量库中的多特征向量A中的服装特征的余弦距离d4、计算出下车乘客所对应的多特征向量中的帽子特征与标准特征向量库中的多特征向量A中的帽子特征的余弦距离d5；
再加入各个特征的权重系数k1、k2、k3、k4和k5进行融合，将融合结果作为该位下车乘客所对应的多特征向量与标准特征向量库中的多特征向量A的特征相似度；
同理，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
步骤S42、从该位下车乘客所对应的全部特征相似度中选择出最大的特征相似度，若选择出的特征相似度大于等于设定的阈值，则匹配成功，并将最大的特征相似度所对应的标准人像的上车时间作为该位下车乘客的上车时间点；否则，选择出的特征相似度小于设定的阈值，则匹配失败，由人工手动对该位下车乘客进行匹配；
步骤S43、重复步骤S41和步骤S42，分别获得每位乘客上、下车的时间点；
步骤S44、根据GNSS模块提取的实时经度、纬度和时间信息，再将GNSS模块提取的时间信息转换为标准时间(标准北京时间)后，将转换后的标准时间与每位乘客上、下车的时间点进行匹配，得到每位乘客上、下车时间、每位乘客上、下车地点以及每位乘客的乘坐公交车时间，至此得到公交客流信息。
权重系数与相似度阈值通过实验获得。
其它步骤及参数与具体实施方式三至七之一相同。
具体实施方式九：本实施方式与具体实施方式三至八之一不同的是，所述融合方式为：
d＝k1×d1+k2×d2+k3×d3+k4×d4+k5×d5
其中，d为融合结果，k1为面部特征对应的权重系数，k2为口罩特征对应的权重系数，k3为眼镜特征对应的权重系数，k4为服装特征对应的权重系数，k5为帽子特征对应的权重系数。
其它步骤及参数与具体实施方式三至八之一相同。
实施例
本发明主要包含摄像头模块、GNSS模块和存储控制模块三个部分，整个系统由公交车车载电池供电。其中，摄像头模块包括两个部分若干数量(取决于公交车可上、下车出入口的数量)，一个部分安装在公交车进口门的前方车顶上以拍摄客流进入公交车的正面视频，另一个部分安装在出口门的门框上以拍摄客流离开公交车的正面视频。
GNSS模块的中文名是“全球导航卫星系统”，它是多个卫星系统的总称。通过卫星信号接收器和解码器，GNSS模块可以采集到经纬度坐标、运动速度还有时间等一系列信息，通过USB串口连接GNSS模块，读取串口通信数据，即可在控制设备上获取上述信息。
存储控制模块识别到车门开关打开时，将开始记录乘客上下车的视频，若开关关闭，则停止记录，以拍摄的当地时间命名视频。存储控制模块存储摄像头采集到的视频并应用相应的处理算法，进行乘客人像检测裁剪、提取人像特征、特征匹配等操作，即可得到每名乘客具体的上下车具体时间。此信息再结合GNSS模块获得的数据即可获得每名乘客上下车地点、乘车时间等客流信息。该系统的总体设计如图1所示。
该系统工作的步骤如下：
步骤1、GNSS模块信息的获取：该公交客流信息检测系统开始工作时，GNSS模块会持续连接卫星并提取实时信息中的时间、经度和纬度信息，将其时间转化为标准北京时间，并按照一定的格式保存在存储控制模块中，GNSS模块的工作状态会一直持续到该系统停止工作；
步骤2、公共客流正面视频获取：通过公交车上的开关门开关来控制车载摄像头的开启与关闭，当司机打开上车车门的开关时，拍摄上车客流的摄像头开始记录，关闭时停止记录；下车车门的开关打开时，拍摄下车客流的摄像头开始记录，关闭开关停止记录。将获得的视频存储到存储控制模块；
步骤3、视频处理，主要步骤如下：
(1)针对乘客上车视频：
1)对输入的视频按照一定的帧数间隔进行每秒抽帧形成一系列的帧图片。此步骤主要是减少系统处理图片的数量，加快处理速度同样也能够减少储存空间的浪费。
2)利用人像检测算法检测步骤1)获得的帧图片以确定图片中是否存在乘客和锁定乘客位置，若存在乘客则标出人像位置形成人像检测框，可以利用YOLOv5目标检测算法进行检测；
3)通过多目标跟踪算法(包含但不仅限Deep Sort多目标跟踪算法)将2)中人像检测框替换为跟踪框并为目标分配一个跟踪号(即跟踪ID号，在没有发生ID切换的条件下，同一乘客在不同视频帧中的ID号相同)，沿着跟踪框边缘裁剪人像获得上车乘客人像截图，并持续跟踪乘客目标直至乘客消失在帧图片中。
4)在步骤3)中，持续将同一乘客(即相同跟踪ID的乘客)的人像截图存入同一文件夹中形成同一乘客的人像集，目的在于收集所有同一乘客在上车视频中所出现的人像图片，从而可以挑选出人像特征最清晰的人像图片作为标准图片，从而提高识别成功率；
5)对4)中的人像集运用人脸质量评估算法(包含但不仅限EQFace人脸质量评估算法)，对人像进行人脸特征质量打分，从人像集中挑选出分数最高的人像作为该乘客的标准人像；
6)对5)中标准人像图片进行矫正完成图片归一化后，利用特征提取器提取乘客标准人像的多种特征向量，其中以面部特征为主其它外观特征(如图4所示，其它外观特征可以包括口罩特征、眼镜特征、服装特征、帽子特征等)为辅组成标准人像的多特征向量，其中特征提取器为利用图片训练集训练深度学习模型获得，主要检测特征点也即关键点的相对位置与颜色的分布情况，并量化形成一个多维度的向量称为多特征向量；
7)将6)中的标准人像的多特征向量命名为“跟踪ID号+拍摄时间”的组合存储在存储控制模块中，采用此命名方式目的在于避免人像图片的命名重复从而导致储存错误，其中拍摄时间指视频拍摄时的北京时间，采用北京时间作为命名部分之一是系统需要将图片与GNSS模块获取的经纬度和时间信息通过时间相同来匹配，从而获取每张图片拍摄的位置信息。获取所有上车乘客的标准人像多特征向量得到上车乘客的标准向量库，供下车乘客对比、匹配使用。
8)判断视频是否处理完毕，若处理完毕则流程结束。
(2)针对乘客下车视频：
1)步骤与(1)针对乘客上车视频中1)至3)相同，主要获取下车乘客的人像截图；
2)对下车乘客人像图片进行矫正完成图片归一化后利用特征提取器提取乘客多特征向量，供匹配上车乘客的标准向量库使用；
3)将2)中的多特征向量命名为“跟踪ID号+拍摄时间”存储在存储控制模块中；
4)判断视频是否处理完毕，若处理完毕则流程结束。
步骤4、公交客流信息匹配：由步骤3获得上车乘客的标准特征向量库与下车乘客的多特征向量，利用余弦距离计算得下车乘客的多特征向量与上车乘客的标准特征向量库中各个特征向量的相似度(d1、d2、...等，数量取决于选取的多特征数量)，加入各个特征的权重系数(k1、k2...)，由公式d＝k1×d1+k2×d2+k3×d3+k4×d4+k5×d5获得融合特征相似度。并以最大相似度匹配上下车乘客的多特征向量，如果最大的融合特征相似度大于等于选定阈值，则认为上下车乘客完成匹配即完成重识别，否则认为匹配失败，其中权重系数与相似度阈值通过实验获得。完成上下车乘客重识别后，由于将乘客多特征向量命名为“跟踪ID号+拍摄时间”的组合，因此可获得某乘客上下车的时间点。
同时，通过GNSS模块获取的实时经度、纬度和时间信息，将时间信息转换为标准的北京时间，将GNSS模块与某乘客上下车的时间点通过时间匹配起来，得到该乘客上下车的时间、乘坐公交车时间以及经度和纬度的位置信息，至此得到公交客流信息，并存储在存储控制模块中，供工作人员调用。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims (9)

1.一种基于视频处理的公交客流获取系统，其特征在于，所述系统包括摄像头模块、GNSS模块和存储控制模块，其中：
所述存储控制模块用于识别公交车的进口门以及出口门是否打开；若公交车的进口门或出口门打开，则布设在对应的进口门或出口门周围的摄像头模块采集乘客的正面视频信息；
所述GNSS模块用于实时采集公交车的经纬度信息；
所述摄像头模块和GNSS模块通过USB串口将采集的信息传送给存储控制模块，存储控制模块还用于对摄像头模块采集的信息进行处理，获得每名乘客上、下车的具体时间；
再结合GNSS模块采集的经纬度信息，获得每名乘客上、下车的具体时间以及具体地点。
2.根据权利要求1所述的一种基于视频处理的公交客流获取系统，其特征在于，所述系统由公交车车载电池供电。
3.基于权利要求1所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述方法具体包括以下步骤：
步骤S1、公交车位置信息获取
利用GNSS模块持续连接卫星，提取出各个时刻所对应的时间、公交车经度、纬度信息；再将提取的信息保存在存储控制模块中；
步骤S2、公共车客流正面视频信息获取
当公交车的进口门打开时，布设在进口门周围的摄像头模块采集上车乘客的正面视频信息，当公交车的出口门打开时，布设在出口门周围的摄像头模块采集下车乘客的正面视频信息，并将采集的正面视频信息存储到存储控制模块；
否则，当公交车的进口门和出口门均关闭时，摄像头模块全部停止采集；
步骤S3、视频信息处理
利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理分别得到每位上车乘客对应的多特征向量，全部上车乘客对应的多特征向量组成上车乘客标准特征向量库；
利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量；
步骤S4、公交客流信息匹配
将下车乘客对应的多特征向量分别与上车乘客标准特征向量库中的多特征向量进行特征相似度对比，从而完成公交车上、下车乘客的重识别，获得了公交车乘客上、下车的时间点；
将公交车乘客上、下车的时间点与GNSS模块提取的时间、公交车经度、纬度信息进行匹配，获得每位乘客的上、下车时间，上、下车地点以及乘坐时间，即获得公交客流信息。
4.根据权利要求3所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述步骤S3的具体过程为：
步骤S31、利用存储控制模块对布设在进口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再通过人像目标检测算法获取到每张图片中上车乘客的目标检测框；
步骤S32、利用多目标检测算法将步骤S31的每张图片中的目标检测框替换成跟踪框，并为每一个跟踪目标分配一个跟踪ID号；
步骤S33、对于任意一位上车乘客，均对上车乘客进行持续跟踪直至离开摄像头模块的拍摄范围，对于某位上车乘客来说，按照该位上车乘客在连续跟踪的各张图片中的跟踪框边缘，分别从连续跟踪的各张图片中截取出该位上车乘客的人像，再对截取出的人像进行矫正，将矫正后的该位上车乘客的全部人像共同存入同一文件夹中形成该位上车乘客的人像集；
同理，分别获得每位上车乘客的人像集；
步骤S34、对于任意一位上车乘客的人像集，采用人像质量评估算法分别对人像集中的人像进行人脸特征质量打分，选择人像集中分数最高的人像作为该位上车乘客的标准人像；
同理，分别获得每位上车乘客的标准人像；
步骤S35、采用特征提取器分别提取出每位上车乘客对应的标准人像的多种特征，所述多种特征包括面部特征、口罩特征、眼镜特征、帽子特征和服装特征；
对于某位上车乘客来说，该位上车乘客的多种特征组成该位上车乘客所对应的标准人像的多特征向量，再将该位上车乘客所对应标准人像的多特征向量存储在存储控制模块中，根据该位上车乘客的跟踪ID号以及该位上车乘客所对应标准人像的拍摄时间对该位上车乘客所对应标准人像的多特征向量进行命名；
同理，分别得到每位上车乘客所对应标准人像的多特征向量；全部上车乘客对应的多特征向量组成上车乘客的标准特征向量库；
步骤S36、利用存储控制模块对布设在出口门周围的摄像头模块采集的正面视频信息进行抽帧处理得到一系列图片，再对得到的图片进行处理，分别得到每张图片中下车乘客对应的多特征向量。
5.根据权利要求4所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述人像目标检测算法为YOLOv5目标检测算法。
6.根据权利要求5所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述多目标检测算法为Deep Sort多目标跟踪算法。
7.根据权利要求6所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述人像质量评估算法为EQFace人脸质量评估算法。
8.根据权利要求7所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述步骤S4的具体过程为：
步骤S41、对于任意的一位下车乘客，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
所述步骤S41中，该位下车乘客所对应的多特征向量与标准特征向量库中任意一个多特征向量A的特征相似度的计算方式为：
计算出该位下车乘客所对应的多特征向量中的面部特征与标准特征向量库中的多特征向量A中的面部特征的余弦距离d1、计算出下车乘客所对应的多特征向量中的口罩特征与标准特征向量库中的多特征向量A中的口罩特征的余弦距离d2、计算出下车乘客所对应的多特征向量中的眼镜特征与标准特征向量库中的多特征向量A中的眼镜特征的余弦距离d3、计算出下车乘客所对应的多特征向量中的服装特征与标准特征向量库中的多特征向量A中的服装特征的余弦距离d4、计算出下车乘客所对应的多特征向量中的帽子特征与标准特征向量库中的多特征向量A中的帽子特征的余弦距离d5；
再加入各个特征的权重系数k1、k2、k3、k4和k5进行融合，将融合结果作为该位下车乘客所对应的多特征向量与标准特征向量库中的多特征向量A的特征相似度；
同理，分别计算出该位下车乘客所对应的多特征向量与上车乘客标准特征向量库中各个多特征向量的特征相似度；
步骤S42、从该位下车乘客所对应的全部特征相似度中选择出最大的特征相似度，若选择出的特征相似度大于等于设定的阈值，则匹配成功，并将最大的特征相似度所对应的标准人像的上车时间作为该位下车乘客的上车时间点；否则，选择出的特征相似度小于设定的阈值，则匹配失败，由人工手动对该位下车乘客进行匹配；
步骤S43、重复步骤S41和步骤S42，分别获得每位乘客上、下车的时间点；
步骤S44、根据GNSS模块提取的实时经度、纬度和时间信息，再将GNSS模块提取的时间信息转换为标准时间后，将转换后的标准时间与每位乘客上、下车的时间点进行匹配，得到每位乘客上、下车时间、每位乘客上、下车地点以及每位乘客的乘坐公交车时间，至此得到公交客流信息。
9.根据权利要求8所述的一种基于视频处理的公交客流获取系统的公交客流获取方法，其特征在于，所述融合方式为：
d＝k1×d1+k2×d2+k3×d3+k4×d4+k5×d5
其中，d为融合结果，k1为面部特征对应的权重系数，k2为口罩特征对应的权重系数，k3为眼镜特征对应的权重系数，k4为服装特征对应的权重系数，k5为帽子特征对应的权重系数。
CN202210774188.XA 2022-07-01 2022-07-01 一种基于视频处理的公交客流获取系统及方法 Pending CN114973680A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210774188.XA CN114973680A (zh) 2022-07-01 2022-07-01 一种基于视频处理的公交客流获取系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210774188.XA CN114973680A (zh) 2022-07-01 2022-07-01 一种基于视频处理的公交客流获取系统及方法

Publications (1)

Publication Number Publication Date
CN114973680A true CN114973680A (zh) 2022-08-30

Family

ID=82966716

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210774188.XA Pending CN114973680A (zh) 2022-07-01 2022-07-01 一种基于视频处理的公交客流获取系统及方法

Country Status (1)

Country Link
CN (1) CN114973680A (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021059A (zh) * 2012-12-12 2013-04-03 天津大学 一种基于视频监控的公交客流计数方法
CN104021605A (zh) * 2014-04-16 2014-09-03 湖州朗讯信息科技有限公司 一种公交客流实时统计系统及其统计方法
CN105913367A (zh) * 2016-04-07 2016-08-31 北京晶众智慧交通科技股份有限公司 基于人脸识别和位置定位的公交客流量检测系统与方法
CN205608812U (zh) * 2016-04-07 2016-09-28 北京晶众智慧交通科技股份有限公司 基于人脸识别和位置定位的公交客流量检测系统
CN108345878A (zh) * 2018-04-16 2018-07-31 泰华智慧产业集团股份有限公司 基于视频的公共交通工具客流量监测方法及系统
CN109564710A (zh) * 2016-12-26 2019-04-02 株式会社斯巴鲁卡贝鲁 乘客管理装置及乘客管理方法
CN110647855A (zh) * 2019-09-29 2020-01-03 常州大学 一种基于人脸识别的地铁车站客流统计方法
CN111210624A (zh) * 2020-01-09 2020-05-29 广州智体科技有限公司 公交车人流量统计的方法
CN111311467A (zh) * 2020-02-11 2020-06-19 罗普特科技集团股份有限公司 一种基于人脸识别的公交路线预测方法及系统
CN111666879A (zh) * 2020-06-05 2020-09-15 安徽达尔智能控制系统股份有限公司 一种基于大数据框架的公交客流分析与规划系统和方法
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法
CN113158923A (zh) * 2021-04-27 2021-07-23 华录智达科技股份有限公司 一种基于人脸识别的公交换乘提醒系统
CN113255552A (zh) * 2021-06-04 2021-08-13 深圳市城市交通规划设计研究中心股份有限公司 公交车载视频乘客od分析系统、方法、装置及存储介质
WO2021159865A1 (zh) * 2020-02-11 2021-08-19 罗普特科技集团股份有限公司 一种基于数据校准的公交路线预测方法及系统
CN113408587A (zh) * 2021-05-24 2021-09-17 支付宝(杭州)信息技术有限公司 一种公交车乘客od匹配方法、装置和电子设备
CN114120293A (zh) * 2021-11-30 2022-03-01 北京华高世纪科技股份有限公司 一种地铁列车乘客检测方法及系统

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103021059A (zh) * 2012-12-12 2013-04-03 天津大学 一种基于视频监控的公交客流计数方法
CN104021605A (zh) * 2014-04-16 2014-09-03 湖州朗讯信息科技有限公司 一种公交客流实时统计系统及其统计方法
CN105913367A (zh) * 2016-04-07 2016-08-31 北京晶众智慧交通科技股份有限公司 基于人脸识别和位置定位的公交客流量检测系统与方法
CN205608812U (zh) * 2016-04-07 2016-09-28 北京晶众智慧交通科技股份有限公司 基于人脸识别和位置定位的公交客流量检测系统
CN109564710A (zh) * 2016-12-26 2019-04-02 株式会社斯巴鲁卡贝鲁 乘客管理装置及乘客管理方法
CN108345878A (zh) * 2018-04-16 2018-07-31 泰华智慧产业集团股份有限公司 基于视频的公共交通工具客流量监测方法及系统
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法
CN110647855A (zh) * 2019-09-29 2020-01-03 常州大学 一种基于人脸识别的地铁车站客流统计方法
CN111210624A (zh) * 2020-01-09 2020-05-29 广州智体科技有限公司 公交车人流量统计的方法
CN111311467A (zh) * 2020-02-11 2020-06-19 罗普特科技集团股份有限公司 一种基于人脸识别的公交路线预测方法及系统
WO2021159865A1 (zh) * 2020-02-11 2021-08-19 罗普特科技集团股份有限公司 一种基于数据校准的公交路线预测方法及系统
CN111666879A (zh) * 2020-06-05 2020-09-15 安徽达尔智能控制系统股份有限公司 一种基于大数据框架的公交客流分析与规划系统和方法
CN113158923A (zh) * 2021-04-27 2021-07-23 华录智达科技股份有限公司 一种基于人脸识别的公交换乘提醒系统
CN113408587A (zh) * 2021-05-24 2021-09-17 支付宝(杭州)信息技术有限公司 一种公交车乘客od匹配方法、装置和电子设备
CN113255552A (zh) * 2021-06-04 2021-08-13 深圳市城市交通规划设计研究中心股份有限公司 公交车载视频乘客od分析系统、方法、装置及存储介质
CN114120293A (zh) * 2021-11-30 2022-03-01 北京华高世纪科技股份有限公司 一种地铁列车乘客检测方法及系统

Similar Documents

Publication Publication Date Title
CN111310994B (zh) 一种基于数据校准的公交路线预测方法及系统
CN106541968B (zh) 基于视觉分析的地铁车厢实时提示系统的识别方法
CN109285376B (zh) 一种基于深度学习的公交车客流统计分析系统
JP6570731B2 (ja) 乗客の混雑度の算出方法及びそのシステム
CN105844229B (zh) 一种乘客拥挤度的计算方法及其系统
CN102542797B (zh) 图像式的交通参数检测系统与方法
WO2021159866A1 (zh) 一种基于人脸识别的公交路线预测方法及系统
CN109948416A (zh) 一种基于深度学习的违法占用公交车道自动审核方法
CN111353369B (zh) 一种城市路侧停车高位视频在辅助刑侦中的应用方法及系统
CN107305627A (zh) 一种车辆视频监控方法、服务器及系统
CN104239905A (zh) 运动目标识别方法及具有该功能的电梯智能计费系统
CN109325404A (zh) 一种公交场景下的人数统计方法
WO2023155483A1 (zh) 一种车型识别方法、装置和系统
CN109398422A (zh) 一种停车时车辆位置确定方法及对标停车方法
CN110969131B (zh) 一种基于场景流的地铁人流计数方法
Nakashima et al. Passenger counter based on random forest regressor using drive recorder and sensors in buses
CN112417939A (zh) 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法
CN109472219B (zh) 一种站点客流量的统计方法、装置及计算机存储介质
CN113743260A (zh) 一种地铁站台密集人流情况下的行人跟踪方法
CN111460938A (zh) 一种车辆行驶行为实时监测方法及装置
CN112613509A (zh) 一种铁路货车车厢号识别抓拍方法及系统
CN114333120A (zh) 一种公交客流检测方法及系统
CN112991399B (zh) 一种基于rfs的公交车人数检测系统
CN110879990A (zh) 一种预计机场安检旅客排队等候时长的方法及其应用
CN110516600A (zh) 一种基于人脸检测的公交客流检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination