CN113255552A - 公交车载视频乘客od分析系统、方法、装置及存储介质 - Google Patents

公交车载视频乘客od分析系统、方法、装置及存储介质 Download PDF

Info

Publication number
CN113255552A
CN113255552A CN202110624581.6A CN202110624581A CN113255552A CN 113255552 A CN113255552 A CN 113255552A CN 202110624581 A CN202110624581 A CN 202110624581A CN 113255552 A CN113255552 A CN 113255552A
Authority
CN
China
Prior art keywords
passenger
bus
getting
video
passengers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110624581.6A
Other languages
English (en)
Other versions
CN113255552B (zh
Inventor
田锋
曾文鼎
张文硕
邵源
林丕成
安健
叶春雨
宋开银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Urban Transport Planning Center Co Ltd
Original Assignee
Shenzhen Urban Transport Planning Center Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Urban Transport Planning Center Co Ltd filed Critical Shenzhen Urban Transport Planning Center Co Ltd
Priority to CN202110624581.6A priority Critical patent/CN113255552B/zh
Publication of CN113255552A publication Critical patent/CN113255552A/zh
Application granted granted Critical
Publication of CN113255552B publication Critical patent/CN113255552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明提供了公交车载视频乘客OD分析系统、方法、装置及存储介质，属于智能交通和计算机视觉领域，通过智能边缘计算设备实时编解码公交视频流；通过目标跟踪网络检测并跟踪公交视频中出现的每个乘客；判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；通过智能车载设备捕获公交GPS等数据，并将其存取到数据库；通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD；不仅有效解决现有公交场景下乘客OD分析不精确的问题，而且可以方便地部署和移植到城市级的大规模应用中。

Description

公交车载视频乘客OD分析系统、方法、装置及存储介质
技术领域
本发明是一种公交乘客交通出行量的分析方法，尤其涉及基于公交车的车载视频乘客OD分析系统、方法、装置及存储介质，属于智能交通和计算机视觉领域。
背景技术
公交乘客OD是指公交线网中从起始上车站点(Origin)至目的地下车站点(Destination)之间的交通出行量。公交是城市运营的硬支撑，随着智慧城市建设全面铺开，公交进入智能大数据时代，城市公交规划、线网优化调整、公交运营调度和补贴政策改革等迫切需要精准OD数据，其重要性日益凸显，而目前国内外还没有精准OD的相关应用软件系统，因此，有必要率先研发获取精准公交OD的相关智慧公交产品，为未来构建大公交精准客流识别库走好第一步。
常见的OD统计方法主要包括传统的人工调查统计方法、公交IC卡刷卡统计法等。人工调查的弊端在于效率低、调查周期长、组织难度大等，且后期数据处理复杂，无法提供实时数据，不能适应客流的随机变化，应用价值较低。IC卡统计法成本较低，但是无法得到下客数据，且投币乘客无法统计，通过OD反推得到的OD精准率约60％，用这种方法可部分反映本地乘客的乘车规律，但无法从样本推算整体客流数据。
因此亟需一种基于车载视频的公交车乘客精准OD分析方法及其装置，利用计算机视觉技术与深度学习算法对乘客进行识别跟踪，实现OD数据的实时统计，并且缩短调查周期，提高效率和准确度，保证较高自动化程度，降低人工成本并在短时间内积累大量的公交OD数据，为公交线网规划、线路站点调整、优化出行服务提供数据基础。
发明内容
为解决目前现有乘客识别周期长、效率低、准确度不足的问题，本发明提出了基于车载视频乘客OD分析系统、方法、装置及存储介质，本发明的技术方案如下：
方案一：公交车载视频乘客OD分析系统，该系统包括数据获取模块、目标追踪模块、状态判定模块、特征提取模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实时公交视频流并进行数据初始化，将视频流信息由目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过特征提取模块包含的算法进行特征向量提取，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD。
具体地，该系统所用载板为NVIDIA Jetson开发板，激活USB接口或WIFI模块进行通讯；所述视频流信息为H264/265和MPEG视频编解码格式，所述目标追踪模块使用MOT15、MOT16、MOT17和MOT20数据库。
具体地，所述目标追踪模块内置行人重识别数据集，包括CUHK03、Market-1501、MSMT17和DukeMTMC-ReID数据集。
方案二：公交车载视频乘客OD分析方法，是根据所述的系统为基础而实现的，该方法首先利用边缘计算设备与公交摄像头和智能车载设备进行数据通信；其次，通过所述目标追踪模块和状态判定模块处理乘客上下车并截取上下车乘客的高质量快照；再次，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间等信息关联，最后通过所述匹配关联模块分析得出公交乘客的出行OD。
进一步地，具体方法步骤如下：
步骤S1，通过智能边缘计算设备实时编解码公交视频流；
步骤S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客；
步骤S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；
步骤S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；
步骤S5，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库；
步骤S6，通过数据库信息进行分析得出乘客出行OD。
进一步地，在步骤S2中，所述通过目标跟踪网络，检测并跟踪公交视频中出现的乘客，具体步骤如下：
步骤S21，设置目标跟踪网络以检测上下车乘客，通过ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化；
步骤S22，使用常用的目标跟踪数据库进一步训练网络，使得网络具有良好的行人检测和跟踪能力；
步骤S23，基于实际公交场景建立数据集，进一步微调目标跟踪网络，提升在实际生产环境中的应用效果，增强其泛化能力。
进一步地，在所述步骤S3中，所述判断乘客上下车状态，具体指判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息确认判定状态，其中具体状态判定步骤为：
步骤S301，在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；
步骤S302，通过目标跟踪网络对乘客进行检测跟踪得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，得到乘客处于上车或下车过程状态情况；
步骤S303，判断运动轨迹通过线段或区域的方向，得到乘客具体是处于上车或下车状态中；
步骤S304，通过人物属性识别网络实时识别乘客的身体朝向，辅助判断乘客的上车状态和下车状态；
步骤S305，将处于上车和下车状态运动过程中的乘客快照，按照长宽比和时间间隔，通过所述状态判定模块进行自适应筛选，保留适用于做行人重识别的快照；
所述特征提取过程，是通过特征提取模块包含的行人重识别算法提取特征向量，并将其存取到数据库，具体步骤如下：
步骤S311，设置用于行人重识别的网络结构；
步骤S312，在基于公开数据和实际场景数据的多个数据集上联合训练；
步骤S313，训练卷积神经网络使其中包含的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型；
步骤S314，对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
进一步地，在步骤S6中，所述得出乘客出行OD是通过匹配关联模块实现的，具体步骤如下：
步骤S61，通过OD关联算法进行乘客相似度匹配和数据关联，得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，将上下车乘客进行重识别，其中相似度计算方法包括欧式距离和余弦距离计算；
步骤S62，在数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点缩小相似度匹配的范围；
步骤S63，通过乘客上下车时间、公交车到站离站时间、站名和运行路段的信息，分析每个乘客出行轨迹，从而得出乘客的出行OD。
方案三：公交车载视频乘客OD分析装置，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种基于车载视频进行公交乘客精准OD分析方法的步骤。
方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于车载视频进行公交乘客精准OD分析方法。
本发明有益效果体现在：
综上，本发明具有两方面的优势，一是可以实时分析OD数据，并且精度高；二是容易部署，可以在基本不改变现有公交硬件配置的情况下，与公交车载摄像头和智能车载终端进行数据传输；
与此同时，不仅可以自动、快速高效的统计公交乘客出行的OD数据，而且可以精度高和产品化花费的人力物力成本低，有利于市场推广，解决了以往传统方法效率低、调查周期长、组织难度大和精度低的问题，可以为公交线网优化、线路站点调整和优化出行服务提供数据支撑。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的公交车载视频乘客OD分析系统构成图；
图2为本发明实施例提供的公交车载视频乘客OD分析方法的流程示意图；
图3为本发明实施例提供的IOU计算公式的原理图；
图4为本发明实施例提供的公交车载视频乘客OD分析方法的装置图。
具体实施方式
通过参照附图更详细地描述本公开的示例性实施例。虽然附图中显示示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解各个实施方式，并且能够将技术涵盖的范围完整的传达给本领域的技术人员。
具体实施方式一：公交车载视频乘客OD分析系统，如图1所示，包括数据获取模块、目标追踪模块、状态判定模块、神经网络训练模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实施公交视频流并进行数据初始化，将视频流信息有目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过神经网络训练包含的算法进行特征向量提取并调用行人重识别数据集，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD。
其中，通过目标跟踪网络检测并跟踪公交视频中出现的每个乘客包括：设置用于检测跟踪公交乘客的目标跟踪网络结构，使用ImageNet图像数据库的预训练模型对目标跟踪的骨干网络进行参数初始化，使其在训练时让损失函数较快收敛；然后采用目标跟踪数据库进一步训练，使得网络具有良好的行人检测和跟踪能力，目前常用的目标跟踪数据库包括MOT15，MOT16，MOT17，MOT20等；最后为了提升在实际生产环境中的应用效果，需要建立基于公交场景数据的乘客检测跟踪数据集，在此数据集基础上进一步微调网络结构，可以提升目标跟踪网络的泛化能力。为了提升乘客检测跟踪的稳定性及尽可能避免高峰期乘客密集遮挡造成的影响，我们只关注上车视频和下车视频中的上下车过道中出现的乘客。
具体地，通过乘客上下车判定策略判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息包括：为了获取公交上下车乘客的快照信息，需要对视频中检测跟踪到的每个乘客进行上下车的状态判定，具体判定策略为，首先在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；然后通过目标跟踪网络对乘客进行检测跟踪可以得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，可以得到乘客是否处于上下车过程状态中，通过判断运动轨迹通过线段或区域的方向，可以得到乘客具体是处于上车或下车状态中；最后通过人物属性识别网络实时识别乘客的身体朝向，可以精准辅助判断乘客的上车状态和下车状态。将处于上车和下车状态运动过程中的乘客快照按照特定规则进行自适应筛选，尽可能保留适用于做行人重识别的高质量快照。
具体地，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库包括：首先设置用于行人重识别的网络结构，并在基于公开数据和实际场景数据的多个数据集上联合训练，得到适用于实际公交场景的表征能力强的行人重识别模型；然后对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
具体地，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库包括：目前公交车均配备智能车载终端，其中融合了GPS技术和里程定位技术等，可以实现对车辆实时定位、到站离站时间、站名和运行路段识别等，通过USB接口或WIFI可以实现智能车载设备和智能边缘计算设备间的数据通信，将到站离站时间和站名等信息实时数据传输到智能边缘计算设备，并存取到数据库。
具体地，通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，可以将上下车乘客进行重识别；数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点可以缩小相似度匹配的范围，由此可以提高相似度匹配的的精度；通过乘客上下车时间、公交车到站离站时间、站名和运行路段等信息，可以分析得出每个乘客出行轨迹，从而可以分析得出乘客的出行OD。
关于系统的核心在于：智能边缘计算设备与公交摄像头和智能车载设备进行数据通信，通过目标跟踪网络和乘客上下车判定策略截取上下车乘客的高质量快照，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间等信息关联，从而分析得出公交乘客的出行OD；该系统可概括为如下过程：
(1)编解码公交视频流；
(2)获取公交乘客上下车视频快照；
(3)提取上下车乘客快照特征向量并进行相似度匹配；
(4)关联公交车GPS和到站离站时间等信息；
(5)分析乘客出行OD。
具体实施方式二：除上述基于系统的公交乘客精准OD分析，本实施例将结合图2，说明本实施例实现基于车载视频的公交乘客OD分析的方法，具体步骤如下：
S1，通过智能边缘计算设备实时编解码公交视频流：
通过智能边缘计算设备实时编解码公交视频流包括：智能边缘计算设备由于其轻量小巧、功耗低、算力强和成本低等优点，广泛应用于工业界，以NVIDIAJetson Xavier NX载板为例，其可通过USB接口或WIFI技术与公交车载摄像头通信，实时获取多路公交视频流，并支持如，等多种视频编解码格式，同时其强大的算力可以支持AI模型进行多路视频推理。
S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客：
通过目标跟踪网络，检测并跟踪公交视频中出现的乘客包括：设置目标跟踪网络以检测上下车乘客，具体为：
ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化，可以使得目标跟踪网络的损失函数在训练时较快收敛，具有较强的特征表达能力；然后使用常用的目标跟踪数据库如MOT15、MOT16、MOT17、MOT20等进一步训练网络，使得网络具有良好的行人检测和跟踪能力；最后基于实际公交场景建立数据集，进一步微调目标跟踪网络，提升在实际生产环境中的应用效果，增强其泛化能力。为了提升乘客检测跟踪的稳定性及尽可能避免高峰期乘客密集遮挡造成的影响，我们关注上车视频和下车视频中上下车过道中出现的乘客，并且由于乘客头部远比身体部位的遮挡程度小，因此对公交乘客的头部进行检测跟踪，并通过IOU(Intersection OverUnion)与身体部位的检测框进行关联，增强其在遮挡情况下的检测跟踪的稳定性。
图3示出了IOU计算公式的原理图，具体计算公式为：
Figure BDA0003101660640000071
其中，A，B表示目标跟踪网络输出的两个检测框，A和B的IOU等于A和B的交集面积与A和B的并集面积的比值。
S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息：
通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息包括：为了获取公交上下车乘客的快照信息，需要对视频中检测跟踪到的每个乘客进行上下车的状态判定，具体判定策略为：
首先在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；然后通过目标跟踪网络对乘客进行检测跟踪可以得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，可以得到乘客是否处于上车或下车过程状态中，通过判断运动轨迹通过线段或区域的方向，可以得到乘客具体是处于上车或下车状态中；最后通过人物属性识别网络实时识别乘客的身体朝向，可以精准辅助判断乘客的上车状态和下车状态，其中身体朝向包括：正面、侧面、背面。将处于上车和下车状态运动过程中的乘客快照按照特定规则如长宽比和时间间隔等进行自适应筛选，尽可能保留适用于做行人重识别的高质量快照。
S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库：
通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库包括：首先设置用于行人重识别的网络结构，并在基于公开数据和实际场景数据的多个数据集上联合训练，其中常用的行人重识别数据集有CUHK03、Market-1501，MSMT17，DukeMTMC-ReID等，直到卷积神经网络的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型，使网络具备判别行人特征的能力；然后对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
S5，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库：
通过智能车载设备捕获公交GPS等数据，并将其存取到数据库包括：目前公交车均配备智能车载终端，其中融合了GPS技术和里程定位技术等，可以实现对车辆实时定位、到站离站时间、站名和运行路段识别等，通过USB接口或WIFI技术可以实现智能车载设备和智能边缘计算设备间的数据通信，将到站离站时间和站名等信息实时数据传输到智能边缘计算设备，并存取到数据库。
S6，通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD：
通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，可以将上下车乘客进行重识别，其中常用的相似度计算方法有欧式距离和余弦距离等；数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点可以缩小相似度匹配的范围，由此可以提高相似度匹配的的精度；通过乘客上下车时间、公交车到站离站时间、站名和运行路段等信息，可以分析得出每个乘客出行轨迹，从而可以分析得出乘客的出行OD。
具体地，假设在S3步骤中，对每个上车乘客和下车乘客分别保存N张快照图片，则在S4步骤中，利用行人重识别网络会对应提取得到N个特征向量；
具体地，当通过上下车判定策略判定有人下车时，将该下车乘客与数据库中存取的当前时刻之前的所有上车乘客(假设有K个)进行相似度计算，将相似度最高的上车乘客与之匹配，因此可以对上下车乘客进行重识别；
具体地，其中相似度计算方法为：将该下车乘客的N个特征向量与每个上车乘客的N个特征向量两两之间进行距离计算，得到N^2个值，将其平均值作为两个比对乘客的相似度值，当然这里也可以选用最小值或最大值；与所有K个上车乘客比对可以对应得到K个相似度值，然后进行数值排序，将最相似的上车乘客与之匹配；其中距离计算可以采用欧式距离或余弦距离等方法，具体计算方法及公式如下：
其中相似度计算方法为：将该下车乘客的N个特征向量与每个上车乘客的N个特征向量两两之间进行距离计算，得到N^2个值，将其平均值作为两个比对乘客的相似度值，当然这里也可以选用最小值或最大值；与所有K个上车乘客比对可以对应得到K个相似度值，然后进行数值排序，将最相似的上车乘客与之匹配；其中距离计算可以采用欧式距离或余弦距离等方法；
欧式距离计算公式为：
Figure BDA0003101660640000091
余弦距离计算公式为：
Figure BDA0003101660640000092
其中，X，Y为乘客的两个特征向量，n为特征向量的维度，欧式距离越小表示越相似，余弦距离越大表示越相似。
进一步地，在S4和S5步骤中对乘客的特征向量存取时同时保存了该乘客的上车或下车的时间和公交站名，以及公交车的运行路段，因此对乘客进行上下车匹配之后，可以分析得出每个乘客的出行轨迹，从而统计得出公交车乘客的出行OD，为公交线网规划提供数据支撑。
如图4示出了本实施例提供的基于车载视频进行公交乘客精准OD分析方法的装置图，将上述所涉及到的AI网络模型部署到智能边缘计算设备，并通过USB接口或WIFI技术与公交车载摄像头通信，实时获取多路公交视频流，同时与智能车载设备进行数据传输，实时获取公交车GPS和到站离站时间等信息，最后与AI网络模型对视频流的推理结果综合分析得出公交乘客的出行OD。
具体实施方式三：本领域内的技术人员通过上述实施例提及的系统及方法，本实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
根据本实施例的方法、设备(系统)、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.公交车载视频乘客OD分析系统，其特征在于：该系统包括数据获取模块、目标追踪模块、状态判定模块、特征提取模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实时公交视频流并进行数据初始化，将视频流信息由目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过特征提取模块包含的算法进行特征向量提取，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD。
2.根据权利要求1所述公交车载视频乘客OD分析系统，其特征在于：该系统所用载板为NVIDIA Jetson开发板，激活USB接口或WIFI模块进行通讯；所述视频流信息为H264/265和MPEG视频编解码格式，所述目标追踪模块使用MOT15、MOT16、MOT17和MOT20数据库。
3.根据权利要求1所述公交车载视频乘客OD分析系统，其特征在于：所述目标追踪模块内置行人重识别数据集，包括CUHK03、Market-1501、MSMT17和DukeMTMC-ReID数据集。
4.公交车载视频乘客OD分析方法，是根据权利要求1-3中任一一项所述的系统为基础而实现的，其特征在于：该方法首先利用边缘计算设备与公交摄像头和智能车载设备进行数据通信；其次，通过所述目标追踪模块和状态判定模块处理乘客上下车并截取上下车乘客的高质量快照；再次，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间等信息关联，最后通过所述匹配关联模块分析得出公交乘客的出行OD。
5.根据权利要求4所述的公交车载视频乘客OD分析方法，其特征在于：具体方法步骤如下：
步骤S1，通过智能边缘计算设备实时编解码公交视频流；
步骤S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客；
步骤S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；
步骤S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；
步骤S5，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库；
步骤S6，通过数据库信息进行分析得出乘客出行OD。
6.根据权利要求5所述的公交车载视频乘客OD分析方法，其特征在于：在步骤S2中，所述通过目标跟踪网络，检测并跟踪公交视频中出现的乘客，具体步骤如下：
步骤S21，设置目标跟踪网络以检测上下车乘客，通过ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化；
步骤S22，使用常用的目标跟踪数据库进一步训练网络，使得网络具有良好的行人检测和跟踪能力；
步骤S23，基于实际公交场景建立数据集，进一步微调目标跟踪网络，提升在实际生产环境中的应用效果，增强其泛化能力。
7.根据权利要求5所述的公交车载视频乘客OD分析方法，其特征在于：在所述步骤S3中，所述判断乘客上下车状态，具体指判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息确认判定状态，其中具体状态判定步骤为：
步骤S301，在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；
步骤S302，通过目标跟踪网络对乘客进行检测跟踪得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，得到乘客处于上车或下车过程状态情况；
步骤S303，判断运动轨迹通过线段或区域的方向，得到乘客具体是处于上车或下车状态中；
步骤S304，通过人物属性识别网络实时识别乘客的身体朝向，辅助判断乘客的上车状态和下车状态；
步骤S305，将处于上车和下车状态运动过程中的乘客快照，按照长宽比和时间间隔，通过所述状态判定模块进行自适应筛选，保留适用于做行人重识别的快照；
所述特征提取过程，是通过特征提取模块包含的行人重识别算法提取特征向量，并将其存取到数据库，具体步骤如下：
步骤S311，设置用于行人重识别的网络结构；
步骤S312，在基于公开数据和实际场景数据的多个数据集上联合训练；
步骤S313，训练卷积神经网络使其中包含的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型；
步骤S314，对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
8.根据权利要求7所述的公交车载视频乘客OD分析方法，其特征在于：在步骤S6中，所述得出乘客出行OD是通过匹配关联模块实现的，具体步骤如下：
步骤S61，通过OD关联算法进行乘客相似度匹配和数据关联，得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，将上下车乘客进行重识别，其中相似度计算方法包括欧式距离和余弦距离计算；
步骤S62，在数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点缩小相似度匹配的范围；
步骤S63，通过乘客上下车时间、公交车到站离站时间、站名和运行路段的信息，分析每个乘客出行轨迹，从而得出乘客的出行OD。
9.公交车载视频乘客OD分析装置，其特征在于：包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求2至8任一项所述的一种基于车载视频进行公交乘客精准OD分析方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求2至8任一项所述的一种基于车载视频进行公交乘客精准OD分析方法。
CN202110624581.6A 2021-06-04 2021-06-04 公交车载视频乘客od分析方法、装置及存储介质 Active CN113255552B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110624581.6A CN113255552B (zh) 2021-06-04 2021-06-04 公交车载视频乘客od分析方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110624581.6A CN113255552B (zh) 2021-06-04 2021-06-04 公交车载视频乘客od分析方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113255552A true CN113255552A (zh) 2021-08-13
CN113255552B CN113255552B (zh) 2024-03-26

Family

ID=77186685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110624581.6A Active CN113255552B (zh) 2021-06-04 2021-06-04 公交车载视频乘客od分析方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113255552B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581846A (zh) * 2022-03-03 2022-06-03 北京城建设计发展集团股份有限公司 地铁车站全息客流实时监测方法及装置及计算机设备
CN114973680A (zh) * 2022-07-01 2022-08-30 哈尔滨工业大学 一种基于视频处理的公交客流获取系统及方法
CN116994211A (zh) * 2023-09-27 2023-11-03 深圳市城市交通规划设计研究中心股份有限公司 一种公交站台候车乘客监测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185486A1 (en) * 2009-01-21 2010-07-22 Disney Enterprises, Inc. Determining demand associated with origin-destination pairs for bus ridership forecasting
CN103714391A (zh) * 2012-09-29 2014-04-09 国际商业机器公司 用于推算公交系统中乘行路径的方法和装置
CN105788260A (zh) * 2016-04-13 2016-07-20 西南交通大学 一种基于智能公交系统数据的公交乘客od推算方法
CN109285376A (zh) * 2018-08-09 2019-01-29 同济大学 一种基于深度学习的公交车客流统计分析系统
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100185486A1 (en) * 2009-01-21 2010-07-22 Disney Enterprises, Inc. Determining demand associated with origin-destination pairs for bus ridership forecasting
CN103714391A (zh) * 2012-09-29 2014-04-09 国际商业机器公司 用于推算公交系统中乘行路径的方法和装置
CN105788260A (zh) * 2016-04-13 2016-07-20 西南交通大学 一种基于智能公交系统数据的公交乘客od推算方法
CN109285376A (zh) * 2018-08-09 2019-01-29 同济大学 一种基于深度学习的公交车客流统计分析系统
CN112417939A (zh) * 2019-08-21 2021-02-26 南京行者易智能交通科技有限公司 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
闫茜;周梦麟;: "城市轨道交通大客流安全管控技术研究与实践", 警察技术, no. 04 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581846A (zh) * 2022-03-03 2022-06-03 北京城建设计发展集团股份有限公司 地铁车站全息客流实时监测方法及装置及计算机设备
CN114581846B (zh) * 2022-03-03 2024-02-20 北京城建设计发展集团股份有限公司 地铁车站全息客流实时监测方法及装置及计算机设备
CN114973680A (zh) * 2022-07-01 2022-08-30 哈尔滨工业大学 一种基于视频处理的公交客流获取系统及方法
CN116994211A (zh) * 2023-09-27 2023-11-03 深圳市城市交通规划设计研究中心股份有限公司 一种公交站台候车乘客监测方法
CN116994211B (zh) * 2023-09-27 2024-03-01 深圳市城市交通规划设计研究中心股份有限公司 一种公交站台候车乘客监测方法

Also Published As

Publication number Publication date
CN113255552B (zh) 2024-03-26

Similar Documents

Publication Publication Date Title
CN113255552A (zh) 公交车载视频乘客od分析系统、方法、装置及存储介质
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN110660222B (zh) 一种智能环保道路黑烟车辆电子抓拍系统
CN103077407B (zh) 车标定位识别方法及系统
CN106971544B (zh) 一种直接利用静态图像来检测车辆拥堵的方法
CN109993138A (zh) 一种车牌检测与识别方法及装置
CN105844229A (zh) 一种乘客拥挤度的计算方法及其系统
CN103325259A (zh) 一种基于多核并行的违章停车检测方法
Rafique et al. Optimized real-time parking management framework using deep learning
CN111311766A (zh) 基于车牌识别和跟踪技术的路边停车智能收费系统及方法
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
CN114898297A (zh) 基于目标检测和目标跟踪的非机动车违法行为判定的方法
CN113450573A (zh) 基于无人机图像识别的交通监测方法和交通监测系统
CN103679214A (zh) 基于在线面积估计和多特征决策融合的车辆检测方法
Kumar et al. Resource efficient edge computing infrastructure for video surveillance
CN103337175A (zh) 一种基于实时视频流的车型识别系统
Ravish et al. Intelligent traffic violation detection
CN116206451A (zh) 一种智慧交通车流数据分析方法
Zhou et al. Method for judging parking status based on yolov2 target detection algorithm
CN117610971B (zh) 一种高速公路机电系统健康指数评估方法
CN117058774A (zh) 基于多尺度监测的高速收费站管控方法、装置及设备
CN101577052B (zh) 俯空车辆检测装置和方法
CN115439933A (zh) 一种基于多重模型识别策略的垃圾分类投放站点检测方法
CN110046535A (zh) 基于机器学习的智能出行时间预测系统、方法及存储介质
CN113963310A (zh) 一种公交站的人流量检测方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant