CN113255552B - 公交车载视频乘客od分析方法、装置及存储介质 - Google Patents
公交车载视频乘客od分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN113255552B CN113255552B CN202110624581.6A CN202110624581A CN113255552B CN 113255552 B CN113255552 B CN 113255552B CN 202110624581 A CN202110624581 A CN 202110624581A CN 113255552 B CN113255552 B CN 113255552B
- Authority
- CN
- China
- Prior art keywords
- passengers
- bus
- getting
- passenger
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000003287 optical effect Effects 0.000 title description 4
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000004458 analytical method Methods 0.000 claims abstract description 26
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 230000033001 locomotion Effects 0.000 claims abstract description 18
- 230000008569 process Effects 0.000 claims abstract description 17
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000004891 communication Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 101000642315 Homo sapiens Spermatogenesis-associated protein 17 Proteins 0.000 claims description 4
- 102100036408 Spermatogenesis-associated protein 17 Human genes 0.000 claims description 4
- 238000012512 characterization method Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000011161 development Methods 0.000 claims description 2
- 238000013481 data capture Methods 0.000 claims 1
- 239000000284 extract Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 11
- 238000011835 investigation Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010223 real-time analysis Methods 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明提供了公交车载视频乘客OD分析系统、方法、装置及存储介质，属于智能交通和计算机视觉领域，通过智能边缘计算设备实时编解码公交视频流；通过目标跟踪网络检测并跟踪公交视频中出现的每个乘客；判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；通过智能车载设备捕获公交GPS等数据，并将其存取到数据库；通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD；不仅有效解决现有公交场景下乘客OD分析不精确的问题，而且可以方便地部署和移植到城市级的大规模应用中。
Description
技术领域
本发明是一种公交乘客交通出行量的分析方法，尤其涉及基于公交车的车载视频乘客OD分析系统、方法、装置及存储介质，属于智能交通和计算机视觉领域。
背景技术
公交乘客OD是指公交线网中从起始上车站点（Origin）至目的地下车站点（Destination）之间的交通出行量。公交是城市运营的硬支撑，随着智慧城市建设全面铺开，公交进入智能大数据时代，城市公交规划、线网优化调整、公交运营调度和补贴政策改革等迫切需要精准OD数据，其重要性日益凸显，而目前国内外还没有精准OD的相关应用软件系统，因此，有必要率先研发获取精准公交OD的相关智慧公交产品，为未来构建大公交精准客流识别库走好第一步。
常见的OD统计方法主要包括传统的人工调查统计方法、公交IC卡刷卡统计法等。人工调查的弊端在于效率低、调查周期长、组织难度大等，且后期数据处理复杂，无法提供实时数据，不能适应客流的随机变化，应用价值较低。IC卡统计法成本较低，但是无法得到下客数据，且投币乘客无法统计，通过OD反推得到的OD精准率约60%，用这种方法可部分反映本地乘客的乘车规律，但无法从样本推算整体客流数据。
因此亟需一种基于车载视频的公交车乘客精准OD分析方法及其装置，利用计算机视觉技术与深度学习算法对乘客进行识别跟踪，实现OD数据的实时统计，并且缩短调查周期，提高效率和准确度，保证较高自动化程度，降低人工成本并在短时间内积累大量的公交OD数据，为公交线网规划、线路站点调整、优化出行服务提供数据基础。
发明内容
为解决目前现有乘客识别周期长、效率低、准确度不足的问题，本发明提出了基于车载视频乘客OD分析系统、方法、装置及存储介质，本发明的技术方案如下：
方案一：公交车载视频乘客OD分析系统，该系统包括数据获取模块、目标追踪模块、状态判定模块、特征提取模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实时公交视频流并进行数据初始化，将视频流信息由目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过特征提取模块包含的算法进行特征向量提取，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD。
具体地，该系统所用载板为NVIDIA Jetson开发板，激活USB接口或WIFI模块进行通讯；所述视频流信息为H264/265和MPEG视频编解码格式，所述目标追踪模块使用MOT15、MOT16、MOT17和MOT20数据库。
具体地，所述目标追踪模块内置行人重识别数据集，包括CUHK03、Market-1501、MSMT17和DukeMTMC-ReID数据集。
方案二：公交车载视频乘客OD分析方法，是根据所述的系统为基础而实现的，该方法首先利用边缘计算设备与公交摄像头和智能车载设备进行数据通信；其次，通过所述目标追踪模块和状态判定模块处理乘客上下车并截取上下车乘客的高质量快照；再次，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间等信息关联，最后通过所述匹配关联模块分析得出公交乘客的出行OD。
进一步地，具体方法步骤如下：
步骤S1，通过智能边缘计算设备实时编解码公交视频流；
步骤S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客；
步骤S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；
步骤S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；
步骤S5，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库；
步骤S6，通过数据库信息进行分析得出乘客出行OD。
进一步地，在步骤S2中，所述通过目标跟踪网络，检测并跟踪公交视频中出现的乘客，具体步骤如下：
步骤S21，设置目标跟踪网络以检测上下车乘客，通过ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化；
步骤S22，使用常用的目标跟踪数据库进一步训练网络，使得网络具有良好的行人检测和跟踪能力；
步骤S23，基于实际公交场景建立数据集，进一步微调目标跟踪网络，提升在实际生产环境中的应用效果，增强其泛化能力。
进一步地，在所述步骤S3中，所述判断乘客上下车状态，具体指判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息确认判定状态，其中具体状态判定步骤为：
步骤S301，在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；
步骤S302，通过目标跟踪网络对乘客进行检测跟踪得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，得到乘客处于上车或下车过程状态情况；
步骤S303，判断运动轨迹通过线段或区域的方向，得到乘客具体是处于上车或下车状态中；
步骤S304，通过人物属性识别网络实时识别乘客的身体朝向，辅助判断乘客的上车状态和下车状态；
步骤S305，将处于上车和下车状态运动过程中的乘客快照，按照长宽比和时间间隔，通过所述状态判定模块进行自适应筛选，保留适用于做行人重识别的快照；
所述特征提取过程，是通过特征提取模块包含的行人重识别算法提取特征向量，并将其存取到数据库，具体步骤如下：
步骤S311，设置用于行人重识别的网络结构；
步骤S312，在基于公开数据和实际场景数据的多个数据集上联合训练；
步骤S313，训练卷积神经网络使其中包含的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型；
步骤S314，对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
进一步地，在步骤S6中，所述得出乘客出行OD是通过匹配关联模块实现的，具体步骤如下：
步骤S61，通过OD关联算法进行乘客相似度匹配和数据关联，得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，将上下车乘客进行重识别，其中相似度计算方法包括欧式距离和余弦距离计算；
步骤S62，在数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点缩小相似度匹配的范围；
步骤S63，通过乘客上下车时间、公交车到站离站时间、站名和运行路段的信息，分析每个乘客出行轨迹，从而得出乘客的出行OD。
方案三：公交车载视频乘客OD分析装置，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种基于车载视频进行公交乘客精准OD分析方法的步骤。
方案四：一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于车载视频进行公交乘客精准OD分析方法。
本发明有益效果体现在：
综上，本发明具有两方面的优势，一是可以实时分析OD数据，并且精度高；二是容易部署，可以在基本不改变现有公交硬件配置的情况下，与公交车载摄像头和智能车载终端进行数据传输；
与此同时，不仅可以自动、快速高效的统计公交乘客出行的OD数据，而且可以精度高和产品化花费的人力物力成本低，有利于市场推广，解决了以往传统方法效率低、调查周期长、组织难度大和精度低的问题，可以为公交线网优化、线路站点调整和优化出行服务提供数据支撑。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的公交车载视频乘客OD分析系统构成图；
图2为本发明实施例提供的公交车载视频乘客OD分析方法的流程示意图；
图3为本发明实施例提供的IOU计算公式的原理图；
图4为本发明实施例提供的公交车载视频乘客OD分析方法的装置图。
具体实施方式
通过参照附图更详细地描述本公开的示例性实施例。虽然附图中显示示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解各个实施方式，并且能够将技术涵盖的范围完整的传达给本领域的技术人员。
具体实施方式一：公交车载视频乘客OD分析系统，如图1所示，包括数据获取模块、目标追踪模块、状态判定模块、神经网络训练模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实施公交视频流并进行数据初始化，将视频流信息有目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过神经网络训练包含的算法进行特征向量提取并调用行人重识别数据集，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD。
其中，通过目标跟踪网络检测并跟踪公交视频中出现的每个乘客包括：设置用于检测跟踪公交乘客的目标跟踪网络结构，使用ImageNet图像数据库的预训练模型对目标跟踪的骨干网络进行参数初始化，使其在训练时让损失函数较快收敛；然后采用目标跟踪数据库进一步训练，使得网络具有良好的行人检测和跟踪能力，目前常用的目标跟踪数据库包括MOT15，MOT16，MOT17，MOT20等；最后为了提升在实际生产环境中的应用效果，需要建立基于公交场景数据的乘客检测跟踪数据集，在此数据集基础上进一步微调网络结构，可以提升目标跟踪网络的泛化能力。为了提升乘客检测跟踪的稳定性及尽可能避免高峰期乘客密集遮挡造成的影响，我们只关注上车视频和下车视频中的上下车过道中出现的乘客。
具体地，通过乘客上下车判定策略判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息包括：为了获取公交上下车乘客的快照信息，需要对视频中检测跟踪到的每个乘客进行上下车的状态判定，具体判定策略为，首先在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；然后通过目标跟踪网络对乘客进行检测跟踪可以得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，可以得到乘客是否处于上下车过程状态中，通过判断运动轨迹通过线段或区域的方向，可以得到乘客具体是处于上车或下车状态中；最后通过人物属性识别网络实时识别乘客的身体朝向，可以精准辅助判断乘客的上车状态和下车状态。将处于上车和下车状态运动过程中的乘客快照按照特定规则进行自适应筛选，尽可能保留适用于做行人重识别的高质量快照。
具体地，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库包括：首先设置用于行人重识别的网络结构，并在基于公开数据和实际场景数据的多个数据集上联合训练，得到适用于实际公交场景的表征能力强的行人重识别模型；然后对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
具体地，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库包括：目前公交车均配备智能车载终端，其中融合了GPS技术和里程定位技术等，可以实现对车辆实时定位、到站离站时间、站名和运行路段识别等，通过USB接口或WIFI可以实现智能车载设备和智能边缘计算设备间的数据通信，将到站离站时间和站名等信息实时数据传输到智能边缘计算设备，并存取到数据库。
具体地，通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，可以将上下车乘客进行重识别；数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点可以缩小相似度匹配的范围，由此可以提高相似度匹配的的精度；通过乘客上下车时间、公交车到站离站时间、站名和运行路段等信息，可以分析得出每个乘客出行轨迹，从而可以分析得出乘客的出行OD。
关于系统的核心在于：智能边缘计算设备与公交摄像头和智能车载设备进行数据通信，通过目标跟踪网络和乘客上下车判定策略截取上下车乘客的高质量快照，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间等信息关联，从而分析得出公交乘客的出行OD；该系统可概括为如下过程：
（1）编解码公交视频流；
（2）获取公交乘客上下车视频快照；
（3）提取上下车乘客快照特征向量并进行相似度匹配；
（4）关联公交车GPS和到站离站时间等信息；
（5）分析乘客出行OD。
具体实施方式二：除上述基于系统的公交乘客精准OD分析，本实施例将结合图 2，说明本实施例实现基于车载视频的公交乘客OD分析的方法，具体步骤如下：
S1，通过智能边缘计算设备实时编解码公交视频流：
通过智能边缘计算设备实时编解码公交视频流包括：智能边缘计算设备由于其轻量小巧、功耗低、算力强和成本低等优点，广泛应用于工业界，以NVIDIA Jetson Xavier NX载板为例，其可通过USB接口或WIFI技术与公交车载摄像头通信，实时获取多路公交视频流，并支持如，等多种视频编解码格式，同时其强大的算力可以支持AI模型进行多路视频推理。
S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客：
通过目标跟踪网络，检测并跟踪公交视频中出现的乘客包括：设置目标跟踪网络以检测上下车乘客，具体为：
ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化，可以使得目标跟踪网络的损失函数在训练时较快收敛，具有较强的特征表达能力；然后使用常用的目标跟踪数据库如MOT15、MOT16、MOT17、MOT20等进一步训练网络，使得网络具有良好的行人检测和跟踪能力；最后基于实际公交场景建立数据集，进一步微调目标跟踪网络，提升在实际生产环境中的应用效果，增强其泛化能力。为了提升乘客检测跟踪的稳定性及尽可能避免高峰期乘客密集遮挡造成的影响，我们关注上车视频和下车视频中上下车过道中出现的乘客，并且由于乘客头部远比身体部位的遮挡程度小，因此对公交乘客的头部进行检测跟踪，并通过IOU（Intersection OverUnion）与身体部位的检测框进行关联，增强其在遮挡情况下的检测跟踪的稳定性。
图3示出了IOU计算公式的原理图，具体计算公式为：
；
其中，A，B表示目标跟踪网络输出的两个检测框，A和B的IOU等于A和B的交集面积与A和B的并集面积的比值。
S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息：
通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息包括：为了获取公交上下车乘客的快照信息，需要对视频中检测跟踪到的每个乘客进行上下车的状态判定，具体判定策略为：
首先在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；然后通过目标跟踪网络对乘客进行检测跟踪可以得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，可以得到乘客是否处于上车或下车过程状态中，通过判断运动轨迹通过线段或区域的方向，可以得到乘客具体是处于上车或下车状态中；最后通过人物属性识别网络实时识别乘客的身体朝向，可以精准辅助判断乘客的上车状态和下车状态，其中身体朝向包括：正面、侧面、背面。将处于上车和下车状态运动过程中的乘客快照按照特定规则如长宽比和时间间隔等进行自适应筛选，尽可能保留适用于做行人重识别的高质量快照。
S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库：
通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库包括：首先设置用于行人重识别的网络结构，并在基于公开数据和实际场景数据的多个数据集上联合训练，其中常用的行人重识别数据集有CUHK03、Market-1501，MSMT17，DukeMTMC-ReID等，直到卷积神经网络的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型，使网络具备判别行人特征的能力；然后对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库。
S5，通过智能车载设备捕获公交GPS等数据，并将其存取到数据库：
通过智能车载设备捕获公交GPS等数据，并将其存取到数据库包括：目前公交车均配备智能车载终端，其中融合了GPS技术和里程定位技术等，可以实现对车辆实时定位、到站离站时间、站名和运行路段识别等，通过USB接口或WIFI技术可以实现智能车载设备和智能边缘计算设备间的数据通信，将到站离站时间和站名等信息实时数据传输到智能边缘计算设备，并存取到数据库。
S6，通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD：
通过OD关联算法进行乘客相似度匹配和数据关联，从而分析得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，可以将上下车乘客进行重识别，其中常用的相似度计算方法有欧式距离和余弦距离等；数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点可以缩小相似度匹配的范围，由此可以提高相似度匹配的的精度；通过乘客上下车时间、公交车到站离站时间、站名和运行路段等信息，可以分析得出每个乘客出行轨迹，从而可以分析得出乘客的出行OD。
具体地，假设在S3步骤中，对每个上车乘客和下车乘客分别保存N张快照图片，则在S4步骤中，利用行人重识别网络会对应提取得到N个特征向量；
具体地，当通过上下车判定策略判定有人下车时，将该下车乘客与数据库中存取的当前时刻之前的所有上车乘客（假设有K个）进行相似度计算，将相似度最高的上车乘客与之匹配，因此可以对上下车乘客进行重识别；
具体地，其中相似度计算方法为：将该下车乘客的N个特征向量与每个上车乘客的N个特征向量两两之间进行距离计算，得到N^2个值，将其平均值作为两个比对乘客的相似度值，当然这里也可以选用最小值或最大值；与所有K个上车乘客比对可以对应得到K个相似度值，然后进行数值排序，将最相似的上车乘客与之匹配；其中距离计算可以采用欧式距离或余弦距离等方法，具体计算方法及公式如下：
其中相似度计算方法为：将该下车乘客的N个特征向量与每个上车乘客的N个特征向量两两之间进行距离计算，得到N^2个值，将其平均值作为两个比对乘客的相似度值，当然这里也可以选用最小值或最大值；与所有K个上车乘客比对可以对应得到K个相似度值，然后进行数值排序，将最相似的上车乘客与之匹配；其中距离计算可以采用欧式距离或余弦距离等方法；
欧式距离计算公式为：
；
余弦距离计算公式为：
；
其中，X，Y为乘客的两个特征向量，n为特征向量的维度，欧式距离越小表示越相似，余弦距离越大表示越相似。
进一步地，在S4和S5步骤中对乘客的特征向量存取时同时保存了该乘客的上车或下车的时间和公交站名，以及公交车的运行路段，因此对乘客进行上下车匹配之后，可以分析得出每个乘客的出行轨迹，从而统计得出公交车乘客的出行OD，为公交线网规划提供数据支撑。
如图4示出了本实施例提供的基于车载视频进行公交乘客精准OD分析方法的装置图，将上述所涉及到的AI网络模型部署到智能边缘计算设备，并通过USB接口或WIFI技术与公交车载摄像头通信，实时获取多路公交视频流，同时与智能车载设备进行数据传输，实时获取公交车GPS和到站离站时间等信息，最后与AI网络模型对视频流的推理结果综合分析得出公交乘客的出行OD。
具体实施方式三：本领域内的技术人员通过上述实施例提及的系统及方法，本实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式，模块之间也可根据计算机逻辑结构进行重新组织。而且，本实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
根据本实施例的方法、设备（系统）、和计算机程序产品的流程图或方框图来描述的。应理解可由计算机程序指令实现流程图或方框图中的每一流程或方框、以及流程图或方框图中的流程或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器 (CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类型的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。
Claims (5)
1.公交车载视频乘客OD分析方法，是基于公交车载视频乘客OD分析系统实现的，公交车载视频乘客OD分析系统，包括数据获取模块、目标追踪模块、状态判定模块、特征提取模块、GPS数据捕捉模块以及匹配关联模块；各模块依次进行数据传输，数据获取模块获得实时公交视频流并进行数据初始化，将视频流信息由目标追踪模块进行监测并追踪，将追踪后的信息由状态判定模块进行信息存取，存取的信息通过特征提取模块包含的行人重识别算法进行特征向量提取，同时与GPS数据捕捉模块将捕捉的公交GPS数据一并存储至数据库，最终由匹配关联模块通过数据库信息进行分析得出乘客出行OD；
其特征在于：该方法首先利用边缘计算设备与公交摄像头和智能车载设备进行数据通信；其次，通过所述目标追踪模块和状态判定模块处理乘客上下车并截取上下车乘客的高质量快照；再次，通过行人重识别网络对上下车乘客进行匹配，并与公交车GPS和到站离站时间信息关联，最后通过所述匹配关联模块分析得出公交乘客的出行OD；
具体方法步骤如下：
步骤S1，通过智能边缘计算设备实时编解码公交视频流；
步骤S2，通过目标跟踪网络，检测并跟踪公交视频中出现的乘客；
步骤S3，通过乘客上下车判定策略，判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息；
步骤S4，通过行人重识别算法提取上下车乘客快照的特征向量，并将其存取到数据库；
步骤S5，通过智能车载设备捕获公交GPS数据，并将其存取到数据库；
步骤S6，通过数据库信息进行分析得出乘客出行OD；
在所述步骤S3中，判断乘客上下车状态，具体指判断视频中检测跟踪到的乘客上下车状态，并存取运动过程中上下车乘客的快照信息确认判定状态，其中具体状态判定步骤为：
步骤S301，在上车和下车视频中的车门处分别各设置一条线段或区域，该线段或区域要覆盖上车和下车过道；
步骤S302，通过目标跟踪网络对乘客进行检测跟踪得到每个乘客的运动轨迹，通过判断每个乘客的运动轨迹与设定的线段或区域是否有交集，得到乘客处于上车或下车过程状态情况；
步骤S303，判断运动轨迹通过线段或区域的方向，得到乘客具体是处于上车或下车状态中；
步骤S304，通过人物属性识别网络实时识别乘客的身体朝向，辅助判断乘客的上车状态和下车状态；
步骤S305，将处于上车和下车状态运动过程中的乘客快照，按照长宽比和时间间隔，通过所述状态判定模块进行自适应筛选，保留适用于做行人重识别的快照；
步骤S4中特征提取过程，是通过特征提取模块包含的行人重识别算法提取特征向量，并将其存取到数据库，具体步骤如下：
步骤S311，设置用于行人重识别的网络结构；
步骤S312，在基于公开数据和实际场景数据的多个数据集上联合训练，其中，数据集包括CUHK03、Market-1501、MSMT17和DukeMTMC-ReID；
步骤S313，训练卷积神经网络使其中包含的损失函数收敛，得到适用于实际公交场景的表征能力强的行人重识别模型；
步骤S314，对截取的每个上下车乘客的多张快照图片进行实时特征提取，将提取到的每张快照的特征向量和快照截取的实际时间都对应到目标跟踪网络赋予乘客的唯一ID编号，将此信息共同保存到数据库；
在步骤S6中，所述得出乘客出行OD是通过匹配关联模块实现的，具体步骤如下：
步骤S61，通过OD关联算法进行乘客相似度匹配和数据关联，得出公交乘客的出行OD包括：将数据库中存取的下车乘客特征向量与上车乘客特征向量进行相似度计算，将相似度最高的上车乘客与之匹配，将上下车乘客进行重识别，其中相似度计算方法包括欧式距离和余弦距离计算；
步骤S62，在数据库中保存的快照截取的实际时间对应着乘客上下车的实际时间，通过时间点缩小相似度匹配的范围；
步骤S63，通过乘客上下车时间、公交车到站离站时间、站名和运行路段的信息，分析每个乘客出行轨迹，从而得出乘客的出行OD。
2.根据权利要求1所述的公交车载视频乘客OD分析方法，其特征在于：在步骤S2中，所述通过目标跟踪网络，检测并跟踪公交视频中出现的乘客，具体步骤如下：
步骤S21，设置目标跟踪网络以检测上下车乘客，通过ImageNet图像分类库包含一百万张图片和1000个类别，使用ImageNet预训练模型对目标跟踪的骨干网络进行参数初始化；
步骤S22，使用常用的目标跟踪数据库训练网络，使得网络具有良好的行人检测和跟踪能力；
步骤S23，基于实际公交场景建立数据集，微调目标跟踪网络。
3.根据权利要求1所述的公交车载视频乘客OD分析方法，其特征在于：公交车载视频乘客OD分析系统所用载板为NVIDIA Jetson开发板，激活USB接口或WIFI模块进行通讯；所述视频流信息为H264/265和MPEG视频编解码格式，所述目标追踪模块使用MOT15、MOT16、MOT17和MOT20数据库。
4.公交车载视频乘客OD分析装置，其特征在于：包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1至3任一项所述的公交车载视频乘客OD分析方法的步骤。
5.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至3任一项所述的公交车载视频乘客OD分析方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624581.6A CN113255552B (zh) | 2021-06-04 | 2021-06-04 | 公交车载视频乘客od分析方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110624581.6A CN113255552B (zh) | 2021-06-04 | 2021-06-04 | 公交车载视频乘客od分析方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113255552A CN113255552A (zh) | 2021-08-13 |
| CN113255552B true CN113255552B (zh) | 2024-03-26 |
Family
ID=77186685
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110624581.6A Active CN113255552B (zh) | 2021-06-04 | 2021-06-04 | 公交车载视频乘客od分析方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113255552B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581846B (zh) * | 2022-03-03 | 2024-02-20 | 北京城建设计发展集团股份有限公司 | 地铁车站全息客流实时监测方法及装置及计算机设备 |
| CN114973680A (zh) * | 2022-07-01 | 2022-08-30 | 哈尔滨工业大学 | 一种基于视频处理的公交客流获取系统及方法 |
| CN116994211B (zh) * | 2023-09-27 | 2024-03-01 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种公交站台候车乘客监测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714391A (zh) * | 2012-09-29 | 2014-04-09 | 国际商业机器公司 | 用于推算公交系统中乘行路径的方法和装置 |
| CN105788260A (zh) * | 2016-04-13 | 2016-07-20 | 西南交通大学 | 一种基于智能公交系统数据的公交乘客od推算方法 |
| CN109285376A (zh) * | 2018-08-09 | 2019-01-29 | 同济大学 | 一种基于深度学习的公交车客流统计分析系统 |
| CN112417939A (zh) * | 2019-08-21 | 2021-02-26 | 南京行者易智能交通科技有限公司 | 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100185486A1 (en) * | 2009-01-21 | 2010-07-22 | Disney Enterprises, Inc. | Determining demand associated with origin-destination pairs for bus ridership forecasting |
-
2021
- 2021-06-04 CN CN202110624581.6A patent/CN113255552B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103714391A (zh) * | 2012-09-29 | 2014-04-09 | 国际商业机器公司 | 用于推算公交系统中乘行路径的方法和装置 |
| CN105788260A (zh) * | 2016-04-13 | 2016-07-20 | 西南交通大学 | 一种基于智能公交系统数据的公交乘客od推算方法 |
| CN109285376A (zh) * | 2018-08-09 | 2019-01-29 | 同济大学 | 一种基于深度学习的公交车客流统计分析系统 |
| CN112417939A (zh) * | 2019-08-21 | 2021-02-26 | 南京行者易智能交通科技有限公司 | 基于图像识别的客流od数据获取方法、装置、移动端设备、服务器及模型训练方法 |
Non-Patent Citations (1)
| Title |
|---|
| 城市轨道交通大客流安全管控技术研究与实践;闫茜;周梦麟;;警察技术(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113255552A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113255552B (zh) | 公交车载视频乘客od分析方法、装置及存储介质 | |
| CN108388888B (zh) | 一种车辆识别方法、装置和存储介质 | |
| CN103077407B (zh) | 车标定位识别方法及系统 | |
| CN103279756B (zh) | 基于集成分类器的车辆检测分析系统及其检测分析方法 | |
| CN110785719A (zh) | 在自动驾驶车辆中用于经由交叉时态验证的即时物体标记的方法和系统 | |
| CN109993138A (zh) | 一种车牌检测与识别方法及装置 | |
| CN110869559A (zh) | 用于自动驾驶车辆中的集成的全局式与分布式学习的方法和系统 | |
| CN110753953A (zh) | 用于自动驾驶车辆中经由交叉模态验证的以物体为中心的立体视觉的方法和系统 | |
| CN110119726A (zh) | 一种基于YOLOv3模型的车辆品牌多角度识别方法 | |
| CN110826415A (zh) | 一种场景图像中车辆的重识别方法及设备 | |
| CN103679214A (zh) | 基于在线面积估计和多特征决策融合的车辆检测方法 | |
| CN107463941A (zh) | 一种车主身份识别方法及装置 | |
| Kejriwal et al. | Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system | |
| CN116206451A (zh) | 一种智慧交通车流数据分析方法 | |
| CN113723273A (zh) | 一种车辆轨迹信息确定方法、装置及计算机设备 | |
| Hardjono et al. | Virtual Detection Zone in smart phone, with CCTV, and Twitter as part of an Integrated ITS | |
| Yang et al. | Recognition of taxi violations based on semantic segmentation of PSPNet and improved YOLOv3 | |
| CN114708560B (zh) | 一种基于yolox算法的违章停车检测方法及系统 | |
| CN110543827A (zh) | 一种基于高斯混合模型与深度学习的多类别车辆检测方法 | |
| CN101577052B (zh) | 俯空车辆检测装置和方法 | |
| CN115527118A (zh) | 一种融合注意力机制的遥感图像目标检测方法 | |
| CN115439933A (zh) | 一种基于多重模型识别策略的垃圾分类投放站点检测方法 | |
| Lee et al. | Edge AI‐Based Smart Intersection and Its Application for Traffic Signal Coordination: A Case Study in Pyeongtaek City, South Korea | |
| CN113963310A (zh) | 一种公交站的人流量检测方法、装置及电子设备 | |
| Yang | Novel traffic sensing using multi-camera car tracking and re-identification (MCCTRI) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |