CN108345878A - 基于视频的公共交通工具客流量监测方法及系统 - Google Patents

Abstract

本发明提供一种基于视频的公共交通工具客流量监测方法及系统。该方法包括：接收车门传感器检测到的车门开信号或车门关信号。接收到车门开信号发送录制开始指令至视频获取装置，接收到车门关信号发送录制结束指令至视频获取装置。接收视频获取装置发送的视频文件。获取公共交通工具的车辆编号、公共交通工具所处站点的站点编号和公共交通工具的上下行信息。按照帧顺序获取多帧图片，将各个图片转化为结构化数据。将结构化数据输入乘客识别模型，得到乘客图像矢量数据。确定两组乘客图像矢量数据对应的乘客是否为同一乘客。对比同一乘客对应的两组乘客图像矢量数据，得到乘客的移动轨迹数据。本发明可以更准确的对公共交通工具的客流量进行统计。

Description

基于视频的公共交通工具客流量监测方法及系统

技术领域

本发明涉及客流量监测领域，具体涉及一种基于视频的公共交通工具客流量监测方法及系统。

背景技术

随着科技的发展，生活节奏的加快，人们对出行质量的要求越来越高，在众多出行方式中，采用公共交通工具也即公交，出行是一种绿色出行方式，如何提高公交出行体验，离不开对公交客流量的分析，从而做到合理的公交车辆调度，以及公交客流量情况提醒。现有的客流量统计方式有：红外探测设备、乘客附属物分析(例如：通过手机wifi或者RFID车票)、公交承载检测装置、普通公交监控视频分析等，但这些方式存在造价高、统计不准确等问题。例如：申请公布号为CN104021605A的发明专利，仅通过人体两肩与头部构成的三角形特征形状作为人数统计单位进行计数，在遇到客流拥挤时，视频中乘客拍摄不全两肩与头的三角形区域，很多情况被遮挡肩膀或头部，此时该专利将不能实现准确的统计。

因此，提供一种基于视频的公共交通工具客流量监测方法及系统，实现准确的统计公共交通工具的客流量，是本领域亟待解决的问题。

发明内容

本发明提供了一种基于视频的公共交通工具客流量监测方法及系统，解决了现有技术中公共交通工具客流量统计不准确的技术问题。

为了解决上述技术问题，本发明提供了一种基于视频的公共交通工具客流量监测方法，该方法包括：

接收车门传感器检测到的车门开信号或车门关信号，其中，所述车门传感器用于检测公共交通工具的车门开关状态；

在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置，所述视频获取装置用于拍摄所述车门处的影像并形成视频文件；

接收所述视频获取装置发送的所述视频文件；

获取所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息；

从所述视频文件中按照帧顺序获取多帧图片；

将各个所述图片按照像素转化为结构化数据，其中，所述结构化数据包括像素点的坐标和色值；

对于每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客的乘客像素点的坐标和色值以及所述图片中的乘客的数量，其中，表征一个所述乘客的乘客像素点的坐标和色值形成一个所述乘客对应的一组乘客图像矢量数据；

对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客；

对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据；以及

根据所述车辆编号、所述站点编号、所述上下行信息和所有所述乘客的移动轨迹数据得到所述公共交通工具所处站点的上下车乘客数统计数据。

进一步的，从所述视频文件中按照帧顺序获取多帧图片的步骤包括：

按照帧顺序，通过视频抽取器将所述视频文件按照每秒2或3帧的图片数量抽取多帧图片。

进一步的，将转化后的所述结构化数据输入预设的乘客识别模型的步骤之前，所述方法还包括：

以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片；

将各个所述样本图片按照像素转化为样本结构化数据，其中，所述样本结构化数据包括样本像素点的坐标和色值；

利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据；以及

以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到所述预设的乘客识别模型。

进一步的，对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客的步骤包括：

将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数；

将两个所述像素组集合中的像素组进行匹配，当一个所述像素组集合中的像素组与另一个所述像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个所述像素组集合中大于预定比例的像素组均为所述匹配像素组，则确定所述来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客，其中，所述预定匹配关系为两个所述像素组中对应像素点的色值相等。

进一步的，对比同一乘客对应的两组乘客图像矢量数据，并结合所述不同图片的帧顺序，得到所述乘客的移动轨迹数据的步骤包括：

从所述同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的所述匹配像素组；

对每个所述匹配像素组，将所述匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合所述来源图片的帧顺序，得到每个所述匹配像素组反映出的乘客移动方向；

当所述第二预设个数的所述匹配像素组反映出的乘客移动方向相同时，根据所述第二预设个数的所述匹配像素组反映出的乘客移动方向形成所述乘客的移动轨迹数据，其中，所述第二预设个数小于所述第一预设个数。

进一步的，在对比来自不同图片的两组乘客图像矢量数据的步骤中，所述不同图片为帧顺序相邻的图片；和/或在对比同一乘客对应的两组乘客图像矢量数据的步骤中，所述同一乘客对应的两组乘客图像矢量数据来源图片为帧顺序相邻的图片。

为了解决上述技术问题，本发明提供了一种基于视频的公共交通工具客流量监测系统，该系统包括：

车门传感器，用于检测公共交通工具的车门开关状态，并生成车门开信号或车门关信号；

视频获取装置，用于拍摄所述车门处的影像并形成视频文件；

监控控制器，与所述车门传感器和所述视频获取装置分别相连接，包括处理单元、存储单元和传输单元，其中，所述处理单元用于接收车门传感器检测到的车门开信号或车门关信号，并在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置，所述存储单元用于存储所述视频文件，所述传输单元用于将所述视频文件、所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息传输至中心视频分析器；

中心视频分析器，与所述监控控制器相连接，包括结构化数据处理模块、乘客识别模块、移动轨迹分析模块和统计模块，其中：

所述结构化数据处理模块用于从所述视频文件中按照帧顺序获取多帧图片，将各个所述图片按照像素转化为结构化数据，其中，所述结构化数据包括像素点的坐标和色值；

所述乘客识别模块用于针对每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客的乘客像素点的坐标和色值以及所述图片中的乘客的数量，其中，表征一个所述乘客的乘客像素点的坐标和色值形成一个所述乘客对应的一组乘客图像矢量数据；

所述移动轨迹分析模块用于对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客，对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据；

所述统计模块用于根据所述车辆编号、所述站点编号、所述上下行信息和所有所述乘客的移动轨迹数据得到所述公共交通工具所处站点的上下车乘客数统计数据。

进一步的，所述中心视频分析器还包括样本获取模块和建模模块，其中，

所述样本获取模块用于以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片；

所述结构化数据处理模块还用于将各个所述样本图片按照像素转化为样本结构化数据，其中，所述样本结构化数据包括样本像素点的坐标和色值；

所述建模模块利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据，以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到所述预设的乘客识别模型。

进一步的，所述移动轨迹分析模块在对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客时，具体执行的步骤包括：

将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数；

将两个所述像素组集合中的像素组进行匹配，当一个所述像素组集合中的像素组与另一个所述像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个所述像素组集合中大于预定比例的像素组均为所述匹配像素组，则确定所述来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客，其中，所述预定匹配关系为两个所述像素组中对应像素点的色值相等。

进一步的，所述移动轨迹分析模块在对比同一乘客对应的两组乘客图像矢量数据，并结合所述不同图片的帧顺序，得到所述乘客的移动轨迹数据时，具体执行的步骤包括：

从所述同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的所述匹配像素组；

对每个所述匹配像素组，将所述匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合所述来源图片的帧顺序，得到每个所述匹配像素组反映出的乘客移动方向；

当所述第二预设个数的所述匹配像素组反映出的乘客移动方向相同时，根据所述第二预设个数的所述匹配像素组反映出的乘客移动方向形成所述乘客的移动轨迹数据，其中，所述第二预设个数小于所述第一预设个数。

与现有技术相比，本发明的一种基于视频的公共交通工具客流量监测方法及系统，实现了如下的有益效果：

一、本发明采用乘客识别模型将结构化数据转化成乘客图像矢量数据，并通过对乘客图像矢量数据进行分析得出乘客移动轨迹数据，区别于现有技术中仅通过人体两肩与头部构成的三角形特征形状作为人数统计单位进行计数的方法，本发明可以更加准确的对公共交通工具的客流量进行统计；

二、中心视频分析器只需在中心部署一套，公共交通工具仅加装监控控制器以及车门传感器即可，并且现有公共交通工具上的摄像头可以直接利用，在保证对视频进行上下客流分析准确性的同时，降低了部署成本。

需要说明的是，本发明提供的技术方案不需要同时达到上述所有技术效果。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例，并且连同其说明一起用于解释本发明的原理。

图1为本发明实施例一提供的一种基于视频的公共交通工具客流量监测方法流程图；

图2为本发明实施例二提供的一种基于视频的公共交通工具客流量监测方法流程图；

图3为本发明实施例三提供的基于视频的公共交通工具客流量监测系统原理图；

图4为本发明实施例三提供的基于视频的公共交通工具客流量监测系统中中心视频分析器的原理图。

图中，10、车门传感器；20、视频获取装置；30、监控控制器；301、处理单元；302、存储单元；303、传输单元；40、中心视频分析器；401、结构化数据处理模块；402、乘客识别模块；403、移动轨迹分析模块；404、统计模块；405、样本获取模块；406、建模模块。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例1：

本实施例提供了一种基于视频的公共交通工具客流量监测方法，能通过公共交通工具开门时录制的视频文件计算上下车乘客数量，更加准确的统计公共交通工具的客流量。如图1所示的基于视频的公共交通工具客流量监测方法流程图，该方法包括以下步骤：

S101:接收车门传感器检测到的车门开信号或车门关信号。

其中，所述车门传感器用于检测公共交通工具的车门开关状态，当车门打开时，车门传感器可以将车门开信号发送至监控控制器，当车门关闭时，车门传感器可以将车门关信号发送至监控控制器。

S102:在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置。

所述视频获取装置用于拍摄所述车门处的影像并形成视频文件，具体的，视频获取装置可以为硬盘录像机，其具有内置硬盘，在录制完一段视频后可以自动将录制完成的视频文件保存在内置硬盘中。监控控制器在接收到车门传感器发送的车门开信号后，向视频获取装置发送录制开始指令，视频获取装置开始录像；当监控控制器接收到车门传感器发出的车门关信号后，向视频获取装置发出录制结束指令，视频获取装置停止录像。

S103：接收所述视频获取装置发送的所述视频文件。

具体的，视频获取装置在接收到录制结束指令时可以将视频文件自动保存在硬盘中，监控控制器在接收到录制结束指令后，自动下载视频获取装置的硬盘中存储的视频文件。

S104：获取所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息。

具体的，监控控制器内置有传输单元，传输单元包括有GPS定位系统和无线通讯系统，并与中心视频分析器无线连接。监控控制器可以通过GPS定位系统获取公共交通工具的实时位置信息，从而得到公共交通工具所处的站点信息以及公共交通工具的上下行信息，并将公共交通工具的车辆编号信息、视频文件拍摄时所述公共交通工具所处站点的站点编号信息以及上下行信息实时发送到中心视频分析器，由于中心视频分析器需要同时处理多个公共交通工具发出的视频信息，该步骤可以便于中心视频分析器对公共交通工具进行区分，并且详细的记录公共交通工具在每一个站点的客流情况。

需要说明的是，监控控制器可设置于公共交通工具上，例如公交汽车、地铁等。中心视频分析器可设置于远程机房。

S105：从所述视频文件中按照帧顺序获取多帧图片，将各个所述图片按照像素转化为结构化数据。

具体的，中心视频分析器中设置有结构化数据处理模块，当监控控制器将视频文件发送至中心视频分析器后，结构化数据处理模块可以从视频文件中按照帧顺序抽取若干帧图片，具体按照每秒2-3帧图片进行抽取，并将抽取到的多帧图片按照像素转化为结构化数据。其中，结构化数据包括像素点的坐标和色值。

按照帧顺序进行图片抽取，方便后续步骤中确定移动轨迹数据，按照每秒2或3帧的图片数量进行抽取，一方面，保证抽取的图片数量能够足够反应出乘客以及乘客的移动轨迹数据，另一方面，避免数据量太多而影响数据传输的速度，避免导致客流量监测的实时性变差。

S106：对于每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客的乘客像素点的坐标和色值以及所述图片中的乘客的数量。

其中，乘客识别模型的输入向量为上一步骤中若干帧图像转化成的结构化数据，输出向量为一组乘客图像矢量数据，乘客图像矢量数据表征一个乘客的像素点坐标和色值，乘客识别模型将结构化数据拆分成多个由像素坐标和与每个像素坐标所对应的色值构成的矢量数据，便于机器对结构化数据中的乘客图像信息进行识别，并且像素越高识别的准确性越高。

S107：对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客。

在该步骤中，由于乘客识别模型将表征乘客的结构化数据转化为矢量数据，每一帧图片都被按照像素拆分成若干个结构化数据，即每个像素点的坐标以及色值，乘客识别算法可以根据两帧图片中每个坐标的像素点的色值之间的相似度判断两帧图片中的乘客是否为同一乘客。

S108：对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据；以及根据所述车辆编号、所述站点编号、所述上下行信息和所有所述乘客的移动轨迹数据得到所述公共交通工具所处站点的上下车乘客数统计数据。

乘客识别算法对两帧图片中的乘客匹配成功后，根据同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序判断乘客移动方向，例如第一帧图片中表征某位乘客的像素点坐标分布在图片的左侧，第二针图像中表征该乘客的像素点坐标分布在图片的右侧，即可以判断该名乘客的移动方向为向右移动。假如公共交通工具的车门在图片的右侧即可判断该名乘客为下车，此时中心视频分析器结合该公共交通工具的编号以及所处的站点编号记录乘客的移动轨迹数据。

本实施例采用将视频文件转化为结构化数据，并通过乘客识别模型将结构化数据转化为乘客矢量数据，将每帧图片上的乘客图像信息按照像素分为若干个结构化数据，区别于现有技术中仅通过人体两肩与头部构成的三角形特征形状作为人数统计单位进行计数，本发明对乘客的识别和计数更加准确，并且现有公共交通工具上的摄像头可以直接利用，在保证对视频进行上下客流分析准确性的同时，降低了部署成本。

实施例2

本实施例在实施例1的基础上，提供了一种优选的基于视频的公共交通工具客流量监测方法，能够进一步提高乘客识别的速度和准确度，相关之处可以参考实施例1的描述，具体的，如图2所示为本实施例提供的基于视频的公共交通工具客流量监测方法流程图，该方法包括以下步骤：

S201:接收车门传感器检测到的车门开信号或车门关信号。

其中，所述车门传感器用于检测公共交通工具的车门开关状态。

S202:在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置，

S203:接收所述视频获取装置发送的所述视频文件。

S204:获取所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息。

S205:从所述视频文件中按照帧顺序获取多帧图片；将各个所述图片按照像素转化为结构化数据。

具体的，中心视频分析器内设置有结构化数据处理模块，当监控控制器将视频文件发送至中心视频分析器后，结构化数据处理模块可以从视频文件中按照帧顺序抽取若干帧图片，具体通过视频抽取器将所述视频文件按照每秒2或3帧的图片数量抽取多帧图片。并将抽取到的多帧图片按照像素转化为结构化数据。其中，结构化数据包括像素点的坐标和色值。

S206:以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片。

该步骤用于采集样本图片并为样本训练做准备，以提高乘客识别的准确度。例如，针对A城市有8种公交车型，公交运行时段16个小时(早6:00到晚22:00)、每10天一次取样，选取一年约5000张图片作为样本图片。

S207:将各个所述样本图片按照像素转化为样本结构化数据。

其中，所述样本结构化数据包括样本像素点的坐标和色值；例如，将800*600像素的样本图片，转成480000条结构化数据，并标注每个像素块的色值存入结构化数据库中，作为表征该样本图像的数据信息，便于机器识别。

S208:利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据；以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到所述预设的乘客识别模型。

其中，电子手绘板可以自动标出每帧样本图片中的乘客信息，在步骤S207中转化后的样本结构化数据中，会有一部分结构化数据与电子手绘板所标出的乘客信息重合，每帧图片中重合部分的集合即为表征乘客信息的样本乘客图像矢量数据。并将大量的样本图片转化的样本结构化数据作为卷积神经网络训练集的输入向量，以各个样本图片提取出的样本乘客图像矢量数据为输出进行样本训练，经过不断的机器学习得到乘客识别模型。经过卷积神经网络的机器学习可以提高乘客识别模块对乘客图像的识别的速度和准确度。

需要说明的是，上述的步骤S206至步骤S208为构建乘客识别模型的步骤，在步骤S206和步骤S207中，获取样本结构化数据时，可采用类似步骤S201至步骤S205的方式进行获取，此处不再赘述。同时，本领域技术人员可以理解的是，下述步骤S209中涉及到的图片，不是指样本图片，而是指实际客流量监测过程中获得的图片。

同时，在构建乘客识别模型时，通过多个筛选维度来获得样本图片，使得样本数据的覆盖面更大，训练得到的乘客识别模型的精度更高。

S209:对于每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客信息的乘客图像矢量数据。

乘客识别模型在经过大量样本训练后可以快速的将结构化数据转化成表征乘客的乘客像素点坐标及色值，并且可以根据图片中电子手绘板标出的乘客信息判断图片中的乘客人数。

例如，提取出的两帧图片中分别识别到有五名乘客，每帧图片中的每个乘客均按像素划分成若干个结构化数据，分别将该两帧图片转化成的结构化数据输入到乘客识别模型中可得到两帧图像中的乘客所对应的乘客图像矢量数据，即表征两帧图像中每位乘客的像素点坐标以及色值的数据信息。

S210:将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数。

例如，在相邻两帧图片中，每一张图片均识别到五名乘客，每位乘客被分别被划分成800×600个像素组，每帧图片分别形成了五个像素组集合，每个像素组集合分别对应一位乘客。

S211:将两个所述像素组集合中的像素组进行匹配，当一个所述像素组集合中的像素组与另一个所述像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个所述像素组集合中大于预定比例的像素组均为所述匹配像素组，则确定所述来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客。

其中，所述预定匹配关系为两个所述像素组中对应像素点的色值相等。

具体的，匹配像素组必须为不同图片中的像素集合中的像素组，例如当前一帧图片中的表征乘客A的某一像素组与后一帧图片中对应像素点表征乘客B的像素组的色值相等时，判定这两组像素组为匹配像素组，当表征乘客A的所有像素组与表征乘客B的所有像素组中匹配像素组超过预定比例时，即可判定乘客A与乘客B为同一名乘客，具体预定比例可根据用户需求自行设定，例如相似度超过80％或90％即判定匹配成功，预定比例越高精确度越高。

S212:从所述同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的所述匹配像素组。

其中，同一乘客对应的两组乘客图像矢量数据来源图片为帧数相邻的两张图片，在两组相邻帧数的图片中抽取第一预设个数的匹配像素组，以便于后续步骤中对相邻两帧图片中的匹配像素组进行比对。例如抽取9组匹配像素组，即第一预设个数为9。

S213:对每个所述匹配像素组，将所述匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合所述来源图片的帧顺序，得到每个所述匹配像素组反映出的乘客移动方向。

该步骤用于判断匹配像素组中的乘客移动方向，在抽取到的9组匹配像素组中，将每个像素组划分成若干个像素点并排序，由于每个像素点具有唯一的坐标，通过对每一组匹配像素组中相同像素点的位置进行比较，再结合图片的帧顺序，即可得出该匹配像素组的位移方向，例如在抽取到的9组匹配像素组中，其中一组匹配像素组在后一帧图象中的某个像素点的坐标相比于前一帧该像素点的坐标向右移动，即可判断该匹配像素组为向右移动。

S214:当第二预设个数的所述匹配像素组反映出的乘客移动方向相同时，根据所述第二预设个数的所述匹配像素组反映出的乘客移动方向形成所述乘客的移动轨迹数据。

其中，所述第二预设个数小于所述第一预设个数。

由于抽取的匹配像素组具有9组，因此仅靠一组匹配像素组的移动方向不能准确的反映乘客的移动方向，需要分析9组匹配像素组中有多少匹配像素组反应出乘客的移动方向结果一致，即设定第二预设个数，当第二预定个数在第一预定人数中所占的比重超过一定比例时，才可以得出该乘客移动方向的结论。第二预定个数为经验值，例如在9组匹配像素组中，超过五组匹配像素组反应出的乘客移动方向一致，即第二预设个数为5，既可以判断该名乘客的移动方向为第二预设个数的匹配像素组反应出的乘客移动方向。在得知乘客移动方向后形成乘客移动轨迹数据，乘客移动轨迹数据用于描述每一位乘客的移动方向，从而对公共交通工具的乘客上下车数量进行统计。

本实施例所提出的基于视频的公共交通工具客流量监测方法将拍摄到的视频文件转化为结构化数据，并且利用卷积神经网络进行大量的样本训练和机器学习得到乘客识别模型，通过乘客识别模型可以直接把结构化数据转化为乘客图像矢量数据，便于对乘客的移动轨迹进行分析，降低了工作量，提高了乘客识别以及判断乘客移动方向的速度和准确度。

实施例3

本实施例提出了一种基于视频的公共交通工具客流量监测系统，可以实时对公共交通工具开关门过程的视频信息进行采集，并快速、准确地分析公共交通工具中的乘客移动轨迹，统计每一站点的上下车乘客数量。如图3所示为本实施例提出的基于视频的公共交通工具客流量监测系统原理图，该系统包括：

车门传感器10，用于检测公共交通工具的车门开关状态，当车门打开时车门传感器10发出车门开信号，当车门关闭时车门传感器10发出车门关信号。

视频获取装置20，用于拍摄车门处的影像并形成视频文件；具体的，视频获取装置20可以为硬盘录像机，其具有内置硬盘，在录制完一段视频后可以自动将录制完成的视频文件保存在内置硬盘中。

监控控制器30，分别与车门传感器10和视频获取装置20相连接，监控控制器30在接收到车门传感器10发送的车门开信号后，向视频获取装置20发送录制开始指令，视频获取装置20开始录像；当监控控制器30接收到车门传感器10发送的车门关信号后，向视频获取装置20发送录制结束指令，视频获取装置20停止录像。具体的，监控控制器30包括处理单元301、存储单元302和传输单元303。

处理单元301用于接收车门传感器10检测到的车门开信号或车门关信号，并在接收到所述车门开信号时，向视频获取装置20发送录制开始指令，在接收到车门关信号时，向视频获取装置20发送录制结束指令，存储单元302用于存储视频文件。

传输单元303内置有GPS定位系统无线通讯系统，并与中心视频分析器40无线连接。监控控制器30可以通过GPS定位系统获取公共交通工具的实时位置信息从而得到公共交通工具所处的站点信息以及公共交通工具的上下行信息，并将公共交通工具的车辆编号信息、视频文件拍摄时所述公共交通工具所处站点的站点编号信息以及上下行信息实时发送到中心视频分析器40，由于中心视频分析器40需要同时处理多个公共交通工具发出的视频信息，传输单元303可以便于中心视频分析器40对公共交通工具进行区分，并且详细的记录公共交通工具在每一个站点的客流情况。无线通讯系统具体可以采用2G/3G/4G/SIM卡，本实施例优选为4GSIM卡。

中心视频分析器40，与监控控制器30相连接，中心视频分析器40包括结构化数据处理模块401、乘客识别模块402、移动轨迹分析模块403、统计模块404、样本获取模块405和建模模块406，其中：

结构化数据处理模块401用于从视频文件中按照帧顺序获取多帧图片，将各个图片按照像素转化为结构化数据，结构化数据包括像素点的坐标和色值；结构化数据处理模块401内置视频抽取器，可以按照一定的频率从视频文件中抽取多帧图片，具体的，按照每秒2-3帧图片进行抽取。例如抽取到800*600像素的图片，结构化数据处理模块401可以将该图片转成480000条结构化数据，并且标注每个像素块的色值。

乘客识别模块402用于针对每个图片，将转化后的结构化数据输入预设的乘客识别模型，得到图片中表征乘客的乘客像素点的坐标和色值以及图片中的乘客的数量，其中，表征一个乘客的乘客像素点的坐标和色值形成一个所述乘客对应的一组乘客图像矢量数据。

移动轨迹分析模块403用于对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客，对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据。

其中，确定两组乘客图像矢量数据对应的乘客是否为同一乘客的步骤包括：

将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数。

将两个像素组集合中的像素组进行匹配，当一个像素组集合中的像素组与另一个像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个像素组集合中大于预定比例的像素组均为匹配像素组，则确定来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客，其中，预定匹配关系为两个所述像素组中对应像素点的色值相等。

得到所述乘客的移动轨迹数据的具体执行的步骤包括：

从同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的匹配像素组。

对每个匹配像素组，将匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合来源图片的帧顺序，得到每个匹配像素组反映出的乘客移动方向。

当第二预设个数的匹配像素组反映出的乘客移动方向相同时，根据第二预设个数的匹配像素组反映出的乘客移动方向形成乘客的移动轨迹数据，其中，第二预设个数小于所述第一预设个数。

由于抽取的匹配像素组具有多组，例如当第一预定个数为9时，仅靠一组匹配像素组的移动方向不能准确的反映乘客的移动方向，需要分析9组匹配像素组中有多少匹配像素组反应出乘客的移动方向结果一致，即设定第二预设个数，当第二预定个数在第一预定人数中所占的比重超过一定比例时，才可以得出该乘客移动方向的结论。第二预定个数可根据人们日常生活经验设定，例如在9组匹配像素组中，超过五组匹配像素组反应出的乘客移动方向一致，即第二预设个数为5，既可以判断该名乘客的移动方向为第二预设个数的匹配像素组反应出的乘客移动方向。在得知乘客移动方向后形成乘客移动轨迹数据，乘客移动轨迹数据用于描述每一位乘客的移动方向，从而对公共交通工具的乘客上下车数量进行统计。

统计模块404用于根据车辆编号、站点编号、上下行信息和所有乘客的移动轨迹数据得到公共交通工具所处站点的上下车乘客数统计数据。

样本获取模块405和建模模块406用于构建所述乘客识别模型并进行样本训练，以提高乘客识别模型识别乘客信息的速度和准确度，其中，样本获取模块405用于以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片；例如，针对A城市有8种公交车型，公交运行时段16个小时(早6:00到晚22:00)、每10天一次取样，选取一年约5000张图片作为样本图片。将样本图片信息输入结构化数据处理模块401得到样本结构化数据。

模型构建模块利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据，以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到预设的乘客识别模型。

该系统通过获取公共交通工具开关门时的视频信息，将视频信息发送到中心视频分析器进行分析，利用乘客识别模型识别出乘客的数量以及每一站点的上下车乘客数量。中心视频分析器只需在中心部署一套，公共交通工具仅加装监控控制器以及车门传感器即可，并且现有公共交通工具上的摄像头可以直接利用，在保证对视频进行上下客流分析准确性的同时，降低了部署成本。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件。

Claims (10)

1.基于视频的公共交通工具客流量监测方法，其特征在于，包括：

接收车门传感器检测到的车门开信号或车门关信号，其中，所述车门传感器用于检测公共交通工具的车门开关状态；

在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置，所述视频获取装置用于拍摄所述车门处的影像并形成视频文件；

接收所述视频获取装置发送的所述视频文件；

获取所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息；

从所述视频文件中按照帧顺序获取多帧图片；

将各个所述图片按照像素转化为结构化数据，其中，所述结构化数据包括像素点的坐标和色值；

对于每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客的乘客像素点的坐标和色值以及所述图片中的乘客的数量，其中，表征一个所述乘客的乘客像素点的坐标和色值形成一个所述乘客对应的一组乘客图像矢量数据；

对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客；

对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据；以及

根据所述车辆编号、所述站点编号、所述上下行信息和所有所述乘客的移动轨迹数据得到所述公共交通工具所处站点的上下车乘客数统计数据。

2.根据权利要求1所述的基于视频的公共交通工具客流量监测方法，其特征在于，从所述视频文件中按照帧顺序获取多帧图片的步骤包括：

按照帧顺序，通过视频抽取器将所述视频文件按照每秒2或3帧的图片数量抽取多帧图片。

3.根据权利要求1所述的基于视频的公共交通工具客流量监测方法，其特征在于，将转化后的所述结构化数据输入预设的乘客识别模型的步骤之前，所述方法还包括：

以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片；

将各个所述样本图片按照像素转化为样本结构化数据，其中，所述样本结构化数据包括样本像素点的坐标和色值；

利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据；以及

以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到所述预设的乘客识别模型。

4.根据权利要求1所述的基于视频的公共交通工具客流量监测方法，其特征在于，对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客的步骤包括：

将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数；

将两个所述像素组集合中的像素组进行匹配，当一个所述像素组集合中的像素组与另一个所述像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个所述像素组集合中大于预定比例的像素组均为所述匹配像素组，则确定所述来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客，其中，所述预定匹配关系为两个所述像素组中对应像素点的色值相等。

5.根据权利要求4所述的基于视频的公共交通工具客流量监测方法，其特征在于，对比同一乘客对应的两组乘客图像矢量数据，并结合所述不同图片的帧顺序，得到所述乘客的移动轨迹数据的步骤包括：

从所述同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的所述匹配像素组；

对每个所述匹配像素组，将所述匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合所述来源图片的帧顺序，得到每个所述匹配像素组反映出的乘客移动方向；

当所述第二预设个数的所述匹配像素组反映出的乘客移动方向相同时，根据所述第二预设个数的所述匹配像素组反映出的乘客移动方向形成所述乘客的移动轨迹数据，其中，所述第二预设个数小于所述第一预设个数。

6.根据权利要求1所述的基于视频的公共交通工具客流量监测方法，其特征在于，

在对比来自不同图片的两组乘客图像矢量数据的步骤中，所述不同图片为帧顺序相邻的图片；和/或

在对比同一乘客对应的两组乘客图像矢量数据的步骤中，所述同一乘客对应的两组乘客图像矢量数据来源图片为帧顺序相邻的图片。

7.基于视频的公共交通工具客流量监测系统，其特征在于，包括：

车门传感器，用于检测公共交通工具的车门开关状态，并生成车门开信号或车门关信号；

视频获取装置，用于拍摄所述车门处的影像并形成视频文件；

监控控制器，与所述车门传感器和所述视频获取装置分别相连接，包括处理单元、存储单元和传输单元，其中，所述处理单元用于接收车门传感器检测到的车门开信号或车门关信号，并在接收到所述车门开信号时，发送录制开始指令至视频获取装置，在接收到所述车门关信号时，发送录制结束指令至所述视频获取装置，所述存储单元用于存储所述视频文件，所述传输单元用于将所述视频文件、所述公共交通工具的车辆编号、所述视频文件拍摄时所述公共交通工具所处站点的站点编号和所述公共交通工具的上下行信息传输至中心视频分析器；

中心视频分析器，与所述监控控制器相连接，包括结构化数据处理模块、乘客识别模块、移动轨迹分析模块和统计模块，其中：

所述结构化数据处理模块用于从所述视频文件中按照帧顺序获取多帧图片，将各个所述图片按照像素转化为结构化数据，其中，所述结构化数据包括像素点的坐标和色值；

所述乘客识别模块用于针对每个所述图片，将转化后的所述结构化数据输入预设的乘客识别模型，得到所述图片中表征所述乘客的乘客像素点的坐标和色值以及所述图片中的乘客的数量，其中，表征一个所述乘客的乘客像素点的坐标和色值形成一个所述乘客对应的一组乘客图像矢量数据；

所述移动轨迹分析模块用于对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客，对比同一乘客对应的两组乘客图像矢量数据，并结合所述同一乘客对应的两组乘客图像矢量数据来源图片的帧顺序，得到所述乘客的移动轨迹数据；

所述统计模块用于根据所述车辆编号、所述站点编号、所述上下行信息和所有所述乘客的移动轨迹数据得到所述公共交通工具所处站点的上下车乘客数统计数据。

8.根据权利要求7所述的基于视频的公共交通工具客流量监测系统，其特征在于，所述中心视频分析器还包括样本获取模块和建模模块，其中，

所述样本获取模块用于以公共交通工具型号、季节、时段、气温、天气、节假日和/或路段为筛选条件，选取多帧样本图片；

所述结构化数据处理模块还用于将各个所述样本图片按照像素转化为样本结构化数据，其中，所述样本结构化数据包括样本像素点的坐标和色值；

所述建模模块利用电子手绘板将每帧样本图片中识别的样本乘客标出，并提取出表征各个所述样本乘客的样本乘客像素点的坐标和色值，形成每个所述样本乘客对应的样本乘客图像矢量数据，以各个所述样本图片转化的样本结构化数据为输入，以各个所述样本图片提取出的所述样本乘客图像矢量数据为输出，利用卷积神经网络进行机器学习，得到所述预设的乘客识别模型。

9.根据权利要求7所述的基于视频的公共交通工具客流量监测系统，其特征在于，所述移动轨迹分析模块在对比来自不同图片的两组乘客图像矢量数据，确定所述两组乘客图像矢量数据对应的乘客是否为同一乘客时，具体执行的步骤包括：

将所述来自不同图片的两组乘客图像矢量数据分别进行划分，得到两个像素组集合，每个所述像素组集合包括多个像素组，每个所述像素组包括n*n个像素点，n为大于1的整数；

将两个所述像素组集合中的像素组进行匹配，当一个所述像素组集合中的像素组与另一个所述像素组集合中的像素组满足预定匹配关系时，确定该两个像素组为匹配像素组，当两个所述像素组集合中大于预定比例的像素组均为所述匹配像素组，则确定所述来自不同图片的两组乘客图像矢量数据对应的乘客为同一乘客，其中，所述预定匹配关系为两个所述像素组中对应像素点的色值相等。

10.根据权利要求7所述的基于视频的公共交通工具客流量监测系统，其特征在于，所述移动轨迹分析模块在对比同一乘客对应的两组乘客图像矢量数据，并结合所述不同图片的帧顺序，得到所述乘客的移动轨迹数据时，具体执行的步骤包括：

从所述同一乘客对应的两组乘客图像矢量数据划分得到的两个像素组集合中提取第一预设个数的所述匹配像素组；

对每个所述匹配像素组，将所述匹配像素组的每个像素组分别按照相同的排序方式对n*n个像素点进行排序，对比相同序位像素点的坐标变化，并结合所述来源图片的帧顺序，得到每个所述匹配像素组反映出的乘客移动方向；

当所述第二预设个数的所述匹配像素组反映出的乘客移动方向相同时，根据所述第二预设个数的所述匹配像素组反映出的乘客移动方向形成所述乘客的移动轨迹数据，其中，所述第二预设个数小于所述第一预设个数。