CN110569819A

CN110569819A - 一种公交车乘客再识别方法

Info

Publication number: CN110569819A
Application number: CN201910869467.2A
Authority: CN
Inventors: 潘博阳; 高珊华; 李汉臣; 王鹏
Original assignee: Tianjin Card Intelligent Network Polytron Technologies Inc
Current assignee: Tianjin Card Intelligent Network Polytron Technologies Inc
Priority date: 2019-09-16
Filing date: 2019-09-16
Publication date: 2019-12-13

Abstract

本发明涉及一种公交车乘客再识别方法。所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，识别方法包括以下步骤：检测乘客的人头和肩部区域；检测乘客的人头和肩部关键点位置；对公交车前门、后门的乘客进行识别；本发明相对于现有技术的进步在于：本发明方法具有实时性，且能够高效精确地区分出前门、后门的乘客是否为同一个人。

Description

一种公交车乘客再识别方法

技术领域：

本发明涉及数字图像处理和识别领域，尤其是涉及一种公交乘客再方法。

背景技术：

近几年，随着政府对智能公交事业投入力度的加大，我国智能公共交通系统已初现端倪，公交乘客再识别系统是公共交通系统的重要组成部分，此系统能给公交公司提供实时、清楚、准确的乘客交通统计数据，以此带来经济和社会效益。

传统的公交乘客再识别系统主要采用经典的机器学习方法对图像数据进行公交乘客再识别。在客流拥挤时识别的精度明显下降，所以基于经典的机器学习的乘客再识别方法逐渐地被摒弃。近几年来，随着大数据、人工智能、GPU并行计算等领域的不断发展，基于深度学习的乘客再识别技术也取得了长足的进步。在公交领域中乘客再识别是一个重要的应用领域，也是一个新的研究方向。

近年来公交领域的乘客再识别的方法主要基于经典的机器学习和深度学习技术。前一种方法多是采用诸如adaboost、svm、random forest等传统的机器学习算法对乘客进行识别，但是由于算法的本身的缺陷导致准确性有待提高，本发明采用的是最新的深度学习技术进行乘客再识别，算法的准确性和效率都得到有效的提高。

发明内容：

本发明目的是提供一种利用视频图像对乘客进行再识别的方法。这种方法能够高效精确地识别前门和后门的乘客是否为同一个人。具体技术方案如下：

所述方法的视频数据是利用摄像头从公交车前门、后门的顶部区域所拍摄的客流视频数据，具体的方法包括以下步骤：

步骤1：乘客人头和肩部目标检测：

步骤1.1:在公交车车门上方设置摄像头，采集乘客上下车的图像视频；

步骤1.2:将获得的图像视频帧转化为RGB格式；

步骤1.3：采集上、下车的乘客视频作为训练乘客头部检测模型的数据集，对每一帧图像标定乘客的头部位置并将其视为检测模型的正样本图像数据集，将所述视频帧不含乘客头部的区域视为训练检测模型的负样本训练图像数据集，将所述的正样本训练图像数据集和负样本训练图像数据集进行图像尺度归一化处理，形成相同大小的训练输入图像；

步骤1.4：使用采集的乘客头部数据集并采用轻量型的卷积神经网络进行训练，主要使用5x5的深度可分离卷积和1x1的点对卷积，搭建深度学习网络，使用多层feature map进行分类和回归，使用交叉熵损失函数进行分类，IOU损失函数进行回归，得到乘客头部检测模型；

步骤1.5：实际使用时输入采集的图像序列，输出图像中的乘客人头的位置和置信度；

步骤1.6：根据肩部在头部两侧的先验知识，将头部区域向外扩充边界，得到乘客头部和肩部的位置信息；

步骤2：乘客头部和肩部关键点检测：

步骤2.1：采集乘客的人头和肩部的图像数据，对乘客的头部的最左边和最右边、左肩的最左边、右肩的最右边画点进行标注，共4个关键点，将标注的关键点和图像作为训练集；

步骤2.2：采用基于回归算法的深度卷积网络对乘客的人头和肩部进行训练，将训练数据集经过深度神经网络转化成特征向量,然后再分成两个分支分别预测每个点的关键点置信度和亲和度向量，将关键点进行聚类，最终得到乘客头部检测模型；

步骤2.3：实际使用时输入检测到的头部和肩部的图像，输出为乘客人头和肩部的关键点位置；

步骤3：乘客再识别：

步骤3.1：收集前门和后门的乘客的头部和肩部图像数据，为每组数据标定对应的摄像头标签和乘客标签；

步骤3.2：采用基于分类算法的深度卷积网络对用乘客人头和肩部数据进行训练，利用图像和关键点信息将输入图像分割为不相同的三部分区域，使用卷积核大小为5x5和1x1的卷积层搭建的深度神经网络提取特征向量，得到头部和肩部的全局特征，以及头部和两肩部的局部特征，将全局特征和局部特征联合起来进行特征比对，使用交叉熵损失函数进行分类，使用batch hard triplets损失函数特减小类内间隔，增大类间间隔，最终得到乘客再识别模型；

步骤3.3：实际使用时输入检测到的头部和肩部的图像和关键点位置信息，输出为乘客头部和肩部的特征向量

步骤3.4：使用乘客再识别模型计算前门和后门每位乘客的头部和肩部图像的特征向量，将后门下车的每个乘客与前门上车的每个乘客的特征向量进行比对，得到距离最小值的特征向量所对应的标签即为所对应的前门乘客。

优选方案，在步骤3后，还包括：

步骤4：乘客再识别数据上传阶段：

将后门下车的每位乘客上车、下车的信息上传云端，进行数据分析。

本发明相对于现有技术的进步在于：

(一)本发明乘客再识别方法具有实时性，且能够高效精确地对前门、后门乘客进行再识别。

(二)进行乘客再识别时，采用卷积神经网络，根据关键点将图像沿着宽度方向进行分割，得到头部区域和肩部区域，通过计算图像的全局特征以及局部的头部、两肩部特征，将所有特征向量联合后的特征向量进行特征比对，该方法能有效的提高乘客再识别的准确率。

附图说明：

图1为本专利的公交车乘客再识别方法的流程示意图。

具体实施方式：

实施例：

在公交停靠在站台时，前门、后门打开，使用摄像头采集上车和下车的乘客视频帧，软件系统部署在rk3399上，将每帧的图像缩放到320x320后进行头部和肩部区域检测，输出乘客的头部和肩部区域在图像上的检测框，以及头部最左以及最右的位置，左肩最左，右肩最右的位置，检测算法模型大小约为200Kb，耗时20ms，然后根据检测框从图像中抠出乘客的头部和肩部区域使用训练好的乘客再识别模型计算256维特征向量，乘客再识别模型大小约为100Kb，耗时15ms，计算完该站前后门以及之前站所有前门上车乘客的256维特征向量之后，将后门每个下车乘客的特征向量与前门所有上车乘客的特征向量进行比对，所得距离最小的特征向量对应的ID即为上车乘客，然后删除该下车乘客的特征向量，所有特征比对完成之后，将乘客上下车的信息上传云端供后续大数据分析。

Claims

1.一种公交车乘客再识别方法，其特征在于，识别方法包括如下过程：

步骤1：乘客人头和肩部目标检测：

步骤1.2:对获得的图像视频帧转化为RGB格式；

步骤1.4：使用采集的乘客头部数据集并采用轻量型的卷积神经网络进行训练，得到乘客头部检测模型；

步骤2：乘客头部和肩部关键点检测：

步骤2.2：采用基于回归算法的深度卷积网络对乘客的人头和肩部进行训练，得到乘客头部检测模型；

步骤3：乘客再识别：

步骤3.2：采用基于分类算法的深度卷积网络对用乘客人头和肩部数据进行训练，得到乘客再识别模型；

步骤3.3：实际使用时输入检测到的头部和肩部的图像和关键点位置信息，输出为乘客头部和肩部的特征向量；

2.根据权利要求1所述一种公交车乘客再识别方法，其特征在于，在步骤3后，还包括：步骤4：乘客再识别数据上传阶段：将后门下车的每位乘客上车、下车的信息上传云端，进行数据分析。