CN111062335B - 一种基于机器学习的公交客流统计方法 - Google Patents

Abstract

本发明公开了一种基于机器学习的公交客流统计方法，首先在公交车前后车门的原始监控视频中标注出上下车乘客的检测框以及车门开关状态；使用Edge Boxes算法得到若干候选框作为训练样本；训练得到m个根滤波器F1,...Fm；使用RepulsionLoss对Latent‑SVM原有的损失函数进行改进；将所有的训练样本候选框以及m个根滤波器作为输入，得到部件滤波器，最终获得客流检测模型；提取输入的待处理图像的ACF图，将其输入到客流检测模型中，获得公交车上下车乘客检测结果并统计客流。该方法可以实现拥挤场景下的公交客流统计，对上车时具有大幅度动作的人体检测场景仍能保持较高的准确率。

Description

一种基于机器学习的公交客流统计方法

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于机器学习的公交客流统计方法。

背景技术

目前，客流统计对城市公共交通的安全运行意义重大，尤其是公交车，人流量大，线路复杂，有效的统计乘客流动情况对公交公司提升其服务质量和线路规划，保障车辆安全运行是十分必要的，准确了解客流分布可以避免人流拥挤导致的安全事故，并能有效避免某些线路人流过少的情况，优化车辆调度和公交线网，有助于公交管理部门合理规划路线，安排配套设施。

在公交客流统计领域，现有技术的方法一般会基于IC卡数据来设计算法统计客流，但这种方法有着先天性的缺点：很多人并不采取刷卡的方式乘车，其次，很多城市下车时候无需刷卡，导致这部分客流无法统计。因此现有的客流统计方法并不能满足公交客流统计的需求。

发明内容

本发明的目的是提供一种基于机器学习的公交客流统计方法，该方法可以实现拥挤场景下的公交客流统计，对上车时具有大幅度动作的人体检测场景仍能保持较高的准确率，从而实现高效率的公交客流统计。

本发明的目的是通过以下技术方案实现的：

一种基于机器学习的公交客流统计方法，所述方法包括：

步骤1、在公交车前后车门的原始监控视频中标注出上下车乘客的检测框以及车门开关状态，并设置仅当车门打开时在检测框内检测上下车乘客；

步骤2、使用Edge Boxes算法对公交车速为0且车门打开时的每一帧检测框内的图像提取候选区域，得到若干候选框作为训练样本；

步骤3、将各候选框按照设定的组件数m分为m类，记为P1,...Pm，然后从各候选框中提取m类组件的ACF图，用线性SVM对P1,...Pm分别进行训练，得到m个根滤波器F1,...Fm；

步骤4、在模型训练阶段，进一步使用RepulsionLoss对Latent-SVM原有的损失函数进行改进，使之适用于人体重叠场景；

步骤5、将所有的训练样本候选框以及m个根滤波器作为输入，利用步骤4改进后的Latent-SVM算法重新训练模型参数，得到部件滤波器，最终获得一个训练好的客流检测模型；

步骤6、在模型检测阶段，提取输入的待处理图像的ACF图，将提取的ACF图输入到步骤5得到的客流检测模型中，获得公交车上下车乘客检测结果并统计客流。

由上述本发明提供的技术方案可以看出，上述方法可以实现拥挤场景下的公交客流统计，对上车时具有大幅度动作的人体检测场景仍能保持较高的准确率，从而实现高效率的公交客流统计。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的基于机器学习的公交客流统计方法流程示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面将结合附图对本发明实施例作进一步地详细描述。一种基于机器学习的公交客流统计方法，其特征在于，所述方法包括：

步骤1、在公交车前后车门的原始监控视频中标注出上下车乘客的检测框以及车门开关状态，并设置仅当车门打开时在检测框内检测上下车乘客；

在该步骤中，首先可以标注公交车速为0且车门打开的帧图像，仅当这种状态下的车辆才启动客流统计；然后在车辆门口处用检测框标注检测范围，当乘客经过检测框右框线时客流计数加1。

步骤2、使用Edge Boxes算法对公交车速为0且车门打开时的每一帧检测框内的图像提取候选区域，得到若干候选框作为训练样本；

在该步骤中，使用Edge Boxes算法的过程中：

在Edge Boxes算法滑动搜寻的策略下，对于每一个滑动窗口，Edge Boxes根据边缘段的权值统计滑动窗口完全包含的边缘段数量，具体公式为：

其中，b_w，b_h分别是滑动窗口的宽和长；m_i是边缘段的边缘强度；s_i表示第i条边缘线段；w_b是边缘线段的权值，表示边缘线段被滑动窗口包含的程度，取值范围为[0,1]；k是平衡系数，用来平衡不同大小滑窗包含的边缘段数量的差异，研究表明，k＝1.5时效果最好；

对每个滑动窗口计算其得分后，设定分数阈值，过滤低于阈值的分数；然后按照得分进行由高到低排序，将排序靠前的作为候选区域集合。

步骤3、将各候选框按照设定的组件数m分为m类，记为P1,...Pm，然后从各候选框中提取m类组件的ACF图，用线性SVM对P1,...Pm分别进行训练，得到m个根滤波器F1,...Fm；

在该步骤中，具体实现过程为：

首先将各候选框按照长宽比由高到低进行排列，按照设定的组件数m分为m类P1,...,Pm；本实例中，为了适应乘客弯腰抬腿上车与直立行走两种大体形态，m取值为2；

从训练样本候选框中分别提取整个候选框以及头、躯干和四肢六个部件区域的聚合通道特征ACF(Aggregate Channel Features)图，包括三种通道特征：梯度幅值(一通道)、LUV颜色空间(三通道)以及六方向梯度直方图(六通道)，合计10个通道作为特征表示；

然后采用标准线性支持向量机Linear-SVM(LinearSupport Vector Machine)对P1,...,Pm进行分别训练，得到m个根滤波器F1,...,Fm。

步骤4、在模型训练阶段，进一步使用RepulsionLoss对Latent-SVM原有的损失函数进行改进，使之适用于人体重叠场景；

在该步骤中，改进的排斥损失(Repulsion Loss)函数的表达式为：

L＝L_Attr+α*LRepGT+β*L_RepBox′

其中，α、β分别为第二、三个loss项的系数，通过这两个相关系数来平衡两部分损失值，α+β＝1；在本实例中，其取值可以是α＝0.3、β＝0.7，或者α＝0.6、β＝0.4；

第一项L_Attr是吸引项，使得预测框B^P和目标框

尽可能接近，公式表达式为：

其中，

表示所有的正样本；B^P是回归候选目标P的预测框；Smooth_L1为构造吸引项，为每个候选目标P(Proposal)匹配一个与之有最大交并比(Intersection-over-Union，IoU)值的真实目标框，即

第二项L_RepGT是排斥项，使得预测框和真实目标周围的目标框尽可能远离，公式表达式为：

其中，L_RepGT以惩罚预测框B^P和

之间的重叠(Intersection-over-Ground-truth，IoG)来计算；

表示在非目标区域为每个候选目标P(Proposal)匹配一个与之有最大交并比IoU值的排斥目标框，即

Smooth_ln为构造排斥项，定义为：

其中，σ的取值范围为[0，1]，是平滑参数；x为自变量；

第三项L_RepBox是另一个排斥项，使得预测框和周围的其他预测框尽可能远离，公式表达式为：

其中，P_i、Pj分别为第i、j个候选目标；

分别为P_i、P_j的预测框；∈为极小常数；

为恒等函数；

通过三类loss项的引入，不仅使预测框向正确的目标靠近，同时使其远离错误的目标，从而提升在人体重叠情形下的算法鲁棒性。

步骤5、将所有的训练样本候选框以及m个根滤波器作为输入，利用步骤4改进后的Latent-SVM算法重新训练模型参数，得到部件滤波器，最终获得一个训练好的客流检测模型；

在该步骤中，具体过程为：

首先将所有的训练样本候选框以及m个根滤波器作为输入，使用坐标下降算法以及带有特征向量缓存的梯度下降算法，以根的位置与组件的类别作为隐变量，通过改进的Latent-SVM算法重新训练模型参数；

设置部件个数，依次训练F1,...,Fm各个根滤波器中的部件滤波器，得到部件相对于根的空间位置模型以及所有部件位置，得到部件滤波器，最终获得一个训练好的客流检测模型。

具体实现中，为了更加精细的描述人体的头部、手部、躯干和足部的信息，部件个数设置为n＝6。此外，部件滤波器可以在根滤波器2倍分辨率的图像上进行训练，因为分辨率越高，细节越清晰，越能提取部件的特征。

步骤6、在模型检测阶段，提取输入的待处理图像的ACF图，将提取的ACF图输入到步骤5得到的客流检测模型中，获得公交车上下车乘客检测结果并统计客流。

在该步骤中，具体过程为：

首先对于任意一帧输入的待处理图像，使用Edge Boxes算法选取候选框，并提取其ACF图；

然后将图像候选框上采样，提取不同尺度图像的ACF图，得到2倍分辨率的ACF图；

然后将提取的ACF图输入到步骤5中训练好的客流检测模型中，得到根滤波器以及部件滤波器响应；

再将各滤波器的得分进行加权平均，得到最终的响应值，最后将该响应值与预设的阈值进行比较，判断其中是否包含目标，大于阈值即表示其中包含目标，否则不包含；

若包含目标，则当该目标通过检测框的右框线时客流量加1。

具体实现中，可以将提取的ACF图输入到步骤5中训练好的客流检测模型中，对原始图像的ACF特征和训练好的根滤波器做卷积操作，得到根滤波器的响应。此处的卷积操作是两个相同维度向量的点积，在时域下其计算的复杂度为O(n×n)；而在频域中对两向量进行卷积，其复杂度为O(nlgn)。故而使用快速傅里叶变换(FFT)在频域下实现卷积操作，加快算法执行速度；对2倍分辨率的ACF特征和训练好的部件滤波器做卷积操作，从而得到部件滤波器的响应，然后对其进行高斯金字塔下采样操作，使得根滤波器和部件滤波器的响应具有相同的分辨率。

值得注意的是，本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

综上所述，本发明实施例所述方法使用Edge Boxes算法选取目标候选框，有利于提高后续算法执行效率；采用基于DPM模型思想改进的ACF特征，兼具了两种算法的优点：一方面ACF特征弥补了DPM模型特征单一的缺点，采用多种特征描述图像，使检测结果更加准确；另一方面，DPM模型对人体上下车时候的不同人体姿态适应性较好，有利于追踪乘客位置，提高检测准确率。同时在模型训练阶段，本方法采用基于Repulsion Loss改进的Latent-SVM算法可以有效解决目标重叠、粘连的问题，进一步地提高模型检测准确率。

由此可见，本申请所述方法具有较高的商业实用价值，能够较为准确地实现公交监控视频的客流统计，这在广大的公共交通市场具有较高的推广价值；此外，本方法还可推广到任意人流密集的区域，如车站、商场、机场等需要监控人流量的场所。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (5)

1.一种基于机器学习的公交客流统计方法，其特征在于，所述方法包括：

步骤1、在公交车前后车门的原始监控视频中标注出上下车乘客的检测框以及车门开关状态，并设置仅当车门打开时在检测框内检测上下车乘客；

步骤2、使用Edge Boxes算法对公交车速为0且车门打开时的每一帧检测框内的图像提取候选区域，得到若干候选框作为训练样本；

步骤3、首先将各候选框按照长宽比由高到低进行排列，按照设定的组件数m分为m类P1,...,Pm；

从训练样本候选框中分别提取整个候选框以及头、躯干和四肢六个部件区域的聚合通道特征ACF图，包括三种通道特征：梯度幅值、LUV颜色空间以及六方向梯度直方图；

然后采用标准线性支持向量机Linear-SVM对P1,...,Pm进行分别训练，得到m个根滤波器F1,...,Fm；

步骤4、在模型训练阶段，进一步使用RepulsionLoss对Latent-SVM原有的损失函数进行改进，使之适用于人体重叠场景；

步骤5、将所有的训练样本候选框以及m个根滤波器作为输入，利用步骤4改进后的Latent-SVM算法重新训练模型参数，得到部件滤波器，最终获得一个训练好的客流检测模型；

步骤6、在模型检测阶段，提取输入的待处理图像的聚合通道特征ACF图，将提取的聚合通道特征ACF图输入到步骤5得到的客流检测模型中，获得公交车上下车乘客检测结果并统计客流。

2.根据权利要求1所述基于机器学习的公交客流统计方法，其特征在于，在步骤2使用Edge Boxes算法的过程中：

在滑动搜寻策略下，对于每一个滑动窗口，根据边缘段的权值统计滑动窗口完全包含的边缘段数量，具体公式为：

其中，b_w，b_h分别是滑动窗口的宽和长；m_i是边缘段的边缘强度；s_i表示第i条边缘线段；w_b是边缘线段的权值，表示边缘线段被滑动窗口包含的程度，取值范围为[0，1]；k是平衡系数，用来平衡不同大小滑窗包含的边缘段数量的差异；

对每个滑动窗口计算其得分后，设定分数阈值，过滤低于阈值的分数；然后按照得分进行由高到低排序，将排序靠前的作为候选区域集合。

3.根据权利要求1所述基于机器学习的公交客流统计方法，其特征在于，在步骤4中，改进的排斥损失函数的表达式为：

L＝L_Attr+α*L_RepGT+β*L_RepBox

其中，α、β分别为第二、三个loss项的系数，通过这两个相关系数来平衡两部分损失值，α+β＝1；

第一项L_Attr是吸引项，使得预测框B^P和目标框

尽可能接近，公式表达式为：

其中，

表示所有的正样本；B^P是回归候选目标P的预测框；Smooth_L1为构造吸引项，为每个候选目标P匹配一个与之有最大交并比IoU值的真实目标框，即

第二项L_RepGT是排斥项，使得预测框和真实目标周围的目标框尽可能远离，公式表达式为：

其中，L_RepGT以惩罚预测框B^P和

之间的重叠IoG来计算；

表示在非目标区域为每个候选目标P匹配一个与之有最大交并比IoU值的排斥目标框，即

Smooth_ln为构造排斥项，定义为：

其中，σ的取值范围为[0，1]，是平滑参数；x为自变量；

第三项L_RepBox是另一个排斥项，使得预测框和周围的其他预测框尽可能远离，公式表达式为：

其中，P_i、P_j分别为第i、j个候选目标；

分别为P_i、P_j的预测框；∈为极小常数；

为恒等函数；

通过三类loss项的引入，不仅使预测框向正确的目标靠近，同时使其远离错误的目标，从而提升在人体重叠情形下的算法鲁棒性。

4.根据权利要求1所述基于机器学习的公交客流统计方法，其特征在于，所述步骤5的过程具体为：

将所有的训练样本候选框以及m个根滤波器作为输入，使用坐标下降算法以及带有特征向量缓存的梯度下降算法，以根的位置与组件的类别作为隐变量，通过改进的Latent-SVM算法重新训练模型参数；

设置部件个数，依次训练F1，...，Fm各个根滤波器中的部件滤波器，得到部件相对于根的空间位置模型以及所有部件位置，得到部件滤波器，最终获得一个训练好的客流检测模型。

5.根据权利要求1所述基于机器学习的公交客流统计方法，其特征在于，所述步骤6的过程具体为：

对于任意一帧输入的待处理图像，使用Edge Boxes算法选取候选框，并提取其聚合通道特征ACF图；

然后将图像候选框上采样，提取不同尺度图像的聚合通道特征ACF图，得到2倍分辨率的聚合通道特征ACF图；

然后将提取的聚合通道特征ACF图输入到步骤5中训练好的客流检测模型中，得到根滤波器以及部件滤波器响应；

再将各滤波器的得分进行加权平均，得到最终的响应值，最后将该响应值与预设的阈值进行比较，判断其中是否包含目标；

若包含目标，则当该目标通过检测框的右框线时客流量加1。

Images