CN106447862A - 一种基于计算机视觉技术的智能闸机验票方法 - Google Patents

Abstract

本发明是一种基于图像处理的闸机处乘客进入方向的检测方法，可准确检测出乘客是否插入票据和准备通过的通道，并将相应信号发送到闸机控制系统，以正确开启通道；所使用的双边通道闸机，能提供左右两个通道，乘客插入交通卡后可以从左右两侧通过。与传统的方法相比，本发明提供的方法新颖，准确率高，设备操作简单；使用的闸机能有效提高设备使用率，降低总成本。

Description

一种基于计算机视觉技术的智能闸机验票方法

技术领域

本发明涉及图像处理领域，尤其是涉及轨道交通自动售检票系统中的一种基于计算机视觉技术的智能闸机验票方法。

背景技术

随着城市轨道交通的快速发展，自动售检票系统的作用变得越来越重要。闸机是城市轨道交通的自动售检票系统中的关键设备之一，它利用其内部的智能识别系统对乘客的行为进行识别，从而实现自动检票。

目前市场上使用的闸机，大多数都只提供单边通道，即插入交通卡后只能从闸机的一侧通过，乘客容易误入未开启通道测，影响乘客顺利通过，造成设备使用效率低。

发明内容

本发明的目的是提供一种基于图像处理的双边通道闸机，可准确检测出乘客是否插入票据和准备通过的通道，并将相应信号发送到闸机控制系统，以正确开启通道。

为了实现本发明的目的，提出以下技术方案：

一种基于计算机视觉技术的智能闸机验票方法，该方法包括建立背景和票据模型以用于乘客和票据的检测的背景和票据模型建立阶段和包括乘客和票据检测以及闸机通道判断过程的闸机通道判断阶段，其中，

所述背景和票据模型建立阶段包括步骤：

1）使用置于闸机上方的摄像头拍摄固定状态下的背景并记录下来，计算它们的平均值；

2）多次拍摄并记录票据弹出后的状态，根据票据弹出后所在位置和正反面信息，截出拍摄的所有的票据状态的截图，并逐像素计算它们的平均值，分别得到正反面的平均票据状态；

所述闸机通道判断阶段包括步骤：

3）拍摄乘客插入和拔出票据的图像，并根据在步骤2）学习得到的票据位置信息，在读入的乘客图像帧中截出票据候选区域，计算其直方图信息，并分别与正反面的平均票据模型进行相似度计算，并记录较大的相似度值，假设为 ；

4）进一步将票据候选区域转换为灰度图，并分别于正反面的平均票据进行归一化互相关系数，并记录较大的相关系数，假设为；

5）分别给和赋予一定权值，分别为和，其中，并计算的值，如果大于一定的门限值，则认为该候选区域为有效的票据区域，并将整帧图像保存；否则丢弃；

6）对接下来读取的每一帧图像重复3-5的步骤，直到候选区域不再为有效的票据区域，则转到步骤7），否则仍然重复3-5的步骤；

7）将保存的图像帧分别与背景图像相减，得到差分图像，之后对进行阈值分割，得到二值图像，对进行形态学腐蚀操作，消除毛刺和噪声，得到了前景轮廓图像，图像中包含了乘客的轮廓信息，用乘客轮廓在图像中的左右位置信息作为当前帧所判断得到的左右通道信息，并记录保存；

8）将所有保存的图像帧按照步骤7进行计算得到所有左右通道信息进行比较，若记录的左侧次数多，则认为该乘客应该从左侧通道通过，将左侧信号发送到闸机控制系统；否则将右侧信号发送到闸机控制系统。

在步骤2），为了提高鲁棒性，消除由于光照不同带来的问题，需要隔一段时间学习背景状态；采用高斯背景建模的方式更新背景状态，抵消噪声带来的影响。

在步骤3），通过计算所述背景和票据的平均值和得到平均的背景和票据模型，计算背景和票据平均值的公式如下：

其中为保存的背景图像数量，为第个背景图像；为保存的票据图像数量，为第个票据图像，所述票据模型包括正面和反面两个模型。

在步骤5），为了提高闸机通道判断的鲁棒性，其判断过程设置为后向判定的过程。即先判断图像帧中是否有票据存在，如果存在则保存图像帧，并持续读入下一个图像帧，直到没有检测到票据；之后对保存的图像帧进行统计判定是否为左通道或者右通道。

所述的相似度计算公式如下：

其中为像素值，为最大像素值（本例中取255），和分别为票据区域和平均票据的归一化的直方图信息；

所述的计算公式如下：

其中为像素点坐标值，分别表示票据区域的宽和高，为票据区域在坐标点 的像素值，为的像素平均值，为票据模型在坐标点 的像素值，为的像素平均值。

在步骤5），规定门限值为0.5，即当票据大于1/2的部位出现在票据区域时，该候选区域为有效的票据区域。

所述步骤7）对进行阈值分割，阈值设定为差分图像的最大像素值的0.9，大于该阈值的设定为255，低于该阈值则设定为0，得到二值图像。

所述步骤7）乘客轮廓在图像中的左右位置信息判断方法为：

找到插入票据的乘客所有轮廓的纵坐标最小的点，且将该点的横坐标值与图像中心点的横坐标值相比较，若前者比后者大，则该点在左侧；否则，认为该点在右侧；如果该点位于图像左侧，则本次判断结果为乘客在左侧，左侧通道计数加1，否则为右侧通道计数加1；将所有保存的帧都按该过程判断，最后得到左右通道计数，大者所指代的方向即认为本次乘客拟通行通道方向。

本发明基于图像处理的闸机人流方向检测方法可准确检测出乘客是否插入票据和准备通过的通道，并将相应信号发送到闸机控制系统，以正确开启通道；所使用的双边通道闸机，能提供左右两个通道，乘客插入交通卡后可以从左右两侧通过。

与传统的方法相比，本发明提供的方法新颖，准确率高，设备操作简单；使用的闸机能有效提高设备使用率，降低总成本。

附图说明

图1是基于计算机视觉技术的智能闸机验票方法整体流程示意图；

图2是背景和票据模型建立阶段流程示意图；

图3是闸机通道判断阶段示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合附图和具体实施例，对本发明进一步详细说明。

本发明提出一种基于计算机视觉技术的智能闸机验票方法，需要将摄像头置于闸机正上方中间位置，以拍摄乘客插入和拔出票据或者票据的行为，以此确定闸机需要放行的通道（左或右）。

如图1所示，本发明提出一种基于计算机视觉技术的智能闸机验票方法包括两大步骤：

S01 背景和票据模型建立阶段，建立背景和票据模型以用于乘客和票据的检测。

S02 闸机通道判断阶段，包括乘客和票据检测以及闸机通道判断过程。

下面结合附图2和3，分别对以上两个阶段进行详细说明。

（1）背景和票据模型建立阶段

该阶段是在闸机通道判断阶段之前需要做的准备工作，目的是建立背景和票据模型以用于乘客和票据的检测。该阶段的算法流程如图2所示。为了使建立的模型更加精确，拍摄时的背景和票据应尽可能接近实际使用环境，同时光照条件不能有剧烈的变化。拍摄的背景内容是固定的，不会随时间的变化而移动。另外在拍摄票据时，不能遮挡票据，否则会使得票据模型误差较大。该阶段首先读入视频图像，对于背景图像可直接将图像整体保存；对于票据图像，则需预先标定票据可能出现的位置和大小，当图像中存在票据，且无遮挡时，可手动保存票据区域。当保存的背景和票据图像都达到指定的数量时，可结束保存，并分别计算背景和票据的平均值和，即得到平均的背景和票据模型。计算背景和票据平均值的公式如下：

其中为保存的背景图像数量，为第个背景图像；为保存的票据图像数量，为第个票据图像。

最后将背景和票据模型保存，以供闸机通道判断阶段使用。需要说明的是，票据模型包括正面和反面两个模型。

（2）闸机通道判断阶段

该阶段在阶段（1）的基础上检测出乘客和票据，并根据乘客和票据的状态计算出乘客拟通行的通道，最后发出该信号。为了提高闸机通道判断的鲁棒性，其判断过程设置为后向判定的过程。即先判断图像帧中是否有票据存在，如果存在则保存图像帧，并持续读入下一个图像帧，直到没有检测到票据。之后对保存的图像帧进行统计判定是否为左通道或者右通道。该阶段算法流程如图3所示。

a.首先读入图像，根据标定的票据区域（假设为），检测该位置是否存在票据。当存在票据时，保存整帧图像。之后读入下一帧图像并重复此步骤，直到无法检测到票据为止。判断票据是否存在的方法如下：

首先计算其直方图信息，并分别与正反面的平均票据（假设为）进行相似度计算，并记录较大的相似度值，假设为。相似度计算公式如下：

其中为像素值，为最大像素值（本例中取255），和分别为票据区域和平均票据的归一化的直方图信息。

其次，为了减少外界光照对票面颜色带来的成像质量的影响，并减少计算量，需将票据区域转换为灰度图，并分别计算正反面的平均票据进行归一化互相关系数，并记录较大的相关系数，假设为，计算公式如下：

其中为像素点坐标值，分别表示票据区域的宽和高， 为票据区域在坐标点 的像素值，为的像素平均值，为票据模型在坐标点 的像素值，为的像素平均值。

为了使我们的相似度计算更加鲁棒，需综合直方图相似度和归一化互相关系数的值，以此来确定目标区域是否为票据。因此分别给和赋予一定权值，分别为和，其中。并计算的值，如果大于一定的门限值，则认为该候选区域为有效的票据区域，并将整帧图像保存；否则丢弃。其中的最大值为1.0，且仅当票据整体出现在票据区域时的取值最大。由于规定只有当票据大于1/2的部位出现在票据区域时，我们才认为该票据是有效票据，因此可设定门限值为0.5。

b.当无法再连续检测到票据时，判断是否已经保存了图像帧，若无，则读入下一帧图像；否则进入通道判断过程。

c.在通道判断过程中，首先要检测乘客轮廓，方法是保存的图像帧分别与背景图像相减，得到差分图像，之后对 进行阈值分割（在我们的实例中，阈值设定为差分图像的最大像素值的0.9，大于该阈值的设定为255，低于该阈值则设定为0），得到二值图像，对进行形态学腐蚀操作，消除毛刺和噪声，这样就得到了前景轮廓图像，该图像中包含了乘客的轮廓信息。由于我们观察到插入票据的乘客在图像中显示的位置靠前，且更靠近图像顶部，即在图像坐标系中的纵坐标值较小，因此找到所有轮廓的纵坐标最小的点，且将该点的横坐标值与图像中心点的横坐标值相比较。若前者比后者大，则该点在左侧；否则，认为该点在右侧。如果该点位于图像左侧，则本次判断结果为乘客在左侧，左侧通道计数加1；否则为右侧通道计数加1。

d.将所有保存的帧都按c过程判断，最后得到左右通道计数，大者所指代的方向即认为本次乘客拟通行通道方向。

e.进入过程a进行下一次票据检测和通道判断过程。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于计算机视觉技术的智能闸机验票方法，其特征在于该方法包括建立背景和票据模型以用于乘客和票据的检测的背景和票据模型建立阶段和包括乘客和票据检测以及闸机通道判断过程的闸机通道判断阶段，其中，

所述背景和票据模型建立阶段包括步骤：

1）使用置于闸机上方的摄像头拍摄固定状态下的背景并记录下来，计算它们的平均值；

2）多次拍摄并记录票据弹出后的状态，根据票据弹出后所在位置和正反面信息，截出拍摄的所有的票据状态的截图，并逐像素计算它们的平均值，分别得到正反面的平均票据状态；

所述闸机通道判断阶段包括步骤：

3）拍摄乘客插入和拔出票据的图像，并根据在步骤2）学习得到的票据位置信息，在读入的乘客图像帧中截出票据候选区域，计算其直方图信息，并分别与正反面的平均票据模型进行相似度计算，并记录较大的相似度值，假设为；

4）进一步将票据候选区域转换为灰度图，并分别于正反面的平均票据进行归一化互相关系数，并记录较大的相关系数，假设为；

5）分别给和赋予一定权值，分别为和，其中，并计算的值，如果大于一定的门限值，则认为该候选区域为有效的票据区域，并将整帧图像保存；否则丢弃；

6）对接下来读取的每一帧图像重复3-5的步骤，直到候选区域不再为有效的票据区域，则转到步骤7），否则仍然重复3-5的步骤；

7）将保存的图像帧分别与背景图像相减，得到差分图像，之后对进行阈值分割，得到二值图像，对进行形态学腐蚀操作，消除毛刺和噪声，得到了前景轮廓图像，图像中包含了乘客的轮廓信息，用乘客轮廓在图像中的左右位置信息作为当前帧所判断得到的左右通道信息，并记录保存；

8）将所有保存的图像帧按照步骤7进行计算得到所有左右通道信息进行比较，若记录的左侧次数多，则认为该乘客应该从左侧通道通过，将左侧信号发送到闸机控制系统；否则将右侧信号发送到闸机控制系统。

2.根据权利要求1所述的智能闸机验票方法，其特征在于，在步骤2）为了提高鲁棒性，消除由于光照不同带来的问题，需要隔一段时间学习背景状态；采用高斯背景建模的方式更新背景状态，抵消噪声带来的影响。

3.根据权利要求2所述的智能闸机验票方法，其特征在于，在步骤2），通过计算所述背景和票据的平均值和得到平均的背景和票据模型，计算背景和票据平均值的公式如下：

其中为保存的背景图像数量，为第个背景图像；为保存的票据图像数量，为第个票据图像，所述票据模型包括正面和反面两个模型。

4.根据权利要求3所述的智能闸机验票方法，其特征在于，在步骤6-8）为了提高闸机通道判断的鲁棒性，其判断过程设置为后向判定的过程；即先判断图像帧中是否有票据存在，如果存在则保存图像帧，并持续读入下一个图像帧，直到没有检测到票据；之后对保存的图像帧进行统计判定是否为左通道或者右通道。

5.根据权利要求4所述的智能闸机验票方法，其特征在于，所述的相似度计算公式如下：

其中为像素值，为最大像素值（本例中取255），和分别为票据区域和平均票据的归一化的直方图信息；

所述的计算公式如下：

其中为像素点坐标值，分别表示票据区域的宽和高，为票据区域在坐标点 的像素值，为的像素平均值，为票据模型在坐标点 的像素值，为的像素平均值。

6.根据权利要求5所述的智能闸机验票方法，其特征在于，在步骤5），规定门限值为0.5，即当票据大于1/2的部位出现在票据区域时，该候选区域为有效的票据区域。

7.根据权利要求6所述的智能闸机验票方法，其特征在于，所述步骤7）对进行阈值分割，阈值设定为差分图像的最大像素值的0.9，大于该阈值的设定为255，低于该阈值则设定为0，得到二值图像。

8.根据权利要求7所述的智能闸机验票方法，其特征在于，所述步骤7）乘客轮廓在图像中的左右位置信息判断方法为：

找到插入票据的乘客所有轮廓的纵坐标最小的点，且将该点的横坐标值与图像中心点的横坐标值相比较，若前者比后者大，则该点在左侧；否则，认为该点在右侧；如果该点位于图像左侧，则本次判断结果为乘客在左侧，左侧通道计数加1，否则为右侧通道计数加1；将所有保存的帧都按该过程判断，最后得到左右通道计数，大者所指代的方向即认为本次乘客拟通行通道方向。