CN102831652A

CN102831652A - 一种基于机器视觉进行通行检测的自动检票装置

Info

Publication number: CN102831652A
Application number: CN2012102975863A
Authority: CN
Inventors: 都思丹; 李杨; 冉晨; 汪琪; 曹昊; 诸宸辰; 刘佳; 赵静
Original assignee: Nanjing University
Current assignee: Nanjing University
Priority date: 2012-08-21
Filing date: 2012-08-21
Publication date: 2012-12-19

Abstract

本发明涉及一种自动检票装置，是一种在轨道交通车站、码头、旅游景点等设置的自动检票装置。超广角摄像机31、32从侧方全面拍摄自动检票装置的检票通道20场景的图像，摄像机33从正上方拍摄检票通道20的俯视图。通行者检测单元可根据以上图像对检票通道内的通行者和物体的位置进行判定并进行跟踪。主控制单元根据通行者检测单元判定的通行者位置和跟踪信息适时控制检票口门13的开闭。由此，本发明提供了一种可以准确追踪通行者位置，无误检测或误判定的、可靠性高的自动检票装置。

Description

一种基于机器视觉进行通行检测的自动检票装置

技术领域

本发明涉及一种自动检票系统，涉及轨道交通车站设置的自动检票装置。

背景技术

目前在轨道交通车站中安装了多种自动检票装置。这些自动检票装置可以接受磁性车票、RFID车票，读取存储在车票中的记录信息，用以判定是否允许持有车票的通行者通过该自动检票装置。若自动检票装置判定通行者不被允许通过，则安装在自动检票装置上的通行控制装置处于关闭状态，阻止通行者通过。通常通行控制装置是一个可以自动开启和关闭的门装置。

若自动检票装置判定通行者被允许通过，则安装在自动检票装置上的通行控制装置开启，允许通行者通过。在通行者通过时，自动检票装置需要感知通行者和判别通行者在通道内的位置。当通行者通过门装置后，自动检票装置应及时关闭门装置，以阻止其他未被许可的通行者通过。

自动检票装置中的通行控制装置目前采用的技术有两类：1.三杆闸门机构，接收到开启信号后，机械锁紧结构解除，可以允许三杆闸门沿着通行方向旋转，其间的空间恰好允许一个人通行，旋转120度后，机械锁紧结构再次锁闭。此类装置友好度不佳，应用受限。2.可自动开启的收折扇形门或翻转矩形门，这一类门装置在接受到开启信号后打开，允许通行者通过，但需要自动检票装置向该门装置发出关闭信号，以阻止其他未被允许通行者通过。

中国专利01108925.3公开了一种自动检票装置，该自动检票装置沿一条长度有最小限制的通道排列，通过分布于通道侧面的若干组传感器感知沿着检票通道行进的通行者，由于传感器形式简单，无法有效地感知通行者及附属行李等物品，存在误检测和误判定。因而该专利所公开的实施例中使用了两组翻转门提高其可靠性。中国专利200410059220.8公开了一种自动检票装置，沿通行方向排列有多个传感器，通过追踪多个传感器组的状态迁移而对人的位置进行实时管理。由此，可以通过这些传感器较为可靠地追踪人的位置。但是这些点状传感器有数量和分布间隔的严格要求，这样使得自动检票装置的体积无法减小。中国专利97117763.5公开了一种自动检票系统，利用分布在通道两侧的多组红外传感器感知和检测通行者。这些系统都没有解决可靠性不够高，装置体积受到传感器数量和分布间隔的限制无法减小的缺点。中国专利200710186609.2公开了一种自动检票系统，该系统设置了摄像机拍摄通过自动检票机通道的通行者。其拍摄的图像仅用于记录和通知用途，对通道内通行者位置的追踪仍然依靠分布在通道两侧的多组红外传感器实现。这些系统都没有解决可靠性不够高，装置体积受传感器数量和分布间隔的限制无法减小的问题。

发明内容

本发明公开了一种自动检票装置，目的在于整体或部分地解决一个或多个上述问题或缺点，以提供至少以下描述的优点：

全部或部分取代以往自动检票装置中，用以感知和判别通行者在通道内的位置的红外传感器。可以使得自动检票装置体积减小，特别是可以减小自动检票装置在通行方向上的长度。

相比于以往自动检票装置，本发明公开的自动检票装置采用彩色图像判定和跟踪通行者在通道内的位置，减小了误检测和误判定，并且可以对检票通道内多个通行者的位置同时进行判定和跟踪。

为了整体或部分实现上述目的，本发明公开了一种自动检票装置，是一种自动检票系统，可以读取通行者所持有的车票介质、控制检票口门的开启和关闭、允许和禁止通行者通过，包含：位于自动检票通道侧方的彩色超广角摄像机，和位于自动检票通道上方彩色摄像机，分别用于从侧方和上方拍摄自动检票装置通道内的图像，用于对通行者或物体进行判定和跟踪；通行者检测单元，在上述两个方向的摄像机拍摄的自动检票装置通道内的静态图像或连续视频中，依据图像中通行者或物体的色彩、形状及尺度大小判定其属性，获取通行者或物体的初步位置参数，将从两方向图像获得的位置参数相结合判定该通行者或物体的属性及准确位置，进而对自动检票装置通道内的通行者或物体进行跟踪，控制检票口门的开启和关闭。实际上，通行者检测单元是一个数字图像处理系统，读取两个方向摄像机拍摄的自动检票通道内的视频图像，在每一帧图像中使用数字图像处理方法依据图像中通行者或物体的颜色、形状及尺度大小标定其属性及位置，通过一个映射规则获得通行者和物体在通道内的实际位置，进而在连续的视频图像中对通行者和物体进行跟踪及预测其运动状态及位置，最终向检票口门发送开启和关闭信号。

自动检票装置通过读取车票介质的信息，可以根据通行者检测单元获得的通行者位置信息在恰当的时刻开启和关闭检票口门。通过这样，自动检票装置可以分辨被许可通行的通行者和未被许可通行的通行者，避免未被许可通行的通行者跟随通行。而且，通过这样，自动检票装置可以识别通行者及其附属的物品，避免在通行者已通过检票口门但其附属的物品尚未通过时关闭检票口门。

并且，在本发明中，即使通道内有多名通行者，也能够对其分别实施追踪、进行判定和定位。即使是在通行者在通道内徘徊等复杂运动的情况下，也能够正确地追踪通行者的位置，所以杜绝了检测到反向进入或第二个通行者进入等误检测的可能性。

并且，在本发明中，自动检票装置的每个彩色图像摄像机还可以包含一个热成像摄像机。在热成像摄像机拍摄的静态图像或连续视频中，通行者检测单元可以准确地从背景中分离通道内的通行者，可以准确地对通道内的通行者进行判定和跟踪。

而且，通行者检测单元可以根据热成像图像和普通彩色图像准确地将尾随的通行者和第一个通行者的附属行李等区分开，从而杜绝了尾随通过的可能性。

此外，在本发明中，自动检票装置的摄像机还可用于日志记录和人工监控。

附图说明结合附图说明详细阅读下列详细说明，可容易地理解本发明的宗旨，附图中有：

图1是表示本发明实施例的自动检票装置的立体图；

图2是自动检票机柜的侧面图；

图3是本发明原理的自动检票装置实施例的正面图；

图4是表示本发明原理的一个自动检票装置实施例的电气框图；

图5是自动检票装置实施例中通行者检测单元的原理框图；

图6是自动检票装置实施例中预处理器的原理框图；

图7是自动检票装置实施例中运动前景提取的原理框图；

图8是自动检票装置实施例中位置预处理器的原理框图；

图9是自动检票装置实施例中通行者检测器的原理框图；

图10是位于自动检票通道上方的摄像机拍摄的通道俯视图；

图11是表示自动检票装置实施例中侧方拍摄图像的几何变换图；

图12是自动检票装置实施例中位置跟踪器的原理框图。

具体实施方式

说明书附图1是表示本发明实施形式中自动检票装置的图。图1是立体图。图1所示自动检票装置中，一对自动检票机柜10可以形成一个检票通道20，彩色图像摄像机31和32位于检票通道侧壁，拍摄检票通道20的包含色彩信息的静态图像或连续视频。由于扇形门的遮挡，一台摄像机无法从侧面全面拍摄整个通道的场景，因而两台超广角摄像机31和32分别布置于扇形门的前后两侧，全面拍摄整个检票通道的图像或连续视频。彩色图像摄像机33位于检票通道20的正上方，拍摄包含检票通道20的俯视视频图像。设置于自动检票机体14内部的通行者检测单元50根据上述图像或视频信息对检票通道内的通行者进行感知和跟踪。11是安装在自动检票机柜10上与非接触式IC卡车票(未图示)之间进行通信的车票读取装置，12是用于表示左侧的检票通道20是否被允许通行的指示灯，13是设置在自动检票机柜10上的扇形门，15是用于显示车票信息的显示装置，16是扇形门关闭时用于防止夹人检测的光电传感器。自动检票装置的电气和门驱动部件设置于自动检票机体14内部。

图2是自动检票机柜的侧面图，除了在扇形门13左右各布置一个超广角摄像机外，在扇形门13两侧又分别布置有若干组光电传感器16。在扇形门13正在关闭时，任意一组光电传感器16被遮挡，可阻止扇形门13的关闭，防止扇形门夹人或物体。图3是该实施例的正面图。

图4是自动检票装置的一个实施例的电气部分框图。在图4所示自动检票装置的实施例中，彩色超广角摄像机31和32位于检票通道20的侧方，全面拍摄包含检票通道20的侧方的视频图像。彩色图像摄像机33位于检票通道20的正上方，拍摄包含检票通道20的俯视视频图像。两台超广角摄像机在安装时与地面平行，以方便后续的建模与图像处理。通行者检测单元50从摄像机输出的彩色信息图像中感知和检测通行者，并对处在检票通道中的通行者跟踪，将通行者的位置信息和跟踪信息发送给主控制单元60。位置信息是指通行者在通道内所处的位置，跟踪信息是指通行者的运动参数和状态信息。

乘客将非接触IC卡车票40放置于车票读取装置11上时，车票读取装置11将读取车票的数据发送给主控制单元60。主控制单元60根据读取的车票数据判断车票权限，并且根据通行者检测单元50发送来的通行者位置信息和跟踪信息向门驱动器62发出开启或关闭的信号。门驱动器62驱动扇形门13的开启或关闭，由马达、马达驱动器及机械传动部件等所构成。传感器16是多对透射型的光电传感器，可以在扇形门13即将关闭时，检测是否有通行者或其附属的行李处于扇形门13的运动范围，防止意外碰撞通行者或其附属的行李物品。网络通信单元61可以允许主控制单元60与上位控制计算机(未图示)通信，用以下载车票数据信息及控制指令信息，也用于上传统计数据。

图5是表示通行者检测单元50工作原理的框图。摄像机33拍摄整个检票通道的俯视图像，摄像机31和32同步拍摄扇门前、后检测通道的视频图像。通过数字化器51转换为数字图像信号。更进一步，如果摄像机31、32和33为数字摄像机，则数字化器51可省略。预处理器52对数字化的视频图像进行预处理(图6所示)。预处理器52对数字化视频图像的预处理包括：a)图像畸变校正520，是以一种基于测试网络的图像卷绕(image warping)算法为基础的几何变换处理得到无畸变图像80。b)运动前景图像提取521，是一种以消去参考背景算法为基础的前景图81的提取处理。

更进一步，运动前景图像提取521分为以下六个步骤(图7所示)：a)将系统启动后前50帧图像平均作为初始背景B₀。b)将当前帧与初始背景进行差分得到差分图，并进行二值化，二值化采用OSTU(大津阈值分割)算法。c)由二值图像D_i(x，y)更新背景图像T_i(x，y)，f_i(x，y)为当前帧灰度图，即当D_i(x，y)为0时，将前一帧背景值B_i-1(x，y)赋予T_i(x，y)；当D_i(x，y)为1时，将当前帧像素值f_i(x，y)赋予T_i(x，y)。d)将T_i(x，y)加权叠加到原背景图像上。e)由当前帧灰度图减去背景灰度图，并设定阈值二值化，初步得到前景掩膜。f)基于图像形态学操作为基础的开闭运算消除掩膜图像的噪声点，并平滑。

图8是表示位置预处理器56工作原理的框图。位置预处理器56的作用是通过预处理器52输出的前景掩膜图像59进行检测及分类，初步从前景掩膜图像中检测出通行者的位置、形状及大小60。位置预处理器56对通行者的识别采用了一种基于连通域分类的识别方法。更进一步，位置预处理器56的处理流程包括：a)连通域的分割，将图像中的运动前景分割为多个分立的连通域。b)连通域的分类识别，通过一种基于分割域面积及形状参数的模式识别方法对连通域的分类识别，确定连通域的类型属于通行者或附属行李物品。c)获取各连通域的位置及形状参数。d)将通行者连通域在图像中的位置与空间实际位置相联系。e)计算通行者连通域在空间中的实际位置及大小尺寸参数60。

图9是表示通行者检测器57工作原理的框图。通行者检测器57的作用是利用预处理器52输出的前景掩膜图像61及位置预处理器56输出的通行者连通域的位置及大小60进一步对连通域进行分类，从俯视运动前景图像中确定出通行者。通行者检测器57对通行者的进一步识别采用了一种基于高度判定的识别算法。更进一步，通行者检测器57的处理流程包括：a)将侧视图像中坐标向空间实际位置转换。b)将侧视图像中的极坐标位置与俯视图像中的二维直角坐标位置相对应。c)由位置预处理器56输出的通行者连通域的位置和大小尺寸60在侧视前景掩膜图像中找出。d)对每个通行者连通域的身高进行寻找，判定位置预处理器56中检测出的通行者连通域为成人、儿童或附属行李物品，得到所有通行者准确的位置及大小参数62。当位置预处理器56输出的通行者连通域的位置位于扇形门前时，则在摄像机31拍摄的图像中进行处理；当位置预处理器56输出的通行者连通域的位置位于扇形门后时，则在摄像机32拍摄的图像中进行处理。更进一步，由于图像是一个连续的视频图像，位置预处理器56和通行者检测器57是对连续视频图像中每一帧进行识别。

图10是表示位于自动检票通道上方的摄像机拍摄的通道俯视图。图10是经过畸变校正和连通域分割的图像。70和71为位置预处理器56得到的代表自动检票通道中两名通行者的连通域，700和710分别为该连通域的质心位置。XOY坐标系为以安装在自动检票机柜10的摄像机31/32光心为坐标原点的直角坐标系，图中还标注了极轴方向与X轴重合、极坐标原点在摄像机31/32光心的极坐标系。图11是将安装在自动检票机柜31/32的摄像机拍摄得到的图像进行一定几何变换后得到的图像，其中θ为图10中描述的极坐标系的极角，Z轴为垂直于地面的坐标轴，其表示物体相对于地面的高度。图10和图11共同描述了将从两方向图像获得的位置参数相结合判定该通行者或物体的属性及准确位置的映射关系和处理过程。

进一步，将从两方向图像获得的位置参数相结合判定该通行者或物体的属性及准确位置的映射关系和处理过程如下：在图10所示的极坐标系和直角坐标系转换关系中，通行者连通域图像70与71的质心位置700和710经几何变换后分别映射到极坐标系中的角度α和β。以此为基础，在变换后的侧方的超广角摄像机拍摄的图像(图11)中，根据角度α和β可以确定分别与其对应的连通域的高度及形状参数，进而可以得到通行者或物体的属性及准确位置。

位置跟踪器58基于通行者检测器57输出的通行者的位置和大小尺寸84，利用俯视图像中每一帧的图像信息对通行者进行跟踪，获得通行者的位置信息和跟踪信息85(图12所示)。详细地说，将前景掩膜83与彩色图像82相乘得到检测通道的彩色前景图像，而后在该图像中利用识别或跟踪得到的通行者的位置和大小尺寸信息84获得通行者在当前帧的位置信息及跟踪信息85。位置信息是指通行者在通道内所处的位置，跟踪信息是指通行者的运动参数和状态信息。这些信息将发送给主控制单元60，主控制单元60向门驱动器62适时发出开启或关闭信号。

在本发明的另一个实施例中，超广角摄像机31和32中还各包含一个热成像摄像机。热成像摄像机根据所摄目标的温度不同成像，所成像用伪彩色标记。一般，热成像摄像机对低温区域采用蓝色表示，高温区域采用红色表示。本实施例中，地面等背景的温度低于人体的温度，在所成像中颜色偏蓝色，而人体所成像偏红色。使用数字化器将热成像摄像机拍摄的热成像转换为数字图像。对所得的数字图像进行进一步预处理包括：a)前景分离；b)噪声滤波。在本实施例中，通行者检测单元50的输入除了彩色图像摄像机输出的彩色图像外，还包括经过预处理的热成像图像。通行者检测器57除了对通行者采用一种基于高度判定的识别方法外，通过热成像图像的阈值分割图可以加快对彩色图像连通域分类识别。

在本发明的另一个实施例中，在检票通道的正前上方还安装一个彩色摄像机。该彩色摄像机用以对检票通道内的场景进行拍摄，其拍摄的彩色静态图像或连续视频可用于日志记录或人工监控。并且此实施例还可以附加一功能，即当检票通道侧面用于检测通行的摄像机拍摄的图像检测到非法通行行为时，立即记录下通道上方彩色摄像机拍摄到的通行场景，用于备案记录；在正常通行时不进行记录，以节省图像存储空间。而且，通行者跟踪单元可以根据热成像图像和普通彩色图像准确地将尾随的通行者和第一个通行者的附属行李等区分开，从而杜绝了尾随通过的可能性。

以上，根据本发明提供了一种可以准确追踪通行者的位置，无误检测或误判定的、可靠性高的自动检票装置。

按照上面的介绍可以对本发明做出许多修改和变形。因此应当理解，在所列的权利要求范围之内，可以对本发明做出与上述不同的实践。

Claims

1.一种自动检票装置，是用于读取车票介质，判定是否允许持有车票介质的通行者通行，控制检票口门的开启和关闭，许可和禁止所述通行者通行的自动检票装置，其特征在于该自动检票装置包括：

位于通道侧方的摄像机，其特征是该摄像机是超广角摄像机，用于从侧方拍摄自动检票装置通道内的静止图像或连续视频，用于对自动检票装置通道内的通行者或物体进行判定和跟踪；

位于通道上方的摄像机，其特征是该摄像机俯视拍摄自动检票装置通道内的静止图像或连续视频，该图像或视频和位于通道侧方的摄像机拍摄的图像或视频共同用于对自动检票装置通道内的通行者或物体进行判定和跟踪；

通行者检测单元，根据上述摄像机拍摄的自动检票装置通道内的静止图像或连续视频，依据所述静止图像或连续视频中通行者或物体的颜色、形状及尺度大小，判定自动检票装置通道内的通行者或物体的属性及获取其位置信息，进而对通行者或物体进行跟踪，并控制检票口门的开启和关闭。

2.根据权利要求1所述的自动检票装置，其特征在于该自动检票装置包括2个或2个以上的位于通道侧方的摄像机。

3.根据权利要求1～2所述的自动检票装置，其特征在于所述图像包含热成像摄像机拍摄的图像。

4.根据权利要求1～3所述的自动检票装置，其特征在于所述自动检票装置还包含一个彩色可见光摄像机用于日志记录或人工监控。

5.根据权利要求1～3所述的自动检票装置，其特征在于所述自动检票装置包含的摄像机可用于日志记录或人工监控。