CN104794443B - 一种基于图像处理的自助存取款机实时人数检测方法 - Google Patents

Abstract

本发明公开了一种基于图像处理的自助存取款机实时人数检测方法，首先采用一种限制对比度自适应局部直方图均衡化方法，获取清晰的局部特征，再配合基于局部信息的类哈尔特征训练的分类器，获取较好结果。对于结果中的误检和漏检，提出一种时间轴滤波方法，可以使误检率从20%减少到5%，漏检率也可降低到5%以下。

Description

一种基于图像处理的自助存取款机实时人数检测方法

技术领域

本发明涉及视频监控领域，尤其涉及一种基于图像处理的自助存取款机实时人数检测方法。

背景技术

近年来，随着人们的消费节奏越来越快，分布于城市大街小巷的自助存取款机越来越多，而这些数量巨大的自助存取款机没人24小时看守，必然容易成为劫持抢劫的目标。虽然为了保障个人在自助存取款机上操作时的安全，大多银行为自助存取款机增加了防护窗、视频监控等安保设施，但是这些设施都不够完善，难实时通知保安及银行工作人员，特别晚上发生的劫持案件。现有的防护窗、视频监控系统，把防护窗内有两个以上人员的可疑视频调取到监控中心大屏，起到实时监视、预防犯罪的作用。该方法同样适用于空间大小有限，且监控摄影头安装位置高于人头的非银行一般场景，比如垂直升降机清点人数，防止人员过多。

基于监控视频中人头的人数清点，主要通过检测图像中人头的细节特征分辨人头，而现有监控系统获取的图像往往清晰度不高，细节丢失严重。

在安保领域，被动式的人数清点是一种有力的手段，主要方式有卡口红外线对射及图像处理两种方式。其中图像处理又分为检测头部肩部（摄影头斜角度安装）和检测头顶部（摄影头正上方安装）两种方式。头部肩部模型采用对头部和肩部的轮廓进行处理，头顶模型仅仅采用头顶部特征进行处理。图像处理虽然分头肩和头顶两种模型，但是方法基本相同，主要分三类。第一类采用轮廓特征方式，第二类采用三维信息比较方式，第三类采用特征统计方式。

首先，采用卡口红外线对射方式只能处理一次进单个人的场景，当出现两人并列，或者两人前后紧靠劫持时，往往会判断为一个人，本质上讲这方法不可用于判断自助存取款机防护窗内进入的是一个人还是多个人。

其次，头肩模型采集视频图像时需要一定倾斜角度，这也决定了当人员拥挤时会出现人员之间的肩部遮挡，无法提取到合适的肩部轮廓，所以摄影头安装在头顶时，人头模式才是受干扰最小的人数清点方式。

人头清点现也有几种方式：

第一类、采用轮廓，该方法只采用边缘信息。一般先采用Canny算子提取边缘，再通过Hough变换算子拟合轮廓。由于特征数量不够多，所以从复杂的图案中分别出头部和肩部轮廓比较困难，容易被干扰，识别率偏低。

第二类、采用三维信息，因为人头在三维信息分布图中处于极值位置，提取方便，但是由于存在局部极值，且方案不能采用现有监控设备，更新起来昂贵，不适合推广。

第三类、基于巨量特征降维训练成分类器的方法，具体讲先计算选定的所有特征，形成巨量的特征数量，之后采用学习的方法，得到一定量的特征分类器，从而对目标进行分类。现在使用较多的是ADABOOST和SVM，检测中不可避免出现漏检和误检，传统的方式是采用复杂的目标跟踪方法进行优化，但是如果出现类人头目标，跟踪方式并不能减少误检率，甚至增加误检率。

发明内容

针对上述技术问题，本发明提出一种基于图像处理的自助存取款机实时人数检测方法。

为了解决上述技术缺陷，本发明的技术方案如下：

一种基于图像处理的自助存取款机实时人数检测方法，包括如下步骤：

11）提取实时监控图像作为待处理图像；

12）对该图像进行局部自适应直方图均衡处理；

13）基于局部信息特征的分类器检测人头。

进一步的，对步骤13）检测到的人头，通过视频相邻帧附近搜寻方法，计算人头的重叠率；并通过时间轴滤波方法，滤除孤立的噪声点，平滑短时间的目标误检和漏检。

进一步的，局部自适应直方图均衡处理包括对待处理图像分块处理，优化局部对比度，形成局部信息最优；同时进行对比度限幅，对限幅后的图像进行均衡，把全幅图像中均有的信息弱化，突出小分块中局部的差别。

进一步的，所述基于局部信息特征的分类器检测人头具体包括如下步骤：

离线训练基于局部信息特征的分类器，通过学习在大量已经标记为正负样本的图像中挑选出能区分这两类样本的特征从而生成分类器，该被挑选的特征最终形成特征平面，该特征平面用来分辨输入图像所在的样本域，即区分输入图像是否是人头，从而得出结果；所述输入图像通过对采集的视频图像缩放及截取感兴趣区域获得。

进一步的，训练特征采用通用的类哈尔特征，利用ADABOOST方法训练，从巨量特征中，挑选符合要求的特征，即可以区分标定的大量正负样本的特征；对挑选符合要求的特征采用boosting方式形成强分类器，通过多次形成多个强分类器，再把这些强分类器按cascade方式级联形成最终分类器。

进一步的，把通过视频相邻帧附近搜寻方法跟踪到的目标存入数据结构中，过滤掉误检，补全漏检；单位时间上，时间占有率在一定阈值以下时，删除该部分数据结构，如果达到阈值，就把数据结构补全，最后形成完整的目标数据，这样的分段处理可以精确分辨目标人头的进入与离开。

本发明的有益效果在于：首先采用一种限制对比度自适应局部直方图均衡化方法，获取清晰的局部特征，再配合基于局部信息的类哈尔特征训练的分类器，获取较好结果。对于结果中的误检和漏检，提出一种时间轴滤波方法，可以使误检率从20%减少到5%，漏检率也可降低到5%以下。

附图说明

图1为整个系统应用框图；

图2为局部自适应原理图；

图3为图像映射均衡原理图；

图4为典型的类哈尔特征原理图；

图5为通过积分图方法求类哈尔特征值的原理图；

图6为利用时间轴滤波法过滤前的图；

图7为利用用时间轴滤波法过滤后的图；

图8为本发明的整体框图。

具体实施方式

以下将结合附图和具体实施例对本发明做进一步的说明。

本实施例基于现有的监控系统，提取实时监控图像作为待处理对象。该操作节省了大量前端资源，降低了使用成本。获取图像后，使用本发明的方法最终实时提取准确的多人可疑视频，供监控中心值班人员处理。

整个应用框图以及系统框图如图1和图8所示，首先从现有监控中获取视频，传送到本发明中处理，处理后如果结果为可疑危险视频，则传送到监控中心大屏上，供工作人员处理，实现预警作用。

但是现有监控系统获取的图像往往清晰度不高，细节丢失严重。而针对视频图像的人头检测主要需要图像的局部细节，首先重建图像中的局部细节信息，再利用基于局部信息特征的分类器来检测人头，这是发明中第一部分的核心。

首先介绍直方图均衡化的概念，直方图均衡化处理的是把原始图像的所有灰度值，按照灰度区间的形式统计成直方图，再把比较集中的某个灰度区间（就是图像中灰度值较多的区间）按一定比值分一部分给别的区间，形成全部灰度范围内的均匀分布。直方图均衡化就是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内的像素数量大致相同。直方图越均衡，图像细节就越突出。

本发明中的图像局部细节重建部分，首先是进行局部自适应直方图均衡处理，如图2，所谓局部自适应，就是对图像分块处理，因为分成小块处理更加利于优化局部对比度，形成局部信息最优；同时进行的对比度限幅，对统计的直方图进行峰值限制，把限制的峰值部分分配到所有区间上；如图3所示，限幅后再进行映射均衡，即把全幅图中都有的信息弱化，重点突出小分块中局部的差别，该方法处理过后的图像在明暗及细节上都优于一般的直方图均衡，这对于夜晚光线不良也有一定的补充作用，总体上可以最大程度增强图像局部细节。局部细节的增加，是后续分类器实现正确分类的先决条件。

图像细节信息增强后，发明采用基于局部信息特征的分类器来检测人头。首先需要离线训练基于局部信息特征的分类器，分类器的生成需要通过学习的方法在大量已经标记为正负样本的图像中挑选出能区分这两类样本的特征，这些被挑选的特征最终形成特征平面，该平面用来分辨输入图像所在的样本域，即区分输入图像是否是人头，从而得出结果。所述输入图像是通过对采集的视频图像缩放与感兴趣区域截取获得的。

训练特征采用通用的类哈尔特征，训练方法利用ADABOOST方法训练。从巨量特征中，挑选符合要求的特征，即可以区分标定的大量正负样本的特征。策略是采用boosting，每次获得的方式在同cascade方式级联，最终形成一个强度逐步加强的多层级连特征平面。检测时，所有缩放及截取的感兴趣图像块数据被一层一层特征平面剔除，坚持到最后的图像块就是训练时正样本类，也就是检测的结果。

选用类哈尔特征，其与前面的局部信息的增强有关，通过前期处理，图像已经凸显了局部细节，而类哈尔特征就是一类优秀的局部特征。下图4给出了典型的类哈尔特征，可以从图中理解其局部特性。A容易理解为局部上下灰度之差，B容易理解为局部左右灰度之差，C容易理解为局部区域与左右灰度之差，D容易理解局部对角区域灰度之差。

上面提到的巨量特征是因为这些类哈尔特征经过缩放与平移，能形成数量巨大的特征，比如24*24像素图的类哈尔特征数量总计为134736个，再乘以上万的正样本和几十万的负样本，需要的计算量是巨大的。

巨量特征可以提供非常优秀的分类器，但是计算量同样大，实时性问题必须考虑，本发明采用快速积分图方法，使得每个特征值的获取只需要几个简单的加减运算，使得该类哈尔特征在本发明中应用成为可能。通过积分图方法求类哈尔特征值如图5。

根据二维积分原理，坐标1位置的积分值(i1)为A块像素和sum(A)，即：

(i1) = sum(A);同理得：

(i2) =sum(A) + sum(B);

(i3) = sum(A) + sum(C);

(i4) = sum(A) + sum(B) + sum(C) + sum(D);

则推出图中任意块像素和与四周定点积分值关系如下：

sum(D) = (i4) + (i1) – ((i2) + (i3))

有了上面的每块像素和之后，类哈尔特征值就可以简单通过块的加减实现了。

获取到特征后，通过离线学习，即通过性能偏强的服务器在134736个24*24像素图的类哈尔特征中挑选出有效特征，按boosting（提升）方式获得的一定数量特征形成强分类器。获取的过程为按boosting（提升）方式，通过在上万的正样本和几十万的负样本试验，最终以达到误差范围内区分正负类别标准为结束。同时通过多次形成多个强分类器，再把这些强分类器按cascade方式级联形成最终分类器。这种级联方式本质上是：当两个非负数接近0时，其乘积接近0的速度非常明显；两个非负数接近1时，其乘积远离1的速度并不明显。

分类器的使用非常简单，先对输入图像缩放，再截取输入图像中感兴趣块，再把图像块中与分类器对应的特征拿出来计算，结果达到分类器中阈值则通过，没达到就否认，这样可以得到图中人头个数及坐标值。

通过测试，分类效果检测率达80%，但还是存在部分误检和漏检，这是最影响用户体验的地方。对于分类后的部分误检与漏检的处理 ，是发明中第二部分核心。

由于自助存取款机防护窗内空间不大，且人与摄影头距离比较近，所以视频中相邻帧内同一个人的头部位置非常接近。且因为现有摄影头安装在顶部，窗内的人头轮廓永远不会出现遮挡和重叠，所以跟踪算法采用计算量小、简单地在视频相邻帧附近搜寻方法，通过计算人头的重叠率，重叠达到阈值的为同一目标。这样可以减少计算量，且保证跟踪的正确率。

同时分析发现，低于人头位置的类人头目标，比如背包，形状都会随着人的移动而变化，只有处于离地距离最远的人头具有时不变性。因此，发明利用时不变性特点，设计时间轴滤波方法，滤除孤立的噪声点，平滑掉大部分误检和漏检。这部分方法特点降低误检和漏检、算法简单、计算量小，使整个发明系统符合工程需求。

时间轴滤波就是利用视频中人头的时不变性，在时间轴上过滤掉偶尔出现的噪声，平滑掉短时间的目标漏检。先把上面跟踪到的目标存入存储器的数据结构中，再利用多种策略过滤掉误漏检。如图6，目标4（target4）与目标5（target5）明显只是短时出现，容易排除，目标1（target1）出现时间长，但是时间占有率偏低，滤波时也可以滤除，最终形成如图7所示的图。总的来说，单位时间上，时间占有率在一定阈值以下时，删除该部分数据结构，如果达到阈值，就把数据结构补全。最后形成完整的目标数据，这样的分段处理可以精确分辨目标的进入与离开。由于计算量及数据量都偏少，计算中可以对数据重叠处理（即计算时利用部分上次处理过的数据），重叠采用未补全的原始数据，去除时间分割点对检测的影响，同时不影响系统速度。通过整个发明的处理，系统检测率达到95%，漏误检少于5%。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员，在不脱离本发明构思的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明保护范围内。

Claims (2)

1.一种基于图像处理的自助存取款机实时人数检测方法，其特征在于，包括如下步骤：

11）提取实时监控图像作为待处理图像；

12）对该图像进行局部自适应直方图均衡处理；局部自适应直方图均衡处理包括对待处理图像分块处理，优化局部对比度，形成局部信息最优；同时进行对比度限幅，对统计的直方图进行峰值限制，把限制的峰值部分分配到所有区间上，对限幅后的图像进行均衡，把全幅图像中均有的信息弱化，突出小分块中局部的差别；

13）基于局部信息特征的分类器检测人头，检测到的人头，通过视频相邻帧附近搜寻方法，计算人头的重叠率；并通过时间轴滤波方法，滤除孤立的噪声点，平滑短时间的目标误检和漏检；

所述基于局部信息特征的分类器检测人头具体包括如下步骤：

离线训练基于局部信息特征的分类器，通过学习在大量已经标记为正负样本的图像中挑选出能区分这两类样本的特征从而生成分类器，该被挑选的特征最终形成特征平面，该特征平面用来分辨输入图像所在的样本域，即区分输入图像是否是人头，从而得出结果；所述输入图像通过对采集的视频图像缩放及截取感兴趣区域获得；

把通过视频相邻帧附近搜寻方法跟踪到的目标存入数据结构中，过滤掉误检，补全漏检；单位时间上，时间占有率在一定阈值以下时，删除该部分数据结构，如果达到阈值，就把数据结构补全，最后形成完整的目标数据，这样的分段处理可以精确分辨目标人头的进入与离开；

其中自助存取款机防护窗内空间不大，且人与摄影头距离比较近，视频中相邻帧内同一个人的头部位置非常接近，并且现有摄影头都安装在自助存款机的顶部，窗内的人头轮廓不会出现遮挡和重叠，所以跟踪算法采用计算量小、简单地在对视频相邻帧附近搜寻的方法，通过计算人头的重叠率，当重叠达到阈值的为同一目标。

2.根据权利要求1所述的一种基于图像处理的自助存取款机实时人数检测方法，其特征在于，训练特征采用通用的类哈尔特征，利用ADABOOST方法训练，从巨量特征中，挑选符合要求的特征，即可以区分标定的大量正负样本的特征；对挑选符合要求的特征采用boosting方式形成强分类器，通过多次形成多个强分类器，再把这些强分类器按cascade方式级联形成最终分类器。