CN101276499B - 基于全方位计算机视觉的atm设备的智能监控装置 - Google Patents

Abstract

一种基于全方位计算机视觉的ATM设备的智能监控装置，包括安装在ATM设备本体顶部的全方位视觉传感器、用于接收、处理及传输发布全方位视觉传感器的视频数据的微处理器、用于检测不法份子对ATM机实施敲打拆卸暴力活动的振动检测单元，所述振动检测单元固装在ATM机的机身上并位于全方位视觉传感器的附近，所述的全方位视觉传感器与微处理器连接，所述的全方位视觉传感器包括用于垂直向下的外凸折反射镜、摄像单元、下部底座，所述的外凸折反射镜为双曲面镜，所述的摄像单元位于所述双曲面镜的虚焦点位置，所述外凸折反射镜和摄像单元位于同一中心线上。本发明能实时处理视频信息、增强安全性、能有效进行振动检测。

Description

基于全方位计算机视觉的ATM设备的智能监控装置

技术领域

本发明属于ATM设备的监控系统领域，尤其是一种全方位视觉传感器、计算机视觉等技术在保护ATM机使用安全、防止对自动取款机上的诈骗犯罪方面的应用。

背景技术

随着自动取款机(ATM)在各商业银行、邮政储蓄的大量投入使用，在方便了储户快捷存取款的同时，也伴随了日益增多的ATM纠纷案件及ATM金融犯罪。为了切实保障银行财产安全，妥善解决储户在使用ATM过程中发生的纠纷，随着银行ATM数量的增多和使用范围的扩大，陆续发现了针对ATM机的犯罪行为。所以，为保护银行ATM的安全使用，防范各种针对ATM的犯罪问题，ATM加装监控系统已经势在必行。

目前，各类犯罪分子的手法千奇百怪，以ATM机为诈骗实施渠道的犯罪，令人防不胜防。为获得持卡人卡号、密码等资料，既有在ATM机旁边直接偷窥银行卡密码的初级手法，也有种种骗术行为和对ATM机的直接暴力行为，更有利用现代电子技术，挖空心思的高科技手段。以上通过张贴假的“系统升级通知”，骗持卡人将卡存款转账到其事先开立的银行卡账户中的案例表明，目前的银行卡诈骗犯罪，根本目的就在于窃取资金，焦点集中于ATM机上。除了传统的偷看密码、直接套问持卡人密码等手段外，还有安装假门禁系统盗录信息，利用摄像机偷录信息，甚至安装虚假键盘等新奇手段。

总结和分析目前针对ATM欺诈、犯罪的情况，主要有如下6种：1)调包+窥密码。骗子趁持卡人取款时，窥视密码，然后以询问、故意将钱丢在地上等手法，引开持卡人注意力，并趁机将卡片插入ATM插卡口，造成卡片退出的假相。骗子催促持卡人取卡离开后，将持卡人的卡片退出盗走。2)假门禁盗取磁条信息及密码。骗子在自助银行门禁系统上安装盗录设备及微型摄像头，盗窃磁条信息及密码后，制作伪卡。3)吞卡+盗密码。骗子在ATM上安装吞卡装置，通过背后或用望远镜窥视、安装假密码键盘或真键盘上贴薄膜等手法盗取密码。4)吞卡+假工作人员。骗子在ATM上安装吞卡装置，在ATM旁张贴假的银行告示，并且在电话那头冒充银行工作人员套出持卡人的银行卡密码后，从ATM上盗取存款。5)假提示。骗子在ATM旁张贴假的银行公告，以“银行程序调试”等为由，要求持卡人将银行卡存款转账到指定账户，盗取卡存款。6)窃卡号+窃密码。骗子用微型摄像机偷窥卡号和密码或从持卡人随手丢弃的ATM取款凭条上获取相关信息，制作伪卡冒领存款，其中也包括持卡人本人忘记取走卡片，后来被不法份子冒领存款的情况。

针对上述ATM不安全情况，银行采取的手段是ATM机上安装2路摄像头，分别对人像和出钞口进行监控。银行安装摄像头是遵照公安部门相关规定，对ATM存取款施行安全监控的举措。侧壁摄像头录下取款者头像，可以在盗卡分子作案时留下证据；顶壁摄像头对准出款口，能证实有无出款，避免与取款客户产生纠纷。通过视频捕捉卡将图像信息采集到监控主机中，进行图像处理，并将处理过的信号通过PSTN/ISDN/ADSL/LAN各种途径传输到监控中心。银行管理员通过监控中心就可以了解到各个ATM机的工作现场情况。

但是上述的ATM视频监控至少存在着几个方面的问题，1)使用者担心顶壁摄像头对准键盘会造成密码的窃取；2)录像的视频信息虽然能为在事后取证为侦破ATM金融犯罪提供线索，但是这些大量的视频信息没有得到任何处理，造成了视频信息通信、存储的负担，公安部门事后取证需花费较多的人力物力和时间浏览和检索与ATM金融犯罪相关的视频信息，影响公安部门破案进度；3)缺乏智能化的检测手段，犯罪分子利用ATM进行不法活动，监控系统不能主动报警，没有得到人脸识别和行为识别等高新技术的支持；4)缺乏对ATM机周围环境的实时监控手段，特别是对窥视者的监控，造成使用者在使用ATM机的不安全；5)缺乏震动报警、防拆卸报警等功能，当犯罪分子对ATM机实施敲打拆卸等暴力时，不能在第一时间情况下进行主动报警来提醒相关人员采取紧急措施；6)没有建立视频监控与存取款处理过程的联动机制，造成了在发生吞卡、存取款时的风险加大；7)当使用者提款后忘记取回自己的银行卡情况时没有提示功能，给窥视者留下了犯罪机会；8)监控视角的有限性、关注监控对象的模糊性、ATM机的人机界面设计不合理性等等原因，使得目前的ATM视频监控性价比不高，特别是对令人防不胜防ATM金融犯罪的视频监控所起到的作用不大。

发明内容

为了克服已有的ATM机监控设备的没有处理视频信息功能、安全性低、不能进行振动检测的不足，本发明提供一种能实时处理视频信息、增强安全性、能有效进行振动检测的基于全方位计算机视觉的ATM设备的智能监控装置。

本发明解决其技术问题所采用的技术方案是：

一种基于全方位计算机视觉的ATM设备的智能监控装置，包括安装在ATM设备本体顶部的全方位视觉传感器、用于接收、处理及传输发布全方位视觉传感器的视频数据的微处理器、用于检测不法份子对ATM机实施敲打拆卸暴力活动的振动检测单元，所述振动检测单元固装在ATM机的机身上并位于全方位视觉传感器的附近，所述的全方位视觉传感器与微处理器连接，所述的全方位视觉传感器包括用于垂直向下的外凸折反射镜、摄像单元、下部底座，所述的外凸折反射镜为双曲面镜，所述的摄像单元位于所述双曲面镜的虚焦点位置，所述外凸折反射镜和摄像单元位于同一中心线上；所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像展开处理模块，用于将读进来的圆形全景视频图像展开成使用者的脸部信息视频透视投影平面展开图、获取使用者身边周围信息视频透视投影平面展开图和振动检测单元的振动信息视频透视投影平面展开图；

所述的透视投影平面展开图是通过从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的线段Om-G，与所述Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ                (9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式(9)中：D为透视投影平面的中心点G到双曲面的实焦点Om的距离，β角度是入射光线在XY平面上投影与X轴的夹角，γ角度是入射光线在XZ平面上投影与X轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴；

人脸检测与抽取模块，用于将使用者的人脸视角的视频图像中人脸部分检测并抽取出来，同时将取款时间和取款地点信息合并到图像中并保存在存储单元中；

周围环境监视模块，用于监视使用者周围环境视角，如果发现有人进入该区域并停留一段时间以上，自动发出警示，提示使用者引起重视并警示周围的人退出该领域；

振动检测单元检测模块，用于检测ATM机是否受到了敲打拆卸暴力，当ATM机的机身受到外力作用时，振动检测单元的质量喜爱求产生振动，通过视觉的方式来检测质量小球的位移是否超过阈值来判断ATM机是否受到了敲打拆卸暴力。

作为优选的一种方案：所述的全方位视觉传感器还包括透明外罩，所述的外凸折反射镜面位于透明外罩的上方，所述的透明外罩的上端与外凸折反射镜面连接，所述的透明外罩的下端与下部底座连接，所述透明外罩位于所述中心线上。

作为优选的再一种方案：所述的振动检测单元由悬臂梁和质量小球，悬臂梁固定在ATM机上，悬臂梁与质量小球连接，悬臂梁为惯性系统的“弹簧”，在惯性力作用下产生弯曲变形。

进一步，在所述的人脸检测与抽取模块中，采取最大类间方差阈值分割法，利用图像灰度直方图投影对使用者面部进行定位；采用卡尔曼滤波算法对使用者面部进行跟踪；在跟踪到人脸图像时，系统将标志Flag_onuse设置为是，否则设置为否；跟踪稳定后一段时间后获取该跟踪的人脸图像，同时读取微处理器中的系统时间和存储在基本信息单元中的ATM机地点配置信息，并一起与人脸图像加工，嵌入到人脸图像的下方，最后将保存的人脸图像文件名用22位长度的文件名进行保存。

再进一步，在所述的周围环境监视模块中，首先检测标志Flag_onuse是否为是，如果状态是是的话，表示有人在使用ATM机，然后根据在人脸检测与抽取模块中所得到的跟踪使用者面部区域的大小范围，按比例地覆盖在使用者周围环境视角透视投影平面图上，经加工后的透视投影平面图中将不包含使用者的人脸，接着采用人脸检测与抽取模块中的人脸定位和跟踪算法，对经加工后的使用者周围环境视角透视投影平面图进行定位与跟踪，当检测到在该透视投影平面图中有人出现并跟踪时间超过一段时间Tstop，判定为有窥视嫌疑。

更进一步，在所述的振动检测单元检测模块中，采用一种基于色差的最大熵阈值分割法检测质量小球在透视投影平面图中的前景点，接着进行连通区域标识处理方式去除干扰信号，利用连通区域外接矩形的坐标来得到质量小球的实际空间坐标；利用公式(9)将透视投影平面的坐标点P(i，j)求质量小球在空间三坐标中的A₁(X’₁，Y’₁，Z’₁)，

X＝R*cosβ-i*sinβ       (9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

通过当ATM机的机身没有受到任何外力作用时质量小球的位置A₀(X’₀，Y’₀，Z’₀)与目前质量小球的位置A₁(X’₁，Y’₁，Z’₁)，采用公式(47)来判断是否存在着非正常的外力F_abnormality的作用，

$r=\sqrt{{({X^{\′}}_1-{X^{\′}}_0)}^2+{({Y^{\′}}_1-{Y^{\′}}_0)}^2+{({Z^{\′}}_1-{Z^{\′}}_0)}^2}\≥r_{\mathrm{abnormality}}---\left(47\right)$

式中：r为质量小球当ATM机的机身收到外力时在三维空间上所偏离的位移；r_abnormality为质量小球当ATM机的机身受到了一个非正常的外力F_abnormality的作用时在三维空间上所偏离的位移，实际使用时需要对该外力F_abnormality和r_abnormality进行标定，比如采用1Kg的外力敲打ATM机的机身时所产生的r作为r_abnormality，那么F_abnormlity与r_abnormality就存在着对应关系，一般来说外力F_abnormality越大所偏离的位移r就越大；

如果上述判断条件成立，判断为ATM机的机身受到了一个大于或等于非正常的外力F_abnormality的作用。

所述的摄像单元位于所述双曲面镜的虚焦点位置，所述双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)              (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                              (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上投影与X轴的夹角，α表示入射光线在XZ平面上的夹角即俯角，f表示成像平面到双曲面镜的虚焦点的距离。

所述透明外罩呈碗状，由半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，在半圆球部分的半径处与圆锥部分进行过渡。

所述全方位视觉传感器和振动检测单元安装在保护罩内，所述保护罩为钢化玻璃保护罩；在所述全方位视觉传感器的上方安装照明装置。

所述微处理器还包括与银行监控中心通信连接的远程通信模块。

本发明的有益效果主要表现在：(1)、使得ATM机以及银行服务器能之间减少存储、传输视频图像的负担和提高浏览检索效率；(2)、增加了预防使用者在取款过程中被窥视的监视手段，能提高ATM机的使用者在存取款时的安全；(3)、具有检测犯罪分子对ATM机实施敲打拆卸等暴力活动的监控功能。

附图说明

图1为基于全方位计算机视觉的ATM设备的智能监控装置的正视图；

图2为基于全方位计算机视觉的ATM设备的智能监控装置的左视图；

图3为全方位视觉传感器的折反射成像的原理图；

图4为全方位视觉传感器的结构图；

图5为全方位视觉传感器的透视投影平面原理图；

图6为按ATM设备的使用者视角、使用者的周围环境视角、振动检测单元视角展开的透视投影平面图；

图7为基于全方位计算机视觉的ATM设备的智能监控装置中软件处理流程图；

图8为加工后的ATM设备使用者的人脸图像；

图9为用于跟踪ATM设备在使用中是否存在者窥视者的视频图像；

图10为由质量小球、悬臂梁构成的振动检测示意图；

图11为图10的模型原理图；

图12为基于色差的最大熵阈值分割法从振动检测单元视角展开的透视投影平面图中抽取质量小球的流程图；

图13为抽取质量小球后的二值视频图；

图14为计算出质量小球位置后的二值视频图；

图15为带有照明和保护罩的基于全方位计算机视觉的ATM设备的智能监控装置的左视图。

具体实施方式

下面结合附图对本发明作进一步描述。

实施例1

参照图1～图15一种基于全方位计算机视觉的ATM设备的智能监控装置，通过采用一个全方位视觉传感器来获取ATM设备周围现场360°场景的视频图像，计算分析单元将采集到的全景视频图像进行分析加工处理，计算分析单元主要作用是：1)对原始的全景视频图像进行加工，以减少存储、传输视频图像的负担和提高浏览检索效率为主要目的使用者的人脸获取手段；2)以预防使用者在取款过程中被窥视的监视手段；3)以检测犯罪分子对ATM机实施敲打拆卸等暴力活动的监控手段；一旦分析结果出现ATM可疑犯罪行为时将数字化的视频信息与分析结果可通过PSTN/ISDN/ADSL/LAN等途径传输到银行的监控中心，为实现ATM的安全使用、防止ATM的犯罪提供一种先进的技术手段。

首先是要获取ATM设备周围的视频信息，重点视频监控范围包含使用者的脸部、使用者身边周围以及紧靠ATM设备周围的领域，本发明中采用一个全方位视觉传感器(ODVS)来同时获得这些视频信息，由于获取的图像信息是以ATM机为中心的360°全景视频图像，为了实现不同的检测目的，本发明中围绕着上述3个重点视频监控范围将360°全景视频图像展开成3个不同的检测领域：1)获取使用者的脸部信息的展开图，用于获取使用者的脸部视频信息；2)获取使用者身边周围信息的展开图，用于获取使用者身边周围一定范围内的视频信息；3)获取紧靠ATM设备周围的领域的展开图，用于获取不法份子对ATM机实施敲打拆卸等暴力活动时的视频信息；接着是针对上述3个不同的检测领域中的展开图进行分析、理解，在获取使用者身边周围信息的展开图中，为了减少存储、传输视频图像的负担和提高浏览检索效率，本发明中采取了从视频图像中分割出使用者的脸部图像的技术，并将取款时间、地点编辑到该图像中的方法；在获取使用者身边周围信息的展开图中，为了减少各种检测干扰，本发明中采取了只对除使用者以外的、还有类似于人出现在检测范围内并停留一段时间的情况进行检测；在获取紧靠ATM设备周围的领域的展开图中，本发明采用了振动可视化的方法来检测不法份子对ATM机实施敲打拆卸等一些暴力活动，所谓振动可视化是指当对ATM机实施敲打拆卸等一些暴力活动时所产生的外力，这种外力会使得与ATM机连接的振动单元产生振动，通过视频检测手段来检测振动单元是否振动来间接检测是否有不法份子对ATM机实施了敲打拆卸等一些暴力活动。

要从一个视觉传感器来获得ATM机周边的全景图像，需要由全方位视觉传感(ODVS)技术来支持，下面介绍ODVS摄像装置的光学部分的制造技术方案，全方位视觉传感器包括直垂向下的折反射镜、透明外罩、摄像单元、固定支架，所述的折反射镜为双曲面镜，所述的摄像单元包括聚光透镜和摄像单元，所述的摄像单元位于所述双曲面镜的虚焦点位置；所述双曲面镜构成的光学系统由下面5个等式表示；

((X²+Y²)/a²)-(Z²/b²)＝-1(Z＞0)              (1)

$c=\sqrt{a^2+b^2}---\left(2\right)$

β＝tan^-1(Y/X)                              (3)

α＝tan^-1[(b²+c²)sinγ-2bc]/(b²+c²)cosγ    (4)

$\mathrm{\γ}={\tan }^{-1}[f/\sqrt{(X^2+Y^2)}]---\left(5\right)$

上式中，X，Y，Z表示空间坐标，c表示双曲面镜的焦点，2c表示两个焦点之间的距离，a，b分别是双曲面镜的实轴和虚轴的长度，β表示入射光线在XY平面上的夹角即方位角，α表示入射光线在XZ平面上的夹角即俯角，f表示成像平面到双曲面镜的虚焦点的距离。

进一步，为了使得透明外罩不会产生内壁的反射干扰光，如图4所示。具体做法是将透明外罩设计成碗状，即半圆球和圆锥构成，半圆球的球心与双曲面镜的焦点重合，这样能避免在透明外罩发生反射干扰光，在半圆球部分的半径处与圆锥部分进行过渡，圆锥部分的倾斜角度为2～3°，主要是考虑在模具生产时的脱模斜度；ODVS的结构如图4所示。

进一步，来说明360全方位进行摄像的原理，空间上的一个点A(X，Y，Z)经折反射镜面反射到透镜上对应有一个投影点P(x，y)，通过透镜的光线变成平行光投射到CCD(CMOS)摄像单元，微处理器通过视频接口读入该环状图像，然后通过软件算法对该环状图像进行透视图展开得到使用者的人脸视角(图6-a所示)、使用者周围环境视角(图6-c所示)以及与ATM设备相连的振动检测单元视角(图6-b所示)分割的透视投影平面的视频图像。

为了对透视投影平面图有一个较好的理解，如图5所示，这里我们从双曲面的实焦点Om到透视投影坐标原点G引一条距离为D的线段Om-G，与这条Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，如果将该交点P(X，Y，Z)代入到公式(6)、(7)中就能容易地求的在成像平面上的P(x，y)点，因此可以通过从上述关系求得在透视投影平面上的各个点。

$x=\frac{\mathrm{Xf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(6\right)$

$y=\frac{\mathrm{Yf}(b^2-c^2)}{(b^2+c^2)Z-2\mathrm{bc}\sqrt{X^2+Y^2+Z^2}}---\left(7\right)$

如图5所示，双曲面镜的光轴为Z轴，摄像单元向着Z轴的正方向设置，成像平面是摄像单元的输入图像，我们将双曲面镜的光轴与成像平面的交点g作为成像平面的原点，其坐标系为x、y，x轴、y轴分别与摄像单元中的感光芯片的长短边相一致，因此Om-XYZ坐标系的X轴与成像平面坐标系的xy平面平行。

透视投影平面是与Om-G连接线相垂直的平面，将G点作为原点的二元平面坐标系i，j，其中i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，将从透视投影平面到双曲面的焦点Om的距离作为D，定义透视投影平面的横幅为W，纵幅为H。由于i轴是与XY平面平行，又是与Z轴垂直的，因此所得到的透视投影平面是以G点为坐标中心与XY平面(水平面)上旋转一个角度，该角度就是Om-G连接线与Z轴的夹角。

这里我们将Om-G作为变换中心轴，点G作为变换中心点，用β(入射光线在XY平面上的夹角-方位角)、γ(入射光线与双曲面焦点的水平面的夹角)以及距离D(透视投影平面到双曲面的焦点Om的距离)来表示变换中心轴，β角度在0°～360°范围内，可以由式(3)计算得到，同样也可以用式(8)来表示：

β＝tan^-1(Y/X)＝tan^-1(y/x)        (8)

这里β角度是入射光线在XY平面上投影的夹角，以Z轴为原点(极坐标系的原点)逆时针方向，在0°～360°范围内(这是全方位视觉的水平视场范围)；γ角度是入射光线与双曲面焦点的水平面的夹角，由式(5)所示，该角度与空间坐标与双曲面焦点位置有关，如果在双曲面焦点上作一个水平面的话，那么就是给水平面与Om-G轴的夹角，这里将空间坐标Z点在双曲面焦点以上的作为[+]，称为仰角，Z点在双曲面焦点以下的作为[-]，称为俯角；γ角度范围在-90°～+90°之间，根据不同的镜面设计就会有不同的γ角度范围(这是全方位视觉的垂直视场范围)；

距离D根据透视投影平面与双曲面焦点的直线距离来确定，一般来说，距离D越长景物越小，距离D越短景物越大；透视投影平面的横幅W、纵幅H可以由需要来确定，在确定横幅W、纵幅H大小时首先要确定显示窗的横纵比，由于在计算机中是用像素来表示横幅W、纵幅H的大小，因此要确定横幅W、纵幅H的像素值。

通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，这样就能得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ

Y＝R*sinβ+i*cosβ        (9)

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式中：D为透视投影平面到双曲面的焦点Om的距离，β角度是入射光线在XY平面上投影的夹角，γ角度是入射光线与双曲面焦点的水平面的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴，i轴与j轴的方向由附图5所示；

将上述用公式(9)求得的P(X，Y，Z)点代入公式(6)和(7)就能求得与透视投影平面的坐标点P(i，j)相对应的在成像平面上的P(x，y)点。这样就可以通过在成像平面上得到的图像信息求得全方位透视图，也就是说建立了成像平面上的坐标系与透视投影平面的坐标系的对应关系。有了这样的对应关系，我们就能从成像平面上得到的某个点的图像信息；通过两个坐标系的对应关系，将该点的图像信息正确地显示在透视投影平面相对应的位置上。

进一步是ATM机与全方位视觉传感器和振动检测单元的连接方案，其特征在于：在ATM机上中部固装一个ODVS，在ODVS附近固装一个振动检测单元，如附图1、2所示，使得ODVS能获取使用者的脸部信息、获取使用者身边周围信息以及振动检测单元的振动信息；

更进一步，ATM装置内部配置有微处理器，ODVS的视频线通过视频接口与微处理器相连接，微处理器中的软件读取ODVS的传输过来的全景视频图像，然后通过全景视频图像透视展开单元将全景视频图像分别展开成使用者的脸部信息视频透视投影平面图、获取使用者身边周围信息视频透视投影平面图以及振动检测单元的振动信息视频透视投影平面图；接着将这3张视频透视投影平面图交给计算分析单元进行处理，如附图7所示；

所述的计算分析单元，针对上述3张不同的视频透视投影平面图像进行不同的分析处理，本发明中将其分为3个模块，包含人脸检测与抽取模块、周围环境监视模块和振动检测单元检测模块；所述的人脸检测与抽取模块，用于将使用者的人脸视角(图6-a所示)的视频图像中人脸部分检测并抽取出来，同时将取款时间和取款地点等信息合并到图像中并保存在存储单元中；所述的周围环境监视模块，用于监视使用者周围环境视角(图6-c所示)，如果发现有人进入该区域并停留一段时间以上，系统自动发出警示，提示使用者引起重视并警示周围的人退出该领域；所述的振动检测单元检测模块，用于检测ATM机是否受到了敲打拆卸等一些暴力，当ATM机的机身受到一定外力作用时，弹簧质量振动单元就会产生振动，如果当与ATM设备相连的振动检测单元视角(图6-b所示)中的振动单元的圆球所产生振动的幅度超过一定值以后，便认为ATM机的机身受到了敲打拆卸等一些暴力的作用，系统自动发出警示并立即将现场的全景视频信息发送给相关部门，以便及时采取相应防范措施；

所述的人脸检测与抽取模块，用于将使用者的人脸视角的视频图像中人脸部分检测并抽取出来，同时将取款时间和取款地点等信息合并到图像中并保存在存储单元中；本发明针对装置实时性的要求，利用肤色在颜色空间具有很好的聚类特性的特点，选用YCrCb空间作为肤色分布统计的映射空间，较好的限制肤色分布区域，通过统计识别建立一个基于肤色的二维高斯分布数学模型，利用基于相似度和人脸形状特性的人脸检测方法。采取最大类间方差阈值分割法，利用图像灰度直方图投影对面部进行定位。

人脸肤色在CrCb色度空间服从二维高斯分布，该肤色分布模型的概率密度函数可以用公式(10)表示，

$f(x1,x2)=\frac{1}{2\mathrm{\π}{\left|C\right|}^{1/2}}\exp \{-\frac{1}{2}{(X-\mathrm{\μ})}^T{C}^{-1}(X-\mathrm{\μ})\}---\left(10\right)$

其中，μ＝(Cr，Cb)^T＝(156.560，117.436)^T，该向量中的两个值分别指的是颜色分量Cr、Cb的均值，C是Cr、Cb的协方差矩阵，用公式(11)表示，

$C=\left[\begin{array}{cc}{\mathrm{\σ}}_{\mathrm{rr}}^2& {\mathrm{\σ}}_{\mathrm{rb}}\\ {\mathrm{\σ}}_{\mathrm{br}}& {\mathrm{\σ}}_{\mathrm{bb}}^2\end{array}\right]=\left[\begin{array}{cc}160.130& 12.143\\ 12.143& 299.457\end{array}\right]---\left(11\right)$

其中，σ_rr ²、σ_bb ²分别是Cr、Cb的方差，σ_rb、σ_br分别是Cr、Cb的协方差。根据肤色的高斯分布模型，计算人脸图像中所有像素点的颜色与肤色的相似度。取相似度的计算公式为，

P(Cr，Cb)＝exp{-0.5(X-μ)^TC^-1(X-μ)}            (12)

X＝(Cr，Cb)^T                                    (13)

其中，X＝(Cr，Cb)^T为像素在Cr、Cb色度空间中的向量，C、μ取值与上述的(10)、(11)式相同。

在计算出相似度值之后，利用归一化的方法将相似度转化为0～255之间的灰度值，得到被检测彩色图像的灰度图，灰度图可以直观地反映出各像素点的颜色与肤色的相似程度。这里首先找出所有像素的相似度值中的最大值，并以该值为基准进行相似度的归一化，让相似度值最大的像素变为纯白色(灰度值为255)，其他像素根据各自的相似度大小分别转化为对应的灰度值。

为了分割出图像的肤色区域，需要选取合适的阈值将灰度图像二值化。本专利采取最大类间方差阈值分割法，将直方图在某一阈值处分割成两组，当被分成两组的方差为最大时决定阈值。如果将一幅图像的灰度值为1～M级，灰度值为i的像素数为ni，那么可以得到各灰度值像素值出现的频度，用公式(14)表示，

$P_i=n_i/\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{n}_i---\left(14\right)$

然后将所有的像素用K将其分成两组S₀＝{1-K}和S₁＝{K+1-M}，则S₀发生的概率可以用公式(15)进行计算，

${\mathrm{\η}}_0=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{p}_i=\mathrm{\η}\left(K\right)---\left(15\right)$

S₁发生的概率可以用公式(16)进行计算，

${\mathrm{\η}}_1=\underset{i=K+1}{\overset{M}{\mathrm{\Σ}}}{p}_i=1-\mathrm{\η}\left(K\right)---\left(16\right)$

S₀的平均值可以用公式(17)进行计算，

${\mathrm{\λ}}_0=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\frac{{\mathrm{ip}}_i}{{\mathrm{\η}}_0}=\frac{\mathrm{\λ}\left(K\right)}{\mathrm{\η}\left(K\right)}---\left(17\right)$

S₁的平均值可以用公式(18)进行计算，

${\mathrm{\λ}}_1=\underset{i=K+1}{\overset{M}{\mathrm{\Σ}}}\frac{{\mathrm{ip}}_i}{{\mathrm{\η}}_1}=\frac{\mathrm{\λ}-\mathrm{\λ}\left(K\right)}{1-\mathrm{\η}\left(K\right)}---\left(18\right)$

其中

是图像的整体灰度平均值，是灰度值低于K的像素的灰度平均值，定义S₀、S₁两组间的方差用公式(19)表示，

${\mathrm{\σ}}^2\left(K\right)={\mathrm{\η}}_0{({\mathrm{\λ}}_0-\mathrm{\λ})}^2+{\mathrm{\η}}_1{({\mathrm{\λ}}_1-\mathrm{\λ})}^2=\frac{{[\mathrm{\λ\η}\left(K\right)-\mathrm{\λ}\left(K\right)]}^2}{\mathrm{\λ}\left(K\right)[1-\mathrm{\η}\left(K\right)]}---\left(19\right)$

寻找1～M间使得σ²(K)取最大值的K，即可得到阈值。利用该阈值对人脸图像进行二值化处理，肤色区域变成全白，其余部分变成全黑；接着利用图像灰度直方图做图像的水平投影图来获取所提取区域在垂直方向上的顶部和底部的极大值；做垂直投影图来获取所提取区域在水平方向上的左侧和右侧的极大值，然后利用这些值对面部进行定位。设人脸长为h、宽为w，根据人脸的尺寸约束，即满足人脸长宽比0.8≤h/w≤1.5的条件，可以确认为该区域为人脸的定位图像。

为了进行使用者面部跟踪，采用卡尔曼滤波对使用者面部跟踪的算法。将定位得到的使用者面部区域作为卡尔曼滤波跟踪的初值。下一帧图像利用卡尔曼滤波预测得到面部的预测位置和搜索范围，在此范围内进行基于肤色的人脸定位，然后搜索得到面部区域，跟踪使用者面部区域。一旦跟踪失败，程序重新进行人脸定位，再进行卡尔曼滤波跟踪。

基于卡尔曼滤波的面部跟踪方法表述如下：在获取第t帧图像后，经过上述人脸定位处理得到面部区域中心的位置，在每一帧图像中面部的状态可以用其位置和速度来表示。假设(xt，yt)代表面部区域中心点在第t帧图像的像素位置，(ut，vt)分别代表面部中心点在第t帧图像中x和y方向的速度。因此，在第t帧图像的面部状态向量可以用公式(20)表示，

X_t＝(x_t，y_t，u_t，v_t)                    (20)

根据卡尔曼滤波理论，在第t+1帧图像的面部状态向量X_t+1，线性相关于当前状态X_t，系统状态方程用公式(21)表示，

X_t+1＝A_tX_t+W_t                (21)

式中：A_t是状态转移矩阵，W_t代表状态噪声，服从零均值高斯分布W_t∞N(0，Q)。如果假设相邻两帧图像中面部区域变化较小，可以认为帧与帧之间运动恒定，状态转移矩阵可以用公式(22)表示，

$A_t=\left|\begin{array}{cccc}1& 0& 1& 0\\ 0& 1& 0& 1\\ 0& 0& 1& 0\\ 0& 0& 0& 1\end{array}\right|---\left(22\right)$

进一步假设观测向量

在第t帧图像中面部位置的估计值。因此卡尔曼滤波的测量方程用公式(23)表示，

Z_t＝H_tX_t+V_t                  (23)

式中，矩阵H_t表示状态和测量转移矩阵，V_t代表测量噪声，通常服从零均值高斯分布V_t∞N(0，R)。其中H_t可以用公式(24)表示，

$H_t=\left|\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\end{array}\right|---\left(24\right)$

搜索协方差矩阵∑_t+1 ^-1所确定的区域，找到第t+1帧图像的观测值Z_t+1，融合预测估计产生最终状态估计值，使搜索区域自动根据协方差矩阵变化。

卡尔曼滤波的目标是给定X_t、∑_t、Z_t，利用系统状态方程和测量方程来估计得到X_t+1和用于状态预测和更新的卡尔曼滤波算法如下；

(1)状态预测：给定当前状态X_t和协方差矩阵∑_t状态预测包括两个方面，得到状态先验值X_t+1 ^-1和误差协方程矩阵估计值∑^-1 _t+1可以用公式(25)、(26)来表示，

$X_{t+1}^{-1}=A_t{X}_t---\left(25\right)$

${\mathrm{\Σ}}_{t+1}^{-1}=A_t{\mathrm{\Σ}}_t{A}^T+Q_t---\left(26\right)$

(2)状态更新：给定先验估计值X_t+1 ^-1和它的协方差矩阵∑^-1 _t+1，在∑^-1 _t+1确定的区域得到的当前测量值Z_t+1。状态值更新得到后验状态估计值和它的协方差矩阵。测量值更新的首要任务是计算卡尔曼增益K_t+1，通过公式(27)计算得到：

$K_{t+1}=\frac{{\mathrm{\Σ}}_{t+1}^{-1}{H}_t^T}{H_t{\mathrm{\Σ}}_{t+1}^{-1}{H}_t^T+R}---\left(27\right)$

接着通过处理得到测量值Z_t+1，然后结合该测量值和系统状态方程公式(21)得到后验状态估计值X_t+1，通过公式(28)计算：

$X_{t+1}=X_{t+1}^{-1}+K_{t+1}(Z_{t+1}-H_t{X}_{t+1}^{-1})---\left(28\right)$

最后通过公式(29)得到后验误差协方差矩阵估计值，

${\mathrm{\Σ}}_{t+1}=(I-K_{t+1}{H}_t){\mathrm{\Σ}}_{t+1}^{-1}---\left(29\right)$

每一次的状态和测量值都会被更新，卡尔曼滤波器能够递归的根据是用过去测量值来估计当前值，迭代得到先验状态估计值和预测后验状态估计值。

具体做法是，为了应用卡尔曼滤波跟踪使用者面部，必须要获得初值。首先，确定初始状态，在连续两帧图像成功地面部定位后开始进行卡尔曼滤波跟踪。假设两帧图像是第t帧和第t+1帧。初始状态向量用公式(30)～(33)来表示，

x₀＝x_t+1        (30)

y₀＝y_t+1        (31)

u₀＝x_t+1-x_t     (32)

v₀＝y_t+1-y_t     (33)

然后定义初始状态X₀相应的协方差矩阵∑₀，还需要估计系统状态方程和测量方程的误差协方差矩阵Q和R。利用状态预测和更新方程以及初始条件，每一帧图像状态向量和相应的协方差矩阵被估计，状态协方差矩阵∑_t给出第t帧图像面部区域位置的不确定范围，搜索区域可以由∑_t来决定。

将上述使用者面部定位得到的面部区域作为卡尔曼滤波跟踪的初值。下一帧图像利用卡尔曼滤波预测得到面部的预测位置和搜索范围，在此范围内进行基于肤色的人脸定位，然后搜索得到面部区域。如此循环，跟踪使用者面部区域。一旦跟踪失败，程序重新进行人脸定位，再进行卡尔曼滤波跟踪；在跟踪到人脸图像时系统将标志Flag_onuse设置为是，否则设置为否；

为了获得比较稳定的使用者面部图像，本发明中采用了在卡尔曼滤波跟踪稳定后一段时间(tduring)后获取该跟踪的人脸图像，同时读取微处理器中的系统时间和存储在基本信息单元中的ATM机地点配置信息，并一起与人脸图像加工，嵌入到人脸图像的下方；为了方便地实现对图像信息的检索，本发明中将时间信息与地点信息一起作为保存的图像文件名，具体是将微处理器的系统时间(YYYYMMDDHHMMSS)和地点代码信息一起(*********)为保存图像文件名保存在暂时文件夹内，以便在存取款结束后并同存取款交易信息一起传输给银行的监管部门；使用者人脸图像文件名的文件名长度为22位，其命名规则是：YYYYMMDDHHMMSS以14位加上地点代码信息8位来命名，YYYY-表示公历的年；MM-表示月；DD-表示日；HH-表示小时；MM-表示分；SS-表示秒；系统时间由计算机的系统时间自动产生，地点代码信息共8位，前6位采用邮政编码，后2位由银行根据自己情况进行命名；比如浙江工业大学所述地区的邮政编码位310014，农业银行在该地区内的编码位01，那么地点代码信息就是31001401；加工后的人脸图像如附图8所示；

所述的周围环境监视模块，用于监视使用者周围环境视角范围区域，如果发现有人进入该区域并停留一段时间以上，系统自动发出警示，提示使用者引起重视并警示周围的人退出该领域；在发生窥视情况时，使用者周围环境视角范围区域必定包含有使用者，一般来说窥视者要看清楚使用者的输入的密码等信息，必须要靠近使用者并要停留一段时间；本发明中在定制使用者周围环境视角范围时已经考虑了距离使用者的多少范围以内再出现有人的情况是属于一种不安全的问题，关于多少范围在我们定制使用者周围环境视角范围时已经考虑了，比如在以使用者周围的3米以内，因此对于发生窥视情况的检测可以归纳为在使用者身边周围信息视频透视投影平面图中有使用者出现在该透视投影平面图像的中部并且附近出现有人停留一段时间的情况的检测；关于是否有使用者和除了使用者以外的人的检测，首先检测标志Flag_onuse是否为是，如果状态是是的话，表示有人在使用ATM机，然后根据在人脸检测与抽取模块中所得到的跟踪使用者面部区域的大小范围，按比例地覆盖在使用者周围环境视角透视投影平面图上，如附图9所示；这样经加工后的透视投影平面图中将不包含使用者的人脸，接着采用人脸检测与抽取模块中的人脸定位和跟踪算法，对经加工后的使用者周围环境视角透视投影平面图进行定位与跟踪，如果检测到在该透视投影平面图中还有人出现并跟踪时间超过一段时间Tstop，系统就判定为有窥视嫌疑，通过语音提示使用者引起重视并警示周围的人不要靠近使用者、向后退出该领域，提示和警示语可以是“欢迎使用ATM机，请当心后面有人窥视您的密码输入，为了保障ATM机的使用安全，请等候使用ATM机的人员向后想倒退几步按先后次序等候”；如果在发出警示语并经过一段时间T caution以后，仍然检测到有人的情况，系统发出的警示语音更加强烈，警示语可以是“请使用者注意，有人想窥视您的密码输入，为了保障ATM机的使用安全，请您立即停止密码的输入操作，并收好您的信用卡；等候使用ATM机的人员立即向后退，系统为了保障使用者的安全将拍摄现场图像”；同时将所拍摄的现场图像传输给银行相关管理部门；

所述的振动检测单元检测模块，用于检测ATM机是否受到了敲打拆卸等一些暴力作用，当ATM机的机身受到一定外力作用时，振动检测单元中的质量小球就会产生振动；一种传递对ATM机的作用外力的方案是悬臂梁固定在ATM机的上面，一个质量小球固定在悬臂梁上，如附图2所示；正常使用ATM机的情况，比如插卡、取卡、存钱、取钱、打印等动作对ATM机的机身作用力是有限的；当对ATM机施加敲打拆卸等一些暴力时所产生的对ATM机的机身作用力为F_abnormality的话，因此可以采用惯性式测振传感器中普遍采用的检测手段来检测ATM机的机身是否受到了一定外力的作用；我们用公式(34)来表达作用外力与ATM机的机身的加速度之间的关系，

F＝Ma                        (34)

式中：F为对ATM机的机身作用力，M为ATM机的机身的质量，a为在对ATM机的机身作用力时机身的加速度；

所述的振动检测单元由悬臂梁、质量小球、全方位视觉传感器组成。悬臂梁固定固定在ATM机的上，作用在ATM机的机身上的外力对ATM机产生振动加速度，该振动加速度使质量块产生惯性力，悬臂梁则相当于惯性系统的“弹簧”，在惯性力作用下产生弯曲变形。因此，梁的应变在一定的频率范围内与振动体的加速度成正比，根据公式(34)也可以得出梁的应变与作用外力成正比、质量小球的位移与作用外力成正比的结论；通过全方位视觉传感器检测质量小球的位移来间接检测作用在ATM机的机身上的外力的大小；

进一步，为了方便地通过视觉方式来检测质量小球的位移，本发明中将质量小球设计为具有明显颜色特征的圆形小球；

更进一步，为了检测在水平方向上的任何外力，本发明中将悬臂梁设计成具有弹性的圆形状长杆，如果我们将其简化为惯性系统中的“弹簧”，那么就可以将图10表示的振动检测单元用一个由质量-弹簧-阻尼器构成的弹簧质量振动单元(附图11所示的模型)来描述其工作原理；表示与大地保持相对静止的运动参照点，称为静基准，y表示ATM机身相对于该参照点的位移，称为绝对位移；x表示质量m相对于ATM机身的位移，称为相对位移，ATM机身的绝对运动通过弹簧带动质量块与ATM机的机身之间产生相对运动，其相对运动受到悬臂梁内(阻尼系数为c)的阻尼作用。两者之间的关系可用下列二阶常系数线性微分方程描述：

$\frac{d^{2}x}{{\mathrm{dt}}^2}+2D{\mathrm{\ω}}_0\frac{\mathrm{dx}}{\mathrm{dt}}+{{\mathrm{\ω}}_0}^{2}x=-\frac{d^{2}y}{{\mathrm{dt}}^2}=-a---\left(35\right)$

式中：ω₀-固有角频率， ${\mathrm{\ω}}_0=\sqrt{\frac{k}{m}},$ D-阻尼系数， $D=\frac{c}{2\sqrt{\mathrm{mk}}};$

对公式(35)进行拉氏变换，可以得到公式(36)；

$\frac{X\left(s\right)}{A\left(s\right)}=\frac{-1}{s^2+2D{\mathrm{\ω}}_{0}s+{{\mathrm{\ω}}_0}^2}---\left(36\right)$

将公式中的s＝jω(ω为振动角频率)，可求得质量小球相对运动的位移振幅x与ATM机的机身绝对运动的加速度振幅a的关系，用公式(37)表示，

$\frac{x}{a}=\frac{1/{{\mathrm{\ω}}_0}^2}{\sqrt{(1-\frac{{\mathrm{\ω}}^2}{{{\mathrm{\ω}}_0}^2})+{\left(2D\frac{\mathrm{\ω}}{{\mathrm{\ω}}_0}\right)}^2}}---\left(37\right)$

如果忽略圆形状长杆的质量，将质量集中在质量小球上考虑，圆形状长杆的等效弹簧刚度可以由下式进行计算，

$k=\mathrm{EI}\underset{0}{\overset{l}{\∫}}{x}^4\left(z\right)x\left(z\right)\mathrm{dz}---\left(38\right)$

式中：E、I表示悬臂梁的弹性模量、转动惯量，l表示悬臂梁的长度，x(z)表示悬臂梁的长度方向与宽度方向的函数关系，c表示悬臂梁的阻尼系数，当选择好某种材料做悬臂梁时，通过查相关材料手册能得到该材料的弹性模量、转动惯量、阻尼系数等参数；在设计时主要根据ATM机的机身在水平方向上受到某一个非正常的外力F_abnormality作用时，期望质量小球相对于ATM机的机身有一个输出位移r_abnormality，来设计确定悬臂梁的长度、直径以及质量小球的质量；比如我们将ATM机的机身在水平方向上受到某种外力为1Kg以上作为非正常的外力F_abnormality的话，那么检测到在该外力作用下质量小球的输出位移r_abnormality就作为判断阈值，如果质量小球的输出位移超过该阈值就判定为ATM机的机身受到了敲打拆卸等一些暴力的作用，系统自动发出警示并立即将现场的全景视频信息发送给相关部门，以便及时采取相应防范措施；

更进一步，如何去通过视觉的方式去检测质量小球的输出位移问题，本发明中专门设置有一个透视投影平面图用于采集质量小球的输出位移的图像，如附图6-c所示，由于质量小球采用了具有明显颜色特征的球体，本发明提出一种基于色差的最大熵阈值分割法来完成质量小球振动的检测，其检测流程附图12所示，下面针对检测流程详细说明如下：

1)色差计算

将待检测的质量小球振动图像进行分析，提取彩色的振动图像的R红色、G绿色、B蓝色分量，根据选定的色差类型：(R-G)、(R-B)、(G-R)、(G-B)、(B-R)或(B-G)，得到相应色差灰度图像，并计算色差灰度直方图；

由于在上述设计振动检测单元的过程中，已经事先确定了质量小球的颜色，因此可以很容易确定选择采用哪一种色差类型，使得前景色差灰度值和背景色差灰度值有明显的差异，且基本呈双峰分布，如当质量小球颜色采用红色时，采用的色差为(R-G)，可以突出R分量的比重，得到的色差图像的前景色差灰度值和背景色差灰度值将明显地呈双峰分布；

2)阈值计算

本发明中选取最大熵法来实现色差阈值的计算，其思想是：

a)熵的定义：

$H=-{\∫}_{-\∞}^{\∞}p\left(x\right)\mathrm{lgp}\left(x\right)\mathrm{dx}---\left(39\right)$

式中，p(x)是随机变量x的概率密度函数。

设n_i为图像中灰度级i的像素点数，p_i为灰度级i出现的概率，则：

$p_i=\frac{n_i}{N*N},i=\mathrm{1,2},,...,L---\left(40\right)$

式中，N*N为图像总的像素数，L为图像的总灰度级数。

b)假设图像中灰度小于t的像素点构成目标区域A，灰度级大于t的图像点构成目标区域B，那么各概率在基本区域中的分布分别为：

和

c)目标区域和背景区域的熵分别定义为：

$H_A\left(t\right)=-\underset{i}{\mathrm{\Σ}}(p_i/p_t)\lg (p_i/p_t),i=\mathrm{1,2},...,t---\left(41\right)$

$H_B\left(t\right)=-\underset{i}{\mathrm{\Σ}}[p_i/(1-p_t)]\lg (p_i/(1-p_t)),i=t+1,t+2,...,L---\left(42\right)$

e)熵函数定义为：

其中： $H_t=-\underset{i}{\mathrm{\Σ}}{p}_i\lg p_i,i=\mathrm{1,2},...,t;$ $H_L=-\underset{i}{\mathrm{\Σ}}{p}_i\lg p_i,i=\mathrm{1,2},...,L$

e)当熵函数取得最大值时对应的灰度值η就是所求的最佳阈值：

3)图像分割

根据阈值计算，将计算的色差阈值作为分割点，对图像进行前景和背景的分割。从二值图像中获得的白色区域就是提取的前景点，即质量小球，如图13所示；

更进一步，在透视投影平面图中提取出质量小球后，为了获得质量小球目前的坐标位置以便检测出质量小球的输出位移；包含有质量小球的透视投影平面图像在经过二值化处理之后，在目标区域会出现很多噪声点。这些噪声点主要体现为离散的噪声前景点和目标区域中的小孔等。这对下一步连通区域标识会带来不良影响，因此在进行连通区域标识前一般都要先进行去噪处理。

为了更有利于进行连通区域标识，本发明中通过数学形态学运算来实现去噪处理。利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔。

1、腐蚀在数学形态学中的作用是消除物体边界点和孤立点，使边界向内收缩的过程，可以把小于结构元素的物体去除。

2、膨胀在数学形态学中的作用与腐蚀的作用正好相反，它是对二值化物体边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程。如果两个物体之间的距离比较近，则膨胀运算可能会把两个物体连通到一起，膨胀对填补图像分割后物体中的空洞有显著效果。

本发明中的透视投影平面二值图像经过先腐蚀后膨胀的处理，经过腐蚀算子的处理二值化图像中的孤立噪声点能被很好地抑制，整个图像变得干净，有利于下一步的处理。经过膨胀算子的处理，目标区域中的小孔被很好地填充。经过处理后的振动目标轮廓虽有些变化，但是在一定精度下还是可以接受的。

接着通过连通域标识算法对同一连通区域中的所有点分配同一标记，连通域标识一般采用分为4连通或8连通域标识，4连通是指当前像素点的只有与该像素点的上、下、左、右四个位置上的像素点才有能构成连通关系，而8连通则还要再增加右上、右下、左上、左下四个位置上的像素点，本发明采用8连通域标识算法，算法如下；

step 1：从左到右，从上到下逐个像素扫描，扫描到黑色点。

step 2：若当前点的右上点也是黑色，则当前点跟右上点，并标记和右上点相同的值。

step 3：若当前点的右上点不是黑色，则判断正上点，如为黑色，则当前点跟正上点，并标记和正上点相同的值。

step 4：若当前点的右上点和正上点都不是黑色，则判断左上点，如为黑色，则当前点跟正上点，并标记和正上点相同的值。

step 5：若当前点的左上、正上、右上及左前四个点都不为黑，则把数标加1。

经过上述处理后，二值图中的每一个连通域都被标识出来，然后再重新从左到右、从上到下遍历一次连通域标识后的二值图，经过二值化图像的连通域标识，就可以把质量小球从背景中分离出来，接着利用连通区域外接矩形的坐标来得到质量小球的实际空间坐标；

具体求质量小球的实际空间坐标方法如下；先从左到右、从上到下遍历一次连通域标识后的二值图，计算外接矩形的左上角(X₁，Y₁)、右下角坐标(X₂，Y₂)，具体计算公式如下：

$\left\{\begin{array}{c}{X}_1=\min \left\{X_i\right\}\\ Y_1=\min \left\{Y_i\right\}\\ X_2=\max \left\{X_i\right\}\\ Y_2=\max \left\{Y_i\right\}\end{array}\right.---\left(45\right)$

其中，X_i和Y_i分别表示第i个连通区域中的像素点坐标。

本发明中将连通区域外接矩形的中心坐标近似的表示质量小球的坐标(x_i，y_i)，计算如下：

$\left\{\begin{array}{c}{x}_i=\frac{X_1+X_2}{2}\\ y_i=\frac{Y_1+Y_2}{2}\end{array}\right.---\left(46\right)$

附图14表示质量小球的坐标计算的结果，白色的矩形为检测的连通区域的外接矩形，矩形的对角线的交点即为所求的质量小球在成像平面上的坐标，然后利用公式(9)将透视投影平面的坐标点P(xi，yi)求质量小球在空间三坐标中的A1(X’₁，Y’₁，Z’₁)，如果在ATM机的机身没有受到任何外力作用时质量小球的位置为A0(X’₀，Y’₀，Z’₀)，那么就有如下判断标准，如公式(47)所示，

$r=\sqrt{{({X^{\′}}_1-{X^{\′}}_0)}^2+{({Y^{\′}}_1-{Y^{\′}}_0)}^2+{({Z^{\′}}_1-{Z^{\′}}_0)}^2}\≥r_{\mathrm{abnormality}}---\left(47\right)$

式中：r为质量小球当ATM机的机身收到外力时在三维空间上所偏离的位移；r_abnormality为质量小球当ATM机的机身受到了一个非正常的外力F_abnormality的作用时在三维空间上所偏离的位移，实际使用时需要对该外力F_abnormality和r_abnormality进行标定，比如采用1Kg的外力敲打ATM机的机身时所产生的r作为r_abnormality，那么F_abnormality与r_abnormality就存在着对应关系，一般来说外力F_abnormality越大所偏离的位移r就越大；

如果上述判断条件成立，就可以初步判断为ATM机的机身受到了一个大于或等于非正常的外力F_abnormality的作用，需要及时报警，要求管理人员通过监视装置进一步通过全景视频图像进行确认。

为了保护智能监控装置免受不法份子的破坏，在全方位视觉传感器以及振动检测单元的周围可以再加上一种用钢化玻璃做成的保护罩；为了在夜间能保证全方位视觉传感器的正常工作，有比较充足的照明，可以将照明光源配置在全方位视觉传感器的上面，附图15为带有照明和保护罩的基于全方位计算机视觉的ATM设备的智能监控装置。

实施例2

其余与实施例1相同，所不同的是采用两个摄像装置分别对振动检测单元、ATM机使用者以及使用者周围环境进行检测，用每个摄像装置所拍摄的视频图像替代实施例1中的透视投影平面视频图像。

上述的实施例1～2所产生的发明效果是对视觉传感器所获得的ATM机的使用者人脸部分进行加工，使得ATM机以及银行服务器能之间减少存储、传输视频图像的负担和提高浏览检索效率；增加了预防使用者在取款过程中被窥视的监视手段，能提高ATM机的使用者在存取款时的安全；具有检测犯罪分子对ATM机实施敲打拆卸等暴力活动的监控功能，一旦分析结果出现ATM可疑犯罪行为时将数字化的视频信息与分析结果可通过PSTN/ISDN/ADSL/LAN等途径传输到银行的监控中心，为实现ATM机的安全使用、防止对ATM机的犯罪提供一种先进的技术手段。

Claims (7)

1.一种基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：所述智能监控装置包括安装在ATM设备本体顶部的全方位视觉传感器、用于接收、处理及传输发布全方位视觉传感器的视频数据的微处理器、用于检测不法份子对ATM机实施敲打拆卸暴力活动的振动检测单元，所述振动检测单元固装在ATM机的机身上并位于全方位视觉传感器的附近，所述的全方位视觉传感器与微处理器连接，所述的全方位视觉传感器包括用于垂直向下的外凸折反射镜、摄像单元、下部底座，所述的外凸折反射镜为双曲面镜，所述的摄像单元位于所述双曲面镜的虚焦点位置，所述外凸折反射镜和摄像单元位于同一中心线上；所述的微处理器包括：

图像数据读取模块，用于读取从全方位视觉传感器传过来的视频图像信息；

图像展开处理模块，用于将读进来的圆形全景视频图像展开成使用者的脸部信息视频透视投影平面展开图、获取使用者身边周围信息视频透视投影平面展开图和振动检测单元的振动信息视频透视投影平面展开图；

所述的透视投影平面展开图是通过从双曲面镜的实焦点Om到透视投影坐标原点G引一条距离为D的线段Om-G，与所述Om-G相垂直的平面作为透视投影平面，从点A(X，Y，Z)向着焦点Om的光线在透视投影平面上有一个交点P(X，Y，Z)，通过透视投影平面的坐标点P(i，j)求空间三坐标中的A(X，Y，Z)，得到投影平面与空间三坐标的转换关系，转换关系式用公式(9)来表示：

X＝R*cosβ-i*sinβ                (9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

式(9)中：D为透视投影平面的中心点G到双曲面的实焦点Om的距离，β角度是入射光线在XY平面上投影与X轴的夹角，γ角度是入射光线在XZ平面上投影与X轴的夹角，i轴是与XY平面平行的横轴，j轴是与i轴和Om-G轴直角相交的纵轴；

人脸检测与抽取模块，用于将使用者的人脸视角的视频图像中人脸部分检测并抽取出来，同时将取款时间和取款地点信息合并到图像中并保存在存储单元中；

周围环境监视模块，用于监视使用者周围环境视角，如果发现有人进入该区域并停留一段时间以上，自动发出警示，提示使用者引起重视并警示周围的人退出该领域；

振动检测单元检测模块，用于检测ATM机是否受到了敲打拆卸暴力，当ATM机的机身受到外力作用时，振动检测单元的质量小球产生振动，通过视觉的方式来检测质量小球的位移是否超过阈值来判断ATM机是否受到了敲打拆卸暴力。

2.如权利要求1所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：所述的全方位视觉传感器还包括透明外罩，所述的外凸折反射镜面位于透明外罩的上方，所述的透明外罩的上端与外凸折反射镜面连接，所述的透明外罩的下端与下部底座连接，所述透明外罩位于所述中心线上。

3.如权利要求1或2所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：所述的振动检测单元由悬臂梁和质量小球组成，悬臂梁固定在ATM机上，悬臂梁与质量小球连接，悬臂梁为惯性系统的弹簧，在惯性力作用下产生弯曲变形。

4.如权利要求3所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：在所述的人脸检测与抽取模块中，采取最大类间方差阈值分割法，利用图像灰度直方图投影对使用者面部进行定位；采用卡尔曼滤波算法对使用者面部进行跟踪；在跟踪到人脸图像时，系统将标志Flag_onuse设置为是，否则设置为否；跟踪稳定后一段时间后获取该跟踪的人脸图像，同时读取微处理器中的系统时间和存储在基本信息单元中的ATM机地点配置信息，并一起与人脸图像加工，嵌入到人脸图像的下方，最后将保存的人脸图像文件名用22位长度的文件名进行保存。

5.如权利要求4所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：在所述的周围环境监视模块中，首先检测标志Flag_onuse是否为是，如果状态是是的话，表示有人在使用ATM机，然后根据在人脸检测与抽取模块中所得到的跟踪使用者面部区域的大小范围，按比例地覆盖在使用者周围环境视角透视投影平面图上，经加工后的透视投影平面图中将不包含使用者的人脸，接着采用人脸检测与抽取模块中的人脸定位和跟踪算法，对经加工后的使用者周围环境视角透视投影平面图进行定位与跟踪，当检测到在该透视投影平面图中有人出现并跟踪时间超过一段时间Tstop，判定为有窥视嫌疑。

6.如权利要求5所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：在所述的振动检测单元检测模块中，采用基于色差的最大熵阈值分割法检测质量小球在透视投影平面图中的前景点，接着进行连通区域标识处理方式去除干扰信号，利用连通区域外接矩形的中心坐标来得到质量小球的实际空间坐标；利用公式(9)将透视投影平面的坐标点P(i，j)求质量小球在空间三坐标中的A1(X₁，Y₁，Z₁)，

X＝R*cosβ-i*sinβ            (9)

Y＝R*sinβ+i*cosβ

Z＝D*sinγ-j*cosγ

R＝D*cosγ+j*sinγ

通过当ATM机的机身没有受到任何外力作用时质量小球的位置(X′₀，Y′₀，Z′₀)与目前质量小球的位置A1(X′₁，Y′₁，Z′₁)，采用公式(47)来判断是否存在着非正常的外力F_abnormality的作用，

$r=\sqrt{{({X^{\′}}_1-{X^{\′}}_0)}^2+{({Y^{\′}}_1-{Y^{\′}}_0)}^2+{({Z^{\′}}_1-{Z^{\′}}_0)}^2}\≥r_{\mathrm{abnormality}}---\left(47\right)$

式中：r为质量小球当ATM机的机身受到外力时在三维空间上所偏离的位移；r_abnormality为质量小球当ATM机的机身受到了一个非正常的外力F_abnormality的作用时在三维空间上所偏离的位移，实际使用时需要对该外力F_abnormality和r_abnormality进行标定，采用1Kg的外力敲打ATM机的机身时所产生的r作为r_abnormality，那么F_abnormality与r_abnormality就存在着对应关系，外力F_abnormality越大所偏离的位移r就越大；

如果上述判断条件成立，判断为ATM机的机身受到了一个大于或等于非正常的外力F_abnormality的作用。

7.如权利要求3所述的基于全方位计算机视觉的ATM设备的智能监控装置，其特征在于：所述全方位视觉传感器和振动检测单元安装在保护罩内，所述保护罩为钢化玻璃保护罩；在所述全方位视觉传感器的上方安装照明装置。

Images