CN102610035A - 金融自助设备及其防偷窥系统和方法 - Google Patents

Abstract

本发明提供一种防偷窥系统，其应用于一金融自助设备，该防偷窥系统包括：一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，用于摄取原始图像数据并进行三维立体重建以获得每一图像相对于金融自助设备的距离信息；一异常检测模块，包括人脸检测单元和视角计算单元，用于检测是否存在多个人脸并计算人眼注视的视角范围以判断其是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。该方案可以大大提高判断偷窥者的准确率，减少报警的误报率。

Description

金融自助设备及其防偷窥系统和方法

技术领域

本发明涉及一种金融自助设备，尤其是金融自助设备的防偷窥系统和偷窥检测及报警的方法。

背景技术

随着我国经济的迅速发展，纸币的流通日益增多，自助终端设备已成为现代商业银行为用户提供服务的主要途径。随着自助终端设备的广泛应用，自助终端安全问题日益凸现，特别是在金融自助设备周边安全问题，如偷窥密码、偷换卡等。针对金融自助设备周边安全问题，现有的防范措施主要有防窥镜，基于物理隔离的安全岛等。

专利20090214311.7提出了一种金融自助服务终端及其安全区域的控制方法：图像摄取模块依据基准线标定该安全区域控制系统，图像处理模块根据欲交易者与标定基准线的成像位置关系判断控制安全区域内的交易者个数，当交易者个数有多个时进行提醒报警。

然而，基于人脸检测的安全防范技术是利用金融自助设备上安装摄像头，进行人脸的判断，若出现多个人脸，根据人脸之间的位置关系，进而进行判定是否有偷窥事件发生，这样很容易发生误报现象，给交易客户带来了不必要的紧张。如当有人从交易者身后通过，人脸信息被摄像头捕捉，会发生误报现象；在多台ATM机并排放置时，由于交易人数较多，会发生排队现象，ATM机的摄像头，可能会把正常排队人员(并没有偷窥屏幕)误认为是偷窥者，产生误报。

因此，在基于人脸检测的安全防范技术上，还有待提高检测的准确率，减少报警的误报率。

发明内容

本发明的目的之一在于提供一种金融自助设备，其具有防偷窥的功能，提高设备安全性。

本发明的目的之二是提供该金融自助设备的防偷窥系统。

本发明还提供该金融自助设备的防偷窥方法。

该金融自助设备的防偷窥系统包括图像摄取及处理模块、存储模块、异常检测模块及报警模块，该图像摄取及处理模块包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该至少一对图像传感器位于同一水平面且设置在该金融自助设备的一机壳上，用以摄取监控场景的原始图像数据；将离显示屏幕中心半径为一预定距离且能同时被所述的一对水平设置的图像传感器捕捉的区域，设置为一安全区域；该图像摄取控制器用以初始化图像传感器以及控制该至少一对图像传感器提供采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得图像中人脸相对于金融自助设备的距离信息；该存储模块用于存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；该异常检测模块包括人脸检测单元和人眼视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；人眼视角计算单元计算人眼注视的视角方向，用以判断距离金融自助设备较远的在后人脸是否注视操作面板或显示屏幕；该报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。

优选的，该异常检测模块还包括一遮挡判别单元，在该视角计算单元判断该在后人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后人脸的视线是否被距离金融自助设备较近的在先人遮挡。

可选择的，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和/或语音提示客户。

本发明提供的防偷窥方法，运行于一金融自助设备，其依次包括：步骤(1)，通过一图像摄取模块采集原始图像；步骤(2)，利用原始图像进行三维立体重建，计算图像中人脸相对于该金融自助设备的距离信息；步骤(3)，判断安全区域内是否有多个人脸图像，如果有多个人脸，则进行步骤(4)，否则回到步骤(1)；步骤(4)，通过一异常检测模块进一步计算在后人脸的人眼注视角度，判断在后人脸是否注视操作面板或显示屏幕，如果是，则进行步骤(5)，否则回到步骤(1)；以及步骤(5)，报警，通过显示文字、图像和/或语音提示客户有被偷窥事件。

优选的，该步骤(4)与步骤(5)之间还包括视线遮挡判断的步骤，通过异常检测模块进一步判断在后人脸其视线是否被在距离金融自助设备较近先人遮挡，如果是，则回到步骤(1)，如果否，则进行步骤(5)。

具体的，该步骤(2)进一步包括：步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像；步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息。

优选的，该步骤(3)中该安全区域为离显示屏幕中心半径为0.8～1.5m且能同时被所述的一对水平设置的图像传感器捕捉的区域，当然根据金融自助设备安全性的实际需要，该区域可以按需设定。

本发明提供的一种金融自助设备，其包括机壳、内部机芯以及一防偷窥系统，该防偷窥系统包括：一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该对图像传感器位于同一水平面且设置在该机壳上，用以摄取监控场景的原始图像数据；该图像摄取控制器用以初始化图像传感器以及控制至少一对图像传感器采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得每一图像中人脸相对于金融自助设备的距离信息；一存储模块，存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；一异常检测模块，包括人脸检测单元和视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；视角计算单元计算人眼注视的视角方向，用以判断在后人脸是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。

优选的，该异常检测模块还包括一遮挡判别单元，在该视角计算单元判断在后的人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后的人脸其视线是否被在先的人遮挡。

优选的，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和/或语音提示客户

本发明在基于人脸检测进行安全防范的现有技术上，进一步对多个人脸与金融自助设备间距离进行判断，且对在后的人脸进行注视角度计算，以其是否注视操作面板或显示屏幕为依据，判断其是否偷窥在先的当前用户，从而报警提示。这样可以大大提高判断偷窥者的准确率，减少报警的误报率。进一步的，在确定在后的人脸其注视操作面板或显示屏幕时，还可再进行视线遮挡判断，即判断在后的人其视线是否被在先的当前用户遮挡，如果被遮挡，则可判断在后的人为排队者，不是偷窥者，从而不需要报警。这样，更进一步提高了判断的准确率，降低报警的误报率。

附图说明

图1是本发明优选实施例提供的一种防偷窥系统的框架图；

图2是本发明优选实施例提供的防偷窥方法流程图；

图3是图像摄取及处理模块中图像传感器的安装位置示意图；

图4是双目摄像头立体重构方法示意图；

图5是三维立体重构方法流程图；

图6是安全区域设置方法示意图；

图7是人眼注视角度计算方法示意图；

图8是尾随偷窥者判断方法示意图；

图9是视线遮挡判断方法示意图；以及

图10是报警情形示意图。

具体实施方式

为进一步阐述本发明，以下结合图示介绍本发明的具体实施例，该实施例以自动柜员机为例，说明金融自助设备及其防偷窥系统及方法。

图1是该较佳实施例提供的的防偷窥系统100的框架图，该防偷窥系统100包括图像摄取及处理模块40、存储模块、异常检测模块60及报警模块80，该图像摄取及处理模块40包括一图像摄取控制器41、一对图像传感器42以及一图像处理单元43。该对图像传感器42设置在该金融自助设备的机壳上，且设置在同一水平面上，如同人体的一对眼睛，用以摄取监控场景的原始图像数据；该图像摄取控制器41用以初始化图像传感器42且控制该至少一对图像传感器42采集同步的信号；该图像处理单元43用以将原始图像数据进行三维立体重建并获得图像中人脸相对于金融自助设备的距离信息。该存储模块用于存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；该预定距离用于划定金融自助设备操作的安全区域，该安全区域为离显示屏幕中心半径为0.8～1.5m(优选1m)且能同时被所述的一对水平设置的图像传感器捕捉的区域，该异常检测模块60包括人脸检测单元61、视角计算单元62以及遮挡判别单元63。该人脸检测单元61检测该安全区域内是否有多个人脸；该视角计算单元62计算人眼注视的视角方向，用以判断距离金融自助设备较远在后人脸是否注视操作面板或显示屏幕；该遮挡判别单元63用以进一步判断在后的人脸其视线是否被距离金融自助设备较近在先的人遮挡。该报警模块80包括显示单元81和声音单元82，分别通过显示文字、图像和/或语音提示客户。

需要说明的是，该异常检测模块60中视角计算单元62的设置，是对在后的人脸进行注视角度计算，以其是否注视操作面板或显示屏幕为依据，判断其是否偷窥在先的当前用户，从而报警提示该当前用户，这样已经大大提高了报警的准确率，相对于现有的人脸检测安全防范技术已经有了长足的进步。而遮挡判别单元63的设置，则是进一步对在后的人其视线是否被在先的当前用户遮挡进行判断，把视线被当前用户遮挡的正常排队等候的人员排除在偷窥者之外，从而进一步提高了报警的准确率，是本发明的优选方案。

以下说明该防偷窥系统执行防偷窥方法的流程，如图2所示，该防偷窥方法包括：

步骤1，通过一图像摄取模块采集原始图像；如图3所示，在自动柜员机的显示屏幕上方左右两端分别安装图像传感器，也就是摄像头C1和C2，其中该两个摄像头C1和C2处于同一水平面上，用于采集原始图像数据。当然，在这一步骤应当进行人脸检测，也就是说，判断该原始图像数据中是否包括人脸，如果包括有人脸，再进行步骤2，否则当然无进展后续步骤的必要。

步骤2，对原始图像进行三维立体重建，获取图像中人物相对于该金融自助设备的距离信息；如图4所示，利用两个摄像头C1和C2获取到的图像寻找对应点来完成立体成像。通过这样的对应点、及两摄像机之间距离T，可以计算人脸的三维位置。两个摄像头的立体成像过程包括如图5所示的四个步骤：步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像；步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息，从而可确定哪个人脸离金融自助设备较近，哪个人脸离金融自助设备较远，距离金融自助设备较近的人脸我们称为在先的人脸，距离金融自助设备较远的人脸我们称为在后的人脸。当存在多个人脸时，一般来说，距离金融自助设备较近的人确定为交易者，也就是当前用户，而距离金融自助设备较远的人为尾随者，为当前用户以外的人员，当然其是否为偷窥者则需要后续进一步的判断，即进行步骤3。

步骤3，将在后人脸相对于该金融自助设备的距离与存储模块中存储的预定距离比较，若人脸相对于该金融自助设备的距离小于预定距离，则该人脸位于安全区域内，否则位于安全区域外。如图6所示，摄像头C1和C2都有各自的拍摄视角，离显示屏幕中心半径为x米内，并且能同时被摄像头C1和C2捕捉的区域，设置为安全区域，本实例中x＝1。x可以为0.8至1.5米之间的任意一距离，根据金融自助设备安全性的实际需要设定。

如果该异常检测模块的人脸检测单元检测到有多个人脸在该安全区域，则进行步骤4，否则回到步骤1；本实例中采用Haar分类器对人脸进行检测。

步骤4，该异常检测模块进一步计算在后的人脸的人眼注视角度，判断在后的人脸是否注视操作面板或显示屏幕，如果是，则进行步骤S，否则回到步骤1；检测到人脸后，确定出双眼及鼻子的位置，利用人眼中心、眼球中心及鼻子中心的关系，可确定人眼视角。具体可参考2003年6月11日公开的申请号为02131191.9的专利申请。如图7所示，以判断人眼是否注视显示屏幕为例，以屏幕的中心为原点坐标，建立右手坐标系。可以得到人眼坐标在三维中的坐标系。人眼注视线与x坐标轴，y坐标轴，z坐标轴的夹角分别为：α，β，γ，可以由以下方程得到人眼的注视点。如图7所示，显示屏幕所在的平面为z＝0；显示屏幕的区域为(-m＜＝X＜＝m，-n＜＝y＜＝n，z＝0，屏幕的长为2m，高为2n)，假设人眼坐标为(x1，y1，z1)，人眼注视点为(x0，y0，z0)，因为我们关注的是尾随者是否偷窥显示屏幕上的信息，而显示屏幕位于z＝0平面，因此，我们假设注视点都在z＝0平面内。d为人眼(x1，y1，z1)到注视点(x0，y0，z0)的距离。

由 $\left\{\begin{array}{c}\frac{x1-x0}{d}=\cos \mathrm{\α}\\ \frac{y1-y0}{d}=\cos \mathrm{\β}\\ \frac{z1-z0}{d}=\cos \mathrm{\γ}\\ z0=0\end{array}\right.$ 可得到： $\left\{\begin{array}{c}x0=x1-z1\·\frac{\cos \mathrm{\α}}{\cos \mathrm{\γ}}\\ y0=y1-z1\·\frac{\cos \mathrm{\β}}{\cos \mathrm{\γ}}\\ z0=0\end{array}\right.$

若-m＜＝x0＜＝m，且-n＜＝y0＜＝n，则人眼注视显示屏幕。

步骤S，视线遮挡判断，该异常检测模块进一步判断在后的人脸其视线是否被在先的人遮挡，如果是，则回到步骤1，如果否，则进行步骤5。如图8所示，交易者身后有三个尾随者，尾随者A可能为在其它ATM机前等候取款者，或者为路过者，注视的方向不为显示屏幕的方向，因此，判定为非偷窥者。尾随者B可能为在此ATM机前等候取款者，尾随者B的视线被交易者遮挡，无法观测到显示屏幕上的信息，因而判定为非偷窥者。尾随者C的注视方向为显示屏幕，且视线没有被遮挡，因而，尾随者C判定为偷窥者。具体的，判断视线是否被遮挡的方法为：如图9所示，利用双目摄像头重建交易者的人体三维立体图，平面z＝t(t＞0)与人体的交集记为Ω，当交集数量达到最大时，记为z＝t0，Ω＝Ω0，此时，由尾随者人眼坐标(x1，y1，z1)，及人眼注视线与坐标轴x，坐标轴y，坐标轴z的夹角分别为α，β，γ，可得到人眼注视线与平面z＝t0的交点(x00，y00，z00)。

$\left\{\begin{array}{c}x00=x1-(z1-t0)\·\frac{\cos \mathrm{\α}}{\cos \mathrm{\γ}}\\ y00=y1-(z1-t0)\·\frac{\cos \mathrm{\β}}{\cos \mathrm{\γ}}\\ z00=t0\end{array}\right.$

若(x00，y00，z00)属于交集Ω0，则判定为尾随者的视频被遮挡，为非偷窥者。

步骤5，报警，通过显示文字、图像和/或语音提示客户有被偷窥事件。如图10所示，在发生尾随偷窥事件时，在显示屏幕上显示视频图像，并标记出偷窥者的人脸位置，并辅以声音及文字提醒，使得交易者注意保护好自己的个人信息。

需要说明的是，步骤S的设置是为了进一步提高报警的准确率，也就是说，在省略步骤S的情况下，由步骤4判断尾随者注视操作面板或显示屏幕时直接进入步骤5进行报警，相对于现有技术判断安全区域内有多个人脸即报警来说，已经有了长足的进步，因此步骤S的设置是本发明的优选实施例，在判断尾随者注视操作面板或显示屏幕的基础上进一步判断其视线是否被交易者遮挡，从而可将正常排队的人员排除在偷窥者之列，进一步减少了报警的误报率。

本发明还提供一种金融自助设备，其包括机壳、内部机芯以及一防偷窥系统，该防偷窥系统包括：一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该对图像传感器位于同一水平面且设置在该机壳上，用以摄取监控场景的原始图像数据，且将离显示屏幕中心半径为一预定距离且能同时被所述的一对水平设置的图像传感器捕捉的区域，设置为一安全区域；该图像摄取控制器用以初始化图像传感器以及控制该至少一对图像传感器采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得图像中人脸相对于金融自助设备的距离信息；一存储模块，存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；一异常检测模块，包括人脸检测单元和视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；视角计算单元计算人眼注视的视角方向，用以判断在后的人脸是否注视操作面板或显示屏幕；以及一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。优选的，该异常检测模块还包括一遮挡判别单元，在该视角计算单元判断在后的人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后的人脸其视线是否被在先的人遮挡。

该金融自助设备在基于人脸检测进行安全防范的现有技术上，进一步对多个人脸与金融自助设备间距离进行判断，且对在后的人脸进行注视角度计算，以其是否注视操作面板或显示屏幕为依据，判断其是否偷窥在先的当前用户，从而报警提示。这样可以大大提高判断偷窥者的准确率，减少报警的误报率。进一步的，在确定在后的人脸其注视操作面板或显示屏幕时，还可再进行视线遮挡判断，即判断在后的人其视线是否被在先的当前用户遮挡，如果被遮挡，则可判断在后的人为排队者，不是偷窥者，从而不需要报警。这样，更进一步提高了判断的准确率，降低报警的误报率。

以上仅是本发明的优选实施方式，应当指出的是，上述优选实施方式不应视为对本发明的限制，本发明的保护范围应当以权利要求所限定的范围为准。对于本技术领域的普通技术人员来说，在不脱离本发明的精神和范围内，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (9)

1.一种防偷窥系统，其应用于一金融自助设备，该防偷窥系统包括：

一图像摄取及处理模块，其包括一图像摄取控制器、至少一对图像传感器以及一图像处理单元，该至少一对图像传感器位于同一水平面且设置在该金融自助设备的一机壳上，用以摄取监控场景的原始图像数据，将离显示屏幕中心半径为一预定距离且能同时被所述的一对水平设置的图像传感器捕捉的区域，设置为一安全区域；该图像摄取控制器用以初始化图像传感器以及控制该至少一对图像传感器采集同步信号；该图像处理单元用以将原始图像数据进行三维立体重建并获得每一图像中人脸相对于金融自助设备的距离信息；

一存储模块，存储预定距离，两个摄像头之间的距离，及上述采集的原始图像数据；

一异常检测模块，包括人脸检测单元和人眼视角计算单元，人脸检测单元检测该安全区域内是否有多个人脸；视角计算单元计算人眼注视的视角方向，用以判断距离金融自助设备较远的在后人脸是否注视操作面板或显示屏幕；以及

一报警模块，用以对该异常检测模块的检测结果进行响应以提醒当前客户是否被偷窥。

2.如权利要求1所述的防偷窥系统，其特征在于，该异常检测模块还包括一遮挡判别单元，当在后人脸注视操作面板或显示屏幕时，该遮挡判别单元用以进一步判断在后人脸的视线是否被距离金融自助设备较近的在先人遮挡。

3.如权利要求1或2所述的防偷窥系统，其特征在于，该报警模块包括显示单元和/或声音单元，分别通过显示文字、图像和/或语音提示客户。

4.如权利要求1所述的防偷窥系统，其特征在于，该预定距离为0.8～1.5m之间的任意一距离，根据金融自助设备安全性的实际需要设定。

5.一种防偷窥方法，运行于一金融自助设备，其依次包括：

步骤(1)，通过一图像摄取模块采集原始图像；

步骤(2)，利用原始图像进行三维立体重建，计算图像中人脸相对于该金融自助设备的距离信息；

步骤(3)，判断安全区域内是否有多个人脸图像，如果有多个人脸，则进行步骤(4)，否则回到步骤(1)；

步骤(4)，通过一异常检测模块进一步计算距离金融自助设备较远的在后人脸的人眼注视角度，判断该在后人脸是否注视操作面板或显示屏幕，如果是，则进行步骤(5)，否则回到步骤(1)；以及

步骤(5)，报警，通过显示文字、图像和/或语音提示客户有被偷窥事件。

6.如权利要求5所述的防偷窥方法，其特征在于，该步骤(4)与步骤(5)之间还包括视线遮挡判断的步骤，通过异常检测模块进一步判断注视操作面板或显示屏幕的人脸的视线是否被距离金融自助设备较近在先的人遮挡，如果是，则回到步骤(1)，如果否，则进行步骤(5)。

7.如权利要求5或6所述的防偷窥方法，其特征在于，该步骤(2)进一步包括：

步骤(21)，消除畸变，使用数学方法消除径向和切向方向上的镜头畸变；

步骤(22)，摄像机矫正，调用图像传感器间的角度和距离，输出行对准的矫正图像；

步骤(23)，图像匹配，查找左右图像传感器视场中的相同特征，得到视差图；以及

步骤(24)，重投影，利用图像传感器的相对几何位置，将视差图通过三角测量的方法转成距离信息。

8.一种金融自助设备，其特征在于其包括：机壳、内部机芯、工控机、显示屏、人机交互模块、读卡模块、以及如权利要求1所述的一防偷窥系统。

9.如权利要求8所述的金融自助设备，其特征在于进一步包括打印模块。

Images