CN102004923B - 在监视系统中检测行动的方法和装置 - Google Patents

Abstract

本发明提供在监视系统中检测行动的方法和装置。根据一实施方式，行动检测装置包括图像取得单元、特征取得单元、行动识别单元和检测单元。图像取得单元用来取得检测对象的图像信息。特征取得单元用来基于上述图像信息取得上述检测对象的信息。行动识别单元用来基于上述特征信息识别上述检测对象的行动。检测单元用来基于上述行动识别单元的行动识别结果与表示上述检测对象的行动计划的行动计划信息之间的比较结果，检测上述检测对象的异常行动。

Description

在监视系统中检测行动的方法和装置

本申请基于2009年8月26日提出申请的日本专利申请第2009-195365号并主张其优先权，这里引用其全部内容作为参考。

技术领域

本发明涉及利用图像处理来检测人物的异常行动的技术。

背景技术

近年来，在数据中心(也包括计算机中心)中，提供称作主机托管服务(collocation service)的信息关系的服务。所谓主机托管服务，是将数据中心管理运营的服务器机房租借给作为用户的一般企业等的服务。通常，在服务器机房中，设置有多台服务器。

在主机托管服务中，也有数据中心的用户拥有设置在服务器机房中的服务器、由用户自身进行该服务器的维护的情况。在这样的情况下，用户对服务器机房派遣作业人员，实施服务器及外围设备(例如盘驱动器等)的维护。

这里，在服务器机房中，还设置有其他用户使用的服务器。在要求高水平的安全的确保的服务器机房中，一般通过使用生物体认证功能或IC卡的对照装置等，进行严格的进出管理。但是，并没有用来严格地管理入室到服务器机房中的作业员等的人物的行动、例如防止物理的非法访问(access，本文中也有接近或使用之意)服务器等造成的信息泄露的机制。

以往，提出了将预先登记的维护作业预约与被维护服务器中的维护作业日志比较、在事后检测非法行为的系统。该现有技术的系统是在事后检测非法行为，可以说是关于信息安全功能的。但是，为了将对设置在上述服务器机房中的服务器进行的、物理的非法访问造成的信息泄露排除，需要检测人物的异常行动、将物理的非法访问等的非法行为防患于未然，也就是需要所谓的物理安全功能。

发明内容

行动检测装置包括图像取得单元、特征取得单元、行动识别单元和检测单元。图像取得单元用来取得检测对象的图像信息。特征取得单元用来基于上述图像信息取得上述检测对象的信息。行动识别单元用来基于上述特征信息识别上述检测对象的行动。检测单元用来基于上述行动识别单元的行动识别结果与表示上述检测对象的行动计划的行动计划信息之间的比较结果，检测上述检测对象的异常行动。

附图说明

图1是用来说明有关实施方式的监视系统的结构的框图。

图2是用来说明有关实施方式的图像处理单元的结构的框图。

图3是用来说明有关实施方式的图像处理单元的动作的流程图。

图4是用来说明有关实施方式的监视系统的动作的流程图。

图5是用来说明有关实施方式的监视系统的动作的时序图。

图6是用来说明有关实施方式的监视系统的动作的时序图。

具体实施方式

总体上，根据一实施方式，行动检测装置包括图像取得单元、特征取得单元、行动识别单元和检测单元。图像取得单元用来取得检测对象的图像信息。特征取得单元用来基于上述图像信息取得上述检测对象的信息。行动识别单元用来基于上述特征信息识别上述检测对象的行动。检测单元用来基于上述行动识别单元的行动识别结果与表示上述检测对象的行动计划的行动计划信息之间的比较结果，检测上述检测对象的异常行动。

以下，参照附图说明实施方式。

[系统的结构]

图1是用来说明有关实施方式的监视系统的结构的框图。

监视系统10大体上具有判断单元11、图像处理单元12、进出管理单元13、和业务管理单元14，是通过计算机系统的硬件及软件实现的结构。

另外，各功能单元12～14也可以是分别由计算机构成、通过网络连结而能够进行信息的收发的结构。在网络中，不仅包括LAN等的计算机网络，还包括与便携电话等连接的通信网络。

判断单元11基于从图像处理单元12、进出管理单元13及业务管理单元14提供的信息，执行判断例如服务器机房的进出室者及入室的人物的行动是否适当的良否判断动作。即，判断单元11是在人物的行动不适当的情况下检测为异常行动的异常行动检测单元。在本实施方式中，作为监视范围而设想了服务器机房。

图像处理单元12具有处理从照相机等的传感器15输入的图像信息、识别监视对象的人物的行动的功能。图像处理单元12参照储存有行动识别信息的数据库20及储存有作业位置信息的数据库21。

进出管理单元13例如基于来自使用IC卡的认证单元16的认证结果，管理服务器机房的进出室者。进出管理单元13根据认证单元16的认证结果取得个人属性信息，储存到数据库22中。进出管理单元13控制设在服务器机房的自动门等的物理门17的开闭。

业务管理单元14管理储存在数据库23中的作业预约信息。即，业务管理单元14将从运营服务器机房的数据中心的操作者输入的作业预约信息登记在数据库23中，对应于来自判断单元11的请求而提供登记在数据库23中的作业预约信息。

所谓作业预约信息，是关于在服务器机房内作业的作业者事前对数据中心的管理者申请的服务器机房内的计划作业内容的信息。具体而言，作业预约信息包括作业内容、作业日期时间、作业场所、作业步骤、作业区域或机架的位置、服务器的位置信息等。

图像处理单元12如图2所示，包括图像取得单元120和行动识别单元121。图像取得单元120取得从传感器15输入的图像信息，保存到内部的缓冲存储器中。传感器15是设置在服务器机房内的多个照相机150、或激光检测器151、或者红外线传感器152。在本实施方式中，图像取得单元120取得由照相机150对服务器机房内的人物进行摄影而得到的图像信息(影像信息)。

[系统的动作]

以下，参照图3到图6，说明本实施方式的系统的动作。

首先，参照图4的流程图及图5的时序图，说明当作业者进入到服务器机房中时、监视系统10的进出管理单元13的动作。这里，所谓的作业者，为从运营服务器机房的数据中心的用户派遣的人物。

作业者使用IC卡对设置在服务器机房的入口的认证单元16进行访问(access)。认证单元16从IC卡读取个人属性信息，执行认证处理。进出管理单元13从认证单元16的认证结果中取得个人属性信息，储存到数据库22中。

判断单元11将从进出管理单元13得到的个人属性信息与事前登记的作业预约信息比较，进行作业预约人物与入室者是否一致的判断(步骤S11)。此时，判断单元11如图5所示，从业务管理单元14取得登记到数据库23中的作业者名、作业日程、作业预约时刻等作业预约信息(步骤S12)。

判断单元11在能够得到作业预约人物与入室者一致、并且作业预约时刻与入室时刻大致一致的判断结果的情况下，判断作业者是适当的入室者(步骤S11的是)。在此情况下，系统10如图5所示，例如将电子锁开锁，将服务器机房的自动门等的物理门17打开。由此，作业者能够进入到服务器机房内。

另一方面，系统10在判断单元11的判断结果不一致的情况下不将电子锁开锁而维持物理门17的关闭状态(步骤S11的否，S13)。因而，在作业者不适当的情况下，该作业者不能入室到服务器机房内。

接着，说明作业者入室到服务器机房内之后的系统10的动作。以下，参照图3的流程图，主要说明图像处理单元12的动作。

在本实施方式中，在服务器机房内，设置有多个照相机150。照相机150对入室到服务器机房内的人物进行摄影。在图像处理单元12中，图像取得单元120将从照相机150发送的图像信号(影像信号)变换为图像信息(影像信息)并取得(步骤S3)。

这里，如果图像处理单元12是单眼图像处理方式，则图像取得单元120取得1台照相机150的摄影带来的图像信息。此外，如果图像处理单元12是立体图像处理方式，则图像取得单元120根据从两台照相机150发送的图像信号取得立体图像信息。在本实施方式中，在照相机150的台数及视场角等的方面没有限制。

这里，图像处理单元12在事前输入图像处理所需要的模型的文件，执行该模型的初始化处理(步骤S1、S2)。图像处理单元12通过所取得的图像信息的图像处理，识别入室到服务器机房内的人物(这里是作业者)的行动(主要是向服务器的访问行为)。此外，确定作业者正在访问的服务器位置。即，图像处理单元12基于图像处理结果生成作业者的行动识别信息(包括已访问的服务器的位置信息等)。以下，详细地进行说明。

行动识别单元121基于所取得的图像信息，执行行动识别处理(步骤S4)。此外，行动识别单元121也执行作业(访问)位置的确定处理。行动识别单元121将行动识别处理结果(行动识别结果文件)及作业位置信息(位置信息文件)输出给判断单元11，并且输出到计算机系统的终端的显示画面上(步骤S5)。

这里，在服务器机房内，识别的行动内容，例如是服务器主体的机架的开闭、盘驱动器(HDD)的更换、USB存储器的插拔、键盘或鼠标的操作、铺设缆线等，是关于对服务器或机架等的设备的所谓物理访问的行动。此外，作为作业(访问)位置的确定，例如是与外部单元媒体之间的接口的地方。

行动识别单元121在服务器机房内还进行对应于例如盘驱动器的盗窃或破坏等的犯罪行为的行动的识别处理。此外，行动识别单元121在作业者的姿势(例如站立的状态、半弯腰的状态、蹲着的状态)、或服务器的高度不同的情况下，也识别对服务器的物理访问的行为。行动识别单元121作为作业(访问)位置的确定处理，确定作业者存在的服务器机房内的区域存在于哪个机架之前、或正在访问哪个服务器等。

作为这样的行动识别单元121的行动识别处理，在以规则基础识别行动的方法中，能够基于关于特定的特征量信息的阈值设定进行识别处理。例如，在识别作业者以蹲着的姿势插入USB存储器的行为的情况下，在特征量信息中基于人物的高度信息等判断姿势。此外，基于人物的轮廓等的特征量信息识别插入USB存储器的行为。此时，作为识别的基准的阈值为可变。

如以上所示，作为作业者入室到服务器机房内之后的系统10的动作，如图4的流程图所示，图像处理单元12通过照相机150的摄影取得该作业者的图像信息(步骤S14)。图像处理单元12执行通过行动识别单元121识别作业者的行动内容及作业(访问)位置的行动识别处理(步骤S15)。

接着，系统10的判断单元11基于从图像处理单元12输出的行动识别结果(行动信息)，执行服务器机房内的作业者的作业(行动或行为)是否是异常行动的判断(步骤S16)。具体而言，判断单元11参照登记在数据库23中的作业预约信息，将该作业预约信息与行动信息(即行动识别结果)比较(步骤S17)。这里，将作业预约信息和行动信息通过由进出管理单元13管理的个人属性信息建立了关联。

这里，如图5所示，判断单元11从业务管理单元14取得登记到数据库23中的作业预约信息。业务管理单元14将从运营服务器机房的数据中心的操作者输入的作业预约信息登记到数据库23中。所谓作业预约信息，是在服务器机房内进行作业的作业者在事前对数据中心的管理者申请的关于服务器机房内的预约作业内容的信息。具体而言，作业预约信息包括作业者的所属及姓名、作业计划(schedule)(开始时刻、结束时刻等)、作业内容、作业场所、作业步骤、作业区域或机架的位置、服务器的位置信息等。

判断单元11在比较结果一致的情况下，判断作业者的作业是适当的(步骤S16的是)。系统10通过将判断单元11的判断结果输出到终端的显示画面上，对数据中心的操作者或服务器管理者进行通知(步骤S18)。

另一方面，判断单元11在比较结果不一致的情况下，判断作业者的作业是不适当的(步骤S16的否)。即，判断单元11检测到作业者的异常行动。这里，判断单元11作为比较处理，也可以将时间轴上的作业预约信息与行动信息(行动识别结果)比较来检测异常行动。即，在作为作业预约信息而包含有指定了日期时间或时刻的作业内容的情况下，与相同日期时间或时刻的行动信息进行比较。具体而言，例如是更换服务器的盘驱动器的作业作为作业预约信息而指定了日期时间或时刻的情况。在此情况下，当识别出作业者的行动是更换盘驱动器的作业时，在其日期时间或时刻不同的情况下，检测到该作业者的作业是异常行动。

在判断单元11的判断结果中是作业不适当的情况下，如图6所示，系统10将服务器机房的入口的电子锁上锁，将物理门17锁上(步骤S19)。即，在判断为作业者进行了非法的行为(异常行动)的情况下，使其不能从服务器机房出来。

此外，系统10控制警告单元18对数据中心的操作者等进行警报发出等。在此情况下，系统10也可以执行使用服务器机房内的扬声器播放警告播音等的警告处理。系统10如果如图6所示那样检测到作业者的异常行动，则执行警告或将服务器机房的入口锁上等的非法对策，并且对数据中心的操作者或服务器管理者进行通知(步骤S18)。

以上，根据本实施方式的监视系统10，即使是被许可了进入到服务器机房内的作业者的情况，也能够监视服务器机房内的作业者的作业(行动)。即，基于预先登记的作业预约信息，判断作业者的作业是否是适当的，在判断为进行了不适当的作业的情况下(检测到异常行动的情况下)，能够进行规定的对策处理。作为对策处理，是将服务器机房的入口门上锁而锁上、及对数据中心的管理者的警报通知、或者在服务器机房内播放警告播音等的处理。

通过进行这样的对策处理，能够使作业者没有安排的作业、例如将盘驱动器带出那样的作业中断。因而，即使在例如装作作业者的可疑者入室到服务器机房内的情况下，也能够将向服务器的非法访问、或将盘驱动器等盗窃等的非法行为防患于未然。由此，不仅能够根据操作履历等在事后检测到对服务器的非法访问，还能够检测到在服务器机房内向服务器的物理非法访问或异常行动并使其中断。因而，能够将向服务器的物理非法访问造成的信息泄露风险排除。

另外，在系统10中，通过判断单元11将判断结果通知给业务管理单元14，能够由业务管理单元14管理服务器机房内的可疑者的个人属性信息及向服务器的物理访问的履历信息。

此外，系统10也可以在由判断单元11检测到异常行动的人物的情况下，将由监视照相机150摄影的该可疑者(作业者)的摄影图像登记到数据库中。通过这样的登记处理(一种学习功能)，系统10能够在检测到下次的服务器机房内的作业者的异常行动的情况下参照所登记的摄影图像。

总之，根据本实施方式的系统，能够检测人物等的异常行动，能够实现例如能够将服务器机房内的物理非法访问等的非法行为防患于未然的物理安全功能。

以上说明了特定的实施方式，但这些实施方式只是例示，并且并不限定本发明的技术范围。事实上，这里叙述的实施方式可以通过各种不同的形态更改，进而，在不脱离本发明的主旨的范围内能够进行各种省略、替代及变更。权利要求书涵盖这些本发明的主旨范围内的这些形态或变更。

Claims (8)

1.一种行动检测装置，其特征在于，包括：

图像信息取得单元，取得检测对象的图像信息；

认证单元，通过所读取的上述检测对象的个人属性信息，执行认证处理；

特征信息取得单元，基于上述图像信息取得上述检测对象的特征信息；

行动识别单元，基于上述特征信息识别上述检测对象的行为和行为位置；

数据库，存储由上述认证单元认证的每个检测对象的行动计划信息，该行动计划信息表示与时间相对应的计划行为和行为位置；

适当判断单元，在由上述行动识别单元识别的上述检测对象的行为及位置与由上述数据库存储的上述与时间相对应的计划行为和行为位置一致的情况下，判断为适当；

异常判断单元，在由上述行动识别单元识别的上述检测对象的行为及位置与由上述数据库存储的上述与时间相对应的计划行为和行为位置不同的情况下，判断为异常；以及

异常通知单元，在通过上述异常判断单元判断为异常的情况下，进行关于上述检测对象的行为是异常的通知。

2.如权利要求1所述的行动检测装置，其特征在于，

上述行动计划信息包括每个检测对象的作业内容、作业日期时间、作业场所、作业步骤、作业区域的位置的信息。

3.如权利要求1所述的行动检测装置，其特征在于，

在通过上述行动识别单元识别的上述检测对象的行动的日期时间或时刻与上述行动计划信息中包含的计划行动的日期时间或时刻不同的情况下，上述异常判断单元判断为异常。

4.一种监视系统，其特征在于，包括：

权利要求1所述的行动监视装置；

照相机，用来在设定的监视范围内对上述检测对象进行摄影，将通过摄影生成的图像信息传送给上述图像信息取得单元。

5.如权利要求4所述的监视系统，其特征在于，

还包括对策处理单元，在通过包含在上述行动监视装置中的上述异常判断单元判断为异常的情况下，该对策处理单元执行用来中断或防止上述监视范围内的人物的不正当行为的对策处理。

6.如权利要求5所述的监视系统，其特征在于，

上述对策处理单元用来防止人物从上述监视范围内退避。

7.如权利要求5所述的监视系统，其特征在于，

上述对策处理单元用来对上述监视范围内的人物进行警告。

8.一种行动检测方法，其特征在于，包括如下步骤：

取得检测对象的图像信息；

通过所读取的上述检测对象的个人属性信息，执行认证处理；

基于上述图像信息取得上述检测对象的特征信息；

基于上述特征信息识别上述检测对象的行为和行为位置；

从数据库取得由上述认证处理认证的每个检测对象的行动计划信息，该行动计划信息表示与时间相对应的计划行为和行为位置；

在所识别的上述检测对象的行为及位置与所取得的上述与时间相对应的计划行为和行为位置一致的情况下，判断为适当；

在所识别的上述检测对象的行为及位置与所取得的上述与时间相对应的计划行为和行为位置不同的情况下，判断为异常；以及

在判断为异常的情况下，进行关于上述检测对象的行为是异常的通知。