CN100458817C - 监视装置 - Google Patents

Abstract

监视装置。本发明的课题是提供抑制如下情况的装置：当操作信息处理装置等设备时，由于通过了认证的用户替换为其他用户，从而使设备被不正当地操作。作为解决手段，被监视设备的操作者被认证时，解除对被监视设备的保护功能，之后，在拍摄了被监视设备的操作者的脸的运动图像中，追踪包含被认证过的操作者的脸的头部，在追踪失败的情况下，启动对被监视设备的保护功能。

Description

监视装置

技术领域

本发明涉及有效地适用于通过进行认证处理来实现信息和装置的保障的装置和方法等的技术。

背景技术

近年来，企业的顾客信息泄漏问题和个人信息保护法的施行等、对信息处理装置内的电子信息的访问管理正在受到关注。作为访问管理的方法，通常在登录(log-on)信息处理装置的时刻，进行用密码或认证信息等的认证处理。

但是，在现有的这种访问管理的方法中，在一次登录后并不判断操作信息处理装置的人是不是正当的人。因此，不能防止在操作的过程中替换为其他人、不正当地操作信息处理装置的事情。

作为解决这种问题的技术，提出了在登录之后仍间歇地执行认证处理的技术(参照专利文献1)。

专利文献1：日本特开2002-55956号公报

但是，在上述的现有技术中，具有在认证处理和认证处理之间不能防止不正当操作的问题。图5是具体表示现有技术中的问题的图。如图5所示，在替换了操作者的情况下，到下一个认证处理之前的期间不能防止不正当使用。

此外，在缩短了认证处理和认证处理之间间隔的情况下(例如一秒间隔)，虽然能够防止替换所致的不正当操作，但通过认证允许的操作者有时因例如为了看资料而低头等的动作，导致认证不能进行，产生不得不再次进行认证的不良情况。

发明内容

因此，本发明为了解决这些问题，目的在于提供在操作信息处理装置等的设备时，抑制由于通过认证的用户替换为其他用户而使设备被不正当地操作等，并且便于使用的装置和方法。

为了解决上述问题，本发明采用如下结构。本发明是监视装置，其具有认证单元、追踪单元和保护功能控制单元。认证单元认证被监视设备的操作者。所谓被监视设备是由本发明的监视装置控制的成为保护功能的处理对象的设备。所谓保护功能是可实现如下功能的功能：对被监视设备的访问管理、通过该被监视设备的对预定数据的访问管理、以及操作者的保密管理。

追踪单元在拍摄到认证过的操作者的脸的运动图像中，追踪认证过的操作者的头部。所谓头部是脖子以上部分，还包括脸。保护功能控制单元在通过认证单元进行了认证的情况下，解除对被监视设备的保护功能，在通过追踪单元追踪失败的情况下，启动对被监视设备的保护功能。

保护功能控制单元可以构成为，仅在追踪失败一次就启动保护功能。该结构的可靠性最高。但是，追踪处理的精度较低时或者运动图像的质量较差时等，尽管追踪对象存在于运动图像中，但仍可能追踪失败。从而，如果每当追踪失败时就启动保护功能，则操作可能变得繁杂。因此，还可以构成为，在预定数量以上的帧或预定以上的时间内追踪连续失败的情况下，启动保护功能。即，即使追踪失败也不立即启动保护功能，而由追踪单元在预定容许极限(margin)内尝试追踪的恢复(再开)。通过设置这种容许极限而实现了操作性的提高。

根据本发明，关于某用户进行认证并解除保护功能后，继续由追踪单元实施追踪处理，在追踪失败的情况下启动保护功能。在此，所谓追踪失败的情况是，在拍摄到被监视设备的操作者的头部的运动图像中，不能追踪被认证过的操作者的头部的情况，即被认证过的操作者无法操作被监视设备的情况。在这种情况下通过保护功能工作，能抑制关于被监视设备、通过了认证的用户替换为其他用户而使设备被不正当地操作的情况。

本发明的认证单元可以构成为从运动图像中检测人脸，采用检测出的人脸的图像来认证操作者。根据这种结构，用户在进行认证时不需要进行密码输入或者插入卡等的工作，提高了便利性。并且，追踪单元只要追踪在认证单元中成为处理对象的包含人脸的头部即可，所以能够抑制追踪错误的头部(即，与通过认证单元认证过的人不同的人的头部)。

本发明一方面涉及一种监视装置，具有：认证单元，其认证被监视设备的操作者；追踪单元，其在拍摄到所述被监视设备的操作者的头部的运动图像中，追踪所述认证单元所认证过的操作者的头部；以及保护功能控制单元，其判断是否允许操作者开始/继续操作被监视设备，在通过所述认证单元进行了认证的情况下，该保护功能控制单元判断为允许开始操作的情况，解除所述被监视设备的到此为止一直工作的保护功能，使得操作者能够操作被监视设备；在通过所述追踪单元追踪失败的情况下，该保护功能控制单元判断为不允许继续操作的情况，使所述被监视设备的到此为止一直处于解除状态的保护功能生效，使得操作者不能进行操作。

本发明另一方面涉及一种监视方法，包括：信息处理装置认证被监视设备的操作者的步骤；所述信息处理装置在进行了所述认证的情况下，判断为允许开始操作的情况，解除所述被监视设备的到此为止一直工作的保护功能，使得操作者能够操作被监视设备的步骤；所述信息处理装置在进行了所述认证的情况下，在拍摄到所述被监视设备的操作者的头部的运动图像中，追踪所述认证过的操作者的头部的步骤；以及所述信息处理装置在所述追踪失败的情况下，判断为不允许继续操作的情况，使所述被监视设备的到此为止一直处于解除状态的保护功能生效，使得操作者不能进行操作的步骤。

本发明也可以通过由信息处理装置执行程序来实现。即，本发明可将上述各单元执行的处理确定为：用于对信息处理装置执行的程序，或者存储该程序的存储介质。并且，本发明也可以确定为信息处理装置执行上述各单元所执行的处理的方法。

当操作信息处理装置等的设备时，能够抑制由于通过了认证的用户替换为其他用户而使设备被不正当地操作等。

附图说明

图1是表示被监视设备的具体示例的图。

图2是表示监视装置的功能模块示例的图。

图3是表示用户信息表的具体示例的图。

图4是表示监视装置的工作示例的流程图。

图5是表示现有技术的问题点的图。

具体实施方式

监视装置针对要操作成为监视对象的设备(下面，称为“被监视设备”)的人进行认证处理等，根据其结果控制保护功能的工作。通过保护功能的工作，能够实现针对该被监视设备的访问的管理(访问的允许和限制)、通过该被监视设备对预定数据的访问的管理、以及操作者的保密管理等。在通过监视装置实施的认证处理中，也可以适用指纹认证或通过密码进行的认证等现存的某些认证技术。在下面的说明中，对适用人脸认证处理时的监视装置的具体示例进行说明。

[被监视设备]

首先，对被监视设备的具体示例进行说明。图1是表示被监视设备的具体示例的图。在图1中作为被监视设备的具体示例表示个人计算机20。并且，在与个人计算机20连接的显示器的上部配置有用于拍摄用户的摄像机10。监视装置1通过网络与个人计算机20和摄像机10连接，从而可以设置在远离个人计算机20的地方。并且，监视装置1也可以通过电缆与个人计算机20和摄像机10连接而设置在相同的地方。并且，监视装置1可以构成为，通过个人计算机20执行程序，或者构成为硬件而安装在个人计算机20上，进行工作。在该情况下，摄像机10与个人计算机20连接。图1中作为被监视设备的具体示例表示了个人计算机，但也可以采用PDA(Personal Digital Assistant：个人数字助理)或便携式电话机等其他信息处理装置作为被监视设备。

[系统结构]

下面，对监视装置1的结构进行说明。监视装置1在硬件方面具有：通过总线连接的CPU(中央运算处理装置)、主存储装置(RAM)和辅助存储装置等。辅助存储装置采用非易失性存储装置构成。在此所说的非易失性存储装置是指所谓的ROM(Read only memory，只读存储器包括：EPROM(Erasable Programmable Read only memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read onlymemory，电可擦除可编程只读存储器)和掩模ROM等)、FeRAM(Ferroelectric RAM，铁电随机存取存储器)和硬盘等。

图2是表示监视装置1的功能模块的图。监视装置1通过存储在辅助存储装置中的各种程序(OS、应用程序等)被加载到主存储装置中并由CPU执行而作为包括如下各部的装置发挥功能：图像输入部2、运动图像存储部3、头部检测部4、用户信息存储部5、人脸认证部6、头部追踪部7和保护功能控制部8等。头部检测部4、人脸认证部6、头部追踪部7和保护功能控制部8通过由CPU执行程序来实现。并且，头部检测部4、人脸认证部6、头部追踪部7和保护功能控制部8可以构成为专用的芯片。下面，对包括监视装置1的各功能部进行说明。

<图像输入部>

图像输入部2为用于将运动图像的数据输入给监视装置1的接口而发挥功能。通过图像输入部2，运动图像的数据被输入给监视装置1。通过图象输入部2输入的运动图像是拍摄到操作被监视设备的人的运动图像。

图像输入部2可以采用向监视装置1输入运动图像的数据用的某种现存技术构成。例如，可以通过网络(例如局域网或互联网)将在远离了监视装置1的地方拍摄的运动图像的数据输入给监视装置1。在此情况下，图像输入部2采用网络接口构成。并且，也可以从与监视装置1连接的数码摄像机等的摄像装置向监视装置1输入运动图像的数据。在此情况下，图像输入部2根据能够将数码摄像机和监视装置1数据通信地连接的规格(例如USB(Universal Serial Bus：通用数据总线)等有线连接或蓝牙(注册商标：Bluetooth)等的无线连接的规格)构成。并且，也可以使监视装置1具有数码摄像机等的摄像装置，或者包含在具有数码相机等的摄像装置的各种装置(例如PDA或便携式电话机)的内部，将通过这些摄像装置拍摄到的运动图像输入给监视装置1。在此情况下，图像输入部2也可以构成为如下的接口，其用于输入通过CCD(电荷耦合装置)或CMOS(互补金属氧化物半导体)传感器等摄像元件拍摄到的运动图像的数据。并且，图像输入部2也可以构成为能与上述多个情况对应。

<运动图像存储部>

运动图像存储部3用存储装置构成。在用于运动图像存储部3的存储装置中，也可以适用易失性存储装置或非易失性存储装置等的某种具体技术。在此所说的易失性存储装置是指所谓RAM(随机存取存储器：DRAM(动态随机存取存储器)，SDRAM(同步随机存取存储器)，DDRSDRAM(双倍数据传输同步随机存取存储器)等)。

运动图像存储部3存储通过图像输入部2输入的运动图像的数据。存储于运动图像存储部3中的运动图像的数据通过头部检测部4或者头部追踪部7读取。运动图像存储部3直到至少头部检测部4或者头部追踪部7的处理结束为止，保持成为其处理对象的运动图像的数据。

<头部检测部>

头部检测部4从运动图像存储部3读取图像的数据，从该图像中检测人的头部，确定表示检测出的头部的位置和大小等的头部信息。头部检测部4可以构成为，例如通过采用对应于人脸整体轮廓的基准模板的模板匹配来检测人脸，由此检测头部。并且，头部检测部4也可以构成为，通过色度健处理检测头部等的顶点，根据该顶点检测头部。并且，头部检测部4也可以构成为，检测与肌肤颜色接近的区域，将该区域作为人脸检测，由此检测头部。并且，头部检测部4也可以构成为，使用神经元网络进行根据训练信号的学习，检测出象是人脸的区域或象是头部的区域来作为头部。并且，由头部检测部4进行的检测处理也可以通过适用其它的现存的某种技术来实现。

<用户信息存储部>

用户信息存储部5存储有由人脸认证部6进行人脸认证处理时所必须的信息。图3是表示用户信息存储部5存储的用户信息表5a的具体示例。用户信息表5a与正当的用户的ID相关联起来，具有各用户的人脸图像的特征量。所谓特征量是从各用户的人脸图像预先取得的信息，用例如亮度分布或颜色直方图来表示。

<人脸认证部>

人脸认证部6针对由头部检测部4检测出的人，根据用户信息表5a的内容，判断是否是正当的用户。首先，人脸认证部6检测由头部检测部4检测出的头部所包含的人脸。人脸认证部6例如可以构成为，采用对应于人脸整体轮廓的基准模板的模板匹配来检测人脸。并且，人脸认证部6也可以构成为，采用基于人脸的构成要素(眼、鼻、耳等)的模板匹配来检测人脸。并且，人脸认证部6也可以构成为，通过色度健处理检测头部等的顶点，根据该顶点检测人脸。并且，人脸认证部6也可以构成为，检测与肌肤颜色接近的区域，将该区域作为人脸检测。并且，人脸认证部6也可以构成为，使用神经元网络进行基于训练信号的学习，检测出象是人脸的区域作为人脸。并且，由人脸认证部6进行的人脸检测处理也可以通过适用其它的现存的某种技术来实现。

接着，人脸认证部6对检测出的人脸进行认证处理。例如人脸认证部6从检测出的人脸的图像取得亮度分布或颜色直方图等的特征量，通过与存储在用户信息表5a中的特征量相比较来进行判断。该比较可通过取得亮度分布的规一化相关或颜色直方图的直方图交集等作为相似度来进行。即，能够判断特征量是否相似，在判断为相似的情况下，判断是同一人、即正当的用户。

<头部追踪部>

头部追踪部7在存储于运动图像存储部3的运动图像中追踪包含通过人脸认证部6认证过的人脸的头部。即，头部追踪部7追踪由人脸认证部6认证并被允许操作被监视设备的用户的头部。头部追踪部7的追踪处理例如能够通过在前一帧的特征点周围搜索并追踪头部所包含的特征点(例如，额头、眉、眼、耳、鼻、唇、头部等的特征点)来实现。并且追踪处理也能够通过提取头部边缘的方法、利用亮度分布的方法、利用纹理信息的方法等来实现。并且该追踪处理也可以通过其它的现存技术来实现。

<保护功能控制部>

保护功能控制部8根据人脸认证部6的认证结果和头部追踪部7的追踪结果，来控制是否启动针对被监视设备的保护功能。例如，保护功能控制部8判断是否允许用户开始/继续操作被监视设备。而且，在保护功能控制部8判断为允许开始操作的情况下，解除到此为止一直工作的保护功能，能够进行操作。并且，在保护功能控制部8判断为不允许继续操作的情况下，使到此为止一直处于解除状态的保护功能生效，用户不能进行操作。这种保护功能可以通过使例如被监视设备的输入装置失效来实现，也可以通过停止对预定的程序、数据或存储区域的访问来实现，还可以通过强制地使用户退出登录来实现。

下面，对保护功能控制部8的判断基准进行说明。保护功能控制部8以不同的基准判断保护功能的解除和保护功能的生效。保护功能控制部8基于人脸认证部6的认证结果判断保护功能的解除。即，在由人脸认证部6判断为正规的用户(登录在用户信息表5a中的用户)的情况下，保护功能控制部8进行保护功能的解除。并且，保护功能控制部8基于头部追踪部7的追踪结果判断保护功能的生效。即，在由头部追踪部7追踪头部成功的情况下，保护功能控制部8继续保护功能的解除。另一方面，在通过头部追踪部7追踪头部失败的情况下，保护功能控制部8启动保护功能而使其生效。此时，保护功能控制部8既可以构成为，头部追踪部7的追踪处理只失败一次就使保护功能生效，又可以构成为，预定数量以上的帧或预定以上的时间内连续追踪失败的情况下使保护功能生效。

[工作示例]

下面，对监视装置1的工作示例进行说明。图4是表示监视装置1的工作示例的流程图。监视装置1以用户操作被监视设备的输入装置或用户指示认证开始等为契机开始工作。工作开始时，运动图像通过图像输入部2输入至监视装置1(S01)。运动图像存储部3存储被输入的运动图像的数据。头部检测部4从存储在运动图像存储部3中的运动图像检测人的头部(S02)。人脸认证部6对头部检测部4所检测出的用户的脸进行认证处理(S03)。在获得用户是正当的用户的认证结果的情况下(S04-“是”)，保护功能控制部8解除保护功能(S05)，用户能够操作被监视设备。另一方面，在获得用户不是正当的用户的认证结果的情况下(S04-“否”)，保护功能控制部8不解除保护功能，监视装置1的工作结束。

保护功能被解除后，继续输入运动图像的新的帧(S06)，头部追踪部7在被输入的帧中进行头部的追踪(S07)。追踪成功时(S08-“是”)，再继续执行新帧的输入和头部的追踪。另一方面，追踪失败时(S08-“否”)，保护功能控制部8使被解除的保护功能生效(S09)，不能操作被监视设备。从S06到S08的处理例如以30帧/秒的频度反复执行。但是，这个值也可以通过监视装置1的管理者进行适当的变更。

[作用/效果]

根据监视装置1，连续地实施被监视设备的用户的监视。即，首先，用户登录时，根据人脸认证部6的认证结果进行监视。并且，用户登录之后，根据头部追踪部7的追踪结果进行监视。此时，在追踪成功的期间，能够判断当初通过人脸认证部6认证的正当用户继续进行操作。因此，根据监视装置1，在用户替换时可即时地判断替换。

[变形例]

人脸认证部6还可以构成为，对由头部追踪部7追踪的头部的人脸，定期地反复执行人脸认证。

此外，保护功能控制部8还可以构成为，进行是否允许开始/继续操作被监视设备以外的工作来作为保护功能。例如还可以构成为，新的用户开始使用时，删除存储于被监视设备的预定数据(例如，个人信息、cookie、操作履历、访问履历等)。还可以构成为，使保护功能生效后，上一次所使用的用户继续利用时，能够从作业过程中的状态开始使用。

在上述工作示例中，如果一次追踪失败，则保护功能控制部8立即使保护功能生效。因此，该结构也是可靠性最高的。但是，在追踪处理的精度较低时或者运动图像的质量较差时等，尽管追踪对象存在于运动图像中，但仍可能追踪失败。在上述工作示例中，如果这种错误工作导致的追踪失败持续，则保护功能频繁地生效，由此有可能使解除保护功能的操作变得繁杂。因此，在追踪失败的情况下，也可以在预定容许极限(预定帧数或者预定时间)内尝试追踪的恢复(再开)。具体地说，即使追踪失败(图4的S08-“否”)，也只要输入运动图像的下一帧(S06)，搜索成为追踪对象的头部即可(S07)。或者也可以追踪失败后(S08-“否”)，输入运动图像的下一帧(S01)，执行头部检测和认证处理(S02、S03)，认证成功后(即若为正当的用户)(S04-“是”)，使追踪再开(S07)。通过设有这种容许极限，实现了操作性的提高。而且，关于上述容许极限，可以是一次或者多次的固定值，也可以根据用户进行变更。

Claims (3)

1.一种监视装置，该监视装置具有：

认证单元，其认证被监视设备的操作者；

追踪单元，其在拍摄到所述被监视设备的操作者的头部的运动图像中，追踪所述认证单元所认证过的操作者的头部；以及

保护功能控制单元，其判断是否允许操作者开始/继续操作被监视设备，在通过所述认证单元进行了认证的情况下，该保护功能控制单元判断为允许开始操作的情况，解除所述被监视设备的到此为止一直工作的保护功能，使得操作者能够操作被监视设备；在通过所述追踪单元追踪失败的情况下，该保护功能控制单元判断为不允许继续操作的情况，使所述被监视设备的到此为止一直处于解除状态的保护功能生效，从而使得操作者不能进行操作。

2.根据权利要求1所述的监视装置，其中，

所述认证单元从所述运动图像中检测人脸，使用检测出的人脸的图像来认证所述操作者，

所述追踪单元追踪在所述认证单元中成为处理对象的头部。

3.一种监视方法，该监视方法包括：

信息处理装置认证被监视设备的操作者的步骤；

所述信息处理装置在进行了所述认证的情况下，判断为允许开始操作的情况，解除所述被监视设备的到此为止一直工作的保护功能，使得操作者能够操作被监视设备的步骤；

所述信息处理装置在进行了所述认证的情况下，在拍摄到所述被监视设备的操作者的头部的运动图像中，追踪所述认证过的操作者的头部的步骤；以及

所述信息处理装置在所述追踪失败的情况下，判断为不允许继续操作的情况，使所述被监视设备的到此为止一直处于解除状态的保护功能生效，从而使得操作者不能进行操作的步骤。

Images