CN102045543A

CN102045543A - 图像处理装置及图像处理方法

Info

Publication number: CN102045543A
Application number: CN2010105278706A
Authority: CN
Inventors: 大矢崇
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-10-23
Filing date: 2010-10-22
Publication date: 2011-05-04
Anticipated expiration: 2030-10-22
Also published as: US9288451B2; CN102045543B; CN106027974B; JP2011091705A; CN106027974A; JP5709367B2; US20110096922A1

Abstract

本发明提供一种图像处理装置及图像处理方法。网络照相机的对象检测单元从图像数据中检测包括人物的对象。事件检测单元基于所述对象检测单元的对象检测结果分析所述图像数据。基于所述图像数据的分析结果，事件检测单元确定使得应当被客户端监视的人物对于所述客户端可识别，并且对不应当被所述客户端监视的人物应用遮蔽以使得其对于所述客户端不可识别。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及用于对图像中检测到的对象应用诸如遮蔽和加密的改变处理的技术。

背景技术

在以便于进行异常情况观察以及犯罪防止为目的的监视系统中，用于将拍摄图像分发到网络的网络照相机的使用与日俱增。因此，在公共设施和街道上安装的网络照相机的数量也在增长。例如，网络照相机用于观光场所和休闲设施的宣传。这些示例性应用使得需要对用于公开图像的对象进行适当的隐私保护。

日本特开2004-180236号公报论述了以下技术，其包括：通常通过改变(或处理)相关图像信号来对经受隐私保护的区域中的图像进行遮蔽；以及例如在火灾事件中解除上述处理。

然而，当要在未应用改变处理的情况下显示与所检测事件有关的对象时，可能存在不能观察到与所检测事件有关的对象的情况。

例如，通常对画面中的多个人物的各个应用改变处理。当检测到拿走时，仅对进行过拿走的人物解除改变处理，而保护其他人物的隐私。然而，如果不能识别进行过拿走的人物，则不能观察到与该事件相关的人物。

另外，由于从事件发生直到检测到该事件的发生需要时间，因此可能存在即使响应于事件检测而解除了改变处理之后、仍然不能观察到与事件相关的对象的情况。

例如，当检测到遗弃对象时，如果与遗弃相关的人物(进行过遗弃的人物)已经走出画面，则不能够观察到与所检测事件(遗弃)相关的人物。

另外，例如，当检测到拿走对象时，如果与拿走相关的人物(进行过拿走的人物)已经走出画面，则不能观察到与所检测事件(拿走)相关的人物。

发明内容

本发明旨在提高能够观察到与所检测事件相关的对象的可能性。

根据本发明的方面，提供一种图像处理装置，该图像处理装置用于向客户端发送图像数据，该图像处理装置包括：检测单元，其被构造为从所述图像数据中检测对于所述客户端应当不可识别的不可识别对象；分析单元，其被构造为分析所述图像数据；处理单元，其被构造为对由所述检测单元检测到的所述不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别；以及确定单元，其被构造为基于所述分析单元对所述图像数据的分析结果，确定使得应当被所述客户端监视的作为监视对象的不可识别对象对于所述客户端可识别，其中通过所述改变处理使得不被监视的不可识别对象对于所述客户端不可识别。

从以下参照附图对示例性实施例的详细描述中，本发明的其他方面和特征将变得清楚。

附图说明

被并入说明书中并构成说明书的一部分的附图，例示了本发明的示例性实施例、特征和方面，并与文字描述一起，用于说明本发明的原理。

图1例示了示例性实施例的系统结构。

图2例示了网络照相机和显示单元的内部结构。

图3例示了事件发生以及针对被摄体(subject)的隐私保护解除处理。

图4例示了对象追踪处理与隐私保护解除处理之间的关系。

图5例示了通过网络照相机进行的隐私保护解除处理。

图6例示了基于背景差别的对象检测和追踪处理。

图7例示了事件检测处理。

图8例示了用于事件检测的对象状态确定规则的示例性设置。

图9例示了进行用于隐私保护的加密处理的系统结构。

图10例示了用于通过照相机进行对象检测以及通过图像处理装置进行事件检测的系统结构。

图11例示了用于通过照相机进行对象检测以及通过图像处理装置进行事件检测的情况下的网络照相机、图像处理装置以及显示单元的内部结构。

图12例示了描述元数据的内容的表。

图13例示了以XML格式描述的示例性元数据。

具体实施方式

以下将参照附图来详细描述本发明的各种示例性实施例、特征以及方面。

以下示例性实施例中所示的结构仅被当作示例，本发明并不限于此。

以下将基于对图像中的特定人物区域应用遮蔽并将该图像分发给客户端(观测器和记录装置)的系统来描述本示例性实施例。在本示例性实施例中，当网络照相机检测到图像中的异常情况(事件)时，网络照相机将针对与事件相关的人物解除了改变处理的图像数据发送给客户端。该改变处理是指例如遮蔽(马赛克、模糊等)和加密。以下将基于遮蔽处理来描述本示例性实施例。待检测事件(异常情况)包括例如侵入禁区、遗弃和拿走对象以及徘徊行为。

图1中例示了根据本示例性实施例的系统结构。根据本示例性实施例的监视系统包括经由网络相互连接的网络照相机100、显示单元(观测器)200和记录服务器(记录装置)400。在本示例性实施例中，显示单元200和记录装置400用作从网络照相机100接收图像数据的客户端。网络照相机100具有检测对象的功能和基于对象检测的结果检测事件的发生的功能。网络照相机100将图像数据120和元数据130分发给显示单元200和记录服务器400。元数据130包括对象信息和事件信息。对象信息是指例如检测对象的显示位置、面积、外接矩形、存在时间、移动距离(移动路径长度)以及遮蔽状态(是否应用遮蔽)中的至少任意一者。事件信息通知事件(异常情况)已经发生。元数据130可以被附加到图像数据120。图像数据120和元数据130可以以不同的流来被分发。

显示单元200接收图像数据120和元数据130，并基于图像数据120显示图像。此外，显示单元200可以将诸如对象框的对象信息叠加到显示图像上。另外，依据事件信息，显示单元200发出警报，以向用户通知事件的发生。记录服务器400存储图像数据120和元数据130。

以下将参照图2来描述本示例性实施例中的网络照相机100和显示单元200的结构。网络照相机100包括摄像单元101、图像保护单元102、编码单元103、图像发送单元104、对象检测单元105、事件检测单元106以及通信接口单元110。

摄像单元101包括光学系统、图像传感器以及A/D转换功能，以获取图像数据。摄像单元101将获取的图像数据发送到对象检测单元105。对象检测单元105在所接收到的图像数据中检测对象。对象检测单元105参照对象识别数据库(未示出)确定检测到的对象是否是人物。然而，对象检测单元105不仅能够检测所检测到的对象是否是人物，而且能够将对象分类为多个类型。本示例性实施例中的对象检测单元105在所检测到的对象中识别被确定为人物的对象，作为对于客户端应当不可识别的不可识别对象。

对象检测单元105将检测到的对象与先前帧中检测到的对象相关联。该处理称作追踪处理。例如，对象检测单元105将在相邻帧中检测到的、具有几乎相同的显示位置和外接矩形的人物，作为同一人物相关联。具体地，对象检测单元105基于各自的显示区域将多个检测对象相关联。

由对象检测单元105进行的追踪处理包括对象分离和整合处理。例如，当对象检测单元105检测到在第一帧中检测到的多个对象与在第一帧之前的第二帧中检测到的一个对象分离时，对象检测单元105将在第一帧中检测到的所述多个对象与在第二帧中检测到的所述一个对象相关联。另外，当对象检测单元105检测到在第一帧中检测到的一个对象是在第一帧之前的第二帧中检测到的多个对象的整合时，对象检测单元105将在第一帧中检测到的所述一个对象与在第二帧中检测到的所述多个对象相关联。另外，在对象分离和整合处理中，分离的对象基于它们各自的显示区域而相互关联。对象检测单元105将检测到的对象以及对象的关联的历史存储在对象历史数据库(未示出)中。

事件检测单元106基于对象检测单元105的对象检测结果来分析图像数据，以检测诸如遗弃和拿走等的事件。然后，事件检测单元106确定使得与特定事件相关的不可识别对象(人物)当中的、应当被客户端监视的监视对象对于客户端可识别。然后，事件检测单元106向图像保护单元102通知不被监视的不可识别对象(人物)的显示位置信息，以对该对象应用遮蔽，从而使得该对象对于客户端是不可识别的。对人物应用遮蔽(改变处理)可以使得该人物对于在客户端(显示单元)侧进行监视的用户、以及对于显示单元进行的人物识别处理均是不可识别的。

例如，当与某一对象分离并具有短的移动路径长度(移动距离)的对象在画面上存在了超过预定时间段时，事件检测单元106检测到遗弃事件。事件检测单元106向图像保护单元102通知在被对象检测单元105确定为人物的对象(不可识别对象)当中的、与所检测事件不相关的对象的显示位置信息。另一方面，事件检测单元106不向图像保护单元102通知与所检测事件相关的不可识别对象(监视对象)的显示位置信息。

图像保护单元102对与事件检测单元106通知的显示位置信息相对应的显示位置应用遮蔽。更具体地说，图像保护单元102对由对象检测单元105检测到的不可识别对象(人物)应用改变处理(遮蔽)，以使得该对象对于客户端(显示单元200和记录服务器400)不可识别。在本示例性实施例中，不可识别对象是指对于客户端应当不可识别的对象。

例如，事件检测单元106向图像保护单元102通知由对象检测单元105检测到的人物当中的、除进行过遗弃的人物(监视对象)以外的人物的显示位置信息，而不向图像保护单元102通知进行过遗弃的人物(监视对象)的显示位置信息。然后，图像保护单元102对与通知的显示位置信息相对应的显示位置应用遮蔽。

更具体地说，事件检测单元106确定使得与基于对象检测单元105的检测结果识别的对象(遗弃对象)相关联的对象(进行过遗弃的人物)，在图像保护单元102不进行改变处理的情况下可显示在显示单元200上。换句话说，事件检测单元106确定使得监视对象(进行过遗弃的人物)对于客户端可识别。

另一方面，通过图像保护单元102应用改变处理，来显示被确定为在图像保护单元102不应用改变处理的情况下而不可显示的人物。尽管在本示例性实施例中不可识别对象为人物，但是不可识别对象不限于此，而可以是例如车牌照以及房屋门牌。

事件检测单元106可以同时检测多个事件。另外，用户可以设置和改变针对多个事件的检测条件。事件检测单元106可以根据需要，对包含针对由对象检测单元105检测到的对象的对象信息以及针对所检测事件的事件信息的元数据130进行编码，然后经由通信接口单元110将元数据130发送到显示单元。

图像保护单元102应用用于改变对象检测单元105检测到的人物的显示的改变处理(遮蔽)。尽管根据本示例性实施例的图像保护单元102对由对象检测单元105检测到的对象当中的人物应用改变处理，但是改变处理的目标并不限于此，而可以是可能会受到隐私侵害的对象，诸如车牌照和房屋门牌。以此方式应用改变处理使得能够监视与所检测事件相关的对象，同时保护除人物以外的对象的隐私。

编码单元103对经过图像保护单元102的改变处理的图像数据进行编码。尽管本发明不依赖于特定编码方法，但是可以使用JPEG、MPEG-4、H.264/AVC等。将编码单元103编码后的图像数据适当地打包，然后经由图像发送单元104和通信接口单元110发送到显示单元200。更具体地说，根据本示例性实施例的网络照相机100用作发送图像数据的图像处理装置。

显示单元200包括通信接口单元210、图像接收单元221、图像解码单元222以及图像显示单元223。另外，诸如显示器、键盘和鼠标(未示出)的输入/输出设备连接到显示单元200。显示单元200可以从网络照相机100提取元数据130中包含的对象信息，并以在图像中的对象的外围上叠加框的形式来显示。

在网络照相机100向显示单元200发送图像数据120和元数据130的同时，显示单元200向网络照相机100发送各种控制请求和设置请求。通过使用HTTP的GET方法或SOAP来进行这些通信。

以下将描述对本示例性实施例中的人物应用的遮蔽。图3例示了针对同一场景的4帧a1至a4、以及对帧a1至a4应用的遮蔽。分别通过帧b1至b4来例示在对帧a1至a4应用遮蔽后的状态。对象检测单元105在帧a1中检测到两个人物11和12，并且在帧a2中检测到两个人物21和22以及对象23。对象23是被人物22遗弃的行李。然而，在帧a2的定时，由于人物22尚未充分远离对象23，因此事件检测单元106不确定遗弃状态。在帧a3的定时，当人物32已经充分远离对象33时，事件检测单元106确定对象33已被遗弃并且因此检测到事件(遗弃)。在帧a4的定时，进行过遗弃的人物32走出了画面。

根据本示例性实施例的对象检测单元105将帧a1至a4中的人物12、22和32作为同一人物相互关联。对象检测单元105将人物11、21、31和41作为同一人物相互关联，并且将人物22与对象23作为从同一人物12分离的对象相互关联。对象检测单元105以类似的方式将人物32与对象33相互关联。

以下将分别参照帧b1至b4来描述对帧a1至a4应用的示例性遮蔽。在帧b1中，如遮蔽区域14和15所示，分别对人物11和12应用遮蔽。同样，在帧b2中，如遮蔽区域24和25所示，在显示人物21和22之前，分别对它们应用遮蔽。然而，尽管对象检测单元105将对象26检测为对象，但是由于对象26不是人物，因此不对其进行遮蔽而进行显示。事件检测单元106在显示帧b2与显示帧b3之间的定时检测到事件(遗弃)的发生。

然后，事件检测单元106确定使得与所检测事件(遗弃)相关的人物(监视对象)在显示单元200上可识别。更具体地说，事件检测单元106确定使得与基于图像数据分析结果识别的对象33相关联的对象(人物32)，作为监视对象对于客户端可识别。事件检测单元106向图像保护单元102通知代表人物32的显示位置的显示位置信息，以使得其在不应用遮蔽的情况下可显示。由于人物11、21、31和41是与事件检测单元106检测到的事件无关的不可识别对象，因此对这些人物应用遮蔽，以使得他们对于客户端不可识别。

为了描述追踪处理，以下将参照图4中的时间轴来详细描述图3所示的对象之间的关系。图4中的人物A对应于图3中的人物11、21、31、41、14、24、34和44。图4中的人物B对应于图3中的人物12、22、32、15、25和35。对象C对应于图3中的行李23、33、43、26、36和46。人物A在时间t1出现，并且停留直到时间t8。人物B在时间t2出现，并且在时间t6消失(走出画面)。对象C在时间t4出现，并且停留直到时间t8。对象C在时间t4与人物B分离。在时间t5确定对象C被遗弃。因此，从时间t5至时间t6，从经受遮蔽的人物中排除人物B。对象检测单元105通过以此方式的追踪处理来存储对象的分离和整合的历史。这使得当检测到事件时能够仅对与该事件相关的人物解除遮蔽，而继续保护其他人物的隐私。

以下将参照图5至图7来描述本示例性实施例中的遮蔽的流程。图5是例示整个处理的流程图。图6是例示通过对象检测单元105进行的对象检测处理的流程图。图7是例示通过事件检测单元106进行的事件检测处理的流程图。

参照图5，在步骤S501中，摄像单元101获取图像。在步骤S502(检测步骤)中，对象检测单元105进行对象检测处理。在步骤S503(分析步骤)中，事件检测单元106进行事件检测处理。更具体地说，在步骤S502中，对象检测单元105检测包含对于客户端应当不可识别的不可识别对象(人物)的对象。在步骤S503中，事件检测单元106基于步骤S502中的对象检测结果来分析图像数据。以下将分别参照图6和图7描述步骤S502和S503中的处理。

在步骤S504中，事件检测单元106确定在步骤S502中检测到的对象是否是人物。在步骤S502中，对象检测单元105参照对象识别数据库确定所检测到的对象是否是人物。更具体地说，在步骤S504中，事件检测单元106通过获取步骤S502中的对象检测单元105的对象确定结果，来确定在步骤S502中检测到的对象是否是人物。

在步骤S505(确定步骤)中，事件检测单元106确定在步骤S504中被确定为人物的对象是否是监视对象。所述监视对象是与遮蔽应当被解除的事件相关的人物(不可识别对象)。由用户预先规定遮蔽应当被解除的事件。更具体地说，在步骤S505中，事件检测单元106确定使得作为应当被客户端监视的监视对象的人物对于客户端可识别。

例如，当检测到被指定作为遮蔽应当被解除的事件的遗弃事件时，与遗弃相关的人物(进行过遗弃的人物)将变为监视对象。另外，例如，当检测到被指定作为遮蔽应当被解除的事件的拿走事件时，与拿走相关的人物(进行过拿走的人物)将变为监视对象。可以指定遮蔽应当被解除的多个事件。

网络照相机100基于步骤S502中的对象检测结果和步骤S503中的事件检测结果，存储与先前检测到的事件相关的对象。另外，对象检测单元105通过步骤S502中的对象追踪处理，将当前帧中检测到的对象与在先前帧中检测到的对象相互关联。因此，事件检测单元106可以确定在步骤S504中被确定为人物的对象是否是监视对象。当确定在步骤S504中被确定为人物的对象不是监视对象时，事件检测单元106向图像保护单元102通知对象的显示位置信息。

在步骤S506(处理步骤)中，图像保护单元102对人物应用遮蔽。更具体地说，在步骤S506中，图像保护单元102对由对象检测单元105检测到的不可识别对象(人物)应用改变处理(遮蔽)。经受步骤S506中的改变处理的对象是在步骤S502中检测到的对象当中的、在步骤S505中被确定为不是监视对象并且在步骤S504中被确定为人物的对象。

在步骤S507中，对象检测单元105确定是否对在步骤S502中检测到的所有对象完成了从步骤S504到S506的处理。当对象检测单元105确定并未对所有对象完成处理时(步骤S507中“否”)，处理返回到步骤S504。在步骤S504中，对象检测单元105对下一个对象进行确定。否则，当对象检测单元105确定对所有对象完成了处理时(步骤S507中“是”)，处理进入步骤S508。在步骤S508中，编码单元103对当前帧的图像数据进行编码。在步骤S509中，图像发送单元104将编码单元103编码后的图像数据发送到请求了图像数据的显示单元200和记录服务器400。

以下将参照图6描述通过对象检测单元105进行的对象检测处理和对象追踪处理。这些处理对应于图5中的步骤S502的处理。根据本示例性实施例的对象检测单元105通过利用背景差别来进行对象检测处理。背景差别是指用于通过将当前图像与由先前图像生成的背景模型进行比较来检测对象的方法。针对背景模型，本示例性实施例使用由用于JPEG8×8像素块的各个的离散余弦变换(DCT)系数计算出的多个特征量。JPEG是联合图像编码专家组(Joint Photographic Coding Expert Group)的缩写。

由一个块计算出的DCT系数的绝对值的和、以及在相邻帧中的相关联块的DCT系数分量之差的和用作特征量。然而，对象检测方法并不限于上述用于由DCT系数来获得背景模型的方法，而可以是例如由像素单元中的浓度分布来获得背景模型的方法。

参照图6，在步骤S601中，对象检测单元105由摄像单元101获取的图像数据计算DCT系数，并提取特征量。根据本示例性实施例的对象检测单元105从能够由Y、U和V分量的各个获得的DCT系数中的低频分量中提取特征量。

在步骤S602中，对象检测单元105将在步骤S601中提取的特征量与已有的背景模型比较。更具体地说，在步骤S602中，对象检测单元105计算在步骤S601中提取的特征量与由从多个先前帧提取的特征量而获得的特征量之间的差分。根据本示例性实施例的对象检测单元105由从先前帧提取的特征量来生成多个背景模型(模式)。更具体地说，对象检测单元105生成多个背景模式，使得从多个先前帧的各个提取的特征量中的多个类似的特征量形成一个背景模型(模式)。然后，对象检测单元105计算在步骤S601中从当前帧提取的特征量与对应于多个背景模型(模式)的各个的特征量之间的差分。

在步骤S603中，对象检测单元105基于在步骤S602中的差分计算结果来确定当前帧中是否存在类似模式。当对象检测单元105确定存在类似模式时(步骤S603中“是”)，处理进入到步骤S604。在步骤S604中，对象检测单元105更新类似模式的特征量。这通过以下处理来完成：以恒定比率将在步骤S601中新提取的特征量与在步骤S603中被确定为与新特征量类似的已有特征量混合。

否则，当对象检测单元105确定不存在类似模式时(步骤S603中“否”)，处理进入到步骤S605。在步骤S605中，对象检测单元105确定从中提取特征量的块是否是阴影。当在用于特征量计算的Y、U和V分量中的色度分量(U和V分量)的变化等于或小于预定值时，对象检测单元105确定块为阴影。

当对象检测单元105确定块为阴影时(步骤S605中“是”)，处理进入到步骤S606。在步骤S606中，对象检测单元105不更新已有特征量，并且处理进入到步骤S608。否则，当对象检测单元105确定块不是阴影时(步骤S605中“否”)，处理进入到步骤S607。在步骤S607中，对象检测单元105生成新模式，并且处理进入到步骤S608。

在步骤S608中，对象检测单元105确定是否对当前帧的所有块均完成了处理。当对象检测单元105确定对所有块均完成处理时(步骤S608中“是”)，处理进入到步骤S609。否则，当对象检测单元105确定并未对所有块完成处理时(步骤S608中“否”)，处理返回步骤S601。在步骤S601中，对象检测单元105对未处理块进行处理。

在步骤S609中，对象检测单元105将当前帧的各个块划分为背景块和诸如对象的前景块。对象检测单元105识别被确定为例如不具有类似背景模型(模式)的块作为前景块。另外，对象检测单元105识别被确定为例如具有类似背景模型的块作为背景块。

在步骤S610中，对象检测单元105通过连接相邻的前景块来进行区域生成处理。更具体地说，在步骤S610中，对象检测单元105连接在步骤S609中被确定为前景块的相邻块，以生成前景块区域。

在步骤S611中，对象检测单元105移除作为噪声的小区域。更具体地说，当在步骤S610中生成的前景块区域的面积等于或小于预定面积时，对象检测单元105识别该区域作为背景块。

在步骤S612中，对象检测单元105检测前景块区域作为对象，并且同时获取所检测对象的对象信息。如上所述，发送到图像数据目的地的对象信息包括例如所检测对象的显示位置、面积、外接矩形、存在时间、移动距离(移动路径长度)和区域遮蔽状态(是否应用区域遮蔽)中的至少任意一者。当步骤S613的处理完成时，可以提取发送到图像数据目的地的多项对象信息中的存在时间信息。当步骤S613的处理完成时或者当事件检测处理(下述)完成时，可以提取关于遮蔽状态的信息。

在步骤S612中，对象检测单元105参照对象识别数据库(未示出)确定所检测对象是否是人物。例如，对象检测单元105依据所检测对象的图像图案是否包括存储在对象识别数据库中的面部图像图案，来确定所检测对象是否是人物。例如，对象检测单元105还可以依据所检测对象的形状是否对应于存储在对象识别数据库中的人物，来确定所检测对象是否是人物。

在步骤S613中，对象检测单元105进行对象追踪处理。更具体地说，在步骤S613中，对象检测单元105将在当前帧中检测到的对象与在先前帧中检测到的对象相关联。

在步骤S613中进行的对象追踪处理将帧中的对象与相邻帧之间的对象相关联。该关联包括通过对象分离和整合处理对对象的关联。更具体地说，当在先前帧中检测到了与在步骤S612中检测到的对象具有类似图像特征的对象时，对象检测单元105将这些对象相互关联。可以使用色彩分布、纹理、模板、纵横比等作为图像特征。

另外，对象检测单元105将在步骤S612中检测到的对象与在相同帧内跟其接近的对象相关联。例如，对象检测单元105将人物与遗弃对象相关联。更具体地说，对象检测单元105基于所检测对象的显示位置将多个对象相关联。

另外，对象检测单元105将在步骤S612中检测到的对象与在先前帧中几乎相同位置处检测到的对象相关联。更具体地说，当在第一帧中检测到的对象的显示位置与在先前帧(第二帧)中检测到的对象的显示位置之间的距离等于或短于预定距离时，对象检测单元105将这些对象相互关联。

另外，当在先前帧中既未检测到与在步骤S612中检测到的对象具有类似图像特征的对象、也未检测到与在步骤S612中检测到的对象几乎相同位置处检测到的对象时，对象检测单元105将在步骤S612中检测到的对象登记为新对象。

例如，图3中的人物11、21、31和41作为具有类似图像特征的对象相互关联。当人物遗弃行李时，在步骤S613中对象检测单元105检测到，在某一帧(第一帧)中检测到的多个对象(人物和行李)从在第一帧之前的帧(第二帧)中检测到的一个对象(具有行李的对象)中分离。在这种情况下，对象检测单元105将在第一帧中检测到的多个对象(人物和行李)与在第二帧中检测到的对象(具有行李的人物)相关联。

以下将参照图7和图8来描述通过根据本示例性实施例的事件检测单元106进行的事件检测处理。该处理对应于图5中的步骤S503的处理。事件检测处理基于对象检测处理的结果，检测诸如对象的遗弃、拿走、出现以及消失的事件。根据本示例性实施例的事件检测单元106通过确定由对象检测单元105检测到的对象的显示位置、面积、存在时间和移动距离是否均在预定范围内，来检测事件的发生。图8例示了用于检测事件的示例性条件设置。图8例示了示例性ID、设置值名称、描述以及示例性值。

根据本示例性实施例的网络照相机100可以设置规则名称(ID 00和ID 01)、使能标记(enable flag)(ID 02)、面积下限和面积上限(ID 03和ID 04)以及存在时间下限和存在时间上限(ID 05和ID 06)作为事件检测条件。另外，网络照相机100可以设置移动距离下限和移动距离上限(ID 07和ID 08)、对象数量下限和对象数量上限(ID 09和ID 10)、检测区域顶点数量(ID 20)以及检测区域顶点坐标值(ID 21至ID 28)。另外，尽管未示出，但是网络照相机100设置用于表示对象检测单元105检测到的对象是从其他对象中分离的对象还是作为多个对象的整合结果而形成的对象的标记。

事件检测单元106基于上述条件中被对象检测单元105检测到的对象满足的条件，来检测事件。事件检测单元106通过对象检测单元105确定被关联作为一个对象的多个对象的存在时间以及其他条件。

例如，当从其他对象中分离的对象在画面上的预定范围内保持静止的时间超过固定时间时，事件检测单元106检测到遗弃事件。更具体地说，当检测到从画面边缘以外的区域内的其他对象中分离的对象(其中存在时间达到预定时间段并且移动距离等于或短于预定距离)时，事件检测单元106检测到遗弃事件。更具体地说，当检测到满足事件检测条件中的顶点坐标值(ID 21至ID 28)、存在时间下限以及移动距离上限的对象时，以及当分离标记被设置为开启(ON)时，事件检测单元106检测到遗弃事件。

另外，当检测到对象(其中面积在预定范围内、存在时间达到预定时间段并且移动距离达到预定距离)时，事件检测单元106检测到徘徊(prowl)事件。更具体地说，当检测到满足事件检测条件(图8)中的面积上限、存在时间下限和移动距离下限的对象时，事件检测单元106检测到徘徊事件。

当检测到满足以下条件的新对象时，事件检测单元106检测到拿走事件。更具体地说，当检测到满足与预定的检测区域交叠的区域相对于检测区域的比率等于或大于预定值、两个区域之差等于或小于预定值、以及存在时间等于或大于预定时间段的新对象时，事件检测单元106检测到拿走事件。事件检测单元106设置检测区域，从而囊括检测对象的边界。然后，当检测对象被拿走时，原始背景出现并被检测作为新对象。在检测区域中检测到的新对象的面积和外接矩形几乎与检测对象的相同。

更具体地说，当检测到满足事件检测条件(图8)中的面积下限和面积上限、顶点坐标值(ID 21至ID 28)和存在时间下限的对象时，事件检测单元106检测到拿走事件。然而，还可以通过使用上述条件中的任意一者来检测拿走。事件检测单元106针对要检测的各事件设置条件值。例如，事件检测单元106独立地将存在时间设置作为用于检测遗弃的条件，以及将存在时间设置作为用于检测徘徊的条件。

当在画面边缘检测到新对象时，事件检测单元106检测到出现事件。当事件检测单元106不再能够在画面边缘处检测到已有对象时，事件检测单元106检测到消失事件。以此方式，事件检测单元106基于对象检测单元105检测到的对象是否满足图8所示的事件检测条件中的至少任意一者，来检测事件的发生。

图7是例示通过事件检测单元106进行的事件检测处理的流程图。事件检测单元106针对检测到的各事件进行步骤S701至S708的处理。参照图7，在步骤S701中，事件检测单元106确定通过对象检测单元105检测到的对象的显示位置是否在预设范围内。更具体地说，事件检测单元106确定所检测对象的显示位置是否在针对各对象预设的显示位置(X和Y坐标)上限与下限之间的范围内。当不进行显示位置确定时，事件检测单元106将显示位置上限和下限分别设置为可行的最大值和最小值。因此，所检测对象的显示位置恒定满足条件。

在步骤S702中，事件检测单元106确定对象的画面上尺寸(面积)是否在预设范围内。在步骤S703中，事件检测单元106确定对象的存在时间是否在预设范围内。在步骤S704中，事件检测单元106确定对象的移动距离是否在预设范围内。与步骤S701类似，当不需要显示位置确定时，事件检测单元106分别将上限和下限设置为可行的最大值和最小值。

在步骤S705中，事件检测单元106确定是否针对由对象检测单元105检测到的所有对象完成了确定处理。当事件检测单元106确定针对所有对象完成了确定处理时(步骤S705中“是”)，则处理进入到步骤S706。否则，当事件检测单元106确定并未针对所有对象完成确定处理时(步骤S705中“否”)，处理返回到步骤S701。在步骤S701中，事件检测单元106针对另一对象进行确定处理。

在步骤S706中，事件检测单元106确定满足步骤S701至S704的条件的对象的数量是否在预设范围内。例如，当存在被确定为满足从步骤S701至S704的处理的遗弃条件的两个对象、并且存在被设置用于遗弃的1至5个对象时，事件检测单元106确定满足条件的对象的数量在预设范围内。另外，例如，当存在被确定为满足从步骤S701至S704的处理的拿走条件的6个对象、并且存在被设置用于拿走的1至2个对象时，事件检测单元106确定满足条件的对象的数量在预设范围之外。

当事件检测单元106确定满足条件的对象的数量在预设范围内时(步骤S706中“是”)，处理进入步骤S707。否则，当事件检测单元106确定满足条件的对象的数量在预设范围外时(步骤S706中“否”)，处理进入到步骤S708。

在步骤S707中，事件检测单元106将事件确定结果设置为真(将事件状态设置为开启)。参照图3，事件检测单元106确定使得与所检测事件(遗弃)相关的不可识别对象(人物32)对于客户端(显示单元200)可识别。更具体地说，事件检测单元106确定不向图像保护单元102通知人物32的显示位置信息，以使得其在图像保护单元102不应用改变处理的情况下在显示单元200上可显示。更具体地说，在步骤S707中，事件检测单元106确定使得与基于对象检测单元105的对象检测结果识别的对象(对象33)相关的对象(人物32)，作为监视对象而对于客户端可识别。

另外，事件检测单元106指示图像保护单元102对由对象检测单元105检测到的人物当中的、在步骤S707中被确定为不是监视对象的不可识别对象应用遮蔽，以使得其对于客户端不可识别。

在步骤S708中，事件检测单元106确定是否针对所有事件均已完成步骤S701至S707的处理。当事件检测单元106确定处理完成(步骤S708中“是”)，则结束针对当前帧的事件检测处理。

根据本示例性实施例的网络照相机100基于图像数据目的地是观测器(显示单元)还是记录服务器，来解除或不解除遮蔽。例如，图像保护单元102在不考虑是否发生了事件而对所有人物应用遮蔽的情况下，向常规观测器发送图像数据。另一方面，图像保护单元102在仅对与事件相关的人物解除遮蔽的情况下、向受限观测器发送图像数据。另外，图像保护单元102在不考虑是否发生了事件而对所有人物解除遮蔽的情况下向管理员的观测器发送图像数据。因此，网络照相机100依据客户端(观测器)的权限、解除或不解除针对与事件相关的不可识别对象的遮蔽。

尽管基于对象检测单元105具有人体检测功能的情况对本示例性实施例进行了描述，但是对象检测单元105可以不具有人体检测功能。当对象检测单元105不具有人体检测功能时，例如参照图3，对象检测单元105检测人物21和22以及行李23作为对象21、22和23。结果，图像保护单元102不仅对遮蔽区域24和25、而且对对象26应用改变处理(遮蔽)。参照图4，图像保护单元102从时间t4至时间t5对对象C应用遮蔽，并且在时间t5之后解除对对象C的遮蔽。

尽管着重针对与所检测事件有关的人物解除改变处理的情况描述了本示例性实施例，但是根据本示例性实施例的网络照相机100还可以在针对事件检测之前的帧中检测到的人物当中的、与事件相关的人物解除改变处理的情况下，发送图像数据。例如，参照图4，当在时间t5检测到遗弃时，图像发送单元104在时间t5之后针对人物B解除改变处理的情况下，发送图像数据。除此以外，图像发送单元104在时间t5之前针对人物B解除改变处理的情况下，发送图像数据。在这种情况下，将具有与已经发送的帧相同序列号的帧的图像数据发送到显示单元200。

当接收到具有与已经接收的帧相同序列号的帧的图像数据时，显示单元200在该序列号的帧尚未被再现的情况下，再现最后接收的帧的图像数据。该算法提高了能够观察到与所检测事件相关的人物(监视对象)的可能性。另外，当在记录服务器中再现图像数据时，与事件相关的对象在不应用改变处理的情况下是可显示的。

在这种情况下，在图7的步骤S707(确定步骤)中，事件检测单元106确定使得与在图4中的时间t5处的帧(第一帧)中检测到的事件(遗弃)相关的对象(人物32)对于客户端可识别。另外，事件检测单元106确定使得在时间t5之前的帧(第二帧)中检测到的、与人物32相关的对象(人物22)对于客户端可识别。然后，事件检测单元106向图像保护单元102通知第二帧的识别信息和人物22的显示位置信息。在针对已经经受了改变处理并且已被发送到显示单元200的、来自第二帧的图像数据的人物22解除改变处理的情况下，图像保护单元102生成图像数据。将生成的图像数据经由编码单元103和图像发送单元104发送到显示单元200。

更具体地说，在步骤S707中，事件检测单元106基于对象检测单元105的对象检测结果，确定使得在第一帧的图像数据中检测到的对象当中的监视对象(与事件相关的人物)对于客户端可识别。另外，事件检测单元106确定使得在第二帧的图像数据中检测到的、与第一帧的图像数据中检测到的监视对象相关联的对象对于客户端可识别。

作为遗弃以外的示例性事件，以下将描述徘徊的检测。如上所述，当满足针对所检测事件的事件检测条件中的面积下限、面积上限、存在时间下限和移动距离下限时，检测到徘徊事件。在步骤S706中，当事件检测单元106检测到人物A的徘徊时，事件检测单元106确定解除针对在第一帧(检测到徘徊)与第一帧之前的第二帧之间检测到的人物A的改变处理。更具体地说，当在从第二帧至第一帧的图像数据中持续检测到与在第一帧中检测到的人物A相关的对象时，事件检测单元106确定使得相关对象对于客户端可识别。

以下将描述遗弃的检测。如上所述，当检测到满足事件检测条件中的顶点坐标值、存在时间下限以及移动距离上限，并且分离标记被设置为开启的对象时，检测到遗弃事件。另外，当人物A遗弃对象A时，对象检测单元105将被遗弃对象(对象A)与遗弃对象A的对象(人物A)相互关联。更具体地说，在第一帧中检测到与在第一帧之前的第二帧的图像数据中检测到的对象(人物A)相关联的多个对象(人物A和对象A)。在这种情况下，事件检测单元106确定使得在第一帧中检测到的多个对象中的至少一个(人物A)对于客户端可识别，并且确定使得在第二帧中检测到的人物A对于客户端可识别。

以下将描述拿走的检测。如上所述，当与预定的检测区域交叠的区域相对于检测区域的比率等于或大于预定值、这两个区域之差等于或小于预定值、并且存在时间等于或长于预定时间段时，检测到拿走事件。更具体地说，当从第三帧至第一帧的检测区域中的图像数据与第二帧的检测区域的中图像数据持续不同时，事件检测单元106检测到拿走事件。第三帧位于第一帧与第一帧之前的第二帧之间。

更具体地说，第二帧比第一帧领先第一预定数量的帧，第三帧比第一帧领先第二预定数量的帧。当新检测到的对象满足拿走条件时，对象检测单元105将具有与新检测到的对象接近(或交叠)的显示区域的对象与新检测到的对象相关联。

在步骤S706中，当事件检测单元106在第一帧中检测到对象B的拿走时，事件检测单元106确定使得在第一帧的图像数据中检测到的人物当中的、与对象B相关联的人物对于客户端可识别。另外，事件检测单元106确定使得在第二帧的图像数据中检测到的、并且与在第一帧中检测到的对象B相关联的对象对于客户端可识别。

图像保护单元102对由对象检测单元105检测到的不可识别对象(人物)当中的、除被使得对于客户端可识别的对象(监视对象)以外的对象应用改变处理(遮蔽)，从而使其对于客户端不可识别。

即使与事件相关的对象在检测到事件时已经消失，上述结构也能够提高能够观察到与事件相关的对象的可能性。

如上所述，根据本示例性实施例的网络照相机100对在图像中检测到的各人物应用遮蔽，同时对与特定事件相关的人物解除遮蔽。这提高了能够观察到与所检测事件相关的对象的可能性。另外，根据本示例性实施例的网络照相机100使得能够在考虑到隐私的情况下构造监视系统。

以下重点就与第一示例性实施例的不同来描述第二示例性实施例。图9例示了本示例性实施例中的网络照相机150和显示单元250的结构。网络照相机150将图像数据发送到请求了图像数据的显示单元250和记录服务器(未示出)。

根据本示例性实施例的网络照相机150具有加密功能，显示单元250(观测器)和记录装置具有加密解除功能。网络照相机150将具有各个加密人物(不可识别对象)的图像数据发送到显示单元250。当检测到事件时，网络照相机150将用于解除与事件相关的人物的加密的密钥信息发送到显示单元250或记录装置。显示单元250和记录装置通过使用从网络照相机150接收的密钥信息来解除对人物的加密，并显示该人物。尽管将基于对所检测人物加密的情况来描述本示例性实施例，但是可以对除人物外的任何其他对象加密。

根据第一示例性实施例的图像保护单元102出于隐私保护的目的而应用遮蔽(马赛克、模糊等)。另一方面，根据本示例性实施例的图像保护单元113出于该目的进行加密处理。该加密处理可以使得某一人物对于客户端(显示单元250)不可识别。然后，网络照相机150发送用于响应于事件检测解除对人物的加密、并且取决于显示单元250的权限的密钥信息。例如，网络照相机150向多个显示单元250当中的具有特定权限的显示单元250发送用于解除对与所检测事件相关的人物的加密的密钥信息。另一方面，网络照相机150不向不具有特定权限的显示单元250发送用于解除对与事件相关的人物的加密的密钥信息。

该方法使得即使在向具有不同权限的多个显示单元250发送图像数据时也无需生成多个流就能够发送图像数据。

参照图9，编码单元112对通过对象检测单元105检测到的各个不可识别对象(人物)进行编码。图像保护单元113对由编码单元112编码的各个人物进行加密。图像保护单元113通过针对各人物使用不同加密密钥来进行该处理。人物与用于加密的加密密钥之间的对应被存储在加密密钥数据库111中。当通过事件检测单元106检测到事件时，密钥发送单元114将用于解除与事件相关的人物的加密的密钥信息发送到显示单元250和记录服务器(未示出)。更具体地说，密钥发送单元114将密钥信息发送给显示单元250，所述密钥信息用于生成在图像保护单元113对被事件检测单元106确定为对于客户端(显示单元250)可识别的对象应用改变处理以前的图像数据。

根据本示例性实施例的显示单元250与根据第一示例性实施例的显示单元200的不同之处在于：其包括密钥接收单元230和保护解除单元231。保护解除单元231解除对与密钥接收单元230接收到的密钥信息相对应的人物的加密。

可以使用以下方法作为用于交换密钥信息的技术。更具体地说，网络照相机150通过使用与显示单元250共用的密钥，来对用于解除与所检测事件相关的人物的加密的密钥信息进行加密，然后将该密钥信息发送到显示单元250。当接收到通过使用共用密钥加密的密钥信息时，保护解除单元231通过使用所获取的密钥信息来解除对与事件相关的人物的加密。

作为另一方法，密钥发送单元114还可以将密钥信息存储在图像数据的头区域中，然后发送图像数据。另外，例如，密钥发送单元114还可以将密钥信息作为异常条件消息进行发送。在这种情况下，密钥发送单元114将密钥信息作为简单对象访问协议(SOAP)消息或者作为附加物通过简单邮件传输协议(SMTP)来发送。

如上所述，根据本示例性实施例的网络照相机150的图像保护单元113在应用改变处理(加密)的情况下对各人物加密，以使得在图像数据中检测到的各人物可显示在图像数据目的地(显示单元250)上。在检测到事件时，事件检测单元106向密钥发送单元114通知用于识别与事件相关的人物(监视对象)的识别信息。密钥发送单元114从加密密钥数据库111中检索用于解除与识别信息对应的人物(监视对象)的加密的密钥信息，然后将该密钥信息发送到显示单元250。更具体地说，事件检测单元106确定使得与所检测事件相关的人物(监视对象)，在图像保护单元113不应用改变处理(加密)的情况下可显示在显示单元250上。换句话说，事件检测单元106确定使得在不可识别对象(人物)当中的与事件相关的对象对于客户端(显示单元250)可识别。

显示单元250的图像接收单元221从网络照相机150接收图像数据。显示单元250的密钥接收单元230从网络照相机150接收密钥信息。保护解除单元231通过使用由密钥接收单元230接收的密钥信息，来解除在图像接收单元221接收的图像数据中的人物当中的、与事件相关的人物的加密。因此，图像显示单元223可以在未加密对象的情况下显示与网络照相机150检测到的事件有关的对象(监视对象)。

根据本示例性实施例，例如，当依据显示单元提供的隐私相关权限、对与所检测事件相关的对象解除改变处理时，可以统一要发送的图像数据。更具体地说，根据本示例性实施例的网络照相机150的密钥发送单元114向具有隐私相关权限的显示单元250发送用于解除与事件相关的人物的加密的密钥信息，而不向不具有该权限的显示器发送密钥信息。因此，网络照相机150向具有权限的显示单元和不具有权限的显示单元发送同一图像数据。在这种情况下，能够使得图像数据仅在具有权限的显示单元上可显示，同时通过使用密钥信息对与事件相关的对象解除改变处理。

另外，根据本示例性实施例，显示单元250可以解除针对在接收的图像数据中的人物(不可识别对象)当中的、与网络照相机150检测到的事件相关的对象(监视对象)的改变处理(加密)。

以下将着重就与第一和第二示例性实施例的差别来描述第三示例性实施例。在本示例性实施例中，通过使用图像处理装置来分配处理。更具体地说，网络照相机100进行对象检测处理，图像处理装置进行事件检测和图像保护处理。因此，即使网络照相机100不具有充足的处理能力，也能够对各对象应用或解除改变处理。作为针对人物的改变处理，根据本示例性实施例的图像保护单元305以与第一示例性实施例类似的方式来对其应用遮蔽处理。图10例示了本示例性实施例的系统结构。除了图1所示的结构以外，根据本示例性实施例的系统还包括图像处理装置300。

图11例示了根据本示例性实施例的网络照相机160、图像处理装置300和显示单元200的示例性结构。显示单元200具有与根据第一示例性实施例的显示单元类似的结构。

网络照相机160包括摄像单元101、编码单元103、图像发送单元104、对象检测单元107、元数据发送单元108、通信接口单元110以及对象识别数据库(未示出)。根据本示例性实施例的对象检测单元107参照对象识别数据库来确定所检测对象是否是人物。

元数据发送单元108生成包括对象信息(诸如由对象检测单元107检测到的对象的位置、面积(尺寸)和外接矩形)的元数据，然后将该元数据发送到图像处理装置300。元数据发送单元108生成包括面部检测信息(用于识别被对象检测单元107确定为人物的对象的个体)的元数据，然后将该元数据发送到图像处理装置300。以下将详细描述元数据的内容。

图像处理装置300包括通信接口单元310、元数据接收单元302、对象追踪单元303、事件检测单元304、图像接收单元301、图像保护单元305、编码单元306、图像发送单元307以及个体验证数据库311。

元数据接收单元302从网络照相机160接收元数据。对象追踪单元303进行与根据第一示例性实施例的对象检测单元105类似的对象追踪处理。事件检测单元304通过使用从网络照相机160接收的元数据来检测事件的发生。当元数据中包括面部检测信息时，事件检测单元304通过使用个体验证数据库311来识别个体。图像接收单元301从网络照相机160接收图像数据，并解码该图像数据。图像保护单元305、编码单元306和图像发送单元307分别具有与图2中的图像保护单元102、编码单元103和图像发送单元104类似的功能。

以下将参照图12来描述从网络照相机160发送到图像处理装置300的元数据的内容。图12例示了ID、元数据标识符、元数据描述以及示例性数据格式。

元数据包括帧信息(ID 10至ID 13)、对象信息(ID 20至ID 28)以及对象区域遮蔽信息(ID 30至ID 32)。通过ID 10至ID 13来描述帧信息。ID 10是代表帧信息的开始的标识符。ID 11表示帧编号，ID 12表示帧时间，以及ID 13表示对象所存在的空间的大小。

通过ID 20至ID 28来描述对象信息。ID 20是代表对象信息的开始的标识符。ID 21表示对象的数量，ID 22表示对象大小，ID 23表示外接矩形，ID 24表示代表点，ID 25表示存在时间，ID 26表示移动路径长度(移动距离)，ID 27表示运动(对象速度)。ID 21至ID 28具有针对各对象(人物)的数据。

代表点(ID 24)表示代表显示位置的坐标值，可以是对象的重心。存在时间(ID 25)表示自检测到对象起经过的时间。移动路径长度(ID 26)表示对象在画面上移动过的距离。运动(ID 27)表示例如能够从先前帧中检测到的对象的显示位置获得的对象速度。对象识别结果(ID 28)是诸如人物和车的识别对象的结果。

通过ID 30至ID 32来描述对象区域遮蔽信息。ID 30是代表对象区域遮蔽信息的开始的标识符。ID 31表示压缩方法，即诸如未压缩编码以及游程限制编码(run-length limited encoding)的无损压缩方法。ID 32描述了具有块编号阵列的遮蔽对象区域。

存在用于元数据发送的一些方法。一种方法将以XML格式表现的元数据与图像数据分开进行发送。另一种方法将以二进制格式表现的元数据附加到图像数据进行发送。XML方法具有能够容易地以不同的帧速率来发送图像数据和元数据的优势。更具体地说，XML方法的使用使得元数据发送单元108能够例如在一帧中检测到多个对象的情况下容易地利用多帧来发送一帧的元数据。另一方面，由于二进制方法的使用容易使得能够进行元数据与图像数据之间的同步，因此该方法具有针对JPEG编码方法尤其有效的优势。

图13是以XML格式表现的示例性元数据。这是当在一帧中检测到两个对象时的示例性元数据。由于根据本示例性实施例的网络照相机160发送上述元数据，因此图像处理装置300能够进行事件检测处理，并且基于事件检测处理的结果来解除对监视对象的遮蔽。

返回图11，以下将描述根据本示例性实施例的网络照相机160、图像处理装置300以及显示单元200之间的处理流程。网络照相机160从图像数据检测对象，生成元数据，然后将编码的图像数据和元数据发送到图像处理装置300。

图像处理装置300的图像接收单元301对接收到的图像数据进行解密。对象追踪单元303基于元数据接收单元302接收到的元数据进行对象追踪处理。事件检测单元304进行事件检测处理。对象追踪处理对应于图6中的步骤S613的处理。事件检测处理对应于图7中的处理。图像保护单元305以与根据第一示例性实施例的图像保护单元102类似的方式应用改变处理(遮蔽)。更具体地说，图像保护单元305不对与事件检测单元304检测到的事件相关的人物(监视对象)应用改变处理，而对网络照相机160的对象检测单元107检测到的对象当中的与事件无关的人物应用改变处理。然后，编码单元306对来自图像保护单元305的图像数据进行编码，并且图像发送单元307将编码后的图像数据发送到显示单元200。因此，显示单元200在不应用改变处理的情况下显示与事件相关的对象(监视对象)，并在应用改变处理的情况下显示与事件无关的不可识别对象(人物)。

根据本示例性实施例的图像处理装置300包括个体验证数据库311，以进行高级事件确定处理。更具体地说，仅当对象检测单元107检测到未登记在个体验证数据库311中的人物时，图像处理装置300确定人物是监视对象。然后，图像处理装置300对被确定为监视对象的人物应用改变处理，以使得其对于客户端(显示单元200)不可识别。

例如，仅当满足徘徊条件的人物未被登记在个体验证数据库311中时，事件检测单元304确定徘徊事件已发生，并且使得与事件相关的对象(正在徘徊的人物)在不应用改变处理的情况下可显示。

如上所述，当除网络照相机100以外的图像处理装置300以此方式进行由根据第一示例性实施例的网络照相机100进行的处理当中的事件检测处理时，即使在网络照相机100处理资源不充足的情况下，也能够实现高级事件检测处理。

以下将以包括网络照相机100和显示单元200的第一示例性实施例的结构为基础，基于当检测到除遗弃以外的事件时解除改变处理(遮蔽或加密)的情况，来描述第四示例性实施例。

例如，当事件检测单元106检测到拿走事件时，进行过拿走的人物已经离开第一检测对象(拿走的对象)所在的位置。然而，通过对象检测单元105的追踪处理，将在检测到拿走后出现在第一检测对象的区域中的对象，与进行过拿走的人物相关联，由此使得进行过拿走的人物对于客户端可识别。

另外，当对象检测单元105检测到多个人物的集合时，事件检测单元106确定解除针对这些人物的改变处理，从而观察他们从哪里来以及去往何处。更具体地说，事件检测单元106对检测区域中的人物数量进行计数，并且当计数值达到一定值时，事件检测单元106检测到集合事件。另外，事件检测单元106确定解除改变处理(遮蔽或加密)，直到在检测到集合事件时存在于检测区域的人物走出画面为止。利用该算法，能够使得与集合事件相关的人物对于接收图像数据的客户端可识别。

除了上述事件外，其他应当被检测的事件还包括抢夺、暴行以及其他伤害行为。为了使与这种伤害行为相关的人物可识别，根据本示例性实施例的事件检测单元106检测伤害行为。例如，当对象检测单元105检测到两个人物接近并且保持静止超过预定时间段、然后一个人物走出画面而另一人物保持静止，则事件检测单元106检测到伤害行为事件。

利用该算法，事件检测单元106可以例如在以下场景发生时检测到伤害行为的发生。更具体地说，人物1从后面接近人物2，进行大约10秒的伤害行为，然后逃出画面。同时，人物2蹲伏在地并在同一位置保持静止。

另外，当事件检测单元106检测到这种伤害行为的发生时，针对人物1和2解除改变处理。更具体地说，事件检测单元106确定使得与伤害行为相关的对象(人物1和2)，在未被图像保护单元102应用改变处理的情况下在显示单元200上可显示。换言之，事件检测单元106确定使得对象检测单元105检测到的不可识别对象(人物)当中的、与伤害行为有关的人物(人物1和2)，作为监视对象对于客户端(显示单元)可识别。

如上所述，根据本示例性实施例的事件检测单元106能够基于检测到多个对象和人物的情况来检测各种事件。然后，事件检测单元106解除针对与事件相关的人物的改变处理，以使得其对于客户端可识别。

已经基于对由对象检测单元105检测到的对象当中的人物应用了改变处理的情况，来描述了根据本示例性实施例的图像保护单元102。然而，改变处理可以应用于除人物以外的任何对象，并且针对与事件相关的人物和对象来解除改变处理。例如，对与事件无关的车牌照和房屋门牌应用改变处理，以使得它们对于客户端不可识别，并且针对与事件相关的车牌照和房屋门牌解除改变处理，以使得它们对于客户端可识别。这使得能够监视与事件相关的对象，同时保护了与其无关的对象的隐私。

其他实施例

还可以由读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机(或诸如CPU或MPU等的设备)，来实现本发明的各方面；并且可以利用由通过例如读出并执行记录在存储设备上的程序来执行上述实施例的功能的系统或装置的计算机来执行各步骤的方法，来实现本发明的各方面。为此，例如经由网络或从充当存储设备的各种类型的记录介质(例如，计算机可读介质)将程序提供给计算机。在这种情况下，系统或装置以及存储程序的记录介质被包括在本发明的范围之内。

虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明并不局限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有的这类变型例及等同结构和功能。

Claims

1.一种图像处理装置，其用于向客户端发送图像数据，该图像处理装置包括：

检测单元，其被构造为从所述图像数据中检测对于所述客户端应当不可识别的不可识别对象；

分析单元，其被构造为分析所述图像数据；

处理单元，其被构造为对由所述检测单元检测到的所述不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别；以及

确定单元，其被构造为基于所述分析单元对所述图像数据的分析结果，确定使得应当被所述客户端监视的作为监视对象的不可识别对象对于所述客户端可识别，

其中，通过所述改变处理使得不被监视的不可识别对象对于所述客户端不可识别。

2.根据权利要求1所述的图像处理装置，其中，所述检测单元检测所述不可识别对象以及要被使得对于所述客户端可识别的可识别对象，

其中，所述分析单元基于所述检测单元检测到的对象的位置信息来将所述对象相互关联，并且同时确定在第一帧的图像数据中是否检测到，与在所述第一帧之前的第二帧的图像数据中检测到的不可识别对象相关联的多个对象，以及

其中，当所述分析单元确定在所述第一帧中已经检测到与在所述第二帧的所述图像数据中检测到的所述不可识别对象相关联的所述多个对象时，所述确定单元确定使得所述多个对象中的至少一个在所述处理单元不应用所述改变处理的情况下对于所述客户端可识别。

3.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

设置单元，其被构造为在所述图像数据的显示区域中设置检测区域，

其中，所述检测单元检测所述不可识别对象以及要被使得对于所述客户端可识别的对象，

其中，所述分析单元基于所述检测单元检测到的对象的位置信息来将所述对象与所述检测区域相关联，同时确定第二帧的所述检测区域中的图像数据、与从第三帧至第一帧的所述检测区域中的图像数据是否持续不同，其中所述第二帧比所述第一帧领先第一预定数量的帧，并且所述第三帧比所述第一帧领先第二预定数量的帧，并且

其中，当所述分析单元确定所述第二帧的所述检测区域中的所述图像数据、与从所述第三帧至所述第一帧的所述检测区域中的所述图像数据持续不同时，所述确定单元确定使得与所述检测区域相关联的至少一个不可识别对象对于所述客户端可识别。

4.根据权利要求1所述的图像处理装置，其中，所述处理单元不对作为由所述确定单元确定为使得对于所述客户端可识别的作为所述监视对象的所述不可识别对象，应用所述改变处理。

5.根据权利要求1所述的图像处理装置，该图像处理装置还包括：

发送单元，其被构造为向所述客户端发送密钥信息，所述密钥信息用于生成，在所述处理单元对所述确定单元确定为使得对于所述客户端可识别的所述不可识别对象应用所述改变处理之前的图像数据。

6.一种图像处理装置，其用于向客户端发送图像数据，所述图像处理装置包括：

检测单元，其被构造为从所述图像数据中检测对象；

处理单元，其被构造为对不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别，所述不可识别对象是由所述检测单元检测到的对象并且应该被使得对于所述客户端不可识别；以及

确定单元，其被构造为基于所述检测单元对所述对象的检测结果，确定使得在第一帧的图像数据中检测到的所述不可识别对象对于所述客户端可识别，并且同时使得在所述第一帧之前的第二帧的图像数据中检测到的、与在所述第一帧的所述图像数据中检测到的并且被确定为使得对于所述客户端可识别的所述对象相关联的所述不可识别对象，对于所述客户端可识别，

其中，在所述第二帧的所述图像数据中检测到的不可识别对象当中的、未被所述确定单元确定为使得对于所述客户端可识别的所述对象被使得，在所述处理单元不应用所述改变处理的情况下，在所述客户端上可显示。

7.根据权利要求6所述的图像处理装置，其中，当在所述第一帧的所述图像数据中检测到的、与被确定为使得在所述处理单元不应用所述改变处理的情况下可显示的所述不可识别对象相关联的所述不可识别对象，在从所述第二帧至所述第一帧的所述图像数据中被持续检测到时，所述确定单元确定使得相关的不可识别对象对于所述客户端可识别。

8.根据权利要求6所述的图像处理装置，其中，当在所述第一帧的所述图像数据中检测到与在所述第二帧的所述图像数据中检测到的一个不可识别对象相关联的多个对象时，所述确定单元确定使得在所述第一帧的所述图像数据中检测到的所述多个对象当中的、至少一个不可识别对象对于所述客户端可识别，并且同时确定使得在所述第二帧的所述图像数据中检测到的所述一个不可识别对象对于所述客户端可识别。

9.根据权利要求6所述的图像处理装置，该图像处理装置还包括：

设置单元，其被构造为在图像数据的显示区域中设置检测区域，

其中，当所述第二帧的所述检测区域中的图像数据，与第三帧至所述第一帧的所述检测区域中的图像数据持续不同时，所述确定单元确定使得在所述第一帧的所述图像数据中检测到的、与在所述第一帧的所述检测区域中的所述图像数据中检测到的所述对象相关联的所述不可识别对象，对于所述客户端可识别，并且同时确定使得在所述第二帧的所述图像数据中检测到的、与被确定为使得对于所述客户端可识别的所述不可识别对象相关联的所述不可识别对象，对于所述客户端可识别，其中所述第三帧比所述第一帧领先第二预定数量的帧。

10.根据权利要求6所述的图像处理装置，其中，所述处理单元对所述图像数据应用所述改变处理，以使得由所述检测单元检测到的人物对于所述客户端不可识别。

11.根据权利要求6所述的图像处理装置，该图像处理装置还包括：

12.一种由图像处理装置执行的图像处理方法，该图像处理装置用于向客户端发送图像数据，该图像处理方法包括以下步骤：

从所述图像数据中检测对于所述客户端应当不可识别的不可识别对象；

分析所述图像数据；

对所检测到的不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别；以及

基于所述图像数据的分析结果，来确定使得作为应当被所述客户端监视的作为监视对象的所述不可识别对象，对于所述客户端可识别，

13.一种由图像处理装置执行的图像处理方法，所述图像处理装置用于向客户端发送图像数据，所述图像处理方法包括以下步骤：

从所述图像数据中检测对象；

对不可识别对象应用改变处理，以使得所述不可识别对象对于所述客户端不可识别，所述不可识别对象是所检测到的对象并且对于所述客户端应当不可识别；以及

基于所述对象的检测结果，确定使得在第一帧的图像数据中检测到的所述不可识别对象对于所述客户端可识别，并且同时确定使得在所述第一帧之前的第二帧的图像数据中检测到的、与在所述第一帧的所述图像数据中检测到的并且被确定为使得对于所述客户端可识别的所述对象相关联的所述不可识别对象，对于所述客户端可识别，

其中，在所述第二帧的所述图像数据中检测到的不可识别对象当中的、未被确定为使得对于所述客户端可识别的所述对象被使得，在应用所述改变处理的情况下对于所述客户端可显示。