CN110049233B - 图像处理设备、图像处理系统和图像处理方法 - Google Patents

Abstract

本发明提供一种图像处理设备、图像处理系统和图像处理方法。该图像处理设备包括：检测单元，其被配置为在摄像单元所拍摄的拍摄图像中检测预定对象；第一获取单元，其被配置为基于检测单元对所述预定对象的检测，来获取在未检测到预定对象的时间段期间所拍摄的拍摄图像作为第一图像；第二获取单元，其被配置为获取检测单元检测到预定对象的拍摄图像作为第二图像；生成单元，其被配置为基于第一图像和第二图像来生成预定对象的掩模图像；以及合成单元，其被配置为将掩模图像与第一图像或第二图像进行合成。

Description

图像处理设备、图像处理系统和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法。

背景技术

近年来，已经广泛安装了监视照相机和用于存储监视照相机的图像的视频管理软件(VMS)系统。此外，监视照相机所拍摄的图像中个人隐私保护的重要性正在增加。日本专利5834193讨论了一种用于基于人体检测结果来生成人体区域被掩蔽的图像的技术(监视设备)。日本专利4578044讨论了如下技术：将与监视模块所提取的图像和基准图像之间的差异区域有关的轮廓信息发送到接收单元，并且通过接收单元来将轮廓信息与背景图像进行合成并显示合成图像。

使用多个图像，日本专利5834193中讨论的监视设备生成人已经被移除的背景图像。在所生成的背景图像上，叠加掩模图像(mask image)以生成隐私保护图像。由于这种结构，日本专利5834193中讨论的监视设备执行用于生成人已经被移除的背景图像的处理并且该处理需要花费时间。如果存在有人的图像用作背景图像，则所生成的图像不再被称为隐私保护图像。

在日本专利4578044中讨论的技术将固定的背景图像与轮廓信息进行合成。由于这种结构，日本专利4578044中讨论的技术无法将照相机所拍摄的现实世界的变化反映在背景上，这使得无法向监视者提供与环境变化有关的足够信息。

发明内容

根据本发明的方面，一种图像处理设备，包括：检测单元，其被配置为在摄像单元所拍摄的拍摄图像中检测预定对象；第一获取单元，其被配置为基于所述检测单元对所述预定对象的检测，来获取在未检测出所述预定对象的时间段期间所拍摄的拍摄图像作为第一图像；第二获取单元，其被配置为获取所述检测单元检测出所述预定对象的拍摄图像作为第二图像；生成单元，其被配置为基于所述第一图像和所述第二图像来生成所述预定对象的掩模图像；以及合成单元，其被配置为将所述掩模图像与所述第一图像或所述第二图像进行合成。

根据本发明的方面，一种图像处理系统，包括：上述的图像处理设备；以及摄像单元，其被配置为拍摄预定摄像区域中的图像，并且将所拍摄的图像提供给所述图像处理设备。

根据本发明的方面，一种图像处理方法，包括：在摄像单元所拍摄的拍摄图像中检测预定对象；基于对所述预定对象的检测来获取在未检测出所述预定对象的时间段期间所拍摄的拍摄图像作为第一图像；获取检测出所述预定对象的拍摄图像作为第二图像；基于所述第一图像和所述第二图像来生成所述预定对象的掩模图像；以及将所述掩模图像与所述第一图像或所述第二图像进行合成。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

图1示出根据第一典型实施例的图像处理设备的硬件结构的示例。

图2示出根据第一典型实施例的图像处理设备的软件结构的示例。

图3示出根据第一典型实施例的检测进行隐私保护的人体的定时和记录时间段。

图4是示出根据第一典型实施例的隐私保护图像的生成的流程图。

图5A和5B示出连接到根据第一典型实施例的图像处理设备的显示单元。

图6的(A)、(B)和(C)分别示出根据第二典型实施例的检测进行隐私保护的人体的定时和记录时间段。

具体实施方式

下面将参考附图来详细描述本发明的典型实施例。应当注意，以下典型实施例仅是用于实现本发明的示例，并且可以根据应用本发明的设备的个体构造和各种条件来适当地修改或改变。因此，本发明决不限于以下典型实施例。

(图像处理设备的硬件结构)

图1是示出根据本典型实施例的图像处理设备10的硬件结构的概念图。

图像处理设备10包括中央处理单元(CPU)11、存储器12、图像处理单元13、隐私保护处理单元14、系统总线15、接口(IF)16、记录控制单元17、硬盘驱动器(HDD)18、网络接口卡(NIC)19和外部传感器输入单元20。图像处理设备10使例如安装在监视区域中的摄像单元30所拍摄的图像(图像组)中所检测到的人体区域仅呈现轮廓(掩蔽该人体区域)，并输出人体区域作为隐私保护图像。摄像单元30包括具有透镜和传感器的照相机。根据本典型实施例，摄像单元30包括一个照相机，例如网络照相机。

CPU 11控制连接到系统总线15的单元12至14和16至20。

存储器12存储基本输入输出系统(BIOS)程序和引导程序。存储器12用作CPU 11的主存储器单元。存储器12包括例如存储介质，诸如只读存储器(ROM)、随机存取存储器(RAM)、闪速传感器和可拆卸地安装的安全数字(SD)卡。

图像处理单元13用作具有包括移动物体检测、人体检测和面部检测的图像处理功能的功能块。将诸如移动物体、人体和面部等的检测对象统称为对象。根据来自CPU 11的指示来控制图像处理单元13的图像处理功能。图像处理单元13经由系统总线15相对于单元11、12、14和16至20发送和接收数据。图像处理单元13在拍摄图像中检测预定对象。

隐私保护处理单元14用作用于对图像进行隐私保护处理的功能块。根据来自CPU11的指示来控制隐私保护处理单元14的隐私保护处理功能。隐私保护处理单元14经由系统总线15相对于单元11至13和16至20发送和接收数据。

操作单元40(诸如键盘和鼠标以及显示单元50等)连接到接口16。显示单元50设置有图形用户界面(GUI)(下面参考图5A和5B描述)。显示单元50经由接口16从CPU 11接收指示，并且例如显示图像。操作单元40和显示单元(GUI)50被图像处理设备10的用户使用以输入数据、信息和指示。显示单元50可以包括声音输出单元。

记录控制单元17根据来自CPU 11和其它功能块(图像处理单元13和隐私保护处理单元14)的指示和请求，相对于HDD 18写入和读取数据(图像)。

HDD 18用作具有两个区域的图像存储单元。HDD 18的两个区域中的一个区域用于连续存储和记录由摄像单元30拍摄的图像。将从摄像单元30输入的图像顺次存储并记录在该区域中。记录时间段容量由HDD 18的存储容量确定。对已经存储了预定时间段的图像进行重写。除非使被重写的图像移动或存储在其它存储区域中，否则擦除被重写的图像。HDD18的两个区域中的另一区域用于在检测到对象(例如，人体)的检出时间段期间存储和记录图像。检出时间段期间的图像是根据本典型实施例的进行隐私保护处理的图像。至少在隐私保护处理完成之前，该区域中的图像不会被重写。

NIC 19使用有线或无线连接与网络连接，以进行经由网络的信息和图像通信。根据第一典型实施例，摄像单元30经由网络与NIC 19连接。摄像单元30和图像处理设备10可以经由除网络之外的介质连接以彼此通信。

外部传感器输入单元20使用有线或无线连接与外部传感器(照度传感器、红外传感器、声音传感器、自动门传感器、距离传感器、温度传感器等)60连接。外部传感器输入单元20从外部传感器60接收信息。例如，红外传感器和距离传感器可用作人体传感器。

(图像处理设备的软件结构)

图2示出图像处理设备10的软件功能块。图像处理设备10包括图像输入单元101、图像记录功能单元102、图像处理单元103和隐私保护处理单元104。

图像输入单元101以预定间隔从摄像单元30顺次获取图像，并向图像记录功能单元102和图像处理单元103提供这些图像。输入到图像输入单元101的图像可以显示在显示单元50上。

图像记录功能单元102将从摄像单元30输入的图像(输入图像)存储在(图1所示的)HDD 18中。进行该存储操作以进行连续记录。根据图像处理设备10的设置，存储所有输入图像或者在存储图像时对预定时间段内的图像进行间隔剔除。图像记录功能单元102进行连续记录，并且具有在HDD 18中存储自从图像处理单元103接收到与人体检出有关的检测信息(检出事件信息)略微之前的时间起连续记录的图像的功能。图像记录功能单元102还具有在HDD 18中存储在检出事件结束之后的预定时间段内的图像的功能。

另外，图像记录功能单元102可以基于来自图像处理单元103的检测信息来开始和结束记录(用于隐私保护处理的记录)。更具体地，图像记录功能单元102还具有在HDD 18中存储和记录自检出事件发生起直到其结束的图像(检出时间段期间的图像)的功能。

图像处理单元103进行诸如移动物体检测处理、人体检测处理和面部检测处理等的图像处理。当发生检出事件时，例如，当在从图像输入单元101输入的图像中检测到人体时，图像处理单元103基于图像处理设备10的设置来将检测信息(诸如检出事件信息和生成时间等)发送到隐私保护处理单元104。根据本典型实施例，图像处理单元103检测人体。当不再检测到人体时，图像处理单元103将检测信息(通知不再检测到人体的信息)发送到隐私保护处理单元104。当不再检测到人体时，图像处理单元103可以将用于结束隐私保护图像的生成的请求发送到隐私保护处理单元104。图2所示的图像处理单元103与图1所示的图像处理单元13相等。

隐私保护处理单元104生成进行隐私保护的人体的部分被掩模图像掩蔽的隐私保护图像。当生成隐私保护图像时，隐私保护处理单元104获取不存在人体的背景的图像数据(下文中称为“背景图像”)。然后，为了提取要掩蔽的区域，隐私保护处理单元104计算背景图像和输入图像之间的差异，并生成前景图像。前景图像是具有背景图像中不存在的人体的形状的图像。根据本典型实施例，整个前景图像是要用作掩模图像的灰色轮廓图像。通过将掩模图像与背景图像进行合成，隐私保护处理单元104生成人体区域被掩蔽的隐私保护图像。图2所示的隐私保护处理单元104与图1中示出的隐私保护处理单元14相等。

所生成的隐私保护图像可以不断地从图像处理设备10输出，或者可以被存储在图像处理设备10的HDD 18中并且响应于来自外部的请求而输出。隐私保护图像例如输出到显示单元50。隐私保护图像可以经由网络输出到外部设备。

隐私保护处理单元104例如可以在将图像从图像记录功能单元102输入到隐私保护处理单元104时或者在图像记录功能单元102记录图像时(图3所示的定时302)开始隐私保护处理。可选地，隐私保护处理单元104可以在将来自图像处理单元103的检测信息(检出事件信息)输入到隐私保护处理单元104时开始隐私保护处理。

在用户想要对记录在HDD 18中的图像进行隐私保护处理的情况下，例如，用户使用图像处理设备10的操作单元40发出用以进行隐私保护处理的指示。响应于该指示，隐私保护处理单元104开始隐私保护处理。

图3示出根据本典型实施例的当检出事件发生时的记录时间段和记录开始(隐私保护处理开始)触发之间的关系。

图3所示的横轴301表示时间的经过。横轴301包括用作记录开始(隐私保护处理开始)触发的检出事件发生定时302和检出结束定时303。定时302和303之间的时间段是检出时间段304。检出事件发生定时302表示检出时间段304的起始点，并且检出结束定时303表示检出时间段304的结束点。图像记录功能单元102记录在检出时间段304期间拍摄的图像组(下文中称为“图像”)305，并且同时存储在检出事件发生定时(检出开始定时)302之前的预定时间期间连续记录的图像306。在图3中，预定时间段307是在检出开始定时302之前进行连续记录的时间段。图像记录功能单元102还存储在检出结束定时303之后的预定时间期间拍摄的图像308。在图3中，预定时间段309是检出结束定时303之后的时间段。可以基于图像处理设备10(图像记录功能单元102)的设置来确定预定时间段307和309。在检出时间段304之外并且接近检出时间段304的起始点(紧挨在该起始点之前)的定时拍摄图像306。在检出时间段304之外并且在接近检出时间段304的结束点(紧接在该结束点之后)的定时拍摄图像308。检出时间段304之外的定时是指未检测到预定对象的时间段。

(用于生成隐私保护图像的操作过程)

下面将参考图4所示的流程图来描述用于生成隐私保护图像的操作过程。以图像处理设备10的CPU 11执行存储在存储器12中的程序的方式来进行图4所示的流程图中的操作过程。根据本典型实施例，在开始图4所示的流程图之前，作为背景图像的图像306和隐私保护对象图像305已经存储在HDD 18中。

在步骤S41中，隐私保护处理单元104接收用于生成隐私保护图像的请求。以图像处理单元103向隐私保护处理单元104通知人体检出(检出事件)作为检测信息的方式来请求生成隐私保护图像。这在如下情况下是有效的：在已经检测到人体的情况下，用户想要获取已经进行了隐私保护处理的图像，以及在监视区域中不存在人体的情况下，用户不想进行隐私保护处理。

在接收到生成隐私保护图像的请求时，则在步骤S42中，隐私保护处理单元104获取背景图像。期望包括背景且不包括被摄体的图像用作背景图像。根据本典型实施例，隐私保护处理单元104使用在图3所示的检出开始定时302之前拍摄的图像306(更确切地说，在预定时间段307期间拍摄的图像组中的图像)作为背景图像。这是因为，在检出开始定时302之前拍摄的图像可以被认为是不包括人体的图像。图像306是在紧挨在检出开始定时302之前(接近检出开始定时302)的定时拍摄的图像。隐私保护处理单元104从图像记录功能单元102(HDD 18)获取图像306，并将图像306设置为背景图像。

在隐私保护处理单元104从图像记录功能单元102(HDD 18)获取图像的情况下，隐私保护处理单元104将图2所示的“图像请求”发送到图像记录功能单元102。

在步骤S43中，隐私保护处理单元104从图像记录功能单元102(HDD 18)获取要进行隐私保护处理的图像305。

在步骤S44中，隐私保护处理单元104基于步骤S43中所获取到的图像305将步骤S42中所获取到的背景图像更新为最新状态(最新背景图像)。

在步骤S45中，隐私保护处理单元104生成掩模图像。更具体地，隐私保护处理单元104计算用于隐私保护处理的图像305与背景图像306之间的差异，并使用该差异来生成掩模图像。

在步骤S46中，隐私保护处理单元104将步骤S45中所生成的掩模图像与背景图像进行合成，以生成隐私保护图像。

在步骤S47中，隐私保护处理单元104输出步骤S46中所生成的隐私保护图像。

在步骤S48中，隐私保护处理单元104判断是否从图像处理单元103接收到用于结束隐私保护图像的生成的请求。在完成图像处理单元103的检出时间段304时，图像处理单元103将用于结束隐私保护图像的生成的请求发送到隐私保护处理单元104。更具体地，当不再检测到人体时，图像处理单元103将用于结束隐私保护图像的生成的请求发送到隐私保护处理单元104。当隐私保护处理单元104接收到用于结束隐私保护图像的生成的请求时(步骤S48中为“是”)，处理结束图4所示的流程图。

当隐私保护处理单元104未接收到用于结束隐私保护图像的生成的请求时(步骤S48中为“否”)，处理返回到步骤S43。然后，隐私保护处理单元104进行步骤S43至S47。换句话说，隐私保护处理单元104继续生成并输出隐私保护图像。

为了提供隐私保护处理的执行时间的时间限制，隐私保护处理单元104可以设置用于计数(测量)从开始隐私保护处理的时间起的时间的计时器。在这种情况下，在步骤S48中，当由计时器测量的测量时间超过设置时间时，隐私保护处理单元104结束隐私保护图像的生成。

(显示单元的监视器和GUI)

图5A和5B示出显示单元50中的监视器51和GUI 52。根据本典型实施例，摄像单元30安装在走廊的天花板上以拍摄沿着走廊行走的人的图像。

图5A所示的监视器51上显示的图像是当走廊中没有人时所拍摄的图像，并且是经由图像处理设备10从摄像单元30发送到显示单元50的图像。图5A所示的图像包括走廊的右壁53R、左壁53L和地板54。摄像时间是上午8:36:05。

GUI 52设置在监视器51的底部。GUI 52包括时间线56。由时间线56上示出的箭头表示的定时302和303与由图3中示出的箭头表示的定时302和303相同。

图5B所示的监视器51上显示的图像是当人55沿着走廊行走时所拍摄的图像。图5B所示的图像是隐私保护图像，并且所检测到的人体是灰色轮廓图像。摄像时间是上午8:36:09。

图5A所示的图像的摄像时间是上午8:36:05，并且图5B所示的图像的摄像时间是上午8:36:09。因此，在拍摄图5A所示的图像之后4秒内检测到人体。因此，图5A所示的图像是紧挨在人体检出之前所拍摄的图像，并且与图3所示的图像306相等。GUI 52的时间线56以带状显示图3所示的时间段304、307和309。检出开始定时302左侧的矩形(带)是预定时间段307，定时302和303之间的矩形是检出时间段304，并且检出结束定时303右侧的矩形是预定时间段309。例如，检出时间段304以红色显示，预定时间段307和309以粉红色显示。时间线56还显示表示背景图像的获取定时的粗线A(阴影框)。这使得用户能够识别出在预定时间段307中由粗线A表示的时间所获取到的图像用作步骤S42中的背景图像。在粗线A附近，显示“8:36:05.679”以表示更精确的摄像时间。

通过操作播放按钮57a、倒退按钮57b、快进按钮57c、快退按钮57d和旋钮(滑块)58，图像处理设备10的用户可以指示图像处理设备10在显示单元50上显示在上午8:36:05拍摄的图像。更具体地，用户可以向隐私保护处理单元104给出用于使用在上午8:36:05拍摄到的图像作为步骤S42中的背景图像的指示。在确认为图5A所示的图像中不包括任何人之后，用户可以发出用于使用图5A所示的图像作为背景图像的指示。例如，当人的一部分出现在图5A所示的图像中时，用户通过稍微向左移动旋钮58来搜索不包括人的图像，然后确定为如此搜索到的图像将被用作背景图像。

图5B中所示的粗线B(阴影框)表示图5B所示的摄像时间。

(变形例)

在上述典型实施例中，在检出开始定时302之前的预定时间段307期间获取要用于隐私保护处理的背景图像。然而，本发明不限于本典型实施例。在检出结束定时303之后的预定时间段309内所拍摄的图像308可以用作背景图像。例如，在监视区域中安装自动照明的情况下，当检测到人体时点亮照明。在这种情况下，由于在预定时间段307期间拍摄的图像306和在检出时间段304期间拍摄的图像305在亮度上彼此不同，因此使用在预定时间段307期间拍摄的图像306作为背景图像有时不合适。在安装自动照明的地方，在检出开始定时302之前拍摄的图像306的亮度可能没有保持恒定而是变化的。另一方面，在检出结束定时303之后的预定时间段309期间，从点亮照明起已经过了足够的时间，因此照相机参数保持恒定并且图像308的亮度几乎不变化。在这种情况下，通过使用在检出结束定时303之后的预定时间段309期间拍摄的图像308作为背景图像，可以获取到更合适的背景图像。在图像308要用作背景图像的情况下，当在图4所示的步骤S42中获取背景图像时，获取图像308。例如，如果点亮照明，则外部传感器60检测到照明的发光，并将检测结果(信息)输入到外部传感器输入单元20。

作为示例，在外部传感器60是声音传感器并且声音传感器检测到异常声音的情况下，在异常声音发生之前拍摄的图像可以用作背景图像。

根据上述典型实施例，图像处理单元103进行人体检测处理(图像处理)，生成检测信息，并向图像记录功能单元102和隐私保护处理单元104提供检测信息。然而，本发明不限于这样的典型实施例。例如，基于来自诸如设置在外部的人体传感器和照明传感器等的外部传感器60的检测信息，可以进行记录控制和隐私保护处理。更具体地，图像处理单元103可以用作外部传感器处理单元。

在这种情况下，如果图2所示的图像处理单元103用作外部传感器处理单元，则可以使用具有与图2所示的结构类似的结构的图像处理设备。图像处理单元103(外部传感器处理单元)从外部传感器60接收检测信息，并将检测信息发送到图像记录功能单元102和隐私保护处理单元104。

可选地，图像处理单元103可以具有处理图像以生成检测信息的功能，并且被配置为从外部传感器60接收检测信息。在这种情况下，将通过图像处理所获取到的检测信息和外部传感器60所获取到的检测信息提供给图像记录功能单元102和隐私保护处理单元104(并且用作操作触发)。

在图4所示的流程图中，在步骤S43之后的步骤S44中更新背景图像。然而，本典型实施例不限于该处理过程。在不需要更新背景图像的情况下(或者在用户不想更新背景图像的情况下)，跳过步骤S44中的处理以从步骤S43进入步骤S45。在图4所示的流程图中，在步骤S46中将背景图像与掩模图像合成，可以将输入图像与掩模图像进行合成。

图1所示的功能模块(图像处理单元13、隐私保护处理单元14和图像控制单元17)可以通过软件实现。在功能模块通过软件实现的情况下，用于提供上述功能模块的功能的程序存储在存储器12的ROM中。当所存储的程序被适当地加载到存储器12的RAM中并且CPU11执行程序时，实现这些功能模块的功能。

图2所示的功能块(图像输入单元101、图像记录功能单元102、图像处理单元103和隐私保护处理单元104)可以通过硬件实现。在这些功能块的功能通过硬件实现的情况下，通过例如使用预定的编译器来运行用于实现这些功能块的功能的程序，可以在现场可编程门阵列(FPGA)上自动生成专用电路。通过形成类似于FPGA的门阵列电路或使用专用集成电路(ASIC)，这些功能块的功能可以通过硬件实现。

图1和2所示的模块和块结构是一个示例。多个功能模块(块)可以构成一个功能模块(块)。可选地，这些功能模块(块)之一可以分离成用于进行多个功能的模块(块)。

根据第一典型实施例，如图2所示，图像输入单元101、图像记录功能单元102、图像处理单元103和隐私保护处理单元104包括在一个图像处理设备中10。然而，本典型实施例不限于该结构。例如，图像输入单元101、图像记录功能单元102、图像处理单元103和隐私保护处理单元104可以针对各功能而分离成不同的设备，并且特定功能单元可以被配置为其它设备。例如，图像输入单元101、图像记录功能单元102和图像处理单元103可以被配置为一个设备，并且隐私保护处理单元104可以被配置为另一设备。

在隐私保护处理单元104被分开设置为另一设备的情况下，可以将输入图像从图像输入单元101发送到该设备。在这种情况下，隐私保护处理单元104直接从摄像单元30获取输入图像。隐私保护处理单元104从图像记录功能单元102获取图像305和表示检测信息的元数据。元数据可以包括在图像305中。基于元数据，隐私保护处理单元104从输入图像获取紧挨在检出时间段304之前获取的图像306，并使用图像306作为背景图像。然后，隐私保护处理单元104可以基于背景图像和图像305生成掩模图像，并生成隐私保护图像。

根据第一典型实施例，图像处理设备10和摄像单元30经由网络连接。换句话说，图像处理系统包括图像处理设备10和摄像单元30。根据第一典型实施例，尽管分开设置图像处理设备10和摄像单元30，但是可以将图像处理设备10和摄像单元30一体化。

根据本典型实施例，尽管上面已经描述了具有人体形状的全灰色轮廓图像作为掩模图像的示例，但是掩模图像不限于轮廓图像。例如，以使性别、身高、发型、衣服和身体形状不可识别的方式变形的图像可以用作掩模图像。

根据第一典型实施例，尽管用于存储图像的HDD 18配置在图像处理设备10中，但是HDD 18可以配置在图像处理设备10的外部。在没有外部传感器60的环境中，图像处理设备10可以不设置外部传感器输入单元20。

根据第一典型实施例，由于将紧挨在作为隐私保护对象的图像305之前拍摄的图像306用作背景图像，因此可以基于合适的背景图像来生成隐私保护图像。由于将紧挨在作为隐私保护对象的图像305之前拍摄的图像306用作背景图像，因此可以生成隐私被适当保护的图像并输出该图像，并且还可以向图像查看器适当呈现具有与在现实世界中发生的环境变化有关的信息的图像。

根据本典型实施例，在通过图像处理检测到人体的情况下的隐私保护图像的生成中，或者在外部传感器60检测到人体的情况下的隐私保护图像的生成中，将在检出开始定时之前拍摄的图像或在检出结束定时之后拍摄的图像用作背景图像。利用该结构，在接近人体检出时间段的定时拍摄的图像可以用作背景图像，结果，可以在无需搜索不包括人体的背景图像或者在合成背景图像时无需花费时间和计算成本的情况下生成隐私保护图像。

根据第一典型实施例，将来自一个摄像单元(照相机)的图像输入并记录到图像处理设备10以进行隐私保护处理，本发明还适用于多个照相机以协作的方式工作的情况。例如，如果由于区域较大而无法使用一个照相机完全对监视区域进行监视，则可以使用多个照相机来监视整个监视区域。下面将以三个照相机A、B和C以协作方式工作的情况为中心来描述第二典型实施例。照相机A和B的摄像区域彼此部分重叠，并且照相机B和C的摄像区域也彼此部分重叠。照相机A、B和C经由网络连接到图像处理设备10。HDD 18具有各自用于存储和记录照相机A、B和C中的不同照相机的图像的存储区域。

图6的(A)、(B)和(C)是示出三个照相机A、B和C的记录时间段以及用于检测要进行隐私保护的人体的定时的图。图6的(A)所示的横轴601表示照相机A的时间进度。图6的(B)所示的横轴611表示照相机B的时间进度。图6的(C)所示的横轴621表示照相机C的时间进度。类似于图3，图6的(A)、(B)和(C)所示的箭头分别表示检出开始定时602、612和622以及检出结束定时603、613和623。在检出时间段604、614和624期间分别记录图像605、615和625。在检出开始定时602、612和622之前的预定时间期间分别连续记录民图像606、616和626。更具体地，在时间段607、617和627期间分别记录图像606、616和626。在检出结束定时603、613和623之后的预定时间期间分别记录图像608、618和628。更具体地，在记录时间段609、619和629期间分别记录图像608、618和628。

根据本典型实施例，照相机A、B和C例如沿着走廊的纵向以预定间隔安装在走廊的天花板或壁上。当人在走廊中行走时，可以预期照相机A、B和C按顺序拍摄人体。在以下描述中，照相机A、B和C按顺序拍摄人体。从照相机A所拍摄的图像中的检出开始定时602起、直到照相机C所拍摄的图像中的检出结束定时623为止，持续检测到人体。如果人以固定速度行走，则照相机A的摄像范围与时间段607、604和609的总和相等，照相机B的摄像范围与时间段617、614和619的总和相等，并且照相机C的摄像范围与时间段627、624和629的总和相等。

在由照相机A拍摄的图像中，图像处理设备10通过根据第一典型实施例的操作和处理来检测人体(隐私保护对象)。然后，图像处理设备10分别存储并记录在检出开始定时602和检出结束定时603之间的时间段604期间拍摄的图像以及在时间段604前后的时间段607和609期间拍摄的图像。然后，图像处理设备10基于图像605和608或基于图像605和606来生成隐私保护图像。图像处理设备10将所生成的隐私保护图像输出到显示单元50。

在由照相机B拍摄的图像中，图像处理设备10在照相机A的检出开始定时602开始存储背景图像616。由于图像处理设备10识别出在照相机A的图像中检测到人体，因此图像处理设备10在无需等待检出开始定时612的情况下开始生成用于照相机B的图像的隐私保护图像。

在从照相机A的检出开始定时602起经过了预定时间段之后的检出开始定时612，图像处理设备10在照相机B拍摄的图像中检测到人体。然后，图像处理设备10开始用于对由照相机B拍摄的图像进行隐私保护处理的记录。照相机B所拍摄的图像的检出时间段614持续到检出结束定时613为止。图像处理设备10生成掩模图像并将掩模图像与背景图像616进行合成。该合成生成针对由照相机B拍摄图像的隐私保护图像。图像处理设备10将隐私保护图像输出到显示单元50。

以这种方式，与生成针对由照相机A拍摄的图像的隐私保护图像并行地，图像处理设备10开始获取针对由照相机B拍摄的图像的背景图像。更具体地，与生成针对由照相机A拍摄的图像的隐私保护图像并行地，图像处理设备10开始生成针对由照相机B拍摄的图像的隐私保护图像。

对于由照相机C拍摄的图像，图像处理设备10开始存储在照相机B的检出开始定时612拍摄的背景图像62。由于图像处理设备10识别为在由照相机B拍摄的图像中检测到人体，因此图像处理设备10在无需等待检出开始定时622的情况下开始生成针对由照相机C拍摄的图像的隐私保护图像。

在从照相机B的检出开始定时612起经过了预定时间段之后的检出开始定时622，图像处理设备10在由照相机C拍摄的图像中检测到人体。然后，图像处理设备10开始用以对由照相机C拍摄的图像进行隐私保护处理的图像记录。针对由照相机C拍摄的图像的检出时间段624持续到检出结束定时623为止。图像处理设备10生成掩模图像并将掩模图像与背景图像626进行合成。该合成生成针对要由照相机C拍摄的图像的隐私保护图像。图像处理设备10将隐私保护图像输出到显示单元50。

以这种方式，与生成针对由照相机B拍摄的图像的隐私保护图像并行地，图像处理设备10开始获取针对由照相机C拍摄的图像的背景图像。更具体地，与生成针对由照相机B拍摄的图像的隐私保护图像并行地，图像处理设备10开始生成针对由照相机C拍摄的图像的隐私保护图像。

根据第二典型实施例，除了第一典型实施例的效果之外，还获得以下效果。

针对由照相机B拍摄的图像，图像处理设备10在无需等待针对由照相机B拍摄的图像的检出开始定时612的情况下，在针对由照相机拍摄的图像A的检出开始定时602，开始存储要在图像处理设备10所生成的隐私保护图像中使用的背景图像。因此，针对由照相机B拍摄的图像，图像处理设备10可以在检出开始定时612之前开始生成隐私保护图像。因此，根据本典型实施例，即使使用多个照相机，图像处理设备10也可以在减少图像处理设备10上的负荷的情况下开始生成隐私保护图像。在针对由照相机B拍摄的图像和由照相机C拍摄的图像的隐私保护图像的生成中，也可以获得类似的效果。

尽管上面已经以图像处理设备10为中心描述了第一典型实施例和第二典型实施例，但是本发明可以通过其它典型实施例来实现。例如，本发明可以实现(体现)为系统、设备、方法、程序(计算机程序)或记录介质(存储介质)。更具体地，本发明可以应用于包括多个设备(包括主机计算机、接口装置、摄像设备和web应用)的系统以及包括一个装置的设备。

在将本发明实现为程序的情况下，用于实现上述典型实施例的至少一个功能的软件程序代码(计算机程序)经由网络或记录介质(存储介质)提供给系统或设备，并且该系统或设备的计算机(或CPU或微处理单元(MPU))中的至少一个处理器读取并执行存储在记录介质中的程序代码。在这种情况下，存储介质是计算机可读存储介质，并且用于存储程序代码的记录介质构成本发明。

在计算机执行所读取的程序的情况下，实现上述典型实施例的功能。然而，适用的结构不限于此。在计算机上运行的操作系统(OS)可以基于程序的指令来进行部分或全部实际处理，并且可以通过处理来实现上述典型实施例的功能。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (17)

1.一种图像处理设备，包括：

检测单元，其被配置为在摄像单元所拍摄的拍摄图像中检测预定对象；

存储单元，其被配置为基于对象检测的结果，存储在未检测出所述预定对象的第一时间段期间所拍摄的多个拍摄图像以及在检测出所述预定对象的第二时间段期间所拍摄的多个拍摄图像，其中，将与所述第一时间段和所述第二时间段有关的信息显示在显示部件上的时间线上；

第一获取单元，其被配置为基于与所述显示部件所显示的所述信息有关的用户指示，从在所述第一时间段期间所拍摄的多个拍摄图像中获取拍摄图像作为第一图像；

第二获取单元，其被配置为从在所述第二时间段期间所拍摄的多个拍摄图像中获取拍摄图像作为第二图像；

生成单元，其被配置为基于所述第一图像和所述第二图像来生成所述预定对象的掩模图像；以及

合成单元，其被配置为将所述掩模图像与所述第一图像或所述第二图像进行合成。

2.根据权利要求1所述的图像处理设备，其中，基于所述对象检测的结果，所述第一获取单元获取在未检测出所述预定对象的所述第一时间段内的接近所述第二时间段的起始点或结束点的定时所拍摄的拍摄图像作为所述第一图像。

3.根据权利要求1所述的图像处理设备，其中，所述对象检测包括移动物体检测、人体检测和面部检测其中至少之一。

4.根据权利要求3所述的图像处理设备，所述检测单元还被配置为对从外部输入到所述图像处理设备的输入图像进行所述移动物体检测、所述人体检测和所述面部检测其中至少之一。

5.根据权利要求3所述的图像处理设备，其中，所述对象检测是由外部传感器进行的，所述外部传感器进行所述移动物体检测、所述人体检测和所述面部检测其中至少之一，并且所述外部传感器向所述图像处理设备输入检测结果。

6.根据权利要求5所述的图像处理设备，其中，所述外部传感器包括照度传感器、声音传感器、红外传感器、温度传感器、自动门传感器和距离传感器其中至少之一。

7.根据权利要求1所述的图像处理设备，其中，所述第一图像是在所述第二时间段之前拍摄的拍摄图像。

8.根据权利要求1所述的图像处理设备，其中，所述第一图像是在所述第二时间段之后拍摄的拍摄图像。

9.根据权利要求5所述的图像处理设备，其中，基于从所述外部传感器获取到的信息，所述第一获取单元获取拍摄图像作为所述第一图像。

10.根据权利要求9所述的图像处理设备，

其中，所述外部传感器包括照度传感器，以及

其中，在所述照度传感器检测到发光的情况下，所述第一获取单元获取在所述第二时间段之后拍摄的拍摄图像作为所述第一图像。

11.根据权利要求1所述的图像处理设备，还包括更新单元，所述更新单元被配置为基于所述第二图像来更新所述第一图像。

12.根据权利要求1所述的图像处理设备，还包括指示单元，所述指示单元被配置为指示所述第一获取单元获取哪个时间的拍摄图像作为所述第一图像。

13.根据权利要求1所述的图像处理设备，其中，所述第二图像包括表示所述第二时间段的元数据。

14.根据权利要求1所述的图像处理设备，

其中，所述第一获取单元从所述存储单元获取所述第一图像，以及所述第二获取单元从所述存储单元获取所述第二图像。

15.根据权利要求1所述的图像处理设备，

其中，从第一摄像单元向所述图像处理设备输入第一输入图像，从第二摄像单元向所述图像处理设备输入第二输入图像，所述第一摄像单元和所述第二摄像单元各自拍摄不同的摄像区域，

其中，针对所述第一输入图像，所述第一获取单元、所述第二获取单元、所述生成单元和所述合成单元通过使用所述第一输入图像来进行所述第一图像的获取、所述第二图像的获取、所述掩模图像的生成、以及所述第一图像或所述第二图像与所述掩模图像的合成，以及

其中，针对所述第二输入图像，所述第一获取单元、所述第二获取单元、所述生成单元和所述合成单元通过使用所述第二输入图像来进行所述第一图像的获取、所述第二图像的获取、所述掩模图像的生成、以及所述第一图像或所述第二图像与所述掩模图像的合成，并且所述第一获取单元获取在所述第一输入图像中的所述预定对象的检出和所述第二输入图像中的所述预定对象的检出之间拍摄的图像作为所述第一图像。

16.一种图像处理系统，包括：

根据权利要求1所述的图像处理设备；以及

摄像单元，其被配置为拍摄预定摄像区域中的图像，并且将所拍摄的图像提供给所述图像处理设备。

17.一种图像处理方法，包括：

在摄像单元所拍摄的拍摄图像中检测预定对象；

基于对象检测的结果，存储在未检测出所述预定对象的第一时间段期间所拍摄的多个拍摄图像以及在检测出所述预定对象的第二时间段期间所拍摄的多个拍摄图像；

将与所述第一时间段和所述第二时间段有关的信息显示在显示部件上的时间线上；

基于与所述显示部件所显示的所述信息有关的用户指示，从在所述第一时间段期间所拍摄的多个拍摄图像中获取拍摄图像作为第一图像；

从在所述第二时间段期间所拍摄的多个拍摄图像中获取拍摄图像作为第二图像；

基于所述第一图像和所述第二图像来生成所述预定对象的掩模图像；以及

将所述掩模图像与所述第一图像或所述第二图像进行合成。

Images