CN110798590B - 图像处理设备及其控制方法和计算机可读存储介质 - Google Patents

Abstract

本发明提供一种图像处理设备及其控制方法和计算机可读存储介质。所述图像处理设备提取摄像单元所获得的拍摄图像中的前景物体的区域，并且控制显示单元以显示通过在预定图像上叠加第一图像和第二图像所形成的输出图像，所述第一图像是通过将提取的区域隐匿所形成的，所述第二图像是通过将用户在所述拍摄图像上指定的区域隐匿所形成的，其中，所述第二图像的外观不同于所述第一图像的外观，从所述拍摄图像中的除至少所指定的区域以外的区域提取前景物体的区域，并且即使在所指定的区域包含所述前景物体的情况下，也不在所述输出图像上显示所指定的区域中的第一图像。

Description

图像处理设备及其控制方法和计算机可读存储介质

技术领域

本发明涉及图像处理设备、图像处理设备的控制方法和非暂时性计算机可读存储介质。

背景技术

已知有用于将掩模固定地叠加在监视照相机等所拍摄到的图像中的特定区域上以确保该特定区域的安全或隐私的技术。在本说明书中，以下将要固定地叠加在特定区域上的掩模称为固定掩模。此外，已知有用于在图像包含运动物体时、通过考虑该运动物体的隐私而在图像中的包括该运动物体的区域(运动物体区域)上叠加掩模的技术。在本说明书中，以下将要叠加在运动物体区域上的掩模称为运动物体掩模。

日本特开2016-158156公开了如下的方法，该方法用于仅在用户设置的区域外的运动物体上叠加运动物体掩模，以防止运动物体掩模叠加在配送中心中运送的包裹上。

在日本特开2016-158156所公开的该技术中，如果固定区域包括图像中可以绘制运动物体掩模的区域、并且将运动物体掩模叠加在该固定区域中所绘制的固定掩模上，则可以通知在该固定区域中存在运动物体。在这种情况下，意图通过固定掩模隐藏固定区域可能会变得不足。

发明内容

将提供用于可靠地实现固定区域的隐藏的技术。

实施例的一个方面涉及一种图像处理设备，包括：提取单元，其被配置为提取摄像单元所获得的拍摄图像中的前景物体的区域；以及显示控制单元，其被配置为使显示单元显示通过在预定图像上叠加第一图像和第二图像所形成的输出图像，所述第一图像是通过使所述提取单元所提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，其中，所述第二图像的外观不同于所述第一图像的外观，所述提取单元从所述摄像单元所获得的拍摄图像中的除至少所指定的区域以外的区域提取前景物体的区域，以及即使在所指定的区域包含所述前景物体的情况下，也不在利用所述显示控制单元在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像。

实施例的另一方面涉及一种图像处理设备的控制方法，包括：提取摄像单元所获得的拍摄图像中的前景物体的区域；以及将通过在预定图像上叠加第一图像和第二图像所形成的输出图像显示在显示单元上，所述第一图像是通过使在所述提取中提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，其中，所述第二图像的外观不同于所述第一图像的外观，在所述提取中，从所述摄像单元所获得的拍摄图像中的除至少所指定的区域以外的区域提取前景物体的区域，以及即使在所指定的区域包含所述前景物体的情况下，也不在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像。

实施例的更多方面涉及一种存储有一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由图像处理设备的处理器执行时，使所述处理器进行以下操作：提取摄像单元所获得的拍摄图像中的前景物体的区域；以及将通过在预定图像上叠加第一图像和第二图像所形成的输出图像显示在显示单元上，所述第一图像是通过使在所述提取中提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，其中，所述第二图像的外观不同于所述第一图像的外观，在所述提取中，从所述摄像单元所获得的拍摄图像中的除至少所指定的区域以外的区域提取前景物体的区域，以及即使在所指定的区域包含所述前景物体的情况下，也不在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像。

通过以下(参考附图)对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出与典型实施例相对应的系统的结构示例的图；

图2A是示出与典型实施例相对应的摄像设备110的硬件结构示例的框图；

图2B是示出与典型实施例相对应的客户端设备120的硬件结构示例的框图；

图3A是示出与典型实施例相对应的摄像设备110的功能结构示例的框图；

图3B是示出与第一实施例相对应的客户端设备120的功能结构示例的框图；

图3C是示出与第二实施例和第三实施例相对应的客户端设备120的其它功能结构示例的框图；

图4是示出与第一实施例相对应的客户端设备120所要进行的处理的示例的流程图；

图5A-5D是用于说明与第一实施例相对应的针对拍摄图像的图像处理的图；

图6A和6B是示出与典型实施例相对应的系统中的输出图像的示例的图；

图7A和7B是与第二实施例相对应的客户端设备120所要进行的处理的示例的流程图；

图8A-8D是用于说明与第二实施例相对应的对应于拍摄图像的图像处理的图；以及

图9是示出与第三实施例相对应的客户端设备120所要进行的处理的示例的流程图。

具体实施方式

<第一实施例>

以下将参考附图来说明典型实施例。在与本实施例相对应的系统中，在通过对预定真实空间摄像所获得的图像中检测运动物体，并且在所检测到的运动物体上叠加作为第一掩模的运动物体掩模。另外，基于在拍摄图像中预设的固定区域的信息，在叠加了运动物体掩模的图像上进一步叠加作为第二掩模的固定掩模。输出(显示)如上所述获得的叠加了运动物体掩模和固定掩模这两个类型的掩模的图像。

在本实施例中，运动物体包括人物、车辆或其它任意主体。运动物体可以包括任意主体，只要该主体是根据基于例如通过对运动物体不存在的真实空间进行摄像所获得的图像而创建的背景图像与拍摄图像之间的差分可检测的物体即可。此外，物体可以在真实空间中作为摄像对象移动，并且在真实空间内的预定场所可以停留或者可以静止不动。

图1是示出与典型实施例相对应的系统结构的示例的图。如图1所示，本实施例的系统100包括摄像设备110、客户端设备120、输入设备130、显示设备140和网络150。图1所示的系统100的该结构仅仅是示例，因此也可以进一步添加除这些构成元件以外的其它构成元件。以下将说明各构成元件。

摄像设备110是诸如网络照相机等的摄像设备。摄像设备110通过根据在客户端设备120中设置的诸如姿势和视角等的摄像参数对真实空间进行摄像来生成拍摄图像，并且将该拍摄图像通过网络150发送至客户端设备120。摄像设备110可以包括多个网络照相机而不是单个网络照相机。

客户端设备120通过网络150从摄像设备110接收到拍摄图像。客户端设备120从所接收到的拍摄图像中检测运动物体，并基于所检测到的运动物体在拍摄图像中设置运动物体区域。此外，客户端设备120将运动物体掩模叠加在运动物体区域上，并将固定掩模叠加在拍摄图像中预设的固定区域上。客户端设备120将叠加了运动物体掩模和固定掩模的拍摄图像输出至显示设备140，由此显示图像。

输入设备130包括诸如键盘、鼠标和触摸面板等的用户接口，并且用户可以通过操作输入设备130来向客户端设备120输入各种指示。显示设备140是CRT或液晶显示器等，并且可以通过图像和字符等来显示来自客户端设备120的处理结果。

注意，图1将客户端设备120、输入设备130和显示设备140示出为独立设备，但本实施例不限于该结构。例如，还可以将这些设备集成到单个设备中、将客户端设备120和显示设备140集成、或者将输入设备130和显示设备140集成。客户端设备120和摄像设备110也可以集成。

网络150是连接摄像设备110和客户端设备120以便这两者可以彼此进行通信的网络。网络150包括满足诸如以太网

等的通信标准的路由器、交换机和线缆等。在本实施例中，网络150仅需要能够进行摄像设备110和客户端设备120之间的通信，并且网络150的通信标准、规模和结构并不重要。例如，网络150可以是因特网、有线LAN(局域网)、无线LAN或WAN(广域网)。

以下将参考图2A和2B来说明摄像设备110和客户端设备120的硬件结构。首先，将通过使用图2A的框图来说明摄像设备110的硬件结构示例。如图2A所示，摄像设备110可以包括CPU 211、主存储装置212、辅助存储装置213、驱动单元214和摄像单元215。注意，图2A所示的该结构仅仅是可应用于摄像设备110的结构的示例，并且可以根据需要进行修改/改变。

CPU 211通过使用主存储装置212中所存储的计算机程序和数据来执行处理。因而，CPU 211控制整个摄像设备110的操作，并且执行或控制摄像设备110所要执行的(后面要说明的)各处理。例如，CPU 211通过使用主存储装置212中所存储的计算机程序和数据执行处理来实现图3A所示的各功能单元的功能。后面将说明这些功能单元的详情。

主存储装置212是诸如RAM(随机存取存储器)等的存储装置。主存储装置212具有用于存储从辅助存储装置213加载的计算机程序和数据、摄像单元215所获得的拍摄图像以及经由网络I/F 216从客户端设备120接收到的各种数据的区域。另外，主存储装置212具有CPU 211在执行各种处理时使用的工作区域。因而，主存储装置212可以根据需要提供各种区域。

辅助存储装置213是诸如硬盘驱动器(HDD)、ROM(只读存储器)或SSD(固态驱动器)等的大容量存储装置。辅助存储装置213存储OS(操作系统)、以及用于使CPU 211执行或控制摄像设备110所要执行的(后面要说明的)各处理的计算机程序和数据。辅助存储装置213还存储经由网络I/F 216从客户端设备120接收到的数据(例如，上述的摄像参数)。辅助存储装置213中所存储的计算机程序和数据在CPU 211的控制下根据需要被加载到主存储装置212中，并由CPU 211处理。

驱动单元214基于从客户端设备120接收到的摄像参数来驱动摄像单元215，并控制摄像单元215的姿势(摄像方向)和视角等。驱动单元214的控制对象不限于特定对象，而且可以是摄像单元215的姿势和视角中的一个或两个，并且也可以是其它对象(例如，摄像单元215的位置)。此外，摄像单元215的位置、姿势和视角也可以是固定的。在这种情况下，不需要驱动单元214。

摄像单元215包括摄像元件和光学系统，并通过使用光学系统的光轴与摄像元件的交点作为摄像中心来在摄像元件上形成被摄体的图像。摄像元件的示例是CMOS(互补金属氧化物半导体)和CCD(电荷耦合器件)。网络I/F 216是摄像设备110为了通过网络150与客户端设备120进行数据通信而使用的接口。

图2B是示出客户端设备120的硬件结构示例的图。如图2B所示，客户端设备120包括CPU 221、主存储装置222、辅助存储装置223、输入I/F 224、输出I/F 225和网络I/F 226。

CPU 221通过使用主存储装置222中所存储的计算机程序和数据来执行处理，由此控制整个客户端设备120的操作、并且执行或控制客户端设备120所要进行的(后面要说明的)各处理。例如，CPU 221通过使用主存储装置222中所存储的计算机程序和数据执行处理来实现图3B所示的各功能单元的功能。后面将说明图3B所示的各功能单元。

主存储装置222是诸如RAM(随机存取存储器)等的存储装置。主存储装置222具有用于存储从辅助存储装置223加载的计算机程序和数据、以及经由网络I/F 226从摄像设备110接收到的各种数据(例如，拍摄图像)的区域。此外，主存储装置222具有CPU 221在执行各种处理时使用的工作区域。因而，主存储装置222可以根据需要提供各种区域。

辅助存储装置223是诸如硬盘驱动器(HDD)、ROM(只读存储器)或SSD(固态驱动器)等的大容量存储装置。辅助存储装置223存储OS(操作系统)、以及用于使CPU 221执行或控制客户端设备120所要执行的(后面要说明的)各处理的计算机程序和数据。辅助存储装置223还存储经由网络I/F 226从摄像设备110接收到的各种数据(例如，拍摄图像)、以及运动物体检测中所使用的背景图像。辅助存储装置223中所存储的计算机程序和数据在CPU 221的控制下根据需要被加载到主存储装置222中，并由CPU 221处理。

输入I/F 224是用于将输入设备130连接至客户端设备120的接口。输出I/F 225是用于将显示设备140连接至客户端设备120的接口。网络I/F 226是客户端设备120为了通过网络150与摄像设备110进行数据通信而使用的接口。

以下将参考图3A-3C来说明摄像设备110和客户端设备120的功能结构。图3A是示出与典型实施例相对应的摄像设备110的功能结构示例的图。图3A所示的各功能单元可作为硬件被安装，也可作为软件(计算机程序)被安装。在后者情况下，将计算机程序存储在辅助存储装置213中。CPU 211根据需要将计算机程序加载到主存储装置212中并执行该程序，由此实现相应功能单元的功能。

如图3A所示，摄像设备110的功能结构可以包括摄像控制单元311、信号处理单元312、驱动控制单元313和通信控制单元314。摄像控制单元311控制摄像单元215的摄像操作，并获得摄像单元215所拍摄到的图像作为拍摄图像。信号处理单元312对摄像控制单元311所获得的拍摄图像进行预定的图像处理。该图像处理可以包括例如显像处理和编码处理。注意，针对摄像设备110所获得的拍摄图像的编码不是必须的，因此信号处理单元312无需对拍摄图像进行任何编码处理。

驱动控制单元313基于从客户端设备120接收到的摄像参数来驱动摄像单元215，由此控制摄像单元215的姿势(摄像方向)和视角等。如前面所述，摄像单元215的姿势(摄像方向)和视角等也可以是固定的。通信控制单元314将信号处理单元312处理后的拍摄图像经由网络I/F 216发送至客户端设备120。此外，通信控制单元314经由网络I/F 216接收从客户端设备120向摄像设备110发送的控制指示(包括摄像参数)。

以下将通过使用图3B的框图来说明与本实施例相对应的客户端设备120的功能结构示例。图3B所示的各功能单元可作为硬件被安装，也可作为软件(计算机程序)被安装。在后者的情况下，将该计算机程序存储在辅助存储装置223中。CPU 221根据需要将该计算机程序加载到主存储装置222中并执行该程序，从而实现相应功能单元的功能。客户端设备120的功能结构可以包括设置判断单元321、通信控制单元322、图像获得单元323、检测单元324、绘制单元325和显示单元326。

设置判断单元321获得辅助存储装置223中所存储的固定区域的设置信息，并进行与固定区域的设置(或固定掩模的绘制)有关的各种判断。该判断可以包括与是否设置了固定区域(或者是否设置了固定掩模的绘制)有关的判断，并且在进行了该设置的情况下，可以包括固定区域的位置和大小(或者固定掩模的绘制的位置和大小)的判断。该判断还可以包括与是否改变所设置的固定区域(或要绘制的固定掩模)有关的判断、或者与是否解除固定区域的设置(或固定掩模的绘制)有关的判断。固定区域设置方法不限于特定设置方法。例如，用户可以预先通过操作输入设备130在拍摄图像上设置固定区域并将该固定区域的设置信息存储在辅助存储装置223中。作为其它实施例，假定在应用该系统的现场，在拍摄图像中要隐藏的物体是预先确定的。在这种情况下，可以通过操作系统100来获得拍摄图像，进行用于在拍摄图像中检测要隐藏的物体的处理，将所检测到的物体被隐藏的区域确定为固定区域，并将该信息存储在辅助存储装置223中。固定区域的设置信息可以是各种信息。例如，该设置信息可以是固定区域的左上角的位置和右下角的位置的信息，也可以是固定区域的左上角的位置以及固定区域的垂直大小和水平大小的信息。

通信控制单元322经由网络I/F 226获得从摄像设备110发送来的(已编码)图像。通信控制单元322还将针对摄像设备110的控制指示经由网络I/F 226发送至摄像设备110。图像获得单元323获得由通信控制单元322从摄像设备110接收到的拍摄图像，并对该图像进行解码。注意，如果摄像设备110在未对拍摄图像进行编码的情况下将该图像发送至客户端设备120，则图像获得单元323在无需对由通信控制单元322从摄像设备110接收到的图像进行解码的情况下获得该图像。

检测单元324对图像获得单元323所获得的拍摄图像进行运动物体检测处理，并将与所检测到的运动物体相关联的区域设置为运动物体区域。在本实施例的运动物体检测处理中，可以使用背景差分法来从拍摄图像中检测运动物体(前景物体)。更具体地，比较预先获得的背景图像和拍摄图像，并计算相应位置中的像素的亮度值之间的差。背景图像可以存储在辅助存储装置223中。判断为包括以下像素的区域是运动物体区域，其中针对该像素，所获得的差超过阈值。然而，实现运动物体检测处理的方法不限于背景差分法，也可以是其它众所周知的方法。例如，本实施例使用亮度值之间的差，但也可以将RGB值作为三维坐标来处理，并测量背景图像的RGB值和拍摄图像的RGB值之间的距离作为该差。另外，本实施例不限于背景差分，并且还可以通过如光流法那样计算图像中的各坐标的移动方向来检测运动物体。在本实施例中，假定在所准备的背景图像上未叠加固定掩模。

绘制单元325在拍摄图像上的运动物体区域中绘制运动物体掩模，并在拍摄图像上的固定区域中绘制固定掩模。因而，绘制单元325执行用于使运动物体区域和固定区域隐匿(anonymize)的处理。注意，运动物体掩模对应于运动物体区域被隐匿的图像，并且固定掩模对应于固定区域被隐匿的图像。显示单元326使显示设备140显示经过了绘制单元325所进行的绘制处理的拍摄图像。注意，将在(后面要说明的)第二实施例和第三实施例中说明图3C所示的客户端设备120的功能结构。

以下将参考图4来说明与典型实施例相对应的客户端设备120中的图像输出处理的示例。特别地，将说明客户端设备120输出通过在叠加了运动物体掩模的图像上叠加固定掩模所获得的图像的处理。符合图4所示的流程图的处理是针对摄像设备110所获得的一个拍摄图像的处理。因此，在摄像设备110将多个拍摄图像发送至客户端设备120的情况下，客户端设备120对各拍摄图像进行符合图4所示的流程图的处理。为了简化说明，假定摄像设备110在未对图像进行编码的情况下发送该图像。

在步骤S400中，图像获得单元323使主存储装置222存储由通信控制单元322经由网络I/F 226从摄像设备110接收到的拍摄图像。将参考图5A-5D来说明所获得的拍摄图像的示例。图5A的图像500示出包含作为运动主体的作业人员501、502和503的拍摄图像的示例。图5B的图像510示出不包含诸如作业人员501等的运动物体的拍摄图像的示例。

在步骤S401中，检测单元324通过上述的背景差分法从步骤S400中存储在主存储装置222中的拍摄图像中检测运动物体，并基于所检测到的运动物体来设置运动物体区域。例如，在获得图5A所示的图像500的情况下，检测单元324检测到作业人员501、502和503，因此针对所检测到的各个作业人员501、502和503设置运动物体区域。图像520示出所设置的运动物体区域的示例。在图像520中，针对在图像500中检测到的作业人员501-503的位置来设置运动物体区域521-523。另一方面，在获得拍摄图像510的情况下，检测单元324没有检测到运动物体，因此不设置运动物体区域。图5D的图像530是运动物体检测中要使用的背景图像的示例。注意，检测单元324还可以从拍摄图像中的除固定区域以外的区域中检测运动物体。也就是说，检测单元324也可以不在固定区域中执行运动物体检测处理。

在步骤S402中，绘制单元325在步骤S401中在拍摄图像中设置的运动物体区域上绘制运动物体掩模。如果在步骤S401中在拍摄图像中没有检测到运动物体，则不绘制运动物体掩模。在步骤S403中，设置判断单元321进行与固定区域的设置有关的判断。在本实施例中，判断为将图5A所示的图像500中的区域504设置为固定区域。如图5C的图像520所示，固定区域504与在作业人员503被检测为运动物体时设置的运动物体区域523重叠。在步骤S404中，绘制单元325在拍摄图像中的固定区域上绘制固定掩模。注意，如果在步骤S403中判断为没有设置固定区域，则不绘制固定掩模。在步骤S405中，将通过上述处理所获得的拍摄图像经由输出I/F 225输出至显示设备140。

将参考图6A和6B来说明作为上述处理的结果所获得的输出图像。图6A和6B示出在拍摄图像是图5A和5B所示的图像500和510的情况下要显示在显示设备140上的拍摄图像的示例。图6A的显示图像600示出在拍摄图像是图5A所示的图像500的情况下的显示图像的示例。在显示图像600中，在图像500中的针对作业人员501和502分别设置的运动物体区域521和522上绘制运动物体掩模601和602。此外，在图像500中的固定区域504上绘制固定掩模603。

在这种情况下，图4所示的过程首先在步骤S402中在运动物体区域523上绘制运动物体掩模，并且在之后的步骤S404中在包含运动物体区域523的固定区域504上叠加固定掩模603。因此，先前在运动物体区域523上绘制的运动物体掩模被固定掩模603覆盖，因而在绘制了图像600的固定掩模603的固定区域504中没有以视觉上可识别的方式绘制运动物体掩模。因此，不能从作为处理结果的图像600中判断固定区域504中的作业人员503的存在，因此可以可靠地隐藏固定区域504。

运动物体掩模可以是与运动物体区域的形状相对应的图像，也可以是具有包括运动物体区域的任意形状的图像。固定掩模是具有包括固定区域的形状的图像。然而，可应用于这些掩模的图像不限于特定图像。例如，通过预定图案描绘出的图像、点状图案图像、条纹图案图像和由单一颜色描绘出的图像也可用作运动物体掩模和固定掩模。另外，在特定定时获得的拍摄图像和预先登记在辅助存储装置223中的图像也可用作运动物体掩模和固定掩模。此外，可以通过使用拍摄图像与运动物体掩模和固定掩模的α混合来在拍摄图像上绘制运动物体掩模和固定掩模。此外，运动物体掩模和固定掩模不需要是相同的掩模，并且绘制方法也不需要相同。注意，在设置了固定掩模的状态下使运动物体掩模有效的情况下，可以向用户通知删除固定掩模的设置。

图6B的显示图像610示出在拍摄图像是图5B所示的图像510的情况下的显示图像的示例。在图像610中，由于在图像510中不存在运动物体，因此不绘制运动物体掩模，并且仅在固定区域504上绘制固定掩模613。

在如上所述的本实施例中，在拍摄图像包含运动物体并且在该图像中设置了固定区域的情况下，将固定掩模叠加在先前绘制的运动物体掩模上。结果，运动物体掩模没有以视觉上可识别的方式保留在显示图像的固定掩模区域中，因而可以可靠地隐藏固定区域。

<第二实施例>

在上述的第一实施例中，说明了用于在设置了固定区域的情况下可靠地隐藏固定区域的方法。在第一实施例中，在所准备的背景图像上没有叠加固定掩模，因此即使在解除(删除)固定区域的设置时，显示设备140上的显示结果也不受影响。然而，如果在固定掩模叠加在背景图像上的情况下、解除固定区域的设置或者所设置的固定区域的数量减少，则在显示设备140上所显示的图像中，与固定掩模同色的运动物体的部分区域可能暴露。

假定拍摄图像是图8A所示的图像800、并且背景图像是图8B所示的背景图像810。图像800包含作为运动主体的三个作业人员801-803。另一方面，在背景图像810中设置了固定掩模813。在基于这两个图像应用背景差分法时，将作业人员801-803检测为运动主体。然后，在运动物体区域上绘制运动物体掩模，之后进一步叠加固定掩模。在该处理中，作业人员803被检测为运动物体，但由于作业人员803的服装的颜色与固定掩模813的颜色相同或相似，因此服装部分(运动物体的一部分)未被检测为运动物体。结果，在服装部分上未绘制运动物体掩模。然而，由于只要设置了固定区域、就在固定区域上绘制固定掩模，因此在最终获得的图像中在作业人员803上绘制的运动物体掩模的范围不会引起问题。

然而，在解除固定区域的设置的情况下，不在运动物体掩模上叠加固定掩模，因此如果未适当地绘制运动物体掩模，则可能无法适当地隐藏运动物体。作为像这样的情况的示例，图8C的图像820示出作为在图像800上绘制运动物体掩模的结果的图像。在图像800中，作业人员803的服装的颜色是灰色，并且与背景图像810中的固定掩模813的颜色相同。在这种情况下，如果判断为在服装部分中背景差分的值不表示有效值，则所设置的运动物体区域如在图像820中所示。在图像820中，阴影区域821、822和823是运动物体区域。然而，在运动物体区域823中，矩形区域不是完全阴影，并且作业人员803的服装部分824保留为原本服装颜色。

在解除固定区域的设置之后并且在重新创建和更新背景图像之前，可能发生像这样的情形。如果背景图像包括固定掩模，则必须用通过解除固定区域的设置去除了固定掩模的新背景图像来更新背景图像。然而，该更新没有紧接在解除设置之后按时进行，因此使用了保留固定掩模的背景图像。

因此，本实施例提供用以解决在更新背景图像之前不能适当地隐藏所检测到的运动物体这一问题的方法。在以下说明中，将省略对与第一实施例相同的内容的说明。在本实施例中，客户端设备120的功能结构如图3C所示。本实施例的客户端设备120除图3B所示的功能结构之外，还可以包括背景创建单元327和背景判断单元328。背景创建单元327创建和更新背景图像。根据设置判断单元321所进行的是否设置了固定区域的判断的结果，背景创建单元327创建叠加了与所设置的固定区域相对应的固定掩模的背景图像。此外，背景创建单元327根据设置判断单元321的判断结果来根据需要更新背景图像。将所创建的背景图像存储在辅助存储装置223中。背景判断单元328判断运动物体检测中所使用的背景图像是否包含固定掩模。

以下将参考图7A和7B来说明与本实施例相对应的客户端设备120中的图像输出处理的示例。特别地，将说明客户端设备120为了输出叠加有运动物体掩模和固定掩模的图像而进行的处理。符合图7A和7B所示的流程图的处理是针对摄像设备110所获得的一个拍摄图像的处理。因此，在摄像设备110将多个拍摄图像发送至客户端设备120的情况下，客户端设备120对各拍摄图像进行符合图7A和7B所示的流程图的处理。

图7A中的步骤S700-S702的处理与图4中的步骤S400-S402的处理相同，因此将省略对这些处理的详细说明。在步骤S703中，背景判断单元328判断辅助存储装置223中所存储的并且在运动物体检测中所使用的背景是否包含固定掩模的图像。该判断可以通过例如通过分析运动物体检测中所使用的背景图像判断固定掩模的图像是否保留在该背景图像中来进行。如果判断结果表示运动物体检测中所使用的背景包含固定掩模的图像，则处理进入步骤S704。另一方面，如果背景图像不包含固定掩模的图像，则处理进入步骤S705。在步骤S704中，绘制单元325在步骤S700中获得的拍摄图像中的固定区域上绘制固定掩模。在步骤S705中，显示单元326将通过步骤S702和S704中的掩模绘制处理叠加了掩模的拍摄图像经由输出I/F 225输出至显示设备140。这使得可以继续用于叠加固定掩模的处理，直到将包含设置被解除的固定掩模的背景图像更新为不包含固定掩模的新背景图像为止。

以下将参考图7B来说明背景图像更新处理。该更新处理可以与同图7A所示的流程图相对应的处理并行执行。在假定设置了仅一个固定区域的情况下，以下将说明用于判断设置了一个固定区域的状态是否已改变为设置被解除的状态的处理。注意，本实施例不限于此，并且可以包括设置多个固定区域和固定区域的数量减少的情况。

在步骤S710中，设置判断单元321从辅助存储装置223获得固定区域的设置信息。在步骤S711中，设置判断单元321基于所获得的设置信息来判断是否解除了固定区域的设置。如果判断为解除了设置，则处理进入步骤S712。另一方面，如果判断为未解除设置，则处理返回至步骤S710。在步骤S712中，背景创建单元327重新创建与所解除的固定区域相对应且不包含固定掩模的背景图像。在步骤S713中，通过将由背景创建单元327重新创建的背景图像存储在辅助存储装置223中来更新背景图像。

以上已经说明了自动更新背景图像的情况，但也可以根据来自系统的用户的指示来执行更新。此外，在上述处理中，背景判断单元328通过分析背景图像来判断背景图像是否包含固定掩模图像。然而，判断方法不限于此。例如，背景判断单元328还可以将解除固定区域的日期/时间存储在主存储装置222中，并且在从所存储的日期/时间起经过的时间段小于预定时间段的情况下判断为背景图像包含固定掩模，或者在所经过的时间段等于或大于预定时间段的情况下判断为背景图像不包含固定掩模。可以基于背景创建单元327将叠加有固定掩模的背景图像更新为去除了固定掩模的背景图像的平均时间长度来设置该预定时间段的长度。

此外，图7A所示的流程图省略了与图4的步骤S403相对应的判断是否设置了固定区域的处理，但也可以执行该判断处理。在这种情况下，在该判断处理判断为未设置固定区域、或者判断为所设置的固定区域的数量减少的情况下，可以执行步骤S703中的处理。另外，在判断为设置了固定区域或者所设置的固定区域的数量未减少的情况下，也可以跳过步骤S703的处理而执行步骤S704的处理。

在步骤S700中获得的拍摄图像是图8A所示的图像800的情况下，在上述处理中在步骤S705中输出至显示设备140并由显示设备140显示的拍摄图像例如是图8D的图像830。在作业人员801和802的区域中绘制运动物体掩模831和832，并且在图像800的固定区域中绘制固定掩模833。通过如这样的处理所获得的图像是图8D的拍摄图像830。

在如上所述的本实施例中，在背景图像中绘制了固定掩模的情况下，即使解除了固定区域的设置或者所设置的固定区域的数量已减少，也可以可靠地隐藏拍摄图像中检测到的运动物体。

<第三实施例>

在第二实施例中，说明了在背景图像中绘制固定掩模并且解除固定区域的设置或者所设置的固定区域的数量减少的情况下的处理。在第三实施例中，将说明在设置新的固定区域或者固定区域的数量增加的情况下的处理。

在以下说明中，将省略对与第一实施例相同的内容的说明。在本实施例中，客户端设备120的功能结构如图3C所示。注意，在本实施例中，客户端设备120无需包括背景判断单元328。

在本实施例中，设置判断单元321判断是否更新了固定区域的设置并设置了新的固定区域。背景创建单元327根据设置判断单元321的判断结果来重新创建运动物体检测中所使用的背景图像。例如，背景创建单元327可以通过使用一个或多个拍摄图像来创建背景图像。

以下将参考图9来说明与本实施例相对应的客户端设备120中的图像输出处理的示例。特别地，将说明客户端设备120在设置新的固定区域或者根据固定区域的增加而重新创建背景图像的同时、为了输出叠加有运动物体掩模和固定掩模的图像而进行的处理。符合图9所示的流程图的处理是针对摄像设备110所获得的一个拍摄图像的处理。因此，在摄像设备110将多个拍摄图像发送至客户端设备120的情况下，客户端设备120对各拍摄图像进行符合图9所示的流程图的处理。

步骤S900-S904的处理与图4所示的步骤S400-S404的处理相同，因此将省略对这些处理的详细说明。在步骤S905中，设置判断单元321基于步骤S903中所获得的固定区域的设置来判断是否新设置了固定区域。设置判断单元321可以通过将通过上次判断所获得的固定区域设置信息保持在主存储装置222中、并将该固定区域设置信息与步骤S903中所获得的固定区域设置信息进行比较，来进行该判断。如果该判断结果表示新设置了固定区域，则处理进入步骤S906。另一方面，如果未新设置固定区域，则处理进入步骤S907。在步骤S906中，背景创建单元327重新创建新的背景。背景创建单元327将新的背景图像存储在辅助存储装置223中，由此更新步骤S901中的运动物体检测中所使用的背景图像。在步骤S907中，将通过步骤S902和S904的绘制处理所获得的拍摄图像经由输出I/F 225输出至显示设备140。

在如上所述的本实施例中，如果判断为设置了新的固定区域或者固定区域的数量已增加，则可以通过丢弃直到此时所使用的背景图像并重新创建新的背景图像来可靠地隐藏固定区域。注意，以上已经详细描述了各典型实施例，但本实施例不限于根据该描述的各个实施例，并且也可以自由地组合上述实施例。

其它实施例

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (11)

1.一种图像处理设备，包括：

提取单元，其被配置为提取摄像单元所获得的拍摄图像中的前景物体的区域；以及

显示控制单元，其被配置为使显示单元显示通过在预定图像上叠加第一图像和第二图像所形成的输出图像，所述第一图像是通过使所述提取单元所提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，

其中，所述第二图像的外观不同于所述第一图像的外观，

在所指定的区域包含所述前景物体，并且在所述叠加中，在所述预定图像上叠加所述第二图像的情况下，不在利用所述显示控制单元在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像，在利用所述显示控制单元在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户指定的区域所形成的第二图像，以及

在所述指定的区域以外的区域包含所述前景物体，并且在所述叠加中在所述预定图像上叠加所述第二图像的情况下，在利用所述显示控制单元在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域以外的区域中隐匿所述前景物体的区域所形成的第一图像，在利用所述显示控制单元在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户在摄像单元获得的拍摄图像上指定的区域所形成的第二图像。

2.根据权利要求1所述的图像处理设备，其中，所述提取单元基于背景图像和所述拍摄图像之间的差分来提取所述前景物体的区域。

3.根据权利要求1所述的图像处理设备，还包括绘制单元，所述绘制单元被配置为将所述第一图像叠加在所述预定图像上，并且将所述第二图像叠加在叠加了所述第一图像的所述预定图像上，

其中，所述显示控制单元使所述显示单元显示被所述绘制单元叠加了所述第一图像和所述第二图像的输出图像。

4.根据权利要求3所述的图像处理设备，还包括第一判断单元，所述第一判断单元被配置为进行关于与所述第二图像在所述预定图像上的叠加有关的设置的判断，

其中，在所述第一判断单元判断为所述设置是将所述第二图像叠加在所述预定图像上的情况下，所述绘制单元将所述第二图像叠加在叠加了所述第一图像的所述预定图像上。

5.根据权利要求4所述的图像处理设备，其中，

所述提取单元基于背景图像和所述拍摄图像之间的差分来提取所述前景物体的区域，以及

如果所述背景图像在所述背景图像中的与所指定的区域相对应的区域中包含所述第二图像，则即使所述第一判断单元判断为解除了用于将所述第二图像叠加在所述拍摄图像上的设置，所述绘制单元也在所述第二图像包含在所述背景图像中期间将所述第二图像叠加在叠加了所述第一图像的预定图像上。

6.根据权利要求5所述的图像处理设备，还包括创建单元，所述创建单元被配置为创建所述背景图像，

其中，在所述第一判断单元判断为解除了用于将所述第二图像叠加在所述预定图像上的设置的情况下，所述创建单元创建不包含所述第二图像的更新背景图像，以及

所述绘制单元将所述第二图像叠加在绘制了所述第一图像的所述预定图像上、直到所述创建单元创建了所述更新背景图像为止。

7.根据权利要求4所述的图像处理设备，其中，

所述提取单元基于背景图像和所述拍摄图像之间的差分来提取所述前景物体的区域，以及

如果所述背景图像在所述背景图像中的与所指定的区域相对应的区域中包含所述第二图像，则即使所述第一判断单元判断为解除了用于将所述第二图像叠加在所述拍摄图像上的设置，所述绘制单元也将所述第二图像叠加在叠加了所述第一图像的所述预定图像上、直到从解除所述设置起经过了预定时间段为止。

8.根据权利要求7所述的图像处理设备，还包括创建单元，所述创建单元被配置为创建背景图像，

其中，在所述第一判断单元判断为解除了用于叠加所述第二图像的设置的情况下，所述创建单元创建不包含所述第二图像的更新背景图像，以及

所述预定时间段是基于所述创建单元创建了所述更新背景图像之前的时间段所确定的。

9.根据权利要求2所述的图像处理设备，还包括：

第二判断单元，其被配置为判断所述背景图像是否包含所述第二图像；以及

绘制单元，其被配置为将所述第一图像叠加在所述预定图像上，并将所述第二图像叠加在叠加了所述第一图像的所述预定图像上，

其中，在所述第二判断单元判断为所述背景图像包含所述第二图像的情况下，所述绘制单元将所述第二图像叠加在叠加了所述第一图像的所述预定图像上。

10.一种图像处理设备的控制方法，包括：

提取摄像单元所获得的拍摄图像中的前景物体的区域；以及

将通过在预定图像上叠加第一图像和第二图像所形成的输出图像显示在显示单元上，所述第一图像是通过使在所述提取中提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，

其中，所述第二图像的外观不同于所述第一图像的外观，

在所指定的区域包含所述前景物体，并且在所述叠加中，在所述预定图像上叠加所述第二图像的情况下，也不在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户指定的区域所形成的第二图像，以及

在所述指定的区域以外的区域包含所述前景物体，并且在所述叠加中在所述预定图像上叠加所述第二图像的情况下，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域以外的区域中隐匿所述前景物体的区域所形成的第一图像，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户在摄像单元获得的拍摄图像上指定的区域所形成的第二图像。

11.一种存储有一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令在由图像处理设备的处理器执行时，使所述处理器进行以下操作：

提取摄像单元所获得的拍摄图像中的前景物体的区域；以及

将通过在预定图像上叠加第一图像和第二图像所形成的输出图像显示在显示单元上，所述第一图像是通过使在所述提取中提取的区域隐匿所形成的，所述第二图像是通过将用户在所述摄像单元所获得的拍摄图像上指定的区域隐匿所形成的，

其中，所述第二图像的外观不同于所述第一图像的外观，

在所指定的区域包含所述前景物体，并且在所述叠加中，在所述预定图像上叠加所述第二图像的情况下，也不在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述前景物体的区域所形成的第一图像，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户指定的区域所形成的第二图像，以及

在所述指定的区域以外的区域包含所述前景物体，并且在所述叠加中在所述预定图像上叠加所述第二图像的情况下，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域以外的区域中隐匿所述前景物体的区域所形成的第一图像，在所述显示中在所述显示单元上所显示的所述输出图像上显示通过在所指定的区域中隐匿所述用户在摄像单元获得的拍摄图像上指定的区域所形成的第二图像。

Images