CN101615295B - 图像处理系统和图像处理方法 - Google Patents

Abstract

本发明公开了图像处理系统、图像处理方法和计算机程序。该图像处理系统包括：对象检测单元，该对象检测单元从预定区域的图像的图像数据检测运动体对象；对象发生位置检测单元，该对象发生位置检测单元检测对象检测单元所检测到的对象的发生位置；以及有效对象判定单元，当对象存在于在预定区域的图像中被设置为非检测目标的掩蔽区域中并且对象发生位置检测单元所检测到的掩蔽区域中对象的发生位置在掩蔽区域外部时，该有效对象判定单元判定对象检测单元所检测到的对象是有效对象。

Description

图像处理系统和图像处理方法

技术领域

本发明涉及用于分析输入图像并输出监视结果的图像处理系统、图像处理方法和计算机程序。 

背景技术

存在一种图像处理系统，该系统分析通过利用监视相机对预定区域拍照而获得的图像并且检测诸如人或汽车之类的运动体从而执行监视(下文中称为监视系统)。 

图9是这种监视系统中运动体检测的状态的视图。监视相机(未示出)从前方对作为运动体的人51和位于人51的后方作为背景对象的标牌(sign)52拍照。人51在运动体检测框架53中被捕获作为要监视的对象。在这种运动体检测处理中，可以应用一种算法，该算法用于计算图像中像素值的时间改变，并且当像素值之间的差异等于或大于预定值时，判定运动体存在于图像中(见JP-A-2006-107457)。 

如图9所示，作为对象的人51正从标牌52的前方经过。在标牌52中不发生时间改变，因为标牌52是固定的。只有人51在运动体检测框架53中被捕获，并被监视相机检测。 

在该示例中，运动体并不限于人51，而是可以例如是汽车或自行车。背景对象52可以例如是房子或树。 

如图10所示，当太阳光照射在标牌52的杆521上时，太阳光在杆521的表面上的区域522上被反射，并且引起大的亮度改变。如果背景对象是具有类似于标牌52的引起光反射的表面的对象，则会发生相同的现象，该表面例如是由金属制成的仓库的壁表面或路缘石。尽管标牌52并不移动，但是标牌52中的亮度改变很大。因此，在运动体检测算法中，这种光反射被监视相机误检测为对象。 

图11是人51经过标牌52的太阳光照射一侧的状态的视图。如图11所示，当太阳光被人51所阻挡时，在杆521的表面上的区域522的一部分中形成了阴影523。在这种情况下，杆521的表面上的亮度明显发生改变。尽管人51并未经过监视相机和标牌52之间，但是人51上的亮度改变很大。因此，在运动体检测算法中，这种阴影被监视相机误检测为对象。 

这种误检测可能在夜间发生。通常，如图12A所示，在夜间，标牌52的杆521的表面并不发光。然而，如图12B所示，当诸如汽车灯光之类的某种光照射在杆521上时，光例如在杆521的表面上的区域524上被反射以生成反射光。在这种情况下，与上述情况中一样，尽管诸如人51之类的运动体并未经过监视相机和标牌52之间，但是亮度改变很大。因此，在运动体检测算法中，反射光被监视相机误检测为对象。 

因此，在过去的运动体检测算法中，例如如图13所示，执行用于在标牌52的杆521的位置中设置掩蔽区域(mask area)54以不在掩蔽区域54中执行图像处理的处理。这使得可以防止杆521的表面上的误检测。 

另一相关技术包括日本专利No.3997062。 

发明内容

然而，当执行这种用于设置掩蔽区域的处理时，例如如图14所示，在掩蔽区域54中检测不到人51，而只在运动体检测框架53所指示的非检测区域之外检测到人51。 

因此，希望提供一种可以在设置了掩蔽区域的图像中准确地检测运动体对象的图像处理系统、图像处理方法和计算机程序。 

根据本发明的一个实施例，提供了一种图像处理系统，包括：对象检测单元，该对象检测单元根据预定区域的图像的图像数据检测运动体对象；对象发生位置检测单元，该对象发生位置检测单元检测对象检测单元所检测到的对象的发生位置；以及有效对象判定单元，当对象存在于在预定区域的图像中的被设置为非检测目标的掩蔽区域中并且对象发生位置检测单元所检测到的掩蔽区域中对象的发生位置在掩蔽区域外部时，该有效对象判定单元判定对象检测单元所检测到的对象是有效对象。 

根据本发明的另一个实施例，提供了一种图像处理方法，包括以下步骤：从预定区域的图像的图像数据检测运动体对象；检测在检测对象的步骤中检测到的对象的发生位置；以及当对象存在于在预定区域的图像中被设置为非检测目标的掩蔽区域中并且在检测发生位置的步骤中检测到的掩蔽区域中对象的发生位置在掩蔽区域外部时，判定在检测对象的步骤中检测到的对象是有效对象。 

根据本发明的另一个实施例，提供了一种用于使得计算机执行以下步骤的计算机程序：从预定区域的图像的图像数据检测运动体对象；检测在检测对象的步骤中检测到的对象的发生位置；以及当对象存在于在预定区域的图像中被设置为非检测目标的掩蔽区域中并且在检测发生位置的步骤中检测到的掩蔽区域中对象的发生位置在掩蔽区域外部时，判定在检测对象的步骤中检测到的对象是有效对象。 

根据本发明，即使在趋向于发生环境改变的室外，当利用监视相机监视侵入者等时，也可以准确地检测运动体对象并且减少对警报(alert)的误报告。 

附图说明

图1是根据本发明一个实施例的监视系统的配置示例的视图； 

图2是在根据该实施例的监视系统中包括的监视相机的配置的功能框图； 

图3是当根据该实施例的监视系统在作为非检测目标的背景对象中设置掩蔽区域时所执行的对象检测的状态的视图； 

图4是元数据生成单元的配置图； 

图5是用于说明根据该实施例的监视系统的对象检测处理操作的流程图； 

图6是在根据该实施例的监视系统中包括的摇摄-倾斜型(pan-tilttype)监视相机转动的状态的视图； 

图7是客户终端的详细配置的功能框图； 

图8是根据该实施例的监视系统的另一配置示例的视图； 

图9是在过去的监视系统中运动体检测的状态的视图； 

图10是太阳光在标牌(太阳光照射在标牌上)的杆的表面上的一部分区域中被反射并且引起大的亮度改变的状态的视图； 

图11是作为对象的人经过背景对象的太阳光照射一侧的状态的视图； 

图12A和12B是用于说明夜间对象的误检测的视图； 

图13是用于说明在过去的监视系统中的掩蔽设置处理的视图；以及 

图14是在过去的监视系统中的对象检测的状态的视图。 

具体实施方式

下面将参考附图详细说明本发明的实施例。 

图1是根据本发明一个实施例的监视系统的配置示例的视图。在图1所示的监视系统100中，客户终端3经由网络获取从一个或多个监视相机输出的数据。 

在监视系统100中，三个监视相机1a、1b和1c经由网络2连接到客户终端3。客户终端3可以是包括显示单元的任何信息处理装置，例如如图1所示的个人计算机。 

监视相机1a、1b和1c分别以帧为单位对监视区域中的监视目标运动体进行拍照，以生成图像数据并根据每帧的图像数据生成元数据。在该实施例中，监视目标对象的示例包括各种运动体，例如人、汽车、自行车和动物。 

当客户终端3经由网络2从监视相机1a、1b和1c获取了图像数据和元数据时，客户终端3在显示单元311上显示基于图像数据的图像。客户终端3使得存储单元(未示出)存储图像数据和元数据，分析元数据，并输出分析结果。 

由客户终端3经由网络2从监视相机1a、1b和1c获取的元数据被经由元数据滤波器(下文中称为“滤波器”)分析。取决于滤波处理结果的内容，客户终端3向监视相机1a、1b和1c提供切换指示信号以控制监视相机1a、1b和1c的操作，从而获得适合于监视的监视图像。 

下面说明在监视相机中生成的元数据。元数据是由监视相机的成像单元摄取的图像的图像数据的属性信息。例如，元数据包括以下内容： 

对象信息(诸如监视相机检测到的对象的位置、运动向量、ID、坐标和大小之类的信息)； 

成像时间数据和监视相机的方向信息(摇摄、倾斜等)； 

监视相机的位置信息；以及 

所摄取图像的签名信息。 

对象信息是通过将被描述为元数据中的二进制数据的信息扩展为诸如结构之类的有意义数据结构而获得的信息。 

元数据滤波器是在从对象信息生成警报信息时的判定条件。警报信息是基于从元数据所扩展的对象信息而经历滤波处理的信息。警报信息是通过以下方式获得的：分析多个帧的元数据、从运动体的位置改变推断速度、检查运动体是否与某一条线相交、或者以复合方式分析这些信息。 

作为客户终端3中滤波器的类型，例如，存在下面说明的七种类型。可以选择这些类型中任意类型的滤波器。 

存在型：用于判定对象是否存在于某一区域中的滤波器 

消失型：用于判定对象是否出现在某一区域中并移出该区域的滤波器 

经过型：用于判定对象是否与某一边界相交的滤波器 

容量型：用于对某一区域中对象的数目计数并且判定对象的累积数目是否超过预定值的滤波器 

滞留(loitering)型：用于判定对象是否停留在某一区域中超过预定时间的滤波器 

无人参与(unattended)型：用于判定是否存在侵入到某一区域中并且不移动的时间超过预定时间的对象的滤波器 

移除型：用于检测存在于某一区域中的对象被移除的滤波器 

警报信息中包括的数据的示例包括通过使用所检测对象的累积值的滤波器(例如上述滤波器中的“容量型”等等)生成的“对象的累积数目”、作为与滤波器条件相匹配的对象数目的“对象数目”、在特定帧中与滤波器条件相匹配的对象数目、以及与滤波器条件相匹配的对象的属性 信息(对象的ID、X坐标、Y坐标和大小)。这样，警报信息包括图像中的对象数目(人的数目)和对对象数目的统计。警报信息还可用作报告功能。 

在该实施例中，如上所述，客户终端3基于从监视相机1a、1b和1c发送来的元数据生成警报信息。近年来，根据诸如算术处理设备的大小减小和功率节省之类的条件，可以在相机上执行过去由客户端装置执行的处理。还可以在监视相机1a、1b和1c中基于预定条件(滤波器)生成警报信息。 

下面说明监视相机1a、1b和1c的详细配置。图2是监视相机1a的配置的功能框图。由于监视相机1a、1b和1c具有相同配置，因此省略了对监视相机1b和1c的配置的说明。 

监视相机1a包括图像数据生成单元11、成像操作切换单元12和元数据生成单元13。 

图像数据生成单元11包括镜头单元111、成像单元112、成像信号处理单元113和数据处理单元114。 

成像单元112通过镜头单元111以帧为单位执行成像，并对聚焦在成像元件(未示出)上的成像光进行光电转换从而以帧为单位生成成像信号Sv。 

成像单元112例如包括前置放大器单元和A/D(模数)转换单元。前置放大器单元执行成像信号Sv的电信号电平的放大和由于相关双采样而引起的复位噪声的去除。A/D转换单元将成像信号Sv从模拟信号转换为数字信号。 

成像单元112还对以帧为单位提供的成像信号Sv执行增益调节、黑电平稳定化、动态范围调节等等。之后，成像单元112将成像信号Sv提供给成像信号处理单元113。 

成像信号处理单元113对从成像单元112提供来的成像信号Sv应用各种信号处理并生成图像数据Dv。成像信号处理单元113例如执行膝式校正(knee correction)以压缩成像信号Sv等于或高于某一电平的电平，执行γ校正以根据γ曲线校正成像信号Sv的电平，并且执行白限幅处理和黑 限幅处理以将成像信号Sv的信号电平限制到预定范围。成像信号处理单元113将图像数据Dv提供给数据处理单元114和元数据生成单元13，并且使得存储单元(未示出)存储图像数据Dv。 

数据处理单元114对图像数据Dv应用编码处理以减少在与客户终端3等执行通信时的数据量，并生成图像数据Dt。数据处理单元114将所生成的图像数据Dt以预定数据结构提供给客户终端3。监视系统100执行用于检测运动体对象的处理。因此，包括对象的图像比不包括对象的其他图像更加重要。因此，在该编码处理中，数据处理单元114可以增大对包括对象的图像的图像数据Dv的压缩比，并且减小对不包括对象的图像的图像数据Dv的压缩比。这使得可以高度精确地再现包括对象的图像。 

成像操作切换单元12基于从客户终端3输入的切换指示信号CA来控制镜头单元111、成像单元112、成像信号处理单元113和数据处理单元114以便可以获得最优摄取图像，并且执行对监视相机1的操作切换。除了执行成像单元的成像方向的切换以外，成像操作切换单元12例如还执行用于向镜头单元111提供控制信号CMa以使得镜头单元111执行变焦比(zoom ratio)和光圈的切换的处理，向成像单元112和成像信号处理单元113提供控制信号CMb以使得成像单元112和成像信号处理单元113执行所摄取图像的帧速率的切换的处理，以及向数据处理单元114提供控制信号CMc以使得数据处理单元114执行图像数据的压缩比的切换的处理。 

成像操作切换单元12将成像操作信号QF(例如，在监视目标对象被成像时的成像方向和变焦状态以及图像数据生成单元11的设置信息)提供给元数据生成单元13并且控制元数据生成单元13。 

元数据生成单元13生成包括关于对象的信息的元数据Dm。在该实施例中，当运动体被设置为监视目标对象时，元数据生成单元13利用由图像数据生成单元11生成的图像数据Dt来检测运动体对象，生成指示是否检测到对象的对象检测信息和指示所检测到的对象的位置的对象位置信息，并且在元数据Dm中包括对象检测信息和对象位置信息作为对象信息。唯一的(unique)ID被分配给所检测到的对象。 

元数据Dm中包括的关于监视目标的信息并不限于与对象有关的信 息，而是可以是指示监视相机所监视的区域的状态的信息，例如，诸如被监视区域的温度和亮度之类的信息。或者，关于监视目标的信息可以是例如关于在被监视区域中执行的操作的信息。当温度被设置为监视目标时，元数据生成单元13仅仅必须在元数据Dm中包括温度测量结果。当亮度被设置为监视目标时，元数据生成单元13仅仅必须基于图像数据Dv来例如区分监视图像的平均亮度，并在元数据Dm中包括区分结果。 

当用户在ATM(自动取款机)、POS(销售点终端机)等上执行的操作被设置为监视目标时，元数据生成单元13仅仅必须在元数据Dm中包括通过操作键、操作面板等执行的用户操作。 

元数据生成单元13可以通过在元数据Dm中包括从成像操作切换单元12提供来的成像操作信号QF(例如，在监视目标对象被成像时的成像方向和变焦状态以及图像数据生成单元11的设置信息)、时间信息等来记录并保持生成元数据Dm的时间和情形。 

下面说明图像数据Dt和元数据Dm的结构。图像数据Dt和元数据Dm包括数据主体和链接信息。图像数据Dt的数据主体是由监视相机1a和1b拍摄的监视图像的图像数据。元数据Dm的数据主体是对指示监视目标对象的信息等和定义信息的描述模式的属性信息的描述。另一方面，链接信息是对指示图像数据Dt和元数据Dm之间的关联的关联信息、定义信息内容的描述模式的属性信息等等的描述。 

作为关联信息，例如使用了用于指定图像数据Dt的时间戳和序列号。时间戳是指示图像数据Dt的生成时间的信息(时间信息)。序列号是指示内容数据的生成顺序的信息(顺序信息)。当存在具有相同时间戳的多个监视图像时，可以识别具有相同时间戳的图像数据Dt的生成顺序。作为关联信息，可以使用用于指定生成图像数据Dt的装置的信息(例如，制造公司名、型号名和序号)。 

为了描述链接信息和元数据主体，使用了被定义用于描述在web(WWW：万维网)上交换的信息的标记语言。当使用标记语言时，可以容易地执行经由网络2的信息交换。另外，也可以利用例如用于交换文件和电子数据的XML(可扩展标记语言)作为标记语言来容易地执行图像 数据和元数据的交换。例如，当使用XML时，XML配置器(XMLschemer)被用作定义信息的描述模式的属性信息。 

由监视相机1a、1b和1c生成的图像数据Dt和元数据Dm可以作为一个流被提供给客户终端3。或者，图像数据Dt和元数据Dm可以作为单独的流被异步提供给客户终端3。 

在过去的对象检测处理中，为了防止非检测目标的区域中的误检测，对于非检测目标设置了掩蔽区域，并且在掩蔽区域中不执行图像处理。然而，在过去的这种对象检测处理中，当运动体存在于掩蔽区域中时，运动体不被检测。 

因此，根据该实施例的监视系统100即使在对象侵入掩蔽区域中时也执行用于检测对象的对象检测处理。 

在该对象检测处理中，例如如图3所示，当作为非检测区域的掩蔽区域64被设置在标牌62的杆621的位置时，即使当一个人61从掩蔽区域64的外部侵入到掩蔽区域64中时，在掩蔽区域64中也检测作为对象的人61。该人61在运动体检测框架63中被捕获并且被检测。 

图4是元数据生成单元13的配置图。元数据生成单元13包括对象检测单元131、对象发生位置检测单元132、有效对象判定单元133和有效元数据生成单元134，并且执行这种运动体检测处理。 

元数据生成单元13生成包括关于对象的信息的元数据Dm。元数据生成单元13利用由图像数据生成单元11生成的图像数据Dt来检测运动体对象，生成指示是否检测到对象的对象检测信息和指示所检测到的对象的发生位置的发生位置信息，并且在元数据Dm中包括对象检测信息和发生位置信息作为对象信息。所检测到的对象被分配有唯一的ID并被存储在存储单元(未示出)中。 

在监视系统100中，在元数据生成单元13执行运动体检测处理之前，客户终端3基于用户的操作在有可能被从对象检测处理中排除的场所中设置一个掩蔽作为非检测区域。作为掩蔽设置信息的掩蔽设置信号被从客户终端3经由网络2提供给监视相机1a、1b和1c。 

诸如人61之类的运动体对象的图像数据Dv被从成像信号处理单元 113提供给对象检测单元131。在成像系统100中，成像单元112针对每帧对图像拍照。成像信号处理单元113对以帧为单位由成像单112获取的成像信号Sv应用图像处理。每帧的图像数据Dv被提供给对象检测单元131。对象检测单元131使从成像信号处理单元113提供来的图像数据Dv经历图像处理并且获取对象。对象检测单元131将指示是否检测到对象的对象检测信息设置为元数据Dm。对象检测单元131向所检测到的对象分配唯一的ID。对象检测单元131在元数据Dm中包括对象检测信息作为对象信息，并且使得存储单元(未示出)存储元数据Dm。对象检测单元131将元数据Dm发送到客户终端3。 

在由成像信号处理单元113执行的对象检测处理中，例如可以应用在JP-A-2006-107457中公开的运动体检测算法。在一些情况下，获取对象的多个图像。在这种情况下，应用相同的算法。在JP-A-2006-107457所公开的算法中，在以帧为单位的图像中检测时间亮度改变，并且将其中发生亮度改变的区域设置为运动体对象。然而，所获得的对象还包括误检测的无效对象。后面将说明的有效对象是作为监视目标的对象，并且在检测到对象时如果对象满足滤波器的条件，则对于该对象将需要报告警报。无效对象是不作为监视目标的对象，并且对于该对象即使检测到对象也不需要报告警报。这种无效对象通过后面说明的由有效对象判定单元133执行的处理而被移除。 

监视相机1a执行用于跟踪基于在对象发生之后的亮度改变而检测到的对象的处理。这使得可以指定掩蔽区域和对象发生位置之间的关系。更具体而言，对象发生位置检测单元132从被成像并存储在存储单元(未示出)中的所有帧的图像数据Dv来指定在对象发生时的帧速率。对象发生位置检测单元132从帧图像来检测对象的发生位置并生成对象发生位置信息。对象发生位置检测单元132在元数据Dm中包括对象发生位置信息作为对象信息，并且使得存储单元(未示出)存储元数据Dm。对象发生位置检测单元132将元数据Dm发送到客户终端3。 

作为一种检测对象发生位置检测单元132所采用的对象发生位置的方法，例如，可以应用在JP-A-2007-334631中公开的对象区域跟踪方法。利 用该对象区域跟踪方法，即使当对象区域由于重叠或隐藏而暂时消失时，也可以维护与对象区域相关联的识别信息并且可以高性能地执行对象跟踪。 

当由于掩蔽区域中的亮度改变而检测到对象时，对象发生位置检测单元132可以执行用于计算围绕对象的图像的运动向量以及计算对象存在于紧接在前的帧的图像中的位置的处理。在这种情况下，后面说明的有效对象判定单元133基于通过向量计算处理获得的运动向量而判定存在于紧接在前的帧的图像中的掩蔽区域外部的对象并没有在掩蔽区域中发生并且是有效对象。当不考虑在掩蔽区域中的图像中存在亮度改变的事实而不计算运动向量时，有效对象判定单元133判定所检测到的对象是反射光或阴影并且发生了误检测。 

通过组合执行这些处理，可以进一步改善对象判定的精度。 

有效对象判定单元133判定迄今为止在所有帧的图像数据中已被对象检测单元131检测到的所有对象(包括无效对象)中、存在于掩蔽区域中的对象是在掩蔽区域中发生的还是在掩蔽区域外部发生的。换句话说，有效对象判定单元133判定存在于对象发生位置检测单元132所检测到的掩蔽区域中的对象的发生位置是否在掩蔽区域内部。 

当对象是在掩蔽区域外部发生的时，有效对象判定单元133将对象判定为有效对象。当对象是在掩蔽区域中发生的时，有效对象判定单元133将对象判定为无效对象。 

利用这种处理，有效对象判定单元133可以判定对象是从掩蔽区域外部侵入到掩蔽区域中还是在掩蔽区域中发生的。有效对象判定单元133判定仅仅在掩蔽区域中运动的对象不是有效对象。在该判定处理中，还可以进一步设置一个判定标准，即如果对象从掩蔽区域移出，则即使在掩蔽区域中发生的对象也是有效对象。 

有效元数据生成单元134生成运动体的元数据Dm，它是指示对象被有效对象判定单元133判定为有效对象的信息。元数据Dm被经由网络2提供给客户终端3。客户终端3根据滤波处理报告该警报。检测到对象的监视相机自身可以基于元数据Dm报告该警报。 

因此，当监视系统100例如监视到侵入者时，可以减少过去有的误报告，并且报告指示检测到运动体对象的警报。 

作为有效对象判定单元133所采用的有效对象的判定标准，还可以进一步添加一个判定标准，该标准不仅基于上述的有效对象的存在与否，还基于对象的运动，例如对象是否经过某一条假想线或者对象是否侵入到假想区域中。 

在过去的对象检测处理中，对象检测仅仅是根据关于图像的亮度改变的信息执行的。因此，引起大亮度改变的背景对象(例如反射光或阴影)经常被误检测为运动体对象。另一方面，利用上述的执行对象检测处理的监视系统100，通过检测对象的发生位置，所检测到的对象被准确地检测为运动体。 

下面参考图5中的流程图说明监视系统100中的对象检测处理操作。在下面的说明中，监视相机1a检测对象。然而，由于监视相机1a、1b和1c具有相同配置，因此当监视相机1b或1c检测对象时，对象检测处理按相同处理步骤执行。 

在步骤S1中，监视系统100开始对象检测处理操作。 

在步骤S2中，客户终端3基于用户操作执行掩蔽设置处理，并将掩蔽设置信号提供给监视相机1a的成像操作切换单元12。 

在步骤S3中，监视相机1a的成像单元112基于成像操作切换单元12的控制操作以帧为单位(例如30fps或15fps)经由镜头单元111对监视区域拍照。成像单元112将以帧为单位的成像信号Sv提供给成像信号处理单元113。成像单元112将成像信号Sv提供给成像信号处理单元113。成像信号处理单元113对成像信号Sv应用上述的各种信号处理以生成图像数据Dv，并将图像数据Dv提供给元数据生成单元13。 

在步骤S3中，成像操作切换单元12基于在步骤S2中设置的掩蔽设置信号来对非检测区域执行掩蔽设置处理。成像操作切换单元12将设置掩蔽的数据(掩蔽数据)提供给元数据生成单元13中包括的有效对象判定单元133。 

掩蔽设置处理并不限于基于用户操作的掩蔽设置。客户终端3或监视 相机1a可以统计地计算其中误检测频繁发生的区域并将该区域设置为掩蔽区域。 

在步骤S4中，当图像数据Dv被从成像信号处理单元113提供来时，监视相机1a的元数据生成单元13中包括的对象检测单元131执行用于检测该图像中的运动体对象的处理。 

在步骤S4中，对象检测单元131判定是否存在对象。当对象检测单元131在步骤S4中判定存在对象时，处理进行到步骤S5。当对象检测单元131判定不存在对象时，处理返回到步骤S3。 

在步骤S5中，有效对象判定单元133判定对象检测单元131所检测到的对象的位置是否在掩蔽区域内部。当步骤S5中对象的位置在掩蔽区域内部时，处理进行到步骤S6。当对象的位置在掩蔽区域外部时，处理进行到步骤S7。 

在步骤S6中，对象发生位置检测单元132从被成像并存储在存储单元(未示出)中的所有帧的图像数据Dv来指定在对象发生时的图像帧，并且检测图像中对象的发生位置。有效对象判定单元133判定对象发生位置检测单元132所检测到的对象的发生位置是否在掩蔽区域内部。当步骤S6中对象的发生位置在掩蔽区域外部时，即当对象发生在被设置为掩蔽的非检测区域外部时，处理进行到步骤S7。当对象的发生位置在掩蔽区域内部时，处理返回到步骤S3。 

在步骤S7中，有效元数据生成单元134生成元数据Dm，元数据Dm是指示检测到运动体对象的信息。 

在步骤S8中，客户终端3使所生成的元数据Dm经历滤波处理以生成警报信息。客户终端3基于警报信息执行警报报告。或者，这种滤波处理和警报信息的生成也可以在监视相机1a中执行。之后，处理返回到步骤S3。 

如上所述，在监视系统100中，如果对象的发生位置在掩蔽区域外部，则对象被判定为有效对象。 

在图5的流程图所示的处理步骤中，在掩蔽区域中发生的对象存在于当前掩蔽区域中时，对象被判定为无效对象。之后，继续跟踪对象。当在 执行跟踪的同时对象从掩蔽区域移出时，此时对象被判定为有效对象。在这种情况下，在对象被判定为有效对象时，还可以对图像数据进行追溯(trace back)并且认识到从对象的发生时对象是有效的。 

尽管未在图5的流程图中未示出，但是在监视系统100中，即使对象的发生位置在掩蔽区域内部，如果对象的当前位置在掩蔽区域外部，则对象也被判定为有效对象。 

根据该实施例的监视系统100中的监视相机1a、1b和1c的配置并不限于上述固定相机，而是例如可以是具有可转动机构的摇摄-倾斜型相机。 

在固定相机中，成像范围一旦设置则一般是固定的。在这种固定相机的情况下，掩蔽一般被设置在固定区域中。 

另一方面，当监视相机是摇摄-倾斜型相机时，监视相机可以通过转动在宽广范围中执行成像。因此，用户可以在宽广范围中在通过成像生成的全景图像中设置掩蔽。 

下面说明摇摄-倾斜型监视相机的操作示例。 

如图6所示，摇摄-倾斜型监视相机7转动以拍照由弧线所指示的假想圆柱表面70所包围的区域。监视相机7转动以拍照例如具有由成像视场(imaging field of view)A、成像视场B和成像视场C所指示的视场的图像。监视相机7使得存储单元(未示出)存储监视相机7的摇摄和倾斜的值。监视相机7基于存储在存储单元中的摇摄和倾斜值来将被拍照图像投影在具有与相机的旋转中心相同中心的假想圆柱表面70上，从而在假想圆柱表面70上创建一个全景图像。利用所创建的图像，可以按与监视相机是固定相机的情况相同的方式设置掩蔽。尽管图像被投影在假想圆柱表面70上，但是也可以将图像投影在球形表面上或者将图像投影在诸如Mercator图之类的扩展平面上。 

当监视相机7不能存储倾斜值时，还可以利用例如边缘提取或拐角提取来提取在区域A、区域B和区域C中拍照的图像的特征值，以执行对特征点的匹配处理并创建一个全景图像。这例如在监视相机7的旋转中心不与图像的焦点一致时是有效的。 

在该实施例中，还可以使用例如按狭缝形状提取通过旋转监视相机7 而拍照的图像的一部分并且根据监视相机7的旋转重新布置所提取的图像的方法。 

在该实施例中，可以使用变焦型监视相机。在变焦型监视相机中，例如可以基于经由镜头在远端拍照的图像来设置掩蔽。 

下面参考图7的功能框图来说明图1中所示的客户终端3的详细配置。客户终端3的各个功能块可以由硬件或软件配置。 

客户终端3包括执行与监视相机1a、1b和1c的数据传输的网络连接单元301、从监视相机1a、1b和1c获取图像数据的图像缓冲器单元302、从监视相机1a、1b和1c获取元数据的元数据缓冲器单元303、累积与滤波处理相对应的滤波设置的滤波设置数据库(DB)307、作为对元数据执行滤波处理的滤波器单元的元数据滤波器单元306、向监视相机1a、1b和1c通知设置改变的规则切换单元308、累积图像数据的图像数据累积数据库304、累积元数据的元数据累积数据库305、显示图像数据、元数据等的显示单元311、执行用于使得显示单元311再现图像数据的处理的图像数据处理单元309、执行用于使得显示单元311再现元数据的处理的元数据处理单元310、以及同步元数据的再现和图像数据的再现的再现同步单元312。 

图像缓冲器单元302从监视相机1a、1b和1c获取图像数据Dt，并对经编码的图像数据Dt执行解码处理。图像缓冲器单元302在设在图像缓冲器单元302中的未示出的缓冲器中存储所获取的图像数据Dt。图像缓冲器单元302还执行用于顺序地将存储在未示出的缓冲器中的图像数据提供给显示图像的显示单元311的处理。通过以这种方式在未示出的缓冲器中存储图像数据，可以顺序地将图像数据提供给显示单元311，而无论从监视相机1a、1b和1c发送来的图像数据的接收定时如何。图像缓冲器单元302基于从后面说明的规则切换单元308提供来的记录请求信号来使得图像数据累积数据库304累积所存储的图像数据。还可以使得图像数据累积数据库304累积经编码的图像数据并在后面说明的图像数据处理单元309中对图像数据解码。 

元数据缓冲器单元303在设在元数据缓冲器单元303中的未示出的缓 冲器中存储从监视相机1a、1b和1c获取的元数据Dm。元数据缓冲器单元303还执行用于将所存储的元数据Dm提供给后面说明的元数据滤波器单元306的处理。由于未示出的缓冲器存储元数据，因此可以顺序地将元数据提供给显示单元311，而无论来自监视相机1a、1b和1c的元数据Dm的接收定时如何。 

当元数据缓冲器单元303在元数据累积数据库305中累积从监视相机1a、1b和1c获取的元数据Dm时，元数据缓冲器单元303添加与元数据同步的图像数据的时间信息。这使得可以利用所添加的时间信息从元数据累积数据库305读出期望时刻的元数据Dm，而不用区分在元数据Dm的内容被读出时的时间。 

滤波设置数据库307累积与在后面说明的元数据滤波器单元306中执行的滤波处理相对应的滤波设置，并将滤波设置提供给元数据滤波器单元306。滤波设置是用于针对关于元数据中包括的监视目标的每种信息、指示出例如用于判定是否有必要执行警报信息等的输出并且切换监视相机1a、1b和1c的成像操作的判定标准的设置。通过利用滤波设置执行对元数据的滤波处理，可以针对关于对象的每种信息指示出滤波处理结果。取决于滤波处理结果，可能有必要执行警报信息的输出或者可能有必要切换监视相机1a、1b和1c的成像操作。 

元数据滤波器单元306利用累积在滤波设置数据库307中的滤波设置来对元数据执行滤波处理，并且判定是否应当报告警报。元数据滤波器单元306对由元数据缓冲器单元303获取的元数据和从元数据累积数据库305提供来的元数据执行滤波处理，并且向规则切换单元308通知滤波处理的结果。 

规则切换单元308基于从元数据滤波器单元306通知的滤波处理结果来生成切换指示信号，并且向监视相机1a、1b和1c通知诸如成像方向的切换之类的改变。例如，规则切换单元308基于从元数据滤波器单元306获得的滤波处理结果来输出用于切换监视相机1a、1b和1c的操作的命令，以使得可以获得适合于监视的监视图像。规则切换单元308基于滤波处理结果将记录请求信号提供给图像数据累积数据库304，并且使得图像 数据累积数据库304累积由图像缓冲器单元302获取的图像数据。 

图像数据累积数据库304累积由图像缓冲器单元302获取的图像数据。元数据累积数据库305累积由元数据缓冲器单元303获取的元数据Dm。 

图像数据处理单元309执行用于使得显示单元311显示累积在图像数据累积数据库304中的图像数据的处理。图像数据处理单元309顺序地从用户所指示的再现位置读出图像数据，并将所读出的图像数据提供给显示单元311。图像数据处理单元309将被再现的再现图像的再现位置(再现时刻)提供给再现同步单元312。 

同步元数据Dm和图像数据的再现同步单元312将同步控制信号提供给元数据处理单元310，并且控制元数据处理单元310的操作，以使得从图像数据处理单元309提供来的再现位置和在元数据处理单元310再现累积在元数据累积数据库305中的元数据时的再现位置彼此同步。 

元数据处理单元310执行用于使得显示单元311显示累积在元数据累积数据库305中的元数据Dm的处理。元数据处理单元310顺序地从用户所指示的再现位置读出元数据Dm，并将所读出的元数据Dm提供给显示单元311。当图像数据和元数据Dm都被再现时，如上所述，元数据处理单元310基于从再现同步单元312提供来的同步控制信号来控制再现操作，并将与图像数据同步的元数据Dm输出到显示单元311。 

显示单元311显示从图像缓冲器单元302提供来的活动(live)图像数据、从图像数据处理单元309提供来的再现图像数据、从元数据缓冲器单元303提供来的活动元数据Dm、以及从元数据处理单元310提供来的再现元数据。显示单元311基于来自元数据滤波器单元306的滤波设置来显示(输出)指示监视结果的图像，该图像是基于利用监视图像、元数据的图像、以及滤波设置的图像或者通过组合这些图像而形成的图像中的任何一个的滤波处理结果的。 

显示单元311充当图形用户界面(GUI)。用户可以定义滤波器和GUI显示，例如通过利用未示出的操作键、鼠标、遥控器等选择显示在显示单元311上的滤波设置菜单等来定义关于处理单元的信息和警报信息的 分析结果。 

利用根据该实施例的监视系统100，可以准确地在室外(倾向于发生环境改变)检测运动体对象。 

在室外，由于白天和黑夜中太阳光、汽车灯光等的影响，在诸如标牌、招牌(signboard)和路缘石之类的背景对象中产生反射光和阴影。在过去的运动体检测处理中，主要设置的是固定掩蔽。用户在背景对象中设置大量的固定掩蔽以防止对对象的误检测。因此，经常发生本应当被检测的运动体对象可能无法被检测到，从而引起警报的误报告，这在监视系统中是一个严重的问题。另一方面，利用根据该实施例的监视系统100，可以通过执行上述的对对象发生位置的检测处理来减少警报的误报告。 

本发明并不仅限于上述实施例。很显然，在不脱离本发明的精神的情况下，可以进行各种修改。 

例如，如图8所示，根据该实施例的监视系统还可以在监视系统1的配置中包括服务器4以划分客户端功能。换句话说，根据该实施例的监视系统200包括如图8所示的服务器4，并且可以获得与图1所示的示例相同的功能和效果。在图8所示的监视系统200中，服务器4具有与客户终端3相同的配置，经由网络2获取从监视相机1a、1b和1c输出的数据，并将数据提供给客户终端3。利用这种监视系统200，通过划分服务器功能和客户端功能，可以适当地使用服务器4和客户终端3，例如来在具有高处理性能的服务器4中处理大量数据并在具有低处理性能的客户终端3中仅仅查看处理结果。这样，通过经由服务器分布功能，监视系统200可以被配置为在灵活性上更加丰富的监视系统。 

很显然，根据该实施例的监视系统中包括的监视相机、客户终端和服务器的数目和配置并不限于上述示例。 

在实施例的说明中，监视相机1a、1b和1c向客户终端3或服务器4发送元数据Dm，并且客户终端3或服务器4基于元数据Dm生成警报信息。然而，本发明并不限于此。监视相机1a、1b和1c可包括元数据处理单元并且生成并输出警报信息。 

本发明包含与2008年6月24日向日本专利局提交的日本在先专利申 请JP 2008-164856中公开的内容相关的主题，该申请的全部内容通过引用结合于此。 

本领域技术人员应当理解，取决于设计需求和其他因素，可以发生各种修改、组合、子组合和变更，只要这些修改、组合、子组合和变更在所附权利要求或其等同物的范围内。 

Claims (5)

1.一种图像处理系统，包括：

对象检测单元，该对象检测单元从预定区域的图像的图像数据检测运动体对象；

对象发生位置检测单元，该对象发生位置检测单元检测所述对象检测单元所检测到的对象的发生位置；以及

有效对象判定单元，当所述对象存在于在所述预定区域的图像中被设置为非检测目标的掩蔽区域中并且所述对象发生位置检测单元所检测到的所述掩蔽区域中对象的发生位置在所述掩蔽区域外部时，该有效对象判定单元判定所述对象检测单元所检测到的对象是有效对象。

2.如权利要求1所述的图像处理系统，还包括有效元数据生成单元，该有效元数据生成单元在所述有效对象判定单元判定所述对象是有效对象时生成指示检测到所述运动体对象的元数据。

3.如权利要求1所述的图像处理系统，还包括：

成像单元，该成像单元对所述预定区域拍照并生成成像信号；以及

成像信号处理单元，该成像信号处理单元对由所述成像单元生成的成像信号应用预定的图像处理并生成所述预定区域的图像的图像数据。

4.如权利要求3所述的图像处理系统，其中所述成像单元针对每帧生成所述成像信号。

5.一种图像处理方法，包括以下步骤：

从预定区域的图像的图像数据检测运动体对象；

检测在检测对象的步骤中检测到的对象的发生位置；以及

当所述对象存在于在所述预定区域的图像中被设置为非检测目标的掩蔽区域中并且在检测发生位置的步骤中检测到的所述掩蔽区域中对象的发生位置在所述掩蔽区域外部时，判定在检测对象的步骤中检测到的对象是有效对象。

Images