CN101651824A - 移动物体监视装置 - Google Patents

Abstract

本发明提供一种移动物体监视装置，在整体上由通过网络连接的至少一个监视现场和监视中心构成，监视现场具有：图像获取部，获取由摄像机拍摄到的图像；移动物体提取部，提取由图像获取部获取的图像中的移动物体；处理分担表，对移动物体提取部提取的移动物体的特征量的计算处理的分担作出规定；高频特征计算部，按照处理分担表来计算移动物体的高频特征量；传送图像选择部，按照处理分担表来决定发送到监视中心的图像的传送率，并且根据该传送率来传送图像，监视中心具有：图像数据库，积累由传送图像选择部传送来的图像；特征量数据库，存储由高频特征计算部算出的特征量；低频特征计算部，计算未在特征量数据库中计算的特征量。

Description

移动物体监视装置

技术领域

本发明涉及使用设置在监视区域中的摄像机来监视人物和汽车等移动物体的装置。

背景技术

随着犯罪发生率的增加等，社会的不稳定现象有所加剧，在这一情况下，以监视可疑人物和可疑车辆等为目的而设置的摄像机的数量也不断在增加。在使用多台摄像机进行监视时，为了以数量有限的监视员资源有效地对监视区域进行监视，需要开发监视支援技术。

作为上述监视支援技术，已知有日本国专利特开2006-146378号公报(专利文献1)中公开的“使用多台摄像机的监视系统”。在该监视系统中，在监视中心对多台监视摄像机的图像进行集中监视，以图减轻监视员的负担。其使用图像识别技术从各台摄像机拍摄到的图像中提取移动物体，并在各台摄像机之间对该移动物体进行对照。同时，根据移动物体的移动轨迹来判断异常行为，并在判断为发生了异常行为时输出警报。根据该技术，监视员不需一直监视多个监视图像，能够方便地对可疑人物进行监视。

专利文献1日本国专利特开2006-146378号公报

发明内容

根据上述已知技术，其前提是将在监视现场拍摄到的图像累积到监视中心，并从累积到该监视中心的图像数据库(DB)中提取特征量，由此进行人物追踪。

但是，通过网络将在监视现场拍摄到的图像传送到监视中心时，会受到网络传送容量的制约，从而无法提高累积到监视中心的图像的帧率。为此，无法在监视中心侧计算动作特征等高频特征量，从而无法用于追踪。因此，在追踪性能方面存在局限性。

发明内容

本发明的目的在于提供一种移动物体监视装置，所述移动物体监视装置能够在不提高累积到监视中心的图像的帧率的情况下，使用动作特征等高频特征量来进行追踪。

为了实现上述目的，本发明的移动物体监视装置在整体上由通过网络连接的至少一个监视现场和监视中心构成。监视现场具有：图像获取部，该图像获取部用于获取由摄像机拍摄到的图像；移动物体提取部，该移动物体提取部用于提取由图像获取部获取的图像中的移动物体；处理分担表，该处理分担表对移动物体提取部提取的移动物体的特征量的计算处理的分担作出规定；高频特征计算部，该高频特征计算部按照处理分担表来计算移动物体的高频特征量；以及传送图像选择部，该传送图像选择部按照处理分担表来决定发送到监视中心的图像的传送率，并根据该传送率来传送图像。监视中心具有：图像数据库DB，该图像数据库DB积累由传送图像选择部传送来的图像；特征量数据库DB，该特征量数据库DB存储由高频特征计算部算出的特征量；以及低频特征计算部，该低频特征计算部计算未在特征量数据库DB中计算的特征量。

根据本发明，能够在不增加通过网络传送的图像数据的情况下在监视中心侧利用高频特征。由此，能够高精度地追踪移动物体。

附图说明

图1是表示本发明的移动物体监视装置的功能结构的方块图。

图2是多个图像监视画面的举例说明图。

图3是追踪监视画面的举例说明图。

图4是移动物体追踪的基本原理的说明图。

图5是表示监视现场侧的处理流程的流程图。

图6是表示监视中心侧的处理流程的流程图。

图7是表示输入处理的处理流程的流程图。

图8是表示移动物体追踪的处理流程的流程图。

图9是表示追踪人物检索处理的流程的流程图。

图10是处理分担表的数据结构的说明图。

图11是特征量数据的结构的说明图。

图12是表示具有多个监视现场的移动物体监视装置的整体功能结构的方块图。

图13是表示动态地变更处理分担的移动物体监视装置的整体功能结构的方块图。

图14是处理分担的动态变更中使用的处理分担表的数据结构的说明图。

图15是表示处理分担的动态变更的处理流程的流程图。

图16是表示在监视中心侧具有处理负荷测定部的移动物体监视装置的整体功能结构的方块图。

图17是表示具有图像检索功能的监视装置的整体功能结构的方块图。

图18是检索画面的举例说明图。

图19是表示具有异常行为检测功能的监视装置的整体功能结构的方块图。

图20是检索画面的举例说明图。

符号说明

100监视现场

102监视中心

104网络

106摄像机

108图像获取部

110移动物体提取部

112高频特征计算部

114处理分担表

116特征量数据库DB

118传送图像选择部

120图像数据库DB

122低频特征计算部

124追踪处理部

126监视画面生成部

128输入装置

130输出装置

具体实施方式

(实施方式1)

以下参照附图对本发明的实施方式进行详细说明。

图1是表示本发明一实施方式的移动物体监视装置的整体功能结构的方块图。

移动物体监视装置在整体上大致可划分为监视现场100和监视中心102，两者通过网络104连接。监视现场100包括监视对象区域和设置在该区域内的监视装置。监视中心102包括由监视人物对监视现场100的图像进行监视的场所和设置在该场所内的中心监视装置。在一般情况下，监视现场100和监视中心102是在物理上相隔一定距离的场所。网络104是LAN(局域网)和WAN(广域信息通信网)等计算机网络，能够互相交换数据。

以下对监视现场100的结构部进行说明。

摄像机106是网络摄像机和视频摄像机(video camera)等摄像装置。为了能够对整个监视区域进行拍摄，设置有多台摄像机。摄像机的设置密度可以较疏，也可以较密。

通过图像获取部108获取由摄像机106拍摄到的图像。在使用网络摄像机作为摄像机106时，按照一定的时间间隔通过网络获取已进行了数字化的图像数据。在使用视频摄像机时，则在获取由摄像机输出的模拟信号后，将模拟信号变换为数字信号。

通过移动物体提取部110提取由图像获取部108获取的图像数据中的移动物体。在提取移动物体时，例如可以采用背景差分法(backgrounddifference method)。所谓背景差分法是指将没有移动物体存在的状态下的图像数据作为背景保存起来，通过求出有移动物体存在的图像数据和各个像素的亮度值的差分，由此求出背景中不存在的移动物体的所在区域的方法。根据背景差分法计算有无移动物体和移动物体的数量以及移动物体所在区域的外切矩形。移动物体提取部110进一步输出上述信息。

高频特征计算部112按照处理分担表114计算由移动物体提取部110提取出的移动物体的高频特征量。处理分担表114是在计算移动物体的多个特征量时，决定由监视现场100侧还是由监视中心102侧来进行处理的表。该处理分担表114在后述部中进行详细说明。特征量是表示移动物体固有特征的矢量，在移动物体的追踪等中使用。作为特征量，可以列举出颜色和纹理(texture)等的特征、形状特征和动作特征等。例如，作为移动物体的颜色特征，可以使用下半身和上半身的最常见亮度值。此时，特征量为二维矢量。

在此，人物的颜色和纹理等特征是不会随着时间的变化而发生变化的静态特征，只需一张图像便能够进行计算。也就是说，该特征是低频特征。另一方面，人物的形状和动作等特征是会随着时间的变化而发生变化的动态特征，计算时需要较高帧率的图像。也就是说，该特征是高频特征。在此，作为动作的特征量，例如可以使用已知的立体高维局部自我相关特征。立体高维局部自我相关特征是在时间方向上扩展经常在脸部图像识别等中使用的高维局部自我相关特征而得到的特征，其能够获得活动图像的特征量。该立体高维局部自我相关特征是251维的矢量，其通过在按时序排列图像而得到的体素数据中的各点计算251种局部自我相关特征，然后对体素数据整体进行积分而得到。

由高频特征计算部112计算的是处理分担表114的高频特征。所算出的高频特征通过网络104传送到监视中心102，并存储在监视中心102所具有的特征量数据库DB116中。特征量数据库DB116是存储移动物体特征量的数据库(DB)，该部在后述部中进行详细说明。可以将计算出的所有的高频特征存储在特征量数据库DB116中，也可以与后述的传送图像选择部118的图像传送时间同步地存储在特征量数据库DB116中。

传送图像选择部118按照处理分担表114将图像获取部108获取的图像数据发送到监视中心102侧。在此，以计算除了在高频特征计算部112中算出的特征以外的低频特征所需的充分的帧率来传送图像，并将结果存储在监视中心102侧的图像数据库DB120中。图像数据库DB120在后述部中进行详细说明。

以下对监视中心102的结构部进行说明。

图像数据库DB 120是用于存储由传送图像选择部118传送来的图像数据的数据库(DB)。作为图像数据的格式，可以采用JPEG(Joint PhotographicExperts Group)和PNG(Portable Network Graphics)等被广泛使用的格式。此外，可以存储活动图像数据来代替连续的静止图像。此时，可以采用MPEG(Moving Picture Experts Group)等格式。

在低频特征计算部122中，使用存储在特征量数据库DB116中的特征量数据和存储在图像数据库DB120中的低帧率图像，计算由移动物体提取部110提取到的移动物体的低频特征。在此，低频特征是指追踪移动物体所需的特征中的没有在高频特征计算部112中计算过的特征。作为低频特征，可以列举出上述的人物的颜色和纹理等特征。此外，低频特征的计算对象图像可以根据存储在特征量数据库DB116中的特征量数据的计算时间等从图像数据库DB120中检索得到。

在追踪处理部124中，使用存储在特征量数据库DB116中的移动物体的特征量对移动物体在各摄像机之间如何移动进行追踪。在此，追踪对象并不仅限于人物，可以是任意的移动物体。此后，使用该追踪结果从图像数据库DB120中选择拍摄到移动物体的摄像机图像。然后，使用该追踪结果生成移动物体的移动轨迹。移动轨迹是表示移动物体的过去的移动履历的线段。

在监视画面生成部126中，根据存储在图像数据库DB120中的图像数据、拍摄到由追踪处理部124选出的移动物体的图像数据以及由追踪处理部124生成的轨迹数据，生成提供给本监视装置的用户的监视画面。监视画面的具体示例在后述部中进行说明。

输入装置128是鼠标和键盘等输入装置，供本监视装置的用户进行“开始追踪”和“追踪结束”等的操作。

输出装置130是显示器等输出装置，用于为用户显示由监视画面生成部126生成的监视图像。

以下参照图2以及图3对由监视画面生成部126生成的显示在输出装置130上的监视画面的显示例进行说明。监视画面由多个图像监视画面和追踪画面构成。以下按照顺序进行说明。

首先，参照图2对用于查看多个图像的多个图像监视画面进行举例说明。

画面左侧的映射图200是表示整个监视区域的示意图。在本示例中，将3层楼的大楼作为监视对象。

图标202表示摄像机在映射图200中的几何学配置位置。在本示例中，在监视区域内设置了6台摄像机。

图像监视区域204是用于显示由摄像机106(图1)拍摄到的图像的区域。在本示例中，图像监视区域204显示了监视图像206等由4台摄像机拍摄到的图像。在显示5台以上的摄像机的图像时，可以增加图像监视区域204的划分数，或者使图像监视区域204的一部显示滚动图像。相反，在显示3台以下的摄像机的图像时，可以减少图像监视区域204的划分数。

通过上述多个图像监视画面，本装置的用户能够同时查看由摄像机106拍摄的多个图像。在画面上确认到有可疑人物时，能够用鼠标点击图像监视区域204的监视图像，以此指示开始追踪。也可以用鼠标点击追踪结束按钮208来停止正在进行的追踪。

此外，为了明确图标202与图像监视区域204内的图像之间的对应关系，例如可以通过线段将图标202和监视图像206连接起来使得在两者之间形成环路210。另外，也可以在图像监视区域204内的图像上显示与图标202对应的摄像机的名称。

以下参照图3对用于监视特定的移动物体的追踪画面的示例进行说明。画面的整体结构与图2的多个图像监视画面基本相同。不同之处在于，在映射图200上显示了移动物体的轨迹300，以及在监视区域204上只显示了对追踪对象进行追踪的摄像机的图像。

移动物体的轨迹300由缩略图302和箭头306构成。缩略图302是通过将摄像机拍摄到的图像缩小而得到的图像数据。追踪对象将图标为304的摄像机拍摄到的图像数据用作过去的履历。另一方面，箭头306表示从缩略图302移动至缩略图308。位于轨迹起始点的缩略图302表示通过与该缩略图对应的摄像机开始追踪，位于轨迹终点的缩略图310表示正在通过与该缩略图对应的摄像机对移动物体进行追踪。以下将上述正在追踪移动物体的摄像机称为当前摄像机。

在监视区域204上显示由当前摄像机拍摄到的监视图像206。此时，通过以高亮度来显示与当前摄像机对应的图标202，能够方便地了解正在拍摄监视图像206的摄像机是哪一台摄像机。此外，也可以设置成通过鼠标点击缩略图302来将与缩略图对应的监视图像显示在监视区域204中。

如上所述，通过将过去的具有代表性的图像作为缩略图重叠在轨迹上进行显示，只需观看移动轨迹便能够掌握移动物体的过去的状况。此外，在图3中表示了追踪数量为1个时的追踪画面的情况，但追踪数量也可以是多个。在显示多个移动轨迹时，为了防止移动轨迹互相重叠而难以分辨，在显示时可以使移动轨迹在右方向和下方向上错开。

以下参照图4说明对人这一移动物体进行追踪时的基本原理。左侧是由摄像机拍摄到的监视图像，右侧是用存储在特征量数据库DB116中的特征量对该监视图像进行图形化而得到的图形。此外，在将特征量图形化时，不仅显示了特定的监视图像的特征量，同时还显示了该特定的监视图像之前的数张监视图像的特征量。所以，对一个追踪对象描绘了多个特征量。其目的是通过修正特征量的计算误差来提高追踪精度。此外，监视图像的获取时间从上往下分别为t1、t2、t3(t1＜t2＜t3)。另外，图4中的特征量的图形表示由多种(在此为两种)特征量1以及特征量2构成的特征量空间。

首先，在时间点t1的监视图像400中，作为移动物体存在人物402和人物404。其分别与特征量空间406中的特征量408和特征量410相对应。

此外，在时间点t2的监视图像412中，作为移动物体存在人物414和人物416，其分别与特征量空间418中的特征量420和特征量422相对应。在此，由于特征量空间406的特征量408和特征量空间418的特征量420位于相同的场所，所以人物402和人物414为同一人物的可能性高，能够判断为该人物从监视图像400所示的位置移动到了监视图像412所示的位置。

在进行特征量空间408和特征量420的同值判断时，例如可以使用该等特征量的各自的重心之间的欧几里得距离来进行。在该距离比预先规定的阈值小时，可以认为两者十分接近。

在时间点t3的监视对象424中，作为移动物体存在人物426，在特征量空间428中，该人物426与特征量430相对应。在此，由于特征量空间406的特征量410和特征量空间428的特征量430位于相同的位置，所以人物404和人物426为同一人物的可能性高，能够判断为该人物从监视图像400所示的位置移动到了监视图像424所示的位置。

由此，通过在特征量空间内检索具有相同值的特征量，能够追踪特定的移动物体在各摄像机之间是如何移动的。

以下参照图5的流程图对本实施方式的移动物体监视装置的监视现场100侧的处理流程进行说明。

在步骤500中，以预先规定的频度重复进行步骤502至步骤508的处理。

在步骤502中，通过图像获取部108获取由摄像机106拍摄到的监视图像。

在步骤504中，通过移动物体提取部110提取在步骤502中获取的图像中的移动物体。

在步骤506中，通过高频特征计算部112计算出在步骤504中提取到的移动物体的高频特征量。此时，在高频特征计算部112中，按照处理分担表114决定应该计算的高频特征。

在步骤508中，通过传送图像选择部118选择在步骤502中获取的图像中的应该发送的图像，并将该图像发送到图像数据库DB120中进行存储。此时，根据处理分担表114决定应该发送到监视中心102侧的图像的帧率，并按照该帧率选择应该发送的图像。

以下参照图6的流程图对本实施方式的移动物体监视装置的监视中心102侧的处理流程进行说明。

在步骤600中，按照预先规定的频度重复步骤602至步骤616的处理。

在步骤602中，从图像数据库DB120获取作为处理对象的监视图像。

在步骤604中，通过低频特征计算部122，使用存储在特征量数据库DB116中的特征量数据和存储在图像数据库DB120中的低帧率的图像，计算出存储在特征量数据库DB116中的移动物体的低频特征。其中，低频特征是追踪移动物体所需的特征中的没有在高频特征计算部112中进行过计算的特征。

在步骤606中，通过监视图像生成部126对本监视装置的用户的操作进行处理。在此，用户的输入操作通过输入装置128进行。

在步骤608中，针对正在执行中的全部追踪，重复进行步骤610至步骤616的处理。

在步骤610中，将处理对象的时间点t设定为当前时间。由此，以当前时间点为标准实施步骤612中的追踪处理。

在步骤612中，以步骤610中设定的时间点t为标准，通过追踪处理部124执行对移动物体的追踪。移动物体追踪处理的详细说明在后述部中进行。

在步骤614中，根据步骤612中的移动物体追踪的结果，判断是否发生了追踪对象在摄像机之间移动的情况，在发生了移动时执行步骤616。其中，追踪对象在摄像机之间发生了移动的情况是指追踪对象从当初拍摄到该追踪对象的摄像机的图像中消失并出现在其他摄像机的图像中的情况。

在步骤616中，通过追踪处理部124生成人物的移动轨迹。

在步骤618中，通过监视画面生成部126生成监视画面并且将其显示在输出装置130上。

以下参照图7的流程图对图6的步骤606的输入处理进行详细说明。

在步骤700中，接受本监视装置的用户通过输入装置128进行的输入操作。

在步骤702中，判断在步骤700中输入的结果。在指定了“追踪开始”时，执行步骤704至步骤708。“追踪开始”的指定例如通过用鼠标点击图2的多个图像监视画面的监视图像206来进行。另一方面，在指定了“追踪结束”时，执行步骤710。“追踪结束”的指定例如通过用鼠标点击图2的多个图像监视画面的追踪结束按钮208来进行。

在步骤704中，存储与步骤700中指定的摄像机所拍摄到的人物相对应的特征量作为追踪对象的特征量。

在步骤706中，将在步骤700中指定的摄像机作为当前摄像机。当前摄像机如上所述是在当前时间点正在对移动物体进行追踪的摄像机。

在步骤708中，为了加入到图6的步骤608的处理对象中，根据在步骤704和步骤706中得到的信息登录新的追踪。

在步骤710中，停止当前正在执行的所有的追踪。其结果，作为图6的步骤608中的处理对象的追踪全部消失。

以下参照图8的流程图对图6的步骤612中的移动物体的追踪处理进行详细说明。

在步骤800中，判断在当前摄像机的图像中是否存在追踪人物。追踪人物是指与在图6的步骤608中被指定为处理对象的移动轨迹相对应的人物。此外，在此将人物作为追踪物体，但也可以将包括车辆在内的所有移动物体作为追踪物体。如图4所示，通过特征量空间判断当前摄像机中是否存在追踪人物。当在处理对象的时间点t上，在与当前摄像机的图像相对应的特征量空间中不存在追踪对象的特征量时，判断为当前摄像机中不存在追踪人物，并执行步骤802至806。

在步骤802中，检索当前摄像机以外的摄像机中是否存在追踪人物。该检索处理的详细说明在后述部中进行。

在步骤804中，判断在步骤802中对追踪人物进行的检索处理的结果，当在其他的摄像机中存在追踪人物时，执行步骤806。

在步骤806中，根据步骤802中的检索结果，将存在有追踪人物的摄像机设定为当前摄像机。

在步骤808中，判断追踪处理开始后是否经过了预先规定的规定时间。该处理的目的是为了根据时间来终止追踪处理。根据需要，可以将该规定时间指定为无穷大，从而能够避免追踪处理被终止。如果判断的结果表示已经过了规定的时间时，执行步骤810。

在步骤810中执行停止处理，使得停止对当前的处理对象的追踪。

以下参照图9的流程图详细地说明在图8的步骤802对追踪人物进行的检索处理。

在步骤900中，针对本实施方式的监视装置的所有的摄像机，重复执行步骤902至步骤908。

在步骤902中，判断在步骤900中作为处理对象的摄像机是否与当前摄像机相同。在相同时，执行步骤904。

在步骤904中，为了提高处理的效率，跳过步骤900的当前的循环处理，直接进入下一个循环处理。这是因为在图8的步骤800中已经确定当前摄像机中不存在作为追踪对象的人物。

在步骤906中，判断在步骤900中作为处理对象的摄像机中是否存在作为追踪对象的人物。如图4所示，通过特征量空间判断作为处理对象的摄像机中是否存在追踪人物。在判断的结果为存在时，执行步骤908。

在步骤908中，将当前的处理对象的摄像机作为返回值结束返回处理。该流程的执行方可以知道发生了追踪物体在摄像机之间移动的情况，并且可以知道当前的处理对象的摄像机中存在追踪对象。

在步骤910中，将表示无效的NULL作为返回值结束返回处理。该流程的执行方可以知道没有发生追踪对象在摄像机之间移动的情况。

以下参照图10对图1的处理分担表114的数据结构的示例进行说明。该表由特征量种类1000、必要图像帧率1002和处理分担1004这3列项目构成。

特征量种类1000表示本发明的移动物体监视装置中使用的特征量的种类。例如，栏目1006表示与特征量A相关的信息。

必要图像帧率1002表示计算特征量时使用的图像的帧率。例如，栏目1008表示为了计算特征量A而使用了30帧/秒的帧率的图像。此外，在本实施方式中，在制作处理分担表114时，从必要图像帧率1002的值较高者起以降序对本表格的各行进行排列。

处理分担表1004表示由监视现场100和监视中心102中的哪一方来执行特征量计算处理。栏目1010表示在监视现场100侧执行特征量A的计算处理。

高频特征边界值1012是表示高频特征范围的值，用于设定处理分担1004的值(监视现场或者监视中心)。在图10的示例中该值为2，表示第1和第2个特征量即特征量A和B为高频特征量，而第3个以后的特征量即特征量C和D为低频特征量。由此，能够判断为特征量A和B的计算处理在监视现场100进行，而特征量C和D的计算处理则在监视中心102进行，并由此决定处理分担1004的值。此外，在本实施方式中，高频特征的图像帧率被设定成比低频特征的图像帧率高。

根据该处理分担表114，能够在高频特征计算部112中设定应该计算的特征量。在图10的示例中，将特征量A和B决定为计算对象并进行计算。其余的特征量C和D通过低频特征计算部122来计算。

此外，根据该处理分担表114，能够决定传送图像选择部118将图像传送到监视中心102时的图像的帧率。在图10的示例中，应在监视中心102侧计算的特征量为特征量C和D，计算这两个特征量所需的帧率为5帧/秒。传送图像选择部118以该帧率传送图像。

以下参照图11对存储在图1的特征量数据库DB116中的特征量的数据结构的示例进行说明。特征量数据由表示特征量数据整体的表格1110和表示特征量矢量的表格1118构成。

表格1100是表示一个特征量数据的表格。该表格包括数据项目1102至数据项目1117。

数据项目1102是以唯一的方式表示摄像机的ID。其表示特征量是根据与该ID对应的摄像机所拍摄到的图像来计算的。

数据项目1104是计算特征量时使用的图像的获取时间。

数据项目1106是移动物体的ID。该ID是在一个摄像机内追踪人物的过程中确定的ID。从原则上来说，该ID在一个摄像机内是唯一性的，但在多个摄像机之间，该ID对相同人物来说则不是唯一性的。

数据项目1108表示移动物体在图像上的位置。该位置信息通过移动物体提取部110计算。

数据项目1110表示移动物体在图像上的大小。其大小例如可以由该移动物体的外切矩形来表示。该大小信息通过移动物体提取部110计算。

数据项目1112～1117是指针(pointer)，其指示存储针对移动物体计算出的特征量矢量的存储区域。该等存储区域分别存储与特征量A、B、C、D相对应的特征量数据。其中，数据项目1112的指针指向表格1118，表示特征量A的数据存储在表格1118中。另一方面，数据项目1114的指针指向NULL，表示不存在与特征量B的数据有关的值。也就是表示特征量B的数据还没有计算出来。此外，数据项目1116、1117的指针也指向NULL，它们同样表示特征量C、D的值还没有计算出来。

另一方面，表示特征量矢量的表格1118由数据项目1120和长度可变的数据项目1122构成。

数据项目1120是矢量的序数。特征量矢量的序数不是唯一性的，作为特征量，例如可以列举出颜色或纹理的特征、形状的特征、动作的特征等各种特征。在本实施方式中，将特征量的序数存储在数据项目1120中，以便能够自由改变所采用的特征量。例如，使用下半身和上半身的最常见亮度值来作为移动物体的颜色特征时，序数为2。

数据项目1122是特征量矢量的要素，其中只存在由数据项目1120指定的序数这一项目。

根据上述实施方式，能够在不增加经由网络传送的图像数据量的情况下，在监视中心侧利用高频特征。由此，能够高精度地追踪移动物体。

(实施方式2)

在第1实施方式中，对只有一处监视现场时的装置的结构作了说明，但监视现场也可以有多处。以下对有多处监视现场时的实施方式进行说明。由于基本结构与第1实施方式大部相同，所以以下只对不同之处进行说明。

图12是表示有多个监视现场的移动物体监视装置的整体功能结构的方块图。与图1所示的移动物体监视装置相比，增加了监视现场1200。

监视现场1200是与监视现场100不同的监视对象。监视现场1200的功能结构与监视现场100的功能结构相同。通过监视现场100以及监视现场1200的各自的高频特征计算部112计算出的图像的高频特征被存储在监视中心102的特征量数据库DB116中。同样，通过监视现场100以及监视现场1200的各自的传送图像选择部118传送来的图像被存储在监视中心102的图像数据库DB120中。在监视中心102侧，使用存储有多个监视现场的信息的特征量数据库DB116以及图像数据库DB120进行处理。

根据上述实施方式，能够将多个监视现场的信息汇集到监视中心。由此，能够在监视中心监视多个监视现场。

此外，在上述实施方式中，在多个监视现场使用了同一个处理分担表114，但也可以设置成各个监视现场使用内容不同的处理分担表114。由此，能够根据监视现场的情况来满足用户的需求。

(实施方式3)

在第1以及第2实施方式中，使用处理分担表114以静态方式决定了处理的分担，但也可以根据监视装置的运行情况以动态方式来决定处理的分担。以下对采用动态方式决定处理分担时的实施方式进行说明。

图13是表示采用动态方式改变处理分担的移动物体监视装置的整体功能结构的方块图。与图1所示的移动物体监视装置相比，新增加了网络负荷测定部1300、处理负荷测定部1302以及现场图像数据库DB1304。

在网络负荷测定部1300中对网络104的负荷率进行测定，并且如下所述，将其结果反映在处理分担表114中。该负荷率例如可以通过用网络104中实际传送的数据量的测量值除以网络104的传送容量来求出。

在处理负荷测定部1302中对监视现场100侧的装置的处理负荷率进行测定，并且如下所述，将其结果反映在处理分担表114上。图中表示的是对移动物体提取部110和高频特征计算部112的处理负荷进行测定的示例。该负荷率例如可以由各台装置不处在待机状态的时间，也就是在进行某种操作的时间占某一单位时间的比例来表示。

现场图像数据库DB1304是用于在当前的网络负荷和各台装置的处理负荷的情况下无法继续进行处理时暂时存储图像的数据库。该数据库的内容在后述部中进行详细说明。

图14举例表示动态地变更处理分担时使用的处理分担表的数据结构。其是在图10所示的处理分担表的数据结构中增加了下限值1400和上限值1402后得到的结构。

下限值1400表示高频特征边界值1012的可选范围的下限值。如下所述，下限值1400按照由网络负荷测定部1300测出的负荷率进行变动。

上限值1402表示高频特征边界值1012的可选范围的上限值。如下所述，上限值1402按照由处理负荷测定部1302测出的负荷率进行变动。

如上所述，高频特征边界值1012的可选范围被确定为在下限值1400以上，并在上限值1402以下。

图15是表示处理分担的动态变更的处理流程的流程图。

在步骤1500中，通过网络负荷测定部1300测定网络104的负荷率NL。

在步骤1502中，对在步骤1500中测出的负荷率NL和阈值TNL1进行比较，当负荷率NL超过了阈值TNL1时，执行步骤1504。其中，阈值TNL1是接近100％的值，其例如为90％。当负荷率NL超过阈值TNL1时，网络的负荷率较高，表示接近传送容量的极限。

在步骤1504中，在图14的下限值1400中加上1。其中，max()是在变量中求最大值时使用的函数。通过使用该函数，使得不会选取比特征量种类数更大的值即无效值。通过在下限值1400中加入1，高频特征边界值1012的有效范围朝着在监视现场100侧计算的特征量增加，同时网络104的负荷率下降的方向变窄。

在步骤1506中，对在步骤1500中测出的负荷率NL和阈值TNL2进行比较，当负荷率NL低于阈值TNL2时，执行步骤1508。其中，阈值TNL2是比100％小很多的值，其例如为50％。当负荷率NL低于阈值TNL2时，网络的负荷率较低，表示传送容量具有较大余量。

在步骤1508中，将图14的下限值1400减去1。其中，min()是在变量中求出最小值时使用的函数。通过使用该函数，使得下限值1400不会选取无效值。通过将下限值1400减去1，高频特征边界值1012的有效范围朝着在监视现场100侧计算的特征量减小，同时网络104的负荷率上升的方向扩展。

在步骤1510中，通过处理负荷测定部1302测定监视现场100侧的装置，例如移动物体提取部110和高频特征计算部112的处理负荷率PL。

在步骤1512中，对在步骤1510中测出的负荷率PL和阈值TPL1进行比较，当负荷率PL超过阈值TPL1时，执行步骤1514。其中，阈值TPL1是接近100％的值，其例如为90％。当负荷率PL超过阈值TPL1时，各个装置的处理负荷率较高，表示接近极限。

在步骤1514中，将图14的上限值1402减去1。与步骤1508一样，通过使用min()，使得不会选取无效的上限值。通过将上限值1402减去1，高频特征边界值1012的有效范围朝着在监视现场100侧计算的特征量减小，同时处理的负荷率下降的方向变窄。

在步骤1516中，对在步骤1510中测出的负荷率PL和阈值TPL2进行比较，当负荷率PL低于阈值TPL2时，执行步骤1518。其中，阈值TPL2是比100％小很多的值，其例如为50％。当负荷率PL低于阈值TPL2时，各个装置的处理负荷率较低，表示处理能力具有余量。

在步骤1518中，在图14的上限值1402中加上1。与步骤1504一样，通过使用max()，使得不会选取比特征量种类数大的无效值。通过在上限值1402中加上1，高频特征边界值1012的有效范围朝着在监视现场100侧计算的特征量增大，同时装置的负荷率上升的方向扩展。

在步骤1520中，对在之前的处理中算出的下限值和上限值进行比较。当下限值在上限值以下时，表示高频特征边界值1012是与当前的网络负荷率和各装置的处理的负荷率相适应的适当的高频特征边界值1012。此时，执行步骤1522。而当下限值超过了上限值时，表示高频特征边界值1012是与当前的网络负荷率和各装置的处理的负荷率不适应的不适当的高频特征边界值1012。此时，作为例外处理执行步骤1524，使图像退出。

在步骤1522中，决定与当前的网络负荷率和各个装置的处理的负荷率相适应的适当的高频特征边界值1012。高频特征边界值1012在下限值1400以上和上限值1402以下的范围内。作为高频特征边界值1012，可以采用该范围内的适当的值。例如可以采用下限值1400或者上限值1402。此外，也可以采用两者的中间值。

在步骤1524中，作出在当前的网络负荷和各个装置的处理负荷的情况下无法继续进行处理的判断，中断处理并使图像退出。具体来说是，中断高频特征计算部112的特征量计算处理和传送图像选择部118的图像传送处理，使图像退出到现场图像数据库DB1304中。针对退出的图像，例如可以在网络负荷和各个装置的处理负荷下降后再进行处理。

根据上述实施方式，能够根据网络的负荷状况和各个装置的处理的负荷情况，动态地规定适当的处理分担。由此，当由于外部因素而导致负荷发生了变动时，可以灵活地采取应对措施。

图13举例表示了将网络负荷测定部1300和处理负荷测定部1302设置在监视现场100时的情况，但也可以将上述装置设置在监视中心102侧。图16表示将处理负荷测定部1302设置在监视中心102侧时的结构。在监视中心102侧增设中心处理负荷测定部1600来取代处理负荷测定部1302。

在中心处理负荷测定部1600中测定监视中心102侧的装置的处理负荷率，并且和上述处理负荷测定部1302一样，将其结果反映在处理分担表114中。图中举例表示测定低频特征计算部122和追踪处理部124的处理负荷时的情况。此外，当存在多个监视中心时，能够进行更为细致的控制。例如，可以设置成不将测定内容同时反映在所有的监视现场的处理分担表114上，而是以一定的时间差依序反映在各个监视现场的处理分担表114上。

根据上述实施方式，不仅能够根据监视现场的处理负荷情况来动态地决定适当的处理分担，而且还能够根据监视中心侧的处理负荷情况来动态地决定适当的处理分担。由此，当由于外部因素而导致负荷发生了变动时，可以灵活地采取应对措施。

(实施方式4)

在第1至第3实施方式中，举例说明了使用由监视现场侧和监视中心侧分担算出的特征量进行移动物体追踪的情况，但该特征量也可以用于图像检索。以下说明将该特征量用于图像检索时的实施方式。由于基本结构大部与第1实施例相同，所以以下只对发生了变更的部进行说明。

图17是表示具有图像检索功能的监视装置的整体功能结构的方块图。除了图像检索部1700和检索画面生成部1702以外，其余与图1所示的结构相同。

在图像检索部1700中，根据存储在特征量数据库DB116中的特征量数据来检索与用户指定的图像相类似的图像。在此，例如可以使用特征量矢量进行检索。特征量矢量与图11所示的特征量A至特征量D等各种特征量一起求出。并且，将检索对象图像的特征量矢量与存储在特征量数据库DB116中的特征量矢量之间的差分矢量的长度作为相似度算出。在该相似度较小时，可以认为是相似图像。

在检索图像生成部1702中，根据图像检索部1700的检索结果生成提供给本监视装置的用户的监视画面。

图18举例表示由检索图像生成部1702生成的检索画面。检索画面由查询(query)条件设定区域1800、检索查询指定区域1802、检索执行按钮1806以及检索结果显示区域1808构成。

查询条件设定区域1800是为了限定检索查询候补图像的范围而设定条件的区域。例如，通过摄像机ID和日期和时间等来指定条件。其中，摄像机ID是指用于识别设定在监视现场的摄像机的ID。

检索查询指定区域1802一览地表示与查询条件设定区域1800指定的条件相近似的图像。

检索查询1804是本监视装置的用户从显示在检索查询指定区域1802的图像中选出的图像。该图像在向检索处理系统询问类似图像时使用。在图中，检索查询1804用粗线框围住，表示其处于被选择的状态。

检索执行按钮1806是指示检索开始执行的指示按钮。在本监视装置的用户按下该按钮后，开始使用检索查询1804来检索图像。

检索结果显示区域1808是显示检索结果的区域。检索的结果，与检索查询1804相似的图像按照相似的程度依序显示。

根据上述实施方式，能够在不增加网络的图像数据传送量的情况下，在监视中心侧利用高频特征。由此，能够进行高精度的图像检索。

(实施方式5)

在第1至第3实施方式中，举例说明了使用由监视现场侧和监视中心侧分担算出的特征量进行移动物体追踪时的情况，但该特征量也可以用来检测图像中的异常行为。以下对通过该特征量来检测图像中的异常行为时的实施方式进行说明。由于基本结构与第1实施例相同，所以以下只对发生了变更的部进行说明。

图19是表示具有异常行为检测功能的监视装置的整体功能结构的方块图。除了异常行为检测部1900和异常显示画面生成部1902以外，其余部与图1所示的结构相同。

在异常行为检测部1900中，使用存储在特征量数据库DB116中的特征量数据来检测异常行为，并将检测结果发送到异常显示画面生成部1902。其中，作为异常行为的检测方法，可以使用已知的异常行为判别方法，例如对正常行为的活动图像的特征量矢量进行学习，并将超出了正常行为特征的图像判断为异常图像。

异常显示画面生成部1902根据异常行为检测部1900的检测结果生成提供给本监视装置的用户的监视画面。

图20举例表示由异常显示画面生成部1902生成的监视画面。除增加了异常发生图像2000外，该画面与图2所示的画面大致相同。

异常发生图像2000是被异常行为检测部1900判断为异常的图像，通过以醒目的方式对图像的外框进行显示，使得本监视装置的用户能够方便地进行识别。除了以醒目的方式对图像的外框进行显示外，还可以将图像显示在其他的新视窗中，或者用语音方式报警，由此提醒本装置的用户加以注意。

根据上述实施方式，能够在不增加网络的图像数据传送量的情况下，在监视中心侧利用高频特征。由此，能够进行高精度的异常行为检测。

Claims (11)

1.一种移动物体监视装置，其使用多个摄像机来监视移动物体，其特征在于，

所述移动物体监视装置由通过网络连接的至少一个监视现场和监视中心构成，

所述监视现场具有：

图像获取部，其获取由摄像机拍摄到的图像；

移动物体提取部，其提取获取的所述图像中的移动物体；

处理分担表，其规定对于提取的所述移动物体的特征量的计算处理的分担；

高频特征计算部，其按照所述处理分担表来计算所述移动物体的高频特征量；以及

图像选择部，其按照所述处理分担表来决定发送到所述监视中心的图像的传送率，并以该传送率来传送所述图像，

所述监视中心具有：

图像数据库，其积累由所述传送图像选择部传送来的图像；

特征量数据库，其存储由所述高频特征计算部算出的特征量；以及

低频特征计算部，其计算在所述特征量数据库中未计算的特征。

2.如权利要求1所述的移动物体监视装置，其特征在于，

所述处理分担表具有：表示特征量的种类的特征量种类、表示计算特征量所需的图像的帧率的必要图像率、表示执行特征量计算处理的场所的处理分担的至少一个以上的组合以及表示高频特征范围的高频特征边界值，并且

根据所述高频特征边界值决定所述处理分担的值。

3.如权利要求2所述的移动物体监视装置，其特征在于，

所述处理分担表根据所述必要图像率以降序或者升序来排序。

4.如权利要求1～3中任一项所述的移动物体监视装置，其特征在于，

所述处理分担表具有相对于所述高频特征边界值的上限值和下限值，

所述高频特征边界值能够在所述上限值和所述下限值的范围内变更。

5.如权利要求1～4中任一项所述的移动物体监视装置，其特征在于，

具有测定网络的负荷率的网络负荷测定部，

所述网络负荷测定部根据测定到的负荷率来更新所述处理分担表的所述高频特征边界值。

6.如权利要求5所述的移动物体监视装置，其特征在于，

所述网络负荷测定部设置在所述监视现场与所述监视中心的至少任意一方。

7.如权利要求1～4中任一项所述的移动物体监视装置，其特征在于，

具有对移动物体监视装置的处理负荷率进行测定的处理负荷测定部，

所述处理负荷测定部根据测定到的负荷率来更新所述处理分担表的所述高频特征边界值。

8.如权利要求7所述的移动物体监视装置，其特征在于，

所述处理负荷测定部设置在所述监视现场与所述监视中心的至少任意一方。

9.如权利要求1～8中任一项所述的移动物体监视装置，其特征在于，

具有移动物体追踪部，该移动物体追踪部根据存储在所述特征量数据库中的数据来追踪所述移动物体。

10.如权利要求1～8中任一项所述的移动物体监视装置，其特征在于，

具有图像检索部，该图像检索部根据存储在所述特征量数据库中的数据来检索图像。

11.如权利要求1～8中任一项所述的移动物体监视装置，其特征在于，

具有异常行为检测部，该异常行为检测部根据存储在所述特征量数据库中的数据来检测所述移动物体的异常行为。

Images