CN103260009A - 影像监视装置、监视系统及监视系统构建方法 - Google Patents

Abstract

本发明提供一种可靠地收集关于监视对象的信息的影像监视装置、监视系统及监视系统构建方法。有关本发明的影像监视装置基于来自俯瞰摄像机的影像和来自关注摄像机的影像，对监视对象进行跟踪，基于监视对象的位置、事件信息及监视对象的跟踪信息，对关注摄像机的关注对象进行切换。

Description

影像监视装置、监视系统及监视系统构建方法

技术领域

本发明涉及使用影像对监视对象进行监视的技术。

背景技术

近年来，恶性犯罪增加，安全意识提高。随之，在店铺、机场等的人聚集的场所，设置了许多监视摄像机。由这些监视摄像机拍摄的影像信息保存到监视记录机等的储存装置中，根据需要而阅览。

在下述专利文献1～2中，记载有使用多个监视摄像机的监视系统。在这些文献中，为了得到监视对象的详细信息，基于由视角某种程度广的摄像机拍摄的影像，对视角较窄但能够拍摄细节的摄像机进行操作，来一边跟踪特定的对象一边拍摄细节。

专利文献1：特开平08-265741号公报

专利文献2：特开2006-081125号公报

在具备多个监视摄像机的监视系统中，希望对监视者提供较多的信息。但是，在以往的监视系统中，监视摄像机所关注的对象是固定的，在多个摄像机之间不切换关注对象，所以所提示的信息中有可能出现重复。此外，在跟踪特定对象时，也没有实施在跟踪中关注别的对象那样的切换处理，所以即使有其他想要关注的对象也不能切换摄像机的关注对象，存在不能有效地提示信息的情况。

发明内容

本发明是为了解决上述那样的问题而做出的，目的是提供一种可靠地收集关于监视对象的信息的影像监视技术。

有关本发明的影像监视装置基于来自俯瞰摄像机的影像和来自关注摄像机的影像跟踪监视对象，基于监视对象的位置、事件信息及监视对象的跟踪信息，切换关注摄像机的关注对象。

根据有关本发明的影像监视装置，能够根据监视对象的状况变化而适当地切换关注对象。

附图说明

图1是有关实施方式1的监视系统当作监视对象的监视区域的示意图。

图2是有关实施方式1的监视系统具备的影像监视装置200的功能模块图。

图3是表示俯瞰摄像机影像解析部202的结构例的功能模块图。

图4是表示关注摄像机影像解析部205的结构例的功能模块图。

图5是表示信息综合解析部207的结构例的功能模块图。

图6是表示关注摄像机控制信号生成部209的结构例的功能模块图。

图7是表示关注对象决定部2096在决定关注摄像机103的关注对象时使用的按关注对象候选的分数表700的例子的图。

图8是关注摄像机控制信号生成部209的处理流程图。

图9是表示信息综合解析部207生成的监视器影像211的例子的图。

图10是用来生成监视器影像211的功能模块图。

图11是表示图像变形综合部1002的结构例的功能模块图。

图12是表示有关实施方式1的监视系统的结构例的图。

图13是有关实施方式2的影像监视装置200的功能模块图。

图14是表示从上方观察监视对象区域的地图和各监视摄像机的配置例的图。

图15是说明在图14中说明的俯瞰摄像机102的配置决定处理的流程的流程图。

图16是对在图14中说明的关注摄像机的配置决定处理的流程进行说明的流程图。

图17是表示图像叠加部1008的结构例的功能模块图。

图18是表示实施方式5的关注摄像机影像解析部205的结构例的功能模块图。

图19是表示实施方式5的按关注对象候选的分数表700的例子的图。

图20是表示实施方式6的关注摄像机控制信号生成部209的结构例的功能模块图。

图21是表示实施方式6的按关注对象候选的分数表700的例子的图。

附图标记说明

101：监视对象，102：俯瞰摄像机，103：关注摄像机，200：影像监视装置，201：俯瞰摄像机影像，202：俯瞰摄像机影像解析部，203：位置信息，204：关注摄像机影像，205：关注摄像机影像解析部，206：事件信息，207：信息综合解析部，208：跟踪信息，209：关注摄像机控制信号生成部，211：监视器影像，700：按关注对象候选的分数表，901：俯视视点影像，1002：图像变形综合部，1004：事件信息取得部，1006：跟踪信息取得部，1008：图像叠加部，1202：影像储存解析服务器，1203：监视器，1204～1205：网络。

具体实施方式

<实施方式1>

图1是本发明的有关实施方式1的监视系统当作监视对象的监视区域的示意图。在图1中，存在于监视区域内的监视对象101被俯瞰摄像机102和关注摄像机103监视。

俯瞰摄像机102是配置为将监视区域广泛地（例如监视区域整体）拍摄的摄像机，能够拍摄将区域整体俯瞰的影像。例如如果是室内，则俯瞰摄像机102是在房间的中心等的没有死角的地点的天花板上朝向地板设置的摄像机。为了俯瞰尽可能大的区域，例如使用鱼眼摄像机或广角摄像机等的视角较大的摄像机。此外，在室外，由于不存在天花板，所以将摄像机设置为，使其从建筑物的上部附近拍摄作为监视区域的道路等的整体。

关注摄像机103是为了重点拍摄监视对象101的脸部或服装等的详细信息而配置的摄像机。关注摄像机103是能够操作摄像机的俯角、朝向及倍率的摄像机，能够将其视点自由地变更。关注摄像机103拍摄的范围一般比俯瞰摄像机102拍摄的范围窄，但根据各个摄像机的性能等，并不一定限于此。

在有关本实施方式1的监视系统中，使用俯瞰摄像机102掌握监视区域整体的状况，检测监视对象的位置信息。接着，使用该位置信息控制关注摄像机103，由此得到监视对象的详细信息。通过使用从俯瞰摄像机102得到的位置信息控制关注摄像机103，能够有效地得到监视对象的信息。

图2是有关本实施方式1的监视系统具备的影像监视装置200的功能模块图。影像监视装置200具备俯瞰摄像机影像解析部202、关注摄像机影像解析部205、信息综合解析部207、关注摄像机控制信号生成部209。

俯瞰摄像机影像解析部202获取俯瞰摄像机102拍摄的影像201。在存在多个俯瞰摄像机102的情况下，分别获取各俯瞰摄像机102拍摄的影像。俯瞰摄像机影像解析部202基于输入的影像201检测监视对象101的位置信息203。位置信息203表示在监视区域内监视对象101所存在的场所及特定的想要监视的物体的场所的坐标信息等。

关注摄像机影像解析部205获取关注摄像机103拍摄的影像204。在存在多个关注摄像机103的情况下，分别获取关注摄像机103拍摄的影像。关注摄像机影像解析部205从影像204中检测表示监视对象101的特征的事件信息206。这里所述的事件信息206，例如如果监视对象101是人则为该人的运动及脸部等对监视对象101赋予特征的信息。具体检测怎样的信息作为事件信息206，只要根据监视系统的目的而个别设定就可以。

信息综合解析部207获取位置信息203和事件信息206，基于这些信息计算监视对象101的跟踪信息208。所谓跟踪信息208，是指将监视对象101按每一时刻建立对应、用管理号等关联起来的信息等。例如，在将特定的人物作为监视对象101跟踪的情况下，将汇总了该人物的位置、脸部图像信息、移动轨迹等的信息作为跟踪信息208。人物的位置及移动轨迹在真实世界中用统一的坐标（以下称作真实世界坐标）表现。信息综合解析部207既可以跟踪1个特定的对象，也可以跟踪多个对象。例如在仅检测并跟踪1个特定的可疑人物的情况下，只要仅计算该特定人物的跟踪信息208就可以。另一方面，在想要将侵入到特定的房间中的对象进行全员跟踪的情况下，计算多个人物的跟踪信息208。

信息综合解析部207除了跟踪信息208以外，还生成在后述的监视器上显示的监视器影像211。

关注摄像机控制信号生成部209获取位置信息203、事件信息206、跟踪信息208。关注摄像机控制信号生成部209基于输入的位置信息203、事件信息206、跟踪信息208，生成用来控制关注摄像机103的俯角、朝向及倍率的控制信号210，向关注摄像机103发送。控制信号210是按每个关注摄像机103切换了关注目的的信号。例如，当想要监视某个跟踪对象时，在该跟踪对象进入视野内的关注摄像机103有4台的情况下，实施将其中1台作为脸部拍摄用，将1台作为人物拍摄用，将其余2台作为跟踪所需要的信息（服装等）的收集用等的切换。

图3是表示俯瞰摄像机影像解析部202的结构例的功能模块图。俯瞰摄像机影像解析部202具备摄像机影像储存部2021、对象位置检测部2022。

摄像机影像储存部2021获取俯瞰摄像机102拍摄的影像201，并与拍摄该影像的俯瞰摄像机102的识别码及拍摄时刻建立关联而储存。

对象位置检测部2022基于储存的影像检测监视对象101的位置。例如，在将人的头部作为检测对象的情况下，通过使用以人物头部图像为模板的模板匹配处理等，能够确定影像内的检测对象的位置。由于所确定的位置是影像内的坐标位置，所以将其变换为真实世界坐标。对该坐标变换而言，通过使用俯瞰摄像机102的设置条件、拍摄参数、“头的大小不会根据人而大幅变动”等的假设，能够容易地实施。只要是能够检测监视对象101的位置的处理，采用怎样的处理都可以。此外，检测的对象并不限于人物，只要是在监视影像内拍摄到的对象，将哪个物体作为检测对象都可以。

图4是表示关注摄像机影像解析部205的结构例的功能模块图。关注摄像机影像解析部205具备摄像机影像储存部2051、事件检测部2052。事件检测部2052还具备用来检测监视对象101的特征作为事件信息206的功能部。这里，假定监视系统的监视目的是人物监视，将人物的脸部和运动作为事件信息206来检测，所以说明具备脸部检测处理部20521和运动检测处理部20522的例子，但并不限定于此。

摄像机影像储存部2051获取关注摄像机103拍摄的影像204，并与拍摄该影像的关注摄像机103的识别码及拍摄时刻建立关联而储存。事件检测部2052基于储存的影像检测事件信息206。

脸部检测处理部20521在影像204内检测拍摄有脸部的区域。例如通过使用以人的脸部图像为模板的模板匹配处理等，检测该区域。脸部检测处理部20521将检测出的区域信息、脸部图像、拍摄的关注摄像机103的识别码、拍摄时刻等汇总而作为事件信息206输出。

运动检测处理部20522从拍摄的影像中检测有运动的区域。例如，计算相同的摄像机的前1帧的影像与当前帧的影像之间的差分，通过将差分较大的区域作为有运动的区域，来检测运动区域。运动检测处理部20522将检测出的区域信息、有运动的区域的图像、拍摄的关注摄像机103的识别码、拍摄时刻等一起，作为事件信息206输出。

图5是表示信息综合解析部207的结构例的功能模块图。信息综合解析部207具备事件信息储存部2071、事件评价处理部2072、位置信息储存部2073、位置信息评价处理部2074、综合评价处理部2075。

事件信息储存部2071获取事件信息206并储存。储存的事件信息206依次输入至事件评价处理部2072。事件评价处理部2072通过将事件信息206与关于跟踪中的对象的信息比较，判断输入的事件信息206是否是关于跟踪中的对象的事件信息。例如在预先保持有关于跟踪中的对象的脸部信息的情况下，将该脸部图像与所输入的事件信息206中包含的脸部图像比较，如果它们相似，则返回较高的评价值，如果不相似，则返回较低的评价值。该比较例如可以使用脸部图像彼此的像素值的差分绝对值等实施。

位置信息储存部2073获取位置信息203并储存。储存的位置信息203依次输入至位置信息评价处理部2074。位置信息评价处理部2074将位置信息203与跟踪中的对象的位置信息比较。例如如果跟踪中的对象的真实世界坐标与所输入的位置信息203的真实世界坐标之间的距离接近，则返回较高的评价值。

事件评价处理部2072和位置信息评价处理部2074都需要跟踪用的初始事件信息及初始位置信息，但它们只要基于某种触发信息来生成就可以。例如使用将人物向房间的侵入作为触发、将在发生该触发时距房间的入口最近的地方拍摄的脸部图像作为初始事件信息、将房间的入口的位置信息作为初始位置信息等的方法。

综合评价处理部2075使用事件评价处理部2072对事件信息206的评价结果和位置信息评价处理部2074对位置信息203的评价结果，生成跟踪对象的跟踪信息208。例如，能够将与位置信息203的评价结果和事件信息206的评价结果中的最大者对应的跟踪对象的位置看作跟踪对象的新的位置。在此情况下，需要根据事件信息206得到跟踪对象的真实世界坐标。例如通过使用脸部的尺寸不根据人而大幅变动等的条件，能够将脸部的区域信息容易地变换为真实世界坐标。

综合评价处理部2075在跟踪对象是1个情况下和多个情况下都能够实施同样的处理。在存在多个跟踪对象的情况下，通过对全部的跟踪对象实施上述评价处理和综合评价处理，能够更新全部的跟踪对象的跟踪信息。

图6是表示关注摄像机控制信号生成部209的结构例的功能模块图。关注摄像机控制信号生成部209具备跟踪信息储存部2091、操作对象摄像机决定部2092、事件信息储存部2093、位置信息储存部2094、关注对象决定部2096、操作信号生成部2097。

跟踪信息储存部2091获取跟踪信息203并储存。操作对象摄像机决定部2092将储存的跟踪信息203读出，基于该信息制作操作对象摄像机列表2095。例如，既可以预先设定跟踪对象的当前位置与作为操作对象的关注摄像机103的对应关系，也可以基于摄像机参数确定在可拍摄范围内存在跟踪对象的关注摄像机103，将其中的某一个关注摄像机103作为操作对象。

事件信息206和位置信息203分别输入并存储到事件信息储存部2093和位置信息储存部2094中。储存的跟踪信息208、事件信息206、位置信息203、及操作对象摄像机列表2095输入至关注对象决定部2096。

关注对象决定部2096决定操作对象摄像机列表2095所指定的各关注摄像机103的关注对象。例如，基于按每个关注摄像机103输入的跟踪信息208、事件信息206、位置信息203，使用后述的如图7的按关注对象候选的分数表700，按关注对象的每个候选计算评价分数，将评价分数最高的候选决定为关注对象。详细情况后述。

操作信号生成部2097生成对关注摄像机103的操作信号，以使其关注关注对象决定部2096所决定的关注对象。例如在关注跟踪对象的脸部的情况下，基于跟踪对象的世界坐标位置决定关注摄像机103的朝向和倍率，并决定关注摄像机103的俯角以使跟踪对象的上半身被拍摄到，将这些信息变换为每个关注摄像机103的操作信号并发送。此时，也可以考虑关注摄像机103的动作速度，以使关注摄像机103朝向跟踪对象的移动目的地。跟踪对象的移动目的地可以基于跟踪信息208的移动轨迹，使用线性预测等预测。

图7是表示在关注对象决定部2096决定关注摄像机103的关注对象时使用的按关注对象候选的分数表700的例子的图。按关注对象候选的分数表700具有条件字段701和分数字段702。

条件字段701是列举关注摄像机影像解析部205检测的事件信息206及能够基于关注摄像机影像204检测的其他环境信息的字段。在本实施方式1中假定为跟踪人物，所以作为事件信息206的例子而列举了检测到脸部的情况和检测到运动的情况。此外，由于能够基于关注摄像机影像204检测的环境信息中的、关注摄像机103与跟踪对象之间的距离是在决定关注对象方面重要的信息，所以在本字段上进行了列举。进而，在关注摄像机103与跟踪对象之间存在障碍物的情况下成为关注的妨碍，成为切换关注对象的原因，所以在本字段上举出了该条件。这里，作为障碍物的例子而举出了其他人物密集的程度，但并不限定于此。

分数字段702是表示条件字段701所记述的条件对于各关注对象候选而言适合多少的评价分数的字段。评价分数越高表示越适合于该关注对象，该关注对象的优先级越高。这里，例示了脸部关注用评价分数字段7021、人物关注用评价分数字段7022、跟踪用评价分数字段7023。

例如在关注摄像机影像解析部205检测到脸部的情况下，可以认为该关注摄像机103适合于脸部关注目的，所以将脸部关注用评价分数字段7021的评价分数设定得高。此外，根据关注摄像机103与跟踪对象之间的距离增减评价分数。并不一定越接近于关注摄像机103越好，也有越接近反而越难以拍摄的情况，所以具体的评价分数按每个关注对象而分别不同。在关注摄像机103与跟踪对象之间障碍物较少的情况下认为适合于拍摄，所以加上评价分数。

关注对象决定部2096关于记述在分数字段702内的各关注对象候选，将与关注摄像机影像204符合的条件字段701对应的评价分数合计，基于其结果决定关注对象。例如，预先决定关注对象的优先顺序，使优先顺序高的关注对象的分数最高的关注摄像机103朝向该关注对象，以后以关注对象的优先顺序决定关注对象。或者，也可以关于各关注摄像机103将选择的关注对象的分数合计，决定各关注摄像机103的关注对象，以成为该合计分数最高的关注对象的组合。

条件字段701的具体的内容并不限于图7中例示的内容，只要是能够根据跟踪信息208、事件信息206、位置信息203判断的信息，则任何内容都可以。例如对在第6行中记载的“摄像机与跟踪对象间的人物的密集程度较低”的条件而言，基于位置信息203调查人物的密集程度、基于跟踪信息208得到关注摄像机103与跟踪对象间的密集程度，由此能够判断是否符合该条件。

跟踪用评价分数字段7023是设想了为了获得用于跟踪跟踪对象的信息而使用关注摄像机103的情况的字段。将该字段的分数较高的关注摄像机103用于跟踪对象的信息获得。例如，通过收集跟踪对象的服装及随身物品的信息、并将该信息用于对象的跟踪，能够使跟踪精度提高。

图7的表是一例，既可以变更条件字段701，也可以变更各分数分配，也可以增加关注对象候选。此外，决定关注对象的方法并不限于上述方法，只要能够将关注对象按每个关注摄像机103分配，则使用怎样的方法都可以。

图8是关注摄像机控制信号生成部209的处理流程图。以下，对图8的各步骤进行说明。

（图8：步骤S801～S802）

关注摄像机控制信号生成部209如果取得跟踪信息208（S801），则对全部的关注摄像机103实施以下说明的步骤S803～S804（S802）。

（图8：步骤S803～S804）

关注摄像机控制信号生成部209判断在关注摄像机103的视野内是否有跟踪对象（S803）。在有跟踪对象的情况下，在操作对象摄像机列表2095中追加该关注摄像机103的识别码（S804）。

（图8：步骤S805～S806）

关注摄像机控制信号生成部209对包含在操作对象摄像机列表2095中的全部的关注摄像机103实施步骤S806（S805）。关注摄像机控制信号生成部209使用在图7中说明的按关注对象候选的分数表700评价每个关注对象候选的分数。

（图8：步骤S807～S808）

关注摄像机控制信号生成部209基于步骤S806的评价结果决定每个关注摄像机103的关注对象（S807）。关注摄像机控制信号生成部209生成指示关注所决定的关注对象的控制信号（S808）。

图9是表示信息综合解析部207生成的监视器影像211的例子的图。俯视视点影像901是将监视区域从上方拍摄的影像。可以通过将多个俯瞰摄像机102的影像变形、接合而生成。移动轨迹902是将跟踪对象的移动轨迹描绘在俯视视点影像901上的对应的位置上的轨迹。详细影像903例如是将跟踪对象的脸部图像等粘贴到俯视视点影像901上的对应的位置上的图像。关注摄像机影像904及关注摄像机影像905是在俯视视点影像901上将各关注摄像机103的影像显示到设有该关注摄像机的位置上的影像。通过将各监视影像如图9所示地配置，监视者能够直观地取得关于跟踪对象者的各信息，能够高效率地监视监视对象。

图10是用来生成监视器影像211的功能模块图。图10所示的各功能部既可以设在信息综合解析部207内，也可以在另行设置各功能部后，信息综合解析部207仅提供输入信息。进而，也可以将图10所示的各功能部构成为与影像监视装置200不同的装置。

图像变形综合部1002获取俯瞰摄像机影像201。图像变形综合部1002通过将各俯瞰摄像机影像201变形并分别接合，变换为作为将监视区域从上方观察的影像的俯视视点影像901。此时，俯视视点影像901上的坐标优选的是与真实世界坐标建立关联。该关联建立与将真实世界坐标上的点变换为俯视视点影像901上的坐标上的点的顺序同样，可以通过给出各坐标的原点位置、旋转角和倍率来实施。

事件信息取得部1004取得事件信息206。此时，将真实世界坐标上的坐标变换为俯视视点影像901上的坐标。此外，将包含与事件信息206对应的各事件的图像区域切出。

跟踪信息取得部1006取得跟踪信息208。此时，将真实世界坐标上的跟踪位置变换为俯视视点影像901上的坐标。

图像叠加部1008在俯视视点影像901上叠加各种信息。例如，事件信息206将切出的事件图像粘贴并显示到发生该事件的坐标上。跟踪信息208在该跟踪坐标上描绘点而显示。关注摄像机影像204叠加显示在设置有该关注摄像机103的坐标上。

图11是表示图像变形综合部1002的结构例的功能模块图。图像变形综合部1002具备需要图像选择部10021、摄像机信息10022、图像变形部10023、图像综合部10024。

摄像机信息10022是各摄像机的设置位置、视场角、透镜畸变程度、焦点距离、各摄像机间的位置关系等的摄像机参数。

需要图像选择部10021取得俯瞰摄像机影像201。需要图像选择部10021基于预先准备的摄像机信息10022（这里是各摄像机的设置位置、视场角），选择需要变形的摄像机影像。例如在有可拍摄的区域完全相同的摄像机的情况下，选择其一个。所选择的图像输入至图像变形部10023。

图像变形部10023基于摄像机信息10022（这里是透镜畸变程度及焦点距离），将输入图像变形为畸变修正后的图像。具体而言，变形为使拍摄在影像中的地面的形状与地图等的俯视的形状一致即可。变形后的图像输入至图像综合部10024。

图像综合部10024基于摄像机信息10022（这里是各摄像机间的位置关系），将变形后的图像平行移动到适当的位置后，一边在各图像间的边界部分减少不自然一边接合。作为该接合处理，只要使用在下述参考文献1中记载那样的、在制作全景图像时使用的图像拼接方法等就可以。

（参考文献1）A.Zomet,A.Levin,S.Peleg,and Y.Weiss“ImageStitching by Minimizing False Edges”,IEEE TRANSACTIONS ON IMAGEPROCESSING，VOL.15,NO.4,APRIL2006。

图12是表示有关本实施方式1的监视系统的结构例的图。影像监视装置200可以作为影像储存解析服务器1202及安装有各功能部的软件构成。包括俯瞰摄像机101和关注摄像机103的监视摄像机群经由网络1204连接在影像储存解析服务器1202上。监视器1203是显示俯视视点影像901的显示装置，经由网络1205连接在影像储存解析服务器1202上。

来自监视摄像机群的影像通过网络1204输入至影像储存解析服务器1202。影像储存解析服务器1202生成关注摄像机控制信号210，通过网络1204向关注摄像机103发送。俯视视点影像901、事件信息206、跟踪信息208通过网络1205发送至监视器1203。监视器1203实施图9～图11中说明的处理，生成如图9的监视器影像211，进行画面显示。

在图12中，将事件检测处理、图像变形处理在影像储存解析服务器1202内实施，但也可以在监视摄像机群的各摄像机内实施。此外，将事件取得处理、跟踪信息取得处理、图像叠加处理在监视器1203内实施，但也可以在影像储存解析服务器1202内实施。

<实施方式1：总结>

如以上那样，有关本实施方式1的监视系统基于俯瞰摄像机101检测出的监视对象的位置信息，切换关注摄像机103的关注对象。由此，能够将监视对象的信息高效率地收集。

此外，有关本实施方式1的监视系统将俯瞰摄像机影像201和关注摄像机影像204加工，生成如图9的俯视视点影像901。由此，与将摄像机的台数量的影像单纯地排列显示的以往的显示方法相比，不用将跟踪对象的信息按每个监视摄像机的影像分散显示就能够容易地监视跟踪对象。

<实施方式2>

图13是有关本发明的实施方式2的影像监视装置200的功能模块图。在本实施方式2中，将俯瞰摄像机102和关注摄像机103与影像监视装置200一体地构成。其他结构与实施方式1是同样的，所以以下以不同点为中心进行说明。

俯瞰摄像机102具备俯瞰摄像机影像取得部1021和俯瞰摄像机影像发送部1022。俯瞰摄像机影像取得部1021拍摄影像。俯瞰摄像机影像发送部1022将拍摄出的影像向俯瞰摄像机影像解析部202发送。例如经由网络发送就可以。

关注摄像机103具备关注摄像机影像取得部1031、关注摄像机影像发送部1032、关注摄像机控制信号接收部1034、关注摄像机控制部1033。关注摄像机影像取得部1031拍摄影像，关注摄像机影像发送部1032将拍摄出的影像向关注摄像机影像解析部205发送。例如经由网络发送就可以。

关注摄像机控制信号生成部209输出对关注摄像机103的控制信号210。关注摄像机控制信号接收部1034接收控制信号210。关注摄像机控制部1033以控制信号210指定的朝向、俯角、倍率使关注摄像机103动作。

<实施方式3>

在本发明的实施方式3中，从决定摄像机配置的顺序的观点说明构建实施方式1～2中说明的监视系统的方法。关于有关其他实施方式的监视系统，也能够以同样的顺序进行构建。

图14是表示将某个监视对象区域从上方观察的地图和各监视摄像机的配置例的图。这里，将监视对象区域设想为室内。以下，说明在图14所示的监视对象区域上配置监视摄像机的顺序。

在监视区域中有房间（具有规定面积以上的宽广度的空间）的情况下，在该房间的中心设置俯瞰摄像机（1401）。在想要有效地监视对象的情况下，优选的是在室内配置两个以上的关注摄像机103。这里，示出配置在与房间的中央近的地点（1402）及容易观察房间整体的地点（1403）这两处的例子。由此，能够将房间整体无遗漏地观察，另外能够监视各种各样的关注对象。

关于走廊，考虑到容易出现死角，首先在交叉点或角等处配置俯瞰摄像机102，减少死角（1404）。同样在交叉点或角等配置关注摄像机103（1405）。此外，考虑人的流动及想要重点监视的场所等，在通路中以一定间隔配置关注摄像机103（1406）（1407）。由此，不论跟踪对象的行进方向如何都能够监视各种各样的关注对象。例如只要进行在拍摄脸部时使用行进方向正面的关注摄像机103、在拍摄服装时使用行进方向相反侧的关注摄像机103等的分开使用就可以。

在系统开始运行后，例如被放置障碍物1408、在配置在（1401）（1402）处的摄像机上出现了死角的情况下，在能够观察成为死角的区域的位置上追加俯瞰摄像机102（1409），进而还追加关注摄像机103（1410）。通过这样，能够应对在系统运行后出现的死角。

这里表示的配置方法不过是一例，实际上根据设置的环境等，所设置的摄像机数量及配置变动。例如，在天花板较低、用俯瞰摄像机102难以监视较大的区域的情况下，需要设置较多的俯瞰摄像机102。此外，也可以考虑将关注摄像机103仅配置在建筑物的入口或房间的门前那样的人较多地经过的场所。像这样，优选进行考虑到天花板的高度及人的流动的摄像机配置。

图15是说明在图14中说明的俯瞰摄像机102的配置决定处理的流程的流程图。首先，获得需要监视的区域的信息（S1501）。例如，从设计图中得到房间的宽广度及天花板的高度等信息。此外，从地图等的信息中得到预测的人的流动等信息。接着，在需要监视的房间或较大的空间的中央配置摄像机（S1502）。接着，根据当前已配置的摄像机的视场角及焦点距离的信息、以及需要监视的房间的宽广度和天花板的高度的信息，判断用当前已配置的摄像机是否能够观察整个需要监视的房间或较大的空间（S1503）。在判断为不能观察整个需要监视的房间或较大的空间的情况下，重复以下的处理直到足够观察整个监视区域的摄像机的配置完成（S1504）。即，考虑已经设置的摄像机的配置，在监视不充分的区域中追加摄像机（S1505）。接着，在需要监视的通路的角或交叉点配置摄像机（S1506）。接着，判断用当前已配置的摄像机是否能够观察整个需要监视的通路（S1507）。在判断为不能观察整个需要监视的通路的情况下，重复以下的处理，直到足够观察整个监视区域的摄像机的配置完成（S1508）。即，考虑已经设置的摄像机的配置及预想的人的流动，在监视不充分的区域中追加摄像机（S1509）。最后，如果需要，则在预想拥挤的区域或想要重点监视的区域中追加摄像机（S1510），结束俯瞰摄像机102的配置决定处理。

图16是对在图14中说明的关注摄像机的配置决定处理的流程进行说明的流程图。首先，获得需要监视的区域的信息（S1601）。接着，在需要监视的房间或较大的空间的角（划分出的区域的角）配置摄像机（S1602）。接着，根据当前已配置的摄像机的视场角及焦点距离的信息、以及需要监视的房间的宽广度和天花板的高度的信息，判断是否配置了足够得到监视对象的信息的数量的摄像机（S1603）。例如，在监视区域内，在想要可靠地拍摄监视对象的脸部的情况下，判断摄像机是否被配置成不论监视对象朝向哪个朝向都可被摄像机拍摄到。在判断为没有配置足够得到监视对象的信息的数摄像机的情况下，重复以下的处理直到足够得到监视对象的信息的数量的摄像机的配置完成（S1604）。即，考虑已经设置的摄像机的配置及死角，在监视不充分的区域中追加摄像机（S1605）。接着，在需要监视的通路的角或交叉点配置摄像机（S1606）。接着，考虑已经设置的摄像机的配置及预想的人的流动，在监视不充分的区域中追加摄像机（S1607）。最后，如果需要，则在预想到拥挤的区域或想要重点监视的区域中追加摄像机（S1608），结束关注摄像机的配置决定处理。

在决定关注摄像机103的配置时，也可以利用在实施方式1中说明的按关注对象候选的分数表700决定配置。例如假定在监视对象区域内的某个位置上存在监视对象，进而假定在能够监视该监视对象的位置上临时配置了各关注摄像机103，通过在实施方式1中说明的顺序对各关注摄像机103将关注对象最优化。此时，针对各关注对象候选能够得到评价分数。以下同样，反复进行假定在监视对象区域内的其他位置存在监视对象而决定关注摄像机103的配置的处理，决定关注摄像机103的配置，以使得不论在哪个位置有监视对象、评价分数为规定阈值以上的关注摄像机103的数量都存在规定数量以上。临时设定监视对象的位置而决定关注摄像机103的配置的处理作为搜索最优解的处理，能够通过任意的最优化算法实现自动化。本方法既可以与在图14～图16中说明的方法分离使用，也可以并用。

<实施方式3：总结>

如以上这样，根据有关本实施方式3的监视系统构建方法，能够适当地决定俯瞰摄像机102及关注摄像机103的配置。进而，也可以利用按关注对象候选的分数表700使计算机自动决定关注摄像机103的配置。

<实施方式4>

在本发明的实施方式4中，对在实施方式1中说明的图像叠加部1008的具体例进行说明。其他结构与实施方式1～3是同样的。

图17是表示图像叠加部1008的结构例的功能模块图。图像叠加部1008具备人物图像坐标取得部10081、人物图像切出部10082、脸部图像坐标取得部10083、脸部图像切出部10084、平行移动处理部10085、动作路线描绘处理部10086、摄像机坐标对位部10087、图像叠合处理部10088。

人物图像坐标取得部10081取得事件图像中的、发生了人物事件的区域的坐标位置。人物图像切出部10082使用人物图像的区域的坐标位置，从事件图像中切割出人物图像。脸部图像坐标取得部10083取得事件图像中的、发生了脸部事件的区域的坐标位置。脸部图像切出部10084使用脸部图像区域的坐标位置，从事件图像中切出脸部图像。

平行移动处理部10085使用跟踪坐标将切出的人物图像或脸部图像平行移动到当前跟踪对象所处的位置。动作路线描绘处理部10086使用跟踪坐标描绘跟踪对象的动作路线。例如，通过在某时刻的跟踪坐标上描绘点、朝向之前的时刻的跟踪坐标描绘线，能够描绘动作路线。摄像机坐标对位部10087将被输入的关注摄像机影像204在俯视视点影像901上平行移动到关注摄像机103存在的位置。图像叠合处理部10088在俯视视点影像901上，将切出并平行移动的各种事件图像、由动作路线描绘处理部10086得到的动作路线、以及平行移动后的关注摄像机影像204叠合显示。

<实施方式4：总结>

如以上这样，根据有关本实施方式4的监视系统，在俯视视点影像901上，最新的事件图像总是被显示在跟踪对象的附近，能够容易地监视跟踪对象。

<实施方式5>

在实施方式1～4中，说明了以人物为监视对象的例子。在本发明的实施方式5中，说明代替人物而以车辆为监视对象的情况下的结构例。有关监视对象的变更的结构以外与实施方式1～4是同样的，所以以下以不同点为中心进行说明。

图18是表示本实施方式5的关注摄像机影像解析部205的结构例的功能模块图。在本实施方式5中，事件检测部2052代替脸部检测处理部20521而具备车辆检测处理部20523、牌照检测处理部20524。其他结构与图4是同样的。

车辆检测部20523从关注摄像机影像204中检测拍摄有车的区域。该处理例如可以使用以车的图像为模板的模板匹配等来实现。牌照检测处理部20524在关注摄像机影像204中提取拍摄有牌照的区域。该处理例如可以使用以一些牌照的图像为模板的模板匹配等来实现。

图19是表示本实施方式5的按关注对象候选的分数表700的例子的图。整体的结构与图7是同样的，但随着将监视对象从人物变更为车辆，将条件字段701的内容变更为与其相应的内容。此外，针对车辆的关注对象可以认为是牌照或车辆整体，所以代替脸部关注用评价分数字段7021和人物关注用评价分数字段7022而设置牌照关注用评价分数字段7024和车辆关注用评价分数字段7025。关于各评价分数也变更为车辆监视用。

<实施方式5：总结>

如以上这样，根据有关本实施方式5的监视系统，能够提供在室外监视车的监视系统。这里举车为例，但在室外监视车和人物双方的情况下也能够使用同样的方法。此外，并不限于车或人物，在监视任意的物体的情况下也可以使用同样的结构。

<实施方式6>

在本发明的实施方式6中，对在实施方式1～5中说明的监视系统具有多个跟踪模式的例子进行说明。这里所述的跟踪模式，是指定对监视对象进行跟踪的方法的动作模式，例如可以指定同时跟踪的人数。在本实施方式6中，作为例子，可以举出（a）进行监视但不进行跟踪的“无跟踪模式”、（b）跟踪1个人物的“1人跟踪模式”、（c）跟踪多个人物的“多跟踪模式”这3个模式。跟踪模式通过某种触发而被切换。

图20是表示本实施方式6的关注摄像机控制信号生成部209的结构例的功能模块图。在本实施方式6中，关注对象决定部2096获取跟踪模式控制信号2001，按照该指示切换跟踪模式。跟踪模式控制信号2001是基于手动或自动发生的触发信息发出的控制信号。其他结构与实施方式1～5是同样的。

图21是表示本实施方式6的按关注对象候选的分数表700的例子的图。在本实施方式6中，按关注对象候选的分数表700按每个跟踪模式记述有评价分数。其他结构与实施方式1～5是同样的。关注对象决定部2096使用与跟踪模式对应的评价分数，决定关注摄像机103的关注对象。

在跟踪多个对象的情况下，将与摄像机最近的跟踪对象作为关注对象，通过对该最近的跟踪对象决定各条件下的分数，能够跟踪多个对象。此外，并不限于最近的跟踪对象者，在想要将第二近的跟踪对象者也放入关注的候选的情况下，只要将关注对象区分设定为如第一近的人物的脸部、第二近的人物的脸部那样、此外在条件字段中也对最近的跟踪对象和第二近的跟踪对象分别准备分数就可以。

<实施方式6：总结>

如以上这样，有关本实施方式6的监视系统通过按每个跟踪模式设置分数表，能够按每个跟踪模式来切换关注对象候选的评价基准，并实施最优的摄像机控制，根据跟踪模式适当地设定关注对象。

本发明并不限定于上述实施方式，包括各种各样的变形例。上述实施方式是为了容易理解地说明本发明而详细地说明的，并不限定于具备所说明的全部结构。此外，也可以将某个实施方式的结构的一部分替换为其他实施方式的结构。此外，也可以对某个实施方式的结构添加其他实施方式的结构。此外，关于各实施方式的结构的一部分，也可以追加、删除、替换其他结构。

上述各结构、功能、处理部、处理单元等也可以通过将它们的一部分或全部例如用集成电路设计等来用硬件实现。此外，上述各结构、功能等也可以通过由处理器解释并执行实现各个功能的程序来用软件实现。实现各功能的程序、表、文件等的信息可以保存到存储器、硬盘、SSD（Solid StateDrive）等的记录装置、IC卡、SD卡、DVD等的记录介质中。

Claims (15)

1.一种影像监视装置，其特征在于，具备：

俯瞰摄像机影像解析部，接收拍摄监视区域的俯瞰摄像机的影像，检测监视对象的位置信息；

关注摄像机影像解析部，接收关注摄像机的影像，检测表示上述监视对象的特征的事件信息，上述关注摄像机关注并拍摄上述监视区域内的比上述俯瞰摄像机拍摄的区域小的区域；

信息综合解析部，使用上述俯瞰摄像机影像解析部检测出的上述位置信息和上述关注摄像机影像解析部检测出的上述事件信息，得到上述监视对象的跟踪信息；以及

关注摄像机控制信号生成部，使用上述俯瞰摄像机影像解析部检测出的上述位置信息、上述关注摄像机影像解析部检测出的上述事件信息、以及上述监视对象的跟踪信息，生成用于切换上述关注摄像机的关注对象的控制信号，并向上述关注摄像机发送。

2.如权利要求1所述的影像监视装置，其特征在于，

上述关注摄像机控制信号生成部具备关注对象决定部，该关注对象决定部按上述关注摄像机的关注对象的每个候选，评价该候选是否适合作为上述关注摄像机的关注对象，由此决定上述关注摄像机的关注对象；

上述关注对象决定部基于上述俯瞰摄像机影像解析部检测出的上述位置信息、上述关注摄像机影像解析部检测出的上述事件信息、以及上述监视对象的跟踪信息实施上述评价，将全部的上述关注摄像机的每个关注对象的上述评价的结果进行比较，由此按每个上述关注摄像机决定适合的关注对象。

3.如权利要求2所述的影像监视装置，其特征在于，

上述关注摄像机控制信号生成部在上述关注摄像机影像解析部检测出的上述事件信息与以上述候选为对象的上述事件信息一致的情况下，提高将该候选决定为关注对象的优先级。

4.如权利要求2所述的影像监视装置，其特征在于，

上述信息综合解析部计算上述监视对象与上述关注摄像机之间的距离，作为上述跟踪信息；

上述关注摄像机控制信号生成部根据上述信息综合解析部计算出的上述监视对象与上述关注摄像机之间的距离、以及以上述候选为对象的上述关注对象与上述关注摄像机之间的距离，增减将上述候选决定为关注对象的优先级。

5.如权利要求2所述的影像监视装置，其特征在于，

上述关注摄像机控制信号生成部根据在上述关注摄像机与上述监视对象之间是否有障碍物，增减将上述候选决定为关注对象的优先级。

6.如权利要求2所述的影像监视装置，其特征在于，

上述关注摄像机控制信号生成部以使关于多个上述关注摄像机各自的上述评价的合计最大的方式决定上述关注摄像机的关注对象。

7.如权利要求1所述的影像监视装置，其特征在于，具备：

图像变形综合部，接收多个上述俯瞰摄像机的影像，变换为从上方观察上述监视区域的视点影像；

图像叠加部，将上述关注摄像机影像解析部检测出的上述事件信息、上述监视对象的跟踪信息、以及上述关注摄像机拍摄的影像叠加到上述视点影像；以及

输出部，输出上述图像叠加部生成的影像。

8.如权利要求7所述的影像监视装置，其特征在于，

在将关注摄像机的事件信息叠加到俯视视点影像时，在使用跟踪信息平行移动后叠加。

9.如权利要求1所述的影像监视装置，其特征在于，

上述关注摄像机影像解析部检测人物的脸部或人物的运动，作为上述事件信息。

10.如权利要求1所述的影像监视装置，其特征在于，

上述关注摄像机影像解析部检测车辆的存在与否、车辆的牌照或车辆的运动，作为上述事件信息。

11.如权利要求1所述的影像监视装置，其特征在于，

上述关注摄像机控制信号生成部接收如下控制信号，该控制信号指示：切换对上述监视对象的跟踪方法进行指定的跟踪模式，并且上述关注摄像机控制信号生成部按照上述控制信号指示的上述跟踪模式指定的上述方法，变更上述评价的基准。

12.一种监视系统，其特征在于，具备：

权利要求1所述的影像监视装置；

俯瞰摄像机，拍摄上述监视区域整体；以及

关注摄像机，关注并拍摄上述监视区域内的比上述俯瞰摄像机拍摄的区域小的区域。

13.一种监视系统构建方法，构建权利要求12所述的监视系统，其特征在于，具有：

俯瞰摄像机配置步骤，决定上述监视区域内的上述俯瞰摄像机的配置；以及

关注摄像机配置步骤，决定上述监视区域内的上述关注摄像机的配置；

上述俯瞰摄像机配置步骤具有：

获得上述监视区域的关于宽广度及高度的信息的步骤；

在上述监视区域中的具有规定面积以上的宽广度的空间的中央配置上述俯瞰摄像机的步骤；

在上述监视区域中的需要监视的通路的角或交叉点上配置上述俯瞰摄像机的步骤；

基于所获得的上述关于宽广度及高度的信息和已设置的上述俯瞰摄像机的配置，追加配置足够将上述监视区域无遗漏地观察的上述俯瞰摄像机的步骤；以及

在上述监视区域中的预计拥挤的区域及想要重点监视的区域追加配置上述俯瞰摄像机的步骤。

14.如权利要求13所述的监视系统构建方法，其特征在于，

上述关注摄像机配置步骤具有：

获得上述监视区域的关于宽广度及高度的信息的步骤；

在上述监视区域中的被划分的空间的角上配置上述关注摄像机的步骤；

在上述监视区域中的需要监视的通路的角或交叉点上配置上述关注摄像机的步骤；

基于所获得的上述关于宽广度及高度的信息和已设置的上述关注摄像机的配置，追加配置足够对上述监视区域进行监视的上述关注摄像机的步骤；以及

在上述监视区域中的预计拥挤的区域及想要重点监视的区域追加配置上述关注摄像机的步骤。

15.如权利要求13所述的监视系统构建方法，其特征在于，

上述关注摄像机配置步骤具有：

假定上述监视对象存在于上述监视区域内的某个位置，按上述关注摄像机的关注对象的每个候选，评价该候选是否适合作为上述关注摄像机的关注对象的步骤；以及

以使上述评价的结果小于规定阈值的上述关注摄像机的个数小于规定个数的方式决定上述关注摄像机的配置的步骤。

Images