CN100556130C - 使用多个摄像机的监视系统 - Google Patents

Abstract

提供在用多个摄像机监视对象空间的系统中，减轻监视人员负担，对用户来说不繁琐的安全解决方案。用图像识别技术对每个摄像机拍摄的图像提取移动体，在摄像机之间进行对照。并且，求出此移动体的移动路径，判断有无侵入限制区域，向监视人员显示警报。有无进入限制区域的权限是通过组合卡认证等个人特定机构和摄像机监视，进行跟踪来判断的。另外，通过分析移动轨迹、路径判断是否是不明者，同样发出警报警告。作为上述处理的基础，构筑监视空间数据库，进行中转，实施处理。

Description

使用多个摄像机的监视系统

技术领域

本发明是涉及通过设置在对象空间中的多个摄像机(camera)，识别，对照或者跟踪被拍摄的移动体，例如人物，汽车等的监视系统。

背景技术

为了应付犯罪检举率低下等社会混乱，以维持、提高安全水平为目的，增加监视不明人物、不明车辆用摄像机的设置台数。在引入初期阶段，监视人员在监视室中目视摄像机拍摄的图像，在异常情况下派遣警察或警卫到现场，将图像存储到录像机中，对犯罪发生后的搜查有用等，使用直接的、间接的手法，有助于事前防止犯罪发生、事后的应对措施。但是，受设置台数的剧增，不仅摄像机，监视人员的增加，录像机的增设等，使安全系统的成本(cost)增加，资源不足成为问题。作为解决该问题的对策，使用计算机，自动识别摄像机图像中的人物或汽车等监视对象，减轻监视人员的用眼看的监视负担的方式被提议。例如，在专利文献1中公开的，分别在多个摄像机，使用图像识别技术，提取人物全体特征信息或脸部特征信息，在摄像机间交换其提取的信息的技术。

专利文献1：特开2003-324720号公报。

在设置多个摄像机的监视中，为了用限定监视对象空间的监视人员资源能够有效的完成业务需要监视支援技术。另外，为了确保监视对象区域的安全，除了先前所述的通过摄像机进行监视之外，如果是建筑物内，通常采取通过对各房间加锁，只有允许的人可以出入的对策。作为开锁的实现方法，不仅是以往的钥匙，并用口令输入、IC卡，此外，通过指纹或静脉等生物测定认证的个人同定等，正在发展更高水平的系统导入。这样，为了确保安全水平，通过增设监视摄像机和加锁的进入限制两者都是必要的，但是，由于过度的系统导入会导致成本(cost)增加和用户的不便，有必要能够根据应该设定的安全水平，灵活的组合系统。

根据对于以上说明的系统的要求，研讨众所周知的技术，如专利文献1所述，用全体特征信息将对照后的移动体的图像在监视器显示，或在监视人员指定跟踪对象的移动体的方式中，有必要监视人员自己判断是否是可疑举动之类的，推断对象移动体在监视空间内的移动路径，对监视负担的减轻是不够的。另外，没有不特定的多数，在可以进入特定的区域(例如大厦内的走廊等)的情况中，在出场次数的时候，用眼睛看来跟踪全体人员是不现实的，被限定于可以适用的场面。

发明内容

本发明的目的是提高监视摄像机照射的移动体的跟踪精度。

本发明的方案，提供一种使用多个摄像机的监视系统，在监视对象空间中，分散设置多个摄像机，从各自摄像机拍摄的图像中提取表示移动体的特征量的信息，用该提取的特征量，判定各自摄像机摄影的移动体是否是同一个，其特征在于，具备：对照跟踪装置，其包括对按照每个移动体分别分离汇总每一个摄像机提取的特征量的机构、计算移动体在摄像机间的移动路径的机构、计算在摄像机间移动的移动体的匹配度并且跟踪具有匹配性的移动体的机构、管理监视空间全部信息的数据库；及表示上述移动体的状态的显示装置；所述对照跟踪装置，与个人认证装置和门开关传感器连接，所述对照跟踪装置，具备认证匹配装置，该认证匹配装置在所述移动体用所述个人认证装置进行个人认证时，将所述移动体和从所述个人认证装置取得的个人信息相关联，所述对照跟踪装置，基于所述个人信息，在移动体进入对所述移动体而言进入受到限制的区域时，或者所述门开关传感器检测到所述移动体将对所述移动体而言进入被限制的门打开或关闭时，发出警报。

作为解决课题的方法，首先，在监视对象空间中设置多个摄像机，使用图像识别技术，设置从其图像中提取移动体及其特征量信息的特征量提取机构。该特征量提取机构，信息提取按规定的时间间隔或者定时反复执行。

用摄像机拍摄的图像及其提取的移动体的特征量信息通过通信网络传送到移动体对照跟踪机构。对照跟踪机构是由后述的监视空间数据库，移动体分离收集机构，路径计算机构，移动体匹配度计算机构，个人特定信息匹配机构，限制区域侵入判定机构，举动分析·不明人物检测机构构成。

对照跟踪机构将监视对象空间全部作为三维模型来表达，此外，移动体在中心具有网络表达移动的空间的关系的监视空间数据库，蓄积传送来到的特征量信息。在监视空间数据库中，各摄像机的位置及其摄影范围与三维模型以及网络模型相互联系起来，特征量信息与摄像机信息联系起来蓄积。

其中，由于在一个摄像机图像内通常存在多个移动体，有必要将这些作为个别的移动体分离。因此，以规定的间隔进行动作的移动体分离收集机构提取储备在数据库中的每个摄像机的特征量信息，使用已经在特征量空间被映射、分组的特征量集合的距离性的近度或在提取的移动体的图像空间内的推断移动方向·距离的信息，决定属于哪个特征量集合。其中，所谓特征量集合是指每次对相同的移动体实施特征量提取处理得到的信息的集合，使用一个移动体从进入一个摄像机的视野到退出的信息，可以用特征量矢量的平均值及其分散值来代表。

下面，为了跟踪分离、收集后的移动体，通过对照跟踪机构中的路径计算机构，求得监视对象空间中的摄像机摄影范围间的候补移动路径。在路径计算中，在数据库中，将通路或房间等人的移动空间的连续状态作为网络，将模型化的信息作为对象，搜索从出发地点到目的地点间的、设定的线路成本(cost)的最小值。如果监视空间的构成简单，可以事前将摄像机间的全部组合中的全部路径作为表格来求得。

并且，在对照跟踪机构中的移动体匹配度计算机构中，计算二个移动体的特征量集合之间的匹配度。匹配度定义为二个集合的特征量空间的近度的指标。此时，在移动体通过每个摄像机视野的次数中连续不断地提取的特征量集合的、使用哪种组合计算匹配度在实现适当的跟踪方面成为要点。因此，首先，使用移动体通过上游侧摄像机视野时的移动方向的信息，通过先前说明的路径计算机构求得移动体能够到达下游侧摄像机的路径，推断其所需要的时间。此时，赋予通过楼梯或电梯的路径与通路不同的权重不同来求得。并且，分别求得从其所需要的时间在规定的时间内通过的移动体的匹配度。设定适应匹配度的判定值确定二个移动体是否一致。通过更改该判定值，可以缩小或者扩大跟踪对象。另外，为了处理移动体的滞留，通过逆算所需要的时间，在与由下游侧摄像机捕捉到的移动体相当的上游侧移动体不存在，回溯时间，求得对应规定匹配度的移动体。

在显示以上说明的处理机构中，需要监视人员看守。在显示机构中，三维捕捉监视对象空间，设定、显示各种视点的功能包括设置的摄像机的位置及其显示图像的功能。在摄像机图像的显示中，可以由监视人员选择特定的摄像机，或将多个摄像机的图像在一个显示部分时间，自动切换映出。由每个各摄像机提取的特征量信息，通过将不同移动方向的通过人数重叠在图像上显示，即使不注视图像，监视人员也能够把握混乱的情况。

另外，监视人员通过指定图像中特定移动体，显示推断此移动体的移动路径的结果，或求得摄像机间的匹配度，可以实现自动跟踪。这在夜间等移动体稀少的时候，监视人员即使不指定，也能用图像识别技术实现全部跟踪检测到的移动体。相反，在白天等移动体多的时候，即使重复显示跟踪结果也难以了解，因此，只显示监视人员指定的对象的跟踪信息。其中，通过监视人员可以任意变化适应于匹配度的判定值，能够扩大或缩小跟踪对象，使之能够防止跟踪遗漏。

另一方面，对照跟踪机构中包含安装在门上的卡认证或生物测定认证等的个人特定信息匹配机构。通过卡认证可以与其卡所有者的特定信息对应起来。因此，由监视摄像机对安装卡认证机构的门的附近进行拍摄，提取外貌特征量信息，同时，通过卡信息与其所有者的信息相关联。外貌特征量信息与其个人信息相关，可以判定此人可以进入监视对象的哪个区域。其同样由对照跟踪机构中的限制区域侵入判定机构进行判断。此时，限制区域侵入判定机构与安装在门上的开关传感器连接，其开关信息被用于判定有无侵入。

此时，没有权限的人侵入限制区域时，能够由显示机构显示警报信息，监视人员根据需要，派遣警卫到现场，或通过扬声器招呼从区域中退出。

另外，在对照跟踪机构中设置了，通过分析移动体的移动轨迹，判定是初次来访者或老用户，是否是不明人物，经过监视空间数据库，由显示机构显示与侵入限制区域一样的警报的举动分析、不明人物检测机构。

通过本发明，可以提供在提高对监视对象区域内移动体的跟踪性能，由此减轻监视人员的负担的同时，对用户而言不繁琐的安全解决方案。

附图说明：

图1是表示使用本发明的监视系统的整体构成的图。

图2是表示移动体特征量提取装置的处理步骤的流程图。

图3是表示监视空间数据库明细的图。

图4是说明用于本发明中作为举例说明的建筑物构成的图。

图5是表示用于本发明中作为举例说明的楼层构成的图。

图6是表示用于举例说明的楼层构成的网络表示的图。

图7是说明连结二个楼层间的楼梯节点和电梯节点的线路的图。

图8是表示将用监视摄像机拍摄的图像快照例和提取的特征量标绘在图表中的例子的图。

图9是表示分离收集摄像机内移动体功能处理步骤的流程图。

图10是不同摄像机·时刻特征量分离收集处理流程图。

图11是表示摄像机间移动路径计算功能的处理步骤的流程图。

图12是说明计算路径的例子的图。

图13是用于将上游侧摄像机提取的移动体信息在下游侧摄像机中对照的、设定搜索时刻窗口的说明图。

图14是说明某摄像机提取的特征量和设定的搜索时刻窗口在时间轴上关系的图。

图15时表示摄像机间移动体匹配度计算功能的处理步骤的流程图。

图16时说明监视用显示器中的显示内容的图。

图17是表示用于设定监视条件的窗口的例子。

图18是表示自动跟踪显示设定时的监视显示器中的显示例的图。

图19是表示监视人员选择的跟踪对象的信息的显示例的图。

图20是表示设定针对匹配度的判定值的窗口的例子的图。

图21是表示用于将蓄积的图像数据再现显示的控制的例子的图。

图22是表示卡认证、门开关传感器和举动分析不明人物检测功能的信息显示在监视显示器上的例子的图。

图中：101、103、509～512-监视摄像机，102、104-移动体特征量提取装置，105-网络，106-对照跟踪装置，107-监视用显示器，108-监视空间数据库，109-特征量信息接受存储功能，110-分离收集摄像机内移动体功能，111-摄像机间移动路径计算功能，112-摄像机间移动体匹配度计算功能，113-监视状况显示功能，114-卡认证匹配功能，115-限制区域侵入判定功能，116-举动分析不明人物检测功能，117-卡认证装置，118-门开关传感器，201～205、901～905，1001～1012，1101～1109、1501～1511-流程图的处理步骤，302-建筑物数据库，303-外观形状三维数据，304-不同楼层空间数据，305-电梯数据，306-楼梯数据，307-摄像机数据，308-卡认证装置数据，309-门开关传感器数据，310-网络数据，311-使用者数据库，312-组织·成员数据。313-已经登录来者数据，314-监视数据库，315-摄像机图像数据，316-提取特征量数据，317-摄像机内对照跟踪数据，318-摄像机间对照跟踪数据，401-建筑物外观图像，402-楼层构成图像，403-电梯图像，404-楼梯图像，501～504-房间，505、506-电梯，507、508-楼梯，513～516-安装卡认证装置的门，517～520-安装开关传感器的门，801-摄像机，509-快照图像，802-摄像机，509特征量标绘图表，803～805、813、814、823-人物，806～808、824、815、816-特征量集合，811-摄像机，510快照图像，812-摄像机，510-特征量标绘图表，821-摄像机，512-快照图像，822-摄像机，512-特征量标绘图表，1201～1205-推断路径，1601-显示器全体，1602-主窗口，1603-状态窗口，1604～1609-图像窗口，1801～1803-跟踪路径，1804-自动跟踪专用图像窗口，1901-跟踪对象选择，1902-移动路径显示，1903-通过摄像机显示，1904-通过时刻摄像机图像显示，2201-门开关传感器符号，2202-卡认证装置符号，2203-警报显示。

具体实施方式

下面，参照附图对采用本发明的监视系统的例子进行说明。

[实施例]

使用图1对实施例进行说明。在监视系统中，首先，将多台摄像机101，移动体特征量提取装置102或摄像机103和移动体特征量提取装置104的组合设置在监视对象空间中，分别连接在网络105上。图1表示连接了2组的结构，但是，可以连接2组以上的组。对照跟踪装置106通过网络与摄像机和移动体特征量提取装置连接，并从那里接受图像和特征量信息。另外，与卡认证装置117和门开关传感器118连接，接受来自每个机器的卡信息，门开关信息。对照跟踪装置106还与显示摄像机图像或监视对象的移动体的移动轨迹、限制区域的侵入警告等的监视用显示器107连接，具有向监视人员传递情况的作用。

对照跟踪装置106由监视空间数据库108，特征量信息接受存储功能109，分离收集摄像机内移动体功能110，摄像机间移动路径计算功能111。摄像机间移动体匹配度计算功能112，监视状况显示功能113，卡认证匹配功能114，限制区域侵入判定功能115，举动分析不明人物检测功能116构成。各功能在后面进行详细叙述。另外，以下说明的对照跟踪装置106的功能，不仅安装在一个装置，也可以分散安装在多个装置上。

下面，对移动体特征量提取装置102，104进行说明。本装置具有，应用图像识别方法，从由摄像机拍摄的图像中提取特征量信息，并将其输出到外部的功能。采用图2对其处理步骤流程进行说明。首先，在步骤201中采集由摄像机拍摄的图像。摄像机输出NTSC格式等模拟信号或JPEG格式等数字信息等，无论是哪种方式都可以实现，模拟格式的情况，为了进行图像识别处理，转换为数字信息，存储在装置内。

下面，在步骤202中从存储的数字图像信息中提取图像内存在的移动体。作为提取的具体的方式应用背景差分法。所谓背景差分法是将不存在移动体状态的图像数据作为背景保存起来，通过求出拍摄移动体的图像数据和每个像素的亮度值的差分，求出不存在背景的移动体的区域的方法。而且，本步骤的作用是使用人物的大小等信息，将移动体区域分割成个别的人物。

下面，在步骤203中由步骤202中被分割成每个人物的区域计算各自的特征量。在这里，对求出作为特征量，下半身和上半身的最頻亮度值的方式进行说明。首先，由于只将映出人物全身的区域，作为处理对象，遇到图像上下左右边界时，跳过处理。下面，使用来自全身区域的轮廓形状的变动点、亮度值变动点等信息，来确定除了头部的上半身部分和下半身部分的各自区域。并且，合计各自部分区域内的全部像素的亮度值，将出现频率最多的亮度值作为此部分区域的代表特征量。通过该处理，能够得到二个特征量(上半身最頻亮度值和下半身最頻亮度值)。另外，求出人物图像内的位置信息(例如，上半身的重心位置等)，对照特征量信息，进行管理，能够求出移动速度或移动方向。作为特征量也可以使用其他的，如组合轮廓形状大小或颜色信息。

最后，在步骤204中，将从一个摄像机图像得到的特征量信息(通常是多个信息)传送到对照跟踪装置。在发送的信息中赋予摄像机ID，图像获得时刻，本地ID等信息。以上说明的步骤201到步骤204的处理只要在步骤205中不设定结束指定，就能反复执行。考虑安装的装置的上述处理时间、摄像机的帧频率、移动体的移动速度，确定处理周期的值。

下面，使用图3，说明对照跟踪装置106中的监视空间数据库108。图3是表示数据库的构成数据，监视空间数据库108由建筑物数据库302，使用者数据库311和监视数据库314构成，每个数据相互参照。

建筑物数据库302是由外观形状三维数据303，不同楼层空间数据304，电梯数据305，楼梯数据306，摄像机数据307，卡认证装置数据308，门开关传感器数据309和网络数据310构成。

其中，用图4对建筑物数据库进行说明。外观形状三维数据303在图4中是用三维模型401表现监视对象空间，为了使监视人员等容易明白的观看，可以使用该数据。表示的是作为楼层402，电梯403，楼梯404，每个不同楼层空间数据304，电梯数据305，楼梯数据306的例子。这三个数据表示作为移动体的人能够存在的场所。

图5是表示楼层上设施配置的一个例子。该楼层有房间501～房间504的房间，通路包围着其周围。人使用电梯505、506，或楼梯507、508出入楼层。人通过的通路由摄像机(以及特征量提取装置)510～512(从图看应是509～512)进行摄影。人可以从各房间的门，安装开关传感器的门517、518、519、520，或安装卡认证装置的门513、514、515、516出入。建筑物数据库302中的摄像机数据307具有安装在这样楼层中的位置或摄影范围的数据，卡认证装置数据308具有卡认证装置的位置或作为出入口连接的房间和通路的数据，门开关传感器数据309同样具有传感器的位置或作为出入口连接的房间和通路的数据。

下面，用图6对用于路径探索的网络数据310进行说明。首先，将通路和房间等人移动的空间进行框架表现作为线路的基础。根据人流分岔汇合的地点，门或电梯、楼梯，将人出入其空间的发生地点等定义为节点，节点间表现的是人可以移动的线路。图6表示该楼层由通路构成网络和每个各房间构成的网络共计5个网络进行表现。作为节点定义为门节点、电梯节点、楼梯节点、分岔节点、末端节点。门节点是连结通路和房间、通路和通路，房间和房间的节点，担负连结不同网络的作用。如图7所述，电梯节点定义在电梯的各楼层，其节点间是用连接楼层间线路进行连结的，担负连结楼层间网络的作用。楼梯节点也和电梯节点一样担负连结楼层间网络的作用，但是，在连接电梯节点的线路列中，人只能在其中一个地方存在(由于电梯内的轿厢是1个)，但不同的是在连接楼梯节点的线路没有那样的限制。分岔节点是被定义在人不能出入的分岔地点的节点，末端节点是被定义在人不能出入的线路末端的节点。通过使用以上说明的网络数据，可以生成从任意楼层的节点、线路到位于不同的任意楼层的节点、线路之间的路径。

图3中的使用者数据库311收集了具有进入其空间权限的特定人物的信息，由组织成员数据312和已经登录出场者数据313构成。具体的说，包括入住各楼层的团体、公司及其组织构成、构成组织的人员名单信息，包括每个组织或个人级别的进入各房间的权限信息和每个个人的卡信息、生物测定信息。已经登录出场者数据也是一样的，将暂时进入此楼层的出场者的信息以与组织成员数据一样的形式进行存储。通过卡认证或其他的认证(包括容貌认证或指纹认证、静脉认证、声音认证等生物测定认证)指定个人，参照该数据库的信息，能够指定此个人允许进入的可能的区域。和组织、个人的特定信息没有联系的移动体侵入限制区域时，成为警报输出对象。

图3中的监视数据库314主要是储备与摄像机以及特征量提取装置输送来的数据、计算的移动体、移动路径、匹配度等数据的，由摄像机图像数据315，提取特征量数据316，摄像机内对照跟踪数据317，和摄像机间对照跟踪数据318构成。下面说明的对照跟踪装置内的很多功能也将该数据库作为工作区使用。

下面，对图1中的特征量信息接受存储功能109进行以下说明。该功能担负接受经过网络从多个摄像机和移动体特征量提取装置传送来的图像和特征量信息，分别存储到监视空间数据库108内的监视数据库314中的摄像机图像数据315、提取特征量数据316中的作用。由于图像数据全部保管需要很多存储容量，限定期限，过去的数据或删除，或只选择性的将照有人物的场面存储在存储机构中。

以下对图1中的分离收集摄像机内移动体功能110进行说明。图8举例表示的是将每个摄像机摄影的图像的快照和规定时间内提取的特征量标绘在图表中。其中，以图5中例示的配置在楼层中的摄像机中的三个摄像机为对象，在图8(a)中对摄像机509的快照图像801和提取特征量图表802，在图8(b)中对摄像机510的快照图像811和提取特征量图表812，在图8(c)中对摄像机512的快照图像821和提取特征量图表822分别进行举例表示。在快照图像801中，提取了三个人物，人物803向图像的深处移动，人物804、805向图像的附近移动。提取特征量图表802是将先前所例示的上半身最頻亮度值和下半身最頻亮度值二个值作为特征量，在表示特征量空间的二维图表中标绘其提取值。与快照图像801只表示某特定时刻的1场面相对，提取特征量图表802是在汇总规定时刻间提取的特征量，进行标绘显示。如图2的流程图所说明的那样，由移动体特征量提取装置，从快照图像801中分别提取三个人物803、804、805，对于其图像，求出三个标绘在提取特征量图表802中的数据，其通过特征量信息接受存储功能109保管在监视空间数据库108。由于摄像机视野内人物的移动时间差、照明等外部环境的变动、由人物移动产生的大小·方向的变动等，在特征量提取时间上产生时刻差，另外，同一个人物的特征量也变动。分离收集摄像机内移动体功能110担负将偏离此时间提取的、伴随变动的特征量作为不同的个别移动体的信息进行整理的作用。也就是说，在图表802中，将散乱标绘的特征量象数据集合806、807、808那样汇集成各自的数据集合，和移动体建立关联。在该例子中，相当于人物803的数据集合对应于数据集合808，相当于人物804的数据集合对应于数据集合807，相当于人物805的数据集合对应于数据集合806，展开以下的说明。

用图9的流程图对分离收集摄像机内移动体功能110的处理步骤进行说明。从特征量提取装置传送来的信息，图像数据存储在监视数据库314的摄像机图像数据315中，特征量数据存储在提取特征量数据316，分别作为每个摄像机，每个时刻的信息保存。为了将输送来的数据作为移动体信息进行整理，首先选择未处理的摄像机的特征量提取信息(步骤901)，选择其中整理还未结束的未处理时刻信息(步骤902)。下面，通过步骤903的摄像机·时刻別特征量分离收集处理，或已经追加到某移动体信息，或作为新移动体登录，或作为退出移动体处理。其处理结果被保存在监视数据库314的摄像机内对照跟踪数据317中。并且，如果剩下还没有处理的别的时刻的信息(步骤904)。重复从步骤902开始的处理，另外，剩下还未处理的别的摄像机的提取信息(步骤905)，重复从步骤901开始的处理。

下面，用图10的流程图对步骤903中的摄像机·时刻別特征量分离收集处理的详情进行说明。首先，在步骤1001中，确认处理对象的摄像机信息中是否存在其摄像机内已经作为移动体登录的数据集合(称其摄像机内已存移动体)。不存在时，由于相当于移动体重新进入摄像机视野，在步骤1002中，在摄像机内，将所有的未处理特征量信息作为新出现的移动体，新设数据集合进行登录(称其为摄像机内新移动体)。图8中801、811、812符合该条件时，分别在摄像机内登录3、2、1个的新移动体。

另一方面，已存移动体存在于摄像机内时，特征量信息作为与其已存移动体相同的人物追加数据，或作为新移动体登录。使用空间距离和马哈拉诺比斯(Mahalanobis)距离这二个距离量来判断它，首先，选择未处理的特征量信息(步骤1003)，在所有的摄像机内已存移动体中的数据集合中，分别计算最新信息的摄像机内位置和与选择的特征量的摄像机内位置之间的空间距离(步骤1004)。作为最新信息的位置，不只以前的数据，也可以是例如使用卡尔曼滤波器的对应其时刻的移动预测位置。所谓的该卡尔曼滤波器是使用观测的测量数据作为时间序列，求出未来时刻中的预测值，另外，根据新的测量数据改善其预测精度的方法。另外，在所有的摄像机内已存移动体中的数据集合中，计算特征量集合与选择的特征量之间的马哈拉诺比斯(Mahalanobis)距离(步骤1005)。马哈拉诺比斯距离是统计中使用的指标，用数据集合的平均值和对象值之间的距离除以集合的标准偏差得到的值，是表示将分布加入考虑的数据集合和1个数据的近度的量。在这里，作为表示特征量相似度的指标使用。对所有的未处理特征量反复进行该步骤(步骤1006)。

下面，在步骤1007中，由计算的空间距离和马哈拉诺比斯距离构成的，求出所有的矢量组中，其大小为最小值的组。由于矢量的大小最小是不能与已存移动体一致的，设定规定的阈值，检查是否在其值范围内(步骤1008)。如果在范围内，就象在步骤1009中那样，将选择的组的特征量信息追加到摄像机内已存移动体信息，从下一个选择候补中去除该组。直到作为候补其的已存移动体存在，重复步骤1007以下的步骤(步骤1010)。在步骤1008中，矢量的大小超过规定的范围时，剩余的已存移动体信息从摄像机视野退出，由于和其他移动体重叠，不能提取本来应该提取的特征量。因此，成为对象的已存移动体的最新位置，例如，参照图3的网络数据310，位于退出地点附近内时，认为移动体是退出的物体，向其已存移动体信息中追加表示此事的信息，从作为摄像机内已存移动体的登录信息中删除(步骤1012)。最后，和哪个摄像机内已存移动体都没有联系的未处理特征量，作为重新进入摄像机视野的物体，作为摄像机内新移动体进行登录(步骤1011)。

通过实施以上说明的处理，对于摄像机509的信息，在图表802中，能够作为数据集合806～808，汇总信息，另外，能与图像801中的个别人物建立关联。另外，对于摄像机510的信息，在图表812中，也能够分离数据集合815、816，并能分别与图像811的人物814、813具有关联，对于摄像机512信息，能使图表822中的数据集合824和图像821中的人物823具有关联。

下面，对图1中摄像机间移动路径计算功能111进行说明。移动路径计算是以例如，在图6所示的节点和线路构成的网络表示数据为对象。作为路径探索方法，是以迪杰斯特法为基础，迪杰斯特法是搜索线路成本最小的路径的方法。由于适用迪杰斯特法，能够求出指定的节点相对于其他的全部节点的最小线路成本路径。该迪杰斯特法是对于设定网络线路的成本，确定从开始点每1个点到各节点的最小值路径，将其扩展到整个网络的算法，作为地图中的最短路径探索的基本算法被广泛使用。而且，在其中的线路成本中有必要选择对应移动时间的成本。因此，在楼层内，使用节点间的距离乘以人的平均移动速度后的结果，在楼梯节点间，使用楼梯距离乘以楼梯升降平均速度后的结果，在电梯节点间，使用电梯间的平均等待时间加上电梯的楼层间移动时间(包括门开关时的出入的时间)的结果。采用如上所说明的线路成本中采用没有时间依赖性的指标时，摄像机间以及节点间的最小加权路径可以事先脱机求出，将其保存在例如监视空间数据库108的网络数据310中，只通过对照，就能得到路径。

但是，如果考虑以下的说明项目，实际上，出现了在需要的时刻执行求移动路径的处理的需要。首先，由提取的移动体的特征量信息中的其位置的时间变化数据，能够求出在摄像机视野内的移动速度。线路成本的设定中不是平均移动速度，应用该计算得到的移动速度，能改变线路成本。另外，电梯间的移动时间也不是统计的平均值，采用由当时的电梯的运转数据(某时刻位于某层？)求出的实际值，可以改变线路成本。由于通过电梯的移动受其他楼层的呼叫状况和运行管理模式影响很大，在高精度的推断中，有必要将电梯的运行模型化，通过模拟推测其举动。另一方面，由移动体的特征量信息能够得到移动体从摄像机视野退出的方向，路径很大程度上，依赖于其方向。因此，首先，求出从路径探索的出发地点到在其移动方向上的途中的分岔点的网络上的路径，接着，有必要采用迪杰斯特法，由其分岔点求出最小成本路径。

根据上述说明，用图11对摄像机间移动路径计算功能111进行说明。首先，选择还未结束路径计算的未处理的摄像机数据(步骤1101)，选择其中的移动体信息(步骤1102)。并且，计算移动体的速度、方向，使用该速度信息，设定网络的线路成本(步骤1103)。下面，设定使用电梯运转数据的电梯节点间的线路成本(步骤1104)，计算到考虑了移动方向的分岔点的推断路径(步骤1105)。最后，用分岔点通过迪杰斯特法计算的最小成本路径(步骤1106)，将其路径保存在例如监视空间数据库108内的摄像机间对照跟踪数据318中(步骤1107)。对所有的移动体进行以上的处理(步骤1108)，并且，对所有的摄像机数据(步骤1109)反复执行上述步骤。

以上说明的方式适用于图5的楼层以及图6的网络表示，以图5的摄像机509拍摄的移动体为例进行说明。如图8(a)所例示，由从摄像机图像中提取的三人的移动体信息，能够求出各自的特征量和移动速度、移动方向，使用其移动速度，设定线路成本。由于人物803向图像的内部移动，到达其分岔点之前的路径能够作为图12中的推断路径1202进行计算。另一方面，由于人物804、805向图像的前面移动，到达其分岔点之前的路径能够作为图12中的推断路径1201进行计算。并且，用各分岔点，采用迪杰斯特法，能够求出到没有设定的全部节点中的最小线路成本路径作为路径。同样，能够分别求出，作为摄像机510的推断路径的推断路径1203和推断路径1204，作为摄像机512的推断路径的推断路径1205。在本例中，摄像机设置在分岔点，但是，通常，分岔点和摄像机设置地点不一致，另外，如果网络规模变大，明确需要通过路径探索处理自动求出路径。

其中，在图5表示的例子中，由于摄像机只设置在通路上，移动路径只由通路上的线路构成的网络是搜索对象，但是，在房间内设置摄像机时，需要跨多个网络进行搜索。此时，适用按照首先求出从房间到通路的路径，接下来，将通路网络作为搜索对象那样的2级搜索。

接下来，对图1中的摄像机间移动体匹配度计算功能112进行以下说明。用图8对本功能的目的进行说明。其中，出现三个人物，认为二个人物从摄像机509向摄像机510移动，剩下一个人物从摄像机509向摄像机512移动。此时，是通过分别对照图像801的人物803与图像821的人物823，图像801的人物804和人物805与图像811的人物813和人物814进行推断的。在该对照中，需要先前说明的摄像机间的移动路径和摄像机内移动体的集合数据。遵循时间观察图8中三个图像数据，首先，在图像801中出现三人，在摄像机视野内移动后，从摄像机视野退出。从此时刻只延迟人物移动的时间量，人物出现在图像811和图像821中，再退出去。在摄像机视野外的移动路径途中有人出入口时，由上游侧摄像机拍摄的人物不会出现在下游侧的摄像机中，或者上游侧摄像机没有拍摄到的人物出现在下游侧的摄像机中。另外，在本实施例中，只对三个监视对象的人物进行说明，需要假定通常人不断地在每个摄像机视野内移动。

根据以上所述，为了高精度的实现作为本功能目的人物对照，首先，有必要将考虑移动时间的对照数据插入到时间轴上，由此，使用由摄像机间移动路径计算功能111求出的路径信息。在判断从各摄像机提取的移动体视野退出的时刻中(由图10的流程图步骤1012判定)，参照了到位于此移动体目的地路径上的摄像机的设置地点的路径和其移动时间。并且，作为有可能到达此摄像机的移动体信息，在预测到达时间(退出时刻加上移动时间)前后设定搜索时刻窗口，参照退出的移动体信息，同时存储下来。作为例子，在图13中，将图8中801中的人物804和805，从上游侧摄像机图5中的摄像机509向下游侧摄像机510移动的情况表示在时间轴上。摄像机509中的人物804和805同时映入摄像机中，从进入到退出的时间有重叠。另外，在摄像机510中设定的搜索时刻窗口也显示了面向二个人物的范围重叠的情况。

下面，对推断摄像机间有关联的移动体的步骤进行说明。图14表示摄像机510时刻轴上来自设定的摄像机509的搜索时刻窗口，和由分离收集摄像机内移动体功能110提取的，如图8的图像811所示的人物813和人物814进入退出的情况。其中，在摄像机视野退出的时刻，执行搜索摄像机间具有关联的移动体的处理。首先，在人物814退出的时刻，将搜索时刻窗口范围内包含的所有上游侧移动体作为候补，计算移动体的匹配度。此时，计算与对应人物814的特征量集合815，对应人物804和人物805的特征量集合807和特征量集合806的匹配度。

其中，为了定义二个数据集合的匹配度，首先，将由用于统计学中的判别分析的线性判别函数得到的值定义接近度。线性判别函数是分离二个组的最合适的直线(一般为超平面)，将各组的各自的样本点的值代入其定义式的称为判别得分。判别得分是表示样本点和线性判别函数的偏离情况的指标。已知对二个组全样本的判别得分的偏差平方和，能够用表示二个组间的距离的指标和表示各组内变动的和的指标，二个指标加在一起表示。由于其前者的指标除以(所有样本数-1)后的值相当于分散，其中，将其值的平方根定义为接近度。具体的说，判别得分的个别组的平均分别为Z1_ave、Z2_ave，全体平均为Z_ave，各自的样本数为N1、N2，接近度D12由以下式1来定义。

$D12=\sqrt{\mathrm{}}((N1*{({Z1}_{\mathrm{ave}}-Z_{\mathrm{ave}})}^2+N2*{({Z2}_{\mathrm{ave}}-Z_{\mathrm{ave}})}^2)/(N1+N2-1))$ ...(式1)

接近度的定义在其他方面也可以采用马哈拉诺比斯(Mahalanobis)距离的方法。如果接近度小，二个移动体是同一个的可能性高，相反，如果大是不同的物体的可能性高。因此接近度的规定范围归一化为0～1，使用将从1中减去的值定义为二个移动体间的匹配度，是更容易明白的指标。接近度的下限值为Dmin，上限值为Dmax，则对应接近度D12的匹配度M12由以下式2来定义。

M12＝1-(D12-Dmin)/(Dmax-Dmin)            ...(式2)

不过，D12为比Dmax大的值时，M12＝0，D12为比Dmin小的值时，M12＝1。

在图8的特征量集合815和特征量集合806之间以及在特征量集合815和特征量集合807之间分别求出上述定义的匹配度，特征量集合815和特征量集合806的组合作为匹配度，成为接近1的值。与设定的判定值相比，是大的值时，判定此二个组是一致的物体。是一致时，删除面向对应805的搜索时刻窗口信息，另外，在退出的814移动体信息中存储与在上游侧对应的人物805的移动体信息的对照。由此，可以实现包含移动路径的跟踪。同样，在人物813退出的时刻，由于搜索时刻窗口内的对应的移动体只是对于人物804的图像，计算特征量集合816和特征量集合807的匹配度，检查它是否也成为比判定值大的值。在这种情况中，由于变为接近1的值，该二个组作为一致物体，删除面向对应的804的搜索时刻窗口信息，在退出的人物813移动体信息中存储与人物804移动体信息的对照。

基本上，对每个对应各摄像机的信息实施以上处理，能够实施移动体的匹配度的计算和判断是否一致。并且，该处理在进入摄像机视野的时刻或进入之后经过规定时间的时刻等，无论是从进入到退出的哪个时刻都可以执行。其中，假设实际的场面时，有必要假设在二个摄像机间的路径途中发生人出入，或长时间逗留，或在途中返回的情况。

即，移动体从摄像机视野退出的时刻，计算与上游侧摄像机的移动体信息的匹配度时，可以在按照预测的移动体到达时，选择如先前说明，在搜索时刻窗口范围内的移动体信息，但是，在长时间逗留时，由于超过应该对照的搜索时刻窗口的范围，有必要追溯窗口的过去时间进行搜索。搜索与过去的移动体没有关联的搜索时刻窗口，其移动体信息的匹配度在超过判定值(＝逗留)，或达到规定搜索限界时间之前，继续搜索。或者，在途中返回时，追溯其摄像机本身过去的退出移动体信息进行搜索，同样，匹配度在超过判定值(＝返回)，或达到规定的搜索限界时间之前继续进行搜索。在该逗留和返回两种情况下，在分别搜索匹配的移动体时，将距现在时刻近的方面作为成为跟踪对象的上游侧摄像机的移动体信息。无论以上说明的哪种判定，都没有发现对应的移动体时，认为人是从路径的途中新进入的，以该摄像机为基点，转向下游侧摄像机，跟踪移动体。并且，在没有发现对应的移动体的搜索时刻窗口中，超过搜索限界时间的，认为上游侧摄像机的人物是从路径途中出来的。

图15的流程图表示总结上述说明的内容。移动体从某个摄像机的视野中退出，对照其退出移动体信息(步骤1501)，搜索其退出时刻包含范围内的搜索时刻窗口(步骤1502)。计算对应成为对象的搜索时刻窗口的上游侧摄像机的移动体信息和该退出移动体信息的匹配度(步骤1503)，其值超过判定值时(步骤1504)，在退出移动体信息中存储匹配的上游侧摄像机的移动体信息的对照，删除对应的搜索时刻窗口(1505)，返回步骤1502。在步骤1504中，匹配度在判定值以下时也返回步骤1502。对包含退出时刻的所有的搜索时刻窗口执行该步骤。判定值低时或类似的移动体同时到达时等，也有与多个上游侧移动体信息匹配的情况。也就是说，在这里的对照跟踪中，其路径不只一条的情况，而是成为含有分岔的网络。

检查所有的搜索时刻窗口的结果，搜索到对应退出移动体的上游侧移动体时(步骤1506)，结束处理。如果没有搜索到时，按时间顺序追溯，对应没有删除的搜索时刻窗口的移动体，或者，计算从摄像机退出的移动体和本退出移动体的匹配度(步骤1507)，匹配度超过判定值时(步骤1508)，存储与退出移动体匹配的上游侧移动体信息或者过去从自相同摄像机退出的移动体信息的对照，对应搜索时刻窗口时，删除其信息(步骤1511)，并结束。在步骤1508中，匹配度在判定值以下时，没有超过搜索限界时间限度(步骤1509)，返回步骤1507，追溯过去的信息，进行搜索。超过搜索限界时间时，将退出移动体作为对照跟踪的基点，存储其信息(步骤I510)，并结束。

接下来，对图1中的监视状况显示功能113进行以下说明。本功能是对照监视空间数据库108的信息，通过监视用显示器107对监视人员，显示现在的状况或者过去的状况的。在监视用显示器107中，用图16来说明显示的画面的例子。图16是模式的表示了监视操作桌和显示器显示的图，全体窗口1601是由表示建筑物配置的整体或者一部分主窗口1602，表示监视状况的状态窗口1603，放映各监视摄像机图像的图像窗口1604～1609构成。

其中，主窗口1602显示各楼层的概略图和摄像机配置及其号码，跟踪人物时的移动轨迹和由进入限制区域产生的警告显示。本窗口的显示采用图3中的建筑物数据库302(用图4、图5举例说明的)，监视数据库314的信息，采用三维显示技术、计算机制图技术，可以向监视人员提供更真实的显示。另外，反过来，也可以使用简化建筑物信息，强调摄像机或其他的相关设备，使用好像显示的变形进行显示。

状态窗口1603担负显示由图1中举动分析不明人物检测功能116和限制区域侵入判定功能118得到的警告信息的功能。

从画面1604到画面1609的6个画面是与监视摄像机的号码一起显示其图像的。经由网络105送来的图像信息采用直接显示在各图像窗口，或读出存储在监视数据库314中的图像数据进行显示中的任意一种方式。一般来说，由于显示区域的限制，相对于设置的摄像机台数，显示用的图像窗口的数量少的情况很多。此时，采用在各图像窗口中一个一个选择显示的摄像机，进行切换监视，或事前在每个各图像窗口中登录多个摄像机图像，以规定的时间间隔自动进行切换显示的方式。另外，参照摄像机内对照跟踪数据317，通过计数退出的移动体数，求出从规定时刻开始通过的人数，有可能重叠显示。另外，也可以区分不同的移动方向进行显示。

由图17对包含设定该图像显示的监视条件的窗口的例子进行说明。其中，对于6个图像窗口，能选择或分别自动切换显示，或固定显示，自动切换时可以输入其时间间隔。选择的摄像机由下拉菜单进行选择，设定摄像机号码、顺序等。另一方面，在主窗口1602中，将关于如举例说明的跟踪状况的显示的设定在相同的监视条件设定窗口的下部举例说明。由此前说明的图1的分离收集摄像机内移动体功能110、摄像机间路径计算功能111、摄像机间移动体匹配度计算功能112，随时，实施对照跟踪处理，其结果保存在监视数据库314中。画面显示该数据时，如果人数多，多数会发生画面上的路径重叠显示，对监视人员来说，难以判明。因此，其中，跟踪状况的显示以有来自监视人员的要求的情况为基础。另一方面，如夜间，人数少，但安全上的监视重要度提高时，有必要对监视人员进行有效的监视业务支援。因此，在规定人数以下，并且，在规定的设定时刻之间，即使没有来自监视人员的要求，也要设定将跟踪处理得到的信息显示在主窗口中的功能。称之为自动跟踪显示。在自动跟踪显示中，作为必要的设定，有功能的ON/OFF、跟踪对象上限人数、显示对象时刻设定(其中，三个设定表示可能的例子)、自动跟踪专用图像窗口的选择。

图18表示自动跟踪显示的设定为ON时的，画面显示例子。在该例中，三个人物成为跟踪对象，在主窗口中，显示跟踪路径1801～1803的三个跟踪路径。跟踪路径参照保存在监视数据库314的摄像机间对照跟踪数据318的数据进行显示。在自动跟踪专用图像窗口1804中，跟踪对象的人物一进入摄像机视野，就显示其图像。同时，显示多个摄像机图像的需要产生时，在时间上，马上将产生要求的图像分开保存，在跟踪对象从摄像机视野退出的时刻，将其蓄积的图像再现显示。自动跟踪专用图像窗口可以设定多个。

图19表示根据来自监视人员的要求指定跟踪对象时的画面例。由指示装置选择任意的图像窗口内的跟踪对象(1901)，在主窗口中，显示移动路径(1902)，另外，在此路径上，强调显示跟踪对象通过的摄像机(1903)。指定跟踪专用的图像窗口时，重复显示由通过各摄像机时的图像和摄像机间移动体匹配度计算功能112求出的匹配度的值。通过每个摄像机自动的切换它。作为该匹配度状态的显示方法，如该实施例子所示，也可以显示匹配度的数值，也可以由根据该数值的图表或者显示画面和匹配度的显示窗口的显示色变化来通知。

其中，图20表示，在摄像机间移动体匹配度计算功能中，认为二个移动体一致的判定值的设定窗口的例子。判定值能对每一个摄像机进行设定。这是由于摄像机的设置场所不同，环境条件不同。图20中，表示用滑动条设定的例子。另外，设置了用于对全部摄像机一齐增高或降低判定值的判定值增减按钮，另外，通过复位按钮执行将全部摄像机的判定值重新设定为1的功能。本窗口可以由监视人员直接操作，也可以作为系统设定者的调整工具使用。

另外，在假设监视跟踪业务时，除了此时刻的实时图像信息之外，认为有必要播放以前的图像查明是否是可疑行动。图21是表示保持同步再现蓄积的图像，用于快放，后退显示的，监视图像再现控制例子。分别选择各图像窗口中显示的摄像机，设定开始时刻。默认是现在时刻。再现控制是使用通常再现、快放再现、回放再现、快进回放再现、停止按钮。

下面，对图1中的卡认证装置117进行说明。其中所谓的卡认证装置是指用于解除门的加锁而设置的具有IC卡信息读取和口令输入功能的装置。在图5中，以513、514、515、516为例说明，在图22中，通过IC卡符号2202表示其设置位置。图1中的卡认证匹配功能114与卡认证装置117连结，搜索监视空间数据库108内的使用者数据库311，搜索与卡ID一致的信息。并且，根据搜索信息确认这个人是否具有进入要进入房间的权限，如果有权限就开锁。在发生使用本装置的进出房间时，在图22表示的符号附近显示其ID信息。另外，没有入室权限时，或使其卡符号闪烁，或改变颜色，向监视人员发出警报。这些进入信息作为进出房间记录，保存其日志到监视空间数据库108的卡认证装置数据308中。

卡认证匹配功能114还力图担负与移动体的对照跟踪处理相连结的作用。例如，通过与操作卡认证装置的人物进入视野的位置安装的监视摄像机的组合，可以使从监视摄像机提取人的外貌看的特征量集合与IC卡所有者的特定个人信息相关联。由此，在此之前是对作为匿名人物进行对照跟踪的，由于可以进行组合个人信息的对照跟踪，例如，可以设定根据对照跟踪的个人工作场所而不同的匹配度判定值，进一步提高跟踪精度。另外，即使是卡认证装置没有进入摄像机视野时，作为在摄像机间移动的人物或者从摄像机间路径的途中进入的人物，根据卡ID能够与可以参照个人信息相关联。

在本实施例中，对使用卡认证装置进行了说明，也能实现使用指纹认证、静脉认证等生物测定认证装置替代该装置。也就是说，只要是能够对照特定的个人信息的装置使用哪中都可以。

下面，对图1中的门开关传感器118进行说明。开关传感器是检测门开关，因此，能够假定有人出入。在图5中，以开关传感器517、518、519、520为例进行说明，在图22中，由门符号2201表示其设置位置。图1中的限制区域侵入判定功能115与门开关传感器118连结，在摄像机间中人物跟踪途中，检测门开关时，如果跟踪中的人物与特定个人信息结合，检查有无进入其房间的入室权限，没有入室权限时发出警报。警报通过状态窗口显示和门符号闪烁等传达给监视人员。同样。跟踪中的人物与特定个人信息没有联系时，检查不特定者是否可以进入此房间，不可以的时候发出警报。此外，通过设置在通路上的扬声器，能够向对象人物传达警报。

通过在图5所示的房间的所有的门上安装传感器或者卡认证装置，能够推断在摄像机间移动路径途中的人员出入，其结果是提高跟踪精度。

最后，对图1中的举动分析不明人物检测功能116进行说明。本功能是分析人物的移动轨迹，在此人物是不明人物的可能性高时，发出警报。认为此功能是描写某人物非常清楚其监视空间时，直接向目的地的，移动速度变动少的移动轨迹的。相反，初次访问其场所时，边确认移动方向边缓慢移动，其移动轨迹变动大。另一方面，认为怀有目的不明人物在同一场所反复多次出现，在摄像机间的移动逗留时间长。因此，判定移动轨迹的变动超过规定值时为可疑行动，例如，将图22的警报显示2203输出到画面输出，并在状态窗口显示其主要内容等，提醒监视人员注意。

此外。在上述实施例中，本发明对将建筑物内的人作为对象的监视系统进行了说明，将道路空间中的汽车作为监视对象，它也可以适用。

根据本发明，可以提供通过设置在对象空间中的多个摄像机对拍摄的移动体，例如人物，汽车等进行高精度的识别、对照或者跟踪的监视系统。

Claims (4)

1、一种使用多个摄像机的监视系统，在监视对象空间中，分散设置多个摄像机，从各自摄像机拍摄的图像中提取表示移动体的特征量的信息，用该提取的特征量，判定各自摄像机摄影的移动体是否是同一个，其特征在于，具备：

对照跟踪装置，其包括对按照每个移动体分别分离汇总每一个摄像机提取的特征量的机构、计算移动体在摄像机间的移动路径的机构、计算在摄像机间移动的移动体的匹配度并且跟踪具有匹配性的移动体的机构、管理监视空间全部信息的数据库；及

表示上述移动体的状态的显示装置；

所述对照跟踪装置，与个人认证装置和门开关传感器连接，

所述对照跟踪装置，具备认证匹配装置，该认证匹配装置在所述移动体用所述个人认证装置进行个人认证时，将所述移动体和从所述个人认证装置取得的个人信息相关联，

所述对照跟踪装置，基于所述个人信息，在移动体进入对所述移动体而言进入受到限制的区域时，或者所述门开关传感器检测到所述移动体将对所述移动体而言进入被限制的门打开或关闭时，发出警报。

2、根据权利要求1所述的使用多个摄像机的监视系统，其特征在于，

在用每一个摄像机对不同移动体分离收集的功能中，使用空间距离和特征量空间距离二个指标，在计算移动路径功能中，设定路径成本，该路径成本采用了由摄像机检测的移动体的移动速度及方向信息，由匹配度算出跟踪机构，使用移动体特征量的集合之间的距离接近度来计算匹配度。

3、根据权利要求1所述的使用多个摄像机的监视系统，其特征在于，还具备：

能够在让显示装置中所显示的跟踪对象由监视人员分别指定的机构，和对应通过人数自动选择跟踪对象的机构中进行选择，并且，对全体或者每一个摄像机能够任意设定匹配度的判定值的功能。

4、根据权利要求1所述的使用多个摄像机的监视系统，其特征在于，

保持时刻同步，再现显示保存在数据库中的摄像机图像和关于移动体的对照跟踪的信息。

Images