CN105075248A - 对象物体标识设备、对象物体标识方法和对象物体标识程序 - Google Patents

Abstract

监视对象匹配装置(71)匹配在由一个或者多个成像设备捕获的视频中出现的监视对象并且标识被推断为相同的监视对象。物体标识装置(72)使用标识的监视对象的成像时间以从成像的标识的监视对象标识期望的对象物体。

Description

对象物体标识设备、对象物体标识方法和对象物体标识程序

技术领域

本发明涉及一种用于从监视对象标识期望的对象物体的对象物体标识设备、对象物体标识方法和对象物体标识程序。

背景技术

监控相机被安装在车站、具体设施等中，并且由监控相机捕获的视频被分析以执行各种确定。作为示例，在监视范围中存在不寻常长久时间的人或者物体被标识为可疑人或者物体。

作为一种相关技术，已知一种跟踪具体人并且分析他的或者她的行为的行为分析方法。在行为分析方法中，例如，其中使用一个相机或者在监视区域中重叠的多个相机来识别存在的具体人，并且人的位置的时间改变被跟踪以确定人停留在何处和多久。

也已知一种执行脸部匹配以从捕获的图像识别具体人的人识别方法。专利文献(PTL)1描述了一种能够更快脸部图像识别处理以简化登记操作的脸部图像识别设备。在PTL1中描述的脸部图像识别设备登记待识别的每个人的正视脸部图像和人在除了正面之外的方向中的平均脸部图像，并且匹配从视频提取的脸部区域的特征与登记的脸部图像以识别视频中的脸部图像。

引用列表

专利文献

PTL1：日本专利申请待审公开号2012-238111

发明内容

技术问题

利用以上提到的行为分析方法，人的行为可以在其中被分析的范围依赖于相机的成像范围。例如，在使用一个相机的情况下，人的行为可以在其中被分析的范围限于可以由相机捕获的范围。为了覆盖许多范围，需要使用许多相机而在监视范围之间无间隙。此外，当在拥挤情形中捕获人时，人经常由于途中的其他人而不能被看见，并且因此难以完全地跟踪具体人。

在使用在PTL1中描述的脸部图像识别设备的情况下，需要预先提供待发现的任何可疑人的信息。换而言之，不能在谁可疑是未知的情形中使用在PTL1中描述的脸部图像识别设备。

本发明因而具有如下目的：提供一种能够即使在监视范围宽或者拥挤的情况下仍然从监视对象标识在范围中存在了不寻常长久时间的对象物体的对象物体标识设备、对象物体标识方法和对象物体标识程序。

对问题的解决方案

根据本发明的一种对象物体标识设备包括：监视对象匹配装置，该监视对象匹配装置匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及对象物体标识装置，该对象物体标识装置使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从一个或者多个标识的监视对象标识期望的对象物体。

根据本发明的一种对象物体标识方法包括：匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从一个或者多个标识的监视对象标识期望的对象物体。

根据本发明的一种对象物体标识程序使计算机执行：监视对象匹配处理，该监视对象匹配处理匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及对象物体标识处理，该对象物体标识处理使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从一个或者多个标识的监视对象标识期望的对象物体。

本发明的有利效果

根据本发明，即使在其中监视范围宽或者拥挤的情况下，仍然可以从监视对象标识在范围中存在不寻常长久时间的对象物体。

附图说明

[图1]它是描绘了根据本发明的对象物体标识设备的一个示例性实施例的结构示例的框图。

[图2]它是描绘了在人标识信息存储单元18中存储的信息的示例的说明图。

[图3]它是描绘了在人信息存储单元19中存储的信息的示例的说明图。

[图4]它是描绘了在人信息存储单元19中存储的信息的另一示例的说明图。

[图5]它是描绘了确定每个监视对象的停留时间的操作的示例的说明图。

[图6]它是描绘了用于指定时间宽度的确定条件的示例的说明图。

[图7]它是描绘了在人信息存储单元19中存储的信息的具体示例的说明图。

[图8]它是描绘了由多个视频获取单元11捕获监视物体的操作的示例的说明图。

[图9]它是描绘了对象物体标识设备的操作的示例的流程图。

[图10]它是示意地描绘了根据本发明的对象物体标识设备的框图。

[图11]它是示意地描绘了根据本发明的对象物体标识设备的另一框图。

具体实施方式

下文参照附图描述了本发明的一个示例性实施例。在以下描述中，使用如下情况作为示例，在该情况中作为监视对象的典型示例的人被监视并且在监视范围中停留不寻常长久时间的任何人被标识为对象物体。然而，监视对象不限于人。例如，监视对象可以是物体，比如汽车。在这一情况下，在监视范围中停放长久时间的任何汽车被标识为对象物体。在本发明中，术语“对象物体”不仅包括物体而且还包括人。

图1是描绘根据本发明的对象物体标识设备的一个示例性实施例的结构示例的框图。在这一示例性实施例中的对象物体标识设备包括视频获取单元11、人标识信息分析单元12、人标识信息管理单元13、长久停留者估计单元14、人标识信息匹配单元15、人信息管理单元16、结果输出单元17、人标识信息存储单元18和人信息存储单元19。

视频获取单元11获取预定监视范围的视频。视频获取单元11还获取视频被获取的时间(下文被称为“成像时间”)。视频获取单元11向人标识信息分析单元12输出监视范围的视频和视频被捕获的时间(即，成像时间)。视频获取单元11例如由成像设备(比如相机)实现。

虽然在图1中作为示例而描绘的对象物体标识设备包括仅一个视频获取单元11，但是视频获取单元11的数目不限于一个，并且可以是两个或者更多个。视频获取单元11的相应成像范围可以相互部分地重叠，并且可以没有相互重叠。在对象物体标识设备包括多个视频获取单元11的情况下，每个视频获取单元11也可以在向人标识信息分析单元12输出获取的视频时输出用于标识视频获取单元11的信息(下文被称为“成像设备标识信息”)。

在这一示例性实施例中，视频获取单元11优选地被安装在待监视的设施中，从而使得可以捕获特别地需要观测的范围。视频获取单元11无需被安装以便捕获设施的整个范围。

人标识信息分析单元12分析在由每个视频获取单元11捕获的视频中示出的监视对象。具体而言，在检测到视频中的监视对象时，人标识信息分析单元12提取如下信息(下文被称为“监视对象成像信息”)，该信息包括监视对象的标识信息(下文被称为“监视对象标识信息”)和监视对象被捕获的成像时间。

根据监视对象的类型预先设置由人标识信息分析单元12提取的监视对象标识信息的内容。作为示例，在其中监视对象是人的情况下，人标识信息分析单元12可以在检测到视频中的人时提取人的脸部图像作为监视对象标识信息。作为另一示例，在其中监视对象是汽车的情况下，人标识信息分析单元12可以在检测到视频中的汽车时提取汽车的牌照图像作为监视对象标识信息。

由人标识信息分析单元12提取的信息不限于脸部图像或者汽车牌照图像。可以提取用于标识监视对象的任何信息。用于标识人的监视对象标识信息可以被称为“人标识信息”。由于广泛地已知从对象图像提取具体标识信息的方法，所以这里省略其具体描述。

在其中从每个视频获取单元11未提供显式成像设备标识信息的情况下，人标识信息分析单元12可以在从每个视频获取单元11接收视频时，根据已经从其接收了视频的视频获取单元11指派成像设备标识信息。

人标识信息管理单元13在人标识信息存储单元18中存储由人标识信息分析单元12分析的信息。人标识信息管理单元13也响应于来自人信息管理单元16的请求而从人标识信息存储单元18提取必需信息并且向人信息管理单元16提供提取的信息。

人标识信息存储单元18存储由人标识信息分析单元12分析的信息。具体而言，人标识信息存储单元18相互关联地存储用于标识个别监视对象成像信息的标识符以及在监视对象成像信息中包括的监视对象标识信息和成像时间。

图2是描绘了在人标识信息存储单元18中存储的信息的示例的说明图。图2描绘了在其中监视对象是人的情况下在人标识信息存储单元18中存储的信息的示例。在图2中描绘的示例中，使用人图像ID作为用于标识监视对象成像信息的标识符，并且使用人标识信息作为监视对象标识信息。如在图2中作为示例而描绘的那样，人标识信息存储单元18也可以存储获取了视频的相机的相机名称(例如，成像设备标识信息)和由人标识信息分析单元12检测到的人图像。

人信息管理单元16在人信息存储单元19中存储由人标识信息匹配单元15匹配的信息。人信息管理单元16也响应于来自长久停留者估计单元14的请求而从人信息存储单元19提取必需信息并且向长久停留者估计单元14提供提取的信息。

人信息存储单元18存储每个标识的监视对象和监视对象的成像时间。图3是描绘了在人信息存储单元19中存储的信息的示例的说明图。图3描绘了在其中监视对象是人的情况下在人信息存储单元19中存储的信息的示例。在图3中描绘的示例中，人信息存储单元19为每条人标识信息(人ID)相互关联地存储已经从其提取了人的监视对象成像信息的标识符(人图像ID)、人的成像计数、人被捕获的最早时间(下文被称为“最早成像时间”)和人被捕获的最晚时间(下文被称为“最晚成像时间”)。

在人信息存储单元19中存储每个标识的监视对象的成像时间的形式不限于在图3中作为示例而描绘的形式。人信息存储单元19可以存储标识的监视对象的每个个别成像时间。图4是描绘了在人信息存储单元19中存储的信息的另一示例的说明图。图4描绘了在其中监视对象也是人的情况下在人信息存储单元19中存储的信息的示例。

在图4中描绘的示例中，人信息存储单元19为每条人标识信息(人ID)相互关联地存储已经从其提取了人的监视对象成像信息的标识符(人图像ID)和成像时间。如在图4中作为示例而描绘的那样，人信息存储单元19也可以与监视对象成像信息的标识符(人图像ID)关联地存储获取了视频的相机的相机名称(例如，成像设备标识信息)和从获取的视频估计的监视对象的概率(可能性)。

人标识信息匹配单元15匹配监视对象标识信息，并且标识被估计为相同的监视对象。例如，在其中监视对象的脸部图像被提取作为监视对象标识信息的情况下，人标识信息匹配单元15可以匹配脸部图像并且标识被估计为相同的人。

具体而言，人标识信息匹配单元15匹配在人标识信息存储单元18中存储的监视对象成像信息中包括的监视对象标识信息与在人信息存储单元19中存储的每个人的监视对象标识信息，并且确定是否相同人被存储在人信息存储单元19中。

假设人标识信息存储单元18存储在图3中作为示例而描绘的信息。在确定相同人被存储在人信息存储单元19中的情况下，人标识信息匹配单元15比较在监视对象成像信息中包括的成像时间与在人信息存储单元19中存储的人的最早成像时间和最晚成像时间。

在其中成像时间早于最早成像时间的情况下，人标识信息匹配单元15请求人信息管理单元16用成像时间更新人的最早成像时间。在其中成像时间晚于最晚成像时间的情况下，人标识信息匹配单元15请求人信息管理单元16用成像时间更新人的最晚成像时间。在其中成像时间晚于或者等于最早成像时间并且早于或者等于最晚成像时间的情况下，人标识信息匹配单元15不执行成像时间更新过程。人标识信息匹配单元15还请求人信息管理单元16将人的成像计数增加1。

在另一方面，在确定相同人未被存储在人信息存储单元19中的情况下，人标识信息匹配单元15请求人信息管理单元16向人信息存储单元19新添加人并且将最早成像时间和最晚成像时间设置成成像时间。人标识信息匹配单元15还请求人信息管理单元16将人的成像计数设置成1。

假设人标识信息存储单元18存储在图4中作为示例而描绘的信息。在其中相同人被存储在人信息存储单元19中的情况下，人标识信息匹配单元15请求人信息管理单元16与被确定为相同的人的人ID关联地在人信息存储单元19中存储将人图像ID和成像时间相互关联的信息。

在另一方面，在确定相同人未被存储在人信息存储单元19中的情况下，人标识信息匹配单元15请求人信息管理单元16指派新人ID并且在人信息存储单元19中存储将人图像ID和成像时间与人ID关联的信息。

在其中人标识信息存储单元18存储在图4中作为示例而描绘的信息的情况下，人标识信息匹配单元15可以请求人信息管理单元16在人信息存储单元19中将捕获视频的相机的相机名称(例如，成像设备标识信息)与成像时间一起存储。

在匹配监视对象标识信息时，人标识信息匹配单元15可以计算被估计为相同的监视对象的概率(可能性)。例如，假设人标识信息匹配单元15为脸部图像执行匹配并且计算出确定人为人A的概率为0.8、确定人为人B的概率为0.3并且确定人为人C的概率为0.2。在这一情况下，人标识信息匹配单元15可以请求人信息管理单元16为已经为其确定了概率的每个人的人ID在人信息存储单元19中存储将人图像ID、成像时间和计算出的概率相互关联的信息。

由于广泛地已知比较图像并且确定它们是否匹配的方法和计算匹配的概率的方法，所以这里省略它们的具体描述。

长久停留者估计单元14使用在被估计为相同的每个监视对象的监视对象成像信息中包括的成像时间来从捕获的监视对象标识期望的对象物体。具体而言，长久停留者估计单元14将如下监视对象标识为对象物体，该监视对象的具有在预定时段中包括的成像时间的监视对象成像信息的频率大于或者等于预定阈值或者该监视对象的在预定时段中的成像时间之间的时间宽度大于或者等于预定时间。预定时段也被称为“分析时间宽度”。

这里提到的“在成像时间之间的时间宽度”意味着在预定时段中选择的任何两个成像时间之间的差值。在这一示例性实施例中，“在成像时间之间的时间宽度”可以被视为在预定时段中捕获的监视对象的成像时间之中的任何成像时间之间的宽度。另外，“具有在预定时段中包括的成像时间的监视对象成像信息的频率”可以被视为监视对象在预定时段中的成像频率。

将满足这样的条件的监视对象标识为对象物体的原因如下。在以下描述中，使用标识车站中的不寻常长久停留者的情况作为示例。然而，经受到标识不寻常长久停留者的处理的位置不限于车站。位置可以例如是其中停留长久时间被确定为不寻常的任何范围，比如建筑物或者商业设施的预定区域。

作为示例，假设罪犯(比如小偷、行李扒手或者性骚扰者)不同于普通旅客而在某个区域中停留不寻常长久时间。换而言之，普通旅客通常从检票口移向站台并且然后乘上火车。在一个方向上移动的这样的旅客被相机捕获仅有限时间并且不大可能被相同相机捕获长久时间。因此，在车站中的给定的区域中停留长久时间的人可以被视为不寻常长久停留者。

作为另一示例，在其中相互远离地安装多个相机的情况下，即使在这些相机捕获对象人花费时间时，他的或者她的行为在移动时间给定时仍然看来寻常。在另一方面，在其中相互接近地安装多个相机的情况下，这些相机捕获对象人花费时间看来不寻常。因此，由相机在相机之间定义的时间宽度内捕获的人可以被视为不寻常长久停留者。

也可以根据由相机捕获的范围的性质来确定不寻常长久停留者。例如，关于会议地点或者附近长凳，即使在人在一个这样的地方停留长久时间时，他的或者她的行为仍然未看来特别地不寻常。然而，在人从一个这样的地方向另一个这样的地方漫步时，他的或者她的行为看来不寻常。因此，被多个相机捕获的频率超过预定值的人也可以被视为不寻常长久停留者。

长久停留者估计单元14估计如以上定义的每个不寻常长久停留者，并且提取看来可疑的人作为灰名单。注意，不寻常长久停留者不限于以上定义的监视对象。例如，在其中在入口和出口处安装相机的情况下，如果人仅由一个相机捕获，则他的或者她的行为看来不寻常，并且因而可以将人定义为不寻常长久停留者。

其在成像时间时间的时间宽度极长的监视对象可能不是不寻常长久停留者。例如，在监视车站中的人的情况下，存在相同人在办公时间大约开始和在办公时间大约结束由相机捕获的可能性。这样的人的移动看来寻常。长久停留者估计单元14可以相应地从对象物体排除其在成像时间之间的时间宽度极长的任何监视对象。为了排除这样的监视对象，可以根据监视对象的性质预先设置适当分析时间宽度。

长久停留者估计单元14可以不仅标识人而且标识物体，比如停放不寻常长久时间的汽车。在这一情况下，停留不寻常长久时间的物体可以被视为不寻常长久停留物体。下文描述如下方法，其中长久停留者估计单元14从监视对象标识不寻常长久停留者或者不寻常长久停留物体作为期望的对象物体。

首先描述如下方法，其中长久停留者估计单元14基于在预定时段中的成像时间之间的时间宽度来标识对象物体。长久停留者估计单元14可以将如下监视对象标识为对象物体：该监视对象在预定时段中的成像时间之间的时间宽度之中的、在最早成像时间与最晚成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。预定阈值下文也被称为“长久停留确定时间”。

这基于其在最早成像时间与最晚成像时间之间的差值(即，最大成像时间间隔)极长的人是不寻常长久停留者这样的假设。

图5是描绘了确定每个监视物体的停留时间的操作的示例的说明图。在图5中描绘的示例中，已经从由两个图像获取单元11a和11b捕获的视频、在时间轴的方向上标识了作为监视对象的人u1至u10。在两个虚线之间的时段是分析时间宽度，并且在长点划线之间的时段是长久停留确定时间。用于标识对象物体的范围(比如3小时或者1天)被称为分析时间宽度，并且用来确定不寻常停留的时间(比如30分钟)被称为长久停留确定时间。

例如，关于被估计为相同人的人u3和u4，在成像时间之间的宽度短于长久停留确定时间。因而，长久停留者估计单元14未将人u3(u4)确定为不寻常长久停留者。同样地，关于被估计为相同人的人u5和u8，尽管图像由不同视频获取单元捕获，但是在成像时间之间的宽度短于长久停留确定时间。因而，长久停留者估计单元14未将人u5(u8)确定为不寻常长久停留者。

在另一方面，关于被估计为相同人的人u2、u6、u7和u9，在最早成像时间与最晚成像时间之间的差值长于长久停留确定时间。因而，长久停留者估计单元14将人u2(u6，u7，u9)确定为不寻常长久停留者。

无论视频获取单元11的数目，如何都可以设置用于指定长久停留确定时间的一个总确定条件。在这一情况下，确定条件是用于确定视频获取单元11被安装在其中的整个设施中的每个监视对象的停留时间的条件。

备选地，可以对于每个视频获取单元11设置用于指定长久停留确定时间的确定条件。在这一情况下，确定条件是用于确定在每个视频获取单元11的成像时间中捕获的每个监视对象的停留时间的条件。

备选地，可以在视频获取单元11之间设置用于指定长久停留确定时间的确定条件。在这一情况下，确定条件是用于当每个监视对象在多个视频获取单元11的成像范围之间被移动时确定在成像范围之间的停留时间的条件。

图6是描绘了用于指定时间宽度的确定条件的示例的说明图。在图6中的示例中描绘了为每个视频获取单元11而设置的时间宽度的阈值和在视频获取单元11之间设置的时间宽度的阈值。在图6中的示例中，在相机1的成像范围中的可接受停留时间是10秒，并且在相机1和相机2的成像范围之间的可接受停留时间是50秒。

接着描述另一种方法，其中长久停留者估计单元14基于在预定时段中的成像时间之间的时间宽度标识对象物体。长久停留者估计单元14可以将如下监视对象标识为对象物体：该监视对象的在预定时段中的成像时间之间的时间宽度之中的、在连续成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。这基于其在不同视频获取单元11的成像时间之间的时间宽度极长的人是不寻常长久停留者这样的假设。

无论视频获取单元11的数目如何，都可以设置用于指定在连续成像时间之间的时间宽度的条件的一个总确定条件。在这一情况下，确定条件是用于确定视频获取单元11被安装在其中的设施中的每个监视物体的移动时间的条件。

备选地，可以对于每个视频获取单元11设置用于指定在连续成像时间之间的时间宽度的条件的确定条件。在这一情况下，确定条件是用于根据每个视频获取单元11的成像范围的性质确定每个监视对象的可接受停留时间的条件。

备选地，可以在视频获取单元11之间设置用于指定在连续成像时间之间的时间宽度的条件的确定条件。在这一情况下，确定条件是用于确定在多个视频获取单元11的成像范围之间的每个监视对象的移动时间的条件。例如，在其中相互临近安装的视频获取单元11的成像时间之间的时间宽度极长的情况下，人看来是不寻常长久停留者。

下文参照图6和图7描述了一种基于用于指定在连续成像时间之间的时间宽度的条件的确定条件标识对象物体的方法。图7是描绘了在人信息存储单元19中存储的信息的具体示例的说明图。这里，三个视频获取单元11被称为相机1、相机2和相机3。考虑如下情况，在该情况下已经将在图6中作为示例而被描绘的条件设置为用于指定时间宽度的确定条件。

假设相机1在00：00：00捕获了由人图像ID1标识的视频，并且然后相机2在00：00：30捕获了由人图像ID2标识的视频。在图6中描绘的示例中，被设置为在相机1与相机2之间的时间宽度的条件是50秒。由于在两个成像时间之间的差值是30秒，所以长久停留者估计单元14未将监视对象标识为对象物体。

另外，假设相机3在00：00：45捕获了由人图像ID3标识的视频。在图6中描绘的示例中，被设置为在相机2与相机3之间的时间宽度的条件是40秒。由于在两个成像时间之间的差值是15秒，所以长久停留者估计单元14未将监视对象标识为对象物体。

在另一方面，假设相机在00：02：00捕获了由人图像ID3标识的视频。由于在两个成像时间之间的差值是90秒，所以长久停留者估计单元14将监视对象标识为对象物体。

虽然上文描述了其中预先设置用于指定长久停留确定时间的条件的确定条件的情况，但是可以基于未被标识为对象物体的监视对象的成像时间来自动地生成确定条件。

下文描述了确定条件生成方法的示例。人信息管理单元16可以保持关于其停留时间短于长久停留确定时间的每个监视对象的停留时间的统计以计算长久停留确定时间。

具体而言，人信息管理单元16可以从经受到统计的每个监视对象的信息计算最大成像时间间隔或者在视频获取单元11之间的时间间隔中的停留时间均值，并且计算作为停留时间均值的恒定倍数(例如，双倍)的时间作为长久停留确定时间。

作为备选，人信息管理单元16可以从经受到统计的每个监视对象的信息计算最大成像时间间隔或者在视频获取单元11之间的时间间隔中的停留时间均值和方差，并且计算预定比例(例如，5％)的人在其中被确定为长久停留者的时间间隔的阈值作为长久停留确定时间。

计算长久停留确定时间的方法不限于这些方法。例如，可以测量由一个视频获取单元11捕获的视频中的每个监视对象的移动速度，其中基于移动速度和在视频获取单元11之间的距离来计算长久停留确定时间。

以这一方式动态地计算长久停留确定时间实现根据实际情形使用适当确定条件，其结果是可以从监视对象更适当地标识对象物体。

接着描述了如下方法，其中长久停留者估计单元14基于在预定时段中的每个监视对象的成像频率来标识对象物体。长久停留者估计单元14可以将如下监视对象标识为对象物体：该监视对象的具有在预定时段中包括的成像时间的监视对象成像信息的频率大于或者等于预定阈值。这基于极频繁地捕获的监视对象是不寻常长久停留者这样的假设。

图8是描绘了由多个视频获取单元11捕获监视对象的操作的示例的说明图。在图8中描绘的示例中，视频获取单元11a、11b、11c和11d分别捕获区域A、B、C和D。

当从捕获的视频检测到任何人时，提取和在人标识信息存储单元18中存储每个人的人标识信息。在图8中描绘的示例中，在区域A、B、C和D中的每个区域的视频中捕获人u11。因而，在人标识信息存储单元18中登记涉及人u11的人标识信息的四个条目。基于这一登记频率，长久停留者估计单元14从监视对象人标识人u11作为对象物体。结果输出单元17向例如输出结果存储单元20输出标识的对象物体。

无论视频获取单元11的数目如何，都可以设置用于指定频率的条件的一个总确定条件。在这一情况下，确定条件是用于确定视频获取单元11被安装在其中的整个设施中的每个监视对象的成像频率的条件。

备选地，可以对于每个视频获取单元11设置用于指定频率的条件的确定条件。在这一情况下，确定条件是用于确定每个视频获取单元11的成像范围中的每个监视对象的成像频率的条件。

备选地，可以对于每组任何视频获取单元11设置用于指定频率的条件的确定条件。在这一情况下，确定条件是用于确定属于该组的视频获取单元11的成像范围中的每个监视物体的成像频率的条件。

例如，在其中在一个会议地点中多次捕获到监视对象的情况下，监视对象未看来是不寻常长久停留者。然而，在其中在多个会议地点中多次捕获到监视对象的情况下，监视对象看来是不寻常长久停留者。可以通过设置与被分组在一起的任何视频获取单元11有关的条件来标识这样的不寻常长久停留者。

在其中人标识信息匹配单元15计算被估计为相同的监视对象的概率(可能性)的情况下，长久停留者估计单元14可以使用基于可能性而被计算出的频率来标识对象物体。例如，假设在人信息存储单元19中登记了监视对象的两个信息条目。在其中监视对象的可能性在每个条目中是0.5的情况下，长久停留者估计单元14可以确定频率为1(＝0.5×2)，并且标识对象物体。

在其中人标识信息匹配单元15计算可能性的情况下，长久停留者估计单元14可以仅对具有大于或者等于预定值的可能性的监视对象成像信息执行估计处理。这在长久停留者估计单元14基于在预定时段中的成像时间之间的时间宽度标识对象物体时同样地适用。具体而言，长久停留者估计单元14可以对于监视对象计算在具有大于或者等于预定值的可能性的监视对象成像信息中包括的成像时间之间的时间宽度。

长久停留者估计单元14生成标识的对象物体的图像、成像设备标识信息、成像时间等的列表，并且向结果输出单元17提供该列表。

结果输出单元17通过给定的方法输出标识的对象物体。例如，结果输出单元17可以在输出结果存储单元20中存储输出结果。结果输出单元17也可以从在输出结果存储单元20中存储的信息提取在不同时间或者不同日子中提取的公共监视对象。由于特别地需要观测这样的对象物体，所以结果输出单元17可以例如输出作为惯常不寻常长久停留者的人的信息。

人标识信息分析单元12、人标识信息管理单元13、长久停留者估计单元14、人标识信息匹配单元15、人信息管理单元16和结果输出单元17例如由根据程序(对象物体标识程序)操作的计算机的CPU实现。例如，程序可以被存储在对象物体标识设备中的存储单元(未描绘)中，其中CPU读取程序并且根据程序作为人标识信息分析单元12、人标识信息管理单元13、长久停留者估计单元14、人标识信息匹配单元15、人信息管理单元16和结果输出单元17操作。

备选地，人标识信息分析单元12、人标识信息管理单元13、长久停留者估计单元14、人标识信息匹配单元15、人信息管理单元16和结果输出单元17可以各自由专用硬件实现。人标识信息存储单元18和人信息存储单元19例如由磁盘等实现。

下文描述了这一示例性实施例中的对象物体标识设备的操作。图9是描绘了这一示例性实施例中的对象物体标识设备的操作的示例的流程图。

首先，视频获取单元11获取它的成像范围的视频(步骤S11)，并且向人标识信息分析单元12输出捕获的视频。在从接收的视频检测到监视对象时，人标识信息分析单元12提取监视对象的标识信息(步骤S12)，并且在人标识信息存储单元18中存储提取的监视对象标识信息(步骤S13)。

人标识信息匹配单元15匹配在人标识信息存储单元18中存储的监视对象标识信息与在人信息存储单元19中存储的每个监视对象的监视对象标识信息(步骤S14)。在其中发现了相同监视对象(步骤S15：是)的情况下，人信息管理单元16更新监视对象的成像时间(步骤S16)。在另一方面，在其中未发现相同监视对象(步骤S15：否)的情况下，人信息管理单元16在人信息存储单元19中将监视对象作为新监视对象与成像时间一起存储(步骤S17)。

长久停留者估计单元14使用在标识的相同人的监视对象成像信息中包括的成像时间来从监视对象标识期望的对象物体(步骤S18)。长久停留者估计单元14基于在成像时间之间的宽度或者成像时间的频率来标识对象物体。结果输出单元17输出标识的对象物体(步骤S19)。

如以上描述的那样，根据这一示例性实施例，人标识信息分析单元12分析在视频中示出的监视对象，并且提取包括监视对象标识信息和成像时间的对应监视对象成像信息。人标识信息匹配单元15匹配监视对象标识信息，并且标识被估计为相同的监视对象。长久停留者估计单元14使用在每个标识的监视对象的监视对象成像信息中包括的成像时间来从监视对象标识期望的对象物体。

例如，长久停留者估计单元14将如下监视对象标识为对象物体：该监视对象的具有在预定时段中包括的成像时间的监视对象成像信息的频率大于或者等于预定阈值或者该监视对象的在预定时段中的成像时间之间的时间宽度大于或者等于预定时间。以这一方式，即使在其中监视范围宽或者拥挤的情况下，仍然可以从监视对象标识在范围中存在不寻常长久时间的对象物体。

例如，假设在车站中使用这一示例性实施例中的对象物体标识设备。首先，人标识信息分析单元12从由在车站中安装的一个或者多个视频获取单元11捕获的视频获取用于标识脸部或者人的信息。人标识信息匹配单元15匹配用于标识人的信息与在不同时间种或者由多个相机获取的信息，以计算相同人的成像的时间宽度或者频率。因此，即使在其中未预先提供任何可疑人的信息的情况下，仍然可疑对于每个监视对象生成成像时间的列表。

长久停留者估计单元14使用时间宽度、频率等来发现设施中的与普通用户不同的不寻常长久停留者。因而无需安装相机以覆盖整个监视对象区域，并且即使在其中在拥挤情形中不能捕获监视对象的部分的情况下，仍然可以从其它成像时间标识监视对象。

下文给出了本发明的概述。图10是示意地描绘了根据本发明的对象物体标识设备的框图。根据本发明的对象物体标识设备包括：监视对象匹配装置71(例如，人标识信息匹配单元15)，其匹配在由一个或者多个成像设备(例如，视频获取单元11)捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及对象物体标识装置72(例如，长久停留者估计单元14)，其使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从一个或者多个标识的监视对象标识期望的对象物体。

利用这样的结构，即使在其中监视范围宽或者拥挤的情况下，仍然可以从监视对象标识在范围中存在不寻常长久时间的对象物体。

对象物体标识装置72可以将如下标识的监视对象标识为对象物体：该标识的监视对象的在预定时段(例如，分析时间宽度)中的成像时间的频率大于或者等于预定频率或者该标识的监视对象的在预定时段中的成像时间之间的时间宽度大于或者等于预定时间(例如，长久停留确定时间)。

对象物体标识装置72可以将如下标识的监视对象标识为对象物体：该标识的监视对象的在预定时段中的成像时间之间的时间宽度之中的、在最早成像时间与最晚成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值(例如，长久停留确定时间)。

对象物体标识装置72可以基于用于为每个成像设备指定在最早成像时间与最晚成像时间之间的时间宽度的条件的确定条件(例如，在图6中描绘的确定条件)来标识对象物体。

对象物体标识设备可以包括：确定条件生成装置(例如，人信息管理单元16)，其基于未被标识为对象物体的监视对象的成像时间来生成用于指定在最早成像时间与最晚成像时间之间的时间宽度的条件的确定条件。以这一方式动态地计算确定条件实现根据实际情形使用适当确定条件，其结果是可以从监视对象更适当地标识对象物体。

对象物体标识装置72可以将如下标识的监视对象标识为对象物体：该标识的监视对象在预定时段中的成像时间之间的时间宽度之中的、在连续成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。

对象物体标识装置72可以将如下标识的监视对象标识为对象物体：该标识的监视对象的在连续成像时间之间的时间宽度满足在成像设备之间的确定条件。

对象物体标识装置72可以基于用于为每个成像设备指定在预定时段中包括的标识的监视对象的成像时间的频率的确定条件来标识对象物体。

对象物体标识装置72可以基于用于为每个预定成像设备组指定在预定时段中包括的标识的监视对象的成像时间的频率的确定条件来标识对象物体。

监视对象匹配装置71可以计算被估计为相同监视对象的监视对象的可能性，并且对象物体标识装置72可以基于以可能性为基础而被计算出的频率来标识对象物体。

监视对象匹配装置71可以匹配从由一个或者多个成像设备捕获的视频提取的脸部图像，并且标识被估计为相同人的监视对象。

监视对象匹配装置71可以在匹配在视频中示出的监视对象之前提取用于标识每个监视对象的信息(监视对象标识信息)。具体而言，监视对象匹配装置71可以执行由示例性实施例中的人标识信息分析单元12执行的处理。然而，在其中可以匹配监视对象而未使用监视对象标识信息的情况下，未必需要用于监视对象标识信息的提取处理。下文描述了一种包括用于提取监视对象标识信息的结构的对象物体标识设备。

图11是示意地描绘了根据本发明的对象物体标识设备的另一框图。根据本发明的对象物体标识设备包括：监视对象成像信息分析装置81(例如，人标识信息分析单元12)，其分析在由一个或者多个成像设备(例如，视频获取单元11)捕获的视频中示出的监视对象(例如，人、汽车)，并且提取监视对象成像信息，该监视对象成像信息包括用于标识每个监视对象的监视对象标识信息(例如，脸部图像、汽车牌照)和监视对象被捕获的成像时间；监视对象匹配装置82(例如，人标识信息匹配单元15)，其匹配监视对象标识信息，并且标识被估计为相同监视对象的监视对象；以及对象物体标识装置83(例如，长久停留者估计单元14)，其使用在每个标识的监视对象的监视对象成像信息中包括的成像时间来从捕获的监视对象标识期望的对象物体(例如，不寻常长久停留者)。

利用这样的结构，即使也在其中监视范围宽或者拥挤的情况下，也可以从监视对象标识在范围中存在不寻常长久时间的对象物体。

对象物体标识装置83可以将如下监视对象标识为对象物体：该监视对象的具有在预定时段(例如，分析时间宽度)中包括的成像时间的监视对象成像信息的频率大于或者等于预定阈值或者该监视对象的在预定时段中的成像时间之间的时间宽度大于或者等于预定时间(例如，长久停留确定时间)。

具体而言，对象物体标识装置83可以将如下监视对象标识为对象物体：该监视对象的在预定时段中的成像时间之间的时间宽度之中的、在最早成像时间与最晚成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值(例如，长久停留确定时间)。

监视对象成像信息分析装置81可以提取监视对象成像信息，该监视对象成像信息包括用于标识捕获了监视对象的成像设备的成像设备标识信息。这里，对象物体标识装置83可以基于用于为每个成像设备指定在最早成像时间与最晚成像时间之间的时间宽度的条件的确定条件(例如，在图6中描绘的确定条件)来标识对象物体。

对象物体标识设备可以包括：确定条件生成装置(例如，人信息管理单元16)，其基于未被标识为对象物体的监视对象的成像时间来生成用于指定在最早成像时间与最晚成像时间之间的时间宽度的条件的确定条件。

对象物体标识装置83可以将如下监视对象标识为对象物体：该监视对象的在预定时段中的成像时间之间的时间宽度之中的、在连续成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。

监视对象成像信息分析装置81可以提取监视对象成像信息，该监视对象成像信息包括用于标识捕获了监视对象的成像设备的成像设备标识信息。对象物体标识装置83可以将如下监视对象标识为对象物体：该监视对象的在监视对象成像信息中的连续成像时间之间的时间宽度满足在成像设备之间的确定条件。

监视对象成像信息分析装置81可以提取监视对象成像信息，该监视对象成像信息包括用于标识捕获了监视对象的成像设备的成像设备标识信息。对象物体标识装置83可以基于用于为每个成像设备指定具有在预定时段中包括的成像时间的监视对象成像信息的频率的条件的确定条件来标识对象物体。

对象物体标识装置83可以基于用于为每个预定成像设备组指定具有在预定时段中包括的成像时间的监视对象成像信息的频率的条件的确定条件来标识对象物体。

监视对象匹配装置82可以计算被估计为相同监视对象的监视对象的可能性(概率)。对象物体标识装置83可以使用基于可能性而被计算出的频率来标识对象物体。

监视对象成像信息分析装置81可以提取每个监视对象的脸部图像作为监视对象标识信息。监视对象匹配装置82可以匹配脸部图像，并且标识被估计为相同人的监视对象。利用这样的结构，可以标识在监视范围中停留不寻常长久时间的人。

虽然已经参照前述示例性实施例和示例描述了本发明，但是本发明不限于前述示例性实施例和示例。可以对本发明的结构和细节进行本领域技术人员在本发明的范围内可理解的各种改变。

本申请要求基于将其公开内容完全结合于此、提交于2013年3月29日的第2013-072178号日本专利申请的优先权。

工业实用性

本发明适合用于例如在视频分析系统中使用，该视频分析系统用于由一个或者多个监控相机捕获具体设施中的人并且分析捕获的视频以自动地发现任何长久停留者。

标号列表

11、11a至11d视频获取单元

12人标识信息分析单元

13人标识信息管理单元

14长久停留者估计单元

15人标识信息匹配单元

16人信息管理单元

17结果输出单元

18人标识信息存储单元

19人信息存储单元

20输出结果存储单元

u1至u11人

Claims (15)

1.一种对象物体标识设备，包括：

监视对象匹配装置，所述监视对象匹配装置匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及

对象物体标识装置，所述对象物体标识装置使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从所述一个或者多个标识的监视对象标识期望的对象物体。

2.根据权利要求1所述的对象物体标识设备，其中所述对象物体标识装置将如下标识的监视对象标识为所述对象物体：所述标识的监视对象的在预定时段中的成像时间的频率大于或者等于预定频率，或者所述标识的监视对象的在所述预定时段中的成像时间之间的时间宽度大于或者等于预定时间。

3.根据权利要求1或者2所述的对象物体标识设备，其中所述对象物体标识装置将如下标识的监视对象标识为所述对象物体：所述标识的监视对象的在预定时段中的成像时间之间的时间宽度之中的、在最早成像时间与最晚成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。

4.根据权利要求3所述的对象物体标识设备，其中所述对象物体标识装置基于用于为每个成像设备指定在所述最早成像时间与所述最晚成像时间之间的所述时间宽度的条件的所述确定条件，来标识所述对象物体。

5.根据权利要求3或者4所述的对象物体标识设备，包括：

确定条件生成装置，所述确定条件生成装置基于未被标识为所述对象物体的监视对象的成像时间，来生成用于指定在所述最早成像时间与所述最晚成像时间之间的所述时间宽度的条件的所述确定条件。

6.根据权利要求1或者2所述的对象物体标识设备，其中所述对象物体标识装置将如下标识的监视对象标识为所述对象物体：所述标识的监视对象的在预定时段中的成像时间之间的时间宽度之中的、在连续成像时间之间的时间宽度大于或者等于由确定条件指定的预定阈值。

7.根据权利要求6所述的对象物体标识设备，其中所述对象物体标识装置将所述标识的监视对象标识为所述对象物体：所述标识的监视对象的在所述连续成像时间之间的时间宽度满足在成像设备之间的所述确定条件。

8.根据权利要求1或者2所述的对象物体标识设备，其中所述对象物体标识装置基于用于为每个成像设备指定在预定时段中包括的、标识的监视对象的成像时间的频率的确定条件，来标识所述对象物体。

9.根据权利要求8所述的对象物体标识设备，其中所述对象物体标识装置基于用于为每个预定成像设备组指定在所述预定时段中包括的、所述标识的监视对象的所述成像时间的所述频率的确定条件，来标识所述对象物体。

10.根据权利要求8或者9所述的对象物体标识设备，其中所述监视对象匹配装置计算被估计为相同监视对象的所述监视对象的可能性，并且

其中所述对象物体标识装置基于以所述可能性为基础而计算出的频率来标识所述对象物体。

11.根据权利要求1至10中的任一权利要求所述的对象物体标识设备，其中所述监视对象匹配装置匹配从由所述一个或者多个成像设备捕获的所述视频提取的脸部图像，并且标识被估计为相同人的监视对象。

12.一种对象物体标识方法，包括：

匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及

使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从所述一个或者多个标识的监视对象标识期望的对象物体。

13.根据权利要求12所述的对象物体标识方法，其中如下标识的监视对象被标识为所述对象物体：所述标识的监视对象的在预定时段中的成像时间的频率大于或者等于预定频率，或者所述标识的监视对象的在所述预定时段中的成像时间之间的时间宽度大于或者等于预定时间。

14.一种对象物体标识程序，用于使得计算机执行：

监视对象匹配处理，所述监视对象匹配处理匹配在由一个或者多个成像设备捕获的视频中示出的监视对象，并且将被估计为相同监视对象的监视对象标识为标识的监视对象；以及

对象物体标识处理，所述对象物体标识处理使用一个或者多个标识的监视对象中的每个标识的监视对象的成像时间，从所述一个或者多个标识的监视对象标识期望的对象物体。

15.根据权利要求14所述的对象物体标识程序，使得所述计算机在所述对象物体标识处理中将如下标识的监视对象标识为所述对象物体：所述标识的监视对象的在预定时段中的成像时间的频率大于或者等于预定频率，或者所述标识的监视对象的在所述预定时段中的成像时间之间的时间宽度大于或者等于预定时间。