CN102119343A - 对象检测装置和对象检测方法 - Google Patents

Abstract

公开了即使在短时间内开始接收了多个识别符时，或者在接收到的识别符的数多于检测出的位置历史的数时，也能够进行拍摄图像内的移动物体和识别符的对应关联的对象检测装置。该装置(100)包括：特征信息提取单元(103)，提取拍摄图像中拍摄到的至少一个移动物体的特征信息；读取单元(104)，读取移动物体保持的无线终端的识别符；历史管理单元(105)，使特征信息和识别符每个时刻关联对应保存；以及对应关联单元(106)，基于历史管理单元(105)中保存的特征信息间的相似度、以及特征信息和识别符之间的关联对应，使历史管理单元(105)中保存的特征信息和识别符对应关联。

Description

对象检测装置和对象检测方法

技术领域

本发明涉及使拍摄图像内检测出的人物等的移动物体和无线终端的识别符对应关联的对象检测装置和对象检测方法。

背景技术

以往，作为在入口不明确而不存在出入口的开放空间等的空间中，使拍摄到的人物等的移动物体和该移动物体保持的无线终端的识别符对应关联的方法，已知有专利文献1中公开的技术。

在以往的移动物体检测系统中，在移动物体的位置的检测开始时刻和无线终端的识别符的接收开始时刻之差在规定时间内时，使移动物体的位置历史(以下，适当地称为“位置历史”)和无线终端的识别符(以下，适当地称为“识别符”)对应关联。位置历史是指，由摄像机等拍摄到的移动物体的位置和其检测开始时刻的历史。

另外，在从识别符的接收开始时刻起规定时间内存在多个开始检测了的位置历史时，以往的移动物体检测系统使检测开始时刻最接近于识别符的接收开始时刻的位置历史与识别符对应关联。

例如，如图1所示，假设以往的移动物体检测系统获取两个位置历史P1和P2、以及一个识别符ID1。此时，以往的移动物体检测系统计算各个位置历史的检测开始时刻T_P1和T_P2与识别符的接收开始时刻T_ID1之差|T_P1-T_ID1|和|T_P2-T_ID1|。在图1的例子中，为|T_P1-T_ID1|＞|T_P2-T_ID1|，所以以往的移动物体检测系统使位置历史P2与识别符T1对应关联。

现有技术文献

专利文献

专利文献1：特开2006-98214号公报

发明内容

发明需要解决的问题

然而，以往的移动物体检测系统，仅以时间差为基准进行对应关联，所以在以下的(1)和(2)时，无法准确地进行对应关联。

(1)在短时间内开始接收了多个识别符时

在多个移动物体保持近距离而移动时，各个移动物体的检测开始时刻和各个移动物体所保持的无线终端的识别符的接收开始时刻，分别几乎为同时(误差的范围内)。

例如，为两个移动物体A和B保持近距离而移动的情况。如图2所示，两个位置历史P1和P2的检测开始时刻T_p1和T_p2、与两个识别符ID1和ID2的接收开始时刻T_ID1和T_ID2，分别几乎为同时。这样，在存在接收开始时刻为同时的多个识别符时，以往的移动物体检测系统无法使位置历史与识别符对应关联。

(2)接收到的识别符的数多于检测出的位置历史的数时

例如，存在移动物体的位置的检测范围和识别符的接收范围不同的情况。因此，例如，存在以下情况，即：在两个移动物体A和B中，移动物体A在位置检测范围外但在识别符接收范围内的区域移动，移动物体B在位置检测范围和识别符接收范围的双方的范围内的区域移动。

此时，如图3所示，获取一个位置历史P1、以及两个识别符ID1和ID2。以往的移动物体检测系统在两个识别符ID1和ID2的接收开始时刻T_ID1和T_ID2的两个时刻中都无法进行对应关联。其理由为，因为位置历史P1的检测开始时刻T_p1最近，所以无法判别应使位置历史P1与哪一个识别符对应关联。

这样，在以往技术中，存在以下问题，即：在短时间内开始接收了多个识别符时，或者在接收到的识别符的数多于检测出的位置历史的数时，无法进行拍摄图像内的移动物体和识别符的对应关联。

本发明的目的在于，提供即使在短时间内开始接收了多个识别符时，或者在接收到的识别符的数多于检测出的位置历史的数时，也能够进行拍摄图像内的移动物体和识别符的对应关联的对象检测装置和对象检测方法。

解决问题的方案

本发明的对象检测装置所采用的结构包括：特征信息提取单元，提取拍摄图像中拍摄到的至少一个移动物体的特征信息；读取单元，读取所述移动物体保持的无线终端的识别符；历史管理单元，使所述特征信息和所述识别符每个时刻关联对应保存；以及对应关联单元，基于所述特征信息间的相似度、以及所述特征信息和所述识别符之间的所述关联对应，使所述历史管理单元中保存的所述特征信息和所述识别符对应关联。

本发明的对象检测方法包括以下步骤：特征信息提取步骤，提取拍摄图像中拍摄到的至少一个移动物体的特征信息；读取步骤，读取所述移动物体保持的无线终端的识别符；历史管理步骤，使所述特征信息和所述识别符每个时刻关联对应保存在存储器中；以及对应关联步骤，基于所述存储器中保存的特征信息间的相似度、以及所述特征信息和所述识别符之间的所述关联对应，使所述存储器中保存的所述特征信息和所述识别符对应关联。

发明的效果

根据本发明，通过基于特征信息间的相似度，求与特征信息对应的识别符，从而即使在短时间内开始接收了多个识别符时，或者在接收到的识别符的数多于检测出的位置历史的数时，也能够容易进行拍摄图像内的移动物体和识别符的对应关联。

附图说明

图1是用于说明以往技术的位置历史和识别符的对应关联的图。

图2是用于说明以往技术中的问题的图。

图3是用于说明以往技术中的问题的图。

图4是表示本发明实施方式1的对象检测装置的结构的方框图。

图5是表示包含本发明实施方式1的对象检测装置的系统结构的图。

图6是表示一例本发明实施方式1的历史管理单元所管理的历史信息的图。

图7是表示本发明实施方式1的对应关联单元的动作步骤的流程图。

图8是用于说明本发明实施方式1的归类的图。

图9是表示一例本发明实施方式1的历史管理单元所管理的历史信息的图。

图10是表示一例本发明实施方式1的显示图像的图。

图11是表示本发明实施方式1的对象检测装置的结构的方框图。

图12是表示本发明实施方式1的对象检测装置的结构的方框图。

图13是表示一例本发明实施方式1的历史管理单元所管理的历史信息的图。

图14是表示本发明实施方式2的对象检测装置的结构的方框图。

图15是表示本发明实施方式2的对应关联单元的动作步骤的流程图。

图16是表示一例本发明实施方式2的显示图像的图。

图17是表示本发明实施方式3的对象检测装置的结构的方框图。

图18是表示本发明实施方式3的对象检测装置的结构的方框图。

图19是表示包含本发明实施方式3的对象检测装置的系统结构的图。

图20是表示一例本发明实施方式3的历史管理单元所管理的历史信息的图。

标号说明

100、300、400、500对象检测装置

101、1001、1003拍摄单元

102人物截出单元

103特征信息提取单元

104、1011、1013读取单元

105历史管理单元

106、306对应关联单元

107异常输出单元

108图像存储单元

109显示单元

151、351对应关联判定单元

152归类单元

153相似度计算单元

154类对应关联单元

155类数决定单元

156相似度加权单元

352相近特征信息追加单元

具体实施方式

以下，参照附图详细地说明本发明的各个实施方式。另外，在各个实施方式中，说明移动物体是人物的情况。另外，各个人物保持能够通过无线发送固有的识别符的无线终端。无线终端是RFID(Radio FrequencyIdentification，射频识别)、非接触IC卡、无线标签、蓝牙(Bluetooth)(注册商标)、无线LAN(local area network，局域网)和毫米波标签等。

(实施方式1)

图4是表示本发明实施方式1的对象检测装置的结构的方框图。图5是表示包含本发明实施方式1的对象检测装置的系统结构的图。

对象检测装置100主要包括：拍摄单元101、人物截出单元102、特征信息提取单元103、读取单元104、历史管理单元105、对应关联单元106、异常输出单元107、图像存储单元108、以及显示单元109。另外，对应关联单元106具有：对应关联判定单元151、归类单元152、相似度计算单元153、以及类对应关联单元154。

拍摄单元101使用摄像机拍摄规定的区域，并将拍摄图像输出到人物截出单元102、特征信息提取单元103和图像存储单元108。

人物截出单元102以规定的定时，在从拍摄单元101输出的拍摄图像中检测拍摄到人物201的区域(以下，称为“人物区域”)。然后，在拍摄图像中拍摄到的人物201的数增加或减少了时，人物截出单元102将表示该增加或减少的信息通知给读取单元104。另外，人物截出单元102将表示人物区域的位置的信息输出到特征信息提取单元103。另外，通过使用现有的方法，实现人物区域的检测。例如，人物截出单元102使用输入的拍摄图像，基于先前帧的图像信息(背景信息)和当前帧的图像信息之间的差分，检测人物区域。

特征信息提取单元103参照从人物截出单元102输出的信息，提取从拍摄单元101输出的拍摄图像中拍摄到的人物201的所有特征信息，并将提取出的特征信息输出到历史管理单元105。作为特征信息的表示方法，例如有使用了颜色特征量或亮度梯度特征量等的N维数据。在图像识别的领域中，一般而言，将对有数百维构成的特征矢量进行主成分分析而缩减到百维左右的矢量用作特征信息。但是，在本实施方式中，假设特征矢量为二维(例如，对N维矢量进行主成分分析所得的第1主成分和第2主成分)进行说明。特征信息是例如表示人物的脸部的特征的特征信息，或者表示人物的形状的特征的特征信息。

读取单元104具有接收天线，并以来自人物截出单元102的通知的定时，接收从人物201保持的无线终端202发送的电波。来自人物截出单元102的通知是指，如上所述，表示拍摄图像中拍摄到的人物201的数增加或减少的信息的通知。此时，读取单元104也可以接收来自人物截出单元102的通知后，对无线终端202查询识别符。具体而言，读取单元104对无线终端202发送查询信号，接收由无线终端202发送的电波作为对于该查询信号的响应，并读取被重叠在接收到的电波上的识别符即可。读取单元104将获取的所有识别符输出到历史管理单元105。另外，如图5所示，例如，读取单元104的接收范围203被设定为等于或大于拍摄单元101的拍摄范围204。

历史管理单元105输入由特征信息提取单元103提取的特征信息、以及由读取单元104读取的识别符，使特征信息和识别符每个时刻对应关联，并将其作为历史信息进行管理。

对应关联单元106进行历史管理单元105中作为历史信息被管理的特征信息和识别符的对应关联。然后，对应关联单元106将表示对应关联的结果的信息输出到显示单元109。

在对应关联单元106判断为异常时，异常输出单元107将表示该结果的信息输出到显示单元109。

图像存储单元108对从拍摄单元101输出的拍摄图像赋予时刻信息而存储。显示单元109以重叠了与拍摄图像内拍摄到的人物的特征信息对应的识别符的状态，显示图像存储单元108中存储的拍摄图像。另外，在从异常输出单元107输入了表示异常的信息时，显示单元109也可以将该表示异常的信息重叠显示在拍摄图像上。

对应关联判定单元151判定是否能够使历史信息的特征信息和识别符一对一地对应关联。

具体而言，在规定的时刻中历史信息的特征信息的数和识别符的数分别为一个时，对应关联判定单元151使特征信息和识别符一对一地对应关联。另一方面，在规定的时刻中历史信息的特征信息的数或识别符的数的至少一方为多个时，对应关联判定单元151判定为无法使特征信息和识别符一对一地对应关联。另外，对应关联判定单元151对归类单元152发出触发，以使其进行归类处理。另外，在先前的归类处理(分类为部分集合的处理)中，获得了对象的特征信息的对应关联时，对应关联判定单元151也可以利用该结果，使特征信息和识别符一对一地对应关联。

另外，在类对应关联单元154中，使类和识别符一对一地对应关联时，对应关联判定单元151基于该结果，使特征信息和识别符对应关联。

然后，对应关联判定单元151将表示对应关联的结果的信息输出到显示单元109。

归类单元152在从对应关联判定单元151接受触发后，输入由历史管理单元105管理的历史信息的特征信息，并基于特征信息的相似度进行归类。另外，在后面叙述归类单元152的具体的处理。

相似度计算单元153在归类单元152进行归类时，计算特征信息之间的相似度。在本实施方式中，使用矢量间距离作为相似度。另外，在本发明中，对相似度的计算方法并无特别限定。

类对应关联单元154进行由归类单元152生成的类和识别符的对应关联。然后，在使类和识别符一对一地对应关联时，类对应关联单元154将表示该结果的信息输出到判定单元151。另一方面，在没有使类和识别符一对一地对应关联时，类对应关联单元154将表示该结果的信息输出到异常输出单元107。

接着，使用图6的例子，具体说明对应关联单元106进行历史管理单元105中管理的特征信息和识别符的对应关联的处理。图6是表示一例历史管理单元105中管理的历史信息的图。

在本例子中，假设在时刻t1中，检测出两位人物，各个人物的特征信息为(100、10)和(15、150)，此时探测出的无线终端的识别符为ID11和ID22。另外，假设在时刻t2中，检测出两位人物，各个人物的特征信息为(95、15)和(80、90)，此时探测出的无线终端的识别符为ID22和ID33。

在同一时刻探测出多个人物的特征信息和识别符时，对应关联单元106无法仅通过该时刻中的历史信息，使特征信息和识别符对应关联。因此，在图6的情况下，对应关联单元106使用时刻t1和时刻t2的双方的历史信息，根据图7所示的动作步骤，进行特征信息和识别符的对应关联。图7是表示本实施方式的对应关联单元106的动作步骤的流程图。

步骤11：将特征信息进行归类。

归类单元152将由相似度计算单元153计算出的矢量间距离短于规定的阈值的特征信息进行归类，以使其分类为同一类。另外，在本实施方式中，使用将在一定的阈值以下的距离的特征信息分类为一个类的方法，但在本发明中，归类的方法并不限于该方法。作为其他的归类的方法，已知最短距离法等的分层方法或聚类(k-means)法等的划分优化方法。

在本例子中，如图8所示，时刻t1中的特征信息(100、10)和时刻t2中的特征信息(95、15)的矢量间距离短于规定的阈值。因此，归类单元152将这些特征信息分类为类1。另外，归类单元152将时刻t1中的特征信息(15、150)分类为类2，将时刻t2中的特征信息(80、90)分类为类3。

步骤12：生成逻辑式。

类对应关联单元154将类作为变量，生成表示各个类和各个时刻中的识别符的分配状况的逻辑式。

在本例子中，类对应关联单元154从下式(1)生成式(4)。

时刻t1中的特征信息(100、10)属于类1，有可能是ID11和ID22。能够将其表示为下式(1)。

类1＝{ID11、ID22}...(1)

另外，时刻t1中的特征信息(15、150)属于类2，有可能是ID11和ID22。能够将其表示为下式(2)。

类2＝{ID11、ID22}...(2)

同样地，时刻t2中的特征信息(95、15)属于类1，有可能是ID22和ID33，特征信息(80、90)属于类3，有可能是ID22和ID33。能够将其表示为下式(3)和式(4)。

类1＝{ID22、ID33}...(3)

类3＝{ID22、ID33}...(4)

步骤13：解逻辑式。

类对应关联单元154利用逻辑式的变换，解在步骤12中生成的逻辑式。另外，本发明对解逻辑式的方法并无特别限制。作为解逻辑式的方法，已知约束满足问题(constraint satisfaction problem)的解法(反向跟踪法等)、该逻辑式的近似算法、以及全搜索(full search)等。

在本例子中，类对应关联单元154解上述式(1)至式(4)而求与各个类对应的识别符。首先，基于式(1)和式(3)，类1可获取的识别符限定于ID22。能够将其表示为下式(5)。

类1＝{ID22}...(5)

接着，从式(2)和式(5)，类2可获取的识别符限定于ID11。另外，从式(4)和式(5)，类3可获取的识别符限定于ID33。

步骤14：使类和识别符对应关联。

类对应关联单元154基于解出逻辑式的结果，进行类和识别符的对应关联。

在本例子中，如步骤13中说明那样，各个类可获取的识别符限定于一个，所以能够使类和识别符一对一地对应关联(步骤14；“是”)。

另一方面，在不携带无线终端的人物进入拍摄范围时，或者交换了无线终端时，从历史信息生成的逻辑式存在矛盾。此时，在解出逻辑式时，无法使识别符与类对应关联(步骤14；“否”))。

步骤15：使特征信息和识别符对应关联。

在步骤14中，在使类和识别符一对一地对应关联时(步骤14；“是”)，对应关联判定单元151从类和识别符的对应关系，使识别符和特征信息对应关联。另外，对应关联判定单元151将表示对应关联的结果的信息输出到显示单元109。

在本例子中，根据步骤13的结果，类对应关联单元154使ID22与属于类1的特征信息(100、10)和特征信息(95、15)对应关联。另外，类对应关联单元154使ID11和属于类2的特征信息(15、150)对应关联，使ID33和属于类3的特征信息(80、90)对应关联。

步骤16：进行异常发生时的处理。

在步骤14中，在无法使识别符和类对应关联时(步骤14；“否”)，异常输出单元107判断为异常，并将判断结果输出到显示单元109。由此，能够探测未携带无线终端或交换的异常。

接着，说明用于进行特定的特征信息的显示的方法。

在从拍摄图像中提取人物对象的特征信息时，特征信息提取单元103除了提取特征矢量以外，还提取图像内的对象的位置。然后，特征信息提取单元103将特征矢量和对象的位置注册到历史管理单元105。图9是表示一例包含图像内的对象位置信息的特征信息的图。

在图9的例子中，表示从时刻t1中的拍摄图像，探测出特征信息((100，10)，(300，400))和特征信息((15，150)，(600，450))的两个对象。另外，特征信息((100，10)，(300，400))意味着，(100，10)为对象的特征矢量，(300，400)为图像内的对象位置。

显示单元109在进行特定的特征信息的显示时进行以下的处理。(1)显示单元109从图像存储单元108获取与特征信息对应的时刻的图像。(2)显示单元109将从图像存储单元108获取的图像重叠显示在从特征信息获取的对象的位置坐标信息上。

图10是表示一例将识别符重叠显示在图6的时刻t1的拍摄图像上的显示图像的图。显示单元109使用由对应关联单元106求得的结果，在拍摄图像内拍摄到的人物区域的周围，进行能够识别该人物所保持的无线终端的识别符的显示。在图10的例子中，显示单元109在与特征信息(15、150)对应的人物区域的周围显示“ID11”和箭头，在与特征信息(100、10)对应的人物区域的周围显示“ID22”和箭头。

如上所述，在本实施方式中，将特征信息进行归类，求与各个类对应的识别符。由此，即使在同一时刻开始接收了多个识别符时，或者在接收到的识别符的数多于检测出的位置历史的数时，也能够容易进行移动物体和识别符的对应关联。

另外，在以往技术中，存在以下的问题，即：为了掌握位置历史，无线终端必须不断地发送电波，导致功耗的增大。但是，在本实施方式中，只要在人物截出单元102检测出拍摄图像内拍摄到的人数的增减时，读取单元104与无线终端202进行通信即可，所以无线终端202不需要不断地发送电波。因此，无线终端202通常不与读取单元104进行通信，而在接收来自读取单元104的电波后起动。因此，就无线终端202来说，能够使用在起动后使用自身的电力，将识别符重叠在电波上发送的半无源型无线终端(半无源电子标签，Semi-Passive Tag)。或者，作为无线终端202，能够使用将识别符重叠在使来自读取单元104的电波的一部分反射所得的电波上的、无源型无线终端(无源标签，Passive Tag)。由此，与以往技术相比，能够抑制无线终端的功耗。

另外，如图11所示，在本实施方式中，对应关联单元106也可以采用在对应关联单元106的内部具有类数决定单元155的结构。类数决定单元155求由历史管理单元105管理的历史信息的识别符的总数，并将其结果输出到归类单元152作为最大类数。在图6的例子中，识别符为ID11、ID22和ID33的三个，所以最大类数被设定为“3”。另外，也可以在仅将由历史管理单元105管理的历史信息的部分期间作为归类的对象时，类数决定单元155求该期间内检测出的识别符的总数，并将求得的总数输出到归类单元152作为最大类数。

此时，在图7的步骤11中的归类时，归类单元152将类数的上限设定为最大类数。由此，能够削减归类处理时的搜索范围，削减归类的计算量，能够提高归类的精度。

另外，如图12所示，对于人物截出单元102，也可以使用识别符变化探测单元111，代替人物截出单元102。识别符变化探测单元111监视读取单元104的读取结果，在识别符的数增加或减少了时，对特征信息提取单元103和读取单元104发出指示，以将特征信息和识别符注册到历史管理单元105。此时，在拍摄单元101不一直进行拍摄时，识别符变化探测单元111对拍摄单元101也发出拍摄开始的指示。但是，在发出对特征信息提取单元103的指示前，识别符变化探测单元111发出拍摄开始的指示。

另外，在本实施方式中，对应关联单元106也可以将对应关联的结果输出到历史管理单元105作为对应关联信息，并管理对应关联信息。由此，在进行第二次以后的对应关联时，对应关联单元106能够通过利用对应关联信息，减少归类或对应关联的计算量。以下，说明该情况。

图13是表示一例历史管理单元105中管理的历史数据的图。在本例子中，历史数据是反映了由对应关联单元106进行对应关联的结果的数据。数据表的第一行表示使特征信息(100，10)和ID22对应关联。同样地，表示使特征信息(15、150)和ID11对应关联，使特征信息(95、15)和ID22对应关联，使特征信息(80，90)和ID33对应关联。

由此，例如，在请求了求与时刻t1中的特征信息(100，10)对应的识别符时，对应关联判定单元151已经知道时刻t1中的特征信息(100，10)与ID22对应关联。因此，能够导出识别符是ID22的对应关联结果，而不进行归类单元152以后的处理。

另外，即使在归类单元152以后的处理中，由于逻辑式被简化，所以计算量很少即可完成。

另外，在本实施方式中，说明了对应关联判定单元151首先判定是否能够在单一的时间使特征信息和识别符对应关联的情况。但是，本发明并不限于此，也可以从图4中删除对应关联判定单元151，在所有情况下进行归类。

(实施方式2)

图14是表示本发明实施方式2的对象检测装置的结构的方框图。另外，在图14所示的对象检测装置300中，对与图4所示的对象检测装置100共用的结构部分附加与图4相同的标号，并省略详细的说明。

实施方式2与实施方式1的不同之处在于，特定信息和识别符的对应关联的步骤。图14所示的对象检测装置300与图4所示的对象检测装置100相比，对应关联单元306的内部结构与对应关联单元106不同。

对应关联单元306具有对应关联判定单元351、相近特征信息追加单元352和相似度计算单元153，求与指定的特征信息对应关联的识别符。

对应关联判定单元351判定使作为判定的对象的一个以上的特征信息有可能共同地对应关联的识别符是否能够限定为一个识别符，并输出其结果。

相近特征信息追加单元352对于指定的特征信息，求相似度相近的特征信息，并将其输出到对应关联判定单元351。

接着，具体地说明对应关联单元306从历史管理单元105管理的特征信息中求与指定的特征信息对应关联的识别符的情况。

这里，假设历史管理单元105中管理的历史信息与实施方式1中举例的图6相同，请求了对应关联单元306求特征信息(100、10)的识别符。

此时，对应关联单元306根据图15所示的动作步骤，进行被指定的特征信息(100、10)和识别符的对应关联。图15是表示本实施方式的对应关联单元306的动作步骤的流程图。

步骤21：判定可否进行对应关联。

对应关联判定单元351判断使特征信息有可能对应关联的识别符的数是否能够限定为一个。

在本例子中，有可能与特征信息(100、10)对应的识别符是ID11和ID22的两个，对应关联判定单元351无法将识别符限定为一个(步骤21；“否”)。

步骤22：选择相近特征信息。

在步骤21中，在无法将识别符限定为一个时(步骤21；“否”)，相近特征信息追加单元352选择基于由相似度计算单元153计算出的相似度的相近的特征信息。

在本例子中，相近特征信息追加单元352选择特征信息(100、10)的最相近的特征信息(95、15)。

步骤23：判定可否进行对应关联。

对应关联判定单元351追加相近特征信息追加单元352选择出的特征信息作为判定的对象，判断作为判定的对象的所有特征信息共用的识别符是否能够限定为一个。

在本例子中，有可能与特征信息(95、15)对应的识别符是ID22和ID33。因此，有可能与特征信息(100、10)和特征信息(95、15)都对应的识别符仅是ID22，所以对应关联判定单元351能够将识别符限定为一个(步骤23；“是”)。

步骤24：使特征信息和识别符对应关联。

在步骤21或步骤23中，在能够将识别符限定为一个时(步骤21；“是”，步骤23；“是”)，对应关联判定单元351使求得的识别符和指定的特征信息对应关联。另外，对应关联判定单元351将表示对应关联的结果的信息输出到显示单元109。

在本例子中，对应关联判定单元351使ID22分别与特征信息(100、10)和特征信息(95、15)对应关联。

步骤25：进行异常判定。

在步骤23中，在无法将识别符限定为一个时(步骤23；“否”)，对应关联判定单元351在步骤5中判断一个以上的特征信息共用的识别符是否为0个。

然后，在共用的识别符不是0个时，相近特征信息追加单元352和对应关联判定单元351反复步骤22和步骤23的处理(步骤25；“否”)。

步骤26：进行异常发生时的处理。

在不携带无线终端的人物进入拍摄范围时，或者在交换了无线终端时，有时不存在共用的识别符(步骤25；“是”)。此时，异常输出单元107判断为异常，并将判断结果输出到显示单元109。由此，能够探测未携带无线终端或交换的异常。

图16是表示一例将指定的特征信息的识别符重叠显示在图6的时刻t1的拍摄图像上的显示图像的图。显示单元109使用由对应关联单元306求得的结果，在拍摄图像内拍摄到的、指定的特征信息的人物区域的周围，进行能够识别该人物保持的无线终端的识别符的显示。在图16的例子中，显示单元109在与特征信息(100、10)对应的人物区域的周围，显示“ID22”和箭头。

如上所述，根据本实施方式，能够求仅与特定的特征信息对应的识别符。由此，与实施方式1中表示的、一并使特征信息和识别符对应关联的方法相比，能够减低计算量。另外，能够根据状况，区分使用实施方式1和实施方式2的方法。

另外，在本发明中，也可以适当地切换而使用实施方式1或实施方式2中举出的、特征信息和识别符的对应关联的方法。

(实施方式3)

图17和图18是表示本发明实施方式3的对象检测装置的结构的方框图。图19是表示包含本发明实施方式3的对象检测装置的系统结构的图。另外，在图17所示的对象检测装置400中，对与图4所示的对象检测装置100共用的结构部分附加与图4相同的标号，并省略详细的说明。另外，在图18所示的对象检测装置500中，对与图14所示的对象检测装置300共用的结构部分附加与图14相同的标号，并省略详细的说明。在图19中，表示一个对象检测装置400具有多个拍摄单元1001～1003、多个读取单元1011～1013、以及对象检测装置100的结构。对象检测装置100进行来自多个拍摄单元1001～1003和多个读取单元1011～1013的特征信息与识别符的对应关联。

图17所示的对象检测装置400与图4所示的对象检测装置100相比，采用在对应关联单元106的内部追加了相似度加权单元156的结构。图18所示的对象检测装置500与图14所示的对象检测装置300相比，采用在对应关联单元306的内部追加了相似度加权单元156的结构。

相似度加权单元156计算加权系数，并将其输出到相似度计算单元153。

相似度计算单元153通过将从相似度加权单元156输出的加权系数与计算出的特征信息的矢量间距离相乘，校正矢量间距离。

以下，举出一例说明相似度加权单元156中的加权系数的计算方法。

在不同的时间段拍摄出的图像中，光的照射状况或服装、发型的变化等拍摄条件不同。因此，即使是同一人物的特征信息，但其是从不同的时间段的拍摄图像中提取出的特征信息时，有时矢量间距离增大。

因此，相似度加权单元156计算加权系数，以使拍摄出作为矢量间距离的计算的对象的特征信息的时间段越拉大，矢量间距离越小。

由此，能够更准确地判定从在不同的时间段拍摄出的图像中提取出的同一人物的特征信息的相似度。

另外，对于以不同的摄像机拍摄出的拍摄图像，光的照射状况的变化等拍摄条件不同。因此，即使是同一人物的特征信息，但其是从不同的摄像机的拍摄图像中提取出的特征信息时，有时矢量间距离增大。

因此，相似度加权单元156基于拍摄条件，计算加权系数。拍摄条件例如有摄像机ID或拍摄时的白平衡信息等。此时，特征信息提取单元103从拍摄单元101获取摄像机ID或白平衡信息，并将其与特征信息一起注册到历史管理单元105。图20表示包含摄像机ID或白平衡信息而由历史管理单元105管理的数据形式的例子。

由此，能够更准确地判定从以不同的摄像机拍摄出的图像中提取出的同一人物的特征信息的相似度。

另外，在经过了几天时，有时人物的外表大幅变化，特征信息的矢量间距离增大。

因此，假设相似度加权单元156能够仅使用人物的外表未大幅变化的一定的时间段的历史信息，进行推测。为此，在拍摄出作为矢量间距离的计算的对象的特征信息的时间之差大于规定的阈值时，相似度加权单元156将加权系数设定为最大。

由此，能够防止起因于同一人物的外表大幅变化而使相似度的精度下降。

另外，在上述各个实施方式中，也可以使用多组拍摄单元101和读取单元104，该读取单元104在包含该拍摄单元101的拍摄范围的范围内接收电波。此时，历史管理单元105附加基于拍摄相同范围并接收的拍摄单元101和读取单元104的数据作为附加信息后，管理一个以上的特征信息和一个以上的识别符作为历史信息。

另外，在上述各个实施方式中，说明了移动物体是人物的情况，但本发明并不限于此，也能够适用于人物以外的移动物体。

另外，本发明能够适用于数码相机。此时，通过使数码相机兼具上述各个实施方式中使用的对象检测装置的功能，能够确定拍摄照片时拍摄到的人物的ID。由此，本发明通过与将拍摄到的照片自动地发送到与所拍摄的人物的ID对应的地址的应用组合，能够提高数码相机的附加值。

另外，本发明也能够适用于超市或百货公司等的营销活动中利用的营销应用。作为营销应用的适用例，例如，在店内配置使用户的ID和其行动历史对应关联而进行检测的对象检测装置。

另外，通过个人电脑等的通用计算机，能够实施上述各个实施方式中使用的对象检测装置。此时，例如，通过CPU读出计算机的存储器中存储的对应的软件程序而进行执行处理，实现包含对应关联单元的处理的各个处理。另外，也可以通过搭载了对应的LSI芯片的专用设备，实现包含对应关联单元的处理的各个处理。

2008年8月8日提交的第2008-206111号的日本专利申请所包含的说明书、附图以及说明书摘要的公开内容，全部引用于本申请。

工业实用性

本发明适合用于使摄影图像内检测出的人物等的移动物体和无线终端的识别符对应关联的对象检测装置。

Claims (15)

1.对象检测装置，包括：

特征信息提取单元，提取拍摄图像中拍摄到的至少一个移动物体的特征信息；

读取单元，读取所述移动物体保持的无线终端的识别符；

历史管理单元，使所述特征信息和所述识别符每个时刻关联对应保存；以及

对应关联单元，基于所述特征信息间的相似度、以及所述特征信息和所述识别符之间的所述关联对应，使所述历史管理单元中保存的所述特征信息和所述识别符对应关联。

2.如权利要求1所述的对象检测装置，

所述对应关联单元

基于所述特征信息间的相似度，将所述历史管理单元中保存的多个所述特征信息分类为部分集合，

基于所述特征信息和所述识别符之间的所述关联对应，使所述部分集合和所述识别符对应关联。

3.如权利要求2所述的对象检测装置，

在与所述部分集合对应关联的识别符是一个时，所述对应关联单元使作为所述部分集合的元素的所有特征信息和所述识别符对应关联。

4.如权利要求2所述的对象检测装置，

存在与多个识别符对应关联的部分集合时，或者存在不与任一个识别符对应关联的部分集合时，所述对应关联单元判定为异常。

5.如权利要求2所述的对象检测装置，还包括：

部分集合数决定单元，将所述历史管理单元中保存的不同的识别符的数设定为所述部分集合的数的上限。

6.如权利要求1所述的对象检测装置，

所述对应关联单元

在与指定的特征信息所属的所述部分集合对应关联的识别符是一个时，使所述指定的特征信息和所述识别符对应关联，

在与所述指定的特征信息所属的所述部分集合对应关联的识别符存在多个时，从所述历史管理单元中保存的其他的特征信息中，提取与所述指定的特征信息的相似度最高的特征信息，

通过求所述指定的特征信息和所述提取出的特征信息之间共用的识别符，确定与所述指定的特征信息对应的识别符。

7.如权利要求6所述的对象检测装置，

所述对应关联单元在求得了与所述提取出的特征信息包含的一个以上的识别符共用的识别符时，在所述共用的识别符不存在的情况下，判定为异常。

8.如权利要求1所述的对象检测装置，

在计算特征信息间的相似度时，所述对应关联单元对相似度进行加权，以使拍摄到与特征信息对应的移动物体的时刻之差越大，相似度越小。

9.如权利要求1所述的对象检测装置，

在计算特征信息之间的相似度时，所述对应关联单元根据表示拍摄到与特征信息对应的移动物体的拍摄单元的拍摄状况或拍摄环境的拍摄参数之差，对相似度进行加权。

10.如权利要求1所述的对象检测装置，

所述对应关联单元仅使用所述历史管理单元中保存的所有所述特征信息和所述识别符中的、特定的时间段的所述特征信息和所述识别符，进行对应关联。

11.如权利要求1所述的对象检测装置，还包括：

图像状况探测单元，探测所述拍摄图像中拍摄到的移动物体的数，

在所述图像状况探测单元探测出所述拍摄图像中拍摄到的移动物体的增加或减少时，所述读取单元进行读取。

12.如权利要求1所述的对象检测装置，还包括：

识别符状况探测单元，探测由所述读取单元读取的识别符的数，

在所述识别符状况探测单元探测出识别符的增加或减少时，所述特征信息提取单元进行特征信息的提取。

13.如权利要求1所述的对象检测装置，还包括：

显示单元，将与所述拍摄单元拍摄在拍摄图像内的移动物体的特征信息对应的识别符，重叠显示在所述拍摄图像内。

14.如权利要求1所述的对象检测装置，

所述特征信息通过由表示图像中的移动物体的特征的n个分量值构成的n维矢量表示，

所述对应关联单元计算所述特征信息间的相似度作为表示为n维矢量的特征信息的矢量间距离。

15.对象检测方法，包括以下步骤：

特征信息提取步骤，提取拍摄图像中拍摄到的至少一个移动物体的特征信息；

读取步骤，读取所述移动物体保持的无线终端的识别符；

历史管理步骤，使所述特征信息和所述识别符每个时刻关联对应保存在存储器中；以及

对应关联步骤，基于所述存储器中保存的特征信息间的相似度、以及所述特征信息和所述识别符之间的所述关联对应，使所述存储器中保存的所述特征信息和所述识别符对应关联。

Images