CN101213476A - 物体检测装置、物体检测方法以及物体检测用计算机程序 - Google Patents

Abstract

在根据无线标签读取器(100)和人探测传感器(200)以及照相机(300)的输出检测物体的ID信息和位置的物体检测机构(500)，判断出与取得了表示人的存在的探测数据的第1以及第2时刻分别对应的第1以及第2物体ID信息相关的数据互相不同时，计算与各个时刻对应的第1以及第2图像数据的差分，并检测物体位置。

Description

物体检测装置、物体检测方法以及物体检测用计算机程序

技术领域

本发明涉及检测出位于住宅或办公室内等的物体的ID信息以及位置的技术，尤其涉及通过RFID标签(tag)以及照相机等的摄像装置的协作，检测出物体的ID信息以及位置的物体检测装置、物体检测方法以及物体检测用计算机程序。

背景技术

近年来，随着用于在非接触的状态下管理物品的RFID标签技术的进步，以物流等的业务领域为中心，物品管理的自动化正在不断发展。

作为利用RFID标签的物品管理的以往技术，提出了专利文献1。在专利文献1中，将RFID标签(以下称作标签)付与物品，在环境中密集地设置上述标签的读取装置(以下称作标签读取器)。由进行物品检索的终端指定检索对象的物品时，各标签读取器与被付与到物品的标签进行通信。将接收到了来自标签的回应的标签读取器的场所，作为正搜索的物品的场所。

此外，作为利用RFID标签的其他以往技术，提出了专利文献2。在专利文献2中，将标签付与物品，在环境中设置标签读取器。在专利文献2中，为了能够稀疏地设置标签读取器，而使用标签和标签读取器的通信距离长、电池内置型的有源(active)标签，利用由多个标签读写器所接收的来自标签的电波的强度，来决定空间内的物品的位置。

另一方面，作为利用图像(帧间差分)而检测出人移动、放置的物体的技术，提出了非专利文献1。

在非专利文献1中，假定为从人移动物体开始到移动结束为止，身体的运动连续地进行，在动态图像中帧间差处于阈值以上的帧持续进行。即人移动物体的事件的开始、结束时，捕获到帧间差分区域的增大和减少。之后，计算作为背景图像保存的移动事件的开始前的图像和移动事件的结束后的图像之间的差分，对被移动的物体进行确定。

此外，在专利文献3中，提出了具备检测出人等的存在之有无的RFID和图像识别用的照相机，并且使RFID的检测范围和照相机的摄像范围互相具有关系，基于来自RFID和照相机的信息对人等的通行量等进行分析，对所分析的信息进行配送的方案。

专利文献1：特开平07-146362号公报

专利文献2：特开2000-357251号公报

专利文献3：特开2000-011057号公报

非专利文献1：渡崇他、“人が移動、放置すゐ物体の検出”、2005午3月7日発行、電子情報通信学会2005耠合大会の大会論文集D-12-37、pp.187

在专利文献1中，希望详细地决定物品所设置的场所时，需要将标签读取器在空间上密集地设置。因此，在某程度的设置成本容许的物流等的业务用途中容易导入，但在家庭用途中难以导入。

在专利文献2中，为了抑制在标签中内置的电池的消耗，将来自标签的发送按照例如1天1次的方式设定。因此，从系统得到的物品的位置成为标签最后进行发送的位置。在物品从最后发送的位置进行了移动的情况下，不能正确地得到当前的物品的位置。

在非专利文献1中，为了确定人的移动事件，需要按每帧计算帧间差分，存在花费运算成本的问题。除此之外，不一定都是在帧间差分区域处于阈值以上的区间内，人移动物体，因此存在需要可靠地检测出物体的移动的问题。

在专利文献3中，使用RFID和照相机，但仅使RFID和照相机的检测范围具有关系，不能检测出在检测范围内移动的人的更准确的位置。

发明内容

因此，本发明的目的在于提供一种解决上述问题，不需要将标签读取器在空间上密集地设置，并且也不需要按每帧计算帧间差分，即使在无线标签读取器的探测范围外，也能够更正确且可靠地检测出物体的ID信息以及当前的位置的物体检测装置、物体检测方法以及物体检测用计算机程序。

为了实现上述目的，本发明如下那样构成。

通过本发明的第1技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与上述物体ID信息相关的数据中的与该第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，并且在计算该差分时，对于基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，接下来将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的的2技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

两个以上的摄像装置，分别对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与该第1时刻以及第2时刻分别对应的、与第1物体ID信息相关的数据和与第2物体ID信息相关的数据互不相同时，从上述两个以上的摄像装置中，确定将具有以基于从上述第1时刻到上述第2时刻的上述人位置数据所决定的区域作为摄影视野的上述摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人的其他物体隐蔽起来的这种视点的上述摄像装置，计算通过上述所确定的摄像装置摄影的与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第3技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人探测传感器，其探测在上述空间中人是否存在于上述无线标签读取器的探测范围中；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人探测传感器所探测的人探测数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人探测数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在判断出与取得了表示上述人存在的上述人探测数据的第1时刻以及第2时刻分别对应的、第1物体ID数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将上述图像数据中的差分区域的位置，或者将上述差分区域的位置变换为搜索上述物体的上述空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第7技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID数据比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

通过本发明的第8技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得了上述人位置数据的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在计算上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，

在上述物体ID比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

通过本发明的第9技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据，

计算由上述摄像装置/图像数据选择所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较中的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择以及上述物体检测。

通过本发明的第10实施方式，提供一种物体检测用计算机程序，其特征在于，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测的物体ID数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

具备：

物体ID比较机构，将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据之间不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第11技术方案，提供一种物体检测用计算机程序，其特征在于，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在进行上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分。

通过本发明的第12技术方案，提供一种物体检测用计算机程序，其特征在于，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

摄像装置/图像数据选择机构，从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述摄像装置/图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较机构的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择机构以及上述物体检测机构。

发明效果

通过本发明，通过将无线标签读取器和摄像装置例如照相机并用，从而即使在空间中稀疏地设置无线标签读取器的情况下，也能利用图像来决定物体的位置。此外，利用在不同的两个时刻由无线标签读取器所探测的物体ID信息互相不同的信息，能够决定包含有人可靠地进行了物体的处理的时刻的时间带，因此不需要按由摄像装置摄像的所有的图像数据的每帧计算差分，能够削减运算量。

附图说明

本发明的上述目的以及其他目的和特征，能够根据针对附图的优选实施方式相关联的以下记述而明确。在该附图中，

图1A为表示本发明的第1实施方式相关的物体检测装置的结构例的框图。

图1B为表示本发明的第1实施方式相关的物体检测装置的无线标签读取器设置例的图。

图1C为表示本发明第第1实施方式相关的物体检测装置的无线标签读取器设置的其他例的图。

图1D为表示在本发明的第1实施方式的物体检测装置中，无线标签读取器的天线以及人探测传感器的设置的图。

图1E为表示在本发明的第1实施方式的物体检测装置中，照相机的设置的图。

图2为表示按照本发明的第1实施方式相关的物体检测装置之间的关系，人的动线(移动历史记录)的图。

图3为表示在本发明的第1实施方式相关的物体检测装置中，人探测传感器的输出以及无线标签读取器的输出的图。

图4为表示由本发明的第1实施方式的物体检测装置的物体检测机构所进行的物体检测方法的流程图。

图5为表示由无线标签读取器所取得的物体ID信息相关的数据为多个时的无线标签读取器的输出例的图。

图6A为表示在本发明的第1实施方式中，在时刻2秒以及时刻14秒所摄影的图像Ia、Ib的图。

图6B为表示保存有本发明的第1实施方式的物体检测装置所利用的、与物体的ID信息对应的各种信息的数据库的条目(entry)的图。

图6C为表示保存有本发明的第1实施方式的物体检测装置所利用的、与物体的ID信息对应的各种信息的数据库和物体检测装置之间的连接的图。

图7A为表示彩色照相机的分光灵敏度、被摄体的分光反射率以及背景的分光反射率的曲线图。

图7B为表示彩色照相机的分光灵敏度、被摄体的分光反射率以及背景的分光反射率的曲线图。

图7C为表示彩色照相机的分光灵敏度、被摄体的分光反射率以及背景的分光反射率的曲线图。

图8A为表示为了算出反光反射率而需要的多个波长特性的曲线图。

图8B为表示为了算出反光反射率而需要的多个波长特性(传感器的反光灵敏度特性(趋向颜色滤波器的透过率。标准化后))的曲线图。

图8C为表示为了算出分光反射率而需要的多个波长特性(由具有图8B的分光灵敏度的传感器所测量到背景上的1点的亮度的分光特性)的曲线图。

图9为表示从上方摄影分别设置在地板面和桌子上的物体的样子的图。

图10为表示图9的照相机所摄影的图像的差分的图。

图11A为表示将人探测传感器的探测范围作为掩模区域来计算差分图像的样子的图。

图11B为表示将人探测传感器的探测范围作为掩模区域来计算差分图像的样子的图。

图11C为表示将人探测传感器的探测范围作为掩模区域来计算差分图像的样子的图。

图11D为表示将人探测传感器的探测范围作为掩模区域来计算差分图像的样子的图。

图12A为表示从时间带TZ1利用取得时刻不同的两个图像来检测人的区域的方法的图。

图12B为表示从时间带TZ1利用取得时刻不同的两个图像来检测人的区域的方法的图。

图12C为表示从时间带TZ1利用取得时刻不同的两个图像来检测人的区域的方法的图。

图13A为表示从时间带TZ2利用取得时刻不同的两个图像来检测人的区域的方法的图。

图13B为表示从时间带TZ2利用取得时刻不同的两个图像来检测人的区域的方法的图。

图13C为表示从时间带TZ2利用取得时刻不同的两个图像来检测人的区域的方法的图。

图14为表示发明者们提出的其他方法中的标签读取器的配置的图。

图15为表示发明者们提出的其他方法中的人每时间的移动距离和人的动线(移动历史记录)的图。

图16为表示本发明的第2实施方式相关的图像处理装置的构成例的框图。

图17为表示由超声波传感器测量人的位置的样子的图。

图18A为表示由地板压力传感器测量人的位置的样子的图。

图18B为表示在本发明的第2实施方式的物体检测装置中，无线标签读取器的天线以及人探测传感器(超声波传感器)的设置的图。

图18C为表示在本发明的第2实施方式的物体检测装置中，无线标签读取器的天线以及人探测传感器(地板压力传感器)的设置的图。

图19为表示世界坐标系的设置方法的图。

图20为表示本发明的第2实施方式相关的人的动线(移动历史记录)的图。

图21为表示本发明的第2实施方式相关的人位置传感器的输出以及无线标签读取器的输出的图。

图22为表示由本发明的第2实施方式的物体检测机构所进行的物体检测方法的流程图。

图23为表示判断人位置传感器的输出坐标值是否包括在实测的无线标签读取器的探测范围中的样子的图。

图24为表示判断人位置传感器的输出坐标值是否包括在用圆模型化了的无线标签读取器的探测范围中的样子的图。

图25为表示将人位置传感器的输出坐标值是否包括在实测的无线标签读取器的探测范围中的判断结果与图2 1的传感器输出一起记录的图。

图26为表示在本发明的第2实施方式中，在时刻2秒以及时刻14秒所摄影的图像Ia、Ib的图。

图27A为表示根据人位置传感器的输出，在摄影图像中推定人存在的位置的样子的图。

图27B为表示根据人位置传感器的输出，在摄影图像中推定人存在的位置的样子的图。

图28为表示推定物体的存在区域的方法的例子的图。

图29为表示在摄影图像中计算差分的区域的图。

图30为表示本发明的第3实施方式相关的图像处理装置的结构例的框图。

图31A为表示在本发明的第3实施方式中使用的9个照相机的视野的图。

图31B为表示在本发明的第3实施方式的物体检测装置中，将9台照相机分散配置在天花板上的样子的图。

图32为表示由本发明的第3实施方式的物体检测机构进行的物体检测方法的流程图。

图33为表示在本发明的第3实施方式的变形例中使用的4个照相机的配置的图。

图34A为表示图33的照相机302的时刻2秒以及时刻14秒中的摄影图像的图。

图34B为表示图33的照相机302的时刻2秒以及时刻14秒中的摄影图像的图。

图35A为表示图33的照相机304的时刻2秒以及时刻14秒中的摄影图像的图。

图35B为表示图33的照相机304的时刻2秒以及时刻14秒中的摄影图像的图。

图36为表示图33的照相机302的时刻23秒中的摄影图像的图。

图37为表示作为人HM可操作物体的区域的一例的圆柱区域的说明图。

图38为表示人HM移动时的物体可操作空间VO的说明图。

图39为表示在图38的物体操作空间VO内包含有桌子的一部分时的物体存在候补区域AO的例子的图。

图40为表示在图38的物体操作空间VO内包含有书架的一部分时的物体存在候补区域AO的例子的图。

图41为表示在房间RM的中央附近的天花板CL中，按照照相机的光轴朝向垂直方向下方的方式设置有照相机时的物体存在候补区域AO的说明图。

图42为在求解被人HM所隐蔽的区域时，作为表示人的三维模型的一例的圆柱形状的说明图。

图43为表示从图41的物体存在候补区域AO′中，除去了被人所隐蔽的区域之后的区域的说明图。

具体实施方式

在继续本发明的记述之前，在附图中对相同部件付与相同参照符号。

以下，在参照附图对本发明中的实施方式详细地进行说明之前，对本发明的各种方式进行说明。

以下，基于附图对本发明相关的实施方式进行详细的说明。

以下，在参照附图对本发明中的实施方式详细地进行说明之前，对本发明的各种方式进行说明。

通过本发明的第1技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与上述物体ID信息相关的数据中的与该第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，并且在计算该差分时，对于基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，接下来将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的的2技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

两个以上的摄像装置，分别对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与该第1时刻以及第2时刻分别对应的、与第1物体ID信息相关的数据和与第2物体ID信息相关的数据互不相同时，从上述两个以上的摄像装置中，确定将具有以基于从上述第1时刻到上述第2时刻的上述人位置数据所决定的区域作为摄影视野的上述摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人的其他物体隐蔽起来的这种视点的上述摄像装置，计算通过上述所确定的摄像装置摄影的与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第3技术方案，提供一种物体检测装置，其特征在于，具备：一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人探测传感器，其探测在上述空间中人是否存在于上述无线标签读取器的探测范围中；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人探测传感器所探测的人探测数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人探测数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在判断出与取得了表示上述人存在的上述人探测数据的第1时刻以及第2时刻分别对应的、第1物体ID数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将上述图像数据中的差分区域的位置，或者将上述差分区域的位置变换为搜索上述物体的上述空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第4技术方案，提供一种根据技术方案3所述的物体检测装置，其特征在于，上述摄像装置为照相机，上述物体检测机构在计算上述第1图像数据和上述第2图像数据之间的差分时，从计算上述第1图像数据和上述第2图像数据的差分的差分对象区域中，除去将上述人探测传感器的探测范围变换为照相机坐标系后的区域，在进行过除去后的区域中，计算上述差分。

通过本发明的第5技术方案，提供一种根据技术方案3所述的物体检测装置，其特征在于，上述物体检测机构具备：

图像数据选择部，其基于上述第1时刻，选择取得时刻互不相同的第1图像数据以及第3图像数据，基于上述第2时刻选择取得时刻互不相同的第2图像数据以及第4图像数据；和

物体检测部，其通过对由上述图像数据选择部所选择的上述第1图像数据和上述第3图像数据之间的差分进行计算，来决定第1掩模区域，通过对由上述图像数据选择部所选择的上述第2图像数据和上述第4图像数据之间的差分进行计算，来决定第2掩模区域，在对上述第1图像数据和上述第2图像数据之间的差分进行计算时，从差分的对象区域除去上述第1掩模区域以及上述第2掩模区域后，计算出上述第1图像数据和上述第2图像数据之间的差分。

通过本发明的第6技术方案，提供一种根据技术方案1～5中任一项所述的物体检测装置，其特征在于，上述物体检测机构，在计算上述第1图像数据和上述第2图像数据之间的差分时，在与上述第1物体ID信息相关的数据以及与上述第2物体ID信息相关的数据中，确定具有差异的物体ID信息，利用与具有差异的上述物体ID信息对应的物体的颜色、大小、形状的信息中至少一种信息来计算上述差分。

通过本发明的第7技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID数据比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

通过本发明的第8技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得了上述人位置数据的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在计算上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，

在上述物体ID比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

通过本发明的第9技术方案，提供一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据，

计算由上述摄像装置/图像数据选择所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较中的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择以及上述物体检测。

通过本发明的第10实施方式，提供一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测的物体ID数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

具备：

物体ID比较机构，将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据之间不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

通过本发明的第11技术方案，提供一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在进行上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分。

通过本发明的第12技术方案，提供一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

摄像装置/图像数据选择机构，从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述摄像装置/图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较机构的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择机构以及上述物体检测机构。

以下，参照附图对本发明的实施方式进行说明。

(第1实施方式)

以下，参照附图对本发明中的第1实施方式相关的物体检测装置以及方法进行详细的说明。

图1A为表示本发明的第1实施方式相关的物体检测装置的结构的框图。房间RM表现为从上方透视设置有物体检测装置的房间RM的概略形状(在该例中为长方形框)。

上述物体检测装置的详细的结构后述，但大致由输入输出部700、物体检测机构500、计时机构600、存储机构400、作为摄像装置的一例的照相机300、3个无线标签读取器101～103和3个人检测传感器201～203构成。

在房间RM内设置有上述3个的无线标签读取器101～103、3个无线标签读取器101～103的3个天线111～113、上述3个人检测传感器201～203。无线标签读取器101～103的探测范围表现为以天线111～113为其中心、用虚线描绘的圆90a、90b、90c。尤其无线标签读取器101被设置为探测范围位于房间RM的输出输入口GW附近。人探测传感器201～203的探测范围被设置为分别与各个无线标签读取器101～103的探测范围大致相等。各个无线标签读取器101～103以及人探测传感器201～203以1次/秒的频率进行读取，将读取结果发送到存储机构400。

另外，无线标签读取器101～103的天线111～113优选设置在出入口GW或收纳库、书架、餐具架、侧桌、冰箱或者作业机、桌子、厨房系统的前方等人的通过频率大的场所。在通过家具的配置等而限定人的通过范围的情况下，也可在成为通路的场所设置无线标签读取器101～103的天线111～113。在选择天线111～113的设置场所时，测量数日左右人的动线(移动轨迹)，也可将动线集中的场所作为天线111～113的设置场所。

另外，在图1A中，按照1个标签读取器的探测范围位于出入口GW附近的方式设置，但也不一定需要。如图1B那样也可在出入口GW附近不设置无线标签读取器102、103的检测范围90b、90c，如图1C那样也可在存在于两个位置的出入口GW1、GW2中分别设置无线标签读取器101、102、103、104的探测范围90a、90b、90c、90d，也可配合房间RM的广度、所期望的探测性能、人的动线的多样度等来适当设定。也可只在各房间RM的出入口GW附近设置无线标签读取器的探测范围。

另外，读取频率不需要为每秒1次，也可配合移动物体的人的移动速度来设定最佳的频率。例如，在与快速的移动速度对应的情况下，可使读取频率较大。

无线标签读取器101～104读取位于探测范围90a～90d内的带标签物体的所有的ID信息。作为无线标签读取器101～104采用UHF带(950MHz附近、电波式)的读取器。作为UHF带的特征，可以列举出电波到达距离最大为4m程度这种较大的值。另外，UHF带的无线读取器101～104与相同电波式的2.45GHz带相比，由于波长长，因此存在通过衍射而电波容易迂回到障碍物的后方的优点。此外，UHF带的无线标签读取器101～104具与2.45GHz带相比，具有难以被水吸收的优点。由于在UHF带的无线标签读取器101～104中，电波的到达距离为4m左右，因此在房间RM的天花板里设置有天线111、112、113、114并向垂直方向的下方放射电波、或者在房间RM的地板设置天线111、112、113、114而向垂直方向的上方放射电波，通过上述方式能够在从无线标签读取器101～104的下或上通过的情况下，读取人所有的带无线标签物体的ID信息。图1D为在天花板CL的里面设置无线标签读取器的天线11x的例子。在从天线11x向垂直方向的下方向放射电波时，区域TA成为探测范围。FL为地板面。

当然，也可采用13.56MHz带(电磁感应式)、2.45GHz带(电波式)等的其他的无源(passive)型无线标签或有源型无线标签。在13.56MHz带的方式的情况下，由于读取距离最大短到80cm左右，因此需要采取在比较狭窄的通路的侧面等配置有多个天线，稳定地读取在水平方向产生磁场等的通过的人物所有的无线标签的对策。在2.45GHz的情况下，由于读取距离最大为2m左右，因此在垂直方向放射电波时，也可采用在天花板CL和地板下的双方设置有天线等的对策。

在本发明的该第1实施方式中，即使在采用探测范围窄的无源型标签的情况下，也具有通过与照相机协作，即使处于无源型无线标签的探测范围外也能检测出物体的ID信息以及位置信息的效果，但在采用探测范围广的有源型无线标签的情况下，能用于甚至通过有源型无线标签也不能探测全部区域的广域的监视中。

人探测传感器201～203，以二值信息输出探测范围90a、90b、90c内的人的存在的有无。作为人探测传感器201～203的例子，能够采用地板压力传感器或红外线传感器等。预先测定无线标签读取器101～104的探测范围后，配合该范围而设定人探测传感器201～203的探测范围。图1D为配合无线标签读取器的天线11X的探测范围TA而设置地板压力传感器的例子。圆形的斜线部分为设置在地板面FL上的地板压力传感器(人探测传感器的一例)20X的探测范围。

此外，在不仅对物体而且对人付与有标签的情况下，通过无线标签读取器101～103探测对人所付与的标签，也可代替人探测传感器201～203。

照相机300按照在其视野中包括房间RM的地板面FL整体的方式设定。例如，如图1E那样，通过在房间RM的中央附近的天花板CL中，按照光轴朝向垂直方向的下方的方式来设置广角照相机300来实现。照相机300，例如通过帧速30fps来摄影图像，将摄影图像发送到存储机构400。

存储机构400通过利用计时机构600，来将无线标签读取器101～103的读取结果的数据、人探测传感器201～203的读取结果的数据和照相机300的摄影图像的数据与由计时机构600所得到的各数据的取得时刻对应积蓄起来。另外，在存储机构400中，如下文所述，也可连接用来管理存储机构400内的数据的存储机构管理部507。

另外，照相机300的帧速也不一定需要为30fps，也可配合移动物体的人的移动速度而经由输入输出部700来设定最佳频率。

在图1A中，无线标签读取器的数目为3个，人探测传感器的数目为3个，照相机的数目为1个，但当然也可为其他的数目。

接下来，对蓄积在存储机构400中的无线标签读取器101～103和人探测传感器201～203和照相机300等的各种传感器的探测数据进行说明。考虑对物体进行处理的人按照图2中的动线ML那样在房间RM内移动的情况。人在持有物体A的状态下通过出入口GW进入到房间RM内，中途在场所L1中通过将物体A置于场所L1附近的桌子Tb上而松开手，之后，在场所L2从地板重新捡起物体B，通过出入口GW从房间RM退出。

图3中表示此时得到的无线标签读取器101、102、103以及人探测传感器201、202、203的输入。如上所述，无线标签读取器101、102、103和人探测传感器201、202、203以1次1秒的频率进行读取。在图3中，无线标签读取器101、102、103和人探测传感器201、202、203的读取定时是同步的，但也可不是同步。在不是同步的情况下，也可对与读取时刻最近的数据进行关联。

在图3中，在时刻0～2(单位：秒)的期间，通过人探测传感器201探测到人的存在，同时通过无线标签读取器101探测到物体A。

在时刻14～17秒的期间，通过人探测传感器202探测到人的存在。在此，由于按照无线标签读取器102和人探测传感器202的探测范围互相相等的方式设定，因此如果在时刻14～17秒期间人持有物体A，则无线标签读取器102应该探测到物体A。但是，在时刻14～17秒中，由于采用无线标签读取器102不能探测到物体A，因此在时刻13秒以前能够解释为人松开了物体A。

之后，在时刻31～33秒的期间，通过人探测传感器203探测到人的存在，同时通过无线标签读取器103探测到物体B。

在时刻41～42秒的期间，通过人探测传感器201探测到人的存在，同时通过无线标签读取器101探测到物体B。因此，能够解释为在人持有物体B的状态下从房间RM退出。

根据以上内容，在得到图3的数据的情况下，能够通过物体探测机构500解释为人在位于时刻3～13秒的期间的时刻，放开所持有的物体A，在处于时刻18～30秒期间的时刻，从房间RM的某处捡起物体B。

物体检测机构500利用蓄积在存储机构400中的各种传感器的探测数据而检测出物体。物体检测机构500包括：用于确定连续地探测人的存在的时间带以及时间带的总数N的时间带确定部501；取得与时间带对应的物体ID信息相关的数据的物体ID取得部502；对由物体ID取得部502所取得的物体ID信息相关的数据进行比较来判断是否一致的物体ID比较部503；进行用于检测出物体位置的图像数据的选择的图像数据选择部504；计算由图像数据选择部504所选择的多个图像的差分而检测出物体的位置的物体检测部505；和进行索引的管理的索引管理部506。

图4为表示通过本第1实施方式的物体检测装置中的物体检测机构500进行的物体检测方法的流程图。

以下，按照图4的流程图，对本第1实施方式相关的物体检测装置以及物体检测方法相关的物体检测处理进行说明。

首先，在通过时间带确定部501所执行的步骤SA0中，单个的人探测传感器通过时间带确定部501来确定连续地探测人的存在的时间带以及时间带的总数N。在图3的数据中  在时刻0～2秒、时刻14～17秒、时刻31～33秒、时刻41～42秒中，各个特定的人位置传感器分别连续地探测人的存在时，能够通过时间带确定部501来确定。因此，将时刻0～2秒作为时间带TZ1，将时刻14～17秒作为时间带TZ2，将时刻31～33秒作为时间带TZ3，将时刻41～42秒作为时间带TZ4。其结果，图3的数据中，时间带的总数N＝4。

接下来，在通过索引管理部506执行的步骤SA1、SA2中，分别通过索引管理部506进行表示所比较的两个时间带的索引i、j的初始化。即在步骤SA1中，设索引i＝1，在步骤S2中，设索引j＝i+1。

接下来，在通过物体ID取得部502所执行的步骤SA3中，通过物体ID取得部502取得与时间带TZi、TZj(初次分别为TZ1以及TZ2)对应的物体ID信息相关的数据(的组合)。根据图3的数据，在时间带TZ1中，无线标签读取器101探测物体A的ID信息相关的数据(例如表示具有ID信息的数据和意味着ID信息自身的数据)，在时间带TZ2中，物体标签读取器102什么都没有探测到的这种对与物体ID信息相关的数据(例如没有ID信息的数据)，由通过物体ID取得部502得到。

接下来，在通过物体ID比较部503执行的步骤SA4中，将由步骤SA3通过物体ID取得部502所取得的两个物体ID信息相关的数据进行比较，通过物体ID比较部503来判断是否一致。此时，通过物体ID比较部503判断为两个物体ID信息相关的数据不一致(即两个物体ID信息相关的数据互相不同)，从而进入图像数据选择步骤SA7。

如果两个物体ID相关的数据一致，在通过物体ID比较部503进行判断时，在从时间带TZ1到TZ2之间不进行物体的处理，即不进行图像数据选择以及物体检测(步骤SA7以及SA8)。即在步骤SA5中，通过索引管理部506进行索引j是否为N以上的检查后，如果索引j小于N，则如果通过索引管理部506进行判断，则在步骤SA6中，通过索引管理部506使索引j增加1(采用无线标签读取器的其他时间带中的探测结果)，再次进行步骤SA3以及步骤SA4。在步骤SA5中，如果在索引j为N以上时，通过索引管理部506进行判断，则结束上述物体检测处理。

采用图5的例子来说明在步骤SA3中通过物体ID取得部502所取得的物体ID信息相关的数据为多个的情况。在时间带Tzi中，无线标签读取器检测出4个物体A、B、C、D，在时间带TZj中，无线标签读取器检测出3个物体A、B、D。此时，作为物体的组合不同的情况，进行图像数据选择以及物体检测(步骤SA7以及SA8)。

接下来，在通过图像数据选择部504执行的步骤SA7中，进行用于检测物体位置的图像数据的选择。根据图3的数据，在时间带TZ1中，无线标签读取器101探测物体A的ID信息相关的数据，在时间带TZ2中，无线标签读取器102探测没有探测到任何物体的ID信息的这种物体ID信息相关的数据，由物体ID比较部503来判断。即能够通过物体ID比较部503来推定，在时间带TZ1中被置于无线标签读取器101的探测范围90a内的或者在无线标签读取器101的探测范围90a内人所持有的物体A，在从时刻3秒到13秒期间，移动到无线标签读取器的探测范围外。

即如图6A所示，能够通过物体ID比较部503判断，在时间带TZ1内的时刻(例如时刻2秒)中通过照相机300摄影的图像Ia中，物体A(在图中用OA表示)与人(图中用HM表示)一起存在于人探测传感器201以及无线标签读取器101的探测范围90a内，在时间带TZ2内的时刻(例如时刻14秒)中通过照相机300摄影的图像Ib中，物体A处在于无线标签读取器101、102、103的探测范围90a、90b。90c外。在步骤SA7中，从存储机构400中通过图像数据选择部504选择这种图像Ia以及图像Ib。

接下来，在通过物体探测部505所执行的步骤SA8中，通过计算出图像Ia和图像Ib之间的差分，来决定物体A的位置。例如，通过物体检测部505来决定由差分得到的区域的重心作为物体A的位置。在照相机300为黑白照相机时，采用亮度信息并通过物体检测部505来进行差分。在照相机300为彩色照相机的情况下，也可采用亮度信息通过物体检测部505来进行差分，也可采用RGB的任一个值来通过物体检测部505来进行差分。此时，如果存在与物体A的ID信息对应的颜色信息、大小信息或者形状信息等，则也可利用这些信息中的一个或多个信息，通过物体检测部505来进行差分的计算。与物体的ID信息对应的各种信息，能够采用例如图6B那样的表格形式的数据库来进行管理。图6B中的“分光反射率(颜色)XXX”例如能够通过将图7B那样的图表作为连续函数，或者离散函数进行保持来表现。图6B中的“形状YYY”能够利用计算机图形等中的一般的三维模型来表现。此外，图6B的那种表格形式的数据库，换句话说物体信息数据库(物体信息DB)2000如图6C那样，能够介由网络、专用线、公众线路等的网络2001与上述物体检测装置1000连接。当然，也可将物体检测装置1000和物体信息DB2000直接连接。

考虑例如在使用具有图7A的分光灵敏度的彩色照相机作为上述照相机300时(图7A的符号“B”、“G”、“R”分别与蓝色的分光灵敏度、绿色的分光灵敏度、红色的分光灵敏度对应)，对具有图7B那样的分光反射率的(绿色的)被摄体从具有图7C那样的分光反射率的(黄色的)背景中分离的情况进行考虑。在采用通常的白色照明时，采用彩色照相机B(蓝色)成分或G(绿色)成分来通过物体检测部505进行差分，也不太会产生亮度差，因此不能顺利地检测出物体，但采用R(红色)成分时，由于产生亮度差，因此能够顺利地检测出物体。关于通过彩色照相机的各通道(channel)以什么亮度进行摄影这一点，如(式1)那样，由照明光的分光能量特性E(λ)、彩色照相机的每个通道的分光灵敏度特性S_R(λ)、S_G(λ)、S_B(λ)、被摄体的分光反射特性R(λ)来决定。

式1

R＝c∫E(λ)R(λ)S_R(λ)dλ

G＝c∫E(λ)R(λ)S_G(λ)dλ

B＝c∫E(λ)R(λ)S_B(λ)dλ

在此，c为常数。

因此，如果预先取得或者测量照明光的分光特性、照相机的分光灵敏度特性、背景的分光反射率，将物体的ID信息和其的分光反射率预先对应起来存储在存储机构400中，则能够由物体检测部505根据想要检测的物体的ID信息决定差分中有效的彩色通道。

在想要得到被摄体上的1点的分光反射率的情况下，能够采用市售的分光测色计等。此外，在想要得到被摄体上的多点的分光反射率的情况下，能够使用采用照相机300的以下的方法。

在决定差分中有效的彩色通道的本目的的情况下，不需要得到分光反射率的绝对值，也可得到最大为1的分光反射率的相对值。为了得到这种分光反射率，采用分光能量特性(例如图8A的E(λ))已知的光源以及分光灵敏度特性(例如图8B的S(λ))已知的照相机作为上述照相机300，按每波长测量被摄体(在此为房间RM的背景)的亮度。

(式2)

$R\left(\mathrm{\λ}\right)=k\·\frac{x\left(\mathrm{\λ}\right)}{E\left(\mathrm{\λ}\right)S\left(\mathrm{\λ}\right)}$

在此，k为常数。

其结果，得到图8C的x(λ)之后，通过物体检测部505，如(式2)那样，通过所测量的亮度x(λ)除以E(λ)、S(λ)而得到被摄体的分光反射率的相对值R(λ)。为了按每波长测量被摄体的亮度，在照相机前设置有可电气地使通过波长域变化的液晶可调谐滤波器等，一边使通过波长移位，一边通过以所使用的通过波长域的数目次对同一被摄体摄影来进行。

同样，在从物体ID信息得到实物的大小信息的情况下，能够根据照相机的设置位置以及房间RM的形状等推定反映到摄影图像的物体的大小(象素数)，因此在通过差分检测出多个物体时，能够采用大小(象素数)，由物体检测部505限定具有检测对象的ID信息的物体。考虑例如，如图9所示，在设置有桌子Tb的房间RM中放置有物体A以及B，由照相机300从上方进行摄影的情况。图10表示由图9的照相机300所摄影的图像的差分的例子。根据由物体检测部505所进行的图像的差分，抽出区域x和区域y。区域x、y的形状为双方均为一边50象素的正方形。在根据无线标签读取器的输出，判断物体A、B置于房间RM内的情况下，需要将区域x、y和物体A、B对应起来。在此，只通过图10的差分图像的信息难以对应，但在判断房间RM的形状时(包括桌子Tb的大小、高度、设置位置)的情况下(将例如桌子Tb的大小、高度、设置位置等房间RM的形状的数据、与RFID标签关联的物体的大小的信息以及与物体ID信息对应的信息(例如物体的颜色、大小以及形状信息)等存储在存储机构400中时)，能够由物体检测部505根据与RFID标签关联的物体的大小推定出图像中的物体的大小。如果采用根据距地板面FL的高度来决定投影到图像平面的大小的最单纯的近似，则在图9中设桌子Tb的高度为H、照相机300的透镜中心LC和地板面FL之间的距离为3H时，相当于桌面Tb的上面的区域RT中，与其他区域相比，物体的大小变为1.5倍。例如实际的长度为10cm的被摄体，在图10的图像平面中，在相当于桌子Tb的上面的区域RT中被投影为75象素，在地板面FL的区域中被投影为50象素。在根据与物体ID信息对应的大小以及形状信息，判断出物体A的上面为一边15cm的正方形、物体B的上面为一边10cm的正方形时，能够由物体检测部505推定出区域x为物体A，区域y为物体B。

同样，在根据物体ID信息得到物体形状信息时，根据差分检测到了多个物体时，能够采用形状由物体检测部505限定物体。该方法中，摄影图像中的物体的形状不会根据实际世界中的物体的姿势而变化，对球那样的物体特别有效。

另外，也可在差分计算时除去人探测传感器的探测范围而由物体检测部505计算差分。通过物体检测部505计算差分时，有时在想要检测的物体以外，还会检测出对其进行处理的人。在房间RM中足够高的场所设置照相机300，在使光轴朝向垂直方向的下方向进行摄影时，如果采用人探测传感器进行探测的时间带内的图像，便如图6A所示，人存在于人探测传感器的探测范围内。在此，如图11A～图11D那样，除去人探测传感器201、202、203的探测范围90a、90b、90c，即采用图像Ic的掩模图像，由物体检测部505进行差分，从而如图像Id那样能够通过物体检测部505检测出物体。在此，图11A示出了物体A(图中由OA表示)与人(图中用HM表示)一起存在于无线标签读取器101以及人探测传感器201的探测范围90a内的图像Ia。图11B示出了物体A被放置在探测范围90a和探测范围90b之间的地板面，只有人存在于无线标签读取器102以及人探测传感器202的探测范围90b内的图像Ib。图11C示出了将对人探测传感器201、202、203的探测范围90a、90b、90c(图11C的黑色部分)进行了掩模后的图像Ic。图11D表示利用作为图像Ic的黑色部分即掩模区域而得到的图像Ia和图像Ib之间的差分图像Id即只检测出了物体A的图像。

另外，也可通过物体检测部505进行以下处理，来代替除去人探测传感器的探测范围90a、90b、90c而由物体检测部505计算差分。

在计算差分时，如图12A～图12C所示，从时间带TZ1选择取得时刻互相不同的2个图像Ia、Ic后，根据两者的差分由物体检测部505求得变化区域，由此由物体检测部505决定第1掩模区域MR1。在此，图12A表示物体A(图中用OA表示)与人(图中用HM表示)一起存在于无线标签读取器101以及人探测传感器201的探测范围90a内的图像Ia。图12B表示物体A(图中用OA表示)与人(图中用HM表示)一起存在于无线标签读取器101以及人探测传感器201的探测范围90a内的图像Ic。图12C表示根据图像Ia和图像Ic之间的差分得到的第1掩模区域MR1(掩模部分(用黑色表示掩模部分(图12A的物体A和人的部分以及图12B的物体A和人的部分))。

此外，如图13A～图13C所示，从时间带TZ2选择取得时刻互相不同的两个图像Ib、Id之后，通过根据两者的差分由物体检测部505取得变化区域，从而由物体检测部505决定第2掩模区域MR2。在此，图13A表示物体A(图中由OA表示)被放置在探测范围90a和探测范围90b之间的地板面，只人(图中由HM表示)存在于无线标签读取器102以及人探测传感器202的探测范围90b内的图像Ib。图13B表示物体A被放置在探测范围90a和探测范围90b之间的地板面，只人存在于无线标签读取器102以及人探测传感器202的探测范围90b内的图像Id。图13C表示由图像Ib和图像Id之间的差分得到的第2掩模区域MR2(用黑色表示掩模部分(图13A的人部分以及图13B的人部分))。

在计算图像Ia(或者Ic)和图像Ib(或Id)的差分时，除去第1掩模区域MR1以及第2掩模区域MR2之外由物体检测部505计算差分，能够只检测出物体A。

在步骤SA9中，通过索引管理部506进行索引j是否为N以上的检查，在通过索引管理部506判断出索引j为N以上时，结束上述物体检测处理。

在通过索引管理部506判断出索引j小于N时，则在步骤SA10中，通过索引管理部506将索引i的值设置为当前的索引j的值，再次进行步骤SA2。由此，针对步骤SA0所确定的所有的时间带，进行上述物体检测处理。

另外，在结束物体检测步骤SA8的时刻，也可通过存储机构管理部507从存储机构400消除比时间带TZj靠前的时刻的传感器数据。在各传感器数据只用于确定物体的ID信息以及位置时，结束物体检测部505所进行的物体检测后，通过由存储机构管理部507从存储机构400删除处理完成的传感器数据，从而能够削减存储机构400的容量。尤其，在对图像数据那样的信息量多的数据进行处理的情况下有效。

输入输出部700被用作操作者和本物体检测装置之间的接口。在操作者想要搜索某物体例如某物品的位置时，通过键盘、鼠标或麦克风(声音识别)等输入该物品的名称。此外，由物体检测机构500所检测出的物品的位置，通过显示监视器或扬声器等通知给操作者。此外，在将自走式机器人导入家庭内的情况下，将物品的位置信息发送到上述机器人，机器人在房间RM内行走，基于操作者的指示可进行搬送所搜索的物品的服务。

如上那样，通过第1实施方式的物体检测装置以及方法，在搜索物体的空间中，具备：探测与被付与了无线标签的物体OA的物体ID信息相关的数据的1个以上的无线标签读取器101～104；在上述空间中，探测上述无线标签读取器101～104的探测范围90a、90b、90c、90d中是否有人HM存在的1个以上的人探测传感器201～203；摄影上述空间的一部分或全体的照相机300；将上述无线标签读取器101～104所探测的物体ID信息相关的数据、上述人探测传感器201～203所探测的人探测数据以及上述照相机300所摄影的图像数据，与上述数据的各个的取得时刻相关联蓄积起来的存储机构400；以及基于上述存储机构400中所存储的上述物体ID信息相关的数据、上述人检测数据、以及上述图像数据，检测上述物体OA的ID信息以及位置的物体检测机构500。并且，上述物体检测机构500的结构为，判断出与取得表示上述人HM存在的上述人探测数据的第1时刻以及第2时刻分别对应的、第1物体ID数据以及第2物体ID相关的数据互相不同的情况下，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将上述图像数据中的差分区域的位置或者将上述差分区域的位置变换为搜索上述物体OA的上述空间中的位置后的位置，作为上述物体OA的位置检测出来。因此，即使位于无线标签读取器101～104的检测范围外的物体OA，也能决定物体OA的ID信息以及位置。此外，基于人探测传感器201～203以及无线标签读取器101～104的输出，通过物体检测机构500选择进行差分的图像，因此不需要对所有的图像进行差分，能够削减运算量。

另外，本发明者们，同时提出了以下的技术，但余留有以下的课题。

如图14所示，将识别物体ID信息的无线标签读取器TGR设置在起居室、书房、卧室、浴室、卫生间等的各房间RM的出入口GW以及作为玄关的出入口GW处，持有被付与了RFID标签的物体的人通过各房间RM的出入口GW时，将物体的ID信息相关的数据和检测时刻记录在数据库(例如存储机构400)。此外，通过检测进行物体的处理的人的位置的检测传感器201～203，如图15(b)那样得到在房间内的人的移动轨迹的同时，如图15(a)所示那样得到人的每单位时间的移动距离即速度的信息。

例如在持有付与RFID标签的物体A的人进入到图15(b)的房间中时，在入室时以设置在出入口GW的标签读取器TGR检测物体A。之后，暂时停留在房间RM后，离开房间，在离开时通过标签读取器TGR没有探测到物体A。此时，可判断为物体A被置于房间RM中的某处。

物体所放置的场所为人的移动轨迹附近，如果采用在人进行物体的处理时，人的移动速度变小，在该场所附近停留的时间变长的假定，则能够推定在图15中放置物体A的可能性较大的场所为书架BS前或者冰箱Rf/厨房KS前。同时，也能够推定进行过物体的处理的时刻。

但是，在以上的技术中，不能确定物体被放置的场所以及时刻，难以推定物体被放置的可能性大的场所以及时刻。与此相对，考虑采取下述对策，即还具备：作为摄影进行物体检索的环境的摄影装置的一例的照相机300；和作为蓄积有由照相机300所摄影的图像信息的图像数据库的一例的存储机构400，基于如上述那样推定的物体的场所以及时刻，从存储机构400中检索对应的图像，显示该图像，对检索物体的人委托判断有无物体这些更进一步的对策。但是，在该情况下，也需要人通过目视确认图像，余留有浪费时间的课题。

在此，本发明的上述第1实施方式中，在通过上述物体检测机构500，将与取得表示上述人HM存在的上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID数据和第2物体ID信息相关的数据互相进行比较而判断为不同的情况下，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将上述图像数据中的差分区域的位置或者将上述差分区域的位置变换为搜索上述物体OA的上述空间中的位置后的位置，作为上述物体OA的位置检测出，从而也能够解决上述余留的上述课题。

(第2实施方式)

以下，参照附图对本发明中的第2实施方式相关的物体检测装置以及方法进行详细的说明。

图16为表示本发明的第2实施方式相关的物体检测装置的结构的框图。房间RM由从上方透视设置有物体检测装置的房间RM的概略形状(在该例中为长方形框)来表现。

上述物体检测装置由输入输出部700、物体检测机构500、计时机构600、存储机构400、照相机300、3个无线标签读取器101～103和人位置传感器210来大致构成。与第1实施方式较大的不同的点在于具备人位置传感器210来代替人探测传感器201～203。

与第1实施方式相同，在房间RM内设置有上述3个无线标签读取器101～103以及3个无线标签读取器101～103的3个天线111～112。通过用虚线描绘的圆90a、90b、90c来表示无线标签读取器101～103的探测范围。尤其无线标签读取器101按照探测范围90a位于房间RM的出入口GW附近的方式设置。关于无线标签读取器101～103以及天线111～112与第1实施方式相同，因此省略详细的说明。

人位置传感器210，检测存在于房间RM内的人的二维位置(或三维位置)。作为人位置传感器210的例子，能够利用超声波传感器或地板压力传感器。在超声波传感器的情况下，如图17所示，由安装在天花板CL等的3个以上的超声波接收器93c接收从人HM携带的超声波发送器93a发出的超声波93b，进行利用到达时间的3点测量，从而测量人HM的三维位置。在地板压力传感器的情况下，如图18A所示，将二维阵列状地排列多个压力传感器单元94的设备设置在地板面FL，根据探测压力的压力传感器单元94的二维阵列中的位置来测量人HM的二维位置。图18B表示具备无线标签读取器101～103以及作为人位置传感器210的多个超声波接收器93c以及超声波发送器93a的房间RM的样子。图18C表示具备无线标签读取器101～103以及作为人位置传感器210的多个地板压力传感器单元94的房间RM的样子。第1实施方式中的人探测传感器201～203输出人是否存在于探测范围内的二值信息的时间系列数据，但本第2实施方式中的人位置传感器210输出人的二维位置(或三维位置)的时间系列数据。在本第2实施方式中，利用超声波传感器作为人位置传感器210。超声波传感器的数据取得以1次/秒的频率进行，读取结果被发送到存储机构400。超声波传感器的发送器93a例如固定在人HM的腰等人的身体的中心附近。利用超声波传感器时，能够取得发送器93a的世界坐标系中的三维位置(X，Y，Z)。但是，在本第2实施方式中，将其中的X坐标值以及Y坐标值发送到存储机构400。坐标系所取的方向如图19所示。即通过X方向、与X方向正交的Y方向定义地板面，通过与X方向和Y方向这两个方向正交的Z方向来定义高度方向。

另外，读取频率不需要为每秒1次，也可配合移动物体的人的移动速度等来设定为最佳频率。例如，也可在与快速的移动速度对应的情况下，增大读取频率。

关于照相机300与第1实施方式相同，因此省略详细的说明。

存储机构400，通过利用计时机构600，将无线标签读取器101～103的读取结果的数据、人位置传感器210的读取结果的数据和照相机300的摄影图像的数据与从计时机构600取得的各数据的取得时刻对应蓄积起来。

接下来，对蓄积在存储机构400中的无线标签读取器101～103、人位置传感器210、照相机300等的各种传感器的探测数据进行说明。考虑对物体进行处理的人按照图20中的动线ML那样在房间RM内移动的情况。人在持有物体A的状态下通过出入口GW进入到房间RM内，途中在场所L1通过将物体A置于附近的桌子上，而松开物体A，之后，在场所L2从地板重新捡起物体B，通过出入口GW从房间RM退出。

此时，图21表示所得到的无线标签读取器101～103以及人位置传感器210的输出。人位置传感器210的输出为图19的坐标系中的X、Y坐标值，原点为图20那样的表示房间RM的矩形的左上点。单位为mm。

如上所述，无线标签读取器101～103和人位置传感器210以1次/秒的频率进行读取。在图21中，无线标签读取器101～103和人位置传感器210的读取定时同步，但也可不是同步。在不是同步的情况下，也可使读取时刻最近的数据之间相关联。

物体检测机构500，利用蓄积在存储机构400中的各种传感器的探测数据来检测物体。物体检测机构500，与上述第1实施方式相同，由用于确定人位置传感器210的输出坐标值连续地包括在无线标签读取器101～103的探测范围90a、90b、90c内的时间带TZn以及时间带的总数N的时间带确定部501；物体ID取得部502；物体ID比较部503；图像数据选择部504和物体检测部505构成。图22为表示本第2实施方式的物体检测装置中的物体检测机构500所进行的物体检测方法的流程图。

以下，根据图22的流程图，对本第2实施方式相关的物体检测装置以及物体检测方法相关的物体检测处理进行说明。

首先，在通过时间带确定部执行的步骤SB0中，通过时间带确定部501确定人位置传感器210的输出坐标值连续地包括在无线标签读取器101～103的探测范围90a、90b、90c内的时间带TZn以及时间带的总数N。人位置传感器210的输出坐标值是否包括在无线标签读取器101～103的探测范围90a、90b、90c内，能够通过采用如图23那样预先测量的各无线标签读取器101～103的探测范围90a、90b、90c和人位置传感器210的输出坐标值来进行判断。另外，如图24那样，也可在探测范围90a、90b、90c能够近似为圆时，利用无线标签读取器101～103的天线的设置位置(X₀，Y₀)和探测距离(圆的半径)R，通过时间带确定部501来进行上述判断。在此，设人位置传感器210的输出坐标值为(x，y)，在

(式3)

(x-X₀)²+(y-Y₀)²≤R²

时，(x，y)包括在无线标签读取器的探测范围中。

(式4)

(x-X₀)²+(y-Y₀)²＞R²

时，(x，y)不包括在无线标签读取器的探测范围中。

图25表示将由步骤SB0得到的结果与图21的结果一起标记。在图25中，人位置传感器210的输出坐标值包括在无线标签读取器101～103的探测范围90a、90b、90c内时，付与○标记。之后，确定人位置传感器210的输出坐标值连续位于无线标签读取器101～103的探测范围90a、90b、90c内的时间带。图25的数据中，设时刻0～2秒为时间带TZ1，设时刻14～17秒为时间带TZ2，设时刻31～33秒为时间带TZ3，设时刻41～42秒为时间带TZ4。其结果，图25的数据的时间带的总数N＝4。

接下来的步骤SA1到SA6与第1实施方式的步骤SA1到SA6相同，因此省略说明。

在由图像数据选择部504所执行的步骤SA7中，进行用于检测物体位置的图像数据的选择。根据图25的数据，在时间带TZ1中，无线标签读取器101探测与物体A的ID信息相关的数据，在时间带TZ2中无线标签读取器102没有探测到任何物体ID信息的这种对与物体ID信息相关的数据的探测，由图像数据选择部504来判断。即能够由图像数据选择部推定在时间带TZ1中，被置于无线标签读取器101的探测范围90a内的或者在无线标签读取器1010的探测范围90a内人(图中用HM表示)所持有的物体A在从时刻3到13秒期间移动到无线标签读取器的探测范围外。

即如图26所示，能够由数据选择部504判断在时间带TZ1内的时刻(例如时刻2秒)通过照相机300摄影的图像Ia中，物体A(图中用OA表示)存在于无线标签读取器101的探测范围90a内，在时间带TZ2的时刻(例如时刻14秒)通过照相机300摄影的图像Ib中，物体A存储在无线标签读取器的探测范围外。在步骤SA7中，由图像数据选择部504从存储机构400中选择这种图像Ia及图像Ib。

接下来，在通过物体检测部505执行的步骤SB8中，由物体检测部505计算图像Ia以及图像Ib的差分，从而由物体检测部505决定物体A的位置。例如将由物体检测部505通过差分得到的区域的重心决定为物体A的位置。在本第2实施方式中，通过人位置传感器210得到各时刻中的人HM的位置，因此通过由物体检测部505在照相机坐标系中变换人位置传感器210的输出坐标值，如图27A以及图27B所示，通过物体检测部505能够在摄影图像Ia、Ib中计算出标有人的位置。在人HM的大小已知时，通过物体检测部505也能推定在摄影图像Ia、Ib中标有的人HM的区域。

具体地来说，将人HM的世界坐标系的二维位置(X_HM，Y_HM)变换为照相机坐标系的位置(X_HM，Y_HM)后，能够通过物体检测部505推定在摄影图像中在位置(X_HM，Y_HM)的周围预定的区域为人HM的区域。作为上述预定的区域，例如能够采用以位置(X_HM，Y_HM)为中心的规定半径的圆的区域。另外，为了由物体检测部505将人位置传感器210的输出坐标值(世界坐标系)变换到照相机坐标系，而照相机300需要校正结束。所谓照相机300校正结束，是指求得照相机300的三维位置以及3维姿势等的外部参数以及焦点距离等的内部参数后，存储在存储机构400等中。如果能够在摄影图像中推定人HM的区域，则也可在通过以下说明的方法求得差分计算对象的区域后，由物体检测部505除去人HM的区域后进行差分。

此外，在时刻2秒和时刻14秒之间能够通过物体检测部505推定物体A被置于房间RM内，并且为了由人位置传感器210得到各时刻中的人Hm的位置，而预先假定人HM可操作物体的距离D并存储在存储机构400等中时，能够由物体检测部505根据人HM的移动轨迹(动线ML)来推定A存在的区域。例如，如该第2实施方式那样，在房间RM的中央附近的天花板CL中，按照照相机300的光轴下垂直方向上向下的方式设置照相机300的情况下，如图28所示，能够简单地将物体存在的区域定义为与人HM的移动轨迹(动线ML)的行进方向垂直的长度2D的线段通过的区域。人HM可操作物体的距离D能够基于例如人HM的手的长度来决定，在图28的情况下，D＝70(cm)为一例。通过以上的处理，由物体检测部505如图29那样得到差分计算对象的区域。

在以上的例子中，表示了采用二维信息作为位置信息的简易的计算方法。以下，对采用三维信息的例子进行说明。

作为前提条件，房间RM的三维形状是已知的，照相机300校正结束。在此，存在于房间RM内且位置固定的家具等也包括在房间RM的三维形状中。此外，所谓照相机300校正结束，是指求得照相机300的三维位置以及三维姿势等的外部参数、焦点距离等的内部参数后，存储在存储机构400等中。

首先，基于某时刻中的人HM的三维位置，定义人能够操作物体(放置或取出)的三维区域后存储在存储机构400等中。对作为三维区域的例子，设定圆柱区域而存储在存储机构400等的情况进行了说明。另外，在以下的说明中，单位全部为[cm]。如图37那样，设人HM的世界坐标系中的三维位置的位置坐标为(X_HM，Y_HM，Z_HM)时，以中心的位置坐标为(X_HM，Y_HM，0)、半径为D的圆为底面，并且将在Z方向具有H的高度的圆柱区域定义为在某一时刻中存在于位置(X_HM，Y_HM，Z_HM)的人HM可操作物体的区域后，存储在存储机构400等中。在此，半径D基于人HM的手的长度而被决定，高度H基于人HM的身高而决定。这里，由于如果人HM向上方伸手，则手会到达比身高高的位置，因此将高度H设定为比人HM的身高高的值后存储在存储机构400等中。

接下来，考虑连接在时刻2秒和时刻14秒之间移动的人HM的三维位置的曲线(或者弯折线)，以该曲线(或弯折线)上的多个点为基准分别考虑上述所说明的圆柱区域，如图38那样定义上述的多个圆柱区域(也包括内部区域)之和的区域为物体可操作空间VO后，存储在存储机构400等中。在人位置的采样间隔足够密集的情况下，也可由物体检测部505直接利用测量点作为上述多个点。在人位置的采样间隔稀疏的情况下，也可由物体检测部505插补测量点后，由物体检测部505将插补后的曲线(或弯折线)上的点与测量点一起使用。

实际上由于物体并不会浮在空中，因此由物体检测部505决定包括在上述物体可操作空间VO中的水平面为物体存在候补区域AO。图39、图40分别表示在物体操作空间VO内包括桌子以及架子的一部分时的物体存在候补区域AO的例子。在物体操作空间VO内没有家具等的立体物时，物体存在候补区域AO只为地板面。

另外，作为人可操作物体的三维区域的其他例子，也可定义以基于人HM的世界坐标系中的三维位置坐标(X_HM，Y_HM，Z_HM)所计算的三维位置为中心的规定半径的球后，存储在存储机构400等中。三维位置坐标(X_HM，Y_HM，Z_HM)为人位置传感器检测出的人的位置。作为人位置传感器，在利用超声波发送器93a的情况下，所检测出的人的位置为超声波发送器93a的位置。在人在其腰部携带超声波发送器93a时，预先作成从腰的位置向连接两肩的中点的变换函数而存储在存储机构400等中，通过物体检测部505将上述变换函数适用于所测量的三维位置(X_HM，Y_HM，Z_HM)来计算，以通过计算求出的三维位置为中心定义球，也可将所定义的球作为人可操作物体的三维区域后，存储在存储机构400等中。

在三维世界坐标系中求出物体存在候补区域AO后，由物体检测部505将该物体存在候补区域AO投影到二维照相机坐标系。投影能够由物体检测部505采用房间RM的三维形状(三维模型)以及二维照相机的外部参数以及内部参数，采用计算机图形中的绘制(rendering)技术来实现。用AO′来表示投影到二维照相机坐标系后的物体存在候补区域。如该第2实施方式那样，在房间RM的中央附近的天花板CL上，按照照相机300的光轴朝向垂直方向下方的方式设置照相机300时，物体存在候补区域AO′如图41所示。

采用同样的方法，能够由物体检测部505求出因为人HM而被隐蔽的区域。其目的在于，在对物体存在候补区域AO′进行图像Ia(摄影时刻：2秒)以及图像Ib(摄影时刻：14秒)的差分计算时，进一步将存在被人HM所隐蔽的可能性的区域从差分计算对象区域除外。为了由物体检测部505推定摄影图像中的人HM的区域，与求出了物体存在候补区域AO′的情况相同，在三维世界坐标系中设定人的三维模型后存储在存储机构400等中，也可通过物体检测部505投影(绘制)到二维照相机坐标系中。在此，如图42那样以圆柱形状表现人的三维模型。在人位置传感器所进行的测量值为(X_HM，Y_HM，Z_HM)时，成为以中心(X_HM，Y_HM，0)且半径R_HM的圆为底面，并且向Z方向的高度为H_HM的圆柱。在此，作为参数的半径R_HM以及高度H_HM，也可根据人的平均的大小(平均的手的长度以及平均的身高)预先求得后，存储在存储机构400等中。此外，也可预先按每个人设定参数的值后存储在存储机构400等中，由物体检测部505采用按照人的ID而不同的值作为参数。

图43表示从图41的物体存储候补区域AO′除去因为人而被隐蔽的区域后的区域。以后，在摄影图像Ia以及Ib中，也可由物体检测部505对图43的区域进行计算。

在该第2实施方式中，照相机的数目为1个，并且照相机按照在天花板CL上其光轴朝向垂直方向下方的方式设定，因此即使物体的存在候补区域AO′和被人隐蔽的区域重叠，也只有从物体的存在候补区域AO′除去因为被人所隐蔽的区域的应对方法。但是，在存在多个照相机的情况下，在三维世界坐标系中分别由物体检测部505求出物体存在候补区域AO以及人HM的区域后，在每个照相机的照相机坐标系中由物体检测部505对上述区域进行绘制，通过这样在摄影图像中，能够由物体检测部505判断物体存在候补区域和人区域是否重叠。由此，能由物体检测部505选择两者不重叠或重叠较少的照相机，从而能够高精度地检测出物体位置。此外，在天花板中只安装一台照相机的情况下，不能由照相机对图39中的桌子下的物体存在候补区域AO进行摄影，但在存在多台照相机并且存在从桌子的正上方以外进行摄影的照相机的情况下，由物体检测部505选择在照相机坐标系中可绘制桌子下的物体存在候补区域AO的照相机，从而也可检测放置于桌子下的物体。

由以下的第3实施方式对采用多个照相机的情况进行说明。

另外，在能够根据带在人HM身上的超声波发送器的ID信息相关的数据确定人HM的情况下，按每个人准备手的长度的数据库(例如存储机构400或与存储机构400不同的其他存储机构)，由物体检测部505采用所确定的人的手的长度，能够由物体检测部505按每个人决定物体的存在区域。当然，即使在使用地板压力传感器作为人位置传感器210的例子的情况下，如果通过解析人的步行信息能确定人，则按每人准备步行信息的数据库(例如存储机构400或与存储机构400不同的存储机构)，由物体检测部505采用存储在数据库中的步行信息来确定人，也可采用所确定的人的手的长度来由物体检测部505决定物体的存在区域。

因此，如图29那样，在物体检测部505所进行的差分计算时，能够由物体检测部505将人的区域可靠地除外，并且能由物体检测部505限定计算差分的区域，能够减少运算量。进而，在照相机300的视野内，在存在其他人物，其他人物移动了其他物体的情况下，通过由物体检测部505限定计算差分的区域，从而能够避免或减少作为差分区域抽出其他人物或移动的其他物体的影响。

此时，如果有与物体A的ID信息对应的颜色信息、大小信息、形状信息等，则也可利用上述信息由物体检测部505来进行差分。关于上述利用，已经在第1实施方式的步骤SA8进行了叙述，因此省略说明。

接下来，在步骤SA9中，通过索引管理部506进行索引j是否为N以上的检查，如果由索引管理部506判断索引j为N以上，则上述物体检测处理结束。

如果由索引管理部506判断索引j小于N，则在步骤SA10中，由索引管理部506将索引i的值设置为当前的索引j的值，再次进行步骤SA2。由此，在由步骤SB0所确定的所有的时间带，进行上述物体检测处理。

另外，关于输入输出部700，与第1实施方式相同，因此省略说明。

如上所述，按照本第2实施方式的物体检测装置以及方法，在搜索物体OA的空间中，具备：探测被付与了无线标签的物体OA的物体ID信息相关的数据的1个以上的无线标签读取器101～103；测量在上述空间中处理上述物体OA的人HM的位置的1个以上的人位置传感器210；摄影上述空间的一部分或全体的摄影装置的一例的照相机300；将上述无线标签读取器101～104所探测的物体ID信息相关的数据、上述人位置传感器210所测量的人位置数据以及上述照相机300所摄影的图像数据与上述数据的各个取得时刻相关联蓄积起来的存储机构400；基于蓄积在上述存储机构400中的上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测上述物体的ID信息以及位置的物体检测机构500。并且构成为：在上述物体检测机构500，上述人位置传感器210所测量的人位置包括在上述无线标签读取器101～104的探测范围内时取得了上述人位置数据的第1时刻以及第2时刻，判断出与上述物体ID信息相关的数据中与该第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据和第2物体ID信息相关的数据互相不同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，并且在计算该差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，接下来，将图像数据中的上述差分区域的位置或将上述位置变换为搜索上述物体OA的空间中的位置后的位置作为物体OA的位置检测出。因此，即使为处于无线标签读取器101～103的探测范围外的物体，也能决定物体的ID信息以及位置。此外，基于人位置传感器210以及无线标签读取器101～103的输出，由图像数据选择部504选择进行差分的图像，因此不需要由物体检测部505对所有的图像数据(换句话说按每帧)进行差分，能够削减运算量。此外，在由物体检测部505进行差分计算时，基于人位置传感器210的输出，能够将人HM的区域可靠地除外，并且由于能够限定计算差分的区域，因此能够减少运算量。

(第3实施方式)

以下，参照附图对本发明中的第3实施方式相关的物体检测装置以及方法进行详细的说明。

图30为表示本发明的第3实施方式相关的物体检测装置的结构的框图。房间RM由从上方透视设置有物体检测装置的房间RM的概略形状(在该例中为长方形框)表现。

上述物体检测装置具备：输入输出部700；物体检测机构500；计时机构600；存储机构400；多个照相机301、302、303…；3个无线标签读取器101～103；和人位置传感器210大致构成。与第2实施方式较大的不同点在于具备多个照相机301、302、303…来代替照相机300。

与第1实施方式相同，在房间RM内设置有上述3个无线标签读取器101～103；3个无线标签读取器101～103的3个天线111～112；人位置传感器210以及多个照相机301、302、303…。从上述无线标签读取器101～103、人位置传感器210、照相机301、302、303…等的传感器输出的数据，通过利用计时机构600，与由计时机构600取得的各数据的取得时刻对应而蓄积在存储机构400中。

此外，物体检测机构500，利用被蓄积在存储机构400并从传感器输出的数据，检测存在于房间RM内的物体OA的ID信息以及位置。关于无线标签读取器101～103以及人位置传感器210，与第2实施方式相同，因此省略说明。与第2实施方式的差异点在于设置有多个照相机301、302、303…，图30中的各个照相机301、302、303…的位置和房间RM之间的位置关系，不反映实际的位置关系。关于位置关系，以下进行说明。

多个照相机301、302、303…按照通过多个或单个来远望房间RM整体的方式设置。作为前者的例子，如图31B所示，对将9台照相机301、302、303、304、305、306、307、308、309的光轴设置为朝向垂直方向的下方，分散设置在天花板CL的情况进行考虑。此时，如图3 1A所示，房间RM的地板面FL由9台照相机301、302、303、304305、306、307、308、309的视野(1)～(9)覆盖。

另外，照相机的台数也可为9台以外的任意台数，也可容许照相机的视野重复。尤其，如图31B(图31A)那样在房间RM的地板面FL中视野不重复时，向上方远离地板面FL时产生不管在哪个照相机的视野中都不包括的区域。因此，在将物体放置于从桌子或家具等远离地板面FL的场所时，优选设定为按照具有可放置物体的可能性的场所不成为死角的方式使邻接配置的照相机的视野重复等。

图32为表示本第3实施方式的物体检测装置中的物体检测机构500所进行的物体检测方法的流程图。

以下，按照图32的流程图，对本第3实施方式相关的物体检测装置以及物体检测方法相关的物体检测处理进行说明。

由于从步骤SB0、SA1到SA6的处理与第2实施方式相同，因此省略说明，对步骤SC7以后的流程进行说明。

在由图像数据选择部504所执行的步骤SC7中，进行拍摄适用于检测物体位置的图像的照相机301～309以及用于检测物体位置的图像的选择。与第2实施方式相同，在得到来自图21的传感器的数据的情况下，进行与第2实施方式相同的处理，从而如图29那样，限定物体A的存在区域。在本第3实施方式中，如图31A那样用9个照相机301～309对房间RM进行摄影。因此，可得知为了根据图29的物体OA的存在区域和各照相机301～309的视野区域之间的关系检测出物体OA，由图像数据选择部504选择具有视野(1)、(2)、(3)的3个照相机301、302、303即可。如果通过图像数据选择部504选择照相机301、302、303，则采用与第2实施方式相同的方法，由图像数据选择部504从存储机构400选择所选择的照相机301、302、303中的时刻2秒和时刻14秒的图像数据。

在该例中，由于不能由单一的照相机覆盖平面状的物体的存在区域，因此选择3个照相机。作为除此之外的例子，如以第2实施方式所说明的图39、图40那样，在物体的存在区域(物体存在候补区域AO)不为平面时，会有由于单个照相机而产生隐蔽的情况。即使在这种情况下，如果为多个照相机从各个位置/角度对房间内进行摄影的情况，通过按照覆盖物体存在候补区域AO的所有区域的方式由物体检测部505选择多个照相机，从而能够隐蔽地进行稳固的物体检测。

在由物体检测部505执行的步骤SB8中，在步骤SC7利用由图像数据选择部504所选择的图像数据，进行差分，通过上述方式检测物体的位置。如果所选择的照相机为多个，则由物体检测部505对每个照相机进行2个的图像数据间的差分，采用检测出了差分区域的照相机的结果。此外，在由物体检测部505计算差分时，与第2实施方式同样，利用图29的斜线区域，由物体检测部505能够将人的区域可靠地除外，并且能够限定计算差分的区域。

接下来，在步骤SA9中，由索引管理部506进行索引j是否为N以上的检查，如果由索引管理部506判断索引j在N以上，则结束上述物体检测处理。

如果由索引管理部506判断索引j小于N，则在步骤SA10中，由索引管理部506将索引i的值设置为当前的索引j的值，再次进行步骤SA2。由此，对在步骤SB0所确定的所有的时间带进行上述物体检测处理。

另外，关于输入输出部700与第1实施方式相同，因此省略说明。

如上所述，按照本第3实施方式的物体检测方法以及装置，在搜索物体OA的空间中，具备：探测被付与了无线标签的物体OA的物体ID信息相关的数据的1个以上的无线标签读取器101～103；测量在上述空间中处理上述物体OA的人HM的位置的1个以上的人位置传感器210；分别摄影上述空间的一部分或全体的2个以上的摄影装置的一例的照相机301～309；将上述无线标签读取器101～103所探测的物体ID信息相关的数据、上述人位置传感器210所测量的人位置数据以及上述照相机301～309所摄影的图像数据与上述数据的各个取得时刻相关联蓄积起来的存储机构400；基于蓄积在上述存储机构400中的上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测上述物体的ID信息以及位置的物体检测机构500。并且构成为：上述物体检测机构500判断出，在上述人位置传感器210所测量的人位置包括在上述无线标签读取器101～103的探测范围内时取得了上述人位置数据的第1时刻以及第2时刻，判断出与该第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据和第2物体ID信息相关的数据互相不同时，确定出下述装置，即具有将基于从上述第1时刻到上述第2时刻的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据的每一个中，具有按照上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的照相机(照相机301～309中的任一个照相机或多个照相机)，计算通过上述所确定的照相机所摄影的与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将图像数据中的上述差分区域的位置或将上述位置变换为搜索上述物体的空间中的位置后的位置作为上述物体的位置检测出来。因此，即使为位于无线标签读取器101～103的探测范围外的物体OA，也能决定物体的ID信息以及位置。此外，基于人位置传感器201以及无线标签读取器101～103的输出，确定照相机，并且由图像数据选择部504从由上述所确定的照相机在各时刻摄影的图像数据中选择进行差分的对象图像数据。因此，不需要由物体检测部505对由所有的照相机301～309在所有的时刻摄影的各图像数据进行差分，能够削减运算量。此外，在由物体检测部505进行差分计算时，基于人位置传感器210的输出，能够将人的区域可靠地除外，并且能够限定计算差分的区域。

(第3实施方式的变形例)

在本第3实施方式的变形例中，与上述第3实施方式同样，采用图30的框图、图32的流程图。关于图30的框图，与第3实施方式同样，因此省略说明。

在第3实施方式的变形例中，如图31B(图31A)那样，按照合并9台照相机301～309的视野(1)～(9)而覆盖房间RM的地板面FL整个区域的方式设置照相机301～309，但在本第3实施方式的变形例中，如图33所示，分别将4台照相机301～304配置在天花板CL的四角。即按照在房间RM的天花板CL的四角上方设置有4台照相机301～304，从各照相机301～304可摄影房间RM的地板面FL的整体区域的方式进行设置。

以下，根据图32的流程图，对本第3实施方式相关的变形例的物体检测装置以及物体检测方法相关的物体检测处理进行说明。

由于步骤SB0、SA1到SA6的处理与第2实施方式相同，因此省略说明，对步骤SC7以后的步骤进行说明。

在由图像数据选择部504执行的步骤SC7中，由图像数据选择部504进行从4台照相机301～304中选择摄影适用于检测物体位置的图像的照相机，以及选择用于检测物体位置的图像数据。与第2实施方式相同，在从图21的传感器得到了数据的情况下，通过进行与第2实施方式相同的处理，如图29所示，限定物体A的存在区域。在此，图34A以及图34B分别表示照相机302的时刻2秒以及时刻14秒中的摄影图像。在该照相机位置中，在时刻14秒摄影的图像中，图29中的物体A的存在区域和人的姿势重叠，成为计算差分时的障碍。另一方面，图35A及图35B分别表示照相机304的时刻2秒以及时刻14秒中的摄影图像。在该照相机位置中，图29中的物体OA的存在区域和人HM的姿势不重叠，因此差分计算没有问题，能够实施。在由人位置传感器210测量人的位置时，通过由图像数据选择部504假定人的三维形状，从而能够由图像数据选择部504计算摄影图像数据中的人的区域，利用这一点，能够由图像数据选择部504选择图29所示的物体的存在区域不会被人所隐蔽起来的照相机(视点)的位置。关于物体的存在区域是否被人所隐蔽起来这一点，如第2实施方式所述，能够采用房间的三维形状模型、人的三维形状模型以及校正完成的照相机由物体检测部505来进行判定。而且，如果由图像数据选择部504选择照相机，则采用与第2实施方式相同的方法，由图像数据选择部504从存储机构400中选择所选择的照相机中的时刻2秒和时刻14秒的图像。

在由物体检测部505所执行的步骤SB8中，利用在步骤SC7由图像数据选择部504所选择的图像，如上述第3实施方式所说明的那样，通过进行差分来检测物体OA的位置。

此外，按照不改变照相机(视点)的位置，而改变摄影的时刻的方式由图像数据选择部504进行选择，从而也可将物体的存在区域没有被人隐蔽起来的摄影图像用于物体检测部505所进行的差分中。图25的数据，表示物体A在从时刻3秒到时刻13秒的期间被置于在上述时刻间人存在的位置附近(物体存在候补区域)的某处。如果为在时刻14秒以后的时刻中，人再次接近上述物体存在候补区域前的时刻，则由于物体A的位置不动，因此能够用于差分。图36为照相机302的时刻23秒中的摄影图像。在该摄影时刻，图29中的物体存在位置和人的姿势不重叠，并且该摄影时刻为人再次接近物体存在候补区域之前。因此，由图像数据选择部504选择图34A所表示的图像和图36所表示的图像数据，通过由物体检测部505计算上述图像数据的差分，从而能够检测出物体A的位置。

接下来，在步骤SA9中，由索引管理部506进行索引j是否在N以上的检查，如果由索引管理部506判断索引j在N以上，则结束上述物体检测处理。

如果由索引管理部506判断索引j小于N，则在步骤SA10中，由索引管理部506将索引i的值设置为当前的索引j的值，再次进行步骤SA2。由此，对在步骤SB0所确定的所有的时间带进行上述物体检测处理。

另外，关于输入输出部700与第1实施方式相同，因此省略说明。

如上所述，通过本第3实施方式的变形例的物体检测方法以及装置，设置分别可摄影房间RM的地板面FL的整个区域的4台照相机301～304，来代替按照合并9台照相机301～309的视野(1)～(9)而覆盖房间RM的地板面FL整个区域的方式设置照相机301～309，从而构成为通过改变照相机(视点)的位置由图像数据选择部504选择图像数据，将物体的存在区域不会被人所隐蔽的摄影图像用于物体检测部505所进行的差分中。或者，构成为按照不需要改变照相机(视点)的位置，而改变摄影的时刻的方式由图像数据选择部504选择图像数据，将物体的存在区域不会被人所隐蔽的摄影图像用于物体检测部505所进行的差分中。因此，即使为处于无线标签读取器101～103的探测范围外的物体OA，也能决定物体的ID信息以及位置。此外，基于人位置传感器210以及无线标签读取器101～103的输出，确定照相机，并且从上述照相机的摄影图像中选择进行差分的图像，因此不需要对由所有的照相机在所有的时刻摄影的图像进行差分，能够削减运算量。此外，在进行差分计算时，基于人位置传感器210，能够将人的区域可靠地除外，并且能够限定计算差分的区域。

另外，本发明并不限定于上述各种实施方式，能够由其他各种方式实施。

例如，作为具有上述第1、2、3实施方式的物体检测处理的各个步骤的计算机程序，可读取地存储在存储装置(硬盘等)等的记录介质中，将该计算机程序读入计算机的暂时存储装置(半导体存储器等)并采用CPU来执行，因此能够执行上述的各处理。

另外，通过适当组合上述各种实施方式中的任意的实施方式，能够实现分别所具有的效果。

(产业上的利用可能性)

本发明相关的物体检测装置、物体检测方法以及物体检测用计算机程序，能够提供一种用于管理一般住宅或办公室内等的物体的装置、方法。程序。尤其可实现能够采用无线标签技术等来管理存在于一般住宅内的日用品、在办公室中使用的各种物体的ID信息以及位置，在用户查询寻找物时，一边适当地提示上述寻找物的位置，一边让机器人搬送上述寻找物等的生活/业务支援。

以上对本发明参照附图并与优选实施方式相关联地充分进行了记载，但本领域技术人员会明白各种变形或修正。这种变形或修正只要没有超出权利要求的范围所限定的本发明的范围，就应理解为包括在其中。

Claims (12)

1.一种物体检测装置，

具备：

一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与上述物体ID信息相关的数据中的与该第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，并且在计算该差分时，对于基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，接下来将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

2.一种物体检测装置，

具备：

一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人位置传感器，其测量在上述空间中处理上述物体的人的位置；

两个以上的摄像装置，分别对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人位置传感器所测量的人位置数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人位置数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时取得了上述人位置数据的第1时刻以及第2时刻，判断出与该第1时刻以及第2时刻分别对应的、与第1物体ID信息相关的数据和与第2物体ID信息相关的数据互不相同时，从上述两个以上的摄像装置中，确定将具有以基于从上述第1时刻到上述第2时刻的上述人位置数据所决定的区域作为摄影视野的上述摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人的其他物体隐蔽起来的这种视点的上述摄像装置，计算通过上述所确定的摄像装置摄影的与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

3.一种物体检测装置，

具备：

一个以上的无线标签读取器，其在搜索物体的空间中，探测与被附加有无线标签的物体的物体ID信息相关的数据；

一个以上的人探测传感器，其探测在上述空间中人是否存在于上述无线标签读取器的探测范围中；

一个以上的摄像装置，其对上述空间的一部分或者全体进行摄影；

存储机构，其将上述无线标签读取器所探测的与物体ID信息相关的数据、上述人探测传感器所探测的人探测数据以及上述摄像装置所摄影的图像数据与上述数据的各个的取得时刻关联蓄积起来；和

物体检测机构，其基于蓄积在上述存储机构中的与上述物体ID信息相关的数据、上述人探测数据以及上述图像数据，检测出上述物体的ID信息以及位置，

上述物体检测机构，在判断出与取得了表示上述人存在的上述人探测数据的第1时刻以及第2时刻分别对应的、第1物体ID数据和第2物体ID信息相关的数据互不相同时，计算与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据之间的差分，将上述图像数据中的差分区域的位置，或者将上述差分区域的位置变换为搜索上述物体的上述空间中的位置后的位置，作为上述物体的位置检测出来。

4.根据权利要求3所述的物体检测装置，其特征在于，

上述摄像装置为照相机，上述物体检测机构在计算上述第1图像数据和上述第2图像数据之间的差分时，从计算上述第1图像数据和上述第2图像数据的差分的差分对象区域中，除去将上述人探测传感器的探测范围变换为照相机坐标系后的区域，在进行过除去后的区域中，计算上述差分。

5.根据权利要求3所述的物体检测装置，其特征在于，

上述物体检测机构具备：

图像数据选择部，其基于上述第1时刻，选择取得时刻互不相同的第1图像数据以及第3图像数据，基于上述第2时刻选择取得时刻互不相同的第2图像数据以及第4图像数据；和

物体检测部，其通过对由上述图像数据选择部所选择的上述第1图像数据和上述第3图像数据之间的差分进行计算，来决定第1掩模区域，通过对由上述图像数据选择部所选择的上述第2图像数据和上述第4图像数据之间的差分进行计算，来决定第2掩模区域，在对上述第1图像数据和上述第2图像数据之间的差分进行计算时，从差分的对象区域除去上述第1掩模区域以及上述第2掩模区域后，计算出上述第1图像数据和上述第2图像数据之间的差分。

6.根据权利要求1～5中任一项所述的物体检测装置，其特征在于，

上述物体检测机构，在计算上述第1图像数据和上述第2图像数据之间的差分时，在与上述第1物体ID信息相关的数据以及与上述第2物体ID信息相关的数据中，确定具有差异的物体ID信息，利用与具有差异的上述物体ID信息对应的物体的颜色、大小、形状的信息中至少一种信息来计算上述差分。

7.一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID数据比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

8.一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得了上述人位置数据的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据，

计算由上述图像数据选择所选择的、上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在计算上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分，

在上述物体ID比较中的上述比较的结果，为上述物体ID信息相关的数据不一致时，执行上述图像数据选择和上述物体检测。

9.一种物体检测方法，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，检测上述物体的ID信息以及位置，

将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较，

从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据，

计算由上述摄像装置/图像数据选择所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较中的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择以及上述物体检测。

10.一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测的物体ID数据、对上述无线标签读取器的探测范围中是否有人存在进行探测的一个以上的上述人探测传感器所探测到的人探测数据、和对搜索上述物体的空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

具备：

物体ID比较机构，将与取得了上述人探测数据的第1时刻以及第2时刻分别对应的第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据之间不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来。

11.一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和对上述空间的一部分或全体进行摄影的一个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

图像数据选择机构，在上述物体ID比较机构的上述比较的结果为上述物体ID信息相关的数据不一致时，选择与上述第1时刻以及上述第2时刻分别对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为物体的位置检测出来，在进行上述差分时，对基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域计算差分。

12.一种物体检测用计算机程序，采用对与各个取得时刻关联蓄积的被附加有无线标签的物体的物体ID信息相关的数据进行探测的一个以上的无线标签读取器所探测到的物体ID信息相关的数据、对处理上述物体的人的位置进行测量的一个以上的人位置传感器所测量的人位置数据、和分别对上述空间的一部分或全体进行摄影的两个以上的摄像装置所摄影的图像数据，使用计算机检测出上述物体的ID信息以及位置，

用于让上述计算机执行：

物体ID比较机构，将上述人位置传感器所测量的人位置包括在上述无线标签读取器的探测范围中时，与取得上述人位置数据后的第1时刻以及第2时刻分别对应的、第1物体ID信息相关的数据以及第2物体ID信息相关的数据进行比较；

摄像装置/图像数据选择机构，从上述两个以上的摄像装置中，确定具有以基于从上述第1时刻到上述第2时刻为止的上述人位置数据所决定的区域作为摄影视野的摄像装置，或者在与上述第1时刻以及上述第2时刻分别对应的第1图像数据以及第2图像数据的每一个中，具有上述区域不会被包括人在内的其他物体隐蔽起来的这种视点的摄像装置，选择通过上述所确定的摄像装置摄影的、分别与上述第1时刻以及上述第2时刻对应的第1图像数据和第2图像数据；和

物体检测机构，计算由上述摄像装置/图像数据选择机构所选择的上述第1图像数据和上述第2图像数据之间的差分，将图像数据中的上述差分区域的位置，或者将上述位置变换为搜索上述物体的空间中的位置后的位置，作为上述物体的位置检测出来，

在上述物体ID比较机构的上述比较的结果，为物体ID信息相关的数据不一致时，执行上述摄像装置/图像数据选择机构以及上述物体检测机构。

Images