CN1984756B

CN1984756B - 物品保持系统、机器人以及机器人控制方法

Info

Publication number: CN1984756B
Application number: CN200580023516.7A
Authority: CN
Inventors: 佐藤智; 中川雅通; 登一生; 中田干也; 近藤坚司
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2004-07-13
Filing date: 2005-07-13
Publication date: 2011-12-07
Anticipated expiration: 2025-07-13
Also published as: US7706918B2; CN1984756A; WO2006006624A1; CN101890720A; US20070239315A1; JPWO2006006624A1; JP4041837B2; CN101890720B

Abstract

本发明提供一种物品保持系统(10)，其中具备：识别装置(101)，对保持对象物的状况进行识别；保持方法确定机构(102)，根据由识别装置(101)识别的状况，确定保持方法；和保持装置(103)，按照由保持方法确定机构(102)确定的保持方法，执行保持对象物的保持。

Description

物品保持系统、机器人以及机器人控制方法

技术领域

本发明涉及根据物品的状况进行物品的保持的物品保持系统、根据物品的状况进行物品的保持的机器人以及机器人控制方法。

背景技术

作为现有的保持装置公知有如下装置：将保持对象物限定为例如蔬菜或布等这一种类，具备可最佳保持该保持对象物的处理(handling)部(例如，参照专利文献1、2)。

另一方面，还公知有如下的保持装置：按照可分别最佳地保持多种保持对象物的方式，具备与各种保持对象物相对应的多个处理部，根据保持对象物的种类来选择最佳的处理部(例如，参照专利文献3)。

而且，还公知有如下的保持装置：当存在多种保持对象物时，预先将该各种保持对象物的特征数据和针对该保持对象物的动作信息对应起来存储，根据上述特征数据，用视觉传感器来识别保持对象物的种类，并且以与该识别后的保持对象物相对应的动作来对其进行保持(例如，参照专利文献4)。

专利文献1：专利1976349号公报

专利文献2：特开平8-132379号公报

专利文献3：专利2710856号公报

专利文献4：特开昭64-2882号公报

由于上述各文献所公开的保持装置被用于工厂或仓库的所谓FA(Factory Automation)领域中，因此限定了保持对象物的种类，并且，对于该各种保持对象物而言，由保持装置进行保持时所需要的信息，例如形状数据、材质数据、保持对象物的保持位置数据等可预先获得。

对此，考虑将上述保持装置例如搭载于机器人，让该机器人在一般家庭、办公室、旅馆、店铺和医院等人类生活所需的空间(以下，称作生活空间)内进行作业。但是，在生活空间内存在着极多种类的物品，伴随于此，保持装置的保持对象物的种类也变得极多。

因此，可以认为难以对所有种类的物品预先获得进行保持所必须的信息，从而，对没有信息的物品将无法进行保持。

另外，在生活空间内还存在无法预先获得进行保持所必须的信息的情况。例如，在保持盛有菜的盘子时，需要保持(把持)未盛菜的部分，但无法预先确定菜被盛到了哪个位置。即，无法预先获得保持所需要的信息。

并且，虽然在工厂等中保持对象物的状况不会变化，但在生活空间内，存在着物品的状况时刻变化的情况。例如，纸通常具有薄片状的形态，但有时因揉成团而使得其形态完全变化。于是，即使假设预先获得了物品的保持所需要的信息，即在上述的例子中，即使得到了用于保持薄片状纸的信息，该信息在保持被揉成团的纸时也不起作用。

发明内容

本发明鉴于上述情况而提出，其目的在于提供一种能够根据状况对多种多样的物品进行最佳保持的物品保持系统、机器人以及机器人控制方法。

本发明为了实现上述目的，按照如下方式构成。

根据本发明的第1方式，提供一种机器人，具备：识别装置，识别生活空间内的物品中的保持对象物的形态来作为所述保持对象物的状况，其中所述保持对象物是物品ID信息为公共的、而作为形态的形状、温度或内容物会发生变化的物品；保持方法数据库，根据所述保持对象物的状况而存储不同的物品保持方法；物品保持方法确定机构，根据由所述识别装置识别的状况即所述形态，从不同的物品保持方法中确定一种物品保持方法；和保持装置，按照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持。

根据本发明的第2方式，提供一种机器人，具备：识别装置，识别生活空间内的物品中的保持对象物的状况；保持方法数据库，根据所述保持对象物的状况而存储不同的物品保持方法；物品保持方法确定机构，根据由所述识别装置识别的状况，从不同的物品保持方法中确定一种物品保持方法；和保持装置，按照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持；在所述保持方法数据库中，存储有对作为所述保持对象物的多个不同的保持对象物的物品保持方法，所述不同的保持对象物是物品ID信息为公共的、而作为形态的形状、温度或内容物不同的物品，以按照所述形态的不同而改变保持方法的方式存储所述物品保持方法。

根据本发明的第3方式，提供一种机器人，其特征在于，具备：识别装置，其对生活空间内的物品中的保持对象物的材质进行识别；保持方法数据库，根据所述保持对象物的材质而存储不同的物品保持方法；物品保持方法确定机构，根据由所述识别装置识别的、所述保持对象物的材质，从不同的物品保持方法中确定一种物品保持方法；以及保持装置，按照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持。

根据该构成，在识别时对保持对象物的状况进行识别，在确定时根据该识别结果确定保持方法。由此，可确定与各种物品的状况对应的最佳保持方法，根据该最佳的保持方法，保持对象物被保持装置保持。

本发明的物品保持系统是控制机器人来进行物品的保持的保持系统。该基于机器人的物品保持系统具备：识别装置，对保持对象物的状况进行识别；和保持装置，根据由所述识别装置得到的识别结果，执行所述保持对象物的保持。

并且，所述保持装置具有：保持方法确定机构，接受由所述识别装置识别的状况，确定与该状况相对应的保持方法；和保持装置，按照由所述保持方法确定机构确定的保持方法，执行所述保持对象物的保持。

(发明效果)

根据本发明的物品保持系统、机器人和机器人控制方法，由于识别保持对象物的状况，根据该识别结果确定保持方法，因此可确定与各种物品的状况相对应的最佳保持方法，可用该最佳的保持方法来保持所述保持对象物。

附图说明

本发明的这些和其他目的与特征，可以参照附图，明确与优选的实施方式相关联的下面描述。在该附图中，

图1是表示本发明第一实施方式的物品保持系统的构成的框图；

图2A是对搭载有本发明第一实施方式的物品保持系统的机器人进行例示的示意图；

图2B是表示用于进行姿势控制的上述物品保持系统的保持装置的示意图；

图2C是表示移动装置和保持装置的电动机控制形式的执行机构等的任意驱动部的驱动控制系统的框图；

图2D是控制姿势时设定的坐标系的说明图；

图2E是表示相对于保持等级的α和β方向的容许变动范围的表，即数据库中存储的内容的图；

图2F是表示本发明的上述第一实施方式所涉及的机器人进行活动的环境系统的构成框图；

图2G是概念性地表示物品和移动体检索/管理机构的内部构成的图；

图2H是对物品进行处置的物品数据库内所存储的表的说明图；

图2I是对移动体进行处置的移动体数据库内所存储的表的说明图；

图2J是环境地图数据库的环境地图的真实环境的例子的说明图；

图2K是用立体模型来对环境地图数据库的环境地图的图2J的真实环境进行简化后的环境地图的说明图；

图2L是进一步用平面模型来对环境地图数据库的环境地图的图2J的真实环境进行简化后的环境地图的说明图；

图2M是表示环境地图所附带的设备数据库内存储的表的一例的图；

图3A是表示本发明第一实施方式的使用了激光光线的传感装置的例子的说明图；

图3B是表示本发明第一实施方式的使用了激光光线的传感装置的例子的说明图；

图4A是以表的形式例示存储对玻璃杯设定的保持方法的数据库的图；

图4B是对空玻璃杯进行例示的图；

图4C是表示用吸附手来吸附图4B的空玻璃杯的例子的图；

图4D是对盛有液体的玻璃杯进行例示的图；

图4E是表示用指型手把持图4D的盛有液体的玻璃杯的例子的图；

图5A是表示在保持各形态的纸时用指型手从上方夹持物品的保持方法的一个例子的图；

图5B是表示通过利用吸附手吸附来保持纸的状态的说明图；

图5C是表示利用指型手从厚度方向夹持纸捆的状态的说明图；

图5D是表示通过利用吸附手进行吸附来保持纸的状态的说明图；

图5E是表示用指型手对所吸附的纸的边缘从上下进行夹持的状态的说明图；

图5F是表示通过停止吸附手的吸附，实现利用指型手来把持纸的状态的说明图；

图5G是表示图2A所示的机器人的保持方法的一览图；

图5H是表示利用双前臂的两个指型手夹持来进行保持的方法的图；

图5I是表示用吸附手按住托载于双前臂的两个指型手上的对象物来进行保持的方法的图；

图6是例示存储有对纸设定的保持方法的数据库中所存储的表的图；

图7是例示存储有对衣物设定的保持方法的数据库中所存储的表的图；

图8A是说明基于背景差异的盘子和食品的识别处理时的摄影图像的图；

图8B是说明基于背景差异的盘子和食品的识别处理时的没有菜时的带花纹的盘子的图；

图8C是说明基于背景差异的盘子和食品的识别处理时的背景差异图像的图；

图8D是与图8A同样的图，是在时刻t＝t₀时盘子和放置在该盘子上的食品的摄影图像的图；

图8E是从时刻t＝t₀开始经过一定时间后的时刻t＝t₁再次进行摄影时的摄影图像的图；

图8F是图8D的摄影图像与图8E的摄影图像的差分图像的图；

图8G是利用了特征阅读器(tag reader)和照相机的、盘子状况的识别处理的流程图；

图8H是表示保持位置候补(位置坐标的候补)的图；

图8I是表示保持位置候补(位置坐标的候补)和食品的图；

图8J是使差分图像与保持位置信息重叠来显示不可保持区域的图；

图8K是将盘子的整个区域内除了食品区域以外的区域确定为可保持区域时的说明图；

图8L是将盘子的整个区域内有差分的区域设为可保持区域，没有差分的区域设为不可保持区域时的图；

图9是表示保持装置对盘子的保持状态的图；

图10是表示盘子的状况相对于图9发生变化后的状态的图；

图11是表示根据盘子状况的变化而变更了保持位置后的状态的图；

图12A是例示与煎锅的温度分布相对应的保持方法的图；

图12B是例示与煎锅的温度分布相对应的保持方法的图；

图12C是例示与煎锅的温度分布相对应的保持方法的图；

图12D是温度T比阈值温度Th_TH低的部分为可保持区域，比阈值温度Th_TH高的部分设为不可保持区域时的说明图；

图12E是由对象物的温度与规定的上限温度和下限温度的关系，来选择对象物是否可保持、且选择姿势控制和移动速度时的说明图；

图12F是识别装置利用物品的历史记录信息和位置信息时的表的图；

图13是表示还具有学习机构的保持装置的框图；

图14A是对人进行保持时的物品移动速度历史记录进行例示的图；

图14B是对人进行保持时的物品移动速度历史记录进行例示的图；

图15A是表示人保持物品时的情况的一个例子的图；

图15B是表示人保持物品时的情况的另一个例子的图；

图16是表示本发明第二实施方式所涉及的物品保持系统的构成的框图；

图17是用于说明Torrance-Sparrow模型的概念图；

图18A是用于说明保持对象物的位置和形状、姿势的推定法的概念图；

图18B是用于说明保持对象物的位置和形状、姿势的推定法的概念图；

图18C是用于说明保持对象物的位置和形状、姿势的推定法的概念图；

图18D是用于说明保持对象物的位置和形状、姿势的推定法的概念图；

图18E是用于说明保持对象物的位置和形状、姿势的推定法的概念图；

图19A是一边使光源移动一边对球状的对象物进行摄影的图；

图19B是一边使光源移动一边对球状的对象物进行摄影的图；

图19C是一边使光源移动一边对球状的对象物进行摄影的图；

图19D是一边使光源移动一边对球状的对象物进行摄影的图；

图20A是从图19A的图像仅提取了镜面反射区域后的图；

图20B是从图19B的图像仅提取了镜面反射区域后的图；

图20C是从图19C的图像仅提取了镜面反射区域后的图；

图20D是从图19D的图像仅提取了镜面反射区域后的图；

图21是表示作业机器人的控制机构的动作例的流程图；

图22是表示不具有移动装置的机器人的图；

图23是说明在机器人对放在炉灶上的锅和煎锅进行从该炉灶上取下的作业时，确定与物品的温度状况相对应的保持方法的说明图；

图24是说明当仅保持一个盘子时选择如用指型手捏住那样的保持方法，另一方面，当有多个盘子重叠时选择如利用臂和手从下方支承该重叠的盘子那样的保持方法时的图；

图25是作为学习方法的一种，对物品的基于移动速度的保持方法的学习设定进行说明的流程图；

图26是表示根据通过学习机构所学习的结果，以表的形式设定各物品的保持方法的例子的图；

图27是表示确定所学习的各物品的保持方法的保持等级与各物品对应起来的表的一个例子的图；

图28是表示以表的形式设定各物品的保持方法和保持等级的例子的图；

图29是表示用于根据情况来区分使用单前臂、双前臂这两个保持方法的表的一个例子的图；

图30是表示通过利用反射参数与盘子的反射参数的不同来确定放置在盘子上的菜的区域，从而确定盘子的可保持区域和不可保持区域的一个例子的图；

图31是以表的形式表示与所识别的材质相对应的保持方法的一个例子的图。

具体实施方式

在继续本发明的记述之前，对附图中相同部件标注了相同的参照标记。

在说明本发明的实施方式之前，首先对本发明的各种方式进行说明。

根据本发明的第1方式，提供一种保持机器人控制方法，利用机器人的保持装置机构进行生活空间内的物品的保持，包括：识别步骤，对所述生活空间内的物品中的保持对象物的状况进行识别；

确定步骤，根据在所述识别步骤中识别的状况，从不同的物品保持方法中确定一种物品保持方法；和

保持步骤，按照在所述确定步骤中确定的物品保持方法，由所述保持装置机构进行所述保持对象物的保持。

根据本发明的第2方式，提供一种机器人，其中具备：识别装置，对生活空间内的物品中的保持对象物的状况进行识别；

保持方法数据库，根据所述保持对象物的状况而存储不同的物品保持方法；

物品保持方法确定机构，根据由所述识别装置识别的状况，从不同的物品保持方法中确定一种物品保持方法；和

保持装置，参照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持。

根据本发明的第3方式，提供一种基于第2方式所述的机器人，其中，所述保持对象物是包括形状、温度、内容物的形态会变化的物品，

所述识别装置识别所述保持对象物的所述形态，作为所述保持对象物的所述状况，

所述物品保持方法确定机构根据作为由所述识别装置识别的状况的所述形态，从所述保持方法数据库内的所述不同的物品保持方法中确定一种物品保持方法。

根据本发明的第4方式，提供一种基于第2方式所述的机器人，其中，在所述保持方法数据库中，存储有针对作为所述保持对象物的多个不同的保持对象物的物品保持方法，所述不同的保持对象物是物品ID信息为公共的，且形状、温度、或内容物等的形态不同的物品，按照其形态变化而改变保持方法的方式存储有所述物品保持方法。

根据本发明的第5方式，提供一种基于第2～4方式的任意一项所述的机器人，其中，所述识别装置对相对于时间变化的所述保持对象物的状况进行识别。

根据本发明的第6方式，提供一种基于第5方式所述的机器人，其中，所述保持对象物是其内部可收容物体的物品，

所述识别装置对所述保持对象物的内部是否收容有物体进行识别，

所述物品保持方法确定机构根据由所述识别装置识别的、所述保持对象物的内部是否收容有物体的状况，从不同的物品保持方法中确定一种物品保持方法。

根据本发明的第7方式，提供一种基于第6方式所述的机器人，其中，所述保持对象物具有透光特性，

所述识别装置利用所述保持对象物中的光的折射，对该保持对象物的内部是否收容有物体进行识别，

根据本发明的第8方式，提供一种基于第4方式所述的机器人，其中，所述识别装置对所述保持对象物的温度分布进行识别，

所述物品保持方法确定机构根据由所述识别装置识别的、所述保持对象物的温度分布的状况，从不同的物品保持方法中确定一种物品保持方法。

根据本发明的第9方式，提供一种基于第8方式所述的机器人，其中，所述保持对象物是烹调器具或餐具，

所述保持方法确定机构根据由所述识别装置识别的、所述烹调器具或餐具的温度分布，确定所述烹调器具或餐具的保持位置。

根据本发明的第10方式，提供一种基于第5方式所述的机器人，其中，所述保持对象物是纸或衣物。

根据本发明的第11方式，提供一种基于第5方式所述的机器人，其中，所述识别装置对所述保持对象物上是否放置有物体进行识别，

所述物品保持方法确定机构根据由所述识别装置识别的、所述保持对象物上是否放置有物体的状况，从不同的物品保持方法中确定一种物品保持方法。

根据本发明的第12方式，提供一种基于第11方式所述的机器人，其中，所述保持对象物是餐具。

根据本发明的第13方式，提供一种基于第2方式所述的机器人，其中，还具备学习所述保持方法的学习机构，

所述学习机构参照人所执行的物品的保持动作，学习该物品的保持方法，将学习到的保持方法与所述物品对应起来，存储到所述保持方法数据库中。

根据本发明的第14方式，提供一种基于第2方式所述的机器人，其中，所述保持方法数据库中按各物品存储有预先设定的保持方法，

所述保持方法确定机构参照由所述识别装置而得到的识别结果，从预先设定于所述保持方法数据库的保持方法中，选择所述保持对象物的保持方法，

当与所述识别结果相对应的保持方法没有预先设定在所述保持方法数据库时，所述保持方法确定机构进而从所述保持方法数据库中选择对与所述保持对象物的材质或形状近似的物品所设定的保持方法，作为所述保持对象物的保持方法。

根据本发明的第15方式，提供一种基于第2方式所述的机器人，其中，所述识别装置对所述保持对象物的材质进行识别，

所述物品保持方法确定机构根据由所述识别装置识别的、所述保持对象物的材质，从不同的物品保持方法中确定一种物品保持方法。

根据本发明的第16方式，提供一种基于第15方式所述的机器人，其中，所述识别装置包括：摄像装置，对所述保持对象物进行摄像；和材质识别机构，根据由所述摄像装置摄像的图像，并利用所述保持对象物的光学特性，对其材质进行识别。

根据本发明的第17方式，提供一种基于第16方式所述的机器人，其中，还具备对所述保持对象物照射光的光源，

所述材质识别机构利用所述保持对象物的反射特性来识别其材质。

根据本发明的第18方式，提供一种基于第17方式所述的机器人，其中，所述光源设置为可改变相对于所述保持对象物的位置，

所述摄像装置一边改变所述光源的位置一边摄像多张图像，

所述材质识别机构通过处理所述多张图像来识别所述保持对象物的材质。

根据本发明的第19方式，提供一种物品保持系统，进行生活空间内的物品的保持，

所述物品保持系统具备：识别装置，对所述生活空间内的物品中的保持对象物的状况进行识别；和

机器人，根据由所述识别装置而得到的识别结果，进行所述保持对象物的保持，

所述机器人具有：保持方法确定机构，接受由所述识别装置识别的状况，确定与该状况相对应的保持方法；和

保持装置，按照由所述保持方法确定机构确定的保持方法，执行所述保持对象物的保持。

根据本发明的第20方式，提供一种基于第19方式所述的机器人，其中，所述保持装置搭载于机器人。

下面参照附图，对本发明的实施方式进行说明。

(第一实施方式)

图1是表示本发明第一实施方式所涉及的、具有保持装置103的机器人2的物品保持系统10的基本构成的图。例如，如图2A所示，该物品保持系统10的基本构成部分搭载于人型的家用机器人2。该机器人2是接受作业命令并按照该命令执行作业的装置，上述物品保持系统10执行该作业所涉及的物品的保持。

如图1所示，上述物品保持系统10包括：识别装置101、保持方法确定机构102、保持方法数据库102d和保持装置103。

上述识别装置101对保持对象物的状况进行识别。关于由识别装置101进行的状况识别的具体处理，将在后面描述。

上述保持方法确定机构102参照上述识别装置101所识别到的状况，从预先存储的多种物品保持方法中，确定最适合该状况的物品保持方法。这里的“物品保持方法”如后面所述，包括：选择把持或吸附物品的把持手103或者吸附手103s、如何使所保持的物品移动(把持或吸附角度、移动速度、移动方向等)等。

在保持方法数据库102d中，根据保持对象物的状况而预先存储有不同的物品保持方法。

上述保持装置103，例如在机器人2的主体部390上至少配置有一个，优选在机器人2的主体部390的两侧部配置一对。每一个保持装置103按照由上述保持方法确定机构102所确定的保持方法来执行保持对象物的保持。例如，如图2A所示，各保持装置103可包括：进行物品的把持的手103a、和前端安装有手103a的可弯曲的臂103b。该手103a包括由气动式、液压式、电动机式、人工肌肉等多种手指构成的手、吸附手103s等，根据如后述那样确定的保持方法来选择这些手。

图2B是表示在物品保持时用于进行姿势控制的上述物品保持装置103的示意图。在该图2B中，保持装置103的臂103b，其长度为L1的基端侧的臂、长度为L2的前端侧的臂、和基端侧的臂的基端部通过关节P0而可转动地与机器人2的主体部390的侧部连接，并且，基端侧的臂的前端部与前端侧的臂的基端部通过关节P1而可弯曲地连接，此外，手103a经由关节P2而与前端侧的臂的前端部连接。这里，为了简化说明，考虑在二维平面上对手103a与臂103b的接点关节P2进行姿势控制的情况。

图2C表示后述的移动装置414和保持装置103的电动机控制形式的执行机构等的任意驱动部的驱动控制系统。另外，对所有的驱动部均构成同样的驱动控制系统。

电动机304，其旋转轴通过从电动机驱动器303供给的电流而被正反驱动，例如使四个车轮394正反旋转。设置有用于对上述电动机304检测出被驱动的旋转轴的旋转角度的角度传感器。来自角度传感器307的输出信号通过编码器306和编码器板(encoder board)305而被输入到CPU301。

CPU301控制上述电动机304的驱动。CPU301与对进行控制所需要的信息进行存储的存储器310连接。

另外，对于手103a中是否牢牢保持着保持对象物进行检测的压力传感器309，例如被设置于把持面，来自该压力传感器309的传感器输出信号通过A/D转换器308而被输入到CPU301。

CPU301接受来自角度传感器307的输出信号和来自压力传感器309的传感器输出信号作为输入信号，并根据接受的输入信号，生成针对电动机304的控制信号，该控制信号通过D/A转换器302而被送到电动机驱动器303。根据该控制信号，电动机304被正反驱动，由此实现了臂和手的姿势控制。

这里，臂103b的长度分别设为L1、L2，角度传感器307在关节P0、P1处，通过角度传感器(在此为编码器)获得的角度分别设为θ、φ。此时，臂103b的前端位置P2的位置由以下的关系式求取。

[数式1]

P2＝(L1cosθ+L2cos(θ-)，L1sinθ+L2sin(θ-)) (式1)

从该关系式推定保持对象物的位置，使其能够向任意位置移动，因此可实现姿势控制。姿势控制是指，基于如上所述的角度传感器等的信息来进行微调整，正确地控制位置和朝向。另外，这里为了简化而仅对二维平面中的位置控制进行了说明，但对三维空间的位置/姿势控制而言，也可进行同样的处理。

例如，在用手保持内部装有液体的玻璃杯GL时，三维空间的姿势控制是指，按照液体不会洒落的方式控制姿势。这里，如图2D那样设定坐标系。即，关于对象物的位置，将由相互垂直的Xw轴和Yw轴构成的水平地面设定为Xw-Yw平面，从该平面垂直向上设定Zw轴。另外，关于姿势(旋转)，设定由在玻璃杯GL的底面相互垂直的x轴和y轴构成的x-y平面，设定从该平面朝向玻璃杯GL的开口方向的垂直方向为z方向，设从原点侧观察相对于x、y、z各轴为向右旋转的方向分别为α、β、γ方向。在对内部装有液体LD的玻璃杯GL进行姿势控制时，只要相对于这六个轴，按照仅α和β方向不变化即可。

图2E是表示相对于保持等级的α和β方向的容许变动范围的表，即保持方法数据库102d中存储的保持方法的信息。“保持等级”依赖于装在玻璃杯GL中的液体LD的量、和玻璃杯GL的大小而被预先确定。如图2D所示，若设玻璃杯GL的高度为h、设玻璃杯GL的口的半径为r、设装在玻璃杯GL中的液体LD的高度为hi、设对玻璃杯GL的水的倾斜的容许角度为θ_w，则保持等级如以下那样来确定。

[数式2]

θ_{w} = | {Tan}^{- 1} (\frac{h - hi}{r}) |

[数式3]

if θ_w＜1.0[deg] then 保持等级＝Level 5

if 1.0[deg]＜θ_w＜3.0[deg] then 保持等级＝Level 4

if 3.0[deg]＜θ_w＜5.0[deg] then 保持等级＝Level 3

if 5.0[deg]＜θ_w＜10.0[deg]then 保持等级＝Level 2

if没有内容物 then 保持等级＝Level 1

只要玻璃杯GL的高度h、玻璃杯GL的口的半径r预先被写入玻璃杯GL所带的电子标签中即可。另外，装在玻璃杯GL中的液体LD的高度hi可利用后述的重量传感器进行测定。即，预先将玻璃杯GL的重量w_g 和玻璃杯GL的形状信息写入到电子标签中。若通过重量传感器测定的对象物的重量为w_w，则装在内部的液体LD的重量可作为w_w-w_g求出。这里，若设内容物为水，则可推定装在内部的液体LD的量。这里，由于根据电子标签信息可获得玻璃杯GL的形状信息，因此可从这些信息来推定装在玻璃杯GL中的液体LD的高度hi。

下面，对放置有机器人2的环境系统进行说明。

图2F是表示本发明的上述第一实施方式所涉及的机器人2进行活动的环境系统的构成框图。如图2F所示，大体上来分，环境系统构成为包括如下三个子系统：作为设置有上述物品保持系统10的机器人2的一例而发挥功能的作业机器人402；包括掌握环境内状况的传感装置(可作为上述识别装置101的一例而发挥功能的装置)404的、作为服务器的环境管理服务器401；以及作为操作装置的操作终端403。子系统401～403分别具备收发机构409，通过这些收发机构409，在各自控制机构的控制的基础上，经由无线或有线网络，可相互独立地进行信息和数据、信号等的交换。其中，由于各收发机构409进行公共的处理，因此在图2F中标注同一标记409。

另外，在此处的说明中，作为一个例子，将“环境”设为住宅的房间，但本发明并不限定于此，本发明的“环境”是指生活空间，即配置有物品的空间。

对各子系统的构成和动作依次进行说明。

<环境管理服务器的构成>

环境管理服务器401具备：物品及移动体检索/管理机构405，其对由传感装置404所掌握的状况中、包括在环境内存在的物品、人或机器人402的移动体的状况进行管理；物品及移动体数据库406，其蓄积上述物品及移动体的数据；环境地图管理机构407，其对物品及移动体以外的环境整体状况进行管理；和环境地图数据库408，其蓄积上述环境整体的数据。按照来自传感装置404的输出信号分别被输入到物品及移动体检索/管理机构405和环境地图管理机构407的方式进行连接。物品及移动体检索/管理机构405与物品及移动体数据库406和控制机构410连接。环境地图管理机构407与环境地图数据库408和控制机构410连接。收发机构409与控制机构410连接。

收发机构409在控制机构410的控制的基础上，从外部接收物品及移动体数据库406的数据和环境地图数据库408的数据的查询(信号)、或向外部发送其响应信号，而且还发送针对机器人402的控制命令。控制机构410独立控制物品及移动体检索/管理机构405、环境地图管理机构407和收发机构409的各自动作。

传感装置404对环境内所存在的家具等物品以及环境内所存在的人或机器人402，始终监视其位置(位置坐标)和状态(坐、外出、站立、睡觉、走、保持、吸附、把持、释放等)。

而且，传感装置404还可检测出物品被人或机器人402拿入到环境内、或拿出到环境外。具体而言，传感装置404具有设置在环境内的照相机(图形传感器)、和标签传感器等，关于详细情况将在后面描述。并且，在检测到物品或移动体时，传感装置404向物品及移动体检索/管理机构405以及环境地图管理机构407发送该检测信息。作为从传感装置404发送到物品及移动体检索/管理机构405和环境地图管理机构407的信息，例如有物品的检测时刻、物品的位置(位置坐标)和朝向等。

物品及移动体检索/管理机构405将由传感装置404检测到的物品及移动体的信息蓄积到物品及移动体数据库(DB)406中来进行管理。在物品及移动体数据库406中管理的信息，至少包括物品及移动体的当前位置(位置坐标)的信息。关于物品及移动体数据库406的详细情况及其更新方法将在后面描述。

而且，物品及移动体检索/管理机构405根据来自传感装置404的信息，推断正在进行物品的操作(物品的保持及/或移动等的处理)的移动体(人/机器人)，并将该推断结果蓄积到物品及移动体数据库406中。

并且，作为物品及移动体检索/管理机构405由收发机构409进行接收等的结果，在从控制机构410向物品及移动体检索/管理机构405存在与物品及移动体数据库406相关的查询时，根据该查询的内容从物品及移动体数据库406取出必要的信息，送到控制机构410。

而且，环境地图管理机构407根据来自传感装置404的信息，生成环境地图并蓄积到环境地图数据库408，且由环境地图数据库408进行该生成的环境地图的管理。环境地图数据库408中蓄积的环境地图当机器人402在环境内移动时被利用，机器人402从服务器401取得该环境地图来制定移动路线计划。

并且，作为环境地图管理机构407由收发机构409进行接收等的结果，在从控制机构410向环境地图管理机构407存在与环境地图数据库408相关的查询时，根据该查询的内容从环境地图数据库408取出必要的信息，送到控制机构410。

另外，控制机构410是控制环境管理服务器401整体的要素，主要的控制内容如下所述。

1)、在收发机构409收到与存在于环境管理服务器401内的各种数据相关的查询时，由控制机构410判断该查询内容，并根据该判断结果，从控制机构410向物品及移动体检索/管理机构405和环境地图管理机构407提出数据的参照请求。

2)、在控制机构410的控制的基础上，通过收发机构409，将针对上述请求从物品及移动体检索/管理机构405或环境地图管理机构407发送到控制机构410的结果，送给查询方。

3)、解释从操作终端403经由收发机构409而发送到控制机构410的机器人402的作业内容消息，由控制机构410生成用于使该机器人402执行动作的机器人控制命令列，从控制机构410经由收发机构409发送给机器人402。另外，关于机器人控制命令列将在后面描述。

4)、根据需要，每隔一定时间，经由收发机构409并通过控制机构410向机器人402或用户(操作终端403)广播下述状况：由物品及移动体数据库406管理的物品的一部分或全部的状况、和由环境地图数据库408管理的环境地图的状况。

(传感装置的具体例)

上述第一实施方式所涉及的基于机器人的物品保持系统，作为对象的环境是家庭等的生活空间。因此，在该环境中，物品会被放置在各种位置，而且，该位置没有规则性且经常变化。另外，如人或机器人那样的移动体其移动路线也没有限制，可自由地来回运动。因此，在上述基于机器人的物品保持系统中，需要能可靠检测出环境内的物品与移动体的状况的传感技术。

·图像传感器

物品的检测中最常用的传感器之一是图像传感器(照相机)。为了以少的设备高效监视室内整体比较宽的范围，一般将图像传感器即照相机固定在房间的顶棚或墙壁等，利用该照相机图像(摄像图像)来进行室内物品等的检测。

作为利用照相机图像对环境内的物品和移动体进行检测的一般方法，有背景差异法。背景差异法是指，预先准备作为背景的模型图像，通过取得当前的照相机图像与模型图像的差分来检测对象物的方法。在上述基于机器人的物品保持系统中，由于需要对环境内的物品和移动体进行检测/ 监视，因此，在环境的状况变动少的情况下，只要使用当该环境内不存在物品/移动体时所摄像的图像作为模型图像即可。另外，在环境的状况变动频繁时，作为模型图像，只要使用对相隔规定的时间间隔来摄影的多幅图像进行平均而得到的图像即可。

但是，在使用了图像传感器的物品检测中，一般存在如下的多种问题：亮度的变化不敏感、分辨率低、物品被其他物体遮挡而看不到(死角的问题)、将重叠的多个物品检测成一个物品等。例如，关于死角的问题可通过如下方法解决：在环境内近似均等地配置多台照相机，使得该环境内所存在的物品都可由某一个照相机摄像。但是，只是死角消失，也未必能可靠地进行物品检测。即，无论照相机台数增加多少，由于分辨率的问题和物品的重叠问题得不到解决，所以，未必能够确定在背景差异图像中浮现的部分是什么物品。

·电子标签的利用

近年来，正在研究利用电子标签来进行物品和移动体的位置(位置坐标)检测的方法。电子标签是指，由蓄存数据的IC、和以无线方式收发数据的天线构成的器件。通过被称作读写器的装置，能够以非接触的方式读取写入到电子标签的信息、或以非接触方式将信息写入到电子标签。将这样的读写器称为标签阅读器(tag reader)。

因此，对各物品添加电子标签，会将与该物品相关的数据，例如物品的种类(或物品的ID信息)、形状、重量、该物品的图像、制造年月日等的数据嵌入到电子标签。另外，对移动体(人和机器人)也添加电子标签，写入与该移动体相关的数据，例如人的姓名和出生年月日等信息。在人的情况下，也可对其平时携带的物品(例如手表或眼镜等)添加电子标签。另一方面，在环境内设置多个标签阅读器。通过标签阅读器读取添加到物品或移动体的电子标签的信息，即使没有照相机，也能实现环境内所存在的物品等的检测。

另外，在使用照相机时只能检测物品的存在，但在使用电子标签的情况下，不仅可检测出物品的存在，还能利用电子标签中所嵌入的该物品的数据。例如，如后所述，通过利用物品的形状数据，可容易地实现由机器人402进行的物品的保持。而且，通过利用制造年月日数据可进行保质期限的管理，或通过利用物品的种类数据能容易地发现搜索物等，由此给用户带来很大的益处。

但是，在利用了电子标签的物品检测中，存在通信距离短的问题。即，由于电子标签与标签阅读器的数据交换不得不使用对人体没有影响的非常弱的无线电波，因此通信距离非常短，充其量为几十厘米。另外，为了消除通信距离的问题，考虑在环境内设置多个标签阅读器，但由于标签阅读器比照相机成本高，因此不现实。

·图像传感器与电子标签的组合

如上所述，在使用了图像传感器的方法和利用了电子标签的方法中，都存在一个优点一个缺点。因此，考虑利用图像传感器和电子标签双方的方法。即实施混合处理，该处理为：通过上述的背景差异法来确定环境内的物品大致位置(位置坐标)，进而利用电子标签来确定该物品。

举两个具体的处理例子。

一个例子是：在环境内的顶棚或墙壁等设置照相机，对作业机器人402安装标签阅读器404a。而且，预先对各物品和移动体安装电子标签。首先，通过利用了照相机图像的背景差异法，确定环境内的物品的位置(位置坐标)。然后，使机器人402移动到确定的物品附近，通过安装于该机器人402的标签阅读器404a，从安装于该物品的电子标签读取信息来确定该物品。

另一个例子是：在环境内的顶棚或墙壁等设置照相机，在该环境内近似均等地设置多个标签阅读器。该标签阅读器设为对电子标签的数据读取具有指向性，并且该读取方向可变。首先，通过利用了照相机图像的背景差异法，确定环境内的物品的位置(位置坐标)。接着，选择被设置在最靠近所确定的物品的位置(位置坐标)的标签阅读器，使该标签阅读器的读取方向朝向该物品。然后，从安装于该物品的电子标签读取信息来确定该物品。另外，在该例中，由于存在着标签阅读器与电子标签之间的距离变长的情况，所以，需要使用比较强的无线电波。因此，优选例如在通过背景差异法确认了环境内没有人之后，再对来自电子标签的信息进行读取。

另外，在本系统的传感器中，还可采用这里所说明的使用了图像传感器与电子标签的方法以外的方法。

(物品及移动体检索管理机构)

图2G是概念性地表示物品及移动体检索/管理机构405的内部构成的图。在图2G中，物品处置检测机构431对物品被移动体处置的情况(物品处置状态)进行检测，处置者确定机构432根据物品处置检测机构431的检测结果，确定对物品进行处置的移动体(处置者)。

物品处置检测机构431根据来自传感装置404的信息，检测物品处置状态。例如，在利用如上所述的图像传感器和背景差异法进行物品检测时，对照相机图像和模型图像进行比较，在产生了两者存在差异的部分的情况下，检测为在该部分物体被处置。当然，例如也可利用电子标签来检测物品处置状态。

在物品处置检测机构431检测到物品处置状态时，处置者确定机构432确定对物品进行处置的处置者(人或机器人)，将该处置者的信息蓄积到物品及移动体数据库406中。

具体而言，处置者的确定如下进行即可。在利用照相机作为传感装置404时，通过该照相机对检测到物品处置状态的区域进行摄像。然后，对摄像图像进行面部认证处置，来确定移动体。由于考虑到所确定的移动体位于未被处置的物品附近，因此推定该移动体为处置者。另外，作为传感装置404，通常为了对较广区域进行摄影而利用广角照相机，但广角照相机的摄像图像的分辨率比较低，存在着不能够充分进行面部认证处理的可能性。因此，还可与广角照相机独立地在环境内或机器人402上设置窄角的高分辨能力照相机，来作为面部认证处理用照相机。通过该窄角照相机对物品处置检测机构431所检测到物品处置状态的区域进行摄像，并通过对该摄像图像进行面部认证处理，可高精度地确定处置者。

另外，物品处置者的确定并不限于面部认证处理，例如也可通过虹膜认证等其他的认证处理来进行。而且，还可不进行认证处理而将该照相机图像本身蓄积到物品及移动体数据库406中。这也可仅在无法通过认证处理来确定移动体的情况下进行。并且，处理者的确定也可利用电子标签来进行。

(物品及移动体数据库)

物品及移动体数据库406是蓄积物品及移动体的信息的数据库，例如具备：图2H所示的对物品进行处置的物品数据库(DB)406b、和图2I所示的对移动体进行处置的移动体数据库(DB)406m。

图2H的物品数据库406b由分别蓄积物品数据、物品历史记录数据、和物品属性数据的三个子数据库406b-1、406b-2、406b-3构成。

1)物品数据

物品数据的子数据库406b-1中蓄积的物品数据包括：用于区别各物品的ID信息(例如，在图2H中，作为ID分配给小罐的“kan_small_0001”等)；到物品历史记录数据的指针(例如，在图2H中，作为小罐的位置历史记录的“列表1”等)；以及到物品属性数据的指针(例如，在图2H中，对于小罐作为属性数据的“kan_small”等)。在图2H的例子中，物理上不同的物品即使是同种类也被分配不同的ID信息，作为不同的物品进行处置。但是，由于同种物品具有相同的物质属性，因此到ID信息和位置历史记录数据的指针不同，但到物品属性数据的指针是公共的。由此，可节约数据库的容量。

2)物品历史记录数据

物品历史记录数据的子数据库406b-2中蓄积的物品历史记录数据，是表示物品被处置的历史记录的数据，在图2H中，包括如下四个项目：处置时刻(例如，在图2H中，对于位置历史记录列表1时刻为“t1”等)；处置内容(例如，在图2H中，对于位置历史记录列表1操作内容为“新建”等)；处置者(例如，在图2H中，对于位置历史记录列表1操作者为“父亲”等)；以及处置后的位置(位置坐标)(例如，在图2H中，对于位置历史记录列表1操作后的位置为“x1，y1，z1，l1，m1，n1”等)。另外，位置数据(位置坐标数据)的表现可考虑各种形式，但在图2H的例子中，以表示物品位置(使用重心位置坐标等)的三个参数(x1，y1，z1)、和表示物品朝向的三个参数(l1，m1，n1)合在一起的六个参数来表示位置(位置坐标)。而且，处置者是由处置者确定机构432确定的移动体。

3)物品属性数据

物品属性数据的子数据库406b-3中蓄积的物品属性数据，是表示物品所具有的物理属性信息的数据，作为例子如图6所示，可例举：物品的重量(例如，在图2H中，对于kan_small重量为“100g”等)、形状(例如，在图2H中，对于kan_small作为形状模型/尺寸为圆柱的立体图等)、外观图像数据(例如，在图2H中，对于kan_small为外观图像的图像数据等)。

另外，图2I的移动体数据库406m由分别蓄积移动体数据、以及移动体历史记录数据的两个子数据库406m-1、406m-2构成。

1)移动体数据

移动体数据的子数据库406m-1中蓄积的移动体数据包括：用于区别各移动体的ID信息(例如，在图2I中，作为ID为“父亲”等)、以及到移动体历史记录数据的指针(例如，在图2I中，作为位置历史记录为“列表3”等)。移动体数据中存储的移动体由用户通过手动预先登记即可。

2)移动体历史记录数据

移动体历史记录数据的子数据库406m-2中蓄积的移动体历史记录数据包括如下三个项目：时刻(例如，在图2I中，对位置历史记录列表3而言时刻为“t1”等)；在该时刻的位置(位置坐标)(例如，在图2I中，对位置历史记录列表而言位置为“(x4，y4，z4)”等)；以及该时刻的状态(例如，在图2I中，对位置历史列表3而言状态为“坐”等)。移动体(机器人402以外的机器人或人)与物品不同，由于在空间内所占的体积大，因此容易成为机器人402移动的障碍物。所以，优选移动体的位置(位置坐标)尽可能按照实际情况来表示，以便机器人402能一边避开这样的障碍物一边移动。在图2I中，为了以所需要的最小限度的信息来表示，用圆来近似移动体在地面上所占的区域，根据圆的中心坐标和半径来表示移动体的位置(位置坐标)。当然，也可进一步严密地表现，例如可用多条线段向量来近似移动体在地面上所占的区域的轮廓。

另外，在人的情况下，通过“坐”、“站立”、“睡觉”、“行走”等一般人的动作来表现移动体的状态；在机器人402的情况下，通过“保持”(或“把持”或者“吸附”)、“释放”等机器人402对物品进行的动作来表现移动体的状态。此外，关于机器人402，不仅是该动作，还与作业对象的物品ID信息合并而表现为“物品ID：动作内容”。具体而言，例如，如作为图2I的位置历史记录列表5的时刻t4所表示的那样，成为“把持kan_small_0001”。状态的确定如下进行即可：例如，在移动体历史记录数据的子数据库406m-2内，预先准备多个例如移动体的候补状态，根据传感装置404所得到的检测结果等，由物品及移动体检索/管理机构405判断移动体的状态符合哪个候补状态。

物品及移动体检索/管理机构405将物品和移动体的信息存储到物品及移动体数据库406中，而且每当各物品和移动体的位置(位置坐标)变更时，都更新该信息。此外，更新的时机并不限定于此，例如，每隔规定时间进行更新等，适当设定更新的时机即可。

另外，优选物品历史记录数据和移动体历史记录数据尽量跨过长时间蓄积数据。由此，能追溯到更早的记录来调查历史记录。而且，优选移动体历史记录数据尽量以短的时间间隔来蓄积数据。由此，能更细致地管理人或机器人等移动体的移动路线。但是，由于数据库的容量有限，所以，也可设为蓄积某一规定期间的数据，而随时擦除比该期间早的数据。并且，在移动体的状态变化频繁时，可缩短蓄积数据的时间间隔，在状态变化少时，可延长时间间隔。

(环境地图与设备数据库)

图2J～图2L是环境地图数据库408的环境地图的例子。图2J是真实环境的例子，图2K是用立体模型来对图2J的真实环境进行简化后的环境地图，图2L是进一步用平面模型来进行简化后的环境地图。

环境地图只要根据其用途和生成所花费的时间(工夫)来生成即可。例如，在需要以极短的时间生成由立体模型构成的环境地图时，如图2K所示，只要对环境内所存在的立体物，用覆盖该立体物的最小的长方体来模型化即可。在图2K中，桌子Tb和书架Bs分别用长方体来模型化，垃圾箱Ts用近似圆柱来模型化。由平面模型构成的环境地图也同样，在图2L中，桌子Tb和书架Bs分别用正投影到平面的矩形区域(标注斜线的区域)来模型化，垃圾箱Ts用圆区域(标注斜线的区域)来模型化。这两个矩形区域和圆区域被设定为机器人402不可移动的区域。并且，也可将图2J所示的真实环境直接进行立体模型化而得到的地图作为环境地图。

图2M是表示环境地图所附带的设备数据库408e的一例的图，是对应于图8的环境的数据库。该设备数据库由分别蓄积设备数据、设备属性数据的两个子数据库408e-1、408e-2构成。

1)设备数据

设备数据的子数据库408e-1中蓄积的设备数据包括：用于确定环境本身、以及该环境内的各设备(与物品不同，是固定或设置在环境中的物体，是机器人处置作业的对象以外的物体)的ID信息(例如，在图2M中，作为ID为“room_0001”等)；以及到设备属性数据的指针(例如，在图2M中，作为属性数据为“room01”等)。更具体而言，在图2M中，对环境(房间)添加“room_0001”作为ID信息，对环境内存在的桌子Tb、书架Bs和垃圾箱Ts，分别添加“table_0001”、“bookshelf_0001”、“trash_0001”作为ID信息。

2)设备属性数据

设备属性数据的子数据库408e-2中蓄积的设备属性数据，是环境本身所涉及的设备属性数据，包括该环境内的地面数据。例如，当该环境内存在高度相互不同的多个地面时，仅蓄积该地面数量的地面数据(例如，在图2M中，作为room_01的构成面为“地面1，地面2”等)。地面数据例如像下面那样表示。

((X1，Y1，Z1)，(X2，Y2，Z2)，(X3，Y3，Z3)，(X4，Y4，Z4)，2200，0)

这里，最初的四组坐标值表示构成地面的各顶点的实世界坐标，接下来的值(2200)表示从该地面到顶棚的距离(mm)。另外，最后的值(0)是指地面的材质。例如，可以设“0”为地板材料，“1”为榻榻米，“2”为地毯。

家具等设备所涉及的设备属性数据包括：构成该设备的各面的数据(面1，面2)、设备的种类、当该设备具有可载置物品的面时而载置于该面的主要物品的形状及其姿势。具体而言，例如，构成设备的面的数据表示如下。

((X1，Y1，Z1)，(X2，Y2，Z2)，(X3，Y3，Z3)，1，400)

这里，最初的三组坐标值表示构成该面的各顶点的实世界坐标，接下来的值(1)是表示物品是否能载置在该面的标识符，“1”表示能载置物品，“0”表示不能载置。最后的值(400)表示当物品能载置于该面时该能载置的物品的上限高度(mm)。例如，当该面是桌子的桌面时，从桌面到顶棚的距离为上限高度，当该面是书架中的某一个隔离面时，从该隔离面到其正上方的隔板的距离是上限高度。

设备属性数据中的“主要物品的形状”是指，该设备所收容的物品的形状。若设备的种类为书架，则为“书的形状”。即，与其宽度相比，进深和高度极长的长方体是书架的主要物品的形状。另外，“主要物品的姿势”是指收容于该设备时的物品的姿势。若设备的种类是书架，则“主要物品的姿势”是指该书以何种姿势载置于书架的隔离面，通常是将书竖起的姿势。通过在设备属性数据中蓄积“主要物品的形状和姿势”的数据，例如，当对作业机器人402指定了将书移动到书架的作业时，该作业机器人402能够根据“主要物品的形状和姿势”数据，将被指定的书以竖起的姿势载置到书架的隔板上。

但是，根据设备的种类，存在着没有该“主要物品的形状和姿势”数据的情况。例如，桌子和垃圾箱对物品的形状和姿势没有限定。因此，桌子和垃圾箱的设备属性数据没有“主要物品的形状和姿势”的数据。

<作业机器人的构成>

作业机器人402在环境内进行物品的处置作业。这里，尤其是按照用户的指示而在环境内进行移动物品的作业。

如图2A和图2F所示，机器人402具备：检测机器人402附近的障碍物等的障碍物传感器(可作为物品保持系统10的上述识别装置101的另一例而发挥作用的装置)411；包括保持物品的保持装置103的物品保持系统10；移动计划生成机构413，其经由机器人402的收发机构409和控制机构415、以及环境管理服务器401的收发机构409、控制机构410和物品及移动体检索/管理机构405等，参照环境管理服务器401的环境地图数据库408内的环境地图，制定机器人402的移动计划；和使机器人402 本身移动的移动装置414。收发机构409根据控制机构415的控制，在环境管理服务器401和操作终端403之间，进行各种数据的收发。控制机构415与障碍物传感器411、收发机构409、物品保持系统10、移动计划生成机构413、和移动装置414连接，独立地控制各自的动作。

所述图2A是表示机器人402的构造的一例的示意图，如上所述，该机器人402具备近似为箱型的主体部390，其用于收容移动计划生成机构413和控制机构415等。以下，称图2A中的纸面跟前侧为前侧、纸面里侧为后侧、纸面右侧为左侧、纸面左侧为右侧。

如上所述，物品保持系统10的各保持装置103由多关节臂103b、配置在该臂103b的前端的手103a、分别独立驱动各臂103b和手103a的驱动装置构成，被安装于主体部390的两侧部的上部。各臂103b和手103a的驱动装置可由基于电动机控制的执行机构构成，也可由其他执行机构例如基于人工肌肉的执行机构构成。而且，作为保持装置103，当进一步具备通过空气的吸引来保持物品的吸附手103s时，也可由吸附手103s和控制吸附手103s的吸引动作以及吸引解除动作的吸引装置构成。

另外，在上述基于机器人的物品保持系统10中，作为对环境内存在的各物品添加电子标签，对各保持装置103安装了作为环境管理服务器401的传感装置404一例的标签阅读器404a(参照图2A)。由此，在保持装置103保持了物品时，标签阅读器404a会读取在所保持的物品的电子标签中写入的信息，并可根据该读取的信息，由环境管理服务器401的物品及移动体检索/管理机构405参照物品及移动体数据库406，来确定通过保持装置103保持的物品是何物品。此外，也可省略安装于保持装置103的标签阅读器404a，而利用设置于环境的标签阅读器404a。

移动装置414由四个车轮394、对四个车轮394进行正反旋转驱动的电动机304、和对电动机304进行驱动控制的电动机驱动器303等构成(参照图2C)，这些车轮394在主体部390的左右两侧分别安装有两个(在图2A的例子中，省略了右后侧的车轮394的图示)。另外，移动装置414的构成只要根据使用该机器人402的环境来选择最佳的构成即可。例如，在环境地面的起伏频繁时，优选将移动装置414构成为履带型或多足步行型。

这里，障碍物传感器411由超声波传感器411a、作为视觉传感器的一对照相机105、以及碰撞传感器411c构成。通过各超声波传感器411a发出超声波并测定直至接收到其反射波为止的时间，来计算到障碍物的大致距离，在与机器人402碰撞之前检测到近距离的障碍物。作为一例，超声波传感器411a在主体部390的各侧面(前面、后面、左右侧面)的下部各安装有三个。另外，各照相机105输入机器人402的周围状况作为图像。通过对该图像进行识别处理等，来判断障碍物的有无、或对保持对象物品取得更正确的信息。照相机105安装在主体部390的前部的上部。此外，碰撞传感器411c检测施加到机器人402的规定冲击力。例如，通过碰撞传感器411c来检测障碍物对机器人402冲撞、或机器人402本身在移动中撞到障碍物的情况。碰撞传感器411c分别安装于主体部390的前面和后面的下部。

在被指定物品的移动作业或伴随其他作业的移动时，移动计划生成机构413参照环境地图数据库408的环境地图，生成从机器人402的当前位置的位置坐标到目的位置的位置坐标的移动路线。在环境地图中，如图2L所示，设定有不可移动区域(标注了斜线的区域)。因此，若在该不可移动区域以外的区域生成移动路线，则可生成避开了障碍物的移动路线。例如，在图2L中，当从A地点移动到B地点时，考虑机器人402的大小，生成如箭头线表示的避开不可移动区域的路径。生成移动路线使用最一般的Dijkstra法即可，在环境复杂时，还可使用对Dijkstra法进行改进后的路线探索算法。另外，作为因环境过于复杂而无法算出移动路径、或该计算需要非常多时间的情况的对策，设置了如下的模式：用户使用操作终端403，对移动计划生成机构413指定机器人402的移动路线。

(机器人的控制命令)

机器人402的控制机构415主要对从环境管理服务器401经由环境管理服务器侧和作业机器人侧的收发机构409，409送来的机器人控制命令列进行解释，并按顺序执行该控制命令。

机器人控制命令是指，用于进行物品的保持、或机器人402本身的移动控制的命令，从大体上来分，主要有“移动”、“保持”、“释放”这三种。对这三种命令简单进行说明。

1)移动：(move，坐标)或(move，设备ID)

该命令是从机器人402的当前位置的位置坐标移动到由位置坐标指定的位置、或由设备ID信息指定的设备位置的位置坐标的命令。位置坐标由世界坐标系指定，从当前位置的位置坐标到目的位置的位置坐标的移动路线由移动计划生成机构413完成。另外，在移动到由设备ID信息指定的设备位置的位置坐标时，生成如对该设备靠近到规定距离的路线，在该情况下，利用环境地图内的设备属性数据。

2)保持：(grab，物品ID)

该命令是通过作为保持装置103的一例的手103b来保持由物品ID信息指定的物品的命令。参照物品及移动体数据库406求取物品的位置(位置坐标)，保持计划及保持释放计划由物品保持系统10的上述保持方法确定机构102生成。

3)释放：(release)

该命令是根据保持释放计划来释放手103b的命令。

例如，在由用户指示了将某一物品移动到某一场所的作业时，该作业被分解为“(向物品的位置B1的)移动”、“(物品的)保持”、“(向移动目的地B2的)移动”、“(物品的保持)释放”这四个作业单位。该情况下的机器人控制命令列为：

move，B1(使机器人402移动到放置有物品的位置B1)

grab，物品ID(由保持装置103保持位于位置B1的物品)

move，B2((在由保持装置103保持着物品的状态下)使机器人402移动到作为移动目的地的位置B2)

release(释放由保持装置103保持的物品)

在被指示了多个物品的移动时，命令列以上述四条命令为一组，罗列与物品的数量相同的组数，机器人402的控制机构415按照该顺序依次执行控制命令。

当然，机器人控制命令并不限于这三种，可根据需要增加。

图21是表示控制机构415的动作例的流程图。控制机构415在机器人侧的收发机构409收到了从环境管理服务器401发送的控制命令列时、或从物品保持系统10输入了控制命令列时，判断是哪个作业单位(图21 的步骤S101～S103)，并执行与该作业单位相应的处理。

首先，当作业单位是“移动”时(在图21的步骤S101中为是)，由移动计划生成机构413生成到被指定的位置(位置坐标)为止的路线(步骤S104)。然后，根据由移动计划生成机构413生成的路线，将移动控制命令送给移动装置414，执行到指定的位置(位置坐标)的移动处理(步骤S105)。

另外，当作业单位是“保持”时(在步骤S101中为否且在步骤S102中为是)，由障碍物传感器411检测保持对象物品的姿势(步骤S106)，并且根据该检测结果，计算臂103a和手103b的动作(步骤S107)。然后，从控制机构415向物品保持系统10的保持装置103发送保持控制命令，执行由保持装置103进行的物品的保持处理(步骤S108)。此外，在步骤S106中，由于物品的姿势记录于环境管理服务器401的物品及移动体数据库406，因此，也可向环境管理服务器401查询物品的姿势。

而且，当作业单位为“释放”时(在步骤S101中为否、在步骤S102中为否且在步骤S103中为是)，按照物品被设置在被指定的移动目的地的方式来计算臂103a和手103b的动作(步骤S109)。然后，从控制机构415向保持装置103发送释放控制命令，执行物品的释放处理(步骤S110)。

在移动、保持和释放的各动作结束时，将该情况作为消息通过控制机构415的控制发送到作业指示方即环境管理服务器401(步骤S111)。这样，通过操作终端403指示的作业内容由机器人402执行。

<操作终端的构成>

操作终端403是上述基于机器人的物品保持系统中的用户接口，是用户为了对机器人402指示物品的处置作业、或进行与物品相关的查询所操作的终端。

如图2F所示，操作终端403显示操作画面。例如具备：由CRT或液晶显示器构成的显示装置417；用于在显示装置417的操作画面上对机器人402指示作业内容的例如由指示装置(pointing device)构成的输入装置416；和对显示于显示装置417的操作画面的生成等进行显示控制的显示控制机构418。收发机构409根据控制机构419的控制，向服务器401发送输入到输入装置416的机器人402的作业内容和查询内容，并且，从环境管理服务器401接收针对查询的回答。控制机构419与收发机构409、输入装置416、显示装置417、显示控制机构418连接，独立地控制各自的动作。

作为该操作终端403，例如可使用通用PC(个人电脑)。在该情况下，通过将执行各处理的控制程序读入到通用PC中，从而可作为操作终端403而使用。

显示控制机构418根据从环境管理服务器401发送的信息来生成操作画面，该信息具体包括：作为传感装置404的照相机对环境内进行摄像而得到的图像数据、蓄积于物品及移动体数据库406的数据、蓄积于环境地图数据库408的环境地图。所生成的操作画面被显示于显示装置417。

即，在如上的系统中，操作终端403将表示规定生活空间的图像显示到显示装置417，用户从操作终端403进行对图像所包含的物品的操作指示，环境管理服务器401参照物品及移动体数据库406将从操作终端403发送的用户指示转换为机器人402能执行的控制命令，并发送给机器人402。通过这样的物品操作方法，用户在生活空间复杂的状况下，能够容易地使作业机器人即生活援助机器人402执行准确的动作。

另外，通过上述物品保持系统10，各保持装置103能利用保持对象物的位置(位置坐标)、ID信息、形状等对象物信息、以及人物的位置(位置坐标)、ID信息等人物的信息，来进行保持动作。

下面，对上述物品保持系统10所进行的物品的保持，举具体的例子进行说明。

(1.内部可收容物体的物品保持)

如上所述，在保持玻璃杯等内部盛装液体的物品时，优选根据其内部是否盛有液体的状况来改变保持方法。即，在对内部盛有液体的玻璃杯进行保持时，由于若使该玻璃杯倾斜或对该玻璃杯施加振动则液体会洒落，因此，优选尽量进行使该玻璃杯为水平状态且不施加振动的姿势控制。相对于此，在保持内部未盛入液体的玻璃杯时，这种姿势控制不是必要的。

因此，上述物品保持系统10的保持装置103在保持内部可收容物体的物品(这里为玻璃杯)时，通过作为上述识别装置101的一例的照相机等，识别其内部是否收容有物体(这里为玻璃杯中是否盛有水)。作为该识别方法的一例，可举出利用了光的折射的识别方法。

图3是利用光的折射来进行玻璃杯201的内容物识别的识别装置101的构成的图。该识别装置101具有：对玻璃杯201投射光的光源104；对玻璃杯201被投射光后的状态进行摄像的摄像装置105；和对由摄像装置105摄像的信息进行识别处理的上述识别处理部101p。优选光源104照射指向性强的光，例如可采用激光照射装置。摄像装置105只要能检测出从激光照射装置104照射的激光光线的轨迹即可，例如可采用照相机。如图2A所示，激光照射装置104安装于机器人402的臂103g，优选使该位置(位置坐标)可改变。另外，照相机105可构成为嵌入到人型机器人402的面部。

上述识别装置101在识别上述玻璃杯201的内容物时，通过上述激光照射装置104，对保持对象物(这里为具有透光性的玻璃杯201)照射激光光线104g。

通常，由于气体(空气)的折射率与液体(水)的折射率不同(例如，空气的折射率为1.0，水的折射率为1.33)，因此根据玻璃杯201的内部是否盛有液体201e会使得激光光线104g的轨迹改变。即，如图3A所示，当玻璃杯201为空时，由于玻璃杯201内和玻璃杯201外都充满空气，因此对该玻璃杯201从斜上方照射的激光光线104g，如图3A所示沿直线前进。与之相对，如图3B所示，当玻璃杯201中盛有水201e时，由于空气的折射率与水201e的折射率不同，因此照射的激光光线104g发生折射。

当激光照射装置104正在照射激光光线104g时，上述识别装置101通过照相机105对该玻璃杯201进行摄像。由此，检测出激光光线104g的轨迹。识别处理部101p根据该检测结果，识别玻璃杯201的内部是否盛有液体201e。另外，由于光的折射率因物体(材质)而异，因此通过检测激光光线104g的折射角，还可检测出玻璃杯201的内部盛装的物体的材质。

上述保持方法确定机构102根据上述识别处理部101p的识别结果，进行保持方法的确定。该确定利用保持方法数据库102d进行，根据需要还可参照物品及移动体数据库406。

在上述保持方法数据库102d中，详细而言，如先前用图2E所述的那样，按各保持等级确定了保持方法，但这里进行了简化，设置有按各成为保持对象的物品而记载了因内容物的有无而不同的保持方法的表(参照图4A)。各表中对应地存储有该物品的可获取状况(例如，有无内容物的状况)、和最适于该状况的保持方法。图4A表示了对应于玻璃杯201的表的一例，作为玻璃杯201可获取的状况包括“有内容物”(参照图4D)、“无内容物”(参照图4B)，作为与“有内容物”对应的保持方法设定了“使用指型手，进行姿势控制”(参照图4E)，作为与“无内容物”对应的保持方法设定了“使用吸附手，不进行姿势控制”(参照图4C)。

因此，上述保持方法确定机构102在上述识别装置101识别出玻璃杯201有内容物时，通过参照保持方法数据库102d来确定(选择)“使用指型手，进行姿势控制”的保持方法(参照图4E)，在识别出玻璃杯201无内容物时，通过参照保持方法数据库102d来确定(选择)“使用吸附手，不进行姿势控制”的保持方法(参照图4C)。

上述保持装置103按照由上述保持方法确定机构102确定的保持方法，在控制机构415的控制基础上，执行保持对象物的保持。因此，当玻璃杯201内盛满水时(参照图4D)，上述保持装置103通过指型手103a按照使玻璃杯201保持水平姿势的方式进行姿势控制来保持玻璃杯201(参照图4E)。另一方面，当玻璃杯201为空时(参照图4B)，通过吸附手103s来保持该玻璃杯201(参照图4C)。此时，不进行玻璃杯201的姿势控制。

另外，为了对保持对象物进行保持，保持装置103需要该保持对象物的位置(位置坐标)、形状、和姿势信息。这些信息例如可通过利用了测距仪或立体视频等的各种公知方法获得。保持对象物的位置(位置坐标)、形状、和姿势信息的获得方法的详细内容将在后面描述，但只要参照物品及移动体数据库406即可。

这样，如上述例示的玻璃杯201那样的可在其内部收容物体的物品，其内部收容或未收容物体的状况会相对于时间而改变。在由保持装置103保持这样的物品时，识别装置101识别在上述物品(保持对象物)的内部是否收容有物体，保持方法确定机构102根据内部是否收容有物体来确定保持方法。由此，对其内部可收容物体的物品，可配合其状况来进行最佳的保持。

(变形例)

物品保持系统10无需具有上述保持方法确定机构102所参照的保持方法数据库102d，例如也可对保持对象物(各物品)添加电子标签等标签，对该标签预先写入与保持对象物的状况对应的保持方法等信息。在该情况下，保持方法确定机构102通过参照添加到保持对象物的标签内的上述保持方法等信息，可确定与识别结果相对应的保持方法。

而且，也可不预先对上述标签写入上述保持方法等信息，而是对标签预先存储具有蓄积了上述保持方法等信息的数据库的服务器地址(网络地址)。在该情况下，保持方法确定机构102访问上述地址，通过参照数据库的上述保持方法等信息，来确定与识别结果相对应的保持方法。另外，存储这些信息的介质不限于电子标签。例如，也可以是光学标签、条形码、二维条形码等。

并且，在图3A和图3B中，上述物品保持系统10根据激光光线104g的轨迹来识别玻璃杯201的内容物的有无，但利用了光的折射的识别并不限定于此。例如，可透过玻璃杯201对判明了相对于照相机105的相对位置(位置坐标)的物体进行摄像，通过对该物体在玻璃杯201上的哪个位置(位置坐标)能看到进行检测来识别玻璃杯201的内容物的有无。在该情况下，摄影对象物可利用该环境(若是一般家庭则为房间)内所存在的物体。这里，例如，如图23所示，预先将照相机505安装到房间的顶棚500，根据该照相机505的图像生成地图信息，并预先将生成的地图信息内的位置坐标存储到物品及移动体数据库406或保持方法数据库102d等数据库中，由此可求出相对位置(位置坐标)。

并且，玻璃杯201的内容物的有无除了利用光的折射以外，也能够进行识别。

例如，也可通过利用重量传感器来称玻璃杯201的重量，从而识别玻璃杯201的内容物的有无。在该情况下，需要预先判断空玻璃杯201的重量，但空玻璃杯201的重量也可预先嵌入到安装于玻璃杯201的标签。另外，重量传感器也可安装于保持装置103，在确定保持方法之前通过由保持装置103保持玻璃杯201来称玻璃杯201的重量，还可将重量传感器安装于放置有玻璃杯201的架子、桌子等来称玻璃杯201的重量。在利用了重量传感器的识别中，保持对象物无需具有透光性，由此，具有对何种物品都能识别的优点。而且，例如在保持盘子等时，利用了重量传感器的状况的识别还可应用于识别该盘子上是否盛有菜。

此外，也可利用例如水滴传感器来识别玻璃杯201的内容物的有无。只要水滴传感器安装于机器人402的臂103b前端，使传感器能接触到玻璃杯201的外表面即可。在该情况下，当判断为带有水滴时为“有内容物”，当未带有水滴时为“无内容物”，可通过参照图4A的表来确定保持方法。

(2.与形态的变化对应的保持方法的确定)

下面，对形态变化的物品的保持进行说明。在保持(把持)具有立体形状的物品(例如，纸屑)202a时，如图5A所示，一般通过指型手103a，从上方夹持该物品。

与之相对，当该物品为薄片状的物品202b时，例如是放在地上的一张纸或布时，执行上述的保持方法极其困难。如图5B所示，在把持这样的纸或布时，通过利用吸附手103s吸附来进行保持是有效的。

另外，即使是相同的纸，在100张这样的纸捆在一起的状态下，如果考虑其重量则难以通过吸附来保持。该情况下，如图5C所示，对纸束202c用指型手103a从其厚度方向夹持是有效的。

此外，即使是相同的纸，在该纸被揉成团的状态下，如图5A所示，用指型手103a从上方夹持是有效的。

这样，即使物品是相同的纸，最佳的保持方法也因其形态而改变。因此，上述物品保持系统10在对保持对象物进行保持时，会识别该保持对象物的形态，根据该识别结果来确定(选择)最佳的保持方法。

保持对象物的形态识别，可利用对安装于该保持对象物的电子标签的信息进行接收的标签阅读器(例如标签阅读器404a)、和测距仪来进行。即，在该情况下，作为物品保持系统10的识别装置101，还具有标签阅读器(例如标签阅读器404a)和测距仪(省略图示)。而且，在这里，上述电子标签中存储有：该物品是何物品(确定物品的信息)、和如图6所示那样将该物品(这里为纸)可获取的状况(形态)以及最佳的保持方法对应起来的表。

上述物品保持系统10的识别装置101在识别保持对象物的形态时，首先通过标签阅读器(例如标签阅读器404a)读取保持对象物的信息。通过使电子标签具备防冲突(anti-collision)功能，即使保持对象物是被捆的多张纸，也能同时识别对各纸赋予的电子标签的信息。这样，根据电子标签的信息可确定该保持对象物为哪一个，而且可获取表。

接着，上述物品保持系统10的识别装置101通过测距仪来检测上述保持对象物的形状。由识别处理部101p根据该检测结果来识别保持对象物的形态。

保持方法确定机构102根据该识别结果，通过参照上述表，确定被识别的保持对象物的形态所对应的保持方法。

保持装置103按照由保持方法确定机构102确定的保持方法，对保持对象物进行保持。即，当保持对象物是平放的一张纸202b时，上述保持装置103通过吸附手103s来保持该纸202b，当保持对象物是被揉成团的纸202a时，通过指型手103a从上方夹持该成团的纸202a，当保持对象物是成捆的多张纸的纸捆202c时，通过指型手103a从横向夹持该纸捆202c。

这样，可对保持对象物用与其形态对应的最佳保持方法来保持。

当然，这样的纸的保持方法并不限定于此，例如，也可采用组合了多个保持装置103的装置。利用图2A和图5D说明当保持对象物为放在地上的一张纸时组合吸附手103s和指型手103a来进行保持的例子。

图2A表示了该情况。当纸202b被放在地上时，即使机器人402用指型手103a夹持，该操作也非常困难。因此，首先机器人402如图5D所示那样，通过用吸附手103s吸附来保持纸202b。然后，机器人402控制吸附手103s和指型手103a使它们靠近，用指型手103a对所吸附的纸202b的边缘从上下夹持(图5E)。接着，通过停止吸附手103s的吸附(例如，通过控制机构415的控制而使吸引装置停止)，从而实现由指型手103a进行的纸202b的把持(图5F)。

图5G表示保持方法数据库102d中预先存储的、如图2A所示的机器人402的保持方法的一览图。如上所述，该机器人402具有两只指型手103a和一只吸附手103s。

首先，在利用指型手103a时，存在着用单前臂的指型手103a夹持而进行保持的方法(例如，图5A和图5C)、利用双前臂的两个指型手103a夹持而进行保持的方法(例如，图9和图5H)等。利用该双前臂的两个指型手103a的保持方法，在用单前臂的指型手103a难以稳定把持的大对象物和保持重量大的对象物时是有效的。

作为其他的保持方法，有利用吸附手103s的保持方法(例如，图5B)。这对于用指型手103a难以保持的放在地面上的纸、或具有凸凹少的面的对象物是有效的。

另外，还考虑了组合指型手103a和吸附手103s的保持方法。其中具有：首先用所述的吸附手103s吸附，再用单前臂的指型手103a或双前臂的两个指型手103a夹持所吸附的对象物的方法(例如，图5E)；和用吸附手103s按住托载于双前臂的两个指型手103a上的对象物来进行保持的方法等。图5I是表示该情况的图。该方法作为如台车那样，将从人或其他机器人等传递来的大量书或文件等搬运到其他场所时的保持方法是有效的。

作为根据保持对象物的形态来确定保持方法的其他例子，可举出衣物等。下面，参照图7，对保持对象物是衣物的情况进行说明。

即，在衣物例如要进行洗涤而放置时，“用指型手把持”的保持方法是有效的。相对于此，在该衣物洗涤结束被挂在衣架上时，当用熨斗熨烫后叠起来时，需要避免如衣物出现褶皱那样的保持方法。

在衣物的例子中，保持对象物的形态识别，可利用对安装于该保持对象物的电子标签的信息进行接收的标签阅读器(例如标签阅读器404a)、和测距仪来进行。在该情况下，对上述电子标签，只要将具有例如图7所示的信息的表预先存储到保持方法数据库102d中即可。根据该表，在衣物210挂于衣架211上的形态下，设定用指型手103a保持该衣架211的部分(例如，按照用指型手103a把持或挂住衣架211的挂钩部分的方式来保持)。另一方面，当衣物210a被叠放时，设定例如用臂103b或两个指型手103a进行在该叠着的状态下将其举起的保持动作。另外，当衣物210处于此外的形态(例如，成团的状态等)210b时，设定以用指型手103a捏住的方式来进行保持。

此外，由于识别装置101识别保持对象物的形态的处理、保持方法确定机构102确定保持方法的处理如上所述，因此在此省略说明。

这样，上述例示的纸或衣物是相对于时间而其形态会变化的物品，但在由保持装置103保持这样的物品时，识别装置101会识别物品的形态，保持方法确定机构102根据该形态来确定保持方法。由此，对形态有变化的物品，可配合其状况来进行最佳的保持。

(3.与物品的状况对应的保持位置的确定和变更)

下面，对与物品的状况对应的保持位置(位置坐标)的确定和变更进行说明。这在机器人402(作为一例为家务支援机器人)保持盛有菜(食品)204的盘子203时是有效的。即，在保持盛有菜204的盘子203时，需要保持该盘子203中不存在菜204的部分。因此，上述保持对象物103在保持作为对象物的盘子203时，会识别作为该保持对象物的盘子203的状况，根据该识别结果来确定最佳的保持方法。这里，在保持盘子203时，识别菜204存在于该盘子203的哪个位置(位置坐标)，根据该识别结果来确定保持位置(位置坐标)。

在该情况下，利用标签阅读器(例如标签阅读器404a)和照相机(例如照相机105)来识别物品的状况。即，利用作为识别装置101的一例的标签阅读器(例如标签阅读器404a)和照相机(例如照相机105)。

对于利用了上述标签阅读器(例如标签阅读器404a)和照相机(例如照相机105)的盘子203的状况识别，采用图8A进行说明。图8G是表示处理流程的图。

首先，上述物品保持系统10在时刻t＝t₀用照相机对盛有菜204的盘子203进行摄像(步骤S2001)。图8A和图8D是这些被摄影的盘子203和该盘子203上放置的食品204的图。设盘子203安装有电子标签，该电子标签中存储有形状数据和纹理(texture)信息(图8B所示的盘子203为圆形与盘子203的花纹203a等的信息)。

上述物品保持系统10在识别保持对象物的状况时，首先通过标签阅读器404a读取保持对象物的信息(步骤S2002)。由此，如图8B所示，获得没有盛装菜的状态的盘子203的数据。小圆是盘子203的花纹203a。

这样，上述识别装置101的识别处理部101p执行图8A所示的数据和图8B所示的数据的差分处理(步骤S2003)。通过该差分处理，如图8C 所示，提取出放在盘子203上的食品204的区域81。在图8C中，82是除食品区域81以外的区域，是能用指型手103a把持的区域。

然后，在经过一定时刻后的时刻t＝t₁再次进行摄影(参照图8E)，生成差分图像(参照图8F)。通过用识别处理部101p计算这样求出的时刻t＝t₀与时刻t＝t₁的各差分图像的差分，来推断保持对象物的状态变化(这里，是加在菜上的调味汁移动所引起的状态变化)(步骤S2004)。

图8F表示这样求出的差分区域。

利用以上的结果，推断由保持装置103进行的盘子203的保持位置(位置坐标)(步骤S2005)。

更具体而言，进行如下处理。

首先，在盘子203的电子标签或保持方法数据库102d、物品及移动体数据库406等中，预先存储如图8H所示的保持位置候补(位置坐标的候补)，作为保持位置信息。在该图8H中，H1～12的各区域表示可由保持装置103的指型手103a把持的盘子203的周围部分，即保持位置候补区域2101。作为一例，保持位置候补区域H1～12成为盘子203的周围部分被均等分割后的区域。另外，希望该保持位置信息作为形状信息，保持在盘子203的电子标签或保持方法数据库102d、物品及移动体数据库406等中。

接着，将由步骤S2003求出的差分图像叠加到保持位置信息。

此时，在保持位置候补区域2101中，将与食品区域81重叠的区域从保持位置候补中除去。图8I和图8J是表示该情况的图。在该图8I中，由于区域H2与食品区域81重叠，因此从保持位置候补中除去H2区域，作为不可保持区域。

此时，希望叠加的食品区域81使用最新的区域。

然后，将由步骤S2004求出的差分区域的信息叠加于保持位置信息。而且，食品区域81的重心位置(重心位置的位置坐标)Pf也同样叠加于保持位置信息。这里，连结差分区域的各点与食品区域的重心位置Pf，进而，延伸到盘子203的边缘的区域(图8J的斜线区域2102)被认为是后来成为食品区域81的可能性高的区域。因此，这些区域2102也作为不可保持区域。

通过以上的处理，从剩余的保持位置候补中确定可保持区域。在图8J中是区域H4～H12，如果优选使不可保持区域2102相反一侧的区域H6～H9为可保持区域，则即使在移动中食品发生了移动，也能进一步降低与指型手103a接触的可能性。

当然，可保持区域不一定由上述方法确定，例如也可将盘子的整个区域内的除食品区域81以外的区域确定为可保持区域82(图8K的标注了斜线的区域)(参照图8L)。即，图8L是将盘子的整个区域内有差分的区域设为可保持区域，没有差分的区域设为不可保持区域时的图。另外，也可选择最远离食品区域81的保持位置候补区域2101(在图8I中为区域H7)作为保持位置(位置坐标)。

保持位置103根据确定的可保持区域82，通过臂103b和手103a、103b来保持该可保持区域82(参照图9)。这样，能保持盛有菜的盘子203而不与该菜接触。

通过根据差分处理来确定食品区域，例如即使在盘子203上描绘有花纹203a时，也能正确地识别食品区域81。另外，由于盘子203的亮度信息根据照明状态而变化，因此希望利用与光源的变化相对应的背景差异方法。作为这样的方法，例如存在着对图像进行边缘提取之后求出差分的方法等。

这样，例如，有时盘子等物品会在其上放置有物体，相对于时间而状况会发生变化。在用保持装置103保持这样的物品时，识别装置101识别上述物品(保持对象物)上是否放置有物体、以及物体放置在何处，保持方法确定机构102根据放置有物体的位置(位置坐标)来确定保持方法(这里为保持位置(位置坐标))。由此，对其上放置有物体的物品可配合其状况来最佳地保持。

另外，也可以当如上所述那样确定最佳的保持位置(位置坐标)而正在对保持对象物进行保持时，与该保持对象物的状况发生变化相对应，来改变其保持位置(位置坐标)。

即，如图9所示，在机器人402保持食品区域81以外的区域来搬运盘子203时，该菜中包含的调味汁或番茄酱等会移动，如图10所示，食品区域81发生变化。在该情况下，会发生手103a接触到食品的情况。

因此，上述识别装置101在对保持对象物进行保持时还通过照相机105对盛有菜的盘子203进行摄像，依次执行上述的差分处理。这样来依次识别食品区域81。

然后，上述保持方法确定机构102根据该识别结果，在食品区域81发生了变化时进行可保持区域82的再次确定，例如，如图11所示，根据需要来改变由手103a保持的保持位置(位置坐标)。

这样，一旦确定了最佳的保持方法之后，通过继续识别保持对象物的状况，能够对应于状况的变化而始终对保持方法最佳化。

(4.与物品的温度状况对应的保持方法的确定)

下面，通过识别物品的温度状况，对保持方法尤其是保持位置(位置坐标)的确定进行说明。这在没有对物品添加电子标签等，不能预先获得该物品的保持方法(保持位置)时是有效的。即，其原因在于，在根据电子标签等获得保持方法时，也能确定该物品的保持位置(位置坐标)。

这里，以机器人402(家务支援机器人)对放在炉灶511上的锅或煎锅121进行从该炉灶511上取下的作业为例，对确定与物品的温度状况相对应的保持方法进行说明。

这里，如图23所示，考虑分别独立设置识别装置101、保持方法确定机构102、保持装置103、以及作为保持方法数据库102d或物品及移动体数据库406而发挥功能的保持信息数据库510，经由网络将这些装置相互连接的构成。在该图23所示的系统中，上述机器人402成为保持装置103本身。另外，保持方法确定机构102成为：接受来自识别装置101的识别结果来确定搬运方法，并且，根据该确定的方法向上述保持装置103(机器人402)输出搬运指示的搬运指示装置。

首先，识别装置101利用测距仪或立体视频等三维测量方法，识别放在炉灶511上的煎锅121的形状。即，物品保持系统10还具有测距仪或立体照相机(例如105)。具体而言，识别装置101例如预先获得没有放置煎锅121的炉灶511的三维形状信息，通过将炉灶511与实际测量出的三维信息进行比较，可确定煎锅121的形状(参照图12A)。

接着，识别装置101例如通过红外线传感器等的温度传感器520来测定保持对象物的温度分布。即，上述物品保持系统10还具有温度传感器 520。由于这样的温度传感器520作为使用了热电堆(thermopile)元件的传感器或温度记录(thermography)装置等而被广泛了解，因此省略详细说明。本来，这样的温度传感器520在不知道对象物的辐射率的情况下无法推断正确的温度。因此，也可在添加到保持对象物(各物品)的电子标签等标签521中，蓄积该对象物的辐射率的数据。

图2A是表示对上述物品保持系统10设置了温度传感器520后的示意图。如该图2A所示，也可不将温度传感器520组入物品保持系统10，而由手103a来操作温度传感器520。

人所使用的烹调器具设置有人进行保持的部分(在为煎锅121时是把手部分121a)，设计成该部分温度不变高。因此，通过测定保持对象物的温度分布，如图12B所示，可检测出在煎锅121中放在火上的部分是高温，把手121a是比较低温的部分。

保持方法确定机构102根据该温度分布，将可保持区域122(在该情况下，为温度T比阈值温度Th_TH(例如30℃)低的部分即把手121a)确定为保持位置(位置坐标)(参照图12D)。温度T比阈值温度Th_TH高的部分为不可保持区域。

保持装置103按照确定的可保持区域122，如图12C所示，通过手103a和臂103b来保持煎锅121的把手121a。

这样，机器人402会保持与人所保持的位置(位置坐标)相同的位置(位置坐标)。这在例如手103a的构成不耐热等情况之下是必要的处理。另外，即使在手103a的构成不需要考虑热的情况下，例如机器人402所保持的位置(位置坐标)是人通常不保持的位置(位置坐标)时，对人而言也会感到不愉快，但通过机器人402保持与人相同的位置(位置坐标)，会具有减轻这种不愉快的优点。

根据这样的温度分布的保持位置(把持位置)(位置坐标)的确定，保持对象物并不限定于烹调器具，也可以是盛有菜的盘子。即，只要测定盛有菜的盘子的温度分布，保持方法确定机构102将温度低的部分，即未盛装菜的盘子的部分确定为保持位置即可。

另外，为了获得保持对象物的温度状况，识别装置101也可利用物品的历史记录信息或位置信息。这将利用图12F对起进行详细描述。

当保持对象物为所述煎锅121时，保持对象物的温度上升是由于放在煤气炉灶上。因此，通过确认保持对象物最近是否存在于煤气炉灶上，可推断保持对象物的温度状况。具体而言，通过参照图12F的表，将保持区域122确定为保持位置，从而确定保持方法。获取这样的物品的历史记录信息的方法可使用RFID或照相机等，例如，由于通过特开2004-249389号公报等已经公知，所以在此省略该方法的说明。

另外，也可根据保持对象物的温度状况来改变保持装置103的温度。这尤其在对温度低的物品进行保持时是有效的。例如，当保持冰时，在保持装置103的温度非常高时，冰会溶化，导致无法进行保持。

因此，在保持对象物的温度非常低时，进行将保持装置103的温度冷却到十分接近保持对象物的温度的处理。这种的冷却处理利用公知的珀耳帖(Peltier)元件等即可。

这样，在由保持装置103保持烹调器具或餐具等产生温度分布的物品，即相对于时间状况发生变化的物品时，通过识别装置101识别上述物品的温度分布，保持方法确定机构102根据所识别的温度物品来确定保持位置(位置坐标)，可实现保持的最佳化。

另外，与物品的温度状况对应的保持方法的确定并不限定于上述的保持位置(位置坐标)的确定。例如在保持盛有热水的锅时，也可选择与该热水温度对应的最佳保持方法。即，例如在热水沸腾(如图12E所示，温度t比规定的上限温度Th_TH低且在规定下限温度Th_TL以上)时，保持方法确定机构102选择使该锅为水平状态且以缓慢的移动速度移动的保持方法，另一方面，当温度t比规定下限温度Th_TL低时，保持方法确定机构102将移动速度设定为不使热水洒落程度的移动速度。当温度t比规定上限温度Th_TH高时变为不可保持。此外，由于热水温度随着时间经过而变化，因此在保持装有热水的锅时，也可以用识别装置101依次测定热水温度，保持方法确定机构102根据该温度的变化而使保持方法最佳化。

(5.与物品及其周围物品的关系对应的保持方法的确定)

下面，对与物品及其周围物品的关系对应的保持方法的确定进行说明。这涉及到统一保持多个物品时的保持方法。机器人402在进行多个物品的搬运作业时，也可对该物品逐一地保持而进行搬运，但由于作业效率低，因此会统一保持多个物品而进行搬运。并且，在保持对象物为一个物品时、和汇总多个物品作为保持对象的情况下，都使保持方法最佳化。

关于保持对象物状况的识别，这里，多个物品是否重叠在一起可通过对安装于物品的具有防冲突功能的电子标签的信息进行读取来识别。即，只要识别装置101根据电子标签的信息，来识别保持对象物的附近是否存在其他物品即可。该情况下，保持装置103还具有标签阅读器404a。

而且，识别装置101也可根据由照相机105摄像的图像，来识别多个物品是否重叠在一起。

然后，保持方法确定机构102例如在仅保持一个盘子时，选择用指型手103a捏住的保持方法，另一方面，当多个盘子重叠在一起时，选择利用臂103b和手103a从下方支承该重叠在一起的盘子的保持方法(参照图24)。

保持装置103按照由保持方法确定机构102所确定的保持方法进行保持对象物的保持。

物品是否重叠在一起是相对于时间发生变化的状况，但通过识别这样的状况来确定与状况相对应的保持方法，可以用与状况相对应的最佳保持方法来执行物品的保持。

(6.利用了学习的保持方法的确定)

难以按各物品预先设定保持方法，而且，更难以对所有物品预先设定例如图4A、6、7所示的与物品的状况相对应的保持方法。另一方面，为了按各物品进而按各物品的状况使保持方法最佳化，需要按各物品和按各物品的状况来设定保持方法。

因此，为了简便且可靠地进行保持方法的设定，可根据人所进行的动作来学习设定物品的保持方法。

图13是表示本发明的上述实施方式的变形例，即进行学习的物品保持系统11的框图，与图1所示的物品保持系统10比较，该物品保持系统11还具有学习机构106。该学习机构106识别人所进行的物品的保持动作，根据该识别结果，学习设定按各物品或按各物品的状况的保持方法。由识别装置101识别人所进行的物品的保持动作。

人所进行的物品的保持动作可利用立体照相机和标签阅读器来识别。即，上述物品保持系统11还具有立体照相机105和标签阅读器404a。

下面，对两个学习方法进行具体说明。其中，可成为保持对象物的物品全部安装有存储了物品的形状信息和纹理信息等信息的电子标签。另外，由于对物品进行操作的人平时也带着电子标签行走，因此可通过标签阅读器404a获得物品与人物的位置(位置坐标)与ID信息。

学习方法之一是根据物品的移动速度的保持方法的学习设定。图25表示此时的处理的流程。在该方法中，首先上述识别装置101在人对物品进行保持时，用立体照相机对该保持的状况进行摄像，并且，从摄像的图像求出光流(optical flow)(步骤S201)。

这里，在摄像范围内没有任何移动(没有电子标签的移动)时，检测出的光流都非常小。

另一方面，当在摄像范围内发生了移动(有电子标签的移动)时，发生了移动的区域的光流变大。因此，对区域内的光流的大小进行检查(步骤S202)，当不存在足够大的光流时，判断为在摄像范围内没有移动，结束处理(在步骤S202中为否)。

另一方面，当存在足够大的光流时，提取存在大的光流的区域作为移动区域(在步骤S202中为是)。

接着，上述识别装置101利用标签阅读器，在发生了该移动的区域中检测是何物体在移动。即，通过接收电子标签的信息，确定被人移动的物品是何物品。在移动区域，当未检测到物品和人的电子标签双方的情况下，认为在该移动区域当前不需要进行学习，结束处理(在步骤S203中为否)。另一方面，在检测到物品和人的电子标签双方的情况下(在步骤S203中为是)，认为当前在该移动区域可成为保持对象物的物品正在被人移动，因此进行学习。

首先，通过获得移动区域内存在的电子标签的信息，来获得物体的形状信息和纹理信息(步骤S204)。从上述摄像后的移动区域的图像中仅提取出物体，该移动具体而言是测定该物体的移动速度(步骤S205)。利用从电子标签获得的物体的形状信息和纹理信息，通过对立体照相机图像进行图案匹配处理，检测图像中的物体的位置(位置坐标)，从而可测定该移动。由于这可利用公知的方法，因此省略详细说明(例如，参照专利第 2961264号公报)。

另外，当该物体小时，在人握住该物体的状态下，存在着该物体被人的手遮挡而发生在图像中无法识别的情况。该情况下，只要从图像中提取出人手的区域来测定其移动速度即可。并且，也可将该测定的移动速度作为物体的移动。人手的提取，例如只要利用颜色信息仅提取图像中的肤色区域即可。该提取处理在各帧中进行，并且，通过在该帧之间进行位置(位置坐标)的比较，可测定物体的移动。

当然，上述的立体照相机和标签阅读器无需直接设置于上述物品保持系统11。也可设置在所述环境管理服务器401，对环境管理服务器401检测到的信息利用收发机构409来收发。

通过以上的处理，可测定在人保持物品的状态下的该物品的移动速度，例如图14A和图14B所示，判明布制玩具的移动速度(参照图14A)比花瓶的移动速度(参照图14B)高。即，人和布制玩具快速地移动，另一方面花瓶缓慢地移动。物品的移动速度可通过利用所述标签传感器来获得，该标签传感器利用了超声波。

学习机构106根据该识别结果，例如像图26所示那样以表的形式设定各物品的保持方法，保持方法确定机构102根据由识别装置101识别的结果(保持对象物是何物品的识别结果)，来确定由学习机构106学习设定的保持方法。这样，如图26所示，当保持对象物为布制玩具时，确定比较快的移动速度的保持方法，当保持对象物为花瓶时，确定比较慢的移动速度的保持方法。这可如上述那样，以表的形式蓄积人以怎样的速度作为移动速度来移动各对象物，如图26所示作为物品及移动体数据库406或保持方法数据库102d等的数据库，并通过利用该数据库来实现。

另一个学习方法是：基于人手相对于物品的位置(位置坐标)存在于何处的保持方法的学习设定。

一边参照图15A和图15B，一边对该学习方法进行说明。图15A表示人保持着布制玩具151时的情况，图15B表示人保持着花瓶152时的情况。

上述识别装置101在人保持着物品时，用立体照相机来摄像该保持的状况。如上所述，在该摄像图像中，通过确定人的手153、154的位置(位置坐标)、物品的位置(位置坐标)，来检测人怎样保持着物品。

在图15A中，布制玩具151的附近存在一只人的手153，但另一只手154存在于远离布制玩具151的位置(位置坐标)。由此，可识别到人用单手保持着布制玩具151。相对于此，在图15B中，花瓶152的附近存在两只人的手153、154。由此，识别到人用双手保持着花瓶152。

学习机构106根据该识别结果，对布制玩具151设定用一只手保持的保持方法，对花瓶152设定用两只手保持花瓶的两个位置的保持方法。另外，优选在保持装置103是与人同样的双前臂构成时，采用该学习方法。

图27和图28表示将这样学习到的保持方法以表的形式蓄积到物品及移动体数据库406或保持方法数据库102d等数据库中的一个例子。在对象物的电子标签中，如图27所示那样存储有图28的保持等级中的一个保持等级。通过学习这样的数据库，对各保持对象物可实现灵活的保持动作。

另外，为了根据情况来区分使用单前臂、双前臂这两种保持方法，也可如图29那样生成物品及移动体数据库406或保持方法数据库102d等的数据库。这在例如已经用单前臂保持着某对象物的状态下保持其他对象物的情况等有效。即，在进行一个对象物的保持时利用了双前臂，但在进行两个对象物的保持时分别用单前臂进行保持。由此，即使在保持对象物为多个的情况下，也能用最佳的保持方法对对象物进行保持。

上述的学习机构106进行的学习只是学习各物品的保持方法，但通过进一步识别人进行保持时的物品的状况，还可使物品的状况和保持方法对应起来学习。例如，在人保持玻璃杯时，通过进一步识别该玻璃杯中是否盛有水，可学习玻璃杯中盛有水时的保持方法与玻璃杯中未盛有水时的保持方法。通过进行这样的学习，可通过学习来生成如图4A、6、7所示的数据库。

通过学习来设定保持方法，从而可不按各物品或各物品的状况预先设定保持方法，另一方面，通过根据人所进行的保持动作来学习保持方法，可设定适当的保持方法。

此外，学习机构106进行的学习在人将物品交给机器人402时进行，而且还可在指示对该物品的作业时进行。即，识别人将物品交给机器人402时的动作并学习保持方法，机器人402以与此人相同的动作来进行之后的作业。

通过在该时刻进行学习，具有学习精度提高的优点。即，在人将物品交给机器人402时，此人正对着机器人402的情况居多。由于立体照相机通常被设计成对正对着的物体的测量精度高，因此通过在人将保持对象物交给机器人402时进行学习，使得手的位置(位置坐标)和保持对象物的位置(位置坐标)的检测精度提高，从而提学习的精度高。

另外，上述的学习方法根据对人保持物品的状况摄像了的图像而进行，但并不限定于此。例如也可对成为保持对象物的各物品安装可检测其三维位置(位置坐标)的ID标签，根据该标签信息进行学习。即，由于可根据标签信息检测出该物体的移动轨迹，因此可根据该移动轨迹检测该物体是怎样被保持的(其移动速度)。此外，作为可检测三维位置(位置坐标)的标签，公知有利用超声波的标签(例如，“使用了超声波式三维标签的人日常活动的强健测量～基于冗余的传感器信息的强健(robust)位置推断～”，西田佳史、相泽洋志、堀俊夫、柿仓正义，第20届日本机器人学会学术演讲会演讲论文集，3C18，2002)。

而且，通过利用例如“利用了红外线图像的视觉体积交叉法识别把持形状”(桥本健太郎，小川原光一，高松淳，池内克史。计算机视觉和图像介质135-10，pp.55-62，2002)中公开的技术，也能检测识别出人是怎样把持物品的。在采用该方法的情况下，也希望保持装置103与人同样具备臂103b和手103a。

并且，学习机构106进行的学习优选以特定的人为学习对象，仅在此人对物品进行保持时进行。这是由于即使为同样的物品，保持动作也会因人而异。例如，即使保持的物品是同样的布制玩具151，大多会出现下述情况：孩子会杂乱无章地保持，而母亲会小心谨慎地保持，另外，奶奶会慢慢地保持。即，由于人进行的物品的保持动作存在个人差异，因此在根据人所进行的动作来学习物品的保持方法时，包括个人差异。因此，以特定的人为学习对象，在此人对物品进行保持时进行学习。由此，可从学习设定的保持方法中排除个人差异。

与此不同，也可分别学习多个人各自进行的物品的保持动作，并且从中选择最佳的保持方法。作为最佳的保持方法的选择方法可考虑多种方法。例如，对所学习到的各种保持方法进行实际尝试，通过评价该保持方法的稳定性来选择。另外，也可对学习到的各种保持方法进行实际尝试，根据此时周围存在的人的反应来选择。即，可根据面部图像来识别周围存在的人的愉快或不愉快，选择使人感到最舒适的保持方法。

并且，也可预先分别学习多个人各自进行的物品的保持动作，选择与物品保持系统11执行物品的保持时成为对象的人相对应的保持方法。例如，按照机器人402执行将物品交给人的作业时从该交接对方的人的保持动作中学习到的保持方法，进行物品的保持。由此，机器人402将如人通常进行保持那样来保持物品，可分别应用机器人402的保持动作。

(7.保持方法的类推)

下面，对通过类推来确定保持方法进行说明。该处理也具有无需预先对所有保持对象物设定保持方法的优点。

在该处理中，举具体的例子进行说明。这里，设盘子的保持方法和布制玩具的保持方法分别被预先设定(可通过上述的学习来设定，也可由用户或厂家预先设定)，另一方面，假设杯子的保持方法尚未设定。

然后，当通过识别装置101识别出保持对象物是杯子时，保持方法确定机构102对该杯子的保持方法从已经设定的保持方法中选择认为最佳的保持方法。在该选择中，保持方法确定机构102例如可利用物品的反射参数或形状数据。这里，反射参数是依赖于物品的材质的参数，该参数越相近，可判断材质越相近(对反射参数将在后面描述)。即，认为材质或形状近似的物品彼此之间其保持方法也相同，上述保持方法确定机构102对未设定保持方法的物品(未设定物品)，将对材质或形状近似的物品而设定的保持方法确定为上述未设定物品的保持方法。

具体而言，在上述的例子中，保持方法确定机构102相互比较杯子的反射参数、盘子的反射参数、布制玩具的反射参数。由于杯子的反射参数比布制玩具的反射参数更接近盘子的反射参数，因此上述保持方法确定机构102采用盘子的保持方法作为杯子的保持方法。这样，通过利用类推来确定保持方法，即使没有预先对所有保持对象物设定保持方法，也可通过保持装置103最佳地保持各种物品。

(第二实施方式)

图16是表示本发明第二实施方式的物品保持系统12的基本构成的框图。本实施方式的物品保持系统12包括：识别装置101、保持方法确定机构102、和保持装置103。上述识别装置101包括：对保持对象物摄影的摄像装置105、和根据摄像的图像来识别对象物的材质的材质识别机构107。

另外，在第二实施方式的物品保持系统12中，对于与第一实施方式的物品保持系统10相同的机构和装置标注同一标记，并省略其详细说明。

上述摄像装置105利用照相机105等摄像元件对保持对象物进行摄影。

上述材质识别机构107首先根据由摄像装置105摄像的图像推断对象物的反射参数，然后根据推断出的反射参数来识别其材质。这利用了因材质不同而反射特性变化的原理。

上述保持方法确定机构102根据由上述材质识别机构107识别出的材质来确定保持方法。

本实施方式的物品保持系统12也搭载于图2A所示的机器人402。在该机器人402中，作为摄像装置105的照相机可嵌入人型机器人402的面部。而且，优选通过将对保持对象物进行照明的光源104(在本实施方式中，无需如第一实施方式那样设置激光照射装置)安装到机器人402的臂103g，来任意地改变其位置(位置坐标)。

下面，详细描述由上述材质识别机构107进行的、根据摄像的图像推断对象物的反射参数并根据该推断出的反射参数来识别材质的方法。为此，首先对广泛使用的反射模型即Torrance-Sparrow模型进行说明。

作为双色性反射模型之一的Torrance-Sparrow模型，将物体反射光表现为镜面反射成分和漫反射成分之和。(式1)是简化后的Torrance-Sparrow模型的式子。

[数式4]

i_{c} = [K_{d, c} \cos (θ_{i}) + \frac{K_{s, c}}{\cos (θ_{r})} \exp [- \frac{α^{2}}{2 σ^{2}}]] \frac{L_{c}}{R^{2}}

(式1)

(式1)中的第一项表示漫反射成分，第二项表示镜面反射成分。这里，c是RGB(红绿蓝)中的任意一种，i_c是图像面的亮度，L_c是光源的光度，R是从光源到物体表面的各点的距离，照明光强度是考虑与该距离的二次方成反比例衰减的特性而导入的。K_d，c和K_s，c分别表示与漫反射成分和镜面反射成分相对应的反射系数，σ表示表面粗糙度。另外，θ_i是在物体表面的点的入射角，即法线方向与光源方向所成的角度，θ_r是法线方向与视线方向所成的角度，α是光源方向和视线方向的二等分方向与法线方向所成的角度。

在图17中表示这些关系。在该图中，200、105、104分别表示保持对象物、照相机、光源，向量N表示保持对象物200表面的法线方向，向量V、L、H分别表示照相机方向、光源方向、照相机方向与光源方向的二等分线方向。这里，若设：

[数5]

K_d＝K_d，cL_c

K_s＝K_s，cL_c

I_c＝i_cR²

则(式1)变形为如下形式。

[数6]

I_{c} = [K_{d} \cos (θ_{i}) + \frac{K_{s}}{\cos (θ_{r})} \exp [- \frac{α^{2}}{2 σ^{2}}]]

(式2)

即，若能推断K_d、K_s和σ的参数，则可记述对象物的反射特性，从而能够推断对象物的材质。因此，将这些参数称为反射参数。

反射参数的推定由以下的三个步骤构成。

1)保持对象物的正确位置(位置坐标)和形状、姿势的推断

2)漫反射区域和镜面反射区域的分离

3)反射参数的推断

以下，依次对各步骤进行说明。

1)保持对象物的正确位置(位置坐标)和形状、姿势的推断

对保持对象物设置有存储了其形状的电子标签。

这里，说明通过求出该形状信息与从立体视频求得的保持对象物的三维位置信息的对应，来求出对象物的正确位置(位置坐标)和形状、姿势的方法。另外，保持对象物的三维位置信息不仅是为了推断保持对象物的材质，而且如上所述，也是保持装置103用于进行保持对象物的保持所需要的信息。

作为利用了图像的三维位置检测法，利用了块匹配法的立体视频被广泛使用。在该方法中，用多个照相机对对象进行摄影，按分割后的各块(点)求出图像间的对应。根据这样求出的对应点来求出三维位置(位置坐标)。

在所求出的对应点的数量足够多时，可通过该方法求出对象物的形状，但由于处理时间和匹配精度的问题，对于对象物大多只能求出大致的三维位置(位置坐标)。因此，会产生如下的问题：需要的信息是对象物的位置(位置坐标)和形状、姿势信息，与之相对，用该方法求出的是多个点的三维位置(位置坐标)。即，需要根据求出了三维位置(位置坐标)的点的集合，来求出保持对象物的正确位置(位置坐标)和形状、姿势的机构。因此，利用电子标签中存储的表面形状信息来推断其位置(位置坐标)和姿势。

图18A～图18E表示与该处理相关的概念图。图18A的各点表示通过块匹配法求出了三维位置(位置坐标)的点。图18B表示电子标签中存储的保持对象物的形状信息。这里，设保持对象物是半径为r、高度为h的圆柱。

认为：由块匹配法求出了三维位置(位置坐标)的点全部是对象物的表面上的点。因此，一边使位置姿势在三维空间上稍微变化，一边依次假设配置根据电子标签求出的形状数据(参照图18C、图18D、图18E)。然后，对通过块匹配法求出了三维位置(位置坐标)的点中位于假想的形状数据的表面上的点的数量进行计数(在图18、图18D、图18E中用圆圈起来的点)。而后，将被计数的点的数量最大的位置(位置坐标)、姿势，推断为该对象物的位置(位置坐标)、姿势(在图例中，为图18D)。

另外，即使对保持对象物不设置电子标签，在其形状未知的情况下，也能通过激光测距仪或超声波传感器、光截断法或高精度的立体视频等高精度的三维测量法，直接求出对象物的位置(位置坐标)和形状、姿势。

2)漫反射区域和镜面反射区域的分离

下面，将对对象物进行摄影的图像分离为漫反射区域和镜面反射区域。这里，利用如下方法：将照相机105固定，使用一边移动光源104一边摄影得到的多张图像(参照图19A～图19D)，进行区域分割(“利用了光学现象的分类基准的图像的线性化”，石井育规，福井孝太郎，向川康博，尺长健，图像的识别/理解讨论会(MIRU2002)，vol.2，pp.167-176)。

该方法是如下：利用假设了Lambertian模型的图像可通过光源不同的三张图像的线性结合来表现任意光源的图像，将图像分类为完全漫反射区域、镜面反射区域等。

图20A～图20D是分别表示用该方法对图19A～图19D所示的图像进行区域分割后的图。在图20A～图20D中，涂了色的区域1301～1304表示镜面反射区域。

此时，如上所述，光源104为了改变其位置而优选设置在机器人402的臂103b上，光源104例如也可利用设置在家庭内的照明等的基础结构(infrastructure)的光源。在该情况下，也可进行家电联合来改变光源的位置。

而且，不仅可以固定照相机105而改变光源104的位置，还可以固定光源104而改变照相机105的位置。该情况下，在改变位置而摄像的各图像之间，需要求出各像素彼此的对应。

另外，镜面反射区域的推断方法并不限定于上述方法，例如也可以是利用了偏转过滤器的推断方法。而且，还可以是基于分离出图像内的高亮度区域的推断。具体而言，假设镜面反射区域是亮度非常高的像素，只要当某像素的亮度i(x)满足以下的式子时，将该像素作为漫反射区域即可。

[数7]

i(χ)＜Th_d

这里，Th_d是区别镜面反射和漫反射的阈值。

3)反射参数的推断

下面，对利用分离后的漫反射区域和镜面反射区域的信息来推断反射参数的方法进行说明。

首先，利用漫反射区域的信息，进行反射参数K_d的推断。在漫反射区域中，认为镜面反射成分几乎为0，因此根据(式2)，以下的关系成立。

[数8]

I_c＝K_dcos(θ_i) (式3)

如上所述，由于光源104通过臂103d而被控制位置，因此光源104的方向已知。而且，由于还获得了保持对象物的位置(位置坐标)和形状、姿势，因此对象物表面的法线方向，即cos(θ_i)也已知。

由于在所有改变光源104的位置而摄影的多张图像中，这些信息均已知，因此在(式3)中，当对象物的各点变化时的I_c的变化也是已知的。因此，通过用最小二乘法等方法来求解(式3)，可按各对象物的点推断各点的K_d。此时，各亮度值因噪声或三维位置推断误差的影响等，变为偏差值的情况居多，因此希望采用RANSAC(RANdom Sample Consensus)或SVDMD(Singular Value Decomposition with Missing Data)等可除去偏差值的最佳化方法。

另外，不仅可以按各点求出反射参数K_d，也可按各材质预先对图像进行区域分割作为前处理，然后按各区域求出反射参数K_d。

作为这样的区域分割的方法，可假设颜色相同的区域为相同材质，以颜色为基准来分割。另外，也可利用形状信息来分割。例如，可通过预先假设“某一平面上的区域全部为同一材质”来分割。

然后，利用镜面反射区域的信息，推断反射参数K_s和σ。若假设镜面反射区域的反射参数与其附近的区域相同，则表示镜面反射区域的漫反射成分的参数K_d可根据周边的区域求出。因此(式2)可进行如下变形。

[数9]

\frac{K_{s}}{\cos (θ_{r})} \exp [- \frac{α^{2}}{2 σ^{2}}] = I_{c} - K_{d} \cos (θ_{i})

(式4)

这里，由于右边和cos(θ_r)、α全部已知，因此可推断表示镜面反射成分的反射参数K_s、σ。

通过用SVM(Support Vector Machine)等公知的方法比较分类这样求得的反射参数、和存储于数据库上的各材质的反射参数，可推断对象物的材质。

以上的处理使用了照相机作为摄像装置105，但摄像装置105也可使用红外线照相机等。

另外，也可利用红外域或可见光域的光谱图像来识别保持对象物的材质。前者的方法作为红外分光分析(FTIR)而公知，后者的方法例如根据(“用于物体识别的基于光谱图像的材质判别”，真锅佳嗣、佐藤宏介、井口征士，电子信息通信学会论文杂志D-II，Vol.J79-D-II，No.1，pp.36-44，1996)等而公知。

如上所述，本实施方式的物品保持系统12根据识别出的材质来确定保持方法。

如本实施方式这样，识别保持对象物的材质的物品保持系统12可在进行餐具的保持时利用。即，机器人402为了收拾餐后的餐具，设为进行将各餐具搬运到餐具清洗机的作业。此时进行如下作业：当餐具中有剩饭时倒掉该剩饭后将其投入到餐具清洗机，当餐具中没有剩饭时直接投入到餐具清洗机。

在保持该餐具时，上述材质识别装置107通过识别餐具表面的材质来判别有无剩饭。具体而言，在安装于各餐具的电子标签中预先存储该餐具的反射参数。这样，如上所述，实际检测出餐具的反射参数，将该检测参数与存储参数进行比较。当两参数相同时，可判断为餐具上没有任何其他物体，当两参数差异很大时，可判断为餐具上存在一些其他物体。另外，也可预先求出剩饭的反射参数，将实际检测到的反射参数与剩饭的反射参数进行比较。

这样，接受由材质识别装置107识别到的剩饭的有无，保持方法确定机构102确定与之后的处理相对应的保持方法。即，当餐具中有剩饭时，选择相对丢弃该剩饭的作业为最佳的保持方法，另一方面，当不存在剩饭时，对投入餐具清洗机的作业选择最佳的保持方法。

保持装置103按照由保持方法确定机构102确定的保持方法来进行餐具的保持。

而且，本实施方式的物品保持系统12也如第一实施方式所述那样，还可用在根据物品的状况来确定保持位置(位置坐标)的情况下。即，在保持盛有菜(食品)的盘子时，上述材质识别装置107通过利用菜的反射参数和盘子的反射参数的不同，来确定盘子上放置的菜的区域。接受该确定结果，保持方法确定机构102可将盘子的整个区域内除了食品区域以外的区域确定为可保持区域。因此，上述保持方法确定机构102根据上述识别装置101的识别结果，进行保持方法的确定。该确定利用图30所示的(例如，表的形式的)数据库进行。这只要利用基于所述(式1)的参数推断结果即可。首先，预先获得盘子的反射参数K_dp、K_sp、σ_p。然后，用所述的方法，推断在把持对象物的各点的反射参数。设这样推断的反射参数为

[数10]

{\hat{K}}_{dp}, {\hat{K}}_{sp}, {\hat{σ}}_{p}

当推断出的反射参数充分接近盘子的反射参数时，判断该点是盘子的区域，将该点设为可保持区域进行保持。另一方面，当推断出的反射参数与盘子的反射参数差异较大时，判断该点为食品区域，不进行保持。

并且，本实施方式的物品保持系统12，在对物品未安装电子标签等而不能预先获得该物品的保持方法时也有效。例如，在对作为保持对象物的杯子未安装电子标签等而不能获得保持该杯子所需要的信息(位置(位置坐标)、形状和姿势信息)时，识别装置101利用立体视频与测距仪求出该杯子的形状。而且，通过材质识别装置107识别杯子的材质。由此，可确定该杯子例如为玻璃制、不锈钢制、或纸制。

另一方面，物品保持系统12中预先具备图31所示的存储了与各材质对应的保持方法(包括保持时的转矩信息)的数据库，保持方法确定机构102选择与识别出的材质相对应的保持方法。这样，保持装置103按照由保持方法确定机构102确定的保持方法，进行杯子的保持。由此，例如在保持玻璃制的杯子时，可避免转矩过大而破碎，或在保持纸杯子时避免弄坏。换而言之，在保持玻璃制的杯子时以临界转矩T_Lg以下的转矩进行保持，在保持纸制的杯子时以临界转矩T_Lp以下的转矩进行保持，从而可防止上述不良情况的发生。

这样，可通过识别保持对象物的材质来识别物品的状况，用最适合该状况的保持方法来对保持对象物进行保持。

(其他实施方式)

另外，在上述各实施方式中，保持装置103～12具有识别装置101，但识别装置101也可设置在物品保持系统10～12的外部。在该情况下，构成经由无线及/或有线网络将识别装置101与物品保持系统10～12(机器人402)相互连接的保持系统，只要经由上述网络将由识别装置101得到的识别结果发送到保持装置即可。

在上述保持方法数据库等的数据库中，存储了对作为上述保持对象物的多个不同保持对象物的物品保持方法，上述不同的保持对象物是物品ID信息为公共的、而形状、温度、内容物、或水分量等形态不同的物品，根据其形态变化而改变保持方法。上述保持对象物的形状、温度、内容物、或水分量等形态不同的物品，或上述保持对象物的形状、温度、内容物、或水分量等形态变化的物品，其ID信息是相同的，是即使添加电子标签也不会发生变化的物品，有上述的纸和纸屑、清洗前的洗涤物和洗涤后叠放的洗涤物、空杯子和盛有液体的杯子、干的纸和湿的纸等。

另外，本发明并不限定于上述实施方式，还可以以其他各种方式实施。

例如，机器人402也可不具备移动装置414。图22表示不具有移动装置414的具有机器人的臂103b和手103a的保持装置103。该机器人402被固定于房间的顶棚500或墙面，其本身无法移动。这样的机器人402在厨房等中的烹调辅助等、移动范围受限的情况下有效。

另外，通过适当组合上述各种实施方式中的任意实施方式，可起到各自具有的效果。

(工业上的可利用性)

如上所述，本发明在识别了物品的状况的基础上，用与其状况相对应的保持方法进行保持对象物的保持，在无法预先获得保持所需要的信息的情况下、因状况的变化而使预先得到的信息不起作用的情况下、或难以预先对各物品设定保持所需要的信息的情况下，都能最佳地保持各种各样的物品，因此在生活空间内被利用的保持装置、包括家务支援机器人和烹调辅助机器人等的各种机器人、机器人控制方法、物品保持系统中有效。

本发明参照附图，与优选实施方式关联充分地进行了记载，但该技术对熟练的技术人员来说，各种变形和修正都是清楚明白的。这种变形和修正只要不偏离由附加的技术方案所确定的本发明范围，则应理解为包括在其中。

Claims

1.一种机器人，其特征在于，具备：

识别装置，识别生活空间内的物品中的保持对象物的形态来作为所述保持对象物的状况，其中所述保持对象物是物品ID信息为公共的、而作为形态的形状、温度或内容物会发生变化的物品；

物品保持方法确定机构，根据由所述识别装置识别的状况即所述形态，从不同的物品保持方法中确定一种物品保持方法；和

保持装置，按照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持。

2.一种机器人，其特征在于，具备：

识别装置，识别生活空间内的物品中的保持对象物的状况；

保持装置，按照由所述物品保持方法确定机构确定的物品保持方法，执行所述保持对象物的保持；

在所述保持方法数据库中，存储有对作为所述保持对象物的多个不同的保持对象物的物品保持方法，所述不同的保持对象物是物品ID信息为公共的、而作为形态的形状、温度或内容物不同的物品，以按照所述形态的不同而改变保持方法的方式存储所述物品保持方法。

3.根据权利要求1或2所述的机器人，其特征在于，

所述识别装置对相对于时间变化的所述保持对象物的状况进行识别。

4.根据权利要求3所述的机器人，其特征在于，

所述保持对象物是其内部可收容物体的物品，

所述物品保持方法确定机构，根据由所述识别装置识别的、所述保持对象物的内部是否收容有物体的状况，从不同的物品保持方法中确定一种物品保持方法。

5.根据权利要求4所述的机器人，其特征在于，

所述保持对象物具有透光特性，

所述识别装置利用所述保持对象物的光的折射，对该保持对象物的内部是否收容有物体进行识别，

6.根据权利要求2所述的机器人，其特征在于，

所述识别装置对所述保持对象物的温度分布进行识别，

所述物品保持方法确定机构，根据由所述识别装置识别的、所述保持对象物的温度分布的状况，从不同的物品保持方法中确定一种物品保持方法。

7.根据权利要求6所述的机器人，其特征在于，

所述保持对象物是烹调器具或餐具，

所述保持方法确定机构，根据由所述识别装置识别的、所述烹调器具或餐具的温度分布，确定所述烹调器具或餐具的保持位置。

8.根据权利要求1或2所述的机器人，其特征在于，

所述保持对象物是纸或衣物。

9.根据权利要求3所述的机器人，其特征在于，

所述识别装置对所述保持对象物上是否放置有物体进行识别，

所述物品保持方法确定机构，根据由所述识别装置识别的、所述保持对象物上是否放置有物体的状况，从不同的物品保持方法中确定一种物品保持方法。

10.根据权利要求9所述的机器人，其特征在于，

所述保持对象物是餐具。

11.根据权利要求1或2所述的机器人，其特征在于，

还具备学习所述保持方法的学习机构，

所述识别装置识别人所进行的所述物品的保持动作，

所述学习机构根据所述识别人所进行的所述物品的保持动作的识别装置的识别结果，学习并设定按各所述物品或按各所述物品的状况的保持方法，并将学习到的保持方法与所述物品对应起来，存储到所述保持方法数据库中。

12.根据权利要求1或2所述的机器人，其特征在于，

所述保持方法数据库中按各物品存储有预先设定的保持方法，

所述保持方法确定机构参照所述识别装置的识别结果，从预先设定于所述保持方法数据库的保持方法中，选择所述保持对象物的保持方法，

当与所述识别结果对应的保持方法没有预先设定在所述保持方法数据库时，所述保持方法确定机构进而从所述保持方法数据库中，选择对与所述保持对象物的材质或形状近似的物品所设定的保持方法，作为所述保持对象物的保持方法。

13.根据权利要求1所述的机器人，其特征在于，

所述内容物所发生的变化是指内容物的有无或水分量的变化。