CN103295011A - 信息处理装置、信息处理方法、以及计算机程序 - Google Patents

Abstract

本公开提供了一种信息处理装置，包括：图像获取单元，被配置为获取从多个观察点拍摄的预定对象的图像；特征点提取单元，被配置为在由该图像获取单元所获得的图像的每一个中提取特征点；对应关系获取单元，被配置为基于来自相邻观察点之中的图像来获得特征点的对应关系；以及信息显示单元，被配置为在数量上呈现关于由该对应关系获取单元所获得的该对应关系的信息。

Description

信息处理装置、信息处理方法、以及计算机程序

技术领域

本公开涉及一种信息处理装置、信息处理方法、以及计算机程序。

背景技术

存在其中使机器人抓住（grasp）对象并学习对象的外部特征从而使机器人可以识别它的技术。广泛采用的方法是用安装在机器人上的成像设备拍摄对象的图像，并且使机器人基于从成像设备输出的图像数据来学习对象的外部特征。

例如，JP2003-346152A公开了对象识别装置，其被配置为：将识别目标对象移动到基于预定成像单元预先确定的预定空间位置；在该空间位置以预定状态把握（hold）该对象；基于来自该成像单元的输出来识别该对象；并且如果不能识别该对象，则学习该对象。

发明内容

然而，尽管JP2003-346152A中所描述的装置被配置为使机器人通过从目标对象的每个观察点获得图像、对于每个观察点检测特征点、并且提取这些特征点来创建识别设备，但是对于每个观察点的识别设备是独立的。此外，该装置并未考虑呈现的各个特征点之间的关系。因此，使用对于每个观察点的识别设备，由于机器人学习对象时不从背景特征点中区分对象特征点，所以存在识别性能由于周围环境中的改变而可能劣化的问题。

此外，由于JP2003-346152A中所描述的装置无法知道属于对象的特征点的数量或位置（其中可以在每个观察点学习所述对象），所以该装置无法得知每个观察点上的学习状态。此外，该装置没有观察点之间的特征点的对应关系。因此，存在该装置不能为用户生成并呈现虚拟观察点、或者执行与用户的交互处理的问题。

因此，根据本公开的实施例，提供了新颖的和改善的信息处理装置、信息处理方法、以及计算机程序，其能够通过当从多个观察点拍摄对象的图像、并学习该对象时，使用在每个观察点处的特征点之间的对应关系，在视觉上呈现对象的学习状态。

根据本公开的实施例，提供了一种信息处理装置，包括：图像获取单元，被配置为获取从多个观察点拍摄的预定对象的图像；特征点提取单元，被配置为在由该图像获取单元所获得的图像的每一个中提取特征点；对应关系获取单元，被配置为基于来自相邻观察点之中的图像来获得特征点的对应关系；以及信息显示单元，被配置为在数量上呈现由该对应关系获取单元所获得的关于该对应关系的信息。

根据这样的结构，该图像获取单元获取从多个观察点拍摄的预定对象的图像，该特征点提取单元在由该图像获取单元所获得的图像的每一个中提取特征点。该对应关系获取单元基于来自相邻观察点之中的图像来获得特征点的对应关系，并且该信息显示单元在数量上呈现由该对应关系获取单元所获得的关于该对应关系的信息。因此，该信息处理装置可以当从多个观察点拍摄对象的图像并学习该对象时，通过使用在每个观察点处的特征点之中的对应关系，在视觉上呈现对象的学习状态。

此外，根据本公开的实施例，提供了一种信息处理方法，包括：获取从多个观察点拍摄的预定对象的图像，在该图像获取步骤中所获得的图像的每一个中提取特征点，基于来自相邻观察点之中的图像来获得特征点的对应关系，以及在数量上呈现在该对应关系获取步骤中所获得的关于该对应关系的信息。

此外，根据本公开的实施例，提供了一种计算机程序，用于使计算机执行：获取从多个观察点拍摄的预定对象的图像；在该图像获取步骤中所获得的图像的每一个中提取特征点；基于来自相邻观察点之中的图像来获得特征的对应关系；以及在数量上呈现在该对应关系获取步骤中所获得的关于该对应关系的信息。

根据如上所述的本公开的实施例，提供了新颖的和改善的信息处理装置、信息处理方法、以及计算机程序，其能够通过当从多个观察点拍摄对象的图像、并学习该对象时，使用在每个观察点处的特征点之中的对应关系，在视觉上呈现对象的学习状态。

附图说明

图1是示出根据本公开实施例的机器人的外观示例的说明图；

图2是示出根据本公开实施例的机器人100的硬件结构示例的说明图；

图3是示出根据本公开实施例的机器人100的功能结构示例的说明图；

图4是示出根据本公开实施例的机器人100的操作的流程图；

图5是示出根据本公开实施例的机器人100的操作的流程图；

图6是示出根据本公开实施例的机器人100的操作的流程图；

图7是示出在群内（inlier）特征点和相邻观察点的匹配点之间的关联（link）信息的概念的说明图；

图8是示出对于用户确认机器人100的对象模型的学习状态的GUI的示例的说明图；

图9是示出对于由机器人100学习的对象模型的对象名称和类别名称的注册处理的示例的流程图；以及

图10是示出对于用户确认机器人100的对象模型的学习状态的GUI的示例的说明图。

具体实施方式

在下文中将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的构件用相同附图标记表示，并且省略这些构件的重复说明。

现在将按以下顺序描述本公开。

<1.本公开的实施例>

[机器人外观示例]

[机器人硬件结构示例]

[机器人功能结构示例]

[机器人操作示例]

<2.总结>

<1.本公开的实施例>

[机器人外观示例]

首先，将描述根据本公开实施例的机器人的外观。图1是示出根据本公开实施例的机器人的外观示例的说明图。现在将参考图1描述根据本公开实施例的机器人的外观示例。

如图1中所示，根据本公开实施例的机器人100被配置为使得头部单元101、左/右臂部分103L和103R、以及左/右腿部分104L和104R被连接到躯干部分单元102的预定位置。手部分105L和105R分别被连接到臂部分103L和103R的末端。此外，用于获得图像数据的图像输入设备121被包括在头部单元101中。

根据本公开实施例的机器人100被配置为通过用输入设备121拍摄对象的图像来识别由手部分105L和105R抓住的对象，并且如果该对象不能被识别，则通过从多个方向上拍摄由手部分105L和105R抓住的对象的图像来学习该对象。

除机器人100之外，图1还示出执行机器人100的控制的信息处理装置200。信息处理装置200被配置为使得其可以指示机器人100学习对象，并且显示由机器人100学习的内容。

已经参考图1如上描述了根据本公开实施例的机器人的外观示例。下面将描述根据本公开实施例的机器人的硬件结构示例。

[机器人硬件结构示例]

图2是示出根据本公开实施例的机器人100的硬件结构示例的说明图。现在将参考图2描述根据本公开实施例的机器人100的硬件结构示例。

如图2中所示，根据本公开实施例的机器人100在躯干部分单元102中例如具有控制系统。例如，控制系统被配置为动态响应于用户输入等以执行信息判定和情感表达的思想控制模块110、以及通过驱动致动器140来控制机器人100的总体身体协调运动的运动控制模块130。

思想控制模块110被配置为例如CPU111（其执行涉及信息判定和情感表达的计算处理）、RAM112、ROM113、以及外部存储设备114。思想控制模块110基于外部刺激（诸如从图像输入设备121输入的图像数据、从语音输入设备122输入的语音数据、以及从通信IF124输入的命令）来确定机器人100的当前情感和意图。思想控制模块110将命令传送到运动控制模块130，从而基于思想判定来执行操作和行动。

运动控制模块130被配置为例如CPU131（其控制机器人100的总体身体协调运动）、RAM132、ROM133、以及外部存储设备134。外部存储设备134例如存储行走模式、目标ZMP（零力矩点）轨道、以及已经被联机计算的其它操作模式。

运动控制模块130经由总线接口（IF）连接到各种设备，诸如致动器140、距离测量传感器（未示出）、方向传感器141、接地确认传感器142L和142R、负载传感器（未示出）、以及电源控制设备143。致动器140被用于认知机器人100的各种关节（joint）部分的运动。方向传感器141被用于测量机器人100的方向和倾斜。接地确认传感器142L和142R被用于检测左脚和右脚的脚底（sole）是否与地面分离或接触地面。负载传感器被用于检测对左脚和右脚的脚底起作用的负载。电源控制设备143被用于管理来自电池等的电力。

思想控制模块110和运动控制模块130被建立在公共平台上，并且经由总线接口（IF）115和135彼此连接。

运动控制模块130用各种致动器140控制总体身体协调运动从而执行从思想控制模块110指示的行动。CPU131基于从思想控制模块110指示的行动，从外部存储设备134读取操作模式，或者内部生成操作模式。此外，CPU131基于指定的模式设置腿部运动、ZMP轨道、躯干运动、上肢运动、腰部水平位置和高度等，并基于设置内容将指示操作的命令传送到各个致动器140。

此外，CPU131通过基于来自方向传感器141的输出信号而检测机器人100的躯干部分单元102的方向和倾斜、以及基于来自接地确认传感器142L和142R的输出信号而检测每个腿部分104L和104R是否是自由的腿或接地的腿，来自适应地控制机器人100的总体身体协调运动。此外，CPU131控制机器人100的方向和倾斜，使得ZMP位置始终在ZMP稳定区域中心。

运动控制模块130将关于已经认知了多少由机器人100确定的预期行动（即，处理状态）的反馈提供给思想控制模块110。这样，机器人100可以通过基于控制程序确定它自己和它周围的状态而自主地行动。

已经参考图2如上描述了根据本公开实施例的机器人100的硬件结构示例。下面将描述根据本公开实施例的机器人100的功能结构示例。

[机器人功能结构示例]

图3是示出根据本公开实施例的机器人100的功能结构示例的说明图。图3中所示的机器人100功能结构是用于在学习由图像输入设备121拍摄的对象的情况下的结构。现在将参考图3描述根据本公开实施例的机器人100的功能结构示例。

如图3中所示，根据本公开实施例的机器人100被配置为图像识别单元151、特征检测单元152、特征数量提取单元153、图像匹配单元154、图像转换单元155、学习状态显示单元156、以及对象模型注册单元157。

图像识别单元151基于由图像输入设备121拍摄的图像，执行要学习的对象的识别。如果图像识别单元151基于由图像输入设备121拍摄的图像识别了要学习的对象，则图像识别单元151将由图像输入设备121拍摄的图像传送到特征检测单元152。

特征检测单元152检测来自由图像输入设备121拍摄的图像的特征点。例如通过搜索对应于特征性部位（诸如由图像输入设备121拍摄的对象的边角部分（corner portion））的图像模式，来检测特征点。当从由图像输入设备121拍摄的图像中检测到特征点时，特征检测单元152将图像和关于特征点的信息传送到特征数量提取单元153。

特征数量提取单元153提取来自由图像输入设备121拍摄的图像的特征点的特征数量、以及从特征检测单元152发送的关于该图像中包括的特征点的信息。存在用于检测特征数量的各种方法。然而，本公开不限于特定方法。特征数量提取单元153的一个示例是提取关于在对应于特征点的位置上的像素的信息作为特征数量（局部特征数量）。当已经提取特征点的特征数量时，特征数量提取单元153将关于特征点的信息和关于特征数量的信息传送到图像匹配单元154。

图像匹配单元154使用在由机器人100在预定观察点处用图像输入设备121拍摄的图像和在该观察点周围的观察点处用图像输入设备121拍摄的图像之间的、关于特征数量的信息，来执行特征点匹配，并且确定被认为是具有匹配特征点的候选者。图像匹配单元154将关于被认为是具有匹配特征点的候选者的信息传送到图像转换单元155。

图像转换单元155使用从图像匹配单元154传送的关于被认为是具有匹配特征点的候选者的信息，执行图像转换处理。具体地，图像转换单元155使用关于被认为是具有匹配特征点的候选者的信息，确定在多对匹配特征点之间的平面转换（plane conversion）。图像转换单元155也可以通过对从图像匹配单元154传送的关于被认为是具有匹配特征点的候选者的信息应用RANSAC（RANdom SAmple Consensus，随机抽样一致算法）来确定平面转换，并接着移除离群（outlier）特征点对。当确定了多对匹配特征点之间的平面转换时，图像转换单元155将确定的平面转换与关于匹配特征点和特征点对的信息一起传送到学习状态显示单元156和对象模型注册单元157。

学习状态显示单元156呈现要由机器人100执行的学习的对象的学习状态。使用多对匹配特征点之间的平面转换、和关于匹配特征点和特征点对的信息，来呈现要学习的对象的学习状态。在个人电脑、写字板、智能手机、或者例如由网络连接到机器人100的某个其它信息处理装置上显示要学习的对象的学习状态。

对象模型注册单元157注册多对匹配特征点之间的平面转换、关于匹配特征点和特征点对的信息、关于各个观察点的信息、以及关于观察点之间的信息，作为每个观察点的对象模型。通过用对象模型注册单元157为每个观察点建立对象模型，机器人100识别多个对象模型之中的公共部分、将它们合并、并且学习该结果作为目标对象的模型。

已经参考图3如上描述了根据本公开实施例的机器人100的功能结构示例。下面将描述根据本公开实施例的机器人100的操作。

[机器人操作示例]

图4是示出根据本公开实施例的机器人100的操作的流程图。图4中所示的流程示出其中机器人100基于用户指令学习对象的情况。现在将参考图4描述根据本公开实施例的机器人100的操作。

当从用户交出对象、并且机器人100接收对于该对象的学习指令（步骤S101）时，首先，机器人100确定该对象是否能被手部分105L和105R抓住（步骤S102）。

如果在步骤S102中确定从用户交出的对象可以被手部分105L和105R抓住，则机器人100用手部分105L和105R抓住该对象，并同时旋转该抓住的对象，用图像输入设备121从多个观察点拍摄图像（步骤S103）。机器人100以预定间隔（诸如在水平角度方向上以五度为单位、或在顶端角度方向上以五度为单位）用图像输入设备121拍摄图像。机器人100也可以基于对象的形状，为图像输入设备121改变图像拍摄间隔。例如，机器人100可以以更窄的间隔用图像输入设备121拍摄图像。

在机器人100已经在步骤S103中用图像输入设备121从抓住的对象的多个观察点拍摄图像之后，机器人100接着基于来自每个观察点的图像而学习抓住的对象的模型（步骤S104）。后面将详细描述机器人100如何学习抓住的对象的模型。

在机器人已经在步骤S104中基于来自每个观察点的图像而学习抓住的对象的模型之后，机器人100接着调整它对抓住的对象的把握，使得可以看见抓住的对象上由手部分105L和105R遮住（hide）的部分。对如何把握对象的调整可以由机器人100自己做出判定而执行、或者基于来自用户的指令而执行。

在机器人100已经在步骤S105中调整它对抓住的对象的把握之后，与步骤S103相似，机器人100用手部分105L和105R抓住对象，并同时旋转该抓住的对象，用图像输入设备121从多个观察点拍摄图像（步骤S106）。在机器人100已经在步骤S106中用图像输入设备121从多个观察点拍摄抓住的对象的图像之后，机器人100接着基于来自每个观察点的图像，学习抓住的对象的模型（步骤S107）。

当机器人100已经完成从所有观察点拍摄抓住的对象的图像时，机器人100识别来自每个观察点的对象模型中的公共部分、合并来自每个观察点的对象模型、并且学习该结果作为目标对象模型（步骤S108）。

另一方面，如果在步骤S102中确定从用户交出的对象不能被手部分105L和105R抓住，则机器人100呈现错误消息，指示该对象不能在预定设备上被抓住（步骤S109）。用于呈现该错误消息的方法示例可以包括但不具体限定于在机器人100中包括的显示设备上显示错误消息、以及从机器人100到信息处理装置传达该对象不能被抓住的事实、并在信息处理装置上显示错误消息。

通过执行这一系列操作，机器人100可以基于用户指令，学习被手部分105L和105R抓住的未知对象。

已经参考图4如上描述了根据本公开实施例的机器人100的操作。下面将描述用于用机器人100学习未知对象的方法的单独示例。

图5是示出根据本公开实施例的机器人100的操作的流程图。图5中所示的流程示出其中机器人100自己找到未知对象并学习该未知对象的情况。现在将参考图5描述根据本公开实施例的机器人100的操作。

当机器人100例如使用诸如激光测距仪（LRF）等的传感器找到对象（步骤S111）时，首先，机器人100确定找到的对象是否可以被手部分105L和105R抓住（步骤S112）。

如果在步骤S112中确定该对象可以被手部分105L和105R抓住，则机器人100用手部分105L和105R抓住对象，并同时旋转该抓住的对象，用图像输入设备121从多个观察点拍摄图像（步骤S113）。机器人100以预定间隔（诸如在水平角度方向上以五度为单位、或在顶端角度方向上以五度为单位）用图像输入设备121拍摄图像。显然，机器人100对对象图像的图像拍摄间隔不限于该示例。

在机器人100已经在步骤S113中用图像输入设备121从抓住的对象的多个观察点拍摄图像之后，机器人100接着基于来自每个观察点的图像而学习抓住的对象的模型（步骤S114）。后面将详细描述机器人100如何学习抓住的对象的模型。

在机器人已经在步骤S114中基于来自每个观察点的图像而学习抓住的对象的模型之后，机器人100接着调整它对抓住的对象的把握，使得可以看见抓住的对象中由手部分105L和105R遮住的部分。对如何把握对象的调整可以由机器人100自己做出判定而执行、或者基于来自用户的指令而执行。

在机器人100已经在步骤S115中调整它对抓住的对象的把握之后，与步骤S113相似，机器人100用手部分105L和105R抓住对象，并同时旋转该抓住的对象，用图像输入设备121从多个观察点拍摄图像（步骤S116）。在机器人100已经在步骤S116中用图像输入设备121从多个观察点拍摄抓住的对象的图像之后，机器人100接着基于来自每个观察点的图像，学习抓住的对象的模型（步骤S117）。

当机器人100已经完成从所有观察点拍摄抓住的对象的图像时，机器人100识别来自每个观察点的对象模型中的公共部分、合并来自每个观察点的对象模型、并且学习该结果作为目标对象的模型（步骤S118）。

另一方面，如果在步骤S112中确定该对象不能被手部分105L和105R抓住时，机器人100呈现错误消息，指示该对象不能在预定设备上被抓住（步骤S119）。用于呈现该错误消息的方法示例可以包括但不具体限定于在机器人100中包括的显示设备上显示错误消息、以及从机器人100到信息处理装置传达该对象不能被抓住的事实、并在信息处理装置上显示错误消息。

已经参考图5如上描述了用于用机器人100学习未知对象的方法的单独示例，作为根据本公开实施例的机器人100的操作。下面将描述用于建立要由机器人100学习的对象的模型的方法，所述模型具有观察点结构。

图6是示出根据本公开实施例的机器人100的操作的流程图。图6中所示的流程图示出用于建立要由机器人100学习的对象的模型的方法，所述模型具有观察点结构。现在将参考图6描述根据本公开实施例的机器人100的操作。

在机器人100已经用图像输入设备121从多个观察点拍摄图像之后，机器人100用图像识别单元151识别出要被学习的对象包括在如此拍摄的多个图像中。接着，机器人100检测每个图像中的特征点（步骤S121）。由特征检测单元152执行特征点检测。

在已经在步骤S121中检测了每个图像中的特征点之后，机器人100接着对步骤S121中获得的特征点执行特征数量提取（步骤S122）。由特征数量提取单元153执行特征数量提取。

在已经在步骤S122中提取每个图像中包括的特征点的特征数量之后，机器人100将在每个观察点处获得的特征点与来自周围观察点的图像中的特征点进行匹配（步骤S123）。由图像匹配单元154执行该特征点匹配。

在已经在步骤S123中接着将在每个观察点处获得的特征点与来自周围观察点的图像中的特征进行匹配之后，机器人100接着例如对由匹配操作确定的匹配点对的候选者应用RANSAC、移除离群的对（outlier pairs）、并且确定多对匹配点之间的（单应性）平面转换（步骤S124）。由图像转换单元155确定多对匹配点之间的平面转换。

图7是示出在群内特征点和相邻观察点的匹配点之间的关联信息的概念的说明图。在图7中，示出了在群内特征点和观察点V1和V2处的匹配点之间的关联信息。对于所有观察点，在相邻观察点之间生成这样的在群内特征点和匹配点之间的关联信息。

在已经在步骤S124中执行了多对匹配点之间的平面转换之后，机器人100在对象模型中注册在观察点之间匹配的两个匹配点、关于在匹配点之间的关联信息、以及多对匹配点之间的平面转换，作为各个观察点和观察点间（inter-observation point）信息（步骤S125）。由对象模型注册单元157执行对象模型中的注册。机器人100对所有观察点执行这一系列操作。

通过执行图6中所示的操作，机器人100可以基于用图像输入设备121拍摄的来自多个观察点的图像，为未知对象注册对象模型。此外，机器人100可以基于用图像输入设备121从多个观察点拍摄的图像，在信息处理装置200上呈现例如可获得的对象模型的学习状态。

已经如上描述了用于建立要由机器人100学习的对象的模型的方法，所述模型具有观察点结构。下面将描述确认机器人100的对象模型的学习状态的GUI（图形用户接口）的示例。

图8是示出用户确认机器人100的对象模型的学习状态的GUI的示例的说明图。用于确认机器人100的对象模型的学习状态的GUI可以例如由学习状态显示单元156生成，并且被发送到信息处理装置200，或者信息处理装置200可以从机器人100获得涉及学习状态的信息并自己生成GUI。现在将参考图8描述用户确认机器人100的对象模型的学习状态的GUI的示例。

在图8中所示的GUI上，在对应于该对象模型的位置上，显示在当前为用户呈现的观察点处已经被学习的特征点的局部图像。如果在对象模型中呈现真实的观察点（作为学习图像所获得的观察点），则基于该观察点的信息而呈现当前显示的观察点。

另一方面，如果没有在对象模型中呈现当前显示的观察点，基于在附近相邻的实际观察点处的特征点及其局部图像、关于在观察点之间的特征点的关联信息、以及（单应性）平面转换，通过执行预定的图像处理（例如变形（morphing）等），生成虚拟观察点，并且呈现虚拟观察点图像。

用户可以例如通过使用触摸面板，旋转由学习状态显示单元生成、并基于局部图像而被画出的对象。在由用户旋转之后，调用（callup）特征点的位置和在对象模型旋转之后观察点处的局部图像。对于虚拟观察点，执行适当的图像处理（例如变形等），并将结果呈现给用户。

图8中所示的用GUI呈现机器人100的学习状态使用户能够确定来自哪个观察点的学习状态是充分的、以及来自哪个观察点的学习状态是不充分的。此外，用户也可以为不充分的学习指定预定的观察点、并指示机器人100重新学习该观察点。已经接收到该指令的机器人100可以通过在该观察点和周围观察点拍摄对象的图像以执行重新学习，来实现充分的学习水平。

例如，在图8中所示的示例中，关于在观察点A和观察点B之间的复合观察点AB，由于充分地产生对象的虚拟观察点图像，所以显示是详细的。然而，关于在观察点B和观察点C之间的复合观察点BC，由于未充分地产生对象的虚拟观察点图像，所以显示是稀疏的（sparse）。当这样显示虚拟观察点图像时，由于观察点C处的学习是不充分的，所以用户可以指示机器人100重新学习观察点C。当由用户指示机器人100重新学习观察点C时，机器人100通过在观察点C和观察点C周围的观察点拍摄对象的图像来执行重新学习。

已经参考图8如上描述了用户确认机器人100的对象模型的学习状态的GUI的示例。下面将描述对由机器人100学习的对象模型的对象名称和类别名称的注册处理的示例。

图9是示出对由机器人100学习的对象模型的对象名称和类别名称的注册处理的示例的流程图。现在将参考图9描述对由机器人100学习的对象模型的对象名称和类别名称的注册处理的示例。

例如，用户将名称赋予使用图8中所示的GUI呈现的对象模型的对象名称和类别名称。首先，机器人100呈现通过学习例如图8所示的GUI上的未知对象所获得的对象模型（步骤S131）。

用户输入在步骤S131中呈现的对象模型的对象名称和该对象所属的类别名称（步骤S132）。

在用户已经在步骤S132中输入对象名称和类别名称之后，机器人100将该对象名称和类别名称应用到步骤S131中所呈现的对象模型、以及作为相同未知对象而被学习的模型（步骤S133）。

通过基于这样的流程而注册由机器人100学习的对象模型的对象名称和类别名称，当学习具有与对象名称和类别名称已经被注册过的对象相似形状的未知对象时，机器人100可以从对相似形状的对象所注册的对象名称和类别名称，获得该未知对象的对象名称和类别名称，并将该信息呈现给用户。

已经参考图9如上描述了对由机器人100学习的对象模型的对象名称和类别名称的注册处理的示例。下面将参考图10描述确认机器人100的对象模型的学习状态的GUI的单独示例。

图10是示出用于确认机器人100的对象模型的学习状态的GUI的单独示例的说明图。现在将参考图10描述确认机器人100的对象模型的学习状态的GUI的单独示例。

图10中所示的GUI示出了以投影在球面上的图形形式显示的学习状态的示例，该示例被显示为球面，所述球面具有水平角度和顶端角度测量，其中对象的观察点彼此等距。每个观察点被表示为通过将球面分成与其对应的水平角度和顶端角度所形成的网格。

图10中所示的GUI基于具有到来自在每个观察点处学习的模型的周围观察点的特征点的关联（link）的特征点数目，改变对应于该观察点的网格的色彩。可选地，用户可以使用触摸面板旋转该球面。因此，用户可以确认具有很少特征点的观察点，并且指示机器人100例如使用触摸面板来执行补充学习。尽管在图10中基于具有到来自周围观察点的特征点的关联的特征点数目而改变对应于观察点的网格的色彩，然而替代地，GUI也可以被配置为使得基于特征点数目而改变对应于该观察点的网格的灰度或色彩对比度。

显然，用于确认机器人100的对象模型的学习状态的GUI不限于该示例。例如，关于图7中所示特征点的关联信息可以被添加到图10中所显示的球面上。作为另一个示例，可以当在图10中所示的球面上显示机器人100的对象模型的学习状态时，将图8中所示的对象的实际图像、以及基于虚拟观察点的图像一起显示。当以该方式示出机器人100的对象模型的学习状态时，可以由用户结合使用对象的旋转操作来旋转球面，或者可以由用户结合使用球面的旋转操作来旋转对象。这样，呈现机器人100的对象模型的学习状态使用户能够视觉地确认来自对象的哪个观察点的学习状态是充分的、以及来自对象的哪个观察点的学习状态是不充分的，其使指示机器人100重新学习未充分学习的观察点更容易。

此外，例如，用于确认机器人100的对象模型的学习状态的GUI可以被配置为使得在任意观察点处呈现并未连接（attach）关联的特征点。即使机器人100确定特征点没有向其连接的关联，在实际操作中该特征点也可以是与来自周围观察点的图像的特征点相同的特征点。在这种情况下，呈现为没有向其连接的关联的特征点是具有向其连接的关联的特征点的事实可以由用户输入到GUI中。

相反地，即使机器人100确定特征点具有向其连接的关联，在实际操作中该特征点也可能不是与来自周围观察点的图像的特征点相同的特征点。在这种情况下，呈现为具有向其连接的关联的特征点是不具有向其连接的关联的特征点的事实可以由用户输入到GUI中。

<2.总结>

根据本公开的上述实施例，可以在视觉上呈现由机器人100学习的对象模型的学习状态。视觉地呈现由机器人100学习的对象模型的学习状态使用户能够确定机器人100是否可能需要重新学习该对象。

本领域技术人员应该理解的是，可以取决于设计需求和其它因素，在所附权利要求或其等效范围内发生各种修改、结合、子结合和变更。

例如，在本公开的上述实施例中，由机器人100抓住对象，并学习所抓住的对象。然而，本公开不限于此。例如，机器人100可以当在要学习的对象边缘周围移动时拍摄对象的图像。此外，例如，在本公开的上述实施例中，从用户交出对象，并且当由于它太大、它的形状变形等原因而不能由手部分105L和105R抓住对象时，机器人100被配置为使得由预定单元呈现指示该对象不能被抓住的错误消息。然而，本公开不限于此。机器人100可以被配置为使得如果从用户交出的对象由于它太大、它的形状变形等原因而不能由手单元105L和105R抓住时，机器人100自身移动到被放置在地板表面上的对象附近、从多个观察点获得对象的图像、并基于所获得的图像学习对象。

此外，例如，尽管在本公开的上述实施例中，由机器人100执行对象的学习，但本公开不限于此示例。例如，由机器人100中的图像输入设备121拍摄的对象的图像可以被不断地传送到经由网络连接到机器人100的服务器装置，并且由该服务器执行由机器人100拍摄的对象的学习。

此外，也可以如下配置本技术。

（1）信息处理装置包括：

图像获取单元，被配置为获取从多个观察点拍摄的预定对象的图像；

特征点提取单元，被配置为在由该图像获取单元所获得的图像的每一个中提取特征点；

对应关系获取单元，被配置为基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

信息显示单元，被配置为在数量上呈现由该对应关系获取单元所获得的关于该对应关系的信息。

（2）如（1）所述的信息处理装置，其中该信息显示单元被配置为在数量上呈现关于在预定观察点和与该观察点相邻的观察点之间的该对应关系的信息。

（3）如（2）所述的信息处理装置，其中该信息显示单元被配置为呈现关联该特征点的线，作为关于该对应关系的信息。

（4）如（2）或（3）所述的信息处理装置，其中该信息显示单元被配置为虚拟地（virtually）生成并呈现来自在该预定观察点和与该观察点相邻的观察点之间的观察点的图像，作为关于该对应关系的信息。

（5）如（2）至（4）中任何一项所述的信息处理装置，其中该信息显示单元被配置为基于在该预定观察点和与该观察点相邻的观察点之间获得的对应关系的数目，改变并呈现关于在该预定观察点处的对应关系的信息，作为关于该对应关系的信息。

（6）如（5）所述的信息处理装置，其中该信息显示单元被配置为以色彩的改变呈现关于在该预定观察点处的对应关系的信息。

（7）如（5）所述的信息处理装置，其中该信息显示单元被配置为以灰度的改变呈现关于在该预定观察点处的对应关系的信息。

（8）如（2）至（7）中任何一项所述的信息处理装置，其中该信息显示单元被配置为以投影在球面上的图形形式，呈现关于在该预定观察点和与该观察点相邻的观察点之间的对应关系的信息。

（9）如（1）至（8）中任何一项所述的信息处理装置，其中该对应关系获取单元被配置为当基于来自相邻观察点之中的图像而获取特征点的对应关系时，使用关于这些特征点的特征数量的信息。

（10）如（1）至（9）中任何一项所述的信息处理装置，其中该图像获取单元被配置为从基于由该信息显示单元所呈现的关于该对应关系的信息所选择的观察点中，获得关于该预定对象的图像。

（11）信息处理方法包括：

获取从多个观察点拍摄的预定对象的图像；

在该图像获取步骤中所获得的图像的每一个中提取特征点；

基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

在数量上呈现关于在对应关系获取步骤中所获得的该对应关系的信息。

（12）计算机程序，用于使计算机执行：

获取从多个观察点拍摄的预定对象的图像；

在该图像获取步骤中所获得的图像的每一个中提取特征点；

基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

在数量上呈现关于在对应关系获取步骤中所获得的该对应关系的信息。

本公开包含在2012年2月8日提交到日本专利局的日本在先专利申请JP2012-024773中所公开的主题，其全部内容通过引用合并于此。

Claims (12)

1.一种信息处理装置，包括：

图像获取单元，被配置为获取从多个观察点拍摄的预定对象的图像；

特征点提取单元，被配置为在由该图像获取单元所获得的图像的每一个中提取特征点；

对应关系获取单元，被配置为基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

信息显示单元，被配置为在数量上呈现关于由该对应关系获取单元所获得的该对应关系的信息。

2.如权利要求1所述的信息处理装置，其中该信息显示单元被配置为在数量上呈现关于在预定观察点和与该观察点相邻的观察点之间的该对应关系的信息。

3.如权利要求2所述的信息处理装置，其中该信息显示单元被配置为呈现关联特征点的线，作为所述关于该对应关系的信息。

4.如权利要求2所述的信息处理装置，其中该信息显示单元被配置为虚拟地生成并呈现来自该预定观察点和与该观察点相邻的观察点之间的观察点的图像，作为所述关于该对应关系的信息。

5.如权利要求2所述的信息处理装置，其中该信息显示单元被配置为基于在该预定观察点和与该观察点相邻的观察点之间获得的对应关系的数目，改变并呈现所述关于在该预定观察点处的该对应关系的信息，作为所述关于该对应关系的信息。

6.如权利要求5所述的信息处理装置，其中该信息显示单元被配置为以色彩的改变呈现关于在该预定观察点处的该对应关系的信息。

7.如权利要求5所述的信息处理装置，其中该信息显示单元被配置为以灰度的改变呈现关于在该预定观察点处的该对应关系的信息。

8.如权利要求2所述的信息处理装置，其中该信息显示单元被配置为以投影在球面上的图形形式，呈现关于在该预定观察点和与该观察点相邻的观察点之间的该对应关系的信息。

9.如权利要求1所述的信息处理装置，其中该对应关系获取单元被配置为当基于来自相邻观察点之中的图像而获取特征点的对应关系时，使用关于这些特征点的特征数量的信息。

10.如权利要求1所述的信息处理装置，其中该图像获取单元被配置为从基于由该信息显示单元所呈现的该对应关系的信息所选择的观察点中，获得关于该预定对象的图像。

11.一种信息处理方法，包括：

获取从多个观察点拍摄的预定对象的图像；

在该图像获取步骤中所获得的图像的每一个中提取特征点；

基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

在数量上呈现关于在对应关系获取步骤中所获得的该对应关系的信息。

12.一种计算机程序，用于使计算机执行：

获取从多个观察点拍摄的预定对象的图像；

在该图像获取步骤中所获得的图像的每一个中提取特征点；

基于来自相邻观察点之中的图像来获得特征点的对应关系；以及

在数量上呈现关于在对应关系获取步骤中所获得的该对应关系的信息。

Images