CN110456782B - 控制装置和控制方法 - Google Patents

Abstract

公开了控制装置和控制方法。一种用于可移动设备的控制装置包括电路，该电路被配置为控制显示器，以在显示器的第一区域上显示(i)图像，该图像对应于由附接在可移动设备上的摄像装置拍摄的拍摄图像，以及在显示器的第二区域上显示(ii)俯视图，该俯视图包括标识可移动设备的当前位置的标记以及在第一区域和第二区域之间延伸的视觉信息，并且该俯视图与固定位置有关地指示在第一区域中显示的拍摄图像与在俯视图中所示的拍摄图像的位置之间的对应关系，其中该电路被配置为控制显示器同时显示拍摄图像和俯视图。

Description

控制装置和控制方法

本申请是国际申请号为PCT/JP2012/004745，中国申请号为201280036997.5，申请日为2012年7月25日，发明名称为“控制系统、显示控制方法和非暂态计算机可读存储介质”的中国发明专利申请的分案申请。

技术领域

本公开涉及一种控制装置、控制方法、计算机程序产品和机器人控制系统，例如允许自主机器人搜索用户指派的搜索范围的控制装置、控制方法、计算机程序产品和机器人控制系统。

背景技术

例如，通常，自主机器人根据环境或来自用户的通用指示来自主地行动(工作)。

例如，如果用户命令带来聚酯(PET)瓶装茶而没有指定商标名称，则自主机器人根据该指示自主地执行搜索并带来聚酯瓶装茶的动作。

也就是，例如，当自主机器人找到多个PET瓶装茶时，自主机器人根据其自己的判断选择用户偏爱的PET瓶装茶并将茶带给用户。

此外，存在下述技术：其中根据物品的名称(designation)和物品的目的地，用户允许机器人将物品移动至目的地(例如参见专利文献1)。

引用列表

专利文献

PTL 1：日本专利申请特开第2004-268148号

发明内容

注意，例如，由于自主机器人自主地运转，所以在某些情况下机器人可能通过用户期望的搜索范围并且搜索错误的范围。

因此，例如，优选地用户指派搜索范围并且允许自主机器人搜索所指派的搜索范围。

考虑到上述问题而做出本公开，并且本公开使得自主机器人能够通过简单的操作指派搜索范围。

问题的解决方案

根据本公开的一方面的自主机器人的示例性控制系统，该系统包括：通信接口，其与自主机器人交换信息；用户接口，其显示自主机器人所位于的位置的场景，并且接收场景内的用户选择区域的用户选择的指示，其中，通信接口向自主机器人传送用户选择区域的指示以用于自主机器人对区域的进一步处理。

根据另一方面，系统还包括：

显示器，其中，

场景被显示在显示器上并且场景包括房间的空间图，并且用户选择区域是房间的部分区域，空间图包括房间中的对象。

根据另一方面，系统还包括：

接收器，其从自主机器人接收图像；以及

自主机器人，其中自主机器人在传送用于用户选择区域的选择的较高质量图像之后传送用户选择区域的第二图像。

根据另一方面，系统还包括：

包括所述通信接口和显示器的平板计算机和智能电话中的至少之一。

根据另一方面，系统还包括：

控制单元，其响应于接收用户选择的指示而生成用户选择区域的指示。

根据另一方面，自主机器人被配置成基于从通信接口传送的另外的用户输入而在用户选择区域内检测较小区域。

根据另一方面，自主机器人被配置成传送指示检测到的较小区域的指定范围信息。

根据另一方面，场景是拍摄的图像。

根据另一方面，场景是计算机生成的图形。

根据另一方面，用户接口被配置成接收场景内的目标对象的类别作为输入，通信接口向自主机器人传送目标对象的类别的指示，并且自主机器人尝试在场景内识别类别中的一个或更多个目标对象。

根据另一方面，自主机器人对候选目标对象分配程度信息，程度信息是类别中的相应目标对象的正确检测的似然性。

根据另一方面，用户接口被配置成接收语音或手势输入命令。

此外，本公开提供了一种用于可移动设备的控制装置，所述可移动设备包括用以移动所述可移动设备的至少一个致动器驱动马达，所述控制装置包括：电路，所述电路被配置为控制显示器，以在所述显示器的第一区域上显示(i)图像，所述图像对应于由附接在所述可移动设备上的摄像装置拍摄的拍摄图像，以及在所述显示器的第二区域上显示(ii)俯视图，所述俯视图包括标识所述可移动设备的当前位置的标记以及在所述第一区域和所述第二区域之间延伸的视觉信息，并且所述俯视图与固定位置有关地指示在所述第一区域中显示的拍摄图像与在所述俯视图中所示的拍摄图像的位置之间的对应关系，其中所述电路被配置为控制所述显示器同时显示所述拍摄图像和所述俯视图。

此外，本公开提供了一种用于控制来自可移动设备的信息的显示的方法，所述可移动设备包括用以移动所述可移动设备的至少一个致动器驱动马达，所述方法包括：控制显示器以在所述显示器的第一区域上显示(i)图像，所述图像对应于由附接在所述可移动设备上的摄像装置拍摄的拍摄图像；控制所述显示器以在所述显示器的第二区域上显示(ii)俯视图，所述俯视图包括标识所述可移动设备的当前位置的标记以及在所述第一区域和所述第二区域之间延伸的视觉信息，并且所述俯视图与固定位置有关地指示在所述第一区域中显示的拍摄图像与在所述俯视图中所示的拍摄图像的位置之间的对应关系；以及控制所述显示器同时显示所述拍摄图像和所述俯视图。

本发明的有利效果

根据本公开，可以通过简单的操作指派自主机器人的搜索范围。

附图说明

图1是示出根据本公开的机器人控制系统的配置示例的视图。

图2是示出其上显示多个项的显示屏幕的示例的视图。

图3是说明由机器人进行的处理的概况的视图。

图4是示出对象的识别状态的示例的视图。

图5是示出指示装置的配置示例的框图。

图6是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第一视图。

图7是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二视图。

图8是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第三视图。

图9是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第四视图。

图10是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第五视图。

图11是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第六视图。

图12是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第七视图。

图13是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第八视图。

图14是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第九视图。

图15是示出由箭头表示对象的得分变化的示例的第一视图。

图16是示出由箭头表示对象的得分变化的示例的第二视图。

图17是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十视图。

图18是用于说明由指示装置进行的显示处理的流程图。

图19是示出机器人的配置示例的框图。

图20是示出对象的识别状态的转变的示例的状态转变图。

图21是用于说明根据对象的识别状态创建机器人识别信息的创建方法的视图。

图22是用于说明由机器人进行的得分计算处理的流程图。

图23是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十一视图。

图24是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十二视图。

图25是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十三视图。

图26是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十四视图。

图27是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十五视图。

图28是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十六视图。

图29是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十七视图。

图30是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十八视图。

图31是用于说明用户进行的反馈操作的视图。

图32是示出响应于反馈操作来转变对象的识别状态的示例的视图。

图33是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第十九视图。

图34是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十视图。

图35是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十一视图。

图36是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十二视图。

图37是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十三视图。

图38是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十四视图。

图39是用于说明由指示装置进行的反馈处理的流程图。

图40是用于说明由机器人进行的得分重算处理的流程图。

图41是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十五视图。

图42是示出其上显示有基于来自机器人的信息的显示的显示屏幕的示例的第二十六视图。

图43是示出未检测到的识别状态被转变成另一状态的示例的视图。

图44是示出使用拍摄的图像指定搜索范围或对象的示例的视图。

图45是示出使用室内空间图指定搜索范围的示例的视图。

图46是示出从机器人向指示装置传送的拍摄的图像的数据量减小的示例的视图。

图47是用于说明由指示装置进行的区域指定处理的流程图。

图48是用于说明由机器人进行的搜索处理的流程图。

图49是示出计算机的配置示例的框图。

具体实施方式

在下文中，将按以下顺序描述本公开的实施例(下文中，被称作本实施例)。

1.第一实施例(在指示装置的显示屏幕上显示用于预测机器人的行为的信息的示例)

2.第一实施例的修改示例

3.第二实施例(使用指示装置向机器人给出来自用户的反馈的示例)

4.第二实施例的修改示例

5.第三实施例(使用指示装置指定机器人的搜索范围的示例)

<1.第一实施例>

<机器人控制系统的配置示例>

图1示出根据第一实施例的机器人控制系统1的配置示例。

机器人控制系统1包括具有显示屏幕21a的指示装置21以及自主机器人22。指示装置可以是具有集成到远程控制器中的显示屏幕的远程控制器(例如，智能电话、平板计算机或膝上型计算机)、或者与远程显示装置无线地操作的远程控制器。例如，指示装置可以使用电视机作为显示装置，并且指示装置用作用于输入指示的触觉接口。

指示装置21响应于用户的操纵而生成用于使机器人22做出期望行为(例如，为用户取来预定对象的行为)的指示信息，并通过无线通信等将该信息传送给机器人22。此外，机器人22可以与预定对象进行交互，其中交互不仅是取得对象的图像，而且还对对象进行接触、移动、收集、与对象执行信息的电子交换、光学字符识别、照射、购买、标记、或操作(诸如接通/断开)。

例如，如图2所示，指示装置21在显示屏幕21a上显示可由用户选择的多个项，诸如“茶”、“苏打”、“零食”……。

参考如图2所示的显示屏幕21a，在多个项之中，用户选择(指定)要由机器人22取来的对象的项。此外，例如，在显示屏幕21a上显示要由机器人22取来的对象的类别作为项。

响应于此，指示装置21创建用于为用户取来作为目标的、属于作为用户选择的项的类别(例如，“茶”)的对象的指示信息，并通过无线通信等将该信息传送给机器人22。此外，指示信息包括类别信息，该类别信息表示作为用户选择的项的类别。

机器人22基于来自指示装置21的指示信息来自主地执行搜索作为目标的、属于作为用户选择的项的类别的对象的操作。指示装置可以是具有集成到远程控制器中的显示屏幕的远程控制器(例如，智能电话、平板计算机或膝上型计算机)、或者与远程显示装置无线地操作的远程控制器。例如，指示装置可以使用电视机作为显示装置，并且指示装置用作用于输入指示的触觉接口。

此外，用于指示机器人22的方法不限于使用指示装置21的上述方法。例如，如果机器人22可以通过语音识别来识别用户的语音，则用户可以使用语音来指示目标。指示装置可以是具有集成到远程控制器中的显示屏幕的远程控制器(例如，智能电话、平板计算机或膝上型计算机)、或者与远程显示装置无线地操作的远程控制器。例如，指示装置可以使用电视机作为显示装置，并且指示装置用作用于输入指示的触觉接口。

在这种情况下，机器人22把来自用户的指示识别为语音，并且基于识别结果来自主地执行搜索用户指示的目标的操作。此外，例如，如果机器人22可以识别用户的手势或姿势，则用户可以通过手势或姿势来指示目标。

机器人22是两腿机器人，其基于环境(surrounding)或来自用户的通用指示(例如，取“茶”的通用指示)来自主地执行各种动作。

机器人22包括设置在预定位置处的对应于感测声音的“耳朵”的麦克风和对应于感测光的“眼睛”的摄像装置，作为从外部感测刺激的传感器。下面将参照图19描述机器人22的细节。

接着，图3示出由机器人22进行的处理的概况。

图3示出通过拍摄机器人22的环境而获得的环境图像31、指示被机器人22识别为目标的对象的对象图像32、指示没有被机器人22识别为目标的对象的对象图像33、指示被机器人22识别为可能目标的对象的对象图像34、以及指示通过机器人22的拍摄而获得的拍摄的图像的一部分的部分图像35。另外，机器人22提供的(或预先存储在控制器21中的)场景可以是包括场景内的对象诸如家具的计算机生成的图形。因此，图像和计算机生成的图形是场景的两种示例。

此外，机器人22例如在用户所居住的房间36内自由地移动以搜索目标。

在搜索目标的同时，机器人22适当地向指示装置21传送通过利用嵌入式摄像装置进行拍摄而获得的环境图像31或部分图像35。此外，当用户使用指示装置21指定机器人22的搜索范围时，使用环境图像31或部分图像35。将主要参照图43至47来描述这一点。

此外，机器人22在房间36内移动，并基于通过利用嵌入式摄像装置拍摄对象而获得的拍摄的图像来计算指示对象是目标的程度(即对象是要由机器人22处理的主体(subject)的程度)的得分。此外，使用用于标识对象是否是目标(标识指示对象是否是目标的功能)的标识符来计算得分。

机器人22基于对象的得分来确定对象的识别状态。此外，在下文中，描述了机器人22使用利用嵌入式摄像装置获得的图像来计算得分或将图像传送给指示装置21。

然而，用于计算得分的图像或传送给指示装置21的图像不限于通过机器人22中的嵌入式摄像装置获得的图像。例如，可以使用通过设置在房间36的天花板上的摄像装置获得的图像。在这种情况下，设置在房间36的天花板上的摄像装置通过无线通信将拍摄的图像传送给机器人22。另外，机器人22提供的(或预先存储在控制器21中的)场景可以是包括场景内的对象诸如家具的计算机生成的图形。因此，图像和计算机生成的图形是场景的两种示例。

接着，图4示出识别状态的示例。

图4A示出机器人22的两种识别状态，即“这是目标”和“这不是目标”。

图4B示出机器人22的三种识别状态，即“这是目标”、“还不确定”和“这不是目标”。

图4C示出机器人22的四种识别状态，即“这是目标”、“这可能是目标”、“还不确定”和“这不是目标”。

此外，在第一实施例中，如图4C所示，机器人22识别四种识别状态中的任一种。

例如，如果对象的得分等于或高于阈值th1，则机器人22识别对象“是目标”。如果对象的得分低于阈值th1且等于或高于阈值th2(<th1)，则机器人22识别对象“可能是目标”。

此外，如果对象的得分低于阈值th2且等于或高于阈值th3(<th2)，则机器人22把对象识别为“还不确定”对象是否是目标。如果对象的得分低于阈值th3，则机器人22识别对象“不是目标”。

这里，阈值th1至th3被预先确定并然后存储在机器人22中。此外，机器人22将得分与阈值进行比较以确定对象的识别信息，但是确定识别信息的方法不限于此。

返回参照图3，例如，如果判断对象“ABC茶”的得分等于或高于阈值th1，则机器人22在指示装置21的显示屏幕21a上显示机器人22识别对象“ABC茶”“是目标”。

也就是，例如，如图3所示，在指示装置21的显示屏幕21a上，例如以粗线矩形包围的状态来显示指示对象“ABC茶”的对象图像32。粗线矩形表示机器人22识别对象“ABC茶”“是目标”。

此外，例如，如图3所示，如果判断对象“犬形机器人”的得分低于阈值th3，则机器人22在指示装置21的显示屏幕21a上显示机器人22识别对象“犬形机器人”“不是目标”。

也就是，例如，如图3所示，在指示装置21的显示屏幕21a上，例如以阴影线显示指示对象“犬形机器人”的对象图像33。阴影线表示机器人22识别对象“犬形机器人”“不是目标”。

此外，例如，如图3所示，如果判断对象“橙汁”的得分低于阈值th1且等于或高于阈值th2，则机器人22在指示装置21的显示屏幕21a上显示机器人22识别对象“橙汁”“可能是目标”。

也就是，例如，如图3所示，在指示装置21的显示屏幕21a上，例如以细线矩形包围的状态显示指示写有文本“橙汁”的PET瓶的对象图像34。细线矩形表示机器人22识别对象“橙汁”“可能是目标”。

此外，例如，如果判断预定对象的得分低于阈值th2且等于或高于阈值th3，则机器人22在指示装置21的显示屏幕21a上显示机器人22识别“还不确定”预定对象是否是目标。

也就是，例如，在指示装置21的显示屏幕21a上，按原样(未以矩形包围或没有阴影线)显示指示预定对象的对象图像。当按原样显示对象图像时，这表示机器人22“还不确定”预定对象是否是目标。

如上所述，在指示装置21的显示屏幕21a上显示由机器人22识别的信息，以使得用户可以容易地预测机器人22的行为。

然而，显示方法不限于此，但是只要用户直觉地断定机器人22的行为，可以使用任何显示方法。

此外，通过参考显示屏幕21a，如果判断不期望作为目标的对象被识别为目标，则用户可以向指示装置21给出指示对象不是目标的反馈操纵。

在这种情况下，机器人22响应于用户的反馈操纵而重算对象的得分，并基于通过重算而获得的得分来自主地运转。此外，下面将主要参照图31至42描述用户的反馈操纵。

[指示装置21的配置示例]

接着，图5示出指示装置21的配置示例。

指示装置21包括操纵单元41、控制单元42、具有显示屏幕21a的显示单元43、通信单元44、以及存储单元45。

操纵单元41包括操纵键或操作按钮。例如，如果用户向机器人22给出指示，则操纵单元由用户操纵。当操纵单元41由用户操纵时，操纵单元41将对应于用户的操纵的操纵信号提供给控制单元42。

控制单元42基于来自通信单元44的机器人识别信息来创建包括对象图像的机器人识别图像，并将该图像提供给显示单元43，以便在显示屏幕21a上显示图像。此外，机器人识别信息包括例如对象的得分，作为显示在显示屏幕21a上所需要的信息。此外，下面将参照图6至17描述显示屏幕21a的显示示例。

此外，控制单元42基于来自操纵单元41的操纵信号来创建指示信息、反馈信息或指定范围信息，并将信息提供给通信单元44。

这里，反馈信息是指指示在指示装置21中用户反馈的内容的信息。

用户使用例如操纵单元41来反馈被机器人22识别“为目标”的对象不是目标。下面将参照图31至42对这一点进行描述。

此外，指定范围信息指示例如通过用户的区域指定从显示在指示装置21的显示屏幕21a上的环境图像31或部分图像35上的整个区域之中指定的区域的位置。

用户使用例如操纵单元41，来执行用于在环境图像31或部分图像35上的整个区域之中指定机器人22搜索目标的搜索范围的区域指定。下面将参照图43至47对这一点进行描述。

控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以被存储在存储单元45中。

显示单元43根据来自控制单元42的控制而在显示屏幕21a上显示图像。

此外，虽然例如指示装置21被配置成包括显示单元43，但是显示单元43可以不包括在指示装置21中。在这种情况下，控制单元42和设置在外部的显示单元43通过线缆连接。

通信单元44接收从机器人22传送的机器人识别信息，并将该信息提供给控制单元42。此外，通信单元44使用无线通信等将来自控制单元42的指示信息、反馈信息或指定范围信息传送给机器人22。

存储单元45预先存储例如由控制单元42执行的控制程序。此外，例如，存储单元45存储来自控制单元42的机器人识别信息。

[显示屏幕21a的显示示例]

接着，图6至14示出当指示装置21基于来自机器人22的机器人识别信息来显示机器人识别图像时的显示屏幕21a的示例。

如果指示机器人22基于来自指示装置21的指示信息取来对象“茶”，则机器人22进行搜索对象“茶”。

当机器人22探测房间但是没有检测到对象时，来自机器人22的机器人识别信息不传送给指示装置21。

因此，如图6所示，控制单元42例如在显示屏幕21a上显示什么都没拍摄的机器人识别图像。

当机器人22从通过拍摄房间36的内部而获得的拍摄的图像中检测到对象“鸟雕像”时，机器人22从拍摄的图像中提取表示对象“鸟雕像”的对象图像51，并将对象图像51添加到机器人识别信息以将该信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将来自通信单元44的机器人识别信息中包括的对象图像51提供给显示单元43，以在显示屏幕21a上显示对象图像51。

结果，如图7所示，在显示屏幕21a上在图的左侧显示对象图像51。因此，用户可以容易地预测机器人22检测到鸟雕像作为对象。

机器人22接近对象“鸟雕像”以判别对象“鸟雕像”是否是目标。然后，机器人22从通过接近并拍摄对象“鸟雕像”而获得的拍摄的图像中提取表示“鸟雕像”的对象图像51，并将对象图像51添加到机器人识别信息，以将该信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将来自通信单元44的机器人识别信息中包括的对象图像51提供给显示单元43，以在显示屏幕21a上显示对象图像51。

结果，如图8所示，在显示屏幕21a上在图的左侧显示比图7中更大的对象图像51。此外，由于还没有计算对象“鸟雕像”的得分，所以机器人22“还不确定”对象“鸟雕像”是否是目标。因此，在图8中，按原样(未以矩形包围或没有阴影线)显示对象图像51。

机器人22根据通过接近并拍摄对象“鸟雕像”而获得的拍摄的图像来计算对象“鸟雕像”的得分。此外，当机器人22基于计算的得分来识别对象“鸟雕像”“不是目标”时，机器人22向通信单元44传送包括指示“对象不是目标”的识别状态(包括指示该识别状态的信息)的机器人识别信息。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42基于来自通信单元44的机器人识别信息中包括的识别状态来创建具有阴影线的对象图像51，并将对象图像51提供给显示单元43，以被显示在显示屏幕21a上。

结果，如图9所示，具有阴影线的对象图像51被显示在显示屏幕21a上。

此外，添加到对象图像51的阴影线表示机器人22识别关于对象图像51的对象“鸟雕像”“不是目标”。

因此，用户可以容易地预测机器人22识别对象图像51上的“鸟雕像”“不是目标”。

当机器人22从通过拍摄房间而获得的拍摄的图像中检测到对象“十八茶”时，机器人22从拍摄的图像中提取表示对象“十八茶”的对象图像52。

机器人22将包括所提取的对象图像52的机器人识别信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将来自通信单元44的机器人识别信息中包括的对象图像52提供给显示单元43，以在显示屏幕21a上显示对象图像52。

结果，如图10所示，在显示屏幕21a上在图的左侧显示由机器人22检测到的对象“十八茶”的对象图像52。因此，用户可以容易地预测机器人22检测到对象“十八茶”。

此外，机器人22根据通过接近并拍摄对象“十八茶”而获得的拍摄的对象来计算对象“十八茶”的得分。当机器人22基于计算的得分识别对象“十八茶”“是目标”时，机器人22向通信单元44传送包括指示对象“十八茶”“是目标”的识别状态的机器人识别信息。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42基于来自通信单元44的机器人识别信息来创建以矩形包围且以三角形指示的对象图像52以及具有阴影线的对象图像51，并将对象图像52和51提供给显示单元43以被显示在显示屏幕21a上。

结果，如图11所示，在显示屏幕21a上在图的左侧显示以粗线矩形包围且以三角形(图11所示的▲)指示的对象图像52，并且在比对象图像52更靠右处显示具有阴影线的对象图像51。

此外，包围对象图像52的粗线矩形指示机器人22识别对象图像52的对象“十八茶”作为“目标”。此外，指示对象图像52的三角形指示机器人22将取回对象图像52的对象“十八茶”。

此外，在这种情况下，控制单元42允许按照对象的较高得分的次序从显示屏幕21a的左侧向右侧的方向显示指示对象的对象图像。

此外，对象图像的显示位置对应于对象的得分。因此，例如，第一对象图像与第二对象图像之间的显示间距指示第一对象图像的对象与第二对象图像的对象之间的得分差。

因此，用户可以根据显示在显示屏幕21a上的对象图像的位置直觉地注意到对象图像所指示的对象的得分。

从图11所示的显示屏幕21a，用户可以容易地预测机器人22取来对象“十八茶”。

此外，当机器人22自主地移动并从通过使用嵌入式摄像装置进行拍摄而获得的拍摄的图像检测到新对象时，如上所述，机器人22创建机器人识别信息，并将该信息传送给通信单元44。

响应于此，控制单元42将对象图像提供给显示单元43，以便基于来自通信单元44的机器人识别信息在显示屏幕21a上显示对象图像。

如上所述，控制单元42基于通过通信单元44从机器人22传送的机器人识别信息来更新显示屏幕21a的显示。

也就是，此后，例如，如图12所示显示屏幕21a响应于机器人22的行为而被更新为重新显示表示对象“ABC茶”的对象图像53。此外，如图13所示，显示屏幕21a响应于机器人22的行为被更新为重新显示表示对象“C苏打果汁”的对象图像54和表示对象“USB存储器”的对象图像55。此外，例如，如图14所示，显示屏幕21a响应于机器人22的行为被更新为根据得分改变对象图像的位置的显示屏幕。

此外，在图14的显示屏幕21a上，没有显示被显示在图13的显示屏幕21a上的对象图像51。

在图14中，对象被显示在显示屏幕21a的更左侧，对象的得分就更高。因此，对象的得分可以通过对象图像被显示的位置来表示。

因此，当在基于对应对象的得分的位置显示对象图像52至55时，由于显示屏幕21a或对象图像的大小而可能不显示对象图像51。

此外，在图14中，对象图像51的对象“鸟雕像”的得分被设置为显著低于对象图像55的对象“USB存储器”的得分。

此外，在图14中，对象图像53的对象“ABC茶”的得分被设置为低于对象图像52的对象“十八茶”的得分。

然而，三角形表示对象图像53的对象“ABC茶”并且机器人22期望取回对象“ABC茶”。这意味着机器人22除了对象的得分之外还考虑到对象的位置或用户的偏好来确定要取来的对象。

注意，在第一实施例中，如图6至14所示，按照对象的较高得分的次序从显示屏幕21a的左侧向右侧并排地显示对象图像。然而，可以在除了向右的方向(例如，右向左的方向)之外的任意方向上显示对象图像。

此外，例如，在第一实施例中，如图6至14所示，按照对象的较高得分的次序在任意方向上并排地显示对象图像，并且还在对应于对象的得分的位置处显示对象图像。

然而，可以仅使用得分的次序在显示屏幕21a上显示对象图像。替选地，例如，可以在不使用得分的次序的情况下在对应于对象的得分的位置处在显示屏幕21a上显示对象图像。

此外，例如，可以通过根据对象的得分改变对象图像的次序、位置、大小、亮度、清晰度和颜色中的至少一种来显示对象图像。

此外，例如，可以与对象图像相关联地显示对象的得分。此外，得分例如可以由条形图或圆形图来表示。当得分由圆形图表示时，可以在圆形图中表示具有最高得分的对象的得分的百分比。

此外，例如，可以在显示屏幕21a中用箭头表示对象的得分变化。

具体地，例如，如图15所示，如果对应于对象图像54的对象“C苏打果汁”的得分改变为增加，则指示对象“C苏打果汁”的得分增加的白色箭头与对象图像54相关联并被显示在显示屏幕21a上。

此外，如图15所示，如果对应于对象图像52的对象“十八茶”的得分改变为减小，则指示对象“十八茶”的得分减小的黑色箭头与对象图像52相关联并被显示在显示屏幕21a上。

此外，例如，如图15所示，如果对应于对象图像55的对象“USB存储器”的得分改变为减小，则指示对象“USB存储器”的得分减小的黑色箭头与对象图像55相关联并被显示在显示屏幕21a上。

当在显示屏幕21a上显示如图15所示的内容时，用户可以预测机器人22将不会取来对象“十八茶”，而是错误地取来对象“C苏打果汁”。在这种情况下，在机器人22错误地取来对象“C苏打果汁”之前，用户可以清楚地指示例如取来对象“十八茶”。

此外，当在显示屏幕21a上显示如图16所示的内容时，用户可以预测机器人22将取来用户期望的对象“十八茶”。在这种情况下，用户没有指示机器人22并可专注于他的/她的工作，直到机器人22取来对象“十八茶”。此外，由于图16具有与图15相同的配置，所以将省略图16的描述。

此外，例如，在显示屏幕21a上，对象的得分变化可以由条形图或线图而不是箭头来表示。替选地，例如，与对象的得分变化一起，或替代对象的得分变化，可以显示得分的历史。

当显示得分的变化或历史时，用户可以通过参考显示屏幕21a来断定对象的得分的变化或历史，并由此可以容易地预测按照得分排名的变化并最终预先预测机器人22的行为。

由控制单元42参考存储在存储单元45中的机器人识别信息来实现上述显示。

此外，如果在指示装置21中改变得分的排名，则可以用声音、振动或灯闪烁向用户通知该改变。

在第一实施例中，如图6至14所示，以粗线矩形包围被机器人22识别“为目标”的对象的对象图像，并且按原样显示被机器人22识别“为可能目标”的对象的对象图像。

此外，例如，以细线矩形包围被机器人22识别为“还不确定”的对象的对象图像，并且以阴影线显示被机器人22识别为“不是目标”的对象的对象图像。

然而，表示识别状态的显示方法不限于矩形或阴影线。

此外，例如，可以使用表示识别状态的显示方法和表示对象的得分的显示方法两者。替选地，可以使用表示识别状态的显示方法和表示对象的得分的显示方法中的仅一种，以在显示屏幕21a上显示对象图像。

接着，图17示出在用户选择显示屏幕21a上的对象图像时显示选择的对象图像的详细信息的示例。

在图17所示的显示屏幕21a上，指示对象“十八茶”(PET瓶)的底部的对象图像52a以及通过从不同方向拍摄对象“十八茶”而获得的对象图像52b至52e作为对象“十八茶”的详细信息被显示。

例如，机器人22从通过拍摄对象而获得的最近拍摄的图像中提取对象图像作为显示在显示屏幕21a上的对象图像，并将该对象图像添加至机器人识别信息以将该信息传送给指示装置21。

此外，除了从最近拍摄的图像提取的对象图像之外，机器人22还可以使用从对象被拍摄的多个拍摄的图像中的、具有最高分辨率的拍摄的图像提取的对象图像，作为机器人识别信息中包括的对象图像。

此外，在多个对象图像中，机器人22可以使用足够表示整个对象的提取图像或使用典型的提取图像，作为机器人识别信息中包括的对象图像。此外，例如，考虑从上方以45度角拍摄对象的提取图像，作为典型的提取图像。

例如，当机器人22通过先前拍摄而获得包括对象图像52b至52e的部分的拍摄的图像并通过最近拍摄而获得包括对象图像52a的部分的拍摄的图像时，包括对象“十八茶”的底部被拍摄的对象图像52a的机器人识别信息被传送给指示装置21。

此外，在指示装置21中，如图17所示，对象“十八茶”的底部被拍摄的对象图像52a被显示在显示屏幕21a上。在这种情况下，用户通过观看显示在显示屏幕21a上的对象图像52a不可以断定对象图像52a表示的对象是“十八茶”。

因此，机器人22还将除了对象图像52a之外包括对象图像52b至52e的机器人识别信息传送给指示装置21的通信单元44。在这种情况下，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。

如图17所示，控制单元42允许基于来自通信单元44的机器人识别信息从图的左侧开始在显示单元43的显示屏幕21a上显示对象“胶棒”的对象图像、对象“十八茶”的对象图像52a以及对象“钱包”的对象图像。

此外，控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以被存储在存储单元45中。

在指示装置21中，当用户使用操纵单元41选择显示屏幕21a上的对象图像52a时，操纵单元41将对应于用户的选择操作的操纵信号提供给控制单元42。

此外，控制单元42根据来自操纵单元41的操纵信号来读取存储在存储单元45中的机器人识别信息中包括的对象图像52b至52e，并将图像提供给显示单元43以被显示在显示屏幕21a上。

因此，在显示屏幕21a上，如图17所示，对象图像52b至52e被显示在显示屏幕21a上，作为对象“十八茶”的详细信息。

因此，即使用户不能根据对象图像52a来断定对象图像52a上的对象，用户也可以通过响应于用户的选择操作显示的对象图像52b至52e而容易地断定对象图像52a中拍摄的对象是“十八茶”。

此外，例如，当根据来自操纵单元41的操纵信号来执行用户的选择操作时，控制单元42可以显示放大的对象图像52a作为详细信息。在这种情况下，例如，控制单元42读取存储在存储单元45中的机器人识别信息中包括的对象图像52a，以预定放大率放大对象图像，并在显示屏幕21a上显示对象。

替选地，例如，控制单元42可以在显示屏幕21a上显示检测到关于对象图像52a的对象“十八茶”的三维位置，作为对象图像52a的详细信息。在这种情况下，包括关于对象图像52a的对象“十八茶”的三维位置的机器人识别信息与对象图像52a一起被存储在存储单元45中。

注意，例如，如果指示装置21是鼠标作为操纵单元41被连接到的个人计算机，则用户通过使用鼠标在显示屏幕21a上将光标移动到对象图像52a上以选择对象图像52a来执行选择操作(鼠标悬停)。

此外，在显示屏幕21a上显示多个对象图像之中的对应于显示屏幕21a的屏幕大小的仅预定数目的对象图像。因此，在显示屏幕21a上仅显示具有足够高得分的对象图像、具有前n个得分的对象图像、或被识别为“目标”或“可能目标”的对象图像。

因此，存在不显示在显示屏幕21a上的对象图像，使得优选地响应于用户的操纵在显示屏幕21a上显示这样的对象图像。

也就是，例如，用户执行滚动操作，该滚动操作旋转设置在鼠标中的滚动按钮以减小显示在显示屏幕21a上的每个对象图像，从而在显示屏幕21a上显示更多对象图像。

在这种情况下，在从操纵单元41提供响应于滚动操作的操纵信号时，控制单元42读取存储在存储单元45中的机器人识别信息。此外，控制单元42基于读取的机器人识别信息来创建响应于滚动操作而减小的每个对象图像，并将对象图像提供给显示单元43以被显示在显示屏幕21a上。

此外，例如，用户可以响应于滚动操作而放大显示在显示屏幕21a上的每个对象图像，并在显示屏幕21a上显示较少的对象图像。

此外，显示屏幕21a例如在其中心处显示得分x1的对象图像，在左侧显示具有高于得分x1的得分的对象图像，并且在右侧显示具有低于得分x1的得分的对象图像。

在显示屏幕21a上，可以在显示屏幕21a的中心处显示具有低于得分x1的得分x2(<x1)的对象图像，可以在左侧显示具有高于得分x2的得分的对象图像，并且可以在右侧显示具有低于得分x2的得分的对象图像。

也就是，例如，当用户将光标移动至具有得分x2的对象图像被显示的位置，并操纵操纵单元41以使得该位置位于显示屏幕21a的中心位置处，在控制单元42中创建允许在显示屏幕21a的中心处显示具有得分x2的对象图像的机器人识别图像，并且然后在显示单元43的显示屏幕21a上显示该机器人识别图像。

此外，例如，当用户操纵操纵单元41以将具有得分x1的对象图像被显示的位置定位在显示屏幕21a的中心处时，显示屏幕21a的显示变为具有得分x1的对象图像被显示在其中心处的原始显示。

此外，例如，当用户使用操纵单元41放大要显示的显示屏幕21a的整个区域之中的预定区域时，对显示屏幕21a上的预定区域进行放大以进行显示。

[当指示装置21显示机器人识别图像时的操作的描述]

接着，将参照图18的流程图描述由指示装置21执行的显示处理。

例如，显示处理在从机器人22传送机器人识别信息时开始。

在步骤S21中，通信单元44根据控制单元42的控制接收来自机器人22的机器人识别信息，并将该信息提供给控制单元42。

在步骤S22中，控制单元42基于来自通信单元44的机器人识别信息来创建机器人识别图像，并将该图像提供给显示单元43以被显示在显示屏幕21a上。

此外，控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以被存储在存储单元45中。

在步骤S23中，控制单元42根据是否响应于用户的选择操作而从操纵单元41提供操纵信号来判断用户是否已执行选择操作。

此外，在步骤S23中，如果判断用户未执行选择操作，则控制单元42使处理返回到步骤S21并且然后重复相同的处理。

此外，在步骤S23中，如果根据是否响应于用户的选择操作而从操纵单元41提供操纵信号来判断用户已执行选择操作，则控制单元42使处理进行到步骤S24。在这种情况下，例如，假设已执行用于显示图17所示的拍摄的图像52a的详细信息的选择操作。

在这种情况下，在步骤S24中，控制单元42读取存储在存储单元45中的机器人识别信息，并将读取的机器人识别信息中包括的对象图像52b至52e提供给显示单元43以被显示在显示屏幕21a上。此后，处理返回到步骤S21，并且然后执行相同处理。此外，显示处理例如在从机器人22不传送机器人识别信息时结束。

如上所述，根据显示处理，基于来自机器人22的机器人识别信息，如图6至17所示显示显示屏幕21a，使得可以容易地预测机器人22的行为。

此外，根据显示处理，在步骤S23中，例如，在执行选择图17的对象图像52a的选择操作时，在步骤S24中在对象图像52a中拍摄的对象被显示为从不同方向看到的对象图像52b至52e。

因此，用户可以更准确地断定显示在显示屏幕21a上的对象图像的对象。

[机器人22的配置示例]

接着，图19示出机器人22的配置示例。

机器人22包括通信单元61、摄像装置62、距离传感器63、麦克风64、扬声器65、控制单元66、驱动单元67、以及存储单元68。

通信单元61接收来自指示装置21的指示信息、反馈信息和指定范围信息，并将信息提供给控制单元66。

通信单元61将来自控制单元66的机器人识别信息传送给指示装置21。

摄像装置62对应于感测光的“眼睛”，并且包括例如CCD(电荷耦合器件)图像传感器。摄像装置62拍摄机器人22的环境，并将通过拍摄而获得的拍摄的图像提供给控制单元66。

距离传感器63是测量从机器人22到对象的距离的传感器，并测量到对象的距离并将所测量的距离提供给控制单元66。

麦克风64对应于感测声音的“耳朵”，并且收集语音并将通过收集语音而获得的语音信号提供给控制单元66。

扬声器65对应于机器人22的“嘴”，并且根据来自控制单元66的控制输出预定语音。

控制单元66控制通信单元61到扬声器65和驱动单元67。也就是，例如，控制单元66基于来自摄像装置62的拍摄的图像、来自距离传感器63的距离或来自麦克风64的语音信号来断定环境情况，并根据所断定的环境情况来控制驱动单元67。

此外，控制单元66基于来自通信单元61的指示信息来控制驱动单元67，并自主地执行用户指示的行为。也就是，例如，控制单元66控制驱动单元67，以允许机器人22自主地搜索作为目标的、属于通过指示信息中包括的类别信息指示的类别的对象。

此外，控制单元66基于来自摄像装置62的拍摄的图像检测到拍摄的图像上的对象，并提取指示检测到的对象的对象图像。此外，控制单元66基于来自摄像装置62的拍摄的图像计算检测到的对象的得分。

也就是，控制单元66例如基于来自通信单元61的指示信息，从存储单元68读取作为目标的对象的标识符。此外，控制单元66从来自摄像装置62的拍摄的图像中提取指示检测到的对象的特征的特征量。

此外，控制单元66基于所提取的特征量使用读取的标识符来计算检测到对象的得分。换言之，例如，控制单元66可以按原样使用从标识符获得的识别结果(得分)作为检测到对象的得分，或通过对从标识符获得的识别结果进行综合(integratively)判断以时间序列的方式计算最终得分。

控制单元66基于所计算的对象的得分来确定对象的识别状态。此外，下面将参照图20描述识别状态的确定。

此外，控制单元66基于所计算的对象的得分或所确定的对象的识别状态来确定要显示在显示屏幕21a上的对象图像。下面将参照图21描述确定要显示在显示屏幕21a上的对象图像的方法。

控制单元66例如根据对象的识别状态来改变被确定为要显示在显示屏幕21a上的对象图像(例如，以矩形包围或添加阴影线)，并创建包括改变后的对象图像、对象的得分和显示目标信息的机器人识别信息，并将信息提供给通信单元61。

此外，控制单元66控制距离传感器63以测量到检测到的对象的距离。结果，距离传感器63将控制单元66检测的到对象的距离提供给控制单元66。

控制单元66基于来自摄像装置62的拍摄的图像或摄像装置62的姿势(位置和朝向)来检测摄像装置62(机器人22)的三维位置。此外，在日本专利申请特开第2008-304268号中公开了检测机器人22的三维位置的方法的细节。

此外，控制单元66可以使用定位技术，该定位技术例如使用GPS(全球定位系统)或Wi-Fi来检测机器人22的三维位置。

控制单元66基于所检测的三维位置和从距离传感器63提供的距离来计算所感测的对象的三维位置，将该位置与对象被拍摄的拍摄的图像相关联，并将该位置提供给存储单元68以被存储在存储单元68中。

此外，控制单元66读取存储在存储单元68中的拍摄的图像(例如，图3的环境图像31或部分图像35)，并创建包括甚至读取的拍摄的图像的机器人识别图像以提供给通信单元61。

控制单元66基于来自通信单元61的指定范围信息和存储在存储单元68中的拍摄的图像，来检测指示通过用户的指定操作而指定的区域的指定区域。

此外，控制单元66从存储单元68中读取与所检测的指定区域上的对象相关联的三维位置，并基于所读取的三维位置来计算对应于指定区域的搜索范围。

此外，控制单元66控制驱动单元67以驱动对应于机器人22的手或脚的部分，来执行在所计算的搜索范围内搜索目标(属于类别信息所指示的类别的对象)的操作。

驱动单元67根据来自控制单元66的控制来驱动对应于机器人22的“手”或“脚”的部分，使得机器人22自主地运转。

存储单元68例如预先保存由控制单元66执行的控制程序，并且还存储(保存)被指示从控制单元66写入的数据。

此外，存储单元68存储针对多个项的每个对象的用于标识对象的标识符。标识符是这样的函数：其使对象的特征量作为输入并输出对象的得分。此外，标识符是通过预先学习而生成的并对其进行存储。

此外，存储单元68存储来自控制单元66的拍摄的图像(与拍摄的图像(例如环境图像31或部分图像35)上的对象的三维位置相关联的拍摄的图像)。

接着，图20示出对象的识别状态的转变图的示例。

在图20中，示出了“未检测到(感测到)”、“还不确定”、“这可能是目标”、“这是目标”以及“这不是目标”，作为被控制单元66识别的识别状态。

控制单元66根据所计算的对象的得分来把对象识别为“还不确定”、“这可能是目标”、“这是目标”以及“这不是目标”中的任一种状态。

也就是，例如，如果对象的得分等于或高于阈值th1，则控制单元66识别对象“是目标”。如果对象的得分低于阈值th1并等于或高于阈值th2(<th1)，则控制单元66识别对象“可能是目标”。

此外，例如，如果对象的得分低于阈值th2并等于或高于阈值th3(<th2)，则控制单元66把对象的状态识别为“还不确定”对象是否是目标。如果对象的得分低于阈值th3，则控制单元66识别对象“不是目标”。

此外，除了在用户执行反馈操作时之外，控制单元66总是通过识别这“可能是目标”的状态而识别对象“是目标”。

因此，在显示屏幕21a上，可以防止被识别为“还不确定”对象是否是目标(对应于以细线矩形包围的对象图像)的对象突然改变为被识别“为目标”(对应于以粗线矩形包围的对象图像)的对象。

因此，用户可以仅关注在显示屏幕21a上被识别为“这可能是目标”(对应于按原样显示的对象图像)的对象，是否存在不对应于目标的对象。

如上所述，当对象被识别“为目标”时，控制单元66总是经历识别这“可能是目标”的状态。这是因为：如果在显示屏幕21a上被识别为“还不确定”对象是否是目标的对象突然改变为被识别“为目标”的对象，则这对用户而言是不便的，由于用户应关注显示屏幕21a上的所有对象。

接着，图21示出了确定方法的示例，通过该确定方法控制单元66根据对象的得分来确定要显示在显示屏幕21a上的对象图像。

在图21中，按照较高得分的次序从图的左侧开始示出对象71、对象72、对象73、…对象74。

控制单元66基于所计算的对象71的得分把对象71识别“为目标”。此外，控制单元66基于对象72的得分识别对象72“可能是目标”。

此外，控制单元66基于对象73的得分把对象的状态识别为“还不确定”对象73是否是目标。此外，控制单元66基于对象74的得分识别对象74“不是目标”。

例如，如图21所示，控制单元66可以进行确定以在指示装置21的显示屏幕21a上显示对应于检测到的多个对象之中的具有高得分的前N个对象的对象图像。

此外，例如，如图21所示，控制单元66可以进行确定以在指示装置21的显示屏幕21a上至少显示对应于检测到的多个对象之中的被识别为“这是目标”或“这可能是目标”的对象的对象图像。

[当机器人22计算得分时的操作的描述]

接着，参照图22的流程图，将描述由机器人22执行的得分计算处理。

得分计算处理例如在机器人22基于来自指示装置21的指示信息探测房间时开始。

在步骤S41中，摄像装置62拍摄机器人22的环境，并将通过拍摄而获得的拍摄的图像提供给控制单元66。

在步骤S42中，控制单元66尝试基于来自摄像装置62的拍摄的图像来检测拍摄的图像上的对象。

此外，当从拍摄的图像检测到对象时，控制单元66基于来自摄像装置62的拍摄的图像使处理进行到步骤S43。此外，当没有从拍摄的图像检测到对象时，基于来自摄像装置62的拍摄的图像，控制单元66将处理返回到步骤S41并且然后执行相同的处理。

控制单元66基于通过通信单元61从指示装置21提供的指示信息来判断指示要由机器人22处理的主体的目标，并从存储单元68读取用于判断的目标的标识符。

在步骤S43中，控制单元66根据来自摄像装置62的拍摄的图像计算所检测的对象的特征量。接着，控制单元66使用从存储单元68读取的标识符基于所计算的特征量来计算对象的得分。

在步骤S44中，控制单元66创建包括所计算的得分或存储在存储单元68中的拍摄的图像的机器人识别信息，并将该信息提供给通信单元61。

在步骤S45中，通信单元61将来自控制单元61的机器人识别信息传送给指示装置21。处理返回到步骤S41并且然后执行相同处理。

此外，得分计算处理例如在机器人22找到目标并将对象带给用户时结束。

如上所述，根据得分计算处理，计算所检测的对象的得分，并且包括所计算的得分的机器人识别信息被传送给指示装置21。

因此，在指示装置21的显示屏幕21a上，可以如图6至17所示显示机器人识别图像，使得用户可以容易地预测机器人22的行为。

<2.第一实施例的修改示例>

[机器人识别图像的另一显示示例]

参照图6至17，已经描述了在显示屏幕21a的更左侧显示具有较高得分的对象的机器人识别图像，但不限于此。

接着，图23示出机器人识别图像的另一显示示例。

在图23中，在指示位于显示屏幕21a的上侧的屏幕的上屏幕81上，随着由对象图像表示的对象的得分变得更高，设置在显示屏幕21a的更左侧的机器人识别图像被显示。在这种情况下，对象91、92、93和94按降序具有高得分。

此外，在表示位于显示屏幕21a的下侧的屏幕的下屏幕82上显示通过利用摄像装置62进行拍摄而获得的最近拍摄的图像。如图23所示，在拍摄的图像中拍摄显示在上屏幕81上的对象91(“苹果汁”)和对象92(“C苏打果汁”)。

在显示图像21a上，上屏幕81上的对象91和下屏幕82上的对象91(“苹果汁”)通过虚线连接，使得可以理解显示在上屏幕81和下屏幕82上的对象91的对应关系。

同样适用于对象92。此外，在这种情况下，通过利用摄像装置62进行拍摄而获得的最近拍摄的图像包括在机器人识别信息中。

也就是，在图23中，通过利用摄像装置62进行拍摄而获得的最近拍摄的图像被显示在下屏幕82上，不同于参照图6至17描述的情况。

在图23中，在上屏幕81上，以粗线矩形包围对象91和92的对象图像。因此，预测到机器人22把对象91和92识别为目标。此外，参考图23中的下屏幕82，预测到机器人22存在于对象91和92附近。

因此，与仅参考图23的上屏幕81的情况相比，通过参考图23的上屏幕81和下屏幕82，用户可以容易地预测机器人22取来对象91和92之一作为目标。

此外，在图23中，在下屏幕82上，显示通过利用摄像装置62进行拍摄而获得的最近拍摄的图像。然而，例如，可以显示在预定时间处通过利用摄像装置62进行拍摄而获得的拍摄的图像。此外，可以显示通过将利用摄像装置62进行拍摄而获得的多个拍摄的图像合成而创建的合成图像(诸如全景图的图像)。

此外，例如，在显示屏幕21a上，通过利用摄像装置62进行拍摄而获得的拍摄的图像可以被显示为与粗线矩形重叠(例如，以粗线矩形包围拍摄的图像上的苹果汁)。在这种情况下，在显示屏幕21a中，没有显示图23所示的上屏幕81上显示的图像，而是仅显示拍摄的图像。

此外，例如，如图24所示，可以在显示屏幕21a的下屏幕82上显示表示房间中的空间的空间图，来替代通过利用摄像装置62进行拍摄而获得的最近拍摄的图像。在这种情况下，机器人识别信息包括指示房间的空间图的空间信息。此外，空间信息例如被预先存储在机器人22的存储单元68中。

此外，如图24所示，在显示在下屏幕82上的空间图中，由虚线101表示机器人22从现在开始移动的路径。此外，在图24中，显示在上屏幕81上的对象以及对象存在的空间图上的位置通过虚线连接，使得可以理解对应关系。

因此，与仅参考图24的显示屏幕21a的上屏幕81的情况相比，通过参考图24的显示屏幕21a的上屏幕81和下屏幕82，用户可以预测到机器人22将取回对象91(“苹果汁”)作为目标。

此外，当显示图23和24所示的显示屏幕21a时，优选地优先显示存在于机器人22附近的对象(存在于距机器人22的位置的预定范围中的对象)作为对象图像。

此外，例如，在显示屏幕21a上，在图23所示的下屏幕82上显示拍摄的图像，并且在图24所示的下屏幕82上显示空间图。然而，例如，可以在显示屏幕21a上显示拍摄的图像和空间图两者。

在这种情况下，例如，在显示屏幕21a上，与图23所示的显示一起显示包括指示机器人22从现在开始移动的路径的虚线101的空间图。

接着，图25示出机器人识别图像的另一显示示例。

在图25中，在显示屏幕21a上显示通过利用机器人22的摄像装置62进行拍摄而获得的最近拍摄的图像。在拍摄的图像中主要拍摄由机器人22检测的对象111至114。

此外，在对象111和113中，通过气泡111a至113a显示机器人22关于对象执行的行为。

在气泡111a中显示行为“丢弃”，在气泡112a中显示行为“带来”，在气泡113a中显示行为“带来”，并且在气泡114a中显示行为“丢弃”。此外，当如图25所示显示显示屏幕21a时，指示具有作为要处理的目标的对象(例如，“鸟雕像”)的机器人22的处理(例如，“丢弃”)的处理信息包括在来自机器人22的机器人识别信息中。

此外，气泡111a至113a的大小例如对应于具有气泡的对象的得分。此外，可以通过气泡的颜色而不是气泡的大小来指示得分。

在第一实施例中，用户使用指示装置21以指示机器人22带来作为目标的“茶”。然而，指示不限于此。用户可以指示例如将目标丢弃在垃圾箱中。

例如，用户可以使用指示装置21以指示“抓住”、“拾取”或“清理”目标。

例如，图25是在用户使用指示装置21以指示机器人22带来“果汁”并将“小对象”丢弃在垃圾桶中时显示在指示装置21的显示屏幕21a上的显示示例。

也就是，可以通过任何显示方法来显示显示屏幕21a上显示的机器人识别图像，只要用户可以直觉地预测机器人22的行为。

此外，例如，除了选择“茶”作为目标之外，用户可以使用指示装置21选择人物作为目标。在这种情况下，用户可以使用指示装置21来“呼叫”作为目标的人物。

在这种情况下，例如，在显示屏幕21a上可以与人物的名字一起显示检测的人物。此外，例如人物的名字与用于标识人物的标识符相关联地预先存储在机器人22的存储单元68中。

此外，如果在显示屏幕21a上显示不同人物的名字作为检测到的人物的名字，则用户可以使用操纵单元41将名字改变为检测到的人物的名字。

例如，如图26所示，指示装置21允许基于来自机器人22的机器人识别信息在显示屏幕21a上显示包括对象图像121至124的机器人识别图像。

在图26所示的显示屏幕21a上，显示了机器人22识别对应于对象图像121的对象“十八茶”“可能是目标”。

还显示了机器人22“还不确定”对应于对象图像122的对象“C苏打果汁”和对应于对象图像123的对象“盆栽植物”是否分别是目标，并且机器人识别到对应于对象图像124的对象“填充动物”“不是目标”。

因此，用户可以如下所述通过参考图26所示的显示屏幕21a来预测机器人22的行为。也就是，例如，用户可以预测机器人22最终识别已被机器人识别为“可能目标”的对象“十八茶”“作为目标”，并将带来对象“十八茶”。

在这种情况下，考虑到用户可以等待，直到机器人22带来对象“十八茶”。

此外，例如，在图27所示的显示屏幕21a上，显示了这样的粗线矩形，其指示机器人22识别对应于对象图像141的对象“ABC茶”和对应于对象图像142的对象“S茶”两者作为目标。

此外，例如，在图27所示的显示屏幕21a上，显示了指示机器人22将要取回对象“ABC茶”的三角形。

因此，用户预测到机器人22想知道要带来哪个对象“ABC茶”或“S茶”但是将要暂时取回对象“ABC茶”。

如果对象“ABC茶”或对象“S茶”对用户没有区别，则用户不需要操纵指示装置21，仅等待直到机器人22带来对象“ABC茶”或对象“S茶”。

此外，例如，在图27的显示屏幕21a上，由于没有显示三角形并且对象“ABC茶”或对象“S茶”对用户没有区别，因此如果用户想要快速得到对象，则优选地用户指示机器人22带来对象“ABC茶”。

因此，例如，如图28所示，指示装置21可以从显示在显示屏幕21a上的对象图像161至165中，通过用户的操纵来指示对应于用户想要得到的对象“十八茶”的对象图像162。

此外，在图28中，例如，当没有显示三角形时，因为通过用户的操纵来指示对应于用户想要得到的对象“十八茶”的对象图像162，所以在显示屏幕21a上显示以粗线矩形包围并以三角形指示的对象图像162。

此外，例如，如果在图29所示的显示屏幕21a上显示指示对应于对象图像181至187之中的对象图像182的对象“ABC茶”的三角形，则预测机器人22取回对象“ABC茶”。

如果用户想要得到对象“S茶”而不是对象“ABC茶”，则用户操纵指示装置21的操纵单元41，以指示机器人22带来对应于对象图像184的对象“S茶”而不是对象“ABC茶”。

也就是，例如，如图30所示，用户可以使用指针(箭头)指定显示屏幕21a上的对象图像184，以指示机器人22带来对应于对象图像184的对象“S茶”。

结果，在显示屏幕21a上，显示了指示对应于对象图像184的对象“S茶”的三角形(图30)，而不是指示对应于对象图像182的对象“ABC茶”的三角形(图29)。

<3.第二实施例>

[观看显示屏幕21a的用户指示机器人22时的示例]

接着，图31至38示出用户通过操纵指示装置21的操纵单元41来执行用于指示机器人22的反馈操作的示例。

图31示出了用户通过参考指示装置21的显示屏幕21a使用指示装置21的操纵单元41来执行反馈操作的示例。

在图31中，示出了显示在显示屏幕21a上的对象图像201至204。此外，以指示机器人22把对象识别“为目标”的矩形包围对象图像201至202。

此外，按原样显示对象图像203，并且“还不确定”对于对象“C苏打果汁”的机器人22的识别状态。此外，指示机器人22的识别状态为“对象不是目标”的阴影线被添加到对象图像204。

用户可以使用例如指示装置21的操纵单元41，以执行以下反馈操作：如箭头221所示，其将对象图像203指示的对象“C苏打果汁”的识别状态从“还不确定”改变为“这是目标”。

此外，例如，用户可以使用指示装置21的操纵单元41以执行以下反馈操作：如箭头222所示，其将对象图像202指示的对象“十八茶”的识别状态从“这是目标”改变为“这不是目标”。

控制单元42根据对应于反馈操作的来自操纵单元41的操纵信号创建对应反馈信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息提供给机器人22。

机器人22基于来自通信单元44的反馈信息来重算对象的得分，并基于从结果获得的得分来改变对象的识别状态。

接着，图32示出了机器人22的控制单元66根据来自指示装置21的反馈信息改变对象的识别状态的示例。

例如，在指示装置21中，如果用户使用操纵单元41执行反馈操作，则操纵单元41将对应于反馈操作的操纵信号提供给控制单元42。

控制单元42基于来自操纵单元41的操纵信号来创建反馈信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息传送给机器人22。

在这种情况下，如图31所示，例如，考虑到用户使用指示装置21的操纵单元41来执行以下反馈操作：如箭头221所示，其将对象图像203指示的对象“C苏打果汁”的识别状态从“还不确定”改变为“这是目标”。

在这种情况下，在机器人22中，控制单元66基于通过通信单元61从指示装置21的通信单元44提供的反馈信息来重算对象“C苏打果汁”的得分。

结果，控制单元66基于通过重算而获得的新得分来如箭头221₁所示将对象“C苏打果汁”的识别状态从“还不确定”确定(改变)为“这是目标”。

此外，作为反馈操作，如果执行将对象的识别状态从“这可能是目标”改变为“这是目标”的反馈操作，则在控制单元66中执行以下处理。也就是，例如，控制单元66基于来自通信单元61的反馈信息如箭头221₂所示将对象的识别状态从“这可能是目标”确定为“这是目标”。

此外，当执行将对象的识别状态从“这不是目标”改变为“这是目标”的反馈操作作为反馈操作时，控制单元66执行以下处理。也就是，例如，控制单元66基于来自通信单元61的反馈信息如箭头221₃所示将对象的识别状态从“这不是目标”确定为“这是目标”。

此外，例如，如图31所示，考虑到用户使用指示装置21的操纵单元41执行以下反馈操作：如箭头222所示，其将对象图像202指示的对象“十八茶”的识别状态从“这是目标”改变为“这不是目标”。

在这种情况下，如图32所示，控制单元66基于来自通信单元61的反馈信息如箭头222所示将对象“十八茶”的识别状态从“这是目标”确定为“这不是目标”。

[反馈操作的示例]

接着，参照图33至38，将描述用户通过参考指示装置21的显示屏幕21a来执行反馈操作的示例。

在指示装置21中，控制单元42允许基于通过通信单元44从机器人22提供的机器人识别信息将包括例如对象图像241至244的机器人识别图像显示在显示单元43的显示屏幕21a上，如图33所示。

此外，当机器人22将对象图像242指示的对象“运动饮料”识别“为目标”时，控制单元42允许基于通过通信单元44从机器人22传送的机器人识别信息将机器人识别图像显示在显示屏幕21a上。

结果，在显示屏幕21a上，如图34所示，显示包括对象图像241至244的机器人识别图像。

在图34所示的显示屏幕21a上，预测机器人22把与用户想要得到的对象“十八茶”(由对象图像245指示的对象)不同的对象“运动饮料”(由对象图像242指示的对象)识别为目标。

此外，当机器人22运转以带来作为目标的对象“运动饮料”时，控制单元42允许基于通过通信单元44从机器人22传送的机器人识别信息将机器人识别图像显示在显示屏幕21a上。

结果，如图35所示，显示屏幕21a显示添加有三角形的对象图像242，该三角形指示机器人22带来作为目标的对象“运动饮料”。

在这种情况下，如图35所示，用户使用指示装置21的操纵单元41来执行指示对象“运动饮料”不是目标的反馈操作。在这种情况下，操纵单元41将对应于用户的反馈操作的操纵信号提供给控制单元42。

控制单元42基于来自操纵单元41的操纵信号来创建反馈信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息传送给机器人22。在这种情况下，例如，机器人22(控制单元66)基于来自通信单元44的反馈信息来重算对象“运动饮料”的得分。

结果，对象“运动饮料”的得分低于例如对象“十八茶”的得分，并且机器人22运转以带来作为目标的对象“十八茶”。此外，机器人22基于重算的得分将对象“运动饮料”的识别状态从“这是目标”改变为“这不是目标”。

在这种情况下，在指示装置21中，控制单元42允许基于通过通信单元44从机器人22传送的机器人识别信息将机器人识别图像显示在显示屏幕21a上。此外，机器人识别信息至少包括基于根据用户的反馈操作的反馈信息重算的得分。

结果，如图36所示，显示屏幕21a显示添加有三角形的对象图像245，该三角形表示机器人带来作为目标的对象“十八茶”。

此外，除了指示对象“运动饮料”不是目标的反馈操作之外，用户可以执行例如指示对象“十八茶”是目标的反馈操作，如图37所示。

在这种情况下，例如，机器人22(控制单元66)基于来自通信单元44的反馈信息重算对象“十八茶”的得分。结果，对象“十八茶”的得分高于例如对象“运动饮料”的得分，并且机器人22运转以带来作为目标的对象“十八茶”。

相比较，指示装置21的控制单元42允许基于通过通信单元44从机器人22传送的机器人识别信息将机器人识别图像显示在显示屏幕21a上。

结果，如图38所示，显示屏幕21a显示添加有三角形的对象图像245，该三角形表示机器人带来作为目标的对象“十八茶”。

此外，例如，如果通过反馈操作指出对象不是目标，则考虑到用户使用操纵单元41指派不是目标的对象(其对象图像)并使得指派的对象作为目标。

在这种情况下，控制单元42创建指示用户指派的对象不是目标的反馈信息。

此外，例如，如果通过反馈操作指出对象不是目标，则考虑到用户使用操纵单元41指派是目标的对象(其对象图像)并使得未指派的对象成为不是目标的对象。

在这种情况下，控制单元42创建指示用户未指派的对象不是目标的反馈信息。

此外，可以通过利用框包围显示屏幕21a上的想要被指派的对象来指派对象。此外，当操纵单元41包括鼠标时，用户将光标等移动到显示屏幕21a上的要指派的对象，并且点击鼠标的左按钮(单击或双击)以指派对象。

此外，如果指示装置21是个人计算机并且控制键(control key)和换档键(shiftkey)被设置为操纵单元41，则一起使用控制键和换档键以点击左按钮来指派多个对象。

此外，例如，在指派对象之后，用户可以通过点击鼠标的右按钮从显示选项“这是目标”、“这不是目标”等中选择选项“这不是目标”，并执行指示指派的对象不是目标的反馈操作。

此外，例如，用户可以再次利用鼠标的左按钮点击指派的对象以取消对象的指派。此外，例如，用户可以通过点击左按钮选择对象，来执行将对象转储(dump)在显示屏幕21a的框之外的转储操作作为指示对象“不是目标”的反馈操作。

例如，当操纵单元41包括“输入(Enter)”键时，可以采用在指派对象时按压“输入”键的按压操作，作为指示指派的对象是目标的反馈操作。

此外，例如，当操纵单元41包括“删除(Delete)”键时，可以采用在指派对象时按压“删除”键的按压操作，作为指示指派的对象不是目标的反馈操作。

此外，例如，当操纵单元41包括“制表(Tab)”键时，每当用户按压“制表”键时，可以移动显示在显示屏幕21a上的焦点。

同样适用于执行指示指派的对象是目标的反馈操作的情况。

[关于由指示装置21执行的反馈处理]

接着，参照图39的流程图，将描述由指示装置21执行的反馈处理。

此外，反馈处理例如在指示装置21的电力接通时开始。此外，对象图像被显示在显示屏幕21a上。

在步骤S61中，控制单元42基于是否从操纵单元41提供了对应于反馈操作的操纵信号来判断用户是否已执行反馈操作。控制单元42重复步骤S61的处理，直到判断出已执行用户的反馈操作。

在步骤S61中，如果基于是否提供了对应于反馈操作的操纵信号判断出已执行用户的反馈操作，则控制单元42使处理进行到步骤S62。

在步骤S62中，控制单元42基于用户的反馈操作创建反馈信息并将该信息提供给通信单元44。

在步骤S63中，通信单元44使用无线通信等将来自控制单元42的反馈信息提供给机器人22，并将处理返回到步骤S61，并且然后重复相同处理。注意，反馈处理例如在指示装置21的电力断开时结束。

如上所述，根据反馈处理，根据用户的反馈操作，可以指示显示在显示屏幕21a上的对象是目标。

因此，例如，如果机器人22把不是目标的对象识别为目标，则可以使用指示装置21向机器人22反馈对象不是目标。

[关于由机器人22执行的得分重算处理]

接着，参照图40的流程图，将描述由机器人22执行的得分重算处理。

得分重算处理例如在机器人22的电力接通时开始。

在步骤S81中，通信单元61重复步骤S81的处理，直到接收到来自指示装置21的反馈信息。在步骤S81中，当通信单元61接收来自指示装置21的反馈信息时，通信单元61将接收到的反馈信息提供给控制单元66，并使处理进行到步骤S82。

在步骤S82中，控制单元66基于来自通信单元61的反馈信息重算对象的得分，并使处理进行到步骤S83。

在步骤S83中，控制单元66基于重算的得分创建机器人识别信息并将该信息提供给通信单元61并使处理进行到步骤S84。

在步骤S84中，通信单元61使用无线通信等将来自控制单元66的机器人识别信息传送给指示装置21，并使处理返回到步骤S81，并且然后重复相同处理。此外，得分重算处理例如在机器人22的电力断开时结束。

如上所述，根据得分重算处理，基于来自指示装置21的反馈信息重算得分，使得可以计算来自用户的反馈被反映到的得分。

<4.第二实施例的修改示例>

在第二实施例中，参考显示屏幕21a，用户执行指示预定对象是目标或不是目标的反馈操作。然而，用户的反馈操作不限于此。

也就是，例如，当如图41所示在显示屏幕21a上显示对象261至263作为一个对象时，机器人22把对象261至263识别为一个对象。

在这种情况下，用户可以使用例如指示装置21的操纵单元41，以执行指定显示一个对象的区域的反馈操作，并允许机器人22把对象261至263识别为一个对象。

此外，如果操纵单元41包括鼠标，则例如使用鼠标执行指定显示一个对象的区域的反馈操作，从而指定显示一个对象的区域并通过点击右按钮选择要显示的选项“分离”。

然后，控制单元42创建反馈信息作为对应于从操纵单元41提供的反馈操作的操纵信号，并将该信息提供给通信单元44。通信单元44通过无线通信等将来自控制单元42的反馈信息传送给机器人22。

在机器人22中，通信单元61将来自通信单元44的反馈信息提供给控制单元66。控制单元66基于来自通信单元61的反馈信息将已被识别为一个对象的对象261至263中的每个识别为一个对象261、262或263。

此外，控制单元66计算各自被识别为一个对象的对象261、262和263的得分，并基于计算结果创建机器人识别信息，并通过通信单元61将该信息传送给指示装置21。

在指示装置21中，控制单元42允许基于通过通信单元44从机器人22的通信单元61传送的机器人识别信息将图42所示的机器人识别图像显示在显示单元43的显示屏幕21a上。

此外，例如，当应被识别为一个对象(例如，同时使用的一套刀、叉和勺)的某种事物被分离为多个对象并显示在显示屏幕21a上时，用户可以使用例如指示装置21的操纵单元41来执行指定包括分离并显示的多个对象的区域的反馈操作，以允许机器人22把分离并显示的多个对象识别为一个对象。

此外，当操纵单元41包括鼠标时，指定包括分离并显示的多个对象的区域的反馈操作例如使用鼠标来指派显示多个对象的区域，以通过点击右按钮来选择显示的选项“合并”。

注意，例如，在第二实施例中，对显示在显示屏幕21a上的对象执行反馈操作。

然而，例如，当控制单元66通过指定包括拍摄的图像上的未检测到的对象的区域的区域指定操作而没有检测到拍摄的图像上的对象时，机器人22可以检测(识别)未检测到的对象作为对象。

结果，如图43所示，机器人22检测未感测到的(未检测到的)对象并将检测对象的识别状态从“未检测到”确定为“还不确定”。

也就是，例如，用户可以使用指示装置21的操纵单元41来执行指定机器人22搜索对象的搜索范围的区域指定操作，以允许机器人22在搜索范围中搜索对象。

<5.第三实施例>

接着，图44示出了使用拍摄的图像指定搜索范围的示例。

例如，当如图44A所示的环境图像31作为拍摄的图像包括在机器人识别信息中时，指示装置21的控制单元42允许基于机器人识别信息将环境图像31显示在显示屏幕21a上。

在这种情况下，用户可以使用如图44A所示的指示装置21的操纵单元41，以执行把显示在显示屏幕21a上的环境图像31上的部分区域281指定为对应于搜索目标的搜索范围的区域的区域指定操作。

结果，操纵单元41将对应于用户的区域指定操作的操纵信号提供给控制单元42。

控制单元42根据来自操纵单元41的操纵信号来创建指示通过用户的区域指定操作从环境图像31上的所有区域之中指定的部分区域281的指定范围信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的指定范围信息传送给机器人22。

相比较，机器人22的通信单元61接收来自指示装置21的通信单元44的指定范围信息并将该信息提供给控制单元66。控制单元66基于来自通信单元61的指定范围信息来检测存储在存储单元68中的环境图像31上的部分区域281。

然后，控制单元66从存储单元68读取与部分区域281上的对象相关联的多个三维位置，并基于读取的多个三维位置来计算(指定)搜索目标的搜索范围。

此外，控制单元66计算搜索范围所使用的计算方法不限于此。也就是，例如，即使三维位置不与部分区域281相关联，控制单元66也可以根据部分区域281或指示摄像装置62的有效视角、有效像素数、位置和朝向的参数来计算搜索范围。

在这种情况下，在摄像装置62拍摄图像以与环境图像31相关联时，通过控制单元66将指示在通过拍摄获得环境图像31的拍摄定时处的摄像装置62的位置和朝向的第一参数连同该拍摄定时被存储在存储单元68中。此外，将指示摄像装置62的有效视角和有效像素数的第二参数预先存储在存储单元68中。

也就是，例如，控制单元66从存储单元68读取指示在通过拍摄获得环境图像31的拍摄定时处的摄像装置62的位置和朝向的第一参数以及指示摄像装置62的有效视角和有效像素数的第二参数。

然后，控制单元66使用第一和第二参数，在对应于部分区域281的三维观看范围中即从占据环境图像31的部分区域281中在拍摄定时处指定作为部分区域281而拍摄的实空间上的区域。

此外，从观看范围中采用机器人22可以移动的区域，作为搜索范围。

控制单元66控制驱动单元67来驱动对应于机器人22的手或脚的部分，并执行用于在所计算的搜索范围中搜索目标的操作。

此外，例如，当机器人识别信息包括如图44B所示的部分图像35时，指示装置21的控制单元42基于机器人识别信息在显示屏幕21a上显示部分图像35。

在这种情况下，用户可以操纵指示装置21的操纵单元41以执行在部分图像35上指定部分区域282的区域指定操作，从而在显示屏幕21a上显示的部分图像35上检测对象“苹果汁”。

结果，机器人22执行在对应于部分图像35上的部分区域282的搜索范围内搜索目标的操作。因此，机器人22可以检测对象“苹果汁”。

此外，作为部分图像35，例如，可以采用当在更近的范围中拍摄通过用户的区域指定操作指定的区域时获得的拍摄的图像、或通过过去进行拍摄而获得的拍摄的图像的部分图像。

接着，图45示出了使用房间的空间图指定搜索范围的示例。

例如，当机器人识别信息包括如图45所示的空间图像301(指示房间的空间图的图像)时，指示装置21的控制单元42基于机器人识别信息在显示屏幕21a上显示空间图像301。此外，如果存储单元45被配置为预先存储空间图像301，则控制单元42从存储单元45读取空间图像301，并在显示屏幕21a上显示图像。

在这种情况下，用户可以操纵指示装置21的操纵单元41，以执行把显示在显示屏幕21a上的空间图像301上的部分区域321指定为搜索范围的区域指定操作。

结果，操纵单元41根据用户的区域指定操作将对应的操纵信号提供给控制单元42。

控制单元42根据来自操纵单元41的操纵信号创建指定范围信息并将该信息提供给通信单元44，该指定范围信息指示通过用户的区域指定操作在空间图像301上的所有区域之中指定的部分区域321。通信单元44将来自控制单元42的指定范围信息传送给机器人22。此外，指定范围信息可以用作用以指定(断定)机器人22搜索目标的搜索范围的特定信息。

相比较，机器人22的通信单元61接收来自指示装置21的通信单元44的指定范围信息并将该信息提供给控制单元66。控制单元66基于来自通信单元61的指定范围信息检测存储在存储单元68中的空间图像301上的部分区域321。

然后，控制单元66从存储单元68读取与构成部分区域321的子区域相关联的多个三维位置，并基于读取的多个三维位置来计算搜索范围。

控制单元66控制驱动单元67以驱动对应于机器人22的手或脚的部分来执行在所计算的搜索范围内搜索目标的操作。此外，控制单元66基于来自通信单元61的指示信息，执行用于在搜索范围内搜索作为目标的属于通过指示信息中包括的类别信息指示的类别的对象的操作。此外，例如，当控制单元66没有通过通信单元61从指示装置21接收到指示信息时，控制单元66允许机器人自主地确定目标以执行在搜索范围内进行搜索的操作。

结果，机器人22执行在对应于空间图像301上的部分区域321的搜索范围内搜索目标的操作。

此外，如果在显示屏幕21a上显示空间图像301，则当用户使用例如操纵单元41以从空间图像301上的所有区域之中选择部分区域322时，可以在显示屏幕21a上显示通过在部分区域322中拍摄而获得的拍摄的图像341。

也就是，例如，在指示装置21中，控制单元42将通过通信单元44从机器人22传送的机器人识别信息提供给存储单元45以被存储在存储单元45中。

因此，拍摄的图像341与如图45所示的空间图像301一起被存储在存储单元45中，以与空间图像301上的部分区域322相关联。

因此，当用户选择部分区域322时，控制单元42从存储单元45读取对应于用户选择的部分区域322的拍摄的图像341，并在如图45所示的显示屏幕21a上显示图像。

然后，用户可以使用操纵单元41，以与如图44B所示的方式相同的方式来执行用于关于显示在显示屏幕21a上的拍摄的图像341指定拍摄的图像341上的部分区域361的区域指定操作。

结果，机器人22执行用于在对应于拍摄的图像341上的部分区域361的搜索范围内搜索目标的操作。

此外，以机器人识别信息中包括的状态将拍摄的图像341从机器人22传送给指示装置21。

然而，从机器人22向指示装置21传送的机器人识别信息的数据量优选地是小的，以避免在无线通信等中数据收敛。

因此，例如，当机器人22传送要包括在机器人识别信息中的拍摄的图像341时，可以传送通过减少图46B所示的高质量拍摄的图像341的数据量而获得的如图46A所示的低质量拍摄的图像341’。此外，不使用拍摄的图像341’以用于由用户指定区域，而是例如当在显示屏幕21a上显示对象“苹果汁”的对象图像时使用拍摄的图像341’。此外，优选地，用于由用户指定区域的拍摄的图像按原样作为高质量图像被传送并被显示在显示屏幕21a上。

由于在拍摄的图像341’上的所有区域中，拍摄对象(“苹果汁”的PET瓶)的区域381被用作对象图像，拍摄的图像341’变为高质量图像，并且除了拍摄的图像341’之外的其它区域(由阴影线指示的部分)变为低质量图像。

也就是，例如，部分区域381变为高分辨率区域或彩色区域，并且除了部分区域381之外的其它区域变为低分辨率区域或单色区域。

[关于由指示装置21执行的区域指定处理]

接着，参照图47的流程图，将描述由指示装置21执行的区域指定处理。

在步骤S101中，通信单元44接收来自机器人22的机器人识别信息并将该信息提供给控制单元42。此外，机器人识别信息例如包括环境图像31作为拍摄的图像。

在步骤S102中，控制单元42将来自通信单元44的机器人识别信息中包括的环境图像31提供给显示单元43以被显示在显示单元43的显示屏幕21a上。

在步骤S103中，控制单元42根据是否已从操纵单元41提供了对应于用户的区域指定操作的操纵信号来判断用户是否已执行区域指定操作。此外，区域指定操作例如是指以下操作：其在显示屏幕21a上显示的环境图像31上的所有区域中指定预定部分区域281。

在步骤S103中，控制单元42重复步骤S103的处理，直到根据来自操纵单元41的操纵信号判断出已执行用户的区域指定操作。

在步骤S103中，当判断出已执行用户的区域指定操作时，控制单元42使处理进行到步骤S104。在这种情况下，将对应于用户的区域指定操作的操纵信号从操纵单元41提供给控制单元42。

在步骤S104中，控制单元42根据来自操纵单元41的操纵信号创建指定范围信息并将该信息提供给通信单元44，该指定范围信息指示通过区域指定操作指定的环境图像31上的部分区域281。此外，指定范围信息用作用以指定(断定)机器人22搜索目标的搜索范围的特定信息。

在步骤S105中，通信单元44使用无线通信等将来自控制单元42的指定范围信息提供给机器人22，并允许机器人22在搜索范围内进行搜索。通过如上所示那样做，区域指定处理结束。

如上所述，根据区域指定处理，可以通过用户进行的区域指定操作来指定机器人22搜索目标的搜索范围。因此，例如，可以允许机器人22在用户期望的范围内搜索目标。

具体地，例如，通过经由用户的区域指定操作来指定至少包括机器人22未检测到的对象的范围作为搜索范围，可以允许机器人22搜索未检测到的对象。

[关于由机器人22执行的搜索处理]

接着，参照图48的流程图，将描述由机器人22执行的搜索处理。

在步骤S121中，通信单元61接收来自指示装置21的通信单元44的指定范围信息并将该信息提供给控制单元66。可以与下面将描述的步骤S122和S123一起执行步骤S121。也就是，例如，通信单元61可以在执行步骤S122或S123的同时接收来自指示装置21的通信单元44的指定范围信息。

在步骤S122中，控制单元66基于来自通信单元61的指定范围信息来检测存储在存储单元68中的环境图像31上的部分区域281。

然后，控制单元66从存储单元68读取与构成部分区域281的子区域相关联的多个三维位置，并基于读取的多个三维位置计算(指定)搜索范围。

在步骤S123中，控制单元66驱动驱动单元67，使得机器人22可以在所计算的搜索范围中搜索目标。此外，控制单元66例如基于来自通信单元61的指示信息使得属于通过指示信息中包括的类别信息指示的类别的对象成为目标。通过如上所述那样做，搜索处理结束。

如上所述，在搜索处理中，在通过用户的区域指定操作指定的搜索范围内搜索目标。

因此，例如，当通过用户的区域指定操作把至少包括机器人22未检测到的对象的范围被指定为搜索范围时，机器人22可以检测到未检测到的对象。

此外，搜索范围不是通过对象本身来指定的，而是通过用户的区域指定操作来指定的，因为难以指派机器人22未检测到的对象。

因此，用户可以允许机器人22通过指定包括机器人22未检测到的对象的搜索范围，来搜索指定搜索范围以检测未检测到的对象。

此外，在区域指定处理的步骤S103中，例如，用户指定在显示屏幕21a上显示的环境图像31上的所有区域之中的预定部分区域281，以指定搜索范围。然而，指定搜索范围的方法不限于此。

也就是，例如，当指示装置21可以从通过拍摄用户而获得的拍摄的图像中识别用户的手势或姿势(下文中，被称作手势等)时，用户可以通过手势等指定搜索范围。

此外，例如，如果指示装置21可以识别语音，则用户可以通过语音指定搜索范围。在这种情况下，例如，用户可以通过讲出作为搜索范围的“厨房”或“我的房间”来指定搜索范围。

在这种情况下，例如，用户可以通过语音、手势等将对象的类别指派(指示)为目标。结果，在指示装置21中，创建包括指示用户指派的类别的类别信息的指示信息。

此外，例如，当机器人22可以从通过拍摄用户而获得的拍摄的图像中识别手势等时，用户可以通过手势等直接指定关于机器人22的搜索范围。

在这种情况下，例如，控制单元66基于来自摄像装置62的拍摄的图像来识别用户的手势，并获得(创建)识别结果作为用于指定搜索范围的特定信息。然后，控制单元66使用所获得的特定信息来指定搜索范围，并控制驱动单元67以允许机器人22在指定搜索范围中搜索目标。

此外，例如，当机器人22可以识别语音时，用户可以通过语音直接指定关于机器人22的搜索范围。

在这种情况下，例如，控制单元66基于从麦克风64输入的用户的语音来识别用户的语音，并获得(创建)识别结果作为特定信息。然后，控制单元66使用所获得的特定信息来指定搜索范围，并控制驱动单元67以允许机器人22在指定搜索范围中搜索目标。

在这种情况下，另外，例如用户可以通过语音、手势等将对象的类别直接指派(指示)为关于机器人22的目标。

结果，在控制单元66中，创建包括指示用户指定的类别的类别信息的指示信息，并且机器人22搜索属于通过所创建的指示信息中包括的类别信息指示的类别的对象作为目标。

作为指示装置21，例如可以使用个人计算机。

本技术可以具有以下配置。

(1)一种用于自主机器人的控制系统，包括：

通信接口，其与所述自主机器人交换信息；

用户接口，其显示所述自主机器人所位于的位置的场景，并且接收所述场景内的用户选择区域的用户选择的指示，其中，

所述通信接口向所述自主机器人传送所述用户选择区域的指示以用于所述区域的进一步处理。

(2)根据(1)所述的控制系统，还包括：

具有接收器的所述自主机器人，其中所述自主机器人响应于所述接收器接收到所述用户选择区域的所述指示而移动至另一位置。

(3)根据(1)所述的控制系统，还包括：

显示器，其中，

所述场景被显示在所述显示器上并且所述场景包括房间的空间图，并且所述用户选择区域是所述房间的部分区域，所述空间图包括所述房间中的对象。

(4)根据(1)所述的控制系统，还包括：

接收器，其从所述自主机器人接收图像；以及

所述自主机器人，其中所述自主机器人在传送用于所述用户选择区域的选择的较高质量图像之后传送所述用户选择区域的第二图像。

(5)根据(1)所述的控制系统，还包括：

包括所述通信接口和显示控制器的平板计算机和智能电话中的至少之一。

(6)根据(1)所述的控制系统，还包括：

控制单元，其响应于接收所述用户选择的指示而生成所述用户选择区域的指示。

(7)根据(2)所述的控制系统，其中，

所述自主机器人被配置成基于从所述通信接口传送的另外的用户输入而在所述用户选择区域内检测较小区域。

(8)根据(7)所述的控制系统，其中，

所述自主机器人被配置成传送指示检测到的较小区域的指定范围信息。

(9)根据(1)所述的控制系统，其中，

所述场景是拍摄的图像。

(10)根据(1)所述的控制系统，其中，

所述场景是计算机生成的图形。

(11)根据(2)所述的控制系统，其中，

所述用户接口被配置成接收所述场景内的目标对象的类别作为输入，

所述通信接口向所述自主机器人传送目标对象的所述类别的指示，并且

所述自主机器人尝试在所述场景内识别所述类别中的一个或更多个目标对象。

(12)根据(11)所述的控制系统，其中，

所述自主机器人对候选目标对象分配程度信息，所述程度信息是所述类别中的相应目标对象的正确检测的似然性的指示。

(13)根据(1)所述的控制系统，其中，

所述用户接口被配置成接收语音或手势输入命令。

(14)根据(11)所述的控制系统，还包括：

显示器，其显示由所述自主机器人识别的候选目标对象以及经由所述通信接口发送的用户反馈，以协助控制所述自主机器人。

(15)一种用于自主机器人的显示控制方法，包括：

经由通信接口与所述自主机器人交换信息；

在显示器上显示所述自主机器人所位于的位置的场景；

经由用户接口接收所述场景内的用户选择区域的用户选择的指示；以及

利用处理电路形成所述用户选择区域的指示，并向所述自主机器人传送所述用户选择区域的指示以用于所述区域的进一步处理。

(16)根据(15)所述的方法，还包括：

在所述自主机器人处接收所述用户选择区域的所述指示；以及

响应于所述接收而将所述自主机器人移动至另一位置。

(17)根据(16)所述的方法，其中，

利用所述自主机器人，响应于接收到另外的用户输入而在所述用户选择区域内检测较小区域。

(18)根据(15)所述的控制方法，其中，

所述场景是拍摄的图像。

(19)根据(15)所述的控制方法，其中，

所述场景是计算机生成的图形。

(20)一种非暂态计算机可读存储介质，其中存储有指令，所述指令在由处理电路执行时进行用于自主机器人的显示控制方法，所述显示控制方法包括：

经由通信接口与所述自主机器人交换信息；

在显示器上显示所述自主机器人所位于的位置的场景；

经由用户接口接收所述场景内的用户选择区域的用户选择的指示；以及

利用处理电路形成所述用户选择区域的指示，并向所述自主机器人传送所述用户选择区域的指示以用于所述区域的进一步处理。

注意，上述系列处理可以由硬件或软件执行。如果系列处理由软件执行，则配置软件的程序可以安装在嵌入专用硬件中的计算机中或安装在可以通过安装来自程序记录介质的各种程序来执行各种功能的通用计算机中。

[计算机的配置示例]

图49是示出了通过程序执行上述系列处理的计算机的硬件的配置示例的框图。

CPU(中央处理单元)501根据存储在ROM(只读存储器)502或存储单元508中的程序执行各种处理。由CPU 501执行的程序或数据被适当地存储在RAM(随机存取存储器)503中。CPU 501、ROM 502和RAM 503通过总线504相互连接。

输入/输出接口505通过总线504连接到CPU 501。包括键盘、鼠标和麦克风的输入单元506以及包括显示器和扬声器的输出单元507连接到输入/输出接口505。CPU 501根据从输入单元506输入的命令执行各种处理。此后，CPU 501向输出单元507输出处理结果。

连接到输入/输出接口505的存储单元508包括例如硬盘并存储CPU 501要执行的程序或各种数据。通信单元509通过诸如因特网或局域网的网络等与外部装置通信。

此外，可以通过通信单元509获得程序，并且然后将其存储在存储单元508中。

当安装诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质511时，连接到输入/输出接口505的驱动器510驱动可移除介质并获得其中记录的程序或数据。获得的程序或数据根据需要被传送并存储在存储单元508中。

如图49所示，记录(存储)安装在计算机中并在可执行状态下由计算机执行的程序的记录介质可以包括可移除介质511、临时或永久存储程序的ROM 502或构成存储单元508的硬盘，可移除介质511是包括以下的封装介质：磁盘(包括软盘)、光盘(包括CD-ROM(致密盘-只读存储器)和DVD(数字多功能盘))、磁光盘(包括MD(微型盘))或半导体存储器。如果需要的话，可以使用有线或无线通信介质(诸如局域网、因特网或数字多功能广播)通过通信单元509将程序记录在记录介质中，通信单元509是诸如路由器或调制解调器的接口。

此外，在本说明书中，可以根据描述的次序顺次执行公开上述系列处理的步骤。然而，也可以不顺次执行步骤，而是可以并行地或单独地执行步骤。关于用于执行程序的处理器，处理器电路可以是一起或单独工作的一个或更多个处理器(包括CPU、ASIC、PAL等)。

此外，在本说明书中，系统是指包括多个装置的整个设备。

此外，本公开不限于第一至第三实施例，而是可以在不背离本公开的范围的情况下可进行各种修改。

附图标记列表

1 机器人控制系统

21 指示装置

21a 显示屏幕

22 机器人

41 操纵单元

42 控制单元

43 显示单元

44 通信单元

45 存储单元

61 通信单元

62 摄像装置

63 距离传感器

64 麦克风

65 扬声器

66 控制单元

67 驱动单元

68 存储单元

Claims (32)

1.一种用于可移动设备的控制装置，所述可移动设备包括用以移动所述可移动设备的至少一个致动器驱动马达，所述控制装置包括：

电路，所述电路被配置为控制显示器，以

在所述显示器的第一区域上显示(i)图像，所述图像对应于由附接在所述可移动设备上的摄像装置拍摄的拍摄图像，以及

在所述显示器的第二区域上显示(ii)俯视图，所述俯视图是所述可移动设备所在的空间的空间图的俯视图，其中，所述俯视图包括标识所述可移动设备的当前位置的标记以及在所述第一区域和所述第二区域之间延伸的视觉信息，并且所述视觉信息与固定位置有关地指示在所述第一区域中显示的拍摄图像与所述俯视图中的位置之间的对应关系，

其中，所述电路被配置为控制所述显示器同时显示所述拍摄图像和所述俯视图，

其中，所述电路还被配置为：

获取所述拍摄图像中包括的目标对象的识别信息，以及

控制所述显示器以显示与所述目标对象相关联的识别信息的指示，其中，所述识别信息的指示是叠加在所述拍摄图像上并且与所述目标对象邻近设置的第二标记。

2.根据权利要求1所述的控制装置，其中，所述电路被配置为控制所述显示器以在所述显示器的第一区域中显示所述拍摄图像，并在所述显示器的第二区域中显示所述俯视图，所述第一区域与所述第二区域不同并且与所述第二区域分离。

3.根据权利要求1所述的控制装置，其中，所述电路被配置为控制所述显示器以将标识所述可移动设备的位置的所述标记叠加在所述俯视图上。

4.根据权利要求1所述的控制装置，其中，所述电路被配置为控制所述显示器以在所述俯视图上显示路径信息，所述路径信息指示所述可移动设备的移动。

5.根据权利要求1所述的控制装置，其中，在所述俯视图上显示所述目标对象的位置信息。

6.根据权利要求1所述的控制装置，其中，所述电路被配置为控制所述显示器以叠加用以标识所述控制装置的位置的标记。

7.根据权利要求4所述的控制装置，其中所述路径信息指示所述可移动设备的移动朝向显示在所述俯视图上的所述目标对象的位置。

8.根据权利要求1所述的控制装置，其中，其中电路还被配置为：

生成用以控制所述可移动设备的控制信号，

其中，所生成的控制信号将所述可移动设备的移动限制在预定区域内。

9.根据权利要求1所述的控制装置，其中所述电路还被配置为对所述目标对象执行识别处理，以生成所述目标对象的识别信息。

10.根据权利要求8所述的控制装置，其中，基于所述可移动设备的位置信息和所述控制装置的位置信息来确定所述预定区域。

11.根据权利要求8所述的控制装置，其中，基于来自所述控制装置的接口的输入来确定所述预定区域。

12.根据权利要求11所述的控制装置，其中，所述接口是与所述显示器整体布置的触摸板，并且基于对在所述显示器上显示的俯视图或所述拍摄图像上的区域的指定来确定所述预定区域。

13.根据权利要求1所述的控制装置，其中，所述拍摄图像在被显示在所述显示器上之前在尺寸方面被压缩。

14.根据权利要求1所述的控制装置，其中，所述拍摄图像在被从所述摄像装置发送之前在尺寸方面被压缩。

15.根据权利要求14所述的控制装置，其中，通过仅对所述拍摄图像的一部分执行图像压缩处理来压缩所述拍摄图像。

16.根据权利要求1所述的控制装置，还包括：接口，所述接口由与所述显示器整体布置的触摸板来实现。

17.一种由控制装置执行的用于控制来自可移动设备的信息的显示的方法，所述可移动设备包括用以移动所述可移动设备的至少一个致动器驱动马达，所述方法包括：

控制显示器以在所述显示器的第一区域上显示(i)图像，所述图像对应于由附接在所述可移动设备上的摄像装置拍摄的拍摄图像；

控制所述显示器以在所述显示器的第二区域上显示(ii)俯视图，所述俯视图是所述可移动设备所在的空间的空间图的俯视图，其中，所述俯视图包括标识所述可移动设备的当前位置的标记以及在所述第一区域和所述第二区域之间延伸的视觉信息，并且所述视觉信息与固定位置有关地指示在所述第一区域中显示的拍摄图像与所述俯视图中的位置之间的对应关系；以及

控制所述显示器同时显示所述拍摄图像和所述俯视图，

其中，所述方法还包括：

获取所述拍摄图像中包括的目标对象的识别信息；以及

控制所述显示器以显示与所述目标对象相关联的识别信息的指示，其中，所述识别信息的指示是叠加在所述拍摄图像上并且与所述目标对象邻近设置的第二标记。

18.根据权利要求17所述的方法，还包括：控制所述显示器以在所述显示器的第一区域中显示所述拍摄图像，并在所述显示器的第二区域中显示所述俯视图，所述第一区域与所述第二区域不同并且与所述第二区域分离。

19.根据权利要求18所述的方法，还包括：控制所述显示器以将标识所述可移动设备的位置的所述标记叠加在所述俯视图上。

20.根据权利要求18所述的方法，还包括：控制所述显示器以在所述俯视图上显示路径信息，所述路径信息指示所述可移动设备的移动。

21.根据权利要求18所述的方法，其中，在所述俯视图上显示所述目标对象的位置信息。

22.根据权利要求18所述的方法，还包括：控制所述显示器以叠加用以标识所述控制装置的位置的标记。

23.根据权利要求20所述的方法，其中，所述路径信息指示所述可移动设备的移动朝向显示在所述俯视图上的目标对象的位置。

24.根据权利要求18所述的方法，还包括：

生成用以控制所述可移动设备的控制信号，

其中，所生成的控制信号将所述可移动设备的移动限制在预定区域内。

25.根据权利要求24所述的方法，还包括：对所述目标对象执行识别处理，以生成所述目标对象的识别信息。

26.根据权利要求24所述的方法，还包括：基于所述可移动设备的位置信息和所述控制装置的位置信息来确定所述预定区域。

27.根据权利要求24所述的方法，还包括：基于来自所述控制装置的接口的输入来确定所述预定区域。

28.根据权利要求27所述的方法，还包括：基于对在所述显示器上显示的俯视图或所述拍摄图像上的区域的指定来确定所述预定区域，

其中，所述接口是与所述显示器整体布置的触摸板。

29.根据权利要求18所述的方法，还包括：在将所述拍摄图像显示在所述显示器上之前，在尺寸方面压缩所述拍摄图像。

30.根据权利要求18所述的方法，还包括：在将所述拍摄图像从所述摄像装置发送之前，在尺寸方面压缩所述拍摄图像。

31.根据权利要求30所述的方法，还包括：通过仅对所述拍摄图像的一部分执行图像压缩处理来压缩所述拍摄图像。

32.根据权利要求18所述的方法，还包括：通过与所述显示器整体布置的触摸板来实现接口。