CN103717357A - 控制系统、控制方法以及非暂态计算机可读存储介质 - Google Patents

Abstract

控制系统、控制方法以及非暂态计算机可读存储介质协作以辅助针对自主式机器人的控制。接口从自主式机器人（22）接收识别信息，所述识别信息包括与自主式机器人（22）进行交互的候选目标对象。显示控制单元（42）使显示图像被显示在候选目标对象的显示器上，其中候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

Description

控制系统、控制方法以及非暂态计算机可读存储介质

技术领域

本公开内容涉及显示控制设备、显示控制方法、计算机程序产品以及通信系统，例如，对用于容易地预测自主式机器人的行为的信息进行显示的显示控制设备、显示控制方法、程序以及通信系统。

背景技术

例如，通常，自主式机器人根据环境或来自用户的通用指令自主地行动（工作）。

例如，如果用户在不指定品牌名称的情况下命令拿来PET瓶装茶，自主式机器人根据指令自主地进行搜索并拿来PET瓶装茶的动作。

也就是说，例如，当自主式机器人发现多个PET瓶装茶时，自主式机器人以其自己的判断来选择用户偏好的PET瓶装茶并且将该茶拿给用户。

此外，存在一种技术，用户使用该技术使得机器人能够根据物品的名称和物品的目的地将物品移动到目的地（参见例如专利文献1）。

引用列表

专利文献

PTL1：日本专利申请特许公开第2004-268148号

发明内容

如本发明人所认识到的，即使自主式机器人根据来自用户的指令而行动，由于环境或对用户的指令的误解，机器人也可能违背用户的意图而行动。

因此，用户最好在一定程度上预测自主式机器人的行为。

考虑到上述问题作出了本公开内容，并且本公开内容可以容易地预测自主式机器人的行为。

问题的解决方案

根据用于自主式机器人的示例性控制系统，包括：

接口，该接口从自主式机器人接收识别信息，所述识别信息包括与自主式机器人进行交互的候选目标对象；以及

显示控制单元，该显示控制单元使显示图像被显示在候选目标对象的显示器上，其中，

候选目标对象与相关联的目标对象得分的指示一起被显示。

根据该系统的一个方面，

显示图像包括包括房间的俯视空间图，所述俯视空间图含有自主式机器人的位置和候选目标对象的相应位置。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人基于到各个候选目标对象的距离在识别信息中包括候选目标对象。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人在识别信息中包括针对候选目标对象中的各个候选目标对象的得分。

根据该系统的另一方面，自主式机器人在识别信息中包括按照得分的顺序布置的候选目标图像的对象图像。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人在识别信息中包括关于房间的空间图的空间信息以及候选目标对象的对象图像。

根据该系统的另一方面，该系统还包括控制单元，该控制单元接收用户输入并且生成针对自主式机器人的命令，所述命令将与对候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给自主式机器人。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人被配置成标识非目标对象。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人被配置成标识对候选目标对象中的一个或更多个候选目标对象的默认选择。

根据该系统的另一方面，该系统还包括平板计算机和智能电话中的至少一个，所述平板计算机和智能电话中的所述至少一个包括所述接口和所述显示控制单元。

根据该系统的另一方面，该系统还包括记分机构，所述记分机构标识针对候选目标对象的各个得分。

根据该系统的另一方面，接口被配置成接收目标对象的类别作为输入，并且将对目标对象的类别的指示传送给自主式机器人，以及，自主式机器人被配置成在场景内标识类别中的一个或更多个目标对象。

根据该系统的另一方面，该系统还包括自主式机器人，其中，自主式机器人针对候选目标对象分配程度信息，所述程度信息是对类别中的各个目标对象的正确检测的可能性的指示。

根据该系统的另一方面，接口被配置成接收语音输入命令或手势输入命令。

根据该系统的另一方面，该系统还包括显示器，该显示器显示由自主式机器人标识的候选目标对象以及经由通信接口发送的用于辅助控制自主式机器人的用户反馈。

根据的控制方法实施方式，该方法包括：通过接口从自主式机器人接收识别信息，所述识别信息包括与自主式机器人进行交互的候选目标对象；以及将显示图像显示在候选目标对象的显示器上，其中候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

根据该控制方法的一个方面，显示包括对房间的俯视空间图进行显示，所述俯视空间图包括自主式机器人的位置和候选目标对象的相应位置。

根据该方法的另一方面，该方法还包括接收用户输入并且生成针对自主式机器人的命令，所述命令将与对候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给自主式机器人的命令。根据该方法的另一方面，该方法还包括接收语音输入命令或手势输入命令。根据非暂态计算机可读存储介质实施方式，该存储介质存储有指令，所述指令当由处理电路执行时执行用于自主式机器人的控制方法，该控制方法包括：通过接口从自主式机器人接收识别信息，所述识别信息包括与自主式机器人进行交互的候选目标对象；以及将显示图像显示在候选目标对象的显示器上，其中，候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

发明的有益效果

根据本公开内容，可以容易地预测自主式机器人的行为。

附图说明

图1是示出了根据本公开内容的机器人控制系统的配置示例的视图。

图2是示出了显示有多个项目的显示屏的示例的视图。

图3是说明了由机器人执行的处理的概要的视图。

图4是示出了对象的识别状态的示例的视图。

图5是示出了指令设备的配置示例的框图。

图6是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第一视图。

图7是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二视图。

图8是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第三视图。

图9是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第四视图。

图10是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第五视图。

图11是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第六视图。

图12是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第七视图。

图13是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第八视图。

图14是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第九视图。

图15是示出了通过箭头来表示对象得分的变化的示例的第一视图。

图16是示出了通过箭头来表示对象得分的变化的示例的第二视图。

图17是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十视图。

图18是用于说明由指令设备执行的显示处理的流程图。

图19是示出了机器人的配置示例的框图。

图20是示出了对象的识别状态的转变的示例的状态转变图。

图21是用于说明根据对象的识别状态来生成机器人识别信息的生成方法的视图。

图22是用于说明由机器人执行的得分计算处理的流程图。

图23是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十一视图。

图24是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十二视图。

图25是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十三视图。

图26是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十四视图。

图27是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十五视图。

图28是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十六视图。

图29是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十七视图。

图30是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十八视图。

图31是用于说明由用户进行的反馈操作的视图。

图32是示出了响应于反馈操作来转变对象的识别状态的示例的视图。

图33是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第十九视图。

图34是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十视图。

图35是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十一视图。

图36是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十二视图。

图37是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十三视图。

图38是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十四视图。

图39是用于说明由指令设备执行的反馈处理的流程图。

图40是用于说明由机器人执行的得分重新计算处理的流程图。

图41是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十五视图。

图42是示出了显示有基于来自机器人的信息的显示的显示屏的示例的第二十六视图。

图43是示出了将未检测的识别状态转变到另一状态的示例的视图。

图44是示出了使用捕获图像来指定搜索范围或对象的示例的视图。

图45是示出了使用室内空间图来指定搜索范围的示例的视图。

图46是示出了减少从机器人传送给指令设备的捕获图像的数据的量的示例的视图。

图47是用于说明由指令设备执行的区域指定处理的流程图。

图48是用于说明由机器人执行的搜索处理的流程图。

图49是示出了计算机的配置示例的框图。

具体实施方式

在下文中，将按以下顺序来描述本公开内容的实施方式（在下文中，称为本实施方式）。

1.第一实施方式（将用于预测机器人的行为的信息显示在指令设备的显示屏上的示例）

2.第一实施方式的修改示例

3.第二实施方式（使用指令设备将来自用户的反馈给予机器人的示例）

4.第二实施方式的修改示例

5.第三实施方式（使用指令设备指定机器人的搜索范围的示例）

<1.第一实施例>

<机器人控制系统的配置示例>

图1示出了根据第一实施方式的机器人控制系统1的配置示例。

机器人控制系统1包括具有显示屏21a的指令设备21和自主式机器人22。指令设备可以是集成有显示屏的远程控制器（例如，智能电话、平板计算机或膝上型计算机）或者与远程显示设备无线地进行工作的远程控制器。例如，指令设备可以使用电视机作为显示设备，并且指令设备用作用于输入指令的触觉接口。

指令设备21响应于用户的操纵而生成用于使机器人22进行期望行为（例如，将预定对象拿给用户的行为）的指令信息并且通过无线通信等将该信息传送给机器人22。此外，机器人22可以与预定对象进行交互，其中，交互是不仅拍摄对象的图像，而且接触、移动、收集对象、与对象进行信息的电子交换，对对象进行光学字符识别、说明、购买、贴标签或者操作（例如打开/关闭）。

例如，如图2所示，指令设备21将可以由用户选择的多个项目例如“茶”、“汽水”、“小吃”……显示在显示屏21a上。

参照如图2所示的显示屏21a，用户在多个项目中选择（指定）要被机器人22拿起的对象的项目。此外，例如，将要被机器人22拿起的对象的类别显示在显示屏21a上作为项目。

响应于此，指令设备21生成用于将属于作为由用户选择的项目的类别（例如，“茶”）的对象作为目标拿给用户的指令信息，并且通过无线通信等将该信息传送给机器人22。此外，指令信息包括表示作为由用户选择的项目的类别的类别信息。

机器人22基于来自指令设备21的指令信息自主地进行对属于作为由用户选择的项目的类别的对象进行搜索作为目标的操作。指令设备可以是其中集成有显示屏的远程控制器（例如，智能电话、平板计算机或膝上型计算机）或者与远程显示设备无线地进行工作的远程控制器。例如，指令设备可以使用电视机作为显示设备，并且指令设备用作为用于输入指令的触觉接口。

此外，用于指令机器人22的方法不限于使用指令设备21的上述方法。例如，如果机器人22可以通过语音识别来识别用户的语音，那么用户可以使用语音来指示目标。指令设备可以是其中集成有显示屏的远程控制器（例如，智能电话、平板计算机或膝上型计算机）或者与远程显示设备无线地进行工作的远程控制器。例如，指令设备可以使用电视机作为显示设备，并且指令设备用作为用于输入指令的触觉接口。

在这种情况下，机器人22识别作为语音的来自用户的指令，并且基于识别结果自主地进行搜索由用户指示的目标的操作。此外，例如，如果机器人22可以识别用户的手势或姿势，那么用户可以通过手势或姿势来指示目标。

机器人22是基于环境或来自用户的通用指令（例如，拿起“茶”的通用指令）自主地进行各种动作的两条腿的机器人。

机器人22包括设置在预定位置的与感测声音的“耳朵”对应的麦克风和与感测光的“眼睛”对应的相机作为从外面感测刺激的传感器。下文将参照图19来描述机器人22的细节。

接着，图3示出了由机器人22执行的处理的概要。

图3示出了通过对机器人22的环境进行捕获而获得的环境图像31（或场景）、指示由机器人22识别作为目标的对象的对象图像32、指示没有被机器人22识别作为目标的对象的对象图像33、指示由机器人22识别作为可能的目标的对象的对象图像34以及指示通过机器人22的捕获而获得的捕获图像的一部分的部分图像35。此外，由机器人22提供（或预先存储在控制器21中）的场景可以是包括场景中的对象例如家具的计算机生成图形。因此，图像和计算机生成图形是场景的两个示例。

此外，机器人22在例如用户居住的房间36中自由地移动以搜索目标。

当搜索目标时，机器人22将通过使用内置相机进行捕获而获得的环境图像31或部分图像35适当地传送给指令设备21。此外，当用户使用指令设备21指定机器人22的搜索范围时，使用环境图像31或部分图像35。将参照图43至图47对此进行主要描述。

此外，机器人22在房间36中移动，并且基于通过使用内置相机对对象进行捕获而获得的捕获图像来计算指示对象是目标的程度（也就是说，对象是要被机器人22处理的主体的程度）的得分。此外，使用用于标识对象是否是目标（指示对象是否是目标的函数）的标识符来计算得分。

机器人22基于对象的得分来确定对象的识别状态。此外，在下文中，描述了机器人22使用通过使用内置相机所获得的图像来计算得分或者将图像传送给指令设备21。

然而，用于计算得分的图像或传送给指令设备21的图像不限于通过机器人22中的内置相机获得的图像。例如，可以使用通过设置在房间36的天花板上的相机获得的图像。在这种情况下，设置在房间36的天花板上的相机通过无线通信将捕获图像传送给机器人22。此外，由机器人22提供（或预先存储在控制器21中）的场景可以是包括场景中的对象例如家具的计算机生成图形。因此，图像和计算机生成图形是场景的两个示例。

接着，图4示出了识别状态的示例。

图4A示出了机器人22的两种识别状态，即“这是目标”和“这不是目标”。

图4B示出了机器人22的三种识别状态，即“这是目标”、“还不确定”以及“这不是目标”。

图4C示出了机器人22的四种识别状态，即“这是目标”、“这可能是目标”、“还不确定”以及“这不是目标”。

此外，在第一实施方式中，如图4C所示，机器人22识别四个识别状态中的任一个识别状态。

例如，如果对象的得分等于或高于阈值th1，那么机器人22识别该对象“是目标”。如果对象的得分低于阈值th1并且等于或高于阈值th2（<th1），那么机器人22识别该对象“可能是目标”。

此外，如果对象的得分低于阈值th2并且等于或高于阈值th3（<th2），那么机器人22将该对象识别为“还不确定”该对象是否是目标。如果对象的得分低于阈值th3，那么机器人22识别该对象“不是目标”。

这里，预先确定阈值th1至阈值th3并且然后存储在机器人22中。此外，机器人22将得分与阈值相比较以确定对象的识别信息，但是确定识别信息的方法不限于此。

返回参照图3，例如，如果判断出对象“ABC茶”的得分等于或高于阈值th1，那么机器人22在指令设备21的显示屏21a上显示机器人22识别对象“ABC茶”“是目标”。

也就是说，例如，如图3所示，在指令设备21的显示屏21a上，以由例如粗线矩形包围的状态来显示指示对象“ABC茶”的对象图像32。粗线矩形表明机器人22识别对象“ABC茶”是“目标”。

此外，例如，如图3所示，如果判断出对象“狗形机器人”的得分低于阈值th3，那么机器人22在指令设备21的显示屏21a上显示机器人22识别对象“狗形机器人”“不是目标”。

也就是说，例如，如图3所示，在指令设备21的显示屏21a上，用例如阴影线来显示指示对象“狗形机器人”的对象图像33。阴影线表明机器人22识别对象“狗形机器人”“不是目标”。

此外，例如，如图3所示，如果判断出对象“橙汁”的得分低于阈值th1并且等于或高于阈值th2，那么机器人22在指令设备21的显示屏21a上显示机器人22识别对象“橙汁”“可能是目标”。

也就是说，例如，如图3所示，在指令设备21的显示屏21a上，以由例如细线矩形包围的状态来显示指示写有文字“橙汁”的PET瓶的对象图像34。细线矩形表明机器人22识别对象“橙汁”“可能是目标”。

此外，例如，如果判断出预定对象的得分低于阈值th2并且等于或高于阈值th3，那么机器人22在指令设备21的显示屏21a上显示机器人22识别“还不确定”预定对象是否是目标。

也就是说，例如，在指令设备21的显示屏21a上，照原样显示（不被矩形包围或没有阴影线）指示预定对象的对象图像。当照原样显示对象图像时，这表明机器人22“还不确定”预定对象是否是目标。

如上所述，将由机器人22识别的信息显示在指令设备21的显示屏21a上，以使得用户可以容易地预测机器人22的行为。

然而，显示方法不限于此，而是只要用户能够本能地估计机器人22的行为，就可以使用任何显示方法。

此外，通过参照显示屏21a，如果判断出不期望作为目标的对象被识别为目标，那么用户可以将表明该对象不是目标的反馈操纵给予指令设备21。

在这种情况下，机器人22响应于用户的反馈操纵重新计算对象的得分，并且基于通过重新计算获得的得分自主地进行行动。此外，下文将主要参照图31至图42来描述用户的反馈操纵。

<指令设备21的配置示例>

接着，图5示出了指令设备21的配置示例。

指令设备21包括操纵单元41、控制单元42、具有显示屏21a的显示单元43、通信单元44以及存储单元45。

操纵单元41包括操纵键或操纵按钮。例如，如果用户给予机器人22指令，那么操纵单元被用户操纵。当用户对操纵单元41进行操纵时，操纵单元41将与用户的操纵对应的操纵信号提供给控制单元42。

控制单元42基于来自通信单元44的机器人识别信息生成包括对象图像的机器人识别图像，并且将该图像提供给显示单元43以在显示屏21a上显示该图像。此外，机器人识别信息包括例如对象的得分作为需要在显示屏21a上显示的信息。此外，下文将参照图6至图17来描述显示屏21a的显示示例。

此外，控制单元42基于来自操纵单元41的操纵信号生成指令信息、反馈信息或指定范围信息，并且将信息提供给通信单元44。

这里，反馈信息指的是指令设备21中指示由用户反馈的内容的信息。

用户使用操纵单元41例如反馈由机器人22识别“作为目标”的对象不是目标。下文将参照图31至图42对此进行描述。

此外，指定范围信息指示例如在指令设备21的显示屏21a上显示的环境图像31或部分图像35上的整个区域中的通过用户的区域指定而指定的区域的位置。

用户使用操纵单元41例如进行用于在环境图像31或部分图像35上的整个区域中指定机器人22搜索目标的搜索范围的区域指定。下文将参照图43至图47对此进行描述。

控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以存储在存储单元45中。

显示单元43根据来自控制单元42的控制将图像显示在显示屏21a上。

此外，虽然指令设备21被配置为包括显示单元43，但是指令设备21可以被配置成不包括显示单元43。在这种情况下，可以使用电缆将控制单元42耦接到设置在外部的显示单元43。

通信单元44接收从机器人22传送的机器人识别信息并且将该信息提供给控制单元42。此外，通信单元44使用无线通信等将来自控制单元42的指令信息、反馈信息或指定范围信息传送给机器人22。

存储单元45存储例如由控制单元42预先执行的控制程序。此外，例如，存储单元45存储来自控制单元42的机器人识别信息。

<显示屏21a的显示示例>

接着，图6至图14示出了当指令设备21基于来自机器人22的机器人识别信息来显示机器人识别图像时显示屏21a的示例。

如果基于来自指令设备21的指令信息指示机器人22拿起对象“茶”，那么机器人22去搜索对象“茶”。

在机器人22探测了房间但是没有检测到对象的情况下，不将来自机器人22的机器人识别信息传送给指令设备21。

因此，如图6所示，例如，控制单元42在显示屏21a上显示其中没有捕获到任何东西的机器人识别图像。

当机器人22从通过对房间36的内部进行捕获而获得的捕获图像检测到对象“鸟雕像”时，机器人22从捕获图像提取表示对象“鸟雕像”的对象图像51并且将对象图像51添加到机器人识别信息以将该信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将包括在来自通信单元44的机器人识别信息中的对象图像51提供给显示单元43以在显示屏21a上显示对象图像51。

结果，如图7所示，在图的左侧在显示屏21a上显示对象图像51。因此，用户可以容易地预测到机器人22将鸟雕像检测作为对象。

机器人22靠近对象“鸟雕像”以辨别对象“鸟雕像”是否是目标。然后，机器人22从通过靠近并捕获对象“鸟雕像”而获得的捕获图像提取表示“鸟雕像”的对象图像51，并且将对象图像51添加到机器人识别信息以将该信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将包括在来自通信单元44的机器人识别信息中的对象图像51提供给显示单元43以在显示屏21a上显示对象图像51。

结果，如图8所示，在图的左侧在显示屏21a上显示比图7中的对象图像51更大的对象图像51。此外，由于还没有计算对象“鸟雕像”的得分，所以机器人22“还不确定”对象“鸟雕像”是否是目标。因此，在图8中，照原样显示对象图像51（不被矩形包围或没有阴影线）。

机器人22计算来自通过靠近并捕获对象“鸟雕像”而获得的捕获图像的对象“鸟雕像”的得分。此外，当机器人22基于所计算的得分识别对象“鸟雕像”“不是目标”时，机器人22将包括（指示）表明“该对象不是目标”的识别状态（的信息）的机器人识别信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42基于包括在来自通信单元44的机器人识别信息中的识别状态生成具有阴影线的对象图像51，并且将对象图像51提供给显示单元43以在显示屏21a上显示。

结果，如图9所示，在显示屏21a上显示具有阴影线的对象图像51。

此外，添加到对象图像51的阴影线表示机器人22识别对象图像51上的对象“鸟雕像”“不是目标”。

因此，用户可以容易地预测到机器人22识别对象图像51上的“鸟雕像”“不是目标”。

当机器人22从通过对房间进行捕获而获得的捕获图像检测到对象“十八茶”时，机器人22从捕获图像提取表示对象“十八茶”的对象图像52。

机器人22将包括所提取的对象图像52的机器人识别信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42将包括在来自通信单元44的机器人识别信息中的对象图像52提供给显示单元43以在显示屏21a上显示对象图像52。

结果，如图10所示，在显示屏21a上在图的左侧显示由机器人22检测的对象“十八茶”的对象图像52。因此，用户可以容易地预测到机器人22检测出了对象“十八茶”。

此外，机器人22计算来自通过靠近并捕获对象“十八茶”而获得的捕获图像的对象“十八茶”的得分。当机器人22基于所计算的得分识别对象“十八茶”是“目标”时，机器人22将包括表明对象“十八茶”是“目标”的识别状态的机器人识别信息传送给通信单元44。

响应于此，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。控制单元42基于来自通信单元44的机器人识别信息生成由矩形包围并且由三角形指示的对象图像52和具有阴影线的对象图像51，并且将对象图像52和对象图像51提供给显示单元43以在显示屏21a上显示。

结果是，如图11所示，在图的左侧在显示屏21a上显示由粗线矩形包围并且由三角形（图11所示的▲）指示的对象图像52，并且在对象图像52的更右边显示具有阴影线的对象图像51。

此外，包围对象图像52的粗线矩形表明机器人22将对象图像52的对象“十八茶”识别为“目标”。此外，指示对象图像52的三角形表明机器人22将带着对象图像52的对象“十八茶”返回。

此外，在这种情况下，控制单元42使得能够按对象的更高得分的顺序以显示屏21a的从左到右的方向来显示指示对象的对象图像。

此外，对象图像的显示位置与该对象的得分对应。因此，例如，第一对象图像与第二对象图像之间的显示间隔指示第一对象图像的对象与第二对象图像的对象之间的得分的差。

因此，用户可以根据显示在显示屏21a上的对象图像的位置本能地注意到由对象图像指示的对象的得分。

根据图11所示出的显示屏21a，用户可以容易地预测到机器人22拿起对象“十八茶”。

此外，如上所述，当机器人22自主地移动并且从通过使用内置相机进行捕获而获得的捕获图像中检测新对象时，机器人22生成机器人识别信息并且将该信息传送给通信单元44。

响应于此，控制单元42基于来自通信单元44的机器人识别信息将对象图像提供给显示单元43以在显示屏21a上显示对象图像。

如上所述，控制单元42基于通过通信单元44从机器人22传送的机器人识别信息来更新显示屏21a的显示。

也就是说，此后，例如，如图12所示，响应于机器人22的行为将显示屏21a更新以最新地显示表示对象“ABC茶”的对象图像53。此外，如图13所示，响应于机器人22的行为将显示屏21a更新以最新地显示表示对象“C汽水汁”的对象图像54和表示对象“USB存储器”的对象图像55。此外，例如，如图14所示，响应于机器人22的行为将显示屏21a更新成其中根据得分来改变对象图像的位置的显示。

此外，在图14的显示屏21a上，没有显示在图13的显示屏21a上显示的对象图像51。

在图14中，当对象被显示在显示屏21a的较左侧时，对象的得分较高。因此，可以通过对象图像所显示的位置来表示对象的得分。

因此，当将对象图像52至对象图像55显示在根据对应的对象的得分的位置处时，可能由于显示屏21a的尺寸或对象图像的尺寸而没有显示对象图像51。

此外，在图14中，对象图像51的对象“鸟雕像”的得分被设定成显著地低于对象图像55的对象“USB存储器”的得分。

此外，在图14中，对象图像53的对象“ABC茶”的得分被设定成低于对象图像52的对象“十八茶”的得分。

然而，三角形指示对象图像53的对象“ABC茶”并且机器人22意在带着对象“ABC茶”返回。这意味着，机器人22除对象的得分之外考虑到对象的位置或用户的偏好来确定要拿起的对象。

注意，如图6至图14所示，在第一实施方式中，按显示屏21a的从左到右的对象的更高的得分的顺序来并排地显示对象图像。然而，可以以除了向右方向之外的任意方向（例如，从右到左的方向）来显示对象图像。

此外，例如，如图6至图14所示，在第一实施方式中，按对象的更高的得分的顺序以任意方向并排地显示对象图像，并且也将对象图像显示在与对象的得分对应的位置处。

然而，可以仅使用得分的顺序将对象图像显示在显示屏21a上。或者，例如，可以在不使用得分的顺序的情况下将对象图像显示在显示屏21a上与对象的得分对应的位置处。

此外，例如，可以通过根据对象的得分来改变对象图像的顺序、位置、尺寸、亮度、清晰度以及颜色中的至少之一来显示对象图像。

此外，例如，可以与对象图像相关联地显示对象的得分。同样，例如，可以由条形图或圆形图表示得分。当由圆形图表示得分时，可以在圆形图中表示具有最高得分的对象的得分的百分比。

此外，例如，可以由显示屏21a中的箭头来表示对象的得分的变化。

具体地，例如，如图15所示，如果改变与对象图像54对应的对象“C汽水汁”的得分使其增大，那么将指示对象“C汽水汁”的得分增大的白色箭头与对象图像54相关联并且将白色箭头显示在显示屏21a上。

此外，如图15所示，如果改变与对象图像52对应的对象“十八茶”的得分使其减小，那么将指示对象“十八茶”的得分减小的黑色箭头与对象图像52相关联并且将黑色箭头显示在显示屏21a上。

此外，例如，如图15所示，如果改变与对象图像55对应的对象“USB存储器”的得分使其减小，那么将指示对象“USB存储器”的得分减小的黑色箭头与对象图像55相关联并且将黑色箭头显示在显示屏21a上。

当在显示屏21a上显示如图15所示的内容时，用户可以预测机器人22将不拿起对象“十八茶”，而错误地拿起对象“C汽水汁”。在这种情况下，在机器人22错误地拿起对象“C汽水汁”之前，用户可以明确地指示机器人22拿起例如对象“十八茶”。

此外，当在显示屏21a上显示如图16所示的内容时，用户可以预测机器人22将拿起用户期望的对象“十八茶”。在这种情况下，用户不指示机器人22并且可以专注他/她的工作直到机器人22拿起对象“十八茶”为止。此外，由于图16具有与图15相同的配置，所以将省略对图16的描述。

此外，例如，在显示屏21a上，可以由条形图或折线图而不是箭头来表示对象的得分的变化。或者，例如，可以连同对象的得分的变化一起或代替对象的得分的变化而显示得分的历史。

当显示得分的变化或得分的历史时，用户可以通过参照显示屏21a来估计出对象的得分的变化或对象的得分的历史，并且由此可以容易地预测得分的排名的变化并最终预先预测机器人22的行为。

由控制单元42通过参照存储在存储单元45中的机器人识别信息来实现上述显示。

此外，如果在指令设备21中改变了得分的排名，那么可以通过声音、振动或灯的闪烁将该变化通知给用户。

在第一实施方式中，如图6至图14所示，用粗线矩形包围由机器人22识别“为目标”的对象的对象图像，而照原样显示由机器人22识别“为可能的目标”的对象的对象图像。

此外，例如，用细线矩形包围由机器人22识别为“还不确定”的对象的对象图像，而用阴影线显示由机器人22识别为“不是目标”的对象的对象图像。

但是，表示识别状态的显示方法不限于矩形或阴影线。

此外，例如，可以使用表示识别状态的显示方法和表示对象的得分的显示方法二者。或者，可以使用表示识别状态的显示方法和表示对象的得分的显示方法中的仅一个显示方法来在显示屏21a上显示对象图像。

接着，图17示出了当用户选择对象图像时将所选择的对象图像的详细信息显示在显示屏21a上的示例。

在图17所示出的显示屏21a上，显示了指示对象“十八茶”（PET瓶）的底部的对象图像52a以及通过从不同方向对对象“十八茶”进行捕获而获得的对象图像52b至对象图像52e作为对象“十八茶”的详细信息。

例如，机器人22从通过对对象进行捕获而获得的最新的捕获图像提取对象图像作为在显示屏21a上显示的对象图像，并且将该对象图像添加到机器人识别信息以将该信息传送给指令设备21。

此外，除从最新的捕获图像所提取的对象图像之外，机器人22可以使用从其中对对象进行捕获的多个捕获图像中的具有最高分辨率的捕获图像所提取的对象图像作为包括在机器人识别信息中的对象图像。

此外，在多个对象图像中，机器人22可以使用充分地表示整个对象的所提取的图像或使用典型的所提取的图像，作为包括在机器人识别信息中的对象图像。另外，例如，考虑其中以从上方45度的角对对象进行捕获的所提取的图像作为典型的所提取的图像。

例如，当机器人22通过之前的捕获获得包括对象图像52b至对象图像52e中的部分的捕获图像，并且通过最新的捕获获得包括对象图像52a的部分的捕获图像时，将包括其中对对象“十八茶”的底部进行捕获的对象图像52a的机器人识别图像传送给指令设备21。

此外，在指令设备21中，如图17所示，在显示屏21a上显示其中对对象“十八茶”的底部进行捕获的对象图像52a。在这种情况下，用户可能通过观看显示在显示屏21a上的对象图像52a估计不出由对象图像52a表示的对象是“十八茶”。

因此，机器人22将除对象图像52a之外还包括对象图像52b至对象图像52e的机器人识别信息传送给指令设备21的通信单元44。在这种情况下，通信单元44将来自机器人22的机器人识别信息提供给控制单元42。

如图17所示，控制单元42基于来自通信单元44的机器人识别信息使得能够将对象“胶棒”的对象图像、对象“十八茶”的对象图像52a以及对象“钱包”的对象图像从图的左侧起显示在显示单元43的显示屏21a上。

此外，控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以存储在存储单元45中。

在指令设备21中，当用户使用操纵单元41选择显示屏21a上的对象图像52a时，操纵单元41将与用户的选择操作对应的操纵信号提供给控制单元42。

此外，控制单元42根据来自操纵单元41的操纵信号读取包括在存储于存储单元45中的机器人识别信息中的对象图像52b至对象图像52e，并将图像提供给显示单元43以在显示屏21a上显示。

因此，在显示屏21a上，如图17所示，在显示屏21a上显示对象图像52b至对象图像52e作为对象“十八茶”的详细信息。

因此，即使用户不能根据对象图像52a估计出对象图像52a上的对象，用户也可以通过响应于用户的选择操作所显示的对象图像52b至对象图像52e容易地估计出在对象图像52a中所捕获的对象是“十八茶”。

此外，例如，当根据来自操纵单元41的操纵信号进行用户的选择操作时，控制单元42可以显示放大的对象图像52a作为详细信息。在这种情况下，例如，控制单元42读取包括在存储于存储单元45中的机器人识别信息中的对象图像52a并且以预定放大比率放大对象图像并且将对象显示在显示屏21a上。

或者，例如，控制单元42可以在显示屏21a上显示其中检测到对象图像52a上的对象“十八茶”的三维位置作为对象图像52a的详细信息。在这种情况下，将包括对象图像52a上的对象“十八茶”的三维位置的机器人识别信息连同对象图像52a一起存储在存储单元45中。

注意，例如，如果指令设备21是连接鼠标作为操纵单元41的个人计算机，那么用户通过使用鼠标在显示屏21a上的对象图像52a上移动光标来进行选择操作（鼠标悬停）以选择对象图像52a。

此外，仅将多个对象图像中的与显示屏21a的屏幕尺寸对应的预定数量的对象图像显示在显示屏21a上。因此，仅将具有足够高的得分的对象图像、具有前n个得分的对象图像或者被识别为“目标”或“可能的目标”的对象图像显示在显示屏21a上。

因此，存在在显示屏21a上不显示的对象图像，以使得响应于用户的操作将这种对象图像优选地显示在显示屏21a上。

也就是说，例如，用户进行对设置在鼠标中的滚动按钮进行旋转的滚动操作以减小显示在显示屏21a上的每个对象图像以使得能够在显示屏21a上显示更多的对象图像。

在这种情况下，由于操纵单元41提供了响应于滚动操作的操纵信号，所以控制单元42读取存储在存储单元45中的机器人识别信息。此外，控制单元42基于所读取的机器人识别信息生成响应于滚动操作而减小的每个目标图像并且将对象图像提供给显示单元43以在显示屏21a上显示。

此外，例如，用户可以响应于滚动操作将显示在显示屏21a上的每个对象图像放大并且在显示屏21a上显示较少的对象图像。

此外，例如，显示屏21a在其中心处显示得分x1的对象图像，在左侧显示具有比得分x1更高的得分的对象图像并且在右侧显示具有比得分x1更低的得分的对象图像。

在显示屏21a上，可以将具有比得分x1更低的得分x2（<x1）的对象图像显示在显示屏21a的中心处，可以将具有比得分x2更高的得分的对象图像显示在左侧，并且可以将具有比得分x2更低的得分的对象图像显示在右侧。

也就是说，例如，当用户将光标移动到显示具有得分x2的对象图像的位置并且对操纵单元41进行操纵以使得该位置位于显示屏21a的中心位置时，在控制单元42中生成使得具有得分x2的对象图像能够显示在显示屏21a的中心的机器人识别信息，并且然后将机器人识别信息显示在显示单元43的显示屏21a上。

此外，例如，当用户对操纵单元41进行操纵以使得显示具有得分x1的对象图像的位置定位到显示屏21a的中心时，显示屏21a的显示变成在显示屏21a的中心处显示具有得分x1的对象图像的初始显示。

此外，例如，当用户使用操纵单元41放大要显示的显示屏21a的整个区域中的预定区域时，对显示屏21a上的预定区域进行放大以显示该预定区域。

<当指令设备21显示机器人识别图像时的操作的描述>

接着，将参照图18的流程图来描述由指令设备21进行的显示处理。

例如，当从机器人22传送机器人识别信息时显示处理开始。

在步骤S21中，通信单元44根据控制单元42的控制从机器人22接收机器人识别信息并将该信息提供给控制单元42。

在步骤S22中，控制单元42基于来自通信单元44的机器人识别信息生成机器人识别图像，并将该图像提供给显示单元43以在显示屏21a上显示。

此外，控制单元42将来自通信单元44的机器人识别信息提供给存储单元45以存储在存储单元45中。

在步骤S23中，控制单元42根据是否已经响应于用户的选择操作从操纵单元41提供了操纵信号来判断用户是否已经进行了选择操作。

此外，在步骤S23中，如果判断出用户还没有进行选择操作，那么控制单元42将处理返回到步骤S21并且然后重复相同的处理。

此外，在步骤S23中，如果根据是否已经响应于用户的选择操作从操纵单元41提供了操纵信号判断出用户已经进行了选择操作，那么控制单元42使处理前进到步骤S24。在这种情况下，例如，假定已经进行了用于显示图17所示出的捕获图像52a的详细信息的选择操作。

在这种情况下，在步骤S24中，控制单元42读取存储在存储单元45中的机器人识别信息并将包括在所读取的机器人识别信息中的对象图像52b至对象图像52e提供给显示单元43以在显示屏21a上显示。此后，处理返回到步骤S21并且然后进行相同的处理。此外，例如，当不从机器人22传送机器人识别信息时，显示处理结束。

如上所述，根据显示处理，基于来自机器人22的机器人识别信息如图6至图17所示的那样显示显示屏21a，以使得可以容易地预测机器人22的行为。

此外，根据显示处理，在步骤S23中，例如，当进行了对图17的对象图像52a进行选择的选择操作时，在步骤S24中，将在对象图像52a中所捕获的对象显示为如从不同方向所看的对象图像52b至对象图像52e。

因此，用户可以更精确地估计出在显示屏21a上显示的对象图像的对象。

<机器人22的配置示例>

接着，图19示出了机器人22的配置示例。

机器人22包括通信单元61、相机62、距离传感器63、麦克风64、扬声器65、控制单元66、驱动单元67以及存储单元68。

通信单元61从指令设备21接收指令信息、反馈信息以及指定范围信息并将信息提供给控制单元66。

通信单元61将来自控制单元66的机器人识别信息传送给指令设备21。

相机62与感测光的“眼睛”对应并且包括例如CCD（电荷耦合器件）图像传感器。相机62对机器人22的环境进行捕获并将通过捕获而获得的捕获图像提供给控制单元66。

距离传感器63是测量从机器人22到对象的距离的传感器并且测量到对象的距离并将所测量的距离提供给控制单元66。

麦克风64与感测声音的“耳朵”对应并且收集语音并将通过收集语音获得的语音信号提供给控制单元66。

扬声器65与机器人22的“嘴”对应并根据来自控制单元66的控制来输出预定语音。

控制单元66控制通信单元61至扬声器65以及驱动单元67。也就是说，例如，控制单元66基于来自相机62的捕获图像、来自距离传感器63的距离或来自麦克风64的语音信号来估计出环境情况，并且根据所估计出的环境情况来控制驱动单元67。

此外，控制单元66基于来自通信单元61的指令信息控制驱动单元67并且自主地进行由用户指示的行为。也就是说，例如，控制单元66控制驱动单元67以使得机器人22能够自主地搜索属于由包括在指令信息中的类别信息指示的类别的对象作为目标。

此外，控制单元66基于来自相机62的捕获图像来检测捕获图像上的对象并且提取指示所检测的对象的对象图像。此外，控制单元66基于来自相机62的捕获图像来计算所检测的对象的得分。

也就是说，例如，控制单元66基于来自通信单元61的指令信息从存储单元68读取作为目标的对象的标识符。此外，控制单元66从来自相机62的捕获图像提取指示所检测的对象的特征的特征量。

此外，控制单元66基于所提取的特征量使用所读取的标识符来计算所检测的对象的得分。换言之，例如，控制单元66可以照原样使用从标识符获得的标识结果（得分）作为所检测的对象的得分或者可以通过综合地判断从标识符获得的标识结果以时间序列方式计算最终得分。

控制单元66基于对象的所计算的得分来确定对象的识别状态。此外，下文将参照图20来描述对识别状态的确定。

此外，控制单元66基于对象的所计算的得分或所确定的对象的识别状态来确定要在显示屏21a上显示的对象图像。下文将参照图21来描述确定要在显示屏21a上显示的对象图像的方法。

例如，控制单元66根据对象的识别状态（例如，用矩形包围或添加阴影线）来改变被确定要在显示屏21a上显示的对象图像，并且生成包括改变之后的对象图像和对象的得分的机器人识别信息，并且显示目标信息并且将该信息提供给通信单元66。

此外，控制单元66控制距离传感器63以测量到所检测的对象的距离。结果，距离传感器63将到由控制单元66检测的到对象的距离提供给控制单元66。

控制单元66基于来自相机62的捕获图像或相机62的姿势（位置和定向）来检测相机62（机器人22）的三维位置。此外，日本专利申请特许公开第2008-304268号中公开了检测机器人22的三维位置的方法的细节。

此外，控制单元66可以使用其中使用例如GPS（全球定位系统）或Wi-Fi的定位技术以检测机器人22的三维位置。

控制单元66基于所检测的三维位置和从距离传感器63提供的距离来计算所感测的对象的三维位置，将该位置与其中捕获了对象的捕获图像相关联，并且将该位置提供给存储单元68以存储在存储单元68中。

此外，控制单元66读取存储在存储单元68中的捕获图像（例如，图3中的环境图像31或部分图像35）并且生成要提供给通信单元61的甚至包括所读取的捕获图像的机器人识别信息。

控制单元66基于来自通信单元61的指定范围信息和存储在存储单元68中的捕获图像对指示由用户的指定操作所指定的区域的指定区域进行检测。

此外，控制单元66从存储单元68读取与所检测的指定区域上的对象相关联的三维位置并且基于所读取的三维位置来计算与指定区域对应的搜索范围。

此外，控制单元66控制驱动单元67来驱动与机器人22的手或脚对应的部分以进行在所计算的搜索范围内搜索目标（属于由类别信息指示的类别的对象）的操作。

驱动单元67根据来自控制单元66的控制来驱动与机器人22的“手”或“脚”对应的部分，以使得机器人22能够自主地行动。

例如，存储单元68预先保存由控制单元66执行的控制程序并且还存储（保存）被指示要从控制单元66写入的数据。

此外，存储单元68针对多个项目中的每个对象存储用于标识对象标识符。标识符是具有对象的特征量作为输入并且输出对象的得分的函数。此外，通过预先学习来生成并存储标识符。

此外，存储单元68存储来自控制单元66的捕获图像（与捕获图像上的对象的三维位置相关联的捕获图像，例如，环境图像31或部分图像35）。

接着，图20示出了对象的识别状态的转变图的示例。

在图20中，示出了“未检测（感测）”、“还不确定”、“这可能是目标”、“这是目标”以及“这不是目标”作为由控制单元66识别的识别状态。

控制单元66根据对象的所计算的得分将对象识别为“还不确定”、“这可能是目标”、“这是目标”以及“这不是目标”中的任一个状态。

也就是说，例如，如果对象的得分等于或高于阈值th1，那么控制单元66识别该对象“是目标”。如果对象的得分低于阈值th1并且等于或高于阈值th2（<th1），那么控制单元66识别该对象“可能是目标”。

此外，例如，如果对象的得分低于阈值th2并且等于或高于阈值th3（<th2），那么控制单元66将对象的状态识别为“还不确定”该对象是否是目标。如果对象的得分低于阈值th3，那么控制单元66识别该对象“不是目标”。

此外，除了由用户进行反馈操作时，控制单元66通常通过识别这“可能是目标”的状态来识别对象“是目标”。

因此，在显示屏21a上，可以防止被识别为“还不确定”对象是否是目标的对象（与由细线矩形包围的对象图像对应）被突然改变成被识别“为目标”的对象（与由粗线矩形包围的对象图像对应）。

因此，用户可以不管是否存在不与目标对应的对象而仅注意在显示屏21a上被识别为“这可能是目标”的对象（与照原样显示的对象图像对应）。

如上所述，当对象被识别“为目标”时，控制单元通常经历识别这“可能是目标”的状态。这是因为，如果将显示屏21a上被识别为“还不确定”对象是否是目标的对象突然改变成被识别“为目标”的对象，这对用户来说是不方便的，因为用户需要注意显示屏21a上的所有对象。

接着，图21示出了控制单元66根据对象的得分来确定要在显示屏21a上显示的对象图像的确定方法的示例。

在图21中，按更高的得分的顺序从图的左侧起显示对象71、对象72、对象73、......、对象74。

控制单元66基于对象71的所计算的得分将对象71识别“为目标”。此外，控制单元66基于对象72的得分识别对象72“可能是目标”。

此外，控制单元66基于对象73的得分将该对象的状态识别为“还不确定”对象73是否是目标。此外，控制单元66基于对象74的得分识别对象74“不是目标”。

例如，如图21所示，控制单元66可以确定将与多个所检测的对象中的具有高得分的前N个对象对应的对象图像显示在指令设备21的显示屏21a上。

此外，例如，如图21所示，控制单元66可以确定至少将与多个所检测的对象中的被识别为“这是目标”或“这可能是目标”的对象对应的对象图像显示在指令设备21的显示屏21a上。

<对机器人22计算得分时的操作的描述>

接着，将参照图22的流程图来描述由机器人22进行的得分计算处理。

例如，当机器人22基于来自指令设备21的指令信息来探测房间时，得分计算处理开始。

在步骤S41中，相机62对机器人的环境进行捕获并且将通过捕获而获得的捕获图像提供给控制单元66。

在步骤S42中，控制单元66试图基于来自相机62的捕获图像来检测捕获图像上的对象。

此外，当基于来自相机62的捕获图像从捕获图像检测到对象时，控制单元66使处理前进到步骤S43。此外，当基于来自相机62的捕获图像从捕获图像没有检测到对象时，控制单元66将处理返回到步骤S41并且然后进行相同的处理。

控制单元66基于通过通信单元61从指令设备21提供的指令信息来判断指示由机器人22处理的主体的目标，并从存储单元68读取所判断的目标的标识符。

在步骤S43中，控制单元66根据来自相机62的捕获图像计算所检测的对象的特征量。接着，控制单元66基于所计算的特征量使用从存储单元68读取的标识符来计算对象的得分。

在步骤S44中，控制单元66生成包括所计算的得分或存储在存储单元68中的捕获图像的机器人识别信息并将该信息提供给通信单元61。

在步骤S45中，通信单元61将来自控制单元61的机器人识别信息传送给指令设备21。处理返回到步骤S41并且然后进行相同的处理。

此外，例如，当机器人22发现目标并将目标拿给用户时，得分计算处理结束。

如上所述，根据得分计算处理计算所检测的对象的得分并且将包括所计算的得分的机器人识别信息传送给指令设备21。

因此，在指令设备21的显示屏21a上，可以如图6至图17所示的那样显示机器人识别信息，以使得用户可以容易地预测机器人22的行为。

<第一实施方式的修改示例>

<机器人识别图像的另一显示示例>

参照图6至图17，已经描述了其中在显示屏21a的较左侧显示具有较高得分的对象的机器人识别图像，但是机器人识别图像不限于此。

接着，图23示出了机器人识别图像的另一显示示例。

在图23中，在指示位于显示屏21a的上侧的屏幕的上部屏幕81上，由于由对象图像表示的对象的得分变得更高，所以显示了布置在显示屏21a的较左侧的机器人识别图像。在这种情况下，对象91、对象92、对象93以及对象94以降序顺序具有高得分。

此外，在表示位于显示屏21a的上侧的屏幕的下部屏幕82上显示通过使用相机62进行捕获而获得的最新的捕获图像。如图23所示，在捕获图像中捕获了显示在上部屏幕81上的对象91（“苹果汁”）和对象92（“C汽水汁”）。

在显示图像21a上，通过虚线将上部屏幕81上的对象91和下部屏幕82上的对象91（“苹果汁”）连接，以使得可以理解显示在上部屏幕81上的对象91和显示在下部屏幕82上的对象91之间的对应关系。

这同样适用于对象92。此外，在这种情况下，通过使用相机62进行捕获而获得的最新的捕获图像包括在机器人识别信息中。

也就是说，在图23中，不同于参照图6至图17所描述的情况，将通过使用相机62进行捕获而获得的最新的捕获图像显示在下部屏幕82上。

在图23中，在上部屏幕81上，通过粗线矩形包围对象91的对象图像和对象92的对象图像。因此，预测到机器人22将对象91和对象92识别为目标。此外，参照图23中的下部屏幕82，预测机器人22存在于对象91和对象92的附近。

因此，与仅参照图23的上部屏幕81的情况相比较，通过参照图23的上部屏幕81和下部屏幕82，用户可以容易地预测机器人22拿起对象91和对象92中的一个对象作为目标。

此外，在图23中，在下部屏幕82上显示通过使用相机62进行捕获而获得的最新的捕获图像。然而，例如，可以显示通过使用相机62以预定时间进行捕获而获得的捕获图像。此外，可以显示通过对通过使用相机62进行捕获而获得的多个捕获图像进行合成而生成的合成图像（例如全景图的图像）。

此外，例如，在显示屏21a上，可以显示通过使用相机62进行捕获而获得的捕获图像，以使得与粗线矩形交叠（例如，通过粗线矩形包围捕获图像上的苹果汁）。在这种情况下，在显示屏21a上，不显示图23所示出的在上部屏幕81上显示的图像，而仅显示捕获图像。

此外，例如，如图24所示，可以在显示屏21a的下部屏幕82上显示示出房间中的空间的空间图，而不是通过使用相机62进行捕获而获得的最新的捕获图像。在这种情况下，机器人识别信息包括指示房间的空间图的空间信息。此外，例如，预先将空间信息存储在机器人22的存储单元68中。

此外，如图24所示，在显示在下部屏幕82上的空间图中，通过虚线101来指示其中机器人22从现在开始移动的路径。此外，在图24中，通过虚线来连接显示在上部屏幕81上的对象和对象存在于空间图上的位置，以使得可以理解对应关系。

因此，与仅参照图24的显示屏21a的上部屏幕81的情况相比较，通过参照图24的显示屏21a的上部屏幕81和下部屏幕82，用户可以预测机器人22将带着作为目标的对象91（“苹果汁”）返回。

此外，当显示图23和图24所示出的显示屏21a时，最好优先地显示存在于机器人22附近的对象（存在于距机器人22的位置预定范围内的对象）作为对象图像。

此外，例如，在显示屏21a上，将捕获图像显示在图23所示出的下部屏幕82上，并且将空间图显示在图24所示出的上部屏幕82中。然而，例如，可以在显示屏21a上显示捕获图像和空间图二者。

在这种情况下，例如，在显示屏21a上，将包括指示其中机器人22从现在开始移动的路径的虚线101的空间图连同图23所示出的显示一起显示。

接着，图25示出了机器人识别图像的另一显示示例。

在图25中，在显示屏21a上显示通过使用机器人22的相机62进行捕获而获得的最新的捕获图像。在捕获图像中主要捕获由机器人22检测的对象111至对象114。

此外，在对象111和对象113中，通过气球111a至气球113a来显示由机器人22对于对象要进行的行为。

在气球111a中显示行为“丢弃”，在气球112a中显示行为“拿起”，在气球113a中显示行为“拿起”以及在气球114a中显示行为“丢弃”。此外，当如图25所示的那样对显示屏21a进行显示时，指示具有对象（例如，“鸟雕像”）作为要被处理的目标的机器人22的处理（例如，“丢弃”）的处理信息被包括在来自机器人22的机器人识别信息中。

此外，例如，气球111a至气球113a的尺寸与具有气球的对象的得分对应。此外，可以通过气球的颜色而不是气球的尺寸来指示得分。

在第一实施方式中，用户使用指令设备21来指示机器人22拿起“茶”作为目标。然而，指令不限于此。例如，用户可以指示将目标丢弃在垃圾箱。

例如，用户可以使用指令设备21来指示对目标进行“抓住”、“拾起”或“清理”。

例如，图25是当用户使用指令设备21来指示机器人22拿起“果汁”并且将“小对象”丢弃到垃圾箱时显示在指令设备21的显示屏21a上的显示示例。

也就是说，只要用户可以本能地预测机器人22的行为，可以通过任何显示方法对显示在显示屏21a上的机器人识别图像进行显示。

此外，例如，用户可以使用指令设备21来选择人作为目标而不是“茶”作为目标。在这种情况下，用户可以使用指令设备21来“呼叫”作为目标的人。

在这种情况下，例如，可以将所检测的人连同此人的名字一起显示在显示屏21a上。此外，例如，将人的名字与用于对人进行标识的标识符相关联地预先存储在机器人22的存储单元68中。

此外，如果在显示屏21a上显示不同人的名字作为所检测的人的名字，那么用户可以使用操纵单元41来将名字改变成所检测的人的名字。

例如，如图26所示，指令设备21基于来自机器人22的机器人识别信息使得能够将包括对象图像121至对象图像124的机器人识别图像显示在显示屏21a上。

在图26所示出的显示屏21a上，显示了机器人22识别与对象图像121对应的对象“十八茶”“可能是目标”。

还显示了机器人22“还不确定”与对象图像122对应的对象“C汽水汁”和与对象图像123对应的对象“盆栽”分别是否是目标，以及机器人识别与对象图像124对应的对象“毛绒动物”“不是目标”。

因此，用户可以通过参照图26所示出的显示屏21a预测如下所述的机器人22的行为。也就是说，例如，用户可以预测机器人22最终将已经由机器人识别为“可能的目标”的对象“十八茶”识别“作为目标”，并且拿起对象“十八茶”。

在这种情况下，认为用户可以等待直到机器人22拿起对象“十八茶”为止。

此外，例如，在图27所示出的显示屏21a上，显示了表明机器人22将与对象图像141对应的对象“ABC茶”和与对象图像142对应的对象“S茶”二者识别为目标的粗线矩形。

此外，例如，在图27所示出的显示屏21a上，显示了表明机器人22将要带着对象“ABC茶”返回的三角形。

因此，用户预测机器人22想要知道拿起对象“ABC茶”或对象“S茶”中的哪个对象，但是将尝试性地带着对象“ABC茶”返回。

如果对象“ABC茶”或对象“S茶”对用户来说没有差别，那么用户不需要操纵指令设备21并且只是等待直到机器人22拿起对象“ABC茶”或对象“S茶”为止。

此外，例如，在图27所示出的显示屏21a上，由于没有显示三角形并且对象“ABC茶”或对象“S茶”对用户来说没有差别，所以如果用户想要快速地拥有对象，优选的是，用户指示机器人22拿起对象“ABC茶”。

因此，例如，如图28所示，指令设备21可以在显示屏21a上显示的对象图像161至对象图像165中通过用户的操纵来指示与用户想要拥有的对象“十八茶”对应的对象图像162。

此外，在图28中，例如，当不显示三角形时，由于通过用户的操纵指示了与用户想要拥有的对象“十八茶”对应的对象图像162，所以在显示屏21a上显示由粗线矩形包围并且由三角形指示的对象图像162。

此外，例如，如果在图29所示出的显示屏21a上显示了指示与对象图像181至对象图像187中的对象图像182对应的对象“ABC茶”的三角形，那么可以预测机器人22带着对象“ABC茶”返回。

如果用户想要拥有对象“S茶”而不是对象“ABC茶”，那么用户操纵指令设备21的操纵单元41来指示机器人22拿起与对象图像184对应的对象“S茶”而不是对象“ABC茶”。

也就是说，例如，如图30所示，用户可以使用指针（箭头）来指定显示屏21a上的对象图像184以指示机器人22拿起与对象图像184对应的对象“S茶”。

结果是，在显示屏21a上，显示了指示与对象图像184对应的对象“S茶”的三角形（图30），而不是指示与对象图像182对应的对象“ABC茶”的三角形（图29）。

<3.第二实施方式>

<当观看显示屏21a的用户指示机器人22时的示例>

接着，图31至图38示出了用户通过操纵指令设备21的操纵单元41来进行用于指令机器人22的反馈操作的示例。

图31示出了用户通过参照指令设备21的显示屏21a使用指令设备21的操纵单元41来进行反馈操作的示例。

在图31中，示出了显示在显示屏21a上的对象图像201至对象图像204。此外，通过表明机器人22将对象识别“为目标”的矩形来包围对象图像201至对象图像202。

此外，照原样显示对象图像203，针对对象“C汽水汁”机器人22的识别状态是“还不确定”。此外，将表明机器人22的识别状态是“该对象不是目标”的阴影线添加到对象图像204。

例如，用户可以使用指令设备21的操纵单元41来进行如由箭头221所示的那样将由对象图像203指示的对象“C汽水汁”的识别状态从“还不确定”改变成“这是目标”的反馈操作。

此外，例如，用户可以使用指令设备21的操纵单元41来进行如由箭头222所示的那样将由对象图像202指示的对象“十八茶”的识别状态从“这是目标”改变成“这不是目标”的反馈操作。

控制单元42根据与反馈操作对应的来自操纵单元41的操纵信号来生成对应的反馈信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息提供给机器人22。

机器人22基于来自通信单元44的反馈信息重新计算对象的得分并且基于从结果所获得的得分来改变对象的识别状态。

接着，图32示出了机器人22的控制单元66根据来自指令设备21的反馈信息来改变对象的识别状态的示例。

例如，在指令设备21中，如果用户使用操纵单元41来进行反馈操作，那么操纵单元41将与反馈操作对应的操纵信号提供给控制单元42。

控制单元42基于来自操纵单元41的操纵信号生成反馈信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息传送给机器人22。

在这种情况下，如图31所示，例如，认为用户使用指令设备21的操纵单元41来进行如由箭头221所示的那样将由对象图像203指示的对象“C汽水汁”的识别状态从“还不确定”改变成“这是目标”的反馈操作。

在这种情况下，在机器人22中，控制单元66基于从指令设备21的通信单元44通过通信单元61提供的反馈信息来重新计算对象“C汽水汁”的得分。

结果，控制单元66基于通过重新计算所获得的新得分来如由箭头2211所示的那样将对象“C汽水汁”的识别状态从“还不确定”确定（改变）成“这是目标”。

此外，当进行将对象的识别状态从“这可能是目标”改变成“这是目标”的反馈操作作为反馈操作时，控制单元66进行下述处理。也就是说，例如，控制单元66基于来自通信单元61的反馈信息如由箭头2212所示的那样将对象的识别状态从“这可能是目标”确定成“这是目标”。

此外，当进行将对象的识别状态从“这不是目标”改变成“这是目标”的反馈操作作为反馈操作时，控制单元66进行下述处理。也就是说，例如，控制单元66基于来自通信单元61的反馈信息如由箭头2213所示的那样将对象的识别状态从“这不是目标”确定成“这是目标”。

此外，例如，如图31所示，认为用户使用指令设备21的操纵单元41来进行如由箭头222所示的那样将由对象图像202指示的对象“十八茶”的识别状态从“这是目标”改变成“这不是目标”的反馈操作。

在这种情况下，如图32所示，控制单元66基于来自通信单元61的反馈信息如由箭头222所示的那样将对象“十八茶”的识别状态从“这是目标”确定成“这不是目标”。

<反馈操作的示例>

接着，将参照图33至图38描述用户通过参照指令设备21的显示屏21a进行反馈操作的示例。

在指令设备21中，控制单元42基于从机器人22通过通信单元44提供的机器人识别信息使得能够如图33所示的那样将包括例如对象图像241至对象图像244的机器人识别图像显示在显示单元43的显示屏21a上。

此外，当机器人22将由对象图像242指示的对象“运动饮料”识别“为目标”时，控制单元42基于从机器人22通过通信单元44传送的机器人识别信息使得能够将机器人识别图像显示在显示屏21a上。

结果，如图34所示，在显示屏21a上显示包括对象图像241至对象图像244的机器人识别图像。

在图34示出的显示屏21a上，预测机器人22将不同于用户想要拥有的对象“十八茶”（由对象图像245指示的对象）的对象“运动饮料”（由对象图像242指示的对象）识别为目标。

此外，当机器人22行动来拿起对象“运动饮料”作为目标时，控制单元42基于从机器人22通过通信单元44传送的机器人识别信息使得能够将机器人识别图像显示在显示屏21a上。

结果，如图35所示，显示屏21a显示添加有表明机器人22拿起对象“运动饮料”作为目标的三角形的对象图像242。

在这种情况下，如图35所示，用户使用指令设备21的操纵单元41来进行指示对象“运动饮料”不是目标的反馈操作。在这种情况下，操纵单元41将与用户的反馈操作对应的操纵信号提供给控制单元42。

控制单元42基于来自操纵单元41的操纵信号生成反馈信息并将该信息提供给通信单元44。通信单元44将来自控制单元42的反馈信息传送给机器人22。在这种情况下，例如，机器人22（控制单元66）基于来自通信单元44的反馈信息重新计算对象“运动饮料”的得分。

结果，对象“运动饮料”的得分低于例如对象“十八茶”的得分，并且机器人行动来拿起对象“十八茶”作为目标。此外，机器人基于所重新计算的得分将对象“运动饮料”的识别状态从“这是目标”改变成“这不是目标”。

在这种情况下，在指令设备21中，控制单元42基于从机器人22通过通信单元44传送的机器人识别信息使得能够将机器人识别图像显示在显示屏21a上。此外，机器人识别信息至少包括根据用户的反馈操作基于反馈信息所重新计算的得分。

结果，如图36所示，显示屏21a显示添加有表明机器人拿起对象“十八茶”作为目标的三角形的对象图像245。

此外，例如，除表明对象“运动饮料”不是目标的反馈操作之外，用户可以进行如图37所示的表明对象“十八茶”是目标的反馈操作。

在这种情况下，例如，机器人22（控制单元66）基于来自通信单元44的反馈信息重新计算对象“十八茶”的得分。结果，对象“十八茶”的得分高于例如对象“运动饮料”的得分并且机器人行动来拿起对象“十八茶”作为目标。

另一方面，指令设备21的控制单元42基于从机器人22通过通信单元44传送的机器人识别信息使得能够将机器人识别图像显示在显示屏21a上。

结果，如图38所示，显示屏21a显示添加有表明机器人拿起对象“十八茶”作为目标的三角形的对象图像245。

此外，例如，如果通过反馈操作表明对象不是目标，那么认为用户使用操纵单元41来指定不是目标的对象（其对象图像）并且将所指定的对象作为目标。

在这种情况下，控制单元42生成表明由用户指定的对象不是目标的反馈信息。

此外，例如，如果通过反馈操作表明对象不是目标，那么认为用户使用操纵单元41来指定作为目标的对象（其对象图像），并且将没有指定的对象作为不是目标的对象。

在这种情况下，控制单元42生成表明没有被用户指定的对象不是目标的反馈信息。

此外，可以通过使用边框包围想要指定的显示屏21a上的对象来对对象进行指定。此外，当操纵单元41包括鼠标时，用户将光标等移动到要指定的显示屏21a上的对象并且点击鼠标的左按钮（单击或双击）来对对象进行指定。

此外，如果指令设备21是个人计算机，并且设置控制键和换挡键作为操纵单元41，那么控制键和换挡键一起使用来点击左按钮以指定多个对象。

此外，例如，在指定对象之后，用户可以通过点击鼠标的右按钮来选择所显示的选项“这是目标”、“这不是目标”等中的选项“这不是目标”，并且进行表明所指定的对象不是目标的反馈操作。

此外，例如，用户可以用鼠标的左按钮再次点击所指定的对象以取消对对象的指定。此外，例如，用户可以通过点击左按钮来选择对象以进行使显示屏21a的边框外部的对象倾倒的倾倒操作作为表明对象“不是目标”的反馈操作。

例如，在操纵单元41包括“Enter（回车）”键的情况下，可以采用在指定对象时按压“Enter”键的按压操作作为表明所指定的对象是目标的反馈操作。

此外，例如，在操纵单元41包括“Delete（删除）”键的情况下，可以采用在指定对象时按压“Delete”键的按压操作作为表明所指定的对象不是目标的反馈操作。

此外，例如，在操纵单元41包括“Tab（跳格）”键的情况下，每当用户按压“Tab”键时，可以移动在显示屏21a上显示的焦点。

这同样适用于其中进行表明所指定的对象是目标的反馈操作的情况。

<关于由指令设备21进行的反馈处理>

接着，将参照图39的流程图来描述由指令设备21进行的反馈处理。

此外，例如，当接通指令设备21的电源时反馈处理开始。此外，将对象图像显示在显示屏21a上。

在步骤S61中，控制单元42基于是否已经从操纵单元41提供了与反馈操作对应的操纵信号来判断是否已经由用户进行了反馈操作。控制单元42重复步骤S61的处理直到判断已经由用户进行了反馈操作为止。

在步骤S61中，如果基于是否已经提供了与反馈操作对应的操纵信号而判断已经由用户进行了反馈操作，那么控制单元42使处理前进到步骤S62。

在步骤S62中，控制单元42基于用户的反馈操作生成反馈信息，并将该信息提供给通信单元44。

在步骤S63中，通信单元44使用无线通信等将来自控制单元42的反馈信息传送给机器人22并且将处理返回到步骤S61，并且然后重复相同的处理。注意，例如，当断开指令设备21的电源时反馈处理结束。

如上所述，根据反馈处理，按照用户的反馈操作，可以表明显示在显示屏21a上的对象是目标。

因此，例如，如果机器人22将不是目标的对象识别为目标，那么可以使用指令设备21反馈给机器人22该对象不是目标。

<关于由机器人22进行的得分重新计算处理>

接着，将参照图40的流程图来描述由机器人22进行的得分重新计算处理。

例如，当接通机器人22的电源时得分重新计算处理开始。

在步骤S81中，通信单元61重复步骤S81的处理直到接收到来自指令设备21的反馈信息为止。在步骤S81中，当通信单元61接收来自指令设备21的反馈信息时，通信单元61将所接收的反馈信息提供给控制单元66并且使处理前进到步骤S82。

在步骤S82中，控制单元66基于来自通信单元61的反馈信息重新计算对象的得分并且使处理前进到步骤S83。

在步骤S83中，控制单元66基于所重新计算的得分来生成机器人识别信息并将该信息提供给通信单元61，并且使处理前进到步骤S84。

在步骤S84中，通信单元61使用无线通信等将来自控制单元66的机器人识别信息传送给指令设备21并将处理返回到步骤S81，然后重复相同的处理。此外，例如，当断开机器人22的电源时得分重新计算处理结束。

如上所述，根据得分重新计算处理，基于来自指令设备21的反馈信息重新计算得分，以使得可以计算来自用户的反馈反映到的得分。

<第二实施方式的修改示例>

在第二实施方式中，用户参照显示屏21a进行表明预定对象是目标或不是目标的反馈操作。然而，用户的反馈操作不限于此。

也就是说，例如，如图41所示，当对象261至对象263显示在显示屏21a上作为一个对象时，机器人22将对象261至对象263识别为一个对象。

在这种情况下，例如，用户可以使用指令设备21的操纵单元41来进行对一个对象显示在其上的区域进行指定的反馈操作并且使得机器人22能够将对象261至对象263识别为一个对象。

此外，例如，如果操纵单元41包括鼠标，那么使用鼠标来进行对一个对象显示在其上的区域进行指定的反馈操作以对一个对象显示在其上的区域进行指定，并且通过点击右按钮来选择要显示的选项“分离”。

然后，当从操纵单元41提供与反馈操作对应的操纵信号时，控制单元42生成反馈信息并将该信息提供给通信单元44。通信单元44通过无线通信等将来自控制单元42的反馈信息传送给机器人22。

在机器人22中，通信单元61将来自通信单元44的反馈信息提供给控制单元66。控制单元66基于来自通信单元61的反馈信息将已经被识别为一个对象的对象261至对象263中的每个对象识别为一个对象261、一个对象262或一个对象263。

此外，控制单元66计算每个被识别为一个对象的对象261、对象262以及对象263的得分并且基于计算结果生成机器人识别信息，并通过通信单元61将该信息传送给指令设备21。

在指令设备21中，控制单元42基于从机器人22的通信单元61通过通信单元44传送的机器人识别信息使得能够将如图42所示的机器人识别图像显示在显示单元43的显示屏21a上。

此外，例如，在应该被识别为一个对象的某物（例如，同时使用的一套刀、叉及勺子）被分离并且被显示在显示屏21a上作为多个对象时，例如，用户可以使用指令设备21的操纵单元41来进行对包括被分离并且被显示的多个对象的区域进行指定的反馈操作，以使得机器人22能够将被分离并且被显示的多个对象识别为一个对象。

此外，当操纵单元41包括鼠标时，例如，对包括被分离并且被显示的多个对象的区域进行指定的反馈操作使用鼠标来对对象显示在其上的区域进行指定以通过点击右按钮来选择所显示的选项“合并”。

注意，例如，在第二实施方式中，对显示在显示屏21a上的对象进行反馈操作。

然而，例如，当控制单元66没有检测出捕获图像上的对象时，机器人22可以通过对包括捕获图像上的未检测的对象的区域进行指定的区域指定操作将未检测的对象检测（识别）为对象。

结果，如图43所示，机器人22检测未感测（检测的）的对象并且将所检测的对象的识别状态从“未检测”确定成“还不确定”。

也就是说，例如，用户可以使用指令设备21的操纵单元41来进行指定机器人22对对象进行搜索的搜索范围的区域指定操作以使得机器人22能够在搜索范围内对对象进行搜索。

<5.第三实施方式>

接着，图44示出了其中使用捕获图像来指定搜索范围的示例。

例如，当如图44A所示的环境图像31包括在机器人识别信息中作为捕获图像时，指令设备21的控制单元42基于机器人识别信息使得能够将环境图像31显示在显示屏21a上。

在这种情况下，如图44A所示，用户可以使用指令设备21的操纵单元41来进行区域指定操作，该区域指定操作将显示在显示屏21a上的环境图像31上的部分区域281指定为与其中搜索目标的搜索范围对应的区域。

结果，操纵单元41将与用户的区域指定操作对应的操纵信号提供给控制单元42。

控制单元42根据来自操纵单元41的操纵信号来生成指示在环境图像31上的所有区域中通过用户的区域指定操作指定的部分区域281的指定范围信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的指定范围信息传送给机器人22。

另一方面，机器人22的通信单元61从指令设备21的通信单元44接收指定范围信息并将该信息提供给控制单元66。控制单元66基于来自通信单元61的指定范围信息来检测存储在存储单元68中的环境图像31上的部分区域281。

然后，控制单元66从存储单元68读取与部分区域281上的对象相关联的多个三维位置，并且基于多个所读取的三维位置来计算（指定）用于搜索目标的搜索范围。

此外，控制单元66计算搜索范围的计算方法不限于此。也就是说，例如，即使三维位置不与部分区域281相关联，控制单元66也可以根据部分区域281或指示相机62的有效视角、有效像素数、位置以及定向的参数来计算搜索范围。

在这种情况下，当通过在相机62对图像进行捕获以使得与环境图像31相关联时进行捕获而获得环境图像31时，由控制单元66将指示在捕获定时处相机62的位置和定向的第一参数连同捕获定时一起存储在存储单元68中。此外，预先将指示相机62的有效视角和有效像素数的第二参数存储在存储单元68中。

也就是说，例如，控制单元66从存储单元68读取指示在通过捕获而获得环境图像31时的捕获定时处相机62的位置和定向的第一参数以及指示相机62的有效视角和有效像素数的第二参数。

然后，控制单元66使用第一参数和第二参数来指定与部分区域281对应的在三维观看范围中被捕获作为部分区域281的真实空间上的区域，也就是说，在捕获定时处，根据占据环境图像31的部分区域281。

此外，在观看范围中采用其中机器人22可以移动的区域作为搜索范围。

控制单元66控制驱动单元67以驱动与机器人22的手或脚对应的部分，并进行用于在所计算的搜索范围内搜索目标的操作。

此外，例如，当机器人识别信息包括如图44B所示的部分图像35时，指令设备21的控制单元42基于机器人识别信息将部分图像35显示在显示屏21a上。

在这种情况下，用户可以操纵指令设备21的操纵单元41来进行指定部分图像35上的部分区域282的区域指定操作，以使得能够检测显示在显示屏21a上的部分图像35上的对象“苹果汁”。

结果，机器人22进行在与部分图像35上的部分区域282对应的搜索范围内搜索目标的操作。因此，机器人22可以检测对象“苹果汁”。

此外，例如，可以采用当在较近范围内对通过用户的区域指定操作指定的区域进行捕获时而获得的捕获图像或者通过在过去进行捕获而获得的捕获图像的部分图像作为部分图像35。

接着，图45示出了其中使用房间的空间图来指定搜索范围的示例。

例如，当机器人识别信息包括如图45所示的空间图像301（指示房间的空间图的图像）时，指令设备21的控制单元42基于机器人识别信息将空间图像301显示在显示屏21a上。此外，如果将存储单元45配置为预先存储空间图像301，那么控制单元42从存储单元45读取空间图像301并将该图像显示在显示屏21a上。

在这种情况下，用户可以操纵指令设备21的操纵单元41来进行将显示在显示屏21a上的空间图像301上的部分区域321指定为搜索范围的区域指定操作。

结果，操纵单元41根据用户的区域指定操作将对应的操纵信号提供给控制单元42。

控制单元42根据来自操纵单元41的操纵信号来生成指示在空间图像301上所有区域中通过用户的区域指定操作指定的部分区域321的指定范围信息，并将该信息提供给通信单元44。通信单元44将来自控制单元42的指定范围信息传送给机器人22。此外，指定范围信息可以用作为指定（估计出）机器人22搜索目标的搜索范围的特定信息。

另一方面，机器人22的通信单元61从指令设备21的通信单元44接收指定范围信息，并将该信息提供给控制单元66。控制单元66基于来自通信单元61的指定范围信息来检测存储在存储单元68中的空间图像301上的部分区域321。

然后，控制单元66从存储单元68读取与配置部分区域321的子区域相关联的多个三维位置，并且基于多个所读取的三维位置来计算搜索范围。

控制单元66控制驱动单元67来驱动与机器人22的手或脚对应的部分，以进行用于在所计算的搜索范围内搜索目标的操作。此外，控制单元66进行用于基于来自通信单元61的指令信息在搜索范围内搜索属于由包括在指令信息中的类别信息指示的类别的对象作为目标的操作。此外，例如，当控制单元66不从指令设备21通过通信单元61接收指令信息时，控制单元66使得机器人能够自主地确定目标以进行在搜索范围内进行搜索的操作。

结果，机器人22进行在与空间图像301上的部分区域321对应的搜索范围内搜索目标的操作。

此外，如果在显示屏21a上显示空间图像301，那么当用户使用操纵单元41例如以在空间图像301上所有区域中选择部分区域322时，可以将通过在部分区域322中进行捕获而获得的捕获图像341显示在显示屏21a上。

也就是说，例如，在指令设备21中，控制单元42将从机器人22通过通信单元44传送的机器人识别信息提供给存储单元45以存储在存储单元45中。

因此，将捕获图像341连同如图45所示的空间图像301一起存储在存储单元45中以使得与空间图像301上的部分区域322相关联。

因此，当用户选择部分区域322时，控制单元42从存储单元45读取与由用户选择的部分区域322对应的捕获图像341，并如图45所示的那样将该图像显示在显示屏21a上。

然后，用户可以使用操纵单元41来进行用于以与图44B所示的方式相同的方式对于显示在显示屏21a上的捕获图像341指定捕获图像341上的部分区域361的区域指定操作。

结果，机器人22进行用于在与捕获图像341上的部分区域361对应的搜索范围内搜索目标的操作。

此外，在包括在机器人识别信息中的状态下将捕获图像341从机器人22传送给指令设备21。

然而，从机器人22传送给指令设备21的机器人识别信息的数据的量优选为小的，以避免无线通信等中的数据的收敛。

因此，例如，当机器人22传送被包括在机器人识别信息中的捕获图像341时，可以传送通过减少图46B所示出的高质量捕获图像341的数据的量而获得的如图46A所示的低质量捕获图像341'。此外，捕获图像341'不用于由用户指定区域，而是在例如当在显示屏21a上显示对象“苹果汁”的对象图像时使用。此外，优选地，照原样传送用于由用户指定区域的捕获图像作为高质量图像并将该图像显示在显示屏21a上。

由于在捕获图像341'上的所有区域中将其中捕获对象（“苹果汁”的PET瓶）的区域381用作为对象图像，所以捕获图像341'变成高质量图像并且不同于捕获图像341'的其他区域（由阴影线指示的部分）变成低质量图像。

也就是说，例如，部分区域381变成高分辨率区域或者颜色区域而不同于部分区域381的而其他区域变成低分辨率区域或单色区域。

<关于由指令设备21进行的区域指定处理>

接着，将参照图47的流程图来描述由指令设备21进行的区域指定处理。

在步骤S101中，通信单元44从机器人22接收机器人识别信息并将该信息提供给控制单元42。此外，例如，机器人识别信息包括环境图像31作为捕获图像。

在步骤S102中，控制单元42将包括在来自通信单元44的机器人识别信息中的环境图像31提供给显示单元43以在显示单元43的显示屏21a上显示。

在步骤S103中，控制单元42根据是否已经从操纵单元41提供了与用户的区域指定操作对应的操纵信号来判断是否已经由用户进行了区域指定操作。此外，例如，区域指定操作指的是在显示在显示屏21a上的环境图像31上的所有区域中指定预定部分区域281的操作。

在步骤S103中，控制单元42重复步骤S103的处理直到根据来自操纵单元41的操纵信号判断已经进行了用户的区域指定操作为止。

在步骤S103中，当判断已经进行了用户的区域指定操作时，控制单元42使处理前进到步骤S104。在这种情况下，将与用户的区域指定操作对应的操纵信号从操纵单元41提供给控制单元42。

在步骤S104中，控制单元42根据来自操纵单元41的操纵信号来生成指示由区域指定操作指定的环境图像31上的部分区域281的指定范围信息，并将该信息提供给通信单元44。此外，将指定范围信息用作为特定信息以指定（估计出）机器人22搜索目标的搜索范围。

在步骤S105中，通信单元44使用无线通信等将来自控制单元42的指定范围信息提供给机器人22，并使得机器人22能够在搜索范围内进行搜索。通过如上述那样做，区域指定处理结束。

如上所述，根据区域指定处理，可以通过用户的区域指定操作来指定其中机器人22搜索目标的搜索范围。因此，例如，可以使得机器人22能够在用户期望的范围内搜索目标。

具体地，例如，通过用户的区域指定操作将至少包括没有被机器人22检测的对象的范围指定为搜索范围，可以使得机器人22能够搜索未检测的对象。

<关于由机器人22进行的搜索处理>

接着，将参照图48的流程图来描述由机器人22进行的搜索处理。

在步骤S121中，通信单元61从指令设备21的通信单元44接收指定范围信息，并将该信息提供给控制单元66。可以将步骤S121连同下文将描述的步骤S122和步骤S123一起进行。也就是说，例如，通信单元61可以在进行步骤S122或步骤S122的处理的同时从指令设备21的通信单元44接收指定范围信息。

在步骤S122中，控制单元66基于来自通信单元61的指定范围信息来检测存储在存储单元68中的环境图像31上的部分区域281。

然后，控制单元66从存储单元68读取与配置部分区域281的子区域相关联的多个三维位置，并且基于多个所读取的三维位置来计算（指定）搜索范围。

在步骤S123中，控制单元66对驱动单元67进行驱动以使得机器人22能够在所计算的搜索范围内搜索目标。此外，例如，控制单元66基于来自通信单元61的指令信息将属于由包括在指令信息中的类别信息指示的类别的对象作为目标。通过如上述那样做，搜索处理结束。

如上所述，在搜索处理中，在通过用户的区域指定操作指定的搜索范围内搜索目标。

因此，例如，当通过用户的区域指定操作将至少包括没有被机器人22检测的对象的范围指定为搜索范围时，机器人22可以对未检测的对象进行检测。

此外，由于难以指定没有被机器人22检测的对象，所以搜索范围不是由对象自身而是由用户的区域指定操作指定的。

因此，用户可以通过指定包括没有被机器人22检测的对象的搜索范围来使得机器人22能够对指定搜索范围进行搜索以对未检测的对象进行检测。

此外，在区域指定处理的步骤S103中，例如，用户在显示在显示屏21a上的环境图像31上的所有区域中指定预定部分区域281以指定搜索范围。然而，指定搜索范围的方法不限于此。

也就是说，例如，在指令设备21可以根据通过对用户进行捕获而获得的捕获图像来识别用户的手势或姿势（在下文中，称为手势等）的情况下，用户可以通过手势等指定搜索范围。

此外，例如，如果指令设备21可以识别语音，那么用户可以通过语音来指定搜索范围。在这种情况下，例如，用户可以通过说出“厨房”或“我的房间”作为搜索范围来指定搜索范围。

在这种情况下，例如，用户可以通过语音、手势等来将对象的类别指定（指示）为目标。结果，在指令设备21中，生成了包括指示由用户指定的类别的类别信息的指令信息。

此外，例如，在机器人22可以根据通过对用户进行捕获而获得的捕获图像来识别手势等的情况下，用户可以通过手势等对于机器人22直接指定搜索范围。

在这种情况下，例如，控制单元66基于来自相机62的捕获图像来识别用户的手势并且获得（生成）识别结果作为用于指定搜索范围的特定信息。然后，控制单元66使用所获得的特定信息来指定搜索范围并且控制驱动单元67以使得机器人22能够在所指定的搜索范围内搜索对象。

此外，例如，在机器人22可以识别语音的情况下，用户可以通过语音对于机器人22直接指定搜索范围。

在这种情况下，例如，控制单元66基于由麦克风64输入的用户的语音来识别用户的语音并且获得（生成）识别结果作为特定信息。然后，控制单元66使用所获得的特定信息来指定搜索范围并且控制驱动单元67以使得机器人22能够在所指定的搜索范围内搜索对象。

在这种情况下，另外，例如，用户可以通过语音、手势等来对于机器人22直接将对象的类别指定（指示）为目标。

结果，在控制单元66中，生成了包括指示由用户指定的类别的类别信息的指令信息，并且机器人22搜索属于由包括在所生成的指令信息中的类别信息指示的类别的对象作为目标。

例如，可以使用个人计算机作为指令设备21。

此外，本技术可具有下述配置。

（1）一种用于自主式机器人的控制系统，包括：

接口，所述接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

显示控制单元，所述显示控制单元使显示图像被显示在候选目标对象的显示器上，其中，

所述候选目标对象与相关联的目标对象得分的指示一起被显示。

（2）根据（1）所述的控制系统，其中，

所述显示图像包括包括房间的俯视空间图，所述俯视空间图含有所述自主式机器人的位置和所述候选目标对象的相应位置。

（3）根据（1）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人基于到各个所述候选目标对象的距离在所述识别信息中包括所述候选目标对象。

（4）根据（1）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人在所述识别信息中包括针对所述候选目标对象中的各个候选目标对象的得分。

（5）根据（4）所述的控制系统，其中，所述自主式机器人在所述识别信息中包括按照得分的顺序布置的所述候选目标图像的对象图像。

（6）根据（2）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人在所述识别信息中包括关于所述房间的空间图的空间信息以及所述候选目标对象的对象图像。

（7）根据（1）所述的控制系统，还包括：

控制单元，所述控制单元接收用户输入并且生成针对所述自主式机器人的命令，所述命令将与对所述候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给所述自主式机器人。

（8）根据（7）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人被配置成标识非目标对象。

（9）根据（7）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人被配置成标识对所述候选目标对象中的一个或更多个候选目标对象的默认选择。

（10）根据（1）所述的控制系统，还包括：

包括所述接口和所述显示控制单元的平板计算机和智能电话中的至少一个。

（11）根据（1）所述的控制系统，还包括：

计分机构，所述计分机构标识针对所述候选目标对象的各个得分。

（12）根据（1）所述的控制系统，其中，

所述接口被配置成接收目标对象的类别作为输入，并且将对目标对象的所述类别的指示传送给所述自主式机器人，以及

所述自主式机器人被配置成在场景内标识所述类别中的一个或更多个目标对象。

（13）根据（1）所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人针对候选目标对象分配程度信息，所述程度信息是对所述类别中的各个目标对象的正确检测的可能性的指示。

（14）根据（1）所述的控制系统，其中，

所述接口被配置成接收语音输入命令或手势输入命令。

（15）根据（11）所述的控制系统，还包括：

显示器，所述显示器显示由所述自主式机器人标识的候选目标对象以及经由所述通信接口发送的用于辅助控制所述自主式机器人的用户反馈。

（16）一种用于自主式机器人的控制方法，包括：

通过接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

将显示图像显示在候选目标对象的显示器上，其中，

所述候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

（17）根据（16）所述的方法，其中，

所述显示包括对房间的俯视空间图进行显示，所述俯视空间图包括所述自主式机器人的位置和所述候选目标对象的相应位置。

（18）根据（16）所述的方法，还包括：

接收用户输入并且生成针对所述自主式机器人的命令，所述命令将与对所述候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给所述自主式机器人。

（19）根据（16）所述的方法，还包括：

接收语音输入命令或手势输入命令。

（20）一种非暂态计算机可读存储介质，其中存储有指令，所述指令当由处理电路执行时执行用于自主式机器人的控制方法，所述控制方法包括：

通过接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

将显示图像显示在候选目标对象的显示器上，其中，

所述候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

注意，可以由硬件或软件来执行上述一系列处理。如果由软件来执行一系列处理，那么配置软件的程序可以安装在嵌入到专用硬件中的计算机中或者可以通过从程序记录介质安装各种程序来执行各种功能的通用计算机中。关于用于执行程序的处理器，处理器电路可以是一起工作或单独工作的一个或更多个处理器（包括CPU、ASIC以及PAL等）。

<计算机的配置示例>

图49是示出了通过程序来执行上述一系列处理的计算机的硬件的配置示例的框图。

CPU（中央处理单元）501根据存储在ROM（只读存储器）502或存储单元508中的程序来执行各种处理。由CPU501执行的程序或数据适当地存储在RAM（随机存取存储器）503中。CPU501、ROM502和RAM503通过总线504彼此连接。

输入/输出接口505通过总线504连接到CPU501。包括键盘、鼠标和麦克风的输入单元506以及包括显示器和扬声器的输出单元507连接到输入/输出接口505。CPU501根据从输入单元506输入的命令来执行各种处理。此后，CPU501将处理结果输出到输出单元507。

连接到输入/输出接口505的存储单元508包括例如硬盘，并且存储要由CPU501执行的程序或各种数据。通信单元509通过网络例如因特网或局域网与外部设备进行通信。

此外，可以通过通信单元509获得程序并且然后将程序存储在存储单元508中。

在安装了可移除介质511例如磁盘、光盘、磁光盘或半导体存储器的情况下，连接到输入/输出接口505的驱动器510对可移除介质进行驱动并且获得在可移除介质中所记录的程序或数据。如果需要，可以将所获得的程序或数据传送给存储单元508并且存储在存储单元508中。

如图49所示，记录（存储）被安装在计算机中并且处于由计算机可执行的状态的程序的记录介质可以包括作为包括磁盘（包括软盘）、光盘（包括CD-ROM（光盘只读存储器）和DVD（数字通用光盘））、磁光盘（包括MD（小型盘））或半导体存储器的封装介质的可移除介质511，以及暂时地或永久地存储对存储单元508进行配置的程序或硬盘的ROM502。如果需要，可以通过通信单元509将程序记录在记录介质中，其中，通信单元509是使用有线通信介质或无线通信介质例如局域网、因特网或数字卫星广播的接口例如路由器或调制解调器。

此外，在本说明书中，可以按照所述顺序来顺序地进行公开上述一系列处理的步骤。然而，可以不顺序地进行这些步骤，而是可以并行或单独地进行这些步骤。

此外，在本说明书中，系统指的是包括多个设备的整个装置。

此外，本公开内容不限于第一实施方式至第三实施方式，而是在不偏离本公开内容的范围的情况下各种修改是可用的。

参考符号列表

1  机器人控制系统

21  指令设备

21a  显示屏

22  机器人

41  操纵单元

42  控制单元

43  显示单元

44  通信单元

45  存储单元

61  通信单元

62  相机

63  距离传感器

64  麦克风

65  扬声器

66  控制单元

67  驱动单元

68  存储单元

Claims (20)

1.一种用于自主式机器人的控制系统，包括：

接口，所述接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

显示控制单元，所述显示控制单元使显示图像被显示在候选目标对象的显示器上，其中，

所述候选目标对象与相关联的目标对象得分的指示一起被显示。

2.根据权利要求1所述的控制系统，其中，

所述显示图像包括包括房间的俯视空间图，所述俯视空间图含有所述自主式机器人的位置和所述候选目标对象的相应位置。

3.根据权利要求1所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人基于到各个所述候选目标对象的距离在所述识别信息中包括所述候选目标对象。

4.根据权利要求1所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人在所述识别信息中包括针对所述候选目标对象中的各个候选目标对象的得分。

5.根据权利要求4所述的控制系统，其中，所述自主式机器人在所述识别信息中包括按照得分的顺序布置的所述候选目标图像的对象图像。

6.根据权利要求2所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人在所述识别信息中包括关于所述房间的空间图的空间信息以及所述候选目标对象的对象图像。

7.根据权利要求1所述的控制系统，还包括：

控制单元，所述控制单元接收用户输入并且生成针对所述自主式机器人的命令，所述命令将与对所述候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给所述自主式机器人。

8.根据权利要求7所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人被配置成标识非目标对象。

9.根据权利要求7所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人被配置成标识对所述候选目标对象中的一个或更多个候选目标对象的默认选择。

10.根据权利要求1所述的控制系统，还包括：

包括所述接口和所述显示控制单元的平板计算机和智能电话中的至少一个。

11.根据权利要求1所述的控制系统，还包括：

计分机构，所述计分机构标识针对所述候选目标对象的各个得分。

12.根据权利要求1所述的控制系统，其中，

所述接口被配置成接收目标对象的类别作为输入，并且将对目标对象的所述类别的指示传送给所述自主式机器人，以及

所述自主式机器人被配置成在场景内标识所述类别中的一个或更多个目标对象。

13.根据权利要求1所述的控制系统，还包括：

所述自主式机器人，其中，所述自主式机器人针对候选目标对象分配程度信息，所述程度信息是对所述类别中的各个目标对象的正确检测的可能性的指示。

14.根据权利要求1所述的控制系统，其中，

所述接口被配置成接收语音输入命令或手势输入命令。

15.根据权利要求11所述的控制系统，还包括：

显示器，所述显示器显示由所述自主式机器人标识的候选目标对象以及经由所述通信接口发送的用于辅助控制所述自主式机器人的用户反馈。

16.一种用于自主式机器人的控制方法，包括：

通过接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

将显示图像显示在候选目标对象的显示器上，其中，

所述候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

17.根据权利要求16所述的方法，其中，

所述显示包括对房间的俯视空间图进行显示，所述俯视空间图包括所述自主式机器人的位置和所述候选目标对象的相应位置。

18.根据权利要求16所述的方法，还包括：

接收用户输入并且生成针对所述自主式机器人的命令，所述命令将与对所述候选目标对象中的一个或更多个候选目标对象的用户选择有关的用户反馈提供给所述自主式机器人。

19.根据权利要求16所述的方法，还包括：

接收语音输入命令或手势输入命令。

20.一种非暂态计算机可读存储介质，其中存储有指令，所述指令当由处理电路执行时执行用于自主式机器人的控制方法，所述控制方法包括：

通过接口从所述自主式机器人接收识别信息，所述识别信息包括与所述自主式机器人进行交互的候选目标对象；以及

将显示图像显示在候选目标对象的显示器上，其中，

所述候选目标对象中的至少两个候选目标对象与相关联的目标对象得分的指示一起被显示。

Images