CN117120952A - 显示装置、通信系统、显示控制方法、以及记录介质 - Google Patents

Abstract

一种显示装置(400)包括:接收单元，接收多个捕获图像(415a‑415f)；显示控制单元，在显示器上显示所述多个捕获图像,以供用户选择(420)，作为移动设备的移动目的地的候选；操作输入单元，接收从正在显示的所述多个捕获图像中对一个或多个捕获图像的选择；自主移动请求生成器，生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及发送单元，发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

Description

显示装置、通信系统、显示控制方法、以及记录介质

技术领域

本公开涉及一种显示装置、通信系统、显示控制方法和记录介质。

背景技术

能够自主地移动的机器人可以设置在工厂、仓库等现场。这种自主机器人用作例如检查机器人或服务机器人，并且可以代替工作人员在现场执行诸如设备的检查的任务。

例如，自主机器人移动到由操作者使用位置信息或移动目的地的名称指定的移动目的地。例如，PTL 1公开了自主地移动到使用由用户选择的位置信息指定的移动目的地的自主机器人。

引文列表

专利文献

【PTL 1】日本未审查专利申请No.2007-94743号

发明内容

技术问题

然而，根据传统方法，要求用户输入位置信息或诸如移动目的地的关键字的字符串。

解决问题的方案

示例实施例包括一种显示装置，其包括:

接收单元，配置为接收多个捕获图像；

显示控制单元，配置为在显示器上显示所述多个捕获图像以供用户选择，作为移动设备的移动目的地的候选；

操作输入单元，配置为接收从正在显示的所述多个捕获图像中对一个或多个捕获图像的选择；

自主移动请求生成器，配置为生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送单元，配置为发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

示例实施例包括通信系统，其包括:

根据上述显示装置；以及

移动设备，配置为根据来自所述显示装置的请求自主地移动。

示例实施例包括一种显示控制方法，其包括:

接收多个捕获图像；

在显示器上显示所述多个捕获图像以供用户选择，作为移动设备的移动目的地的候选；

从正在显示的所述多个捕获图像中接收对一个或多个捕获图像的选择；

生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

示例实施例包括一种记录介质,存储用于使计算机系统执行上述显示控制方法的计算机可读代码。

本发明的效果

根据一个或多个实施例，用户(操作者)选择移动设备的移动目的地时的可操作性得到提高。

附图说明

从以下参照附图的详细描述中，可以容易地获得和理解对实施例及其许多附带优点和特征的更完整理解。

[图1]

图1是表示根据实施例的通信系统的示例配置的图。

[图2]

图2是表示根据实施例的移动设备的配置的示意图。

[图3]

图3是表示图2的移动设备的硬件配置的示例图。

[图4]

图4是表示图1的通信系统的显示装置的硬件配置的示例图。

[图5]

图5是表示图1的通信系统的功能结构的一例的图。

[图6]

图6是表示目的地候选管理表的示例的概念图。

[图7]

图7是表示路径信息管理表的一例的概念图。

[图8]

图8是表示地图信息管理表的一例的概念图。

[图9]

图9是表示根据实施例的登记目的地候选的示例处理的时序图。

[图10]

图10是表示操作画面的一例的图。

[图11]

图11是表示根据实施例的执行移动设备的手动操作的示例处理的时序图。

[图12]

图12是表示根据实施例的基于移动设备的预定基准登记目的地候选的示例处理的流程图。

[图13]

图13是表示根据实施例的移动设备的发送目的地的设定处理的一例的时序图。

[图14]

图14是表示选择画面的一例的图。

[图15]

图15是表示选择画面的另一例的图。

[图16]

图16是表示根据实施例的移动设备的自主移动处理的一例的流程图。

[图17]

图17是表示移动设备自主移动时的操作画面的一例的图。

[图18]

图18是表示操作画面的一例的图。

[图19]

图19是表示选择画面的第一变形例的图。

[图20]

图20是表示选择画面的第二变形例的图。

[图21]

图21是表示选择画面的第三变形例的图。

[图22]

图22是表示选择画面的第四变形例的图。

[图23]

图23是表示选择画面的第五变形例的图。

[图24]

图24是表示根据实施例的第一变形例的通信系统的概略结构的一例的图。

[图25]

图25是表示根据实施例的第一变形例的通信系统的功能结构的一例的图。

[图26]

图26是表示根据实施例的第一变型例的登记目的地候选的示例处理的时序图。

[图27]

图27是表示根据实施例的第一变形例的移动设备的发送目的地的设定处理的一例的时序图。

[图28]

图28是表示根据实施例的第二变形例的通信系统的概略结构的一例的图。

[图29]

图29是表示根据实施例的第二变形例的移动设备的发送目的地的设定处理的一例的时序图。

[图30]

图30是表示根据实施例的第二变形例的图像检索画面的一例的图。

[图31]

图31是表示根据实施例的第二变形例的图28的通信系统的功能结构的一例的图。

[图32]

图32是表示根据实施例的移动设备10的移动路径的一例的示意图。

[图33]

图33是表示据点位置管理表的一例的概念图。

[图34]

图34是表示区域信息管理表的一例的概念图。

[图35]

图35是表示设定画面的一例的图。

附图旨在说明本发明的示例性实施例，不应解释为限制其范围。除非另有明确说明，否则不得将附图视为按比例绘制。此外，在若干视图中，相同或相似的参考数字表示相同或相似部件。

具体实施方式

在说明附图中所示的实施例时，为了清楚起见，使用了特定术语。然而，本说明书的发明不限于如此选择的特定术语，并且应当理解，每个特定元件包括具有类似功能、以类似方式操作并实现类似结果的所有技术等价物。

以下，参照附图对本发明的实施例进行说明。如本文所用，单数形式“一个”、“一种”和“该”也包括复数形式，除非上下文另有明确规定。

参照附图对本发明的实施例进行说明。在附图的说明中，对相同的要素标注相同的标号，并省略重复的说明。

系统配置

图1是表示根据实施例的通信系统1的概略结构的一例的图。图1所示的通信系统1具有移动设备10，该移动设备10由用户(也称为操作者)远程操作，以在特定据点从一个位置移动到另一位置。设置移动设备10的特定据点可以称为操作据点(operation site)。

具体而言，通信系统1具备位于操作据点的移动设备10和显示装置50。通信系统1中的移动设备10和显示装置50可通过通信网络100互相通信。通信网络100除了有线网络之外，还可以包括遵照诸如第三代(3G)、第四代(4G)、第五代(5G)、无线保真(Wi-Fi，注册商标)、全球微波互联接入(WiMAX)、长期演进技术(LTE)等的无线网络。

移动设备10是设置在操作据点并且自主地从操作据点的一个位置移动到另一个位置的机器人。例如，自主移动是使用过去的移动路径的模拟学习(机械学习)的结果，自主地在操作据点内移动的动作。自主移动可以是根据预先设定的移动路径自主地在操作据点内移动的动作，或者使用诸如线跟踪的技术自主地在操作据点内移动的动作。为了简单起见，将移动设备10通过自主移动而移动的模式称为自主移动模式。此外，移动设备10可以根据用户在远程位置的手动操作移动。为了简单起见，移动设备10通过用户的手动操作而移动的模式称为手动操作模式。例如，移动设备10能够一边切换自主移动模式和手动操作模式(用户的手动操作)，一边在操作据点进行移动。移动设备10可在操作据点内移动的同时执行预设任务，诸如检查、维护、运输或轻作业。在本公开中，移动设备10由机器人实现，诸如可以在自主移动模式和手动操作模式之间切换的进行动作的机器人。移动设备10的其他示例包括能够通过来自远程位置的用户操作在自动移动模式(自动驾驶)和手动操作模式(手动驾驶)之间切换的行驶的汽车。此外，移动设备10可以是诸如无人驾驶飞机、多旋翼飞行器或无人驾驶飞行体的飞行体。

设置移动设备10的操作据点例如是诸如商业据点、工厂、建筑据点、变电站、农场、田地、农田、耕地或灾害据点的室外据点，或者诸如办公室、学校、工厂、仓库、商业设施、医院或护理设施的室内据点。即，操作据点可以是需要使移动设备10执行以往由人手动执行的任务的任何位置。

显示装置50可以由诸如笔记本个人计算机(PC)的计算机实现，该计算机由位于与操作据点不同的控制据点的操作者(用户)操作，以对移动设备10执行预定操作。操作者经由在诸如办公室的控制据点(control site)的显示装置50上显示的操作画面指示移动设备10移动或执行预定任务。例如，操作者一边观察显示在显示装置50上的操作据点的图像，一边对移动设备10进行远程操作。

尽管图1表示了其中一个移动设备10和一个显示装置50经由通信网络100互相连接的示例，但是显示装置50可以连接到位于一个操作据点的多个移动设备10或者可连接到位于不同操作据点的多个移动设备10。此外，尽管图1表示了显示装置50位于远离设置移动设备10的操作据点的控制据点的示例情况，但是显示装置50也可以位于设置移动设备10的操作据点。此外，显示装置50不限于笔记本PC，也可以是例如台式PC、平板终端、智能电话、可穿戴终端等。

在操作者登记自主移动的移动设备的移动目的地的情况下，操作者通常使用表示移动目的地的名称的字符串或移动目的地的位置信息来登记移动目的地。在一些情况下，操作者将难以使用所登记的字符串来选择期望的移动目的地，诸如期望的移动目的地。例如，登记移动目的地的候选对象的人可能不同于从移动目的地的候选对象中选择移动目的地的人。在这种情况下，选择移动目的地的人不知道所期望的移动目的地的登记字符串。

在以下的一个实施例中，在移动设备10移动的情况下，搭载于移动设备10的图像捕获装置12一边取得移动设备10的位置信息，一边捕获移动设备10的周围。然后，将所捕获的图像登记为移动设备10的移动目的地(例如，移动目的地)的候选。在通信系统1中，显示装置50显示捕获图像作为移动目的地的候选，并且允许操作者使用所显示的捕获图像来选择移动设备10的一个或多个移动目的地。利用通信系统1的上述配置，提高了用户(操作者)在选择移动设备10的移动目的地时的可操作性。

在一个实施例中，移动设备10可基于是否满足至少一个预定基准的判断控制图像捕获装置12自动地捕获移动设备10的周围环境。预定基准可以基于移动设备10的移动状态。

移动设备的结构

接着，参照图2，详细说明本实施例的移动设备10的结构。图2是表示移动设备10的结构的一例的示意图。移动设备10可以具有硬件配置，其中，一个或多个元件可以添加到图2中表示的硬件元件，或者从图2中表示的硬件元件删除。

图2所示的移动设备10包括:壳体11，其包括控制移动设备10的处理或动作的控制装置30；图像捕获装置12；支撑件13；显示器14；使移动设备10移动的移动机构15(15a、15b)；以及用于使得移动设备10执行预设任务(动作)的摆臂16。控制装置30容纳在壳体11中，位于移动设备10的主体部分，控制移动设备10的处理或动作。

图像捕获装置12捕获设置有移动设备10的操作据点的待捕获对象的图像，例如人、实物、风景等，以获取捕获的图像。图像捕获装置12可以是能够获取平面图像的数码相机(一般成像装置)，诸如数字单镜头反光相机或紧凑型数码相机。在另一实施例中，图像捕获装置12可以是能够获取诸如全向(360度)全景图像(其可以称为球形图像)之类的特殊图像的特殊图像捕获装置。特殊图像捕获装置是例如全天球图像捕获装置，其捕获对象的图像，以获得两个半球图像，基于半球图像生成球形图像。或者特殊图像捕获装置可以是能够获取具有等于或大于预定值(例如，60度)的视角的广角图像(全景图像)的广角相机或立体相机。或者特殊图像捕获装置可以是能够捕获对象以获取半球图像的图像捕获装置。即，特殊图像捕获装置能够使用具有比预定值(例如，50mm)短的焦距的镜头捕获图像。在本公开中，特殊图像捕获装置是在所有方向上捕获操作据点以获取操作据点的特殊图像(即，球形图像)的图像捕获装置的示例。在用一个特殊图像捕获装置捕获球形图像的替代方案中，可以提供多于一个的特殊图像捕获装置。在又一示例中，可以提供一个或多个一般图像捕获装置，以便用作特殊图像捕获装置。例如，图像捕获装置在一个位置处捕获多个平面图像，同时旋转以覆盖操作据点的所有方向。然后合成所捕获的图像以生成球形图像。在生成球形图像即特殊图像时，通过图像处理对多个捕获图像进行拼接。

移动设备10可以包括多个图像捕获装置12。在这种情况下，作为图像捕获装置12，移动设备10也可以具备在所有方向对操作据点的一部分进行摄像而得到球形图像的特殊图像捕获装置、以及捕获对象的一部分而得到平面图像的一般图像捕获装置。假设由一般图像捕获装置捕获的对象包括在由特殊图像捕获装置捕获的球形图像中。在以下的说明中，作为图像捕获装置12，假设移动设备10同时包括特殊图像捕获装置12a和一般图像捕获装置12b。由图像捕获装置12获取的捕获图像可以是视频图像或静止图像，或者可以是视频图像和静止图像两者。由图像捕获装置12获得的捕获图像可以与由麦克风307a获得的音频数据相关联地存储。

支撑件13是将图像捕获装置12固定在移动设备10(壳体11)上的任何结构。支撑件13可以是安装到壳体11的杆或基部。支撑件13可以是可移动的，以便调节图像捕获装置12的成像方向(取向)和位置(高度)。

移动机构15是使移动设备10移动的单元，包括车轮、行驶电机、行驶编码器、转向电机、转向编码器等，由于移动设备10的移动可以使用任何已知的方法控制，因此将省略其详细描述。例如，移动设备10接收来自操作者(显示装置50)的移动指示，移动机构15根据接收到的指示使移动设备10移动。移动机构15可以是双足型或单车轮型。在本公开中，移动设备10的设计不限于图2所示的与车辆的设计类似的设计。移动设备10可以设计为例如模仿人类的双脚行走机器人、模仿任何生物的机器人、或者模仿特定角色的机器人。

摆臂16设置有动作单元，其使得移动设备10能够执行除移动之外的动作。具体而言，如图2所示，在摆臂16的前端设置有用于把持零件等对象物的手作为动作单元。移动设备10通过使得摆臂16旋转或变形来执行预设任务(动作)。除了上述配置之外，移动设备10可以包括能够获得移动设备10的周围的检测结果的各种传感器。各种传感器的实例包括气压计、温度计、光度计、运动传感器、气体传感器、气味传感器和照度计等。

硬件结构

接下来，参照图3和图4，根据实施例描述图1的通信系统中包括的设备或终端的硬件结构。设备或终端可以具有硬件结构，其中一个或多个元件可以添加到图3或图4中表示的硬件元件或从图3或图4中表示的硬件元件删除。

移动设备的硬件结构

图3是表示移动设备10的硬件结构的一例的图。移动设备10包括控制移动设备10的处理或动作的控制装置30。如上所述，控制装置30设在移动设备10的壳体11内部。控制装置30可以设置在移动设备10的壳体11的外部，或者可以设置为与移动设备10分离的装置。

控制装置30包括中央处理单元(CPU)301、只读存储器(ROM)302、随机存取存储器(RAM)303、硬盘驱动器(HDD)304、介质接口(I/F)305、输入/输出I/F 306、音频输入/输出(I/O)I/F 307、网络I/F 308、短程通信电路309、用于短程通信电路309的天线309a、外部装置连接I/F311以及总线310。

CPU 301控制移动设备10的整体动作。CPU 301是将存储在ROM 302、硬盘(HD)304a等中的程序或数据加载到RAM 303上，以执行实现移动设备10的功能的处理的处理器。

ROM 302是即使在电源断开之后也保持存储程序或数据的非易失性存储器。RAM303是用作CPU 301的工作区域的易失性存储器。HDD 304在CPU 301的控制下控制从HD304a读取各种类型的数据或向HD 102a写入各种类型的数据。HD 304a存储诸如程序的各种类型的数据。介质I/F305控制从诸如通用串行总线(USB)存储器、存储卡、光盘或闪速存储器的记录介质305a读取数据或向其写入(存储)数据。

输入/输出I/F 306是用于将字符、数字、各种指令等输入到各种外部设备以及从各种外部设备输出字符、数字、各种指令等的接口。输入/输出I/F 306控制诸如光标、菜单、窗口、文本或图像的各种类型的信息在诸如液晶显示器(LCD)的显示器14上的显示。在一个示例中，显示器14是设置有输入设备(输入装置)的触摸面板显示器。除了显示器14之外，诸如鼠标和键盘的输入装置可以连接到输入/输出I/F 306。音频输入/输出(I/O)I/F307是在CPU 301的控制下处理麦克风307a和扬声器307b之间的声音信号的输入和输出的电路。麦克风307a是用于在CPU 301的控制下输入声音信号的内置声音收集装置的示例。扬声器307b是用于在CPU 301的控制下输出声音信号的再现装置的示例。

网络I/F 308是使得能够经由通信网络100与其他装置或设备通信(连接)的通信接口。网络I/F 308例如是用于经由诸如有线或无线局域网(LAN)的通信的通信接口。短程通信电路309是NFC(Near Field Communication:近场通信)、BLUETOOTH(蓝牙)等通信电路。外部装置连接I/F 311是用于将其他设备连接到控制装置30的接口。

总线310是地址总线或数据总线，其电连接上述元件，以允许地址信号、数据信号或各种控制信号的传送。CPU 301、ROM 302、RAM 303、HDD 304、介质I/F 305、输入/输出I/F306、音频I/O I/F 307、网络I/F308、短程通信电路309和外部装置连接I/F311经由总线310互相连接。

控制装置30还经由外部装置连接I/F 311与驱动电机101、致动器102、加速度和方位传感器103、全球定位系统(GPS)传感器104、特殊图像捕获装置12a、一般图像捕获装置12b、电池120和障碍物检测传感器(检测传感器)106连接。

驱动电机101根据来自CPU 301的指令旋转地驱动移动机构15，使得移动设备10沿着地面移动。致动器102根据来自CPU 301的指令使得摆臂16变形。加速度和方位传感器103的示例包括用于检测地磁的电磁罗盘、陀螺罗盘和加速度传感器。GPS传感器104接收来自GPS卫星的GPS信号。电池120是向整个移动设备10供应电力的单元。电池120的示例包括内置在移动设备10中的电池以及作为辅助电源的外部电池。障碍物检测传感器106是检测可能存在于正在移动的移动设备10的周围的障碍物的检测传感器。障碍物检测传感器106的示例包括但不限于立体相机、诸如搭载光电转换元件配置为面状的区域传感器的相机之类的图像传感器、以及测距传感器。测距传感器可以是飞行时间(TOF)传感器、光检测和测距(LIDAR)传感器、雷达传感器、激光测距仪、超声传感器、深度相机或深度传感器。

显示装置的硬件结构

图4是表示显示装置50的硬件结构的一例的图。显示装置50的各硬件构成由500系列的附图标记表示。显示装置50由计算机实现，如图4所示，包括CPU 501、ROM 502、RAM503、HD 504、HDD控制器505、显示器506、外部装置连接I/F 507、网络I/F 508、总线510、键盘511、指示器512、音频I/O I/F 513、麦克风514、扬声器515、相机516、数字多功能可重写光盘(DVD-RW)驱动器517和介质I/F 519。

CPU 501控制显示装置50的整体动作。ROM 502存储诸如初始程序加载器(IPL)那样的用于驱动CPU 501的程序。RAM 503用作CPU 501的工作区域。HD 504存储诸如程序的各种数据。HDD控制器505在CPU 501的控制下控制对HD 504的各种数据的读取或写入。显示器506显示各种信息，诸如光标、菜单、窗口、字符或图像。在一个示例中，显示器506是设置有输入设备(输入装置)的触摸面板显示器。显示器506是显示单元的一个例子。显示器506可以是连接到显示装置50的具有显示功能的外部装置。显示器506的示例包括但不限于诸如作为电子白板的交互式白板(IWB)之类的外部显示器，以及来自作为外部装置连接的投影仪或平视显示器(HUD)的图像投影在其上的投影面。投影面可以是管理地点的天花板或墙壁或汽车的挡风玻璃。外部装置连接I/F 507是用于连接各种外部设备的接口。网络I/F508是用于使用通信网络100的数据传输的接口。总线线路510是地址总线、数据总线等，其电连接图4中所示的诸如CPU 501的元件。

键盘511是包括用于输入字符、数值、各种指令等的多个键的输入设备(输入装置)的示例。指示器512是允许用户选择或执行特定指令、选择用于处理的目标或移动正在显示的光标的输入设备的示例。输入设备不限于键盘511和指示器512，也可以是触摸面板、语音输入设备等。音频I/O I/F 513是用于在CPU 501的控制下向麦克风514或从扬声器515输入或输出音频信号的电路。麦克风514是能够在CPU 501的控制下输入音频的内置型音频收集装置的示例。扬声器515是输出音频信号的内置输出设备的示例。相机516是能够捕获目标以获得所捕获的图像数据的内置成像装置的示例。麦克风514、扬声器515和相机516可以是外部装置，而不是内置在显示装置50中。DVD-RW驱动器517从作为可装卸记录介质的示例的DVD-RW 518读取各种数据以及将各种数据写入DVD-RW。作为DVD-RW的替代，可以使用诸如DVD-R、蓝光(注册商标)光盘等的任何可装卸记录介质。介质I/F 519控制对诸如闪速存储器的记录介质521的数据的读取或写入(存储)。

此外，上述控制程序中的任何一个可以以可安装或可在计算机可读记录介质上执行的格式记录在文件中以用于分发。记录介质的示例包括可记录小型光盘(CD-R)、数字多功能盘(DVD)、蓝光盘、SD卡和USB存储器。另外，这种记录介质可以以程序产品的形式提供给国内或国外的用户。例如，显示装置50执行控制程序以实现根据本公开的控制显示的处理。

功能结构

接着，参照图5～图8，说明本实施例的通信系统1的功能结构。图5是表示通信系统1的功能结构的一例的图。图5表示图1的设备和终端的一部分，其与下面要描述的处理或动作有关。

移动设备(控制装置)的功能结构

首先，参照图5，根据实施例描述控制移动设备10的处理或动作的控制装置30的功能结构。控制装置30包括发送和接收单元31、判断单元32、图像捕获控制单元33、状态检测器34、位置信息获取器35、目的地候选获取器36、路径信息生成器37、路径信息管理器38、目的地设定器39、移动控制器40、图像识别处理器41、模式设定器42、自主移动处理器43、手动操作处理器44、任务执行单元45、地图信息管理器46、图像处理单元47、学习单元48以及存储和读取单元49。CPU 301根据从HD 304a扩展到RAM 303的控制装置用程序发出指令，上述各部分的图3所示各硬件元件中的任一个是通过根据来自CPU 301的指令动作而实现的功能或使其发挥功能。此外，控制装置30包括由图3所示的ROM 302、HD 304a或记录介质305a实现的存储单元3000。

由根据CPU 301的指令动作的网络I/F 308实现的发送和接收单元31通过通信网络100向其他设备或终端发送各种数据或信息或从其他设备或终端接收各种数据或信息。

由CPU 301的指令实现的判断单元32执行各种判断。主要由经由外部装置连接I/F311输出的CPU 301的指令实现的图像捕获控制单元33控制图像捕获装置12的图像捕获处理。例如，图像捕获控制单元33指示特殊图像捕获装置12a和一般图像捕获装置12b进行图像捕获。图像捕获控制单元33例如取得由特殊图像捕获装置12a和一般图像捕获装置12b得到的捕获图像。

主要由经由外部装置连接I/F 311输出的CPU 301的指令实现的状态检测器34使用各种传感器检测移动设备10或移动设备10的周围的状态。例如，状态检测器34使用例如障碍物检测传感器106测量到达存在于移动设备10周围的物体(障碍物)的距离，输出所测量的距离作为距离数据。状态检测器34还可以通过使用利用障碍物检测传感器106测量的距离数据，适用即时定位和构建地图(Simultaneous Localization and Mapping，简记为“SLAM”)，通过与环境地图对照，获取指示移动设备10的位置的数据。在此，SLAM是能即时处理自身位置估计和环境地图作成的技术。状态检测器34还使用例如加速度和取向传感器103检测移动设备10所朝向或面向的方向。

由经由外部装置连接I/F 311输出的CPU 301的指令实现的位置信息获取器35使用GPS传感器104获取指示移动设备10的当前位置的位置信息。例如，位置信息获取器35使用GPS传感器104获取指示移动设备10的当前位置的纬度和经度的坐标信息。

目的地候选获取器36主要由CPU 301的指令实现，其获取指示移动设备10的移动目的地的候选的目的地候选图像。具体地说，目的地候选获取器36获取由图像捕获控制单元33捕获的捕获图像作为目的地候选图像。例如，捕获图像是配置有移动设备10的据点的一部分的图像。

路径信息生成器37主要通过CPU 301的指令实现，生成表示移动设备10的移动路径的路径信息。路径信息生成器37基于由移动设备10的操作者选择的目的地候选的位置，生成表示从当前位置到最终目的地(即，移动目的地)的路径的路径信息。生成路径信息的示例方法包括用直线连接从当前位置到最终目的地的路径点的方法，以及通过使用捕获图像或由状态检测器34获得的障碍物的信息来避开障碍物且使移动时间最小化的方法。

由CPU 301的指令实现的路径信息管理器38将由路径信息生成器37生成的路径信息存储在路径信息管理DB 3002中进行管理。

目的地设定器39主要通过CPU 301的指示实现，设定移动设备10的移动目的地。例如，目的地设定器39基于由位置信息获取器35取得的移动设备10的当前位置和由路径信息生成器37生成的路径信息，将由移动设备10的操作者选择的目的地候选中的一个设定为移动设备10当前朝向的移动目的地。

主要由CPU 301对外部装置连接I/F 311的指令实现的移动控制器40通过驱动移动机构15控制移动设备10的移动。例如，移动控制单元40根据来自自主移动处理器43或手动操作处理器44的驱动指示，使移动设备10移动。

图像识别处理器41主要通过CPU 301的指示实现，对由图像捕获控制单元33取得的捕获图像进行图像识别。例如，图像识别处理器41执行图像识别以确定在所获取的捕获图像中是否捕获了特定对象。特定对象例如是在移动设备10的移动路径上或周围的障碍物、诸如十字路口或L形道路的交叉路口、或者在现场的标志或信号。

主要由CPU 301的指令实现的模式设定器42设定指示移动设备10的移动动作的动作模式。模式设定器42设定使移动设备10自主移动的自主移动模式、或者根据操作者的手动操作使移动设备10移动的手动操作模式中的某一个。

自主移动处理器43主要由CPU 301的指令实现，控制移动设备10的自主移动。例如，自主移动处理器43向移动控制器40输出用于驱动移动设备10的指示，以使移动设备10在由路径信息生成器37生成的路径信息所表示的移动路径中移动。

手动操作处理器44主要由CPU 301的指令实现，其控制移动设备10的手动操作。例如，手动操作处理器44响应于从显示装置50发送的手动操作指令，向移动控制器40输出用于驱动移动设备10的指令。

任务执行单元45主要由CPU 301的指令实现，响应于来自操作者的请求，使移动设备10执行预设任务。在本发明中，作为由任务执行单元45执行的预设任务，例如有用于对现场的设备进行检查的图像捕获处理、使用摆臂16进行轻作业的处理等。

地图信息管理器46主要通过CPU 301的指示实现，对存储在地图信息管理DB 3003中的、配置有移动设备10的作业现场的环境地图等的地图信息进行管理。例如，地图信息管理器46管理从外部服务器下载的或通过应用SLAM创建的诸如环境地图的地图信息。

图像处理单元47主要由CPU 301的指令实现，其生成要在显示装置50上显示的显示图像。例如，图像处理单元47通过对由图像捕获控制单元33取得的捕获图像实施处理，生成在显示装置50中显示的显示图像。

学习单元48主要由CPU 301的指令实现，学习要用于移动设备10的自主移动的移动路径。例如，学习单元48基于通过手动操作处理器44在手动操作模式下的移动动作时所获取的捕获图像和由状态检测器34所获得的检测数据，对要用于自主移动的移动路径执行模拟学习(机器学习)。自主移动处理器43基于作为学习单元48的模拟学习的结果的学习数据，进行移动设备10的自主移动。

由CPU 301的指令实现的存储和读取单元49将各种数据或信息存储在存储单元3000中或者从存储单元3000读出各种数据或信息。

目的地候选管理表

图6是表示目的地候选管理表的示例的概念图。目的地候选管理表是用于管理移动设备10的目的地的一个以上的候选的表。存储单元3000存储目的地候选管理DB 3001，诸如图6所示的目的地候选管理表。

在目的地候选管理表中，按照用于识别配置有移动设备10的据点的据点ID，存储有用于识别目的地候选的候选ID、表示目的地候选的位置的位置信息、以及将该据点的特定区域作为目的地候选而捕获的捕获图像数据相关联地存储的目的地候选数据。位置信息由包括纬度和经度的坐标信息表示，该坐标信息指示目的地候选在据点的位置。在移动设备10是诸如无人机的飞行物体的情况下，除了指示纬度和经度的坐标信息之外，位置信息还包括诸如飞行物体的速度、方位(位置)或海拔高度的信息。所捕获的图像数据对应于由移动设备10在据点的目的地候选的位置捕获的图像数据的电子文件。在该表中，可以使用用于访问捕获图像的任何信息，诸如捕获图像数据文件的名称或存储位置。在本公开中，目的地候选是移动设备10的移动目的地的候选的示例。移动设备10的移动目的地的候选不仅包括移动设备10的目的地候选，还包括从移动设备10的移动路径中排除的据点的候选。

路径信息管理表

图7是表示路径信息管理表的一例的概念图。路径信息管理表是用于管理表示移动设备10的移动路径的路径信息的表。存储单元3000存储路径信息管理DB 3002，诸如图7所示的路径信息管理表。

在路径信息管理表中，将用于识别移动设备10的移动路径的路径ID和表示移动设备10的移动路径的路径信息与用于识别移动设备10所配置的据点的据点ID对应起来进行存储。路径信息通过按顺序排列一个移动目的地来描述移动设备10的移动路径，直到移动设备10到达最终目的地为止。路径信息例如在移动设备10开始移动时由路径信息生成器37生成。

地图信息管理表

图8是表示地图信息管理表的一例的概念图。地图信息管理表是用于管理地图信息的表，该地图信息例如是设置有移动设备10的操作据点的环境地图。存储单元3000存储如图8所示的地图信息管理表那样的地图信息管理DB 3003。

地图信息管理表存储将据点ID和据点名称与地图信息相关联的地图信息，该据点ID和据点名称用于标识移动设备10所布置的操作据点，以及该操作据点的环境地图的存储位置。例如，记录位置是用于访问存储环境地图的移动设备10或外部服务器中的存储区域的目的地信息，由统一资源定位符(URL)或统一资源标识符(URI)表示。

以下，参照图32至图34，对本实施例的移动设备10所配置的操作据点的一例的概要进行说明。图32是示意性地表示移动设备10的移动路径的一例的图。如图32所示，移动设备10的移动路径例如通过在操作据点将多个特定的现场位置(W0、W1、W2、…)依次指定为经由地，表示到达移动目的地的路径。据点的各据点位置由表示据点整体的地图数据坐标位置的XY坐标表示。

图33是表示据点位置管理表的一例的概念图。据点位置管理表是用于管理指示在操作据点的特定据点位置的据点位置信息的表。例如，图33所示的据点位置管理表包含在地图信息管理DB 3003中。

在据点位置管理表中，按用于识别移动设备10的设置据点的据点ID，存储有用于识别该据点的特定的据点位置的据点位置ID、表示该据点位置的位置信息、以及与该据点位置相邻的相邻据点位置的相邻ID相关联的信息。据点位置ID是用于识别操作据点的特定据点位置(W0、W1、W2、…)的识别信息。相邻ID表示用于识别与特定据点位置相邻的相邻据点位置的据点位置ID。在据点位置管理表中，沿着移动设备10的移动路径，以规定的间隔存储操作据点的多个位置。操作据点的各据点位置由表示操作据点整体的地图数据上的坐标的XY坐标表示。移动设备10基于据点位置信息表示的位置信息和使用相邻ID设定的移动路径，朝移动目的地移动。

图34是表示区域信息管理表的一例的概念图。例如，区域信息管理表是用于管理区域信息的表，该区域信息指示按任务划分的操作据点的区域。例如，图34所示的区域信息管理表包含在地图信息管理DB 3003中。

在区域信息管理表中，按用于识别移动设备10的设置据点的据点ID，存储有用于识别该操作据点的特定区域的区域ID和区域名、以及用于特定区域位置的基准位置相关联的区域信息。基准位置是由移动设备10用于特定操作据点内的区域的位置信息。例如，通过沿着移动设备10的移动路径的两处据点位置特定基准位置。

例如，图32所示的对象据点分割为四个区域(区域1～区域4)。例如，在移动设备10移动到区域1的情况下，以区域1的区域基准位置即据点位置W8为对象设定移动路径，移动设备10从W0经由W1、W2、W3、W4移动到W8。

学习数据管理DB

在下文中，描述根据实施例的存储单元3000中的学习数据管理DB 3004。学习数据管理DB 3004存储作为学习单元48对移动设备10的自主移动路径进行学习结果的学习数据。学习数据管理DB 3004存储例如由移动设备10获取的捕获图像数据、各种类型的检测数据、以及作为针对每个据点或针对每个移动设备10的模拟学习(机器学习)的结果的学习数据。移动设备10基于存储在学习数据管理DB 3004中的学习数据执行自主移动。由特殊图像捕获装置12a或一般图像捕获装置12b捕获的捕获图像数据可以包括用于指定特殊图像捕获装置12a或一般图像捕获装置12b的成像方向的平-倾-变焦(PTZ)参数。

包括PTZ参数的捕获图像数据存储(保存)在移动设备10的存储单元3000(学习数据管理DB 3004)中。或者PTZ参数可与目的地候选的位置信息相关联地存储在存储单元3000中。具体地说，当获取目的地候选的捕获图像数据时，作为位置信息，指示移动设备10在此时的定位(姿势)的坐标数据(x，y，θ)可以存储在存储单元3000中。这使得在移动设备10停止的实际位置与目的地位置之间发生偏离的情况下，可以使用PTZ参数和坐标数据(x，y，θ)校正移动设备10的定位。例如，诸如移动设备10的自主移动路径(GPS轨迹)的数据和用于在显示装置50上显示的目的地候选的捕获图像数据之类的一些数据可以在诸如AMAZONWEB SERVICES(AWS)之类的云计算服务上累积。

显示装置的功能配置

接下来，参照图5，描述根据实施例的显示装置50的功能配置。显示装置50包括发送和接收单元51、操作输入单元52、显示控制单元53、判断单元54、手动操作指令生成器55、自主移动请求生成器56、图像处理单元57以及存储和读取单元59。CPU 501根据从ROM 502扩展到RAM 503的显示装置用程序发出指令，上述各部分的图4所示各硬件元件中的任一个是通过根据来自CPU 501的指令动作而实现的功能或使其发挥功能。显示装置50还包括由图4所示的ROM 502、HD 504或记录介质521实现的存储单元5000。

由根据CPU 501的指令动作的网络I/F 508实现的发送和接收单元51通过通信网络100向其他设备或终端发送各种数据或信息，或从其他设备或终端接收各种数据或信息。

由根据CPU 501的指令进行操作的键盘511或指示器512实现的操作输入单元52从用户接收各种选择或输入。由CPU 501的指令实现的显示控制单元53控制显示器506显示各种画面。由CPU 501的指令实现的判断单元54执行各种判断。

手动操作指令生成器55主要通过CPU 501的指令实现，根据操作者的输入操作，生成用于通过手动操作使移动设备10移动的手动操作指令(指示)。自主移动请求生成器56主要通过CPU 501的指令实现，生成用于使移动设备10自主移动的自主移动请求。例如，自主移动请求生成器56基于由操作者选择的目的地候选的信息，向移动设备10发送自主移动请求。

主要由CPU 501的指令实现的图像处理单元57生成要在诸如显示装置506的显示器上显示的显示图像。例如，图像处理单元57通过对由移动设备10获取的捕获图像执行预定处理生成要在显示装置50显示的显示图像。另外，通信系统1也可以具备移动设备10所具备的图像处理单元47和显示装置50所具备的图像处理单元57中的至少一方的功能。

由CPU 501的指令实现的存储和读取单元59将各种数据或信息存储在存储单元5000中或者从存储单元5000读出各种数据或信息。

处理和动作

目的地候选登记处理

接下来，参照图9至图23，描述根据实施例的通信系统1所执行的处理和动作。首先，参照图9～图12，说明本实施例的移动设备10的移动目的地候选登记处理。图9是表示登记目的地候选的示例处理的时序图。

首先，显示装置50响应于操作者的预定输入操作而开始操作移动设备10(S11)。发送和接收单元51向移动设备10发送操作开始请求(S12)。由此，移动设备10所具备的控制装置30的发送和接收单元31接收从显示装置50发送的操作开始请求。

接着，控制装置30的图像捕获控制单元33开始使用特殊图像捕获装置12a和一般图像捕获装置12b的图像捕获处理(S13)。图像捕获控制单元33取得由特殊图像捕获装置12a和一般图像捕获装置12b捕获的捕获图像的数据。在该示例中，通过S13的图像捕获处理获取的图像是视频图像的帧。发送和接收单元31将在S13中取得的捕获图像的数据发送到显示装置50(S14)。因此，显示装置50的发送和接收单元51接收从移动设备10发送的捕获图像数据。

接着，显示装置50的显示控制单元53将包含在S14中接收到的捕获图像数据的操作画面200显示在显示器506等的显示器上(S15)。图10是表示操作画面的一例的图。图10所示的操作画面200是用于操作者对移动设备10进行远程操作的显示画面。

操作画面200包括据点显示区域210和据点显示区域230。在据点显示区域210中，显示在S14中接收到的由一般图像捕获装置12b捕获的捕获图像(平面图像)。在据点显示区域230中，显示在S14中接收到的由特殊图像捕获装置12a捕获的捕获图像(特殊图像)。在据点显示区域230中显示的特殊图像，如上所述，是由特殊图像捕获装置12a捕获的球形图像、广角图像、半球形图像等据点内全方位捕获的图像。作为全方位图像的特殊图像可以是通过组合由一般图像捕获装置12b一边旋转一边捕获的图像而获得的图像。例如，特殊图像捕获装置12a可以组合由一般图像捕获装置12b捕获的图像。据点显示区域230还显示表示存在移动设备10的移动设备显示图像235，其叠加在特殊图像上。操作画面200还显示由纬度(Lat)和经度(Lon)表示的坐标信息，作为指示移动设备10的当前位置的位置信息。在移动设备10是诸如无人机的飞行物体的情况下，除了指示纬度和经度的坐标信息之外，操作画面200还可以显示诸如飞行物体的速度、方位(位置)或海拔高度的信息。操作画面200可以显示由特殊图像捕获装置12a和一般图像捕获装置12b获得的捕获图像，作为通过诸如因特网的计算机网络实时分发的实况流(直播)图像。

操作画面200还包括用于允许操作者远程操作移动设备10的操作图标250。操作图标250包括多个方向指令按钮，可以按下其中之一以请求移动设备10在一定的水平方向(向前、向后、向右、向左)上的移动。操作者通过选择操作图标250，能够一边观察显示在据点显示区域210中的平面图像和显示在据点显示区域230中的球形图像等特殊图像，一边对移动设备10进行远程操作。在该示例中，假设响应于接收到对显示在操作画面200上的操作图标250的选择，远程控制移动设备10的移动。可替换地，移动设备10的移动可以由专用控制器控制，诸如键盘或包括操纵杆的游戏板。

操作画面200还包括目的地候选登记按钮270，按下该按钮，以使用显示在据点显示区域210中的平面图像或显示在据点显示区域230中的特殊图像，进行目的地候选登记。以下，以在操作者按下目的地候选登记按钮270时，使用显示在据点显示区域230中的特殊图像进行目的地候选登记的情况为例进行说明。但是，当操作者按下目的地候选登记按钮270时，使用显示在据点显示区域210中的平面图像进行目的地候选登记场合，也执行同样的处理。操作画面200还包括设定目的地按钮290，按下该按钮，以设定移动设备10的目的地。

接着，显示装置50使用在S15中显示的操作画面200，对移动设备10进行手动操作(S16)。稍后将描述S16的处理的细节。

接着，当操作者按下操作画面200上的目的地候选登记按钮270时，操作输入单元52接收在据点显示区域230中显示的特殊图像所包含的区域的目的地候选登记(S17)。然后，发送和接收单元51向移动设备10发送目的地候选登记请求(S18)。目的地候选登记请求例如是对在据点显示区域230中显示的特殊图像所包含的区域的图像捕获请求。因此，移动设备10具备的控制装置30接收从显示装置50发送的目的地候选登记请求。

接着，控制装置30的位置信息获取器35使用GPS传感器104取得表示移动设备10的当前位置的位置信息(S19)。具体地说，位置信息获取器35获取包括指示移动设备10的当前位置的纬度和经度的坐标信息。在移动设备10是诸如无人机的飞行物体的情况下，除了纬度和经度的坐标信息之外，位置信息获取器35还获取诸如飞行物体的速度、方位(位置)或海拔高度的信息作为位置信息。目的地候选获取器36获取由特殊图像捕获装置12a在移动设备10的当前位置捕获的捕获图像作为目的地候选的图像(S20)。在该示例中，由目的地候选获取器36作为目的地候选图像获取的捕获图像是静止图像。

然后，存储和读取单元49将包括在S19获取的位置信息和在S20获取的捕获图像的目的地候选数据存储在目的地候选管理DB 3001(见图6)中(S21)。存储和读取单元49将各自获取的位置信息和捕获图像登记为与用于识别目的地候选的候选ID分别相关联的目的地候选数据。例如，可以由存储和读取单元49自动分配候选ID。

如上所述，通信系统1在远程操作移动设备10的操作者的显示装置50显示由移动设备10捕获的捕获图像。由此，操作者能够一边实时地视觉确认移动设备10的周围，一边对移动设备10进行远程操作。此外，通信系统1响应于在移动设备10的手动操作时的操作者的输入操作，将通过捕获据点的特定区域而获得的捕获图像预先登记为移动设备10要用于自主移动的目的地候选。

手动操作

接下来，参照图11和图12，根据实施例详细描述执行移动设备10的手动操作的S16。图11是表示执行移动设备10的手动操作的示例处理的时序图。

首先，显示装置50的操作输入单元52根据操作者的输入操作，受理在S15中显示的操作画面200的操作图标250的选择(S31)。手动操作指令生成单元55根据在S31中选择的操作图标250的选择项目，生成手动操作指令(S32)。在图10的例子中，操作者选择了“前进(↑)”的图标，因此，手动操作指令生成单元55生成用于使移动设备10前进的指令。然后，发送和接收单元51将在S32中生成的手动操作指令发送给移动设备10(S33)。因此，移动设备10中所包括的控制装置30接收从显示装置50发送的手动操作指令。在操作者选择操作图标250的操作中，在操作者在移动设备10向前移动的同时选择图标“向后(↓)”的情况下，捕获图像的显示可以切换到移动设备10的后侧图像。然后，移动设备10根据指示向后的手动操作指令向后移动。另外，显示装置50例如也可以经由AWS IOT CORE等由管理的云平台向移动设备10发送手动操作指令。

接着，控制装置30的模式设定器42将移动设备10的动作模式设定为手动操作模式(S34)。然后，手动操作处理器44基于在S33中接收到的手动操作指令，向移动控制单元40输出驱动指令。移动控制单元40根据来自手动操作处理器44的驱动指令，使移动设备10移动(S35)。此外，学习单元48根据手动操作处理器44的手动操作对移动路径执行模拟学习(机器学习)(S36)。例如，学习单元48基于通过手动操作处理器44在手动操作模式下的移动操作所获取的捕获图像和状态检测器34所获得的检测数据，对移动路径执行模拟学习。学习单元48可以仅使用在手动操作期间获取的捕获图像来对移动路径执行模拟学习。或者学习单元48可以使用捕获图像和由状态检测器34获得的检测数据两者来对移动路径执行模拟学习。此外，用于学习单元48的模拟学习的捕获图像可以是在自主移动模式中的自主移动期间由自主移动处理器43获取的捕获图像。

然后，移动设备10执行在移动操作期间登记目的地候选的处理(S37)。图12是表示基于例如根据移动设备的移动状态的预定基准登记目的地候选的示例处理的流程图。

首先，控制装置30的判断单元32判断任务执行单元45是否执行了预先设定的任务(S51)。具体而言，任务执行单元45例如根据来自操作者的任务执行请求或预先设定的计划，使移动设备10执行预先设定的任务。然后，判断单元32在任务执行单元45的控制下判断预设任务是否可执行。在本发明中，作为由任务执行单元45执行的预先设定的任务，例如有用于对捕获现场内的设备进行检查的摄影处理、使用摆臂16进行轻作业的处理等。

例如，在据点内移动并进入检查对象区域之后，移动设备10捕获诸如仪表或阀等的检查对象的图像。此时，移动设备10停止移动以捕获图像，获得用于检查的图像。可以将该动作作为触发进行登记目的地候选的处理。另外，移动设备10例如图35所示，也可以使用在检查用图像的设定画面中输入的检查对象或作业的登录名作为目的地候选的登录名。

当判断已经由任务执行单元45执行了预设任务时(S51的“是”)，判断单元32使操作进入S56。另一方面，判断单元32在判断为任务执行单元45没有执行预先设定的任务的情况下(S51的“否”)，将处理转移到S52。

接着，判断单元32判断移动设备10是否停止移动(S52)。具体而言，判断单元32在检测到移动控制单元40对移动机构15的驱动控制停止的情况下，判定为移动设备10停止移动。判断单元32在判定为移动设备10的移动已停止的情况下(S52的“是”)，使处理进入S56。另一方面，判断单元32在判定为移动设备10没有停止移动(即，正在移动)的情况下(S52的“否”)，使处理进入S53。

接着，判断单元32判定在移动设备10的附近是否检测到交叉路口(S53)。具体而言，图像识别处理器41对由特殊图像捕获装置12a或一般图像捕获装置12b取得的捕获图像进行图像识别处理。然后，作为图像识别处理器41的处理结果，判断单元32判定在捕获图像中是否检测到交叉路口。在该示例中，交叉路口是由图像识别处理器41检测到的特定对象的示例。例如，移动设备10可以在具有某些特征的特定位置(例如，交叉路口)处，与移动方向无关地立即获取从移动路径的不同方向观看的特殊图像。除了交叉路口之外，特定对象还可以是移动设备10的移动路径上或周围的障碍物、操作据点的标志或信号等。特定对象根据移动设备10的类型而不同，使得特定对象在移动设备10在路面上移动的情况和移动设备10像无人驾驶飞机一样飞行的情况之间不同。移动设备10预先设置有关于要检测的特定对象的信息。

在判断单元32判定为在移动设备10的附近检测到交叉路口的情况下(S53的“是”)，处理转移到S56。另一方面，在判断单元32判定为在移动设备10的附近未检测到交叉路口的情况下(S52的“否”)，处理转移到S54。

接着，判断单元32判定移动设备10的当前位置是否接近在目的地候选管理DB3001中登记的目的地候选(S54)。具体地说，判断单元32参照存储在目的地候选管理DB3001中的目的地候选的位置信息，判断在位置信息获取器35获取的移动设备10的当前位置附近是否存在一系列目的地候选。当前位置是否接近目的地候选的判断例如基于预先设定的目的地候选的位置与移动设备10的当前位置的坐标值的差来进行。或者可以通过对目的地候选的捕获图像(目的地候选图像)和移动设备10的当前位置处的捕获图像执行图像识别来进行当前位置是否接近目的地候选的判断。

在判断单元32判定为移动设备10的当前位置与登记在目的地候选管理DB 3001中的目的地候选接近的情况下(S54的“是”)，处理转移到S56。另一方面，在判断单元32判定为移动设备10的当前位置不在目的地候选管理DB 3001中登记的目的地候选的附近的情况下(S54的“否”)，处理转移到S55。

接下来，判断单元32判断从显示装置50发送的手动操作指令所指示的方向是否已经改变(S55)。具体而言，判断单元32基于在S33中接收到的手动操作指令，判断手动操作指令所表示的移动方向是否发生了变化。例如，当手动操作指令表示具有特征的预定操作时，判断单元32判断移动方向已经改变。具有特征的预定操作的示例包括一定量以上的转向、加速和制动，其通常可由操作者在路口或弯道行驶时引起。

当判断由从显示装置50发送的手动操作指令指示的移动方向已经改变时(S55的“是”)，判断单元32使处理进行到S56。另一方面，当判断单元32确定由从显示装置50发送的手动操作指令指示的移动方向没有改变时(S55的“否”)，判断单元32结束处理。

然后，在S56中，控制装置30的位置信息获取器35使用GPS传感器104取得表示移动设备10的当前位置的位置信息。该步骤对应于图9的S19。另外，目的地候选获取器36获取由特殊图像捕获装置12a在移动设备10的当前位置处捕获的捕获图像作为指示移动设备10的目的地候选的目的地候选图像(S57)。该步骤对应于图9的S20。

然后，存储和读取单元49将包括在S56获取的位置信息和在S57获取的捕获图像的目的地候选数据存储在目的地候选管理DB 3001(见图6)中(S58)。该步骤对应于图9的S21。存储和读取单元49将各自获取的位置信息和捕获图像登记为与用于识别目的地候选的候选ID分别相关联的目的地候选数据。例如，可以由存储和读取单元49自动分配候选ID。

如上所述，移动设备10可以基于根据移动设备10的移动状态的预定判断基准，使用安装在移动设备10上的图像捕获装置12自动地捕获移动设备10的周围的图像，预先登记表示移动设备10的移动目的地的候选的捕获图像。判断单元32的判定基准不限于上述的S51～S55的处理，根据移动设备10的手动操作的内容和移动设备10周围的环境适当地设定判断基准。判断单元32的判断基准例如当操作者选择移动设备10的目的地时，包含要由操作者识别的移动设备10的状态变化、操作据点的状况、操作据点内的环境变化等。

例如，当由图像捕获装置12捕获的捕获图像包含具有特征的字符串时，移动设备10可以自动地将该捕获图像登记为目的地候选。在这种情况下，移动设备10在移动期间对由图像捕获装置12捕获的捕获图像执行光学字符识别(OCR)。当识别特征的字符串时，移动设备10将所识别的字符串和所捕获的图像登记为目的地候选数据。例如，在目的地候选是化工厂的情况下，通常用罐编号(或罐名称)或罐的内容物记载在罐上。移动设备10将诸如名称或内容物的关键词(字符串)与捕获图像一起登记，从而易于执行数据检索。

可替换地或附加地，当移动设备10参照学习数据管理DB 3004，实行从据点内的已经移动的坐标位置离开的动作场合，可以将该地点的捕获图像自动地登记为目的地候选。此外，移动设备10也可以参照地图信息管理DB 3003，判断是否存储有表示特征的地标及其坐标的信息。当存储有这样的信息时，移动设备10可以自动地将在移动设备10到达或经过所存储的地标附近时捕获的捕获图像登记为目的地候选。此外，当这样的地标的名称存储在地图信息管理DB 3003中时，移动设备10可以将所存储的该地标名称与捕获图像相关联地登记为目的地候选数据。另外，在图12中，作为手动操作移动设备10的情况下的处理进行了说明，但也可以在移动设备10自主移动的情况下进行参照图12的上述目的地候选的登记处理。另外，图9～图12所示的目的地候选的登记处理是移动设备10的移动目的地候选的登记处理的一例。另外，登记处理不仅可以在登记移动设备10的目的地候选时进行，也可以在登记从移动设备10的移动路径中排除的场所候选时进行。

设定目的地的处理

接下来，参照图13至图18，根据实施例描述使用通过上述处理登记的目的地候选来设定移动设备10的目的地的处理。图13是表示移动设备10的发送目的地的设定处理的一例的时序图。

首先，显示装置50的操作输入部52通过操作者对操作画面200的输入操作，受理设定目的地按钮290的选择(S71)。接着，发送和接收单元51向移动设备10发送用于请求表示目的地候选的数据的目的地候选获取请求(S72)。目的地候选获取请求包括用于识别设置移动设备10的据点的据点ID。因此，移动设备10中包括的控制装置30的发送和接收单元31接收从显示装置50发送的目的地候选获取请求。

接着，控制装置30的存储和读取单元49将在S72中接收到的目的地候选获取请求所表示的据点ID作为检索关键字，检索目的地候选管理DB 3001(参照图6)，读出与接收到的据点ID相同的据点ID相关联的目的地候选数据(S73)。然后，发送和接收单元31将在S73读取的目的地候选数据发送到作为请求源的显示装置50(S74)。在S73读取的目的地候选数据包括多个目的地候选中的每一个的候选ID、捕获图像和位置信息(参见图6)。因此，显示装置50的发送和接收单元51接收以获取从移动设备10发送的目的地候选数据。

接着，显示装置50的显示控制单元53将包含在S74中接收到的目的地候选数据的选择画面400显示在显示器506等的显示器上(S75)。具体而言，图像处理单元57根据接收到的目的地候选数据生成选择画面400。具体地说，图像处理单元57基于接收到的目的地候选数据，生成包括作为候选图像的多个捕获图像的选择画面400。然后，显示控制单元53显示由图像处理单元57生成的选择画面400。该选择画面400的生成处理也可以由控制装置30的图像处理单元47进行。在这种情况下，图像处理单元47基于在S73读取的目的地候选数据生成选择画面400。在S74中，发送和接收单元31将包含由图像处理单元47生成的目的地候选数据的选择画面400发送到显示装置50。

图14和图15表示选择画面的示例。图14和图15所示的选择画面400是操作者能够选择移动设备10的移动目的地的显示画面。

选择画面400包括图像显示区域410，其显示在S74接收的目的地候选数据中包括的用于由操作者选择的多个捕获图像(目的地候选图像)415(415a至417f)。选择画面400还包括在完成选择时按下的OK按钮430，以及在取消选择时按下的取消按钮435。操作者使用诸如指示器512的输入单元选择在图像显示区域410中显示的一个或多个捕获图像415。

当操作者选择在图像显示区域410中显示的捕获图像415时，显示装置50的操作输入单元52受理用于设定捕获图像显示的区域作为目的地的目的地候选图像的选择(S76)。图15所示的选择画面400例如表示由操作者选择捕获图像415a、415b、415c的状态。当选择在图像显示区域410中显示的捕获图像415时，如图15所示，在选择画面400上的选择结果显示区域420中显示所选择的捕获图像。选择结果显示区域420按照操作者所选择的顺序(No.1～No.3)显示所选择的捕获图像。例如，作为移动设备10的移动目的地，选择具有表示移动设备10执行预先设定的任务的据点的区域的捕获图像，或者在移动设备10移动到执行预先设定的任务的据点的情况下，选择具有表示该据点的移动路径上的交叉路口等分支的区域的捕获图像。

如上所述，显示装置50使用由移动设备10预先捕获到的表示移动设备10的移动目的地候选的捕获图像415(目的地候选图像)，将由捕获图像415表示的区域选择为移动设备10的移动目的地。例如，与让操作者输入指定位置信息或关键词的字符串的方法相比，这提高了选择移动设备10的移动目的地的可操作性。

接下来，当在S76接收到目的地候选图像的选择并且操作者按下OK按钮430时，显示装置50的自主移动请求生成器56生成自主移动请求信息(S77)。自主移动请求信息包括与在S76受理选择的一个或多个捕获图像415相关联的一个或多个候选ID，以及表示在S76受理选择的对一个或多个捕获图像的选择的顺序的信息。

接着，发送和接收单元51将在S77中生成的自主移动请求信息发送到移动设备10(S78)。由此，移动设备10所具备的控制装置30的发送和接收单元31接收从显示装置50发送的自主移动请求信息。然后，移动设备10基于在S78中接收到的自主移动请求信息，开始自主移动处理(S79)。

自主移动处理

接下来，参照图16至图18，详细描述根据实施例的在S79执行的移动设备10的自主移动处理。图16是表示移动设备10进行的自主移动处理的一例的流程图。

首先，当在S78中接收到自主移动请求信息时，移动设备10所具备的控制装置30的模式设定单元42将移动设备10的动作模式设定为自主移动模式(S91)。接着，路径信息生成器37基于在S78中接收到的自主移动请求信息，生成表示移动体装置10的自主移动路径的路径信息(S92)。具体而言，路径信息生成器37基于接收到的自主移动请求信息所示的候选ID以及由候选ID所确定的选择捕获图像415的顺序，按照操作者选择捕获图像415的顺序，生成移动设备10自主地移动到捕获图像415的区域的移动路径。路径信息生成器37也可以不按照选择捕获图像415的顺序生成移动路径。或者路径信息生成器37也可以基于存储在目的地候选管理DB 3001中的捕获图像415的捕获位置生成路径信息，使得基于所选择的捕获图像415的移动路径的距离或移动时间变短。然后，路径信息管理器38将在S92中生成的路径信息与在S72中接收到的据点ID相关联地存储在路径信息管理DB 3002(参照图7)中(S93)。

接着，位置信息获取器35取得表示移动设备10的当前位置的位置信息(S94)。目的地设定器39根据由位置信息获取器35取得的移动设备10的当前位置和在S92中生成的路径信息，设定移动设备10的移动目的地(S95)。具体而言，例如，目的地设定器39将由所生成的路径信息的候选ID所确定的多个目的地之中的、移动设备10接下来应去的目的地的位置设定为移动目的地。例如，在刚刚开始自主移动的情况下，目的地设定器39将由路径信息的第一候选ID确定的目的地的位置设定为移动目的地。然后，目的地设定器39生成从所取得的移动设备10的当前位置到所设定的移动目的地的移动路径。作为由目的地设定器39生成移动路径的方法，使用以直线从当前位置连接到目的地的方法、或使用捕获图像或由状态检测器34取得的障碍物的信息一边避开障碍物一边使得移动时间最短的方法等。另外，由目的地设定器39生成移动路径的方法不限于使用在目的地候选管理DB 3001中登记的目的地候选(移动目的地)的位置信息生成移动路径。或者也可以由图像处理单元47对由图像捕获装置12捕获到的捕获图像进行图像识别处理。基于该结果，目的地设定器39可以将由捕获图像415显示的位置识别为所设定的移动目的地。例如，目的地设定器39也可以使用据点位置管理表(参照图32)和区域信息管理表(参照图33)所示的据点位置的坐标，生成到所设定的移动目的地为止的移动路径。在这种情况下，目的地设定器39可以基于使用存储在据点位置管理表中的相邻ID特定相邻据点位置，使用一般的路径检索方法(Dijkstra算法、A-star算法等)生成最短移动路径。

然后，移动控制单元40通过在S92中生成的移动路径，使移动设备10移动到所设定的移动目的地。在这种情况下，移动控制单元40根据来自自主移动处理器43的驱动指令，使移动设备10自主移动。例如，自主移动处理器43基于作为学习单元48的模拟学习的结果的学习数据执行自主移动(S96)。

在移动设备10到达最终目的地的情况下(S97的“是”)，移动控制单元40结束处理。另一方面，在移动设备10未到达最终目的地的情况下(S97的“否”)，移动控制单元40反复进行从S94起的处理，继续自主移动，直到移动设备10到达最终目的地为止。

这样，移动设备10自主地移动到与捕获图像415的区域相对应的位置，该位置由操作者选择作为移动设备10的目的地。在自主移动模式中，移动设备10根据所生成的路径信息或者在手动操作模式中学习的学习数据自主移动。

参照图17和图18，描述根据实施例的在移动设备10的自主移动期间在显示装置50上显示的操作画面的示例。在以下的说明中，对与图10所示的操作画面200的结构的不同点进行说明。图17所示的操作画面600A具有表示移动设备10的移动状态的状态显示区域610A和显示由移动设备10捕获到的捕获图像的据点显示区域630A。状态显示区域610A显示表示在S95中设定的移动目的地和移动设备10的当前位置的目的地候选图像，表示移动设备10朝向目的地候选图像所示的位置。图17的据点显示区域630A与图10所示的操作画面200的据点显示区域230同样，显示由特殊图像捕获装置12a取得的特殊图像。据点显示区域630A与操作画面200的据点显示区域230同样，还包括重叠在特殊图像上的、表示存在移动设备10的移动设备显示图像635A。据点显示区域630A还包括表示所设定的移动目的地的目的地显示图像640，其叠加在与在S95所设定的移动目的地相对应的特殊图像上的位置。

操作画面600A还包括停止按钮690，其被按下以指示移动设备10停止自主移动。当操作者按压停止按钮690时，响应于来自显示装置50的停止请求，移动设备10中断自主移动处理器43的自主移动，使得移动设备10停止移动。

图18所示的操作画面600B是在移动设备10自主地向多个移动目的地移动时显示的显示画面。图18所示的操作画面600B包括表示移动设备10的移动状态的状态显示区域610B和包含由移动设备10捕获到的捕获图像的据点显示区域630B。状态显示区域610B显示与在S92中生成的路径信息中包含的多个目的地路径点对应的目的地候选图像，以及移动设备10的当前位置，表示移动设备10当前前往哪个目的地。在据点显示区域630B中，与据点显示区域630A同样，显示由特殊图像捕获装置12a取得的特殊图像、以及表示存在移动设备10的移动设备显示图像635B，该移动设备显示图像635B与特殊图像重叠显示。另外，在操作画面600B中，与操作画面600A同样，包含为了指示移动设备10的自主移动的停止而按下的停止按钮690。

在据点显示区域630B中，在与在S92中生成的路径信息所包含的目的地的路径点对应的特殊图像的位置，重叠有表示目的地的路径点的两个目的地显示图像650(650a、650b)。在图18的例子中，显示了分别表示目的地路径点No.2和No.3的目的地显示图像650a和650b。

如上所述，显示装置50实时显示朝向由操作者选择的目的地的移动设备10的自主移动的状态，每个目的地具有在捕获图像415中显示的位置。由此，即使在移动设备10自主移动的情况下，操作者也能够确认移动设备10的当前位置和移动状态。

选择画面的变形例

接下来，参照图19至图23，描述根据实施例的在显示装置50上显示的选择画面400的变形例。图19是表示选择画面的第一变形例的图。图19所示的选择画面400A与图14和图15所示的选择画面400的不同之处在于图像显示区域410A的内容。

图像显示区域410A显示在S74中接收到的目的地候选数据所包含的捕获图像中的一个特殊图像450。操作者通过改变在特殊图像的图像显示区域410A显示的据点的局部在全方位捕获的图像的显示位置，检索想选择的位置作为目的地。通过受理画面上的滑动操作或对于显示位置变更按钮451(451a～451d)的输入操作，变更特殊图像450显示在图像显示区域410A中的显示位置。

或者操作者也可以使用指示器512等输入装置，指定在图像显示区域410A中显示的特殊图像450的规定位置选择目的地。当操作者指定在图像显示区域410A中显示的特殊图像450上的预定位置时，显示装置50的操作输入单元52受理对特殊图像450上的指定位置的选择。在图像显示区域410A中，将表示由操作者指定的特殊图像450上的位置的指定位置图像455重叠显示在特殊图像450上。选择画面400A与图15所示的选择画面400同样，在选择结果显示区域420中显示与由操作者指定的特殊图像450上的位置对应的目的地候选图像。

另外，选择画面400A包括文件导入(读取文件)按钮457，当按下该按钮时，选择或改变要在图像显示区域410A中显示的特殊图像450。当操作者选择文件导入按钮457以指定预定的图像文件时，显示控制单元53在图像显示区域410A中显示在S74接收的捕获图像文件中的不同的特殊图像。

在该示例中，自主移动请求生成器56生成自主移动请求信息，该自主移动请求信息除了正在显示的特定捕获图像的候选ID之外，还包括指示特定捕获图像上的指定位置的位置信息。

如上所述，通过选择画面400A，操作者能够使用由移动设备10捕获到的特殊图像450选择移动设备10的移动目的地。由此，操作者能够将一个特殊图像450的全方位区域中的所定位置选择为移动目的地的候选。即，提高了操作者选择移动设备10的移动目的地时的操作性。

图20是表示选择画面的第二变形例的图。在图20所示的选择画面400B中，除了选择画面400的内容以外，还包含表示由操作者选择的目的地候选图像的捕获位置的地图图像470。地图图像470可以是弹出窗口。

选择画面400B还包括按压以显示地图图像470的地图显示按钮460。地图图像470包括表示移动设备10的当前位置的当前位置显示图像471，以及按压以放大或缩小所显示地图的显示尺寸的显示选择按钮475。此外，地图图像470包括地图上的一个或多个图像捕获位置显示图像473(473a至473c)，每个图像捕获位置显示图像表示由操作者选择的捕获图像415的捕获位置。在图20的例子中，捕获位置显示图像473a～473c显示在与捕获图像No.1～No.3的捕获位置分别对应的地图上的位置。

当操作输入单元52接收到对地图显示按钮460的选择时，显示装置50向移动设备10发送用于请求显示地图的地图显示请求。然后，移动设备10读出存储在地图信息管理DB3003(参照图8)中的、与配置有移动设备10的据点的据点ID对应的地图图像数据，并向作为请求发送源的显示装置50发送。然后，显示装置50的显示控制单元53将当前位置显示图像471和捕获位置显示图像473重叠显示在接收到的地图图像数据上。具体而言，作为一例，显示控制单元53基于捕获图像415的位置信息，将捕获位置显示图像473重叠在地图图像470的位置上。

如上所述，当操作者选择移动设备10的目的地时，选择画面400B显示与捕获图像所表示的区域相对应的地图上的位置以供选择。由此，操作者能够在视觉上识别选择用捕获图像所表示的区域位于据点内哪个位置。在该示例中，选择画面400B可以分别显示当前位置显示图像471和图像捕获位置显示图像473，使得这些图像叠加在未准确地反映距离比例的简化地图上。在这种情况下，选择画面400B能提供操作者容易把握移动设备10的移动路径的用户界面(UI)。即，能够降低由于捕获位置显示图像473所表示的捕获位置的连接方式、地图的分辨率的不同而导致的操作者对移动设备10的移动路径的把握困难。

图21是表示选择画面的第三变形例的图。图21所示的选择画面400C与图15所示的选择画面400和图19所示的选择画面的不同之处在于选择结果显示区域480的内容。

选择结果显示区域480包括关于移动设备10移动到与由操作者选择的捕获图像415相对应的位置的估计时间的信息。在图21的示例中，移动设备10从当前位置移动到由捕获图像No.1指示的区域的估计时间是1分5秒。移动设备10从捕获图像No.1所指示的区域移动到捕获图像No.2所指示的区域的估计时间是1分40秒。移动设备10从捕获图像No.2所指示的区域移动到捕获图像No.3所指示的区域的估计时间是1分钟。选择结果显示区域480还显示移动设备10移动到由操作者选择的所有捕获图像415所指示的区域的总估计时间(在图21的示例中为3分45秒)。

移动设备10的图像处理单元47或显示装置50的图像处理单元57根据移动设备10的当前位置和由操作者选择的多个捕获图像415中的一个所指示的区域的位置来估计移动设备10在两点之间移动所花费的时间。该估计基于预先设定的移动设备10的移动速度以及据点的相对距离的信息。图像处理单元47或图像处理单元57生成包括关于估计时间的信息的选择画面400C。显示控制单元53将所生成的选择画面400C显示在显示器506等的显示器上。在上述登记目的地候选的处理中，当目的地候选的名称或通过OCR处理获得的字符串(关键字)与捕获图像数据相关联地登记在目的地候选管理DB 3001中时，选择画面400C可以显示与捕获图像对应的目的地候选的名称或关键字作为附加信息。

当移动设备10在由所选择的捕获图像415指示的区域中执行预设任务时，选择画面400C不仅可以显示估计的移动时间，还可以显示另外包括执行任务花费时间的所花费时间。

如上所述，选择画面400C显示移动设备10移动到由操作者选择的捕获图像415所指示的区域的估计时间。由此，操作者能够基于移动时间适当地决定是否选择移动目的地，或者基于移动时间决定向多个移动目的地的移动顺序。

图22是表示选择画面的第四变形例的图。图22所示的选择画面400D与图14所示的选择画面400相比，图像显示区域410的内容不同。

在选择画面400D的图像显示区域410中，与捕获图像415(415a～415f)相关联地显示表示捕获图像415中的被摄体的特征的附加信息490(490a、490b、490c、490e)。附加信息490包括表示捕获图像415中的被摄体的名称(诸如建筑物或设备)、捕获图像415中的被摄体的状况(诸如交叉口、斜坡或路面)的字符串。在图22的例子中，与捕获图像415a相关联地显示表示“仪表A5”的附加信息490a。与捕获图像415b相关联地显示表示“罐B9”的附加信息490b。与捕获图像415相关联地显示表示“建筑物C”的附加信息490c。与捕获图像415e相关联地显示表示“建筑物Y”的附加信息490e。

移动设备10的图像处理单元47或显示装置50的图像处理单元57基于预先设定的关于据点的信息和存在于该据点的被摄体的图像对捕获图像415进行图像识别处理的结果，特定与捕获图像415的图像捕获位置相对应的信息。然后，图像处理单元47或图像处理单元57生成选择画面400D，将特定的信息作为附加信息与对应的捕获图像415相关联。显示控制单元53将所生成的选择画面400D显示在显示器506等的显示器上。

如上所述，选择画面400D显示关于诸如捕获图像415中的被摄体(对象)的名称的特征的信息作为附加信息490，捕获图像415(目的地候选图像)表示移动设备10的移动目的地的候选。与仅通过查看捕获图像415来选择移动设备10的移动目的地的情况相比，能使得操作者更合适地做出判断。在这种情况下，在S95的设定移动设备10的移动目的地的处理中，目的地设定器39使用在目的地候选管理DB 3001中登记的目的地候选(移动目的地)的位置信息生成移动路径，但不限于此。或者目的地设定器39也可以使用通过图像识别处理确定的捕获图像415内的对象的信息，确定捕获图像415内的位置，从而生成移动路径。

图23是表示选择画面的第五变形例的图。图23所示的选择画面400E是包含作为与移动设备10的自主移动的移动路径的设定有关的信息而显示的捕获图像415(415a～417f)的画面的一例。在该示例中，在图像显示区域410中显示的捕获图像415(415a至417f)可以用于除了选择移动设备10的目的地之外的目的。

选择画面400E包括目的地选择按钮(选择目的地)440和排除路径选择按钮(选择要排除的路径)445。如上所述，使用图像显示区域410中显示的捕获图像415来按压目的地选择按钮440以选择移动设备10的目的地。当移动设备10移动到由图像显示区域410中显示的捕获图像415所选择的目的地时，按下排除路径选择按钮445以选择要从移动路径排除的排除路径。例如，当移动体10自主移动时，其是用于设定从移动设备10的移动路径排除的位置、即使得移动设备10的移动受限制的位置的处理。在选择排除路径时，例如，操作者检查在捕获图像415中显示的地点的障碍物或路面的状况，选择具有不适合于移动设备10移动的区域的捕获图像415作为排除路径。

操作者在指定(按下)目的地选择按钮440或排除路径选择按钮445后，能够选择在图像显示区域410中显示的捕获图像415，选择与所指定的选择模式对应的图像。在提供目的地选择和排除路径选择这两个功能的选择画面400E中，操作者选择捕获图像，以使移动设备10不经由排除路径而移动到期望的目的地。

选择画面400E允许操作者在除了选择移动设备10的目的地之外的应用中使用在登记移动设备10的移动目的地的候选的处理中先前登记的捕获图像415。由此，操作者在选择移动设备10的移动目的地、从移动路径中排除路径时的操作性得到提高。

如上所述，通信系统1预先将作为据点的部分区域的静止图像的捕获图像415登记为移动设备10的移动目的地的候选。通信系统1的显示装置50在显示器上显示登记的捕获图像415，允许操作者使用捕获图像415选择移动设备10的移动目的地。由此，能够提高操作者设定移动设备10的移动目的地时的操作性。通信系统1允许操作者按照由操作者确定的顺序选择在显示装置50上显示的多个捕获图像415。这允许操作者设定移动设备10的移动路径，该移动路径指示根据所确定的顺序移动到多个移动目的地。

此外，通信系统1基于例如根据移动设备10的移动状态的预定基准，通过利用移动设备10捕获据点的区域，自动获取要被登记为移动目的地候选的捕获图像415。这减少了登记移动目的地候选所需的时间和精力。在通信系统1中，显示装置50显示基于某些基准(例如，根据移动设备10的移动状态)自动获取的捕获图像415。即，显示装置50提供操作者能够容易地设定移动设备10的移动路径的显示画面(例如，选择画面400)。

实施例的变形例

变形例1

接着，参照图24～图27说明本实施例的变形例1的通信系统1A。在变形例1中，与上述实施例中描述的元件基本相同的元件分配以相同的附图标记。为了描述的目的，省略其描述。变形例1所涉及的通信系统1A具备对移动设备10A的目的地候选进行管理的信息处理装置90。

图24是表示实施例的变形例1的通信系统1A的结构的一例的图。变形例1的通信系统1A具备移动设备10A、显示装置50A、以及能够经由通信网络100与移动设备10A以及显示装置50A进行通信的信息处理装置90。

信息处理装置90由服务器计算机实现，该服务器计算机控制移动设备10A和显示装置50A之间的通信，控制移动设备10A的操作，生成要在显示装置50A上显示的各种显示画面。信息处理装置90可以由一个服务器计算机或多个服务器计算机实现。信息处理装置90为存在于云网络上的服务器计算机，但是信息处理装置90也可以是存在于内部网络上的服务器。在本公开中，信息处理装置90具有与图4中所示的显示装置50的硬件配置相同的硬件配置。为了描述的目的，图4中表示的信息处理装置90的硬件元件由900系列的附图标记表示。

图25是表示实施例的变形例1的通信系统1A的功能结构的一例的图。根据变形例1的图25的显示装置50A的配置与图5所示的显示装置50的配置相同。控制变形例1的移动设备10A的处理或动作的控制装置30A除了地图信息管理器46、存储单元3000的目的地候选管理DB 3001、地图信息管理DB 3003及学习数据管理DB 3004以外，与图5所示的移动设备10的控制装置30实质上相同。

信息处理装置90包括发送和接收单元91、地图信息管理器92以及存储和读取单元99。CPU 901根据从ROM 902扩展到RAM 903的信息处理装置用程序发出指令，上述各部分的图4所示各硬件元件中的任一个是通过根据来自CPU 901的指令动作而实现的功能或使其发挥功能。信息处理装置90还包括由图4中所示的ROM 902、HD 904或记录介质921实现的存储单元9000。

由根据CPU 901的指令操作的网络I/F 908实现的发送和接收单元91通过通信网络100向其他设备或终端发送各种数据或信息或从其他设备或终端接收各种数据或信息。

地图信息管理器92主要通过CPU 901的指示实现，对地图信息管理DB 9002中存储的、配置有移动设备10A的操作据点的环境地图等的地图信息进行管理。例如，地图信息管理器92管理从外部服务器下载的或通过应用SLAM创建的诸如环境地图的地图信息。

由CPU 901的指令实现的存储和读取单元99将各种数据或信息存储在存储单元9000中或者从存储单元9000读出各种数据或信息。存储单元9000存储目的地候选管理DB9001、地图信息管理DB 9002和学习数据管理DB 9003。目的地候选管理DB 9001由图6所示的目的地候选管理表实现。地图信息管理DB 9002由图8所示的地图信息管理表实现。学习数据管理DB 9003具有与上述移动设备10的存储单元3000中的学习数据管理DB 3004相同的数据结构。

图26是表示根据实施例的变形例1的登记目的地候选的示例处理的时序图。从S101到S107的处理与图9所示的从S11到S17的处理相同，因此省略其描述。

在S108，显示装置50A的发送和接收单元51向信息处理装置90发送目的地候选登记请求。因此，信息处理装置90的发送和接收单元91接收从显示装置50A发送的目的地候选登记请求。

接着，信息处理装置90的发送和接收单元91向移动设备10A发送用于登记目的地候选的数据的取得请求(数据取得请求)(S109)。移动设备10A所具备的控制装置30A的发送和接收单元31接收从信息处理装置90发送的数据取得请求。

接着，控制装置30A的位置信息获取器35使用GPS传感器104取得表示移动设备10A的当前位置的位置信息(S110)。具体而言，位置信息获取器35取得包含表示移动设备10A的当前位置的纬度和经度的坐标信息。在移动设备10A是诸如无人机的飞行物体的情况下，除了纬度和经度的坐标信息之外，位置信息获取器35还获取诸如飞行物体的速度、方位(位置)或海拔高度的信息作为位置信息。另外，目的地候选获取器36获取由特殊图像捕获装置12a在移动设备10A的当前位置处捕获的捕获图像，作为指示移动设备10A的目的地候选的目的地候选图像(S111)。发送和接收单元31向作为请求源的信息处理装置90发送在S110获取的位置信息和在S111获取的捕获图像(S112)。信息处理装置90的发送和接收单元91接收从移动设备10A发送的位置信息和捕获图像。

存储和读取单元99将包括在S112接收的位置信息和捕获图像的目的地候选数据存储在目的地候选管理DB 9001中(S113)。具体而言，存储和读取单元99将接收到的位置信息和捕获图像作为与用于确定目的地候选的各候选ID对应的目的地候选数据进行登记。图26所示的目的地候选的登记处理与上述实施例相同，是移动设备10A的移动候选的登记处理的一例。该登记处理不仅可以在登记移动设备10A的目的地候选时进行，也可以在登记从移动设备10A的移动路径中排除场所的候选时进行。

图27是表示本实施例的变形例1的移动设备10A的发送目的地候选的设定处理的一例的时序图。首先，如以上参照图13的S71所描述，显示装置50A的操作输入单元52通过操作者在操作画面200上的输入操作接收设定目的地按钮290的选择(S131)。接下来，发送和接收单元51向信息处理装置90发送用于请求指示目的地候选的数据的目的地候选获取请求(S132)。目的地候选获取请求包含用于确定配置有移动设备10A的据点的据点ID。因此，信息处理装置90的发送和接收单元91接收从显示装置50A发送的目的地候选获取请求。

接下来，信息处理装置90的存储和读取单元99使用在S132接收的目的地候选获取请求的据点ID作为检索关键字检索目的地候选管理DB 3001(参见图6)，以读取与接收到的据点ID相同的据点ID相关联的目的地候选数据(S133)。然后，发送和接收单元91将在S133读取的目的地候选数据发送到作为请求源的显示装置50A(S134)。在S133读取的目的地候选数据包括对于多个目的地候选中的每一个的候选ID、捕获图像和位置信息。显示装置50A接收从信息处理装置90发送的目的地候选数据。

接下来，显示装置50A的显示控制单元53在诸如显示器506的显示器上显示包括在S134接收到的目的地候选数据的选择画面400，诸如图14或图15的选择画面400(S135)。从S135到S139的处理与以上参照图13描述的S75到S79相同或基本相同的方式执行，因此，下面省略描述。图27所示的设定目的地候选的处理与上述实施例相同，是设定移动设备10A的移动候选的处理的一例。该设定处理不仅可以在设定移动设备10A的目的地候选时进行，也可以在设定从移动设备10A的移动路径中排除场所的候选时进行。

如上所述，根据变形例1的通信系统1A在显示装置50A上显示包括目的地候选图像的选择画面400，以允许操作者选择移动设备10A的目的地，即使当在信息处理装置90登记和管理目的地候选图像时也是如此。由此，能够提高操作者选择移动设备10A的移动目的地时的操作性。此外，在通信系统1A中，信息处理装置90集中管理目的地候选数据的登记。这允许操作者使用从不同的移动设备10A获取的捕获图像选择移动目的地。由此，操作者设定移动设备10A的目的地时的操作性得到提高。

变形例2

接着，参照图28～图30，说明本实施例的变形例2的通信系统1B。在变形例2中，与上述实施例中描述的元件基本相同的元件分配以相同的附图标记。省略其描述。变形例2所涉及的通信系统1B是将从服务系统N提供的图像显示在显示装置50B上，供操作者选择移动设备10B的目的地的系统。

图28是表示实施例的变形例2的通信系统1B的结构的一例的图。变形例2的通信系统1B具备移动设备10B、显示装置50B、以及经由通信网络100与移动设备10B以及显示装置50B进行通信的服务系统N。

服务系统N经由通信网络100提供各种服务。在本公开中，服务系统N由诸如服务提供商的第三方管理。服务系统N例如提供用于在云上存储数据文件的称为存储服务(或在线存储)的云服务，或者通过因特网连接使用检索引擎的检索服务。

显示装置50B执行预先安装的专用应用程序或者使用网络浏览器访问网站以获取从服务系统N提供的图像数据，使用图像数据选择移动设备10B的目的地。通信系统1B可以从服务系统N获取在各种场所捕获的图像，使得要捕获的对象的场所不受限制。因此，移动设备10B不限于如上述实施例那样在现场移动的移动设备，也可以是不限定移动范围而在大范围内移动的移动设备。例如，如图28所示，移动设备10B也可以是汽车。在移动设备10B是汽车的情况下，显示装置50B可以是安装在汽车上的汽车导航装置，或者由乘坐汽车的驾驶员使用的智能电话。在这种情况下，操作据点和控制据点相同。

图29是表示本实施例的变形例2的移动设备10B的目的地候选的设定处理的一例的时序图。由于根据变形例2的通信系统1B是使用从服务系统N提供的一个或多个图像来设置目的地的系统，所以在上述实施例中描述的登记目的地候选的处理(参见图9)是不必要的。

显示装置50B的显示控制单元53使用专用应用程序或网络浏览器访问服务系统N，在显示器506等显示器上显示图像检索画面800(S201)。图30是示例图像检索画面800的图示。图30所示的图像检索画面800是用于请求检索能够从服务系统N取得的图像的画面。即，图像检索画面800是由服务系统N提供的服务提供画面、合适的网站等。

图像检索画面800包括用于输入关键词的关键词输入区域810，以及按压以请求使用在关键词输入区域810中输入的关键词检索图像的检索按钮815。图像检索画面800还包括:位置信息输入区域830，用于输入特定位置信息；地图参照按钮831，用于按压以显示指定位置信息所参照的地图；以及检索按钮835，用于使用输入到位置信息输入区域830的位置信息或通过选择地图参照按钮831而显示的地图上所指定的位置信息检索图像。图像检索画面800还包括按压以取消图像检索的取消按钮805。

显示装置50B的操作输入单元52在图像检索画面800上接收关键词或位置信息的输入(S202)。当操作输入单元52接收到检索按钮815或检索按钮835的选择时，发送和接收单元51向服务系统N发送图像获取请求(S203)。该图像获取请求包括在S202接收到的输入数据。

接着，服务系统N根据从显示装置50B发送来的输入数据检索一个以上的图像，将该检索结果的图像数据发送到请求源的显示装置50B(S204)。显示装置50B的发送和接收单元51接收从服务系统N发送来的图像数据。

显示装置50B的发送和接收单元51将包含在S204接收的检索到的图像数据的诸如图14和图15所示的选择画面400显示在诸如显示器506的显示器上(S205)。在该情况下，在选择画面400的图像显示区域410中显示从服务系统N发送来的图像数据。从S206到S209的处理以与以上参照图13描述的S76到S79相同或基本相同的方式执行，因此，省略其描述。

如上所述，变形例2的通信系统1B能够使用从服务系统N提供的图像信息选择移动设备10B的移动目的地。因此，不需要将由移动设备10B捕获的捕获图像登记为移动目的地的候选。由此，能够提高操作者选择移动设备10B的移动目的地时的操作性。另外，通信系统1B通过进行图像检索，能够从服务系统N取得在各据点捕获的图像。由此，操作者能够不受移动设备10B的移动范围的限制地设定移动设备10B的移动目的地。

图31是表示根据变形例2的通信系统1B的功能配置的示例的图。图31的显示装置50B具有与图25所示的通信系统1A的显示装置50A相同的功能配置。控制移动设备10B的处理或动作的控制装置30B除了路径信息生成器37、路径信息管理器38、目的地设定器39、学习单元48以及在存储单元3000中的路径信息管理DB 3002以外，具有与图25的控制装置30A相同的结构。

图31所示的通信系统1B还包括可以存在于服务系统N的信息处理装置90B。信息处理装置90B例如支持诸如AWS的云计算服务。在通信系统1B中，如箭头a、b所示，显示装置50B和移动设备10B(控制装置30B)经由信息处理装置90进行通信。另外，控制装置30A的路径信息生成器37、路径信息管理器38、目的地设定器39、学习单元48以及路径信息管理DB 3002设置在信息处理装置90B中。信息处理装置90B包括发送和接收单元91、地图信息管理器92、路径信息生成器93、路径信息管理器94、移动目的地设定器95和学习单元96。存储单元9000存储目的地候选管理DB 9001、地图信息管理DB 9002、学习数据管理DB 9003、路径信息管理DB 9004。由于从控制装置30A(图25)排除并且添加到信息处理装置90B的上述单元的功能与参照图25描述的功能相同，因此，省略其描述。

如上所述，在通信系统1B中，经由与云计算服务对应的信息处理装置90B执行显示装置50B与移动设备10B(控制装置30B)之间的通信。在这种服务系统N上的信息处理装置90B中，通过在通信期间使用由云计算服务提供的认证处理，诸如来自显示装置50B的手动操作指令或来自移动设备10B的捕获图像数据之类的数据能安全地发送。此外，信息处理装置90B(云服务)提供有生成和管理数据的功能。这样的数据可以在多个据点之间共享。这不仅可以灵活地支持对等(P2P)通信(一对一直接通信)，而且可以灵活地支持一对多据点通信。

如上所述，根据一个实施例的显示装置50(50A、50B)对移动设备10(10A、10B)执行预定操作。具体地说，显示装置50获取一个或多个捕获图像415，以操作者可选择的方式显示所获取的捕获图像415，并且接收对所显示的捕获图像415中的一个或多个的选择。显示装置50(50A、50B)基于所选择的各捕获图像415所表示的区域，设定移动设备10(10A、10B)的移动目的地。利用显示装置50(50A、50B)的上述配置，提高了操作者在选择移动设备10(10A、10B)的移动目的地时的可操作性。

具体地说，根据一个实施例的显示装置50(50A、50B)将所获取的捕获图像415中的每一个显示为表示移动设备10(10A、10B)的移动目的地的候选的图像。响应于操作者的选择，显示装置50(50A、50B)选择由所选择的捕获图像415表示的区域作为移动设备10的移动目的地。由此，与操作者指定位置信息或关键词等字符串的方法相比，能够提高操作者选择移动设备10(10A、10B)的移动目的地时的操作性。另外，显示装置50(50A、50B)作为表示移动设备10(10A、10B)的移动目的地的候选的图像，显示表示移动设备10(10A、10B)的移动目的地(即最终目的地)的候选的图像。因此，显示装置50(50A、50B)使用作为移动目的地候选的图像的所获取的捕获图像415，选择由捕获图像415表示的区域作为移动设备10的移动目的地。由此，能够提高操作者选择移动设备10(10A、10B)的移动目的地时的操作性。

此外，根据一个实施例的显示装置使得移动设备10(10A、10B)沿着基于所选择的捕获图像415所表示的区域确定的移动路径自主地移动。具体地说，显示装置50(50A、50B)使得移动设备10(10A、10B)沿着基于所选择的捕获图像415所表示的区域而设定的移动路径自主地移动。当显示装置50(50A、50B)接收到对多个捕获图像415的选择时，显示装置50指示移动设备10(10A、10B)以接收到的对多个捕获图像415的选择的顺序沿着移动路径自主地移动到多个移动目的地。即，显示装置50(50A、50B)允许操作者一个接一个地顺序选择多个捕获图像415，设定分别由所选择的捕获图像415表示的多个移动目的地的顺序。移动设备10(10A、10B)按照所设定的顺序，自主地沿着表示向多个移动目的地移动的移动路径移动。

根据一个实施例的显示装置50(50A、50B)显示移动设备10(10A、10B)移动到所选择的捕获图像415所表示的区域所花费的时间。由此，操作者能够基于移动时间适当地决定是否选择移动目的地，或者基于移动时间决定向多个移动目的地的移动顺序。

在一个实施例中，所显示的捕获图像是移动设备10(10A、10B)移动的预定据点内所有方向而获得的特殊图像450，诸如球形图像。在接收到特殊图像450中的特定位置的选择时，显示装置50(50A、50B)使得移动设备10(10A、10B)沿着基于特殊图像450上的所选择的位置而生成的移动路径自主地移动。由此，显示装置50(50A、50B)能够选择特殊图像450上的特定位置作为移动设备10(10A、10B)的移动目的地的候选。由此，操作者选择移动设备10(10A、10B)的移动目的地时的操作性提高。

在一个实施例中，显示装置50(50A、50B)与捕获图像415一起显示表示捕获图像415中的对象的特性的附加信息490。例如，显示装置50(50A、50B)可以与捕获图像415一起显示捕获图像415中的对象的名称作为附加信息490。与仅通过查看捕获图像415选择移动设备10的移动目的地的情况相比，这能使得操作者更合适地做出判断。

根据另一个实施例，通信系统1(1A、1B)具备:对移动设备10(50A、50B)进行规定操作的显示装置50(50A、50B)；以及能够与显示装置50(50A、50B)进行通信的移动设备10(10A、10B)。移动设备10(10A、10B)基于所选择的捕获图像415的捕获位置，生成表示移动体10(10A、10B)的移动路径的路径信息。移动设备10(10A、10B)基于所生成的路径信息所表示的移动路径自主地移动。因此，在通信系统1(1A、1B)中，移动设备10(10A、10B)按照基于由操作者选择的捕获图像415而生成的移动路径自主地移动。

如上所述，根据一个实施例的显示装置50(50A、50B)对在所定据点内移动的移动设备10(10A、10B)进行规定的操作。显示装置50(50A)取得由移动设备10(10A)捕获的据点内一部分区域的捕获图像415。显示装置50(50A)显示所获取的捕获图像415，作为用于设定自主移动的移动设备10(10A)的移动目的地的信息。由此，显示装置50(50A)提供操作者能够容易地选择移动设备10(10A)的移动目的地的显示画面。

在一个示例中，显示装置50(50A)例如根据移动设备10(10A)的移动状态基于预定基准中的至少一个获取已用移动设备10(10A)捕获的据点的一部分的捕获图像415。显示装置50(50A)显示例如根据移动设备10(10A)的移动状态基于预定基准中的至少一个自动获取的捕获图像415。由此，显示装置50(50A)提供操作者能够容易地设定自主移动的移动设备10(10A)的移动路径的显示画面(例如，选择画面400)。

在一个示例中，显示装置50(50A)获取当移动设备10(10A)执行预设任务时捕获的捕获图像415。在另一示例中，显示装置50(50A)获取当移动设备10(10A)停止时捕获的捕获图像415。在又一示例中，显示装置50(50A)获取当沿着移动设备10(10A)的移动路径检测到特定对象时捕获的捕获图像415。在又一示例中，显示装置50(50A)获取当在移动设备10(10A)上的手动操作的方向改变时捕获的捕获图像415。显示装置50(50A)显示基于根据例如与移动设备10(10A)的移动状态的预定判断基准自动获取的捕获图像415。由此，显示装置50(50A)提供操作者能够容易地设定自主移动的移动设备10(10A)的移动路径的显示画面(例如，选择画面400)。

根据另一实施例，通信系统1(1A)具备:显示装置50(50A)，其对在据点移动的移动设备10(10A)进行规定的操作；以及移动设备10(10A)，其能够与显示装置50(50A)进行通信。移动设备10(10A)按照由显示装置50(50A)接收到的表示手动操作的手动操作指令进行移动。移动设备10(10A)根据通过手动操作而移动的移动设备10(10A)的移动状态，取得在移动设备10(10A)的当前位置捕获到的捕获图像415。因此，通信系统1(1A)通过根据移动设备10(10A)的手动操作的状态，自动获取在作为移动目的地候选登记的据点内的区域进行捕获的捕获图像415。这减少了登记移动目的地候选所需的时间和努力。

可以使用包括配置或编程为执行所公开的功能的通用处理器、专用处理器、集成电路、专用集成电路(ASIC)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、传统电路和/或其组合的电路或处理电路实现本文所公开的元件的功能。处理器可以是处理电路或其中包括晶体管和其它电路的电路。在本公开中，电路、单元或模块是执行或编程为执行所述功能的硬件。硬件可以是在此公开的或以其他方式已知的编程或配置为执行所述功能的任何硬件。当硬件是一种类型的电路的处理器时，该电路、装置或单元是硬件和软件的组合，该软件用于配置硬件和/或处理器。

此外，可以通过机器学习生成上述实施例中的任何一个的各种表。此外，可以对关联项目的数据进行分类，使得表的使用可以是可选的。在本公开中，机器学习是使得计算机能够获取类人学习能力的技术。机器学习是指计算机从预先加载的学习数据自主地生成诸如数据识别的确定所需的算法，将所生成的算法应用于新数据以进行预测的技术。任何适当的学习方法应用于机器学习，例如，监督学习、无监督学习、半监督学习、强化学习和深度学习中的任何一个，或者这些学习中的两个或更多个的组合。

上面已经描述了根据本发明的实施例的显示装置、通信系统、显示控制方法和程序，但是本发明不限于上述实施例，根据上述教导，许多附加的修改和变化是可能的。例如，在本发明的范围内，不同说明性实施例的元件和/或特征可以互相组合和/或互相替换。上述处理中的任何一个可以以各种其他方式执行，例如，以与上述处理不同的顺序执行。

在一个示例中，显示装置包括:接收单元，配置为接收多个捕获图像，每个捕获图像是通过由移动设备捕获据点的一部分而获得的；以及显示控制单元，配置为显示多个捕获图像，作为用于设定自主移动的移动设备的移动目的地的信息。

在一个示例中，捕获图像由移动设备根据操作者的请求捕获。

在一个示例中，捕获图像是由移动设备基于预定基准中的至少一个(例如，根据移动设备的移动状态)捕获。可以对于每个移动设备10预先设置关于这样的预定基准的信息。在一个示例中，当移动设备执行预设任务时，移动设备捕获图像。在一个示例中，当移动设备停止移动时，移动设备捕获图像。在一个示例中，当移动设备在移动路径上检测到特定对象时，移动设备捕获图像。例如，特定对象可以是交叉口。在一个示例中，当移动设备接收到用于改变移动设备的移动方向的手动操作指令时，移动设备捕获图像。

在一个示例中，通信系统包括显示装置和与显示装置可通信地连接的移动设备。显示装置包括:接收单元，配置为接收多个捕获图像，每个捕获图像是通过由移动设备捕获据点的一部分而获得；以及显示控制单元，配置为显示多个捕获图像作为用于设定自主移动的移动设备的移动目的地的信息。

在一个示例中，显示装置还包括从用户接收对移动设备的手动操作的操作输入单元。所述移动设备包括:手动操作处理器，配置为根据所述手动操作控制所述移动设备的移动；以及目的地候选获取器，配置为获取在所述移动设备的当前位置捕获的至少一个图像，作为要存储在存储单元中的多个捕获图像中的至少一个。

在一个示例中，通信系统还包括存储单元，其与所捕获的至少一个图像的位置信息相关联地存储所述多个捕获图像中的所述至少一个图像。

在一个示例中，目的地候选获取器配置为当移动设备接近由存储在存储单元中的多个捕获图像之一的位置信息表示的区域时，获取在移动设备的当前位置捕获的至少一个图像。

本发明可以以任何方便的形式实现，例如使用专用硬件，或专用硬件和软件的混合。本发明可以实现为由一个或多个联网处理设备实现的计算机软件。处理设备可以为任何适当编程的设备，例如通用计算机，个人数字助理，移动电话(例如WAP或3G兼容电话)等。由于本发明可以实现为软件，因此本发明的每个方面都包含可在可编程设备上实现的计算机软件。可以使用诸如记录介质的任何常规载体介质将计算机软件提供给可编程设备。载体介质可以是瞬态载体介质，例如携带计算机代码的电、光、微波、声学、或射频信号。这种瞬态介质的示例是在IP网络(例如因特网)上承载计算机代码的TCP/IP信号。载体介质还可以包括用于存储处理器可读代码的存储介质，例如软盘、硬盘、CDROM、磁带设备、或固态存储设备。

本专利申请基于并要求以下日本专利申请的优先权:申请号No.2021-046758、提交于2021年3月22日的日本专利申请，申请号No.2021-046773、提交于2021年3月22日的日本专利申请，申请号No.2021-093753、提交于2021年6月3日的日本专利申请，以及申请号No.2022-021281、提交于2022年2月15日的日本专利申请，这些日本专利申请的全部公开内容通过引用并入本文。

附图标记列表

1,1A，1B通信系统

100通信网络

10、10A、10B移动设备

30、30A、30B控制装置

31发送和接收单元

32判断单元

35位置信息获取器

36目的地候选获取器(第二获取装置的示例)

37路径信息生成器(路径信息生成单元的示例)

40移动控制器(移动控制单元的示例)

41图像识别处理器

42模式设定器

43自主移动处理器

44手动操作处理器(移动处理装置的示例)

45任务执行单元

48学习单元

3000存储单元(存储装置的示例)

50,50A，50B显示装置

51发送和接收单元(获取装置的示例，发送装置的示例)

52操作输入单元(输入装置的示例)

53显示控制单元(显示控制装置的示例)

56自主移动请求生成器(生成装置的示例)

90信息处理装置

91发送和接收单元

9000存储单元(存储装置的示例)

200操作画面

400、400A、400B、400C、400D、400E选择画面

415捕获图像

450特殊图像

490附加信息

600A、600B操作画面

800图像检索画面

权利要求书(按照条约第19条的修改)

1.(修正后)

一种显示装置，包括:

显示控制单元，配置为在显示器上显示多个捕获图像以供用户选择；以及

操作输入单元，配置为接收从正在显示的所述多个捕获图像中对一个或多个捕获图像的选择，

其中，基于所选择的所述一个或多个捕获图像，设定移动设备的一个或多个移动目的地。

2.根据权利要求1所述的显示装置，其中

所述一个或多个所选择的捕获图像包括表示所述移动设备移动到最终目的地的捕获图像。

3.根据权利要求2所述的显示装置，其中

所述一个或多个所选择的捕获图像进一步包括各自表示所述移动设备移动到最终目的地所经过的路径点的捕获图像。

4.根据权利要求1至3中任一项所述的显示装置，其中

所述操作输入单元按顺序接收对所述一个或多个捕获图像的选择，以及

所述自主移动请求信息包括关于所述一个或多个捕获图像被选择的顺序的信息，所述信息使得所述移动设备以对应的一个或多个捕获图像被选择的顺序自主地移动到所述一个或多个移动目的地。

5.根据权利要求1至4中任一项所述的显示装置，其中

所述显示控制单元进一步配置为显示所述移动设备移动到所述一个或多个移动目的地中的至少一个移动目的地的估计时间。

6.根据权利要求1至5中任一项所述的显示装置，其中

所述捕获图像是提供所述移动设备的据点的球形图像，

所述操作输入单元接收对正在显示的所述球形图像上的位置的选择，以及

所述自主移动请求信息进一步包括关于所述球形图像上的所述位置的信息，其使得所述移动设备自主地移动到由所选择的所述特殊图像上的所述位置指示的区域。

7.根据权利要求1至6中任一项所述的显示装置，其中

所述显示控制单元配置为进一步显示地图图像，所述地图图像对于所述一个或多个所选择的捕获图像中的每一个指示捕获所述捕获图像的位置。

8.根据权利要求1至7中任一项所述的显示装置，其中

所述显示控制单元配置为对于所述一个或多个所选择的捕获图像中的至少一个进一步显示指示所述捕获图像中对象的特征的附加信息。

9.根据权利要求1至8中任一项所述的显示装置，其中

所述显示控制单元配置为进一步显示已经开始自主地移动到由所选择的所述捕获图像指示的所述区域的所述移动设备的当前位置。

10.根据权利要求1至9中任一项所述的显示装置，其中

所述操作输入单元进一步配置为接收关于提供所述移动设备的据点的信息，以及

所述接收单元进一步配置为接收特定于提供所述移动设备的所述据点的所述多个捕获图像。

11.(新追加)

根据权利要求1所述的显示装置，其中，所述显示装置进一步包括:

接收单元，配置为接收所述多个捕获图像；

自主移动请求生成器，配置为生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送单元，配置为发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

12.(修正后)

一种通信系统，包括:

根据权利要求1至11中任一项所述的显示装置；以及

移动设备，配置为根据来自所述显示装置的请求自主地移动。

13.(修正后)

根据权利要求12所述的通信系统，其中

所述移动设备包括:

路径信息生成器，配置为基于所述一个或多个所选择的捕获图像各自的位置信息，生成指示所述移动设备的移动路径的路径信息，各位置信息指示所述捕获图像的捕获位置；以及

移动控制器，配置为基于由所述路径信息指示的所述移动路径控制所述移动设备自主地移动。

14.(修正后)

根据权利要求12或13所述的通信系统，进一步包括:

存储单元，配置为存储由所述移动设备捕获的多个捕获图像，

其中，所述显示装置从所述存储单元获得用于显示的所述多个捕获图像。

15.(修正后)

根据权利要求14所述的通信系统，其中

所述移动设备包括图像捕获控制单元，其配置为基于预定基准中的至少一个捕获要存储在所述存储单元中的所述多个捕获图像。

16.(修正后)

根据权利要求15所述的通信系统，其中，所述预定基准包括:

所述移动设备正在执行预设任务的状态；

所述移动设备停止移动的状态；

所述移动设备检测到特定对象的状态；以及

所述移动设备接收到用于改变所述移动设备的移动方向的手动操作指令的状态。

17.(修正后)

根据权利要求14所述的通信系统，其中

所述移动设备包括图像捕获控制单元，其配置为响应于来自所述用户的捕获请求，捕获要存储在所述存储单元中的所述多个捕获图像。

18.(修正后)

根据权利要求14所述的通信系统，其中

所述显示装置的所述操作输入单元进一步配置为从所述用户接收对所述移动设备的手动操作，

所述移动设备进一步包括:

手动操作处理器，配置为根据所述手动操作控制所述移动设备的移动，以及

目的地候选获取器，配置为获取在所述移动设备的当前位置捕获的至少一个图像，作为要存储在所述存储单元中的所述多个捕获图像中的至少一个。

19.(修正后)

根据权利要求17所述的通信系统，其中

所述目的地候选获取器进一步配置为获取要与所述多个捕获图像中的所述至少一个捕获图像相关联地存储在所述存储单元中的所述至少一个图像的位置信息。

20.(修正后)

根据权利要求19所述的通信系统，其中

所述目的地候选获取器配置为当所述移动设备接近由存储在所述存储单元中的多个捕获图像之一的所述位置信息指示的区域时，获取在所述移动设备的当前位置捕获的至少一个图像。

21.(修正后)

一种显示控制方法，包括:

在显示器上显示多个捕获图像以供用户选择，作为移动设备的移动目的地的候选；

从正在显示的所述多个捕获图像中接收对一个或多个捕获图像的选择；以及

生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息，

使得基于所选择的所述一个或多个捕获图像，设定移动设备的一个或多个移动目的地。

22.(新追加)

根据权利要求21所述的显示控制方法，其中，使得设定一个或多个移动目的地包括:

生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

23.(修正后)

一种记录介质,存储用于使计算机系统执行权利要求21或22的显示控制方法的计算机可读代码。

Claims (21)

1.一种显示装置，包括:

接收单元，配置为接收多个捕获图像；

显示控制单元，配置为在显示器上显示所述多个捕获图像以供用户选择，作为移动设备的移动目的地的候选；

操作输入单元，配置为接收从正在显示的所述多个捕获图像中对一个或多个捕获图像的选择；

自主移动请求生成器，配置为生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送单元，配置为发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

2.根据权利要求1所述的显示装置，其中

所述一个或多个所选择的捕获图像包括表示所述移动设备移动到最终目的地的捕获图像。

3.根据权利要求2所述的显示装置，其中

所述一个或多个所选择的捕获图像进一步包括各自表示所述移动设备移动到最终目的地所经过的路径点的捕获图像。

4.根据权利要求1至3中任一项所述的显示装置，其中

所述操作输入单元按顺序接收对所述一个或多个捕获图像的选择，以及

所述自主移动请求信息包括关于所述一个或多个捕获图像被选择的顺序的信息，所述信息使得所述移动设备以对应的一个或多个捕获图像被选择的顺序自主地移动到所述一个或多个移动目的地。

5.根据权利要求1至4中任一项所述的显示装置，其中

所述显示控制单元进一步配置为显示所述移动设备移动到所述一个或多个移动目的地中的至少一个移动目的地的估计时间。

6.根据权利要求1至5中任一项所述的显示装置，其中

所述捕获图像是提供所述移动设备的据点的球形图像，

所述操作输入单元接收对正在显示的所述球形图像上的位置的选择，以及

所述自主移动请求信息进一步包括关于所述球形图像上的所述位置的信息，其使得所述移动设备自主地移动到由所选择的所述特殊图像上的所述位置指示的区域。

7.根据权利要求1至6中任一项所述的显示装置，其中

所述显示控制单元配置为进一步显示地图图像，所述地图图像对于所述一个或多个所选择的捕获图像中的每一个指示捕获所述捕获图像的位置。

8.根据权利要求1至7中任一项所述的显示装置，其中

所述显示控制单元配置为对于所述一个或多个所选择的捕获图像中的至少一个进一步显示指示所述捕获图像中对象的特征的附加信息。

9.根据权利要求1至8中任一项所述的显示装置，其中

所述显示控制单元配置为进一步显示已经开始自主地移动到由所选择的所述捕获图像指示的所述区域的所述移动设备的当前位置。

10.根据权利要求1至9中任一项所述的显示装置，其中

所述操作输入单元进一步配置为接收关于提供所述移动设备的据点的信息，以及

所述接收单元进一步配置为接收特定于提供所述移动设备的所述据点的所述多个捕获图像。

11.一种通信系统，包括:

根据权利要求1至10中任一项所述的显示装置；以及

移动设备，配置为根据来自所述显示装置的请求自主地移动。

12.根据权利要求11所述的通信系统，其中

所述移动设备包括:

路径信息生成器，配置为基于所述一个或多个所选择的捕获图像各自的位置信息，生成指示所述移动设备的移动路径的路径信息，各位置信息指示所述捕获图像的捕获位置；以及

移动控制器，配置为基于由所述路径信息指示的所述移动路径控制所述移动设备自主地移动。

13.根据权利要求11或12所述的通信系统，进一步包括:

存储单元，配置为存储由所述移动设备捕获的多个捕获图像，

其中，所述显示装置从所述存储单元获得用于显示的所述多个捕获图像。

14.根据权利要求13所述的通信系统，其中

所述移动设备包括图像捕获控制单元，其配置为基于预定基准中的至少一个捕获要存储在所述存储单元中的所述多个捕获图像。

15.根据权利要求14所述的通信系统，其中，所述预定基准包括:

所述移动设备正在执行预设任务的状态；

所述移动设备停止移动的状态；

所述移动设备检测到特定对象的状态；以及

所述移动设备接收到用于改变所述移动设备的移动方向的手动操作指令的状态。

16.根据权利要求13所述的通信系统，其中

所述移动设备包括图像捕获控制单元，其配置为响应于来自所述用户的捕获请求，捕获要存储在所述存储单元中的所述多个捕获图像。

17.根据权利要求13所述的通信系统，其中

所述显示装置的所述操作输入单元进一步配置为从所述用户接收对所述移动设备的手动操作，

所述移动设备进一步包括:

手动操作处理器，配置为根据所述手动操作控制所述移动设备的移动，以及

目的地候选获取器，配置为获取在所述移动设备的当前位置捕获的至少一个图像，作为要存储在所述存储单元中的所述多个捕获图像中的至少一个。

18.根据权利要求16所述的通信系统，其中

所述目的地候选获取器进一步配置为获取要与所述多个捕获图像中的所述至少一个捕获图像相关联地存储在所述存储单元中的所述至少一个图像的位置信息。

19.根据权利要求18所述的通信系统，其中

所述目的地候选获取器配置为当所述移动设备接近由存储在所述存储单元中的多个捕获图像之一的所述位置信息指示的区域时，获取在所述移动设备的当前位置捕获的至少一个图像。

20.一种显示控制方法，包括:

接收多个捕获图像；

在显示器上显示所述多个捕获图像以供用户选择，作为移动设备的移动目的地的候选；

从正在显示的所述多个捕获图像中接收对一个或多个捕获图像的选择；

生成包括关于所述一个或多个所选择的捕获图像的信息的自主移动请求信息；以及

发送所述自主移动请求信息，所述自主移动请求信息使得所述移动设备自主地移动到一个或多个移动目的地，所述一个或多个移动目的地各自对应于由所述一个或多个所选择的捕获图像中的对应捕获图像指示的区域。

21.一种记录介质,存储用于使计算机系统执行权利要求20的显示控制方法的计算机可读代码。