CN117042931A - 显示系统、通信系统、显示控制方法及程序 - Google Patents

Abstract

公开了一种用于执行关于移动体的预定操作的显示系统。所述显示系统包括操作接收单元，所述操作接收单元被配置为接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及显示控制器，所述显示控制器被配置为显示表示所述自主移动的准确性的通知信息。

Description

显示系统、通信系统、显示控制方法及程序

技术领域

本公开涉及显示系统、通信系统、显示控制方法及程序。

背景技术

已知机器人安装在诸如工厂或仓库的位置，并且能够在该位置内自主移动。这样的机器人例如用作检查机器人和服务机器人，并且可以代表操作者执行诸如检查该位置中的设施的任务。

另外，还已知其中远程位置处的用户可以根据机器人的状态、位置的状态、使用的目的等手动操作能够在位置内自主移动的机器人的系统。例如，专利文献1公开了其中无人驾驶车辆基于基于测距数据的驾驶环境和远程控制装置的通信环境之间的混合比在自主驾驶和无人驾驶车辆本身的远程控制之间切换并且将结果呈现给用户的内容。

另外，专利文献2公开了用于使用用户界面将机器人手动驱动或自主导航到期望目的地的内容。

引文列表

专利文献

[PTL1]日本公开未审查专利申请号2011-150516

[PTL 2]PCT国际申请公开号JP-T-2014-503376的日文译文

发明内容

技术问题

然而，在现有技术方法中，当用户期望在诸如机器人的移动体的自主移动和手动操作之间切换时，用户难以确定适当的切换操作。

另外，在现有技术方法中，当用户期望在移动体的自主移动和手动操作之间切换时，用户难以正确地识别诸如机器人的移动体的移动状态。

问题的技术方案

根据实施例的一方面，提供了一种用于执行关于移动体执行的预定操作的显示系统。所述显示系统包括

操作接收单元，所述操作接收单元被配置为接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制器，所述显示控制器被配置为显示表示所述自主移动的准确性的通知信息。

根据实施例的另一方面，提供了一种用于显示由在预定位置内移动的移动体捕获的图像的显示系统。所述显示系统包括

接收器，所述接收器被配置为从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制器，所述显示控制器被配置为将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

本发明的有益效果

根据本公开的本实施例，有利地使得用户能够容易地确定移动体的自主移动和手动操作之间的切换。

根据本公开的本实施例，有利地使得用户能够正确地识别移动体的移动状态。

附图说明

图1是图示通信系统的总体配置的示例的示意图。

图2是图示移动体的示意性配置的示例的示意图。

图3是图示移动体的硬件配置的示例的示意图。

图4是图示显示设备的硬件配置的示例的示意图。

图5是图示通信系统的功能配置的示例的示意图。

图6是图示地图信息管理表的示例的示意图。

图7是图示目的地系列管理表的示例的示意图。

图8是图示路线信息管理表的示例的示意图。

图9是图示移动体的移动控制过程的示例的序列图。

图10是图示直到移动体的移动的开始的过程的示例的序列图。

图11A是图示路线输入画面的示例的示意图。

图11B是图示路线输入画面的示例的示意图。

图12是图示使用操作画面在移动体的自主移动和手动操作之间的切换过程的示例的序列图。

图13是图示操作画面的示例的示意图。

图14是图示操作画面的示例的示意图。

图15A是图示操作画面的示例的示意图。

图15B是图示操作画面的示例的示意图。

图16是图示移动体中的自主移动模式和手动操作模式之间的切换过程的示例的流程图。

图17是图示移动体的自主移动过程的示例的流程图。

图18是图示移动体的手动操作过程的示例的序列图。

图19是图示操作命令输入画面的示例的示意图。

图20A是图示操作画面的第一修改的示意图。

图20B是图示操作画面的第一修改的示意图。

图21是图示操作画面的第二修改的示意图。

图22是图示操作画面的第三修改的示意图。

图23是图示操作画面的第四修改的示意图。

图24是图示操作画面的第五修改的示意图。

图25是图示操作画面的第六修改的示意图。

图26是图示根据实施例的第一修改的通信系统的功能配置的示例的示意图。

图27是图示根据实施例的第一修改的移动体的自主移动和使用操作画面的手动操作的切换过程的示例的序列图。

图28是图示根据实施例的第二修改的通信系统的总体配置的示例的示意图。

图29是图示根据实施例的第二修改的通信系统的功能配置的示例的示意图。

图30是图示根据实施例的第二修改的直到移动体的移动的开始的过程的示例的序列图。

图31是图示根据实施例的第二修改的移动体的自主移动和使用操作画面的手动操作的切换过程的示例的序列图。

图32是图示通信系统的功能配置的示例的示意图。

具体实施方式

在下文中，将参考附图描述用于实施本发明的实施例。在附图的描述中，相同的元件由相同的附图标记表示，并且省略了重复的描述。

实施例

系统配置

图1是图示通信系统的总体配置的示例的示意图。图1所示的通信系统1是使得用户能够在预定位置内远程控制移动体10的系统。

通信系统1包括设置在预定位置的移动体10和显示装置50。构成通信系统1的移动体10和显示装置50可以通过通信网络100进行通信。通信网络100由互联网、移动体通信网络、局域网(LAN)等构成。注意，通信网络100可以包括无线通信网络(诸如3G(第三代)、4G(第四代)、5G(第五代)、Wi-Fi(无线保真)、WiMAX(全球微波接入互操作性)和LTE(长期演进))、以及有线通信网络。

移动体10是安装在目标位置并且能够在目标位置内自主移动的机器人。移动体的这种自主移动涉及目标位置内先前移动的路线的模拟学习(机器学习)，以便使用模拟学习的结果在目标位置内自主移动。自主移动还可以涉及根据预定移动路线在目标位置内自主移动的操作或使用诸如线追踪的技术在目标位置内自主移动的操作。另外，移动体10可以通过来自远程用户的手动操作来移动。也就是说，移动体10可以在自主移动和用户的手动操作之间切换的同时在目标位置内移动。例如，移动体10还可以在目标位置内移动时执行预定任务，诸如检查、维护、运输或轻负载。在本文中，移动体10是指广义上的机器人，并且可以是指能够执行自主移动和由用户远程操作的移动两者的机器人。移动体10的示例可以包括能够通过远程操作在自动操作和手动操作之间切换的车辆。另外，移动体10的示例还可以包括飞行器，诸如无人机、多旋翼飞行器、无人驾驶飞行器等。

安装移动体10的目标位置包括例如室外位置(诸如商业场所、工厂、建筑场所、变电站、农场、田地、果园/种植园、可耕地或灾区)或室内位置(诸如办公室、学校、工厂、仓库、商业设施、医院或疗养院)。换句话说，目标位置可以是需要移动体10执行通常手动完成的任务的任何位置。

显示装置50是位于与目标位置不同的管理位置处并且由对移动体10执行预定操作的操作者(用户)使用的计算机，诸如膝上型PC(个人计算机)等。在诸如办公室的管理位置处，操作者使用显示在显示装置50上的操作画面来执行操作，诸如关于移动体10的移动操作或用于使移动体10执行预定任务的操作。例如，操作者在观看显示在显示装置50上的目标位置的图像的同时远程控制移动体10。

图1图示了其中单个移动体10和显示装置50通过通信网络100连接到彼此的示例。然而，显示装置50可以被配置为连接到位于单个目标位置处的多个移动体10，或可以被配置为连接到位于不同目标位置处的移动体10。图1还图示了其中显示装置50位于与安装移动体10的目标位置不同的远程管理位置处的示例，但是显示装置50可以被配置为位于安装移动体10的目标位置内。另外，显示装置50不限于笔记本PC，并且例如可以是台式PC、平板终端、智能电话、可穿戴终端等。

在现有技术中，例如，当移动体在自主移动期间由于障碍物而变得不能行进时，操作者手动执行恢复操作以恢复自主移动。然而，操作者难以基于单独呈现给操作者的信息来准确地确定从手动操作切换到自主移动。另外，当使移动体在手动操作期间通过学习进行自主移动时，但是由于环境的变化(诸如天气条件或位置内的建筑物)而不能适当地使用先前的学习结果，操作者难以做出切换到手动操作以再次学习的决定。也就是说，当操作者希望在移动体的自主移动和手动操作之间切换时，操作者难以使用常规方法来进行适当的切换确定。

因此，通信系统1在由远程操作移动体10的操作者使用的显示装置50上显示表示移动体10的自主移动的准确性的通知信息，使得通信系统1使得操作者能够容易地确定是否在自主移动和手动操作之间切换。另外，通信系统1可以使用显示在显示装置50上的操作画面在移动体10的自主移动和手动操作之间相互切换，这可以改善在移动体10的自主移动和手动操作之间切换时的用户可操作性。此外，即使对于使用手动操作执行自主移动的移动路线的学习的移动体10，通信系统1也可以使得操作者能够适当地确定通过手动操作进行学习的必要性。

移动体的配置

随后，将参考图2描述移动体10的具体配置。图2是图示移动体的示意性配置的示例的示意图。应当注意，根据需要在图2所示的移动体10的配置中添加或省略部件。

图2所示的移动体10包括壳体11、成像装置12、支撑构件13、显示器14、移动机构15(15a和15b)和可移动臂16，壳体11包括被配置为控制移动体10的过程或操作的控制装置30，移动机构15(15a和15b)被配置为移动移动体10，可移动臂16被配置为使移动体10执行预定任务(操作)。壳体11包括控制装置30，控制装置30设置在移动体10的主体部分中，并且被配置为控制移动体10的过程或操作。

成像装置12捕获并获取位于移动体10安装的位置处的诸如人、物体或风景的对象的捕获图像。成像装置12通过在移动体10安装的位置处捕获诸如人、物体或风景的对象来获取捕获图像。成像装置12是能够获取平面图像(详细图像)的数字相机(通用成像装置)，诸如数字单镜头反光相机或紧凑型数字相机。由成像装置12获取的捕获图像可以是视频或静止图像，并且可以是视频和静止图像两者。由捕获图像成像装置12获取的捕获图像还可以包括音频数据以及图像数据。另外，成像装置12可以是能够获取整个球体(360度)的全景图像的广角成像装置。广角成像装置例如是被配置为捕获对象并获得作为全景图像的基础的两个半球形图像的全向成像装置。此外，广角成像装置可以是例如能够获取具有不小于预定值的视场角的广角图像的广角相机或立体相机。也就是说，广角成像装置是被配置为使用焦距短于预定值的镜头来捕获图像(全方位图像或广角图像)的单元。移动体10还可以包括多个成像装置12。在这种情况下，移动体10可以被配置为包括作为成像装置12的广角成像装置和通用成像装置两者，通过该通用成像装置可以捕获由广角成像装置捕获的对象的一部分以获得详细图像(平面图像)。在这种情况下，移动体10可以被配置为包括广角成像装置和能够捕获由广角成像装置捕获的对象的一部分以获得详细图像(平面图像)的通用成像装置两者作为成像装置12。

支撑构件13是被配置为将成像装置12固定(固着)到移动体10(壳体11)的构件。支撑构件13可以是固定到壳体11的杆或固定到壳体11的基座。支撑构件13可以是能够调节成像装置12的成像方向(取向)和位置(高度)的可移动构件。

移动机构15是被配置为移动移动体10的单元，并且包括轮子、行进马达、行进编码器、转向马达、转向编码器等。关于移动体10的移动控制，省略了其详细描述，因为移动控制是常规技术。然而，例如，移动体10从操作者(显示装置50)接收行进指令，并且移动机构15基于接收到的行进指令移动移动体10。移动机构15可以是双足步行脚型或单轮型。移动体10的形状不限于如图2所示的车辆类型，并且可以是例如双足步行类人类型、生物体的模拟形式、特定角色的模拟形式等。

可移动臂16具有能够实现除移动体10的移动之外的附加移动的操作单元。如图2所示，可移动臂16包括例如用于在可移动臂16的端部处抓握诸如部件的对象的手作为操作单元。移动体10可以通过使可移动臂16旋转或变形来执行预定操作(操作)。除了上述配置之外，移动体10可以包括能够检测移动体10周围的信息的各种传感器。例如，各种传感器是传感器装置，诸如气压计、温度计、光度计、人体传感器、气体传感器、气味传感器或照度计。

硬件配置

随后，将参考图3和图4描述根据实施例的形成通信系统的装置或终端的硬件配置。注意，可以根据需要在图3和图4所示的装置或终端的配置中添加或省略部件。

移动体的硬件配置

图3是图示移动体的硬件配置的示例的示意图。移动体10包括被配置为控制移动体10的过程或操作的控制装置30。如上所述，控制装置30被设置在移动体10的壳体11内部。控制装置30可以被设置在移动体10的壳体11外部，或可以被提供为与移动体10分开的装置。

控制装置30包括CPU(中央处理单元)301、ROM(只读存储器)302、RAM(随机存取存储器)303、HDD(硬盘驱动器)304、介质接口(I/F)305、输入输出接口(I/F)306、声音输入输出接口(I/F 307)、网络接口(I/F)308、短距离通信电路309、短距离通信电路309的天线309a、外部装置连接接口(I/F)311和总线线路310。

CPU 301控制整个移动体10。CPU 301是通过将存储在ROM 302、HD(硬盘)304a等中的程序或数据加载到RAM 303上并执行该过程来实施移动体10的功能的算术逻辑装置。

ROM 302是即使在断电时也可以保持程序或数据的非易失性存储器。RAM 303是用作CPU 301等的工作区域的易失性存储器。HDD 304根据CPU 301的控制来控制相对于HD304a的各种数据的读取或写入。HD 304a存储诸如程序的各种数据。介质接口(I/F)305控制相对于记录介质305a(诸如USB(通用串行总线)存储器、存储卡、光盘或闪存)的数据的读取或写入(存储)。

输入输出接口306是用于从各种外部装置输入字符、数字、各种指令等以及向各种外部装置输出字符、数字、各种指令等的接口。输入输出接口306控制诸如光标、菜单、窗口、字符或图像的各种信息相对于诸如LCD(液晶显示器)的显示器14的显示。显示器14可以是具有输入单元的触摸面板显示器。除了显示器14之外，输入输出接口306还可以与诸如鼠标的定位装置、诸如键盘的输入单元等连接。声音输入输出接口307是根据CPU 301的控制处理麦克风307a和扬声器307b之间的声音信号的输入和输出的电路。麦克风307a是根据CPU301的控制接收声音信号的一种类型的内置声音收集单元。扬声器307b是根据CPU 301的控制输出声音信号的一种类型的回放单元。

网络接口308是经由通信网络100与其他设备或装置通信(连接)的通信接口。网络接口308例如是诸如有线或无线LAN的通信接口。短距离通信电路309是诸如近场通信(NFC)或蓝牙(TM)的通信电路。外部装置连接接口(I/F)311是用于将其他装置连接到控制装置30的接口。

总线线路310是用于电连接部件的地址总线、数据总线等，并且传输地址信号、数据信号、各种控制信号等。CPU 301、ROM 302、RAM 303、HDD 304、介质接口305、输入输出接口306、声音输入输出接口307、网络接口308、短距离通信电路309和外部装置连接接口311经由总线线路310互连。

驱动马达101、致动器102、加速度-方位传感器103、GPS(全球定位系统)传感器104、成像装置12、电池120和障碍物检测传感器105经由外部装置连接接口311连接到控制装置30。

驱动马达101根据来自CPU 301的指令使移动机构15旋转以使移动体10沿着地面移动。致动器102基于来自CPU 301的指令使可动臂16变形。加速度-方位传感器103是诸如电磁罗盘、陀螺罗盘和用于检测地磁场的加速度传感器的传感器。GPS传感器104从GPS卫星接收GPS信号。电池120是向整个移动体10供应必要电力的单元。除了包含在移动体10内的电池120之外，电池120还可以包括用作外部辅助电源的外部电池。障碍物检测传感器105是在移动体10移动时检测周围障碍物的感测传感器。障碍物检测传感器105例如是图像传感器(诸如立体相机或安装在具有布置在平面中的光电转换元件的区域传感器上的相机)、或测距传感器(诸如TOF(飞行时间)传感器、光检测和测距(LIDAR)传感器、雷达传感器、激光测距仪、超声波传感器、深度相机或深度传感器)。

显示器的硬件配置

图4是图示显示装置的硬件配置的示例的示意图。显示装置50的每个硬件配置由数字500指示。显示装置50由计算机构成，并且包括CPU 501、ROM 502、RAM 503、HD 504、HDD控制器505、显示装置506、外部装置连接接口507、网络接口508、总线线路510、键盘511、定位装置512、声音输入输出接口513、麦克风514、扬声器515、相机516、DVD-RW(数字通用盘可重写)驱动器517和介质接口519，如图4所示。

其中，CPU 501控制整个显示装置50的操作。ROM 502存储用于驱动CPU 501的程序，诸如IPL(初始程序加载器)。RAM 503用作CPU 501的工作区域。HD 504存储诸如程序的各种数据。HDD控制器505根据CPU 501的控制来控制相对于HD 504的各种数据的读取或写入。显示装置506显示诸如光标、菜单、窗口、字符或图像的各种信息。显示装置506可以是具有输入单元的触摸面板显示器。显示装置506是显示单元的示例。作为显示装置506的显示单元可以是连接到显示装置50的具有显示功能的外部装置。显示单元可以是例如外部显示器，诸如IWB(交互式白板)、或从作为外部装置连接的PJ(投影仪)或HUD(平视显示器)投影图像的投影部分(例如，管理位置的天花板或墙壁、车身的挡风玻璃等)。外部装置连接接口507是用于连接各种外部装置的接口。网络接口508是用于使用通信网络100执行数据通信的接口。总线线路510是用于电连接诸如图4所示的CPU 501的部件的地址总线或数据总线等。

键盘511是具有用于输入字符、数字、各种指令等的多个键的一种类型的输入单元。定位装置512是用于选择或执行各种指令、选择处理目标、移动光标等的一种类型的输入单元。输入单元不仅可以是键盘511和定位装置512，而且可以是触摸面板或语音输入装置。诸如键盘511和定位装置512的输入单元也可以是显示装置50外部的UI(用户界面)。声音输入输出接口513是根据CPU 501的控制在麦克风514和扬声器515之间处理声音信号的电路。麦克风514是用于输入语音的一种类型的内置声音收集单元。扬声器515是用于输出音频信号的一种类型的内置输出单元。相机516是捕获对象以获得图像数据的一种类型的内置成像单元。麦克风514、扬声器515和相机516可以是外部装置，而不是内置在显示装置50中。DVD-RW驱动器517控制相对于作为可移除记录介质的示例的DVD-RW518的各种数据的读取或写入。可移动记录介质不限于DVD-RW，并且可以是DVD-R或蓝光盘(蓝光盘)。介质接口519控制相对于诸如闪存存储器的记录介质521的数据的读取或写入(存储)。

可以通过将文件以可安装格式或可执行格式记录在计算机可读记录介质中来分发上述程序中的每一个。记录介质的示例包括CD-R(可记录光盘)、DVD(数字通用盘)、蓝光盘、SD卡或USB存储器等。记录介质也可以被国内地或国际地提供为程序产品。例如，显示装置50通过执行根据本发明的程序来实施根据本发明的显示控制方法。

功能配置

接下来，将参考图5至图8描述根据实施例的通信系统的功能配置。图5是图示通信系统的功能配置的示例的示意图。图5图示了与稍后描述的过程或操作相关联的图1所示的装置或终端。

移动体(控制装置)的功能配置

首先，将参考图5描述被配置为控制移动体10的过程或操作的控制装置30的功能配置。控制装置30包括发送器-接收器31、判定单元32、成像控制器33、状态检测器34、地图信息管理器35、目的地系列管理器36、自定位估计器37、路线信息生成器38、路线信息管理器39、目的地设置器40、移动控制器41、模式设置器42、自主移动处理器43、手动操作处理器44、准确性计算器45、图像生成器46、学习单元47和存储-读取单元49。这些单元中的每一个是通过遵循RAM 303上加载的用于控制装置的程序而根据来自CPU 301的指令操作图3所示的部件中的一个来实施的功能或功能单元。控制装置30包括由图3所示的ROM 302、HD 304a或记录介质305a构成的存储单元3000。

发送器-接收器31主要通过CPU 301相对于网络接口308的处理来实施，并且通过通信网络100从其他装置或终端发送各种数据或信息以及将各种数据或信息接收到其他装置或终端。

判定单元32由CPU 301的处理来实施，并且执行各种确定。成像控制器33主要通过CPU 301相对于外部装置连接接口311的处理来实施，并且控制成像装置12的成像过程。例如，成像控制器33指示在成像装置12上执行成像过程。成像控制器33获取例如通过成像装置12的成像过程获得的捕获图像。

状态检测器34主要通过CPU 301相对于外部装置连接接口311的处理来实施，并且使用各种传感器来检测移动体10或移动体10周围的状态。状态检测器34使用例如障碍物检测传感器105测量到存在于移动体10周围的对象(障碍物)的距离，并且输出测量的距离作为距离数据。

状态检测器34使用例如GPS传感器104来检测移动体10的位置。具体地，状态检测器34使用GPS传感器104等获取存储在环境地图中的位置，该环境地图存储在地图信息管理数据库3001中。状态检测器34可以被配置为使用使用障碍物检测传感器105等测量的距离数据来应用SLAM(同时定位和地图构建)，以通过与环境地图匹配来获取位置。这里，SLAM是能够同时执行自定位估计和环境映射的技术。

此外，状态检测器34使用例如加速度-方位传感器103来检测移动体10面向的方向。

地图信息管理器35主要通过CPU 301的处理来实施，并且使用地图信息管理数据库3001管理表示安装移动体10的目标位置的环境地图的地图信息。例如，地图信息管理器35管理从外部服务器等下载的环境地图或表示通过应用SLAM而创建的环境地图的地图信息。

目的地系列管理器36主要通过CPU 301的处理来实施，并且使用目的地系列管理数据库3002来管理移动体10的移动路线上的目的地系列。目的地系列包括移动体10的移动路线上的最终目的地(目标)和到最终目的地的多个路径点(子目标)。目的地系列是由表示地图上的位置(坐标值)的位置信息指定的数据，诸如纬度和经度。例如，可以通过远程操纵和指派移动体10来获得目的地系列。例如，可以通过GUI(图形用户界面)从环境地图指定目的地方法。

自定位估计器37主要通过CPU 301的处理来实施，并且基于由状态检测器34检测到的位置信息和指示移动体10面向的方向的方向信息来估计移动体10的当前位置(自定位)。例如，自定位估计器37使用诸如扩展卡尔曼滤波器(EKF)的方法用于估计当前位置(自定位)。

路线信息生成器38主要通过CPU 301的处理来实施，并且生成表示移动体10的移动路线的路线信息。路线信息生成器38使用由自定位估计器37估计的移动体10的当前位置(自定位)和由目的地系列管理器36管理的目的地系列来设置最终目的地(目标)和多个路径点(子目标)，并且生成表示从当前位置到最终目的地的路线的路线信息。例如，使用生成路线信息的方法，使得从当前位置到最终目的地的每个路径点通过直线、或通过使用捕获图像或由状态检测器34获得的障碍物信息来最小化移动时间同时避开障碍物的方法来连接。

路线信息管理器39主要通过CPU 301的处理来实施，并且使用路线信息管理数据库3003来管理由路线信息生成器38生成的路线信息。

目的地设置器40主要通过CPU 301的处理来实施，并且设置移动体10的移动目的地。例如，基于由自定位估计器37估计的移动体10的当前位置(自定位)，目的地设置器40从由目的地系列管理器36管理的目的地系列中设置移动体10当前应当指向的目的地(当前目标)或路径点(子目标)作为移动目的地。设置移动目的地的方法的示例包括例如在移动体10尚未到达(例如，状态为“未到达”)的一系列目的地中设置最接近移动体10的当前位置(自身位置)的目的地系列的方法、或在移动体10尚未到达的一系列目的地中设置具有最小数据索引的目的地系列的方法。

移动控制器41主要通过CPU 301相对于外部装置连接接口311的处理来实施，并且通过驱动移动机构15来控制移动体10的移动。移动控制器41响应于例如来自自主移动处理器43或手动操作处理器44的驱动指令而移动移动体10。

模式设置器42主要通过CPU 301的处理来实施，并且设置表示移动移动体10的操作的操作模式。模式设置器42设置移动体10自主移动的自主移动模式或通过操作者的手动操作移动移动体10的手动操作模式。例如，模式设置器42根据从显示装置50发送的切换请求在自主移动模式和手动操作模式之间切换设置。

自主移动处理器43主要通过CPU 301的处理来实施，并且控制移动体10的自主移动过程。自主移动处理器43将例如移动体10的驱动指令输出到移动控制器41，以便通过由路线信息生成器38生成的路线信息中所示的移动路线。

手动操作处理器44主要通过CPU 301的处理来实施，并且控制移动体10的手动操作过程。手动操作处理器44响应于从显示装置50发送的手动操作命令而将移动体10的驱动指令输出到移动控制器41。

准确性计算器45主要通过CPU 301的处理来实施，并且计算移动体10的自主移动的准确性。在本文中，移动体10的自主移动的准确性是指示关于移动体10是否能够自主移动的确定程度(置信度)的信息。要计算的值越高，移动体10能够自主移动的可能性越大。可以通过例如当可能性降低时基于由自定位估计器37估计的自定位的可能性的数值减小该值、当方差增加时使用各种传感器等的方差减小该值、当自主移动模式的移动时间增加时通过使用为自主移动处理器43的操作状态的移动经过时间减小该值、当距离增加时根据目的地系列和移动体10之间的距离减小该值、或当存在许多障碍物时根据由状态检测器34检测到的关于障碍物的信息减小该值来计算自主移动的准确性。

图像生成器46主要通过CPU 301的处理来实施，并且生成要显示在显示装置50上的显示图像。图像生成器46在由成像控制器33捕获的捕获图像上生成例如表示由目的地系列管理器36管理的目的地系列的路线图像。图像生成器46关于由成像控制器33获取的捕获图像数据在移动体10的移动路线上渲染所生成的路线图像。在捕获图像数据上渲染路线图像的方法的示例包括基于由自定位估算器37估算的移动体10的自定位(当前位置)、成像装置12的安装位置和捕获图像数据的视角来执行透视投影转换以渲染路线图像的方法。注意，捕获图像数据可以包括用于指定成像装置12等的成像方向的PTZ(摇摄-倾斜-变焦)的参数。包括PTZ的参数的捕获图像数据存储(保存)在移动体10的存储单元3000中。PTZ的参数可以与目的地候选(即，由目的地系列形成的最终目的地(目标)的位置信息和到最终目的地的多个路径点(子目标))相关联地存储在存储单元3000中。当获取目的地候选的捕获图像数据时表示移动体10的位置的坐标数据(x、y和θ)可以与目的地候选的位置信息同时存储在存储单元3000中。这使得当移动体10相对于目的地的实际停止位置移动时能够使用PTZ参数和坐标数据(x，y，θ)来校正移动体10的取向。注意，诸如移动体10的自主移动路线(GPS轨迹)的数据和用于在显示装置50上显示的目的地候选的捕获图像数据的一些数据可以存储在云计算服务(例如AWS(Amazon Web Services(商标)))中。

图像生成器46将例如由自定位估计器37估计的移动体10的当前位置(自定位)和由目的地系列管理器36管理的目的地系列渲染在由地图信息管理器35管理的环境地图上。在环境地图上渲染的方法的示例包括例如使用诸如GPS的纬度和经度等的位置信息的方法、使用通过SLAM获得的坐标信息的方法等。

学习单元47主要通过CPU 301的处理来实施，并且学习用于执行移动体10的自主移动的移动路径。学习单元47例如基于由手动操作处理器44在手动操作模式下的移动期间获取的捕获图像和由状态检测器34检测到的数据来执行与自主移动相关联的移动路线的模拟学习(机器学习)。自主移动处理器43基于例如为由学习单元47学习的模拟的结果的学习数据来执行移动体10的自主移动。

存储-读取单元49主要通过CPU 301的处理来实施，并且将各种数据(或信息)存储在存储单元3000中或从存储单元3000读取各种数据(或信息)。

地图信息管理表

图6是图示地图信息管理表的示例的示意图。地图信息管理表是用于管理地图信息的表，该地图信息是安装移动体10的目标位置的环境地图。被配置有图6所示的地图信息管理表的地图信息管理数据库3001被构造在存储单元3000中。

地图信息管理表管理用于识别安装移动体10的目标位置的位置ID和位置名称、以及与目标位置的环境地图的存储位置相关联的地图信息。存储位置是例如存储移动体10内的环境地图或用于访问由URL(统一资源定位符)或URI(统一资源标识符)指示的外部服务器的目的地信息的存储区域。

目标系列管理表

图7是图示目的地系列管理表的示例的示意图。目的地系列管理表是用于管理目的地系列的表，该目的地系列包含最终目的地或移动体10的移动路线上的多个路径点以用于识别移动路线。被配置有图7所示的目的地系列管理表的目的地系列管理数据库3002被构造在存储单元3000中。

目的地系列管理表管理用于识别目的地系列的系列ID、用于指示目的地系列在环境地图上的位置的位置信息、以及用于指示移动体10相对于目的地系列的移动状态的状态信息，该状态信息与用于识别移动体10安装的位置的每个位置ID和用于识别移动体10的移动路线的每个路线ID相关联。其中，位置信息由指示移动体10在环境地图上的目的地系列中的位置的纬度和经度坐标信息表示。另外，状态指示移动体10是否已经到达目的地系列。状态包括例如“到达”、“当前目的地”和“未到达”。状态根据移动体10的当前位置和移动状态来更新。

路线信息管理表

图8是图示路线信息管理表的示例的示意图。路线信息管理表是用于管理表示移动体10的移动路线的路线信息的表。被配置有图8所示的路线信息管理表的路线信息管理数据库3003被构造在存储单元3000中。

路线信息管理表管理用于识别移动体10的移动路线的路线ID和用于针对识别移动体10安装的位置的每个位置ID指示移动体10的移动路线的路线信息。其中，路线信息以作为未来目的地的目的地系列的顺序图示了移动体10的未来路线。路径信息由路径信息生成器38在移动体10开始移动时生成。

显示装置的功能配置

接下来，将参考图5描述显示装置50的功能配置。显示装置50包括发送器-接收器51、接收单元52、显示控制器53、判定单元54、声音输出单元55和存储-读取单元59。这些单元中的每一个通过遵循RAM 503上加载的用于显示装置的程序而根据来自CPU 501的指令操作图4所示的部件中的一个来实现的功能或功能单元。显示装置50包括由图4所示的ROM502、HD 504或记录介质521构成的存储单元5000。

发送器-接收器51主要通过CPU 501相对于网络接口508的处理来实施，并且从其他装置或终端发送各种数据或信息和将各种数据或信息接收到其他装置或终端。

接收单元52主要通过CPU 501相对于键盘511或定位装置512的处理来实施，以接收来自用户的各种选择或输入。显示控制器53主要通过CPU 501的处理来实施，并且在诸如显示装置506的显示单元上显示各种画面。判定单元54通过CPU 501的处理来实施，并且执行各种确定。声音输出单元55主要通过CPU 501相对于声音输入输出接口513的处理来实施，并且根据移动体10的状态从扬声器515输出诸如警告声音的音频信号。

存储-读取单元59主要通过CPU 501的处理来实施，并且将各种数据(或信息)存储在存储单元5000中或从存储单元5000读取各种数据(或信息)。

实施例的过程或操作

移动控制过程

接下来，将参考图9至图21描述根据实施例的通信系统的过程或操作。首先，将参考图9示意性地描述移动体10的移动操作的总体流程图。图9是图示移动体的移动控制过程的示例的序列图。将参考稍后将描述的图10至图19描述图9所示的每个过程的细节。

首先，在步骤S1中，目的地设置器40将移动体10要移动到的当前目的地设置为移动体10的移动目的地。在这种情况下，目的地设置器40基于存储在目的地系列管理数据库3002中的目的地系列的位置和状态来设置目的地(参见图7)。在步骤S2中，移动体10开始根据由路线信息生成器38生成的路线信息中所示的移动路线相对于在步骤S1中设置的目的地移动。在步骤S3中，当移动体10根据在步骤S1中设置的移动路线移动时，自定位估计器37执行自定位估计并且设置为与最终目的地最近的目的地的移动目的地直到移动体10到达由目的地设置器40设置的最终目的地。

接下来，在步骤S4中，当移动体10在目标位置内移动时，显示装置50基于从移动体10发送的各种数据或信息在诸如显示装置506的显示单元上显示用于操作移动体10的操作画面。当移动体10基于来自显示装置50的请求执行自主移动和手动操作之间的切换时(步骤S5中的“是”)，该过程进入步骤S6。相反，当在自主移动和手动操作之间未执行切换时(步骤S5中的“否”)，该过程进入步骤S7。在步骤S6中，模式设置器42切换移动体10的操作模式，并且基于操作模式(自主移动模式或手动操作模式)中的对应一个来移动移动体10。

当移动体10已经到达由路线信息生成器38生成的路线信息中指示的最终目的地时(步骤S7中的“是”)，该过程结束并且移动体10停止在最终目的地。同时，继续从步骤S3向前的过程(步骤S7中的“否”)，直到移动体10到达路线信息中指示的最终目的地。即使当移动体10尚未到达最终目的地时，当从移动的开始经过一定量的时间时，当在移动路线上检测到障碍物时，或当操作者接收到停止指令时，移动体10也可以被配置为暂时停止其移动或可以在该过程中途终止其移动。

直到移动体的移动开始的过程

接下来，将参考图10至图11A和图11B描述直到移动体10的移动开始的过程。图10是图示直到移动体的移动开始的过程的示例的序列图。

首先，在步骤S11中，显示装置50的发送器-接收器51响应于操作者等的预定输入操作而向移动体10发送指示用于输入移动体10的移动路线的请求的路线输入请求。路线输入请求包括识别移动体10所位于的位置的位置ID。因此，设置在移动体10中的控制装置30的发送器-接收器31接收从显示装置50发送的路线输入请求。

接下来，在步骤S12中，控制装置30的地图信息管理器35通过使用在步骤S11中接收到的位置ID作为检索密钥来检索地图信息管理数据库3001(参见图6)，并且通过存储-读取单元49读取与和接收到的位置ID相同的位置ID相关联的地图信息。在本文中，如图6所示，在地图信息管理数据库3001中图示了预先从外部服务器等下载的环境地图或通过应用SLAM并且远程控制移动体10而创建的环境地图的存储位置。地图信息管理器35访问所读取的地图信息中所示的存储位置，并且读取对应的地图图像数据。

接下来，在步骤S13中，发送器-接收器31将与在步骤S12中读取的地图信息相对应的地图图像数据发送到已经发送了路线输入请求的请求者显示装置50。因此，显示装置50的发送器-接收器51接收从移动体10发送的地图图像数据。

接下来，在步骤S14中，显示装置50的显示控制器53在诸如显示装置506的显示单元上显示包括在步骤S13中接收的地图图像数据的路线输入画面200。图11A和图11B是图示路线输入画面的示例的示意图。图11A和图11B所示的路线输入画面200是用于输入操作者希望移动移动体10的路线的显示画面。

路线输入画面200显示与在步骤s13中接收的地图图像数据相关的地图图像。显示与在步骤S13中接收的地图图像数据有关的地图图像。路线输入画面200包括显示选择按钮205和“完成”按钮210，显示选择按钮205被按下以放大或缩小所显示的地图图像，“完成”按钮210被按下以完成路线输入过程。

如图11A所示，路线输入画面200通过操作者使用诸如定位装置512的输入单元选择地图图像上的预定位置来显示目的地系列250a。操作者在查看路线输入画面200上显示的地图图像的同时选择地图图像上的位置。因此，路线输入画面200显示与由操作者选择的位置相对应的多个目的地系列250a至250h，如图11B所示。

如图11B所示，当操作者选择地图图像上的预定位置并点击“完成”按钮210时，接收单元52接收目的地系列250a至250h的输入(步骤S15)。在步骤S16中，发送器-接收器51将表示在步骤S15中接收到的目的地系列250a至250h的目的地系列数据发送到移动体10。该目的地系列数据包括指示已经在步骤S15中接收到的目的地系列250a至250h的地图图像上的位置的位置信息。因此，设置在移动体10中的控制装置30的发送器-接收器31接收从显示装置50发送的目的地系列数据。

接下来，在步骤S17中，控制装置30的目的地系列管理器36通过存储-读取单元49将在步骤S16中接收到的目的地系列数据与在步骤S11中接收到的位置ID相关联地存储在目的地系列管理数据库3002(参见图7)中。目的地系列管理器36通过系列ID识别在接收到的目的地系列数据中表示的多个目的地系列(例如，目的地系列250a至250h)，并且针对每个系列ID将表示对应目的地系列的位置的位置信息存储在地图图像上。

接下来，在步骤S18中，自定位估计器37估计移动体10的当前位置。具体地，自定位估计器37使用表示由状态检测器34检测到的移动体10的位置的位置信息和表示移动体10的方向的方向信息通过诸如扩展卡尔曼滤波器的方法来估计移动体10的自定位(当前位置)。

接下来，在步骤S19中，路线信息生成器38基于在步骤S18中估计的自身位置和在步骤S16中接收的目的地系列数据来生成表示移动体10的移动路线的路线信息。具体地，路线信息生成器38使用在步骤S18中估计的移动体10的当前位置(自身位置)和在步骤S16中接收的目的地系列数据来设置移动体10的最终目的地(目标)和多个路径点(子目标)。路线信息生成器38生成表示移动体10从当前位置到最终目的地的移动路线的路线信息。路线信息生成器38使用例如通过直线连接从当前位置到最终目的地的路径点的方法或使用捕获图像在避开障碍物的同时最小化移动时间的方法或使用由34获得的障碍物信息来识别移动路线。路线信息管理器39通过存储-读取单元49将由路线信息生成器38生成的路线信息与所生成的路线信息ID相关联地存储在路线信息管理数据库3003(参见图8)中。

接下来，在步骤S20中，目的地设置器40基于在步骤S18中估计的移动体10的当前位置和在步骤S19中生成的路线信息来设置移动体10的移动目的地。具体地，基于移动体10的估计的当前位置(自定位)，目的地设置器40将所生成的路线信息中所示的目的地系列中的移动体10应当移动到的目的地(当前目标)设置为移动目的地。例如，目的地设置器40将最接近移动体10的当前位置(自身位置)的目的地系列设置为移动体10尚未到达(例如，状态为“未到达”)的一系列目的地中的移动体10的移动目的地。然后，在步骤S21中，移动控制器41开始移动体10到在步骤S20中设置的目的地的移动过程(步骤S21)。在这种情况下，移动控制器41响应于来自自主移动处理器43的驱动指令而自主地移动移动体10。

如上所述，通信系统1可以基于响应于由操作者输入的目的地系列而生成的移动路线来自主地移动移动体10。注意，在步骤S15中已经描述了通过选择路线输入画面200上显示的地图图像上的位置来选择目的地系列的示例。然而，路线输入画面200可以被配置为显示为由学习单元47学习的数据的多个先前捕获图像，并且操作者可以选择显示的捕获图像，以便选择与捕获图像的捕获位置相对应的目的地系列。在这种情况下，目的地系列数据包括代替位置信息的识别所选择的捕获图像的信息。目的地系列管理数据库3002存储捕获图像的识别信息来代替位置信息。

操作人员对移动体的移动控制

接下来，将参考图12至图19描述通过操作者的远程操作对处于移动状态的移动体10的控制过程。图12是图示使用操作画面的在移动体的自主移动和手动操作之间的切换过程的示例的序列图。图12图示了其中移动体10通过图10所示的过程在该位置内开始自主移动的示例。

首先，在步骤S31中，设置在移动体10中的控制装置30的准确性计算器45计算移动体10的自主移动准确性。准确性计算器45基于例如由路线信息生成器38生成的路线信息和由自定位估计器37估计的移动体10的当前位置来计算自主移动准确性。移动体10的自主移动的准确性是指示移动体10能够自主移动的置信因子(置信程度)的信息。计算的值越高，移动体10能够自主移动得越多。准确性计算器45可以基于例如由学习单元47学习的数据和由自定位估计器37估计的移动体10的当前位置来计算自主移动准确性。在这种情况下，移动体10的自主移动的准确性是指示自主移动的学习准确性的信息。

准确性计算器45可以通过当可能性变低时基于由自定位估计器37估计的自定位的可能性的数值降低数值、或通过当方差大时使用各种传感器的方差降低数值等来计算自主移动准确性。此外，准确性计算器45可以例如使用为自主移动处理器43的操作状态的移动经过时间来计算自主移动准确性，以随着自主移动模式中的移动经过的时间变得更长而减小数值，或根据目的地系列和移动体10之间的距离随着距离变得更大而减小数值。准确性计算器45还可以例如通过当存在许多障碍物时根据由状态检测器34检测到的障碍物的信息降低数值来计算自主移动准确性。

在步骤S32中，成像控制器33在该位置内移动的同时使用成像装置12执行成像过程。在步骤S33中，图像生成器46生成要显示在通过步骤S32中的成像过程获取的捕获图像上的虚拟路线图像。基于例如由自定位估计器37估计的移动体10的当前位置以及目的地系列管理数据库3002中基于每个目的地系列存储的目的地系列的位置信息和状态来生成路线图像。在步骤S34中，图像生成器46还生成捕获显示图像，其中在步骤S33中生成的路线图像被渲染于在步骤S32中获取的捕获图像上。

此外，在步骤S35中，图像生成器46生成地图显示图像，其中表示由自定位估计器37估计的移动体10的当前位置(自定位)的当前位置显示图像和表示在步骤S16中接收的目的地系列的系列图像被渲染于在步骤S12中读取的地图图像上。

步骤S31至S35的过程的顺序可以颠倒，或步骤S31至S35的过程的顺序可以并行执行。移动体10在该位置周围移动的同时连续地执行从步骤S31到步骤S35的过程。移动体10生成用于向操作者呈现通过从步骤S31到步骤S35的过程是否成功地执行了移动体10的自主移动的各种信息。

接下来，在步骤S36中，发送器-接收器31向显示装置50发送表示在步骤S31中计算出的自主移动准确性的通知信息、在步骤S34中生成的捕获显示图像数据以及在步骤S35中生成的地图显示图像数据。因此，显示装置50的发送器-接收器51接收通知信息、捕获显示图像数据和从移动体10发送的地图显示图像数据。

接下来，在步骤S37中，显示装置50的显示控制器53使操作画面400显示在诸如显示器106的显示单元上。图13是图示操作画面的示例的示意图。图13所示的操作画面400是GUI的示例，操作者通过该GUI远程操作移动体10。

操作画面400包括用于显示在步骤S36中接收的地图显示图像数据的地图显示图像区域600、用于显示在步骤S36中接收的捕获显示图像数据的捕获显示图像区域700、用于显示在步骤S36中接收的通知信息的通知信息显示区域800、以及用于接收用于在自主移动模式和手动操作模式之间切换的切换操作的模式切换按钮900。

其中，在地图显示图像区域600中显示的地图显示图像是其中表示移动体10的当前位置的当前位置显示图像601、表示构成移动体10的移动路径的目的地系列的系列图像611、613和615以及表示移动体10的移动路径的轨迹的轨迹显示图像叠加在地图图像上的图像。地图显示图像区域600还包括显示选择按钮605，该显示选择按钮605被按下以放大或减小所显示的地图图像的尺寸。

系列图像611、613和615在地图图像上显示目的地系列，使得操作者可以识别表示移动体10已经移动到的位置的移动历史、当前目的地和未来目的地。其中，系列图像611图示了移动体10已经到达的目的地系列。系列图像613还图示了作为移动体10的当前目的地的目的地系列。另外，系列图像615图示了移动体10尚未到达的未到达目的地(未来目的地)。在步骤S35的过程中，基于存储在目的地系列管理数据库3002中的目的地系列的状态来生成系列图像611、613和615。

在捕获显示图像区域700中显示的捕获显示图像包括虚拟地表示在步骤S33的过程中生成的移动体10的移动路径的路径图像711、713和715。所显示的路线图像711、712和715使得操作者能够将与由捕获图像表示的(一个或多个)位置相对应的一系列目的地识别为指示移动体10已经移动到何处的移动历史、当前目的地和未来目的地。路线图像711、713和715显示与捕获图像中的位置的位置对应的目的地系列，其可以由操作者识别为表示移动体10已经移动到的位置的移动历史、当前目的地和未来目的地。其中，路线图像711图示了移动体10已经到达的一系列目的地。路线图像713还图示了作为移动体10的当前目的地的目的地系列。另外，路线图像715图示了移动体10尚未到达的未到达目的地(未来目的地)。在步骤S33的过程中，基于存储在目的地系列管理数据库3002中的目的地系列的状态来生成路线图像711、713和715。在本文中，地图图像和捕获图像是指示移动体10安装的位置的图像的示例。另外，在地图显示图像区域600上显示的地图显示图像和在捕获显示图像区域700上显示的捕获显示图像是在表示位置的图像中表示移动体10的移动路线的位置显示图像的示例。捕获显示图像区域700可以将成像装置12捕获的图像显示为通过诸如互联网的计算机网络实时分发的实况流图像。

通知信息显示区域800显示关于在步骤S36中接收的通知信息中所示的自主移动准确性的信息。通知信息显示区域800包括将关于自主移动准确性的信息显示为数值(％)的数值显示区域810和将指示自主移动准确性的数值离散化并将离散化的数值显示为自主移动程度的程度显示区域830。数值显示区域810指示在步骤S31的过程中计算的自主移动准确性的数值。程度显示区域830根据数值指示自主移动准确性的程度(“高、中、低”)，其中针对自主移动准确性的数值设置预定阈值。在本文中，数值显示区域810中所示的指示自主移动的准确性的数值和程度显示区域830中所示的自主移动的程度是表示自主移动的准确性的通知信息的示例。通知信息显示区域800可以包括数值显示区域810和程度显示区域830中的至少一个。

模式切换按钮900是被配置为接收在自主移动模式和手动操作模式之间切换的切换操作的操作接收单元的示例。操作者可以通过使用预定的输入单元选择模式切换按钮900来在移动体10的自主移动模式和手动操作模式之间切换。

在图13所示的示例中，操作画面400显示移动体10以系列图像613的位置和路线图像713的位置作为移动体10的当前目的地自主移动的状态。操作画面400还指示移动体10的当前自主移动准确性为“93.8％”，这是相对高的自主移动准确性。

图14图示了移动体10已经从图13所示的状态移动的状态。在图14所示的操作画面400中，由于移动体10已经从图13所示的状态移动，因此系列图像613和表示当前目的地的路线图像713的位置已经改变。此外，在图14所示的操作画面400中，移动体10的当前自主移动的准确性为“87.9％”，自主移动准确性的数值低于图13所示状态下的自主移动准确性的数值，并且自主移动准确性的程度从“高”改变为“中等”。操作者可以通过查看地图显示图像中所示的位置的状态和操作画面400上所示的位置显示图像以及通知信息显示区域800中所示的自主移动准确性的变化来确定是否在移动体10的自主移动和手动操作之间切换。

返回到图12，在步骤S38中，接收单元52响应于使用诸如操作者定位装置512的输入单元的输入操作而接收对操作画面400上的模式切换按钮900的选择。在操作画面400中，例如，当操作者选择处于图15A所示的状态的模式切换按钮900(显示为“切换到手动操作”)时，处于图15A所示的状态的模式切换按钮900的显示被改变为如图15B所示的模式切换按钮900(显示为“恢复自主驱动”)。在这种情况下，操作者选择模式切换按钮900，以便将移动体10的操作模式从自主移动模式切换到手动操作模式。

在步骤S39中，发送器-接收器51向移动体10发送指示移动体10请求在自主移动模式和手动操作模式之间切换的模式切换请求。因此，设置在移动体10中的控制装置30的发送器-接收器31接收从显示装置50发送的模式切换请求。

接下来，在步骤S40中，控制装置30响应于在步骤S39中接收到模式切换请求而执行移动体10的模式切换过程。

(自主移动和手动操作的选择)

在本文中，将参考图16详细描述步骤S40中的模式切换过程。图16是图示移动体中的自主移动模式和手动操作模式之间的切换过程的示例的流程图。

首先，当接收到由发送器-接收器31从显示装置50发送的模式切换请求时(步骤S51中的“是”)，控制装置30将该过程转变到步骤S52。同时，控制装置30继续步骤S51的过程(步骤S51中的“否”)，直到接收到模式切换请求。

接下来，当接收到的模式切换请求指示切换到手动操作模式时(步骤S52中的是)，模式设置器42将该过程转变到步骤S53。在步骤S53中，移动控制器41响应于来自自主移动处理器43的自主移动过程的停止指令而停止移动体10的自主移动过程。在步骤S54中，模式设置器42将移动体10的操作从自主移动模式切换到手动操作模式。在步骤S55中，移动控制器41响应于来自手动操作处理器44的驱动指令而通过手动操作来执行移动体10的移动。

同时，当接收到的模式切换请求不指示切换到手动操作模式时，即，当接收到的模式切换请求指示切换到自主移动模式时，即，当切换请求指示切换到自主移动模式时(步骤S52中的“否”)，模式设置器42将该过程转变到步骤S56。在步骤S56中，模式设置器42将移动体10的操作从手动操作模式切换到自主移动模式。在步骤S57中，移动控制器41响应于来自自主移动处理器43的驱动指令而通过自主移动来执行移动体10的移动。

如上所述，显示装置50显示包括表示移动体10的自主移动准确性的通知信息的操作画面400，使得操作者可以适当地确定是否在自主移动和手动操作之间切换。此外，显示装置50通过使操作者使用操作画面400上的模式切换按钮900执行自主移动和手动操作之间的切换来改善当操作者在自主移动和手动操作之间切换时的可操作性，操作画面400包括表示自主移动准确性的通知信息。移动体10可以响应于从显示装置50发送的切换请求而通过在自主移动模式和手动操作模式之间切换来根据操作者的请求执行移动控制。

移动体10不仅可以被配置为响应于从显示装置50发送的切换请求而切换操作模式，而且还可以被配置为当自主移动准确性的数值低于预定阈值时响应于准确性计算器45计算的自主移动准确性而将操作模式从自主移动模式切换到手动操作模式。

显示装置50不仅可以包括用于显示操作画面400的单元，还可以包括用于向操作者通知自主移动准确性的单元。例如，显示装置50的声音输出单元55可以被配置为当自主移动准确性的值低于预定阈值时从扬声器515输出警告声音。显示装置50可以被配置为当自主移动准确性的值低于预定阈值时使诸如用于移动体的手动操作的控制器的输入单元振动。

此外，显示装置50可以基于自主移动准确性的值或程度将预定消息显示为通知信息，而不是在操作画面400上直接显示自主移动准确性。在这种情况下，例如，当数值或自主移动准确性低于预定阈值时，操作画面400可以显示请求操作者切换到手动操作的消息。例如，当数值或自主移动准确性超过预定阈值时，操作画面400可以显示提示操作者从手动操作切换到自主移动的消息。

自主移动过程

接下来，将参考图17描述通过步骤S57中所示的过程执行的移动体10的自主移动过程。图17是图示移动体的自主移动过程的示例的流程图。

首先，在步骤S71中，设置在移动体10中的控制装置30的目的地设置器40基于由自定位估算器37估算的移动体10的当前位置和存储在路线信息管理数据库3003中的路线信息来设置移动体10的移动目的地(参见图8)。具体地，目的地设置器40从由存储在路线信息管理数据库3003中的路线信息表示的目的地系列中将由最接近由自定位估算器37估算的移动体10的当前位置的目的地系列表示的位置设置为移动目的地。在图7所示的示例中，将其状态为当前目的地的具有系列ID“P003”的目的地系列的位置设置为移动目的地。目的地设置器40生成到设置的移动目的地的移动路线。由目的地设置器40生成移动路线的方法的示例包括利用直线连接当前位置和移动目的地的方法或通过使用捕获图像或由状态检测器34获得的障碍物信息在避开障碍物的同时最小化移动时间的方法。

移动控制器41使移动体10相对于移动目的地移动，移动体10被设置为通过在步骤S71中生成的移动路径到达该移动目的地。在这种情况下，移动控制器41响应于来自自主移动处理器43的驱动指令而自主地移动移动体10。在步骤S72中，自主移动处理器43基于为由学习单元47学习的模拟的结果的学习数据来执行自主移动。

当移动体10已经到达其最终目的地或自主移动处理器43的自主移动被中断时(步骤S73中的“是”)，移动控制器41结束该过程。当自主移动例如被模式设置器42中断以响应于从自主移动模式到手动操作模式的切换请求而执行从自主移动模式到手动操作模式的切换时，如图16所示。同时，移动控制器41继续步骤S72中的自主移动过程(步骤S73中的“否”)，直到移动控制器41检测到移动体10已经到达其最终目的地或自主移动被自主移动处理器43中断。

如上所述，移动体10可以在响应于来自操作者的切换请求而设置的自主移动模式下操作的时候使用所生成的路线信息和在手动操作模式期间学习的学习数据来执行自主移动。此外，移动体10可以使用学习数据执行移动体10的自主移动，并且通过使用在手动操作模式期间获取的各种类型的数据执行关于自主移动的学习来改善移动体10的自主移动的准确性。

手动操作过程

接下来，将参考图18和图19描述通过步骤S55中所示的过程执行的移动体10的手动操作过程。图18是图示移动体的手动操作过程的示例的序列图。

首先，在步骤S91中，显示装置50的接收单元52响应于操作者对图19所示的操作命令输入画面450的输入操作而接收手动操作命令。图19是图示操作命令输入画面的示例的示意图。图19所示的操作命令输入画面450被图示有用于远程控制移动体10的图标。例如，当移动体10的操作模式被设置为手动操作模式时，操作命令输入画面450显示在操作画面400上。操作命令输入画面450包括移动指令键455和速度条457，当请求移动体10的水平(向前、向后、顺时针和逆时针)移动时按下移动指令键455，速度条457由指示移动体10的移动速度的状态的移动速度表示。当使用显示装置50远程操作移动体10的操作者选择移动指令键455时，接收单元52接收针对所选择的移动指令键455的手动操作命令。

图19图示了通过接收对显示在操作命令输入画面450上的移动指令键455的选择来远程控制移动体10的移动的示例。然而，移动体10的移动操作可以通过专用控制器(诸如键盘或具有操纵杆的游戏手柄)来执行。另外，在操作者对移动指令键455的输入操作中，当操作者在移动体10向前移动时选择“向后(↓)”时，捕获图像可以切换到移动体10的向后画面的捕获图像，并且移动体10可以从该点向后(往回)移动。从显示装置50向移动体10发送手动操作命令也可以经由例如AWS IoT Core的管理式云平台来执行。

接下来，在步骤S92中，发送器-接收器51将在步骤S91中接收到的手动操作命令发送到移动体10。因此，设置在移动体10中的控制装置30的发送器-接收器31接收从显示装置50发送的手动操作命令。控制装置30的手动操作处理器44将基于在步骤S92中接收到的手动操作命令的驱动指令输出到移动控制器41。在步骤S93中，移动控制器41响应于手动操作处理器44的驱动指令而执行移动体10的移动过程。在步骤S94中，学习单元47响应于手动操作处理器44的手动操作而执行移动路线的模拟学习(机器学习)。学习单元47例如基于由手动操作处理器44在手动操作模式下的移动期间获取的捕获图像和由状态检测器34的检测数据来模拟与自主移动相关的移动路径。学习单元47可以被配置为仅使用在手动操作期间获取的捕获图像来执行移动路线的模拟学习，或学习单元47可以被配置为使用捕获图像和状态检测器34的检测数据两者来执行移动路线的模拟学习。由学习单元47学习的用于模拟的捕获图像可以是由自主移动处理器43在自主移动模式下的自主移动期间获取的捕获图像。

如上所述，当在响应于来自操作者的切换请求而设置的手动操作模式下操作移动体10时，移动体10可以响应于来自操作者的手动操作命令而移动。移动体10可以使用诸如在手动操作模式下获取的捕获图像的各种数据来学习自主移动。

操作画面的修改

接下来，将参考图20A和图20B至图25描述显示在显示装置50上的操作画面400的修改。图20A和图20B是图示操作画面的第一修改的示意图。

图20A和图20B所示的操作画面400A被配置为除了操作画面400的配置之外还在地图显示图像区域600和捕获显示图像区域700中显示表示自主移动准确性的通知信息。

除了在操作画面400的地图显示图像区域600中显示的配置之外，在操作画面400A的地图显示图像区域600中显示的地图显示图像还包括指示地图图像上的自主移动准确性的程度的准确性显示图像660。类似地，除了在操作画面400的捕获显示图像区域700中显示的配置之外，在操作画面400A的捕获显示图像区域700中显示的捕获显示图像还包括指示捕获图像上的自主移动准确性的程度的准确性显示图像760。准确性显示图像660和760以圆圈图示自主移动准确性的程度。例如，准确性显示图像660和760通过随着自主移动准确性增加而减小圆圈的尺寸并且通过随着自主移动准确性降低而增加圆圈的尺寸来表示自主移动或自定位的不确定性。在本文中，准确性显示图像660和准确性显示图像760是表示自主移动的准确性的通知信息的示例。准确性显示图像660和760可以被配置为通过诸如根据自主移动准确性的程度改变圆圈的颜色的方法来表示自主移动准确性的程度。

准确性显示图像660基于由准确性计算器45计算出的自主移动准确性的数值通过步骤S35中的过程被渲染于地图图像上来生成。类似地，准确性显示图像760基于由准确性计算器45计算的自主移动准确性的数值通过步骤S34中的过程被渲染于捕获图像来生成。操作画面400A显示其中准确性显示图像660叠加在地图图像上的地图显示图像和其中准确性显示图像760叠加在捕获图像上的捕获显示图像。

如上所述，操作画面400A显示表示地图图像和捕获图像上的自主移动准确性的图像，使得操作者可以在查看移动体10的移动状况的同时直观地理解当前移动体10的自主移动的准确性。

图21是图示操作画面的第二修改的示意图。除了操作画面400的配置之外，图21所示的操作画面400B以与操作画面400A类似的方式在地图显示图像区域600和捕获显示图像区域700中显示表示自主移动准确性的通知信息。

除了在操作画面400的地图显示图像区域600上显示的配置之外，在操作画面400B的地图显示图像区域600中显示的地图显示图像还包括指示地图图像上的自主移动准确性的程度的准确性显示图像670。类似地，除了在操作画面400的捕获显示图像区域700上显示的配置之外，在操作画面400B的捕获显示图像区域700中显示的捕获显示图像还包括指示捕获图像上的自主移动准确性的程度的准确性显示图像770。准确性显示图像670和770以轮廓图表示自主移动准确性的程度。准确性显示图像670和770将例如地图图像和捕获图像上的相应位置处的自主移动准确性表示为轮廓线。在本文中，准确性显示图像670和准确性显示图像770是表示自主移动的准确性的通知信息的示例。准确性显示图像670和770可以被配置为通过诸如根据自主移动准确性的程度改变轮廓线的颜色的方法来指示自主移动准确性的程度。

准确性显示图像670基于由准确性计算器45计算出的自主移动准确性的数值通过步骤S35中的过程被渲染于地图图像上来生成。类似地，准确性显示图像770基于由准确性计算器45计算的自主移动准确性的数值通过步骤S34中的过程被渲染于捕获图像来生成。操作画面400B显示其中准确性显示图像670叠加在地图图像上的地图显示图像和其中准确性显示图像770叠加在捕获图像上的捕获显示图像。

如上所述，操作画面400B在地图图像和捕获图像上显示具有表示自主移动准确性的轮廓线的图像，以阐明哪个区域具有低自主移动准确性，并且当操作者手动操作移动体10时，操作画面400B可以在视觉上辅助操作者驱动移动体10以高自主移动准确性通过路线。当使用机器学习等来改善每次手动操作的自主移动性能时，通信系统1可以扩展其中操作者在自主移动准确性低的地方手动移动移动体10的自主移动可能的区域，以在操作者查看指示自主移动准确性的轮廓图的同时累积学习数据。

图22是图示操作画面的第三修改的示意图。除了操作画面400的配置之外，图22所示的操作画面400C还在通知信息显示区域800中分阶段地以不同的面部图像显示自主移动准确性。

除了在操作画面400的通知信息显示区域800中显示的配置之外，操作画面400C的通知信息显示区域800还包括将自主移动的程度指示为面部图像的程度显示区域835。程度显示区域835以与程度显示区域830的方式基本上相同的方式离散化指示自主移动准确性的数值，并且将离散化的数值显示为自主移动的程度。程度显示区域835包括针对自主移动准确性值设置的预定阈值，并且根据准确性计算器45计算的自主移动准确性值来切换面部图像的面部表情。这里，程度显示区域835中所示的面部图像是表示自主移动的准确性的通知信息的示例。程度显示区域835不限于被配置为显示面部图像，而是还可以被配置为显示允许操作者分阶段地识别自主移动准确性的程度的预定图示的图像。

图23是图示操作画面的第四修改的示意图。除了操作画面400的配置之外，图23所示的操作画面400D还在操作画面的帧中以颜色显示自主移动准确性。

除了操作画面400的配置之外，操作画面400D还包括用于将自主移动准确性的程度转换为颜色并且将经转换的自主移动准确性的程度显示为画面帧的画面帧显示区域430。画面帧显示区域430根据自主移动准确性的程度来改变画面帧的颜色。画面帧显示区域430根据由准确性计算器45计算的自主移动准确性的数值来改变画面帧的颜色，其中针对自主移动准确性的数值设置预定阈值。例如，当自主移动准确性低时，画面帧显示区域430以红色显示画面帧的颜色，并且当自主移动准确性高时，画面帧显示区域430以蓝色显示画面帧的颜色。在本文中，画面帧显示区域430中所示的画面帧的颜色是表示自主移动的准确性的通知信息的示例。操作画面400D可以被配置为根据自主移动准确性的程度不仅改变画面帧的颜色，而且改变整个操作画面的颜色。

图24是图示操作画面的第五修改的示意图。除了操作画面400的配置之外，图24所示的操作画面400E还图示了在地图显示图像区域600和捕获显示图像区域700的手动操作期间移动体10应当指向的方向。

除了在操作画面400的地图显示图像区域600上显示的配置之外，在操作画面400E的地图显示图像区域600上显示的地图显示图像还包括具有指示当对地图图像进行手动操作时移动体10应当指向的方向的箭头的方向显示图像690。类似地，除了在操作画面400的捕获显示图像区域700中显示的配置之外，在操作画面400E的捕获显示图像区域700中显示的捕获显示图像还包括表示箭头的方向显示图像790，该箭头表示当手动操作捕获的图像时移动体10应当指向的方向。在手动操作期间移动体10应当指向的方向例如是指示具有高自主移动准确性的区域的方向，并且是将移动体10引导到移动体10具有恢复自主移动的高可能性的位置的方向。方向显示图像690和790不限于使用箭头的显示，而是可以被配置为允许操作者识别在手动操作期间移动体10应当指向的方向。

以这种方式，操作画面400E允许操作者通过在地图图像和捕获图像上显示在手动操作期间移动体10应当指向的方向来在视觉上识别移动体10应当移动的方向。

图25是图示操作画面的第六修改的示意图。图25所示的操作画面400F显示捕获显示图像区域700、通知信息显示区域800和模式切换按钮900，而不显示在上述操作画面中的每一个上显示的地图显示图像区域600。

其中，在操作画面400F的捕获显示图像区域700中显示的捕获显示图像包括显示在捕获图像上的操作画面400B上所示的准确性显示图像760和操作画面400E上所示的方向显示图像690。另外，与上述操作画面不同，在操作画面400F上显示的捕获显示图像中，路线图像711、713和715不显示在捕获图像上。通知信息显示区域800和模式切换按钮900类似于在操作画面400上显示的配置。

如上所述，操作画面400F至少显示由移动体10捕获的捕获图像和表示移动体10的自主移动准确性的通知信息，使得操作者可以使用最少的必要信息理解移动体10的移动状态。操作画面400F可以具有这样的配置：其中除了图25所示的元素之外或代替图25所示的元素，在上述操作画面中的每一个上显示在捕获显示图像区域700中显示的元素和在通知信息显示区域800中显示的元素。

实施例的效果

如上所述，通信系统1使用数值或图像在操作者使用的操作画面上显示表示移动体10的自主移动准确性的通知信息。这使得操作者能够容易地确定是否在自主移动和手动操作之间切换。通信系统还使得操作者能够使用显示表示自主移动准确性的通知信息的操作画面上的模式切换按钮900在自主移动和手动操作之间切换。这将改善当操作者在自主移动和手动操作之间切换时的可操作性。

此外，通信系统1可以响应于操作者的切换请求而在移动体10的自主移动模式和手动操作模式之间切换。这允许响应于操作者的请求而在移动体10的自主移动和手动操作之间切换控制。另外，通信系统1使得操作者能够适当地确定通过对于使用在手动操作模式下获取的捕获图像等来学习自主移动的移动体10的手动操作的学习的必要性。

在本文中，上述操作画面中的每一个可以被配置为至少显示表示移动体10的自主移动准确性的通知信息和用于接收自主移动模式和手动操作模式之间的切换操作的模式切换按钮900。其中，模式切换按钮900可以由键盘511或显示装置50的其他输入单元代替，而不显示在操作画面上。通信系统1可以被配置为包括设置在显示装置50外部的外部输入单元，诸如用于接收自主移动模式和手动操作模式之间的切换操作的专用按钮。在这些情况下，诸如显示装置50的键盘511的输入单元或诸如显示装置50外部的专用按钮的外部输入单元是操作接收单元的示例。此外，显示包括模式切换按钮900的操作画面的显示装置50、使用诸如键盘511的输入单元接收切换操作的显示装置50、或包括显示装置50和诸如专用按钮的外部输入单元的系统是根据实施例的显示系统的示例。此外，操作接收单元可以包括不仅能够接收用于使用模式切换按钮900等在自主移动模式和手动操作模式之间切换的切换操作的单元，而且还可以包括能够接收用于执行对移动体10的预定控制的操作的单元。

修改

第一修改

接下来，将参考图26和图27描述根据实施例的通信系统的第一修改。与上述实施例中相同的配置和功能具有相同的附图标记，并且省略重复的描述。根据第一修改的通信系统1A是其中显示装置50A计算移动体10A的自主移动准确性并且生成要显示在操作画面400等上的各种显示图像的示例。

图26是图示根据实施例的第一修改的通信系统的功能配置的示例的示意图。除了图5所示的显示装置50的配置之外，图26所示的根据第一修改的显示装置50A还包括准确性计算器56和图像生成器57。

准确性计算器56主要通过CPU 501的处理来实施，并且计算移动体10A的自主移动的准确性。图像生成器57主要通过CPU 501的处理来实施，并且生成要显示在显示装置50A上的显示图像。准确性计算器56和图像生成器57具有分别与图5所示的准确性计算器45和图像生成器46相同的配置。因此，根据第一修改的被配置为控制移动体10A的过程或操作的控制装置30A被配置为不具有准确性计算器45和图像生成器46的功能。

图27是图示根据实施例的第一修改的移动体的自主移动和使用操作画面的手动操作的切换过程的示例的序列图。图27图示了其中移动体10A如在图12中那样通过图10所示的过程在该位置内开始自主移动的示例。

首先，在步骤S101中，设置在移动体10A中的控制装置30A的成像控制器33在该位置内移动的同时使用成像装置12执行成像过程。在步骤S102中，发送器-接收器31向显示装置50A发送在步骤S101中捕获的捕获图像数据、在步骤S12中读取的地图图像数据、存储在路线信息管理数据库3003中的路线信息、表示由自定位估计器37估计的移动体10A的当前位置(自定位)的定位信息、以及由学习单元47学习的数据。因此，显示装置50A的发送器-接收器51接收从移动体10A发送的各种数据和信息。

接下来，在步骤S103中，显示装置50A的准确性计算器56计算移动体10A的自主移动准确性。准确性计算器45基于例如在步骤S102中接收的路线信息和位置信息来计算自主移动准确性。准确性计算器56可以基于例如在步骤S102中接收的学习数据和位置信息来计算自主移动准确性。

接下来，在步骤S104中，图像生成器57生成在步骤S102中接收的捕获图像上显示的路线图像。例如，基于在步骤S102中接收到的位置信息以及在步骤S102中接收到的路线信息中所示的每个目的地系列的位置信息和状态来生成路线图像。在步骤S105中，图像生成器57生成捕获显示图像，其中在步骤S104中生成的路线图像被渲染于在步骤S102中接收的捕获图像上。在步骤S106中，图像生成器57生成地图显示图像，其中表示由在步骤S102中接收到的位置信息表示的移动体10A的当前位置(自身位置)的当前位置显示图像和表示由在步骤S102中接收到的路线信息表示的目的地系列的系列图像被渲染于在步骤S102中接收到的地图图像上。

步骤S103、S104、S105和S106的过程的细节类似于图12所示的步骤S31、S33、S34和S35的过程的细节。步骤S103至S106的过程的顺序可以颠倒或可以并行执行。显示装置50A通过步骤S102的过程在任何时间接收从移动体10A发送的捕获图像数据，并且连续执行步骤S103至S106的过程。

接下来，在步骤S107中，显示控制器53在诸如显示器106的显示单元上显示图13所示的操作画面400等。显示控制器53在操作画面400上显示在步骤S103至步骤S106的过程中计算或生成的信息。显示控制器53不限于操作画面400，而是可以被配置为显示上述操作画面400A至400F中的任何一个。由于步骤S108至步骤S110的后续过程与图12所示的步骤S38至步骤S40的过程相同，因此将不再重复其描述。

如上所述，在根据第一修改的通信系统1A中，即使当计算自主移动准确性并且在显示装置50A上生成各种显示画面时，也可以在显示装置50A上显示包括表示自主移动准确性的通知信息的操作画面400，使得操作者可以容易地确定自主移动和手动操作之间的切换。

第二修改

接下来，将参考图28至图31描述根据实施例的通信系统的第二修改。与上述实施例中相同的配置和功能具有相同的附图标记，并且省略重复的描述。根据第二修改的通信系统1B是其中信息处理装置90执行移动体10B的自主移动准确性的计算和要显示在操作画面400上的各种图像的生成的示例。

图28是图示根据实施例的第二修改的通信系统的总体配置的示例的示意图。除了实施例的上述配置之外，根据第二修改的通信系统1B还包括能够通过通信网络100与移动体10B和显示装置50B通信的信息处理装置90。

信息处理装置90是用于管理移动体10B和显示装置50B之间的通信、控制各种类型的移动体10B以及生成要显示在显示装置50B上的各种显示画面的服务器计算机。信息处理装置90可以由一个服务器计算机或多个服务器计算机配置。信息处理装置90被描述为存在于云环境中的服务器计算机，但也可以是存在于内部部署环境中的服务器。在本文中，信息处理装置90的硬件配置具有与图4所示的显示装置50相同的配置。在下文中，为了方便起见，将使用用于图4所示的配置的900中的附图标记来描述信息处理装置90的硬件配置。

图29是图示根据实施例的第二修改的通信系统的功能配置的示例的示意图。图29所示的根据第二修改的显示装置50B的配置类似于图5所示的显示装置50的配置。此外，根据第二修改的被配置为控制移动体10B的过程或操作的控制装置30B不包括地图信息管理器35、准确性计算器45和图像生成器46的功能以及被构造在存储单元3000中的地图信息管理数据库3001的配置。

信息处理装置90包括发送器-接收器91、地图信息管理器92、准确性计算器93、图像生成器94和存储-读取单元99。这些单元中的每一个是可以通过根据来自CPU 901的指令、根据加载在RAM 903上的用于信息处理装置的程序来操作图4所示的部件中的任一个来实施的功能或功能单元。信息处理装置90包括由图4所示的ROM 902、HD 904或记录介质921构成的存储单元9000。

发送器-接收器91主要通过CPU 901相对于网络接口908的处理来实施，并且被配置为从其他装置或终端发送各种数据或信息和将各种数据或信息接收到其他装置或终端。

地图信息管理器92主要通过CPU 901的处理来实施，并且被配置为使用地图信息管理数据库9001来管理表示安装移动体10B的目标位置的环境地图的地图信息。例如，地图信息管理器92管理从外部服务器等下载的环境地图或表示通过应用SLAM而创建的环境地图的地图信息。

准确性计算器93主要通过CPU 901的处理来实施，并且被配置为计算移动体10B的自主移动的准确性。图像生成器94主要通过CPU 301的处理来实施，并且生成要显示在显示装置50B上的显示图像。准确性计算器93和图像生成器94具有分别与图5所示的准确性计算器45和图像生成器46相同的配置。

存储-读取单元99主要通过CPU 901的处理来实施，并且被配置为将各种数据(或信息)存储在存储单元9000中或从存储单元9000读取各种数据(或信息)。地图信息管理数据库9001被构造在存储单元9000中。地图信息管理数据库9001由图6所示的地图信息管理表构成。

图30是图示根据实施例的第二修改的直到移动体的移动开始的过程的示例的序列图。首先，在步骤S201中，显示装置50B的发送器-接收器51响应于操作者等的预定输入操作而向信息处理装置90发送指示请求输入移动体10的移动路线的路线输入请求。路线输入请求包括识别移动体10B所位于的位置的位置ID。因此，信息处理装置90的发送器-接收器91接收从显示装置50B发送的路线输入请求。

接下来，在步骤S202中，信息处理装置90的地图信息管理器92使用在步骤S201中接收到的位置ID作为检索密钥来搜索地图信息管理数据库9001(参见图6)，并且通过存储-读取单元99读取和与接收到的位置ID相同的位置ID相关联的地图信息。地图信息管理器92访问所读取的地图信息中所示的存储位置，并且读取对应的地图图像数据。

接下来，在步骤S203中，发送器-接收器91将与在步骤S202中读取的地图信息相对应的地图图像数据发送到已经发送了路线输入请求的显示装置50B(请求源)。因此，显示装置50B的发送器-接收器51接收从信息处理装置90发送的地图图像数据。

接下来，在步骤S204中，显示装置50B的显示控制器53在诸如显示装置506的显示单元上显示包括在步骤S203中接收到的地图图像数据的路线输入画面200(参见图11A和图11B)。然后，在步骤S205中，操作者选择地图图像上的预定位置并点击“完成”按钮210，使得接收单元52如在图12的步骤S15中那样接收来自目的地系列250a至250h的输入。在步骤S206中，发送器-接收器51将表示在步骤S205中接收到的目的地系列250a至250h的目的地系列数据发送到信息处理装置90。目的地系列数据包括表示在步骤S205中输入的目的地系列250a至250h的地图图像上的位置的位置信息。在步骤S207中，信息处理装置90的发送器-接收器91将从显示装置50B发送的目的地系列数据发送(转移)到移动体10B。因此，设置在移动体10B中的控制装置30B的发送器-接收器31接收从显示装置50B发送的目的地系列数据。由于步骤S208至步骤S212的后续过程与图10所示的步骤S17至步骤S21的过程相同，因此将不再重复其描述。

图31是图示根据实施例的第二修改的移动体的自主移动和使用操作画面的手动操作的切换过程的示例的序列图。图31图示了其中移动体10B如在图12的过程中那样通过图10所示的过程在该位置内开始自主移动的示例。

首先，在步骤S231中，设置在移动体10B中的控制装置30B的成像控制器33在该位置内移动的同时使用成像装置12执行成像过程。在步骤S232中，发送器-接收器31向信息处理装置90发送在步骤S231中获取的捕获图像数据、存储在路线信息管理数据库3003中的路线信息、表示由自定位估计器37估计的移动体10B的当前位置(自定位)的位置信息、以及由学习单元47获取的学习数据。因此，信息处理装置90的发送器-接收器91接收从移动体10B发送的各种数据和信息。

接下来，在步骤S233中，信息处理装置90的准确性计算器93计算移动体10B的自主移动准确性。准确性计算器45基于例如在步骤S232中接收的路线信息和位置信息来计算自主移动准确性。准确性计算器56可以基于例如在步骤S232中接收的学习数据和位置信息来计算自主移动准确性。

接下来，在步骤S234中，图像生成器94生成在步骤S232中接收的捕获图像上显示的路线图像。例如，基于在步骤S232中接收到的位置信息以及在步骤S232中接收到的路线信息中所示的每个目的地系列的位置信息和状态来生成路线图像。在步骤S235中，图像生成器57生成捕获显示图像，在步骤S234中产生的路线图像被渲染于在步骤S232中接收的捕获图像上。在步骤S236中，图像生成器94生成地图显示图像，其中表示在步骤S232中接收到的位置信息中指示的移动体10B的当前位置(自身位置)的当前位置显示图像和表示在步骤S232中接收到的路线信息中指示的目的地系列的系列图像被渲染于在步骤S202中读取的地图图像上。

步骤S233、S234、S235和S236的过程的细节分别类似于图12所示的步骤S31、S33、S34和S35的过程。步骤S233至S236的过程的顺序可以颠倒或可以并行执行。信息处理装置90通过步骤S232中的过程在任何时间接收从移动体10发送的捕获图像数据，并且连续执行步骤S233至S236中的过程。

接下来，在步骤S237中，发送器-接收器91向显示装置50B发送表示在步骤S233中计算出的自主移动准确性的通知信息、在步骤S235中生成的捕获显示图像数据以及在步骤S236中生成的地图显示图像数据。因此，显示装置50B的发送器-接收器51接收从信息处理装置90发送的通知信息、捕获显示图像数据和地图显示图像数据。

接下来，在步骤S238中，显示装置50B的显示控制器53在诸如显示器106的显示单元上显示图13所示的操作画面400等。显示控制器53在操作画面400上显示在步骤S237中接收的数据和信息。显示控制器53不限于显示操作画面400，而是可以显示上述操作画面400A至400F中的任一个。

接下来，在步骤S239中，如在图12的步骤S38中那样，响应于使用诸如操作者定位装置512的输入单元的输入操作，接收单元52接收操作画面400上的模式切换按钮900的选择。在步骤S240中，发送器-接收器51向信息处理装置90发送指示请求移动体10B的自主移动模式和手动操作模式之间的切换的模式切换请求。在步骤S241中，信息处理装置90的发送器-接收器91将从显示装置50B发送的模式切换请求发送(转移)到移动体10B。因此，设置在移动体10B中的控制装置30B的发送器-接收器31接收从显示装置50B发送的模式切换请求。在步骤S242中，控制装置30B响应于在步骤S241中接收到的模式切换请求而执行图16所示的移动体10B的模式切换过程。

如上所述，在根据第二修改的通信系统1B中，即使当计算自主移动准确性并且在信息处理装置90中生成各种显示画面时，也可以在显示装置50B上显示包括表示自主移动准确性的通知信息的操作画面400。这使得操作者能够容易地确定自主移动和手动操作之间的切换。

图32是图示通信系统的功能配置的示例的示意图。与图29所示的通信系统的功能配置相比，显示装置50类似于图29所示的显示装置50的配置。被配置为控制移动体30C的过程或操作的控制装置30C具有从图29所示的控制装置30B中排除目的地系列管理器36、路线信息生成器38和路线信息管理器39以及排除被构造在图29所示的存储单元3000中的目的地系列管理数据库3002和路线信息管理数据库3003的配置。

在图32所示的通信系统1C中，信息处理装置90对应于例如AWS(商标)的云计算服务，并且通信系统1C如通过箭头a和b所指示的那样通过信息处理装置90与显示装置50和移动体10C(控制装置30C)通信。从控制装置30B排除的目的地系列管理器36、路线信息生成器38、路线信息管理器39、目的地系列管理数据库3002和路线信息管理数据库3003的功能被转移到信息处理装置90。也就是说，信息处理装置90包括发送器-接收器91、地图信息管理器92、准确性计算器93、图像生成器94、目的地系列管理器95、路线信息生成器96和路线信息管理器97。此外，地图信息管理数据库9001、目的地系列管理数据库9002和路线信息管理数据库9003被构造在信息处理装置90的存储单元9000中。从控制装置30B(图29)转移到信息处理装置90的上述单元的功能与图29等中描述的功能相同。因此，省略了其描述。

如上所述，在通信系统1C中，通过与云计算服务对应的信息处理装置90执行显示装置50和移动体10C(控制装置30C)之间的通信。在信息处理装置90中，可以在通信的时候使用云计算服务的认证处理，使得可以改善来自显示装置50的手动操作命令、来自移动体10C的捕获图像数据等的安全性。另外，将每个数据生成功能和管理功能放置在信息处理装置90(云服务)中使得能够在多个位置处共享相同的数据，使得不仅可以灵活地处理P2P(对等)通信(一对一直接通信)，而且可以灵活地处理一对多位置通信。

发明内容1

如上所述，根据本发明的实施例的显示系统是执行关于移动体10(10A、10B和10C)的预定操作的显示系统。该显示系统包括操作接收单元(模式切换按钮900的示例)，该操作接收单元被配置为接收用于在手动操作模式和自主移动模式之间切换的切换操作，在手动操作模式中，移动体10(10A、10B和10C)被手动移动，在自主移动模式中，移动体10(10A、10B和10C)通过自主移动而移动；以及显示控制器53(显示控制器的示例)，该显示控制器53被配置为显示表示自主移动的准确性的通知信息。利用上述配置，根据本发明的实施例的显示系统使得用户能够容易地确定是否在自主移动和手动操作之间切换，从而改善党用户在自主移动和手动操作之间切换时的可操作性。

此外，在根据本发明的实施例的显示系统中，当接收到用于在手动操作模式和自主移动模式之间切换的切换操作时，将用于在自主移动模式和手动操作模式之间切换的切换请求发送到移动体10(10A、10B和10C)，并且基于发送的切换请求执行移动体10(10A、10B和10C)的自主移动模式和手动操作模式之间的切换。因此，使得根据本发明的实施例的显示系统能够响应于用户的请求而控制移动体10(10A、10B和10C)的自主移动和手动操作之间的切换。

此外，在根据本发明的实施例的显示系统中，表示自主移动的准确性的通知信息是指示自主移动的学习准确性的信息，这使得当移动体10(10A、10B、10C)从自主移动模式切换到手动操作模式时移动体10(10A、10B和10C)能够学习自主移动。因此，根据本发明的实施例的显示系统使得操作者能够更适当地确定通过手动操作的学习的必要性。

根据本发明的实施例的通信是包括显示系统和移动体10(10A、10B和10C)的通信系统1(1A、1B和1C)，所述显示系统用于执行关于移动体10(10A、10B和10C)的预定操作。在通信系统中，移动体10(10A、10B和10C)接收从显示系统1(1A、1B和1C)发送的自主移动模式和手动操作模式之间的切换请求，基于接收到的切换请求设置自主移动模式和手动操作模式中的期望模式，并且基于设置的期望模式执行移动体10(10A、10B和10C)的移动过程。因此，在通信系统1(1A、1B和1C)中，移动体10(10A、10B和10C)响应于从显示系统发送的切换请求而在自主移动模式和手动操作模式之间切换，使得可以响应于用户的请求而执行移动体10(10A、10B和10C)的移动控制。

此外，根据本发明的实施例，当设置手动操作模式时，移动体10(10A、10B和10C)学习针对自主移动的移动路径，并且基于学习数据计算自主移动的准确性。当设置自主移动模式时，移动体10(10A、10B和10C)基于学习数据自主地移动。因此，通信系统1(1A、1B和1C)可以使用学习数据来执行移动体10(10A、10B和10C)的自主移动，并且可以通过使用在移动体10(10A、10B和10C)的手动操作模式下获取的各种类型的数据学习自主移动来改善移动体10(10A、10B和10C)的自主移动的准确性。

发明内容2

如上所述，根据本发明的实施例的显示系统是用于显示由在预定位置内移动的移动体10(10A和10B)捕获的预定位置的图像的显示系统。显示系统接收从移动体10(10A和10B)发送的捕获图像，并且将虚拟路线图像711、713和715叠加在移动体10(10A和10B)在接收到的捕获图像中表示的预定位置中的移动路线上。因此，根据本发明的实施例的显示系统使得用户或操作者能够正确地识别移动体10(10A和10B)的移动状态。

此外，根据本发明的实施例的显示系统，虚拟路线图像711、713和715包括表示移动路线上的多个点的图像、表示移动体10(10A和10B)的移动历史的图像以及表示移动体10(10A和10B)的未来目的地的图像。因此，根据本发明的实施例的显示系统在操作者使用的操作画面400等上显示捕获显示图像，该捕获显示图像通过在捕获图像中表示的移动体10(10A和10B)的移动路线上呈现虚拟路线图像711、713和715而形成。

此外，根据本发明的实施例的显示系统接收表示移动体10(10A和10B)的移动路线的路线信息的输入，将接收到的输入路线信息发送到移动体10(10A和10B)，并且基于发送的路线信息移动移动体10(10A和10B)。显示系统接收关于表示位置的地图图像的输入路线信息，将表示路线信息的系列图像611、613和615叠加在地图图像上，将地图图像与叠加有虚拟路线图像711、713和715的捕获图像一起显示。因此，根据本发明的实施例的显示系统使得操作者能够通过显示地图显示图像来在视觉上识别移动体10(10A和10B)的移动状态，其中表示路线信息的系列图像611、613和615与捕获显示图像一起呈现在地图图像上。因此，可以改善操作者对移动体10的可操作性。

根据本发明的实施例的显示系统还包括接收用于提供对移动体10(10A和10B)的预定控制的操作的操作接收单元。操作接收单元是接收切换操作以在通过手动操作移动移动体10(10A和10B)的手动操作模式和移动体10(10A和10B)自主移动的自主移动模式之间切换的模式切换按钮900。因此，当操作者在自主移动和手动操作之间切换时，根据本发明的实施例的显示系统可以通过使用模式切换按钮900来改善操作者在自主移动和手动操作之间切换的可操作性。

此外，在根据本发明的实施例的显示系统中，自主移动是基于学习的自主移动，并且当移动体10(10A和10B)从自主操作模式切换到手动操作模式时，使得移动体10(10A和10B)能够执行针对自主移动的学习。使用由移动体10(10A和10B)获取的捕获图像来执行针对自主移动的学习。因此，根据本发明的实施例的显示系统可以使用学习数据执行移动体10(10A和10B)的自主移动，并且通过使用捕获图像执行针对自主移动的学习来改善移动体10(10A和10B)的自主移动准确性。

根据本发明的实施例的通信系统是包括显示系统和移动体10(10A和10B)的通信系统1(1A和1B)，所述显示系用于显示由在预定位置内移动的移动体10(10A和10B)捕获的图像。通信系统1(1A和1B)基于表示移动体10的当前位置的位置信息(10A和10B)和表示移动体10的移动路线的路线信息(10A和10B)生成其中虚拟路线图像711、713和715叠加在捕获图像上的显示图像。因此，通信系统1(1A和1B)生成并显示在视觉上指示移动体10的移动路径的捕获显示图像，从而使得操作者能够正确地识别移动体10(10A和10B)的移动状态。

在根据本发明的实施例的通信系统中，移动体10(10A和10B)接收从显示系统发送的用于在自主移动模式和手动操作模式之间切换的切换请求，基于接收到的切换请求设置自主移动模式或手动操作模式，并且基于设置的模式执行移动体10(10A和10B)的移动过程。因此，在通信系统1(1A和1B)中，移动体10(10A和10B)响应于从显示系统发送的切换请求而在自主移动模式和手动操作模式之间切换操作模式。这使得用户能够根据用户的请求执行移动体10(10A和10B)的移动控制。

补充信息

上述实施例的功能可以由一个或多个处理电路来实施。在本文中，在本实施例中，“处理电路”包括被编程为通过软件执行每个功能的处理器(诸如由电子电路实施的处理器)、以及诸如ASIC(专用集成电路)、DSP(数字信号处理器)、FPGA(现场可编程门阵列)、SoC(片上系统)、GPU(图形处理单元)的装置、以及被设计为执行如上所述的每个功能的常规电路模块。

上述实施例的各种表也可以通过机器学习的学习效果来生成，并且每个项目的相关数据可以通过机器学习来分类而不使用表。在本文中，机器学习是使得计算机能够获得类似人类的学习能力的技术，这是指使得计算机能够从预先导入的学习数据自主地生成做出决策(诸如数据识别)所需的算法并且然后将这些算法应用于新数据以进行预测的技术。用于机器学习的学习方法可以是监督、无监督、半监督、强化和深度学习方法中的任何一种、以及这些学习方法的组合。

虽然已经根据本发明的实施例描述了显示系统、通信系统、显示控制方法及程序，但是本发明不限于上述实施例，而是可以在本领域技术人员设想的程度上进行修改，诸如添加、修改或删除其他实施例，并且只要本发明有效，实施例的任何方面都可以落入本发明的范围内。

附图标记列表

1、1A、1B、1C 通信系统

100 通信网络

10、10A、10B、10C 移动体

30、30A、30B、30C 控制装置

31 发送器-接收器(切换请求接收机的示例和准确性发送器的示例)

37 自定位估计器(自定位估计器的示例)

38 路线信息生成器(路线信息生成器的示例)

42 模式设置器(模式设置器的示例)

43 自主移动处理器(移动处理器的示例)

44 手动操作处理器(移动处理器的示例)

45 准确性计算器(第二准确性计算器的示例)

46 图像生成器

47 学习单元(学习单元的示例)

50、50A、50B 显示装置

51 发送器-接收器(切换请求发送器的示例、获取单元的示例)

52 接收单元

53 显示控制器(显示控制器的示例)

56 准确性计算器(第一准确性计算器的示例)

57 图像生成器(获取单元的示例)

90 信息处理装置

91 发送器-接收器

93 准确性计算器

94 图像生成器

200 路线输入画面

250 目的地系列

400、400A、400B、400C、400D、400E、400F 操作画面

600 地图显示图像区域

611、613、615 系列图像

650、660 准确性显示图像

700 捕获显示图像区域

711、713、715 路线图像

750、760 准确性显示图像

800 通知信息显示区域

900 模式切换按钮(操作接收单元的示例)

本申请基于并要求于2021年3月22日提交的日本优先权申请号2021-047517、于2021年3月22日提交的日本优先权申请号2021-047582、以及于2022年2月15日提交的日本优先权申请号2022-021463的优先权，其内容通过引用并入本文。

权利要求书(按照条约第19条的修改)

1.(当前修改)一种用于执行关于移动体的预定操作的显示系统，所述显示系统包括：

操作接收单元，所述操作接收单元被配置为接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；

显示控制器，所述显示控制器被配置为：显示表示所述移动体的移动路线的位置显示图像、以及表示根据所述移动路线上的位置的所述自主移动的准确性的通知信息；以及

切换请求发送器，所述切换请求发送器被配置为：响应于接收到所述切换操作，向所述移动体发送用于在所述自主移动模式和所述手动操作模式之间切换所述操作模式的切换请求，

其中，基于所发送的切换请求，来执行所述移动体的所述操作模式在所述自主移动模式和所述手动操作模式之间的切换。

2.(删除)

3.(原始)根据权利要求1或2所述的显示系统，其中，所述自主移动是基于学习的自主移动。

4.(原始)根据权利要求3所述的显示系统，其中，所述通知信息是指示所述自主移动的学习准确性的信息。

5.(原始)根据权利要求3或4所述的显示系统，其中，响应于所述移动体从所述自主移动模式切换到所述手动操作模式，使得所述移动体能够执行针对所述自主移动的学习。

6.(当前修改)根据权利要求1所述的显示系统，还包括：

第一准确性计算器，所述第一准确性计算器被配置为：基于位置信息和路线信息计算所述自主移动的准确性，所述位置信息表示在所述位置内移动的所述移动体的当前位置，并且所述路线信息表示所述移动体的移动路线，其中，

所述显示控制器将由所述第一准确性计算器计算的所述自主移动的准确性显示为所述通知信息，并且根据所述移动体的所述当前位置改变所述通知信息。

7.(原始)根据权利要求1至6中任一项所述的显示系统，其中，所述第一准确性计算器基于所述位置信息、所述路线信息、以及与所述移动体的所述自主移动相关联的学习数据来计算所述自主移动的准确性。

8.(原始)根据权利要求1至7中任一项所述的显示系统，其中，所述显示控制器将表示所述自主移动的准确性的数值显示为所述通知信息。

9.(原始)根据权利要求1至8中任一项所述的显示系统，其中，所述显示控制器将表示所述自主移动的准确性的图像显示为所述通知信息。

10.(原始)根据权利要求9所述的显示系统，还包括：

获取单元，所述获取单元被配置为：获取表示所述位置的图像中的表示所述移动体的移动路径的位置显示图像，其中，

所述显示控制器在所获取的位置显示图像上将表示所述自主移动的准确性的图像显示为所述通知信息。

11.(原始)一种通信系统，包括：

根据权利要求1至10中任一项所述的显示系统；以及

所述移动体，其中，

所述移动体包括：

切换请求接收器，所述切换请求接收器被配置为：接收从所述显示系统发送的切换请求，

模式设置器，所述模式设置器被配置为：基于接收到的切换请求，设置所述自主移动模式和所述手动操作模式中的期望模式，以及

移动处理器，所述移动处理器被配置为：基于设置的期望模式，执行所述移动体的移动过程。

12.(原始)根据权利要求11所述的通信系统，其中，所述移动体还包括：

自定位估计器，所述自定位估计器被配置为：估计所述移动体的当前位置，

路线信息生成器，所述路线信息生成器被配置为：生成表示所述移动体的移动路线的路线信息，

第二准确性计算器，所述第二准确性计算器被配置为：基于表示所估计的当前位置的位置信息和所生成的路线信息，来计算自主移动的准确性，以及

准确性发送器，所述准确性发送器被配置为：将表示所计算的自主移动的准确性的通知信息发送到所述显示系统，其中，

所述显示系统的显示控制器显示从所述移动体发送的所述通知信息。

13.(原始)根据权利要求12所述的通信系统，其中，所述移动体还包括：

学习单元，所述学习单元被配置为：响应于由所述模式设置器设置的所述手动操作模式，执行与所述自主移动相关联的所述移动路径的学习，其中，

所述第二准确性计算器基于通过所述学习单元的所述学习获取的学习数据，来计算所述自主移动的所述准确性。

14.(原始)根据权利要求13所述的通信系统，其中，所述移动处理器响应于由所述模式设置器所设置的自主移动模式，基于由所述学习单元的所述学习获取的学习数据，通过自主移动来移动所述移动体。

15.(原始)一种由显示系统执行的显示控制方法，所述显示系统被配置为执行关于移动体的预定操作，所述显示控制方法包括：

操作接收步骤，用于接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制步骤，用于显示表示自主移动的准确性的通知信息。

16.(原始)一种用于使显示系统执行关于移动体的预定操作的程序，当所述程序由所述显示系统的处理器执行时，使所述显示系统执行包括以下步骤的过程：

操作接收步骤，用于接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制步骤，用于显示表示自主移动的准确性的通知信息。

17.(原始)一种用于显示由移动体捕获的图像的显示系统，所述移动体在预定位置内移动，所述显示系统包括：

接收器，所述接收器被配置为：从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制器，所述显示控制器被配置为：将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

18.(原始)根据权利要求17所述的显示系统，其中，

所述虚拟路线图像包括：表示所述移动体的所述移动路线上的多个点的图像。

19.(原始)根据权利要求17或18所述的显示系统，其中，

所述虚拟路线图像包括：表示所述移动体的移动历史和所述移动体的未来目的地的图像。

20.(原始)根据权利要求17至19中任一项所述的显示系统，还包括：

移动体路线接收单元，所述移动体路线接收单元被配置为：接收路线信息的输入，所述路线信息表示所述移动体的所述移动路线；以及

移动体路线发送器，所述移动体路线发送器被配置为：将接收到的所述路线信息的输入发送到所述移动体，其中，

基于发送的路线信息移动所述移动体。

21.(原始)根据权利要求20所述的显示系统，其中，

所述移动体路线接收单元将所述路线信息的所述输入接收在地图图像上，所述地图图像表示所述预定位置，并且

所述显示控制器显示叠加有表示所述路线信息的系列图像的地图图像和叠加有所述路线图像的捕获图像。

22.(原始)根据权利要求17至21中任一项所述的显示系统，还包括：

操作接收单元，所述操作接收单元被配置为：接收用于执行关于所述移动体的预定控制的操作。

23.(原始)根据权利要求22所述的显示系统，其中，

所述操作接收单元接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体。

24.(原始)根据权利要求23所述的显示系统，还包括：

切换请求发送器，所述切换请求发送器被配置为：响应于接收到所述切换操作，向所述移动体发送用于在所述自主移动模式和所述手动操作模式之间切换所述操作模式的切换请求，其中，

基于所发送的切换请求，来控制所述移动体的所述操作模式在所述自主移动模式和所述手动操作模式之间的切换。

25.(原始)根据权利要求23或24所述的显示系统，其中，

所述自主移动是基于学习的自主移动，并且其中，

当所述移动体从所述自主移动模式切换到所述手动操作模式时，使得所述移动体能够执行针对所述自主移动的学习。

26.(原始)根据权利要求25所述的显示系统，其中，

使用由所述移动体捕获的捕获图像，来执行针对所述自主移动的所述学习。

27.(原始)一种通信系统，包括用于显示图像的显示系统和移动体，所述图像由所述移动体捕获，所述移动体在预定位置内移动，所述通信系统包括：

获取单元，所述获取单元被配置为获取所述捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制器，所述显示控制器被配置为：将虚拟路线图像叠加并显示在接收到的捕获图像上出现的所述预定位置中的所述移动体的移动路线上。

28.(原始)根据权利要求27所述的通信系统，还包括：

图像生成器，所述图像生成器被配置为：基于表示所述移动体的当前位置的位置信息和表示所述移动体的所述移动路线的路线信息来生成显示图像，所述显示图像通过将所述虚拟路线图像叠加在所述捕获图像上而形成，其中，

所述显示控制器显示所生成的显示图像。

29.(原始)根据权利要求28所述的通信系统，其中，

所述移动体还包括：

自定位估计器，所述自定位估计器被配置为估计所述移动体的当前位置，并且

所述图像生成器基于表示所估计的当前位置的位置信息和所述路线信息来生成所述显示图像。

30.(原始)根据权利要求27至29中任一项所述的通信系统，其中，

所述移动体包括：

切换请求接收器，所述切换请求接收器被配置为：接收用于请求在手动操作模式和自主移动模式之间切换的切换请求，所述手动操作模式被选择用于手动移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体，所述切换请求从所述显示系统发送，

模式设置器，所述模式设置器被配置为：基于接收到的切换请求，设置所述自主移动模式和所述手动操作模式中的期望模式，

移动处理器，所述移动处理器被配置为：基于设置的期望模式，执行所述移动体的移动过程。

31.(原始)一种由显示系统执行的显示控制方法，所述显示系统显示由移动体捕获的图像，所述移动体在预定位置内移动，所述显示控制方法包括：

接收步骤，用于从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制步骤，用于将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

32.(原始)一种用于使显示系统显示由移动体捕获的图像的程序，所述移动体在预定位置内移动，所述程序在由所述显示系统的处理器执行时使所述显示系统执行包括以下步骤的过程：

接收步骤，用于从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制步骤，用于将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

33.(新)根据权利要求1所述的显示系统，其中，

所述显示控制器在所述位置显示图像上将表示所述自主移动的准确性的图像显示为所述通知信息，所述位置显示图像表示所述移动体的所述移动路线。

34.(新)根据权利要求1所述的显示系统，其中，

所述显示控制器将表示所述移动路线上的每个位置处的所述自主移动的所述准确性的图像显示为所述通知信息。

35.(新)根据权利要求23所述的显示系统，其中，

所述显示控制器显示指示所述移动体在所述手动操作模式下具有恢复所述自主移动的高可能性的位置的图像。

Claims (32)

1.一种用于执行关于移动体的预定操作的显示系统，所述显示系统包括：

操作接收单元，所述操作接收单元被配置为接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制器，所述显示控制器被配置为显示表示所述自主移动的准确性的通知信息。

2.根据权利要求1所述的显示系统，还包括：

切换请求发送器，所述切换请求发送器被配置为：响应于接收到所述切换操作，向所述移动体发送用于在所述自主移动模式和所述手动操作模式之间切换所述操作模式的切换请求，其中，

基于所发送的切换请求，来执行所述移动体的所述操作模式在所述自主移动模式和所述手动操作模式之间的切换。

3.根据权利要求1或2所述的显示系统，其中，所述自主移动是基于学习的自主移动。

4.根据权利要求3所述的显示系统，其中，所述通知信息是指示所述自主移动的学习准确性的信息。

5.根据权利要求3或4所述的显示系统，其中，响应于所述移动体从所述自主移动模式切换到所述手动操作模式，使得所述移动体能够执行针对所述自主移动的学习。

6.根据权利要求1至5中任一项所述的显示系统，还包括：

第一准确性计算器，所述第一准确性计算器被配置为：基于位置信息和路线信息计算所述自主移动的准确性，所述位置信息表示所述移动体的当前位置，并且所述路线信息表示所述移动体的移动路线，其中，

所述显示控制器将由所述第一准确性计算器计算的所述自主移动的准确性显示为所述通知信息。

7.根据权利要求1至6中任一项所述的显示系统，其中，所述第一准确性计算器基于所述位置信息、所述路线信息、以及与所述移动体的所述自主移动相关联的学习数据来计算所述自主移动的准确性。

8.根据权利要求1至7中任一项所述的显示系统，其中，所述显示控制器将表示所述自主移动的准确性的数值显示为所述通知信息。

9.根据权利要求1至8中任一项所述的显示系统，其中，所述显示控制器将表示所述自主移动的准确性的图像显示为所述通知信息。

10.根据权利要求9所述的显示系统，还包括：

获取单元，所述获取单元被配置为：获取表示所述位置的图像中的表示所述移动体的移动路径的位置显示图像，其中，

所述显示控制器在所获取的位置显示图像上将表示所述自主移动的准确性的图像显示为所述通知信息。

11.一种通信系统，包括：

根据权利要求1至10中任一项所述的显示系统；以及

所述移动体，其中，

所述移动体包括：

切换请求接收器，所述切换请求接收器被配置为：接收从所述显示系统发送的切换请求，

模式设置器，所述模式设置器被配置为：基于接收到的切换请求，设置所述自主移动模式和所述手动操作模式中的期望模式，以及

移动处理器，所述移动处理器被配置为：基于设置的期望模式，执行所述移动体的移动过程。

12.根据权利要求11所述的通信系统，其中，所述移动体还包括：

自定位估计器，所述自定位估计器被配置为：估计所述移动体的当前位置，

路线信息生成器，所述路线信息生成器被配置为：生成表示所述移动体的移动路线的路线信息，

第二准确性计算器，所述第二准确性计算器被配置为：基于表示所估计的当前位置的位置信息和所生成的路线信息，来计算自主移动的准确性，以及

准确性发送器，所述准确性发送器被配置为：将表示所计算的自主移动的准确性的通知信息发送到所述显示系统，其中，

所述显示系统的显示控制器显示从所述移动体发送的所述通知信息。

13.根据权利要求12所述的通信系统，其中，所述移动体还包括：

学习单元，所述学习单元被配置为：响应于由所述模式设置器设置的所述手动操作模式，执行与所述自主移动相关联的所述移动路径的学习，其中，

所述第二准确性计算器基于通过所述学习单元的所述学习获取的学习数据，来计算所述自主移动的所述准确性。

14.根据权利要求13所述的通信系统，其中，所述移动处理器响应于由所述模式设置器所设置的自主移动模式，基于由所述学习单元的所述学习获取的学习数据，通过自主移动来移动所述移动体。

15.一种由显示系统执行的显示控制方法，所述显示系统被配置为执行关于移动体的预定操作，所述显示控制方法包括：

操作接收步骤，用于接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制步骤，用于显示表示自主移动的准确性的通知信息。

16.一种用于使显示系统执行关于移动体的预定操作的程序，当所述程序由所述显示系统的处理器执行时，使所述显示系统执行包括以下步骤的过程：

操作接收步骤，用于接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体；以及

显示控制步骤，用于显示表示自主移动的准确性的通知信息。

17.一种用于显示由移动体捕获的图像的显示系统，所述移动体在预定位置内移动，所述显示系统包括：

接收器，所述接收器被配置为：从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制器，所述显示控制器被配置为：将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

18.根据权利要求17所述的显示系统，其中，

所述虚拟路线图像包括：表示所述移动体的所述移动路线上的多个点的图像。

19.根据权利要求17或18所述的显示系统，其中，

所述虚拟路线图像包括：表示所述移动体的移动历史和所述移动体的未来目的地的图像。

20.根据权利要求17至19中任一项所述的显示系统，还包括：

移动体路线接收单元，所述移动体路线接收单元被配置为：接收路线信息的输入，所述路线信息表示所述移动体的所述移动路线；以及

移动体路线发送器，所述移动体路线发送器被配置为：将接收到的所述路线信息的输入发送到所述移动体，其中，

基于发送的路线信息移动所述移动体。

21.根据权利要求20所述的显示系统，其中，

所述移动体路线接收单元将所述路线信息的所述输入接收在地图图像上，所述地图图像表示所述预定位置，并且

所述显示控制器显示叠加有表示所述路线信息的系列图像的地图图像和叠加有所述路线图像的捕获图像。

22.根据权利要求17至21中任一项所述的显示系统，还包括：

操作接收单元，所述操作接收单元被配置为：接收用于执行关于所述移动体的预定控制的操作。

23.根据权利要求22所述的显示系统，其中，

所述操作接收单元接收切换操作以在手动操作模式和自主移动模式之间切换操作模式，所述手动操作模式被选择用于通过手动操作来移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体。

24.根据权利要求23所述的显示系统，还包括：

切换请求发送器，所述切换请求发送器被配置为：响应于接收到所述切换操作，向所述移动体发送用于在所述自主移动模式和所述手动操作模式之间切换所述操作模式的切换请求，其中，

基于所发送的切换请求，来控制所述移动体的所述操作模式在所述自主移动模式和所述手动操作模式之间的切换。

25.根据权利要求23或24所述的显示系统，其中，

所述自主移动是基于学习的自主移动，并且其中，

当所述移动体从所述自主移动模式切换到所述手动操作模式时，使得所述移动体能够执行针对所述自主移动的学习。

26.根据权利要求25所述的显示系统，其中，

使用由所述移动体捕获的捕获图像，来执行针对所述自主移动的所述学习。

27.一种通信系统，包括用于显示图像的显示系统和移动体，所述图像由所述移动体捕获，所述移动体在预定位置内移动，所述通信系统包括：

获取单元，所述获取单元被配置为获取所述捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制器，所述显示控制器被配置为：将虚拟路线图像叠加并显示在接收到的捕获图像上出现的所述预定位置中的所述移动体的移动路线上。

28.根据权利要求27所述的通信系统，还包括：

图像生成器，所述图像生成器被配置为：基于表示所述移动体的当前位置的位置信息和表示所述移动体的所述移动路线的路线信息来生成显示图像，所述显示图像通过将所述虚拟路线图像叠加在所述捕获图像上而形成，其中，

所述显示控制器显示所生成的显示图像。

29.根据权利要求28所述的通信系统，其中，

所述移动体还包括：

自定位估计器，所述自定位估计器被配置为估计所述移动体的当前位置，并且

所述图像生成器基于表示所估计的当前位置的位置信息和所述路线信息来生成所述显示图像。

30.根据权利要求27至29中任一项所述的通信系统，其中，

所述移动体包括：

切换请求接收器，所述切换请求接收器被配置为：接收用于请求在手动操作模式和自主移动模式之间切换的切换请求，所述手动操作模式被选择用于手动移动所述移动体，并且所述自主移动模式被选择用于通过自主移动来移动所述移动体，所述切换请求从所述显示系统发送，

模式设置器，所述模式设置器被配置为：基于接收到的切换请求，设置所述自主移动模式和所述手动操作模式中的期望模式，

移动处理器，所述移动处理器被配置为：基于设置的期望模式，执行所述移动体的移动过程。

31.一种由显示系统执行的显示控制方法，所述显示系统显示由移动体捕获的图像，所述移动体在预定位置内移动，所述显示控制方法包括：

接收步骤，用于从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制步骤，用于将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。

32.一种用于使显示系统显示由移动体捕获的图像的程序，所述移动体在预定位置内移动，所述程序在由所述显示系统的处理器执行时使所述显示系统执行包括以下步骤的过程：

接收步骤，用于从所述移动体接收捕获图像，所述捕获图像捕获所述预定位置；以及

显示控制步骤，用于将虚拟路线图像叠加并显示在接收到的捕获图像中表示的所述预定位置中的所述移动体的移动路线上。