CN108780615A - 信息处理设备 - Google Patents

Abstract

为了实现对与现实世界中的变化相对应的地图信息的更加高度准确的动态更新。提供了一种信息处理设备，其具有：获取单元，被配置成从一个或多个传感器获取与现实世界中的单位空间有关的观测信息；以及通信单元，被配置成基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来发送在单位空间中获取的观测信息。另外，提供了一种信息处理设备，其具有：通信单元，被配置成接收从一个或多个传感器获取的与现实世界中的单位空间有关的观测信息；以及地图生成单元，被配置成基于观测信息生成参考地图。观测信息是基于与参考地图和现实世界中的单位空间之间的不一致有关的信息而发送的。

Description

信息处理设备

技术领域

本公开内容涉及信息处理设备。

背景技术

近年来，已经提出了使用地图信息的各种服务。另外，还提出了用于基于在现实世界中观测到的信息来更新地图信息的各种方法。这些方法的示例包括专利文献1中描述的地图数据更新方法。

引文列表

专利文献

专利文献1：JP 2005-98853A

发明内容

技术问题

然而，专利文献1中公开的地图数据更新方法限于对与车辆行驶的道路有关的信息的更新。另外，难以通过使用专利文献1中描述的地图数据更新方法在地图数据中反映检测到的现实世界中的地形变化。

因此，本公开内容提出了一种信息处理设备，其能够以更高的准确度响应于现实世界中的变化来动态地更新地图信息。

问题的解决方案

根据本公开内容，提供了一种信息处理设备，其包括：获取部分，其被配置成从一个或多个传感器获取与现实世界中的单位空间有关的观测信息；以及通信部分，其被配置成基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来发送在单位空间中获取的观测信息。

另外，根据本公开内容，提供了一种信息处理设备，其包括：通信部分，其被配置成接收与现实世界中的单位空间有关的观测信息，该观测信息是从一个或多个传感器获取的；以及地图生成部分，其被配置成基于观测信息来生成参考地图。观测信息包括与参考地图和现实世界中的单位空间之间的不一致有关的信息。

另外，根据本公开内容，提供了一种信息处理设备，其包括：接收部分，其被配置成接收与参考地图和现实世界中的单位空间之间的不一致有关的信息；以及控制部分，其被配置成基于不一致的程度来改变驾驶控制模式。

发明的有益效果

如上所述，根据本公开内容，可以以更高的准确度响应于现实世界中的变化来动态地更新地图信息。注意，上述效果不一定是限制性的。与上述效果一起或代替上述效果，可以实现在本说明书中描述效果或从本说明书理解的其他效果中的任意一种。

附图说明

图1A是与根据本公开内容的自主车辆周围的环境有关的示意图。

图1B是由根据本公开内容的自主车辆识别出的周围环境的说明图。

图2A是根据本公开内容的与参考地图和现实世界之间的不一致有关的示例图。

图2B是根据本公开内容的与参考地图和现实世界之间的不一致有关的示例图。

图3是示出根据实施方式的对参考地图的更新的概念图。

图4是根据实施方式的系统配置示例。

图5是根据该实施方式的信息处理服务器和信息处理设备的功能框图。

图6是示出根据实施方式的一致性确定的工作流程的流程图。

图7是示出根据实施方式的与一致性确定有关的输入/输出的概念图。

图8是示出根据实施方式的新部分地图生成的工作流程的流程图。

图9是示出根据实施方式的基于不一致预测的命令发送的工作流程的流程图。

图10是示出根据实施方式的与三维地图生成有关的输入/输出的概念图。

图11A是根据实施方式的包括在主地图中的对象的说明图。

图11B是根据实施方式的分割处理和对象表面生成的说明图。

图11C是根据实施方式的纹理投影的说明图。

图12是根据实施方式的对象属性添加地图的说明图。

图13是根据本公开内容的硬件配置示例。

具体实施方式

在下文中，将参照附图详细描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件用相同的附图标记表示，并且省略对这些结构元件的重复说明。

注意，按以下顺序给出描述。

1.与本公开内容有关的背景

1.1.人工神经网络

1.2.使用人工神经网络的驾驶控制

1.3.与自动驾驶控制有关的参考地图

2.实施方式

2.1.参考地图更新的概述

2.2.根据本实施方式的系统配置示例

2.3.根据本实施方式的信息处理服务器10

2.4.根据本实施方式的信息处理设备20

2.5.信息处理设备20进行一致性确定的工作流程

2.6.一致性确定的细节

2.7.与新部分地图的生成有关的工作流程

2.8.基于不一致预测的命令发送

2.9.基于不一致预测的驾驶控制

2.10.三维地图生成的细节

2.11.对象表面生成地图和纹理投影地图

2.12.根据本实施方式的对象属性添加地图

3.硬件配置示例

4.结论

<1.与本公开内容有关的背景>

<<1.1.人工神经网络>>

人工神经网络是模拟人类神经网络的模型。人工神经网络是一种使计算机实现人类学习能力的技术。如上所述，人工神经网络的特征之一是人工神经网络具有学习能力。在人工神经网络中，人工神经元(节点)通过突触连接构成网络，并且人工神经元(节点)通过学习改变突触连接的强度。因此，可以获得解决问题的能力。换言之，人工神经网络变得能够通过多次学习自动推断问题解决方案的规则。

人工神经网络学习的示例包括图像识别和语音识别。例如，人工神经网络变得能够通过重复学习输入图像模式来识别输入图像中包括的对象等。人工神经网络的这种学习能力还作为提高人工智能进步的关键而受到关注。此外，人工神经网络的学习能力还有望应用于各种工业领域。人工神经网络的学习能力的应用的示例包括各种设备的自主控制。

<<1.2.使用人工神经网络的驾驶控制>>

这里，将描述使用人工神经网络的自主控制的示例。近年来，已经开发了在没有用户操作的情况下自主操作的各种设备。这种设备的示例包括不需要由驾驶员控制的自主车辆。自主车辆根据各种传感器获取的信息识别周围环境，并且根据所识别的环境实现自主行驶。

人工神经网络可以应用于自主车辆中的这种环境识别和驾驶控制。例如，学习器(下文中，也称为用于自动驾驶的AI)可以用于自动驾驶控制。学习器通过使用多层人工神经网络的深度学习获得了驾驶控制功能。换言之，用于自动驾驶的AI能够基于通过学习获得的环境识别能力和驾驶控制能力来根据周围环境控制对车辆的驾驶。例如，用于自动驾驶的AI能够基于传感器观测到的观测信息来识别行人，并且控制方向盘和制动器以避开行人。

图1A和图1B是示出由自主车辆AV1识别周围环境的图。图1A是示意性地示出在现实世界中自主车辆AV1周围的环境的图。参照图1A，在自主车辆AV1周围存在动态对象DO1至DO4和静态对象SO1至SO4。这里，动态对象DO1至DO4可以是动态移动的对象。在图1A所示的示例中，动态对象DO1和DO2被示出为车辆，动态对象DO3被示出为自行车，以及动态对象DO4被示出为行人。另外，静态对象SO1至SO4可以是不自主移动的对象。在图1A所示的示例中，静态对象SO1被示出为交通灯，静态对象SO2被示出为广告牌，静态对象SO3被示出为街道树，以及静态对象SO4被示出为建筑物。

接下来，参照图1B，将描述由自主车辆AV1识别到的周围环境的示例。图1B是示意性地示出由自主车辆AV1识别到的周围环境的图。如图1B所示，例如自主车辆AV1可以通过使用基于包括图像信息的观测信息提取的特征点来识别周围环境。因此，在图1B中，动态对象DO1至DO4和静态对象SO1至SO4由自主车辆AV1检测到的各组特征点表示。如上所述，自主车辆AV1能够通过跟踪基于从安装在自主车辆AV1上的摄像机等获得的信息而检测到的对象的特征点来识别其周围环境。

另外，尽管未在图1B中示出，自主车辆AV1也能够基于由用于自动驾驶的AI执行的对象识别的结果来识别周围环境。在这种情况下，例如，基于对各个特征点和对象的识别，可以将动态对象DO1至DO4识别为三维信息。另外，用于自动驾驶的AI能够根据从观测信息识别的周围环境中的对象的特性来控制驾驶。例如，用于自动驾驶的AI可以在识别到迎面而来的车辆的驾驶路线、行人正在过马路等时控制加速踏板、制动器、方向盘等。

<<1.3.与自动驾驶控制有关的参考地图>>

如上所述，设置有用于自动驾驶的AI的自主车辆能够在基于从安装在自主车辆上的诸如摄像机等的传感器获取的观测信息识别周围环境的同时自主行驶。另外，在上述自动驾驶控制中，可以通过使用三维地图(下文中，也称为参考地图)作为周围环境的参考来实现高度准确的驾驶控制。换言之，自主车辆能够通过参考参考参考地图并将观测信息与参考地图进行匹配来提高周围环境识别和自定位的准确度。这里，参考地图可以是例如从包括图像信息的多条观测信息生成的三维地图。

另一方面，在使用参考地图进行自动驾驶控制的情况下，参考地图的准确性很重要。例如，在参考地图与现实世界中的地形之间存在不一致的情况下，存在由自主车辆执行的自定位和对象识别的准确性急剧恶化的可能性。

图2A和图2B是示出参考地图与现实世界中的地形之间的不一致的图。注意，除了包括地面和道路的地形之外，地形还可以包括现实世界中的各种静态对象。

图2A是存储在参考地图中的预定单位空间的三维地图的说明图。参照图2A，除了道路信息之外，参考地图还包括静态对象的三维位置信息，其中静态对象包括交通灯、广告牌等。

另外，图2B是示出在现实世界中的单位空间中的地形的说明图。单位空间与图2A中所示的参考地图相同。参照图2B，可以理解，现实世界中的地形与图2A中所示的参考地图之间存在不一致。具体地，在现实世界中的地形上新建造了建筑物NO1，该建筑物NO1不在参考地图上。另外，广告牌NO2显示与参考地图中所示的相应广告牌不同的内容。

如上所述，在现实世界中地形发生变化。从创建参考地图起随着时间过去，现实世界与参考地图之间可能存在不一致。另外，当自主车辆参考不符合现实世界的参考地图时，存在自定位出错的可能性。

因此，有必要根据现实世界中的地形的变化适当地更新参考地图。特别地，在参考地图用于自动驾驶控制的情况下，鉴于安全保证，期望参考地图符合现实世界并且具有较高的准确度。

鉴于如上所述的参考地图的更新而做出了根据本公开内容的信息处理设备20和信息处理服务器10。它们能够更有效地检测现实世界中的变化，并且使参考地图保持在更接近现实世界情形的状态。在下文中，将描述根据本公开内容的信息处理设备20和信息处理服务器10的功能特征，以及由这些特征实现的效果。另外，将在本公开内容中主要描述使用人工神经网络的学习。然而，根据本公开内容的学习方法不限于此。根据本公开内容的技术构思可以应用于被配置成从输入与输出之间的关系中找到规律的每个学习器。

另外，在下文中，使用被配置成在现实世界中行驶的自主车辆作为示例。然而，根据本公开内容的信息处理服务器10和信息处理设备20的应用不限于此。还可以将根据本公开内容的信息处理服务器10和信息处理设备20应用于被配置成在室内行驶的专用车辆、被配置成在灾害现场操作的救援机器人等。换言之，根据本公开内容的生成参考地图的技术实现在室内和室外都有用的效果。另外，根据本公开内容的观测信息可以由对应于环境情形的移动对象收集。

<2.实施方式>

<<2.1.参考地图更新的概述>>

首先，将描述根据本实施方式的参考地图更新的概述。当根据本实施方式更新参考地图时，安装在自主车辆等上的信息处理设备20能够检测参考地图与现实世界之间的不一致，以及将在检测到不一致的单位空间中观测到的观测信息发送至向信息处理服务器10。另外，根据本实施方式的信息处理服务器10能够基于从信息处理设备20发送的与不一致有关的信息来发出请求与检测到不一致的单位空间有关的观测信息的命令，以及将命令发送至多个信息处理设备20。

另一方面，接收到命令的信息处理设备20能够将诸如车辆的移动对象引导或移动到指定的单位空间，并且向信息处理服务器10发送在该单位空间中观测到的多条观测信息。基于从信息处理设备20获取的多条观测信息，信息处理服务器10生成新的三维部分地图，并且更新与目标单位空间有关的参考地图。

图3是与根据本实施方式的参考地图更新有关的概念图。图3示出了信息处理服务器10、车辆V1和车辆V2。车辆V1和V2设置有信息处理设备20。另外，图3中示出的地图M1是与单位空间有关的参考地图的图像。

设置有信息处理设备20的车辆V1可以是在观测现实世界中的地形的同时行驶的车辆，例如自主车辆等。此时，车辆V1在现实世界中行驶，同时将基于所获取的观测信息而识别到的周围环境与参考地图进行匹配。这里，在检测到现实世界与参考地图之间的不一致的情况下，安装在车辆V1上的信息处理设备20将在单位空间中观测到的观测信息发送至信息处理服务器10。

接下来，已经接收到与不一致有关的信息的信息处理服务器10发出从多个信息处理设备20请求观测信息的命令。观测信息与检测到不一致的单位空间有关。这里，信息处理设备20可以是车载系统，例如用于自动驾驶的AI或汽车导航系统。在信息处理设备20是用于自动驾驶的AI的情况下，信息处理设备20基于所接收的命令将车辆V2移动到目标单位空间。可替选地，在信息处理设备20是汽车导航系统的情况下，信息处理设备20可以改变用于将车辆V2引导到目标单位空间的路线等。

当在上述控制下将车辆V2移动到指定的单位空间时，信息处理设备20将所获取的观测信息发送至信息处理服务器10。基于从多个信息处理设备20获取的多条观测信息，信息处理服务器10生成与单位空间有关的新的三维部分地图，并且更新参考地图。注意，在图2中所示的示例中的车辆V2和车辆V2'指示同一车辆。车辆V2'表示移动到指定的单位空间后的车辆V2。

已经描述了根据本实施方式的参考地图的更新的概述。通过使用根据本实施方式的信息处理设备20和信息处理服务器10，可以基于由在现实世界中行驶的移动对象观测到的观测信息来动态地检测现实世界与参考地图之间的不一致。另外，根据本实施方式，可以有效地获取预期具有不一致的单位空间中的观测信息，并且更新参考地图。

注意，在上面的描述中，使用车辆作为设置有信息处理设备20的移动对象的示例。然而，根据本公开内容的移动对象不限于此。根据本实施方式的移动对象可以是包括例如无人机的无人驾驶飞行器(UAV)、船舶或各种机器人。可替选地，根据本实施方式的移动对象可以是由人操作的各种车辆或设备。在这种情况下，例如，根据本实施方式的信息处理服务器10能够收集由人驾驶的车辆或由人操作的无人机所观测到的观测信息。根据本实施方式的移动对象可以广泛地应用为用于观测周围环境的装置或者包括用于移动到指定的空间区域的装置的设备。

<<2.2.根据本实施方式的系统配置示例>>

接下来，将描述根据本实施方式的系统配置示例。参考图4，根据本实施方式的系统包括信息处理服务器10、多个信息处理设备20a和20b以及多个移动对象30a和30b。另外，信息处理服务器10、信息处理设备20a和信息处理设备20b经由网络40彼此连接，使得它们可以彼此通信。

这里，根据本实施方式的信息处理服务器10是被配置成进行以下操作的信息处理设备：基于与不一致有关的信息生成请求与现实世界中的单位空间有关的观测信息的命令，并且将命令发送至至少一个信息处理设备20。另外，信息处理服务器10具有基于所接收的观测信息更新参考地图的功能。

另外，根据本实施方式的信息处理设备20是被配置成基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来向信息处理服务器10发送在单位空间中获取的观测信息的设备。例如，信息处理设备20可以是用于自动驾驶的AI、汽车导航系统、个人计算机(PC)、平板电脑、智能手机等。

另外，根据本实施方式的信息处理设备20可以是不同种类的设备。例如，图4中所示的信息处理设备20a可以是用于自动驾驶的AI，并且信息处理设备20b可以是汽车导航系统。根据本实施方式的信息处理设备20可以是各种信息处理设备，其中每个信息处理设备具有从移动对象30获取观测信息的功能以及基于来自信息处理服务器10的命令设置移动对象30的目的地的功能。

根据本实施方式的移动对象30可以是包括被配置成观测现实世界的地形信息的各种传感器的设备。例如，移动对象30可以是各种车辆，包括自主车辆、无人驾驶飞行器、船舶或救援机器人。另外，根据本实施方式的移动对象30可以是用于收集诸如观测信息的数据的无人机或车辆。根据本实施方式的移动对象30具有将在现实世界中观测到的观测信息传递到信息处理设备20的功能。这里，观测信息可以包括例如由RGB-D摄像机、激光测距仪、GPS、Wi-Fi(注册商标)、地磁传感器、气压传感器、加速度传感器、陀螺仪传感器、振动传感器等获取的信息。

另外，网络40包括连接信息处理服务器10和信息处理设备20的功能。网络40可以包括：诸如因特网、电话网络和卫星通信网络的公共网络；包括以太网(注册商标)在内的各种局域网(LAN)；广域网(WAN)等。另外，网络40可以包括专用网络，例如互联网协议虚拟专用网络(IP-VPN)。

上面已经描述了根据本实施方式的系统配置示例。接下来，将描述根据本实施方式的信息处理服务器10和信息处理设备20的功能配置的特征。

<<2.3.根据本实施方式的信息处理服务器10>>

接下来，将描述根据本实施方式的信息处理服务器10的细节。根据本实施方式的信息处理服务器10是具有基于在现实世界中的单位空间中获取的观测信息来更新参考地图的功能的信息处理设备，该观测信息是从信息处理设备20接收的。另外，信息处理服务器10具有从多个信息处理设备20请求观测信息的功能。图5是根据实施方式的信息处理服务器10和信息处理设备20的功能框图。参照图5，根据本实施方式的信息处理服务器10包括地图生成部分110和设备通信部分120。

(地图生成部分110)

地图生成部分110具有与参考地图的生成有关的功能。例如，参考地图可以是三维地图。特别地，在本实施方式中，地图生成部分110可以具有基于由设备通信部分120(稍后描述)接收到的观测信息生成参考地图的功能。具体地，地图生成部分110可以基于观测信息生成新的三维地图并且更新参考地图。另外，地图生成部分110能够基于观测信息识别对象并且将识别出的对象的属性信息添加到三维地图。

此外，根据本实施方式的地图生成部分110可以基于观测信息执行分割处理，并且将分割处理的结果添加到三维地图。另外，地图生成部分110能够基于分割处理的结果生成对象表面和投影纹理，以及生成对象表面生成地图或纹理投影地图。

另外，地图生成部分110具有基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来生成请求与单位空间有关的观测信息的命令的功能。此时，与不一致有关的信息可以包括对来自信息处理设备20的观测信息的接收。换言之，信息处理服务器10可以响应于对被信息处理设备20确定成具有不一致的观测信息的接收来生成命令。

另外，地图生成部分110还能够基于对参考地图与现实世界中的单位空间之间的不一致的预测来生成命令。稍后将描述信息处理服务器10对不一致的预测。

(设备通信部分120)

设备通信部分120具有接收与现实世界中的单位空间有关的观测信息的功能，该观测信息是从一个或更多个传感器获取的。另外，设备通信部分120具有将地图生成部分110生成的命令发送至至少一个信息处理设备20的功能。

这里，观测信息可以是基于与参考地图和现实世界中的单位空间之间的不一致有关的信息而发送的信息。换言之，观测信息可以是信息处理设备20基于不一致的检测而发送的观测信息，或者是信息处理设备20响应于命令而发送的观测信息。

<<2.4.根据本实施方式的信息处理设备20>>

接下来，将描述根据本实施方式的信息处理设备20的细节。根据本实施方式的信息处理设备20具有获取由移动对象30观测到的观测信息的功能。另外，信息处理设备20具有基于与参考地图和现实世界中的单位空间之间的不一致有关的信息将所获取的观测信息发送至信息处理服务器10的功能。参照图5，根据本实施方式的信息处理设备20包括确定部分210、移动设置部分220和观测信息获取部分230以及服务器通信部分240。

(确定部分210)

确定部分210具有基于在现实世界中的单位空间中获取的观测信息来确定参考地图与现实世界之间的一致性的功能。具体地，确定部分210可以通过将从在单位空间中获取的观测信息检测到的特征点与在参考地图中描述的特征点进行匹配来确定一致性。此时，确定部分210能够基于在参考地图中描述的特征点与从被确定成与参考地图匹配的单位空间中的部分区域的观测信息检测到的特征点之间的距离来确定一致性。注意，稍后将描述由确定部分210执行的不一致确定的细节。

(移动设置部分220)

移动设置部分220具有设置移动对象30的目的地的功能。这里，根据本实施方式的移动设置部分220可以具有与信息处理设备20的类型相对应的功能。例如，在信息处理设备20是用于自动驾驶的AI的情况下，移动设置部分220能够基于包括在从信息处理服务器10发出的命令中的单位空间的坐标信息将移动对象30移动到单位空间。

另外，例如，在信息处理设备20是汽车导航系统的情况下，移动设置部分220能够基于包括在命令中的单位空间的坐标信息来改变移动对象30的计划移动路线。如上所述，可以根据信息处理设备20和移动对象30的规范适当地配置移动设置部分220的功能。

另外，移动设置部分220可以具有鉴于移动成本、安全保证等确定是否改变移动对象的目的地的功能。这里，移动成本可以包括移动距离、移动时间、燃料成本、高速公路收费等。

(观测信息获取部分230)

观测信息获取部分230具有从一个或多个传感器获取与现实世界中的单位空间有关的观测信息的功能。这里，观测信息可以包括深度信息。例如，深度信息可以是从包括在移动对象30中的RGB-D摄像机或激光测距仪获得的信息。

另外，观测信息可包括位置信息和姿态信息。例如，位置信息和姿态信息可以是由移动对象30中包括的GPS、Wi-Fi、地磁传感器、气压传感器、加速度传感器、陀螺仪传感器、振动传感器等获得的信息。

(服务器通信部分240)

服务器通信部分240具有将由观测信息获取部分230获取的观测信息发送至信息处理服务器10的功能。另外，服务器通信部分240具有接收从信息处理设备20发出的命令的功能。

具体地，根据本实施方式的服务器通信部分240可以基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来向信息处理服务器10发送在单位空间中获取的观测信息。换言之，服务器通信部分240能够基于由确定部分210执行的一致性确定的确定结果来向信息处理服务器10发送观测信息。

另外，根据本实施方式的服务器通信部分240可以基于从信息处理服务器10发出的命令来发送在单位空间中获取的观测信息。此时，服务器通信部分240能够发送响应于移动对象30到单位空间的移动来发送观测信息。

<<2.5.由信息处理设备20进行的一致性确定的工作流程>>

接下来，将描述根据本实施方式的一致性确定的工作流程的细节。如上所述，根据本实施方式的确定部分20能够基于在现实世界中的单位空间中获取的观测信息来确定参考地图与现实世界之间的一致性。

此时，信息处理设备20的确定部分210可以通过将从在单位空间中获取的观测信息检测到的特征点与在对应于获取观测信息的单位空间的参考地图中描述的特征点进行匹配来确定特征点之间的一致性。

更具体地，确定部分210可以基于在参考地图中描述的特征点与从被确定成与参考地图匹配的单位空间中的部分区域的观测信息检测到的特征点之间的距离来确定一致性。

换言之，在部分区域中特征点之间的距离较大而观测信息和参考地图作为整体彼此匹配的情况下，确定部分210能够确定它们之间存在不一致。

接下来，参照图6，将描述根据本实施方式的一致性确定的工作流程。图6是示出根据本实施方式的一致性确定的工作流程的流程图。注意，在以下描述中，将描述信息处理设备20具有作为用于自动驾驶的AI的功能的示例。

参照图6，服务器通信部分240首先获取与移动对象30正在行驶的地方附近有关的参考地图(S1101)。此时，服务器通信部分240可以基于由安装在移动对象30中的GPS等获取的信息来获取参考地图。

接下来，观测信息获取部分230获取移动对象30在现实世界中的单位空间中观测到的观测信息(S1102)。这里，观测信息可以包括RGB-D图像、激光测距仪信息或者由GPS、Wi-Fi(注册商标)、气压传感器、加速度传感器、陀螺仪传感器和振动传感器获取的信息。

接下来，确定部分210将在步骤S1102中获取的观测信息与在步骤S1101中获取的参考地图进行匹配(S1103)。稍后将描述由确定部分210在此时执行的匹配的细节。

接下来，确定部分210基于在步骤S1103中执行的匹配的结果来确定参考地图与观测信息之间的一致性(S1104)。如上所述，在检测到在部分区域中特征点之间的距离较大(距离>ε)而观测信息与参考地图作为整体彼此匹配的情况下，确定部分210可以确定它们之间存在不一致。注意，稍后将描述由确定部分210执行的一致性确定的细节。

在检测到参考地图与观测信息之间的不一致的情况下(在S1104中为不一致)，服务器通信部分240将在步骤S1102中获取的观测信息发送至信息处理服务器10(S1105)。

另一方面，在确认参考地图与观测信息之间的一致性的情况下(在S1104中为一致)，信息处理设备20结束与目标单位空间有关的不一致确定。另外，此时，移动设置部分220可以控制移动对象30的驾驶，使得移动对象30移动到下一个单位空间(S1106)。在移动对象30移动到下一单位空间之后，确定部分210重复步骤S1101到步骤S1105中的处理。

上面已经描述了根据本实施方式的一致性确定的工作流程。注意，上面已经描述了当确定部分210检测到参考地图与观测信息之间的不一致时服务器通信部分240向信息处理服务器10发送观测信息的示例。然而，根据本实施方式的对观测信息的发送不限于此。

例如，根据本实施方式，移动对象30的乘客也可以确定一致性。例如，在乘客视觉上识别到参考地图与现实世界之间的不一致的情况下，乘客能够执行用于向信息处理服务器10发送观测信息的操作。在这种情况下，信息处理设备20可以包括被配置成接收操作的用户接口。如上所述，在本实施方式中包括与对观测信息的发送有关的多个装置。这使得能够收集与不一致有关的更多条信息。

<<2.6.一致性确定的细节>>

上面已经描述了根据本实施方式的一致性确定的工作流程。接下来，将描述根据本实施方式的一致性确定的细节。图7是示出与根据本实施方式的一致性确定有关的输入/输出的概念图。参照图7，可以理解，确定部分210能够基于输入的观测信息来输出参考地图与现实世界之间的一致性的确定结果。注意，在图7中，确定部分210的功能设置有相应的附图标记B1至B7。

(通过对象识别去除动态对象)

参照图7，确定部分210具有从输入信息中去除动态对象的功能(功能B1)。此时，输入信息可以是RGBD图像、激光测距仪信息等。另外，动态对象可以是自主移动的对象诸如行人或车辆。由于确定部分210从输入信息中去除动态对象，因此可以单独提取用于一致性确定的地形信息。

此时，例如，确定部分210可以通过对输入信息执行区域识别或对象识别来去除动态对象。此时，可以将广泛使用的方法用作区域识别和对象识别。例如，确定部分210可以通过针对预先记录在数据库中的动态对象的特征信息检查输入信息来执行与动态对象有关的对象识别。另外，确定部分210能够基于从具有对象识别能力的学习器输出的结果来去除动态对象。

(特征点检测)

另外，确定部分210具有基于去除了动态对象的RGBD图像来检测特征点的功能，以及描述特征点的功能(功能B2)。RGBD图像是从功能B1输出的。此时，例如，确定部分210可以通过使用尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)等来检测特征点。另外，例如，确定部分210也可以使用Harris角点检测器。

(特征点匹配)

另外，确定部分210还具有基于对与从功能B2输出的多个RGBD图像有关的特征点的描述来将特征点彼此进行匹配的功能(功能B3)。此时，确定部分210将特征点彼此进行匹配，这些特征点在多个RGBD图像之间具有对应关系。此时，确定部分210可以执行与已经用于检测特征点的方法相对应的匹配。例如，在SIFT或SURF用于检测特征点的情况下，确定部分210可以基于与检测到的特征点有关的特征向量来执行匹配。

另外，在特征点映射中，确定部分210可以使用包括在观测信息中的并且从GPS、地磁传感器、Wi-Fi、气压传感器、加速度传感器、陀螺仪传感器以及振动传感器获取的传感器信息。确定部分210能够通过使用根据传感器信息粗略计算的位置信息或姿态信息来提高特征点映射的效率。

(摄像机参数计算)

另外，确定部分210还具有基于从功能B3输出的匹配信息来计算特征点的三维坐标，并且根据特征点的三维坐标计算与每个RGBD图像相对应的摄像机参数的功能(功能B4)。这里，摄像机参数可以包括各种内部参数，诸如摄像机的自由度的向量。例如，根据本实施方式的摄像机参数可以是摄像机的位置坐标(X，Y，Z)和各个坐标轴的旋转角度(Φx，Φy，Φz)。另外，例如，根据本实施方式的摄像机参数可以包括内部参数，诸如焦距、f数或剪切因子。

此时，确定部分210可以连续地计算相对值，例如连续帧(RGBD图像)中的特征点的位置、摄像机之间的位置向量、摄像机的三轴旋转向量、以及特征点与相应摄像机位置之间的向量。确定部分210能够通过基于对极几何求解极线方程来计算上述内容。

另外，在计算摄像机参数时，确定部分210能够通过使用根据传感器信息粗略计算的位置信息或姿态信息来提高摄像机参数的计算效率。

(投影误差最小化)

另外，确定部分210具有基于从功能B4输出的摄像机参数来使投影误差最小化的功能(功能B5)。具体地，确定部分210执行最小化各个摄像机参数和各个特征点的位置分布的统计处理。

此时，确定部分210能够通过检测具有大误差的特征点并且删除该特征点来最小化投影误差。例如，确定部分210可以通过使用Levenberg-Marquardt方法来估计最小二乘法的最优解。因此，确定部分210能够利用收敛误差、摄像机旋转矩阵和特征点的三维坐标求出摄像机位置。

(观测信息的三维空间投影)

另外，确定部分210具有基于特征点的三维坐标和具有最小误差的摄像机参数将观测信息投影在三维空间中的功能(功能B6)。摄像机参数是从功能B5输出的。换言之，确定部分210能够获得与从移动对象30获取的图像信息有关的特征被投影点在三维空间中的三维地图(下文中，也称为观测点地图)。

(三维空间中的距离计算)

另外，确定部分210具有基于关于从功能B6输出的三维空间投影的信息计算三维空间中的特征点之间的距离的功能。换言之，确定部分210计算从观测信息检测到的特征点与参考地图中描述的特征点之间在三维空间中的距离。这里，在计算出的距离是预定阈值或更大的情况下，确定部分210可以确定参考地图与现实世界之间存在不一致。

此时，确定部分210可以基于最近邻近点误差来确定一致性。例如，确定部分210能够计算从观测信息提取的各个特征点与参考地图上的最接近各个特征点的特征点之间的距离r，并且在距离r的平均值超过阈值ε时确定存在不一致。

另外，例如，确定部分210可以通过使用相同地形确定器来确定一致性。这里，相同地形确定器可以是已经从深度学习等获得确定地形是否相同的能力的学习器。具体地，相同地形确定器可以具有基于输入的参考地图和观测点地图确定三维空间的多条地形信息是相同还是不相同的功能。在这种情况下，当来自相同地形确定器的输出值超过预定阈值ε时，确定部分210能够确定存在不一致。

另外，例如，确定部分210可以基于二维或三维对象识别的结果来确定一致性。这里，对象识别可以是从已经通过深度学习等获得识别对象的能力的学习器输出的信息。在这种情况下，确定部分210将从学习器输出的对象识别信息与参考地图上的预先登记的对象信息进行比较。此时，当从学习器输出的对象识别结果不同于预先登记的对象信息时，确定部分210能够确定存在不一致。

上面已经描述了根据本实施方式的一致性确定。如上所述，根据本实施方式的信息处理设备20能够基于从移动对象30获取的观测信息来确定参考地图与现实世界之间的一致性。通过使用根据本实施方式的信息处理设备20的上述功能，可以自动地确定参考地图与现实世界之间的不一致，并且有效地收集与单位空间中的不一致有关的观测信息。

<<2.7.与新部分地图生成有关的工作流程>>

接下来，将描述根据本实施方式的新部分地图的生成细节。根据本实施方式的信息处理服务器10能够基于与接收到的参考地图和现实世界中的单位空间之间的不一致有关的信息来向多个信息处理设备20发送请求与单位空间有关的观测信息的命令。另外，基于从多个信息处理设备20获取的多条观测信息，根据本实施方式的信息处理服务器10能够生成与观测到所述多条观测信息的单位空间有关的新三维部分地图。

接下来，将描述根据本实施方式的新部分地图的生成的工作流程的细节。图8是示出根据本实施方式的新部分地图生成的工作流程的流程图。

参照图8，信息处理服务器10的设备通信部分120首先从信息处理设备20接收与不一致有关的多条观测信息(S1201)。

接下来，设备通信部分120发送请求与单位空间有关的观测信息的命令(S1202)。此时，该命令可以是由地图生成部分110基于在步骤S1201中接收的观测信息生成的命令。

接下来，地图生成部分110基于从多个信息处理设备20发送的单位空间的多条观测信息生成与单位空间有关的新部分地图(S1203)。此时，多条观测信息可以是基于在步骤S1202中由设备通信部分120发送的命令从信息处理设备20发送的多条信息。注意，稍后将描述由地图生成部分110执行的新部分地图的生成。

接下来，地图生成部分110确定在步骤S1203中生成的新部分地图中是否存在误差(S1204)。此时，地图生成部分110可以通过使用广泛使用的方法来确定是否存在误差。例如，地图生成部分110能够基于用于捆绑调整的方法来确定新部分地图中是否存在误差。地图生成部分110可以通过使用多个观测点的距离来定义从所述多个观测点获得的三维空间中的特征点的可靠性。当与多于预定数量的观测点有关的特征点在预定误差范围内时，地图生成部分110可以确定新部分地图存在误差。

这里，在所生成的新部分地图的误差小于预定阈值ε的情况下(在S1204中为是)，地图生成部分110确定所生成的新部分地图已完成，并且更新与目标单位空间有关的参考地图(S1205)。此时，地图生成部分110删除与目标单位空间中的不一致有关的信息，并且结束与新部分地图生成有关的处理。另外，此时，地图生成部分110可以保存与参考地图有关的改变历史。

另一方面，在所生成的新部分地图的误差是预定阈值ε或更大的情况下(在S1204中为否)，地图生成部分110可以确定所生成的新部分地图具有低准确度，并且返回到步骤S1202以收集更多条观测信息。在这种情况下，地图生成部分110可以重复从步骤S1202到步骤S1204的处理，直到所生成的新部分地图的误差变得小于预定阈值ε。

上面已经描述了根据本实施方式的生成新部分地图的工作流程。如上所述，根据本实施方式的信息处理服务器10能够基于从信息处理设备20发送的与不一致有关的多条观测信息来请求收集与对应单位空间有关的观测信息。另外，基于从多个信息处理设备20接收的多条观测信息，根据本实施方式的信息处理服务器10能够生成与单位空间有关的新的三维部分地图，并且更新参考地图。

通过使用根据本实施方式的信息处理服务器10的上述功能，可以自动地收集与不一致有关的观测信息并且动态且连续地更新参考地图。这使得能够更快地检测现实世界中的地形变化，并且使参考地图保持在更接近现实世界情形的状态。

另外，根据本实施方式的信息处理服务器10可以根据在步骤S1205中保存的参考地图的改变历史来估计单位空间的地形的变化。具体地，信息处理服务器10能够根据改变历史找到与地形的变化有关的周期性或规律性，并且能够根据季节、时段等估计地形的变化。通过使用根据本实施方式的信息处理服务器10的上述估计功能，可以提供更接近现实世界中的情形的信息。

注意，上面已经描述了基于所生成的新部分地图中的误差来更新参考地图的示例。然而，根据本实施方式的参考地图的更新不限于此。可以根据地形的变化、交通量等适当地修改根据本实施方式的用于更新参考地图的方法。例如，在检测到的不一致的大小很大的情况下，换言之，在现实世界中的地形大幅变化的情况下，信息处理服务器10可以使参考地图的发布时间优先于参考地图的准确度。

另外，在存在与具有大量交通的单位空间有关的不一致的情况下，信息处理服务器10也可以优先发布参考地图。在这种情况下，通过尽可能快地发布与地形变化有关的信息，可以确保包括自主车辆的移动对象30的安全性。另外，此时，即使在发出参考地图之后，信息处理服务器10也能够连续地收集与目标单位空间有关的观测信息并且提高新部分地图的准确度。

另外，尽管上面已经参照图8描述了自动更新参考地图的示例，但可以在接收到用户的最终确认之后更新参考地图。由于用户检查所生成的参考地图的质量，因此可以更加提高参考地图的可靠性。另外，用户的最终确认的必要性和非必要性可以根据其设置来切换。例如，通过设置切换用户最终确认的必要性和非必要性，用户可以仅检查与重要区域有关的参考地图的更新。可以根据规范或操作适当地修改根据本实施方式的用于生成新部分地图的方法。

<<2.8.基于不一致预测的命令发送>>

参照图8，上面已经描述了信息处理服务器10响应于接收到与不一致有关的观测信息而发送请求观测信息的命令(下文中，也简称为命令)的示例。另一方面，根据本实施方式的信息处理服务器10还可以基于不一致预测来发送命令。图9是示出由信息处理服务器10基于不一致预测执行的命令发送的流程图。

参照图9，信息处理服务器10中的地图生成部分110可以基于预定时间段内的单位空间的参考地图的更新历史或交通历史来做出与命令生成有关的确定(S1301)。

在与单位空间有关的参考地图长时间未更新的情况下，存在参考地图与现实世界中的地形之间出现不一致的可能性。另外，在单位空间具有较少交通的情况下，假设即使参考地图与现实世界中的地形之间存在不一致，也会发生对不一致的检测的延迟。因此，地图生成部分110在使用预定时间段内的单位空间的参考地图的更新历史或交通历史作为触发的同时生成命令。因此，可以提高检测不一致并生成高度准确的参考地图的可能性。

此时，例如，地图生成部分110还可以生成用于集中收集与在低交通区域中具有相对大的交通量的高速公路和主要道路有关的观测信息的命令。另外，例如，地图生成部分110可以生成用于集中收集移动对象30经常使用的道路的观测信息的命令。注意，例如，道路可以包括专用于自主车辆的道路。由于地图生成部分110如上所述地生成命令，因此可以增加与重要区域有关的参考地图的更新频率。

另外，地图生成部分110可以基于其自身拥有的参考地图的数据做出与命令生成有关的确定(S1302)。具体地，地图生成部分110能够基于不存在参考地图的区域、时段、季节等来生成命令。

通过基于地图生成部分110拥有的参考地图的数据生成命令，可以有效地收集与尚未生成参考地图的单位空间有关的观测信息。另外，可以根据时段、季节等生成根据本实施方式的参考地图。在这种情况下，针对单个单位空间生成多个参考地图。因此，可以提供更接近现实世界中的情形的信息。

另外，地图生成部分110可以基于已经收集的施工工程信息做出与命令生成有关的确定(S1303)。施工工程信息可以是用户输入的信息，或者可以是信息处理服务器10从其他设备自动收集的信息。

施工工程正在进行的单位空间很可能在施工前的参考地图与现实世界中的地形之间发生不一致。因此，地图生成部分110通过施工工程信息作为触发来生成命令。因此，可以将参考地图保持在更接近现实世界中的最新地形的状态。

另外，地图生成部分110可以基于已经收集的灾害信息、事故信息、犯罪信息、天气信息等做出与命令生成有关的确定(S1304)。灾害信息、事故信息和天气信息可以是用户输入的信息，或者可以是信息处理服务器10从其他设备自动收集的信息。

已经发生灾害或事故的单位空间或预测具有异常天气的单位空间很可能在灾害、事故或异常天气之前的参考地图与现实世界中的地形之间发生不一致。因此，地图生成部分110通过使用灾害信息、事故信息等作为触发来生成命令。因此，可以将参考地图保持在更接近现实世界中的最新地形的状态。

另外，地图生成部分110可以在检测到卫星照片中的改变时做出与命令生成有关的确定(S1305)。地图生成部分110能够基于时间信息和与多个卫星照片有关的坐标信息来检测多个卫星照片中的改变。另外，这种改变可以由另一设备来检测。

通过使用卫星照片检测到改变的单位空间很可能在参考地图与现实世界中的地形之间发生不一致。因此，地图生成部分110通过使用卫星照片中的改变作为触发来生成命令。因此，可以将参考地图保持在更接近现实世界中的最新地形的状态。

在步骤S1301至S1305中描述的任意条件满足的情况下，地图生成部分110生成请求观测信息的命令。另外，此时，设备通信部分120将命令发送至包括用于自动驾驶的AI和汽车导航系统的信息处理设备20(S1306)。

接下来，设备通信部分120将命令发送至安装在用于收集数据的无人机上或用于收集数据的车辆上的信息处理设备20(S1307)。

上面已经描述了根据本实施方式的基于不一致预测的命令发送的细节。如上所述，根据本实施方式的信息处理服务器10能够基于各种条件预测参考地图与现实世界之间的不一致，并且发送请求观测信息的命令。通过使用根据本实施方式的信息处理服务器10的上述功能，可以增加检测到不一致的可能性，并且使参考地图保持在更接近现实世界中的最新地形的状态。

另外，根据本实施方式的信息处理服务器10还可以基于与参考地图的新近度保证有关的学习来发送命令。在这种情况下，信息处理服务器10可以将基于命令将移动对象30引导到目标单位空间视为“控制”(动作)，并且执行与该控制有关的强制学习等。此时，例如，信息处理服务器10可以将不一致的早期检测视为奖励，或者可以将与从移动对象30接收的意外不一致有关的观测信息的条数视为奖励。通过使用根据本实施方式的信息处理服务器10的上述功能，可以有效地检测不一致并确保参考地图的新近度。

注意，尽管未在图9中示出，但信息处理服务器10可以根据移动对象30的类型来确定是否发送命令。例如，在信息处理服务器10通过使用灾害信息或事故信息作为触发生成命令的情况下，设备通信部分120可以将命令的发送目的地限制到用于收集数据的无人机或车辆。在发生灾害或事故的单位空间中，必须确保安全。因此，对来自信息处理服务器10的命令的发送目的地的限制使得能够防止二次灾害。

另外，信息处理服务器10可以基于除灾害信息和事故信息之外的信息来控制命令的发送目的地。例如，信息处理服务器10可以基于单位空间的坐标或重要性等级、天气信息、包括交通阻塞信息的交通信息等来控制命令的发送目的地。注意，此时，信息处理服务器10不仅能够控制命令将被发送至的移动对象30的类型，还能够控制用作发送目的地的信息处理设备20的数量。由于信息处理服务器10适当地控制用作发送目的地的信息处理设备20的数量，因此可以根据目标单位空间灵活地进行响应。

另外，可以基于用户操作发出命令。在这种情况下，用户可以任意设置将收集观测信息的单位空间。信息处理服务器10能够基于用户输入的信息来生成命令，并且将命令发送至信息处理设备。

除了由信息处理服务器10关于命令发送目的地执行的控制之外，还可以确定已经接收到命令的信息处理设备20是否服从命令。换言之，信息处理设备20中的移动设置部分220能够基于命令中包括的单位空间的坐标信息来确定是否将单位空间设置为移动目的地。

在这种情况下，移动设置部分220可以考虑至单元空间的移动成本、安全保证等来如上所述地做出确定。注意，例如，移动设置部分220可以基于已经获取的灾害信息、事故信息、天气信息、卫星照片信息、包括交通阻塞信息等的交通信息等来如上所述地做出确定。这里，移动成本可以包括移动距离、移动时间、燃料成本、高速公路收费等。

<<2.9.基于不一致预测的驾驶控制>>

上面已经描述了根据本实施方式的基于不一致预测的命令发送。接下来，将描述根据本实施方式的基于不一致预测的驾驶控制的细节。根据本实施方式的信息处理设备20可以基于由信息处理服务器10执行的不一致预测的结果来控制移动对象30的驾驶。更具体地，信息处理设备20中的移动设置部分220能够基于参考地图的新近度来改变移动对象30的驾驶模式。换言之，移动设置部分220用作被配置成基于不一致的程度来改变驾驶控制模式的控制部分。

如上所述，关于被预测具有不一致的单位空间，假设参考地图不同于现实世界的地形。换言之，可以说在被预测具有不一致的单位空间中参考地图的新近度可能较低。因此，当信息处理设备20在参考地图具有低新近度的单位空间中改变与移动对象30有关的驾驶模式时，可以实现更安全的自动驾驶。

此时，如上所述，信息处理设备20可以基于与单位空间有关的参考地图的更新历史、关于不存在参考地图的地区、季节、时段的信息来改变驾驶模式。另外，信息处理设备20能够基于施工工程信息、灾害信息、事故信息、犯罪信息、交通惩罚信息等来改变驾驶模式。另外，信息处理设备20可以基于卫星照片信息、参考地图的使用历史、交通历史等来改变驾驶模式。例如，信息处理设备20还能够在未检测到任何不一致的情况下基于在单位空间中的行驶历史来改变驾驶模式。

接下来，将描述由信息处理设备20控制的驾驶模式的具体示例。如上所述，根据本实施方式的信息处理设备20能够基于不一致预测来改变与移动对象30有关的驾驶模式。例如，在不一致预测指示高度不一致的情况下，信息处理设备20可以选择安全性优先的模式。例如，信息处理设备20能够通过改变要使用的系数或控制算法来选择模式。

具体地，信息处理设备20可以根据与用于自动驾驶的AI有关的各种驾驶控制能力来选择标准模式或小心驾驶模式。此时，例如，信息处理设备20还能够通过例如减慢行驶速度来增加与包括信息处理服务器10的各种服务器的信息通信的频率。

另外，信息处理设备20可以建议将模式从自动驾驶模式切换到驾驶员手动驾驶车辆的模式或者驾驶员仅支持驾驶的模式。另外，信息处理设备20可以执行控制以向周围行人和行驶车辆通知其自身位置。此时，例如，信息处理设备20可以执行控制以使喇叭发出蜂鸣声，或者可以向周围行驶车辆发送与该自身位置有关的信息。

另外，信息处理设备20还能够控制驾驶使得其变得可以识别周围行人和行驶车辆的状态和响应的细节。例如，当进入交叉路口时，信息处理设备20可以在移动对象30的车身的前部突出的状态下减慢其速度或者停止，识别行人和行驶车辆的状态的细节，然后执行后续的驾驶控制。

另外，信息处理设备20还可以执行控制以绕行到与参考地图具有低不一致程度的单位空间。换言之，信息处理设备20能够在使具有高可靠性的参考地图的单位空间优先的同时选择路线。

上面已经描述了根据实施方式的基于不一致预测的驾驶控制。如上所述，根据本实施方式的信息处理设备20能够基于不一致预测来改变与移动对象30有关的驾驶模式。通过使用根据本实施方式的信息处理设备20的上述功能，可以实现关于移动对象30的更安全的驾驶控制。

注意，上面已经描述了信息处理设备20基于不一致预测来改变与移动对象30有关的驾驶模式的情况。另外，信息处理设备20可以另外改变与观测信息的收集或自定位有关的方法或处理过程。换言之，根据本实施方式的信息处理设备20能够根据参考地图的新近度来执行适当的控制。

<<2.10.三维地图生成的细节>>

接下来，将描述根据本公开内容的三维地图生成的细节。如上所述，根据本实施方式的信息处理服务器10中的地图生成部分110能够基于从信息处理设备20接收到的观测信息来生成参考地图。此时，地图生成部分110能够生成主地图和副地图。主地图包括基于观测信息的特征点地图和观测点地图，副地图是通过向主地图添加另外的信息而获得的地图。这里，副地图可以包括对象识别地图、分割地图、对象属性添加地图、对象表面生成地图、纹理投影地图等。

图10是示出与根据本实施方式的三维地图生成有关的输入/输出的概念图。参照图10，可以理解地图生成部分110能够基于输入的观测信息生成三维地图。注意，在图10中，地图生成部分110的功能设置有相应的附图标记B10至B14。这里，功能B10至B14所使用的技术类似于参照图7描述的确定部分210的功能B2至B6所使用的技术。因此，将省略重复的描述。

(主地图的生成)

如上所述，根据本实施方式的地图生成部分110能够基于已经接收到的观测信息来生成三维地图。这里，地图生成部分110可以对已经接收到的多条观测信息执行与特征点检测(功能B10)、特征点匹配(功能B11)、摄像机参数计算(功能B12)和投影误差最小化(功能B13)有关的处理。通过执行上述一系列处理，地图生成部分110能够生成单位空间的三维特征点地图。

另外，地图生成部分110还能够通过在三维空间中投影多条观测信息来基于多条观测信息生成观测点地图(功能B14)。这里，观测点地图可以是这样的三维地图：其中与由移动对象30获取的图像信息有关的特征点被投影在三维空间中。

(副地图的生成)

另外，根据本实施方式的110还能够通过向所生成的主地图添加另外的信息来生成副地图。具体地，地图生成部分110能够生成通过将向所生成的主地图添加对象识别信息而获得的对象识别地图和分割地图。

这里，地图生成部分110能够通过对作为副地图而生成的对象识别地图或分割地图执行另外的处理来生成添加有更多有用信息的副地图。

例如，地图生成部分110可以生成添加有所识别的对象的属性信息的对象属性添加地图。另外，地图生成部分110可以生成添加有其他另外的信息的三维地图。这里，另外的信息可以例如包括图像信息、文本信息、声音信息等。稍后将描述根据本实施方式的对象属性添加地图的细节。

另外，例如，地图生成部分110可以通过基于分割处理生成对象表面来获得对象表面生成地图。另外，地图生成部分110能够通过在所生成的对象表面上投影纹理来生成纹理投影地图。注意，稍后将描述根据本实施方式的对象表面生成地图和纹理投影地图的细节。

如上所述，根据本实施方式的信息处理服务器10能够基于从信息处理设备20接收到的多条观测信息生成主地图和副地图。通过使用信息处理服务器10的上述功能，可以根据移动对象30的规范和地图的使用目的生成各种三维地图。

<<2.11.对象表面生成地图和纹理投影地图>>

接下来，将描述根据本实施方式的对象表面生成地图和纹理投影地图的细节。根据本实施方式的地图生成部分110能够基于通过对主地图执行分割处理而获得的分割地图来生成对象表面。另外，地图生成部分110能够在所生成的对象表面上投影纹理。

图11A至图11C是示出根据本实施方式的对象表面生成和纹理投影的说明图。这里，图11A是由地图生成部分110生成的主地图中包括的对象的说明示例。参照图11A，主地图中的对象被示为一组特征点。

另外，图11B中的对象是图11A中示出的主地图执行分割处理和对象表面生成的说明示例。此时，地图生成部分110能够通过使用广泛使用的方法来执行分割处理和对象表面生成。例如，地图生成部分110可以通过使用图形切割、区域增长等来执行分割处理。另外，分割处理可以由已经通过学习获得分割能力的学习器来执行。

另外，地图生成部分110可以通过使用用于多边形生成或密集立体匹配的技术来生成对象表面。另外，对象表面生成可以由已经获得通过学习获得生成对象表面的能力的学习器来执行。

图11C是示出在所生成的对象表面上投影有纹理的对象的示例的说明图。例如，地图生成部分110可以基于从包括在观测信息中的图像信息提取的颜色信息或所识别的对象的特征信息来投影纹理。此时，地图生成部分110可以使用用于纹理映射的方法。另外，纹理投影可以由已经通过学习获得纹理投影能力的学习器执行。

上面已经描述了根据本实施方式的对象表面生成地图和纹理投影地图。如上所述，根据本实施方式的地图生成部分110能够基于已经接收到的观测信息来生成对象表面和投影纹理。通过使用根据本实施方式的信息处理服务器10的上述功能，可以提供具有更高价值的三维地图。

<<2.12.根据本实施方式的对象属性添加地图>>

接下来，将描述根据本实施方式的对象属性添加地图的细节。如上所述，根据本实施方式的地图生成部分110能够基于所生成的主地图和对象识别的结果来生成对象属性添加地图。

图12是根据本实施方式的对象属性添加地图的说明图。参照图12，可以理解根据本实施方式的对象属性添加地图除了包括包含道路信息和静态对象SO5至SO8的地形信息之外还包括属性信息A1至属性信息A4。这里，属性信息A1至属性信息A4可以是基于与静态对象SO5到SO8有关的对象识别的另外的信息。

根据本实施方式的另外的信息可以包括基于对象识别的结果的各种信息。在图12所示的示例中，撞击时的对象名称和危险等级可以被包括作为与静态对象SO5至SO8有关的另外的信息。这里，例如，危险等级可以是指示如果自主车辆与静态对象碰撞则将给自主车辆造成的损坏的程度的指标。

例如，在图12所示的示例中，垃圾桶被示出为静态对象SO7，并且碰撞危险等级1被设置为对应的属性信息A3。另一方面，碰撞危险等级10被设置为与被示出为建筑物的静态对象SO8相对应的属性信息A4。

由于垃圾桶是可移动的对象，因此假设即使自主车辆与垃圾桶碰撞，自主车辆和垃圾桶也将具有小的损坏。因此，地图生成部分110基于对象识别的结果将碰撞危险等级1设置为与静态对象SO7相对应的属性信息。

另一方面，建筑物是固定的对象。如果自主车辆与建筑物碰撞，则自主车辆和建筑物二者很可能受到严重损坏。因此，地图生成部分110基于对象识别的结果将碰撞危险等级10设置为与静态对象SO8相对应的属性信息。

这里，安装在自主车辆上的信息处理设备20能够在控制自主车辆时参考属性信息中包括的碰撞危险等级。例如，如果行人或迎面而来的车辆在自主车辆的前方跑出，取决于环境，有时自主车辆在避开行人或迎面而来的车辆之后无法避免与静态对象碰撞。在这种情况下，信息处理设备20能够通过基于属性信息中包括的相应静态对象的碰撞危险等级来控制自主车辆来增加抑制损坏程度的可能性。具体地，在图12所示的示例的情况下，信息处理设备20可以执行控制使得自主车辆前往具有较低碰撞危险等级的静态对象SO7。注意，尽管附图中未示出，但根据本实施方式的信息处理设备20能够基于与包括道路的地形信息相关联的属性信息来控制驾驶。例如，信息处理设备20可以根据属性信息识别诸如河流和悬崖的地形，并且鉴于在坠落时将对车身和乘客造成的损坏来控制驾驶。通过使用根据本实施方式的信息处理设备20的上述功能，可以在降低与碰撞、坠落等有关的风险的同时实现更安全的驾驶控制。

上面已经描述了根据实施方式的对象属性添加地图。如上所述，根据本实施方式的地图生成部分110能够基于对象识别的结果向三维地图添加各种属性信息。

另外，信息处理设备20可以执行控制以使显示设备显示对象属性添加地图。当对象属性添加地图显示在显示设备上时，用户能够在视觉上识别包括在三维地图中的对象的属性信息。

另外，在这种情况下，地图生成部分110能够另外将图像信息、文本信息、声音信息等包括在所生成的对象属性添加地图中。用户能够通过查看在显示设备上显示的属性信息来获得与现实世界中的静态对象有关的各种信息。

<3.硬件配置示例>

接下来，将描述根据本公开内容的信息处理服务器10和信息处理设备20共用的硬件配置示例。图13是示出根据本公开内容的信息处理服务器10和信息处理设备20的硬件配置示例的框图。参照图13，例如，信息处理服务器10和信息处理设备20均包括CPU 871、ROM872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入设备878、输出设备879、存储器880、驱动器881、连接端口882和通信设备883。这里示出的硬件配置仅是示例。可以省略一些结构元件。可以进一步添加除了这里示出的结构元件之外的结构元件。

(CPU 871)

CPU 871例如作为运算处理设备或控制设备起作用，并且基于记录在ROM872、RAM873、存储器880或可移除记录介质901上的各种程序来控制每个结构元件的整个操作或部分操作。

(ROM 872和RAM 873)

ROM 872是用于存储要加载到CPU 902上的程序或在算术运算中使用的数据等的机制。RAM 873暂时或永久地存储例如要加载到CPU 871上的程序或在程序的执行中任意改变的各种参数等。

(主机总线874，桥接器875，外部总线876和接口877)

CPU 871、ROM 872和RAM 873例如经由能够高速数据传输的主机总线874彼此互连。另外，主机总线874例如经由桥接器875连接至具有相对低的数据传输速度的外部总线876。另外，外部总线876经由接口877与各种结构元件连接。

(输入设备878)

例如，使用鼠标、键盘、触摸屏、按钮、开关、控制杆等作为输入设备878。另外，有时使用能够通过红外线或其他无线电波发送控制信号的远程控制器(下文中，称为遥控器)作为输入设备878。

(输出设备879)

输出设备879例如是：显示设备，诸如阴极射线管(CRT)、LCD或有机EL；音频输出设备，诸如扬声器或耳机；可以在视觉上或听觉上向用户通知获取的信息的设备，诸如打印机、移动电话或传真机。

(存储器880)

存储器880是用于存储各种数据的设备。例如，使用诸如硬盘驱动器(HDD)的磁存储设备、半导体存储设备、光存储设备、磁光存储设备等作为存储器880。

(驱动器881)

驱动器881是用于读取记录在可移除记录介质901上的信息以及向可移除记录介质901写入信息的设备。可移除存储介质901例如是磁盘、光盘、磁光盘、半导体存储器等。

(可移除记录介质901)

可移除记录介质901例如是DVD介质、蓝光(注册商标)介质、HD-DVD介质、各种类型的半导体存储介质等。当然，可移除记录介质901可以是例如安装有非接触式IC芯片的电子设备、IC卡等。

(连接端口882)

连接端口882例如是用于连接外部连接设备902的端口，诸如通用串行总线(USB)端口、IEEE934端口、小型计算机系统接口(SCSI)、RS-232C端口或光学音频终端。

(外部连接设备902)

外部连接设备902例如是打印机、便携式音乐播放器、数码相机、数字摄像机、IC记录器等。

(通信设备883)

通信设备883是用于连接至网络的通信设备。通信设备883可以是例如用于有线或无线LAN的通信卡、蓝牙(注册商标)或无线USB(WUSB)、用于光通信的根程序、用于非对称数字用户线(ADSL)的根程序、用于各种通信的调制解调器等。

<4.结论>

如上所述，根据本公开内容的信息处理服务器10具有基于在现实世界中的单位空间中获取的观测信息来更新参考地图的功能，该观测信息是从信息处理设备20接收的。另外，信息处理服务器10具有从多个信息处理设备20请求观测信息的功能。另外，根据本公开内容的信息处理设备20具有获取由移动对象观测到的观测信息的功能。另外，信息处理设备20具有基于与参考地图和现实世界中的单位空间之间的不一致有关的信息来向信息处理服务器10发送所获取的观测信息的功能。根据该配置，可以响应于现实世界中的变化以更高的准确度动态地更新地图信息。

以上已经参考附图描述了本公开内容的优选实施方式，但本公开内容不限于上述示例。本领域技术人员可以在所附权利要求的范围内找到各种改变和修改，并且应当理解它们将自然地落入本公开内容的技术范围内。

此外，本说明书中描述的效果仅仅是说明性的或示例性的效果，并不是限制性的。换言之，利用或代替上述效果，根据本公开内容的技术可以从本说明书的描述中实现本领域技术人员清楚的其他效果。

另外，本技术还可以如下进行配置。

(1)一种信息处理设备，包括：

获取部分，其被配置成从一个或多个传感器获取与现实世界中的单位空间有关的观测信息；以及

通信部分，其被配置成基于与参考地图和所述现实世界中的所述单位空间之间的不一致有关的信息来发送在所述单位空间中获取的所述观测信息。

(2)根据(1)所述的信息处理设备，还包括：

确定部分，其被配置成基于在所述单位空间中获取的所述观测信息来确定所述参考地图与所述现实世界之间的一致性，

其中，所述通信部分基于所述确定部分进行的所述确定的结果来发送在所述单位空间中获取的所述观测信息。

(3)根据(2)所述的信息处理设备，

其中，所述确定部分通过将从在所述单位空间中获取的所述观测信息中检测到的特征点与在所述参考地图中描述的特征点进行匹配来确定所述一致性。

(4)根据(2)或(3)所述的信息处理设备，

其中，所述确定部分基于在所述参考地图中描述的特征点与被确定为与所述参考地图匹配的单位空间的部分区域中的、从所述观测信息中检测到的特征点之间的距离来确定所述一致性。

(5)根据(1)至(4)中任一项所述的信息处理设备，

其中，所述参考地图是三维地图。

(6)根据(1)至(5)中任一项所述的信息处理设备，

其中，所述观测信息包括深度信息。

(7)根据(1)至(6)中任一项所述的信息处理设备，

其中，所述观测信息包括位置信息和姿态信息中的至少任意一个。

(8)根据(1)至(7)中任一项所述的信息处理设备，

其中，所述通信部分接收由服务器发出的命令，并且基于所述命令发送在所述单元空间中获取的所述观测信息。

(9)根据(8)所述的信息处理设备，还包括：

移动设置部分，其被配置成设置移动对象的目的地。

(10)根据(9)所述的信息处理设备，其中，

所述移动设置部分基于所述命令中包括的所述单位空间的坐标信息将所述移动对象移动到所述单位空间，并且

所述通信部分基于所述移动对象移动到所述单位空间来发送在所述单位空间中获取的所述观测信息。

(11)根据(9)所述的信息处理设备，其中，

所述移动设置部分基于所述命令中包括的所述单位空间的坐标信息来改变所述移动对象的计划移动路线，并且

所述通信部分基于所述移动对象移动到所述单位空间来发送在所述单位空间中获取的观测信息。

(12)根据(9)至(11)中任一项所述的信息处理设备，

其中，所述移动设置部分基于移动成本和安全保证中的至少任意一个来确定是否改变所述移动对象的目的地。

(13)一种信息处理设备，包括：

通信部分，其被配置成接收与现实世界中的单位空间有关的观测信息，所述观测信息是从一个或多个传感器获取的，以及

地图生成部分，其被配置成基于所述观测信息来生成参考地图，

其中，基于与所述参考地图和所述现实世界中的所述单位空间之间的不一致有关的信息来发送所述观测信息。

(14)根据(13)所述的信息处理设备，其中，

所述地图生成部分基于与所述不一致有关的信息来生成请求与所述单位空间有关的观测信息的命令，并且

所述通信部分将所述命令发送至至少一个信息处理设备。

(15)根据(14)所述的信息处理设备，其中，

与所述不一致有关的信息包括接收到从所述至少一个信息处理设备发送的所述观测信息，并且

所述地图生成部分基于接收到从所述至少一个信息处理设备发送的所述观测信息来生成所述命令。

(16)根据(14)或(15)所述的信息处理设备，

其中，所述地图生成部分基于对所述参考地图与所述现实世界中的所述单位空间之间的不一致的预测来发出所述命令。

(17)根据(13)至(16)中任一项所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来生成新的三维地图，并且更新所述参考地图。

(18)根据(17)所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来识别对象，并且将识别到的对象的属性信息添加到所述三维地图。

(19)根据(17)或(18)所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来执行分割处理，并且将所述分割处理的结果添加到所述三维地图。

(20)一种信息处理设备，包括：

接收部分，其被配置成接收与参考地图和现实世界中的单位空间之间的不一致有关的信息；以及

控制部分，其被配置成基于所述不一致的程度来改变驾驶控制模式。

参考标记列表

10 信息处理服务器

110 地图生成部分

120 设备通信部分

20 信息处理设备

210 确定部分

220 运动设置部分

230 观测信息获取部分

240 服务器通信部分

30 移动对象

Claims (20)

1.一种信息处理设备，包括：

获取部分，其被配置成从一个或多个传感器获取与现实世界中的单位空间有关的观测信息；以及

通信部分，其被配置成基于与参考地图和所述现实世界中的所述单位空间之间的不一致有关的信息来发送在所述单位空间中获取的所述观测信息。

2.根据权利要求1所述的信息处理设备，还包括：

确定部分，其被配置成基于在所述单位空间中获取的所述观测信息来确定所述参考地图与所述现实世界之间的一致性，

其中，所述通信部分基于所述确定部分进行的所述确定的结果来发送在所述单位空间中获取的所述观测信息。

3.根据权利要求2所述的信息处理设备，

其中，所述确定部分通过将从在所述单位空间中获取的所述观测信息中检测到的特征点与在所述参考地图中描述的特征点进行匹配来确定所述一致性。

4.根据权利要求3所述的信息处理设备，

其中，所述确定部分基于在所述参考地图中描述的特征点与被确定为与所述参考地图匹配的单位空间的部分区域中的、从所述观测信息中检测到的特征点之间的距离来确定所述一致性。

5.根据权利要求1所述的信息处理设备，

其中，所述参考地图是三维地图。

6.根据权利要求1所述的信息处理设备，

其中，所述观测信息包括深度信息。

7.根据权利要求3所述的信息处理设备，

其中，所述观测信息包括位置信息和姿态信息中的至少任意一个。

8.根据权利要求1所述的信息处理设备，

其中，所述通信部分接收由服务器发出的命令，并且基于所述命令发送在所述单元空间中获取的所述观测信息。

9.根据权利要求8所述的信息处理设备，还包括：

移动设置部分，其被配置成设置移动对象的目的地。

10.根据权利要求9所述的信息处理设备，其中，

所述移动设置部分基于所述命令中包括的所述单位空间的坐标信息将所述移动对象移动到所述单位空间，并且

所述通信部分基于所述移动对象移动到所述单位空间来发送在所述单位空间中获取的所述观测信息。

11.根据权利要求9所述的信息处理设备，其中，

所述移动设置部分基于所述命令中包括的所述单位空间的坐标信息来改变所述移动对象的计划移动路线，并且

所述通信部分基于所述移动对象移动到所述单位空间来发送在所述单位空间中获取的观测信息。

12.根据权利要求9所述的信息处理设备，

其中，所述移动设置部分基于移动成本和安全保证中的至少任意一个来确定是否改变所述移动对象的目的地。

13.一种信息处理设备，包括：

通信部分，其被配置成接收与现实世界中的单位空间有关的观测信息，所述观测信息是从一个或多个传感器获取的，以及

地图生成部分，其被配置成基于所述观测信息来生成参考地图，

其中，基于与所述参考地图和所述现实世界中的所述单位空间之间的不一致有关的信息来发送所述观测信息。

14.根据权利要求13所述的信息处理设备，其中，

所述地图生成部分基于与所述不一致有关的信息来生成请求与所述单位空间有关的观测信息的命令，并且

所述通信部分将所述命令发送至至少一个信息处理设备。

15.根据权利要求14所述的信息处理设备，其中，

与所述不一致有关的信息包括接收到从所述至少一个信息处理设备发送的所述观测信息，并且

所述地图生成部分基于接收到从所述至少一个信息处理设备发送的所述观测信息来生成所述命令。

16.根据权利要求14所述的信息处理设备，

其中，所述地图生成部分基于对所述参考地图与所述现实世界中的所述单位空间之间的不一致的预测来发出所述命令。

17.根据权利要求13所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来生成新的三维地图，并且更新所述参考地图。

18.根据权利要求17所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来识别对象，并且将识别到的对象的属性信息添加到所述三维地图。

19.根据权利要求17所述的信息处理设备，

其中，所述地图生成部分基于所述观测信息来执行分割处理，并且将所述分割处理的结果添加到所述三维地图。

20.一种信息处理设备，包括：

接收部分，其被配置成接收与参考地图和现实世界中的单位空间之间的不一致有关的信息；以及

控制部分，其被配置成基于所述不一致的程度来改变驾驶控制模式。