CN111247391A - 信息处理装置、信息处理方法、程序和移动体 - Google Patents

Abstract

本特征涉及一种信息处理装置、信息处理方法、程序和移动体，其被配置为使得能够提高移动体的自身位置估计的精度。该信息处理装置包括：特征点检测单元，其检测用于移动体的自身位置估计的参考图像中的特征点；不变性估计单元，其估计该特征点的不变性；以及地图生成单元，其基于该特征点和该特征点的不变性生成地图。本特征可以应用于例如用于估计移动体自身位置的设备或系统，或应用于车辆或各种其他这种类型的移动体。

Description

信息处理装置、信息处理方法、程序和移动体

技术领域

本技术涉及一种信息处理装置、信息处理方法、程序和移动体，具体地涉及一种在使用基于图像的地图执行移动体的自身位置估计的情况下优选地使用的信息处理装置、信息处理方法、程序和移动体。

背景技术

传统上，已经提出了基于移动体周围的物体的特征数据和预先准备的关于物体属性的信息确定该物体是否是可移动物体、并且生成不包括该可移动物体的环境的地图的技术(例如，参照PTL 1)。

[引文列表]

[专利文献]

[PTL 1]

日本专利公开No.2014-203429

发明内容

[技术问题]

然而，除了可移动物体之外，存在其外观或形状由于例如时间流逝、环境或天气而改变的物体。在基于关于这些物体的信息执行自身位置估计的情况下，估计准确性可能不利地降低。

本技术是鉴于这样的情形提出的，其目的是改进移动体的自身位置估计的准确性。

[问题的解决方案]

根据本技术的第一方面的信息处理装置包括特征点检测器、不变性估计部分和地图生成器，该特征点检测器检测用于移动体的自身位置估计的参考图像中的特征点，该不变性估计部分估计该特征点的不变性，该地图生成器基于该特征点和该特征点的不变性生成地图。

根据本技术的第一方面的信息处理方法包括：检测用于移动体的自身位置估计的参考图像中的特征点，估计该特征点的不变性，并且基于该特征点和该特征点的不变性生成地图。

根据本技术的第一方面的程序使计算机执行：检测用于移动体的自身位置估计的参考图像中的特征点，估计该特征点的不变性，并且基于该特征点和该特征点的不变性生成地图。

根据本技术的第二方面的移动体包括：特征点检测器，其检测被观测图像中的特征点；特征点核对部分，其执行基于所述特征点和所述特征点的不变性生成的地图中的特征点与被观测图像中的特征点之间的核对；以及自身位置估计部分，其基于所述地图中的特征点和被观测图像中的特征点之间的核对结果来执行自身位置估计。

在本技术的第一方面中，检测用于移动体的自身位置估计的参考图像中的特征点，估计该特征点的不变性，并且基于该特征点和该特征点的不变性生成地图。

在本技术的第二方面中，检测被观测图像中的特征点，执行基于该特征点和该特征点的不变性生成的地图中的特征点与被观测图像中的特征点之间的核对，并且基于所述地图中的特征点和被观测图像中的特征点之间的核对结果来执行自身位置估计。

[本发明的有益效果]

根据本技术的第一方面，可以改进用于移动体的自身位置估计的地图的不变性。作为结果，可以改进移动体的自身位置估计的准确性。

根据本技术的第二方面，可以改进地图中的特征点和被观测图像中的特征点之间的核对的准确性。作为结果，可以改进移动体的自身位置估计的准确性。

要注意的是，这里描述的效果不必是限定的，并且本公开中所描述的任何效果都可以包括在内。

附图说明

图1是图示可向其应用本技术的车辆控制系统的示意性功能的配置示例的框图。

图2是图示向其应用本技术的自身位置估计系统的一个示例性实施例的框图。

图3是用于解释地图生成处理的流程图。

图4是图示特征点的不变性得分的示例的表。

图5是用于解释特征点的不变性得分设置方法的视图。

图6是用于解释特征点的不变性得分设置方法的视图。

图7是用于解释特征点的不变性得分设置方法的视图。

图8是用于解释特征点的不变性得分设置方法的视图。

图9是用于解释参考图像的不变性得分计算方法的视图。

图10是用于解释要被用于关键帧的参考图像的提取方法的视图。

图11是用于解释自身位置估计处理的流程图。

图12是用于解释关键帧的删除方法的视图。

图13是计算机的配置示例。

具体实施方式

以下，将描述本技术的示例性实施例。将按以下次序进行描述。

1.车辆控制系统的配置示例

2.示例性实施例

3.修改例

4.其他

<1.车辆控制系统的配置示例>

图1是图示车辆控制系统100的示意性功能的配置示例的框图，该车辆控制系统100作为可向其应用本技术的移动体控制系统的示例。

车辆控制系统100是安装在车辆10上并且对车辆10进行各种控制的系统。要注意的是，以下在车辆10有别于其他车辆的情况下，车辆10被称为主汽车或主车辆。

车辆控制系统100包括输入部分101、数据获取部分102、通信部分103、车载装置104、输出控制器105、输出部分106、驱动相关控制器107、驱动相关系统108、车身相关控制器109、车身相关系统110、存储器111和自动驾驶控制器112。输入部分101、数据获取部分102、通信部分103、输出控制器105、驱动相关控制器107、车身相关控制器109、存储器111和自动驾驶控制器112通过通信网络121相互连接。通信网络121包括例如遵循任何标准(诸如CAN(控制器区域网络)、LIN(局域互连网络)、LAN(局域网)、或FlexRay(注册商标))的车上通信网络或总线。要注意的是，在一些情况下，车辆控制系统100中的每个部分在没有通信网络121的干预的情况下直接相互连接。

要注意的是，在下文中，在车辆控制系统100中的每个部分通过通信网络121执行通信的情况下，通信网络121的描述将被省略。例如，在输入部分101与自动驾驶控制器112通过通信网络121通信的情况下，仅描述输入部分101与自动驾驶控制器112通信。

输入部分101包括乘客用来输入例如各种数据和指令的装置。例如，输入部分101包括诸如触摸面板、按钮、麦克风、开关和操纵杆的操作装置，以及能够通过除了使用例如语音或手势的手动操作之外的方法输入各种数据和指令的操作装置。此外，例如，输入部分101可以是使用红外射线或其他无线电波的远程控制装置，或与车辆控制系统100的操作相对应的外部连接装置，诸如移动装置或可穿戴装置。输入部分101基于例如乘客输入的数据或指令生成输入信号，并且将输入信号供应到车辆控制系统100中的部分。

数据获取部分102包括例如用于获取车辆控制系统100的处理中使用的数据的各种传感器，并且将所获取的数据供应到车辆控制系统100中的部分。

例如，数据获取部分102包括用于检测例如车辆10的状态的各种传感器。具体地说，例如，数据获取部分102包括陀螺仪、加速度传感器、惯性测量单元(IMU)以及用于检测例如油门踏板的操作量、刹车踏板的操作量、方向盘的转向角、发动机速度、电动机速度或车轮的转速的传感器。

另外，例如，数据获取部分102包括用于检测车辆10外部的信息的各种传感器。具体地说，例如，数据获取部分102包括成像装置，诸如ToF(飞行时间)相机、立体相机、单眼相机、红外相机和其他相机。此外，例如，数据获取部分102包括用于检测例如天气或气象现象的环境传感器以及用于检测车辆10周围的物体的周围信息检测传感器。环境传感器包括例如雨滴传感器、雾传感器、太阳光传感器和雪传感器。周围信息检测传感器包括例如超声传感器、雷达、LiDAR(光检测和测距、激光成像检测和测距)和声纳。

另外，例如，数据获取部分102包括用于检测车辆10的当前位置的各种传感器。具体地说，数据获取部分102包括例如GNSS(全球导航卫星系统)接收器，该GNSS接收器从作为导航卫星的GNSS卫星接收卫星信号(以下，被称为GNSS信号)。

另外，例如，数据获取部分102包括用于检测车内信息的各种传感器。具体地说，数据获取部分102包括例如对驾驶员进行成像的成像装置、检测驾驶员的生物信息的生物传感器以及收集车厢中的声音的麦克风。生物传感器被设在例如座位表面或方向盘处，并且检测坐在座位上的乘客或紧握方向盘的驾驶员的生物信息。

通信部分103与例如车载装置104和车辆外部的各种装置(诸如服务器或基站)进行通信，以发送从车辆控制系统100中的部分供应的数据或者将接收的数据供应到车辆控制系统100中的部分。要注意的是，通信部分103支持的通信协议没有特别限制，并且通信部分103还可以支持多种通信协议。

通信部分103通过例如无线LAN、Bluetooth(注册商标)、NFC(近场通信)或WUSB(无线USB)与车载装置104进行无线通信。此外，通信部分103经由未图示的连接端子(如果必要还有电缆)通过例如USB(通用串行总线)、HDMI(注册商标)(高清多媒体接口)或MHL(移动高清链接)与车载装置104进行有线通信。

另外，例如，通信部分103经由基站或接入点，与存在于外部网络(例如，互联网、云网络或公司特定的网络)上的装置(例如，应用服务器或控制服务器)进行通信。此外，例如，通信部分103使用P2P(对等)技术与存在于车辆10附近的终端(例如，行人或商店的终端、MTC(机器类型通信)终端)进行通信。此外，例如，通信部分103执行V2X通信，诸如车辆对车辆通信、车辆对基础设施通信、车辆对家庭通信和车辆对行人通信。此外，例如，通信部分103包括信标接收器，以接收例如安装在道路上的无线电站发射的无线电波或电磁波，并且获取诸如当前位置、交通堵塞、交通管制或必要时间的信息。

车载装置104包括例如乘客所拥有的移动装置或可穿戴装置、搬进车辆10中或者附接到车辆10的信息装置以及搜索到任意目的地的路线的导航装置。

输出控制器105控制向车辆10的乘客或车辆10的外部的各种信息输出。例如，输出控制器105生成包括视觉信息(例如，图像数据)或听觉信息(例如，声音数据)中的至少一种信息的输出信号，并且将该输出信号供应到输出部分106，以控制从输出部分106的视觉信息和听觉信息的输出。具体地说，例如，输出控制器105在数据获取部分102中合成由不同的成像装置捕获的图像数据，生成例如俯瞰图像或全景图像，并且将包括所生成的图像的输出图像供应到输出部分106。此外，例如，输出控制器105生成包括例如关于诸如碰撞、接触或进入危险区域的危险的警告声音或警告消息的声音数据，并且将包括所生成的声音数据的输出信号供应到输出部分106。

输出部分106包括可以将视觉信息或听觉信息输出到车辆10的乘客或车辆10的外部的装置。例如，输出部分106包括显示装置、仪表盘、音频扬声器、耳机、可穿戴装置(诸如乘客佩戴的眼镜式显示器)、投影仪和灯。除了具有正常显示器的装置之外，输出部分106中包括的显示装置还可以是在驾驶员的视野中显示视觉信息的装置，诸如平视显示器、透射式显示器以及具有AR(增强现实)显示功能的装置。

驱动相关控制器107生成各种控制信号，并且将这些控制信号供应到驱动相关系统108以控制驱动相关系统108。此外，驱动相关控制器107根据需要将控制信号供应到除了驱动相关系统108之外的部分，以给出例如驱动相关系统108的控制状态的通知。

驱动相关系统108包括关于车辆10的驱动系统的各种装置。例如，驱动相关系统108包括用于生成驱动力的驱动力生成装置(诸如内燃机或驱动电机)、用于将驱动力传输给车轮的驱动力传输机构、调节转向角的转向机构、生成制动力的制动装置、ABS(防抱死制动系统)、ESC(电子稳定性控制)和电动助力转向装置。

车身相关控制器109生成各种控制信号，并且将这些控制信号供应到车身相关控制器110以控制车身相关系统110。此外，车身相关控制器109根据需要将所述控制信号供应到除车身相关系统100之外的部分，以给出例如车身相关系统110的控制状态的通知。

车身相关系统110包括安装在车身上的各种车身相关装置。例如，车身相关系统110包括无钥匙进入系统、智能钥匙系统、电动窗装置、电动座椅、方向盘、空调和各种灯(例如，前灯、后灯、制动灯、转向灯和雾灯)。

存储器111包括例如ROM(只读存储器)、RAM(随机存取存储器)、磁存储装置(诸如HDD(硬盘驱动器))、半导体存储装置、光学存储装置和磁光存储装置。存储器111存储例如要由车辆控制系统100中的部分使用的各种程序和数据。例如，存储器111存储地图数据，诸如三维高精度地图(包括动态地图)、比高精度地图精度低但覆盖更广面积的全局地图以及包括车辆10周围的信息的局部地图。

自动驾驶控制器112控制自动驾驶(诸如自主驾驶或驾驶辅助)。具体地说，例如，自动驾驶控制器112执行用于实现ADAS(高级驾驶员辅助系统)的功能的合作控制，ADAS的功能包括车辆10的碰撞避免或撞击减轻、基于车间距离的跟随行驶、车辆速度保持行驶、车辆10的碰撞警告以及车辆10的车道偏离警告。此外，例如，自动驾驶控制器112执行以用于无驾驶员操作的自主行驶的自动驾驶为目标的合作控制。自动驾驶控制器112包括检测器131、自身位置估计部分132、状态分析部分133、计划部分134和操作控制器135。

检测器131检测控制自动驾驶所必需的各种信息。检测器131包括车外信息检测器141、车内信息检测器142和车辆状态检测器143。

车外信息检测器141基于来自车辆控制系统100中的部分的数据或信号来执行车辆10外部的信息的检测处理。例如，车外信息检测器141对车辆10周围的物体执行检测处理、识别处理和跟踪处理，并且执行对到物体的距离的检测处理。要检测的物体包括例如车辆、人、障碍物、建筑物、道路、交通灯、交通标志和交通标记。此外，例如，车外信息检测器141执行车辆10周围的环境的检测处理。将被检测的车辆10周围的环境包括例如天气、空气温度、湿度、明亮度和道路状态。车外信息检测器141将指示检测处理的结果的数据供应到自身位置估计部分132，状态分析部分133中的地图分析部分151、交通规则识别部分152和状态识别部分153，以及操作控制器135中的紧急情况避免部分171。

车内信息检测器142基于来自车辆控制系统100中的部分的数据或信号来执行车辆10内部的信息的检测处理。例如，车内信息检测器142执行驾驶员的认证处理和识别处理、驾驶员的状态的检测处理、乘客的检测处理以及车辆10内部的环境的检测处理。要检测的驾驶员状态包括例如身体状况、警惕性、专注度、疲劳度和注视方向。要检测的车辆10内部的环境包括例如空气温度、湿度、明亮度和气味。车内信息检测器142将指示检测处理的结果的数据供应到例如状态分析部分133中的状态识别部分153和操作控制器135中的紧急情况避免部分171。

车辆状态检测器143基于来自车辆控制系统100中的部分的数据或信号来执行车辆10的状态的检测处理。要检测的车辆10的状态包括例如速度、加速度、转向角、异常的存在和细节、驾驶操作的状态、电动座椅的位置和倾斜度、门锁状态、以及其他车载装置的状态。车辆状态检测器143将指示检测处理的结果的数据供应到例如状态分析部分133中的状态识别部分153和操作控制器135中的紧急情况避免部分171。

自身位置估计部分132基于来自车辆控制系统100中的部分(诸如车外信息检测器141和状态分析部分133中的状态识别部分153)的数据或信号来执行对例如车辆10的位置和姿势的估计处理。此外，自身位置估计部分132根据需要生成用于估计自身位置的局部地图(下文中称为自身位置估计地图)。自身位置估计地图通过使用例如诸如SLAM(同时定位和测绘)的技术，用作高度准确的地图。自身位置估计部分132将指示估计处理的结果的数据供应到例如状态分析部分133中的地图分析部分151、交通规则识别部分152和状态识别部分153。此外，自身位置估计部分132将自身位置估计地图存储在存储器111中。

状态分析部分133执行车辆10和周边的状态的分析处理。状态分析部分133包括地图分析部分151、交通规则识别部分152、状态识别部分153和状态预测部分154。

地图分析部分151根据需要使用来自车辆控制系统100中的部分(诸如自身位置估计部分132和车外信息检测器141)的数据或信号来执行存储在存储器111中的各种类型的地图的分析处理，以构建包括自动驾驶处理所必需的信息的地图。地图分析部分151将构建的地图供应到例如交通规则识别部分152、状态识别部分153和状态预测部分154，以及计划部分134中的路线计划部分161、动作计划部分162和操作计划部分163。

交通规则识别部分152基于来自车辆控制系统100的部分(诸如自身位置估计部分132、车外信息检测器141和地图分析部分151)的数据或信号来执行车辆10周围的交通规则的识别处理。该识别处理使得能够识别例如车辆10周围的交通灯的位置和状态、车辆10周围的交通管制的细节以及可驾驶交通车道。交通规则识别部分152将指示识别处理的结果的数据供应到例如状态预测部分154。

状态识别部分153基于来自车辆控制系统100中的部分(诸如自身位置估计部分132、车外信息检测器141、车内信息检测器142、车辆状态检测器143和地图分析部分151)的数据或信号来执行车辆10的状态的识别处理。例如，状态识别部分153执行车辆10的状态的识别处理、车辆10周围的状态以及车辆10的驾驶员的状态。此外，状态识别部分153根据需要生成用于识别车辆10周围的状态的局部地图(下文称为状态识别地图)。状态识别地图用作例如占用栅格地图。

待识别的车辆10的状态包括例如车辆10的位置、姿势和移动(例如，速度、加速度和移动方向)以及异常的存在和细节。待识别的车辆10周围的状态包括例如周围的静止物体的种类和位置，周围的移动物体的种类、位置和移动(例如，速度、加速度和移动方向)、道路的构造和周围的道路表面的状态，以及周围的天气、空气温度、湿度和明亮度。待识别的驾驶员的状态包括例如身体状况、警惕性、专注度、疲劳度、视线移动和驾驶操作。

状态识别部分153将指示识别处理的结果(必要时包括状态识别地图)的数据供应到例如自身位置估计部分132和状态预测部分154。此外，状态识别部分153使状态识别地图被存储在存储器111中。

状态预测部分154基于来自车辆控制系统100中的部分(诸如地图分析部分151、交通规则识别部分152和状态识别部分153)的数据或信号来执行车辆10的状态的预测处理。例如，状态预测部分154执行车辆10的状态、车辆10周围的状态和驾驶员的状态的预测处理。

待预测的车辆10的状态包括例如车辆10的行为、异常的发生以及可行驶的距离。待预测的车辆10周围的状态包括例如车辆10周围的移动物体的行为、交通灯的状态的改变以及诸如天气的环境的改变。待预测的驾驶员的状态包括例如驾驶员的行为和身体状况。

状态预测部分154将指示预测处理的结果的数据与来自交通规则识别部分152和状态识别部分153的数据一起供应到例如计划部分134中的路线计划部分161、动作计划部分162和操作计划部分163。

路线计划部分161基于来自车辆控制系统100中的部分(诸如地图分析部分151和状态预测部分154)的数据或信号来计划到目的地的路线。例如，路线计划部分161基于全局地图来设置从当前位置到指定目的地的路线。此外，例如，路线计划部分161基于诸如堵塞、事故、交通管制和施工之类的状态以及驾驶员的身体状况来适当修改路线。路线计划部分161将指示所计划的路线的数据供应到例如动作计划部分162。

动作计划部分162基于来自车辆控制系统100中的部分(诸如地图分析部分151和状态预测部分154)的数据或信号来计划车辆10的动作，用于在计划时间内安全地行驶由路线计划部分161计划的路线。例如，动作计划部分162计划开始、停止和行驶方向(例如，向前移动、向后移动、左转、右转和行驶方向改变)、行驶车道、行驶速度、以及超过在前面行驶的车辆。动作计划部分162将指示车辆10的计划动作的数据供应到例如操作计划部分163。

操作计划部分163基于来自车辆控制系统100中的部分(诸如地图分析部分151和状态预测部分154)的数据或信号来计划车辆10的操作，用于实现由动作计划部分162计划的动作。例如，操作计划部分163计划加速、减速和行驶轨迹。操作计划部分163将指示车辆10的计划的操作的数据供应到例如操作控制器135中的加速/减速控制器172和方向控制器173。

操作控制器135控制车辆10的操作。操作控制器135包括紧急情况避免部分171、加速/减速控制器172和方向控制器173。

紧急情况避免部分171基于车外信息检测器141、车内信息检测器142和车辆状态检测器143的检测结果来执行紧急情况(诸如碰撞、接触、进入危险区域、驾驶员的异常和车辆10的异常)的检测处理。当检测到紧急情况的发生时，紧急情况避免部分171计划车辆10的操作，用于避免诸如突然停止和急转弯的紧急情况。紧急情况避免部分171将指示车辆10的计划操作的数据供应到例如加速/减速控制器172和方向控制器173。

加速/减速控制器172控制加速和减速，用于实现由操作计划部分163或紧急情况避免部分171计划的车辆10的操作。例如，加速/减速控制器172计算用于实现计划的加速、计划的减速或计划的突然停止的驱动力生成装置或制动装置的控制目标值，并且将指示所计算的控制目标值的控制命令供应到驱动相关控制器107。

方向控制器173执行方向控制，以实现操作计划部分163或紧急情况避免部分171计划的车辆10的操作。例如，方向控制器173计算用于实现由操作计划部分163或紧急情况避免部分171计划的行驶轨迹或急转弯的转向机构的控制目标值，并且将指示所计算的控制目标值的控制命令供应到驱动相关控制器107。

<2.示例性实施例>

随后，将参照图2至图11来描述本技术的示例性实施例。

要注意的是，该示例性实施例包括主要与图1中的车辆控制系统100中的自身位置估计部分132、车外信息检测器141和状态识别部分153的处理以及在自身位置估计处理中使用的地图的生成处理相关的技术。

<自身位置估计系统的配置示例>

图2是图示自身位置估计系统201的配置示例的框图，自身位置估计系统201是应用有本技术的自身位置估计系统的一个示例性实施例。

自身位置估计系统201是执行车辆10的自身位置估计的系统。

自身位置估计系统201包括地图生成处理器211、地图DB(数据库)212和自身位置估计处理器213。

地图生成处理器211执行配置关键帧地图的关键帧的生成处理，所述关键帧地图是用于估计车辆10的自身位置的地图。

要注意的是，地图生成处理器211不一定被安装在车辆10中。例如，地图生成处理器211可以被安装在不同于车辆10的车辆中，并且该不同于车辆10的车辆可以用于生成关键帧。

要注意的是，在下文中，将描述地图生成处理器211被安装在不同于车辆10的车辆(下文中称为地图生成车辆)中的情况的示例。

地图生成处理器211包括图像获取部分221、自身位置估计部分222、缓冲器223、物体识别部分224、特征点检测器225、不变性估计部分226和地图生成器227。

图像获取部分221包括例如相机，捕获地图生成车辆前面的图像，并且将所获取的图像(下文中称为参考图像)存储在缓冲器223中。

自身位置估计部分222执行地图生成车辆的自身位置估计处理，将指示估计结果的数据供应到地图生成器227，并且将该数据存储在缓冲器223中。

物体识别部分224执行参考图像中的物体的识别处理，并且将指示识别结果的数据供应到不变性估计部分226。

特征点检测器225执行参考图像中的特征点的检测处理，并且将指示检测结果的数据供应到不变性估计部分226。

不变性估计部分226执行参考图像中的特征点的不变性估计处理，并且将指示估计结果和参考图像的数据供应到地图生成器227。

地图生成器227生成关键帧，并且在地图DB 212中登记该关键帧。关键帧包括例如指示以下各项的数据：在参考图像中检测到的每个特征点的在图像坐标系中的位置和特征量，以及在捕获参考图像时地图生成车辆在世界坐标系中的位置和姿势(即，捕获参考图像的位置和姿势)。

要注意的是，在下文中，在捕获用于关键帧生成的参考图像时，地图生成车辆的位置和姿势也仅被称为关键帧的位置和姿势。

另外，地图生成器227指令物体识别部分224执行参考图像中的物体的识别处理，或者指令特征点检测器225执行参考图像中的特征点的检测处理。

地图DB 212存储关键帧地图，该关键帧地图包括基于由在各个位置处行驶的地图生成车辆捕获的多个参考图像的多个关键帧。

要注意的是，用于关键帧地图生成的地图生成车辆的数量可不必一定为一个，而可以是两个或更多个。

此外，地图DB 212不一定被安装在车辆10中，并且可以被安装在例如服务器中。在这种情况下，例如，车辆10在行驶之前或者在行驶期间参考或下载存储在地图DB 212中的关键帧地图。因此下载的关键帧地图被暂时存储在例如车辆10中的存储器111(图1)中。

自身位置估计处理器213被安装在车辆10中，并且执行车辆10的自身位置估计处理。自身位置估计处理器213包括图像获取部分241、特征点检测器242、特征点核对部分243和自身位置估计部分244。

图像获取部分241包括例如相机，捕获车辆10前面的图像，并且将所获取的图像(下文中称为被观测图像)供应到特征点检测器242。

特征点检测器242执行被观测图像中的特征点的检测处理，并且将指示检测结果的数据供应到特征点核对部分243。

特征点核对部分243执行被观测图像中的特征点和存储在地图DB 212中的关键帧地图的关键帧中的特征点之间的核对处理。特征点核对部分243将关于特征点的核对结果和指示用于核对的关键帧中的每个关键帧的位置和姿势的数据供应到自身位置估计部分244。

自身位置估计部分244基于被观测图像中的特征点和关键帧中的特征点之间的核对结果以及用于核对的关键帧的位置和姿势来估计车辆10在世界坐标系中的位置和姿势。自身位置估计部分244将指示车辆10的位置和姿势的数据供应到例如图1中的地图分析部分151、交通规则识别部分152和状态识别部分153。

要注意的是，在地图生成处理器211被安装在车辆10中而不是地图生成车辆中的情况下，换句话说，在用于关键帧地图生成的车辆和用于执行自身位置估计处理的车辆相同的情况下，地图生成处理器211中的图像获取部分211和特征点检测器225以及自身位置估计处理器231中的图像获取部分241和特征点检测器242可以例如变为共用的。

<地图生成处理>

随后，参照图3中的流程图，将描述要由地图生成处理器211执行的地图生成处理。要注意的是，该处理例如在地图生成车辆被启动并且用于启动驾驶的操作被执行时(例如，在地图生成车辆中的点火开关、电源开关或启动开关接通时)开始。该处理例如在用于结束驾驶的操作被执行时(例如，在地图生成车辆中的点火开关、电源开关或启动开关断开时)结束。

在步骤S1中，图像获取部分221获取参考图像。具体地说，图像获取部分221捕获地图生成车辆前面的图像，并且将获取的参考图像存储在缓冲器223中。

在步骤S2中，自身位置估计部分222估计自身位置。换句话说，自身位置估计部分222估计地图生成车辆在世界坐标系中的位置和姿势。利用该配置，估计在以步骤S1中的处理捕获参考图像时的地图生成车辆的位置和姿势。自身位置估计部分222将指示估计结果的数据供应到地图生成器227，并且将指示估计结果的数据给出到存储在缓冲器223中的参考图像作为元数据。

要注意的是，任何方法都可以被用于地图生成车辆的自身位置估计方法。例如，使用RTK(实时运动学)-GNSS或LiDAR的高度精确的估计方法被使用。

在步骤S3中，地图生成器227确定地图生成车辆是否已经从前一个关键帧的登记位置充分地移动。具体地说，地图生成器227计算在用于前一个关键帧生成的参考图像被获取时地图生成车辆的位置和通过步骤S2中的处理估计的地图生成车辆的位置之间的距离。在所计算的距离小于预定阈值的情况下，地图生成器227确定地图生成车辆尚未从前一个关键帧的登记位置充分地移动，并且所述处理返回到步骤S1。

随后，从步骤S1到步骤S3的处理被重复地执行，直到在步骤S3中确定地图生成车辆已经从前一个关键帧的登记位置充分地移动。

另一方面，在步骤S3中，在所计算的距离大于或等于预定阈值的情况下，地图生成器227确定地图生成车辆已经从前一个关键帧的登记位置充分地移动，并且所述处理继续进行到步骤S4。

要注意的是，例如，在第一个关键帧被登记之前，步骤S3中的处理被跳过，并且所述处理无条件地继续进行到步骤S4。

在步骤S4中，物体识别部分224对每个参考图像执行物体识别。具体地说，地图生成器227指令物体识别部分224执行参考图像中的物体的识别处理。

物体识别部分224从缓冲器223读取存储在缓冲器223中的所有参考图像。要注意的是，在缓冲器223中，存储了在先前的从步骤S4到步骤S5的处理的执行之后获取的参考图像。然而，在从步骤S4到步骤S5的处理被第一次执行的情况下，在缓冲器223中存储了在地图生成处理开始之后获取的参考图像。

物体识别部分224执行每个参考图像中的物体的识别处理。利用该处理，例如，识别每个参考图像中的物体的位置和种类。

要注意的是，诸如语义分割的任何方法都可以被用于参考图像中的物体的识别方法。

物体识别部分224将指示每个参考图像中的物体的识别结果的数据供应到不变性估计部分226。

在步骤S5中，特征点检测器225检测每个参考图像中的特征点。具体地说，地图生成器227指令特征点检测器225执行参考图像中的特征点检测处理。

特征点检测器225从缓冲器223读取存储在缓冲器223中的所有参考图像。特征点检测器225执行每个参考图像中的特征点检测处理。利用该处理，例如，每个参考图像中的特征点中的每个特征点的位置和特征量被检测。

要注意的是，作为特征点检测方法，诸如哈里斯角(Harris corner)的任何方法都可以被使用。

特征点检测器225将指示每个参考图像中的特征点的检测结果的数据和该参考图像供应到不变性估计部分226。此外，特征点检测器225删除从缓冲器223读取的参考图像。

在步骤S6中，不变性估计部分226估计每个特征点的不变性。具体地说，不变性估计部分226基于每个参考图像中的每个特征点所属的物体的种类来获取每个特征点的不变性得分。

在本文中，不变性得分是指示特征点相对于时间流逝或环境变化不变的程度的得分。更具体地说，不变性得分是指示特征点的位置和特征量相对于时间流逝或环境变化不变的程度的得分。相应地，其中位置和特征量的变化相对于时间流逝或环境变化较小的特征点的不变性得分变得更高。例如，由于静止物体的特征点的位置基本上不改变，所以其特征点得分变高。另一方面，其中位置或特征量中的至少一个的变化相对于时间流逝或环境变化中的至少一个较大的特征点的不变性得分变得更低。例如，由于移动物体的特征点的位置容易改变，所以其特征点得分变低。

图4图示不变性得分的示例。在这些示例中，物体被分为多个种类，并且对于每个物体单个地设置不变性得分。

例如，建筑物和房子是其位置不改变的静止物体。此外，那些物体的施工或摧毁不太可能被执行。因此，在建筑物或房子中检测到的特征点的位置和特征量不太可能改变。相应地，建筑物和房子的不变性得分被设置得很高。

要注意的是，由于例如重新布置或把洗好的衣服晾出晒干，房子的外观比建筑物的外观更有可能改变。相应地，房子的不变性得分被设置为低于建筑物的不变性得分。

要注意的是，例如，如图5和图6所示，在诸如位于与道路表面相同水平面上的商店的商业设施中，例如招牌、显示器或商品的展览布局被频繁地改变。另外，例如，商品运送卡车、或客户的车辆或自行车通常被停放在商业设施的前面。此外，存在诸如商店的护窗打开和关闭、商店的更换和商店的关闭的许多情况。相应地，即使商业设施是建筑物，商业设施(特别是，位于与道路表面相同水平面上的商业设施)的不变性得分也可以被设置为低。

尽管道路表面是静止物体，但是其相对于经过时间或环境变化的改变是相对较大的。例如，由于例如湿润的道路表面或由雨水或积累的雪引起的水坑，道路表面的状态(例如，反射特性)大大地改变，或者交通标记(例如，道路表面上的白线)的被查看状态大大地改变。作为结果，在道路表面上检测到的特征点的位置和特征量大大地改变。

另外，例如，如图7所示，与诸如建筑物或房子的结构相比，在道路中经常进行施工。当进行道路施工时，卡车、机器、工具或施工的引导板例如被放置在道路表面上。此外，在一些情况下，道路表面上的交通标记被消除或修订。结果，在道路表面上检测到的特征点的位置和特征量大大地改变。

此外，例如，如图8所示，道路表面上的交通标记通常被道路上停放的车辆遮蔽。作为结果，在道路表面上检测到的特征点的位置和特征量大大地改变。

相应地，道路表面的不变性得分被设置为低于建筑物和房子的不变性得分。

植物是其位置基本上不移动的静止物体，但是其相对于时间流逝或环境变化的改变很大。例如，植物的颜色和形状由于例如盛开的花、茂密生长的叶子、叶子的变化的颜色、落下的叶子、生长的叶子或干枯的叶子而改变，取决于季节。此外，植物的形状在风中摇动时改变。作为结果，在植物中检测到的特征点的位置和特征量大大地改变。相应地，植物的不变性得分被设置为低于道路表面的不变性得分。

车辆是移动体，因此，极有可能从当前位置移动离开。相应地，车辆的不变性得分被设置为极低。

要注意的是，图4是不变性得分的设置方法的示例，并且可以被以任何方式修改。例如，可以增加物体的种类、或者更细致地对物体进行归类。

在步骤S7中，不变性估计部分226估计每个参考图像的不变性。具体地说，不变性估计部分226将用于每个参考图像的每个特征点的不变性得分进行累加，并且将所累加的值定义为每个参考图像的不变性得分。相应地，包括其中每个特征点具有更高的不变性得分的更多特征点的参考图像的不变性得分变得更高。

在本文中，参照图9，将描述参考图像的不变性得分的计算方法的特定示例。图9图示参考图像的示例。参考图像中的X标记指示所检测到的特征点的位置。在该参考图像中，在区域R1到区域R3中检测到特征点。区域R1被识别为房子，区域R2被识别为车辆，区域R3被识别为植物。

就该示例来说，基于图4中的表，值1(其为房子的不变性得分)被给到区域R1中的每个特征点。值0.0005(其为车辆的不变性得分)被给到区域R2中的每个特征点。值0.01(其为植物的不变性得分)被给到区域R3中的每个特征点。通过将给到每个特征点的不变性得分进行累加，来计算参考图像的不变性得分。

不变性估计部分226向地图生成器227供应指示每个参考图像中的特征点的位置、特征量和不变性得分的数据、指示每个参考图像的不变性得分的数据以及每个参考图像。

在步骤S8中，地图生成器227确定不变性得分超过阈值的参考图像是否存在。在地图生成器227确定不变性得分超过阈值的参考图像存在的情况下，所述处理继续进行到步骤S9。

在步骤S9中，地图生成器227生成并且登记关键帧。

例如，地图生成器227选择不变性得分最高的参考图像作为用于关键帧生成的参考图像。接着，地图生成器227从所选择的参考图像的特征点之中提取不变性得分大于或等于阈值的特征点。地图生成器227然后生成关键帧，该关键帧包括指示以下各项的数据：每个所提取的特征点在图像坐标系中的位置和特征量，以及地图生成车辆在捕获参考图像时在世界坐标系中的位置和姿势(即，关键帧的获取位置和获取姿势)。地图生成器227在地图DB 212中登记所生成的关键帧。

例如，如图10所示，在获取参考图像P1到参考图像P4的情况下，关键帧是基于不变性得分最高的参考图像P2生成的，并且被登记。

处理然后返回到步骤S1，并且步骤S1和步骤S1后续的步骤被执行。

另一方面，在步骤S8中，在地图生成器227确定不变性得分超过阈值的参考图像不存在的情况下，步骤S9中的处理不被执行，处理返回到步骤S1，并且步骤S1和步骤S1后续的步骤被执行。换句话说，由于包括许多特征点(其中每个特征点具有高不变性)的参考图像未被获取，所以不生成关键帧。

随后，参照图11中的流程图，将描述要由自身位置估计处理器213执行的自身位置估计处理。要注意的是，例如，该处理在车辆10被启动并且用于启动驾驶的操作被执行时(例如，在车辆10的点火开关、电源开关或启动开关被接通时)开始。此外，该处理在用于结束驾驶的操作被执行时(例如，在车辆10的点火开关、电源开关或启动开关被断开时)结束。在步骤S51中，图像获取部分241获取被观测图像。具体地说，图像获取部分241捕获车辆10前面的图像，并且将所获取的被观测图像供应到特征点检测器242。

在步骤S52中，特征点检测器242检测被观测图像中的特征点。特征点检测器242将指示检测结果的数据供应到特征点核对部分243。

要注意的是，作为特征点的检测方法，使用与地图生成处理器211中的特征点检测器225类似的方法。

在步骤S53中，特征点核对部分243搜索关键帧，并且执行与被观测图像的匹配。例如，特征点核对部分243从存储在地图DB 212中的关键帧之中搜索其获取位置靠近在捕获被观测图像时的车辆10的位置的关键帧。接着，特征点核对部分243执行被观测图像中的特征点和通过搜索获取的关键帧中的特征点(即，事先捕获的参考图像中的特征点)之间的匹配。

要注意的是，在多个关键帧被提取的情况下，在关键帧中的每个关键帧和被观测图像之间执行特征点匹配。

接着，在存在与被观测图像成功进行特征点匹配的关键帧的情况下，特征点核对部分243计算被观测图像和成功进行特征点匹配的关键帧之间的匹配率。例如，特征点核对部分243计算在被观测图像的特征点之中与关键帧中的特征点成功进行匹配的特征点的比率作为匹配率。要注意的是，在存在成功进行特征点匹配的多个关键帧的情况下，针对每个关键帧计算匹配率。

特征点核对部分243然后选择匹配率最高的关键帧作为参考关键帧。要注意的是，在只有一个关键帧成功进行特征点匹配的情况下，该关键帧被选为参考关键帧。

特征点核对部分243将被观测图像和参考关键帧之间的匹配信息以及指示参考关键帧的获取位置和获取姿势的数据供应到自身位置估计部分244。要注意的是，匹配信息包括例如在被观测图像和参考关键帧之间成功进行匹配的每个特征点的位置和对应关系。

在步骤S54中，特征点核对部分243基于步骤S53中的处理的结果来确定特征点匹配是否被成功执行。在确定特征点匹配失败的情况下，处理返回到步骤S51。

此后，重复执行从步骤S51到步骤S54的处理，直到在步骤S54中确定特征点匹配被成功执行为止。

另一方面，在步骤S54中确定特征点匹配被成功执行的情况下，处理继续进行到步骤S55。

在步骤S55中，自身位置估计部分244估计车辆10的位置和姿势。具体地说，自身位置估计部分244基于被观测图像和参考关键帧之间的匹配信息以及参考关键帧的获取位置和获取姿势来针对参考关键帧的获取位置和获取姿势计算车辆10的位置和姿势。更确切地说，自身位置估计部分244在与参考关键帧相对应的参考图像被捕获时针对地图生成车辆的位置和姿势，计算车辆10的位置和姿势。

接着，自身位置估计部分244将针对参考关键帧的获取位置和获取姿势的车辆10的位置和姿势转换为世界坐标系中的位置和姿势。自身位置估计部分244然后将指示车辆10在世界坐标系中的位置和姿势的估计结果的数据供应到例如图1中的地图分析部分151、交通规则识别部分152和状态识别部分153。

此后，处理返回到步骤S51，并且步骤S51和步骤S51后续的步骤被执行。

如上所述，关键帧是基于具有高不变性的参考图像生成的，并且只有各具有高不变性的特征点被登记在关键帧中。因此，改善了被观测图像的特征点和关键帧的特征点之间的匹配率(被观测图像的特征点和关键帧的特征点之间的核对精度)。作为结果，改善了车辆10的自身位置估计的精度。

基于具有低不变性的参考图像的关键帧未被生成。因此，可以减小用于关键帧地图生成的负担和关键帧地图的容量。此外，各具有低不变性的特征点没有被登记在关键帧中。因此，可以进一步减小关键帧地图的容量。

<3.修改例>

在下文中，将描述上述本技术的示例性实施例的修改例。

在以上描述中，关于图3中的步骤S9中的处理，图示了只有具有最高不变性得分的参考图像被用于生成关键帧的示例。然而，例如，其中每个参考图像具有超过阈值的不变性得分的所有参考图像可以被用于生成关键帧。

替代地，例如，每个关键帧可以包括每个特征点的不变性(例如，不变性得分)。

在这种情况下，例如，特征点核对部分243可以在基于关键帧中的每个特征点的不变性进行加权的同时，执行被观测图像的特征点和关键帧的特征点之间的核对。例如，在被观测图像和关键帧之间的匹配率被计算的情况下，特征点核对部分243可以提高用于具有高不变性的特征点的匹配得分，并且可以减小具有低不变性的特征点的匹配得分。通过该过程，更高的与具有高不变性的特征点的匹配成功的频率使匹配率更大地增大。

在以上描述中，图示了提取其中每个特征点都具有大于或等于阈值的不变性得分的特征点并且在关键帧中登记这些特征点的示例。然而，所有的特征点都可以与它们的不变性得分一起被登记在关键帧中。在这种情况下，例如，特征点核对部分243可以仅使用在关键帧中的特征点之中的每个都具有大于或等于预定阈值的不变性得分的特征点来执行被观测图像和关键帧之间的核对。此外，在这种情况下，可以取决于诸如天气的条件来改变阈值。

此外，多个相机可以被安装在地图生成处理器211中的图像获取部分221中，并且参考图像可以由该多个相机捕获。在这种情况下，所有的相机不必都捕获地图生成车辆前面的图像，而是这些相机中的一些或全部相机可以在除了地图生成车辆前面的方向之外的方向上捕获图像。

类似地，多个相机可以被安装在自身位置估计处理器213中的图像获取部分241中，并且被观测图像可以由所述多个相机捕获。在这种情况下，所有的相机不一定都捕获车辆10前面的图像，而是这些相机中的一些或全部可以在除了车辆10前面的方向之外的方向上捕获图像。

此外，例如，与被观测图像的匹配的成功率低的关键帧可以被删除。例如，在预定时间段期间与被观测图像的匹配的成功率一直小于预定阈值的关键帧或在大于或等于预定时间段的时间段期间与被观测图像的匹配一直没有成功的关键帧可以被删除。

例如，图12图示了用作所登记的关键帧的来源的参考图像P1到参考图像P14的示例。例如，假定基于参考图像P11的关键帧在两天前最后与被观测图像成功地匹配，基于参考图像P12的关键帧在15天前最后与被观测图像成功地匹配，基于参考图像P13的关键帧在两天前最后与被观测图像成功地匹配，基于参考图像P14的关键帧在昨天最后与被观测图像成功地匹配。例如，在决定删除在大于或等于两周的时间段内与被观测图像一直没有成功匹配的关键帧的情况下，基于参考图像P12的关键帧被删除。

通过该过程，例如，由于在参考图像P12被捕获之后参考图像P12的成像范围内的状态显著改变而难以与被观测图像匹配的不必要的关键帧可以被删除。通过该过程，地图DB 212的容量可以被有效地使用。

要注意的是，在这种情况下，例如，可以新生成并且登记基于参考图像P15的关键帧，该参考图像P15是在靠近参考图像P12的位置和姿势处新捕获的。

此外，可以通过添加除了物体的种类之外的条件(例如，周围环境)来设置特征点的不变性得分。例如，可以减小影响特征量的条件(例如，太阳光、照明和天气)大大地改变的地点的特征点的不变性得分。

替代地，例如，可以基于特征点相对于时间流逝或环境变化(不是相对于这二者)不变的程度来设置每个特征点的不变性得分。

此外，本技术还适用于对除了以上图示的车辆之外的各种移动体(诸如摩托车、自行车、个人移动工具(personal mobility)、飞机、轮船、施工机械、农业机器(拖拉机)、无人机和机器人)执行自身位置估计的情况。

<4.其他>

<计算机的配置示例>

上述一系列处理可以由硬件执行，或者可以由软件执行。在该系列处理由软件执行的情况下，配置该软件的程序被安装在计算机中。在本文中，计算机的示例包括结合在专用硬件中的计算机，以及能够在安装有各种程序的同时执行各种功能的计算机(例如，通用计算机)。

图13是图示通过程序执行上述系列处理的计算机的硬件配置示例的框图。

在计算机500中，CPU(中央处理单元)501、ROM(只读存储器)502和RAM(随机存取存储器)503通过总线504相互连接。

此外，输入/输出接口505连接到总线504。输入/输出接口505与输入部分506、输出部分507、记录部分508、通信部分509和驱动器510连接。

输入部分506包括例如输入开关、按钮、麦克风和成像元件。输出部分507包括例如显示器和扬声器。记录部分508包括例如硬盘驱动器和非易失性存储器。通信部分509包括例如网络接口。驱动器510驱动可移动记录介质511，诸如磁盘、光盘、磁光盘或半导体存储器。

在因此配置的计算机500中，例如，CPU 501经由输入/输出接口505和总线504将记录在记录部分508中的程序加载到RAM 503，并且执行这些程序，从而执行上述的系列处理。

要由计算机500(CPU 501)执行的程序可以在被记录在可移动记录介质511中的同时，作为例如封装介质提供。此外，该程序可以经由有线或无线传输介质(诸如局域网、互联网或数字卫星广播)提供。

在计算机500中，程序可以通过将可移动记录介质511安装在驱动器510上来经由输入/输出接口505被安装在记录部分508中。此外，程序可以通过经由有线或无线传输介质以通信部分509接收该程序而被安装在记录部分508中。否则，该程序可以事先被安装在ROM502或记录部分508中。

要注意的是，要由计算机执行的程序可以是以本说明书中描述的次序的时间序列来执行处理的程序，或者可以是并行地或在所需的定时(例如，当发出呼叫时)执行处理的程序。

在本说明书中，系统指的是多个组件(例如，装置和模块(部分))的组合，不管所有组件是否都被包括在相同的壳体中。相应地，容纳在分开的壳体中并且经由网络连接的多个装置和多个模块被容纳在一个壳体中的一个装置都被称为系统。

此外，本技术的示例性实施例不限于上述示例性实施例，并且在偏离本技术的主旨的情况下，可以被以各种方式修改。

例如，本技术可以采用云计算配置，在该配置中，多个装置负责并且经由网络合作对一个功能进行处理。

上述流程图中解释的每个步骤可以由一个装置执行，或者可以在共享时由多个装置执行。

此外，在一个步骤包括多个处理的情况下，在该一个步骤中包括的多个处理可以由一个装置执行，或者可以在共享时由多个装置执行。

<配置的组合示例>

本技术还可以采用以下配置。

(1)

一种信息处理装置，包括：

特征点检测器，其检测用于移动体的自身位置估计的参考图像中的特征点；

不变性估计部分，其估计该特征点的不变性；以及

地图生成器，其基于该特征点和该特征点的不变性生成地图。

(2)

根据(1)所述的信息处理装置，其中，地图生成器基于参考图像的不变性来提取用于地图的参考图像，该参考图像的不变性基于特征点的不变性。

(3)

根据(2)所述的信息处理装置，其中，地图生成器基于不变性得分来提取用于地图的参考图像，该不变性得分通过针对每个参考图像累加指示特征点的不变性的不变性得分而获得，并且指示参考图像的不变性。

(4)

根据(1)至(3)中任一项所述的信息处理装置，其中，地图生成器基于特征点的不变性来提取用于地图的特征点。

(5)

根据(1)至(4)中任一项所述的信息处理装置，进一步包括：

物体识别部分，其执行参考图像中的物体的识别处理，

其中，不变性估计部分基于特征点所属的物体的种类来估计特征点的不变性。

(6)

根据(1)至(5)中任一项所述的信息处理装置，其中，特征点的不变性指示特征点相对于时间流逝或环境变化而不变的程度。

(7)

根据(1)至(6)中任一项所述的信息处理装置，其中，地图包括特征点的位置、特征量和不变性。

(8)

一种信息处理方法，包括：

检测用于移动体的自身位置估计的参考图像中的特征点；

估计特征点的不变性；并且

基于特征点和特征点的不变性生成地图。

(9)

一种用于使计算机执行以下步骤的程序：

检测用于移动体的自身位置估计的参考图像中的特征点；

估计特征点的不变性；并且

基于特征点和特征点的不变性生成地图。

(10)

一种移动体，包括：

特征点检测器，其检测被观测图像中的特征点；

特征点核对部分，其执行基于特征点和特征点的不变性生成的地图中的特征点与被观测图像中的特征点之间的核对；以及

自身位置估计部分，其基于地图中的特征点和被观测图像中的特征点之间的核对结果来执行自身位置估计。

(11)

根据(10)所述的移动体，其中，特征点核对部分在进行基于地图中的特征点的不变性的加权的同时，执行地图中的特征点和被观测图像中的特征点之间的核对。

(12)

根据(10)或(11)所述的移动体，其中，特征点核对部分执行地图中的多个特征点之中的不变性大于或等于预定阈值的特征点和被观测图像中的特征点之间的核对。

(13)

根据(10)至(12)中任一项所述的移动体，其中，特征点的不变性指示特征点相对于时间流逝或环境变化而不变的程度。

要注意的是，本说明书中描述的效果仅仅是说明性的，并非限制性的，并且可以实现其他效果。

[附图标记列表]

10 车辆

100 车辆控制系统

132 自身位置估计部分

141 车外信息检测器

201 自身位置估计系统

211 地图生成处理器

213 自身位置估计处理器

221 图像获取部分

224 物体识别部分

225 特征点检测器

226 不变性估计部分

227 地图生成器

241 图像获取部分

242 特征点检测器

243 特征点核对部分

244 自身位置估计部分

Claims (13)

1.一种信息处理装置，包括：

特征点检测器，所述特征点检测器检测用于移动体的自身位置估计的参考图像中的特征点；

不变性估计部分，所述不变性估计部分估计所述特征点的不变性；以及

地图生成器，所述地图生成器基于所述特征点和所述特征点的不变性生成地图。

2.根据权利要求1所述的信息处理装置，其中，所述地图生成器基于所述参考图像基于所述特征点的不变性的不变性来提取用于所述地图的参考图像。

3.根据权利要求2所述的信息处理装置，其中，所述地图生成器基于不变性得分来提取用于所述地图的参考图像并且指示所述参考图像的不变性，所述不变性得分通过累加指示每个参考图像的特征点的不变性的不变性得分而获得。

4.根据权利要求1所述的信息处理装置，其中，所述地图生成器基于所述特征点的不变性来提取用于所述地图的特征点。

5.根据权利要求1所述的信息处理装置，进一步包括：

物体识别部分，所述物体识别部分执行所述参考图像中的物体的识别处理，

其中，所述不变性估计部分基于所述特征点所属的物体的种类来估计所述特征点的不变性。

6.根据权利要求1所述的信息处理装置，其中，所述特征点的不变性指示所述特征点相对于经过时间或环境变化中的至少一个不太可能改变的程度。

7.根据权利要求1所述的信息处理装置，其中，所述地图包括所述特征点的位置、特征量和不变性。

8.一种信息处理方法，包括：

检测用于移动体的自身位置估计的参考图像中的特征点；

估计所述特征点的不变性；并且

基于所述特征点和所述特征点的不变性生成地图。

9.一种用于使计算机执行以下步骤的程序：

检测用于移动体的自身位置估计的参考图像中的特征点；

估计所述特征点的不变性；并且

基于所述特征点和所述特征点的不变性生成地图。

10.一种移动体，包括：

特征点检测器，所述特征点检测器检测被观测图像中的特征点；

特征点核对部分，所述特征点核对部分执行基于特征点和该特征点的不变性生成的地图中的特征点与被观测图像中的特征点之间的核对；以及

自身位置估计部分，所述自身位置估计部分基于所述地图中的特征点和被观测图像中的特征点之间的核对结果来执行自身位置估计。

11.根据权利要求10所述的移动体，其中，所述特征点核对部分在基于所述地图中的特征点的不变性进行加权的同时，执行所述地图中的特征点和所述被观测图像中的特征点之间的核对。

12.根据权利要求10所述的移动体，其中，所述特征点核对部分执行所述地图中的多个特征点之中的不变性大于或等于预定阈值的特征点和所述被观测图像中的特征点之间的核对。

13.根据权利要求10所述的移动体，其中，所述特征点的不变性指示所述特征点相对于经过时间或环境变化中的至少一个不太可能改变的程度。

Images