CN116071507A - 信息处理装置、信息处理系统、信息处理方法和记录介质 - Google Patents

Abstract

本发明提供信息处理装置、信息处理系统、信息处理方法和记录介质。在用于处理移动体的周围环境的地图信息的信息处理装置中，传感器信息获取单元获取用于进行与移动体的移动量或周围环境相关的测量的传感器的输出信息。误差生成量计算单元基于所获取的信息对构成地图信息的元素的位置信息的误差生成量进行计算。累积误差评估单元评估所计算出的误差生成量的累积程度。校正判断单元基于累积误差的评估结果来判断与地图信息相关的累积误差校正处理的必要性。根据来自校正判断单元的指令，通知装置向用户通知使用回环的校正的必要性。

Description

信息处理装置、信息处理系统、信息处理方法和记录介质

技术领域

本发明涉及移动体的位置/姿势测量技术和移动控制技术。

背景技术

“同时定位和地图构建(Simultaneous Localization And Mapping)”(在下文中被称为SLAM)是一种用于通过移动诸如照相机等的传感器来估计自身位置/姿势和周围环境的地图信息的技术。在“Raul Mur-Artal,J.M.M.Montiel,J.D.Tardos,"ORB-SLAM:AVersatile and Accurate Monocular SLAM System",IEEE Transactions on Robotics,2015”中，公开了被称为回环(loop closure)(在下文中也被称为LC)的技术作为用于估计高精度地图信息的方法。LC可以通过在传感器的移动路径上识别具有环形形状(闭合路径)的区段、并将闭合路径中的地图的连续性添加到约束条件，来减少与地图信息相关的累积误差(积累误差)。

另外，在日本专利6823403中公开了一种如下技术，其使得头戴型显示器中所包括的照相机能够生成向混合现实的体验者提示移动到更靠近可以进行LC的位置和姿势的显示内容。

在传统技术中，存在如下问题：在用于生成SLAM的地图信息的运动图像的拍摄期间，用户无法感知与用于适当地校正累积误差的使用LC的校正的执行相关的位置和定时。因此，用于生成校正了累积误差的更高精度的地图信息的操作变得复杂。

发明内容

本发明的目的是进一步降低生成高精度地图信息的操作的复杂度。

根据本发明的实施例的一种信息处理装置，包括：获取单元，其被配置为获取与移动体的移动量或周围环境相关的信息；估计单元，其被配置为使用所述获取单元所获取的信息来估计与所述周围环境的地图信息相关的位置信息的误差生成量；评估单元，其被配置为评估所述误差生成量的累积程度；以及判断单元，其被配置为获取所述评估单元所获取的累积程度的评估结果，并且判断针对所述地图信息的累积误差的校正处理的必要性，其中，所述判断单元将所述校正处理的必要性的判断结果输出到通知装置或用于进行所述移动体的移动控制的控制装置。

从以下参考附图对示例性实施例的描述，本发明的进一步特征将变得明显。

附图说明

图1A和图1B是示出根据第一实施例和第二实施例的信息处理系统的配置示例的图。

图2是示出根据第一实施例和第二实施例的硬件配置示例的图。

图3是示出根据第一实施例和第二实施例的处理的流程图。

图4是示出根据第三实施例的信息处理系统的配置示例的图。

图5是示出根据第三实施例的处理的流程图。

具体实施方式

在下文中，将参考附图详细描述本发明的实施例。在实施例中，作为根据本发明的信息处理装置的应用示例，将描述进行诸如运载工具等的移动体的移动控制的信息处理系统。作为运载工具的示例，示出自动导引车(automated guided vehicle)。

[第一实施例]

在该实施例中，使用安装在移动体中的摄像装置来进行拍摄用于生成视觉SLAM的地图信息的图像。根据该实施例的信息处理系统获取传感器的测量值并估计误差生成量。误差生成量是与每次估计地图信息时生成的误差量具有相关性的值，并且是与移动体的移动量相关的值。对于视觉SLAM的地图信息，进行地图信息的更新，诸如根据移动体的移动而进行的关键帧的添加等。将包括漂移误差(drift error)的信息添加到关键帧或特征点的位置/姿势。特征点是根据所获取的图像内的角或边缘等的亮度梯度变化而在图像上唯一地确定的点。

以这种方式，信息处理系统进行将关于移动体的移动距离或者与移动距离具有相关性的量(移动量)的信息估计为误差生成量的处理，并且基于所估计的误差生成量来评估累积误差(积累误差)。通过使用误差生成量，评估在SLAM的地图信息的生成期间所累积的漂移误差的累积值。为了适当地进行对累积误差的校正处理，信息处理系统进行用于判断使用回环的校正的必要性、并向用户通知判断结果的处理。

图1A是示出根据本实施例的信息处理系统的配置示例的框图。信息处理系统包括传感器100、信息处理装置200和通知装置300。这样的组成元件安装在可以进行与用于生成视觉SLAM的地图信息的图像相关的拍摄的自动导引车1中。

图1B是示出自动导引车1的配置的概要的图。自动导引车1包括摄像装置10、信息处理装置200、信号发送/接收单元210和驱动控制单元220。摄像装置10所获取的周围环境的拍摄图像信息由信息处理装置200处理。信息处理装置200通过信号发送/接收单元210将基于拍摄图像信息的控制信号发送到驱动控制单元220。驱动控制单元220根据所接收到的控制信号来进行与车轮的驱动源相关的驱动控制。

将参考图1A和图1B描述信息处理装置200的配置。传感器100获取与自动导引车1的移动量有关的信息(在下文中被称为传感器信息)。在本实施例中，旋转编码器和转速计用作传感器100。自动导引车1的车轮的转动量用作与移动量有关的信息。通知装置300向用户通知使用LC的校正的必要性。例如，通知装置300具有诸如扬声器等的声音输出装置。自动导引车1具有安装在其中的诸如立体照相机等的摄像装置10，并且在根据用户操作而移动期间获取用于生成地图信息的多个视点图像。这多个视点图像是在相互不同的视点处拍摄的图像，并且是具有视差的图像。

信息处理装置200从传感器100获取与移动量有关的信息，评估误差累积量，并进行用于判断使用LC的校正的必要性的处理。信息处理装置200基于判断结果，使用通知装置300向用户给出通知。信息处理装置200包括传感器信息获取单元101、误差生成量估计单元102、累积误差评估单元103和校正判断单元104。

传感器信息获取单元(在下文中称为获取单元)101从传感器100获取传感器信息，并且将所获取的传感器信息输出到误差生成量估计单元102。误差生成量估计单元(在下文中称为估计单元)102使用所获取的传感器信息来估计和计算误差生成量。累积误差评估单元(在下文中称为评估单元)103获取估计单元102所估计的误差生成量，并且基于误差生成量来评估误差的累积程度。

校正判断单元104基于评估单元103所获得的累积误差的评估结果，来判断使用LC的累积误差的校正处理的必要性。校正判断单元104所获取的判断结果的信息被发送到通知装置300。通知装置300基于判断结果向用户通知使用LC的校正的必要性。

更具体地，在传感器100中，旋转编码器根据自动导引车1中所包括的车轮的轴的转动位移量来输出脉冲列，并且转速计通过对脉冲列进行计数来将脉冲列转换为转动角度。传感器100定期地将转动量的信号发送到获取单元101。获取单元101将转动量的信息输出到估计单元102。估计单元102将误差生成量的信息输出到评估单元103。在该实施例中，转动量用作误差生成量。评估单元103估计并评估累积误差的程度，并且将该累积误差的程度发送到校正判断单元104。校正判断单元104将基于累积误差的程度的使用LC的校正的必要性的判断结果输出到通知装置300。

图2是示出信息处理装置200的硬件配置的示例的框图。信息处理装置200包括中央处理单元(CPU)201，并且控制使用系统总线208所连接的各种装置。只读存储器(ROM)202存储信息处理装置200所使用的基本输入输出系统(BIOS)程序和引导程序。随机存取存储器(RAM)203用作CPU 201的主存储装置。外部存储器204存储信息处理装置200所处理的程序和数据。

输入单元205具有用于进行操作和信息输入的输入装置(诸如键盘、指点装置、机器人控制器和按钮等)。显示单元206根据CPU 201的命令来显示信息处理装置200的运算处理的结果。显示单元206具有诸如液晶显示装置、投影仪和LED指示器等的显示装置。

I/O 207是通信接口单元，并且经由网络等进行与外部装置的信息通信。I/O 207可以进行以太网(Ethernet(注册商标))、通用串行总线(USB)、串行通信和无线通信等，并且通信的类型可以是任意的。在信息处理装置200中，可以通过I/O 207获取传感器的测量值和与测量有关的数据。

将参考图3描述信息处理装置200所进行的处理的细节。图3是示出根据本实施例的处理的流程的流程图，并且通过CPU 201执行程序来实现以下处理。

当用于地图信息的拍摄开始时，在S301中，获取单元101、估计单元102、评估单元103和校正判断单元104读取存储在ROM 202中的设置值和参数。进行用于存储已获取的传感器信息、误差生成量和累积误差的评估值等的存储器的初始化处理。另外，获取单元101记录传感器100所获取的转动量的初始值。此后，由于获取了与每单位时间从传感器100接收到的转动量的差，因此在S301中获取的转动量被存储为用于转换为从用于生成地图信息的图像获取的开始时间点起的转动量的初始值。另外，评估单元103将伴随着误差生成量的增加的累积误差量的值初始化为零。传感器是诸如立体照相机等的摄像装置。基于由摄像装置进行摄像的图像信息来创建运载工具周边环境的三维地图信息。三维地图信息例如是地图元素的集合。基于从安装在运载工具上的摄像装置所拍摄的图像而估计出的在拍摄图像时的摄像装置的位置/姿势信息、以及图像中所包括的特征点的三维位置信息，来生成地图元素。基于在多个不同位置/姿势处拍摄图像的摄像装置所生成的多个地图元素，来生成三维地图信息。地图元素也被称为“关键帧”。

在S302中，获取单元101从传感器100获取每个预定时间(称为T)的转动量的值作为传感器信息。T的值可以任意设置。获取单元101计算所获取的转动量与前次获取时的转动量之间的差。作为紧接在初始化之后的传感器信息，使用在S301中存储的传感器100的转动量的初始值。获取单元101将已计算出的每单位时间的转动量的信号发送到估计单元102。

在S303中，估计单元102基于从获取单元101接收到的信号中所包括的传感器信息来估计误差生成量。更具体地，根据从获取单元101获取的每单位时间的转动量来估计每单位时间的误差生成量。评估单元103估计从用于生成视觉SLAM的地图信息的图像的获取开始的开始点起的转动量的总和，作为累积误差生成量。对特定地图元素进行累积误差生成量的估计。

在S304中，评估单元103基于在S303中估计的累积误差生成量来评估累积误差的程度。累积误差生成量将由M表示，各个传感器信息的累积误差程度系数将由Cm表示，并且累积误差程度将由D表示。作为累积误差程度D的评估等式的示例，可以使用以下等式(1)。

D＝Cm×M   等式(1)

如果传感器信息表示转动量，则累积误差程度系数Cm是表示转动量的累积误差的程度的值。评估单元103将已计算出的累积误差程度D的值发送到校正判断单元104。

在S305中，校正判断单元104基于在S304中评估的累积误差来进行用于判断累积误差的校正处理的必要性的处理。判断从评估单元103获取的累积误差程度是否是需要进行使用回环的校正的累积误差程度。更具体地，将累积误差程度D的值与阈值进行比较。该阈值是认为累积了对操作地图信息造成障碍的误差的累积程度的阈值。如果所获取的累积误差程度D的值超过阈值，则校正判断单元104判断为需要进行使用LC的校正。如果是，则在S306中判断为存在校正的必要性，并且处理进行到S307的处理。另一方面，如果所获取的累积误差程度D的值等于或小于阈值，则校正判断单元104判断为不存在校正的必要性。在这种情况下，在S306中判断为不存在校正的必要性，并且处理进行到S308的处理。另外，每当获取传感器信息时，继续用于判断累积误差校正的必要性的处理。

在S307中，校正判断单元104指示通知装置300给出提示使用LC的校正的通知(地图校正通知、第一信息)。通知装置300向用户通知使用LC的校正的必要性。将提示使用LC的校正的语音从安装在自动导引车1中的扬声器输出到正在通过操作自动导引车1而移动的用户。听到了根据通知装置300的通知声音的用户进行使自动导引车1转向的操作，使得可以进行使用LC的校正。据此，能够使用可以在适合于校正累积误差的位置和定时进行使用LC的校正的自动导引车1进行摄像。在S307的处理之后，处理进行到S308的处理。作为组件要求，判断单元不是必需的，并且当所估计的累积误差超过阈值时，可以输出与使运载工具重新到达该运载工具已通过的点的附近相关的第一信息。当运载工具基于第一信息移动时，对与运载工具已通过的点附近相对应的地图元素中所包括的摄像装置的位置/姿势信息进行校正。

在S308中，CPU 201进行用于判断是否存在来自用户的经由输入单元205的摄像结束指令输入的处理。如果在S308中判断为不存在摄像结束指令输入，则处理通过返回到S302而继续。另一方面，如果在S308中判断为存在摄像结束指令输入，则一系列处理结束。

根据本实施例，用户可以感知与基于累积误差的评估的适当的回环相关的位置和定时，并且可以降低生成高精度地图信息的操作的复杂度。

接下来，将描述第一实施例的变形例(第一变形例)。

(第一变形例1)

在第一实施例中，描述了将作为与地图信息生成期间的移动量具有相关性的值的、自动导引车1的车轮的转动量用作误差生成量的示例。在该变形例中，使用自动导引车1的移动距离的测量值作为与地图信息生成期间的移动量具有相关性的值。

在自动导引车1的移动距离的测量中，存在根据车轮的转动量和半径来计算行进距离的方法、以及设置用于测量移动距离的测量单元的方法。例如，可以通过使用鸟瞰图照相机的图像估计在图像中示出的地图信息的生成期间的自动导引车1的位置，来测量移动距离。另外，在室外地点的情况下，可以使用全球定位系统(GPS)获取位置信息，并且使用自动导引车1的位置信息测量移动距离。另外，存在一种使用诸如在生成视觉SLAM的地图信息时的自身位置估计等的图像处理来测量移动距离的方法。

(第一变形例2)

在该变形例中，代替使用传感器信息的转动量作为误差生成量，使用通过将传感器100的输出标准化而获取的值作为误差生成量。通过使用基于标准化的误差生成量所评估的累积误差，可以进行与校正累积误差的必要性相关的更准确的判断处理。

(第一变形例3)

在第一实施例中，描述了使用安装在自动导引车1中的声音输出装置向用户通知使用LC的校正的必要性的示例。在通知装置300中，可以使用任何单元，只要可以向用户通知使用LC的校正的必要性即可。

在该变形例中，通过在自动导引车1中安装警告灯作为通知装置300并开启警告灯，来向用户通知使用LC的校正的必要性。可替代地，可以采用通过使用诸如显示器等的显示单元显示文字和图像来向用户通知使用LC的校正的必要性的配置。

另外，在该变形例中，自动导引车1包括通信装置，并且除了通信装置之外的通信终端装置被用作通知装置300。例如，用于自动导引车1的操作的平板电脑或可以进行无线通信的个人计算机等可以用作通知装置300。

[第二实施例]

接下来，将描述本发明的第二实施例。在该实施例中，将描述使用从摄像装置10所获取的图像导出的移动距离作为与自动导引车1的移动量相关的测量值的示例来判断累积误差的校正的必要性、并将其结果通知给用户的处理。

根据本实施例的信息处理系统通过考虑对地图元素的位置误差程度有影响的精度降低因素而以更高精度评估累积误差的程度，来进行校正判断。在视觉SLAM的自身位置估计中，进行用于使用从作为地图元素之一的关键帧图像检测到的特征点来计算三维坐标的位置/姿势的处理。通过检查关键帧图像的特征点与在自身位置估计时的获取图像中所包括的多个特征点之间的一致，来进行计算自身位置/姿势的处理。特征点之间的位置偏差是误差因素，并且如果无法检测到足够数量的特征点，则存在导致视觉SLAM的地图信息的精度降低的可能性。

在本实施例中，将描述通过考虑在作为关键帧图像而添加的拍摄图像中检测到的少量特征点作为精度降低因素来评估累积误差的处理。尽管根据本实施例的信息处理系统的配置类似于参考图1A和图1B所描述的配置，但是根据本实施例的传感器100是安装在自动导引车1中的摄像装置10。将省略在第一实施例中描述了的项的细节，并且将主要描述与第一实施例的差异。对于下面将要描述的实施例和变形例，类似地进行这样的描述省略。

将参考图3描述根据本实施例的信息处理装置200所进行的处理。当地图信息的摄像开始时，信息处理装置200的各个单元在S301中进行初始化处理，并且获取单元101进行摄像装置10的初始化和拍摄图像的获取的准备。另外，估计单元102将移动距离的值设置为零。

在S302中，获取单元101从摄像装置10获取传感器信息。作为传感器信息，获取图像和与摄像有关的设置信息。获取单元101将已获取的图像和与摄像有关的设置信息输出到估计单元102。

在S303中，估计单元102基于已获取的图像和与摄像有关的设置信息，计算每次图像获取的移动距离作为误差生成量。通过使用与视觉SLAM类似的方法，估计当前自身位置，并且进行根据与前次所获取的图像中的自身位置的差来估计移动距离的处理。

在S303中，用于估计移动距离的方法可以是任意方法，只要可以估计运载工具的移动距离即可。在该实施例中，与视觉SLAM的自身位置估计类似地，从所获取的图像内的特征中提取特征点。进行基于所提取的特征点来估计自身位置/姿势、并将所估计的自身位置/姿势记录为三维坐标系的信息的处理。每次获取图像时，估计自身位置/姿势信息的差。

作为与位置/姿势相关的信息的示例，使用表示在开始生成地图信息时的摄像装置10或自动导引车1的位置的三个参数以及表示摄像装置10的姿势的三个参数。表示位置的三个参数是三维坐标系中的(X,Y,Z)的集合。表示姿势的三个参数是围绕三维坐标系的坐标轴作为中心轴的转动角度的参数(侧倾，俯仰，横摆)的集合。

关于SLAM的自身位置估计的精度降低因素，估计单元102将特征点的数量估计为地图精度信息。与生成视觉SLAM的地图信息时类似地，在针对每个预定移动距离添加关键帧的定时，进行对所获取的图像的特征点的检测和计数处理。估计单元102对用于估计自身位置的特征点的数量相对于预定最大值的比例进行估计。进行与特征点的数量相对于最大值的比例相对应的分级(ranking)处理。例如，在分级处理中，确定与“良好(GOOD)”和“弱(WEAK)”各自相对应的值。如果形成了特征点的数量相对于最大值的比例等于或高于预定阈值的状态(高精度状态)，则进行“良好”的分级。另外，如果特征点的数量略小并且可以估计自身位置，则进行“弱”的分级。在该实施例中，分级信息用作地图精度信息。

在S304中，评估单元103使用误差生成量和地图精度信息来评估累积误差的程度。除了各个传感器信息的累积误差生成量M和累积误差程度系数Cm之外，精度降低系数将由DA表示。作为累积误差程度D的评估等式的示例，可以使用以下等式(2)。

D＝Cm×M×DA    等式(2)

由于根据本实施例的传感器信息是运载工具的移动距离，因此累积误差程度系数Cm是表示与移动距离相关的累积误差的程度的值。另外，精度降低系数DA是表示与在移动距离内检测到的有效特征点的数量的比例相关的精度降低的系数。

例如，将假设在地图精度信息的关键帧中检测到的特征点的分级结果在等于或大于预定阈值的数量的帧中是“良好”的情况。在这种情况下，所检测到的特征点的数量是足够的，因此精度降低系数DA被设置为DA＝1。另外，将假设特征点的分级结果为“良好”的帧的数量等于或小于预定阈值、并且在移动距离内“弱”的分级结果很多的情况。在这种情况下，累积误差增加，因此精度降低系数DA被设置为DA＝2。这样的系数是实施例中的示例，并且在本发明的应用中可以使用任意系数。

在S304中，评估单元103将包括与累积误差程度相关的信息和误差生成量以及传感器信息的信息作为累积误差评估信息输出到校正判断单元104。在S305中，校正判断单元104进行判断校正累积误差的必要性的处理。然后，进行S306至S308的处理。

在本实施例中，考虑到地图信息的精度降低因素，可以使用地图精度信息进行与通过以更高精度评估累积误差的程度来进行校正处理相关的判断(校正判断)。

接下来，将描述第二实施例的变形例(第二变形例)。

(第二变形例1)

在第二实施例中，尽管在稳定获取图像的前提下将特征点的数量的分级信息用作地图精度信息，但是可能存在根据周围环境无法获取良好的拍摄图像的情况。例如，存在拍摄图像的噪声量过大的情况、拍摄图像过亮的情况或拍摄图像过暗的情况。从在这种情况下获取的图像中检测到的特征点具有低再现性，因此这成为降低在使用地图信息时的精度的因素。

在该变形例中，估计单元102关于地图精度信息进行图像获取状态的分级处理，并且与特征点数量的分级信息类似地，使用用于评估累积误差的信息，或者使用这两种类型的信息。例如，作为图像获取状态的分级信息，使用分别与“无噪声(NOISELESS)”和“有噪声(NOISY)”相对应的值。如果图像中随机噪声的像素数量的比例等于或低于预定阈值，则进行“无噪声”的分级。另一方面，如果图像中随机噪声的像素数量的比例高于预定阈值，则进行“有噪声”的分级。

另外，在该变形例中，通过估计图像的平均亮度值并将该平均亮度值与下限或上限的阈值进行比较，来进行分级处理。例如，如果图像的平均亮度值等于或小于下限的阈值，则进行“暗(DARK)”的分级。另一方面，如果图像的平均亮度值等于或大于上限的阈值，则进行“亮(LIGHT)”的分级。另外，如果图像的平均亮度值大于下限的阈值且小于上限的阈值，则进行“正常(NORMAL)”的分级。

根据该变形例，通过使用用于评估累积误差的各种分级信息来以更高精度评估累积误差的程度，可以进行校正判断。

(第二变形例2)

在第二实施例中，描述了在不考虑拍摄图像与根据照相机的摄像设置所获取的图像的差异的情况下使用地图精度信息的示例。在该变形例中，表示拍摄图像与照相机的摄像设置的差异的信息被包括在地图精度信息中。

通常，如果使用高分辨率图像生成地图信息，则精度变高。在该变形例中，估计单元102对拍摄图像的分辨率进行分级处理，并确定诸如“高”、“中”和“低”等的等级。使用与所确定的等级相对应的系数来评估累积误差。

另外，在该变形例中，估计单元102获取与拍摄图像的质量相关的照相机的摄像设置信息，进行分级处理，并将分级信息用于地图精度信息。例如，如果在照相机中包括自动曝光(AE)功能，则进行“高质量”的分级。如果在照相机中不包括AE功能，则进行“低质量”的分级。与各个等级相对应的系数被分配并用于地图精度信息。

根据该变形例，通过将表示拍摄图像和摄像装置的摄像设置的差异的信息包括在地图精度信息中，可以通过以更高精度评估累积误差的程度来进行校正判断。

(第二变形例3)

在第二实施例中，尽管描述了将作为关键帧的添加的获取图像的特征点的数量用于地图精度信息的示例，但是地图精度信息不限于特征点的数量。在该变形例中，与所检测到的图像中的特征点相对应的在物体的位置与摄像位置(摄像装置的位置)之间的距离信息用作地图精度信息。该距离信息的估计由估计单元102或距离信息估计单元(未示出)进行。

通常，在与获取图像中的特征点相对应的物体的位置接近摄像位置的情况以及该位置远离摄像位置的情况中，在该位置接近摄像位置的情况下，可以以更高精度进行视觉SLAM的自身位置估计。在该变形例中，进行估计摄像装置和与特征点相对应的实际空间中的物体之间的距离的处理。评估单元103进行调整系数的处理，使得累积误差程度的值随着距离长于预定阈值的特征点的数量增加而变大，因此可以更准确地评估累积误差。

根据该变形例，可以通过使用与图像中的特征点相对应的物体的位置和摄像位置之间的距离信息以更高精度评估累积误差的程度，来进行校正判断。

(第二变形例4)

在该变形例中，通过在与地图精度信息相关的分级处理中不使用离散值而是使用成为分级处理的基准的值，来估计误差累积量。例如，通过使用特征点的数量之和的倒数作为误差生成量，来进行评估累积误差程度的处理。

根据该变形例，可以通过使用成为与地图精度信息相关的分级处理的基准的值以更高精度评估累积误差的程度，来进行校正判断。

(第二变形例5)

如果向传感器100添加振动，则图像中的特征点的检测精度降低，并且与特征点的位置/姿势相关的累积误差增加。因此，在该变形例中，通过在传感器100或自动导引车1中安装振动系统作为偏差检测单元，来估计振动的振幅。评估单元103评估出地图信息生成精度随着预定时间间隔中的振幅之和变大而降低。

另外，如果照度变化显著，则图像中的特征点的跟踪精度降低，并且可以跟踪的特征点的数量和特征点的位置/姿势的累积误差增加。因此，在该变形例中，照度计安装在自动导引车1中所包括的传感器100附近，并且估计照度变化的大小。评估单元103评估出地图信息生成精度随着预定时间间隔中的照度变化的大小之和变大而降低。另外，在外部光入射的环境中，发生根据时间的差异引起的照度变化，因此评估单元103评估出在这种环境中地图信息生成精度低。

根据该变形例，可以通过考虑振动对传感器的影响和周围环境中的状态变化(照度变化、外部光的有无、温度变化和湿度变化等)的影响以更高精度评估累积误差的程度，来进行校正判断。

[第三实施例]

将参考图4和图5描述本发明的第三实施例。在上述实施例中，描述了基于校正判断的结果向用户给出提示使用回环的校正的通知的实施例。在本实施例中，将描述基于校正判断的结果进行改变自动导引车1的位置或姿势的控制以使得在地图信息的生成期间进行使用LC的校正的示例。地图信息的生成由信息处理装置200中所包括的地图信息生成单元使用已知方法来进行。

图4是示出根据本实施例的信息处理装置200的硬件配置的示例的框图。与图2所示的不同之处在于，提供了控制装置400来代替通知装置300。控制装置400进行自动导引车1的移动控制。

图5是示出本实施例的整个处理的流程的流程图。S501至S506的处理细节与图3所示的S301至S306的处理细节类似，因此将省略其详细描述。

在S506中，如果判断为地图信息的校正是有必要的，则处理进行到S507的处理。在S507中，校正判断单元104向控制装置400通知用于校正地图信息的移动指令。已接收到移动指令的控制装置400进行使自动导引车1转向以使得在生成视觉SLAM的地图信息时自动进行回环的控制，或者进行移动自动导引车1以使得移动路径形成闭环的控制。在S507之后，处理进行到S508的处理。另一方面，如果在S506中判断为地图信息的校正是没有必要的，则处理进行到S508的处理。

在S508，CPU 201判断为地图信息的生成是否已结束。如果判断为地图信息的生成已结束，则一系列处理结束。另一方面，如果判断为地图信息的生成尚未结束，则处理进行到S502，并且处理继续。

关于通过摄像装置10中的连续摄像所获取的图像组，控制装置400在维持在时间上连续的拍摄图像的一部分中至少示出公同区域的点的同时，控制自动导引车1的转向或移动。然后，进行自动导引车1的操作控制，使得摄像装置10的摄像方向从自动导引车1的转向或移动的开始时间点起旋转了360°，并且自动导引车返回到开始位置附近或在与开始时间点的方向相同的方向上的位置。

根据该实施例，可以通过确定与基于累积误差的评估的适当的使用LC的校正的进行相关的位置和定时、并进行改变自动导引车1的位置和姿势的控制，来使自动导引车1自动进行用于生成地图信息的摄像。因此，可以降低以高精度生成地图信息的操作的复杂度。基于累积误差的程度的评估结果来判断有必要进行使用LC的校正的适当位置和定时，并且可以生成在无需用户努力的情况下自动进行使用LC的校正的高精度地图信息。

接下来，将描述第三实施例的变形例(第三变形例)。

(第三变形例)

在第三实施例中，尽管描述了进行自动导引车1的转向或移动的控制的示例，但是在该变形例中，作为使用LC的校正的控制方法，使作为传感器100的摄像装置10转动或移动。设置有摄像装置10的转动机构单元或移动机构单元中的一者或这两者，并且控制装置400进行对摄像装置10的转动或移动的控制。

在上述实施例中，基于在用于生成地图信息的摄像期间累积误差的评估和校正判断的结果，向用户通知使用LC的校正必要性，或者进行上述移动控制、转向或转动控制。据此，可以进一步降低生成高精度地图信息的操作的复杂度。

最后，将描述上述第一实施例至第三实施例的变形例(第四变形例)。

(第四变形例1)

在该变形例中，在校正累积误差的必要性的判断中，可以反映与地图精度相关的设置。通过经由输入单元205的用户操作预先进行选择生成高精度地图信息或生成低精度地图信息的处理。如果选择生成高精度地图信息，则信息处理装置200调整校正判断单元104的判断参数，使得进行使用LC的校正的频率变高。例如，用于判断累积误差校正的必要性的阈值被设置为低值。另一方面，如果选择生成低精度地图信息，则信息处理装置200调整校正判断单元104的判断参数，使得进行使用LC的校正的频率变低。

根据该变形例，根据用户操作进行与期望地图精度相关的选择，并且可以进行用于生成地图信息的摄像。

(第四变形例2)

在上述实施例中，描述了将信息处理装置200包括在自动导引车1中的实施例。该变形例的信息处理装置200安装在自动导引车1外部，并且通过无线通信等从自动导引车1的传感器100获取传感器信息。

在该变形例中，通过使用作为自动导引车1的外部装置的信息处理装置200，可以进行与使用LC的累积误差校正相关的判断和用于LC的自动导引车1的操作控制。

(其他实施例)

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将进行上述实施例的功能的软件(程序)供给至系统或设备，该系统或设备的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并进行程序的方法。

虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被赋予最广泛的解释，以涵盖所有这样的修改以及等效的结构和功能。

本申请要求于2021年11月4日提交的日本专利申请2021-180560的权益，其全部内容通过引用并入本文。

Claims (20)

1.一种信息处理装置，包括：

获取部件，其被配置为获取与移动体的移动量或周围环境相关的信息；

估计部件，其被配置为使用所述获取部件所获取的信息来估计与所述周围环境的地图信息相关的位置信息的误差生成量；

评估部件，其被配置为评估所述误差生成量的累积程度；以及

判断部件，其被配置为获取所述评估部件所获取的累积程度的评估结果，并且判断针对所述地图信息的累积误差的校正处理的必要性，

其中，所述判断部件将所述校正处理的必要性的判断结果输出到通知装置或用于进行所述移动体的移动控制的控制装置。

2.根据权利要求1所述的信息处理装置，其中，所述评估部件使用与所述地图信息的精度相关的地图精度信息来评估所述累积程度。

3.根据权利要求2所述的信息处理装置，

其中，所述获取部件获取摄像部件所拍摄的图像的信息，以及

其中，所述估计部件使用从与所述地图信息相关的地图元素的图像中检测到的特征点的数量来进行分级处理，并且将分级信息作为所述地图精度信息输出到所述评估部件。

4.根据权利要求2或3所述的信息处理装置，

其中，所述获取部件获取摄像部件所拍摄的图像的信息，以及

其中，所述估计部件通过获取所述摄像部件的与所述图像的图像质量相关的摄像设置信息来进行分级处理，并且将要评估的分级信息作为所述地图精度信息输出到所述评估部件。

5.根据权利要求2或3所述的信息处理装置，

其中，所述获取部件获取摄像部件所拍摄的图像的信息，以及

其中，所述估计部件将与所述图像中的特征点相对应的物体的位置和所述摄像部件的位置之间的距离信息作为所述地图精度信息输出到所述评估部件。

6.根据权利要求2或3所述的信息处理装置，

其中，所述获取部件从用于检测所述移动体或摄像部件的振动的检测部件获取信息，以及

其中，所述评估部件使用基于所述振动的振幅的所述地图精度信息来评估所述累积程度。

7.根据权利要求2或3所述的信息处理装置，

其中，所述获取部件从用于检测所述移动体的周围环境的状态变化的检测部件获取信息，以及

其中，所述评估部件使用基于所述周围环境的状态变化的所述地图精度信息来评估所述累积程度。

8.根据权利要求7所述的信息处理装置，

其中，所述获取部件从用于检测所述周围环境的照度的检测部件获取信息，以及

其中，所述评估部件使用基于所述周围环境的照度变化的所述地图精度信息来评估所述累积程度。

9.一种信息处理装置，包括：

至少一个处理器；以及

至少一个存储器，其保持程序，所述程序使所述处理器用作：

第一生成部件，其被配置为基于在拍摄图像的情况下的摄像装置的位置/姿势信息和所述图像中所包括的特征点的三维位置信息来生成地图元素，所述位置/姿势信息是从安装在移动体上的所述摄像装置所拍摄的所述图像估计的；

第二生成部件，其被配置为基于以多个不同位置/姿势拍摄图像的所述摄像装置所生成的多个地图元素来生成三维地图信息；

估计部件，其被配置为估计特定地图元素中的所述摄像装置的位置/姿势信息的误差；

输出部件，其被配置为在所估计的误差超过阈值的情况下，输出与所述移动体重新到达该移动体已通过的点的附近相关的第一信息，以及

校正部件，其被配置为在所述移动体已基于所述第一信息而移动的情况下，对与所述移动体已通过的点的附近相对应的地图元素中所包括的所述摄像装置的位置/姿势信息进行校正。

10.根据权利要求9所述的信息处理装置，

其中，所述估计部件基于从所述移动体的移动开始起的轮子的转动量来估计所述误差。

11.根据权利要求9或10所述的信息处理装置，

其中，所述估计部件基于所述移动体的从移动开始起的移动距离来估计所述误差。

12.根据权利要求9或10所述的信息处理装置，

其中，所述估计部件基于所述特定地图元素和在所述特定地图元素之前所生成的地图元素中的特征点的数量来估计所述误差。

13.根据权利要求9或10所述的信息处理装置，

其中，所述估计部件基于所述特定地图元素中的、所述摄像装置的位置信息和所述特征点的三维位置信息之间的距离来估计所述误差。

14.根据权利要求9或10所述的信息处理装置，还包括：

设置部件，其被配置为设置所述三维地图信息的生成的精度，

其中，与所述精度被设置为低的情况相比，在所述精度被设置为高的情况下所述阈值更低。

15.根据权利要求9或10所述的信息处理装置，

其中，所述输出部件通过声音输出所述第一信息。

16.一种信息处理系统，包括：

根据权利要求1至8中任一项所述的信息处理装置；

传感器，其被配置为进行与所述移动体的移动量或周围环境相关的测量；以及

通知装置或控制装置，所述通知装置被配置为给出所述校正处理的必要性的判断结果的通知，所述控制装置被配置为进行所述移动体的移动控制。

17.根据权利要求16所述的信息处理系统，其中，在所述判断部件判断为存在所述校正处理的必要性的情况下，所述控制装置进行用于改变所述移动体或摄像部件的位置或姿势的控制。

18.根据权利要求16或17所述的信息处理系统，其中，所述控制装置进行用于使所述移动体转向或使所述移动体移动以使得移动路径形成闭环的控制。

19.一种信息处理装置所进行的信息处理方法，所述信息处理装置用于对移动体的周围环境的地图信息进行处理，所述信息处理方法包括：

获取与所述移动体的移动量或周围环境相关的信息；

使用所获取的信息来估计与所述地图信息相关的位置信息的误差生成量；

评估所述误差生成量的累积程度；

获取在累积程度的所述评估中所获取的累积程度的评估结果，并且判断针对所述地图信息的累积误差的校正处理的必要性；以及

将在评估结果的所述获取中所获取的所述校正处理的必要性的判断结果输出到通知装置或用于进行所述移动体的移动控制的控制装置。

20.一种非暂时性记录介质，其存储信息处理装置的程序，所述程序使计算机进行所述信息处理装置的方法中的各个步骤，所述方法包括：

获取与移动体的移动量或周围环境相关的信息；

使用所获取的信息来估计与所述周围环境的地图信息相关的位置信息的误差生成量；

评估所述误差生成量的累积程度；

获取在累积程度的所述评估中所获取的累积程度的评估结果，并且判断针对所述地图信息的累积误差的校正处理的必要性；以及

将在评估结果的所述获取中所获取的所述校正处理的必要性的判断结果输出到通知装置或用于进行所述移动体的移动控制的控制装置。

Images