CN113074751B - 一种视觉定位误差检测方法及装置 - Google Patents

Abstract

本申请实施例提供了一种视觉定位误差检测方法及装置，涉及人工智能技术领域，上述方法包括：获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的物理定位位姿真值、及根据视觉定位部件采集的视觉信息预测得到的对象的视觉定位位姿预测值；获得示教过程中与第一时间戳对应的第二时间戳下根据物理定位部件采集的信息确定的对象的物理示教位姿真值、及根据视觉定位部件采集的视觉信息预测得到的对象的视觉示教位姿预测值；计算物理定位位姿真值与物理示教位姿真值之间的转换关系；根据转换关系和视觉示教位姿预测值，检测视觉定位位姿预测值的定位误差。应用本申请实施例提供的方案能够适用在未知环境中检测视觉定位误差。

Description

一种视觉定位误差检测方法及装置

技术领域

本申请涉及人工智能技术领域，特别是涉及一种视觉定位误差检测方法及装置。

背景技术

随着人工智能技术的发展，无人驾驶、移动机器人技术得到了快速发展。不管是无人驾驶技术还是移动机器人技术均是基于视觉定位实现的。因此，对视觉定位的精度要求比较高。

以移动机器人为例，在已知环境中，由于已构建地图，所以在获得移动机器人的视觉定位位姿之后，可以通过上述已构建地图检测移动机器人的视觉定位误差。

但是对于未知环境而言，由于还未构建地图，所以，应用上述方式无法检测移动机器人的视觉定位误差。进而需要提供一种能够在未知环境中检测移动机器人的视觉定位误差的方案。

发明内容

本申请实施例的目的在于提供一种视觉定位误差检测方法及装置，以能够适用在未知环境中检测视觉定位误差。具体技术方案如下：

第一方面，本申请实施例提供了一种视觉定位误差检测方法，所述方法包括：

获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差，包括：

根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值；

根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系，包括：

按照以下表达式，计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示所述转换关系，T_p_map表示所述物理示教位姿真值，T_p_loc表示所述物理定位位姿真值。

本申请的一个实施例中，所述根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值，包括：

按照以下表达式，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示所述位姿理论值，T_visual_map表示所述视觉示教位姿预测值。

本申请的一个实施例中，所述根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差，包括：

按照以下表达式，检测所述视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示所述定位误差，T^p_visual_loc表示所述视觉定位位姿。

本申请的一个实施例中，所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

本申请的一个实施例中，通过以下方式确定所述物理定位位姿真值：

获得所述激光雷达采集的信息、所述陀螺仪和加速度计采集的信息；

通过激光即时定位与地图构建SLAM算法对所获得的信息进行处理，得到所述物理定位位姿真值；

通过以下方式获得所述视觉定位位姿预测值：

获得所述视觉定位部件采集的视觉信息；

采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到所述视觉定位位姿预测值。

本申请的一个实施例中，所述物理定位部件和视觉定位部件搭载于无人驾驶车辆或者机器人上。

第二方面，本申请实施例提供了一种视觉定位误差检测装置，所述装置包括：

定位位姿获得模块，用于获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

示教位姿获得模块，用于获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

关系计算模块，用于计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

误差检测模块，用于根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述误差检测模块，包括：

真值估算子模块，用于根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值；

误差检测子模块，用于根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述关系计算模块，具体用于按照以下表达式，计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示所述转换关系，T_p_map表示所述物理示教位姿真值，T_p_loc表示所述物理定位位姿真值。

本申请的一个实施例中，所述真值估算子模块，具体用于按照以下表达式，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示所述位姿理论值，T_visual_map表示所述视觉示教位姿预测值。

本申请的一个实施例中，所述误差检测子模块，具体用于按照以下表达式，检测所述视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示所述定位误差，T^p_visual_loc表示所述视觉定位位姿。

本申请的一个实施例中，所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

本申请的一个实施例中，所述视觉定位误差检测装置还包括：

定位位姿确定模块，用于通过以下方式确定所述物理定位位姿真值：

获得所述激光雷达采集的信息、所述陀螺仪和加速度计采集的信息；

通过激光SLAM算法对所获得的信息进行处理，得到所述物理定位位姿真值；

定位位姿预测模块，用于通过以下方式获得所述视觉定位位姿预测值：

获得所述视觉定位部件采集的视觉信息；

采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到所述视觉定位位姿预测值。

本申请的一个实施例中，所述物理定位部件和视觉定位部件搭载于无人驾驶车辆或者机器人上。

第三方面，本申请实施例提供了一种自动驾驶设备，所述自动驾驶设备包括：行进部件、物理定位部件、视觉定位部件和处理器；

所述物理定位部件，在所述行进部件行进过程中采集信息，并向所述处理器发送所采集的信息；

所述视觉定位部件，在所述行进部件行进过程中采集视觉信息，并向所述处理器发送所采集的视觉信息；

所述处理器，获得定位过程中第一时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

第四方面，本申请实施例提供了一种计算机可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现上述第一方面所述的方法步骤。

由以上可见，应用本申请实施例提供的方案检测视觉定位误差时，在定位过程和示教过程中，相对应的时间戳下，不仅获得根据视觉定位部件采集的视觉信息预测得到的对象的视觉定位位姿预测值、视觉示教位姿预测值，还获得根据物理定位部件采集的信息确定的对象的物理定位位姿真值、示教定位位姿真值。又由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本申请实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本申请实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为申请实施例提供的一种应用场景示意图；

图2为本申请实施例提供的一种视觉定位误差检测方法的流程示意图；

图3为本申请实施例提供的一种轨迹示意图；

图4为本申请实施例提供的另一种视觉定位误差检测方法的流程示意图；

图5为本申请实施例提供的一种视觉定位误差检测装置的结构示意图；

图6为本申请实施例提供的另一种视觉定位误差检测装置的结构示意图；

图7为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，以下所描述的实施例仅用于说明和解释本申请实施例提供的技术方案，并不用于限定本申请。并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

由于基于已构建地图检测视觉定位误差的方式不适用于在未知环境中检测视觉定位误差，为解决这一技术问题，本申请实施例提供了一种视觉定位误差检测方法及装置。

本申请的一个实施例中，提供了一种视觉定位误差检测方法，该方法包括：

获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，物理定位部件和视觉定位部件以相对位姿固定的方式搭载于上述对象上；

获得示教过程中与第一时间戳对应的第二时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的上述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据转换关系和视觉示教位姿预测值，检测视觉定位位姿预测值的定位误差。

由以上可见，应用本实施例提供的方案检测视觉定位误差时，由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

下面先结合图1对本申请实施例的应用场景进行介绍。

本申请实施例提供的应用场景中，一个对象上搭载有物理定位部件和视觉定位部件，且物理定位部件和视觉定位部件在上述对象移动过程中相对位姿固定。其中，上述物理定位部件用于采集上述对象的位姿真值，上述视觉定位部件用于基于视觉信息获得上述对象的位姿预测值。

具体的，上述对象可以是车辆、机器人等。例如，上述车辆可以是无人驾驶车辆。

上述物理定位部件可以包括：激光雷达和组合惯导。其中，上述组合惯导包括：加速度计和陀螺仪。这种情况下，激光雷达可以测量出对象与所处场景中其他物体之间的距离，加速度计可以测量出上述对象的加速度，陀螺仪可以测量出上述对象在移动过程中旋转的角速度。从而可以根据测量出的上述各种信息获得对象的位姿真值。具体的，可以采用激光SLAM((simultaneous localization and mapping，即时定位与地图构建)算法对上述测量出的各种信息进行处理，得到对象的位姿真值。

由于在对象上布设激光雷达、加速度计和陀螺仪时，布设过程简便，而这些器件进行信息测量时，测量精度较高，因此，能够以较低的布设成本获得较高精度的测量数据。另外，在室内工作场景中，如，地下室内工作场景、多层楼宇内工作场景等，无GPS(GlobalPositioning System，全球定位系统)信号、或者GPS信号较弱、或者GPS信号易受到干扰等，而上述加速度计和陀螺仪不受上述工作场景的限制，在室内工作场景和室外工作场景均可以正常工作。鉴于上述情况，将加速度计和陀螺仪布设在在室内场景工作的对象上，相比于布设采集GPS信号的部件，能够能够获得更加好的工作效果。

上述视觉定位部件可以包括：摄像头等图像采集设备以及用于实现定位算法的处理器等。这种情况下，摄像头可以采集对象所处场景的图像，然后上述处理器采用预设的定位算法对摄像头所采集的图像进行处理，预测上述对象的位姿，也就是得到位姿预测值。具体的，上述预设的定位算法可以是视觉SLAM算法。

为保证上述对象移动过程中物理定位部件与视觉定位部件之间的相对位姿固定，上述物理定位部件与视觉定位部件之间可以通过固连的方式连接。例如，在上述对象为车辆时，上述物理定位部件和视觉定位部件可以固定安装于车辆的车顶上，且物理定位部件与视觉定位部件之间固定安装，这样在车辆移动过程中，不会由于车辆移动而导致物理定位部件与视觉定位部件之间产生相对移动，而改变物理定位部件和视觉定位部件之间的相对位姿。具体的，参见图1，图1示出了这种情况下的应用场景示意图。

下面再通过具体实施例对本申请实施例提供的视觉定位误差检测方法及装置进行详细说明。

参见图2，提供了一种视觉定位误差检测方法的流程示意图，该方法包括以下步骤S201-S204。

S201：获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的上述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值。

也就是说，物理定位部件采集用于确定物理定位位姿真值的信息的时间戳、与视觉定位部件采集用于预测视觉定位位姿预测值的视觉信息的时间戳相同。

下面分两种情况对物理定位部件和视觉定位部件在同一时间戳下采集信息的情况进行说明。

情况一、物理定位部件和视觉定位部件连接于相同的时间戳系统时，物理定位部件采集信息的时间戳和视觉定位部件采集视觉信息的时间戳均为同一时间戳系统下的时间戳，所以，上述两设备在同一时间进行信息采集后，所采集信息对应的时间戳为同一时间戳。

情况二、物理定位部件和视觉定位部件连接于不同的时间戳系统时，可以预先将物理定位部件所连接的第一时间戳系统与第二时间戳系统进行对比，得到第一时间戳系统相对于第二时间戳系统的第一时间偏移，并将视觉定位部件所连接的第三时间戳系统与第二时间戳系统进行对比，得到第三时间戳系统相对于第二时间戳系统的第二时间偏移。然后物理定位部件可以基于上述第一时间偏移、视觉定位部件可以基于第二时间偏移进行信息采集，从而保证物理定位部件所采集的信息与视觉定位部件所采集的信息对应于同一时间戳。

具体的，在上述物理定位部件中包括激光雷达的情况下，根据物理定位部件采集的信息确定对象的位姿时，可以采用激光SLAM算法对物理定位部件采集的信息进行处理得到对象的位姿。由于上述物理定位部件是用于采集对象在场景真实位姿的设备，所以，为便于表述，本申请实施例中将定位过程中根据物理定位部件采集的信息得到的对象的位姿称为：物理定位位姿真值。

本申请的一个实施例中，上述物理定位部件除了包括激光雷达之外，还可以包括加速度计和陀螺仪，这种情况下，在确定上述物理定位位姿真值时，可以获得激光雷达采集的信息、陀螺仪和加速度计采集的信息，然后通过激光SLAM算法对所获得的信息进行处理，得到上述物理定位位姿真值。

另外，视觉定位部件在工作过程中可以采集到对象所处场景的视觉信息，例如，对象所处场景的图像、视频等。这种情况下，可以采用视觉SLAM算法对上述图像或者视频进行处理，从而预测出对象的位姿。为便于表述，本申请实施例中将定位过程中根据视觉定位部件采集的视觉信息得到的对象的位姿称为：视觉定位位姿预测值。

本申请的一个实施例中，上述物理定位部件除了包括激光雷达之外，还可以包括加速度计和陀螺仪，这种情况下，获得视觉定位部件采集的视觉信息，采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到视觉定位位姿预测值。

S202：获得示教过程中与第一时间戳对应的第二时间戳下根据物理定位部件采集的信息确定的上述对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的上述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值。

为保证移动机器人或者无人驾驶汽车在一定的场景按照既定的轨迹移动，在开始正常应用之前，需要对其进行示教，使得上述移动机器人、无人驾驶汽车等能够在示教过程中定位出移动轨迹，并构建所处场景的地图，从而为后续正常应用提供基准信息。

需要说明的是，上述示教过程和定位过程中，对象所处的场景为同一场景。

具体的，上述第一时间戳和第二时间戳可以是同一时间戳系统下的时间戳。

本申请的一个实施例中，可以通过以下方式确定与第一时间戳对应的第二时间戳：

在示教过程所得的示教位姿中，确定与定位位姿差距最小的示教位姿，并将所确定的示教位姿对应的时间戳确定为上述第一时间戳对应的第二时间戳。

其中，示教过程中可以得到多个示教位姿，每一示教位姿与一个时间戳相对应。每一时间戳对应的示教位姿包括：示教过程中该时间戳下、根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的对象的位姿。

上述定位位姿包括：上述S201得到的物理定位位姿真值和视觉定位位姿预测值。

S203：计算物理定位位姿真值与物理示教位姿真值之间的转换关系。

由于对象的位姿是用于描述对象在三维空间中的位置和姿态的信息，所以对象的位姿中一般包括多个信息分量，例如，旋转分量、用于描述位置的平移分量等。又由于在三维空间中每一上述信息分量一般又是通过多个参数描述的，例如，上述旋转分量可以是以3x3的参数矩阵描述的，上述平移分量可以是以3x1的参数矩阵描述的。所以，上述物理定位位姿真值和物理示教位姿真值可以是以包含多个参数的矩阵描述的，在此情况下，上述物理定位位姿真值与物理示教位姿真值之间的转换关系也可以是通过包含多个参数的矩阵描述的。

鉴于上述情况，本申请的一个实施例中，可以按照以下表达式，计算物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示上述转换关系，T_p_map表示物理示教位姿真值，T_p_loc表示物理定位位姿真值。

S204：根据上述转换关系和视觉示教位姿预测值，检测视觉定位位姿预测值的定位误差。

由于上述转换关系反映的是物理定位位姿真值与物理示教位姿真值之间的关系。也就是，反映的是，定位过程和示教过程中，相对应的时间戳下，物理定位部件所采集的上述对象的信息之间的关系。进而也可以认为上述转换关系反映的是，定位过程和示教过程中，相对应的时间戳下，物理定位部件的位姿之间的关系。

又由于物理定位部件和视觉定位部件的相对位姿是固定不变的，所以，定位过程和示教过程中，相对应的时间戳下，视觉采集设备的位姿之间的关系与物理定位部件的位姿之间的关系是一致的。也就是说，上述转换关系可以反映，定位过程和示教过程中，相对应的时间戳下，视觉采集设备的位姿之间的关系。又由于定位过程和示教过程中，上述对象的位姿预测值是根据视觉定位部件采集的视觉信息预测测到的，所以，上述转换关系可以反映定位过程中根据视觉定位部件采集的视觉信息预测的对象位姿的理论值、与示教过程中根据视觉定位部件采集的视觉信息预测的对象位姿的实际值、也就是上述视觉示教位姿预测值之间的关系。

而上述对象位姿的理论值为对象移动过程中期望根据视觉定位部件采集的视觉信息预测得到对象位姿的最佳值，上述视觉定位位姿预测值为对象移动过程中根据视觉定位部件采集的视觉信息预测得到的对象位姿的实际值，所以，本步骤中可以根据上述转换关系和视觉示教位姿预测值，检测出定位位姿预测值的定位误差。

具体的，在检测得到上述定位误差后，可以在三维空间中对上述定位误差进行分解，其中，沿X方向的平移分量可以认为是上述视觉定位位姿预测值的纵向误差，沿Y方向的平移分量可以认为是上述视觉定位位姿预测值的横向误差，绕Z方向的旋转分量可以认为是上述视觉定位位姿预测值的偏航误差。

由以上可见，应用本实施例提供的方案检测视觉定位误差时，在定位过程和示教过程中，相对应的时间戳下，不仅获得根据视觉定位部件采集的视觉信息预测得到的对象的视觉定位位姿预测值、视觉示教位姿预测值，还获得根据物理定位部件采集的信息确定的对象的物理定位位姿真值、示教定位位姿真值。又由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

物理定位部件按照一定的时间间隔采集信息，可以得到对象移动过程中对象的一系列位姿，同理，视觉定位部件也按照一定的时间间隔采集信息，也可以得到对象移动过程中对象的一系列位姿。发明人据此进行试验，在示教过程和定位过程中得到不同的位姿轨迹。具体参见图3。

图3中，物理示教轨迹和物理定位轨迹为：示教过程和定位过程中，根据物理定位部件采集的信息确定的对象的位姿形成的轨迹。

视觉示教轨迹和视觉定位轨迹为：示教过程和定位过程中，根据视觉定位部件采集的视觉信息预测得到的对象的位姿形成的轨迹。

从图3中可以看出，物理示教轨迹与物理定位轨迹中各位姿之间的差异为1m，视觉示教轨迹和视觉定位轨迹中各位姿之间的差异也为1m。虽然物理示教轨迹与物理定位轨迹为直线型轨迹，视觉示教轨迹和视觉定位轨迹为曲线型轨迹，轨迹呈现出来的线型不同，但是轨迹之间的差异是相同的。

本申请的一个实施例中，参见图4，提供了另一种视觉定位误差检测方法的流程示意图，与前述图2所示实施例相比，本实施例中，上述S204可以通过以下步骤S204A和S204B实现。

S204A：根据上述转换关系和视觉示教位姿预测值，估算根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿理论值。

从前述S204部分对上述转换关系的分析可知，上述转换关系可以反映定位过程中根据视觉定位部件采集的视觉信息预测的对象位姿的理论值、与示教过程中根据视觉定位部件采集的视觉信息预测的对象位姿的实际值、也就是上述视觉示教位姿预测值之间的关系，所以，可以根据上述转换关系和视觉示教位姿预测值，估算出上述位姿理论值。

本申请的一个实施例中，在上述转换关系根据以下表达式确定的情况下：

T^p_map_loc＝T_p_map^-1*T_p_loc

可以按照以下表达式，估算根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示上述位姿理论值，T_visual_map表示上述视觉示教位姿预测值。

S204B：根据上述位姿理论值，检测视觉定位位姿预测值的定位误差。

本发明的一个实施例中，可以按照以下表达式，检测视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示上述定位误差，T^p_visual_loc表示视觉定位位姿。

由以上可见，本实施例中在估算出根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿理论值后，根据上述位姿理论值检测视觉定位位姿预测值的定位误差。由于上述位姿理论值表示了根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿期望，所以，相对于直接依据定位过程得到的物理定位位姿检测视觉定位误差，应用本实施例提供的方案能够提高检测视觉定位误差的准确度。

与上述视觉定位误差检测方法相对应，本申请实施例还提供了一种视觉定位误差检测装置。

参见图5，本申请实施例提供了一种视觉定位误差检测装置的结构示意图，该装置包括：

定位位姿获得模块501，用于获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

示教位姿获得模块502，用于获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

关系计算模块503，用于计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

误差检测模块504，用于根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

本申请的一个实施例中，上述视觉定位误差检测装置还可以包括：

定位位姿确定模块，用于通过以下方式确定所述物理定位位姿真值：

获得所述激光雷达采集的信息、所述陀螺仪和加速度计采集的信息；

通过激光SLAM算法对所获得的信息进行处理，得到所述物理定位位姿真值；

定位位姿预测模块，用于通过以下方式获得所述视觉定位位姿预测值：

获得所述视觉定位部件采集的视觉信息；

采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到所述视觉定位位姿预测值。

本申请的一个实施例中，所述物理定位部件和视觉定位部件搭载于无人驾驶车辆或者机器人上。

由以上可见，应用本实施例提供的方案检测视觉定位误差时，由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

参见图6，本申请的一个实施例中，提供了另一种视觉定位误差检测装置的结构示意图，与前述图5所示实施例相比，本实施例中上述误差检测模块504，包括：

真值估算子模块504A，用于根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值；

误差检测子模块504B，用于根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差。

本申请的一个实施例中，所述关系计算模块503，具体用于按照以下表达式，计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示所述转换关系，T_p_map表示所述物理示教位姿真值，T_p_loc表示所述物理定位位姿真值。

本申请的一个实施例中，所述真值估算子模块，具体用于按照以下表达式，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示所述位姿理论值，T_visual_map表示所述视觉示教位姿预测值。

本申请的一个实施例中，所述误差检测子模块，具体用于按照以下表达式，检测所述视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示所述定位误差，T^p_visual_loc表示所述视觉定位位姿。

由以上可见，上述各个实施例中在估算出根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿理论值后，根据上述位姿理论值检测诗句定位位姿预测值的定位误差。由于上述位姿理论值表示了根据视觉定位部件采集的视觉信息对上述对象进行定位的位姿期望，所以，相对于直接依据示教过程得到的位姿检测视觉定位误差，应用上述各个实施例提供的方案能够提高检测视觉定位误差的准确度。

与上述视觉定位误差检测方法相对应，本申请实施例还提供了一种自动驾驶设备。

参见图7，提供了一种自动驾驶设备的结构示意图，该自动驾驶设备包括：行进部件701、物理定位部件702、视觉定位部件703和处理器704。

所述物理定位部件702，在所述行进部件701行进过程中采集信息，并向所述处理器704发送所采集的信息；

所述视觉定位部件703，在所述行进部件701行进过程中采集视觉信息，并向所述处理器704发送所采集的视觉信息；

所述处理器704，获得定位过程中第一时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

具体的，上述自动驾驶设备可以是无人驾驶车辆，也可以是机器人等。

本申请的一个实施例中，上述物理定位部件702可以包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件703可以包括：摄像头。

由于在无人驾驶设备上布设激光雷达、加速度计和陀螺仪时，布设过程简便，而这些器件进行信息测量时，测量精度较高，因此，能够以较低的布设成本获得较高精度的测量数据。另外，在室内工作场景中，如，地下室内工作场景、多层楼宇内工作场景等，无GPS信号、或者GPS信号较弱、或者GPS信号易受到干扰等，而上述加速度计和陀螺仪不受上述工作场景的限制，在室内工作场景和室外工作场景均可以正常工作。鉴于上述情况，将加速度计和陀螺仪布设在在室内场景工作的无人驾驶设备上，相比于布设采集GPS信号的部件，能够能够获得更加好的工作效果。

需要说明的是，上述处理器704实现的视觉定位误差检测方法的其他实施例，与前述方法实施例部分提及的实施例相同，这里不再赘述。

由以上可见，应用本实施例提供的无人驾驶设备检测视觉定位误差时，由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

与上述视觉定位误差检测方法相对应，本申请实施例还提供了一种计算机可读存储介质，存储有机器可执行指令，在被处理器调用和执行时，所述机器可执行指令促使所述处理器：实现上述视觉定位误差检测方法的步骤。

本申请的一个实施例中，提供了一种视觉定位误差检测方法，所述方法包括：

获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

需要说明的是，上述机器可执行指令促使处理器实现的视觉定位误差检测方法的其他实施例，与前述方法实施例部分提及的实施例相同，这里不再赘述。

由以上可见，执行本实施例提供的计算机可读存储介质中存储的机器可执行指令检测视觉定位误差时，由于上述视觉定位部件和物理定位部件以相对位姿固定的方式搭载在上述对象上，所以，可以认为物理定位位姿真值与物理示教位姿真值之间的转换关系反映了定位过程和示教过程中视觉定位位姿之间的转换关系。除此之外，物理定位位姿真值与物理示教位姿真值之间的转换关系反映的是定位过程和示教过程中对象位姿真实值之间的关系。所以，在前述基础上，应用本实施例提供的方案能够较为准确的检测出视觉定位误差。

另外，在检测视觉定位误差时，考虑的是定位过程中的物理定位位姿、示教过程中的物理定位位姿和视觉定位位姿，而未应用到地图信息，因此，本实施例提供的方案能够适用于在未构建地图的已知环境中检测视觉定位误差。

需要说明的是，上述计算机可读存储介质可以包括随机存取存储器(RandomAccess Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，上述计算机可读存储介质还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备和计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (18)

1.一种视觉定位误差检测方法，其特征在于，所述方法包括：

获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

2.根据权利要求1所述的方法，其特征在于，所述根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差，包括：

根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值；

根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差。

3.根据权利要求2所述的方法，其特征在于，所述计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系，包括：

按照以下表达式，计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示所述转换关系，T_p_map表示所述物理示教位姿真值，T_p_loc表示所述物理定位位姿真值。

4.根据权利要求3所述的方法，其特征在于，所述根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值，包括：

按照以下表达式，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示所述位姿理论值，T_visual_map表示所述视觉示教位姿预测值。

5.根据权利要求4所述的方法，其特征在于，所述根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差，包括：

按照以下表达式，检测所述视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示所述定位误差，T^p_visual_loc表示所述视觉定位位姿预测值。

6.根据权利要求1-5中任一项所述的方法，其特征在于，

所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

7.根据权利要求6所述的方法，其特征在于，

通过以下方式确定所述物理定位位姿真值：

获得所述激光雷达采集的信息、所述陀螺仪和加速度计采集的信息；

通过激光即时定位与地图构建SLAM算法对所获得的信息进行处理，得到所述物理定位位姿真值；

通过以下方式获得所述视觉定位位姿预测值：

获得所述视觉定位部件采集的视觉信息；

采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到所述视觉定位位姿预测值。

8.根据权利要求1-5中任一项所述的方法，其特征在于，所述物理定位部件和视觉定位部件搭载于无人驾驶车辆或者机器人上。

9.一种视觉定位误差检测装置，其特征在于，所述装置包括：

定位位姿获得模块，用于获得定位过程中第一时间戳下根据物理定位部件采集的信息确定的对象的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值，其中，所述物理定位部件和视觉定位部件以相对位姿固定的方式搭载于所述对象上；

示教位姿获得模块，用于获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述对象的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述对象的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

关系计算模块，用于计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

误差检测模块，用于根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

10.根据权利要求9所述的装置，其特征在于，所述误差检测模块，包括：

真值估算子模块，用于根据所述转换关系和视觉示教位姿预测值，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值；

误差检测子模块，用于根据所述位姿理论值，检测所述视觉定位位姿预测值的定位误差。

11.根据权利要求10所述的装置，其特征在于，

所述关系计算模块，具体用于按照以下表达式，计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系：

T^p_map_loc＝T_p_map^-1*T_p_loc

其中，T^p_map_loc表示所述转换关系，T_p_map表示所述物理示教位姿真值，T_p_loc表示所述物理定位位姿真值。

12.根据权利要求11所述的装置，其特征在于，

所述真值估算子模块，具体用于按照以下表达式，估算根据所述视觉定位部件采集的视觉信息对所述对象进行定位的位姿理论值：

T_visual_loc’＝T_visual_map*T^p_map_loc

其中，T_visual_loc’表示所述位姿理论值，T_visual_map表示所述视觉示教位姿预测值。

13.根据权利要求12所述的装置，其特征在于，

所述误差检测子模块，具体用于按照以下表达式，检测所述视觉定位位姿预测值的定位误差：

T_error＝(T_visual_loc’)^-1*T^p_visual_loc

其中，T_error表示所述定位误差，T^p_visual_loc表示所述视觉定位位姿预测值。

14.根据权利要求9-13中任一项所述的装置，其特征在于，

所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

15.根据权利要求14所述的装置，其特征在于，所述装置还包括：

定位位姿确定模块，用于通过以下方式确定所述物理定位位姿真值：

获得所述激光雷达采集的信息、所述陀螺仪和加速度计采集的信息；

通过激光SLAM算法对所获得的信息进行处理，得到所述物理定位位姿真值；

定位位姿预测模块，用于通过以下方式获得所述视觉定位位姿预测值：

获得所述视觉定位部件采集的视觉信息；

采用视觉SLAM算法对所获得的视觉信息进行处理，预测得到所述视觉定位位姿预测值。

16.根据权利要求9-13中任一项所述的装置，其特征在于，所述物理定位部件和视觉定位部件搭载于无人驾驶车辆或者机器人上。

17.一种自动驾驶设备，其特征在于，所述自动驾驶设备包括：行进部件、物理定位部件、视觉定位部件和处理器；

所述物理定位部件，在所述行进部件行进过程中采集信息，并向所述处理器发送所采集的信息；

所述视觉定位部件，在所述行进部件行进过程中采集视觉信息，并向所述处理器发送所采集的视觉信息；

所述处理器，获得定位过程中第一时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理定位位姿真值和视觉定位位姿预测值；

获得示教过程中与所述第一时间戳对应的第二时间戳下根据所述物理定位部件采集的信息确定的所述自动驾驶设备的位姿、以及根据所述视觉定位部件采集的视觉信息预测得到的所述自动驾驶设备的位姿，分别作为物理示教位姿真值和视觉示教位姿预测值；

计算所述物理定位位姿真值与物理示教位姿真值之间的转换关系；

根据所述转换关系和视觉示教位姿预测值，检测所述视觉定位位姿预测值的定位误差。

18.根据权利要求17所述的自动驾驶设备，其特征在于，

所述物理定位部件包括：激光雷达、陀螺仪和加速度计；

所述视觉定位部件包括：摄像头。

Images