CN117882110A - 可移动平台的位姿估计方法、可移动平台及存储介质 - Google Patents

Abstract

一种可移动平台的位姿估计方法、可移动平台及存储介质，可移动平台包括第一传感器和第二传感器，第一传感器通过第一安装部设置于可移动平台；第二传感器的观测范围包括第一安装部；位姿估计方法包括：获取第二传感器的观测图像(S201)；在第二传感器的观测图像中确定第一安装部所在的图像区域(S202)；基于图像区域的像素位置计算第一传感器与第二传感器的相对位姿关系(S203)。该方法和可移动平台可以通过传感器拍摄的图像计算两个相机实时的相对位姿关系，具有较高的精度。

Description

可移动平台的位姿估计方法、可移动平台及存储介质 技术领域

本申请涉及计算机视觉领域，尤其涉及一种可移动平台的位姿估计方法、可移动平台及存储介质。

背景技术

可移动平台，例如无人飞行器、机器人、移动小车、移动船或水下的移动设备等，在影视、搜救、警用、军事等很多领域发挥很重要的作用，可以适应复杂的环境。可移动平台一般通过搭载在其上的相机来收集周围的图像，并根据图像上计算的深度信息来控制可移动平台的移动，避免撞到障碍物。

一些可移动平台是通过双目视觉系统来获取视野中物体的深度信息的，即使用两个相机共同拍摄，然后根据两个相机获得的图像之间的视差，利用一系列计算来算出特定点的距离。为了使得观测的距离足够远，即对远处的物体计算的深度信息足够精确，需要两个相机获得的图像之间的视差足够大，也即是两个相机之间的距离足够大。

一种可行的方法是，将相机安装在机臂，或者支架的末端，或者距离可移动平台本体较远端的位置上，从可移动平台的本机伸展出去，以使可移动平台上的两个相机之间具有足够大的距离。然而，为了实现多方向的观测和避障，需要在可移动平台的多个方向上均安装一组相机。而且为了避免计算的深度信息出现错误，可移动平台上的相机需要保持相对位姿不发生变化，即需要使用坚固的支架和可移动平台的本体进行固定的连接，即刚性连接。这种方法实现的可移动平台的机身整体会比较大，不便于携带，而且支架需要保持在一个严格的姿态中，在装配和维修上也比较困难。

发明内容

本申请提供一种可移动平台的位姿估计方法、可移动平台及存储介质。

依据本申请的第一方面，提供一种可移动平台的位姿估计方法，所述可移动平台包括第一传感器和第二传感器，所述第一传感器通过第一安装部设置于所述可移动平台；所述第二传感器的观测范围包括所述第一安装部；

所述方法包括：

获取所述第二传感器的观测图像；

在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。

依据本申请的第二方面，提供一种可移动平台的位姿估计方法，所述可移动平台包括第一传感器和第二传感器；所述第一传感器和所述第二传感器的观测范围部分重叠；

所述方法包括：

获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器在不同时刻拍摄的若干张观测图像；

根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。

依据本申请的第三方面，提供一种可移动平台，包括：

本体；

安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测是其中两个所述视觉传感器重叠的观测范围；

其中，所述双目视觉系统的两个所述视觉传感器为第一传感器和第二传感器；所述第一传感器通过第一安装部设置于所述本体；所述第二传感器的观测范围包括所述第一安装部；以及

处理器，所述处理器用于执行以下步骤：

获取所述第二传感器的观测图像；

在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。

依据本申请的第四方面，提供一种可移动平台，包括：

本体；

安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测是其中两个所述视觉传感器重叠的观测范围；

其中，所述双目视觉系统的两个所述视觉传感器为第一传感器和第二传感器；以及

处理器，所述处理器用于执行以下步骤：

获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器在不同时刻拍摄的若干张观测图像；

根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。

依据本申请的第五方面，提供一种计算机可读存储介质，所述可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现以下操作：

获取所述第二传感器的观测图像；

在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。

依据本申请的第六方面，提供一种计算机可读存储介质，所述可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现以下操作：

获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器在不同时刻拍摄的若干张观测图像；

根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。

由以上本申请实施例提供的技术方案可见，本申请可以通过第二传感器拍摄到的观测图像中第一传感器的像素位置，计算获得第一传感器和第二传感器的相对位姿关系；或者通过 第一传感器和第二传感器同一时刻拍摄的观测图像组和第二传感器不同时刻拍摄的多个图像组成的第二观测图像组，计算获得第一传感器和第二传感器的相对位姿关系。因此，可移动平台不管是使用刚性结构还是非刚性结构，均适用本申请的方案。由于可以通过相机拍摄的图像计算两个相机实时的相对位姿关系，即便两个相机的相对位姿关系产生了变化，可以通过计算两个相机实时的相对位姿关系来计算物体的深度信息，并具有较高的精度。因此，本申请中的可移动平台上安装相机的支架不需要保持在一个严格的姿态中，降低了装配和维修的难度。进一步地，还可以使用非刚性结构的支架，例如可折叠的支架，代替固定的支架，从而减少可移动平台的体积，更加便携。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请可移动平台的一个实施例的结构图；

图2是本申请一种可移动平台的位姿估计方法的一个实施例的流程图；

图3是本申请一种可移动平台的位姿估计方法的另一个实施例的流程图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

申请人发现，使用可折叠的支架来将相机连接到可移动平台的本体上，即非刚性连接，可以减小可移动平台整体的大小，使可移动平台更加便携，以解决传统方案中采用相机刚性连接支架导致的不方便携带的问题。申请人进一步发现，如果采用这种设计方案，由于是非刚性连接，而且支架上可能还搭载有用于驱动可移动平台进行移动的电机，在可移动平台的使用过程中，可能会由于电机使用产生的震动，以及温度变化等，导致支架的形状和位置产生形变，即相机的位姿会发生变化。而在计算深度信息的时候是需要根据两个相机之间的相对位姿计算的，一般来说，计算深度信息时使用的相机之间的相对位姿是在生产过程中测量 好的，但是在使用时，相机的位姿发生变化，两个相机之间的相对位姿也会发生变化，导致原有的相对位姿不再正确，因此计算出来的深度信息也是不准确的，对可移动平台的观测、避障和移动会产生影响。因此，申请人提出以下解决方案，不仅可以使得承载有非刚性连接相机的可移动平台得到实际运用，并且针对刚性连接相机的传统可移动平台也可适用。

在本申请中，传感器是指能够获取一定范围内的图像的图像传感器，其既可以是摄像头、摄像头模组、也可以只是摄像头中的图像传感器芯片。在一些实施例中，为了获得更大的视野范围，所示传感器可以是视角超过180°，例如220°的鱼眼摄像头。

在本申请中，安装部是指所述传感器与可移动平台之间连接的一个中间结构，或者多个中间结构的组合。在一些实施例中，所述传感器与相机之间除了安装部之外，还可以存在其他的中间结构，所述传感器与所述安装部之间可以是直接的或间接的连接，所述安装部与可移动平台本体之间也可以是直接的或间接的连接。在一些实施例中，所述安装部可以是支架或机臂。在一些实施例中，在所述传感器为图像传感器芯片时，所述安装部还可以包括摄像头的其他机械结构。在一些实施例中，所述安装部可以是可折叠的结构、可伸缩的结构和可旋转的结构中的一种或多种，或者具有其他的结构，可以使得所述传感器与可移动平台本体之间产生相对位姿变化。

在本申请中，非刚性连接是指非固定的连接，即所述传感器与可移动平台本体之间的相对位姿，例如距离和方向，会发生变化。与之相对的，刚性连接则是指相对位姿不会发生变化的固定的连接。

在本申请中，所述可移动平台包括至少两个传感器。在一些实施例中，所述可移动平台的传感器与可移动平台本体的连接可以是非刚性连接，也可以是刚性连接，且不同传感器可以使用不同的连接方式。在一些实施例中，所述可移动平台的所有传感器中可以是均是同一种传感器，也可以是存在多种类型的传感器。

在本申请中，可移动平台上的多个传感器构成的视觉系统可以用于可移动平台的避障，因此，所述传感器组成的结构可以视为安装在可移动平台本体上的避障组件。各所述视觉传感器在空间上呈多面体分布；多面体的每个平面分布有至少一个视觉传感器，不同平面上的两个视觉传感器构成双目视觉系统；双目视觉系统的观测范围是其中两个所述视觉传感器重叠的观测范围。

在一些实施例中，为了获得可移动平台前后左右上下六个方向的视野，可以在可移动平台的前后左右上下六个方向分别设置两个传感器，构成六个方向的双目视觉系统。但是，这 种传感器设置方式需要在可移动平台上连接十二个传感器，导致生产成本比较高，而且还会导致可移动平台的体型比较大，不够便携。因此，在一些实施例中，在可移动平台的水平方向上可以只在两条对角线的四个端点处各设置一个传感器，而且设置的这四个传感器是视角比较大的传感器，例如鱼眼摄像头，每个传感器的视野可以覆盖与其所在的端点相邻的两个方向，使得不需要在前后左右四个方向上各设置两个传感器，即可构成前后左右四个方向上的双目视觉系统，减少了四个传感器的成本。进一步的，在一些实施例中，设置在四个端点处的四个传感器的朝向可以不是水平方向，而是与可移动平台所在的水平面存在一定角度，例如四十五度，的斜上方向或斜下方向，使得这四个传感器的观测范围除了覆盖水平面上的前后左右四个方向外，还可以兼顾覆盖水平面上下两个方向。在一些实施例中，可以是其中一条对角线的两个端点上的传感器朝向斜上方，而另一条对角线的两个端点上的传感器朝向斜下方，分别构成上下两个方向的双目视觉系统，从而减去原有的设置于可移动平台上下方向的四个传感器的成本。

在一些实施例中，为了使得可移动平台的视野可以覆盖可移动平台前后左右上下的各个方向，还可以将可移动平台上的各个传感器分别设置不同角度的朝向，使得可移动平台上的传感器呈多面体分布，所有传感器所在的平面，即与该传感器的光轴垂直的平面，能够形成一个封闭的多面体。换句话说，即该多面体的每个平面均分布有至少一个传感器。其中，非相反方向的平面上的任意两个传感器均可以构成一个双目视觉系统，这两个传感器既可以位于同一个平面上，也可以位于不同的平面上，且其构成的双目视觉系统的观测范围为两个传感器的观测范围的重叠区域。

众所周知，面最少的多面体为四面体，因此，在一些实施例中，所述可移动平台的传感器组成的多面体可以是四面体。所述可移动平台最少可以只设置有四个传感器，只要这四个传感器所在的平面能组成一个四面体，即可实现对所述可移动平台各个方向的观测。

进一步的，所述可移动平台的传感器组成的四面体可以是正四面体。由于传感器能观测的范围是有限的，根据传感器视角的不同，传感器的视野可能存在一定的盲区。一般来说，所述可移动平台在传感器组成的多面体的顶点处的视野比较差，容易存在视觉盲区。尤其是与该顶点相邻的各个面在该顶点处的角之和比较小时，所述可移动平台在该顶点方向的视野更差，更容易存在视觉盲区。而当所述多面体为正多面体时，可以保证所述可移动平台在相同的传感器数量下使得可移动平台的视野范围最优，即可能存在的视觉盲区的分布最为均衡，避免部分方向上存在难以避免的视觉盲区，对可移动平台的避障功能产生较大的影响。

下面本申请将示出两种优选的传感器构型，可以使得所述可移动平台的传感器分布形成 正四面体。

在一些实施例中，所述可移动平台可以是第一种构型，即将所述可移动平台的本体视为一个正方体空间，取该正方体上表面中任意一条对角线的两个端点，以及下表面中与上表面所取的对角线不平行的一条对角线的两个端点，由四个端点分别两两相连即可形成一个正四面体，而所述可移动平台具有四个传感器，分别设置于该正四面体的四个面上。即在所述可移动平台的左前方和右后方各设置一个朝向斜下方的传感器，而在所述可移动平台的左后方和右前方各设置一个朝向斜上方的传感器；或者是在所述可移动平台的左前方和右后方各设置一个朝向斜上方的传感器，而在所述可移动平台的左后方和右前方各设置一个朝向斜下方的传感器。基于第一种构型的可移动平台上的四个传感器两两之间均存在重叠的视野范围，且其重叠的区域正好对应于该正方体的六个面，因此，基于第一种构型的可移动平台可以实现对前后左右上下各个方向的观测。

在一些实施例中，所述可移动平台还可以是第二种构型，即在所述可移动平台的上方设置一个朝向正上方的广角视觉的传感器，而在所述可移动平台的下方设置三个朝向斜下方的传感器，位于上方的传感器与位于下方的三个传感器形成了正四面体。基于第二种构型的可移动平台上的四个传感器两两之间也存在重叠的视野范围，实现对所述可移动平台周围各个方向的观测。

应当理解的是，本申请上述的第一种构型通过一定的旋转关系后可以形成上述的第二种构型，类似的，本申请上述的第一种构型通过一定的旋转关系后也可以形成其他的构型，本申请未示出的其他构型也应当视为本申请保护的对象，不同的构型在重叠的观测区域的方向上存在一定的差别，可以根据需求进行适应性的调整，本申请对此不做限制。

下面本申请将示出基于上述第一种构型的可移动平台的一个实施例。

如图1所示，图1是本申请可移动平台的一个实施例的结构图。

在图1中，所示可移动平台包括一个本体，传感器A、传感器B、传感器C和传感器D四个传感器，以及安装部A、安装部B、安装部C和安装部D四个安装部。

在图1中，四个安装部均为可折叠的机臂，传感器A通过安装部A与可移动平台本体进行非刚性的连接，传感器B通过安装部与B可移动平台本体进行非刚性的连接，传感器C通过安装部C与可移动平台本体进行非刚性的连接，传感器D通过安装部D与可移动平台本体进行非刚性的连接。

在图1中，四个传感器均为视角超过180°的鱼眼摄像头，且四个传感器的镜头朝向均不 是水平方向或垂直方向，而是与水平面呈一定角度的斜向，使得四个传感器的视野可以覆盖所述可移动平台的前后左右上下六个方向。

其中，传感器A位于可移动平台的左前方，其光轴朝向斜下方；传感器B位于可移动平台的右前方，其光轴朝向斜上方；传感器C位于可移动平台的右后方，其光轴朝向斜下方；传感器D位于可移动平台的左后方，其光轴朝向斜上方。

其中，传感器A和传感器B的观测区域存在重叠，其重叠区域覆盖了可移动平台的前方，共同构成可移动平台前方的双目视觉系统；传感器C和传感器D的观测区域存在重叠，其重叠区域覆盖了可移动平台的后方，共同构成可移动平台后方的双目视觉系统；传感器A和传感器D的观测区域存在重叠，其重叠区域覆盖了可移动平台的左方，共同构成可移动平台左方的双目视觉系统；传感器B和传感器C的观测区域存在重叠，其重叠区域覆盖了可移动平台的右方，共同构成可移动平台右方的双目视觉系统；传感器B和传感器D的观测区域存在重叠，其重叠区域覆盖了可移动平台的上方，共同构成可移动平台上方的双目视觉系统；传感器A和传感器C的观测区域存在重叠，其重叠区域覆盖了可移动平台的下方，共同构成可移动平台下方的双目视觉系统。

在一些实施例中，所述安装部可能会在使用过程中造成一定的形变。例如，如图1所示，所述安装部为可折叠的机臂，且该机臂上除了设置有传感器，即摄像头外，可能还设置有电机和螺旋桨(图中未示出)，用于驱动可移动平台的移动，当该可移动平台在使用时，所述电机和螺旋桨必然会产生剧烈的震动，其可能导致机臂不停地发生微小的变化，连带着导致传感器与传感器之间的相对位姿，即旋转关系不停地发生微小的变化。然而，在双目视觉系统中匹配计算深度信息时，对传感器与传感器之间的旋转关系的要求比较高，需要较为精确的相对位姿数值才能计算处准确的深度信息图。因此，在传感器之间的旋转关系可能发生变化后，能够实时的计算出传感器之间的相对位姿对于双目视觉系统计算出深度信息来说是非常重要的。

在本申请中，所述可移动平台包括第一传感器和第二传感器。在一些实施例中，第一传感器和第二传感器的观测范围存在一定的重叠区域，共同构成一个双目视觉系统。需要注意的是，本申请中所述第一传感器和第二传感器只是用于区分一个双目视觉系统中的两个传感器，而不用于指定任一特定的传感器，例如在图1所示的可移动平台中，传感器A、传感器B、传感器C和传感器D两两之间均可以形成一个双目视觉系统，因此四个传感器中的任意一个均可以作为第一传感器，而除了作为第一传感器的传感器之外剩下的三个传感器中的任意一个则可以作为第二传感器。与之同理，下文所述第一安装部和第二安装部也只用于区别 不同的安装部，而不用于指定任一特定的安装部。特别的，第一传感器与第一安装部之间存在相关关系，第二传感器与第二安装部之间也存在相关关系。

在所述可移动平台中，所述第一传感器和所述第二传感器可以是可活动的连接在所述可移动平台的本体上，即与所述可移动平台的本体形成非刚性连接，所述第一传感器和所述第二传感器和可移动平台的本体之间的相对位姿关系可能发生变化，因此，所述第一传感器和所述第二传感器之间的相对位姿关系也可能发生变化。

在一些实施例中，所述可移动平台可以包括本体，动力组件和多个机臂；其中，动力组件可以包括电机和螺旋桨，用于为可移动平台的移动提供动力；而多个机臂自可移动平台的本体向外延伸，并用于支撑起各个动力组件，使可移动平台在移动过程中能够保持平衡。特别地，所述第一传感器和所述第二传感器可以分别安装在不同的机臂上，使得第一传感器和第二传感器与可移动平台的本体拉开一定的距离，而第一传感器和第二传感器之间也能够保持一定的距离，使得第一传感器和第二传感器构成的双目视觉系统具有更大的观测范围。而由于第一传感器和第二传感器安装在机臂上，动力组件也安装在机臂上，当可移动平台工作时，动力组件为了提供动力，会产生一定的震动，与动力组件同处于一个机臂的传感器会被动力组件产生的震动影响，导致传感器本身的位姿发生变化。

在一些实施例中，所述机臂可以是与所述可移动平台的本体活动连接，当机臂处于不同的放置状态时，安装于不同机臂之上的传感器和动力组件也会产生位置变化，故第一传感器和第二传感器之间的相对位置也会发生变化。其中，机臂的放置状态可以包括收纳状态和展开状态。当机臂处于收纳状态时，机臂的末端移动到距离可移动平台的本体最近的位置，同时位于机臂上的动力组件和传感器也移动到距离可移动平台的本体最近的位置；当机臂处于展开状态时，机臂的末端移动到距离可移动平台的本体最远的位置，同时位于机臂上的动力组件和传感器也移动到距离可移动平台的本体最远的位置。例如，所述机臂是可伸缩的机臂，则当机臂伸到最长时，机臂处于展开状态；当机臂缩到最短时，机臂则处于收纳状态。例如，所述机臂还可以是可折叠的机臂，机臂可以包括多个节，且各节之间通过关节连接；则当机臂的各个节之间的关节角均展开到最大，例如关节角为180°时，机臂处于展开状态；当机臂的各个节之间的关节角均收缩到最小，例如折叠到一起，关节角为0°时，机臂处于收纳状态。

在所述可移动平台中，所述第一传感器可以通过第一安装部设置于所述可移动平台上，与所述可移动平台形成刚性连接或非刚性连接。在可移动平台的使用过程中，所述第一安装部以及其上的所述第一传感器由于电机产生的震动等原因会发生一定的变形，使得所述第一 传感器与第二传感器之间的相对位姿关系发生变化。一般来说，测量传感器之间的相对位姿关系，即位姿标定的方法需要构建一些已知的目标和结构，再通过一定可控的运动激励，收集传感器获得的图像序列，同时还收集IMU(Inertial Measurement Unit，惯性测量单元)的输出，并根据获得的图像序列和IMU的输出解算各个传感器与IMU之间的相对位姿关系，而根据各个传感器与IMU之间的相对位姿关系则可以估计出传感器之间的相对位姿关系。现有的位姿标定方法在执行过程中需要传感器对标定目标在不同的相对位姿时拍摄图像，以获得有效的观测，还需要同时在多个自由度上移动IMU，产生IMU激励，以使IMU的输出有效，整个过程比较繁琐复杂，而且需要一定的操作水平，不适用于平常使用过程中对可移动平台的传感器间的相对位姿进行测量。

下面本申请将示出一种可移动平台的位姿估计方法，操作简单且具有一定的精确度，适用于平常使用过程中对可移动平台的传感器间的相对位姿进行测量。

当所述可移动平台的一个双目视觉系统中的一个传感器，即视觉相机的视角，即视场角(Field of View，FoV)足够大时，该传感器就可以看到双目视觉系统中的另一个传感器。例如，在图1所述的可移动平台中，传感器B和传感器C形成了一个双目视觉系统，而当传感器C的视角足够大时，传感器C的视野就可以看到传感器B。

本申请提出一种可移动平台的位姿估计方法，当所述可移动平台上的所述第二传感器的视角比较大，其观测范围包括所述第一安装部时，可以根据第二传感器观测到的图像中第一传感器的位置变化，计算出两个传感器之间的相对位姿关系。

如图2所示，图2是本申请一种可移动平台的位姿估计方法的一个实施例的流程图，所述方法包括以下步骤：

步骤S201：获取所述第二传感器的观测图像；

步骤S202：在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

步骤S203：基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。

可移动平台在生产时，一般会使用专用的标定板，以保证标定板出现在所述第一传感器和所述第二传感器的重叠区域中，并使两个传感器分别对标定板进行拍照，再计算出两个传感器之间的绝对的位置和角度关系，即两个传感器的相对位姿。因此，在出厂时，可移动平台的两个传感器的相对位姿是已知的，可以通过可移动平台本体记录的参数数据中获取。在生产过程中标定传感器之间的相对位姿时，需要控制传感器进行拍摄，而由于第二传感器的 视角比较大，其观测到的图像中可以观测到第一传感器及其所在的第一安装部的图像，该图像一定程度上可以反映出位于第二传感器的位置时，所述第一传感器与所述第二传感器的相对位姿关系，因此，可以将生产过程中进行位姿标定的图像存储在可移动平台的存储器中，作为计算传感器相对位姿的参考数据，即出厂时，可移动平台的第一传感器在第二传感器的观测图像中的位置也是已知的。

可移动平台在工作时可能会产生震动，而受迫于可移动平台产生的震动，第一传感器和第二传感器的相对位姿关系会随之产生变化。例如，在可移动平台的运行过程中，由于电机和螺旋桨带来的震动，第一传感器和第二传感器会不停的震动，导致第一传感器和第二传感器的相对位姿，尤其是相对旋转关系发生了微小的变化，因此，在使用过程中，再通过第二传感器拍摄观测到的图像，可以再次观测到第一传感器及其所在的第一安装部的图像，而且图像中第一传感器和第一安装部的位置会发生变化，即使用时，可移动平台的第一传感器在第二传感器的观测图像中的位置也是可以测得的。

另外，当可移动平台悬停在空中时，可移动平台依旧处在工作状态中，而为了给可移动平台提供悬停在空中的动力，可移动平台的动力组件，例如电机和螺旋桨等会产生持续的震动。受之影响，第一传感器和第二传感器也会不停的震动，导致第一传感器和第二传感器相对可移动平台本体的相对位姿发生变化。因此，即便可移动平台没有在空间上移动，对于空间中的同一个物体，该物体在第一传感器和第二传感器的观测图像中的像素位置也可能会发生变化。

由于出厂时以及使用时的可移动平台的第一传感器在第二传感器的观测图像中的位置都是可以获得的，因此，通过比较两幅图像中的第一传感器或者第一安装部的位置，即可计算出从出厂到使用时的过程中，第一传感器与第二传感器之间的相对位姿关系产生的变化量；而由于出厂时可移动平台的第一传感器和第二传感器之间的相对位姿关系也是可获取的，因此，可以根据出厂时可移动平台的第一传感器和第二传感器之间的相对位姿关系，以及从出厂到使用时的过程中，第一传感器与第二传感器之间的相对位姿关系产生的变化量，来计算出使用时，第一传感器与第二传感器之间的相对位姿关系，从而实现使用过程中的可移动平台的位姿估计。而在计算出使用时第一传感器与第二传感器之间的相对位姿关系后，则可以通过第一传感器与第二传感器之间的相对位姿关系，以及第一传感器和第二传感器分别观测到的图像，来计算第一传感器和第二传感器组成的双目视觉系统的观测范围中的景物的深度信息。而根据计算出的景物的深度信息，所述可移动平台可以调整移动方式，避免碰撞到障碍物。

在一些实施例中，在比较出厂和使用时的两幅图像时，可以在所述第一安装部或第一传感器上选取特征明显的多个点作为特征点，再分别在出厂时的观测图像和使用时的观测图像中找到并标出各个特征点的位置，根据两幅图像中各个特征点的位置计算出从出厂到使用时的旋转关系的变化量。需要注意的是，为了保证结果的准确性，选取的特征点可以是至少三个不共线的点，而且为了使获得的结果精度更高，一般会选取更多的特征点进行计算，本申请仅以三个特征点进行举例，但不对特征点的数量进行限定。由于所述安装部和所述传感器为不任意发生变化的固定结构，因此可以预先测量实际中各个特征点之间的距离和空间相对位置关系，则将其中任意一个特征点作为坐标原点，标记其三维坐标为(0，0，0)，即可计算出剩下的其他特征点的三维坐标。在获得出厂时的图像中特征点的二维信息，即特征点在图像中的像素位置，和三维信息，即特征点的三维坐标，以及使用时的图像中特征点的二维信息后，即可通过现有的算法计算出相对出厂时，使用时的第一传感器和第二传感器之间的相对位姿的变化量。

在一些实施例中，可以通过特征点提取算法来提取出厂时的图像中的特征点。在一些实施例中，可以通过对出厂时的图像使用特征点跟踪匹配算法(Kanade-Lucas-Tomasi Feature Tracker，KLT)计算得出使用时的图像中的特征点的位置。在一些实施例中，可以通过带RANSAC(Random Sample Consensus，随机抽样一致)的PnP(Perspective-n-Point，多点透视成像)算法来计算与出厂时相比，使用时的第一传感器与第二传感器之间的相对位姿关系的变化量，即使用时的第一传感器与第二传感器之间的旋转关系的变化量。根据第一传感器与第二传感器之间的相对旋转关系的变化量，即可计算出使用时的第一传感器与第二传感器之间的相对旋转关系，而由于震动带来的位移变化一般很小，可以忽略不计，因此，获得使用时的第一传感器与第二传感器之间的相对旋转关系，即可以获得使用时的第一传感器与第二传感器之间的相对位姿关系。

在一些实施例中，除了所述安装部和所述传感器外，还可以通过预置在第一传感器或第一安装部上的标识来作为选取特征点的参考物，并基于所述标识在第二传感器的观测图像中的像素位置计算第一传感器与第二传感器的相对位姿关系。在一些实施例中，也可以是在第一传感器和第二传感器上均设置有所述标识。为了使得测量的结果准确，所述标识一般固定在所述安装部或所述传感器上，以使得在所述可移动平台在移动时发生震动的情况下，即使传感器与所述传感器之间的相对位姿关系改变，所述标识与其所在的传感器之间的相对位姿关系能够保持不变。由于所述标识与其所在的传感器之间的相对位姿关系保持不变，因此，计算出厂时和使用时的传感器间的相对旋转关系的变化量时，可以通过计算出厂时和使用时 的所述标识的相对旋转关系的量，来简化计算量。一般来说，所述标识一般和安装部，例如机臂，在色彩和形状上会形成明显的反差，更容易读取作为特征点，不容易标记错误。而且，所述标识是人为设计的标识，更容易测量尺寸。

在一些实施例中，所述标识可以是具体一定含义的图案，使其除了用于估计位姿外，还具有表达一定内容的作用。例如，在一些实施例中，所述标识可以是生产所述可移动平台的公司的商标或公司标志。

在一些实施例中，所述标识还可以是条形码(例如，一维条形码、二维码等)，可以在被扫描后示出一些与所述可移动平台相关的信息。

在一些实施例中，可能由于视角或位姿的关系，所述第二传感器可能无法观测到所述第一传感器或第一安装部，但是通过在所述第一传感器或所述第一安装部上设置一个标识，且所述标识为相较于所述第一传感器和所述第一安装部更加突出，可以使得第二传感器可以观测到所述标识，此时可以通过所述标识在所述第二传感器观测的图像中的像素位置变化来计算出厂时和使用时第一传感器和第二传感器之间的相对位姿关系的变化量。

在一些实施例中，若所述可移动平台通过在安装部或传感器上预置的标识来测量传感器间的相对位姿关系，则所述标识对所述可移动平台的位姿标定是非常重要的，若所述标识遭到损坏，则可以导致所述可移动平台在使用时无法正确的标定相机间的相对位姿关系，从而影响到可移动平台的避障功能。

在一些实施例中，所述第二传感器通过第二安装部设置于所述可移动平台，当所述可移动平台上的所述第一传感器和所述第二传感器的视角均比较大，所述第二传感器的观测范围包括所述第一安装部，且所述第一传感器的观测范围也包括所述第二安装部时，可以分别获取第一传感器和第二传感器观测到的图像，再根据图2所示的方法步骤，分别根据第二传感器的观测图像中第一安装部所在的位置计算出第一传感器与第二传感器之间的第一相对位姿关系，以及根据第一传感器的观测图像中第二安装部所在的位置计算出第一传感器与第二传感器之间的第二相对位姿关系，再根据第一相对位姿关系和第二相对位姿关系来计算出第一传感器与第二传感器之间的相对位姿关系，使得获得的相对位姿关系更加准确。

在一些实施例中，还可以分别计算出所述可移动平台上位于同一个平面上的各个方向的双目视觉系统的两个传感器之间的相对旋转关系，例如，图1所示的可移动平台中，四个传感器在前后左右四个方向上各自对应的相对旋转关系，再将前后左右四个方向的相对旋转关系进行相乘，根据其相乘的结果是否为单位矩阵I，来检验各个方向计算出来的相对位姿关系 估计是否准确。当前后左右四个方向的相对旋转关系相乘的结果为位单位矩阵I时，可以认为计算出来的相对位姿关系估计是比较准确的。

在一些实施例中，例如双目视觉系统中的传感器由于视角或者位姿的局限，无法观测到另一个传感器，也无法观测到另一个传感器刚性连接的某个标识时，或者通过上述位姿估计方法计算出的相对位姿关系无法通过校验时，上述可移动平台的位姿估计方法将无法用于估计传感器间的相对位姿关系。对此，本申请提出另一种可移动平台的位姿估计方法，可以根据第一传感器和第二传感器多次共同观测到的景物的位置关系和位置变化，计算出两个传感器之间的相对位姿关系。

如图3所示，图3是本申请一种可移动平台的位姿估计方法的另一个实施例的流程图，所述方法包括以下步骤：

步骤S301：获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

步骤S302：获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器在不同时刻拍摄的若干张观测图像；

步骤S303：根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。

在一些实施例中，由于可移动平台在使用时会产生一定的震动，导致第一传感器和第二传感器之间的相对位姿关系会发生一定的变化。其中，传感器间的相对位姿关系包括相对旋转关系和相对位移关系，而由于震动带来的位移变化一般很小，相对位移关系变化不大，可以根据可移动平台存储的在出厂时就测好的位移关系确定，因此，在计算传感器间的相对位姿关系时主要是计算传感器间的相对旋转关系。而计算相对旋转关系主要包括计算偏航角yaw、俯仰角pitch和横滚角roll三个角度。

另外，当可移动平台悬停在空中时，可移动平台依旧处在工作状态中，而为了给可移动平台提供悬停在空中的动力，可移动平台的动力组件，例如电机和螺旋桨等会产生持续的震动。受之影响，第一传感器和第二传感器也会不停的震动，导致第一传感器和第二传感器相对可移动平台本体的相对位姿发生变化。因此，即便可移动平台没有在空间上移动，对于空间中的同一个物体，该物体在第一传感器和第二传感器的观测图像中的像素位置也可能会发生变化。然而，震动等导致的传感器之间的相对位姿关系发生改变是长时间的轻微变化积累的成果，在短时间内，震动对传感器之间的相对位姿关系的影响较小，因此可以认为在较短 的时间间隔内，传感器在不同时间获取的观测图像是处于同一个位姿下的，因此可以基于短时间内的不同时间获得的多张观测图像计算传感器之间的相对位姿关系。

在一些实施例中，由于第一传感器和第二传感器的观测范围存在部分重叠区域，即第一传感器和第二传感器可以组成一个双目视觉系统中，因此可以通过比较第一传感器和第二传感器对处于观测范围的重叠区域中的相同目标的观测位置来获取部分传感器间的相对旋转关系。其具体可以是，分别获取第一传感器和第二传感器在同一时刻拍摄到的观测图像，由于第一传感器和第二传感器存在部分重叠的观测区域，因此在第一传感器的观测图像和第二传感器的观测图像中也存在部分特征相似的区域，因此可以通过对两幅图像中相互匹配的特征点来计算出两个图像的相对旋转关系。在一些实施例中，在计算相对旋转关系前，可以使用出厂时标定的pitch值和roll值对两幅观测图像进行投影矫正，使得在相对位姿关系不变时两幅图像中对应的点尽量能够在一条平行的极线上，从而减少原先标定的相对位姿关系的影响，减少计算量。在一些实施例中，可以通过特征点跟踪匹配算法来获取两副图像中的特征点对，再根据特征点对来计算两个传感器的相对旋转关系。其中，可以通过一对特征点对来计算两个传感器的相对旋转关系，也可以通过多对特征点对来计算出多个相对旋转关系，再根据多个相对旋转关系来确定两个传感器的相对旋转关系。在一些实施例中，根据特征点对计算两个传感器的相对旋转关系的方式可以是，分别从第一传感器的观测图像中获取特征点y，从第二传感器的观测图像中获取特征点y’，得到特征点对(y，y’)，然后通过解算本质矩阵(Essensial Matrix)，可以算出两个传感器之间的旋转关系R，而R可以分成三种方向进行表示，即R＝(roll，pitch，yaw)。

在一些实施例中，旋转关系中yaw主要影响目标在观测图像中水平方向上的位置，pitch则主要影响目标在观测图像中竖直方向上的位置，而roll则对两个方向都有影响，然而由于两个传感器本身的位置存在一定距离，因此即使两个传感器的相对旋转关系为零，两幅观测图像中重叠区域所在的像素位置在水平方向上也会存在差别，因此，根据特征点对在两幅图像中的位置差别来计算出的相对旋转关系中的pitch和roll的值是比较准确的，但是yaw值则会存在较大的偏差。因此，对于通过第一传感器和第二传感器分别拍摄的观测图像计算出的相对旋转关系，只使用其中的pitch和roll的值，而yaw的值需要进一步的计算。例如，在一些实施例中，通过解算本质矩阵计算出旋转关系R后，可以只使用其中的roll和pitch值。在本申请中，用于计算相对旋转关系中的pitch和roll的第一传感器和第二传感器在同一时刻分别拍摄的观测图像可以视为第一观测图像组，与其他的观测图像区别开。

在一些实施例中，可以通过比较第二传感器在不同时刻拍摄的若干图像，并结合第一 观测图像组，计算出传感器的相对旋转关系中的yaw值。其中，与第一观测图像组相对，可以将第二传感器在不同时刻拍摄的若干图像视为第二观测图像组。需要注意的是，第二观测图像组中的各个图像的拍摄时刻应当不早于第一观测图像组中的图像的拍摄时刻，将第一观测图像组中的图像的拍摄时刻记为T0，则第二观测图像组中的各个图像的拍摄时刻将不早于T0，第二观测图像组中可以包含T0时刻第二传感器观测的图像。需要注意的是，本申请中仅是以第二传感器不同时刻拍摄的若干图像作为第二观测图像组进行举例说明，事实上，还可以将双目视觉系统中的另一传感器，即第一传感器不同时刻拍摄的若干图像作为第二观测图像组，基于类似的操作后其同样可以得到预计的结果。在一些实施例中，在计算yaw值前，可以使用上述通过比较两个传感器在同一时刻拍摄的图像计算得到的pitch值和roll值对第一观测图像组和第二观测图像组中的图像再重新进行投影矫正。

当可移动平台正在移动且传感器的旋转角不发生改变时，对于同一个观测对象，传感器在不同时刻观测图像中该对象的位置会产生规律的变化，而根据该对象在观测图像中的位置变化和可移动平台的位置变化可以推算出目标对象的深度信息，而在深度信息以及pitch和roll的值已知的情况下，则可以根据双目视觉系统反推出传感器间的相对旋转关系中的yaw值。在一些实施例中，可以对第二观测图像组中的任意非T0时刻的图像与第一观测图像组或第二观测图像组中第二传感器T0时刻的观测图像依次执行特征点提取和特征跟踪匹配算法获得两帧图像的多个特征点对，对于任意一个特征点对，由于深度信息，即物体与可移动平台的距离和物体在观测图像中的大小成一定比例关系，因此可以根据该特征点对在两个观测图像上的距离的比值，以及可移动平台在两个观测图像对应的拍摄时刻的位置变化，来计算出所述特征点对在T0时刻的深度信息，进而计算出传感器间的相对旋转关系中的yaw值。

在一些实施例中，对于传感器分别在第一时刻和第二时刻两个时刻拍摄的图像，以及特征点对x1和x2，可以基于以下方式计算出特征点x1和x2对应的物点在第一时刻的深度信息。

在一些实施例中，使用Z1和Z2表示物点在第一时刻和第二时刻的深度信息，C表示可移动平台在第一时刻和第二时刻的位置信息的差值，m1和m2分别表示传感器在第一时刻和第二时刻拍摄的图像上x1和x2的像素点之间的距离。其中，根据可移动平台在两个时刻的相对位移，可以计算出Z1和Z2之间的差值，因此可以使用Z1与Z2的关系来表示Z2。例如，在一些实施例中，从第一时刻到第二时刻，可移动平台是向着x1和x2对应的物点移 动的，则此时Z1和Z2之间的差值即为可移动平台移动的距离，则可以将Z2表示为Z2＝Z1+C。而由于深度信息，即物体与可移动平台的距离和物体在观测图像中的大小一般成反比关系，即存在有m1/m2＝Z2/Z1。将Z2＝Z1+C代入m1/m2＝Z2/Z1，可知，m1/m2＝(Z1+C)/Z1，再对该式子进行变化，即可获得上述计算深度信息的公式。

其中，可移动平台的位置信息可以通过VIO(Visual-Inertial Odometry，视觉惯性里程计)或者GPS(Global Positioning System，全球定位系统)和IMU获得。

在一些实施例中，通过上述多个时刻拍摄的图像计算出的yaw值称为yaw的初值。在一些实施例中，对于任意一个特征点对，均可以计算出一个yaw值，单一特征点对计算出的yaw值可能不准确，则可以计算每个特征点对对应的yaw值，再通过直方图统计，选择概率最大的yaw值作为yaw的初值。在一些实施例中，还可以计算每个特征点对对应的yaw值的平均值作为yaw的初值。

在一些实施例中，通过上述多个时刻拍摄的图像计算出的yaw的初值可能与实际的相对旋转关系中的yaw值仍存在偏差，需要进一步确定相对旋转关系中的yaw值。通过第一观测图像组可以获得双目之间的特征对匹配对，而通过第二观测图像组则可以获得不同时刻图像的特征点匹配对。通过双目之间的匹配，可以计算出每个特征点的视差，进而计算出深度信息，从而得到特征点的三维信息。再结合不同时刻图像的特征点匹配对，运用带RANSAC算法的PnP算法，可以获得包含多个离群点的一组数据点，对于这组数据点，可以找到一条线，使得在线上的点，即合群的点的数量最多，而合群点占全部匹配特征点总数的百分比，可以认为是正确观测的占比，其数值越高说明结果越准确。在一些实施例中，可以认为使用时传感器间的相对位姿关系中的yaw值在默认值，即出厂时计算的相对位姿关系中的yaw值，或者前述方法计算出的yaw的初值的±3°以内，即可以使用在yaw的初值的±3°内的各个值参与计算上述过程，得到不同的深度信息，再将不同深度信息值用带RANSAC算法的PnP算法计算，求出合群点占比，其中，合群点占比最高时，其对应的yaw值，即可以视为较为准确的yaw值。

在一些实施例中，还可以通过滑动窗口做光束平差法(Bundle Adjustment，BA)，解决yaw角的抖动问题，优化使用时计算得的yaw值。

在一些实施例中，本申请可以通过上述方法，基于所述第一观测图像组和第二观测图像组，依次计算出传感器间的相对旋转关系中的pitch、roll和yaw的值，进而确定传感器间的相对位姿关系。而在计算出使用时第一传感器与第二传感器之间的相对位姿关系后，则可以通过第一传感器与第二传感器之间的相对位姿关系，以及第一传感器和第二传感器分别观 测到的图像，来计算第一传感器和第二传感器组成的双目视觉系统的观测范围中的景物的深度信息。而根据计算出的景物的深度信息，所述可移动平台可以调整移动方式，避免碰撞到障碍物。

本申请提出了两种可移动平台的位姿估计方法。第一种方法是当第一传感器的视角比较大，可以看到另一个传感器时，可以通过第一传感器在第二传感器的观测图像中的位置变化，计算出使用时传感器间的相对位姿关系，这种方法在使用时计算比较简单，计算速度快，而且只需要一帧图像就可以获得结果。第二种方法是通过第一传感器和第二传感器在多个时刻同时拍摄的多组图像中物点的位置关系和位置变化，计算出使用时传感器间的相对位姿关系，与第一种方法相比，这种方法不要求传感器可以看到另一个传感器，通用性更强，但是需要多帧图像进行计算，计算时间比较久，而且计算过程也比较复杂。

基于上述可移动平台的位姿估计方法，本申请还提出一种可移动平台，其可以是本申请前述的任意一种可移动平台，且所述可移动平台包括有第一传感器和第二传感器。此外，所述可移动平台还包括有处理器，用于实现本申请的上述任意一种位姿估计方法。在一些实施例中，当所述第一传感器的观测范围包括所述第二传感器，所述处理器可以用于实现上述可移动平台的位姿估计方法的第一种方法的任意一种实施例。在一些实施例中，无论所述第一传感器的观测范围是否包括所述第二传感器，所述处理器均可以用于实现上述可移动平台的位姿估计方法的第二种方法的任意一种实施例。

另外，本申请实施例示出的可移动平台的位姿估计方法还可以被包括在计算机可读存储介质中，该存储介质可以与执行指令的处理设备连接，该存储介质上存储有可移动平台的位姿估计的控制逻辑对应的机器可读指令，这些指令能够被处理设备执行，上述机器可读指令用于实现本申请示出的可移动平台的位姿估计方法的各个实施例的步骤。其中，所述机器可读指令既可以用于实现上述可移动平台的位姿估计方法的第一种方法的任意一种实施例，也可以用于实现上述可移动平台的位姿估计方法的第二种方法的任意一种实施例。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中描述的主题及功能操作的实施例可以在以下中实现：数字电子电路、有形体现的计算机软件或固件、包括本说明书中公开的结构及其结构性等同物的计算机硬件、或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即编码在有形非暂时性程序载体上以被数据处理装置执行或控制数据处理装置的操作的计算机程序指令中的一个或多个模块。可替代地或附加地，程序指令可以被编码在人工生成的传播信号上，例如机器生成的电、光或电磁信号，该信号被生成以将信息编码并传输到合适的接收机装置以由数据处理装置执行。计算机存储介质可以是机器可读存储设备、机器可读存储基板、随机或串行存取存储器设备、或它们中的一个或多个的组合。

本说明书中描述的处理及逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程计算机执行，以通过根据输入数据进行操作并生成输出来执行相应的功能。所述处理及逻辑流程还可以由专用逻辑电路—例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)来执行，并且装置也可以实现为专用逻辑电路。

适合用于执行计算机程序的计算机包括，例如通用和/或专用微处理器，或任何其他类型的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的基本组件包括用于实施或执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备，例如磁盘、磁光盘或光盘等，或者计算机将可操作地与此大容量存储设备耦接以从其接收数据或向其传送数据，抑或两种情况兼而有之。然而，计算机不是必须具有这样的设备。此外，计算机可以嵌入在另一设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏操纵台、全球定位系统(GPS)接收机、或例如通用串行总线(USB)闪存驱动器的便携式存储设备，仅举几例。

适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、媒介和存储器设备，例如包括半导体存储器设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可由专用逻辑电路补充或并入专用逻辑电路中。

虽然本说明书包含许多具体实施细节，但是这些不应被解释为限制任何发明的范围或所要求保护的范围，而是主要用于描述特定发明的具体实施例的特征。本说明书内在多个实施例中描述的某些特征也可以在单个实施例中被组合实施。另一方面，在单个实施例中描述的各种特征也可以在多个实施例中分开实施或以任何合适的子组合来实施。此外，虽然特征可以如上所述在某些组合中起作用并且甚至最初如此要求保护，但是来自所要求保护的组合 中的一个或多个特征在一些情况下可以从该组合中去除，并且所要求保护的组合可以指向子组合或子组合的变型。

类似地，虽然在附图中以特定顺序描绘了操作，但是这不应被理解为要求这些操作以所示的特定顺序执行或顺次执行、或者要求所有例示的操作被执行，以实现期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上述实施例中的各种系统模块和组件的分离不应被理解为在所有实施例中均需要这样的分离，并且应当理解，所描述的程序组件和系统通常可以一起集成在单个软件产品中，或者封装成多个软件产品。

由此，主题的特定实施例已被描述。其他实施例在所附权利要求书的范围以内。在某些情况下，权利要求书中记载的动作可以以不同的顺序执行并且仍实现期望的结果。此外，附图中描绘的处理并非必需所示的特定顺序或顺次顺序，以实现期望的结果。在某些实现中，多任务和并行处理可能是有利的。

以上对本申请实施例所提供的方法进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (51)

1. 一种可移动平台的位姿估计方法，其特征在于，所述可移动平台包括第一传感器和第二传感器，所述第一传感器通过第一安装部设置于所述可移动平台；所述第二传感器的观测范围包括所述第一安装部；所述方法包括：

   获取所述第二传感器的观测图像；

   在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

   基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。
2. 根据权利要求1所述的方法，其特征在于，所述可移动平台在工作时产生震动，受迫于所述可移动平台的震动，所述第一传感器与所述第二传感器的相对位姿关系发生变化。
3. 根据权利要求2所述的方法，其特征在于，当所述可移动平台处于空中悬停的工作状态时，受迫于所述可移动平台的震动，空间中的物体在所述第一传感器和/或所述第二传感器的观测图像中的像素位置发生变化。
4. 根据权利要求1所述的方法，其特征在于，所述第一传感器和/或所述第二传感器可活动的连接于所述可移动平台的本体。
5. 根据权利要求1-4任一项所述的方法，其特征在于，所述可移动平台包括本体，动力组件和多个机臂，多个所述机臂自所述本体向外延伸，多个所述机臂用于支撑所述可移动平台的动力组件；所述第一传感器和所述第二传感器分别安装在不同的所述机臂上。
6. 根据权利要求5所述的方法，其特征在于，所述机臂与所述本体可活动连接，当所述机臂处于不同的放置状态，所述第一传感器与所述第二传感器之间的相对位置关系不同，其中，所述机臂的所述放置状态包括收纳状态和展开状态。
7. 根据权利要求1所述的方法，其特征在于，所述第一传感器和所述第二传感器的观测范围部分重叠。
8. 根据权利要求1所述的方法，其特征在于，所述图像区域包括预置的标识的图像，以基于所述标识的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系，所述标识置于所述第一安装部和/或所述第一传感器。
9. 根据权利要求8所述的方法，其特征在于，所述可移动平台在工作时产生震动的情况下，所述标识与所述第一传感器之间的相对位姿关系不变。
10. 根据权利要求8所述的方法，其特征在于，所述标识为条形码。
11. 根据权利要求7所述的方法，其特征在于，所述第二传感器通过第二安装部设置于所述可移动平台；

    所述第一传感器的观测范围包括所述第二安装部；

    所述方法还包括：

    获取所述第一传感器的观测图像；

    在所述第一传感器的观测图像中确定所述第二安装部所在的图像区域；

    所述基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系的步骤，包括：

    基于所述第一安装部所在的图像区域的像素位置计算所述第一传感器与所述第二传感器的第一相对位姿关系；

    基于所述第二安装部所在的图像区域的像素位置计算所述第一传感器与所述第二传感器的第二相对位姿关系；

    根据所述第一相对位姿关系和第二相对位姿关系确定所述第一传感器与所述第二传感器的相对位姿关系。
12. 根据权利要求7所述的方法，其特征在于，所述方法，还包括：

    获取所述第一传感器的观测图像；

    基于所述第一传感器与所述第二传感器的相对位姿关系，与所述第一传感器和所述第二传感器的观测图像，计算重叠的观测范围中的景物的深度信息；

    根据所述景物的深度信息控制所述可移动平台的移动。
13. 根据权利要求1所述的方法，其特征在于，所述可移动平台包括：

    本体；

    安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测范围是其中两个所述视觉传感器重叠的观测范围。
14. 根据权利要求13所述的方法，其特征在于，所述多面体为四面体。
15. 根据权利要求14所述的方法，其特征在于，所述四面体为正四面体。
16. 一种可移动平台的位姿估计方法，其特征在于，所述可移动平台包括第一传感器和第二传感器；所述第一传感器和所述第二传感器的观测范围部分重叠；所述方法包括：

    获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

    获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器 在不同时刻拍摄的若干张观测图像；

    根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。
17. 根据权利要求16所述的方法，其特征在于，所述可移动平台在工作时产生震动，受迫于所述可移动平台的震动，所述第一传感器与所述第二传感器的相对位姿关系发生变化。
18. 根据权利要求17所述的方法，其特征在于，当所述可移动平台处于空中悬停的工作状态时，受迫于所述可移动平台的震动，空间中的物体在所述第一传感器和/或所述第二传感器的观测图像中的像素位置发生变化。
19. 根据权利要求16所述的方法，其特征在于，所述第一传感器和/或所述第二传感器可活动的连接于所述可移动平台的本体。
20. 根据权利要求16-19任一项所述的方法，其特征在于，所述可移动平台还包括动力组件和多个机臂，多个所述机臂自所述本体向外延伸，多个所述机臂用于支撑所述可移动平台的动力组件；所述第一传感器和所述第二传感器分别安装在不同的所述机臂上。
21. 根据权利要求20所述的方法，其特征在于，所述机臂与所述本体可活动连接，当所述机臂处于不同的放置状态，所述第一传感器与所述第二传感器之间的相对位置关系不同，其中，所述机臂的所述放置状态包括收纳状态和展开状态。
22. 根据权利要求16所述的方法，其特征在于，所述方法还包括：

    基于所述第一传感器与所述第二传感器的相对位姿关系，与所述第一传感器和所述第二传感器的观测图像，计算重叠的观测范围中的景物的深度信息；

    根据所述景物的深度信息控制所述可移动平台的移动。
23. 根据权利要求16所述的方法，其特征在于，所述可移动平台包括：

    本体；

    安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测是其中两个所述视觉传感器重叠的观测范围。
24. 根据权利要求23所述的方法，其特征在于，所述多面体为四面体。
25. 根据权利要求24所述的方法，其特征在于，所述四面体为正四面体。
26. 一种可移动平台，其特征在于，包括：

    本体；

    安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测是其中两个所述视觉传感器重叠的观测范围；

    其中，所述双目视觉系统的两个所述视觉传感器为第一传感器和第二传感器；所述第一传感器通过第一安装部设置于所述本体；所述第二传感器的观测范围包括所述第一安装部；以及

    处理器，所述处理器用于执行以下步骤：

    获取所述第二传感器的观测图像；

    在所述第二传感器的观测图像中确定所述第一安装部所在的图像区域；

    基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系。
27. 根据权利要求26所述的可移动平台，其特征在于，所述可移动平台在工作时产生震动，受迫于所述可移动平台的震动，所述第一传感器与所述第二传感器的相对位姿关系发生变化。
28. 根据权利要求27所述的可移动平台，其特征在于，当所述可移动平台处于空中悬停的工作状态时，受迫于所述可移动平台的震动，空间中的物体在所述第一传感器和/或所述第二传感器的观测图像中的像素位置发生变化。
29. 根据权利要求26所述的可移动平台，其特征在于，所述第一传感器和/或所述第二传感器可活动的连接于所述可移动平台的本体。
30. 根据权利要求26-29任一项所述的可移动平台，其特征在于，所述可移动平台还包括动力组件和多个机臂，多个所述机臂自所述本体向外延伸，多个所述机臂用于支撑所述可移动平台的动力组件；所述第一传感器和所述第二传感器分别安装在不同的所述机臂上。
31. 根据权利要求30所述的可移动平台，其特征在于，所述机臂与所述本体可活动连接，当所述机臂处于不同的放置状态，所述第一传感器与所述第二传感器之间的相对位置关系不同，其中，所述机臂的所述放置状态包括收纳状态和展开状态。
32. 根据权利要求26所述的可移动平台，其特征在于，所述图像区域包括预置的标识的图像，以基于所述标识的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系，所述标识置于所述第一安装部和/或所述第一传感器。
33. 根据权利要求32所述的可移动平台，其特征在于，所述可移动平台在工作时产生震动的情况下，所述标识与所述第一传感器之间的相对位姿关系不变。
34. 根据权利要求32所述的可移动平台，其特征在于，所述标识为条形码。
35. 根据权利要求26所述的可移动平台，其特征在于，所述第二传感器通过第二安装部设置于所述可移动平台；

    所述第一传感器的观测范围包括所述第二安装部；

    所述处理器还用于：

    获取所述第一传感器的观测图像；

    在所述第一传感器的观测图像中确定所述第二安装部所在的图像区域；

    所述处理器基于所述图像区域的像素位置计算所述第一传感器与所述第二传感器的相对位姿关系的过程具体包括：

    基于所述第一安装部所在的图像区域的像素位置计算所述第一传感器与所述第二传感器的第一相对位姿关系；

    基于所述第二安装部所在的图像区域的像素位置计算所述第一传感器与所述第二传感器的第二相对位姿关系；

    根据所述第一相对位姿关系和第二相对位姿关系确定所述第一传感器与所述第二传感器的相对位姿关系。
36. 根据权利要求26所述的可移动平台，其特征在于，所述处理器还用于：

    获取所述第一传感器的观测图像；

    基于所述第一传感器与所述第二传感器的相对位姿关系，与所述第一传感器和所述第二传感器的观测图像，计算重叠的观测范围中的景物的深度信息；

    根据所述景物的深度信息控制所述可移动平台的移动。
37. 根据权利要求26所述的可移动平台，其特征在于，所述多面体为四面体。
38. 根据权利要求37所述的可移动平台，其特征在于，所述四面体为正四面体。
39. 根据权利要求26所述的可移动平台，其特征在于，所述可移动平台为车辆、无人机或者可移动机器人。
40. 一种可移动平台，其特征在于，包括：

    本体；

    安装在所述本体上的避障组件；所述避障组件包括多个视觉传感器；各所述视觉传感器在空间上呈多面体分布；所述多面体的每个平面分布有至少一个所述视觉传感器，不同平面上的两个所述视觉传感器构成双目视觉系统；所述双目视觉系统的观测是其中两个所述视觉传感器重叠的观测范围；

    其中，所述双目视觉系统的两个所述视觉传感器为第一传感器和第二传感器；以及

    处理器，所述处理器用于执行以下步骤：

    获取第一观测图像组，所述第一观测图像组包括所述第一传感器和所述第二传感器在同一时刻分别拍摄的观测图像；

    获取所述第二传感器拍摄的第二观测图像组，所述第二观测图像组包括所述第二传感器在不同时刻拍摄的若干张观测图像；

    根据第一观测图像组和所述第二观测图像组计算所述第一传感器与所述第二传感器的相对位姿关系。
41. 根据权利要求40所述的可移动平台，其特征在于，所述可移动平台在工作时产生震动，受迫于所述可移动平台的震动，所述第一传感器与所述第二传感器的相对位姿关系发生变化。
42. 根据权利要求41所述的可移动平台，其特征在于，当所述可移动平台处于空中悬停的工作状态时，受迫于所述可移动平台的震动，空间中的物体在所述第一传感器和/或所述第二传感器的观测图像中的像素位置发生变化。
43. 根据权利要求40所述的可移动平台，其特征在于，所述第一传感器和/或所述第二传感器可活动的连接于所述可移动平台的本体。
44. 根据权利要求40-43任一项所述的可移动平台，其特征在于，所述可移动平台还包括动力组件和多个机臂，多个所述机臂自所述本体向外延伸，多个所述机臂用于支撑所述可移动平台的动力组件；所述第一传感器和所述第二传感器分别安装在不同的所述机臂上。
45. 根据权利要求44所述的可移动平台，其特征在于，所述机臂与所述本体可活动连接，当所述机臂处于不同的放置状态，所述第一传感器与所述第二传感器之间的相对位置关系不同，其中，所述机臂的所述放置状态包括收纳状态和展开状态。
46. 根据权利要求40所述的可移动平台，其特征在于，所述处理器还用于：

    基于所述第一传感器与所述第二传感器的相对位姿关系，与所述第一传感器和所述第二传感器的观测图像，计算重叠的观测范围中的景物的深度信息；

    根据所述景物的深度信息控制所述可移动平台的移动。
47. 根据权利要求40所述的可移动平台，其特征在于，所述多面体为四面体。
48. 根据权利要求47所述的可移动平台，其特征在于，所述四面体为正四面体。
49. 根据权利要求40所述的可移动平台，其特征在于，所述可移动平台为车辆、无人机或者可移动机器人。
50. 一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现权利要求1至15任一项所述位姿估计方法的步骤。
51. 一种计算机可读存储介质，其特征在于，所述可读存储介质上存储有若干计算机指令，所述计算机指令被执行时实现权利要求16至25任一项所述位姿估计方法的步骤。