CN111571561B - 移动机器人 - Google Patents

Abstract

本申请公开一种移动机器人，包括：电机，被配置为驱动所述移动机器人移动；摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有至少两个光轴，所述至少两个光轴中的每一个光轴与水平面平行；以及处理器，被配置为：提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据；以及基于从所获取的图像中所提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。

Description

移动机器人

技术领域

本公开涉及机器人领域，特别涉及一种移动机器人。

背景技术

存在与移动机器人相关的避障和定位的相关技术。在相关技术中，采用各种类型的设备来实现定位，所述各种类型的设备例如可以是罗盘、惯性导航系统、全球定位系统(GPS)、轮式里程计等。在实际情况中，单独使用上述设备经常会遇到各种挑战，而视觉信息具有获取范围广且不受移动轮打滑的特点，因而基于视觉的移动机器人在近些年得到快速发展。在相关技术中，基于视觉的移动机器人可以利用摄像机来采集移动机器人外部的图像。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

根据本公开的第一方面，提供一种移动机器人，包括：电机，被配置为驱动所述移动机器人移动；摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有至少两个光轴，所述至少两个光轴中的每一个光轴与水平面平行；以及处理器，被配置为：提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据；以及基于从所获取的图像中所提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。

附图说明

附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相同的附图标记指代类似但不一定相同的要素。

图1是根据本公开的移动机器人的示意图；

图2是根据本公开的示例性实施例的具有两个光轴的成像光学系统的示意图；

图3是根据本公开的示例性实施例的示例性光学接收元件的示意图；

图4是根据本公开的示例性实施例的移动机器人的避障方法的示意性流程图；

图5是根据本公开的示例性实施例的基于欧式空间的确定移动机器人的位姿的方法的示意性流程图；

图6是根据本公开的示例性实施例的基于概率空间的同时定位与建图方法的示意性流程图。

具体实施方式

在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。

在本公开中，对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。此外，本公开中所使用的术语“和/或”涵盖所列出的项目中的任何一个以及全部可能的组合方式。

在本公开中，“水平面”是指移动机器人能够在其上移动的二维平面。

在本公开中，“特征物体”是指与执行移动机器人的避障和定位相关联的物体。

在本公开中，“避障”是指避开障碍物，例如进行处理和控制以便不与障碍物发生碰撞。

在本公开中，“障碍对象”是指移动机器人在移动过程中需要避开的特征物体，而“非障碍对象”是指移动机器人在移动过程中无需避开的特征物体。

为了实现一定精度的定位，移动机器人需要通过具有一定视差的多个图像来获得包括特征物体的深度信息的数据。已知的是，以高于水平面的角度使摄像机倾斜可以增大摄像机在视场中观察到的运动视差。通常，移动机器人使用位于水平面上方的特征物体作为定位的参照物，这些特征物体可以是位于一定高度处的静态特征物体。在室内的情况下，这些特征物体例如可以是墙上悬挂的钟表、相框、各种装饰件、壁挂式空调，或者可以是天花板上安装的照明灯、中央空调等。换言之，相关技术中的移动机器人所配备的摄像机的光轴通常设置成斜向上方倾斜。在这种情况下，在移动机器人的移动过程中，摄像机仅能拍摄到较高处(例如墙壁或天花板上)的特征物体，而无法拍摄到移动机器人移动的水平面上的特征物体，因而无法实现避障的功能。换言之，相关技术中的移动机器人无法仅通过摄像机获取的图像而同时执行移动机器人的避障和定位二者。因此，在相关技术中，为了在移动过程中执行移动机器人的避障，需要使移动机器人能够感知到水平面上的特征物体，因此额外的测距传感器成为必需。

为此，本公开提供了一种移动机器人，其摄像机的光轴以平行于水平面的方向设置，并利用双目视差来执行定位，而不必须通过使摄像机的光轴倾斜来增大摄像机在视场中观察到的运动视差来执行定位。

与相关技术中的移动机器人所配备的摄像机的光轴斜向上方倾斜设置不同，根据本公开的摄像机的光轴以平行于水平面的方向设置，因此根据本公开的移动机器人可以利用通过摄像机获取的图像同时执行所述移动机器人的避障和定位，使得测距传感器不再是必需的。在一些实施例中，由于根据本公开的移动机器人可以不配备有测距传感器，这降低了移动机器人的成本。根据另一些实施例，虽然利用摄像机已经可以同时实现避障和定位，但是仍然可以设置额外的测距传感器，在这种情况下，摄像机和测距传感器二者均可以参与移动机器人的避障，以进一步提高避障和定位的精度。

另外，相关技术中的移动机器人所配备的测距传感器仅能测量移动机器人与水平面上的特征物体之间的距离，而无法判断该特征物体是障碍对象还是非障碍对象。而根据本公开的移动机器人能够通过摄像机获取水平面上的特征物体的图像，使得能够通过图像处理技术进一步分析该特征物体是障碍对象还是非障碍对象。

此外，相关技术中的移动机器人利用位于水平面上方的特征物体来执行定位，其中位于水平面上方的这些特征物体通常具有固定位置，例如壁挂式空调、照明灯等，这使得相关技术中的移动机器人对外部环境变化的适应性较差。而根据本公开的移动机器人利用水平面上的特征物体来执行避障和定位，其中这些水平面上的特征物体既包括通常具有固定位置的床、沙发等，还包括位置经常改变的人、动物、纸屑等，这使得与相关技术中的移动机器人相比，根据本公开的移动机器人对外部环境变化的适应性更好，从而在移动机器人的外部环境发生变化时能够具有更高的避障和定位性能。

以下将结合附图详细描述根据本公开的移动机器人。

图1是根据本公开的移动机器人的示意图。

根据本公开的第一方面，根据示例性实施例的移动机器人100可以包括：电机120，被配置为驱动所述移动机器人移动；摄像机130，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有至少两个光轴，所述至少两个光轴中的每一个光轴与水平面平行；以及处理器140，被配置为：提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据；并且基于从所获取的图像中所提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障(将所述特征物体作为障碍物避开)和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。

参照图1，根据一些实施例，所述移动机器人100可以是能够在室内或户外移动的任何用途类型的移动机器人，包括但不限于扫地移动机器人、除草移动机器人、擦窗移动机器人、迎宾移动机器人等。

根据一些实施例，移动机器人可以包括壳体110，壳体可以是适于保护所述移动机器人的其他部件的外壳，以阻止诸如水、灰尘等侵入物。壳体110可以具有任何形状，例如如图1所示的扁平圆柱形或者模拟人类的人型形状等。

根据一些实施例，电机120可以是能够驱动所述移动机器人进行平移、旋转等移动的任何类型的电机。根据一些实施例，电机120或其他电机可以驱动所述移动机器人的各个部件进行各种操作。例如，电机120或其他电机可以驱动所述摄像机进行伸缩运动或者旋转运动等。

所述摄像机130可以是适于移动机器人的任何类型的摄像机。根据一些实施例，所述摄像机可以是采用广角镜头的摄像机。摄像机可以包含任意数量的镜头。根据一些实施例，所述摄像机可以是单目摄像机、双目摄像机、以及多目摄像机中的至少一种。

根据一些实施例，所述摄像机130可以具有成像光学系统，并且所述成像光学系统具有至少两个光轴。根据一些实施例，基于所述至少两个光轴中的每一个光轴，可以分别获得摄像机的视场内的相应图像。由于所述至少两个光轴之间存在距离，使得对于所述移动机器人外部环境中的同一特征物体，可以获得彼此之间存在双目视差的至少两个图像，至少两个图像可以被发送到处理器进行避障和定位。利用至少两个光轴产生的双目视差与利用双目摄像机的两个镜头产生的双目视差的原理类似。

根据一些实施例，所述成像光学系统所具有的至少两个光轴中的每一个光轴与水平面平行。具有与水平面平行的至少两个光轴的摄像机可以获取所述水平面上的特征物体的光学信息，换言之，所述移动机器人可以“看到”水平面上的特征物体，从而可以在移动过程中实现避障。根据一些实施例，摄像机可以具有一定的俯仰视角，因此所述移动机器人可以“看到”的水平面上的特征物体不仅可以包括与水平面直接接触的特征物体，还可以包括虽然并未与所述水平面直接接触但在所述摄像机的视角范围内其他特征物体。换言之，利用具有与水平面平行的至少两个光轴的摄像机，可以获取所述移动机器人在其上移动的水平面与所述摄像机的最大视角面之间的三维空间内的所有特征物体，其中所述摄像机的最大视角面与所述摄像机的最大视角、最大视距、类型(双目或单目)、数量(一个或多个)等相关联。应当指出的是，本公开提到的“至少两个光轴中的每一个光轴与水平面平行”并不意味着至少两个光轴中的每一个光轴与水平面的夹角一定是零度，该夹角也可以具有近似于零度的其他角度，这通常是由于移动机器人在生产过程中出现不可避免的误差等导致的。例如，在通常情况下，至少两个光轴中的每一个光轴与水平面的夹角介于-5度和+5度之间。

根据一些实施例，所述至少两个光轴中的每一个光轴可以彼此平行，并且如果所述至少两个光轴的每一个光轴彼此平行，则可以分析存在双目视差的至少两个图像，并且根据相似三角形原理计算得到特征物体的深度信息。根据一些实施例，所述至少两个光轴中的每一个光轴可以彼此之间存在预设角度，并且如果所述至少两个光轴中的每一个光轴彼此不平行，则获取的至少两个图像除了存在双目视差之外，还可能存在坐标系的偏移。在这种情况下，可以对获取的至少两个图像中的至少一个图像进行坐标变换，使得经过坐标变换的至少一个图像的坐标系与其余图像的坐标系实现统一，并且基于坐标系统的至少两个图像之间的双目视差计算得到特征物体的深度信息。

根据一些实施例，处理器140可以与电机120可通信地连接，处理器140可以与摄像机130可通信地连接。通信连接可以是有线通信连接和/或无线通信连接。根据一些实施例，处理器可以接收摄像机发送的至少两个图像，其中每一个图像与所述成像光学系统所具有的一个光轴对应。

根据一些实施例，处理器140可以通过图像分割技术来提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据。提取特征物体图像指的是从所获取的图像中确定特征物体的存在并找到该特征物体在所获取的图像中的图像区域。例如，通过图像分割技术找到在所获取的图像中该特征物体的边缘，以获得所提取的特征物体图像。所提取的特征物体图像指的是在所获取的图像中与所述特征物体对应的图像或图像的一部分，换言之，所提取的特征物体图像本质上仍然是图像。根据一些实施例，图像分割技术包括基于阈值的图像分割方法、基于区域的图像分割方法、基于边缘的图像分割方法和基于聚类的图像分割方法等。根据一些实施例，特征物体既可以包括通常具有固定位置的墙、篱笆、家具、家用电器、树木等，也可以包括通常不具有固定位置的人、动物、纸屑等。根据一些实施例，所述特征物体可以包括水平面上的特征物体。如上文所描述，由于水平面是所述移动机器人在其上移动的平面，因此可以通过识别水平面上的特征物体和与水平面上的特征物体相关联的数据来防止所述移动机器人与水平面上的特征物体发生碰撞，从而执行所述移动机器人的避障。

根据一些实施例，与所述特征物体相关联的数据包括所述特征物体的深度信息。所述特征物体的深度信息可以用于确定所述移动机器人距所述特征物体的距离，从而执行所述移动机器人的避障和定位。根据一些实施例，所提取的特征物体图像中的每个像素可以具有深度信息，并且可以将所提取的特征物体图像中的每个像素的深度信息中具有最小值的深度信息作为所述特征物体的深度信息，以获得所述移动机器人和所述特征物体上距所述移动机器人最近的点之间的距离，即所述移动机器人和所述特征物体之间的最小距离。所述移动机器人的处理器可以通过控制电机使所述移动机器人距该特征物体的距离始终大于所述最小距离来执行针对该特征物体的避障。

根据一些实施例，所述处理器可以基于从所获取的图像中所提取的特征物体图像，实时地将与所提取的特征物体图像对应的特征物体作为障碍物，从而实时地避开该作为障碍物的特征物体。相关技术中的机器人先建立地图并根据所建立的地图中标记出的障碍物进行避障。因为获取(用于建图的)图像总是在根据地图中标记出的障碍物进行避障之前进行，所以这种依赖于建图的避障具有时间上的滞后性，无法检测到不存在地图中的突发障碍物，并且对于原来存在于地图中但当前不再存在的障碍物也会基于地图避开。与相关技术中的依赖于建图的避障相比，根据本公开的移动机器人可以检测到不存在于地图中的突发特征物体，并且不会被原来存在于地图中但当前不再存在的特征物体影响移动范围，灵活性强。

根据一些实施例，所述处理器可以基于已有地图以及距所述特征物体的距离来实现所述一定机器人的定位。根据一些实施例，所述处理器可以在不存在已有地图的情况下利用VSLAM算法同时实现建图和地位。

相关技术中的移动机器人通过向上倾斜设置摄像机获取运动视差以实现定位，并且通过测距传感器实现避障。而根据本公开的第一方面的移动机器人通过具有与水平面平行的至少两个光轴的摄像机来获取双目视差，可以利用通过摄像机获取的图像同时实现避障和定位。摄像机的至少两个光轴与水平面平行，使得摄像机的视场可以覆盖移动机器人的移动路径，从而可以通过摄像机观察到移动路径上的特征物体来执行所述移动机器人的避障。另外，根据本公开的第一方面的移动机器人通过处理器从图像中提取特征物体图像和与所述特征物体相关联的数据可以进一步用于如下文将详细描述的语义分析，以识别该特征物体，从而能够根据识别的结果来控制所述移动机器人执行避障的方式以进一步提高避障精度，而这是相关技术中的移动机器人通过测距传感器所无法实现的。此外，与位于水平面上方的特征物体相比，水平面上的特征物体位置发生变化的概率更大，因而根据本公开的第一方面的移动机器人能够更好地适应外部环境的变化，从而具有相对更高的避障和定位精度。

根据本公开的第一方面，所述摄像机可以是单目摄像机。

根据一些实施例，所述单目摄像机的成像光学系统可以具有至少两个光轴，并且可以包括：光学接收元件，被配置为接收所述移动机器人外部环境的至少两组光线；以及镜头，所述镜头包括至少两个部分，所述至少两个部分中的每个部分具有所述至少两个光轴中的一个光轴，并且，所述至少两个部分中的每个部分接收来自所述光学接收元件的至少两组光线中的一组光线；所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述镜头的所述至少两个部分的所述至少两组光线，生成至少两个图像。

根据一些实施例，虽然摄像机是单目摄像机，但是可以通过在镜头之前设置光学接收元件使得该单目摄像机的成像光学系统具有至少两个光轴，从而通过单目摄像机获取具有双目视差的至少两个图像。应当指出的是，在本公开中，术语“图像”不仅可以指代一个完整图像，也可以指代图像中的一部分图像。例如，所述单目摄像机可以具有一个图像传感器，该图像传感器基于所述至少两组光线可以生成两部分图像，这两部分图像位于一个完整图像中。对于移动机器人外部的同一特征物体，其在一个完整图像的两部分图像之间的显示可以存在双目视差，因而处理器可以基于存在双目视差的两部分图像，获得包括所述特征物体的深度信息的与所述特征物体相关联的数据。换言之，在本公开中，在某一时间基于成像光学系统的一个光轴获取的完整图像或一部分图像都可被称为一个“图像”。

下文将结合图2示出的示例性实施例详细描述具有两个光轴的单目摄像机的成像光学系统。

图2是根据本公开的示例性实施例的具有两个光轴的成像光学系统的示意图。

参照图2，光学接收元件210接收来自所述移动机器人外部环境的光线r中的第一组光线r1和第二组光线r2。所述镜头220包括第一部分221和第二部分222，其中镜头的第一部分221接收第一组光线r1，第二部分222接收第二组光线r2，并且将第一组光线r1和第二组光线r2发送到图像传感器230。图像传感器230将作为光信号的第一组光线r1和第二组光线r2分别转化为作为电信号的第一图像p1和第二图像p2，其中同一特征物体在第一图像p1和第二图像p2之间存在双目视差。处理器140可以基于第一图像p1和第二图像p2之间的双目视差计算包括特征物体的深度信息的与所述特征物体相关联的数据，从而执行移动机器人的避障和定位。

通过在镜头前设置光学接收元件，成本较低的单目摄像机也可以具有与水平面平行的至少两个光轴以获取存在双目视差的至少两个图像，在实现避障和定位的同时，降低了移动机器人的成本。

根据一些实施例，所述光学接收元件可以是反射镜元件。下文将结合图3描述作为光学接收元件的反射镜元件。

图3是根据本公开的示例性实施例的示例性光学接收元件的示意图

参照图3，根据一些实施例，作为光学接收元件的反射镜元件可以包括第一组反射镜310和第二组反射镜320。虽然图3的示例性实施例示出了反射镜元件包括两组反射镜，但根据本公开的反射镜的组数不限于此，所述反射镜可以包括多于两组反射镜。

参照图3所示的示意性光路，所述至少两组光线中的第一组光线r1经由所述第一组反射镜310反射到所述镜头的至少两个部分中的第一部分221；所述至少两组光线中的第二组光线r2经由所述第二组反射镜320反射到所述镜头的至少两个部分中的第二部分222。

根据一些实施例，所述第一组反射镜310可以包括第一反射镜311和与所述第一反射镜平行的第二反射镜312，所述第二组反射镜320包括第三反射镜321和与所述第三反射镜平行的第四反射镜322。虽然图3的示例性实施例示出了第一反射镜平行于第二反射镜，第三反射镜平行于第四反射镜，但根据本公开的反射镜之间的位置关系不限于此，第一反射镜和第二反射镜之间可以具有预设角度，第三反射镜和第四反射镜之间可以具有预设角度，所述预设角度可以为任意角度，例如10度至20度。

参照图3所示的示意性光路，所述第一组光线r1经由所述第一反射镜311反射到所述第二反射镜312，再经由所述第二反射镜312反射到所述第一部分221；所述第二组光线r2经由所述第三反射镜321反射到所述第四反射镜322，再经由所述第四反射镜322反射到所述第二部分222。

将成本较低的反射镜元件作为光学接收元件来实现具有与水平面平行的至少两个光轴的单目摄像机，在实现避障和定位的同时，进一步降低了移动机器人的成本。

根据本公开的第一方面，所述摄像机可以是双目摄像机或多目摄像机。

根据一些实施例，所述双目摄像机或多目摄像机的成像光学系统可以具有至少两个光轴，并且可以包括：至少两个镜头，所述至少两个镜头中的每个镜头具有所述至少两个光轴中的一个光轴并且被配置为接收所述移动机器人外部环境的光线；所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述至少两个镜头的光线，生成至少两个图像。

根据一些实施例，可以为每个镜头配置一个图像传感器。以这样的方式，每个图传感器可以接收来自对应镜头的光线，并且基于来自对应镜头的光线生成一个图像，使得所述双目摄像机或多目摄像机的成像光学系统可以生成存在双目视差的至少两个图像。

与单目摄像机相比，移动机器人利用双目摄像机或多目摄像机获取的存在双目视差的至少两个图像中的每一个图像均是完整图像，更有助于计算移动机器人外部的特征物体的深度信息，从而进一步提高避障和定位的精度。

根据本公开的第一方面，所述移动机器人可以包括至少两个摄像机。

根据一些实施例，所述至少两个摄像机中的每个摄像机所具有的成像光学系统可以具有所述至少两个光轴中的一个光轴。

根据一些实施例，所述至少两个摄像机的所述至少两个光轴中的每一个光轴可以彼此平行。根据一些实施例，所述至少两个摄像机的所述至少两个光轴中的每一个光轴也可以彼此存在不为零的夹角。例如，所述移动机器人可以包括一前一后两个摄像机，每个摄像机都具有一个成像光学系统，两个成像光学系统所分别具有的两个光轴之间的夹角为180度。朝向与所述移动机器人的移动方向相反的方向的摄像机可以用于提高定位的精度。此外，在移动机器人沿原路返回时，还可以用于在返回路径上执行避障和/或定位。采用多个摄像机使得所述移动机器人的全部成像光学系统总计具有至少两个光轴。

与一个摄像机相比，移动机器人通过两个或多个摄像机“看到”的视场更大，从而进一步提高避障和定位精度。

上文结合根据本公开的一些示例性实施例描述了移动机器人可以利用与水平面平行的至少两个光轴获取存在双目视差的至少两个图像，以获得包括移动机器人外部的特征物体的深度信息的与所述特征物体相关联的数据。然而，根据本公开的第一方面的移动机器人可以不仅通过双目视差获得特征物体的深度信息。

根据本公开的第一方面，所述移动机器人还可以进一步通过运动视差获得特征物体的深度信息。

根据一些实施例，所述移动机器人还可以包括存储器，所述存储器可以被配置为存储由所述摄像机在不同时间获取的多组图像，所述多组图像中的每一组图像包括所述摄像机分别基于所述至少两个光轴获取的至少两个图像；所述处理器可以被配置为：在所述移动机器人移动的过程中，分析所述摄像机在当前时间获取的一组图像和在先前时间获取的一组图像，提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

根据一些实施例，所述存储器可以是非暂时性的并且可以是实现数据存储的任何存储设备，并且可以包括但不限于磁盘驱动器、光学存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁介质，光盘或任何其他光学介质、ROM(只读存储器)、RAM(随机存取存储器)、高速缓冲存储器和/或任何其他存储器芯片或盒、和/或计算机可从其读取数据、指令和/或代码的任何其他介质。

根据一些实施例，在同一时间由至少两个光轴获取的一组图像中的至少两个图像之间存在双目视差，在不同时间由同一光轴获取的至少两个图像中的每一个图像之间存在运动视差。以这样的方式，在移动机器人移动的过程中，对于移动机器人外部的特征物体，移动机器人通过平行于水平面的至少两个光轴不仅可以获取所述特征物体的双目视差，还可以获取所述特征物体的运动视差。根据一些实施例，可以将基于双目视差计算得到的深度信息与基于运动视差计算得到的深度信息进行比较，选择更为精确的深度信息作为特征物体的深度信息。根据另一些实施例，可以融合双目视差和运动视差，并且融合的视差计算深度信息作为特征物体的深度信息。以这样的方式，进一步提高避障和定位的精度。

根据一些实施例，所述移动机器人在水平面上的移动方向可以不与所述至少两个光轴的方向一致。

根据一些实施例，所述至少两个光轴彼此平行，并且所述至少两个光轴中的每一个光轴与所述移动机器人的移动方向之间的夹角不为零。如上文所述，所述至少两个光轴平行于水平面且移动机器人的移动方向也平行于水平面，因此上述至少两个光轴与移动机器人的移动方向之间的夹角是指水平面上的夹角。

根据一些实施例，在移动机器人移动的过程中，对于至少两个光轴中的每一个光轴而言，至少两个光轴与移动机器人的移动方向之间不为零的夹角可以增大运动视差。根据一些实施例，至少两个光轴与移动机器人的移动方向之间不为零的夹角可以介于-90度和+90度之间，也可以介于-45度和+45度之间，还可以介于-30度和+30度之间。

在相关技术中，通常分析当前帧的图像与前一帧的图像，得到当前帧的图像与前一帧的图像之间的运动视差，以获得深度信息。

根据一些实施例，所述处理器可以比较分析相隔多帧的至少两组图像，以获得深度信息。

根据一些实施例，所述处理器可以进一步被配置为：从所述摄像机获取的图像中提取具有预定时间间隔的至少两组图像，所述预定时间间隔为所述摄像机的一帧时间的N倍，N为正整数；并且分析所述具有预定时间间隔的至少两组图像，提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。根据一些实施例，N大于或等于2。

以这样的方式，可以增大用于比较分析的两组图像之间的时间间隔，而不局限于仅分析当前帧的图像和前一帧的图像。所提取的至少两组图像之间的时间间隔越长，移动机器人移动的距离就越远，同一个特征物体在这两组图像上显示的运动视差就越大，从而进一步提高避障和定位的精度。

移动机器人的移动通常可以包括平移和旋转。可能存在一些极端情况，例如当所述移动机器人平移时，其摄像机的视场内可能不存在适于获取包括深度信息的数据的特征物体或者该特征物体的特征十分不明显。在这些情况下，可以使所述移动机器人的成像光学系统旋转，并在所述成像光学系统的旋转过程中获得运动视差。

根据一些实施例，所述处理器可以进一步配置为：控制以使所述成像光学系统旋转；提取旋转过程中的不同时刻获取的至少两组图像；以及分析所述提取的旋转过程中的不同时刻获取的至少两组图像，提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

根据一些实施例，所述成像光学系统旋转的角度可以是90度、180度、270度或任何适当的角度。根据一些实施例，所述控制以使所述成像光学系统旋转可以包括控制以使所述移动机器人旋转和/或控制以使所述摄像机旋转。

通过控制以使所述成像光学系统旋转，一方面可以获取不同方向上的至少两组图像，并基于所述至少两组图像的运动视差获得移动机器人外部的特征物体的深度信息，另一方面存在旋转到能够获取到较为明显的特征物体的方向的可能性，以应对上述极端情况。应当注意，上述一些实施例当然不限于应对上述极端情况，还可以适于所有情况。例如，在所述移动机器人平移的过程中，可以每平移一定距离就采用一次上述通过控制以使所述成像光学系统旋转来获得深度信息的实施例。再例如，在所述移动机器人遇到拐角或者按照规划的路径需要转弯时，可以采用上述控制以使所述成像光学系统旋转来获得深度信息的实施例。

根据一些实施例，在成像光学系统旋转并获得特征物体的深度信息之后，所述处理器可以控制以使所述成像光学系统旋转返回到原先的位置和朝向，并控制所述电机驱动所述移动机器人继续按照原方向移动。根据另一些实施例，在成像光学系统旋转并获得特征物体的深度信息之后，所述处理器还可以基于所述移动机器人旋转后的位置和姿态重新规划行进路线。换言之，控制以使成像光学系统旋转可以并非是根据初始规划的移动机器人的行进路线进行的，而是为了更好地获得运动视差以得到特征物体的深度信息。

根据本公开的第一方面，所述移动机器人还可以包括测距传感器。

虽然上文描述了根据本公开的移动机器人不必须额外设置测距传感器，然而为了更好地辅助移动机器人的避障和/或定位，当然也可以为移动机器人配备测距传感器，特别是对于避障和/或定位要求非常高的移动机器人。在这种情况下，具有平行于水平面设置的光轴的摄像机和测距传感器同时参与移动机器人的避障，从而提高避障精度。

根据一些实施例，所述移动机器人还可以包括测距传感器，所述测距传感器被配置为测量外部环境中的特征物体的距离，以辅助所述移动机器人的避障和/或定位。所述测距传感器可以是激光雷达传感器、超声波传感器、红外传感器、惯性测量单元IMU、全球定位系统GPS、轮式里程计中的至少一种。

以这样的方式，为移动机器人同时配备摄像机和测距传感器能够进一步提高避障和定位的精度。

分别通过摄像机和测距传感器获得的包括深度信息的数据是相互独立的。

根据一些实施例，可以为能够获取包括深度信息的数据的不同装置赋予不同的优先级，并且优先采用优先级较高的传感器获取的数据。根据一些实施例，这些优先级可以根据外部环境的情况不同而不同。例如，当外部环境的没有光线或光线较暗时，为摄像机赋予较低的优先级，为测距传感器赋予较高的优先级；当外部环境光线较亮时，为摄像机赋予较高的优先级，为测距传感器赋予较低的优先级。

根据一些实施例，可以对通过摄像机和各种类型的测距传感器获取的数据进行融合，从而进一步提高避障和定位的精度。

根据本公开的第一方面，所述移动机器人可以通过确定所述特征物体的类型进行避障。图4是根据本公开的示例性实施例的移动机器人的避障方法的示意性流程图。

参照图4，根据一些实施例，所述处理器可以进一步被配置为：根据所提取的特征物体图像和与所述特征物体相关联的数据，确定所述特征物体的类型，其中所述特征物体的类型包括障碍对象和非障碍对象(步骤401)；响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，执行所述移动机器人针对所述特征物体的避障(步骤402)；并且响应于所确定的特征物体的类型是非障碍对象，不执行所述移动机器人针对所述特征物体的避障(步骤403)。

在步骤401中，根据一些实施例，所述特征物体的类型可以包括障碍对象和非障碍对象，其中障碍对象是指所述移动机器人在移动过程中需要避开的特征物体，而非障碍对象指的是所述移动机器人在移动过程中无需避开的特征物体。

根据一些实施例，可以直接根据与所述特征物体相关联的数据来确定所述特征物体是障碍对象还是非障碍对象。根据一些实施例，与所述特征物体相关联的数据可以包括所述特征物体的尺寸。根据一些实施例，可以预先设置用于判断所述特征物体是障碍对象还是非障碍对象的尺寸阈值，如果所述特征物体的尺寸大于所述尺寸阈值，则所述特征物体的类型是障碍对象，反之，如果所述特征物体的尺寸小于或等于所述尺寸阈值，则所述特征物体的类型是非障碍对象。根据一些实施例，所述尺寸阈值可以与所述移动机器人自身或自身一部分的尺寸(例如，高度)相关联。例如，在所述移动机器人是扫地移动机器人的情况下，所述尺寸阈值可以与所述移动机器人的吸尘口的尺寸相关联。当然，本公开不限于此，根据另一些实施例，与所述特征物体相关联的数据还可以包括除了尺寸之外的其他适合于确定所述特征物体是障碍对象还是非障碍对象的数据。

根据一些实施例，可以通过识别所述特征物体，并且根据识别的结果来确定所述特征物体是障碍对象还是非障碍对象。识别特征物体指的是，确定与所提取的特征物体图像对应的特征物体。识别的结果(即，特征物体)例如可以是将从图像中提取的特征物体图像识别为床、沙发、纸屑、人、动物等。

应当注意，识别特征物体不同于从所获取的图像中提取特征物体图像。如上文所述，在本公开中，从所获取的图像中提取特征物体图像指的是从所获取的图像中确定特征物体的存在并找到该特征物体在所获取的图像中的图像区域，而无需知道与所提取的特征物体图像对应的特征物体究竟是什么。根据一些示例，本公开中的从所获取的图像中提取特征物体图像可以包括与图像处理技术中的图像分割相关的操作，其作用在于从所获取的图像中分割出所提取的特征物体图像，因此所提取的特征物体图像本质上仍然是图像。另一方面，在本公开中，识别特征物体指的是确定与所提取的特征物体图像对应的特征物体。根据一些示例，本公开中的识别所述特征物体可以包括与图像处理技术中的语义分析(语义标注)相关的操作。

根据一些实施例，如上所述，识别所述特征物体可以包括通过图像处理技术中的语义分析来分析从所获取的图像中提取(例如，使用图像分割技术)的特征物体图像和与所述特征物体相关联的数据，从而识别所述特征物体。语义分析的对象可以包括所提取的特征物体图像的颜色、纹理、形状等。根据一些实施例，除了所述特征物体的深度信息之外，与所述特征物体相关联的数据也可以包括所述特征物体的颜色、纹理、形状。根据一些示例，可以通过将所述特征物体的颜色、纹理、形状等与预设的特征物体库中的特征物体的颜色、纹理、形状等进行匹配来识别特征物体。根据另一些示例，也可以通过基于机器学习的语义分析来识别特征物体，例如根据所述移动机器人在移动过程中所获取的图像或者根据其他一个或多个移动机器人在移动过程中所获取的图像来训练用于识别特征物体的机器学习模型，从而识别特征物体。根据一些实施例，基于机器学习的语义分析来识别特征物体包括使用适当的图像标注模型(例如，高斯混合模型GMM)。

在步骤402和步骤403中，根据一些实施例，通过确定所述特征物体是障碍对象还是非障碍对象，可以控制所述移动机器人的移动路径。根据一些实施例，如果所述特征物体是障碍对象，则所述移动机器人可以调整其原先的移动路径以避开所述障碍对象；相反，如果所述特征物体是非障碍对象，则所述移动机器人可以继续其原先的移动路径。根据一个示例，所述移动机器人是扫地移动机器人，并且所述移动机器人根据所提取的特征物体图像和与所述特征物体相关联的数据，确定所述特征物体是沙发且所述特征物体(即，沙发)的类型是障碍对象，则所述移动机器人可以根据所提取的与沙发相关联的数据(例如，沙发的几何特征、深度信息等)调整其原先的移动路径以避免与沙发发生碰撞，并且可选地，所述移动机器人可以不清扫该沙发。根据另一示例，所述移动机器人是扫地移动机器人，并且所述移动机器人根据所提取的特征物体图像和与所述特征物体相关联的数据，确定所述特征物体是纸屑且所述特征物体(即，纸屑)的类型是非障碍对象，则所述移动机器人可以继续其原先的移动路径而不执行所述移动机器人的避障，并且可选地，所述移动机器人可以清扫该纸屑。

以这样的方式，根据本公开第一方面的移动机器人可以根据基于摄像机获取的图像中所确定的特征物体的类型，选择是否针对该特征物体执行移动机器人的避障。以扫地移动机器人为例，并非在该扫地移动机器人的移动路径上的所有的特征物体均需要避开，避开诸如待清扫的纸屑等属于非障碍对象的特征物体，反而不利于扫地移动机器人的清扫工作。因此，正是由于根据本公开第一方面的移动机器人通过与水平面平行的方向设置的摄像机能够获取到包括水平面上的特征物体的图像，才使得所述移动机器人能够通过进一步地提取特征物体图像和确定特征物体的类型来针对不同类型的特征物体执行或不执行避障以更好地适应各种情况，而这是相关技术中通过测距传感器实施避障所无法实现的。这是因为诸如激光雷达传感器、超声波传感器、红外传感器、惯性测量单元IMU、全球定位系统GPS、轮式里程计等测距传感器均无法准确识别移动机器人外部的特征物体。

根据一些实施例，所述处理器可以进一步被配置为：响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，控制所述电机驱动所述移动机器人从按照原方向移动改变为沿所述特征物体的边界移动。

根据一些实施例，当所确定的特征物体的类型是障碍对象时，不希望所述移动机器人与所述障碍对象发生碰撞，因此可以在所述移动机器人距离所述障碍对象一定距离处改变所述移动机器人的移动方向，例如从按照原方向移动改变为沿所述特征物体的边界移动，当然本公开不限于此。根据一些实施例，沿所述特征物体的边界移动可以包括按照顺时针方向沿所述特征物体的边界移动和按照逆时针方向沿所述特征物体的边界移动。根据一些实施例，所述一定距离指的是所述移动机器人的中心到所述特征物体的边界之间的距离，并且可以预先设定所述一定距离。根据一些示例，所述一定距离可以大于所述移动机器人在水平面上的投影边界到所述移动机器人的中心的最大距离，以防止所述移动机器人的任何部位与所述障碍对象发生碰撞。

根据本公开的第一方面，所述移动机器人可以结合同时定位与建图方法，即VSLAM方法，以应对存在或不存在已知地图的各种情况。

移动机器人在未知环境下通过VSLAM方法利用自身配备的摄像机和/或其他类型的测距传感器感知未知环境，确定自身所在的位置，并同时构建地图。根据一些实施例，所述移动机器人的处理器可以进一步被配置为：利用包括所述特征物体的深度信息的与所述特征物体相关联的所述数据，基于同时定位与建图VSLAM方法进行所述移动机器人的定位。

利用与平行于水平面的至少两个光轴获取的至少两个图像中的双目视差和/或运动视差得到的深度信息，再结合VSLAM方法，可以进一步提高避障和定位的精度，并且在定位的同时可以建图。

根据一些实施例，根据本公开的移动机器人采用的VSLAM方法可以是基于欧式空间的VSLAM方法。基于欧式空间的VSLAM方法通过将建图描述为图模型的方法进行求解。具体地，通过采集特征点的移动机器人位姿作为图模型的节点，将特征点之间的位姿转换关系作为边界，并且记录来自各种传感器的数据构成边界约束条件，然后求解优化后的位姿以满足各个边界的约束条件，从而实现建图和移动机器人的定位。

根据一些实施例，位姿可以包括移动机器人的位置和姿态。根据一些示例，在坐标系中，例如二维坐标系或者三维坐标系，所述移动机器人的位姿可以通过所述移动机器人在坐标系中的坐标P以及所述移动机器人的朝向r来表示，如下式所示：

其中，P表示维度与坐标系的维度相同的向量，r表示维度比向量P的维度少一个维度的向量。例如，如果坐标系是三维坐标系，则向量P是三维向量，向量r是二维向量；如果坐标系是二维坐标系，则向量P是二维向量，向量r是一维向量。

图5是根据本公开的示例性实施例的基于欧式空间的确定移动机器人的位姿的方法的示意性流程图。

参照图5，根据一些实施例，所述处理器可以进一步被配置为：从所述摄像机基于所述至少两个光轴所获取的图像中提取特征集(步骤501)；基于所提取的特征集在场景数据库中搜索与所提取的特征集匹配的匹配特征集(步骤502)；确定与所述匹配特征集对应的移动机器人位姿(步骤503)；以及根据所提取的特征集、所述匹配特征集以及与所述匹配特征集对应的移动机器人位姿，确定所述移动机器人的实际位姿(步骤504)。

在步骤501中，根据一些实施例，所述特征集可以是几何特征集，所述几何特征集可以包括关于特征点、特征线、特征面的几何描述。根据一些实施例，所述几何描述可以是坐标、方程、方程组等。根据一些示例，可以分别使用坐标、方程组和方程来表示所述特征集中的特征点、特征线和特征面。根据一些实施例，从所获取的图像中提取特征集可以包括提取所获取的图像中的特征物体的特征集，例如，如果特征物体是桌子，则与该特征物体相关的特征集可以是图像中该桌子的各顶点的坐标、该桌子的各个边的直线方程、该桌子的各个面的平面方程等。根据一些实施例，从所获取的图像中提取特征集还可以包括提取所获取的图像中非特征物体的特征集，其中非特征物体例如可以是图像中提取的除了特征物体之外的所有其他部分，例如空白墙面等。根据一些实施例，可以对所提取的特征集进行降噪处理，在所述特征集是几何特征集的情况下，通过降噪处理可以剔除掉所提取的特征集中的“错误”并获得高质量的特征点、特点线、特征面等，从而提高下文将在步骤504中描述的所确定的所述移动机器人的实际位姿的准确性。

在步骤502中，根据一些实施例，所述场景数据库中可以包括：所述移动机器人的摄像机基于所述至少两个光轴所获取的图像、与该获取的图像相关联地存储的特征集以及所述移动机器人在获取该图像时相关联地存储的位姿。根据一些实施例，如果可以在所述场景数据库中搜索到与所提取的特征集相同的特征集，则可以将该搜索到的特征集作为与所提取的特征集匹配的匹配特征集；如果无法在所述场景数据库中搜索到与所提取的特征集相同的特征集，则可以将在所述场景数据库中搜索到的与所提取的特征集最接近的特征集作为与所提取的特征集匹配的匹配特征集。

在步骤503中，根据一些实施例，如果在步骤502中搜索到与所提取的特征集相同的特征集，则可以将与该搜索到的特征集相关联地存储的位姿作为与所述匹配特征集对应的移动机器人位姿。根据另一些实施例，如果在步骤502中无法在所述场景数据库中搜索到与所提取的特征集相同的特征集，则可以将与所述最接近的特征集。

在步骤504中，根据一些实施例，如果在步骤502中搜索到与所提取的特征集相同的特征集，则可以直接将在步骤503中确定的与所述匹配特征集对应的移动机器人位姿作为移动机器人的实际位姿。根据一些实施例，如果在步骤502中无法在所述场景数据库中搜索到与所提取的特征集相同的特征集，则可以通过所提取的特征集和所述匹配特征集之间的差异来确定所述移动机器人的实际位姿与所述匹配特征集对应的移动机器人位姿之间的相对位姿关系，从而根据与所述匹配特征集对应的移动机器人位姿和相对位姿关系来确定所述移动机器人的实际位姿。根据一些实施例，可以通过插值算法来计算所述移动机器人的实际位姿。所述插值算法例如可以是线性插值算法或非线性插值算法(例如，李代数SE(3)上的插值函数)。根据一些实施例，可以进一步对通过插值算法得到的所述移动机器人的实际位姿使用VSLAM算法，以提高所述移动机器人的实际位姿的准确性。

根据一些实施例，根据本公开的移动机器人采用的VSLAM方法可以是基于概率空间的VSLAM方法。

在移动机器人使用VSLAM方法的过程中，移动机器人的运动模型和测量模型可能存在误差并且自身配备的摄像机和/或各种类型的测距传感器以及周围的环境也会产生干扰，这导致VSLAM方法的结果也会存在误差，并且这种误差可能随着移动机器人的不断运行而不断累积。

基于概率空间的VSLAM方法可以不断地对误差进行校正，尽可能地逼近真实的结果，以进一步提高避障和定位的精度。

图6是根据本公开的示例性实施例的基于概率空间的VSLAM方法的示意性流程图。

参照图6，根据一些实施例，基于概率空间的VSLAM方法可以包括以下步骤：通过先验概率函数表示所述移动机器人的运动模型(步骤601)；通过测量概率函数表示所述移动机器人的测量模型，其中所述测量概率函数基于包括所述特征物体的深度信息的与所述特征物体相关联的所述数据确定(步骤602)；以及基于所述先验概率函数和所述测量概率函数求解后验概率函数(步骤603)。根据一些实施例，表示运动模型的先验概率函数和表示测量模型的测量概率函数可以服从高斯概率分布，但本公开不限于此，还可以采用适于表示移动机器人的误差的任何其他类型的概率分布。

在步骤601中，根据一些实施例，先验概率函数可以通过数学表达式表示为：

p(s^t|s^t-1，u^t)

其中，s^t是移动机器人在t时刻的位姿，s^t-1是移动机器人在t-1时刻的位姿，u^t是移动机器人在t时刻的控制量。

在步骤602中，根据一些实施例，测量概率函数可以通过数学表达式表示为：

p(z^t|s^t，m)

其中，z^t是移动机器人在t时刻的测量值(例如，移动机器人外部环境中的特征物体的深度信息)，s^t是移动机器人在t时刻的位姿，m是地图。

在步骤603中，根据一些实施例，后验概率函数可以通过数学表达式表示为：

p(s^t，m|z^t，u^t)

其中，s^t是移动机器人在t时刻的位姿，m是地图，z^t是移动机器人在t时刻的测量值，u^t是移动机器人在t时刻的控制量。根据一些实施例，可以利用马尔科夫假设和贝叶斯公式将后验概率函数表示为先验概率函数和测量概率函数：

p(s^t，m|z^1：t，u^1：t)∝p(z^t|s^t，m)∫p(s^t|s^t-1，u^t)p(s^t-1，m|z^1：t-1，u^1：t-1)ds^t-1

然后，根据上式求解后验概率函数，从而得到移动机器人在t时刻的位姿s^t和地图m。以这样的方式，随着时间的推移，在移动机器人移动的过程中，不断迭代上式，相当于不断重复概率估计并校正的过程，从而得到更为精确的定位及建图。

根据一些实施例，所述VSLAM方法可以采用基于扩展卡尔曼滤波的算法和基于粒子滤波的算法中的至少一个。基于扩展卡尔曼滤波的算法不仅可以用于服从高斯分布的线性系统，也可以用于非线性系统，其主要是预测、测量和更新这三个步骤的不断迭代的过程。采用基于扩展卡尔曼滤波的算法可以进一步提高定位的精度。基于粒子滤波的算法可以通过样本来估计概率分布，并且可以通过数量不断增加的样本来逼近概率分布，从而求解后验概率分布。采用基于粒子滤波的算法可以进一步提高定位的精度。当然，虽然本公开示例性地列举了上述两种滤波算法，但是根据本公开的移动机器人采用的VSLAM方法当然可以采用其他滤波算法和/或对以上滤波算法做出改进。

根据一些实施例，所述VSLAM方法可以是基于机器学习的VSLAM方法。采用机器学习的相关算法可以从通过摄像机和/或测距传感器获取的大量包括深度信息的数据中提取出测量模型的统计特性，归纳为模型的内部参数，以提高测量模型的准确度。通过将机器学习应用到VSLAM方法中可以更好地适应测量模型的差异性和时变性，提高定位与建图的精度以及鲁棒性。根据一些实施例，所采用的机器学习的算法可以是在线学习的，采用在线学习的方法可以实时学习并实时更新经学习的数据集合，进一步提高精度。根据一些实施例，所采用的机器学习的算法也可以是离线学习的，离线学习的方法可以降低运行VSLAM方法时的算法复杂度。

以上结合图1至图6描述了根据本公开的第一方面的移动机器人，其通过将摄像机的光轴设置为与水平面平行来同时实现避障和定位，并且通过设置至少两个光轴来获得摄像机在视场中观察到的双目视差以提高避障和定位的精度。下文将描述根据本公开的其他方面，其中这些其他方面也通过将摄像机的光轴设置为与水平面平行来同时实现避障和定位，但是采用与根据本公开的第一方面不同的其他方式来提高避障和定位的精度。

根据本公开的第二方面，根据示例性实施例的移动机器人可以包括：电机，被配置为驱动所述移动机器人移动；摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有光轴，所述光轴与水平面平行；存储器，所述存储器被配置为存储由所述摄像机在不同时间获取的至少两个图像；以及处理器，被配置为：在所述移动机器人移动的过程中，分析所述摄像机在当前时间获取的图像和在先前时间获取的图像，提取所述摄像机在当前时间获取的图像和在先前时间获取的图像中的特征物体图像和与所述特征物体相关联的数据；并且基于从在当前时间获取的图像和在先前时间获取的图像中提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。分析所述摄像机在当前时间获取的图像和在先前时间获取的图像的示例性实施例与已经在上文结合本公开的第一方面详细描述的分析所述摄像机当前时间获取的一组图像和先前时间获取的一组图像类似，在此不再赘述。

根据本公开的第三方面，根据示例性实施例的移动机器人可以包括：电机，被配置为驱动所述移动机器人移动；摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有光轴，所述光轴与水平面平行；测距传感器，所述测距传感器被配置为测量外部环境中的特征物体的距离；以及处理器，被配置为：提取所述摄像机所获取的图像中的特征物体图像和与所述特征物体相关联的数据；并且基于从所获取的图像中所提取的特征物体图像、与所述特征物体相关联的数据以及通过所述测距传感器获得的特征物体的距离，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。以这样的方式，可以通过测距传感器进一步获取包括深度信息的数据。测距传感器的示例性实施例已经在上文结合本公开的第一方面进行了详细描述，在此不再赘述。

虽然已经参照附图描述了本公开的实施例或示例，但应理解，上述的方法、系统和设备仅仅是示例性的实施例或示例，本公开的范围并不由这些实施例或示例限制，而是仅由授权后的权利要求书及其等同范围来限定。实施例或示例中的各种要素可以被省略或者可由其等同要素替代。此外，可以通过不同于本公开中描述的次序来执行各步骤。进一步地，可以以各种方式组合实施例或示例中的各种要素。重要的是随着技术的演进，在此描述的很多要素可以由本公开之后出现的等同要素进行替换。

以下描述本公开的一些示例性方面。

方面1.一种移动机器人，包括：

电机，被配置为驱动所述移动机器人移动；

摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有至少两个光轴，所述至少两个光轴中的每一个光轴与水平面平行；以及

处理器，被配置为：

提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据；以及

基于从所获取的图像中所提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息。

方面2.根据方面1所述的移动机器人，其中，所述摄像机是单目摄像机、双目摄像机、以及多目摄像机中的至少一种。

方面3.根据方面2所述的移动机器人，其中，所述摄像机是单目摄像机，并且所述成像光学系统包括：

光学接收元件，被配置为接收所述移动机器人外部环境的至少两组光线；以及

镜头，所述镜头包括至少两个部分，所述至少两个部分中的每个部分具有所述至少两个光轴中的一个光轴，并且，所述至少两个部分中的每个部分接收来自所述光学接收元件的至少两组光线中的一组光线；

所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述镜头的所述至少两个部分的所述至少两组光线，生成至少两个图像。

方面4.根据方面3所述的移动机器人，其中，所述光学接收元件包括第一组反射镜和第二组反射镜，并且其中，

所述至少两组光线中的第一组光线经由所述第一组反射镜反射到所述镜头的所述至少两个部分中的第一部分；

所述至少两组光线中的第二组光线经由所述第二组反射镜反射到所述镜头的所述至少两个部分中的第二部分。

方面5.根据方面4所述的移动机器人，其中，所述第一组反射镜包括第一反射镜和与所述第一反射镜平行的第二反射镜，所述第二组反射镜包括第三反射镜和与所述第三反射镜平行的第四反射镜，并且其中，

所述第一组光线经由所述第一反射镜反射到所述第二反射镜，再经由所述第二反射镜反射到所述第一部分；

所述第二组光线经由所述第三反射镜反射到所述第四反射镜，再经由所述第四反射镜反射到所述第二部分。

方面6.根据方面2所述的移动机器人，其中，所述摄像机是双目摄像机或多目摄像机，并且所述成像光学系统包括：

至少两个镜头，所述至少两个镜头中的每个镜头具有所述至少两个光轴中的一个光轴并且被配置为接收所述移动机器人外部环境的光线；

所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述至少两个镜头的光线，生成至少两个图像。

方面7.根据方面1所述的移动机器人，其中，所述移动机器人包括至少两个摄像机，每个摄像机所具有的成像光学系统具有所述至少两个光轴中的一个光轴。

方面8.根据方面1所述的移动机器人，其中，所述移动机器人还包括存储器，所述存储器被配置为存储由所述摄像机在不同时间获取的多组图像，所述多组图像中的每一组图像包括所述摄像机分别基于所述至少两个光轴获取的至少两个图像；

所述处理器被配置为：在所述移动机器人移动的过程中，分析所述摄像机在当前时间获取的一组图像和在先前时间获取的一组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

方面9.根据方面8所述的移动机器人，其中，所述至少两个光轴彼此平行，并且所述至少两个光轴中的每一个光轴与所述移动机器人的移动方向之间的夹角不为零且介于-90度和+90度之间。

方面10.根据方面8所述的移动机器人，其中，所述处理器进一步被配置为：

从所述摄像机获取的图像中提取具有预定时间间隔的至少两组图像，所述预定时间间隔为所述摄像机的一帧时间的N倍，N为正整数；以及

分析所述具有预定时间间隔的至少两组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

方面11.根据方面1所述的移动机器人，其中，所述处理器进一步被配置为：

控制以使所述成像光学系统旋转；

提取旋转过程中的不同时刻获取的至少两组图像，所述至少两组图像中的每一组图像包括所述摄像机分别基于所述至少两个光轴获取的至少两个图像；以及

分析所述提取的旋转过程中的不同时刻获取的至少两组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

方面12.根据方面11所述的移动机器人，其中，所述控制以使所述成像光学系统旋转包括控制以使所述移动机器人旋转和/或控制以使所述摄像机旋转。

方面13.根据方面1所述的移动机器人，其中，所述移动机器人还包括测距传感器，所述测距传感器被配置为测量外部环境中的特征物体的距离，以辅助所述移动机器人的避障和/或定位。

方面14.根据方面1至13中任一项所述的移动机器人，其中，所述处理器进一步被配置为：

根据所提取的特征物体图像和与所述特征物体相关联的数据，确定所述特征物体的类型，其中所述特征物体的类型包括障碍对象和非障碍对象；

响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，执行所述移动机器人针对所述特征物体的避障；以及

响应于所确定的特征物体的类型是非障碍对象，不执行所述移动机器人针对所述特征物体的避障。

方面15.根据方面14所述的移动机器人，其中，所述处理器进一步被配置为：

响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，控制所述电机驱动所述移动机器人从按照原方向移动改变为沿所述特征物体的边界移动。

方面16.根据方面1-13中任一项所述的移动机器人，其中，所述处理器进一步被配置为：

从所述摄像机基于所述至少两个光轴所获取的图像中提取特征集；

基于所提取的特征集在场景数据库中搜索与所提取的特征集匹配的匹配特征集；

确定与所述匹配特征集对应的移动机器人位姿；以及

根据所提取的特征集、所述匹配特征集以及与所述匹配特征集对应的移动机器人位姿，确定所述移动机器人的实际位姿。

方面17.根据方面14所述的移动机器人，其中，所述处理器进一步被配置为：

从所述摄像机基于所述至少两个光轴所获取的图像中提取特征集；

基于所提取的特征集在场景数据库中搜索与所提取的特征集匹配的匹配特征集；

确定与所述匹配特征集对应的机器人位姿；以及

根据所提取的特征集、所述匹配特征集以及与所述匹配特征集对应的机器人位姿，确定所述移动机器人的实际位姿。

Claims (16)

1.一种移动机器人，包括：

电机，被配置为驱动所述移动机器人移动；

摄像机，被配置为获取所述移动机器人外部环境的图像，所述摄像机具有成像光学系统，所述成像光学系统具有至少两个光轴，所述至少两个光轴中的每一个光轴与水平面平行；以及

处理器，被配置为：

提取所述摄像机基于所述至少两个光轴所获取的图像中的特征物体图像和与所述特征物体相关联的数据；以及

基于从所获取的图像中所提取的特征物体图像和与所述特征物体相关联的数据，执行所述移动机器人的避障和定位，其中与所述特征物体相关联的所述数据包括所述特征物体的深度信息，

其中，所述处理器进一步被配置为：

从所述摄像机基于所述至少两个光轴所获取的图像中提取特征集；

基于所提取的特征集在场景数据库中搜索与所提取的特征集匹配的匹配特征集；

确定与所述匹配特征集对应的移动机器人位姿；以及

根据所提取的特征集、所述匹配特征集以及与所述匹配特征集对应的移动机器人位姿，确定所述移动机器人的实际位姿。

2.根据权利要求1所述的移动机器人，其中，所述摄像机是单目摄像机、双目摄像机、以及多目摄像机中的至少一种。

3.根据权利要求2所述的移动机器人，其中，所述摄像机是单目摄像机，并且所述成像光学系统包括：

光学接收元件，被配置为接收所述移动机器人外部环境的至少两组光线；以及

镜头，所述镜头包括至少两个部分，所述至少两个部分中的每个部分具有所述至少两个光轴中的一个光轴，并且，所述至少两个部分中的每个部分接收来自所述光学接收元件的至少两组光线中的一组光线；

所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述镜头的所述至少两个部分的所述至少两组光线，生成至少两个图像。

4.根据权利要求3所述的移动机器人，其中，所述光学接收元件包括第一组反射镜和第二组反射镜，并且其中，

所述至少两组光线中的第一组光线经由所述第一组反射镜反射到所述镜头的所述至少两个部分中的第一部分；

所述至少两组光线中的第二组光线经由所述第二组反射镜反射到所述镜头的所述至少两个部分中的第二部分。

5.根据权利要求4所述的移动机器人，其中，所述第一组反射镜包括第一反射镜和与所述第一反射镜平行的第二反射镜，所述第二组反射镜包括第三反射镜和与所述第三反射镜平行的第四反射镜，并且其中，

所述第一组光线经由所述第一反射镜反射到所述第二反射镜，再经由所述第二反射镜反射到所述第一部分；

所述第二组光线经由所述第三反射镜反射到所述第四反射镜，再经由所述第四反射镜反射到所述第二部分。

6.根据权利要求2所述的移动机器人，其中，所述摄像机是双目摄像机或多目摄像机，并且所述成像光学系统包括：

至少两个镜头，所述至少两个镜头中的每个镜头具有所述至少两个光轴中的一个光轴并且被配置为接收所述移动机器人外部环境的光线；

所述摄像机还包括图像传感器，所述图像传感器被配置为分别基于来自所述至少两个镜头的光线，生成至少两个图像。

7.根据权利要求1所述的移动机器人，其中，所述移动机器人包括至少两个摄像机，每个摄像机所具有的成像光学系统具有所述至少两个光轴中的一个光轴。

8.根据权利要求1所述的移动机器人，其中，所述移动机器人还包括存储器，所述存储器被配置为存储由所述摄像机在不同时间获取的多组图像，所述多组图像中的每一组图像包括所述摄像机分别基于所述至少两个光轴获取的至少两个图像；

所述处理器被配置为：在所述移动机器人移动的过程中，分析所述摄像机在当前时间获取的一组图像和在先前时间获取的一组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

9.根据权利要求8所述的移动机器人，其中，所述至少两个光轴彼此平行，并且所述至少两个光轴中的每一个光轴与所述移动机器人的移动方向之间的夹角不为零且介于-90度和+90度之间。

10.根据权利要求8所述的移动机器人，其中，所述处理器进一步被配置为：

从所述摄像机获取的图像中提取具有预定时间间隔的至少两组图像，所述预定时间间隔为所述摄像机的一帧时间的N倍，N为正整数；以及

分析所述具有预定时间间隔的至少两组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

11.根据权利要求1所述的移动机器人，其中，所述处理器进一步被配置为：

控制以使所述成像光学系统旋转；

提取旋转过程中的不同时刻获取的至少两组图像，所述至少两组图像中的每一组图像包括所述摄像机分别基于所述至少两个光轴获取的至少两个图像；以及

分析所述提取的旋转过程中的不同时刻获取的至少两组图像，以提取包括所述特征物体的深度信息的与所述特征物体相关联的所述数据。

12.根据权利要求11所述的移动机器人，其中，所述控制以使所述成像光学系统旋转包括控制以使所述移动机器人旋转和/或控制以使所述摄像机旋转。

13.根据权利要求1所述的移动机器人，其中，所述移动机器人还包括测距传感器，所述测距传感器被配置为测量外部环境中的特征物体的距离，以辅助所述移动机器人的避障和/或定位。

14.根据权利要求1至13中任一项所述的移动机器人，其中，所述处理器进一步被配置为：

根据所提取的特征物体图像和与所述特征物体相关联的数据，确定所述特征物体的类型，其中所述特征物体的类型包括障碍对象和非障碍对象；

响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，执行所述移动机器人针对所述特征物体的避障；以及

响应于所确定的特征物体的类型是非障碍对象，不执行所述移动机器人针对所述特征物体的避障。

15.根据权利要求14所述的移动机器人，其中，所述处理器进一步被配置为：

响应于所确定的特征物体的类型是障碍对象，基于与属于障碍对象的所述特征物体相关联的数据，控制所述电机驱动所述移动机器人从按照原方向移动改变为沿所述特征物体的边界移动。

16.根据权利要求14所述的移动机器人，其中，所述处理器进一步被配置为：

从所述摄像机基于所述至少两个光轴所获取的图像中提取特征集；

基于所提取的特征集在场景数据库中搜索与所提取的特征集匹配的匹配特征集；

确定与所述匹配特征集对应的机器人位姿；以及

根据所提取的特征集、所述匹配特征集以及与所述匹配特征集对应的机器人位姿，确定所述移动机器人的实际位姿。

Images