CN109099915B - 移动机器人定位方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种移动机器人定位方法、装置、计算机设备和存储介质，所述方法包括：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码的图像相对位置信息，获取各个图像码与全景相机的相对角度信息，根据各个图像码的图像相对位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息，提高了移动机器人的定位精确度，降低了设备成本。

Description

移动机器人定位方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种移动机器人定位方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，移动机器人的定位方法不断发展。移动机器人的定位是指确定机器人在运动过程中的位置坐标，目前移动机器人的定位主要包括相对定位和绝对定位，相对定位是指根据机器人的初始位姿，对移动机器人进行跟踪估计，绝对定位是对预先确定好环境模型或通过传感器直接向机器人提供外界位置信息，计算机器人在世界坐标系中的位置。

传统的机器人定位方法采用激光SLAM(Simultaneous Localization andMapping)定位方法，该定位方法采用激光扫描环境轮廓信息，建立栅格地图，直接利用栅格地图进行定位，一旦环境发生变化，容易导致定位失败。

发明内容

基于此，有必要针对上述技术问题，提供一种通过全景相机实时拍摄的包含预先铺设好的图像码的全景图像，根据全景图像中的图像码位置信息和全景相机的相机外参确定移动机器人的位置，实现高精度定位的移动机器人定位方法、装置、计算机设备和存储介质。

一种移动机器人定位方法，包括：

获取全景相机拍摄的全景图像，全景图像中包括多个图像码；

获取全景图像中多个图像码在全景图像中的图像位置信息；

根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息；

根据图像相对位置信息计算各个图像码与全景相机的相对角度信息；

根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息；

获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

一种机器人定位装置，包括：

位置获取模块，用于获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息；

相对位置计算模块，用于根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息；

相对角度计算模块，用于根据图像相对位置信息计算各个图像码与全景相机的相对角度信息；

全景相机位姿计算模块，用于根据各个图像码的图像相对位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息；

定位模块，用于获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下的步骤：

获取全景相机拍摄的全景图像，全景图像中包括多个图像码；

获取全景图像中多个图像码在全景图像中的图像位置信息；

根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息；

根据图像相对位置信息计算各个图像码与全景相机的相对角度信息；

根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息；

获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取全景相机拍摄的全景图像，全景图像中包括多个图像码；

获取全景图像中多个图像码在全景图像中的图像位置信息；

根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息；

根据图像相对位置信息计算各个图像码与全景相机的相对角度信息；

根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息；

获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

上述机器人定位方法、装置、计算机设备和存储介质，获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。对全景图像进行图像分析，得到全景图像中包含的图像码的在全景图像中的位置信息，根据各个图像码在全景图像中的位置，计算各个图像码与图像中心位置之间的图像相对位置，根据图像相对位置计算各个图像码与全景相机的相对角度信息，根据该相对角度信息和各个图像码的位置信息计算全景相机的在位置信息和姿态信息，通过全景相机的相机外参和全景相机的在位置信息和姿态信息，确定移动机器人的位置信息和对应的姿态信息。计算同一副全景图像的图像码与图像中心位置的相对位置，得到的相对位置都在同一个参考系，根据图像码的图像位置以及全景相机与图像码的相对角度信息计算得到的全景相机的位置和姿态精确度更高，通过精确度更高的数据计算得到的移动机器人的位置和姿态也更为精确，且采用全景相机获取数据，可以降低项目成本。

附图说明

图1为一个实施例中移动机器人定位方法的应用环境图；

图2为另一个实施例中移动机器人定位方法的应用环境图；

图3为一个实施例中移动机器人定位的流程示意图；

图4为一个实施例中计算图像位置信息步骤的流程示意图；

图5为一个实施例中移动机器人定位步骤的流程示意图；

图6为另一个实施例中移动机器人定位步骤的流程示意图；

图7为再一个实施例中移动机器人定位方法的流程示意图；

图8为又一个实施例中移动机器人定位方法的流程示意图；

图9为一个实施例中移动机器人定位装置的结构框图；

图10为一个实施例中图像位置计算模块的结构框图；

图11为另一个实施例中移动机器人定位装置的结构框图；

图12为再一个实施例中移动机器人定位装置的结构框图；

图13为又一个实施例中移动机器人定位装置的结构框图；

图14为一个实施例中计算机设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

如图1所示，在一个实施中，图中包括全景相机110、处理器120、里程计140，用于搭载全景相机110，处理器120，和里程计140的设备130以及图像码150。全景相机110用来拍摄全景图像，里程计140用来计算里程计的相对位置，通过移动设备130，全景相机110获取不同时刻不同地点的全景图像。图像码150作为辅助工具用于增加环境的特征，在处理器120计算全景图像中各个图像码150在全景图像中的位置，和全景图像中全景相机110和图像码150的相对角度信息，根据全景相机110和各个图像码的相对角度信息以及各个图像码的位置信息计算得到全景相机110在当前时刻的位置信息和姿态信息，根据全景相机110的相机外参、位置信息和姿态信息确定设备130的位置信息和姿态信息。

如图2所示，在一个实施例中，图2为移动机器人定位方法的应用环境图，图中包括设备130和终端160(或服务器170)。设备130与终端160(或服务器170)通过网络连接，其中设备130可以当作数据采集设备，终端160(或服务器170)用于对设备130采集到的数据进行数据处理。

如图3所示，在一个实施例中，提供了一种移动机器人定位方法。本实施例主要以该方法应用于上述图2中的终端160(或服务器170)来举例说明。参照图2，该移动机器人定位方法具体包括如下步骤：

步骤S202，获取全景相机拍摄的全景图像，全景图像中包括多个图像码。

具体地，全景相机是指利用小视场角镜头或其光学零件运动扫描，相机光轴指向连续改变，实现扩大横向幅宽的相机。通过全景相机拍摄得到的图像为全景图像，在全景图像中包含了多个图像码，其中图像码携带的标识信息用于区分各个图像码，图像码可以是二维码、一维码或能够携带标识信息的编码图片，其中，二维码可以是人们熟识的二维码(例如：QR code、Data Matrix、Aruco code、Aperil TAg)或二维码阵，或其他种类人工标签，例如有特殊结构的反光标签，圆柱形人工标签等等。处理器、终端或服务器获取全景相机拍摄的全景图像。

步骤S204，获取全景图像中多个图像码在全景图像中的图像位置信息。

步骤S206，根据各个图像码的图像位置信息，计算各个图像码与全景图像中心位置的图像相对位置信息。

具体地，对全景图像进行图像处理，得到各个图像码，并获取全景图像中各个图像码在全景图像中的图像位置信息，在获取到各个图像码的位置信息之后，通过各个图像码的位置信息计算图像码与图像中心位置的图像相对位置信息，图像中心位置即为相机光轴与传感器的交点。

在一个实施例中，首选对全景图像进行预处理，其中预处理包括图像去噪、图像分割等，对预处理后的图像进行图像码提取，根据提取到的图像码确定图像码的在全景图像的位置信息。

在一个实施例中，在获取图像码位置之前还包括：对全景图像中的图像码的数目进行判断，当包含的图像码的数目大于预设数目时，可以从全景图像中包含的图像码中按照预设规则选取预设数目的图像码。预设规则可以自定义，如从全景图像中包含的图像码中选择出与全景相机不在同一直线上的图像码，作为候选图像码，若得到的图像码的图像码数目大于预设数目，则按照第二预设规则从候选图像码选出目标图像码，获取目标图像码的位置信息。

在另一个实施例中，在获取图像码位置之前还包括：对全景图像中的图像码的数目进行判断，当包含的图像码的数目小于预设数目时，可以采用其他的辅助定位方式进行定位，如采用里程计测量数据进行定位，或是采用不同时刻的同一图像码在世界坐标系中的位置一致性进行定位。

步骤S208，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息。

具体地，图像码与全景相机的相对角度信息是指在世界坐标系中相机与图像码之间的展示角度信息，该角度信息可以直接通过测量得到，也可以通过全景图像中图像码与全景相机的角度信息计算得到。当全景相机的光轴与水平面垂直时，全景图像中图像码与全景相机的角度信息即为界坐标系中相机与图像码之间相对角度信息，全景图像中图像码与全景相机的角度信息可以通过图像码的位置信息和全景相机的位置信息计算得到，设图像码的位置坐标为(u,v)，全景相机光轴与传感器的交点对应的图像坐标为(cx,cy)，(cx,cy)可以根据事先标定得出，(v-cy,u-cx)为各个图像码与图像中心位置的相对位置坐标。图像码相对于全景相机在地平面的角度为atan2(v-cy,u-cx)，其中atan2是用于计算角度的函数。

在一个实施例中，全景相机可以是一个垂直向上观测配有鱼眼镜头的单目相机，(cx,cy)可以是鱼眼镜头的图像中心位置。

步骤S210，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。

具体地，根据全景图像中各个图像码与图像中心的图像位置信息、各个图像码和全景相机在图像中的相对角度，计算得到全景相机的位置信息和对应的姿态信息。如已知图像码A和图像码B的相对位置信息、图像码A和图像码C的相对位置信息，以及图像码B和图像码C之间的相对位置信息，且图像码A、B和C与全景相机的相对角度已经确定，将图像码和全景相机进行连接，图像码和图像码连接，根据正弦定理可以求得全景相机的位置信息和姿态信息。

步骤S212，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

具体地，全景相机的外参可以根据外参标定算法进行标定得到。根据全景相机的相机外参和全景相机的位置信息和对应的姿态信息计算移动机器人的位置信息和对应的姿态信息。

上述移动机器人定位方法，通过获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息，根据各个图像码的图像位置信息确定各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。对全景图像进行图像处理，得到全景图像中包含的图像码的在全景图像中的位置信息，根据各个图像码在全景图像中的位置，计算出各个图像码之间的相对位置，获取图像码与全景相机的相对角度信息，根据该相对角度信息和各个图像码的相对位置信息计算全景相机的在全景图像中的位置信息和姿态信息，根据全景图像中全景相机的位置信息和姿态信息确定移动机器人的位置信息和姿态信息

通过全景相机的相机外参和全景相机的位置信息和姿态信息，确定移动机器人的位置信息和对应的姿态信息。

在一个实施例中，如图4所示，获取全景相机拍摄的全景图像之后，还包括：

步骤S302，对全景图像进行二值化处理，得到二值化图像。

步骤S304，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息。

具体地，二值化是指将图像变为黑白图像，即可以按照预先设定的二值化阈值对图像进行二值化处理，如将图像上的像素点的灰度值设置为0或255，可以将灰度值大于二值化阈值的像素点的灰度值设置为255，小于等于二值化阈值的像素点的灰度值设置为0，呈现黑白效果。获取预先设置的或根据图像自适应得到的二值化阈值，根据二值化阈值对全景图像进行二值化处理，得到全景图像对应的二值化图像。对图像进行二值化处理能够减少图像数据，得到图像的轮廓信息，提取二值化图像中图像码的轮廓信息，根据各个图像码对应的轮廓信息确定各个图像码的角点信息，其中角点信息包括角点坐标等。

步骤S306，对各个图像码进行解码，得到解码成功的多个有效图像码。

步骤S308，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。

具体地，各个图像码进行解码是指获取图像码中存储的信息，解码成功是指成功获取到图像码中携带的信息。根据各个图像码的解码结果确定各个图像码的有效性，将成功解码的图像码作为有效图像码。通过各个有效图像码对应的角点信息，计算各个图像码的位置信息，如将各个图像码的中心位置坐标作为各个图像码的位置信息，其中图像码的形状可以根据需求自定义，如定义为三角形，四边形或多边型等。在一个实施例中，图像码为四边形，角点信息为图像码的四个顶点的位置信息，位置信息包括顶点坐标，根据顶点坐标计算图像码的中心位置坐标。通过图像处理算法计算图像码在图像中的位置坐标简单方便。

在一个实施例中，如图5所示，上述移动机器人定位方法还包括：

步骤S402，当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息。

具体地，预设数目是预先设置的临界值，当全景图像中的图像码数目小于预设数目时，上一时刻是指当前时刻之前计算得到的移动机器人的位置信息和对应的姿态信息的时刻，上一时刻移动机器人的位置信息和对应的姿态信息可以是根据上一时刻全景图像中的图像码位置信息、图像码与相机的相对角度信息和相机外参计算得到的，也可以是根据图像码的位置信息和移动机器人中的里程计的测量数据计算得到的。

步骤S404，获取移动机器人中的里程计的测量数据。

步骤S406，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。

具体地，里程计是一种利用从移动传感器获得的数据来估计物体位置随时间的变化而改变的方法，该方法被用在许多种机器人系统(轮式或者腿式)上面，来估计，方法对由速度对时间积分来求得位置的估计时所产生的误差十分敏感。根据里程计测量数据确定当前时刻和上一时刻的姿态变化和位置变化，根据上一时刻移动机器人的位置信息和对应的姿态信息和测量数据对应的姿态变化和位置变化，得到当前时刻移动机器人的位置信息和对应的姿态信息。由于移动机器人在运动过程中全景相机拍摄的全景图像中可能不包含图像码或包含的图像码较少，则存在无法通过图像码计算移动机器人的位置信息和姿态信息，或计算得到的位置信息与姿态信息精确度不高，通过里程计的测量数据辅助定位能够更好的实现移动机器人的定位。

在一个实施例中，如图6所示，上述移动机器人定位方法还包括：

步骤S502，当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从图像码中选取出预设数目个图像码，作为目标图像码。

步骤S504，根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息。

步骤S506，根据全景图像中多个图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。

具体地，预设规则是用于筛选图像码的自定义规则，预设规则可以是对图像码之间的相对位置的限定、图像码与全景相机之间的相对位置限定等。当当前全景图像中包含的图像码数目大于预设数目时，从当前全景图像中包含的图像码选择满足预设规则的图像码，从满足预设规则的图像码中选择预设数目个图像码，作为目标图像码，获取目标图像码在全景图像中的位置信息以及全景相机的相机外参，根据全景图像码的相机外参和目标图像码的位置信息计算得到移动机器人的初始位置信息和初始姿态信息，将初始位置信息和对应的初始姿态信息以及全景图像中全部图像码的位置信息输入位置姿态优化模型，根据优化模型对应的参数，使得模型的损失值最小，得到优化后的位置信息和对应的姿态信息，作为当前时刻移动机器人的位置信息和对应的姿态信息。如设置预设规则为多个图像码与全景相机在同一直线上时，选取其中一个图像码作为该方向上的图像码，当获取到的满足预设规则的图像码大于预设数目时，当预设数目为3时，当满足预设规则的图像码数据大于等于3时，从满足预设规则的图像码中选取3个图像码，作为目标图像码，根据目标图像码在全景图像中的位置信息和全景相机的参数计算得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，从当前全景图像中包含的图像码选择满足预设规则的图像码，对满足预设规则图像码的数目进行判断，当满足预设规则图像码的数目小于预设数目时，进入获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。满足预设规则的图像码小于预设数目时，通过里程计测量数据辅助移动机器人进行定位，使得定位更为准确，避免单独采用图像码进行定位时出现无法定位的情况。

在一个实施例中，获取各个图像码与全景相机的相对角度信息包括：

获取全景相机在全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。

具体地，获取全景相机在全景图像中的位置，根据全景相机的图像位置信息和全景图像中各个图像码的图像位置信息，计算得到在全景图像中全景相机与各个图像码的相对位置信息和相对角度信息，根据相机的拍摄角度等参数和相对角度信息，确定全景相机与图像码的相对角度信息。

在一个实施例中，如图7所示，步骤S212之后，将移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息，还包括：

步骤S214，获取预设时间段或预设距离长度的多幅全景图像。

步骤S216，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息。

步骤S218，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。

其中，预设时间段是预先设置的时间间隔长度信息，预设时间段可以自定义，如可以设置间隔时间为1分钟、3分钟或5分钟等，预设距离长度是预先设置的位移间隔距离，预设距离长度可以自定义，如可以设置为100m、500m或1Km。

具体地，根据全景图像中的图像码确定当前时刻移动机器人的位置信息和对应的姿态信息，将位置信息和对应的姿态信息作为起始位置信息和起始姿态信息。对各个全景图像进行图像码提取，得到各个全景图像中各个图像码的位置信息。将不同时刻全景图像中各个图像码的图像位置信息、起始位置信息和起始姿态信息输入优化模型，根据优化模型中的优化规则对输入的数据进行优化处理，得到当前时刻移动机器人的位置信息和对应的姿态信息。

在一个实施例中，如图8所示，上述机器人定位方法包括：

步骤S602，获取全景相机拍摄的全景图像，全景图像中包括多个图像码。

步骤S604，对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息。

步骤S606，对各个图像码进行解码，得到解码成功的多个有效图像码，统计有效图像码的数目，判断有效图像码的数目是否小于预设数目，当有效图像码的数目小于预设数目时，进入步骤S608，反之进入步骤S610。

步骤S608，获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。

步骤S610，判断有效图像码的数目是否等于预设数目，当有效图像码的数目大于预设数目，进入步骤S612，当有效图像码的数目等于预设数目进入步骤S616。

步骤S612，根据预设规则从有效图像码中选取出预设数目个图像码，作为目标图像码，根据各个目标图像码的图像位置信息和全景相机对应的图像位置信息计算得到各个目标图像码与全景相机的相对角度信息，根据各个目标图像码的位置信息、对应的相对角度信息和全景相机的相机外参计算得到移动机器人的初始位置信息和对应的初始姿态信息。

步骤S614，根据全景图像中有效图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。

步骤S616，根据各个目标图像码的图像位置信息和全景相机对应的图像位置信息计算得到各个目标图像码与全景相机的相对角度信息，根据各个目标图像码的位置信息、对应的相对角度信息和全景相机的相机外参计算得到移动机器人的位置信息和对应的姿态信息。

步骤S618，将上述步骤S 614或步骤S616中计算得到的移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息。

步骤S620，获取预设时间段或预设距离长度的多幅全景图像。

步骤S622，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息。

步骤S624，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。

图3-8为一个实施例中移动机器人定位方法的流程示意图。应该理解的是，虽然图3-8的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3-8中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图9所示，提供了一种移动机器人定位装置200，包括：

位置获取模块202，用于获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码的在全景图像中的图像位置信息。

相对位置计算模块204，用于根据各个图像码的图像位置信息确定各个图像码的图像相对位置信息。

相对角度计算模块206，用于获取各个图像码与全景相机的相对角度信息。

图像码与相机的相对位置计算模块208，用于根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。

定位模块210，用于获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，如图10所示，移动机器人定位装置200还包括图像位置信息计算模块212，其中图像位置信息计算模块包括：

二值化单元2122，用于对所全景图像进行二值化处理，得到二值化图像。

角点信息计算单元2124，用于提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息；

解码单元2126，用于对各个图像码进行解码，得到解码成功的多个有效图像码。

图像位置信息计算单元2128，用于根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。

在一个实施例中，如图11所示，移动机器人定位装置200还包括：

上一数据获取模块214，用于当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息。

测量数据获取模块216，用于获取移动机器人中的里程计的测量数据。

定位模块210还用于根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。

在一个实施例中，如图12所示，移动机器人定位装置200还包括：

目标图像码获取模块218，用于当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从所述图像码中选取出预设数目个图像码，作为目标图像码。

初始位置计算模块220，用于根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息。

定位模块210还用于根据全景图像中多个图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，相对角度计算模块206还用于获取全景相机在所述全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。

在一个实施例中，如图13所示，移动机器人定位装置200还包括：

起始定位模块222，用于将移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息。

图像获取模块224，用于获取预设时间段或预设距离长度的多幅全景图像。

图像码位置信息计算模块226，用于对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息。

第二定位模块228，用于将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则第一初始位置信息和第一初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图2中的终端160(或服务器170)。如图14所示，该计算机设备包括该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现移动机器人定位方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行移动机器人定位方法。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，本申请提供的移动机器人定位装置可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行。计算机设备的存储器中可存储组成该移动机器人定位装置的各个程序模块。各个程序模块构成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的移动机器人定位方法中的步骤。

例如，图14所示的计算机设备可以通过如图9所示的移动机器人定位装置中位置获取模块202执行获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息。相对位置计算模块204执行根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息。相对角度计算模块206执行根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息。图像码与相机的相对位置计算模块208执行根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息。定位模块210执行获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息，根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，获取全景相机拍摄的全景图像之后，计算机程序被处理器执行时还实现以下步骤：对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息，对各个图像码进行解码，得到解码成功的多个有效图像码，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从图像码中选取出预设数目个图像码，作为目标图像码，根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息，根据全景图像中多个图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，获取各个图像码与全景相机的相对角度信息包括：获取全景相机在全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。

在一个实施例中，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息之后，将移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息，计算机程序被处理器执行时还实现以下步骤：获取预设时间段或预设距离长度的多幅全景图像，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取全景相机拍摄的全景图像，全景图像中包括多个图像码，获取全景图像中多个图像码在全景图像中的图像位置信息，根据各个图像码的图像位置信息计算各个图像码与全景图像中心位置的图像相对位置信息，根据图像相对位置信息计算对应的各个图像码与全景相机的相对角度信息，根据各个图像码的图像位置信息和对应的相对角度信息计算得到全景相机的位置信息和对应的姿态信息，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，获取全景相机拍摄的全景图像之后，计算机程序被处理器执行时还实现以下步骤：对全景图像进行二值化处理，得到二值化图像，提取二值化图像中各个图像码的轮廓信息，得到各个图像码对应的角点信息，对各个图像码进行解码，得到解码成功的多个有效图像码，根据各个有效图像码对应的角点信息计算得到各个有效图像码的位置信息，将各个有效图像码的位置信息作为图像位置信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻移动机器人的位置信息和对应的姿态信息，获取移动机器人中的里程计的测量数据，根据里程计的测量数据和上一时刻移动机器人的位置信息和对应的姿态信息计算，得到当前时刻移动机器人的位置信息和姿态信息。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从图像码中选取出预设数目个图像码，作为目标图像码，根据目标图像码的位置信息和全景相机的相机外参计算，得到移动机器人的初始位置信息和对应的初始姿态信息，根据全景图像中多个图像码在图像中的图像位置信息、初始位置信息和对应的初始姿态信息计算，得到移动机器人的位置信息和对应的姿态信息。

在一个实施例中，获取各个图像码与全景相机的相对角度信息包括：获取全景相机在全景图像中的图像位置信息，根据全景相机对应的图像位置信息和各个图像码的图像位置信息计算，得到各个图像码与全景相机的相对角度信息。

在一个实施例中，获取全景相机的相机外参，根据相机外参和全景相机的位置信息和对应的姿态信息计算得到移动机器人的位置信息和对应的姿态信息之后，将移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息，计算机程序被处理器执行时还实现以下步骤：获取预设时间段或预设距离长度的多幅全景图像，对各个全景图像进行图像处理，得到各个全景图像中各个图像码的图像位置信息，将各个全景图像中各个图像码的图像位置信息、初始位置信息和初始姿态信息输入优化模型中，通过优化模型对应的优化规则对初始位置信息和初始姿态信息进行优化，得到移动机器人在当前时刻的位置信息和对应的姿态信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种移动机器人定位方法，包括：

获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码；所述图像码为编码图片；

获取所述全景图像中解码成功的多个图像码在所述全景图像中的图像位置信息；所述解码成功指的是成功获取图像码中携带的信息，所述图像位置信息根据图像码对应的角点信息得到；

根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；

根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息；

根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；

获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。

2.根据权利要求1所述的方法，其特征在于，所述获取所述全景图像中解码成功的多个图像码在所述全景图像中的图像位置信息包括：

对所述全景图像进行二值化处理，得到二值化图像；

提取所述二值化图像中各个所述图像码的轮廓信息，得到各个所述图像码对应的角点信息；

对各个所述图像码进行解码，得到解码成功的多个有效图像码；

根据各个所述有效图像码对应的角点信息计算得到各个所述有效图像码的位置信息，将各个所述有效图像码的位置信息作为所述图像位置信息。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当当前全景图像中包含的图像码数目小于预设数目时，获取上一时刻所述移动机器人的位置信息和对应的姿态信息；

获取所述移动机器人中的里程计的测量数据；

根据所述里程计的测量数据和上一时刻所述移动机器人的位置信息和对应的姿态信息计算，得到当前时刻所述移动机器人的位置信息和姿态信息。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

当当前全景图像中包含的图像码数目大于预设数目时，根据预设规则从所述图像码中选取出预设数目个图像码，作为目标图像码；

根据所述目标图像码的位置信息和所述全景相机的相机外参计算，得到所述移动机器人的初始位置信息和对应的初始姿态信息；

根据所述全景图像中解码成功的多个图像码在所述全景图像中的图像位置信息、所述初始位置信息和对应的初始姿态信息计算，得到所述移动机器人的位置信息和对应的姿态信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述图像相对位置信息计算对应的各个所述图像码与所述全景相机的相对角度信息包括：

获取所述全景相机在所述全景图像中的图像位置信息；

根据所述全景相机对应的图像位置信息和各个所述图像码的图像位置信息计算，得到各个所述图像码与所述全景相机的相对角度信息。

6.根据权利要求1所述的方法，其特征在于，所述获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息之后，将所述移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息，还包括：

获取预设时间段或预设距离长度的多幅全景图像；

对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；

将各个所述全景图像中各个图像码的图像位置信息、所述起始位置信息和所述起始姿态信息输入优化模型中，通过所述优化模型对应的优化规则对所述起始位置信息和所述起始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。

7.一种移动机器人定位装置，其特征在于，所述装置包括：

位置获取模块，用于获取全景相机拍摄的全景图像，所述全景图像中包括多个图像码，获取所述全景图像中解码成功的多个图像码在所述全景图像中的图像位置信息；所述图像码为编码图片；所述解码成功指的是成功获取图像码中携带的信息，所述图像位置信息根据图像码对应的角点信息得到；

相对位置计算模块，用于根据各个所述图像码的图像位置信息，计算各个所述图像码与所述全景图像中心位置的图像相对位置信息；

相对角度计算模块，用于根据所述图像相对位置信息计算各个所述图像码与全景相机的相对角度信息；

图像码与相机的相对位置计算模块，用于根据各个所述图像码的图像位置信息和对应的相对角度信息计算得到所述全景相机的位置信息和对应的姿态信息；

定位模块，用于获取所述全景相机的相机外参，根据所述相机外参和所述全景相机的位置信息和对应的姿态信息计算得到所述移动机器人的位置信息和对应的姿态信息。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

起始定位模块，用于将所述移动机器人的位置信息和对应的姿态信息分别作为起始位置信息和起始姿态信息；

图像获取模块，用于获取预设时间段或预设距离长度的多幅全景图像；

图像码位置信息计算模块，用于对各个所述全景图像进行图像处理，得到各个所述全景图像中各个图像码的图像位置信息；

第二定位模块，用于将各个所述全景图像中各个图像码的图像位置信息、所述起始位置信息和所述起始姿态信息输入优化模型中，通过所述优化模型对应的优化规则所述起始位置信息和所述起始姿态信息进行优化，得到所述移动机器人在当前时刻的位置信息和对应的姿态信息。

9.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项所述方法的步骤。

Images