CN112197764A

CN112197764A - 实时位姿确定方法、装置及电子设备

Info

Publication number: CN112197764A
Application number: CN202011413415.3A
Authority: CN
Inventors: 杨坤
Original assignee: Guangzhou Xaircraft Technology Co Ltd
Current assignee: Guangzhou Xaircraft Technology Co Ltd
Priority date: 2020-12-07
Filing date: 2020-12-07
Publication date: 2021-01-08
Anticipated expiration: 2040-12-07
Also published as: CN112197764B

Abstract

本发明实施例提出一种实时位姿确定方法、装置及电子设备，涉及图像技术领域。其中，上述实时位姿确定方法通过根据得到的待估图像帧及地图数据，预估无人设备采集到所述待估图像帧时的输出位姿信息；其中，所述地图数据为基于采集时间早于所述待估图像帧的历史图像帧及所述历史图像帧的定位数据所创建的地图；根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为所述视觉坐标系和所述世界坐标系之间用于数据转换的模型。从而改善地图漂移带来的误差，提高得到的位姿信息的准确性。

Description

实时位姿确定方法、装置及电子设备

技术领域

本发明涉及图像技术领域，具体而言，涉及一种实时位姿确定方法、装置及电子设备。

背景技术

即时定位与地图构建（simultaneous localization and mapping，SLAM）技术的出现，使无人设备（无人机、机器人等）能够在未知环境中实现自主导航，也进一步推动无人设备的发展。

目前单目视觉SLAM使用广泛，其通过对采集到的每一帧图像进行跟踪，然后进行地图创建，以便于进行位姿确定。然而，基于采集到的图像创建的地图存在数据漂移的问题，同时，利用单目视觉SLAM在所创建的地图中定位出的位置信息是相对坐标，而非真实空间中的绝对坐标，这就致使该地图确定的位姿信息不够准确。

发明内容

有鉴于此，本发明的目的在于提供一种实时位姿确定方法、装置及电子设备。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供一种实时位姿确定方法，所述实时位姿确定方法包括：

根据得到的待估图像帧及地图数据，预估无人设备采集到所述待估图像帧时的输出位姿信息；其中，所述地图数据为基于采集时间早于所述待估图像帧的历史图像帧及所述历史图像帧的定位数据所创建的地图；

根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为所述视觉坐标系和所述世界坐标系之间用于数据转换的模型；

从创建所述地图数据所用的图像帧中获取参考图像帧；其中，所述参考图像帧所对应的采集时间点与所述待估图像帧所对应的采集时间点相邻；

基于所述参考图像帧及所述待估图像帧，创建局部增量地图；

利用所述局部增量地图对所述地图数据进行更新，以便基于更新后的地图数据确定下一帧待估图像帧所对应的实时位姿信息；

其中，在所述地理参考模型已完成初始化的情况下，所述利用所述局部增量地图对所述地图数据进行更新的步骤包括：

根据视觉坐标系下所述无人设备的中心位置、所述定位数据及所述地理参考模型，生成定位误差；

基于所述定位误差及重投影误差，对所述局部增量地图进行局部优化处理；

利用优化处理后的所述局部增量地图更新所述地图数据；

其中，所述重投影误差为根据更新前的所述地图数据及所述待估图像帧所确定的误差值。

第二方面，本发明实施例提供一种实时位姿确定装置，所述实时位姿确定装置包括：

预估模块，用于根据得到的待估图像帧及地图数据，预估无人设备采集到所述待估图像帧时的输出位姿信息；

其中，所述地图数据为基于采集时间早于所述待估图像帧的历史图像帧及所述历史图像帧的定位数据所创建的地图；

处理模块，用于根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为所述视觉坐标系和所述世界坐标系之间用于数据转换的模型；获取模块，用于从创建所述地图数据所用的图像帧中获取参考图像帧；其中，所述参考图像帧所对应的采集时间点与所述待估图像帧所对应的采集时间点相邻；

创建模块，用于基于所述参考图像帧及所述待估图像帧，创建局部增量地图；

更新模块，用于利用所述局部增量地图对所述地图数据进行更新，以便基于更新后的所述地图数据确定下一帧待估图像帧所对应的实时位姿信息。

其中，在所述地理参考模型已完成初始化的情况下，所述更新模块具体用于：

利用优化处理后的所述局部增量地图更新所述地图数据；

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现前述实施方式任一所述的方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述实施方式中任一项所述的方法。

与现有技术相比，本发明实施例提供的实时位姿确定方法通过利用历史图像帧的地图数据，确定出待估图像帧所对应的输出位姿信息。由于创建地图数据时还融入了定位数据，故，所得到的输出位姿信息较为准确且与真实空间存在关联。然后，利用输出位姿信息与真实空间的关联，根据地理参考模型，将输出位姿信息从视觉坐标系转化到世界坐标系，以得到实时位姿信息，也即，世界坐标下的绝对位姿信息，从而校准地图漂移带来的误差，提高得到的位姿信息的准确性。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例提供的电子设备的示意图。

图2示出了本发明实施例提供的实时位姿确定方法的步骤流程图之一。

图3示出了本发明实施例提供的实时位姿确定方法的步骤流程图之二。

图4示出了本发明实施例提供的步骤S202的子步骤流程图。

图5示出了本发明实施例提供的初始化地理参考模型的步骤流程图。

图6示出了本发明实施例提供的步骤S101的子步骤流程图。

图7示出了本发明实施例提供的确定第一匹配对的示例图。

图8示出了本发明实施例提供的实时位姿确定装置的示意图。

图标：100-电子设备；101-存储器；102-通信接口；103-处理器；104-总线；600-实时位姿确定装置；601-预估模块；602-处理模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

无人设备利用其能够有效减少人力成本的优势，被广泛应用于各个领域。比如，应用于家用领域的扫地机器人、应用于农业领域的无人机、无人车等。然而，无人设备实现无人作业的前提是自主位姿确定和导航。特别是，在陌生的环境中实现自主位姿确定和导航对于无人设备而言非常重要。

相关技术中在陌生环境中实现自主位姿确定和导航主要采用以下几种方式：

1、实时获取视频流，对视频中的每一帧图像进行跟踪，并选取出关键帧，再基于关键帧进行地图创建，并计算无人设备在地图中各个时刻的位姿。然而，这种方式所创建的地图主要依据采集到的图像，没有融合其他传感器采集到的数据，地图中所呈现的物体在真实空间中的尺寸难以准确恢复，实际位置还可能存在漂移的情况，致使最终确定出的位姿不够准确。

2、先采集完整个运行场景的图像数据，然后基于得到的图像数据整体构建地图。此后，在该运行场景下进行作业时，便可基于所创建的地图确定无人设备的位姿，从而便于实现自主导航。然而，该方式，实时性不高，同时存在较大的存储压力。

为了解决相关技术中所存在的问题，本发明实施例提供了一种实时位姿确定方法、装置及电子设备。

请参照图1，图1示出了本发明实施例提供的电子设备100的方框示意图。

本发明实施例所提供的实时位姿确定方法及装置可以应用于上述电子设备100。在一些实施例中，上述电子设备100可以是与无人设备通信的设备，用于接收无人设备回传的图像执行上述实时位姿确定方法。比如，个人电脑（personal computer，PC）、服务器、分布式部署的计算机。可以理解的是，电子设备100也不限于物理设备，还可以是物理设备上布局的虚拟机、基于云平台上构建的虚拟机等能提供与所述服务器或者虚拟机有相同功能的计算机。

在一些实施例中，上述电子设备100还可以是无人设备本身，如此，电子设备100采集到图像后便可基于此执行上述实时位姿确定方法。比如，无人设备为具有图像采集模块的植保无人机。上述图像采集模块用于采集待估图像帧，并根据待估图像帧和对应的地图数据执行上述实时位姿确定方法。

上述电子设备100的操作系统可以是，但不限于，Windows系统、Linux系统等。上述电子设备100包括存储器101、通信接口102、处理器103和总线104，所述存储器101、通信接口102和处理器103通过总线104连接，处理器103用于执行存储器101中存储的可执行模块，例如计算机程序。其中，存储器101可能包含高速随机存取存储器101（RAM：Random AccessMemory），也可能还包括非不稳定的存储器101（non-volatile memory），例如至少一个磁盘存储器101。通过至少一个通信接口102（可以是有线或者无线）实现该电子设备100与外部设备之间的通信连接。

总线104可以是ISA总线104、PCI总线104或EISA总线104等。图1中仅用一个双向箭头表示，但并不表示仅有一根总线104或一种类型的总线104。

其中，存储器101用于存储程序，例如图7所示的实时位姿确定装置600。该实时位姿确定装置600包括至少一个可以软件或固件（firmware）的形式存储于所述存储器101中或固化在所述电子设备100的操作系统（operating system，OS）中的软件功能模块。所述处理器103在接收到执行指令后，执行所述程序以实现本发明上述实施例揭示的实时位姿确定方法。

处理器103可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器103中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器103可以是通用处理器103，包括中央处理器103（Central Processing Unit，简称CPU）、网络处理器103（Network Processor，简称NP）等；还可以是数字信号处理器103（DSP）、专用集成电路（ASIC）、现成可编程门阵列（FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

应当理解的是，图1所示的结构仅为电子设备100的结构示意图，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

请参考图2，图2示出了本发明实施例提供的一种实时位姿确定方法。如图2所示，上述实时位姿确定方法可以包括以下步骤：

步骤S101，根据得到的待估图像帧及地图数据，预估无人设备采集到待估图像帧时的输出位姿信息。

上述待估图像帧为用于评估无人设备位姿的图像。每一帧待估图像帧对应着一定位数据。上述待估图像帧与对应的定位数据之间具有相同的采集时间点。

在一些实施例中，上述待估图像帧是根据无人设备采集到的图像数据进行处理后所生成的图像帧，换句话说，待估图像帧为无人设备间接采集到的图像帧。故，可以将图像数据的采集时间点作为待估图像帧所对应的采集时间点。

在另一些实施例中，上述待估图像帧可以是由无人设备直接采集得到图像帧。示例性地，上述待估图像帧可以是将最新采集到的一帧图像帧。

上述定位数据可以是利用集成于无人设备的定位技术进行采集，用于表征采集到的无人设备在真实空间中的位置信息。

比如，上述定位数据可以是GPS数据。需要说明的是，本申请中使用的定位技术可以基于全球定位系统（Global Positioning System, GPS）、全球导航卫星系统（ GlobalNavigation Satellite System, GLONASS），罗盘导航系统（COMPASS）、伽利略定位系统、准天顶卫星系统（Quasi-Zenith SatelliteSystem, QZSS）、无线保真（Wireless Fidelity,WiFi）定位技术、北斗卫星导航定位系统等，或其任意组合。一个或多个上述定位系统可以在本申请中互换使用。

为了使每一个被采集到的图像帧均存在一个对应的定位数据，可以控制无人设备同步采集图像帧和定位数据。当然，在其他实施例中，只要能确保每一个图像帧均对应一个定位数据，也可以控制无人设备采用高于采集图像帧的频率对定位数据进行采集。

在一些实施例中，上述图像帧的采集频率可以根据预先设置的图像重叠度确定。也即，使采集到的相邻两帧图像帧所呈现的内容之间的重叠度满足上述预先设置的图像重叠度。比如，上述预先设置的图像重叠度可以是70%~80%。如此，在保障前后帧图像的重叠度的情况下，即便是非视频流（也即，前后帧图像为非连续采集的图像帧）也可以适用于本申请所提供的实时位姿确定方法，相较于相关技术而言，不再依赖于连续的视频流，一定程度上也减轻了数据处理的压力。

此外，对于一些特别的无人设备，比如无人机，为了确保相邻两帧图像帧之间的重叠度满足预先设置的图像重叠度，还需要调整考虑到飞行高度等信息。

另外，上述地图数据为基于采集时间早于上述待估图像帧的历史图像帧所创建。上述历史图像帧也是由无人设备采集到的图像帧。换句话说，上述历史图像帧和待估图像帧本质上都是图像帧，历史图像帧是相对于待估图像帧的概念，当无人设备采集的图像帧中确定出待估图像帧之后，时间早于该待估图像帧的图像帧则被确定为历史图像帧。当然，所有的图像帧都可能被作为待估图像帧。在实时处理的场景下（即将每一帧实时采集到的图像帧作为待估图像帧的场景），无人设备已采集到的图像帧中除了待估图像帧之后便都是历史图像帧。

在一些实施例中，将待估图像帧与地图数据进行比较分析，以得到输出位姿信息。

步骤S102，根据地理参考模型，将输出位姿信息转化为世界坐标系下的实时位姿信息。

上述地理参考模型为视觉坐标系和世界坐标系之间用于数据转换的模型。上述视觉坐标系为一个相对坐标系，是从无人设备上用于采集图像帧的摄像机的角度所创建的坐标系。

上述地理参考模型包括第一转换矩阵和第二转换矩阵，上述第一转化矩阵用于将当地坐标系下的数据转化到世界坐标系中。上述第二转换矩阵用于将视觉坐标系下的数据转化到当地坐标系中。

上述世界坐标系是绝对坐标系以地球为参考的一种坐标系。比如UTM坐标、GPS坐标系，当然GPS和UTM之间也是可以相互转化的，上述定位数据便是无人设备在世界坐标系下的位置。

上述当地坐标系是采用初始图像帧的定位数据为原点所建立的坐标系。上述当地坐标系与世界坐标系之间的转换矩阵，在上述当地坐标系创建之后即可得到。

在一些实施例中，上述定位数据可以是采用高精度的实时动态（Real-timekinematic，RTK）技术采集到的数据，确保定位精度能够达到厘米级。上述获取待估图像帧所对应的定位数据可以是：根据待估图像帧的采集时间点，从已采集的定位数据中匹配出具有相同采集时间点的定位数据。也就是说，本实施例采用离散拍摄图像的方式，并在同时采集 RTK数据，在硬件的层面上做到采集数据时间上的一致性，在进行RTK数据与图像数据进行融合时无需进行时间上的对齐操作(vins-fusion)。

需要说明的是，由于无人设备采集 RTK 数据和图像数据是在同一时刻，且 RTK的尺度是确定的，因此根据视觉坐标系下的相机位姿及其对应的 RTK 信息，可以恢复出单目视觉的尺度信息，以及计算出视觉坐标系与世界坐标系的转换关系，从而将视觉的局部位置信息变换到世界坐标系下，以实现将输出位姿信息转化为世界坐标系下的实时位姿信息。

为了方便说明，下面以无人设备是带有图像采集模块的植保无人机为例对本发明实施例的实现细节进行描述。

可以理解地，当无人设备为其他设备时，实施例的实现细节也可以参考以下描述。

在一些实施例中，在上述步骤S101之前，上述实时位姿确定方法还可以包括步骤：获取待估图像帧及对应的定位信息。

示例性地，可以是在确定无人设备能够确保相邻两帧图像帧之间的重叠率满足预设设置的图像重叠率时，启动获取待估图像帧及其对应的定位数据。

在一些实施例中，无人机上安装的摄像头采集到的图像帧之间的重叠率与无人机的飞行高度有关。换句话说，图像帧之间的重叠率和采集频率、飞行高度均存在关联，故可以根据实际需求在三者之间确定一个平衡点，比如，需要按照设定的较为离散的频率（也即，间隔时间偏大的频率）采集图像时，可以通过调整飞行高度的方式确保相邻两帧图像帧之间的重叠率满足预设设置的图像重叠率，如此，确保重叠率的同时，降低图像的采集和处理压力。在此基础上述，上述获取待估图像帧和定位数据可以是识别到无人机的飞行高度达到与预先设置的图像重叠度所匹配的高度时，按照对应的采集频率启动图像帧和定位数据的采集。

另外，无人设备为其他设备时，图像帧之间的重叠率除了和采集频率相关，还可以与其他因素关联，比如，速度等。如此，同样可以根据实际需求在图像帧之间的重叠率、采集频率和其他因素之间寻找平衡点。

在一些实施例中，上述待估图像帧可以是由无人设备间接采集到的，在此基础上，上述步骤获取待估图像帧的方式可以是：

（1）对无人设备采集到的图像数据进行放缩处理。可以理解地，采集到的图像数据为原始数据，分辨率较大，显然，直接对原始数据进行处理耗时太高，故可以先对其进行放缩处理，以降低分辨率，从而方便缩短处理时耗。

（2）将放缩处理后得到的图像数据进行灰度处理，以得到对应的灰度图。

（3）对所得到的灰度图进行去噪，比如，对灰度图进行高斯模糊处理，筛除图中所存在的噪声，使图像更加的平滑。

（4）从去噪后的灰度图中进行特征点的提取，以作为最终得到的图像帧所对应的待选特征点。

在一些实施例中，采用相对离散的采集频率时，由于相邻两帧图像不是连续拍摄的，所以图像所呈现内容的变化比较大，采用轻便的ORB、BRISK等特征点提取算法效果不佳，由于两帧之间拍摄的时间间隔较大，可以采用这种SIFT算法，实现特征点有效提取的同时，达到实时的目的。

（5）对从图中提取的特征点进行畸变处理。

在一些实施例中，如图3所示，上述实时位姿确定方法还包括：

步骤S201，从创建地图数据所用的图像帧中获取参考图像帧。

需要说明的是，参考图像帧所对应的采集时间点与待估图像帧所对应的采集时间点相邻，也即，从采集时间轴的角度看，上述参考图像帧是上述待估图像帧的相邻上一帧图像帧。

步骤S202，基于参考图像帧及待估图像帧，创建局部增量地图。

在一些实施例中，如图4所示，上述步骤S202可以包括：

步骤S202-1，获取参考图像帧和待估图像帧之间的第二匹配对。

每个上述第二匹配对由分别来自参考图像帧和待估图像帧的两个特征点组成。在一些实施例中，可以分别获取参考图像帧的可选特征点和待估图像帧的待选特征点。依次将待选特征点与可选特征点进行比较，如果存在与之匹配的可选特征点，那么将该待选特征点与该可选特征点作为一组第二匹配对。

步骤S202-2，从第二匹配对中确定出目标特征点对。

上述目标特征点对与地图数据中已有的地图点均不匹配。换句话说，上述目标特征点对中的待选特征点与地图数据中的地图点均不匹配。

步骤S202-3，根据目标特征点对，创建局部增量地图。

在一些实施例中，可以采用三角测量的方式基于上述目标特征点对生成新的地图点，如此得到局部增量地图。

步骤S203，利用局部增量地图对地图数据进行更新，以便基于更新后的地图数据确定下一帧待估图像帧所对应的实时位姿信息。

可理解的，为了将定位数据融入地图数据中，利用局部增量地图对地图数据进行更新的过程需要利用到地理参考模型。然而，一些实施例中，地理参考模型需要在实际使用过程中逐步搭建，故，存在地理参考模型初始化成功和地理参考模型初始化未成功两种场景。

在地理参考模型已完成初始化的情况下，利用局部增量地图对地图数据进行更新的步骤包括：

1）根据视觉坐标系下无人设备的中心位置、定位数据及地理参考模型，生成定位误差。

上述定位误差为根据视觉坐标系下无人设备的中心位置和定位数据所确定的误差值。

在一些实施例中，可以是首先利用地理参考模型中的第一转换矩阵，将定位数据转换到当地坐标系中，得到当地定位数据。上述当地坐标系是采用初始图像帧（第一帧图像帧）的定位数据为原点所建立的坐标系。

其次，利用地理参考模型中的第二转换矩阵，将视觉坐标系下无人设备的中心位置转换到当地坐标系中，以得到当地中心信息。上述中心位置为无人设备几何中心的位置。

最后，根据当地定位数据和当地中心信息，计算定位误差。

示例性地，可以利用公式：

，

计算定位误差。其中，上述r为定位误差。上述

为当地坐标系下的定位数据，上述

为第二转换矩阵。上述

为视觉坐标系下无人设备的中心位置。

2）基于定位误差及重投影误差，对局部增量地图进行局部优化处理。

在一些实施例中，重投影误差为根据更新前的地图数据及待估图像帧所确定的误差值。上述步骤2）中提到的重投影误差的生成方式包括：

根据地图数据及上述待估图像帧，利用公式：

，

计算重投影误差。其中，上述e代表重投影误差，

代表特征点的像素坐标，此处提到的特征点为第一匹配对中的特征点。

代表无人设备用于采集图像帧的摄像头的相机内参矩阵，可以理解地，摄像头完成标定即可得到所对应的相机内参矩阵。R代表无人设备用于采集图像帧的旋转矩阵，t代表平移向量。

代表地图点的位置坐标。

3）利用优化处理后的局部增量地图更新地图数据。

在一些实施例中，可以利用待估图像帧所对应的定位误差及重投影误差，利用优化公式：

对局部增量地图进行局部优化处理。其中，q代表创建上述局部增量地图所用的图像帧的数量，n是待估图像帧中重投影点的个数。

的取值与每个特征点从图像金字塔中提取时的尺度相关。

代表重投影误差。m和a为根据重投影误差的信息设置的自适应权重因子。

在地理参考模型未完成初始化的情况下，利用局部增量地图对地图数据进行更新的步骤包括：

可选地，若地理参考模型不具备进行初始化的条件，则利用重投影误差，对局部增量地图进行局部优化处理。

在一些实施例中，可以利用待估图像帧所对应的重投影误差，利用优化公式：

对局部增量地图进行局部优化处理。其中，z代表创建局部地图所用的图像帧数量，n是待估图像帧中重投影点的个数。

的取值与每个特征点从图像金字塔中提取时的尺度相关。

可选地，若地理参考模型具备进行初始化的条件，则根据创建地图数据所用的图像帧及对应的定位数据，初始化所述地理参考模型，并利用地理参考模型确定定位误差，根据定位误差及重投影误差，对更新后的地图数据进行全局优化处理。

在一些实施例中，如图5所示，上述初始化所述地理参考模型的方式包括：

步骤S1，获取创建地图数据所用的图像帧，作为第一目标图像帧。

步骤S2，确定采集到每帧第一目标图像帧时视觉坐标系下无人设备的中心位置。

步骤S3，将第一目标图像帧所对应的定位数据，转换到当地坐标系下。

步骤S4，根据第一目标图像帧所对应的中心位置和定位数据，筛除不适合用于初始化地理参考模型的图像帧，以得到第二目标图像帧。

由于视觉位姿计算的误差和传感器采集数据时可能丢帧等情况，某些帧的位置上可能会存在误差较大的情况，这会影响方程优化的结果，为了避免这种情况，为了避免这种情况，需要筛除不适合用于初始化地理参考模型的图像帧，即剔除其中一些误差较大的数据，比如，采用随机采样一致性的方式进行筛除处理。

步骤S5，根据第二目标图像帧，构建最小二乘，计算对应的地理参考模型。

在一些实施例中，地理参考模型中的第一转换矩阵在创建当地坐标系之后即可得到。上述地理参考模型中的第二转换矩阵可以通过以下方式得到：

首先，可以根据多个第二目标图像帧及公式：

，

构建最小二乘，解算出用于待选的第二转换矩阵。

然后，根据上述待选的第二转换矩阵，利用公式：

；

确定出初始化后的地理参考模型的第二转换矩阵。其中，r为定位误差，上述

为当地坐标系下的定位数据，上述

为第二转换矩阵。上述

为视觉坐标系下无人设备的中心位置。上述x的取值为第二目标图像帧的数量，

代表信息矩阵。

在一些实施例中，上述根据定位误差及重投影误差，对更新后的地图数据进行全局优化处理的方式包括：利用待估图像帧所对应的定位误差及重投影误差，利用优化公式：

对更新后的地图数据进行全局优化处理。其中，z代表创建地图数据所用的图像帧数量，n是待估图像帧中重投影点的个数。

的取值与每个特征点从图像金字塔中提取时的尺度相关。

此外，在一些实施例中，在地理参考模型已完成初始化前提下，在利用对应的定位误差和重投影误差，对局部增量地图进行局部优化之前，上述实时位姿确定方法还包括：根据创建地图数据所用的图像帧及对应的定位数据，更新地理参考模型，以便利用更新后的地理参考模型确定对应的定位误差，并根据定位误差及重投影误差，对局部增量地图进行局部优化处理。

上述更新地理参考模型的过程可以参考初始化地理参考模型的过程，相较于初始化地理参考模型而言，所使用的图像帧更加多，从而能够提高地理参考模型的准确性。

在一些实施例中，如图6所示，上述步骤S101可以包括以下子步骤：

子步骤S101-1，根据地图数据及待估图像帧，预估无人设备采集到待估图像帧时的初始位姿信息。

在一些实施例中，上述步骤S101-1可以包括下述步骤：

步骤一，获取地图数据和待估图像帧之间的第一匹配对。

在一些实施例中，上述步骤一的目的在于确定出地图数据中与待估图像帧之间相关的特征点，并建立其与待估图像帧中的特征点之间的关联。每组第一匹配对均是由地图数据中的一个地图点与待估图像帧中一个特征点组合而成。属于同一第一匹配对的地图点和特征点之间匹配。

另外，需要说明的是，计算定位误差时提到的

可以是第一匹配对中的地图点的位置信息。

可选地，可以选择以下方式实现上述步骤一：

方式一：首先，从待估图像帧中提取多个待选特征点。可以理解地，可以是利用SIFT算法从待估图像帧中提取待选特征点。

其次，从历史图像帧中获取参考图像帧。需要说明的是，参考图像帧所对应的采集时间点与待估图像帧所对应的采集时间点相邻，也即，从采集时间轴的角度看，上述参考图像帧是上述待估图像帧的相邻上一帧图像帧。

再次，在地图数据中确定出与参考图像帧对应的第一地图区域。可以理解地，上述地图数据是根据历史图像帧创建得到的，故每一帧历史图像帧都可以对应着地图数据中的一个区域。该第一地图区域中的地图点为根据参考图像帧所生成。

最后，根据第一地图区域和多个待选特征点，确定出彼此匹配的第一地图点和第一特征点，以得到所述第一匹配对。可选地，将待选特征点依次与第一地图区域中的每个地图点进行匹配比较，若存在与该待选特征点匹配的地图点，那么将该待选特征点作为第一特征点以及将与之匹配的地图点作为第一特征点。

方式二：首先，从历史图像帧中获取可视图像帧。需要说明的是，上述可视图像帧为与待估图像帧、参考图像帧之间均存在重叠的图像内容的历史图像帧。可理解的，在其他条件固定的情况下，图像帧之间的采集位置关系直接影响着图像帧之间重叠度，因此，可利用待估图像帧的定位数据与历史图像帧的定位数据进行比较，以确定出共视帧。其次，在地图数据中确定出与参考图像帧对应的第二地图区域。最后，根据第二地图区域和多个待选特征点，确定出彼此匹配的第二地图点和第二特征点，以得到第一匹配对。

可以采用图7为例说明，确定待估图像帧与共视图像帧所对应的地图点之间匹配关系的方式：图中C5图像帧为待估图像帧，C1图像帧、C2图像帧、C3图像帧与 C4 图像帧为共视图像帧，将C5与C4进行特征点匹配，确定出C5上的特征点1与C4上的特征点2之间匹配。C4的特征点2与P5地图点对应，由于图像帧之间的共视关系，从而找到 C5 图像帧的特征点1与 P5 地图点之间也存在匹配，以及特征点1与P5地图点之间组成一第一匹配对。同理，也可以得到 C5 图像帧中的特征点与 C3 图像帧对应的地图点 P6 所匹配、与 C2 图像帧对应的地图点 P7 所对应。

方式三：结合上述方式一和二，也即，不仅基于参考图像帧所对应的第一地区区域与待估图像帧获取匹配的第一匹配对，还要基于可视图像帧所对应的第二地图区域与待估图像帧获取匹配的第一匹配对。从而得到丰富的第一匹配对，提高计算出的位姿的精度。

步骤二，根据第一匹配对，计算初始位姿信息。

在一些实施例中，可以利用Perspective-n-Points（比如，P3P）进行位姿求解。需要说明的是，P3P是一种由3D-2D的位姿求解方式，即基于已知匹配的3D点（地图点）和图像2D点（特征点）进行位姿求解。

在一些实施例中，待估图像帧为采集到的第一帧图像帧时，即不存在基于历史图像帧创建的地图数据时，可以等到接收到第二帧图像帧时，根据第一帧和第二帧图像帧，创建地图数据，并分别求解出第一帧图像帧和第二图像帧所对应的初始位姿信息。

子步骤S101-2，对初始位姿信息进行优化，得到输出位姿信息。

在一些实施例中，上述子步骤S101-2可以是利用重投影误差，对初始位姿信息进行优化，得到输出位姿信息。

在一些实施例中，可以是利用重投影误差，构建优化方程式：

，以便于利用上述优化方程式对初始位姿数据进行优化。其中，n是待估图像帧中重投影点的个数，可以理解为第一匹配对的数量。

的取值与每个特征点从图像金字塔中提取时的尺度相关。

是信息矩阵。

代表第i个第一匹配对所对应的重投影误差。

代表优化后得到的输出位姿信息。

在另一些实施例中，上述子步骤S101-2包括：利用对应的定位误差及重投影误差，对初始位姿信息进行优化，得到输出位姿信息。

在一些实施例中，利用对应的定位误差及重投影误差，对初始位姿信息进行优化可以是根据定位误差和重投影误差，构建优化方程式：

的取值与每个特征点从图像金字塔中提取时的尺度相关。

代表第i个第一匹配对所对应的重投影误差。

是信息矩阵。m和a为根据重投影误差的信息设置的自适应权重因子，该自适应权重因子用于平衡重投影误差和定位误差。r代表定位误差。

代表优化后得到的输出位姿信息。

本领域技术人员可以根据实际情况选择“利用重投影误差，对初始位姿信息进行优化”的方案或者“利用对应的定位误差及重投影误差，对初始位姿信息进行优化”的方案获得输出位姿信息。

在选择“利用对应的定位误差及重投影误差，对初始位姿信息进行优化”这一方案时，由于计算定位误差涉及到地理参考模型，那么在地理参考模型未完成初始化时，便无法得到有效的定位误差。在此情况下，依然只能利用重投影误差，对初始位姿信息进行优化，直至得到能够生成有效的定位误差的地理参考模型。

在一些实施例中，判断是否可以得到地理参考模型的方式可以是对历史图像帧的数据进行统计，当历史图像帧的数量达到预设值，则判断可以构建地理参考模型。并基于此，进行地理参考模型构建（也即，地理参考模型的初始化）。

在一些实施例中，上述步骤S102的目的在于将相对坐标系下的位姿转换到绝对坐标系下，这一转换有效的避免相对坐标存在误差时，使用于决策的位姿数据不够准确。

在一些实施例中，上述步骤S102可以是利用地理参考模型中的第二转换矩阵，将输出位姿信息转化到当地坐标系。根据地理参考模型中的第一转换矩阵，对转化到当地坐标系下的输出位姿信息进行逆转换处理，以得到所述世界坐标系下的实时位姿信息。

为了执行上述实施例及各个可能的方式中的相应步骤，下面给出一种实时位姿确定装置600的实现方式，可选地，该实时位姿确定装置600可以采用上述图1所示的电子设备100的器件结构。进一步地，请参阅图8，图8为本发明实施例提供的一种实时位姿确定装置600的功能模块图。需要说明的是，本实施例所提供的实时位姿确定装置600，其基本原理及产生的技术效果和上述实施例相同，为简要描述，本实施例部分未提及之处，可参考上述的实施例中相应内容。该实时位姿确定装置600包括：预估模块601和处理模块602。

预估模块601，用于根据得到的待估图像帧及地图数据，预估无人设备采集到所述待估图像帧时的输出位姿信息。

其中，所述地图数据为基于采集时间早于所述待估图像帧的历史图像帧及所述历史图像帧的定位数据所创建的地图。

处理模块602，用于根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为所述视觉坐标系和所述世界坐标系之间用于数据转换的模型。

在一些实施例中，上述实时位姿确定装置还包括：

获取模块，用于从创建所述地图数据所用的图像帧中获取参考图像帧；其中，所述参考图像帧所对应的采集时间点与所述待估图像帧所对应的采集时间点相邻；

在一些实施例中，在所述地理参考模型已完成初始化的情况下，所述更新模块具体用于：

利用优化处理后的所述局部增量地图更新所述地图数据；

可选地，上述模块可以软件或固件（Firmware）的形式存储于图1所示的存储器101中或固化于该电子设备100的操作系统（Operating System，OS）中，并可由图1中的处理器103执行。同时，执行上述模块所需的数据、程序的代码等可以存储在存储器101中。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种实时位姿确定方法，其特征在于，所述实时位姿确定方法包括：

根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为视觉坐标系和所述世界坐标系之间用于数据转换的模型；

利用优化处理后的所述局部增量地图更新所述地图数据；

2.根据权利要求1所述的实时位姿确定方法，其特征在于，在所述地理参考模型已完成初始化的情况下，在所述生成定位误差的步骤之前，还包括：

根据创建所述地图数据所用的图像帧及对应的定位数据，更新所述地理参考模型，以便利用更新后的所述地理参考模型确定所述定位误差。

3.根据权利要求1所述的实时位姿确定方法，其特征在于，所述根据视觉坐标系下所述无人设备的中心位置、所述定位数据及所述地理参考模型，生成定位误差的步骤，包括：

利用所述地理参考模型中的第一转换矩阵，将所述定位数据转换到当地坐标系中，得到当地定位数据；其中，所述当地坐标系是采用初始图像帧的定位数据为原点所建立的坐标系；

利用所述地理参考模型中的第二转换矩阵，将所述视觉坐标系下所述无人设备的中心位置转换到所述当地坐标系中，以得到当地中心信息；

根据所述当地定位数据和所述当地中心信息，计算所述定位误差。

4.根据权利要求1所述的实时位姿确定方法，其特征在于，在所述地理参考模型未完成初始化的情况下，所述利用所述局部增量地图对所述地图数据进行更新的步骤包括：

若所述参考模型不具备进行初始化的条件，则利用重投影误差，对所述局部增量地图进行局部优化处理；利用优化处理后的所述局部增量地图更新所述地图数据；

若所述参考模型具备进行初始化的条件，则利用所述局部增量地图更新所述地图数据；根据创建所述地图数据所用的图像帧及对应的定位数据，初始化所述地理参考模型；利用初始化后的所述地理参考模型确定定位误差；根据所述定位误差及重投影误差，对更新后的所述地图数据进行全局优化处理。

5.根据权利要求4所述的实时位姿确定方法，其特征在于，所述初始化所述地理参考模型的方式包括：

获取创建所述地图数据所用的图像帧，作为第一目标图像帧；

确定每帧所述第一目标图像帧所对应的所述无人设备的中心位置；

将每帧所述第一目标图像帧所对应的定位数据，转换到当地坐标系下；

根据所述第一目标图像帧所对应的中心位置和所述当地坐标系下的定位数据，筛除不适合用于初始化所述地理参考模型的图像帧，以得到第二目标图像帧；

根据所述第二目标图像帧，构建最小二乘，计算对应的地理参考模型。

6.根据权利要求1所述的实时位姿确定方法，其特征在于，所述基于所述参考图像帧及所述待估图像帧，创建局部增量地图的步骤包括：

获取所述参考图像帧和所述待估图像帧之间的第二匹配对；

从所述第二匹配对中确定出目标特征点对；其中，所述目标特征点对与所述地图数据中已有的地图点均不匹配；

根据所述目标特征点对，创建局部增量地图。

7.根据权利要求1-6任一项所述的实时位姿确定方法，其特征在于，所述根据得到的待估图像帧及地图数据，预估无人设备采集到所述待估图像帧时的输出位姿信息的步骤包括：

根据所述地图数据及所述待估图像帧，预估无人设备采集到所述待估图像帧时的初始位姿信息；

对所述初始位姿信息进行优化，得到所述输出位姿信息。

8.根据权利要求7所述的实时位姿确定方法，其特征在于，所述对所述初始位姿信息进行优化，得到所述输出位姿信息的步骤包括：

利用重投影误差，对所述初始位姿信息进行优化，得到所述输出位姿信息；所述重投影误差为根据所述地图数据及所述待估图像帧所确定的误差值。

9.根据权利要求7所述的实时位姿确定方法，其特征在于，所述对所述初始位姿信息进行优化，得到所述输出位姿信息的步骤包括：

利用对应的定位误差及重投影误差，对所述初始位姿信息进行优化，得到所述输出位姿信息；其中，所述定位误差为根据视觉坐标系下所述无人设备的中心位置和所述定位数据所确定的误差值；所述重投影误差为根据所述地图数据及所述待估图像帧所确定的误差值。

10.根据权利要求7所述的实时位姿确定方法，其特征在于，所述预估无人设备采集到所述待估图像帧时的初始位姿信息的步骤包括：

获取所述地图数据和所述待估图像帧之间的第一匹配对；

根据所述第一匹配对，计算所述初始位姿信息。

11.根据权利要求10所述的实时位姿确定方法，其特征在于，所述获取所述地图数据和所述待估图像帧之间的第一匹配对的步骤包括：

从所述待估图像帧中提取多个待选特征点；

从创建所述地图数据所用的图像帧中获取参考图像帧；

在所述地图数据中确定出与所述参考图像帧对应的第一地图区域；

根据所述第一地图区域和多个所述待选特征点，确定出彼此匹配的第一地图点和第一特征点，以得到所述第一匹配对。

12.根据权利要求11所述的实时位姿确定方法，其特征在于，所述获取所述地图数据和所述待估图像帧之间的第一匹配对的步骤还包括：

从所述历史图像帧中获取可视图像帧；其中，所述可视图像帧与所述待估图像帧、所述参考图像帧之间均存在重叠的图像内容；

在所述地图数据中确定出与所述参考图像帧对应的第二地图区域；

根据所述第二地图区域和多个所述待选特征点，确定出彼此匹配的第二地图点和第二特征点，以得到所述第一匹配对。

13.根据权利要求1所述的实时位姿确定方法，其特征在于，所述根据地理参考模型，将所述输出位姿信息转化为世界坐标系下的实时位姿信息的步骤包括：

利用所述地理参考模型中的第二转换矩阵，将所述输出位姿信息转换到当地坐标系；

根据所述地理参考模型中的第一转换矩阵，对转化到所述当地坐标系下的输出位姿信息进行逆转换处理，以得到所述世界坐标系下的实时位姿信息。

14.一种实时位姿确定装置，其特征在于，所述实时位姿确定装置包括：

处理模块，用于根据地理参考模型，将所述输出位姿信息转换为世界坐标系下的实时位姿信息；其中，所述地理参考模型为视觉坐标系和所述世界坐标系之间用于数据转换的模型；

更新模块，用于利用所述局部增量地图对所述地图数据进行更新，以便基于更新后的所述地图数据确定下一帧待估图像帧所对应的实时位姿信息；

利用优化处理后的所述局部增量地图更新所述地图数据；

15.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有能够被所述处理器执行的机器可执行指令，所述处理器可执行所述机器可执行指令以实现权利要求1-13任一所述的实时位姿确定方法。

16.根据权利要求15所述的电子设备，其特征在于，所述电子设备为所述无人设备，所述无人设备为带有图像采集模块的植保无人机，所述图像采集模块用于采集待估图像帧，并根据所述待估图像帧和对应的地图数据执行所述实时位姿确定方法。

17.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-13中任一项所述的方法。