CN111133274A

CN111133274A - 用于估计在环境和磁场中运动的对象的运动的方法

Info

Publication number: CN111133274A
Application number: CN201880061313.4A
Authority: CN
Inventors: 大卫·维西埃; 马蒂厄·希尔伊恩; 大卫·卡鲁索
Original assignee: Xi Sinawei
Current assignee: Xi Sinawei
Priority date: 2017-07-21
Filing date: 2018-07-19
Publication date: 2020-05-08
Anticipated expiration: 2038-07-19
Also published as: JP7249995B2; KR20200038262A; FR3069317B1; US20200208981A1; EP3655725A1; US10996059B2; WO2019016473A1; FR3069317A1; CN111133274B; JP2020527235A

Abstract

本发明涉及一种用于对在环境(Σ)和周围磁场中运动的对象(1)的运动进行估计的方法，所述方法的特征在于包括以下步骤：(a)采集：通过相对于所述对象(1)固定的惯性测量装置(24)来采集所述对象(1)的加速度和/或角速度的至少一个分量，其称为惯性数据；通过相对于所述对象(1)固定的磁性测量装置(20)来采集在所述磁性测量装置(20)处的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；通过相对于所述对象(1)固定的光学采集装置(26)来采集所述环境(Σ)的连续图像，其称为视觉数据；(b)由数据处理装置(21，31，41)使用惯性数据及磁性数据和/或视觉数据来估计所述对象(1)的运动的至少一个分量。

Description

用于估计在环境和磁场中运动的对象的运动的方法

一般技术领域

本发明涉及没有GPS的导航领域。

更确切地说，其涉及通过磁力-视觉-惯性技术进行的估计对象的运动的方法。

背景技术

所谓视觉-惯性导航技术或VINS(视觉辅助惯性导航系统)使得可以精确地估计在被视为静态的环境中的固体的速度(并且由此，通过积分，使得可以精确地估计在被视为静态的环境中的固体的位置)。

精确地，作为已经在常规惯性技术中使用的方程的补充，对连续采集的环境的图像进行比较，以根据(通常由惯性单元的陀螺仪测量的)角速度矢量Ω来估计(线性)速度矢量V。还可以从静态环境中采集固体的图像以达到同样的结果。

由于此有关固体速度的信息，对位置的估计的误差在最坏的情况下将与时间成正比，与常规惯性技术不同的是其是时间的二次函数。

这些视觉-惯性技术因此提供了满意度，并且需要比常规惯性方法(基于通过卡尔曼滤波器或另一信息观测器的积分，该信息来自陀螺仪和被嵌入希望估计位置和速度的固体的加速度计：通常，陀螺仪“维持”参考系，其中对加速度计的测量结果的双重时间积分使得可以估计该运动)更低性能的惯性传感器，并且因此体积较小。

因此，至少一个惯性单元被耦合到相对于惯性单元固定的至少一个相机。来源于这些传感器的数据被传送给通过解方程组将位置和速度信息递送给用户的电子采集和计算卡。

然而，目前观察到VINS有以下两个缺陷：

-它们具有高电耗。实际上，然而MEMS类型的标准惯性传感器的消耗是极低的，已经证明相机的电耗、并且特别是处理图像所需的处理器的电耗几乎更大两个数量级(见文献“Vision-inertial Odometry on Chip:An Algorithm-and-Hardware Co-designApproach”.Zhengdong Zhang,Amr Suleiman,Luca Carlone,Vivienne Sze,SertacKaraman,2017)。因此认识到对CPU架构上的系统进行操作需要约10瓦的功率，如果系统由电池供电，则这是有问题的。

-它们需要容易区分的环境的图像，这意味着它们经常被用于通常标配有相机并且在具有灯火和各种景观的外部环境(特指“在户外”，通常指自然或都市)中运动的无人机，但是它们在内部环境(特指“在户内”)中遇到诸如黑暗的隧道或具有含纹理很少的墙壁的房间的情况下几乎无法工作。另外，面对这种情况的系统的反应是增大相机的增益，这增大了图像中的噪声。可替选地，可以提供具有更好质量(对光更灵敏)的相机，这除了显著地体积(传感器和镜头尺寸)更大以外，消耗也超过低档相机。类似地，在其中相机被固定在环境中的系统的情况下，可能会有隐藏目标固体的障碍。

此外，这些系统在不同程度上基于视场主要与世界的静态部分进行交叉的假设，如果场景是动态的，则这种假设可能暂时是错误的。如果可以发现从图像中的动态区域分割出静态区域的纯粹的视觉方法，则所述方法在计算上是密集的，也趋向于增加消耗。

为了解决消耗的问题，可以通过在FPGA上实施大量计算或通过安装ASCI或甚至专用处理器(见例如微软的“HPU”)来改变硬件支持，这仍然非常昂贵。

可替选地，已经提出了找到性能和消耗之间的折衷，例如通过降低所采集图像的分辨率、其质量(单色相机的使用)或采集频率。这种解决方案进一步降低了在上述有问题的情况下的性能。

将期望有可用的大幅降低电耗，同时提高特别是在诸如户内的困难环境中的性能的新的视觉-惯性导航方法。

发明内容

本发明因此涉及根据第一方面的第一替代方案的一种用于对在环境和周围磁场中运动的对象的运动进行估计的方法，该方法的特征在于其包括以下步骤：

(a)采集：

○通过相对于所述对象固定的惯性测量装置来采集该对象的加速度和/或角速度的至少一个分量，其称为惯性数据；

○通过与所述对象构成整体的磁性测量装置来采集在磁性测量装置处的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；

○通过相对于所述对象固定的光学采集装置来采集的环境的连续图像，其称为视觉数据；

(b)由数据处理装置使用惯性数据以及磁性数据和/或视觉数据来估计所述对象的运动的至少一个分量。

本发明涉及根据第一方面的第二替代方案的一种用于对在环境和周围磁场中运动的对象的运动进行估计的方法，该方法的特征在于包括以下步骤：

(a)采集：

○通过相对于所述对象固定的磁性测量装置来采集在磁性测量装置处的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；

○通过相对于环境固定的光学采集装置来采集所述对象的连续图像，其称为视觉数据；

根据其他优势和非限制性特征：

●步骤(a)包括磁性数据和/或视觉数据的选择，在步骤(b)中使用的数据除惯性数据外为所选的一个或多个数据；

●步骤(a)包括对磁性数据和/或视觉数据的有效性进行的评估，根据所述有效性评估的结果进行的磁性数据和/或视觉数据的选择；

●磁性数据和视觉数据中的一个为默认数据并且另一个为重置数据，有效性评估针对默认数据实施，并且所选择的数据为：

-默认数据，如果默认数据被评估为有效，

-重置数据，如果默认数据未被评估为有效。

●对磁性数据和/或视觉数据的有效性的评估包括对运动估计的不确定性的评估；

●对磁性数据的有效性的评估包括对周围磁场的稳定性的评估，或者对梯度的非均匀性的评估；

●对视觉数据的评估包括：对感兴趣的点的数量的评估、对光强度的评估、对图像对比度的指示符的评估、或在光学采集装置相对于环境固定的情况下对图像中的对象的检测的成功的评估；

●步骤(b)包括：第一子步骤(b1)，其在优选方式中构造用于使用惯性数据以及磁性数据和/或视觉数据对环境制图的要素；以及第二子步骤b2，其根据所述制图要素估计对象的运动的至少一个分量；

●构造用于使用惯性数据以及磁性数据和/或视觉数据对环境制图的要素的第一子步骤(1)包括用于使用惯性数据以及磁性数据对环境制图的要素的第一粗略构造，然后使用视觉数据来精炼用于对环境制图的要素；

●步骤(a)包括惯性测量装置、磁性测量装置和光学采集装置中的一个利用通过另外两个采集的数据进行的先验校准。

根据第二方面，本发明涉及用于对在环境和周围磁场中运动的对象的运动进行估计的设备，其特征在于包括数据处理装置，其被配置为实施：

-用于接收以下数据的模块：

○对象的加速度和/或角速度的至少一个分量，由与所述对象集成的惯性测量装置采集，其称为惯性数据；

○通过相对于所述对象固定的磁性测量装置接收的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；

_○通过分别相对于所述对象或环境固定的光学采集装置接收的环境或对象的连续图像，其称为视觉数据；

-用于使用惯性数据以及磁性数据和/或视觉数据进行的对所述对象的运动的至少一个分量的估计的模块。

根据其他优势和非限制性特征：

●该设备为包括磁性测量装置和/或惯性测量装置和/或光学采集装置的机箱；

●该设备为移动终端或服务器，适合于与磁性测量装置、惯性测量装置和光学采集装置进行通信。

根据第三方面，本发明涉及包括根据本发明的第二方面的设备和连接的磁性测量装置、惯性测量装置和光学采集装置。

根据第四方面和第五方面，本发明涉及计算机程序产品，其包括：代码指令，用于执行根据本发明的第一方面的用于估计在周围磁场中运动的对象的运动的方法；以及可由计算机设备读取的存储装置，在计算机设备上计算机程序产品包括用于执行根据本发明的第一方面的对在环境和周围磁场中运动的对象的运动进行估计的方法的代码指令。

附图说明

通过阅读以下对优选实施例的描述，本发明的其他特征和优点将变得清楚。该描述将参考附图给出，在附图中：

-图1是用于实施根据本发明的方法的替代方案的设备的图；

-图2更详细地示出了根据另一替代方案的用于实施根据本发明的方法的机箱的示例；

-图3更详细地示出了根据第一替代方案的用于实施根据本发明的方法的机箱的示例。

具体实施方式

原理

本发明提出将磁力计添加到VINS以便实施附加的磁力-惯性导航技术。更具体地，使用可以被看作“视觉-惯性”和“磁力-惯性”系统的被表示为V-MINS的“视觉-磁力-惯性”系统。将想到的是，磁力-惯性导航是众所周知的，见文献FR2914739。

不是通过移除而是通过添加传感器来寻求降低系统的电耗可能似乎是违反直觉的，但结果是视觉方面和磁方面是完全互补的，并且它们的联合使用比单独使用视觉方面更经济。

更确切地说，视觉方面和磁方面在以下相反环境中更高效：然而在户内视觉出现错误的可能性更大，而磁力测定则是完全适合的。相反地，在户外环境中，然而磁梯度的缺乏可能纯粹阻碍磁力-惯性导航，而视觉则是完全适合的。

在下文中将描述这些数据的最佳利用的多种方式，但应当理解的是，首先，将磁力计添加到VINS系统提供了使得可以以自主的方式实施“航位推算”的信息，该方式不允许单靠惯性单元。

实际上，在常规VINS系统中，视觉数据被用于修正惯性数据，即实施重置。因此将理解的是，如果断开相机(例如由于人们处于黑暗区域，和不再对采集图像感兴趣，并且因此最好关闭相机以节约能源)，则不再重置。

在当前V-MINS系统中，由于磁力数据，甚至在断开相机时仍然可以实施重置。

因此，这可以减少相同性能级别的基于相机的重置所需的频率，或者甚至在一定的时间间隔(在磁力-惯性导航的操作域中)内省去相机以及相关的大量处理操作。

架构

参考图1，本方法使得能够估计在环境Σ和记为

的周围磁场(通常是地球的磁场，其可能会被附近金属对象或电流轻微地改变)中运动的对象1的运动。磁场是三维空间中的矢量场，就是说关联具有三个维度的矢量与对象可以在其中运动的每个三维点。

该对象1可以是需要知道其位置的任何可运动对象，例如轮式车辆、无人机等，也可以是人或这个人身体的一部分(他的手、他的头等)。

对象1配有磁性测量装置20，其是磁力计或梯度计。更确切地说，代替测量磁场

的分量的值，后者直接测量磁场梯度

的分量的值，即空间导数的值。这种磁梯度计20是本领域技术人员公知的。根据本发明的特定实施例，梯度计可以被用于直接测量二阶导数(二阶梯度)值，并且以一般方式测量N阶导数(N阶梯度)。

在说明书的剩余部分将以磁力计为例，但本领域技术人员将知道如何将其变换成梯度计。

一个或多个磁力计20是“轴向的”，就是说能够测量所述磁场分量，即所述磁场矢量

沿着其轴线的投影(或在梯度计的情况下，所述磁场的第N阶空间导数的分量，即在沿着其轴线的所述梯度计处的分量的变化)。

有利地，磁力计20的数量至少为3n+3，有利地以三个为一组组织成“三轴”，即，两两正交的磁力计20的三元组与相同的空间位置相关联并且沿着三个轴测量磁场。

以优选方式，与对象相关联的正交参考点是通过惯例(并且通过本说明书的剩余部分的便利性)来选择的，以便根据所述正交参考点对三轴进行有利地定向，以便进一步帮助计算。

但是本领域技术人员将知道如何在所有情况下将其转换为梯度计/磁力计的任何空间布置。

对象1还配有惯性测量装置是24。这种装置是本领域技术人员众所周知的，并且通常构成包括至少一个加速度计和/或至少一个陀螺仪(优选地为3个加速度计和三个陀螺仪，也以三轴布置的方式)的惯性单元。注意，陀螺仪测量惯性单元相对于标记为

的地面参考坐标系的瞬时角速度。注意，加速度计对除了施加到传感器的重力以外的外力敏感，并且使得可以测量标记为

的加速度。

相对于对象1将惯性测量装置20和磁性测量装置24固定，即其具有基本相同的在地面参考坐标系中的运动(也可以说测量装置20、24与对象1集成)。以优选方式，对象1的参考系被提供有其中标出了坐标的正交笛卡尔参考点(x₁，x₂，x₃)，磁力计20因此具有在该参考点的预先确定的位置。

用于实施该方法的系统至少包括光学采集装置26。在图2中示出的(将被取作本说明书的剩余部分中的示例的)本发明的主要实施例中，还相对于对象1来固定光学采集装置26(即它们具有相同的运动)并且观察环境Σ。为了更容易理解本方法，由对象1和光学采集装置26形成的组件将被简化为点，位于光学采集装置26的光学中心。这些光学采集装置26可以具有不同的性质，但优选地由一个或多个相机构成，并且为了限制电耗有利地为单个相机。一个或多个相机可以是深度相机，但是以优选的方式，将使用再现环境的可见图像而非深度图像的常规相机，并且特别地，简单CCD或COMS相机(彩色或黑白)就足够了，体积小并且能耗少。

在(将在下文更具体地描述的)替代实施例中，并且该实施例对应于图1，光学采集装置26相对于环境Σ固定并观察对象1。应当理解的是，(包含光学采集装置26的)第一实施例是优选的，因为其使得能够连续估计对象1的运动，包括其是否长距离运动。在第二实施例中，人们被限制于光学采集装置2的视野，但是如果例如有人跟随用户的身体部位的运动，则这是非常适合的。

参考图2，惯性测量装置20和磁性测量装置24、并且如果需要的话是光学采集装置26，是优选地具有附接到物体1的装置23的机箱2的惯性测量装置和磁性测量装置。如果对象1是人，则这些附接装置23例如构成手镯，例如握住手臂(例如手腕、手或头)并且能够固定连接的自握带，见图3中的示例。将清楚理解的是，本发明并不局限于估计人的运动，但是在这种用途中特别有利，因为其能够大大缩小体积，这是必要的，以便该机箱可以由人以人体工学的方式携带。

机箱2可以包括用于实时地直接地实施本方法的处理操作的处理装置21(通常为处理器)；或者替代地，可以经由通信装置25将测量结果发送到诸如移动终端(智能电话)3的外部设备，或者甚至远程服务器4；或者替代地，可以将测量结果记录在用于例如在服务器4上的后验处理的本地数据存储存储器装置22(例如，闪存存储器)中。

通信装置25可以实施短距离无线通信，例如蓝牙或Wi-Fi(特别地以移动终端3为实施例)或甚至是用于连接到移动网络(通常是UMTS/LTE)进行长距离通信的装置。应当指出的是，通信装置25可以是例如用于将数据从本地数据存储装置22传送到移动终端3或服务器4的本地数据存储装置的有线连接(通常是USB)。

如果主管“智能”的是移动终端3(相应地为服务器4)，其包括处理装置31(相应地为41)，诸如用于实施将要描述的本方法的处理操作的处理器。当使用的处理装置是机箱2中的那些处理装置21时，其可以进一步包括用于传送所估计位置的通信装置25。例如，承载器的位置可以被发送到移动终端3，以将该位置显示在导航软件界面中。

在本说明书的剩余部分中，将看出的是：机箱2的相应数据处理装置21、31、41、智能电话3和远程服务器4可以无差别地并且根据应用来实施方法中的全部或部分步骤。

方法

在第一步骤(a)中，方法包括以下多达三种类型的数据的(特别地在对象1的参考坐标系中)采集：

-通过相对于所述对象1固定的惯性测量装置24采集以下的至少一个分量：

○加速度和/或

○对象1的角速度(优选地角速度的三个分量，以及加速度的三个分量)。

-通过相对于所述对象1固定的磁性测量装置20(一个或多个梯度计/一个或多个磁力计)采集以下分量：

○磁场和/或

○所述磁场

的具有一个或多个值(如解释的，可以使用多个梯度计/磁力计以便测量多阶导数或直接测量磁场的值)的至少一个第i阶导数。

-通过光学采集装置26，即：

○如果它们相对于对象1固定，则采集环境Σ的连续图像；

○如果它们相对于对象1的环境Σ固定，则采集对象1的连续图像。

为方便起见，本说明书的剩余部分“惯性数据”将指代由惯性测量装置24采集的对象1的加速度和/或角速度的一个或多个分量；“磁性数据”将指代由磁性测量装置20采集的磁场的一个或多个分量和/或所述磁场

的至少一个第i阶导数；并且“视觉数据”指代由光学采集装置26采集的图像。

这些数据以dt采样(即，每“dt”秒)来有利地采集，其中dt采样具有与对象1的运动的特征时间相比非常小的dt，通常为40ms。

如将在下文看到的，这些量中的每个并不一定在每个时间步长处测量。更具体地，在每个瞬间，可以关闭磁性测量装置20和/或光学采集装置26以便仅永久采集三种数据中的两种数据，或甚至仅一种：惯性数据和优选地为磁性数据或视觉数据。应当指出的是，已知在VINS系统中以低于惯性数据的频率来采集图像以限制消耗，但是该频率在显著漂移的风险下仍保持相对较高。

在步骤(b)中，数据处理装置21、31、41估计对象1的运动的至少一个分量，特别是线速度V的全部分量。还可以估计或至少验证角速度矢量Ω的一个或多个分量。该估计使用惯性数据、以及磁性数据和/或视觉数据来实施。换句话说，使用的数据集可以动态地变化：惯性+磁性或者惯性+视觉、或者惯性+磁性+视觉。

下文将描述根据这些数据估计对象的运动的不同方式。

数据的选择

应当指出的是，步骤(a)仍包括惯性数据的连续采集，但是磁性数据或视觉数据的采集可能仅是间歇性的。然而，步骤(a)可以可替选地包括三种类型的数据的连续采集，但是并不一定始终将它们考虑在内：可以回顾能耗的绝大部分是由于相关的繁重处理操作。

在此方面中，步骤(a)有利地包括磁性数据和/或视觉数据的选择。如解释的，一般实际上不必在测量中同时使两种数据可用，其中总是存在有效的两个中的一个(并且通常是两个)：在户外，至少视觉数据将是可靠的，并且在户内至少磁性数据将是可靠的。

在此方面中，磁性数据和/或视觉数据的选择有利地作为磁性数据和/或视觉数据的有效性测试的结果。

例如，可以确定这些数据的类型中的一个是默认类型(另一个被指定为校正数据)，并验证了该类型的有效性。实际上巧妙地假设如果默认数据无效，则其他数据有效。可以提供的是，当默认数据不可靠时，选择重置数据或两个数据。

例如，根据第一示例(图2中的机箱)，对象1是在室外运动的无人机。已知视觉数据的处理在惯性数据的重置中总是会给出很好的结果，但是此类视觉数据处理将是能源成本很高的。然而，节约能源对于使用电池供电并且仅具有受限自主权的无人机来说是至关重要的。于是可以定义默认数据的类型的磁性类型，也就是说在正常情况下选择并使用磁性数据，而不使用视觉数据(因为磁力计的能耗远低于相机的能耗)。如果有效性测试(通常在磁性干扰的情况下)对于磁性数据不是决定性的，则选择视觉数据作为替代以完成重置。

根据第二示例(图1中的机箱)，对象1是虚拟现实头戴耳机，其中光学采集装置26观察头戴耳机并且不相对于后者而固定。至于装置26不被安装在对象1上，它们的电耗问题更少，这就是为什么然后可以定义默认数据的类型为视觉类型，也就是说在正常情况下选择和使用视觉数据而非磁性数据。如果有效性测试对于视觉数据来说不是决定性的(通常如果用户的手隐藏对象1)，则选择磁性数据作为替代以完成重置。

可以实施各种有效性测试，并且潜在地进行组合。可以以无差别的方式(即不仅仅测试磁性数据的有效性还测试视觉数据的有效性)通过估计例如漂移不确定性特别是以圆锥的形式来验证轨迹质量。如果此圆锥的宽度超过阈值，则意味着默认数据是不可靠的。

更具体地，对于视觉数据，可以例如作出以下操作：

-验证图像至少具有预先确定的最小数量的感兴趣的点；

-验证光强度高于阈值；

-验证图像对比度是足够的；

-等等。

更具体地，对于磁性数据，人们可以例如作出以下操作：

-评估磁场的稳定性(见申请FR1756958)；

-验证梯度的非均匀性。

-等等。

此外，应注意：不一定存在针对选择的有效性的评估；并且至少在某个时刻可以默认选择磁性数据和视觉数据，而与数据的有效性无关，例如，在方法初始化时，或者在制图的质量下降时(见下文)，或者在只是在一段时间结束后。

因此，可以例如考虑图像间时间距离的标准以基于惯性数据和磁性数据由于有图像信息至少验证导航的漂移，并且仅在必要时校正。

如果精度是应用的第一标准，则还可以使用默认的两种测量结果，并且定期验证两种测量结果与彼此的相干性。有效性测试则仅在非相干的情况下实施以用于使传感器暂时无效。

运动的估计

如解释的，在步骤(b)中，数据处理装置21、31、41使用惯性数据和磁性数据估计对象1的运动的至少一个分量，特别是线速度V和/或角速度Ω的全部分量。

已知有许多技术使用惯性数据和磁性数据、或使用惯性数据和视觉数据来估计运动的一个或多个分量，包括永久地使用惯性数据和间歇性地使用视觉数据的技术。

因此，步骤(b)可以简单实施磁性-惯性导航算法和视觉-惯性导航算法，以及根据所选择的数据使用一个或另一个算法。

可替选地，使用已知的视觉-惯性导航技术并且加上考虑磁性数据是简单且高效的。

例如，已知视觉-惯性滤波方法，特别是“平方根倒数”类型的滤波方法。在这些滤波方法中，状态由对象的姿态以及一组“关键图像”的姿态组成，并且使用基于惯性方程的滤波器的变化模型。只需向该滤波器添加至少一个磁场方程，使得

以便使滤波器为磁性-视觉-惯性。

在没有磁性数据的情况下(如果仅视觉数据被选择)，则可能消除一个或多个磁性方程的贡献。并且，在没有视觉数据的情况下(如果仅磁性数据被选择)，则滤波器将继续顺利操作。

一般来说，步骤(b)包括以优选方式构造用于使用惯性数据以及磁性数据和/或视觉数据对环境建图的要素的第一子步骤(b1)，以及根据所述(通过定位对象1)建图的要素估计对象1的运动的至少一个分量的第二子步骤(b2)。

建图的要素是完整地图或仅是环境中固定的并且可识别的被称为“地标”(沿着海上航行中的灯塔的线)的参考点。

应当指出的是，这两个步骤并不一定是不同的并且可以同时实施。在对环境建图的情况下，该技术被本领域技术人员称为SLAM(同步定位与建图)。

在没有完成中间建图而仅完成在步骤(b1)中的对地标位置的确定的情况下，该技术是本领域技术人员公知的，名为“视觉测距法”。应当指出的是，地标的位置可以作为测距法的隐式数据。例如，在滤波的情况下，这些地标的位置不总被包含在状态中。相反，在地标更可见时可以将它们三角化并且瞬间边缘化。

在两种情况下，步骤(b1)包括构造环境的数学表示，该环境具有对在被建图的环境的体积中运动的对象1进行重定位所必需的信息，或者至少提供有地标。

这种表示可以包括从光学采集装置26中推导出的信息(对视觉地标的描述)或从磁性测量装置20中推导出的信息(磁场和其梯度的地图)，特别是根据默认数据所在的信息。

应当指出的是，可以将除了视觉地标以外的信息放在地图中的磁场上。

简单示例可以针对每个地标对在检测到地标时测量出的场的方向与朝向地标的射线之间的角度进行关联。即使该场不能精确地向北移动，这也可以帮助在大地图中重定位，因为现在人们只需要将人们当前看见的地标与此刻已经看见的地图的地标进行关联，或者场或多或少地与当前测量出的场对齐。

用于构造步骤(b1)的建图要素的过程的优选实施例可以以能够在需要时将被同时执行的三个子步骤来描述：

(i)接收惯性、磁性和/或视觉数据；

(ii)粗略但高效地构造建图要素，优选地利用磁性和惯性数据唯一地实施，以便降低要记录的图像(主要为了重构而服务并且对于粗略定位较不重要的图像)的数量。

(iii)精炼建图要素，以便校正(可能执行后验的)步骤ii中的特别是利用视觉数据的潜在漂移。

由此可见，例如只要磁性数据是可靠的并且被选择，则可以保持在步骤ii，并且如果该数据被评估为不可靠且未被选择，则实施步骤iii。

建图要素必须包括视觉地标的3D定位信息：该信息可以来自声纳光学类型的方法(见申请WO 2011147947)，或者替代地，来自“运动重构(Structure From Motion(SfM))”或“光束调节(Bundle Adjustment，BA)”的传统方法，对所有数据进行迭代优化，从而找到点的3D定位，尽可能解释所有测量结果。这些SfM方法在现有技术中以合并或不合并惯性数据的形式存在。应当指出的是，制图要素的全部或部分可以都是已知先验的(特别是初始化方法)。

实际上，对于定位阶段，这些制图要素的准确性和完整性是首要的。并且SfM方法通常对于获得应用所需的精度和完整性的最终水平来说是必要的。然而，这些方法是繁琐的，并且其计算时间的增加比制图尺寸的线性增加大得多。

在这些SfM方法的基础是非线性优化的情况下，地标位置变量的初始化质量以及在建图阶段观察到它们的相机的质量对于朝向良好的局部最小值和快速收敛进行的收敛来说是原始的。

可以看出的是，本方法巧妙地将惯性数据、磁性和视觉数据进行组合，然后可以：

-与当前使用的方法(其中包括上述提到的VINS滤波方法)比较，大大降低构造初始化地标的定位变量所需的计算能力。这些较低的计算能力可以源于以下事实：对位置和三角剖分部分去耦，或者替代地基于磁性数据和惯性数据的先验位置使得可以减少对图像的一部分的兴趣点的搜索。

-在视觉模糊的情况(平坦的墙壁，黑暗的地方)下，帮助对最接近最终解决方案的变量(步骤ii)进行初始化。这允许SfM算法更快速地收敛。

-使SfM问题的变量初始化相对于数据收集期间进行的运动类型更加可靠。即使没有进行先验形成的用户进行的运动对于重建制图不是最佳的，这也可以使SfM问题的局部最小值收敛到最佳状态(在实践中必不可少的是，现有技术中用于3D重建的设备建议避免无法很好地解决优化问题的纯粹的旋转运动，添加磁性数据可以在用户做出的运动退化时避免污染轨迹的这些调节问题)。

校准

在优选方式中，步骤(a)包括惯性测量装置24、磁性测量装置20和光学采集装置26中的一个利用通过另外两个采集的数据进行的先验校准。在优选方式中，光学采集装置26利用惯性数据和磁性数据进行校准，或者磁性测量装置20利用惯性数据和视觉数据进行校准。

实际上，在惯性数据，磁性数据和视觉数据所承载的信息可能存在冗余的情况下，当同时考虑这些时，就可以校正与传感器相关的参数(磁性测量装置20的偏移或缩放系数、光学采集装置26的光轴与测量装置20、24之间的距离等)并且因此最终改善对运动的估计。

设备和系统

根据第二方面，本发明尤其涉及用于实施方法的实施例中的一个或另一个的设备2、3、4。

如先前说明的，根据第一实施例，设备是自主机箱2，包括磁性测量装置20和/或惯性测量装置24(优选地为磁性测量装置20和惯性测量装置24)和被配置用于实施方法的步骤的数据处理装置21。

机箱2还包括用于机箱2的附接装置23，并且如果需要的话，包括数据存储装置22(用于存储例如所估计的运动)和/或用于导出结果的通信装置25。

机箱2包括光学采集装置26(如果它们观察环境的话)，即这些是不同的并且以固定方式布置，并且与机箱2进行通信。在该实施例中，其中机箱2包括智能，优选地，人们处于机箱2还包括光学采集装置26的情况下(对象1是例如无人机的情况)。

根据第二实施例，设备为移动终端3或服务器4，适合于与磁性测量装置20和惯性测量装置24、以及光学采集装置26进行通信。

通常，在机箱2中布置磁性测量装置20和惯性测量装置24，并且在环境中以固定方式布置光学采集装置26，但是三个装置20、24、26可以在同一机箱2中、或者两个或甚至三个不同的机箱中。

换言之，终端3或服务器4包括被配置用于实施方法中的步骤的处理装置31或41。每个机箱2可以仍然包括数据处理装置21，用于控制装置20、24、26以及将测量到的数据(经由通信装置25)传送给数据处理装置31、41。

应指出的是，如有必要，则方法中的步骤可以在装置21、31、41之间分配。

在这种情况下，本发明还涉及根据该实施例的包括设备3、4的系统以及连接“卫星”的一个或多个机箱2。

在所有情况下，“主”设备2、3、4的数据处理装置21、31、41被配置为实施：

-用于接收以下的模块：

○对象1的加速度和/或角速度的至少一个分量，其称为惯性数据，由相对于所述对象1固定的惯性测量装置24采集。

○通过相对于所述对象1固定的磁性测量装置20的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据。

○通过分别相对于所述对象1或环境Σ固定的光学采集装置26的环境Σ或对象1的连续图像，其称为视觉数据。

-用于使用惯性数据以及磁性数据和/或视觉数据进行对所述对象1的运动的至少一个分量进行估计的模块。

计算机程序产品

根据第三和第四方面，本发明涉及计算机程序产品，包括：代码指令，其用于(在处理装置21、31、41上)执行根据本发明的第一方面的用于估计在环境Σ和周围磁场中运动的独享1的运动；以及存储装置，其可由在其上找到该计算机产品的计算机设备(例如数据存储装置22)读取。

Claims

1.一种用于对在环境(Σ)和周围磁场中运动的对象(1)的运动进行估计的方法，所述方法的特征在于包括以下步骤：

(a)采集：

_○通过相对于所述对象(1)固定的惯性测量装置(24)来采集所述对象(1)的加速度和/或角速度的至少一个分量，其称为惯性数据；

_○通过相对于所述对象(1)固定的磁性测量装置(20)来采集在所述磁性测量装置(20)处的磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；

_○通过相对于所述对象(1)固定的光学采集装置(26)来采集所述环境(Σ)的连续图像，其称为视觉数据；

对所述磁性数据和/或所述视觉数据的有效性进行评估，并根据有效性的所述评估的结果来选择所述磁性数据和/或所述视觉数据；

(b)由数据处理装置(21，31，41)使用所述惯性数据以及从所述磁性数据和所述视觉数据中选择的一个或多个数据来估计所述对象(1)的运动的至少一个分量。

2.一种用于对在环境(Σ)和周围磁场中运动的对象(1)的运动进行估计的方法，所述方法的特征在于包括以下步骤：

(a)采集：

_○通过相对于所述环境(Σ)固定的光学采集装置(26)来采集所述对象(1)的连续图像，其称为视觉数据；

对所述磁性数据和/或所述视觉数据的有效性进行评估，并根据所述有效性评估的结果来选择所述磁性数据和/或所述视觉数据；

3.根据权利要求1和2中的一项所述的方法，其中，所述磁性数据和所述视觉数据中的一个为默认数据并且另一个为重置数据，有效性评估针对所述默认数据实施，并且所选择的数据为：

-所述默认数据，如果所述默认数据被评估为有效，

-所述重置数据，如果所述默认数据未被评估为有效。

4.根据权利要求3所述的方法，其中，对所述磁性数据和/或所述视觉数据的有效性评估包括对估计所述运动的不确定性的评估。

5.根据权利要求1至4中的一项所述的方法，其中，对所述磁性数据的有效性评估包括对所述周围磁场的稳定性的评估，或者对梯度的非均匀性的评估。

6.根据权利要求1至5中的一项所述的方法，其中，对所述视觉数据的有效性评估包括：对感兴趣的点的数量的评估、对光强度的评估、对图像对比度的指示符的评估、或在所述光学采集装置(26)相对于所述环境(Σ)固定的情况下对图像中所述对象的检测的成功的评估。

7.根据权利要求1至6中的一项所述的方法，其中，步骤(b)优选包括：第一子步骤(b1)，其使用所述惯性数据以及所述磁性数据和/或所述视觉数据构造用于对环境制图的要素；以及第二子步骤(b2)，其根据制图的所述要素估计所述对象(1)的运动的至少一个分量。

8.根据权利要求7所述的方法，其中，使用所述惯性数据以及所述磁性数据和/或所述视觉数据构造用于对环境制图的要素的第一子步骤(b1)包括使用所述惯性数据以及所述磁性数据首先粗略构造用于对所述环境制图的要素，然后使用所述视觉数据来精炼用于对所述环境制图的要素。

9.根据权利要求1至8中的一项所述的方法，其中，步骤(a)包括所述惯性测量装置24、所述磁性测量装置20和所述光学采集装置26中的一个利用通过另外两个采集的数据进行的预先校准。

10.用于对在环境(Σ)和周围磁场中运动的对象(1)的运动进行估计的设备(2，3，4)，其特征在于其包括数据处理装置(21，31，41)，所述数据处理装置(21，31，41)被配置为用于实现：

-接收模块，其：

_○接收由相对于所述对象(1)固定的惯性测量装置(24)采集的所述对象(1)的加速度和/或角速度的至少一个分量，其称为惯性数据；

_○通过相对于所述对象(1)固定的磁性测量装置(20)接收磁场的至少一个分量和/或磁场的第i阶导数，其称为磁性数据；

_○通过分别相对于所述对象(1)或所述环境(Σ)固定的光学采集装置(26)接收所述环境(Σ)或所述对象(1)的连续图像，其称为视觉数据；

对所述磁性数据和/或所述视觉数据的有效性评估，以及根据所述有效性评估的结果对所述磁性数据和/或所述视觉数据的选择；

-用于使用所述惯性数据以及从所述磁性数据和所述视觉数据中选择的一个或多个数据对所述对象(1)的所述运动的至少一个分量进行估计的模块。

11.根据权利要求10所述的设备，所述设备为机箱(2)，包括：所述磁性测量装置(20)和/或所述惯性测量装置(24)和/或所述光学采集装置(26)。

12.根据权利要求11所述的设备，所述设备为移动终端(3)或服务器(4)，其适合于与所述磁性测量装置(20)、所述惯性测量装置(24)以及所述光学采集装置(26)进行通信。

13.一种系统，包括根据权利要求12所述的设备(3，4)和连接的磁性测量装置(20)、惯性测量装置(24)与光学采集装置(26)。

14.一种计算机程序产品，包括用于在所述程序在计算机上执行时执行根据权利要求1至9中的一项所述的对在环境(Σ)和周围磁场中运动的对象(1)的运动进行估计的方法。

15.一种能由计算机设备读取的存储装置，在所述存储装置上计算机程序产品包括用于执行根据权利要求1至9中的一项所述的对环境(Σ)和周围磁场中的对象(1)的运动进行估计的方法的代码指令。