CN113302656B

CN113302656B - 用于惯性/视频混合的设备和方法

Info

Publication number: CN113302656B
Application number: CN201980089386.9A
Authority: CN
Inventors: P·艾利
Original assignee: Safran Electronics and Defense SAS
Current assignee: Safran Electronics and Defense SAS
Priority date: 2018-12-12
Filing date: 2019-12-12
Publication date: 2022-09-27
Anticipated expiration: 2039-12-12
Also published as: FR3090170B1; US11415421B2; EP3895127B1; EP3895127A1; WO2020120914A1; CN113302656A; US20220074748A1; FR3090170A1

Abstract

本发明涉及一种安装在载体(2)上的用于惯性/视频混合的设备(2)，该设备包括：相机(6)，被配置成获取示出附接到载体(2)的预定标记(12)第一图像；处理单元(8)，被配置成：根据获取的第一图像估计载体(2)的速度，以将估计的速度与惯性单元产生的关于载体(2)的惯性数据混合(4)，在所获取的第一图像中定位标记(12)的位置，计算标记(12)的定位位置与参考位置之间的偏差，将计算出的偏差与预定阈值进行比较，以及当计算出的偏差大于预定阈值时发出警报信号。

Description

用于惯性/视频混合的设备和方法

技术领域

本发明涉及一种用于惯性/视频混合的设备和方法

背景技术

众所周知，在诸如飞行器之类的载体中会安装惯性单元，该惯性单元产生关于该载体的惯性数据(通常为该载体的位置、姿态及速度)。惯性单元从诸如加速度计和陀螺仪之类的惯性传感器中产生此类数据。

然而，由惯性单元产生的数据会漂移。这就是为什么要提出使用除惯性传感器之外的其他类型的传感器的原因，这些传感器产生的数据用于对惯性单元产生的惯性数据进行校正(在资料中也提到了惯性数据的重新调整)。将惯性数据与另一种类型的数据进行结合的处理通常称为混合(hybridization)。

已经提出了不同类型的混合。其中最著名的是惯性/卫星混合(通常缩写为GPS/INS)，该惯性/卫星混合包括惯性数据和由与卫星的星座通信的接收器捕获的卫星定位数据的组合。由于卫星定位数据的漂移较小，因此能够用于校正惯性数据。

已经证明了这种类型的混合对飞行器在飞行过程中的导航特别有用。

然而，需要注意的是，接收器接收到的GPS信号对干扰器的存在是非常敏感的。如今，许多驾驶员使用这种干扰器以避免被定位，尤其是在机场区域周围。GPS信号的另一个缺陷是这些信号的传播会受到建筑物的阻碍。出于所有这些原因，处于滑行或着陆阶段的飞行器会接收到带噪的GPS信号，从而导致GPS/INS混合失效。

已经提出了替代的混合来纠正该缺陷。这些混合之一是惯性/视频混合。惯性/视频混合包括通过由相机获取的图像来确定载体的速度，该相机在该载体移动时扫描载体的环境。使用该速度来校正惯性数据。

为了使惯性/视频混合有效运作，惯性单元与获取图像的相机需要协调一致，即，表示惯性数据的参考和表示根据相机的图像估计的速度的参考之间的相对位置是已知的。

相机和惯性单元之间的失调可能是由于相机相对于飞行器的过度偏移而造成的。这会损害惯性/视频混合产生的导航解决方案的精度。

在航空领域，将误差保持在有限的容差范围内以符合安全认证(安全)并检测误差何时偏离该容差范围是至关重要的。

发明内容

本发明的目的是检测用于惯性/视频混合的设备的惯性单元和相机之间的过度失调水平。

为此，根据本发明的第一方面，提出了一种安装在载体上的用于惯性/视频混合的设备，该设备包括：

-相机，该相机被配置成获取第一图像，该第一图像示出固定在载体上的预定标记；

-处理单元，该处理单元被配置成根据所获取的第一图像估计载体的速度，以将所估计的速度与惯性单元产生的关于载体的惯性数据混合，

其中，该处理单元还被配置成：

-在所获取的第一图像中定位标记的位置，

-计算该标记的定位位置与参考位置之间的偏差，

-将计算出的偏差与预定阈值进行比较，

-当计算出的偏差大于该预定阈值时发出警报。

根据本发明的第一方面的设备可以通过以下特征以单独地或在技术上可行的情况下以组合的方式来实现。

标记的参考位置可以是当惯性单元和相机协调时在相机所获取的参考图像中的标记的位置。

或者，混合设备包括第二相机，该第二相机被配置成获取也示出该标记的第二图像，并且处理单元还被配置成：

-在所获取的第二图像中定位预定标记的第二位置，

-通过对该第二位置应用表示从第二相机到第一相机的帧变化的预定变换来确定标记的参考位置。

优选地，处理单元被配置成当偏差大于预定阈值时，不基于估计出的速度来混合惯性数据。

优选地，处理单元被配置成通过计算出的偏差来估计载体的速度，以在计算出的偏差不大于预定阈值时校正相机相对于惯性单元的失调，并将速度与惯性数据混合，以产生载体的导航解决方案。

优选地，处理单元被配置成：

-确定所获取图像中示出标记的区域中的对比度水平，

-计算该区域中确定的对比度水平与参考对比度水平之间的对比度偏差，

-将对比度偏差与预定的对比度阈值进行比较，

-当对比度偏差大于预定对比度阈值时发出警报。

还提出了一种诸如飞行器之类的载体，该载体包括根据本发明的第一方面的用于惯性/视频混合的设备，以及固定在载体上且在相机视野内的标记。

根据本发明的第三方面，还提出了一种惯性/视频混合方法，该方法包括以下步骤：

-通过安装在载体上的相机获取第一图像，该第一图像示出固定在载体上的预定标记，

-根据所获取的第一图像估计载体的速度，以将所估计的速度与惯性单元产生的关于载体的惯性数据混合，

其中，该方法还包括：

-在所获取的第一图像中定位标记的位置，

-计算该标记的定位位置与参考位置之间的偏差，

-将计算出的偏差与预定阈值进行比较，

-当计算出的偏差大于该预定阈值时发出警报。

例如，载体是飞行器。可替选地，当该飞行器处于滑行或着陆阶段时，可以有利地执行该方法的步骤。

附图说明

本发明的其他特征、目的和优势将通过以下描述来显现，这些描述纯粹是说明性的且非限定性的，并且需要结合附图来进行考虑，在附图中：

[图1]图1示意性地示出了根据本发明的第一实施例的安装在载体上的用于惯性/视频混合的设备。

[图2]图2是根据本发明一个实施例的方法的步骤的流程图。

[图3]图3示意性地示出了根据本发明第二实施例的安装在载体上的用于惯性/视频混合的设备。

在所有的附图中，相似的元件具有相同的附图标记。

具体实施方式

参考图1，诸如飞行器之类的载体1包括惯性/视频混合设备2，在下文中被简称为混合设备2。

混合设备2包括惯性单元4、相机6、处理单元8和存储器10。

传统的惯性单元4包括多个惯性传感器，例如加速度计和陀螺仪。该单元被配置成产生关于载体1的惯性数据。这些惯性数据通常包括载体1的位置、速度和姿态的数据。惯性数据以第一参考表示。

惯性单元4固定在载体1的壁上。

相机6固定在载体1的外表面上。相机6被定位以观看载体1的环境。相机6也被定位成使得载体1的一部分处于相机6的视野内。尤其是确保载体1上固定的至少一个预定标记12处于相机6的视野内。

标记12是用作相机6的参考点的元件。标记12可以例如是现有的，即由飞行器的现有元件形成，例如天线、图案、空速管等。可替选地，标记12可以实际上是人造的，即，将标记添加到飞行器仅用作参考点。例如，人造的标记12可以采用附加在飞行器外表面的可见物的形式。

处理单元8被配置成借助于由惯性单元4提供的惯性数据以及从相机6获取的图像计算出的数据来执行典型的惯性/视频混合。在下文中明显的是，处理单元8被配置成在这种混合之前执行其他方法步骤，其目的是检测相机6和惯性单元4之间的过度失调。

处理单元8包括例如至少一个处理器，所述至少一个处理器被配置成执行实施这些方法步骤的计算机程序。

混合设备2还包括被配置成存储数据的存储器10。特别地，存储器10包括如下数据，该数据使得处理单元8能够借助于已知的模式识别处理来识别的图像中每个标记12。

参考图2，惯性/视频混合方法包括以下步骤。

在初步校准阶段100中，相机6位于参考位置。在该位置下，相机6和惯性单元4是协调的。相机6获取用于示出固定在载体1上的一个或每个标记12的参考图像。对于至少一个标记12，处理单元8应用模式识别处理来识别参考图像中的标记12。处理单元8在该图像中定位标记12的位置，该位置称为参考。该位置通常是由行号和列号(i，j)限定的图像像素。将每个标记12的参考位置存储在存储器10中。

该初步校准阶段100通常在载体1空闲时执行，例如在载体1的维护期间。

在稍后的使用阶段，载体1开始航行并且混合设备2执行以下步骤。

惯性单元4以传统的方式通过其惯性传感器产生惯性数据。

同时，相机6获取多个图像，包括示出载体1的环境的第一图像(步骤102)。如前所述，根据相机6放置在载体1上的位置，由相机6获取的第一图像还示出所使用的一个或每个标记12。

处理单元8应用模式识别处理来识别所获取的第一图像中的标记12。处理单元8对识别出的标记12的位置进行定位(步骤104)。该位置是由行号和列号(i’，j’)限定的图像像素。

此外，处理单元8确定参考位置(i，j)(步骤106)。在图1所示的实施例中，该确定步骤包括简单读取先前存储在混合设备2的存储器10中的数据。

处理单元8计算第一图像中标记12的位置与参考位置之间的偏差(步骤108)。

然后，处理单元8将该偏差与预定阈值进行比较(步骤110)。

如果该偏差大于预定阈值，则处理单元8发出警报信号(步骤112)。事实上，参考位置与第一图像中标记12的位置之间过高的偏差主要指示相机6相对于其参考位置的偏移，因此指示相机6和惯性单元4之间的潜在不协调。

例如，在步骤112期间向载体1的驾驶舱发送警报信号，使得可以向载体1上的飞行员通知混合设备2的故障。

此外，在有警报的情况下，处理单元8确保不会根据源自相机6的速度执行惯性/视频混合，尤其是根据在其中检测出偏差大于阈值的图像中计算出的速度。

相反，如果偏差不大于预定阈值，则处理单元8通过第一图像和偏差计算载体1的估计速度(步骤114)。

更准确地说，在步骤114期间，处理单元8在由相机6在不同时刻获取的两个图像中标记未固定在载体上的至少一个外部标记，这两个图像为第一图像和由相机6在第一图像之前或之后获取的另一图像。当载体1移动时，该外部标记在这两个图像中占据不同的位置。处理单元8首先估计该外部标记在两个图像之间的偏移。接着，处理单元利用先前在步骤108中计算出的位置偏差来校正该偏移。然后校正后的偏移除以用于间隔对两个图像的分别获取的时间段，以获得估计速度。

接着，处理单元8在惯性单元4获取的惯性数据与计算出的速度之间进行混合，以产生载体1的导航解决方案(步骤116)。

可选地，处理单元8还可以确定在所获取的第一图像中示出标记12的区域中的对比度水平。该对比度水平可以是所示出的标记12的不同部分之间的对比度(例如，在标记12是人造可见物类型的情况下，该可见物的黑色区域和白色区域之间的对比度或标记12本身与其环境之间的对比度)。然后，在这种情况下，处理单元8计算在相关区域中确定的对比度水平与参考对比度水平之间的对比度偏差，并将该对比度偏差与预定对比度阈值进行比较。当对比度偏差大于预定对比度阈值时，选择性地发出警报。这些附加步骤用于检测导致速度估计值的获取不够可靠而不能被用于惯性/视频混合的相机6的视觉条件。这些步骤可以在执行步骤104、106、108、110之前、之中或之后执行。

对相机6获取的多个图像重复前述步骤。

很明显，使用单个标记足以检测失调，以及在一定程度上由处理单元校正估计速度。然而，使用多个标记可以对该速度产生更有效地校正。

在上述方法执行期间，在初步阶段中确定的存储位置被用作参考位置，其中，在该初步阶段期间可以保证相机6和惯性单元4的协调特性。

然而，应当注意的是，载体1可以是可变形的，因此这种载体1的一些部分可能会相对于彼此偏移。尤其是飞行器的翼尖，其可以相对于飞行器的机身变形。由此，可能的是标记12可以相对于相机6偏移，而在相机6与惯性单元4之间不存在明显失调的情况。例如，可以存在下述情况：相机6安装在机身上，并朝向飞行器机翼方向的一侧，且标记12位于该机翼的翼尖处。当飞行器行驶时，机翼可以从下到上轻微地弯折，从而使得将由处理单元8确定的标记12的位置是可变的。在这种情况下，前述方法会基于该位置偏差过大而得出相机6和惯性单元2之间存在失调的结论，而事实并非如此。

图3示出了用于纠正该检测误报问题的混合设备2的第二实施例。根据该第二实施例的混合设备2包括第二相机7，该第二相机7朝向能被相机6看到的至少一个标记12。该第二相机7用作参考位置源。

在初步校准阶段，相机6和相机7中的每个相机都与惯性单元4协调。存储器10中存储从属于第二相机7的参考到属于第一相机6的参考的变换。

由根据第二实施例的混合设备2执行的方法与先前描述的方法的不同之处在于确定标记12的参考位置的步骤106不同，该步骤如下述执行。

第二相机7获取示出标记12的至少一个第二图像，该标记也在第一相机6获取的第一图像中示出。然而，在第二图像中，标记12是从不同的角度和不同的距离看到的。

处理单元8将步骤104应用于第二图像，以具体识别第二图像中的标记12并定位该标记在第二图像中的位置，将该位置常规地称为标记12的第二位置。

然后，处理单元8将对该第二位置应用帧变化以将该位置投影到第一相机6所见的平面中。应用该帧变化的结果是如前所述的参考位置，然后将该参考位置与第一图像中标记12的位置的偏差与阈值进行比较。

如果偶然地两个相机6、相机7与惯性单元4保持协调一致，但是标记12由于载体1的变形而相对于这两个相机6和相机7移动，则通过在步骤108中计算的偏差来补偿该变形，使其理论上为零。然而，如果两个相机6和相机7之一相对于惯性单元4失调，则这种失调将反映在计算出的位置偏差中，然后该位置偏差将具有更高的值。该偏差超过阈值则表示工作相机6和工作相机7之一不协调。最后，该第二实施例具有避免发出由载体1的一部分变形所引起的“误报”的优点。

出于开头处给出的原因，在飞行器的滑行或着陆阶段期间可有利地应用上述方法。

Claims

1.一种用于惯性数据和图像数据之间的混合的设备，所述用于惯性数据和图像数据之间的混合的设备安装在载体(2)上，所述设备包括：

-相机(6)，所述相机被配置成获取第一图像，所述第一图像示出固定在所述载体(2)上的预定标记(12)；以及

-处理单元(8)，所述处理单元被配置成根据所获取的第一图像估计所述载体(2)的速度，以将所估计的速度与惯性单元(4)产生的关于所述载体(2)的惯性数据混合，

其特征在于，所述处理单元(8)还被配置成：

-在所述第一图像中定位所述标记(12)的位置，

-计算所述标记(12)的定位位置与参考位置之间的偏差，

-将所计算出的偏差与预定阈值进行比较，以及

-当所计算出的偏差大于所述预定阈值时发出警报信号，

所述设备包括第二相机(7)，所述第二相机被配置成获取示出所述标记(12)的第二图像，并且其中，所述处理单元(8)还被配置成：

-在所述第二图像中定位预定的所述标记(12)的第二位置，以及

-通过对所述第二位置应用表示从所述第二相机(7)到所述相机(6)的帧变化的预定变换来确定所述标记(12)的参考位置。

2.根据权利要求1所述的设备，其中，所述标记(12)的参考位置是在所述惯性单元(4)和所述相机(6)协调时在所述相机(6)获取的参考图像中的所述标记(12)的位置。

3.根据权利要求1所述的设备，其中，所述处理单元(8)被配置成当所述偏差大于所述预定阈值时，不基于估计出的速度来混合所述惯性数据。

4.根据权利要求1所述的设备，其中，所述处理单元(8)被配置成：

-通过所计算出的偏差来估计所述载体(12) 的速度，以在所计算出的偏差不大于所述预定阈值时校正所述相机(6)相对于所述惯性单元(4)的失调，以及

-将所述速度与所述惯性数据混合，以产生所述载体(2)的导航解决方案。

5.根据权利要求1所述的设备，其中，所述处理单元(8)被配置成：

-确定所述第一图像中示出所述标记(12)的区域中的对比度水平，

-计算所述区域中确定的对比度水平与参考对比度水平之间的对比度偏差，

-将所述对比度偏差与预定的对比度阈值进行比较，以及

-当所述对比度偏差大于所述预定对比度阈值时发出警报信号。