CN114943887A - 用于自动空对空加油（a3r）的特征检测 - Google Patents

Abstract

本申请题为“用于自动空对空加油(A3R)的特征检测”。本公开的一些方面提供了用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；根据该视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。一些示例包括：至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔，并且对于一些示例，视频帧是单眼的(例如由单个相机提供)。

Description

用于自动空对空加油(A3R)的特征检测

背景技术

空中加油(空对空加油)通常由技术精湛的人类加油伸缩套管操作者来手动执行。一些布置将人类操作者安排在窗口后面，以便观察加油伸缩套管(boom)和将要加油的飞行器。这种类型的布置需要增加在加油平台的后部中为人类操作者提供容身空间的显著费用。

一些布置通过双重相机使用立体视觉，其中人类操作者佩戴基于来自双重相机的视野提供三维(3D)视野的护目镜。一些其他布置使用光检测与测距(LIDAR)或雷达来为人类操作者提供辅助距离测量。后面这些类型的布置需要额外的昂贵部件。

发明内容

下面参考后文列出的附图来详细描述所公开的一些示例。提供以下概述来说明本文公开的一些示例或实施方式。但是，它并不意味着将所有示例限制到任何特定的配置或操作序列。

本公开的一些方面提供用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；根据该视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。一些示例包括：至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔，并且对于一些示例，视频帧是单眼的(例如由单个相机提供)。

附图说明

在下文中参考下面列出的附图来详细描述公开的实施例：

图1A示出根据一个示例有利地采用自动空对空加油(A3R)的特征检测的布置100。

图1B示出根据一个示例来自布置100中的相机108的代表性视频帧202。

图1C提供识别出各种元件的图1B的注释版本。

图2示出根据一个示例可被用在布置100中的计算机视觉(CV)架构200。

图3示出根据一个示例在图2的CV架构200中的飞行器300的框图。

图4示出根据一个示例在图3的飞行器300中的特征提取功能400的框图。

图5示出根据一个示例的视频帧500，其中用一组飞行器关键点314来覆盖飞行器模型投影502。

图6示出根据一个示例在图2的CV架构200中的伸缩套管尖端位置估计流水线600的框图。

图7是示出根据一个示例可结合图1的布置100使用的A3R的特征检测的方法的流程图700。

图8是示出根据一个示例可结合图1的布置100使用的A3R的特征检测的另一方法的流程图800。

图9是根据一个示例适用于实现本公开的各个方面的计算设备900的框图。

图10是根据一个示例采用本公开的各个方面的装置生产和维护方法1000的框图。

图11是根据一个示例的可有利地采用本公开的各个方面的装置1100的框图。

图12是根据一个示例的特定飞行装置1101的示意性透视图。

根据一个示例，相应的附图标记在整个附图中指示相应的部分。

具体实施方式

将参照附图详细描述各种示例。在可能的情况下，将在整个附图中使用相同的附图标记来指代相同或相似的部分。在整个公开中仅出于说明性目的来提供对特定示例和实施方式的引用，但除非有相反指示，否则并不意味着限制所有实施方式。

当结合附图阅读时，将更好地理解前述概述以及某些实施方式的以下详细描述。如本文所用，以单数形式列举并冠以单词“一”或“一个”的元件或步骤应理解为不一定排除元件或步骤的复数形式。此外，对实施方式或示例的引用不旨在被解释为排除也包含所列举的特征的额外示例的存在。此外，除非明确相反地说明，“包括”或“含有”具有特定属性的元素或多个元素的示例可以包括不具有该属性的额外元素。

本公开的一些方面提供用于自动空对空加油(A3R)和辅助空对空加油的解决方案。一些示例包括：接收视频帧；根据该视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。一些示例包括：至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔，并且对于一些示例，视频帧是单眼的(例如由单个相机提供)。

本公开的一些方面具有改进计算机的操作的技术效果，例如通过减少图像处理中的距离计算，从而减少计算时间和处理费用。与依赖于例如处理许多不同测量输入的传统系统相比，此处的示例提高了计算硬件的效率并提供了更好的资源分配。

本公开的一些方面能够在由单个相机收集的视频流中估计三维对象(例如，飞行器加油插孔)的位置，例如用于支持自主空中加油操作和/或人力辅助空中加油操作。例如，本公开的一些方面定位飞行器加油插孔与加油平台的加油伸缩套管的相对位置，以便在加油期间自动控制加油伸缩套管。在一些示例中，位置和姿态信息被表示为六个自由度(6DoF)，其包括三维(3D)位置(x坐标、y坐标和z坐标)和取向(滚转、俯仰和偏航)。

位置出现在多个阶段，例如通过根据二维(2D)视频帧生成金字塔表示(pyramidrepresentation)以产生具有不同的降低分辨率的多个图像，检测多个图像中的每个图像内的一组飞行器关键点(针对待加油的飞行器)，合并多组飞行器关键点，以及利用合并的飞行器关键点来确定飞行器上的加油插孔的三维(3D)位置。以不同的分辨率检测多组飞行器关键点以及随后合并这些结果将提供更高的准确度。多级姿态估计流水线使用基于实时深度学习的检测算法，例如，诸如深度卷积神经网络(CNN)的神经网络(NN)，其可以是残差神经网络(ResNet)。这提供了在不利的天气和光照条件下的精确检测和跟踪，其可被用于自主空中(空对空)加油和/或操作者反馈环。使用单个相机可以降低部件故障并且更易于集成到现有系统中。

更特别地参考附图，图1A示出包括加油平台102和将被加油的飞行器110的布置100。加油平台102和飞行器110中的每一个可以是飞行装置1101的示例，其关于图11和图12被更详细地描述。在布置100中，加油平台102使用空中加油伸缩套管104来对飞行器110进行加油。

相机108提供了用于确定空中加油伸缩套管104的伸缩套管尖端(boom tip)106(图1C中所示)和飞行器110的加油插孔116(图1C中所示)的位置的视频流202a(图2中所示)。还示出了接近度传感器109(例如，光检测与测距(lidar)或雷达)。对于布置100的一些示例，计算机视觉(CV)架构200(图2中所示)将来自接近度传感器109的接近度传感器测量结果与飞行器110的提取特征融合以确定加油插孔116在飞行器110上的位置。

图1B示出由相机108捕获的代表性视频帧202，其为来自视频流202a的帧。为清楚起见，图1B仅示出了视频帧202的干净版本。图1C提供了视频帧202的注释版本，其标识出各种元件，诸如飞行器110和空中加油伸缩套管104。扩大的视图截面标识出伸缩套管尖端106、加油插孔116和勾勒出加油插孔116的基准标记物118。在操作中，空中加油伸缩套管104通过伸缩套管尖端106接合加油插孔116将燃料递送到飞行器110。

基准标记物118具有相对于加油插孔116的限定位置，其有利于定位飞行器110上的加油插孔116。在一些示例中，基准标记物118可以被CV架构200的元件(特别是飞行器位置估计流水线300内的CNN(图2和图3中所示))用作用于定位加油插孔116的辅助基准。视频帧202还示出了伸缩套管尖端边界框120，其被用于将视频帧202剪裁到伸缩套管尖端106周围的区域以用于伸缩套管尖端106的基于图像的定位。边界框也可被用于在飞行器位置估计流水线300的早期阶段中将视频帧202剪裁到飞行器110周围的区域。

图2示出了确定加油插孔116在飞行器110上的位置以用于布置100的CV架构200。在图3、图4和图6中以进一步的细节示出CV架构200的各种部件，并且结合图7和图8分别使用流程图700和800来进一步详细描述CV架构200的操作。在一些实例中，CV架构200的整体存在于加油平台102之上。在一些示例中，CV架构200的一些部分在加油平台102之外远程操作。CV架构200从相机108接收飞行器110的视频流202a。视频流202a包括视频帧202和多个额外视频帧202b。结合处理视频帧202来描述CV架构200的操作。多个额外视频帧200b中的每一个的处理类似于视频帧202的处理。

CV架构200包括飞行器位置估计流水线300和伸缩套管尖端位置估计流水线600。结合图3更详细地示出和描述飞行器位置估计流水线300。结合图6更详细地示出和描述伸缩套管尖端位置估计流水线600。飞行器位置估计流水线300接收视频流202a并输出加油插孔位置230。在一些示例中，加油插孔位置230被提供为6DoF。在一些示例中，飞行器位置估计流水线300还输出飞行器位置232，其也可被提供为6DoF。加油插孔位置230可根据飞行器位置232推导出，因为加油插孔116在飞行器110上的位置是固定和已知的。伸缩套管尖端位置估计流水线600输出伸缩套管尖端位置260，其可被提供为6DoF。

加油插孔位置230和伸缩套管尖端位置260被提供给跟踪逻辑210，该跟踪逻辑210确定伸缩套管尖端106与加油插孔116(其均在图1C中示出)之间的距离212。跟踪逻辑210确定伸缩套管控制参数220，这些参数被提供给伸缩套管控件222，该控件自主移动空中加油伸缩套管104来定位伸缩套管尖端106以接合加油插孔116。也就是说，伸缩套管控件222控制空中加油伸缩套管160以接合加油插孔116。在一些示例中，跟踪逻辑210还确定控制空中加油伸缩套管104以接合加油插孔116是否在安全参数214内，并且如果不在该安全参数内，则生成警报216。在一些示例中，跟踪逻辑210还向飞行器110(例如为飞行员或向无人空中交通工具(UAV))生成并提供机动信息218以有利于接合加油插孔116与空中加油伸缩套管104和/或避免不安全的条件。

安全参数214包括提供用于安全操作的边界的一组规则、条件和或测量值，以便例如降低对飞行器110、空中加油伸缩套管104和/或加油平台102造成损伤的风险。安全参数214的示例包括关于由不应短于至飞行器110中除了加油插孔116之外的任一部分的某一最小距离的伸缩套管尖端106的距离改变的靠近速率(例如，当伸缩套管尖端106靠近加油插孔116时，靠近速率必须比当伸缩套管尖端106更远离加油插孔116时更慢)，以及空中加油伸缩套管接近飞行器所处于的必须在某一限定范围内的角度的限制。也可以使用其他参数。

伸缩套管控制参数220包括描述空中加油伸缩套管104可以如何运动(例如，滚转、俯仰、偏航、平移、伸缩、延伸、缩回、枢转、旋转等)的信息(例如，变量)，并且可以包括这种运动的极限和速率。伸缩套管控制参数220可以在给定伸缩套管枢转位置和相机本征和非本征参数(例如图6中所示的相机参数664)的情况下控制空中加油伸缩套管104，例如，如何旋转空中加油伸缩套管104(滚转和俯仰)并伸缩式延伸空中加油伸缩套管104，以便使得伸缩套管尖端106的3D位置将被投射到在视频帧202上检测到伸缩套管尖端关键点614(同样在图6中所示)之处。

在一些示例中，视频编译240将飞行器模型投影502和/或伸缩套管模型投影覆盖在视频帧202上以产生经覆盖的视频帧500。图5中示出了示例性视频帧500。在一些示例中，经由展示部件906向人类操作者242提供视频帧500和/或警报216(例如通过在视频显示屏上显示视频帧500)。在一些示例中，人类操作者242使用输入/示出(I/O)部件910(例如，操纵杆、鼠标、键盘、触摸屏、小键盘和/或其他输入设备)来提供伸缩套管控制参数220以控制空中加油伸缩套管104定位伸缩套管尖端106，从而接合加油插孔116。

图3示出了飞行器位置估计流水线300的更多细节，其将飞行器位置估计流水线300显示为包括四个阶段：阶段301、阶段302、阶段303和阶段304。在阶段301中，将视频帧202(作为视频流202a的一部分)提供给特征提取功能400，该特征提取功能400结合图4更详细地示出和描述。

特征提取功能400输出含有一组飞行器关键点314的飞行器关键点热度图312。热度图是使用颜色编码系统来展示不同值的数据的图形表示。热度图像素值针对每个关键点指示在图像的每个像素位置处发现3D对象的关键点的可能性。在一些示例中，关键点不被表示为二进制点，而是表示为概率分布。也就是说，每个关键点对应于像素区域，其中像素的值随着与区域中心的距离的增加而根据概率密度函数(pdf)下降。在一些示例中，在像素的关键点区域中，像素的最大值反映出该关键点的置信水平。

在阶段302中，该组飞行器关键点314被提供给校正和归责320。校正和归责320产生在飞行器关键点热度图312a的调整版本中示出的该组飞行器关键点314的调整版本。例如，校正和归责320确定该组飞行器关键点314中是否缺失飞行器关键点，并且至少基于确定缺失飞行器关键点而将额外飞行器关键点322插入到飞行器关键点热度图312中。

校正和归责320还确定飞行器关键点324是否需要校正(例如正处于错误位置并应该被移动)，并至少基于确定飞行器关键点324需要校正而校正该飞行器关键点324。如图所示，飞行器关键点324被移位到飞行器关键点热度图312中的左侧。在一些示例中，校正和归责320使用诸如神经网络(NN)的机器学习(ML)部件来识别飞行器关键点何时缺失或需要校正。由于被飞行器110的一些部分遮蔽、由于相机108对飞行器110的观察角度/视角或由于其他较差的能见度条件，飞行器关键点可能是缺失的。由于眩光、来自飞行器110的强反射或在视频帧202中出现的对相机108的视野的其他扰动，飞行器关键点可能被移位(例如需要校正)。

阶段303使用滤波器330来执行一组飞行器关键点314的时间滤波。在一些示例中，该时间滤波包括在一组飞行器关键点热度图314a的时间序列上执行时域滤波的卡尔曼滤波。卡尔曼滤波使用在一段时间内观察到的含有统计噪声和其他误差的一系列测量结果，并且通过针对每个时间帧估计关于多个变量的联合概率分布来产生未知变量的估计值，这些估计值倾向于比仅基于单个测量结果的估计值更精确。在一些示例中，滤波器330遍及多个视频帧(例如，视频帧202和多个额外视频帧202b)进行操作。在一些示例中，应用阈值以消除具有低置信水平的飞行器关键点。

在一些示例中，滤波器330还将从接近度传感器109接收的飞行器110的接近度传感器测量结果334与该组飞行器关键点314进行融合。在这种示例中，确定飞行器110上的加油插孔位置230包括将飞行器110的接近度传感器测量结果334与该组飞行器关键点314进行融合。为了实现这一操作，在一些示例中，滤波器330使用经训练的网络(例如，NN)来将接近度信息合并到滤波过程中。

经调整和滤波的飞行器关键点热度图312被提供给飞行器2D至3D转换340。在一些示例中，飞行器2D至3D转换340使用透视n点(perspective-n-point(PnP))算法。在给定对象上的一组N个3D点以及它们在由相机收集的图像中的相应2D投影的情况下，PnP算法估计校准的相机相对于该对象的姿态。所使用的PnP算法充分利用所检测的关键点的2D像素位置与对象模型上的3D关键点位置之间的对应关系以在空间中旋转和定位该对象，使得3D关键点的相机视图与2D像素位置匹配。

飞行器2D至3D转换340确定飞行器110的飞行器位置232并由此确定加油插孔位置230。也就是说，一旦获知了飞行器位置232，则可以使用利用加油插孔116在飞行器110上的已知位置的精炼算法342来确定在飞行器110上的预定位置处的加油插孔位置230。在一些示例中，用时间滤波器(其可以是卡尔曼滤波器)对加油插孔位置230进行滤波。在一些示例中，飞行器2D至3D转换340还生成由视频编译240使用的飞行器模型投影502。飞行器模型投影332通过根据飞行器位置232渲染3D飞行器模型来确定。

特征提取功能400和校正和归责320在初始时都被离线训练，但是一些示例可以在部署期间采用持续的训练。在一些示例中，该训练使用通过扫掠过3D飞行器模型346的6DoF变体的范围所生成的大约20000个经标记的训练图像。为了增加用于NN训练的数据集中的变体，可以向传递到NN的每个图像随机地应用数据增强。这些增强包括：亮度缩放、对比度缩放、图像尺寸缩放，以及图像平移等等。此类缩放可以导致有益于训练校正和归责320的被剔除和/或移位的关键点。

图4示出了特征提取功能400的更多细节。视频帧202反复迭代地通过模糊功能404被模糊化并且通过减采样406被缩减采样以生成具有不同的降低分辨率的多个图像408。也就是说，多个图像408包括多个降低分辨率的图像，每次迭代导致更低的分辨率。在一些示例中，图像408a具有图像408b的一半分辨率，而图像408b具有图像408c的一半分辨率。这导致金字塔表示(例如，多个图像408包括金字塔表示)，其可以是高斯金字塔表示(Gaussianpyramid representation)。在一些示例中，可以使用不同的减采样率，包括非整数的减少比率。在一些示例中，可以使用不同数量的减采样图像。

金字塔表示是一种多尺度信号表示，其中对信号或图像进行重复的平滑和二次采样。低通金字塔是通过使用适当的平滑滤波器对图像进行平滑处理，然后对平滑后的图像进行二次采样(通常沿每个坐标方向进行2倍的采样)来实现的。然后对产生的图像执行相同的程序，并重复该循环多次。该过程的每个循环都会产生更小的图像，其平滑度增加但空间采样密度降低(例如，图像分辨率降低)。

当以图形方式说明时，每个循环产生的较小图像一个接一个地堆叠在一起，则该多尺度表示呈现为金字塔的形状。在高斯金字塔中，后续的图像使用高斯平均值来加权(例如，在模糊功能404中使用高斯模糊)并按比例缩小。含有局部平均值的每个像素对应于金字塔的较低层级上的邻域像素。在一些示例中，在生成多个图像408之前，将视频帧202剪裁到飞行器110周围的飞行器边界框，以从关键点检测过程中排除视频帧202的不必要部分。这减少了计算时间并允许使用计算量更大的算法。

关键点检测器410在多个图像408的每个图像内检测飞行器110的一组飞行器关键点314。这被图示为关键点检测器410包括检测图像408a的一组飞行器关键点314a的关键点检测器410a、检测图像408b的一组飞行器关键点314b的关键点检测器410b，以及检测图像408c的一组飞行器关键点314c的关键点检测器410c。可以使用一个或多个NN(例如CNN)来实现关键点检测器410，并且在一些示例中通过ResNet来实现。虽然关键点检测器410被图示为包括针对每个图像的一个关键点检测功能，但应该理解的是一些NN可以同时对多个图像执行关键点检测。

独立的多组飞行器关键点314a、314b和314c通过合并功能412被合并成一组合并的(复合的)飞行器关键点，其变成所述一组飞行器关键点314。(也就是说，所述一组飞行器关键点314是一组合并的飞行器关键点。)这种方法的好处之一是提高了准确性。在某些情况下，当仅在全尺寸高分辨率图像上训练NN时，NN会学习特征的具体细节而不是一般属性。然后，如果在使用NN时(例如，在部署期间)由于图像收集情况不太理想(例如，太阳光的眩光、模糊、闪光和明亮反射)而不存在这些具体特征，则NN的性能会因为它无法定位它学到的特征而退化。然而，通过经由减采样对图像进行降级，包含这些具体特征细节的较高频内容会丢失，从而迫使NN更笼统地学习特征。合并来自已经用一组降低分辨率的图像训练过(即使在时域滤波之前完成)的NN(例如，CNN或甚至其他类型的网络)的结果可以显著改善关键点检测(例如，特征提取)性能。

图5示出了视频帧500，其中在飞行器110(由于覆盖在此处不可见)上方将飞行器模型投影502覆盖在视频帧202上以便向人类操作者242显示。使用3D飞行器模型(例如，计算机辅助设计(CAD)模型)来生成飞行器模型投影502，并根据飞行器位置232进行渲染。在一些示例中，附加于或代替飞行器模型投影502将伸缩套管模型投影(基于图6的伸缩套管模型662)覆盖在视频帧202上。为了参考，在图5中也显示了所述一组飞行器关键点314，其可以或可以不显示给人类操作者242。

图6示出了图2的CV架构200中的伸缩套管尖端位置估计流水线600的更多细节。通过图示的伸缩套管尖端位置估计流水线600可以进行不同种类的操作。在一类操作中，伸缩套管模型662、相机参数664(例如，相机108的非本征参数和本征参数)以及伸缩套管控制参数220被输入到直接计算622中，以根据空中加油伸缩套管104和加油平台102的物理几何形状来计算伸缩套管尖端位置260，而不是根据视频流202a来确定伸缩套管尖端位置260。在一些示例中，伸缩套管模型662包括空中加油伸缩套管104的CAD模型。

根据空中加油伸缩套管104的物理几何形状来计算伸缩套管尖端位置260使用空中加油伸缩套管104相对于相机108的已知角度、非本征特性和几何形状来确定空中加油伸缩套管104的投影。流水线600监控来自所述流202a的每个视频帧202并确定伸缩套管控件222的俯仰和滚转状态，空中加油伸缩套管104的俯仰和滚转与相机108相关。相机108的本征特性及其在加油平台102上的位置是已知的，使得能够确定空中加油伸缩套管104在相机108的2D像素空间中的位置。

相机参数信息包括在相机模型中被用于描述光所来自的场景中的点的3D坐标与其在像平面上的投影的2D坐标之间的数学关系的参数。本征参数(也被称为内参数)是相机本身固有的参数，例如焦距和镜头畸变。非本征参数(也被称为外参数或相机姿态)是用于描述相机与其外部世界之间的变换的参数。相机非本征信息、分辨率、放大率和其他本征信息是已知的。

在可替代的操作中，视频流202a(包括视频帧202)被输入到伸缩套管尖端关键点检测器610(其也可以利用伸缩套管模型662、相机参数664和伸缩套管控制参数220以便增强准确性)中，该检测器产生伸缩套管尖端关键点热度图612。在一些示例中，伸缩套管尖端关键点检测器610包括NN，例如CNN(例如ResNet或其他类型的网络)。在一些示例中，在被输入到伸缩套管尖端关键点检测器610中之前，视频帧202被剪裁到伸缩套管尖端边界框120。伸缩套管尖端关键点热度图612具有如在视频帧202中检测到的伸缩套管尖端关键点614。在一些示例中，遍及多个视频帧(例如，视频帧202和多个额外视频帧200b)对伸缩套管尖端关键点614进行时域滤波(例如，通过卡尔曼滤波器或其他类型的时间滤波器)。在一些示例中，视频帧202被转变成金字塔表示，在每个分辨率下找到伸缩套管尖端关键点614，并且不同分辨率结果被合并，这类似于针对特征提取功能400所描述的那样。

伸缩套管尖端关键点热度图612被提供给伸缩套管尖端2D至3D转换620，该伸缩套管尖端2D至3D转换620确定伸缩套管尖端位置260。在一些示例中，对伸缩套管尖端位置260进行滤波(例如，通过卡尔曼滤波器或其他类型的时间滤波器)。在一些示例中，伸缩套管尖端2D至3D转换620也生成伸缩套管模型投影，以供(图2的)视频编译240使用来产生视频帧500中的覆盖物。伸缩套管尖端关键点检测器610在初始时被离线训练，但是一些示例可以在部署期间采用持续的训练。

现在参考图7，流程图700示出了可与图1的布置100一起使用的空对空加油(例如，A3R或人工辅助空对空加油)的方法。在一些示例中，至少部分通过由图9的计算设备900的一个或多个处理器904执行(储存在存储器902中的)指令902a来实施图7中所示的操作。例如，any of the特征提取功能400、校正和归责320、滤波器330、飞行器2D至3D转换340、关键点检测器410(包括关键点检测器410a、410b和410c)、伸缩套管尖端关键点检测器610中的任一个以及CV架构200的任何其他ML部件可以在计算设备900的第一示例上进行训练，然后部署在计算设备900的第二(不同)示例上。

操作702包括训练任何网络或CV架构200的任何其他ML部件。在一些示例中，在部署704之前执行操作702，但在一些示例中，在CV架构200的操作使用期间仍然继续进行操作702。在一些示例中，操作702包括用场景的多个标记图像来训练NN，所述多个标记图像具有公共场景的不同降低分辨率(例如类似于多个图像408)。在一些示例中，操作702包括训练NN以将额外飞行器关键点插入到热度图中。操作706包括接收视频帧202。在一些示例中，视频帧202由单个相机(例如，相机108)提供。在一些示例中，视频帧202是单眼的。一些示例包括接收含有视频帧202和多个额外视频帧202b的视频流202a。

操作708包括根据视频帧202生成具有不同的降低分辨率的多个图像408。在一些示例中，具有不同的降低分辨率的多个图像408包括金字塔表示。在一些示例中，具有不同的降低分辨率的多个图像408包括高斯金字塔表示。操作708包括模糊操作710和减采样操作712，它们被反复迭代以生成金字塔表示(例如，多个图像408)。在一些示例中，生成具有不同的降低分辨率的多个图像408包括使视频帧202变模糊并对模糊的视频帧进行减采样。在一些示例中，生成具有不同的降低分辨率的多个图像408包括反复迭代地使视频帧202变模糊并对其减采样以产生一组多个降低分辨率的图像408a-408c，每次迭代都导致更低的分辨率。在一些示例中，所述模糊使用高斯线型。

操作714包括在多个图像408中的每个图像内检测将被加油的飞行器110的多组飞行器关键点314a-314c。操作716包括将多组飞行器关键点314a-314c合并成一组合并的飞行器关键点314。操作718包括确定合并的飞行器关键点是否丢失，并且至少基于确定合并的飞行器关键点已丢失，将额外飞行器关键点(例如，额外飞行器关键点322)插入(归责)到飞行器关键点热度图312内。操作718进一步包括确定合并的飞行器关键点是否需要校正，并且至少基于确定合并的飞行器关键点324需要校正而校正合并的飞行器关键点324。操作720包括执行飞行器关键点314的时间滤波。在一些示例中，执行时间滤波包括执行卡尔曼滤波。

操作722包括至少基于合并的飞行器关键点314来确定飞行器110上的加油插孔116的位置。在一些示例中，确定飞行器110上的加油插孔116的位置包括以6DoF确定加油插孔116的位置。在一些示例中，确定飞行器110上的加油插孔116的位置包括确定飞行器110的位置。在一些示例中，确定飞行器110上的加油插孔116的位置包括使用PnP算法来确定加油插孔116的位置。在一些示例中，确定飞行器110上的加油插孔116的位置包括使用NN来确定加油插孔116的位置。一些示例包括操作724，其涉及将飞行器110的接近度传感器测量结果334与合并的飞行器关键点314融合。在一些示例中，接近度传感器测量结果包括光检测与测距(lidar)测量结果或雷达测量结果。在一些示例中，确定飞行器110上的加油插孔116的位置包括将飞行器110的接近度传感器测量结果334与合并的飞行器关键点314融合。

操作726包括确定空中加油伸缩套管104的伸缩套管尖端106的位置(例如，伸缩套管尖端位置260)。在一些示例中，确定空中加油伸缩套管104的伸缩套管尖端位置260(例如，伸缩套管尖端106的位置)包括在视频帧202内检测伸缩套管尖端关键点614。

判断操作728识别不安全条件。判断操作728包括至少基于加油插孔116的位置和伸缩套管尖端位置260来确定控制空中加油伸缩套管104接合加油插孔116是否在安全参数214内。如果存在不安全条件，则操作730包括至少基于确定控制空中加油伸缩套管104接合加油插孔116不在安全参数214内而生成警报216。在操作732中，向飞行器110(例如，飞行器110的飞行员，或者在飞行器110为UAV时的飞行器的自主飞行控件)提供机动信息218，例如用于避免飞行器110与空中加油伸缩套管104的破坏性碰撞。操作732包括向飞行器110提供机动信息以有利于使加油插孔116与空中加油伸缩套管104接合。

在一些示例中，即使当不存在不安全条件时，操作732也可以发生。操作734包括至少基于加油插孔116的位置和伸缩套管尖端的位置来控制空中加油伸缩套管104接合加油插孔116。在一些示例中，控制空中加油伸缩套管104接合加油插孔116包括跟踪伸缩套管尖端106与加油插孔116之间的距离。在一些示例中，控制空中加油伸缩套管104接合加油插孔116包括确定伸缩套管控制参数220以缩短伸缩套管尖端106与加油插孔116之间的距离。在存在不安全条件的情况下，操作734则可以包括控制空中加油伸缩套管104以避免损坏飞行器110。流程图700返回到操作706以用于视频流202a的下一个视频帧202。

图8显示了流程图800，该流程图800示出根据本公开的空对空加油的方法。在一些示例中，图8所示的操作至少部分地通过由图9的计算设备900的一个或多个处理器904执行指令来实施。操作802包括接收视频帧。操作804包括根据视频帧生成具有不同的降低分辨率的多个图像。操作806包括在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点。操作808包括将多组飞行器关键点合并成一组合并的飞行器关键点。操作810包括至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置。操作812包括确定空中加油伸缩套管的伸缩套管尖端的位置。

现在参考图9，其描述了适用于实现本公开的各个方面的计算设备900的框图。在一些示例中，计算设备900包括一个或多个处理器904、一个或多个展示部件906以及存储器902。在一些实施例中，一个或多个部件可以被组合或分离。例如，在一些实施例中，存储器902可以被集成或作为处理器904的一部分。与计算设备900相关联的所公开的示例由各种计算设备来实施，包括个人计算机、膝上型电脑、智能手机、移动平板电脑、手持设备、消费电子产品、专业计算设备等。在诸如“工作站”、“服务器”、“膝上型电脑”、“手持设备”等类别之间没有进行区分，因为它们在图9的范围内以及本文对“计算设备”的引用中都是可预期的。所公开的示例也在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备执行。此外，虽然计算设备900被描绘为看似单个设备，但在一个示例中，多个计算设备一起工作并共享所描绘的设备资源。例如，在一个示例中，存储器902分布在多个设备上，所提供的(多个)处理器904位于不同的设备上，等等。

在一个示例中，存储器902包括本文讨论的任何计算机可读介质。在一个示例中，存储器902用于存储和访问被配置为执行本文公开的各种操作的指令902a。在一些示例中，存储器902包括易失性和/或非易失性存储器、可移除或不可移除存储器、虚拟环境中的数据盘或其组合形式的计算机存储介质。在一个示例中，(多个)处理器904包括从诸如存储器902或输入/输出(I/O)部件910等各种实体读取数据的任意数量的处理单元。具体而言，(多个)处理器904被编程以执行用于实现本公开的各方面的计算机可执行指令。在一个示例中，指令由处理器、计算设备900内的多个处理器或计算设备900外部的处理器来执行。在一些示例中，(多个)处理器904被编程以执行指令，例如在下文讨论的流程图中说明和在附图中描绘的那些指令。

展示部件906向操作者或另一设备展示数据指示。在一个示例中，展示部件906包括显示设备、扬声器、打印部件、振动部件等。本领域技术人员将理解并认识到以多种方式来展示计算机数据，例如在图形用户界面(GUI)中以视觉方式、通过扬声器以听觉方式、在计算设备900之间以无线方式、通过有线连接或以其他方式展示。在一个示例中，当过程和操作被充分自动化以减少人机交互的需求或不需要人机交互时，不使用展示部件906。I/O端口908允许计算设备900在逻辑上耦合到包括I/O部件910在内的其他设备，其中一些是内置的。I/O部件910的实施方式包括例如但不限于麦克风、键盘、鼠标、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备等。

计算设备900包括总线916，该总线916直接或间接耦合以下设备：存储器902、一个或多个处理器904、一个或多个展示部件906、输入/输出(I/O)端口908、I/O部件910、电源912和网络部件914。计算设备900不应被解释为具有与本文所示的任何单个部件或部件组合相关的任何依赖性或要求。总线916代表一个或多个总线(例如，地址总线、数据总线或其组合)。尽管为了清楚起见用线示出了图9的各个块，但是一些实施方式模糊了在此描述的各种不同部件上的功能。

在一些示例中，计算设备900使用网络部件914通信地耦合到网络918。在一些示例中，网络部件914包括网络接口卡和/或用于操作网络接口卡的计算机可执行指令(例如，驱动程序)。在一个示例中，计算设备900与其他设备之间的通信使用任何协议或机制通过有线或无线连接920来发生。在一些示例中，网络部件914可操作以通过公共、私有或混合(公共和私有)方式使用传输协议来传递数据，使用短程通信技术(例如，近场通信(NFC)、蓝牙

品牌通信等)在设备之间无线地传递数据，或它们的组合。

虽然结合计算设备900进行了描述，但是本公开的示例能够用许多其他通用或专用的计算系统环境、配置或设备来实现。适用于本公开的各方面的众所周知的计算系统、环境和/或配置的实施方式包括但不限于：智能手机、移动平板电脑、移动计算设备、个人计算机、服务器计算机、手持或膝上型设备、多处理器系统、游戏机、基于微处理器的系统、机顶盒、可编程消费电子产品、移动电话、可穿戴或附件形式的移动计算和/或通信设备(例如，手表、眼镜、头戴式耳机或受话器)、网络PC、小型计算机、大型计算机、包括上述任何系统或设备的分布式计算环境、VR设备、全息设备等。此类系统或设备以任何方式接受来自用户的输入，包括来自诸如键盘或定点设备的输入设备、通过手势输入、接近输入(例如通过悬停)和/或通过语音输入。

本公开的实施方式在由一台或多台计算机或其他设备以软件、固件、硬件或其组合形式执行的计算机可执行指令(例如，程序模块)的一般背景中进行描述。在一个示例中，计算机可执行指令被组织成一个或多个计算机可执行部件或模块。通常，程序模块包括但不限于执行特定任务或实现特定抽象数据类型的例程、程序、对象、部件和数据结构。在一个示例中，本公开的各方面通过任何数量和组织形式的此类部件或模块来实现。例如，本公开的各方面不限于图中所示和本文描述的特定计算机可执行指令或者特定部件或模块。本公开的其他示例包括具有比本文示出和描述的更多或更少的功能的不同计算机可执行指令或部件。在涉及通用计算机的实施方式中，当被配置为执行本文描述的指令时，本公开的各方面将通用计算机转换为专用计算设备。

作为示例而非限制，计算机可读介质包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块等的信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除的存储器。计算机存储介质是有形的并且与通信介质互斥。计算机存储介质以硬件实现，并且不包括载波和传播信号。用于本公开目的的计算机存储介质本身不是信号。在一个示例中，计算机存储介质包括硬盘、闪存驱动器、固态存储器、相变随机存取存储器(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其他存储技术、光盘只读存储器(CD-ROM)、数字多功能盘(DVD)或其他光存储设备、卡式磁带、磁带、磁盘存储设备或其他磁存储设备，或用于存储信息以供计算设备访问的任何其他非传输介质。相反，通信介质通常在诸如载波或其他传输机制的调制数据信号中体现计算机可读指令、数据结构、程序模块等，并且包括任何信息传递介质。

本公开的一些示例被用于如关于图10-图12所示出和描述的制造和维护应用中。在图10所示的装置制造和维护方法1000和图11所示的装置1100的背景下描述本公开的示例。在图11中，根据一个示例描绘了示出装置制造和维护方法1000的示意图。在一个示例中，在预生产期间，装置制造和维护方法1000包括图11中的装置1100的规格和设计1002以及材料采购1104。在生产期间，进行图11中的装置1100的部件和子组合件制造1006以及系统集成1008。此后，图11中的装置1100经历认证和交付1010以便投入使用1012。在客户使用期间，图11中的装置1100被安排进行例行维修和维护1014，如本文所述，在一个示例中，该维修和维护包括修改、重新配置、翻新和其他受配置管理约束的维修或维护。

在一个示例中，装置制造和维护方法1000的每个过程由系统集成商、第三方和/或运营商实施或执行。在这些示例中，运营商是客户。就本说明书而言，系统集成商包括任意数量的装置制造商和主要系统分包商；第三方包括任意数量的销售商、分包商和供应商；并且在一个示例中，运营商是装置或装置的机队的所有者、负责装置或装置的机队的管理者、操作装置的用户、租赁公司、军事实体、服务机构等。

现在参考图11，提供了装置1100。如图11所示，装置1100的示例是飞行装置1101，例如，航空航天器、飞行器、航空货运、飞行汽车、卫星、行星探测器、深空探测器、太阳探测器等。同样如图11所示，装置1100的另一示例是地面运输装置1102，例如，汽车、卡车、重型设备、建筑设备、小船、轮船、潜艇等。图11中所示的装置1100的另一示例是模块化装置1103，其包括以下模块中的至少一个或多个：空中模块、有效载荷模块和地面模块。空中模块提供空中升力或飞行能力。有效载荷模块提供运输诸如货物或活体(人、动物等)的对象的能力。地面模块提供地面机动的能力。本文所公开的方案单独或成组地应用于每个模块，例如空中模块和有效载荷模块，或有效载荷和地面等或所有模块。

现在参考图12，其描绘了飞行装置1101的更具体示意图，其中有利地采用了本公开的实施方式。在该示例中，飞行装置1101是由图10中的装置制造和维护方法1000生产的飞行器，并且包括具有多个系统1204和内部1206的机体1202。多个系统1204的示例包括推进系统1208、电气系统1210、液压系统1212和环境系统1214中的一个或多个。但是，也可以包括其他系统。虽然示出了航空航天示例，但是不同的有利示例适用于其他产业，例如汽车产业等。

本文公开的示例是在计算机代码或机器可用指令的一般背景中描述的，这些指令包括由计算机或其他机器(例如个人数据助理或其他手持设备)执行的计算机可执行指令(例如程序组件)。通常，包括例程、程序、对象、组件、数据结构等的程序组件是指执行特定任务或实现特定抽象数据类型的代码。所公开的示例在各种系统配置中实施，包括个人计算机、膝上型电脑、智能手机、移动平板电脑、手持设备、消费电子产品、专业计算设备等。所公开的示例也在分布式计算环境中实施，其中任务由通过通信网络链接的远程处理设备来执行。

一种空对空加油的示例方法包括：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

一种用于空对空加油的示例系统包括：一个或多个处理器；以及存储指令的存储器，这些指令在由一个或多个处理器执行时促使一个或多个处理器实施包括以下各项的操作：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

一种示例计算机程序产品包括计算机可用介质，该计算机可用介质具有嵌入其中的计算机可读程序代码，该计算机可读程序代码适于被执行以实现一种空对空加油的方法，该方法包括：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

可替代地或附加于本文描述的其他示例，一些示例包括以下各项的任何组合：

-视频帧由单个相机提供；

-视频帧是单眼的；

-相机；

-接收包括该视频帧和多个额外视频帧的视频流；

-具有不同的降低分辨率的多个图像包括金字塔表示；

-具有不同的降低分辨率的多个图像包括高斯金字塔表示；

-生成具有不同的降低分辨率的多个图像包括使视频帧变模糊并且对模糊的视频帧进行减采样；

-生成具有不同的降低分辨率的多个图像包括反复迭代地使视频帧变模糊并进行减采样以产生一组多个降低分辨率的图像，每次迭代导致更低的分辨率；

-所述模糊使用高斯线型；

-执行飞行器关键点的时间滤波；

-执行时间滤波包括执行卡尔曼滤波；

-确定合并的飞行器关键点是否丢失；

-至少基于确定合并的飞行器关键点已丢失，将额外飞行器关键点插入到飞行器关键点热度图内；

-确定合并的飞行器关键点是否需要校正；

-至少基于确定合并的飞行器关键点需要校正，校正合并的飞行器关键点；

-确定飞行器上的加油插孔的位置包括以六个自由度(6DoF)确定加油插孔的位置；

-确定飞行器上的加油插孔的位置包括确定飞行器的位置；

-确定飞行器上的加油插孔的位置包括使用位置和姿态(PnP)算法来确定加油插孔的位置；

-确定飞行器上的加油插孔的位置包括使用NN来确定加油插孔的位置；

-确定空中加油伸缩套管的伸缩套管尖端的位置包括在视频帧202内检测伸缩套管尖端关键点；

-接近度传感器；

-确定飞行器上的加油插孔的位置包括将飞行器的接近度传感器测量结果与合并的飞行器关键点融合；

-接近度传感器测量结果包括光检测与测距(lidar)测量结果或雷达测量结果；

-至少基于加油插孔的位置和伸缩套管尖端的位置，确定控制空中加油伸缩套管接合加油插孔是否在安全参数内；

-至少基于确定控制空中加油伸缩套管接合加油插孔不在安全参数内，生成警报；

-控制空中加油伸缩套管接合加油插孔包括跟踪伸缩套管尖端与加油插孔之间的距离；

-控制空中加油伸缩套管接合加油插孔包括确定伸缩套管控制参数以缩短伸缩套管尖端与加油插孔之间的距离；

-控制空中加油伸缩套管以避免损坏飞行器；

-伸缩套管控件，其控制空中加油伸缩套管接合加油插孔；

-向飞行器提供机动信息以有利于使加油插孔与空中加油伸缩套管接合；

-用场景的多个标记图像来训练NN，多个标记图像具有公共场景的不同的降低分辨率；以及

-训练NN将额外飞行器关键点插入到飞行器关键点热度图中。

在介绍本公开的一些方面或其实施方式的要素时，冠词“一”、“一个”、“该”和“所述”旨在表示存在一个或多个要素。术语“包括”、“包含”和“具有”旨在具有包容性，并意味着除了列出的元素之外可能还有其他元素。术语“实施方式”旨在表示“示例”。短语“以下各项A、B和C中的一个或多个”是指“A中的至少一个和/或B中的至少一个和/或C中的至少一个”。

条款1.根据本公开的一个方面，提供一种空对空加油的方法，该方法包括：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

条款2.根据条款1所述的方法，其进一步包括：至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。

条款3.根据条款1所述的方法，其中视频帧由单个相机提供。

条款4.根据条款1所述的方法，其进一步包括：向飞行器提供机动信息以有利于使加油插孔与空中加油伸缩套管接合。

条款5.根据条款1所述的方法，其进一步包括：至少基于加油插孔的位置和伸缩套管尖端的位置来确定控制空中加油伸缩套管接合加油插孔是否在安全参数内；以及至少基于确定控制空中加油伸缩套管接合加油插孔不在安全参数内而生成警报。

条款6.根据条款1所述的方法，其进一步包括：确定合并的飞行器关键点是否丢失；以及至少基于确定合并的飞行器关键点已丢失，将额外飞行器关键点插入到飞行器关键点热度图内。

条款7.根据条款1所述的方法，其进一步包括：用场景的多个标记图像训练神经网络(NN)，多个标记图像具有公共场景的不同的降低分辨率。

条款8.根据条款1所述的方法，其进一步包括：执行飞行器关键点的时间滤波。

条款9.根据条款1所述的方法，其中确定飞行器上的加油插孔的位置包括：将飞行器的接近度传感器测量结果与合并的飞行器关键点融合。

条款10.根据本公开的另一方面，提供一种用于空中加油的加油插孔和伸缩套管尖端位置和姿态估计的系统，该系统包括：一个或多个处理器；以及存储指令的存储器，这些指令在由一个或多个处理器执行时促使一个或多个处理器实施包括以下各项的操作：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

条款11.根据条款10所述的系统，其进一步包括伸缩套管控件，该伸缩套管控件至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。

条款12.根据条款10所述的系统，其进一步包括相机，其中视频帧由该相机提供。

条款13.根据条款10所述的系统，其进一步包括接近度传感器，其中确定飞行器上的加油插孔的位置包括：将飞行器的接近度传感器测量结果与合并的飞行器关键点融合。

条款14.根据条款10所述的系统，其中所述操作还包括向飞行器提供机动信息以有利于使加油插孔与空中加油伸缩套管接合。

条款15.根据条款10所述的系统，其进一步包括执行飞行器关键点的时间滤波。

条款16.根据本公开的另一方面，提供一种计算机程序产品，其包括计算机可用介质，该计算机可用介质具有嵌入其中的计算机可读程序代码，该计算机可读程序代码适于被执行以实现一种空对空加油的方法，该方法包括：接收视频帧；根据视频帧生成具有不同的降低分辨率的多个图像；在多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；将多组飞行器关键点合并成一组合并的飞行器关键点；至少基于合并的飞行器关键点来确定飞行器上的加油插孔的位置；以及确定空中加油伸缩套管的伸缩套管尖端的位置。

条款17.根据条款16所述的计算机程序产品，其中该方法还包括至少基于加油插孔的位置和伸缩套管尖端的位置来控制空中加油伸缩套管接合加油插孔。

条款18.根据条款16所述的计算机程序产品，其中该方法还包括：至少基于加油插孔的位置和伸缩套管尖端的位置来确定控制空中加油伸缩套管接合加油插孔是否在安全参数内；以及至少基于确定控制空中加油伸缩套管接合加油插孔不在安全参数内而生成警报。

条款19.根据条款16所述的计算机程序产品，其中该方法还包括：用场景的多个标记图像训练神经网络(NN)，多个标记图像具有公共场景的不同的降低分辨率。

条款20.根据条款16所述的计算机程序产品，其中该方法还包括：训练神经网络(NN)以将额外飞行器关键点插入到飞行器关键点热度图中。

已经详细描述了本公开的各方面，显然可以在不脱离如所附权利要求中限定的本公开的各方面的范围的情况下进行修改和变化。由于在不脱离本公开的各方面的范围的情况下可对上述结构、产品和方法进行各种改变，因此以上描述中包含的和附图中所示的所有内容都应被解释为是说明性的，而不是限制性的。

Claims (10)

1.一种空对空加油的方法，所述方法包括：

接收视频帧；

根据所述视频帧生成具有不同的降低分辨率的多个图像；

在所述多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；

将所述多组飞行器关键点合并成一组合并的飞行器关键点；

至少基于所述合并的飞行器关键点来确定所述飞行器上的加油插孔的位置；以及

确定空中加油伸缩套管的伸缩套管尖端的位置。

2.根据权利要求1所述的方法，其进一步包括：

至少基于所述加油插孔的位置和所述伸缩套管尖端的位置来控制所述空中加油伸缩套管接合所述加油插孔。

3.根据权利要求1所述的方法，其中所述视频帧由单个相机提供。

4.根据权利要求1所述的方法，其进一步包括：

向所述飞行器提供机动信息以有利于使所述加油插孔与所述空中加油伸缩套管接合。

5.根据权利要求1所述的方法，其进一步包括：

至少基于所述加油插孔的位置和所述伸缩套管尖端的位置来确定控制所述空中加油伸缩套管接合所述加油插孔是否在安全参数内；以及

至少基于确定控制所述空中加油伸缩套管接合所述加油插孔不在安全参数内而生成警报。

6.根据权利要求1所述的方法，其进一步包括：

确定合并的飞行器关键点是否丢失；以及

至少基于确定所述合并的飞行器关键点已丢失，将额外飞行器关键点插入到飞行器关键点热度图内。

7.根据权利要求1所述的方法，其进一步包括：

用场景的多个标记图像训练神经网络(NN)，所述多个标记图像具有公共场景的不同的降低分辨率。

8.根据权利要求1所述的方法，其进一步包括：

执行飞行器关键点的时间滤波。

9.根据权利要求1所述的方法，其中确定所述飞行器上的所述加油插孔的位置包括：

将所述飞行器的接近度传感器测量结果与所述合并的飞行器关键点融合。

10.一种用于空中加油的加油插孔和伸缩套管尖端位置和姿态估计的系统，所述系统包括：

一个或多个处理器；以及

存储指令的存储器，所述指令在由所述一个或多个处理器执行时促使所述一个或多个处理器实施包括以下各项的操作：

接收视频帧；

根据所述视频帧生成具有不同的降低分辨率的多个图像；

在所述多个图像中的每个图像内检测将被加油的飞行器的一组飞行器关键点；

将所述多组飞行器关键点合并成一组合并的飞行器关键点；

至少基于所述合并的飞行器关键点来确定所述飞行器上的加油插孔的位置；以及

确定空中加油伸缩套管的伸缩套管尖端的位置。

Images