CN106875403A - 一种用于空中加油的仿鹰眼视觉运动目标检测方法 - Google Patents

Abstract

本发明是一种用于空中加油的仿鹰眼视觉运动目标检测方法，其实施步骤为：步骤一：获取受油机航拍图像；步骤二：参数初始化；步骤三：受油机航拍图像超像素分割；步骤四：受油机航拍图像块划分；步骤五：计算单帧图像的视顶盖细胞响应；步骤六：计算下一帧图像的细胞响应；步骤七：计算相邻两帧图像的运动目标细胞响应；步骤八：计算运动目标细胞响应幅值；步骤九：计算各超像素运动目标细胞响应幅值；步骤十：确定运动目标图像坐标；步骤十一：储存运动目标检测结果。本发明提出的仿鹰眼视觉运动目标检测方法能够准确提取无人机硬式加油过程中的受油口，准确确定受油口位置，该方法具有较高的准确性和鲁棒性。

Description

一种用于空中加油的仿鹰眼视觉运动目标检测方法

一、技术领域

本发明是一种用于空中加油的仿鹰眼视觉运动目标检测方法，属于计算机视觉技术领域。

二、背景技术

无人机作为无人驾驶的航空飞行器在军事和民用方面均有着广泛的应用。但是由于携带燃油量有限，无人机的航行距离和载荷能力受到了严重的制约。为了提高无人机性能和功能，拓展其作战能力边界，提高作战性能，美国等纷纷将无人机自主空中加油技术列入当前研究重点。无人机空中加油技术的应用能够大大增加其续航时间，为携带更多的任务载荷提供可能。无人机空中加油系统主要可分为软式(插头-锥套式)和硬式(伸缩管式)两种。

硬式空中加油系统具有加油效率高，速度快，对受油机机动性要求较低等优点，且可给大型飞机加油。因此，目前在美国空军中主要采用的是硬式空中加油系统。硬式空中加油系统的主体是安装在加油机尾部的伸缩套管，套管根部用万向铰链与加油机尾部承力机构相连，伸缩套管本身由内、外套管组成。不加油时伸缩套管缩至最短。加油时放下伸缩套管，受油机进入对接范围后，操纵加油嘴插入受油机背部的受油插座并锁定。加油过程中受油机可在一定范围内机动。加油完毕后，操纵缩回内管，拔出加油嘴，受油机脱离。本专利主要用于解决硬式空中加油过程中的受油口运动目标检测。

相对于其他导引技术，视觉导引技术具有精度高、成本低、不依赖外部信息等特点，因此视觉导引是无人机空中加油的一种可行导引方案，且是当前无人机自主空中加油技术的一个研究热点。在视觉导引方案中相机放置在加油机的伸缩管附近，同时在受油机的受油口附近添加特定的视觉标识，当无人机与加油机靠近时，拍摄无人机上方的受油口的标识，并进行后续图像处理，从而实现对受油机的准确检测。

仿生视觉信息处理机制相比于一般的计算机视觉具有处理速度快、精度高等优势，并因此得到了广泛研究。鹰的生活环境和捕食习惯决定了其更加适用于由上而下的视景下的目标检测，尤其是在目标较小、目标与背景对比度较低、目标与背景有明显相对运动情况下的目标检测，这与无人机空中加油运动目标检测的任务需求相吻合。鹰视顶盖细胞接受来自对侧视网膜的投射，其感受野通常由一个兴奋性的中心和一个抑制性周边构成，且中心区域相对较小，周边区域相对较大。视顶盖可分成15层，其细胞感受野随着深度增加而逐渐增大，可能反映视顶盖细胞对视觉信息的整合作用，深层细胞对浅层细胞由整合汇聚作用。研究表明70％的视顶盖细胞对运动敏感，这些运动敏感神经元中30％具有高度的方向选择性。如果能够模拟视顶盖细胞的运动敏感特性及深层细胞对浅层细胞的整合汇聚作用，并将鹰眼的运动目标检测机制运用于无人机空中加油中，将有可能从很大程度上提高运动目标检测的准确性和实时性。本发明使用E-I网络模型模拟鹰视顶盖细胞感受野，计算图像对应的离顶盖细胞响应，并使用简单迭代线性聚类超像素分割方法模拟鹰的深层视顶盖细胞对浅层视顶盖细胞响应的汇聚作用，通过计算各超像素的仿鹰视顶盖运动目标细胞响应得到加油机所在位置信息。

无人机加油过程中，视觉系统的图像输入数据可以看作是由基函数线性组合而成：

观测数据向量X为输入图像块得到的向量，其大小为P*1，P＝p²，p为在原图像空间上正方形图像块的宽度；A是一组基向量构成的矩阵，其大小为P*Q，即每个基向量的大小为P，共有Q个基向量；s为基函数系数，其大小为Q*1。编码训练得到的基底是超完备的，s的变化将基函数线性组合起来以精确地表示输入向量X。n为高斯分布的白噪声。模拟鹰视顶盖细胞的编码过程即为A与s的求解过程，该问题的目标函数如下：

||X-As||²为重构误差，该误差代表了基向量与基函数系数的编码准确度，亦是编码有效性的表征。u(s_i)为稀疏函数，它决定了基函数系数s的稀疏程度，这种稀疏性是视觉系统能够高速有效的工作的重要因素。λ是一个常数，用来决定误差和稀疏函数的权衡。E-I网络模型是一种稀疏编码算法，该算法最初用于模拟初级视皮层细胞感受野与响应特点。实验表明鹰视顶盖细胞感受野与初级视皮层感受野均为中央兴奋周边抑制型，因此本发明将E-I网络模型用于模拟鹰视顶盖细胞感受野，并计算运动目标细胞响应。

本发明使用简单迭代线性聚类超像素分割方法模拟鹰视顶盖深层细胞对浅层细胞的整合汇聚作用，将具有高度相似性的像素作为一个整体进行处理。简单迭代线性聚类超像素分割方法首先按照设置的超像素大小，在图像中均匀生成聚类中心即种子节点。假设每个超像素包含M个像素，图像中的像素总数为N，则可生成[N/M]([·]表示取整运算)个超像素，每块超像素的边长近似为随后在聚类中心附近n*n的邻域内对种子节点进行重新选取，计算种子节点邻域中各像素点的梯度值，并取梯度值最小的像素点作为新的种子节点，对每个种子节点邻域内的所有像素点分配其所属的类标签，确定出每个像素点的聚类中心。对于每个像素点，分别计算它和种子节点的颜色距离d_c和空间距离d_s，并得出最终的距离度量D'，距离计算过程如下：

其中，为类内空间最大距离，N_c为最大颜色距离，最终的距离度量可表示为：

由于图像中的每个像素点都会被多个种子节点搜索到，计算每个像素点与周围种子点的距离，并去与其距离最小的种子节点作为该像素点的聚类中心。将上述步骤重复迭代多次直到聚类中心不发生变化。

三、发明内容

1、发明目的：

本发明提出了一种用于空中加油的仿鹰眼视觉运动目标检测方法，其目的是模拟鹰视顶盖细胞对运动信息的处理机制及深层细胞对浅层细胞的整合汇聚作用，实现对受油口的准确检测，提供精确可靠的受油机动态位置信息，为无人机空中加油视觉导航中的运动目标检测提供一种解决方案。

该方法使用简单迭代线性聚类超像素分割方法模拟视顶盖深层细胞对浅层细胞的整合汇聚作用，使用E-I网络模型模拟鹰视顶盖细胞的细胞感受野模型。首先通过加油机上装载的摄像机获取两帧受油机图像，然后利用Matlab软件编写相应算法，计算输入的两帧图像所对应的视顶盖细胞响应，对两帧图像的视顶盖细胞响应作差从而计算出运动目标细胞响应及其幅值，计算每个超像素内的运动目标细胞响应平均幅值。根据运动目标细胞响应幅值进行自适应阈值分割，运动目标细胞响应较大的区域即为当前受油机所在位置，将其输出即可。

2、技术方案：

本发明所用的E-I网络模型很好的模拟了具有方向选择性的鹰视顶盖细胞感受野，且具有细胞响应稀疏、非监督学习等特点，所用的简单迭代线性聚类超像素分割方法能够将属于同一物体的多个像素点聚类到一个超像素中，并以此模拟鹰视顶盖细胞由浅层到深层的汇聚作用，可保证检测目标完整性。基于该方法开发一种用于空中加油的仿鹰眼视觉运动目标检测方法，该方法的具体步骤如下：

步骤一：获取受油机航拍图像

在加油机上搭载摄像机及机载处理器，运行相机连续采集程序，将加油机和受油机飞行至一定高度，加油机高度高于受油机，调整加油机视场角度使得拍摄得到航拍图像中含有受油机及受油口。

步骤二：参数初始化

确定所需要的鹰眼视顶盖细胞感受野(即基向量)个数Q，每个感受野的大小P，步骤一获得的受油机航拍图像空间上的图像正方形块宽度p，每个超像素包含的像素个数M，步骤一获得的受油机航拍图像宽度m、高度n、像素总数N＝m*n，最大颜色距离N_c，简单迭代线性聚类超像素分割方法迭代次数iter。

步骤三：受油机航拍图像超像素分割

使用简单迭代线性聚类超像素分割方法对当前帧受油机航拍图像进行超像素分割，并存储每个超像素中所包含的像素点坐标。

步骤四：受油机航拍图像块划分

对步骤一采集到的受油机航拍图像进行灰度化，并对图像大小进行调整，将其宽度与高度均设置为感受野大小的整数倍，并分成与感受野滤波大小相同的图像块。

步骤五：计算单帧图像的视顶盖细胞响应

对于步骤四中得到的各个图像块使用E-I网络模型计算鹰视顶盖细胞响应。若步骤四中调整后的图像宽度为p*w，高度为p*h，则该幅图像共有w*h个图像块需要计算细胞响应，每个图像块的细胞响应为Q维。因此，最终计算得到的当前帧图像对应的细胞响应为w*h*Q的三维矩阵。

步骤六：计算下一帧图像的细胞响应

判断当前帧图像是否为第一帧，若是则计算下一帧图像的细胞响应，计算方法同步骤五，计算完成后转至步骤七。

步骤七：计算相邻两帧图像的运动目标细胞响应

将当前图像的细胞响应与上一帧图像的细胞响应做差，得到w*h*Q三维的运动目标细胞响应矩阵。

其中，表示当前帧图像中第[i,j]个图像块的第k维运动目标细胞响应。表示当前帧图像中第[i,j]个图像块的第k维细胞响应。表示上一帧图像中第[i,j]个图像块的第k维细胞响应。使用该运动目标细胞响应与细胞感受野进行卷积操作，可得到图像对应的运动复原图。

步骤八：计算运动目标细胞响应幅值

上一步所得的运动目标细胞响应是一组w*h*Q的三维矩阵，对该矩阵求细胞响应幅值，如第[i,j]个图像块的运动目标细胞响应幅值计算如下：

AR为w*h的运动目标细胞响应幅值矩阵。设置每个图像块的第一个像素点代表该图像块整体的运动目标细胞响应幅值，从而将运动目标细胞响应幅值从w*h的二维矩阵转换为(q*w)*(q*h)的二维矩阵。

步骤九：计算各超像素运动目标细胞响应幅值

利用步骤三中超像素分割的结果，分别计算每个超像素内部所有像素点的运动目标细胞响应幅值平均值，并将此平均值作为该超像素内所有像素点对应的运动目标细胞响应幅值，即属于同一个超像素的所有像素点具有相同的运动目标细胞响应幅值。

步骤十：确定运动目标图像坐标

本发明中将最大运动目标细胞响应幅值的t倍(0＜t＜1)作为自适应阈值进行分割，将运动目标细胞响应大于该阈值的像素点设置为目标区域，将其与像素点设置为背景区域。

步骤十一：储存运动目标检测结果

将目标区域的图像坐标求均值，将该均值作为当前的受油机运动目标所在位置。在原图中将该位置标注出来，并存储。同时判断是否为最后一帧图像，如果是最后一帧则结束计算，否则转至步骤一。

3、优点及效果：

本发明提出了一种用于空中加油的仿鹰眼视觉运动目标检测方法，为无人机空中加油应用中的受油口检测提供了一种解决方案。本方法使用编码模型模拟鹰视顶盖细胞感受野模型，计算运动目标动态细胞响应，使用超像素分割方法模拟鹰视顶盖深层细胞感受野对浅层细胞感受野的整合汇聚作用，通过对运动目标细胞响应幅值的自适应阈值分割提取受油机所在位置，为无人机空中加油中的目标检测提供了一种新思路。

四、附图说明

图1本发明一种用于空中加油的仿鹰眼视觉运动目标检测方法的流程图

图2 100帧图像运动目标检测得到运动轨迹

图3 100帧图像运动目标真实运动轨迹

图4 100帧图像运动目标检测X方向的位置误差，单位为像素

图5 100帧图像运动目标检测Y方向的位置误差，单位为像素

图中标号及符号说明如下：

N——不满足条件(否)

Y——满足条件(是)

五、具体实施方式

下面通过一个具体的无人机空中加油运动目标检测实例来验证本发明所提出方法的有效性。实验计算机配置为i7-4790处理器，3.60GHz主频，4G内存，软件环境为R2013a版本的Matlab。

本实例的具体实现步骤如下：

步骤一：获取受油机航拍图像

在加油机上搭载Basler摄像机及NUC机载处理器，运行相机连续采集程序，将加油机和受油机飞行至一定高度，加油机高度高于受油机，调整加油机视场角度使得拍摄得到航拍图像中含有受油机。

步骤二：参数初始化

本发明将128个具有明显方向选择性的滤波核作为鹰眼视顶盖细胞感受野，图中的每个小方块代表一个细胞感受野。故鹰眼视顶盖细胞感受野(即基向量)个数为128，每个感受野滤波核的大小为14*14＝196，不同的感受野均具有不同的方向选择性。步骤一获取的受油机航拍图像空间上的图像正方形块宽度为14，每个超像素包含的像素个数600，摄像机采集到的图像是1292*964*3的彩色图像，将其调整为322*238，即图像宽度322，图像高度238，图像中的像素总数为76636，最大颜色距离为10，简单迭代线性聚类超像素分割方法迭代次数10。

步骤三：受油机航拍图像超像素分割

使用简单迭代线性聚类超像素分割方法对当前帧受油机航拍图像进行超像素分割，并存储每个超像素中所包含的像素点坐标。

步骤四：受油机航拍图像块划分

为加快处理速度和便于计算，将步骤一采集到的受油机航拍图像调整为322*238的灰度图像，并将其分成23*17个14*14的图像块。

步骤五：计算单帧图像的视顶盖细胞响应

对于步骤四中得到的各个图像块使用E-I网络模型计算鹰视顶盖细胞响应。322*238的灰度图像共有23*17个图像块需要计算细胞响应，每个图像块的细胞响应为128维。因此，最终计算得到的当前帧图像对应的细胞响应为23*17*128的三维矩阵。

步骤六：计算下一帧图像的细胞响应

判断当前帧图像是否为第一帧，若是则计算下一帧图像的细胞响应，计算方法同步骤五，计算完成后转至步骤七。

步骤七：计算相邻两帧图像的运动目标细胞响应

将当前图像的细胞响应与上一帧图像的细胞响应做差，得到23*17*128三维的运动目标细胞响应矩阵。

其中，表示当前帧图像中第[i,j]个图像块的第k维运动目标细胞响应。表示当前帧图像中第[i,j]个图像块的第k维细胞响应。表示上一帧图像中第[i,j]个图像块的第k维细胞响应。使用该运动目标细胞响应与细胞感受野进行卷积操作，可得到图像对应的运动复原图。

步骤八：计算运动目标细胞响应幅值

上一步所得的运动目标细胞响应是一组23*17*128的三维矩阵，对该矩阵求细胞响应幅值，如第[i,j]个图像块的运动目标细胞响应幅值计算如下：

AR为23*17的运动目标细胞响应幅值矩阵。设置每个图像块的第一个像素点代表该图像块整体的运动目标细胞响应幅值，从而将运动目标细胞响应幅值从23*17的二维矩阵转换为322*238的二维矩阵。

步骤九：计算各超像素运动目标细胞响应幅值

利用步骤三中超像素分割的结果，分别计算每个超像素内部所有像素点的运动目标细胞响应幅值平均值，并将此平均值作为该超像素内所有像素点对应的运动目标细胞响应幅值。

步骤十：确定运动目标图像坐标

本发明中将最大运动目标细胞响应幅值的0.9倍作为自适应阈值进行分割，将运动目标细胞响应大于该阈值的像素点设置为目标区域，将其与像素点设置为背景区域。

步骤十一：储存运动目标检测结果

将目标区域的图像坐标求均值，将该均值作为当前的受油机运动目标所在位置。在原图中将该位置标注出来，并存储。判断是否为最后一帧图像，如果是最后一帧则结束计算，否则转至步骤一。连续测试100帧图像，并将各帧运动目标的位置连接得到的运动轨迹，如图2所示。图3为该100帧图像的目标位置实际运动轨迹。图4和图5分别为X方向和Y方向的位置误差，单位为像素。

由实例中的仿真结果可见，本发明提出的仿鹰眼视觉运动目标检测方法能够准确提取无人机硬式加油过程中的受油口，准确确定受油口位置，该方法具有较高的准确性和鲁棒性。该仿鹰眼视觉运动目标检测方法可广泛用于航空、航天、交通、机器人等领域。

Claims (1)

1.一种用于空中加油的仿鹰眼视觉运动目标检测方法，该方法的具体步骤如下：

步骤一：获取受油机航拍图像

在加油机上搭载摄像机及机载处理器，运行相机连续采集程序，将加油机和受油机飞行至一定高度，加油机高度高于受油机，调整加油机视场角度使得拍摄得到航拍图像中含有受油机及受油口；

步骤二：参数初始化

确定所需要的鹰眼视顶盖细胞感受野个数Q，每个感受野的大小P，步骤一获得的受油机航拍图像空间上的图像正方形块宽度p，每个超像素包含的像素个数M，步骤一获得的受油机航拍图像宽度m、高度n、像素总数N＝m*n，最大颜色距离N_c，简单迭代线性聚类超像素分割方法迭代次数iter；

步骤三：受油机航拍图像超像素分割

使用简单迭代线性聚类超像素分割方法对当前帧受油机航拍图像进行超像素分割，并存储每个超像素中所包含的像素点坐标；

步骤四：受油机航拍图像块划分

对步骤一采集到的受油机航拍图像进行灰度化，并对图像大小进行调整，将其宽度与高度均设置为感受野大小的整数倍，并分成与感受野滤波大小相同的图像块；

步骤五：计算单帧图像的视顶盖细胞响应

对于步骤四中得到的各个图像块使用E-I网络模型计算鹰视顶盖细胞响应；若步骤四中调整后的图像宽度为p*w，高度为p*h，则该幅图像共有w*h个图像块需要计算细胞响应，每个图像块的细胞响应为Q维；因此，最终计算得到的当前帧图像对应的细胞响应为w*h*Q的三维矩阵；

步骤六：计算下一帧图像的细胞响应

判断当前帧图像是否为第一帧，若是则计算下一帧图像的细胞响应，计算方法同步骤五，计算完成后转至步骤七；

步骤七：计算相邻两帧图像的运动目标细胞响应

将当前图像的细胞响应与上一帧图像的细胞响应做差，得到w*h*Q三维的运动目标细胞响应矩阵：

${\mathrm{TR}}_{i,j}^c\left(k\right)=R_{i,j}^c\left(k\right)-R_{i,j}^l\left(k\right)---\left(7\right)$

其中，表示当前帧图像中第[i,j]个图像块的第k维运动目标细胞响应；表示当前帧图像中第[i,j]个图像块的第k维细胞响应；表示上一帧图像中第[i,j]个图像块的第k维细胞响应；使用该运动目标细胞响应与细胞感受野进行卷积操作，可得到图像对应的运动复原图；

步骤八：计算运动目标细胞响应幅值

上一步所得的运动目标细胞响应是一组w*h*Q的三维矩阵，对该矩阵求细胞响应幅值，如第[i,j]个图像块的运动目标细胞响应幅值计算如下：

$AR=\left|\right|{\mathrm{TR}}_{i,j}|{|}^2=\underset{k=1}{\overset{Q}{\Σ}}{\left({\mathrm{TR}}_{i,j}\right(k\left)\right)}^2---\left(8\right)$

AR为w*h的运动目标细胞响应幅值矩阵；设置每个图像块的第一个像素点代表该图像块整体的运动目标细胞响应幅值，从而将运动目标细胞响应幅值从w*h的二维矩阵转换为(q*w)*(q*h)的二维矩阵；

步骤九：计算各超像素运动目标细胞响应幅值

利用步骤三中超像素分割的结果，分别计算每个超像素内部所有像素点的运动目标细胞响应幅值平均值，并将此平均值作为该超像素内所有像素点对应的运动目标细胞响应幅值，即属于同一个超像素的所有像素点具有相同的运动目标细胞响应幅值；

步骤十：确定运动目标图像坐标

本发明中将最大运动目标细胞响应幅值的t倍(0＜t＜1)作为自适应阈值进行分割，将运动目标细胞响应大于该阈值的像素点设置为目标区域，将其与像素点设置为背景区域；

步骤十一：储存运动目标检测结果

将目标区域的图像坐标求均值，将该均值作为当前的受油机运动目标所在位置；在原图中将该位置标注出来，并存储；同时判断是否为最后一帧图像，如果是最后一帧则结束计算，否则转至步骤一。