CN115953703A - 一种三旋翼布局的微型无人机高动态目标识别和跟踪方法 - Google Patents

Abstract

本发明公开了一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，包括：获取目标场景彩色图和深度图，计算得到目标场景物体的数学特征和局部特征；获取多类场景彩色图和深度图，计算得到参考数学特征和参考局部特征；将得到的参考数学特征和参考局部特征作为总特征输入随机森林训练网络进行训练，得到参考特征向量；将目标场景物体的数学特征和局部特征作为总特征按照训练方法输入随机森林训练网络，得到目标特征向量；将目标特征向量与参考特征向量进行对比，识别目标场景的类别，并根据识别结果进行跟踪。本发明能够提升目标智能感知能力和目标识别能力，通过空地协同的识别效率可达秒级，显著提高了三旋翼布局的微型无人机的目标识别率。

Description

一种三旋翼布局的微型无人机高动态目标识别和跟踪方法

技术领域

本发明属于微型无人机的自动目标识别(ATR)研究领域，涉及一种三旋翼布局的微型无人机高动态目标识别和跟踪方法。

背景技术

微型飞行器(MAV)是一种具有尺寸限制并且可以自主飞行的无人飞行器。与传统飞行器相比，其主要特征在于本身极小的尺寸，使得其可以在复杂环境和狭窄空间内执行任务，并且具有不易被发现的优点。微型飞行器在军事方面具有较高的研究价值和应用前景，可用执行搜查，跟踪，探测以及军事打击等多种任务。军方越来越多地依靠微型无人机技术对潜在的威胁进行监视，侦察和打击，以尽量减少对军事人员的伤害。军方正在探索并开发微型无人机的功能，包括使微型无人机自主地识别对手及其关键资产，自主决定行动方案，以及在没有中央指挥和控制的直接干预下与敌人交战。

无人机目标识别和跟踪技术是一种新兴的军事技术，可以为现代战场上的很多问题提供解决方案。目前的目标识别技术很多是基于深度学习网络，虽然深度学习网络可以大幅提升目标的识别率，然而无人机由于搭载电源功率、机舱空间和载重都受到很大限制，机载计算机的计算资源非常有限，而且计算资源往往都提供给了飞行控制系统、导航系统等关键飞行设备，提供给任务设备的计算资源和实时性无法保证；此外，无人机机载计算机的频率较低，根据统计，进行10个类别的士兵、坦克、车辆等目标识别，需要至少10分钟以上，计算完毕后敌方目标已经消失，根本无法适用于快速变化的战场。

发明内容

本发明的目的在于解决现有技术中的问题，提供一种三旋翼布局的微型无人机高动态目标识别和跟踪方法。

为达到上述目的，本发明采用以下技术方案予以实现：

一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，包括以下步骤：

获取目标场景的彩色图和深度图，计算得到目标场景物体的数学特征和局部特征；

获取多类场景的彩色图和深度图，计算得到参考数学特征和参考局部特征；

将得到的参考数学特征和参考局部特征作为总特征输入随机森林训练网络进行训练，得到参考特征向量；

将目标场景物体的数学特征和局部特征作为总特征按照训练方法输入随机森林训练网络，得到目标特征向量；

将目标特征向量与参考特征向量进行对比，识别目标场景的类别，并根据识别结果进行跟踪。

进一步的，所述数学特征包括亮度、颜色和纹理；所述数学特征通过将彩色图转换为像素矩阵形式，然后利用特征分析工具计算得到，所述像素矩阵的数学形式为：

X＝X(m×n)

其中，X表示彩色图的数学符号，m表示彩色图的像素矩阵的列数，n表示彩色图的像素矩阵的行数，像素矩阵中的每一个元素代表了该位置像素的rgb值。

进一步的，所述彩色图的亮度特征通过将像素矩阵带入亮度分析工具计算得到，所述亮度分析工具的数学表达式为：

LD＝∑rgb(i)/μ

其中，LD表示彩色图的亮度特征，rgb(i)表示第i个像素的rgb值，μ表示亮度梯度参数。

进一步的，所述彩色图的颜色特征通过将像素矩阵带入颜色分析工具计算得到，所述颜色分析工具的数学表达式为：

其中，YS表示彩色图的颜色特征，

表示每一个像素的rgb平均值。

进一步的，所述彩色图的纹理特征通过将像素矩阵带入纹理分析工具计算得到，所述纹理分析工具的数学表达式为：

其中，WL表示彩色图的纹理特征，

表示第i个像素的rgb平均值。

进一步的，所述局部特征包括深度梯度、凸法向量梯度和凹法向量梯度。

进一步的，所述随机森林训练网络的处理层为条件随机场，所述处理层的层数大于等于50层。

进一步的，所述随机森林训练网络的训练过程为：

随机森林训练网络中的第一层条件随机场接收总特征输入，并输出第一层的特征向量为：

p(1)＝exp{w₁∑f₁(x_i)+w₂∑g₁(x_i)}+p(0)

其中，p(1)表示第一层的特征向量，p(0)表示初始特征向量，w₁和w₂表示模型参数，f₁和g₁分别表示第一层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第二层条件随机场接收总特征输入和第一层的特征向量，并输出第二层的特征向量为：

p(2)＝exp{w₁∑f₂(x_i)+w₂∑g₂(x_i)}+p(1)

其中，p(2)表示第二层的特征向量，p(1)表示第一层的特征向量，w₁和w₂表示模型参数，f₂和g₂分别表示第二层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第三层条件随机场接收总特征输入和第二层的特征向量，并输出第三层的特征向量为：

p(3)＝exp{w₁∑f₃(x_i)+w₂∑g₃(x_i)}+p(2)

其中，p(3)表示第三层的特征向量，p(2)表示第二层的特征向量，w₁和w₂表示模型参数，f₃和g₃分别表示第三层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第n层条件随机场输出的特征向量为：

p(n)＝exp{w₁∑f_n(x_i)+w₂∑g_n(x_i)}+p(n-1)

其中，p(n)表示第n层的特征向量，p(n-1)表示第n-1层的特征向量，w₁和w₂表示模型参数，fn和g_n分别表示第n层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

与现有技术相比，本发明具有以下有益效果：

本发明提供一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，无人机拍摄的目标视频传至地面站云端处理，利用随机森林训练网络，支持云端分布式并行计算，得到目标特征向量，将目标特征向量与参考特征向量进行对比查找，从而识别目标场景类别并跟踪。本发明能够提升目标智能感知能力和目标识别能力，可在山地、城市建筑群、森林、海面、低空等复杂环境下识别时敏目标，防止识别错误造成误导、识别过慢贻误战机，通过空地协同的识别效率可达秒级，显著提高了三旋翼布局的微型无人机的目标识别率。而且通过携带微型双摄像机引入的立体视觉，使得场景的三维感知更加准确，利用识别结果和立体视觉定位作为先验知识，目标跟踪引入小样本跟踪预测方法，大大加快了机载计算机跟踪速度，提高了对时敏目标的实时跟踪效果。

附图说明

为了更清楚的说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明的三旋翼布局微型无人机多视角视图。

图2为本发明的三旋翼布局的微型无人机搭载的微型光电传感器图。

图3为本发明的三旋翼布局的微型无人机搭载的光电传感器采集的环境图像图。

图4为本发明的基于深度结构学习的目标场景理解流程图。

其中：10-薄壁涵道，12-固定旋翼，14-可动尾桨，16-无人机机身，18-双目摄像头，20-数据传输接口；

图1(a)为三旋翼布局微型无人机的正视图，图1(b)为三旋翼布局微型无人机的左视图，图1(c)为三旋翼布局微型无人机的俯视图，图1(d)为三旋翼布局微型无人机的立体示意图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中所涉及的终端可以包括但不限于手机、个人数字助理(Personal Digital Assistant，PDA)、无线手持设备、平板电脑(TabletComputer)、个人电脑(Personal Computer，PC)、MP3播放器、MP4播放器、可穿戴设备(例如，智能眼镜、智能手表、智能手环等)、智能家居设备等智能设备。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图对本发明做进一步详细描述：

参见图1至图3，本发明提供一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，三旋翼布局微型无人机是低成本的军需装备，其能够在从移动机载平台释放之前接收并下载控制指令，并搭载了合适的视觉传感器，例如双目视觉传感器，可对目标进行识别和跟踪。根据产生升力方式的不同，微型飞行器主要分为固定翼、扑翼和旋翼三种主要构型。在本发明中，三旋翼布局的多旋翼无人机作为平台，其具有以下优势：

1.控制算法上的发展和应用已经相当成熟，并且控制效率较高，是一种较为实用的微型飞行器布局形式。

2.符合高动态、攻击性要求，并且旋翼外部的薄壁涵道10设置能够提高旋翼系统效率和增加使用安全性。

3.三旋翼布局形式能够提高机动性。左右两个固定旋翼12提供大部分升力和滚转操纵力，由一个可动尾桨14提供俯仰和偏航操纵力，并提供一定的升力，由于三轴力矩都直接由旋翼推力产生，因此有望进一步提高飞机机动能力。

4.三旋翼布局与常规多旋翼无人机相比较，结构重量较轻，携带运输也更加方便。

本发明的三旋翼布局的微型无人机包括地面平台和基于地面平台，三旋翼布局微型无人机由地面平台储存和释放，三旋翼布局微型无人机上搭载了一对微型光电传感器，包括图像采集模块和传输模块。成对传感器平行安装，采集可见光图像。成对的微型光电传感器一方面负责拍摄地面场景图像视频，另一方面形成双目测量系统，实时测量场景目标的定位。图像传输模块一方面提供给机载计算机，另一方面通过搭载的两个摄像机动态拍摄场景，将场景信息通过空地数据链实时传送至地面站云端，利用云端目标数据库对场景出现的目标进行识别，将识别结果上传至机载计算机，对目标进行实时三维定位和高动态追踪。

三旋翼布局微型无人机从地面平台释放并飞向指定的目标区域，目标区域是由地面站标定的。这里的地面平台是能够存储和部署小型三旋翼布局微型无人机的地面平台。目标区域可以是任何需要侦查的敌方目标区域，包括雷达装置、防空系统、敌方坦克和汽车等。在接近目标交战区域的某预设距离内(例如1～3km)释放一个三旋翼布局微型无人机。在释放之前，三旋翼布局微型无人机从地面站上下载目标信息和其他数据，并识别目标区域中的特定目标位置。释放后朝向目标区域飞行，最后到达目标区域中的一个特定位置。

参照图4，本发明通过搭载的两个摄像机动态拍摄场景，将场景信息通过空地数据链实时传送至地面站云端，利用云端目标数据库对场景出现的目标进行识别，与机载计算机资源有限相比，可利用地面强大的云端并行计算功能，快速自动识别目标，并将识别结果传送给无人机，无人机据此进行目标跟踪，在目标运行在复杂环境短时消失情况下，可再次启动地面云端识别功能，直到目标再次出现。

本发明提供的一种三旋翼布局微型无人机高动态目标识别和跟踪方法，包括以下步骤：

步骤一：获取目标场景彩色图，并利用亮度、颜色、纹理等特征分析工具计算得到目标场景物体的亮度、颜色、纹理等数学特征。

(1)将场景彩色图转换为像素矩阵形式，数学形式为：

X＝X(m×n)(1)

其中，X表示场景彩色图的数学符号，m表示场景彩色图的像素矩阵的列数，n表示场景彩色图的像素矩阵的行数，像素矩阵中的每一个元素代表了该位置像素的rgb值。

(2)将像素矩阵带入亮度分析工具，得到场景彩色图的亮度特征。亮度分析工具的数学表达式为：

LD＝∑rgb(i)/μ  (2)

其中，LD表示场景彩色图的亮度特征，rgb(i)表示第i个像素的rgb值，μ表示亮度梯度参数，通常取为500。

(3)将像素矩阵带入颜色分析工具，得到场景彩色图的颜色特征。颜色分析工具的数学表达式为：

式中，YS表示场景彩色图的颜色特征，

表示每一个像素的rgb平均值，因此，YS是一个大小为m×n的矩阵。

(4)将像素矩阵带入纹理分析工具，得到场景彩色图的纹理特征。纹理分析工具的数学表达式为：

其中，WL表示场景彩色图的纹理特征，

表示第i个像素的rgb平均值。

步骤二：利用无人机挂载的立体视觉系统获取目标场景的深度图。该深度图中包含了三种局部特征：深度梯度SD、凸法向量梯度TF和凹法向量梯度AF，这些特征均为位置无关量。其中深度梯度SD表示深度值的不连续性，凸法向量梯度TF表示像素点向外弯曲的程度，而凹法向量梯度AF则是描述像素点从拍摄点向内弯曲程度，反映物体表面特征。这些特征均可以直接从深度图中获取，无需利用数学工具。

步骤三：采集多类场景的彩色图和深度图(不少于5个)，保证同类型的场景实例尽可能多样化。同时对这些彩色图和深度图进行标注，尤其是标注图中的重要物体，这些经过标注的彩色图和深度图将作为训练样本用于后续的随机森林的训练。将标注的彩色图和深度图执行步骤一和步骤二的内容，得到参考亮度特征、参考颜色特征、参考纹理特征、参考深度梯度SD、参考凸法向量梯度TF以及参考凹法向量梯度AF。

步骤四：搭建如图4所示的随机森林训练网络，并采用条件随机场(ConditionalRandom Fields,CRF)作为网络中的处理层。

(1)将步骤三中得到的参考亮度特征、参考颜色特征、参考纹理特征、参考深度梯度SD、参考凸法向量梯度TF和参考凹法向量梯度AF作为总特征输入随机森林训练网络；

(2)随机森林训练网络中的第一层条件随机场CRF接收总特征输入，并按照下式输出第一层的特征向量为：

p(1)＝exp{w₁∑f₁(x_i)+w₂∑g₁(x_i)}+p(0) (5)

其中，p(1)表示第一层的特征向量，p(0)表示人为设定的初始特征向量，w₁和w₂表示模型参数，f₁和g₁是第一层的一元、二元特征函数，分别表示特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

(3)随机森林训练网络中的第二层条件随机场CRF接收总特征输入和第一层的特征向量，并按照下式输出第二层的特征向量为：

p(2)＝exp{w₁∑f₂(x_i)+w₂∑g₂(x_i)}+p(1) (6)

其中，p(2)表示第二层的特征向量，p(1)表示第一层的特征向量，w₁和w₂表示模型参数，f₂和g₂是第二层的一元、二元特征函数，分别表示特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

(4)随机森林训练网络中的第三层条件随机场CRF接收总特征输入和第二层的特征向量，并按照下式输出第三层的特征向量为：

p(3)＝exp{w₁∑f₃(x_i)+w₂∑g₃(x_i)}+p(2)    (7)

其中，p(3)表示第三层的特征向量，p(2)表示第二层的特征向量，w₁和w₂表示模型参数，f₃和g₃是第三层的一元、二元特征函数，分别表示特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

(4)同理得到随机森林训练网络中的第n层条件随机场CRF输出的特征向量为：

p(n)＝exp{w₁∑f_n(x_i)+w₂∑g_n(x_i)}+p(n-1)

(8)

其中，p(n)表示第n层的特征向量，p(n-1)表示第n-1层的特征向量，w₁和w₂表示模型参数，f_n和g_n是第n层的一元、二元特征函数，分别表示特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

随机森林训练网络的层数不应小于50层，在经过n层的训练之后，得到参考特征向量，每一个标注过的场景对应一个参考特征向量。

(5)将未标注的目标场景按照同样的方法输入随机森林训练网络中，得到目标特征向量，将目标特征向量与参考特征向量进行对比查找，就能识别出目标场景的类别，并根据识别结果进行跟踪。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，包括以下步骤：

获取目标场景的彩色图和深度图，计算得到目标场景物体的数学特征和局部特征；

获取多类场景的彩色图和深度图，计算得到参考数学特征和参考局部特征；

将得到的参考数学特征和参考局部特征作为总特征输入随机森林训练网络进行训练，得到参考特征向量；

将目标场景物体的数学特征和局部特征作为总特征按照训练方法输入随机森林训练网络，得到目标特征向量；

将目标特征向量与参考特征向量进行对比，识别目标场景的类别，并根据识别结果进行跟踪。

2.根据权利要求1所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述数学特征包括亮度、颜色和纹理；所述数学特征通过将彩色图转换为像素矩阵形式，然后利用特征分析工具计算得到，所述像素矩阵的数学形式为：

X＝X(m×n)

其中，X表示彩色图的数学符号，m表示彩色图的像素矩阵的列数，n表示彩色图的像素矩阵的行数，像素矩阵中的每一个元素代表了该位置像素的rgb值。

3.根据权利要求2所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述彩色图的亮度特征通过将像素矩阵带入亮度分析工具计算得到，所述亮度分析工具的数学表达式为：

LD＝∑rgb(i)/μ

其中，LD表示彩色图的亮度特征，rgb(i)表示第i个像素的rgb值，μ表示亮度梯度参数。

4.根据权利要求2所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述彩色图的颜色特征通过将像素矩阵带入颜色分析工具计算得到，所述颜色分析工具的数学表达式为：

其中，YS表示彩色图的颜色特征，

表示每一个像素的rgb平均值。

5.根据权利要求2所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述彩色图的纹理特征通过将像素矩阵带入纹理分析工具计算得到，所述纹理分析工具的数学表达式为：

其中，WL表示彩色图的纹理特征，

表示第i个像素的rgb平均值。

6.根据权利要求1所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述局部特征包括深度梯度、凸法向量梯度和凹法向量梯度。

7.根据权利要求1所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述随机森林训练网络的处理层为条件随机场，所述处理层的层数大于等于50层。

8.根据权利要求1所述的一种三旋翼布局的微型无人机高动态目标识别和跟踪方法，其特征在于，所述随机森林训练网络的训练过程为：

随机森林训练网络中的第一层条件随机场接收总特征输入，并输出第一层的特征向量为：

p(1)＝exp{w₁∑f₁(x_i)+w₂∑g₁(x_i)}+p(0)

其中，p(1)表示第一层的特征向量，p(0)表示初始特征向量，w₁和w₂表示模型参数，f₁和g₁分别表示第一层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第二层条件随机场接收总特征输入和第一层的特征向量，并输出第二层的特征向量为：

p(2)＝exp{w₁∑f₂(x_i)+w₂∑g₂(x_i)}+p(1)

其中，p(2)表示第二层的特征向量，p(1)表示第一层的特征向量，w₁和w₂表示模型参数，f₂和g₂分别表示第二层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第三层条件随机场接收总特征输入和第二层的特征向量，并输出第三层的特征向量为：

p(3)＝exp{w₁∑f₃(x_i)+w₂∑g₃(x_i)}+p(2)

其中，p(3)表示第三层的特征向量，p(2)表示第二层的特征向量，w₁和w₂表示模型参数，f₃和g₃分别表示第三层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入；

随机森林训练网络中的第n层条件随机场输出的特征向量为：

p(n)＝exp{w₁∑f_n(x_i)+w₂∑g_n(x_i)}+p(n-1)

其中，p(n)表示第n层的特征向量，p(n-1)表示第n-1层的特征向量，w₁和w₂表示模型参数，f_n和g_n分别表示第n层的特征与标签的特征函数、相邻特征与标签之间的关系函数，x_i表示总特征输入。

Images