CN111539362A - 一种无人机图像目标检测装置及方法 - Google Patents

Abstract

本发明建立了一种无人机图像目标检测装置及方法，通过Fisher判别准则和误差函数训练卷积神经网络，解算模型参数，使算法能够最小化无人机影像的类内差距，最大化类间差距，提高模型精度，得到具有高准确率和鲁棒性的无人机图像目标检测模型。

Description

一种无人机图像目标检测装置及方法

技术领域

本发明属于无人机影像目标检测领域，特别涉及一种无人机图像目标检测装置及方法。

背景技术

无人机具有机动性强、效率高、成本低、可重复使用的特点，在工业、商业应用中的需求越来越强烈，无人机搭载高精度相机对地面场景区域开展航拍巡检作业，获取巡检所覆盖场景影像数据进行目标检测，从而得到探测区域精准、实时的影像分析信息，能够应用在交通流量分析，城市建筑规划，输电线路巡检，石油管线巡检，边防巡检等领域。

相比于传统图像目标检测分析，无人机影像中拍摄过程中由于受机体振动的影像往往会带有噪声干扰，此外地面背景往往比较复杂，受到光照和成像角度的影响，同类目标的外观也可能存在各种差异，这些不利因素都给目标检测造成了困难，使得高效鲁棒和高准确性的无人机影像目标检测依然是一个富有挑战性的问题。而无人机前后两次对同一区域成像时，两幅图像之间不仅可能存在较大的成像视角差异，而且由于天气和光照等成像条件的不同，图像之间可能存在较大的整体或局部的亮度差异。在这些不利因素的影响下，无人机图像中的变化检测不仅需要解决图像的高精度配准问题，还需要解决在配准后图像上排除干扰提取高精度高可靠性变化信息的问题，使得无人机图像中的变化检测依然是一个难点问题。

综上所述，为了提取具有强表征能力的无人机影像深层特征，提高无人机影像目标检测的鲁棒性和准确性，需要发展一种更加精准的航拍影像目标检测方法。

发明内容

针对无人机影像目标检测难度大，航拍影像背景复杂等特点，本发明提供了一种基于Fisher判别准则的无人机影像目标检测装置及方法，应用于无人机航拍影像数据目标检测，从原始无人机航拍影像数据中学习航拍图像的浅层特征，通过Fisher准则提高浅层特征的类间距离，减少特征的类内距离，得到具有强表征能力的深层特征，提高无人机航拍影像目标检测方法的鲁棒性和准确性，提供高精度和高鲁棒性的目标检测结果。

本发明采用如下技术方案来实现：

一种无人机图像目标检测方法，包括以下步骤：

步骤1、根据无人机航拍图像构建训练数据集；

步骤2、构建Fisher判别准则卷积神经网络模型；

所述Fisher判别准则卷积神经网络模型共6层，前三层为卷积层，第四层为池化层，第五层为Fisher判别准则计算层，第六层为softmax所在的分类输出层；

步骤3、将训练数据集输入Fisher判别准则卷积神经网络进行训练，使用反向传播算法最小化Fisher判别项与误差项，解算模型参数，完成模型的训练；

步骤4：将航拍影像输入至训练后的Fisher判别准则卷积神经网络模型，得到目标检测分类结果。

优选的，步骤1中采用选择性搜索提取目标感兴趣区域图块，根据目标感兴趣区域图块对Fisher判别准则卷积神经网络模型进行训练。

优选的，所述目标感兴趣区域图块包括含有目标的图像区域，以及不含有目标的背景图像区域。

优选的，步骤3中Fisher判别准则卷积神经网络模型的训练过程如下：

步骤3.1、将目标感兴趣区域图块输入Fisher准则卷积神经网络，经过前三层的卷积操作，得到的特征向量X⁽³⁾；

步骤3.2、将X⁽³⁾输入第四层池化层，得到池化后的浅层特征向量X⁽⁴⁾；

步骤3.3、将计算得到的X⁽⁴⁾输入Fisher准则层，确定损失函数；

步骤3.4、损失函数后使用反向传播算法迭代解算得到参数集θ，解算得到模型参数集，完成Fisher准则卷积神经网络的训练。

优选的，所述前三层的卷积操作的过程如下：

将目标感兴趣区域图块记作X输入Fisher准则卷积神经网络中进行特征提取，经过第一层卷积操作，得到第一层输出的特征X⁽¹⁾，计算公式为：

X⁽¹⁾＝W₁X+b₁

其中，W₁和b₁表示神经网络输入的特征向量x和第一层生成特征向量X⁽¹⁾之间的权重矩阵与偏置矩阵；

将X⁽¹⁾作为Fisher准则卷积神经网络第二层的输入，得到第二层输出的特征向量X⁽²⁾，计算公式：

X⁽²⁾＝W₂X⁽¹⁾+b₂

将计算得到的X⁽²⁾作为Fisher准则卷积神经网络第三层的输入，得到第三层输出的特征向量X⁽³⁾，计算公式：

X⁽³⁾＝W₃X⁽²⁾+b₃

优选的，步骤3.2中浅层特征向量X⁽⁴⁾的表达式如下：

X⁽⁴⁾＝P(X⁽³⁾)

其中，P(*)为池化函数。

优选的，步骤3.3中损失函数的表达式如下

Loss(X，y，y′)＝min{F(X)+delt(y，y′)}

其中，F(*)为fisher准则函数，用来最小化类内差距，最大化类间差距，计算公式如下：

F(X)＝S_W(X)-S_B(X)

其中，n_i表示x_j属于某一类的样本个数，j：y_j＝i表示遍历标签值为i的全部图块样本；

delt(*)为误差函数，表示模型输入和输出之间的误差量，计算公式如下：

优选的，所述参数集θ的计算过程如下：

其中，r为模型的学习率。

优选的，步骤4中所述采用softmax分类器进行分类判断，得到目标图块属于各类别的概率向量，取概率向量的最大值所在的类别作为目标感兴趣区域的类别信息。

一种无人机图像目标检测方法的装置，包括卷积模块、池化模块和分类器；

卷积模块，用于目标感兴趣区域图块进行卷积操作，输出特征向量；

池化模块，用于对特征向量进行池化操作，输出浅层特征向量；

分类器，用于对浅层特征向量进行分类判别，得到图块属于各类别的概率向量，并将最大的概率向量作为凸块的类别信息进行输出。

本发明具有如下有益的技术效果：

本发明提供的一种无人机图像目标检测装置，采用卷积神经网络结构，使用选择性搜索方法获取无人机航拍影像的目标感兴趣区域，将感兴趣区域图块输入卷积神经网络，初步获取无人机航拍影像浅层特征，使用Fisher准则得到具有强表征能力的深层特征，将深层特征送入softmax分类器进行特征分类，得到高精度和高鲁棒性的目标检测结果。

附图说明

图1是本发明方法的流程示意图；

图2是本发明所用Fisher判别准则卷积神经网络模型示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

一种无人机图像目标检测装置，包括卷积模块、池化模块和分类器；

卷积模块，用于目标感兴趣区域图块进行卷积操作，输出特征向量；

池化模块，用于对特征向量进行池化操作，输出浅层特征向量；

分类器，用于对浅层特征向量进行分类判别，得到图块属于各类别的概率向量，并将最大的概率向量作为凸块的类别信息进行输出。

参照图1和图2，一种无人机图像目标检测方法，包括以下步骤：

步骤1：根据无人机航拍图像构建训练数据集，使用选择性搜索方法，提取训练数据集中感兴趣区域，感兴趣区域图块大小为N＊N像素。

使用选择性搜索的方式获取可能包含目标的感兴趣区域，所获取的感兴趣区域包括含有目标的图像区域，以及不含有目标的背景图像区域。

实施本发明方法的硬件环境是Inter Core i7 9700K CPU，3.6GHz，RTX2060，32GB内存，运行软件的环境是Python 3.6.5。

步骤2：构建Fisher判别准则卷积神经网络模型，该模型共6层，前三层为卷积层，第四层为池化层，第五层为Fisher判别准则计算层，第六层为softmax所在的分类输出层，输出目标检测分类的结果y′。

模型的输入为目标感兴趣区域图块，共得到k个图块样本，记作X＝x_i，i＝1，2...k，图块数据集标签信息记为y，标签共有c类别，y_i＝1，2，...，c，模型最终输出为预测结果记作y′。

其中，第一、二和三层卷积核的大小分别为7*7，5*5，3*3。

优选的，池化层池化操作核大小为3*3。

步骤3：根据训练数据集对Fisher判别准则卷积神经网络模型进行训练，过程如下：

将目标感兴趣区域图块记作X＝x_i，i＝1，2...k；输入Fisher准则卷积神经网络中进行特征提取，经过第一层卷积操作，得到第一层输出的特征X⁽¹⁾，计算公式为：

X⁽¹⁾＝W₁X+b₁

其中，W₁和b₁表示神经网络输入的特征向量x和第一层生成特征向量X⁽¹⁾之间的权重矩阵与偏置矩阵。

将X⁽¹⁾作为Fisher准则卷积神经网络第二层的输入，得到第二层输出的特征向量X⁽²⁾，计算公式：

X⁽²⁾＝W₂X⁽¹⁾+b₂

将计算得到的X⁽²⁾作为Fisher准则卷积神经网络第三层的输入，得到第三层输出的特征向量X⁽³⁾，计算公式：

X⁽³⁾＝W₃X⁽²⁾+b₃

将计算得到的X⁽³⁾输入第四层池化层，得到池化后的浅层特征向量，计算公式为：

X⁽⁴⁾＝P(X⁽³⁾)

其中，P(*)为maxpooling池化函数，将特征向量X⁽³⁾被不重叠的分割成若干个同样大小的小块向量，每个小块向量内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得出。

其中，每个小块向量长度为4。

将计算得到的X⁽⁴⁾输入Fisher准则层，计算损失函数：

Loss(X，y，y′)＝min{F(X)+delt(y，y，)}

F(*)为fisher准则函数，用来最小化类内差距，最大化类间差距，计算公式如下：

F(X)＝S_W(X)-S_B(X)

其中，n_i表示x_j属于某一类的样本个数，j：y_j＝i表示遍历标签值为i的全部图块样本。

delt(*)为误差函数，表示模型输入和输出之间的误差量，计算公式如下：

得到损失函数后使用反向传播算法迭代解算得到参数集θ＝{W，b}，过程如下：

其中，r为模型的学习率。

解算得到模型参数集θ＝{W，b}，使用softamx分类器输出模型目标检测分类结果，完成模型构建与训练。

步骤4：无人机航拍影像目标检测，无人机使用机载相机对地面场景进行拍摄，得到待检测无人机航拍影像，使用选择性搜索方法生成目标感兴趣区域，提取感兴趣区域的径向梯度特征，送入训练完成的Fisher判别准则卷积神经网络模型。

步骤5：Fisher判别准则卷积神经网络模型提取无人机航拍影像深层特征，使用softmax分类器进行分类判断，得到目标图块属于各类别的概率向量p＝{p₁，p₂，...，p_k}，取概率向量的最大值argmax(p_i)所在的类别作为目标感兴趣区域的类别信息，完成目标检测过程。

由上述内容可知，本发明建立了一种基于Fisher判别准则的无人机图像目标检测装置及方法，通过Fisher判别准则和误差函数训练卷积神经网络，解算模型参数，使算法能够最小化无人机影像的类内差距，最大化类间差距，提高模型精度，得到具有高准确率和鲁棒性的无人机图像目标检测模型。

Claims (10)

1.一种无人机图像目标检测方法，其特征在于，包括以下步骤：

步骤1、根据无人机航拍图像构建训练数据集；

步骤2、构建Fisher判别准则卷积神经网络模型；

所述Fisher判别准则卷积神经网络模型共6层，前三层为卷积层，第四层为池化层，第五层为Fisher判别准则计算层，第六层为softmax所在的分类输出层；

步骤3、将训练数据集输入Fisher判别准则卷积神经网络进行训练，使用反向传播算法最小化Fisher判别项与误差项，解算模型参数，完成模型的训练；

步骤4：将航拍影像输入至训练后的Fisher判别准则卷积神经网络模型，得到目标检测分类结果。

2.根据权利要求1所述的一种无人机图像目标检测方法，其特征在于，步骤1中采用选择性搜索提取目标感兴趣区域图块，根据目标感兴趣区域图块对Fisher判别准则卷积神经网络模型进行训练。

3.根据权利要求1所述的一种无人机图像目标检测方法，其特征在于，所述目标感兴趣区域图块包括含有目标的图像区域，以及不含有目标的背景图像区域。

4.根据权利要求1所述的一种无人机图像目标检测方法，其特征在于，步骤3中Fisher判别准则卷积神经网络模型的训练过程如下：

步骤3.1、将目标感兴趣区域图块输入Fisher准则卷积神经网络，经过前三层的卷积操作，得到的特征向量X⁽³⁾；

步骤3.2、将X⁽³⁾输入第四层池化层，得到池化后的浅层特征向量X⁽⁴⁾；

步骤3.3、将计算得到的X⁽⁴⁾输入Fisher准则层，确定损失函数；

步骤3.4、损失函数后使用反向传播算法迭代解算得到参数集θ，解算得到模型参数集，完成Fisher准则卷积神经网络的训练。

5.根据权利要求4所述的一种无人机图像目标检测方法，其特征在于，所述前三层的卷积操作的过程如下：

将目标感兴趣区域图块记作X输入Fisher准则卷积神经网络中进行特征提取，经过第一层卷积操作，得到第一层输出的特征X⁽¹⁾，计算公式为：

X⁽¹⁾＝W₁X+b₁

其中，W₁和b₁表示神经网络输入的特征向量x和第一层生成特征向量X⁽¹⁾之间的权重矩阵与偏置矩阵；

将X⁽¹⁾作为Fisher准则卷积神经网络第二层的输入，得到第二层输出的特征向量X⁽²⁾，计算公式：

X⁽²⁾＝w₂X⁽¹⁾+b₂

将计算得到的X⁽²⁾作为Fisher准则卷积神经网络第三层的输入，得到第三层输出的特征向量X⁽³⁾，计算公式：

X⁽³⁾＝W₃X⁽²⁾+b₃。

6.根据权利要求5所述的一种无人机图像目标检测方法，其特征在于，步骤3.2中浅层特征向量X⁽⁴⁾的表达式如下：

X⁽⁴⁾＝P(X⁽³⁾)

其中，P(*)为池化函数。

7.根据权利要求6所述的一种无人机图像目标检测方法，其特征在于，步骤3.3中损失函数的表达式如下

Loss(X，y，y′)＝min{F(X)+delt(y，y′)}

其中，F(*)为fisher准则函数，用来最小化类内差距，最大化类间差距，计算公式如下：

F(X)＝S_W(X)-S_B(X)

其中，n_i表示x_j属于某一类的样本个数，j：y_j＝i表示遍历标签值为i的全部图块样本；

delt(*)为误差函数，表示模型输入和输出之间的误差量，计算公式如下：

。

8.根据权利要求7所述的一种无人机图像目标检测方法，其特征在于，所述参数集θ的计算过程如下：

其中，r为模型的学习率。

9.根据权利要求1所述的一种无人机图像目标检测方法，其特征在于，步骤4中所述采用softmax分类器进行分类判断，得到目标图块属于各类别的概率向量，取概率向量的最大值所在的类别作为目标感兴趣区域的类别信息。

10.一种权利要求1-9任一项所述的无人机图像目标检测方法的装置，其特征在于，包括卷积模块、池化模块和分类器；

卷积模块，用于目标感兴趣区域图块进行卷积操作，输出特征向量；

池化模块，用于对特征向量进行池化操作，输出浅层特征向量；

分类器，用于对浅层特征向量进行分类判别，得到图块属于各类别的概率向量，并将最大的概率向量作为凸块的类别信息进行输出。

Images