CN105389797A - 一种基于超分辨率重建的无人机视频小目标检测方法 - Google Patents

Abstract

本发明公开了一种基于超分辨率重建的无人机视频小目标检测方法，选取一幅输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素位移估计；然后将这4帧图像的位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内缺失的像素，得到较高分辨率目标图像。接着，在目标图像中提取目标模板，并求取目标模板的特征，然后对重建后的目标图像进行分割，得到多个目标区域块；对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；随后进行虚假目标剔除，得到最终的检测结果。

Description

一种基于超分辨率重建的无人机视频小目标检测方法

技术领域

本发明属于机器视觉、图像处理及自动控制技术领域，可用于无人机红外线、可见光视频或图像的目标检测，在军事侦察、遥感勘测、交通监控、公共安全、生产流水线监控等领域有很强的应用前景。相对于普通的视频目标检查，基于超分辨率重建的无人机视频小目标检测方法能降低虚警概率，提高检查概率，增强检测效果。

背景技术

无人机(UAV,UnmannedAerialVehicle)是一种自带动力、携带多种设备、执行多重任务，并能重复使用的无人驾驶飞行器。无人机最早主要用于军事任务，其中包括侦察监视、通信中继、运输物资、武器校射、靶机诱饵等等。随着飞控技术和机载设备的发展以及成本的下降，无人机在民用方面发挥着越来越多的作用，其中包括环境监视、安全监察、气象观察、作物监查等等。无人机的以其独特的飞行性能、较低的成本越来越受到公安、消防、农林以及科研等行业或部门的重视。红外线和可见光成像设备是无人机最常携带的传感器。其输出为视频或图像。通过对无人机视频或图像的处理，以实现对无人机目标的检测和识别。然而，由于客观因素的影响，无人机视频、图像中的目标大小可能不会总能满足检测的要求，最差情况时目标可能小至8×8像素。这对于目标检测无疑是一个巨大的挑战。为应对目标过小的困难，一种简单而实用的方法就是对无人机视频进行多帧图像超分辨率重建，得到较高分辨率的图像，为随后的目标检测和识别奠定良好基础。

发明内容

本发明的目的在于提供一种基于超分辨率重建的无人机视频小目标检测方法，旨在解决当前无人机视频中目标过小不易检测困难的问题。

本发明是这样实现的，首先对若干输入视频帧进行行、列2倍的超分辨率重建，选取一副输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素位移估计；然后将这4帧图像的像素根据位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内缺失的像素，得到高分辨率图像。

进一步，所述对若干输入视频帧进行行、列2倍的超分辨率重建具体包括以下步骤：

步骤一，将参考帧用线性插值方法分别按行、列进行2倍放大；然后对放大后的参考图像进行行、列2倍下采样，得到4幅下采样参考图像；每一幅下采样就对应一个1/2像素位移；

步骤二，随后取第一幅输入图像与这4幅下采样参考图像对比，求互信息。在4个互信息中，最大值对应的下采样参考图像所代表的1/2像素位移就是这个输入图像相对于参考帧的1/2像素位移；

步骤三，依次对全部3幅输入图像按照步骤二处理，求出全部三幅输入图像的亚像位移；

步骤四，以原始参考图像为基础，构建行列2倍的高分辨率图像网格。将三幅输入图像的像素依据1/2像素位移填充到高分辨率图像网格内；

步骤五，如果高分辨率图像网格内还有未填充像素，则利用最邻近插值模板进行估计，求出未知像素。

进一步，所述步骤二中的互信息计算公式如下：

已知两图像R，F，其互信息MI(R，F)定义为：

MI(R，F)＝E(R)+E(F)-E(R，F)

其中E(R)和E(F)是图像R和F的熵。而E(R，F)是两图像的联合熵，其定义为：

E(R)＝-Σ_rP_R(r)·logP_R(r)；

$E(R,F)=-\underset{r,f}{\Σ}{P}_{R,F}(r,f)\·{\mathrm{logP}}_{R,F}(r,f)$

其中P_R,F(r，f)是图像R，F的联合概率密度函数，由归一化的联合直方图h(r，f)求得：

$P_{R,F}(r,f)=\frac{h(r,f)}{{\Σ}_{r,f}h(r,f)}$

而两个边沿概率密度函数P_R(r)和P_F(f)由联合概率密度函数P_R,F(r，f)求得：

$P_R\left(r\right)=\underset{f}{\Σ}{P}_{R,F}(r,f)$

和

$P_F\left(f\right)=\underset{r}{\Σ}{P}_{R,F}(r,f)$

进一步，所述步骤五中的最邻近插值方法计算公式如下：

高分辨率图像网格中X为未知像素，

B1	A1	B2
			A2	X	A4
B3	A3	B4

其估计值为：

$\hat{X}=\frac{4}{5}\·\frac{{\Σ}_{i=1}^N{A}_i}{N}+\frac{1}{5}\·\frac{{\Σ}_{i=1}^M{B}_i}{M}$

A_i、B_i为已知像素，参数M，N∈{1，2，3，4}，对应于邻域中可能包含着不同个数的已知像素。

进一步，所述对若干输入视频帧进行行、列2倍的超分辨率重建之后需要：选取含有多个人物目标的超分辨率重建后的无人机图像，从中提取两个图像块作为目标模板，每个图像块含有1个人物目标；

求取目标模板的特征：即均值μ、标准差σ和熵H；

对重建后的图像按照颜色信息进行分割，得到多个目标区域块；

对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；

对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。

进一步，所述对重建后的图像按照颜色信息进行分割，得到多个目标区域块具体方法如下：

步骤一，从灰度拉伸后的图像中随机选择一个像素，记为x，选取以该像素x为中心的一个窗口；

步骤二，计算该像素x的均值漂移向量m_h(x)：

$m_h\left(x\right)=\frac{{\Σ}_{i=1}^n{x}_{i}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}{{\Σ}_{i=1}^{n}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}$

其中x_i是以像素x为中心的窗口中的像素点，g(x)＝-▽k(x)，k(x)为单位高斯核函数，▽表示求导，h是核函数k(x)的颜色带宽；n是以像素x为中心的窗口中的像素点的总数；

步骤三，误差阈值ε＝0.1，判断|m_h(x)-x|＜ε是否成立，若成立，则x即为收敛点z，执行步骤四；否则，更新x＝m_h(x)，返回步骤二重新迭代；

步骤四，依次求出超分辨重建后的图像中的每个像素点的局部收敛点z_i，i＝1,2,…,n；

步骤五，将具有相同收敛点的像素点z_i归为同一类，即划为一个分割区域，得到分割后的图像。

进一步，所述对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测具体包括：

步骤一，在每个目标区域块内，分别提取目标区域块的灰度均值μ和邻域熵H特征；

步骤二，判断灰度均值μ和邻域熵H特征是否满足特征约束条件：

$\left\{\begin{array}{c}\left|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}\right|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ \left|H-H^{\&prime;}\right|<K_2\end{array}\right.$

若满足，则该目标区域块为初检测目标；反之，则不是；其中μ′，σ′，H′分别表示目标模板的灰度均值，标准差及邻域熵，K₁表示目标区域块与目标模板的灰度均值相似度阈值，K₂表示目标区域块与目标模板的邻域熵相似度阈值；

步骤三，对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，反之，则保留，然后去除面积过大的错误目标，保留小面积的作为初步检测目标；

所述对完成目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果，具体包括：

步骤一，从本帧图像开始，连续输入3帧图像；

步骤二，在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

步骤三，取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1,2,3,…；

步骤四，对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

步骤五，在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置，否则，将初步检测目标点视为假目标剔除。

进一步，所述求取目标模板的均值μ、标准差σ和熵H，通过如下公式计算：

$\mathrm{\&mu;}=\underset{i=0}{\overset{k-1}{\&Sigma;}}{\mathrm{ip}}_i$

$\mathrm{\&sigma;}=\sqrt{\underset{i=0}{\overset{k-1}{\&Sigma;}}{\left(i-\mathrm{\&mu;}\right)}^2{p}_i}$

$H=\underset{i=0}{\overset{k-1}{\&Sigma;}}{p}_i\&CenterDot;\log \left(\frac{1}{p_i}\right)=-\underset{i=0}{\overset{k-1}{\&Sigma;}}{p}_i\&CenterDot;\log \left(p_i\right)$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值。

本发明的另一目的在于提供一种使用所述基于超分辨率重建的无人机视频小目标检测方法的交通监控视频目标检测方法。

本发明的另一目的在于提供一种使用所述基于超分辨率重建的无人机视频小目标检测方法的生产流水线控制系统。

本发明提供的基于超分辨率重建的无人机视频小目标检测方法，与现有技术相比，具有以下优势：

1.本发明针对当前无人机视频中目标过小不易检测的困难，首先采用多帧图像超分辨重建方法，实现简单，成本低廉，便于更新。由多个相邻的视频帧重建出更高分辨率图像，图像面积为原图的4倍，分辨率得到提高。重建后图像包含更多的高频细节信息，能够体现目标细致的纹理；再通过目标检测方法对潜在目标进行处理，可以降低检测虚警概率，提高目标检测效果。

2.本发明利用灰度和能量信息来识别图像中的人物目标，避免了现有方法中仅仅依赖于形状信息而无法应对缩放和旋转给目标检测带来的困难。

3.本发明在视频小目标检测方法中结合若干相邻帧进行疑似目标对比，去除虚假目标，以提高目标检测正确率。

附图说明

图1是本发明实施例提供的基于超分辨率重建的无人机视频小目标检测方法流程图。

图2是本发明实施例提供的总体流程框图；主要包括如下三个阶段：训练阶段、超分辨率重建阶段和检测阶段。

图3是本发明实施例提供的图像超分辨重建阶段亚像素配准过程中互信息峰值求取与亚像素位移的关系示意图。

图4是本发明实施例提供的超分辨率重建效果对比示意图。

图中：(a)为超分辨率重建所用的参考帧；(b)所示为超分辨率重建出的高分辨率图像，其中的目标较图(a)更加清晰，便于目标检测。

图5是本发明实施例提供的视频小目标的初步检测效果示意图；

图中：(a)所示为含有目标的视频帧；(b)显示在图像中已经检测到了若干目标块，以黑色线条框标明；(c)显示对于检测到的目标块进行区域合并剔除了大面积的假目标，黑色线条框的数量较图(b)有所减少。

图6是本发明实施例提供的显示的是剔除虚假小目标的效果示意图；图中：(a)所示为初步检查后的视频帧，黑色线条框标明检测到的目标，其中包含图像边界处的虚警目标；(b)显示剔除了虚假目标后的视频帧，虚假目标数目明显减少，真实目标比较明显。

图7是本发明实施例提供的图像超分辨率重建对于视频小目标检测的影响示意图；

图中：(a)所示为没有经过超分辨率重建视频帧的目标检测结果，黑色线条框显示检测到的目标，但是其中包含图像边界处的多个虚警，而且有真正目标没有被检测到；(b)显示经过超分辨率重建视频帧的目标检测结果，黑色线条框显示检测到的目标，真正目标全部检测到，而且虚假目标数目明显减少。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图像超分辨重建技术可以由多帧低分辨率输入图像获得更高分辨率的输出图像，相比直接使用高清成像设备而言，多帧超分辨重建技术属于软件处理，实现简单，成本低廉，便于更新，容易移植。基于超分辨率重建的无人机视频小目标检测方法，能够提高目标检测概率，降低虚警概率。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例的基于超分辨率重建的无人机视频小目标检测方法包括以下步骤：

S101：选取一幅输入图像作为参考帧；

S102：取随后的3帧图像与参考图像进行亚像素位移估计；

S103：将这4帧图像的位移估计结果放入高分辨率图像网格；

S104：估计高分辨率图像网格内缺失的像素，得到较高分辨率目标图像；

S105：选取超分辨率重建后的无人机图像，从中提取两个目标模板，每个图像块含有1个人物目标；

S106：求取目标模板的特征：即均值μ、标准差σ和熵H；

S107：对重建后的图像按照颜色信息进行分割，得到多个目标区域块；

S108：对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；

S109：对完成目标初检的图像，进行虚假目标剔除，得到最终的检测结果。

下面结合附图对本发明的应用原理作进一步描述。

硬件平台：台式机；CPU:Intel(R)Core(TM)i5，主频:3.00GHZ，内存:8G，操作系统:64位Windows7；软件平台:Matlab2013b。

参照图2，本发明的实现步骤如下：

步骤1：对单幅输入图像(视频帧)进行行、列2倍超分辨率重建：选取一副输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素(1/2像素)位移估计；然后将这4帧图像的像素根据位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内缺失的像素，高分辨率图像重建完成。其具体操作步骤如下：

(1a)将参考帧用线性插值方法分别按行、列进行2倍放大；然后对放大后的参考图像进行行、列2倍下采样，得到4幅下采样参考图像；每一幅下采样就对应一个1/2像素位移。

(1b)随后取第一幅输入图像与这4幅下采样参考图像对比，求互信息。在4个互信息中，最大值对应的下采样参考图像所代表的1/2像素位移就是这个输入图像相对于参考帧的1/2像素位移。

图3显示的是互信息相对于亚像素位移的关系，其峰值非常明显，且峰值与所求的亚像素位移相互对应。

(1c)依次对全部3幅输入图像按照步骤(1b)处理，求出全部三幅输入图像的亚像位移。

(1d)以原始参考图像为基础，构建行列2倍的高分辨率图像网格。将三幅输入图像的像素依据1/2像素位移填充到高分辨率图像网格内。

(1e)如果高分辨率图像网格内还有未填充像素(空缺像素)，则利用最邻近插值模板进行估计，求出未知像素。高分辨率图像重建完毕。

图4(a)所示为超分辨率重建所用的参考帧；图4(b)所示为超分辨率重建出的高分辨率图像，其中的目标较图4(a)更加清晰，便于目标检测。原始视频是彩色的，图4去除了彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。

步骤1属于超分辨率重建阶段。

步骤2：选取含有多个人物目标的超分辨率重建后的无人机图像，从中提取两个图像块作为目标模板，每个图像块含有1个人物目标；

步骤3：求取目标模板的特征：即均值μ、标准差σ和熵H；

步骤2、3属于训练阶段。

步骤4：对重建后的图像按照颜色信息进行分割，得到多个目标区域块，具体操作如下：

(4a)从灰度拉伸后的图像中随机选择一个像素，记为x，选取以该像素x为中心的一个窗口；

(4b)计算该像素x的均值漂移向量m_h(x)：

$m_h\left(x\right)=\frac{{\&Sigma;}_{i=1}^n{x}_{i}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}{{\&Sigma;}_{i=1}^{n}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}$

其中x_i是以像素x为中心的窗口中的像素点，g(x)＝-▽k(x)，k(x)为单位高斯核函数，▽表示求导，h是核函数k(x)的颜色带宽；n是以像素x为中心的窗口中的像素点的总数。

(4c)设定误差阈值ε＝0.1，判断|m_h(x)-x|＜ε是否成立，若成立，则x即为收敛点z，执行步骤(4d)；否则，更新x＝m_h(x)，返回步骤(4b)重新迭代；

(4d)依次求出超分辨重建后的图像中的每个像素点的局部收敛点z_i，i＝1,2,…,n；

(4e)将具有相同收敛点的像素点z_i归为同一类，即划为一个分割区域，得到分割后的图像。

步骤5：对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测：

(5a)在每个目标区域块内，分别提取目标区域块的灰度均值μ和邻域熵H特征；

(5b)判断灰度均值μ和邻域熵H特征是否满足特征约束条件：

$\left\{\begin{array}{c}\left|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}\right|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ \left|H-H^{\&prime;}\right|<K_2\end{array}\right.$

若满足，则该目标区域块为初检测目标；反之，则不是；其中μ′，σ′，H′分别表示目标模板的灰度均值，标准差及邻域熵，K₁表示目标区域块与目标模板的灰度均值相似度阈值，K₂表示目标区域块与目标模板的邻域熵相似度阈值；

(5c)对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，反之，则保留。然后去除面积过大的错误目标，保留小面积的作为初步检测目标；

图5去除了原始视频的彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。

图5(a)所示为含有目标的视频帧；图5(b)显示在图像中已经检测到了若干目标块，以黑色线条框标明；图5(c)显示对于检测到的目标块进行区域合并剔除了大面积的假目标，黑色线条框的数量较图5(b)有所减少。

步骤6：对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果：

(6a)从本帧图像开始，连续输入3帧图像；

(6b)在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

(6c)取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1,2,3,…；

(6d)对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

(6e)在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置，否则，将初步检测目标点视为假目标剔除。

步骤4、5及6属于检测阶段。

图6去除了原始视频的彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。

图6(a)所示为初步检查后的视频帧，黑色线条框标明检测到的目标，其中包含图像边界处的虚警目标；图6(b)显示剔除了虚假目标后的视频帧，虚假目标数目明显减少，真实目标比较明显。

图7去除了原始视频的彩色，仅显示灰度图。图中大面积暗色背景是草原，浅色的线条是道路，浅色的块状图形是车辆，少数浅色斑点是作为目标的人物。

图7(a)所示为没有经过超分辨率重建视频帧的目标检测结果，黑色线条框显示检测到的目标，但是其中包含图像边界处的多个虚警，而且有真正目标没有被检测到；图7(b)显示经过超分辨率重建视频帧的目标检测结果，黑色线条框显示检测到的目标，真正目标全部检测到，而且虚假目标数目明显减少

图7显示了超分辨率重建算法对于无人机视频目标检测的有效性和优越性，其重要作用不言而喻。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述基于超分辨率重建的无人机视频小目标检测方法包括：

首先对若干输入视频帧进行行、列2倍的超分辨率重建：选取一副输入图像作为参考帧，并取随后的3帧图像与参考图像进行亚像素位移估计；

然后将这4帧图像的像素根据位移估计结果放入高分辨率图像网格；估计高分辨率图像网格内缺失的像素，重建出分辨率高2倍的目标图像；随后，在高分辨率的目标图像中提取目标模板，并求取目标模板的特征；

最后对重建后的图像进行分割，得到多个目标区域块；对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；随后进行虚假目标剔除，得到最终的检测结果。

2.如权利要求1所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述对若干输入视频帧进行行、列2倍的超分辨率重建具体包括以下步骤：

步骤一，将参考帧用线性插值方法分别按行、列进行2倍放大；然后对放大后的参考图像进行行、列2倍下采样，得到4幅下采样参考图像；每一幅下采样就对应一个1/2像素位移；

步骤二，随后取第一幅输入图像与这4幅下采样参考图像对比，求互信息，在4个互信息中，最大值对应的下采样参考图像所代表的1/2像素位移就是这个输入图像相对于参考帧的1/2像素位移；

步骤三，依次对全部3幅输入图像按照步骤二处理，求出全部三幅输入图像的亚像位移；

步骤四，以原始参考图像为基础，构建行列2倍的高分辨率图像网格，将三幅输入图像的像素依据1/2像素位移填充到高分辨率图像网格内；

步骤五，如果高分辨率图像网格内还有未填充像素，则利用最邻近插值模板进行估计，求出未知像素。

3.如权利要求2所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述步骤二中的互信息计算公式如下：

已知两图像，分别用R，F表示，其互信息MI(R，F)定义为：

MI(R，F)＝E(R)+E(F)-E(R，F)；

其中E(R)和E(F)是图像R和F的熵，而E(R，F)是两图像的联合熵，其定义分别为：

$E\left(R\right)=-\underset{r}{\&Sigma;}{P}_R\left(r\right)\&CenterDot;{\mathrm{logP}}_R\left(r\right)$

$E(R,F)=-\underset{r,f}{\&Sigma;}{P}_{R,F}(r,f)\&CenterDot;{\mathrm{logP}}_{R,F}(r,f)$

其中P_R，F(r，f)是图像R，F的联合概率密度函数，由归一化的联合直方图h(r，f)求得：

$P_{R,F}(r,f)=\frac{h(r,f)}{{\mathrm{\&Sigma;}}_{r,f}h(r,f)}$

而两个边沿概率密度函数P_R(r)和P_F(f)由联合概率密度函数P_R，F(r，f)求得：

$P_R\left(r\right)=\underset{f}{\&Sigma;}{P}_{R,F}(r,f)$

和

$P_F\left(f\right)=\underset{r}{\&Sigma;}{P}_{R,F}(r,f)$

4.如权利要求2所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述步骤五中的最邻近插值方法计算公式如下：

高分辨率图像网格中X为未知像素，

估计值为：

$\hat{X}=\frac{4}{5}\&CenterDot;\frac{{\mathrm{\&Sigma;}}_{i=1}^N{A}_i}{N}+\frac{1}{5}\&CenterDot;\frac{{\mathrm{\&Sigma;}}_{i=1}^M{B}_i}{M}$

A_i、B_i为已知像素，参数M，N∈{1，2，3，4}，对应于邻域中包含着不同个数的已知像素。

5.如权利要求1所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述对含有多个人物目标的超分辨率重建之后的高分辨率图像，从中提取两个图像块作为目标模板，每个图像块含有1个人物目标；

求取目标模板的特征：即均值μ、标准差σ和熵H；

对重建后的图像按照颜色信息进行分割，得到多个目标区域块；

对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测；

对完成上述目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果。

6.如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述对重建后的图像按照颜色信息进行分割，得到多个目标区域块具体方法如下：

步骤一，从灰度拉伸后的图像中随机选择一个像素，记为x，选取以该像素x为中心的一个窗口；

步骤二，计算该像素x的均值漂移向量m_h(x)：

$m_h\left(x\right)=\frac{{\mathrm{\&Sigma;}}_{i=1}^n{x}_{i}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}{{\mathrm{\&Sigma;}}_{i=1}^{n}g\left(\right|\left|\frac{x-x_i}{h}\right|{|}^2)}$

其中x_i是以像素x为中心的窗口中的像素点，k(x)为单位高斯核函数，表示求导，h是核函数k(x)的颜色带宽；n是以像素x为中心的窗口中的像素点的总数；

步骤三，设定误差阈值ε＝0.1，判断|m_h(x)-x|＜ε是否成立；若成立，则x即为收敛点z，执行步骤四；否则，更新x＝m_h(x)，返回步骤二重新迭代；

步骤四，依次求出超分辨重建后的图像中的每个像素点的局部收敛点z_i，i＝1，2，...，n；n是以像素x为中心的窗口中的像素点的总数；

步骤五，将具有相同收敛点的像素点z_i归为同一类，即划为一个分割区域，得到分割后的图像。

7.如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述对所有的目标区域块，依次进行特征提取及识别，完成目标的初步检测具体包括：

步骤一，在每个目标区域块内，分别提取目标区域块的灰度均值μ和邻域熵H特征；

步骤二，判断灰度均值μ和邻域熵H特征是否满足特征约束条件：

$\left\{\begin{array}{c}|\mathrm{\&mu;}-{\mathrm{\&mu;}}^{\&prime;}|/{\mathrm{\&sigma;}}^{\&prime;}<K_1\\ |H-H^{\&prime;}|<K_2\end{array}\right.$

若满足，则该目标区域块为初检测目标；反之，则不是；其中μ′，σ′，H′分别表示目标模板的灰度均值，标准差及邻域熵，K₁表示目标区域块与目标模板的灰度均值相似度阈值，K₂表示目标区域块与目标模板的邻域熵相似度阈值；

步骤三，对于初检测目标，按照各目标间的重叠率对目标区域进行合并：若重叠率大于0.1，则将重叠区域进行合并，反之，则保留，然后去除面积过大的错误目标，保留小面积的作为初步检测目标。

8.如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述对完成目标初步检测的图像，进行虚假目标剔除，得到最终的检测结果，具体包括：

步骤一，从本帧图像开始，连续输入3帧图像；

步骤二，在3帧图像的空间位置上以目标为中心建立一个空间管道，管道的直径为目标的邻域大小，其大小略大于目标，管道的长度为所需的图像帧数；

步骤三，取第一帧图像作为当前帧，确定该图像中的所有初步检测目标点P_i，并记录它们的位置信息，i＝1，2，3，...；

步骤四，对所有的初步检测目标点，在下一帧中观察以管道直径大小为5的邻域内是否有可疑目标点存在：如果有，则目标出现计数器加1，同时比较初步检测目标点和可疑目标点的位置，判断位置是否发生变化：如果有变化，则其相应的目标位置变化计数器加1；记录该帧中的可疑目标点位置，并将其设为初步检测目标点的当前位置；如果没有变化，则跳过该帧，并转到下一帧继续搜索，直到管道中的3帧图像全部搜索完毕；

步骤五，在3帧图像处理完后，判断每个计数器的输出值：如果目标出现次数计数器的值大于等于2，则判定目标出现次数计数器所对应的初步检测目标点为最终目标，并标记其位置，否则，将初步检测目标点视为假目标剔除。

9.如权利要求5所述的基于超分辨率重建的无人机视频小目标检测方法，其特征在于，所述求取目标模板的均值μ、标准差σ和熵H，通过如下公式计算：

$\mathrm{\&mu;}=\underset{i=0}{\overset{k-1}{\&Sigma;}}{\mathrm{ip}}_i$

$\mathrm{\&sigma;}=\sqrt{\underset{i=0}{\overset{k-1}{\&Sigma;}}{(i-\mathrm{\&mu;})}^2{p}_i}$

$H=\underset{i=0}{\overset{k-1}{\&Sigma;}}{p}_i\&CenterDot;log\left(\frac{1}{p_i}\right)=-\underset{i=0}{\overset{k-1}{\&Sigma;}}{p}_i\&CenterDot;log\left(p_i\right)$

式中p_i表示图像中灰度值为i的像素点所占目标模板所有像素点的比例，k表示图像灰度级最大值。