CN104794435A - 一种基于视觉的无人机对地运动目标检测方法 - Google Patents

Abstract

本发明公开了一种基于视觉的无人机对地运动目标检测方法，该方法包括：利用特征提取和匹配估计出帧问运动参数；利用颜色分布比对的方式去除运动检测中存在的“鬼影”；通过建立植被模型去除树木的干扰；建立模式互斥分类器，通过“建筑物/运动目标”、“车辆/行人”等运动目标分类，进一步去除建筑物等视差干扰，实现无人机实时对地运动目标检测。本发明不涉及大规模的数值计算，可满足小型无人机对地运动目标检测的计算复杂度需求。

Description

一种基于视觉的无人机对地运动目标检测方法

技术领域

本发明属于图像目标检测技术领域，特别涉及一种基于视觉的无人机对地运动目标检测方法。

背景技术

运动目标检测是模式识别和计算机视觉领域的一个基本问题，对提升无人机在边境巡逻、区域态势感知、视觉制导等应用方面的自主能力具有重要的意义。由于小型无人机平台的运动性、机载资源的有限性、以及目标环境的复杂性，能够满足机载处理需求的运动目标检测技术仍然是国内外的一个技术难题。

自从Marr提出计算视觉理论以来，运动目标检测一直受到国内外学术界的高度关注，其中固定摄像机下的运动目标检测已经在城市交通、银行、机场等行业得到了实际应用，而移动平台下的运动目标检测技术的研究则相对缓慢，针对无人机平台的更加有限。美国Sarnoff公司较早开始对应用于无人机上的运动目标检测技术进行研究，它从运动特性出发来检测目标，建立了复杂的运动模型，超出了机载计算资源的限制；其研究忽略了目标在颜色、纹理等方面的特性，容易受到三维景物的干扰，且检测到的目标存在“鬼影”。匈牙利的计算与自动化研究所利用多层马尔科夫模型从航空图像提取运动目标，研究侧重于理论层面，距离应用较远。在国内，西北工业大学对应用于无人机上的运动目标检测和跟踪技术进行了先期的研究，分别采用耗时的光流特征和属性形态学分析等方法来计算运动区域和显著性区域，导致计算效率较低，满足不了机载实时处理的需要。上海大学研究了有标志物的运动目标检测技术，由于大部分待监控目标是不可能事先加上标记的，因此应用范围非常受限。中科院自动化所对满足机载处理能力的运动目标检测和跟踪算法、典型地物提取方法等进行了一定地研究，为无人机视觉自主目标检测的系统性研究提供了一定的基础。

总的来说，现有的机载视觉对地运动目标检测技术研究，无论是其理论方法的系统性，还是研究成果的实用性，都需要展开进一步、相当深入地研究工作。

发明内容

本发明的主要目的在于针对小型无人机平台的运动性、机载资源的有限性、及目标环境的复杂性，提出一种系统性的具有较高环境适应性的运动目标检测方法。

为实现上述目的，本发明提出利用颜色分布比对的方式去除运动检测中存在的“鬼影”，为了克服现有分类方法不能很好地刻画目标的局部特征、基于“词袋”特征匹配的方法计算复杂度高的缺陷，提出适应性好且效率较高的模式互斥分类器，并将其用于“建筑物/运动目标”、“车辆/行人”的分类中。

本发明提出的一种基于视觉的无人机对地运动目标检测方法包括以下步骤：

步骤1：对输入的无人机视频进行特征提取，对于提取得到的特征进行描述，并基于提取得到的特征对于相邻两帧图像中的特征点进行匹配，得到多个特征点对；

步骤2：基于所述步骤1得到的匹配特征点对估计得到帧间映射参数；

步骤3：利用所述步骤2估计得到的帧间映射模型参数，对相邻两幅图像中的前一帧图像进行变换，并将相邻两幅图像校正到同一坐标系下；

步骤4：对于校正后相邻的每两幅图像，利用图像差分方法得到对应的候选短时运动图像；

步骤5：搜集植被样本，建立植被的颜色模型，利用得到的植被颜色模型去除候选短时运动图像中可能由树木造成的干扰部分；

步骤6：利用时域差分法，累积P帧图像的短时运动图像，并据此提取得到完整的一级候选运动目标区域；

步骤7：采用基于颜色分布比对的方法去除所述一级候选运动目标区域中的虚假运动目标区域，得到二级候选运动目标区域；

步骤8：搜集多种样本图像，构建多个模式互斥分类器；

步骤9：利用互斥性在线选择候选目标运动区域的特有模式，采用模式互斥分类器去除可能由建筑物等造成的干扰，并对候选运动目标区域进行分类，以进一步去除结构特性不符的干扰，得到标识的运动目标检测结果。

本发明提出了一种系统性的具有较高环境适应性的运动目标检测方法，本发明利用快速有效的特征提取方法提取空间分布均匀的特征并估计帧间运动参数；通过建立植被的颜色模型，利用植被模型去除短时运动区域图像中存在的可能由树木造成的影响；利用颜色分布比对的方式去除了历史运动图像造成的“鬼影”效应；利用“建筑物/运动目标”、“车辆/行人”分类，进一步去除建筑物等视差干扰；提出了适应性好且效率较高的模式互斥分类器，该分类器利用结构模式作为描述局部特征的基本方式，利用两类目标特有模式的互斥性建立分类器；基于候选区域模式与环境模式的互斥性动态选择参与分类的模式，并利用模式互斥分类器对图像块进行快速分类，最终得到运动目标检测结果。本发明不涉及大规模的数值计算，可满足小型无人机对地运动目标检测的计算复杂度需求。

附图说明

图1是本发明基于视觉的无人机对地运动目标检测方法框图；

图2是特征不变量的几何意义

图3是模式互斥分类器构建与分类方法技术路线

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明的技术思想是，利用颜色分布比对的方式去除“鬼影”区域；通过建立植被模型，减弱树木的影响；通过“建筑物/运动目标”、“车辆/行人”分类，进一步去除建筑物等视差干扰。为了实现图像块的快速分类，提出了适应性好且效率较高的模式互斥分类器，该分类器利用结构模式作为描述局部特征的基本方式，利用两类目标特有模式的互斥性建立分类器；基于候选区域模式与环境模式的互斥性动态选择参与分类的模式，并利用模式互斥分类器对图像块进行快速分类。本发明不涉及大规模的数值计算，可满足小型无人机对地运动目标检测的计算复杂度需求。

图1是本发明基于视觉的无人机对地运动目标检测方法流程图，如图1所示，所述方法包括以下步骤：

步骤1：对输入的无人机视频进行特征提取，对于提取得到的特征进行描述，并基于提取得到的特征对于相邻两帧图像中的特征点进行匹配，得到多个特征点对；

通过对现有技术的试验、分析和归纳总结，本发明首先采用FAST方法检测候选特征点，从而以较低的代价过滤掉绝大多数没有特征的像素点；然后挖掘能够对候选特征点进行约束的形状、分布等属性的有效描述方式，对候选特征点进行判定和过滤。

接下来本发明构造不变量对于描述特征点的几何意义进行分析，对于参数估计中经常采用的角点特征，其理想情况如图2所示，其可由角度α和朝向θ来描述。对于一个候选特征点，可利用图2中环形区域内(内径R₁＝3，外径R₂＝6)的邻域像素点(共88个)与当前像素点之间的亮度关系来确认所述候选特征点是否为角点。设(x_i，y_i)，i＝1，2，…，N为当前像素点邻域内属于特征点区域的像素，该特征点区域由环形区域中亮度值＜v₀+T或亮度值＞v₀-T的邻域像素点构成(其中，环形区域中亮度值＜v₀+T的邻域像素点形成一个集合，亮度值＞v₀-T的邻域像素点形成另一个集合，取其中像素个数少的集合作为特征点区域，该集合中像素点的个数记为N，v₀为当前像素点的亮度，T为设定的阈值)，则候选角点特征的理想角度α可由α＝2πN/S，S＝88来表示。一般情况下，可限定π/6＜α＜5π/6，由此可去除一部分杂乱点。进一步分析可知，在假定像素分布是理想角点的情况下，存在如下关系：

$F_{\mathrm{inv}}=\sqrt{x_{\mathrm{avg}}^2+y_{\mathrm{avg}}^2}\·\frac{\mathrm{\α}}{\sin \frac{\mathrm{\α}}{2}}=\frac{4(R_1^2+R_1{R}_2+R_2^2)}{3(R_1+R_2)}=9.33$

其中， $x_{\mathrm{avg}}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{x}_i,y_{\mathrm{avg}}=\frac{1}{N}{\mathrm{\Σ}}_{i=1}^N{y}_i,$ 特征不变量记为F_inv。

在非理想情况下，可限定F_inv≥5，该条件对候选特征点的分布会施加一定的约束。通过施加此不变量约束，能够去除大量质量较差的角点特征。

通过步骤1中的特征提取分别得到相邻两帧图像的特征点集后，在本发明一实施例中，采用HOG特征描述方法对于提取得到的特征点进行描述，并采用K-L距离作为特征匹配的度量准则，得到相邻两帧图像中匹配的特征点对。

步骤2：基于所述步骤1得到的匹配特征点对估计得到帧间映射模型参数；

在本发明一实施例中，将帧间映射模型近似为仿射变换模型，并根据所述步骤1得到的匹配特征点对采用随机一致性采样方法(RANSAC)求取最优的帧间仿射变换参数，所述步骤2具体包括以下步骤：

步骤21，随机选取n对匹配特征点对，其中，n≥3，在本发明一实施例中，n取为3；

步骤22，根据选取的匹配特征点对求解仿射变换模型的参数，得到仿射变换模型；

步骤23，利用步骤22得到的仿射变换模型将步骤1得到的匹配特征点对，分为内点和外点两个子集；

步骤24，利用所有的内点重新估计仿射变换模型，并利用内点率评估模型精度；

步骤25，重复步骤21-24，直到获得符合精度要求的模型为止。

在本发明一实施例中，选取内点个数最多的模型作为仿射变换模型的最优解。

步骤3：利用所述步骤2估计得到的帧间映射模型参数，对相邻两幅图像中的前一帧图像进行变换，并将相邻两幅图像校正到同一坐标系下；

其中，利用帧间映射参数对图像进行变换属于本领域常用的一种图像变换方法，本发明在此不作赘述。

在本发明一实施例中，采用双线性插值方法将相邻两幅图像校正到同一坐标系下。

步骤4：对于校正后相邻的每两幅图像，利用图像差分方法得到对应的候选短时运动图像；

其中，每两幅相邻图像间都可以得到一个候选短时运动图像，也就是说，对于P帧图像来说，存在P-1个短时运动图像。

假设估计得到的仿射变换模型为Q，根据该模型，以相邻两幅图像中的一幅图像I_k作为参考帧图像，对与其间隔时间为Δ的另一幅图像I_k-Δ进行坐标变换，设校正后得到的图像为则k时刻的短时运动图像D_k(x，y)可表示为：

$D_k(x,y)=|I_k(x,y)-{\tilde{I}}_{k-\mathrm{\Δ}}(x,y)|.$

步骤5：搜集植被样本，建立植被的颜色模型(离线完成)，利用得到的植被颜色模型去除候选短时运动图像中可能由树木造成的干扰部分；

肤色模型研究的成果表明，采用颜色直方图表示肤色模型比采用混合高斯模型、指数模型等更有效。有鉴于此，本发明以颜色直方图的形式建立植被颜色模型，归一化后的颜色直方图代表了每种颜色属于植被的概率。在本发明一实施例中，采用RGB空间的颜色直方图，量化等级为16*16*16，共4096种颜色。在建立植被样本库的过程中，由于很难保证样本图像中的每一个像素点都代表植被的颜色，因此在建立植被颜色模型的过程中考虑了去除可能存在的干扰，在充分利用样本库学习的同时，也充分利用了人类对于植被颜色的经验和知识，其中包括：绿色分量g的值不小于红色分量r和蓝色分量b的值；r+b的值不能太大。

得到植被颜色模型后，对于步骤4得到的候选短时运动图像，根据所述植被颜色模型确定其中的每个像素点属于植被的概率，然后再统计候选短时运动图像属于植被的平均概率，若该平均概率值大于一预定阈值T1，则认为该图像是植被区域并去除。

步骤6：利用时域差分法，累积P帧图像的短时运动图像，并据此提取得到完整的一级候选运动目标区域；

对于已经利用植被颜色模型过滤后的短时运动图像，可通过下面的公式得到累积P帧的短时运动图像，即历史运动信息：

$S_M^P(x,y)=\left\{\begin{array}{cc}\max (0,S_M^{P-1}(x,y)+D_P(x,y)-d),& D_P(x,y)<T\\ 255,& D_P(x,y)\&GreaterEqual;T\end{array}\right.,$

其中，为第P帧图像在运动历史图像像素位置(x，y)处的灰度值，D_P(x，y)为图像序列中第P帧图像(x，y)处的帧间差分值，T为分割阈值，d为衰减因子。

由此得到一级候选运动目标区域，即值大于0的像素点位置组成的区域。

步骤7：采用基于颜色分布比对的方法去除所述一级候选运动目标区域中的虚假运动目标区域，即“鬼影”，得到二级候选运动目标区域；

所述步骤7具体为：首先对于一级候选运动目标区域，统计其颜色直方图，并经归一化得到对应的颜色分布q(u)；然后在一级候选运动目标区域周围取长宽大小为一级候选运动目标区域外界矩形框的g倍，其中g≥2，且以一级候选运动目标区域的中心为中心的矩形环境区域，并统计其颜色直方图，经归一化得到颜色分布p(u)，则所述一级候选运动目标区域中的每一个像素点(颜色值为u)为鬼影的置信度可由q(u)/p(u)来描述(这是由于运动目标对应的像素点颜色在q(u)中出现的频率高，其值大于1；“鬼影”区域与周围环境存在相关性高，其值小于1)。最后去除阈值小于1的鬼影区域，即得到二级候选运动目标区域。

步骤8：搜集建筑物、车辆、行人、其他景物、其他运动目标等多种样本图像，构建多个模式互斥分类器(离线完成)；

在本发明一实施例中，所述模式互斥分类器为两个：“建筑物/运动目标”分类器和“车辆/行人”分类器，当然所述模式互斥分类器也可以为多个，接下来本发明以“建筑物/运动目标”和“车辆/行人”两个分类器为例对于步骤8进行说明，多个分类器的情况可以此类推。

其中，所述模式互斥分类器的构建过程如图3左侧所示，其包括以下几个步骤：

步骤81，为了使待求的“建筑物/运动目标”或“车辆/行人”的目标学习模型中含有多个尺度及姿态下的信息，首先对于样本图像进行旋转、缩放变换，并在变换后的图像中提取能够反映目标局部结构特征的模式；

步骤82，利用新获得的样本图像模式信息，统计目标学习模型中的模式分布等参数，进而得到两类目标各自的识别模型；

步骤83，基于两类目标的识别模型，采用模式互斥的思想，建立模式互斥分类器。

其中，有效的模式表示方法应该具有较少的结构元素、合适的量化标准、一定的稳定性和类别间的可区分能力。在本发明一实施例中，采用局部二值模式(LBP)作为能够反映目标局部结构特征的模式的表示方法，一共具有256种模式。

对样本图像进行旋转和尺度变换后，计算变换后图像每一点的模式m，并建立目标学习模型M_L(m)，目标学习模型M_L(m)记录了学习过程中模式m的发生次数。然后对所述目标学习模型进行归一化，即可得到两类目标的目标识别模型M_{_c1}(m)和M_{_c2}(m)。然后，基于模式互斥性，计算模式m对分类的贡献，最简单的情况可表示为：

$C\left(m\right)=\sqrt{\max \{M\_c1\left(m\right)/(M\_c2\left(m\right),M\_c2\left(m\right)/M\_c1\left(m\right)\}},$

若C(m)＞β＞1，则把C(m)作为模式m对发生频率高的类别的贡献度，否则表明模式m对此两类目标没有区分能力，其中β为设定的阈值。记1(m)为模式m所属的类别(0/1/2)，则模式互斥分类器可表示为：

M(m)＝{1(m)，C(m)|m＝1，2，…，N}。

步骤9：利用互斥性在线选择候选目标运动区域的特有模式，采用模式互斥分类器去除可能由建筑物等造成的干扰，并对候选运动目标区域进行分类(比如分为车辆或行人)，以进一步去除结构特性不符的其他干扰，得到标识的运动目标检测结果。

其中，候选运动目标区域的分类方法如图3右侧所示，具体包括以下步骤：

步骤91，对待分类的候选运动目标区域，采用同样的结构模式表示方法，提取每个像素位置的模式，进而得到候选目标区域和场景区域的模式分布；

步骤92，基于模式互斥的思想，动态选择目标的特有模式，并采用模式检索的方法得到该模式在模式互斥分类器中属于哪类目标及其贡献度，最终实现对于候选运动目标区域的分类。

所述步骤92中，采用同样的方法计算待分类的候选运动目标区域中每一点的模式m，统计得到目标模式分布M_q(m)；取大小为候选运动目标区域f倍的区域为环境区域，其中f≥2，计算其每一点的模式m，统计得到场景模式分布M_p(m)。基于模式互斥性，可选择M_q(m)/M_p(m)＞γ＞1的模式为待分类候选运动目标区域的特有模式，认为它们对分类有贡献。从模式互斥分类器中检索出特有模式所属类别及贡献度，并把候选运动目标区域归类为贡献度总和高的那一类，从而得到运动目标的检测结果。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于视觉的无人机对地运动目标检测方法，其特征在于，该方法包括以下步骤：

步骤1：对输入的无人机视频进行特征提取，对于提取得到的特征进行描述，并基于提取得到的特征对于相邻两帧图像中的特征点进行匹配，得到多个特征点对；

步骤2：基于所述步骤1得到的匹配特征点对估计得到帧间映射参数；

步骤3：利用所述步骤2估计得到的帧间映射模型参数，对相邻两幅图像中的前一帧图像进行变换，并将相邻两幅图像校正到同一坐标系下；

步骤4：对于校正后相邻的每两幅图像，利用图像差分方法得到对应的候选短时运动图像；

步骤5：搜集植被样本，建立植被的颜色模型，利用得到的植被颜色模型去除候选短时运动图像中可能由树木造成的干扰部分；

步骤6：利用时域差分法，累积P帧图像的短时运动图像，并据此提取得到完整的一级候选运动目标区域；

步骤7：采用基于颜色分布比对的方法去除所述一级候选运动目标区域中的虚假运动目标区域，得到二级候选运动目标区域；

步骤8：搜集多种样本图像，构建多个模式互斥分类器；

步骤9：利用互斥性在线选择候选目标运动区域的特有模式，采用模式互斥分类器去除可能由建筑物等造成的干扰，并对候选运动目标区域进行分类，以进一步去除结构特性不符的干扰，得到标识的运动目标检测结果。

2.根据权利要求1所述的方法，其特征在于，所述步骤2中的帧间映射模型近似为仿射变换模型。

3.根据权利要求2所述的方法，其特征在于，所述步骤2具体包括以下步骤：

步骤21，随机选取n对匹配特征点对，其中，n≥3；

步骤22，根据选取的匹配特征点对求解仿射变换模型的参数，得到仿射变换模型；

步骤23，利用步骤22得到的仿射变换模型将步骤1得到的匹配特征点对，分为内点和外点两个子集；

步骤24，利用所有的内点重新估计仿射变换模型，并利用内点率评估模型精度；

步骤25，重复步骤21-24，直到获得符合精度要求的模型为止。

4.根据权利要求3所述的方法，其特征在于，选取内点个数最多的模型作为仿射变换模型的最优解。

5.根据权利要求1所述的方法，其特征在于，所述步骤5中，对于步骤4得到的候选短时运动图像，根据所述植被颜色模型确定其中的每个像素点属于植被的概率，然后再统计候选短时运动图像属于植被的平均概率，若该平均概率值大于一预定阈值T1，则认为该图像是植被区域并去除。

6.根据权利要求1所述的方法，其特征在于，所述步骤6中，对于已经利用植被颜色模型过滤后的短时运动图像，通过下式得到累积P帧的短时运动图像，即历史运动信息：

$S_M^P(x,y)=\left\{\begin{array}{cc}\max (0,S_M^{P-1}(x,y)+D_P(x,y)-d),& D_P(x,y)<T\\ 255,& D_P(x,y)\&GreaterEqual;T\end{array}\right.,$

其中，为第P帧图像在运动历史图像像素位置(x，y)处的灰度值，D_P(x，y)为图像序列中第P帧图像(x，y)处的帧间差分值，T为分割阈值，d为衰减因子。

7.根据权利要求6所述的方法，其特征在于，所述步骤6中，值大于0的像素点位置组成的区域即为一级候选运动目标区域。

8.根据权利要求1所述的方法，其特征在于，所述步骤7具体为：首先对于一级候选运动目标区域，统计其颜色直方图，并经归一化得到对应的颜色分布q(u)；然后在一级候选运动目标区域周围取长宽大小为一级候选运动目标区域外界矩形框的g倍，其中g≥2，且以一级候选运动目标区域的中心为中心的矩形环境区域，并统计其颜色直方图，经归一化得到颜色分布p(u)，则所述一级候选运动目标区域中的每一个像素点为虚假运动目标区域的置信度可由q(u)/p(u)来描述；最后去除q(u)/p(u)的值小于1的虚假运动目标区域，得到二级候选运动目标区域。

9.根据权利要求1所述的方法，其特征在于，所述步骤8包括以下步骤：

步骤81，对于样本图像进行旋转、缩放变换，并在变换后的图像中提取能够反映目标局部结构特征的模式；

步骤82，利用新获得的样本图像模式信息，统计目标学习模型参数，进而得到运动目标各自的识别模型；

步骤83，基于运动目标的识别模型，采用模式互斥的思想，建立模式互斥分类器。

10.根据权利要求1所述的方法，其特征在于，所述步骤9包括以下步骤：

步骤91，对待分类的候选运动目标区域，采用同样的结构模式表示方法，提取每个像素位置的模式，进而得到候选目标区域和场景区域的模式分布；

步骤92，基于模式互斥的思想，动态选择目标的特有模式，并采用模式检索的方法得到该模式在模式互斥分类器中属于哪类目标及其贡献度，最终实现对于候选运动目标区域的分类。