CN111209920A - 一种复杂动态背景下飞机检测方法 - Google Patents

Abstract

本发明公开了一种复杂动态背景下飞机检测方法，复杂动态背景下飞机检测方法包括基于ORB算法提取目标图像的特征点，并进行特征点统计分布；获取目标ROI区域外的区域标记为背景区域，并构建k‑dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功；基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；对运动补偿后的图像进行双阈值差分处理，得到检测图像。实现排除误匹配点，建立对于不同场景的动态变化均具有自适应性的背景模型，准确检测出飞机。

Description

一种复杂动态背景下飞机检测方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种复杂动态背景下飞机检测方法。

背景技术

空中飞机机检测技术主要有声学、雷达、视频等检测手段，声学检测是将声学传感器收录的音频信息与数据库的声音信号匹配检测所需目标，该方法原理简单，但是检测距离通常在500米以内且受噪声干扰较大，当目标处于高速飞机状态时，由于声音速度较慢，定位与实际目标位置相距较大；雷达监测使用电磁波反射原理，也是当前飞机检测的主要手段，随着飞机隐身性能更强，当飞机近地飞行时，雷达更难以发现目标；基于视频的运动目标检测作为一个集合图像、数学、计算机于一体的交叉学科，是近年来图像处理领域的热门方向，已在自动驾驶、智能交通等领域得到应用。

运动摄像机下空中飞机检测相对于静态摄像机情境下又有其特殊难点，主要表现为飞机运动的同时摄像机也在运动，天空场景复杂，亮度不均匀等现实问题。现有技术对飞机的检测效果不佳。

发明内容

本发明的目的在于提供一种复杂动态背景下飞机检测方法，旨在解决现有技术对飞机检测效果不佳的问题。

为实现上述目的，本发明提供了一种复杂动态背景下飞机检测方法，包括：

基于ORB算法提取目标图像的特征点，并进行特征点统计分布；

获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功；

基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；

对运动补偿后的图像进行双阈值差分处理，得到检测图像。

在一实施方式中，基于ORB算法提取目标图像的特征点，并进行特征点统计分布，具体包括：

获取视频窗大小C×R，视频窗设置的n个子区域W_n，计算子区域特征点与坐标中心的平均欧几里得距离

其中，x_i,y_i为特征点的横纵坐标，

为子区域所有特征点横纵坐标均值；U_n为每个子区域中特征点个数。

在一实施方式中，基于ORB算法提取目标图像的特征点，并进行特征点统计分布，具体还包括：

基于子窗口评分公式判断存在预设概率的目标区域，其中，所述子窗口评分公式为：

其中，U_n为每个子区域中特征点个数；

为子区域特征点与坐标中心的平均欧几里得距离。

在一实施方式中，基于子窗口评分公式判断存在预设概率的目标区域，具体包括：

获取评分S_n降序排列在前的三块子区域A、B、C；

若S_B≥0.7S_A,S_C≥0.7S_B，则存在预设概率的目标区域为A、B、C；

若S_B≥0.7S_A,S_C＜0.7S_B，则存在预设概率的目标区域为A、B；

若S_B＜0.7S_A，则存在预设概率的目标区域为A。

在一实施方式中，获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功，包括：

基于邻比值法，判断背景特征点匹配是否成功；

查找两帧图像的特征描述子的第一距离和第二距离，若第一距离小于第一阈值，且第一距离与第二距离的比值小于第二阈值，则匹配成功，其中，第一距离和第二距离为两帧图像的特征描述子的距离升序排列在前两位的距离。

在一实施方式中，基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿，包括：

获取已匹配特征点对样本集合S，从样本集合S中随机选取四对不共线特征点样本子集M对初始化单应矩阵，并采用RANSAC算法优化得到目标单应矩阵H_best对获取目标图像I的所有像素进行投射，得到新的像素值I^T；其中，I^T＝H_bestI。

在一实施方式中，对运动补偿后的图像进行双阈值差分处理，得到检测图

像，包括：

获取四帧图像I_t,I_t+Δt,I_t+2Δt,I_t+3Δt，基于三帧差对ROI区域背景进行消除。

本发明的一种复杂动态背景下飞机检测方法，通过基于ORB算法提取目标图像的特征点，并进行特征点统计分布；获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功；基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；对运动补偿后的图像进行双阈值差分处理，得到检测图像。实现通过评分确定目标区域，排除前景目标特征点，保留背景特征点；运用加入RANSAC算法，排除背景特征点误匹配点，得到最优单应矩阵，补偿相机运动，建立对于不同场景的动态变化均具有自适应性的背景模型，减少动态场景变化对运动分割的影响，双阈值差分再次对前景目标和背景目标进行区分，选取合适的差分阈值准确检测出飞机。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种复杂动态背景下飞机检测方法的流程示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，图1是本发明实施例提供的一种复杂动态背景下飞机检测方法的流程示意图。具体的，所述复杂动态背景下飞机检测方法可以包括以下步骤：

S101、基于ORB算法提取目标图像的特征点，并进行特征点统计分布；

本发明实施例中，ORB算法(Oriented FAST and Rotated BRIEF)是一种快速特征点提取和描述的算法。ORB算法分为两部分，分别是特征点提取和特征点描述。ORB算法的速度是sift算法的100倍，是surf算法的10倍。

获取视频窗大小C×R，视频窗设置的n个子区域W_n，计算子区域特征点与坐标中心的平均欧几里得距离

其中，x_i,y_i为特征点的横纵坐标，

为子区域所有特征点横纵坐标均值；

U_n为每个子区域中特征点个数。

如视频窗设置九个子区域W_n(x_t,y_t,x_b,y_b),n＝1,2,…9，(x_t,y_t)为子窗口左顶点坐标，(x_b,y_b)为子窗口右下点坐标，个子区域长度分别为

基于子窗口评分公式判断存在预设概率的目标区域，其中，所述子窗口评分公式为：

其中，U_n为每个子区域中特征点个数；

为子区域特征点与坐标中心的平均欧几里得距离。实验表明，U_n越大，

越小，子区域含有目标的概率越高。

对于运动摄像机下飞机的检测，因飞机距离镜头距离远，在整个视频窗内占据像素点为少部分，获取评分S_n降序排列在前的三块子区域A、B、C；

若S_B≥0.7S_A,S_C≥0.7S_B，则存在预设概率的目标区域为A、B、C；

若S_B≥0.7S_A,S_C＜0.7S_B，则存在预设概率的目标区域为A、B；

若S_B＜0.7S_A，则存在预设概率的目标区域为A。

当目标跨越子区域存在，目标不能完整检测，为保证目标检测的完整性，设目标可能存在子区域扩大20％作为初步目标ROI区域。

S102、获取目标ROI区域外的区域标记为背景区域，并基于k-dimensiona树搜索背景特征点，计算第t帧和第t+Δt帧的特征描述子间的距离，判断背景特征点匹配是否成功；

本发明实施例中，ROI区域为感兴趣区域，是从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域。k-dimensiona树是每个节点都为k维点的二叉树。所有非叶子节点可以视作用一个超平面把空间分割成两部分。在超平面左边的点代表节点的左子树，在超平面右边的点代表节点的右子树。超平面的方向可以用下述方法来选择：每个节点都与k维中垂直于超平面的那一维有关。因此，如果选择按照x轴划分，所有x值小于指定值的节点都会出现在左子树，所有x值大于指定值的节点都会出现在右子树。这样，超平面可以用该x值来确定，其法矢为x轴的单位向量。

提取到的ORB特征点既包括前景特征点、背景特征点，噪声点，在进行特征点匹配之前，先初步剔除目标特征点，提取到的目标ROI区域外的特征点视为背景特征点。ORB特征描述子是由0、1代码构成，采用k-dimensiona树快速搜索计算机特征点间的汉明距离进行匹配，汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，我们以d(x,y)表示两个字x,y之间的汉明距离。对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离。计算第t帧和第t+Δt帧的特征描述子间的距离，判断特征点匹配成功的判定规则为单一阈值、最近邻法或最近邻比值法。

基于邻比值法，判断背景特征点匹配是否成功；

查找两帧图像的特征描述子的第一距离和第二距离，若第一距离小于第一阈值L，且第一距离与第二距离的比值小于第二阈值MinRatio，则匹配成功，其中，第一距离和第二距离为两帧图像的特征描述子的距离升序排列在前两位的距离。S103、基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；

本发明实施例中，单应矩阵是表示在齐次坐标系下，一个平面到另一平面的映射关系。在两帧图像中已匹配的特征点P_t(x_t,y_t),P_t+Δt(x_t+Δt,y_t+Δt)，则其次坐标为(x_t,y_t,1)^T,(x_t+Δt,y_t+Δt,1)^T，则有

基于约束项，h₃₃＝1，则

单应矩阵H有8个自由度，需要四对特征匹配点求解H。

x_t(h₃₁x_t+Δt+h₃₂y_t+Δt+1)-h₁₁x_t+Δt-h₁₂y_t+Δt-h₁₃＝0； (6)

y_t(h₃₁x_t+Δt+h₃₂y_t+Δt+1)-h₂₁x_t+Δt-h₂₂y_t+Δt-h₂₃＝0； (7)

特征点匹配是基于ROI区域外特征点完成，其大概率情况为背景特征，不能保证完全是背景特征，同时特征匹配会有两种误配情况，假阳性匹配，将非匹配点错误的匹配；假阴性匹配，正确匹配点没有成功匹配。在单应矩阵估算时加入将RANSAC算法进行优化以提高鲁棒性。RANSAC算法可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。数据由“局内点”组成，例如：数据的分布可以用一些模型参数来解释；“局外点”是不能适应该模型的数据；除此之外的数据属于噪声。局外点产生的原因有：噪声的极值；错误的测量方法；对数据的错误假设。RANSAC也做了以下假设：给定一组(通常很小的)局内点，存在一个可以估计模型参数的过程；而该模型能够解释或者适用于局内点。

获取已匹配特征点对样本集合S，从样本集合S中随机选取四对不共线特征点样本子集M对初始化单应矩阵，由式(8)求得H_M，计算集合S中所有样本与模型H_M的投影误差，令源匹配特征点P(x_i,y_i)，目标特征点P(x′_i,y′_i)，由式(4)(5)可得：

d_x＝ww×(h₁₁x_i+h₁₂y_i+h₁₃)-x′_i； (10)

d_y＝ww×(h₂₁x_i+h₂₂y_i+h₂₃)-y'_y； (11)

err_i小于阈值T，则归为内点，否则为外点，当前内点集J元素个数大于最优内点集J_best则更新J_best＝J，直到迭代次数K到达K_max,满足最优内点集的模型为最优模型。获取目标图像I的所有像素进行投射，得到新的像素值I^T；

其中，I^T＝H_bestI。

S104、对运动补偿后的图像进行双阈值差分处理，得到检测图像。

本发明实施例中，获取四帧图像I_t,I_t+Δt,I_t+2Δt,I_t+3Δt，分别求取I_t+Δt,I_t+2Δt,I_t+3Δt和I_t的单应矩阵H_t,t+Δt,H_t,t+2Δt,H_t,t+3Δt，并计算出透射图像，

三帧图像都是以I_t为参考进行补偿，这使配准误差达到最小化，背景的运动补偿将会更有效，由于摄像机的运动速度和方向，补偿后的图像会出现黑边条，本文不将它作为背景，相应的像素设置为零以提高持久力和鲁棒性。

基于三帧差对ROI区域背景进行消除：

对ΔI_t1,ΔI_t2二值化阈值得到D_t＝D_t1∩D_t2得到目标图像

此处的阈值T将会影响目标检测的效果，若设置固定阈值则对环境的适应性变差，本文采用动态双阈值方法检测飞机目标，第一次阈值用来初始分割前景与背景，设初始阈值：

计算初始分割后的背景、前景的平均像素：

T₂＝α₁α₂(T_b+T_p) (20)

对于摄像机引入的成像噪声，需要对其过滤，高斯滤波作为低通滤波器，可以减少图像的高频分量，常应用于目标检测的边缘细化，以改进算法性能。由于相机运动估计误差带来的噪声无法通过滤波进行消除，因此，应用连通分量分析的方法改善背景消除。

本发明的一种复杂动态背景下飞机检测方法，通过基于ORB算法提取目标图像的特征点，并进行特征点统计分布；获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功；基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；对运动补偿后的图像进行双阈值差分处理，得到检测图像。实现通过评分确定目标区域，排除前景目标特征点，保留背景特征点；运用加入RANSAC算法排除背景特征点误匹配点，得到最优单应矩阵，补偿相机运动，建立对于不同场景的动态变化均具有自适应性的背景模型，双阈值差分再次对前景目标和背景目标进行区分，选取合适的差分阈值准确检测出飞机运动目标。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (7)

1.一种复杂动态背景下飞机检测方法，其特征在于，包括：

基于ORB算法提取目标图像的特征点，并进行特征点统计分布；

获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功；

基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿；

对运动补偿后的图像进行双阈值差分处理，得到检测图像。

2.如权利要求1所述的复杂动态背景下飞机检测方法，其特征在于，基于ORB算法提取目标图像的特征点，并进行特征点统计分布，具体包括：

获取视频窗大小C×R，视频窗设置的n个子区域W_n，计算子区域特征点与坐标中心的平均欧几里得距离

其中，x_i,y_i为特征点的横纵坐标，

为子区域所有特征点横纵坐标均值；U_n为每个子区域中特征点个数。

3.如权利要求2所述的复杂动态背景下飞机检测方法，其特征在于，基于ORB算法提取目标图像的特征点，并进行特征点统计分布，具体还包括：

基于子窗口评分公式判断存在预设概率的目标区域，其中，所述子窗口评分公式为：

其中，U_n为每个子区域中特征点个数；

为子区域特征点与坐标中心的平均欧几里得距离。

4.如权利要求3所述的复杂动态背景下飞机检测方法，其特征在于，基于子窗口评分公式判断存在预设概率的目标区域，具体包括：

获取评分S_n降序排列在前的三块子区域A、B、C；

若S_B≥0.7S_A,S_C≥0.7S_B，则存在预设概率的目标区域为A、B、C；

若S_B≥0.7S_A,S_C＜0.7S_B，则存在预设概率的目标区域为A、B；

若S_B＜0.7S_A，则存在预设概率的目标区域为A。

5.如权利要求1所述的复杂动态背景下飞机检测方法，其特征在于，获取目标ROI区域外的区域标记为背景区域，并构建k-dimensiona树，计算第t帧和第t+Δt帧的背景特征点描述子间的距离，判断背景特征点匹配是否成功，包括：

基于邻比值法，判断背景特征点匹配是否成功；

查找两帧图像的特征描述子的第一距离和第二距离，若第一距离小于第一阈值，且第一距离与第二距离的比值小于第二阈值，则匹配成功，其中，第一距离和第二距离为两帧图像的特征描述子的距离升序排列在前两位的距离。

6.如权利要求1所述的复杂动态背景下飞机检测方法，其特征在于，基于匹配成功的背景特征点计算两帧间的单应矩阵H，并基于RANSAC算法优化得到目标单应矩阵H_best，基于目标单应矩阵H_best在两帧之间进行透视变换进行运动补偿，包括：

获取已匹配特征点对样本集合S，从样本集合S中随机选取四对不共线特征点样本子集M对初始化单应矩阵，并采用RANSAC算法优化得到目标单应矩阵H_best对获取目标图像I的所有像素进行投射，得到新的像素值I^T；其中，I^T＝H_bestI。

7.如权利要求6所述的复杂动态背景下飞机检测方法，其特征在于，对运动补偿后的图像进行双阈值差分处理，得到检测图像，包括：

获取四帧图像I_t,I_t+Δt,I_t+2Δt,I_t+3Δt，基于三帧差对ROI区域背景进行消除。

Images