CN113569644A - 一种基于机器视觉的机场鸟类目标检测方法 - Google Patents

Abstract

本发明公开了一种基于机器视觉的机场鸟类目标检测方法，根据飞鸟的运动特性提出了一种时域变化滤波算法，能够实现对飞鸟的初定位；利用红外视频中飞鸟的红外辐射满足高斯模型的特性，设计了一种基于高斯热图感知的鸟目标检测网络，能够在一级检测的基础上对飞鸟聚集区域进行单只鸟的细定位；本发明克服了传统驱鸟手段效率低、成本高、时效性短的问题；解决了机场飞鸟数量多、体积小、多聚集等问题，在机场红外视频上对飞鸟的检测取得了竞争力的结果。

Description

一种基于机器视觉的机场鸟类目标检测方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于机器视觉的机场鸟类目标检测方法。

背景技术

飞机的飞行速度快,与飞鸟发生碰撞后通常会造成极大的破坏，严重时会造成飞机的坠毁。国际航空联合会已把鸟害升级为“A”类(最易发生的) 航空灾难。因此，设计高效而安全的驱鸟系统对维护机场安全至关重要。

近年来，作为鸟情观测的重要技术手段之一，雷达探鸟技术得到了快速的发展和应用。目前，国内外研制的相对成熟的“机场雷达探鸟系统”主要包括美国的Merlin雷达、加拿大的Accipiter雷达、荷兰的Robin雷达以及英国的Aveillant雷达，国内的部分高校和科研院所也在开展和推进探鸟雷达技术的研究。通过对探鸟雷达数据的处理分析，有助于掌握机场周边鸟类活动规律，及时形成鸟情分析报告，有助于指导机场制定科学合理的鸟防措施。雷达探鸟系统的探测范围在垂直高度上可以达到7500～15000英尺，在水平距离上可以达到2～6公里，虽然雷达探鸟系统对机场周边鸟类活动的热点区域能够进行鸟类数量的估计，但雷达探测的范围相对较远。在所有鸟击事件中，飞机起飞和降落过程是最容易发生鸟击的阶段，超过90％的鸟击发生在机场和机场附近空域，50％发生在低于30米的空域，仅有1％发生在超过760米的高空。对于机场应用环境，在环保意识加强下，如何在不伤害鸟类的情况下，对机场低空出现的飞鸟进行实时有效驱赶是现如今机场安全的重要课题，当今国际通用的驱鸟方法主要有两种：其一是改变鸟类的生态环境，这种方法对环境破坏较大；其二是运用刺激信号对鸟类进行驱赶，刺激主要针对视觉、听觉和嗅觉方面。视觉刺激主要通过激光或者鸟类天敌的图像来驱赶鸟类。随着智能化绿色机场的推广，刺激信号驱鸟将成为未来发展的主要选择方案。对鸟驱赶前要对低空出现的鸟进行实时有效的探测，目前国内鸟类探测手段主要包括热成像法、雷达法和图像处理方法。由于鸟的体积小，热成像效果不理想，尤其在和所处环境温度相似的情况下；雷达对近目标反应慢并且价格昂贵。

发明内容

本发明的目的是提供一种基于机器视觉的机场鸟类目标检测方法，能够提高驱鸟效率和准确性。

本发明所采用的技术方案是，一种基于机器视觉的机场鸟类目标检测方法，具体按照以下步骤实施：

步骤1、采集机场上空和周边环境红外视频序列V，将V分为训练视频 V_train和测试视频V_test；

步骤2、对训练视频V_train执行时域变化滤波算法进行一级运动区域检测，得到飞鸟聚集区域图像集合Mtrain；

步骤3、设计基于高斯热图感知的鸟目标检测网络结构，将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集，对网络进行训练，得到网络模型M_BDGHP-Net；

步骤4、输入测试视频V_test，V_test＝{Im_r|1≤r≤R}，其中Im_r是V_test中的第r帧图像，图像的宽为W，高为H，视频序列中的总帧数为R；

步骤5、定义视频帧数计数器变量为r，r初始化为1，即r＝1；定义飞鸟目标检测结果集合变量PS_te，PS_te初始化为空，即PS_te＝NULL；

步骤6、读取V_test中的第r帧图像Im_r，对Im_r执行时域变化滤波算法，得到Im_r中飞鸟聚集区域图像集合

其中J表示鸟聚集区域图像总个数，

表示第j个飞鸟聚集区域图像；

步骤7、加载网络模型M_BDGHP-Net，对飞鸟聚集区域图像计数器变量j初始化，即j＝1；

步骤8、读取Img_r中第j个飞鸟聚集区域图像

将

输入至M_BDGHP-Net，输出

对应的高斯热图

步骤9、将

作为输入，调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理，得到飞鸟二级检测框集合

将

追加到PS_te中，即

步骤10、判断j是否大于J，如果j≥J，执行步骤11；否则，返回步骤 8；

步骤11、在图像Im_r上标记PS_te中对应的各个目标检测框；

步骤12、判断r是否大于R，如果r≥R，则鸟目标检测结束，否则r＝r+1，返回步骤6。

本发明的特点还在于：

步骤2具体过程为：

步骤2.1、输入训练视频V_train，V_train＝{Im_t|1≤t≤T}，其中Im_t是V_train中的第 t帧图像，图像的宽为W，高为H，视频序列中的总帧数为T；

步骤2.2、视频帧数计数器变量t初始化为k，即t＝k，k为时域变化滤波算法中的滤波器长度；

步骤2.3、调用开源的PyTorch库函数torch.mean()，计算图像序列{Im_t-1,Im_t-2,…,Im_t-k}的均值图像M_t，

步骤2.4、计算Im_t和M_t的差值图像D_t，D_t＝Im_t-M_t；

步骤2.5、调用开源的Opencv库函数cv2.meanStdDev()，计算D_t的均值μ和标准差δ；

步骤2.6、计算分割阈值Th，Th＝μ+a×δ，其中a为经验阈值系数；

步骤2.7、根据分割阈值Th对D_t进行分割得到二值图像B_t，按照公式(1) 进行二值化分割：

步骤2.8、把二值图像B_t作为输入，调用开源的提取轮廓的Opencv库函数cv2.findContours()，输出一级检测候选目标框集合，即飞鸟聚集区域检测框集合C_tr，

其中

是C_tr中第i个候选检测框；

步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算C_tr中各目标框

在Im_t中的像素面积

调用开源的Numpy库函数np.mean()计算所有目标框的面积均值

步骤2.10、检测框计数器变量i初始化为1，即i＝1；设置分割阈值Thr，

其中b表示阈值分割系数；

步骤2.11、对C_tr中第i个候选框

进行筛选，如果

在Im_t中提取

对应的图像

构成一个样本，将该样本加入到训练样本集Mtrain中；

步骤2.12、判断i是否大于I，如果i≥I，执行步骤2.13；否则，i＝i+1；返回步骤2.11。

步骤2.13、判断t是否大于T，如果t≥T，一级检测结束，输出Mtrain；否则，t＝t+1；返回步骤2.3。

步骤3具体过程为：

步骤3.1、设计鸟目标检测网络结构；

步骤3.2、定义鸟目标检测网络中的目标损失函数L，

其中Ga^*为鸟目标检测网络预测的高斯热图，Ga为高斯热图真值；

步骤3.3、制作样本位置真值集Gs；

步骤3.4、在训练样本集Mtrain和样本位置真值集合Gs的基础上制作高斯热图真值集合GH；

步骤3.5、设置鸟目标检测网络训练参数，将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练，输出训练好的网络模型M_BDGHP-Net；

步骤3.1中BDGHP-Net网络结构的具体设计为：

BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成；

对Mtrain中任意一张图像Mtrainⁿ进行大小归一化处理，得到归一化后的待分割飞鸟图像Image，其大小为w×h×c，把Image送入网络的输入模块，其中w×h为图像的分辨率，c为通道值；

特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征，由6组卷积层和5组最大池化层组成，具体连接顺序为：卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6；

多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成，具体连接顺序为：串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层 Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层UpSampk3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11；

预测模块是对多尺度特征融合模块的输出经过1×1卷积操作，得到大小为64×64×1的飞鸟区域的概率图作为网络输出；

步骤3.3具体过程为：

制作样本位置真值集Gs：在训练样本集Mtrain中取出第n个样本图像M_n，对M_n使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记，得到飞鸟区域的位置框集合G_n，

是G_n中的第z个飞鸟区域位置框， Z是图像M_n中飞鸟区域的位置框总个数，Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集合：

步骤3.4具体过程为：

步骤3.4.1、输入训练样本集Mtrain和样本位置真值集合Gs；

步骤3.4.2、定义图像个数计数器变量为n，n初始化为1，即n＝1；

步骤3.4.3、读取Mtrain中第n幅图像M_n和M_n在Gs中对应的样本位置真值集合

步骤3.4.4、定义样本位置个数计数器变量为z，z初始化为1，即z＝1；

步骤3.4.5、在M_n中提取

对应的子图像

1≤i≤h，1≤j≤w，i，j表示像素点的行和列坐标值，w，h为

的宽和高，计算

中每个像素点

到其中心点的距离x_i，j，按照公式(2)计算x_i，j：

步骤3.4.6、将x_i，j送入高斯函数G(x_i，j)计算得到

对应的高斯值，所有像素点的高斯值构成一个高斯热图，即高斯热图真值Ga，将Ga加入集合GH_n中，按照公式(3)计算G(x_i，j)：

步骤3.4.7、判断z是否大于Z，如果z≥Z，执行步骤3.4.8；否则，z累加1，即z＝z+1；返回步骤3.4.5；

步骤3.4.8、将GH_n加入高斯真值集合GH，即GH+＝GH_n；

步骤3.4.9、判断n是否大于N，如果n≥N，高斯真值制作结束，输出高斯真值集GH；否则，n累加1，即n＝n+1；返回步骤3.4.3。

步骤3.5具体过程为：

步骤3.5.1、设置鸟目标检测网络模型训练参数，设置学习率变量 Learning_rate、每批次数据大小变量Batch_siz、训练迭代最大次数变量 Max_iter，定义训练迭代次数变量为Step，Step初始化为1；

步骤3.5.2、从训练样本集Mtrain和高斯真值集合G_H中随机读取 Batch_size个样本和真值数据，将读入的数据送入鸟目标检测网络中，进行网络训练；

步骤3.5.3，计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif，根据Dif判断模型是否收敛，如果Dif≤Th1,模型收敛，否则模型不收敛；

步骤3.5.4、若模型收敛或者Step≥Max_iter，进入步骤3.5.5；否则， Step＝Step+1，使用Adam优化器来反向修正网络模型中各网络层的权重系数，返回步骤3.5.2；

步骤3.5.5、网络训练结束，保存鸟目标检测网络训练模型M_BDGHP-Net。

本发明有益效果是：

本发明基于机器视觉的机场鸟类目标检测方法，根据飞鸟的运动特性提出了一种时域变化滤波算法，能够实现对飞鸟的初定位，并且筛选出待分割的群聚飞鸟区域；利用红外视频中飞鸟的红外辐射满足高斯模型的特性，设计了一种能够预测飞鸟区域得分的基于高斯热图感知的鸟目标检测网络，能够在一级检测的基础上对聚集鸟群区域进行细定位；本发明克服了传统驱鸟手段效率低、成本高、时效性短的问题；解决了机场飞鸟数量多、体积小、聚集情况复杂的多问题，在机场飞鸟视频的检测上取得了竞争力的结果。

附图说明

图1是本发明基于机器视觉的机场鸟类目标检测方法的流程图；

图2是本发明基于机器视觉的机场鸟类目标检测方法中一级检测流程图；

图3是本发明基于机器视觉的机场鸟类目标检测方法的BDGHP-Net网络结构示意图；

图4是本发明基于机器视觉的机场鸟类目标检测方法的高斯真值制作示意图；

图5是本发明实施例中的机场飞鸟测试视频序列；

图6是本发明实施例中的一幅飞鸟测试图像；

图7是本发明实施例中TVF一级检测结果及放大图；

图8是本发明实施例中BDGHP-Net对图8的二级检测结果及放大图；

图9是本发明实施例中的另一幅飞鸟测试图像；

图10是本发明实施例中TVF一级检测结果及放大图；

图11是本发明实施例中BDGHP-Net对图10的二级检测结果及放大图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提出一种基于机器视觉的机场鸟类目标检测方法，如图1所示，具体按照以下步骤实施：

步骤1、采集机场上空和周边环境红外视频序列V，将V分为训练视频 V_train和测试视频V_test；

步骤2、对训练视频V_train执行时域变化滤波算法(Temporal Variation Filter，简称TVF)进行一级运动区域检测，得到飞鸟聚集区域图像集合Mtrain；具体过程如图2所示：

步骤2.1、输入训练视频V_train，V_train＝{Im_t|1≤t≤T}，其中Im_t是V_train中的第 t帧图像，图像的宽为W，高为H，视频序列中的总帧数为T；在本发明实施例中W＝720,H＝576,T＝260；

步骤2.2、视频帧数计数器变量t初始化为k，即t＝k，k为时域变化滤波算法中的滤波器长度；在本发明实施例中k＝6；

步骤2.3、调用开源的PyTorch库函数torch.mean()，计算图像序列 {Im_t-1,Im_t-2,…,Im_t-k}的均值图像M_t，

步骤2.4、计算Im_t和M_t的差值图像D_t，D_t＝Im_t-M_t；

步骤2.5、调用开源的Opencv库函数cv2.meanStdDev()，计算D_t的均值μ和标准差δ；

步骤2.6、计算分割阈值Th，Th＝μ+a×δ，其中a为经验阈值系数；在本发明实施例中a＝4；

步骤2.7、根据分割阈值Th对D_t进行分割得到二值图像B_t，按照公式(1) 进行二值化分割：

步骤2.8、把二值图像B_t作为输入，调用开源的提取轮廓的Opencv库函数cv2.findContours()，输出一级检测候选目标框集合，即飞鸟聚集区域检测框集合C_tr，

其中

是C_tr中第i个候选检测框；

步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算C_tr中各目标框

在Im_t中的像素面积

调用开源的Numpy库函数np.mean()计算所有目标框的面积均值

步骤2.10、检测框计数器变量i初始化为1，即i＝1；设置分割阈值Thr，

其中b表示阈值分割系数；在本发明实施例中b＝0.8；

步骤2.11、对C_tr中第i个候选框

进行筛选，如果

在Im_t中提取

对应的图像

构成一个样本，将该样本加入到训练样本集Mtrain中；

步骤2.12、判断i是否大于I，如果i≥I，执行步骤2.13；否则，i＝i+1；返回步骤2.11。

步骤2.13、判断t是否大于T，如果t≥T，一级检测结束，输出Mtrain；否则，t＝t+1；返回步骤2.3。

步骤3、设计基于高斯热图感知的鸟目标检测网络结构(Bird Detection Networkbased on Gaussian Heatmap Perception，简称BDGHP-Net)，将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集，对网络进行训练，得到网络模型M_BDGHP-Net；具体设计如图3所示：

步骤3.1、设计鸟目标检测网络结构；步骤3.1具体过程为：

BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成；

对Mtrain中任意一张图像Mtrainⁿ进行大小归一化处理，得到归一化后的待分割飞鸟图像Image，其大小为w×h×c，把Image送入网络的输入模块，其中w×h为图像的分辨率，c为通道值，在本发明实施例中w＝h＝128,c＝3；

特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征，由6组卷积层和5组最大池化层组成，具体连接顺序为：卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6；特征提取模块中具体的网络层、卷积层参数设置和输出维度大小如表1所示：

表1

多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成，具体连接顺序为：串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层 UpSample3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11；多尺度特征融合模块中具体的网络层、卷积层参数设置和输出维度大小如表2所示：

表2

预测模块是对多尺度特征融合模块的输出经过1×1卷积操作，得到大小为64×64×1的飞鸟区域的概率图作为网络输出。

步骤3.2、定义鸟目标检测网络中的目标损失函数L，

其中Ga^*为鸟目标检测网络预测的高斯热图，Ga为高斯热图真值；

步骤3.3、制作样本位置真值集Gs；步骤3.3具体过程为：

制作样本位置真值集Gs：在训练样本集Mtrain中取出第n个样本图像M_n，对M_n使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记，得到飞鸟区域的位置框集合G_n，

是G_n中的第z个飞鸟区域位置框，Z是图像M_n中飞鸟区域的位置框总个数，Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集合：

步骤3.4、在训练样本集Mtrain和样本位置真值集合Gs的基础上制作高斯热图真值集合GH；步骤3.4具体过程如图4所示：

步骤3.4.1、输入训练样本集Mtrain和样本位置真值集合Gs；

步骤3.4.2、定义图像个数计数器变量为n，n初始化为1，即n＝1；

步骤3.4.3、读取Mtrain中第n幅图像M_n和M_n在Gs中对应的样本位置真值集合

步骤3.4.4、定义样本位置个数计数器变量为z，z初始化为1，即z＝1；

步骤3.4.5、在M_n中提取

对应的子图像

1≤i≤h,1≤j≤w,i,j表示像素点的行和列坐标值，w,h为

的宽和高，计算

中每个像素点

到其中心点的距离x_i,j，按照公式(2)计算x_i,j：

步骤3.4.6、将x_i,j送入高斯函数G(x_i,j)计算得到

对应的高斯值，所有像素点的高斯值构成一个高斯热图，即高斯热图真值Ga，将Ga加入集合GH_n中，按照公式(3)计算G(x_i,j)：

步骤3.4.7、判断z是否大于Z，如果z≥Z，执行步骤3.4.8；否则，z累加1，即z＝z+1；返回步骤3.4.5；

步骤3.4.8、将GH_n加入高斯真值集合GH，即GH+＝GH_n；

步骤3.4.9、判断n是否大于N，如果n≥N，高斯真值制作结束，输出高斯真值集GH；否则，n累加1，即n＝n+1；返回步骤3.4.3。

步骤3.5、设置鸟目标检测网络训练参数，将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练，输出训练好的网络模型M_BDGHP-Net；步骤3.5具体过程为：

步骤3.5.1、设置鸟目标检测网络模型训练参数，设置学习率变量 Learning_rate、每批次数据大小变量Batch_size、训练迭代最大次数变量 Max_iter，定义训练迭代次数变量为Step，Step初始化为1；具体设置如表3 所示；

表3

参数	参数说明	取值
			Learning_rate	学习率	0.00005
Max_iter	训练最大迭代次数	500
			Batch_size	每批次数据的大小	4
Step	训练迭代次数变量初始值	1

步骤3.5.2、从训练样本集Mtrain和高斯真值集合G_H中随机读取 Batch_size个样本和真值数据，将读入的数据送入鸟目标检测网络中，进行网络训练；

步骤3.5.3，计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif，根据Dif判断模型是否收敛，如果Dif≤Th1,模型收敛，否则模型不收敛；在本发明实施例中Th1＝0.002；

步骤3.5.4、若模型收敛或者Step≥Max_iter，进入步骤3.5.5；否则， Step＝Step+1，使用Adam优化器来反向修正网络模型中各网络层的权重系数，返回步骤3.5.2；

步骤3.5.5、网络训练结束，保存鸟目标检测网络训练模型M_BDGHP-Net。

步骤4、输入测试视频V_test，V_test＝{Im_r|1≤r≤R}，其中Im_r是V_test中的第r帧图像，图像的宽为W，高为H，视频序列中的总帧数为R；在本发明实施例中W＝720，H＝576，R＝2690；

步骤5、定义视频帧数计数器变量为r，r初始化为1，即r＝1；定义飞鸟目标检测结果集合变量PS_te，PS_te初始化为空，即PS_te＝NULL；

步骤6、读取V_test中的第r帧图像Im_r，对Im_r执行时域变化滤波算法，得到Im_r中飞鸟聚集区域图像集合

其中J表示鸟聚集区域图像总个数，

表示第j个飞鸟聚集区域图像；

步骤7、加载网络模型M_BDGHP-Net，对飞鸟聚集区域图像计数器变量j初始化，即j＝1；

步骤8、读取Img中第j个飞鸟聚集区域图像

将

输入至 M_BDGHP-Net，输出

对应的高斯热图

步骤9、将

作为输入，调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理，得到飞鸟二级检测框集合

将

追加到PS_te中，即

步骤10、判断j是否大于J，如果j≥J，执行步骤11；否则，返回步骤 8；

步骤11、在图像Im_r上标记PS_te中对应的各个目标检测框；

步骤12、判断r是否大于R，如果r≥R，则鸟目标检测结束，否则r＝r+1，返回步骤6。

本发明基于机器视觉的机场鸟类目标检测方法。首先，利用飞鸟的运动特性，设计了一种时域变化滤波方法，对拍摄的机场飞鸟红外视频序列中的运动目标进行一级检测，得到运动区域(即单只飞鸟和聚集在一起的多只飞鸟)的候选框；其次，对候选框按照面积大小进行筛选，如果候选框面积小于所有检测框面积均值的一定阈值倍数，则认为候选框对应单只飞鸟，输出候选框；否则认为候选框中包含多只飞鸟，把候选框对应的图像区域送入鸟目标检测网络模型进行二级检测，对网络预测得到的高斯热图采用分水岭分割算法进行后处理得到聚集区域的各个飞鸟检测框。本发明克服了传统驱鸟手段效率低、成本高、时效性短等问题，解决了机场飞鸟数量多、体积小、聚集情况复杂等众多问题，在机场飞鸟视频的检测上取得了竞争力的结果。

实施例

本发明在机场周边采集了测试视频V_test，视频序列V_test中部分图像如图5 所示，鸟的数量范围为50～200。

本发明对测试视频序列V_test中的飞鸟检测结果如图6～图11所示，图6 表示一幅飞鸟场景图像，图7(a)表示本发明提出的TVF一级检测结果原图，图7(b)表示对图7(a)中虚线部分放大图，白色框是飞鸟检测框，图8(a)表示本发明设计的鸟目标检测网络BDGHP-Net对图7的二级检测结果原图，图8(b)表示对图8(a)中虚线部分放大图放大图，白色框是飞鸟检测框；图9表示另一幅飞鸟场景图像，图10(a)表示本发明提出的 TVF一级检测结果原图，图10(b)表示对图10(a)中虚线部分放大图放大图，白色框是飞鸟检测框，图11(a)表示本发明设计的鸟目标检测网络BDGHP-Net对图10的二级检测结果原图，图11(b)表示对图11(a)中虚线部分放大图放大图，白色框是飞鸟检测框。通过图6～图11结果可以看出本发明提出的TVF运动目标检测算法能够实现运动飞鸟目标的精确初检测， BDGHP-Net网络能够实现飞鸟聚集区域的单目标精确细检测，本发明方法可以实现机场飞鸟的精准检测。

采用准确率P、召回率R和调和平均值F三个评价指标对本发明的飞鸟检测效果进行评价，评价指标定义：

①准确率(Precision，P)。准确率表示检测出的正确目标个数占检测出的总目标个数的比例。

②召回率(Recall，R)。召回率表示是检测出的正确目标个数占所有标注的真值框总数目的比例。

③调和平均值(F-measure，F)。调和平均值是对召回率和准确率的加权平均值，因此F-measure是检测算法性能的综合度量，其值越高即算法性能越好，其计算表达式为：

本发明在测试视频V_test上对本文提出的TVF一级检测模块和 BDGHP-Net二级检测模块进行了客观性能测试，结果如表4所示。TVF算法在V_test上的调和平均值是75.3％，BDGHP-Net网络的调和平均值为90.5％，相对TVF算法，BDGHP-Net网络的调和平均值性能提高了15.2％。

表4

根据表4可知，本发明提出的TVF运动目标检测算法能够较好的实现飞鸟的初步定位，在TVF的基础上，BDGHP-Net网络对飞鸟的检测性能有了显著的提升。

通过上述方式，本发明提出的一种基于机器视觉的机场鸟类目标检测方法，根据飞鸟的运动特性提出了一种时域变化滤波算法，实现了对飞鸟运动区域的有效检测，针对运动区域存在多只飞鸟聚集的情况，提出了一种基于高斯热图感知的鸟目标检测网络，实现了对飞鸟聚集区域单只飞鸟的精确检测。实验结果验证了本发明的有效性，从而证明了本发明可以应用于机场基于机器视觉的鸟类目标检测，进而实现刺激信号驱鸟，提升机场驱鸟的绿色智能化与自动化水平。

Claims (7)

1.一种基于机器视觉的机场鸟类目标检测方法，其特征在于，具体按照以下步骤实施：

步骤1、采集机场上空和周边环境红外视频序列V，将V分为训练视频V_train和测试视频V_test；

步骤2、对训练视频V_train执行时域变化滤波算法进行一级运动区域检测，得到飞鸟聚集区域图像集合Mtrain；

步骤3、设计基于高斯热图感知的鸟目标检测网络结构，将飞鸟聚集区域图像集合Mtrain作为鸟目标检测网络的训练样本集，对网络进行训练，得到网络模型M_BDGHP-Net；

步骤4、输入测试视频V_test，V_test＝{Im_r|1≤r≤R}，其中Im_r是V_test中的第r帧图像，图像的宽为W，高为H，视频序列中的总帧数为R；

步骤5、定义视频帧数计数器变量为r，r初始化为1，即r＝1；定义飞鸟目标检测结果集合变量PS_te，PS_te初始化为空，即PS_te＝NULL；

步骤6、读取V_test中的第r帧图像Im_r，对Im_r执行时域变化滤波算法，得到Im_r中飞鸟聚集区域图像集合

其中J表示鸟聚集区域图像总个数，

表示第j个飞鸟聚集区域图像；

步骤7、加载网络模型M_BDGHP-Net，对飞鸟聚集区域图像计数器变量j初始化，即j＝1；

步骤8、读取Img_r中第j个飞鸟聚集区域图像

将

输入至M_BDGHP-Net，输出

对应的高斯热图

步骤9、将

作为输入，调用开源的Opencv库函数cv2.Watershed()进行分水岭分割后处理，得到飞鸟二级检测框集合

将

追加到PS_te中，即

步骤10、判断j是否大于J，如果j≥J，执行步骤11；否则，返回步骤8；

步骤11、在图像Im_r上标记PS_te中对应的各个目标检测框；

步骤12、判断r是否大于R，如果r≥R，则鸟目标检测结束，否则r＝r+1，返回步骤6。

2.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤2具体过程为：

步骤2.1、输入训练视频V_train，V_train＝{Im_t|1≤t≤T}，其中Im_t是V_train中的第t帧图像，图像的宽为W，高为H，视频序列中的总帧数为T；

步骤2.2、视频帧数计数器变量t初始化为k，即t＝k，k为时域变化滤波算法中的滤波器长度；

步骤2.3、调用开源的PyTorch库函数torch.mean()，计算图像序列{Im_t-1,Im_t-2,…,Im_t-k}的均值图像M_t，

步骤2.4、计算Im_t和M_t的差值图像D_t，D_t＝Im_t-M_t；

步骤2.5、调用开源的Opencv库函数cv2.meanStdDev()，计算D_t的均值μ和标准差δ；

步骤2.6、计算分割阈值Th，Th＝μ+a×δ，其中a为经验阈值系数；

步骤2.7、根据分割阈值Th对D_t进行分割得到二值图像B_t，按照公式(1)进行二值化分割：

步骤2.8、把二值图像B_t作为输入，调用开源的提取轮廓的Opencv库函数cv2.findContours()，输出一级检测候选目标框集合，即飞鸟聚集区域检测框集合C_tr，

其中

是C_tr中第i个候选检测框；

步骤2.9、调用开源的Opencv库函数cv2.contourArea()计算C_tr中各目标框

在Im_t中的像素面积

调用开源的Numpy库函数np.mean()计算所有目标框的面积均值

步骤2.10、检测框计数器变量i初始化为1，即i＝1；设置分割阈值Thr，

其中b表示阈值分割系数；

步骤2.11、对C_tr中第i个候选框

进行筛选，如果

在Im_t中提取

对应的图像

构成一个样本，将该样本加入到训练样本集Mtrain中；

步骤2.12、判断i是否大于I，如果i≥I，执行步骤2.13；否则，i＝i+1；返回步骤2.11。

步骤2.13、判断t是否大于T，如果t≥T，一级检测结束，输出Mtrain；否则，t＝t+1；返回步骤2.3。

3.根据权利要求1所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤3具体过程为：

步骤3.1、设计鸟目标检测网络结构；

步骤3.2、定义鸟目标检测网络中的目标损失函数L，

其中Ga^*为鸟目标检测网络预测的高斯热图，Ga为高斯热图真值；

步骤3.3、制作样本位置真值集Gs；

步骤3.4、在训练样本集Mtrain和样本位置真值集合Gs的基础上制作高斯热图真值集合GH；

步骤3.5、设置鸟目标检测网络训练参数，将训练样本集Mtrain以及对应的高斯热图真值集合GH送入鸟目标检测网络进行训练，输出训练好的网络模型M_BDGHP-Net。

4.根据权利要求3所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤3.1具体过程为：

BDGHP-Net网络由输入模块、特征提取模块、多尺度特征融合模块和预测模块组成；

对Mtrain中任意一张图像Mtrainⁿ进行大小归一化处理，得到归一化后的待分割飞鸟图像Image，其大小为w×h×c，把Image送入网络的输入模块，其中w×h为图像的分辨率，c为通道值；

特征提取模块是利用卷积层和池化层的组合提取Image的各尺度特征，由6组卷积层和5组最大池化层组成，具体连接顺序为：卷积层Conv1-池化层MaxPool1-卷积层Conv2-池化层MaxPool2-卷积层Conv3-池化层MaxPool3-卷积层Conv4-池化层MaxPool4-卷积层Conv5-池化层MaxPool5-卷积层Conv6；

多尺度特征融合模块由5组卷积层、4组串联层和3组上采样层组成，具体连接顺序为：串联层Concat1-上采样层UpSample1-卷积层Conv7-串联层Concat2-上采样层UpSample2-卷积层Conv8-串联层Concat3-上采样层UpSample3-卷积层Conv9-串联层Concat4-卷积层Conv10-卷积层Conv11；

预测模块是对多尺度特征融合模块的输出经过1×1卷积操作，得到大小为64×64×1的飞鸟区域的概率图作为网络输出。

5.根据权利要求3所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤3.3具体过程为：

制作样本位置真值集Gs：在训练样本集Mtrain中取出第n个样本图像M_n，对M_n使用公开的标签标记工具Yolo_mark进行单个飞鸟区域标记，得到飞鸟区域的位置框集合G_n，

是G_n中的第z个飞鸟区域位置框，Z是图像M_n中飞鸟区域的位置框总个数，Mtrain中所有样本图像标记的飞鸟区域位置框构成样本位置真值集合：

6.根据权利要求3所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤3.4具体过程为：

步骤3.4.1、输入训练样本集Mtrain和样本位置真值集合Gs；

步骤3.4.2、定义图像个数计数器变量为n，n初始化为1，即n＝1；

步骤3.4.3、读取Mtrain中第n幅图像M_n和M_n在Gs中对应的样本位置真值集合

步骤3.4.4、定义样本位置个数计数器变量为z，z初始化为1，即z＝1；

步骤3.4.5、在M_n中提取

对应的子图像

1≤i≤h,1≤j≤w,i,j表示像素点的行和列坐标值，w,h为

的宽和高，计算

中每个像素点

到其中心点的距离x_i,j，按照公式(2)计算x_i,j：

步骤3.4.6、将x_i,j送入高斯函数G(x_i,j)计算得到

对应的高斯值，所有像素点的高斯值构成一个高斯热图，即高斯热图真值Ga，将Ga加入集合GH_n中，按照公式(3)计算G(x_i,j)：

步骤3.4.7、判断z是否大于Z，如果z≥Z，执行步骤3.4.8；否则，z累加1，即z＝z+1；返回步骤3.4.5；

步骤3.4.8、将GH_n加入高斯真值集合GH，即GH+＝GH_n；

步骤3.4.9、判断n是否大于N，如果n≥N，高斯真值制作结束，输出高斯真值集GH；否则，n累加1，即n＝n+1；返回步骤3.4.3。

7.根据权利要求3所述一种基于机器视觉的机场鸟类目标检测方法，其特征在于，步骤3.5具体过程为：

步骤3.5.1、设置鸟目标检测网络模型训练参数，设置学习率变量Learning_rate、每批次数据大小变量Batch_size、训练迭代最大次数变量Max_iter，定义训练迭代次数变量为Step，Step初始化为1；

步骤3.5.2、从训练样本集Mtrain和高斯真值集合G_H中随机读取Batch_size个样本和真值数据，将读入的数据送入鸟目标检测网络中，进行网络训练；

步骤3.5.3，计算鸟目标检测网络训练过程中两次迭代的损失函数L绝对差值Dif，根据Dif判断模型是否收敛，如果Dif≤Th1,模型收敛，否则模型不收敛；

步骤3.5.4、若模型收敛或者Step≥Max_iter，进入步骤3.5.5；否则，Step＝Step+1，使用Adam优化器来反向修正网络模型中各网络层的权重系数，返回步骤3.5.2；

步骤3.5.5、网络训练结束，保存鸟目标检测网络训练模型M_BDGHP-Net。

Images