CN116310894A - 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 - Google Patents
一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 Download PDFInfo
- Publication number
- CN116310894A CN116310894A CN202310151602.6A CN202310151602A CN116310894A CN 116310894 A CN116310894 A CN 116310894A CN 202310151602 A CN202310151602 A CN 202310151602A CN 116310894 A CN116310894 A CN 116310894A
- Authority
- CN
- China
- Prior art keywords
- feature
- small
- fusion
- image
- aerial vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000609816 Pantholops hodgsonii Species 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 86
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000004458 analytical method Methods 0.000 claims abstract description 34
- 238000013136 deep learning model Methods 0.000 claims abstract description 32
- 230000006870 function Effects 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 16
- 230000008447 perception Effects 0.000 claims abstract description 8
- 239000000523 sample Substances 0.000 claims description 77
- 238000000605 extraction Methods 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 239000012805 animal sample Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 3
- 241001465754 Metazoa Species 0.000 description 24
- 238000013135 deep learning Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 11
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 241000282421 Canidae Species 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- RLLPVAHGXHCWKJ-IEBWSBKVSA-N (3-phenoxyphenyl)methyl (1s,3s)-3-(2,2-dichloroethenyl)-2,2-dimethylcyclopropane-1-carboxylate Chemical compound CC1(C)[C@H](C=C(Cl)Cl)[C@@H]1C(=O)OCC1=CC=CC(OC=2C=CC=CC=2)=C1 RLLPVAHGXHCWKJ-IEBWSBKVSA-N 0.000 description 1
- 241000282994 Cervidae Species 0.000 description 1
- 241000282898 Sus scrofa Species 0.000 description 1
- 241000282454 Ursus arctos Species 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000035611 feeding Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，通过无人机采集无人机正射影像；构建辅助集和无人机藏羚羊小样本库；构建具有上下文感知融合与对比分析的小样本深度学习模型；确定模型损失函数；利用辅助集和无人机藏羚羊小样本库对具有上下文感知融合与对比分析的小样本深度学习模型进行训练。提高小样本条件下前景以背景的区分度，提升小样本小目标条件下的藏羚羊识别精度。克服了基于无人机的藏羚羊的检测实际应用中却面临着样本稀少、目标较小、与地面背景难以区分等问题。
Description
技术领域
本发明涉及无人机遥感信息提取技术领域，具体涉及一种基于无人机遥感的小样本小目标藏羚羊智能识别方法。
背景技术
藏羚羊是青藏高原动物区系的典型代表，国家一级保护动物。它们活动范围大，不同季节间取食、饮水、繁殖、产仔等需要进行大规模、长距离的迁移。而道路基础设施建设、资源开发等人类活动导致野生动物迁徙更加困难，对青藏高原生物多样性将造成深远影响。利用人工智能、遥感影像识别野生动物种类，高精度提取野生动物高频活动区域和迁徙轨迹，能够为野生动物保护提供科学合理依据。
无人机体积小、质量轻、噪音小，可搭载不同光谱传感器，具有对监测对象干扰小、操作简单、灵活性高、作业周期短等特点，能够在短时间内完成大范围的野生动物调查任务。因此，基于无人机遥感的野生动物调查已成为行业发展新趋势。野生动物目标检测的本质是图像处理算法，目前国内外目标检测算法主要分为传统目标检测算法、基于人工特征提取的目标检测算法和基于深度学习的目标检测算法。
传统的目标检测算法通过融合中心加权、子块匹配、轨迹预测、贝叶斯理论等对目标进行检测，虽然取得一定成果，但是对于动态场景下的遮挡目标检测效果不佳。基于人工特征提取的方法通过先验知识获得目标的特征描述，并输入到一个分类器中学习分类规则。例如，使用混合局部描述算子加上支持向量机(SVM)的传统方法，对野猪、棕熊、狼、狐狸和鹿等五种动物进行分类，实验结果表明，使用混合SISURF特征检测器加上SVM分类器最高能够达到86％准确率。
近年来，随着深度卷积网络的不断发展，基于深度学习的目标检测方法凭借其提取目标特征优秀的抽象能力、抗平衡能力以及抗尺度变化能力，成为机器视觉领域的研究热点。主要包括：结合感兴趣区域ROI与卷积神经网络对国家级自然保护区的陆生野生动物进行自动识别；使用自动图形切割算法分割野生动物区域，再使用深度卷积神经网络对20种野生动物进行识别，得到较好的识别精度；结合形状、运动特征以及Adaboost分类方法对运动动物目标进行分类检测；使用YOLOv3目标检测算法对野生动物视频进行研究。
基于深度学习遥感动物目标检测算法在样本量充足条件下已能取得与人类水平相当、甚至超越人类水平的识别效果，但由于藏羚羊警惕性非常高，无人机无法抵近采集图像，同时从空中俯视藏羚羊目标时其外形特征与地面背景存在着一定的相似性。因此，基于无人机的藏羚羊的检测实际应用中却面临着样本稀少、目标较小、与地面背景难以区分等问题。为实现小样本、小目标条件下，基于无人机遥感影像的藏羚羊精确识别，本发明设计了具有上下文感知融合与对比分析的小样本深度学习算法，提高小样本条件下前景以背景的区分度，提升小样本小目标条件下的藏羚羊识别精度。
发明内容
本发明的目的在于针对现有技术存在的上述问题，提供一种小目标小样本无人机藏羚羊检测方法，以“小样本，小目标条件下实现高精度自动化的藏羚羊识别”为核心目标，设计具有针对性的深度学习算法以实现小样本条件下高精度、自动化无人机遥感数据藏羚羊目标检测。此思想指导下，设计了具有上下文感知融合与对比分析小样本深度学习算法实现无人机遥感藏羚羊目标检测。
本发明的上述目的通过以下技术手段实现：
一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，包括以下步骤：
步骤1、在藏羚羊活动区域，通过无人机采集无人机正射影像；
步骤2、构建辅助集和无人机藏羚羊小样本库，无人机藏羚羊小样本库包括藏羚羊支撑集和藏羚羊查询集，各个有标签的无人机正射影像作为支撑图像构建藏羚羊支撑集，各个无标签的无人机正射影像作为查询图像构建藏羚羊查询集，辅助集包括辅助支撑集和辅助查询集，各个有标签的动物样本图片作为支撑图像构建辅助支撑集，各个无标签的动物样本图片作为查询图像构建辅助查询集；
步骤3、构建具有上下文感知融合与对比分析的小样本深度学习模型；
步骤4、确定具有上下文感知融合与对比分析的小样本深度学习模型的损失函数；
步骤5、利用辅助集中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练，再利用无人机藏羚羊小样本库中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练。
如上所述具有上下文感知融合与对比分析的小样本深度学习模型包括特征提取子模块、特征融合RPN子模块、上下文感知特征融合子模块、以及度量子模块，
特征提取子模块，用于输入支持图像S和查询图像Q，进行特征提取，输出支持图像特征F(S)和查询图像特征F(Q)到特征融合RPN子模块；
特征融合RPN子模块，用于根据支持图像特征F(S)和查询图像特征F(Q)，提取查询图像候选框和融合查询图像特征的支持图像特征F(Sq)并输出到上下文感知特征融合子模块；
上下文感知特征融合子模块，用于提取查询图像候选框固定的尺寸特征F(Qbox)，将融合查询图像特征的支持图像特征F(Sq)与查询图像候选框固定的尺寸特征F(Qbox)输入到度量子模块；
度量子模块，用于将输入的融合查询图像特征的支持图像特征F(Sq)和查询图像候选框固定尺寸特征F(Qbox)进行特征拼接，计算检测目标的标签的类别信息概率值。
如上所述特征提取子模块中采用预训练ResNet-50孪生神经网络提取输入的支持图像S和查询图像Q对应的支持图像特征F(S)和查询图像特征F(Q)。
如上所述特征融合RPN子模块通过以下公式对支持图像S和查询图像Q进行特征融合操作，获得融合查询图像特征的支持图像特征F(Sq)和融合支持图像特征的查询图像特征F(Qs)，
其中，F(Sq)为融合查询图像特征的支持图像特征，F(Qs)为融合支持图像特征的查询图像特征，
为通道注意力融合函数，MLP为多层感知机函数，AvgPool为平均池化函数，MaxPool为最大池化函数，σ为Sigmoid激活函数。
如上所述特征融合RPN子模块中，融合支持图像特征的查询图像特征F(Qs)输入到Faster RCNN网络中的RPN结构实现查询图像候选框的生成。
如上所述上下文感知特征融合子模块中，先选择4*4，8*8，12*12三种分辨率，分别对查询图像候选框进行平行池化后再进行特征对齐，获得4*4分辨率的特征、8*8分辨率的特征和12*12分辨率的特征，然后再将4*4分辨率的特征和12*12分辨率的特征重新采样到8*8分辨率的特征，将上述两个重采样的8*8分辨率的特征和上述直接采样的8*8分辨率的特征进行特征融合生成查询图像候选框固定的尺寸特征F(Qbox)。
如上所述度量子模块中，首先将输入的融合查询图像特征的支持图像特征F(Sq)和查询图像候选框固定尺寸特征F(Qbox)进行特征拼接，然后使用三层MLP网络进行特征融合比对，最后利用一个softmax层作为分类器给出每个检测目标的标签的类别信息概率值。
如上所述具有上下文感知融合与对比分析的小样本深度学习模型损失函数基于以下公式：
L＝Lrpn+Lcls+Lreg
其中，L为具有上下文感知融合与对比分析的小样本深度学习模型的总损失，Lrpn为特征融合RPN子模块的RPN损失，Lcls为度量子模块分类器损失，Lreg为度量子模块检测目标边框的回归损失。
本发明相对于现有技术具有以下有益效果：
本发明设计了具有上下文感知融合与对比分析的小样本深度学习算法，提高小样本条件下前景以背景的区分度，提升小样本小目标条件下的藏羚羊识别精度。克服了基于无人机的藏羚羊的检测实际应用中却面临着样本稀少、目标较小、与地面背景难以区分等问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明主要技术流程图。
图2为本发明具有上下文感知融合与对比分析的小样本深度学习模型结构图。
图3为本发明具有上下文感知融合与对比分析的小样本深度学习模型检测结果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，以“小样本条件下实现高精度自动化的藏羚羊识别”为核心目标，设计具有针对性的深度学习算法以实现小样本条件下高精度、自动化无人机遥感数据藏羚羊目标检测。通过具有上下文感知融合与对比分析小样本深度学习算法实现无人机遥感藏羚羊目标检测。
一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，包括以下步骤：
步骤一、在藏羚羊活动区域，通过无人机采集无人机正射影像；
在没有无人机藏羚羊等野生动物目标检测公开数据集的前提下，首先需要获取无人机藏羚羊等野生动物数据。具体步骤如下：
数据采集时间分析和采集范围确定：由于藏羚羊地处青藏地区，其除了繁殖季节穿越青藏公路以外，大部分时间处于生态保护区的无人居住区。因此，藏羚羊的无人机样本数据难以获取，为了有效的实现藏羚羊识别模型的设计实验，本发明在6-8月份利用无人机采集沿青藏公路100km周围缓冲区半径为5km范围内的无人机数据。
测区实勘，飞行路线规划，定位控制设置：青藏高原地区地势较为平坦，高差较小，航线设计采用沿测区边界外扩2条航线进行航飞。任务区设计飞行高度为150米。飞行期间选择基本为晴天通视条件良好的情况下飞行。定位控制点，使用定位仪采集6个以上分布均匀、且特征明显的控制点。
飞机选取：为了克服飞机抖动等造成的数据质量问题。在使用选用无人机时无人机飞行搭载应当搭载高分辨率单反相机，配置云增稳平台，其中，飞机控制系统与动态RTK、惯性导航的定姿定位系统，姿态调整频率为每秒50赫兹以上。
正射数据生产：将采集的数量充足，影像质量良好，无畸变的无人机图像，导入航空遥感图像拼接软件加载航点，进行空中三角测量、数字高程模型生产正射影像。
步骤二、构建辅助集和无人机藏羚羊小样本库，无人机藏羚羊小样本库包括藏羚羊支撑集和藏羚羊查询集，各个有标签的无人机正射影像作为支撑图像构建藏羚羊支撑集，各个无标签的无人机正射影像作为查询图像构建藏羚羊查询集，辅助集包括辅助支撑集和辅助查询集，各个有标签的动物样本图片作为支撑图像构建辅助支撑集，各个无标签的动物样本图片作为查询图像构建辅助查询集；
小样本任务通常包含两部分数据，一部分是用来学习的有标签的支撑集(supportset)，另一部分是待分类的无标签的查询集(query set)。在小样本深度学习中为了获得对每个任务快速学习的能力，通常还有一个大的辅助集(auxiliary set)，通常支撑集和查询集的实际类别是一致的，而辅助集的类别和它们是不相交的。小样本学习中支撑集通常有C类图像，每类图像有K张。小样本学习任务的重点是如何通过在辅助集上的进行学习，使得在面对新的任务时，仅仅通过支撑集的少量样本，就能够完成对查询集的识别和分类。因此，本发明构建无人机藏羚羊小样本库时处理构建用来学习的有标签的藏羚羊支撑集(support set)和待分类的无标签的藏羚羊查询集(query set)外，还需要构建一个辅助集(auxiliary set)。具体步骤如下：
辅助集(auxiliary set)构建，为了通过不同任务的学习提高小样本条件下模型的识别精度，本发明中动物样本图片通过以下方式获得，1)通过在网络环境中收集动物样本图片，并利用Labelimg工具标识动物样本图片对应的标签，标签即为动物样本图片对应的动物种类。2)为了使得辅助集(auxiliary set)训练的模型能够更好的适用于无人机动物的识别，本发明，除了采用网络环境中收集动物样本图片外，也将一些已有动物样本图片与无人机正射影像进行图像合成生成合成动物数据图像，然后利用Labelimg工具标识合成动物数据图像对应的标签，标签即为动物种类。
无人机藏羚羊小样本库构建，该样本库的构建适用Labelimg工具部分标识无人机图像中的动物样本，然后将采集的包含藏羚羊的无人机正射影像划分为有标签的支持图像S和待分类的无标签的查询图像Q，各个支持图像S构成藏羚羊支撑集(support set)，各个查询图像Q构成藏羚羊查询集(query set)。
步骤三、具有上下文感知融合与对比分析的小样本深度学习模型的构建。
为了克服检测目标个体较小且与背景难以区分的问题，本发明设计具有上下文感知融合与对比分析的小样本深度学习模型。该方法采用基于度量的小样本深度学习方法。基于度量的方法通常在辅助集上采用情景训练的方式，即辅助集中同样划分为辅助支撑集(support set)和辅助查询集(query set)，使用大量相似任务来训练网络，使得网络能够学习到快速适应新任务的能力。注意，在模型训练时每个查询图像都至少包含一个与支持图像类标签相关的对象实例，即在辅助集中，支持图像的标签的类别包含查询图像的标签的类别。
孪生神经网络是一类包含两个或多个相同子网络和决策网神经网络架构。在孪生网络中，两个分支网络共享完全相同的体系结构和权重。孪生网络中的子网络具有相同的参数和权重，在网络训练过程中参数是在子网上共同进行更新。孪生神经网络有助于发现不同结构之间的相似性和相关性。孪生网络中的子网共享权重意味着训练需要更少的参数，也就是需要更少的数据并且不容易过拟合。因此，孪生网络框架是实现基于度量小样本学习的一个重要网络架构。Faster R-CNN网络已被证明具有较强的目标检测能力，因此本发明的专利采集基于Faster R-CNN网络架构进行设计。在特征提取方面,由于ResNet网络架构较强的特征累积传递、防止梯度弥散能力。因此，ResNet-50被用于作为特征提取主干网络。
下面将详细介绍本发明网络模型的主要结构和组成。本发明的小样本深度学习模型主要包括：特征提取子模块、特征融合RPN(region proposal network)子模块、上下文感知特征融合子模块、以及度量子模块。本发明的小样本深度学习模型算法流程是，首先输入支持图像S和查询图像Q，利用特征提取子模块进行特征提取，获得支持图像特征F(S)和查询图像特征F(Q)。然后，将支持图像特征F(S)和查询图像特征F(Q)作为特征融合RPN(region proposal network)子模块的输入，分别输出查询图像候选框和融合查询图像特征的支持图像特征F(Sq)，并使用上下文感知特征融合子模块提取查询图像候选框固定的尺寸特征F(Qbox)，然后将融合查询图像特征的支持图像特征F(Sq)与查询图像候选框固定的尺寸特征F(Qbox)输入到度量子模块，拼接后计算每个检测目标的标签的类别信息概率值。最后，根据每个检测目标的标签的类别信息概率值，确定出检测目标。
特征提取子模块：主要采用权值共享的ResNet-50孪生神经网络提取输入的支持图像S和查询图像Q对应的支持图像特征F(S)和查询图像特征F(Q)，不具有类别区分功能的中级别特征更有助于对对象的共有特征的学习和比对。特征提取子模块中主要采用预训练ResNet-50孪生神经网络中前三层的残差模块(ResBlocks)分别提取查询图像和支持图像中的中级别特征作为支持图像特征F(S)和查询图像特征F(Q)。
特征融合RPN(区域选取网络，region proposal network)子模块：由于当支撑集(support set)和查询集(query set)差别过大造成检测框质量差，难以有效的从前景与背景相似的图像中检测出有效目标。因此，为了提高模型的监测精度，本发明在网络结构中设计了一个特征融合RPN子模块，特征融合RPN子模块通过采用如公式1和2的方式对支持图像S和查询图像Q进行特征融合操作，分别获得了融合查询图像特征的支持图像特征F(Sq)和融合支持图像特征的查询图像特征F(Qs)。在通过公式1和2融合后，特征融合RPN(regionproposal network)子模块中，将F(Qs)作为RPN(region proposal network)的输入生成查询图像候选框，其中RPN仍旧采用Faster RCNN网络中的RPN结构实现查询图像候选框的生成。而融合查询图像特征的支持图像特征F(Sq)直接作为度量子模块输入实现特征参考比对。
其中，F指的图像特征，F(Sq)为融合查询图像特征的支持图像特征，F(Qs)为融合支持图像特征的查询图像特征，F(S)、F(Q)分别为基于ResNet-50孪生神经网络的特征提取子模块提取的支持图像特征和查询图像特征，
为通道注意力融合函数。为了更高效地计算通道注意力特征，压缩特征图的空间维度，采用平均池化方法，学习目标物体程度信息，最大池化学习物体的判别性特征。MLP为多层感知机函数，AvgPool为平均池化函数，MaxPool为最大池化函数，σ为Sigmoid激活函数。
上下文感知特征融合子模块：特征融合RPN(region proposal network)子模块产生的候选框大小各不相同。而利用全连接层进行目标识别需要每次输入的特征尺度必须相同一致，在Faster RCNN网络通过利用RoI Align(兴趣区域对齐)的方式实现特征的对齐。而在Faster RCNN网络的RoI Align的原始实现中，只通过池化操作生成了一个8*8分辨率大小的特征，这种单一8*8分辨率大小特征会导致训练过程中信息损失。对于一般的检测，这种信息损失会由于数据量大得以弥补，但在小目标、小样本场景下这种问题难以弥补，这使得随着尺度变化，模型难以泛化到新类识别中。为了克服上述问题，本发明设计了上下文感知特征融合子模块，上下文感知特征融合子模块不再使用单一的8*8分辨率进行特征对齐，而是先选择4*4，8*8，12*12三种分辨率，分别对查询图像候选框进行平行池化后再进行特征对齐，获得4*4分辨率的特征、8*8分辨率的特征和12*12分辨率的特征，然后再将4*4分辨率的特征和12*12分辨率的特征重新采样到8*8分辨率的特征，将上述两个重采样的8*8分辨率的特征和上述直接采样的8*8分辨率的特征进行特征融合生成查询图像候选框固定的尺寸特征F(Qbox)，进而克服信息的损失。
度量子模块：将上下文感知特征融合子模块获取的查询图像候选框固定的尺寸特征F(Qbox)和特征融合RPN(region proposal network)子模块生成的融合查询图像特征的支持图像特征F(Sq)进行相似度计算，作为检测目标(检测动物)的参考标准，实现检测目标的标签分类和精确的检测目标边框的生成。其首先将输入的融合查询图像特征的支持图像特征F(Sq)和查询图像候选框固定尺寸特征F(Qbox)进行特征拼接，然后使用三层MLP网络进行特征融合比对，最后利用一个softmax层作为分类器给出每个检测目标的标签的类别信息概率值。
步骤四、具有上下文感知融合与对比分析的小样本深度学习模型损失函数设计
常规基于Faster R-CNN进行训练。网络的损失函数有三部分构成:RPN网络损失、分类分支损失和边框回归损失。RPN模块的损失取决于RPN的输出是否区分了前景和背景，分类器是交叉熵损失，回归器是平滑L1损失。在分类器上使用余弦相似性计算loss，效果比交叉熵要好。与基于交叉熵损失的分类器相比，基于余弦相似性的分类器中使用的实例级特征归一化有助于减少类内方差，提高检测精度，尤其是当训练实例数量较少时。具有上下文感知融合与对比分析的小样本深度学习模型损失函数如公式(3)所示。
L＝Lrpn+Lcls+Lreg (3)
其中，L代表具有上下文感知融合与对比分析的小样本深度学习模型的总损失，Lrpn指的特征融合RPN(region proposal network)子模块的RPN损失，其仍旧采用原始Faster RCNN模型中的损失函数，Lcls指的度量子模块分类器损失，采用的是余弦相似性损失，Lreg指的度量子模块检测目标边框的回归损失，采用的是平滑L1损失。
步骤五、模型实现，利用辅助集中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练，再利用无人机藏羚羊小样本库中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练，获得训练完成并用于小目标识别的具有上下文感知融合与对比分析的小样本深度学习模型。
TensorFlow框架具有异构分布式学习、跨平台等优势，本发明采用TensorFlow框架实现本发明的算法。其中，算法构建与实验采用Python+TensorFlow的框架。在具有上下文感知融合与对比分析的小样本深度学习模型损失函数优化方面，拟采用随机梯度下降(SGD)优化算法对具有上下文感知融合与对比分析的小样本深度学习模型损失函数进行优化，建立具有上下文感知融合与对比分析的小样本深度学习模型。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (8)
1.一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，包括以下步骤：
步骤1、在藏羚羊活动区域，通过无人机采集无人机正射影像；
步骤2、构建辅助集和无人机藏羚羊小样本库，无人机藏羚羊小样本库包括藏羚羊支撑集和藏羚羊查询集，各个有标签的无人机正射影像作为支撑图像构建藏羚羊支撑集，各个无标签的无人机正射影像作为查询图像构建藏羚羊查询集，辅助集包括辅助支撑集和辅助查询集，各个有标签的动物样本图片作为支撑图像构建辅助支撑集，各个无标签的动物样本图片作为查询图像构建辅助查询集；
步骤3、构建具有上下文感知融合与对比分析的小样本深度学习模型；
步骤4、确定具有上下文感知融合与对比分析的小样本深度学习模型的损失函数；
步骤5、利用辅助集中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练，再利用无人机藏羚羊小样本库中的支持图像和查询图像对具有上下文感知融合与对比分析的小样本深度学习模型进行训练。
2.根据权利要求1所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述具有上下文感知融合与对比分析的小样本深度学习模型包括特征提取子模块、特征融合RPN子模块、上下文感知特征融合子模块、以及度量子模块，
特征提取子模块，用于输入支持图像S和查询图像Q，进行特征提取，输出支持图像特征F(S)和查询图像特征F(Q)到特征融合RPN子模块；
特征融合RPN子模块，用于根据支持图像特征F(S)和查询图像特征F(Q)，提取查询图像候选框和融合查询图像特征的支持图像特征F(Sq)并输出到上下文感知特征融合子模块；
上下文感知特征融合子模块，用于提取查询图像候选框固定的尺寸特征F(Qbox)，将融合查询图像特征的支持图像特征F(Sq)与查询图像候选框固定的尺寸特征F(Qbox)输入到度量子模块；
度量子模块，用于将输入的融合查询图像特征的支持图像特征F(Sq)和查询图像候选框固定尺寸特征F(Qbox)进行特征拼接，计算检测目标的标签的类别信息概率值。
3.根据权利要求2所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述特征提取子模块中采用预训练ResNet-50孪生神经网络提取输入的支持图像S和查询图像Q对应的支持图像特征F(S)和查询图像特征F(Q)。
4.根据权利要求3所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述特征融合RPN子模块通过以下公式对支持图像S和查询图像Q进行特征融合操作，获得融合查询图像特征的支持图像特征F(Sq)和融合支持图像特征的查询图像特征F(Qs)，
其中，F(Sq)为融合查询图像特征的支持图像特征，F(Qs)为融合支持图像特征的查询图像特征，
为通道注意力融合函数，MLP为多层感知机函数，AvgPool为平均池化函数，MaxPool为最大池化函数，σ为Sigmoid激活函数。
5.根据权利要求4所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述特征融合RPN子模块中，融合支持图像特征的查询图像特征F(Qs)输入到Faster RCNN网络中的RPN结构实现查询图像候选框的生成。
6.根据权利要求5所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述上下文感知特征融合子模块中，先选择4*4，8*8，12*12三种分辨率，分别对查询图像候选框进行平行池化后再进行特征对齐，获得4*4分辨率的特征、8*8分辨率的特征和12*12分辨率的特征，然后再将4*4分辨率的特征和12*12分辨率的特征重新采样到8*8分辨率的特征，将上述两个重采样的8*8分辨率的特征和上述直接采样的8*8分辨率的特征进行特征融合生成查询图像候选框固定的尺寸特征F(Qbox)。
7.根据权利要求6所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述度量子模块中，首先将输入的融合查询图像特征的支持图像特征F(Sq)和查询图像候选框固定尺寸特征F(Qbox)进行特征拼接，然后使用三层MLP网络进行特征融合比对，最后利用一个softmax层作为分类器给出每个检测目标的标签的类别信息概率值。
8.根据权利要求7所述一种基于无人机遥感的小样本小目标藏羚羊智能识别方法，其特征在于，所述具有上下文感知融合与对比分析的小样本深度学习模型损失函数基于以下公式：
L＝Lrpn+Lcls+Lreg
其中，L为具有上下文感知融合与对比分析的小样本深度学习模型的总损失，Lrpn为特征融合RPN子模块的RPN损失，Lcls为度量子模块分类器损失，Lreg为度量子模块检测目标边框的回归损失。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151602.6A CN116310894B (zh) | 2023-02-22 | 2023-02-22 | 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310151602.6A CN116310894B (zh) | 2023-02-22 | 2023-02-22 | 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116310894A true CN116310894A (zh) | 2023-06-23 |
| CN116310894B CN116310894B (zh) | 2024-04-16 |
Family
ID=86835289
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310151602.6A Active CN116310894B (zh) | 2023-02-22 | 2023-02-22 | 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116310894B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315576A (zh) * | 2023-09-22 | 2023-12-29 | 中交第二公路勘察设计研究院有限公司 | 一种在监控视频中识别指定人员的方法 |
Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6171779B1 (en) * | 1996-07-12 | 2001-01-09 | University Of Medicine & Dentistry Of New Jersey | HMGI proteins in cancer |
| EP3070643A1 (fr) * | 2015-03-20 | 2016-09-21 | Thales | Procédé et système de reconnaissance d'objets par analyse de signaux d'image numérique d'une scène |
| CN106778835A (zh) * | 2016-11-29 | 2017-05-31 | 武汉大学 | 融合场景信息和深度特征的遥感图像机场目标识别方法 |
| CN108197591A (zh) * | 2018-01-22 | 2018-06-22 | 北京林业大学 | 一种基于多特征融合迁移学习的鸟类个体识别方法 |
| CN108509860A (zh) * | 2018-03-09 | 2018-09-07 | 西安电子科技大学 | 基于卷积神经网络的可可西里藏羚羊检测方法 |
| CN109359576A (zh) * | 2018-10-08 | 2019-02-19 | 北京理工大学 | 一种基于图像局部特征识别的动物数量估计方法 |
| US10304154B2 (en) * | 2017-04-24 | 2019-05-28 | Intel Corporation | Coordination and increased utilization of graphics processors during inference |
| CN109902596A (zh) * | 2019-01-31 | 2019-06-18 | 交通运输部天津水运工程科学研究所 | 一种开阔地区大群野生动物无人机调查方法 |
| CN110414600A (zh) * | 2019-07-27 | 2019-11-05 | 西安电子科技大学 | 一种基于迁移学习的空间目标小样本识别方法 |
| CN112861720A (zh) * | 2021-02-08 | 2021-05-28 | 西北工业大学 | 基于原型卷积神经网络的遥感图像小样本目标检测方法 |
| CN113011528A (zh) * | 2021-04-28 | 2021-06-22 | 中国电子科技集团公司第五十四研究所 | 一种基于上下文和级联结构的遥感图像小目标检测方法 |
| CN113592878A (zh) * | 2021-06-29 | 2021-11-02 | 中国人民解放军陆军工程大学 | 一种紧致的多尺度视频前景分割方法 |
| CN113627501A (zh) * | 2021-07-30 | 2021-11-09 | 武汉大学 | 一种基于迁移学习的动物图像种类识别方法 |
| CN113639154A (zh) * | 2021-08-13 | 2021-11-12 | 北京圣海亚诺信息技术有限公司 | 一种基于小样本深度学习的野生动物目标监控识别设备 |
| CN114154568A (zh) * | 2021-11-22 | 2022-03-08 | 北京华能新锐控制技术有限公司 | 用于野生保护动物识别的细粒度图像分类方法及装置 |
| CN114841257A (zh) * | 2022-04-21 | 2022-08-02 | 北京交通大学 | 一种基于自监督对比约束下的小样本目标检测方法 |
| CN114898238A (zh) * | 2022-05-09 | 2022-08-12 | 中南大学 | 一种野生动物遥感识别方法及装置 |
| CN114913379A (zh) * | 2022-06-08 | 2022-08-16 | 西安电子科技大学 | 基于多任务动态对比学习的遥感图像小样本场景分类方法 |
| CN115003827A (zh) * | 2020-01-29 | 2022-09-02 | 密歇根大学董事会 | 分析物检测 |
| CN115049944A (zh) * | 2022-06-02 | 2022-09-13 | 北京航空航天大学 | 一种基于多任务优化的小样本遥感图像目标检测方法 |
| CN115100532A (zh) * | 2022-08-02 | 2022-09-23 | 北京卫星信息工程研究所 | 小样本遥感图像目标检测方法和系统 |
| CN115393618A (zh) * | 2022-08-24 | 2022-11-25 | 安徽大学 | 基于改进YOLOv5的小样本野生动物检测方法 |
| CN115690541A (zh) * | 2022-11-01 | 2023-02-03 | 四川大学 | 提高小样本、小目标识别准确率的深度学习训练方法 |
-
2023
- 2023-02-22 CN CN202310151602.6A patent/CN116310894B/zh active Active
Patent Citations (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6171779B1 (en) * | 1996-07-12 | 2001-01-09 | University Of Medicine & Dentistry Of New Jersey | HMGI proteins in cancer |
| EP3070643A1 (fr) * | 2015-03-20 | 2016-09-21 | Thales | Procédé et système de reconnaissance d'objets par analyse de signaux d'image numérique d'une scène |
| CN106778835A (zh) * | 2016-11-29 | 2017-05-31 | 武汉大学 | 融合场景信息和深度特征的遥感图像机场目标识别方法 |
| US10304154B2 (en) * | 2017-04-24 | 2019-05-28 | Intel Corporation | Coordination and increased utilization of graphics processors during inference |
| CN108197591A (zh) * | 2018-01-22 | 2018-06-22 | 北京林业大学 | 一种基于多特征融合迁移学习的鸟类个体识别方法 |
| CN108509860A (zh) * | 2018-03-09 | 2018-09-07 | 西安电子科技大学 | 基于卷积神经网络的可可西里藏羚羊检测方法 |
| CN109359576A (zh) * | 2018-10-08 | 2019-02-19 | 北京理工大学 | 一种基于图像局部特征识别的动物数量估计方法 |
| CN109902596A (zh) * | 2019-01-31 | 2019-06-18 | 交通运输部天津水运工程科学研究所 | 一种开阔地区大群野生动物无人机调查方法 |
| CN110414600A (zh) * | 2019-07-27 | 2019-11-05 | 西安电子科技大学 | 一种基于迁移学习的空间目标小样本识别方法 |
| CN115003827A (zh) * | 2020-01-29 | 2022-09-02 | 密歇根大学董事会 | 分析物检测 |
| CN112861720A (zh) * | 2021-02-08 | 2021-05-28 | 西北工业大学 | 基于原型卷积神经网络的遥感图像小样本目标检测方法 |
| CN113011528A (zh) * | 2021-04-28 | 2021-06-22 | 中国电子科技集团公司第五十四研究所 | 一种基于上下文和级联结构的遥感图像小目标检测方法 |
| CN113592878A (zh) * | 2021-06-29 | 2021-11-02 | 中国人民解放军陆军工程大学 | 一种紧致的多尺度视频前景分割方法 |
| CN113627501A (zh) * | 2021-07-30 | 2021-11-09 | 武汉大学 | 一种基于迁移学习的动物图像种类识别方法 |
| CN113639154A (zh) * | 2021-08-13 | 2021-11-12 | 北京圣海亚诺信息技术有限公司 | 一种基于小样本深度学习的野生动物目标监控识别设备 |
| CN114154568A (zh) * | 2021-11-22 | 2022-03-08 | 北京华能新锐控制技术有限公司 | 用于野生保护动物识别的细粒度图像分类方法及装置 |
| CN114841257A (zh) * | 2022-04-21 | 2022-08-02 | 北京交通大学 | 一种基于自监督对比约束下的小样本目标检测方法 |
| CN114898238A (zh) * | 2022-05-09 | 2022-08-12 | 中南大学 | 一种野生动物遥感识别方法及装置 |
| CN115049944A (zh) * | 2022-06-02 | 2022-09-13 | 北京航空航天大学 | 一种基于多任务优化的小样本遥感图像目标检测方法 |
| CN114913379A (zh) * | 2022-06-08 | 2022-08-16 | 西安电子科技大学 | 基于多任务动态对比学习的遥感图像小样本场景分类方法 |
| CN115100532A (zh) * | 2022-08-02 | 2022-09-23 | 北京卫星信息工程研究所 | 小样本遥感图像目标检测方法和系统 |
| CN115393618A (zh) * | 2022-08-24 | 2022-11-25 | 安徽大学 | 基于改进YOLOv5的小样本野生动物检测方法 |
| CN115690541A (zh) * | 2022-11-01 | 2023-02-03 | 四川大学 | 提高小样本、小目标识别准确率的深度学习训练方法 |
Non-Patent Citations (2)
| Title |
|---|
| 林润超等: "基于注意力机制和元特征二次重加权的小样本目标检测", 《 计算机应用》, 6 April 2022 (2022-04-06), pages 3025 - 3032 * |
| 林润超等: "基于注意力机制和元特征二次重加权的小样本目标检测", 《计算机应用》, 6 April 2022 (2022-04-06), pages 3025 - 3032 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117315576A (zh) * | 2023-09-22 | 2023-12-29 | 中交第二公路勘察设计研究院有限公司 | 一种在监控视频中识别指定人员的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116310894B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Deep learning for unmanned aerial vehicle-based object detection and tracking: A survey | |
| CN112861720B (zh) | 基于原型卷积神经网络的遥感图像小样本目标检测方法 | |
| CN106096561B (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
| Hoogendoorn et al. | Extracting microscopic pedestrian characteristics from video data | |
| CN111126399B (zh) | 一种图像检测方法、装置、设备及可读存储介质 | |
| CN108764308A (zh) | 一种基于卷积循环网络的行人重识别方法 | |
| CN112101278A (zh) | 基于k近邻特征提取和深度学习的宅基地点云分类方法 | |
| CN102609720B (zh) | 一种基于位置校正模型的行人检测方法 | |
| Sun et al. | Vehicle reidentification using multidetector fusion | |
| CN104615986B (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN109871875B (zh) | 一种基于深度学习的建筑物变化检测方法 | |
| CN107025440A (zh) | 一种基于新型卷积神经网络的遥感图像道路提取方法 | |
| CN109766936A (zh) | 基于信息传递和注意力机制的图像变化检测方法 | |
| CN110111338A (zh) | 一种基于超像素时空显著性分割的视觉跟踪方法 | |
| CN106023257A (zh) | 一种基于旋翼无人机平台的目标跟踪方法 | |
| CN110084165A (zh) | 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法 | |
| CN107194343B (zh) | 基于位置相关的卷积与Fire模型的红绿灯检测方法 | |
| CN116310894B (zh) | 一种基于无人机遥感的小样本小目标藏羚羊智能识别方法 | |
| CN112613668A (zh) | 基于人工智能的景区危险区域管控方法 | |
| CN112465854A (zh) | 基于无锚点检测算法的无人机跟踪方法 | |
| CN109583499A (zh) | 一种基于无监督sdae网络的输电线路背景目标分类系统 | |
| Shangzheng | A traffic sign image recognition and classification approach based on convolutional neural network | |
| Wei | Small object detection based on deep learning | |
| CN112101132B (zh) | 一种基于图嵌入模型和度量学习的交通状况预测方法 | |
| Yan et al. | The research of building earthquake damage object-oriented change detection based on ensemble classifier with remote sensing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |