CN116486285A - 一种基于类别掩码蒸馏的航拍图像目标检测方法 - Google Patents
一种基于类别掩码蒸馏的航拍图像目标检测方法 Download PDFInfo
- Publication number
- CN116486285A CN116486285A CN202310249360.4A CN202310249360A CN116486285A CN 116486285 A CN116486285 A CN 116486285A CN 202310249360 A CN202310249360 A CN 202310249360A CN 116486285 A CN116486285 A CN 116486285A
- Authority
- CN
- China
- Prior art keywords
- class
- mask
- network
- teacher
- distillation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004821 distillation Methods 0.000 title claims abstract description 85
- 238000001514 detection method Methods 0.000 title abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 83
- 230000004913 activation Effects 0.000 claims abstract description 37
- 230000006870 function Effects 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 29
- 238000012360 testing method Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 8
- 239000013598 vector Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000000873 masking effect Effects 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 abstract 1
- 238000013508 migration Methods 0.000 abstract 1
- 230000005012 migration Effects 0.000 abstract 1
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013140 knowledge distillation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 238000012821 model calculation Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
- G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
- G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Remote Sensing (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于类别掩码蒸馏的航拍图像目标检测方法，包括预训练教师网络、学生网络和类别掩码蒸馏模块，类别掩码蒸馏模块负责提取预训练教师网络和学生网络各自的多尺度特征层及对应Softmax激活函数层的预测分数，利用多尺度特征层和预测分数分别产生预训练教师网络和学生网络各个类别的激活映射区域，设置阈值抑制对各个类别有负影响的区域，通过类别掩码蒸馏损失实现教师—学生网络对所有类别的有效区域的迁移，为加大对不易检测类别的学习，设置一个动态权重来加大对难样本学习的惩罚。本发明能够实现对指定类别有效区域的蒸馏，提高对难样本的学习，在教师网络的指导下提升学生网络的检测性能和泛化能力。
Description
技术领域
本发明涉及无人机巡检应用技术，具体而言，涉及一种基于类别掩码蒸馏的航拍图像目标检测方法。
背景技术
大多数检测模型是以牺牲模型计算量和检测速度为代价来提高检测精度，计算复杂度高，内存占用大，需要高性能处理器才能运行，这些大模型在无人机巡检等小型平台的实际工程中是难以部署应用的。
为解决上述问题，知识蒸馏、网络剪枝、量化等一些模型轻量化的算法不断涌现，在实际应用中取得了一定的效果。目前，在目标检测领域，已开始逐渐使用知识蒸馏的方法将大模型学习到的特征提取规则迁移到小模型中，提升轻量化目标检测网络的性能和精度。最早的知识蒸馏算法主要针对于图像分类问题，但目标检测是一个比图像分类更复杂的任务，导致很多蒸馏方法在目标检测模型上无法成功应用。目标检测的网络结构相对复杂，尤其是对于双阶段的目标检测网络而言，同时目标检测模型所依赖的特征也比较复杂。如何设计更有效地蒸馏机制来促使学生网络高效地习得教师网络的知识成为了亟待研究的一个重要问题。
发明内容
本发明提出了一种基于类别掩码蒸馏的航拍图像目标检测方法，能够使学生网络能更好地模拟教师网络对重点信息的关注和学习能力，提高模型检测的性能，减少模型运算量。
实现本发明的技术解决方案为：一种基于类别掩码蒸馏的航拍图像目标检测方法，步骤如下：
步骤S1、利用小型无人机平台采集M幅航拍图像，1000<M<10000，对上述M幅航拍图像逐张统一尺寸，将统一尺寸后的航拍图像按照7:3的比例随机划分为训练数据集和测试数据集，对训练数据集进行数据增强构成教师—学生网络训练数据集，转入步骤S2。
步骤S2、将教师—学生网络训练数据集输入教师网络，利用教师—学生网络训练数据集对教师网络进行预训练，得到预训练教师网络，转入步骤S3。
步骤S3、利用预训练教师网络、学生网络和类别掩码蒸馏模块构建教师—学生网络，转入步骤S4。
步骤S4、利用教师—学生网络训练数据集对教师—学生网络进行训练，提取预训练教师网络和学生网络各自的多尺度特征层、及各多尺度特征层对应Softmax激活函数层的输出预测分数，并将上述多尺度特征层及预测分数一并送入类别掩码蒸馏模块，基于类别掩码蒸馏模块产生的类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络，转入步骤S5。
步骤S5、将测试数据集输入教师—学习网络中训练好的学生网络，输出测试数据集中所有目标在图像中的位置和所属类别，测试训练好的学生网络的准确率。
本方案与现有技术方案相比，本发明的显著优点在于：
(1)相比现有的航拍图像目标检测方法，本发明提出了一种基于类别掩码蒸馏方法的航拍图像目标检测算法，该方法可以显著减少模型的参数量和计算量，减少内存，相比于原始的学生检测网络，能够在不增加参数量的情况下提高学生模型的检测精度，同时提高了学生模型的鲁棒性和泛化能力。
(2)本发明提出了使用类别掩码蒸馏模块来迫使学生网络模仿教师网络的有效蒸馏区域，针对类别k，学生网络能更好地关注对类别k有正影响的特征，抑制背景特征，并依次对所有类别的重点区域进行蒸馏。此方法按照类别进行不同区域的蒸馏，提高模型对不同类别的重点信息的关注能力，增强了学生模型的检测能力。
(3)在类别激活蒸馏模块中，本发明设置了一个动态权重来缩放不同类别的损失，促使网络关注难类别的学习，降低对简单类别的学习能力，提高学生网络的检测性能。
附图说明
图1为本发明基于类别掩码蒸馏的航拍图像目标检测方法的流程示意图。
图2为基于类别掩码蒸馏的航拍图像目标检测方法的教师—学生网络模型图。
图3为本发明提供的类别掩码蒸馏模块中的单个掩码模块图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明实施方式作进一步地详细描述。
结合图1～图3，本发明所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，包括以下步骤：
步骤S1、利用小型无人机平台采集M幅航拍图像，1000<M<10000，对上述M幅航拍图像逐张统一尺寸，将统一尺寸后的航拍图像按照7:3的比例随机划分为训练数据集和测试数据集，对训练数据集进行数据增强构成教师—学生网络训练数据集。
所述的数据增强操作包括随机翻转和图像缩放，转入步骤S2。
步骤S2、将教师—学生网络训练数据集输入教师网络，利用教师—学生网络训练数据集对教师网络进行预训练，得到预训练教师网络，转入步骤S3。
步骤S3、利用预训练教师网络、学生网络和类别掩码蒸馏模块构建教师—学生网络。
所述预训练教师网络和学生网络的特征提取网络包括但不局限于经典网络结构中的ResNet、VGGNet、Mobilenet等，预训练教师网络的网络规模数据均大于学生网络，转入步骤S4。
步骤S4、利用教师—学生网络训练数据集对教师—学生网络进行训练，提取预训练教师网络和学生网络各自的多尺度特征层、及各多尺度特征层对应Softmax激活函数层的输出预测分数，并将上述多尺度特征层及预测分数一并送入类别掩码蒸馏模块，基于类别掩码蒸馏模块产生的类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络，具体如下：
步骤S4.1、将预训练教师网络和学生网络各自提取的多尺度特征层及其对应Softmax激活函数层的输出预测分数一起送入类别掩码蒸馏模块，所述类别掩码蒸馏模块包括四个相同结构的并行掩码模块。
所述的单个掩码模块的输入为预训练教师网络和学生网络各自的单尺度特征层及其对应Softmax激活函数层的输出预测分数。
步骤S4.2、单个掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图，对各类别激活特征图进行处理得到预训练教师网络和学生网络各自的各类别掩码图。
其中，预训练教师网络和学生网络的单类别激活特征图的获取方法如下：
假设获取类别为k，提取预训练教师网络的单尺度特征层Tt，大小为W×H×C，W、H、C分别表示Tt的宽度、高度和维度，预训练教师网络单尺度特征层Tt输出的类别k的预测分数为sk，sk反向传播获取梯度信息，特征层Tt的第n通道针对类别k的梯度值为：
沿宽度W和高度H方向对反向传播的梯度执行全局平均池化，获得特征层Tt第n通道针对类别k的神经元重要性权重/>计算公式为：
其中，表示特征层Tt第n通道的类别k在空间位置(i,j)处的梯度值，将特征层Tt各通道特征/>乘以重要性权重/>加权线性组合得到类别k激活特征图/>公式为：
同理，学生网络的单尺度特征层St及其对应的输出预测分数产生类别k激活特征图为M'k St，公式为：
其中，表示特征层St第n通道类别k的重要性权重，/>表示特征层St的第n通道。
预训练教师网络单尺度特征层Tt产生的类别k激活特征图为学生网络单尺度特征层St产生的类别k激活特征图为/>设置阈值sk抑制对类别k有负影响的特征，预训练教师网络激活特征图/>在空间(p,q)处针对类别k的有效特征掩码为：
学生网络激活特征图在空间(p,q)处针对类别k的有效特征掩码为：
即为预训练教师网络单尺度特征层Tt获取的类别k掩码图，/>为学生网络单尺度特征层St获取的类别k掩码图，阈值sk的设定在实验中进行验证。按照同样的方法获取所有类别的类别掩码图。
针对类别k，学生网络能更好地关注对类别k有正影响的特征，抑制背景特征，并依次对所有类别的重点区域进行蒸馏。此方法按照类别进行不同区域的蒸馏，提高模型对不同类别的重点信息的关注能力，增强了学生模型的检测能力。
步骤S4.3、基于L2损失函数计算单个掩码模块中单个类别的掩码蒸馏损失，对得到的单个类别损失执行相加操作，获取单个模块的掩码蒸馏损失：
为预训练教师网络单尺度特征层Tt获取的类别k的掩码图，/>为学生网络单尺度特征层St获取的类别k的掩码图，类别k的蒸馏损失为：
其中，L2损失函数是对X、Y两个向量求空间欧氏距离的函数，计算公式为：xi、yi分别表示向量X、Y的每一项，共n项；获取预训练教师网络和学生网络各自所有类别的掩码图，添加一个动态权重来对不同类别的学习能力进行约束，加大对难类别的惩罚，针对所有类别的蒸馏损失为：
其中，βk表示控制类别k损失计算比例的参数，K表示目标的类别总数。
其中所述的添加一个动态权重来对不同类别的学习能力进行约束，加大对难类别的惩罚，促使网络关注难类别的学习，降低对简单类别的学习能力，提高学生网络的检测性能，其动态权重的设置方法如下：
Numk表示类别k在教师—学生网络训练数据集中的总数量，areak表示教师—学生网络训练数据集所有类别为k的目标的平均面积。
步骤S4.4、对四个并行处理的掩码模块获取的掩码蒸馏损失进行相加操作，得到类别掩码蒸馏损失：
t表示掩码模块的序号。
步骤S4.5、基于类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络：
基于类别掩码蒸馏损失对学生网络的网络参数进行更新，学生网络的损失函数包括三部分：原始分类损失Lcls、原始回归损失Lreg和类别掩码蒸馏损在失Lmask，构建的学生网络的总损失函数如下：
L＝Lcls+Lreg+λLmask
λ为类别掩码蒸馏损失在学生网络总损失中所占的比重，基于构建的总损失函数完成对学生网络的迭代训练，最终获得训练好的学生网络，转入步骤S5。
通过上述步骤后，可以显著减少模型的参数量和计算量，减少内存，相比于原始的学生检测网络，能够在不增加参数量的情况下提高学生模型的检测精度，同时提高了学生模型的鲁棒性和泛化能力。
步骤S5、将测试数据集输入教师—学习网络中训练好的学生网络，输出测试数据集中所有目标在图像中的位置和所属类别，测试训练好的学生网络的准确率。
实施例1
本发明所述的基于类别掩码蒸馏的航拍图像目标检测方法，步骤如下：
步骤S1、利用小型无人机平台采集M幅航拍图像，1000<M<10000，对上述M幅航拍图像逐张统一尺寸，将统一尺寸后的航拍图像按照7:3的比例随机划分为训练数据集和测试数据集，对训练数据集进行数据增强构成教师—学生网络训练数据集，数据增强操作包括图像缩放和随机翻转，图像缩放比例按照原始图像的10％向内缩放和向外缩放，随机翻转的角度在-20°到20°，航拍图像的目标类别数量为5类。
步骤S2、将教师—学生网络训练数据集输入教师网络，利用教师—学生网络训练数据集对教师网络进行预训练，得到预训练教师网络。
步骤S3、利用预训练教师网络、学生网络和类别掩码蒸馏模块构建教师—学生网络，预训练教师网络的特征提取部分采用深层的ResNet101网络，学生网络的特征提取部分采用浅层的ResNet18网络。
步骤S4、利用教师—学生网络训练数据集对教师—学生网络进行训练，提取预训练教师网络和学生网络各自的多尺度特征层及其对应Softmax激活函数层的输出预测分数并将其一并送入类别掩码蒸馏模块，提取的多尺度特征层为4层，所述的类别掩码蒸馏模块包括四个结构相同的掩码模块。对于每个掩码模块，首先获取预训练教师网络的5个类别的激活特征图，经过阈值处理后得到5个类别的类别掩码图，其次按照同样的方式获取学生网络5个类别的类别掩码图，阈值的设置在实验中进行验证，取值范围一般为0-0.2；利用获取的预训练教师网络的5个类别掩码图和学生网络获取的5个类别掩码图以对应类别的方式通过L2损失函数计算出单个类别的掩码蒸馏损失；对5个类别的掩码蒸馏损失乘以不同的比例后执行相加操作，获取单个模块的掩码蒸馏损失。将四个模块的掩码蒸馏损失进行相加得到类别掩码蒸馏损失，基于类别掩码蒸馏损失去更新学生网络的网络参数，最终获得训练好的学生网络。
步骤S5、将测试数据集输入教师—学习网络中训练好的学生网络，输出测试数据集中所有目标在图像中的位置和所属类别，测试训练好的学生网络的准确率。
Claims (8)
1.一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，包括以下步骤：
步骤S1、利用小型无人机平台采集M幅航拍图像，1000<M<10000，对上述M幅航拍图像逐张统一尺寸，将统一尺寸后的航拍图像按照7:3的比例随机划分为训练数据集和测试数据集，对训练数据集进行数据增强构成教师—学生网络训练数据集，转入步骤S2；
步骤S2、将教师—学生网络训练数据集输入教师网络，利用教师—学生网络训练数据集对教师网络进行预训练，得到预训练教师网络，转入步骤S3；
步骤S3、利用预训练教师网络、学生网络和类别掩码蒸馏模块构建教师—学生网络，转入步骤S4；
步骤S4、利用教师—学生网络训练数据集对教师—学生网络进行训练，提取预训练教师网络和学生网络各自的多尺度特征层、及各多尺度特征层对应Softmax激活函数层的输出预测分数，并将上述多尺度特征层及预测分数一并送入类别掩码蒸馏模块，基于类别掩码蒸馏模块产生的类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络，转入步骤S5；
步骤S5、将测试数据集输入教师—学习网络中训练好的学生网络，输出测试数据集中所有目标在图像中的位置和所属类别，测试训练好的学生网络的准确率。
2.根据权利要求1所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4中，利用教师—学生网络训练数据集对教师—学生网络进行训练，提取预训练教师网络和学生网络各自的多尺度特征层、及各多尺度特征层对应Softmax激活函数层的输出预测分数，并将上述多尺度特征层及预测分数一并送入类别掩码蒸馏模块，基于类别掩码蒸馏模块产生的类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络，具体如下：
步骤S4.1、将预训练教师网络和学生网络各自提取的多尺度特征层及其对应Softmax激活函数层的输出预测分数一起送入类别掩码蒸馏模块，所述类别掩码蒸馏模块包括四个相同结构的并行掩码模块；
步骤S4.2、掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图，对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络分别对应的各类别掩码图；
步骤S4.3、基于L2损失函数计算单个掩码模块中单个类别的掩码蒸馏损失，对得到的单个类别损失执行相加操作，获取单个模块的掩码蒸馏损失；
步骤S4.4、对四个并行处理的掩码模块获取的掩码蒸馏损失进行相加操作，得到类别掩码蒸馏损失；
步骤S4.5、基于类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络。
3.根据权利要求2所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4.2中，单个掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图，对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络的各类别掩码图，单类别激活特征图的获取方法如下：
假设获取类别为k，提取预训练教师网络的单尺度特征层Tt，大小为W×H×C，W、H、C分别表示Tt的宽度、高度和维度，预训练教师网络中的单尺度特征层Tt输出的类别k的预测分数为sk，sk反向传播获取梯度信息，特征层Tt的第n通道针对类别k的梯度值为：
沿宽度W和高度H方向对反向传播的梯度执行全局平均池化，获得特征层Tt第n通道针对类别k的神经元重要性权重/>计算公式为：
其中，表示特征层Tt第n通道的类别k在空间位置(i,j)处的梯度值，将特征层Tt各通道特征/>乘以重要性权重/>加权线性组合得到类别k激活特征图/>公式为：
同理，学生网络的单尺度特征层St及其对应的输出预测分数产生类别k激活特征图为公式为：
其中，表示特征层St第n通道类别k的重要性权重，/>表示特征层St的第n通道。
4.根据权利要求2所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4.2中，单个掩码模块负责获取预训练教师网络和学生网络各自的各类别激活特征图，对获取的各类别激活特征图进行处理得到预训练教师网络和学生网络的各类别掩码图，单个类别掩码图的获取方法如下：
假设获取类别为k，预训练教师网络单尺度特征层Tt产生的类别k激活特征图为学生网络单尺度特征层St产生的类别k激活特征图为/>设置阈值sk抑制对类别k有负影响的特征，预训练教师网络激活特征图/>在空间(p,q)处针对类别k的有效特征掩码/>为：
学生网络激活特征图在空间(p,q)处针对类别k的有效特征掩码/>为：
即为预训练教师网络单尺度特征层Tt获取的类别k掩码图，/>为学生网络单尺度特征层St获取的类别k掩码图。
5.根据权利要求2所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4.3、基于L2损失函数计算单个掩码模块中单个类别的掩码蒸馏损失，对得到的单个类别损失执行相加操作，获取单个模块的掩码蒸馏损失，具体如下：
为预训练教师网络单尺度特征层Tt获取的类别k的掩码图，/>为学生网络单尺度特征层St获取的类别k的掩码图，类别k的蒸馏损失为：
其中，L2损失函数是对X向量、Y向量求空间欧氏距离的函数，计算公式为：xi表示向量X的每一项，共n项；yi表示向量Y的每一项，共n项；获取预训练教师网络和学生网络各自所有类别的掩码图，添加一个动态权重来对不同类别的学习能力进行约束，加大对难类别的惩罚，针对所有类别的蒸馏损失/>为：
其中，βk表示控制类别k损失计算比例的参数，K表示目标的类别总数。
6.根据权利要求5所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，添加一个动态权重来对不同类别的学习能力进行约束，加大对难类别的惩罚，其动态权重的设置方法如下：
Numk表示类别k在教师—学生网络训练数据集中的总数量，areak表示教师—学生网络训练数据集所有类别为k的目标的平均面积。
7.根据权利要求2所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4.4中，对四个并行处理的掩码模块获取的掩码蒸馏损失进行相加操作，得到类别掩码蒸馏损失，类别掩码蒸馏损失的计算公式为：
其中，t表示掩码模块的序号。
8.根据根据权利要求2所述的一种基于类别掩码蒸馏的航拍图像目标检测方法，其特征在于，步骤S4.5中，基于类别掩码蒸馏损失对学生网络的网络参数进行更新，最终获得教师—学生网络中训练好的学生网络，具体操作如下：
基于类别掩码蒸馏损失对学生网络的网络参数进行更新，学生网络的损失函数包括三部分：原始分类损失Lcls、原始回归损失Lreg和类别掩码蒸馏损在失Lmask，构建的学生网络的总损失函数如下：
L＝Lcls+Lreg+λLmask
λ为类别掩码蒸馏损失在学生网络总损失中所占的比重，基于构建的总损失函数完成对学生网络的迭代训练，最终获得训练好的学生网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249360.4A CN116486285B (zh) | 2023-03-15 | 2023-03-15 | 一种基于类别掩码蒸馏的航拍图像目标检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310249360.4A CN116486285B (zh) | 2023-03-15 | 2023-03-15 | 一种基于类别掩码蒸馏的航拍图像目标检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116486285A true CN116486285A (zh) | 2023-07-25 |
| CN116486285B CN116486285B (zh) | 2024-03-19 |
Family
ID=87214532
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310249360.4A Active CN116486285B (zh) | 2023-03-15 | 2023-03-15 | 一种基于类别掩码蒸馏的航拍图像目标检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116486285B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253123A (zh) * | 2023-08-11 | 2023-12-19 | 中国矿业大学 | 一种基于中间层特征辅助模块融合匹配的知识蒸馏方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428191A (zh) * | 2020-03-12 | 2020-07-17 | 五邑大学 | 基于知识蒸馏的天线下倾角计算方法、装置和存储介质 |
| CN112529178A (zh) * | 2020-12-09 | 2021-03-19 | 中国科学院国家空间科学中心 | 一种适用于无预选框检测模型的知识蒸馏方法及系统 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| CN113936295A (zh) * | 2021-09-18 | 2022-01-14 | 中国科学院计算技术研究所 | 基于迁移学习的人物检测方法和系统 |
| CN114049513A (zh) * | 2021-09-24 | 2022-02-15 | 中国科学院信息工程研究所 | 一种基于多学生讨论的知识蒸馏方法和系统 |
| KR20220055970A (ko) * | 2020-10-27 | 2022-05-04 | 연세대학교 산학협력단 | 사전 정보 학습 기반 영상 업스케일링 장치 및 방법 |
| CN114782776A (zh) * | 2022-04-19 | 2022-07-22 | 中国矿业大学 | 基于MoCo模型的多模块知识蒸馏方法 |
| CN115271064A (zh) * | 2022-07-20 | 2022-11-01 | 杭州一知智能科技有限公司 | 一种基于鉴别器思想的文本蒸馏方法、系统和存储介质 |
| WO2023024406A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 数据蒸馏的方法、装置、设备、存储介质、计算机程序及产品 |
-
2023
- 2023-03-15 CN CN202310249360.4A patent/CN116486285B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111428191A (zh) * | 2020-03-12 | 2020-07-17 | 五邑大学 | 基于知识蒸馏的天线下倾角计算方法、装置和存储介质 |
| KR20220055970A (ko) * | 2020-10-27 | 2022-05-04 | 연세대학교 산학협력단 | 사전 정보 학습 기반 영상 업스케일링 장치 및 방법 |
| CN112529178A (zh) * | 2020-12-09 | 2021-03-19 | 中国科学院国家空间科学中心 | 一种适用于无预选框检测模型的知识蒸馏方法及系统 |
| CN113610126A (zh) * | 2021-07-23 | 2021-11-05 | 武汉工程大学 | 基于多目标检测模型无标签的知识蒸馏方法及存储介质 |
| WO2023024406A1 (zh) * | 2021-08-27 | 2023-03-02 | 上海商汤智能科技有限公司 | 数据蒸馏的方法、装置、设备、存储介质、计算机程序及产品 |
| CN113936295A (zh) * | 2021-09-18 | 2022-01-14 | 中国科学院计算技术研究所 | 基于迁移学习的人物检测方法和系统 |
| CN114049513A (zh) * | 2021-09-24 | 2022-02-15 | 中国科学院信息工程研究所 | 一种基于多学生讨论的知识蒸馏方法和系统 |
| CN114782776A (zh) * | 2022-04-19 | 2022-07-22 | 中国矿业大学 | 基于MoCo模型的多模块知识蒸馏方法 |
| CN115271064A (zh) * | 2022-07-20 | 2022-11-01 | 杭州一知智能科技有限公司 | 一种基于鉴别器思想的文本蒸馏方法、系统和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| JUN WANG, ETAL.: "Learning from a Lightweight Teacher for Efficient Knowledge Distillation", ARXIV, pages 1 - 11 * |
| 罗杨等: "基于特征解耦的SAR图像舰船检测蒸馏", 计算机工程与应用, pages 1 - 13 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117253123A (zh) * | 2023-08-11 | 2023-12-19 | 中国矿业大学 | 一种基于中间层特征辅助模块融合匹配的知识蒸馏方法 |
| CN117253123B (zh) * | 2023-08-11 | 2024-05-17 | 中国矿业大学 | 一种基于中间层特征辅助模块融合匹配的知识蒸馏方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116486285B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919108B (zh) | 基于深度哈希辅助网络的遥感图像快速目标检测方法 | |
| CN110569738B (zh) | 基于密集连接网络的自然场景文本检测方法、设备和介质 | |
| CN106845430A (zh) | 基于加速区域卷积神经网络的行人检测与跟踪方法 | |
| CN111681178B (zh) | 一种基于知识蒸馏的图像去雾方法 | |
| CN110647802A (zh) | 基于深度学习的遥感影像舰船目标检测方法 | |
| CN114155244B (zh) | 缺陷检测方法、装置、设备及存储介质 | |
| CN113177560A (zh) | 一种普适性轻量级深度学习车辆检测方法 | |
| CN112164054A (zh) | 基于知识蒸馏的图像目标检测方法和检测器及其训练方法 | |
| CN113469088A (zh) | 一种无源干扰场景下的sar图像舰船目标检测方法及系统 | |
| CN116486285B (zh) | 一种基于类别掩码蒸馏的航拍图像目标检测方法 | |
| CN116110022B (zh) | 基于响应知识蒸馏的轻量化交通标志检测方法及系统 | |
| CN112364974B (zh) | 一种基于激活函数改进的YOLOv3算法 | |
| CN113205103A (zh) | 一种轻量级的文身检测方法 | |
| CN112329771A (zh) | 一种基于深度学习的建筑材料样本识别方法 | |
| CN111310820A (zh) | 基于交叉验证深度cnn特征集成的地基气象云图分类方法 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN113963333A (zh) | 一种基于改进yolof模型的交通标志牌检测方法 | |
| CN117474168A (zh) | 一种基于注意力机制的CNN-BiGRU的船舶轨迹预测方法及装置 | |
| CN113269717A (zh) | 基于遥感图像的建筑物检测方法及装置 | |
| CN112329830A (zh) | 一种基于卷积神经网络和迁移学习的无源定位轨迹数据识别方法及系统 | |
| CN117408947A (zh) | 一种基于深度学习的多标签桥梁表面缺陷检测方法及系统 | |
| CN116597275A (zh) | 一种基于数据增强的高速移动目标识别方法 | |
| CN116977712A (zh) | 基于知识蒸馏的道路场景分割方法、系统、设备及介质 | |
| Liu et al. | GGRNet: Global graph reasoning network for salient object detection in optical remote sensing images | |
| CN115273814A (zh) | 伪语音检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |