CN114359742B - 一种优化小目标检测的加权损失函数计算方法 - Google Patents

一种优化小目标检测的加权损失函数计算方法 Download PDF

Info

Publication number
CN114359742B
CN114359742B CN202210274690.4A CN202210274690A CN114359742B CN 114359742 B CN114359742 B CN 114359742B CN 202210274690 A CN202210274690 A CN 202210274690A CN 114359742 B CN114359742 B CN 114359742B
Authority
CN
China
Prior art keywords
frame
target
target detection
size
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210274690.4A
Other languages
English (en)
Other versions
CN114359742A (zh
Inventor
李忠涛
袁朕鑫
赵帅
赵富
马涛
严冬
姜琳琳
肖鑫
刘圣勇
程文轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Jishi Information Technology Co ltd
Original Assignee
University of Jinan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Jinan filed Critical University of Jinan
Priority to CN202210274690.4A priority Critical patent/CN114359742B/zh
Publication of CN114359742A publication Critical patent/CN114359742A/zh
Application granted granted Critical
Publication of CN114359742B publication Critical patent/CN114359742B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明提出了一种优化小目标检测的加权损失函数计算方法，涉及图像识别目标检测领域。本发明在基于深度学习目标检测模型的基础上，针对小目标检测精度低的挑战，结合目标检测模型的输出预测框和真实框的匹配，对目标检测模型的预测框损失计算函数采用加权惩罚，提高目标检测模型对小目标的学习能力，提高目标检测的精度。相比增加模型参数和增强特征融合等方法，本发明在不提升模型参数量和不影响模型推理速度的条件下，提高图像识别中目标检测的精度，具备高效性。

Description

一种优化小目标检测的加权损失函数计算方法
技术领域
本发明涉及图像识别目标检测领域，具体为一种优化小目标检测的加权损失函数计算方法。
背景技术
目标检测作为计算机视觉领域重要的问题之一。根据大量预定义的类别和目标实例，确定输入图像中目标实例的分类和位置。其中基于深度学习的方法在目标检测领域发挥着很大的作用，但随着大规模数据集的分类和定位任务的难度提升，小目标检测问题等，使得目标检测网络的层数越来越深，这会增加模型的参数量和提高模型的推理时间，不利于边缘嵌入式设备的移植和部署，因此模型参数的训练学习极其重要。损失函数的定义直接影响了模型参数的学习效果，目标检测的任务包括分类和定位，因此针对分类和定位的有效损失计算，有助于提高模型参数训练的结果，特别是对于目标实例的位置定位。
发明内容
本发明的目的在于提供一种优化小目标检测的加权损失函数计算方法，为实现上述目的，本发明提供如下技术方案：一种优化小目标检测的加权损失函数计算方法，包括以下步骤。
S1、准备目标检测数据集。
S2、数据集分批次输入目标检测网络中。
S3、获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、中心点纵坐标cy、宽w和高h。
S4、根据预测框的预测结果确定匹配真实框的尺寸。
S5、以匹配真实框的尺寸作为预测框和真实框的交并比即IoU计算的动态加权参数。
S6、将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，训练结束得到小目标检测鲁棒性的模型参数。
优选的，步骤S1中目标检测数据集，其特征在于，包括：所需目标检测数据集分别在小、中和大目标的尺寸范围内均有分布或数据集中包含尺寸在小目标尺寸范围内的目标或物体。
优选的，步骤S2中数据集分批次输入目标检测网络中，其特征在于：所述目标检测网络以卷积或Transformer模块为主干的特征提取视觉模型，包含特征提取部分、特征融合部分以及检测头输出部分。训练过程中，数据集采用分批次训练。
优选的，步骤S3中获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、中心点纵坐标cy、宽w和高h，其特征在于，包括：
S31、首先通过由卷积或Transformer模块组成的主干特征提取网络提取特征；
S32、经过多个分辨率特征层的特征融合，将高语义特征和浅层定位信息融合；
S33、通过检测头输出对目标框的回归预测结果cx、cy、w、h。
优选的，步骤S4中根据预测框的预测结果确定匹配真实框的尺寸，其特征在于，包括：
S41、判断真实框的中心点坐标cx、cy所在gridcell中是否包括对目标物体预测结果，即检测头输出目标框的中心点cx、cy是否在该grid cell中；
S42、若在则当前检测头的预测目标框和真实框相匹配，则确定对应真实框的尺寸X，由于真实框对应的宽w′和高h′是二维属性，采用相乘并开平方的方式化为一维X表示的方式，有利于加权处理：
Figure GDA0003740228110000021
其中，w′和h′分别是真实框对应的宽和高。
优选的，步骤S5中以匹配真实框的尺寸作为预测框和真实框的交并比即IoU计算的动态加权参数，其特征在于，包括：
S51、真实框的尺寸按小、中和大目标进行划分，划分范围为：
下界(px) 上界(px)
小目标 0 32×32
中目标 32×32 96×96
大目标 96×96 输入尺寸
其中，尺寸划分分别以32×32和96×96为界，划分小、中和大目标三类尺寸；
S52、根据真实框尺寸大小分布，采用exp函数将加权值映射至[0，1]范围内，计算公式为：
f(X)＝e-αX
其中，
X：真实框的尺寸
Figure GDA0003740228110000022
α：针对尺寸缩放的超参数；
S53、预测框回归损失计算公式为：
Figure GDA0003740228110000023
Lossreg＝∑(1+f(X))(1-IoU)
其中，
A：预测框区域；
B：真实框区域；
IoU：预测框和真实框的交并比即交集和并集的比值。
优选的，步骤S6中将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，其特征在于，在不改变目标检测网络分类损失计算方法的基础上，将目标框的回归损失优化为根据预测框匹配真实框的尺寸自适应加权回归损失。
与现有技术相比，本发明的有益效果如下：在目标检测网络训练的过程中，有利于提高参数对小目标的学习能力，通过对IoU采用根据目标尺寸加权的方式，动态调整对网络在训练过程中对目标检测中小目标学习的惩罚。在不提高网络结构参数量的基础上，提高网络结构参数学习的鲁棒性。仅在训练过程中略微增加计算复杂度，并不增加模型参数推理的耗时，提升目标检测网络对小目标检测的精度。
附图说明
图1为本发明回归框损失函数加权计算流程图。
图2为本发明指数函数不同超参数α加权曲线图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1和图2，本发明提供一种优化小目标检测的加权损失函数计算方法技术方案：一种优化小目标检测的加权损失函数计算方法，包括以下步骤。
S1、准备目标检测数据集。
S2、数据集分批次输入目标检测网络中。
S3、获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、中心点纵坐标cy、宽w和高h。
S4、根据预测框的预测结果确定匹配真实框的尺寸。
S5、以匹配真实框的尺寸作为预测框和真实框的交并比即IoU计算的动态加权参数。
S6、将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，训练结束得到小目标检测鲁棒性的模型参数。
本实施例，进一步的，步骤S1中准备目标检测数据集，其特征在于，包括：所需目标检测数据集分别在小、中和大目标的尺寸范围内均有分布或数据集中包含尺寸在小目标尺寸范围内的目标或物体。
本实施例，进一步的，步骤S2中数据集分批次输入目标检测网络中，其特征在于：所述目标检测网络以卷积或Transformer模块为主干的特征提取模型，包含特征提取部分、特征融合部分以及检测头输出部分。训练过程中，数据集采用分批次训练。
本实施例，进一步的，步骤S3中获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、cy、宽w和高h，其特征在于，包括：
S31、首先通过由卷积或Transformer模块组成的主干特征提取网络提取特征；
S32、经过多个分辨率特征层的特征融合，将高语义特征和浅层定位信息融合；
S33、通过检测头输出，检测头输出经过卷积层或全连接层输出分类、框回归的结果，此计算方法主要关注的是预测框结果的输出，其中预测框的位置信息为cx、cy、w、h。
本实施例，进一步的，步骤S4中根据预测框的预测结果确定匹配真实框的尺寸，其特征在于，包括：
S41、判断真实框的中心点坐标cx、cy所在gridcell中是否包括对目标物体预测结果，即检测头输出目标框的中心点cx、cy是否在该grid cell中；
S42、若在则当前检测头的预测目标框和真实框相匹配，则确定对应真实框的尺寸，由于真实框对应的宽和高是二维属性，采用相乘并开平方的方式化为一维表示的方式，有利于对损失函数的加权处理：
Figure GDA0003740228110000041
其中，w′和h′分别是真实框对应的宽和高。
本实施例，进一步的，步骤S5中以匹配真实框的尺寸作为预测框和真实框的交并比即IoU计算的动态加权参数，其特征在于，包括：
S51、真实框的尺寸按小、中和大目标进行划分，划分范围为：
下界(px) 上界(px)
小目标 0 32×32
中目标 32×32 96×96
大目标 96×96 输入尺寸
其中，尺寸划分分别以32×32和96×96为界，划分小、中和大目标三类尺寸；
S52、根据真实框尺寸大小分布，采用exp函数将加权值映射至[0，1]范围内，计算公式为：
f(X)＝e-αX
其中，
X：真实框的尺寸
Figure GDA0003740228110000051
此处将函数f(X)＝e-αX的自变量X设为真实框的尺寸的主要有两个因素：一是选择与预测框匹配的真实框的尺寸作为加权函数的输入有助于模型参数的学习；二是在使用预测框作为函数自变量X时，受训练初期预测框输出不稳定的影响，会导致梯度爆炸；
α：针对尺寸缩放的超参数，超参数的选择应尽可能使函数f(X)＝e-αX在小目标、中目标和大目标上体现出差异性，以提高对损失函数加权的有效性；在此处分别选择α的值为0.02、0.03、0.04，针对不同的取值，函数f(X)＝e-αX在不同的尺寸X下的区分度如图2所示。其中当α的值为0.02时，对目标的区分度最高，更有利于模型对不同目标的感知能力，尤其是对小目标检测的能力；
S53、预测框回归损失计算公式为：
Figure GDA0003740228110000052
Lossreg＝∑(1+f(X))(1-IoU)
其中，
A：预测框区域；
B：真实框区域；
IoU：预测框和真实框的交并比即交集和并集的比值。
本实施例，进一步的，步骤S6中将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，其特征在于，包括：在不改变目标检测网络分类损失计算方法的基础上，将目标框的回归损失优化为根据预测框匹配真实框的尺寸自适应加权回归损失。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.一种优化小目标检测的损失函数计算方法，应用于图像识别和目标检测，其特征在于，包括以下步骤：
S1、准备目标检测数据集；
S2、数据集分批次输入目标检测网络中；
S3、获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、中心点纵坐标cy、宽w和高h；
S4、根据预测框的预测结果确定匹配真实框的尺寸；
S5、以匹配真实框的尺寸作为预测框和真实框的交并比即IoU计算的动态加权参数；
S51、真实框的尺寸按小、中和大目标进行划分，划分范围分别是尺寸为大于0且小于32×32的小目标、尺寸为大于32×32且小于96×96的中目标和尺寸为大于96×96的大目标，其中，尺寸划分分别以32×32和96×96为界，划分小、中和大目标三类尺寸；
S52、根据真实框尺寸大小分布，采用exp函数将加权值f(X)映射至[0,1]范围内,计算公式为：
f(X)＝e-αX
其中，
X：真实框的尺寸
Figure FDA0003740228100000011
w′和h′分别是真实框对应的宽和高；
α：针对尺寸缩放的超参数；
S53、预测框回归损失计算公式为：
Figure FDA0003740228100000012
Lossreg＝∑(1+f(X))(1-IoU)
其中，
A：预测框区域；
B：真实框区域；
IoU：预测框和真实框的交并比即交集和并集的比值；
S6、将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，训练结束得到小目标检测鲁棒性的模型参数。
2.根据权利要求1所述的优化小目标检测的损失函数计算方法，步骤S1中准备目标检测数据集，其特征在于，包括：所需目标检测数据集分别在小、中和大目标的尺寸范围内均有分布或数据集中包含尺寸在小目标尺寸范围内的目标或物体。
3.根据权利要求1所述的优化小目标检测的损失函数计算方法，步骤S2中数据集分批次输入目标检测网络中，其特征在于，包括：所述目标检测网络以卷积或Transformer模块为主干的特征提取视觉模型，包含特征提取部分、特征融合部分以及检测头输出部分，训练过程中，数据集采用分批次训练。
4.根据权利要求1所述的优化小目标检测的损失函数计算方法，步骤S3中获取目标检测网络对目标框的预测结果cx、cy、w、h，分别为目标预测框中心点横坐标cx、中心点纵坐标cy、宽w和高h，其特征在于，包括：
S31、首先通过由卷积或Transformer模块组成的主干特征提取网络提取特征；
S32、经过多个分辨率特征层的特征融合，将高语义特征和浅层定位信息融合；
S33、通过检测头输出对目标框的回归预测结果cx、cy、w、h。
5.根据权利要求1所述的优化小目标检测的损失函数计算方法，步骤S4中根据预测框的预测结果确定匹配真实框的尺寸，其特征在于，包括：
S41、判断真实框的中心点坐标cx、cy所在grid cell中是否包括对目标物体预测结果，即检测头输出目标框的中心点cx、cy是否在该grid cell中；
S42、若在则当前检测头的预测目标框和真实框相匹配，则确定对应真实框的尺寸X，由于真实框对应的宽w′和高h′是二维属性，采用相乘并开平方的方式化为一维X表示的方式，有利于加权处理：
Figure FDA0003740228100000021
其中，w′和h′分别是真实框对应的宽和高。
6.根据权利要求1所述的优化小目标检测的损失函数计算方法，步骤S6中将加权后的IoU计算方法替换原损失函数中IoU损失计算方法，其特征包括：在不改变目标检测网络分类损失计算方法的基础上，将目标框的回归损失优化为根据预测框匹配真实框的尺寸自适应加权回归损失。
CN202210274690.4A 2022-03-21 2022-03-21 一种优化小目标检测的加权损失函数计算方法 Active CN114359742B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210274690.4A CN114359742B (zh) 2022-03-21 2022-03-21 一种优化小目标检测的加权损失函数计算方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210274690.4A CN114359742B (zh) 2022-03-21 2022-03-21 一种优化小目标检测的加权损失函数计算方法

Publications (2)

Publication Number Publication Date
CN114359742A CN114359742A (zh) 2022-04-15
CN114359742B true CN114359742B (zh) 2022-09-16

Family

ID=81094345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210274690.4A Active CN114359742B (zh) 2022-03-21 2022-03-21 一种优化小目标检测的加权损失函数计算方法

Country Status (1)

Country Link
CN (1) CN114359742B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998701B (zh) * 2022-07-13 2022-11-18 山东智驱力人工智能科技有限公司 基于像素特征匹配的目标检测损失优化方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN111062413A (zh) * 2019-11-08 2020-04-24 深兰科技（上海）有限公司 一种道路目标检测方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110428002A (zh) * 2019-07-31 2019-11-08 岳喜社 一种目标检测方法及目标检测网络
CN111160407B (zh) * 2019-12-10 2023-02-07 重庆特斯联智慧科技股份有限公司 一种深度学习目标检测方法及系统
CN111428765B (zh) * 2020-03-17 2022-08-30 武汉大学 一种基于全局卷积、局部深度卷积融合的目标检测方法
CN112560876B (zh) * 2021-02-23 2021-05-11 中国科学院自动化研究所 解耦度量的单阶段小样本目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503112A (zh) * 2019-08-27 2019-11-26 电子科技大学 一种增强特征学习的小目标检测及识别方法
CN111062413A (zh) * 2019-11-08 2020-04-24 深兰科技（上海）有限公司 一种道路目标检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114359742A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
CN110930454B (zh) 一种基于边界框外关键点定位的六自由度位姿估计算法
CN110335290B (zh) 基于注意力机制的孪生候选区域生成网络目标跟踪方法
CN110598029B (zh) 基于注意力转移机制的细粒度图像分类方法
CN111242208A (zh) 一种点云分类方法、分割方法及相关设备
CN112446379B (zh) 一种动态大场景自适应智能处理方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN109800698A (zh) 基于深度网络的图标检测方法
CN110533022B (zh) 一种目标检测方法、系统、装置及存储介质
CN112418108B (zh) 一种基于样本重加权的遥感图像多类目标检测方法
CN109492636B (zh) 基于自适应感受野深度学习的目标检测方法
CN112381030B (zh) 一种基于特征融合的卫星光学遥感图像目标检测方法
CN112861919A (zh) 一种基于改进YOLOv3-tiny的水下声纳图像目标检测方法
CN109886267A (zh) 一种基于最优特征选择的低对比度图像显著性检测方法
CN114359742B (zh) 一种优化小目标检测的加权损失函数计算方法
CN112613504A (zh) 一种声呐水下目标检测方法
CN111178133A (zh) 一种基于剪枝深度模型用于自然场景图像文本识别方法
CN112149664A (zh) 一种优化分类与定位任务的目标检测方法
CN114998701B (zh) 基于像素特征匹配的目标检测损失优化方法
CN110796183A (zh) 基于相关性引导的判别学习的弱监督细粒度图像分类算法
CN106600613A (zh) 基于嵌入式gpu的改进lbp红外目标检测方法
CN113392854A (zh) 一种图像纹理特征提取分类方法
Jin et al. Defect identification of adhesive structure based on DCGAN and YOLOv5
US20240203081A1 (en) Processing method for image recognition model and related product
CN113505712B (zh) 基于类平衡损失函数的卷积神经网络的海面溢油检测方法
CN108491883B (zh) 一种基于条件随机场的显著性检测优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221118

Address after: No. 160, Shanda Road, Lixia District, Jinan, Shandong 250014

Patentee after: Shandong Jishi Information Technology Co.,Ltd.

Address before: No. 336, nanxinzhuang Road, Shizhong District, Jinan City, Shandong Province

Patentee before: University of Jinan

TR01 Transfer of patent right