CN113537244B - 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 - Google Patents
一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 Download PDFInfo
- Publication number
- CN113537244B CN113537244B CN202110842686.9A CN202110842686A CN113537244B CN 113537244 B CN113537244 B CN 113537244B CN 202110842686 A CN202110842686 A CN 202110842686A CN 113537244 B CN113537244 B CN 113537244B
- Authority
- CN
- China
- Prior art keywords
- target detection
- image
- training
- learning rate
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 295
- 244000144972 livestock Species 0.000 title claims abstract description 53
- 238000012549 training Methods 0.000 claims abstract description 157
- 238000000605 extraction Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 30
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 230000006870 function Effects 0.000 claims description 18
- 238000013135 deep learning Methods 0.000 claims description 12
- 230000008014 freezing Effects 0.000 claims description 12
- 238000007710 freezing Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 11
- 238000011478 gradient descent method Methods 0.000 claims description 10
- 238000010792 warming Methods 0.000 claims description 8
- 238000013526 transfer learning Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 238000010257 thawing Methods 0.000 claims description 4
- 230000001960 triggered effect Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 2
- 238000011161 development Methods 0.000 description 6
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000013508 migration Methods 0.000 description 4
- 230000005012 migration Effects 0.000 description 4
- 230000020595 eating behavior Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于轻量化YOLOv4的家畜图像目标检测方法及装置。所述方法,包括:对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将所述训练图像收集在训练图像集中;将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型;利用所述训练图像集迭代训练所述目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果。本发明能够在提高检测精度的同时提高检测速度,进一步实现高效准确地目标检测。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于轻量化YOLOv4的家畜图像目标检测方法及装置。
背景技术
为了实现生猪等家畜的健康养殖,逐渐应用计算机视觉技术对家畜图像进行目标检测,以关注家畜的生活状态。基于深度学习的目标检测方法可分为两阶段的目标检测方法和单阶段的目标检测方法。两阶段的目标检测方法是基于区域建议的目标检测与识别算法,主要包括Fast R-CNN、Faster R-CNN和R-FCN,这类方法虽然检测精度较高,但计算成本也很高,检测速度较慢。单阶段的目标检测方法是基于回归的目标检测与识别算法,主要包括YOLO和SSD,这类方法虽然检测速度较高,但检测精度较低。而对于李菊霞等人的基于YOLOv4的猪只饮食行为检测的研究,其提出了基于YOLOv4的猪只饮食行为检测模型在不同视角、不同遮挡程度以及不同光照下均能准确预测猪只饮食行为,其平均检测精度(mAP)达到95.5%,分别高于YOLOv3、Tiny-YOLOv4模型2.8、3.6个百分点,比Faster R-CNN模型高1.5个百分点,比RetinaNet、SSD模型高5.9、5个百分点,但考虑到YOLOv4构建的目标检测模型的参数数量和计算量较大,难以提高检测速度。
因此,现有的目标检测方法难以在提高检测精度的同时提高检测速度,无法进一步实现高效准确地进行目标检测。
发明内容
为了克服现有技术的缺陷,本发明提供一种基于轻量化YOLOv4的家畜图像目标检测方法及装置,能够在提高检测精度的同时提高检测速度,进一步实现高效准确地进行目标检测。
为了解决上述技术问题,第一方面,本发明一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测方法,包括:
对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将所述训练图像收集在训练图像集;
将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型;
利用所述训练图像集迭代训练所述目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;
将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果。
进一步地,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:
将YOLOv4的卷积层替换为深度可分离卷积层。
进一步地,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
进一步地,所述利用所述训练图像集迭代训练所述目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,具体为:
采用迁移学习方法,利用所述训练图像集对预训练后的所述目标检测模型进行微调,得到微调后的目标检测模型;
采用随机梯度下降法,利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到所述训练后的目标检测模型;
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
进一步地,在所述将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果之前,还包括:
利用深度学习框架对所述最优目标检测模型进行初始化。
第二方面,本发明一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测装置,包括:
图像处理模块,用于对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将所述训练图像收集在训练图像集;
模型构建模块,用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型;
模型训练模块,用于利用所述训练图像集迭代训练所述目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;
目标检测模块,用于将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果。
进一步地,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:
将YOLOv4的卷积层替换为深度可分离卷积层。
进一步地,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
进一步地,所述利用所述训练图像集迭代训练所述目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,具体为:
采用迁移学习方法,利用所述训练图像集对预训练后的所述目标检测模型进行微调,得到微调后的目标检测模型;
采用随机梯度下降法,利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到所述训练后的目标检测模型;
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
进一步地,在所述将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果之前,还包括:
利用深度学习框架对所述最优目标检测模型进行初始化。
本发明的实施例,具有如下有益效果:
通过对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将训练图像收集在训练图像集,将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,将检测图像输入最优目标检测模型,得到检测图像的目标检测结,完成对家畜图像的目标检测。相比于现有技术,本发明的实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型,通过训练得到的最优目标检测模型对家畜图像进行目标检测,能够在提高检测精度的同时提高检测速度,进一步实现高效准确地进行目标检测。
附图说明
图1为本发明第一实施例中的一种基于轻量化YOLOv4的家畜图像目标检测方法的流程示意图;
图2为本发明第一实施例中的YOLOv4的网络结构图;
图3为本发明第一实施例中的mobilenetv3的网络结构图;
图4为本发明第二实施例的一种基于轻量化YOLOv4的家畜图像目标检测方法的数据流图;
图5为本发明第三实施例的一种基于轻量化YOLOv4的家畜图像目标检测装置的结构示意图。
具体实施方式
下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,文中的步骤编号,仅为了方便具体实施例的解释,不作为限定步骤执行先后顺序的作用。
第一实施例:
如图1所示,第一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测方法,包括步骤S1~S4:
S1、对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将训练图像收集在训练图像集;
S2、将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型;
S3、利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;
S4、将检测图像输入最优目标检测模型,得到检测图像的目标检测结果。
作为示例性地,在步骤S1中,直接获取家畜图像,或者从采集视频中提取家畜图像,比如对采集视频每间隔25帧进行切割处理得到分辨率1280×720大小的家畜图像,采用labelImg标注工具标注家畜图像中的待检测目标,即家畜目标,使用的标注是PASCAL VOC格式的XML文件,并对已标注的家畜图像进行图像裁剪、图像翻转、图像缩放等预处理,得到训练图像,将训练图像收集在训练图像集。
在步骤S2中,YOLOv4的网络结构如图2所示,可分为三个部分,分别是主干特征提取网络Backbone(对应图2上的CSPdarknet53)、加强特征提取网络(对应图2上的SPP和PANet)和预测网络YoloHead。第一部分主干特征提取网络的功能是进行初步的特征提取,利用主干特征提取网络可以获得三个初步的有效特征层,第二部分加强特征提取网络的功能是进行加强的特征提取,利用加强特征提取网络可以对三个初步的有效特征层进行特征融合,提取出更好的特征,获得三个更有效的有效特征层,第三部分预测网络的功能是利用更有效的有效特征层预测目标检测结果。考虑到在三个部分中,第一部分和第二部分更容易修改,利用mobilenetv3网络替代YOLOv4的主干特征提取网络CSPdarknet53进行特征提取。mobilenetv3的网络结构如图3所示,mobilenetv3网络可用于分类,其主干部分的作用是进行特征提取,获得mobilenet网络对应的三个有效特征层,利用这三个有效特征层替换原来YOLOv4主干特征提取网络CSPdarknet53的有效特征层,即将三个初步的有效特征层相同shape的特征层进行加强特征提取,便可以将mobilenetv3替换进YOLOv4当中了。mobilenetv3使用了特殊的bneck结构,它综合了以下四个特点:1、mobilenetv2的具有线性瓶颈的逆残差结构(the inverted residual with linear bottleneck),即先利用1x1卷积进行升维度,再进行后续操作,并具有残差边;2、mobilenetv1的深度可分离卷积(depthwise separable convolutions),在输入1x1卷积进行升维度后,进行3x3深度可分离卷积;3、轻量级的注意力模型,这个注意力机制的作用方式是调整每个通道的权重;4、使用h-swish替代swish函数,在结构中使用h-swish激活函数替代swish函数,能够减少运算量,提高性能。
在步骤S3中,设置目标检测模型的训练参数,利用训练图像集迭代训练目标检测模型直至训练次数达到预设迭代次数,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
在步骤S4中,对检测图像进行图像裁剪、图像翻转、图像缩放等预处理,使检测图像与训练图像的尺寸等参数保持一致,将预处理后的检测图像输入最优目标检测模型,得到检测图像的目标检测结果。
本实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型,通过训练得到的最优目标检测模型对家畜图像进行目标检测,有效减少了YOLOv4的参数量和计算量,能够在提高检测精度的同时提高检测速度,进一步实现高效准确地进行目标检测,且能够应用到存储和计算资源都非常有限的移动端设备或嵌入式芯片中,实现在移动端设备或嵌入式芯片上高效运行。
在优选的实施例当中,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:将YOLOv4的卷积层替换为深度可分离卷积层。
作为示例性地,将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,并将YOLOv4的卷积层替换为深度可分离卷积层,构建轻量化YOLOv4的目标检测模型。
本实施例使用深度可分离卷积层替代YOLOv4中的普通卷积层,能够进一步减少YOLOv4的参数量,有利于提高检测速度。
在优选的实施例当中,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
本实施例通过在将标注有待检测目标的家畜图像收集在训练图像集之前,对家畜图像进行图像裁剪、图像翻转、图像缩放中任一种或多种图像处理,不仅能够保证训练图像的尺寸等参数符合要求,还能增加训练图像的数据量以及随机性,有利于训练出鲁棒性更强的目标检测模型。
在优选的实施例当中,所述利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,具体为:采用迁移学习方法,利用训练图像集对预训练后的目标检测模型进行微调,得到微调后的目标检测模型;采用随机梯度下降法,利用训练图像集对微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到训练后的目标检测模型;从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
作为示例性地,先在公共数据集PASCAL VOC上预训练mobilenetv3网络,采用迁移学习方法,利用训练图像集对预训练后的目标检测模型进行微调,不仅克服不同数据集之间的差异性,还会快速地收敛于邻域很小的损失值,再采用随机梯度下降法,对微调后的目标检测模型以端到端的方式进行训练。
其中,训练参数设置如下:
backbone参数用于指定所用的主干特征提取网络,alpha参数用于指定当前所使用的mobilenet系列网络的通道变化情况,默认状态下为1,mobilenetv3的alpha可选范围为0.75、1.0。
其他参数设置如下:
由于主干特征提取网络特征通用,采用冻结迭代训练可以加快训练速度也可以在训练初期防止权值被破坏,因此设置训练100epoch,前epoch 50冻结主干特征提取网络Batchsize=16,初始学习率为1e-3。考虑到刚开始训练时,目标检测模型的权重(weights)是随机初始化的,此时若选择一个较大的学习率,可能带来目标检测模型的不稳定(振荡),选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-4下训练,目标检测模型可以慢慢趋于稳定,等目标检测模型相对稳定后再选择预先设置的初始学习率1e-3进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1),monitor为监测的值,可以是accuracy、val_loss、val_accuracy;factor为缩放学习率的值,学习率将以lr=lr*factor的形式被减少;patience为当patience个epoch过去而目标检测模型性能不提升时,学习率减少的动作会被触发,学习率下限为1e-6。解冻后,设置Batchsize=8,初始学习率为1e-4,同样选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-5下训练,等目标检测模型相对稳定后再选择预先设置的初始学习率1e-4进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,,verbose=1)。
通过以上训练,从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
本实施例结合迁移学习方法和随机梯度下降法对目标检测模型进行迭代训练,有利于提高训练精度和训练速度。
在优选的实施例当中,所述在将检测图像输入最优目标检测模型,得到检测图像的目标检测结果之前,还包括:利用深度学习框架对最优目标检测模型进行初始化。
本实施例通过在开发套件上搭建深度学习框架,利用深度学习框架对最优目标检测模型进行参数初始化,有利于保证目标检测精度。
基于第一实施例的第二实施例:
如图4所示,将第一实施例所述的目标检测模型移植到Jetson Nano开发套件上进行离线训练和在线监测,Jetson Nano开发套件可供嵌入式设计人员,研究人员和DIY制造商使用。
离线训练:在Jetson Nano开发套件上搭建tensorflow-gpu+keras深度学习框架,下载提前准备好的训练图像集和轻量化YOLOv4的目标检测模型按第一实施例所述的训练参数调试,运行模型训练程序,获得最优目标检测模型。
在线监测:配置好环境后放在离线训练好的权重文件,运行测试程序对输入的检测图像或者视频进行目标检测。
本实施例通过将目标检测模型移植到平价的Jetson Nano开发套件上进行离线训练和在线监测,方便快捷且节约成本。
第三实施例:
如图5所示,第三实施例提供一种基于轻量化YOLOv4的家畜图像目标检测装置,包括:图像处理模块21,用于对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将训练图像收集在训练图像集;模型构建模块22,用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型;模型训练模块23,用于利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;目标检测模块24,用于将检测图像输入最优目标检测模型,得到检测图像的目标检测结果。
作为示例性地,通过图像处理模块21,直接获取家畜图像,或者从采集视频中提取家畜图像,比如对采集视频每间隔25帧进行切割处理得到分辨率1280×720大小的家畜图像,采用labelImg标注工具标注家畜图像中的待检测目标,即家畜目标,使用的标注是PASCAL VOC格式的XML文件,并对已标注的家畜图像进行图像裁剪、图像翻转、图像缩放等预处理,得到训练图像,将训练图像收集在训练图像集。
YOLOv4的网络结构可分为三个部分,分别是主干特征提取网络Backbone(CSPdarknet53)、加强特征提取网络(SPP和PANet)和预测网络YoloHead。第一部分主干特征提取网络的功能是进行初步的特征提取,利用主干特征提取网络可以获得三个初步的有效特征层,第二部分加强特征提取网络的功能是进行加强的特征提取,利用加强特征提取网络可以对三个初步的有效特征层进行特征融合,提取出更好的特征,获得三个更有效的有效特征层,第三部分预测网络的功能是利用更有效的有效特征层预测目标检测结果。考虑到在三个部分中,第一部分和第二部分更容易修改,通过模型构建模块22,利用mobilenetv3网络替代YOLOv4的主干特征提取网络CSPdarknet53进行特征提取。mobilenetv3网络可用于分类,其主干部分的作用是进行特征提取,获得mobilenet网络对应的三个有效特征层,利用这三个有效特征层替换原来YOLOv4主干特征提取网络CSPdarknet53的有效特征层,即将三个初步的有效特征层相同shape的特征层进行加强特征提取,便可以将mobilenetv3替换进YOLOv4当中了。mobilenetv3使用了特殊的bneck结构,它综合了以下四个特点:1、mobilenetv2的具有线性瓶颈的逆残差结构(the invertedresidual with linear bottleneck),即先利用1x1卷积进行升维度,再进行后续操作,并具有残差边;2、mobilenetv1的深度可分离卷积(depthwise separable convolutions),在输入1x1卷积进行升维度后,进行3x3深度可分离卷积;3、轻量级的注意力模型,这个注意力机制的作用方式是调整每个通道的权重;4、使用h-swish替代swish函数,在结构中使用h-swish激活函数替代swish函数,能够减少运算量,提高性能。
通过模型训练模块23,设置目标检测模型的训练参数,利用训练图像集迭代训练目标检测模型直至训练次数达到预设迭代次数,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
通过目标检测模块24,对检测图像进行图像裁剪、图像翻转、图像缩放等预处理,使检测图像与训练图像的尺寸等参数保持一致,将预处理后的检测图像输入最优目标检测模型,得到检测图像的目标检测结果。
本实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型,通过训练得到的最优目标检测模型对家畜图像进行目标检测,有效减少了YOLOv4的参数量和计算量,能够在提高检测精度的同时提高检测速度,进一步实现高效准确地进行目标检测,且能够应用到存储和计算资源都非常有限的移动端设备或嵌入式芯片中,实现在移动端设备或嵌入式芯片上高效运行。
在优选的实施例当中,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:将YOLOv4的卷积层替换为深度可分离卷积层。
作为示例性地,将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,并将YOLOv4的卷积层替换为深度可分离卷积层,构建轻量化YOLOv4的目标检测模型。
本实施例通过模型构建模块22,使用深度可分离卷积层替代YOLOv4中的普通卷积层,能够进一步减少YOLOv4的参数量,有利于提高检测速度。
在优选的实施例当中,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
本实施例通过图像处理模块21,在将标注有待检测目标的家畜图像收集在训练图像集之前,对家畜图像进行图像裁剪、图像翻转、图像缩放中任一种或多种图像处理,不仅能够保证训练图像的尺寸等参数符合要求,还能增加训练图像的数据量以及随机性,有利于训练出鲁棒性更强的目标检测模型。
在优选的实施例当中,所述利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,具体为:采用迁移学习方法,利用训练图像集对预训练后的目标检测模型进行微调,得到微调后的目标检测模型;采用随机梯度下降法,利用训练图像集对微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到训练后的目标检测模型;从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
作为示例性地,先在公共数据集PASCAL VOC上预训练mobilenetv3网络,采用迁移学习方法,利用训练图像集对预训练后的目标检测模型进行微调,不仅克服不同数据集之间的差异性,还会快速地收敛于邻域很小的损失值,再采用随机梯度下降法,对微调后的目标检测模型以端到端的方式进行训练。
其中,训练参数设置如下:
backbone参数用于指定所用的主干特征提取网络,alpha参数用于指定当前所使用的mobilenet系列网络的通道变化情况,默认状态下为1,mobilenetv3的alpha可选范围为0.75、1.0。
其他参数设置如下:
由于主干特征提取网络特征通用,采用冻结迭代训练可以加快训练速度也可以在训练初期防止权值被破坏,因此设置训练100epoch,前epoch 50冻结主干特征提取网络Batchsize=16,初始学习率为1e-3。考虑到刚开始训练时,目标检测模型的权重(weights)是随机初始化的,此时若选择一个较大的学习率,可能带来目标检测模型的不稳定(振荡),选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-4下训练,目标检测模型可以慢慢趋于稳定,等目标检测模型相对稳定后再选择预先设置的初始学习率1e-3进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1),monitor为监测的值,可以是accuracy、val_loss、val_accuracy;factor为缩放学习率的值,学习率将以lr=lr*factor的形式被减少;patience为当patience个epoch过去而目标检测模型性能不提升时,学习率减少的动作会被触发,学习率下限为1e-6。解冻后,设置Batchsize=8,初始学习率为1e-4,同样选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-5下训练,等目标检测模型相对稳定后再选择预先设置的初始学习率1e-4进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,,verbose=1)。
通过以上训练,从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
本实施例通过模型训练模块23,结合迁移学习方法和随机梯度下降法对目标检测模型进行迭代训练,有利于提高训练精度和训练速度。
在优选的实施例当中,所述在将检测图像输入最优目标检测模型,得到检测图像的目标检测结果之前,还包括:利用深度学习框架对最优目标检测模型进行初始化。
本实施例通过目标检测模块24,在开发套件上搭建深度学习框架,利用深度学习框架对最优目标检测模型进行参数初始化,有利于保证目标检测精度。
综上所述,实施本发明的实施例,具有如下有益效果:
通过对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将训练图像收集在训练图像集,将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络,构建轻量化YOLOv4的目标检测模型,利用训练图像集迭代训练目标检测模型,从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型,将检测图像输入最优目标检测模型,得到检测图像的目标检测结,完成对家畜图像的目标检测。本发明的实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型,通过训练得到的最优目标检测模型对家畜图像进行目标检测,能够在提高检测精度的同时提高检测速度,进一步实现高效准确地进行目标检测。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
Claims (8)
1.一种基于轻量化YOLOv4的家畜图像目标检测方法,其特征在于,包括:
对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将所述训练图像收集在训练图像集中;
将YOLOv4的主干特征提取网络CSPdarknet53替换为mobi lenetv3网络,构建轻量化YOLOv4的目标检测模型;
采用迁移学习方法,利用所述训练图像集对预训练后的所述目标检测模型进行微调,得到微调后的目标检测模型;
采用随机梯度下降法,利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到所述训练后的目标检测模型;
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;
将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果;
其中,所述利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,包括:
设置训练100epoch,前epoch 50冻结主干特征提取网络,设置Batchsize=16,初始学习率为1e-3;选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-4下训练,之后采用预先设置的初始学习率1e-3进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1),monitor为监测的值,factor为缩放学习率的值,学习率将以lr=lr*factor的形式被减少;patience为当patience个epoch过去而目标检测模型性能不提升时,学习率减少的动作会被触发,学习率下限为1e-6;
对主干特征提取网络进行解冻后,设置Batchsize=8,初始学习率为1e-4,同样选择Warmup预热学习率的方式,之后再选择预先设置的初始学习率1e-4进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1)。
2.如权利要求1所述的基于轻量化YOLOv4的家畜图像目标检测方法,其特征在于,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobi lenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:
将YOLOv4的卷积层替换为深度可分离卷积层。
3.如权利要求1或2所述的基于轻量化YOLOv4的家畜图像目标检测方法,其特征在于,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
4.如权利要求1或2所述的基于轻量化YOLOv4的家畜图像目标检测方法,其特征在于,在所述将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果之前,还包括:
利用深度学习框架对所述最优目标检测模型进行初始化。
5.一种基于轻量化YOLOv4的家畜图像目标检测装置,其特征在于,包括:
图像处理模块,用于对标注有待检测目标的家畜图像进行预处理,得到训练图像,并将所述训练图像收集在训练图像集;
模型构建模块,用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobi lenetv3网络,构建轻量化YOLOv4的目标检测模型;
模型训练模块,用于采用迁移学习方法,利用所述训练图像集对预训练后的所述目标检测模型进行微调,得到微调后的目标检测模型;采用随机梯度下降法,利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,得到所述训练后的目标检测模型;从所有所述训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型;
目标检测模块,用于将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果;
其中,所述利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练,包括:
设置训练100epoch,前epoch 50冻结主干特征提取网络,设置Batchsize=16,初始学习率为1e-3;选择Warmup预热学习率的方式,使得开始训练的10个epoches内学习率,在预热的小学习率1e-4下训练,之后采用预先设置的初始学习率1e-3进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1),monitor为监测的值,factor为缩放学习率的值,学习率将以lr=lr*factor的形式被减少;patience为当patience个epoch过去而目标检测模型性能不提升时,学习率减少的动作会被触发,学习率下限为1e-6;
对主干特征提取网络进行解冻后,设置Batchsize=8,初始学习率为1e-4,同样选择Warmup预热学习率的方式,之后再选择预先设置的初始学习率1e-4进行训练,之后学习率调整函数为:educe_lr=ReduceLROnPlateau(monitor=‘val_loss’,factor=0.5,patience=2,verbose=1)。
6.如权利要求5所述的基于轻量化YOLOv4的家畜图像目标检测装置,其特征在于,所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobi lenetv3网络,构建轻量化YOLOv4的目标检测模型,还包括:
将YOLOv4的卷积层替换为深度可分离卷积层。
7.如权利要求5或6所述的基于轻量化YOLOv4的家畜图像目标检测装置,其特征在于,所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
8.如权利要求5或6所述的基于轻量化YOLOv4的家畜图像目标检测装置,其特征在于,在所述将检测图像输入所述最优目标检测模型,得到所述检测图像的目标检测结果之前,还包括:
利用深度学习框架对所述最优目标检测模型进行初始化。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110842686.9A CN113537244B (zh) | 2021-07-23 | 2021-07-23 | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110842686.9A CN113537244B (zh) | 2021-07-23 | 2021-07-23 | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113537244A CN113537244A (zh) | 2021-10-22 |
CN113537244B true CN113537244B (zh) | 2024-03-15 |
Family
ID=78121337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110842686.9A Active CN113537244B (zh) | 2021-07-23 | 2021-07-23 | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113537244B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114283469B (zh) * | 2021-12-14 | 2022-09-23 | 贵州大学 | 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统 |
CN114445712A (zh) * | 2022-01-29 | 2022-05-06 | 东南大学 | 基于改进YOLOv5模型的高速公路路面病害识别方法 |
CN114596335B (zh) * | 2022-03-01 | 2023-10-31 | 广东工业大学 | 一种无人艇目标检测追踪方法及系统 |
CN115019243A (zh) * | 2022-04-21 | 2022-09-06 | 山东大学 | 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统 |
CN115100180A (zh) * | 2022-07-18 | 2022-09-23 | 华北理工大学 | 基于神经网络模型的肺炎特征识别方法、装置及电子设备 |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109102126A (zh) * | 2018-08-30 | 2018-12-28 | 燕山大学 | 一种基于深度迁移学习的理论线损率预测模型 |
CN109726796A (zh) * | 2018-12-03 | 2019-05-07 | 三峡大学 | 一种基于神经网络的养殖场管理方法 |
CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
CN110619342A (zh) * | 2018-06-20 | 2019-12-27 | 鲁东大学 | 一种基于深度迁移学习的旋转机械故障诊断方法 |
CN111507179A (zh) * | 2020-03-04 | 2020-08-07 | 杭州电子科技大学 | 一种生猪采食行为分析方法 |
CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
CN112395958A (zh) * | 2020-10-29 | 2021-02-23 | 中国地质大学(武汉) | 基于四尺度深浅层特征融合的遥感图像小目标检测方法 |
CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
CN112580585A (zh) * | 2020-12-28 | 2021-03-30 | 深圳职业技术学院 | 一种基于堆叠稠密网络的挖掘机目标检测方法及装置 |
CN112651381A (zh) * | 2021-01-14 | 2021-04-13 | 南京通盛弘数据有限公司 | 基于卷积神经网络的视频图像中家畜识别方法及装置 |
CN112699966A (zh) * | 2021-01-14 | 2021-04-23 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
CN112800856A (zh) * | 2021-01-06 | 2021-05-14 | 南京通盛弘数据有限公司 | 基于YOLOv3的家畜位置与姿态识别方法及装置 |
CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
CN113111792A (zh) * | 2021-04-16 | 2021-07-13 | 东莞市均谊视觉科技有限公司 | 一种基于迁移学习的饮料瓶回收视觉检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210142181A1 (en) * | 2019-11-07 | 2021-05-13 | Microsoft Technology Licensing, Llc | Adversarial training of machine learning models |
-
2021
- 2021-07-23 CN CN202110842686.9A patent/CN113537244B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110619342A (zh) * | 2018-06-20 | 2019-12-27 | 鲁东大学 | 一种基于深度迁移学习的旋转机械故障诊断方法 |
CN109102126A (zh) * | 2018-08-30 | 2018-12-28 | 燕山大学 | 一种基于深度迁移学习的理论线损率预测模型 |
CN109726796A (zh) * | 2018-12-03 | 2019-05-07 | 三峡大学 | 一种基于神经网络的养殖场管理方法 |
CN109766769A (zh) * | 2018-12-18 | 2019-05-17 | 四川大学 | 一种基于单目视觉与深度学习的道路目标检测识别方法 |
CN111507179A (zh) * | 2020-03-04 | 2020-08-07 | 杭州电子科技大学 | 一种生猪采食行为分析方法 |
CN112395958A (zh) * | 2020-10-29 | 2021-02-23 | 中国地质大学(武汉) | 基于四尺度深浅层特征融合的遥感图像小目标检测方法 |
CN112381787A (zh) * | 2020-11-12 | 2021-02-19 | 福州大学 | 一种基于迁移学习的钢板表面缺陷的分类方法 |
CN112434646A (zh) * | 2020-12-08 | 2021-03-02 | 浙江大学 | 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法 |
CN112580585A (zh) * | 2020-12-28 | 2021-03-30 | 深圳职业技术学院 | 一种基于堆叠稠密网络的挖掘机目标检测方法及装置 |
CN112800856A (zh) * | 2021-01-06 | 2021-05-14 | 南京通盛弘数据有限公司 | 基于YOLOv3的家畜位置与姿态识别方法及装置 |
CN112651381A (zh) * | 2021-01-14 | 2021-04-13 | 南京通盛弘数据有限公司 | 基于卷积神经网络的视频图像中家畜识别方法及装置 |
CN112699966A (zh) * | 2021-01-14 | 2021-04-23 | 中国人民解放军海军航空大学 | 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法 |
CN113011319A (zh) * | 2021-03-16 | 2021-06-22 | 上海应用技术大学 | 多尺度火灾目标识别方法及系统 |
CN113112456A (zh) * | 2021-03-25 | 2021-07-13 | 湖南工业大学 | 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法 |
CN113111792A (zh) * | 2021-04-16 | 2021-07-13 | 东莞市均谊视觉科技有限公司 | 一种基于迁移学习的饮料瓶回收视觉检测方法 |
Non-Patent Citations (6)
Title |
---|
Improving Transfer Learning Performance: An Application in the Classification of Remote Sensing Data;Tenório G L等;《ICAART》;174-183 * |
YOLOv4 口罩检测算法的轻量化改进;叶子勋等;《计算机工程与应用》;摘要、正文第1节、第2.1节、第3.1、3.2节 * |
基于深度迁移学习的糖尿病视网膜病变的检测;闫育铭等;《光学仪器》;第42卷(第5期);1-4 * |
基于计算机视觉的猪只行为识别与分类方法研究;陆连凤;《万方数据》;1-66 * |
焦李成等.《人工智能、类脑计算与图像解译前沿》.西安电子科技大学出版社,2020,725-726. * |
王卫兵等.《深度学习快速实践-基于TensorFlow和keras的深度神经网络优化与训练》.机械工业出版社,2020,78-79. * |
Also Published As
Publication number | Publication date |
---|---|
CN113537244A (zh) | 2021-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113537244B (zh) | 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 | |
CN110991658A (zh) | 模型训练方法、装置、电子设备和计算机可读存储介质 | |
CN112418330A (zh) | 一种基于改进型ssd的小目标物体高精度检测方法 | |
CN112581443A (zh) | 一种风力发电机叶片表面损伤轻量化识别方法 | |
CN110751212A (zh) | 一种移动设备上高效的细粒度图像识别方法 | |
CN111178438A (zh) | 一种基于ResNet101的天气类型识别方法 | |
CN113592825A (zh) | 一种基于yolo算法的煤矸实时检测方法 | |
CN114155213A (zh) | 基于主动学习的芯片缺陷检测方法和装置 | |
CN114022736A (zh) | 一种垃圾检测方法以及装置 | |
Qian et al. | FESSD: SSD target detection based on feature fusion and feature enhancement | |
Bayer et al. | Object detection of fire safety equipment in images and videos using Yolov5 neural network | |
CN111339950B (zh) | 一种遥感图像目标检测方法 | |
CN116258715A (zh) | 一种粉尘回收方法、装置及电子设备 | |
CN113516114B (zh) | 一种自然场景文本检测方法、设备和介质 | |
Żarski et al. | KrakN: Transfer Learning framework for thin crack detection in infrastructure maintenance | |
Zhu | Research on defect detection of improved target detection algorithm on the image surface of 5G communication ring | |
CN114330705A (zh) | 光伏发电量的预测方法、装置、电子设备和存储介质 | |
Li et al. | A lightweight YOLOv5 model used for safety helmet and reflective clothing detection | |
CN112464960A (zh) | 一种基于快速神经架构搜索的目标检测方法 | |
Hu et al. | Two-stage insulator self-explosion defect detection method based on Mask R-CNN | |
CN114640785A (zh) | 站点模型更新方法及系统 | |
CN111428224A (zh) | 基于人脸识别的电脑账户登录的方法 | |
CN116030347B (zh) | 一种基于注意力网络的高分辨率遥感影像建筑物提取方法 | |
Sayed et al. | Agricultural Field Boundary Delineation Using Deep Learning Techniques | |
CN113111804B (zh) | 一种人脸检测的方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |