CN113537244A - 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 - Google Patents

一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 Download PDF

Info

Publication number
CN113537244A
CN113537244A CN202110842686.9A CN202110842686A CN113537244A CN 113537244 A CN113537244 A CN 113537244A CN 202110842686 A CN202110842686 A CN 202110842686A CN 113537244 A CN113537244 A CN 113537244A
Authority
CN
China
Prior art keywords
target detection
image
model
training
yolov4
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110842686.9A
Other languages
English (en)
Other versions
CN113537244B (zh
Inventor
毛亮
陆连凤
龚文超
郭子豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Polytechnic
Original Assignee
Shenzhen Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Polytechnic filed Critical Shenzhen Polytechnic
Priority to CN202110842686.9A priority Critical patent/CN113537244B/zh
Publication of CN113537244A publication Critical patent/CN113537244A/zh
Application granted granted Critical
Publication of CN113537244B publication Critical patent/CN113537244B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于轻量化YOLOv4的家畜图像目标检测方法及装置。所述方法，包括：对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集中；将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果。本发明能够在提高检测精度的同时提高检测速度，进一步实现高效准确地目标检测。

Description

一种基于轻量化YOLOv4的家畜图像目标检测方法及装置
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于轻量化YOLOv4的家畜图像目标检测方法及装置。
背景技术
为了实现生猪等家畜的健康养殖，逐渐应用计算机视觉技术对家畜图像进行目标检测，以关注家畜的生活状态。基于深度学习的目标检测方法可分为两阶段的目标检测方法和单阶段的目标检测方法。两阶段的目标检测方法是基于区域建议的目标检测与识别算法，主要包括Fast R-CNN、Faster R-CNN和R-FCN，这类方法虽然检测精度较高，但计算成本也很高，检测速度较慢。单阶段的目标检测方法是基于回归的目标检测与识别算法，主要包括YOLO和SSD，这类方法虽然检测速度较高，但检测精度较低。而对于李菊霞等人的基于YOLOv4的猪只饮食行为检测的研究，其提出了基于YOLOv4的猪只饮食行为检测模型在不同视角、不同遮挡程度以及不同光照下均能准确预测猪只饮食行为，其平均检测精度(mAP)达到95.5％，分别高于YOLOv3、Tiny-YOLOv4模型2.8、3.6个百分点，比Faster R-CNN模型高1.5个百分点，比RetinaNet、SSD模型高5.9、5个百分点，但考虑到YOLOv4构建的目标检测模型的参数数量和计算量较大，难以提高检测速度。
因此，现有的目标检测方法难以在提高检测精度的同时提高检测速度，无法进一步实现高效准确地进行目标检测。
发明内容
为了克服现有技术的缺陷，本发明提供一种基于轻量化YOLOv4的家畜图像目标检测方法及装置，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测。
为了解决上述技术问题，第一方面，本发明一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测方法，包括：
对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集；
将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；
利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果。
进一步地，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：
将YOLOv4的卷积层替换为深度可分离卷积层。
进一步地，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
进一步地，所述利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：
采用迁移学习方法，利用所述训练图像集对预训练后的所述目标检测模型进行微调，得到微调后的目标检测模型；
采用随机梯度下降法，利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到所述训练后的目标检测模型；
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
进一步地，在所述将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果之前，还包括：
利用深度学习框架对所述最优目标检测模型进行初始化。
第二方面，本发明一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测装置，包括：
图像处理模块，用于对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集；
模型构建模块，用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；
模型训练模块，用于利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
目标检测模块，用于将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果。
进一步地，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：
将YOLOv4的卷积层替换为深度可分离卷积层。
进一步地，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
进一步地，所述利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：
采用迁移学习方法，利用所述训练图像集对预训练后的所述目标检测模型进行微调，得到微调后的目标检测模型；
采用随机梯度下降法，利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到所述训练后的目标检测模型；
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
进一步地，在所述将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果之前，还包括：
利用深度学习框架对所述最优目标检测模型进行初始化。
本发明的实施例，具有如下有益效果：
通过对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将训练图像收集在训练图像集，将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，将检测图像输入最优目标检测模型，得到检测图像的目标检测结，完成对家畜图像的目标检测。相比于现有技术，本发明的实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型，通过训练得到的最优目标检测模型对家畜图像进行目标检测，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测。
附图说明
图1为本发明第一实施例中的一种基于轻量化YOLOv4的家畜图像目标检测方法的流程示意图；
图2为本发明第一实施例中的YOLOv4的网络结构图；
图3为本发明第一实施例中的mobilenetv3的网络结构图；
图4为本发明第一实施例中的bneck结构图；
图5为本发明第一实施例中的具有线性瓶颈的逆残差结构图；
图6为本发明第一实施例中的深度可分离卷积层的结构示意图；
图7为现有技术中的轻量级的注意力模型图；
图8为本发明第二实施例的一种基于轻量化YOLOv4的家畜图像目标检测方法的数据流图；
图9为本发明第三实施例的一种基于轻量化YOLOv4的家畜图像目标检测装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。
第一实施例：
如图1所示，第一实施例提供一种基于轻量化YOLOv4的家畜图像目标检测方法，包括步骤S1～S4：
S1、对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将训练图像收集在训练图像集；
S2、将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；
S3、利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
S4、将检测图像输入最优目标检测模型，得到检测图像的目标检测结果。
作为示例性地，在步骤S1中，直接获取家畜图像，或者从采集视频中提取家畜图像，比如对采集视频每间隔25帧进行切割处理得到分辨率1280×720大小的家畜图像，采用labelImg标注工具标注家畜图像中的待检测目标，即家畜目标，使用的标注是PASCAL VOC格式的XML文件，并对已标注的家畜图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练图像集。
在步骤S2中，YOLOv4的网络结构如图2所示，可分为三个部分，分别是主干特征提取网络Backbone(对应图2上的CSPdarknet53)、加强特征提取网络(对应图2上的SPP和PANet)和预测网络YoloHead。第一部分主干特征提取网络的功能是进行初步的特征提取，利用主干特征提取网络可以获得三个初步的有效特征层，第二部分加强特征提取网络的功能是进行加强的特征提取，利用加强特征提取网络可以对三个初步的有效特征层进行特征融合，提取出更好的特征，获得三个更有效的有效特征层，第三部分预测网络的功能是利用更有效的有效特征层预测目标检测结果。考虑到在三个部分中，第一部分和第二部分更容易修改，利用mobilenetv3网络替代YOLOv4的主干特征提取网络CSPdarknet53进行特征提取。mobilenetv3的网络结构如图3所示，mobilenetv3网络可用于分类，其主干部分的作用是进行特征提取，获得mobilenet网络对应的三个有效特征层，利用这三个有效特征层替换原来YOLOv4主干特征提取网络CSPdarknet53的有效特征层，即将三个初步的有效特征层相同shape的特征层进行加强特征提取，便可以将mobilenetv3替换进YOLOv4当中了。mobilenetv3使用了特殊的bneck结构，bneck结构如图4所示，它综合了以下四个特点：1、mobilenetv2的具有线性瓶颈的逆残差结构(the inverted residual with linearbottleneck)，具有线性瓶颈的逆残差结构如图5所示，即先利用1x1卷积进行升维度，再进行后续操作，并具有残差边；2、mobilenetv1的深度可分离卷积(depthwise separableconvolutions)，深度可分离卷积层的结构如图6所示，在输入1x1卷积进行升维度后，进行3x3深度可分离卷积；3、轻量级的注意力模型，轻量级的注意力模型如图7所示，这个注意力机制的作用方式是调整每个通道的权重；4、使用h-swish替代swish函数，
Figure BDA0003177624830000061
在结构中使用h-swish激活函数替代swish函数，能够减少运算量，提高性能。
在步骤S3中，设置目标检测模型的训练参数，利用训练图像集迭代训练目标检测模型直至训练次数达到预设迭代次数，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
在步骤S4中，对检测图像进行图像裁剪、图像翻转、图像缩放等预处理，使检测图像与训练图像的尺寸等参数保持一致，将预处理后的检测图像输入最优目标检测模型，得到检测图像的目标检测结果。
本实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型，通过训练得到的最优目标检测模型对家畜图像进行目标检测，有效减少了YOLOv4的参数量和计算量，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测，且能够应用到存储和计算资源都非常有限的移动端设备或嵌入式芯片中，实现在移动端设备或嵌入式芯片上高效运行。
在优选的实施例当中，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：将YOLOv4的卷积层替换为深度可分离卷积层。
作为示例性地，将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，并将YOLOv4的卷积层替换为深度可分离卷积层，构建轻量化YOLOv4的目标检测模型。
本实施例使用深度可分离卷积层替代YOLOv4中的普通卷积层，能够进一步减少YOLOv4的参数量，有利于提高检测速度。
在优选的实施例当中，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
本实施例通过在将标注有待检测目标的家畜图像收集在训练图像集之前，对家畜图像进行图像裁剪、图像翻转、图像缩放中任一种或多种图像处理，不仅能够保证训练图像的尺寸等参数符合要求，还能增加训练图像的数据量以及随机性，有利于训练出鲁棒性更强的目标检测模型。
在优选的实施例当中，所述利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：采用迁移学习方法，利用训练图像集对预训练后的目标检测模型进行微调，得到微调后的目标检测模型；采用随机梯度下降法，利用训练图像集对微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到训练后的目标检测模型；从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
作为示例性地，先在公共数据集PASCAL VOC上预训练mobilenetv3网络，采用迁移学习方法，利用训练图像集对预训练后的目标检测模型进行微调，不仅克服不同数据集之间的差异性，还会快速地收敛于邻域很小的损失值，再采用随机梯度下降法，对微调后的目标检测模型以端到端的方式进行训练。
其中，训练参数设置如下：
backbone参数用于指定所用的主干特征提取网络，alpha参数用于指定当前所使用的mobilenet系列网络的通道变化情况，默认状态下为1，mobilenetv3的alpha可选范围为0.75、1.0。
其他参数设置如下：
由于主干特征提取网络特征通用，采用冻结迭代训练可以加快训练速度也可以在训练初期防止权值被破坏，因此设置训练100epoch，前epoch 50冻结主干特征提取网络Batchsize＝16，初始学习率为1e-3。考虑到刚开始训练时，目标检测模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来目标检测模型的不稳定(振荡)，选择Warmup预热学习率的方式，使得开始训练的10个epoches内学习率，在预热的小学习率1e-4下训练，目标检测模型可以慢慢趋于稳定，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-3进行训练，之后学习率调整函数为：educe_lr＝ReduceLROnPlateau(monitor＝‘val_loss’，factor＝0.5，patience＝2，verbose＝1)，monitor为监测的值，可以是accuracy、val_loss、val_accuracy；factor为缩放学习率的值，学习率将以lr＝lr*factor的形式被减少；patience为当patience个epoch过去而目标检测模型性能不提升时，学习率减少的动作会被触发，学习率下限为1e-6。解冻后，设置Batchsize＝8，初始学习率为1e-4，同样选择Warmup预热学习率的方式，使得开始训练的10个epoches内学习率，在预热的小学习率1e-5下训练，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-4进行训练，之后学习率调整函数为：educe_lr＝ReduceLROnPlateau(monitor＝‘val_loss’，factor＝0.5，patience＝2,，verbose＝1)。
通过以上训练，从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
本实施例结合迁移学习方法和随机梯度下降法对目标检测模型进行迭代训练，有利于提高训练精度和训练速度。
在优选的实施例当中，所述在将检测图像输入最优目标检测模型，得到检测图像的目标检测结果之前，还包括：利用深度学习框架对最优目标检测模型进行初始化。
本实施例通过在开发套件上搭建深度学习框架，利用深度学习框架对最优目标检测模型进行参数初始化，有利于保证目标检测精度。
基于第一实施例的第二实施例：
如图8所示，将第一实施例所述的目标检测模型移植到Jetson Nano开发套件上进行离线训练和在线监测，Jetson Nano开发套件可供嵌入式设计人员，研究人员和DIY制造商使用。
离线训练：在Jetson Nano开发套件上搭建tensorflow-gpu+keras深度学习框架，下载提前准备好的训练图像集和轻量化YOLOv4的目标检测模型按第一实施例所述的训练参数调试，运行模型训练程序，获得最优目标检测模型。
在线监测：配置好环境后放在离线训练好的权重文件，运行测试程序对输入的检测图像或者视频进行目标检测。
本实施例通过将目标检测模型移植到平价的Jetson Nano开发套件上进行离线训练和在线监测，方便快捷且节约成本。
第三实施例：
如图9所示，第三实施例提供一种基于轻量化YOLOv4的家畜图像目标检测装置，包括：图像处理模块21，用于对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将训练图像收集在训练图像集；模型构建模块22，用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；模型训练模块23，用于利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；目标检测模块24，用于将检测图像输入最优目标检测模型，得到检测图像的目标检测结果。
作为示例性地，通过图像处理模块21，直接获取家畜图像，或者从采集视频中提取家畜图像，比如对采集视频每间隔25帧进行切割处理得到分辨率1280×720大小的家畜图像，采用labelImg标注工具标注家畜图像中的待检测目标，即家畜目标，使用的标注是PASCAL VOC格式的XML文件，并对已标注的家畜图像进行图像裁剪、图像翻转、图像缩放等预处理，得到训练图像，将训练图像收集在训练图像集。
YOLOv4的网络结构可分为三个部分，分别是主干特征提取网络Backbone(CSPdarknet53)、加强特征提取网络(SPP和PANet)和预测网络YoloHead。第一部分主干特征提取网络的功能是进行初步的特征提取，利用主干特征提取网络可以获得三个初步的有效特征层，第二部分加强特征提取网络的功能是进行加强的特征提取，利用加强特征提取网络可以对三个初步的有效特征层进行特征融合，提取出更好的特征，获得三个更有效的有效特征层，第三部分预测网络的功能是利用更有效的有效特征层预测目标检测结果。考虑到在三个部分中，第一部分和第二部分更容易修改，通过模型构建模块22，利用mobilenetv3网络替代YOLOv4的主干特征提取网络CSPdarknet53进行特征提取。mobilenetv3网络可用于分类，其主干部分的作用是进行特征提取，获得mobilenet网络对应的三个有效特征层，利用这三个有效特征层替换原来YOLOv4主干特征提取网络CSPdarknet53的有效特征层，即将三个初步的有效特征层相同shape的特征层进行加强特征提取，便可以将mobilenetv3替换进YOLOv4当中了。mobilenetv3使用了特殊的bneck结构，它综合了以下四个特点：1、mobilenetv2的具有线性瓶颈的逆残差结构(the invertedresidual with linear bottleneck)，即先利用1x1卷积进行升维度，再进行后续操作，并具有残差边；2、mobilenetv1的深度可分离卷积(depthwise separable convolutions)，在输入1x1卷积进行升维度后，进行3x3深度可分离卷积；3、轻量级的注意力模型，这个注意力机制的作用方式是调整每个通道的权重；4、使用h-swish替代swish函数，
Figure BDA0003177624830000111
在结构中使用h-swish激活函数替代swish函数，能够减少运算量，提高性能。
通过模型训练模块23，设置目标检测模型的训练参数，利用训练图像集迭代训练目标检测模型直至训练次数达到预设迭代次数，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
通过目标检测模块24，对检测图像进行图像裁剪、图像翻转、图像缩放等预处理，使检测图像与训练图像的尺寸等参数保持一致，将预处理后的检测图像输入最优目标检测模型，得到检测图像的目标检测结果。
本实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型，通过训练得到的最优目标检测模型对家畜图像进行目标检测，有效减少了YOLOv4的参数量和计算量，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测，且能够应用到存储和计算资源都非常有限的移动端设备或嵌入式芯片中，实现在移动端设备或嵌入式芯片上高效运行。
在优选的实施例当中，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：将YOLOv4的卷积层替换为深度可分离卷积层。
作为示例性地，将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，并将YOLOv4的卷积层替换为深度可分离卷积层，构建轻量化YOLOv4的目标检测模型。
本实施例通过模型构建模块22，使用深度可分离卷积层替代YOLOv4中的普通卷积层，能够进一步减少YOLOv4的参数量，有利于提高检测速度。
在优选的实施例当中，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
本实施例通过图像处理模块21，在将标注有待检测目标的家畜图像收集在训练图像集之前，对家畜图像进行图像裁剪、图像翻转、图像缩放中任一种或多种图像处理，不仅能够保证训练图像的尺寸等参数符合要求，还能增加训练图像的数据量以及随机性，有利于训练出鲁棒性更强的目标检测模型。
在优选的实施例当中，所述利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：采用迁移学习方法，利用训练图像集对预训练后的目标检测模型进行微调，得到微调后的目标检测模型；采用随机梯度下降法，利用训练图像集对微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到训练后的目标检测模型；从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
作为示例性地，先在公共数据集PASCAL VOC上预训练mobilenetv3网络，采用迁移学习方法，利用训练图像集对预训练后的目标检测模型进行微调，不仅克服不同数据集之间的差异性，还会快速地收敛于邻域很小的损失值，再采用随机梯度下降法，对微调后的目标检测模型以端到端的方式进行训练。
其中，训练参数设置如下：
backbone参数用于指定所用的主干特征提取网络，alpha参数用于指定当前所使用的mobilenet系列网络的通道变化情况，默认状态下为1，mobilenetv3的alpha可选范围为0.75、1.0。
其他参数设置如下：
由于主干特征提取网络特征通用，采用冻结迭代训练可以加快训练速度也可以在训练初期防止权值被破坏，因此设置训练100epoch，前epoch 50冻结主干特征提取网络Batchsize＝16，初始学习率为1e-3。考虑到刚开始训练时，目标检测模型的权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来目标检测模型的不稳定(振荡)，选择Warmup预热学习率的方式，使得开始训练的10个epoches内学习率，在预热的小学习率1e-4下训练，目标检测模型可以慢慢趋于稳定，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-3进行训练，之后学习率调整函数为：educe_lr＝ReduceLROnPlateau(monitor＝‘val_loss’，factor＝0.5，patience＝2，verbose＝1)，monitor为监测的值，可以是accuracy、val_loss、val_accuracy；factor为缩放学习率的值，学习率将以lr＝lr*factor的形式被减少；patience为当patience个epoch过去而目标检测模型性能不提升时，学习率减少的动作会被触发，学习率下限为1e-6。解冻后，设置Batchsize＝8，初始学习率为1e-4，同样选择Warmup预热学习率的方式，使得开始训练的10个epoches内学习率，在预热的小学习率1e-5下训练，等目标检测模型相对稳定后再选择预先设置的初始学习率1e-4进行训练，之后学习率调整函数为：educe_lr＝ReduceLROnPlateau(monitor＝‘val_loss’，factor＝0.5，patience＝2,，verbose＝1)。
通过以上训练，从所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型。
本实施例通过模型训练模块23，结合迁移学习方法和随机梯度下降法对目标检测模型进行迭代训练，有利于提高训练精度和训练速度。
在优选的实施例当中，所述在将检测图像输入最优目标检测模型，得到检测图像的目标检测结果之前，还包括：利用深度学习框架对最优目标检测模型进行初始化。
本实施例通过目标检测模块24，在开发套件上搭建深度学习框架，利用深度学习框架对最优目标检测模型进行参数初始化，有利于保证目标检测精度。
综上所述，实施本发明的实施例，具有如下有益效果：
通过对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将训练图像收集在训练图像集，将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，利用训练图像集迭代训练目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，将检测图像输入最优目标检测模型，得到检测图像的目标检测结，完成对家畜图像的目标检测。本发明的实施例将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络来构建轻量化YOLOv4的目标检测模型，通过训练得到的最优目标检测模型对家畜图像进行目标检测，能够在提高检测精度的同时提高检测速度，进一步实现高效准确地进行目标检测。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种基于轻量化YOLOv4的家畜图像目标检测方法，其特征在于，包括：
对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集中；
将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；
利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果。
2.如权利要求1所述的基于轻量化YOLOv4的家畜图像目标检测方法，其特征在于，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：
将YOLOv4的卷积层替换为深度可分离卷积层。
3.如权利要求1或2所述的基于轻量化YOLOv4的家畜图像目标检测方法，其特征在于，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
4.如权利要求1或2所述的基于轻量化YOLOv4的家畜图像目标检测方法，其特征在于，所述利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：
采用迁移学习方法，利用所述训练图像集对预训练后的所述目标检测模型进行微调，得到微调后的目标检测模型；
采用随机梯度下降法，利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到所述训练后的目标检测模型；
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
5.如权利要求1或2所述的基于轻量化YOLOv4的家畜图像目标检测方法，其特征在于，在所述将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果之前，还包括：
利用深度学习框架对所述最优目标检测模型进行初始化。
6.一种基于轻量化YOLOv4的家畜图像目标检测装置，其特征在于，包括：
图像处理模块，用于对标注有待检测目标的家畜图像进行预处理，得到训练图像，并将所述训练图像收集在训练图像集；
模型构建模块，用于将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型；
模型训练模块，用于利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型；
目标检测模块，用于将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果。
7.如权利要求6所述的基于轻量化YOLOv4的家畜图像目标检测装置，其特征在于，所述将YOLOv4的主干特征提取网络CSPdarknet53替换为mobilenetv3网络，构建轻量化YOLOv4的目标检测模型，还包括：
将YOLOv4的卷积层替换为深度可分离卷积层。
8.如权利要求6或7所述的基于轻量化YOLOv4的家畜图像目标检测装置，其特征在于，所述预处理包括图像裁剪、图像翻转、图像缩放中的任一种或多种图像处理。
9.如权利要求6或7所述的基于轻量化YOLOv4的家畜图像目标检测装置，其特征在于，所述利用所述训练图像集迭代训练所述目标检测模型，从得到的所有训练后的目标检测模型中选择检测精度最高的模型作为最优目标检测模型，具体为：
采用迁移学习方法，利用所述训练图像集对预训练后的所述目标检测模型进行微调，得到微调后的目标检测模型；
采用随机梯度下降法，利用所述训练图像集对所述微调后的目标检测模型进行冻结迭代训练和解冻迭代训练，得到所述训练后的目标检测模型；
从所有所述训练后的目标检测模型中选择检测精度最高的模型作为所述最优目标检测模型。
10.如权利要求6或7所述的基于轻量化YOLOv4的家畜图像目标检测装置，其特征在于，在所述将检测图像输入所述最优目标检测模型，得到所述检测图像的目标检测结果之前，还包括：
利用深度学习框架对所述最优目标检测模型进行初始化。
CN202110842686.9A 2021-07-23 2021-07-23 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置 Active CN113537244B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110842686.9A CN113537244B (zh) 2021-07-23 2021-07-23 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110842686.9A CN113537244B (zh) 2021-07-23 2021-07-23 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置

Publications (2)

Publication Number Publication Date
CN113537244A true CN113537244A (zh) 2021-10-22
CN113537244B CN113537244B (zh) 2024-03-15

Family

ID=78121337

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110842686.9A Active CN113537244B (zh) 2021-07-23 2021-07-23 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置

Country Status (1)

Country Link
CN (1) CN113537244B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283469A (zh) * 2021-12-14 2022-04-05 贵州大学 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN114596335A (zh) * 2022-03-01 2022-06-07 广东工业大学 一种无人艇目标检测追踪方法及系统
CN115019243A (zh) * 2022-04-21 2022-09-06 山东大学 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统
CN115100180A (zh) * 2022-07-18 2022-09-23 华北理工大学 基于神经网络模型的肺炎特征识别方法、装置及电子设备
CN114359727B (zh) * 2021-12-31 2024-06-04 华南农业大学 基于轻量级优化Yolo v4的茶叶病害识别方法及系统

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109102126A (zh) * 2018-08-30 2018-12-28 燕山大学 一种基于深度迁移学习的理论线损率预测模型
CN109726796A (zh) * 2018-12-03 2019-05-07 三峡大学 一种基于神经网络的养殖场管理方法
CN109766769A (zh) * 2018-12-18 2019-05-17 四川大学 一种基于单目视觉与深度学习的道路目标检测识别方法
CN110619342A (zh) * 2018-06-20 2019-12-27 鲁东大学 一种基于深度迁移学习的旋转机械故障诊断方法
CN111507179A (zh) * 2020-03-04 2020-08-07 杭州电子科技大学 一种生猪采食行为分析方法
CN112381787A (zh) * 2020-11-12 2021-02-19 福州大学 一种基于迁移学习的钢板表面缺陷的分类方法
CN112395958A (zh) * 2020-10-29 2021-02-23 中国地质大学（武汉） 基于四尺度深浅层特征融合的遥感图像小目标检测方法
CN112434646A (zh) * 2020-12-08 2021-03-02 浙江大学 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法
CN112580585A (zh) * 2020-12-28 2021-03-30 深圳职业技术学院 一种基于堆叠稠密网络的挖掘机目标检测方法及装置
CN112651381A (zh) * 2021-01-14 2021-04-13 南京通盛弘数据有限公司 基于卷积神经网络的视频图像中家畜识别方法及装置
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法
US20210142181A1 (en) * 2019-11-07 2021-05-13 Microsoft Technology Licensing, Llc Adversarial training of machine learning models
CN112800856A (zh) * 2021-01-06 2021-05-14 南京通盛弘数据有限公司 基于YOLOv3的家畜位置与姿态识别方法及装置
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及系统
CN113112456A (zh) * 2021-03-25 2021-07-13 湖南工业大学 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法
CN113111792A (zh) * 2021-04-16 2021-07-13 东莞市均谊视觉科技有限公司 一种基于迁移学习的饮料瓶回收视觉检测方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110619342A (zh) * 2018-06-20 2019-12-27 鲁东大学 一种基于深度迁移学习的旋转机械故障诊断方法
CN109102126A (zh) * 2018-08-30 2018-12-28 燕山大学 一种基于深度迁移学习的理论线损率预测模型
CN109726796A (zh) * 2018-12-03 2019-05-07 三峡大学 一种基于神经网络的养殖场管理方法
CN109766769A (zh) * 2018-12-18 2019-05-17 四川大学 一种基于单目视觉与深度学习的道路目标检测识别方法
US20210142181A1 (en) * 2019-11-07 2021-05-13 Microsoft Technology Licensing, Llc Adversarial training of machine learning models
CN111507179A (zh) * 2020-03-04 2020-08-07 杭州电子科技大学 一种生猪采食行为分析方法
CN112395958A (zh) * 2020-10-29 2021-02-23 中国地质大学（武汉） 基于四尺度深浅层特征融合的遥感图像小目标检测方法
CN112381787A (zh) * 2020-11-12 2021-02-19 福州大学 一种基于迁移学习的钢板表面缺陷的分类方法
CN112434646A (zh) * 2020-12-08 2021-03-02 浙江大学 基于迁移学习和计算机视觉技术的成品茶质量鉴别方法
CN112580585A (zh) * 2020-12-28 2021-03-30 深圳职业技术学院 一种基于堆叠稠密网络的挖掘机目标检测方法及装置
CN112800856A (zh) * 2021-01-06 2021-05-14 南京通盛弘数据有限公司 基于YOLOv3的家畜位置与姿态识别方法及装置
CN112699966A (zh) * 2021-01-14 2021-04-23 中国人民解放军海军航空大学 基于深度迁移学习的雷达hrrp小样本目标识别预训练及微调方法
CN112651381A (zh) * 2021-01-14 2021-04-13 南京通盛弘数据有限公司 基于卷积神经网络的视频图像中家畜识别方法及装置
CN113011319A (zh) * 2021-03-16 2021-06-22 上海应用技术大学 多尺度火灾目标识别方法及系统
CN113112456A (zh) * 2021-03-25 2021-07-13 湖南工业大学 一种基于目标检测算法的浓稠食品灌装成品缺陷检测方法
CN113111792A (zh) * 2021-04-16 2021-07-13 东莞市均谊视觉科技有限公司 一种基于迁移学习的饮料瓶回收视觉检测方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
TENÓRIO G L等: "Improving Transfer Learning Performance: An Application in the Classification of Remote Sensing Data", 《ICAART》, pages 174 - 183 *
叶子勋等: "YOLOv4 口罩检测算法的轻量化改进", 《计算机工程与应用》, pages 1 *
王卫兵等: "《深度学习快速实践-基于TensorFlow和keras的深度神经网络优化与训练》", 西安电子科技大学出版社, pages: 725 - 726 *
闫育铭等: "基于深度迁移学习的糖尿病视网膜病变的检测", 《光学仪器》, vol. 42, no. 5, pages 1 - 4 *
陆连凤: "基于计算机视觉的猪只行为识别与分类方法研究", 《万方数据》, pages 1 - 66 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114283469A (zh) * 2021-12-14 2022-04-05 贵州大学 一种基于改进YOLOv4-tiny的轻量型目标检测方法及系统
CN114359727B (zh) * 2021-12-31 2024-06-04 华南农业大学 基于轻量级优化Yolo v4的茶叶病害识别方法及系统
CN114445712A (zh) * 2022-01-29 2022-05-06 东南大学 基于改进YOLOv5模型的高速公路路面病害识别方法
CN114596335A (zh) * 2022-03-01 2022-06-07 广东工业大学 一种无人艇目标检测追踪方法及系统
CN114596335B (zh) * 2022-03-01 2023-10-31 广东工业大学 一种无人艇目标检测追踪方法及系统
CN115019243A (zh) * 2022-04-21 2022-09-06 山东大学 基于改进YOLOv3的监控漂浮物轻量化目标检测方法及系统
CN115100180A (zh) * 2022-07-18 2022-09-23 华北理工大学 基于神经网络模型的肺炎特征识别方法、装置及电子设备
WO2023186190A1 (zh) * 2022-07-18 2023-10-05 华北理工大学 基于神经网络模型的肺炎特征识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN113537244B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN113537244A (zh) 一种基于轻量化YOLOv4的家畜图像目标检测方法及装置
CN110347873B (zh) 视频分类方法、装置、电子设备及存储介质
CN112906718B (zh) 一种基于卷积神经网络的多目标检测方法
CN111291637A (zh) 一种基于卷积神经网络的人脸检测方法、装置及设备
CN114022432B (zh) 基于改进的yolov5的绝缘子缺陷检测方法
CN112581443A (zh) 一种风力发电机叶片表面损伤轻量化识别方法
CN111767962B (zh) 基于生成对抗式网络的一阶段目标检测方法、系统及装置
CN110991658A (zh) 模型训练方法、装置、电子设备和计算机可读存储介质
CN111047565A (zh) 一种用于森林云雾图像分割的方法、存储介质和设备
CN111461161A (zh) 基于cnn且抗波动性强的客体检测方法及装置
CN109376580A (zh) 一种基于深度学习的电力塔架部件识别方法
CN111462167A (zh) 一种结合边缘计算与深度学习的智能终端视频分析算法
CN113592825A (zh) 一种基于yolo算法的煤矸实时检测方法
CN114898200A (zh) 一种基于轻量化YOLOV4-tiny的传送带工件图像目标检测方法及系统
CN115223043A (zh) 一种草莓缺陷检测方法、装置、计算机设备及存储介质
CN113487610B (zh) 疱疹图像识别方法、装置、计算机设备和存储介质
CN114724140A (zh) 一种基于yolo v3的草莓成熟度检测方法、装置
CN114331837A (zh) 特高压换流站保护系统全景监控图像处理与存储方法
CN111339950B (zh) 一种遥感图像目标检测方法
CN113177956A (zh) 一种面向无人机遥感影像的语义分割方法
CN114494441B (zh) 基于深度学习的葡萄及其采摘点同步识别定位方法、装置
WO2022127576A1 (zh) 站点模型更新方法及系统
CN113989267A (zh) 基于轻量级神经网络的电池缺陷检测方法
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN116030347B (zh) 一种基于注意力网络的高分辨率遥感影像建筑物提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant