CN114662605A - 基于改进的YOLOv5模型的火焰检测方法 - Google Patents

基于改进的YOLOv5模型的火焰检测方法 Download PDF

Info

Publication number
CN114662605A
CN114662605A CN202210321847.4A CN202210321847A CN114662605A CN 114662605 A CN114662605 A CN 114662605A CN 202210321847 A CN202210321847 A CN 202210321847A CN 114662605 A CN114662605 A CN 114662605A
Authority
CN
China
Prior art keywords
flame
model
detection
yolov5 model
yolov5
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210321847.4A
Other languages
English (en)
Inventor
曹彦彦
陈露萌
黄民
董伟杰
王义龙
徐杨梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Information Science and Technology University
Original Assignee
Beijing Information Science and Technology University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Information Science and Technology University filed Critical Beijing Information Science and Technology University
Priority to CN202210321847.4A priority Critical patent/CN114662605A/zh
Publication of CN114662605A publication Critical patent/CN114662605A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本发明公开了一种基于改进的YOLOv5模型的火焰检测方法,包括:建立火焰数据集;以YOLOv5模型为基础模型,嵌入注意力机制单元、增加新增检测层、引入边界损失函数得到第一YOLOv5模型;对第一YOLOv5模型进行预训练得到第二YOLOv5模型;对第二YOLOv5模型进行优化,得到第三YOLOv5模型;将测试图像输入第三YOLOv5模型得到火焰检测结果。通过嵌入注意力机制单元,能够同时考虑通道间关系和空间信息,使得第一YOLOv5模型能够更准确地定位并识别目标区域;增加新增检测层用于检测小尺寸目标;引入边界损失函数对小数据集和噪声的鲁棒性更强,并且更适合轻量化模型。

Description

基于改进的YOLOv5模型的火焰检测方法
技术领域
本发明涉及深度学习及目标检测领域,更具体地,涉及一种基于改进的YOLOv5模型的火焰检测方法。
背景技术
火灾是威胁人类生命和财产安全的重要灾害之一,一些不起眼的火星都可能造成严重的经济损失和人员伤亡。随着经济的快速发展,城市建筑物的规模越来越大,当火灾发生时,目前的灭火手段还主要以消防员人工灭火为主,在此过程中,经常伴随着消防人员的受伤,因此,使用消防机器人替代人工灭火已成为一种发展的趋势。消防机器人主要使用摄像头对火场情况进行探索,所以基于图像对火焰进行实时而准确的目标检测,成为消防机器人顺利高效灭火的关键。
传统的火焰检测技术主要是提取特征,例如:利用RGB颜色空间,通过对RGB三通道不同的特性的分析进行火焰检测;利用火焰燃烧时会产生红光和蓝光的火焰特征,采用具有亮度和红、蓝2种颜色信息的YCbCr彩色空间提取火焰特征进行火焰检测;利用帧差法,使用面积增长比作为判别帧数差的依据进行火焰检测。这些传统的火焰识别方法在一定程度上满足了火焰检测要求,但是在城市复杂环境下,依然存在着检测速度慢,准确度较低、缺乏小火焰区域的精确识别等缺点,所以这些传统的检测方法无法满足消防机器人对火焰检测实时性和准确性的要求。
近几年来,各种基于图像处理的深度学习网络快速发展,在目标检测领域,以卷积神经网络为代表的深度学习算法提高了检测精度和检测速度。现有的目标检测算法主要分为两类:一种为双阶段检测算法,这类算法是先在候选区域生成可能包含检测物体的预选框,再通过卷积神经网络进行物体检测,常见的有R-CNN、Fast R-CNN、SPP-Net等,这类算法检测精度高,但是在深层次网络中,检测速度慢,无法满足火焰检测实时性的要求。另一种为单阶段检测算法,这类算法将候选区域划分和物体检测两个阶段合二为一,常见的有Yolo系列算法,这类算法的特点是网络结构简单、检测速度快,能够满足实时检测任务的需求,但对小目标检测的鲁棒性及检测准确性还有待提升。
综上所述,本发明基于YOLOv5网络模型进行了改进,提升了其检测准确度和小目标检测能力,改进后的火焰检测算法可以满足火焰检测的实时性和准确性要求,能够更好地应用在消防机器人上,帮助消防员提升灭火效率。
发明内容
有鉴于此,本发明提供了一种基于改进的YOLOv5模型的火焰检测方法,包括:
建立火焰数据集,所述火焰数据集包括多张火焰图像;
以YOLOv5模型为基础模型,所述YOLOv5模型包括顺次设置的输入端、基准网络模块、特征融合模块和检测模块,在所述基准网络模块中嵌入注意力机制单元、在所述检测模块增加新增检测层、在所述检测模块引入边界损失函数得到第一YOLOv5模型,所述边界损失函数按照以下方法进行计算:
Figure BDA0003570407590000021
其中,
Figure BDA0003570407590000022
为所述火焰图像的预测边框与结果边框的差异;IOU为交互比,α为调节参数;
采用图像数据集对所述第一YOLOv5模型进行预训练,得到第二YOLOv5模型;
将所述火焰数据集划分为训练集、验证集和测试集,所述测试集中的所述火焰图像为测试图像,将所述训练集和所述验证集输入所述第二YOLOv5模型进行优化,得到第三YOLOv5模型;
将所述测试集的所述测试图像输入所述第三YOLOv5模型,得到火焰检测结果。
优选地,所述建立火焰数据集,包括:
采集多张所述火焰图像,多张所述火焰图像均不相同,对多张所述火焰图像进行筛选,删除火焰面积超过所述火焰图像面积80%的所述火焰图像得到第一数据集;
对所述第一数据集中的所述火焰图像进行数据增强,所述数据增强的方式,包括:对所述第一数据集中的所述火焰图像分别进行旋转、镜像、缩放、拼接和亮度平衡得到多张扩充的所述火焰图像,将多张扩充的所述火焰图像与所述第一数据集合并形成所述火焰数据集。
优选地,在所述建立火焰数据集之后还包括对所述火焰数据集中的所述火焰图像进行标注;
采用边框将所述火焰图像的火焰部分圈出,记录所述边框的信息并将所述边框的信息转换为第一格式进行保存。
优选地,所述基准网络模块包括第一单元、第二单元、第三单元和第四单元;所述第一单元为切片结构;所述第二单元由卷积层、批量归一化和第一激活函数组成;所述第三单元由所述卷积层和瓶颈层组成;所述第四单元由所述卷积层与池化层组成;
所述基准网络模块提取所述测试图像的特征信息得到第一特征图。
优选地,所述在所述基准网络模块中嵌入注意力机制单元,包括:
所述注意力机制单元通过沿第一方向和第二方向分别对所述第一特征图进行平均池化得到第一向量和第二向量,对所述第一向量和所述第二向量进行通道融合后利用卷积块进行通道压缩、编码所述第一特征图沿所述第一方向和所述第二方向的空间信息后分离通道、通过所述卷积块得到与所述第一特征图通道数相同的第二特征图,通过第二激活函数进行归一化加权。
优选地,所述在所述检测模块增加新增检测层,包括:
所述新增检测层的尺寸为160×160,用于检测感受野尺寸大于4×4的目标;
所述特征融合模块包括24层特征提取层,增加2层所述特征融合模块中的所述特征提取层匹配所述检测层,所述第二特征图经过所述特征融合模块的第二层所述特征提取层处理得到第三特征图,所述第二特征图经过所述特征融合模块的第二十六层所述特征提取层处理得到第四特征图,所述第三特征图与所述第四特征图融合得到第五特征图;
所述新增检测层对所述第五特征图进行检测。
优选地,所述第三YOLOv5模型采用随机梯度下降优化器。
优选地,还包括对所述第三YOLOv5模型的检测效果进行评价,按照以下方式进行计算:
Figure BDA0003570407590000041
其中,mAP为精度检测值,m为取平均数,Precision(K)为精度,Recall(K)为召回,AP为在0至1范围内正确率指标对召回率指标的积分。
优选地,所述在0至1范围内正确率指标对召回率指标的积分按照以下方式进行计算:
Figure BDA0003570407590000042
其中,Precision为正确率,Recall为召回率,AP为在0至1范围内正确率指标对召回率指标的积分。
优选地,所述正确率、所述召回率按照以下方式进行计算:
Figure BDA0003570407590000043
Figure BDA0003570407590000044
其中,TP为正确标识出火焰的所述包围框的数量,FP为错误标识出火焰的所述包围框的数量,FN为未被识别出的火焰的数量。与现有技术相比,本发明提供的基于改进的YOLOv5模型的火焰检测方法,至少实现了如下的有益效果:
本发明提供的基于改进的YOLOv5模型的火焰检测方法中在基准网络模块中嵌入注意力机制单元,能够同时考虑通道间关系和空间信息,使得第一YOLOv5模型能够更准确地定位并识别目标区域,还能够使第一YOLOv5模型获得更大区域的信息的同时降低计算量。在检测模块增加新增检测层用于检测小尺寸目标,充分学习目标的特征信息,从而提高第一YOLOv5模型对小火焰区域的检测能力。在检测模块引入边界损失函数,是在现有的边界损失函数进行改进得到的,通过调节参数,能够在不同水平的边框回归精度方面具有更大的灵活性,引入的边界损失函数对小数据集和噪声的鲁棒性更强,并且更适合轻量化模型。
当然,实施本发明的任一产品必不特定需要同时达到以上所述的所有技术效果。
通过以下参照附图对本发明的示例性实施例的详细描述,本发明的其它特征及其优点将会变得清楚。
附图说明
被结合在说明书中并构成说明书的一部分的附图示出了本发明的实施例,并且连同其说明一起用于解释本发明的原理。
图1是本发明提出的基于改进的YOLOv5模型的火焰检测方法的一种流程图;
图2是在基准网络模块中嵌入注意力机制单元的一种结构示意图;
图3是在检测模块增加新增检测层的一种结构示意图;
图4是特征融合模块部分的一种结构示意图;
图5是建立火焰数据集的一种流程图;
图6是第一单元的一种结构图;
图7是第一单元的一种切片操作示意图;
图8是注意力机制单元的一种结构示意图;
图9是原始YOLOv5模型和改进后的YOLOv5模型的mAP值变化曲线图;
图10是原始YOLOv5模型和改进后的YOLOv5模型的损失函数变化曲线图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
在这里示出和讨论的所有例子中,任何具体值应被解释为仅仅是示例性的,而不是作为限制。因此,示例性实施例的其它例子可以具有不同的值。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
结合图1、图2、图3和图4,图1是本发明提出的基于改进的YOLOv5模型的火焰检测方法的一种流程图;图2是在基准网络模块中嵌入注意力机制单元的一种结构示意图;图3是在检测模块增加新增检测层的一种结构示意图;图4是特征融合模块部分的一种结构示意图,说明本发明提出的基于改进的YOLOv5模型的火焰检测方法的一种具体的实施例,包括:
S101:建立火焰数据集,火焰数据集包括多张火焰图像;
S102:以YOLOv5模型为基础模型,YOLOv5模型包括顺次设置的输入端、基准网络模块、特征融合模块和检测模块,在基准网络模块中嵌入注意力机制单元、在检测模块增加新增检测层、在检测模块引入边界损失函数得到第一YOLOv5模型,边界损失函数按照以下方法进行计算:
Figure BDA0003570407590000061
其中,
Figure BDA0003570407590000062
为火焰图像的预测边框与结果边框的差异;IOU为交互比,α为调节参数;
在步骤S102中,YOLOv5模型是基于YOLOv3模型基础上改进而来的,包括YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四种模型,这里具体采用YOLOv5s模型为基础模型。基准网络模块是检测网络主干,提取出测试图像的高、中、低层的特征。参见图2和图3,输入端(Input)输入测试图像,可在输入端阶段进行数据集的处理;基准网络模块(Backbone)是检测网络的主干,用于提取出测试图像的高、中、低层的特征;特征融合模块(Neck),用于生成特征金字塔;检测模块(Detect),用于再次卷积得到预测结果。参见图4,X代表上采样,Y代表下采样,特征融合模块主要是用于生成特征金字塔,采用FPN层+PAN层的结构,FPN层自顶向下传达强语义特征,而PAN层自底向上传达强定位特征,特征金字塔会增强模型对于不同缩放尺度对象的检测,从而能够识别大小和尺度不同的同一物体。检测模块是通过再次卷积得到预测结果。
可以理解的是,在基准网络模块中嵌入注意力机制单元,能够同时考虑通道间关系和空间信息,使得第一YOLOv5模型能够更准确地定位并识别目标区域,还能够使第一YOLOv5模型获得更大区域的信息的同时降低计算量。在检测模块增加新增检测层用于检测小尺寸目标,充分学习目标的特征信息,从而提高第一YOLOv5模型对小火焰区域的检测能力。在检测模块引入边界损失函数,是在现有的边界损失函数进行改进得到的,通过调节参数,能够在不同水平的边框回归精度方面具有更大的灵活性,引入的边界损失函数对小数据集和噪声的鲁棒性更强,并且更适合轻量化模型。
可以理解的是,在检测模块引入边界损失函数,可以提升对小目标数据和噪声的鲁棒性,使回归更加准确。IoU全称为交互比,即预测边框和真实边框的交集和并集的比值。IoU是目标检测算法性能mAP值计算的一个非常重要的函数,是一种测量在特定数据集中检测相应物体准确度的一个标准。当预测边框和真实边框越接近时,则IoU越接近1。这样模型就可以通过不断降低Loss来使得模型得出更好的预测结果。本实施例将原始YOLOv5模型所使用的CIou边界损失函数替换为一种新的边界损失函数,为α-IoU,即在现有的IoU_Loss中引入power变换,通过调节α,使检测器在实现不同水平的bbox回归精度方面具有更大的灵活性,实验证明α-IoU对小数据集和噪声的鲁棒性更强,并且更适合轻量化模型。经过多次实验证明,本本实施例的火焰检测方法中α的值为3时训练效果最好。
S103:采用图像数据集对第一YOLOv5模型进行预训练,得到第二YOLOv5模型;
在步骤S103中,由于第一YOLOv5模型是由YOLOv5模型为基础进行改进得到的,使得网络结构及初始权重参数的数量发生改变,所以需要对第一YOLOv5模型进行预训练。在本实施例中,图像数据集采用Microsoft COCO数据集进行预训练,Microsoft COCO数据集是最常用和应用最广泛的大型图像数据集之一,包含超过33万张图片,专为目标检测、语义分割任务而设计,经过预训练得到第二YOLOv5模型进行迁移用于火焰目标检测,这样可以提高火焰目标检测的泛化能力,在一定程度上改善火焰数据集不足造成的过拟合问题,从而促进识别模型的建立,提升识别的准确度。
S104:将火焰数据集划分为训练集、验证集和测试集,测试集中的火焰图像为测试图像,将训练集和验证集输入第二YOLOv5模型进行优化,得到第三YOLOv5模型;
在步骤S104中,验证集可以用于之后对模型得到结果进行验证,具体的,火焰数据集可以按照训练集:验证集:测试集为8:1:1的比例进行划分,但并不限于此,可以根据需求进行设置。
S105:将测试集的测试图像输入第三YOLOv5模型,得到火焰检测结果。
可以理解的是,本实施例通过对YOLOv5模型进行改进得到适用于火焰目标检测的模型,将训练集和验证集输入到第二YOLOv5模型中进行优化训练,训练的过程为:输入图像会通过特征提取网络进行特征提取,得到不同尺度的特征图,然后将这些特征图进行分类和回归,将回归结果进行特征重建操作,会得到更加精细的特征图,在此基础上再次进行分类和回归操作,计算损失,完成基于本发明的火焰目标检测。
在一些可选的实施例中,参照图5,图5是建立火焰数据集的一种流程图,建立火焰数据集,包括:
S1011:采集多张火焰图像,多张火焰图像均不相同,对多张火焰图像进行筛选,删除火焰面积超过火焰图像面积80%的火焰图像得到第一数据集;
在步骤S1011中,采集的多张火焰图像的格式为JPG格式,采集方式可以通过数据集获取,自行拍摄或是其他方式进行获取,这里并不做具体的限制。
S1012:对第一数据集中的火焰图像进行数据增强,数据增强的方式,包括:对第一数据集中的火焰图像分别进行旋转、镜像、缩放、拼接和亮度平衡得到多张扩充的火焰图像,将多张扩充的火焰图像与第一数据集合并形成火焰数据集。
可以理解的是,在本实施例中采用OpenCV对第一数据集中的火焰图像进行数据增强,用于增强网络模型的泛化能力,OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库。在步骤S1012中,旋转和镜像可以提高网络的检测性能和鲁棒性;亮度平衡可以消除环境光照变化和传感器差异引起的亮度偏差对网络性能的影响,但数据增强的方式并不限于此,其它数据增强的方式也在本实施例的保护范围之内。
在一些可选的实施例中,在建立火焰数据集之后还包括对火焰数据集中的火焰图像进行标注;
采用边框将火焰图像的火焰部分圈出,记录边框的信息并将边框的信息转换为第一格式进行保存。
可以理解的是,在本实施例中利用目标检测开源软件LabelImg对火焰图像进行边框标注,标注内容为边框的坐标等,将标注生成的文件转换为第一格式的文件,第一格式为网络模型可用的格式。例如,标注生成的文件格式为xml格式,通过数据转换代码,将xml格式文件转换为txt文本格式,txt文本格式为网络模型可用的格式,本实施例中标注生成文件的转化方式、第一格式为txt文本格式仅为示意,但并不限于此。
在一些可选的实施例中,继续参照图2、图3、图6和图7,图6是第一单元的一种结构图;图7是第一单元的一种切片操作示意图,基准网络模块包括第一单元、第二单元、第三单元和第四单元;第一单元为切片结构;第二单元由卷积层、批量归一化和第一激活函数组成;第三单元由卷积层和瓶颈层组成;第四单元由卷积层与池化层组成;基准网络模块提取测试图像的特征信息得到第一特征图。
可以理解的是,YOLOv5模型的基准网络模块具有第一单元,A框所示的第一单元为切片结构(Focus切片结构),用于进行切片来提取通用的特征,结构如图6所示,将原始3×640×640的图像通过切片操作(Slice)和拼接(Concat)变成12×320×320的特征图,再经过一次64个卷积核的卷积操作,最终变成64×320×320的特征图。B框所示的第二单元是Conv结构,由卷积层(cv)+批量归一化(Batchnorm BN)+第一激活函数组成,第一激活函数为Hardswish激活函数。C框所示的第三单元是C3模块,包含了3个标准卷积层以及2个Bottleneck模块,其作用是从输入图像中提取丰富的信息特征。D框所示的第四单元是SPPF模块,主要进行了池化操作,解决了卷积神经网络对图像重复特征提取的问题,大大提高了产生候选框的速度,节省了计算成本。
在一些可选的实施例中,继续参照图2、图3和图8,图8是注意力机制单元的一种结构示意图,在基准网络模块中嵌入注意力机制单元,包括:注意力机制单元通过沿第一方向和第二方向分别对第一特征图进行平均池化得到第一向量和第二向量,对第一向量和第二向量进行通道融合后利用卷积块进行通道压缩、编码第一特征图沿第一方向和第二方向的空间信息后分离通道、通过卷积块得到与第一特征图通道数相同的第二特征图,通过第二激活函数进行归一化加权。
可以理解的是,注意力机制(Coordinate Attention)将第一特征图分别沿水平方向和垂直方向进行平均池化(X Avg Pool和Y Avg Pool),得到两个1D向量,然后在空间维度上进行Concat操作,再通过1x1卷积块(Conv2d)来压缩通道,然后通过BatchNorm和Non-linear来编码垂直方向和水平方向的空间信息,接下来进行分离操作(split操作),然后再各自通过1x1卷积块(Conv2d)得到与第一特征图相同通道数的第二特征图,最后使用第二激活函数进行归一化加权,第二激活函数为Sigmoid激活函数。具体的,注意力机制单元加入的位置为基准网络模块中第四单元的后面,如图3所示的位置,加入注意力机制单元能够同时考虑通道间关系和空间信息,使得第一YOLOv5模型能够更准确地定位并识别目标区域,还能够使第一YOLOv5模型获得更大区域的信息的同时降低计算量。在检测模块增加新增检测层用于检测小尺寸目标,充分学习目标的特征信息,从而提高第一YOLOv5模型对小火焰区域的检测能力。
在一些可选的实施例中,参照图2,在检测模块增加新增检测层,包括:
新增检测层的尺寸为160×160,用于检测感受野尺寸大于4×4的目标;特征融合模块包括24层特征提取层,增加2层特征融合模块中的特征提取层匹配检测层,第二特征图经过特征融合模块的第二层特征提取层处理得到第三特征图,第二特征图经过特征融合模块的第二十六层特征提取层处理得到第四特征图,第三特征图与第四特征图融合得到第五特征图;新增检测层对第五特征图进行检测。
可以理解的是,本实施例在模型中增加一个160×160的小目标检测层,用来检测感受野在4×4以上的小尺度目标,从而提高模型对小火焰区域的检测能力。在原始YOLOv5模型中,只有四个检测层,检测层的大小分别为80×80、40×40、20×20、10×10。其中80×80检测层用来检测大小在8×8以上的目标,40×40检测层用来检测大小在16*16以上的目标。20×20检测层用来检测32×32以上的目标,10×10检测层用来检测64×64以上的目标,这四种检测层经过YOLOv5网络6次下采样操作后得到的特征图分别是10×10,20×20,40×40,80×80。在这四个特征图中,其中80×80特征图的负责检测小目标,而对应到640×640上,每个特征图的感受野是640/80=8×8大小。即如果原始图像中目标的宽或高小于8像素,经过层层卷积之后会造成部分信息的丢失,这使得浅层特种信息无法被充分利用,神经网络无法学习到目标的特征信息,导致对小火焰区域的检测精度不高。为了提高网络融合多尺度特征的能力,本发明增加了一个160×160的小目标检测层,用来检测感受野在4×4以上的目标。同时还为小目标检测增加了几个特征提取层:在主干网络第24层后,继续对特征图进行上采样等处理,使得特征图继续扩大,同时在第26层,将获取到的大小为160×160的特征图与骨干网络中第2层的特征图进行concat融合,以此获取更大的特征图进行小目标检测。
在一些可选的实施例中,第三YOLOv5模型采用随机梯度下降优化器。
可以理解的是,在对模型进行训练时,在训练前先进行实验环境配置,本实施例采用的实验平台为自主配置服务器,64位Windows10操作系统,处理器为Intel core i911900k CPU,128GB运行内存,NVIDIA Geforce RTX 3090 GPU,24GB显存。本实施例均基于PyTorch深度学习框架构建网络模型,开发环境为PyTorch 1.7.1,CUDA 11.0,Python 3.7。将火焰图像的训练集和验证集输入到改进后的YOLOv5网络模型中进行优化训练,训练的过程是:输入图像会通过特征提取网络进行特征提取,得到不同尺度的特征图,然后将这些特征图进行分类和回归,将回归结果进行特征重建操作,会得到更加精细的特征图,在此基础上再次进行分类和回归操作,计算损失,完成基于本发明的火焰目标检测。随机梯度下降优化器。也称SGD优化器,训练参数设置如下:batch size为64,初始学习率为0.01,动量因子(momentum)为0.937,权重衰减率(decay)为0.0005,色调(H)、饱和度(S)和亮度(V)的增强系数分别为0.015、0.7和0.4。所有检测中均采用单尺度训练,图像输入大小为640×640像素。依据模型自身的特点,YOLOv5原始模型和改进后的YOLOv5模型训练的最大迭代次数(epoch)均设置为600。YOLOv5原始模型使用的预训练模型为YOLOv5s6,改进后的YOLOv5模型即第三YOLOv5模型,为YOLOv5_pre模型。
本实施例提供改进后得到的第三YOLOv5模型进行火焰检测试验,能够以矩形方框的形式清晰准确地标注出图片中的火焰位置和火焰大小范围,并在矩形方框的顶端显示“fire”字样,以表明此处是识别出的火焰,后面所显示的数字,为模型所计算出的识别概率,若方框顶端字样“fire 0.93”表示:此方框处检测为火焰的概率是93%。
在一些可选的实施例中,参照图9和图10,图9是原始YOLOv5模型和改进后的YOLOv5模型的mAP值变化曲线图,图10是原始YOLOv5模型和改进后的YOLOv5模型的损失函数变化曲线图,还包括对第三YOLOv5模型的检测效果进行评价,按照以下方式进行计算:
Figure BDA0003570407590000121
其中,mAP为精度检测值,m为取平均数,Precision(K)为精度,Recall(K)为召回,AP为在0至1范围内正确率指标对召回率指标的积分。
可以理解的是,火焰检测模型的评价指标:一般采用检测精度(mAP值)和检测速度(fps值)等客观评价指标来评价目标检测模型的检测性能通过检测模型自身的计算,本实施例改进得到的第三YOLOv5模型的火焰目标检测模型的检测速度(fps值)为56帧/s,可以满足消防机器人所需的实时检测要求。在进行模型检测性能的评价分析时,本实施例将YOLOv5原始模型的检测效果与本发明改进的YOLOv5模型(即第三YOLOv5模型)的性能(mAP值)做了对比,从图9中可以看出,在阈值设定为0.5的前提下,本实施例提供的改进的YOLOv5模型的mAP值最高可达到96.6%,并趋于稳定,而原始YOLOv5模型的mAP值最大值为93.3%。此结果表明,本实施例提供的第三YOLOv5模型的检测准确率非常高,且对比改进前的原始模型,检测准确度也提升了很多。此外,除了平均精度值(mAP值)是用来判断目标检测模型性能的重要指标,损失函数曲线也可以作为辅助评价指标,直观地反映在训练过程中网络模型是否随着迭代次数的增加而稳定收敛。本发明也对YOLOv5原始模型和本发明改进后的YOLOv5火焰目标检测模型的损失函数做了对比,二者的变化曲线如图10所示。从图10中可以看出,本实施提供的改进后的YOLOv5模型的损失函数比原始YOLOv5模型的损失函数收敛速度更快,在模型迭代500次时,损失值为0.02,接近于0,网络基本收敛。
具体的,在0至1范围内正确率指标对召回率指标的积分按照以下方式进行计算:
Figure BDA0003570407590000131
其中,Precision为正确率,Recall为召回率,AP为在0至1范围内正确率指标对召回率指标的积分。
可以理解的是,AP为在0至1范围内正确率指标对召回率指标的积分,即正确率-召回率曲线下的面积,因此,AP越高,网络的精确度越高。
具体的,正确率、召回率按照以下方式进行计算:
Figure BDA0003570407590000132
Figure BDA0003570407590000133
其中,TP为正确标识出火焰的包围框的数量,FP为错误标识出火焰的包围框的数量,FN为未被识别出的火焰的数量。
可以理解的是,如果通过预测框和真实火焰框计算得出的IoU大于0.5,则检测框被标记为TP,否则检测框被标记为FP,如果检测真实火焰目标没有匹配到对应的预测框,则标记为FN。由于正确率Precision和召回率Recall之间是互不影响的,为了更好的评估检测精度,所以引入mAP值来表示检测精度。
通过上述实施例可知,本发明提供的基于改进的YOLOv5模型的火焰检测方法,至少实现了如下的有益效果:
本发明提供的基于改进的YOLOv5模型的火焰检测方法中在基准网络模块中嵌入注意力机制单元,能够同时考虑通道间关系和空间信息,使得第一YOLOv5模型能够更准确地定位并识别目标区域,还能够使第一YOLOv5模型获得更大区域的信息的同时降低计算量。在检测模块增加新增检测层用于检测小尺寸目标,充分学习目标的特征信息,从而提高第一YOLOv5模型对小火焰区域的检测能力。在检测模块引入边界损失函数,是在现有的边界损失函数进行改进得到的,通过调节参数,能够在不同水平的边框回归精度方面具有更大的灵活性,引入的边界损失函数对小数据集和噪声的鲁棒性更强,并且更适合轻量化模型。
虽然已经通过例子对本发明的一些特定实施例进行了详细说明,但是本领域的技术人员应该理解,以上例子仅是为了进行说明,而不是为了限制本发明的范围。本领域的技术人员应该理解,可在不脱离本发明的范围和精神的情况下,对以上实施例进行修改。本发明的范围由所附权利要求来限定。

Claims (10)

1.一种基于改进的YOLOv5模型的火焰检测方法,其特征在于,包括:
建立火焰数据集,所述火焰数据集包括多张火焰图像;
以YOLOv5模型为基础模型,所述YOLOv5模型包括顺次设置的输入端、基准网络模块、特征融合模块和检测模块,在所述基准网络模块中嵌入注意力机制单元、在所述检测模块增加新增检测层、在所述检测模块引入边界损失函数得到第一YOLOv5模型,所述边界损失函数按照以下方法进行计算:
Figure FDA0003570407580000011
其中,
Figure FDA0003570407580000012
为所述火焰图像的预测边框与结果边框的差异;IOU为交互比,α为调节参数;
采用图像数据集对所述第一YOLOv5模型进行预训练,得到第二YOLOv5模型;
将所述火焰数据集划分为训练集、验证集和测试集,所述测试集中的所述火焰图像为测试图像,将所述训练集和所述验证集输入所述第二YOLOv5模型进行优化,得到第三YOLOv5模型;
将所述测试集的所述测试图像输入所述第三YOLOv5模型,得到火焰检测结果。
2.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述建立火焰数据集,包括:
采集多张所述火焰图像,多张所述火焰图像均不相同,对多张所述火焰图像进行筛选,删除火焰面积超过所述火焰图像面积80%的所述火焰图像得到第一数据集;
对所述第一数据集中的所述火焰图像进行数据增强,所述数据增强的方式,包括:对所述第一数据集中的所述火焰图像分别进行旋转、镜像、缩放、拼接和亮度平衡得到多张扩充的所述火焰图像,将多张扩充的所述火焰图像与所述第一数据集合并形成所述火焰数据集。
3.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,在所述建立火焰数据集之后还包括对所述火焰数据集中的所述火焰图像进行标注;
采用边框将所述火焰图像的火焰部分圈出,记录所述边框的信息并将所述边框的信息转换为第一格式进行保存。
4.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述基准网络模块包括第一单元、第二单元、第三单元和第四单元;所述第一单元为切片结构;所述第二单元由卷积层、批量归一化和第一激活函数组成;所述第三单元由所述卷积层和瓶颈层组成;所述第四单元由所述卷积层与池化层组成;
所述基准网络模块提取所述测试图像的特征信息得到第一特征图。
5.根据权利要求4所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述在所述基准网络模块中嵌入注意力机制单元,包括:
所述注意力机制单元通过沿第一方向和第二方向分别对所述第一特征图进行平均池化得到第一向量和第二向量,对所述第一向量和所述第二向量进行通道融合后利用卷积块进行通道压缩、编码所述第一特征图沿所述第一方向和所述第二方向的空间信息后分离通道、通过所述卷积块得到与所述第一特征图通道数相同的第二特征图,通过第二激活函数进行归一化加权。
6.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述在所述检测模块增加新增检测层,包括:
所述新增检测层的尺寸为160×160,用于检测感受野尺寸大于4×4的目标;
所述特征融合模块包括24层特征提取层,增加2层所述特征融合模块中的所述特征提取层匹配所述检测层,所述第二特征图经过所述特征融合模块的第二层所述特征提取层处理得到第三特征图,所述第二特征图经过所述特征融合模块的第二十六层所述特征提取层处理得到第四特征图,所述第三特征图与所述第四特征图融合得到第五特征图;
所述新增检测层对所述第五特征图进行检测。
7.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述第三YOLOv5模型采用随机梯度下降优化器。
8.根据权利要求1所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,还包括对所述第三YOLOv5模型的检测效果进行评价,按照以下方式进行计算:
Figure FDA0003570407580000031
其中,mAP为精度检测值,m为取平均数,Precision(K)为精度,Recall(K)为召回,AP为在0至1范围内正确率指标对召回率指标的积分。
9.根据权利要求8所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述在0至1范围内正确率指标对召回率指标的积分按照以下方式进行计算:
Figure FDA0003570407580000032
其中,Precision为正确率,Recall为召回率,AP为在0至1范围内正确率指标对召回率指标的积分。
10.根据权利要求8所述的基于改进的YOLOv5模型的火焰检测方法,其特征在于,所述正确率、所述召回率按照以下方式进行计算:
Figure FDA0003570407580000033
Figure FDA0003570407580000034
其中,TP为正确标识出火焰的所述包围框的数量,FP为错误标识出火焰的所述包围框的数量,FN为未被识别出的火焰的数量。
CN202210321847.4A 2022-03-29 2022-03-29 基于改进的YOLOv5模型的火焰检测方法 Pending CN114662605A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210321847.4A CN114662605A (zh) 2022-03-29 2022-03-29 基于改进的YOLOv5模型的火焰检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210321847.4A CN114662605A (zh) 2022-03-29 2022-03-29 基于改进的YOLOv5模型的火焰检测方法

Publications (1)

Publication Number Publication Date
CN114662605A true CN114662605A (zh) 2022-06-24

Family

ID=82033870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210321847.4A Pending CN114662605A (zh) 2022-03-29 2022-03-29 基于改进的YOLOv5模型的火焰检测方法

Country Status (1)

Country Link
CN (1) CN114662605A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863252A (zh) * 2023-09-04 2023-10-10 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116863252A (zh) * 2023-09-04 2023-10-10 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质
CN116863252B (zh) * 2023-09-04 2023-11-21 四川泓宝润业工程技术有限公司 动火作业现场易燃物检测方法、装置、设备、存储介质

Similar Documents

Publication Publication Date Title
CN113610822B (zh) 一种基于多尺度信息融合的表面缺陷检测方法
CN114241548A (zh) 一种基于改进YOLOv5的小目标检测算法
CN112784756B (zh) 人体识别跟踪方法
CN110705566B (zh) 一种基于空间金字塔池的多模态融合显著性检测方法
CN112036447A (zh) 零样本目标检测系统及可学习语义和固定语义融合方法
CN115035361A (zh) 基于注意力机制和特征交叉融合的目标检测方法及系统
CN115705637A (zh) 一种基于改进YOLOv5模型的丝饼缺陷检测方法
CN115457428A (zh) 融入可调节坐标残差注意力的改进YOLOv5火灾检测方法及装置
CN114463759A (zh) 一种基于无锚框算法的轻量化文字检测方法及装置
CN116994069B (zh) 一种基于多模态信息的图像解析方法及系统
KR20200010672A (ko) 딥러닝을 이용한 스마트 상품 검색 방법 및 시스템
CN115861608A (zh) 一种基于光强与偏振线索的伪装目标分割方法及系统
CN114565891A (zh) 一种基于图形生成技术的烟火监测方法及系统
CN115375781A (zh) 一种数据处理方法及其装置
CN112668638A (zh) 一种图像美学质量评估和语义识别联合分类方法及系统
CN115424171A (zh) 火焰和烟雾检测方法、装置和存储介质
CN114612755A (zh) 一种火灾检测方法、系统、电子设备和可读存储介质
CN114662605A (zh) 基于改进的YOLOv5模型的火焰检测方法
CN114708518A (zh) 基于半监督学习与先验知识嵌入策略的螺栓缺陷检测方法
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN114332473A (zh) 目标检测方法、装置、计算机设备、存储介质及程序产品
CN113469099A (zh) 目标检测模型的训练方法、检测方法、装置、设备及介质
CN117033609A (zh) 文本视觉问答方法、装置、计算机设备和存储介质
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN116092179A (zh) 一种改进的yolox跌倒检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination