CN113255797A - 一种基于深度学习模型的危险品检测方法和系统 - Google Patents

Abstract

本发明属于危险品检测技术领域，涉及一种基于深度学习模型的危险品检测方法和系统：通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；对融合图像进行标定，并给出对应的标签；根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。其通过将红外镜头和光学镜头相结合，解决了光线较暗时无法捕捉图像的问题，实现了全天候目标检测。

Description

一种基于深度学习模型的危险品检测方法和系统

技术领域

本发明涉及一种基于深度学习模型的危险品检测方法和系统，属于智能检测技术领域，特别涉及危险品智能检测技术领域。

背景技术

目前，基于深度学习的目标检测算法大致可以分为两种：第一种是两阶段(two-stage)算法：先产生候选区域，然后再进行CNN或RCNN分类；第二种是单阶段(one-stage)算法：直接对输入图像应用算法并输出类别和相应的定位。YOLO(You Only Look Once)模型是继RCNN、Fast-RCNN和Faster-RCNN之后，Ross Girshick针对深度学习目标检测速度问题提出的另外一种目标检测算法模型。

YOLO模型将目标检测问题转换为一个回归问题，直接预测出预测框(BoundingBox)和相关的类别信息。起初YOLO-V0提出了将独热编码转化为带有检测区域的坐标信息和置信度的一个编码信息，本质上是运用了矩阵映射的原理，实现了直接返回预测框的效果，不足之处是只能完成单个目标的预测。为了实现多个目标的检测功能，产生了YOLO-V1，其通过端到端的训练，仅使用一个模型、一个目标函数就能够实现目标检测的目的，规避了多模块模型固有的缺陷，而且还减少了工程的复杂度。其不需要单独的搜索候选区域，也不需要单独的分类，因此其检测速度特别快，可以达到45fps，而FastYOLO检测速度可以达到155fps。YOLO模型对背景的识别效果较好，且有一定的迁移性，YOLO-V1模型最大的问题是对小目标的检测不准确。

YOLO-V2模型在YOLO-V1模型的基础上，去掉了全连接层，并在每一个卷积层后边都添加了一个批量归一化层(Batch Normalization，BN)，并且对每一批数据都做了归一化的预处理，这两个改变进一步提升了算法的速度。

YOLO-V3模型在网络上采用的是Darknet-53结构，在YOLO-V2模型的基础上，每隔两层增加了一个残差网络(Residual Networks)，即捷径层(Short Cut)，使用这种方法在训练很深层的网络时，能够解决梯度消失或者梯度爆炸的问题。

YOLO-V4模型实现了单GPU训练得到快速准确的目标检测，集成了目前主流网络的大多优点，提高了小目标物体的预测精度。YOLO-V5模型相对于YOLO-V4模型，在数据处理上进行了更新，采用了自适应锚定框计算等方法，进一步提高了模型预测的准确度，而且增加了小目标的数据量，弥补了之前YOLO模型在小目标检测上的不足，并且又提高了在重叠情况下的物体识别的准确度，而且在模型结构上又进一步缩小，在预测效率上有了一定的提升。

YOLO-V5模型是基于光学镜头实现的目标检测，在光线较暗的地方或者光线不充足的夜晚无法实现原有的对目标检测的功能。导致这种现象的根本原因是光学镜头不能在光线较弱或者无光的情况下完成图像的拍摄。红外摄像头采集到的图片是单通道的图像信息，不能直接作为输入信息应用于YOLO-V5模型上，若将单通道图像转化为三通道图像，应用于识别模型上，预测的精确度也不是很理想。

发明内容

针对上述问题，本发明的目的是提供了一种基于深度学习模型的危险品检测方法和系统，其通过将红外镜头和光学镜头相结合，解决了在光线较暗的条件下，光学镜头无法捕捉图像的问题，实现了YOLO模型全天候的目标检测。

为实现上述目的，本发明采取以下技术方案：一种基于深度学习模型的危险品检测方法，包括以下步骤：S1通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；S2对融合图像进行标定，并给出对应的标签；S3根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；S4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；S5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。

进一步，步骤S1中光学图像和红外图像融合的方法为：S1.1判断光照强度，并根据光照强度获得加权因子α随光照强度变化曲线；S1.2通过光学镜头进行图像获得原始RGB图像，通过红外镜头获得红外图像；S1.3对原始RGB图像中各通道的像素乘以(1-α)，对红外图像的像素乘以α，从而获得最终的融合图像。

进一步，加权因子α随光照强度变化曲线分为三个部分，当光照强和光照弱时，加权因子均为设定值，光照弱时的加权因子大于光照强时的加权因子；光照适中时，加权因子随光照强度线性变化，且加权因子α随光照强度增加而降低。

进一步，步骤S1中还包括对光学镜头和红外镜头采集到的图像进行预处理，预处理过程包括自适应锚框计算、马赛克数据增强和自适应图片缩放。

进一步，自适应锚框计算的方法为：根据图像设定初始锚框，在网络训练中，根据初始锚框输出预测框，将预测框和图像中真实框定的区域进行比对，计算两者差距，根据差异对初始锚框的参数进行更新，并更新网络参数，直至获得的预测框和图像中真实框定的区域吻合。

进一步，马赛克数据增强的方法为：在若干图像中，从每个图像各选出一个不重复的部分，将图像选出的部分进行组合，生成新的图像。

进一步，自适应图片缩放将长a宽b的长方形图像缩放为一边长为m的正方形，b边需要填充的像素长度p为：

p＝mod(P,2^γ)÷2

其中，P为原始长和宽乘以缩放系数后的差值，γ为下采样的次数，mod为取余运算。

进一步，模型为YOLO-V5模型，包括依次连接的输入端、主干子模块、Neck子模块和预测子模块。

进一步，主干子模块包括了Focus结构和跨阶段局部网络结构，Focus结构将特征图进行分割，通过跨像素点裁剪提取将一张特征图转化为若干张有效的特征图。

本发明还公开了一种基于深度学习模型的危险品检测系统，包括：融合模块，用于通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；标定模块，用于对融合图像进行标定，并给出对应的标签；预训练模块，用于根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；二次训练模块，用于对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；检测模块，用于将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。

本发明由于采取以上技术方案，其具有以下优点：

1、本发明能够实现全天候监控，通过光学镜头与红外镜头采集图像的结合，实现了对于危险品的24小时检测功能，使YOLO模型的目标检测功能不再仅限于白天的使用，拓宽了YOLO模型实用范围，鲁棒性也得到了进一步提升。

2、模型识别准确率的提升，对于光线较暗的场景，传统YOLO模型有时会错误的识别目标或者识别不到待检测目标，红外图像信息的加入正好弥补了这一缺陷，进一步提高了模型在光线较暗和无光条件线下的检测效果。

3、模型的预测框框选位置更加精确，因为红外图像是单一颜色的图像，在一定程度上加大了目标在图像中的轮廓信息，减少了物体表面的装饰纹理的干扰，达到了一定的数据增强的效果，降低了一些由于光照的明暗强度所带来的干扰，由此模型可以更加精确的捕获到目标的准确位置。

附图说明

图1是本发明一实施例中基于深度学习模型的危险品检测方法的流程图；

图2是本发明一实施例中光学图像和红外图像融合方法的流程图；

图3是本发明一实施例中加权因子α随光照强度变化曲线图；

图4是本发明一实施例中YOLO-V5模型的结构示意图；

图5是本发明一实施例中马赛克增强方法的示意图；

图6是本发明一实施例中自适应图片缩放方法的示意图；

图7是本发明一实施例中Focus结构处理过程的示意图；

图8是本发明一实施例中YOLO-V5模型训练方法的流程图。

具体实施方式

为了使本领域技术人员更好的理解本发明的技术方向，通过具体实施例对本发明进行详细的描绘。然而应当理解，具体实施方式的提供仅为了更好地理解本发明，它们不应该理解成对本发明的限制。在本发明的描述中，需要理解的是，所用到的术语仅仅是用于描述的目的，而不能理解为指示或暗示相对重要性。

建筑施工现场安全问题广泛受到国家与社会的重视，其中化学材料的储存与安置是施工现场需要关注的重点工作。但由于摄像头多为光学镜头，在光线昏暗时，无法很好的对图像进行捕捉，无法实现全天候全场地的安全监督，导致施工现场安全隐患不能及时的发现，从而造成更加严重的人员伤亡和经济财产的损失。本发明提出了一种基于深度学习模型的危险品检测方法和系统，基于不同施工场地的需求，在易发生安全隐患的区域安置光学镜头和红外镜头，通过对视频区域中目标物体的检测，当特殊场所出现安全隐患的危险品时做出及时的预警提示，第一时间通知相关人员进行相应的处理，从而达到降低施工现场危险发生的效果。本发明的深度学习模型是基于YOLO-V5模型进行的改进，将红外图像与光学图像加权融合，改变了传统的仅由RGB三通道数据输入训练的方式，实现了基于光学镜头和红外镜头的全天候检测功能，提高了目标识别的准确度和预测框框选范围的精确度。下面结合附图，通过两个实施例对本发明的技术方案进行详细说明。

实施例一

本实施例公开了一种基于深度学习模型的危险品检测方法，如图1所示，包括以下步骤：

S1在红外光源照射下，通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像。

本步骤中首先需要确定检测目标的数量与种类。根据施工现场用到的化学材料、建筑材料和其他材料等用料信息，确定具体的需要检测的目标。统计需要检测的物品种类数量。确定使用的图像采集设备。根据检测目标与检测仪器的远近程度，确定摄像头拍摄图像的清晰成图，摄像头的清晰程度越高，检测小目标物体时的效果越好。储存分类采集图像。将不同类别的待检测目标的图像分别储存与不同的文件下，以便后续数据预处理程序的操作使用。

光学图像和红外图像融合的方法，如图2所示，包括以下步骤：

S1.1判断光照强度，并根据光照强度获得加权因子α随光照强度变化曲线，如图3所示，加权因子α随光照强度变化曲线分为三个部分，当光照强和光照弱时，加权因子均为设定值，光照弱时的加权因子大于光照强时的加权因子，优选当光照强度很弱，即光照强度小于等于5×10²lx时，加权因子α＝0.9，当光线强度很强，即光照强度大于等于3×10⁴lx时，加权因子α＝0.1；当加权因子0.1<α<0.9，即光照强度小于3×10⁴lx，且光照强度大于5×10²lx，属于光照适中的范围。光照适中时，加权因子随光照强度线性变化，且加权因子α随光照强度增加而降低，满足的直线方程为：0.8x+29500y＝26950,x∈(500,30000)。其中，lx是光照强度单位勒克斯的简写。本实施例中优选采用光敏来对光照强度进行检测，光敏电阻，又称光电阻、光导体、光导管，是利用光电导效应的一种特殊的电阻，它的电阻和入射光的强弱有直接关系。光强度增加，则电阻减小；光强度减小，则电阻增大。此处光敏电阻只是一种优选的获得光强度的方法，其他本领域中常规的获得光强度的方法也可以用于本实施例中。

S1.2通过光学镜头进行图像获得原始RGB图像，通过红外镜头获得红外图像。

S1.3对原始RGB图像中各通道的像素乘以(1-α)，对红外图像的像素乘以α，从而获得最终的融合图像，即图像融合的融合公式为：

R'＝(1-α)·R+α·Y

G'＝(1-α)·G+α·Y

B'＝(1-α)·B+α·Y

其中，R、G、B是原始RGB图像红、绿、蓝三个通道对应的像素值，Y代表红外单通道的像素值，R’、G’、B’是融合图像红、绿、蓝三个通道对应的像素值。

S2对融合图像进行标定，并给出对应的标签。

在GitHub官方网站上下载并安装LabelImg标签工具。配置标签工具使用的环境。对图像进行预处理，并进行数据保存。选择处理后的图像，对检测目标进行图像的框选，并将标签信息保存到与图像信息对应的文件。

S3根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练。

模型为YOLO-V5模型，如图4所示，包括依次连接的输入端、主干子模块、Neck子模块和预测子模块。

输入端对光学镜头和红外镜头采集到的图像进行预处理，预处理过程包括自适应锚框计算、马赛克数据增强和自适应图片缩放。

自适应锚框计算的方法为：根据图像设定初始锚框，在网络训练中，根据初始锚框输出预测框，将预测框和图像中真实框定的区域进行比对，计算两者差距，根据差异对初始锚框的参数进行更新，并更新网络参数，直至获得的预测框和图像中真实框定的区域吻合。

马赛克数据增强的方法，如图5所示，包括以下步骤：在若干图像中，从每个图像各选出一个不重复的部分，将图像选出的部分进行组合，生成新的图像。如图5所示，针对同一对象选取四张图像，从每一张图像中裁剪一个区域，每张图像裁剪出的区域不同，且各区域不重叠，且各个区域组合起来可以组成一个完整的图像，将各剪切出的区域进行组合，形成了一个新的图像。其有效解决了训练小目标对象时的问题，提高了模型在检测不同尺寸大小目标时的精确度。

在通常的目标检测算法中，由于图片大小不同，故需要先将原始图像统一缩放到一个标准尺寸，在输入模型中进行训练、计算。但由于各图像的长宽比不同，缩放填充后，图像中黑边的大小不同，如果填充的比较多，则存在信息冗余的问题，增大模型的计算量，影响模型的检测速度。如图6所示，本实施例中YOLO-V5模型在letterbox函数的基础上进行了修改，相比现有的自适应缩放方法，增加的黑边比较少，从而减少了模型的计算量，大幅度提升了目标检测速度。

本实施例中的自适应图片缩放方法为：将长a宽b的长方形图像缩放为一边长为m的正方形，首先确定缩放比例：

m÷a＝β，m÷b＝ε

其中，β为长度方向的缩放比例，γ为宽度方向的缩放比例。随后确定缩放系数δ，缩放系数δ＝min(β，ε)，原始长和宽乘以缩放系数后得：

a₁＝a·δ，b₁＝b·δ

由于，a>b，故β<ε，故β＝δ，a₁＝m。原始长和宽乘以缩放系数后的差值P＝m-b₁＝a₁-b₁。

b边需要填充的像素长度p为：

p＝mod(P,2^γ)÷2

其中，γ为下采样的次数，mod为取余运算。

主干子模块(Backbone)包括了Focus结构和跨阶段局部网络结构(CSP)，Focus结构将特征图进行分割，通过跨像素点裁剪提取将一张特征图转化为若干张有效的特征图，如图7所示，达到了筛选和提升训练数据鲁棒性的效果。跨阶段局部网络结构类似于DenseNet网络，能够加强CNN的学习能力、减少计算瓶颈和内存消耗，很大程度上减少了资源开支。

Neck子模块位于主干子模块和预测子模块之间，预测子模块用于获取模型输出内容，利用提取的图像特征，对图像进行预测。为了更好的利用主干子模块特征提取功能，YOLO-V5模型的Neck子模块采用CSP2结构，加强网络特征融合的能力。

模型的损失函数采用GIOU Loss，以提高重叠目标识别率。

S4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型。

本实施例中YOLO-V5模型的训练过程如图8所示，即先将融合后的图像输入模型进行预训练，通过从采集图像中分出的预测集对预训练结果进行验证，若验证结果比较好则跳过本步骤直接进入步骤S5，如果验证效果不好，或者对某一类图像不太好，则统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型。

S5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。

根据实际需要，可以在检测到危险品时，进行报警，或通知维修人员，或通过屏幕进行显示，或自动停止相应功能。

若有新的需要检测的目标，则需要重新重复步骤S1-S5，以对模型进行更新。

实施例二

基于相同的发明构思，本实施例公开了一种基于深度学习模型的危险品检测系统，包括：

融合模块，用于通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；

标定模块，用于对融合图像进行标定，并给出对应的标签；

预训练模块，用于根据标签设定模型初始参数，并采用标定后的融合图像对模型进行预训练；

二次训练模块，用于对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对模型进行二次训练，获得最佳检测模型；检测模块，用于将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入最佳检测模型获得危险品检测结果。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。上述内容仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围。

Claims (10)

1.一种基于深度学习模型的危险品检测方法，其特征在于，包括以下步骤：

S1通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；

S2对所述融合图像进行标定，并给出对应的标签；

S3根据所述标签设定模型初始参数，并采用标定后的融合图像对所述模型进行预训练；

S4对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对所述模型进行二次训练，获得最佳检测模型；

S5将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入所述最佳检测模型获得危险品检测结果。

2.如权利要求1所述的基于深度学习模型的危险品检测方法，其特征在于，所述步骤S1中光学图像和红外图像融合的方法为：

S1.1判断光照强度，并根据所述光照强度获得加权因子α随光照强度变化曲线；

S1.2通过光学镜头进行图像获得原始RGB图像，通过红外镜头获得红外图像；

S1.3对所述原始RGB图像中各通道的像素乘以(1-α)，对所述红外图像的像素乘以α，从而获得最终的融合图像。

3.如权利要求2所述的基于深度学习模型的危险品检测方法，其特征在于，所述加权因子α随光照强度变化曲线分为三个部分，当光照强和光照弱时，所述加权因子均为设定值，光照弱时的加权因子大于光照强时的加权因子；光照适中时，所述加权因子随光照强度线性变化，且所述加权因子α随光照强度增加而降低。

4.如权利要求1-3任一项所述的基于深度学习模型的危险品检测方法，其特征在于，所述模型为YOLO-V5模型，包括依次连接的输入端、主干子模块、Neck子模块和预测子模块。

5.如权利要求4所述的基于深度学习模型的危险品检测方法，其特征在于，所述输入端对光学镜头和红外镜头采集到的图像进行预处理，所述预处理过程包括自适应锚框计算、马赛克数据增强和自适应图片缩放。

6.如权利要求5所述的基于深度学习模型的危险品检测方法，其特征在于，所述自适应锚框计算的方法为：根据图像设定初始锚框，在网络训练中，根据初始锚框输出预测框，将所述预测框和图像中真实框定的区域进行比对，计算两者差距，根据所述差异对所述初始锚框的参数进行更新，并更新网络参数，直至获得的预测框和图像中真实框定的区域吻合。

7.如权利要求5所述的基于深度学习模型的危险品检测方法，其特征在于，所述马赛克数据增强的方法为：在若干图像中，从每个图像各选出一个不重复的部分，将图像选出的部分进行组合，生成新的图像。

8.如权利要求5所述的基于深度学习模型的危险品检测方法，其特征在于，所述自适应图片缩放将长a宽b的长方形图像缩放为一边长为m的正方形，b边需要填充的像素长度p为：

p＝mod(P,2^γ)÷2

其中，P为原始长和宽乘以缩放系数后的差值，γ为下采样的次数，mod为取余运算。

9.如权利要求4所述的基于深度学习模型的危险品检测方法，其特征在于，所述主干子模块包括了Focus结构和跨阶段局部网络结构，所述Focus结构将特征图进行分割，通过跨像素点裁剪提取将一张特征图转化为若干张有效的特征图。

10.一种基于深度学习模型的危险品检测系统，其特征在于，包括：

融合模块，用于通过光学镜头和红外镜头同时进行图像采集，并将光学图像和红外图像融合获得融合图像；

标定模块，用于对所述融合图像进行标定，并给出对应的标签；

预训练模块，用于根据所述标签设定模型初始参数，并采用标定后的融合图像对所述模型进行预训练；

二次训练模块，用于对经过训练的模型进行验证，统计检测错误的融合图像，根据其特征对图像进行补充，并采用融合图像和补充后的图像对所述模型进行二次训练，获得最佳检测模型；

检测模块，用于将实际场景中光学镜头和红外镜头采集的图像进行融合，随后输入所述最佳检测模型获得危险品检测结果。

Images