CN113850242A - 一种基于深度学习算法的仓储异常目标检测方法及系统 - Google Patents

一种基于深度学习算法的仓储异常目标检测方法及系统 Download PDF

Info

Publication number
CN113850242A
CN113850242A CN202111437250.8A CN202111437250A CN113850242A CN 113850242 A CN113850242 A CN 113850242A CN 202111437250 A CN202111437250 A CN 202111437250A CN 113850242 A CN113850242 A CN 113850242A
Authority
CN
China
Prior art keywords
network
feature extraction
target detection
abnormal target
video monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111437250.8A
Other languages
English (en)
Other versions
CN113850242B (zh
Inventor
李冠蕊
罗远哲
刘瑞景
荣云虎
陆立军
郑玉洁
李文静
王传程
刘辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Original Assignee
Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing China Super Industry Information Security Technology Ltd By Share Ltd filed Critical Beijing China Super Industry Information Security Technology Ltd By Share Ltd
Priority to CN202111437250.8A priority Critical patent/CN113850242B/zh
Publication of CN113850242A publication Critical patent/CN113850242A/zh
Application granted granted Critical
Publication of CN113850242B publication Critical patent/CN113850242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于深度学习算法的仓储异常目标检测方法及系统，该方法包括：构建基于深度学习算法的仓储异常目标检测网络；以数据增加处理后的仓储视频监控图像为训练集，训练仓储异常目标检测网络，获得仓储异常目标检测模型；利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测；仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；骨干网络为改进的ResNet34残差网络，改进的ResNet34残差网络的激活函数为Mish激活函数，改进的ResNet34残差网络包括批量标归一化层。本发明提高了仓储异常目标检测的效率和准确性。

Description

一种基于深度学习算法的仓储异常目标检测方法及系统
技术领域
本发明涉及目标检测技术领域，特别是涉及一种基于深度学习算法的仓储异常目标检测方法及系统。
背景技术
随着物联网、大数据以及人工智能的快速发展，仓储领域已经插上了智能化的翅膀，进入了高质量飞速发展的阶段。智能仓储已经成为现在大型公司的标准配置。亚马逊公司的Tracy物流中心采用Kiva机器人进行自动搬运分拣，京东公司的无人物流仓库，耐克公司的中国物流中心（CLC）等，这些智能仓储已经比比皆是。更重要的是这种趋势正在向中小企业扩展。然而，智能仓储发展的越迅猛，越要重视智能仓储的安全问题。仓储是货物的暂存和中转的场所，它能够起到保存和保护其货物等重大作用。如果智能仓储的安全问题不解决，一旦出现失火、进水，毒气泄漏等相关安全问题，会产生巨大并且无法挽回的经济损失，还会威胁到很多人的生命安全。所以，智能仓储的安全问题非常重要，研究并防范智能仓储的安全具有十分重大的意义。但是，近年来智能仓储由于安全而发生的事故接连不断的发生，现阶段的智能仓储安全技术发展还不够完善，不能完全满足人们的需要，智能仓储的安全事故会带来巨大的财产损失。
发明内容
本发明的目的是提供一种基于深度学习算法的仓储异常目标检测方法及系统，提高了仓储异常目标检测的效率和准确性。
为实现上述目的，本发明提供了如下方案：
一种基于深度学习算法的仓储异常目标检测方法，包括：
获得多个仓储视频监控图像；
对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像；
构建基于深度学习算法的仓储异常目标检测网络；
以数据增加处理后的仓储视频监控图像为训练集，训练所述仓储异常目标检测网络，获得仓储异常目标检测模型；
利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测；
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；所述骨干网络为改进的ResNet34残差网络，所述改进的ResNet34残差网络的激活函数为Mish激活函数，所述改进的ResNet34残差网络包括批量标归一化层；所述多尺度特征融合网络包括FPN网络和PAN网络，所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，所述PAN网络用于对所述FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；所述预测层采用的损失函数为综合损失函数，所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
可选地，所述深度学习算法为YOLOv5算法。
可选地，所述对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像，具体包括：
采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变，或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。
可选地，所述改进的ResNet34残差网络包括多个依次连接的特征提取模块，各所述特征提取模块包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元的输入为所述特征提取模块的输入，所述第一特征提取单元的输出连接所述第二特征提取单元的输入，所述第二特征提取单元的输出为所述特征提取模块的输出，所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数，所述特征提取模块的输入连接所述特征提取模块的输出。
可选地，所述预测层采用K-Means聚类算法确定锚框，所述K-Means聚类算法中k值为6，采用非极大值抑制算法进行锚框选择。
可选地，所述综合损失函数表示为：
Loss=Loss B +Loss C +Loss O ；
其中，Loss B表示回归框损失函数，Loss C表示交叉熵损失函数，Loss O表示IOU置信度损失函数；
Figure 841912DEST_PATH_IMAGE001
；
Figure 937913DEST_PATH_IMAGE002
；
Figure 7500DEST_PATH_IMAGE003
；
其中，λ Coord表示第一超参数，λ CLS表示第二超参数，λ Noo表示第三超参数，λ o表示第四超参数，B表示偏置参数，S2表示网格中单元格的数量，x i表示单元格i中心位置的x轴坐标，y i表示单元格i中心位置的y轴坐标，
Figure 205263DEST_PATH_IMAGE004
表示单元格i中异常目标预测位置的x轴坐标，
Figure 487340DEST_PATH_IMAGE005
表示单元格i中异常目标预测位置的y轴坐标，w i表示单元格i中真实边界框的长边长度，h i表示单元格i中真实边界框的短边长度，
Figure 703427DEST_PATH_IMAGE006
表示单元格i中预测边界框的长边长度，
Figure 943915DEST_PATH_IMAGE007
表示单元格i中预测边界框的短边长度，c表示类别损失函数，p i(c)表示是真实异常目标类别的概率，
Figure 628974DEST_PATH_IMAGE008
表示预测异常目标类别的概率，c i表示真实异常目标的边界框置信度，
Figure 980321DEST_PATH_IMAGE009
预测异常目标的边界框置信度；当单元格i中存在异常目标时，
Figure 612484DEST_PATH_IMAGE010
=
Figure 289453DEST_PATH_IMAGE011
=1，
Figure 196229DEST_PATH_IMAGE012
=0，当单元格i中不存在异常目标时，
Figure 803797DEST_PATH_IMAGE010
=
Figure 745208DEST_PATH_IMAGE011
=0，
Figure 327499DEST_PATH_IMAGE012
=1。
本发明还公开了一种基于深度学习算法的仓储异常目标检测系统，包括：
图像采集模块，用于获得多个仓储视频监控图像；
数据增加处理模块，用于对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像；
检测网络构建模块，用于构建基于深度学习算法的仓储异常目标检测网络；
检测模型训练模块，用于以数据增加处理后的仓储视频监控图像为训练集，训练所述仓储异常目标检测网络，获得仓储异常目标检测模型；
异常目标检测模块，用于利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测；
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；所述骨干网络为改进的ResNet34残差网络，所述改进的ResNet34残差网络的激活函数为Mish激活函数，所述改进的ResNet34残差网络包括批量标归一化层；所述多尺度特征融合网络包括FPN网络和PAN网络，所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，所述PAN网络用于对所述FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；所述预测层采用的损失函数为综合损失函数，所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
可选地，所述深度学习算法为YOLOv5算法。
可选地，所述数据增加处理模块，具体包括：
数据增加处理单元，用于采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变，或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。
可选地，所述改进的ResNet34残差网络包括多个依次连接的特征提取模块，各所述特征提取模块包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元的输入为所述特征提取模块的输入，所述第一特征提取单元的输出连接所述第二特征提取单元的输入，所述第二特征提取单元的输出为所述特征提取模块的输出，所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数，所述特征提取模块的输入连接所述特征提取模块的输出。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明深度学习算法中采用改进的ResNet34残差网络，使用Mish激活函数并增加批量标归一化层，提高了特征提取的准确性，使用了FPN+PAN算法相结合，实现多特征多尺度融合，保证了大目标和小目标的并重检测，提高了仓储异常目标检测的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习算法的仓储异常目标检测方法流程示意图；
图2为本发明仓储异常目标检测网络结构示意图；
图3为本发明ResNet34残差网络结构示意图；
图4为本发明一种基于深度学习算法的仓储异常目标检测方法详细流程示意图；
图5为本发明一种基于深度学习算法的仓储异常目标检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习算法的仓储异常目标检测方法及系统，提高了仓储异常目标检测的效率和准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于深度学习算法的仓储异常目标检测方法流程示意图，如图1所示，一种基于深度学习算法的仓储异常目标检测方法，包括：
步骤101：获得多个仓储视频监控图像。
其中，步骤101中仓储视频监控图像为仓储中视频监控设备采集的视频图像。
由于仓储领域所用的成像设备的种类繁多，所以在进行下一步骤的过程之前，需要保持规范化，归一化的图像大小，将监控设备采集的视频图像进行预处理，利用Resize等方法将输入的原始图像(original image)进行归一化处理，裁剪变换成640*640像素大小的图像，将预处理后得到的640*640像素大小的图像作为输入。
在算法的Training阶段，会对所有的预处理后的图像进行数据增广(DataAugmentation)。
步骤102：对多个仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像。
其中，步骤102具体包括：
采用对仓储视频监控图像的亮度（brightness）、对比度(contrast)、色调(hue)、饱和度(saturability)和高斯噪声进行改变，或者对仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。采用图像增广技术增加图像异常目标检测的鲁棒性。即通过调整图像的亮度、对比度、色调、饱和度以及高斯噪声等，还通过随机缩放、裁剪、翻转、旋转等方式，使得训练数据集的数据增加。
在对仓储视频监控图像的亮度、对比度、色调、饱和度进行改变时，应该先将仓储视频监控图像转换成HSV空间，然后再改变其值，最后再转换成RGB矩阵。
通过对仓储视频监控图像的各种变换，可以增加训练集，这样可以使得深度神经网络达到更深的层数(Layer)，同时由于对智能仓储视频监控图像进行了增广预处理，在对智能仓储视频监控图像进行目标探测时也增加了系统鲁棒性。
步骤103：构建基于深度学习算法的仓储异常目标检测网络。
深度学习算法为YOLOv5算法。
如图2所示，仓储异常目标检测网络包括依次连接的骨干网络（BackBone）、多尺度特征融合网络和预测层（Predict）；骨干网络为改进的ResNet34残差网络，改进的ResNet34残差网络的激活函数为Mish激活函数，改进的ResNet34残差网络包括批量标归一化层（Batch Normalizatio层）；多尺度特征融合网络包括FPN网络和PAN网络，FPN网络用于对改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，PAN网络用于对FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；预测层采用的损失函数为综合损失函数，综合损失函数为回归框损失函数、交叉熵损失函数和IOU（Intersection over Union，交并比）置信度损失函数之和。
如图3所示，改进的ResNet34残差网络包括16个依次连接的特征提取模块，各特征提取模块包括第一特征提取单元和第二特征提取单元，第一特征提取单元的输入为特征提取模块的输入，第一特征提取单元的输出连接第二特征提取单元的输入，第二特征提取单元的输出为特征提取模块的输出，第一特征提取单元和第二特征提取单元均包括依次连接的卷积层（图3中Convolutional层）、批量标归一化层（图3中BN层）和Mish激活函数（图3中Mish），特征提取模块的输入连接特征提取模块的输出。第一特征提取单元和第二特征提取单元结构相同，在图2中用CBM表示。
改进的ResNet34残差网络还包括输入模块，输入模块的输入端输入待检测的图像（图3中IMAGE），输入模块的输出连接多个依次连接的特征提取模块中第一个特征提取模块，输入模块包括卷积层、最大池化层（图3中MaxPooling层）和Mish激活函数。
预测层采用K-Means聚类算法确定多个锚框，K-Means聚类算法中k值为6，采用非极大值抑制算法进行锚框选择，确定预测极大值的锚框。
K-Means算法是无监督聚类算法，通过K-Mean聚类算法可以使得Anchor Box的预测更加的准确，避免的机械的选择等比例算法。
预处理后的仓储视频监控图像通过输入层（Input）输入图像，然后进入BackBone阶段的处理，采用ResNet（Deep Residual Network）深度残差神经网络算法（ResNet34残差网络）对输入图像的高阶、中阶、低阶的特征进行提取。再次进入Neck阶段（多尺度特征融合网络）的处理，Neck阶段采用FPN(Feature Pyramid Networks)与PAN(Path AggregationNetwork)相结合的方法，提高多尺度目标图像的检测冗余，增加更多的语义信息。最后进入Head阶段也叫Predict阶段，Predict阶段损失函数采用回归框损失函数与置信度损失函数与分类损失函数（交叉熵损失函数）相结合的方式，Predict阶段还采用NMS(Non MaximumSuppression)非极大值抑制算法结合的方法消除多余的锚框，确定预测极大值的锚框。最终达到目标检测的目的。在智能仓储视频图像目标检测的过程中，能够快速并且高效率的检测到异常目标。
由于智能仓储视频监控过程中，异常目标有大有小，有猫鼠等小型动物，也有物品倾覆等大物品异常目标。因此，在特征提取过程中需要注意，大目标的特征提取与小目标的特征提取并重。低阶特征包含着重要的位置信息、颜色信息等特征。中阶特征主要包含着边缘、角点等特征。高阶特征主要包含着更多的语义信息。通过使用改进的ResNet34残差网络替代YOLOv5中CSPDarkNet算法，改进的ResNet34残差网络可以使得能够训练更多的层数。只有训练更多的层数，才能保证深度学习能更学到更多的特征，并且更好的统筹兼顾大目标和小目标。
改进的ResNet34残差网络中加入Batch Normalization层，Batch Normalization层相当于正则化，减少梯度爆炸情况，可以更好的加速收敛，避免过拟合。
ResNet34残差网络之前采用的激活函数为ReLU(Rectified Linear Unit)函数，ReLU函数表示为f(x)=max(0,x)，其中x表示ReLU函数的输入，结合神经网络表示为f(x)=max(0,wTx+b)，w表示权重参数，b表示偏置参数，但是由于ReLU函数在零点位置不可导，导致在使用的过程中，精度和准确性不高。本发明使用Mish激活函数来提高其精度和准确性，Mish=x*tanh（1+e x），Mish激活函数在零点位置更加的平滑，比较平滑的激活函数才能更加详细的将信息深入到神经网络中，提高网络的准确性和泛化能力。
为了更好的保证大目标与小目标的检测并重，Neck阶段加入了特征图像金字塔模型(Featurized Image Pyramid)，首先使用FPN网络，将改进的ResNet34残差网络训出的特征图进行上采样(upsampling)(对顶层图像利用插值算法使得图像分辨率变大)，得到了第一特征图像金字塔模型，这样做的好处是将高阶（高层）的语义信息特征融合到低阶（底层）的位置与颜色信息中，进行一定程度的特征融合，并可以使得不同分辨率的小目标在不同层数上的Anchor Box（锚箱）都有预测。其次，再使用PAN网络对图像进行降采样(downsampled)，会生成第二特征图像金字塔模型，能够将低阶特征信息融合到高阶语义特征中，在对高阶特征目标定位时，可以更好给出准确的位置，第一特征图像金字塔模型和第二特征图像金字塔模型实现多尺度特征的融合。
步骤104：以数据增加处理后的仓储视频监控图像为训练集，训练仓储异常目标检测网络，获得仓储异常目标检测模型。
异常目标的检测主要包括物品是否有侧翻和倾覆等异常情况，是否有烟、雾、水等消防安全隐患，是否有工作人员不戴头盔、抽烟等不规范的行为，是否有猫、狗、鼠等小动物进入仓储等这几种情况。因此，仓储异常目标检测模型检测的异常目标包括动物、侧翻或倾覆的物品、烟、雾、水、不戴头盔的工作人员、抽烟的工作人员和动物，动物包括猫、狗、鼠等小动物。
步骤105：利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测。
综合损失函数表示为：
Loss=Loss B +Loss C +Loss O ；
其中，Loss B表示回归框损失函数，Loss C表示交叉熵损失函数，Loss O表示IOU置信度损失函数；
Figure 721571DEST_PATH_IMAGE001
；
Figure 663988DEST_PATH_IMAGE002
；
Figure 194327DEST_PATH_IMAGE003
；
其中，λ Coord表示第一超参数，λ CLS表示第二超参数，λ Noo表示第三超参数，λ o表示第四超参数，λ o具体表示单元格中包含异常目标时的权重，λ o的默认值为1，B表示偏置参数，S2表示网格中单元格的数量，x i表示单元格i中心位置的x轴坐标，y i表示单元格i中心位置的y轴坐标，
Figure 947519DEST_PATH_IMAGE004
表示单元格i中异常目标预测位置的x轴坐标，
Figure 828887DEST_PATH_IMAGE005
表示单元格i中异常目标预测位置的y轴坐标，w i表示单元格i中真实边界框的长边长度，h i表示单元格i中真实边界框的短边长度，
Figure 574995DEST_PATH_IMAGE006
表示单元格i中预测边界框的长边长度，
Figure 225419DEST_PATH_IMAGE007
表示单元格i中预测边界框的短边长度，c表示类别损失函数，p i(c)表示是真实异常目标类别的概率，
Figure 883934DEST_PATH_IMAGE008
表示预测异常目标类别的概率，c i表示真实异常目标的边界框置信度，
Figure 252598DEST_PATH_IMAGE013
表示预测异常目标的边界框置信度；
Figure 539748DEST_PATH_IMAGE014
与
Figure 310258DEST_PATH_IMAGE011
表示的含义相同，当单元格i中存在异常目标时，
Figure 139673DEST_PATH_IMAGE014
=
Figure 995634DEST_PATH_IMAGE011
=1，损失函数对应部分起作用，
Figure 83544DEST_PATH_IMAGE012
=0，同理，当单元格i中不存在异常目标时，
Figure 442982DEST_PATH_IMAGE015
=
Figure 708878DEST_PATH_IMAGE011
=0，
Figure 520976DEST_PATH_IMAGE012
=1，不在单元格部分的损害函数起作用。
综合损失函数对每次EPOC（完成了一次前向计算+反向传播的过程）以及Batch（训练样本的数量）批次的智能仓储视频图像数据进行W（权重参数）更新，通过随机梯度下降（SGD），将参数的梯度计算出来。利用后向传播将新W的值应用于Loss函数中。
由于一张图像中，大部分的区域都是不包含目标的，这样在图像Grid分隔的时候，分隔出来的Bounding Box（边界框）大部分的样本是不包含目标物体的，故λ Coord=5，λ Coord=5表示的Bounding Box包含着异常目标，λ Noo表示的Bounding Box不包含异常目标的单元格，故λ Noo=0.5，λ Coord=5和λ Noo=0.5保证综合损失函数对包含异常目标的单元格更加敏感。x i与y i还有w i和h i表示的是单元格中心点位置的坐标。而
Figure 412578DEST_PATH_IMAGE004
与
Figure 892101DEST_PATH_IMAGE005
还有
Figure 594477DEST_PATH_IMAGE006
和
Figure 159451DEST_PATH_IMAGE007
表示的是模型一次Batch训练后预测出来的值。在最后的Predict阶段，会有很多的Anchor Box，每一个单元格会有产生6个Anchor Box。最终预测出来的目标一般情况下，只会选择一个Anchor Box。这时就选用NMS(Non Maximum Suppression)算法即非极大值抑制算法。在目标预测的过程中，只保留预测值最好的Anchor Box，将不是最好的Anchor Box 取消掉，最终达到异常目标检测的效果。
本发明具有以下有益效果：
1.本发明所提供的方法中YOLO(You Only Look Once)算法保证了算法的快速性，比Faster R-CNN更加接近工程实际应用。
2.本发明提供的方法在YOLOv5算法中替换CSPDarkNet算法采用ResNet算法，同时改进了ResNet(Deep Residual Network)算法。使用了Mish激活函数替代ReLU激活函数，并增加Batch Normalization层，保证了特征提取的准确性。
4.本发明所提供的方法使用了FPN+PAN算法相结合，实现多特征多尺度融合，保证了大目标和小目标的并重检测。
5.本发明所提供的方法中使用了K-Means聚类算法合成Anchor Box（锚框），然后使用NMS算法进行优化选取。因此，智能仓储视频监控图像异常目标探测的目标准确性得到了保证。
下面以具体实施例说明本发明一种基于深度学习算法的仓储异常目标检测方法。实施过程如图4所示。
(1)首先将智能仓储视频监控图像总数据集分为Training数据集和Testing数据集两部分，一般情况下会将数据集按照一定的比例进行拆分，Testing数据总数据集的百分之八十，Testing数据集占总数据集的百分之二十。总数据集S 0，Training数据集T r，Testing数据集T e，符合S 0=T r+T e，并且符合T r=0.8*S 0，T e=0.2*S 0，还满足T r和T e数据集的值是随机分配的。数据集T r进行数据增广(Data Augmentation)操作，扩大数据集的规模(Scale)。可以改变智能仓储视频监控图像的亮度（brightness）、对比度(contrast)、色调(hue)、饱和度(saturability)以及高斯噪声等，还可通过随机缩放、裁剪、翻转、旋转等方式，使得训练数据集的数据增加。
(2)超参数的确定在本发明中至关重要，因为这些参数时刻影响着算法的稳定性和准确性。更重要的是，超参数选择的不好，不利于训练出优秀的深度学习模型。本实施例选择的超参数有迭代次数EPOC，块大小BatchSize，MiniBatch的大小、学习率η。EPOC中E0选择为15，BatchSize选择为64，MiniBatch选择为16，学习率η选择为0.01。即E0=15，BatchSize=64，η=0.01。P0和MP0的值是根据T r数据集决定的，这些超参数作为循环的判断条件。当迭代次数EPOC小于E0时说明还需要进一步的迭代，来优化W，B参数。同时再进行BatchSize的P0的判断，当BatchSize的数量小于P0时，继续进行训练，同时判断MiniBatch的循环判断步骤。当MiniBatch的数量小于MP0时，继续进行训练。当EPOC>E0时训练结束，当BatchSize的数量>P0时，训练结束，当MiniBatch的数量>MP0时，训练结束。
(3)通过改进的ResNet算法（ResNet34残差网络）提取图像特征。低阶特征包含着重要的位置信息、颜色信息等特征。中阶特征主要包含着边缘、角点等特征。高阶特征主要包含着更多的语义信息。通过使用改进的ResNet34残差网络可以使得能够训练更多的层数。只有训练更多的层数，才能保证深度学习能更学到更多的特征。在此改进其激活函数，以前的为ReLU(Rectified Linear Unit)函数f(x)=max(0,x)，结合神经网络为f(x)=max(0,wT*x+b)。ReLU激活函数的优点是计算速度较快，但是由于其在零点位置不可导，导致在使用的过程中，精度和准确性不是特别高。通过使用Mish激活函数来提高其精度和准确性，Mish=x*tanh(1+e x)，该激活函数在零点位置更加的平滑。比较平滑的激活函数才能更加详细的将信息深入到神经网络中，这样可以有非常不错的准确性和泛化能力。
(4)采用FPN+PAN算法结合。
(5)预测层采用K-Means聚类算法，通过K-Means聚类的方式将目标范围进项适当的聚合，在本次使用时k=6，通过K-Mean是聚类算法可以使得Anchor Box的预测更加的准确。预测层采用是综合损失函数Loss=Loss B +Loss C +Loss O 。
(6)通过深度学习算法训出参数W和B以后还需要进行在Testing训练集T e测试。经常会遇到这种情况，在Training数据集T r中，训练误差Loss的值越来越小，但是在测试Testing数据集T e中，测试误差Loss会先减小后增大。出现这种情况的原因就是过拟合。过拟合会使训练模型的泛化能力变差，导致不能用于工程实际中。
(7)当参数W和B确定后，利用训练好的模型(仓储异常目标检测模型)，对目标智能仓储视频监控图像进行异常目标探测。依次通过改进的ResNet算法，在此过程中，主要改进的是采用非线性激活函数Mish，不再使用ReLU函数。同时增加Batch Normalization层，保证深层训练的可传递性。然后再进行FPN算法和PAN算法进行特征融合。
(8)通过K-Means聚类算法聚合出目标的大致轮廓，再用Anchor Box锚框进行预测。最后通过NMS(Non Maximum Suppression)算法即非极大值抑制算法进行最优化锚框选择，最终选出合适的Anchor Box为最终预测值，智能仓储视频监控图像快速目标探测结束。
图5为本发明一种基于深度学习算法的仓储异常目标检测系统结构示意图，如图5所示，本发明还公开了一种基于深度学习算法的仓储异常目标检测系统，包括：
图像采集模块201，用于获得多个仓储视频监控图像。
数据增加处理模块202，用于对多个仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像。
检测网络构建模块203，用于构建基于深度学习算法的仓储异常目标检测网络。
检测模型训练模块204，用于以数据增加处理后的仓储视频监控图像为训练集，训练仓储异常目标检测网络，获得仓储异常目标检测模型。
异常目标检测模块205，用于利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测。
仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；骨干网络为改进的ResNet34残差网络，改进的ResNet34残差网络的激活函数为Mish激活函数，改进的ResNet34残差网络包括批量标归一化层；多尺度特征融合网络包括FPN网络和PAN网络，FPN网络用于对改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，PAN网络用于对FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；预测层采用的损失函数为综合损失函数，综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
深度学习算法为YOLOv5算法。
数据增加处理模块202，具体包括：
数据增加处理单元，用于采用对仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变，或者对仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。
改进的ResNet34残差网络包括多个依次连接的特征提取模块，各特征提取模块包括第一特征提取单元和第二特征提取单元，第一特征提取单元的输入为特征提取模块的输入，第一特征提取单元的输出连接第二特征提取单元的输入，第二特征提取单元的输出为特征提取模块的输出，第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数，特征提取模块的输入连接特征提取模块的输出。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于深度学习算法的仓储异常目标检测方法，其特征在于，包括：
获得多个仓储视频监控图像；
对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像；
构建基于深度学习算法的仓储异常目标检测网络；
以数据增加处理后的仓储视频监控图像为训练集，训练所述仓储异常目标检测网络，获得仓储异常目标检测模型；
利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测；
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；所述骨干网络为改进的ResNet34残差网络，所述改进的ResNet34残差网络的激活函数为Mish激活函数，所述改进的ResNet34残差网络包括批量标归一化层；所述多尺度特征融合网络包括FPN网络和PAN网络，所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，所述PAN网络用于对所述FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；所述预测层采用的损失函数为综合损失函数，所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
2.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法，其特征在于，所述深度学习算法为YOLOv5算法。
3.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法，其特征在于，所述对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像，具体包括：
采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变，或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。
4.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法，其特征在于，所述改进的ResNet34残差网络包括多个依次连接的特征提取模块，各所述特征提取模块包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元的输入为所述特征提取模块的输入，所述第一特征提取单元的输出连接所述第二特征提取单元的输入，所述第二特征提取单元的输出为所述特征提取模块的输出，所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数，所述特征提取模块的输入连接所述特征提取模块的输出。
5.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法，其特征在于，所述预测层采用K-Means聚类算法确定锚框，所述K-Means聚类算法中k值为6，采用非极大值抑制算法进行锚框选择。
6.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法，其特征在于，所述综合损失函数表示为：
Loss=Loss B +Loss C +Loss O ；
其中，Loss B表示回归框损失函数，Loss C表示交叉熵损失函数，Loss O表示IOU置信度损失函数；
Figure 23022DEST_PATH_IMAGE001
；
Figure 409004DEST_PATH_IMAGE002
；
Figure 923162DEST_PATH_IMAGE003
；
其中，λ Coord表示第一超参数，λ CLS表示第二超参数，λ Noo表示第三超参数，λ o表示第四超参数，B表示偏置参数，S2表示网格中单元格的数量，x i表示单元格i中心位置的x轴坐标，y i表示单元格i中心位置的y轴坐标，
Figure 787213DEST_PATH_IMAGE004
表示单元格i中异常目标预测位置的x轴坐标，
Figure 336006DEST_PATH_IMAGE005
表示单元格i中异常目标预测位置的y轴坐标，w i表示单元格i中真实边界框的长边长度，h i表示单元格i中真实边界框的短边长度，
Figure 879507DEST_PATH_IMAGE006
表示单元格i中预测边界框的长边长度，
Figure 615382DEST_PATH_IMAGE007
表示单元格i中预测边界框的短边长度，c表示类别损失函数，p i(c)表示是真实异常目标类别的概率，
Figure 548703DEST_PATH_IMAGE008
表示预测异常目标类别的概率，c i表示真实异常目标的边界框置信度，
Figure 686423DEST_PATH_IMAGE009
表示预测异常目标的边界框置信度；当单元格i中存在异常目标时，
Figure 414208DEST_PATH_IMAGE010
=
Figure 886646DEST_PATH_IMAGE011
=1，
Figure 92499DEST_PATH_IMAGE012
=0，当单元格i中不存在异常目标时，
Figure 350305DEST_PATH_IMAGE013
=
Figure 248991DEST_PATH_IMAGE011
=0，
Figure 208726DEST_PATH_IMAGE012
=1。
7.一种基于深度学习算法的仓储异常目标检测系统，其特征在于，包括：
图像采集模块，用于获得多个仓储视频监控图像；
数据增加处理模块，用于对多个所述仓储视频监控图像进行数据增加处理，获得数据增加处理后的仓储视频监控图像；
检测网络构建模块，用于构建基于深度学习算法的仓储异常目标检测网络；
检测模型训练模块，用于以数据增加处理后的仓储视频监控图像为训练集，训练所述仓储异常目标检测网络，获得仓储异常目标检测模型；
异常目标检测模块，用于利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测；
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层；所述骨干网络为改进的ResNet34残差网络，所述改进的ResNet34残差网络的激活函数为Mish激活函数，所述改进的ResNet34残差网络包括批量标归一化层；所述多尺度特征融合网络包括FPN网络和PAN网络，所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样，获得第一特征图像金字塔模型，所述PAN网络用于对所述FPN网络输出的各特征图进行下采样，获得第二特征图像金字塔模型；所述预测层采用的损失函数为综合损失函数，所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
8.根据权利要求7所述的基于深度学习算法的仓储异常目标检测系统，其特征在于，所述深度学习算法为YOLOv5算法。
9.根据权利要求7所述的基于深度学习算法的仓储异常目标检测系统，其特征在于，所述数据增加处理模块，具体包括：
数据增加处理单元，用于采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变，或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放，获得数据增加处理后的仓储视频监控图像。
10.根据权利要求7所述的基于深度学习算法的仓储异常目标检测系统，其特征在于，所述改进的ResNet34残差网络包括多个依次连接的特征提取模块，各所述特征提取模块包括第一特征提取单元和第二特征提取单元，所述第一特征提取单元的输入为所述特征提取模块的输入，所述第一特征提取单元的输出连接所述第二特征提取单元的输入，所述第二特征提取单元的输出为所述特征提取模块的输出，所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数，所述特征提取模块的输入连接所述特征提取模块的输出。
CN202111437250.8A 2021-11-30 2021-11-30 一种基于深度学习算法的仓储异常目标检测方法及系统 Active CN113850242B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111437250.8A CN113850242B (zh) 2021-11-30 2021-11-30 一种基于深度学习算法的仓储异常目标检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111437250.8A CN113850242B (zh) 2021-11-30 2021-11-30 一种基于深度学习算法的仓储异常目标检测方法及系统

Publications (2)

Publication Number Publication Date
CN113850242A true CN113850242A (zh) 2021-12-28
CN113850242B CN113850242B (zh) 2022-04-01

Family

ID=78982312

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111437250.8A Active CN113850242B (zh) 2021-11-30 2021-11-30 一种基于深度学习算法的仓储异常目标检测方法及系统

Country Status (1)

Country Link
CN (1) CN113850242B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360064A (zh) * 2022-01-06 2022-04-15 电子科技大学 基于深度学习的办公场所人员行为轻量级目标检测方法
CN114666571A (zh) * 2022-03-07 2022-06-24 中国科学院自动化研究所 视频敏感内容检测方法及系统
CN115331155A (zh) * 2022-10-14 2022-11-11 智慧齐鲁(山东)大数据科技有限公司 一种海量视频监控点位出图状态检测方法及系统
CN116310597A (zh) * 2023-05-09 2023-06-23 广东工业大学 垃圾分类和定位方法、无人清洁艇控制方法及系统
CN116363512A (zh) * 2023-03-24 2023-06-30 北京城市轨道交通咨询有限公司 一种检测围岩稳定性的方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113052834A (zh) * 2021-04-20 2021-06-29 河南大学 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN113592390A (zh) * 2021-07-12 2021-11-02 嘉兴恒创电力集团有限公司博创物资分公司 一种基于多传感器融合的仓储数字孪生的方法与系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210174149A1 (en) * 2018-11-20 2021-06-10 Xidian University Feature fusion and dense connection-based method for infrared plane object detection
CN113052834A (zh) * 2021-04-20 2021-06-29 河南大学 一种基于卷积神经网络多尺度特征的管道缺陷检测方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN113592390A (zh) * 2021-07-12 2021-11-02 嘉兴恒创电力集团有限公司博创物资分公司 一种基于多传感器融合的仓储数字孪生的方法与系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114360064A (zh) * 2022-01-06 2022-04-15 电子科技大学 基于深度学习的办公场所人员行为轻量级目标检测方法
CN114666571A (zh) * 2022-03-07 2022-06-24 中国科学院自动化研究所 视频敏感内容检测方法及系统
CN115331155A (zh) * 2022-10-14 2022-11-11 智慧齐鲁(山东)大数据科技有限公司 一种海量视频监控点位出图状态检测方法及系统
CN116363512A (zh) * 2023-03-24 2023-06-30 北京城市轨道交通咨询有限公司 一种检测围岩稳定性的方法及装置
CN116310597A (zh) * 2023-05-09 2023-06-23 广东工业大学 垃圾分类和定位方法、无人清洁艇控制方法及系统

Also Published As

Publication number Publication date
CN113850242B (zh) 2022-04-01

Similar Documents

Publication Publication Date Title
CN113850242B (zh) 一种基于深度学习算法的仓储异常目标检测方法及系统
Tao et al. Smoke detection based on deep convolutional neural networks
Hu et al. Fast forest fire smoke detection using MVMNet
Shen et al. Flame detection using deep learning
Li et al. Fast and accurate green pepper detection in complex backgrounds via an improved Yolov4-tiny model
CN112861635B (zh) 一种基于深度学习的火灾及烟雾实时检测方法
CN111079739B (zh) 一种多尺度注意力特征检测方法
CN107016357A (zh) 一种基于时间域卷积神经网络的视频行人检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
CN112597815A (zh) 一种基于Group-G0模型的合成孔径雷达图像舰船检测方法
Jia et al. FoveaMask: A fast and accurate deep learning model for green fruit instance segmentation
CN113379771A (zh) 带有边缘约束的层次化人体解析语义分割方法
CN107506792A (zh) 一种半监督的显著对象检测方法
CN111626090A (zh) 一种基于深度帧差卷积神经网络的运动目标检测方法
Liu et al. Visual smoke detection based on ensemble deep cnns
CN111507416B (zh) 一种基于深度学习的吸烟行为实时检测方法
Liu et al. DLNet: Accurate segmentation of green fruit in obscured environments
CN113963333B (zh) 一种基于改进yolof模型的交通标志牌检测方法
Yandouzi et al. Investigation of combining deep learning object recognition with drones for forest fire detection and monitoring
Zheng et al. A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery
CN117218545A (zh) 基于LBP特征与改进Yolov5的雷达图像检测方法
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
CN110503049B (zh) 基于生成对抗网络的卫星视频车辆数目估计方法
Li et al. A new algorithm of vehicle license plate location based on convolutional neural network
Yin et al. An improved algorithm based on convolutional neural network for smoke detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant