CN113850242B - 一种基于深度学习算法的仓储异常目标检测方法及系统 - Google Patents
一种基于深度学习算法的仓储异常目标检测方法及系统 Download PDFInfo
- Publication number
- CN113850242B CN113850242B CN202111437250.8A CN202111437250A CN113850242B CN 113850242 B CN113850242 B CN 113850242B CN 202111437250 A CN202111437250 A CN 202111437250A CN 113850242 B CN113850242 B CN 113850242B
- Authority
- CN
- China
- Prior art keywords
- network
- feature extraction
- target detection
- representing
- video monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 99
- 238000001514 detection method Methods 0.000 title claims abstract description 93
- 238000003860 storage Methods 0.000 title claims abstract description 64
- 238000013135 deep learning Methods 0.000 title claims abstract description 42
- 230000006870 function Effects 0.000 claims abstract description 105
- 238000012544 monitoring process Methods 0.000 claims abstract description 65
- 238000012545 processing Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000004913 activation Effects 0.000 claims abstract description 33
- 238000010606 normalization Methods 0.000 claims abstract description 19
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 93
- 238000005070 sampling Methods 0.000 claims description 14
- 238000003064 k means clustering Methods 0.000 claims description 12
- 230000002547 anomalous effect Effects 0.000 claims description 9
- 230000001629 suppression Effects 0.000 claims description 9
- 238000005520 cutting process Methods 0.000 claims description 6
- 239000002131 composite material Substances 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 7
- 241001465754 Metazoa Species 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- VZCCETWTMQHEPK-QNEBEIHSSA-N gamma-linolenic acid Chemical compound CCCCC\C=C/C\C=C/C\C=C/CCCCC(O)=O VZCCETWTMQHEPK-QNEBEIHSSA-N 0.000 description 5
- 238000013434 data augmentation Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 239000000779 smoke Substances 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003897 fog Substances 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于深度学习算法的仓储异常目标检测方法及系统,该方法包括:构建基于深度学习算法的仓储异常目标检测网络;以数据增加处理后的仓储视频监控图像为训练集,训练仓储异常目标检测网络,获得仓储异常目标检测模型;利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测;仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;骨干网络为改进的ResNet34残差网络,改进的ResNet34残差网络的激活函数为Mish激活函数,改进的ResNet34残差网络包括批量标归一化层。本发明提高了仓储异常目标检测的效率和准确性。
Description
技术领域
本发明涉及目标检测技术领域,特别是涉及一种基于深度学习算法的仓储异常目标检测方法及系统。
背景技术
随着物联网、大数据以及人工智能的快速发展,仓储领域已经插上了智能化的翅膀,进入了高质量飞速发展的阶段。智能仓储已经成为现在大型公司的标准配置。亚马逊公司的Tracy物流中心采用Kiva机器人进行自动搬运分拣,京东公司的无人物流仓库,耐克公司的中国物流中心(CLC)等,这些智能仓储已经比比皆是。更重要的是这种趋势正在向中小企业扩展。然而,智能仓储发展的越迅猛,越要重视智能仓储的安全问题。仓储是货物的暂存和中转的场所,它能够起到保存和保护其货物等重大作用。如果智能仓储的安全问题不解决,一旦出现失火、进水,毒气泄漏等相关安全问题,会产生巨大并且无法挽回的经济损失,还会威胁到很多人的生命安全。所以,智能仓储的安全问题非常重要,研究并防范智能仓储的安全具有十分重大的意义。但是,近年来智能仓储由于安全而发生的事故接连不断的发生,现阶段的智能仓储安全技术发展还不够完善,不能完全满足人们的需要,智能仓储的安全事故会带来巨大的财产损失。
发明内容
本发明的目的是提供一种基于深度学习算法的仓储异常目标检测方法及系统,提高了仓储异常目标检测的效率和准确性。
为实现上述目的,本发明提供了如下方案:
一种基于深度学习算法的仓储异常目标检测方法,包括:
获得多个仓储视频监控图像;
对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像;
构建基于深度学习算法的仓储异常目标检测网络;
以数据增加处理后的仓储视频监控图像为训练集,训练所述仓储异常目标检测网络,获得仓储异常目标检测模型;
利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测;
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;所述骨干网络为改进的ResNet34残差网络,所述改进的ResNet34残差网络的激活函数为Mish激活函数,所述改进的ResNet34残差网络包括批量标归一化层;所述多尺度特征融合网络包括FPN网络和PAN网络,所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,所述PAN网络用于对所述FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;所述预测层采用的损失函数为综合损失函数,所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
可选地,所述深度学习算法为YOLOv5算法。
可选地,所述对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像,具体包括:
采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变,或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。
可选地,所述改进的ResNet34残差网络包括多个依次连接的特征提取模块,各所述特征提取模块包括第一特征提取单元和第二特征提取单元,所述第一特征提取单元的输入为所述特征提取模块的输入,所述第一特征提取单元的输出连接所述第二特征提取单元的输入,所述第二特征提取单元的输出为所述特征提取模块的输出,所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数,所述特征提取模块的输入连接所述特征提取模块的输出。
可选地,所述预测层采用K-Means聚类算法确定锚框,所述K-Means聚类算法中k值为6,采用非极大值抑制算法进行锚框选择。
可选地,所述综合损失函数表示为:
Loss=Loss B +Loss C +Loss O ;
其中,Loss B表示回归框损失函数,Loss C表示交叉熵损失函数,Loss O表示IOU置信度损失函数;
其中,λ Coord表示第一超参数,λ CLS表示第二超参数,λ Noo表示第三超参数,λ o表示第四超参数,B表示偏置参数,S2表示网格中单元格的数量,x i表示单元格i中心位置的x轴坐标,y i表示单元格i中心位置的y轴坐标,表示单元格i中异常目标预测位置的x轴坐标,表示单元格i中异常目标预测位置的y轴坐标,w i表示单元格i中真实边界框的长边长度,h i表示单元格i中真实边界框的短边长度,表示单元格i中预测边界框的长边长度,表示单元格i中预测边界框的短边长度,c表示类别损失函数,p i(c)表示是真实异常目标类别的概率,表示预测异常目标类别的概率,c i表示真实异常目标的边界框置信度,预测异常目标的边界框置信度;当单元格i中存在异常目标时,==1,=0,当单元格i中不存在异常目标时,==0,=1。
本发明还公开了一种基于深度学习算法的仓储异常目标检测系统,包括:
图像采集模块,用于获得多个仓储视频监控图像;
数据增加处理模块,用于对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像;
检测网络构建模块,用于构建基于深度学习算法的仓储异常目标检测网络;
检测模型训练模块,用于以数据增加处理后的仓储视频监控图像为训练集,训练所述仓储异常目标检测网络,获得仓储异常目标检测模型;
异常目标检测模块,用于利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测;
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;所述骨干网络为改进的ResNet34残差网络,所述改进的ResNet34残差网络的激活函数为Mish激活函数,所述改进的ResNet34残差网络包括批量标归一化层;所述多尺度特征融合网络包括FPN网络和PAN网络,所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,所述PAN网络用于对所述FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;所述预测层采用的损失函数为综合损失函数,所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
可选地,所述深度学习算法为YOLOv5算法。
可选地,所述数据增加处理模块,具体包括:
数据增加处理单元,用于采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变,或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。
可选地,所述改进的ResNet34残差网络包括多个依次连接的特征提取模块,各所述特征提取模块包括第一特征提取单元和第二特征提取单元,所述第一特征提取单元的输入为所述特征提取模块的输入,所述第一特征提取单元的输出连接所述第二特征提取单元的输入,所述第二特征提取单元的输出为所述特征提取模块的输出,所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数,所述特征提取模块的输入连接所述特征提取模块的输出。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明深度学习算法中采用改进的ResNet34残差网络,使用Mish激活函数并增加批量标归一化层,提高了特征提取的准确性,使用了FPN+PAN算法相结合,实现多特征多尺度融合,保证了大目标和小目标的并重检测,提高了仓储异常目标检测的效率和准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一种基于深度学习算法的仓储异常目标检测方法流程示意图;
图2为本发明仓储异常目标检测网络结构示意图;
图3为本发明ResNet34残差网络结构示意图;
图4为本发明一种基于深度学习算法的仓储异常目标检测方法详细流程示意图;
图5为本发明一种基于深度学习算法的仓储异常目标检测系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于深度学习算法的仓储异常目标检测方法及系统,提高了仓储异常目标检测的效率和准确性。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明一种基于深度学习算法的仓储异常目标检测方法流程示意图,如图1所示,一种基于深度学习算法的仓储异常目标检测方法,包括:
步骤101:获得多个仓储视频监控图像。
其中,步骤101中仓储视频监控图像为仓储中视频监控设备采集的视频图像。
由于仓储领域所用的成像设备的种类繁多,所以在进行下一步骤的过程之前,需要保持规范化,归一化的图像大小,将监控设备采集的视频图像进行预处理,利用Resize等方法将输入的原始图像(original image)进行归一化处理,裁剪变换成640*640像素大小的图像,将预处理后得到的640*640像素大小的图像作为输入。
在算法的Training阶段,会对所有的预处理后的图像进行数据增广(DataAugmentation)。
步骤102:对多个仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像。
其中,步骤102具体包括:
采用对仓储视频监控图像的亮度(brightness)、对比度(contrast)、色调(hue)、饱和度(saturability)和高斯噪声进行改变,或者对仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。采用图像增广技术增加图像异常目标检测的鲁棒性。即通过调整图像的亮度、对比度、色调、饱和度以及高斯噪声等,还通过随机缩放、裁剪、翻转、旋转等方式,使得训练数据集的数据增加。
在对仓储视频监控图像的亮度、对比度、色调、饱和度进行改变时,应该先将仓储视频监控图像转换成HSV空间,然后再改变其值,最后再转换成RGB矩阵。
通过对仓储视频监控图像的各种变换,可以增加训练集,这样可以使得深度神经网络达到更深的层数(Layer),同时由于对智能仓储视频监控图像进行了增广预处理,在对智能仓储视频监控图像进行目标探测时也增加了系统鲁棒性。
步骤103:构建基于深度学习算法的仓储异常目标检测网络。
深度学习算法为YOLOv5算法。
如图2所示,仓储异常目标检测网络包括依次连接的骨干网络(BackBone)、多尺度特征融合网络和预测层(Predict);骨干网络为改进的ResNet34残差网络,改进的ResNet34残差网络的激活函数为Mish激活函数,改进的ResNet34残差网络包括批量标归一化层(Batch Normalizatio层);多尺度特征融合网络包括FPN网络和PAN网络,FPN网络用于对改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,PAN网络用于对FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;预测层采用的损失函数为综合损失函数,综合损失函数为回归框损失函数、交叉熵损失函数和IOU(Intersection over Union,交并比)置信度损失函数之和。
如图3所示,改进的ResNet34残差网络包括16个依次连接的特征提取模块,各特征提取模块包括第一特征提取单元和第二特征提取单元,第一特征提取单元的输入为特征提取模块的输入,第一特征提取单元的输出连接第二特征提取单元的输入,第二特征提取单元的输出为特征提取模块的输出,第一特征提取单元和第二特征提取单元均包括依次连接的卷积层(图3中Convolutional层)、批量标归一化层(图3中BN层)和Mish激活函数(图3中Mish),特征提取模块的输入连接特征提取模块的输出。第一特征提取单元和第二特征提取单元结构相同,在图2中用CBM表示。
改进的ResNet34残差网络还包括输入模块,输入模块的输入端输入待检测的图像(图3中IMAGE),输入模块的输出连接多个依次连接的特征提取模块中第一个特征提取模块,输入模块包括卷积层、最大池化层(图3中MaxPooling层)和Mish激活函数。
预测层采用K-Means聚类算法确定多个锚框,K-Means聚类算法中k值为6,采用非极大值抑制算法进行锚框选择,确定预测极大值的锚框。
K-Means算法是无监督聚类算法,通过K-Mean聚类算法可以使得Anchor Box的预测更加的准确,避免的机械的选择等比例算法。
预处理后的仓储视频监控图像通过输入层(Input)输入图像,然后进入BackBone阶段的处理,采用ResNet(Deep Residual Network)深度残差神经网络算法(ResNet34残差网络)对输入图像的高阶、中阶、低阶的特征进行提取。再次进入Neck阶段(多尺度特征融合网络)的处理,Neck阶段采用FPN(Feature Pyramid Networks)与PAN(Path AggregationNetwork)相结合的方法,提高多尺度目标图像的检测冗余,增加更多的语义信息。最后进入Head阶段也叫Predict阶段,Predict阶段损失函数采用回归框损失函数与置信度损失函数与分类损失函数(交叉熵损失函数)相结合的方式,Predict阶段还采用NMS(Non MaximumSuppression)非极大值抑制算法结合的方法消除多余的锚框,确定预测极大值的锚框。最终达到目标检测的目的。在智能仓储视频图像目标检测的过程中,能够快速并且高效率的检测到异常目标。
由于智能仓储视频监控过程中,异常目标有大有小,有猫鼠等小型动物,也有物品倾覆等大物品异常目标。因此,在特征提取过程中需要注意,大目标的特征提取与小目标的特征提取并重。低阶特征包含着重要的位置信息、颜色信息等特征。中阶特征主要包含着边缘、角点等特征。高阶特征主要包含着更多的语义信息。通过使用改进的ResNet34残差网络替代YOLOv5中CSPDarkNet算法,改进的ResNet34残差网络可以使得能够训练更多的层数。只有训练更多的层数,才能保证深度学习能更学到更多的特征,并且更好的统筹兼顾大目标和小目标。
改进的ResNet34残差网络中加入Batch Normalization层,Batch Normalization层相当于正则化,减少梯度爆炸情况,可以更好的加速收敛,避免过拟合。
ResNet34残差网络之前采用的激活函数为ReLU(Rectified Linear Unit)函数,ReLU函数表示为f(x)=max(0,x),其中x表示ReLU函数的输入,结合神经网络表示为f(x)=max(0,wTx+b),w表示权重参数,b表示偏置参数,但是由于ReLU函数在零点位置不可导,导致在使用的过程中,精度和准确性不高。本发明使用Mish激活函数来提高其精度和准确性,Mish=x*tanh(1+e x),Mish激活函数在零点位置更加的平滑,比较平滑的激活函数才能更加详细的将信息深入到神经网络中,提高网络的准确性和泛化能力。
为了更好的保证大目标与小目标的检测并重,Neck阶段加入了特征图像金字塔模型(Featurized Image Pyramid),首先使用FPN网络,将改进的ResNet34残差网络训出的特征图进行上采样(upsampling)(对顶层图像利用插值算法使得图像分辨率变大),得到了第一特征图像金字塔模型,这样做的好处是将高阶(高层)的语义信息特征融合到低阶(底层)的位置与颜色信息中,进行一定程度的特征融合,并可以使得不同分辨率的小目标在不同层数上的Anchor Box(锚箱)都有预测。其次,再使用PAN网络对图像进行降采样(downsampled),会生成第二特征图像金字塔模型,能够将低阶特征信息融合到高阶语义特征中,在对高阶特征目标定位时,可以更好给出准确的位置,第一特征图像金字塔模型和第二特征图像金字塔模型实现多尺度特征的融合。
步骤104:以数据增加处理后的仓储视频监控图像为训练集,训练仓储异常目标检测网络,获得仓储异常目标检测模型。
异常目标的检测主要包括物品是否有侧翻和倾覆等异常情况,是否有烟、雾、水等消防安全隐患,是否有工作人员不戴头盔、抽烟等不规范的行为,是否有猫、狗、鼠等小动物进入仓储等这几种情况。因此,仓储异常目标检测模型检测的异常目标包括动物、侧翻或倾覆的物品、烟、雾、水、不戴头盔的工作人员、抽烟的工作人员和动物,动物包括猫、狗、鼠等小动物。
步骤105:利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测。
综合损失函数表示为:
Loss=Loss B +Loss C +Loss O ;
其中,Loss B表示回归框损失函数,Loss C表示交叉熵损失函数,Loss O表示IOU置信度损失函数;
其中,λ Coord表示第一超参数,λ CLS表示第二超参数,λ Noo表示第三超参数,λ o表示第四超参数,λ o具体表示单元格中包含异常目标时的权重,λ o的默认值为1,B表示偏置参数,S2表示网格中单元格的数量,x i表示单元格i中心位置的x轴坐标,y i表示单元格i中心位置的y轴坐标,表示单元格i中异常目标预测位置的x轴坐标,表示单元格i中异常目标预测位置的y轴坐标,w i表示单元格i中真实边界框的长边长度,h i表示单元格i中真实边界框的短边长度,表示单元格i中预测边界框的长边长度,表示单元格i中预测边界框的短边长度,c表示类别损失函数,p i(c)表示是真实异常目标类别的概率,表示预测异常目标类别的概率,c i表示真实异常目标的边界框置信度,表示预测异常目标的边界框置信度;与表示的含义相同,当单元格i中存在异常目标时,==1,损失函数对应部分起作用,=0,同理,当单元格i中不存在异常目标时,==0,=1,不在单元格部分的损害函数起作用。
综合损失函数对每次EPOC(完成了一次前向计算+反向传播的过程)以及Batch(训练样本的数量)批次的智能仓储视频图像数据进行W(权重参数)更新,通过随机梯度下降(SGD),将参数的梯度计算出来。利用后向传播将新W的值应用于Loss函数中。
由于一张图像中,大部分的区域都是不包含目标的,这样在图像Grid分隔的时候,分隔出来的Bounding Box(边界框)大部分的样本是不包含目标物体的,故λ Coord=5,λ Coord=5表示的Bounding Box包含着异常目标,λ Noo表示的Bounding Box不包含异常目标的单元格,故λ Noo=0.5,λ Coord=5和λ Noo=0.5保证综合损失函数对包含异常目标的单元格更加敏感。x i与y i还有w i和h i表示的是单元格中心点位置的坐标。而与还有和表示的是模型一次Batch训练后预测出来的值。在最后的Predict阶段,会有很多的Anchor Box,每一个单元格会有产生6个Anchor Box。最终预测出来的目标一般情况下,只会选择一个AnchorBox。这时就选用NMS(Non Maximum Suppression)算法即非极大值抑制算法。在目标预测的过程中,只保留预测值最好的Anchor Box,将不是最好的Anchor Box 取消掉,最终达到异常目标检测的效果。
本发明具有以下有益效果:
1.本发明所提供的方法中YOLO(You Only Look Once)算法保证了算法的快速性,比Faster R-CNN更加接近工程实际应用。
2.本发明提供的方法在YOLOv5算法中替换CSPDarkNet算法采用ResNet算法,同时改进了ResNet(Deep Residual Network)算法。使用了Mish激活函数替代ReLU激活函数,并增加Batch Normalization层,保证了特征提取的准确性。
4.本发明所提供的方法使用了FPN+PAN算法相结合,实现多特征多尺度融合,保证了大目标和小目标的并重检测。
5.本发明所提供的方法中使用了K-Means聚类算法合成Anchor Box(锚框),然后使用NMS算法进行优化选取。因此,智能仓储视频监控图像异常目标探测的目标准确性得到了保证。
下面以具体实施例说明本发明一种基于深度学习算法的仓储异常目标检测方法。实施过程如图4所示。
(1)首先将智能仓储视频监控图像总数据集分为Training数据集和Testing数据集两部分,一般情况下会将数据集按照一定的比例进行拆分,Testing数据总数据集的百分之八十,Testing数据集占总数据集的百分之二十。总数据集S 0,Training数据集T r,Testing数据集T e,符合S 0=T r+T e,并且符合T r=0.8*S 0,T e=0.2*S 0,还满足T r和T e数据集的值是随机分配的。数据集T r进行数据增广(Data Augmentation)操作,扩大数据集的规模(Scale)。可以改变智能仓储视频监控图像的亮度(brightness)、对比度(contrast)、色调(hue)、饱和度(saturability)以及高斯噪声等,还可通过随机缩放、裁剪、翻转、旋转等方式,使得训练数据集的数据增加。
(2)超参数的确定在本发明中至关重要,因为这些参数时刻影响着算法的稳定性和准确性。更重要的是,超参数选择的不好,不利于训练出优秀的深度学习模型。本实施例选择的超参数有迭代次数EPOC,块大小BatchSize,MiniBatch的大小、学习率η。EPOC中E0选择为15,BatchSize选择为64,MiniBatch选择为16,学习率η选择为0.01。即E0=15,BatchSize=64,η=0.01。P0和MP0的值是根据T r数据集决定的,这些超参数作为循环的判断条件。当迭代次数EPOC小于E0时说明还需要进一步的迭代,来优化W,B参数。同时再进行BatchSize的P0的判断,当BatchSize的数量小于P0时,继续进行训练,同时判断MiniBatch的循环判断步骤。当MiniBatch的数量小于MP0时,继续进行训练。当EPOC>E0时训练结束,当BatchSize的数量>P0时,训练结束,当MiniBatch的数量>MP0时,训练结束。
(3)通过改进的ResNet算法(ResNet34残差网络)提取图像特征。低阶特征包含着重要的位置信息、颜色信息等特征。中阶特征主要包含着边缘、角点等特征。高阶特征主要包含着更多的语义信息。通过使用改进的ResNet34残差网络可以使得能够训练更多的层数。只有训练更多的层数,才能保证深度学习能更学到更多的特征。在此改进其激活函数,以前的为ReLU(Rectified Linear Unit)函数f(x)=max(0,x),结合神经网络为f(x)=max(0,wT*x+b)。ReLU激活函数的优点是计算速度较快,但是由于其在零点位置不可导,导致在使用的过程中,精度和准确性不是特别高。通过使用Mish激活函数来提高其精度和准确性,Mish=x*tanh(1+e x),该激活函数在零点位置更加的平滑。比较平滑的激活函数才能更加详细的将信息深入到神经网络中,这样可以有非常不错的准确性和泛化能力。
(4)采用FPN+PAN算法结合。
(5)预测层采用K-Means聚类算法,通过K-Means聚类的方式将目标范围进项适当的聚合,在本次使用时k=6,通过K-Mean是聚类算法可以使得Anchor Box的预测更加的准确。预测层采用是综合损失函数Loss=Loss B +Loss C +Loss O 。
(6)通过深度学习算法训出参数W和B以后还需要进行在Testing训练集T e测试。经常会遇到这种情况,在Training数据集T r中,训练误差Loss的值越来越小,但是在测试Testing数据集T e中,测试误差Loss会先减小后增大。出现这种情况的原因就是过拟合。过拟合会使训练模型的泛化能力变差,导致不能用于工程实际中。
(7)当参数W和B确定后,利用训练好的模型(仓储异常目标检测模型),对目标智能仓储视频监控图像进行异常目标探测。依次通过改进的ResNet算法,在此过程中,主要改进的是采用非线性激活函数Mish,不再使用ReLU函数。同时增加Batch Normalization层,保证深层训练的可传递性。然后再进行FPN算法和PAN算法进行特征融合。
(8)通过K-Means聚类算法聚合出目标的大致轮廓,再用Anchor Box锚框进行预测。最后通过NMS(Non Maximum Suppression)算法即非极大值抑制算法进行最优化锚框选择,最终选出合适的Anchor Box为最终预测值,智能仓储视频监控图像快速目标探测结束。
图5为本发明一种基于深度学习算法的仓储异常目标检测系统结构示意图,如图5所示,本发明还公开了一种基于深度学习算法的仓储异常目标检测系统,包括:
图像采集模块201,用于获得多个仓储视频监控图像。
数据增加处理模块202,用于对多个仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像。
检测网络构建模块203,用于构建基于深度学习算法的仓储异常目标检测网络。
检测模型训练模块204,用于以数据增加处理后的仓储视频监控图像为训练集,训练仓储异常目标检测网络,获得仓储异常目标检测模型。
异常目标检测模块205,用于利用仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测。
仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;骨干网络为改进的ResNet34残差网络,改进的ResNet34残差网络的激活函数为Mish激活函数,改进的ResNet34残差网络包括批量标归一化层;多尺度特征融合网络包括FPN网络和PAN网络,FPN网络用于对改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,PAN网络用于对FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;预测层采用的损失函数为综合损失函数,综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和。
深度学习算法为YOLOv5算法。
数据增加处理模块202,具体包括:
数据增加处理单元,用于采用对仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变,或者对仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。
改进的ResNet34残差网络包括多个依次连接的特征提取模块,各特征提取模块包括第一特征提取单元和第二特征提取单元,第一特征提取单元的输入为特征提取模块的输入,第一特征提取单元的输出连接第二特征提取单元的输入,第二特征提取单元的输出为特征提取模块的输出,第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数,特征提取模块的输入连接特征提取模块的输出。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (9)
1.一种基于深度学习算法的仓储异常目标检测方法,其特征在于,包括:
获得多个仓储视频监控图像;
对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像;
构建基于深度学习算法的仓储异常目标检测网络;
以数据增加处理后的仓储视频监控图像为训练集,训练所述仓储异常目标检测网络,获得仓储异常目标检测模型;
利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测;
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;所述骨干网络为改进的ResNet34残差网络,所述改进的ResNet34残差网络的激活函数为Mish激活函数,所述改进的ResNet34残差网络包括批量标归一化层;所述多尺度特征融合网络包括FPN网络和PAN网络,所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,所述PAN网络用于对所述FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;所述预测层采用的损失函数为综合损失函数,所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和;
所述综合损失函数表示为:
Loss=LossB+LossC+LossO;
其中,LossB表示回归框损失函数,LossC表示交叉熵损失函数,LossO表示IOU置信度损失函数;
其中,λCoord表示第一超参数,λCLS表示第二超参数,λNoo表示第三超参数,λo表示第四超参数,B表示偏置参数,S2表示网格中单元格的数量,xi表示单元格i中心位置的x轴坐标,yi表示单元格i中心位置的y轴坐标,表示单元格i中异常目标预测位置的x轴坐标,表示单元格i中异常目标预测位置的y轴坐标,wi表示单元格i中真实边界框的长边长度,hi表示单元格i中真实边界框的短边长度,表示单元格i中预测边界框的长边长度,表示单元格i中预测边界框的短边长度,c表示类别损失函数,pi(c)表示是真实异常目标类别的概率,表示预测异常目标类别的概率,ci表示真实异常目标的边界框置信度,表示预测异常目标的边界框置信度;当单元格i中存在异常目标时,==1,=0,当单元格i中不存在异常目标时,==0,=1。
2.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法,其特征在于,所述深度学习算法为YOLOv5算法。
3.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法,其特征在于,所述对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像,具体包括:
采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变,或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。
4.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法,其特征在于,所述改进的ResNet34残差网络包括多个依次连接的特征提取模块,各所述特征提取模块包括第一特征提取单元和第二特征提取单元,所述第一特征提取单元的输入为所述特征提取模块的输入,所述第一特征提取单元的输出连接所述第二特征提取单元的输入,所述第二特征提取单元的输出为所述特征提取模块的输出,所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数,所述特征提取模块的输入连接所述特征提取模块的输出。
5.根据权利要求1所述的基于深度学习算法的仓储异常目标检测方法,其特征在于,所述预测层采用K-Means聚类算法确定锚框,所述K-Means聚类算法中k值为6,采用非极大值抑制算法进行锚框选择。
6.一种基于深度学习算法的仓储异常目标检测系统,其特征在于,包括:
图像采集模块,用于获得多个仓储视频监控图像;
数据增加处理模块,用于对多个所述仓储视频监控图像进行数据增加处理,获得数据增加处理后的仓储视频监控图像;
检测网络构建模块,用于构建基于深度学习算法的仓储异常目标检测网络;
检测模型训练模块,用于以数据增加处理后的仓储视频监控图像为训练集,训练所述仓储异常目标检测网络,获得仓储异常目标检测模型;
异常目标检测模块,用于利用所述仓储异常目标检测模型对待检测仓储视频监控图像进行异常目标检测;
所述仓储异常目标检测网络包括依次连接的骨干网络、多尺度特征融合网络和预测层;所述骨干网络为改进的ResNet34残差网络,所述改进的ResNet34残差网络的激活函数为Mish激活函数,所述改进的ResNet34残差网络包括批量标归一化层;所述多尺度特征融合网络包括FPN网络和PAN网络,所述FPN网络用于对所述改进的ResNet34残差网络输出的各特征图进行上采样,获得第一特征图像金字塔模型,所述PAN网络用于对所述FPN网络输出的各特征图进行下采样,获得第二特征图像金字塔模型;所述预测层采用的损失函数为综合损失函数,所述综合损失函数为回归框损失函数、交叉熵损失函数和IOU置信度损失函数之和;
所述综合损失函数表示为:
Loss=LossB+LossC+LossO;
其中,LossB表示回归框损失函数,LossC表示交叉熵损失函数,LossO表示IOU置信度损失函数;
其中,λCoord表示第一超参数,λCLS表示第二超参数,λNoo表示第三超参数,λo表示第四超参数,B表示偏置参数,S2表示网格中单元格的数量,xi表示单元格i中心位置的x轴坐标,yi表示单元格i中心位置的y轴坐标,表示单元格i中异常目标预测位置的x轴坐标,表示单元格i中异常目标预测位置的y轴坐标,wi表示单元格i中真实边界框的长边长度,hi表示单元格i中真实边界框的短边长度,表示单元格i中预测边界框的长边长度,表示单元格i中预测边界框的短边长度,c表示类别损失函数,pi(c)表示是真实异常目标类别的概率,表示预测异常目标类别的概率,ci表示真实异常目标的边界框置信度,表示预测异常目标的边界框置信度;当单元格i中存在异常目标时,==1,=0,当单元格i中不存在异常目标时,==0,=1。
7.根据权利要求6所述的基于深度学习算法的仓储异常目标检测系统,其特征在于,所述深度学习算法为YOLOv5算法。
8.根据权利要求6所述的基于深度学习算法的仓储异常目标检测系统,其特征在于,所述数据增加处理模块,具体包括:
数据增加处理单元,用于采用对所述仓储视频监控图像的亮度、对比度、色调、饱和度和高斯噪声进行改变,或者对所述仓储视频监控图像进行裁剪、翻转、旋转或随机缩放,获得数据增加处理后的仓储视频监控图像。
9.根据权利要求6所述的基于深度学习算法的仓储异常目标检测系统,其特征在于,所述改进的ResNet34残差网络包括多个依次连接的特征提取模块,各所述特征提取模块包括第一特征提取单元和第二特征提取单元,所述第一特征提取单元的输入为所述特征提取模块的输入,所述第一特征提取单元的输出连接所述第二特征提取单元的输入,所述第二特征提取单元的输出为所述特征提取模块的输出,所述第一特征提取单元和第二特征提取单元均包括依次连接的卷积层、批量标归一化层和Mish激活函数,所述特征提取模块的输入连接所述特征提取模块的输出。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111437250.8A CN113850242B (zh) | 2021-11-30 | 2021-11-30 | 一种基于深度学习算法的仓储异常目标检测方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111437250.8A CN113850242B (zh) | 2021-11-30 | 2021-11-30 | 一种基于深度学习算法的仓储异常目标检测方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113850242A CN113850242A (zh) | 2021-12-28 |
CN113850242B true CN113850242B (zh) | 2022-04-01 |
Family
ID=78982312
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111437250.8A Active CN113850242B (zh) | 2021-11-30 | 2021-11-30 | 一种基于深度学习算法的仓储异常目标检测方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113850242B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114360064B (zh) * | 2022-01-06 | 2023-04-07 | 电子科技大学 | 基于深度学习的办公场所人员行为轻量级目标检测方法 |
CN114666571B (zh) * | 2022-03-07 | 2024-06-14 | 中国科学院自动化研究所 | 视频敏感内容检测方法及系统 |
CN114708531B (zh) * | 2022-03-18 | 2024-07-16 | 南京大学 | 电梯内异常行为检测方法、装置及存储介质 |
CN114842505A (zh) * | 2022-04-19 | 2022-08-02 | 中国农业大学 | 一种基于迁移学习的动物个体识别方法及装置 |
CN114758279A (zh) * | 2022-04-24 | 2022-07-15 | 安徽理工大学 | 一种基于时间域信息传递的视频目标检测方法 |
CN115331155B (zh) * | 2022-10-14 | 2023-02-03 | 智慧齐鲁(山东)大数据科技有限公司 | 一种海量视频监控点位出图状态检测方法及系统 |
CN116167689B (zh) * | 2022-12-16 | 2024-06-14 | 江苏东衡智能科技有限公司 | 一种电池仓储物流安全控制方法和系统 |
CN116363512A (zh) * | 2023-03-24 | 2023-06-30 | 北京城市轨道交通咨询有限公司 | 一种检测围岩稳定性的方法及装置 |
CN116310597A (zh) * | 2023-05-09 | 2023-06-23 | 广东工业大学 | 垃圾分类和定位方法、无人清洁艇控制方法及系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11055574B2 (en) * | 2018-11-20 | 2021-07-06 | Xidian University | Feature fusion and dense connection-based method for infrared plane object detection |
CN113052834B (zh) * | 2021-04-20 | 2023-04-18 | 河南大学 | 一种基于卷积神经网络多尺度特征的管道缺陷检测方法 |
CN112990391A (zh) * | 2021-05-20 | 2021-06-18 | 四川大学 | 基于特征融合的卷积神经网络的缺陷分类识别系统 |
CN113592390B (zh) * | 2021-07-12 | 2024-08-02 | 嘉兴恒创电力集团有限公司博创物资分公司 | 一种基于多传感器融合的仓储数字孪生的方法与系统 |
-
2021
- 2021-11-30 CN CN202111437250.8A patent/CN113850242B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113850242A (zh) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113850242B (zh) | 一种基于深度学习算法的仓储异常目标检测方法及系统 | |
Tao et al. | Smoke detection based on deep convolutional neural networks | |
Hu et al. | Fast forest fire smoke detection using MVMNet | |
WO2023056889A1 (zh) | 模型训练和场景识别方法、装置、设备及介质 | |
Gong et al. | Change detection in synthetic aperture radar images based on deep neural networks | |
CN111079739B (zh) | 一种多尺度注意力特征检测方法 | |
CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
CN107016357A (zh) | 一种基于时间域卷积神经网络的视频行人检测方法 | |
Jia et al. | FoveaMask: A fast and accurate deep learning model for green fruit instance segmentation | |
CN112528845B (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
CN105279485A (zh) | 激光夜视下监控目标异常行为的检测方法 | |
Wei et al. | Pedestrian detection in underground mines via parallel feature transfer network | |
CN113379771A (zh) | 带有边缘约束的层次化人体解析语义分割方法 | |
CN111626090A (zh) | 一种基于深度帧差卷积神经网络的运动目标检测方法 | |
CN107506792A (zh) | 一种半监督的显著对象检测方法 | |
Tao et al. | An adaptive frame selection network with enhanced dilated convolution for video smoke recognition | |
Liu et al. | DLNet: Accurate segmentation of green fruit in obscured environments | |
CN110503049B (zh) | 基于生成对抗网络的卫星视频车辆数目估计方法 | |
Liu et al. | [Retracted] Self‐Correction Ship Tracking and Counting with Variable Time Window Based on YOLOv3 | |
Shi et al. | A new multiface target detection algorithm for students in class based on bayesian optimized YOLOv3 model | |
Ji et al. | STAE‐YOLO: Intelligent detection algorithm for risk management of construction machinery intrusion on transmission lines based on visual perception | |
CN117036984B (zh) | 一种融合注意力机制的级联u型网络云检测方法及系统 | |
CN117218545A (zh) | 基于LBP特征与改进Yolov5的雷达图像检测方法 | |
CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
Zhou et al. | Ship target detection in optical remote sensing images based on multiscale feature enhancement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |