CN114241247A - 一种基于深度残差网络的变电站安全帽识别方法及系统 - Google Patents

一种基于深度残差网络的变电站安全帽识别方法及系统 Download PDF

Info

Publication number
CN114241247A
CN114241247A CN202111626217.XA CN202111626217A CN114241247A CN 114241247 A CN114241247 A CN 114241247A CN 202111626217 A CN202111626217 A CN 202111626217A CN 114241247 A CN114241247 A CN 114241247A
Authority
CN
China
Prior art keywords
residual error
convolution
layer
output end
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111626217.XA
Other languages
English (en)
Other versions
CN114241247B (zh
Inventor
韩睿
姜雄伟
张弛
梅冰笑
刘黎
王文浩
史文彬
戴哲仁
温典
姜凯华
申剑
钱少锋
梁苏宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Original Assignee
Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd filed Critical Electric Power Research Institute of State Grid Zhejiang Electric Power Co Ltd
Priority to CN202111626217.XA priority Critical patent/CN114241247B/zh
Publication of CN114241247A publication Critical patent/CN114241247A/zh
Application granted granted Critical
Publication of CN114241247B publication Critical patent/CN114241247B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04SSYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于深度残差网络的变电站安全帽识别方法及系统,属于变电站技术领域。本发明通过构建具有4个残差块的深度残差网络对变电站安全帽进行识别,有效提高了检测识别准确率,同时使得训练深度网络变得更加容易,有效避免出现传统卷积网络随着深度增加存在的梯度爆炸和梯度消失等问题。进而,本发明构建的深度残差网络采用Dropout层,以一定概率使随机的神经元不工作,能够有效防止过拟合现象。同时,本发明在训练时通过Softmax函数和交叉熵函数相结合的方式来计算损失函数值,提高了训练效率,减缓了训练得到的深度残差网络训练模型的性能退化,从而可以提取到更全面、更准确的特征,方案详尽,切实可行。

Description

一种基于深度残差网络的变电站安全帽识别方法及系统
技术领域
本发明涉及一种基于深度残差网络的变电站安全帽识别方法及系统,属于变电站技术领域。
背景技术
随着技术和设备的不断更迭突破,深度学习被广泛应用于机器视觉领域。通过大量数据集的输入,并使用含有大量隐藏层的先进模型,深度学习拥有了提取关键特征的特性,这使得分类和预测更容易。
进一步,中国专利(公开号:CN110728223A)公开了一种基于深度学习的安全帽佩戴识别方法,包括:a).视频图像采集;b).对些图像进行人工标注,标注内容为是否佩戴了安全帽,由此得到了由训练样本和测试样本组成的数据库;c).基于深度学习后的目标检测SSD网络,形成安全帽检测的神经网络目标检测模型;d).检测神经网络准确度,随着训练次数的增加,模型准确率也慢慢增长,最终收敛于99.8%,超过人类平均识别率;e).安全帽佩戴实时检测。上述发明的基于深度学习的安全帽佩戴识别方法,通过卷积神经网络处理图片特征,获得神经网络模型,对模型进行不断训练,最终准确度较高得网络模型,为安全帽佩戴识别提供可靠的依据;降低了损失值从而优化了网络。
但上述的卷积神经网络采用传统的神经网络,参数量巨大,导致整个识别过程计算量庞大,并且随着网络的深度增加会存在梯度爆炸和梯度消失等问题,使得识别模型变得越来越难以训练,进而影响变电站安全帽识别的准确性。
发明内容
针对现有技术的缺陷,本发明的目的在于提供一种通过构建具有4个残差块的深度残差网络对变电站安全帽进行识别,有效提高了检测识别准确率,同时使得训练深度网络变得更加容易;同时构建的深度残差网络采用Dropout层,以一定概率使随机的神经元不工作,能够有效防止过拟合现象;并且训练时通过Softmax函数和交叉熵函数相结合的方式来计算损失函数值,提高了训练效率,有效减缓训练得到的深度残差网络训练模型的性能退化的基于深度残差网络的变电站安全帽识别方法及系统。
为实现上述目的,本发明的一种技术方案为:
一种基于深度残差网络的变电站安全帽识别方法,
包括以下步骤:
步骤1:在变电站场景下获取N张安全帽图像,将N张安全帽图像及安全帽图像对应的安全帽检测标签图像构成训练集,
步骤2:构建深度残差网络;
所述深度残差网络具有输入层、隐藏层、输出层;
所述隐藏层至少包括一个改进卷积层、一个最大池化层、四个残差块、一个Dropout层、一个全连接层;
输出层至少包括一个Softmax回归分类器;
步骤3:将步骤1中的训练集输入到步骤2中的深度残差网络中,对训练集中的安全帽图像进行训练,其训练方法如下:
第一步,在Softmax回归分类器的输出端输出安全帽图像的概率分布及对应的安全帽检测标签图像的概率分布;
第二步,根据第一步中的安全帽图像的概率分布与安全帽检测标签图像的概率分布,并通过Softmax函数和交叉熵函数,计算两个概率分布之间的损失函数值;
步骤4:重复执行步骤3共M次,训练得到深度残差网络训练模型,并得到N×M个损失函数值;然后从所有损失函数值中找出值最小的损失函数值;
接着将值最小的损失函数值对应的权值矢量和偏置项对应作为深度残差网络训练模型的最优权值矢量和最优偏置项;其中,M>1;
步骤5:任意选取一张宽度为K且高度为G的安全帽图像作为测试图像;然后将测试图像输入到深度残差网络训练模型中进行预测,预测得到测试图像的分类结果,并将预测的分类结果与安全帽图像实际情况进行对比,验证深度残差网络训练模型预测结果是否准确;
如果深度残差网络训练模型测试结果准确,则进行步骤6;
否则返回到步骤4;
步骤6:将待预测的安全帽图像输入到步骤5中的深度残差网络训练模型中进行预测,预测得到待预测的安全帽图像的分类结果;
所述分类结果为工人规范佩戴安全帽或工人未规范佩戴安全帽。
本发明经过不断探索以及试验,通过构建具有4个残差块的深度残差网络对变电站安全帽进行识别,有效提高变电站安全帽识别准确率,同时使得训练深度网络变得更加容易,有效避免出现传统卷积网络随着深度增加存在的梯度爆炸和梯度消失等问题。
进而,本发明构建的深度残差网络采用Dropout层,以一定概率使随机的神经元不工作,能够有效防止过拟合现象。
同时,本发明在训练时通过Softmax函数和交叉熵函数相结合的方式来计算损失函数值,提高了训练效率,减缓了训练得到的深度残差网络训练模型的性能退化。
进一步,本发明构建的深度残差网络中的4个残差块可均由两种不同的残差单元即恒等残差单元和卷积残差单元堆叠而成,从而可以提取到更全面、更准确的特征,方案详尽,切实可行。
作为优选技术措施:
所述步骤1,训练集中包括有N1张工人规范佩戴安全帽的安全帽图像和N2张工人未规范佩戴安全帽的安全帽图像,对应作为正类图像和负类图像;
然后将训练集中的第n张安全帽图像及其对应的安全帽检测标签图像对应记为Dn及Fn true
其中,安全帽图像和安全帽检测标签图像为RGB图像,N≥200,N1+N2=N,N1和N2至少为N的三分之一,1≤n≤N,n的初始值为1,Dn、Fn true的宽度为K且高度为G,且K和G均能够被2整除。
作为优选技术措施:
所述步骤2,对于输入层,其输入端接收一张RGB图像,其输出端输出RGB图像给隐藏层;
其中,要求RGB图像的宽度为K且高度为G;
对于隐藏层,改进卷积层的输入端接收输入层的输出端输出的RGB图像,改进卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000031
且高度为
Figure BDA0003440100750000032
的特征图,将改进卷积层的输出端输出的所有特征图构成的集合记为A1
最大池化层的输入端接收A1中的所有特征图,最大池化层的输出端输出64幅宽度为
Figure BDA0003440100750000033
且高度为
Figure BDA0003440100750000034
的特征图,将最大池化层的输出端输出的所有特征图构成的集合记为A2
第1个残差块的输入端接收A2中的所有特征图,第1个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000035
且高度为
Figure BDA0003440100750000036
的特征图,将第1个残差块的输出端输出的所有特征图构成的集合记为A3
第2个残差块的输入端接收A3中的所有特征图,第2个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000037
且高度为
Figure BDA0003440100750000038
的特征图,将第2个残差块的输出端输出的所有特征图构成的集合记为A4
第3个残差块的输入端接收A4中的所有特征图,第3个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000041
且高度为
Figure BDA0003440100750000042
的特征图,将第3个残差块的输出端输出的所有特征图构成的集合记为A5
第4个残差块的输入端接收A5中的所有特征图,第4个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000043
且高度为
Figure BDA0003440100750000044
的特征图,将第4个残差块的输出端输出的所有特征图构成的集合记为A6
Dropout层的输入端接收A6中的所有特征图,Dropout层的输出端输出64幅宽度为
Figure BDA0003440100750000045
且高度为
Figure BDA0003440100750000046
的特征图,将Dropout层的输出端输出的所有特征图构成的集合记为A7
全连接层的输入端接收A7中的所有特征图,全连接层的输出端输出一维向量;
其中,最大池化层的步长为2,全连接层的输入维度为64,全连接层的输出维度为1024;
对于输出层,Softmax回归分类器的输入端接收全连接层的输出端输出的一维向量,Softmax回归分类器的输出端输出概率分布。
作为优选技术措施:
所述改进卷积层包括依次连接的第一卷积层、第二卷积层、第三卷积层;
第一卷积层的输入端作为改进卷积层的输入端,第一卷积层的输入端接收输入层的输出端输出的RGB图像,第一卷积层的输出端输出64幅宽度为K且高度为G的特征图;
第二卷积层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输出端输出128幅宽度为K且高度为G的特征图;
第三卷积层的输入端接收第二卷积层的输出端输出的所有特征图,第三卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000047
且高度为
Figure BDA0003440100750000048
的特征图,第三卷积层的输出端作为改进卷积层的输出端;
其中,第一卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为1,第二卷积层的卷积核的大小为3×3、卷积核的个数为128、填充为1、步长为1,第三卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为2。
作为优选技术措施:
所述第1个残差块和第4个残差块的结构相同,其由两个恒等残差单元和一个卷积残差单元组成;
第1个恒等残差单元、卷积残差单元和第2个恒等残差单元依次连接;
第1个恒等残差单元的输入端作为其所在残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000049
且高度为
Figure BDA00034401007500000410
的特征图,卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000051
且高度为
Figure BDA0003440100750000052
的特征图,第2个恒等残差单元的输入端接收卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000053
且高度为
Figure BDA0003440100750000054
的特征图,第2个恒等残差单元的输出端作为其所在残差块的输出端;
第2个残差块由两个恒等残差单元和两个卷积残差单元组成;
第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元依次连接;
第1个恒等残差单元的输入端作为第2个残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000055
且高度为
Figure BDA0003440100750000056
的特征图,第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000057
且高度为
Figure BDA0003440100750000058
的特征图,第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000059
且高度为
Figure BDA00034401007500000510
的特征图,第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图,第2个卷积残差单元的输出端输出64幅宽度为
Figure BDA00034401007500000511
且高度为
Figure BDA00034401007500000512
的特征图,第2个卷积残差单元的输出端作为第2个残差块的输出端;
第3个残差块由三个恒等残差单元和三个卷积残差单元组成;
第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元、第3个恒等残差单元、第3个卷积残差单元依次连接;
第1个恒等残差单元的输入端作为第3个残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA00034401007500000513
且高度为
Figure BDA00034401007500000514
的特征图;
第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure BDA00034401007500000515
且高度为
Figure BDA00034401007500000516
的特征图;
第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图;第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA00034401007500000517
且高度为
Figure BDA00034401007500000518
的特征图;
第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图;第2个卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000061
且高度为
Figure BDA0003440100750000062
的特征图;
第3个恒等残差单元的输入端接收第2个卷积残差单元的输出端输出的所有特征图;第3个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000063
且高度为
Figure BDA0003440100750000064
的特征图;
第3个卷积残差单元的输入端接收第3个恒等残差单元的输出端输出的所有特征图,第3个卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000065
且高度为
Figure BDA0003440100750000066
的特征图;第3个卷积残差单元的输出端作为第3个残差块的输出端。
作为优选技术措施:
四个残差块中的所有恒等残差单元的结构相同,其包括第四卷积层、第一批标准化层、第五卷积层、第二批标准化层、第六卷积层、第三批标准化层;
第四卷积层的输入端作为其所在的恒等残差单元的输入端,第四卷积层的输出端输出16幅宽度为
Figure BDA0003440100750000067
且高度为
Figure BDA0003440100750000068
的特征图;
第一批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第一批标准化层的输出端输出16幅宽度为
Figure BDA0003440100750000069
且高度为
Figure BDA00034401007500000610
的特征图,将第一批标准化层的输出端输出的所有特征图经第1个ReLu激活函数后得到的所有特征图输入到第五卷积层的输入端;
第五卷积层的输出端输出16幅宽度为
Figure BDA00034401007500000611
且高度为
Figure BDA00034401007500000612
的特征图;
第二批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第二批标准化层的输出端输出16幅宽度为
Figure BDA00034401007500000613
且高度为
Figure BDA00034401007500000614
的特征图,将第二批标准化层的输出端输出的所有特征图经第2个ReLu激活函数后得到的所有特征图输入到第六卷积层的输入端,第六卷积层的输出端输出64幅宽度为
Figure BDA00034401007500000615
且高度为
Figure BDA00034401007500000616
的特征图;
第三批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第三批标准化层的输出端输出64幅宽度为
Figure BDA00034401007500000617
且高度为
Figure BDA00034401007500000618
的特征图,将第三批标准化层的输出端输出的所有特征图经第3个ReLu激活函数后得到的所有特征图与输入到第四卷积层的输入端的所有特征图进行像素相加操作,将像素相加操作后得到的所有特征图构成的集合作为所在的恒等残差单元的输出端输出的所有特征图构成的集合。
作为优选技术措施:
第四卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1;
第五卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1;
第六卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第一批标准化层、第二批标准化层、第三批标准化层的参数均采用默认值。
作为优选技术措施:
四个残差块中的所有卷积残差单元的结构相同,其包括第七卷积层、第四批标准化层、第八卷积层、第五批标准化层、第九卷积层、第六批标准化层、第十卷积层、第七批标准化层;
第七卷积层的输入端和第十卷积层的输入端作为其所在的卷积残差单元的输入端,第七卷积层的输出端输出16幅宽度为
Figure BDA0003440100750000071
且高度为
Figure BDA0003440100750000072
的特征图;
第四批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第四批标准化层的输出端输出16幅宽度为
Figure BDA0003440100750000073
且高度为
Figure BDA0003440100750000074
的特征图,将第四批标准化层的输出端输出的所有特征图经第4个ReLu激活函数后得到的所有特征图输入到第八卷积层的输入端;
第八卷积层的输出端输出16幅宽度为
Figure BDA0003440100750000075
且高度为
Figure BDA00034401007500000716
的特征图;
第五批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第五批标准化层的输出端输出16幅宽度为
Figure BDA0003440100750000076
且高度为
Figure BDA0003440100750000077
的特征图,将第五批标准化层的输出端输出的所有特征图经第5个ReLu激活函数后得到的所有特征图输入到第九卷积层的输入端;
第九卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000078
且高度为
Figure BDA0003440100750000079
的特征图;
第六批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第六批标准化层的输出端输出64幅宽度为
Figure BDA00034401007500000710
且高度为
Figure BDA00034401007500000711
的特征图;
第十卷积层的输出端输出64幅宽度为
Figure BDA00034401007500000712
且高度为
Figure BDA00034401007500000713
的特征图;
第七批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第七批标准化层的输出端输出64幅宽度为
Figure BDA00034401007500000714
且高度为
Figure BDA00034401007500000715
的特征图,将第六批标准化层的输出端输出的所有特征图经第6个ReLu激活函数后得到的所有特征图与第七批标准化层的输出端输出的所有特征图经第7个ReLu激活函数后得到的所有特征图进行像素相加操作,将像素相加操作后得到的所有特征图构成的集合作为所在的卷积残差单元的输出端输出的所有特征图构成的集合。
作为优选技术措施:
第七卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1;
第八卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1;
第九卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第十卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第四批标准化层、第五批标准化层、第六批标准化层、第七批标准化层的参数均采用默认值;Dropout层的保留率设为0.5。
为实现上述目的,本发明的另一种技术方案为:
一种基于深度残差网络的变电站安全帽识别系统,
其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述的一种基于深度残差网络的变电站安全帽识别方法。
与现有技术相比,本发明具有以下有益效果:
本发明经过不断探索以及试验,通过构建具有4个残差块的深度残差网络对变电站安全帽进行识别,有效提高了安全帽识别准确率,同时使得训练深度网络变得更加容易,有效避免出现传统卷积网络随着深度增加存在的梯度爆炸和梯度消失等问题。
进而,本发明构建的深度残差网络采用Dropout层,以一定概率使随机的神经元不工作,能够有效防止过拟合现象。
同时,本发明在训练时通过Softmax函数和交叉熵函数相结合的方式来计算损失函数值,提高了训练效率,减缓了训练得到的深度残差网络训练模型的性能退化。
进一步,本发明构建的深度残差网络中的4个残差块可均由两种不同的残差单元即恒等残差单元和卷积残差单元堆叠而成,从而可以提取到更全面、更准确的特征,方案详尽,切实可行。
附图说明
图1为本发明方法中构建的深度残差网络的组成结构示意图;
图2为本发明方法中构建的深度残差网络中的改进卷积层的组成结构示意图;
图3为本发明方法中构建的深度残差网络中的第1个残差块和第4个残差块的组成结构示意图;
图4为本发明方法中构建的深度残差网络中的第2个残差块的组成结构示意图;
图5为本发明方法中构建的深度残差网络中的第3个残差块的组成结构示意图;
图6为本发明方法中构建的深度残差网络中的4个残差块中的恒等残差单元的组成结构示意图;
图7为本发明方法中构建的深度残差网络中的4个残差块中的卷积残差单元的组成结构示意图;
图8a为变电站场景下的安全帽图像一;
图8b为变电站场景下的安全帽图像二;
图8c为变电站场景下的安全帽图像三;
图8d为变电站场景下的安全帽图像四。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
本发明识别方法的一种具体实施例:
一种基于深度残差网络的变电站安全帽识别方法,
包括以下步骤:
步骤1:在变电站场景下获取N张安全帽图像,将N张安全帽图像及安全帽图像对应的安全帽检测标签图像构成训练集,
步骤2:构建深度残差网络;
所述深度残差网络具有输入层、隐藏层、输出层;
所述隐藏层至少包括一个改进卷积层、一个最大池化层、四个残差块、一个Dropout层、一个全连接层;
输出层至少包括一个Softmax回归分类器;
步骤3:将步骤1中的训练集输入到步骤2中的深度残差网络中,对训练集中的安全帽图像进行训练,其训练方法如下:
第一步,在Softmax回归分类器的输出端输出安全帽图像的概率分布及对应的安全帽检测标签图像的概率分布;
第二步,根据第一步中的安全帽图像的概率分布与安全帽检测标签图像的概率分布,并通过Softmax函数和交叉熵函数,计算两个概率分布之间的损失函数值;
所述安全帽图像为Dn,安全帽检测标签图像为Fn true,将Dn的概率分布与Fn true的概率分布之间的损失函数值记为Lossn,Lossn通过Softmax函数和交叉熵函数相结合计算得到;
步骤4:重复执行步骤3共M次,训练得到深度残差网络训练模型,并得到N×M个损失函数值;然后从所有损失函数值中找出值最小的损失函数值;
接着将值最小的损失函数值对应的权值矢量和偏置项对应作为深度残差网络训练模型的最优权值矢量和最优偏置项;其中,M>1;
步骤5:任意选取一张宽度为K且高度为G的安全帽图像作为测试图像;然后将测试图像输入到深度残差网络训练模型中进行预测,预测得到测试图像的分类结果,并将预测的分类结果与安全帽图像实际情况进行对比,验证深度残差网络训练模型预测结果是否准确;
如果深度残差网络训练模型测试结果准确,则进行步骤6;
否则返回到步骤4;
步骤6:将待预测的安全帽图像输入到步骤5中的深度残差网络训练模型中进行预测,预测得到待预测的安全帽图像的分类结果;
所述分类结果为工人规范佩戴安全帽或工人未规范佩戴安全帽。
本发明识别方法的一种最佳实施例:
一种基于深度残差网络的变电站安全帽识别方法,其包括以下步骤:
步骤1:在变电站场景下获取N张安全帽图像,将N张安全帽图像及每张安全帽图像对应的安全帽检测标签图像构成训练集,训练集中包括有N1张工人规范佩戴安全帽的安全帽图像和N2张工人未规范佩戴安全帽的安全帽图像,对应作为正类(wear)图像和负类(not_wear)图像;然后将训练集中的第n张安全帽图像及其对应的安全帽检测标签图像对应记为Dn及Fn true;其中,安全帽图像和安全帽检测标签图像为RGB图,N≥200,N1+N2=N,N1和N2至少为N的三分之一,工人未规范佩戴安全帽包括但不限于将安全帽放在一边、拿在手里、半扣在头顶等行为,1≤n≤N,n的初始值为1,Dn、Fn true的宽度为K且高度为G,且K和G均能够被2整除。
步骤2:构建深度残差网络:如图1所示,该深度残差网络具有输入层、隐藏层、输出层,隐藏层包括一个改进卷积层、一个最大池化层、四个残差块、一个Dropout层、一个全连接层,输出层包括一个Softmax回归分类器。
对于输入层,其输入端接收一张RGB图像,其输出端输出RGB图像给隐藏层;其中,要求RGB图像的宽度为K且高度为G。
对于隐藏层,改进卷积层的输入端接收输入层的输出端输出的RGB图像,改进卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000111
且高度为
Figure BDA0003440100750000112
的特征图,将改进卷积层的输出端输出的所有特征图构成的集合记为A1;最大池化层的输入端接收A1中的所有特征图,最大池化层的输出端输出64幅宽度为
Figure BDA0003440100750000113
且高度为
Figure BDA0003440100750000114
的特征图,将最大池化层的输出端输出的所有特征图构成的集合记为A2;第1个残差块的输入端接收A2中的所有特征图,第1个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000115
且高度为
Figure BDA0003440100750000116
的特征图,将第1个残差块的输出端输出的所有特征图构成的集合记为A3;第2个残差块的输入端接收A3中的所有特征图,第2个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000117
且高度为
Figure BDA0003440100750000118
的特征图,将第2个残差块的输出端输出的所有特征图构成的集合记为A4;第3个残差块的输入端接收A4中的所有特征图,第3个残差块的输出端输出64幅宽度为
Figure BDA0003440100750000119
且高度为
Figure BDA00034401007500001110
的特征图,将第3个残差块的输出端输出的所有特征图构成的集合记为A5;第4个残差块的输入端接收A5中的所有特征图,第4个残差块的输出端输出64幅宽度为
Figure BDA00034401007500001111
且高度为
Figure BDA00034401007500001112
的特征图,将第4个残差块的输出端输出的所有特征图构成的集合记为A6;Dropout层的输入端接收A6中的所有特征图,Dropout层的输出端输出64幅宽度为
Figure BDA00034401007500001113
且高度为
Figure BDA00034401007500001114
的特征图,将Dropout层的输出端输出的所有特征图构成的集合记为A7,Dropout层实际对特征图并不处理;全连接层的输入端接收A7中的所有特征图,全连接层的输出端输出一维向量;其中,最大池化层的步长为2,全连接层的输入维度为64,全连接层的输出维度为1024。
在本实施例中,如图2所示,改进卷积层由依次连接的第一卷积层、第二卷积层、第三卷积层组成,第一卷积层的输入端作为改进卷积层的输入端,第一卷积层的输入端接收输入层的输出端输出的RGB图像,第一卷积层的输出端输出64幅宽度为K且高度为G的特征图,第二卷积层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输出端输出128幅宽度为K且高度为G的特征图,第三卷积层的输入端接收第二卷积层的输出端输出的所有特征图,第三卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000121
且高度为
Figure BDA0003440100750000122
的特征图,第三卷积层的输出端作为改进卷积层的输出端;其中,第一卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为1,第二卷积层的卷积核的大小为3×3、卷积核的个数为128、填充为1、步长为1,第三卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为2。
在本实施例中,第1个残差块和第4个残差块的结构相同,如图3所示,其由两个恒等残差单元和一个卷积残差单元组成,第1个恒等残差单元、卷积残差单元和第2个恒等残差单元依次连接,第1个恒等残差单元的输入端作为其所在残差块的输入端,即第1个残差块中的第1个恒等残差单元的输入端接收A2中的所有特征图,第4个残差块中的第1个恒等残差单元的输入端接收A5中的所有特征图,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000123
且高度为
Figure BDA0003440100750000124
的特征图,卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000125
且高度为
Figure BDA0003440100750000126
的特征图,第2个恒等残差单元的输入端接收卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000127
且高度为
Figure BDA0003440100750000128
的特征图,第2个恒等残差单元的输出端作为其所在残差块的输出端,即第1个残差块中的第2个恒等残差单元的输出端输出的所有特征图构成的集合即为A3,第4个残差块中的第2个恒等残差单元的输出端输出的所有特征图构成的集合即为A6。如图4所示,第2个残差块由两个恒等残差单元和两个卷积残差单元组成,第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元依次连接,第1个恒等残差单元的输入端作为第2个残差块的输入端,即第2个残差块中的第1个恒等残差单元的输入端接收A3中的所有特征图,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000129
且高度为
Figure BDA00034401007500001210
的特征图,第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure BDA00034401007500001211
且高度为
Figure BDA00034401007500001212
的特征图,第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000131
且高度为
Figure BDA00034401007500001318
的特征图,第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图,第2个卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000132
且高度为
Figure BDA0003440100750000133
的特征图,第2个卷积残差单元的输出端作为第2个残差块的输出端,即第2个残差块中的第2个卷积残差单元的输出端输出的所有特征图构成的集合即为A4。如图5所示,第3个残差块由三个恒等残差单元和三个卷积残差单元组成,第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元、第3个恒等残差单元、第3个卷积残差单元依次连接,第1个恒等残差单元的输入端作为第3个残差块的输入端,即第3个残差块中的第1个恒等残差单元的输入端接收A4中的所有特征图,第1个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000134
且高度为
Figure BDA0003440100750000135
的特征图,第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000136
且高度为
Figure BDA0003440100750000137
的特征图,第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure BDA0003440100750000138
且高度为
Figure BDA0003440100750000139
的特征图,第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图,第2个卷积残差单元的输出端输出64幅宽度为
Figure BDA00034401007500001310
且高度为
Figure BDA00034401007500001311
的特征图,第3个恒等残差单元的输入端接收第2个卷积残差单元的输出端输出的所有特征图,第3个恒等残差单元的输出端输出64幅宽度为
Figure BDA00034401007500001312
且高度为
Figure BDA00034401007500001313
的特征图,第3个卷积残差单元的输入端接收第3个恒等残差单元的输出端输出的所有特征图,第3个卷积残差单元的输出端输出64幅宽度为
Figure BDA00034401007500001314
且高度为
Figure BDA00034401007500001315
的特征图,第3个卷积残差单元的输出端作为第3个残差块的输出端,即第3个残差块中的第3个卷积残差单元的输出端输出的所有特征图构成的集合即为A5
在本实施例中,四个残差块中的所有恒等残差单元的结构相同,如图6所示,其包括第四卷积层、第一批标准化(BN)层、第五卷积层、第二批标准化层、第六卷积层、第三批标准化层,第四卷积层的输入端作为其所在的恒等残差单元的输入端,第四卷积层的输出端输出16幅宽度为
Figure BDA00034401007500001316
且高度为
Figure BDA00034401007500001317
的特征图,第一批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第一批标准化层的输出端输出16幅宽度为
Figure BDA0003440100750000141
且高度为
Figure BDA0003440100750000142
的特征图,将第一批标准化层的输出端输出的所有特征图经第1个ReLu激活函数后得到的所有特征图输入到第五卷积层的输入端,第五卷积层的输出端输出16幅宽度为
Figure BDA0003440100750000143
且高度为
Figure BDA0003440100750000144
的特征图,第二批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第二批标准化层的输出端输出16幅宽度为
Figure BDA0003440100750000145
且高度为
Figure BDA0003440100750000146
的特征图,将第二批标准化层的输出端输出的所有特征图经第2个ReLu激活函数后得到的所有特征图输入到第六卷积层的输入端,第六卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000147
且高度为
Figure BDA0003440100750000148
的特征图,第三批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第三批标准化层的输出端输出64幅宽度为
Figure BDA0003440100750000149
且高度为
Figure BDA00034401007500001410
的特征图,将第三批标准化层的输出端输出的所有特征图经第3个ReLu激活函数后得到的所有特征图与输入到第四卷积层的输入端的所有特征图进行像素相加操作(像素相加操作为常规技术手段,即相对应的两张特征图中对应位置的像素的值相加),将像素相加操作后得到的所有特征图构成的集合作为所在的恒等残差单元的输出端输出的所有特征图构成的集合;其中,第四卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1,第五卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1,第六卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1,第一批标准化层、第二批标准化层、第三批标准化层的参数均采用默认值。
在本实施例中,四个残差块中的所有卷积残差单元的结构相同,如图7所示,其包括第七卷积层、第四批标准化层、第八卷积层、第五批标准化层、第九卷积层、第六批标准化层、第十卷积层、第七批标准化层,第七卷积层的输入端和第十卷积层的输入端作为其所在的卷积残差单元的输入端,第七卷积层的输出端输出16幅宽度为
Figure BDA00034401007500001411
且高度为
Figure BDA00034401007500001412
的特征图,第四批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第四批标准化层的输出端输出16幅宽度为
Figure BDA00034401007500001413
且高度为
Figure BDA00034401007500001414
的特征图,将第四批标准化层的输出端输出的所有特征图经第4个ReLu激活函数后得到的所有特征图输入到第八卷积层的输入端,第八卷积层的输出端输出16幅宽度为
Figure BDA00034401007500001415
且高度为
Figure BDA00034401007500001416
的特征图,第五批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第五批标准化层的输出端输出16幅宽度为
Figure BDA00034401007500001417
且高度为
Figure BDA00034401007500001418
的特征图,将第五批标准化层的输出端输出的所有特征图经第5个ReLu激活函数后得到的所有特征图输入到第九卷积层的输入端,第九卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000151
且高度为
Figure BDA0003440100750000152
的特征图,第六批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第六批标准化层的输出端输出64幅宽度为
Figure BDA0003440100750000153
且高度为
Figure BDA0003440100750000154
的特征图,第十卷积层的输出端输出64幅宽度为
Figure BDA0003440100750000155
且高度为
Figure BDA0003440100750000156
的特征图,第七批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第七批标准化层的输出端输出64幅宽度为
Figure BDA0003440100750000157
且高度为
Figure BDA0003440100750000158
的特征图,将第六批标准化层的输出端输出的所有特征图经第6个ReLu激活函数后得到的所有特征图与第七批标准化层的输出端输出的所有特征图经第7个ReLu激活函数后得到的所有特征图进行像素相加操作(像素相加操作为常规技术手段,即相对应的两张特征图中对应位置的像素的值相加),将像素相加操作后得到的所有特征图构成的集合作为所在的卷积残差单元的输出端输出的所有特征图构成的集合;其中,第七卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1,第八卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1,第九卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1,第十卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1,第四批标准化层、第五批标准化层、第六批标准化层、第七批标准化层的参数均采用默认值。
在卷积残差单元中添加第十卷积层作为残差边。在恒等残差单元和卷积残差单元中,各个批标准化层归一化地将数据分布拉回标准正态分布,使得梯度一直处于比较大的状态,在批标准化层实现过程中,增加了平移和缩放参数,保留了非线性;ReLu激活函数(即线性整流激活函数),相比于传统的神经网络中最常见的两个激活函数Sigmoid和Tanh函数,线性整流激活函数具有单向抑制,它可以很好地使一部分神经元的输出为0,减少了梯度弥散造成的权重更新缓慢影响,加快了反向传播过程训练神经元的收敛速度。
对于输出层,Softmax回归分类器的输入端接收全连接层的输出端输出的一维向量,Softmax回归分类器的输出端输出概率分布。
步骤3:将训练集中的每张安全帽图像及其对应的安全帽检测标签图像输入到深度残差网络中,对训练集中的每张安全帽图像进行训练,在Softmax回归分类器的输出端输出训练集中的每张安全帽图像的概率分布及对应的安全帽检测标签图像的概率分布后,计算训练集中的每张安全帽图像的概率分布与对应的安全帽检测标签图像的概率分布之间的损失函数值,将Dn的概率分布与Fn true的概率分布之间的损失函数值记为Lossn,Lossn通过Softmax函数和交叉熵函数相结合计算得到。
步骤4:重复执行步骤3共M次,训练得到深度残差网络训练模型,并得到N×M个损失函数值;然后从所有损失函数值中找出值最小的损失函数值;接着将值最小的损失函数值对应的权值矢量和偏置项对应作为深度残差网络训练模型的最优权值矢量和最优偏置项;其中,M>1。
步骤5:任意选取一张宽度为K且高度为G的安全帽图像作为测试图像;然后将测试图像输入到深度残差网络训练模型中进行预测,预测得到测试图像的分类结果,分类结果为工人规范佩戴安全帽或工人未规范佩戴安全帽。
在本实施例中,步骤2中,Dropout层的保留率设为0.5。设置Dropout层的保留率p时,考虑了0.1、0.2、0.5、0.8和1.0总共五种情况。当p为0.1时训练误差和测试误差下降速度很快,但是测试误差一直比训练误差大,出现了过拟合的情况;当p为0.2时,损失函数值下降到0.5左右开始收敛,但是测试误差和训练误差距离远,出现了过拟合的情况;当p为0.5时,损失函数值下降很明显,且在下降至1.0后深度残差网络出现收敛,测试误差和训练误差距离近;当p为0.8时,损失函数值下降速度快,在下降至1.0后深度残差网络收敛,但测试误差一直低于训练误差,距离较远,说明出现欠拟合的情况;当p为1.0时,即不使用Dropout层时,损失函数值下降明显,但测试误差一直不稳定,与训练误差相距最远,出现过拟合的情况。比较可得出p为0.5时查准率最高,因此Dropout层的保留率设为0.5。
为验证本发明方法的性能,对本发明方法进行实验。
在本实验中训练和测试均通过GPU加速,大大提高了训练与测试的速度,且使用Pytorch框架,具备灵活、易用、快速的特点。
在训练的时候分为两步:第一步选择合适的Dropout层的保留率,将Dropout层的保留率设置为0.5,Dropout层随机丢弃深度残差网络中的神经元,以防止深度残差网络发生过拟合问题;第二步选择合适的损失函数,用以对深度残差网络进行训练。在训练的时候将batch size设定为128,时间间隔设置为1个epoch,最大训练轮数设为300个epoch,初始学习率设为0.01。
从变电站场景下的监控摄像头中截取3段共7分21秒的视频流,将视频流中的截图按帧保存,从中随机选取出500张安全帽图像,将这500张安全帽图像作为测试图像输入到训练得到的深度残差网络训练模型中进行预测。由于这500张安全帽图像为现场收集,因此具有优异的质量和泛化性,实验结果更可靠,有说服力。
利用本发明方法中的深度残差网络训练模型与现有的三种主流网络结构分别对500张安全帽图像进行预测,表1给出了查准率的比较,从而来判断本发明方法中的深度残差网络训练模型的优越性。
表1利用本发明方法中的深度残差网络训练模型与现有的三种主流网络结构分别对500张安全帽图像进行预测的查准率
网络模型 查准率
ResNet-50 80.23%
VGG-16 84.13%
YOLOv3 88.25%
本发明方法中的深度残差网络训练模型 88.48%
从表1中可以看出,本发明方法中的深度残差网络训练模型具有更高的查准率。
表2给出了500张安全帽图像在本发明方法中的深度残差网络训练模型下的识别效果。表2中,TP表示被深度残差网络训练模型预测为正类的正样本,FP表示被深度残差网络训练模型预测为正类的负样本,FN表示被深度残差网络训练模型预测为负类的正样本,查准率为正样本占被深度残差网络训练模型预测为正类的比例,查全率为正样本中被深度残差网络训练模型预测为正类所占的比例,wear表示工人规范佩戴安全帽,not_wear表示工人未规范佩戴安全帽。
表2 500张安全帽图像在本发明方法中的深度残差网络训练模型下的识别效果
TP FP FN 查准率 查全率
wear 296 29 38 91.07% 88.62%
not_wear 225 32 47 87.54% 82.72%
从表2所列的数据可知,工人规范佩戴安全帽的查准率达到91.07%,查全率达到88.62%;工人未规范佩戴安全帽的查准率达到87.54%,查全率达到82.72%。
实验结果证明,本发明方法训练得到的深度残差网络训练模型可以在复杂的变电站场景下比较精确地识别出工人是否规范佩戴安全帽,能够满足变电站工作环境的安全监测要求。
图8a、图8b、图8c、图8d分别给出了其中4张测试图像的识别结果,从图中可以看出有效地识别出了工人是否规范佩戴安全帽,并框出了安全帽区域。
应用本发明方法的一种系统实施例:
一种基于深度残差网络的变电站安全帽识别系统,其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的一种基于深度残差网络的变电站安全帽识别方法。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种基于深度残差网络的变电站安全帽识别方法,其特征在于,
包括以下步骤:
步骤1:在变电站场景下获取N张安全帽图像,将N张安全帽图像及安全帽图像对应的安全帽检测标签图像构成训练集,
步骤2:构建深度残差网络;
所述深度残差网络具有输入层、隐藏层、输出层;
所述隐藏层至少包括一个改进卷积层、一个最大池化层、四个残差块、一个Dropout层、一个全连接层;
输出层至少包括一个Softmax回归分类器;
步骤3:将步骤1中的训练集输入到步骤2中的深度残差网络中,对训练集中的安全帽图像进行训练,其训练方法如下:
第一步,在Softmax回归分类器的输出端输出安全帽图像的概率分布及对应的安全帽检测标签图像的概率分布;
第二步,根据第一步中的安全帽图像的概率分布与安全帽检测标签图像的概率分布,并通过Softmax函数和交叉熵函数,计算两个概率分布之间的损失函数值;
步骤4:重复执行步骤3共M次,训练得到深度残差网络训练模型,并得到N×M个损失函数值;然后从所有损失函数值中找出值最小的损失函数值;
接着将值最小的损失函数值对应的权值矢量和偏置项对应作为深度残差网络训练模型的最优权值矢量和最优偏置项;其中,M>1;
步骤5:任意选取一张宽度为K且高度为G的安全帽图像作为测试图像;然后将测试图像输入到深度残差网络训练模型中进行预测,预测得到测试图像的分类结果,并将预测的分类结果与安全帽图像实际情况进行对比,验证深度残差网络训练模型预测结果是否准确;
如果深度残差网络训练模型测试结果准确,则进行步骤6;
否则返回到步骤4;
步骤6:将待预测的安全帽图像输入到步骤5中的深度残差网络训练模型中进行预测,预测得到待预测的安全帽图像的分类结果;
所述分类结果为工人规范佩戴安全帽或工人未规范佩戴安全帽。
2.如权利要求1所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
所述步骤1,训练集中包括有N1张工人规范佩戴安全帽的安全帽图像和N2张工人未规范佩戴安全帽的安全帽图像,对应作为正类图像和负类图像;
然后将训练集中的第n张安全帽图像及其对应的安全帽检测标签图像对应记为Dn及Fn true
其中,安全帽图像和安全帽检测标签图像为RGB图像,N≥200,N1+N2=N,N1和N2至少为N的三分之一,1≤n≤N,n的初始值为1,Dn、Fn true的宽度为K且高度为G,且K和G均能够被2整除。
3.如权利要求1所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
所述步骤2,对于输入层,其输入端接收一张RGB图像,其输出端输出RGB图像给隐藏层;
其中,要求RGB图像的宽度为K且高度为G;
对于隐藏层,改进卷积层的输入端接收输入层的输出端输出的RGB图像,改进卷积层的输出端输出64幅宽度为
Figure FDA0003440100740000021
且高度为
Figure FDA0003440100740000022
的特征图,将改进卷积层的输出端输出的所有特征图构成的集合记为A1
最大池化层的输入端接收A1中的所有特征图,最大池化层的输出端输出64幅宽度为
Figure FDA0003440100740000023
且高度为
Figure FDA0003440100740000024
的特征图,将最大池化层的输出端输出的所有特征图构成的集合记为A2
第1个残差块的输入端接收A2中的所有特征图,第1个残差块的输出端输出64幅宽度为
Figure FDA0003440100740000025
且高度为
Figure FDA0003440100740000026
的特征图,将第1个残差块的输出端输出的所有特征图构成的集合记为A3
第2个残差块的输入端接收A3中的所有特征图,第2个残差块的输出端输出64幅宽度为
Figure FDA0003440100740000027
且高度为
Figure FDA0003440100740000028
的特征图,将第2个残差块的输出端输出的所有特征图构成的集合记为A4
第3个残差块的输入端接收A4中的所有特征图,第3个残差块的输出端输出64幅宽度为
Figure FDA0003440100740000031
且高度为
Figure FDA0003440100740000032
的特征图,将第3个残差块的输出端输出的所有特征图构成的集合记为A5
第4个残差块的输入端接收A5中的所有特征图,第4个残差块的输出端输出64幅宽度为
Figure FDA0003440100740000033
且高度为
Figure FDA0003440100740000034
的特征图,将第4个残差块的输出端输出的所有特征图构成的集合记为A6
Dropout层的输入端接收A6中的所有特征图,Dropout层的输出端输出64幅宽度为
Figure FDA0003440100740000035
且高度为
Figure FDA0003440100740000036
的特征图,将Dropout层的输出端输出的所有特征图构成的集合记为A7
全连接层的输入端接收A7中的所有特征图,全连接层的输出端输出一维向量;
其中,最大池化层的步长为2,全连接层的输入维度为64,全连接层的输出维度为1024;
对于输出层,Softmax回归分类器的输入端接收全连接层的输出端输出的一维向量,Softmax回归分类器的输出端输出概率分布。
4.如权利要求3所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
所述改进卷积层包括依次连接的第一卷积层、第二卷积层、第三卷积层;
第一卷积层的输入端作为改进卷积层的输入端,第一卷积层的输入端接收输入层的输出端输出的RGB图像,第一卷积层的输出端输出64幅宽度为K且高度为G的特征图;
第二卷积层的输入端接收第一卷积层的输出端输出的所有特征图,第二卷积层的输出端输出128幅宽度为K且高度为G的特征图;
第三卷积层的输入端接收第二卷积层的输出端输出的所有特征图,第三卷积层的输出端输出64幅宽度为
Figure FDA0003440100740000037
且高度为
Figure FDA0003440100740000038
的特征图,第三卷积层的输出端作为改进卷积层的输出端;
其中,第一卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为1,第二卷积层的卷积核的大小为3×3、卷积核的个数为128、填充为1、步长为1,第三卷积层的卷积核的大小为3×3、卷积核的个数为64、填充为1、步长为2。
5.如权利要求3所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
所述第1个残差块和第4个残差块的结构相同,其由两个恒等残差单元和一个卷积残差单元组成;
第1个恒等残差单元、卷积残差单元和第2个恒等残差单元依次连接;
第1个恒等残差单元的输入端作为其所在残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000041
且高度为
Figure FDA0003440100740000042
的特征图;
卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,卷积残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000043
且高度为
Figure FDA0003440100740000044
的特征图;
第2个恒等残差单元的输入端接收卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000045
且高度为
Figure FDA0003440100740000046
的特征图,第2个恒等残差单元的输出端作为其所在残差块的输出端;
第2个残差块由两个恒等残差单元和两个卷积残差单元组成;
第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元依次连接;
第1个恒等残差单元的输入端作为第2个残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000047
且高度为
Figure FDA0003440100740000048
的特征图,第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000049
且高度为
Figure FDA00034401007400000410
的特征图;
第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图,第2个恒等残差单元的输出端输出64幅宽度为
Figure FDA00034401007400000411
且高度为
Figure FDA00034401007400000412
的特征图,第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图,第2个卷积残差单元的输出端输出64幅宽度为
Figure FDA00034401007400000413
且高度为
Figure FDA00034401007400000414
的特征图,第2个卷积残差单元的输出端作为第2个残差块的输出端;
第3个残差块由三个恒等残差单元和三个卷积残差单元组成;
第1个恒等残差单元、第1个卷积残差单元、第2个恒等残差单元、第2个卷积残差单元、第3个恒等残差单元、第3个卷积残差单元依次连接;
第1个恒等残差单元的输入端作为第3个残差块的输入端,第1个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000051
且高度为
Figure FDA0003440100740000052
的特征图;
第1个卷积残差单元的输入端接收第1个恒等残差单元的输出端输出的所有特征图,第1个卷积残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000053
且高度为
Figure FDA0003440100740000054
的特征图;
第2个恒等残差单元的输入端接收第1个卷积残差单元的输出端输出的所有特征图;第2个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000055
且高度为
Figure FDA0003440100740000056
的特征图;
第2个卷积残差单元的输入端接收第2个恒等残差单元的输出端输出的所有特征图;第2个卷积残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000057
且高度为
Figure FDA0003440100740000058
的特征图;
第3个恒等残差单元的输入端接收第2个卷积残差单元的输出端输出的所有特征图;第3个恒等残差单元的输出端输出64幅宽度为
Figure FDA0003440100740000059
且高度为
Figure FDA00034401007400000510
的特征图;
第3个卷积残差单元的输入端接收第3个恒等残差单元的输出端输出的所有特征图,第3个卷积残差单元的输出端输出64幅宽度为
Figure FDA00034401007400000511
且高度为
Figure FDA00034401007400000512
的特征图;第3个卷积残差单元的输出端作为第3个残差块的输出端。
6.如权利要求5所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
四个残差块中的所有恒等残差单元的结构相同,其包括第四卷积层、第一批标准化层、第五卷积层、第二批标准化层、第六卷积层、第三批标准化层;
第四卷积层的输入端作为其所在的恒等残差单元的输入端,第四卷积层的输出端输出16幅宽度为
Figure FDA00034401007400000513
且高度为
Figure FDA00034401007400000514
的特征图;
第一批标准化层的输入端接收第四卷积层的输出端输出的所有特征图,第一批标准化层的输出端输出16幅宽度为
Figure FDA0003440100740000061
且高度为
Figure FDA0003440100740000062
的特征图,将第一批标准化层的输出端输出的所有特征图经第1个ReLu激活函数后得到的所有特征图输入到第五卷积层的输入端;
第五卷积层的输出端输出16幅宽度为
Figure FDA0003440100740000063
且高度为
Figure FDA0003440100740000064
的特征图;
第二批标准化层的输入端接收第五卷积层的输出端输出的所有特征图,第二批标准化层的输出端输出16幅宽度为
Figure FDA0003440100740000065
且高度为
Figure FDA0003440100740000066
的特征图,将第二批标准化层的输出端输出的所有特征图经第2个ReLu激活函数后得到的所有特征图输入到第六卷积层的输入端,第六卷积层的输出端输出64幅宽度为
Figure FDA0003440100740000067
且高度为
Figure FDA0003440100740000068
的特征图;
第三批标准化层的输入端接收第六卷积层的输出端输出的所有特征图,第三批标准化层的输出端输出64幅宽度为
Figure FDA0003440100740000069
且高度为
Figure FDA00034401007400000610
的特征图,将第三批标准化层的输出端输出的所有特征图经第3个ReLu激活函数后得到的所有特征图与输入到第四卷积层的输入端的所有特征图进行像素相加操作,将像素相加操作后得到的所有特征图构成的集合作为所在的恒等残差单元的输出端输出的所有特征图构成的集合。
7.如权利要求6所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
第四卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1;
第五卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1;
第六卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第一批标准化层、第二批标准化层、第三批标准化层的参数均采用默认值。
8.如权利要求7所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
四个残差块中的所有卷积残差单元的结构相同,其包括第七卷积层、第四批标准化层、第八卷积层、第五批标准化层、第九卷积层、第六批标准化层、第十卷积层、第七批标准化层;
第七卷积层的输入端和第十卷积层的输入端作为其所在的卷积残差单元的输入端,第七卷积层的输出端输出16幅宽度为
Figure FDA0003440100740000071
且高度为
Figure FDA0003440100740000072
的特征图;
第四批标准化层的输入端接收第七卷积层的输出端输出的所有特征图,第四批标准化层的输出端输出16幅宽度为
Figure FDA0003440100740000073
且高度为
Figure FDA0003440100740000074
的特征图,将第四批标准化层的输出端输出的所有特征图经第4个ReLu激活函数后得到的所有特征图输入到第八卷积层的输入端;
第八卷积层的输出端输出16幅宽度为
Figure FDA0003440100740000075
且高度为
Figure FDA0003440100740000076
的特征图;
第五批标准化层的输入端接收第八卷积层的输出端输出的所有特征图,第五批标准化层的输出端输出16幅宽度为
Figure FDA0003440100740000077
且高度为
Figure FDA0003440100740000078
的特征图,将第五批标准化层的输出端输出的所有特征图经第5个ReLu激活函数后得到的所有特征图输入到第九卷积层的输入端;
第九卷积层的输出端输出64幅宽度为
Figure FDA0003440100740000079
且高度为
Figure FDA00034401007400000710
的特征图;
第六批标准化层的输入端接收第九卷积层的输出端输出的所有特征图,第六批标准化层的输出端输出64幅宽度为
Figure FDA00034401007400000711
且高度为
Figure FDA00034401007400000712
的特征图;
第十卷积层的输出端输出64幅宽度为
Figure FDA00034401007400000713
且高度为
Figure FDA00034401007400000714
的特征图;
第七批标准化层的输入端接收第十卷积层的输出端输出的所有特征图,第七批标准化层的输出端输出64幅宽度为
Figure FDA00034401007400000715
且高度为
Figure FDA00034401007400000716
的特征图,将第六批标准化层的输出端输出的所有特征图经第6个ReLu激活函数后得到的所有特征图与第七批标准化层的输出端输出的所有特征图经第7个ReLu激活函数后得到的所有特征图进行像素相加操作,将像素相加操作后得到的所有特征图构成的集合作为所在的卷积残差单元的输出端输出的所有特征图构成的集合。
9.如权利要求8所述的一种基于深度残差网络的变电站安全帽识别方法,
其特征在于,
第七卷积层的卷积核的大小为1×1、卷积核的个数为16、填充为0、步长为1;
第八卷积层的卷积核的大小为3×3、卷积核的个数为16、填充为1、步长为1;
第九卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第十卷积层的卷积核的大小为1×1、卷积核的个数为64、填充为0、步长为1;
第四批标准化层、第五批标准化层、第六批标准化层、第七批标准化层的参数均采用默认值;
Dropout层的保留率设为0.5。
10.一种基于深度残差网络的变电站安全帽识别系统,其特征在于,
其包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-9任一所述的一种基于深度残差网络的变电站安全帽识别方法。
CN202111626217.XA 2021-12-28 2021-12-28 一种基于深度残差网络的变电站安全帽识别方法及系统 Active CN114241247B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111626217.XA CN114241247B (zh) 2021-12-28 2021-12-28 一种基于深度残差网络的变电站安全帽识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111626217.XA CN114241247B (zh) 2021-12-28 2021-12-28 一种基于深度残差网络的变电站安全帽识别方法及系统

Publications (2)

Publication Number Publication Date
CN114241247A true CN114241247A (zh) 2022-03-25
CN114241247B CN114241247B (zh) 2023-03-07

Family

ID=80764047

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111626217.XA Active CN114241247B (zh) 2021-12-28 2021-12-28 一种基于深度残差网络的变电站安全帽识别方法及系统

Country Status (1)

Country Link
CN (1) CN114241247B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
CN109934864A (zh) * 2019-03-14 2019-06-25 东北大学 面向机械臂抓取位姿估计的残差网络深度学习方法
CN110070541A (zh) * 2019-04-30 2019-07-30 合肥工业大学 一种适用于小样本数据的图像质量评价方法
US20190236440A1 (en) * 2018-01-31 2019-08-01 Pin-Han Ho Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture
CN110889448A (zh) * 2019-11-26 2020-03-17 北京华医共享医疗科技有限公司 一种基于卷积神经网络的心电分类方法
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
CN111275720A (zh) * 2020-01-20 2020-06-12 浙江大学 一种基于深度学习的全端到端小器官图像识别方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
CN112349427A (zh) * 2020-10-21 2021-02-09 上海中医药大学 一种基于舌象和深度残差卷积神经网络的糖尿病预测方法
CN112508072A (zh) * 2020-11-30 2021-03-16 云南省烟草质量监督检测站 基于残差卷积神经网络的卷烟真假识别方法、装置和设备
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN112560968A (zh) * 2020-12-21 2021-03-26 齐鲁工业大学 一种基于卷积和残差网络的her2图像分类方法及系统
CN112733920A (zh) * 2020-12-31 2021-04-30 中国地质调查局成都地质调查中心 一种基于深度学习的图像识别方法及系统
CN113256649A (zh) * 2021-05-11 2021-08-13 国网安徽省电力有限公司经济技术研究院 一种基于深度学习的遥感图像选站选线语义分割方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170262735A1 (en) * 2016-03-11 2017-09-14 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US20200175352A1 (en) * 2017-03-14 2020-06-04 University Of Manitoba Structure defect detection using machine learning algorithms
US20190236440A1 (en) * 2018-01-31 2019-08-01 Pin-Han Ho Deep convolutional neural network architecture and system and method for building the deep convolutional neural network architecture
CN108875787A (zh) * 2018-05-23 2018-11-23 北京市商汤科技开发有限公司 一种图像识别方法及装置、计算机设备和存储介质
CN109934864A (zh) * 2019-03-14 2019-06-25 东北大学 面向机械臂抓取位姿估计的残差网络深度学习方法
CN110070541A (zh) * 2019-04-30 2019-07-30 合肥工业大学 一种适用于小样本数据的图像质量评价方法
CN110889448A (zh) * 2019-11-26 2020-03-17 北京华医共享医疗科技有限公司 一种基于卷积神经网络的心电分类方法
CN111275720A (zh) * 2020-01-20 2020-06-12 浙江大学 一种基于深度学习的全端到端小器官图像识别方法
CN111353463A (zh) * 2020-03-12 2020-06-30 北京工业大学 基于随机深度残差网络的高光谱图像分类方法
CN112349427A (zh) * 2020-10-21 2021-02-09 上海中医药大学 一种基于舌象和深度残差卷积神经网络的糖尿病预测方法
CN112508072A (zh) * 2020-11-30 2021-03-16 云南省烟草质量监督检测站 基于残差卷积神经网络的卷烟真假识别方法、装置和设备
CN112507888A (zh) * 2020-12-11 2021-03-16 北京建筑大学 建筑物识别方法及装置
CN112560968A (zh) * 2020-12-21 2021-03-26 齐鲁工业大学 一种基于卷积和残差网络的her2图像分类方法及系统
CN112733920A (zh) * 2020-12-31 2021-04-30 中国地质调查局成都地质调查中心 一种基于深度学习的图像识别方法及系统
CN113256649A (zh) * 2021-05-11 2021-08-13 国网安徽省电力有限公司经济技术研究院 一种基于深度学习的遥感图像选站选线语义分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HONG HUANG ET AL.: "Adaptive Residual Convolutional Neural Network for Hyperspectral Image Classification", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
XIAN ZHONG ET AL.: "Squeeze-and-Excitation Wide Residual Networks in Image Classification", 《2019 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *
ZHENZHEN FU ET AL.: "Small Sample Learning Optimization for Resnet Based Sar Target Recognition", 《IGARSS 2018-2018 IEEE INTERNATIONAL GEOSCIENCE AND REMOTE SENSING SYMPOSIUM》 *
孟月: "基于残差网络的高光谱图像分类算法研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑(月刊)》 *
杨晶东 等: "自适应融合残差网在图像分类中应用研究", 《小型微型计算机系统》 *

Also Published As

Publication number Publication date
CN114241247B (zh) 2023-03-07

Similar Documents

Publication Publication Date Title
CN108537743B (zh) 一种基于生成对抗网络的面部图像增强方法
CN111860171B (zh) 一种大规模遥感图像中不规则形状目标的检测方法及系统
CN107341463B (zh) 一种结合图像质量分析与度量学习的人脸特征识别方法
CN108737406A (zh) 一种异常流量数据的检测方法及系统
CN107463920A (zh) 一种消除局部遮挡物影响的人脸识别方法
CN105095856A (zh) 基于掩膜的有遮挡人脸识别方法
CN110188654B (zh) 一种基于移动未裁剪网络的视频行为识别方法
CN109543760A (zh) 基于图像滤镜算法的对抗样本检测方法
CN108108760A (zh) 一种快速人脸识别方法
CN110084149A (zh) 一种基于难样本四元组动态边界损失函数的人脸验证方法
CN112263224B (zh) 一种基于fpga边缘计算的医学信息处理方法
CN106778714B (zh) 基于非线性特征和模型合并的lda人脸识别方法
CN111507320A (zh) 后厨违规行为检测方法、装置、设备和存储介质
CN108846307A (zh) 一种基于波形图像的微震与爆破事件识别方法
CN103714340B (zh) 基于图像分块的自适应特征提取方法
CN116977725A (zh) 一种基于改进卷积神经网络的异常行为识别方法及装置
Babnik et al. DifFIQA: Face image quality assessment using denoising diffusion probabilistic models
Vargas et al. One shot logo recognition based on siamese neural networks
Wangli et al. Foxtail Millet ear detection approach based on YOLOv4 and adaptive anchor box adjustment
CN111737688B (zh) 基于用户画像的攻击防御系统
CN114241247B (zh) 一种基于深度残差网络的变电站安全帽识别方法及系统
CN112989967A (zh) 一种基于音视频信息融合的人员身份识别方法
CN111582440A (zh) 一种基于深度学习的数据处理方法
CN105930878A (zh) 一种基于差分切片能量图和稀疏编码的微表情识别方法
CN113723482B (zh) 基于多示例孪生网络的高光谱目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant