CN118097580A - 一种基于Yolov4网络的危险行为防护方法及系统 - Google Patents
一种基于Yolov4网络的危险行为防护方法及系统 Download PDFInfo
- Publication number
- CN118097580A CN118097580A CN202410497746.1A CN202410497746A CN118097580A CN 118097580 A CN118097580 A CN 118097580A CN 202410497746 A CN202410497746 A CN 202410497746A CN 118097580 A CN118097580 A CN 118097580A
- Authority
- CN
- China
- Prior art keywords
- image
- network
- module
- representing
- yolov
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000006399 behavior Effects 0.000 claims abstract description 81
- 238000012937 correction Methods 0.000 claims abstract description 42
- 238000005286 illumination Methods 0.000 claims abstract description 34
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 42
- 238000011176 pooling Methods 0.000 claims description 35
- 238000004422 calculation algorithm Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 32
- 238000000605 extraction Methods 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 17
- 238000010606 normalization Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 230000003993 interaction Effects 0.000 claims description 10
- 238000002834 transmittance Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 8
- 230000001965 increasing effect Effects 0.000 claims description 7
- 238000004458 analytical method Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 6
- 230000002787 reinforcement Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 230000009191 jumping Effects 0.000 claims description 4
- 230000009471 action Effects 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims description 2
- 231100001261 hazardous Toxicity 0.000 claims 1
- 238000012544 monitoring process Methods 0.000 abstract description 11
- 230000008447 perception Effects 0.000 abstract description 5
- 230000006872 improvement Effects 0.000 abstract description 2
- 230000001419 dependent effect Effects 0.000 description 18
- 230000002708 enhancing effect Effects 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 230000015556 catabolic process Effects 0.000 description 4
- 238000006731 degradation reaction Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000003313 weakening effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008555 neuronal activation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及图像识别领域，提出了一种基于Yolov4网络的危险行为防护方法及系统，通过对实时获取的防护区域图像进行预处理，从输入端提高了后续Yolov4网络识别的准确性，再对Yolov4网络进行轻量化改进，并加入了光照矫正子网络、深度可分离卷积模块和ECA注意力模块，极大地提高了图像识别的效率和精度，最终通过注意力导向模块和情景感知模块，划分危险区域，判断危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。
Description
技术领域
本发明涉及图像识别领域，特别涉及一种基于Yolov4网络的危险行为防护方法及系统。
背景技术
在铁路行业飞速发展的当下，检修站的需求也越来越大，数量也逐渐增加，与此而来的是检修站安全事故防护问题，现在的众多检修站安全事故中，由于人员误入非授权区域而引发的事件占据了相当大的比重，因此对于这种进入非授权区域的危险行为更需要安全防护策略。
现有技术中，传统的检修站安全问题防护方法主要是通过人工监控和固定的警示标识来提醒，现有的这种安全问题防护方法不仅要花费极大的人力资源，而且监管效率十分低下，而只通过固定警示标识来提醒，一旦出现进入非授权区域的危险行为时，不能及时的发现报警，无法实现对这种危险行为的实时监控和及时制止，因此计算机视觉和人工智能技术逐渐走入了大众的视野。
因此如何利用计算机视觉和人工智能技术对检修站进行自动识别与实时监控成为了亟待解决的问题。
发明内容
基于此，本发明的目的是提供一种基于Yolov4网络的危险行为防护方法及系统，通过对实时获取的防护区域图像进行预处理，从输入端提高了后续Yolov4网络识别的准确性，再对Yolov4网络进行轻量化改进，并加入了光照矫正子网络、深度可分离卷积模块和ECA注意力模块，极大地提高了图像识别的效率和精度，最终通过注意力导向模块和情景感知模块，划分危险区域，判断危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。
本发明提出的基于Yolov4网络的危险行为防护方法，包括：
实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中；
光照矫正子网络对所述灰度图像进行颜色矫正处理之后，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
综上，根据上述基于Yolov4网络的危险行为防护方法，通过对实时获取的防护区域图像进行预处理，从输入端提高了后续Yolov4网络识别的准确性，再对Yolov4网络进行轻量化改进，并加入了光照矫正子网络、深度可分离卷积模块和ECA注意力模块，极大地提高了图像识别的效率和精度，最终通过注意力导向模块和情景感知模块，划分危险区域，判断危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。具体为，实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，以提高暗部区域的图像质量，提高了图像整体的可视性和防护区域整体的可识别度，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中，防止了因雾霾造成的图像退化、颜色衰减与对比度减弱，提高了图像的质量，进而提高了图像的识别准确性，光照矫正子网络对所述灰度图像进行颜色矫正处理之后，防止了不同时间段和不同天气条件下光照情况变化造成的颜色偏差，提高了颜色识别的准确性，增强了模型的泛化能力，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，通过替换深度可分离卷积模块，有效减少了模型的参数量，并通过逐点卷积对通道数进行调整，优化了后续ECA注意力模块所依赖的特征图，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像，有效识别并强化特征间的相关性，进而增强了特征的区分力，极大地提升了模型的精确度，将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。
进一步的，所述实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理的步骤包括：
实时获取防护区域的彩色图像，从所述彩色图像中提取红色R通道、绿色G通道和蓝色B通道三个颜色通道，再对所述彩色图像中每个像素点各自在三个颜色通道中的值进行比较，以获取最大值和最小值，并根据如下加权算法进行灰度化处理：
其中M为每个像素点的灰度值，R、G、B分别代表每个像素点在红色、绿色和蓝色通道上的值；
根据所述灰度值获取所述防护区域的灰度图像；
根据所述灰度图像的原始尺寸与目标尺寸进行缩放比例计算，所述原始尺寸包括所述灰度图像的高度和宽度尺寸，所述目标尺寸包括Yolov4网络输入图像的高度和宽度尺寸，再根据双线性插值算法进行缩放处理，以获取缩放后的输出像素值，所述输出像素值为原始尺寸的所述灰度图像中输出像素点相邻的四个像素点的加权平均值，再根据如下公式进行归一化处理：
其中，代表归一化后的像素值，/>表示原始图像像素值/>双线性插值后在位置/>周围四个像素值的加权平均值，255为原始像素值的最大可能值。
进一步的，所述再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中的步骤包括：
获取灰度图像中亮度值最大的像素点，根据所述像素点的颜色值确定大气光A；
根据如下场景深度线性模型获取透射率：
其中，表示场景深度，/>表示场景深度和透射率的关系强度参数；
根据所述大气光A和所述透射率，大气散射模型对所述灰度图像进行去雾处理，将处理后所述灰度图像输入轻量化Yolov4网络中，所述轻量化Yolov4网络的网络架构为轻量级的MobileNetv1网络架构，所述轻量化Yolov4网络中的SPP模块和PANet子网络的标准卷积被替换为深度可分离卷积模块。
进一步的，所述光照矫正子网络对所述灰度图像进行颜色矫正处理的步骤包括：
灰度图像输入到光照矫正子网络中，所述光照矫正子网络包括：
输入层，所述输入层获取RGB图像并进行HSV格式转换，以调节饱和度S值增加10%，亮度V值增加15%；
第一卷积层，所述第一卷积层前设有一个STN层，所述STN层包括一个三层全连接网络作为局部化网络，所述三层全连接网络的第一个和第二个全连接层分别有20和50个神经元，所述第一卷积层包括32个3x3的卷积核，所述卷积核步长为1，并根据ReLU激活函数进行特征提取；
第一池化层，所述第一池化层进行2x2最大池化操作；
第二卷积层，所述第二卷积层包括128个3x3卷积核，所述卷积核步长为1，并根据ReLU激活函数进行深入特征提取；
第二池化层，所述第二池化层进行2x2最大池化操作；
1x1池化层、2x2池化层和4x4池化层，所述1x1池化层、2x2池化层和4x4池化层进行平均池化，获取三个池化的一维向量并连接获取单个长向量；
全连接层，所述全连接层包括64个神经元，根据ReLU激活函数将提取到的特征转换为输出；
Dropout层，所述Dropout层的丢弃率设置为50%；
输出层，所述输出层根据光照条件参数数量，使sigmoid激活函数进行分类，以完成颜色矫正处理。
进一步的，所述深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像的步骤包括：
深度可分离卷积模块根据如下公式进行参数总量S和计算总量Q的计算：
其中，代表卷积核的尺寸与通道数，/>代表通道数，/>代表边长，/>代表特征图的宽度，/>代表特征图的高度，以获取基础特征识别图像；
ECA注意力模块根据以下公式进行相关性计算：
其中，代表局部跨信道交互的覆盖率，即通道附近参与其注意力预测的临近通道的数量，/>代表通道维数，/>代表最近的奇数，/>=2，b=1，以进行相关性强化，获取增强特征识别图像。
进一步的，所述再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像的步骤之后还包括：
损失函数Focal-EIOU根据以下公式进行计算：
其中，代表原EIOU损失函数的计算损失，/>代表交互比，/>代表分辨因子，代表中心距离损失，/>代表宽损失，/>代表高损失，/>代表预测框与真实框中心的距离，/>和/>分别表示两个矩形的闭包的高和宽，/>代表Focal-EIOU损失函数的计算损失，/>代表交互比抑制程度，/>和/>分别代表预测框、真实框位置的预测值，/>代表控制异常值抑制程度的参数。
进一步的，所述将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为的步骤包括：
将增强特征识别图像输入注意力导向模块，对所述增强特征识别图像进行平均池化以提取全局特征，复制所述全局特征的空间维度并扩展特征空间尺寸，以与初始输入的所述增强特征识别图像结合后进行1×1卷积操作压缩到一个通道，再根据sigmoid函数生成归一化的注意力权重矩阵，再将所述增强特征识别图像输入特征金字塔网络FPN以获取输出特征，并将所述注意力权重矩阵与特征金字塔网络FPN的输出特征进行点对点的乘法操作，根据空间权重调整空间位置信息，以获取加权特征识别图像；
再将所述加权特征识别图像输入情景感知模块，所述情景感知模块包括环境分析CNN网络，所述环境分析CNN网络对防护区域中的区域进行划分，区域包括危险区域、安全区域和过渡区域，再根据预先设定的危险指标进行危险行为判断，所述危险行为包括向危险区域的靠近、跃进、跌入或坠落，若判断存在所述危险行为则立即进行报警操作。
本发明提出的一种基于Yolov4网络的危险行为防护系统，包括：
预处理模块，用于实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中；
识别模块，用于光照矫正子网络对所述灰度图像进行颜色矫正处理之后，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
判断报警模块，用于将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
本发明还提供一种存储介质，包括所述存储介质存储一个或多个程序，所述程序被处理器执行时实现如上述的基于Yolov4网络的危险行为防护方法。
本发明还提供一种计算机设备，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器中存放的所述计算机程序时，实现如上述的基于Yolov4网络的危险行为防护方法。
附图说明
图1为本发明第一实施例提出的基于Yolov4网络的危险行为防护方法的流程图；
图2为本发明第二实施例提出的基于Yolov4网络的危险行为防护方法的流程图；
图3为本发明第三实施例提出的基于Yolov4网络的危险行为防护系统的结构示意图；
图4为本发明第一实施例中的ECA注意力模块的原理结构图；
图5为本发明第一实施例中的注意力导向模块的原理结构图。
如下具体实施方式将结合上述附图进一步说明本发明。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的若干个实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
请参阅图1，所示为本发明第一实施例提出的基于Yolov4网络的危险行为防护方法的流程图，该种基于Yolov4网络的危险行为防护方法包括步骤S01至步骤S03，其中：
步骤S01：实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的防护区域的灰度图像，根据双线性插值算法将灰度图像进行缩放和归一化处理，再根据场景深度线性模型对灰度图像进行去雾处理，以将预处理后灰度图像输入轻量化Yolov4网络中；
需要说明的，在检修站以及室内工作场所总存在一些光度较弱或者较强的地方，如在检修站角落处以及一些灯光被物体遮盖的位置，这些位置很有可能是危险区域，一般情况下监控摄像仪捕捉的是彩色图像，为了改善文本图像的质量，采用对最小值与最大值加权的方法来对图像进行灰度化处理，该算法简单，易于理解和实现，对计算资源要求低，该方法在转换过程中，图像中较暗的区域与较亮的区域都能较好的表示，本实施例中根据加权算法进行灰度化是按照如下公式进行的：
其中M为每个像素点的灰度值，R、G、B分别代表每个像素点在红色、绿色和蓝色通道上的值。
需要说明的，为了后续使用Yolov4识别头盔颜色与危险区域，以进行告警，首先需要设置光照矫正子网络，为了使光照矫正子网络能够有效地工作首先需要对图像进行预处理，对图像进行缩放，让其满足光照矫正网络的尺寸，首先获取输入图像的原始尺寸包括高度和宽度，再计算目标尺寸与原始尺寸之间的缩放比例，最后应用双线性插值算法对图像进行缩放，在双线性插值中，输出像素值是通过对原始图像中相邻的四个像素进行加权平均来计算的，将像素值从原始的范围（通常是0到255）缩放到0到1之间，这有助于光照矫正网络更有效地完成学习和收敛，对缩放后的图像的每个像素，将其像素值除以255（原始像素值的最大可能值），确保每个像素值现在都位于0到1之间，其归一化的公式如下：
其中，代表归一化后的像素值，/>表示原始图像像素值/>双线性插值后在位置/>周围四个像素值的加权平均值，255为原始像素值的最大可能值。
需要说明的，在检修站有时会出现大雾或雾霾天气，在大雾或雾霾天气下，悬浮在空气中的大气颗粒会对光线的直线传播造成严重的散射现象，导致图像退化、颜色衰减与对比度减弱，从而显著的降低了图像质量，导致细节无法辨别，在很大程度上影响了图像的实用性，因此先获取灰度图像中亮度值最大的像素点，根据所述像素点的颜色值确定大气光A，根据如下场景深度线性模型获取透射率：
其中，表示场景深度，/>表示场景深度和透射率的关系强度参数；
根据所述大气光A和所述透射率，大气散射模型对所述灰度图像进行去雾处理。
需要说明的，本实施例中的轻量化Yolov4网络是改进了轻量级的MobileNetv1网络架构，除了第一层和最后一层使用常规卷积之外，其余层级都采用了深度可分离卷积技术，这大大减少了模型的复杂性和计算需求，使得该模型特别适合于移动设备上使用，在MobileNetv1中，每个卷积层后面紧跟着一个7x7尺寸的平均池化层，有助于缩小特征图的尺寸，进一步减少计算量和模型大小，同时还能提高模型的泛化能力，网络的输出通过Softmax激活函数进行处理，将结果概率归一化到0到1之间，这些概率值表示输入图像属于各个类别的可能性，从而方便进行图像分类，此外，在MobileNetv1中还引入了两个超参数来调整模型的规模：宽度因子和分辨率因子，它们分别用于调整特征图的通道数和输入图像的尺寸，以此来控制模型的大小，的可选范围都是0到1，在本实施例中，均设定为1，以保持模型的原始规模。
步骤S02：光照矫正子网络对灰度图像进行颜色矫正处理之后，深度可分离卷积模块对灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
需要说明的，在室外环境下，不同时间段（如早上、中午、傍晚）和不同天气条件下（如晴天、多云、雨天）的光照情况都会发生显著变化，这些变化可能会导致用于识别的头盔的颜色在图像中出现偏差，影响颜色识别的准确性，为了提高颜色识别的准确性，增强模型的泛化能力，本发明在Yolov4网络的输入层增加光照矫正子网络，首先设置输入层来接收RGB图像，使用OpenCV库中的cv2.cvtColor函数将图像转换为HSV格式，对HSV值进行调整：增加饱和度S值10%，亮度V值15%；
第一卷积层，在卷积层前加入STN层，使用一个三层全连接网络作为局部化网络，其中第一个和第二个全连接层分别有20和50个神经元，第一卷积层使用32个3x3的卷积核，步长设为1，并应用ReLU激活函数进行特征提取；
第一池化层，实施2x2最大池化操作，以降低特征维度并保留重要信息；
第二卷积层，使用128个3x3卷积核，步长为1，采用ReLU激活函数进行深入特征提取；
第二池化层，继续应用2x2最大池化，进一步降低特征维度；
在第二池化层后，设置三个不同大小的池化操作，1x1池化层，2x2 池化层，4x4 池化层，对于每个池化层，应用平均池化，将每个池化层的输出变为一维向量，将三个池化层的输出向量连接在一起，形成单个长向量。
全连接层，包含64个神经元，使用ReLU激活函数，实现从提取的特征到输出的转换；
Dropout层，实施50%的丢弃率，随机抑制神经元激活，以减少过拟合；
输出层，根据需求设计光照条件参数数量，使用sigmoid激活函数，以实现分类。
需要说明的，为了提升运算速度并缩小模型，本实施例采用在Yolov4的特征增强网络内部，用深度可分离卷积代替了SPP模块和PANet网络的标准卷积，深度可分离卷积分为深度卷积和逐点卷积两个步骤，有效减少了模型的参数量，并通过逐点卷积对通道数进行调整，优化了后续ECA注意力机制所依赖的特征图；
深度可分离卷积中的深度卷积和逐点卷积两个阶段，深度卷积阶段负责特征提取，而逐点卷积负责调整通道数，为了得到一个宽为、高为/>、通道数为/>的特征图，首先通过深度卷积获得一个中间特征图，然后用1x1卷积核的逐点卷积生成最终特征图，深度可分离卷积模块根据如下公式进行参数总量S和计算总量Q的计算：
其中，代表卷积核的尺寸与通道数，/>代表通道数，/>代表边长，/>代表特征图的宽度，/>代表特征图的高度，以获取基础特征识别图像，这一改进使得参数总量显著降低，计算总量也随之减少，，尤其是在使用3x3卷积核的情况下，深度可分离卷积的参数量可降至原有的11.1%至12.5%。
需要说明的，在本实施例中，为了提升头盔颜色识别的精确度，在MobileNetv1的基础上融入了ECA注意力机制，这一机制能够有效识别并强化特征间的相关性，从而增强了特征的区分力，将ECA注意力机制集成到MobileNetv1框架中，使得本发明在不额外增加计算量的前提下，能够有效地抓取特征间的相互依赖，以提升对人员身份的识别率，ECA机制优化了SE机制中的维度降低和升高过程，采用了一种无需降维的策略，这不仅提升了模型的精确度，还降低了参数的数量，ECA注意力模块的原理结构请参照图4，通过执行不降维的通道级平均池化操作，紧接着使用一维卷积来迅速捕捉通道间的互动信息，在给定通道维数M的情况下，K的计算式如下：
其中，代表局部跨信道交互的覆盖率，即通道附近参与其注意力预测的临近通道的数量，/>代表通道维数，/>代表最近的奇数，/>=2，b=1，以进行相关性强化，获取增强特征识别图像，在不增加额外计算负担的同时，有效地捕获了跨通道的依赖关系。
步骤S03：将增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据加权特征识别图像判断是否存在危险行为。
需要说明的，由于过多的特征融合可能会使得空间信息的分布变得不均衡，为了解决这个问题，我们引入了一个基于注意力机制的空间导向模块AGM，即注意力导向模块，其具体原理结构请参照图5，首先，以识别网络输出的增强特征识别图像为输入，该特征包含了丰富的空间上下文信息，接下来，通过执行平均池化来提取全局特征，复制这些全局特征的空间维度并扩展它们的特征空间尺寸，然后将这个扩展的全局特征与初始输入的增强特征识别图像结合，并通过1×1卷积操作将其压缩到一个通道，最终利用sigmoid函数生成一个归一化的注意力权重矩阵，再将初始输入的增强特征识别图像输入特征金字塔网络FPN以获取输出特征，并将这个权重矩阵与特征金字塔网络FPN的输出特征进行点对点的乘法操作，依据空间权重的不同调整目标的空间位置信息，这种方法能够生成既含有清晰语义又细节丰富的新特征。
需要说明的，本实施例中的情景感知模块基于场景中出现的特定对象来识别和区分不同工作环境的方法，通过深度卷积神经网络CNN模型提取图像中的对象特征，并对这些特征进行分类处理，识别图像或视频中的物体，通过语义分割技术理解场景中每一部分的属性，例如，划分轨道、行人、坑洞，然后对识别目标的行为和意图进行分析，分析物体的行为模式和行动意图，例如，预测工人的跳跃的行为，根据具体应用场景，预先定义哪些类型的行为或区域属于危险，例如，在机车上检修时未监测到安全绳会被视为危险行为，在危险区域识别系统中，使用经过特别训练的Yolov4模型来实时识别图像或视频中的工人，结合工人的位置信息，情景感知模块可以评估工人是否处于潜在的危险区域内，结合工人的动作信息，情景感知模块可以评估工人是否存在潜在的危险动作，如果存在潜在危险系统则主动报警以提示。
综上，根据上述基于Yolov4网络的危险行为防护方法，通过对实时获取的防护区域图像进行预处理，从输入端提高了后续Yolov4网络识别的准确性，再对Yolov4网络进行轻量化改进，并加入了光照矫正子网络、深度可分离卷积模块和ECA注意力模块，极大地提高了图像识别的效率和精度，最终通过注意力导向模块和情景感知模块，划分危险区域，判断危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。具体为，实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，以提高暗部区域的图像质量，提高了图像整体的可视性和防护区域整体的可识别度，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中，防止了因雾霾造成的图像退化、颜色衰减与对比度减弱，提高了图像的质量，进而提高了图像的识别准确性，光照矫正子网络对所述灰度图像进行颜色矫正处理之后，防止了不同时间段和不同天气条件下光照情况变化造成的颜色偏差，提高了颜色识别的准确性，增强了模型的泛化能力，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，通过替换深度可分离卷积模块，有效减少了模型的参数量，并通过逐点卷积对通道数进行调整，优化了后续ECA注意力模块所依赖的特征图，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像，有效识别并强化特征间的相关性，进而增强了特征的区分力，极大地提升了模型的精确度，将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。
请参阅图2，所示为本发明第二实施例提出的基于Yolov4网络的危险行为防护方法的流程图，该种基于Yolov4网络的危险行为防护方法包括步骤S11至步骤S16，其中：
步骤S11：实时获取防护区域的彩色图像，从彩色图像中提取红色R通道、绿色G通道和蓝色B通道三个颜色通道，再对彩色图像中每个像素点各自在三个颜色通道中的值进行比较，以获取最大值和最小值，并根据加权算法进行灰度化处理获取防护区域的灰度图像；
步骤S12：根据灰度图像的原始尺寸与目标尺寸进行缩放比例计算，再根据双线性插值算法进行缩放处理，以获取缩放后的输出像素值，再进行归一化处理；
步骤S13：获取灰度图像中亮度值最大的像素点，根据像素点的颜色值确定大气光，根据场景深度线性模型获取透射率，根据大气光和透射率，大气散射模型对灰度图像进行去雾处理，将处理后灰度图像输入轻量化Yolov4网络中；
步骤S14：灰度图像输入到光照矫正子网络中，光照矫正子网络进行颜色矫正处理，深度可分离卷积模块进行参数总量和计算总量的计算，以获取基础特征识别图像，ECA注意力模块相关性计算，以进行相关性强化，获取增强特征识别图像，损失函数Focal-EIOU根据进行损失计算；
需要说明的，本实施例中目标检测任务中常常存在正负样本和样本难易不均衡的现象，因此损失函数的设计便极为重要，为了解决此类问题，本文选择引入效果更好的Focal-EIOU损失函数，原Yolov4中自带的CIOU损失函数不再是最佳的选择，其中EIOU损失函数是在CIOU损失函数的基础上，拆分开了长宽比因子，并对目标框和锚框的长和宽进行分别计算，EIOU损失函数包括重叠损失、中心距离损失和宽高损失，EIOU损失函数能够降低目标框与锚框的宽度和高度差，直至降为最小值，与CIOU损失函数相比，EIOU损失函数解决了目标框与锚框之间差值测量不稳定的问题，从而具有使得收敛速度加快的效果，EIOU损失函数的计算式如下：
其中，代表原EIOU损失函数的计算损失，/>代表交互比，/>代表分辨因子，代表中心距离损失，/>代表宽损失，/>代表高损失，/>代表预测框与真实框中心的距离，/>和/>分别表示两个矩形的闭包的高和宽，为了使回归过程中的高质量锚框相较于低质量锚框得到更多关注，在EIOU损失函数的基础上引入Focal损失函数，对边界框回归任务中的样本不平衡问题进行优化，将Focal损失函数与EIOU损失函数结合起来，得到最终的计算式如下：
其中，代表Focal-EIOU损失函数的计算损失，/>代表交互比抑制程度，/>和/>分别代表预测框、真实框位置的预测值，/>代表控制异常值抑制程度的参数。
步骤S15：将增强特征识别图像输入注意力导向模块，对增强特征识别图像进行平均池化以提取全局特征，复制全局特征的空间维度并扩展特征空间尺寸，以与初始输入的增强特征识别图像结合后进行1×1卷积操作压缩到一个通道，再根据sigmoid函数生成归一化的注意力权重矩阵，再将增强特征识别图像输入特征金字塔网络FPN以获取输出特征，并将注意力权重矩阵与特征金字塔网络FPN的输出特征进行点对点的乘法操作，根据空间权重调整空间位置信息，以获取加权特征识别图像；
步骤S16：再将加权特征识别图像输入情景感知模块，情景感知模块包括环境分析CNN网络，环境分析CNN网络对防护区域中的区域进行划分，区域包括危险区域、安全区域和过渡区域，再根据预先设定的危险指标进行危险行为判断，危险行为包括向危险区域的靠近、跃进、跌入或坠落，若判断存在危险行为则立即进行报警操作。
综上，根据上述基于Yolov4网络的危险行为防护方法，通过对实时获取的防护区域图像进行预处理，从输入端提高了后续Yolov4网络识别的准确性，再对Yolov4网络进行轻量化改进，并加入了光照矫正子网络、深度可分离卷积模块和ECA注意力模块，极大地提高了图像识别的效率和精度，最终通过注意力导向模块和情景感知模块，划分危险区域，判断危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。具体为，实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，以提高暗部区域的图像质量，提高了图像整体的可视性和防护区域整体的可识别度，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中，防止了因雾霾造成的图像退化、颜色衰减与对比度减弱，提高了图像的质量，进而提高了图像的识别准确性，光照矫正子网络对所述灰度图像进行颜色矫正处理之后，防止了不同时间段和不同天气条件下光照情况变化造成的颜色偏差，提高了颜色识别的准确性，增强了模型的泛化能力，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，通过替换深度可分离卷积模块，有效减少了模型的参数量，并通过逐点卷积对通道数进行调整，优化了后续ECA注意力模块所依赖的特征图，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像，有效识别并强化特征间的相关性，进而增强了特征的区分力，极大地提升了模型的精确度，将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为，实现了对危险行为的自动识别与实时监控，极大地提高了危险行为防护的效率和准确性。
请参阅图3，所示为本发明第三实施例提出的基于Yolov4网络的危险行为防护系统的结构示意图，该系统包括：
预处理模块10，用于实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中；
识别模块20，用于光照矫正子网络对所述灰度图像进行颜色矫正处理之后，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
判断报警模块30，用于将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
进一步的，预处理模块10包括：
灰度化单元101，用于实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像；
缩放归一化单元102，用于根据双线性插值算法将所述灰度图像进行缩放和归一化处理；
去雾单元103，用于再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中。
进一步的，识别模块20包括：
光照矫正单元201，用于光照矫正子网络对所述灰度图像进行颜色矫正处理；
特征提取单元202，用于深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像；
ECA注意力强化单元203，用于再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像。
进一步的，判断报警模块30包括：
注意力导向单元301，用于将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像；
情景感知单元302，用于最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
本发明还提出一种计算机存储介质，其上存储有一个或多个程序，该程序给处理器执行时实现上述的基于Yolov4网络的危险行为防护方法。
本发明还提出一种计算机设备，包括存储器和处理器，其中所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的计算机程序，以实现上述的基于Yolov4网络的危险行为防护方法。
本领域技术人员可以理解，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或它们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于Yolov4网络的危险行为防护方法，其特征在于，包括：
实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中；
光照矫正子网络对所述灰度图像进行颜色矫正处理之后，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
2.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理的步骤包括：
实时获取防护区域的彩色图像，从所述彩色图像中提取红色R通道、绿色G通道和蓝色B通道三个颜色通道，再对所述彩色图像中每个像素点各自在三个颜色通道中的值进行比较，以获取最大值和最小值，并根据如下加权算法进行灰度化处理：
其中M为每个像素点的灰度值，R、G、B分别代表每个像素点在红色、绿色和蓝色通道上的值；
根据所述灰度值获取所述防护区域的灰度图像；
根据所述灰度图像的原始尺寸与目标尺寸进行缩放比例计算，所述原始尺寸包括所述灰度图像的高度和宽度尺寸，所述目标尺寸包括Yolov4网络输入图像的高度和宽度尺寸，再根据双线性插值算法进行缩放处理，以获取缩放后的输出像素值，所述输出像素值为原始尺寸的所述灰度图像中输出像素点相邻的四个像素点的加权平均值，再根据如下公式进行归一化处理：
其中，代表归一化后的像素值，/>表示原始图像像素值/>双线性插值后在位置/>周围四个像素值的加权平均值，255为原始像素值的最大可能值。
3.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中的步骤包括：
获取灰度图像中亮度值最大的像素点，根据所述像素点的颜色值确定大气光A；
根据如下场景深度线性模型获取透射率：
其中，表示场景深度，/>表示场景深度和透射率的关系强度参数；
根据所述大气光A和所述透射率，大气散射模型对所述灰度图像进行去雾处理，将处理后所述灰度图像输入轻量化Yolov4网络中，所述轻量化Yolov4网络的网络架构为轻量级的MobileNetv1网络架构，所述轻量化Yolov4网络中的SPP模块和PANet子网络的标准卷积被替换为深度可分离卷积模块。
4.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述光照矫正子网络对所述灰度图像进行颜色矫正处理的步骤包括：
灰度图像输入到光照矫正子网络中，所述光照矫正子网络包括：
输入层，所述输入层获取RGB图像并进行HSV格式转换，以调节饱和度S值增加10%，亮度V值增加15%；
第一卷积层，所述第一卷积层前设有一个STN层，所述STN层包括一个三层全连接网络作为局部化网络，所述三层全连接网络的第一个和第二个全连接层分别有20和50个神经元，所述第一卷积层包括32个3x3的卷积核，所述卷积核步长为1，并根据ReLU激活函数进行特征提取；
第一池化层，所述第一池化层进行2x2最大池化操作；
第二卷积层，所述第二卷积层包括128个3x3卷积核，所述卷积核步长为1，并根据ReLU激活函数进行深入特征提取；
第二池化层，所述第二池化层进行2x2最大池化操作；
1x1池化层、2x2池化层和4x4池化层，所述1x1池化层、2x2池化层和4x4池化层进行平均池化，获取三个池化的一维向量并连接获取单个长向量；
全连接层，所述全连接层包括64个神经元，根据ReLU激活函数将提取到的特征转换为输出；
Dropout层，所述Dropout层的丢弃率设置为50%；
输出层，所述输出层根据光照条件参数数量，使sigmoid激活函数进行分类，以完成颜色矫正处理。
5.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像的步骤包括：
深度可分离卷积模块根据如下公式进行参数总量S和计算总量Q的计算：
其中，代表卷积核的尺寸与通道数，/>代表通道数，/>代表边长，/>代表特征图的宽度，/>代表特征图的高度，以获取基础特征识别图像；
ECA注意力模块根据以下公式进行相关性计算：
其中，代表局部跨信道交互的覆盖率，即通道附近参与其注意力预测的临近通道的数量，/>代表通道维数，/>代表最近的奇数，/>=2，b=1，以进行相关性强化，获取增强特征识别图像。
6.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像的步骤之后还包括：
损失函数Focal-EIOU根据以下公式进行计算：
其中，代表原EIOU损失函数的计算损失，/>代表交互比，/>代表分辨因子，/>代表中心距离损失，/>代表宽损失，/>代表高损失，/>代表预测框与真实框中心的距离，/>和/>分别表示两个矩形的闭包的高和宽，/>代表Focal-EIOU损失函数的计算损失，/>代表交互比抑制程度，/>和/>分别代表预测框、真实框位置的预测值，/>代表控制异常值抑制程度的参数。
7.根据权利要求1所述的基于Yolov4网络的危险行为防护方法，其特征在于，所述将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为的步骤包括：
将增强特征识别图像输入注意力导向模块，对所述增强特征识别图像进行平均池化以提取全局特征，复制所述全局特征的空间维度并扩展特征空间尺寸，以与初始输入的所述增强特征识别图像结合后进行1×1卷积操作压缩到一个通道，再根据sigmoid函数生成归一化的注意力权重矩阵，再将所述增强特征识别图像输入特征金字塔网络FPN以获取输出特征，并将所述注意力权重矩阵与特征金字塔网络FPN的输出特征进行点对点的乘法操作，根据空间权重调整空间位置信息，以获取加权特征识别图像；
再将所述加权特征识别图像输入情景感知模块，所述情景感知模块包括环境分析CNN网络，所述环境分析CNN网络对防护区域中的区域进行划分，区域包括危险区域、安全区域和过渡区域，再根据预先设定的危险指标进行危险行为判断，所述危险行为包括向危险区域的靠近、跃进、跌入或坠落，若判断存在所述危险行为则立即进行报警操作。
8.一种基于Yolov4网络的危险行为防护系统，其特征在于，包括：
预处理模块，用于实时获取防护区域的彩色图像并根据加权算法进行灰度化处理，以获取到的所述防护区域的灰度图像，根据双线性插值算法将所述灰度图像进行缩放和归一化处理，再根据场景深度线性模型对所述灰度图像进行去雾处理，以将预处理后所述灰度图像输入轻量化Yolov4网络中；
识别模块，用于光照矫正子网络对所述灰度图像进行颜色矫正处理之后，深度可分离卷积模块对所述灰度图像进行基础特征提取，以获取基础特征识别图像，再使ECA注意力模块对所述基础特征识别图像进行特征相关性强化，以获取增强特征识别图像；
判断报警模块，用于将所述增强特征识别图像输入到注意力导向模块中，以获取加权特征识别图像，最终使情景感知模块根据所述加权特征识别图像判断是否存在危险行为。
9.一种存储介质，其特征在于，所述存储介质存储一个或多个程序，该程序被处理器执行时实现如权利要求1-7任一项所述的基于Yolov4网络的危险行为防护方法。
10.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，其中：
所述存储器用于存放计算机程序；
所述处理器用于执行所述存储器上所存放的计算机程序时，实现权利要求1-7任一项所述的基于Yolov4网络的危险行为防护方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410497746.1A CN118097580A (zh) | 2024-04-24 | 2024-04-24 | 一种基于Yolov4网络的危险行为防护方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410497746.1A CN118097580A (zh) | 2024-04-24 | 2024-04-24 | 一种基于Yolov4网络的危险行为防护方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118097580A true CN118097580A (zh) | 2024-05-28 |
Family
ID=91142509
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410497746.1A Pending CN118097580A (zh) | 2024-04-24 | 2024-04-24 | 一种基于Yolov4网络的危险行为防护方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118097580A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019115707A1 (de) * | 2018-11-01 | 2020-05-07 | Carnegie Mellon University | Räumliches und zeitliches aufmerksamkeitsbasiertes tiefenverstärkungslernen von hierarchischen fahrspurwechselstrategien zum steuern eines autonomen fahrzeugs |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
| CN114783024A (zh) * | 2022-04-18 | 2022-07-22 | 吉林大学 | 基于YOLOv5的公共场所戴口罩的人脸识别系统 |
| CN115331172A (zh) * | 2022-08-18 | 2022-11-11 | 江苏大学 | 一种基于监控视频的车间危险行为识别报警方法及系统 |
| CN116343223A (zh) * | 2023-05-31 | 2023-06-27 | 南京畅洋科技有限公司 | 一种基于深度学习的字轮式水表读数方法 |
| US20230245282A1 (en) * | 2022-01-29 | 2023-08-03 | Samsung Electronics Co., Ltd. | Method and device for depth image completion |
| KR20230117034A (ko) * | 2022-01-29 | 2023-08-07 | 삼성전자주식회사 | 깊이 이미지 완성 방법 및 장치 |
| CN116579616A (zh) * | 2023-07-10 | 2023-08-11 | 武汉纺织大学 | 一种基于深度学习的风险识别方法 |
| WO2023160835A1 (en) * | 2022-02-28 | 2023-08-31 | Huawei Technologies Co., Ltd. | Spatial frequency transform based image modification using inter-channel correlation information |
-
2024
- 2024-04-24 CN CN202410497746.1A patent/CN118097580A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102019115707A1 (de) * | 2018-11-01 | 2020-05-07 | Carnegie Mellon University | Räumliches und zeitliches aufmerksamkeitsbasiertes tiefenverstärkungslernen von hierarchischen fahrspurwechselstrategien zum steuern eines autonomen fahrzeugs |
| US20200139973A1 (en) * | 2018-11-01 | 2020-05-07 | GM Global Technology Operations LLC | Spatial and temporal attention-based deep reinforcement learning of hierarchical lane-change policies for controlling an autonomous vehicle |
| WO2021164731A1 (zh) * | 2020-02-19 | 2021-08-26 | 华为技术有限公司 | 图像增强方法以及图像增强装置 |
| US20210390723A1 (en) * | 2020-06-15 | 2021-12-16 | Dalian University Of Technology | Monocular unsupervised depth estimation method based on contextual attention mechanism |
| US20230245282A1 (en) * | 2022-01-29 | 2023-08-03 | Samsung Electronics Co., Ltd. | Method and device for depth image completion |
| KR20230117034A (ko) * | 2022-01-29 | 2023-08-07 | 삼성전자주식회사 | 깊이 이미지 완성 방법 및 장치 |
| WO2023160835A1 (en) * | 2022-02-28 | 2023-08-31 | Huawei Technologies Co., Ltd. | Spatial frequency transform based image modification using inter-channel correlation information |
| CN114783024A (zh) * | 2022-04-18 | 2022-07-22 | 吉林大学 | 基于YOLOv5的公共场所戴口罩的人脸识别系统 |
| CN115331172A (zh) * | 2022-08-18 | 2022-11-11 | 江苏大学 | 一种基于监控视频的车间危险行为识别报警方法及系统 |
| CN116343223A (zh) * | 2023-05-31 | 2023-06-27 | 南京畅洋科技有限公司 | 一种基于深度学习的字轮式水表读数方法 |
| CN116579616A (zh) * | 2023-07-10 | 2023-08-11 | 武汉纺织大学 | 一种基于深度学习的风险识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王建新;王子亚;田萱;: "基于深度学习的自然场景文本检测与识别综述", 软件学报, no. 05, 15 May 2020 (2020-05-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103069434B (zh) | 用于多模式视频事件索引的方法和系统 | |
| CN105894701A (zh) | 输电线路防外破大型施工车辆的识别报警方法 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN103442209A (zh) | 一种输电线路的视频监控方法 | |
| Maksymiv et al. | Real-time fire detection method combining AdaBoost, LBP and convolutional neural network in video sequence | |
| CN105260715B (zh) | 面向偏僻地段的小动物目标检测方法 | |
| CN112163477B (zh) | 一种基于Faster R-CNN的扶梯行人位姿目标检测方法及系统 | |
| CN111738336A (zh) | 基于多尺度特征融合的图像检测方法 | |
| CN111553214B (zh) | 一种驾驶员吸烟行为检测方法及系统 | |
| CN110057820B (zh) | 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质 | |
| CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
| CN113378648A (zh) | 一种人工智能港口码头监控方法 | |
| CN113239911B (zh) | 一种无人驾驶智能塔吊视觉场景分析方法和装置 | |
| CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
| CN113936299A (zh) | 建筑工地中危险区域检测方法 | |
| CN117523437A (zh) | 一种用于变电站近电作业现场实时风险识别方法 | |
| CN112101260A (zh) | 一种作业人员安全带识别方法、装置、设备和存储介质 | |
| CN112001336A (zh) | 行人越界报警方法、装置、设备及系统 | |
| CN118097580A (zh) | 一种基于Yolov4网络的危险行为防护方法及系统 | |
| KR20210095323A (ko) | 인공지능을 이용한 불꽃 감지 장치 및 방법 | |
| CN115620121A (zh) | 一种基于数字孪生的光电目标高精度检测方法 | |
| CN116363578A (zh) | 一种基于视觉的船舶封闭舱室人员监测方法和系统 | |
| CN115995097A (zh) | 一种基于深度学习的安全头盔佩戴标准判断方法 | |
| CN114677667A (zh) | 一种基于深度学习的变电站电气设备红外故障识别方法 | |
| Nasim et al. | Fog-resilient bangla car plate recognition using dark channel prior and yolo |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |