CN111738336B - 基于多尺度特征融合的图像检测方法 - Google Patents
基于多尺度特征融合的图像检测方法 Download PDFInfo
- Publication number
- CN111738336B CN111738336B CN202010578124.3A CN202010578124A CN111738336B CN 111738336 B CN111738336 B CN 111738336B CN 202010578124 A CN202010578124 A CN 202010578124A CN 111738336 B CN111738336 B CN 111738336B
- Authority
- CN
- China
- Prior art keywords
- image
- convolution
- characteristic
- fusion
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 34
- 238000001514 detection method Methods 0.000 title claims abstract description 24
- 238000011176 pooling Methods 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 7
- 230000004913 activation Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 22
- 238000000034 method Methods 0.000 description 16
- 239000000284 extract Substances 0.000 description 5
- 101100256651 Homo sapiens SENP6 gene Proteins 0.000 description 4
- 101150038317 SSP1 gene Proteins 0.000 description 4
- 101100125020 Schizosaccharomyces pombe (strain 972 / ATCC 24843) pss1 gene Proteins 0.000 description 4
- 101100018019 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ssc1 gene Proteins 0.000 description 4
- 102100023713 Sentrin-specific protease 6 Human genes 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 101100532584 Clostridium perfringens (strain 13 / Type A) sspC1 gene Proteins 0.000 description 3
- 101100095550 Homo sapiens SENP7 gene Proteins 0.000 description 3
- 101150098865 SSP2 gene Proteins 0.000 description 3
- 102100031406 Sentrin-specific protease 7 Human genes 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于多尺度特征融合的图像检测方法，包括：将待检测图像输入改进的深度卷积神经网络中，得到特征图像；将特征图像对应的卷积块分别进行不同尺度的池化处理，得到包含不同层次的卷积块信息的融合特征图像；对融合特征图像进行目标区域判定，得到目标区域图像；对目标区域图像进行特征提取，得到固定长度的特征向量；将特征向量输入全连接层序列，得到两个输出对象类；通过分类器对两个输出对象类的概率进行估计，得到分类结果；根据分类结果和每个对象类的边界框位置，确定未佩戴安全帽的人员，并进行安全警告。本发明能够适用于不同施工场所的安全帽检测，有效的提高检测结果速度及准确性。
Description
技术领域
本发明涉及图像处理技术中的计算机视觉技术领域，具体地，涉及基于多尺度特征融合的图像检测方法。
背景技术
随着国家城市化步伐的加快和城市经济的迅猛发展，全国各地高楼顷刻间拔地而起，但同时伴随而来的还有施工现场频发的安全事故。《安全生产法》规定，“生产经营单位必须为从业人员提供符合国家标准或者行业标准的劳动防护用品，并监督、教育从业人员按照使用规则佩戴、使用”。但事故背后往往揭示了一个值得深思的现象，正是由于生产人员随意摘下防护物品导致事故的发生，特别是由于随意摘下安全帽的事故占比高达67.4％。因此通过智慧型监控视频系统实时监控整个施工现场人员安全帽佩戴准情况，对未佩戴安全帽的生产人员进行及时的警示，可以帮助相关人员进行突发事件事前预警和事后决策，人们的生命和财产安全就可得到保障。
目前已有的基于深度学习的安全帽检测方法主要分为两种：1)基于网络特性的方法，例如基于LBP统计特征的低分辨率安全帽识别方法；2)基于网络训练过程不同的方法，如基于并行双路卷积神经网络的安全帽识别方法。以上基于深度学习的安全帽检测方法均存在一定的局限性。方法1)使用多维度的网络结构，需要大量样本和计算开销，复杂度高；方法2)使用多路卷积神经网络，训练时间过长，并存在安全帽目标分辨率较低等问题。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于多尺度特征融合的图像检测方法。
本发明提供一种基于多尺度特征融合的图像检测方法，包括：
步骤S1：从监控视频中提取待检测图像；
步骤S2：将所述待检测图像输入改进的深度卷积神经网络以提取特征，得到特征图像；
步骤S3：将所述特征图像对应的卷积块分别进行不同尺度的池化处理，得到包含不同层次的卷积块信息的融合特征图像；
步骤S4：对所述融合特征图像进行目标区域判定，得到目标区域图像；
步骤S5：对所述目标区域图像进行ROI池化，得到固定长度的特征向量；
步骤S6：将所述特征向量输入全连接层序列，得到两个输出对象类；
步骤S7：通过分类器对所述两个输出对象类的概率进行估计，得到分类结果，并通过目标框回归确定每个对象类的预测边界框位置；
步骤S8：根据所述分类结果和每个对象类的边界框位置，确定未佩戴安全帽的人员，并进行安全警告。
可选地，所述步骤S1包括：
步骤S11：实时获取监控视频；
步骤S12：将所述监控视频的视频图像进行灰度处理后，建立纹理特征模型；
步骤S13：通过纹理特征算法确定所述纹理特征模型参数；
步骤S14：通过所述纹理特征模型分割出待检测图像的背景和前景，其中，包含安全帽纹理的区域为前景，不包含安全帽纹理的区域为背景。
可选地，所述步骤S2包括：
步骤S21：将所述待检测图像分别输入改进的深度卷积神经网络中的每一个卷积核中，得到底层特征信息；所述卷积核包括：5×5×20的滤波器、3×3×40的滤波器、3×3×60的滤波器、3×3×80的滤波器；
步骤S22：通过单位高斯分布规范网络中的激活函数对所述底层特征信息进行优化，得到第二特征信息；
步骤S23：通过激活层对所述第二特征信息进行增强处理，得到第三特征信息；
步骤S24：对所述第三特征信息进行池化处理，得到降维后的所述特征图像。
可选地，所述步骤S3包括：
步骤S31：将所述特征图像分别输入不同尺度的池化层，得到不同的卷积块信息；
步骤S32：对不同的卷积块信息进行拼接，并将拼接的结果作为全连接层的输入，得到包含不同层次的卷积块信息的融合特征图像。
可选地，所述步骤S7包括：
步骤S71：通过Softmax分类器获取所述两个输出对象类对应的Roi的概率分布，产生Softmax概率估计；
步骤S72：通过目标框回归确定所述两个输出对象类的预测边界框位置；
步骤S73：依据softmax概率估计与预测边界框位置构建损失函数，其中，所述损失函数是通过叠加所有预测框的损失得到的；
步骤S74：根据所述损失函数和Softmax分类器，确定每个预测边界框对应的分类结果。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提供的基于多尺度特征融合的图像检测方法，可以对常规尺寸图像的检测，对输入图像的尺寸无需做过多的要求，适用性强。
2、本发明提供的基于多尺度特征融合的图像检测方法，改进了经典卷积神经网络的结构，通过卷积块代替了单一卷积层，能够在保证样本数不减少的情况下，对神经网络的初始权值阈值进行优化，使得以上二值能够在较大的范围进行搜索，在较小范围内进行微调，加快了网络的收敛速度，增强了网络的非线性。
3、本发明提供的基于多尺度特征融合的图像检测方法，在提取了卷积侧支路特征的基础上，通过不同尺寸的池化层进一步提取了中间卷积层的特征信息，并构建全连接层融合提取的全部特征信息，克服了连续的下采样导致的图像信息丢失问题。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明一实施例提供的基于多尺度特征融合的图像检测方法的流程示意图；
图2为本发明一实施例提供的改进的深度卷积神经网络的结构示意图；
图3为本发明一实施例提供的卷积块的结构示意图；
图4为本发明一实施例提供的训练损失函数的计算流程图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
图1为本发明一实施例提供的基于多尺度特征融合的图像检测方法的流程示意图；如图1所示，本实施例中的方法可以包括：
步骤S1：从监控视频中提取待检测图像。
示例性的，步骤S1包括：步骤S11：实时获取监控视频；步骤S12：将监控视频的视频图像进行灰度处理后，建立纹理特征模型；步骤S13：通过纹理特征算法确定纹理特征模型参数；步骤S14：通过纹理特征模型分割出待检测图像的背景和前景；其中，包含安全帽纹理的区域为前景，不包含安全帽纹理的区域为背景。
本实施例中，通过获取监控视频图像，构建纹理特征模型，从而提取不同方向的安全帽纹理信息。方便后续步骤对待检测图像进行特征提取和处理。
步骤S2：将待检测图像输入改进的深度卷积神经网络中，得到特征图像。
示例性的，步骤S2包括：步骤S21：将待检测图像分别输入改进的深度卷积神经网络中的每一个卷积核中，得到底层特征信息；卷积核包括：5×5×20的滤波器、3×3×40的滤波器、3×3×60的滤波器、3×3×80的滤波器；步骤S22：通过单位高斯分布规范网络中的激活函数对底层特征信息进行优化，得到第二特征信息；步骤S23：通过激活层对第二特征信息进行增强处理，得到第三特征信息；步骤S24：对第三特征信息进行池化处理，得到降维后的特征图像。
在步骤S2中，可以将待检测图像P输入Conv1，Conv1采用内核为5×5×20的滤波器来与输入进行卷积运算，计算公式如下：
其中：表示卷积层l层输出的第i个特征图，m表示卷积输入图像行坐标，n表示卷积输入图像列坐标，z×z表示卷积核内核大小，l表示卷积层层数，i表示特征图表序列，wmn表示卷积核权重值，/>表示l-1层卷积运算在(i+m，i+n)坐标点的局部感受野像素值，b表示偏置值大小，将通过Conv1获取的底层特征信息记为FM01。将FM01为单元输入批标准化，得到FM02，在保证样本数不减少的情况下对神经网络的初始权值阈值进行优化，使得以上二值能够在较大的范围进行搜索，在较小范围内进行微调，加快收敛速度，批标准化采用以单位高斯分布规范网络中的激活函数。将FM02输入激活层获取特征信息FM03，增强网络的非线性。对FM03进行核为2×2Strade＝2的池化操作，降低特征图的维度。用卷积核为3×3×15的Conv2、3×3×20的Conv3、3×3×25的Conv4重复步骤S21、步骤S22、步骤S23与S24步骤，获取最终的特征图FM43。其中，FM02表示单元输入批标准化特征图，FM03表示激活层输出特征信息，FM43表示Conv4(第四卷积块)输出特征信息。
步骤S3：将特征图像对应的卷积块分别进行不同尺度的池化处理，得到包含不同层次的卷积块信息的融合特征图像。
示例性的，步骤S3包括：步骤S31：将特征图像分别输入不同尺度的池化层，得到不同的卷积块信息；步骤S32：对不同的卷积块信息进行拼接，并将拼接的结果作为全连接层的输入，得到包含不同层次的卷积块信息的融合特征图像。
在步骤S3中，将FM23输入尺度为1×1×m的池化层SSP1，提取ConvPiece2的卷积信息FM24，其中SSP1输入特征图的大小为m×n，size为滤波器尺寸，Stride为步长，为向上取整，/>为向下取整；其中，FM23表示Conv2(第二卷积块)激活层输出特征信息，FM24表示Conv2(第二卷积块)池化层输出低维度特征图。
进一步地，将FM33输入尺度为2×2×m的池化层SSP2，提取ConvPiece3的卷积信息FM34；将FM24、FM34、FM43进行拼接，作为全连接层FCL的输入，融合不同层次的卷积信息。其中，FM33表示Conv3(第三卷积块)激活层输出特征信息，FM34表示Conv3(第三卷积块)池化层输出低维度特征图。
步骤S4：对融合特征图像进行目标区域判定，得到目标区域图像。
步骤S5：对目标区域图像进行特征提取，得到固定长度的特征向量。
步骤S6：将特征向量输入全连接层序列，得到两个输出对象类。
步骤S7：通过分类器对两个输出对象类的概率进行估计，得到分类结果，并通过目标框回归确定每个对象类的预测边界框位置。
示例性的，步骤S7包括：步骤S71：通过Softmax分类器获取两个输出对象类对应的RoI的概率分布，产生Softmax概率估计；步骤S72：通过目标框回归确定两个输出对象类的预测边界框位置；步骤S73：依据softmax概率估计与预测边界框位置构建损失函数，其中，损失函数是通过叠加所有预测框的损失得到的；步骤S74：根据损失函数和Softmax分类器，确定每个预测边界框对应的分类结果。
具体地，损失函数的计算公式如下：
LOSS＝lossxy+losswh.
其中：LOSS表示总损失函数，lossxy表示预测框中心坐标，losswh表示预测框宽高，β分别为损失函数的两个权重，w表示当前特征图的宽，H表示当前特征图的高，J表示每个网格预测框个数，xij表示第i个网格的第j个预测框x方向预测值，/>表示第i个网格的第j个预测框x方向期望设定值，yij表示第i个网格的第j个预测框y方向预测值，/>表示第i个网格的第j个预测框y方向期望设定值，wij表示第i个网格的第j个预测框特征图宽预测值，/>表示第i个网格的第j个预测框特征图宽期望设定值，hij表示第i个网格的第j个预测框特征图高预测值，/>表示第i个网格的第j个预测框特征图高期望设定值。
步骤S8：根据分类结果和每个对象类的边界框位置，确定未佩戴安全帽的人员，并进行安全警告。
下面对一种基于多尺度特征融合的检测方法做进一步详细的阐述，但不应以此为限。
在步骤S1中，获取特定监控场景区域实时视频，该视频图像需要具备相关的检测信息。根据采集视频图像信息指定特定的提取帧图像方案，构建三通道的48×48尺寸大小的图片，并进行预处理转化为二值信息的灰度图，用以提取不同方向的问题特征。
在步骤S2中，将步骤S1中提取的图片输入基于卷积块的卷积网络中，提取图片的卷积侧支路信息，一共需要经过4个卷积块。该卷积块主要由卷积层、处理层、激活层组合而成，用以增强网络的非线性，加快网络收敛速度。
参考图3，一种基于多尺度特征融合的安全帽检测方法包括以下步骤：
S21：将44×44尺寸的图片输入Conv1，Conv1采用内核为5×5×20的滤波器来与输入进行卷积运算，获得40×40×20的Feature map，激活函数f(·)采用经典的ReLU函数，且设置等于0.01，保留负轴部分信息。每层卷积网络的神经元与输入的局部区域具有z×z个连接，其中x表示输入图片中做卷积运算的局部感受野大小，y表示输出特征图像素值，w表示卷积核的权重值，b表示偏置值大小，初步获取底层特征信息FM01。
S22：将FM01为单元输入批标准化获取FM02，批标准化采用以单位高斯分布规范网络中的激活函数，在保证样本数不减少的情况下对神经网络的初始权值与阈值进行优化，使得以上二值能够在较大的范围进行搜索，在较小范围内进行微调，加快收敛速度，使每一层的输入达到稳定分布的状态；
S23：将FM02输入激活层获取特征信息FM03，增强网络的非线性；
S24：对FM03进行核为2×2Strade＝2的池化操作，降低特征图的维度，输出特征图大小为20×20×20；
S25：同理，用卷积核为3×3×40的Conv2、3×3×60的Conv3、3×3×80的Conv4重复S21、S22、S23与S24步骤，获取最终大小为2×2×80特征图FM43。
进一步的，在步骤3中，分别通过不同尺度的池化层SSP1、SSP2对ConvPiece2、ConvPiece3输出特征信息进行提取，获取不同层次的特征信息，将上述特征信息输入全连接层进行卷积侧支路特征信息与分支层次特征信息融合。
参考图2，一种多尺度特征融合的安全帽检测方法中的多尺度特征融合，包括以下步骤：
S31：将大小为10×10×40的特征图FM23输入尺度为1×1×m的池化层SSP1，提取ConvPiece2的卷积信息FM24，其中FM24大小为10×10×10。
S32：将大小为5×5×60的特征图FM33输入尺度为2×2×m的池化层SSP2，提取ConvPiece3的卷积信息FM34。
S33：将FM24、FM34、FM43进行拼接，作为全连接层FCL的输入，融合不同层次的卷积信息。
其中为ReLU函数，MW为权重矩阵，B为偏置向量，Fk表示全连接层输出k维特征向量，V表示全连接层的输入特征。
在步骤S4中，用RPN网络进行目标框预选，获取一系列预选区矩阵Objectproposals。
在步骤S5中，将Object proposals输入感兴趣区域池化层，找到每个区域的最大值，将这些值复制到max pooling。
在步骤S7中，对精确进行Softmax分类和目标框回归，调整损失函数参数。
参考图4，一种基于多尺度特征融合的安全帽检测方法的Softmax分类和目标框回归，包括以下步骤：
步骤S71：通过Softmax分类器对目标关于2个对象类输出每一个RoI的概率分布，产生Softmax概率估计；
步骤S72：通过目标框回归获取每个类的预测边界框(bounding-box)位置；
步骤S73：依据softmax概率估计与预测边界框位置构建损失函数LOSS，通过叠加所有预测框的Loss来获得，其中W、H、J分别表示当前特征图得宽、高、每个网格的预测框个数以及预测的种类数量，β为损失函数的权重，回归获取最终的精确边界框[bounding-box(P)]，使得bounding-box(P)和ground truth(G)一致。
最后，在步骤S8中，将未检测到佩戴安全帽的人员进行警示，防范作业人员随意摘下安全帽的行为。
本发明还提供一种基于多尺度特征融合的图像检测系统，用于执行上述的基于多尺度特征融合的图像检测方法。
需要说明的是，本发明提供的所述基于多尺度特征融合的图像检测方法中的步骤，可以利用所述基于多尺度特征融合的图像检测系统中对应的模块、装置、单元等予以实现，本领域技术人员可以参照所述系统的技术方案实现所述方法的步骤流程，即，所述系统中的实施例可理解为实现所述方法的优选例，在此不予赘述。
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。
Claims (2)
1.一种基于多尺度特征融合的图像检测方法，其特征在于，包括：
步骤S1：从监控视频中提取待检测图像；
步骤S2：将所述待检测图像输入改进的深度卷积神经网络以提取特征，得到特征图像；所述步骤S2包括：
步骤S21：将所述待检测图像分别输入改进的深度卷积神经网络中的每一个卷积核中，得到底层特征信息；所述卷积核包括：5×5×20的滤波器、3×3×40的滤波器、3×3×60的滤波器、3×3×80的滤波器；
步骤S22：通过单位高斯分布规范网络中的激活函数对所述底层特征信息进行优化，得到第二特征信息；
步骤S23：通过激活层对所述第二特征信息进行增强处理，得到第三特征信息；
步骤S24：对所述第三特征信息进行池化处理，得到降维后的所述特征图像；
步骤S3：将所述特征图像对应的卷积块分别进行不同尺度的池化处理，得到包含不同层次的卷积块信息的融合特征图像；所述步骤S3包括：
步骤S31：将所述特征图像分别输入不同尺度的池化层，得到不同的卷积块信息；
步骤S32：对不同的卷积块信息进行拼接，并将拼接的结果作为全连接层的输入，得到包含不同层次的卷积块信息的融合特征图像；
步骤S4：对所述融合特征图像进行目标区域判定，得到目标区域图像；
步骤S5：对所述目标区域图像进行ROI池化，得到固定长度的特征向量；
步骤S6：将所述特征向量输入全连接层序列，得到两个输出对象类；
步骤S7：通过分类器对所述两个输出对象类的概率进行估计，得到分类结果，并通过目标框回归确定每个对象类的预测边界框位置；所述步骤S7包括：
步骤S71：通过Softmax分类器获取所述两个输出对象类对应的RoI的概率分布，产生Softmax概率估计；
步骤S72：通过目标框回归确定所述两个输出对象类的预测边界框位置；
步骤S73：依据softmax概率估计与预测边界框位置构建损失函数，其中，所述损失函数是通过叠加所有预测框的损失得到的；
步骤S74：根据所述损失函数和Softmax分类器，确定每个预测边界框对应的分类结果；
步骤S8：根据所述分类结果和每个对象类的边界框位置，确定未佩戴安全帽的人员，并进行安全警告。
2.根据权利要求1所述的基于多尺度特征融合的图像检测方法，其特征在于，所述步骤S1包括：
步骤S11：实时获取监控视频；
步骤S12：将所述监控视频的视频图像进行灰度处理后，建立纹理特征模型；
步骤S13：通过纹理特征算法确定所述纹理特征模型参数；
步骤S14：通过所述纹理特征模型分割出待检测图像的背景和前景；其中，包含安全帽纹理的区域为前景，不包含安全帽纹理的区域为背景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578124.3A CN111738336B (zh) | 2020-06-22 | 2020-06-22 | 基于多尺度特征融合的图像检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010578124.3A CN111738336B (zh) | 2020-06-22 | 2020-06-22 | 基于多尺度特征融合的图像检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111738336A CN111738336A (zh) | 2020-10-02 |
| CN111738336B true CN111738336B (zh) | 2024-04-05 |
Family
ID=72650533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010578124.3A Active CN111738336B (zh) | 2020-06-22 | 2020-06-22 | 基于多尺度特征融合的图像检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111738336B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112986210B (zh) * | 2021-02-10 | 2021-12-17 | 四川大学 | 一种尺度自适应的微生物拉曼光谱检测方法及系统 |
| CN112990232B (zh) * | 2021-04-14 | 2023-06-23 | 广东工业大学 | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 |
| CN113191274A (zh) * | 2021-04-30 | 2021-07-30 | 西安聚全网络科技有限公司 | 基于神经网络的油田视频智能安全事件检测方法及系统 |
| CN113903068A (zh) * | 2021-10-19 | 2022-01-07 | 深圳市中博科创信息技术有限公司 | 基于人脸特征的陌生人监控方法、装置、设备及存储介质 |
| CN113971829A (zh) * | 2021-10-28 | 2022-01-25 | 广东律诚工程咨询有限公司 | 安全帽佩戴情况的智能检测方法、装置、设备及存储介质 |
| CN116824517B (zh) * | 2023-08-31 | 2023-11-17 | 安徽博诺思信息科技有限公司 | 基于可视化的变电站运维安全管控系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034215A (zh) * | 2018-07-09 | 2018-12-18 | 东北大学 | 一种基于深度卷积神经网络的安全帽佩戴检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR3057090B1 (fr) * | 2016-09-30 | 2018-10-19 | Safran Identity & Security | Procedes d'apprentissage securise de parametres d'un reseau de neurones a convolution, et de classification securisee d'une donnee d'entree |
-
2020
- 2020-06-22 CN CN202010578124.3A patent/CN111738336B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019232836A1 (zh) * | 2018-06-04 | 2019-12-12 | 江南大学 | 基于改进全卷积网络的多尺度感知行人检测方法 |
| CN109034215A (zh) * | 2018-07-09 | 2018-12-18 | 东北大学 | 一种基于深度卷积神经网络的安全帽佩戴检测方法 |
| CN110263686A (zh) * | 2019-06-06 | 2019-09-20 | 温州大学 | 一种基于深度学习的施工工地图像安全帽检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于并行双路卷积神经网络的安全帽识别;黄愉文;潘迪夫;;企业技术开发(03);全文 * |
| 微芯片焊点快速识别与定位方法;黄知超;梁国丽;朱芳来;;半导体技术(03);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111738336A (zh) | 2020-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111738336B (zh) | 基于多尺度特征融合的图像检测方法 | |
| CN110188807B (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
| CN109101914B (zh) | 一种基于多尺度的行人检测方法和装置 | |
| CN107194559B (zh) | 一种基于三维卷积神经网络的工作流识别方法 | |
| CN106599773B (zh) | 用于智能驾驶的深度学习图像识别方法、系统及终端设备 | |
| CN111079655B (zh) | 一种基于融合神经网络的视频中人体行为识别方法 | |
| CN111046880A (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN110414400B (zh) | 一种施工现场安全帽穿戴自动检测方法及系统 | |
| CN109711262B (zh) | 一种基于深度卷积神经网络的智能挖掘机行人检测方法 | |
| CN110688987A (zh) | 一种行人位置检测与跟踪方法及系统 | |
| CN110751185A (zh) | 目标检测模型的训练方法和装置 | |
| CN109886159B (zh) | 一种非限定条件下的人脸检测方法 | |
| DE19831413A1 (de) | Bildverarbeitungsverfahren und Vorrichtungen zur Erkennung von Objekten im Verkehr | |
| CN106778650A (zh) | 基于多类型信息融合的场景自适应行人检测方法和系统 | |
| CN116343330A (zh) | 一种红外-可见光图像融合的异常行为识别方法 | |
| CN113065431B (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
| CN115841649A (zh) | 一种用于城市复杂场景的多尺度人数统计方法 | |
| CN111079675A (zh) | 基于目标检测与目标跟踪的行驶行为分析方法 | |
| CN111401188A (zh) | 一种基于人体关键点特征的交警手势识别方法 | |
| CN117765480B (zh) | 一种道路沿线野生动物迁徙预警方法及系统 | |
| CN109299672B (zh) | 自适应调节阈值和算法结构的停车事件检测系统及方法 | |
| CN112613359B (zh) | 用于人员异常行为检测的神经网络的构建方法 | |
| Yang et al. | The system of detecting safety helmets based on YOLOv5 | |
| CN112580449B (zh) | 智慧工地现场的人员异常行为判别方法 | |
| CN110059742A (zh) | 基于深度学习的安全护具穿戴识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |