CN112990232B - 面向多种高空作业施工现场的安全带佩戴识别与检测方法 - Google Patents
面向多种高空作业施工现场的安全带佩戴识别与检测方法 Download PDFInfo
- Publication number
- CN112990232B CN112990232B CN202110399970.3A CN202110399970A CN112990232B CN 112990232 B CN112990232 B CN 112990232B CN 202110399970 A CN202110399970 A CN 202110399970A CN 112990232 B CN112990232 B CN 112990232B
- Authority
- CN
- China
- Prior art keywords
- feature
- fusion
- feature map
- module
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 82
- 238000010276 construction Methods 0.000 title claims abstract description 30
- 230000004927 fusion Effects 0.000 claims abstract description 148
- 238000005070 sampling Methods 0.000 claims abstract description 81
- 238000000605 extraction Methods 0.000 claims abstract description 61
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000011176 pooling Methods 0.000 claims description 46
- 238000012549 training Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000007499 fusion processing Methods 0.000 claims description 4
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 5
- 230000004913 activation Effects 0.000 description 4
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Human Computer Interaction (AREA)
- Biodiversity & Conservation Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，包括：获取施工地的包含作业人员的待检测图像，并将待检测图像输入到预置卷积神经网络模型，预置检测模块包括特征提取模块、特征融合模块和预测模块；通过特征提取模块对待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图；通过特征融合模块对深度卷积特征图和采样特征图进行特征融合，得到融合特征图；通过预测模块对融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。本申请解决了现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种面向多种高空作业施工现场的安全带佩戴识别与检测方法。
背景技术
在高空作业的作业人员通常需要佩戴安全带，避免出现高空坠落的风险，提高作业人员的安全性。因此，在某些建筑业、制造业、电力建设和检修领域中通常要求作业人员佩戴安全带，但经常出现某些作业人员忘记佩戴安全带的情况，因此需要对作业人员是否佩戴安全带进行检测，对于未佩戴安全带的作业人员进行提醒，以避免出现意外事故。现有技术多采用传统的特征提取和检测方法，检测精度低，实时性较差。
发明内容
本申请提供了一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，用于解决现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
有鉴于此，本申请第一方面提供了一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，包括：
获取施工地的包含作业人员的待检测图像，并将所述待检测图像输入到预置卷积神经网络模型，所述预置检测模块包括特征提取模块、特征融合模块和预测模块；
通过所述特征提取模块对所述待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图；
通过所述特征融合模块对所述深度卷积特征图和所述采样特征图进行特征融合，得到融合特征图；
通过所述预测模块对所述融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
可选的，所述特征提取模块包括卷积模块、空洞卷积模块、深度可分离卷积模块和4个下采样层，所述卷积模块由若干个卷积层和5个池化层构成；
所述通过所述特征提取模块对所述待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图，包括：
通过所述卷积模块对所述待检测图像依次进行卷积处理和池化处理，得到浅层卷积特征图；
通过所述空洞卷积模块对所述浅层卷积特征图进行空洞卷积处理，得到空洞卷积特征图；
通过所述深度可分离卷积模块对所述空洞卷积特征图进行深度可分离卷积处理，得到深度卷积特征图；
通过4个所述下采样层分别对前4个所述池化层输出的特征图进行下采样处理，得到采样特征图；
其中，所述采样特征图包括第一个池化层对应的第一采样特征图、第二个池化层对应的第二采样特征图、第三个池化层对应的第三采样特征图和第四个池化层对应的第四采样特征图。
可选的，所述通过所述特征融合模块对所述深度卷积特征图和所述采样特征图进行特征融合，得到融合特征图，包括：
通过所述特征融合模块对所述深度卷积特征图和所述第二采样特征图进行特征融合，得到第一融合特征图；
通过所述特征融合模块对所述第一融合特征图进行多尺度池化和融合处理，得到多尺度融合特征图；
通过所述特征融合模块对所述多尺度融合特征图依次进行上采样处理和下采样处理得到采样增强特征图，并将所述采样增强特征图和所述第一采样特征图进行特征融合，得到第二融合特征图；
通过所述特征融合模块对所述多尺度融合特征图和所述第四采样特征图进行特征融合，得到第三融合特征图；
通过所述特征融合模块对所述第三融合特征图进行下采样后，与所述第三采样特征图进行特征融合，得到第四融合特征图。
可选的，所述通过所述预测模块对所述融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果，包括：
通过所述预测模块对所述第二融合特征图、所述第三融合特征图和所述第四融合特征图依次进行下采样处理、卷积处理和注意力特征提取，得到作业人员在三个尺度输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
可选的，所述预置卷积神经网络模型的配置过程为：
获取训练图像；
通过所述训练图像训练卷积神经网络，得到所述预置卷积神经网络模型，所述卷积神经网络包括所述特征提取模块、所述特征融合模块和所述预测模块。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，包括：获取施工地的包含作业人员的待检测图像，并将待检测图像输入到预置卷积神经网络模型，预置检测模块包括特征提取模块、特征融合模块和预测模块；通过特征提取模块对待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图；通过特征融合模块对深度卷积特征图和采样特征图进行特征融合，得到融合特征图；通过预测模块对融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
本申请中，采用预置卷积神经网络模型对获取的待检测图像进行特征提取、特征融合和安全带佩戴检测，通过具有强大自学习能力的卷积神经网络进行检测，相比于传统的采用手工设计特征进行安全带佩戴检测的方法，精度更高，并且采用卷积神经网络这种端到端的检测方法，人工干涉少，速度更快，从而解决了现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测方法的一个流程示意图；
图2为本申请实施例提供的一种预置卷积神经网络模型的一个结构示意图；
图3为本申请实施例提供的一种特征融合模块的一个结构示意图；
图4为本申请实施例提供的安全带佩戴检测结果的示意图；
图5为本申请实施例提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测装置的一个结构示意图。
具体实施方式
本申请提供了一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，用于解决现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测方法的一个实施例，包括：
步骤101、获取施工地的包含作业人员的待检测图像，并将待检测图像输入到预置卷积神经网络模型，预置检测模块包括特征提取模块、特征融合模块和预测模块。
可以在高空作业的施工地布置摄像头，通过摄像头采集施工地的包含作业人员的待检测图像，以获取高空作业施工现场作业人员的工作情况。在获取到待检测图像后，可以将其裁剪到预置大小，再输入到预置卷积神经网络模型中进行特征提取、特征融合和安全带佩戴检测，本申请实施例中预置卷积神经网络模型的输入图像的大小优选为608*608，优选采用三通道的彩色图像，预置检测模块由三部分构成，包括特征提取模块、特征融合模块和预测模块，可以参考图2。
步骤102、通过特征提取模块对待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图。
本申请实施例中的特征提取模块主要由卷积模块、空洞卷积模块(DCM)、深度可分离卷积模块(DSCM)和4个下采样层(CBL)构成，其中，卷积模块由若干个卷积层(Conv)和5个池化层构成，卷积模块可以划分为5个卷积子模块，每个卷积子模块后连接一个池化层，每个子模块中的卷积层后运用激活函数ReLU进行非线性处理，通过采用不同的卷积层和激活函数ReLU对不同尺度目标进行特征提取。
具体的，通过特征提取模块对待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图，包括：
通过卷积模块对待检测图像依次进行卷积处理和池化处理，得到浅层卷积特征图；通过空洞卷积模块对浅层卷积特征图进行空洞卷积处理，得到空洞卷积特征图；通过深度可分离卷积模块对空洞卷积特征图进行深度可分离卷积处理，得到深度卷积特征图；通过4个下采样层分别对前4个池化层输出的特征图进行下采样处理，得到采样特征图；其中，采样特征图包括第一个池化层对应的第一采样特征图、第二个池化层对应的第二采样特征图、第三个池化层对应的第三采样特征图和第四个池化层对应的第四采样特征图。
第一个卷积子模块输出76*76大小的浅层特征图，第二个卷积子模块输出38*38的浅层特征图，在第三个卷积子模块中为了提高小目标的检测精度，运用三个较大尺度的卷积层和ReLU来增强上下文语义信息，此卷积子模块再输出76*76的浅层特征图，第四卷积子模块输出38*38的浅层特征图，在最后一卷积子模块中输出的是19*19的浅层特征图。
由于在特征提取时每次运用卷积网络后难免会存在图像语义信息丢失的现象，而ReLU激活函数的作用是增加了神经网络各层之间的非线性关系，否则，如果没有激活函数，层与层之间是简单的线性关系，运用ReLU函数每层都相当于矩阵相乘，这样可以很好的使神经网络完成的复杂任务。ReLU由于非负区间的梯度为常数，因此不存在梯度消失问题，使得预置卷积神经网络模型的收敛速度维持在一个稳定状态，对增强上下文语义信息起到很好的效果。本申请实施例中的池化层采用最大池化层(Max pooling)，运用Max pooling的作用为保证特征的位置与旋转不变性和减少模型参数数量，减少过拟合问题。
在每次特征提取输出后都会出现部分数据丢失的现象，因此本申请采用下采样层起到数据增强的作用，下采样层由卷积层和归一化层组成。具体的，通过4个下采样层分别对前4个池化层输出的特征图进行下采样处理，得到第一、第二、第三、第四采样特征图。
在通过卷积模块提取19*19的浅层特征图后，采用空洞卷积模块对浅层卷积特征图进行空洞卷积处理，得到空洞卷积特征图，引入空洞卷积模块是为了解决传统卷积和池化操作造成的内部数据结构丢失和空间层级化信息丢失，以及由于多次池化操作造成小物体信息无法重建的问题。为了使得在池化减少图像尺寸以增大感受野和上采样增大尺寸这个过程能保留更多特征信息，在不通过池化操作以扩大感受野的前提下引入空洞卷积模块。在空洞卷积过程中，引入一个新的超参数d，(d-1)的值为塞入的空格数，假定原来的卷积核大小为k，那么塞入(d-1)个空格后的卷积和大小n为：
n＝k+(k-1)×(d-1) (1)
进而，假定输入空洞卷积的大小为i，步长为s，填充的像素数为p，空洞卷积后的空洞卷积特征图大小O的计算公式为：
在提取到空洞卷积特征图后，通过深度可分离卷积模块对空洞卷积特征图进行深度可分离卷积处理，得到深度卷积特征图。引入深度可分离卷积模块是为了减少预置卷积神经网络模型参数量和计算量而提出的一种轻量级卷积结构，由此构建的轻量级模型可以应用于移动端设备和嵌入式设备中。深度可分离卷积处理分为逐通道卷积和逐点卷积，前者在空洞卷积特征图的每一个通道上进行普通卷积，而后者则是将逐通道卷积后的空洞卷积特征图采用1×1大小的卷积核进行普通卷积，得到深度卷积特征图。
步骤103、通过特征融合模块对深度卷积特征图和采样特征图进行特征融合，得到融合特征图。
本申请实施例在特征融合模块中引入空间金字塔池化层(SPP)、特征金字塔层(FPN)和PANet路径聚合网络，可以参考图3，特征融合模块中通过Concat进行张量拼接来进行特征融合。通过特征融合模块对深度卷积特征图和采样特征图进行特征融合，得到融合特征图的过程具体为：通过特征融合模块对深度卷积特征图和第二采样特征图进行特征融合，得到第一融合特征图；通过特征融合模块对第一融合特征图进行多尺度池化和融合处理，得到多尺度融合特征图；通过特征融合模块对多尺度融合特征图依次进行上采样处理和下采样处理得到采样增强特征图，并将采样增强特征图和第一采样特征图进行特征融合，得到第二融合特征图；通过特征融合模块对多尺度融合特征图和第四采样特征图进行特征融合，得到第三融合特征图；通过特征融合模块对第三融合特征图进行下采样后，与第三采样特征图进行特征融合，得到第四融合特征图。
SPP的作用为将不同的特征图转换为固定大小的特征图进行多尺度融合，SPP采用1×1，5×5，9×9，13×13的最大池化的方式，由三个不同尺度的maxpool将输入的第一融合特征图进行多尺度的特征处理，再与第一融合特征图(即1×1池化输出的特征图)进行拼接，一共4个scale，然后将不同尺度的特征图进行Concat操作。相比于只用一个Maxpooling，本方法提取的特征范围更大，而且将不同尺度的特征进行了有效分离。
在进行SPP后会产生低层的特征语义信息比较少，目标位置比较粗略，这时就运用FPN网络来对目标进行定位，在FPN模块中对不同尺度的图片运用不同层次的卷积网络进行上采样操作；采用PANet路径聚合网络起到自底向上的路径增强，利用准确的低层定位信号增强整个特征层次，从而缩短了低层与顶层特征之间的信息路径；接着将不同尺度的特征图运用不同层次的卷积网络进行下采样操作，主要为增大整体感受野，提升低分辨率的图片精度。
通过PANet路径聚合网络处理得到采样增强特征图后将采样增强特征图和第一采样特征图进行特征融合，增强特征表示，得到第二融合特征图；通过特征融合模块对多尺度融合特征图和第四采样特征图进行特征融合，得到第三融合特征图；通过特征融合模块对第三融合特征图进行下采样后，与第三采样特征图进行特征融合，得到第四融合特征图。
步骤104、通过预测模块对融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
通过预测模块对第二融合特征图、第三融合特征图和第四融合特征图依次进行下采样处理、卷积处理和注意力特征提取，得到作业人员在三个尺度输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果，输出的三个尺度输出图像的大小分别为76*76、38*38、19*19，都是三通道的彩色图像。
对于远离摄像头工地人员的安全带佩戴检测问题，由于此时工人的上半身区域在采集的待检测图像中只占了一小部分，因此待检测图像在经过重复的下采样操作后(如卷积和池化)，特征的分辨率会逐渐降低，最终导致最高层特征图即使能表达强语义信息但此时的安全带表示特征已经很少甚至消失。此时采用渐进注意力区域网络(PANN)进行注意力特征提取，有利于增强安全带佩戴检测的特征，特别是用于检测小尺度安全带的特征。给定在第l-1层的特征图Θl-1∈RC×H×W，则该层的空间注意力特征图由公式(3)和公式(4)计算得到：
ψl-1＝Ws*UP(Θl-1)2+bs (3)
αl-1＝Sigmoid(Wm*ψl-1+bm) (4)
其中，*为卷积操作，Ws∈RC/2×C×3×3和Wm∈Rk×k为卷积核，bs∈RC和bm∈R1为偏置项，UP(·)2表示以因子为2的上采样操作，这里采用双线性采样。公式(3)表示对上一层输出的特征图进行通道减半的卷积，以提示特征抽象表示能力。公式(4)表示对通道减半的特征图以卷积的方式生成空间位置的特征图，并经过Sigmoid(x)＝1/(1+e-x)函数进行归一化处理，最终预测模块输出预测作业人员在三个尺度输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果，请参考图4。
进一步，本申请实施例中的预置卷积神经网络模型的配置过程为：获取训练图像；通过训练图像训练卷积神经网络，得到预置卷积神经网络模型，卷积神经网络包括特征提取模块、特征融合模块和预测模块。
获取的训练图像标注了各个作业人员的位置以及是否佩戴安全带，通过训练图像训练卷积神经网络，获得损失值，通过损失值更新网络参数，直至网络收敛，得到预置卷积神经网络模型。为提高整体检测性能以及达到实时性的效果，所提出损失函数，主要从几个方面考虑，分别是重叠面积，中心点距离和长宽比，公式如下：
其中，IOU(A,B)为预测的位置检测框A与真实的位置检测框B之间的交并比，
为一个惩罚项，此惩罚项的作用为提升收敛速度，Actr为预测的位置检测框A的中心点坐标，Bctr为真实的位置检测框B的中心点坐标，C为A、B最小包围框的对角线长度，ρ(·)为欧式距离计算函数。
为得到安全带佩戴更具判别力的特征，增强安全佩戴检测的收敛性以及类内聚较小的特征，引入
惩罚项，m为sample个数，例如batch size＝128那么m＝128，通过mini-batch的学习方式更容易使网络收敛，/>
为第i个样本的第j个维度的特征值，/>
为第i个样本的的第j个维度的中心。
本申请通过引入渐进注意力机制，有利于进行多尺度检测，在小目标检测精度上提升显著；采用多尺度检测，能有效检测远景图像中小尺度人员的安全带佩戴情况，在拥挤的场景中，也能有效应对视角变化和人员遮挡问题。
本申请实施例中，采用预置卷积神经网络模型对获取的待检测图像进行特征提取、特征融合和安全带佩戴检测，通过具有强大自学习能力的卷积神经网络进行检测，相比于传统的采用手工设计特征进行安全带佩戴检测的方法，精度更高，并且采用卷积神经网络这种端到端的检测方法，人工干涉少，速度更快，从而解决了现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
以上为本申请提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测方法的一个实施例，以下为本申请提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测装置的一个实施例。
请参考图5，本申请实施例提供的一种面向多种高空作业施工现场的安全带佩戴识别与检测装置，包括：
获取单元，用于获取施工地的包含作业人员的待检测图像，并将待检测图像输入到预置卷积神经网络模型，预置检测模块包括特征提取模块、特征融合模块和预测模块；
特征提取单元，用于通过特征提取模块对待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图；
特征融合单元，用于通过特征融合模块对深度卷积特征图和采样特征图进行特征融合，得到融合特征图；
预测单元，用于通过预测模块对融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
作为进一步地改进，特征提取模块包括卷积模块、空洞卷积模块、深度可分离卷积模块和4个下采样层，卷积模块由若干个卷积层和5个池化层构成；
特征提取单元具体用于：
通过卷积模块对待检测图像依次进行卷积处理和池化处理，得到浅层卷积特征图；
通过空洞卷积模块对浅层卷积特征图进行空洞卷积处理，得到空洞卷积特征图；
通过深度可分离卷积模块对空洞卷积特征图进行深度可分离卷积处理，得到深度卷积特征图；
通过4个下采样层分别对前4个池化层输出的特征图进行下采样处理，得到采样特征图；
其中，采样特征图包括第一个池化层对应的第一采样特征图、第二个池化层对应的第二采样特征图、第三个池化层对应的第三采样特征图和第四个池化层对应的第四采样特征图。
作为进一步地改进，特征融合单元具体用于：
通过特征融合模块对深度卷积特征图和第二采样特征图进行特征融合，得到第一融合特征图；
通过特征融合模块对第一融合特征图进行多尺度池化和融合处理，得到多尺度融合特征图；
通过特征融合模块对多尺度融合特征图依次进行上采样处理和下采样处理得到采样增强特征图，并将采样增强特征图和第一采样特征图进行特征融合，得到第二融合特征图；
通过特征融合模块对多尺度融合特征图和第四采样特征图进行特征融合，得到第三融合特征图；
通过特征融合模块对第三融合特征图进行下采样后，与第三采样特征图进行特征融合，得到第四融合特征图。
作为进一步地改进，预测单元具体用于：
通过预测模块对第二融合特征图、第三融合特征图和第四融合特征图依次进行下采样处理、卷积处理和注意力特征提取，得到作业人员在三个尺度输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
本申请实施例中，采用预置卷积神经网络模型对获取的待检测图像进行特征提取、特征融合和安全带佩戴检测，通过具有强大自学习能力的卷积神经网络进行检测，相比于传统的采用手工设计特征进行安全带佩戴检测的方法，精度更高，并且采用卷积神经网络这种端到端的检测方法，人工干涉少，速度更快，从而解决了现有技术采用传统的特征提取和检测方法，存在的检测精度低，实时性较差的技术问题。
本申请实施例还提供了一种安全带佩戴检测设备，设备包括处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述方法实施例中的面向多种高空作业施工现场的安全带佩戴识别与检测方法。
本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质用于存储程序代码，程序代码用于执行前述方法实施例中的面向多种高空作业施工现场的安全带佩戴识别与检测方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (2)
1.一种面向多种高空作业施工现场的安全带佩戴识别与检测方法，其特征在于，包括：
获取施工地的包含作业人员的待检测图像，并将所述待检测图像输入到预置卷积神经网络模型，所述预置卷积神经网络模型包括特征提取模块、特征融合模块和预测模块；
通过所述特征提取模块对所述待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图；
通过所述特征融合模块对所述深度卷积特征图和所述采样特征图进行特征融合，得到融合特征图；
通过所述预测模块对所述融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果；
所述特征提取模块包括卷积模块、空洞卷积模块、深度可分离卷积模块和4个下采样层，所述卷积模块由若干个卷积层和5个池化层构成；
所述通过所述特征提取模块对所述待检测图像进行卷积特征提取和下采样特征提取，得到深度卷积特征图和采样特征图，包括：
通过所述卷积模块对所述待检测图像依次进行卷积处理和池化处理，得到浅层卷积特征图；
通过所述空洞卷积模块对所述浅层卷积特征图进行空洞卷积处理，得到空洞卷积特征图；
通过所述深度可分离卷积模块对所述空洞卷积特征图进行深度可分离卷积处理，得到深度卷积特征图；
通过4个所述下采样层分别对前4个所述池化层输出的特征图进行下采样处理，得到采样特征图；
其中，所述采样特征图包括第一个池化层对应的第一采样特征图、第二个池化层对应的第二采样特征图、第三个池化层对应的第三采样特征图和第四个池化层对应的第四采样特征图；
所述通过所述特征融合模块对所述深度卷积特征图和所述采样特征图进行特征融合，得到融合特征图，包括：
通过所述特征融合模块对所述深度卷积特征图和所述第二采样特征图进行特征融合，得到第一融合特征图；
通过所述特征融合模块对所述第一融合特征图进行多尺度池化和融合处理，得到多尺度融合特征图；
通过所述特征融合模块对所述多尺度融合特征图依次进行上采样处理和下采样处理得到采样增强特征图，并将所述采样增强特征图和所述第一采样特征图进行特征融合，得到第二融合特征图；
通过所述特征融合模块对所述多尺度融合特征图和所述第四采样特征图进行特征融合，得到第三融合特征图；
通过所述特征融合模块对所述第三融合特征图进行下采样后，与所述第三采样特征图进行特征融合，得到第四融合特征图；
所述通过所述预测模块对所述融合特征图进行处理，得到作业人员在输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果，包括：
通过所述预测模块对所述第二融合特征图、所述第三融合特征图和所述第四融合特征图依次进行下采样处理、卷积处理和注意力特征提取，得到作业人员在三个尺度输出图像中的位置检测框以及该作业人员是否佩戴安全带的检测结果。
2.根据权利要求1所述的面向多种高空作业施工现场的安全带佩戴识别与检测方法，其特征在于，所述预置卷积神经网络模型的配置过程为：
获取训练图像；
通过所述训练图像训练卷积神经网络，得到所述预置卷积神经网络模型，所述卷积神经网络包括所述特征提取模块、所述特征融合模块和所述预测模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110399970.3A CN112990232B (zh) | 2021-04-14 | 2021-04-14 | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110399970.3A CN112990232B (zh) | 2021-04-14 | 2021-04-14 | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112990232A CN112990232A (zh) | 2021-06-18 |
| CN112990232B true CN112990232B (zh) | 2023-06-23 |
Family
ID=76338430
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110399970.3A Active CN112990232B (zh) | 2021-04-14 | 2021-04-14 | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112990232B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113887634B (zh) * | 2021-10-08 | 2024-05-28 | 齐丰科技股份有限公司 | 基于改进两步检测的电力安全带检测及预警方法 |
| CN113936300A (zh) * | 2021-10-18 | 2022-01-14 | 微特技术有限公司 | 建筑工地人员识别方法、可读存储介质和电子设备 |
| CN114022748B (zh) * | 2022-01-06 | 2022-04-08 | 深圳市海清视讯科技有限公司 | 目标识别方法、装置、设备及存储介质 |
| CN114936799A (zh) * | 2022-06-16 | 2022-08-23 | 黄冈强源电力设计有限公司 | 一种水泥纤维板的施工过程中风险识别方法及系统 |
| CN114821486B (zh) * | 2022-06-29 | 2022-10-11 | 武汉纺织大学 | 一种电力作业场景下人员识别方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034215A (zh) * | 2018-07-09 | 2018-12-18 | 东北大学 | 一种基于深度卷积神经网络的安全帽佩戴检测方法 |
| CN111062303A (zh) * | 2019-12-12 | 2020-04-24 | 深圳市捷顺科技实业股份有限公司 | 图像处理方法、系统及计算机存储介质 |
| CN111539942A (zh) * | 2020-04-28 | 2020-08-14 | 中国科学院自动化研究所 | 基于多尺度深度特征融合的人脸深度篡改图像的检测方法 |
| CN111723786A (zh) * | 2020-08-21 | 2020-09-29 | 之江实验室 | 一种基于单模型预测的安全帽佩戴检测方法及装置 |
| CN111738336A (zh) * | 2020-06-22 | 2020-10-02 | 上海应用技术大学 | 基于多尺度特征融合的图像检测方法 |
-
2021
- 2021-04-14 CN CN202110399970.3A patent/CN112990232B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109034215A (zh) * | 2018-07-09 | 2018-12-18 | 东北大学 | 一种基于深度卷积神经网络的安全帽佩戴检测方法 |
| CN111062303A (zh) * | 2019-12-12 | 2020-04-24 | 深圳市捷顺科技实业股份有限公司 | 图像处理方法、系统及计算机存储介质 |
| CN111539942A (zh) * | 2020-04-28 | 2020-08-14 | 中国科学院自动化研究所 | 基于多尺度深度特征融合的人脸深度篡改图像的检测方法 |
| CN111738336A (zh) * | 2020-06-22 | 2020-10-02 | 上海应用技术大学 | 基于多尺度特征融合的图像检测方法 |
| CN111723786A (zh) * | 2020-08-21 | 2020-09-29 | 之江实验室 | 一种基于单模型预测的安全帽佩戴检测方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 基于SE Detection Net的安全帽检测方法;刘霞;;计算机技术与发展(第06期);第1-3页 * |
| 改进SSD的安全帽佩戴检测方法;肖体刚;蔡乐才;汤科元;高祥;张超洋;;四川轻化工大学学报(自然科学版)(第04期);第1-3页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112990232A (zh) | 2021-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112990232B (zh) | 面向多种高空作业施工现场的安全带佩戴识别与检测方法 | |
| US11551333B2 (en) | Image reconstruction method and device | |
| US11734851B2 (en) | Face key point detection method and apparatus, storage medium, and electronic device | |
| US20210365717A1 (en) | Method and apparatus for segmenting a medical image, and storage medium | |
| US10614574B2 (en) | Generating image segmentation data using a multi-branch neural network | |
| EP4105877A1 (en) | Image enhancement method and image enhancement apparatus | |
| WO2020101777A1 (en) | Segmenting objects by refining shape priors | |
| CN111914997B (zh) | 训练神经网络的方法、图像处理方法及装置 | |
| CN113674421B (zh) | 3d目标检测方法、模型训练方法、相关装置及电子设备 | |
| CN110222717A (zh) | 图像处理方法和装置 | |
| CN109003297A (zh) | 一种单目深度估计方法、装置、终端和存储介质 | |
| CN113011562A (zh) | 一种模型训练方法及装置 | |
| US11663463B2 (en) | Center-biased machine learning techniques to determine saliency in digital images | |
| CN113807361B (zh) | 神经网络、目标检测方法、神经网络训练方法及相关产品 | |
| CN115546630A (zh) | 基于遥感影像特征目标检测的工地提取方法和系统 | |
| CN109543510A (zh) | 人流密度估计方法、装置和电子设备 | |
| CN110222718A (zh) | 图像处理的方法及装置 | |
| CN117409190B (zh) | 一种实时红外图像目标检测方法、装置、设备及存储介质 | |
| US20190347541A1 (en) | Apparatus, method and computer program product for deep learning | |
| CN111710008B (zh) | 人流密度的生成方法、装置、电子设备以及存储介质 | |
| CN114359289A (zh) | 一种图像处理方法及相关装置 | |
| CN113284055A (zh) | 一种图像处理的方法以及装置 | |
| CN112766028B (zh) | 人脸模糊处理方法、装置、电子设备及存储介质 | |
| CN116704324A (zh) | 基于水下图像的目标检测方法、系统、设备以及存储介质 | |
| CN112668675B (zh) | 一种图像处理方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20241010 Address after: 250000 1422, building n, Hengda City, No. 58, Gongye North Road, Licheng District, Jinan City, Shandong Province Patentee after: Jinan Weiyang Technology Co.,Ltd. Country or region after: China Address before: No.729, Dongfeng East Road, Yuexiu District, Guangzhou City, Guangdong Province 510060 Patentee before: GUANGDONG University OF TECHNOLOGY Country or region before: China |