CN114973335A - 基于深度学习的工地安全行为监测方法、装置及电子设备 - Google Patents
基于深度学习的工地安全行为监测方法、装置及电子设备 Download PDFInfo
- Publication number
- CN114973335A CN114973335A CN202210904261.0A CN202210904261A CN114973335A CN 114973335 A CN114973335 A CN 114973335A CN 202210904261 A CN202210904261 A CN 202210904261A CN 114973335 A CN114973335 A CN 114973335A
- Authority
- CN
- China
- Prior art keywords
- behavior
- falling
- target
- ground
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006399 behavior Effects 0.000 title claims abstract description 171
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000010276 construction Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 25
- 238000012544 monitoring process Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 80
- 238000012549 training Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 17
- 230000006870 function Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 21
- 238000009826 distribution Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000012806 monitoring device Methods 0.000 claims description 4
- 206010016173 Fall Diseases 0.000 description 8
- 230000008569 process Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/34—Smoothing or thinning of the pattern; Morphological operations; Skeletonisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的工地安全行为监测方法、装置及电子设备，方法包括：获取工地人员的倒地图片作为初始样本集；通过生成对抗网络对初始样本集进行扩充，生成目标样本集；基于目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；获取摄像头拍摄的视频，将视频处理为连续的图像帧；将图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果；若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，将倒地行为图像帧及摄像头位置发送至管理人员终端。本发明提高了工地上倒地行为检测的准确率，在发生倒地事件时，及时通知管理人员，提升工地安全性。
Description
技术领域
本发明涉及建筑工地人员安全管理技术领域，尤其涉及一种基于深度学习的工地安全行为监测方法、装置及电子设备。
背景技术
在工地施工现场，由于各工地的工种较多，而且互相之间交叉作业，这样造成施工非常复杂，经常伴随有高空落物、倒塌、火灾、触电、有害气体泄漏等现象的发生，很容易造成人员的伤亡和财产的损失。
现有技术中，在施工现场的安全管理主要是通过人工监督为主，建筑工程施工各专业、各作业面在时间和空间上相互交错，且分布广，生产过程中的人工监督要做到面面俱到难度大，对人力的投入要求也较高。
因此，现有技术还有待于改进和发展。
发明内容
鉴于上述现有技术的不足，本发明提供了一种基于深度学习的工地安全行为监测方法、装置及电子设备。
本发明的技术方案如下：
本发明第一实施例提供了一种基于深度学习的工地安全行为监测方法，所述方法包括：
获取工地人员的倒地图片作为初始样本集；
通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
获取摄像头拍摄的视频，将视频处理为连续的图像帧；
将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，所述目标行为检测模型用于判断图像帧是否为倒地行为图像帧；
若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
进一步地，所述通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集，包括：
预先构建初始生成对抗网络的生成器和判别器；
基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，训练时采用的目标函数为：
其中G为生成器，D为判别器，
表示x属于生成器的概率，
表示x取自真
正的分布，
表示z取自模拟的分布；
获取训练完成后的生成对抗网络的输出，输出为任意角度倒地图片，生成目标样本集，完成初始样本集扩充。
进一步地，所述基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，包括：
将生成对抗网络的网络及训练参数进行初始化；
获取初始样本集中的真实数据损失函数和虚数数据损失函数，基于初始样本集中的真实数据损失函数和虚数数据损失函数对判别器进行训练；
检测到所述判别器训练完成，对生成器进行训练。
进一步地，所述基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型，包括：
将所述目标样本集输入预先构建的倒地行为检测模型，对倒地行为检测模型进行训练，生成目标行为检测模型，其中，所述预先构建的倒地行为检测模型为二分类网络。
进一步地，所述获取摄像头拍摄的视频，将视频处理为连续的图像帧后，还包括：
根据差分法对图像帧进行解析；
根据解析结果判断图像帧中是否有工人存在；
若有工人存在，则标记为目标图像帧；
若无工人存在，则标记为非目标图像帧。
进一步地，将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，包括：
将所述目标图像帧输入目标行为检测模型，获取目标行为检测模型输出结果，所述输出结果为目标图像帧是倒地行为图像帧或非倒地行为图像帧。
进一步地，若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端后，还包括：
根据输出结果判断所述图像帧是否为倒地行为图像帧；
若所述图像帧为倒地图像帧，则判断在第一预定时间内倒地行为图像帧数是否超过预设的第一阈值；
若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置；将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
本发明的另一实施例提供了一种基于深度学习的工地安全行为监测装置，装置包括：
数据采集模块，用于获取工地人员的倒地图片作为初始样本集；
样本扩充模块，用于通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
网络训练模块，用于基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
图像处理模块，用于获取摄像头拍摄的视频，将视频处理为连续的图像帧；
检测模块，用于将所述连续的图像帧依次输入目标行为检测模型，获取目标行为检测模型的输出结果；
数据发送模块，用于若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
本发明的另一实施例提供了一种电子设备，所述电子设备包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的基于深度学习的工地安全行为监测方法。
本发明的另一实施例还提供了一种非易失性计算机可读存储介质，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行上述的基于深度学习的工地安全行为监测方法。
有益效果：本发明实施例的工地安全行为监测方法，主要是对倒地行为进行检测，通过深度学习算法对样本进行扩充，对倒地行为模型进行训练，提升了模型的鲁棒性，提高了工地上倒地行为检测的准确率，在发生倒地事件时，将倒地图片及摄像头位置发送管理人员，方便管理人员快速定位倒地位置，及时进行救助，减少人员伤亡，提升工地安全性。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1为本发明一种基于深度学习的工地安全行为监测方法较佳实施例的流程图；
图2为本发明一种基于深度学习的工地安全行为监测方法较佳实施例的网络结构示意图；
图3为本发明一种基于深度学习的工地安全行为监测装置的较佳实施例的功能模块示意图；
图4为本发明一种电子设备的较佳实施例的硬件结构示意图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合附图对本发明实施例进行介绍。
针对上述问题，本发明实施例提供了一种基于深度学习的工地安全行为监测方法，请参阅图1，图1为本发明一种基于深度学习的工地安全行为监测方法较佳实施例的流程图。如图1所示，其包括：
步骤S100、获取工地人员的倒地图片作为初始样本集；
步骤S200、通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
步骤S300、基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
步骤S400、获取摄像头拍摄的视频，将视频处理为连续的图像帧；
步骤S500、将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，所述目标行为检测模型用于判断图像帧是否为倒地行为图像帧；
步骤S600、若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
具体实施时，本发明实施例主要用于对工地人员的倒地图片进行检测。预先获取工地人员的倒地图片作为初始样本集，可通过对预先在工地的固定位置设置摄像头，通过摄像头采集工地人员的倒地图片进行去噪等预处理操作后，生成初始样本集。
由于通过人工采集不同角度的倒地图片的工作量巨大，因此采用生成对抗网络对倒地图片进行数据增强，生成任意角度倒地图片，实现对初始样本集进行扩充，生成目标样本集。生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。本发明实施例中生成模型记为生成器，判别模型记为判别器。原始 GAN 理论中，并不要求 G 和 D 都是神经网络，只需要是能拟合相应生成和判别的函数即可。但实用中一般均使用深度神经网络作为 G 和 D 。一个优秀的GAN应用需要有良好的训练方法，否则可能由于神经网络模型的自由性而导致输出不理想。
通过扩充后生成的目标样本集，对倒地行为检测模型进行训练，生成目标行为检测模型。倒地行为检测模型采用神经网络模型，在实际应用中可根据需要选用不同的神经网络。
获取摄像头拍摄的视频，将视频通过图像处理技术处理为连续的图像帧，例如，可以通过OpenCV将视频处理成图像帧。然后将图像帧输入目标行为检测模型，获取目标行为模型的输出结果。根据输出结果获取图像帧的类型；若图像帧为倒地行为图像帧，则判断预定时间内倒地行为图像帧数是否超过预设的第一阈值；
若预定时间内倒地行为图像帧数超过预设的第一阈值，判定发生了倒地事件，获取倒地行为图像帧的来源，根据图像帧的来源对摄像头进行定位。摄像头的位置预先在系统里进行存储。将摄像头位置及倒地行为图像帧发送至管理人员终端，方便管理人员快速定位工地人员的倒地位置，从而尽快采取救治措施，减少人员伤亡，提升工地安全性。其中预定时间可由用户自行设置，第一阈值根据需要进行设置。
在一个实施例中，通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集，包括：
预先构建初始生成对抗网络的生成器和判别器；
基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，训练时采用的目标函数为：
其中G为生成器，D为判别器，
表示x属于生成器的概率，
表示x取自真
正的分布，
表示z取自模拟的分布；
获取训练完成后的生成对抗网络的输出，输出为任意角度倒地图片，生成目标样本集，完成初始样本集扩充。
具体实施时，预先根据pytorch框架对初始生成对抗网络的生成器和判别器进行构建。其中，PyTorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。生成对抗网络GAN是通过对抗训练的方式来使得生成网络产生的样本服从真实数据分布。在生成对抗网络中，有两个网络进行对抗训练。一个是判别器，目标是尽量准确地判断一个样本是 来自于真实数据还是生成器产生的；另一个是生成器，目标是尽量生成判别器无法区分来源的样本。这两个目标相反的网络不断地进行交替训练。当最后收敛时，如果判别器再也无法判断出一个样本的来源，那么也就等价于生成器可以生成符合真实数据分布的样本。
判别器的目标即区分样本x是来自于真实分布还是生成器。生成器的目标刚好和
判别器相反，即让判别器将自己生成的样本判别为真实样本 。由以上的目标函数公式可
知，训练过程中，优化判别器时，让
最大，优化生成器时，让
最小。
生成对抗网络输出完成后，获取训练完成后的生成对抗网络的输出，输出为任意角度倒地图片，生成目标样本集，完成初始样本集扩充。
在一个实施例中，基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，包括：
将生成对抗网络的网络及训练参数进行初始化；
获取初始样本集中的真实数据损失函数和虚数数据损失函数，基于初始样本集中的真实数据损失函数和虚数数据损失函数对判别器进行训练；
检测到所述判别器训练完成，对生成器进行训练。
具体实施时，基于pytorch框架将生成对抗网络的网络及训练参数进行初始化，训练过程中，对于每一批数据，先对判别器进行训练，再对生成器进行训练。训练判别器时，首先考虑真实数据带来的损失，再考虑虚假数据带来的损失，然后根据这两者带来的损失，一次性对判别器进行更新。计算虚假数据损失时采用了张量成员方法detach( )，终止梯度反向传播，加快训练速度，这是因为在训练判别器时，没有必要求解损失对于生成函数权值的梯度。
在一个实施例中，基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型，包括：
将所述目标样本集输入预先构建的倒地行为检测模型，对倒地行为检测模型进行训练，生成目标行为检测模型，其中，所述预先构建的倒地行为检测模型为二分类网络。
具体实施时，预先构建的倒地行为检测模型采用二分类网络。在实际中我们采用非倒地图像和倒地图像两类图像进行识别，因此可采用二分类网络。将含有非倒地图像和倒地图像的图片输入二分类网络，对二分类网络进行训练，训练完成后，生成目标行为检测模型。其中，二分类网络可采用残差网络ResNet, 残差网络是由一系列残差块组成的。输入通过多次卷积，然后与输入相加。进一步地，二分类网络采用Resnet18，其中18主要指的是带有权重的，包括卷积层和全连接层，不包括池化层和BN层。Resnet18的网络结构如图2所示，ResNet18沿用了VGG完整的3×3卷积层设计。 残差块里首先有2个有相同输出通道数的3×3卷积层。 每个卷积层后接一个批量规范化层和ReLU激活函数。然后通过跨层数据通路，跳过这2个卷积运算，将输入直接加在最后的ReLU激活函数前。 这样的设计要求2个卷积层的输出与输入形状一样，从而使它们可以相加。 如果想改变通道数，就需要引入一个额外的1×1卷积层来将输入变换成需要的形状后再做相加运算。
在一个实施例中，获取摄像头拍摄的视频，将视频处理为连续的图像帧后，还包括：
根据差分法对图像帧进行解析；
根据解析结果判断图像帧中是否有工人存在；
若有工人存在，则标记为目标图像帧；
若无工人存在，则标记为非目标图像帧。
具体实施时，由于将摄像头拍摄视频的所有图像输入目标检测模型，计算复杂度较大，增加服务器的负担。因此可通过差分法对图像帧进行解析，根据解析结果判断是否有工人存在，若有工人，标记为目标图像帧，若无工人存在，则标记为非目标图像帧。
根据差分法对图像帧进行解析具体为：采用时域差分和背景减除相结合，提取视频图像中的目标；根据所检测的目标团块特征和团块外轮廓时间周期特征完成人体目标与其他目标的分类。
利用混合高斯模型对图像中每个像素在较长时间内的大量样本值进行统计估计，并假定像素间颜色信息互不相关，且对各像素点的处理相互独立；对于在序列图像中同一位置像素点值的变化作为随机过程，并用高斯分布描述每个像素点值的呈现规律；对三帧差分法与混合高斯模型检测法检测得到的二值模板图像分别做形态学两次膨胀操作，一次腐蚀，使检测的目标整体完整；做基于大小的滤波处理，去除噪声；以三帧差分法检测到目标的外接矩形为操作区域，与混合高斯模型检测的二值模板图像做逻辑操作，获得最终的检测结果。
基于团块几何特征进行初级分类；基于目标外轮廓周期变化进行二级分类，包括：提取目标图像的剪影；对剪影分别在水平X方向和垂直方向Y方向做积分，分别得到X和Y方向上的投影直方图；对投影直方图做标准化处理；对最近N帧图像中同一目标标准化的直方图做相关，对相关系数做周期性分析，判断是否为人体目标。
在一些其他的实施例中，还可通过人体骷髅关键点特征识别，判断是否有工人存在。具体地，通过姿态识别框架对图像帧进行骨骼关键点检测，骨骼关键点包括但不限于口鼻、左眼、右眼、左耳、右耳、左肩、右肩、左肘、右肘、左掌、右掌、左胯、右胯、左膝、右膝、左脚和右脚。若检测到骨骼关键点。则判定存在工人，若未检测到骨骼关键点，则判定不存在工人。
在一个实施例中，将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，包括：
将所述目标图像帧输入目标行为检测模型，获取目标行为检测模型输出结果，所述输出结果为目标图像帧是倒地行为图像帧或非倒地行为图像帧。
具体实施时，在通过人体检测算法识别出目标图像帧后，将目标图像帧输入目标行为检测模型，目标行为检测模型只用于判别目标图像帧是否存在倒地行为，本发明实施例通过将目标图像帧输入目标行为检测模型，减小模型的计算复杂度，提升运算速度。目标行为检测模型为目标图像帧是倒地行为图像帧或非倒地行为图像帧。
在一个实施例中，若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端，包括：
根据输出结果判断所述图像帧是否为倒地行为图像帧；
若所述图像帧为倒地图像帧，则判断在第一预定时间内倒地行为图像帧数是否超过预设的第一阈值；
若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置；将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
具体实施时，获取目标行为模型的输出结果。根据输出结果获取图像帧的类型；若图像帧为倒地行为图像帧，则判断预定时间内倒地行为图像帧数是否超过预设的第一阈值；
若预定时间内倒地行为图像帧数超过预设的第一阈值，判定发生了倒地事件，获取倒地行为图像帧的来源，根据图像帧的来源对摄像头进行定位。摄像头的位置预先在系统里进行存储。每个图像帧中会在图像中标识摄像头名称。
将摄像头位置及倒地行为图像帧发送至管理人员终端，方便管理人员快速定位工地人员的倒地位置，从而尽快采取救治措施，减少人员伤亡，提升工地安全性。其中预定时间可由用户自行设置，例如预定时间的取值范围可设置有15-45s，优选地，预定时间可选择30s。第一阈值根据需要进行设置。优选的，第一阈值与预定时间内的所有图像帧的总帧数相关。进一步地，第一阈值为预定时间内的所有图像帧的总帧数的80%。
进一步地实施例中，若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端后，还包括：
若在第二预定时间内倒地行为图像帧数超过预设的第二阈值，则触发报警模块进行报警。
具体实施时，报警模块为声光报警模块，可通过声音或灯光闪烁实现报警。第二预定时间长于第一预定时间。第二阈值大于第一阈值。第二预定时间设置范围为1-5min，第二阈值可设置预定时间内的所有图像帧的总帧数的90%。通过报警模块报警从而提醒距离倒地事件最近的人员实施救助，进一步的提高救助时效。
需要说明的是，上述各步骤之间并不必然存在一定的先后顺序，本领域普通技术人员，根据本发明实施例的描述可以理解，不同实施例中，上述各步骤可以有不同的执行顺序，亦即，可以并行执行，亦可以交换执行等等。
本发明另一实施例提供一种基于深度学习的工地安全行为监测装置，如图3所示，装置1包括：
数据采集模块11，用于获取工地人员的倒地图片作为初始样本集；
样本扩充模块12，用于通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
网络训练模块13，用于基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
图像处理模块14，用于获取摄像头拍摄的视频，将视频处理为连续的图像帧；
检测模块15，用于将所述连续的图像帧依次输入目标行为检测模型，获取目标行为检测模型的输出结果；
数据发送模块16，用于若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
具体实施方式见方法实施例，此处不再赘述。
本发明另一实施例提供一种电子设备，如图4所示，电子设备10包括：
一个或多个处理器110以及存储器120，图4中以一个处理器110为例进行介绍，处理器110和存储器120可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器110用于完成电子设备10的各种控件逻辑，其可以为通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、单片机、ARM（Acorn RISCMachine）或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件控件或者这些部件的任何组合。还有，处理器110还可以是任何传统处理器、微处理器或状态机。处理器110也可以被实现为计算设备的组合，例如，DSP 和微处理器的组合、多个微处理器、一个或多个微处理器结合DSP 核、或任何其它这种配置。
存储器120作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本发明实施例中的基于深度学习的工地安全行为监测方法对应的程序指令。处理器110通过运行存储在存储器120中的非易失性软件程序、指令以及单元，从而执行设备10的各种功能应用以及数据处理，即实现上述方法实施例中的基于深度学习的工地安全行为监测方法。
存储器120可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储根据设备10使用所创建的数据等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器120可选包括相对于处理器110远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个单元存储在存储器120中，当被一个或者多个处理器110执行时，执行上述任意方法实施例中的基于深度学习的工地安全行为监测方法，例如，执行以上描述的图1中的方法步骤S100至步骤S600。
本发明实施例提供了一种非易失性计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，执行以上描述的图1中的方法步骤S100至步骤S600。
作为示例，非易失性存储介质能够包括只读存储器(ROM)、可编程ROM (PROM)、电可编程ROM (EPROM)、电可擦ROM (EEPROM)或闪速存储器。易失性存储器能够包括作为外部高速缓存存储器的随机存取存储器 (RAM)。通过说明并非限制，RAM可以以诸如同步 RAM(SRAM)、 动态 RAM、(DRAM)、同步DRAM (SDRAM)、双数据速率SDRAM (DDR SDRAM)、增强型SDRAM(ESDRAM)、Synchlink DRAM (SLDRAM) 以及直接Rambus (兰巴斯) RAM (DRRAM) 之类的许多形式得到。本文中所描述的操作环境的所公开的存储器控件或存储器旨在包括这些和/或任何其他适合类型的存储器中的一个或多个。
本发明的另一种实施例提供了一种计算机程序产品，计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被处理器执行时，使处理器执行上述方法实施例的基于深度学习的工地安全行为监测方法。例如，执行以上描述的图1中的方法步骤S100至步骤S600。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域的技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件实现。基于这样的理解，上述技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存在于计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置（可以是个人计算机，服务器，或者网络装置等）执行各个实施例或者实施例的某些部分的方法。
除了其他之外，诸如"能够'、"能"、"可能"或"可以"之类的条件语言除非另外具体地陈述或者在如所使用的上下文内以其他方式理解，否则一般地旨在传达特定实施方式能包括(然而其他实施方式不包括)特定特征、元件和/或操作。因此，这样的条件语言一般地还旨在暗示特征、元件和/或操作对于一个或多个实施方式无论如何都是需要的或者一个或多个实施方式必须包括用于在有或没有输入或提示的情况下判定这些特征、元件和/或操作是否被包括或者将在任何特定实施方式中被执行的逻辑。
已经在本文中在本说明书和附图中描述的内容包括能够提供基于深度学习的工地安全行为监测方法及装置的示例。当然，不能够出于描述本公开的各种特征的目的来描述元件和/或方法的每个可以想象的组合，但是可以认识到，所公开的特征的许多另外的组合和置换是可能的。因此，显而易见的是，在不脱离本公开的范围或精神的情况下能够对本公开做出各种修改。此外，或在替代方案中，本公开的其他实施例从对本说明书和附图的考虑以及如本文中所呈现的本公开的实践中可能是显而易见的。意图是，本说明书和附图中所提出的示例在所有方面被认为是说明性的而非限制性的。尽管在本文中采用了特定术语，但是它们在通用和描述性意义上被使用并且不用于限制的目的。
Claims (10)
1.一种基于深度学习的工地安全行为监测方法,其特征在于,所述方法包括：
获取工地人员的倒地图片作为初始样本集；
通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
获取摄像头拍摄的视频，将视频处理为连续的图像帧；
将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，所述目标行为检测模型用于判断图像帧是否为倒地行为图像帧；
若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
2.根据权利要求1所述的方法，其特征在于，所述通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集，包括：
预先构建初始生成对抗网络的生成器和判别器；
基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，训练时采用的目标函数为：
其中G为生成器，D为判别器，
表示x属于生成器的概率，
表示x取自真正的
分布，
表示z取自模拟的分布；
获取训练完成后的生成对抗网络的输出，输出为任意角度倒地图片，生成目标样本集，完成初始样本集扩充。
3.根据权利要求2所述的方法，其特征在于，所述基于倒地图片对初始生成对抗网络的生成器和判别器进行训练，包括：
将生成对抗网络的网络及训练参数进行初始化；
获取初始样本集中的真实数据损失函数和虚数数据损失函数，基于初始样本集中的真实数据损失函数和虚数数据损失函数对判别器进行训练；
检测到所述判别器训练完成，对生成器进行训练。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型，包括：
将所述目标样本集输入预先构建的倒地行为检测模型，对倒地行为检测模型进行训练，生成目标行为检测模型，其中，所述预先构建的倒地行为检测模型为二分类网络。
5.根据权利要求4所述的方法，其特征在于，所述获取摄像头拍摄的视频，将视频处理为连续的图像帧后，还包括：
根据差分法对图像帧进行解析；
根据解析结果判断图像帧中是否有工人存在；
若有工人存在，则标记为目标图像帧；
若无工人存在，则标记为非目标图像帧。
6.根据权利要求5所述的方法，其特征在于，将所述图像帧输入目标行为检测模型，获取目标行为检测模型的输出结果，包括：
将所述目标图像帧输入目标行为检测模型，获取目标行为检测模型输出结果，所述输出结果为目标图像帧是倒地行为图像帧或非倒地行为图像帧。
7.根据权利要求6所述的方法，其特征在于，若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端后，包括：
根据输出结果判断所述图像帧是否为倒地行为图像帧；
若所述图像帧为倒地图像帧，则判断在第一预定时间内倒地行为图像帧数是否超过预设的第一阈值；
若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置；将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
8.一种基于深度学习的工地安全行为监测装置，其特征在于，所述装置包括：
数据采集模块，用于获取工地人员的倒地图片作为初始样本集；
样本扩充模块，用于通过生成对抗网络对倒地图片生成任意角度倒地图片，对初始样本集进行扩充，生成目标样本集；所述生成对抗网络包括生成器和判别器；
网络训练模块，用于基于所述目标样本集对倒地行为检测模型进行训练，生成目标行为检测模型；
图像处理模块，用于获取摄像头拍摄的视频，将视频处理为连续的图像帧；
检测模块，用于将所述连续的图像帧依次输入目标行为检测模型，获取目标行为检测模型的输出结果；
数据发送模块，用于若在第一预定时间内倒地行为图像帧数超过预设的第一阈值，则判定发生倒地事件，对倒地行为图像帧对应的摄像头进行定位，生成倒地行为图像帧对应的摄像头位置，将所述倒地行为图像帧及摄像头位置发送至管理人员终端。
9.一种电子设备，其特征在于，所述电子设备包括至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7任一项所述的基于深度学习的工地安全行为监测方法。
10.一种非易失性计算机可读存储介质，其特征在于，所述非易失性计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行时，可使得所述一个或多个处理器执行权利要求1-7任一项所述的基于深度学习的工地安全行为监测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210904261.0A CN114973335A (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习的工地安全行为监测方法、装置及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210904261.0A CN114973335A (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习的工地安全行为监测方法、装置及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114973335A true CN114973335A (zh) | 2022-08-30 |
Family
ID=82970140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210904261.0A Pending CN114973335A (zh) | 2022-07-29 | 2022-07-29 | 基于深度学习的工地安全行为监测方法、装置及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114973335A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
| CN112287816A (zh) * | 2020-10-28 | 2021-01-29 | 西安交通大学 | 一种基于深度学习的危险工作区事故自动检测报警方法 |
| CN112733792A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 一种基于监控视频的倒地行为检测方法 |
| CN112802016A (zh) * | 2021-03-29 | 2021-05-14 | 深圳大学 | 基于深度学习的实时布匹缺陷检测方法及系统 |
| CN113887446A (zh) * | 2021-10-08 | 2022-01-04 | 黑龙江雨谷科技有限公司 | 一种基于神经网络的音视频联合行人意外跌倒监控方法 |
-
2022
- 2022-07-29 CN CN202210904261.0A patent/CN114973335A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106210634A (zh) * | 2016-07-18 | 2016-12-07 | 四川君逸数码科技股份有限公司 | 一种智慧金睛识别人员倒地报警方法和装置 |
| CN112287816A (zh) * | 2020-10-28 | 2021-01-29 | 西安交通大学 | 一种基于深度学习的危险工作区事故自动检测报警方法 |
| CN112733792A (zh) * | 2021-01-21 | 2021-04-30 | 高新兴科技集团股份有限公司 | 一种基于监控视频的倒地行为检测方法 |
| CN112802016A (zh) * | 2021-03-29 | 2021-05-14 | 深圳大学 | 基于深度学习的实时布匹缺陷检测方法及系统 |
| CN113887446A (zh) * | 2021-10-08 | 2022-01-04 | 黑龙江雨谷科技有限公司 | 一种基于神经网络的音视频联合行人意外跌倒监控方法 |
Non-Patent Citations (1)
| Title |
|---|
| 言有三: "《深度学习之人脸图像处理 核心算法与案例实战》", 31 July 2020 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108875732B (zh) | 模型训练与实例分割方法、装置和系统及存储介质 | |
| CN111191599B (zh) | 姿态识别方法、装置、设备及存储介质 | |
| US10262190B2 (en) | Method, system, and computer program product for recognizing face | |
| CN110490076A (zh) | 活体检测方法、装置、计算机设备和存储介质 | |
| CN109190470B (zh) | 行人重识别方法及装置 | |
| CN105426827A (zh) | 活体验证方法、装置和系统 | |
| JP7292492B2 (ja) | オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム | |
| CN111178249A (zh) | 人脸比对的方法、装置、计算机设备及存储介质 | |
| CN110633004B (zh) | 基于人体姿态估计的交互方法、装置和系统 | |
| CN109766755A (zh) | 人脸识别方法及相关产品 | |
| CN109815813A (zh) | 图像处理方法及相关产品 | |
| WO2022178833A1 (zh) | 目标检测网络的训练方法、目标检测方法及装置 | |
| KR20190061538A (ko) | 멀티 인식모델의 결합에 의한 행동패턴 인식방법 및 장치 | |
| CN115565146A (zh) | 基于自编码器获取鸟瞰图特征的感知模型训练方法及系统 | |
| CN115471863A (zh) | 三维姿态的获取方法、模型训练方法和相关设备 | |
| CN114120436A (zh) | 动作识别模型的训练方法、动作识别方法及相关装置 | |
| Maddileti et al. | Pseudo Trained YOLO R_CNN Model for Weapon Detection with a Real-Time Kaggle Dataset | |
| CN114973335A (zh) | 基于深度学习的工地安全行为监测方法、装置及电子设备 | |
| CN114627534B (zh) | 活体判别方法及电子设备、存储介质 | |
| CN112487903B (zh) | 基于对抗网络的步态数据生成方法及设备 | |
| CN115240141A (zh) | 城轨车站乘客异常行为辨识方法及系统 | |
| CN113553928A (zh) | 一种人脸活体检测方法、系统和计算机设备 | |
| CN113724176A (zh) | 一种多摄像头动作捕捉无缝衔接方法、装置、终端及介质 | |
| CN112818929A (zh) | 一种人员斗殴检测方法、装置、电子设备及存储介质 | |
| CN113573009A (zh) | 视频处理方法、装置、计算机设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220830 |
|
| RJ01 | Rejection of invention patent application after publication |