CN112435240A - 一种面向工人违规使用手机的深度视觉手机检测系统 - Google Patents

一种面向工人违规使用手机的深度视觉手机检测系统 Download PDF

Info

Publication number
CN112435240A
CN112435240A CN202011338027.3A CN202011338027A CN112435240A CN 112435240 A CN112435240 A CN 112435240A CN 202011338027 A CN202011338027 A CN 202011338027A CN 112435240 A CN112435240 A CN 112435240A
Authority
CN
China
Prior art keywords
network
detection
mobile phone
network camera
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011338027.3A
Other languages
English (en)
Other versions
CN112435240B (zh
Inventor
仝淑贞
田青
张华�
魏煊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Jicui Future City Application Technology Research Institute Co Ltd
Original Assignee
Jiangsu Jicui Future City Application Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Jicui Future City Application Technology Research Institute Co Ltd filed Critical Jiangsu Jicui Future City Application Technology Research Institute Co Ltd
Priority to CN202011338027.3A priority Critical patent/CN112435240B/zh
Publication of CN112435240A publication Critical patent/CN112435240A/zh
Application granted granted Critical
Publication of CN112435240B publication Critical patent/CN112435240B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种面向工人违规使用手机的深度视觉手机检测系统，包括网络摄像头、AI网络摄像头、算法服务器、集中集中管控服务器以及工地监控客户端；网络摄像头和AI网络摄像头都部署在工地现场；网络摄像头所拍摄的图片传入算法服务器进行检测，并将检测结果传入集中管控服务器；AI网络摄像头直接将拍摄的图片在本地处理，再传入集中管控服务器；在监控客户端上得到来自网络摄像头是实时检测结果以及来AI网络摄像头的自违规的记录情况。本技术方案的提出的检测系统，采用针对打手机的智能识别算法，节约监督人员人力成本，提高监督效率，覆盖更广的监督范围，更能精确的监控到工地工人作业时使用手机行为，加强安全管控。

Description

一种面向工人违规使用手机的深度视觉手机检测系统
技术领域
本发明涉及一种基于图像处理的人体行为检测系统，主要基于人工智能技术领域中的深度学习技术的应用。
背景技术
随着手机使用的普及，工地工人进行作业时使用手机，会增加安全事故发生的可能性。而依靠人员监督难以起到实时的监督作用，如果采用事后监控视频进行检查，也需要大量的人力和时间成本，而且对预防安全事故来说，其效果远不如即时发现、即时处理。
发明内容
如果把图像识别技术应用于施工现场的手机异常使用监督，则可大大降低人力成本以及提高监督效果。本方案提出一种面向工人违规使用手机的深度视觉手机检测系统，包括网络摄像头、AI网络摄像头、算法服务器、集中集中管控服务器以及工地监控客户端；
网络摄像头和AI网络摄像头都部署在工地现场；网络摄像头所拍摄的图片传入算法服务器进行检测，并将检测结果传入集中管控服务器；AI网络摄像头直接将拍摄的图片在本地处理，再传入集中管控服务器；
在监控客户端上得到来自网络摄像头是实时检测结果以及来AI网络摄像头的自违规的记录情况；
所述算法服务器的检测步骤包括：
1)获取摄像机视频信流，并截取单帧图片；
2)对图片进行HSV增强；
3)使用coco数据集训练YOLOv5网络；
设置参数：
为了在精度允许范围内降低网络的运算量，将网络的深度和宽度乘对应参数进行缩小，网络深度参数为0.67，网络宽度参数为0.75。并在0.1-10-8间搜索精度和召回率最佳的学习率，最终选取最佳学习率learning_rate为0.01；
设yolov5的损失函数为：
L＝Lconf+Lcla+Lloc
其中，Lconf为目标置信度损失，Lcla为目标类别损失，Lloc为目标定位损失；
4)用步骤3)训练得到的YOLOv5神经网络用来检测人体：对输入的待测图像进行检测，得到人体的检测框；
5)用检测框对输入图像进行裁剪，得到图像中的人体部分；
6)构建Pose-estimation网络；
将待输入网络的RGB图像进行预处理为368×368×3的图像；把处理后的图形输入Pose-estimation网络；将图像分为8×8像素的格子，每个格子计算人体的上半身9个部件的响应，并输出最大响应部件作为该位置的人体部件；
7)使用MPII Human Pose数据集训练Pose-estimation网络，损失函数为：
Figure BDA0002797823710000011
其中，T代表网络的阶段，P代表图中的人，J代表检测格子，
Figure BDA0002797823710000021
代表第t个网络阶段的第p个人在第j个检测格子的预测值，
Figure BDA0002797823710000022
代表第t个网络阶段的第p个人在第j个检测格子的真实值；
8)将YOLOv5神经网络检测出的人体输入Pose-estimation网络，输出人体的手部ROI；
9)将手部ROI输入到ResNet-50分类网络，预测手部区域中是否含有手机，最终得到结果。
所述步骤2)中，为了增强图像对比度，对图像的HSV通道进行增强，其中H通道增强参数为0.014，S通道增强参数为0.68，V通道增强参数为0.36。
所述步骤6)中，将待输入网络的RGB图像进行预处理为368×368×3图像的方法为：先将图片以最长边与368的比值进行缩放，然后在短边方向补0像素。
步骤6)中：368×368×3的输入图片经过卷积被分割成46×46个格子，每个格子预测10个分数，其中9个分数对应人体上半身9个部件的响应分数，最后一个分数对应背景的响应分数，则网络输出为46×46×10；将该处理扩充为4个阶段，第2阶段直接对输入图片做卷积，输出46×46×10的结果，并将该结果与第1阶段的输出并接，再经过卷积模块输出第2阶段的46×46×10的结果；从第3阶段开始，直接用上一阶段的并接作为输入，经过卷积后与上一阶段的输出结果并接，再经过卷积模块输出该阶段的结果；最终选取4个阶段的网络结构生成Pose-estimation网络。
本技术方案的提出的检测系统，采用针对打手机的智能识别算法，节约监督人员人力成本，提高监督效率，覆盖更广的监督范围，更能精确的监控到工地工人作业时使用手机行为，加强安全管控。
本检测系统的手机使用检测方法是基于人工智能技术领域中的深度学习技术，结合大数据，使用大量的人员打手机图片数据采用监督学习的方式进行智能识别训练。本检测方法采用深度卷积神经网络提取数据中关键特征，忽略图片数据中的不相关信息，并结合业务逻辑进行推理判断。将训练完成后的算法加载到网络摄像头的控制端(算法服务器)，对摄像机拍摄到的视频画面进行实时分析，按照场景规定要求对画面中是否有工地工人在禁止使用手机场景下使用手机的违章行为进行准确判断。这种网络摄像头可部署到多累不同场景，为高压室、动力机房等工业领域中禁止使用手机的环境提供安全保障。
本方法把图像识别技术应用于施工现场的手机异常使用监督，可大大降低人力成本以及提高监督效果。同时，采用AI网络摄像头直接将拍摄的图片传给集中管控服务器，用于确认违规时间节点的检测结果。
附图说明
图1是检测系统的架构图；
图2是本方法的流程图；
图3是本方法的网络结构示意图；
图4是pose-estimation网络结构示意图。
具体实施方式
下面结合附图与具体实施方式对本技术方案进一步说明：
针对现有的技术问题，本发明的目的在于实现工地上对于工人在施工时间违规使用手机的检测，本发明的如图1所示，本检测系统在工地上部署网络摄像头和AI网络摄像头，网络摄像头所拍摄的图片传入算法服务器进行检测，并将检测结果传入集中管控服务器，而AI网络摄像头直接将拍摄的图片在本地处理，再传入集中管控服务器。在监控客户端上可以得到实时的检测结果和违规的记录情况。
参考图2和3，本例系统所使用的检测方法，步骤包括：
1、通过opencv读取视频流，截取单帧图片。
2、对图像进行HSV增强，其中H通道增强参数为0.014，S通道增强参数为0.68，V通道增强参数为0.36。
3、使用coco数据集训练yolov5网络，设置参数：网络深度参数为0.67，网络宽度参数为0.75，学习率learning_rate为0.01，随机梯度下降动量参数momentum为0.937，权重衰减为0.0005。设置yolov5的损失函数公式为：
L＝Lconf+Lcla+Lloc
其中，Lconf为目标置信度损失，Lcla为目标类别损失，Lloc为目标定位损失。
4、设置训练好的yolov5神经网络检测人体，对输入图像进行检测，得到人体的检测框。
5、用检测框对输入图像进行裁剪，得到图像中的人体部分。
6、构建pose-estimation网络，将待输入网络的RGB图像进行预处理，处理为368×368×3的图像，先将图片以最长边与368的比值进行缩放，然后在短边方向补0像素，采取这种缩放方式不会改变图像的原比例。网络输入为368×368×3的RGB图像，将图像分为8×8像素的格子，每个格子计算人体的上半身9部件的响应，并输出最大响应部件作为该位置的人体部件。
7、使用MPII Human Pose数据集训练pose-estimation网络，损失函数为：
Figure BDA0002797823710000031
其中，T代表网络的阶段，P代表图中的人，J代表检测格子，b代表预测值，b*代表真实值。
8、将yolo检测出的人体输入pose-estimation网络，输出人体的手部ROI(regionof interest)感兴趣区域。
9、将手部ROI输入到ResNet-50分类网络预测手部区域中是否含有手机。
对于pose-estimation网络，参考图4：368×368×3的输入图片经过卷积被分割成46×46个格子，每个格子预测10个分数，其中9个对应人体上半身9个部件的响应分数，另一个对应背景的响应分数，因此网络输出为46×46×10。为提升网络的精度，将上述处理扩充为4个阶段，阶段2直接对输入图片做卷积，输出46×46×10的结果，并将该结果与阶段1的输出并接，再经过卷积模块输出阶段2的46×46×10的结果。从阶段3开始，直接用上一阶段的并接作为输入，经过卷积后与上一阶段的输出结果并接，再经过卷积模块输出该阶段的结果。最终选取4个阶段的网络结构生成Pose-estimation网络。
该检测方法主要包括基于yolov5和pose-estimation建立深度学习算法，设计网络框架。通过yolov5检测出摄像头拍摄照片中的工人，并以检测框为ROI，对框内的工人进行pose-estimation，得到工人的人体姿态。结合其姿态设定阈值，定位到工人的手部ROI，将其手部ROI区域输入残差神经网络可判断是否含有手机。
本技术方案的技术要点主要是使用yolov5定位工人，设计了pose-estimation网络定位工人的手部ROI，再对手部ROI进行是否含有手机的神经网络识别。
传统的手机检测方式通过目标检测算法直接定位手机，而工人拿手机时由于姿势不定，因此通过传统的手机检测方法检测工人的手机精度和鲁棒性较差，而本方法相对于普通的手机检测算法具有更高的精度和更强的鲁棒性。

Claims (5)

1.一种面向工人违规使用手机的深度视觉手机检测系统，其特征是包括网络摄像头、AI网络摄像头、算法服务器、集中集中管控服务器以及工地监控客户端；
网络摄像头和AI网络摄像头都部署在工地现场；网络摄像头所拍摄的图片传入算法服务器进行检测，并将检测结果传入集中管控服务器；AI网络摄像头直接将拍摄的图片传入集中管控服务器；
在监控客户端上得到来自网络摄像头是实时检测结果以及来AI网络摄像头的自违规的记录情况；
所述算法服务器的检测步骤包括：
1)获取摄像机视频信流，并截取单帧图片；
2)对图片进行HSV增强；
3)使用coco数据集训练YOLOv5网络；
设置参数：
设yolov5的损失函数为：
L＝Lconf+Lcla+Lloc
其中，Lconf为目标置信度损失，Lcla为目标类别损失，Lloc为目标定位损失；
4)用步骤3)训练得到的YOLOv5神经网络用来检测人体：对输入的待测图像进行检测，得到人体的检测框；
5)用检测框对输入图像进行裁剪，得到图像中的人体部分；
6)构建Pose-estimation网络；
将待输入网络的RGB图像进行预处理为368×368×3的图像；把处理后的图形输入Pose-estimation网络；将图像分为8×8像素的格子，每个格子计算人体的上半身9个部件的响应，并输出最大响应部件作为该位置的人体部件；
7)使用MPII Human Pose数据集训练Pose-estimation网络，损失函数为：
Figure FDA0002797823700000011
其中，T代表网络的阶段，P代表图中的人，J代表检测格子，
Figure FDA0002797823700000012
代表第t个网络阶段的第p个人在第j个检测格子的预测值，
Figure FDA0002797823700000013
代表第t个网络阶段的第p个人在第j个检测格子的真实值；
8)将YOLOv5神经网络检测出的人体输入Pose-estimation网络，输出人体的手部ROI；
9)将手部ROI输入到ResNet-50分类网络，预测手部区域中是否含有手机，最终得到结果。
2.根据权利要求1所述的面向工人违规使用手机的深度视觉手机检测系统，其特征是所述步骤2)中，为了增强图像对比度，对图像的HSV通道进行增强，其中H通道增强参数为0.014，S通道增强参数为0.68，V通道增强参数为0.36。
3.根据权利要求1所述的面向工人违规使用手机的深度视觉手机检测系统，其特征是所述步骤3)中，网络深度参数为0.67，网络宽度参数为0.75，学习率learning_rate为0.01。
4.根据权利要求1所述的面向工人违规使用手机的深度视觉手机检测系统，其特征是所述步骤6)中，将待输入网络的RGB图像进行预处理为368×368×3图像的方法为：先将图片以最长边与368的比值进行缩放，然后在短边方向补0像素。
5.根据权利要求1所述的面向工人违规使用手机的深度视觉手机检测系统，其特征是所述步骤6)中，368×368×3的输入图片经过卷积被分割成46×46个格子，每个格子预测10个分数，其中9个分数对应人体上半身9个部件的响应分数，最后一个分数对应背景的响应分数，则网络输出为46×46×10；将该处理扩充为4个阶段，第2阶段直接对输入图片做卷积，输出46×46×10的结果，并将该结果与第1阶段的输出并接，再经过卷积模块输出第2阶段的46×46×10的结果；
从第3阶段开始，直接用上一阶段的并接作为输入，经过卷积后与上一阶段的输出结果并接，再经过卷积模块输出该阶段的结果；
最终选取4个阶段的网络结构生成Pose-estimation网络。
CN202011338027.3A 2020-11-25 2020-11-25 一种面向工人违规使用手机的深度视觉手机检测系统 Expired - Fee Related CN112435240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011338027.3A CN112435240B (zh) 2020-11-25 2020-11-25 一种面向工人违规使用手机的深度视觉手机检测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011338027.3A CN112435240B (zh) 2020-11-25 2020-11-25 一种面向工人违规使用手机的深度视觉手机检测系统

Publications (2)

Publication Number Publication Date
CN112435240A true CN112435240A (zh) 2021-03-02
CN112435240B CN112435240B (zh) 2022-05-24

Family

ID=74698844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011338027.3A Expired - Fee Related CN112435240B (zh) 2020-11-25 2020-11-25 一种面向工人违规使用手机的深度视觉手机检测系统

Country Status (1)

Country Link
CN (1) CN112435240B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019391A (zh) * 2022-05-27 2022-09-06 南京农业大学 基于YOLOv5和C3D的仔猪吃奶行为检测系统
US20230126373A1 (en) * 2021-10-21 2023-04-27 Dong-Eui University Industry-Academic Cooperation Foundation System and method for improving hardware usage in control server using artificial intelligence image processing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111898418A (zh) * 2020-06-17 2020-11-06 北京航空航天大学 一种基于t-tiny-yolo网络的人体异常行为检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111339883A (zh) * 2020-02-19 2020-06-26 国网浙江省电力有限公司 复杂场景下基于人工智能的变电站内异常行为识别与检测方法
CN111898418A (zh) * 2020-06-17 2020-11-06 北京航空航天大学 一种基于t-tiny-yolo网络的人体异常行为检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
仝淑贞等: "基于FCM和组合神经网络的车牌汉字字符识别方法", 《交通信息与安全》 *
吴凌尧等: "一类含中立项的非线性系统的复合抗干扰控制方法", 《中国科技论文在线》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230126373A1 (en) * 2021-10-21 2023-04-27 Dong-Eui University Industry-Academic Cooperation Foundation System and method for improving hardware usage in control server using artificial intelligence image processing
CN115019391A (zh) * 2022-05-27 2022-09-06 南京农业大学 基于YOLOv5和C3D的仔猪吃奶行为检测系统

Also Published As

Publication number Publication date
CN112435240B (zh) 2022-05-24

Similar Documents

Publication Publication Date Title
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN109657592B (zh) 一种智能挖掘机的人脸识别方法
CN109255286B (zh) 基于深度学习网络框架的无人机光学快速检测识别方法
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN112560745B (zh) 一种电力作业现场人员甄别方法及相关装置
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统
CN109657580B (zh) 一种城市轨道交通闸机通行控制方法
CN111582073A (zh) 一种基于ResNet101特征金字塔的变电站违规行为识别方法
CN112613359B (zh) 用于人员异常行为检测的神经网络的构建方法
CN117671887B (zh) 一种基于大数据的智慧安防预警管理方法和系统
CN112580778A (zh) 基于YOLOv5和Pose-estimation的工地工人手机使用检测方法
Kim et al. Sequential pattern learning of visual features and operation cycles for vision-based action recognition of earthmoving excavators
CN118351487A (zh) 基于ai的员工违章行为辨识方法
CN114997279A (zh) 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法
CN114359578A (zh) 病虫害识别智能终端应用方法及系统
CN117253120A (zh) 火灾的识别方法、装置及存储介质
CN112560627A (zh) 基于神经网的工地人员异常行为实时检测方法
CN115171006B (zh) 基于深度学习的自动识别人员进入电力危险区的检测方法
CN115909400A (zh) 一种用于低分辨率监控场景中使用手机行为的识别方法
CN111881863B (zh) 一种区域群体异常行为检测方法
CN114155487A (zh) 一种基于多组卷积融合的电力作业人员检测方法
CN113052027A (zh) 基于骨骼点检测的人体状态判断方法
CN113762096A (zh) 健康码识别方法、装置、存储介质及电子设备
CN112861711A (zh) 区域入侵检测方法、装置、电子设备及存储介质
CN110674764A (zh) 一种工地裸露土方的检测方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220524