CN115457331A - 一种施工场所的智能巡检方法及系统 - Google Patents
一种施工场所的智能巡检方法及系统 Download PDFInfo
- Publication number
- CN115457331A CN115457331A CN202211183937.8A CN202211183937A CN115457331A CN 115457331 A CN115457331 A CN 115457331A CN 202211183937 A CN202211183937 A CN 202211183937A CN 115457331 A CN115457331 A CN 115457331A
- Authority
- CN
- China
- Prior art keywords
- module
- detection
- violation
- detection result
- construction site
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Emergency Management (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Business, Economics & Management (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Alarm Systems (AREA)
Abstract
本发明公开了一种施工场所的智能巡检方法及系统,系统包括:图像采集装置和服务器,服务器包括违规行为检测模块、检测结果优化模块和控制模块;图像采集装置,用于对施工场所的实时视频和图像进行采集,并将实时视频上传至控制模块,将图像上传至违规行为检测模块;违规行为检测模块,用于对图像采集装置返回的图像进行违规行为检测,生成初始检测结果;检测结果优化模块,用于获取初始检测结果,对检测结果进行优化,生成目标检测结果;控制模块,用于目标检测结果中的违规行为进行统计及告警,对违规行为以及图像采集装置采集的实时视频进行展示。本发明能够实时对人员违规行为以及危险情况进行巡检,保障施工人员的人身安全和项目进度。
Description
技术领域
本发明涉及数据处理技术领域,尤其涉及一种施工场所的智能巡检方法及系统。
背景技术
项目施工场所中,施工人员未佩戴安全帽、未穿戴反光背心、抽烟等违规行为是非常大的安全隐患,严重威胁施工人员的人身安全并影响施工项目的进度,造成不必要的损失。目前大多数施工项目通常依靠固定的人员实时查看摄像头监控判定施工人员是否存在违规行为并作出警告,需要更多的人员,并且,在休息时发生的险情不能够及时进行处理。
因此现有技术还有待于进一步发展。
发明内容
针对上述技术问题,本发明实施例提供了一种施工场所的智能巡检方法及系统,能够解决现有技术中大多数施工项目通常依靠固定的人员实时查看摄像头监控判定施工人员是否存在违规行为并作出警告,需要更多的人员,并且,在休息时发生的险情不能够及时进行处理的技术问题。
本发明实施例的第一方面提供一种施工场所的智能巡检系统,系统包括图像采集装置和服务器,服务器包括违规行为检测模块、检测结果优化模块和控制模块;
所述图像采集装置,用于对施工场所的实时视频和图像进行采集,并将采集的实时视频上传至控制模块,将采集的图像上传至违规行为检测模块;
所述违规行为检测模块,用于对图像采集装置返回的图像进行违规行为检测,生成初始检测结果;
所述检测结果优化模块,用于获取初始检测结果,对检测结果进行优化,生成目标检测结果;
所述控制模块,用于目标检测结果中的违规行为进行统计及告警,对违规行为以及所述图像采集装置采集的实时视频进行展示。
可选地,所述图像采集装置包括:
视频采集模块,用于对施工场所的实时视频进行采集;
图像抓拍模块,用于每隔一预定时间,对施工场所的图像进行抓拍;
网络传输模块,用于通过https协议与违规行为检测模块进行通信;
第一数据传输模块,用于将采集的实时视频图像上传至控制模块;
第二数据传输模块,用于将抓拍的图像实时上传至违规行为检测模块。
可选地,所述违规行为检测模块具体用于:
预先获取违规行为样本,基于违规行为样本对预先构建的YOLOV5网络进行训练,生成目标检测模型;
将图像采集装置返回的图像输入目标检测模型,获取目标检测模型的输出,记为初始检测结果。
可选地,所述违规行为检测模块,包括:
人员检测模块,用于检测施工场所的人员出勤情况;
安全帽检测模块,用于检测施工场所的人员安全帽佩戴情况;
反光背心检测模块,用于检测施工场所的员反光背心穿戴情况;
吸烟检测模块,用于检测施工场所的人员的吸烟;
人员倒地检测模块,用于检测施工场所的人员倒地情况。
可选地,所述检测结果优化模块包括:
置信度优化模块,用于过设定合理的阈值将置信度去除低于该阈值的检测框;
目标框尺寸优化模块,用于根据不同的算法目标设定合理的尺寸大小,去除低于阈值尺寸大小的目标框;
背景优化模块,用于同时检测目标与目标相关联的物体,判定目标与目标关联的物体检测框是否存在一定的联系,若存在则保留检测结果,不存在则去除;
时间优化模块,用于在预定的时间间隔内,将同一区域中的施工人员的违规行为只进行一次告警;
多重算法优化模块,用于基于至少两种算法对同一违规行为的初始检测结果进行优化。
可选地,多重算法优化模块包括用于检测吸烟行为的双重算法优化模块和用于检测安全帽佩戴情况的二级分类算法模块,
所述双重算法优化模块,用于在吸烟检测模块中,将人体关键点检测结果与抽烟检测框进行嘴部关键点与香烟检测框的判定,若香烟检测框与嘴部关键的距离小于人头检测框宽度的1/5则判定为抽烟违规行为。
所述二级分类算法模块,用于首先对安全帽进行检测,通过安全帽检测框裁剪具体图像,利用分类模型对所裁剪的图像进行二次判断,若目标检测模型与分类模型均属于同一种类别,并且分类模型置信度大于0.9则判定为佩戴安全帽,否则为未佩戴安全帽的违规行为。
可选地,所述控制模块包括:
实时视频展示模块,用于实时接收图像采集装置传回的视频进行播放;
违规图像展示模块,用于检测结果优化模块输出的目标检测结果,若目标检测结果为违规行为,对违规行为对应的图像进行展示;
三维地图展示模块,用于在施工场所对应的三维地图上,展示对应图像采集装置点位的实时视频和/或违规图像;
数据统计模块,用于根据历史违规行为进行分析统计,得出总违规数量、变化曲线,违规位置,以及各种违规行为出现的几率。
可选地,图像采集装置为摄像机,所述控制模块还用于:
根据不同场景,启停相应的违规行为检测模块以及对摄像机进行操作,实现摄像机的焦距和角度的调整。
本发明实施例第二方面提供了一种施工场所的智能巡检系统的智能巡检方法,包括:
图像采集装置对施工场所的指定区域的实时视频和图像进行采集,将监控视频实时传输至控制模块,将图像上传至违规行为检测模块进行违规行为的检测;
违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果;
检测结果优化模块接收初始检测结果,根据不同的检测类型进行相应的优化策略,生成目标检测结果;
控制模块接收检测结果优化模块优化后的目标检测结果,对目标检测结果中的违规行为进行记录、统计、告警及展示。
可选地,所述施工场所包括门禁区域和工作区域,所述违规行为检测结果包括人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块和人员倒地检测模块,所述违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果,包括:
判断图像采集装置所在施工场所的位置;
若图像采集装置位于施工场所的门禁区域,将图像依次输入人员检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行吸烟违规行为以及倒地情况的检测,生成初始检测结果;
若图像采集装置位于施工场所的工作区域,将图像依次输入人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行未佩戴安全帽、未穿戴反光背心、吸烟的违规行为以及倒地行为的检测;生成初始检测结果。
本发明实施例提供的技术方案中,系统包括图像采集装置和服务器,服务器包括违规行为检测模块、检测结果优化模块和控制模块;图像采集装置,用于对施工场所的实时视频和图像进行采集,并将实时视频上传至控制模块,将图像上传至违规行为检测模块;违规行为检测模块,用于对图像采集装置返回的图像进行违规行为检测,生成初始检测结果;检测结果优化模块,用于获取初始检测结果,对检测结果进行优化,生成目标检测结果;控制模块,用于目标检测结果中的违规行为进行统计及告警,对违规行为以及图像采集装置采集的实时视频进行展示。本发明能够实时对人员违规行为以及危险情况进行巡检,保障施工人员的人身安全和项目进度。
附图说明
图1为本发明实施例中一种施工场所的智能巡检系统的功能模块示意图;
图2为本发明实施例中一种施工场所的智能巡检系统的智能巡检方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
以下结合附图对本发明实施例进行详细的描述。
请参阅图1,图1为本发明实施例中一种施工场所的智能巡检系统的功能模块示意图;系统包括图像采集装置10和服务器20,服务器20包括违规行为检测模块201、检测结果优化模块202和控制模块203;
所述图像采集装置,用于对施工场所的实时视频和图像进行采集,并将采集的实时视频上传至控制模块,将采集的图像上传至违规行为检测模块;
所述违规行为检测模块,用于对图像采集装置返回的图像进行违规行为检测,生成初始检测结果;
所述检测结果优化模块,用于获取初始检测结果,对检测结果进行优化,生成目标检测结果;
所述控制模块,用于目标检测结果中的违规行为进行统计及告警,对违规行为以及所述图像采集装置采集的实时视频进行展示。
具体实施时,摄像机群部署在项目施工场所中的门禁区域和工作区域,以违规行为检测模块为算法中心、检测结果优化模块为优化中心、控制模块为控制中心为例,将算法中心、优化中心以及控制中心部署在项目服务器中。由摄像机群返回实时视频和图像至算法中心和控制中心,算法中心检测施工人员违规行为,优化中心接收初始检测结果并进行优化处理提升检测效果,控制中心告警违规行为并进行违规数据的统计、分析和展示。本发明能够实时监测摄像头画面进行人员违规行为以及危险情况进行巡检,保障施工人员的人身安全和项目进度。
可选地,所述图像采集装置包括:
视频采集模块,用于对施工场所的实时视频进行采集;
图像抓拍模块,用于每隔一预定时间,对施工场所的图像进行抓拍;
网络传输模块,用于通过https协议与违规行为检测模块进行通信;
第一数据传输模块,用于将采集的实时视频图像上传至控制模块;
第二数据传输模块,用于将抓拍的图像实时上传至违规行为检测模块。
具体实施时,视频采集模块采用摄像机群,摄像机群通过不同摄像机的独立ID进行区分摄像机,
图像抓拍模块为,该模块为巡检抓拍,通过设置一定间隔,一般设置为5秒钟即可满足巡检需求,设置间隔过短可能导致违规行为重复告警,间隔过长则无法满足实际需求。
网络传输模块,用于通过https协议与违规行为检测模块进行通信;
第一数据传输模块,用于将采集的实时视频图像上传至控制模块;
第二数据传输模块,用于将抓拍的图像实时上传至违规行为检测模块。
可选地,所述违规行为检测模块具体用于:
预先获取违规行为样本,基于违规行为样本对预先构建的YOLOV5网络进行训练,生成目标检测模型;
将图像采集装置返回的图像输入目标检测模型,获取目标检测模型的输出,记为初始检测结果。
具体实施时,检测模块均基于YOLOV5进行开发,针对不同目标制定相对的数据增强策略以及优化方案。
其中,YOLOV5的网络结构为:包括主干网络与特征融合网络,主干网络为CSPDarkNet,特征融合网络为PANNet;其工作原理如下:主干网络通过对图像进行卷积等操作进行处理提取出四个不同深度的特征图,特征融合网络接收主干网络输出的四个特征图进行卷积、拼接等操作进行特征图的融合,最后输出判别依据;
YOLOV5的训练过程为:首先设置初始检测类别、图像大小、学习率、优化器等网络参数,接下来对输入的每一个批次的图片进行Mosaic数据增强,即随机缩放、随机裁剪、随机排布的方式进行拼接;最后进行自适应锚框的计算,针对不同的数据集,设置初始长宽的锚框。在网络训练中,网络在初始锚框的基础上输出预测框,进而和真实框进行比对,计算两者差距,再反向更新,迭代网络参数;
YOLOV5的预测过程为:将待检测图片缩放至与训练时设置的图像尺寸,将其输入至YOLOV5网络中得到初始预测框,将初始预测框进行非极大值抑制处理后,输出目标框;
各个算法模型均由大数据集(十万级别)进行训练测试,在通过测试后进行部署。
可选地,所述违规行为检测模块,包括:
人员检测模块,用于检测施工场所的人员出勤情况;
安全帽检测模块,用于检测施工场所的人员安全帽佩戴情况;
反光背心检测模块,用于检测施工场所的员反光背心穿戴情况;
吸烟检测模块,用于检测施工场所的人员的吸烟;
人员倒地检测模块,用于检测施工场所的人员倒地情况。
具体实施时,人员检测模块、安全帽检测模块、反光背心检测模块均使用多种不同光照场景下的数据使模型针对施工场所的光照场景能够作出相应的措施,增加检测模块的检测精度;
吸烟检测模块由于即抽烟过程中会将烟放置于嘴边,所以将人头作为烟的关联对象;首先分别对图像中的人头和烟进行检测,由于烟是一种极小的目标,在抽样对总体参数作出估计时,由于样本的随机性,其结论总是不确定的。因此,采用数理统计中的区间估计法,即估计值与总体参数在一定允许的误差范围以内,其相应的概率有多大,这个相应的概率称作置信度,本申请设置检测到烟的置信度大于0.3时为怀疑对象,通过调用摄像机的角度旋转和变焦接口将人头进行画面的放大,二次判断该怀疑对象是否存在抽烟行为,增强抽烟行为的检测效果;
人员倒地检测模块使用包含行走、跑动、攀爬、下蹲、倒地等多种人体行为的数据以及具体施工场景下的人员行为的数据进行训练,能够有效判断人员倒地的危险情形,保障人员的人身安全。
可选地,所述检测结果优化模块包括:
置信度优化模块,用于过设定合理的阈值将置信度去除低于该阈值的检测框;
目标框尺寸优化模块,用于根据不同的算法目标设定合理的尺寸大小,去除低于阈值尺寸大小的目标框;
背景优化模块,用于同时检测目标与目标相关联的物体,判定目标与目标关联的物体检测框是否存在一定的联系,若存在则保留检测结果,不存在则去除;
时间优化模块,用于在预定的时间间隔内,将同一区域中的施工人员的违规行为只进行一次告警;
多重算法优化模块,用于基于至少两种算法对同一违规行为的初始检测结果进行优化。
具体实施时,置信度优化模块为,通过设定合理的阈值将置信度去除低于该阈值的检测框对于小目标设置阈值为0.4-0.6,对于中等以上的目标设置阈值为0.7,减少因为施工场所背景复杂产生违规行为的错误告警;
所述目标框尺寸优化模块为,根据不同的算法目标设定合理的尺寸大小,小目标设置检测尺寸阈值较小,例如抽烟行为检测框尺寸阈值设置为48像素*48像素;中等以上的目标设置尺寸阈值较大,例如安全帽检测框尺寸阈值设置为256像素*256像素,去除低于阈值尺寸大小的目边框,减少由不合理尺寸引起的错误告警;
所述背景优化模块为,同时检测目标与目标相关联的物体,判定目标与目标关联的物体检测框是否存在一定的联系,若存在则保留检测结果,不存在则去除,增加小目标物体的准确率;例如,抽烟算法模块中,抽烟过程中会将烟放置于嘴边,通过判断香烟检测框是否与人头检测框是否存在相交关系,以此判断是否存在抽烟的违规行为。
所述时间优化模块为,在预定的时间间隔(一般是60s)内,将同一区域中的施工人员的违规行为只进行一次告警,减少因为重复上报告警行为带来的信息冗余;
所述多重算法优化模块为,包括关键点检测与目标检测串联的双重检测算法模块、目标检测与图像分类串联的二级分类算法模块。
可选地,多重算法优化模块包括用于检测吸烟行为的双重算法优化模块和用于检测安全帽佩戴情况的二级分类算法模块,
所述双重算法优化模块,用于在吸烟检测模块中,将人体关键点检测结果与抽烟检测框进行嘴部关键点与香烟检测框的判定,若香烟检测框与嘴部关键的距离小于人头检测框宽度的1/5则判定为抽烟违规行为。
所述二级分类算法模块,用于首先对安全帽进行检测,通过安全帽检测框裁剪具体图像,利用分类模型对所裁剪的图像进行二次判断,若目标检测模型与分类模型均属于同一种类别,并且分类模型置信度大于0.9则判定为佩戴安全帽,否则为未佩戴安全帽的违规行为。
具体实施时,双重检测算法模块为,具体实施在抽烟检测模块箱中,将人体关键点检测结果与抽烟检测框进行嘴部关键点与香烟检测框的判定,若香烟检测框与嘴部关键的距离小于人头检测框宽度的1/5则判定为抽烟违规行为。
所述二级分类算法模块为,首先对中等目标如安全帽进行检测,通过安全帽检测框裁剪具体图像,利用分类模型对所裁剪的图像进行二次判断,若目标检测模型与分类模型均属于同一种类别,并且分类模型置信度大于0.9则判定为安全帽,否则为未佩戴安全帽的违规行为。
可选地,所述控制模块包括:
实时视频展示模块,用于实时接收图像采集装置传回的视频进行播放;
违规图像展示模块,用于检测结果优化模块输出的目标检测结果,若目标检测结果为违规行为,对违规行为对应的图像进行展示;
三维地图展示模块,用于在施工场所对应的三维地图上,展示对应图像采集装置点位的实时视频和/或违规图像;
数据统计模块,用于根据历史违规行为进行分析统计,得出总违规数量、变化曲线,违规位置,以及各种违规行为出现的几率。
具体实施时,实时视频模块为,实时接收摄像机传回的视频进行播放;
所述违规图片展示模块为,将优化中心优化后的检测到的违规行为进行展示;
所述三维地图展示模块为,是项目施工场所中带有摄像机点位位置的三维地图,通过摄像机ID和图片传输模块,展示对应摄像机点位的实时视频,违规图像;
所述数据统计模块为,根据历史违规行为进行分析统计,得出总违规数量、变化曲线,违规位置,以及各种违规行为出现的几率。
可选地,图像采集装置为摄像机,所述控制模块还用于:
根据不同场景,启停相应的违规行为检测模块以及对摄像机进行操作,实现摄像机的焦距和角度的调整。
具体实施时,由控制中心管理摄像机中的算法以及摄像机的焦距和角度,根据不同场景,启停相应的检测模块以及对摄像机进行操作。
请参阅图2,图2为本发明实施例中一种施工场所的智能巡检系统的智能巡检方法的流程示意图,如图2所示,包括:
步骤S100、图像采集装置对施工场所的指定区域的实时视频和图像进行采集,将监控视频实时传输至控制模块,将图像上传至违规行为检测模块进行违规行为的检测;
步骤S200、违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果;
步骤S300、检测结果优化模块接收初始检测结果,根据不同的检测类型进行相应的优化策略,生成目标检测结果;
步骤S400、控制模块接收检测结果优化模块优化后的目标检测结果,对目标检测结果中的违规行为进行记录、统计、告警及展示。
具体实施时,本发明实施例不同场位的摄像机实时拍摄、监控施工场所的工作区域,并将监控视频实时传输至控制中心进行展示,与此同时间隔5秒钟对监控区域进行抓拍,上传至算法中心进行违规行为的检测;
接下来,算法中心接收摄像机群传输的实时图像,根据不同的摄像机ID调用不同的算法进行违规行为的检测,生成初始检测结果
优化中心接收初始检测结果,根据不同的检测模块进行相应的优化策略,具体地,针对人员检测模块,执行置信度优化模块、目标框尺寸优化模块进行优化处理;
针对安全帽检测模块依次执行置信度优化模块、背景优化模块、目标框尺寸优化模块以及多重算法优化模块中的二级分类模块进行优化处理;
针对反光背心检测模块执行置信度优化模块、目标框尺寸优化模块、背景优化模块进行优化处理;
针对吸烟检测模块,优化中心依次执行多重算法优化模块中的双重检测算法优化模块、置信度优化模块以及目标框尺寸优化模块进行优化处理;
针对人员倒地检测模块,优化中心执行置信度优化模块、背景优化模块、目标框尺寸优化模块进行优化处理;
最后,控制中心接收优化后的违规行为检测结果,并对其进行记录、统计、分析以及展示。根据不同的需求,由技术人员操作控制摄像机的启停、检测模块的启停以及优化中心的阈值设置,并将实时视频,违规图像,实时展示在三维地图中相应的位置。
进一步地,施工场所包括门禁区域和工作区域,所述违规行为检测结果包括人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块和人员倒地检测模块,所述违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果,包括:
判断图像采集装置所在施工场所的位置;
若图像采集装置位于施工场所的门禁区域,将图像依次输入人员检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行吸烟违规行为以及倒地情况的检测,生成初始检测结果;
若图像采集装置位于施工场所的工作区域,将图像依次输入人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行未佩戴安全帽、未穿戴反光背心、吸烟的违规行为以及倒地行为的检测;生成初始检测结果。
具体实施时,将施工场所划分为门禁区域、工作区域;
对于门禁区域,算法中心调用人员检测模块、吸烟检测模块以及人员倒地检测模块对图像上的人员进行吸烟违规行为的检测以及危险情况的检测;
对于工作区域,算法中心调用人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块以及人员倒地检测模块对图像上的人员进行未佩戴安全帽、未穿戴反光背心、吸烟的违规行为以及危险情况的检测;完成检测任务后发送初始检测结果至优化中心进行优化。
需要说明的是,上述各步骤之间并不必然存在一定的先后顺序,本领域普通技术人员,根据本发明实施例的描述可以理解,不同实施例中,上述各步骤可以有不同的执行顺序,亦即,可以并行执行,亦可以交换执行等等。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种施工场所的智能巡检系统,其特征在于,系统包括图像采集装置和服务器,服务器包括违规行为检测模块、检测结果优化模块和控制模块;
所述图像采集装置,用于对施工场所的实时视频和图像进行采集,并将采集的实时视频上传至控制模块,将采集的图像上传至违规行为检测模块;
所述违规行为检测模块,用于对图像采集装置返回的图像进行违规行为检测,生成初始检测结果;
所述检测结果优化模块,用于获取初始检测结果,对检测结果进行优化,生成目标检测结果;
所述控制模块,用于目标检测结果中的违规行为进行统计及告警,对违规行为以及所述图像采集装置采集的实时视频进行展示。
2.根据权利要求1所述的施工场所的智能巡检系统,其特征在于,所述图像采集装置包括:
视频采集模块,用于对施工场所的实时视频进行采集;
图像抓拍模块,用于每隔一预定时间,对施工场所的图像进行抓拍;
网络传输模块,用于通过https协议与违规行为检测模块进行通信;
第一数据传输模块,用于将采集的实时视频图像上传至控制模块;
第二数据传输模块,用于将抓拍的图像实时上传至违规行为检测模块。
3.根据权利要求2所述的施工场所的智能巡检系统,其特征在于,所述违规行为检测模块具体用于:
预先获取违规行为样本,基于违规行为样本对预先构建的YOLOV5网络进行训练,生成目标检测模型;
将图像采集装置返回的图像输入目标检测模型,获取目标检测模型的输出,记为初始检测结果。
4.根据权利要求3所述的施工场所的智能巡检系统,其特征在于,所述违规行为检测模块,包括:
人员检测模块,用于检测施工场所的人员出勤情况;
安全帽检测模块,用于检测施工场所的人员安全帽佩戴情况;
反光背心检测模块,用于检测施工场所的员反光背心穿戴情况;
吸烟检测模块,用于检测施工场所的人员的吸烟;
人员倒地检测模块,用于检测施工场所的人员倒地情况。
5.根据权利要求4所述的施工场所的智能巡检系统,其特征在于,所述检测结果优化模块包括:
置信度优化模块,用于过设定合理的阈值将置信度去除低于该阈值的检测框;
目标框尺寸优化模块,用于根据不同的算法目标设定合理的尺寸大小,去除低于阈值尺寸大小的目标框;
背景优化模块,用于同时检测目标与目标相关联的物体,判定目标与目标关联的物体检测框是否存在一定的联系,若存在则保留检测结果,不存在则去除;
时间优化模块,用于在预定的时间间隔内,将同一区域中的施工人员的违规行为只进行一次告警;
多重算法优化模块,用于基于至少两种算法对同一违规行为的初始检测结果进行优化。
6.根据权利要求5所述施工场所的智能巡检系统,其特征在于,所述多重算法优化模块包括用于检测吸烟行为的双重算法优化模块和用于检测安全帽佩戴情况的二级分类算法模块,
所述双重算法优化模块,用于在吸烟检测模块中,将人体关键点检测结果与抽烟检测框进行嘴部关键点与香烟检测框的判定,若香烟检测框与嘴部关键的距离小于人头检测框宽度的1/5则判定为抽烟违规行为。
所述二级分类算法模块,用于首先对安全帽进行检测,通过安全帽检测框裁剪具体图像,利用分类模型对所裁剪的图像进行二次判断,若目标检测模型与分类模型均属于同一种类别,并且分类模型置信度大于0.9则判定为佩戴安全帽,否则为未佩戴安全帽的违规行为。
7.根据权利要求6所述的施工场所的智能巡检系统,其特征在于,所述控制模块包括:
实时视频展示模块,用于实时接收图像采集装置传回的视频进行播放;
违规图像展示模块,用于检测结果优化模块输出的目标检测结果,若目标检测结果为违规行为,对违规行为对应的图像进行展示;
三维地图展示模块,用于在施工场所对应的三维地图上,展示对应图像采集装置点位的实时视频和/或违规图像;
数据统计模块,用于根据历史违规行为进行分析统计,得出总违规数量、变化曲线,违规位置,以及各种违规行为出现的几率。
8.根据权利要求7所述的施工场所的智能巡检系统,其特征在于,图像采集装置为摄像机,所述控制模块还用于:
根据不同场景,启停相应的违规行为检测模块以及对摄像机进行操作,实现摄像机的焦距和角度的调整。
9.一种基于权利要求1-8任一项所述的施工场所的智能巡检系统的智能巡检方法,其特征在于,包括:
图像采集装置对施工场所的指定区域的实时视频和图像进行采集,将监控视频实时传输至控制模块,将图像上传至违规行为检测模块进行违规行为的检测;
违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果;
检测结果优化模块接收初始检测结果,根据不同的检测类型进行相应的优化策略,生成目标检测结果;
控制模块接收检测结果优化模块优化后的目标检测结果,对目标检测结果中的违规行为进行记录、统计、告警及展示。
10.根据权利要求9所述的方法,其特征在于,所述施工场所包括门禁区域和工作区域,所述违规行为检测结果包括人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块和人员倒地检测模块,所述违规行为检测模块接收图像采集装置上传的实时图像,进行违规行为的检测,生成初始检测结果,包括:
判断图像采集装置所在施工场所的位置;
若图像采集装置位于施工场所的门禁区域,将图像依次输入人员检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行吸烟违规行为以及倒地情况的检测,生成初始检测结果;
若图像采集装置位于施工场所的工作区域,将图像依次输入人员检测模块、安全帽检测模块、反光背心检测模块、吸烟检测模块以及人员倒地检测模块,对图像上的人员进行未佩戴安全帽、未穿戴反光背心、吸烟的违规行为以及倒地行为的检测;生成初始检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211183937.8A CN115457331A (zh) | 2022-09-27 | 2022-09-27 | 一种施工场所的智能巡检方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211183937.8A CN115457331A (zh) | 2022-09-27 | 2022-09-27 | 一种施工场所的智能巡检方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115457331A true CN115457331A (zh) | 2022-12-09 |
Family
ID=84307052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211183937.8A Pending CN115457331A (zh) | 2022-09-27 | 2022-09-27 | 一种施工场所的智能巡检方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115457331A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116579609A (zh) * | 2023-05-15 | 2023-08-11 | 三峡科技有限责任公司 | 一种基于巡检过程中的违规操作分析方法 |
-
2022
- 2022-09-27 CN CN202211183937.8A patent/CN115457331A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116579609A (zh) * | 2023-05-15 | 2023-08-11 | 三峡科技有限责任公司 | 一种基于巡检过程中的违规操作分析方法 |
CN116579609B (zh) * | 2023-05-15 | 2023-11-14 | 三峡科技有限责任公司 | 一种基于巡检过程中的违规操作分析方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111191586B (zh) | 一种施工现场人员安全帽佩戴情况巡检方法及系统 | |
CN108319926A (zh) | 一种工地现场的安全帽佩戴检测系统及检测方法 | |
CN110516522B (zh) | 一种巡检方法及系统 | |
CN111932709A (zh) | 一种基于ai识别实现加油站巡检作业违规安全监管的方法 | |
CN112489371A (zh) | 一种基于计算机视觉的泳池防溺水预警系统 | |
CN111178424A (zh) | 一种石油化工生产现场安全合规性实时检测系统及方法 | |
CN113206978B (zh) | 油气管道站场安防智能监控预警系统及方法 | |
CN114202711A (zh) | 一种列车车厢内异常行为智能监测方法、装置及监控系统 | |
CN112235537A (zh) | 一种变电站现场作业安全预警方法 | |
CN104601966A (zh) | 一种基于激光检测线的视觉分析人流量统计方法及设备 | |
CN115457331A (zh) | 一种施工场所的智能巡检方法及系统 | |
CN110781853A (zh) | 人群异常检测方法以及相关装置 | |
KR101454644B1 (ko) | 보행자 추적기를 이용한 서성거림을 탐지하는 방법 | |
CN116434533A (zh) | 一种基于5g的ai智慧公路隧道综合监测平台 | |
CN115620192A (zh) | 一种高空作业安全绳穿戴检测的方法和装置 | |
CN115861915A (zh) | 消防通道监控方法、消防通道监控装置以及存储介质 | |
CN112906441A (zh) | 用于通信行业查勘维护的图像识别系统及方法 | |
CN113869220A (zh) | 重大交通事故的监测方法及系统 | |
KR100782205B1 (ko) | 영상검지를 이용한 차량속도 표시 장치 및 시스템 | |
CN116206253A (zh) | 基于深度学习的工地动火行为检测判断方法及系统 | |
CN115049988A (zh) | 一种用于配电网监测及预判的边缘计算方法及装置 | |
CN114488337A (zh) | 一种高空抛物检测方法及装置 | |
CN113947795B (zh) | 口罩佩戴检测方法、装置、设备及存储介质 | |
CN210895500U (zh) | 一种危险行为动作识别系统 | |
CN115035473A (zh) | 考场监控的方法、装置及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |