CN117877219A - 一种违规行为警报方法、系统、存储介质及设备 - Google Patents
一种违规行为警报方法、系统、存储介质及设备 Download PDFInfo
- Publication number
- CN117877219A CN117877219A CN202311758142.XA CN202311758142A CN117877219A CN 117877219 A CN117877219 A CN 117877219A CN 202311758142 A CN202311758142 A CN 202311758142A CN 117877219 A CN117877219 A CN 117877219A
- Authority
- CN
- China
- Prior art keywords
- safety
- behavior
- primary screening
- data set
- alarm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000003860 storage Methods 0.000 title claims abstract description 8
- 230000009471 action Effects 0.000 title claims description 29
- 230000006399 behavior Effects 0.000 claims abstract description 90
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012545 processing Methods 0.000 claims abstract description 31
- 238000012216 screening Methods 0.000 claims abstract description 30
- 229910000831 Steel Inorganic materials 0.000 claims abstract description 28
- 239000010959 steel Substances 0.000 claims abstract description 28
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000002372 labelling Methods 0.000 claims abstract description 8
- 230000008569 process Effects 0.000 claims description 10
- 230000000750 progressive effect Effects 0.000 claims description 9
- 239000000779 smoke Substances 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 238000007621 cluster analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Alarm Systems (AREA)
Abstract
本发明涉及图像处理技术领域，本发明公开了一种违规行为警报方法、系统、存储介质及设备，包括：获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，进行报警；其中，训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。提高了违规行为识别模型的识别准确度，并结合安全规章知识图谱，实现了违规行为实时报警。
Description
技术领域
本发明涉及图像处理技术领域，具体的说，是涉及一种违规行为警报方法、系统、存储介质及设备。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
在钢结构作业场景中，部分作业人员安全观念不强，安全技能不足，在实际生产作业过程中，存在未佩戴安全帽的行为。针对这类突发安全状况，大多数钢结构企业采取了系列安全预警措施，主要通过加装摄像头，记录监控视频内容，由安全员实时监控作业区域，一旦出现这类不安全行为，立刻发出报警信号。然而，此种监控方式是被动式监控，且受限于摄像头自身配置和安全员工作机制等因素，有时无法实时监控到不安全行为。这时就需要事后回放、事后溯源、事后追责，既不利于生产效率优化，也不利于安全生产管控，这也是目前钢结构行业的重大痛点。
发明内容
本发明为了解决上述问题，本发明提供一种违规行为警报方法、系统、存储介质及设备，使用卷积神经网络过滤掉无效数据，并通过聚类实现快速按照作业人员的安全行为归类整理，使得后续标注环节更为高效、准确，进而提高训练得到的违规行为识别模型的识别准确度，并结合安全规章知识图谱，实现了违规行为实时报警。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种违规行为警报方法，其包括：
获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果；
基于安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，如果违反安全规则，则进行报警；
其中，用于训练违规行为识别模型的训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。
进一步地，通过图数据库对安全规章制度进行处理，建立所述安全规章知识图谱。
进一步地，所述违规行为识别模型在训练过程中采用递进式违规行为识别模型优化方法。
进一步地，所述安全行为包括：是否佩戴安全帽、是否着工服、是否使用烟火、是否抽烟和是否打电话。
进一步地，根据安全行为识别结果和安全规章知识图谱，选择不同的报警设备、报警对象和报警等级进行报警。
本发明的第二个方面提供一种违规行为警报系统，其包括：
识别模块，其被配置为：获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果；
报警模块，其被配置为：基于安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，如果违反安全规则，则进行报警；
其中，用于训练违规行为识别模型的训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。
进一步地，还包括图谱构建模块，其被配置为：使用图数据库对安全规章制度进行处理，建立所述安全规章知识图谱。
进一步地，还包括模型训练模块，其被配置为：在训练过程中，采用递进式违规行为识别模型优化方法，训练所述违规行为识别模型。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述所述的一种违规行为警报方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种违规行为警报方法中的步骤。
与现有技术相比，本发明的有益效果为：
本发明提供了一种违规行为警报方法，其使用卷积神经网络过滤掉无效数据，并通过聚类实现快速按照作业人员的安全行为归类整理，使得后续标注环节更为高效、准确，进而提高训练得到的违规行为识别模型的识别准确度。
本发明提供了一种违规行为警报方法，其使用图数据库预先建立钢结构加工厂作业安全规章知识图谱，将文本形式的报警规则图形化，进而结合安全行为识别结果，实现了违规行为报警。
本发明提供了一种违规行为警报方法，其采用递进式违规行为识别模型，使得违规行为识别模型高效、便捷、无损地适配各类作业场景。
本发明提供了一种违规行为警报方法，其面向钢结构加工厂，将多路摄像头视频流实时接入，支持作业人员安全行为高效识别，识别后形成报警记录，通过实体报警设备预警安全风险，降低安全隐患。
附图说明
构成本发明的一部分说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的限定。
图1为本发明的实施例一的一种违规行为警报方法的流程图；
图2为本发明的实施例一的数据采集的流程图；
图3为本发明的实施例一的数据处理的流程图；
图4为本发明的实施例一的综合违规行为识别模型建立流程图；
图5为本发明的实施例一的安全告警的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合下面结合附图与实施例对本发明作进一步说明。
实施例一
本实施例一的目的是提供一种违规行为警报方法。
本实施例提供的一种违规行为警报方法，如图1所示，秉承总体联动的设计思路，划分为数据采集、数据处理、模型建立、安全告警四大步骤。整体看来，四个步骤串联进行，每一步之间有紧密联系，同时，每一步均采用合理、高效、创新技术，以提高方法的可靠性、稳定性、实用性。
本实施例提供的一种违规行为警报方法，如图1所示，包括如下步骤：
步骤1、数据采集。即有目的性和有侧重点地采集用于训练的安全行为图像数据集（违规行为图像数据集）。
数据采集步骤是钢结构作业违规行为识别方法的首序，其本质是有目的性和有侧重点地采集用于训练的违规行为图像数据集，为后续训练违规行为识别模型打造输入基础。
数据采集的目的是高效识别安全行为，侧重点是采集作业人员数据、安全帽数据（已佩戴安全帽、未佩戴安全帽）、工服数据、烟火数据、抽烟数据和打电话数据等图像数据，采集数量级为每类别至少一万张。
如图2所示，数据采集包括：将包含各类安全行为数据（各类安全行为图像）的标准数据集和作业人员数据（作业人员图像）组成的定制数据集混合，得到用于训练的安全行为图像数据集后，按照时间线进行归类，对按时间线归类后的数据集采用卷积神经网络进行初筛，过滤掉空拍图像、残损图像和模糊图像，得到经过初筛后的数据集。
其中，安全行为图像为包含一种或多种安全行为且已经分类完毕的图像；作业人员图像为包含作业人员但未进行安全行为分类的图像。
其中，安全行为包括：是否佩戴安全帽、是否着工服、是否使用烟火、是否抽烟和是否打电话。
为增强违规行为识别模型在钢结构场景的识别效率和抗干扰能力，本发明采取标准数据集和定制数据集相结合的方式训练违规行为识别模型，标准数据集即包含上述类别（安全帽数据、工服数据、烟火数据、抽烟数据和打电话数据）并已归类完毕的海量人员行为通用数据集；但针对钢结构场景，仍需补充部分定制数据集，即特定的钢结构作业人员行为数据集。
通常，钢结构加工厂的视频监控系统是按照时间线进行存储的，而不是按照人员行为类别进行存储。面对高数量级的采集任务和类别混淆存储的数据集，本发明按照时间线进行归类，即将同一时间段采集到的视频数据进行统一归类，再进行汇总，例如每月的历史视频数据由每周汇聚而成。
使用卷积神经网络过滤掉空拍图像、残损图像和模糊图像等无效数据集，即完成对数据集的初次筛选，为后续数据处理减轻不必要的工作量。
步骤2、数据处理。即有策略地对用于训练的安全行为图像数据集进行深入处理。
数据处理步骤是钢结构作业违规行为识别方法的第二道工序，其本质是有策略地对用于训练的违规行为图像数据集进行预处理。经过首序的初次筛选后，数据集已基本达到可以训练的标准，但是仍需进一步处理，从而解决因视频监控系统存储图像的人员行为类别混淆的问题，即实现快速按照作业人员的安全行为归类整理，为后续模型建立步骤的特征标注环节打下基础，即在打开图片进行标注前，主观预知图像有哪些安全行为特征点，标注过程更为高效。作业人员是一个大类数据集，基于此大类数据集，可建立识别区域入侵、擅自离岗等人员行为，这些人员行为发生频率较高。同时，作业人员数据集也包含着安全帽等安全行为。
如图3所示，数据处理包括：首先基于海量经过初筛有效的作业人员数据集，进行违规行为聚类分析，按照作业人员违规行为分类梳理，通过机器模拟，将作业人员数据集初步划分为若干大类，此时可完成90%的归类任务，再进行一轮简易人工复查，调整部分划分错误的数据集，即可完成数据处理步骤；经过聚类处理后的图片，有的可能只属于一类，有个可能属于多类，后续标注特征时，按照聚类结果显示的特征点进行安全行为标注即可，将标注后的作业人员数据替换经过初筛后的数据集中的作业人员数据，得到预处理后的数据集（即训练集或用于训练的数据集或待训练数据集）。
步骤3、模型建立。基于预处理后的数据集训练违规行为识别模型。
模型建立步骤是钢结构作业安全行为识别方法的第三道工序，其本质是基于预处理后的数据集训练违规行为识别模型。
针对提高违规行为识别模型准确率的目标，本实施例采用一种递进式违规行为识别模型优化方法，各作业场景类别要求随着需求类别的增加而有所差异，而采用递进式违规行为识别模型，使得违规行为识别模型高效、便捷、无损地适配各类作业场景。
递进式违规行为识别模型优化方法具体步骤是：将使用n类数据集A（即预处理后的数据集）训练得到的模型设为模型1；使用n+1类数据集B（在数据集A的基础上多了一类，例如A类是安全帽识别，则B类是安全帽、睡岗识别，但此处是第n+1类，也就是不包含安全帽数据，只有睡岗数据）训练新模型，得到模型2；将n类数据集输入模型2得到n+1类伪标签，将n+1类数据集输入模型1得到n类伪标签；将n类数据集A伪标签与真实的标签进行合并，得到新的数据集C，将n+1类数据集B伪标签与真实的标签合并，得到新的数据集D；基于数据集C和数据集D训练新模型，得到违规行为识别模型，修改新模型中的分类数量，经过伪标签推理，实现违规行为识别模型优化升级。
如图4所示，针对降低违规行为识别模型识别延迟的目标，本发明从硬件配置和软件逻辑两方面进行优化，硬件配置方面，突破传统多部件、多要素、多环节集成模式限制，采用轻量化集成方式。对于钢结构的典型场景，本发明使用“网络工业相机+边缘识别器”的技术路线，其中，边缘识别器部署软硬件一体化系统，可实现可靠、便捷、规模化应用；软件逻辑方面，全方位进行代码走查，优化不必要的耗时语句，开启多线程模型推理。违规行为识别模型训练过程无需考虑安全行为识别规则，但完整的可供报警调用的综合违规行为识别模型建立过程则需要安全规章知识图谱予以支撑。即为安全报警步骤提供理论支撑，对于什么时间报警，达到什么条件报警，通过什么设备报警，报警给什么人，报警等级是什么等规则，例如，使用烟火的报警等级为一级，未佩戴安全帽的报警等级为二级。钢结构加工厂是有相关安全规章制度的，但通常是以文本的形式呈现。需要手工把规则录入到报警触发模块，再结合调用违规行为识别模型得出的安全行为识别结果判别报警，极为不便。本发明使用图数据库预先建立钢结构加工厂作业安全规章知识图谱，将文本形式的报警规则图形化，清晰直观。同时，应用数据库也存储着这些报警规则，违规行为识别模型识别出安全行为后，可直接读取数据库的报警规则触发报警。
步骤4、安全告警。即结合安全规章图谱和违规行为识别模型识别结果触发报警设备报警。
安全告警步骤是钢结构作业安全行为识别方法的末序，其本质是结合安全规章图谱和违规行为识别模型识别结果触发报警设备报警。
具体地，如图5所示，首先在车间各产线合适位置安装摄像头（包括摄像头1，摄像头2，……），可以清晰拍摄到作业区域，接入多路摄像头实时视频流，获取钢结构加工车间内的安全行为图像，然后调用训练好的违规行为识别模型得出安全行为识别结果，再结合预先建立好的安全规章知识图谱，即综合模型，判断是否违反安全规则（安全规章），如果违反安全规则，则生成报警记录，存储到应用数据库，同时触发音响、报警屏、三色灯等报警设备进行报警，报警接口响应时间在0.8秒以内。通过实体设备实时报警，可使得违规行为识别方法在钢结构加工厂广泛落地使用，全面提升钢结构加工厂安全生产管控水平。
本实施例提供的一种违规行为警报方法是HSE管理体系（健康（Health）、安全（Safety）和环境(Environment））的重要组成部分，面向钢结构加工厂，将多路摄像头视频流实时接入，支持未佩戴安全帽等作业人员安全行为高效识别，识别后形成报警记录，通过实体报警设备预警安全风险，强化责任意识，降低安全隐患。改善传统人工视频监控违规行为的不敏感问题，提升违规行为的辨识度，对车间现场违章操作进行智能监控，提高现场作业人员安全意识，实现现场作业全过程、全天候的视频监控-分析-告警-处置，提高公司安全生产管理水平。
本实施例提供的一种违规行为警报方法，面向钢结构加工厂，将多路摄像头视频流实时接入，支持未佩戴安全帽等作业人员安全行为高效识别，识别后形成报警记录，通过实体报警设备预警安全风险，降低安全隐患。围绕钢结构作业机器视觉接入、违规行为识别、智能安全告警等技术问题，制定了详细技术路线和实现步骤。
实施例二
本实施例二的目的是提供一种违规行为警报系统，包括：
图谱构建模块，其被配置为：使用图数据库对安全规章制度进行处理，建立所述安全规章知识图谱。
模型训练模块，其被配置为：在训练过程中，采用递进式违规行为识别模型优化方法，训练所述违规行为识别模型；
识别模块，其被配置为：获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果；
报警模块，其被配置为：基于安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，如果违反安全规则，则进行报警；
其中，用于训练违规行为识别模型的训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，该程序被处理器执行时实现如上述实施例一所述的一种违规行为警报方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种违规行为警报方法中的步骤。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
Claims (10)
1.一种违规行为警报方法，其特征在于，包括：
获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果；
基于安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，如果违反安全规则，则进行报警；
其中，用于训练违规行为识别模型的训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。
2.如权利要求1所述的一种违规行为警报方法，其特征在于，通过图数据库对安全规章制度进行处理，建立所述安全规章知识图谱。
3.如权利要求1所述的一种违规行为警报方法，其特征在于，所述违规行为识别模型在训练过程中采用递进式违规行为识别模型优化方法。
4.如权利要求1所述的一种违规行为警报方法，其特征在于，所述安全行为包括：是否佩戴安全帽、是否着工服、是否使用烟火、是否抽烟和是否打电话。
5.如权利要求1所述的一种违规行为警报方法，其特征在于，根据安全行为识别结果和安全规章知识图谱，选择不同的报警设备、报警对象和报警等级进行报警。
6.一种违规行为警报系统，其特征在于，包括：
识别模块，其被配置为：获取钢结构加工车间内的安全行为图像，并调用训练好的违规行为识别模型，得出安全行为识别结果；
报警模块，其被配置为：基于安全行为识别结果，结合预先建立的安全规章知识图谱，判断是否违反安全规则，如果违反安全规则，则进行报警；
其中，用于训练违规行为识别模型的训练集的获取方法为：将各类安全行为图像和作业人员图像混合得到的数据集，采用卷积神经网络进行初筛，过滤掉无效数据，得到经过初筛后的数据集，对初筛后的数据集中的作业人员图像进行聚类，并进行安全行为标注后，替换经过初筛后的数据集中的作业人员图像，得到训练集。
7.如权利要求6所述的一种违规行为警报系统，其特征在于，还包括图谱构建模块，其被配置为：使用图数据库对安全规章制度进行处理，建立所述安全规章知识图谱。
8.如权利要求6所述的一种违规行为警报系统，其特征在于，还包括模型训练模块，其被配置为：在训练过程中，采用递进式违规行为识别模型优化方法，训练所述违规行为识别模型。
9.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的一种违规行为警报方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的一种违规行为警报方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311758142.XA CN117877219A (zh) | 2023-12-20 | 2023-12-20 | 一种违规行为警报方法、系统、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311758142.XA CN117877219A (zh) | 2023-12-20 | 2023-12-20 | 一种违规行为警报方法、系统、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117877219A true CN117877219A (zh) | 2024-04-12 |
Family
ID=90590967
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311758142.XA Pending CN117877219A (zh) | 2023-12-20 | 2023-12-20 | 一种违规行为警报方法、系统、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117877219A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212594A (zh) * | 2024-05-21 | 2024-06-18 | 中科航迈数控软件(深圳)有限公司 | 车间监管决策方法、设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257545A (zh) * | 2020-10-19 | 2021-01-22 | 安徽领云物联科技有限公司 | 一种违规行为实时监控分析方法、装置及存储介质 |
| CN113609925A (zh) * | 2021-07-19 | 2021-11-05 | 青岛新奥燃气有限公司 | 一种lng装卸作业安全管控系统及违规行为识别方法 |
| CN114495275A (zh) * | 2022-01-26 | 2022-05-13 | 城云科技（中国）有限公司 | 异常行为预警方法、装置及应用 |
| CN115147777A (zh) * | 2022-07-08 | 2022-10-04 | 武汉理工大学 | 船员违规行为识别方法 |
| CN116186282A (zh) * | 2022-12-28 | 2023-05-30 | 国网北京市电力公司 | 电力施工行为安全检测方法、装置及非易失性存储介质 |
| US20230177941A1 (en) * | 2014-02-27 | 2023-06-08 | Fitbit, Inc. | Notifications on a User Device Based on Activity Detected by an Activity Monitoring Device |
-
2023
- 2023-12-20 CN CN202311758142.XA patent/CN117877219A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230177941A1 (en) * | 2014-02-27 | 2023-06-08 | Fitbit, Inc. | Notifications on a User Device Based on Activity Detected by an Activity Monitoring Device |
| CN112257545A (zh) * | 2020-10-19 | 2021-01-22 | 安徽领云物联科技有限公司 | 一种违规行为实时监控分析方法、装置及存储介质 |
| CN113609925A (zh) * | 2021-07-19 | 2021-11-05 | 青岛新奥燃气有限公司 | 一种lng装卸作业安全管控系统及违规行为识别方法 |
| CN114495275A (zh) * | 2022-01-26 | 2022-05-13 | 城云科技（中国）有限公司 | 异常行为预警方法、装置及应用 |
| CN115147777A (zh) * | 2022-07-08 | 2022-10-04 | 武汉理工大学 | 船员违规行为识别方法 |
| CN116186282A (zh) * | 2022-12-28 | 2023-05-30 | 国网北京市电力公司 | 电力施工行为安全检测方法、装置及非易失性存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118212594A (zh) * | 2024-05-21 | 2024-06-18 | 中科航迈数控软件(深圳)有限公司 | 车间监管决策方法、设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112785798B (zh) | 面向电力变电站工程建设项目施工人员的行为分析方法 | |
| CN116308960B (zh) | 基于数据分析的智慧园区物业防控管理系统及其实现方法 | |
| CN117877219A (zh) | 一种违规行为警报方法、系统、存储介质及设备 | |
| CN115601905B (zh) | 一种智慧园区智能安防报警方法及系统 | |
| CN112766091B (zh) | 基于人体骨骼关键点的视频不安全行为识别系统及方法 | |
| CN113449959A (zh) | 一种矿山人员行为治理系统及平台 | |
| CN111126217A (zh) | 基于智能识别的输电线路智能运维管理系统 | |
| CN113469544A (zh) | 一种安全作业的风险管控方法及系统 | |
| CN114282360B (zh) | 数字孪生环境下本体驱动的车间不安全状态语义推理方法 | |
| CN113905215B (zh) | 一种公交安全驾驶监控系统 | |
| CN113011833A (zh) | 施工现场的安全管理方法、装置、计算机设备和存储介质 | |
| CN109068105A (zh) | 一种基于深度学习的监狱视频监控方法 | |
| CN117151478B (zh) | 一种基于卷积神经网络的化工企业风险预警方法及系统 | |
| CN111325119B (zh) | 一种安全生产的视频监控方法及系统 | |
| CN110543866A (zh) | 一种基建工程施工人员的安全管理系统及方法 | |
| CN112819374A (zh) | 一种铁路桥梁施工人员风险管理系统与方法 | |
| CN111538643A (zh) | 一种监控系统报警信息过滤方法和系统 | |
| CN115330129A (zh) | 一种企业安全风险预警分析方法及系统 | |
| CN110149303B (zh) | 一种党校的网络安全预警方法及预警系统 | |
| CN115035439A (zh) | 一种基于深度网络学习的校园异常事件监控系统 | |
| CN108388873A (zh) | 一种机器视觉的监管系统、方法及客户机、存储介质 | |
| CN116682034A (zh) | 一种复杂生产作业场景下危险行为检测方法 | |
| Fang et al. | Design and development of the AI-assisted safety system for hazardous plant | |
| CN115829324A (zh) | 一种人员安全风险静默监视方法 | |
| CN113721564A (zh) | 智能车间安全管理系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |