CN114663698A - 生产违规事件检测方法及装置 - Google Patents

生产违规事件检测方法及装置 Download PDF

Info

Publication number
CN114663698A
CN114663698A CN202210216677.3A CN202210216677A CN114663698A CN 114663698 A CN114663698 A CN 114663698A CN 202210216677 A CN202210216677 A CN 202210216677A CN 114663698 A CN114663698 A CN 114663698A
Authority
CN
China
Prior art keywords
violation
production
area
image
event
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210216677.3A
Other languages
English (en)
Inventor
陆建霖
唐永亮
沈飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shengjing Intelligent Technology Jiaxing Co ltd
Original Assignee
Shengjing Intelligent Technology Jiaxing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shengjing Intelligent Technology Jiaxing Co ltd filed Critical Shengjing Intelligent Technology Jiaxing Co ltd
Priority to CN202210216677.3A priority Critical patent/CN114663698A/zh
Publication of CN114663698A publication Critical patent/CN114663698A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种生产违规事件检测方法及装置，该生产违规事件检测方法包括：获取生产现场图像；基于所述生产现场图像，确定违规区域；基于所述生产现场图像和所述违规区域，确定违规区域图像；基于所述违规区域图像，确定违规区域的生产违规事件类型。本发明的生产违规事件检测方法及装置，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。

Description

生产违规事件检测方法及装置
技术领域
本发明涉及人工智能技术领域，尤其涉及一种生产违规事件检测方法及装置。
背景技术
企业6s管理是现代工厂行之有效的现场管理理念和方法，能够起到提高效率、保证质量、使工作环境整洁有序、预防风险和保证安全的作用。6s管理的有效实施能够提升企业形象、提升员工归属感、减少浪费、保障安全、提升效率以及保障品质。6s管理工作的落实，能为其他管理活动提供优质的管理平台。
然而目前的生产活动越来越复杂，厂房物料、人员、工序和机器出现了大规模和多样性的特点，导致了厂房中场景具有易变性和复杂性，这就为6s管理在实施中增加了难度，目前在生产违规事件识别场景中，主要采取人工审核的方式，这样依赖于人工经验，会耗费人工成本，对于生产违规事件发现不及时，且对生产违规事件判断的误差较大，准确率较低。
发明内容
本发明提供一种生产违规事件检测方法及装置，用以解决现有技术中依赖于人工经验，会耗费人工成本，对于生产违规事件发现不及时，且对生产违规事件判断的误差较大，准确率较低的缺陷，实现降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
本发明提供一种生产违规事件检测方法，包括：
获取生产现场图像；
基于所述生产现场图像，确定违规区域；
基于所述生产现场图像和所述违规区域，确定违规区域图像；
基于所述违规区域图像，确定违规区域的生产违规事件类型。
根据本发明提供的生产违规事件检测方法，所述基于所述生产现场图像，确定违规区域，包括：
将所述生产现场图像输入至区域定位模型中，得到所述区域定位模型输出的所述违规区域；
其中，所述区域定位模型为以生产现场样本图像为样本，以与所述生产现场样本图像对应的违规区域样本数据为样本标签进行训练得到的。
根据本发明提供的生产违规事件检测方法，所述区域定位模型包括：
热力图分支结构，所述热力图分支结构用于基于所述生产现场图像，确定左上角关键点位置和右下角关键点位置。
根据本发明提供的生产违规事件检测方法，所述基于所述违规区域图像，确定违规区域的生产违规事件类型，包括：
将所述违规区域图像输入至区域判别模型中，得到所述区域判别模型输出的所述生产违规事件类型；
其中，所述违规区域图像为以违规区域样本图像为样本，以与所述违规区域样本图像对应的生产违规事件类型样本数据为样本标签进行训练得到的。
根据本发明提供的生产违规事件检测方法，所述区域判别模型还用于：
基于所述违规区域图像，确定所述生产违规事件类型的概率。
根据本发明提供的生产违规事件检测方法，所述基于所述生产现场图像和所述违规区域，确定违规区域图像，包括：
基于所述违规区域，按照目标比例裁剪所述生产现场图像，得到所述违规区域图像。
本发明还提供一种生产违规事件检测装置，包括：
获取模块，用于获取生产现场图像；
第一确定模块，用于基于所述生产现场图像，确定违规区域；
第二确定模块，用于基于所述生产现场图像和所述违规区域，确定违规区域图像；
第三确定模块，用于基于所述违规区域图像，确定违规区域的生产违规事件类型。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述生产违规事件检测方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述生产违规事件检测方法的步骤。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述生产违规事件检测方法的步骤。
本发明的生产违规事件检测方法及装置，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的生产违规事件检测方法的流程示意图；
图2是本发明提供的生产违规事件检测装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合图1-图3描述本发明的生产违规事件检测方法及装置。
如图1所示，本发明提供一种生产违规事件检测方法，该生产违规事件检测方法包括：如下步骤110至步骤140。
步骤110、获取生产现场图像。
可以理解的是，生产现场可以安装有摄像头，摄像头可以实时采集生产现场图像，摄像头也可以实时采集生产现场视频，并从生产现场视频中截取生产现场图像，生产现场图像中可以具有生产设备、工作人员或者产品物料等物体，生产现场图像也可以计算机设备自动生成的，此处不对生产现场图像的来源进行限定，本领域技术人员可以选择合理的方式来获取到生产现场图像。
步骤120、基于生产现场图像，确定违规区域。
可以理解的是，生产现场图像可以反映出生产现场的生产设备的工作状态，或者工作人员的操作动作，进而可以反映生产现场是否存在生产违规事件，此处根据生产现场图像来确定违规区域，生产现场图像可以包括工厂中一个较大范围的区域，较大范围的区域可以拆分成多个较小范围的区域，此处可以将生产现场图像中呈现的一个较大范围的区域拆分成多个较小范围的区域，从多个较小范围的区域中确定违规区域。
违规区域指的是出现了生产违规事件的区域，生产违规事件指的是违反了生产现场管理规范的事件，生产违规事件可以包括：生产设备的工作状态不符合规范、工作人员的操作动作不符合规范或者工作人员的身份不符合规范，此处不对生产违规事件的具体类型进行限定，具体生产违规事件的类型可以由本领域技术人员可以根据生产实践来酌情确定，比如可以根据产品生产的要求来指定对应的生产现场管理规范。
此处可以利用神经网络模型来对生产现场图像进行处理，得到违规区域，还可以将生产现场图像与合规的生产现场图像进行对比，确定违规区域，还可以从生产现场图像中提取出相应的实时参数，将实时参数与合规的生产参数进行对比，确定违规区域，此处不对如何根据生产现场图像来得到违规区域的过程进行限定，本领域技术人员可以根据实际情况来决定采用何种算法实现对违规区域的自动定位。
违规区域可以采用线框的形式在生产现场图像中标记出来，也可以以生产现场图像为坐标系，标注出违规区域的坐标值，当然还可以通过其他的形式来呈现违规区域所处的位置，此处不具体限定。
步骤130、基于生产现场图像和违规区域，确定违规区域图像。
可以理解的是，在上述步骤得到了违规区域之后，就能够在生产现场图像中将违规区域与其他区域区分开，此处可以将生产现场图像中的违规区域拆分出来，得到违规区域图像，比如可用裁剪的方式，将违规区域图像保留，将生产现场图像中的其他部分剪切删除，还可以用遮挡的方式，将生产现场图像中的其他部分遮挡，突出违规区域图像。
步骤140、基于违规区域图像，确定违规区域的生产违规事件类型。
可以理解的是，在得到了违规区域图像之后，可以对违规区域图像进行判别，得到违规区域的生产违规事件类型，也就是判断违规区域中存在的生产违规事件属于哪一类别的违规，比如可以为：操作人员未佩戴安全帽，还可以为：生产设备上堆放有杂物，此处不对生产违规事件的具体类型进行限定，本领域技术人员可以根据实际情况来设定生产违规事件的类型。
此处可以利用神经网络模型来对违规区域图像进行处理，得到违规区域的生产违规事件类型，还可以将违规区域图像与多种类型的生产违规事件图像进行对比，确定违规区域的生产违规事件类型，还可以从违规区域图像中提取出相应的实时参数，将违规区域图像对应的违规类型参数表进行对比，确定违规区域的生产违规事件类型，此处不对如何根据违规区域图像来得到生产违规事件的类型的过程进行限定，本领域技术人员可以根据实际情况来决定采用何种算法实现对违规区域图像的自动判定。
值得一提的是，企业6s管理是现代工厂行之有效的现场管理理念和方法，其作用是：提高效率、保证质量、使工作环境整洁有序、预防风险和保证安全。6s管理的有效实施能够提升企业形象、提升员工归属感、减少浪费、保障安全、提升效率以及保障品质。6s管理工作的落实，能为其他管理活动提供优质的管理平台。然而由于厂房物料、人员、工序和机器的多样性，导致了厂房中场景的易变性和复杂性。这就为6s管理在实施中增加了难度。
随着智能时代的到来，机器视觉算法具有速度快、准确率高、省人工以及易应用的优势为6s管理带来了新的契机。
当前存在的企业6S管理方法主要以人工审核为主。由于厂房场景的复杂性于与易变性，在实施的过程中势必会投入极大的人力物力，增加企业的运营成本。且由于人的每个个体存在认知的差异性以及评价的主观性，在管理过程中存在一定的偏差。
发明人在研发过程中发现，采用例如本实施例这种定位级联视觉算法，采用粗精结合的方式自动定位出违规区域，以及确定违规区域的生产违规事件类型，具有推理速度快和鲁棒性好等特点，可以较好的改善6s管理带来的运营成本高以及人工评价主观性等问题。
本发明的生产违规事件检测方法，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
在一些实施例中，上述步骤120、基于生产现场图像，确定违规区域，包括：将生产现场图像输入至区域定位模型中，得到区域定位模型输出的违规区域；其中，区域定位模型为以生产现场样本图像为样本，以与生产现场样本图像对应的违规区域样本数据为样本标签进行训练得到的。
可以理解的是，区域定位模型是神经网络模型，区域定位模型可以为卷积神经网络模型、全卷积神经网络模型或者残差神经网络模型，还可以为其他类型的神经网络，此处不对区域定位模型的具体类型进行限定。
神经网络模型属于人工神经网络(Artificial Neural Networks，简写为ANNs)也简称为神经网络(NNs)或称作连接模型(Connection Model)，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
区域定位模型可以通过大量的生产现场样本图像以及预先标记的违规区域来进行训练，可以通过有监督学习的方式确保区域定位模型的训练准确度。
区域定位模型所使用的深度学习神经网络能够对输入的生产现场样本图像中的特征进行挑拣，将每个特征用于得到一个输出结果，将每个输出结果都和样本标签进行比对，经过比对符合要求的特征可以保留下来，而经过比对不符合要求的特征通过Loss参数进行忽略，经过对输入的大量生产现场样本图像的不断迭代训练，可以最终学会那些需要记忆的核心特征，并将不同的核心特征进行分类，最终可以根据这些核心特征来对新输入的生产现场图像进行判别。
在对区域定位模型进行训练之前，深度学习神经网络的卷积层的滤波器是完全随机的，其不会对任何特征激活，也就是不能检测到任何特征，在训练的过程中，对空白的滤波器修改权重以使其能够检测特定的场景，这正是一种有监督学习方式，基于这种有监督学习方式，深度学习神经网络能够自行学习需要出核心特征，以根据这些核心特征来对新输入的生产现场图像进行判别。
在一些实施例中，区域定位模型包括：热力图分支结构，热力图分支结构用于基于生产现场图像，确定左上角关键点位置和右下角关键点位置。
可以理解的是，热力图分支结构可以基于生产现场图像，预测违规区域左上角和右下角的两个关键点位置，使得区域定位模型能够更加精准地定位出可能出现的违规区域。
热力图分支结构有助于了解一张生产现场图像的哪一部分让卷积神经网络做出了最终的分类决策。
比如可以采用类激活图(CAM，class activation map)可视化算法，类激活图可视化算法是指对输入的生产现场图像生成类激活的热力图，类激活热力图是与特定输出类别相关的二维分数网格，对任何输入图像的每个位置都要进行计算，它表示每个位置对该类别的重要程度。
热力图分支结构的具体运行过程可以为：给定一张生产现场图像，对于一个卷积层的输出特征图，用类别相对于通道的梯度对这个特征图中的每个通道进行加权，通过“每个通道对类别的重要程度”对“输入图像对不同通道的激活强度”的空间图进行加权，从而得到了“输入图像对类别的激活强度”的空间图，这样就能够快速定位到违规区域。
在一些实施例中，上述步骤140、基于违规区域图像，确定违规区域的生产违规事件类型，包括：将违规区域图像输入至区域判别模型中，得到区域判别模型输出的生产违规事件类型；其中，违规区域图像为以违规区域样本图像为样本，以与违规区域样本图像对应的生产违规事件类型样本数据为样本标签进行训练得到的。
可以理解的是，区域判别模型是神经网络模型，区域判别模型可以为卷积神经网络模型、全卷积神经网络模型或者残差神经网络模型，还可以为其他类型的神经网络，此处不对区域判别模型的具体类型进行限定。
区域判别模型可以通过大量的生产违规事件类型样本数据样本图像以及预先标记的生产违规事件类型样本数据来进行训练，可以通过有监督学习的方式确保区域判别模型的训练准确度。
区域判别模型所使用的深度学习神经网络能够对输入的生产违规事件类型样本数据样本图像中的特征进行挑拣，将每个特征用于得到一个输出结果，将每个输出结果都和样本标签进行比对，经过比对符合要求的特征可以保留下来，而经过比对不符合要求的特征通过Loss参数进行忽略，经过对输入的大量生产违规事件类型样本数据样本图像的不断迭代训练，可以最终学会那些需要记忆的核心特征，并将不同的核心特征进行分类，最终可以根据这些核心特征来对新输入的违规区域图像进行判别。
在对区域判别模型进行训练之前，深度学习神经网络的卷积层的滤波器是完全随机的，其不会对任何特征激活，也就是不能检测到任何特征，在训练的过程中，对空白的滤波器修改权重以使其能够检测特定的场景，这正是一种有监督学习方式，基于这种有监督学习方式，深度学习神经网络能够自行学习需要出核心特征，以根据这些核心特征来对新输入的违规区域图像进行判别。
区域判别模型可以是在普通判别器的基础上加入SEV Block违规类别分支，用以判断违规区域属于哪一类违规。
在一些实施例中，区域判别模型还用于：基于违规区域图像，确定生产违规事件类型的概率。
可以理解的是，区域判别模型在训练时，可以将输出结果与对应的样本标签进行比较，得到区域判别模型的准确概率值，那么在模型的测试和应用时，就可以根据违规区域图像输出生产违规事件类型以及对应的概率，通过输出概率，使得用户可以更加直观地知晓生产现场发生的违规事件的可能性。
在一些实施例中，上述步骤130、基于生产现场图像和违规区域，确定违规区域图像，包括：基于违规区域，按照目标比例裁剪生产现场图像，得到违规区域图像。
可以理解的是，在得到了违规区域之后，可以根据违规区域来按照目标比例从生产现场图像中进行裁剪，得到违规区域图像，目标比例可以为1.1的比例，也就是可以将违规区域按照1.1的比例进行放大，对应到生产现场图像中截取放大的违规区域，得到违规区域图像，这样可以便于为后续生产违规事件的判别提供更多的细节，可以提升后续生产违规事件判别的准确性。
下面对本发明提供的生产违规事件检测装置进行描述，下文描述的生产违规事件检测装置与上文描述的生产违规事件检测方法可相互对应参照。
如图2所示，本发明还提供一种生产违规事件检测装置，该生产违规事件检测装置包括：获取模块210、第一确定模块220、第二确定模块230和第三确定模块240。
获取模块210，用于获取生产现场图像。
第一确定模块220，用于基于生产现场图像，确定违规区域。
第二确定模块230，用于基于生产现场图像和违规区域，确定违规区域图像。
第三确定模块240，用于基于违规区域图像，确定违规区域的生产违规事件类型。
本发明的生产违规事件检测装置，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
根据本发明提供的生产违规事件检测方法，第一确定模块，还用于将所述生产现场图像输入至区域定位模型中，得到所述区域定位模型输出的所述违规区域；其中，所述区域定位模型为以生产现场样本图像为样本，以与所述生产现场样本图像对应的违规区域样本数据为样本标签进行训练得到的。
根据本发明提供的生产违规事件检测方法，所述区域定位模型包括：热力图分支结构，所述热力图分支结构用于基于所述生产现场图像，确定左上角关键点位置和右下角关键点位置。
根据本发明提供的生产违规事件检测方法，第三确定模块，还用于将所述违规区域图像输入至区域判别模型中，得到所述区域判别模型输出的所述生产违规事件类型；其中，所述违规区域图像为以违规区域样本图像为样本，以与所述违规区域样本图像对应的生产违规事件类型样本数据为样本标签进行训练得到的。
根据本发明提供的生产违规事件检测方法，所述区域判别模型还用于：基于所述违规区域图像，确定所述生产违规事件类型的概率。
根据本发明提供的生产违规事件检测方法，第二确定模块，还用于基于所述违规区域，按照目标比例裁剪所述生产现场图像，得到所述违规区域图像。
图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行生产违规事件检测方法，该方法包括：获取生产现场图像；基于生产现场图像，确定违规区域；基于生产现场图像和违规区域，确定违规区域图像；基于违规区域图像，确定违规区域的生产违规事件类型。
本发明的电子设备，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的生产违规事件检测方法，该方法包括：获取生产现场图像；基于生产现场图像，确定违规区域；基于生产现场图像和违规区域，确定违规区域图像；基于违规区域图像，确定违规区域的生产违规事件类型。
本发明的计算机程序产品，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的生产违规事件检测方法，该方法包括：获取生产现场图像；基于生产现场图像，确定违规区域；基于生产现场图像和违规区域，确定违规区域图像；基于违规区域图像，确定违规区域的生产违规事件类型。
本发明的非暂态计算机可读存储介质，通过先从生产现场图像中确定违规区域，再从违规区域图像中确定违规区域的生产违规事件类型，能够降低人工成本，提高生产违规事件的定位效率，降低判断误差，提高准确率。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种生产违规事件检测方法，其特征在于，包括：
获取生产现场图像；
基于所述生产现场图像，确定违规区域；
基于所述生产现场图像和所述违规区域，确定违规区域图像；
基于所述违规区域图像，确定违规区域的生产违规事件类型。
2.根据权利要求1所述的生产违规事件检测方法，其特征在于，所述基于所述生产现场图像，确定违规区域，包括：
将所述生产现场图像输入至区域定位模型中，得到所述区域定位模型输出的所述违规区域；
其中，所述区域定位模型为以生产现场样本图像为样本，以与所述生产现场样本图像对应的违规区域样本数据为样本标签进行训练得到的。
3.根据权利要求2所述的生产违规事件检测方法，其特征在于，所述区域定位模型包括：
热力图分支结构，所述热力图分支结构用于基于所述生产现场图像，确定左上角关键点位置和右下角关键点位置。
4.根据权利要求1所述的生产违规事件检测方法，其特征在于，所述基于所述违规区域图像，确定违规区域的生产违规事件类型，包括：
将所述违规区域图像输入至区域判别模型中，得到所述区域判别模型输出的所述生产违规事件类型；
其中，所述违规区域图像为以违规区域样本图像为样本，以与所述违规区域样本图像对应的生产违规事件类型样本数据为样本标签进行训练得到的。
5.根据权利要求4所述的生产违规事件检测方法，其特征在于，所述区域判别模型还用于：
基于所述违规区域图像，确定所述生产违规事件类型的概率。
6.根据权利要求1至5中任一项所述的生产违规事件检测方法，其特征在于，所述基于所述生产现场图像和所述违规区域，确定违规区域图像，包括：
基于所述违规区域，按照目标比例裁剪所述生产现场图像，得到所述违规区域图像。
7.一种生产违规事件检测装置，其特征在于，包括：
获取模块，用于获取生产现场图像；
第一确定模块，用于基于所述生产现场图像，确定违规区域；
第二确定模块，用于基于所述生产现场图像和所述违规区域，确定违规区域图像；
第三确定模块，用于基于所述违规区域图像，确定违规区域的生产违规事件类型。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述生产违规事件检测方法的步骤。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述生产违规事件检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述生产违规事件检测方法的步骤。
CN202210216677.3A 2022-03-07 2022-03-07 生产违规事件检测方法及装置 Pending CN114663698A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210216677.3A CN114663698A (zh) 2022-03-07 2022-03-07 生产违规事件检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210216677.3A CN114663698A (zh) 2022-03-07 2022-03-07 生产违规事件检测方法及装置

Publications (1)

Publication Number Publication Date
CN114663698A true CN114663698A (zh) 2022-06-24

Family

ID=82027239

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210216677.3A Pending CN114663698A (zh) 2022-03-07 2022-03-07 生产违规事件检测方法及装置

Country Status (1)

Country Link
CN (1) CN114663698A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702950A (zh) * 2023-05-06 2023-09-05 中国安全生产科学研究院 基于电力大数据对煤炭行业企业违规生产行为的预测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116702950A (zh) * 2023-05-06 2023-09-05 中国安全生产科学研究院 基于电力大数据对煤炭行业企业违规生产行为的预测方法
CN116702950B (zh) * 2023-05-06 2024-01-23 中国安全生产科学研究院 基于电力大数据对煤炭行业企业违规生产行为的预测方法

Similar Documents

Publication Publication Date Title
CN109150564B (zh) 一种用于小区故障告警的预测方法及装置
WO2020057159A1 (zh) 一种高校餐厅食品加工违规行为视频分析系统及方法
CN109015111A (zh) 一种基于信息融合及支持向量机的刀具状态在线监测方法
CN112347916A (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN105678125A (zh) 一种用户认证方法、装置
CN113516244B (zh) 一种智能运维方法、装置、电子设备及存储介质
CN109063433B (zh) 虚假用户的识别方法、装置及可读存储介质
CN111105150A (zh) 一种项目风险分析系统
CN115358155A (zh) 一种电力大数据异常预警方法、装置、设备及可读存储介质
CN114663698A (zh) 生产违规事件检测方法及装置
CN110995153A (zh) 一种光伏电站的异常数据检测方法、装置及电子设备
CN110000705A (zh) 一种磨机异常加工操作的检测方法、系统及相关组件
CN111651760B (zh) 一种设备安全状态综合分析的方法及计算机可读存储介质
CN113010806A (zh) 水利工程巡查区域的动态巡查方法及装置
CN113536842A (zh) 电力作业人员安全着装识别方法及装置
CN114172708A (zh) 网络流量异常的识别方法
CN110569277A (zh) 一种配置数据信息自动识别与归类方法及系统
CN114386745A (zh) 一种pms变电设备数据核查识别方法及系统
CN114241400A (zh) 电网系统的监控方法及其装置、计算机可读存储介质
CN109286605B (zh) 一种基于大数据的业务行为路径监控方法及装置
CN111881733A (zh) 一种工人作业工步规范视觉识别判定与指导方法和系统
CN117853078B (zh) 基于无人机的建筑工程施工现场动态安全报警系统及方法
CN117172559B (zh) 一种用于物联网数据的风险识别预警方法、系统及存储介质
CN114492877B (zh) 一种业务系统的运维分析方法及装置
CN114553726B (zh) 一种基于功能、资源层面的网络安全运维方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination