CN116597375A - 制造行业现场工艺的异常操作行为检测方法及装置 - Google Patents

Abstract

本发明公开了制造行业现场工艺的异常操作行为检测方法，包括：获取目标区域监控视频，并检测其对应的监控图像是否存在操作体；若是，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体，并确定第一操作体和第一被操作体是否与预设第一操作场景图像中一致；若是，则确实目标监控图像中的第一位置关系与第一标准位置关系是否一致；若是，则认为第一个工序已正常执行，并继续对目标监控图像的下一帧图像进行检测。与现有技术相比，本发明仅需要确定监控视频中是否按现场工艺的发生顺序出现预设的操作场景图像，其操作过程简单，且无需创建复杂的深度学习算法模型，降低了对检测设备的计算力要求，从而降低了检测成本。

Description

制造行业现场工艺的异常操作行为检测方法及装置

技术领域

本发明涉及图像检测的技术领域，尤其涉及制造行业现场工艺的异常操作行为检测方法及装置。

背景技术

智能制造是利用现代信息技术和人工智能技术来实现智能化、自动化、柔性化生产的一种制造方式，已经成为了全球制造业发展的重要趋势。智能制造的引入和应用，可以降低生产成本，提高产品质量和生产效率，为制造业提供更强的竞争力和创新能力，从而推动制造业向高端、智能化方向发展，促进产业转型升级。

在现代化制造业中，为了保证产品的合格率，需要对生产的产品进行检测。现有技术中，存在对生产得到的最终形态的产品进行检测的系统，但是这种检测系统无法检测到以人工操作为主的工序因工作人员操作不规范带来的缺陷，导致产品的不合格率提升；例如：在安装电路板CPU的散热片之前，需要对CPU表面涂抹硅脂，之后再安装散热片，涂抹硅脂这一步骤属于隐蔽工艺，当散热片安装之后，对整体产品进行检测是无法辨别是否已经进行了硅脂涂抹这一操作的，而这一操作会直接影响电路板的使用效果。

针对上述问题，研究人员又提出了针对产品的操作工序进行监督检查的方法，例如：在公开号为CN111709437A的中国专利中，提出了一种面向石油化工行业现场工艺行为的异常行为检测方法，该检测方法基于无监督学习的工控系统态势理解算法，结合精馏塔现场实时数据，通过自编码器和K-means等无监督学习算法对系统的正常工况进行建模，并以此作为基准来得到每个时刻系统状态与正常工况的偏离程度来作为安全态势要素，在时间维度上对其进行融合计算，得到系统当前态势，为后续态势预测阶段提供数据基础，在计算出的状态偏离正常工况状态超出预设阈值时，触发危险警告；但是这种检测方法方案复杂，使用的算法对检测设备计算力要求非常高，会大幅增加产品的生产及检测成本。

发明内容

本发明提供一种制造行业现场工艺的异常操作行为检测方法及装置，能够更为简单的对制造行业现场工艺的异常操作行为进行检测，解决现有技术对检测设备计算力要求高的技术问题，降低产品的生产及检测成本。

为达到上述目的，本发明采用如下技术方案：

第一方面，本发明提供了制造行业现场工艺的异常操作行为检测方法，该方法包括：获取目标区域的监控视频，并检测所述监控视频对应的监控图像中是否存在操作体；所述目标区域为执行操作工艺的区域，所述操作体为执行所述操作工艺的主体；

在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体，并确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致；所述预设第一操作场景图像为所述操作工艺的第一个工序对应的标准操作场景，所述操作场景包括操作体、被操作体以及所述操作体和所述被操作体的位置关系；

对于所述第一操作体和所述第一被操作体分别与所述第一标准操作体和所述第一标准被操作体一致的目标监控图像，确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系；

若所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系一致，则确定所述第一个工序已正确执行，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至所述监控视频中的全部图像帧均被检测完成；

若所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系不一致，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到所述下一帧图像中的操作体和被操作体与所述第一标准操作体和第一标准被操作体一致，且所述第一位置关系与所述第一标准位置关系一致，则确定所述第一个工序正确执行；或，直至所述监控视频的最后一帧都未检测到所述第一位置关系与所述第一标准位置关系一致的监控图像，则确定所述第一个工序执行异常，输出告警信息。

在一种可能的实现方式中，所述确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致，具体包括：

从基元数据库获取所述预设第一操作场景图像中包括所述第一标准被操作体的不同姿态的单体图像；

基于所述不同姿态的单体图像，通过预设目标检测算法识别所述第一被操作体，并确认所述第一被操作体是否为所述第一标准被操作体；

通过预设姿态检测算法对预设检测点进行检测，以识别所述第一操作体，并确认所述第一操作体是否为所述第一标准操作体；所述预设检测点为多个所述第一操作体的特征点。

在一种可能的实现方式中，所述确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系，具体包括：

基于预设姿态检测算法识别所述第一操作体，并将所述第一操作体的位置以多个关键点表示；所述关键点的位置根据识别到的所述特征点的位置确定；

基于预设目标检测算法识别所述目标监控图像中的所述第一被操作体，并将所述第一被操作体的位置以目标框表示；

根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系。

在一种可能的实现方式中，所述根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系，具体包括：

获取位于所述目标框内的所述关键点的数量，并根据所述数量与预设第一阈值的大小，确定所述第一操作体和所述第一被操作体之间的第一相对关系；所述第一相对关系包括接触与分离，在所述数量大于所述预设第一阈值时，所述第一操作体和所述第一被操作体之间接触；

获取多个所述第一被操作体的目标框的交叠部分面积占多个所述第一被操作体的目标框的总面积的比值，并根据所述比值与第二预设阈值的大小，确定多个所述第一被操作体之间的第二相对关系；所述第二相对关系包括接触与分离，在所述比值大于所述预设第二阈值时，所述多个所述第一被操作体之间分离；

根据所述第一相对关系和所述第二相对关系确定所述第一位置关系。

在一种可能的实现方式中，在所述继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致之后，所述方法还包括：

若所述监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，输出检测通过信息。

在一种可能的实现方式中，在所述在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体的过程中，所述方法还包括：

若在所述监控视频的监控图像中连续未检测到所述第一操作体的时间超出预设第三阈值，则确定本次检测过程异常结束，输出异常提示信息，并重新检测所述监控视频对应的监控图像中是否存在操作体。

在一种可能的实现方式中，在所述获取目标区域的监控视频之前，所述方法还包括：

接收用户输入的自定义场景数据，并根据所述自定义场景数据更新操作工艺的不同工序对应的操作场景图像。

第二方面，本发明提供了制造行业现场工艺的异常操作行为检测装置，包括：

监测模块，用于获取目标区域的监控视频，并检测所述监控视频对应的监控图像中是否存在操作体；所述目标区域为执行操作工艺的区域，所述操作体为执行所述操作工艺的主体；

第一处理模块，用于在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体，并确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致；所述预设第一操作场景图像为所述操作工艺的第一个工序对应的标准操作场景，所述操作场景包括操作体、被操作体以及所述操作体和所述被操作体的位置关系；

第二处理模块，用于对所述第一操作体和所述第一被操作体分别与所述第一标准操作体和所述第一标准被操作体一致的目标监控图像，确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系；

第三处理模块，用于在所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系一致时，则确定所述第一个工序已正确执行，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至所述监控视频中的全部图像帧均被检测完成；

第四处理模块，用于在所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系不一致时，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到所述下一帧图像中的操作体和被操作体与所述第一标准操作体和第一标准被操作体一致，且所述第一位置关系与所述第一标准位置关系一致，则确定所述第一个工序正确执行；或，直至所述监控视频的最后一帧都未检测到所述第一位置关系与所述第一标准位置关系一致的监控图像，则确定所述第一个工序执行异常，输出告警信息。

在一种可能的实现方式中，所述第一处理模块具体被配置为执行：

检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体；

从基元数据库获取所述预设第一操作场景图像中包括所述第一标准被操作体的不同姿态的单体图像；

基于所述不同姿态的单体图像，通过预设目标检测算法识别所述第一被操作体，并确认所述第一被操作体是否为所述第一标准被操作体；

通过预设姿态检测算法对预设检测点进行检测，以识别所述第一操作体，并确认所述第一操作体是否为所述第一标准操作体；所述预设检测点为多个所述第一操作体的特征点。

在一种可能的实现方式中，所述第二处理模块对所述第一操作体和所述第一被操作体分别与所述第一标准操作体和所述第一标准被操作体一致的目标监控图像的过程，具体被配置为执行：

基于预设姿态检测算法识别所述第一操作体，并将所述第一操作体的位置以多个关键点表示；所述关键点的位置根据识别到的所述特征点的位置确定；

基于预设目标检测算法识别所述目标监控图像中的所述第一被操作体，并将所述第一被操作体的位置以目标框表示；

根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系。

在一种可能的实现方式中，在根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系时，所述第二处理模块具体被配置为执行：

获取位于所述目标框内的所述关键点的数量，并根据所述数量与预设第一阈值的大小，确定所述第一操作体和所述第一被操作体之间的第一相对关系；所述第一相对关系包括接触与分离，在所述数量大于所述预设第一阈值时，所述第一操作体和所述第一被操作体之间接触；

获取多个所述第一被操作体的目标框的交叠部分面积占多个所述第一被操作体的目标框的总面积的比值，并根据所述比值与第二预设阈值的大小，确定多个所述第一被操作体之间的第二相对关系；所述第二相对关系包括接触与分离，在所述比值大于所述预设第二阈值时，所述多个所述第一被操作体之间分离；

根据所述第一相对关系和所述第二相对关系确定所述第一位置关系。

在一种可能的实现方式中，在所述继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致之后，所述第三处理模块还被配置为执行：

若所述监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，输出检测通过信息。

在一种可能的实现方式中，在所述在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体的过程中，所述第一处理模块具体被配置为执行：

若在所述监控视频的监控图像中连续未检测到所述第一操作体的时间超出预设第三阈值，则确定本次检测过程异常结束，输出异常提示信息，并重新检测所述监控视频对应的监控图像中是否存在操作体。

在一种可能的实现方式中，所述装置还包括数据采集模块，在所述获取目标区域的监控视频之前，所述数据采集模块具体被配置为执行：

接收用户输入的自定义场景数据，并根据所述自定义场景数据更新操作工艺的不同工序对应的操作场景图像。

第三方面，本发明提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的制造行业现场工艺的异常操作行为检测方法。

第四方面，本发明提供一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的制造行业现场工艺的异常操作行为检测方法。

本发明实施例提供的检测方法，首先以执行操作工艺的区域为目标区域，获取目标区域的监控视频，并在监控视频中检测到操作体后，开启操作行为检测；之后逐帧检测监控图像中是否出现预设的第一幅操作场景图像中的操作体和被操作体，若出现，则进一步判断检测到的操作体和被操作体的位置关系与第一幅操作场景图像中的操作体和被操作体的位置关系是否一致，若是，则说明第一幅操作场景图像对应的操作工艺已被正常执行，并按照上述方法依次检测监控视频中是否出现预设的第二幅操作场景图像直至最后一帧操作场景图像，若是，则认为此次操作行为无异常操作。也就是本发明的检测方法仅需要按照现场工艺的发生顺序获取不同工艺对应的操作场景图像，并确定这些操作场景是否按照时间顺序依次出现在监控视频中，即可确定现场工艺是否存在异常操作行为，整体检测方法操作简单；与现有技术相比，本发明无需创建复杂的深度学习算法模型，降低了对检测设备的计算力要求，从而降低了检测成本。

附图说明

图1为本发明实施例提供的制造行业现场工艺的异常操作行为检测方法的步骤流程图；

图2中(a)为本发明实施例提供的通过相机采集目标区域监控视频时的一个相机视野图，图2中(b)为相机视野校准时的示意图；

图3为本发明实施例提供的第一操作体和第一被操作体的位置关系的示意图；

图4为本发明实施例提供的制造行业现场工艺的异常操作行为检测装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。另外，“基于”或“根据”的使用意味着开放和包容性，因为“基于”或“根据”一个或多个所述条件或值的过程、步骤、计算或其他动作在实践中可以基于额外条件或超出所述的值。

在现代化制造业中，制造工艺流程复杂多变，存在大量以人工操作为主的生产工序，这些生产工序容易受到操作人员不规范操作行为的影响，导致产品不合格率的提升，从而增加产品生产过程中的成本损失。

为了降低产品的不合格率，研究人员提出了两种监督监测系统，第一种是对生产出的最终形态的产品进行检测。公开号为“CN115774055A”和“CN115797342A”等中国专利中公开的，对集成电路内部和LCD显示屏最终的成品进行缺陷检测。这种监测系统是对生产出的最终产品进行检测，只能检测出已经被损坏的产品，无法检测到以人工操作为主的工序因工作人员操作不规范带来的缺陷。例如：在安装电路板CPU的散热片之前，需要对CPU表面涂抹硅脂，之后再安装散热片，涂抹硅脂这一步骤属于隐蔽工艺，当散热片安装之后，对整体产品进行检测是无法辨别是否已经进行了硅脂涂抹这一操作的，而这一操作会直接影响电路板的使用效果，现有的检测系统只能对最终的产品进行检测，无法检测到涂抹硅脂这一隐蔽工艺，导致产品的不合格率提升。

第一种是针对产品的操作工序进行监督检查的方法，例如：在公开号为CN111709437A的中国专利中，提出了一种面向石油化工行业现场工艺行为的异常行为检测方法，该检测方法基于无监督学习的工控系统态势理解算法，结合精馏塔现场实时数据，通过自编码器和K-means等无监督学习算法对系统的正常工况进行建模，并以此作为基准来得到每个时刻系统状态与正常工况的偏离程度来作为安全态势要素，在时间维度上对其进行融合计算，得到系统当前态势，为后续态势预测阶段提供数据基础，在计算出的状态偏离正常工况状态超出预设阈值时，触发危险警告；但是这种检测方法方案复杂，使用的算法对检测设备计算力要求非常高，会大幅增加产品的生产及检测成本。

为了解决现有检测方法方案复杂、对检测设备计算力要求高的问题，降低产品的生产及检测成本，本发明实施例提供了制造行业现场工艺的异常操作行为检测方法及装置。

如图1所示，制造行业现场工艺的异常操作行为检测方法可以包括如下步骤：

步骤101、获取目标区域的监控视频，并检测监控视频对应的监控图像中是否存在操作体。

其中，目标区域为执行操作工艺的区域，操作体为执行操作工艺的主体，具体的，操作体可以为操作人员的手、也可以为机械臂。

监控视频通过相机采集，且监控视频需要能清楚、完整的显示目标区域内操作人员的全部操作。

如图2中(a)所示，包括操作桌面201、操作人员的手202，在本实施例中，执行操作工艺的区域为图中的操作桌面201，相机架设在操作桌面201的前方，能够清楚的采集操作桌面201区域的图像；操作体为操作人员的手202。

进一步的，为了确保操作行为检测方法的执行，减少相机摄像头被遮挡或被移动对检测结果的影响，本发明的相机采用固定视野，即相机始终架设在操作桌面的前方，相机视野中能看到操作桌面的三条边缘线。

如图2中(b)所示，包括标准线203，正确的视野范围能够确保操作人员的操作行为被监控到，是本发明的检测方法执行的重要前提，也是保证本发明的现场工艺生产的产品可靠性的重要保障。因此，在检测开始前，需要移动相机调准相机的视野范围，使桌面的三条边缘线位于图2(b)中预设的两条标准线203之间。

步骤102、在检测到存在操作体后，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体，并确定第一操作体和第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致。

其中，被操作体即操作体执行的主体。预设第一操作场景图像为操作工艺的第一个工序对应的标准操作场景，操作场景包括操作体、被操作体以及操作体和被操作体的位置关系。

操作场景是一个现场工艺场景，按照现场工艺的发生顺序将操作场景以多个操作场景图像表示，多个操作场景图像的排列顺序与现场工艺的发生顺序相同。每个操作场景图像中均包括操作体、被操作体以及操作体与被操作体的位置关系；不同操作场景图像中操作体、被操作体以及操作体与被操作体的位置关系可以相同，也可以不同。

也就是说，在上一步检测到监控画面出现操作体之后，开启一次操作行为检测。

具体的，从监控图像的当前帧开始，逐帧检测监控图像中是否出现预设第一操作场景中包含的第一标准操作体和第一标准被操作体。

步骤103、对于第一操作体和第一被操作体分别与第一标准操作体和第一标准被操作体一致的目标监控图像，确定目标监控图像中的第一操作体和第一被操作体的第一位置关系。

具体的，将检测到的出现预设第一操作场景中包含的第一标准操作体和第一标准被操作体的监控图像作为目标监控图像，并确定目标监控图像中第一操作体和第一被操作体的位置关系。

也就是说，本发明只确定目标监控图形中操作体和被操作体的位置关系，减少了不必要的处理过程，减少了数据处理量，从而降低了检测装置的计算量。

步骤104、若第一位置关系与第一标准操作体和第一标准被操作体的第一标准位置关系一致，则确定第一个工序已正确执行，继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至监控视频中的全部图像帧均被检测完成。

具体的，如果目标监控图像中第一操作体和第一被操作体中的第一位置关系与预设第一操作场景中第一标准操作体和第一标准被操作体的第一标准位置关系一致，则说明目标监控图像与预设第一操作场景一致，即预设第一操作场景对应的现场工艺的第一工序已经被正确执行。

之后，从目标监控图像对应的下一帧图像开始，继续逐帧检测监控图像中的第二操作体和第二被操作体与预设第二操作场景中包含的第二标准操作体和第二标准被操作体是否一致，若是，则将该监控图像作为新的目标监控图像；之后获取目标监控图像中检测到的第二操作体和第二被操作体的第二位置关系，并确定第二位置关系与预设第二操作场景中第二标准操作体和第二标准被操作体的第二标准位置关系是否一致。

若第二位置关系与第二标准位置关系一致，则说明新的目标监控图像与预设第二操作场景一致，即预设第二操作场景对应的现场工艺的第二工序已经被正确执行。

按照上述步骤，从目标监控图像的下一帧开始，继续逐帧对监控图像中的操作体和被操作体进行检测，确定监控图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至监控视频中的全部图像帧均被检测完成，或标准操作场景全部通过检测。

进一步的，在继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致之后，方法还包括：

若监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，输出检测通过信息。

具体的，在预设第一操作场景对应的现场工艺的第一工序以及预设第二操作场景对应的现场工艺的第二工序已经被正确执行之后，按照同样的处理方法继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定监控图像中的操作场景是否与下一个工序对应的标准操作场景一致。

如果一直检测到监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，则说明现场工艺的第一工序到最后一个工序都已经被正确执行，此次操作行为检测无异常操作，输出检测通过信息提示操作人员，本次操作已通过检测，可以开启下一次操作行为检测。

步骤105、若第一位置关系与第一标准操作体和第一标准被操作体的第一标准位置关系不一致，继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到下一帧图像中的操作体和被操作体与第一标准操作体和第一标准被操作体一致，且第一位置关系与第一标准位置关系一致，则确定第一个工序正确执行；或，直至监控视频的最后一帧都未检测到第一位置关系与第一标准位置关系一致的监控图像，则确定第一个工序执行异常，输出告警信息。

具体的，如果目标监控图像中第一操作体和第一被操作体中的第一位置关系与预设第一操作场景中第一标准操作体和第一标准被操作体的第一标准位置关系不一致，则说明预设第一操作场景对应的现场工艺的第一工序还未被正确执行。

从目标监控图像的下一帧开始，继续对监控图像中的操作体和被操作体进行检测，直至在监控图像中检测到第一操作体和第一被操作体，同时监控图像中第一操作体和第一被操作体的第一位置关系与预设第一操作场景中的第一标准位置关系一致，说明预设第一操作场景对应的现场工艺的第一工序已经被正确执行。

若直至一直检测到监控图像的最后一帧都再未检测到同时存在第一操作体和第一被操作体的监控图像，或第一位置位置关系和第一标准位置关系始终不一致，则认为预设第一操作场景对应的现场工艺的第一工序已经执行异常，并输出告警信息。

告警信息可以为声光报警信号、语音提示信息或文字提示信息，用于提醒操作人员本次操作行为检测存在异常操作。

如果第二位置关系与第二标准操作体和第二标准被操作体的第二标准位置关系不一致，继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，具体检测方式与上述对第一操作体和第一被操作体的检测方式相同。

进一步的，在检测到存在操作体后，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体的过程中，检测方法还包括：

若在监控视频的监控图像中连续未检测到第一操作体的时间超出预设第三阈值，则确定本次检测过程异常结束，输出异常提示信息，并重新检测监控视频对应的监控图像中是否存在操作体。

具体的，第一操作体为操作人员的手，在操作行为检测过程中，如果操作人员的手离开相机监控画面的时间超出预设第三阈值，则认为本次操作行为出现异常操作，同时输出异常提示信息，提醒操作人员重新进行本次操作。

在本实施例中，预设第三阈值为3秒，如果检测到操作人员的单只手或双手离开监控画面的时间超出3秒，则认为本次操作为异常操作。

本发明的操作行为检测方法能够接收用户的自定义场景数据，并根据自定义场景数据更新操作工艺的不同工序对应的操作场景图像，从而扩大该检测方法的应用场景，使该检测方法可以应用于多种制造行业中以人工操作为主的现场工艺中，例如：电器行业元件组装工艺、机械行业零件组装工艺、服装制造行业生产缝合工艺等。

本发明实施例提供的检测方法，首先以执行操作工艺的区域为目标区域，获取目标区域的监控视频，并在监控视频中检测到操作体后，开启操作行为检测；之后逐帧检测监控图像中是否出现预设的第一幅操作场景图像中的操作体和被操作体，若出现，则进一步判断检测到的操作体和被操作体的位置关系与第一幅操作场景图像中的操作体和被操作体的位置关系是否一致，若是，则说明第一幅操作场景图像对应的操作工艺已被正常执行，并按照上述方法依次检测监控视频中是否出现预设的第二幅操作场景图像直至最后一帧操作场景图像，若是，则认为此次操作行为无异常操作。

也就是本发明的检测方法仅需要按照现场工艺的发生顺序获取不同工艺对应的操作场景图像，并确定这些操作场景是否按照时间顺序依次出现在监控视频中，即可确定现场工艺是否存在异常操作行为，整体检测方法操作简单；与现有技术相比，本发明无需创建复杂的深度学习算法模型，降低了对检测设备的计算力要求，从而降低了检测成本。

本发明的检测方法是对制造行业现场工艺的执行过程进行检测，能够对产品生产过程中的每一个工序进行检测，减少因产品生产过程中工艺缺失或工艺执行错误造成的产品不合格率高的问题，提高了产品的合格率。

进一步的，步骤102中，确定第一操作体和第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致，具体包括：

步骤1021、从基元数据库获取预设第一操作场景图像中包括第一标准被操作体的不同姿态的单体图像。

具体的，第一标准被操作体可以为一个也可以为多个，若第一标准被操作体为多个，多个第一标准被操作体可以为相同的部件，也可以为不同的部件。基元数据库通过目标检测模型实现。

在本实施例中，基元数据库中存储有多张第一标准被操作体不同拍摄角度、不同拍摄距离以及不同光照情景下拍摄的单体图像。

步骤1022、基于不同姿态的单体图像，通过预设目标检测算法识别第一被操作体，并确认第一被操作体是否为第一标准被操作体。

本实施例中，预设目标检测算法为YOLOv5目标检测模型的目标检测算法，基元数据库与YOLOv5目标检测模型关联，通过YOLOv5目标检测模型逐帧识别监控画面中的第一被操作体，并确实识别到的第一被操作体是否为第一标准被操作体。

步骤1023、通过预设姿态检测算法对预设检测点进行检测，以识别第一操作体，并确认第一操作体是否为第一标准操作体。

其中，预设检测点为多个第一操作体的特征点。

第一操作体可以为操作人员的手或机械臂，预设检测点为第一操作体上的特征点，例如：操作人员的手或机械臂的关节点，通过检测关节点对第一操作体进行识别，并确定识别到的第一操作体与第一标准操作体是否一致。

进一步的，步骤103中，确定目标监控图像中的第一操作体和第一被操作体的第一位置关系，具体包括：

步骤1031、基于预设姿态检测算法识别第一操作体，并将第一操作体的位置以多个关键点表示。

其中，关键点的位置根据识别到的特征点的位置确定。

如图3所示，在本实施例中，第一操作体为操作人员的手，预设姿态检测算法为手部姿态检测算法；通过手部姿态检测算法从目标监控图像中识别21个手关节点的坐标，并以识别出的21个坐标点表示识别到的操作人员的手。

步骤1032、基于预设目标检测算法识别目标监控图像中的第一被操作体，并将第一被操作体的位置以目标框表示。

如图3所示，在本实施例中，第一被操作体为散热片，通过预设目标检测算法识别到散热片的位置之后，在散热片外周形成检测目标框，通过该目标框表示识别到的散热片。

步骤1033、根据多个关键点与目标框的交叠程度、以及目标框之间的交叠程度确定第一操作体和第一被操作体的第一位置关系。

在本实施例中，第一操作体为操作人员的手，第一被操作体为散热片和CPU。

通过以21个坐标点表示的人手与以目标框表示的散热片的交叠程度、以及表示散热片的目标框和表示CPU的目标框的交叠程度，确定第一操作体和第一被操作体之间的第一位置关系。

进一步的，根据多个关键点与目标框的交叠程度、以及目标框之间的交叠程度确定第一操作体和第一被操作体的第一位置关系，具体包括：

获取位于目标框内的关键点的数量，并根据数量与预设第一阈值的大小，确定第一操作体和第一被操作体之间的第一相对关系。

其中，第一相对关系包括接触与分离，在数量大于预设第一阈值时，第一操作体和第一被操作体之间接触。

如图3所示，在本实施例中，第一操作体以21个关键点表示，第二操作体以目标框表示，预设第一阈值为1，即只要有一个关键点位于目标框内，则认为第一操作体和第一被操作体之间的第一相对关系为接触，否则为分离。

而图3中存在4个关键点位于目标框内，大于预设第一阈值，说明本实施例中第一操作体和第一被操作体之间的第一相对关系为接触。

获取多个第一被操作体的目标框的交叠部分面积占多个第一被操作体的目标框的总面积的比值，并根据比值与第二预设阈值的大小，确定多个第一被操作体之间的第二相对关系；第二相对关系包括接触与分离，在比值大于预设第二阈值时，多个第一被操作体之间分离。

在本实施例中，包括两个第一被操作体，分别为散热片和CPU，第二预设阈值为20％，若两个第一被操作体重叠部分的面积与两个第一被操作体的总面积之间的比值大于第二预设阈值，则说明两个第一被操作体之间的第二相对关系为接触，否则为分离。

根据第一相对关系和第二相对关系确定第一位置关系。

具体的，第一位置关系包括第一操作体和第一被操作体之间的第一相对关系，以及第一被操作体之间的第二相对关系，因此，根据得到的第一相对关系关系与第二相对关系可以确定第一位置关系。

本发明以在安装电路板CPU的散热片之前，需要对CPU表面涂抹硅脂这一现场工艺为例。

在这一现场工艺中需要判断的工序包括三个：第一、操作人员是否手持硅胶棒；第二操作人员是否将硅胶棒涂抹于CPU上；第三、操作人员是否将散热片安装在CPU上。若在一次检测过程中，从监控视频中依次检测到这三个场景，则认为该工艺已被正常执行。

也就是说，本实施例中，操作体为操作人员的手。预设操作场景图像包括与上述工序依次对应的预设第一操作场景图像、预设第二操作场景图像以及预设第三操作场景图像。

其中，预设第一操作场景图像中第一标准操作体为操作人员的手、第一标准被操作体为硅胶棒，第一标准位置关系为操作人员的手与硅胶棒接触；预设第二操作场景图像中第二标准操作体为操作人员的手、第二标准被操作体为硅胶棒和CPU，第二标准位置关系为操作人员的手与硅胶棒接触、硅胶棒与CPU接触；预设第三操作场景图像中第三标准操作体为操作人员的手、第三标准被操作体为散热片和CPU，第三标准位置关系为操作人员的手与散热片接触、散热片与CPU接触。

将相机固定在操作桌面的正前方，通过相机获取操作桌面的监控视频后，逐帧检测监控视频对应的监控图像中是否存在操作人员的双手，若是，则进入一次操作行为检测；若否，则继续检测该监控图像的下一帧是否出现操作人员的双手。

在检测到监控图像中存在操作人员的双手后，从监控视频的当前帧开始，逐帧检测监控视频的监控图像中是否同时出现操作人员的手和硅脂棒。

若同时出现操作人员的手和硅脂棒，则以21个关键点表示操作人员的手的位置，以目标框表示硅脂棒的位置，并根据21个关键点与目标框的重叠度确定操作人员的手是否与硅脂棒接触，如果操作人员的手与硅脂棒接触，则说明该操作场景对应的第一工序已经被正确执行。

如果操作人员的手与硅脂棒不接触，则继续逐帧检测监控视频的监控图像中是否存在操作人员的手与硅脂棒，并继续检测操作人员的手与硅脂棒的位置关系，直至操作人员的手与硅脂棒接触，确定第一工序已经被正确执行；

如果直至监控视频的最后一帧都未检测到与预设第一操作场景图像一致的监控图像，则认为第一个工序执行异常，并输出告警信息，提示操作人员需要从第一个工序开始重新操作。

在操作人员的手与硅脂棒接触之后，从监控视频的下一帧监控图像开始，继续逐帧检测监控图像是否与预设第二操作场景图像一致。

如果监控图像与预设第二操作场景图像一致，则说明第二工序已正确执行，继续逐帧检测监控图像是否与预设第三操作场景图像一致，如果一致，则说明第三工序已经被正确执行，即本次操作行为不存在异常操作，输出检测通过信息。

如果监控图像与预设第二操作场景图像不一致，则从监控图像的下一帧图像开始继续检测，直至监控图像与预设第二操作场景图像一致，并从监控图像的下一帧图像开始继续逐帧检测监控图像是否与预设第三操作场景图像一致。

如果直至监控视频的最后一帧都未检测到与预设第二操作场景图像一致的监控图像，则认为第二个工序执行异常，并输出告警信息，提示操作人员需要从第二个工序开始重新操作。

进一步的，在获取目标区域的监控视频之前，检测方法还包括：

接收用户输入的自定义场景数据，并根据自定义场景数据更新操作工艺的不同工序对应的操作场景图像。

在本实施例中，在进行操作行为检测之前，用户能够根据实际的现场工艺场景上传自定义场景数据。

其中，自定义场景数据包括多个沿按工艺发生顺序依次排列的预设标准操作场景图；每幅预设标准操作场景图中均包括操作体、被操作体以及操作体和被操作体之间的位置关系。

根据自定义场景数据对操作工艺的不同工序对应的操作场景图像进行更新，得到更新后新的操作场景图像，本发明的检测方法根据更新后新的场景图像对监控视频对应的监控图像进行检测。

如果基元数据库中不存在自定义场景数据中的操作体与被操作体的单体图像，用户可以拍摄不同姿态的操作体与被操作体的单体图像添加到基元数据库中。

本发明通过挖掘制造行业现场工艺中操作行为的共性，按照现场工艺的发生顺序设计不同工艺对应的操作场景图像，并通过判断设计好的操作场景图像是否依次出现在监控视频中，确定操作工艺中是否存在异常工序。其中，操作场景图像中包括操作体、被操作体以及操作体和被操作体的位置关系。本发明的检测方法能够根据用户自定义场景数据对操作工艺的不同工序对应的操作场景图像进行更新，使本发明能够快速便捷的适用于新的操作工艺，不再受到操作场景的限制。

在本发明实施例中，通过相机获取目标区域的监控视频，并通过处理器将监控视频上传至云端服务器；通过服务器执行本发明的检测方法，并将告警信息或检测通过信息传回处理器，处理器外接显示屏与报警装置，处理器将接收到的告警信息或检测通过信息发送至显示屏进行显示，并在接收到告警信息后，控制报警装置进行报警。

如图4所示，制造行业现场工艺的异常操作行为检测装置包括：

监测模块301，用于获取目标区域的监控视频，并检测监控视频对应的监控图像中是否存在操作体；目标区域为执行操作工艺的区域，操作体为执行操作工艺的主体；

第一处理模块302，用于在检测到存在操作体后，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体，并确定第一操作体和第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致；预设第一操作场景图像为操作工艺的第一个工序对应的标准操作场景，操作场景包括操作体、被操作体以及操作体和被操作体的位置关系；

第二处理模块303，用于对第一操作体和第一被操作体分别与第一标准操作体和第一标准被操作体一致的目标监控图像，确定目标监控图像中的第一操作体和第一被操作体的第一位置关系；

第三处理模块304，用于在第一位置关系与第一标准操作体和第一标准被操作体的第一标准位置关系一致时，则确定第一个工序已正确执行，继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至监控视频中的全部图像帧均被检测完成；

第四处理模块305，用于在第一位置关系与第一标准操作体和第一标准被操作体的第一标准位置关系不一致时，继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到下一帧图像中的操作体和被操作体与第一标准操作体和第一标准被操作体一致，且第一位置关系与第一标准位置关系一致，则确定第一个工序正确执行；或，直至监控视频的最后一帧都未检测到第一位置关系与第一标准位置关系一致的监控图像，则确定第一个工序执行异常，输出告警信息。

在一种可能的实现方式中，第一处理模块302具体被配置为执行：

检测到存在操作体后，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体；

从基元数据库获取预设第一操作场景图像中包括第一标准被操作体的不同姿态的单体图像；

基于不同姿态的单体图像，通过预设目标检测算法识别第一被操作体，并确认第一被操作体是否为第一标准被操作体；

通过预设姿态检测算法对预设检测点进行检测，以识别第一操作体，并确认第一操作体是否为第一标准操作体；预设检测点为多个第一操作体的特征点。

在一种可能的实现方式中，第二处理模块303对第一操作体和第一被操作体分别与第一标准操作体和第一标准被操作体一致的目标监控图像的过程，具体被配置为执行：

基于预设姿态检测算法识别第一操作体，并将第一操作体的位置以多个关键点表示；关键点的位置根据识别到的特征点的位置确定；

基于预设目标检测算法识别目标监控图像中的第一被操作体，并将第一被操作体的位置以目标框表示；

根据多个关键点与目标框的交叠程度、以及目标框之间的交叠程度确定第一操作体和第一被操作体的第一位置关系。

在一种可能的实现方式中，在根据多个关键点与目标框的交叠程度、以及目标框之间的交叠程度确定第一操作体和第一被操作体的第一位置关系时，第二处理模块303具体被配置为执行：

获取位于目标框内的关键点的数量，并根据数量与预设第一阈值的大小，确定第一操作体和第一被操作体之间的第一相对关系；第一相对关系包括接触与分离，在数量大于预设第一阈值时，第一操作体和第一被操作体之间接触；

获取多个第一被操作体的目标框的交叠部分面积占多个第一被操作体的目标框的总面积的比值，并根据比值与第二预设阈值的大小，确定多个第一被操作体之间的第二相对关系；第二相对关系包括接触与分离，在比值大于预设第二阈值时，多个第一被操作体之间分离；

根据第一相对关系和第二相对关系确定第一位置关系。

在一种可能的实现方式中，在继续对目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致之后，第三处理模块304还被配置为执行：

若监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，输出检测通过信息。

在一种可能的实现方式中，在在检测到存在操作体后，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体的过程中，第一处理模块302具体被配置为执行：

若在监控视频的监控图像中连续未检测到第一操作体的时间超出预设第三阈值，则确定本次检测过程异常结束，输出异常提示信息，并重新检测监控视频对应的监控图像中是否存在操作体。

在一种可能的实现方式中，装置还包括数据采集模块，在获取目标区域的监控视频之前，数据采集模块具体被配置为执行：

接收用户输入的自定义场景数据，并根据自定义场景数据更新操作工艺的不同工序对应的操作场景图像。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本发明还提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述任一项所述的制造行业现场工艺的异常操作行为检测方法。

本发明还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述任一项所述的制造行业现场工艺的异常操作行为检测方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何在本发明揭露的技术范围内的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.制造行业现场工艺的异常操作行为检测方法，其特征在于，包括：

获取目标区域的监控视频，并检测所述监控视频对应的监控图像中是否存在操作体；所述目标区域为执行操作工艺的区域，所述操作体为执行所述操作工艺的主体；

在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体，并确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致；所述预设第一操作场景图像为所述操作工艺的第一个工序对应的标准操作场景，所述操作场景包括操作体、被操作体以及所述操作体和所述被操作体的位置关系；

对于所述第一操作体和所述第一被操作体分别与所述第一标准操作体和所述第一标准被操作体一致的目标监控图像，确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系；

若所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系一致，则确定所述第一个工序已正确执行，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至所述监控视频中的全部图像帧均被检测完成；

若所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系不一致，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到所述下一帧图像中的操作体和被操作体与所述第一标准操作体和第一标准被操作体一致，且所述第一位置关系与所述第一标准位置关系一致，则确定所述第一个工序正确执行；或，直至所述监控视频的最后一帧都未检测到所述第一位置关系与所述第一标准位置关系一致的监控图像，则确定所述第一个工序执行异常，输出告警信息。

2.根据权利要求1所述的检测方法，其特征在于，所述确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致，具体包括：

从基元数据库获取所述预设第一操作场景图像中包括所述第一标准被操作体的不同姿态的单体图像；

基于所述不同姿态的单体图像，通过预设目标检测算法识别所述第一被操作体，并确认所述第一被操作体是否为所述第一标准被操作体；

通过预设姿态检测算法对预设检测点进行检测，以识别所述第一操作体，并确认所述第一操作体是否为所述第一标准操作体；所述预设检测点为多个所述第一操作体的特征点。

3.根据权利要求2所述的检测方法，其特征在于，所述确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系，具体包括：

基于预设姿态检测算法识别所述第一操作体，并将所述第一操作体的位置以多个关键点表示；所述关键点的位置根据识别到的所述特征点的位置确定；

基于预设目标检测算法识别所述目标监控图像中的所述第一被操作体，并将所述第一被操作体的位置以目标框表示；

根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系。

4.根据权利要求3所述的检测方法，其特征在于，所述根据多个所述关键点与所述目标框的交叠程度、以及所述目标框之间的交叠程度确定所述第一操作体和所述第一被操作体的第一位置关系，具体包括：

获取位于所述目标框内的所述关键点的数量，并根据所述数量与预设第一阈值的大小，确定所述第一操作体和所述第一被操作体之间的第一相对关系；所述第一相对关系包括接触与分离，在所述数量大于所述预设第一阈值时，所述第一操作体和所述第一被操作体之间接触；

获取多个所述第一被操作体的目标框的交叠部分面积占多个所述第一被操作体的目标框的总面积的比值，并根据所述比值与第二预设阈值的大小，确定多个所述第一被操作体之间的第二相对关系；所述第二相对关系包括接触与分离，在所述比值大于所述预设第二阈值时，所述多个所述第一被操作体之间分离；

根据所述第一相对关系和所述第二相对关系确定所述第一位置关系。

5.根据权利要求1所述的检测方法，其特征在于，在所述继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致之后，所述方法还包括：

若所述监控视频对应的监控图像中的操作场景与最后一个工序对应的标准操作场景一致，输出检测通过信息。

6.根据权利要求1所述的检测方法，其特征在于，在所述在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体的过程中，所述方法还包括：

若在所述监控视频的监控图像中连续未检测到所述第一操作体的时间超出预设第三阈值，则确定本次检测过程异常结束，输出异常提示信息，并重新检测所述监控视频对应的监控图像中是否存在操作体。

7.根据权利要求1所述的检测方法，其特征在于，在所述获取目标区域的监控视频之前，所述方法还包括：

接收用户输入的自定义场景数据，并根据所述自定义场景数据更新操作工艺的不同工序对应的操作场景图像。

8.制造行业现场工艺的异常操作行为检测装置，其特征在于，包括：

监测模块，用于获取目标区域的监控视频，并检测所述监控视频对应的监控图像中是否存在操作体；所述目标区域为执行操作工艺的区域，所述操作体为执行所述操作工艺的主体；

第一处理模块，用于在检测到存在所述操作体后，从所述监控图像的当前帧开始，逐帧获取所述监控图像中的第一操作体和第一被操作体，并确定所述第一操作体和所述第一被操作体是否与预设第一操作场景图像中的第一标准操作体和第一标准被操作体一致；所述预设第一操作场景图像为所述操作工艺的第一个工序对应的标准操作场景，所述操作场景包括操作体、被操作体以及所述操作体和所述被操作体的位置关系；

第二处理模块，用于对所述第一操作体和所述第一被操作体分别与所述第一标准操作体和所述第一标准被操作体一致的目标监控图像，确定所述目标监控图像中的所述第一操作体和所述第一被操作体的第一位置关系；

第三处理模块，用于在所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系一致时，则确定所述第一个工序已正确执行，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，以确定所述下一帧图像中的操作场景是否与下一个工序对应的标准操作场景一致，直至所述监控视频中的全部图像帧均被检测完成；

第四处理模块，用于在所述第一位置关系与所述第一标准操作体和所述第一标准被操作体的第一标准位置关系不一致时，继续对所述目标监控图像对应的下一帧图像中的操作体和被操作体进行检测，直至检测到所述下一帧图像中的操作体和被操作体与所述第一标准操作体和第一标准被操作体一致，且所述第一位置关系与所述第一标准位置关系一致，则确定所述第一个工序正确执行；或，直至所述监控视频的最后一帧都未检测到所述第一位置关系与所述第一标准位置关系一致的监控图像，则确定所述第一个工序执行异常，输出告警信息。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7中任一项所述的制造行业现场工艺的异常操作行为检测方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7中任一项所述的制造行业现场工艺的异常操作行为检测方法。