CN118038308A - 一种应用于换流阀装配工序的检测方法及检测系统 - Google Patents

Abstract

本发明提供了一种基于监控的换流阀装配工序检测方法及检测系统，该基于监控的换流阀装配工序检测方法通过对换流阀生产流水线上工人、工具、物料和产品的监控视频进行自动分析处理以判断换流阀装配过程中是否存在工序异常的情况，其能够全天候无间断地精确识别工具类型、使用规范、物料类别、数量、动作、时间以及产品是否符合当前工艺要求，以提高对工序异常情况的高效性、精确性和全面性。此外，检测系统还能够根据对异常情况进行实时报警，识别结果的存档查询以及人机交互，以便于后续对换流阀进行质量追溯以及装配过程的实时监管，从而提高流水线的生产质量和生产效率。

Description

一种应用于换流阀装配工序的检测方法及检测系统

技术领域

本发明属于直流输电技术领域，更具体地，涉及一种应用于换流阀装配工序的检测方法及检测系统。

背景技术

换流阀作为换流站的核心设备之一，在多个工序的装配线上，由于人工误操作会导致组件装配过程中发生漏装、错装等操作不规范问题及换流阀组件缺陷等质量问题，将严重威胁直流输电系统的运行安全。现有技术中对于生产的监控，要么设置巡视员在现场对各个工序进行人工检测，要么将各工序的实时监控视频传送到监控中心，由检测员在监控中心通过人工看监控视频的方式进行工序检测。

换流阀装配顺序在装配车间的工序中至关重要，加工装配操作流程存在多工序，多工位集成，目前现有技术都是人工对工序进行检测，因此受到工作状态影响，工人在检查工序时容易出现漏检，错检等情况。同时，工人检测速度难以跟上机器的生产速度。针对相关技术中的问题，本发明提出换流阀装配工序的检测方法及检测系统，以克服现有相关技术所存在的上述问题。

现有技术文件1(CN111144262B)公开了一种基于监控视频的工序异常检测方法，该方法主要应用于工厂输送线，这类工业设备的特点是机械带动货物不断地向前运动，并且每个员工在流水线上负责特定的工序或任务，操作简单。现有技术文件1的不足之处在于，针对目标对象小而多、动作变化快、背景干扰的换流阀装配工序，目标跟踪算法不能准确、及时地定位目标对象。

现有技术文件2(CN 114942620A)公开了一种基于提名图注意力网络的工作流识别方法，现有技术文件2的不足之处在于，使用图神经网络只适用于判断各工序之间的内在关系，不能检测工序的规范性，对于不同的工序操作在视频中可能呈现相同的动作形式，则使用I3D网络可能提取相同的视频特征，导致构建错误的图结构。

发明内容

为解决现有技术中工序检测方式存在检测成本高、效率低、安全隐患较大的问题，本发明提供一种应用于换流阀装配工序的检测方法及检测系统，以解决装配过程中出现的操作不规范问题和质量问题，降低检测成本高，提升检测效率。

本发明采用如下的技术方案。本发明的第一方面提供了一种应用于换流阀装配工序的检测方法，包括以下步骤：

采集摄取各工序的图像和实时视频图像；采用深度学习算法对各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型；加载工序状态模型；按照生产规则添加按预定顺序排列的多个工序；向工序状态模型输入各工序的实时视频图像，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

优选地，步骤1，由图像摄取设备摄取各工序的图像，并提供各工序的实时视频图像；

步骤2，由训练终端采用深度学习算法对所述图像摄取设备提供的各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型；

步骤3，由模型加载模块向所述训练终端发送加载工序状态模型的请求，所述训练终端响应所述请求向所述模型加载模块发送各工序的工序状态模型；

步骤4，由工序设置模块提供模板以由检测者按照生产规则添加按预定顺序排列的多个工序；

步骤5，由工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

优选地，步骤2中，动作识别的backbone部分采用ResNet-50，双流卷积结构分别提取高帧率和低帧率图像特征，特征金字塔方法把不同层的特征进行融合，识别快速变化的动作；

所述目标检测中的backbone部分采用YOLOv8结构，用于增强特征表达能力。

优选地，步骤4中，按照生产规则添加按预定顺序排列的多个预定工序，所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序。

优选地，有些工序需要按固定顺序进行，有些工序则无需按固定顺序进行，执行顺序组合最多包含2层；

以方括号[]表示其内的工序需按顺序依次执行，以大括号{}表示其内的工序无需按顺序依次执行，方括号[]和大括号{}可以嵌套使用。

优选地，步骤5包括：

步骤5.1，识别工序步骤，判断动作是否符合工序顺序，若是，进入步骤5.2；若否，提示上一工序未完成，进入暂停状态；

步骤5.2，对工件、工具进行识别，判断是否使用规定工具，若是，进入步骤5.3；若否，提示使用工具不正确，进入暂停状态；

步骤5.3，判断是否存在返修工件，若否，进入步骤5.4；若是，提示工件返修，进入暂停状态；

步骤5.4，判断动作用时是否正常，若是，进入步骤5.5；若否，根据用时进行提示，进入暂停状态；

步骤5.5，判断动作是否规范，若是，进入步骤5.7；若否，根据程度进行提示，进入暂停状态；

步骤5.6，判断暂停纠正，若是，进入暂停状态；若否，进入步骤5.7；

步骤5.7，判断是否存在后续工序，若是，返回步骤5.1，若否，结束识别。

优选地，步骤5中，进入暂停之后，进行纠正，纠正后判断是否符合工序程序，若是，解除暂停状态；若否，维持暂停状态，再次进行纠正。

优选地，步骤5中，每次检测存储一个日志文件，检测开始至检测结束为一次检测，并将检测过程存储至日志文件；

存储所述日志文件，自定义保留文件的尺寸，日志的内容记录检测功能模块的调用以及通讯；

当模块因意外原因在工序检测进行中中止运行时，在重新启动后继续当前的工序检测。

本发明的第二方面提供了一种应用于换流阀装配工序的检测系统，运行所述的一种应用于换流阀装配工序的检测方法，所述检测系统包括：图像摄取设备、训练终端、模型加载模块、工序设置模块、工序实时检测模块；

所述图像摄取设备图像摄取设备用于摄取各工序的图像，并提供各工序的实时视频图像

所述训练终端通过网络与图像摄取设备相连接，训练终端采用深度学习算法对图像摄取设备通过网络发送的各工序的实时视频图像进行深度学习，从而生成各工序的工序状态模型

所述模型加载模块用于通过网络向训练终端发送加载工序状态模型的请求，训练终端响应请求并通过网络向模型加载模块发送各工序的工序状态模型

所述工序设置模块用于提供模板，检测者按照生产规则添加按预定顺序排列的多个工序

所述工序实时检测模块用于接收由图像摄取设备通过网络发送各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中的当前工序的动作及其工具。

优选地，检测系统还包括：检测日志存储模块、系统功能运行日志存储模块、中断恢复模块、过程检测模块和终端界面。

与现有技术各个工序进行人工检测相比，本发明的有益效果至少包括：

本发明首先采用深度学习算法对各工序的历史视频图像进行深度学习，从而生成各工序的工序状态模型；接着响应请求发送各工序的工序状态模型；然后提供模板以由检测者按照生产规则添加按预定顺序排列的多个工序；最后使用请求获得的各工序的工序状态模型，识别实时视频图像中的当前工序动作及其工具。本发明可以解决人工检测成本高、效率低、安全隐患较大的问题，并能降低检测成本及事故发生率，提升检测效率。

附图说明

图1是本发明提供的一种生产工序检测方法的流程图；

图2是本发明提供的一种生产工序检测系统的框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明的技术方案进行清楚、完整地描述。本申请所描述的实施例仅仅是本发明一部分的实施例，而不是全部实施例。基于本发明精神，本领域普通技术人员在没有作出创造性劳动前提下所获得的有所其它实施例，都属于本发明的保护范围。

如图1、2所示，本发明的实施例1提供了一种应用于换流阀装配工序的检测方法，包括以下步骤：采集摄取各工序的图像和实时视频图像；采用深度学习算法对各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型；加载工序状态模型；按照生产规则添加按预定顺序排列的多个工序；向工序状态模型输入各工序的实时视频图像，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

本发明的实施例2提供了一种应用于换流阀装配工序的检测方法，包括以下步骤：

步骤1，由图像摄取设备摄取各工序的图像，并提供各工序的实时视频图像。

步骤2，由训练终端采用深度学习算法对所述图像摄取设备提供的各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型。

在本发明优选但非限制性的实施方式中，所述动作识别的backbone部分采用ResNet-50，双流卷积结构分别提取高帧率和低帧率图像特征，特征金字塔方法把不同层的特征进行融合，识别快速变化的动作。进一步优选地，使用SlowFast对员工的手部动作进行动作识别。

在本发明优选但非限制性的实施方式中，所述目标检测中的backbone部分采用YOLOv8结构，增强特征表达能力。

通过接收实时视频识别结果结合工序工艺配置判断当前工人所进行工序，以及是否符合工艺要求。视频识别结果包含动作分类结果与目标检测结果。

动作识别结果以及目标检测无法达到100％准确，准确率在90％以上，并且在装配工序进行过程中工人并非总是在进行有效装配动作。因此在进行工序过程检测时需充分考虑以上因素，综合进行判断。在进行过程检测时，分别累计一定时间内的动作检测结果与目标检测结果，进而得出该段时间内的综合检测结果作为工序过程判断依据。

值得注意的是，通过动作识别和目标检测结合的方式解决了小目标检测的问题。进一步地，使用SlowFast对员工的手部动作进行动作识别，配合使用YOLOv8对小目标进行目标检测，在后续逻辑判断中根据配置文件完成工序是否规范的检测，解决了动作变化快、背景干扰的问题，并且通过视频连续处理可以减少人工干预，提高效率，确保工序的顺畅运行。

步骤3，由模型加载模块向所述训练终端发送加载工序状态模型的请求，所述训练终端响应所述请求向所述模型加载模块发送各工序的工序状态模型。

步骤4，由工序设置模块提供模板以由检测者按照生产规则添加按预定顺序排列的多个工序。

在本发明优选但非限制性的实施方式中，步骤4中，按照生产规则添加按预定顺序排列的多个预定工序，所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序。

值得注意的是，本发明主要应用于换流阀装配，该过程的特点是每个员工负责多个工序，更具体地，换流阀工序操作更多涉及手部动作，即动作变化快、幅度小、次数多，每个工序对应的操作具有小目标、变化快的特点，由于某些手部动作具有细微的变化，不同的工序操作在视频中可能呈现相同的动作形式。

在进一步优选但非限制性的实施方式中，有些工序需要按固定顺序进行，有些工序则无需按固定顺序进行，执行顺序组合最多包含2层。优选地，以方括号[]表示其内的工序需按顺序依次执行，以大括号{}表示其内的工序无需按顺序依次执行，方括号[]和大括号{}可以嵌套使用。

在示例但非限制性的实施方式中：

(1)[工序1，工序2，工序3]需按顺序依次执行，即按工序1、2、3的顺序依次执行；

(2){工序4，工序5，工序6}无需按顺序依次执行，即需按工序4、5、6的顺序依次执行；

(3)[[工序1，工序2，工序3]，{工序4，工序5，工序6}]第一段工序需按工序1、2、3的顺序依次执行，第二段工序无需按工序4、5、6的顺序依次执行，第一段工序与第二段工序需按顺序依次执行；

(4){[工序1，工序2，工序3]，{工序4，工序5，工序6}}第一段工序需按工序1、2、3的顺序依次执行，第二段工序无需按工序4、5、6的顺序依次执行，第一段工序与第二段工序无需按顺序依次执行。

步骤5，由工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

在本发明优选但非限制性的实施方式中，步骤5包括：

步骤5.1，识别工序步骤，判断动作是否符合工序顺序，若是，进入步骤5.2；若否，提示上一工序未完成，进入暂停状态；

步骤5.2，对工件、工具进行识别，判断是否使用规定工具，若是，进入步骤5.3；若否，提示使用工具不正确，进入暂停状态；

步骤5.3，判断是否存在返修工件，若否，进入步骤5.4；若是，提示工件返修，进入暂停状态；

步骤5.4，判断动作用时是否正常，若是，进入步骤5.5；若否，根据用时进行提示，进入暂停状态；

步骤5.5，判断动作是否规范，若是，进入步骤5.7；若否，根据程度进行提示，进入暂停状态；

步骤5.6，判断暂停纠正，若是，进入暂停状态；若否，进入步骤5.7；

步骤5.7，判断是否存在后续工序，若是，返回步骤5.1，若否，结束识别。

进一步优选地，进入暂停之后，进行纠正，纠正后判断是否符合工序程序，若是，解除暂停状态；若否，维持暂停状态，再次进行纠正。

在本发明优选但非限制性的实施方式中，在工序检测完成时，保存检测结果中的三帧图像作为工序检测记录的主要依据，主要记录各工序起止时间，工序完成情况，异常情况等。

步骤5中，每次检测存储一个日志文件，即检测开始至检测结束为一次检测，并将检测过程存储至日志文件。存储所述日志文件，运行日志可自定义保留文件的尺寸，日志的内容主要记录检测功能模块的调用以及通讯。当模块因意外原因在工序检测进行中中止运行时，可在重新启动后继续当前的工序检测。

更进一步地，本发明针对视频中的目标对象进行动作识别和目标检测检测当前工序操作的规范性，并根据逻辑判断中的配置文件判断工序操作的顺序。可以处理连续视频，不需要提取视频片段和构建网络结构。利用动作识别和目标检测在连续视频中检测换流阀工序操作的规范性，适用于低重复性和高复杂性的生产任务，可以提高效率和一致性，大幅度降低检测成本。

本发明的实施例3提供了一种应用于换流阀装配工序的检测系统，运行实施例1或2所述的一种应用于换流阀装配工序的检测方法，所述检测系统包括：图像摄取设备、训练终端、模型加载模块、工序设置模块、工序实时检测模块。

所述图像摄取设备图像摄取设备用于摄取各工序的图像，并提供各工序的实时视频图像。优选地，图像摄取设备可为与网络连接的网络摄像机，其还具有用于存储视频图像的存储器。

所述训练终端通过网络与图像摄取设备相连接，训练终端采用深度学习算法对图像摄取设备通过网络发送的各工序的实时视频图像进行深度学习，从而生成各工序的工序状态模型。进一步地，各工序的工序状态模型包括：动作识别模型及目标检测模型。在优选但非限制性的实施方式中，深度学习算法包括神经网络算法等。

所述模型加载模块用于通过网络向训练终端发送加载工序状态模型的请求，训练终端响应请求并通过网络向模型加载模块发送各工序的工序状态模型。

所述工序设置模块用于提供模板，检测者按照生产规则添加按预定顺序排列的多个工序，工序设置模块将检查者设置好的多个工序设计为数据结构。

所述工序实时检测模块用于接收由图像摄取设备通过网络发送各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中的当前工序的动作及其工具。进一步地，工序实时检测模块判断动作是否符合工序顺序，若否则提示上一工序未完成，若是则继续判断当前工序是否使用规定的工具，若否则提示使用工具不正确。然后继续判断有无返修工件，若是则继续判断动作时长，若否则提示工件返修。判断当前工序动作是否规范，若是则继续判断是否存在紧后工序，若否则判断当前工序动作是否暂停并纠正。继续判断纠正动作是否符合工序规程，若是则重新进行工序步骤识别，若否则继续保持暂停状态。最后工序结束，生成日志。

在优选但非限制性的实施方式中，检测系统还包括：检测日志存储模块、系统功能运行日志存储模块、中断恢复模块、过程检测模块和终端界面。

具体地，检测日志存储模块用于，在工序检测完成时，保存检测结果中的三帧图像作为工序检测记录的主要依据，主要记录各工序起止时间，工序完成情况，异常情况等。每次检测存储一个日志文件，既检测开始至检测结束为一次检测，并将检测过程存储至日志文件。

系统功能运行日志存储模块用于，通过运行日志自定义保留文件的尺寸，日志的内容主要记录检测功能模块的调用以及通讯。

中断恢复模块用于当模块因意外原因在工序检测进行中中止运行时，可在重新启动后继续当前的工序检测。

本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。

Claims (10)

1.一种应用于换流阀装配工序的检测方法，其特征在于，包括以下步骤：

采集摄取各工序的图像和实时视频图像；采用深度学习算法对各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型；加载工序状态模型；按照生产规则添加按预定顺序排列的多个工序；向工序状态模型输入各工序的实时视频图像，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

2.一种应用于换流阀装配工序的检测方法，其特征在于，包括以下步骤：

步骤1，由图像摄取设备摄取各工序的图像，并提供各工序的实时视频图像；

步骤2，由训练终端采用深度学习算法对所述图像摄取设备提供的各工序的视频图像进行识别，从而生成各工序的包括动作识别模型及目标检测模型的工序状态模型；

步骤3，由模型加载模块向所述训练终端发送加载工序状态模型的请求，所述训练终端响应所述请求向所述模型加载模块发送各工序的工序状态模型；

步骤4，由工序设置模块提供模板以由检测者按照生产规则添加按预定顺序排列的多个工序；

步骤5，由工序实时检测模块接收由所述图像摄取设备提供的各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中当前工序的动作和工具，判断当前工序的动作和工具是否符合规程，若否则发送非法工序警示，若是则继续循环至工序结束，生成日志。

3.如权利要求2所述的一种应用于换流阀装配工序的检测方法，其特征在于：

步骤2中，动作识别的backbone部分采用ResNet-50，双流卷积结构分别提取高帧率和低帧率图像特征，特征金字塔方法把不同层的特征进行融合，识别快速变化的动作；

所述目标检测中的backbone部分采用YOLOv8结构，用于增强特征表达能力。

4.如权利要求2所述的一种应用于换流阀装配工序的检测方法，其特征在于：

步骤4中，按照生产规则添加按预定顺序排列的多个预定工序，所述多个预定工序包括预定开始工序、至少一个预定中间工序以及预定结束工序。

5.如权利要求4所述的一种应用于换流阀装配工序的检测方法，其特征在于：

有些工序需要按固定顺序进行，有些工序则无需按固定顺序进行，执行顺序组合最多包含2层；

以方括号[]表示其内的工序需按顺序依次执行，以大括号{}表示其内的工序无需按顺序依次执行，方括号[]和大括号{}可以嵌套使用。

6.如权利要求2所述的一种应用于换流阀装配工序的检测方法，其特征在于：

步骤5包括：

步骤5.1，识别工序步骤，判断动作是否符合工序顺序，若是，进入步骤5.2；若否，提示上一工序未完成，进入暂停状态；

步骤5.2，对工件、工具进行识别，判断是否使用规定工具，若是，进入步骤5.3；若否，提示使用工具不正确，进入暂停状态；

步骤5.3，判断是否存在返修工件，若否，进入步骤5.4；若是，提示工件返修，进入暂停状态；

步骤5.4，判断动作用时是否正常，若是，进入步骤5.5；若否，根据用时进行提示，进入暂停状态；

步骤5.5，判断动作是否规范，若是，进入步骤5.7；若否，根据程度进行提示，进入暂停状态；

步骤5.6，判断暂停纠正，若是，进入暂停状态；若否，进入步骤5.7；

步骤5.7，判断是否存在后续工序，若是，返回步骤5.1，若否，结束识别。

7.如权利要求6所述的一种应用于换流阀装配工序的检测方法，其特征在于：

步骤5中，进入暂停之后，进行纠正，纠正后判断是否符合工序程序，若是，解除暂停状态；若否，维持暂停状态，再次进行纠正。

8.如权利要求6所述的一种应用于换流阀装配工序的检测方法，其特征在于：

步骤5中，每次检测存储一个日志文件，检测开始至检测结束为一次检测，并将检测过程存储至日志文件；

存储所述日志文件，自定义保留文件的尺寸，日志的内容记录检测功能模块的调用以及通讯；

当模块因意外原因在工序检测进行中中止运行时，在重新启动后继续当前的工序检测。

9.一种应用于换流阀装配工序的检测系统，运行如权利要求1至8中任一项所述的一种应用于换流阀装配工序的检测方法，所述检测系统包括：图像摄取设备、训练终端、模型加载模块、工序设置模块、工序实时检测模块：其特征在于：

所述图像摄取设备图像摄取设备用于摄取各工序的图像，并提供各工序的实时视频图像

所述训练终端通过网络与图像摄取设备相连接，训练终端采用深度学习算法对图像摄取设备通过网络发送的各工序的实时视频图像进行深度学习，从而生成各工序的工序状态模型

所述模型加载模块用于通过网络向训练终端发送加载工序状态模型的请求，训练终端响应请求并通过网络向模型加载模块发送各工序的工序状态模型

所述工序设置模块用于提供模板，检测者按照生产规则添加按预定顺序排列的多个工序

所述工序实时检测模块用于接收由图像摄取设备通过网络发送各工序的实时视频图像，使用由模型加载模块请求获得的各工序的工序状态模型，识别实时视频图像中的当前工序的动作及其工具。

10.如权利要求9所述的一种应用于换流阀装配工序的检测系统，其特征在于：

检测系统还包括：检测日志存储模块、系统功能运行日志存储模块、中断恢复模块、过程检测模块和终端界面。