CN114559177B - 基于影像数据分析的焊接评估方法、装置及存储介质 - Google Patents

Abstract

本发明涉及焊接技术领域，特别是一种基于影像数据分析的焊接评估方法、装置及存储介质，所述方法包括以下步骤：获取待评估焊接过程的视频；分析并提取出所述视频中的关键信息；根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；确定所述操作阶段对应的评估信息；通过采集焊接现场的操作视频，依据视频中的关键信息切确定操作视频对应的操作阶段，再提取出确定的操作阶段内的评价信息，以供评价者根据评价信息对焊接操作过程进行评价，降低了评价过程中对评价者的精神集中程度、反应速度、评价熟练程度等的要求，提高评价结果的准确程度及可信度。

Description

基于影像数据分析的焊接评估方法、装置及存储介质

技术领域

本发明涉及焊接技术领域，特别是一种基于影像数据分析的焊接评估方法、装置及存储介质。

背景技术

近年来，随着交通运输行业的发展，铁路运输需求日益加剧，铁路养护任务也变得愈发重要。对于钢轨出现的裂纹和缝隙，通常采用铝热焊接等技术来进行钢轨的维护与修复。钢轨铝热焊是用砂模贴覆于待焊钢轨处，形成待焊腔；预热待焊腔内的钢轨两接头；将铝热焊粉、氧化铁和其他一些合金添加物配按照一定比例制成的铝热焊剂置于待焊腔上部的坩埚内，点燃铝热焊剂，使氧化铁发生氧化还原反应生成铝热钢液，短时间内，高温铝热钢液熔化坩埚底部的自熔塞，浇注并填满待焊腔，铝热钢液作为填充金属，将轨道两端熔化并共同结晶，冷却凝固后形成焊接接头；拆去砂模，除瘤、打磨。在钢轨焊接过程中，通常需要按照规定进行操作，严格控制预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段等各个操作阶段的进行时间或者进行程度、操作点位等，以免造成焊接质量不良甚至设备损坏。为了确保焊接操作符合规定，通常需要对焊接过程的各个阶段分别进行评价。当前的评价方法是，由评价专家肉眼观测焊接过程，凭借经验及秒表测算各阶段的进行时间、反应程度等是否符合焊接标准。比如：预热阶段为在火焰喷出浇注孔后，评价专家需要立刻按下秒表开始预热计时，在火焰熄灭后立即结束计时，在预热过程中密切关注整个预热过程，特别是轨腰受热后颜色变化的过程，轨腰预热完成的温度大概为950～1000℃，其颜色为亮黄色；浇注阶段为铁水流出坩埚时开始计时，待无铁水流出时完成浇注计时。

此种由评价专家用肉眼对操作过程进行判断的方法，存在对评价专家的精神集中程度、反应速度、评价熟练程度等的要求较高，而且评价结果受到评价者个人主观因素的影响较大的问题，以及各个评价者的评价结果之间可能存在较大差异的问题。

发明内容

本申请的目的在于提供一种基于影像数据分析的焊接评估方法、装置及存储介质，通过采集焊接现场的操作视频，依据视频中的关键信息切确定操作视频对应的操作阶段，再提取出确定的操作阶段内的评价信息，以供评价者根据评价信息对焊接操作过程进行评价，降低了评价过程中对评价者的精神集中程度、反应速度、评价熟练程度等的要求，提高评价结果的准确程度及可信度。

本申请提供了一种基于影像数据分析的焊接评估方法，所述方法包括以下步骤：

获取待评估焊接过程的视频；分析并提取出所述视频中的关键信息；根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；确定所述操作阶段对应的评估信息。

进一步地，本发明提供的焊接评估方法还包括：

将所述操作阶段以及对应的评估信息进行存储和显示；

和/或，提取该所述操作阶段对应的预设关键信息评估标准；将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；根据对比结果确定所述待评估焊接过程的焊接质量。

进一步地，所述关键信息包括封砂箱的位置和尺寸以及初步识别结果；所述分析并提取出所述视频中的关键信息，具体包括：从所述视频中提取评估图像；对提取的所述评估图像进行初步识别，并将得到的所述关键信息标记于所述评估图像中；根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域；对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记。

进一步地，所述根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域，具体包括：提取所述初步识别结果中的封砂箱；以所述封砂箱的宽、高及所在的位置为基准确定所述感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度。

进一步地，所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记。

进一步地，所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个；所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：依据预设的焊接顺序流程，以及所述视频中的过程识别标记，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个。

进一步地，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的过程识别标记，以及与各阶段相对应的预设阶段标签阈值；依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个，具体包括：

从所述视频的图像中提取与待确定操作阶段对应的基准参考帧数的连续图像，作为判定图像；判断各所述判定图像中，与待确定操作阶段对应的过程识别标记的总数量是否符合对应的预设阶段标签阈值；当所述判定图像中所述过程识别标记的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至第一次达到各所述判断图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间；继续由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；

或者，

当所述判定图像中所述过程识别标记的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至最后一次达到各所述判断图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；继续由后向前逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间。

进一步地，在所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少两个的情况下；对于相邻两操作阶段，当前一操作阶段的结束时间晚于后一阶段的开始时间时，确定早于后一阶段的开始时间，且与后一操作阶段的开始时间最接近的一组所述判定图像对应的时间为前一操作的结束时间。

本申请的另一方面，还提供了一种基于影像数据分析的焊接评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一项所述方法的步骤。

本申请的又一方面，还提供了一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如上任一项所述的方法。

1.本申请提供的基于影像数据分析的焊接评估方法，采用获取待评估焊接过程的视频；分析并提取出所述视频中的关键信息；根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；再确定所述操作阶段对应的评估信息的设计；通过采集焊接现场的操作视频固化留存焊接过程，为提取操作过程进行的时间、各操作阶段进行的程度等提供了计算依据；通过视频分析确定出视频中可以用于切分操作过程的关键信息，再依据所述关键信息确定视频对应的操作阶段，实现了自动切分焊接过程的操作阶段，降低了评价过程中对评价者的精神集中程度、反应速度、评价熟练程度等的需求；再自动提取出各个操作阶段的中包含的操作点位、操作进行时间等评估信息，供评价者将评估信息与评价标准进行对比，提高了评价结果的准确程度及可信度。

2.本申请提供的基于影像数据分析的焊接评估方法，采取还包括将所述操作阶段以及对应的评估信息进行存储和显示；和/或，提取该所述操作阶段对应的预设关键信息评估标准；将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；根据对比结果确定所述待评估焊接过程的焊接质量的设计。将所述操作阶段以及对应的评估信息进行存储和显示可以供评价者随时查看，使评价者不必在焊接操作现场当场分析，增加了评价工作的灵活性、便捷性和可追溯性。将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比，实现了自动评价待评估焊接过程。

3.本申请提供的基于影像数据分析的焊接评估方法，采用所述关键信息包括封砂箱的位置和尺寸以及初步识别结果；所述分析并提取出所述视频中的关键信息，具体包括：从所述视频中提取评估图像；对提取的所述评估图像进行初步识别，并将得到的所述关键信息标记于所述评估图像中；根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域；对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记的设计。对所述视频中的图像进行识别分析，确定焊接操作在图像中的范围，排除图像中非焊接区域对关键信息的影响，以及减小视频切分时需要处理的数据量，提高识别结果的有效性和确定操作阶段的速率。

4.本申请提供的基于影像数据分析的焊接评估方法，采用所述根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域，具体包括：提取所述初步识别结果中的封砂箱；以所述封砂箱的宽、高及所在的位置为基准确定所述感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度的设计。根据各个操作阶段对应的图像中的变化区域，统一感兴趣区域的确定标准，提升该评估方法的标准程度。

5.本申请提供的基于影像数据分析的焊接评估方法，采用所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记的设计。用感兴趣区域过滤掉非因焊接操作引起的图像变化，确保提取的关键信息均是由焊接操作产生的，提高评价信息的可信度。

6.本申请提供的基于影像数据分析的焊接评估方法，采用所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个的设计。进行操作流程确定以及提取操作流程对应的评估信息时，可以只提取某一个操作阶段，也可以提取多个操作阶段，处理的视频可以是整个焊接过程也可以是焊接过程的一部分，提高了本评估方法的灵活性和实用性。

7.本申请提供的基于影像数据分析的焊接评估方法，采用所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的过程识别标记，以及与各阶段相对应的预设阶段标签阈值的设计；各个阶段对应的过程识别标记及预设阶段标签阈值不同，为实现有效切分操作阶段提供了合理依据。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请提供的基于影像数据分析的焊接评估方法一种实施例的流程示意图；

图2是本申请提供的基于影像数据分析的焊接评估方法中一张评估图像的关键信息的示意图；

图3是本申请提供的基于影像数据分析的焊接评估方法中另一张评估图像的关键信息的示意图；

图4是本申请提供的基于影像数据分析的焊接评估方法另一种实施例的流程示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

图1是本申请所述的一种基于影像数据分析的焊接评估方法的一个实施例的方法流程图。虽然本申请提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑性上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例描述及附图所示的执行顺序。所述的方法在实际中的装置或终端产品应用时，可以按照实施例或者附图所示的方法连接进行顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至分布式处理环境)。

本申请提供的基于影像数据分析的焊接评估方法，以视频记录焊接操作过程，再提供科学的视频分析标准来切分视频对应的操作过程，然后再提取出各个操作过程对应的评价信息，以供操作者直接将评估信息与评价标准进行比较。将只能依靠评价者人为估测和人为计时的评价指标具体化、可计量化，降低了对评价者精神集中程度、脑反应速度、对焊接过程的了解程度、评价熟练程度等的要求，同时提高了评价结果的可信度。

具体如图1所示，本申请一个实施例提供的一种基于影像数据分析的焊接评估方法，所述方法包括以下步骤：

S11：获取待评估焊接过程的视频；

S12：分析并提取出所述视频中的关键信息；

S13：根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；

S14：确定所述操作阶段对应的评估信息；

S15：将所述操作阶段以及对应的评估信息进行存储和显示。

本实施例中，所述关键信息包括封砂箱的位置和尺寸以及初步识别结果；所述分析并提取出所述视频中的关键信息，具体包括：

S1201：从所述视频中提取评估图像；

S1202：对提取的所述评估图像进行初步识别，并将得到的所述关键信息标记于所述评估图像中；

S1203：根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域；

S1204：对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记。

在本实施例中，所述根据所述封砂箱的位置和尺寸确定出所述评估图像中的感兴趣区域，具体包括：

提取所述初步识别结果中的封砂箱；

以所述封砂箱的宽、高及所在的位置为基准确定所述感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度。

如图2所示，是本申请提供的基于影像数据分析的焊接评估方法中一张评估图像的关键信息的示意图。如图3所示，是本申请提供的基于影像数据分析的焊接评估方法中一张评估图像的关键信息的示意图。

如图2、图3所示，本实施例中所述感兴趣区域110的左侧边界距离所述封砂箱109的左侧边的宽度为1个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5个封砂箱高度。

本实施例中，所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：

将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记。从全部的所述初步识别结果中，去掉完全处于所述感兴趣区域以外的初步识别结果，同时去掉跨所述感兴趣区域边界框的初步识别结果处于感兴趣区域以外的部分。该应用感兴趣区域对所述初步识别结果进行筛选，去掉了图像中与焊接无关的区域，有效降低了后续确定关键信息的计算量，降低了对硬件设备的算力及存储能力需求。

本实施例中在应用感兴趣区域对所述初步识别结果进行处理的过程中，可以以感兴趣区域为基准建立一个新的坐标系，此时，各个初步识别结果的坐标等数据均应对应修改。也可以仍以整张评估图像为一个坐标系，不改变感兴趣区域的坐标位置等数据；根据上述规则重新标记被裁切的初步识别结果的坐标，删除感兴趣区域以外的初步识别结果的坐标，而完全处于感兴趣区域以内的初步识别结果的坐标则不变。本实施例中则采取不改变感兴趣区域坐标位置等数据的方法。

本实施例中，所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段；所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：

依据预设的焊接顺序流程，以及所述视频中的过程识别标记，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段。

本实施例中，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，此处各阶段的基准参考帧数通常为20～40帧，本实施例中，选择各个阶段的基准参考帧数均为20帧；所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的过程识别标记，以及与各阶段相对应的预设阶段标签阈值；

依据预设的焊接顺序流程，以及所述视频中的过程识别标记，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个，具体包括：

从所述视频的图像中提取与待确定操作阶段对应的基准参考帧数的连续图像，作为判定图像；

判断各所述判定图像中，与待确定操作阶段对应的过程识别标记的总数量是否符合对应的预设阶段标签阈值；

当所述判定图像中所述过程识别标记的总数量小于待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至第一次达到各所述判断图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间；继续由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；

或者，

当所述判定图像中所述过程识别标记的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至最后一次达到各所述判断图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的结束时间；继续由后向前逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该待确定操作阶段的开始时间。

如图2-3所示，本实施例中，所述预热阶段对应的过程识别标记为：预热火焰101、预热大框102、背面的喷枪(图中未显示)、正面的喷枪和手(图中未显示)、背面的喷枪和手(图中未显示)；对应的预设阶段标签阈值为2～15；其中所述预热火焰是位于砂箱两侧的火焰，其是根据砂箱在图像中的坐标，以及火焰的形状而被从图像中识别出来，并框图标记于图像中的；预热大框是具有预设尺寸的一个可以框住两处预热火焰、封砂箱以及灰渣盘的一个框，预热火焰的识别框、封砂箱的框及灰渣盘识别框的和与预热大框的交并比通常为1/2。所述反应阶段对应的过程识别标记为：大于第一面积阈值的坩埚盖上的火103、坩埚盖和火104、反应大框105；对应的预设阶段标签阈值为2～15；其中，坩埚盖可以根据封砂箱的尺寸、位置以及坩埚盖的形状等被锚定出来，坩埚盖上的火、坩埚盖和火等也可以依此被识别出来，并标记框于图像中；反应大框是具有预设尺寸的一个可以框住坩埚盖、坩埚盖上的火以及封砂箱的一个框，坩埚盖的框、坩埚盖上的火的框及封砂箱的框的和与反应大框的交并比通常为1/2。

所述平静阶段对应的过程识别标记为小于第一面积阈值的坩埚盖上的火；对应的预设阶段标签阈值为2～15；相比于反应阶段、坩埚盖顶部的火势明显变小，所以可以基于坩埚盖上的火在感应兴趣区域内所占的面积判断是否为“小于第一面积阈值的坩埚盖上的火”，坩埚盖上的火的面积一般是通过计算所占像素点的个数确定的，为了计算方便，可以直接计算坩埚盖上的火的框占据的像素点个数，而第一面积阈值的大小通常与所述视频中图像的清晰度、拍摄镜头与封砂箱之间的距离也就是封砂箱在图像中所占的位置等有关。由于平静阶段的火焰明显小于反应阶段火焰，可以肉眼判断出火焰对应的阶段，本领域技术人员可以根据经验预设第一面积阈值，也可以在开始评估前抽取一帧反应阶段的图像一帧平静阶段的图像，计算出第一面积阈值；综上确定第一面积阈值的方法有多种，本领域技术人员可以根据实际需要进行选择，此处不再过多赘述。

所述浇注阶段对应的过程识别标记为：坩埚和封砂箱之间的间隙的火焰，浇注阶段的火焰，流动的铁水，静止的铁水，坩埚和浇注火焰，浇注大框；对应的预设阶段标签阈值为2～15；其中，坩埚和封砂箱之间的间隙的火焰可以根据坩埚与封砂箱在图像中的位置及火焰形状进行识别，并框定出来；在坩埚下方两侧会有火焰冒出，所以在此位置的为浇注阶段的火焰，可以藉此识别出浇注阶段的火焰并标定框于图像中；在平静阶段之后，铁水会从侧面留出，流动滴落，所以会出现流动的铁水和静止的铁水，可以在图像中识别出流动的铁水和静止的铁水，并框定标注于图像中；对于浇注大框的识别方法与预热大框的识别方法相同，浇注阶段的火焰的框、与坩埚和浇注火焰的框的交并比为1/2。

所述拆模阶段对应的过程识别标记为：模具夹板；对应的预设阶段标签阈值为1～10。

所述推瘤阶段对应的过程识别标记为：推瘤机器正面；推瘤机器反面；摇杆左；摇杆右；对应的预设阶段标签阈值为1～10。

本实施例中应用YOLOv3-Tiny模型识别上述过程识别标记，该模型的基础网络为Darknet-53卷积神经网络。YOLOv3-Tiny模型为现有技术，训练时将各个图像均处理为720P的画面尺寸，经过多次训练，该模型可以识别出具有对应特征的上述标签。应用YOLOv3-Tiny模型经过训练后识别特定形状此为现有技术，此处不再过多赘述。

本实施例中，确定所述操作阶段对应的评估信息，具体包括：

根据所述预热阶段对应的开始时间、结束时间，计算出预热阶段的进行时长；

根据所述反应阶段对应的开始时间、结束时间，计算出反应阶段的进行时长；

根据所述平静阶段对应的开始时间、结束时间，计算出平静阶段的的进行时长；

根据所述浇注阶段对应的开始时间、结束时间，计算出浇注的进行时长；

根据所述浇注阶段的结束时间及所述拆模阶段对应的开始时间，计算出浇注结束到拆模的时长；

根据所述浇注阶段的结束时间及所述推瘤阶段对应的开始时间，计算出浇注结束到推瘤的时长。

本实施例中所述评估信息还可以包括上述各阶段的开始时间和结束时间，便于操作人员根据开始时间和结束时间调取对应操作阶段的视频，通过视频观察操作过程，进而观察焊接操作过程中的各个操作。

实施例二

本申请另一个实施例提供的一种基于影像数据分析的焊接评估方法如图4所示，该实施例是在实施例一基础上进行的改进，在实施例一中已经描述的部分，此次不再重复。

本实施例提供的一种基于影像数据分析的焊接评估方法，包括以下步骤：

S21：获取待评估焊接过程的视频；

S22：分析并提取出所述视频中的关键信息；

S23：根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；

S24：确定所述操作阶段对应的评估信息；

S25：提取该所述操作阶段对应的预设关键信息评估标准；

S26：将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；

S27：根据对比结果确定所述待评估焊接过程的焊接质量。

本实施例中，所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为1.5个封砂箱高度。

本实施例中，所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的其中一个；各个操作阶段均有对应的评估信息及预设关键信息评估标准，

本实施例中，确定所述操作阶段对应的评估信息，具体包括：

根据所述预热阶段对应的开始时间、结束时间，计算出预热阶段的进行时长；

或者，根据所述反应阶段对应的开始时间、结束时间，计算出反应阶段的进行时长；

或者，根据所述平静阶段对应的开始时间、结束时间，计算出平静阶段的进行时长；

或者，根据所述浇注阶段对应的开始时间、结束时间，计算出浇注的进行时长；

或者，根据所述浇注阶段的结束时间及所述拆模阶段对应的开始时间，计算出浇注结束到拆模的时长；

或者，根据所述浇注阶段的结束时间及所述推瘤阶段对应的开始时间，计算出浇注结束到推瘤的时长。

所述预热阶段的预设关键信息评估标准为进行时长是否符合3分30秒～4分30秒；

所述反应阶段的预设关键信息评估标准为进行时长是否符合7～15秒；

所述平静阶段的预设关键信息评估标准为进行时长是否符合6～18秒；以及反应阶段与平静阶段的总时间是否不大于35秒；

所述浇注阶段的预设关键信息评估标准为进行时长是否符合10～600秒；

所述拆模阶段的预设关键信息评估标准为浇注结束到拆模的时长是否符合4分30秒；

所述推瘤阶段的预设关键信息评估标准为浇注结束到推瘤的时长是否符合7分30秒。

本实施例中，所述根据对比结果确定所述待评估焊接过程的焊接质量，具体为：当进行评价的操作阶段对应的时长符合对应的所述预设关键信息评估标准时，确定为合格，当不符合时，确定为不合格。

优选地，本实施例中选择需要确定的操作阶段为所述预热阶段。所述基准参考帧数为40帧，所述过程识别标记为预热火焰、预热大框、背面的喷枪、正面的喷枪和手、背面的喷枪和手；对应的预设阶段标签阈值为2～15。

所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的预热阶段，具体包括：

从所述视频的图像中提取与预热阶段对应的基准参考帧数的连续图像，作为判定图像；

判断各所述判定图像中，与预热阶段对应的过程识别标记的总数量是否符合对应的预设阶段标签阈值；

当所述判定图像中所述过程识别标记的总数量处于与预热阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至第一次达到各所述判断图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为预热阶段的开始时间；继续由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为预热阶段的结束时间；

或者，

当所述判定图像中所述过程识别标记的总数量处于与预热阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至最后一次达到各所述判断图像中所述过程识别标记的总数量小于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该预热阶段的结束时间；继续由后向前逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述过程识别标记的总数量大于所述预设阶段标签阈值时，确定该组所述判定图像对应的时间为该预热阶段的开始时间。

计算所述过程识别标记的总数量时，一种可以的方法为一张图像中出现一个所述预判标签的数量计为1个，出现N个所述预判标签时记为N个，M张图像中均出现一个预判标签时，记为M个；所述过程识别标记的总数量即为40帧图像预判标签的总数量。另一种方法为，根据各个不同标签的唯一性，给各个不同的过程识别标记不同的权值，再计算总数量；比如，预热火焰的权值系数为a1、预热大框位的权值系数为a2、背面的喷枪的权值系数为a3、正面的喷枪和手的权值系数为a4、背面的喷枪和手的权值系数为a5，此时所述基准参考帧数的判断图像中过程识别标记的总数量＝预热火焰的个数*a1+预热大框的个数*a2+背面的喷枪的个数*a3+正面的喷枪和手的个数*a4+背面的喷枪和手的个数*a5。同理，判断反应阶段时对应的所述基准参考帧数的判断图像中过程识别标记的总数量＝大于第一面积阈值的坩埚盖上的火的个数*b1+坩埚盖和火的个数*b2+反应大框的个数*b3。所述浇注阶段对应的判断图像中过程识别标记的总数量＝坩埚和封砂箱之间的间隙的火焰的个数*c1+浇注阶段的火焰的个数*c2+流动的铁水的个数*c3+静止的铁水的个数*c4+坩埚和浇注火焰的个数*c5+浇注大框的个数*c6。所述推瘤阶段对应的判断图像中过程识别标记的总数量＝推瘤机器正面的个数*d1+推瘤机器反面*d2+摇杆左*d3+摇杆右*d4。此种计算方法中各个阶段对应的预设阶段标签阈值不变。

实施例三：

本实施例是与实施例一或实施例二相近的技术方案，本实施例与实施例一或者实施例二最大不同的在于，本实施例中需要确定的操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少两个；

当需要确定的操作阶段包括相邻的多个操作阶段时，

对于前后相邻两操作阶段，当前一操作阶段的结束时间晚于后一阶段的开始时间时，确定早于后一阶段的开始时间，且与后一操作阶段的开始时间最接近的一组所述判定图像对应的时间为前一操作的结束时间。

优选地，本实施例中选择待评估焊接过程的视频中包括预热阶段和反应阶段，则：

当所述预热阶段的结束时间晚于所述反应阶段的开始时间时，确定早于所述反应阶段的开始时间，且与所述反应阶段的开始时间最接近的一组判定图像对应的时间为所述预热阶段的结束时间。所述基准参考帧数为30帧。

本实施例中，所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1.5个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1.5个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为1个封砂箱高度。

基于同一发明构思，本申请的实施例中还提供了一种基于影像数据分析的焊接评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上任一实施例所述方法的步骤。由于基于影像数据分析的焊接评估装置解决问题的原理与基于影像数据分析的焊接评估方法相似，因此基于影像数据分析的焊接评估装置的实施可以参见基于影像数据分析的焊接评估方法的实施，重复之处不再赘述。以下所使用的，术语“单元”、“子单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。

基于同一发明构思，本申请的实施例中还提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现如实施例一至三中任一项所述的方法。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的硬件的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，也可以通过数据迁移的实施过程中体现出来。本申请的全部或者部分可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、移动通信终端、多处理器系统、基于微处理器的系统、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。

虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请的精神。

Claims (9)

1.一种基于影像数据分析的焊接评估方法，其特征在于，所述方法包括以下步骤：

获取待评估焊接过程的视频；

分析并提取出所述视频中的关键信息；

根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段；

确定所述操作阶段对应的评估信息；

其中，所述关键信息至少包括火焰以及封砂箱的位置和尺寸；所述分析并提取出所述视频中的关键信息，具体包括：

从所述视频中提取评估图像；

对提取的所述评估图像进行初步识别，并将初步识别结果标记于所述评估图像中；

提取所述初步识别结果中的封砂箱；

以所述封砂箱的宽、高及所在的位置为基准确定感兴趣区域；所述感兴趣区域的左侧边界距离所述封砂箱的左侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的右侧边界距离所述封砂箱的右侧边的宽度为1～2个封砂箱宽度，所述感兴趣区域的上方边界距离所述封砂箱上边的高度为2.3～3.3个封砂箱高度；所述感兴趣区域的下方边界距离所述封砂箱底边的高度为0.5～1.5个封砂箱高度。

2.根据权利要求1所述的方法，其特征在于，还包括：

将所述操作阶段以及对应的评估信息进行存储和显示；

和/或，

提取该所述操作阶段对应的预设关键信息评估标准；

将所述操作阶段对应的评估信息与预设关键信息评估标准进行对比；

根据对比结果确定所述待评估焊接过程的焊接质量。

3.根据权利要求2所述的方法，其特征在于，所述分析并提取出所述视频中的关键信息，还包括：

对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记；

对所述过程识别标记进行分析，识别出其中火焰以及封砂箱的位置和尺寸。

4.根据权利要求3所述的方法，其特征在于，所述对所述感兴趣区域内的初步识别结果进行处理，得到过程识别标记，具体包括：

将完全处于所述感兴趣区域内的所述初步识别结果，标注为所述过程识别标记；并以所述感兴趣区域的边界框为边框，对一部分处于所述感兴趣区域以外的所述初步识别结果进行裁切，留存处于所述感兴趣区域内的所述初步识别结果区域，标注为所述过程识别标记。

5.根据权利要求4所述的方法，其特征在于，所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少一个；所述根据所述关键信息以及预设的焊接流程切分标准对所述视频进行切分，确定所述视频对应的操作阶段，具体包括：

依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、

拆模阶段和推瘤阶段中的至少一个。

6.根据权利要求5所述的方法，其特征在于，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别预设有对应的基准参考帧数，所述预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段分别设有与各阶段相对应的判断标签，以及与各阶段相对应的预设阶段标签阈值；

依据预设的焊接顺序流程，以及所述视频中火焰、坩埚以及封砂箱的位置和尺寸，对所述视频进行切分，得到预热阶段、反应阶段、平静阶段、浇注阶段、

拆模阶段和推瘤阶段中的至少一个，具体包括：

从所述视频的图像中提取与待确定操作阶段对应的基准参考帧数的连续图像，作为判定图像；

判断各所述判定图像中，与待确定操作阶段对应的判断标签的总数量是否符合对应的预设阶段标签阈值；

当所述判定图像中所述判断标签的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至第一次达到各所述判定图像中所述判断标签的总数量大于所述预设阶段标签阈值时，确定所述判定图像对应的时间为该待确定操作阶段的开始时间；继续由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述判断标签的总数量小于所述预设阶段标签阈值时，确定所述判定图像对应的时间为该待确定操作阶段的结束时间；

或者，

当所述判定图像中所述判断标签的总数量处于与待确定操作阶段对应的阶段进行阈值时，由前向后逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述判断标签的总数量小于所述预设阶段标签阈值时，确定所述判定图像对应的时间为该待确定操作阶段的结束时间；继续由后向前逐帧更新所述判定图像，直至最后一次达到各所述判定图像中所述判断标签的总数量大于所述预设阶段标签阈值时，确定所述判定图像对应的时间为该待确定操作阶段的开始时间。

7.根据权利要求6所述的方法，其特征在于，在所述操作阶段为预热阶段、反应阶段、平静阶段、浇注阶段、拆模阶段和推瘤阶段中的至少两个的情况下；

对于相邻两操作阶段，当前一操作阶段的结束时间晚于后一阶段的开始时间时，确定早于后一阶段的开始时间，且与前一操作阶段的开始时间最接近的一组所述判定图像对应的时间为前一操作的结束时间。

8.一种基于影像数据分析的焊接评估装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述方法的步骤。

9.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7任一项所述的方法。