CN117392134A - 一种用于高速点胶的在线视觉检测系统 - Google Patents

Abstract

本发明公开了一种用于高速点胶的在线视觉检测系统，其获取由摄像头采集的实时点胶效果图像；提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及，基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷。这样，可以结合基于深度学习的人工智能技术来对实时点胶效果图像进行处理和分析，以此来智能化地判断是否存在点胶缺陷，实现点胶过程的在线检测。

Description

一种用于高速点胶的在线视觉检测系统

技术领域

本发明涉及智能化视觉检测技术领域，尤其涉及一种用于高速点胶的在线视觉检测系统。

背景技术

点胶是一种广泛应用于电子、汽车、医疗等领域的工艺，它通过将粘合剂或密封剂以点或线的形式涂布在目标位置，从而实现零件的粘接或密封。

在实际应用中，由于高速点胶过程中存在各种复杂的因素，如点胶速度、压力、温度、环境湿度等，导致点胶效果不稳定，容易出现缺陷，如漏胶、断胶、气泡、溢胶等。这些缺陷不仅会影响产品的外观和功能，还会增加生产成本和浪费资源。传统的基于人工目测的检测方式存在效率低、误判率高等问题。

因此，期待一种优化的用于高速点胶的在线视觉检测方案。

发明内容

本发明实施例提供一种用于高速点胶的在线视觉检测系统，其获取由摄像头采集的实时点胶效果图像；提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及，基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷。这样，可以结合基于深度学习的人工智能技术来对实时点胶效果图像进行处理和分析，以此来智能化地判断是否存在点胶缺陷，实现点胶过程的在线检测。

本发明实施例还提供了一种用于高速点胶的在线视觉检测系统，其包括：图像获取模块，用于获取由摄像头采集的实时点胶效果图像；特征提取模块，用于提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；特征交互与强化模块，用于将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及点胶缺陷判断模块，用于基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：图1为本发明实施例中提供的一种用于高速点胶的在线视觉检测系统的框图。

图2为本发明实施例中提供的一种用于高速点胶的在线视觉检测方法的流程图。

图3为本发明实施例中提供的一种用于高速点胶的在线视觉检测方法的系统架构的示意图。

图4为本发明实施例中提供的一种用于高速点胶的在线视觉检测系统的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

点胶是一种常见的工艺，用于在电子、汽车、医疗等领域中进行粘接或密封操作，该工艺通过将粘合剂或密封剂以点或线的形式涂布在目标位置，实现零件的粘接或密封。

点胶使用的粘合剂和密封剂可以是液体、胶状或半固体的物质，这些材料通常具有粘性和黏附性，能够在涂布后形成牢固的粘结或密封。点胶通常使用专门的设备，如点胶机或点胶系统，这些设备包括一个供应粘合剂或密封剂的容器，以及控制涂布位置、速度和厚度的机械或电子系统。

点胶可以采用不同的方式进行，包括手动点胶和自动点胶，手动点胶需要操作员手动控制涂布过程，而自动点胶则通过预设的程序和机械系统来完成涂布操作。点胶可以以点状或线状的方式进行，点状涂布适用于需要精确定位粘合剂或密封剂的情况，而线状涂布则适用于需要沿一条直线或曲线进行连续涂布的情况。

点胶广泛应用于各种行业和领域，在电子领域，它常用于电路板组装、芯片封装和显示屏制造等工艺中。在汽车行业，点胶用于车身组装、车灯封装和玻璃密封等操作。在医疗领域，点胶被用于医疗器械的组装和密封。点胶具有许多优势，可以实现精确的涂布位置和控制涂布量，确保粘接或密封的质量，点胶还可以提高生产效率，减少人工操作，并且可以适应各种复杂的形状和材料。

在高速点胶过程中，存在各种复杂因素，这些因素可能导致点胶效果不稳定，并且容易出现缺陷。常见的缺陷包括漏胶（胶水未完全填充目标区域）、断胶（胶水未连续涂布）、气泡（胶水中的气体形成的空洞）和溢胶（胶水超出目标区域），这些缺陷不仅会影响产品的外观和功能，还会增加生产成本和浪费资源。

传统的基于人工目测的检测方式确实存在效率低、误判率高等问题，人工目测可能受到操作员主观判断和疲劳的影响，导致缺陷的漏检或误判。此外，高速点胶过程中，操作员无法实时监测每个点胶位置的质量，因此很难及时发现和纠正问题。

为了解决这些问题，现在有一些先进的点胶质量检测技术和系统被广泛应用，这些技术和系统利用机器视觉、传感器和自动控制等技术，实现对点胶过程的实时监测和控制，以提高点胶质量和生产效率。

在本发明的一个实施例中，图1为本发明实施例中提供的一种用于高速点胶的在线视觉检测系统的框图。如图1所示，根据本发明实施例的用于高速点胶的在线视觉检测系统100，包括：图像获取模块110，用于获取由摄像头采集的实时点胶效果图像；特征提取模块120，用于提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；特征交互与强化模块130，用于将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及，点胶缺陷判断模块140，用于基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷。

在所述图像获取模块110中，确保摄像头位置和角度适合点胶过程的监测需求，调整摄像头的焦距和曝光等参数，以获得清晰、准确的点胶效果图像。通过获取由摄像头采集的实时点胶效果图像，可以实时监测点胶过程中的质量和缺陷，及时发现问题并采取措施进行纠正。图像获取模块的应用可以实现自动采集点胶效果图像，减少了人工干预的需求，提高了生产效率。

在所述特征提取模块120中，根据点胶过程的特点和需求，选择合适的特征提取算法，例如基于边缘、纹理或颜色等特征的算法，确保所选算法能够准确提取出点胶效果图像的浅层特征和深层特征。通过提取点胶效果图像的浅层特征和深层特征，可以将图像信息转化为可供后续处理和分析的数值特征，为点胶缺陷判断提供依据。

在所述特征交互与强化模块130中，结合点胶效果浅层特征图和点胶效果深层特征图，设计合适的特征交互和强化方法，以提高点胶缺陷的可分辨性和准确性。通过特征交互和强化，可以突出点胶效果图像中的关键区域和特征，提高对点胶缺陷的检测能力，减少误判率。

在所述点胶缺陷判断模块140中，基于区域聚焦强化点胶效果浅层特征图，设计准确、可靠的点胶缺陷判断算法和规则，以确定是否存在点胶缺陷。通过点胶缺陷判断模块，可以对点胶效果进行自动化的缺陷检测，提高检测的准确性和效率。在检测到点胶缺陷后，可以触发自动纠正措施，例如调整点胶参数、重新点胶或发出警报，以避免缺陷产品的进一步生产和浪费。

针对上述技术问题，本申请的技术构思是利用摄像头采集实时点胶效果图像，并结合基于深度学习的人工智能技术来对实时点胶效果图像进行处理和分析，以此来智能化地判断是否存在点胶缺陷，实现点胶过程的在线检测。

通过摄像头实时采集点胶效果图像并进行处理和分析，可以实时监测点胶过程中的质量和缺陷，与传统的人工目测相比，实时监测可以更及时地发现问题，并及时采取纠正措施，避免缺陷产品的进一步生产和浪费。采用基于深度学习的人工智能技术，可以实现对点胶效果图像的自动处理和分析，减少了人工干预的需求，提高了生产效率，自动化的点胶过程检测可以节省人力资源，并且可以在连续运行的生产线上实现高效的质量控制。

基于深度学习的人工智能技术可以学习和识别点胶效果图像中的特征和模式，从而准确判断是否存在点胶缺陷，相比传统的基于人工经验的判断方法，基于深度学习的方法可以更准确地识别和分类各种点胶缺陷，提高点胶质量的稳定性和可靠性。通过在线检测点胶过程中的缺陷，可以及时发现和纠正问题，避免不合格产品的进一步生产和浪费，这样可以提高生产线的效率和产量，并减少不良品的数量和成本。

基于此，在本申请的技术方案中，首先获取由摄像头采集的实时点胶效果图像；接着，将所述实时点胶效果图像通过基于金字塔网络的点胶图像特征提取器以得到点胶效果浅层特征图和点胶效果深层特征图。其中，所述实时点胶效果图像中的浅层特征能反映图像的细节和纹理信息。对于一些细微的缺陷，如细小的漏胶或断胶，通过提取图像中的浅层特征能够使得这些细微的缺陷信息得到关注。而深层特征通常具有更高级别的语义信息，可以捕捉到图像中的抽象特征和语义关系。这些特征在点胶缺陷检测中具有重要意义，能够帮助系统更好地理解整个点胶的过程。

在本申请的一个具体实施例中，所述特征提取模块，用于：利用深度学习网络模型对所述实时点胶效果图像进行特征提取以得到所述点胶效果浅层特征图和所述点胶效果深层特征图。

其中，所述深度学习网络模型为基于金字塔网络的点胶图像特征提取器；其中，所述特征提取模块，用于：将所述实时点胶效果图像通过所述基于金字塔网络的点胶图像特征提取器以得到所述点胶效果浅层特征图和所述点胶效果深层特征图。

点胶效果浅层特征图和点胶效果深层特征图是从原始图像中提取的具有代表性的特征信息，这些特征图可以更好地表达点胶效果图像中的结构、纹理和颜色等特征，提供了更丰富的信息用于后续的处理和分析。基于金字塔网络的点胶图像特征提取器可以在不同的尺度上提取特征，从而适应不同大小和形状的点胶效果图像，这种多尺度的特征提取能力可以更全面地捕捉点胶效果图像中的细节和上下文信息，提高特征的丰富性和表达能力。

通过点胶效果浅层特征图和点胶效果深层特征图的结合，可以实现对点胶效果图像中的关键区域和特征的聚焦强化，这样可以突出点胶过程中的重要信息，减少无关信息的干扰，提高点胶缺陷的可分辨性和准确性。通过特征提取，可以将点胶效果图像中的冗余信息进行抽象和压缩，从而减少了后续处理和分析的计算量和存储需求，这样可以提高处理的效率和速度，适应实时点胶过程的要求。基于金字塔网络的点胶图像特征提取器可以通过训练和优化，逐渐学习和适应不同点胶任务的特征表达需求。通过基于金字塔网络的点胶图像特征提取器，可以将实时点胶效果图像转化为点胶效果浅层特征图和点胶效果深层特征图，提供更丰富、更准确的特征信息，从而提高点胶缺陷的检测能力和准确性。

在本申请的一个实施例中，所述特征交互与强化模块，包括：融合单元，用于使用类残差掩码信息补强传递模块来融合所述点胶效果浅层特征图和所述点胶效果深层特征图以得到语义强化点胶效果浅层特征图；以及，感兴趣区域提取单元，用于将所述语义强化点胶效果浅层特征图通过感兴趣区域聚焦注意力层以得到所述区域聚焦强化点胶效果浅层特征图。

通过使用类残差掩码信息补强传递模块来融合点胶效果浅层特征图和点胶效果深层特征图，能够将点胶效果浅层特征图和点胶效果深层特征图进行融合，将两者的信息相互补充和结合，这样可以综合利用两个层次的特征信息，提高特征的丰富性和表达能力。通过类残差掩码信息补强传递模块，可以将点胶效果深层特征图中的语义信息传递到点胶效果浅层特征图中，这样可以增强点胶效果浅层特征图对点胶过程中的语义信息的理解和表达能力，提高点胶缺陷的检测准确性。融合单元可以根据实际需求选择不同的融合策略和权重分配方式，这样可以根据具体的点胶任务和特征的重要性，灵活调整融合的方式，使得融合结果更加符合实际需求。

通过感兴趣区域提取单元将语义强化点胶效果浅层特征图通过感兴趣区域聚焦注意力层，能够通过感兴趣区域聚焦注意力层，将注意力集中在点胶效果浅层特征图中的关键区域上，这样可以突出点胶过程中的重要区域和特征，减少无关信息的干扰，提高点胶缺陷的可分辨性和准确性。感兴趣区域提取单元能够通过聚焦注意力层，强化语义强化点胶效果浅层特征图中的关键特征，这样可以提高关键特征的表达和区分能力，进一步提高点胶缺陷的检测准确性。感兴趣区域提取单元通过聚焦注意力层，可以减少点胶效果浅层特征图中的冗余信息。

然后，使用类残差掩码信息补强传递模块来融合所述点胶效果浅层特征图和所述点胶效果深层特征图以得到语义强化点胶效果浅层特征图。这里，浅层特征通常能够捕捉到图像中的细节信息，对于点胶缺陷检测具有重要意义，而深层特征会具有更高级别的语义信息，但是会损失部分信息，尤其是小目标的信息。通过使用类残差掩码信息补强传递模块，可以将深层特征的语义信息传递到浅层特征中，从而强化了浅层特征的细节表示能力，同时又引导模型能够关注小目标的信息。通过这样的方式，提高对细微缺陷的敏感度。

在本申请的一个具体示例中，所述融合单元，用于使用类残差掩码信息补强传递模块来融合所述点胶效果浅层特征图和所述点胶效果深层特征图以得到语义强化点胶效果浅层特征图的编码过程，包括：先对所述点胶效果深层特征图进行上采样和卷积处理以得到重构点胶效果深层特征图；随后，计算所述重构点胶效果深层特征图和所述点胶效果浅层特征图之间的按位置差值以得到差值特征图；接着，将所述差值特征图进行基于Sigmoid函数的非线性激活处理以得到掩码特征图；然后，将所述点胶效果浅层特征图与所述掩码特征图进行点乘以得到融合特征图；再对所述融合特征图进行基于注意力的PMA池化操作以得到所述语义强化点胶效果浅层特征图。

应可以理解，在将所述实时点胶效果图像通过基于金字塔网络的点胶图像特征提取器进行特征提取的过程中，所述金字塔网络对所所述实时点胶效果图像进行多次卷积和池化操作，网络模型会逐渐提取出图像中的特征信息。然而，当背景区域迭代累积时，它们可能没有明显的特征信息或变化，因此网络模型可能无法有效地区分背景和目标。这导致网络对背景和目标之间的差异性表示不足，使得目标信息被淹没在背景信息中。因此，在本申请的技术方案中，将所述语义强化点胶效果浅层特征图通过感兴趣区域聚焦注意力层以得到区域聚焦强化点胶效果浅层特征图。

其中，所述感兴趣区域聚焦注意力层能够将位置信息嵌入到通道注意力的坐标注意力机制，从而使得网络模型不仅能捕获跨通道的信息，还能捕获方向感知和位置感知的信息，使得模型能够更加精准地定位和识别感兴趣区域的目标。具体来说，在实时点胶效果图像中，缺陷可能出现在局部区域，而其他区域可能是正常的。通过使用感兴趣区域聚焦注意力层，可以将网络模型的注意力和关注点集中在可能存在缺陷的区域上。这样可以增强关键区域的点胶效果的表征能力。

在本申请的一个具体示例中，所述感兴趣区域提取单元，用于将所述语义强化点胶效果浅层特征图通过感兴趣区域聚焦注意力层以得到区域聚焦强化点胶效果浅层特征图的编码过程，包括：先使用池化层分别沿着水平坐标和垂直坐标对所述语义强化点胶效果浅层特征图的每个通道进行编码以得到第一方向感知特征图和第二方向感知特征图；然后，基于所述第一方向感知特征图和第二方向感知特征图，生成坐标信息特征图；接着，对所述坐标信息特征图进行扩展以得到第一坐标注意力权重特征矩阵和第二坐标注意力权重特征矩阵；随后，使用所述第一坐标注意力权重特征矩阵，对所述语义强化点胶效果浅层特征图的X轴方向的各个特征矩阵进行加权以得到第一加权特征图；同时，使用所述第二坐标注意力权重特征矩阵，对所述语义强化点胶效果浅层特征图的Y轴方向的各个特征矩阵进行加权以得到第二加权特征图；再通过残差模块来融合所述语义强化点胶效果浅层特征图、所述第一加权特征图和所述第二加权特征图以得到所述区域聚焦强化点胶效果浅层特征图。

其中，所述信息特征图生成子单元，用于：将所述第一方向感知特征图和所述第二方向感知特征图进行拼接以得到拼接特征图；以及，对所述拼接特征图进行1×1卷积处理以得到所述坐标信息特征图。

进一步地，所述特征扩展子单元，用于：沿着空间维度对所述坐标信息特征图进行分解以得到第一分解特征图和第二分解特征图；以及，分别对所述第一分解特征图和所述第二分解特征图进行1×1卷积处理以得到所述第一坐标注意力权重特征矩阵和所述第二坐标注意力权重特征矩阵。

在本申请的一个具体实施例中，所述点胶缺陷判断模块，包括：特征分布修正单元，用于对所述区域聚焦强化点胶效果浅层特征图进行特征分布修正以得到修正后区域聚焦强化点胶效果浅层特征图；以及，分类单元，用于将所述修正后区域聚焦强化点胶效果浅层特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在点胶缺陷。

通过特征分布修正，可以增强区域聚焦强化点胶效果浅层特征图中的关键特征，修正后区域聚焦强化点胶效果浅层特征图可以更好地捕捉点胶过程中的重要信息，使得缺陷特征更加显著和可区分，提高点胶缺陷的检测能力。特征分布修正可以帮助解决数据不平衡的问题，在点胶缺陷检测任务中，正常样本通常远多于缺陷样本，导致分类器容易偏向于预测为正常样本。通过特征分布修正，可以调整特征的分布，使得正常样本和缺陷样本在特征空间中更加均衡，从而提高分类器对缺陷样本的识别能力。

特征分布修正可以帮助降低噪声对点胶缺陷检测的影响，在实际点胶过程中，可能存在光照变化、噪声干扰等因素，导致点胶效果图像中的特征分布不稳定，通过修正特征分布，可以减少噪声的影响，提高点胶缺陷检测的鲁棒性和稳定性。通过特征分布修正，可以使得点胶缺陷检测模型具有更好的泛化能力，修正后的特征分布能够更好地适应不同点胶场景和条件下的特征变化，使得模型对于新样本的预测能力更强，提高了模型的泛化性能。

通过对区域聚焦强化点胶效果浅层特征图进行特征分布修正，可以增强特征、平衡数据、降低噪声影响，并提高模型的泛化能力，以显著提升点胶缺陷检测的准确性和鲁棒性，从而提高生产质量和效率。

在上述技术方案中，所述点胶效果浅层特征图和所述点胶效果深层特征图分别表达所述实时点胶效果图像的基于金字塔网络的不同尺度和不同深度的图像语义特征，也就是，在特征矩阵内的空间维度分布上具有尺度表达属性，而在特征矩阵间的通道维度分布上具有深度表达属性，由此，在使用类残差掩码信息补强传递模块来进行层间跨深度语义残差信息融合，并通过感兴趣区域聚焦注意力层进行图像语义局部空间分布强化后，所述区域聚焦强化点胶效果浅层特征图也具有与图像语义的特征空间分布对应的空间信息属性，由此，如果能提升所述区域聚焦强化点胶效果浅层特征图作为高维特征的空间信息表达效果，则能够提升所述区域聚焦强化点胶效果浅层特征图的表达效果。

基于此，本申请的申请人对所述区域聚焦强化点胶效果浅层特征图进行优化，表示为：以如下优化公式对所述区域聚焦强化点胶效果浅层特征图进行特征分布修正以得到修正后区域聚焦强化点胶效果浅层特征图；其中，所述优化公式为：其中，/>，/>是所述区域聚焦强化点胶效果浅层特征图/>的全局特征均值，且/>为局部空间分割系数，/>是所述修正后区域聚焦强化点胶效果浅层特征图的全局特征均值。

具体地，以所述区域聚焦强化点胶效果浅层特征图展开后的希尔伯特空间内的局部分割空间为基准，对所述区域聚焦强化点胶效果浅层特征图/>在高维特征空间内的特征流形进行曲面的局部积分，从而基于积分函数的局部积分处理，来修正所述区域聚焦强化点胶效果浅层特征图/>的局部空间展开后的非平稳数据序列所表达的特征流形的相变不连续点，从而获得特征流形的更精细的结构和几何特征，提升所述区域聚焦强化点胶效果浅层特征图/>在高维特征空间内的空间信息表达效果，从而提升所述区域聚焦强化点胶效果浅层特征图通过分类器得到的分类结果的准确性。

随后，将所述修正后区域聚焦强化点胶效果浅层特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在点胶缺陷。通过使用修正后区域聚焦强化点胶效果浅层特征图进行分类，可以提高点胶缺陷检测的准确性，因为该特征图经过了语义强化和区域聚焦的处理，突出了关键特征并减少了无关信息的干扰。这样，分类器可以更准确地判断点胶效果中是否存在缺陷。

通过使用修正后区域聚焦强化点胶效果浅层特征图进行分类，可以增强系统对不同点胶场景和条件的鲁棒性，修正后区域聚焦强化点胶效果浅层特征图能够提取出与点胶缺陷相关的重要特征，使得分类器对于不同类型的缺陷具有更好的识别能力，这样可以使系统在不同环境和变化条件下保持稳定的缺陷检测性能。通过将修正后区域聚焦强化点胶效果浅层特征图输入分类器进行处理，可以实现实时的点胶缺陷检测，这种自动化的检测方法可以大大提高生产效率，减少人工干预和错误率，并且能够快速响应和处理大量的点胶效果图像。

通过分类器输出的结果，可以清晰地表示是否存在点胶缺陷，这种结果的可解释性使得操作人员能够直观地了解点胶质量，并可以根据需要进行调节和优化，操作人员可以根据分类结果进行及时的调整，以提高点胶质量和生产效率。通过将修正后区域聚焦强化点胶效果浅层特征图输入分类器进行分类，可以提高点胶缺陷检测的准确性、鲁棒性和稳定性，实现实时性和自动化，并提供可解释性和可调节性的结果，这些有益效果可以显著提升点胶质量检测的效果和生产过程的效率。

综上，基于本发明实施例的用于高速点胶的在线视觉检测系统100被阐明，其利用摄像头采集实时点胶效果图像，并结合基于深度学习的人工智能技术来对实时点胶效果图像进行处理和分析，以此来智能化地判断是否存在点胶缺陷，实现点胶过程的在线检测。

如上所述，根据本发明实施例的用于高速点胶的在线视觉检测系统100可以实现在各种终端设备中，例如用于高速点胶的在线视觉检测的服务器等。在一个示例中，根据本发明实施例的用于高速点胶的在线视觉检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该用于高速点胶的在线视觉检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该用于高速点胶的在线视觉检测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该用于高速点胶的在线视觉检测系统100与该终端设备也可以是分立的设备，并且该用于高速点胶的在线视觉检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图2为本发明实施例中提供的一种用于高速点胶的在线视觉检测方法的流程图。图3为本发明实施例中提供的一种用于高速点胶的在线视觉检测方法的系统架构的示意图。如图2和图3所示，一种用于高速点胶的在线视觉检测方法，包括：210，获取由摄像头采集的实时点胶效果图像；220，提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；230，将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及，240，基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷。

本领域技术人员可以理解，上述用于高速点胶的在线视觉检测方法中的各个步骤的具体操作已经在上面参考图1的用于高速点胶的在线视觉检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图4为本发明实施例中提供的一种用于高速点胶的在线视觉检测系统的应用场景图。如图4所示，在该应用场景中，首先，获取由摄像头采集的实时点胶效果图像（例如，如图4中所示意的C）；然后，将获取的实时点胶效果图像输入至部署有用于高速点胶的在线视觉检测算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于用于高速点胶的在线视觉检测算法对所述实时点胶效果图像进行处理，以确定是否存在点胶缺陷。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种用于高速点胶的在线视觉检测系统，其特征在于，包括：图像获取模块，用于获取由摄像头采集的实时点胶效果图像；特征提取模块，用于提取所述实时点胶效果图像的浅层特征和深层特征以得到点胶效果浅层特征图和点胶效果深层特征图；特征交互与强化模块，用于将所述点胶效果浅层特征图和所述点胶效果深层特征图进行特征交互与强化以得到区域聚焦强化点胶效果浅层特征图；以及点胶缺陷判断模块，用于基于所述区域聚焦强化点胶效果浅层特征图，确定是否存在点胶缺陷；其中，所述特征交互与强化模块，包括：融合单元，用于使用类残差掩码信息补强传递模块来融合所述点胶效果浅层特征图和所述点胶效果深层特征图以得到语义强化点胶效果浅层特征图；以及感兴趣区域提取单元，用于将所述语义强化点胶效果浅层特征图通过感兴趣区域聚焦注意力层以得到所述区域聚焦强化点胶效果浅层特征图；其中，所述感兴趣区域提取单元，包括：编码子单元，用于使用池化层分别沿着水平坐标和垂直坐标对所述语义强化点胶效果浅层特征图的每个通道进行编码以得到第一方向感知特征图和第二方向感知特征图；信息特征图生成子单元，用于基于所述第一方向感知特征图和第二方向感知特征图，生成坐标信息特征图；特征扩展子单元，用于对所述坐标信息特征图进行扩展以得到第一坐标注意力权重特征矩阵和第二坐标注意力权重特征矩阵；第一加权子单元，用于使用所述第一坐标注意力权重特征矩阵，对所述语义强化点胶效果浅层特征图的X轴方向的各个特征矩阵进行加权以得到第一加权特征图；第二加权子单元，用于使用所述第二坐标注意力权重特征矩阵，对所述语义强化点胶效果浅层特征图的Y轴方向的各个特征矩阵进行加权以得到第二加权特征图；以及残差融合子单元，用于通过残差模块来融合所述语义强化点胶效果浅层特征图、所述第一加权特征图和所述第二加权特征图以得到所述区域聚焦强化点胶效果浅层特征图。

2.根据权利要求1所述的用于高速点胶的在线视觉检测系统，其特征在于，所述特征提取模块，用于：利用深度学习网络模型对所述实时点胶效果图像进行特征提取以得到所述点胶效果浅层特征图和所述点胶效果深层特征图。

3.根据权利要求2所述的用于高速点胶的在线视觉检测系统，其特征在于，所述深度学习网络模型为基于金字塔网络的点胶图像特征提取器；其中，所述特征提取模块，用于：将所述实时点胶效果图像通过所述基于金字塔网络的点胶图像特征提取器以得到所述点胶效果浅层特征图和所述点胶效果深层特征图。

4.根据权利要求3所述的用于高速点胶的在线视觉检测系统，其特征在于，所述融合单元，用于：对所述点胶效果深层特征图进行上采样和卷积处理以得到重构点胶效果深层特征图；计算所述重构点胶效果深层特征图和所述点胶效果浅层特征图之间的按位置差值以得到差值特征图；将所述差值特征图进行基于Sigmoid函数的非线性激活处理以得到掩码特征图；将所述点胶效果浅层特征图与所述掩码特征图进行点乘以得到融合特征图；以及对所述融合特征图进行基于注意力的PMA池化操作以得到所述语义强化点胶效果浅层特征图。

5.根据权利要求4所述的用于高速点胶的在线视觉检测系统，其特征在于，所述信息特征图生成子单元，用于：将所述第一方向感知特征图和所述第二方向感知特征图进行拼接以得到拼接特征图；以及对所述拼接特征图进行1×1卷积处理以得到所述坐标信息特征图。

6.根据权利要求5所述的用于高速点胶的在线视觉检测系统，其特征在于，所述特征扩展子单元，用于：沿着空间维度对所述坐标信息特征图进行分解以得到第一分解特征图和第二分解特征图；以及分别对所述第一分解特征图和所述第二分解特征图进行1×1卷积处理以得到所述第一坐标注意力权重特征矩阵和所述第二坐标注意力权重特征矩阵。

7.根据权利要求6所述的用于高速点胶的在线视觉检测系统，其特征在于，所述点胶缺陷判断模块，包括：特征分布修正单元，用于对所述区域聚焦强化点胶效果浅层特征图进行特征分布修正以得到修正后区域聚焦强化点胶效果浅层特征图；以及分类单元，用于将所述修正后区域聚焦强化点胶效果浅层特征图通过分类器以得到分类结果，所述分类结果用于表示是否存在点胶缺陷。