CN117409005B - 基于图像的收板机用不良品检测系统及方法 - Google Patents

Abstract

本发明公开了一种基于图像的收板机用不良品检测系统及方法，其利用部署在收板机上的摄像头自动采集产品表面状态图像，并在后端引入基于计算机视觉的图像处理和分析算法来进行该产品表面状态图像的分析，以对收板机输出的产品自动进行表面缺陷检测。这样，可以减少了人工检测的工作量，提高了对收板机输出的不良品检测的准确性和一致性，从而提高了生产线的效率和质量。

Description

基于图像的收板机用不良品检测系统及方法

技术领域

本发明涉及智能化检测技术领域，尤其涉及一种基于图像的收板机用不良品检测系统及方法。

背景技术

收板机是一种用于将金属板材或塑料板材从模具中取出的设备，通常用于冲压、注塑等工业生产过程中。然而，由于生产过程中的各种因素，收板机可能会收集到不良品，如含有裂纹、划痕、变形、气泡等缺陷的板材，这些不良品如果不及时进行检测和剔除，将会对后续的生产和质量造成影响。

然而，传统的不良品检测系统通常需要依靠人工进行目视检查或使用简单的工具进行检测，这种方式需要大量的人力资源，并且对操作员的经验和技能要求较高。同时，人工参与容易受到疲劳、主观判断和视觉疲劳等因素的影响，导致漏检或误检的情况发生。此外，由于人工参与和目视检查的方式，传统的不良品检测系统通常需要花费大量的时间和精力。特别是在大规模生产中，需要对大量的产品进行检测和分类，这将导致生产效率的降低。

因此，期望一种基于图像的收板机用不良品检测系统。

发明内容

本发明实施例提供一种基于图像的收板机用不良品检测系统及方法，其利用部署在收板机上的摄像头自动采集产品表面状态图像，并在后端引入基于计算机视觉的图像处理和分析算法来进行该产品表面状态图像的分析，以对收板机输出的产品自动进行表面缺陷检测。这样，可以减少了人工检测的工作量，提高了对收板机输出的不良品检测的准确性和一致性，从而提高了生产线的效率和质量。

本发明实施例还提供了一种基于图像的收板机用不良品检测系统，其包括：产品状态图像采集模块，用于获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；产品表观状态浅层特征提取模块，用于通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；产品表观状态深层特征提取模块，用于通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；丢失目标信息计算模块，用于计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；产品表观状态多尺度特征融合模块，用于基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；不良品检测模块，用于基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品。

本发明实施例还提供了一种基于图像的收板机用不良品检测方法，其包括：获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

在附图中：图1为本发明实施例中提供的一种基于图像的收板机用不良品检测系统的框图。

图2为本发明实施例中提供的一种基于图像的收板机用不良品检测方法的流程图。

图3为本发明实施例中提供的一种基于图像的收板机用不良品检测方法的系统架构的示意图。

图4为本发明实施例中提供的一种基于图像的收板机用不良品检测系统的应用场景图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的技术领域的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。

在本申请实施例记载中，需要说明的是，除非另有说明和限定，术语“连接”应做广义理解，例如，可以是电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例可以除了在这里图示或描述的那些以外的顺序实施。

收板机是一种用于从模具中取出金属板材或塑料板材的设备，广泛应用于冲压、注塑等工业生产过程中，主要功能是自动化地将板材从模具中取出，并将其排列整齐地堆放在指定的位置，以方便后续的加工和处理。

收板机通常由以下几个主要组成部分构成：送料装置：收板机配备有送料装置，用于将模具中的板材推送到收板机的工作区域，这可以通过气缸、电机或其他驱动装置来实现。

收板机构：收板机构是收板机的核心部分，用于将板材从模具中取出并将其堆放在指定位置，通常包括夹紧装置、吸盘或夹具等，可以根据板材的材质和形状进行调整和定制。

收板机配备有运输系统，用于将取出的板材从收板机的工作区域运输到指定的堆放区域，可以通过传送带、滑道或其他输送装置来实现。

控制系统：收板机的控制系统用于控制整个收板过程，包括送料、取板、堆放等各个环节，通常由PLC（可编程逻辑控制器）或其他自动化控制设备来实现，可以根据生产需求进行编程和调整。

收板机的工作原理是通过自动化的操作，将模具中的板材取出并堆放在指定位置，提高生产效率和减少人工操作的工作量，可以根据不同的生产需求进行定制，适用于各种板材的取出和堆放工作。收板机的应用可以大大提高生产效率、降低劳动强度，并确保产品的质量和一致性。

在生产过程中，收板机可能会收集到一些不良品，例如含有裂纹、划痕、变形、气泡等缺陷的板材。如果这些不良品不及时进行检测和剔除，将会对后续的生产和产品质量造成严重影响。因此，为了确保生产线的顺利运行和产品质量的稳定，通常需要在收板机后面设置一个检测和剔除系统。

检测和剔除系统的主要功能是对从收板机取出的板材进行自动化的检测和分类，将不良品与良品分开，并及时剔除不良品，这样可以保证良品的继续加工和使用，同时减少不良品对后续生产环节的干扰。

检测和剔除系统通常包括以下几个主要组成部分：检测装置用于对板材进行检测，识别板材上的缺陷，常见的检测方法包括视觉检测、光学检测、尺寸测量、X射线检测等。根据不同的缺陷类型和生产需求，可以选择合适的检测装置进行使用。

分类系统用于根据检测结果将板材分为良品和不良品，可以通过机械装置、气动装置或其他自动化装置来实现。良品和不良品可以分别被送往不同的处理通道，以便后续的加工和处理。

剔除装置用于将检测出的不良品从生产线中剔除，常见的剔除方法包括气动喷射、机械抛弃、电磁振动等。剔除装置通常需要快速、准确地将不良品从流程中排除，以确保生产线的连续运行和产品质量的稳定。

检测和剔除系统的控制系统用于控制整个检测和剔除过程，可以与收板机的控制系统进行联动，实现自动化的操作和协调。控制系统通常由PLC或其他自动化控制设备来实现，可以根据生产需求进行编程和调整。

通过设置检测和剔除系统，可以及时发现和剔除不良品，确保后续生产过程中的质量和效率。这样可以避免不良品的进一步加工和使用，提高产品的质量和一致性，降低不良品对生产线的干扰和损失。

然而，传统的不良品检测系统通常依靠人工进行目视检查或使用简单的工具进行检测，这种方式存在一些缺点和挑战。传统的不良品检测系统需要大量的人力资源进行操作和检查，意味着需要雇佣和培训足够数量的操作员，增加了人力成本和管理难度。目视检查需要操作员具备一定的经验和技能，能够准确地识别和判断不良品，对操作员的素质要求较高，需要进行培训和持续的技能提升。人工参与的不良品检测容易受到操作员主观判断和视觉疲劳的影响，操作员可能因为疲劳或其他因素而漏检或误检，导致不良品的流入或良品的误判。传统的不良品检测需要花费大量的时间和精力，特别是在大规模生产中，需要对大量的产品进行检测和分类，这将导致生产效率的降低。

为了解决传统不良品检测系统的问题，现代制造业逐渐引入自动化和智能化的检测技术。例如，利用高速相机、图像处理算法和人工智能技术，可以实现对板材表面缺陷、尺寸偏差等进行自动化检测，这种方式可以大大提高检测的速度和准确性，减少人为因素的干扰。

在本发明的一个实施例中，图1为本发明实施例中提供的一种基于图像的收板机用不良品检测系统的框图。如图1所示，根据本发明实施例的基于图像的收板机用不良品检测系统100，包括：产品状态图像采集模块110，用于获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；产品表观状态浅层特征提取模块120，用于通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；产品表观状态深层特征提取模块130，用于通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；丢失目标信息计算模块140，用于计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；产品表观状态多尺度特征融合模块150，用于基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；不良品检测模块160，用于基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品。

在所述产品状态图像采集模块110中，确保收板机上的摄像头能够准确采集待检测产品的表面状态图像，考虑摄像头的位置、角度和分辨率等因素，以获取清晰、准确的图像。通过采集产品状态图像，提供了后续模块进行分析和处理的数据源。

在所述产品表观状态浅层特征提取模块120中，选择适当的第一深度神经网络模型和特征提取算法，以从产品表面状态图像中提取出浅层特征，确保模型能够准确、高效地提取有用的表观特征。通过提取产品表观状态的浅层特征，可以捕捉到表面的纹理、颜色、形状等信息，为后续的深层特征提取和不良品检测提供基础。

在所述产品表观状态深层特征提取模块130中，选择适当的第二深度神经网络模型和特征提取器，以从浅层特征图中进一步提取深层特征，确保模型能够准确、有效地提取高级语义特征。通过提取产品表观状态的深层特征，可以捕捉到更抽象、更高级的特征表示，提高对不良品的检测准确性和鲁棒性。

在所述丢失目标信息计算模块140中，设计合适的计算方法，以计算产品表观状态浅层特征图和深层特征图之间的丢失目标信息，考虑如何量化丢失目标信息的程度，以生成丢失目标信息掩码特征图。通过计算丢失目标信息，可以识别出产品表观状态中存在的缺陷或异常，为后续的不良品检测提供重要线索。

在所述产品表观状态多尺度特征融合模块150中，设计合适的融合方法，以基于丢失目标信息掩码特征图将浅层特征图和深层特征图进行融合，考虑如何权衡两种特征的重要性和贡献度，以生成产品表观状态的多尺度融合特征图。通过多尺度特征融合，可以综合利用浅层特征和深层特征的优势，提高对不良品的检测性能和鲁棒性。

在所述不良品检测模块160中，选择适当的不良品检测算法和模型，以基于产品表观状态的多尺度融合特征进行检测。通过基于多尺度融合特征进行检测，可以判断待检测产品是否为不良品，帮助实现自动化的不良品剔除和提高产品质量。

这些模块的协同工作可以实现对待检测产品的自动化不良品检测，减少人工干预和主观误判，提高检测效率和准确性。同时，通过深度神经网络模型的应用，可以从表面状态图像中提取丰富的特征信息，实现对不良品的可靠检测和分类。

针对上述技术问题，在本申请的技术方案中，提出了一种基于图像的收板机用不良品检测系统，其能够利用部署在收板机上的摄像头自动采集产品表面状态图像，并在后端引入基于计算机视觉的图像处理和分析算法来进行该产品表面状态图像的分析，以对收板机输出的产品自动进行表面缺陷检测。这样，能够实现对收板机的输出产品的自动化检测，以便于对不同类型的不良品，如裂纹、划痕、变形、气泡等，进行快速准确的识别，并将不良品与合格品分开，通过这样的方式，减少了人工检测的工作量，提高了对收板机输出的不良品检测的准确性和一致性，从而提高了生产线的效率和质量。

具体地，在本申请的技术方案中，首先，获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像。接着，使用在图像的隐含特征提取方面具有优异表现性能的卷积神经网络模型来进行该产品表面状态图像的特征提取，特别地，考虑到在实际进行不良品检测时，为了能够检测出产品的裂纹、划痕、变形和气泡等缺陷特征信息，以便于将不良品与合格品进行区分，在本申请的技术方案中，将所述产品表面状态图像通过基于第一卷积神经网络模型的产品浅层特征提取器以得到产品表观状态浅层特征图。通过对所述产品表面状态图像进行浅层特征分析和提取，能够捕捉到所述产品表面的形状、纹理和颜色等特征信息，有助于识别产品表面的裂纹、划痕、变形和气泡等缺陷，从而进行不良品和合格品的区分。

然后，考虑到在对收板机输出的产品进行不良品检测时，仅通过产品表面状态的浅层特征信息来进行产品缺陷检测可能会受到环境因素和图像采集技术的影响而产生误判。因此，在本申请的技术方案中，进一步将所述产品表观状态浅层特征图通过基于第二卷积神经网络模型的产品深层特征提取器中进行特征挖掘，以提取出所述产品表面状态图像中关于产品表观的深层抽象特征和语义特征信息，从而得到产品表观状态深层特征图，以此来更准确和鲁棒地进行后续的分类和缺陷检测。

其中，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。

进一步地，由于所述产品表观状态浅层特征图和所述产品表观状态深层特征图分别捕捉了有关于收板机输出的产品表面状态的浅层和深层语义特征信息。因此，为了能够更为准确地进行产品的缺陷和不良品检测，需要融合这两个关于产品表面的不同层次的特征信息，这有助于综合利用它们的优势，提高特征的表达能力和判别性。

基于此，在本申请的技术方案中，进一步计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图，并基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图。应可以理解，通过计算浅层特征图和深层特征图之间的差异或误差，可以找到那些在产品表面深层特征中有信息丢失的区域，这些区域可能包含了一些重要的目标信息，如缺陷、异常或关键特征。因此，通过计算所述丢失目标信息掩码特征图，可以将这些可能存在缺陷的区域标记出来，形成丢失目标信息掩码特征图。这样，有利于后续更为充分和准确地进行所述产品表观状态浅层特征图和所述产品表观状态深层特征图的语义融合，以提高所述待检测产品的表观状态特征的表达能力，从而提高不良品的检测准确性和可靠性。

进一步地，在本申请的一个具体实施例中，所述丢失目标信息计算模块，用于：以如下损失公式计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到所述丢失目标信息掩码特征图；其中，所述损失公式为：其中，/>表示所述产品表观状态浅层特征图，/>表示所述产品表观状态深层特征图，/>表示上采样处理，/>表示卷积处理，/>表示/>函数，/>表示所述丢失目标信息掩码特征图。

更进一步地，在本申请的一个具体实施例中，所述产品表观状态多尺度特征融合模块，用于：基于所述丢失目标信息掩码特征图，以如下融合公式融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到所述产品表观状态多尺度融合特征图；其中，所述融合公式为：其中，/>表示所述产品表观状态浅层特征图，/>表示所述丢失目标信息掩码特征图，/>表示基于注意力的池化处理，/>表示所述产品表观状态多尺度融合特征图。

在本申请的一个实施例中，所述不良品检测模块，包括：产品表观状态特征优化单元，用于对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；产品缺陷检测单元，用于将所述优化后产品表观状态多尺度融合特征图通过分类器以得到分类结果，所述分类结果用于表示待检测产品是否存在缺陷；不良品判断单元，用于基于所述分类结果，确定所述待检测产品是否为不良品。

特别地，在上述技术方案中，所述产品表观状态浅层特征图和所述产品表观状态深层特征图分别表达所述产品表面状态图像的浅层图像语义特征和深层图像语义特征，由此，在计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息后，所述丢失目标信息掩码特征图表达浅层图像语义特征和深层图像语义特征间的层间目标语义差异，这样，在基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图得到所述产品表观状态多尺度融合特征图时，所述产品表观状态多尺度融合特征图会在特征矩阵空间分布维度上表达图像语义特征空间关联表示，而在特征矩阵通道分布维度上表达图像语义特征层间语义差异关联表示，也就是，所述产品表观状态多尺度融合特征图在整体分布维度上具有与图像语义特征的不同关联分布对应的空间信息属性。因此，如果能提升所述产品表观状态多尺度融合特征图作为高维特征的空间信息表达效果，则能够提升所述产品表观状态多尺度融合特征图的表达效果，从而改进其通过分类器得到的分类结果的准确性。

基于此，本申请对所述产品表观状态多尺度融合特征图进行优化，表示为：以如下优化公式对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；其中，所述优化公式为：/>其中，/>是所述产品表观状态多尺度融合特征图的/>位置的特征值，/>是所述产品表观状态多尺度融合特征图的/>位置的特征值，/>且/>，且为局部空间分割系数，/>是所述优化后产品表观状态多尺度融合特征图的/>位置的特征值。

具体地，以所述产品表观状态多尺度融合特征图展开后的希尔伯特空间内的局部分割空间为基准，对所述产品表观状态多尺度融合特征图/>在高维特征空间内的特征流形进行曲面的局部积分，从而基于积分函数的局部积分处理，来修正所述产品表观状态多尺度融合特征图/>的局部空间展开后的非平稳数据序列所表达的特征流形的相变不连续点，从而获得特征流形的更精细的结构和几何特征，提升所述产品表观状态多尺度融合特征图/>在高维特征空间内的空间信息表达效果，从而提升所述产品表观状态多尺度融合特征图的表达效果，改进优化后产品表观状态多尺度融合特征图通过分类器得到的分类结果的准确性。这样，能够实现对收板机输出产品的表面状态的自动化检测，以便于对不同类型的不良品进行快速准确的识别，并将不良品与合格品分开，通过这样的方式，减少了人工检测的工作量，提高了对收板机输出的不良品检测的准确性和一致性，从而提高了生产线的效率和质量。

继而，再将所述优化后产品表观状态多尺度融合特征图通过分类器以得到分类结果，所述分类结果用于表示待检测产品是否存在缺陷。也就是说，利用所述产品表观状态的浅层特征和深层特征之间的多尺度残差融合特征信息来进行分类处理，以此来进行待检测产品的缺陷检测，并基于所述分类结果，确定所述待检测产品是否为不良品，以便于将不良品与合格品分开。

在本申请的一个具体实施例中，所述产品缺陷检测单元，包括：矩阵展开子单元，用于将所述优化后产品表观状态多尺度融合特征图按照行向量或列向量展开为分类特征向量；全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

综上，基于本发明实施例的基于图像的收板机用不良品检测系统100被阐明，其利用部署在收板机上的摄像头自动采集产品表面状态图像，并在后端引入基于计算机视觉的图像处理和分析算法来进行该产品表面状态图像的分析，以对收板机输出的产品自动进行表面缺陷检测。这样，能够实现对收板机的输出产品的自动化检测，以便于对不同类型的不良品，如裂纹、划痕、变形、气泡等，进行快速准确的识别，并将不良品与合格品分开，通过这样的方式，减少了人工检测的工作量，提高了对收板机输出的不良品检测的准确性和一致性，从而提高了生产线的效率和质量。

如上所述，根据本发明实施例的基于图像的收板机用不良品检测系统100可以实现在各种终端设备中，例如用于基于图像的收板机用不良品检测的服务器等。在一个示例中，根据本发明实施例的基于图像的收板机用不良品检测系统100可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于图像的收板机用不良品检测系统100可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于图像的收板机用不良品检测系统100同样可以是该终端设备的众多硬件模块之一。

替换地，在另一示例中，该基于图像的收板机用不良品检测系统100与该终端设备也可以是分立的设备，并且该基于图像的收板机用不良品检测系统100可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。

图2为本发明实施例中提供的一种基于图像的收板机用不良品检测方法的流程图。图3为本发明实施例中提供的一种基于图像的收板机用不良品检测方法的系统架构的示意图。如图2和图3所示，一种基于图像的收板机用不良品检测方法，包括：210，获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；220，通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；230，通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；240，计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；250，基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；260，基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品。

在所述基于图像的收板机用不良品检测方法中，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。

在所述基于图像的收板机用不良品检测方法中，计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图，包括：以如下损失公式计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到所述丢失目标信息掩码特征图；其中，所述损失公式为：其中，/>表示所述产品表观状态浅层特征图，/>表示所述产品表观状态深层特征图，/>表示上采样处理，/>表示卷积处理，/>表示/>函数，/>表示所述丢失目标信息掩码特征图。

在所述基于图像的收板机用不良品检测方法中，基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为所述产品表观状态多尺度融合特征，包括：基于所述丢失目标信息掩码特征图，以如下融合公式融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到所述产品表观状态多尺度融合特征图；其中，所述融合公式为：其中，/>表示所述产品表观状态浅层特征图，/>表示所述丢失目标信息掩码特征图，/>表示基于注意力的池化处理，/>表示所述产品表观状态多尺度融合特征图。

本领域技术人员可以理解，上述基于图像的收板机用不良品检测方法中的各个步骤的具体操作已经在上面参考图1的基于图像的收板机用不良品检测系统的描述中得到了详细介绍，并因此，将省略其重复描述。

图4为本发明实施例中提供的一种基于图像的收板机用不良品检测系统的应用场景图。如图4所示，在该应用场景中，首先，获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像（例如，如图4中所示意的C）；然后，将获取的产品表面状态图像输入至部署有基于图像的收板机用不良品检测算法的服务器（例如，如图4中所示意的S）中，其中所述服务器能够基于图像的收板机用不良品检测算法对所述产品表面状态图像进行处理，以确定所述待检测产品是否为不良品。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于图像的收板机用不良品检测系统，其特征在于，包括：

产品状态图像采集模块，用于获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；

产品表观状态浅层特征提取模块，用于通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；

产品表观状态深层特征提取模块，用于通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；

丢失目标信息计算模块，用于计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；

产品表观状态多尺度特征融合模块，用于基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；

不良品检测模块，用于基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品；

其中，所述丢失目标信息计算模块，用于：以如下损失公式计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到所述丢失目标信息掩码特征图；

其中，所述损失公式为：，其中，/>表示所述产品表观状态浅层特征图，/>表示所述产品表观状态深层特征图，/>表示上采样处理，/>表示卷积处理，/>表示/>函数，/>表示所述丢失目标信息掩码特征图；

其中，所述不良品检测模块，包括：

产品表观状态特征优化单元，用于对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；

产品缺陷检测单元，用于将所述优化后产品表观状态多尺度融合特征图通过分类器以得到分类结果，所述分类结果用于表示待检测产品是否存在缺陷；

不良品判断单元，用于基于所述分类结果，确定所述待检测产品是否为不良品；

其中，对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图，包括：以如下优化公式对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；其中，所述优化公式为：

，

其中，是所述产品表观状态多尺度融合特征图的/>位置的特征值，是所述产品表观状态多尺度融合特征图的/>位置的特征值，/>表示所述产品表观状态多尺度融合特征图，/>且/>，且/>为局部空间分割系数，是所述优化后产品表观状态多尺度融合特征图的/>位置的特征值；

在上述优化公式中，以所述产品表观状态多尺度融合特征图展开后的希尔伯特空间内的局部分割空间为基准，对所述产品表观状态多尺度融合特征图在高维特征空间内的特征流形进行曲面的局部积分，从而基于积分函数的局部积分处理，来修正所述产品表观状态多尺度融合特征图的局部空间展开后的非平稳数据序列所表达的特征流形的相变不连续点，从而获得特征流形的更精细的结构和几何特征，提升所述产品表观状态多尺度融合特征图在高维特征空间内的空间信息表达效果，从而提升所述产品表观状态多尺度融合特征图的表达效果，改进优化后产品表观状态多尺度融合特征图通过分类器得到的分类结果的准确性。

2.根据权利要求1所述的基于图像的收板机用不良品检测系统，其特征在于，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。

3.根据权利要求2所述的基于图像的收板机用不良品检测系统，其特征在于，所述产品表观状态多尺度特征融合模块，用于：基于所述丢失目标信息掩码特征图，以如下融合公式融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到所述产品表观状态多尺度融合特征图；

其中，所述融合公式为：

，

其中，表示所述产品表观状态浅层特征图，/>表示所述丢失目标信息掩码特征图，/>表示基于注意力的池化处理，/>表示所述产品表观状态多尺度融合特征图。

4.根据权利要求3所述的基于图像的收板机用不良品检测系统，其特征在于，所述产品缺陷检测单元，包括：

矩阵展开子单元，用于将所述优化后产品表观状态多尺度融合特征图按照行向量或列向量展开为分类特征向量；

全连接编码子单元，用于使用所述分类器的多个全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及

分类子单元，用于将所述编码分类特征向量通过所述分类器的Softmax分类函数以得到所述分类结果。

5.一种基于图像的收板机用不良品检测方法，其特征在于，包括：

获取由部署于收板机的摄像头采集的待检测产品的产品表面状态图像；

通过基于第一深度神经网络模型的产品浅层特征提取器对所述产品表面状态图像进行特征提取以得到产品表观状态浅层特征图；

通过基于第二深度神经网络模型的产品深层特征提取器对所述产品表观状态浅层特征图进行特征提取以得到产品表观状态深层特征图；

计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到丢失目标信息掩码特征图；

基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为产品表观状态多尺度融合特征；

基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品；

其中，所述丢失目标信息计算模块，用于：以如下损失公式计算所述产品表观状态浅层特征图和所述产品表观状态深层特征图之间的丢失目标信息以得到所述丢失目标信息掩码特征图；

其中，所述损失公式为：

，

其中，表示所述产品表观状态浅层特征图，/>表示所述产品表观状态深层特征图，表示上采样处理，/>表示卷积处理，/>表示/>函数，/>表示所述丢失目标信息掩码特征图；

其中，基于所述产品表观状态多尺度融合特征，确定所述待检测产品是否为不良品，包括：

对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；

将所述优化后产品表观状态多尺度融合特征图通过分类器以得到分类结果，所述分类结果用于表示待检测产品是否存在缺陷；

不良品判断单元，用于基于所述分类结果，确定所述待检测产品是否为不良品；

其中，对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图，包括：以如下优化公式对所述产品表观状态多尺度融合特征图进行优化以得到优化后产品表观状态多尺度融合特征图；其中，所述优化公式为：

，

其中，是所述产品表观状态多尺度融合特征图的/>位置的特征值，是所述产品表观状态多尺度融合特征图的/>位置的特征值，/>表示所述产品表观状态多尺度融合特征图，/>且/>，且/>为局部空间分割系数，是所述优化后产品表观状态多尺度融合特征图的/>位置的特征值；

在上述优化公式中，以所述产品表观状态多尺度融合特征图展开后的希尔伯特空间内的局部分割空间为基准，对所述产品表观状态多尺度融合特征图在高维特征空间内的特征流形进行曲面的局部积分，从而基于积分函数的局部积分处理，来修正所述产品表观状态多尺度融合特征图的局部空间展开后的非平稳数据序列所表达的特征流形的相变不连续点，从而获得特征流形的更精细的结构和几何特征，提升所述产品表观状态多尺度融合特征图在高维特征空间内的空间信息表达效果，从而提升所述产品表观状态多尺度融合特征图的表达效果，改进优化后产品表观状态多尺度融合特征图通过分类器得到的分类结果的准确性。

6.根据权利要求5所述的基于图像的收板机用不良品检测方法，其特征在于，所述第一深度神经网络模型为第一卷积神经网络模型，所述第二深度神经网络模型为第二卷积神经网络模型。

7.根据权利要求6所述的基于图像的收板机用不良品检测方法，其特征在于，基于所述丢失目标信息掩码特征图，融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到产品表观状态多尺度融合特征图作为所述产品表观状态多尺度融合特征，包括：基于所述丢失目标信息掩码特征图，以如下融合公式融合所述产品表观状态浅层特征图和所述产品表观状态深层特征图以得到所述产品表观状态多尺度融合特征图；

其中，所述融合公式为：

，

其中，表示所述产品表观状态浅层特征图，/>表示所述丢失目标信息掩码特征图，/>表示基于注意力的池化处理，/>表示所述产品表观状态多尺度融合特征图。