CN115797349A - 一种缺陷检测方法、装置和设备 - Google Patents

一种缺陷检测方法、装置和设备 Download PDF

Info

Publication number
CN115797349A
CN115797349A CN202310069953.2A CN202310069953A CN115797349A CN 115797349 A CN115797349 A CN 115797349A CN 202310069953 A CN202310069953 A CN 202310069953A CN 115797349 A CN115797349 A CN 115797349A
Authority
CN
China
Prior art keywords
image
images
normal
target
product
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310069953.2A
Other languages
English (en)
Other versions
CN115797349B (zh
Inventor
高红超
卢盛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong OPT Machine Vision Co Ltd
Original Assignee
Guangdong OPT Machine Vision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong OPT Machine Vision Co Ltd filed Critical Guangdong OPT Machine Vision Co Ltd
Priority to CN202310069953.2A priority Critical patent/CN115797349B/zh
Publication of CN115797349A publication Critical patent/CN115797349A/zh
Application granted granted Critical
Publication of CN115797349B publication Critical patent/CN115797349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)

Abstract

本申请实施例提供一种缺陷检测方法、装置和设备。在本申请实施例中，能够获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。

Description

一种缺陷检测方法、装置和设备
技术领域
本申请涉及图像处理技术领域，尤其涉及一种缺陷检测方法、装置和设备。
背景技术
在工业缺陷检测领域中，由于工业产品的种类繁多，而且每类工业产品的异常种类也很多，如果采用人工肉眼进行质检，效率极低而且对人工的精力和熟练程度也是极大的考验。而如果利用深度学习进行缺陷检测，以锂电池为例，模切软包锂电池工艺流程生产一颗电芯通常需要20个工序，每个工序又需要几十上百个机台，每个机台产生的缺陷也是各式各样的，那么搜集齐所有类别的缺陷图像用于深度学习模型训练则需要耗费巨大的工作量。
针对此，相关技术提出一系列的仅依赖正样本的异常检测算法，该类算法通常是在正常产品的图像（即无缺陷的产品图像）上随机添加噪声，生成伪异常标签来模拟异常图像进行异常检测模型的训练。显然，采用这种方式中生成的伪异常标签质量决定了异常检测模型的性能。而且，生成的伪标签与实际的异常图像往往存在一定的差异，在实际缺陷检测场景中，效果往往欠佳。并且，基于现有异常检测技术得到的深度学习模型的泛化能力也较差，一个模型通常仅能鉴定一种异常。若需检测多种类别的异常，则需要训练多个模型。
因此，如何提供一种方法仅利用有限的样本便可训练得到能够用于检测多种类别异常的检测模型，仍然需要提供进一步的解决方案。
发明内容
本申请的多个方面提供一种缺陷检测方法、装置和设备，用以利用有限的样本便可训练得到能够用于检测多种类别异常的检测模型。
本申请实施例提供一种缺陷检测方法，包括：获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
本申请实施例还提供一种缺陷检测装置，包括：图像获取模块，用于获取待检测的目标产品的目标图像；特征提取模块，用于通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；异常确定模块，用于通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；缺陷确定模块，用于在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
本申请实施例还提供一种电子设备，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，当所述计算机程序被处理器执行时，致使所述处理器实现本申请实施例提供的缺陷检测方法中的步骤。
在本申请实施例中，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到，并在目标图像的异常概率大于或等于预设异常概率阈值时，能够通过缺陷检测网络确定目标图像缺陷位置和类别，以及基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常。一方面，由于所利用的异常检测网络和目标产品的多元正态分布都是基于产品的正常图像构建得到，使得在仅有产品正样品的情况下仍然能够实现产品的缺陷检测，另一方面，还将异常检测网络和缺陷检测网络结合，能够有效提高缺陷检测的准确率，避免单纯利用缺陷检测网络进行缺陷检测时对一些存在缺陷或异常的产品的漏检。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本申请示例性实施例提供的一种缺陷检测方法的流程示意图；
图2为本申请实施例提供的一种基于孪生网络AD_Net改进得到的异常检测网络的结构示意图；
图3为本申请实施例提供的一种掩膜模块的结构示意图；
图4为本申请实施例根据异常检测网络的训练方法提供的局部特征表示模块的结构示意图；
图5为本申请实施例提供的异常检测网络的训练过程示意图；
图6为本申请实施例提供的一种多元正态分布的构建过程示意图；
图7为本申请实施例提供的通过异常检测网络和多元正态分布确定图像中的异常区域和异常概率的过程示意图；
图8为本申请实施例提供的一种异常检测和缺陷检测的过程示意图；
图9为采用本申请实施例提供的缺陷检测方法确定的产品图像中的缺陷示意图，包含（a）~（d）；
图10为采用本申请实施例提供的缺陷检测方法确定的产品图像中的缺陷示意图，包含（e）~（h）；
图11为采用本申请实施例提供的缺陷检测方法确定的产品图像中的缺陷示意图，包含（i）~（l）；
图12为采用本申请实施例提供的缺陷检测方法确定的产品图像中的缺陷示意图，包含（m）~（n）；
图13为本申请示例性实施例提供的一种缺陷检测装置的结构示意图；
图14为本申请示例性实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为解决现有异常检测技术需要训练多种模型来检测多种缺陷或异常的问题，在本申请一些实施例中提供一种缺陷检测方法，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到，并在目标图像的异常概率大于或等于预设异常概率阈值时，能够通过缺陷检测网络确定目标图像缺陷位置和类别，以及基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常。
以下结合附图，详细说明本申请各实施例提供的技术方案。
图1为本申请示例性实施例提供的一种缺陷检测方法的流程示意图。如图1所示，该方法包括：
步骤110，获取待检测的目标产品的目标图像。
其中，目标产品可以是有缺陷检测需求的任意一种类型的产品，以锂电池生产制造领域，该目标产品可以是锂电池电芯，目标产品的目标图像可以是锂电池电芯的某一拍摄角度的照片。
步骤120，通过异常检测网络提取目标图像的特征，异常检测网络为基于多种类别产品的正常图像训练得到。
其中，异常检测网络用于检测产品的图像中是否存在异常区域，以及某一区域为异常区域的异常概率。在一些示例性的实施例中，该异常检测网络的训练过程可包括：
获取多种类别产品的正常图像；
对多种类别产品的正常图像进行类别均衡化，得到类别均衡化的多种类别产品的正常图像；
基于类别均衡化的多种类别产品的正常图像，训练得到异常检测网络；其中，异常检测网络包括掩膜模块、卷积神经网络、特征对齐模块、特征编码模块和预测器，掩膜模块在卷积神经网络之前，用于对输入的图像进行局部掩膜以对输入的图像进行图像增强，特征对齐模块为基于残差网络设计，用于提取输入图像的类别无关特征，特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对特征对齐模块提取的特征进行多个尺度的融合。
可选地，该异常检测网络可基于孪生网络AD_Net改进得到。图2为本申请实施例提供的一种基于孪生网络AD_Net改进得到的异常检测网络的结构示意图。如图2所示，该异常检测网络可包括掩膜模块（即图2所示的通道掩码）、卷积神经网络（即图2所示的阶段1~阶段3）、局部特征表示模块（即图2所示的局部表示1~局部表示3）、特征编码模块（即图2所示的编码）和预测头。在图2中，由于采用了孪生网络AD_Net，因此网络的输入为一个图像对，即两个图像Ia和Ib同时输入进行训练，依次通过掩膜模块分别对图像Ia和Ib进行图像掩膜、卷积神经网络阶段1的特征提取以及局部特征表示模块的局部表示1、卷积神经网络阶段2的特征提取以及局部特征表示模块的局部表示2、卷积神经网络阶段3的特征提取以及局部特征表示模块的局部表示3、特征编码模块进行编码分别得到图像Ia经过阶段3进行特征提取后的特征图
Figure SMS_1
，图像Ib经过阶段3进行特征提取后的特征图
Figure SMS_2
，再通过预测头确定图像Ia的一维特征向量表示以及图像Ia的一维特征向量表示，最后便可基于确定图像Ia的一维特征向量表示以及图像Ia的一维特征向量表示，确定出两个图像Ia和Ib之间的相似度。其中，特征编码模块对两个图像Ia和Ib进行编码时，权重参数可共享，即特征编码模块对两个图像Ia和Ib进行编码时，两个图像的权重参数是一样的。
其中，特征对齐模块为基于残差网络（ResNet），用于提取对各产品图像的类别无关特征，该类别无关特征也可理解为各产品图像的通用特征，即不带有特定类别属性的特征。而且为了提高对不同尺度的异常目标检测，本申请实施例在特征对齐模块引入特征金字塔层，通过串联或并联使用不同扩张率的空洞卷积来实现对图像的多尺度上下文的语义信息捕捉。
为了能在少样本条件下仍然能够保证异常检测网络的特征提取能力，本申请实施例在残差网络之前新增掩膜模块M，该掩膜模块M能够通过对输入图像进行局部掩膜以对输入图像进行增强，从而能够提升残差网络特征提取、特征局部表征以及特征编码等的难度，使得异常检测网络能够学习到更有区分度的特征表示。与常规的掩膜操作不同的是，本申请实施例采自注意力机制和位置编码等操作，对图像进行通道级的掩膜，可以利用其他通道的信息来恢复掩膜掉的通道的信息，从而有效增加网络学习的难度，能够更好地加强异常检测网络的特征学习，同时减少直接对图像进行掩膜操作所带来的计算复杂度。
图3为本申请实施例提供的一种掩膜模块的结构示意图。在图3中，该掩膜模块也可称为掩膜卷积，输入图像依次经过区域掩膜、平均池化、Flatten（拉平）、位置编码、线性映射、自注意力机制、Sigmoid非线性激活以及权重乘积，对输入图像进行通道级的掩膜，得到Lmask。
参照图4，图4为本申请实施例根据异常检测网络的训练方法提供的局部特征表示模块的结构示意图，该模块能够进一步提升网络特征表示能力。残差网络每个阶段提取得到的特征图
Figure SMS_3
，可通过公式（1）来表示，对于特征图第
Figure SMS_4
位置的单元格利用其周围单元格的信息对其进行特征表征如公式（2）。如图4所示，非边缘区域的单元格Fi,j的周围通常有8个相邻的单元格
Figure SMS_5
~
Figure SMS_6
，该单元格Fi,j可由这8个相邻的单元格进行特征表示。
Figure SMS_7
（1）
Figure SMS_8
（2）
在一些示例性的实施例中，为了使得训练得到的异常检测网络能够对各种类别的产品都具备同样的特征提取能力，本申请实施例可在异常检测网络训练之前，对用于训练异常检测网络的样本数据进行类别均衡化操作。具体地，对多种类别产品的正常图像进行类别均衡化，得到类别均衡化的多种类别产品的正常图像，包括：
从多种类别产品的正常图像中，确定多种类别产品中各类别产品的图像数量；
从多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及多种类别产品的平均图像数量；
在最多类别的产品的图像数量大于或等于最少类别的产品的图像数量的预设倍数时，对图像数量小于多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
例如，可从多种类别产品的正常图像中，统计每个类别产品的图像数量，其中，最少类别的产品的图像数量可记为
Figure SMS_11
和最大类别的图像数量可记为
Figure SMS_12
，以及多种类别产品的平均图像数量可记为
Figure SMS_14
。作为一种示例可假设
Figure SMS_10
，则认为多种类别产品的图像数量较为均衡，此时不进行类别均衡化的操作；而如果
Figure SMS_13
，则认为多种类别产品的图像数量出现失衡，即最少类别的产品的图像数量太少，而最大类别的图像数量较多，此时可对图像数量小于多种类别产品的平均图像数量（
Figure SMS_15
）的类别的数据集
Figure SMS_16
（即上文所述的第一产品的图像数据集），以图像数量达到
Figure SMS_9
为目标进行图像扩充。
在一些示例性的实施例中，为丰富第一产品的图像数据集中的图像，可采用几何变化操作对第一产品的图像数据集中已有的图像进行图像变换操作。具体地，对图像数量小于多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，包括：
基于多种类别产品的平均图像数量和第一产品的正常图像数量，确定第一产品待扩充的图像数量；
从第一产品的正常图像中选取第一图像，第一图像为所述第一产品的正常图像中的任意一张图像；
对第一图像进行几何图像变化操作，得到第二图像，并将第二图像加入至第一产品的正常图像中；其中，几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；
重复执行从第一产品的正常图像中选取第一图像的步骤，直至第一产品的正常图像中扩充的图像数量达到第一产品待扩充的图像数量。
例如，待扩充的第一产品的正常图像的数据集记为数据集
Figure SMS_32
，该数据集
Figure SMS_19
中正常图像的数量记为
Figure SMS_27
，需要扩充到的目标数量为
Figure SMS_30
。第一步，可计算数据集
Figure SMS_34
需扩充的图像数量
Figure SMS_33
；第二步，初始化数据集
Figure SMS_36
的图像扩充集合为
Figure SMS_20
；第三步，随机从数据集
Figure SMS_24
中选取一张第一图像
Figure SMS_17
，对第一图像
Figure SMS_23
进行几何图像变化操作得到第二图像
Figure SMS_21
，其中，几何图像变化操作包括翻转、平移、旋转、缩放、仿射变换等操作中的一个或多个；第四步，将第二图像
Figure SMS_25
加入至到图像扩充集合
Figure SMS_29
中。重复执行步骤第三步和第四步，第三步和第四步的执行次数为
Figure SMS_31
次，直至数据集
Figure SMS_22
中的图像数量达到目标数量
Figure SMS_28
。最后，将图像扩充集合
Figure SMS_26
并入到数据集
Figure SMS_35
中，得到图像扩充后的数据集
Figure SMS_18
。
在一些示例性的实施例中，由于本申请实施例采用的异常检测网络为基于孪生的AD_Net构建得到，因此，在异常检测网络训练时，需要两个输入
Figure SMS_37
和
Figure SMS_38
。具体地，基于类别均衡化的多种类别产品的正常图像，训练得到异常检测网络，包括：
从类别均衡化的多种类别产品的正常图像中选择多批图像，多批图像中的每批图像包含有N个图像对，该N个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，第一输入图像为从多种类别产品的正常图像中随机选取的任意一张图像，第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的K张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的K张图像，第一预设概率和第二预设概率之和为1；
基于多批图像，训练得到异常检测网络。
例如，可从类别均衡化的多种类别产品的正常图像中选择多批图像对孪生的AD_Net进行训练。由于孪生的AD_Net有
Figure SMS_51
和
Figure SMS_40
两个输入，因此，对应的，每批图像可为N个图像对，记为
Figure SMS_49
，其中，
Figure SMS_46
，其中
Figure SMS_52
表示一批图像中
Figure SMS_53
输入源的第
Figure SMS_54
幅图像，
Figure SMS_43
表示对应的
Figure SMS_48
输入源第
Figure SMS_39
幅训练图像对应的支撑集。
Figure SMS_45
可以是随机的从一批图像中选取，
Figure SMS_42
则可按照一定的概率
Figure SMS_47
从与图像
Figure SMS_44
同一类别的图像中选择的不重复的K张图片，或者，按照
Figure SMS_50
的概率从与图像
Figure SMS_41
不同类别的图像中选择的K张图片。
其中，异常检测网络即孪生的AD_Net的损失函数为
Figure SMS_55
，公式如式（3）。
Figure SMS_56
（3）
其中，
Figure SMS_57
，
Figure SMS_58
，
Figure SMS_59
。
Figure SMS_62
表示
Figure SMS_65
的L2范数，
Figure SMS_70
表示
Figure SMS_63
的L2范数，
Figure SMS_66
表示
Figure SMS_69
的L2范数，
Figure SMS_73
表示
Figure SMS_60
的L2范数，
Figure SMS_64
表示掩膜损失，
Figure SMS_68
、
Figure SMS_71
分别表示掩膜模块的输出图像矢量、输入图像矢量，
Figure SMS_61
是其对应的系数，
Figure SMS_67
为特征编码模块对图像Ia进行编码经过阶段3进行特征提取后的特征图，
Figure SMS_72
为特征编码模块对图像Ib经过阶段3进行特征提取后的特征图。
作为一种实施方式，异常检测网络的优化器选用动量随机梯度下降优化算法，其中，参数momentum：0.9，初始化学习率0.0001，训练数据规模为3千六百多张图片，训练50轮后停止。图5为本申请实施例提供的异常检测网络的训练过程示意图。在图5中，可从类别均衡化的多种类别产品的正常图像（即图5所示的训练集）中选择多批图像（即图5所示的第一批图像~第M批图像），每批图像，以第一批图像为例，第一批图像包含有N个图像对，每个图像对又包含有第一输入图像和第二输入图像，第一输入图像和第二输入图像可以是同一类别中不重复的两张图像，也可以是所属两个不同类别中的两张图像，第一输入图像作为孪生的AD_Net的
Figure SMS_74
输入至Net1中，第二输入图像作为孪生的AD_Net的
Figure SMS_75
输入至Net2中，基于Loss函数联合训练得到异常检测网络。
步骤130，通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到。
在一些示例性的实施例中，为利用目标产品的正样本进行异常检测，可预先基于目标产品的多个正常图像构建目标产品的多元正态分布，以确定目标产品的正常图像的分布情况。具体地，目标产品的多元正态分布的构建过程可包括：
获取目标产品的第一数量的正常图像；
利用K中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，一个类簇中心对应于一张目标产品的正常图像；
通过特征提取网络提取K个类簇中心对应的目标产品的正常图像的特征；
基于K个类簇中心对应的目标产品的正常图像的特征，构建目标产品的多元正态分布。
例如，获取待异常鉴定的目标产品的样本数据C，可从目标产品的样本数据C中取一批正常样本集
Figure SMS_78
，即目标产品的一批正常图像，该正常图像的数量为第一数量，再利用K中心点（K-Medoide）聚类的方式对
Figure SMS_79
进行无监督聚类，得到K个类簇{
Figure SMS_81
}，然后从每个类簇
Figure SMS_77
（i=1,2，……，k）中选择该类簇中心对应的原始图片
Figure SMS_80
作为该类簇
Figure SMS_82
的代表图片（即上文所述的类簇中心对应于的一张目标产品的正常图像），得到目标产品的多元正态分布的支撑集S={
Figure SMS_83
}。最后，基于目标产品的多元正态分布的支撑集S={
Figure SMS_76
}，构建目标产品的多元正态分布。
其中，基于K个类簇中心对应的目标产品的正常图像的特征，构建目标产品的多元正态分布，具体可通过AD_Net获取支撑集S中每个类簇中心
Figure SMS_84
对应的特征
Figure SMS_85
，这些特征构成样本数据C的注册特征集SF，由SF获得样本数据C的多元正态分布
Figure SMS_86
。其中，多元正态分布
Figure SMS_87
的均值
Figure SMS_88
和方差
Figure SMS_89
的公式如公式（4）和（5）。
Figure SMS_90
（4）
Figure SMS_91
（5）
在一些示例性的实施例中，为避免用于构建目标产品的多元正态分布的样本数据集较小，不能保证样本的多样性，使得构建的多元正态分布不能代表目标产品的正常图像的分布情况，本申请实施例在利用K中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类之前，可对目标产品的第一数量的正常图像进行图像增强，以丰富样本的多样性。具体地，利用K中心点聚类的方式对目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，包括：
对目标产品的第一数量的正常图像进行图像增强，得到目标产品的第二数量的正常图像，第二数量大于第一数量；
利用K中心点聚类的方式对目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇；
分别确定K个类簇的类簇中心对应的目标产品的正常图像，作为K个类簇的代表图像。
例如，可对目标产品的第一数量的正常图像的样本集
Figure SMS_92
进行图像增强得到
Figure SMS_93
，以保证基于样本得到的特征表示的多样性。具体地，该图像增强的过程可包括：
S1，确定样本集
Figure SMS_94
的样本量为
Figure SMS_95
，需要扩充的样本量为
Figure SMS_96
，初始化图像增强集合
Figure SMS_97
；
S2，随机从样本集
Figure SMS_98
中选取一张图像
Figure SMS_99
，对
Figure SMS_100
进行几何图像变化操作得到
Figure SMS_101
，该几何图像变化操作包括翻转、平移、旋转、缩放、仿射变换等操作中的一种或多种，再将几何图像变化操作后得到的
Figure SMS_102
放入到图像增强集合
Figure SMS_103
中；
S3，重复S2N次，便可获得图像增强集合
Figure SMS_104
，即上文所述的目标产品的第二数量的正常图像的集合。
图6为本申请实施例提供的一种多元正态分布的构建过程示意图。在图6中，目标产品的多元正态分布的构建过程可包括：S61，获取目标产品的样本集；S62，筛选出目标产品的正常图像；S63，对目标产品的正常图像进行图像增强，S64，通过特征提取网络对图像增强后的图像集中的各个图像进行特征提取；S65，利用K-Medoide聚类基于各个图像的特征对图像增强后的图像集进行无监督聚类，其中，聚类得到的类簇包括C1~CK；S66，获取K个聚类中心的代表图像；S67，基于K个聚类中心的代表图像获得支撑集；S68，通过AD_Net提取支撑集中每个图像的特征；S69，基于支撑集中每个图像的特征，构建目标产品的多元正态分布。其中，AD_Net为特征提取网络的一种实施方式。
在一些示例性的实施例中，利用K中心点聚类的方式对目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇，包括：
利用预训练网络ResNet34分别对目标产品的第二数量的正常图像进行特征提取，获取目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为目标产品的第二数量的正常图像中各正常图像的特征表示；
利用K中心点聚类的方式对目标产品的第二数量的正常图像的特征表示进行聚类，将目标产品的第二数量的正常图像划分为K个类簇。
例如，可利用预训练网络ResNet34对图像增强集合
Figure SMS_105
中的每个图像进行特征提取操作，本申请实施例可选取全连接之前一层的特征为每个图像的特征表示；再基于提取得到的图像增强集合
Figure SMS_106
的特征表示的集合，利用K中心点距离算法进行聚类，将图像增强集合
Figure SMS_107
划分成K个类簇{
Figure SMS_108
}。
在一些示例性的实施例中，上述通过异常检测网络提取得到的目标图像的特征可包括多个单元格的特征，即可以将目标图像划分为多个单元格，每个单元格的大小相等，再通过异常检测网络提取目标图像的每个单元格的特征，即通过异常检测网络获取得到的目标图像的特征中包含有每个单元格的特征，而且每个单元格的特征携带有该单元格的位置信息。相应的，为了便于定位目标图像中的异常区域，目标产品的多元正态分布也包含有目标产品的每一类图像的多个单元格的特征分布。具体地，目标图像的特征包括目标图像的多个单元格的特征，目标产品的多元正态分布包括目标产品的正常图像的多个单元格的特征分布，通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，包括：
确定目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离；
基于目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离，确定目标图像的异常概率和异常区域。
例如，确定目标图像的多个单元格的各单元格的特征和第
Figure SMS_109
类目标产品的正常图像的对应的多元正态分布之间的马氏距离
Figure SMS_110
，可通过公式（6）来确定。
Figure SMS_111
（6）
其中，
Figure SMS_112
为目标图像的特征图
Figure SMS_113
单元格
Figure SMS_114
的特征，
Figure SMS_115
和
Figure SMS_116
分别是第
Figure SMS_117
类产品的多元正态分布的均值和方差。
可以理解，目标图像的多个单元格的各单元格的特征和目标产品的正常图像的对应的单元格的特征分布之间的距离越大，表明该单元格为异常区域的概率越大，即该单元格的异常概率越大。图7为本申请实施例提供的通过异常检测网络和多元正态分布确定图像中的异常区域和异常概率的过程示意图，该过程可包括：S71，获取待检测的目标图像；S72，通过AD_Net提取目标图像的图像特征；S73，通过多元正态分布基于目标图像的图像特征对目标图像进行异常鉴定；S74，确定目标图像的异常概率
Figure SMS_118
和区域异常概率
Figure SMS_119
，可通过公式（7）和（8）来确定。
Figure SMS_120
(7)
Figure SMS_121
(8)
步骤140，在目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定目标图像缺陷位置和类别，以及基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常。
其中，缺陷检测网络可用于检测目标图像缺陷位置和类别，即识别出目标图像中存在缺陷的位置，以及该缺陷位置处的缺陷属于什么类别的缺陷，而异常检测网络识别出的异常区域并不能进一步识别出该异常区域是什么类别的异常，只是能识别该区域存在异常。基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常，可将缺陷检测网络和异常检测网络的识别结果结合起来，综合判断目标图片是否为正常图片，当通过异常检测网络识别到目标图像存在异常区域，而通过缺陷检测网络识别不到目标图片的缺陷时，在某一区域的异常概率大于设定的区域异常概率阈值（下文所述的
Figure SMS_122
）时，仍然可确定出目标图像中存在异常的异常区域，从而有效避免单纯使用缺陷检测网络造成一些产品缺陷漏检的问题。
其中，预设异常概率阈值可包括第一预设异常概率阈值
Figure SMS_126
和第二预设异常概率阈值
Figure SMS_127
，其中，第一预设异常概率阈值
Figure SMS_131
小于第二预设异常概率阈值
Figure SMS_125
，即第一预设异常概率阈值
Figure SMS_128
用于筛选出轻微异常的图像，第二预设异常概率阈值
Figure SMS_130
用于筛选出高度异常的图像。具体地，预设异常概率阈值可包括第一预设异常概率阈值
Figure SMS_133
和第二预设异常概率阈值
Figure SMS_123
，其中，第一预设异常概率阈值
Figure SMS_129
小于第二预设异常概率阈值
Figure SMS_132
，即第一预设异常概率阈值
Figure SMS_134
用于筛选出轻微异常的图像，第二预设异常概率阈值
Figure SMS_124
用于筛选出高度异常的图像。具体地，在目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定目标图像中缺陷位置和类别，包括：
在目标图像的异常概率大于或等于第一异常概率阈值且小于或等于第二异常概率阈值时，通过缺陷检测网络确定目标图像中缺陷位置和类别。
其中，缺陷检测网络可采用任意通用的缺陷检测网络，只要该缺陷检测网络能够检测出图像中的缺陷及缺陷类别即可，本申请实施例对此不作具体限定。
图8为本申请实施例提供的一种异常检测和缺陷检测的过程示意图，可包括：
S81，输入目标产品的目标图像。
S82，通过异常检测网络和目标产品的多元正态分布对目标图像进行异常检测。
S83，确定目标图像的异常区域
Figure SMS_135
和对应的异常概率
Figure SMS_136
。
S84，确定异常概率
Figure SMS_137
与
Figure SMS_138
和
Figure SMS_139
关系，以对异常区域
Figure SMS_140
进行异常分类。
若
Figure SMS_141
，则确定图像无异常；若
Figure SMS_142
，则执行S851；若
Figure SMS_143
，则执行S861；
S851，通过缺陷检测网络检测异常区域loci。
S852，确定缺陷检测网络是否能检测出缺陷区域。
若缺陷检测网络能检测出异常的缺陷区域，则执行S753，否则确定该目标图像无异常。
S853，输出缺陷类别和缺陷区域。
S861，通过缺陷检测网络检测该目标图像。
S862，确定缺陷检测网络是否能检测出缺陷。
若缺陷检测网络能检测出缺陷，则执行S853，否则，仍然确定该图片有异常，并根据阈值
Figure SMS_144
给出异常的区域位置为
Figure SMS_145
。
需要说明的是，
Figure SMS_146
和
Figure SMS_147
是用于指示目标图像整体是否有异常的概率阈值，
Figure SMS_148
是用于指示目标图像中每个区域是否有异常的概率阈值。
显然，采用本申请实施例提供的方法，即使在缺陷检测网络无法检测出图像中的缺陷时，仍然能够通过异常检测网络来确定异常区域和异常概率，有效提高了检测图像中异常或缺陷的准确率。图9~图12为采用本申请实施例提供的缺陷检测方法确定的产品图像中的缺陷示意图。其中，（a）、（c）、（e）、（g）、（i）、（k）和（m）为检测的产品图像，（b）、（d）、（f）、（h）、（j）、（l）和（n）为采用本申请实施例提供的缺陷检测方法确定的缺陷位置示意图，显然，采用本申请实施例提供的方法，能够较为准确地确定各存在缺陷或异常的图像中异常或缺陷的位置。
另外，本实施例提供的方法可应用于任何存在缺陷或异常检测的应用场景中，仅利用有限产品的正常图像，即可构建得到异常检测模型，和各产品的多元正态分布，而且结合缺陷检测网络，有效提高缺陷检测的准确率。
在本申请一些实施例提供的缺陷检测方法中，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到，并在目标图像的异常概率大于或等于预设异常概率阈值时，能够通过缺陷检测网络确定目标图像缺陷位置和类别，以及基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常。一方面，由于所利用的异常检测网络和目标产品的多元正态分布都是基于产品的正常图像构建得到，使得在仅有产品正样品的情况下仍然能够实现产品的缺陷检测，另一方面，还将异常检测网络和缺陷检测网络结合，能够有效提高缺陷检测的准确率，避免单纯利用缺陷检测网络进行缺陷检测时对一些存在缺陷或异常的产品的漏检。
需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤110至步骤130的执行主体可以为设备A；又比如，步骤110至步骤120的执行主体可以为设备A，步骤130的执行主体可以为设备B；等等。
另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如110、120等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类别。
图13为本申请示例性实施例提供的一种缺陷检测装置的结构示意图。如图13所示，该装置1300包括：图像获取模块1310、特征提取模块1320、异常确定模块1330和缺陷确定模块1340，其中：
图像获取模块1310，用于获取待检测的目标产品的目标图像；
特征提取模块1320，用于通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；
异常确定模块1330，用于通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；
缺陷确定模块1340，用于在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
本申请实施例提供的缺陷检测装置，在获取待检测的目标产品的目标图像之后，能够通过异常检测网络提取目标图像的特征，该异常检测网络为基于多种类别产品的正常图像训练得到，以及通过目标产品的多元正态分布基于目标图像的特征，确定目标图像的异常概率和异常区域，其中，目标产品的多元正态分布为基于目标产品的第一数量的正常图像，通过异常检测网络提取的特征构建得到，并在目标图像的异常概率大于或等于预设异常概率阈值时，能够通过缺陷检测网络确定目标图像缺陷位置和类别，以及基于目标图像缺陷位置和类别以及异常区域，确定目标图像是否存在缺陷或异常。一方面，由于所利用的异常检测网络和目标产品的多元正态分布都是基于产品的正常图像构建得到，使得在仅有产品正样品的情况下仍然能够实现产品的缺陷检测，另一方面，还将异常检测网络和缺陷检测网络结合，能够有效提高缺陷检测的准确率，避免单纯利用缺陷检测网络进行缺陷检测时对一些存在缺陷或异常的产品的漏检。
进一步可选地，所述装置还包括多元正态分布构建模块，用于：
获取所述目标产品的第一数量的正常图像；
利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，一个所述类簇中心对应于一张所述目标产品的正常图像；
通过特征提取网络提取所述K个类簇的每个类簇中心对应的所述目标产品的正常图像的特征；
基于所述K个类簇的每个类簇中心对应的所述目标产品的正常图像的特征，构建所述目标产品的多元正态分布。
进一步可选地，所述多元正态分布构建模块利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心时，具体用于：
对所述目标产品的第一数量的正常图像进行图像增强，得到所述目标产品的第二数量的正常图像，所述第二数量大于所述第一数量；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇；
分别确定所述K个类簇的类簇中心对应的所述目标产品的正常图像，作为所述K个类簇的代表图像。
进一步可选地，所述多元正态分布构建模块利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇时，具体用于：
利用预训练网络ResNet34分别对所述目标产品的第二数量的正常图像进行特征提取，获取所述目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为所述目标产品的第二数量的正常图像中各正常图像的特征表示；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像的特征表示进行聚类，将所述目标产品的第二数量的正常图像划分为所述K个类簇。
进一步可选地，所述目标图像的特征包括所述目标图像的多个单元格的特征，所述目标产品的多元正态分布包括所述目标产品的正常图像的多个单元格的特征分布，所述异常确定模块1330通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域时，具体用于：
确定所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离；
基于所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离，确定所述目标图像的异常概率和异常区域。
进一步可选地，所述获取待检测的目标产品的目标图像之前，所述装置还包括异常检测网络训练模块，用于：
获取所述多种类别产品的正常图像；
对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；
基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征提取模块和特征编码模块，所述特征提取模块包括掩膜模块、局部特征表示模块和残差网络，所述掩膜模块在所述残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述局部特征表示模块利用所述特征提取模块提取的特征图上当前单元格周围的单元格信息对所述当前单元格进行表示；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征对齐模块提取的特征进行多个尺度的融合。
进一步可选地，所述异常检测网络训练模块对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像时，具体用于：
从所述多种类别产品的正常图像中，确定所述多种类别产品中各类别产品的图像数量；
从所述多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及所述多种类别产品的平均图像数量；
在所述最多类别的产品的图像数量大于或等于所述最少类别的产品的图像数量的预设倍数时，对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
进一步可选地，所述异常检测网络训练模块对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充时，具体用于：
基于所述多种类别产品的平均图像数量和所述第一产品的正常图像数量，确定所述第一产品待扩充的图像数量；
从所述第一产品的正常图像中选取第一图像，所述第一图像为所述第一产品的正常图像中的任意一张图像；
对所述第一图像进行几何图像变化操作，得到第二图像，并将所述第二图像加入至所述第一产品的正常图像中；其中，所述几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；
重复执行从所述第一产品的正常图像中选取第一图像的步骤，直至所述第一产品的正常图像中扩充的图像数量达到所述第一产品待扩充的图像数量。
进一步可选地，所述异常检测网络训练模块基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络时，具体用于：
从类别均衡化的多种类别产品的正常图像中选择多批图像，多批图像中的每批图像包含有N个图像对，该N个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，第一输入图像为从多种类别产品的正常图像中随机选取的任意一张图像，第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的K张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的K张图像，第一预设概率和第二预设概率之和为1；
基于多批图像，训练得到异常检测网络。
缺陷检测装置能够实现图1~图11的方法实施例的方法，具体可参考图1~图11所示实施例的缺陷检测方法，不再赘述。
图14为本申请示例性实施例提供的一种电子设备的结构示意图。如图14所示，该设备包括：存储器141和处理器142。
存储器141，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算设备上的操作。这些数据的示例包括用于在计算设备上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图像，视频等。
处理器142，与存储器141耦合，用于执行存储器141中的计算机程序，以用于：获取待检测的目标产品的目标图像；通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
进一步可选地，进一步可选地，所述处理器142还用于：
获取所述目标产品的第一数量的正常图像；
利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，一个所述类簇中心对应于一张所述目标产品的正常图像；
通过特征提取网络提取所述K个类簇中心对应的所述目标产品的正常图像的特征；
基于所述K个类簇中心对应的所述目标产品的正常图像的特征，构建所述目标产品的多元正态分布。
进一步可选地，所述处理器142利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心时，具体用于：
对所述目标产品的第一数量的正常图像进行图像增强，得到所述目标产品的第二数量的正常图像，所述第二数量大于所述第一数量；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇；
分别确定所述K个类簇的类簇中心对应的所述目标产品的正常图像，作为所述K个类簇的代表图像。
进一步可选地，所述处理器142利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇时，具体用于：
利用预训练网络ResNet34分别对所述目标产品的第二数量的正常图像进行特征提取，获取所述目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为所述目标产品的第二数量的正常图像中各正常图像的特征表示；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像的特征表示进行聚类，将所述目标产品的第二数量的正常图像划分为所述K个类簇。
进一步可选地，所述目标图像的特征包括所述目标图像的多个单元格的特征，所述目标产品的多元正态分布包括所述目标产品的正常图像的多个单元格的特征分布，所述处理器142通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域时，具体用于：
确定所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离；
基于所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离，确定所述目标图像的异常概率和异常区域。
进一步可选地，所述处理器142，还用于：
获取所述多种类别产品的正常图像；
对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；
基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征提取模块和特征编码模块，所述特征提取模块包括掩膜模块、局部特征表示模块和残差网络，所述掩膜模块在所述残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述局部特征表示模块利用所述特征提取模块提取的特征图上当前单元格周围的单元格信息对所述当前单元格进行表示；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征对齐模块提取的特征进行多个尺度的融合。
进一步可选地，所述处理器142对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像时，具体用于：
从所述多种类别产品的正常图像中，确定所述多种类别产品中各类别产品的图像数量；
从所述多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及所述多种类别产品的平均图像数量；
在所述最多类别的产品的图像数量大于或等于所述最少类别的产品的图像数量的预设倍数时，对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
进一步可选地，所述处理器142对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充时，具体用于：
基于所述多种类别产品的平均图像数量和所述第一产品的正常图像数量，确定所述第一产品待扩充的图像数量；
从所述第一产品的正常图像中选取第一图像，所述第一图像为所述第一产品的正常图像中的任意一张图像；
对所述第一图像进行几何图像变化操作，得到第二图像，并将所述第二图像加入至所述第一产品的正常图像中；其中，所述几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；
重复执行从所述第一产品的正常图像中选取第一图像的步骤，直至所述第一产品的正常图像中扩充的图像数量达到所述第一产品待扩充的图像数量。
进一步可选地，所述处理器142基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络时，具体用于：
从类别均衡化的多种类别产品的正常图像中选择多批图像，多批图像中的每批图像包含有N个图像对，该N个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，第一输入图像为从多种类别产品的正常图像中随机选取的任意一张图像，第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的K张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的K张图像，第一预设概率和第二预设概率之和为1；
基于多批图像，训练得到异常检测网络。
进一步，如图14所示，该电子设备还包括：通信组件143、显示器144、电源组件145、音频组件146等其它组件。图14中仅示意性给出部分组件，并不意味着电子设备只包括图14所示组件。另外，根据流量回放设备的实现形态的不同，图14中虚线框内的组件为可选组件，而非必选组件。例如，当电子设备实现为智能手机、平板电脑或台式电脑等终端设备时，可以包括图14中虚线框内的组件；当电子设备实现为常规服务器、云服务器、数据中心或服务器阵列等服务端设备时，可以不包括图14中虚线框内的组件。
相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时，致使处理器能够实现上述缺陷检测方法实施例中的步骤。
上述图14中的通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还可以包括近场通信（NFC）模块，射频识别（RFID）技术，红外数据协会（IrDA）技术，超宽带（UWB）技术，蓝牙（BT）技术等。
上述图14中的存储器可以由任何类别的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（SRAM），电可擦除可编程只读存储器（EEPROM），可擦除可编程只读存储器（EPROM），可编程只读存储器（PROM），只读存储器（ROM），磁存储器，快闪存储器，磁盘或光盘。
上述图14中的显示器包括屏幕，其屏幕可以包括液晶显示器（LCD）和触摸面板（TP）。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。
上述图14中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
上述图14中的音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风（MIC），当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器 (RAM) 和/或非易失性内存等形式，如只读存储器 (ROM) 或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存 (PRAM)、静态随机存取存储器 (SRAM)、动态随机存取存储器 (DRAM)、其他类别的随机存取存储器 (RAM)、只读存储器 (ROM)、电可擦除可编程只读存储器 (EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘 (DVD) 或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体 (transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (12)

1.一种缺陷检测方法，其特征在于，包括：
获取待检测的目标产品的目标图像；
通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；
通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；
在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
2.如权利要求1所述的方法，其特征在于，所述目标产品的多元正态分布的构建过程包括：
获取所述目标产品的第一数量的正常图像；
利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，一个所述类簇中心对应于一张所述目标产品的正常图像；
通过特征提取网络提取所述K个类簇中心对应的所述目标产品的正常图像的特征；
基于所述K个类簇中心对应的所述目标产品的正常图像的特征，构建所述目标产品的多元正态分布。
3.如权利要求2所述的方法，其特征在于，所述利用K中心点聚类的方式对所述目标产品的第一数量的正常图像进行无监督聚类，得到K个类簇中心，包括：
对所述目标产品的第一数量的正常图像进行图像增强，得到所述目标产品的第二数量的正常图像，所述第二数量大于所述第一数量；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇；
分别确定所述K个类簇的类簇中心对应的所述目标产品的正常图像，作为所述K个类簇的代表图像。
4.如权利要求3所述的方法，其特征在于，所述利用K中心点聚类的方式对所述目标产品的第二数量的正常图像进行无监督聚类，得到K个类簇，包括：
利用预训练网络ResNet34分别对所述目标产品的第二数量的正常图像进行特征提取，获取所述目标产品的第二数量的正常图像中各正常图像的全连接之前的一层特征，作为所述目标产品的第二数量的正常图像中各正常图像的特征表示；
利用K中心点聚类的方式对所述目标产品的第二数量的正常图像的特征表示进行聚类，将所述目标产品的第二数量的正常图像划分为所述K个类簇。
5.如权利要求2~4中任一所述的方法，其特征在于，所述目标图像的特征包括所述目标图像的多个单元格的特征，所述目标产品的多元正态分布包括所述目标产品的正常图像的多个单元格的特征分布，所述通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，包括：
确定所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离；
基于所述目标图像的多个单元格的各单元格的特征和所述目标产品的正常图像的对应的单元格的特征分布之间的距离，确定所述目标图像的异常概率和异常区域。
6.如权利要求1所述的方法，其特征在于，所述异常检测网络的训练过程包括：
获取所述多种类别产品的正常图像；
对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像；
基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络；其中，所述异常检测网络包括特征提取模块和特征编码模块，所述特征提取模块包括掩膜模块、局部特征表示模块和残差网络，所述掩膜模块在所述残差网络之前，用于对输入的图像进行局部掩膜以对所述输入的图像进行图像增强；所述局部特征表示模块利用所述特征提取模块提取的特征图上当前单元格周围的单元格信息对所述当前单元格进行表示；所述特征编码模块包括特征金字塔，用于通过串联或并联不同扩容率的空洞卷积对所述特征对齐模块提取的特征进行多个尺度的融合。
7.如权利要求6所述的方法，其特征在于，所述对所述多种类别产品的正常图像进行类别均衡化，得到所述类别均衡化的多种类别产品的正常图像，包括：
从所述多种类别产品的正常图像中，确定所述多种类别产品中各类别产品的图像数量；
从所述多种类别产品中各类别产品的图像数量中，确定最少类别的产品的图像数量、最多类别的产品的图像数量以及所述多种类别产品的平均图像数量；
在所述最多类别的产品的图像数量大于或等于所述最少类别的产品的图像数量的预设倍数时，对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，使得所述多种类别产品的正常图像的数量实现类别均衡化，得到所述类别均衡化的多种类别产品的正常图像。
8.如权利要求7所述的方法，其特征在于，所述对图像数量小于所述多种类别产品的平均图像数量的类别的第一产品的图像进行图像扩充，包括：
基于所述多种类别产品的平均图像数量和所述第一产品的正常图像数量，确定所述第一产品待扩充的图像数量；
从所述第一产品的正常图像中选取第一图像，所述第一图像为所述第一产品的正常图像中的任意一张图像；
对所述第一图像进行几何图像变化操作，得到第二图像，并将所述第二图像加入至所述第一产品的正常图像中；其中，所述几何图像变化操作包括翻转、平移、旋转、缩放和仿射变换中的至少一种操作；
重复执行从所述第一产品的正常图像中选取第一图像的步骤，直至所述第一产品的正常图像中扩充的图像数量达到所述第一产品待扩充的图像数量。
9.如权利要求6~8中任一所述的方法，其特征在于，所述基于所述类别均衡化的多种类别产品的正常图像，训练得到所述异常检测网络，包括：
从所述类别均衡化的多种类别产品的正常图像中选择多批图像，所述多批图像中的每批图像包含有N个图像对，所述N个图像对中的每个图像对包含有第一输入图像和第二输入图像；其中，所述第一输入图像为从所述多种类别产品的正常图像中随机选取的任意一张图像，所述第二输入图像为按照第一预设概率，从所述多种类别产品的正常图像中与第一输入图像为同一产品类别的图像中选择的不重复的K张图像，或者，第二输入图像为按照第二预设概率，从所述多种类别产品的正常图像中除第一输入图像所属的产品类别以外的产品类别的图像中选择的不重复的K张图像，第一预设概率和第二预设概率之和为1；
基于所述多批图像，训练得到所述异常检测网络。
10.一种缺陷检测方法，其特征在于，包括：
图像获取模块，用于获取待检测的目标产品的目标图像；
特征提取模块，用于通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；
异常确定模块，用于通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；
缺陷确定模块，用于在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
11.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
所述处理器，与所述存储器耦合，用于执行所述计算机程序，以用于：
获取待检测的目标产品的目标图像；
通过异常检测网络提取所述目标图像的特征，所述异常检测网络为基于多种类别产品的正常图像训练得到；
通过所述目标产品的多元正态分布基于所述目标图像的特征，确定所述目标图像的异常概率和异常区域，其中，所述目标产品的多元正态分布为基于所述目标产品的第一数量的正常图像，通过所述异常检测网络提取的特征构建得到；
在所述目标图像的异常概率大于或等于预设异常概率阈值时，通过缺陷检测网络确定所述目标图像缺陷位置和类别，以及基于所述目标图像缺陷位置和类别以及所述异常区域，确定所述目标图像是否存在缺陷或异常。
12.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现如权利要求1~9中任一项所述的缺陷检测方法中的步骤。
CN202310069953.2A 2023-02-07 2023-02-07 一种缺陷检测方法、装置和设备 Active CN115797349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310069953.2A CN115797349B (zh) 2023-02-07 2023-02-07 一种缺陷检测方法、装置和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310069953.2A CN115797349B (zh) 2023-02-07 2023-02-07 一种缺陷检测方法、装置和设备

Publications (2)

Publication Number Publication Date
CN115797349A true CN115797349A (zh) 2023-03-14
CN115797349B CN115797349B (zh) 2023-07-07

Family

ID=85430102

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310069953.2A Active CN115797349B (zh) 2023-02-07 2023-02-07 一种缺陷检测方法、装置和设备

Country Status (1)

Country Link
CN (1) CN115797349B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116452791A (zh) * 2023-03-27 2023-07-18 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、系统、装置及存储介质

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060649A1 (en) * 2016-08-30 2018-03-01 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
CN109509187A (zh) * 2018-11-05 2019-03-22 中山大学 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109683360A (zh) * 2019-02-14 2019-04-26 宁波轻蜓视觉科技有限公司 液晶面板缺陷检测方法及装置
CN111028250A (zh) * 2019-12-27 2020-04-17 创新奇智(广州)科技有限公司 一种实时智能验布方法及系统
CN112837295A (zh) * 2021-02-01 2021-05-25 北京工业大学 一种基于生成对抗网络的橡胶手套缺陷检测方法
CN113033454A (zh) * 2021-04-07 2021-06-25 桂林电子科技大学 一种城市视频摄像中建筑物变化的检测方法
CN113888542A (zh) * 2021-12-08 2022-01-04 常州微亿智造科技有限公司 产品缺陷检测方法和装置
CN114022657A (zh) * 2022-01-06 2022-02-08 高视科技(苏州)有限公司 一种屏幕缺陷分类方法、电子设备及存储介质
CN114663742A (zh) * 2022-04-01 2022-06-24 北京优创新港科技股份有限公司 一种基于无监督学习的路面异常检测方法及系统
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN114925295A (zh) * 2022-06-08 2022-08-19 北京百度网讯科技有限公司 确定兴趣点的引导点的方法、相关装置及计算机程序产品
CN115018787A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于梯度增强的异常检测方法和系统
CN115019147A (zh) * 2022-06-27 2022-09-06 北京邮电大学 一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型
CN115439804A (zh) * 2022-08-29 2022-12-06 北京格灵深瞳信息技术股份有限公司 一种用于高铁检修的监测方法以及装置
CN115527151A (zh) * 2022-11-04 2022-12-27 南京理工大学 一种视频异常检测方法、系统、电子设备及存储介质

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180060649A1 (en) * 2016-08-30 2018-03-01 Irida Labs S.A. Fast, embedded, hybrid video face recognition system
CN109509187A (zh) * 2018-11-05 2019-03-22 中山大学 一种针对大分辨率布匹图像中的小瑕疵的高效检验算法
CN109683360A (zh) * 2019-02-14 2019-04-26 宁波轻蜓视觉科技有限公司 液晶面板缺陷检测方法及装置
CN111028250A (zh) * 2019-12-27 2020-04-17 创新奇智(广州)科技有限公司 一种实时智能验布方法及系统
CN112837295A (zh) * 2021-02-01 2021-05-25 北京工业大学 一种基于生成对抗网络的橡胶手套缺陷检测方法
CN113033454A (zh) * 2021-04-07 2021-06-25 桂林电子科技大学 一种城市视频摄像中建筑物变化的检测方法
CN113888542A (zh) * 2021-12-08 2022-01-04 常州微亿智造科技有限公司 产品缺陷检测方法和装置
CN114022657A (zh) * 2022-01-06 2022-02-08 高视科技(苏州)有限公司 一种屏幕缺陷分类方法、电子设备及存储介质
CN114663742A (zh) * 2022-04-01 2022-06-24 北京优创新港科技股份有限公司 一种基于无监督学习的路面异常检测方法及系统
CN114862838A (zh) * 2022-06-02 2022-08-05 深圳市华汉伟业科技有限公司 基于无监督学习的缺陷检测方法及设备
CN115018787A (zh) * 2022-06-02 2022-09-06 深圳市华汉伟业科技有限公司 一种基于梯度增强的异常检测方法和系统
CN114925295A (zh) * 2022-06-08 2022-08-19 北京百度网讯科技有限公司 确定兴趣点的引导点的方法、相关装置及计算机程序产品
CN115019147A (zh) * 2022-06-27 2022-09-06 北京邮电大学 一种适用于物体堆叠杂乱场景的基于Transformer机制的抓取检测模型
CN115439804A (zh) * 2022-08-29 2022-12-06 北京格灵深瞳信息技术股份有限公司 一种用于高铁检修的监测方法以及装置
CN115527151A (zh) * 2022-11-04 2022-12-27 南京理工大学 一种视频异常检测方法、系统、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
杨志锐;郑宏;郭中原;许晓航;: "基于网中网卷积神经网络的红枣缺陷检测" *
杨志锐;郑宏;郭中原;许晓航;: "基于网中网卷积神经网络的红枣缺陷检测", 食品与机械, no. 02, pages 140 - 145 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116452791A (zh) * 2023-03-27 2023-07-18 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、系统、装置及存储介质
CN116452791B (zh) * 2023-03-27 2024-03-22 广州市斯睿特智能科技有限公司 多相机点位的缺陷区域定位方法、系统、装置及存储介质
CN116309554A (zh) * 2023-05-12 2023-06-23 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备
CN116309554B (zh) * 2023-05-12 2023-08-22 广东奥普特科技股份有限公司 缺陷检测网络的构建及缺陷检测方法、装置和设备

Also Published As

Publication number Publication date
CN115797349B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN109740018B (zh) 用于生成视频标签模型的方法和装置
CN115797349A (zh) 一种缺陷检测方法、装置和设备
US11830505B2 (en) Identification of fake audio content
CN109145828B (zh) 用于生成视频类别检测模型的方法和装置
CN109919244B (zh) 用于生成场景识别模型的方法和装置
CN111339832B (zh) 人脸合成图像的检测方法及装置
US11270684B2 (en) Generation of speech with a prosodic characteristic
US11457033B2 (en) Rapid model retraining for a new attack vector
CN111523413A (zh) 生成人脸图像的方法和装置
CN116310850B (zh) 基于改进型RetinaNet的遥感图像目标检测方法
CN115240259A (zh) 一种基于yolo深度网络的课堂环境下人脸检测方法及其检测系统
CN109816023B (zh) 用于生成图片标签模型的方法和装置
CN111402113A (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN117011219A (zh) 物品质量检测方法、装置、设备、存储介质和程序产品
CN115620083A (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
CN112801960B (zh) 图像处理方法及装置、存储介质、电子设备
CN115810011B (zh) 异常检测网络的训练及异常检测方法、装置和设备
WO2021147084A1 (en) Systems and methods for emotion recognition in user-generated video(ugv)
CN115761390A (zh) 图像场景识别方法及装置
CN113963282A (zh) 视频替换检测及其模型的训练方法及装置
Burdukovskaya et al. Improving of action localization in videos using the novel feature extraction
CN114897901B (zh) 基于样本扩充的电池质量检测方法、装置和电子设备
CN115471893B (zh) 训练人脸识别模型、人脸识别的方法和装置
CN112732976B (zh) 一种基于深度哈希编码的短视频多标签快速分类方法
CN114898339B (zh) 驾驶行为预测模型的训练方法、装置、设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant