CN113935979A - 缺陷识别方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例公开了缺陷识别方法、装置、存储介质及电子设备，上述方法包括获取目标图像，上述目标图像中包括目标检测对象；在预设算法库中确定上述目标检测对象适配的选配算法；基于上述选配算法对上述目标检测对象进行缺陷识别，得到针对上述目标检测对象的缺陷识别结果，上述缺陷识别结果包括缺陷位置信息、上述缺陷的尺寸信息以及上述缺陷位置信息对应的缺陷类型信息。本申请可以基于多种方法对目标对象中的目标检测对象缺陷识别，并且通过多种方法得出的缺陷识别结果进行综合性的数据处理，从而得到准确度明显优于相关技术的针对目标检测对象的缺陷识别结果。

Description

缺陷识别方法、装置、存储介质及电子设备

技术领域

本申请实施例涉及计算机技术领域，尤其涉及缺陷识别方法、装置、存储介质及电子设备。

背景技术

材料加工所包含的范围很广，主要有铸造、锻压、焊接、轧制和增材制造等。但在材料加工过程中，被加工部分或多或少会存在一些缺陷，比如裂纹、气孔、缩松等。目前针对产品缺陷的识别主要分为破坏性识别和无损识别，破坏性识别方法会对产品造成永久性的损坏，只能在前期试验中应用。在批量生产和后期服役过程中，只能使用无损识别方法对产品的质量进行把控。无损识别的过程中相关技术普遍对人工的依赖度较高，并且识别准确度较低。

发明内容

为了解决上述的至少一个技术问题，本申请实施例提供缺陷识别方法、装置、存储介质及电子设备。

一方面，本申请实施例提供了一种缺陷识别方法，所述方法包括：

获取目标图像，所述目标图像中包括目标检测对象；

在预设算法库中确定所述目标检测对象适配的选配算法；

基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，所述缺陷识别结果包括缺陷位置信息、所述缺陷的尺寸信息以及所述缺陷位置信息对应的缺陷类型信息；

其中，所述预设算法库包括下述算法的至少两种：

全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。

在一个实施例中，所述全图识别机器学习算法包括对所述目标图像进行全图缺陷识别，输出全图缺陷识别结果；

所述自动识别区域机器学习算法包括对所述目标图像进行第一区域提取，并且对提取到的第一区域进行第一区域缺陷识别，输出第一区域缺陷识别结果，所述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行；

所述手动确定区域机器学习算法包括基于用户选择的区域进行第二区域提取，并且对提取到的第二区域进行第二区域缺陷识别，输出第二区域缺陷识别结果；

所述自动识别区域特征对比算法包括对所述目标图像进行第一区域提取，并且对提取到的第一区域进行特征提取，得到第一区域特征，基于预设缺陷识别策略对所述第一区域特征进行缺陷识别，得到第一缺陷识别结果；所述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行；

所述手动确定区域特征对比算法包括基于用户选择的区域进行第二区域提取，并且基于预设缺陷识别策略对提取到的第二区域进行缺陷识别，得到第二缺陷识别结果。

在一个实施例中，所述在预设算法库中确定所述目标检测对象适配的选配算法，包括：在所述预设算法库中确定至少两个选配算法；

所述基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，包括：

针对每一所述算配算法，基于所述选配算法对所述目标检测对象进行缺陷识别，得到对应的缺陷识别结果；

综合各所述选配算法对应的缺陷识别结果，得到针对所述目标检测对象的缺陷识别结果。

在一个实施例中，所述综合各所述选配算法对应的缺陷识别结果，得到针对所述目标检测对象的缺陷识别结果，包括：

获取每一选配算法对应的缺陷识别结果，所述缺陷识别结果包括至少一个缺陷项，所述缺陷项包括缺陷区域、缺陷类型、以及缺陷置信度，所述缺陷置信度表征所述缺陷区域存在所述缺陷类型指向的缺陷的概率；

对各选配算法对应的缺陷识别结果进行融合匹配；

根据融合匹配结果确定所述针对所述目标检测对象的缺陷识别结果。

在一个实施例中，所述对各选配算法对应的缺陷识别结果进行融合匹配，包括：

若第一缺陷项的缺陷区域与所述第二缺陷项的缺陷区域的交并比大于第一阈值，并且所述第一缺陷项的缺陷类型与所述第二缺陷项的缺陷类型相同、并且所述第一缺陷项的缺陷置信度和所述第二缺陷项的缺陷置信度均大于第二阈值，则将所述第一缺陷项和所述第二缺陷项进行融合，得到融合缺陷项；

其中，所述第一缺陷项和所述第二缺陷项是不同的缺陷项，并且所述第一缺陷项和所述第二缺陷项均为任一选配算法对应的缺陷识别结果中的任一缺陷项。

在一个实施例中，所述根据融合匹配结果确定所述针对所述目标检测对象的缺陷识别结果，包括：

针对所述融合缺陷项，生成第一缺陷识别结果；

响应于存在未被融合的缺陷项的情况，进行缺陷项处理，得到第二缺陷识别结果；

根据所述第一缺陷识别结果或第二缺陷识别结果，确定所述针对所述目标检测对象的缺陷识别结果。

另一方面，本申请实施例提供一种缺陷识别装置，所述装置包括：

目标图像获取模块，用于获取目标图像，所述目标图像中包括目标检测对象；

选配算法确定模块，用于在预设算法库中确定所述目标检测对象适配的选配算法；

缺陷识别模块，用于基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，所述缺陷识别结果包括缺陷位置信息以及所述缺陷位置信息对应的缺陷类型信息；

其中，所述预设算法库包括下述算法的至少两种：

全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。

在一个实施例中，所述装置还包括缺陷分析模块，用于分析批量检测过程中缺陷识别结果，所述分析结果包括基于多个同种产品的检测结果，通过统计学的方式分析出该产品易出现缺陷的位置，以及出现次数较多的缺陷的尺寸，所述易出现缺陷的位置包括水平位置或深度位置。

另一方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现上述的一种缺陷识别方法。

另一方面，本申请实施例提供了一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现上述的一种缺陷识别方法。

另一方面，本申请实施例提供了计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现上述的一种缺陷识别方法。

本申请实施例提供的一种缺陷识别方法可以基于多种方法对目标对象中的目标检测对象缺陷识别，并且通过多种方法得出的缺陷识别结果进行综合性的数据处理，从而得到准确度明显优于相关技术的针对目标检测对象的缺陷识别结果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本说明书实施例提供的缺陷识别方法的流程示意图；

图2是本申请实施例提供的五种算法的流程示意图；

图3是本申请实施例提供的得到针对上述目标检测对象的缺陷识别结果的方法流程图；

图4是本申请实施例提供的综合各上述选配算法对应的缺陷识别结果的方法流程图；

图5是本申请实施例提供的缺陷识别装置框图；

图6是本申请实施例提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请实施例保护的范围。

需要说明的是，本申请实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了使本申请实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请实施例，并不用于限定本申请实施例。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例认为相关技术中无损识别缺陷的准确程度不高的一部分原因在于采用单一的缺陷识别手段，缺少横向的缺陷识别结果的处理过程。也就是说，单一的缺陷识别手段必然存在自身固定的缺陷，比如，全图的缺陷识别着重从全局角度进行缺陷检测，但是容易受到噪声攻击，从而导致准确度不高；而局部的缺陷识别着重从局部的角度进行缺陷检测，对噪声的抵抗能力相对强于全图的缺陷识别，但是由于忽视的全局的信息，也会导致准确度不高的问题。也就是说，本申请实施例认为可以通过采用有别于相关技术中的单一检测手段，通过使用多种缺陷检测手段，并进行缺陷的综合处理来达到扬长避短互为补充的缺陷校测效果，从而显著提升缺陷的识别结果的准确度。

本说明书实施例提供的缺陷识别方法的运行环境可以为移动终端、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等各种可以具备通信能力和人机交互能力的实体设备，也可以包括运行于实体设备中的软体。当然，还可以是服务器，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器，本申请在此不做限制。

以下介绍本申请实施例的一种缺陷识别方法，图1示出了本申请实施例提供的一种缺陷识别方法的流程示意图，本申请实施例提供了如实施例或流程图上述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)，上述方法可以包括：

S101.获取目标图像，上述目标图像中包括目标检测对象。

本申请实施例中目标检测对象为待进行缺陷识别的对象，而目标图像为包括上述目标检测对象的图像，通过对目标图像进行分析即可确定出目标检测对象中的缺陷。

本申请实施例并不限定目标图像的获取方法，比如渗透检测、磁粉检测、涡流检测、射线检测及超声波检测等各种检测方法都可以生成对应的目标图像。本申请实施例也并不限定目标检测对象的具体内容，比如，其可以为发动机零部件、家具配件、电器工件等。

S102.在预设算法库中确定上述目标检测对象适配的选配算法。

本申请实施例中预设算法库中可以预先配置各种可以基于图像进行缺陷识别的算法。在一个实施例中，这些算法可以按照处理的图像的类型进行分类，比如，对于超声波检测生成的第一类图像，可以对应配置用于处理该第一类对象的全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。对于摄像设备拍摄得到的第二类图像，可以对应配置用于处理该第二类对象的全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。也就是说，对于不同类型的图像，都可以配置对应的算法。

本申请实施例中预设算法库中的算法可以为全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法中的至少两种。当然，在一些实施例中，上述各算法也可以单独执行。

请参考图2，其示出五种算法的流程示意图。其中，上述全图识别机器学习算法包括对上述目标图像进行全图缺陷识别，输出全图缺陷识别结果。上述自动识别区域机器学习算法包括对上述目标图像进行第一区域提取，并且对提取到的第一区域进行第一区域缺陷识别，输出第一区域缺陷识别结果，上述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或基于预设的区域尺寸和区域形状自动执行。上述手动确定区域机器学习算法包括基于用户选择的区域进行第二区域提取，并且对提取到的第二区域进行第二区域缺陷识别，输出第二区域缺陷识别结果。上述自动识别区域特征对比算法包括对上述目标图像进行第一区域提取，并且对提取到的第一区域进行特征提取，得到第一区域特征，基于预设缺陷识别策略对上述第一区域特征进行缺陷识别，得到第一缺陷识别结果；上述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或基于预设的区域尺寸和区域形状自动执行。上述手动确定区域特征对比算法包括基于用户选择的区域进行第二区域提取，并且基于预设缺陷识别策略对提取到的第二区域进行缺陷识别，得到第二缺陷识别结果。

为了进行基于单个算法的缺陷识别结果的横向处理，本申请实施例中步骤S102至少需要在预设算法库中确定两个算法作为选配算法。具体来说，可以首先确定目标图像的类型，然后在该类型对应的算法中确定至少两个作为选配算法。

在一个实施例中，还可以进一步明确缺陷识别的准确度要求，若该准确度要求最终得到的针对上述目标检测对象的缺陷识别结果的准确度较高(高于第一准确度阈值)，则上述至少两个选配算法中包括至少一个机器学习算法和至少一个特征比对算法。

在一个实施例中，还可以进一步明确缺陷识别的速度要求，若高速度要求最终输出针对上述目标检测对象的缺陷识别结果的速度较快(高于第一速度阈值)，则上述至少两个选配算法中包括至少包括特征比对算法。

S103.基于上述选配算法对上述目标检测对象进行缺陷识别，得到针对上述目标检测对象的缺陷识别结果，上述缺陷识别结果包括缺陷位置信息、上述缺陷的尺寸信息以及上述缺陷位置信息对应的缺陷类型信息。

具体来说，上述缺陷位置信息可以包括水平位置信息和深度位置信息。

请参考图3，其示出得到针对上述目标检测对象的缺陷识别结果的方法流程图，上述方法包括：

S1031.针对每一上述选配算法，基于上述选配算法对上述目标检测对象进行缺陷识别，得到对应的缺陷识别结果。

本申请实施例中针对每一选配算法对应的缺陷识别结果，上述缺陷识别结果包括至少一个缺陷项，上述缺陷项包括缺陷区域、缺陷类型、缺陷尺寸、缺陷位置信息以及缺陷置信度，上述缺陷置信度表征上述缺陷区域存在上述缺陷类型指向的缺陷的概率。在一些实施例中，上述缺陷项还包括缺陷尺寸和位置信息，上述位置信息包括水平信息或深度信息。

S1032.综合各上述选配算法对应的缺陷识别结果，得到针对上述目标检测对象的缺陷识别结果。

具体来说，请参考图4，其示出综合各上述选配算法对应的缺陷识别结果的方法流程图，上述方法包括：

S10321.对各选配算法对应的缺陷识别结果进行融合匹配。

具体来说，若第一缺陷项的缺陷区域与上述第二缺陷项的缺陷区域的交并比大于第一阈值，并且上述第一缺陷项的缺陷类型与上述第二缺陷项的缺陷类型相同、并且上述第一缺陷项的缺陷置信度和上述第二缺陷项的缺陷置信度均大于第二阈值，则将上述第一缺陷项和上述第二缺陷项进行融合，得到融合缺陷项；其中，上述第一缺陷项和上述第二缺陷项是不同的缺陷项，并且上述第一缺陷项和上述第二缺陷项均为任一选配算法对应的缺陷识别结果中的任一缺陷项。本申请实施例中涉及到的相关阈值都可以根据实际情况进行设定，并不构成对本申请实施例的限制。

本申请实施例并不对于融合缺陷项的确定方法进行限定，对于参与得到融合缺陷项的各缺陷项而言，可以将上述各缺陷项的缺陷区域的并集作为上述融合缺陷项的缺陷区域，将上述各缺陷项的最高缺陷置信度作为上述融合缺陷项的缺陷置信度，将上述各缺陷项的缺陷类型作为上述融合缺陷项的缺陷类型。

S10322.根据融合匹配结果确定上述针对上述目标检测对象的缺陷识别结果。

可选择地，在一个实施例中，上述方法还可以包括S104.可以基于多个同种产品和每个产品获得的缺陷位置信息、尺寸信息和缺陷类型信息，通过统计算法分析出易出现缺陷的位置，尺寸大小和缺陷类型。所述易出现缺陷的位置包括水平位置或深度位置。

本申请实施例认为，如果缺陷项被融合得到融合缺陷项，则该缺陷项不论是缺陷区域、缺陷置信度都具备较高的准确度，并且缺陷类型也是正确的，因此，融合缺陷项的缺陷类型、缺陷区域都是非常准确的，因此，对于融合缺陷项，可以直接生成第一缺陷识别结果，该第一缺陷识别结果作为针对上述目标检测对象的缺陷识别结果的一部分可以直接被输出，这一显然是十分可信的，相较于相关技术而言，融合过程也相当于进行了识别就结果的筛选和校验，因此，基于融合缺陷项得到的第一缺陷识别结果的准确度可以大幅度提高。

在一个实施例中，还可以响应于存在未被融合的缺陷项的情况，进行缺陷项处理，得到第二缺陷识别结果。

对于未被融合的目标缺陷项，目标缺陷项为未被融合的缺陷项的任一缺陷项，可能存在下述情况，为了便于说明，认为该未被融合的目标缺陷项包括目标缺陷置信度、目标缺陷区域和目标缺陷类型：

(1)目标缺陷置信度小于上述第二阈值。

(2)目标缺陷区域过小。

(3)目标缺陷区域附近不存在与目标缺陷类型一致的缺陷项。

对于(1-2)的情况，可以执行下述操作：

基于目标缺陷区域确定待识别区域，上述待识别区域包括上述目标缺陷区域并且面积大于预设第一面积阈值，调用自动识别区域机器学习算法或者自动识别区域特征比对算法对上述待识别区域进行处理，得到上述待识别区域对应的参考缺陷识别结果，上述参考缺陷识别结果中包括至少一个参考缺陷项。

对上述目标缺陷项和上述参考缺陷识别结果进行融合匹配处理。融合匹配的过程可以参考前文，在此不做赘述。

若上述目标缺陷项被融合，则将融合后得到的融合匹配项作为第二缺陷识别结果输出。

若上述目标缺陷项未被融合，则抛弃该目标缺陷项或者输出置信度最高的缺陷识别结果。

对于(3)的情况，可以执行下述操作：

若上述目标缺陷项的目标缺陷置信度大于第三阈值，上述第三阈值大于上述第二阈值，则直接将上述目标缺陷项作为第二缺陷识别结果输出。

若上述目标缺陷项的目标缺陷置信度大于等于第二阈值并且小于等于第三阈值，则调用自动识别区域机器学习算法或者自动识别区域特征比对算法对上述目标缺陷区域进行识别处理，得到参考缺陷识别结果。

若该参考缺陷识别结果存在缺陷类型与上述目标缺陷类型一致的缺陷项，则直接将上述目标缺陷项作为第二缺陷识别结果输出；否则，抛弃上述目标缺陷项或者输出置信度最高的缺陷识别结果。

在其他实施例中，还可以建立云端数据库，然后根据针对目标检测对象的缺陷识别结果更新数据库，预设算法库以及预设算法库对应的数据资源均可以被存储在上述云端数据库之中，从而借助云端优势不断更新算法以及算法使用的数据资源。通过与云端交互可以实施本申请实施例中的上述缺陷识别方法。

本申请实施例提供的一种缺陷识别方法可以基于多种方法对目标对象中的目标检测对象缺陷识别，并且通过多种方法得出的缺陷识别结果进行综合性的数据处理，从而得到准确度明显优于相关技术的针对目标检测对象的缺陷识别结果。

本申请实施例还公开了一种缺陷识别装置，如图5所示，上述装置包括：

目标图像获取模块10，用于获取目标图像，上述目标图像中包括目标检测对象；

选配算法确定模块20，用于在预设算法库中确定上述目标检测对象适配的选配算法；

缺陷识别模块30，用于基于上述选配算法对上述目标检测对象进行缺陷识别，得到针对上述目标检测对象的缺陷识别结果，上述缺陷识别结果包括缺陷位置信息、上述缺陷的尺寸信息以及上述缺陷位置信息对应的缺陷类型信息；

其中，上述预设算法库包括下述算法的至少两种：

全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。

在一个实施例中，所述装置还包括缺陷分析模块，用于分析批量检测过程中缺陷识别结果，所述分析结果包括基于多个同种产品的检测结果，通过统计学的方式分析出该产品易出现缺陷的位置，以及出现次数较多的缺陷的尺寸，所述易出现缺陷的位置包括水平位置或深度位置。

在一个实施例中，上述全图识别机器学习算法包括对上述目标图像进行全图缺陷识别，输出全图缺陷识别结果；

上述自动识别区域机器学习算法包括对上述目标图像进行第一区域提取，并且对提取到的第一区域进行第一区域缺陷识别，输出第一区域缺陷识别结果，上述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或上述第一区域提取基于预设的区域尺寸和区域形状自动执行；

上述手动确定区域机器学习算法包括基于用户选择的区域进行第二区域提取，并且对提取到的第二区域进行第二区域缺陷识别，输出第二区域缺陷识别结果；

上述自动识别区域特征对比算法包括对上述目标图像进行第一区域提取，并且对提取到的第一区域进行特征提取，得到第一区域特征，基于预设缺陷识别策略对上述第一区域特征进行缺陷识别，得到第一缺陷识别结果；上述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或上述第一区域提取基于预设的区域尺寸和区域形状自动执行；

上述手动确定区域特征对比算法包括基于用户选择的区域进行第二区域提取，并且基于预设缺陷识别策略对提取到的第二区域进行缺陷识别，得到第二缺陷识别结果。

在一个实施例中，上述在预设算法库中确定上述目标检测对象适配的选配算法，包括：在上述预设算法库中确定至少两个选配算法；

上述基于上述选配算法对上述目标检测对象进行缺陷识别，得到针对上述目标检测对象的缺陷识别结果，包括：

针对每一上述选配算法，基于上述选配算法对上述目标检测对象进行缺陷识别，得到对应的缺陷识别结果；

综合各上述选配算法对应的缺陷识别结果，得到针对上述目标检测对象的缺陷识别结果。

在一个实施例中，上述综合各上述选配算法对应的缺陷识别结果，得到针对上述目标检测对象的缺陷识别结果，包括：

获取每一选配算法对应的缺陷识别结果，上述缺陷识别结果包括至少一个缺陷项，上述缺陷项包括缺陷区域、缺陷类型、缺陷尺寸、缺陷位置信息以及缺陷置信度，上述缺陷置信度表征上述缺陷区域存在上述缺陷类型指向的缺陷的概率；

对各选配算法对应的缺陷识别结果进行融合匹配；

根据融合匹配结果确定上述针对上述目标检测对象的缺陷识别结果。

在一个实施例中，上述对各选配算法对应的缺陷识别结果进行融合匹配，包括：

若第一缺陷项的缺陷区域与上述第二缺陷项的缺陷区域的交并比大于第一阈值，并且上述第一缺陷项的缺陷类型与上述第二缺陷项的缺陷类型相同、并且上述第一缺陷项的缺陷置信度和上述第二缺陷项的缺陷置信度均大于第二阈值，则将上述第一缺陷项和上述第二缺陷项进行融合，得到融合缺陷项；

其中，上述第一缺陷项和上述第二缺陷项是不同的缺陷项，并且上述第一缺陷项和上述第二缺陷项均为任一选配算法对应的缺陷识别结果中的任一缺陷项。

在一个实施例中，上述根据融合匹配结果确定上述针对上述目标检测对象的缺陷识别结果，包括：

针对上述融合缺陷项，生成第一缺陷识别结果；

响应于存在未被融合的缺陷项的情况，进行缺陷项处理，得到第二缺陷识别结果；

根据上述第一缺陷识别结果或第二缺陷识别结果，确定上述针对上述目标检测对象的缺陷识别结果。

具体地，本申请实施例公开一种缺陷识别装置与上述对应的方法实施例均基于相同发明构思。详情请参见方法实施例，在此不再赘述。

本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述一种缺陷识别方法。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质可以存储有多条指令。上述指令可以适于由处理器加载并执行本申请实施例上述的一种缺陷识别方法。

进一步地，图6示出了一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图，上述设备可以参与构成或包含本申请实施例所提供的装置或系统。如图6所示，设备10可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图6所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，设备10还可包括比图6中所示更多或者更少的组件，或者具有与图6所示不同的配置。

应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到设备10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中上述的方法对应的程序指令/数据存储装置，处理器102通过运行存储在存储器104内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的一种缺陷识别方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至设备10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括设备10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(NetworkInterfaceController，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与设备10(或移动设备)的用户界面进行交互。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本申请实施例特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本申请中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置和服务器实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，上述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上上述仅为本申请实施例的较佳实施例，并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。

Claims (10)

1.一种缺陷识别方法，其特征在于，所述方法包括：

获取目标图像，所述目标图像中包括目标检测对象；

在预设算法库中确定所述目标检测对象适配的选配算法；

基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，所述缺陷识别结果包括缺陷位置信息、所述缺陷的尺寸信息以及所述缺陷位置信息对应的缺陷类型信息；

其中，所述预设算法库包括下述算法的至少两种：

全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。

2.根据权利要求1所述的方法，其特征在于：

所述全图识别机器学习算法包括对所述目标图像进行全图缺陷识别，输出全图缺陷识别结果；

所述自动识别区域机器学习算法包括对所述目标图像进行第一区域提取，并且对提取到的第一区域进行第一区域缺陷识别，输出第一区域缺陷识别结果，所述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或所述第一区域提取基于预设的区域尺寸和区域形状自动执行；

所述手动确定区域机器学习算法包括基于用户选择的区域进行第二区域提取，并且对提取到的第二区域进行第二区域缺陷识别，输出第二区域缺陷识别结果；

所述自动识别区域特征对比算法包括对所述目标图像进行第一区域提取，并且对提取到的第一区域进行特征提取，得到第一区域特征，基于预设缺陷识别策略对所述第一区域特征进行缺陷识别，得到第一缺陷识别结果；所述第一区域提取基于预设的缺陷特征和缺陷尺寸自动执行，或所述第一区域提取基于预设的区域尺寸和区域形状自动执行；

所述手动确定区域特征对比算法包括基于用户选择的区域进行第二区域提取，并且基于预设缺陷识别策略对提取到的第二区域进行缺陷识别，得到第二缺陷识别结果。

3.根据权利要求1或2所述的方法，其特征在于，所述在预设算法库中确定所述目标检测对象适配的选配算法，包括：在所述预设算法库中确定至少两个选配算法；

所述基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，包括：

针对每一所述选配算法，基于所述选配算法对所述目标检测对象进行缺陷识别，得到对应的缺陷识别结果；

综合各所述选配算法对应的缺陷识别结果，得到针对所述目标检测对象的缺陷识别结果。

4.根据权利要求3所述的方法，其特征在于，所述综合各所述选配算法对应的缺陷识别结果，得到针对所述目标检测对象的缺陷识别结果，包括：

获取每一选配算法对应的缺陷识别结果，所述缺陷识别结果包括至少一个缺陷项，所述缺陷项包括缺陷区域、缺陷类型、缺陷尺寸、缺陷位置信息以及缺陷置信度，所述缺陷置信度表征所述缺陷区域存在所述缺陷类型指向的缺陷的概率；

对各选配算法对应的缺陷识别结果进行融合匹配；

根据融合匹配结果确定所述针对所述目标检测对象的缺陷识别结果。

5.根据权利要求4所述的方法，其特征在于，所述对各选配算法对应的缺陷识别结果进行融合匹配，包括：

若第一缺陷项的缺陷区域与所述第二缺陷项的缺陷区域的交并比大于第一阈值，并且所述第一缺陷项的缺陷类型与所述第二缺陷项的缺陷类型相同、并且所述第一缺陷项的缺陷置信度和所述第二缺陷项的缺陷置信度均大于第二阈值，则将所述第一缺陷项和所述第二缺陷项进行融合，得到融合缺陷项；

其中，所述第一缺陷项和所述第二缺陷项是不同的缺陷项，并且所述第一缺陷项和所述第二缺陷项均为任一选配算法对应的缺陷识别结果中的任一缺陷项。

6.根据权利要求5中所述的方法，其特征在于，所述根据融合匹配结果确定所述针对所述目标检测对象的缺陷识别结果，包括：

针对所述融合缺陷项，生成第一缺陷识别结果；

响应于存在未被融合的缺陷项的情况，进行缺陷项处理，得到第二缺陷识别结果；

根据所述第一缺陷识别结果或第二缺陷识别结果，确定所述针对所述目标检测对象的缺陷识别结果。

7.一种缺陷识别装置，其特征在于，所述装置包括：

目标图像获取模块，用于获取目标图像，所述目标图像中包括目标检测对象；

选配算法确定模块，用于在预设算法库中确定所述目标检测对象适配的选配算法；

缺陷识别模块，用于基于所述选配算法对所述目标检测对象进行缺陷识别，得到针对所述目标检测对象的缺陷识别结果，所述缺陷识别结果包括缺陷位置信息、所述缺陷的尺寸信息以及所述缺陷位置信息对应的缺陷类型信息；

其中，所述预设算法库包括下述算法的至少两种：

全图识别机器学习算法、自动识别区域机器学习算法、手动确定区域机器学习算法、自动识别区域特征对比算法和手动确定区域特征对比算法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由处理器加载并执行以实现如权利要求1至6中任一项所述的一种缺陷识别方法。

9.一种电子设备，其特征在于，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述至少一个处理器通过执行所述存储器存储的指令实现如权利要求1至6中任一项所述的一种缺陷识别方法。

10.一种计算机程序产品，包括计算机程序或指令，其特征在于，该计算机程序或指令被处理器执行时实现权利要求1至6中任一项所述的一种缺陷识别方法。

Images