CN110060237A - 一种故障检测方法、装置、设备及系统 - Google Patents

Abstract

本发明公开了一种故障检测方法、装置、设备及系统，属于图像处理技术领域。所述方法包括：获得待检测的工业产品的原始产品图像；将所述原始产品图像输入分割网络，以对所述原始产品图像进行特征提取以得到特征图，并以至少两个不同尺寸的池化层对所述特征图进行池化处理以获得多层次的特征信息，以及根据所述多层次的特征信息确定所述原始产品图像中的故障区域；将所述故障区域输入故障识别模型，以确定所述故障区域的故障类型。通过该方法，可以对工业产品的故障进行精确检测，并且可以提高检测效率。

Description

一种故障检测方法、装置、设备及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种故障检测方法、装置、设备及系统。

背景技术

在现代工业制造中，通过引进流水线使得工业产品的生产效率得以提高，但复杂的工艺也不可避免的可能导致一些产品故障产生。而这些故障多依赖于环境条件，概率性发生，需要在后期对于故障进行统计分析。因此对于工业产品的故障进行检测和诊断，是现代生产工艺中必不可少的一个环节。

例如，在电路板的生产过程中，由于生产设备或者人为因素，可能在电路板的表面产生一些划痕或者凸点等故障，这些产品缺陷可能会影响电路板的正常使用，所以有必要对电路板的故障缺陷进行检测。

在传统方法中，多采用人工观察的方式对产品进行故障检测，采用人工检测的方式，对于企业而言，检测成本(人员成本)较大，对于员工而言，由于故障区域一般较小，极可能出现漏检或误检，导致对产品的故障检测的准确性较低，且人工观察检测的方式对员工的依赖较大，检测耗时，检测效率较低。

发明内容

本申请实施例提供一种故障检测方法、装置、设备及系统，用于解决现有技术中对工业产品的故障检测的效率和准确性较低的技术问题，以提高对工业产品的故障检测的准确性和检测效率。

一方面，提供一种故障检测方法，所述方法包括：

获得待检测的工业产品的原始产品图像；

将所述原始产品图像输入分割网络，以对所述原始产品图像进行特征提取以得到特征图，并以至少两个不同尺寸的池化层对所述特征图进行池化处理以获得多层次的特征信息，以及根据所述多层次的特征信息确定所述原始产品图像中的故障区域；

将所述故障区域输入故障识别模型，以确定所述故障区域的故障类型。

一方面，提供一种故障检测装置，所述故障检测装置包括：

获得模块，用于获得待检测的工业产品的原始产品图像；

分割模块，用于将输入的所述原始产品图像进行特征提取以得到特征图，并通过金字塔池化模块以至少两个不同尺寸的池化层对所述特征图进行池化处理，以确定所述原始产品图像中的故障区域；

故障识别模块，用于确定所述故障区域的故障类型。

在一种可能的设计中，所述故障检测装置还包括聚类模块，用于：

通过聚类网络将所述故障区域包括的故障点聚类为至少两类故障点，并将所述至少两类故障点中符合预设条件的目标类故障点所组成的区域确定为主要故障区域。

在一种可能的设计中，所述聚类模块用于：

通过Kmeans算法将所述故障区域包括的故障点聚类为M类故障点，其中，M为大于或等于2的整数；

确定所述M类故障点中每类故障点的中心坐标和协方差矩阵，得到M组中心坐标和协方差矩阵；

将所述M组中心坐标和协方差矩阵作为高斯混合模型GMM的初始值进行聚类迭代，以更新所述M类故障点；

将更新后的M类故障点确定为所述故障区域的聚类结果。

在一种可能的设计中，所述预设条件包括以下条件中的至少一种：

类内的故障点的数量最多；

类内的故障点的数量最多且密度最大；

类内的故障点所组成的区域最大。

在一种可能的设计中，所述分割模块用于：

根据所述原始产品图像中相邻的至少两个像素点的像素值的差值确定梯度信息；

根据所述梯度信息进行特征提取，以获得所述原始产品图像的特征图。

在一种可能的设计中，所述故障检测装置还包括：

确定模块，用于在所述故障识别模块确定所述故障区域的故障类型之后，确定所述故障区域对应的故障类型指示信息；

生成模块，用于生成故障检测结果，其中，所述故障检测结果包括所述故障区域的位置描述信息和对应的故障类型指示信息。

在一种可能的设计中，所述生成模块用于：

在所述原始产品图像上合成所述故障区域的位置描述信息和故障类型指示信息；

将合成处理后的原始产品图像确定为所述故障检测结果。

一方面，提供一种故障检测系统，所述故障检测系统包括图像采集装置、故障检测装置和显示装置，所述故障检测装置分别与所述图像采集装置和所述显示装置连接，其中：

所述图像采集装置，用于采集待检测的工业产品的原始产品图像，并将所述原始产品图像发送给所述故障检测装置；

所述故障检测装置，用于将所述原始产品图像输入分割网络，以对所述原始产品图像进行特征提取以得到特征图，并通过金字塔池化模块以至少两个不同尺寸的池化层对所述特征图进行池化处理，以确定所述原始产品图像中的故障区域；以及将所述故障区域输入故障识别模型，以确定所述故障区域的故障类型；

所述显示装置，用于呈现故障检测结果，其中，所述故障检测结果包括所述故障区域的描述信息和对应的故障类型指示信息。

一方面，提供一种故障检测设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述各方面中的故障检测方法包括的步骤。

一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行上述各方面中的故障检测方法包括的步骤。

本申请实施例中，通过分割网络对原始产品图像进行特征提取，并通过金字塔池化模块以不同尺寸的池化层进行池化处理，这样可以得到图像的不同层次的特征信息，进而结合多层次的特征信息对图像进行像素级分割，从而可以准确的确定出图像中的故障区域，然后再通过故障识别模型来有效识别各个故障区域的故障类型，从而实现对工业产品中的故障区域的有无以及具体为何种故障类型的有效检测，这样，可以对故障区域进行精确定位，并且通过深度学习的方式由设备自动的进行检测，可以提高故障检测的准确性和检测效率。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例适用的一种应用场景示意图；

图2为本申请实施例中的故障检测装置的结构示意图；

图3为本申请实施例中的故障检测方法的流程图；

图4A为本申请实施例中的一种故障类型的示意图；

图4B为本申请实施例中的另一种故障类型的示意图；

图5为本申请实施例中的金字塔池化模块的架构示意图；

图6为本申请实施例中的通过分割网络对原始产品图像进行区域分割的示意图；

图7为本申请实施例中的通过聚类网络对原始产品图像进行聚类后输出的主要故障区域的示意图；

图8为本申请实施例中的故障检测系统的架构示意图；

图9为本申请实施例中的故障检测装置的结构框图；

图10为本申请实施例中的故障检测设备的结构示意图；

图11为本申请实施例中的故障检测设备的另一结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于申请保护的范围。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请的说明书和权利要求书及上述附图中的术语“第一”和“第二”是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的保护。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请中的“多个”可以表示至少两个，例如可以是两个、三个或者更多个，本申请实施例不做限制。

另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，在不做特别说明的情况下，一般表示前后关联对象是一种“或”的关系。

以下对本文中涉及的部分用语进行说明，以便于本领域技术人员理解。

1、工业产品，通过工业生产得到的产品，工业产品例如包括电路板、芯片、珠宝、玉器，等等。

2、产品故障，在工业产品的制造过程中，由于环境或者人为因素，可能会产生一些产品“外伤”，比如在电路板或者芯片表面产生的划痕或者散点状的凸点，又比如在珠宝、玉器等贵重首饰品表面产生的明显划痕或裂纹，等等，本申请实施例中将工业产品中(尤其是外表面)所产生的一些异常缺陷统称为产品故障。

3、卷积神经网络(Convolutional Neural Networks，CNN)，在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

典型的卷积神经网络一般包括由卷积层、池化层、全连接层构成。卷积神经网络通过卷积层和池化层自动学习图像在各个尺度上的特征，这借鉴自人类理解图像时所采用的做法。人在认知图像时是分层进行的，例如首先理解的是颜色和亮度，然后是边缘、角点、直线等局部细节特征，接下来是纹理、形状、区域等更复杂的信息和结构，最后形成整个物体的概念。

卷积神经网络可以看成是对上面这种机制的简单模仿。卷积神经网络由多个卷积层构成，每个卷积层包含多个卷积核，用这些卷积核从左向右、从上往下依次扫描整个图像，得到称为特征图(Feature Map)的输出数据。网络前面的卷积层捕捉图像局部、细节信息，有小的感受野，即输出图像的每个像素只对应输入图像很小的一个范围。后面的卷积层感受野逐层加大，用于捕捉图像更复杂、更抽象的信息。经过多个卷积层的运算，最后得到图像在各个不同尺寸的抽象表示。

4、卷积层，在数字图像处理领域，卷积是一种常见的运算。它可用于图像去噪、增强、边缘检测等问题，还可以用于提取图像的特征。卷积运算用一个称为卷积核的矩阵自上而下、自左向右在图像上滑动，将卷积核矩阵的各个元素与它在图像上覆盖的对应位置的元素相乘，然后求和，得到输出值。也就是说，卷积运算使用卷积核矩阵遍历整个图像，对所有位置进行卷积操作，进而得到输出图像。

下面通过一个实际的例子来理解卷积运算。假设卷积输入图像为：

卷积核为：

首先用输入图像的第一个位置处的子图像，即左上角的子图像和卷积核对应元素相乘，然后相加，在这里子图像为：

卷积结果为：11×1+1×5+7×2+1×2+3×6+9×3+7×7+3×1+9×1＝138。

接下来在待卷积图像上向右滑动一列，将第二个位置处的子图像，即：

与卷积核进行卷积，结果为154。接下来，再向右滑动一列，将第三个位置处的子图像与卷积核进行卷积，结果为166。处理完第一行之后，退回到第一列，向下滑动一行，然后重复上面的过程，以此类推，最后得到的卷积结果图像为：

经过卷积运算之后图像尺寸变小了，如果原始图像是m×n的矩阵，若卷积核为s×s，则卷积结果图像的尺寸为：(m-s+1)×(n-s+1)。

通过卷积层的卷积操作，可以完成对输入图像的降维和特征抽取，进而得到特征图像(又称作特征图)。

5、池化层，通过上述的卷积层得到的特征图的维数还是很高，维数高则计算耗时，而且容易导致过拟合，为此，引入了下采样技术，也称为池化操作。

最基本的池化操作的做法对图像的某一个区域用一个值代替，如平均值或最大值。如果采用最大值，称为最大池化；如果采用平均值，称为均值池化。除了降低图像尺寸之外，池化的另一个作用是一定程度的平移、旋转不变性，因为输出值由图像的一片区域计算得到，对于小幅度的平移和旋转不敏感。

池化层实现时是在进行卷积操作之后对得到的特征图像进行分块，图像被划分成不相交的块，计算这些块内的最大值或平均值，得到池化后的图像。

6、金字塔池化，是一种可以通过不同尺寸的池化层对同一图像进行多种池化处理的池化方式，简单的理解，可以通过不同的块大小将同一图像进行分块，即采用不同模板去进行池化，意味着可以从不同尺度上去集合同一图像的特征信息，这样最后综合在一起的时候，实质上就是可以利用全局(池化核大，即分块尺寸大)与局部(池化核小，即分块尺寸小)的信息。

7、分割网络，用于对图像进行区域分割的计算机模型，例如可以采用卷积神经网络对图像进行区域分割，那么卷积神经网络即可以理解为是一种分割网路。

8、故障识别模型，用于识别图像中的故障区域的故障类型的计算机模型。

9、聚类网络，聚类是数据挖掘中一种非常重要的学习方式，是指将未标注的样本数据中相似的分为同一类。聚类属于无监督学习问题，其目标是将样本集划分为多个类，保证同一类的样本之间尽量相似，不同类的样本之间尽量不同，这些类也称为簇(cluster)。

本申请实施例中的聚类网络通过聚类算法可以将图像中的所有像素点(例如所有故障区域的像素点)进行聚类处理，从而可以将所有故障区域的像素点划分为几类，进而可以根据划分的类选择出主要故障区域。

10、Kmeans算法，是一种聚类算法，以二分类为例，通过Kmeans算法，可以先从所有待分类的样本点中随机选择2个样本点作为初始质心，再计算其它每个样本点与2个初始质心的距离，将距离某个初始质心更近的样本点就划分为到该初始质心所属的类中，以完成第一次聚类。在第一次聚类完成之后，得到两个类，分别计算每个类的中心坐标，再以每个类的中心坐标作为新的质心，执行前述以距离划分类的过程，进而得到第二次聚类结果。再执行与前述过程一样的迭代过程，直至聚类结果的两个类的质心不再发生变化，则聚类完成，此时得到的两个类即为最终的聚类结果。

11、高斯混合模型(Gaussian Mixture Model，GMM)，也可以理解为是一种聚类算法，是用高斯概率密度函数(正态分布曲线)精确地量化事物，将一个事物分解为若干的基于高斯概率密度函数(正态分布曲线)形成的模型。通俗点讲，无论观测数据集如何分布以及呈现何种规律，都可以通过多个单一高斯模型的混合进行拟合。

12、鲁棒性，是反应控制系统抗干扰能力的参数，是指控制系统在一定(结构，大小)的参数摄动下，维持其它某些性能的特性。用以表征控制系统对特性或参数摄动的不敏感性。

13、二值化，图像的二值化，就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的只有黑和白的视觉效果。

14、直方图均衡处理，是图像处理领域中利用图像直方图将对比度进行调整的方法。又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像象元值，使一定灰度范围内象元值的数量大致相等。直方图是表示数字图像中每一灰度出现频率的统计关系。

15、双边滤波处理，是采用加权平均的方法，用周边像素亮度值的加权平均代表某个像素的强度，是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。

16、图像网络集合(ImageNet)，是一个计算机视觉系统识别项目名称，是目前世界上图像识别最大的数据库，模拟人类的识别系统建立的。

以下介绍本申请的设计思想。

如前所述的，工业产品(例如电路板)在生产过程中由于生产环境可能会产生一些产品故障，而对于产品的故障进行统计分析，是工艺生产中必不可少的一个环节，例如可以根据故障检测结果来优化生产方案或者改善生产环境，以达到更好的生产效率和成品率。

目前一般是通过人工观察的方式来进行故障检测，但是这样的方式故障检测的准确性较低，并且完全依赖人工视觉观察的检测方式，对检测人员的能力要求较高，并且检测效率也较低。

进一步地，在人工检测的基础上，目前还提出了一种自动检测的方式，即采用Faster R-CNN网络对产品图像上的每个像素点都进行概率性判断，判断是否是需要检测的物体，进而使用非极大值抑制融合候选框位置，再分别对各个候选框内的物体进分类。但该方法的提出是以ImageNet中的图像为背景进行设计的。而电路板等工业产品的产品故障表现形式一般比较丰富，且在每张图片上的分布一般也是不规则散布，这不同于ImageNet中的对象主体明确，区域单一的分部特点，因此该方法对故障的识别精度较低。

鉴于此，本发明人提出一种基于深度学习的故障检测方案，在该方案中，可通过分割网络对原始产品图像进行特征提取，并通过金字塔池化模块以不同尺寸的池化层进行池化处理，这样可以得到图像的不同层次的特征信息，进而结合多层次的特征信息对图像进行像素级分割，从而可以准确的确定出图像中的故障区域，然后再通过故障识别模型来有效识别各个故障区域的故障类型，从而实现对工业产品中的故障区域的有无以及具体为何种故障类型的有效检测，这样，可以对故障区域进行精确定位，并且通过深度学习由设备自动的进行检测，可以提高故障检测的准确性和检测效率。

在介绍完本申请实施例的设计思想之后，下面对本申请实施例提供的技术方案适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本发明实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本申请实施例提供的技术方案。

请参见图1所示，图1为本申请实施例的技术方案能够适用的一种应用场景，在该应用场景中，包括摄像设备101，故障检测设备102，故障检测设备103，显示设备104和打印机105。其中，摄像设备101用于采集例如电路板等工业产品的图像，以获得待检测的工业产品的原始产品图像，故障检测设备102和故障检测设备103均可以采用本申请实施例提供的故障检测方法根据原始产品图像检测出电路板中的故障区域，并且可以识别出故障类型。摄像设备101与故障检测设备102和故障检测设备103之前均通信连接，这样由摄像设备101所拍摄获得的原始产品图像可以发送给故障检测设备102和故障检测设备103，以通过故障检测设备102或故障检测设备103对电路板中的故障进行有效识别。

故障检测设备102与故障检测设备103的区别在于故障检测设备102具有显示功能，这样，由故障检测设备102所确定出的故障检测结果可以直接由其自身呈现给用户，而由故障检测设备103所确定出的故障检测结果可以发送给显示设备104，进而由显示设备104呈现，所以在图1中，故障检测设备103与显示设备104通信连接，以便于故障检测设备103能够将故障检测结果发送给显示设备104以及时呈现给用户。

另外，在该应用场景中还可以包括打印机105，通过打印机105可以将故障检测设备103的故障检测结果打印出来，以供用户纸质查看。当然，故障检测设备102也可以与显示设备104和打印机105通信连接，为了简洁，在图1中就没有全部图示出来了。

进一步地，对于图1中的故障检测设备102和故障检测设备103，其均可以包括如图2中所示的输入模块201、预处理模块202、分割模块203、聚类模块204、故障类型识别模块205和输出模块206。其中，以故障检测设备102为例，输入模块201用于向故障检测设备102输入原始产品图像或其它信息，预处理模块202用于对原始产品图像进行图像预处理，分割模块203可以对经预处理之后的图像进行图像分割以确定出一个或多个故障区域。进一步地，若有多个故障区域，则可以由聚类模块204对多个故障区域进行聚类处理，以确定出一个或多个主要故障区域，进而再将确定出的主要故障区域输入到故障类型识别模块205，以通过故障类型识别模块205识别出主要故障区域的故障类型，并得到相应的故障类型指示信息；或者，无论有多少个故障区域，均可以直接输入故障类型识别模块205，以通过故障类型识别模块205识别出各个故障区域的故障类型，并得到每个故障区域相应的故障类型指示信息。进一步地，故障类型识别模块205可以将确定出的包括故障区域的描述信息(例如坐标或者大致位置)和对应的故障类型指示信息的故障检测结果发送给输出模块206，进而通过输出模块206呈现给用户，或者可以将故障检测结果发送给其它设备，再通过其它设备将故障检测结果呈现给用户。

为进一步说明本申请实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本申请实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时，可按照实施例或者附图所示的方法顺序执行或者并行执行。

以下结合图3所示的故障检测方法的流程图对本申请实施例中的技术方案进行说明。该故障检测方法可以由如图1中的故障检测设备102或故障检测设备103执行，在具体实施过程中，故障检测设备102和故障检测设备103可以是服务器设备或者计算机或者计算机集群，或者，故障检测设备102和故障检测设备103还可以是手机、笔记本电脑、平板电脑等移动终端设备，本申请实施例对此不做限制。

以下对图3中的方法流程进行说明。

步骤301：获得待检测的工业产品的原始产品图像。

在具体实施过程中，可以通过高精度的图像采集设备来采集工业产品的原始产品图像，以确保原始产品图像具有高精度的分辨率，以便于后续对故障区域进行有效检测。

本申请实施例中的原始产品图像，一般是指工业产品的外表面的图像，例如电路板的外表面的图像，进而，可以通过原始产品图像检测出工业产品的外表面中存在的例如划痕、凸点、裂缝等“外伤”缺陷。

步骤302：将原始产品图像输入分割网络，以对该原始产品图像进行特征提取以得到特征图，并通过至少两个不同尺寸的池化层对该特征图进行池化处理以获得多层次的特征信息，以及根据获得的多层次的特征信息确定原始产品图像中的故障区域。

本申请实施例中的分割网络又可以称作分割模型，通过分割网络能够把原始产品图像中的故障区域作为前景与作为背景的非故障区域进行区分，从而有效的识别出原始产品图像中的所有故障区域。

以电路板为例，请参见图4A和图4B所示的一些可能的故障类型。其中，图4A表示的是点状的故障，例如一些点状的凸起或者凹陷，而点状的故障又可以划分为密集型点状和分散型点状，例如图4A中的(a)图所示的类别1即为分散型点状的故障类型，以及图4A中的(b)图所示的类别1即为密集型点状的故障类型，也就是说，图4A表示的是同一种故障类型中的两种分布情况，本申请实施例中，将属于同一种故障类型中的不同分布情况称作类间故障。图4B表示的是线条状的故障，例如一些表面划痕或者裂缝则可能导致这种故障。

本申请实施例中的分割网络可以采用卷积神经网络，将原始产品图像输入到卷积神经网络的卷积层进行卷积处理，进而可以对原始图像进行特征提取以得到原始产品的特征图，进而再通过池化层进行池化处理，以对图像进行降维分块操作，最后通过全连接层处理，最终识别出原始产品图像中的所有故障区域。在通过卷积神经网络对原始产品图像进行处理的过程中，可以根据图像中的相邻的两个或者多个像素点的像素值的差值来计算出图像中的边缘区域，也就是说，可以以图像中的梯度信息作为主要判断依据来，以根据梯度信息确定出的边缘将图像进行前景和背景的划分，一般来说，故障区域的面积要远小于非故障区域的面积，所以可以将故障区域作为前景，将非故障区域作为背景，通过前景和背景的区别实现对图像中的故障区域的有效检测。

具体来说，可以通过金字塔场景解析网络(Pyramid Scene Parsing Network，PSPNet)进行故障区域与非故障区域的分割，请参见图5所示的金字塔场景解析网络的网络架构图，与其它的卷积神经网络相比，在金字塔场景解析网络的网络中包括具有多种尺寸的池化层，所以在对原始产品图像的特征图进行池化处理时，可以利用金字塔池化模块中所包括的至少两个(即多个)不同尺寸的池化层对特征图进行池化处理，例如图5中所示的，经过池化后，原图像可以缩小至1×1、2×2、3×3、6×6这四种不同尺寸，这意味着可以从不同尺度上去集合图像中的特征信息，换言之，通过不同尺寸的池化核可以得到多层次的特征信息，这样，最后将多层次的特征信息综合在一起的时候，实质上就是综合利用了全局(池化核大)与局部(池化核小)的特征信息，所以，可以结合多层次的特征信息对图像进行像素级分割，以准确的确定出图像中的故障区域。

在具体实施过程中，例如还可以采用其它类型的分割网络来进行故障区域和非故障区域的分割，例如还可以采用DeepLab网络或者其它网络进行区域分割，本申请实施例不做限制。

在对原始产品图像进行区域分割之前，还可以对原始产品图像进行图像的预处理，例如可以进行图像增强处理、归一化处理、二值化处理、直方图均衡处理以及双边滤波处理中的至少一种处理，这样可以提高区域分割的准确性。

其中，归一化处理，例如通过线性拉伸，将原始产品图像的图像灰度范围拉伸到指定范围，例如指定范围可以设置为0-255，通过归一化处理，可以提高后续原始产品图像的鲁棒性；对原始医疗影像进行直方图均衡处理，使得后续对医疗影像进行分割处理时，提高鲁棒性；通过双边滤波处理可以去除图像中可能存在的噪声，在一定程度上提高区域同质性，并且不会破坏分割边缘。所以经过预处理的原始产品图像更能真实的反映工业产品的实际情况，这样，通过预处理后的原始产品图像进行故障检测的话，更能准确的反映工业产品的实际故障。

在具体实施过程中，原始产品图像中可能未包括故障区域，或者也可能包括一个或多个故障区域，通过上述区域分割的方式，可以确定出原始产品图像中包括的所有故障区域，即，通过本申请实施例的技术方案可以对原始产品图像中的故障区域的存在性进行有效的检测。例如，参见图6所示，图6中的左图可以理解为是原始产品图像，而图6中的右图即为采用上述方式确定出的原始产品图像中的故障区域，即图6中右图中的白色区域即为所识别出的故障区域，可见，一共识别出了3个故障区域，并且最左边的故障区域的面积最大。

步骤303：将故障区域输入故障识别模型以确定该故障区域的故障类型。

本申请实施例中的故障识别模型为能够识别出故障区域的故障类型的计算机模型。所以，在确定出了故障区域之后，就可以依靠训练好的故障识别模型对故障区域的故障类型进行判定，进而识别出各个故障区域的故障类型。例如，针对图4A中的原始产品图像中的故障区域，则可以识别出是点状的故障类型，以及针对图4B中的原始产品图像中的故障区域，则可以识别出是线条状的故障类型，等等。

故障识别模型可以是基于大量训练样本训练好的模型，根据工业产品的不同类型，训练样本可以包括多种类型的工业产品的原始产品图像，并且作为训练样本的这些原始产品图像，一般都是包括有故障区域的，并且所有的训练样本中尽量需要包括各种类型的故障，这样可以对故障识别模型进行有效的训练，使得训练后的故障识别模型能够尽量准确地识别出故障区域对应的故障类型。

在实际中，可以针对同一类工业产品单独训练对应的故障识别模型，例如针对电路板和玉器分别训练不同的故障识别模型，因为不同类的工业产品由于制造工艺、制造设备和制造环境的差异，使得不同类的工业产品所产生的故障类型可能存在较大差异，即不同类型的工业产品对应的训练样本的差异也较大，所以针对每种类型的工业产品单独训练的故障识别模型能够对每种工业产品的故障进行有效检测，针对性更强。

当然，也可以针对多种类别或者所有类别的工业产品训练同一种故障识别模型，这样训练得到的故障是被模型的普适性更强，便于多种行业广泛使用。

在具体实施过程中，可以采用ResNet18模型或vggNet模型等网络架构来进行故障识别模型的训练，进而可以通过这些网络架构实现对故障类型的判决。此外，考虑实际工业制造情况，一般来说，同一类工业产品的故障类型是比较单一的，所以分类需求也较小，此时可以采用轻量级别的网络(例如前述的ResNet18)对故障类型进行判别，这样在满足故障识别需求的基础上，可以尽量减少计算量，提高故障识别效率。

步骤304：生成故障检测结果，该故障检测结果包括故障区域的位置描述信息和对应的故障类型指示信息。

在确定出各个故障区域的故障类型之后，可以再根据确定出的故障类型生成对应的故障类型指示信息，其中，故障区域的故障类型指示信息是用于指示该故障区域的故障类型的，例如以“1”表示如图4A中的点状型的故障类型，以“0”表示如图4B中的线条状的故障类型，更具体的，例如可以“1-0”表示如图4A中的(a)图所示的分散型的点状故障类型，以及以“1-1”表示如图4A中的(b)图所示的密集型的点状故障类型。

以及，还可以确定各个故障区域的位置描述信息，故障区域的位置描述信息是用于指示该故障区域的位置的信息，即，通过位置描述信息能够反映出故障区域在原始产品图像中的具体位置。其中。位置描述信息例如是故障区域的坐标信息，或者是该故障区域相对于整个原始产品图像的相对位置信息，或者是其它能够反映故障区域的位置的信息。

进一步地，可以根据故障区域的位置描述信息和对应的故障类型指示信息生成故障检测结果。例如，故障检测结果即为故障类型指示信息和位置描述信息的结合信息，或者，可以在原始产品图像上合成故障区域的位置描述信息和故障类型指示信息，进而将合成处理后的原始产品图像确定为故障检测结果，这样可直接在原始产品图像上对应识别出各种故障情况。

步骤305：输出故障检测结果。

进一步地，为了便于检测人员能够及时知晓所检测出的故障情况，故障检测设备在生成故障检测结果之后再将故障检测结果输出，以便检测人员可以根据故障检测结果直接快速的解读出存在故障的具体位置以及对应的故障类型，进而进行故障统计和故障分析，以便于为后期的工业生产提供有效的生产指导建议，通过生产指导建议则可以有效规避之前出现过的故障情况，提高工业产品的合格率。

如前所述，通过分割网络可以将原始产品图像中的所有故障区域全部识别出来，例如图6中白色部分所示的，识别出了3个故障区域。进一步地，在将识别出的所有故障区域输入到故障识别模型进行故障类型的判别之前，可以先从所有故障区域中选出主要故障区域，进而只将主要故障区域输入到故障识别模型中进行故障类型的判别，这样，无需将所有的故障类型都一并输入故障识别模型，可以在一定程度上减少故障识别模型的计算量，同时也可以满足一定的检测需求。这样操作，是考虑到在工业产品的实际应用场景中，一种类型的即工业产品在制造过程中一般只会出现一种或两种类型的故障，即一般只可能出现较少类型的故障，而检测人员在做故障统计分析时，一般也是对关键故障问题的关注程度更高。

根据上述分析，本申请实施例在得到原始产品图像中的所有故障区域之后，可以再通过聚类网络将所有故障区域包括的故障点聚类为至少两类故障点，例如就只聚类为两类故障点，当然，这可以是在确定出的故障区域明显包括多个的情况下才做故障分类，例如确定出有3个故障区域，并且这3个故障区域相互之间间隔较远则可以认为是明显包括多个，或者这3个故障区域的区域轮廓明显存在较大差异也可以认为是明显包括多个，等等。其中的聚类网络，是用于将多个样本点(本申请实施例中则对应故障区域中的故障点)划分为多个类别的，在具体实施过程中可以采用一些聚类算法来进行聚类处理。

进一步地，在将故障区域包括的故障点聚类为至少两类故障点之后，例如聚类为M类故障点之后，其中的M为大于或等于2的整数，则可以从这M类故障点中选择符合预设条件的类，例如将符合预设条件的类称作目标类故障点，进而可以将目标类故障点所组成的区域确定为是本申请实施例中的主要故障区域，例如参见图7所示，图7中的左图为原始产品图像，图7中的右图为最终选择出的主要故障区域。根据预设条件的不同，即对主要故障区域的选择依据不同，换言之，预设条件决定了主要故障区域的具体定位以及数量。

在一种可能的实施方式中，预设条件可以是指类内包括的故障点的数量最多，在该条件下，则可以将M类故障点中包括的故障点的数量最多的一类作为目标类故障点。因为，故障点数量最多可以大致表明对应的故障区域的受损面积较大，所以可以将其作为主要故障区域。

在另一种可能的实施方式中，预设条件可以是指类内的故障点的数量最多且密度最大，这样设置的预设条件，是考虑到有些故障区域虽然较大，但是其中受损的点是较少的，即密度较少，此时可能是误将一些噪点所组成的区域确定为是故障区域了，所以通过数量和密度来综合确定主要故障区域，可以在一定程度上提高判决的准确性和有效性。

再在另一种可能的实施方式中，预设条件可以是指类内的故障点所组成的区域最大，即可以将面积最大的故障区域直接作为主要故障区域，这样是根据实际生产情况而设置的这种条件，因为故障面积较大说明其对工业产品的实际影响也可能较大，所以采用此种方式可以快速聚焦关键的故障区域。

上述以三种预设条件进行了举例说明，在具体实施过程中，还可以将上述三种预设条件结合使用，或者还可以再考虑一些其它因素作为预设条件的设置，本申请实施例不做具体限制。

目前有很多聚类算法可以实现大量的样本点的聚类，例如Kmeans算法、GMM算法，OPTICS算法、Mean Shift算法，等等。以将所有故障区域的故障点划分为两类为例，在本申请实施例中，采用了同时结合两种聚类算法来进行聚类计算的策略，具体来说，是结合目前比较通用的Kmeans算法和GMM算法来实现聚类计算。

具体来说，是先通过Kmeans算法将故障区域包括的故障点聚类为M类故障点，再计算该M类故障点中每类故障点中的所有故障点的中心坐标和协方差矩阵(即各个故障点的坐标的协方差矩阵)，以得到M组中心坐标和协方差矩阵，然后将这M组中心坐标和协方差矩阵输入GMM中，以将这M组中心坐标和协方差矩阵作为GMM算法的初始值进行聚类迭代，以更新前述通过Kmeans算法得到的M类故障点，最后再将更新后的M类故障点确定为所有故障区域的最终聚类结果。

其中，通过Kmeans算法对样本点进行聚类的过程，以二分类为例，聚类过程如下：先从所有待分类的样本点中随机选择2个样本点作为初始质心，再计算其它每个样本点与2个初始质心的距离，将距离某个初始质心更近的样本点就划分为到该初始质心所属的类中，以完成第一次聚类。在第一次聚类完成之后，得到两个类，分别计算每个类的中心坐标，再以每个类的中心坐标作为新的质心，执行前述以距离划分类的过程，进而得到第二次聚类结果。再执行与前述过程一样的迭代过程，直至聚类结果的两个类的质心不再发生变化，则聚类完成，此时得到通过Kmeans算法进行二分类的聚类结果。

由于Kmeans算法在选择初始值(即初始质心)的时候是从所有样本点中随机选择的，则有可能将邻近的两个样本点选择成了初始质心，这样的话，迭代计算量很大，且最终得到的聚类效果也不太好，鉴于此，本申请实施例提出了将通过Kmeans算法得到的聚类结果仅仅又作为GMM聚类的初始值，这样，在Kmeans算法已经聚类的基础上，再充分利用GMM聚类算法中会利用后验概率对GMM每次迭代聚类的结果进行返回验证的特性来提高聚类效果，同时由于是将前一种聚类算法(即Kmeans算法)得到的聚类结果作为初始值，这样可以在很大程度上减少GMM聚类的计算量，从而在确保聚类效果的前提下，还可以尽量提高聚类效率。

也就是说，本申请实施例中巧妙的将两种现有的聚类算法相结合，各取两种算法的长处来弥补单个聚类算法的不足，从而实现高效且有效的聚类效果。

本申请实施例中，采用了例如分割网络、聚类网络和故障分类网络(即故障识别模块)结合进行故障检测的方案，充分利用深度学习的思想对工业产品的故障进行高效、准确的故障检测，网络结构明晰，各个模块均有较好的泛化能力。另外，可以通过聚类网络提取主要故障区域进行分析判别，减小运算量，并且提升了检测精度。

基于同一发明构思，请参见图8所示，本申请实施例还提供一种故障检测系统，包括图像采集装置801、故障识别装置802和显示装置803。

本申请实施例中的故障检测系统可以应用于工厂或者企业等应用场景，将工业检测和计算机等多种学科相融合，辅助工业人员对工业产品的故障进行有效检测。其中的故障检测装置802从图像采集装置801中获得原始产品图像，并根据原始产品图像确定出其中的故障区域，以及各个故障区域的故障类型，并且，还可以确定出各个故障区域的描述信息，例如故障区域的坐标或者相对于整张原始产品图像的相对位置，以及还可以获得与各个故障区域的故障类型对应的故障类型指示信息，进一步地，可以根据故障区域的描述信息和对应的故障类型指示信息生成故障检测结果。然后，将故障检测结果发送给显示装置903显示。故障检测装置802通信连接图像采集装置801，并通信连接显示装置803，一般情况下，图像采集装置801和故障检测装置802之间可能会有一定的距离，可以采用通信电缆的方式实现通信连接。图像采集装置801和故障检测装置802之间也可以通过无线通信的方式连接，故障检测装置802可以近距离或者远程接收图像采集装置801发送的工业产品的原始产品图像。此外，故障检测装置802和显示装置803之间也可能通过互联网实现远程的通信连接，从而实现远程故障检测。

本申请实施例中的故障检测装置802可以是例如图1中的故障检测设备102或故障检测设备103，故障检测装置802可以采用如图2所示的结构。本申请实施例中的故障检测装置802可以通采用前述介绍的故障检测方式，高效、精确的检测出各种工艺产品中的生产瑕疵和缺陷，便于工作人员快速的进行故障检测和数据分析。

可选的，本申请实施例中的故障检测系统还可以包括打印机、配电电源等设备，以便为工业作业人员提供更加便利的服务。

基于同一发明构思，本申请实施例提供一种故障检测装置。该故障检测装置可以是硬件结构、软件模块、或硬件结构加软件模块。该故障检测装置可以由芯片系统实现，芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。请参见图9所示，本申请实施例中的故障检测装置包括获得模块901、分割模块902和故障识别模块903，其中：

获得模块901，用于获得待检测的工业产品的原始产品图像；

分割模块902，用于将输入的原始产品图像进行特征提取以得到特征图，并通过至少两个不同尺寸的池化层对特征图进行池化处理以获得多层次的特征信息，以及根据多层次的特征信息确定原始产品图像中的故障区域；

故障识别模块903，用于确定故障区域的故障类型。

在一种可能的实施方式中，继续参见图9所示，本申请实施例中的故障检测装置还包括聚类模块904，用于通过聚类网络将故障区域包括的故障点聚类为至少两类故障点，并将该至少两类故障点中符合预设条件的目标类故障点所组成的区域确定为主要故障区域；

所述故障识别模块903，用于确定上述主要故障区域的故障类型。

在一种可能的实施方式中，聚类模块904用于：

通过Kmeans算法将故障区域包括的故障点聚类为M类故障点，其中，M为大于或等于2的整数；

确定M类故障点中每类故障点的中心坐标和协方差矩阵，得到M组中心坐标和协方差矩阵；

将M组中心坐标和协方差矩阵作为GMM的初始值进行聚类迭代，以更新M类故障点；

将更新后的M类故障点确定为故障区域的聚类结果。

在一种可能的实施方式中，预设条件包括以下条件中的至少一种：

类内的故障点的数量最多；

类内的故障点的数量最多且密度最大；

类内的故障点所组成的区域最大。

在一种可能的实施方式中，分割模块902，用于根据原始产品图像中相邻的至少两个像素点的像素值的差值确定梯度信息；并根据梯度信息进行特征提取，以获得原始产品图像的特征图。

在一种可能的设计中，本申请实施例中的故障检测装置还包括：

确定模块，用于在故障识别模块903确定故障区域的故障类型之后，确定故障区域对应的故障类型指示信息；

生成模块，用于生成故障检测结果，其中，故障检测结果包括故障区域的位置描述信息和对应的故障类型指示信息。

在一种可能的实施方式中，生成模块用于在原始产品图像上合成故障区域的位置描述信息和故障类型指示信息；并将合成处理后的原始产品图像确定为故障检测结果。

前述的故障检测方法的实施例涉及的各步骤的所有相关内容均可以援引到本申请施例中的故障检测装置所对应的功能模块的功能描述，在此不再赘述。

本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，另外，在本申请各个实施例中的各功能模块可以集成在一个处理器中，也可以是单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。

基于同一发明构思，本申请实施例还提供一种故障检测设备，该故障检测设备例如是图1中的故障检测设备102或故障检测设备103，或者也可以是图8中的故障检测装置。如图10所示，本申请实施例中的故障检测设备包括至少一个处理器1001，以及与至少一个处理器1001连接的存储器1002和通信接口1003，本申请实施例中不限定处理器1001与存储器1002之间的具体连接介质，图10中是以处理器1001和存储器1002之间通过总线1000连接为例，总线1000在图10中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线1000可以分为地址总线、数据总线、控制总线等，为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

在本申请实施例中，存储器1002存储有可被至少一个处理器1001执行的指令，至少一个处理器1001通过执行存储器1002存储的指令，可以执行前述的故障检测方法中所包括的步骤。

其中，处理器1001是故障检测设备的控制中心，可以利用各种接口和线路连接整个故障检测设备的各个部分，通过运行或执行存储在存储器1002内的指令以及调用存储在存储器1002内的数据，计算设备的各种功能和处理数据，从而对计算设备进行整体监控。可选的，处理器1001可包括一个或多个处理单元，处理器1001可集成应用处理器和调制解调处理器，其中，处理器1001主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。在一些实施例中，处理器1001和存储器1002可以在同一芯片上实现，在一些实施例中，它们也可以在独立的芯片上分别实现。

处理器1001可以是通用处理器，例如中央处理器(CPU)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器1002可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random AccessMemory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器1002是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本申请实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

通信接口1003是能够用于进行通信的传输接口，可以通过通信接口1003接收数据或者发送数据，例如可以通过通信接口1003接收其它设备发送的工业产品的原始产品图像，以及，还可以通过该通信接口1003将获得的故障检测结果发送给其它设备。

参见图11所示的故障检测设备的进一步地的结构示意图，该故障检测设备还包括帮助故障检测设备内的各个器件之间传输信息的基本输入/输出系统(I/O系统)1101、用于存储操作系统1102、应用程序1103和其他程序模块1104的大容量存储设备1105。

基本输入/输出系统1101包括有用于显示信息的显示器1106和用于用户输入信息的诸如鼠标、键盘之类的输入设备1107。其中显示器1106和输入设备1107都通过连接到系统总线1000的基本输入/输出系统1101连接到处理器1001。所述基本输入/输出系统1101还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。

所述大容量存储设备1105通过连接到系统总线1000的大容量存储控制器(未示出)连接到处理器1001。所述大容量存储设备1105及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说，大容量存储设备1105可以包括诸如硬盘或者CD-ROM驱动器之类的计算机可读介质(未示出)。

根据本发明的各种实施例，该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线1000上的通信接口1003连接到网络1108，或者说，也可以使用通信接口1003来连接到其他类型的网络或远程计算机系统(未示出)。

基于同一发明构思，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，当该计算机指令在计算机上运行时，使得计算机执行如前述的故障检测方法的步骤。

基于同一发明构思，本申请实施例还提供一种芯片系统，该芯片系统包括处理器，还可以包括存储器，用于实现如前述的故障检测方法的步骤。该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。

在一些可能的实施方式中，本申请实施例提供的故障检测方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机上运行时，所述程序代码用于使所述计算机执行前文述描述的根据本发明各种示例性实施方式的故障检测方法中的步骤。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (10)

1.一种故障检测方法，其特征在于，所述方法包括：

获得待检测的工业产品的原始产品图像；

将所述原始产品图像输入分割网络，以对所述原始产品图像进行特征提取以得到特征图，并通过至少两个不同尺寸的池化层对所述特征图进行池化处理以获得多层次的特征信息，以及根据所述多层次的特征信息确定所述原始产品图像中的故障区域；

将所述故障区域输入故障识别模型，以确定所述故障区域的故障类型。

2.如权利要求1所述的方法，其特征在于，在将所述故障区域输入故障识别模型之前，所述方法还包括：

通过聚类网络将所述故障区域包括的故障点聚类为至少两类故障点，并将所述至少两类故障点中符合预设条件的目标类故障点所组成的区域确定为主要故障区域；

则，将所述故障区域输入故障识别模型，包括：

将所述主要故障区域输入所述故障识别模型。

3.如权利要求2所述的方法，其特征在于，将所述故障区域包括的故障点聚类为至少两类故障点，包括：

通过Kmeans算法将所述故障区域包括的故障点聚类为M类故障点，其中，M为大于或等于2的整数；

确定所述M类故障点中每类故障点的中心坐标和协方差矩阵，得到M组中心坐标和协方差矩阵；

将所述M组中心坐标和协方差矩阵作为GMM的初始值进行聚类迭代，以更新所述M类故障点；

将更新后的M类故障点确定为所述故障区域的聚类结果。

4.如权利要求2所述的方法，其特征在于，所述预设条件包括以下条件中的至少一种：

类内的故障点的数量最多；

类内的故障点的数量最多且密度最大；

类内的故障点所组成的区域最大。

5.如权利要求1所述的方法，其特征在于，对所述原始产品图像进行特征提取以得到特征图，包括：

根据所述原始产品图像中相邻的至少两个像素点的像素值的差值确定梯度信息；

根据所述梯度信息进行特征提取，以获得所述原始产品图像的特征图。

6.如权利要求1-5任一所述的方法，其特征在于，在确定所述故障区域的故障类型之后，所述方法还包括：

确定所述故障区域对应的故障类型指示信息；

生成故障检测结果，其中，所述故障检测结果包括所述故障区域的位置描述信息和对应的故障类型指示信息。

7.如权利要求6所述的方法，其特征在于，生成故障检测结果，包括：

在所述原始产品图像上合成所述故障区域的位置描述信息和故障类型指示信息；

将合成处理后的原始产品图像确定为所述故障检测结果。

8.一种故障检测装置，其特征在于，包括：

获得模块，用于获得待检测的工业产品的原始产品图像；

分割模块，用于将输入的所述原始产品图像进行特征提取以得到特征图，并通过至少两个不同尺寸的池化层对所述特征图进行池化处理以获得多层次的特征信息，以及根据所述多层次的特征信息确定所述原始产品图像中的故障区域；

故障识别模块，用于确定所述故障区域的故障类型。

9.一种故障检测设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的方法包括的步骤。

10.一种故障检测系统，其特征在于，包括图像采集装置、故障检测装置和显示装置，所述故障检测装置分别与所述故障检测装置和所述显示装置连接，其中：

所述图像采集装置，用于采集待检测的工业产品的原始产品图像，并将所述原始产品图像发送给所述故障检测装置；

所述故障检测装置，用于将所述原始产品图像输入分割网络，以对所述原始产品图像进行特征提取以得到特征图，并通过至少两个不同尺寸的池化层对所述特征图进行池化处理以获得多层次的特征信息，以及根据所述多层次的特征信息确定所述原始产品图像中的故障区域；以及将所述故障区域输入故障识别模型，以确定所述故障区域的故障类型；

所述显示装置，用于呈现故障检测结果，其中，所述故障检测结果包括所述故障区域的描述信息和对应的故障类型指示信息。