CN111242899A - 基于图像的瑕疵检测方法及计算机可读存储介质 - Google Patents

Abstract

本发明涉及一种基于图像的瑕疵检测方法及计算机可读存储介质。所述方法适用于检测一待测物体的外观瑕疵。所述图像瑕疵检测方法包括：获取待测物体的至少一张图像；从所述图像中提取多个目标瑕疵子区域；利用第一处理方法判断所述多个目标瑕疵子区域的瑕疵类型；利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域；根据第一准则判断所述目标瑕疵区域的第一瑕疵等级；及储存所述第一瑕疵等级。本发明利用第一处理方法判断从待测物体的图像中提取多个目标瑕疵子区域的瑕疵类型，利用第二处理方法从多个目标瑕疵子区域产生至少一目标瑕疵区域，及根据第一准则判断目标瑕疵区域的第一瑕疵等级，如此实现对从待测物体的瑕疵的判定。

Description

基于图像的瑕疵检测方法及计算机可读存储介质

技术领域

本发明涉及一种基于图像的瑕疵检测方法及计算机可读存储介质。

背景技术

当前产品制造业朝向高精度、高品质发展，使得精密零部件于加工后容易产生碰撞、压伤、擦伤等多种瑕疵，且瑕疵尺寸达到微米级，目前均需投入大量的检测人力检测上述瑕疵。然而，检测人员需进行长时间培养，才可精确判别瑕疵类别及等级，且检测人员易受主观意识、情绪、视力与疲劳所影响，造成判别精度不稳定。虽然，利用自动光学检测设备(Automated Optical Inspection,AOI)拍摄图像并基于图像处理技术进行瑕疵的检测可减少大量的人力投入，然而基于图像处理技术的传统机器视觉外观检测对微小及多变的瑕疵，无法给出精确的类别与等级判断。

发明内容

鉴于以上内容，有必要提出一种基于图像的瑕疵检测方法及计算机可读存储介质以精确地确定产品的外观瑕疵。

本申请的第一方面提供一种基于图像的瑕疵检测方法，适用于检测一待测物体的外观瑕疵，所述图像瑕疵检测方法包括：

获取待测物体的至少一张图像；

从所述图像中提取多个目标瑕疵子区域；

利用第一处理方法判断所述多个目标瑕疵子区域的瑕疵类型；

利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域；

根据第一准则判断所述目标瑕疵区域的第一瑕疵等级；

储存所述第一瑕疵等级。

优选地，所述方法还包括：

判断所述第一瑕疵等级是否满足预设条件；

当所述第一瑕疵等级不满足预设条件时，根据第二准则判断所述目标瑕疵区域的第二瑕疵等级；

储存所述第二瑕疵等级。

优选地，所述方法还包括：根据所述第一瑕疵等级和/或所述第二瑕疵等级判断所述目标瑕疵区域是否具有瑕疵。

优选地，所述预设条件为所述第一瑕疵等级属于预设等级。

优选地，所述根据第二准则判断所述目标瑕疵区域的第二瑕疵等级的步骤还包括：

提取所述目标瑕疵区域的多个第一特征值；

将所述多个第一特征值转换为预设格式的第二特征值；

利用第三处理方法处理所述第二特征值以得到所述第二瑕疵等级。

优选地，所述第一特征值可以是尺寸、灰度、纹理、位置、方向的任意组合，所述预设格式为图像格式，所述第二特征值是由所述第一特征值转换组成的特征图。

优选地，所述第三处理方法是深度学习演算法。

优选地，所述根据第一准则判断所述目标瑕疵区域的第一瑕疵等级的步骤包括：

计算所述目标瑕疵区域的区域大小；

根据所述目标瑕疵区域的区域大小给定所述第一瑕疵等级。

优选地，所述根据第一准则判断所述目标瑕疵区域的第一瑕疵等级的步骤包括：

根据所述目标瑕疵区域的瑕疵类型，判断所述目标瑕疵区域的关注等级；

根据所述关注等级计算所述目标瑕疵区域的瑕疵数值；

根据所述瑕疵数值和至少一个预设阈值以得到所述目标瑕疵区域的第一瑕疵等级。

优选地，所述从所述图像中提取多个目标瑕疵子区域的步骤还包括：

对所述图像做前处理以提取多个预测瑕疵位置；

根据所述多个预测瑕疵位置框选多个瑕疵子区域；

根据尺寸大小从所述多个瑕疵子区域中选取多个目标瑕疵子区域。

优选地，所述对所述图像做前处理以提取多个预测瑕疵位置的步骤还包括：

从所述图像中提取多个兴趣区域；

利用第四处理方法从所述多个兴趣区域中提取所述多个预测瑕疵位置；

聚合所述多个预测瑕疵位置中相邻的至少二个。

优选地，所述第四处理方法是语义分割演算法。

优选地，所述利用第一处理方法判断所述多个目标瑕疵子区域的瑕疵类型的步骤还包括：

利用卷积神经网络模型判断所述多个目标瑕疵子区域的瑕疵类型。

优选地，所述利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域的步骤还包括：

根据所述多个目标瑕疵子区域的瑕疵类型和位置，聚合类型相同且位置相邻的一或数个所述目标瑕疵子区域产生所述目标瑕疵区域。

本申请的第二方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现所述基于图像的瑕疵检测方法。

本发明利用第一处理方法判断从待测物体的图像中提取出的多所述多个目标瑕疵子区域的瑕疵类型，利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域，及根据第一准则判断所述目标瑕疵区域的第一瑕疵等级，实现了对从待测物体的瑕疵的精确判定。

附图说明

图1A及图1B为本发明一实施方式中待测物体的图像包含多个瑕疵的示意图。

图2为本发明一实施方式中基于图像的瑕疵检测方法的流程图。

图3A为本发明一实施方式中擦伤的示意图，图3B为本发明一实施方式中刮伤的示意图。

图4为本发明另一实施方式中基于图像的瑕疵检测方法的流程图。

图5为本发明另一实施方式中基于图像的瑕疵检测方法的流程图。

图6为本发明一实施方式中瑕疵检测系统的示意图。

图7为本发明一实施方式中瑕疵检测系统的功能模块图。

图8为本发明另一实施方式中瑕疵检测系统的功能模块图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

优选地，本发明基于深度学习的外观瑕疵检测方法应用在一个或者多个电子设备中。所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、可编程门阵列(Field－Programmable Gate Array，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。

所述电子设备可以是桌上型计算机、笔记本电脑、平板电脑及云端服务器等计算设备。所述设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

图1A和图1B说明待测物体的图像可能包含多个瑕疵，可利用现有图像处理方法结合智能化演算法提取瑕疵的相关信息并作出更加精确的判断。通过瑕疵的相关信息可依照不同的瑕疵类型给出相对应的瑕疵等级。由於待测物体的瑕疵类别和形态可能有多样，每种瑕疵在图像中的特征也不尽相同。利用单一方法无法精确判断所有可能存在或关切的瑕疵。本发明先将先将图像做小区域处理找出瑕疵的可能位置，对具有瑕疵的小区域做分类，分类后再将位置相邻可能实际属于同一瑕疵的小瑕疵聚合为一大瑕疵，针对各类型的大瑕疵进行分级。如果该类瑕疵较为复杂，无法简单判断，则可以对瑕疵等级有疑虑的大瑕疵利用其它判断准则再进行二次判断。

请参考图2，所示为本发明一实施方式中基于图像的瑕疵检测方法的流程图。本实施方式中，在提取出图像中的瑕疵区域后先对瑕疵区域作分类得到瑕疵类型，再依瑕疵类型利用第一准则做初步判断瑕疵区域的等级，其中，所述第一准则仅利用图像已知的特征值判断出瑕疵区域的等级。

参考图2所示，所述基于图像的瑕疵检测方法具体包括以下步骤。

步骤S21，获取待测物体的至少一张图像。

本实施方式中，获取待测物体的至少一张图像包括：获取相机拍摄的待测物体的至少一张图像，其中，相机可以为线阵相机或面阵相机。本实施方式中，待测物体为手机或平板电脑等装置。在另一实施方式中，获取待测物体的至少一张图像包括：接收服务器传送的待测物体的至少一张图像。在其他实施方式中，可以从本地数据库中获取待测物体的至少一张图像。本实施方式中，图像可包括待测物体的完整或局部图像。图像可以是任意解析度，也可以经过高采样或低采样，依实际需求而定。

步骤S22，从图像中提取多个目标瑕疵子区域。

在一实施方式中，从图像中提取多个目标瑕疵子区域的步骤还包括：对图像做前处理以提取多个预测瑕疵位置，根据多个预测瑕疵位置框选多个瑕疵子区域，根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域。在一实施方式中，对图像做前处理以提取多个预测瑕疵位置还包括：从图像中提取多个兴趣区域，利用第四处理方法从多个兴趣区域中提取多个预测瑕疵位置，聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。本实施方式中，第四处理算法是语义分割算法。

在一实施方式中，可根据兴趣区域(Region of Interest,ROI)算法从图像中提取多个兴趣区域。利用语意分割算法对多个兴趣区域进行预测处理并输出多个兴趣区域中的背景像素点及瑕疵像素点，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置，及聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。

在一实施方式中，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点包括：将多个兴趣区域中的像素点的灰度设置为0或255以对多个兴趣区域的像素点的灰度进行二值化。将灰度值为255的像素点作为瑕疵像素点，并将灰度值为0的像素点作为背景像素点。在一具体实施方式中，可通过k-means聚类方法将多个兴趣区域中的像素点的灰度进行分组得到两个分组，再将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同。接着将多个兴趣区域中的像素点的灰度值与预设阈值进行比较，将像素点中大于预设阈值的灰度值设置为255，及将像素点中不大于预设阈值的灰度值设置为0。其中，预设阈值可以根据用户的需要进行设置。

在一实施方式中，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置包括：滤除多个兴趣区域中的非瑕疵像素点，对多个兴趣区域中的瑕疵像素点进行群聚得到多个瑕疵块，通过每一瑕疵块的边界框选出一个矩形区域作为瑕疵块的瑕疵区域并确定每一瑕疵块的瑕疵区域的坐标，其中每一瑕疵块由瑕疵像素点群聚得到，及根据每一瑕疵块的瑕疵区域的坐标得到多个预测瑕疵位置，其中每一预测瑕疵位置对应一个瑕疵块的瑕疵区域。

在一实施方式中，根据多个预测瑕疵位置框选出多个瑕疵子区域包括：根据瑕疵区域的坐标框选出多个瑕疵子区域。本实施方式中，根据每一瑕疵区域的坐标框选出多个瑕疵子区域包括：在图像中以图像左上角的点为原点建立笛卡尔坐标系，其中笛卡尔坐标系的X方向表示图像的宽度，笛卡尔坐标系的Y方向表示图像的高度。在笛卡尔坐标系中将每一瑕疵块的最左边的像素点所对应的x坐标作为瑕疵块的左边边界，将每一瑕疵块的最右边的像素点所对应的x坐标作为瑕疵块的右边边界，将每一瑕疵块的最上边的像素点所对应的y坐标作为瑕疵块的上边边界，及将每一瑕疵块的最下边的像素点所对应的y坐标作为瑕疵块的下边边界。根据左边边界、右边边界、上边边界、下边边界框选出矩形区域作为瑕疵块的瑕疵区域的坐标，并根据瑕疵区域的坐标框选出多个瑕疵子区域。

在一实施方式中，根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域包括：根据尺寸大小将多个瑕疵子区域进行排序，选取排序靠前的第一预设数量个瑕疵子区域作为目标瑕疵子区域。将多个瑕疵子区域中除去排序靠前的第一预设数量个瑕疵子区域以外的瑕疵区域按照宽度与高度之和的大小进行排序，并选取宽度与高度之和在预设范围内且排序靠前的第二预设数量个瑕疵区域作为目标瑕疵区域。本实施方式中，第一预设数量、第二预设数量及预设范围可以根据用户需要进行设置。

步骤S23，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型。

在一实施方式中，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型是利用卷积神经网络模型判断多个目标瑕疵子区域的瑕疵类型。

在一实施方式中，目标瑕疵子区域的瑕疵类型包括：擦伤类型、刮伤类型、碰伤类型及污渍类型。在一实施方式中，卷积神经网络模型包括，但不限于：支持向量机(SupportVector Machine，SVM)模型。将多个目标瑕疵子区域作为卷积神经网络模型的输入，经过卷积神经网络模型计算后，输出瑕疵类型。

在一实施方式中，卷积神经网络模型的训练过程包括：

1)获取正样本的图像的瑕疵数据及负样本的图像的瑕疵数据，并将正样本的图像的瑕疵数据标注瑕疵类型，以使正样本的图像的瑕疵数据携带瑕疵类型标签。

例如，分别选取1000个擦伤类型、刮伤类型、碰伤类型、污渍类型对应的瑕疵数据，并对每个瑕疵数据标注类型，可以以“1”作为擦伤类型的数据标签，以“2”作为刮伤类型的数据标签，以“3”作为碰伤类型的数据标签，以“4”作为污渍类型的数据标签。

2)将正样本的瑕疵数据及负样本的瑕疵数据随机分成第一预设比例的训练集和第二预设比例的验证集，利用训练集训练卷积神经网络模型，并利用验证集验证训练后的卷积神经网络模型的准确率。

先将不同瑕疵类型的训练集中的训练样本分发到不同的文件夹里。例如，将擦伤类型的训练样本分发到第一文件夹里、刮伤类型的训练样本分发到第二文件夹里、碰伤类型的训练样本分发到第三文件夹里、污渍类型的训练样本分发到第四文件夹里。然后从不同的文件夹里分别提取第一预设比例(例如，70％)的训练样本作为总的训练样本进行卷积神经网络模型的训练，从不同的文件夹里分别取剩余第二预设比例(例如，30％)的训练样本作为总的测试样本对训练完成的卷积神经网络模型进行准确性验证。

3)若准确率大于或者等于预设准确率时，则结束训练，以训练后的卷积神经网络模型作为分类器识别目标瑕疵子区域的瑕疵类型。若准确率小于预设准确率时，则增加正样本数量及负样本数量以重新训练卷积神经网络模型直至准确率大于或者等于预设准确率。

步骤S24，利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域。

本实施方式中，利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域包括：根据多个目标瑕疵子区域的类型和位置，聚合类型相同且位置相邻的一或数个目标瑕疵子区域产生目标瑕疵区域。

例如，当图像中的瑕疵类型为擦伤类型时，一个擦伤有可能包括多个连续且紧邻的小擦伤。请参考图3A,所示为本发明一实施方式中擦伤的示意图。如图3A所示，第一擦伤30包括第一区域301，第二区域302，第三区域303和第四区域304。第二擦伤31包括第五区域311和第六区域312。为了避免将所述第一区域301，第二区域302，第三区域303，第四区域304，第五区域311和第六区域312误认为是六个擦伤，需要将所述第一区域301，第二区域302，第三区域303和第四区域304进行群聚得到目标瑕疵区域，即所述第一擦伤30。将所述第五区域311和第六区域312进行群聚得到目标瑕疵区域，成为第二擦伤31。

又如，当图像中的瑕疵类型为刮伤类型时，一个刮伤有可能包括多个连续且紧邻的小刮伤。请参考图3B，所示为本发明一实施方式中刮伤的示意图。如图3B所示，刮伤20包括第一长条21，第二长条22，第三长条23和第四长条24。为了避免将所述第一长条21，第二长条22，第三长条23和第四长条24误认为是四个刮伤，需要将所述第一长条21，第二长条22，第三长条23和第四长条24进行拟合得到目标瑕疵区域，成为刮伤20。

步骤S25，根据第一准则判断目标瑕疵区域的第一瑕疵等级。

在一实施方式中，根据第一准则判断目标瑕疵区域的第一瑕疵等级包括：计算目标瑕疵区域的区域大小，及根据目标瑕疵区域的区域大小确定第一瑕疵等级。在具体实施方式中，在计算出目标瑕疵区域的区域大小后根据目标瑕疵区域的区域大小查找瑕疵等级关系表确定与区域大小相对应的第一瑕疵等级，其中，瑕疵等级关系表中包括多个目标瑕疵区域的区域大小与多个第一瑕疵等级，并定义了多个目标瑕疵区域的区域大小与多个第一瑕疵等级的对应关系。

在另一实施方式中，根据第一准则判断目标瑕疵区域的第一瑕疵等级包括：根据目标瑕疵区域的瑕疵类型，判断目标瑕疵区域的关注等级，根据关注等级计算目标瑕疵区域的瑕疵数值，及根据瑕疵数值和至少一个预设阈值以得到目标瑕疵区域的第一瑕疵等级。在具体实施方式中，判断目标瑕疵区域的关注等级包括：根据目标瑕疵区域的瑕疵类型查找关注等级关系表确定与瑕疵类型相对应的目标瑕疵区域的关注等级，其中，关注等级关系表中包括多个目标瑕疵区域的瑕疵类型与多个关注等级，并定义了多个瑕疵类型与关注等级的对应关系。在具体实施方式中，根据关注等级计算目标瑕疵区域的瑕疵数值包括：根据关注等级查找计算规则关系表确定与关注等级相对应的瑕疵数值的计算规则，按照计算规则计算与目标瑕疵区域的关注等级对应的瑕疵数值。其中，计算规则关系表中定义了目标瑕疵区域的多个关注等级与多个计算规则的对应关系。本实施方式中，计算规则包括根据目标瑕疵区域的面积计算瑕疵数值、根据目标瑕疵区域的长宽之和计算瑕疵数值。

步骤S26，储存第一瑕疵等级。

请参考图4，所示为本发明另一实施方式中基于图像的瑕疵检测方法的流程图。本实施方式中，在提取出瑕疵区域后先对瑕疵区域作分类得到瑕疵类型，再依瑕疵类型利用第一准则做初步判断后，如果初步判断的结果不精确，则对该些瑕疵区域利用第二准则做二次判断。本实施方式中，第一准则仅利用图像已知的特征值，而第二准则将已知特征值做进一步处理后再使用，而且第一准则运算量小于第二准则，从而提高运算效率和判断准确度。

参考图4所示，基于图像的瑕疵检测方法具体包括以下步骤。

步骤S31，获取待测物体的至少一张图像。

步骤S32，从图像中提取多个目标瑕疵子区域。

在一实施方式中，从图像中提取多个目标瑕疵子区域的步骤还包括：对图像做前处理以提取多个预测瑕疵位置，根据多个预测瑕疵位置框选多个瑕疵子区域，根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域。在一实施方式中，对图像做前处理以提取多个预测瑕疵位置还包括：从图像中提取多个兴趣区域，利用第四处理方法从多个兴趣区域中提取多个预测瑕疵位置，聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。在一实施方式中，第四处理算法是语义分割算法。

在具体实施方式中，可根据兴趣区域算法从图像中提取多个兴趣区域。利用语意分割算法对多个兴趣区域进行预测处理并输出多个兴趣区域中的背景像素点及瑕疵像素点，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置，及聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。

在一实施方式中，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点包括：将多个兴趣区域中的像素点的灰度设置为0或255以对多个兴趣区域的像素点的灰度进行二值化，将灰度值为255的像素点作为瑕疵像素点，及将灰度值为0的像素点作为背景像素点。在一具体实施方式中，通过k-means聚类方法将多个兴趣区域中的像素点的灰度进行分组得到两个分组。将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同，接着将多个兴趣区域中的像素点的灰度值与预设阈值进行比较，将像素点中大于预设阈值的灰度值设置为255，及将像素点中不大于预设阈值的灰度值设置为0。其中，预设阈值可以根据用户的需要进行设置。

在一实施方式中，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置包括：滤除多个兴趣区域中的非瑕疵像素点，对多个兴趣区域中的瑕疵像素点进行群聚得到多个瑕疵块，通过每一瑕疵块的边界框选出一个矩形区域作为瑕疵块的瑕疵区域并确定每一瑕疵块的瑕疵区域的坐标，其中每一瑕疵块由瑕疵像素点群聚得到，及根据每一瑕疵块的瑕疵区域的坐标得到多个预测瑕疵位置，其中每一预测瑕疵位置对应一个瑕疵块的瑕疵区域。

在一实施方式中，根据多个预测瑕疵位置框选出多个瑕疵子区域包括：根据瑕疵区域的坐标框选出多个瑕疵子区域。本实施方式中，根据每一瑕疵区域的坐标框选出多个瑕疵子区域包括：在图像中以图像左上角的点为原点建立笛卡尔坐标系，其中笛卡尔坐标系的X方向表示图像的宽度，笛卡尔坐标系的Y方向表示图像的高度。在笛卡尔坐标系中将每一瑕疵块的最左边的像素点所对应的x坐标作为瑕疵块的左边边界，将每一瑕疵块的最右边的像素点所对应的x坐标作为瑕疵块的右边边界，将每一瑕疵块的最上边的像素点所对应的y坐标作为瑕疵块的上边边界，及将每一瑕疵块的最下边的像素点所对应的y坐标作为瑕疵块的下边边界。根据左边边界、右边边界、上边边界、下边边界框选出矩形区域作为瑕疵块的瑕疵区域的坐标，并根据瑕疵区域的坐标框选出多个瑕疵子区域。

在一实施方式中，根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域包括：根据尺寸大小将多个瑕疵子区域进行排序，选取排序靠前的第一预设数量个瑕疵子区域作为目标瑕疵子区域。接着将多个瑕疵子区域中除去排序靠前的第一预设数量个瑕疵子区域以外的瑕疵区域按照宽度与高度之和的大小进行排序，并选取宽度与高度之和在预设范围内且排序靠前的第二预设数量个瑕疵区域作为目标瑕疵区域。本实施方式中，第一预设数量、第二预设数量及预设范围可以根据用户需要进行设置。

步骤S33，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型。

在一实施方式中，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型是利用卷积神经网络模型判断多个目标瑕疵子区域的类型。

步骤S34，利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域。

在一实施方式中，利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域包括：根据多个目标瑕疵子区域的类型和位置，聚合类型相同且位置相邻的一或数个目标瑕疵子区域产生目标瑕疵区域。

步骤S35，根据第一准则判断目标瑕疵区域的第一瑕疵等级。

在一实施方式中，根据第一准则判断目标瑕疵区域的第一瑕疵等级包括：计算目标瑕疵区域的区域大小，及根据目标瑕疵区域的区域大小确定第一瑕疵等级。在具体实施方式中，在计算出目标瑕疵区域的区域大小后根据目标瑕疵区域的区域大小查找瑕疵等级关系表确定与区域大小相对应的第一瑕疵等级。其中，瑕疵等级关系表中包括多个目标瑕疵区域的区域大小与多个第一瑕疵等级，并定义了多个目标瑕疵区域的区域大小与多个第一瑕疵等级的对应关系。

步骤S36，储存第一瑕疵等级。

步骤S37，判断第一瑕疵等级是否满足预设条件，及当第一瑕疵等级不满足预设条件时，根据第二准则判断目标瑕疵区域的第二瑕疵等级，并存储第二瑕疵等级。

在一实施方式中，预设条件为第一瑕疵等级属于预设等级。即，当第一瑕疵等级不属于预设等级时，根据第二准则判断目标瑕疵区域的第二瑕疵等级。

在一实施方式中，根据第二准则判断目标瑕疵区域的第二瑕疵等级包括：提取目标瑕疵区域的多个第一特征值，将多个第一特征值转换为预设格式的第二特征值，及利用第三处理方法处理第二特征值以得到第二瑕疵等级。在一实施方式中，第一特征值是尺寸、灰度、纹理、位置、方向的任意组合，预设格式为图像格式，第二特征值是由第一特征值转换组成的特征图。本实施方式中，第三处理方法是深度学习演算法。

在一实施方式中，瑕疵检测方法还包括：根据第一瑕疵等级和/或第二瑕疵等级判断目标瑕疵区域是否具有瑕疵。

请参考图5，所示为本发明另一实施方式中基于图像的瑕疵检测方法的流程图。方法包括如下步骤。

步骤S41，获取待测物体的至少一张图像。

在一实施方式中，获取待测物体的至少一张图像的方式是获取相机拍摄的待测物体的至少一张图像，其中，相机可以为线阵相机或面阵相机。本实施方式中，待测物体为手机或平板电脑等装置。在另一实施方式中，获取待测物体的至少一张图像的方式是接收服务器传送的待测物体的至少一张图像。在其他实施方式中，可以从本地数据库中获取待测物体的至少一张图像。本实施方式中，图像可包括待测物体的完整或局部图像。图像可以是任意解析度，也可以经过高采样或低采样，依实际需求而定。

步骤S42，对图像做前处理。

在一实施方式中，对图像做前处理包括：根据兴趣区域算法从图像中提取多个兴趣区域，利用语意分割算法对多个兴趣区域进行预测处理并输出多个兴趣区域中的背景像素点及瑕疵像素点，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点。

在其他实施方式中，对图像做前处理还包括：对图像进行滤波、去噪点处理。

步骤S43，从图像中提取多个瑕疵子区域。

在一实施方式中，从图像中提取多个瑕疵子区域包括：对多个兴趣区域中的瑕疵像素点进行群聚得到多个瑕疵块，通过每一瑕疵块的边界框选出一个矩形区域作为瑕疵块的瑕疵区域，并确定每一瑕疵块的瑕疵区域的坐标。其中每一瑕疵块由瑕疵像素点群聚得到，及根据每一瑕疵块的瑕疵区域的坐标得到多个瑕疵子区域。

步骤S44，从多个瑕疵子区域提取出目标瑕疵子区域。

在一实施方式中，从多个瑕疵子区域提取出目标瑕疵子区域包括：根据尺寸大小将多个瑕疵子区域进行排序，选取排序靠前的第一预设数量个瑕疵子区域作为目标瑕疵子区域。将多个瑕疵子区域中除去排序靠前的第一预设数量个瑕疵子区域以外的瑕疵区域按照宽度与高度之和的大小进行排序，并选取宽度与高度之和在预设范围内且排序靠前的第二预设数量个瑕疵区域作为目标瑕疵区域。本实施方式中，第一预设数量、第二预设数量及预设范围可以根据用户需要进行设置。

步骤S45，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型。

在一实施方式中，利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型包括：将图像进行等分处理得到预设尺寸的多个图像块及每个图像块的坐标，并将每一图像块与一待预测的目标瑕疵子区域关联，并将与目标瑕疵子区域关联的图像块利用卷积神经网络模型判断多个目标瑕疵子区域的瑕疵类型。

在一实施方式中，目标瑕疵子区域的瑕疵类型包括：擦伤类型、刮伤类型、碰伤类型及污渍类型。本实施方式中，卷积神经网络模型包括，但不限于：支持向量机模型。将多个目标瑕疵子区域作为卷积神经网络模型的输入，经过卷积神经网络模型计算后，输出瑕疵类型。

步骤S46，依据第二处理方法从目标瑕疵子区域产生至少一个目标瑕疵区域。

在一实施方式中，依据第二处理方法从目标瑕疵子区域产生至少一个目标瑕疵区域包括：根据多个目标瑕疵子区域的类型和位置，聚合类型相同且位置相邻的一个或多个目标瑕疵子区域产生目标瑕疵区域。

步骤S47，根据瑕疵区域的类型判断目标瑕疵区域的关注等级。

在一实施方式中，根据瑕疵区域的类型判断目标瑕疵区域的关注等级包括：利用目标瑕疵区域的类型及坐标判断目标瑕疵区域的长宽比，并根据目标瑕疵区域的长宽比确定目标瑕疵区域的关注等级。不同类型的瑕疵可能具有不同的分布倾向，可以根据目标瑕疵区域的类型和所在位置，判断其关注等级，例如关注等级越高，表示目标瑕疵区域的位置与类型的符合程度越高。

步骤S48，根据目标瑕疵区域的关注等级，按照第一准则判断目标瑕疵区域的第一瑕疵等级。

在一实施方式中，根据目标瑕疵区域的关注等级按照第一准则判断目标瑕疵区域的第一瑕疵等级包括：计算目标瑕疵区域的区域大小，及根据目标瑕疵区域的区域大小确定第一瑕疵等级。

步骤S49，判断目标瑕疵区域的第一瑕疵等级是否满足预设条件，及当第一瑕疵等级不满足预设条件是，根据第二准则判断目标区域的第二瑕疵等级。

在一实施方式中，预设条件为第一瑕疵等级属于预设等级。在一实施方式中，根据第二准则判断目标瑕疵区域的第二瑕疵等级包括：提取目标瑕疵区域的多个第一特征值，将多个第一特征值转换为预设格式的第二特征值，及利用第三处理方法处理第二特征值以得到第二瑕疵等级。在一具体实施方式中，第一特征值是尺寸、灰度、纹理、位置、方向的任意组合，预设格式为图像格式，第二特征值是由第一特征值转换组成的特征图。在一实施方式中，第三处理方法是深度学习演算法。

步骤S50，根据第一瑕疵等级和/或第二瑕疵等级判断目标瑕疵区域是否存在瑕疵。

在一实施方式中，如果第一瑕疵等级属于预设等级，则依据第一瑕疵等级来判断目标瑕疵区域是否存在瑕疵，如果第一瑕疵等级不属于预设等级，则依据第二瑕疵等级来判断目标瑕疵区域是否存在瑕疵。在其他实施方式中，如果第一瑕疵等级不属于预设等级，也可以综合依据第一瑕疵等级和第二瑕疵等级来判断目标瑕疵区域是否存在瑕疵。

步骤S51，存储第一瑕疵等级及第二瑕疵等级。

请参考图6，所示为本发明一实施方式中瑕疵检测系统1的示意图。瑕疵检测系统1包括计算单元11和存储单元12。计算单元11可以执行存储单元12内的检测程序121。计算单元11可以从瑕疵检测系统1或是远端的存储单元取得待测物体的图像，或是利用设置在瑕疵检测系统1或是远端的拍摄单元，或是从远端的伺服器或资料库取得。本实施方式中，计算单元11可以包括多个计算子单元，不同检测程序121区段可以被不同的计算子单元执行。本实施方式中，计算单元11也可以协同远端的远端计算单元分别执行部分检测程序121区段。检测结果可以储存在瑕疵检测系统1或是远端的存储单元，或是输出到远端的伺服器或资料库。

请参考图7，所示为本发明一实施方式中瑕疵检测系统1的功能模块图。瑕疵检测系统1包括一个或多个模块，一个或者多个模块运行在计算单元11中。本实施方式中，瑕疵检测系统1包括图像获取模块101、瑕疵提取模块102、第一处理模块103、第二处理模块104、第一判断模块105及存储模块106。本实施方式中，像获取模块101、瑕疵提取模块102、第一处理模块103、第二处理模块104、第一判断模块105及存储模块106存储在存储单元12中，并被计算单元11调用执行。本发明所称的模块是指能够完成特定功能的一系列计算机程序指令段，比程序更适合于描述软件在瑕疵检测系统1中的执行过程。在其他实施方式中，图像获取模块101、瑕疵提取模块102、第一处理模块103、第二处理模块104、第一判断模块105及存储模块106为内嵌或固化在计算单元11中的程序段或代码。

本实施方式中，图像获取模块101是用于获取待测物体的至少一张图像。图像获取模块101可以例如获取相机拍摄的待测物体的至少一张图像，其中，相机可以为线阵相机或面阵相机。本实施方式中，待测物体为手机或平板电脑等装置。在另一实施方式中，图像获取模块101是接收服务器传送的待测物体的至少一张图像。在其他实施方式中，可以从本地数据库中获取待测物体的至少一张图像。本实施方式中，图像可包括待测物体的完整或局部图像。图像可以是任意解析度，也可以经过高采样或低采样，依实际需求而定。

本实施方式中，瑕疵提取模块102是用于从图像中提取多个目标瑕疵子区域。在一实施方式中，瑕疵提取模块102还可以对图像做前处理以提取多个预测瑕疵位置，根据多个预测瑕疵位置框选多个瑕疵子区域，并根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域。在一实施方式中，瑕疵提取模块102还可以从图像中提取多个兴趣区域，利用第四处理方法从多个兴趣区域中提取多个预测瑕疵位置，聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。在一实施方式中，第四处理算法是语义分割算法。

在具体实施方式中，瑕疵提取模块102可以根据兴趣区域(Region of Interest,ROI)算法从图像中提取多个兴趣区域。瑕疵提取模块102利用语意分割算法对多个兴趣区域进行预测处理并输出多个兴趣区域中的背景像素点及瑕疵像素点，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置，及聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。

在一实施方式中，瑕疵提取模块102可以将多个兴趣区域中的像素点的灰度设置为0或255以对多个兴趣区域的像素点的灰度进行二值化，将灰度值为255的像素点作为瑕疵像素点，及将灰度值为0的像素点作为背景像素点。在一具体实施方式中，瑕疵提取模块102可以通过k-means聚类方法将多个兴趣区域中的像素点的灰度进行分组得到两个分组，将两个分组中的像素点的灰度二值化，且每一分组中二值化后的像素点的灰度值相同，接着将多个兴趣区域中的像素点的灰度值与预设阈值进行比较，将像素点中大于预设阈值的灰度值设置为255，及将像素点中不大于预设阈值的灰度值设置为0。其中，预设阈值可以根据用户的需要进行设置。

在一实施方式中，瑕疵提取模块102可以滤除多个兴趣区域中的非瑕疵像素点，对多个兴趣区域中的瑕疵像素点进行群聚得到多个瑕疵块。通过每一瑕疵块的边界框选出一个矩形区域作为瑕疵块的瑕疵区域并确定每一瑕疵块的瑕疵区域的坐标，其中每一瑕疵块由瑕疵像素点群聚得到。再根据每一瑕疵块的瑕疵区域的坐标得到多个预测瑕疵位置，其中每一预测瑕疵位置对应一个瑕疵块的瑕疵区域。

在一实施方式中，瑕疵提取模块102可以根据瑕疵区域的坐标框选出多个瑕疵子区域。在一实施方式中，瑕疵提取模块102可以在图像中以图像左上角的点为原点建立笛卡尔坐标系，其中笛卡尔坐标系的X方向表示图像的宽度，笛卡尔坐标系的Y方向表示图像的高度。在笛卡尔坐标系中将每一瑕疵块的最左边的像素点所对应的x坐标作为瑕疵块的左边边界，将每一瑕疵块的最右边的像素点所对应的x坐标作为瑕疵块的右边边界，将每一瑕疵块的最上边的像素点所对应的y坐标作为瑕疵块的上边边界，及将每一瑕疵块的最下边的像素点所对应的y坐标作为瑕疵块的下边边界。根据左边边界、右边边界、上边边界、下边边界框选出矩形区域作为瑕疵块的瑕疵区域的坐标，并根据瑕疵区域的坐标框选出多个瑕疵子区域。

在一实施方式中，瑕疵提取模块102可以根据尺寸大小将多个瑕疵子区域进行排序，选取排序靠前的第一预设数量个瑕疵子区域作为目标瑕疵子区域。再将多个瑕疵子区域中除去排序靠前的第一预设数量个瑕疵子区域以外的瑕疵区域按照宽度与高度之和的大小进行排序，并选取宽度与高度之和在预设范围内且排序靠前的第二预设数量个瑕疵区域作为目标瑕疵区域。本实施方式中，第一预设数量、第二预设数量及预设范围可以根据用户需要进行设置。

第一处理模块103是用于利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型。在一实施方式中，第一处理方法是利用卷积神经网络模型判断多个目标瑕疵子区域的瑕疵类型。在一实施方式中，目标瑕疵子区域的瑕疵类型包括：擦伤类型、刮伤类型、碰伤类型及污渍类型。

第二处理模块104是用于利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域。在一实施方式中，第二处理模块104根据多个目标瑕疵子区域的类型和位置，聚合类型相同且位置相邻的一或数个目标瑕疵子区域产生目标瑕疵区域。

第一判断模块105是用于根据第一准则判断目标瑕疵区域的第一瑕疵等级。在一实施方式中，第一判断模块105可计算目标瑕疵区域的区域大小，并根据目标瑕疵区域的区域大小确定第一瑕疵等级。在具体实施方式中，在计算出目标瑕疵区域的区域大小后根据目标瑕疵区域的区域大小查找瑕疵等级关系表确定与区域大小相对应的第一瑕疵等级，其中，瑕疵等级关系表中包括多个目标瑕疵区域的区域大小与多个第一瑕疵等级，并定义了多个目标瑕疵区域的区域大小与多个第一瑕疵等级的对应关系。

在另一实施方式中，第一判断模块105是根据目标瑕疵区域的瑕疵类型，判断目标瑕疵区域的关注等级，根据关注等级计算目标瑕疵区域的瑕疵数值，再根据瑕疵数值和至少一个预设阈值以得到目标瑕疵区域的第一瑕疵等级。在一个具体实施方式中，第一判断模块105是根据目标瑕疵区域的瑕疵类型查找关注等级关系表确定与瑕疵类型相对应的目标瑕疵区域的关注等级，其中，关注等级关系表中包括多个目标瑕疵区域的瑕疵类型与多个关注等级，并定义了多个瑕疵类型与关注等级的对应关系。在一个具体实施方式中，第一判断模块105是根据关注等级查找计算规则关系表确定与关注等级相对应的瑕疵数值的计算规则，按照计算规则计算与目标瑕疵区域的关注等级对应的瑕疵数值。其中，计算规则关系表中定义了目标瑕疵区域的多个关注等级与多个计算规则的对应关系。本实施方式中，计算规则包括根据目标瑕疵区域的面积计算瑕疵数值、根据目标瑕疵区域的长宽之和计算瑕疵数值。

存储模块106用于储存第一瑕疵等级。

请参考图8，所示为本发明另一实施方式中瑕疵检测系统1的功能模块图。瑕疵检测系统1包括一个或多个模块，一个或者多个模块运行在计算单元11中。本实施方式中，瑕疵检测系统1包括图像获取模块201、瑕疵提取模块202、第一处理模块203、第二处理模块204、第一判断模块205、存储模块206、第二判断模块207及第三判断模块208。

图像获取模块201用于获取待测物体的至少一张图像。

瑕疵提取模块202用于从图像中提取多个目标瑕疵子区域。

在一实施方式中，瑕疵提取模块202可对图像做前处理以提取多个预测瑕疵位置，根据多个预测瑕疵位置框选多个瑕疵子区域，根据尺寸大小从多个瑕疵子区域中选取多个目标瑕疵子区域。在一实施方式中，瑕疵提取模块202可从图像中提取多个兴趣区域，利用第四处理方法从多个兴趣区域中提取多个预测瑕疵位置，聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。在一实施方式中，第四处理算法是语义分割算法。

在一实施方式中，瑕疵提取模块202可用于根据兴趣区域算法从图像中提取多个兴趣区域，利用语意分割算法对多个兴趣区域进行预测处理并输出多个兴趣区域中的背景像素点及瑕疵像素点，对背景像素点及瑕疵像素点进行二值化并根据二值化的像素点分离出多个兴趣区域中的瑕疵像素点，根据分离出的多个兴趣区域中的瑕疵像素点得到多个预测瑕疵位置，及聚合多个预测瑕疵位置中相邻的至少二个得到多个目标瑕疵子区域。

在一实施方式中，瑕疵提取模块202可用于滤除多个兴趣区域中的非瑕疵像素点，对多个兴趣区域中的瑕疵像素点进行群聚得到多个瑕疵块，通过每一瑕疵块的边界框选出一个矩形区域作为瑕疵块的瑕疵区域并确定每一瑕疵块的瑕疵区域的坐标，其中每一瑕疵块由瑕疵像素点群聚得到。以及根据每一瑕疵块的瑕疵区域的坐标得到多个预测瑕疵位置，其中每一预测瑕疵位置对应一个瑕疵块的瑕疵区域。

在一实施方式中，瑕疵提取模块202可用于根据瑕疵区域的坐标框选出多个瑕疵子区域。本实施方式中，瑕疵提取模块202可用于在图像中以图像左上角的点为原点建立笛卡尔坐标系，其中笛卡尔坐标系的X方向表示图像的宽度，笛卡尔坐标系的Y方向表示图像的高度；。笛卡尔坐标系中将每一瑕疵块的最左边的像素点所对应的x坐标作为瑕疵块的左边边界，将每一瑕疵块的最右边的像素点所对应的x坐标作为瑕疵块的右边边界，将每一瑕疵块的最上边的像素点所对应的y坐标作为瑕疵块的上边边界，及将每一瑕疵块的最下边的像素点所对应的y坐标作为瑕疵块的下边边界。根据左边边界、右边边界、上边边界、下边边界框选出矩形区域作为瑕疵块的瑕疵区域的坐标，并根据瑕疵区域的坐标框选出多个瑕疵子区域。

在一实施方式中，瑕疵提取模块202可用于根据尺寸大小将多个瑕疵子区域进行排序，选取排序靠前的第一预设数量个瑕疵子区域作为目标瑕疵子区域。再将多个瑕疵子区域中除去排序靠前的第一预设数量个瑕疵子区域以外的瑕疵区域按照宽度与高度之和的大小进行排序，并选取宽度与高度之和在预设范围内且排序靠前的第二预设数量个瑕疵区域作为目标瑕疵区域。本实施方式中，第一预设数量、第二预设数量及预设范围可以根据用户需要进行设置。

第一处理模块203是用于利用第一处理方法判断多个目标瑕疵子区域的瑕疵类型。在一实施方式中，第一处理模块203是利用卷积神经网络模型判断多个目标瑕疵子区域的类型。

第二处理模块20是用于利用第二处理方法从多个目标瑕疵子区域产生至少一个目标瑕疵区域。在一实施方式中，第二处理模块204可根据多个目标瑕疵子区域的类型和位置，聚合类型相同且位置相邻的一或数个目标瑕疵子区域产生目标瑕疵区域。

第一判断模块205是用于根据第一准则判断目标瑕疵区域的第一瑕疵等级。在一实施方式中，第一判断模块205可计算目标瑕疵区域的区域大小，及根据目标瑕疵区域的区域大小确定第一瑕疵等级。在具体实施方式中，在计算出目标瑕疵区域的区域大小后根据目标瑕疵区域的区域大小查找瑕疵等级关系表确定与区域大小相对应的第一瑕疵等级，其中，瑕疵等级关系表中包括多个目标瑕疵区域的区域大小与多个第一瑕疵等级，并定义了多个目标瑕疵区域的区域大小与多个第一瑕疵等级的对应关系。

存储模块206是用以储存第一瑕疵等级。

第二判断模块207是用以判断第一瑕疵等级是否满足预设条件，及当第一瑕疵等级不满足预设条件时，根据第二准则判断目标瑕疵区域的第二瑕疵等级。在一实施方式中，预设条件为第一瑕疵等级属于预设等级。即，当第一瑕疵等级不属于预设等级时，第二判断模块207根据第二准则判断目标瑕疵区域的第二瑕疵等级。

存储模块206还用于存储第二瑕疵等级。

在一实施方式中，第二判断模块207可提取目标瑕疵区域的多个第一特征值，将多个第一特征值转换为预设格式的第二特征值，及利用第三处理方法处理第二特征值以得到第二瑕疵等级。在一实施方式中，第一特征值是尺寸、灰度、纹理、位置、方向的任意组合，预设格式为图像格式，第二特征值是由第一特征值转换组成的特征图。在一实施方式中，第三处理方法是深度学习演算法。

在一实施方式中，第三判断模块208用于根据第一瑕疵等级和/或第二瑕疵等级判断目标瑕疵区域是否具有瑕疵。

在本发明所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的电子设备实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

另外，在本发明各个实施例中的各功能模块可以集成在相同处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在相同模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他模块或步骤，单数不排除复数。电子设备权利要求中陈述的多个模块或电子设备也可以由同一个模块或电子设备通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (15)

1.一种基于图像的瑕疵检测方法，适用于检测一待测物体的外观瑕疵，所述图像瑕疵检测方法包括：

获取待测物体的至少一张图像；

从所述图像中提取多个目标瑕疵子区域；

利用第一处理方法判断所述多个目标瑕疵子区域的瑕疵类型；

利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域；

根据第一准则判断所述目标瑕疵区域的第一瑕疵等级；

储存所述第一瑕疵等级。

2.如权利要求1所述的基于图像的瑕疵检测方法，所述方法还包括：

判断所述第一瑕疵等级是否满足预设条件；

当所述第一瑕疵等级不满足预设条件时，根据第二准则判断所述目标瑕疵区域的第二瑕疵等级；

储存所述第二瑕疵等级。

3.如权利要求2所述的基于图像的瑕疵检测方法，所述方法还包括：根据所述第一瑕疵等级和/或所述第二瑕疵等级判断所述目标瑕疵区域是否具有瑕疵。

4.如权利要求2所述的基于图像的瑕疵检测方法，所述预设条件为所述第一瑕疵等级属于预设等级。

5.如权利要求2所述的基于图像的瑕疵检测方法，所述根据第二准则判断所述目标瑕疵区域的第二瑕疵等级的步骤还包括：

提取所述目标瑕疵区域的多个第一特征值；

将所述多个第一特征值转换为预设格式的第二特征值；

利用第三处理方法处理所述第二特征值以得到所述第二瑕疵等级。

6.如权利要求5所述的基于图像的瑕疵检测方法，其特征在于，所述第一特征值可以是尺寸、灰度、纹理、位置、方向的任意组合，所述预设格式为图像格式，所述第二特征值是由所述第一特征值转换组成的特征图。

7.如权利要求5所述的基于图像的瑕疵检测方法，所述第三处理方法是深度学习演算法。

8.如权利要求1所述的基于图像的瑕疵检测方法，所述根据第一准则判断所述目标瑕疵区域的第一瑕疵等级的步骤包括：

计算所述目标瑕疵区域的区域大小；

根据所述目标瑕疵区域的区域大小给定所述第一瑕疵等级。

9.如权利要求1所述的基于图像的瑕疵检测方法，所述根据第一准则判断所述目标瑕疵区域的第一瑕疵等级的步骤包括：

根据所述目标瑕疵区域的瑕疵类型，判断所述目标瑕疵区域的关注等级；

根据所述关注等级计算所述目标瑕疵区域的瑕疵数值；

根据所述瑕疵数值和至少一个预设阈值以得到所述目标瑕疵区域的第一瑕疵等级。

10.如权利要求1所述的基于图像的瑕疵检测方法，所述从所述图像中提取多个目标瑕疵子区域的步骤还包括：

对所述图像做前处理以提取多个预测瑕疵位置；

根据所述多个预测瑕疵位置框选多个瑕疵子区域；

根据尺寸大小从所述多个瑕疵子区域中选取多个目标瑕疵子区域。

11.如权利要求1所述的基于图像的瑕疵检测方法，对所述图像做前处理以提取多个预测瑕疵位置的步骤还包括：

从所述图像中提取多个兴趣区域；

利用第四处理方法从所述多个兴趣区域中提取所述多个预测瑕疵位置；

聚合所述多个预测瑕疵位置中相邻的至少二个。

12.如权利要求11所述的基于图像的瑕疵检测方法，所述第四处理方法是语义分割演算法。

13.如权利要求1所述的基于图像的瑕疵检测方法，所述利用第一处理方法判断所述多个目标瑕疵子区域的瑕疵类型的步骤还包括：

利用卷积神经网络模型判断所述多个目标瑕疵子区域的瑕疵类型。

14.如权利要求1所述的基于图像的瑕疵检测方法，所述利用第二处理方法从所述多个目标瑕疵子区域产生至少一个目标瑕疵区域的步骤还包括：

根据所述多个目标瑕疵子区域的瑕疵类型和位置，聚合类型相同且位置相邻的一或数个所述目标瑕疵子区域产生所述目标瑕疵区域。

15.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行，并实现如权利要求1-14中任一项所述基于图像的瑕疵检测方法。

Images