CN115482186A - 瑕疵检测方法、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种瑕疵检测方法、电子设备及存储介质，所述方法包括：获取目标图像，并设定所述目标图像的感兴趣区域；确定所述感兴趣区域中的第一目标物件的第一轮廓；基于所述第一轮廓校正所述目标图像；根据相对位置坐标差在所述校正后的目标图像上查找多个第二目标物件对应的第二轮廓；截取所述第一轮廓对应的图像区域以及所述第二轮廓的图像区域，得到待检测图像区域；输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果。通过本申请可以快速地得到瑕疵检测结果。

Description

瑕疵检测方法、电子设备及存储介质

技术领域

本申请涉及图像检测技术领域，尤其涉及一种瑕疵检测方法、电子设备及存储介质。

背景技术

在精密工件和产品的生产和检验中，对产品表面的瑕疵检测直接关系到精密工件和产品最终质量是否合格。由于该项检测往往涉及的工件品种多，数量大，因此检测过程的自动化已成为相关企业发展的一个迫切需求。目前国内相关大部分企业一般采用切割式方法将所述待测图像切割为多个大小均等的图像块，再将所述图像块输入至瑕疵检测模型中进行瑕疵检测。利用该方法进行瑕疵检测存在瑕疵检测用时长，且准确率不高的问题。

发明内容

鉴于以上内容，有必要提供一种瑕疵检测方法、电子设备及存储介质，能提高图像的瑕疵检测效率。

本申请提供一种瑕疵检测方法，所述方法包括：获取目标图像，并设定所述目标图像的感兴趣区域；确定所述感兴趣区域中的第一目标物件的第一轮廓；基于所述第一轮廓校正所述目标图像；获取所述第一轮廓与所述感兴趣区域中的多个第二目标物件的相对位置坐标差；根据所述相对位置坐标差在所述校正后的目标图像上查找所述多个第二目标物件对应的第二轮廓；截取所述第一轮廓对应的图像区域以及所述第二轮廓的图像区域，得到待检测图像区域；输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果。

在一种可能的实现方式中，所述基于所述第一轮廓校正所述目标图像包括：以所述目标图像正向放置时的左下角为圆心O，横向为X轴，纵向为Y轴，建立坐标系XOY；确定所述第一轮廓在所述坐标系XOY上的四个顶点坐标，其中，所述四个顶点坐标包括A₁(x1，y1)，A₂(x2，y2)，A₃(x3，y3)和A₄(x4，y4)，其中顶点A₁为距离所述X轴最近的顶点，并且顶点A₁、顶点A₂、顶点A₃和顶点A₄按照逆时针顺序分布；

根据所述四个顶点坐标得到所述第一轮廓的中心坐标；计算所述第一轮廓与所述X轴之间的角度α；以所述中心坐标为旋转中心，以所述角度为旋转角度校正所述目标图像。

在一种可能的实现方式中，所述第一轮廓的中心坐标为

在一种可能的实现方式中，通过以下公式计算所述第一轮廓与所述X轴之间的角度α：

在一种可能的实现方式中，所述输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果包括：输入所述待检测图像区域至训练好的自编码器，输出所述待检测图像区域是否为瑕疵区域的判断结果；若所述自编码器输出所述待检测图像区域为瑕疵区域，输出所述目标图像为瑕疵图像的判断结果；若所述自编码器输出所述待检测图像区域不是瑕疵区域，输出所述目标图像不是瑕疵图像的判断结果。

在一种可能的实现方式中，所述输入所述待检测图像区域至训练好的自编码器，输出所述待检测图像区域是否为瑕疵区域的判断结果包括：对所述待检测图像区域进行向量化处理得到特征向量；将所述特征向量输入至所述训练好的自编码器得到重建图像；计算所述待检测图像区域与所述重建图像的重建误差；根据所述重建误差，判断所述待检测图像区域是否为瑕疵图像区域。

在一种可能的实现方式中，所述计算所述待检测图像区域与所述重建图像的重建误差包括：计算所述待检测图像区域与所述重建图像中像素点的均方差，将所述均方差作为所述重建误差。

在一种可能的实现方式中，所述根据所述重建误差，判断所述待检测图像区域是否为瑕疵图像区域包括：若所述重建误差大于预设的阈值，输出所述待检测图像区域为瑕疵图像区域的判断结果；若所述重建误差小于或等于所述阈值，输出所述待检测图像区域为正常图像区域的判断结果。

本申请还提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的瑕疵检测方法。

本申请还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的瑕疵检测方法。

本申请公开的瑕疵检测方法、电子设备及存储介质，通过检测目标图像中的目标物件图像区域来确定所述目标图像的检测结果，减少了待检测图像区域的数量，能提高所述目标图像的瑕疵检测效率。

附图说明

图1是本申请实现瑕疵检测方法的较佳实施例的电子设备的结构示意图。

图2是本申请公开的一种瑕疵检测方法的较佳实施例的流程图。

图3是本申请公开的一种瑕疵检测系统的较佳实施例的功能模块图。

图4是本申请公开的目标图像的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本申请进行详细描述。

请参阅图1，图1为本申请一实施例的电子设备的示意图。参阅图1所示，瑕疵检测系统10运行于电子设备1中。所述电子设备1包括，但不仅限于，存储器11、至少一个处理器12、存储在所述存储器11中并可在所述至少一个处理器12上运行的瑕疵检测系统10及至少一条通讯总线13。

所述至少一个处理器12执行所述瑕疵检测系统10时实现下文所述的瑕疵检测方法实施例中的步骤。

示例性的，所述瑕疵检测系统10可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器11中，并由所述至少一个处理器12执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，所述指令段用于描述所述瑕疵检测系统10在所述电子设备1中的执行过程。

所述电子设备1可以是计算机、手机、平板电脑、个人数字助理(Personal DigitalAssistant，PDA)等安装有应用程序的设备。本领域技术人员可以理解，所述示意图1仅仅是电子设备1的示例，并不构成对电子设备1的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备1还可以包括输入输出设备、网络接入设备、总线等。

如图2所示，是本申请瑕疵检测方法的较佳实施例的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。在本实施方式中，所述瑕疵检测方法包括：

S101、获取目标图像，并设定所述目标图像的感兴趣区域。

在本实施方式中，所述目标图像可以是通过摄像头采集到的目标物件图像。例如，在电子产品的生产线上，利用摄像装置对电子产品进行取像，通过判断所述电子产品的图像是否存在瑕疵来确定所述电子产品的优劣。

在本实施方式中，获取到所述目标图像后，在目标图像上设定包含所述目标物件的感兴趣区域(Region of interest，ROI)。示例性的，所述目标图像为利用摄像装置拍摄得到的手机外壳背面图像，假设所述目标物件为所述手机外壳背面的logo图形，可以选取包含所述logo图形的区域为所述ROI区域。其中所述ROI区域小于所述目标图像区域，大于所述目标物件区域，例如，图4所示的感兴趣区域。通过设定所述ROI区域，缩小了图像处理区域的面积，可以提高检测效率。需要理解的是，所述目标图像还包括其他非目标物件的区域。

S102、确定所述感兴趣区域中的第一目标物件的第一轮廓。

在实际应用中，由于摄像装置拍摄所述目标物件时，可能会出现拍摄角度有偏差的情况，导致所述目标图像中目标物件位置不准确，从而出现误判所述电子产品不合格的情况，因此需要对所述目标图像进行校正，并再校正之后确定所述目标图像是否合格，从而确认所述电子产品是否合格。但是针对整张图像进行校正非常麻烦，因此可以选取所述目标图像中的目标物件，针对所述目标物件进行校正。为了获取所述目标物件的位置信息，需要确定所述目标物件的轮廓。需要理解的是，所述感兴趣区域中的所述目标物件包括第一目标物件和多个第二目标物件。可以根据所述第一目标物件与任意一个第二目标物件在所述目标图像中位置，确定所述第一目标物件与任意一个第二目标物件之间的位置差。所述位置差可以通过坐标表示。在本实施方式中，在所述存储器11中预先存储有所述位置差。

例如，若所述电子产品为iPhone手机时，所述感兴趣区域为所述iPhone手机的外壳背面的苹果图形与iPhone英文字母组成的区域。所述感兴趣区域包括一个第一目标物件和一个第二目标物件。所述第一目标物件为所述苹果图形，所述第二目标物件为“iPhone”对应的英文字母。

在本实施方式中，所述确定所述感兴趣区域中的第一目标物件的第一轮廓包括：灰度化所述ROI区域内的图像，得到灰度图像；二值化所述灰度图像，得到所述ROI区域图像的二值图像；查找所述二值图像中的所有轮廓，所述轮廓为闭合区域；从所述二值化图像的所有轮廓中筛选出所述第一目标物件的轮廓，并在所述二值图像中用矩形框圈出其轮廓，得到所述第一轮廓。

S103、基于所述第一轮廓校正所述目标图像。

在本实施方式中，所述基于所述第一轮廓校正所述目标图像包括：

(1)基于所述目标图像建立一个第一坐标系，根据所述第一坐标系得到所述第一轮廓的中心坐标。具体地，以所述目标图像正向放置时的左下角为圆心O，横向为X轴，纵向为Y轴，建立一个第一坐标系(XOY)，确定所述第一轮廓在所述第一坐标系(XOY)上的四个顶点坐标分别为A₁(x1，y1)，A₂(x2，y2)，A₃(x3，y3)和A₄(x4，y4)。其中所述顶点A₁为距离所述X轴最近的顶点，所述顶点A₁，顶点A₂，顶点A₃，顶点A₄按照逆时针顺序分布。例如，图4所示的坐标轴和四个顶点。根据所述顶点坐标计算所述中心坐标为

(2)计算所述第一轮廓与所述X轴之间的角度α。具体地，计算所述第一轮廓中的边A₁A₂与所述X轴之间的角度α为

将所述角度α确定为所述第一轮廓与所述X轴之间的角度；

(3)以所述中心坐标为旋转中心，以所述角度α为旋转角度，按照顺时针方向旋转校正所述目标图像，得到校正之后的目标图像。

所述步骤S103之后，所述方法还包括：

基于所述校正后的目标图像建立一个第二坐标系，根据所述第二坐标系确定所述第一轮廓的顶点坐标为A′₁(x1′，y1′)，A′₂(x2′，y2′)，A′₃(x3′，y3′)和A′₄(x4′，y4′)。需要说明的是，建立所述第二坐标系的方法与建立所述第一坐标系的方法相同，在此不再赘述。

S104、获取所述第一轮廓与所述感兴趣区域中的多个第二目标物件的相对位置坐标差。

在本实施方式中，通过判断所述校正后的目标图像中的目标物件是否存在瑕疵，进而确定所述目标图像是否存在瑕疵。为了判断所述目标物件是否存在瑕疵，需要获取所述目标物件的轮廓。在所述步骤S102中已经获取了所述第一目标物件的第一轮廓，为了获取所述第二目标物件的轮廓。需要获取所述第一轮廓与所述第二目标物件的相对位置坐标差，并根据所述第一轮廓和所述相对位置坐标差确定所述第二目标物件的轮廓。需要说明的是，所述第一轮廓与所述感兴趣区域中的多个第二目标物件的相对位置坐标差，为预先存储在所述存储器11中的位置差。

示例性的，将iPhone手机外壳背面的苹果图形作为所述第一目标物件，将iPhone英文字母作为所述第二目标物件。在所述iPhone手机外壳中，可以获取所述苹果图形的第一轮廓的所述顶点A₁距离所述英文字母的轮廓的四个顶点的坐标差，所述坐标差分别为(Δx1，Δy1)，(Δx2，Δy2)，(Δx3，Δy3)，(Δx4，Δy4)。

通过所述相对位置坐标差，可以得到所述校正后目标图像上的所述第二目标物件的轮廓坐标。

S105、根据所述相对位置坐标差在所述校正后的目标图像上查找所述多个第二目标物件对应的第二轮廓。

在本实施方式中，根据所述步骤S104获取到的所述相对位置坐标差确定所述多个第二目标物件对应的第二轮廓的顶点坐标。示例性的，基于所述第二坐标系得到所述第二轮廓的顶点坐标分别为B₁(x1′-Δx1，y1′-Δy1)，B₂(x2′-Δx2，y2′-Δy2)，B₃(x3′-Δx3，y3′-Δy3)和B₄(x4′-Δx4，y4′-Δy4)。根据所述第二轮廓的顶点坐标利用矩形框在所述校正后的目标图像中圈出所述轮廓，得到所述第二轮廓。

S106、截取所述第一轮廓对应的图像区域以及所述第二轮廓的图像区域，得到待检测图像区域。

在本实施方式中，基于所述步骤S103之后得到的所述校正后目标图像上的第一轮廓的顶点坐标与所述步骤S105得到的所述第二轮廓的顶点坐标，在所述校正后的目标图像上截取对应的图像区域，并将所述图像区域确定为所述待检测图像区域。

通过截取所述目标物件对应的图像区域，可以利用自编码器对所述图像区域进行瑕疵检测。

S107、输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果。

在本实施方式中，由于所述待检测图像区域为所述目标物件图像区域，因此可以通过判断所述待检测图像区域是否存在瑕疵来确定所述目标图像是否为瑕疵图像。

在本实施方式中，所述输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果包括：

输入所述待检测图像区域至训练好的自编码器，输出所述待检测图像区域是否为瑕疵区域的判断结果。具体地，对所述待检测图像区域进行向量化处理得到特征向量，将所述特征向量输入至所述训练好的自编码器得到重建图像。计算所述待检测图像区域与所述重建图像中像素点的均方差，将所述均方差作为所述重建误差。若所述重建误差大于预设的阈值，输出所述待检测图像区域为瑕疵图像区域的判断结果，若所述重建误差小于或等于所述阈值，输出所述待检测图像区域为正常图像区域的判断结果；若所述自编码器输出所述待检测图像区域为瑕疵区域，输出所述目标图像为瑕疵图像的判断结果；若所述自编码器输出所述待检测图像区域不是瑕疵区域，输出所述目标图像不是瑕疵图像的判断结果。

请参阅图3，在本实施方式中，所述瑕疵检测系统10可以被分割成一个或多个模块，所述一个或多个模块可存储在所述处理器12中，并由所述处理器12执行本申请实施例的瑕疵检测方法。所述一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，所述指令段用于描述所述瑕疵检测系统10在所述电子设备1中的执行过程。例如，所述瑕疵检测系统10可以被分割成图3中的获取模块101，处理模块102，校正模块103和检测模块104。

所述获取模块101用于获取目标图像，并设定所述目标图像的感兴趣区域；所述处理模块102用于确定所述感兴趣区域中的第一目标物件的第一轮廓；所述校正模块103用于基于所述第一轮廓校正所述目标图像；所述获取模块101还用于获取所述第一轮廓与所述感兴趣区域中的多个第二目标物件的相对位置坐标差；所述处理模块102还用于根据所述相对位置坐标差在校正后的所述目标图像上查找所述多个第二目标物件对应的多个第二轮廓；所述处理模块102还用于截取所述第一轮廓对应的图像区域以及所述第二轮廓对应的图像区域，得到待检测图像区域；所述检测模块104用于输入所述待检测图像区域至训练好的自编码器，并输出所述目标图像是否为瑕疵图像的判断结果。

所述至少一个处理器12可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件或者晶体管逻辑器件、分立硬件组件等。所述处理器12可以是微处理器或者所述处理器12也可以是任何常规的处理器等，所述处理器12是所述电子设备1的控制中心，利用各种接口和线路连接整个电子设备1的各个部分。

所述存储器11可用于存储所述瑕疵检测系统10和/或模块/单元，所述处理器12通过运行或执行存储在所述存储器11内的计算机程序和/或模块/单元，以及调用存储在存储器11内的数据，实现所述电子设备1的各种功能。所述存储器11可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据电子设备1的使用所创建的数据等。此外，存储器11可以包括非易失性/易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他存储器件。

所述存储器11中存储有程序代码，且所述至少一个处理器12可调用所述存储器11中存储的程序代码以执行相关的功能。例如，图3中所述的各个模块(获取模块101，处理模块102，校正模块103和检测模块104)是存储在所述存储器11中的程序代码，并由所述至少一个处理器12所执行，从而实现所述各个模块的功能以达到提高瑕疵检测效率的目的。

需要说明的是，所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)。

最后应说明的是，以上实施例仅用以说明本申请的技术方案而非限制，尽管参照较佳实施例对本申请进行了详细说明，本领域的普通技术人员应当理解，可以对本申请的技术方案进行修改或等同替换，而不脱离本申请技术方案的精神和范围。

Claims (10)

1.一种瑕疵检测方法，其特征在于，所述瑕疵检测方法包括：

获取目标图像，并设定所述目标图像的感兴趣区域；

确定所述感兴趣区域中的第一目标物件的第一轮廓；

基于所述第一轮廓校正所述目标图像；

获取所述第一轮廓与所述感兴趣区域中的多个第二目标物件的相对位置坐标差；

根据所述相对位置坐标差在校正后的所述目标图像上查找所述多个第二目标物件对应的多个第二轮廓；

截取所述第一轮廓对应的图像区域以及所述第二轮廓对应的图像区域，得到待检测图像区域；

输入所述待检测图像区域至训练好的自编码器，并输出所述目标图像是否为瑕疵图像的判断结果。

2.根据权利要求1所述的瑕疵检测方法，其特征在于，所述基于所述第一轮廓校正所述目标图像包括：

以所述目标图像正向放置时的左下角为圆心O，横向为X轴，纵向为Y轴，建立坐标系XOY；

确定所述第一轮廓在所述坐标系XOY上的四个顶点坐标，其中，所述四个顶点坐标包括A₁(x1,y1)，A₂(x2,y2)，A₃(x3,y3)和A₄(x4,y4)，其中顶点A₁为距离所述X轴最近的顶点，并且顶点A₁、顶点A₂、顶点A₃和顶点A₄按照逆时针顺序分布；

根据所述四个顶点坐标得到所述第一轮廓的中心坐标；

计算所述第一轮廓与所述X轴之间的角度α；

以所述中心坐标为旋转中心，以所述角度为旋转角度校正所述目标图像。

3.根据权利要求2所述的瑕疵检测方法，其特征在于，所述第一轮廓的中心坐标为

4.根据权利要求2所述的瑕疵检测方法，其特征在于，通过以下公式计算所述第一轮廓与所述X轴之间的角度α：

5.根据权利要求1所述的瑕疵检测方法，其特征在于，所述输入所述待检测图像区域至训练好的自编码器，输出所述目标图像是否为瑕疵图像的判断结果包括：

输入所述待检测图像区域至训练好的自编码器，输出所述待检测图像区域是否为瑕疵区域的判断结果；

若所述自编码器输出所述待检测图像区域为瑕疵区域，输出所述目标图像为瑕疵图像的判断结果；

若所述自编码器输出所述待检测图像区域不是瑕疵区域，输出所述目标图像不是瑕疵图像的判断结果。

6.根据权利要求5所述的瑕疵检测方法，其特征在于，所述输入所述待检测图像区域至训练好的自编码器，输出所述待检测图像区域是否为瑕疵区域的判断结果包括：

对所述待检测图像区域进行向量化处理得到特征向量；

将所述特征向量输入至所述训练好的自编码器得到重建图像；

计算所述待检测图像区域与所述重建图像的重建误差；

根据所述重建误差，判断所述待检测图像区域是否为瑕疵图像区域。

7.根据权利要求6所述的瑕疵检测方法，其特征在于，所述计算所述待检测图像区域与所述重建图像的重建误差包括：

计算所述待检测图像区域与所述重建图像中像素点的均方差，将所述均方差作为所述重建误差。

8.根据权利要求6所述的瑕疵检测方法，其特征在于，所述根据所述重建误差，判断所述待检测图像区域是否为瑕疵图像区域包括：

若所述重建误差大于预设的阈值，输出所述待检测图像区域为瑕疵图像区域的判断结果；

若所述重建误差小于或等于所述阈值，输出所述待检测图像区域为正常图像区域的判断结果。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至权利要求8中任意一项所述的瑕疵检测方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至权利要求8中任意一项所述的瑕疵检测方法。

Images