CN115147386A - U型管的缺陷检测方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种U型管的缺陷检测方法、装置及电子设备。其中，该方法包括：获取U型管的图像数据；将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；从检测结果中确定U型管的目标部位的缺陷信息。本申请解决了目前利用人眼对空调外机U型管底部进行观察，存在检测效率低，容易出现误检和漏检的技术问题。

Description

U型管的缺陷检测方法、装置及电子设备

技术领域

本申请涉及图像处理领域，具体而言，涉及一种U型管的缺陷检测方法、装置及电子设备。

背景技术

计算机视觉已经应用到各种工业和制造业，其中目标检测在图像处理、视频处理等领域广泛运用，对于生产企业和用户来说产品的质量决定产品的销量和口碑，因此产品的缺陷检测是一个非常重要的环节。

空调外机内的U型管在制造、运输、存放的过程中出现某种失误操作，较为脆弱的U型管底部会形成凹凸缺陷，如果存在这种缺陷的情况下使用，很可能造成危险，因此在使用前需要排除掉U型管底部缺陷，保证产品质量。目前工业中的检测大部分为传统人眼检测，需要由专门的检测人员利用人眼对U行管底部进行观察，由于U型管具有一定重量，需要长时间人眼检测，导致检测员人眼容易疲劳，对一些细微的缺陷出现误检和漏检的情况。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种U型管的缺陷检测方法、装置及电子设备，以至少解决目前利用人眼对空调外机U型管底部进行观察，存在检测效率低，容易出现误检和漏检的技术问题。

根据本申请实施例的一个方面，提供了一种U型管的缺陷检测方法，包括：获取 U型管的图像数据；将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；从检测结果中确定U型管的目标部位的缺陷信息。

可选地，缺陷检测模型是通过以下方式训练得到的：获取U型管的样本图像集合，其中，样本图像集合中包括U型管的存在缺陷的部位的样本图像，以及用于指示样本图像所属的缺陷类型的标签信息；将样本图像集合输入深度学习网络模型进行训练，得到缺陷检测模型。

可选地，将样本图像集合输入深度学习网络模型进行训练之前，方法还包括：分离样本图像集合中的每个图像的前景部分和背景部分；对背景部分进行虚化处理。

可选地，从检测结果中确定U型管的目标部位的缺陷信息，包括：获取检测结果指示的图像数据的缺陷位置，以及获取图像数据的边板所在的第一位置范围，其中，边板为图像数据中与U型管所在面板具有连接关系的面板；在缺陷位置在边板所在的第一位置范围内的情况下，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷，其中，第一类缺陷不属于目标图像对应的缺陷类型。

可选地，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，方法还包括：获取图像数据中每一行的多个U型管底部轮廓的第一中心点位置连接形成的水平直线；将缺陷位置对应的第二中心点位置不在水平直线上的缺陷确定为第二类缺陷，其中，第二类缺陷不属于目标图像对应的缺陷类型。

可选地，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，方法还包括：获取图像数据中U型管底部的第二位置范围；在缺陷位置在第二位置范围内的情况下，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型。

可选地，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型之后，方法还包括：获取图像数据中的反光区域的最小外接矩形；在最小外接矩形的短边长度超过预设长度的情况下，确定图像数据为目标图像。

根据本申请实施例的另一方面，还提供了一种U型管的缺陷检测装置，包括：获取模块，用于获取U型管的图像数据；检测模块，用于将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；确定模块，用于从检测结果中确定U型管的目标部位的缺陷信息。

根据本申请实施例的又一方面，还提供了一种电子设备，包括：存储器，用于存储程序指令；处理器，与存储器连接，用于执行实现以下功能的程序指令：获取U型管的图像数据；将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；从检测结果中确定U型管的目标部位的缺陷信息。

根据本申请实施例的再一方面，还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制该非易失性存储介质所在设备执行上述U型管的缺陷检测方法。

在本申请实施例中，通过获取U型管的图像数据；将图像数据输入缺陷检测模型进行检测，得到检测结果；从检测结果中确定U型管的目标部位的缺陷信息，达到了提高检测准确率的目的，从而实现了降低U型管缺陷误判的技术效果，进而解决了目前利用人眼对空调外机U型管底部进行观察，存在检测效率低，容易出现误检和漏检的技术问题。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的一种用于实现U型管的缺陷检测方法的计算机终端(或电子设备)的硬件结构框图；

图2是根据本申请实施例的一种U型管的缺陷检测方法的流程图；

图3a是根据本申请实施例的一种相机拍摄的空调外机U型管底部凹凸缺陷示意图；

图3b是根据本申请实施例的一种获取缺陷检测模型的流程图；

图4是根据本申请实施例的一种确定第一类缺陷的流程图；

图5是根据本申请实施例的一种确定第二类缺陷的流程图；

图6a是根据本申请实施例的一种确定缺陷位置对应的缺陷类型为目标图像对应的缺陷类型的流程图；

图6b是根据本申请实施例的一种U型管反光部位缺陷示意图；

图7是根据本申请实施例的一种U型管的缺陷检测装置的结构图；

图8是根据本申请实施例的一种U型管的缺陷检测的整体流程图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

计算机视觉已经应用到各种工业和制造业，其中目标检测在图像处理、视频处理等领域广泛运用，对于生产企业和用户来说产品的质量决定产品的销量和口碑，因此产品的缺陷检测是一个非常重要的环节。目前工业中的检测大部分为人眼检测，存在检测效率低，容易出现误检漏检的情况，使用深度学习方法进行U型管底部凹凸缺陷检测能够减少上述问题带来的不安全因素，同时能够增加检测效率以及减少检测的时间，以下详细说明。

本申请实施例所提供的U型管的缺陷检测方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现U型管的缺陷检测方法的计算机终端(或电子设备)的硬件结构框图。如图1所示，计算机终端10(或电子设备 10)可以包括一个或多个(图中采用102a、102b，……，102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外，还可以包括：显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为I/O接口的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，计算机终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外，数据处理电路可为单个独立的处理模块，或全部或部分的结合到计算机终端10(或电子设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的，该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。

存储器104可用于存储应用软件的软件程序以及模块，如本申请实施例中的U型管的缺陷检测方法对应的程序指令/数据存储装置，处理器通过运行存储在存储器104 内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的U型管的缺陷检测方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输模块106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency， RF)模块，其用于通过无线方式与互联网进行通讯。

显示器可以例如触摸屏式的液晶显示器(LCD)，该液晶显示器可使得用户能够与计算机终端10(或电子设备)的用户界面进行交互。

此处需要说明的是，在一些可选实施例中，上述图1所示的计算机设备(或电子设备)可以包括硬件元件(包括电路)、软件元件(包括存储在计算机可读介质上的计算机代码)、或硬件元件和软件元件两者的结合。应当指出的是，图1仅为特定具体实例的一个实例，并且旨在示出可存在于上述计算机设备(或电子设备)中的部件的类型。

在上述运行环境下，本申请实施例提供了一种U型管的缺陷检测方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图2是根据本申请实施例的一种U型管的缺陷检测方法的流程图，如图2所示，该方法包括如下步骤：

步骤S202，获取U型管的图像数据；

步骤S204，将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；

步骤S206，从检测结果中确定U型管的目标部位的缺陷信息。

在上述步骤S202至步骤S206中，U型管的图像数据为具有边板场景的图像，该 U型管例如可以为空调外机中的U型管，在生产线搭建拍摄设备即在空调外机U型管流水线中搭建摄像机，位置在待检测物料正上方且能够覆盖整个U型管面视野，对物料进行俯视拍摄，如图3a所示。获取利用工业相机俯视(正顶面)拍摄的空调U型管的图像数据，该图像数据中可能存在U型管凹陷问题，也可能不存在U型管凹陷的问题，通过图像预处理对空调U型管的图像数据进行处理，从而去掉大部分图像背景对检测的干扰，提升检测准确率，再将进过图像预处理的图像数据输入缺陷检测模型进行检测，对检测结果进行分析和判断，可以解决U型管凹凸缺陷误判的问题，从而找到目标图像，该目标图像即为存在U型管底部缺陷的图像，并保存至数据库中，该方法能够在提高检测效率的同时减少检测时间。

在上述U型管的缺陷检测方法中的步骤S204中，缺陷检测模型是通过以下方式训练得到的，如图3b所示的流程图，方法具体还包括如下步骤：

步骤S302，获取U型管的样本图像集合，其中，样本图像集合中包括U型管的存在缺陷的部位的样本图像，以及用于指示样本图像所属的缺陷类型的标签信息；

步骤S304，将样本图像集合输入深度学习网络模型进行训练，得到缺陷检测模型。

在上述步骤S302至步骤S304中，标签信息为训练图像集合中的每个图像对应的缺陷部位的位置信息文件，具体为：对经过边缘虚化算法处理后的训练图像集合进行数据标注，确定U型管底部的缺陷类型，标注位置为空调外机U型管底部缺陷，将U 型管底部缺陷进行标注并设置标签，其中标注的位置、形状大小与正顶面俯视拍摄的图片的一致，标注完成后得到标注文件，再将标注图片原图和标注完成后的缺陷部位的位置信息文件输入深度学习网络模型CNN-transformer中进行单向训练，也即将经过边缘虚化算法处理后的训练图像集合和标注文件输入该模型中进行训练，该模型的输出即为CNN-transformer缺陷检测模型。

本申请实施例中的CNN主要进行局部特征的提取，该局部特征即U型管底部缺陷特征，Transformer主要针对全局变量的提取，该全局特征即检测图片的整体特征，包括整体图片的颜色特征、纹理特征、形状特征等。网络结构进行并行化的连接，进行双向的特征提取。

将步骤S202中的U型管的图像数据导入至训练好的CNN-Transformer缺陷检测模型中，得到缺陷评分、缺陷位置、缺陷个数等信息。导入模型训练完成后的图像中会有矩形框对缺陷部位进行渲染，并有对应的缺陷评分或置信度值。具体的，待测图导入训练好的模型测试后，待测图中检测的缺陷位置会被矩形框标注，矩形框上同时会得到对应的缺陷评分，即训练好的模型会自动识别缺陷区域且模型会对进行缺陷评分，该缺陷评分也可以说缺陷评分是存在缺陷的概率。

在上述步骤S304中，将样本图像集合输入深度学习网络模型进行训练之前，方法具体还包括如下步骤：通过边缘虚化算法分离样本图像集合中的每个图像的前景部分和背景部分，前景为主要检测对象，即U型管和边板区域，对背景部分进行虚化处理，虚化掉大部分无用的区域，如边板、背景黑色区域等，去除了背景对检测结果的影响。

经过缺陷检测模型得到的检测结果，其检测出的缺陷位置可能在U型管所在的面板、与面板具有连接关系的边板、底部U型管中，其中面板中也会存在凹陷部位，但面板中的凹陷部位不被认定为缺陷。虽然进行边缘虚化算法对边板进行虚化，但仍存在概率将边板上存在圆孔认定为凹陷部位，故需要判断模型检测出凹陷部位的位置信息，排除误导信息。

在上述U型管的缺陷检测方法中的步骤S206中，从检测结果中确定U型管的目标部位的缺陷信息确，如图4所示的流程图，具体包括如下步骤：

步骤S402，获取检测结果指示的图像数据的缺陷位置，以及获取图像数据的边板所在的第一位置范围，其中，边板为图像数据中与空调U型管所在面板具有连接关系的面板；

步骤S404，在缺陷位置在边板所在的第一位置范围内的情况下，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷，其中，第一类缺陷不属于目标图像对应的缺陷类型。

在上述步骤S402至步骤S404中，边板上的圆孔极可能被认定为缺陷，通过 OPENCV轮廓检测算法并增加面积阈值找到符合边板面积的轮廓，即可通过算法计算出边板区域的所有点坐标，根据边板区域内的坐标判断边板所在的第一位置范围。如缺点检测模型运算得出的缺陷位置结果在边板的坐标范围内，则判定此缺陷为误判缺陷，即第一类缺陷为边板缺陷，则需要去除所有边板位置范围内的误判信息，去除边板上圆孔对缺陷检测的干扰。

在上述步骤S404中，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，如图5所示的流程图，方法具体还包括如下步骤：

步骤S502，获取图像数据中每一行的多个U型管底部轮廓的第一中心点位置连接形成的水平直线；

步骤S504，将缺陷位置对应的第二中心点位置不在水平直线上的缺陷确定为第二类缺陷，其中，第二类缺陷不属于目标图像对应的缺陷类型。

在上述步骤S502至步骤S504中，由于面板上存在的凹陷部位并非缺陷，而是本身特有的，因此上述步骤S402至步骤S404中去除边板上缺陷后需要判断缺陷部位是否在面板上，通过判断缺陷部位中心点是否在同一水平线上，若中心点未在同一水平线则判定存在面板误判缺陷，去除离散缺陷即去除面板上的缺陷，也即第二类缺陷为空调U型管面板缺陷。

根据OPENCV有关算法，判断各个U型管底轮廓中心坐标，同行的U型管底部轮廓中心坐标连线即为缺陷部位水平直线，判断缺陷位置是否在水平线上是通过OPENCV轮廓算法进行判断，判断轮廓中心点左边并进行连线，则得到一条轮廓水平线，即去除掉不在水平线附近的检测结果。

在上述步骤S404中，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，如图6a所示的流程图，方法具体还包括如下步骤：

步骤S602，获取图像数据中U型管底部的第二位置范围；

步骤S604，在缺陷位置在第二位置范围内的情况下，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型。

在上述步骤S602至步骤S604中，若缺陷位置的中心点在同一水平线上，但不在 U型管底部的第二位置范围内，则排除此缺陷，若缺陷位置在第二位置范围内，即认为缺陷位置在U型管底部轮廓中，则此缺陷为U型管底部缺陷，也即目标图像对应的缺陷类型。

在上述步骤S604中，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型之后，方法具体还包括如下步骤：获取图像数据中的反光区域的最小外接矩形；在最小外接矩形的短边长度超过预设长度的情况下，确定图像数据为目标图像。

在去除误判缺陷后，还需考虑是否存在反光误判缺陷，U型管底部因光源照射会存在反光情况，针对这种情况需判断反光区域特性，排除反光形成的光斑造成的缺陷误判，如图6b所示的U型管反光部位缺陷示意图，正常的U型管底部缺陷为流线型，流线型光斑区域最上部位的点到最下部位点的距离为3mm-4mm，若长度超过4mm即存在凹陷缺陷导致上下弧度过大。

具体步骤为：首先判断反光区域中心点信息，确定中心点区域到光斑上边缘及下边缘的总长度是否在3mm-4mm之间，利用Opencv有关算法取光斑轮廓的最小外接矩形，如果外接矩形的宽超过预设长度4mm，则判定存在缺陷，则存在该缺陷的图像为目标图像，也即最上边缘点到最下边缘点的距离越大则可以判定缺陷凹陷的面积越大，若判定存在缺陷，且缺陷部位存在拐点，拐点到缺陷最高点的切线与中心点垂线产生夹角的角度越小则凹陷缺陷面积约大，反之缺陷面积越小。

若存在U型管底部缺陷，则将具有缺陷的图像编码信息传送给数据库，同时将具有缺陷的图像加入至训练数据集中，扩大数据集中的数据量，如果模型判断U型管底部无缺陷或者缺陷不满足误判条件则显示OK。

通过上述步骤，运用位置检测及反光弧度检测逻辑，去除不在U型管底部位置上的图像信息，并判断出反光处难检测的凹凸瑕疵，防止瑕疵的误检测。反光弧度检测同样是提取反光区域轮廓，并通过算法判断轮廓最小外接矩形的长即为弧度的长，判断弧度的长度就可以判断反光弧度。通过设置模型训练阈值和判断缺陷位置是否在U 型管底部水平线上，判断是否存在缺陷、U型管底部缺陷是否仅在面板上但不在轮廓中、U型管底部反光轮廓是否为流线状，防止其他位置缺陷对总体检测造成干扰，从而增加检测效率和检测的精确度和准确度。相对于传统的U型管底部缺陷检测，只需要工业相机对U型管进行拍摄和导入模型无需人工干预，解决了传统人工检测耗费人力和时间成本问题，同时增加了准确率减少了检测时间。需要说明的是，设置阈值和判断缺陷位置信息方法不同，阈值是模型内部函数的阈值，例如置信度设置为0.6，训练完成后的模型判断缺陷位置的置信度在0.6以上才会对目标进行矩形框标注渲染。

图7是根据本申请实施例的一种U型管的缺陷检测装置的结构图，如图7所示，该装置包括：

获取模块702，用于获取U型管的图像数据；

检测模块704，用于将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；

确定模块706，用于从检测结果中确定U型管的目标部位的缺陷信息。

在上述U型管的缺陷检测装置中，缺陷检测模型是通过以下方式训练得到的：获取U型管的样本图像集合，其中，样本图像集合中包括U型管的存在缺陷的部位的样本图像，以及用于指示样本图像所属的缺陷类型的标签信息；将样本图像集合输入深度学习网络模型进行训练，得到缺陷检测模型。

在上述U型管的缺陷检测装置中，将样本图像集合输入深度学习网络模型进行训练之前，该装置还包括：分离样本图像集合中的每个图像的前景部分和背景部分；对背景部分进行虚化处理。

在上述U型管的缺陷检测装置中的确定模块，从检测结果中确定U型管的目标部位的缺陷信息，具体包括如下过程：获取检测结果指示的图像数据的缺陷位置，以及获取图像数据的边板所在的第一位置范围，其中，边板为图像数据中与U型管所在面板具有连接关系的面板；在缺陷位置在边板所在的第一位置范围内的情况下，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷，其中，第一类缺陷不属于目标图像对应的缺陷类型。

在上述U型管的缺陷检测装置中，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，该装置还包括：获取图像数据中每一行的多个U型管底部轮廓的第一中心点位置连接形成的水平直线；将缺陷位置对应的第二中心点位置不在水平直线上的缺陷确定为第二类缺陷，其中，第二类缺陷不属于目标图像对应的缺陷类型。

在上述U型管的缺陷检测装置中，确定第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，该装置还包括：获取图像数据中U型管底部的第二位置范围；在缺陷位置在第二位置范围内的情况下，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型。

在上述U型管的缺陷检测装置中，确定第二位置范围内的缺陷位置对应的缺陷类型为目标图像对应的缺陷类型之后，该装置还包括如下过程：获取图像数据中的反光区域的最小外接矩形；在最小外接矩形的短边长度超过预设长度的情况下，确定图像数据为目标图像。

需要说明的是，图7所示的U型管的缺陷检测装置用于执行图2所示的U型管的缺陷检测方法，因此上述U型管的缺陷检测方法中的相关解释说明也适用于该U型管的缺陷检测装置，此处不再赘述。

图8是根据本申请实施例的一种U型管的缺陷检测的整体流程图，如图8所示，步骤801，照相机拍摄U型管底部俯视图，得到训练图像集合；步骤802，对训练图像集合中的图像进行数据强化，即包括翻转、旋转、裁剪、变形、缩放等常见的数据强化方法；步骤803，使用边缘虚化算法分离图像的前景部分和背景部分；步骤804，将执行边缘虚化算法分离后的图像输入深度学习网络模型中，得到缺陷检测模型；步骤805，将待检测的图像进行数据强化后，输入缺陷检测模型，得到检测结果；步骤 806，依据检测结果，判断是否存在缺陷；步骤807，若不存在缺陷，则输出并保存无缺陷的图像至数据库中；步骤808，判断缺陷位置是否在U型管底部，若判断结果为是，则执行步骤809输出图像的缺陷个数和缺陷位置至数据库中，若判断结果为否，则执行步骤810判断缺陷轮廓是否在同一水平线上，若判断结果为是，则执行步骤809，否则实行步骤811判断面板区域缺陷是否在U型管底部轮廓中，若判断结果为是，则执行步骤809，否则执行步骤807。

本申请实施例还提供了一种非易失性存储介质，该非易失性存储介质包括存储的程序，其中，在程序运行时控制该非易失性存储介质所在设备执行以下U型管的缺陷检测方法：获取U型管的图像数据；将图像数据输入缺陷检测模型进行检测，得到检测结果，其中，缺陷检测模型用于检测U型管所有存在缺陷的部位；从检测结果中确定U型管的目标部位的缺陷信息。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (10)

1.一种U型管的缺陷检测方法，其特征在于，包括：

获取U型管的图像数据；

将所述图像数据输入缺陷检测模型进行检测，得到检测结果，其中，所述缺陷检测模型用于检测所述U型管所有存在缺陷的部位；

从所述检测结果中确定所述U型管的目标部位的缺陷信息。

2.根据权利要求1所述的方法，其特征在于，所述缺陷检测模型是通过以下方式训练得到的：

获取所述U型管的样本图像集合，其中，所述样本图像集合中包括所述U型管的存在缺陷的部位的样本图像，以及用于指示所述样本图像所属的缺陷类型的标签信息；

将所述样本图像集合输入深度学习网络模型进行训练，得到所述缺陷检测模型。

3.根据权利要求2所述的方法，其特征在于，将所述样本图像集合输入深度学习网络模型进行训练之前，所述方法还包括：

分离所述样本图像集合中的每个图像的前景部分和背景部分；

对所述背景部分进行虚化处理。

4.根据权利要求1所述的方法，其特征在于，从所述检测结果中确定所述U型管的目标部位的缺陷信息，包括：

获取所述检测结果指示的所述图像数据的缺陷位置，以及获取所述图像数据的边板所在的第一位置范围，其中，所述边板为所述图像数据中与所述U型管所在面板具有连接关系的面板；

在所述缺陷位置在所述边板所在的第一位置范围内的情况下，确定所述第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷，其中，所述第一类缺陷不属于所述目标图像对应的缺陷类型。

5.根据权利要求4所述的方法，其特征在于，确定所述第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，所述方法还包括：

获取所述图像数据中每一行的多个U型管底部轮廓的第一中心点位置连接形成的水平直线；

将所述缺陷位置对应的第二中心点位置不在所述水平直线上的缺陷确定为第二类缺陷，其中，所述第二类缺陷不属于所述目标图像对应的缺陷类型。

6.根据权利要求5所述的方法，其特征在于，确定所述第一位置范围内的缺陷位置对应的缺陷类型为第一类缺陷之后，所述方法还包括：

获取所述图像数据中U型管底部的第二位置范围；

在所述缺陷位置在所述第二位置范围内的情况下，确定所述第二位置范围内的缺陷位置对应的缺陷类型为所述目标图像对应的缺陷类型。

7.根据权利要求6所述的方法，其特征在于，确定所述第二位置范围内的缺陷位置对应的缺陷类型为所述目标图像对应的缺陷类型之后，所述方法还包括：

获取所述图像数据中的反光区域的最小外接矩形；

在所述最小外接矩形的短边长度超过预设长度的情况下，确定所述图像数据为所述目标图像。

8.一种U型管的缺陷检测装置，其特征在于，包括：

获取模块，用于获取U型管的图像数据；

检测模块，用于将所述图像数据输入缺陷检测模型进行检测，得到检测结果，其中，所述缺陷检测模型用于检测所述U型管所有存在缺陷的部位；

确定模块，用于从所述检测结果中确定所述U型管的目标部位的缺陷信息。

9.一种电子设备，其特征在于，包括：

存储器，用于存储程序指令；

处理器，与所述存储器连接，用于执行实现以下功能的程序指令：获取U型管的图像数据；将所述图像数据输入缺陷检测模型进行检测，得到检测结果，其中，所述缺陷检测模型用于检测所述U型管所有存在缺陷的部位；从所述检测结果中确定所述U型管的目标部位的缺陷信息。

10.一种非易失性存储介质，其特征在于，所述非易失性存储介质包括存储的程序，其中，在所述程序运行时控制所述非易失性存储介质所在设备执行权利要求1至7中任意一项所述U型管的缺陷检测方法。

Images