CN113066051A - 一种坡口缺陷检测方法、计算设备及可读存储介质 - Google Patents

Abstract

本发明公开了一种坡口缺陷检测方法、计算设备及可读存储介质。其中，该方法在计算设备中执行，适于检测管状元件端部的环形坡口的缺陷，包括：获取待检测元件的端部图像中的环形坡口区域；将环形坡口区域展开成矩形，得到矩形的坡口图像；对矩形的坡口图像进行滑窗切分，得到多个子坡口图像；将每个子坡口图像输入到训练好的目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框；对缺陷框进行二值化处理，得到缺陷框的二值化图像；从缺陷框的二值化图像中获取缺陷区域的像素坐标。本发明的坡口缺陷检测方法既能加快坡口缺陷的检测速度还能提高坡口缺陷的检测精度。

Description

一种坡口缺陷检测方法、计算设备及可读存储介质

技术领域

本发明涉及智能在线检测领域，尤其涉及一种坡口缺陷检测方法、计算设备及可读存储介质。

背景技术

核能作为一种高效、无污染的可持续发展能源，目前已被广泛应用于军事、生产和经济等领域。核能是最有希望的未来能源之一，有着巨大的发展潜力。但是核泄漏所带来的伤害是不可估量和逆转的。因此，核能开发过程中面对的生产安全问题不容小觑。

核燃料棒是重水反应堆的基元，其加工生产的质量直接影响着核电站的安全运行。在核燃料棒的加工生产过程中，需要在填充完成的核燃料棒的两端焊接端塞，以防止内部燃料与外部环境接触。焊接前，需在核燃料棒两端车出坡口用于焊接，坡口质量的好坏直接影响着焊接的成功率。端塞焊接不良的核燃料棒在参与核反应时会造成裂变产物泄漏，进而会导致安全事故的发生。因此，对核燃料棒进行坡口缺陷检测尤为重要。

现有的检测方法主要有人工抽样检测和传统机器视觉检测两种。关于人工检测：1)无法做到在线全检，只能采用抽样检测的手段进行监控，会不可避免地造成漏检和误检；2)由于人的主观性因素无法统一缺陷的检测标准，会影响检测的效果；3)核燃料具有辐射性，人工的参与会对其身体健康造成伤害。因此，人工抽样检测法已逐步地被现代化生产模式淘汰。

目前，大多采用的是传统的机器视觉检测技术来检测核燃料棒坡口的质量，具体是将包括坡口区域的整个核燃料棒的端部图像输入到机器学习模型进行检测，精准度较低。并且，随着生产线效率地不断提升、产线自动化程度地不断提高，这种方法已无法满足人们对于高效率生产的需求。因此，亟需一种新的坡口缺陷检测方法来提高坡口的检测效率和精准度。

发明内容

为此，本发明提供了一种坡口缺陷检测方法、计算设备及可读存储介质，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供一种坡口缺陷检测方法，在计算设备中执行，适于检测管状元件端部的环形坡口的缺陷，该方法包括：获取待检测元件的端部图像中的环形坡口区域；将环形坡口区域展开成矩形，得到矩形的坡口图像；对矩形的坡口图像进行滑窗切分，得到多个子坡口图像；将每个子坡口图像输入到训练好的目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框；对缺陷框进行二值化处理，得到缺陷框的二值化图像；从缺陷框的二值化图像中获取缺陷区域的像素坐标。

可选地，在根据本发明的坡口缺陷检测方法中，还包括：将获取的缺陷区域标注到端部图像的相应位置。

可选地，在根据本发明的坡口缺陷检测方法中，还包括：根据缺陷区域的形状信息和位置信息进行缺陷分类。

可选地，在根据本发明的坡口缺陷检测方法中，在对缺陷框进行二值化处理的步骤之前，还包括：当缺陷框的高度小于子坡口图像的高度时，将缺陷框的高度扩大至子坡口图像的高度。

可选地，在根据本发明的坡口缺陷检测方法中，在对缺陷框进行二值化处理的步骤中，在不同的阈值下分别对缺陷框进行二值化。

可选地，在根据本发明的坡口缺陷检测方法中，获取待检测元件的端部图像中的环形坡口区域的步骤，包括：对端部图像进行二值化处理，得到端部二值图像；去除端部二值图像中的孔洞和边缘毛刺，仅保留环形坡口区域。

可选地，在根据本发明的坡口缺陷检测方法中，在对端部图像进行二值化处理的步骤中，采用自适应二值化方法对端部图像进行二值化处理。

可选地，在根据本发明的坡口缺陷检测方法中，在去除端部二值图像中的孔洞和边缘毛刺的步骤中，采用形态学处理方法去除端部二值图像中的孔洞和边缘毛刺。

可选地，在根据本发明的坡口缺陷检测方法中，将环形坡口区域展开成矩形的步骤，包括：获取环形坡口区域的外径、内径和圆心坐标；根据环形坡口区域的外径、内径和圆心坐标，将环形坡口区域展开成矩形。

可选地，在根据本发明的坡口缺陷检测方法中，在根据环形坡口区域的外径、内径和圆心坐标，将环形坡口区域展开成矩形的步骤中，使用双线性差值法将环形坡口区域展开成矩形。

可选地，在根据本发明的坡口缺陷检测方法中，目标检测网络包括特征提取模块、目标检测模块和输出模块。

可选地，在根据本发明的坡口缺陷检测方法中，特征提取模块采用mobilenet网络模型，目标检测模块采用yolo卷积网络模型。

可选地，在根据本发明的坡口缺陷检测方法中，目标检测网络基于下述方法训练得到：将标注有类别的子坡口图像输入到特征提取模块中，得到标注有预测类别的子坡口图像；基于标注有真实类别的子坡口图像和标注有预测类别的子坡口图像之间的第一损失值，更新特征提取模块的参数，直到第一损失值满足预定条件，训练结束，得到训练好的特征提取模块；将标注有缺陷框的子坡口图像输入到目标检测网络中，得到标注有预测缺陷框的子坡口图像；基于标注有真实缺陷框的子坡口图像和标注有预测缺陷框的子坡口图像之间的第二损失值，更新目标检测网络的参数，直到第二损失值满足预定条件，训练结束，得到训练好的目标检测网络。

可选地，在根据本发明的坡口缺陷检测方法中，还包括：对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理。

可选地，在根据本发明的坡口缺陷检测方法中，在对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理时，利用高斯滤波对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理。

可选地，在根据本发明的坡口缺陷检测方法中，在将获取的缺陷区域标注到端部图像的相应位置的步骤中，根据缺陷区域的像素坐标，利用极坐标转换法将缺陷区域反推至端部图像中进行标注。

根据本发明的又一个方面，提供一种计算设备，包括：至少一个处理器；以及存储器，存储有程序指令，其中，程序指令被配置为适于由至少一个处理器执行，程序指令包括用于执行根据本发明的坡口缺陷检测方法的指令。

根据本发明的又一个方面，提供一种存储有程序指令的可读存储介质，当程序指令被计算设备读取并执行时，使得计算设备执行根据本发明的坡口缺陷检测方法。

根据本发明的坡口缺陷检测方法，首先从待检测元件的端部图像中提取环形坡口区域。在提取到环形坡口区域之后，将环形坡口区域展开成矩形并进行滑窗切分。接着，将切分后的子坡口图像输入到目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框。然后，对缺陷框进行二值化处理，得到缺陷框的二值化图像。最后，基于缺陷框的二值化图像，获取缺陷区域的像素坐标。可见，本发明将目标检测网络应用于了坡口缺陷检测，这样既能加快坡口缺陷的检测速度还能提高坡口缺陷的检测精度，从而实现了坡口缺陷的快速精准检测。

其中，在对坡口缺陷进行检测时，本发明是从待检测元件的端部图像中提取出环形坡口区域后再进行后续处理，而并不是直接将整个待检测元件的端部图像输入到目标检测网络进行检测，显然精准度会更高。

另外，本发明对获取到的矩形的坡口图像进行的是滑窗切分，这样能增加一个完整的缺陷出现在一个子坡口图像中的概率，还能保证矩形坡口图像的大部分区域被检测多次，并且每次检测处于不同子坡口图像的不同位置，从而可以进一步地提高坡口缺陷检测的精准度。

附图说明

为了实现上述以及相关目的，本文结合下面的描述和附图来描述某些说明性方面，这些方面指示了可以实践本文所公开的原理的各种方式，并且所有方面及其等效方面旨在落入所要求保护的主题的范围内。通过结合附图阅读下面的详细描述，本公开的上述以及其它目的、特征和优势将变得更加明显。遍及本公开，相同的附图标记通常指代相同的部件或元素。

图1示出了根据本发明一个实施例的坡口缺陷检测方法100的示意图；

图2示出了根据本发明一个实施例的计算设备200的结构框图；

图3示出了根据本发明一个实施例的坡口缺陷检测方法300的流程图；

图4示出了根据本发明一个实施例的待检测元件的端部图像；

图5示出了根据本发明一个实施例的矩形坡口图像；

图6示出了根据本发明一个实施例的目标检测网络的结构图；

图7示出了根据本发明一个实施例的同一缺陷在不同子坡口图像中的检测效果图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

针对前文所述的目前的坡口缺陷检测方法所存在的问题，本发明提出了一种新的更为有效的坡口缺陷检测方法，将目标检测网络应用于坡口缺陷检测。具体地可参见图1：首先，将从待检测元件端部图像中提取到的环形坡口区域展开成矩形，并对其进行滑窗切分。然后，将切分后的小段坡口图像输入到目标检测网络中进行处理，得到有缺陷的小段坡口图像中的缺陷框。接下来，再在不同的阈值下对缺陷框进行二值化处理，获取缺陷区域。最后，将缺陷区域标注到待检测元件的端部图像中，并对缺陷进行分类。

在此需要说明一点，本发明的技术方案虽然是基于核燃料棒的坡口缺陷检测问题提出的，但是本领域技术人员应该理解其可以用于检测任意管状元件的端部坡口缺陷，而不仅局限于核燃料棒。

图2示出了根据本发明一个实施例的计算设备200的结构框图。需要说明的是，图2所示的计算设备200仅为一个示例，在实践中，用于实施本发明的坡口缺陷检测方法的计算设备可以是任意型号的设备，其硬件配置情况可以与图2所示的计算设备200相同，也可以与图2所示的计算设备200不同。实践中用于实施本发明的坡口缺陷检测方法的计算设备可以对图2所示的计算设备200的硬件组件进行增加或删减，本发明对计算设备的具体硬件配置情况不做限制。

如图2所示，在基本的配置202中，计算设备200典型地包括系统存储器206和一个或者多个处理器204。存储器总线208可以用于在处理器204和系统存储器206之间的通信。

取决于期望的配置，处理器204可以是任何类型的处理，包括但不限于：微处理器(μP)、微控制器(μC)、数字信息处理器(DSP)或者它们的任何组合。处理器204可以包括诸如一级高速缓存210和二级高速缓存212之类的一个或者多个级别的高速缓存、处理器核心214和寄存器216。示例的处理器核心214可以包括运算逻辑单元(ALU)、浮点数单元(FPU)、数字信号处理核心(DSP核心)或者它们的任何组合。示例的存储器控制器218可以与处理器204一起使用，或者在一些实现中，存储器控制器218可以是处理器204的一个内部部分。

取决于期望的配置，系统存储器206可以是任意类型的存储器，包括但不限于：易失性存储器(诸如RAM)、非易失性存储器(诸如ROM、闪存等)或者它们的任何组合。计算设备中的物理内存通常指的是易失性存储器RAM，磁盘中的数据需要加载至物理内存中才能够被处理器204读取。系统存储器206可以包括操作系统220、一个或者多个应用222以及程序数据224。在一些实施方式中，应用222可以布置为在操作系统上由一个或多个处理器204利用程序数据224执行指令。操作系统220例如可以是Linux、Windows等，其包括用于处理基本系统服务以及执行依赖于硬件的任务的程序指令。应用222包括用于实现各种用户期望的功能的程序指令，应用222例如可以是浏览器、即时通讯软件、软件开发工具(例如集成开发环境IDE、编译器等)等，但不限于此。当应用222被安装到计算设备200中时，可以向操作系统220添加驱动模块。

在计算设备200启动运行时，处理器204会从存储器206中读取操作系统220的程序指令并执行。应用222运行在操作系统220之上，利用操作系统220以及底层硬件提供的接口来实现各种用户期望的功能。当用户启动应用222时，应用222会加载至存储器206中，处理器204从存储器206中读取并执行应用222的程序指令。

计算设备200还包括储存设备232，储存设备232包括可移除储存器236和不可移除储存器238，可移除储存器236和不可移除储存器238均与储存接口总线234连接。

计算设备200还可以包括有助于从各种接口设备(例如，输出设备242、外设接口244和通信设备246)到基本配置202经由总线/接口控制器230的通信的接口总线240。示例的输出设备242包括图形处理单元248和音频处理单元250。它们可以被配置为有助于经由一个或者多个A/V端口252与诸如显示器或者扬声器之类的各种外部设备进行通信。示例外设接口244可以包括串行接口控制器254和并行接口控制器256，它们可以被配置为有助于经由一个或者多个I/O端口258和诸如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备)或者其他外设(例如打印机、扫描仪等)之类的外部设备进行通信。示例的通信设备246可以包括网络控制器260，其可以被布置为便于经由一个或者多个通信端口264与一个或者多个其他计算设备262通过网络通信链路的通信。

网络通信链路可以是通信介质的一个示例。通信介质通常可以体现为在诸如载波或者其他传输机制之类的调制数据信号中的计算机可读指令、数据结构、程序模块，并且可以包括任何信息递送介质。“调制数据信号”可以这样的信号，它的数据集中的一个或者多个或者它的改变可以在信号中编码信息的方式进行。作为非限制性的示例，通信介质可以包括诸如有线网络或者专线网络之类的有线介质，以及诸如声音、射频(RF)、微波、红外(IR)或者其它无线介质在内的各种无线介质。这里使用的术语计算机可读介质可以包括存储介质和通信介质二者。

在根据本发明的计算设备200中，应用222包括用于执行本发明的坡口缺陷检测方法300的指令，该指令可以指示处理器204执行本发明的坡口缺陷检测方法。本领域技术人员可以理解，除了用于执行坡口缺陷检测方法300的指令之外，应用222还可以包括用于实现其他功能的其他应用226。

图3示出了根据本发明一个实施例的坡口缺陷检测方法300的流程图，方法300适于在计算设备(例如图2所示的计算设备200)中执行。如图3所示，该方法300始于步骤S310。

根据本发明的一个实施例，在步骤S310之前还包括采集待检测元件的端部图像。其中，待检测元件为管状元件。在对该管状元件的端部进行图像采集时，可以使用与管状元件坡口相适应的环形光源。这样，采集到的端部图像中的坡口区域会更清晰(如图4所示)，从而能够保证坡口缺陷检测的精度。当然，也可以基于其他的光源来采集图像，本发明对此不做具体限制。

随后进入步骤S310，获取待检测元件的端部图像中的环形坡口区域。首先，对端部图像进行二值化处理，得到端部二值图像(即端部图像的二值化图像)。其中，可以采用自适应二值化的方法对端部图像进行二值化处理。但需要说明的是，关于对端部图像进行二值化所采用的具体算法本发明在此不做限制，任何已知或未来可知的图像二值化方法均在本发明的保护范围之内。

然后，去除端部二值图像中的孔洞和边缘毛刺，仅保留环形坡口区域。即，得到了待检测元件的端部图像中的环形坡口区域。根据本发明的一个实施例，可以采用形态学处理方法来去除端部二值图像中的孔洞和边缘毛刺。当然，还可以采用其他的方法来去除端部二值图像中的孔洞和边缘毛刺，本发明对此不做具体限制。

随后进入步骤S320，将环形坡口区域展开成矩形，得到矩形的坡口图像。具体地，获取环形坡口区域的外径、内径和圆心坐标。根据本发明的一个实施例，可以按照如下方法来获取环形坡口区域的外径、内径和圆心坐标，但本发明对获取环形坡口区域的外径、内径和圆心坐标的具体方法不做限制。

获取环形坡口区域的外径：首先，根据获取到的环形坡口区域，确定环形坡口区域的外圆。然后，根据环形坡口区域的外圆，确定环形坡口区域外圆的外接正方形。最后，将环形坡口区域外圆的外接正方形边长的一半作为环形坡口区域的外径。

获取环形坡口区域的内径：首先，对环形坡口区域的外圆进行填充，得到填充后的外圆图像。其次，将填充后的外圆图像与环形坡口图像作差，得到环形坡口区域的内圆。然后，根据环形坡口区域的内圆，确定环形坡口区域内圆的外接正方形。最后，将环形坡口区域内圆的外接正方形边长的一半作为环形坡口区域的内径。

获取环形坡口区域的圆心坐标：首先，获取环形坡口区域外圆的外接正方形的中心和环形坡口区域内圆的外接正方形的中心。然后，根据获取到的外圆的外接正方形的中心和内圆的外接正方形的中心，确定环形坡口区域的圆心坐标。

在得到环形坡口区域的外径、内径和圆心坐标之后，即可将环形坡口区域展开成矩形。具体地，根据环形坡口区域的外径计算环形坡口区域的外圆的周长，将计算出的外圆周长作为矩形的宽。根据环形坡口区域的外径和内径计算二者的差值，将计算出的外径和内径的差值作为矩形的高。然后，根据环形坡口区域中各像素的像素值来确定矩形中各点的像素值，从而就可以将环形的坡口区域展开成矩形，得到矩形的坡口图像，如图5所示。

根据本发明的一个实施例，可以利用极坐标转换的方法来将环形坡口区域中的各像素转换到矩形的图像中。具体地，根据矩形图像中任一点A的坐标，利用极坐标转换的方法来计算环形坡口图像中与点A对应的点A’的坐标，然后再将环形坡口图像中点A’的像素值赋值给矩形图像中的A点。这样，矩形图像中A点的像素值就等于了其所对应的环形坡口图像中点A’的像素值。

然而，很多情况下计算出的点A’的坐标并不是一个整数。也就是说，计算出的点A’并不是环形坡口图像中的一个像素点，而是像素点之间的一个点，显然这种情况下已无法确定矩形图像中A点的像素值。因此，根据一种实施例，可以使用双线性差值法来根据点A’附近像素的像素值，确定矩形图像中A点的像素值。当然，也可以使用最近邻插值、4x4像素邻域的双三次插值等插值方法来确定矩形图像中各点的像素值，本发明对此不做限制。

随后进入步骤S330，对矩形的坡口图像进行滑窗切分，得到多个子坡口图像。具体地，将滑动窗口在矩形的坡口图像上按照指定步长依次进行滑动，并将每一次滑动得到的窗口切分为一个子坡口图像。其中，滑动窗口的尺寸和滑动步长可以依据矩形坡口图像的尺寸和卷积分类网络的输入要求来设定。例如，可以将滑动窗口的尺寸设定为卷积分类网络允许输入的最大图像的尺寸，将滑动步长设定为滑动窗口的高度。这里仅是给出了一个示例，关于滑动窗口的尺寸和滑动步长的具体取值在此不做限定。在具体的实施例中，本领域的技术人员可以根据实际需要进行设定。

滑窗切分在保证子坡口图像尺寸的前提下，其切分的粒度可以更小。也就是说，在保证子坡口图像尺寸的前提下，通过滑窗切分可以获取到更多的子坡口图像。显然，这样能够增加一个完整的缺陷出现在一个子坡口图像中的概率，从而可以提高坡口缺陷检测的精准度。

另外，滑窗切分得到的子坡口图像之间存在的重叠区域，在不同的子坡口图像中处于的位置不同。因此，当对滑窗切分得到的子坡口图像进行缺陷检测时，重叠区域会被检测多次，并且每次检测重叠区域处于的是不同子坡口图像的不同位置(即并不仅是简单的重复检测)。这样，只要选取合适的滑动步长，就能够保证矩形坡口图像的大部分区域被检测多次，且是在不同子坡口图像的不同位置上，从而可以提高坡口缺陷检测的精准度。

随后进入步骤S340，将每个子坡口图像输入到训练好的目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框。图6示出了根据本发明一个实施例的目标检测网络的结构图，包括特征提取模块、目标检测模块和输出模块。其中，特征提取模块采用预训练的mobilenet网络模型，目标检测模块采用yolo卷积网络模型。

根据本发明的一个实施例，可以通过如下两步法来对目标检测网络进行训练。第一步，训练目标检测网络的分类能力。具体地，首先将标注有类别的子坡口图像输入到特征提取模块中，得到标注有预测类别的子坡口图像。然后，计算真实类别(指的是输入的子坡口图像的类别)和预测类别(指的是预测出的子坡口图像的类别)之间的类别损失值(即第一损失值)，并根据类别损失值对特征提取模块的参数进行调整。重复上述步骤，直到计算得到的类别损失值满足预定条件，得到训练好的特征提取模块。

第二步，训练目标检测网络的定位能力。为了能够加快目标检测网络模型的收敛速度，此步可以在训练好的特征提取模块的基础上对目标检测网络进行训练。具体地，将标注有缺陷框的子坡口图像输入到目标检测网络中，得到标注有预测缺陷框的子坡口图像。然后，计算真实缺陷框的位置(指的是输入的子坡口图像中标注的缺陷框的位置)和预测缺陷框的位置(指的是预测出的缺陷框在子坡口图像中的位置)之间的位置损失值(即第二损失值)，并根据位置损失值对目标检测网络的参数进行调整(此处是对目标检测模块和训练好的特征提取模块两个模块的参数进行调整)。重复上述步骤，直到计算得到的位置损失值满足预定条件，得到训练好的目标检测网络。这样，训练好的目标检测网络就具有了很好的分类和定位能力。

当然，在上述目标检测网络的训练过程中，还可以对训练图像进行数据增强处理，以此来提升目标检测网络的鲁棒性。例如，利用高斯滤波对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理，将得到的图像作为新的训练样来对目标检测网络进行训练(增加了样本的数量和种类)，从而训练得到的目标检测网络对清晰度不是很高的坡口图像也能具有很好的检测效果，显然提升了目标检测网络的鲁棒性。

可知，经过上述两步训练得到的目标检测网络不仅能够识别出有缺陷的坡口图像，还能定位出有缺陷的坡口图像中缺陷框的位置。因此，当将切分后得到的每个子坡口图像输入到训练好的目标检测网络中后，就能够得到有缺陷的子坡口图像中的缺陷框。

但在此需要说明一点，由于同一缺陷在不同的子坡口图像中处于的位置不同，因此当在不同的子坡口图像中对其进行检测时得到的类别置信度、缺陷框的位置可能会不同，如图7。当出现这种情况时，类别置信度选取最大者，缺陷框的位置则取多次检测结果的并集。以图7为例进行说明，0.7844大于0.756，选取0.7844作为该缺陷的类别置信度；右边标注的缺陷框包含左边标注的缺陷框中的所有像素，则将右边标注的缺陷框作为该缺陷的缺陷框。

至此，便得到了有缺陷的子坡口图像中的缺陷框。随后，对每个缺陷框执行以下步骤。

在接下来的步骤S350中，对缺陷框进行二值化处理，得到缺陷框的二值化图像。其中，为了能够准确的获取到缺陷的轮廓，可以采用不同的阈值来对缺陷框进行二值化处理。另外，为了避免出现漏检的情况，还可以对得到的缺陷框进行适当的调整。例如，当缺陷框的高度小于子坡口图像的高度时，可以将缺陷框的高度扩大至子坡口图像的高度后，再对缺陷框进行二值化处理。

随后进入步骤S360，从缺陷框的二值化图像中获取缺陷区域的像素坐标。该步骤的实质就是根据缺陷框二值化图像中的像素值来确定缺陷区域。在确定出缺陷区域后，便可获取到缺陷区域的像素坐标。其中，是将缺陷框二值化图像中像素值为0的连通区域确定为缺陷区域还是将缺陷框二值化图像中像素值为1的连通区域确定为缺陷区域，这要基于二值化的方法来确定，而这属于本领域技术人员的已知内容，故在此不再赘述。

另外，仅根据缺陷框二值化图像中的像素值来确定缺陷区域有可能会造成误检，这是因为尺寸过小的连通区域很有可能是图像处理过程中所产生的偏差，而并非是真正的缺陷区域。因此，为了能够更准确地从缺陷框二值化图像中确定出真实的缺陷区域，根据一种实施例，在根据缺陷框二值化图像中的像素值获取到连通区域后不直接将其作为缺陷区域，而是进一步地根据连通区域的尺寸来对其进行筛选。即，在将连通区域确定为缺陷区域之前，还根据连通区域的尺寸来对连通区域进行筛选。

具体地，分别判断每个连通区域的尺寸是否大于预设阈值。若是，则将其判定为缺陷区域，表示坡口的相应位置存在缺陷。若否，则将其判定为正常区域，表示坡口的相应位置无缺陷。连通区域的尺寸可以通过连通区域的面积来表示，而连通区域的面积由连通区域中所包含的像素数量决定。因此，连通区域的尺寸可以由其所包含的像素数量来确定。另外，关于预设阈值的具体取值本发明在此不做限制。在具体的实施例中，本领域的技术人员可以根据实际需要进行设定。

根据本发明的另一个实施例，在得到有缺陷的子坡口图像中的缺陷框后，还可以通过如下方法来获取缺陷区域的像素坐标。首先，将缺陷框输入到训练好的降噪自编码器中进行缺陷修复，得到无缺陷框。然后，将无缺陷框与缺陷框作差，得到无缺陷框与缺陷框的残差框。最后，对残差框进行二值化处理，获取缺陷区域的像素坐标。

无缺陷框与缺陷框作差后，缺陷框中缺陷区域以外的像素值基本上都会被抵消掉，因此残差框中集中保留的是缺陷区域的相关信息。这样，再通过对残差框进行二值化处理来获取缺陷区域准确度会更高。

本实施例将降噪自编码器运用到了缺陷图像的修复中，对此进行一下说明。自编码器是深度学习的一种神经网络模型，可分成编码器和解码器两个部分。它利用编码函数将输入数据压缩降维，提取出特征向量。然后再通过解码函数，将特征向量重构为输出数据。通过训练自编码器的重构能力，可以使自编码器尽可能的还原出输入数据。

降噪自编码器则是在自编码器的基础之上衍生而来的，与自编码器的不同之处是其利用加噪的输入来进行训练。通过在训练数据集中加入随机噪声，来训练降噪自编码器重构未加噪声的原始输入数据的能力。

基于降噪自编码器的这一特性，可以将加入噪声的无缺陷图像(加入噪声的无缺陷图像可以近似看作为是有缺陷的图像)作为训练样本，来训练降噪自编码器重构未加噪声的无缺陷图像的能力。这样，训练好的降噪自编码器便有了把有缺陷的图像还原为无缺陷图像的能力。也就是说，当将有缺陷图像输入到训练好的降噪自编码器中，便可得到有缺陷图像对应的无缺陷图像。即，训练好的降噪自编码器具有了修复缺陷的能力。因此，完全可以将训练好的降噪自编码器运用到缺陷图像的修复中。

其中，在该实施例中可以通过如下方法来对降噪自编码器进行训练。首先，将加入噪声的无缺陷的坡口图像输入到降噪自编码器中，得到修复后的坡口图像。然后，计算无缺陷的坡口图像与修复后的坡口图像之间的损失值，并根据这一损失值来更新降噪自编码器的参数。重复上述步骤，直到损失值满足预定条件，得到训练好的降噪自编码器。这样，当将任意一个缺陷框输入到训练好的降噪自编码器中后，训练好的降噪自编码器便会对该缺陷框进行修复，从而可以得到这个缺陷框对应的无缺陷框。

另外，本实施例中对残差框进行二值化处理来获取缺陷区域的像素坐标的方法，与上述实施例中对缺陷框进行二值化处理来获取缺陷区域的像素坐标的方法相同，具体可参见上述步骤S350和S360，在此不再赘述。表1示出了根据本发明的一个实施例获取到的一个缺陷区域的像素坐标。

表1缺陷区域的像素坐标

在获取到缺陷区域的像素坐标之后，根据本发明的一个实施例，可以利用极坐标转换的方法将获取到的缺陷区域反推至端部图像中进行标注。这样，便将获取到的缺陷区域标注到了端部图像的相应位置。也就是说，将缺陷区域标注到了待检测元件的端部图像中，至此便完成了坡口的缺陷检测。

根据本发明的一个实施例，在获取到缺陷区域之后，还根据缺陷区域的形状信息和位置信息进行缺陷分类。具体地，根据缺陷区域的形状将缺陷分为毛刺缺陷和非毛刺缺陷。其中，如果获取到的某一缺陷区域的宽高比大于第一预定值或者是小于第二预定值，则将这一缺陷区域对应的缺陷判定为毛刺缺陷，否则就将这一缺陷区域对应的缺陷判定为非毛刺缺陷。关于第一预定值和第二预定值的具体取值本发明在此不做限制。在具体的实施例中，本领域的技术人员可以根据实际需要进行设定。

对于非毛刺缺陷，进一步地根据位置信息将非毛刺缺陷分为亮带缺陷和灰带缺陷。具体地，将任一非毛刺缺陷对应的缺陷区域的坐标与其所属的子坡口图像中的亮带区域的坐标进行比对。如果某一非毛刺缺陷对应的缺陷区域的坐标与亮带区域的坐标有交集，则将这一非毛刺缺陷判定为亮带缺陷，否则就将这一非毛刺缺陷判定为灰带缺陷。

在得到缺陷的种类后，生产人员可以根据经常出现的缺陷种类来分析加工元件过程中存在的问题，进而对加工工艺进行改进。也就是说，生产人员可以依据缺陷种类来对加工工艺进行改进。这样，便可提高加工元件的质量。

根据本发明的坡口缺陷检测方法，首先提取待检测元件的端部图像中的环形坡口区域，与直接将包括环形坡口区域的整个图像输入到目标检测网络进行检测相比，精准度会更高。

在提取到之后，将环形坡口区域展开成矩形并进行切分。接着，将切分后的子坡口图像输入到目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框。然后，对缺陷框进行二值化处理，得到缺陷框的二值化图像。最后，基于缺陷框的二值化图像，获取缺陷区域的像素坐标。本发明将目标检测网络应用于坡口缺陷检测，既能够加快坡口缺陷的检测速度还能提高坡口缺陷的检测精度，实现了坡口缺陷的快速精准检测。

其中，在对坡口缺陷进行检测时本发明对矩形的坡口图像进行了滑窗切分，这样能够增加一个完整的缺陷出现在一个子坡口图像中的概率，并且还能够保证矩形坡口图像的大部分区域被检测多次(每次检测处于不同子坡口图像的不同位置上)，从而可以提高坡口缺陷检测的精准度。

进一步地，在得到有缺陷的子坡口图像中的缺陷框后，本发明利用降噪自编码器对其进行修复来获取无缺陷框，然后再通过对无缺陷框与缺陷框的残差框进行二值化来获取缺陷区域。由于残差框中集中保留的是缺陷区域的相关信息，因此基于残差框的二值化图像获取缺陷区域准确度会更高，从而可以进一步地提高坡口缺陷检测的精准度。

另外，本发明在检测出坡口缺陷后，还对坡口缺陷进行了分类。生产人员基于得到的缺陷种类来对加工工艺进行改进，从而能够提高加工元件的质量。

A6、如A1-A5中任意一项所述的方法，其中，所述获取待检测元件的端部图像中的环形坡口区域的步骤，包括：

对所述端部图像进行二值化处理，得到端部二值图像；

去除所述端部二值图像中的孔洞和边缘毛刺，仅保留环形坡口区域。

A7、如A6所述的方法，其中，在所述对所述端部图像进行二值化处理的步骤中，采用自适应二值化方法对所述端部图像进行二值化处理。

A8、如A6所述的方法，其中，在所述去除所述端部二值图像中的孔洞和边缘毛刺的步骤中，采用形态学处理方法去除所述端部二值图像中的孔洞和边缘毛刺。

A10、如A9所述的方法，其中，在所述根据所述环形坡口区域的外径、内径和圆心坐标，将所述环形坡口区域展开成矩形的步骤中，使用双线性差值法将所述环形坡口区域展开成矩形。

A12、如A11所述的方法，其中，所述特征提取模块采用mobilenet网络模型，所述目标检测模块采用yolo卷积网络模型。

A13、如A11或A12所述的方法，其中，所述目标检测网络基于下述方法训练得到：

将标注有类别的子坡口图像输入到特征提取模块中，得到标注有预测类别的子坡口图像；

基于标注有真实类别的子坡口图像和标注有预测类别的子坡口图像之间的第一损失值，更新所述特征提取模块的参数，直到所述第一损失值满足预定条件，训练结束，得到训练好的特征提取模块；

将标注有缺陷框的子坡口图像输入到目标检测网络中，得到标注有预测缺陷框的子坡口图像；

基于标注有真实缺陷框的子坡口图像和标注有预测缺陷框的子坡口图像之间的第二损失值，更新所述目标检测网络的参数，直到所述第二损失值满足预定条件，训练结束，得到训练好的目标检测网络。

A14、如A13所述的方法，还包括：

对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理。

A15、如A14所述的方法，其中，在对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理时，利用高斯滤波对标注有类别的子坡口图像和标注有缺陷框的子坡口图像进行模糊化处理。

这里描述的各种技术可结合硬件或软件，或者它们的组合一起实现。从而，本发明的方法和设备，或者本发明的方法和设备的某些方面或部分可采取嵌入有形媒介，例如可移动硬盘、U盘、软盘、CD-ROM或者其它任意机器可读的存储介质中的程序代码(即指令)的形式，其中当程序被载入诸如计算机之类的机器，并被所述机器执行时，所述机器变成实践本发明的设备。

在程序代码在可编程计算机上执行的情况下，计算设备一般包括处理器、处理器可读的存储介质(包括易失性和非易失性存储器和/或存储元件)，至少一个输入装置，和至少一个输出装置。其中，存储器被配置用于存储程序代码；处理器被配置用于根据该存储器中存储的所述程序代码中的指令，执行本发明的文档加载方法。

以示例而非限制的方式，可读介质包括可读存储介质和通信介质。可读存储介质存储诸如计算机可读指令、数据结构、程序模块或其它数据等信息。通信介质一般以诸如载波或其它传输机制等已调制数据信号来体现计算机可读指令、数据结构、程序模块或其它数据，并且包括任何信息传递介质。以上的任一种的组合也包括在可读介质的范围之内。

在此处所提供的说明书中，算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与本发明的示例一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员应当理解在本文所公开的示例中的设备的模块或单元或组件可以布置在如该实施例中所描述的设备中，或者可替换地可以定位在与该示例中的设备不同的一个或多个设备中。前述示例中的模块可以组合为一个模块或者此外可以分成多个子模块。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

此外，所述实施例中的一些在此被描述成可以由计算机系统的处理器或者由执行所述功能的其它装置实施的方法或方法元素的组合。因此，具有用于实施所述方法或方法元素的必要指令的处理器形成用于实施该方法或方法元素的装置。此外，装置实施例的在此所述的元素是如下装置的例子：该装置用于实施由为了实施该发明的目的的元素所执行的功能。

如在此所使用的那样，除非另行规定，使用序数词“第一”、“第二”、“第三”等等来描述普通对象仅仅表示涉及类似对象的不同实例，并且并不意图暗示这样被描述的对象必须具有时间上、空间上、排序方面或者以任意其它方式的给定顺序。

尽管根据有限数量的实施例描述了本发明，但是受益于上面的描述，本技术领域内的技术人员明白，在由此描述的本发明的范围内，可以设想其它实施例。此外，应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。

Claims (10)

1.一种坡口缺陷检测方法，在计算设备中执行，适于检测管状元件端部的环形坡口的缺陷，所述方法包括：

获取待检测元件的端部图像中的环形坡口区域；

将所述环形坡口区域展开成矩形，得到矩形的坡口图像；

对矩形的坡口图像进行滑窗切分，得到多个子坡口图像；

将每个子坡口图像输入到训练好的目标检测网络中进行处理，得到有缺陷的子坡口图像中的缺陷框；

对所述缺陷框进行二值化处理，得到所述缺陷框的二值化图像；

从所述缺陷框的二值化图像中获取缺陷区域的像素坐标。

2.如权利要求1所述的方法，还包括：

将获取的缺陷区域标注到所述端部图像的相应位置。

3.如权利要求1或2所述的方法，还包括：

根据缺陷区域的形状信息和位置信息进行缺陷分类。

4.如权利要求1-3中任意一项所述的方法，其中，在所述对所述缺陷框进行二值化处理的步骤之前，还包括：

当所述缺陷框的高度小于所述子坡口图像的高度时，将所述缺陷框的高度扩大至所述子坡口图像的高度。

5.如权利要求1-4中任意一项所述的方法，其中，在所述对所述缺陷框进行二值化处理的步骤中，在不同的阈值下分别对所述缺陷框进行二值化。

6.如权利要求1-5中任意一项所述的方法，其中，所述将所述环形坡口区域展开成矩形的步骤，包括：

获取所述环形坡口区域的外径、内径和圆心坐标；

根据所述环形坡口区域的外径、内径和圆心坐标，将所述环形坡口区域展开成矩形。

7.如权利要求1-6中任意一项所述的方法，其中，所述目标检测网络包括特征提取模块、目标检测模块和输出模块。

8.如权利要求2-7中任意一项所述的方法，其中，在所述将获取的缺陷区域标注到所述端部图像的相应位置的步骤中，根据所述缺陷区域的像素坐标，利用极坐标转换法将所述缺陷区域反推至所述端部图像中进行标注。

9.一种计算设备，包括：

至少一个处理器；以及

存储器，存储有程序指令，其中，所述程序指令被配置为适于由所述至少一个处理器执行，所述程序指令包括用于执行如权利要求1-8中任一项所述方法的指令。

10.一种存储有程序指令的可读存储介质，当所述程序指令被计算设备读取并执行时，使得所述计算设备执行如权利要求1-8中任一项所述方法。

Images