CN113470024A

CN113470024A - 轮毂内部缺陷检测方法、装置、设备、介质及程序产品

Info

Publication number: CN113470024A
Application number: CN202111023730.XA
Authority: CN
Inventors: 李飞; 熊海飞; 陈彪; 于洋
Original assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Current assignee: Shenzhen Xinrun Fulian Digital Technology Co Ltd
Priority date: 2021-09-02
Filing date: 2021-09-02
Publication date: 2021-10-01
Anticipated expiration: 2041-09-02
Also published as: CN113470024B

Abstract

本发明公开了一种轮毂内部缺陷检测方法、装置、设备、介质及程序产品，该方法包括：通过对轮毂不同部位的X射线图像进行切分和线性插值处理，得到放大子图；对该放大子图进行标准化处理后，根据X射线对应的轮毂部位从经过预训练的目标模型中选取目标缺陷分割模型对经过标准化处理的子图进行检测，得到缺陷分割掩码；对缺陷分割掩码进行缩放和拼接处理，得到与所述X射线图像大小相同的第一检测图像；对所述第一检测图像中的误检区域进行修正，得到目标检测图像并根据所述目标检测图像确定轮毂内部是否存在缺陷。通过切分和线性插值处理，提高缺陷分辨率，减少了对小缺陷的漏检，并通过修正模型的误检区域，提高了对轮毂内部缺陷的检测精度。

Description

轮毂内部缺陷检测方法、装置、设备、介质及程序产品

技术领域

本发明涉及图像处理技术领域，尤其涉及一种轮毂内部缺陷检测方法、装置、设备、介质及程序产品。

背景技术

轮毂是汽车的重要部件之一，在汽车的行驶安全中起着至关重要的作用，目前常见的轮毂多以铝合金浇铸而成，在浇铸过程中，受生产环境和生产条件等多种因素的影响，轮毂内部可能会出现夹渣、裂纹、气孔、缩孔、缩松等缺陷，这些缺陷都是汽车行驶过程中的重大安全隐患。因此，各个生产厂商都会对生产的轮毂进行严格的质量检测。传统的人工检测方式效率低、可靠性差，无法满足日益增长的生产需求。

随着信息技术的发展，基于深度学习和机器视觉的轮毂内部缺陷检测方式应运而生，但目前现有的检测方式大多是通过人工选取缺陷区域，采用传统阈值分割方法分割缺陷，并提取缺陷区域的几何和灰度特征，该方式易受轮毂结构和背景影响，漏检和误检率较高。一方面，现有检测方式没有考虑到轮毂内部缺陷在轮毂整体图像中所占的比例，在轮毂X射线图像中，轮毂内部缺陷大小相对于整张图像来说非常小，而现有检测方式没有针对这点进行优化，导致对轮毂内部缺陷特别是小目标缺陷的检测精度不高；另一方面，采用传统的阈值分割方法对缺陷进行分割，分割的缺陷区域边界不精确，也会影响对缺陷的检测精度。

发明内容

本发明的主要目的在于提供一种轮毂内部缺陷检测方法、装置、设备、介质及程序产品，旨在解决现有技术中，由于没有针对小目标缺陷进行优化，分割的缺陷区域边界不精确，存在较多的误检和漏检，导致对轮毂内部缺陷的检测精度不高的技术问题。

此外，为实现上述目的，本发明还提供一种轮毂内部缺陷检测方法，所述轮毂内部缺陷检测方法包括以下步骤：

获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；

对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；

利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；

对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。

可选地，所述对所述第一检测图像的误检区域进行修正，得到目标检测图像的步骤，包括：

根据所述X射线图像对所述第一检测图像的缺陷分割掩码进行转换，得到所述第一检测图像对应的类别编码图像；

对所述类别编码图像进行膨胀处理和连通区域分析，得到所述类别编码图像中的各个缺陷区域；

计算各所述缺陷区域在所述X射线图像中对应区域的像素点的灰度值极值差，其中，所述极值差小于或等于预设的灰度差阈值的缺陷区域为误检区域；

对所述误检区域进行修正，得到目标检测图像。

可选地，所述根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型的步骤之前，还包括：

获取模型构建参数并采集轮毂不同部位的初始X射线图像，对所述初始X射线图像进行划分和缺陷标注，针对轮毂不同部位分别构建初始样本数据集，其中，所述初始样本数据集中包含缺陷标注信息；

根据所述缺陷标注信息对所述初始样本数据集中的小目标缺陷进行增强处理，得到目标样本数据集；

根据所述模型构建参数构建基础缺陷分割模型，并利用所述目标样本数据对所述基础缺陷分割模型进行迭代训练，得到目标缺陷分割模型。

可选地，所述根据所述缺陷标注信息对所述初始样本数据集中的小目标缺陷进行增强处理，得到目标样本数据集的步骤，包括：

创建待增强的基础图像，并根据所述缺陷标注信息从所述初始样本数据集中确定包含小目标缺陷的样本图像；

将所述样本图像中的小目标缺陷剪切至所述基础图像中，并对所述基础图像进行增强处理，得到目标样本数据集。

可选地，所述目标样本数据集包括训练数据集和验证数据集，所述利用所述目标样本数据对所述基础缺陷分割模型进行迭代训练的步骤，包括：

利用所述训练数据集对所述基础缺陷分割模型进行训练，得到所述基础缺陷分割模型的中间模型；

利用所述验证数据集对所述中间模型进行验证，并根据验证结果计算所述中间模型的损失函数；

根据所述损失函数对所述基础缺陷分割模型的模型参数进行调整，返回并执行所述利用所述训练数据集对所述基础缺陷分割模型进行训练的步骤，直到所述损失函数取得最小值为止。

可选地，所述根据所述目标检测图像确定所述轮毂内部是否存在缺陷的步骤之后，还包括：

若所述轮毂内部存在缺陷，根据所述目标检测图像计算缺陷参数；

根据所述缺陷参数确定缺陷等级，其中，所述缺陷参数包括缺陷面积和缺陷长度。

此外，为实现上述目的，本发明还提供一种轮毂内部缺陷检测装置，所述轮毂内部缺陷检测装置包括：

图像采集模块，用于获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；

预处理模块，用于对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；

缺陷分割模块，用于利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；

后处理模块，用于对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。

此外，为实现上述目的，本发明还提供一种终端设备，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被所述处理器执行时实现如上述的轮毂内部缺陷检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被处理器执行时实现如上述的轮毂内部缺陷检测方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的轮毂内部缺陷检测方法的步骤。

本发明实施例提出的一种轮毂内部缺陷检测方法、装置、设备、介质及程序产品。现有技术中，对轮毂内部缺陷进行检测时，没有针对小目标缺陷进行优化，采用传统的阈值分割方法无法精确分割缺陷区域边界，因此，存在误检和漏检情况，导致对轮毂内部缺陷的检测精度不高。与现有技术相比，本发明实施例中，通过获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。通过对获取到的轮毂X射线图片进行切分和线性插值进行放大，提高了缺陷的分辨率，因此可以提高对较小缺陷的检测精度，并通过后处理，对缺陷分割模型的检测结果进行修正，提高缺陷区域边界的精确度，减少对缺陷区域边界的误检，从而提高对轮毂内部缺陷区域整体的检测精度。

附图说明

图1为本发明实施例提供的终端设备一种实施方式的硬件结构示意图；

图2为本发明轮毂内部缺陷检测方法第一实施例的流程示意图；

图3为本发明轮毂内部缺陷检测方法第一实施例中的轮辋结构示意图；

图4为本发明轮毂内部缺陷检测方法第一实施例中的轮辐结构示意图；

图5为本发明轮毂内部缺陷检测方法第一实施例中的轮芯结构示意图；

图6为本发明轮毂内部缺陷检测方法第二实施例的流程示意图；

图7为本发明轮毂内部缺陷检测装置一实施例的功能模块示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

本发明实施例轮毂内部缺陷检测终端（又叫终端、设备或者终端设备）可以是PC，也可以是智能手机、平板电脑和便携计算机等具有显示和数据处理功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。存储器1005可以是高速RAM存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF（Radio Frequency，射频）电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及轮毂内部缺陷检测程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端（用户端），与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被处理器执行时实现下述实施例提供的轮毂内部缺陷检测方法中的操作。

基于上述设备硬件结构，提出了本发明轮毂内部缺陷检测方法的实施例。

参照图2，图2位本发明轮毂内部缺陷检测方法第一实施例的流程示意图，在本发明轮毂内部缺陷检测方法的第一实施例中，所述轮毂内部缺陷检测方法包括：

步骤S10，获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；

在本实施例中，对轮毂内部缺陷的检测，是基于轮毂的X射线图像的，首先，采集待检测轮毂不同部位的X射线图像，可知地，轮毂的结构主要包括轮辋、轮辐和轮芯，以轮辋、轮辐和轮芯为例，分别采集轮辋、轮辐和轮芯等部位的X射线图像。在采集X射线图像时，由X射线源向轮毂发射X射线，X射线在穿透轮毂后，由图像增强器将衰减程度不同的X射线转化可见光，再由高分辨率的CCD（charge coupled device）相机和图像采集卡等将可见光图像转换为数字图像，从而得到轮毂的X射线图像。参照图3至图5，图3至图5是采集的轮毂不同结构或部位的X射线图像，其中，图3为轮辋的X射线图像，图4为轮辐的X射线图像，图5为轮芯的X射线图像。

进一步地，对采集的X射线图像进行切分和线性插值处理，提高轮毂X射线图像的分辨率，在本实施例中，采集的X射线图像为二维图像，因此，对X射线图像的线性插值处理为双线性插值。可知地，在分割网络下采样过程中，特征图的分辨率会逐渐下降，从而导致小目标特征减少甚至特征丢失等问题。为了提高小目标的分辨率，对采集的轮毂X射线图像进行切分，然后再对切分后的每个区域通过双线性插值处理进行放大，得到多张子图。本实施例中对图像的切分为有重叠的切分，可以在一定程度上避免将待识别的区域进行误分割，减少对轮毂内部缺陷的漏检。

步骤S20，对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；

对分割出的多个子图进行标准化处理，得到多个目标子图，并根据X射线图像对应的轮毂部位确定相应的缺陷分割模型进行缺陷检测。其中，标准化处理包括归一化，具体地，将轮毂X射线图像的灰度值归一化至[0,1]之间，然后利用统计值对归一化后的结果进行标准化，得到目标子图。在本实施例中，X射线源对轮毂的拍摄是按一定顺序的，因此，根据拍摄顺序可以确定当前的X射线图像对应轮毂的哪一部位，进而可以确定对应的模型进行缺陷检测。进一步地，选取的目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的，基于不同部位的轮毂X射线图像对基础缺陷分割模型分别进行迭代训练，得到针对轮毂不同部位分别进行内部缺陷检测的目标模型。

步骤S30，利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；

进一步地，利用选取的目标缺陷分割模型对轮毂X射线图像进行缺陷检测，得到各个目标子图对应的缺陷分割掩码，在本实施例中，目标缺陷分割模型基于语义分割，对每个目标子图中是否存在缺陷进行预测，得到对应的缺陷分割掩码。该缺陷分割掩码为独热码，是一个与被预测图像大小相同的图像，但图像中的每一个像素只有一个布尔值用于指示目标是够存在，即该像素点所在区域是否为缺陷区域。

然后对各个目标子图对应的缺陷分割掩码进行缩放和拼接处理，得到对应的检测图像。其中，缩放处理主要是将缺陷分割掩码缩小至与分割后的子图大小相同，因此，缩放处理时的缩放系数与双线性插值处理时的缩放系数相关，这里的缩放系数是双线性插值处理时的缩放系数的倒数。对各个目标子图的预测结果进行拼接，得到与原始X射线图像尺寸相同的检测图像。由于在切分时，采用了有重叠的切分，拼接时可以取中间部分的结果，舍弃边缘部分，提高对缺陷区域边界的分割精度，减少漏检情况。

步骤S40，对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。

针对每个放大后的子图进行缺陷检测，并将检测结果进行缩放和拼接处理后，得到的缺陷分割结果仍然可能存在一些误检测，或者缺陷区域的边界不够精确等问题。通过后处理对误检问题进行修正，提高对缺陷区域的检测精度。其中，后处理的目的是针对轮毂内部缺陷的一些特点，对缺陷分割结果作进一步的修正，包括剔除误检区域，对缺陷分割的区域边界像素进行删除和扩张，提高缺陷区域的边界精确度。

最后，根据经过修正的目标检测图像可以直接确定轮毂内部是否存在缺陷，具体地，输出的目标检测图像中，包含了对缺陷的检测结果，该检测结果可以是概率，包括存在缺陷的概率以及缺陷类型等。

进一步地，步骤S40中，对检测图像进行修正的细化，包括：

步骤S4001，根据所述X射线图像对所述第一检测图像的缺陷分割掩码进行转换，得到所述第一检测图像对应的类别编码图像；

步骤S4002，对所述类别编码图像进行膨胀处理和连通区域分析，得到所述类别编码图像中的各个缺陷区域；

步骤S4003，计算各所述缺陷区域在所述X射线图像中对应区域的像素点的灰度值极值差，其中，所述极值差小于或等于预设的灰度差阈值的缺陷区域为误检区域；

步骤S4004，对所述误检区域进行修正，得到目标检测图像。

在对基于语义分割的缺陷分割模型的检测结果进行修正时，首先对检测图像进行转换，可以理解的是，缺陷分割模型输出的检测结果是与采集的X射线图像带大小相同的缺陷分割掩码，该缺陷分割掩码是独热码形式，因此，需要基于采集的原始X射线图像，将缺陷分割掩码的独热码形式转化为缺陷类别编码图像。也即，对不同类别的像素点分别进行编码，基于原始X射线图像，将缺陷分割掩码中的独热码变为不同类别的像素点对应的类别ID，根据该类别ID可以确定对应的像素点的类别信息。在本实施例中，类别ID与类别名称的对应关系的一种示例如下列表1所示：

类别ID	0	1	2	3	4	5
							类别名称	背景	夹渣	裂纹	气孔	缩孔	缩松

表1

将缺陷分割模型的预测输出由独热码形式转换为类别ID形式，得到一张和原输入图像尺寸相同的灰度图，灰度图中每个像素点的值为该像素点处预测的类别ID。然后利用矩形等结构化元素，对得到的灰度图像进行形态学膨胀运算，得到膨胀后的灰度图，对膨胀后的灰度图进行连通区域分析，确定膨胀后的灰度图中所有的缺陷区域。

进一步地，针对各个缺陷区域进行修正，在对轮毂内部的缺陷检测中，主要是计算各个缺陷区域在采集的原始X射线图像对应的区域中，像素点的最大灰度值与最小灰度值之间的灰度值差，即灰度值的极值差，若极值差小于或等于预设的灰度差阈值，则认为该缺陷区域为误检区域，则对该缺陷区域进行修正，修正的方式包括但不限于将缺陷区域的像素值设置为背景像素点的像素值，也即，根据表1所示的像素点的类别对应关系，将误检区域的像素点的像素值置为0。当灰度值的极值差大于预设的灰度差阈值时，根据各个像素点的像素值判定该像素点对应的缺陷区域属于那种缺陷类型，并将像素点的像素值标注为该缺陷类型的类别ID。

进一步地，不同的缺陷类型具有不同的特点，当完成对误检区域的修正后，还可以基于采集的原始射线图像对缺陷区域做进一步的验证，具体地，基于各个缺陷区域的像素点的极值和预设的灰度差阈值，确定一个加权的灰度值阈值，将各个缺陷区域的像素点在原始X射线图像中的灰度值与其所在缺陷区域的灰度值阈值进行比较，确定该缺陷区域是否为误检区域，例如，对于裂纹、缩孔和缩松等不同类型的缺陷，为区别于背景像素点的灰度值，利用原始X射线图像对应区域的像素点的灰度值的极大值和极小值，设置灰度值上下限，灰度值在上下限之间的区域为缺陷区域，不在上下限之间的为误检区域，需要予以修正。进一步地，对于灰度值上下的设置，基于各个缺陷区域在原始X射线图像中对应区域的像素点灰度值的最大值和最小值，将灰度差阈值和第一权重系数的乘积与最小值的和，作为灰度值的下限，将最大值减去灰度差阈值与第二权重系数的乘积的差，作为灰度值下限。以缺陷区域在原始X射线图像对应的区域内的像素点的灰度值与灰度值上下限之间的大小关系，确定各个缺陷区域是否存在误检区域，并对误检区域进行修正。

需要说明的是，在本实施例中，预设的灰度差阈值、确定上下限灰度值的权重系数，以及上下限灰度值的计算方式，仅用于对本发明进行示例性说明，并不用于限定本发明。可知地，在实际应用中，还可以运用其他计算方式，针对不同类型的缺陷分别设置不同的上下限灰度值进行误检区域的判定，在此不再赘述。

步骤S40的之后，还包括：

步骤S50，若所述轮毂内部存在缺陷，根据所述目标检测图像计算缺陷参数；

步骤S60，根据所述缺陷参数确定缺陷等级，其中，所述缺陷参数包括缺陷面积和缺陷长度。

在得到目标检测图像后，根据该目标检测图像可以确定轮毂内部是否存在缺陷，若存在缺陷，则基于目标检测图像计算轮毂的缺陷参数，其中，缺陷参数包括缺陷面积和缺陷长度等，该缺陷长度可以是最大长度，根据计算出的缺陷参数确定缺陷等级。具体地，基于目标检测图像计算出的缺陷参数是以像素为单位的，需要对基于像素点计算出的缺陷参数进行标定转换，转换为实际的物理单位，并将转换后的缺陷参数与设定的质量标准进行比较，进而确定轮毂的缺陷等级。

在本实施例中，通过获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。通过对获取到的轮毂X射线图片进行切分和线性插值进行放大，提高了缺陷的分辨率，因此可以提高对较小缺陷的检测精度，并通过后处理，对缺陷分割模型的检测结果进行修正，提高缺陷区域边界的精确度，减少对缺陷区域边界的误检，从而提高对轮毂内部缺陷区域整体的检测精度。

进一步地，参照图6，在本发明上述实施例的基础上，提出了本发明轮毂内部缺陷检测方法的第二实施例。本实施例是第一实施例中步骤S20之前的步骤，在根据采集的X射线图像对应的轮毂部位确定目标缺陷分割模型之前，需要构建样本数据集并搭建基于语义分割网络的基础缺陷分割模型，然后利用构建的样本数据集对基础缺陷分割模型进行预训练，模型预训练的过程具体包括：

步骤S01，获取模型构建参数并采集轮毂不同部位的初始X射线图像，对所述初始X射线图像进行划分和缺陷标注，针对轮毂不同部位分别构建初始样本数据集，其中，所述初始样本数据集中包含缺陷标注信息；

步骤S02，根据所述缺陷标注信息对所述初始样本数据集中的小目标缺陷进行增强处理，得到目标样本数据集；

步骤S03，根据所述模型构建参数构建基础缺陷分割模型，并利用所述目标样本数据对所述基础缺陷分割模型进行迭代训练，得到目标缺陷分割模型。

基于上述实施例，本实施例中进行模型预训练时，首先构建样本数据集并搭建基础的缺陷分割模型，具体地，获取模型构建参数并采集轮毂不同部位的初始X射线图像，根据模型构建参数搭建基础的缺陷分割模型，本实施例中，搭建的基础缺陷分割模型以常用的deeplabV3+（语义分割模型）为例。对采集的轮毂不同部位的初始X射线图像进行划分和缺陷标注，并针对轮毂不同部位的初始X射线图像分别构建初始样本数据集，该初始样本数据集中包含了对初始X射线图像的缺陷标注信息。

进一步地，基于各个图像的缺陷标注信息对初始样本数据集中的小目标缺陷进行增强处理，得到目标样本数据集。利用该目标样本数据集对搭建的基础模型进行迭代训练，可以提高对小目标缺陷的检测精度，减少对轮毂内部缺陷的漏检。同时，针对轮毂的不同部位分别构建各自的样本数据集，并分别进行训练，得到针对轮毂不同部位进行内部缺陷检测的目标模型，可以减少因轮毂结构产生的误检。可知地，轮毂的不同部位结构差异较大，灰度值分布差异也较大，因此，相同类型的缺陷在轮毂的不同部位中具有不同的特征，针对轮毂不同部位的X射线图像分别进行模型预训练，利用训练好的用于检测不同部位的目标模型针对性地进行缺陷检测，可以提高对缺陷的检测精度。

进一步地，步骤S02的细化，包括：

步骤A1，创建待增强的基础图像，并根据所述缺陷标注信息从所述初始样本数据集中确定包含小目标缺陷的样本图像；

步骤A2，将所述样本图像中的小目标缺陷剪切至所述基础图像中，并对所述基础图像进行增强处理，得到目标样本数据集。

在对小目标缺陷进行增强时，首先创建一个待增强的基础图像，根据初始样本数据集的缺陷标注信息，确定标注为小目标缺陷的样本图像，从该样本图像中对小目标缺陷进行剪切，并粘贴至待增强的图像中，实现对小目标缺陷的增强处理，得到目标样本数据集。此外，还可以对待增强图像采取随机亮度、随机对比度等增强方法，提高模型的泛化能力。

在对小目标缺陷进行增强处理后，对得到的目标样本数据集中的样本图像进行预处理，包括将样本图像的像素值从[0,255]归一化到[0,1]之间，然后减去灰度值均值，再除以标准差等，可知地，轮毂不同部位的X射线图像的灰度均值和标准差均由各自对应的数据集统计得到，预处理的过程也并不限于此，可以根据实际需求进行调整。

更进一步地，步骤S03的细化，包括：

步骤B1，利用所述训练数据集对所述基础缺陷分割模型进行训练，得到所述基础缺陷分割模型的中间模型；

步骤B2，利用所述验证数据集对所述中间模型进行验证，并根据验证结果计算所述中间模型的损失函数；

步骤B3，根据所述损失函数对所述基础缺陷分割模型的模型参数进行调整，返回并执行所述利用所述训练数据集对所述基础缺陷分割模型进行训练的步骤，直到所述损失函数取得最小值为止。

进一步地，构建的目标样本数据集包括训练数据集和验证数据集，还可以包括测试数据集，在对基础模型进行迭代训练时，是利用训练数据集对基础模型进行训练，得到中间模型，根据验证数据集对中间模型的泛化能力（召回率和准确率等）进行验证，并计算基础模型的损失函数，根据验证结果对基础模型的模型参数进行更新，然后利用训练数据集重新进行训练，直到损失函数的值最小为止。利用测试数据集对最终训练的模型进行测试，评估模型的泛化能力。

进一步地，在轮毂X射线图像中，缺陷大小相对于整张图像来说是非常小的，背景像素点的数量远远大于缺陷像素点的数量，存在严重的类别不平衡问题，如果使用常规的交叉熵损失函数，模型的损失将基本由背景主导。为了解决类别不平衡问题，同时提高困难样本对损失函数的贡献，本实施例中基于上述搭建的deeplabV3+模型，对损失函数进行了设计，采用结合Focal loss（焦点损失）的中值频率平衡(Median Frequency Balancing，MFB)损失函数对模型参数进行评估，MFB如下列公式1至2所示：

（1）

（2）

其中，N为训练批次大小，C为类别的集合。

为独热码形式下，样本n中类别c的标签，

为独热码形式下，样本n中类别c的softmax概率（柔性最大值），

为类别c在损失函数中的权重，

为类别c像素个数的频率，即训练数据集中包含类别c的所有图像中类别c的像素个数总和，除以包含类别c的所有图片的像素个数总和。

结合Focal loss后的MFB损失函数如下列公式3所示：

（3）

设置基础模型的初始学习率，并对基础模型权重进行初始化，通过迭代训练对模型的参数进行调整更新，基于最小损失函数选出迭代训练过程中的最佳模型，从而可以得到轮辋、轮辐、轮芯等不同轮毂部位各自的缺陷分割模型。

在本实施例中，通过对较小缺陷样本进行过采样，即对小目标缺陷进行增强处理，并针对背景和缺陷区域像素点类别不平衡问题，设计了损失函数，使得模型能更好的学习轮毂缺陷特征，可以提高对较小缺陷的检测效果，减少漏检，从而提高对轮毂内部缺陷的检测精度。

此外，参照图7，本发明实施例还提出一种轮毂内部缺陷检测装置，所述轮毂内部缺陷检测装置包括：

图像采集模块10，用于获取待检测轮毂不同部位的X射线图像，并对所述X射线图像进行有重叠的切分和线性插值处理，得到多个子图；

预处理模块20，用于对多个所述子图进行标准化处理得到多个目标子图，并根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型，其中，所述目标缺陷分割模型是基于包含缺陷的轮毂X射线图像进行迭代训练得到的；

缺陷分割模块30，用于利用所述目标缺陷分割模型对所述目标子图进行缺陷检测，得到所述目标子图的缺陷分割掩码，并对所述缺陷分割掩码进行缩放和拼接处理，得到第一检测图像；

后处理模块40，用于对所述第一检测图像的误检区域进行修正，得到目标检测图像，并根据所述目标检测图像确定所述轮毂内部是否存在缺陷。

可选地，所述后处理模块40，还用于：

对所述误检区域进行修正，得到目标检测图像。

可选地，所述轮毂内部缺陷检测，还包括模型预训练模块，用于：

可选地，所述模型预训练模块，还用于：

可选地，所述轮毂内部缺陷检测装置，还包括缺陷评估模块，用于：

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被处理器执行时实现上述实施例提供的轮毂内部缺陷检测方法中的操作。

此外，本发明实施例还提出一种计算机程序产品，包括计算机程序，所述计算机被处理器执行时实现上述实施例提供的轮毂内部缺陷检测方法中的操作。

本发明设备、计算机程序产品和计算机可读存储介质各实施例，均可参照本发明方法各个实施例，此处不再赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体/操作/对象与另一个实体/操作/对象区分开来，而不一定要求或者暗示这些实体/操作/对象之间存在任何这种实际的关系或者顺序；术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的轮毂内部缺陷检测方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种轮毂内部缺陷检测方法，其特征在于，所述轮毂内部缺陷检测方法包括以下步骤：

2.如权利要求1所述的轮毂内部缺陷检测方法，其特征在于，所述对所述第一检测图像的误检区域进行修正，得到目标检测图像的步骤，包括：

对所述误检区域进行修正，得到目标检测图像。

3.如权利要求1所述的轮毂内部缺陷检测方法，其特征在于，所述根据所述X射线图像对应的轮毂部位确定目标缺陷分割模型的步骤之前，还包括：

4.如权利要求3所述的轮毂内部缺陷检测方法，其特征在于，所述根据所述缺陷标注信息对所述初始样本数据集中的小目标缺陷进行增强处理，得到目标样本数据集的步骤，包括：

5.如权利要求3所述的轮毂内部缺陷检测方法，其特征在于，所述目标样本数据集包括训练数据集和验证数据集，所述利用所述目标样本数据对所述基础缺陷分割模型进行迭代训练的步骤，包括：

6.如权利要求1所述的轮毂内部缺陷检测方法，其特征在于，所述根据所述目标检测图像确定所述轮毂内部是否存在缺陷的步骤之后，还包括：

7.一种轮毂内部缺陷检测装置，其特征在于，所述轮毂内部缺陷检测装置包括：

8.一种终端设备，其特征在于，所述终端设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被所述处理器执行时实现如权利要求1至6中任一项所述的轮毂内部缺陷检测方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有轮毂内部缺陷检测程序，所述轮毂内部缺陷检测程序被处理器执行时实现如权利要求1至6中任一项所述的轮毂内部缺陷检测方法的步骤。

10.一种计算程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的轮毂内部缺陷检测方法的步骤。