CN111951249A - 基于多任务学习网络的手机导光板缺陷可视化检测方法 - Google Patents

Abstract

本发明公开了一种基于多任务学习网络的手机导光板缺陷可视化检测方法，包括以下步骤：步骤1、采集导光板图像；步骤2、图像预处理；步骤3、建立并训练、测试多任务学习网络，包括特征提取、特征融合、分割头Segmentation Head和分类头Classification Head四个子网络，然后保存并输出训练好的多任务学习网络；步骤4、使用训练好的多任务学习网络进行缺陷检测，并输出结果。采用本发明的基于多任务学习网络的手机导光板缺陷可视化检测方法，完成对缺陷的定位任务与缺陷有无的分类的同时，提供可视化的结果。

Description

基于多任务学习网络的手机导光板缺陷可视化检测方法

技术领域

本发明属于深度学习的图像识别领域，具体为一种基于多任务学习网络的手机导光板缺陷可视化检测方法。

背景技术

导光板(light guide plate)是利用光学级的亚克力/PC板材，然后用具有极高反射率且不吸光的高科技材料，在光学级的亚克力板材底面用激光雕刻、V型十字网格雕刻、UV网版印刷技术印上导光点。导光板也是液晶显示屏背光模组的重要组成部分,在其生产过程中不可避免会出现亮点、划伤、压伤等缺陷,直接影响显示效果。根据缺陷的形状，将缺陷分为两大类：点缺陷与线缺陷。点缺陷主要指的是在导光板内部形成的点状缺陷，主要包括亮点与压伤。在塑化过程中，塑胶原料因温度过低从而导致不能完全熔化、成型机周围粉尘较重或者塑胶原料不干净，掺杂着白色的杂质等，会呈现出亮点缺陷。而线缺陷指的是在导光板表面形成的线状缺陷，主要是导光板表面出现划伤痕迹。形成原因主要有模仁表面刮伤，或者在导光板生产过程中由于导光板接触面的不洁净，如抛光机、滚轮清洁等，与导光板在运动过程中产生较大的摩擦，从而在导光板表面形成条状划痕。

目前，国内导光板缺陷检测主要依靠人工操作去完成，但人工检测缺陷的局限性非常明显，主要在于：(1)人工检测环境不佳，工人长期面对导光板，会严重损害员工视力；(2)导光板缺陷检测主要凭借人眼判断识别，存在着人为主观因素，难以形成可以量化的质量标准；(3)人工操作易受到多种因素干扰，如外界环境，人眼疲劳等，使得实际检测效率与精度都会受到一定的影响；(4)导光板检测复杂度高，难度大，缺陷种类多，员工很难掌握相关检测技术。

目前手机导光板缺陷检测主要通过验光人员人工完成，在检验治具的打光条件下，点亮导光板，检测人员目测导光板某处或多处是否出现亮点、划伤等缺陷，从而判定导光板是否存在缺陷。由于人工检测缺陷的各种局限性，人工亮点检测的精度、效率、稳定性等很难适应企业的要求。为取得高质量导光板检测图像，需要采用高分辨率的面阵相机进行取像，获得的导光板缺陷图像大小在20M左右。在工业现场，企业要求在5秒之内完成对一张导光板的缺陷检测，这也对缺陷的检测效率提出了更高的要求。现有基于深度学习的缺陷检测方法并非是一个端到端的检测，需要多个阶段的过程完成对缺陷的检测，这使得基于深度学习的缺陷检测方法在实际部署中比较困难。

发明内容

本发明要解决的技术问题是提供一种基于多任务学习网络的手机导光板缺陷可视化检测方法，完成对缺陷的定位任务与缺陷有无的分类的同时，提供可视化的结果。

为解决上述技术问题，本发明一种基于多任务学习网络的手机导光板缺陷可视化检测方法，包括以下步骤：

步骤1、采集导光板图像：

在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像传到上位机进行处理；

步骤2、图像预处理：

在上位机中，利用阈值分割技术来剔除步骤1中采集得到的导光板图像中所包含的黑色背景，获得导光板ROI的区域图像；

然后将导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，相邻的图像之间有1/10图像宽度的重叠，H＝224，W＝224，以下出现的H、W均与之相同；

步骤3、建立并训练、测试多任务学习网络，包括特征提取、特征融合、分割头Segmentation Head和分类头Classification Head四个子网络，然后保存并输出训练好的多任务学习网络；

步骤4、使用训练好的多任务学习网络进行缺陷检测，并输出结果：

使用特征提取子网络对步骤2获得的H×W×1的小图像提取多尺度特征图，然后通过特征融合子网络使用特征融合的方式对提取出来的多尺度特征图进行交互，使每一单一尺度特征获得多个尺度的特征表达，然后再利用分割头Segmentation Head子网络定位缺陷的具体位置，最后利用分类头Classification Head子网络完成对缺陷的分类任务，输出结果包括二部分：一个是分割头Segmentation Head子网络语义分割输出的缺陷掩膜，是尺寸为H×W×1的黑白图像，另一个是分类头Classification Head子网络的输出结果，是预测为缺陷样本的概率，最后，将上述结果在上位机上显示并存储。

作为本发明一种基于多任务学习网络的手机导光板缺陷可视化检测方法的改进：

步骤3建立并训练、测试多任务学习网络的步骤具体如下：

步骤3-1、构建特征提取子网络：

将步骤2图像预处理获得的H×W×1的小图像输入特征提取子网络，首先经过一个步长为1的核尺寸为3*3的卷积，随后经过编码器基本单元，得到尺寸为H×W×C第一特征图，随后将步长为2的3×3卷积、编码器基本单元操作连续重复三次，依次得到尺寸为H/2×W/2×2C的第二特征图、尺寸为H/4×W/4×4C的第三特征图、尺寸为H/8×W/8×8C的第四特征图；

步骤3-2、构建特征融合子网络：

所述特征融合子网络包括四层结构，通过对特征提取子网络输出的四种尺寸不同的特征图，分别以逐步特征融合的方式进行层与层之间的交互，对应输出四种尺寸的特征图，尺寸分别为H×W×C，H/2×W/2×2C，H/4×W/4×4C，H/8×W/8×8C；

所述交互方式包括上采样和下采样两种；逐步特征融合为：首先将相邻的两个尺度特征进行特征融合，然后再进行相邻三个的特征融合；特征融合包括高分辨率向低分辨率特征图进行特征融合和低分辨率向高分辨率特征图进行特征融合；高分辨率向低分辨率特征图进行特征融合为高分辨率特征图通过步长为2核大小为3×3的卷积进行下采样操作，获得与原低分辨率特征图分辨率、通道均一致的特征图，然后与原低分辨率特征图进行相加操作进行特征融合，形成新的低分辨率特征图；低分辨率向高分辨率特征图进行特征融合为低分辨率特征图通过步长为1核大小3×3的卷积加上双线性插值上采样操作，获得与原高分辨率特征图的分辨率、通道均一致的特征图，然后与原高分辨率特征图进行相加操作进行特征融合，形成新的高分辨率特征图；

步骤3-3、构建分割头Segmentation Head子网络

分割头Segmentation Head子网络包括四层步长为1的核尺寸为3*3的卷积，分别对步骤3-2输出的四种尺寸的特征图进行操作，分别将四种尺寸的特征图通道数变为C，四个特征图尺寸分别为H×W×C、H/2×W/2×C、H/4×W/4×C和H/8×W/8×C；然后，进行双线性插值上采样为四个分辨率为H×W的特征图，进而将四个特征图进行拼接形成H×W×4C的特征图，最后，进行步长为1的核尺寸为1*1的卷积生成缺陷掩膜，是尺寸为H×W×1的黑白图像；

步骤3-4、构建分类头(Classification Head)子网络

将步骤3-2中特征融合子网络输出的H/4×W/4×4C的特征图通过步长为2的编码器基本单元与步骤3-2中特征融合子网络输出的H/8×W/8×8C的特征图进行相加，再依次经过步长为2的编码器基本单元与步长为1的核尺寸为1*1的卷积，最后进行全局最大池化global max-pool与全局平均池化global avg-pool，形成64个神经元；将步骤3-3中分割头Segmentation Head子网络输出的H×W×1的缺陷掩膜进行全局最大池化global max-pool与全局平均池化global avg-pool后与前述64个神经元连接为66个输出神经元，这66个输出神经元经过全连接层Fully Connected后形成最终的神经元输出P：预测为缺陷样本的概率；

最后将步骤3-1构建的特征提取子网络、步骤3-2构建的特征融合子网络、步骤3-3构建的分割头Segmentation Head子网络和步骤3-4构建的分类头Classification Head子网络连接成一个完整的网络得到建立好的多任务学习网络；

步骤3-5、训练并测试多任务学习网络：

步骤3-5-1、建立数据集

在手机导光板生产线末端，通过导光板图像采集装置，采用高分辨率工业相机进行采集工业现场的导光板图像，然后按步骤2对图像预处理后建立训练和测试用的数据集，包括232张缺陷图像和3048张不含缺陷的图像：将数据集中30％作为训练集，包含70张缺陷图像和945张不含缺陷的图像，数据集中30％作为测试集，包含162张缺陷图像和2103张不含缺陷的图像；然后将训练集的每个图像设置两种手工标签：一种是语义分割掩膜标签，另一种是分类标签：含缺陷对应1，不含缺陷图像对应0；对每个图像建立一份训练样本，包括每个图像对应的语义分割标签与分类标签；为了防止数据的过拟合，在训练集中使用5-折交叉验证，即4/5的训练集作为真实的训练集，1/5的训练集作为真实的验证集；

步骤3-5-2、建立损失函数

多任务学习网络的损失函数为：

Net_loss＝Seg_loss+Cls_loss，

其中Seg_loss为分割头Segmentation Head子网络的损失函数，Cls_loss为分类头Classification Head子网络损失函数，

Seg_loss＝BCE_loss-log(Dice_cofficient)，

其中，

y_ij是样本标签，正样本标签为1，负样本标签为0，p_ij是对应预测正样本的概率，H为图像的高，W为图像的宽，i为像素点的纵坐标，j为像素点的横坐标，

pred是缺陷分割的概率图，label是样本真实的标签；

Cls_loss＝y·log(p)+(1-y)log(1-p)，

其中，y是样本的分类标签，正样本标签为1，负样本标签为0，p为对应预测样本分类为正样本的概率；

步骤3-5-3、网络训练

使用tensorflow2.0搭建网络进行训练和测试，训练中批大小取6，优化器采用Adam优化器，学习率为0.001；训练中每个批大小的样本数据中，设置成含有一半批大小的正样本与一半批大小的负样本；

将训练集输入到所述建立好的多任务学习网络中进行训练，多任务学习网络的输出预测结果与样本对应的语义分割掩膜标签与分类标签通过损失函数Net_loss计算当前轮次多任务学习网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降；若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，多任务学习网络共训练200轮；

训练完成后得到训练好的多任务学习网络；

步骤3-5-4、离线测试

使用测试集对训练好的多任务学习网进行检测，统计离线测试结果：TP＝161，FN＝1，TN＝2103，FP＝0，准确率达到了99.96％；准确率Acc定义如下：

其中，TP是将正样本预测为正样本的数目，FN是将正样本预测为负样本的数目，TN是将负样本预测为负样本的数目，FP是将负样本预测为正样本的数目。

作为本发明一种基于多任务学习网络的手机导光板缺陷可视化检测方法的进一步改进：

所述编码器基本单元包括：依次为一个核尺寸为3*3的卷积Conv3*3+批归一化BN操作+激活函数ReLU层、一个混合深度卷积MixConv+批归一化BN操作+激活函数ReLU层、一个concat操作用于特征联合和一个add操作用于信息叠加；

作为本发明一种基于多任务学习网络的手机导光板缺陷可视化检测方法的进一步改进：

所述多任务学习网络中只要有卷积操作，后面均附加批归一化BN操作+激活函数；当要求输出范围在0到1之间时，激活函数采用Sigmoid，其他情况下激活函数均采用ReLU。

本发明具备的优势如下：

1、本发明为基于多任务学习网络，将缺陷的定位任务与缺陷的分类任务结合起来，使得卷积神经网络可以同时完成这两种任务，实现端到端的检测过程，使得深度学习的缺陷检测方法在实际部署过程变得容易；

2、与传统的检测算法相比，针对导光板图像疏密区不同的特点，常常需要进行分区处理，针对不同的分区，采用不同的处理策略，而本发明不需要区分导光点疏密的问题，深度学习网络可以通过学习的方式来解决这一问题；

3、对于样本数据不平衡的问题，提出了如下训练策略：每个批大小样本中包含一半正样本与一半负样本，这有利于网络训练的稳定性，加快网络的收敛速度；

4、本发明检测算法通用性强，稳定性强，降低误判和漏检，提高检测精度。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细说明。

图1为本发明一种基于多任务学习网络的手机导光板缺陷可视化检测方法的流程图；

图2为本发明中多任务学习网络的结构示意图；

图3为图2中多任务学习网络的编码器基本单元的结构示意图；

图4为图2中多任务学习网络的特征提取的示例图；

图5为图2中多任务学习网络的特征融合的示例图；

图6为图2中分割头子网络的结构示意图；

图7为图2中分类头子网络的结构示意图；

图8为多任务学习网络的训练样本示意图；

图9为一种基于多任务学习网络的手机导光板缺陷可视化检测方法的检测结果示意图。

具体实施方式

下面结合具体实施例对本发明进行进一步描述,但本发明的保护范围并不仅限于此。

实施例1、一种基于多任务学习网络的手机导光板缺陷可视化检测方法，如图1中虚线路径为网络建立、训练过程，实线路径为在线生产过程，具体包括步骤如下:

S01、采集导光板图像

在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像传到上位机进行处理。

S02、图像预处理

采集的导光板图像含有背景区域，在上位机中，利用阈值分割技术来剔除S01中采集得到的导光板图像中所包含的背景，获得导光板ROI的区域图像，进一步提升检测效率；

然后，将提取的导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，其中相邻的图像之间有1/10图像宽度的左右重叠，可以保证缺陷图像边缘的完整性，不至于因为图像分割导致完整缺陷被分割开；这一组裁剪出来H×W×1的小图像作为后续步骤的输入，这里H＝224，W＝224，以下出现的H、W大小与之相同；

S03、建立多任务学习网络

多任务学习网络包括特征提取、特征融合、分割头(Segmentation Head)和分类头(Classification Head)四个子网络；

S0301、建立编码器基本单元

编码器基本单元，如图3，依次为一个核尺寸为3*3的卷积(Conv3*3)+批归一化(BN)操作+激活函数(ReLU)层、一个混合深度卷积(MixConv)+批归一化(BN)操作+激活函数(ReLU)层、一个concat操作用于特征联合和一个add操作用于信息叠加；

卷积和混合深度卷积(MixConv)的结合使用，一方面减少了网络结构的参数与计算量，另一方面充分利用通道图中的冗余特征，使用不同大小的卷积核，获取不同感受野的下的特征图，更好地在单个卷积操作中进行特征融合；混合深度卷积(MixConv)对应四种尺寸特征图的分组数目分别为1，2，3，4，对应的卷积核大小分别是(3)，(3，5)，(3，5，7)，(3，5，7，9)，当分组数目等于2时，通道数等分，通道数大于2时，通道数分组采用2的指数形式划分；在本发明中特征提取子网络输出四种特征图尺寸分别为H×W×C，H/2×W/2×2C，H/4×W/4×4C，H/8×W/8×8C，C＝16，所以通道数依次为16，32，64，128；当通道数为64时，分组数目为3，卷积核大小分别是3×3、5×5、7×7，对应的通道数比例为4∶2∶2，即对应三种大小卷积核数目为32、16、16；当通道数为128时，分组数目为4，卷积核大小分别是3×3、5×5、7×7、9×9，对应的通道数比例为8∶4∶2∶2，即对应三种大小卷积核数目为64、32、16、16；

批归一化BN(Batch Normalization)操作，是将输入像素点x_i先减去均值μ然后除以均方差

得到归一化的值x_i，然后进行尺度变换和偏移得到批归一化处理后的值y_i，其中：

n为批处理大小；ε为固定值，为了防止除0错误；γ和β是网络学习到的参数，本网络中对应的卷积层之后默认均进行批归一化(BN)操作，有利于网络的正则化；

ReLU和Sigmoid均为激活函数，其中：

默认在批归一化(BN)之后紧接一个激活函数，当要求输出范围在0到1之间时，采用Sigmoid，其他情况下均采用ReLU；所述多任务学习网络的特征提取、特征融合、分割头(Segmentation Head)和分类头(Classification Head)四个子网络中只要有卷积操作，后面均附加批归一化(BN)操作+激活函数；

需指出的是，为简化描述和简化附图标识，在下文描述中以及各个附图中，卷积+批归一化(BN)操作+激活函数(ReLU)均只描述成卷积操作；

S0302构建特征提取子网络

特征提取子网络类似于Unet网络的编码器部分，用于提取多尺度特征，从上往下，第一层包括一个步长为1的核尺寸为3*3的卷积和一个编码器基本单元，第二层、第三层和第四层均包括步长为2的核尺寸为3*3的卷积和一个编码器基本单元；

将S02图像预处理获得的H×W×1的小图像输入特征提取子网络，首先经过一个步长为1的核尺寸为3*3的卷积(Conv3*3)，将网络输入图片的通道数拓展到C，此时网络的特征图尺寸为H×W×C，随后经过编码器基本单元，在单个卷积操作中完成多个不同大小卷积核操作，得到不同感受野下的第一种尺寸的特征图，简称第一特征图，以下同理；随后将下采样操作、编码器基本单元操作连续重复三次，得到另外三种不同分辨率与通道数的特征图，分别为尺寸为H/2×W/2×2C的第二特征图、尺寸为H/4×W/4×4C的第三特征图、尺寸为H/8×W/8×8C的第四特征图；下采样操作，具体是步长为2的3×3卷积，特征图分辨率变为原先的一半而通道数翻倍；其中，第一特征图与第二特征图部分的特征提取如图4所示；

S0303、构建特征融合子网络

特征融合子网络包括四层结构，通过对特征提取子网络输出的四种尺寸不同的特征图，分别以逐步特征融合的方式进行层与层之间的交互，然后对应输出四种尺寸的特征图；交互方式有两种，一个是上采样，一个是下采样，在主体网络结构的特征融合部分，采用逐步特征融合：首先将相邻的两个尺度特征进行特征融合，然后再进行相邻三个的特征融合，如图5，以特征提取子网络输出的第一特征图和第二特征图之间的特征融合为例，第一特征图和第二特征图的尺寸分别是H×W×C和H/2×W/2×2C，这两种特征图分辨率依次减半，通道数依次翻倍，当H×W×C的特征图与H/2×W/2×2C特征融合时，即高分辨率向低分辨率特征图进行特征融合，通过步长为2，核大小为3×3的卷积进行下采样操作，将高分辨率特征图变换成与低分辨率特征图分辨率、通道均一致，然后与原来低分辨率特征图进行相加操作进行特征融合，形成新的低分辨率特征图，上采样操作则通过步长为1核大小3×3的卷积加上双线性插值上采样进行，融合的方式与下采样时的融合方式相同，从而分别获得二个新的融合特征图；同样的，对于特征提取子网络输出第三特征图和第四特征图之间通过特征融合进行交互后获得对应的二个新的融合特征图；然后对相邻三个新的融合特征图再通过特征融合的方式进行交互，最终，特征融合子网络输出四种尺寸的特征图，尺寸分别为H×W×C，H/2×W/2×2C，H/4×W/4×4C，H/8×W/8×8C；

S0304、构建分割头(Segmentation Head)子网络

分割头(Segmentation Head)子网络，如图6，包括四层步长为1的核尺寸为3*3的卷积(Conv3*3)，分别对S0303输出的四种尺寸的特征图进行操作，分别将S0303输出的四种尺寸的特征图通道数变为C，此时四个特征图尺寸分别为H×W×C、H/2×W/2×C、H/4×W/4×C和H/8×W/8×C；然后，进行双线性插值上采样为四个分辨率为H×W的特征图，即和S02图像预处理后的图片分辨率一致，进而将四个特征图进行拼接形成H×W×4C的特征图，最后，进行步长为1的核尺寸为1*1的卷积(Conv1*1)生成缺陷掩膜，是尺寸为H×W×1的黑白图像，用于预测缺陷在样本图像中的具体位置；

分割头(Segmentation Head)子网络利用S0303中的特征融合子网络提取出来的四个多尺度特征，采用先卷积后上采样的方式生成用于分割的特征图，相比于先上采样后卷积的方式，该方式计算量更少且占据显存更少；

S0305、构建分类头(Classification Head)子网络

将S0303输出的四种尺寸的特征图中后两个尺寸为H/4×W/4×4C和H/8×W/8×8C的特征图，具有较大感受野的特征，并结合S0304分割头(Segmentation Head)子网络输出的H×W×1的缺陷掩膜共同作为分类头(Classification Head)的输入，完成对缺陷的分类；如图7，S0303特征融合子网络输出的H/4×W/4×4C的特征图通过步长为2的编码器基本单元与S0303特征融合子网络输出的H/8×W/8×8C的特征图进行相加，再依次经过步长为2的编码器基本单元与步长为1的核尺寸为1*1的卷积(Conv1*1)生成H/16×W/16×32的特征图，最后网络进行全局最大池化(global max-pool)与全局平均池化(global avg-pool)，形成64个神经元；S0304分割头(Segmentation Head)子网络输出的H×W×1的缺陷掩膜，其中缺陷掩膜已经经过Sigmoid激活，然后进行全局最大池化(global max-pool)与全局平均池化(global avg-pool)后形成2个神经元，与前述64个神经元连接为66个输出神经元，这66个输出神经元经过全连接层(Fully Connected)后形成最终的神经元输出P：预测为缺陷样本的概率，用于预测图像是否含有缺陷；

将S0302构建的特征提取子网络、S0303构建的特征融合子网络、S0304构建的分割头(Segmentation Head)子网络和S0305构建的分类头(Classification Head)子网络连接成一个完整的多任务学习网络；

S04、训练并测试多任务学习网络

S0401、建立数据集

在手机导光板生产线末端，通过导光板图像采集装置，包括采用高分辨率工业相机进行采集工业现场的导光板图像，然后按S02对图像预处理后建立训练和测试用的数据集，包括232张缺陷图像和3048张不含缺陷的图像；将数据集中30％作为训练集，包含70张缺陷图像和945张不含缺陷的图像，将数据集中70％作为测试集，包含162张缺陷图像和2103张不含缺陷的图像；然后将训练集的每个图像设置两种手工标签：一种是语义分割掩膜标签，另一种是分类标签(含缺陷对应1，不含缺陷图像对应0)，对每个图像建立一份训练样本，包括每个图像对应的语义分割标签与分类标签，样本示意如图8所示，图8中第一排Samples为导光板样本图像，第二排Ground Truth为对应的语义分割掩膜标签；为了防止数据的过拟合，在训练集中使用5-折交叉验证，即4/5的训练集作为真实的训练集，1/5的训练集作为真实的验证集；

S0402、建立损失函数

多任务学习网络的损失函数为：

Net_loss＝Seg_loss+Cls_loss，

其中Seg_loss为分割头(Segmentation Head)子网络的损失函数，Cls_loss为分类头(Classification Head)子网络损失函数，

Seg_loss＝BCE_loss-log(Dice_cofficient)，

其中，

y_ij是样本标签，正样本标签为1，负样本标签为0，p_ij是对应预测正样本的概率，H为图像的高，W为图像的宽，i为像素点的纵坐标，j为像素点的横坐标，

pred是缺陷分割的概率图，label是样本真实的标签，

从BCE_loss的公式上看，BCE_loss的取值范围为[0，+∞)，而Dice系数的取值范围为[0，1]，对Dice_cofficient取负对数，是为了保证BCE_loss与Dice系数处于同一个数量级上；

分类头(Classification Head)子网络损失函数为：

Cls_loss＝y·log(p)+(1-y)log(1-p)

式中，y是样本的分类标签，正样本标签为1，负样本标签为0，p为对应预测样本分类为正样本的概率；

S0403、训练多任务学习网络

使用tensorflow2.0搭建网络进行训练和测试，训练中批大小取6，优化器采用Adam优化器，学习率为0.001；

针对正负样本不均衡的情况，采用如下的训练策略：训练中每个批大小的样本数据中，设置成含有一半批大小的正样本与一半批大小的负样本；将训练集输入到S03建立的多任务学习网络中进行训练，多任务学习网络的输出预测结果与样本对应的语义分割掩膜标签和分类标签通过损失函数Net_loss计算当前轮次多任务学习网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降；若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，多任务学习网络共训练200轮，从而最终获得训练好的多任务学习网络；

S0404、离线测试

使用测试集对训练好的多任务学习网进行检测，统计离线测试结果：TP＝161，FN＝1，TN＝2103，FP＝0，计算检测准确率如表1；

表1离线测试结果：

准确率Acc定义如下：

F1-score定义如下：

其中，TP是将正样本预测为正样本的数目，FN是将正样本预测为负样本的数目，TN是将负样本预测为负样本的数目，FP是将负样本预测为正样本的数目；

平均交并比MIoU定义：

其中k代表类别数，i表示真实值，j表示预测值，p_ij表示真实值是i，被预测为j的数量；

从上述结果总可以发现，本发明提出的网络结构具有较高的准确率，准确率达到99.96％，F1-score达到99.69％，证明了本发明基于多任务学习网络准确率较高，在导光板缺陷检测的任务上能够取得优异的效果，同时由于训练集和测试集均为生产线上实际的导光板图像，也验证了本发明适用于在线生产的检测。

S05、使用训练好的多任务学习网络进行缺陷检测并输出结果

使用特征提取子网络对S02图像预处理后的H×W×1的小图像提取多尺度特征图，然后通过特征融合子网络使用特征融合的方式对提取出来的多尺度特征图进行交互，使每一单一尺度特征获得多个尺度的特征表达，然后再利用分割头(Segmentation Head)子网络定位缺陷的具体位置；最后利用分类头(Classification Head)子网络完成对缺陷的分类任务，最终输出结果包括二部分，一个是分割头(Segmentation Head)子网络语义分割输出的缺陷掩膜，是尺寸为H×W×1的黑白图像，可用于定位缺陷的具体位置，一个是分类头(Classification Head)子网络的输出结果，是预测为缺陷样本的概率，可以用于判断图像中是否包含缺陷，如图9，图9中的三列图像，第一列Samples为导光板样本图像，第二列Ground Truth为对应的语义分割标签，第三列Ours为对应的检测结果，第三列Ours每个图像左上角的数字为该样本被检测为缺陷样本的概率；

将上述结果输出并存储在上位机上，供实时显示结果和事后查询分析结果使用。

最后，需要注意的是，以上所列举的仅是本发明的若干个具体实施例。显然，本发明不限于以上实施例，还可以有许多变形。本领域的普通技术人员能从本发明公开的内容直接导出或联想到的所有变形，均应认为是本发明的保护范围。

Claims (4)

1.一种基于多任务学习网络的手机导光板缺陷可视化检测方法，其特征在于，包括以下步骤：

步骤1、采集导光板图像：

在手机导光板生产线末端，设置导光板图像采集装置，采用高分辨率线扫相机进行图像采集，然后将采集到的导光板图像传到上位机进行处理；

步骤2、图像预处理：

在上位机中，利用阈值分割技术来剔除步骤1中采集得到的导光板图像中所包含的黑色背景，获得导光板ROI的区域图像；

然后将导光板ROI的区域图像裁剪成一组尺寸为H×W×1的小图像，相邻的图像之间有1/10图像宽度的重叠，H＝224，W＝224，以下出现的H、W均与之相同；

步骤3、建立并训练、测试多任务学习网络，包括特征提取、特征融合、分割头Segmentation Head和分类头Classification Head四个子网络，然后保存并输出训练好的多任务学习网络；

步骤4、使用训练好的多任务学习网络进行缺陷检测，并输出结果：

使用特征提取子网络对步骤2获得的H×W×1的小图像提取多尺度特征图，然后通过特征融合子网络使用特征融合的方式对提取出来的多尺度特征图进行交互，使每一单一尺度特征获得多个尺度的特征表达，然后再利用分割头Segmentation Head子网络定位缺陷的具体位置，最后利用分类头Classification Head子网络完成对缺陷的分类任务，输出结果包括二部分：一个是分割头Segmentation Head子网络语义分割输出的缺陷掩膜，是尺寸为H×W×1的黑白图像，另一个是分类头Classification Head子网络的输出结果，是预测为缺陷样本的概率，最后，将上述结果在上位机上显示并存储。

2.根据权利要求1所述的一种基于多任务学习网络的手机导光板缺陷可视化检测方法，其特征在于所述步骤3建立并训练、测试多任务学习网络的步骤具体如下：

步骤3-1、构建特征提取子网络：

将步骤2图像预处理获得的H×W×1的小图像输入特征提取子网络，首先经过一个步长为1的核尺寸为3*3的卷积，随后经过编码器基本单元，得到尺寸为H×W×C第一特征图，随后将步长为2的3×3卷积、编码器基本单元操作连续重复三次，依次得到尺寸为H/2×W/2×2C的第二特征图、尺寸为H/4×W/4×4C的第三特征图、尺寸为H/8×W/8×8C的第四特征图；

步骤3-2、构建特征融合子网络：

所述特征融合子网络包括四层结构，通过对特征提取子网络输出的四种尺寸不同的特征图，分别以逐步特征融合的方式进行层与层之间的交互，对应输出四种尺寸的特征图，尺寸分别为H×W×C，H/2×W/2×2C,H/4×W/4×4C,H/8×W/8×8C；

所述交互方式包括上采样和下采样两种；逐步特征融合为：首先将相邻的两个尺度特征进行特征融合，然后再进行相邻三个的特征融合；特征融合包括高分辨率向低分辨率特征图进行特征融合和低分辨率向高分辨率特征图进行特征融合；高分辨率向低分辨率特征图进行特征融合为高分辨率特征图通过步长为2核大小为3×3的卷积进行下采样操作，获得与原低分辨率特征图分辨率、通道均一致的特征图，然后与原低分辨率特征图进行相加操作进行特征融合，形成新的低分辨率特征图；低分辨率向高分辨率特征图进行特征融合为低分辨率特征图通过步长为1核大小3×3的卷积加上双线性插值上采样操作，获得与原高分辨率特征图的分辨率、通道均一致的特征图，然后与原高分辨率特征图进行相加操作进行特征融合，形成新的高分辨率特征图；

步骤3-3、构建分割头Segmentation Head子网络

分割头Segmentation Head子网络包括四层步长为1的核尺寸为3*3的卷积，分别对步骤3-2输出的四种尺寸的特征图进行操作，分别将四种尺寸的特征图通道数变为C，四个特征图尺寸分别为H×W×C、H/2×W/2×C、H/4×W/4×C和H/8×W/8×C；然后，进行双线性插值上采样为四个分辨率为H×W的特征图，进而将四个特征图进行拼接形成H×W×4C的特征图，最后，进行步长为1的核尺寸为1*1的卷积生成缺陷掩膜，是尺寸为H×W×1的黑白图像；

步骤3-4、构建分类头(Classification Head)子网络

将步骤3-2中特征融合子网络输出的H/4×W/4×4C的特征图通过步长为2的编码器基本单元与步骤3-2中特征融合子网络输出的H/8×W/8×8C的特征图进行相加，再依次经过步长为2的编码器基本单元与步长为1的核尺寸为1*1的卷积，最后进行全局最大池化global max-pool与全局平均池化global avg-pool，形成64个神经元；将步骤3-3中分割头Segmentation Head子网络输出的H×W×1的缺陷掩膜进行全局最大池化global max-pool与全局平均池化global avg-pool后与前述64个神经元连接为66个输出神经元，这66个输出神经元经过全连接层Fully Connected后形成最终的神经元输出P：预测为缺陷样本的概率；

最后将步骤3-1构建的特征提取子网络、步骤3-2构建的特征融合子网络、步骤3-3构建的分割头Segmentation Head子网络和步骤3-4构建的分类头Classification Head子网络连接成一个完整的网络得到建立好的多任务学习网络；

步骤3-5、训练并测试多任务学习网络:

步骤3-5-1、建立数据集

在手机导光板生产线末端，通过导光板图像采集装置，采用高分辨率工业相机进行采集工业现场的导光板图像，然后按步骤2对图像预处理后建立训练和测试用的数据集，包括232张缺陷图像和3048张不含缺陷的图像：将数据集中30％作为训练集，包含70张缺陷图像和945张不含缺陷的图像，数据集中30％作为测试集，包含162张缺陷图像和2103张不含缺陷的图像；然后将训练集的每个图像设置两种手工标签：一种是语义分割掩膜标签，另一种是分类标签：含缺陷对应1，不含缺陷图像对应0；对每个图像建立一份训练样本，包括每个图像对应的语义分割标签与分类标签；为了防止数据的过拟合，在训练集中使用5-折交叉验证，将4/5的训练集作为真实的训练集，1/5的训练集作为真实的验证集；

步骤3-5-2、建立损失函数

多任务学习网络的损失函数为：

Net_loss＝Seg_loss+Cls_loss，

其中Seg_loss为分割头Segmentation Head子网络的损失函数，Cls_loss为分类头Classification Head子网络损失函数，

Seg_loss＝BCE_loss-log(Dice_cofficient)，

其中，

y_ij是样本标签，正样本标签为1，负样本标签为0，p_ij是对应预测正样本的概率，H为图像的高，W为图像的宽，i为像素点的纵坐标，j为像素点的横坐标，

pred是缺陷分割的概率图，label是样本真实的标签；

Cls_loss＝y·log(p)+(1-y)log(1-p)，

其中，y是样本的分类标签，正样本标签为1，负样本标签为0，p为对应预测样本分类为正样本的概率；

步骤3-5-3、网络训练

使用tensorflow2.0搭建网络进行训练和测试，训练中批大小取6，优化器采用Adam优化器，学习率为0.001；训练中每个批大小的样本数据中，设置成含有一半批大小的正样本与一半批大小的负样本；

将训练集输入到所述建立好的多任务学习网络中进行训练，多任务学习网络的输出预测结果与样本对应的语义分割掩膜标签与分类标签通过损失函数Net_loss计算当前轮次多任务学习网络的损失，通过反向传播算法和梯度下降算法调整网络参数使训练集损失不断下降；若当前训练轮次中验证集损失低于上一轮次中验证集损失，则保存当前轮次的模型，多任务学习网络共训练200轮；

训练完成后得到训练好的多任务学习网络；

步骤3-5-4、离线测试

使用测试集对训练好的多任务学习网进行检测，统计离线测试结果：TP＝161，FN＝1，TN＝2103，FP＝0，准确率达到了99.96％；准确率Acc定义如下：

其中，TP是将正样本预测为正样本的数目，FN是将正样本预测为负样本的数目，TN是将负样本预测为负样本的数目，FP是将负样本预测为正样本的数目。

3.根据权利要求2所述的一种基于多任务学习网络的手机导光板缺陷可视化检测方法，其特征在于：

所述编码器基本单元包括：依次为一个核尺寸为3*3的卷积Conv3*3+批归一化BN操作+激活函数ReLU层、一个混合深度卷积MixConv+批归一化BN操作+激活函数ReLU层、一个concat操作用于特征联合和一个add操作用于信息叠加。

4.根据权利要求3所述的一种基于多任务学习网络的手机导光板缺陷可视化检测方法，其特征在于：

所述多任务学习网络中只要有卷积操作，后面均附加批归一化BN操作+激活函数；当要求输出范围在0到1之间时，激活函数采用Sigmoid，其他情况下激活函数均采用ReLU。

Images