CN117132584B - 一种基于深度学习的液晶显示屏瑕疵检测方法及装置 - Google Patents

Abstract

一种基于深度学习的液晶显示屏瑕疵检测方法及装置，涉及计算机视觉目标检测技术领域，通过设计轻量化特征提取网络，在保证液晶显示屏瑕疵特征提取能力的基础上减少计算量，提高模型的检测速度；设计跨层多尺度特征融合网络，高效的融合特征提取网络的浅层细粒度信息和深层语义信息；设计精细化预测网络，包括特征聚合器和特征提纯模块，特征聚合器融合了多层次的特征，提取更多上下文信息，增强细粒度特征的提取；特征提纯模块抑制了不同尺度特征图的冲突信息，减少语义差异，提高了模型对液晶显示屏瑕疵检测的准确率。

Description

一种基于深度学习的液晶显示屏瑕疵检测方法及装置

技术领域

本发明涉及计算机视觉目标检测技术领域，具体涉及一种基于深度学习的液晶显示屏瑕疵检测方法及装置。

背景技术

近年来，随着电子产品设备的超高速迭代更新，智能设备对液晶显示屏的要求越来越高，液晶显示屏的瑕疵检测是影响屏幕质量的重要环节。然而，如果在加工生产前检查材料的瑕疵，在一定程度上可以避免这些问题的产生。

随着机器自动化的飞速发展，许多工业领域的任务正在被机器智能所替代，这显著提升了生产过程中产品的自动化水平。然而，机器视觉技术长期以来一直依赖于人工设计特征，这导致了在某些情况下鲁棒性不足的问题。近年来，随着深度学习技术的迅速崛起，出现了一系列新的目标检测方法，如以YOLO为代表的一阶段目标检测器和以Fast RCNN为代表的二阶段目标检测器。虽然这些计算机视觉目标检测器已经在工厂液晶显示屏瑕疵检测中得到应用，但同时也面临着一些挑战。例如液晶显示屏的瑕疵种类繁多，不同瑕疵之间差异明显，而且有些瑕疵可能不太显著。此外，液晶显示屏的尺寸和形状多种多样，传统的目标检测器往往难以有效地处理这些问题，因为它们难以融合浅层细节和深层语义信息，这些信息对于准确检测至关重要。在实际的工厂生产环境中，产品质量检验必须在规定的时间内完成，这增加了挑战的复杂性。因此，迫切需要一种方法，既能够实时地完成检测任务，又能够精确地识别液晶显示屏上的各种瑕疵。这将有助于提高产品质量控制的效率和准确性，从而满足现代工厂生产的需求。

发明内容

本发明为了克服以上技术的不足，提供了一种有效解决上述液晶显示屏瑕疵检测的困难，提高对液晶显示屏瑕疵检测的精度和速度，保障产品进入市场的质量和效率。

本发明克服其技术问题所采用的技术方案是：

一种基于深度学习的液晶显示屏瑕疵检测方法，包括如下步骤：

a)拍摄N张液晶显示屏图像，得到液晶显示屏图像数据集P，P＝{P₁,P₂,...,P_i,...,P_N}，P_i为第i张液晶显示屏图像，i∈{1,2,...,N}；

b)对第i张液晶显示屏图像P_i进行预处理和数据增强操作，得到增强后的第i张液晶显示屏图像PI_i，增强后的液晶显示屏图像数据集为PI，PI＝{PI₁,PI₂,...,PI_i,...,PI_N}；

c)将增强后的液晶显示屏图像数据集PI划分为训练集、测试集、验证集；

d)建立液晶显示屏瑕疵检测模型的轻量化特征提取网络，将训练集中的第i张增强后的图像PI_i输入到轻量化特征提取网络中，输出得到特征图PI₁；

e)建立液晶显示屏瑕疵检测模型的跨层多尺度特征融合网络，将特征图PI₁输入到跨层多尺度特征融合网络中，输出得到特征图PI₂、特征图PI₃、特征图PI₄；

f)建立液晶显示屏瑕疵检测模型的精细化预测网络，将特征图PI₂、特征图PI₃、特征图PI₄输入到精细化预测网络中，输出得到最终特征图像m，最终特征图像m中包含瑕疵的类别、预测框的位置和置信度；

g)计算总损失L_Total；

h)通过Adam优化器利用总损失L_Total优化液晶显示屏瑕疵检测模型，得到优化后的液晶显示屏瑕疵检测模型。

进一步的，步骤b)包括如下步骤：

b-1)人工判断液晶显示屏图像数据集P中的液晶显示屏图像中是否有裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，如果没有则判定为没有瑕疵的图像，将没有瑕疵的图像去除，得到m张有瑕疵的液晶显示屏图像；

b-2)将有瑕疵的液晶显示屏图像尺寸调整为2560×1600，使用图像标注工具Labelme对第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i进行标注，利用矩形框标注出有瑕疵的液晶显示屏图像中裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，该矩形框为真实框，根据矩形框的左上角坐标、矩形框的右下角坐标、矩形框的宽度、矩形框的高度、瑕疵类别得到XML格式的标签x_i，得到XML格式标签集为X，X＝{x₁,x₂,...,x_i,...,x_m}，使用python将XML格式的标签x_i转化为TXT格式的标签T_i，得到TXT格式标签集为T，T＝{T₁,T₂,...,T_i,...,T_m}，瑕疵类别为：裂纹区域的类别为a₁、破损区域的类别为a₂、划痕区域的类别为a₃、水滴区域的类别为a₄、斑点区域的类别为a₅、毛刺区域的类别为a₆；

b-3)通过公式计算得到随机生成不同密度白噪声图像Q，m_i为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i在四个象限中第i个像素点的像素值，m_j为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i的白噪声标志矩阵，m_j为与m_i同尺寸的像素矩阵，m_j取值为0或1，m_j＝0时表示对应位置的m_i为白噪声，m_j＝1时表示对应位置的m_i像素值不变，i∈{1,2,...,2560×1600}，j∈{1,2,...,2560×1600}；

b-4)以白噪声图像Q中心点为原点建立直角坐标系，取白噪声图像Q第k象限的像素点p，k∈{1,2,3,4}，将像素点p作为掩码矩阵的左上角顶点，生成正方形的掩码m，掩码m的边长为w为白噪声图像Q的宽，h为白噪声图像Q的高，掩码取值为0或1，将掩码m与白噪声图像Q进行矩阵按位相乘操作，得到增强后的第i张液晶显示屏图像PI_i。

优选的，步骤c)中将增强后的液晶显示屏图像数据集PI按8:1:1的比例划分为训练集、测试集、验证集。

进一步的，步骤d)包括如下步骤：

d-1)轻量化特征提取网络由第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块构成；

d-2)轻量化特征提取网络的第一特征提取模块由第一逐点卷积模块、第二逐点卷积模块、注意力特征提取模块组成，第一逐点卷积模块、第二逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将第i张增强后的图像PI_i输入到第一特征提取模块的第一逐点卷积模块中，输出得到特征图PI_i′，将特征图PI_i′输入到第一特征提取模块的第二逐点卷积模块中，输出得到特征图PI_i″，将特征图PI_i″输入到第一特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图PI_p，将特征图PI_p输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图PI_o，将特征图PI_o输入到残差特征提取模块的第二卷积层中，输出得到特征图PI_l，将特征图PI_l输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图PI_k，将特征图PI_k与特征图PI_l进行逐元素相加操作，得到特征图PI_q，将特征图PI_q输入到残差特征提取模块的第三卷积层中，输出得到特征图PI_j，将特征图PI_j输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图PI_h，将特征图PI_h与特征图PI_j进行逐元素相加操作，得到特征图PI_w，将第i张增强后的图像PI_i与特征图PI_w进行逐元素相加操作，得到特征图PI_m，将特征图PI_m输入到通道注意力模块的第一卷积块中，输出得到特征图PI_u，将特征图PI_u输入到通道注意力模块的全局平均池化层中，输出得到特征图PI_y，将特征图PI_u输入到通道注意力模块的全局最大池化层中，输出得到特征图PI_t，将特征图PI_y与特征图PI_t逐元素相加操作，得到特征图PI_r，将特征图PI_r依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵W_m，将权重矩阵W_m与特征图PI_u逐元素相乘，得到160×160×64维度的特征图PI_a；

d-3)轻量化特征提取网络的第二特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_a输入到第二特征提取模块的逐点卷积模块中，输出得到特征图PI_a′，将特征图PI_a′输入到第二特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_a与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到80×80×128维度的特征图PI_b；

d-4)轻量化特征提取网络的第三特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_b输入到第三特征提取模块的逐点卷积模块中，输出得到特征图PI_b′，将特征图PI_b′输入到第三特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_b与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到40×40×256维度的特征图PI_c；

d-5)轻量化特征提取网络的第四特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_c输入到第四特征提取模块的逐点卷积模块中，输出得到特征图PI_c′，将特征图PI_c′输入到第四特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_c与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到20×20×512维度的特征图PI₁。

进一步的，步骤e)包括如下步骤：

e-1)跨层多尺度特征融合网络由第一融合节点、第二融合节点、第三融合节点、第四融合节点、第五融合节点、第六融合节点、第七融合节点、第八融合节点、第九融合节点构成；

e-2)第一融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_b输入到第一融合节点中，输出得到特征图e-3)第二融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_c输入到第二融合节点中，输出得到特征图/>e-4)第三融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图PI₁输入到第三融合节点中，输出得到特征图/>e-5)第四融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图/>与特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第四融合节点中，输出得到特征图/>e-6)第五融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图/>特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第五融合节点中，输出得到特征图/>e-7)第六融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图/>与特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第六融合节点中，输出得到特征图/>e-8)第七融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图/>特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第七融合节点中，输出得到特征图PI₂；

e-9)第八融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第八融合节点中，输出得到特征图PI₃；

e-10)第九融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第九融合节点中，输出得到特征图PI₄。

进一步的，步骤f)包括如下步骤：

f-1)精细化预测网络由特征聚合器、特征提纯模块、YOLOV5网络的检测头构成；f-2)精细化预测网络的特征聚合器由第一分支单元、第二分支单元、第三分支单元、卷积核大小为1×1的卷积层构成；

f-3)将特征图PI₃上采样2倍得到特征图将特征图PI₄上采样4倍得到特征图将特征图PI₂、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₁，将特征图PI₂下采样2倍得到特征图/>将特征图PI₄上采样2倍得到特征图/>将特征图PI₃、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₂，将特征图PI₂下采样4倍得到特征图/>将特征图PI₃下采样2倍得到特征图/>将特征图PI₄、特征图特征图/>通过Concat函数进行拼接操作，输出得到特征图f₃；f-4)特征聚合器的第一分支单元由卷积核大小为1×1的卷积层、最大池化层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₁输入到第一分支单元的卷积层中，输出得到特征图f1₁，将特征图f1₁输入到第一分支单元的最大池化层中，输出得到特征图f1₂，将特征图f1₂输入到第一分支单元的第一逐点卷积层中，输出得到特征图f1₃，将特征图f1₂与特征图f1₃进行残差操作后输入到第一分支单元的第二逐点卷积层中，输出得到特征图f1₄；

f-5)特征聚合器的第二分支单元由卷积核大小为1×1的卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₂输入到第二分支单元的卷积层中，输出得到特征图f2₁，将特征图f2₁输入到第二分支单元的第一逐点卷积层中，输出得到特征图f2₂，将特征图f2₁与特征图f2₂进行残差操作后输入到第二分支单元的第二逐点卷积层中，输出得到特征图f2₂；

f-6)特征聚合器的第三分支单元由卷积核大小为1×1的卷积层、上采样层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₃输入到第三分支单元的卷积层中，输出得到特征图f3₁，将特征图f3₁输入到第三分支单元的上采样层中，输出得到特征图f3₂，将特征图f3₂输入到第三分支单元的第一逐点卷积层中，输出得到特征图f3₃，将特征图f3₂与特征图f3₃进行残差操作后输入到第三分支单元的第二逐点卷积层中，输出得到特征图f3₄；

f-7)将特征图f1₄、特征图f2₂、特征图f3₄通过Concat函数进行拼接操作，得到特征图f₄，将特征图f₄输入到特征聚合器的卷积层中，输出得到特征图F；

f-8)精细化预测网络的特征提纯模块由全局平均池化层、全局最大池化层、Sigmoid函数构成，将特征图F依次输入到全局平均池化层、Sigmoid函数中，输出得到权重向量v₁，将特征图F依次输入到全局最大池化层、Sigmoid函数中，输出得到权重向量v₂，将权重向量v₁和权重向量v₂进行逐元素相加操作得到向量F1，将向量F1与特征图F进行逐元素相乘操作得到特征图F′；

f-9)将特征图F′输入到精细化预测网络的YOLOV5网络的检测头中，得到最终特征图像m，最终特征图像m中包含瑕疵的类别、瑕疵位置的矩形框和置信度，瑕疵位置的矩形框为预测框。

进一步的，步骤g)包括如下步骤：

g-1)通过公式计算得到位置损失L_{C_SIOU}，式中IoU为预测框与真实框的面积的交集和预测框与真实框面积的并集的比值，α为控制模型的权重参数，Δ为预测框与真实框之间的距离损失，/>e为自然常数，∧为预测框和真实框之间的角度损失，c_w为真实框和预测框最小外接矩形的宽，c_h为真实框和预测框最小外接矩形的高，/>为真实框的中心点横坐标，/>为真实框的中心点纵坐标，为预测框的中心点横坐标，/>为预测框的中心点纵坐标，γ为不同尺度的预测框与真实框之间的形状损失，

为真实框的宽，h^gt为真实框的高，θ为形状成本值，θ取值为2-6，c_n＝a_nb_n，a_n为不同瑕疵类别的预测矩阵，a_n＝[a₁,a₂,a₃,a₄,a₅,a₆]，b_n＝[b₁,b₂,b₃,b₄,b₅,b₆]，b_i为第i种瑕疵类别a_i对应的真实框的长宽比；g-2)通过公式L_Total＝L_BCE+0.5L_{C_SIOU}计算得到总损失L_Total，式中L_BCE为交叉熵损失函数。

一种基于深度学习的液晶显示屏瑕疵检测装置，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

执行上述的基于深度学习的液晶显示屏瑕疵检测方法。

本发明的有益效果是：通过设计轻量化特征提取网络，在保证液晶显示屏瑕疵特征提取能力的基础上减少计算量，提高模型的检测速度；设计跨层多尺度特征融合网络，高效的融合特征提取网络的浅层细粒度信息和深层语义信息；设计精细化预测网络，包括特征聚合器和特征提纯模块，特征聚合器融合了多层次的特征，提取更多上下文信息，增强细粒度特征的提取；特征提纯模块抑制了不同尺度特征图的冲突信息，减少语义差异，提高了模型对液晶显示屏瑕疵检测的准确率，具有较高的鲁棒性。

附图说明

图1为本发明的方法流程图；

图2为本发明的轻量化特征提取网络的结构图；

图3为本发明的轻量化特征提取网络中逐点卷积模块的结构图；

图4为本发明的轻量化特征提取网络中的注意力特征提取模块的结构图；

图5为本发明的跨层多尺度特征融合结构图；

图6为本发明的精细化预测网络中的特征聚合器的结构图；

图7为精细化预测网络中的特征提纯模块的结构图。

具体实施方式

下面结合附图1至附图7对本发明做进一步说明。

一种基于深度学习的液晶显示屏瑕疵检测方法，包括如下步骤：

a)拍摄N张液晶显示屏图像，得到液晶显示屏图像数据集P，P＝{P₁,P₂,...,P_i,...,P_N}，P_i为第i张液晶显示屏图像，i∈{1,2,...,N}。

b)对第i张液晶显示屏图像P_i进行预处理和数据增强操作，得到增强后的第i张液晶显示屏图像PI_i，增强后的液晶显示屏图像数据集为PI，PI＝{PI₁,PI₂,...,PI_i,...,PI_N}。

c)将增强后的液晶显示屏图像数据集PI划分为训练集、测试集、验证集。

d)建立液晶显示屏瑕疵检测模型的轻量化特征提取网络，将训练集中的第i张增强后的图像PI_i输入到轻量化特征提取网络中，输出得到特征图PI₁。

e)建立液晶显示屏瑕疵检测模型的跨层多尺度特征融合网络，将特征图PI₁输入到跨层多尺度特征融合网络中，输出得到特征图PI₂、特征图PI₃、特征图PI₄。f)建立液晶显示屏瑕疵检测模型的精细化预测网络，将特征图PI₂、特征图PI₃、特征图PI₄输入到精细化预测网络中，输出得到最终特征图像m，最终特征图像m中包含瑕疵的类别、预测框的位置和置信度。

g)计算总损失L_Total。

h)通过Adam优化器利用总损失L_Total优化液晶显示屏瑕疵检测模型，得到优化后的液晶显示屏瑕疵检测模型。

可以有效解决上述液晶显示屏瑕疵检测的困难，提高对液晶显示屏瑕疵检测的精度和速度，保障产品进入市场的质量和效率。

在本发明的一个实施例中，步骤b)包括如下步骤：

b-1)人工判断液晶显示屏图像数据集P中的液晶显示屏图像中是否有裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，如果没有则判定为没有瑕疵的图像，将没有瑕疵的图像去除，得到m张有瑕疵的液晶显示屏图像。

b-2)将有瑕疵的液晶显示屏图像尺寸调整为2560×1600，使用图像标注工具Labelme对第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i进行标注，利用矩形框标注出有瑕疵的液晶显示屏图像中裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，该矩形框为真实框，根据矩形框的左上角坐标、矩形框的右下角坐标、矩形框的宽度、矩形框的高度、瑕疵类别得到XML格式的标签x_i，得到XML格式标签集为X，X＝{x₁,x₂,...,x_i,...,x_m}，使用python将XML格式的标签x_i转化为TXT格式的标签T_i，得到TXT格式标签集为T，T＝{T₁,T₂,...,T_i,...,T_m}，瑕疵类别为：裂纹区域的类别为a₁、破损区域的类别为a₂、划痕区域的类别为a₃、水滴区域的类别为a₄、斑点区域的类别为a₅、毛刺区域的类别为a₆。

b-3)通过公式计算得到随机生成不同密度白噪声图像Q，m_i为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i在四个象限中第i个像素点的像素值，m_j为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i的白噪声标志矩阵，m_j为与m_i同尺寸的像素矩阵，m_j取值为0或1，m_j＝0时表示对应位置的m_i为白噪声，m_j＝1时表示对应位置的m_i像素值不变，i∈{1,2,...,2560×1600}，j∈{1,2,...,2560×1600}。

b-4)以白噪声图像Q中心点为原点建立直角坐标系，取白噪声图像Q第k象限的像素点p，k∈{1,2,3,4}，将像素点p作为掩码矩阵的左上角顶点，生成正方形的掩码m，掩码m的边长为w为白噪声图像Q的宽，h为白噪声图像Q的高，掩码取值为0或1，0代表生成的掩码，1代表保留原始图像，将掩码m与白噪声图像Q进行矩阵按位相乘操作，得到增强后的第i张液晶显示屏图像PI_i。

在本发明的一个实施例中，步骤c)中将增强后的液晶显示屏图像数据集PI可以使用剪裁操作得到尺寸大小为640×640调节后的图像数据集，可以将调节后的图像数据集按8:1:1的比例划分为训练集、测试集、验证集。

在本发明的一个实施例中，步骤d)包括如下步骤：

d-1)轻量化特征提取网络由第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块构成。

d-2)轻量化特征提取网络的第一特征提取模块由第一逐点卷积模块、第二逐点卷积模块、注意力特征提取模块组成，第一逐点卷积模块、第二逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将第i张增强后的图像PI_i输入到第一特征提取模块的第一逐点卷积模块中，输出得到特征图PI_i′，将特征图PI_i′输入到第一特征提取模块的第二逐点卷积模块中，输出得到特征图PI_i″，将特征图PI_i″输入到第一特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图PI_p，将特征图PI_p输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图PI_o，将特征图PI_o输入到残差特征提取模块的第二卷积层中，输出得到特征图PI_l，将特征图PI_l输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图PI_k，将特征图PI_k与特征图PI_l进行逐元素相加操作，得到特征图PI_q，将特征图PI_q输入到残差特征提取模块的第三卷积层中，输出得到特征图PI_j，将特征图PI_j输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图PI_h，将特征图PI_h与特征图PI_j进行逐元素相加操作，得到特征图PI_w，将第i张增强后的图像PI_i与特征图PI_w进行逐元素相加操作，得到特征图PI_m，将特征图PI_m输入到通道注意力模块的第一卷积块中，输出得到特征图PI_u，将特征图PI_u输入到通道注意力模块的全局平均池化层中，输出得到特征图PI_y，将特征图PI_u输入到通道注意力模块的全局最大池化层中，输出得到特征图PI_t，将特征图PI_y与特征图PI_t逐元素相加操作，得到特征图PI_r，将特征图PI_r依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵W_m，将权重矩阵W_m与特征图PI_u逐元素相乘，得到160×160×64维度的特征图PI_a。

d-3)轻量化特征提取网络的第二特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_a输入到第二特征提取模块的逐点卷积模块中，输出得到特征图PI_a′，将特征图PI_a′输入到第二特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_a与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到80×80×128维度的特征图PI_b。

d-4)轻量化特征提取网络的第三特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_b输入到第三特征提取模块的逐点卷积模块中，输出得到特征图PI_b′，将特征图PI_b′输入到第三特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_b与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵与特征图/>逐元素相乘，得到40×40×256维度的特征图PI_c。

d-5)轻量化特征提取网络的第四特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_c输入到第四特征提取模块的逐点卷积模块中，输出得到特征图PI_c′，将特征图PI_c′输入到第四特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_c与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到20×20×512维度的特征图PI₁。

在本发明的一个实施例中，步骤e)包括如下步骤：

e-1)跨层多尺度特征融合网络由第一融合节点、第二融合节点、第三融合节点、第四融合节点、第五融合节点、第六融合节点、第七融合节点、第八融合节点、第九融合节点构成。

e-2)第一融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_b输入到第一融合节点中，输出得到特征图e-3)第二融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_c输入到第二融合节点中，输出得到特征图/>e-4)第三融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图PI₁输入到第三融合节点中，输出得到特征图/>e-5)第四融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图/>与特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第四融合节点中，输出得到特征图/>e-6)第五融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图/>特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第五融合节点中，输出得到特征图e-7)第六融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图/>与特征图通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第六融合节点中，输出得到特征图/>e-8)第七融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图/>特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图输入到第七融合节点中，输出得到特征图PI₂。

e-9)第八融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第八融合节点中，输出得到特征图PI₃。

e-10)第九融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第九融合节点中，输出得到特征图PI₄。

在本发明的一个实施例中，步骤f)包括如下步骤：

f-1)精细化预测网络由特征聚合器、特征提纯模块、YOLOV5网络的检测头构成。f-2)精细化预测网络的特征聚合器由第一分支单元、第二分支单元、第三分支单元、卷积核大小为1×1的卷积层构成。

f-3)将特征图PI₃上采样2倍得到特征图将特征图PI₄上采样4倍得到特征图将特征图PI₂、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₁，将特征图PI₂下采样2倍得到特征图/>将特征图PI₄上采样2倍得到特征图/>将特征图PI₃、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₂，将特征图PI₂下采样4倍得到特征图/>将特征图PI₃下采样2倍得到特征图/>将特征图PI₄、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₃。f-4)特征聚合器的第一分支单元由卷积核大小为1×1的卷积层、最大池化层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₁输入到第一分支单元的卷积层中，输出得到特征图f1₁，将特征图f1₁输入到第一分支单元的最大池化层中，输出得到特征图f1₂，将特征图f1₂输入到第一分支单元的第一逐点卷积层中，输出得到特征图f1₃，将特征图f1₂与特征图f1₃进行残差操作后输入到第一分支单元的第二逐点卷积层中，输出得到特征图f1₄。

f-5)特征聚合器的第二分支单元由卷积核大小为1×1的卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₂输入到第二分支单元的卷积层中，输出得到特征图f2₁，将特征图f2₁输入到第二分支单元的第一逐点卷积层中，输出得到特征图f2₂，将特征图f2₁与特征图f2₂进行残差操作后输入到第二分支单元的第二逐点卷积层中，输出得到特征图f2₂。

f-6)特征聚合器的第三分支单元由卷积核大小为1×1的卷积层、上采样层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₃输入到第三分支单元的卷积层中，输出得到特征图f3₁，将特征图f3₁输入到第三分支单元的上采样层中，输出得到特征图f3₂，将特征图f3₂输入到第三分支单元的第一逐点卷积层中，输出得到特征图f3₃，将特征图f3₂与特征图f3₃进行残差操作后输入到第三分支单元的第二逐点卷积层中，输出得到特征图f3₄。

f-7)将特征图f1₄、特征图f2₂、特征图f3₄通过Concat函数进行拼接操作，得到特征图f₄，将特征图f₄输入到特征聚合器的卷积层中，输出得到特征图F。f-8)精细化预测网络的特征提纯模块由全局平均池化层、全局最大池化层、Sigmoid函数构成，将特征图F依次输入到全局平均池化层、Sigmoid函数中，输出得到权重向量v₁，将特征图F依次输入到全局最大池化层、Sigmoid函数中，输出得到权重向量v₂，将权重向量v₁和权重向量v₂进行逐元素相加操作得到向量F1，将向量F1与特征图F进行逐元素相乘操作得到特征图F′。

f-9)将特征图F′输入到精细化预测网络的YOLOV5网络的检测头中，得到最终特征图像m，最终特征图像m中包含瑕疵的类别、瑕疵位置的矩形框和置信度，瑕疵位置的矩形框为预测框。

在本发明的一个实施例中，步骤g)包括如下步骤：

g-1)通过公式计算得到位置损失L_{C_SIOU}，式中IoU为预测框与真实框的面积的交集和预测框与真实框面积的并集的比值，α为控制模型的权重参数，Δ为预测框与真实框之间的距离损失，/>e为自然常数，∧为预测框和真实框之间的角度损失，c_w为真实框和预测框最小外接矩形的宽，c_h为真实框和预测框最小外接矩形的高，/>为真实框的中心点横坐标，/>为真实框的中心点纵坐标，为预测框的中心点横坐标，/>为预测框的中心点纵坐标，γ为不同尺度的预测框与真实框之间的形状损失，/>

为真实框的宽，h^gt为真实框的高，θ为形状成本值，θ取值为2-6，c_n＝a_nb_n，a_n为不同瑕疵类别的预测矩阵，a_n＝[a₁,a₂,a₃,a₄,a₅,a₆]，b_n＝[b₁,b₂,b₃,b₄,b₅,b₆]，b_i为第i种瑕疵类别a_i对应的真实框的长宽比。

g-2)通过公式L_Total＝L_BCE+0.5L_{C_SIOU}计算得到总损失L_Total，式中L_BCE为交叉熵损失函数。

本发明还涉及一种基于深度学习的液晶显示屏瑕疵检测装置，包括：至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

执行上述的基于深度学习的液晶显示屏瑕疵检测方法。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于深度学习的液晶显示屏瑕疵检测方法，其特征在于，包括如下步骤：

a)拍摄N张液晶显示屏图像，得到液晶显示屏图像数据集P，P＝{P₁,P₂,…,P_i,…,P_N}，P_i为第i张液晶显示屏图像，i∈{1,2,…,N}；

b)对第i张液晶显示屏图像P_i进行预处理和数据增强操作，得到增强后的第i张液晶显示屏图像PM_i，增强后的液晶显示屏图像数据集为PM，PM＝{PM₁,PM₂,…,PM_i,…,PM_N}；

c)将增强后的液晶显示屏图像数据集PM划分为训练集、测试集、验证集；

d)建立液晶显示屏瑕疵检测模型的轻量化特征提取网络，将训练集中的第i张增强后的图像PM_i输入到轻量化特征提取网络中，输出得到特征图PI₁；

e)建立液晶显示屏瑕疵检测模型的跨层多尺度特征融合网络，将特征图PI₁输入到跨层多尺度特征融合网络中，输出得到特征图PI₂、特征图PI₃、特征图PI₄；

f)建立液晶显示屏瑕疵检测模型的精细化预测网络，将特征图PI₂、特征图PI₃、特征图PI₄输入到精细化预测网络中，输出得到最终特征图像m，最终特征图像m中包含瑕疵的类别、预测框的位置和置信度；

g)计算总损失L_Total；

h)通过Adam优化器利用总损失L_Total优化液晶显示屏瑕疵检测模型，得到优化后的液晶显示屏瑕疵检测模型；

步骤d)包括如下步骤：

d-1)轻量化特征提取网络由第一特征提取模块、第二特征提取模块、第三特征提取模块、第四特征提取模块构成；

d-2)轻量化特征提取网络的第一特征提取模块由第一逐点卷积模块、第二逐点卷积模块、注意力特征提取模块组成，第一逐点卷积模块、第二逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将第i张增强后的图像PM_i输入到第一特征提取模块的第一逐点卷积模块中，输出得到特征图PI_i′，将特征图PI_i′输入到第一特征提取模块的第二逐点卷积模块中，输出得到特征图PI_i″，将特征图PI_i″输入到第一特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图PI_p，将特征图PI_p输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图PI_o，将特征图PI_o输入到残差特征提取模块的第二卷积层中，输出得到特征图PI_l，将特征图PI_l输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图PI_k，将特征图PI_k与特征图PI_l进行逐元素相加操作，得到特征图PI_q，将特征图PI_q输入到残差特征提取模块的第三卷积层中，输出得到特征图PI_j，将特征图PI_j输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图PI_h，将特征图PI_h与特征图PI_j进行逐元素相加操作，得到特征图PI_w，将第i张增强后的图像PM_i与特征图PI_w进行逐元素相加操作，得到特征图PI_m，将特征图PI_m输入到通道注意力模块的第一卷积块中，输出得到特征图PI_u，将特征图PI_u输入到通道注意力模块的全局平均池化层中，输出得到特征图PI_y，将特征图PI_u输入到通道注意力模块的全局最大池化层中，输出得到特征图PI_t，将特征图PI_y与特征图PI_t逐元素相加操作，得到特征图PI_r，将特征图PI_r依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵W_m，将权重矩阵W_m与特征图PI_u逐元素相乘，得到160×160×64维度的特征图PI_a；

d-3)轻量化特征提取网络的第二特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_a输入到第二特征提取模块的逐点卷积模块中，输出得到特征图PI_a′，将特征图PI_a′输入到第二特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_a与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵与特征图/>逐元素相乘，得到80×80×128维度的特征图PI_b；

d-4)轻量化特征提取网络的第三特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_b输入到第三特征提取模块的逐点卷积模块中，输出得到特征图PI_b′，将特征图PI_b′输入到第三特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_b与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵与特征图/>逐元素相乘，得到40×40×256维度的特征图PI_c；

d-5)轻量化特征提取网络的第四特征提取模块由逐点卷积模块、注意力特征提取模块组成，逐点卷积模块均依次由卷积核大小为3×3的逐点卷积层、批量归一化层、Silu激活函数构成，注意力特征提取模块由残差特征提取模块和通道注意力模块组成，残差特征提取模块由卷积核大小为1×1的第一卷积层、卷积核大小为1×1的第二卷积层、卷积核大小为1×1的第三卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为1×1的第二逐点卷积层、卷积核大小为1×1的第三逐点卷积层构成，通道注意力模块由卷积核大小为1×1的第一卷积层、全局平均池化层、全局最大池化层、卷积核大小为1×1的第二卷积层、一维卷积层、sigmoid激活函数构成，将特征图PI_c输入到第四特征提取模块的逐点卷积模块中，输出得到特征图PI_c′，将特征图PI_c′输入到第四特征提取模块的注意力特征提取模块的残差特征提取模块的第一卷积层中，输出得到特征图将特征图/>输入到残差特征提取模块的第一逐点卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第二逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图将特征图/>输入到残差特征提取模块的第三卷积层中，输出得到特征图/>将特征图/>输入到残差特征提取模块的第三逐点卷积层中，输出得到特征图/>将特征图/>与特征图/>进行逐元素相加操作，得到特征图/>将特征图PI_c与特征图/>进行逐元素相加操作，得到特征图/>将特征图/>输入到通道注意力模块的第一卷积块中，输出得到特征图/>将特征图/>输入到通道注意力模块的全局平均池化层中，输出得到特征图将特征图/>输入到通道注意力模块的全局最大池化层中，输出得到特征图/>将特征图/>与特征图/>逐元素相加操作，得到特征图/>将特征图/>依次输入到通道注意力模块的第二卷积层、一维卷积层、sigmoid激活函数，输出得到权重矩阵/>将权重矩阵/>与特征图/>逐元素相乘，得到20×20×512维度的特征图PI₁；

步骤e)包括如下步骤：

e-1)跨层多尺度特征融合网络由第一融合节点、第二融合节点、第三融合节点、第四融合节点、第五融合节点、第六融合节点、第七融合节点、第八融合节点、第九融合节点构成；

e-2)第一融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_b输入到第一融合节点中，输出得到特征图

e-3)第二融合节点依次由卷积层、下采样层、YOLOV5网络的C3模块构成，将特征图PI_c输入到第二融合节点中，输出得到特征图

e-4)第三融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图PI₁输入到第三融合节点中，输出得到特征图

e-5)第四融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图与特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第四融合节点中，输出得到特征图/>

e-6)第五融合节点依次由卷积层、上采样层、YOLOV5网络的C3模块构成，将特征图特征图/>特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第五融合节点中，输出得到特征图/>e-7)第六融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图/>与特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第六融合节点中，输出得到特征图/>

e-8)第七融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第七融合节点中，输出得到特征图PI₂；

e-9)第八融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第八融合节点中，输出得到特征图PI₃；

e-10)第九融合节点依次由卷积层、YOLOV5网络的C3模块构成，将特征图特征图特征图/>通过Concat函数进行拼接操作，得到特征图/>将特征图/>输入到第九融合节点中，输出得到特征图PI₄；

步骤f)包括如下步骤：

f-1)精细化预测网络由特征聚合器、特征提纯模块、YOLOV5网络的检测头构成；f-2)精细化预测网络的特征聚合器由第一分支单元、第二分支单元、第三分支单元、卷积核大小为1×1的卷积层构成；

f-3)将特征图PI₃上采样2倍得到特征图将特征图PI₄上采样4倍得到特征图/>将特征图PI₂、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₁，将特征图PI₂下采样2倍得到特征图/>将特征图PI₄上采样2倍得到特征图/>将特征图PI₃、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₂，将特征图PI₂下采样4倍得到特征图/>将特征图PI₃下采样2倍得到特征图/>将特征图PI₄、特征图/>特征图/>通过Concat函数进行拼接操作，输出得到特征图f₃；f-4)特征聚合器的第一分支单元由卷积核大小为1×1的卷积层、最大池化层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₁输入到第一分支单元的卷积层中，输出得到特征图f1₁，将特征图f1₁输入到第一分支单元的最大池化层中，输出得到特征图f1₂，将特征图f1₂输入到第一分支单元的第一逐点卷积层中，输出得到特征图f1₃，将特征图f1₂与特征图f1₃进行残差操作后输入到第一分支单元的第二逐点卷积层中，输出得到特征图f1₄；

f-5)特征聚合器的第二分支单元由卷积核大小为1×1的卷积层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₂输入到第二分支单元的卷积层中，输出得到特征图f2₁，将特征图f2₁输入到第二分支单元的第一逐点卷积层中，输出得到特征图f2₂，将特征图f2₁与特征图f2₂进行残差操作后输入到第二分支单元的第二逐点卷积层中，输出得到特征图f2₂；

f-6)特征聚合器的第三分支单元由卷积核大小为1×1的卷积层、上采样层、卷积核大小为3×3的第一逐点卷积层、卷积核大小为3×3的第二逐点卷积层构成，将特征图f₃输入到第三分支单元的卷积层中，输出得到特征图f3₁，将特征图f3₁输入到第三分支单元的上采样层中，输出得到特征图f3₂，将特征图f3₂输入到第三分支单元的第一逐点卷积层中，输出得到特征图f3₃，将特征图f3₂与特征图f3₃进行残差操作后输入到第三分支单元的第二逐点卷积层中，输出得到特征图f3₄；

f-7)将特征图f1₄、特征图f2₂、特征图f3₄通过Concat函数进行拼接操作，得到特征图f₄，将特征图f₄输入到特征聚合器的卷积层中，输出得到特征图F；f-8)精细化预测网络的特征提纯模块由全局平均池化层、全局最大池化层、Sigmoid函数构成，将特征图F依次输入到全局平均池化层、Sigmoid函数中，输出得到权重向量v₁，将特征图F依次输入到全局最大池化层、Sigmoid函数中，输出得到权重向量v₂，将权重向量v₁和权重向量v₂进行逐元素相加操作得到向量F1，将向量F1与特征图F进行逐元素相乘操作得到特征图F′；

f-9)将特征图F′输入到精细化预测网络的YOLOV5网络的检测头中，得到最终特征图像m，最终特征图像m中包含瑕疵的类别、瑕疵位置的矩形框和置信度，瑕疵位置的矩形框为预测框。

2.根据权利要求1所述的基于深度学习的液晶显示屏瑕疵检测方法，其特征在于，步骤b)包括如下步骤：

b-1)人工判断液晶显示屏图像数据集P中的液晶显示屏图像中是否有裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，如果没有则判定为没有瑕疵的图像，将没有瑕疵的图像去除，得到m张有瑕疵的液晶显示屏图像；

b-2)将有瑕疵的液晶显示屏图像尺寸调整为2560×1600，使用图像标注工具Labelme对第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i进行标注，利用矩形框标注出有瑕疵的液晶显示屏图像中裂纹区域和/或破损区域和/或划痕区域和/或水滴区域和/或斑点区域和/或毛刺区域，该矩形框为真实框，根据矩形框的左上角坐标、矩形框的右下角坐标、矩形框的宽度、矩形框的高度、瑕疵类别得到XML格式的标签x_i，得到XML格式标签集为X，X＝{x₁,x₂,...,x_i,...,x_m}，使用python将XML格式的标签x_i转化为TXT格式的标签T_i，得到TXT格式标签集为T，T＝{T₁,T₂,...,T_i,...,T_m}，瑕疵类别为：裂纹区域的类别为a₁、破损区域的类别为a₂、划痕区域的类别为a₃、水滴区域的类别为a₄、斑点区域的类别为a₅、毛刺区域的类别为a₆；

b-3)通过公式计算得到随机生成不同密度白噪声图像Q，m_i为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i在四个象限中第i个像素点的像素值，m_j为第i张调整尺寸后的有瑕疵的液晶显示屏图像P_i的白噪声标志矩阵，m_j为与m_i同尺寸的像素矩阵，m_j取值为0或1，m_j＝0时表示对应位置的m_i为白噪声，m_j＝1时表示对应位置的m_i像素值不变，i∈{1,2,...,2560×1600}，j∈{1,2,...,2560×1600}；

b-4)以白噪声图像Q中心点为原点建立直角坐标系，取白噪声图像Q第k象限的像素点p，k∈{1,2,3,4}，将像素点p作为掩码矩阵的左上角顶点，生成正方形的掩码m，掩码m的边长为w为白噪声图像Q的宽，h为白噪声图像Q的高，掩码取值为0或1，将掩码m与白噪声图像Q进行矩阵按位相乘操作，得到增强后的第i张液晶显示屏图像PM_i。

3.根据权利要求1所述的基于深度学习的液晶显示屏瑕疵检测方法，其特征在于：步骤c)中将增强后的液晶显示屏图像数据集PM按8:1:1的比例划分为训练集、测试集、验证集。

4.根据权利要求1所述的基于深度学习的液晶显示屏瑕疵检测方法，其特征在于，步骤g)包括如下步骤：

g-1)通过公式计算得到位置损失L_{C_SIOU}，式中IoU为预测框与真实框的面积的交集和预测框与真实框面积的并集的比值，α为控制模型的权重参数，Δ为预测框与真实框之间的距离损失，/>e为自然常数，∧为预测框和真实框之间的角度损失，c_w为真实框和预测框最小外接矩形的宽，c_h为真实框和预测框最小外接矩形的高，/>为真实框的中心点横坐标，/>为真实框的中心点纵坐标，/>为预测框的中心点横坐标，/>为预测框的中心点纵坐标，γ为不同尺度的预测框与真实框之间的形状损失，

为真实框的宽，h^gt为真实框的高，θ为形状成本值，θ取值为2-6，c_n＝a_nb_n，an为不同瑕疵类别的预测矩阵，an＝[a₁,a₂,a₃,a₄,a₅,a₆]，b_n＝[b₁,b₂,b₃,b₄,b₅,b₆]，b_i为第i种瑕疵类别a_i对应的真实框的长宽比；

g-2)通过公式L_Total＝L_BCE+0.5L_{C_SIOU}计算得到总损失L_Total，式中L_BCE为交叉熵损失函数。

5.一种基于深度学习的液晶显示屏瑕疵检测装置，其特征在于，包括：

至少一个处理器，以及

与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：

执行如权利要求1至4中任意一项所述的基于深度学习的液晶显示屏瑕疵检测方法。