CN117745657A - 显示屏坏点检测模型构建方法和显示屏坏点检测方法 - Google Patents

Abstract

本申请涉及一种显示屏坏点检测模型构建方法和显示屏坏点检测方法。所述显示屏坏点检测模型构建方法包括：对不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集，标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集，基于模型训练集，对添加有小目标检测层的初始目标检测模型进行训练，得到显示屏坏点检测模型。所述显示屏坏点检测方法包括：以经过图像预处理后的不同显示屏模组的显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果。采用上述方案能够提高显示屏坏点检测的准确率。

Description

显示屏坏点检测模型构建方法和显示屏坏点检测方法

技术领域

本申请涉及显示屏和图像识别技术领域，特别是涉及一种显示屏坏点检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，以及一种显示屏坏点检测方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

目前，基于LED（Light Emitting Diode，发光二极管）显示屏的点检方式，通常是通过集线器板的MCU（Microcontroller Unit，微控制器单元）和MCU以及模组MCU和驱动IC紧密配合，由MCU给FPGA（Field-Programmable Gate Array，现场可编程门阵列）发指令通知FPGA驱动IC（Integrated Circuit，集成电路）输出16路波形状态，通过对比输出波形的高低电平状态判断该点是否为坏点。

整个点检流程繁琐复杂，需要各节点紧密配合，任何一个节点有问题都有可能影响点检的结果。例如，若FPGA的时钟太高，会导致MCU处理不及时，进而影响点检流程和检测效果。

由此可见，目前的LED显示屏的点检方式检测方法繁琐，对各节点间的配合度要求高，使得点检结果容易出现错误，难以保障点检准确度。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高点检准确度的一种显示屏坏点检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，以及一种显示屏坏点检测方法、装置、计算机设备、存储介质和计算机程序产品。

第一方面，本申请提供了一种显示屏坏点检测模型构建方法。所述方法包括：

获取不同显示屏模组的显示图像；

对不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集；

标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集；

基于模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型；

其中，初始目标检测模型添加有小目标检测层，小目标检测层用于检测出显示图像中尺寸小于预设尺寸阈值的目标。

在其中一个实施例中，对不同显示屏模组的显示图像进行数据增强处理包括：

识别不同显示屏模组的显示图像对应的模组类型；

根据识别出的模组类型，确定各显示图像的数据增强方式；

根据各显示图像的数据增强方式，对各显示图像进行数据增强处理。

在其中一个实施例中，对不同显示屏模组的显示图像进行数据增强处理包括：

对显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

在其中一个实施例中，基于模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型包括：

将模型训练集中的显示图像转换为RGB（Red, Green, Blue，红绿蓝）图像，并对转换后的RGB图像进行归一化处理；

对归一化处理后的显示图像进行缩放处理，得到目标显示图像；

以目标显示图像为输入，调用初始目标检测模型，得到初始目标检测结果，初始目标检测结果包括预测边界框和类别预测结果；

获取初始目标检测结果与坏点标注信息的损失值，以及预测边界框与真实边界框的交并比值；

返回将模型训练集中的显示图像转换为RGB图像的步骤，在损失值维持在预设的范围、且交并比值趋近于目标值的情况下，停止迭代，得到训练后的显示屏坏点检测模型。

第二方面，本申请还提供了一种显示屏坏点检测模型构建装置。所述装置包括：

图像获取模块，用于获取不同显示屏模组的显示图像；

图像处理模块，用于对不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集；

图像标注模块，用于标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集；

模型训练模块，用于基于模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型；

其中，初始目标检测模型添加有小目标检测层，小目标检测层用于检测出显示图像中尺寸小于预设尺寸阈值的目标。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各显示屏坏点检测模型构建方法实施例中的步骤。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各显示屏坏点检测模型构建方法实施例中的步骤。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各显示屏坏点检测模型构建方法实施例中的步骤。

上述显示屏坏点检测模型构建方法、装置、计算机设备、存储介质和计算机程序产品，通过获取不同显示屏模组的显示图像作为模型训练的数据，能够增加数据的多样性和代表性，对不同模组的显示图像集进行图像预处理和数据增强处理，可以提高数据的质量和多样性，增强模型的鲁棒性，通过标注处理后的显示图像的坏点信息，得到模型训练集，再基于上述模型训练集对添加有小目标检测层的初始目标检测模型进行训练，得到具备小目标检测能力的显示屏坏点检测模型，能够有效地检测出各种尺寸的坏点，提高了坏点检测的准确性。因此，通过上述方式训练构建显示屏坏点检测模型，能够为显示屏的坏点检测提供可靠的支持，为提高显示屏坏点检测准确度提供坚实的基础。

第六方面，本申请还提供了一种显示屏坏点检测方法。所述方法包括：

获取不同显示屏模组的显示图像；

对不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像；

以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，坏点检测结果包括模组坏点数量和坏点坐标信息；

其中，显示屏坏点检测模型为采用上述各显示屏坏点检测模型构建方法实施例中的步骤构建得到。

第七方面，本申请还提供了一种显示屏坏点检测装置。所述装置包括：

图像获取模块，用于获取不同显示屏模组的显示图像；

图像预处理模块，用于对不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像；

坏点检测模块，用于以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，坏点检测结果包括模组坏点数量和坏点坐标信息；

其中，显示屏坏点检测模型为采用上述各显示屏坏点检测模型构建方法实施例中的步骤构建得到。

第八方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述各显示屏坏点检测方法实施例中的步骤。

第九方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各显示屏坏点检测方法实施例中的步骤。

第十方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各显示屏坏点检测方法实施例中的步骤。

上述显示屏坏点检测方法、装置、计算机设备、存储介质和计算机程序产品，获取不同显示屏模组的显示图像，通过对不同显示屏模组的显示图像进行图像预处理，能够提高图像质量，减少噪声对坏点检测的干扰，有助于提高坏点检测模型的准确性和鲁棒性，调用已训练的具备小目标检测能力的显示屏坏点检测模型对待检测显示图像进行坏点检测，能够有效地检测出尺寸较小的坏点，包括微小坏点和细微缺陷坏点的检测，能够快速且准确地定位出不同模组型号的显示屏中的坏点位置，且整个过程无需依赖各节点的高度配合，不受电压、时钟频率等外部因素的影响，且能够适用于不同模组型号的显示屏坏点检测。综上所述，采用上述方案能够有效提高显示屏坏点检测的准确度，且检测结果稳定。

附图说明

图1为一个实施例中显示屏坏点检测模型构建方法的流程示意图；

图2为另一个实施例中显示屏坏点检测模型构建方法的流程示意图；

图3为一个实施例中显示屏坏点检测模型构建方法的流程示意图；

图4为另一个实施例中显示屏坏点检测模型构建方法的流程示意图；

图5为一个实施例中显示屏坏点检测方法的应用环境图；

图6为一个实施例中显示屏坏点检测的流程示意图；

图7为一个实施例中显示屏坏点检测模型构建装置的结构框图；

图8为一个实施例中显示屏坏点检测装置的结构框图；

图9为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种显示屏坏点检测模型构建方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，该方法包括以下步骤：

S200，获取不同显示屏模组的显示图像。

在实际应用中，可根据应用需求选择适合的显示屏模组的显示图像，例如液晶显示屏（Liquid Crystal Display，LCD）、有机发光二极管显示屏（Organic Light-EmittingDiode Display，OLED）、电子墨水显示屏（E-ink）以及发光二极管显示屏（LED）等显示屏模组的显示图像。本实施例中，不同显示屏模组的显示图像可以包括但不限于LED智能模组的点亮图像（即显示图像）和LED常规模型的点亮图像。具体地，可以包括红、绿、蓝测试图像。在实际应用中，可以是通过摄像机采集不同模组的点亮图像，包括红、绿、蓝测试图像。

S400， 对不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集。

在实际应用中，为了保证模型的有效训练，要求训练样本的数据容量越大越好。针对实际采集得到的图像数量较少的问题，可以是利用数据增强技术对采集的显示图像进行数据增强处理，从而增加数据集的数量。

具体实施时，在得到不同显示屏模组的显示图像之后，可以是对不同显示屏模组的显示图像进行图像预处理和数据增强处理，以提高图像质量。具体地，图像预处理可以包括但不限于根据显示屏模组的色彩空间要求，将图像数据转换为相应的色彩空间，如RGB。根据显示屏模组的分辨率要求，调整图像的尺寸，确保图像与显示屏模组匹配。对显示图像进行数据增强处理可以包括随机对图像进行水平翻转、垂直翻转或旋转操作，增加数据的多样性；对图像进行随机平移或缩放操作，模拟不同位置和尺寸的显示效果，向图像中添加随机噪声，如高斯噪声、椒盐噪声等；模拟真实环境中的干扰，以及随机裁剪图像的一部分或在图像周围填充像素，改变图像的组合和内容等。通过对不同显示屏模组的显示图像进行数据增强处理后，能够得到更为丰富的初始显示图像集。

S600，标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集。

在显示屏模组中，"坏点"是指显示像素中存在缺陷或不正常的像素点。这些坏点可能是亮点（白点）、暗点（黑点）、彩色点或者其他异常像素。本实施例中，坏点标注信息包括标签类别名、目标框的左下角和右下角坐标值、标注的困难值，例如图片不易于识别困难值为1，易于识别困难值为0。

具体实施时，在得到初始显示图像集后，可以是使用图像处理算法或预设的图像标注工具，检测和标注图像中的坏点，还可以是使用计算机视觉技术，如图像分割、边缘检测等方法来自动检测坏点。同时，也可以由专业人员进行目视检查，对自动化标注结果进行查漏补缺，手动标注坏点位置和坐标信息，以得到准确的标注结果。在图像标注过程中，对于检测到的每个坏点，可以记录其位置和坐标信息。通常，坏点的位置可以用像素坐标（x，y）表示，或者使用矩形框或其他形状来标注其位置。然后，将初始显示图像与对应的坏点位置和坐标信息进行匹配，将坏点位置和坐标信息作为标签或元数据与初始图像关联起来，确保每个图像都包含了坏点标注信息，得到目标图像集。然后，将图像集划分为训练集和验证集，通常采用80%的数据作为训练集，20%的数据作为验证集。

S800，基于模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型。

本实施例中，初始目标检测模型添加有小目标检测层，小目标检测层是专门设计用于检测小尺寸目标的层，本实施例中，用于检测出显示图像中尺寸小于预设尺寸阈值的目标，即检测微小目标。初始目标检测模型包括但不限于YOLO（You Only Look Once）系列模型、R-CNN（Region-based Convolutional Neural Networks，基于区域的卷积神经网络）系列模型等。

具体实施时，以初始目标检测模型为添加有小目标检测层的YOLOv7模型为例进行说明，YOLOv7模型中，目标检测是通过将图像划分为网格（grid）并对每个网格预测边界框（bounding box）和类别来完成的。每个网格负责检测图像中的目标，并生成预测结果。

在得到模型训练集后，可基于模型训练集对初始的YOLOv7模型进行训练，以得到显示屏坏点检测模型。具体地，可以是初始化模型的权重参数，根据训练数据的特点和需求，调整目标检测模型的配置参数，如输入图像尺寸、批量大小、学习率等，然后，将准备好的训练集输入模型进行训练，在每个训练迭代中，计算模型的损失函数，并使用反向传播算法更新模型的权重参数，重复进行多个训练迭代，直到模型收敛或达到预设的训练轮数，停止模型的训练。然后，使用验证集对训练过程中的模型进行评估，计算模型在验证集上的性能指标，如精确度、召回率、F1分数等，根据评估结果，调整模型的超参数或数据处理方法，以提高模型的性能，进一步地，还可以根据模型在验证集上的性能，对模型进行优化，如调整网络结构、增加正则化项、调整学习率策略等，接着，保存训练得到的显示屏坏点检测模型的权重参数，得到显示屏坏点检测模型。训练后的坏点检测模型能够对不同显示屏模组的显示图像进行有效的坏点检测，能够识别出显示屏中的坏点，并给出坏点坐标和坏点类型等。

上述显示屏坏点检测模型构建方法，通过获取不同显示屏模组的显示图像作为模型训练的数据，能够增加数据的多样性和代表性，对不同模组的显示图像集进行图像预处理和数据增强处理，可以提高数据的质量和多样性，增强模型的鲁棒性，通过标注处理后的显示图像的坏点信息，得到模型训练集，再基于上述模型训练集对添加有小目标检测层的初始目标检测模型进行训练，得到具备小目标检测能力的显示屏坏点检测模型，能够有效地检测出各种尺寸的坏点，提高了坏点检测的准确性。因此，通过上述方式训练构建显示屏坏点检测模型，能够为显示屏的坏点检测提供可靠的支持，为提高显示屏坏点检测准确度提供坚实的基础。

如图2所示，在其中一个实施例中，S400包括：

S420，识别不同显示屏模组的显示图像对应的模组类型，根据识别出的模组类型，确定各显示图像的数据增强方式，根据各显示图像的数据增强方式，对各显示图像进行数据增强处理。

本实施例中，可以是不同显示屏模组的显示图像携带有模组类型的标签，且终端内预存有各模组类型对应的数据增强处理方式。例如，某些模组类型，可能需要将显示图像进行旋转，以适应模组的安装方向。

在具体的数据增强处理过程中，可以是根据显示图像携带的模组类型的标签，确定各显示图像对应的模组类型，然后，根据识别出的模组类型，和预设的各模组类型对应的数据增强处理方式的关联关系，确定各显示图像的数据增强方式，进而根据各显示图像的数据增强方式，对各显示图像进行数据增强处理。具体地，可对于某些模组类型，可能需要将显示图像进行旋转，以适应模组的安装方向，例如，使用图像旋转算法，如旋转矩阵变换，将图像进行旋转。某些模组可能需要将显示图像进行缩放，以适应不同的显示尺寸，可以使用图像缩放算法，如双线性插值或最近邻插值，对图像进行缩放操作。对数据增强后的图像进行保存或进一步处理，以供后续使用。

本实施例中，针对每个显示图像，根据其对应的模组类型确定需要进行的数据增强方式，能够有针对性地对不同的显示模组类型的图像进行数据增强，获得最佳的数据增强效果。

在其中一个实施例中，对不同显示屏模组的显示图像进行数据增强处理包括：对显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

数据增强（图像数据扩容）的原理主要是通过随机的改变训练样本的某些属性从而提高模型对此类属性的包容性，并能提升模型对新样本的适应能力。例如，通过对一幅图像采用不同方式剪切、旋转、镜像等操作，让目标物以不同的实例形式出现在图像中的各个地方，由此可以减小模型因目标物位置不同而造成的识别偏差。同样也可以通过调整图像的亮度、对比度、饱和度等其他因素来降低模型受外界属性干扰的灵敏度。

本实施例中，对显示图像进行数据增强可以是对显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

具体地，图像翻转包括水平翻转和垂直翻转。图像旋转可以是根据模组的安装方向需求，选择适当的旋转角度，然后，使用图像处理库中的旋转函数或通过图像变换矩阵实现图像旋转。

关于图像平移可以是根据模组的位置要求，选择适当的平移距离，使用图像处理库中的平移函数或通过像素级操作实现图像平移。亮度调整可以是根据模组的亮度要求，选择适当的亮度调整参数，调整显示图像的亮度。关于调整图像亮度可以是使用图像处理库中的亮度调整函数，或通过像素级操作实现图像亮度调整。关于色度调整可以是根据模组的色彩要求，选择适当的色度调整参数，然后，基于色度调整参数，使用图像处理库中的色度调整函数或通过像素级操作实现图像色度调整。关于对比度调整，可以是选择对比度调整参数：根据模组的对比度要求，选择适当的对比度调整参数。关于调整图像对比度可以是使用图像处理库中的对比度调整函数或通过像素级操作实现图像对比度调整。关于锐度调整可以是根据模组的清晰度要求，选择适当的锐度调整参数。关于调整图像锐度可以是使用图像处理库中的锐化函数或通过像素级操作实现图像锐度调整。可以理解的是，在其他实施例中，除上述数据增强处理操作之外，还可以对显示图像进行剪切操作、镜像操作以及其他处理等，具体根据实际情况而定。

本实施例中，通过根据具体应用的需求，对显示图像进行数据增强处理，能够得到效果更佳的数据增强效果。

如图3所示，在其中一个实施例中，S800包括：

S810，将模型训练集中的显示图像转换为RGB图像，并对转换后的RGB图像进行归一化处理。

S830，对归一化处理后的显示图像进行缩放处理，得到目标显示图像。

S850，以目标显示图像为输入，调用初始目标检测模型，得到初始目标检测结果，初始目标检测结果包括预测边界框和类别预测结果。

S870，获取初始目标检测结果与坏点标注信息的损失值，以及预测边界框与真实边界框的交并比值，返回S810。

S890，在损失值维持在预设的范围、且交并比值趋近于目标值的情况下，停止迭代，得到训练后的显示屏坏点检测模型。

本实施例中，显示屏坏点检测模型在常规YOLOv7模型的基础上增加小目标检测层，对较浅特征图与深特征图拼接后进行检测，加入小目标检测层可以让网络更加关注小目标的检测，提高检测效果。具体的实现方式可以是修改YOLOv7的模型文件yaml，以增加小目标检测层，其中，修改yaml文件需要修改特征融合网络，同时锚框增加小目标检测头的锚框。

关于显示屏坏点检测模型的训练可以是：设置合适的训练迭代次数和批量大小，以充分训练模型并避免过拟合，具体地，可以是将模型网络训练学习率设置为0.001，权重衰减为0.0005，迭代次数为50000。然后，先将模型训练集中每一显示图像转换为RGB图像，确保每个图像都有三个通道（红色、绿色、蓝色），然后，对各RGB图像进行归一化处理，将像素值缩放到[0, 1]范围内，得到目标显示图像。将归一化处理后的目标显示图像作为训练集输入，使用目标检测模型进行训练。在训练过程中，可以是通过损失函数如交叉熵损失函数，计算初始目标检测结果与坏点标注信息的损失值，同时，计算预测边界框与真实边界框的交并比值，用于评估目标检测结果的准确性。在训练过程中，通过反向传播和优化算法（如随机梯度下降）更新模型的权重，使损失值尽量减小，交并比值趋近于目标值。分析损失值和交并比值的变化，构建LOSS变化曲线和IOU（Intersection over Union，交并比值）变化曲线，当LOSS曲线在某次迭代过程中损失值递减至稳定状态，并在此后迭代过程中，损失值保持在小范围内波动，且IOU值在1附近波动说明此时预测框趋近于真实框，至此表明训练完成，然后，利用生成的weights文件对测试数据集进行测试检测模型的训练效果。

本实施例中，通过将显示图像转换为RGB格式并进行归一化处理，可以使输入数据与目标检测模型的期望输入保持一致，提高了数据的可处理性和模型的稳定性，对归一化后的显示图像进行缩放处理可以适应不同尺寸的目标检测模型，并提供了更好的模型适应性和泛化能力，通过监控损失值和交并比值的变化评估模型训练的进展和性能，可以在损失值控制和目标检测准确性之间取得平衡，避免过拟合或欠拟合的问题，得到优化效果较好的显示屏坏点检测模型。

为了对本申请提供的显示屏坏点检测模型构建方法做出更为清楚的说明，下面结合一个附图4和具体实施例进行说明，该具体实施例包括以下步骤：

S200，获取不同显示屏模组的显示图像。

S422， 对不同显示屏模组的显示图像进行图像预处理，识别不同显示屏模组的显示图像对应的模组类型，根据识别出的模组类型，确定各显示图像的数据增强方式，根据各显示图像的数据增强方式，对各显示图像进行数据增强处理，得到初始显示图像集。

本实施例中，对显示图像进行数据增强可以是对显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

S620，调用预设的图像标注工具，标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集。

S810，将模型训练集中的显示图像转换为RGB图像，并对转换后的RGB图像进行归一化处理。

S830，对归一化处理后的显示图像进行缩放处理，得到目标显示图像。

S850，以目标显示图像为输入，调用初始目标检测模型，得到初始目标检测结果，初始目标检测结果包括预测边界框和类别预测结果。

S870，获取初始目标检测结果与坏点标注信息的损失值，以及预测边界框与真实边界框的交并比值，返回S810。

S890，在损失值维持在预设的范围、且交并比值趋近于目标值的情况下，停止迭代，得到训练后的显示屏坏点检测模型。

关于显示屏坏点检测模型的训练可以是：设置合适的训练迭代次数和批量大小，以充分训练模型并避免过拟合，具体地，可以是将模型网络训练学习率设置为0.001，权重衰减为0.0005，迭代次数为50000。然后，先将模型训练集中每一显示图像转换为RGB图像，确保每个图像都有三个通道（红色、绿色、蓝色），然后，对各RGB图像进行归一化处理，将像素值缩放到[0, 1]范围内，得到目标显示图像。将归一化处理后的目标显示图像作为训练集输入，使用目标检测模型进行训练。在训练过程中，可以是通过损失函数如交叉熵损失函数，计算初始目标检测结果与坏点标注信息的损失值，同时，计算预测边界框与真实边界框的交并比值，用于评估目标检测结果的准确性。在训练过程中，通过反向传播和优化算法（如随机梯度下降）更新模型的权重，使损失值尽量减小，交并比值趋近于目标值。分析损失值和交并比值的变化，构建LOSS变化曲线和IOU变化曲线，当LOSS曲线在某次迭代过程中损失值递减至稳定状态，并在此后迭代过程中，损失值保持在小范围内波动，且IOU值在1附近波动说明此时预测框趋近于真实框，至此表明训练完成，然后，利用生成的weights文件对测试数据集进行测试检测模型的训练效果。

基于同样的发明构思，本申请还提供了一种显示屏坏点检测方法。本申请实施例提供的显示屏坏点检测方法，可以应用于如图5所示的应用环境中。其中，摄像装置102通过网络与终端104进行通信，终端104上部署有已训练的显示屏坏点检测模型，该显示屏坏点检测模型为采用上述显示屏坏点检测模型构建方法实施例中的步骤构建得到。数据存储系统可以存储终端104需要处理的数据。数据存储系统可以集成在这个终端104上，也可以放在云上或其他网络服务器上。具体地，可以是摄像装置102拍摄不同型号的显示模组的显示图像，并实时将拍摄得到的视频流上传至终端104，终端104对接收到的视频流进行处理，将视频流保存为一帧一帧的图像，得到不同显示屏模组的显示图像，然后，对不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像，以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，坏点检测结果包括模组坏点数量和坏点坐标信息。

其中，摄像装置102可以但不限于摄像头、摄像机以及其他图像采集装置。终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。

在一个实施例中，如图6所示，提供了一种显示屏坏点检测方法，以该方法应用于图1中的终端104为例进行说明，包括以下步骤：

S100，获取不同显示屏模组的显示图像。

本实施例中，不同显示屏模组的显示图像可以包括智能模组和常规模组的显示图像。

在实际应用中，可以是摄像头拍摄不同型号的显示模组的显示图像，并将拍摄得到的视频流实时上传至终端，终端对接收到的视频流进行处理，将视频流保存为一帧一帧的图像，得到不同显示屏模组的显示图像。

S300，对不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像。

承接上述实施例，在得到不同显示屏模组的显示图像之后，可以是对不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像。图像预处理可以包括但不限于图像格式转换、归一化处理以及图像缩放等。具体地，根据显示屏模组的色彩空间要求，将图像数据转换为相应的色彩空间，如RGB。以及根据显示屏模组的分辨率要求，调整图像的尺寸，确保图像与显示屏模组匹配。可以理解的是，在其他实施例中，图像预处理还可以包括其他方式的预处理。

S500，以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，坏点检测结果包括模组坏点数量和坏点坐标信息。

本实施例中，显示屏坏点检测模型是采用上述显示屏坏点检测模型构建方法实施例中的步骤构建得到。对不同显示屏模组的显示图像的坏点检测，可以是对显示图像进行实时坏点检测。在得到待检测显示图像之后，可以是以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果。由于显示屏坏点能够有效检测显示图像的微小目标，标注坏点的位置和坐标，以及坏点类型，统计坏点数量等。

本实施例中，通过已训练的显示屏坏点检测模型对待检测显示图像进行实时检测，能够及时准确检测出不同显示屏模组的显示图像的坏点。

上述显示屏坏点检测方法，获取不同显示屏模组的显示图像，通过对不同显示屏模组的显示图像进行图像预处理，能够提高图像质量，减少噪声对坏点检测的干扰，有助于提高坏点检测模型的准确性和鲁棒性，调用已训练的具备小目标检测能力的显示屏坏点检测模型对待检测显示图像进行坏点检测，能够有效地检测出尺寸较小的坏点，包括微小坏点和细微缺陷坏点的检测，能够快速且准确地定位出不同模组型号的显示屏中的坏点位置，且整个过程无需依赖各节点的高度配合，不受电压、时钟频率等外部因素的影响，且能够适用于不同模组型号的显示屏坏点检测。综上所述，采用上述方案能够有效提高显示屏坏点检测的准确度，且检测结果稳定。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的显示屏坏点检测模型构建方法的显示屏坏点检测模型构建装置，以及实现上述所涉及的显示屏坏点检测方法的显示屏坏点检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个显示屏坏点检测模型构建装置实施例中的具体限定可以参见上文中对于和显示屏坏点检测模型构建方法和显示屏坏点检测方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种显示屏坏点检测模型构建装置，包括：图像获取模块710、图像处理模块720、图像标注模块730和模型训练模块740，其中：

图像获取模块710，不同显示屏模组的显示图像。

图像处理模块720，用于对不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集。

图像标注模块730，用于标注初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集。

模型训练模块740，用于基于模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型。

其中，初始目标检测模型添加有小目标检测层，小目标检测层用于检测出显示图像中尺寸小于预设尺寸阈值的目标。

在其中一个实施例中，图像处理模块720，还用于识别不同显示屏模组的显示图像对应的模组类型，根据识别出的模组类型，确定各显示图像的数据增强方式，根据各显示图像的数据增强方式，对各显示图像进行数据增强处理。

在其中一个实施例中，图像处理模块720，还用于对显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

在其中一个实施例中，模型训练模块740，还用于将模型训练集中的显示图像转换为RGB图像，并对转换后的RGB图像进行归一化处理，对归一化处理后的显示图像进行缩放处理，得到目标显示图像，以目标显示图像为输入，调用初始目标检测模型，得到初始目标检测结果，初始目标检测结果包括预测边界框和类别预测结果，获取初始目标检测结果与坏点标注信息的损失值，以及预测边界框与真实边界框的交并比值，再次执行将模型训练集中的显示图像转换为RGB图像的操作，在损失值维持在预设的范围、且交并比值趋近于目标值的情况下，停止迭代，得到训练后的显示屏坏点检测模型。

在一个实施例中，如图8所示，提供了一种显示屏坏点检测装置，包括：图像获取模块810、图像预处理模块820和坏点检测模块830，其中：

图像获取模块810，用于获取不同显示屏模组的显示图像。

图像预处理模块820，用于对所述不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像。

坏点检测模块830，用于以待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，坏点检测结果包括模组坏点数量和坏点坐标信息。

其中，显示屏坏点检测模型为采用上述各显示屏坏点检测模型构建方法实施例中的步骤构建得到。

上述显示屏坏点检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC（近场通信）或其他技术实现。该计算机程序被处理器执行时以实现一种显示屏坏点检测模型构建方法和显示屏坏点检测方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述显示屏坏点检测模型构建方法实施例和上述显示屏坏点检测方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述显示屏坏点检测模型构建方法实施例和上述显示屏坏点检测方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述显示屏坏点检测模型构建方法实施例和上述显示屏坏点检测方法实施例中的步骤。

需要说明的是，本申请所涉及的数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种显示屏坏点检测模型构建方法，其特征在于，所述方法包括：

获取不同显示屏模组的显示图像；

对所述不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集；

标注所述初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集；

基于所述模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型；

其中，所述初始目标检测模型添加有小目标检测层，所述小目标检测层用于检测出所述显示图像中尺寸小于预设尺寸阈值的目标。

2.根据权利要求1所述的方法，其特征在于，对所述不同显示屏模组的显示图像进行数据增强处理包括：

识别不同显示屏模组的显示图像对应的模组类型；

根据识别出的模组类型，确定各显示图像的数据增强方式；

根据各显示图像的数据增强方式，对各显示图像进行数据增强处理。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述不同显示屏模组的显示图像进行数据增强处理包括：

对所述显示图像进行图像翻转、图像旋转、图像平移、图像裁剪、亮度调整、色度调整、对比度调整以及锐度调整中的至少一种。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型包括：

将所述模型训练集中的显示图像转换为RGB图像，并对转换后的RGB图像进行归一化处理；

对归一化处理后的显示图像进行缩放处理，得到目标显示图像；

以所述目标显示图像为输入，调用所述初始目标检测模型，得到初始目标检测结果，所述初始目标检测结果包括预测边界框和类别预测结果；

获取所述初始目标检测结果与所述坏点标注信息的损失值，以及所述预测边界框与真实边界框的交并比值；

返回所述将所述模型训练集中的显示图像转换为RGB图像的步骤，在所述损失值维持在预设的范围、且所述交并比值趋近于目标值的情况下，停止迭代，得到训练后的显示屏坏点检测模型。

5.一种显示屏坏点检测方法，其特征在于，所述方法包括：

获取不同显示屏模组的显示图像；

对所述不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像；

以所述待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，所述坏点检测结果包括模组坏点数量和坏点坐标信息；

其中，所述显示屏坏点检测模型为采用如权利要求1至4任意一项所述的显示屏坏点检测模型构建方法构建得到。

6.一种显示屏坏点检测模型构建装置，其特征在于，所述装置包括：

图像获取模块，用于获取不同显示屏模组的显示图像；

图像处理模块，用于对所述不同显示屏模组的显示图像进行图像预处理和数据增强处理，得到初始显示图像集；

图像标注模块，用于标注所述初始显示图像集中，各显示图像的坏点的所在位置和坐标信息，得到携带坏点标注信息的模型训练集；

模型训练模块，用于基于所述模型训练集，对初始目标检测模型进行训练，得到显示屏坏点检测模型；

其中，所述初始目标检测模型添加有小目标检测层，所述小目标检测层用于检测出所述显示图像中尺寸小于预设尺寸阈值的目标。

7.一种显示屏坏点检测装置，其特征在于，所述装置包括：

图像获取模块，用于获取不同显示屏模组的显示图像；

图像预处理模块，用于对所述不同显示屏模组的显示图像进行图像预处理，得到不同显示屏模组对应的待检测显示图像；

坏点检测模块，用于以所述待检测显示图像为输入，调用已训练的显示屏坏点检测模型进行坏点检测，得到坏点检测结果，所述坏点检测结果包括模组坏点数量和坏点坐标信息；

其中，所述显示屏坏点检测模型为采用如权利要求1至4任意一项所述的显示屏坏点检测模型构建方法构建得到。

8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。