CN109064446A - 显示屏质量检测方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种显示屏质量检测方法、装置、电子设备及存储介质，其中，该方法包括：接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，将该显示屏图像输入到缺陷分类模型中得到缺陷分类结果，该缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，根据该缺陷分类结果确定上述显示屏图像对应的显示屏的质量好坏。该技术方案的缺陷检测准确度高、系统性能好，业务扩展能力高。

Description

显示屏质量检测方法、装置、电子设备及存储介质

技术领域

本申请涉及计算机技术领域，尤其涉及一种显示屏质量检测方法、装置、电子设备及存储介质。

背景技术

随着科技的发展，信息显示技术在人们生活中的作用与日俱增，显示屏也因其体积小、重量轻、功率低、分辨率高、亮度高和无几何变形诸多特点被广泛应用。但在显示屏的生产过程中，由于工艺及环境的原因可能导致显示屏存在显示缺陷，例如，点缺陷、线缺陷和面缺陷等。因而，显示屏质量检测是生产过程中的重要环节。

现有技术中，显示屏质量检测主要采用人工检测或机器辅助的人工检测方法。具体的，人工检测方法是指依赖行业专家肉眼观察从生产环境中采集到的图片给出判断；机器辅助的人工检测方法是指首先利用固化有行业专家经验的质检系统对待检测显示屏图像进行检测，其次再由行业专家对疑似存在缺陷的图片进行检测判断。

然而，不管是人工检测方法，还是机器辅助的人工检测方法均受人的主观影响因素较大，检测准确度低、系统性能差，业务扩展能力低。

发明内容

本申请提供一种显示屏质量检测方法、装置、电子设备及存储介质，以克服现有显示屏缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。

本申请第一方面提供一种显示屏质量检测方法，包括：

接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；

将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的；

根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，包括：

所述缺陷分类模型是对所述历史缺陷显示屏图像的缺陷类别损失进行训练，以使所述缺陷类别损失的损失值满足预设损失阈值的结果；

其中，所述缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

可选的，所述将所述显示图像输入到缺陷分类模型中得到缺陷分类结果之前，还包括：

对所述显示屏图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：

裁边、切块、旋转、缩小、放大。

可选的，所述将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，包括：

根据负载均衡策略，确定承载处理资源的分类模型服务器；

将所述显示屏图像输入到运行在所述分类模型服务器上的所述缺陷分类模型中得到缺陷分类结果。

可选的，所述缺陷分类结果包括代表缺陷类别的标签值；所述标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别；

所述根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏，包括：

根据生产阶段信息以及所述缺陷分类结果，确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏之后，还包括：

若确定所述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述显示屏图像和所述缺陷分类结果输入到所述缺陷分类模型中以便优化所述缺陷分类模型。

本申请第二方面提供一种显示屏质量检测装置，包括：

接收模块，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；

处理模块，用于将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的；

确定模块，用于根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，包括：

所述缺陷分类模型是对所述历史缺陷显示屏图像的缺陷类别损失进行训练，以使所述缺陷类别损失的损失值满足预设损失阈值的结果；

其中，所述缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

可选的，所述处理模块，还用于在将所述显示图像输入到缺陷分类模型中得到缺陷分类结果之前，对所述显示屏图像进行图像预处理；

其中，所述图像预处理包括下述处理中的一项或多项：

裁边、切块、旋转、缩小、放大。

可选的，所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的分类模型服务器，将所述显示屏图像输入到运行在所述分类模型服务器上的所述缺陷分类模型中得到缺陷分类结果。

可选的，所述缺陷分类结果包括代表缺陷类别的标签值，所述标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别；

所述确定模块，具体用于根据生产阶段信息以及所述缺陷分类结果，确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述处理模块，还用于在所述确定模块根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述显示屏图像和所述缺陷分类结果输入到所述缺陷分类模型中以便优化所述缺陷分类模型。

本申请第三方面提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请第四方面提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如第一方面以及第一方面各种可能实现方式中任一项所述的方法。

本申请实施例提供的显示屏质量检测方法、装置、电子设备及存储介质，通过接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，将显示屏图像输入到缺陷分类模型中得到缺陷分类结果，并根据该缺陷分类结果确定显示屏图像对应的显示屏的质量好坏。由于上述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，因而，利用该缺陷分类模型得到的缺陷分类结果的分类精度高，系统性能有所提高，业务可扩展能力高，解决了现有显示屏缺陷检测方法中由于受人的主观影响因素较大，致使检测准确度低、系统性能差、业务扩展能力低的问题。

附图说明

图1为本申请实施例提供的显示屏质量检测系统的结构示意图；

图2为本申请实施例提供的显示屏质量检测方法实施例一的流程示意图；

图3为本申请实施例提供的显示屏质量检测方法实施例二的流程示意图；

图4为本申请实施例提供的显示屏质量检测方法实施例三的流程示意图；

图5为本申请实施例提供的显示屏质量检测装置实施例的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供的显示屏质量检测方法应用于显示屏质量检测系统中，

图1为本申请实施例提供的显示屏质量检测系统的结构示意图。如图1所示，该显示屏质量检测系统包括：部署在显示屏生产线上的图像采集设备11、控制台12、服务器组13、控制器14、数据库15和训练器16等多个不同的设备。

其中，图像采集设备11采集显示屏生产线上的显示屏图像，控制台12接收图像采集设备11采集的显示屏图像，并将该显示屏图像发送给服务器组13中的分类模型服务器130，分类模型服务器130将接收到的显示屏图像输入到本身运行的缺陷分类模型中得到缺陷分类结果，控制器14接收分类模型服务器130的缺陷分类结果，并结合生产阶段信息给出业务响应，控制器14还可以将缺陷分类结果作为日志存储到数据库15中。此外，图像采集设备11采集到的显示屏图像还可以直接存储到数据库15中，作为缺陷分类模型训练的原始数据。训练器16提取数据库中的历史缺陷显示屏图像后，采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到缺陷分类模型。

可选的，上述数据库15可以包括生产数据库151和训练数据库152，生产数据库151可以接收并保存控制器14发送的缺陷分类结果以及图像采集设备11采集到的显示屏图像，训练数据库152可以存储从生产数据库151提取的历史缺陷显示屏图像和对应的原始显示屏图像，以使训练器16训练得到检测准确率高的缺陷分类模型。

可选的，本申请实施例中的训练器16可以是由硬件和/或软件功能实现的训练引擎，其作为缺陷分类模型的训练工具。

本申请实施例的显示屏质量检测系统中还可以包括处理器、存储器等其他实体模块，本实施例不限于此。

下面首先针对本申请实施例所适用的应用场景进行简要说明。

现阶段，3C产业(3C产业是指结合电脑、通讯、和消费性电子三大科技产品整合应用的资讯家电产业)的整体智能自动化程度较低，通过对手机屏等显示屏行业的调研分析可知，大部分生产厂家对手机屏采用的检测方式可以分为两种，即：人工检测方法和机器辅助的人工检测方法。

其中，人工检测方法是指依赖于行业专家肉眼观察从生产环境中采集到的图像进行判断，该方法受人的主观影响因素较大、检测效率较低，且对人眼的伤害较大，此外，由于显示屏的生成车间一般为无尘环境，工作人员进去前需要进行清洁准备，穿戴无尘衣服，其还可能对工作人员的健康和安全会产生不利影响。

机器辅助的人工检测方法也可以称为基于液晶模组检测设备检测方法，具体原理为：首先由具有一定判断能力的质检系统过滤掉不存在缺陷的图像，再由行业专家对疑似存在缺陷的图像进行检测判断。在机器辅助的人工检测方法中，质检系统多为专家系统和特征工程系统发展而来，是指专家将经验固化在质检系统中，使其具有一定的自动化能力。因此，机器辅助的人工检测方法不仅准确率低，系统性能差，无法覆盖厂商所有的检测标准，而且这种方法还效率低，容易漏判误判，检测后的图像数据很难进行二次利用挖掘。此外，在上述质检系统中，特征和判定规则都是基于行业专家的经验固化到机器中的，难以随业务的发展迭代，导致随着生产工艺的发展，质检系统的检测精度越来越低，甚至可能降低到完全不可用的状态。进一步的，质检系统的特征都由第三方供应商预先固化在硬件中，升级时不仅需要对生产线进行重大改造，而且价格昂贵，其在安全性、规范化、可扩展性等方面都存在着明显不足，不利于显示屏生产线的优化升级，业务扩展能力低。

综上所述，人工检测方法和机器辅助的人工检测方法均存在如下缺点：不仅效率低下、容易出现误判，而且这两种方法产生的工业数据不易存储、管理和二次挖掘再利用。

本申请实施例基于人工智能技术在计算机视觉中的最新发展，研发一种自动化、高精度的显示屏质量检测方法，利用图像采集设备在显示屏生产线上实时采集的显示屏图像，实时对显示屏的表面质量进行检测判断，如果检测到当前图像采集设备采集到的显示屏存在质量问题，则确定出该质量问题所属的类别。

值得说明的是，本申请实施例可以应用于任何可以利用人眼、计算机视觉进行显示屏检测的场景，本实施例中的显示屏可以包括如下的任意一种：等离子屏幕、液晶显示(liquid crystal display，LCD)屏幕、发光二极管(light emitting diode，LED)屏幕、有机发光二极管(organic light-emitting diode，OLED)屏幕等。本申请实施例并不局限于上述的几种屏幕，其还可能包括其他显示屏幕，此处不再赘述。

可选的，本申请实施例中所述的质量问题可以包括，但是不局限于包括点缺陷、线缺陷、面缺陷和mura等不同类别的缺陷问题。此处不进行一一介绍。可选的，mura是指由于显示屏亮度不均匀，造成的各种痕迹现象。

下面，通过具体实施例对本申请的技术方案进行详细说明。需要说明的是，下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。

本申请实施例中，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

图2为本申请实施例提供的显示屏质量检测方法实施例一的流程示意图。如图2所示，在本申请实施例中，该显示屏质量检测方法可以包括如下步骤：

步骤21：接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像。

可选的，在本申请实施例中，显示屏生产线上部署有图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备。图像采集设备可以是高精度图像采集摄像头，在显示屏的生产过程中，通过调整图像采集设备的角度、光线、滤镜、倍镜、聚焦等，可以采集到多张处于显示屏生产线上的显示屏对应的显示屏图像。

当显示屏生产线上的图像采集设备采集到显示屏图像之后，部署在显示屏生产线上的控制台则可以向显示屏生产线上部署有缺陷分类模型的服务器组发送质量检测请求，该质量检测请求中包含上述图像采集设备采集的显示屏图像，以使服务器组中接收到该质量检测请求的服务器对接收到的显示屏图像进行处理。

步骤22：将上述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，该缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的。

可选的，接收到质量检测请求的服务器将质量检测请求中的显示屏图像输入到服务器上运行着的缺陷分类模型中，由缺陷分类模型执行缺陷检测，进而得到缺陷分类结果。

值得说明的是，服务器上运行的缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的。即，显示屏生产线上的显示屏图像作为缺陷分类模型的输入，利用深度卷积神经网络结构和图像分类算法提取显示屏图像中的特征(即显示屏图像中存在的缺陷)，最终将缺陷类别的标签值作为缺陷分类模型的输出，进而对缺陷分类模型进行训练。

作为一种示例，本申请实施例中的缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，可以解释如下：

缺陷分类模型是对历史缺陷显示屏图像的缺陷类别损失进行训练，以使该缺陷类别损失的损失值满足预设损失阈值的结果。

其中，缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

在本申请实施例中，缺陷分类模型采用深度卷积神经网络(Deep ConvolutionalNeural Networks，Deep CNNs)结构为基础，深度卷积神经网络的结构主要是由卷积层、池化层、全连接层等组成，对于卷积神经网络的粒度和层次选择可以根据实际情况确定，本申请实施例并不对其进行限定。

卷积层的卷积操作是指利用权值不同的卷积核对显示屏图像或者经过至少一次卷积处理后得到的图像特征图进行扫描卷积，从中提取出各种类别的特征，并重新得到一个图像特征图的过程。其中，卷积核就是权矩阵，即卷积时使用到的权用一个矩阵表示，该矩阵与对应的图像区域大小相同，其行、列都是奇数，是一个权矩阵。

池化层的池化操作则是指对卷积层输出的特征图进行降维操作，保留特征图中的主要特征。在Deep CNNs网络中，全连接层将卷积层产生的特征图映射成一个固定长度(一般为输入图像数据集中的图像类别数)的特征向量，这个特征向量包含了输入图像所有特征的组合信息，即将图像中含有最具有特点的图像特征保留了下来以此完成图像分类任务。

本申请实施例可以利用这种具有卷积、池化、全连接操作的深度神经网络模型，对显示屏生产线上由图像采集设备采集到的显示屏图像的变形、模糊、光照变化等特征具有较高的鲁棒性，对于分类任务具有更高的可泛化性。

可选的，在本实施例中，图像分类算法可以采用RCNN算法、Fast RCNN算法，或者，Faster RCNN算法。

RCNN算法的主要流程如下：输入图像；对每张图像生成1K-2K个候选区域；对每个候选区域，使用深度网络(AlexNet、VGG等CNN)提取特征，得到特征图；将特征图送入每一类的SVM分类器(即本实施例中每一类缺陷对应的分类器)，判别是否属于该类，使用回归器精细修正候选框位置。

Fast RCNN算法的主要流程如下：输入图像；对每张图像生成1K-2K个候选区域；对整张图像使用深度网络(AlexNet、VGG等CNN)提取特征，得到特征图；确定每个候选框在特征图上的映射patch，将此patch作为每个候选框的卷积特征输入到SPP layer和之后的层；对候选框中提取出的特征，使用分类器判别是否属于一个特定类；对于属于某一特征的候选框，用回归器进一步调整其位置。

Faster RCNN算法的主要流程如下：输入图像；对整张图像使用深度网络(AlexNet、VGG等CNN)提取特征，得到特征图；再将特征图输入到RPN，得到候选框的特征信息；对候选框中提取出的特征，使用分类器判别是否属于一个特定类；对于属于某一特征的候选框，用回归器进一步调整其位置。

利用上述任一算法对输入到缺陷分类模型中的输入图像，进行特征提取，并预测特征图中是否存在预先训练的不同类型缺陷特征，若显示屏图像的选定缺陷区域内包含特定缺陷，则进一步确定缺陷特征对应的缺陷类别标签值；若显示屏图像的选定缺陷区域内不包含特定缺陷，则不进行分类，直接输出缺陷类别标签值0。

综上可知，缺陷分类模型是对历史缺陷显示屏图像的缺陷类别损失进行训练的结果，可以得到包含缺陷类别损失的损失函数，该损失函数在缺陷分类模型的训练阶段用于评估卷积神经网络输出结果与实际标签值的差异。卷积神经网络的训练目的就是最小化损失函数值。

当缺陷分类模型的输出结果与显示屏图像中标记的缺陷结果之间的误差值小于预设损失阈值时，停止训练。该预设损失阈值是指符合显示屏业务要求的值。

值得说明的是，在本申请实施例中，对于不同的生产场景和显示屏图像的特点，训练上述缺陷分类模型所需要的深度卷积神经网络的深度、每层的神经元数量以及卷积层、池化层的组织方式均可能不同，其可以根据实际情况进行确定，本实施例并不对其进行限定。

步骤23：根据上述缺陷分类结果确定显示屏图像对应的显示屏的质量好坏。

可选的，在本申请的实施例中，当根据缺陷分类模型得出缺陷分类结果之后，可以依据该缺陷分类结果确定上述显示屏图像对应的显示屏的质量好坏。

可选的，在本申请的一实施例中，上述缺陷分类结果包括代表缺陷类别的标签值，其中，标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别。

当显示屏图像中存在缺陷时，该缺陷分类模型可以得出的缺陷分类结果可以包括一种缺陷类别的标签值，也可以包括多种缺陷类别的标签值(即显示屏上共存在多种屏幕缺陷)。

相应的，该步骤23(根据上述缺陷分类结果确定显示屏图像对应的显示屏的质量好坏)可以替换为如下步骤：

根据生产阶段信息以及上述缺陷分类结果，确定显示屏图像对应的显示屏的质量好坏。

具体的，显示屏的生产厂家不同、显示屏的生产环境、以及显示屏的类型不同等多种不同的生产阶段信息均可能在显示屏质量检测过程中得到不同的缺陷分类结果。例如，对于液晶显示屏，其一般要经过薄膜晶体管加工、彩色滤光器加工、单元装配和模块装配等生产阶段。对于LED屏，其一般要经过贴片、插件、波峰焊、后焊、测试、模组组装等阶段。对于不同种类的显示屏，所其经历的生产阶段不同，因而，对上述得到的缺陷分类结果进行分析时，需要结合各显示屏的生产阶段信息来确定显示屏的质量好坏。

本申请实施例提供的显示屏质量检测方法，通过接收部署在显示屏生产线上的控制台发送的质量检测请求，该质量检测请求中包含显示屏生产线上的图像采集设备采集的显示屏图像，将显示屏图像输入到缺陷分类模型中得到缺陷分类结果，并根据该缺陷分类结果确定显示屏图像对应的显示屏的质量好坏。由于上述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，因而，利用该缺陷分类模型得到的缺陷分类结果的分类精度高，智能化能力强，系统性能有所提高，业务可扩展能力高。

可选的，图3为本申请实施例提供的显示屏质量检测方法实施例二的流程示意图。本申请实施例是在图2所示实施例的基础上对显示屏质量检测方法的进一步说明。如图3所示，本实施例提供的显示屏质量检测方法，在上述步骤22(将上述显示屏图像输入到缺陷分类模型中得到缺陷分类结果)之前，该方法还可以包括如下步骤：

步骤31：对上述显示屏图像进行图像预处理，其中，该图像预处理包括下述处理中的一项或多项：裁边、切块、旋转、缩小、放大。

可选的，在本申请的实施例中，通常情况下，部署在显示屏生产线上的图像采集设备一般是高精度摄像头，因而，利用该图像采集设备采集到的显示屏图像可能尺寸较大、或者像素较高、或者位置不合适等。因而，当接收到控制台发送的包含在质量检测请求中的显示屏图像之后，需要根据实际情况对显示屏图像进行预处理。

例如，若显示屏图像的边缘区域较大，此时，可以对显示屏图像进行裁边处理，保留显示屏图像的屏显部分，或者，若显示屏图像的尺寸较大，此时，可以对显示屏图像进行切块(将显示屏图像分割成多个子图像)或缩小处理，以使送入缺陷分类模型的显示屏图像可以完全被检测，提高显示屏凸显的检测精度。再或者，若需要着重检测显示屏图像中的某一区域，可以对显示屏图像中的该区域进行放大等处理，以使预处理后的显示屏图像符合检测标准。

本申请实施例的显示屏质量检测方法，通过在将显示屏图像输入到缺陷分类模型中得到缺陷分类结果之前，对上述显示屏图像进行裁边、或/和切块或/和、或/和旋转、或/和缩小、或/和放大等图像预处理，可以使送入到缺陷分类模型的显示屏图像符合检测标准，为后续显示屏图像中的缺陷检测奠定了基础，提高了显示屏质量的检测准确度。

可选的，在上述实施例的基础上，图4为本申请实施例提供的显示屏质量检测方法实施例三的流程示意图。如图4所示，在本实施例中，上述步骤22(将上述显示屏图像输入到缺陷分类模型中得到缺陷分类结果)可以通过如下步骤实现：

步骤41：根据负载均衡策略，确定承载处理资源的分类模型服务器。

可选的，在本申请的实施例中，显示屏生产线上部署有一个服务器组，该服务器组中的服务器数量可以为多个，每个服务器上均运行着缺陷分类模型。可选的，每个服务器上运行的缺陷分类模型均是相同的，因此，每个服务器均可接收控制台发送的质量检测请求，进而可以利用自身承载的缺陷分类模型对显示屏图像进行质量检测。

作为一种示例，由于部署在显示屏生产线上的图像采集设备实时采集显示屏图像，因而，控制台也可以实时向服务器组中的任一服务器发送质量检测请求。

可选的，由于服务器组中每个服务器上运行的缺陷分类模型是相同的，因而，为了提高服务器上的缺陷分类模型的检测效率，保证缺陷分类模型的负载均衡，可以根据预先设置的负载均衡策略，从服务器组中确定一个承载处理资源的分类模型服务器，即根据显示屏生产线上缺陷分类模型的部署情况实时进行负载均衡和调度。

步骤42：将上述显示屏图像输入到运行在上述分类模型服务器上的缺陷分类模型中得到缺陷分类结果。

可选的，在本申请实施例中，当从服务器组中确定出承载处理资源的分类模型服务器之后，便可以将上述显示屏图像输入到该分类模型服务器上运行的缺陷分类模型中，利用该缺陷分类模型对显示屏图像的缺陷进行检测，进而得到缺陷分类结果。可选的，该缺陷分类模型是由训练模块采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的。

本申请实施例提供的显示屏质量检测方法，通过根据负载均衡策略，确定承载处理资源的分类模型服务器，并且将上述显示屏图像输入到运行在上述分类模型服务器上的缺陷分类模型中得到缺陷分类结果，能够实现服务器上的负载均衡，提高显示屏图像的检测效率，提升显示屏质量检测系统的性能。

可选的，在本申请实施例提供的显示屏质量检测方法中，在上述步骤23(根据上述缺陷分类结果确定显示屏图像对应的显示屏的质量好坏)之后，还可以包括如下步骤：

若确定上述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将上述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将上述显示屏图像和上述缺陷分类结果输入到上述缺陷分类模型中以便优化上述缺陷分类模型。

可选的，在本申请实施例中，测试人员可以根据显示屏的生产场景和生产阶段信息，预先设置当确定显示屏为坏屏时的解决方案，比如，通过控制器向生产管理者发送报警信息，和/或，通过控制器将上述缺陷分类结果作为日志存储到生产数据库中，和/或，通过控制器向控制台发送生产控制指令以便消除缺陷，和/或，将上述显示屏图像和上述缺陷分类结果输入到上述缺陷分类模型中以便优化上述缺陷分类模型等。

具体的，作为一种示例，当根据上述缺陷分类结果确定出显示屏图像对应的显示屏是坏屏，即显示屏中存在缺陷时，可以发出报警信息，以使生产管理者根据不同缺陷类别给出对应的解决方案。

可选的，具体的报警方式有语音报警、指示灯报警、显示器弹窗提示等，对此本实施例不作具体限定。

作为另一种示例，当根据上述缺陷分类结果确定显示屏中存在缺陷时，可以通过控制器将上述缺陷分类结果作为日志存储到生产数据库中，即将显示屏的缺陷类别作为日志存储到生产数据库中，进而可以将其筛选到训练数据库中，由训练模块(可以是训练引擎等软件程序)根据存在缺陷的显示屏图像更新上述缺陷分类模型。

作为再一种示例，当根据上述缺陷分类结果确定显示屏中存在具体缺陷类别时，还可以通过控制器向控制台发送生产控制指令以便消除不同类别缺陷。即，承载缺陷分类模型的分类模型服务器可以通过控制器确定出缺陷出现的原因，进而根据不同缺陷类别调整生产流程，也即，分类模型服务器通过控制器向控制台发送生产控制指令以消除显示屏上出现的缺陷，以减少坏屏出现的概率。本实施例中，对于不同缺陷类别，发送的生产控制指令不同。

可选的，生产线上可以设置机械臂装置，根据不同缺陷类别的标签值，分类模型服务器通过控制器向机械臂装置发送不同的抓取指令，将不同缺陷类别的显示屏在生产线上进行分流，以便生产管理者对不同缺陷类别的显示屏进行相关处理。

作为又一种示例，当根据上述缺陷分类结果确定显示屏中存在缺陷时，也可以直接将上述显示屏图像和上述缺陷分类结果输入到上述缺陷分类模型中以便优化上述缺陷分类模型，即直接将坏屏对应的显示屏图像作为缺陷分类模型的输入，坏屏的缺陷分类结果作为缺陷分类模型的输出，以优化该缺陷分类模型，进而提高缺陷分类模型的缺陷类别检测的准确度。

可选的，对于显示屏生产线上部署的图像采集设备、控制台、服务器组、控制器、数据库等多个不同的设备，也可以将显示屏质量检测方法对应的操作步骤分散到上述多个不同的设备来执行。例如，图像采集设备采集显示屏图像，控制台根据负载均衡策略，将图像采集设备采集到的显示屏图像发送给服务器组中的分类模型服务器，由分类模型服务器上运行的缺陷分类模型对显示屏图像进行预设的预处理之后进行缺陷检测，并给出缺陷分类结果。分类模型服务器可以将缺陷分类结果发送给控制器，一方面由控制器结合实际业务场景，并根据业务需求，根据上述缺陷分类结果做出符合实际业务场景要求的响应，如报警、存储日志、控制生产控制指令等，另一方面，控制器还可以将缺陷分类结果及上述响应的处理行为作为日志存储到生产数据库中，以使训练模块根据训练数据库中的显示屏图像和缺陷分类结果更新上述得到的缺陷分类模型，该训练数据库中存储的是从生产数据库中筛选的具有缺陷的显示屏图像和对应的缺陷分类结果等数据。

值得说明的是，对于每一次优化的缺陷分类模型可通过小流量上线的方式逐步取代正在服务器上运行的缺陷分类模型，以达到缺陷分类模型随业务场景和生产阶段信息动态扩展泛化的目的。当本申请实施例中显示屏质量检测方法在显示屏生产线上运行一段时间后，可以人工通过生产数据库中的信息，复查上述缺陷类别检测的准确率，然后更新上述训练数据库，重新训练缺陷分类模型，以提高缺陷检测准确率。

下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。

图5为本申请实施例提供的显示屏质量检测装置实施例的结构示意图。如图5所示，本申请实施例提供的显示屏质量检测装置可以包括：接收模块51、处理模块52和确定模块53。

其中，接收模块51，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；

处理模块52，用于将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的；

确定模块53，用于根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，包括：

所述缺陷分类模型是对所述历史缺陷显示屏图像的缺陷类别损失进行训练，以使所述缺陷类别损失的损失值满足预设损失阈值的结果；

其中，所述缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

可选的，所述处理模块52，还用于在将所述显示图像输入到缺陷分类模型中得到缺陷分类结果之前，对所述显示屏图像进行图像预处理；

其中，所述图像预处理包括下述处理中的一项或多项：

裁边、切块、旋转、缩小、放大。

可选的，所述处理模块52，具体用于根据负载均衡策略，确定承载处理资源的分类模型服务器，将所述显示屏图像输入到运行在所述分类模型服务器上的所述缺陷分类模型中得到缺陷分类结果。

可选的，所述缺陷分类结果包括代表缺陷类别的标签值，所述标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别；

所述确定模块53，具体用于根据生产阶段信息以及所述缺陷分类结果，确定所述显示屏图像对应的显示屏的质量好坏。

可选的，所述处理模块52，还用于在所述确定模块53根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述显示屏图像和所述缺陷分类结果输入到所述缺陷分类模型中以便优化所述缺陷分类模型。

本实施例的显示屏质量检测装置可用于执行图2至图4所示方法实施例的实现方案，具体实现方式和技术效果类似，这里不再赘述。

本申请实施例还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述图2至图4所示方法实施例所示的显示屏质量检测方法中的各个步骤。

本申请还提供一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如图2至图4所示方法实施例的方法。

本申请还提供一种程序产品，该程序产品包括计算机程序，该计算机程序存储在存储介质中。显示屏质量检测装置的至少一个处理器可以从存储介质读取该计算机程序，至少一个处理器执行该计算机程序使得显示屏质量检测装置执行图2至图4所示方法实施例的方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (14)

1.一种显示屏质量检测方法，其特征在于，包括：

接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；

将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的；

根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏。

2.根据权利要求1所述的方法，其特征在于，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，包括：

所述缺陷分类模型是对所述历史缺陷显示屏图像的缺陷类别损失进行训练，以使所述缺陷类别损失的损失值满足预设损失阈值的结果；

其中，所述缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

3.根据权利要求1所述的方法，其特征在于，所述将所述显示图像输入到缺陷分类模型中得到缺陷分类结果之前，还包括：

对所述显示屏图像进行图像预处理，其中，所述图像预处理包括下述处理中的一项或多项：

裁边、切块、旋转、缩小、放大。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，包括：

根据负载均衡策略，确定承载处理资源的分类模型服务器；

将所述显示屏图像输入到运行在所述分类模型服务器上的所述缺陷分类模型中得到缺陷分类结果。

5.根据权利要求1-3任一项所述的方法，其特征在于，所述缺陷分类结果包括代表缺陷类别的标签值；所述标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别；

所述根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏，包括：

根据生产阶段信息以及所述缺陷分类结果，确定所述显示屏图像对应的显示屏的质量好坏。

6.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏之后，还包括：

若确定所述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述显示屏图像和所述缺陷分类结果输入到所述缺陷分类模型中以便优化所述缺陷分类模型。

7.一种显示屏质量检测装置，其特征在于，包括：

接收模块，用于接收部署在显示屏生产线上的控制台发送的质量检测请求，所述质量检测请求中包含所述显示屏生产线上的图像采集设备采集的显示屏图像；

处理模块，用于将所述显示屏图像输入到缺陷分类模型中得到缺陷分类结果，其中，所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的；

确定模块，用于根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏。

8.根据权利要求7所述的装置，其特征在于，

所述缺陷分类模型是采用深度卷积神经网络结构和图像分类算法对历史缺陷显示屏图像进行训练得到的，包括：

所述缺陷分类模型是对所述历史缺陷显示屏图像的缺陷类别损失进行训练，以使所述缺陷类别损失的损失值满足预设损失阈值的结果；

其中，所述缺陷类别损失指预测缺陷类别与实际缺陷类别之间的损失值。

9.根据权利要求7所述的装置，其特征在于，

所述处理模块，还用于在将所述显示图像输入到缺陷分类模型中得到缺陷分类结果之前，对所述显示屏图像进行图像预处理；

其中，所述图像预处理包括下述处理中的一项或多项：

裁边、切块、旋转、缩小、放大。

10.根据权利要求7-9任一项所述的装置，其特征在于，

所述处理模块，具体用于根据负载均衡策略，确定承载处理资源的分类模型服务器，将所述显示屏图像输入到运行在所述分类模型服务器上的所述缺陷分类模型中得到缺陷分类结果。

11.根据权利要求7-9任一项所述的装置，其特征在于，所述缺陷分类结果包括代表缺陷类别的标签值，所述标签值包括0-n，n为大于等于1的正整数，0代表无缺陷，1-n分别代表不同缺陷类别；

所述确定模块，具体用于根据生产阶段信息以及所述缺陷分类结果，确定所述显示屏图像对应的显示屏的质量好坏。

12.根据权利要求7-9任一项所述的装置，其特征在于，

所述处理模块，还用于在所述确定模块根据所述缺陷分类结果确定所述显示屏图像对应的显示屏的质量好坏之后，若确定所述显示屏为坏屏，则执行以下一项或多项操作：

通过控制器向生产管理者发送报警信息；

通过控制器将所述缺陷分类结果作为日志存储到生产数据库中；

通过控制器向所述控制台发送生产控制指令以便消除缺陷；

将所述显示屏图像和所述缺陷分类结果输入到所述缺陷分类模型中以便优化所述缺陷分类模型。

13.一种电子设备，包括处理器、存储器及存储在所述存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上述权利要求1-6任一项所述的方法。

14.一种存储介质，其特征在于，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行如权利要求1-6任一项所述的方法。