CN113160060A - 图像处理方法及装置、设备、存储介质 - Google Patents

Abstract

本申请公开了一种图像处理方法及装置、设备、存储介质，属于显示技术领域。所述方法包括：获取AOI设备采集的包含显示面板的图像；对所述图像进行分辨率增强处理，得到目标图像；确定所述目标图像中的所述显示面板的不良信息。通过对AOI设备采集的图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。

Description

图像处理方法及装置、设备、存储介质

技术领域

本申请涉及显示技术领域，特别涉及一种图像处理方法及装置、设备、存储介质。

背景技术

目前，显示面板通常需要经过复杂的工艺流程制造。在显示面板的制造过程中，其线路极易出现断路或短路等不良现象。

为此，在显示面板的制造过程中的各个工序后，需要采用自动光学检测(英文：Automatic Optic Inspection；简称：AOI)设备获取显示面板的图像，对这些图像进行不良识别，即可得到在各个工序后的显示面板中存在不良现象的位置以及种类。后续在对存在不良现象的显示面板进行维修，即可大幅提高显示面板的产品良率。

然而，当AOI设备获取到的图像的质量较差时，对该图像进行不良识别的准确度也较差，容易导致显示面板中存在的不良现象无法被识别，进而导致该显示面板的产品良率较低。

发明内容

本申请实施例提供了一种图像处理方法及装置、设备、存储介质。可以解决目前的显示面板的产品良率较低问题，所述技术方案如下：

一方面，提供了一种图像处理方法，所述方法包括：

获取自动光学检测AOI设备采集的包含显示面板的图像；

对所述图像进行分辨率增强处理，得到目标图像；

确定所述目标图像中的所述显示面板的不良信息。

可选的，对所述图像进行分辨率增强处理，得到目标图像，包括：

向增强模型输入所述图像，得到所述增强模型输出的所述目标图像，所述增强模型用于增强输入的图像的分辨率。

可选的，对所述图像进行分辨率增强处理，得到目标图像，包括：

采用图像插值算法或图像超分辨率重建算法，对所述图像进行分辨率增强处理，以得到所述目标图像。

可选的，对所述图像进行分辨率增强处理，得到目标图像，包括：

在确定出所述图像不为清晰的图像后，对所述图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像；

将所述得到的图像确定为所述目标图像。

可选的，对所述图像执行至少一次分辨率增强处理，包括：

对所述图像进行分辨率增强处理，得到中间图像；

检测所述中间图像是否为清晰的图像；

在确定出所述中间图像不为清晰的图像后，对所述中间图像进行分辨率增强处理，得到新的中间图像，并执行检测所述新的中间图像是否为清晰的图像的操作。

可选的，所述方法还包括：

对所述图像进行清晰度特征提取处理，得到所述图像的第一清晰度特征；

将所述第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测所述图像是否为清晰的图像。

可选的，将所述第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测所述图像是否为清晰的图像，以检测所述图像是否为清晰的图像包括：

确定所述第一清晰度特征与所述第二清晰度特征的相似度；

在确定出所述相似度大于相似度阈值时，确定所述图像为清晰的图像；

在确定出所述相似度不大于相似度阈值时，确定所述图像不为清晰的图像。

可选的，确定所述目标图像中的所述显示面板的不良信息，包括：

对所述目标图像进行不良特征提取处理，得到所述目标图像的第一不良特征；

将所述第一不良特征与不良图像的第二不良特征进行比对，以确定所述目标图像中的所述显示面板的不良信息，所述不良图像为包含不良的显示面板的图像。

可选的，所述向增强模型输入所述图像，得到所述增强模型输出的图像之前，所述方法还包括：

接收所述增强模型；

或者，对人工智能模型执行多次训练过程，得到所述增强模型；

其中，每次所述训练过程包括：

向所述人工智能模型输入一张模糊的样本图像，得到所述人工智能模型输出的图像；

基于所述人工智能模型输出的图像和所述样本图像对应的清晰的标签图像，对所述人工智能模型的参数进行调整。

另一方面，提供了一种图像处理装置，所述装置包括：

获取模块，用于获取自动光学检测AOI设备采集的包含显示面板的图像；

增强模块，用于对所述图像进行分辨率增强处理，得到目标图像；

确定模块，用于确定所述目标图像中的所述显示面板的不良信息。

可选的，所述增强模块，用于：

向增强模型输入所述图像，得到所述增强模型输出的所述目标图像，所述增强模型用于增强输入的图像的分辨率。

可选的，所述增强模块，用于：

采用图像插值算法或图像超分辨率重建算法，对所述图像进行分辨率增强处理，以得到所述目标图像。

可选的，所述增强模块，包括：

增强单元，用于在确定出所述图像不为清晰的图像后，对所述图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像；

确定单元，用将所述得到的图像确定为所述目标图像。

又一方面，提供了一种图像处理设备，包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行上述的图像处理方法。

再一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述可读存储介质在处理组件上运行时，使得所述处理组件执行上述的图像处理方法。

本申请实施例提供的技术方案带来的有益效果至少包括：

在获取到AOI设备采集的包含显示面板的图像后，通过对该图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。在对显示面板中存在的不良现象进行维修后，可以有效的提高显示面板的产品良率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法所涉及的图像处理系统的结构示意图；

图2是本申请实施例提供的一种图像处理方法的流程图；

图3是本申请实施例提供的另一种图像处理方法的流程图；

图4是本申请实施例提供的一种检测图像是否为清晰的图像的方法流程图；

图5是本申请实施例提供的一种确定目标图像中的显示面板的不良信息的方法流程图；

图6是本申请实施例提供的一种图像处理装置的结构框图；

图7是本申请实施例提供的一种增强模块的结构框图；

图8是本申请实施例提供的另一种图像处理装置的结构框图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

请参考图1，图1是本申请实施例提供的一种图像处理方法所涉及的图像处理系统的结构示意图。该图像处理系统100可以包括：AOI设备101和图像处理设备102。

AOI设备101用于采集显示面板103的图像。如此，在显示面板103的制造过程中，通过该AOI设备101能够采集到该显示面板103在各个工序后的图像。

图像处理设备102可以为计算机设备，或者是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心等。

其中，AOI设备101与图像处理设备102通信连接。该AOI设备101能够将其采集的图像发送给图像处理设备102。

可选的，该图像处理系统100还可以包括：存储服务器104。该存储服务器104可以是一台服务器，或者由若干台服务器组成的服务器集群，或者是一个云计算服务中心等。

其中，存储服务器104分别与AOI设备101和图像处理设备102通信连接。如此，AOI设备101可以通过存储服务器104与图像处理设备102通信连接。在AOI设备101采集到图像后，该AOI设备101可以将其采集到的图像发送给存储服务器104中进行存储。图像处理设备102可以在存储服务器104中下载需要处理的图像。

需要说明的是，本申请实施例中所谓的通信连接，可以是通过有线网络或者无线网络建立的通信连接。

请参考图2，图2是本申请实施例提供的一种图像处理方法的流程图。该图像处理方法应用于图1示出的图像处理系统100中的图像处理设备102。该图像处理方法可以包括：

步骤201、获取AOI设备采集的包含显示面板的图像。

步骤202、对该图像进行分辨率加强处理，得到目标图像。

步骤203、确定目标图像中的显示面板的不良信息。

综上所述，本申请实施例提供的图像处理方法，在获取到AOI设备采集的包含显示面板的图像后，通过对该图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。在对显示面板中存在的不良现象进行维修后，可以有效的提高显示面板的产品良率。

请参考图3，图3是本申请实施例提供的另一种图像处理方法的流程图。该图像处理方法应用于图1示出的图像处理系统100中的图像处理设备102。该图像处理方法可以包括：

步骤301、获取AOI设备采集的包含显示面板的图像。

在本申请实施例中，图像处理设备可以获取AOI设备采集的包含显示面板的图像。

在本申请中，在显示面板的制造过程中，AOI设备可以采集显示面板在各个工序后的图像。并且，该AOI设备能够将其采集的包含显示面板的图像发送给图像处理设备，使得该图像处理设备能够获取到包含显示面板的图像。

示例的，在AOI设备采集到包含显示面板的图像后，该AOI设备可以将其采集到的图像发送给存储服务器中，使得存储服务器可以存储该包含显示面板的图像。后续，若需要对某个工序后的显示面板中存在的不良现象进行检测，则图像处理设备在存储服务器中下载相应的图像，并对图像中的显示面板中存在的不良进行检测即可。

需要说明的是，AOI设备能够自动对各个工序后的显示面板进行拍摄，且在AOI设备进行拍摄过程中，该AOI设备能够自动对焦，以保证其拍摄到的包含显示面板的图像的清晰度。然而，在AOI设备自动对焦的过程中，当AOI设备的对焦不准确时，其拍摄到的图像的清晰对较低。为此，在图像处理设备获取到AOI设备采集到的图像后，该图像处理设备还需要通过下述步骤302检测AOI设备采集的图像是否为清晰的图像。

步骤302、检测AOI设备采集的图像是否为清晰的图像。

在本申请实施例中，在图像处理设备获取到AOI设备采集的包含显示面板的图像后，图像处理设备还需要检测该AOI设备采集的图像是否为清晰的图像。

其中，该清晰的图像是指分辨率大于分辨率阈值的图像。当图像的分辨率大于分辨率阈值，该图像的清晰度较高，后续即使直接对该图像中确定显示面板的不良信息，也可以确保所确定出的显示面板的不良信息的准确度较高。

为此，在本申请中，在图像处理设备确定出AOI设备采集的图像不为清晰的图像(也即模糊的图像)后，需要对该图像进行相应的处理，再在处理后的图像中确定显示面板的不良信息，也即执行步骤303；在图像处理设备确定出AOI设备采集的图像为清晰的图像后，可以直接在该图像中确定显示面板的不良信息，也即执行步骤305。

在本申请中，请参考图4，图4是本申请实施例提供的一种检测图像是否为清晰的图像的方法流程图。图像处理设备检测AOI设备采集的图像是否为清晰的图像可以包括以下几个步骤：

步骤3021、对AOI设备采集的图像进行清晰度特征提取处理，得到图像的第一清晰度特征。

在本申请实施例中，图像处理设备可以对AOI设备采集的图像进行清晰度特征提取处理，以得到该图像的第一清晰度特征。

其中，图像的清晰度特征用于反映图像的清晰度，其可以包含图像的分辨率信息和任意两个相邻的像素差值的信息等。其中，该清晰度特征可以为数组或向量。

在一种可选的实现方式中，清晰度特征提取处理可以由卷积神经网络(英文：convolutional neural network；简称：CNN)来实现，例如，可以直接向CNN中输入图像，由CNN计算输出该图像的清晰度特征。在另一种可选的实现方式中，清晰度特征提取处理也可以由其他计算模块或者特征提取器来实现，例如，可以对图像进行卷积运算，将运算得到的结果作为该图像的清晰度特征。需要说明的是，清晰度特征提取处理的方式还可以有其他方式，本申请实施例对此不做限定。

步骤3022、将第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测图像是否为清晰的图像。

在本申请实施例中，图像处理设备可以将第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测图像是否为清晰的图像。

在本申请中，清晰的参考图像的第二清晰度特征是预先获取到的。在图像处理设备每次获取到AOI设备采集的图像的第一清晰度特征后，直接将该第一清晰度特征与第二清晰度特征进行比对，便能够检测出该AOI设备采集的图像是否为清晰的图像。

需要说明的是，该清晰的参考图像是预先通过AOI设备采集到的清晰度较高的图像。该清晰的参考图像可以为人工从AOI设备采集到的大量的图像中筛选出的。在对大量的清晰度较高的图像进行清晰度特征提取处理，且对提取到的清晰度特征进行平均运算后，可以将运算得到的结果作为清晰的参考图像的第二清晰度特征。

示例的，图像处理设备可以将第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测图像是否为清晰的图像，可以包括以下几个步骤：

步骤A1、确定第一清晰度特征与第二清晰度特征的相似度。

在本申请实施例中，图像处理设备在确定出AOI设备采集的图像的第一清晰度特征后，该图像处理设备可以确定第一清晰度特征与清晰的参考图像的第二清晰度特征的相似度。

示例的，图像处理设备可以采用相似度计算公式计算第一清晰度特征与第二清晰度特征的相似度。

步骤B1、检测相似度是否大于相似度阈值。

在本申请实施例中，图像处理设备在确定出第一清晰度特征与第二清晰度特征的相似度后，图像处理设备可以检测该相似度是否大于相似度阈值。

示例的，在图像处理设备确定出第一清晰度特征与第二清晰度特征的相似度大于相似度阈值时，执行步骤C1；在图像处理设备确定出第一清晰度特征与第二清晰度特征的相似度不大于相似度阈值时，执行步骤D1。

步骤C1、在确定出相似度大于相似度阈值时，确定图像为清晰的图像。

在本申请实施例中，在图像处理设备确定出第一清晰度特征与第二清晰度特征的相似度大于相似度阈值时，该图像处理设备可以确定AOI设备采集到的图像为清晰的图像，此时，可以执行步骤305。

步骤D1、在确定出相似度不大于相似度阈值时，确定图像为不清晰的图像。

在本申请实施例中，在图像处理设备确定出第一清晰度特征与第二清晰度特征的相似度不大于相似度阈值时，该图像处理设备可以确定AOI设备采集到的图像不为清晰的图像，此时，可以执行步骤305。

需要说明的是，若在AOI设备采集包含显示面板的图像的过程中，操作人员发现其采集到图像的清晰度较低，则，该操作人员可以通过AOI设备在其采集到的清晰度较低的图像中进行标记处理，使得该图像中可以携带用于指示图像的清晰度较低的标记。在这种情况下，在图像处理设备获取到AOI设备采集的图像后，该图像处理设备可以检测该图像中是否携带有用于指示图像的清晰度较低的标记，在图像处理设备检测出图像携带有此标记后，该图像处理设备可以直接执行步骤303，而无需执行步骤302；而在图像处理设备未检测出图像携带有此标记后，该图像处理设备才执行步骤302。如此，可以有效的降低图像处理设备的运算量，提高该图像处理设备的运算性能。

步骤303、在确定出AOI设备采集的图像不为清晰的图像后，对该图像进行分辨率增强处理，得到目标图像。

在本申请实施例中，在图像处理设备确定出AOI设备采集的图像不为清晰的图像，也即图像处理设备确定出AOI设备采集的图像为模糊的图像后，图像处理设备可以对该图像进行分辨率增强处理，得到目标图像。

在本申请中，图像处理设备对AOI设备采集的图像进行分辨率增强处理，得到目标图像的方式有多种，本申请实施例以以下两种可选的实现方式为例进行示意性的说明：

第一种可选的实现方式，图像处理设备对AOI设备采集的图像进行分辨率增强处理，得到目标图像可以包括：

图像处理设备向增强模型输入AOI设备采集的图像，得到增强模型输出的图像，并将该增强模型输出的图像确定为目标图像。

在本申请实施例中，该增强模型用于增强输入的图像的分辨率。如此，在图像处理设备向增强模型输入AOI设备采集的图像后，该增强模型输出的目标图像的分辨率，高于AOI设备采集的图像的分辨率，使得该目标图像的清晰度相对于AOI设备采集的图像的清晰度较高。

可选的，该增强模型可以为采用深度神经网络或卷积神经网络等进行学习训练得到的人工智能(英文：Artificial Intelligence，简称：AI)模型。

需要说明的是，在向增强模型输入AOI设备采集的图像，得到该增强模型输出的目标图像之前，图像处理设备还需要获取该增强模型。在本申请中，图像处理设备对人工智能模型执行多次训练过程，便可以得到该增强模型。

但是，由于在对人工智能模型执行多次训练过程以得到增强模型的过程中，需要到对海量数据进行处理，因此，为了提高训练效率，在本申请中可以采用运算能力更强的训练服务器对人工智能模型进行训练以得到增强模型，在训练完成后，可以将增强模型发送给图像处理设备，使得该图像处理设备可以接收该增强模型。在这种情况下，训练服务器可以对人工智能模型执行多次训练过程，以得到增强模型。

示例的，不管是图像处理设备对人工智能模型执行多次训练过程，还是训练服务器对人工智能模型执行多次训练过程，每次训练过程的方式均是相同。

其中，每次训练过程可以包括：

步骤A2、向人工智能模型输入一张模糊的样本图像，得到人工智能模型输出的图像。

步骤B2、基于人工智能模型输出的图像和该样本图像对应的清晰的标签图像，对人工智能模型的参数进行调整。

其中，模糊的样本图像和该样本图像对应的清晰的标签图像所显示的图像内容是相同的。该样本图像和对应的标签图像仅是清晰度不同。

在本申请中，可以对人工智能模型输出的图像的清晰度特征和样本图像对应的标签图像的清晰度特征的进行比对，并根据比对结果对人工智能模型的参数进行调整。随着训练次数的增加，该人工智能模型输出的图像的清晰度与样本图像对应的标签图像的清晰度之间的差距越来越小。

需要说明的是，在对人工智能模型执行多次训练过程中，若达到截止条件，可以将执行完最后一次训练过程后的人工智能模型确定为增强模型。

可选的，该截止条件可以包括：执行指定次数的训练过程；或者，在连续执行n次训练过程时，每次人工智能模型输出的图像的清晰度特征和样本图像对应的标签图像的清晰度特征的相似度均大于相似度阈值。其中，n为大于1的整数。

在对人工智能模型训练完成以得到增强模型后，通过该增强模型可以增强输入的图像的分辨率。如此，若向增强模型输入模糊的图像后，该增强模型输出的图像的清晰度，远高于该模糊的图像的清晰度。

第二种可选的实现方式，图像处理设备对AOI设备采集的图像进行分辨率增强处理，得到目标图像可以包括：

采用图像插值算法或图像超分辨率重建算法，对AOI设备采集的图像进行分辨率增强处理，以得到目标图像。

在本申请实施例中，采用图像插值算法或图像超分辨率重建算法，对AOI设备采集的图像的进行分辨率增强处理后，得到的目标图像的分辨率，高于AOI设备采集的图像的分辨率，使得该目标图像的清晰度相对于AOI设备采集的图像的清晰度较高。

需要说明的是，通过上述两种可选的实现方式均能够有效的提高AOI设备采集的图像的分辨率。然而，若AOI设备采集的图像的分辨率较低，通过单独的一次分辨率增强处理，很难将其处理为分辨率较高的图像。

为此，在本申请实施例中，在图像处理设备确定出AOI设备采集的图像不为清晰的图像后，该图像处理设备需要对AOI设备采集的图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像，并将该得到的图像确定为目标图像。

在本申请中，图像处理设备在每次对图像进行分辨率增强处理后，该图像处理设备需要检测本次对分辨率增强处理后得到的图像是否为清晰的图像。若本次对分辨率增强处理后得到的图像为清晰的图像，则将本次对分辨率增强处理后得到的图像确定为目标图像；若本次对分辨率增强处理后得到的图像不为清晰的图像，则再执行一次分辨率增强处理。

需要说明的是，图像处理设备每次检测分辨率增强处理后得到的图像是否为清晰的图像的过程，可以参考步骤302中检测AOI设备采集的图像是否为清晰的图像的过程，本申请实施例在此不再赘述。

在本申请实施例中，图像处理设备对AOI设备采集的图像执行至少一次分辨率增强处理的方式有多种，本申请实施例以以下两种示例性的实现方式为例进行说明：

在第一种示例性的实现方式中，图像处理设备对AOI设备采集的图像执行至少一次分辨率增强处理可以包括：

步骤A3、对图像处理设备进行分辨率增强处理，得到中间图像。

在本申请实施例中，图像处理设备对AOI设备采集的图像进行分辨率增强处理，得到中间的图像。其中，该步骤A3中对图像进行分辨率增强处理方式可以采用上述的两种可选的实现方式中的任意一种可选的实现方式，本申请实施例在此不再赘述。

步骤B3、检测该中间图像是否为清晰的图像。

在本申请实施例中，图像处理设备可以检测中间图像是否为清晰的图像。其中，该检测过程可以参考步骤302中检测AOI设备采集的图像是否为清晰的图像的过程，本申请实施例在此不再赘述。

示例的，在图像处理设备确定出中间的图像为清晰的图像后，将该中间图像确定为目标图像。在图像处理设备确定出中间的图像不为清晰的图像后，执行步骤C3。

步骤C3、在确定出中间图像不为清晰的图像后，对该中间图像进行分辨率增强处理，得到新的中间图像，并执行检测该新的中间图像是否为清晰的图像的操作。

在本申请实施例中，图像处理设备在确定出中间的图像不为清晰的图像后，图像处理设备可以对该中间图像进行分辨率增强处理，得到新的中间图像。之后，图像处理设备执行检测该新的中间图像是否为清晰的图像的操作，也即重复执行步骤B3。其中，该步骤C3中对中间图像进行分辨率增强处理方式可以采用上述两种可选的实现方式中的任意一种可选的实现方式，本申请实施例在此不再赘述。

需要说明的是，在对AOI设备采集到的图像进行分辨率增强处理得到中间图像后，该中间图像的清晰度高于AOI设备采集到的图像的清晰度；在对中间图像进行分辨率增强处理得到新的中间图像后，该新的中间图像的清晰度高于中间图像的清晰度。如此，对AOI设备采集的图像所执行的分辨率增强处理的次数越多，所得到处理后的图像的清晰度越高。

在第二种示例性的实现方式中，图像处理设备对AOI设备采集的图像执行至少一次分辨率增强处理可以包括：

步骤A4、对图像处理设备进行分辨率增强处理，得到中间图像。

该步骤可以参考上述步骤A3，本申请实施例在此不再赘述。

步骤B4、检测该中间图像是否为清晰的图像。

该步骤可以参考上述步骤B3，本申请实施例在此不再赘述。

示例的，在图像处理设备确定出中间的图像为清晰的图像后，将该中间图像确定为目标图像。在图像处理设备确定出中间的图像不为清晰的图像后，执行步骤C4。

步骤C4、在确定出中间图像不为清晰的图像后，重新对AOI设备采集的图像进行分辨率增强处理，得到新的中间图像，并执行检测该新的中间图像是否为清晰的图像的操作。

在本申请实施例中，图像处理设备在确定出中间的图像不为清晰的图像后，图像处理设备可以重新对AOI设备采集的图像进行分辨率增强处理，得到新的中间图像。之后，图像处理设备执行检测该新的中间图像是否为清晰的图像的操作，也即重复执行步骤B4。其中，该步骤C4中对中间图像进行分辨率增强处理方式可以采用上述两种可选的实现方式中的任意一种可选的实现方式，本申请实施例在此不再赘述。

需要说明的是，在本次对AOI设备采集到的图像进行分辨率增强处理的处理程度，高于上次对AOI设备采集到的图像进行分辨率增强处理的处理程度。如此，本次对AOI设备采集到的图像进行分辨率增强处理后得到的中间图像的清晰度，高于上次对AOI设备采集到的图像进行分辨率增强处理后得到的中间图像的清晰度。这样，对AOI设备采集的图像所执行的分辨率增强处理的次数越多，所得到处理后的图像的清晰度越高。

在本申请中，通过上述两种示例性的实现方式，在图像处理设备对AOI设备采集到的图像执行多次分辨率增强处理后，所得到的目标图像的清晰度较高。

步骤304、确定目标图像中的显示面板的不良信息。

在本申请实施例中，在图像处理设备对AOI设备采集的图像进行分辨率增强处理以得到目标图像后，该图像处理设备可以确定目标图像中的显示面板的不良信息。

其中，显示面板的不良信息可以包括：显示面板中存在不良现象的类型信息，以及显示面板中存在不良现象的部位在显示面板中的位置信息等。

示例的，如图5所示，图5是本申请实施例提供的一种确定目标图像中的显示面板的不良信息的方法流程图。图像处理设备确定目标图像中的显示面板的不良信息可以包括以下几个步骤：

步骤3041、对目标图像进行不良特征提取处理，得到目标图像的第一不良特征。

在本申请实施例中，图像处理设备可以对目标图像进行不良特征提取处理，得到目标图像的第一不良特征。

其中，图像的不良特征用于反映图像中的显示面板的不良信息，其可以包含图像中的显示内容的灰度信息和边界信息等。其中，该不良特征可以为数组或向量。

示例的，当不良特征包括图像中的显示内容的边界信息时，图像处理设备获取边界信息的方式可以为：采用高斯滤波器对图象进行平滑处理；用一阶偏导的有限差分来计算梯度的幅值和方向；对梯度幅值进行非极大值抑制；用双阈值算法检测和连接边缘。

在一种可选的实现方式中，不良特征提取处理可以CNN来实现，例如，可以直接向CNN中输入图像，由CNN计算输出该图像的不良特征。在另一种可选的实现方式中，不良特征提取处理也可以由其他计算模块或者特征提取器来实现，例如，可以对图像进行卷积运算，将运算得到的结果作为该图像的不良特征。需要说明的是，不良特征提取处理的方式还可以有其他方式，本申请实施例对此不做限定。

步骤3042、将第一不良特征与不良图像的第二不良特征进行比对，以确定目标图像中的显示面板的不良信息。

在本申请实施例中，图像处理设备可以将第一不良特征与不良图像的第二不良特征进行比对，以确定图像中的显示面板的不良信息。其中，该不良图像为包含不良的显示面板的图像。

在本申请中，不良图像的第二不良特征是预先获取到的。在图像处理设备获取到目标图像的第一不良特征后，直接将该第一不良特征与第二不良特征进行比对，便能够确定出目标图像中的显示面板是否存在不良现象，且在目标图像中的显示面板存在不良现象时，确定该目标图像中的显示面板的不良信息。

需要说明的是，该不良图像是预先通过AOI设备采集到的清晰度较高且包含不良的显示面板的图像。该不良图像可以为人工从AOI设备采集到的大量的图像中筛选出的。在对大量的清晰度较高且包含不良的显示面板的图像进行不良特征提取处理，且对提取到的不良特征进行平均运算后，可以将运算得到的结果作为不良图像的第二不良特征。

在本申请中，显示面板中存在不良现象的类型不同时，该不良图像中的不良特征也不同。为此，不良图像的第二不良特征的个数为多个，该多个第二不良特征与不同图像中存在的多种不良现象的类型一一对应。且，对目标图像进行不良特征提取后得到的第一不良特征的个数也为多个，在后续依次对每个第一不良特征与各个第二不良特征进行比对后，即可对显示面板中可能存在的多种类型的不良现象进行检测和排查。

示例的，若目标图像的每个第一不良特征与各个第二不良特征的相似度均不大于相似度阈值，则图像处理设备可以确定出该目标图像中的显示面板不存在不良现象。

若目标图像的某个第一不良特征与一个第二不良特征的相似度大于相似度阈值，则图像处理设备可以确定出该目标图像中的显示面板存在不良现象。图像处理设备可以根据该一个第二不良特征确定目标图像中的显示面板的存在不良现象的类型。并且，图像处理设备根据该某个第一不良特征确定目标图像中的显示面板存在不良现象的位置信息。如此，图像处理设备即可在目标图像中确定出显示面板的不良信息。

步骤305、在确定出AOI设备采集的图像为清晰的图像后，确定该图像中的显示面板的不良信息。

在本申请实施例中，在图像处理设备确定出AOI设备采集的图像为清晰的图像后，图像处理设备可以确定该图像中的显示面板的不良信息。需要说明的是，图像处理设备确定AOI设备采集的图像中的显示面板的不良信息的方式，可以参考步骤304中图像处理设备确定目标图像中的显示面板的不良信息的方式，本申请实施例在此不再赘述。

需要说明的是，本申请实施例提供的图像处理方法的步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本申请的保护范围之内，因此不再赘述。

综上所述，本申请实施例提供的图像处理方法，在获取到AOI设备采集的包含显示面板的图像后，通过对该图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。在对显示面板中存在的不良现象进行维修后，可以有效的提高显示面板的产品良率。

本申请实施例还提供了一种图像处理装置。如图6所示，图6是本申请实施例提供的一种图像处理装置的结构框图。该图像处理装置400可以集成在图1示出的图像处理系统100中的图像处理设备102。该图像处理装置400可以包括：

获取模块401，用于获取自动光学检测AOI设备采集的包含显示面板的图像。

增强模块402，用于对该图像进行分辨率增强处理，得到目标图像。

确定模块403，用于确定该目标图像中的显示面板的不良信息。

综上所述，本申请实施例提供的图像处理装置，在获取到AOI设备采集的包含显示面板的图像后，通过对该图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。在对显示面板中存在的不良现象进行维修后，可以有效的提高显示面板的产品良率。

可选的，该增强模块402，用于向增强模型输入图像，得到增强模型输出的目标图像，增强模型用于增强输入的图像的分辨率。

可选的，该增强模块402，用于采用图像插值算法或图像超分辨率重建算法，对图像进行分辨率增强处理，以得到目标图像。

可选的，如图7所示，图7是本申请实施例提供的一种增强模块的结构框图。该增模块402可以包括：

增强单元4021，用于在确定出AOI设备获取到的图像不为清晰的图像后，对图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像；

确定单元4022，用于将得到的图像确定为目标图像。

可选的，该增强单元4021，用于对AOI设备获取到的图像进行分辨率增强处理，得到中间图像；检测中间图像是否为清晰的图像；在确定出中间图像不为清晰的图像后，对中间图像进行分辨率增强处理，得到新的中间图像，并执行检测新的中间图像是否为清晰的图像的操作。

可选的，如图8所示，图8是本申请实施例提供的另一种图像处理装置的结构框图。该图像处理装置400还可以包括：

清晰度特征提取模块404，用于对AOI设备获取到的图像进行清晰度特征提取处理，得到该图像的第一清晰度特征。

比对模块405，用于将第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测图像是否为清晰的图像。

可选的，该比对模块405，用于：确定第一清晰度特征与第二清晰度特征的相似度；在确定出相似度大于相似度阈值时，确定AOI设备采集图像为清晰的图像；在确定出相似度不大于相似度阈值时，确定AOI设备采集的图像不为清晰的图像。

可选的，确定模块403，用于：对目标图像进行不良特征提取处理，得到目标图像的第一不良特征；将第一不良特征与不良图像的第二不良特征进行比对，以确定目标图像中的显示面板的不良信息，不良图像为包含不良的显示面板的图像。

可选的，该图像处理装置还包括：接收模块或者训练模块。

其中，接收模块，用于接收增强模型。

训练模块，用于对人工智能模型执行多次训练过程，得到增强模型。每次训练过程包括：向人工智能模型输入一张模糊的样本图像，得到人工智能模型输出的图像；基于人工智能模型输出的图像和样本图像对应的清晰的标签图像，对人工智能模型的参数进行调整。

综上所述，本申请实施例提供的图像处理装置，在获取到AOI设备采集的包含显示面板的图像后，通过对该图像进行分辨率加强处理，以提高分辨率加强处理后得到的目标图像的分辨率，进而可以保证该目标图像的清晰度较高，其图像质量较好。后续在清晰度较高的目标图像中确定显示面板的不良信息时，所确定出的显示面板的不良信息的准确度较高，降低了显示面板中存在的不良现象无法被识别的概率。在对显示面板中存在的不良现象进行维修后，可以有效的提高显示面板的产品良率。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种图像处理设备。该图像处理设备可以包括：处理器，以及用于存储该处理器的可执行指令的存储器。其中，该处理器被配置为执行图2或图3示出的图像处理方法。

本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质中存储有指令，当该计算机可读存储介质在处理组件上运行时，使得该处理组件执行图2或图3示出的图像处理方法。

在本申请中，术语“第一”和“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选的实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (15)

1.一种图像处理方法，其特征在于，所述方法包括：

获取自动光学检测AOI设备采集的包含显示面板的图像；

对所述图像进行分辨率增强处理，得到目标图像；

确定所述目标图像中的所述显示面板的不良信息。

2.根据权利要求1所述的方法，其特征在于，对所述图像进行分辨率增强处理，得到目标图像，包括：

向增强模型输入所述图像，得到所述增强模型输出的所述目标图像，所述增强模型用于增强输入的图像的分辨率。

3.根据权利要求1所述的方法，其特征在于，对所述图像进行分辨率增强处理，得到目标图像，包括：

采用图像插值算法或图像超分辨率重建算法，对所述图像进行分辨率增强处理，以得到所述目标图像。

4.根据权利要求1至3任一所述的方法，其特征在于，对所述图像进行分辨率增强处理，得到目标图像，包括：

在确定出所述图像不为清晰的图像后，对所述图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像；

将所述得到的图像确定为所述目标图像。

5.根据权利要求4所述的方法，其特征在于，对所述图像执行至少一次分辨率增强处理，包括：

对所述图像进行分辨率增强处理，得到中间图像；

检测所述中间图像是否为清晰的图像；

在确定出所述中间图像不为清晰的图像后，对所述中间图像进行分辨率增强处理，得到新的中间图像，并执行检测所述新的中间图像是否为清晰的图像的操作。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

对所述图像进行清晰度特征提取处理，得到所述图像的第一清晰度特征；

将所述第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测所述图像是否为清晰的图像。

7.根据权利要求6所述的方法，其特征在于，将所述第一清晰度特征与清晰的参考图像的第二清晰度特征进行比对，以检测所述图像是否为清晰的图像，以检测所述图像是否为清晰的图像包括：

确定所述第一清晰度特征与所述第二清晰度特征的相似度；

在确定出所述相似度大于相似度阈值时，确定所述图像为清晰的图像；

在确定出所述相似度不大于相似度阈值时，确定所述图像不为清晰的图像。

8.根据权利要求1至3任一所述的方法，其特征在于，确定所述目标图像中的所述显示面板的不良信息，包括：

对所述目标图像进行不良特征提取处理，得到所述目标图像的第一不良特征；

将所述第一不良特征与不良图像的第二不良特征进行比对，以确定所述目标图像中的所述显示面板的不良信息，所述不良图像为包含不良的显示面板的图像。

9.根据权利要求2所述的方法，其特征在于，所述向增强模型输入所述图像，得到所述增强模型输出的图像之前，所述方法还包括：

接收所述增强模型；

或者，对人工智能模型执行多次训练过程，得到所述增强模型；

其中，每次所述训练过程包括：

向所述人工智能模型输入一张模糊的样本图像，得到所述人工智能模型输出的图像；

基于所述人工智能模型输出的图像和所述样本图像对应的清晰的标签图像，对所述人工智能模型的参数进行调整。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取自动光学检测AOI设备采集的包含显示面板的图像；

增强模块，用于对所述图像进行分辨率增强处理，得到目标图像；

确定模块，用于确定所述目标图像中的所述显示面板的不良信息。

11.根据权利要求10所述的装置，其特征在于，所述增强模块，用于：

向增强模型输入所述图像，得到所述增强模型输出的所述目标图像，所述增强模型用于增强输入的图像的分辨率。

12.根据权利要求10所述的装置，其特征在于，所述增强模块，用于：

采用图像插值算法或图像超分辨率重建算法，对所述图像进行分辨率增强处理，以得到所述目标图像。

13.根据权利要求10至12任一所述的装置，其特征在于，所述增强模块，包括：

增强单元，用于在确定出所述图像不为清晰的图像后，对所述图像执行至少一次分辨率增强处理，直至得到的图像为清晰的图像；

确定单元，用将所述得到的图像确定为所述目标图像。

14.一种图像处理设备，其特征在于，包括：处理器，以及用于存储所述处理器的可执行指令的存储器；其中，所述处理器被配置为执行如权利要求1至9任一所述的图像处理方法。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述可读存储介质在处理组件上运行时，使得所述处理组件执行如权利要求1至9任一所述的图像处理方法。

Images