CN114996310A - 一种数据处理方法、装置、服务器及存储介质 - Google Patents

Abstract

本公开实施例公开了一种数据处理方法、装置、服务器及存储介质，该方法包括：接收各个第一用户通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果，并将各个关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；响应于第二用户的查询请求，基于更新后的第一中间件的数据缓存空间确定查询结果。将数据转存到缓存空间，在缓存空间中进行查询，与直接在数据库中查询相比，查询效率更高，实时性强；缓存空间中，加入了第一缺陷检测结果，提高了数据查询的准确率。

Description

一种数据处理方法、装置、服务器及存储介质

技术领域

本公开涉及数据库技术领域，尤其涉及一种数据处理方法、装置、服务器及存储介质。

背景技术

在常见的数据分析系统中，为了对数据库生产历史记录进行抽取，比如会采用常用ETL(Extract-Transform-Load、抽取-转换-加载)工具搭建ETL服务器，定时查询数据库，按照一定的规则将数据转存到其他数据库，后端程序访问数据提取数据返回给前端进行展示。

但是，传统的ETL工具的定时抽取不能符合实时性的要求，如果将定时抽取任务调整的更加频繁，则会大大增加数据库的访问压力，降低查询的时效性。另外，数据生产记录来源单一，导致查询的准确性较低。

发明内容

本公开实施例提供一种数据处理方法、装置、服务器及存储介质，用以提高数据查询的时效性和准确性。

第一方面，本公开一实施例提供了一种数据处理方法，包括：

接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；

响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。

第二方面，本公开一实施例提供了一种数据处理装置，包括：

数据更新单元，用于接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；

查询单元，用于响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。

第三方面，本公开一实施例提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。

第四方面，本公开一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。

本公开实施例具备如下有益效果：目标服务器接收对每个第一用户的关联图像的第一缺陷检测结果；目标服务器将各个关联图像的第一缺陷检测结果更新到第一中间件的缓存空间(用于缓存设定类型的数据以及缓存查询结果)，这样，当有查询请求时，响应于相应的查询请求，并且基于更新后的第一中间件的缓存空间确定查询结果。这样，一方面，在第一中间件的缓存空间查询结果，降低了数据库的数据访问压力，提高了数据查询的时效性；另一方面，第一中间件的缓存空间中增加了第一缺陷检测结果，提高了数据查询的准确性。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对本公开实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的一种数据处理方法的应用场景示意图；

图2为本公开一实施例提供的一种数据处理方法的流程示意图；

图3为本公开一实施例提供的一种Canal与MySQL交互的流程图；

图4为本公开一实施例提供的一种判图界面的示意图；

图5为本公开一实施例提供的一种常见缓存组件性能比较的示意图；

图6为本公开一实施例提供的一种Canal Client和Canal Server交互流程图；

图7为本公开一实施例提供的一种查询流程的示意图；

图8为本公开一实施例提供的一种产品缺陷趋势样例图；

图9为本公开一实施例提供的一种数据处理装置的结构示意图；

图10为本公开一实施例提供的电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。

为了方便理解，下面对本公开实施例中涉及的名词进行解释：

(1)TMS(Task Management System，任务管理系统)：用来对玻璃基板的良率数据进行处理、分析和展示。

(2)MySQL：关系型数据库，关系数据库将数据保存在不同的表中，增加了速度并提高了灵活性。

(3)Redis：开源分布式缓存中间件。

(4)Canal：开源MySQL日志订阅中间件。

(5)ETL：数据仓库技术，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。其中，Kettle是一种开源的ETL工具。

(6)MES(Manufacturing Execution System，制造执行系统)，面向制造企业车间执行层的生产信息化管理系统。

(7)DFS(Distributed file system，分布式文件系统)：网络服务器组件，能够在网络上查询和管理数据。

(8)ADC(Automatic Defects Classification，自动化缺陷分类)平台，又称为自动化检测平台，该自动化检测平台中可集成缺陷识别模型，比如是基于神经网络的缺陷识别模型，这样，可采用人工智能、图像识别等技术对面板生产过程中关键不良进行全自动检测和分类，可大幅提升企业质检效率、准确度、良率及生产效率。

接下来对基于神经网络的缺陷识别模型对缺陷的检测过程和原理进行说明。

该基于神经网络的缺陷识别模型可以集成在自动化检测设备中，该自动化检测设备可以是能够利用GPU计算资源执行人工智能推理(视觉识别)和训练任务的一个或多个设备。基于人工智能进行的推理任务可以是基于缺陷识别模型的缺陷识别任务，该缺陷识别模型主要是基于深度学习的神经网络模型。例如，缺陷识别模型可以是基于前馈神经网络的。前馈网络可以被实现为无环图，其中节点布置在层中。通常，前馈网络拓扑包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边缘全连接至相邻层中的节点，但每个层内的节点之间不存在边缘。在前馈网络的输入层的节点处接收的数据经由激活函数被传播(即，“前馈”)至输出层的节点，所述激活函数基于系数(“权重”)来计算网络中的每个连续层的节点的状态，所述系数分别与连接这些层的边缘中的每一个相关联。缺陷识别模型的输出可以采用各种形式，本公开对此不作限制。缺陷识别模型还可以包括其他神经网络模型，例如，卷积神经网络(CNN)模型、循环神经网络(RNN)模型、生成式对抗网络(GAN)模型、转换注意力(TransFormer)模型，但不限于此，也可以采用本领域技术人员公知的其他神经网络模型。

神经网络模型通常需要通过训练获得。本公开实施例中，自动化检测设备也对神经网络模型进行训练，主要包括以下步骤：选择网络拓扑；使用表示被网络建模的问题的一组训练数据；以及调节权重，直到网络模型针对训练数据集的所有实例表现为具有最小误差。例如，在用于神经网络的监督式学习训练过程期间，将由网络响应于表示训练数据集中的实例的输入所产生的输出与该实例的“正确”的已标记输出相比较；计算表示所述输出与已标记输出之间的差异的误差信号；以及当将误差信号向后传播穿过网络的层时，调节与所述连接相关联的权重以最小化该误差。当从训练数据集的实例中生成的每个输出的误差被最小化时，该神经网络模型被视为“已经过训练”，并可以用于人工智能推理任务。

神经网络模型的推理和训练过程中，涉及大量参数、激活值、梯度值的缓冲区，其每个值在每一次训练迭代中都要被完全更新，对计算和吞吐能力的需求非常高。而GPU具有强并行能力和高显存带宽，在处理与训练深度神经网络相关联的计算时极其高效。因此，使用多个GPU集成的GPU集群可以有效地提高神经网络模型的训练和推理速度，并且产品缺陷识别集群202还可以对硬件资源进行调度和分配。

在本公开的至少一个实施例中，自动化检测设备可以被配置为基于第一缺陷识别任务，通过缺陷识别模型识别产品图像中的产品缺陷内容，其中，产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。其中，产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。自动化检测设备接收到TMS发送的第一缺陷识别任务后，通过已经训练好的缺陷识别模型，对存储在产品图像数据库中的产品图像进行产品缺陷内容的识别，即识别产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。

在本公开的实施例中，基于所述第一缺陷识别任务，通过缺陷识别模型识别产品图像中的产品缺陷内容的实现方式如下，首先将产品图像缩放至固定像素大小MxN(也可不进行缩放)，然后将MxN图像送入深度卷积神经网络(VGG/Resnet/MobileNet等)；通过多层卷积层、激活层、池化层，获得整个图像的特征图(feature maps)；把特征图输入到筛选区域网络(ZF/SSD/RPN等)，经过计算，获得建议区域(proposal region)；然后，针对建议区域进行卷积池化等操作，获得建议区域的区域特征图(proposal feature)，再将区域特征图(proposal feature)送入后续全连接和softmax网络作分类(classification即分类proposal到底是什么缺陷),获得最大概率的缺陷类别作为最后分类结果，记录类别和概率。另外建议区域(proposal region)的坐标和尺寸代表了缺陷的位置和大小。基于缺陷模型识别产品缺陷内容的方法可以采用上述方法的类似变形或者其他本领域技术人员公知的方法，本公开在此不做限定。

例如，在半导体行业中，缺陷类型可以包括微粒(particle)、残留(remain)、线不良(line)、孔洞(hole)、溅落(splash)、褶皱(wrinkle)、膜层变色(filmcolor)、气泡(bubble)等，还可以基于每个缺陷类型进行更多小类的划分，例如微粒类型可基于不同形态微粒缺陷分为普通微粒P1(Normal Particle)、散沙微粒P2(Sand Particle)、沉积性微粒P3(Wall Particle)等。缺陷位置可以指示缺陷位于产品图像的具体坐标位置，从而确定包括缺陷所处的电路板上的具体坐标位置、缺陷与背景电路的关系(例如缺陷是否完全落在Gate内、与之相交、还是其外附近等)等。缺陷大小可以包括缺陷的长度或者缺陷的区域面积等。

另外，对图像获取设备AOI如何获取图像以及传输图像的过程进行说明。

产品制造过程中产生的产品图像可以包括产品在制造过程中由图像获取设备AOI获取的产品图像，也可以包括通过其他途径获取并存入产品图像数据库的产品图像。例如，AOI设备获取产品图像后，可以直接存储在产品图像数据库中，也可以存储在工厂数据库中，再将工厂数据库中的产品图像传输到产品图像数据库中。由工厂数据库将产品图像传输到产品图像数据库中可以保证分布式产品缺陷分析系统在对产品图像数据库中产品图像进行调用、存储等操作时，不会对工厂中的其他数据造成影响。产品图像数据库可以是分布式文件系统(Distributed File System，DFS)，也可以是关系型数据库(Oracle、Redis和MySQL)。

例如，在AOI设备对产品流水线的屏幕产品进行检查时，AOI设备可以在一张屏幕(或大玻璃基板屏，又称为Glass)检测完成后发送单一产品制造消息作为一个产品制造消息到MES系统，并发送图片文件(.jpg/.gls)到产品图像数据库，或者其也可以向当前工厂中所有激活的设备发送单一产品制造消息。AOI设备还可能以LOT为单位(1Lot中包含20个Glass，每个Glass为单张大玻璃基板屏幕)来发送批量产品制造消例如，当一个LOT检测完成时，AOI会发送批量产品制造消息(例如，批量产品信息)作为一个产品制造消息到MES系统或其他任何相关的设备。在产品制造过程中，通常以批量产品(LOT产品)为单位进行加工生产，即批量产品经历的产品制造站点、工艺流程等均一致，因此，在工厂中通常以批量产品制造消息作为一个产品制造消息进行传递，能够更高效的进行产品制造消息管理。

例如在对一个批量产品制造消息解析时，TMS可以从中获取多个产品中包含的产品图像数量、产品图像对应的产品类型、产品图像的尺寸等等。产品图像可以是半导体屏幕从基板、到沉积、刻蚀再到最后成盒的任意一个步骤中拍摄的图像。在生成产品缺陷分析请求消息时，TMS需要判断产品缺陷分析任务中要进行分析的产品类型、要执行的产品缺陷分析任务类型(例如，人工智能识别、人工识别等等)。之后，TMS还可以对产品缺陷分析请求消息后进行消息格式验证，在确定产品缺陷分析请求消息的格式合格后再通过发送产品缺陷分析请求消息的方式向其他设备(如，产品缺陷识别集群、客户端设备等)分发产品缺陷分析任务。产品缺陷分析任务类型用于指示不同类型的产品缺陷分析任务。产品缺陷分析任务包括第一缺陷识别任务，其中第一缺陷识别任务是指由基于人工智能进行缺陷识别的任务，该任务可以由自动化检测平台执行。因此，TMS可以根据产品制造消息生成第一缺陷识别任务，并将该第一缺陷识别任务发送给自动化检测平台。

在具体实践过程中，随着TMS系统投入使用，产品经过TMS检测程序会产生许多不良记录，为了体现数据价值，如何将历史数据加以抽取、整合，满足实时性的同时，提高用户的查询效率是亟待解决的问题。

相关技术中，应用ADC平台对玻璃基板的图像进行检测，得到大量的产品的不良信息，比如包含了本次检测的Layer(膜层信息)、站点、产品型号、Glass(玻璃基板)编号和Panel(面板)编号、Lot(批次)编号、不良Code、维修等信息。但是，这些基础数据存储在数据库中，当用户有查询请求时，一方面，存在ADC判别错误或者无法识别的情况，另一方面，在服务器中查询，提高了查询压力，降低了数据查询的时效性。

为了对这些基础数据进行筛选、抽取和转存，并将展示功能集成到TMS系统的数据分析模块，有助于用户直观的观察或发现产品各种不良的发生率和维修率，进而对生产流程做出优化，从而提高产品质量和生产良率。

为此，本公开实施例提出一种基于Canal订阅MySQL日志的数据抽取方法，可以将数据转存到数据库中，以及其他中间件，如Redis数据缓存空间或者MQ消息中间件等，这样可以做到对数据变化实时、增量的处理，根据业务需求对处理结果存入数据库或者写入缓存中间件，在后端程序查询数据时，能够做到实时、高效的响应。

本公开提供了一种数据处理方法，目标服务器接收各个第一用户(比如是复判人员)通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果，并将各个关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；响应于第二用户(比如是查询人员)的查询请求，基于更新后的第一中间件的数据缓存空间确定查询结果。这样，在第一中间件的数据缓存空间查询，而不是在整个数据库中查询，提高了查询的时效性；并且，数据缓存空间中还综合了人工第一缺陷检测结果，提高了查询的准确性。

在介绍完本公开实施例的设计思想之后，下面对本公开实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本公开实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本公开实施例提供的技术方案。

参考图1，其为本公开实施例提供的一种数据处理方法的应用场景示意图，其中，每个玻璃基板包括多个检测点，例如，通过图像获取设备，每个检测点均对应一张图像，将同一批次(比如20块)玻璃基板的图像输入至ADC平台，得到检测结果。进而再根据接收到的来自目标客户端的人工复判的结果将检测结果更新到Redis中间件中，后续查询可以在Redis中进行，将最终的查询结果在目标客户端显示。

当然，本公开实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本公开实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。

为进一步说明本公开实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本公开实施例提供的执行顺序。

下面结合图1所示的应用场景，对本公开实施例提供的技术方案进行说明。

参考图2，本公开实施例提供一种数据处理方法，应用于TMS服务器，包括以下步骤：

S201、接收各个第一用户通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果，并将各个关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果。

S202、响应于第二用户的查询请求，基于更新后的第一中间件的数据缓存空间确定查询结果。

本公开实施例，目标服务器接收对每个第一用户的关联图像的第一缺陷检测结果，该第一缺陷检测结果是通过目标客户端确定的；目标服务器将各个关联图像的第一缺陷检测结果更新到第一中间件的缓存空间(用于缓存设定类型的数据以及缓存查询结果)，这样，当有查询请求时，响应于相应的查询请求，并且基于更新后的第一中间件的缓存空间确定查询结果。这样，一方面，在第一中间件的缓存空间查询结果，降低了数据库的数据访问压力，提高了数据查询的时效性；另一方面，第一中间件的缓存空间中增加了第一缺陷检测结果，提高了数据查询的准确性。

首先结合本公开实施例的应用场景对第二缺陷检测结果的获取过程进行说明：

在实际的应用过程中，为了提高检测的准确性，在将批量检测数据输入至预先训练的缺陷识别模型之前，对该批量检测数据进行解析和验证，以确定该批量检测数据的完整性。

在确定批量检测数据完整后，针对任意一组批量检测数据，将批量检测数据输入至预先训练的缺陷识别模型，以应用该缺陷识别模型解析批量检测数据，得到对应的第二缺陷检测结果；接收第二缺陷检测结果，通过第二中间件将第二缺陷检测结果发送至目标客户端。在一个具体的例子中，该缺陷识别模型为基于神经网络的缺陷识别模型。

其中，批量检测数据可以是根据预设数量的目标图像确定的检测数据，目标图像可以是对各个玻璃基板的检测点拍摄后得到的图像。在实际的应用过程中，可以将一定数量的同种类型的玻璃基板一起检测，这样得到的检测数据为批量检测数据。这样，针对任意一组批量检测数据，将其输入至预先训练的缺陷识别模型，该缺陷识别模型通过解析该批量检测数据，得到对应的第二缺陷检测结果。

其中，可以通过MQ消息中间件推送到缺陷识别模型，消息中包括批量检测数据中的不良信息、图像的路径等。缺陷识别模型将调用GPU(Graphics Processing Unit，图形处理器)Server的python脚本，根据站点使用对应模型来解析不良图像，给出不良类型的推理结果，也即，第二缺陷检测结果。

在一个具体的例子中，第二缺陷检测结果比如是基础数据，例如，是不良点的Layer(膜层信息)、站点、产品型号、Glass(玻璃基板)编号和Panel(面板)编号、Lot(批次)编号、不良Code、维修等信息。

TMS服务器接收来缺陷识别模型的第二缺陷检测结果，通过第二中间件(比如是MQ消息中间件)将第二缺陷检测结果发送至TMS客户端。

其次，目标服务器仍以TMS服务器为例，且目标客户端仍以TMS客户端为例，对批量检测数据的获取方式进行说明：

示例性，批量检测数据的获取方式和TMS服务器的当前模式(在线模式和离线模式)相关，具体如下：

第一种情况，如果当前模式为TMS服务器的在线模式(Online模式)，则接收来自MES系统的消息指令，以从DFS系统抓取预设数量的目标图像。

其中，TMS服务器在在线模式下，接收来自MES系统的消息指令，从DFS系统抓取预设数量的目标图像已完成Track in流程，示例性的，目标图像的形式可以是Lot数据。

第二种情况，如果当前模式为TMS服务器的离线模式(Offline模式)，则监听挂载的批次文件是否有变动，若是，则抓取预设数量的目标图像。

其中，TMS服务器在离线模式下，会监听挂载的批次文件的变动，比如数据增加，也就是判断是否有新的批次文件(Lot数据)产生，如果是，则抓取预设数量的目标图像，进而决定执行Track的流程。

解析预设数量的目标图像，得到批量检测数据。

其中，抓取Lot数据会解析Lot及Glass信息，得到批量检测数据后存入数据库。

在实际的应用过程中，可以通过第一服务器来对预设数量的目标图像进行解析，再通过第一服务器将批量检测数据发送至第一客户端，以使第一客户端根据批量检测数据的类型，将批量检测数据对应存储至第一中间件、第二中间件和本地缓存组件。

其中，第一服务器比如是Canal Server，第一客户端比如是Canal Client。具体实现方式可以是，Canal Server通过伪装成一个MySQL的Slave节点，向主库(MySQL数据库)发送dump请求获取binlog日志，来获取预设数量的目标图像对应的Lot数据。经由CanalServer解析后交由Canal Client处理，处理结果可以存储到MySQL数据库以及第一中间件(Redis中间件)、第二中间件(MQ消息中间件)和本地缓存组件。

在一个具体的例子中，图3示出了一种Canal与MySQL交互的流程图，其中，第一服务器为Canal Server，第一客户端为Canal Client，数据库为MySQL数据库，第一中间件为Redis中间件，第二中间件为MQ消息中间件。这样，Canal Server从MySQL数据库中拉取日志，随后解析日志交由Canal Client分别存入MySQL数据库、Redis中间件和MQ消息中间件。

如上，TMS服务器将通过缺陷识别模型获取到的第二缺陷检测结果发送至目标客户端。具体的，TMS服务器可以通过MQ消息中间件将第二缺陷检测结果发送至各个TMS客户端中，交由工程师或操作员进行复判。第二缺陷检测结果中包括了每个不良点的基本信息，如Panel信息、坐标信息等，也包括ADC推理的不良信息，这些不良信息会被持久化到数据库中，以供后续分析查询使用。

涉及到S201，第一用户比如是复判人员，复判人员通过TMS客户端对第二缺陷检测结果进行复判，在实际的应用过程中，由于第二缺陷检测结果众多，因此，为了提高效率，每个复判人员在登录自己的TMS客户端后，可以看到TMS服务为自身分配的需要复判的图像，称为关联图像。TMS客户端将第一缺陷检测结果发送至TMS服务器，并将各个关联图像的第一缺陷检测结果更新至第一中间件。

具体为，当用户登录TMS客户端，打开判图界面后，会自动拉取MTS Server下发的任务，每个客户端同一时刻可处理一张Glass，对于ADC没有推理结果的不良点，由工程师或者操作员手动判断，得到第一缺陷检测结果(判图结果)，每个不良点的判图结果也会记录入库。

在一个具体的例子中，图4示出了一种判图界面的示意图，其中，区域41为某个不良点的图像的放大界面，42为第一缺陷检测结果界面。另外，不良点数只是用来示意，并不形成具体的限定。

TMS客户端每判断完一个Glass，会上报给TMS Server，当一个批次的所有Glass都已经判完，在线模式TMS Server会向MES发送Track out的消息，通知MES这一批次的数据已经处理完毕，可以向下一道工艺流转。如果是离线模式，则仅仅会记录处理信息。

在一个具体的例子中，第一中间件比如是Redis中间件，该中间件的数据缓存空间用于缓存设定类型的数据以及缓存查询结果。其中，对于用户自定义筛选条件的查询，比如重点关注的产品型号和不良类型，将查询结果存入Redis缓存，以便后续查询时无需访问数据库。

另外，为了防止内存占用过高，针对Redis中间件的数据缓存空间中的缓存数据，设置预设失效时间，以使Redis中间件中的缓存数据实时更新。

示例性的，设定类型的数据包括基准数据中的热点数据和基准数据中的至少一类数据。其中，基准数据包括产品id、不良code、站点种类等，由于这类数据常备用作筛选条件，也可以存入Redis，避免每次查询是都需要查询数据库，直接在Redis中即可查到。热点数据比如是用户经常访问的数据，比如当天数据、当月数据以及用户点击展示的比较频率等，为了保证系统页面的流畅性，可以将这类数据存入Redis，这样能够提高查询效率，提升用户使用体验。

涉及到S202，响应于第二用户(比如是查询人员)的查询请求，基于更新后的第一中间件(Redis中间件)的数据缓存空间确定查询结果。

在实际的应用过程中，为了充分利用资源，节约网络带宽，降低Redis服务占用，可以添加本地缓存组件，这样可以结合MySQL数据库和Redis中间件进行多级缓存，当需要查询数据时，优先查询本地缓存组件，如果查询命中本次缓存组件则之间返回，否则查询Redis中间件，Redis中间件也没有该数据就查询MySQL数据库，当查询到数据后，将查到的数据加入多级缓存中。

具体为，查询过程中，由于本地缓存查询速度快，因此，优先在本地缓存组件中获取查询结果，若无法在本地缓存组件中获取查询结果，则可以在更新后的Redis数据缓存空间中确定查询结果。另外，还存在无法在更新后的Redis数据缓存空间中确定查询结果的情况，此时可以在目标不良历史表(存储在MySQL数据库)中确定查询结果，其中，查询不到的情况比如是对应的查询空间中未存储对应的需要查询的数据。为了提高后续查询效率，可以将每次查询结果存储至Redis数据缓存空间，以便提高下次在Redis数据缓存空间中能查询到的概率，无需再去MySQL数据库中进行查询。在一个具体的例子中，查询条件比如是，过去一周内，不良点的数量占比整个玻璃基板的检测点的数量60％以上的玻璃基板的编号。

如上，按照本地缓存组件、Redis中间件和MySQL数据库查询的顺序，利用多级缓存中间件的查询方式，提升数据的查询效率，在保证数据准确性的基础上，极大优化用户在软件分析模块(比如用来展示查询结果的报表页面)的用户体验。

在一个具体的例子中，参见图5，示出了一种常见缓存组件性能比较的示意图，其中，示出的常见缓存组件包括类型1-Caffeine、类型2-ConcurrentLinkedHashMap、类型3-LinkedHashMap、类型4-Guava、类型5-Ehcache2_Lru、类型6-Ehcache3_Lru或类型7-Infinispan_Old_Lru等。图4中的横轴为常用缓存组件类型，纵轴为数据吞吐量，单位为ops/s，每秒操作次数。

在实际的应用过程中，将热点数据假如Redis缓存能够提高查询效率，但是在数据更新时，需要对缓存进行一定的调整，否则查询返回的可能是旧数据，导致展示给用户的数据不准确。

本公开实施例中，通过Canal Server监控数据更新，进行Redis的更新，可以在Canal Client数据处理逻辑中更新Redis，也可以将消息推送到MQ消息中间件后在后端更新缓存。而对于本地缓存组件，也可以借助消息队列进行更新，对于实时性不敏感的数据，也可以设置一个较短的过期时间，让其自行失效。如果是变动频繁且查询频繁的数据，尽量使用较短的过期时间。

另外，配合Spring Boot的本地缓存组件，可以自动将查询结果装入本地缓存，需要注意的时，根据不同种类的缓存，设置不同的失效条件。如果是长期不变的基本配置，如站点信息、产品信息等，可以在系统启动时加载进缓存，当这些配置更新时再让其失效。

由于才查询过程中，当无法在本地缓存以及Redis中间件中查找到对应的数据时，要在数据库中目标不良历史表进行查询。示例性的，目标不良历史表是通过如下方式确定的：

基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表；其中，基础不良历史表中存储有至少一组第二缺陷检测结果；第二缺陷检测结果为应用预设缺陷识别模型对批量检测数据进行检测得到的，批量检测数据为预设数量的目标图像对应的检测数据。

其中，每组批量检测数据对应一组第二缺陷检测结果，将各组第二缺陷检测结果存储至基础不良历史表中，然后基于各个关联图像的第一缺陷检测结果和基础不良历史表来确定目标不良表。

方式一：应用各个关联图像的第一缺陷检测结果对基础不良历史表进行更新，确定目标不良历史表。

比如，基础不良表中包括一列数据为第二缺陷检测结果，将第一缺陷检测结果作为一列数据添加至基础不良表中，构成目标不良表。第一缺陷检测结果与第二缺陷检测结果可能相同也可能不同。

方式二：在基础不良表的基础上，按照预设更新条件，基于各个关联图像的第一缺陷检测结果，生成目标不良历史表。其中，预设更新条件是根据数据更新时间和/或数据存储类型确定的。

比如，在不良历史表的基础上，新生成目标不良历史表，目标不良历史表中存储的是按照预设更新条件确定的数据，其中，预设更新条件是根据数据更新时间和/或数据存储类型确定的。这样，目标不良历史表的可以包括天别、月别的汇总表，以及Lot别、Glass别和Panle别的明细表。这样在目标不良历史表中按照细化后的汇总表进行查询，可以降低查询的数据量，提高查询效率。

示例性的，Canal Client使用纯Java开发，便于和后端Spring Boot程序做集成，只需引入SDK(Software Devel操作员ment Kit，软件开发工具包)，配置Canal Server的相关信息，当Canal Server收到MySQL数据库的数据变更时，会将变更内容发送到CanalClient进行处理。这样，通过监听不良历史表，在有新数据插入时，更新到天别、月别的汇总表，以及lot别、glass别、panel别的明细表。对于经常使用的热点数据的更新，如当天良率的变动趋势、设备别、Lot别的稼动趋势等，可以存入Redis，以便客户端快速查询。如果Redis中已有的数据发生了更新，应当让其失效，防止查到脏数据。在一个具体的例子中，图6示出了一种Canal Client和Canal Server交互流程图。其中，第一客户端为CanalClient，第一服务器为Canal Server。

上述实施例，搭建了Canal环境开始，Canal Server订阅TMS数据库的历史表，Canal Client监听数据变动，整理变动信息，存入汇总表和明细表。将经常使用的基准信息和热点数据存入Redis缓存，在数据变化时更新缓存，保证缓存和数据库的一致性，当用户通过前端页面进行查阅时，后端程序能够快速查询到数据返回给前端进行展示，极大的提升了用户体验。

另外，用户判图(复判)后，想要查看当天各种不良率的变动趋势，可以打开TMS客户端的数据分析模块，设置筛选条件后点击查询，将发起一个查询请求。

在一个具体的例子中，图7示出了一种查询流程。其中，在本地缓存无法查询到结果时，再在Redis和MySQL中查询。

TMS客户端接收查询结果，展示报表。比如，使用echarts组件绘制图表。或者将响应结果以其他形式展示。在一个具体的例子中，参见图8，示出了一种产品缺陷趋势样例图，其中，横轴为批次编码，纵轴为缺陷类型1和缺陷类型2各自所占的百分比；另外，批次编码只是用来示意，实际的批次编码可根据产品相关信息设定。

综上，本公开实施例，如果用户有大量数据查询的需求，由于数据量太大不能借助缓存，或者数据查询的条件变动频繁，借助MySQL数据库进行查询时，可以引入专业的搜索引擎组件，如Elasticsearch。对于本地缓存的及时性问题，如果使用的Redis版本在6.0以上，可以使用Redis的新特性-客户端缓存。该特性可以在Redis内容变动时及时更新本地缓存，保证本地缓存与Redis缓存的一致性，能显著降低网络带宽占用，也可以不依赖消息中间件，以此来降低架构的复杂性。

另外，Canal进行良率数据抽取的方案，相比传统方案资源占用少，服务器压力小，而且数据具有实时性。在数据的存储方面，在数据库层和后端程序之间加入了多级缓存，并且使用可靠的方案保证了缓存数据的一致性，从缓存中直接查询数据，能够更快获取查询结果，提升用户体验，也降低了MySQL数据库的压力。

需要说明的是，上述示例中，以第一缺陷检测结果是基于第二缺陷检测结果确定的，也即，第二缺陷检测结果为应用缺陷检测模型自动识别的，第一缺陷检测结果为在此基础上的复判结果。在实际的应用过程中，二者也可能并无关联，比如是两种不同类型的缺陷检测或者对玻璃基板的不同部位进行的检测等，在此只是举例说明，并不形成具体的限定。

如图9所示，基于与上述数据处理方法相同的发明构思，本公开实施例还提供了一种数据处理装置，包括数据更新单元901和查询单元902。

其中，数据更新单元901，用于接收各个第一用户通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果，并将各个关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；

查询单元902，用于响应于第二用户的查询请求，基于更新后的第一中间件的数据缓存空间确定查询结果。

在一些可选的实施方式中，还包括不良历史表确定单元，用于在接收各个第一用户通过目标客户端对每个第一用户的关联图像的第一缺陷检测结果之后：

基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表；其中，基础不良历史表中存储有至少一组第二缺陷检测结果；第二缺陷检测结果为应用预设缺陷检测模型对批量检测数据进行检测得到的，批量检测数据为预设数量的目标图像对应的检测数据。

在一些可选的实施方式中，查询单元902还用于：

若无法在更新后的第一中间件数据缓存空间中确定查询结果，则在目标不良历史表中确定查询结果。

在一些可选的实施方式中，不良历史表确定单元具体还用于：

应用各个关联图像的第一缺陷检测结果对基础不良历史表进行更新，确定目标不良历史表；或

在基础不良表的基础上，按照预设更新条件，基于各个关联图像的第一缺陷检测结果，生成目标不良历史表；

其中，预设更新条件是根据数据更新时间和/或数据存储类型确定的。

在一些可选的实施方式中，查询单元902还用于：

若无法在本地缓存组件中获取查询结果，则在更新后的第一中间件数据缓存空间中确定查询结果。

在一些可选的实施方式中，还包括预处理单元，用于在接收各个第一用户通过目标客户端对每个用户的关联图像的第一缺陷检测结果之前，方法还包括：

针对任意一组批量检测数据，将批量检测数据输入至预先训练的缺陷识别模型，以应用缺陷识别模型解析批量检测数据，得到对应的第二缺陷检测结果；其中，缺陷识别模型为基于神经网络的缺陷识别模型

接收第二缺陷检测结果，通过第二中间件将第二缺陷检测结果发送至目标客户端。

在一些可选的实施方式中，还包括完整性确定单元，用于在将批量检测数据发送至缺陷识别模型之前：

确定批量检测数据的完整性。

在一些可选的实施方式中，还包括数据确定单元，用于通过如下方式确定批量检测数据：

若当前模式为目标服务器的在线模式，则接收来自MES系统的消息指令，以从DFS系统抓取预设数量的目标图像；

若当前模式为目标服务器的离线模式，则监听挂载的批次文件是否有变动，若是，则抓取预设数量的目标图像；

解析预设数量的目标图像，得到批量检测数据。

在一些可选的实施方式中，数据确定单元具体用于：

通过第一服务器解析预设数量的目标图像，得到批量检测数据。

在一些可选的实施方式中，还包括缓存单元，用于在解析预设数量的目标图像，得到批量检测数据之后：

通过第一服务器将批量检测数据发送至第一客户端，以使第一客户端根据批量检测数据的类型，将批量检测数据对应存储至第一中间件、第二中间件和本地缓存组件。

在一些可选的实施方式中，第一中间件为Redis中间件，方法还包括：

针对Redis中间件的数据缓存空间中的缓存数据，设置预设失效时间，以使Redis中间件中的缓存数据实时更新。

在一些可选的实施方式中，设定类型数据包括基准数据中的热点数据和基准数据中的至少一类数据。

本公开实施例提的数据处理装置与上述数据处理方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。

基于与上述数据处理方法相同的发明构思，本公开实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(Personal Digital Assistant，PDA)、服务器等。如图10所示，该电子设备可以包括处理器1001和存储器1002。

处理器1001可以是通用处理器，例如中央处理器(CPU)、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本公开实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件单元组合执行完成。

存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及单元。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(Random Access Memory，RAM)、静态随机访问存储器(Static Random Access Memory，SRAM)、可编程只读存储器(Programmable Read Only Memory，PROM)、只读存储器(Read Only Memory，ROM)、带电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本公开实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。

或者，本公开上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本公开各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(RAM，Random Access Memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等各种可以存储程序代码的介质。

以上实施例仅用以对本公开的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本公开实施例的方法，不应理解为对本公开实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本公开实施例的保护范围之内。

Claims (15)

1.一种数据处理方法，其中，包括：

接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；

响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。

2.根据权利要求1所述的方法，其中，所述接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果之后，所述方法还包括：

基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表；其中，所述基础不良历史表中存储有至少一组第二缺陷检测结果；所述第二缺陷检测结果为应用预设缺陷识别模型对批量检测数据进行检测得到的，所述批量检测数据为预设数量的目标图像对应的检测数据。

3.根据权利要求2所述的方法，其中，所述方法还包括：

若无法在所述更新后的所述第一中间件数据缓存空间中确定查询结果，则在所述目标不良历史表中确定查询结果。

4.根据权利要求2所述的方法，其中，所述基于各个关联图像的第一缺陷检测结果和基础不良历史表，确定目标不良历史表，包括：

应用各个关联图像的第一缺陷检测结果对所述基础不良历史表进行更新，确定目标不良历史表；或

在所述基础不良表的基础上，按照预设更新条件，基于各个关联图像的第一缺陷检测结果，生成目标不良历史表；

其中，所述预设更新条件是根据数据更新时间和/或数据存储类型确定的。

5.根据权利要求1所述的方法，其中，所述基于更新后的所述第一中间件的数据缓存空间确定查询结果，包括：

若无法在本地缓存组件中获取查询结果，则在所述更新后的所述第一中间件数据缓存空间中确定查询结果。

6.根据权利要求1所述的方法，其中，在接收各个第一用户通过所述目标客户端对每个所述用户的关联图像的第一缺陷检测结果之前，所述方法还包括：

针对任意一组批量检测数据，将所述批量检测数据输入至预先训练的缺陷识别模型，以应用所述缺陷识别模型解析所述批量检测数据，得到对应的第二缺陷检测结果；其中，所述缺陷识别模型为基于神经网络的缺陷识别模型；

接收所述第二缺陷检测结果，通过第二中间件将所述第二缺陷检测结果发送至目标客户端。

7.根据权利要求6所述的方法，其中，所述将所述批量检测数据输入至预先训练的缺陷识别模型之前，所述方法还包括：

确定所述批量检测数据的完整性。

8.根据权利要求6所述的方法，其中，所述批量检测数据是通过如下方式获取的：

若当前模式为目标服务器的在线模式，则接收来自MES系统的消息指令，以从DFS系统抓取预设数量的目标图像；

若当前模式为目标服务器的离线模式，则监听挂载的批次文件是否有变动，若是，则抓取所述预设数量的目标图像；

解析所述预设数量的目标图像，得到所述批量检测数据。

9.根据权利要求8所述的方法，其中，所述解析所述预设数量的目标图像，得到所述批量检测数据，包括：

通过第一服务器解析所述预设数量的目标图像，得到所述批量检测数据。

10.根据权利要求8所述的方法，其中，所述解析所述预设数量的目标图像，得到所述批量检测数据之后，所述方法还包括：

通过第一服务器将所述批量检测数据发送至第一客户端，以使所述第一客户端根据所述批量检测数据的类型，将所述批量检测数据对应存储至所述第一中间件、第二中间件和本地缓存组件。

11.根据权利要求1所述的方法，其中，所述第一中间件为Redis中间件，所述方法还包括：

针对所述Redis中间件的数据缓存空间中的缓存数据，设置预设失效时间，以使所述Redis中间件中的缓存数据实时更新。

12.根据权利要求1～11任一项所述的方法，其中，所述设定类型数据包括基准数据中的热点数据和基准数据中的至少一类数据。

13.一种数据处理装置，其中，包括：

数据更新单元，用于接收各个第一用户通过目标客户端对每个所述第一用户的关联图像的第一缺陷检测结果，并将各个所述关联图像的第一缺陷检测结果更新至第一中间件的数据缓存空间；其中，所述第一中间件的数据缓存空间用于缓存设定类型数据以及缓存查询结果；

查询单元，用于响应于第二用户的查询请求，基于更新后的所述第一中间件的数据缓存空间确定查询结果。

14.一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现权利要求1至12任一项所述方法的步骤。

15.一种计算机可读存储介质，其上存储有计算机程序指令，其中，该计算机程序指令被处理器执行时实现权利要求1至12任一项所述方法的步骤。

Images