CN117575163A - 数据管理平台、数据采集方法、装置和计算机设备 - Google Patents

Abstract

本申请涉及一种数据管理平台、数据采集方法、装置、计算机设备、存储介质和计算机程序产品。系统包括：相互通信连接的第一服务器、第二服务器和第三服务器以及与第三服务器通信连接的数据采集模块，第一服务器用于接收到数据消费平台发送的目标数据获取请求，发送目标业务数据获取请求至第二服务器，接收第二服务器反馈的目标业务数据，并加工处理得到目标数据，以反馈至数据消费平台；第二服务器用于调用第三服务器的数据提供接口，获取整合生产数据并加工处理，得到目标业务数据反馈至第一服务器；第三服务器，用于接收数据采集模块实时采集的生产数据并整合归类处理，得到整合生产数据。采用上述系统能够提升数据处理效率。

Description

数据管理平台、数据采集方法、装置和计算机设备

技术领域

本申请涉及智能制造技术领域，特别是涉及一种数据管理平台、数据采集方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着智能制造技术的发展，将数字技术与传统生产过程相结合，已成为未来制造业的发展方向之一，利用数字化创建更智能、灵活和高效的生产环境，有望在未来进一步改变生产方式和发展模型。在生产制造环节中，对生产数据的采集、检测和处理是非常关键且重要的一环，因此构建一套成熟、完整、稳定和高效的数据处理结构，是制造业往更加灵活、更加高效和更加可持续性满足市场需求的方向转型的关键步骤。

传统技术中，通常大批量地采集并处理生产数据，同时还需要大容量的数据存储数据系统来存储采集到的初始生产数据以及处理好的数据，以随时响应数据使用端的请求。

然而，目前的数据处理架构，由于采集到的数据多而杂乱，导致存储、处理和使用非常困难，因此存在数据处理效率低的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高数据处理效率的数据管理平台、数据采集方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据管理平台。所述平台包括：相互通信连接的第一服务器、第二服务器和第三服务器，以及与所述第三服务器通信连接的数据采集模块；

所述第一服务器，用于在接收到数据消费平台发送的目标数据获取请求的情况下，发送目标业务数据获取请求至所述第二服务器，接收所述第二服务器反馈的与目标业务数据获取请求相匹配的目标业务数据，对所述目标业务数据进行加工处理，得到目标数据，并将所述目标数据反馈至所述数据消费平台；

所述第二服务器，用于响应所述目标业务数据获取请求，调用所述第三服务器的数据提供接口，获取与所述目标业务数据获取请求相匹配的整合生产数据，并对所述整合生产数据进行加工处理，得到所述目标业务数据，将所述目标业务数据反馈至所述第一服务器；

所述第三服务器，用于接收所述数据采集模块实时采集的生产数据，对所述生产数据进行整合归类处理，得到整合生产数据。

在其中一个实施例中，所述第二服务器，还用于在接收到车间管理平台发送的车间管理数据请求的情况下，从所述整合生产数据中调取与所述车间管理数据请求相匹配的整合生产数据，对调取出的所述整合生产数据进行处理，得到车间管理数据，并将所述车间管理数据反馈至所述车间管理平台。

在其中一个实施例中，所述生产数据包括技术参数；

所述第三服务器，还用于对所述技术参数进行分析，得到技术参数分析结果，根据所述技术参数分析结果调整所述技术参数，直至所述技术参数满足预设要求。

在其中一个实施例中，所述第二服务器，还用于在所述第三服务器停止工作的情况下，执行预构建的第一异常处理任务，所述第一异常处理任务用于获取、并执行所述第三服务器中已运行的工作任务。

在其中一个实施例中，所述第三服务器，还用于在所述第二服务器停止工作的情况下，执行预构建的第二异常处理任务，所述第二异常处理任务用于获取、并执行所述第二服务器中已运行的工作任务。

在其中一个实施例中，所述第一服务器，还用于访问所述第二服务器和所述第三服务器，查询所述第二服务器中存储的目标业务数据，以及所述第三服务器中存储的生产数据和整合生产数据。

上述数据管理平台，具备多级服务器架构，第三服务器接收实时采集的生产数据，并进行整合和归类处理，得到整合生产数据，如此，可以将来自不同数据源的生产数据整合在一起，保证数据的规范和统一，方便后续的数据处理和分析；第二服务器响应第一服务器发送的目标业务数据获取请求，按需反馈目标业务数据至第一服务器；第一服务器在接收到数据消费平台发送的目标数据获取请求时，仅需发送目标业务数据获取请求至第二服务器，便可获取目标业务数据，如此可以减少数据传输的量，提高数据获取的效率。上述数据管理平台，通过多级服务器架构将数据处理和存储任务分布在不同的服务器上，实现了数据的隔离和安全性，确保数据的机密性和完整性，此外，还能提高平台的可伸缩性和性能，且每个服务器专注于特定的任务，可以并行处理数据，提高数据处理效率，由此可见，上述数据管理平台能够提供高效的数据处理服务。

第二方面，本申请提供了一种数据采集方法，应用于上述数据管理平台中的第一服务器，所述方法包括：

接收数据消费平台发送的目标数据获取请求，所述目标数据获取请求携带数据消费需求；

根据所述数据消费需求，生成、并发送目标业务数据获取请求至所述第二服务器；

接收所述第二服务器反馈的与所述目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对所述目标业务数据进行处理，得到目标数据；

将所述目标数据反馈至所述数据消费平台。

第三方面，本申请还提供了一种数据采集装置。所述装置包括：

请求接收模块，用于接收数据消费平台发送的目标数据获取请求，所述目标数据获取请求携带数据消费需求；

请求发送模块，用于根据所述数据消费需求，生成、并发送目标业务数据获取请求至所述第二服务器；

数据处理模块，用于接收所述第二服务器反馈的与所述目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对所述目标业务数据进行处理，得到目标数据；

数据反馈模块，用于将所述目标数据反馈至所述数据消费平台。

第四方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。

第五方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。

第六方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上所述的方法的步骤。

上述数据采集方法、装置、计算机设备、存储介质和计算机程序产品，依赖于具备多级服务器架构的数据管理平台，一级服务器在接收到数据消费平台发送的目标数据获取请求的情况下，仅需发送目标业务数据请求至第二服务器，即可获取相对应的目标业务数据，进而对目标业务数据进行加工处理，得到符合数据消费平台需求的目标数据，数据的处理效率高，并且能够满足数据消费平台的需求进行定制化的数据处理与反馈，无需处理与数据消费平台需求不符的数据，减少了无关数据对第一服务器资源的占用，从而提升了数据处理效率。

附图说明

图1为一个实施例中数据管理平台的结构框图；

图2为一个实施例中数据采集方法的流程示意图；

图3为一个实施例中数据采集装置的结构框图；

图4为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

在一个实施例中，如图1所示，提供了一种数据管理平台100，所述系统包括：相互通信连接的第一服务器110、第二服务器130和第三服务器150，以及与所述第三服务器通信连接的数据采集模块170。

第一服务器110，用于在接收到数据消费平台发送的目标数据获取请求的情况下，发送目标业务数据获取请求至第二服务器130，接收第二服务器反馈的与目标业务数据获取请求相匹配的目标业务数据，对目标业务数据进行加工处理，得到目标数据，并将目标数据反馈至数据消费平台。

其中，数据消费平台发送的目标数据获取请求可以是特定类型的目标数据的查询请求，与数据消费平台有关，例如数据消费平台可以是订单系统、生产数据报表、仓库管理系统和MES（Manufacturing Execution System）等，相对应地，目标数据可以是产品库存量、生产速度、产品缺货情况和生产设备数据等。上述数据仅为可能的目标数据类型，在实际上，根据不同的业务需求，数据消费平台可以请求和使用第一服务器110中的各种数据，以支持整个数据消费平台的功能和业务流程。

第一服务器110接收到数据消费平台发送的目标数据获取请求后，可以人为解析该目标数据获取请求对应的目标数据，也可以由第一服务器110解析该目标数据获取请求，以了解数据消费平台需要的目标数据类型、条件和格式等。根据解析后的目标数据获取请求，第一服务器110可以像第二服务器130发送目标业务数据获取请求，并接收第二服务器130上传的与目标数据获取请求相匹配的目标业务数据。第一服务器110按照预设的处理加工方式，处理目标业务数据，得到数据消费平台所需的目标数据，并将该目标数据反馈至数据消费平台。其中，目标业务数据可以包括但不限于技术参数、生产数据、运营数据以及质检数据等。

该数据管理平台100可以应用于微型钻头自动化生产加工过程中，第一服务器可以是主服务器，第二服务器可以是车间服务器，第三服务器可以是各生产班组服务器，以及与第三服务器通信连接的生产设备和用于监测钻头各个指标的检测设备，例如检测一体机。第三服务器可以通过OPCUA（Open Platform Communications Unified Architecture）直接读取生产设备的工控机数据、PLC（Programmable Logic Controller）的参数和一些传感器的参数。

示例性地，数据消费平台向第一服务器110发送目标数据获取请求，要求获取当天工厂内钻头的生产数量。第一服务器110接收到该目标数据获取请求后，对该目标数据获取请求进行分析，确定需要从第二服务器130中调取当天各车间内钻头的生产数量，进而向第二服务器130发送目标业务数据获取请求，以从第二服务器130中调取当天各车间内钻头的生产数量。第一服务器110获取到当天内各车间内钻头的生产数量后，按照该数据类型对应的、预设的处理加工方式，例如对各车间内的钻头生产数量求和，生成符合数据消费平台需求的目标数据，即当天工厂内钻头的生产数量，并反馈至数据消费平台，以响应目标数据获取请求。此外，经过处理的目标业务数据，还可以经过格式化处理，以使其满足数据消费平台所需的格式。

可以理解的是，第一服务器110可以预先定义好一系列可能会被查询的目标数据，例如某种型号的钻头月总产量，在数据消费平台向第一服务器110发送目标数据获取请求之前，第一服务器110已经执行了数据获取与处理的过程，并将处理得到的目标数据存储在其数据库中。在接收到数据消费平台的目标数据获取请求时，第一服务器110无需再向第二服务器130发送目标业务数据获取请求，而是直接将预存在数据库中的对应目标数据直接反馈给数据消费平台，节约了数据处理的时间，增强了数据反馈的及时性。若数据消费平台发送的目标数据获取请求对应的目标数据未存储于第一服务器110的数据库中，第一服务器110可以及时执行上述数据获取处理流程，从第二服务器130中调取对应的目标业务数据，处理得到目标数据并反馈给数据消费平台。第一服务器110还可以保存有目标数据获取记录，以供管理员查看数据消费平台需要获取的目标数据类型，并创建相应的数据处理任务，进而当下一次又接收到来自数据消费平台相同的目标数据获取请求时，第一服务器110无需再次对目标数据请求进行分析，而是直接执行预先建立好的数据处理任务，从而快速从第二服务器130中获取相对应的目标业务数据，经过加工处理后能够快速反馈至数据消费平台。

另外，若第一服务器110在上述数据处理过程中出现异常，还可以生成对应的错误响应或通知管理员。进一步地，还可以由其他空闲服务器取代该一级服务器110的工作，以减少因为某一服务器出现故障，导致整个数据处理架构无法运行的情况出现。

第二服务器130，用于响应目标业务数据获取请求，调用第三服务器150的数据提供接口，获取与目标业务数据获取请求相匹配的整合生产数据，并对整合生产数据进行加工处理，得到目标业务数据，将目标业务数据反馈至所述第一服务器。

目标业务数据可以在制造工厂内不同阶段或过程中产生的临时数据，这些数据通常不是最终的产品数据，而是在生产、处理或传输过程中产生的中间数据。若目标数据为钻头工厂月产量，则目标业务数据可以为钻头车间月产量、钻头车间日产量和钻头工厂日产量等等；再例如目标数据为产品库存量，则目标业务数据可以为原材料库存量和半成品库存量等。

第二服务器130接收到第一服务器110发送的目标业务数据获取请求，将该目标业务数据获取请求进行解析，可以得知需要上传何种类型、格式的目标业务数据至第一服务器110。进而，可以直接调用第三服务器150的数据提供接口，从第三服务器的数据库中调取整合生产数据，该整合生产数据经过相对应的、预存在第二服务器130中的数据加工处理方式进行加工处理，得到目标业务数据，并将该目标业务数据上传至第一服务器110。

示例性地，可以将第一服务器110看成一个小型的数据消费平台，此时第一服务器110需要获取当天某型号钻头的生产报告，包括产量、质量数据和生产速度。基于该数据需求，第一服务器110向第二服务器130发送目标业务数据获取请求，该目标业务数据获取请求携带有目标业务数据的格式、对应钻头的型号以及日期。第二服务器130根据目标业务数据的格式、对应钻头型号以及日期，来确定第一服务器110需要的目标业务数据，即该型号钻头的产量、质量数据和生产速度。此时第二服务器130可以直接调取第三服务器150的数据提供接口，从第三服务器150的数据库中，检索到对应的整合生产数据，包括该型号钻头的生产周期、生产质量等，并调用相对应的、预存于第二服务器130中的数据加工处理方式，对上述整合生产数据进行加工处理，得到目标业务数据并反馈至第一服务器110，该目标业务数据符合第一服务器110的目标业务数据获取请求。

此外，第二服务器130还可以定时上传特定的目标业务数据至第一服务器110，以供第一服务器110直接取用，而无需下发目标业务数据获取请求。例如，第二服务器130在每天18：00，向第一服务器110上传当天某型号钻头的相关数据，例如产量、生产周期以及钻头直径等，以供第一服务器110随时取用。本实施例中允许第一服务器110在无需下发目标业务数据获取请求的情况下，可以定时从第二服务器130中获取特定类型的目标业务数据，减少了通信和请求负担，同时又能够及时获取最新的数据。

第三服务器150，用于接收数据采集模块170实时采集的生产数据，对生产数据进行整合归类处理，得到整合生产数据。

生产数据是生产过程中从各个数据源直接获取的原始数据，例如实时生产速度和产品生产周期等，以及在质量控制阶段记录的产品质量检测结果，包括产品是否通过质检以及未通过原因等。此外，生产数据还包括各台生产设备的技术参数，例如某台设备每小时能够生产的某型号钻头数目，生产设备的精度、运行速度等，

整合生产数据是对生产数据进行整合、筛选和分类后的数据，整合生产数据通常以更有条理的方式进行存储，以便于分析。示例性地，整合生产数据可以将生产数据整合分类为，产品参数和技术参数，产品参数又可以整合分类为钻头生产总量、某种型号钻头的生产直径和原材料库存量等，技术参数又可以整合分类为生产设备的生产速度、生产设备的耗电量以及生产设备的精度等。

示例性地，第三服务器150实时获取数据采集模块170上传的生产数据，这些生产数据包括产品生产量和产品尺寸等。第三服务器150对接收到的生产数据进行整合归类，包括筛选出相同类型或范围的数据、将不同数据格式统一为相同的数据格式以及将数据按照相关性和用途进行分类等，得到整合生产数据，该整合生产数据是清洗、有序和具有结构的数据集，以便于后续的查询、分析与处理。此外，第三服务器150还可以将一系列数据进行整合，得到更高级的数据摘要，例如计算每台设备的平均产品产量等。

数据采集模块170，用于实时采集生产数据，并将生产数据反馈至第三服务器150。

数据采集模块170是用于采集和传输各种类型数据的设备或模块，例如多种类型的传感器；也可以是在工业自动化中使用的PLC，PLC可以采集数据并执行相应的控制逻辑；或者制造工厂中使用的其他数据记录器。

数据采集模块170从生产环境中实时采集生产数据，包括产品参数和技术参数，并将生产数据上传至第三服务器150，以供后续的数据筛选、清洗和分类等。

上述数据管理平台100，具备多级服务器架构，第三服务器150接收实时采集的生产数据，并进行整合和归类处理，得到整合生产数据，如此，可以将来自不同数据源的生产数据整合在一起，保证数据的规范和统一，方便后续的数据处理和分析；第二服务器130响应第一服务器110发送的目标业务数据获取请求，按需反馈目标业务数据至第一服务器110；第一服务器110在接收到数据消费平台发送的目标数据获取请求时，仅需发送目标业务数据获取请求至第二服务器150，便可获取目标业务数据，如此可以减少数据传输的量，提高数据获取的效率。上述数据管理平台，通过多级服务器架构将数据处理和存储任务分布在不同的服务器上，实现了数据的隔离和安全性，确保数据的机密性和完整性，此外，还能提高平台的可伸缩性和性能，且每个服务器专注于特定的任务，可以并行处理数据，提高数据处理效率，由此可见，上述数据管理平台能够提供高效的数据处理服务。

在一个实施例中，第二服务器130还用于在接收到车间管理平台发送的车间管理数据请求的情况下，从整合生产数据中调取与车间管理数据请求相匹配的整合生产数据，对调取出的整合生产数据进行处理，得到车间管理数据，并将车间管理数据反馈至车间管理平台。

车间管理数据是用于追踪、控制和管理制造车间或生产设施相关的数据，例如用于追踪生产过程、设备状态、生产计划和生产质量等的指标。以车间正在进行一批特定型号钻头的生产为例，车间的管理数据可以是该正在进行的生产批次、已完成生产的钻头数量、不合格钻头数目和车间内钻头原材料库存等。

第二服务器130可以是车间服务器，此时车间管理平台可以作为一个小型的数据消费平台。车间管理平台向第二服务器130发出车间管理数据请求，以获得特定的车间管理数据。示例性地，车间管理平台需要获取某一批钻头订单的生产进度，此时第二服务器130基于车间管理数据请求，调用第三服务器150的数据提供接口，从整合生产数据中提取与之相匹配的整合生产数据，例如各生产设备的生产速度。第二服务器130获取整合生产数据之后，对整合生产数据进行处理，例如将整合生产数据按照设备或生产线分组，计算各自的生产进度等，以满足车间管理数据需求，得到车间管理数据。车间管理数据是清晰、有序和具有结构的数据集，第二服务器130将车间管理数据反馈至车间管理平台，以供使用。

此外，还可以使用数据可视化技术和显示屏幕实现在车间内实时展示车间管理数据，以供车间内的操作人员和管理人员实时监督生产过程，做出及时的决策。例如在车间内安装仪表盘或者大屏幕显示器，以显示关键的车间管理数据。

在本实施例中，允许车间管理平台从第二服务器130中获取车间管理数据，以便追踪和管理车间生产过程，并将相关的车间管理数据在车间内进行实时展示，以提高车间管理效率和生产效率。

在一个实施例中，生产数据包括技术参数，第三服务器150，还用于对技术参数进行分析，得到技术参数分析结果，根据技术参数分析结果调整技术参数，直至技术参数满足预设要求。

技术参数是描述生产设备工作状态的一种参数，可以用于评估生产设备的正常运行、生产性能等，例如产品的物理尺寸、生产设备的精度以及生产设备的操作范围等。

示例性地，第三服务器150接收从各个生产设备上的传感器上传的技术参数，包括生产设备温度、生产设备灵敏度和生产设备精度等。第三服务器150对接收到的技术参数进行实时分析，包括监测技术参数的变化趋势和变化范围，以便及时检测到生产设备的异常状态。根据技术参数分析的结果，第三服务器150可以生成技术参数分析报告，包括异常报警和生产设备性能评估等信息。技术参数分析报告还可以包括建议性的参数调整，以满足预设的技术参数要求，例如设备的操作设置、灵敏度控制、压力调整等。基于技术参数分析结果和建议，操作人员或自动化系统可以进行技术参数的调整，以使其符合预设的技术参数要求，例如人为更改设备的设置或自动控制系统对生产设备的技术参数进行干预。此外，第三服务器150可以持续实时监测技术参数，以确保技术参数维持在满足生产要求的范围内。

在本实施例中，第三服务器150通过不断监测、分析和调整技术参数，可以及时检测出状态异常的生产设备，并对不满足生产要求的生产设备的技术参数进行调整，以满足质量标准和生产效率要求，进而优化了制造工厂内的生产过程，提高产品质量、降低生产成本和增加生产效率。

在一个实施例中，第二服务器130，还用于在第三服务器150停止工作的情况下，执行预构建的第一异常处理任务，第一异常处理任务用于获取、并执行第三服务器150中已运行的工作任务。

第一异常处理任务是在数据管理平台100中出现异常情况时执行的任务，当第三服务器150停止工作的时，可以由第二服务器130自动执行该第一异常处理任务，也可以由其他服务器控制第二服务器执行该第一异常处理任务。第一异常处理任务可以预先定义和配置在第二服务器130中。示例性地，第二服务器130在执行第一异常处理任务时，可以自动将第三服务器150的任务切换至自身数据节点上，由第二服务器130暂时代替第三服务器150完成生产数据的获取、整合以及分类等任务，第二服务器130可以调用数据库的特定区域，以暂时存储原本由第三服务器存储的生产数据和整合生产数据。

示例性地，第二服务器130实时监测第三服务器150的运行状态，例如监测通信状态，当监测到第三服务器150的通信状态异常时，判定此时第三服务器150停止工作，此时由第二服务器130启动预构建的第一异常处理任务。第二服务器130首先需要获取第三服务器150中已运行的工作任务的相关信息，包括任务类型、参数和状态，并将该工作任务复制到第二服务器130的工作节点上，以允许第二服务器130继续执行该工作任务。此外，第二服务器130可以向操作人员或系统管理员发送工作异常通知，以告知第三服务器150的异常情况，以便对第三服务器150进行进一步的故障排除和修复。

在本实施例中，当数据管理平台100中的第三服务器150停止工作时，可以由第二服务器130暂时代替执行第三服务器150的工作任务，以允许在第三服务器150出现问题时，生产任务能够继续进行，减少生产中断的风险，进而提高系统的可用性和可靠性。

在一个实施例中，第三服务器150，还用于在第二服务器130停止工作的情况下，执行预构建的第二异常处理任务，第二异常处理任务用于获取、并执行第二服务器130中已运行的工作任务。

第二异常处理任务与第一异常处理任务类似，也是在数据管理平台100中出现异常情况时执行的任务，当第二服务器130停止工作的时，可以由第三服务器150自动执行该第二异常处理任务，也可以由其他服务器控制第三服务器执行该第二异常处理任务。第二异常处理任务可以预先定义和配置在第三服务器150中。示例性地，第三服务器150在执行第二异常处理任务时，可以自动将第二服务器130的任务切换至自身数据节点上，由第三服务器150暂时代替第二服务器130完成对整合生产数据的处理以及为车间管理平台反馈车间管理数据等工作任务，第三服务器150可以调用数据库的特定区域，以暂时存储原本由第二服务器存储的生产数据和整合生产数据。

示例性地，第三服务器150实时监测第二服务器130的运行状态，例如监测通信状态，当监测到第二服务器130的通信状态异常时，判定此时第二服务器130停止工作，此时由第三服务器150启动预构建的第二异常处理任务。第三服务器150首先需要获取第二服务器130中已运行的工作任务的相关信息，包括任务类型、参数和状态，并将该工作任务复制到第三服务器150的工作节点上，以允许第三服务器150继续执行该工作任务。此外，第三服务器150可以向操作人员或系统管理员发送工作异常通知，以告知第二服务器130的异常情况，以便对第二服务器130进行进一步的故障排除和修复。

在本实施例中，当数据管理平台100中的第二服务器130停止工作时，可以由第三服务器150暂时代替执行第二服务器130的工作任务，以允许在第二服务器130出现问题时，生产任务能够继续进行，减少生产中断的风险，进而提高系统的可用性和可靠性。

在一个实施例中，第一服务器110，还用于访问第二服务器130和第三服务器150，查询第二服务器130中存储的目标业务数据，以及第三服务器150中存储的生产数据和整合生产数据。

示例性地，当上述数据管理平台100异常运行时，例如第二服务器130停止工作，此时允许第一服务器110直接访问第二服务器130，查询获取第二服务器130中存储的目标业务数据；可以理解的是，当第三服务器150停止工作时，第一服务器110可以直接访问第三服务器150，查询获取第三服务器150中存储的生产数据和整合生产数据。此外，第一服务器110可以根据预设的任务程序，定期访问第二服务器130和第三服务器150，以执行特定的数据查询和数据分析等任务。

在本实施例中，第一服务器110被允许在数据管理平台100异常运行状况下，例如硬件故障、软件故障或网络故障等，直接访问第二服务器130和第三服务器150，以快速获取需要的数据，保障了系统的可用性和数据的连续性与完整性。

为了对本申请提供的数据管理平台100做出更为清楚的说明，下面结合一个具体实施例进行说明。以该数据管理平台100应用于微型钻头自动化生产加工过程中为例，第一服务器110可以是主服务器，第二服务器130可以是车间服务器，第三服务器150可以是各生产班组服务器，以及与第三服务器150通信连接的生产设备和用于监测钻头各个指标的检测设备，例如检测一体机。第三服务器150可以通过OPCUA直接读取生产设备的工控机数据、PLC的参数和一些传感器的参数。

在微型钻头自动化生产加工过程中，首先对所有数据需求的部分进行调研，确定好数据消费平台需求的数据即目标数据，例如生产管理数据、MES数据、订单数据、仓库数据等，并整理出目标业务数据的需求，例如某台设备稼动率、设备单日产量，设备合格率等，同时对现场车间管理人员了解车间管理的数据需求，例如设备实时产率，设备状态等，再根据这些车间管理数据确定实际需要从生产设备工控机、PLC和检测设备提取哪些信息，并且需要增加提取哪些数据的传感器。这样既保证采集的数据足够满足需求，又保证了各个分布式系统间数据框架的统一。

实际生产中，各数据消费平台需求的数据可以实时快速地从第一服务器110中调取，第一服务器110中存储的数据可以直接使用，并且数据量少而精，保证了不会占用第一服务器110过多的资源，方便数据使用端进行使用，并且在不增加生产数据种类的情况下，第一服务器110可以随时自定义新的目标数据供使用。

第二服务器130主要处理第三服务器150上传的数据并且定时上传给第一服务器110，例如处理得到整个车间的总产量，某个钻头型号的总产量，各台设备实时生产效率，各台设备一段时间的稼动率和合格率等。除此之外，第二服务器130还可以向车间实时提供最新的车间管理数据，可使用电子看板进行展示，以方便现场管理人员对车间进行有效掌控。且当第二服务器130意外停止工作时，也不会出现整个车间无法正常运作的情况，因为可以直接由某个第三服务器150暂时接替第二服务器130的工作直到第二服务器130恢复正常。

第三服务器150的主要功能是把零散的生产数据进行归类整理，例如按照机台分类出该机台生产效率、该机台状态、该机台主轴转速和该机台钻头直径等，也可以按时间分类，或者其他自定义的分类方式，例如钻头直径、不同时间的槽长，何时发生何种故障等。此外，第三服务器150还可以根据实时收集到的技术参数对生产设备参数进行微调，保证钻头的各项指标靠近标准要求的中间值，保证生产的品质。

可以理解的是，生产数据从传感器或PLC上传至第三服务器150后，第三服务器150首先需要对生产数据进行数据清洗。数据清洗包括：1、删除生产数据中的某些空缺值，并检查搜索各种方式收集的生产数据是否有漏缺；2、检查生产数据是否有重复，例如是否有可能因为异常情况传输重复数据，如果有则删除；3、通过对照不同但是相关联的数据，排除异常数据，例如生产设备每个运动部件传感器传输的运动时间一个周期内加起来应该等于PLC传输的周期时间，若不相等，则理论上存在异常，需要进行排除或者标记。数据清洗完之后，第三服务器150还需要对生产数据进行数据分类。数据分类包括：针对不同方式收集的不同数据，需要有清晰且同一分类唯一名称的标签、时间戳、备注、来源和状态（例如数据是否异常和数据保密等级）等属性，基于上述属性将清晰后的生产数据进行分类存放，以允许服务器通过上述属性可以很快检索到相关的生产数据。完成数据分类之后，在使用之前或者维护时还需要进行数据筛选，数据筛选的过程可以由第三服务器150完成。数据筛选包括：1、提醒维护人员进行处理标记为异常的数据，以及时消除相关异常值；2、通过生产数据的时间戳，及时清理过时失效的数据，以节约第三服务器150的空间；3、根据上一级服务器（包括第二服务器130和第一服务器110）以及工厂内其他服务器对生产数据的需求，及时将相关属性的生产数据上传发送等。

在数据处理系统中，最大的工作量通常是数据清洗，数据量和可能的异常数据是最为庞大的，因此在制造工厂中，第三服务器150的数量最多，通过分布式并行工作，以增加数据处理效率。上述数据处理系统中，第一服务器110和第二服务器130无需执行整合生产数据这一任务，从而避免了第一服务器110和第二服务器130中大量的资源用于这些庞杂的数据清洗工作，导致其他工作获取的资源变少而整体工作效率降低的情况。

另外，上述数据管理平台100虽然使用的是三级架构的数据处理模式，但在实际生产中，可以根据需要增加或减少服务器的层级数，例如仅使用第一服务器和第二服务器，也可以增添第四服务器等。

在本实施例中，数据处理系统是基于各种数据的特点不同而构建的，例如生产数据实时产生，数据量庞大但是信息丰富而且及时，具有及时反馈但存储的时间较短的特点，因而需要第三服务器150单独进行管理，一方面可以通过生产数据及时反馈的特点实时调节设备，保证生产品控，另一方面生产数据由数量众多的第三服务器150分开存放，保证不至于全部生产数据同时丢失，并且在有冗余的情况下还可以互相备份重要生产数据；目标数据的实时性要求通常不高，主要需求在于宏观的统计型数据，因此可以储存的时间很长，无需经常删除过期数据，由第一服务器110存储，能以最少的资源存放尽可能多的目标数据；目标业务数据的实时性和存储时间通常介于生产数据和目标数据之间，由第二服务器130存储。

本申请实施例提供的数据采集方法，可以应用于如图1所示的数据管理平台中的第一服务器110。

其中，数据消费平台与第一服务器通信连接，第一服务器与第二服务器通信连接。第一服务器接收数据消费平台发送的携带有数据消费需求的目标数据获取请求，进而根据数据消费需求，生成、并发送目标业务数据获取请求至第二服务器，以从第二服务器中获取与目标业务数据获取请求相匹配的目标业务数据，然后根据预设的数据处理规则，对目标业务数据进行处理，得到目标数据，并将目标数据反馈至数据消费平台。其中，第一服务器和第二服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种数据采集方法，以该方法应用于图1中的第一服务器110为例进行说明，包括以下步骤：

S220，接收数据消费平台发送的目标数据获取请求，目标数据获取请求携带数据消费需求。

其中，数据消费平台发送的目标数据获取请求可以是特定类型的目标数据的查询请求，与数据消费平台有关，例如数据消费平台可以是订单系统、生产数据报表、仓库管理系统和MES（Manufacturing Execution System）等，相对应的，目标数据可以是产品库存量、生产速度、产品缺货情况和生产设备数据等。上述数据仅为可能的目标数据类型，在实际上，根据不同的业务需求，数据消费平台可以请求和使用第一服务器中的各种数据，以支持整个数据消费平台的功能和业务流程。

数据消费平台向第一服务器发送目标数据获取请求，该目标数据获取请求中携带有数据消费需求，例如数据类型和生产标识数据。数据类型表明了数据消费平台所需数据的种类，例如生产订单数据和产品质量数据等，生产标识数据可以是产品批次号、要监测的生产设备的设备标识号和订单批次号等。目标数据获取请求携带数据消费需求，可以允许数据消费平台准确地获取到特定类型的数据，以及该数据关联到与生产相关的具体项目、产品批次或设备，使得第一服务器向消费平台提供的数据更具有针对性。示例性地，数据消费平台向第一服务器发送的目标数据获取请求为“订单批次号为7788的订单中已加工的钻头数量”，其中“钻头数量”为数据类型，“订单批号为7788”为生产标识数据。

S240，根据数据消费需求，生成、并发送目标业务数据获取请求至第二服务器。

目标业务数据可以在制造工厂内不同阶段或过程中产生的临时数据，这些数据通常不是最终的产品数据，而是在生产、处理或传输过程中产生的中间数据。若目标数据为钻头工厂月产量，则目标业务数据可以为钻头车间月产量、钻头车间日产量和钻头工厂日产量等等；再例如目标数据为产品库存量，则目标业务数据可以为原材料库存量和半成品库存量等。

第一服务器在接收到目标数据获取请求，可以确定目标数据获取请求中所包含数据消费需求。以数据消费需求为数据类型和生产标识数据为例，第一服务器基于数据类型和生产标识数据，可以生成目标业务数据获取请求，并将该目标业务数据获取请求发送至第二服务器，以获取与目标业务数据获取请求相匹配的目标业务数据。示例性地，数据消费平台发送了一个目标数据获取请求，要求获取所有产品批次号为"12345"的质量记录数据。第一服务器可以解析目标数据获取请求，识别出数据消费需求，例如识别出数据类型为质量记录数据，生产标识数据为批次号"12345"。然后，第一服务器会根据上述数据类型和生产标识数据生成、并向第二服务器发送目标数据获取请求。该目标数据获取请求可以指示第二服务器上传相对应的目标业务数据，例如第二服务器会查询与该批次号相关的质量记录数据，如不同车间内产品批次号为"12345"的质量记录数据，而后将上述质量记录数据上传至第一服务器。

S260，接收第二服务器反馈的与目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对目标业务数据进行处理，得到目标数据。

第一服务器从第二服务器中接收到于目标业务数据获取请求相匹配的目标业务数据之后，需要对目标业务数据进行处理，得到目标数据。数据处理过程通常需要遵循预设的数据处理规则，例如按照特定的数据计算规则，包括汇总统计、计算百分比和数据预测等，也可以是按照特定的数据转换规则，将不同格式、不同单位的数据转换至统一格式、统一单位的数据，也可以同时对目标业务数据进行数据计算和数据转换。

示例性地，目标数据为某一种生产设备的工作温度，第一服务器将从目标数据源中调取相对应的生产设备的工作温度，作为目标业务数据，该目标业务数据中由于包含了多台生产设备的工作温度，单位可能是摄氏度，而目标数据仅为一个温度类型的数值，且单位为华氏度。此时，第一服务器将基于目标业务数据求出该种设备的工作温度平均值，并且将温度平均值的单位从摄氏度转化为华氏度，最终得到的数据处理结果可以作为目标数据，即该生产设备的工作温度。

S280，将目标数据反馈至数据消费平台。

示例性地，数据消费平台向第一服务器发送目标数据获取请求，该请求中携带有相关的数据类型、数据格式等，第一服务器接收到该目标数据获取请求后，可以识别出上述目标数据获取请求对应的数据使用接口，以将目标数据获取请求发送至正确的数据请求接口。而后，该数据使用接口可以根据目标数据获取请求，从第一服务器的数据库中检索目标数据，还可以对目标数据进行进一步地加工处理。当数据请求接口处理完目标数据获取请求之后，可以构建数据反馈响应，该数据反馈响应中含有目标数据，并反馈至数据消费平台。待数据消费平台接收到第一服务器发送的数据反馈响应后，可以解析该数据反馈响应，以提取目标数据。

除此之外，第一服务器可以预先定义好一系列可能会被查询的目标数据，例如某种型号的钻头月总产量，在数据消费平台向第一服务器发送目标数据获取请求之前，第一服务器已经执行了数据获取与处理的过程，并将处理得到的目标数据存储在其数据库中。在接收到数据消费平台的目标数据获取请求时，第一服务器无需再从目标数据源中调取目标业务数据，而是直接将预存在数据库中的对应目标数据直接反馈给数据消费平台，节约了数据处理的时间，增强了数据反馈的及时性。若数据消费平台发送的目标数据获取请求对应的目标数据未存储于第一服务器的数据库中，第一服务器可以及时执行上述数据获取处理流程，从目标数据源中调取对应的目标业务数据，处理得到目标数据并反馈给数据消费平台。第一服务器还可以保存有目标数据获取记录，以供管理员查看数据消费平台需要获取的目标数据类型，并创建相应的数据处理任务，进而当下一次又接收到来自数据消费平台相同的目标数据获取请求时，第一服务器无需再次对目标数据请求进行分析，而是直接执行预先建立好的数据处理任务，从而快速从第二服务器中获取相对应的目标业务数据，经过加工处理后能够快速反馈至数据消费平台。

上述数据采集方法，通过接收数据消费平台发送的携带数据消费需求的目标数据获取请求，根据数据消费需求，生成、并发送目标业务数据获取请求至第二服务器，从获取与目标业务数据获取请求相匹配的目标业务数据。而后根据预设的数据处理规则，对目标业务数据进行处理，得到目标数据，并将目标数据反馈至数据消费平台。采用上述数据采集方法，可以使数据获取和处理过程定制化，以满足数据消费平台特定的目标数据需求，同时减少了不必要数据的获取和处理过程，提高了数据处理的效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据采集方法的数据采集装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据获取装置实施例中的具体限定可以参见上文中对于数据采集方法的限定，在此不再赘述。

在一个实施例中，如图3所示，提供了一种数据采集装置300，包括：请求接收模块320、请求发送模块340、数据处理模块360和数据反馈模块380，其中：

请求接收模块320，用于接收数据消费平台发送的目标数据获取请求，目标数据获取请求携带数据消费需求。

请求发送模块340，用于根据数据消费需求，生成、并发送目标业务数据获取请求至第二服务器。

数据处理模块360，用于接收第二服务器反馈的与目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对目标业务数据进行处理，得到目标数据。

数据反馈模块380，用于将目标数据反馈至数据消费平台。

上述数据获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标数据和目标业务数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据采集方法。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各数据采集方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各数据采集方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各数据采集方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据管理平台，其特征在于，所述系统包括：相互通信连接的第一服务器、第二服务器和第三服务器，以及与所述第三服务器通信连接的数据采集模块；

所述第一服务器，用于在接收到数据消费平台发送的目标数据获取请求的情况下，发送目标业务数据获取请求至所述第二服务器，接收所述第二服务器反馈的与目标业务数据获取请求相匹配的目标业务数据，对所述目标业务数据进行加工处理，得到目标数据，并将所述目标数据反馈至所述数据消费平台；

所述第二服务器，用于响应所述目标业务数据获取请求，调用所述第三服务器的数据提供接口，获取与所述目标业务数据获取请求相匹配的整合生产数据，并对所述整合生产数据进行加工处理，得到所述目标业务数据，将所述目标业务数据反馈至所述第一服务器；

所述第三服务器，用于接收所述数据采集模块实时采集的生产数据，对所述生产数据进行整合归类处理，得到整合生产数据。

2.根据权利要求1所述的平台，其特征在于，所述第二服务器，还用于在接收到车间管理平台发送的车间管理数据请求的情况下，从所述整合生产数据中调取与所述车间管理数据请求相匹配的整合生产数据，对调取出的所述整合生产数据进行处理，得到车间管理数据，并将所述车间管理数据反馈至所述车间管理平台。

3.根据权利要求1所述的平台，其特征在于，所述生产数据包括技术参数；

所述第三服务器，还用于对所述技术参数进行分析，得到技术参数分析结果，根据所述技术参数分析结果调整所述技术参数，直至所述技术参数满足预设要求。

4.根据权利要求1至3任意一项所述的平台，其特征在于，所述第二服务器，还用于在所述第三服务器停止工作的情况下，执行预构建的第一异常处理任务，所述第一异常处理任务用于获取、并执行所述第三服务器中已运行的工作任务。

5.根据权利要求1至3任意一项所述的平台，其特征在于，所述第三服务器，还用于在所述第二服务器停止工作的情况下，执行预构建的第二异常处理任务，所述第二异常处理任务用于获取、并执行所述第二服务器中已运行的工作任务。

6.根据权利要求1至3任意一项所述的平台，其特征在于，所述第一服务器，还用于访问所述第二服务器和所述第三服务器，查询所述第二服务器中存储的目标业务数据，以及所述第三服务器中存储的生产数据和整合生产数据。

7.一种数据采集方法，其特征在于，应用于如权利要求1-6所述的数据管理平台中的第一服务器，所述方法包括：

接收数据消费平台发送的目标数据获取请求，所述目标数据获取请求携带数据消费需求；

根据所述数据消费需求，生成、并发送目标业务数据获取请求至所述第二服务器；

接收所述第二服务器反馈的与所述目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对所述目标业务数据进行处理，得到目标数据；

将所述目标数据反馈至所述数据消费平台。

8.一种数据采集装置，其特征在于，所述装置包括：

请求接收模块，用于接收数据消费平台发送的目标数据获取请求，所述目标数据获取请求携带数据消费需求；

请求发送模块，用于根据所述数据消费需求，生成、并发送目标业务数据获取请求至所述第二服务器；

数据处理模块，用于接收所述第二服务器反馈的与所述目标业务数据获取请求相匹配的目标业务数据，并根据预设的数据处理规则，对所述目标业务数据进行处理，得到目标数据；

数据反馈模块，用于将所述目标数据反馈至所述数据消费平台。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求7所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7所述的方法的步骤。