CN118277493A - 一种具有数据仓库的数字孪生平台 - Google Patents

Abstract

本申请涉及数据处理技术领域，提供了一种具有数据仓库的数字孪生平台，其中数据采集设备从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；数据处理设备按照数据预处理需求，得到不同类型的待装载数据，并将不同类型的待装载数据传输至数据仓库；数据仓库存储不同类型的待装载数据；接收数字孪生系统发送的数据获取请求；对存储的不同类型的待装载数据中满足业务需求的待装载数据进行结构整合，得到目标需求数据；数字孪生系统向数据仓库发送数据获取请求，并接收数据仓库发送的目标需求数据；将目标需求数据传输至相应的业务应用系统。该平台实现了数据的可扩展性，降低了成本，以及提高了获取数据的实时性。

Description

一种具有数据仓库的数字孪生平台

技术领域

本申请涉及数据处理技术领域，具体而言，涉及一种具有数据仓库的数字孪生平台。

背景技术

随着科技的发展，信息化的时代已经到来，数字孪生技术在科技的推动下蓬勃发展，广泛应用于工业领域各个行业。

大数据的质量往往对于数字孪生模型的建立有着较为重要的影响，某个维度的大数据质量较差的情况下，依照该大数据建立的数字孪生模型往往不够准确，对于物理场中的实体、过程和行为的某一个维度的描述、映射、监控、诊断和优化都会造成一定的偏差，大数据的质量较好的情况下建立的数字孪生模型往往更加的准确，不会出现上述的负面影响，所以高质量的大数据是数字孪生系统优化和数字孪生模型建立的一个重要的支撑点。

目前数字孪生系统与第三方程序使用传统接口进行数据对接，这种方式需要考虑接口的兼容性，还需要第三方程序对对接的数据进行筛选才能得到所需求的数据。可见，数字孪生系统与第三方程序使用传统接口进行数据对接需要考虑接口的兼容性，提高了成本，且第三方程序不能及时得到所需数据。

发明内容

本申请实施例的目的在于提供一种具有数据仓库的数字孪生平台，用以解决了现有技术存在的上述问题，实现了数据的可扩展性，降低了成本，以及提高了获取数据的实时性。

第一方面，提供了一种具有数据仓库的数字孪生平台，该平台可以包括：

数据采集设备，用于从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；

数据处理设备，用于按照数据预处理需求，对采集的不同类型的数据进行处理，得到不同类型的待装载数据，并将所述不同类型的待装载数据传输至数据仓库；

数据仓库，用于存储所述不同类型的待装载数据；接收所述数字孪生系统发送的数据获取请求，所述数据获取请求包括业务需求；对存储的不同类型的待装载数据中满足所述业务需求的待装载数据进行结构整合，得到目标需求数据；

数字孪生系统，用于向所述数据仓库发送数据获取请求，并接收所述数据仓库发送的目标需求数据；将所述目标需求数据传输至相应的业务应用系统。

在一个可能的实现中，所述数据采集设备，具体用于：

获取设置的数据采集规则；

基于所述数据采集规则，从不同类型数据源采集相应类型的数据。

在一个可能的实现中，采集的不同类型的数据包括IOT数据、MES数据、动辅系统数据和WMS数据。

在一个可能的实现中，所述数据预处理需求包括数据清洗和数据定义。

在一个可能的实现中，所述业务需求包括数据需求类型和数据需求结构；

所述数据仓库，具体用于对存储的不同类型的待装载数据中满足数据需求类型的待装载数据进行结构整合，得到满足数据需求结构的目标需求数据。

在一个可能的实现中，所述存储的不同类型的待装载数据是以表结构的方式进行存储的；

所述存储的不同类型的待装载数据包括生产设备核心参数数据、设备运行状态数据、设备异常数据、在线检测设备检测数据。

在一个可能的实现中，所述数字孪生系统，还用于对所述目标需求数据进行分析或展示。

第二方面，提供了一种电子设备，该电子设备包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现上述第一方面中任一所述的平台中数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的方法。

第三方面，提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的方法。

本申请实施例提供的具有数据仓库的数字孪生平台中的数据采集设备从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；数据处理设备按照数据预处理需求，对采集的不同类型的数据进行处理，得到不同类型的待装载数据，并将不同类型的待装载数据传输至数据仓库；数据仓库存储不同类型的待装载数据；接收数字孪生系统发送的数据获取请求，数据获取请求包括业务需求；对存储的不同类型的待装载数据中满足业务需求的待装载数据进行结构整合，得到目标需求数据；数字孪生系统向数据仓库发送数据获取请求，并接收数据仓库发送的目标需求数据；将目标需求数据传输至相应的业务应用系统。该平台实现了数据的可扩展性，降低了成本，以及提高了获取数据的实时性。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种基于数据仓库的数字孪生平台的结构示意图；

图2为本申请实施例提供的一种基于数据仓库的数字孪生平台的部分处理过程示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，并不是全部的实施例。基于本申请实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合说明书附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请，并且在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

本申请提供的一种基于数据仓库的数字孪生平台可以包括：数据采集设备、数据处理设备、数据仓库与数字孪生系统，如图1所示。

其中，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理层的决策。它通常包含多个数据源的数据，并在数据进入仓库之前进行清洗、转换和集成。数据仓库的目的是为企业提供一个统一的数据视图，以便进行战略分析和决策支持。

以下是关于数据仓库的更详细的介绍：

1.数据组织：数据仓库的数据是按照一定的主题域进行组织的，而不是按照业务流程或交易进行组织的。主题是一个抽象的概念，是较高层次上企业信息系统中的数据综合、归类并进行分析利用的抽象。例如，销售、库存、财务等都可以是主题。

2.数据集成：数据仓库中的数据来源于多个数据源，包括关系型数据库、文件、API等。在数据进入仓库之前，需要进行数据清洗、转换和集成，以确保数据的准确性和一致性。

3.数据稳定性：数据仓库中的数据是相对稳定的，这意味着数据在进入仓库后一般不再发生变化。当然，数据仓库并不是一成不变的，它可以根据业务需求进行定期更新和刷新。

4.历史变化：数据仓库中的数据会记录历史变化，这意味着可以查询到数据的任何历史状态。这对于分析趋势和预测未来非常有用。

5.数据仓库的架构：数据仓库的架构通常包括数据源、ETL(提取、转换、加载)过程、数据存储和查询引擎等部分。ETL过程是数据仓库的核心，它负责从数据源中提取数据、进行必要的转换和清洗、然后将数据加载到数据仓库中。

6.数据仓库的查询语言：数据仓库通常使用一种特定的查询语言来查询和分析数据，例如SQL或Hive SQL。这些语言提供了丰富的查询和分析功能，可以方便地获取所需的数据和信息。

7.数据仓库的应用场景：数据仓库广泛应用于各种行业和领域，如金融、零售、制造等。它可以用于销售分析、库存管理、财务分析等场景，帮助企业更好地理解业务、制定战略和做出决策。

总之，数据仓库是一个功能强大的数据处理和分析工具，它为企业提供了一个统一的数据视图和决策支持平台。通过使用数据仓库，企业可以更好地利用其现有数据资源，提高业务效率和盈利能力。

数字孪生系统是一个集成各种第三方系统数据的一个统一的3D可视化数据展示平台，使用数据仓库后，数字孪生系统可以根据不同的业务需求，灵活地进行数据查询、数据挖掘、分析和报表生成等操作。未来也可以通过同样的方式对接其他系统数据，极大的减少了数字孪生系统的接口维护工作。

本申请的基于数据仓库的数字孪生平台的工作过程如下：

(1)数据采集设备，用于从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；

其中，采集的不同类型的数据可以包括IOT数据(如生产设备核心参数、在线检测设备检测数据、设备运行状态数据、设备异常数据等)、MES数据(如生产报表数据、质量报表数据等)、动辅数据(如动辅设备核心参数、设备运行状态数据、设备异常数据等)和WMS数据(如物料进出数据等)。

例如，生产设备核心参数、设备异常数据、设备状态数据、在线设备检测数据，本申请可通过websocket进行实时的数据读取，温湿度、PM2.5传感器数据每5分钟读取一次，其他数据每5秒读取一次。

在一些实施例中，数据采集设备可以获取用户预先设置的数据采集规则；之后，基于数据采集规则，从不同类型数据源采集相应类型的数据。

(2)数据处理设备，用于按照数据预处理需求，对采集的不同类型的数据进行处理，得到不同类型的待装载数据，并将不同类型的待装载数据传输至数据仓库。

其中，数据预处理需求可以包括数据清洗、数据验证和数据定义(包括基础数据定义和业务定义)。具体的，数据处理设备可以先对采集的不同类型的数据进行数据定义，并将定义后的数据进行数据清洗和数据验证后，将不同类型的待装载数据传输至数据仓库。采用数据清洗和数据验证等方法可以保证数据的准确性和可靠性。

(3)数据仓库，用于存储不同类型的待装载数据；接收数字孪生系统发送的数据获取请求。其中，数据获取请求可以包括业务需求。具体的，对存储的不同类型的待装载数据中满足业务需求的待装载数据进行结构整合，得到目标需求数据。

其中，数据采集设备、数据处理设备和数据仓库的处理过程可以如图2所示，数据采集设备分别抽取IOT数据源、MES数据源、动辅数据源和WMS数据源的IOT数据、MES数据、动辅数据和WMS数据，通过数据处理设备经、数据定义、数据清洗和数据装载的处理后，将处理后的待装载数据输出至数据仓库。

(4)数字孪生系统，用于向数据仓库发送数据获取请求，并接收数据仓库发送的目标需求数据；将目标需求数据传输至相应的业务应用系统。

数字孪生系统还可以用于对目标需求数据进行分析或展示。

进一步的，业务需求可以包括数据需求类型和数据需求结构。

数据仓库，具体用于对存储的不同类型的待装载数据中满足数据需求类型的待装载数据进行结构整合，得到满足数据需求结构的目标需求数据。

其中，存储的不同类型的待装载数据是以表结构的方式进行存储的，且存储的不同类型的待装载数据可以包括：

存储的生产设备核心参数数据的表结构为：

生产设备核心参数数据ID、设备名称、设备参数名、设备参数值、时间和备注；

存储的设备运行状态数据的表结构为：

设备运行状态数据ID、设备名称、运行状态、时间和备注；

存储的设备异常数据的表结构为：

设备异常数据ID、设备名称、设备位置、异常代码、异常时间、异常说明和备注；

存储的在线检测设备检测数据的表结构为：

在线检测设备检测数据ID、设备类型、设备名称、设备位置、检测时间、检测项、检测值和备注。

在一些实施例中，数据仓库还可以对存储的不同类型的待装载数据进行加密、备份和恢复等安全管理，确保数据的安全性和完整性。具体的，本申请可以使用的SHA1算法对待装载数据进行加密，这样减少在WMS、MES、IOT等第三方程序重复加密，亦或者第三方程序如统一使用同一种加密，可能需要进行程序的二次开发，这样可以减少公司人力成本和采购费用支出。

在一些实施例中，数据处理设备对数据进行的数据验证，包括：

a、对空值的数据进行按照工艺要求进行补全和过滤，保证数据的规范性、完整性；

b、日期时间数据统一使用YYYY-MM-DD HH:mm:ss:ms的格式，保证数据的规范性；

c、数据可扩展性：数据仓库可以随着数据的增长和变化进行扩展，以满足不断增长的数据处理和分析需求。

在一些实施例中，数据仓库接收数据处理设备传输的不同类型的待装载数据后，数据仓库可以直接对接收到的不同类型的待装载数据进行存储，相应的，数字孪生系统向数据仓库发送的数据获取请求中可以包括所需数据的数据类型标识。

或者，数据仓库接收数据处理设备传输的不同类型的待装载数据后，数据仓库可以对接收到的不同类型的待装载数据进行检测。具体的，针对任一待装载数据，获取数据仓库存储的与该待装载数据的数据类型标识对应的存储数据；将该待装载数据与存储数据进行聚类处理，得到同一数据类型标识分别对应的各数据，并进行统一存储。

之后，采用预设的数据处理方式(可以包括类目特征处理、时间特征处理和/或连续特征处理等方式)，将该待装载数据进行处理，得到该待装载数据的数据特征，将该待装载数据的数据特征，以该数据类型标识为索引进行存储。

相应的，数字孪生系统向数据仓库发送的数据获取请求中可以包括所需数据的数据特征，以使数据仓库根据所需数据的数据特征与自身存储的各数据特征间的相关度，来确定目标需求数据，以减小数据获取过程所需的时间及成本。

在一些实施例中，数据仓库还可以分别以不同时间间隔为单位时间节点，针对一种类型，根据相邻时间接收的待装载数据的数据差异，获得每个时间节点对应的该类型的数据差异性，以获得待装载数据的波动数据；数据仓库存储该类型的待装载数据的波动数据，以使数字孪生系统向数据仓库发送获取该波动数据的数据获取请求。

本申请实施例提供的具有数据仓库的数字孪生平台中的数据采集设备从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；数据处理设备按照数据预处理需求，对采集的不同类型的数据进行处理，得到不同类型的待装载数据，并将不同类型的待装载数据传输至数据仓库；数据仓库存储不同类型的待装载数据；接收数字孪生系统发送的数据获取请求，数据获取请求包括业务需求；对存储的不同类型的待装载数据中满足业务需求的待装载数据进行结构整合，得到目标需求数据；数字孪生系统向数据仓库发送数据获取请求，并接收数据仓库发送的目标需求数据；将目标需求数据传输至相应的业务应用系统。该平台实现了数据的可扩展性，降低了成本，以及提高了获取数据的实时性。

本申请实施例还提供了一种电子设备，该电子设备应用在具有数据仓库的数字孪生平台中，如图3所示，包括处理器310、通信接口320、存储器330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。

存储器330，用于存放计算机程序；

处理器310，用于执行存储器330上所存放的程序时，实现图1所示的平台中数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的步骤。

上述提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

由于上述实施例中电子设备的各器件解决问题的实施方式以及有益效果可以参见图1所示的实施例中的各步骤来实现，因此，本申请实施例提供的电子设备的具体工作过程和有益效果，在此不复赘述。

在本申请提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述实施例中数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的步骤。

在本申请提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的步骤。

本领域内的技术人员应明白，本申请实施例中的实施例可提供为方法、系统、或计算机程序产品。因此，本申请实施例中可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例中可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例中是参照根据本申请实施例中实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例中的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例中范围的所有变更和修改。

显然，本领域的技术人员可以对本申请实施例中实施例进行各种改动和变型而不脱离本申请实施例中实施例的精神和范围。这样，倘若本申请实施例中实施例的这些修改和变型属于本申请实施例中权利要求及其等同技术的范围之内，则本申请实施例中也意图包含这些改动和变型在内。

Claims (10)

1.一种具有数据仓库的数字孪生平台，其特征在于，所述平台包括：

数据采集设备，用于从不同类型数据源采集相应类型的数据，并将采集的不同类型的数据传输至数据处理设备；

数据处理设备，用于按照数据预处理需求，对采集的不同类型的数据进行处理，得到不同类型的待装载数据，并将所述不同类型的待装载数据传输至数据仓库；

数据仓库，用于存储所述不同类型的待装载数据；接收所述数字孪生系统发送的数据获取请求，所述数据获取请求包括业务需求；对存储的不同类型的待装载数据中满足所述业务需求的待装载数据进行结构整合，得到目标需求数据；

数字孪生系统，用于向所述数据仓库发送数据获取请求，并接收所述数据仓库发送的目标需求数据；将所述目标需求数据传输至相应的业务应用系统。

2.如权利要求1所述的平台，其特征在于，所述数据采集设备，具体用于：

获取设置的数据采集规则；

基于所述数据采集规则，从不同类型数据源采集相应类型的数据。

3.如权利要求1所述的平台，其特征在于，采集的不同类型的数据包括IOT数据、MES数据、动辅系统数据和WMS数据。

4.如权利要求1所述的平台，其特征在于，所述数据预处理需求包括数据清洗和数据定义。

5.如权利要求1所述的平台，其特征在于，所述业务需求包括数据需求类型和数据需求结构；

所述数据仓库，具体用于对存储的不同类型的待装载数据中满足数据需求类型的待装载数据进行结构整合，得到满足数据需求结构的目标需求数据。

6.如权利要求5所述的平台，其特征在于，所述存储的不同类型的待装载数据是以表结构的方式进行存储的；

所述存储的不同类型的待装载数据包括生产设备核心参数数据、设备运行状态数据、设备异常数据、在线检测设备检测数据。

7.如权利要求6所述的平台，其特征在于，存储的生产设备核心参数数据的表结构为：生产设备核心参数数据ID、设备名称、设备参数名、设备参数值、时间和备注；

存储的设备运行状态数据的表结构为：设备运行状态数据ID、设备名称、运行状态、时间和备注；

存储的设备异常数据的表结构为：设备异常数据ID、设备名称、设备位置、异常代码、异常时间、异常说明和备注；

存储的在线检测设备检测数据的表结构为：在线检测设备检测数据ID、设备类型、设备名称、设备位置、检测时间、检测项、检测值和备注。

8.如权利要求1所述的平台，其特征在于，所述数字孪生系统，还用于对所述目标需求数据进行分析或展示。

9.如权利要求1所述的平台，其特征在于，所述数据仓库，还用于在接收数据处理设备传输的不同类型的待装载数据后，具体的，针对任一待装载数据，获取数据仓库存储的与该待装载数据的数据类型标识对应的存储数据；

将该待装载数据与存储数据进行聚类处理，得到同一数据类型标识分别对应的各数据，并进行统一存储。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-9任一所述的具有数据仓库的数字孪生平台中数据采集设备、数据处理设备、数据仓库或数字孪生系统执行的步骤。