CN114490886A - 一种基于数据仓库的工业操作系统数据湖建设方法 - Google Patents
一种基于数据仓库的工业操作系统数据湖建设方法 Download PDFInfo
- Publication number
- CN114490886A CN114490886A CN202111636004.5A CN202111636004A CN114490886A CN 114490886 A CN114490886 A CN 114490886A CN 202111636004 A CN202111636004 A CN 202111636004A CN 114490886 A CN114490886 A CN 114490886A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- analysis
- management
- warehouse
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 31
- 238000007726 management method Methods 0.000 claims abstract description 54
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000004519 manufacturing process Methods 0.000 claims abstract description 40
- 238000007405 data analysis Methods 0.000 claims abstract description 33
- 238000013523 data management Methods 0.000 claims abstract description 31
- 238000012545 processing Methods 0.000 claims abstract description 30
- 238000013500 data storage Methods 0.000 claims abstract description 29
- 238000011161 development Methods 0.000 claims abstract description 14
- 238000010223 real-time analysis Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 20
- 238000012423 maintenance Methods 0.000 claims description 13
- 238000013499 data model Methods 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 12
- 238000013461 design Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 238000012544 monitoring process Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 6
- 230000002776 aggregation Effects 0.000 claims description 5
- 238000004220 aggregation Methods 0.000 claims description 5
- 238000012558 master data management Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000012800 visualization Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于数据仓库的工业操作系统数据湖建设方法，属于工业企业管理技术领域，包括对数据湖架构中的数据存储层、数据管理层以及数据分析层进行分别架构建设，所述数据存储层采用数据仓库的分层架构进行构建，分为贴源层、统一数仓层、应用数据层，所述数据分析层采用实时分析，离线分析以及内层分析的三层组件进行构建。该基于数据仓库的工业操作系统数据湖建设方法，通过设备接入工具获取设备状态数据、运行数据、设备资产数据，采用系统介入工具采集生产制造系统生产数据、加工数据、供需数据，应用智能填报工具获取文件、模型数据，对数据进行统一的存储、分析和管理，为工业资源快速介入、应用敏捷开发提供数据基础。
Description
技术领域
本发明属于工业企业管理技术领域，具体为一种基于数据仓库的工业操作系统数据湖建设方法。
背景技术
随着工业经济向数字经济的转型，工业企业亟需提升资产透明性，提高制造全生命周期管理效率。针对用户数据源张给我不全、数据间关联性不足、数据分析质量不高的挑战，亟需提供高效率、低延迟的数据资产管理服务，实现工业数据的无缝存储归档、集成提取、传输加载。满足跨应用、跨平台数据共享需求，支持用户实时查询资产数据、监控设备状态，实现数据驱动的设备预防性维护和资产管理优化。
现有技术中，将大数据架构直接应用在工业领域，进行数据采集、数据存储、数据分析、数据查询，而没有针对数据分析建立专门的技术体系，导致数据分析的时间复杂度很高，不能及时响应用户的分析需求。针对该问题，发明了一种基于数据仓库的工业操作系统数据湖建设方法，将复杂的数据分析任务分解成多层来完成，规范数据分层，通过中间层数据减少极大的重复计算，隔离原始数据，解决数据异常和数据敏感问题。其中，工业操作系统是指通过规范和共享核心工业组件，汇聚、处理、分析各类工业数据，提供灵活可调用的开放接口，拓展工业资源接入的灵活性和适用范围的系统。数据湖是指面向多数据源的数据存储。数据仓库是指决策支持系统和联机分析应用数据源的结构化数据环境。
发明内容
针对现有技术的不足，本发明提供了一种基于数据仓库的工业操作系统数据湖建设方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种基于数据仓库的工业操作系统数据湖建设方法，包括对数据湖架构中的数据存储层、数据管理层以及数据分析层进行分别架构建设；
所述数据存储层采用数据仓库的分层架构进行构建，分为贴源层、统一数仓层、应用数据层，数据承载在数据湖软件的数据库上面，并通过数据分析对数据进行开发和加工，形成分层数据，工业设备、工业产品、工业数据通过设备接入工具、系统接入工具、智能填报工具，以原始数据的形式存储在贴源层，分析数据按照不同的主题域存储至统一数仓层，根据应用需求分析的结果数据存储在应用数据层；
所述数据管理层采用元数据管理中的工具面向设备接入系统，对各业务系统的表字段定义或指标定义进行管理，通过主数据管理中的工具，用于实现统一核心共享数据采用数据模型管理，将数据分析模型形成模型列表、支持快速启停，通过数据字典将各业务系统存储信息进行统一管理，建立起数据湖数据管理方法和机制，形成持续化的数据运营和应用方法；
所述数据分析层采用实时分析，离线分析以及内层分析的三层组件进行构建，实时分析针对设备接入的实时数据进行分析，离线分析针对数据存储层设备接入系统、生产制造系统及其他系统的不同主题进行分析，内存分析针对分析性能要求高的算法进行分析，分析完成后所有数据存储至数据存储层的应用数据层，以API形式对外提供服务。
进一步优化本技术方案，所述数据存储层在分层构建时，进一步的包括：
所述贴源层建立设备状态/运行数据时序数据库、设备资产数据库、设备历史数据文件数据存储，数据内容均从相关的业务系统抽取，由数据组件从各业务系统传入原始数据，提供贴源数据管理，数据结构与数据源一致；
所述统一数仓层采用维度建模方法构建，将贴源层数据根据主题域不同拆分为维度表和事实表，便于后续应用数据建模，提供关系型数据库进行数据仓库数据存储；
所述应用数据层基于统一数仓层，根据设备资产管理、制造支撑业务需要，进行特定的数据加工，提供应用数据管理，满足不同业务场景应用数据的需求。
进一步优化本技术方案，所述统一数仓层进一步的包括以下具体内容：
(1)基于维度建模架构，构建一致性的维度和事实，同时设计出一套表命名规范；
(2)进行数据域划分，完成指标定义、维度表设计、事实表设计，确定模型的结构和内容；
(3)采用数据分析技术，开发生成维度表和事实表的数据的逻辑代码；能对代码进行测试，验证数据加工逻辑的正确性。
进一步优化本技术方案，所述应用数据层进一步的包括以下具体内容：
(1)根据设备OEE分析、趋势分析、异常检测的设备资产管理业务数据需求，提供应用数据的具体内容、使用方式、性能、吞吐量；
(2)依据研发生产、企业管理、运维保障的制造支撑相关业务需求，进行数据加工，提供适合的应用数据内容、使用方式、性能、吞吐量；
(3)依据统一数仓层组装应用层数据，充分考虑性能和使用方式；
(4)针对查询检索和即席分析业务，应用层数据表采用大宽表进行设计；
(5)针对特定指标的查询，采用K-V表形式进行组织；
(6)应用层加工的结果数据根据需要同步到不同的存储介质，对于指标查询，可同步到Redis数据库。
进一步优化本技术方案，所述元数据管理包括设备接入工具、系统接入工具、智能填报工具接入的元数据，包括整个数据仓库逻辑数据结构、数据资源的对象信息；所述元数据管理内置有元数据维护模块，用于对采集的元素以目录方式进行组织，对元数据的对象进行维护，提供元数据维护、元数据上传、元数据下载、元数据信息可视化功能。
进一步优化本技术方案，所述主数据管理基于数据汇聚能力整合清洗各业务系统数据，实现对设备接入系统、生产制造系统或其他系统用户统一定义的、关键的、跨系统共享的业务数据进行集中保存、发布、更新及删除；所述主数据管理内置有管理模块，用于对采集的主数据信息进行维护和管理，提供主数据新增、主数据编辑、主数据查询、主数据管理功能。
进一步优化本技术方案，所述数据模型管理为数据封装组件封装好的SQL模型、AI模型、Storm模型提供生命周期管理服务，包括上行API相关的设备资产管理服务模型、制造支撑服务模型、平台基础服务模型，以及下行API相关的标识服务模型、运行服务模型、控制服务模型。
进一步优化本技术方案，所述数据字典用于存储从设备接入工具、系统接入工具、智能填报工具接入数据，到数据存储至贴源层的整个过程描述信息。
进一步优化本技术方案，所述实时分析针对设备接入系统实时采集的传感器数据，定制相应的流式数据处理任务并实时计算，处理任务通过数据模型组件统一管理，分析结果进行存储、展示或提供给数据云监测的应用，提供设备实时告警和智能监控的功能。
进一步优化本技术方案，所述离线分析和内存分析均支撑各类数据加工、数据分析的场景需求，可以实现灵活的组合各个技术组件，满足异常检测、异常报警、趋势预测的业务场景应用，支持统计分析类设备资产管理服务，研发设计、企业管理、运维保障制造支撑服务。
与现有技术相比，本发明提供了一种基于数据仓库的工业操作系统数据湖建设方法，具备以下有益效果：
1、该基于数据仓库的工业操作系统数据湖建设方法，通过设备接入工具获取设备状态数据、运行数据、设备资产数据，采用系统介入工具采集生产制造系统生产数据、加工数据、供需数据，应用智能填报工具获取文件、模型数据，对数据进行统一的存储、分析和管理，为工业资源快速介入、应用敏捷开发提供数据基础。
2、该基于数据仓库的工业操作系统数据湖建设方法，首先通过大数据仓库方法，将数据湖中的复杂问题简单化，将复杂的数据分析任务分解成多层来完成；其次减少重复开发工作，规范数据分层，通过中间层数据，减少极大的重复计算，增加一次计算结果的复用性，从本质上节省时间复杂度；最后，不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。
附图说明
图1为本发明提出的一种基于数据仓库的工业操作系统数据湖建设方法中的数据湖架构图；
图2为本发明提出的一种基于数据仓库的工业操作系统数据湖建设方法中的数据存储层数据流程图；
图3为本发明提出的一种基于数据仓库的工业操作系统数据湖建设方法中的数据管理层构建示意图；
图4为本发明提出的一种基于数据仓库的工业操作系统数据湖建设方法中的数据分析层构建示意图；
图5为本发明提出的一种基于数据仓库的工业操作系统数据湖建设方法的实时分析架构示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
如图1所示，一种基于数据仓库的工业操作系统数据湖建设方法，包括对数据湖架构中的数据存储层、数据管理层以及数据分析层进行分别架构建设。导入和存储各类实时和历史数据，并对数据进行管理分析，支撑数据组件、运行组件功能实现。通过设备接入工具获取设备状态数据、运行数据、设备资产数据，采用系统介入工具采集生产制造系统生产数据、加工数据、供需数据，应用智能填报工具获取文件、模型数据，对数据进行统一的存储、分析和管理，为工业资源快速介入、应用敏捷开发提供数据基础。
首先通过大数据仓库方法，将数据湖中的复杂问题简单化，将复杂的数据分析任务分解成多层来完成；其次减少重复开发工作，规范数据分层，通过中间层数据，减少极大的重复计算，增加一次计算结果的复用性，从本质上节省时间复杂度；最后，不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。
如图2所示，所述数据存储层采用数据仓库的分层架构进行构建，分为贴源层、统一数仓层、应用数据层，数据承载在数据湖软件的数据库上面，并通过数据分析对数据进行开发和加工，形成分层数据，工业设备、工业产品、工业数据通过设备接入工具、系统接入工具、智能填报工具，以原始数据的形式存储在贴源层，分析数据按照不同的主题域存储至统一数仓层，根据应用需求分析的结果数据存储在应用数据层。
进一步的，贴源层由数据组件从各业务系统传入原始数据，提供贴源数据管理，数据结构与数据源一致，仅做简单整合、非结构化数据结构化处理，增加标示数据日期的描述信息，不做深入加工。贴源层提供高性能的时序数据存储、海量分布式文件存储系统、列式数据库、关系型数据库。
贴源层建立设备状态/运行数据时序数据库、设备资产数据库、设备历史数据文件数据存储等，数据内容均从相关的业务系统抽取。其中，对于结构化数据，直接通过数据汇聚组件从业务数据库提取；对于非结构化数据，通过消息队列组件和数据分发组件提取；对于图片、音频、视频等数据文件，只保留数据文件的描述，如地址、名称、类型，文件本身可保留在文件系统或文件数据库中。
进一步的，统一数仓层是采用维度建模方法构建，将贴源层数据根据主题域不同拆分为维度表和事实表，便于后续应用数据建模，提供关系型数据库进行数据仓库数据存储。所述统一数仓层包括以下具体内容：
(1)基于维度建模架构，构建一致性的维度和事实，同时设计出一套表命名规范；
(2)进行数据域划分，完成指标定义、维度表设计、事实表设计等，确定模型的结构和内容；
(3)采用数据分析技术，开发生成维度表和事实表的数据的逻辑代码；能对代码进行测试，验证数据加工逻辑的正确性。
其中，应用数据层基于统一数仓层，根据设备资产管理、制造支撑业务需要，进行特定的数据加工，提供应用数据管理，满足不同业务场景应用数据的需求。所述应用数据层包括以下具体内容：
(1)根据设备OEE分析、趋势分析、异常检测等设备资产管理业务数据需求，提供应用数据的具体内容、使用方式、性能、吞吐量；
(2)依据研发生产、企业管理、运维保障等制造支撑相关业务需求，进行数据加工，提供适合的应用数据内容、使用方式、性能、吞吐量；
(3)依据统一数仓层组装应用层数据，应充分考虑性能和使用方式；
(4)针对查询检索和即席分析业务，应用层数据表应采用大宽表进行设计；
(5)针对特定指标的查询，应采用K-V表形式进行组织；
(6)应用层加工的结果数据应根据需要同步到不同的存储介质，对于指标查询，可同步到Redis等数据库。
如图3所示，所述数据管理层采用元数据管理中的工具面向设备接入系统，对各业务系统的表字段定义或指标定义进行管理，通过主数据管理中的工具，用于实现统一核心共享数据采用数据模型管理，将数据分析模型形成模型列表、支持快速启停，通过数据字典将各业务系统存储信息进行统一管理，建立起数据湖数据管理方法和机制，形成持续化的数据运营和应用方法。
进一步的，元数据管理是数据仓库的一个重要组成部分，管理包括设备接入工具、系统接入工具、智能填报工具接入的元数据，包括整个数据仓库逻辑数据结构、数据资源的对象(包括：数据库表、索引、文件、接口)等信息，例如保存了设备接入系统中设备基本信息表字段信息。
通过元数据管理可以帮助用户全面掌握各业务系统的技术元数据以及数据中心的技术元数据变更情况。采用元模型对数据资源对象进行定义，按照需要整理成为元数据目录。
元数据管理内置的元数据维护模块：对采集的元素以目录方式进行组织，对元数据的对象进行维护，提供元数据维护、元数据上传、元数据下载、元数据信息可视化功能。
进一步的，主数据管理是基于数据汇聚能力整合清洗各业务系统数据，实现对设备接入系统、生产制造系统或其他系统用户统一定义的、关键的、跨系统共享的业务数据进行集中保存、发布、更新及删除。例如人力主题域主数据包括：组织机构、人员、岗位等数据；采购主题域主数据包括：物料、供应商等数据；销售主题域主数据包括：客户、产品等数据。基础主题域主数据包括：国家、地区、货币、计量单位等。
主数据管理要做的就是从外部和内部的多个业务系统中采集和整合最核心的、最需要共享的数据(主数据)，集中进行数据的清洗和丰富，并且以服务的方式把统一的、完整的、准确的、具有权威性的主数据分发给全范围内需要使用这些数据的操作型应用和分析型应用，包括各个业务系统、业务流程和决策支持系统等。主数据管理使得能够集中化管理数据，在分散的系统间保证主数据的一致性，改进数据合规性、快速部署新应用。
主数据管理系统通过构建主数据模型对主数据内容进行管理，通过数据集成工具集成接入主数据。
主数据管理内置的管理模块：对采集的主数据信息进行维护和管理；提供主数据新增、主数据编辑、主数据查询、主数据管理功能。
进一步的，数据模型管理为数据封装组件封装好的SQL模型、AI模型、Storm模型提供生命周期管理服务，这些模型包括上行API相关的设备资产管理服务模型、制造支撑服务模型、平台基础服务模型，以及下行API相关的标识服务模型、运行服务模型、控制服务模型。数据模型管理为封装好的模型提供模型分类展示、模型增删改查操作、模型版本管理、模型发布等模型全生命周期迭代管理需要的功能。
数据模型管理支持按项目方式对模型进行分类管理，保存模型由系统自动进行版本管理，支持使用模型一键引用功能对模型版本进行回退和切换。支持模型以PMML及Jar包方式导入、导出，实现模型跨平台、跨用户的应用与管理；基于统一的模型授权管理，支持将模型发布为web服务，并对支持发布模型设置驱动器内存、执行者数量、执行者内存、执行者内核等运行资源，提高模型应用实施效率。
进一步的，数据字典是数据管理的重要组成，其中存储了从设备接入工具、系统接入工具、智能填报工具接入数据，到数据存储至贴源层的整个过程描述信息。记录了数据汇聚的方式、数据汇聚的源头业务系统名称、数据汇聚的源头业务系统数据库的地址、源头数据库中模式对象信息(表、视图、簇、索引等)名称、数据贴源层存储的数据库的地址、模式对象信息(表、视图、簇、索引等)、分配空间等各种数据项、数据结构、数据流、数据存储、处理过程的相关信息。帮助用户通过数据字典，快速理解数据仓库组成、数据结构等信息。
如图4所示，所述数据分析层采用实时分析，离线分析以及内层分析的三层组件进行构建，实时分析针对设备接入的实时数据进行分析，离线分析针对数据存储层设备接入系统、生产制造系统及其他系统的不同主题进行分析，内存分析针对分析性能要求高的算法进行分析，分析完成后所有数据存储至数据存储层的应用数据层，以API形式对外提供服务。
进一步的，所述实时分析搭载的软件针对设备接入系统实时采集的传感器数据，定制相应的流式数据处理任务并实时计算，处理任务通过数据模型组件统一管理，分析结果进行存储、展示或提供给数据云监测等应用，提供设备实时告警和智能监控等功能，接收由消息队列组件、数据分发组件上传的设备传感器数据，通过调用分布式流式引擎，经过处理转换后分别形成统一数仓层和应用数据层。如图5所示，所述实时分析搭载的软件采用多种计算引擎，支持SQL、JAR、DAG方式构建实时任务作业。
进一步的，所述离线分析搭载的软件支撑各类数据加工、数据分析的场景需求，可以实现灵活的组合各个技术组件，满足异常检测、异常报警、趋势预测等业务场景应用，支持统计分析类设备资产管理服务，研发设计、企业管理、运维保障制造支撑服务。
进一步的，所述内存分析搭载的软件也同时支撑各类数据加工、数据分析的场景需求，与离线分析搭载的软件的区别在于速度更快。
本发明的有益效果是：
1、该基于数据仓库的工业操作系统数据湖建设方法，通过设备接入工具获取设备状态数据、运行数据、设备资产数据，采用系统介入工具采集生产制造系统生产数据、加工数据、供需数据，应用智能填报工具获取文件、模型数据，对数据进行统一的存储、分析和管理，为工业资源快速介入、应用敏捷开发提供数据基础。
2、该基于数据仓库的工业操作系统数据湖建设方法，首先通过大数据仓库方法，将数据湖中的复杂问题简单化，将复杂的数据分析任务分解成多层来完成；其次减少重复开发工作，规范数据分层，通过中间层数据，减少极大的重复计算，增加一次计算结果的复用性，从本质上节省时间复杂度；最后，不论是数据的异常还是数据的敏感性，使真实数据与统计数据解耦开。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，包括对数据湖架构中的数据存储层、数据管理层以及数据分析层进行分别架构建设；
所述数据存储层采用数据仓库的分层架构进行构建，分为贴源层、统一数仓层、应用数据层，数据承载在数据湖软件的数据库上面，并通过数据分析对数据进行开发和加工，形成分层数据，工业设备、工业产品、工业数据通过设备接入工具、系统接入工具、智能填报工具，以原始数据的形式存储在贴源层，分析数据按照不同的主题域存储至统一数仓层，根据应用需求分析的结果数据存储在应用数据层；
所述数据管理层采用元数据管理中的工具面向设备接入系统，对各业务系统的表字段定义或指标定义进行管理，通过主数据管理中的工具，用于实现统一核心共享数据采用数据模型管理，将数据分析模型形成模型列表、支持快速启停，通过数据字典将各业务系统存储信息进行统一管理，建立起数据湖数据管理方法和机制，形成持续化的数据运营和应用方法；
所述数据分析层采用实时分析，离线分析以及内层分析的三层组件进行构建，实时分析针对设备接入的实时数据进行分析，离线分析针对数据存储层设备接入系统、生产制造系统及其他系统的不同主题进行分析，内存分析针对分析性能要求高的算法进行分析，分析完成后所有数据存储至数据存储层的应用数据层，以API形式对外提供服务。
2.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述数据存储层在分层构建时，进一步的包括：
所述贴源层建立设备状态/运行数据时序数据库、设备资产数据库、设备历史数据文件数据存储，数据内容均从相关的业务系统抽取，由数据组件从各业务系统传入原始数据，提供贴源数据管理，数据结构与数据源一致；
所述统一数仓层采用维度建模方法构建，将贴源层数据根据主题域不同拆分为维度表和事实表，便于后续应用数据建模，提供关系型数据库进行数据仓库数据存储；
所述应用数据层基于统一数仓层，根据设备资产管理、制造支撑业务需要，进行特定的数据加工，提供应用数据管理，满足不同业务场景应用数据的需求。
3.根据权利要求2所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述统一数仓层进一步的包括以下具体内容：
(1)基于维度建模架构，构建一致性的维度和事实，同时设计出一套表命名规范；
(2)进行数据域划分，完成指标定义、维度表设计、事实表设计，确定模型的结构和内容；
(3)采用数据分析技术，开发生成维度表和事实表的数据的逻辑代码；能对代码进行测试，验证数据加工逻辑的正确性。
4.根据权利要求2所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述应用数据层进一步的包括以下具体内容：
(1)根据设备OEE分析、趋势分析、异常检测的设备资产管理业务数据需求，提供应用数据的具体内容、使用方式、性能、吞吐量；
(2)依据研发生产、企业管理、运维保障的制造支撑相关业务需求，进行数据加工，提供适合的应用数据内容、使用方式、性能、吞吐量；
(3)依据统一数仓层组装应用层数据，充分考虑性能和使用方式；
(4)针对查询检索和即席分析业务，应用层数据表采用大宽表进行设计；
(5)针对特定指标的查询，采用K-V表形式进行组织；
(6)应用层加工的结果数据根据需要同步到不同的存储介质，对于指标查询，可同步到Redis数据库。
5.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述元数据管理包括设备接入工具、系统接入工具、智能填报工具接入的元数据，包括整个数据仓库逻辑数据结构、数据资源的对象信息；所述元数据管理内置有元数据维护模块，用于对采集的元素以目录方式进行组织，对元数据的对象进行维护，提供元数据维护、元数据上传、元数据下载、元数据信息可视化功能。
6.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述主数据管理基于数据汇聚能力整合清洗各业务系统数据，实现对设备接入系统、生产制造系统或其他系统用户统一定义的、关键的、跨系统共享的业务数据进行集中保存、发布、更新及删除；所述主数据管理内置有管理模块，用于对采集的主数据信息进行维护和管理，提供主数据新增、主数据编辑、主数据查询、主数据管理功能。
7.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述数据模型管理为数据封装组件封装好的SQL模型、AI模型、Storm模型提供生命周期管理服务，包括上行API相关的设备资产管理服务模型、制造支撑服务模型、平台基础服务模型，以及下行API相关的标识服务模型、运行服务模型、控制服务模型。
8.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述数据字典用于存储从设备接入工具、系统接入工具、智能填报工具接入数据，到数据存储至贴源层的整个过程描述信息。
9.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述实时分析针对设备接入系统实时采集的传感器数据，定制相应的流式数据处理任务并实时计算，处理任务通过数据模型组件统一管理，分析结果进行存储、展示或提供给数据云监测的应用，提供设备实时告警和智能监控的功能。
10.根据权利要求1所述的一种基于数据仓库的工业操作系统数据湖建设方法，其特征在于，所述离线分析和内存分析均支撑各类数据加工、数据分析的场景需求，可以实现灵活的组合各个技术组件，满足异常检测、异常报警、趋势预测的业务场景应用，支持统计分析类设备资产管理服务，研发设计、企业管理、运维保障制造支撑服务。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111636004.5A CN114490886A (zh) | 2021-12-29 | 2021-12-29 | 一种基于数据仓库的工业操作系统数据湖建设方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111636004.5A CN114490886A (zh) | 2021-12-29 | 2021-12-29 | 一种基于数据仓库的工业操作系统数据湖建设方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114490886A true CN114490886A (zh) | 2022-05-13 |
Family
ID=81508089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111636004.5A Pending CN114490886A (zh) | 2021-12-29 | 2021-12-29 | 一种基于数据仓库的工业操作系统数据湖建设方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114490886A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925145A (zh) * | 2022-05-25 | 2022-08-19 | 盐城金堤科技有限公司 | 数据存储方法、装置以及存储介质和电子设备 |
| CN115510029A (zh) * | 2022-09-26 | 2022-12-23 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据对象模型构建方法和装置 |
| CN115510159A (zh) * | 2022-09-26 | 2022-12-23 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据共享方法、装置及电子设备 |
| CN115794804A (zh) * | 2023-02-07 | 2023-03-14 | 北京至臻云智能科技有限公司 | 基于大数据技术的工程内控数据可视化处理系统及方法 |
| CN115809149A (zh) * | 2023-02-08 | 2023-03-17 | 北京邮电大学 | 一种利用云原生资源的数据湖构建方法 |
| CN115936296A (zh) * | 2022-12-20 | 2023-04-07 | 北京航天智造科技发展有限公司 | 基于工业互联网大数据湖的离散制造企业生产制造数据驾驶舱系统 |
| CN116340885A (zh) * | 2023-04-11 | 2023-06-27 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116578547A (zh) * | 2023-05-16 | 2023-08-11 | 佛山众陶联供应链服务有限公司 | 一种针对陶瓷生产线的数仓建模方法和系统 |
| CN116821104A (zh) * | 2022-08-18 | 2023-09-29 | 南通泽烁信息科技有限公司 | 一种基于大数据的工业互联网数据处理方法和系统 |
| CN117785983A (zh) * | 2024-02-20 | 2024-03-29 | 四川大学华西医院 | 目标对象评估方法、系统、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405071A (zh) * | 2015-12-04 | 2016-03-16 | 国网浙江省电力公司 | 一种企业统一数据模型构建方法 |
| CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
-
2021
- 2021-12-29 CN CN202111636004.5A patent/CN114490886A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105405071A (zh) * | 2015-12-04 | 2016-03-16 | 国网浙江省电力公司 | 一种企业统一数据模型构建方法 |
| CN111104394A (zh) * | 2019-12-31 | 2020-05-05 | 新奥数能科技有限公司 | 一种能源数据仓库系统构建方法及装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114925145A (zh) * | 2022-05-25 | 2022-08-19 | 盐城金堤科技有限公司 | 数据存储方法、装置以及存储介质和电子设备 |
| CN114925145B (zh) * | 2022-05-25 | 2024-05-14 | 盐城天眼察微科技有限公司 | 数据存储方法、装置以及存储介质和电子设备 |
| CN116821104A (zh) * | 2022-08-18 | 2023-09-29 | 南通泽烁信息科技有限公司 | 一种基于大数据的工业互联网数据处理方法和系统 |
| CN115510159B (zh) * | 2022-09-26 | 2024-04-05 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据共享方法、装置及电子设备 |
| CN115510029A (zh) * | 2022-09-26 | 2022-12-23 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据对象模型构建方法和装置 |
| CN115510159A (zh) * | 2022-09-26 | 2022-12-23 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据共享方法、装置及电子设备 |
| CN115510029B (zh) * | 2022-09-26 | 2024-04-12 | 煤炭科学研究总院有限公司 | 基于煤炭工业主题域的数据对象模型构建方法和装置 |
| CN115936296A (zh) * | 2022-12-20 | 2023-04-07 | 北京航天智造科技发展有限公司 | 基于工业互联网大数据湖的离散制造企业生产制造数据驾驶舱系统 |
| CN115794804A (zh) * | 2023-02-07 | 2023-03-14 | 北京至臻云智能科技有限公司 | 基于大数据技术的工程内控数据可视化处理系统及方法 |
| CN115809149A (zh) * | 2023-02-08 | 2023-03-17 | 北京邮电大学 | 一种利用云原生资源的数据湖构建方法 |
| CN116340885A (zh) * | 2023-04-11 | 2023-06-27 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116340885B (zh) * | 2023-04-11 | 2023-10-03 | 太原理工大学 | 一种基于煤矿信息物理系统的多源异构数据融合方法 |
| CN116578547A (zh) * | 2023-05-16 | 2023-08-11 | 佛山众陶联供应链服务有限公司 | 一种针对陶瓷生产线的数仓建模方法和系统 |
| CN117785983A (zh) * | 2024-02-20 | 2024-03-29 | 四川大学华西医院 | 目标对象评估方法、系统、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114490886A (zh) | 一种基于数据仓库的工业操作系统数据湖建设方法 | |
| CN109272155B (zh) | 一种基于大数据的企业行为分析系统 | |
| CN112699175B (zh) | 一种数据治理系统及其方法 | |
| Al-Badi et al. | Exploring big data governance frameworks | |
| Wang et al. | Industrial big data analytics: challenges, methodologies, and applications | |
| Zhou | Research on heterogeneous data integration model of group enterprise based on cluster computing | |
| Casado et al. | Emerging trends and technologies in big data processing | |
| US20090012983A1 (en) | System and method for federated member-based data integration and reporting | |
| Aggour et al. | Federated multimodal big data storage & analytics platform for additive manufacturing | |
| Giebler et al. | The data lake architecture framework | |
| Bakli et al. | HadoopTrajectory: a Hadoop spatiotemporal data processing extension | |
| CN112148718A (zh) | 一种用于城市级数据中台的大数据支撑管理系统 | |
| CN116842055A (zh) | 用于物联网数据批流一体处理的系统及方法 | |
| Plakhotnikov et al. | Design and Analysis of Cyber-Physical Systems | |
| Boulekrouche et al. | Toward integrating grid and cloud-based concepts for an enhanced deployment of spatial data warehouses in cyber-physical system applications | |
| Cakir et al. | Enabling real time big data solutions for manufacturing at scale | |
| Li et al. | Industrial internet platforms: Applications in BF ironmaking | |
| CN115936296A (zh) | 基于工业互联网大数据湖的离散制造企业生产制造数据驾驶舱系统 | |
| Berkani et al. | ETL processes in the era of variety | |
| Berkani et al. | A variety-sensitive ETL processes | |
| Lavbič et al. | Ontology‐based multi‐agent system to support business users and management | |
| Galvão et al. | Bosch’s Industry 4.0 Advanced Data Analytics: Historical and Predictive Data Integration for Decision Support | |
| van der Aalst et al. | Digital Shadows: Infrastructuring the Internet of Production | |
| Beheshti et al. | Bp-sparql: A query language for summarizing and analyzing big process data | |
| Löhr et al. | Data management backbone for embedded and pc-based systems using osa-cbm and osa-eai |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20220513 |