CN114490887A - 一种集团企业数据空间系统 - Google Patents
一种集团企业数据空间系统 Download PDFInfo
- Publication number
- CN114490887A CN114490887A CN202111647059.6A CN202111647059A CN114490887A CN 114490887 A CN114490887 A CN 114490887A CN 202111647059 A CN202111647059 A CN 202111647059A CN 114490887 A CN114490887 A CN 114490887A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- management
- modeling
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 claims abstract description 41
- 238000013523 data management Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000011161 development Methods 0.000 claims abstract description 19
- 238000003860 storage Methods 0.000 claims abstract description 15
- 238000012545 processing Methods 0.000 claims abstract description 6
- 238000007726 management method Methods 0.000 claims description 63
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000007405 data analysis Methods 0.000 claims description 11
- 238000007418 data mining Methods 0.000 claims description 10
- 230000006870 function Effects 0.000 claims description 10
- 238000012800 visualization Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 238000000034 method Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000013079 data visualisation Methods 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 4
- 238000005065 mining Methods 0.000 claims description 4
- 238000013475 authorization Methods 0.000 claims description 3
- 238000004140 cleaning Methods 0.000 claims description 3
- 238000013499 data model Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 238000004806 packaging method and process Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims 1
- 230000004907 flux Effects 0.000 claims 1
- 238000012558 master data management Methods 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 description 14
- 238000007619 statistical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/211—Schema design and management
- G06F16/212—Schema design and management with details for data modelling support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2465—Query processing support for facilitating data mining operations in structured databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种集团企业数据空间系统，涉及工业互联网技术领域，系统架构从底端到顶端依次包括数据采集与交换层、数据存储及管理层、数据计算层、数据建模层和数据开发支撑层，数据采集与交换层将数据汇聚后传递给上方的数据存储及管理层，数据存储及管理层将数据传递给上方的数据计算层，数据计算层将计算后的数据传递给上方的数据建模层，数据建模层将建模处理后的数据进行封装，并传递给位于系统架构最顶端的数据开发支撑层。本发明通过提供数据采集存储、数据计算建模和数据服务的一体化服务，提高了集团企业的数据管理能力，支持企业最大化挖掘数据价值，提供完整的数据服务，解决用户对数据掌控、应用和扩展等方面的需求问题。
Description
技术领域
本发明涉及工业互联网技术领域，具体为一种集团企业数据空间系统。
背景技术
集团企业的经营管理涉及的生产制造单位众多，在产品设计、生产、运维以及企业经营等各个环节存在海量不同类型的数据，而这些数据同步共享困难、管控难度大，需要新型的数据采集管理与分析系统，打破企业信息孤岛，实现全流程数据汇聚，并提供便捷的数据更新与访问服务，支撑日益复杂化、智能化的企业业务需要。
传统的数据仓库可以解决部分数据采集与存储的问题，但仍面临数据存不下、查不出、扩容困难等痛点，且难以直接支持不同类型企业应用。设计构建新型的数据空间，不但要满足数据存储、查询、管理等基础功能，还要充分考虑数据采集、数据计算、数据服务等环节，进而形成一个异构数据能够快速流转的基础服务系统。
1、现有技术中，数据存储管理系统多数是针对具体企业应用构建的专用数据库或数据仓库，主要为某些特定信息系统提供数据存储与管理服务和数据展示等，各数据存储系统之间交换数据困难，同时随着数据量快速增长，出现数据查询读取速度降低、存储容量受限等问题。此外，随着互联网+产业不断发展，集团企业对整个组织的实时运营情况以及各类业务的整体分析需求突出，需要进行复杂的数据分析，但数据的抽取与分析计算还需要定制其他软件工具来实现，不利于长期的数据管理与应用，同时也增加了企业支出。
2、现有技术中，数据仓库主要存在数据采集和流程不一致跨企业部门协作困难，数据库分别开发存在数据孤岛与重复计算，数据膨胀导致数据计算资源紧张难以灵活扩展，数据服务质量得不到保障，数据安全和数据共享矛盾不可调和，数据应用形式单一难以支撑业务需求等不足。
为了解决现有技术中存在的各种问题，针对现有数据存储管理系统的性和局限性，我们提出了一种集团企业数据空间系统。
发明内容
针对现有技术的不足，本发明提供了一种集团企业数据空间系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种集团企业数据空间系统，系统架构从底端到顶端依次包括数据采集与交换层、数据存储及管理层、数据计算层、数据建模层和数据开发支撑层，所述系统架构最底端的数据采集与交换层和外部的数据源层进行数据通讯，所述系统架构最顶端的数据开发支撑层和外部的工业应用层通过应用程序编程接口API进行数据通讯，所述数据采集与交换层将数据汇聚后传递给上方的数据存储及管理层，所述数据存储及管理层基于数据类API和数据库JDBC将数据传递给上方的数据计算层，所述数据计算层将计算后的数据传递给上方的数据建模层，所述数据建模层将建模处理后的数据进行封装，并传递给位于系统架构最顶端的数据开发支撑层；
所述数据采集与交换层，包括流式数据采集工具和数据库ETL工具，用于实现实时数据和历史数据的汇集以及对数据的处理；
所述数据存储及管理层，包括数据存储、数据资产管理以及元数据管理，用于实现数据的分布式存储与分级分类管理，并基于分布式架构实现可扩展、高性能、高可靠的数据存储；
所述数据计算层，用于支持多种计算任务根据要求转发到分布式内存计算、流式计算、分布式离线计算的计算环境中，同时内置有任务评估、任务监测和任务订阅/分发的功能模块；
所述数据建模层，包括数据可视化工具、数据挖掘工具、AI建模工具以及模型管理模块、模型仓库模块、自定义算法库，用于提供数据分析与模型训练的工具与服务；
所述数据开发支撑层，用于将数据资源及各类模型算法通过微服务的方式封装为数据和模型接口，包括数据服务总线，并提供数据服务总线接口的注册发布、认证授权、调用管理、分组维护、在线调试的功能。
进一步优化本技术方案，所述数据采集与交换层中的流式数据采集工具进一步包括kafka以及Flume采集工具，用于采集实时数据；所述数据库ETL工具，用于采集历史数据，所述历史数据包括结构化、半结构化和非结构化数据。
进一步优化本技术方案，所述数据库ETL工具采集到的历史数据来自外部的数据源层的各个通讯接口，所述数据库ETL工具在进行历史数据采集的同时，还对数据进行抽取、清洗、转换和加载的处理。
进一步优化本技术方案，所述数据存储及管理层中的数据存储进一步包括云化的关系型数据库、分布式文件系统、分布式列式存储、文档数据库、时序数据库、对象数据库以及图数据库。
进一步优化本技术方案，所述数据存储及管理层中的数据资产管理进一步包括主数据管理、数据质量分析、数据资产报告和数据资产门户，用于提供直观的数据资源管理途径，对各类数据进行统一定义、集中保存、发布、更新及删除。
进一步优化本技术方案，所述数据存储及管理层中的元数据管理进一步包括数据血缘分析、数据影响分析和元数据模型管理，用于实现对数据的分级分类以及数据关系的描述，并内置有统一的管理标准。
进一步优化本技术方案，所述数据建模层中的可视化工具进一步包括可视化编排、数据配置、样式配置以及数据大屏，通过可视化拖拽，自由编排数据集、模型以及机器学习/深度学习算法组件。
进一步优化本技术方案，所述数据建模层中的数据挖掘工具进一步包括数据源管理、数据预处理、可视化挖掘以及任务调度监控，用于提供数据挖掘算法构建功能。
进一步优化本技术方案，所述数据建模层中的AI建模工具进一步包括图行化建模、在线编程建模以及数据集管理，用于提供AI模型训练环境与管理功能。
进一步优化本技术方案，所述数据建模层中的模型管理模块用于将算法模型以接口服务或者任务调度的方式发布进行使用；所述模型仓库模块用于将可视化建模、在线编程建模和AI训练的算法模型，构建到模型仓库中进行管理和使用；所述自定义算法库用于存放在本层中内置的多种算法模型。
与现有技术相比，本发明提供了一种集团企业数据空间系统，具备以下有益效果：
1、异构数据快速采集与存储，本发明支持产品全生命周期数据、生产经营数据、协作业务数据等的统一采集、存储与管理，用户可以通过系统配置进行数据的上传与管理，同时对数据的开放权限进行设置，通过提供不同类型的采集与通信接口来适配不同场景的异构数据，如设备数据采集接口、产线数据采集接口、信息系统数据采集接口等。
2、开放数据服务与展示，本发明可以支持异构数据对外提供数据服务，用户根据需要提出数据使用申请，根据获准权限进行数据的读取，同时提供丰富的可视化展示工具，实现对数据进行统计分析与图表展示，便于用户对数据进行及时的分析与处理，掌握整体的运营情况。
3、大数据多维分析与一体化建模，本发明在数据采集和数据存储管理的基础上，可以提供应对不同应用场景的大数据分析与建模服务，包括通用的算法模型和数据建模训练工具，用户可根据应用场景需要，进行相关数据的深度分析与训练，提高数据利用率，挖掘数据价值，为分析决策提供支撑，支持企业业务的发展。
4、三维一体化方案，本发明通过提供数据采集存储、数据计算建模和数据服务的一体化服务，提高了集团企业的数据管理能力，支持企业最大化挖掘数据价值，提供完整的数据服务，解决用户对数据掌控、应用和扩展等方面的需求问题。
附图说明
图1为本发明提出的一种集团企业数据空间系统的系统架构示意图。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅图1，一种集团企业数据空间系统，系统架构从底端到顶端依次包括数据采集与交换层、数据存储及管理层、数据计算层、数据建模层和数据开发支撑层，所述系统架构最底端的数据采集与交换层和外部的数据源层进行数据通讯，所述系统架构最顶端的数据开发支撑层和外部的工业应用层通过应用程序编程接口API进行数据通讯，所述数据采集与交换层将数据汇聚后传递给上方的数据存储及管理层，所述数据存储及管理层基于数据类API和数据库JDBC将数据传递给上方的数据计算层，所述数据计算层将计算后的数据传递给上方的数据建模层，所述数据建模层将建模处理后的数据进行封装，并传递给位于系统架构最顶端的数据开发支撑层。支持产品全生命周期数据、生产经营数据、协作业务数据等的统一采集、存储与管理。用户可以通过系统配置进行数据的上传与管理，同时对数据的开放权限进行设置。通过提供不同类型的采集与通信接口来适配不同场景的异构数据，如设备数据采集接口、产线数据采集接口、信息系统数据采集接口等。同时，该系统提供了企业研发设计、生产制造、经营管理和运营服务全流程数据多级分布式存储和治理，建立一套数据管理流程来实现数据的统一审批及发布。同时，解决了大量生产过程数据、产品运营数据、各类业务数据的多任务并发分析和高效处理问题，提供分析建模工具实现易用的数据可视化与数据挖掘分析应用，使得业务人员能通过可视化拖拽的方式，轻松开展数据分析，洞察数据价值。通过提供数据采集存储、数据计算建模和数据服务的一体化服务，提高了集团企业的数据管理能力，支持企业最大化挖掘数据价值，提供完整的数据服务，解决用户对数据掌控、应用和扩展等方面的需求问题。
其中，外部数据源层的数据来自各个设备、产品、产线、信息系统、协作平台以及市场信息的通讯接口，历史数据通过数据库ETL工具从上述各类通讯接口中进行采集。
其中，外部的工业应用层将来自数据开发支撑层的封装数据通过数据类API以及模型类API应用在产品在线运营、产线实时优化以及企业智能决策的功能版块中。
所述数据采集与交换层，包括流式数据采集工具和数据库ETL工具，用于实现实时数据和历史数据的汇集以及对数据的处理。
进一步的，所述数据采集与交换层中的流式数据采集工具进一步包括kafka以及Flume采集工具，用于采集实时数据；所述数据库ETL工具，用于采集历史数据，所述历史数据包括结构化、半结构化和非结构化数据。数据库ETL工具采集到的历史数据来自外部的数据源层的各个通讯接口，所述数据库ETL工具在进行历史数据采集的同时，还对数据进行抽取、清洗、转换和加载的处理。
所述数据存储及管理层，包括数据存储、数据资产管理以及元数据管理，用于实现数据的分布式存储与分级分类管理，并基于分布式架构实现可扩展、高性能、高可靠的数据存储。
进一步的，所述数据存储及管理层中的数据存储进一步包括云化的关系型数据库、分布式文件系统、分布式列式存储、文档数据库、时序数据库、对象数据库以及图数据库。所述数据存储及管理层中的数据资产管理进一步包括主数据管理、数据质量分析、数据资产报告和数据资产门户，用于提供直观的数据资源管理途径，对各类数据进行统一定义、集中保存、发布、更新及删除。所述数据存储及管理层中的元数据管理进一步包括数据血缘分析、数据影响分析和元数据模型管理，用于实现对数据的分级分类以及数据关系的描述，并内置有统一的管理标准。
所述数据计算层，用于支持多种计算任务根据要求转发到分布式内存计算、流式计算、分布式离线计算的计算环境中，同时内置有任务评估、任务监测和任务订阅/分发的功能模块。
所述数据建模层，包括数据可视化工具、数据挖掘工具、AI建模工具以及模型管理模块、模型仓库模块、自定义算法库，用于提供数据分析与模型训练的工具与服务。
进一步的，所述数据建模层中的可视化工具进一步包括可视化编排、数据配置、样式配置以及数据大屏，通过可视化拖拽，自由编排数据集、模型以及机器学习/深度学习算法组件。所述数据建模层中的AI建模工具进一步包括图行化建模、在线编程建模以及数据集管理，用于提供AI模型训练环境与管理功能。所述数据建模层中的数据挖掘工具进一步包括数据源管理、数据预处理、可视化挖掘以及任务调度监控，用于提供数据挖掘算法构建功能。
进一步的，所述数据建模层中的模型管理模块用于将算法模型以接口服务或者任务调度的方式发布进行使用；所述模型仓库模块用于将可视化建模、在线编程建模和AI训练的算法模型，构建到模型仓库中进行管理和使用；所述自定义算法库用于存放在本层中内置的多种算法模型。
所述数据开发支撑层，用于将数据资源及各类模型算法通过微服务的方式封装为数据和模型接口，包括数据服务总线，并提供数据服务总线接口的注册发布、认证授权、调用管理、分组维护、在线调试的功能。在数据采集和数据存储管理的基础上，可以提供应对不同应用场景的大数据分析与建模服务，包括通用的算法模型和数据建模训练工具，用户可根据应用场景需要，进行相关数据的深度分析与训练，提高数据利用率，挖掘数据价值，为分析决策提供支撑，支持企业业务的发展。同时，用户根据需要提出数据使用申请，根据获准权限进行数据的读取，同时提供丰富的可视化展示工具，实现对数据进行统计分析与图表展示，便于用户对数据进行及时的分析与处理，掌握整体的运营情况。
本发明的有益效果是：
1、本发明支持产品全生命周期数据、生产经营数据、协作业务数据等的统一采集、存储与管理，用户可以通过系统配置进行数据的上传与管理，同时对数据的开放权限进行设置，通过提供不同类型的采集与通信接口来适配不同场景的异构数据，如设备数据采集接口、产线数据采集接口、信息系统数据采集接口等。
2、本发明可以支持异构数据对外提供数据服务，用户根据需要提出数据使用申请，根据获准权限进行数据的读取，同时提供丰富的可视化展示工具，实现对数据进行统计分析与图表展示，便于用户对数据进行及时的分析与处理，掌握整体的运营情况。
3、本发明在数据采集和数据存储管理的基础上，可以提供应对不同应用场景的大数据分析与建模服务，包括通用的算法模型和数据建模训练工具，用户可根据应用场景需要，进行相关数据的深度分析与训练，提高数据利用率，挖掘数据价值，为分析决策提供支撑，支持企业业务的发展。
4、本发明通过提供数据采集存储、数据计算建模和数据服务的一体化服务，提高了集团企业的数据管理能力，支持企业最大化挖掘数据价值，提供完整的数据服务，解决用户对数据掌控、应用和扩展等方面的需求问题。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (10)
1.一种集团企业数据空间系统，其特征在于，系统架构从底端到顶端依次包括数据采集与交换层、数据存储及管理层、数据计算层、数据建模层和数据开发支撑层，所述系统架构最底端的数据采集与交换层和外部的数据源层进行数据通讯，所述系统架构最顶端的数据开发支撑层和外部的工业应用层通过应用程序编程接口API进行数据通讯，所述数据采集与交换层将数据汇聚后传递给上方的数据存储及管理层，所述数据存储及管理层基于数据类API和数据库JDBC将数据传递给上方的数据计算层，所述数据计算层将计算后的数据传递给上方的数据建模层，所述数据建模层将建模处理后的数据进行封装，并传递给位于系统架构最顶端的数据开发支撑层；
所述数据采集与交换层，包括流式数据采集工具和数据库ETL工具，用于实现实时数据和历史数据的汇集以及对数据的处理；
所述数据存储及管理层，包括数据存储、数据资产管理以及元数据管理，用于实现数据的分布式存储与分级分类管理，并基于分布式架构实现可扩展、高性能、高可靠的数据存储；
所述数据计算层，用于支持多种计算任务根据要求转发到分布式内存计算、流式计算、分布式离线计算的计算环境中，同时内置有任务评估、任务监测和任务订阅/分发的功能模块；
所述数据建模层，包括数据可视化工具、数据挖掘工具、AI建模工具以及模型管理模块、模型仓库模块、自定义算法库，用于提供数据分析与模型训练的工具与服务；
所述数据开发支撑层，用于将数据资源及各类模型算法通过微服务的方式封装为数据和模型接口，包括数据服务总线，并提供数据服务总线接口的注册发布、认证授权、调用管理、分组维护、在线调试的功能。
2.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据采集与交换层中的流式数据采集工具进一步包括kafka以及Flume采集工具，用于采集实时数据；所述数据库ETL工具，用于采集历史数据，所述历史数据包括结构化、半结构化和非结构化数据。
3.根据权利要求2所述的一种集团企业数据空间系统，其特征在于，所述数据库ETL工具采集到的历史数据来自外部的数据源层的各个通讯接口，所述数据库ETL工具在进行历史数据采集的同时，还对数据进行抽取、清洗、转换和加载的处理。
4.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据存储及管理层中的数据存储进一步包括云化的关系型数据库、分布式文件系统、分布式列式存储、文档数据库、时序数据库、对象数据库以及图数据库。
5.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据存储及管理层中的数据资产管理进一步包括主数据管理、数据质量分析、数据资产报告和数据资产门户，用于提供直观的数据资源管理途径，对各类数据进行统一定义、集中保存、发布、更新及删除。
6.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据存储及管理层中的元数据管理进一步包括数据血缘分析、数据影响分析和元数据模型管理，用于实现对数据的分级分类以及数据关系的描述，并内置有统一的管理标准。
7.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据建模层中的可视化工具进一步包括可视化编排、数据配置、样式配置以及数据大屏，通过可视化拖拽，自由编排数据集、模型以及机器学习/深度学习算法组件。
8.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据建模层中的数据挖掘工具进一步包括数据源管理、数据预处理、可视化挖掘以及任务调度监控，用于提供数据挖掘算法构建功能。
9.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据建模层中的AI建模工具进一步包括图行化建模、在线编程建模以及数据集管理，用于提供AI模型训练环境与管理功能。
10.根据权利要求1所述的一种集团企业数据空间系统，其特征在于，所述数据建模层中的模型管理模块用于将算法模型以接口服务或者任务调度的方式发布进行使用；所述模型仓库模块用于将可视化建模、在线编程建模和AI训练的算法模型，构建到模型仓库中进行管理和使用；所述自定义算法库用于存放在本层中内置的多种算法模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111647059.6A CN114490887A (zh) | 2021-12-30 | 2021-12-30 | 一种集团企业数据空间系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111647059.6A CN114490887A (zh) | 2021-12-30 | 2021-12-30 | 一种集团企业数据空间系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114490887A true CN114490887A (zh) | 2022-05-13 |
Family
ID=81508374
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111647059.6A Pending CN114490887A (zh) | 2021-12-30 | 2021-12-30 | 一种集团企业数据空间系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114490887A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150379456A1 (en) * | 2014-06-30 | 2015-12-31 | Utopia Global, Inc. | Systems and techniques for ensuring the integrity of enterprise asset management data |
| US20190205808A1 (en) * | 2018-01-03 | 2019-07-04 | Slack Technologies, Inc. | Method, apparatus, and computer program product for low latency serving of interactive enterprise analytics within an enterprise group-based communication system |
| CN112379653A (zh) * | 2020-12-01 | 2021-02-19 | 国能信控互联技术有限公司 | 一种基于微服务架构的智慧电厂管控系统 |
| CN112632025A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策支持应用系统 |
| CN113849503A (zh) * | 2021-09-10 | 2021-12-28 | 杭州未名信科科技有限公司 | 一种开放式大数据处理系统、方法及介质 |
-
2021
- 2021-12-30 CN CN202111647059.6A patent/CN114490887A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150379456A1 (en) * | 2014-06-30 | 2015-12-31 | Utopia Global, Inc. | Systems and techniques for ensuring the integrity of enterprise asset management data |
| US20190205808A1 (en) * | 2018-01-03 | 2019-07-04 | Slack Technologies, Inc. | Method, apparatus, and computer program product for low latency serving of interactive enterprise analytics within an enterprise group-based communication system |
| CN112632025A (zh) * | 2020-08-25 | 2021-04-09 | 南方电网科学研究院有限责任公司 | 一种基于paas平台的电网企业管理决策支持应用系统 |
| CN112379653A (zh) * | 2020-12-01 | 2021-02-19 | 国能信控互联技术有限公司 | 一种基于微服务架构的智慧电厂管控系统 |
| CN113849503A (zh) * | 2021-09-10 | 2021-12-28 | 杭州未名信科科技有限公司 | 一种开放式大数据处理系统、方法及介质 |
Non-Patent Citations (1)
| Title |
|---|
| 李厚恩;黄安子;张云翔;余里程;: "基于数字化运营体系的企业级运营监控平台设计与实现", 现代信息科技, no. 02, pages 170 - 172 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107256219B (zh) | 应用于自动列车控制系统海量日志的大数据融合分析方法 | |
| CN113011837A (zh) | 一种基于微服务的数字孪生管控平台 | |
| CN109272155A (zh) | 一种基于大数据的企业行为分析系统 | |
| CN112182077B (zh) | 一种基于数据中台技术的智能运维系统 | |
| CN104573071A (zh) | 一种基于大数据技术的校情智能分析系统及方法 | |
| CN101566981A (zh) | 分析处理系统中建立动态虚拟数据仓库的方法 | |
| CN106022617A (zh) | 一种基于营销多系统数据中心的稽查管控系统 | |
| CN112181960A (zh) | 一种基于AIOps的智能运维框架系统 | |
| CN112883001A (zh) | 一种基于营配贯通数据可视化平台的数据处理方法、装置及介质 | |
| CN113741883B (zh) | 一种rpa轻量级数据中台系统 | |
| Kun et al. | Application of big data technology in scientific research data management of military enterprises | |
| CN111428895A (zh) | 一种智能电表故障诊断支撑中心 | |
| CN116596234A (zh) | 一种基于区块链技术的汽车行业供应链协同平台 | |
| CN112488502A (zh) | 一种标准的水资源管理一体化管控平台 | |
| Wang et al. | Data Factory: An Efficient Data Analysis Solution in the Era of Big Data | |
| CN108875087B (zh) | 一种描述事物空间属性并基于所述描述进行查找的方法 | |
| CN110007905A (zh) | 一种基于大数据的软件开发方案的生成方法及系统 | |
| CN113722564A (zh) | 基于空间图卷积能源物资供应链的可视化方法及装置 | |
| CN117851389A (zh) | 一种基于物联网中间件的多源异构海量数据采集与治理系统 | |
| CN112784129A (zh) | 一种泵站设备运维数据监管平台 | |
| CN114490887A (zh) | 一种集团企业数据空间系统 | |
| Yindong et al. | Advances and future challenges in electric power big data | |
| Wang et al. | Discussion on industrial internet platform construction based on power internet of things | |
| CN111797084B (zh) | 基于武器装备试验流程的数据编码贯标检查方法及系统 | |
| CN115047833A (zh) | 一种矿山数字孪生工厂及其构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220513 |