CN110187869B - 一种大数据异构存储计算模型间的统一互操作系统及方法 - Google Patents
一种大数据异构存储计算模型间的统一互操作系统及方法 Download PDFInfo
- Publication number
- CN110187869B CN110187869B CN201910398977.6A CN201910398977A CN110187869B CN 110187869 B CN110187869 B CN 110187869B CN 201910398977 A CN201910398977 A CN 201910398977A CN 110187869 B CN110187869 B CN 110187869B
- Authority
- CN
- China
- Prior art keywords
- data
- control module
- computing
- module
- dynamic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Stored Programmes (AREA)
Abstract
本发明公开了一种实现大数据异构存储计算模型间统一互操作的系统,该系统包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块,另外本发明还公开了一种基于该大数据异构存储计算模型间的统一互操作系统的操作方法,本发明实现的对大数据异构计算存储模型的互操作的方法,可以很好的实现对各种计算模型的兼容,达到对上层应用开发的一致性封装,向最终用户屏蔽了各种异构模型的技术差异,具有通用性好、易于学习使用的特点,有效克服了现有技术中的种种缺点而具高度产业利用价值。
Description
技术领域
本发明涉及信息处理技术领域,具体为一种大数据异构存储计算模型间的统一互操作系统及方法。
背景技术
大数据计算技术发展突飞猛进,相关的计算、存储模型层出不穷、不断演进,已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式。多样化的技术发展固然为业务应用的创新带来了更多的手段和可能,但也同样为大数据技术的普及形成了障碍,主要体现在以下几个方面:
1、不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性,使得用户在学习和使用过程中有较高的门槛;
2、基于不同的计算存储模型开发的应用互相之间基本没有互通的可能,从而造成业务数据被迫在系统间频繁迁移复制,降低了应用的效率;
3、应用和下层计算存储环境的紧耦合,造成应用无法通用化,从而对应用的维护和推广带来诸多的不便。
发明内容
针对背景技术中存在的问题,本发明提供了一种大数据异构存储计算模型间的统一互操作系统及方法。
为实现上述目的,本发明提供如下技术方案:一种大数据异构存储计算模型间的统一互操作系统,包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块;
所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配;
所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度;
所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理;
所述动态元数据管理模块用于实现管理和控制运行时的数据对象,以支撑容器间动态交互和数据交换的能力;
所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力;
所述执行控制模块提供与运行环境的对接和动态控制。
作为本发明一种优选的技术方案,所述运行环境包括分布式引擎总线与平台计算资源。
本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法,包括如下步骤:
调用该系统的执行控制模块提供的拦截器,实现对原始作业任务的拦截与数据定位;
基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备;
针对业务数据调用该系统的动态元数据管理模块,通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位,并形成相应的数据引用,为回填目标计算模型时的适配和装换做准备;
对经所述动态元数据管理模块分离的静态数据与动态数据,调用该系统的数据控制模块,通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配;
通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排,实现对计算存储做业务任务的动态重构;
在形成面向异构目标计算存储作业的作业任务后,通过计算资源控制模块与执行控制模块提交对应的计算存储引擎,完成相关的计算和存储业务,实现异构模型间的统一互操作。
作为本发明一种优选的技术方案,所述静态数据为业务输入数据。
作为本发明一种优选的技术方案,所述动态数据为用户交、配置参数及中间计算结果。
与现有技术相比,本发明的有益效果是:本发明实现的对大数据异构计算存储模型的互操作的方法,可以很好的实现对各种计算模型的兼容,达到对上层应用开发的一致性封装,向最终用户屏蔽了各种异构模型的技术差异,具有通用性好、易于学习使用的特点,有效克服了现有技术中的种种缺点而具高度产业利用价值。
附图说明
图1为本发明提供的一种大数据异构存储计算模型间的统一互操作系统结构示意图;
图2为本发明提供的一种大数据异构存储计算模型间的统一互操作系统的操作方法流程图;
图中:100-数据控制模块;200-计算资源控制模块;300-计算处理逻辑模块;400-动态元数据管理模块;500-参数封装模块;600-执行控制模块。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图1,本发明提供一种大数据异构存储计算模型间的统一互操作系统,包括数据控制模块100、计算资源控制模块200、计算处理逻辑模块300、动态元数据管理模块400、参数封装模块500以及执行控制模块600;
所述数据控制模块100用于实现算子与对应引擎以及作业间的数据访问、操作与适配;
所述计算资源控制模块200用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度;
所述计算处理模块300通过对其他引擎能力调用实现对相关业务的处理;
所述动态元数据管理模块400用于实现管理和控制运行时的数据对象,以支撑容器间动态交互和数据交换的能力;
所述参数封装模块500提供配置和被调用能力的输入参数的统一封装与可视化交互能力;
所述执行控制模块600提供与运行环境的对接和动态控制,所述运行环境包括分布式引擎总线与平台计算资源(异构计算存储能力引擎)。
本发明需要统一封装的对象可以分为两大类:存储模型和计算分析模型。针对存储模型,系统通过专用数据控制适配模块来提供两种访问能力:引擎标准接口调用和大规模并行化数据操作;存储类引擎提供标准访问接口(如JDBC/ODBC等)能快速提供对数据的各种访问操作,有利于数据适配的快速实现;而针对不同数据形态和大规模并行化处理的要求,本发明则根据不同的引擎工作机制来针对性的优化并行化操作策略和对应的接口能力,从而保障经适配封装的能力引擎具备大并发、高性能的工程能力支撑。针对计算分析类模型的适配,其重点在于跨域的数据共享和通过引擎服务实现动态资源的调度与管理。本发明通过对Spark SQL的RDD的扩展支持,使之成为各种分析与计算模型的通用数据对象模型。它在基于跨域数据共享能力的支撑下,实现数据与计算的对接。同时相应的计算能力的资源管理和动态调度则通过引擎容器和系统的引擎服务提供完整、灵活的全动态响应。
如图2所示,本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法,包括如下步骤:
将原始计算或存储模型相关的计算存储任务(作业模型1)提交至该系统;
调用该系统的执行控制模块600提供的拦截器,实现对原始作业任务的拦截与数据定位;
基于所述执行控制模块600提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备;
针对业务数据调用该系统的动态元数据管理模块400,通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位,并形成相应的数据引用,为回填目标计算模型时的适配和装换做准备;
对经所述动态元数据管理模块400分离的静态数据与动态数据,调用该系统的数据控制模块100,通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配;
通过执行控制模块600将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排(即基于动、静态环境和数据的动态统一编排),实现对计算存储做业务任务的重构;
在形成面向异构目标计算存储作业(作业模型2)的作业任务后,通过计算资源控制模块200与执行控制模块600提交对应的计算存储引擎,完成相关的计算和存储业务,实现异构模型间的统一互操作。
在具体实施过程中,所述静态数据为业务输入数据,该业务输入数据包含系统环境配置参数等。
在具体实施过程中,所述动态数据为用户交互、配置参数及中间计算结果。
基于上述,本发明具有的优点在于:本发明实现的对大数据异构计算存储模型的互操作的方法,可以很好的实现对各种计算模型的兼容,达到对上层应用开发的一致性封装,向最终用户屏蔽了各种异构模型的技术差异,具有通用性好、易于学习使用的特点,有效克服了现有技术中的种种缺点而具高度产业利用价值。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种大数据异构存储计算模型间的统一互操作系统的操作方法,其特征在于,包括如下步骤:
调用该系统的执行控制模块提供的拦截器,实现对原始作业任务的拦截与数据定位;
基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备;
针对业务数据调用该系统的动态元数据管理模块,通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位,并形成相应的数据引用,为回填目标计算模型时的适配和装换做准备;
对经所述动态元数据管理模块分离的静态数据与动态数据,调用该系统的数据控制模块,通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配;
通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排,实现对计算存储做业务任务的动态重构;
在形成面向异构目标计算存储作业的作业任务后,通过计算资源控制模块与执行控制模块提交对应的计算存储引擎,完成相关的计算和存储业务,实现异构模型间的统一互操作。
2.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法,其特征在于:所述静态数据为业务输入数据。
3.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统的 操作方法,其特征在于:所述动态数据为用户交互、配置参数及中间计算结果。
4.一种大数据异构存储计算模型间的统一互操作系统,用于实施权利要求1所述的方法,其特征在于:包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块;
所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配;
所述计算资源控制模块用于实现与计算存储模型对应的计算能力以及相关资源调度管理的集成与调度;
所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理;
所述动态元数据管理模块用于实现管理和控制运行时的数据对象,以支撑容器间动态交互和数据交换的能力;
所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力;
所述执行控制模块提供与运行环境的对接和动态控制。
5.根据权利要求4所述的一种大数据异构存储计算模型间的统一互操作系统,其特征在于:所述运行环境包括分布式引擎总线与平台计算资源。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398977.6A CN110187869B (zh) | 2019-05-14 | 2019-05-14 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910398977.6A CN110187869B (zh) | 2019-05-14 | 2019-05-14 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110187869A CN110187869A (zh) | 2019-08-30 |
CN110187869B true CN110187869B (zh) | 2020-09-01 |
Family
ID=67716219
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910398977.6A Active CN110187869B (zh) | 2019-05-14 | 2019-05-14 | 一种大数据异构存储计算模型间的统一互操作系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110187869B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111641625B (zh) * | 2020-05-25 | 2022-03-25 | 河南信大网御科技有限公司 | 异构功能等价执行体归一化装置、方法、架构及存储介质 |
CN117596142A (zh) * | 2023-11-20 | 2024-02-23 | 上海直真君智科技有限公司 | 一种面向云际计算环境的封装操作方法及其平台 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101076793A (zh) * | 2004-08-31 | 2007-11-21 | 国际商业机器公司 | 企业数据集成系统的体系结构 |
CN105426440A (zh) * | 2015-11-06 | 2016-03-23 | 云南电网有限责任公司 | 一种基于数据库的异构型数据批量同步方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7353514B1 (en) * | 2000-10-27 | 2008-04-01 | Sprint Communications Company L.P. | Computer software method for administering batch jobs |
CN101540776A (zh) * | 2008-03-17 | 2009-09-23 | 储彬 | 一种支持自适应调度的网格中间件系统 |
CN103838617A (zh) * | 2014-02-18 | 2014-06-04 | 河海大学 | 大数据环境下的数据挖掘平台的构建方法 |
US9256467B1 (en) * | 2014-11-11 | 2016-02-09 | Amazon Technologies, Inc. | System for managing and scheduling containers |
CN104506620A (zh) * | 2014-12-23 | 2015-04-08 | 西安电子科技大学 | 一种可扩展的自动化计算服务平台及其构建方法 |
CN105045607B (zh) * | 2015-09-02 | 2019-03-29 | 广东创我科技发展有限公司 | 一种实现多种大数据计算框架统一接口的方法 |
CN107545014A (zh) * | 2016-06-28 | 2018-01-05 | 国网天津市电力公司 | 基于Storm的流计算即时处理系统 |
US10404825B2 (en) * | 2016-12-07 | 2019-09-03 | Sap Se | Refreshing framework |
CN107766402A (zh) * | 2017-06-27 | 2018-03-06 | 深圳市云房网络科技有限公司 | 一种楼盘字典云房源大数据平台 |
CN107733986B (zh) * | 2017-09-15 | 2021-01-26 | 中国南方电网有限责任公司 | 支持一体化部署及监控的保护运行大数据支撑平台 |
CN108255539B (zh) * | 2017-12-21 | 2021-03-12 | 华风象辑(北京)气象科技有限公司 | 基于云计算和数据虚拟化的气象卫星数据处理系统 |
CN108563787A (zh) * | 2018-04-26 | 2018-09-21 | 郑州云海信息技术有限公司 | 一种数据中心综合管理系统的数据交互管理系统及方法 |
CN108804630B (zh) * | 2018-05-31 | 2021-09-17 | 江苏运时数据软件股份有限公司 | 一种面向行业应用的大数据智能分析服务系统 |
CN109726250B (zh) * | 2018-12-27 | 2020-01-17 | 星环信息科技(上海)有限公司 | 数据存储系统、元数据库同步及数据跨域计算方法 |
-
2019
- 2019-05-14 CN CN201910398977.6A patent/CN110187869B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101076793A (zh) * | 2004-08-31 | 2007-11-21 | 国际商业机器公司 | 企业数据集成系统的体系结构 |
CN105426440A (zh) * | 2015-11-06 | 2016-03-23 | 云南电网有限责任公司 | 一种基于数据库的异构型数据批量同步方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110187869A (zh) | 2019-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11789895B2 (en) | On-chip heterogeneous AI processor with distributed tasks queues allowing for parallel task execution | |
US11782870B2 (en) | Configurable heterogeneous AI processor with distributed task queues allowing parallel task execution | |
EP2898638B1 (en) | High performance data streaming | |
CN109857801B (zh) | 基于四层架构的智慧灌区e平台及数据处理方法 | |
CN107943457B (zh) | 一种面向业务对象的工作流建模方法及系统 | |
CN110187869B (zh) | 一种大数据异构存储计算模型间的统一互操作系统及方法 | |
US9164735B2 (en) | Enabling polymorphic objects across devices in a heterogeneous platform | |
CN110908641A (zh) | 基于可视化的流计算平台、方法、设备和存储介质 | |
CN113254174A (zh) | 一种rpa机器人流程自动化实现系统和方法 | |
CN108108466A (zh) | 一种分布式系统日志查询分析方法及装置 | |
CN104346447A (zh) | 一种面向混合型大数据处理系统的分区连接方法 | |
WO2007041777A1 (en) | A database communication method | |
Jain et al. | Charm++ and MPI: Combining the best of both worlds | |
Khalil et al. | Survey of Apache Spark optimized job scheduling in Big Data | |
Agha et al. | Actor Languages for Specification of Parallel Computations. | |
Wang et al. | Cloud robotics towards a CPS assembly system | |
CN110245184A (zh) | 一种基于tagSQL的数据处理方法、系统及装置 | |
CN115982230A (zh) | 数据库的跨数据源查询方法、系统、设备及存储介质 | |
CN115686784A (zh) | 一种基于多机多进程的地理网格金字塔并行构建方法 | |
CN103455374A (zh) | 一种基于MapReduce的分布式计算方法和装置 | |
KR20100048843A (ko) | 로봇용 소프트웨어 컴포넌트 장치 및 이를 이용한 쓰레드 처리 방법 | |
Fontes et al. | CoDIMS-G: a data and program integration service for the grid | |
CN111625340B (zh) | 一种虚拟桌面环境作业调度方法及系统 | |
CN117596142A (zh) | 一种面向云际计算环境的封装操作方法及其平台 | |
Li et al. | Multi-agent system-based semantic search engine for cloud resource management |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |