CN110187869A - 一种大数据异构存储计算模型间的统一互操作系统及方法 - Google Patents

一种大数据异构存储计算模型间的统一互操作系统及方法 Download PDF

Info

Publication number
CN110187869A
CN110187869A CN201910398977.6A CN201910398977A CN110187869A CN 110187869 A CN110187869 A CN 110187869A CN 201910398977 A CN201910398977 A CN 201910398977A CN 110187869 A CN110187869 A CN 110187869A
Authority
CN
China
Prior art keywords
data
module
storage
unified
control module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910398977.6A
Other languages
English (en)
Other versions
CN110187869B (zh
Inventor
程道疆
项君
陈越
齐咏杰
彭力
李旭东
陈晓梅
黄若衡
刘强
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Straight True Wisdom Technology Co Ltd
Original Assignee
Shanghai Straight True Wisdom Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Straight True Wisdom Technology Co Ltd filed Critical Shanghai Straight True Wisdom Technology Co Ltd
Priority to CN201910398977.6A priority Critical patent/CN110187869B/zh
Publication of CN110187869A publication Critical patent/CN110187869A/zh
Application granted granted Critical
Publication of CN110187869B publication Critical patent/CN110187869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

本发明公开了一种实现大数据异构存储计算模型间统一互操作的系统，该系统包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块，另外本发明还公开了一种基于该大数据异构存储计算模型间的统一互操作系统的操作方法，本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。

Description

一种大数据异构存储计算模型间的统一互操作系统及方法
技术领域
本发明涉及信息处理技术领域，具体为一种大数据异构存储计算模型间的统一互操作系统及方法。
背景技术
大数据计算技术发展突飞猛进，相关的计算、存储模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式。多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：
1、不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；
2、基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；
3、应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便。
发明内容
针对背景技术中存在的问题，本发明提供了一种大数据异构存储计算模型间的统一互操作系统及方法。
为实现上述目的，本发明提供如下技术方案：一种大数据异构存储计算模型间的统一互操作系统，包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块；
所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配；
所述计算资源控制模块用于实现计算与存储模型对应的计算能力以及相关资源调度管理的集成与调度；
所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理；
所述动态元数据管理模块用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；
所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力；
所述执行控制模块提供与运行环境的对接和动态控制。
作为本发明一种优选的技术方案，所述运行环境包括分布式引擎总线与平台计算资源。
本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法，包括如下步骤：
调用该系统的执行控制模块提供的拦截器，实现对原始作业任务的拦截与数据定位；
基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；
针对业务数据调用该系统的动态元数据管理模块，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；
对经所述动态元数据管理模块分离的静态数据与动态数据，调用该系统的数据控制模块，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；
通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排，实现对计算存储做业务任务的动态重构；
在形成面向异构目标计算存储作业的作业任务后，通过计算资源控制模块与执行控制模块提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。
作为本发明一种优选的技术方案，所述静态数据为业务输入数据。
作为本发明一种优选的技术方案，所述动态数据为用户交、配置参数及中间计算结果。
与现有技术相比，本发明的有益效果是：本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。
附图说明
图1为本发明提供的一种大数据异构存储计算模型间的统一互操作系统结构示意图；
图2为本发明提供的一种大数据异构存储计算模型间的统一互操作系统的操作方法流程图；
图中：100-数据控制模块；200-计算资源控制模块；300-计算处理逻辑模块；400-动态元数据管理模块；500-参数封装模块；600-执行控制模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供一种大数据异构存储计算模型间的统一互操作系统，包括数据控制模块100、计算资源控制模块200、计算处理逻辑模块300、动态元数据管理模块400、参数封装模块500以及执行控制模块600；
所述数据控制模块100用于实现算子与对应引擎以及作业间的数据访问、操作与适配；
所述计算资源控制模块200用于实现计算与存储模型对应的计算能力以及相关资源调度管理的集成与调度；
所述计算处理模块300通过对其他引擎能力调用实现对相关业务的处理；
所述动态元数据管理模块400用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；
所述参数封装模块500提供配置和被调用能力的输入参数的统一封装与可视化交互能力；
所述执行控制模块600提供与运行环境的对接和动态控制,所述运行环境包括分布式引擎总线与平台计算资源(异构计算存储能力引擎)。
本发明需要统一封装的对象可以分为两大类：存储模型和计算分析模型。针对存储模型，系统通过专用数据控制适配模块来提供两种访问能力：引擎标准接口调用和大规模并行化数据操作；存储类引擎提供标准访问接口(如JDBC/ODBC等)能快速提供对数据的各种访问操作，有利于数据适配的快速实现；而针对不同数据形态和大规模并行化处理的要求，本发明则根据不同的引擎工作机制来针对性的优化并行化操作策略和对应的接口能力，从而保障经适配封装的能力引擎具备大并发、高性能的工程能力支撑。针对计算分析类模型的适配，其重点在于跨域的数据共享和通过引擎服务实现动态资源的调度与管理。本发明通过对Spark SQL的RDD的扩展支持，使之成为各种分析与计算模型的通用数据对象模型。它在基于跨域数据共享能力的支撑下，实现数据与计算的对接。同时相应的计算能力的资源管理和动态调度则通过引擎容器和系统的引擎服务提供完整、灵活的全动态响应。
如图2所示，本发明还提供了一种基于上述的大数据异构存储计算模型间的统一互操作系统的操作方法，包括如下步骤：
将原始计算或存储模型相关的计算存储任务(作业模型1)提交至该系统；
调用该系统的执行控制模块600提供的拦截器，实现对原始作业任务的拦截与数据定位；
基于所述执行控制模块600提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；
针对业务数据调用该系统的动态元数据管理模块400，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；
对经所述动态元数据管理模块400分离的静态数据与动态数据，调用该系统的数据控制模块100，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；
通过执行控制模块600将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排(即基于动、静态环境和数据的动态统一编排)，实现对计算存储做业务任务的重构；
在形成面向异构目标计算存储作业(作业模型2)的作业任务后，通过计算资源控制模块200与执行控制模块600提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。
在具体实施过程中，所述静态数据为业务输入数据，该业务输入数据包含系统环境配置参数等。
在具体实施过程中，所述动态数据为用户交互、配置参数及中间计算结果。
基于上述，本发明具有的优点在于：本发明实现的对大数据异构计算存储模型的互操作的方法，可以很好的实现对各种计算模型的兼容，达到对上层应用开发的一致性封装，向最终用户屏蔽了各种异构模型的技术差异，具有通用性好、易于学习使用的特点，有效克服了现有技术中的种种缺点而具高度产业利用价值。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种大数据异构存储计算模型间的统一互操作系统，其特征在于：包括数据控制模块、计算资源控制模块、计算处理逻辑模块、动态元数据管理模块、参数封装模块以及执行控制模块；
所述数据控制模块用于实现算子与对应引擎以及作业间的数据访问、操作与适配；
所述计算资源控制模块用于实现计算与存储模型对应的计算能力以及相关资源调度管理的集成与调度；
所述计算处理模块通过对其他引擎能力调用实现对相关业务的处理；
所述动态元数据管理模块用于实现管理和控制运行时的数据对象，以支撑容器间动态交互和数据交换的能力；
所述参数封装模块提供配置和被调用能力的输入参数的统一封装与可视化人机交互能力；
所述执行控制模块提供与运行环境的对接和动态控制。
2.根据权利要求1所述的一种大数据异构存储计算模型间的统一互操作系统，其特征在于：所述运行环境包括分布式引擎总线与平台计算资源。
3.一种基于权利要求1或2所述的大数据异构存储计算模型间的统一互操作系统的操作方法，其特征在于，包括如下步骤：
调用该系统的执行控制模块提供的拦截器，实现对原始作业任务的拦截与数据定位；
基于所述执行控制模块提供的模型差异识别能力对作业任务处理逻辑和业务数据进行分析定位和封装装备；
针对业务数据调用该系统的动态元数据管理模块，通过该模块实现对该业务数据的静态数据以及动态数据的分离与定位，并形成相应的数据引用，为回填目标计算模型时的适配和装换做准备；
对经所述动态元数据管理模块分离的静态数据与动态数据，调用该系统的数据控制模块，通过该模块实现面向计算存储作业任务的动态类型转换和通用数据适配；
通过执行控制模块将完成处理和适配的业务数据与业务处理逻辑、经封装回填的业务参数、和经过识别适配转换后的资源控制和调度指令进行统一编排，实现对计算存储做业务任务的动态重构；
在形成面向异构目标计算存储作业的作业任务后，通过计算资源控制模块与执行控制模块提交对应的计算存储引擎，完成相关的计算和存储业务，实现异构模型间的统一互操作。
4.根据权利要求3所述的一种大数据异构存储计算模型间的统一互操作方法，其特征在于：所述静态数据为业务输入数据。
5.根据权利要求3所述的一种大数据异构存储计算模型间的统一互操作方法，其特征在于：所述动态数据为用户交互、配置参数及中间计算结果。
CN201910398977.6A 2019-05-14 2019-05-14 一种大数据异构存储计算模型间的统一互操作系统及方法 Active CN110187869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910398977.6A CN110187869B (zh) 2019-05-14 2019-05-14 一种大数据异构存储计算模型间的统一互操作系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910398977.6A CN110187869B (zh) 2019-05-14 2019-05-14 一种大数据异构存储计算模型间的统一互操作系统及方法

Publications (2)

Publication Number Publication Date
CN110187869A true CN110187869A (zh) 2019-08-30
CN110187869B CN110187869B (zh) 2020-09-01

Family

ID=67716219

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910398977.6A Active CN110187869B (zh) 2019-05-14 2019-05-14 一种大数据异构存储计算模型间的统一互操作系统及方法

Country Status (1)

Country Link
CN (1) CN110187869B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641625A (zh) * 2020-05-25 2020-09-08 河南信大网御科技有限公司 异构功能等价执行体归一化装置、方法、架构及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101076793A (zh) * 2004-08-31 2007-11-21 国际商业机器公司 企业数据集成系统的体系结构
US7353514B1 (en) * 2000-10-27 2008-04-01 Sprint Communications Company L.P. Computer software method for administering batch jobs
CN101540776A (zh) * 2008-03-17 2009-09-23 储彬 一种支持自适应调度的网格中间件系统
CN103838617A (zh) * 2014-02-18 2014-06-04 河海大学 大数据环境下的数据挖掘平台的构建方法
CN104506620A (zh) * 2014-12-23 2015-04-08 西安电子科技大学 一种可扩展的自动化计算服务平台及其构建方法
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105426440A (zh) * 2015-11-06 2016-03-23 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN107111519A (zh) * 2014-11-11 2017-08-29 亚马逊技术股份有限公司 用于管理和调度容器的系统
CN107545014A (zh) * 2016-06-28 2018-01-05 国网天津市电力公司 基于Storm的流计算即时处理系统
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN107766402A (zh) * 2017-06-27 2018-03-06 深圳市云房网络科技有限公司 一种楼盘字典云房源大数据平台
US20180159952A1 (en) * 2016-12-07 2018-06-07 Sap Se Refreshing Framework
CN108255539A (zh) * 2017-12-21 2018-07-06 华风象辑（北京）气象科技有限公司 基于云计算和数据虚拟化的气象卫星数据处理系统
CN108563787A (zh) * 2018-04-26 2018-09-21 郑州云海信息技术有限公司 一种数据中心综合管理系统的数据交互管理系统及方法
CN108804630A (zh) * 2018-05-31 2018-11-13 江苏运时数据软件股份有限公司 一种面向行业应用的大数据智能分析服务系统
CN109726250A (zh) * 2018-12-27 2019-05-07 星环信息科技（上海）有限公司 数据存储系统、元数据库同步及数据跨域计算方法

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7353514B1 (en) * 2000-10-27 2008-04-01 Sprint Communications Company L.P. Computer software method for administering batch jobs
CN101076793A (zh) * 2004-08-31 2007-11-21 国际商业机器公司 企业数据集成系统的体系结构
CN101540776A (zh) * 2008-03-17 2009-09-23 储彬 一种支持自适应调度的网格中间件系统
CN103838617A (zh) * 2014-02-18 2014-06-04 河海大学 大数据环境下的数据挖掘平台的构建方法
CN107111519A (zh) * 2014-11-11 2017-08-29 亚马逊技术股份有限公司 用于管理和调度容器的系统
CN104506620A (zh) * 2014-12-23 2015-04-08 西安电子科技大学 一种可扩展的自动化计算服务平台及其构建方法
CN105045607A (zh) * 2015-09-02 2015-11-11 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105426440A (zh) * 2015-11-06 2016-03-23 云南电网有限责任公司 一种基于数据库的异构型数据批量同步方法
CN107545014A (zh) * 2016-06-28 2018-01-05 国网天津市电力公司 基于Storm的流计算即时处理系统
US20180159952A1 (en) * 2016-12-07 2018-06-07 Sap Se Refreshing Framework
CN107766402A (zh) * 2017-06-27 2018-03-06 深圳市云房网络科技有限公司 一种楼盘字典云房源大数据平台
CN107733986A (zh) * 2017-09-15 2018-02-23 中国南方电网有限责任公司 支持一体化部署及监控的保护运行大数据支撑平台
CN108255539A (zh) * 2017-12-21 2018-07-06 华风象辑（北京）气象科技有限公司 基于云计算和数据虚拟化的气象卫星数据处理系统
CN108563787A (zh) * 2018-04-26 2018-09-21 郑州云海信息技术有限公司 一种数据中心综合管理系统的数据交互管理系统及方法
CN108804630A (zh) * 2018-05-31 2018-11-13 江苏运时数据软件股份有限公司 一种面向行业应用的大数据智能分析服务系统
CN109726250A (zh) * 2018-12-27 2019-05-07 星环信息科技（上海）有限公司 数据存储系统、元数据库同步及数据跨域计算方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZHAO JUN: ""Sharing and interoperation of Digital Dongying geospatial data"", 《PROCEEDINGS OF SPIE-THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING》 *
闫小曼: ""分布式计算软件平台StarBus及其在"数据九七"中的应用"", 《计算机工程》 *
顾荣: ""大数据处理技术与系统研究"", 《中国博士学位论文全文数据库（电子期刊）信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111641625A (zh) * 2020-05-25 2020-09-08 河南信大网御科技有限公司 异构功能等价执行体归一化装置、方法、架构及存储介质
CN111641625B (zh) * 2020-05-25 2022-03-25 河南信大网御科技有限公司 异构功能等价执行体归一化装置、方法、架构及存储介质

Also Published As

Publication number Publication date
CN110187869B (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
Wang et al. Ubiquitous manufacturing system based on Cloud: A robotics application
Yang et al. Parallel manufacturing for industrial metaverses: A new paradigm in smart manufacturing
Zhang et al. Agent technology for collaborative process planning: a review
Wan et al. Context-aware cloud robotics for material handling in cognitive industrial Internet of Things
CN112181382B (zh) 一种基于软件定义的工业智能控制系统
CN107632845B (zh) 一种转轮叶片多轴铣削加工的集成知识云服务方法和系统
Zhao et al. STEP-based multiview integrated product modelling for concurrent engineering
CN110058985A (zh) 一种拖拽式构建企业级ai应用的系统及方法
Lee et al. Concurrent material flow analysis by P3R-driven modeling and simulation in PLM
CN109063122A (zh) 一种erp系统与mes系统的信息同步方法、相关系统及设备
CN102930082A (zh) 一种基于分布资源的产品设计系统
CN110187869A (zh) 一种大数据异构存储计算模型间的统一互操作系统及方法
CN105183485B (zh) 一种可视化软硬件协同开发方法
Wang et al. Cloud-based robotic system: architecture framework and deployment models
CN107463151A (zh) 一种复杂曲面加工多维知识云协同服务方法
Valette et al. Toward a social holonic manufacturing systems architecture based on industry 4.0 assets
Pawlewski et al. Application potential of Agent Based Simulation and Discrete Event Simulation in enterprise integration modelling concepts
CN106372359A (zh) 一种设备虚拟样机系统的通用架构
Wang et al. Cloud robotics towards a CPS assembly system
Zeng et al. Virtual and physical systems intra-referenced modelling for smart factory
CN112395100A (zh) 一种数据驱动的复杂产品云服务数据包调用方法及系统
CN110209747A (zh) 基于聚类的空间大数据挖掘系统
Liu et al. Issues on the architecture of an integrated general-purpose ShopFloor control software system
Yonezawa et al. Object oriented concurrent programming and industrial software production
Gunasekaran et al. Integration and adaptability issues

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant