CN110209380B - 一种面向大数据异构模型的统一动态元数据处理方法 - Google Patents

一种面向大数据异构模型的统一动态元数据处理方法 Download PDF

Info

Publication number
CN110209380B
CN110209380B CN201910462509.0A CN201910462509A CN110209380B CN 110209380 B CN110209380 B CN 110209380B CN 201910462509 A CN201910462509 A CN 201910462509A CN 110209380 B CN110209380 B CN 110209380B
Authority
CN
China
Prior art keywords
data
metadata processing
dynamic metadata
reflection mechanism
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910462509.0A
Other languages
English (en)
Other versions
CN110209380A (zh
Inventor
程道疆
项君
陈越
齐咏杰
彭力
李旭东
陈晓梅
黄若衡
刘强
王志强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Zhizhen Junzhi Science Co ltd
Original Assignee
Shanghai Zhizhen Junzhi Science Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhizhen Junzhi Science Co ltd filed Critical Shanghai Zhizhen Junzhi Science Co ltd
Priority to CN201910462509.0A priority Critical patent/CN110209380B/zh
Publication of CN110209380A publication Critical patent/CN110209380A/zh
Application granted granted Critical
Publication of CN110209380B publication Critical patent/CN110209380B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/40—Transformation of program code
    • G06F8/41—Compilation
    • G06F8/42—Syntactic analysis
    • G06F8/427—Parsing

Abstract

本发明公开了一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：作业任务提交统一动态元数据处理系统，调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位，对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据，对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作，通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。本发明具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。

Description

一种面向大数据异构模型的统一动态元数据处理方法
技术领域
本发明涉及计算机软件技术领域，具体为一种面向大数据异构模型的统一动态元数据处理方法。
背景技术
大数据计算技术发展突飞猛进，相关的计算、存储和可视化模型层出不穷、不断演进，已经覆盖了从结构化数据、半结构化数据、非结构化数据等各种数据形态以及批处理和流处理等不同的处理模式，多样化的技术发展固然为业务应用的创新带来了更多的手段和可能，但也同样为大数据技术的普及形成了障碍，主要体现在以下几个方面：
不同的(异构)大数据计算存储模型带来的编程和开发技术的复杂性，使得用户在学习和使用过程中有较高的门槛；
基于不同的计算存储模型开发的应用互相之间基本没有互通的可能，从而造成业务数据被迫在系统间频繁迁移复制，降低了应用的效率；
应用和下层计算存储环境的紧耦合，造成应用无法通用化，从而对应用的维护和推广带来诸多的不便；
上述问题的导致原因均是异构模型间无法高效、便捷的互操作。
发明内容
本发明的目的在于提供一种面向大数据异构模型的统一动态元数据处理方法，实现了异构模型间的高效、便捷的互操作，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：
S1：作业任务提交统一动态元数据处理系统；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，同时，基于REPL的交互式解析器和所述运行时反射机制模块进行配合工作；
S5：通过上述反射机制模块的共同作用，为进一步利用该机制进行计算作业重构做好准备。
优选的，所述作业任务为原始计算或存储模型相关的计算存储任务。
优选的，所述元数据获取系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成。
优选的，所述静态数据包括业务数据模型和计算规则。
优选的，所述动态数据包括中间数据模型和用户动态配置的业务参数。
与现有技术相比，本发明的有益效果是：
本发明实现的基于多层反射机制模块的统一动态元数据处理系统，对大数据异构模型的互操作提供了关键能力支撑，具有通用性好、适配性强的特点，有效克服了现有技术中的异构模型间无法高效、便捷的互操作的问题。
附图说明
图1为本发明的系统图；
图2为本发明的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例：
请参阅图1-2，本发明提供一种技术方案：一种面向大数据异构模型的统一动态元数据处理方法，包括如下步骤：
S1：作业任务提交统一动态元数据处理系统；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，统一动态元数据处理系统对AST(Abstract SyntaxTree，抽象语法树)进行扫描，解析作业涉及的核心数据，实现数据引用与数据实例之间的映射，同时基于这种编译时反射机制模块，根据文本或参数描述，实现动态模型组装封装、更改作业行为或生成执行代码及数据模型；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，并动态生成数据模型以及修改任务或计算作业行为的能力，同时，基于REPL(Read-Eval-Print Loop，读取-求值-输出)的交互式解析器和运行时反射机制模块进行配合工作，通过基于REPL的交互式解析器，增强了REPL能力，以满足动态生成上下文环境、映射计算作业实现、动态切换作业执行模式需求，两者结合形成对动态交互数据的引用；
S5：通过上述反射机制模块的共同作用，实现基于动态元数据的业务数据和交互数据的精确定位和引用控制，为进一步利用该机制进行计算作业重构做好准备。
具体的，作业任务为原始计算或存储模型相关的计算存储任务。
具体的，元数据获取系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成。
具体的，静态数据包括业务数据模型和计算规则。
具体的，动态数据包括中间数据模型和用户动态配置的业务参数。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种面向大数据异构模型的统一动态元数据处理方法，其特征在于包括如下步骤：
S1：作业任务提交统一动态元数据处理系统，所述统一动态元数据处理系统由数据形态分析模块、编译时反射机制模块、运行时反射机制模块和交互式解析器组成；
S2：调用数据形态分析模块实现对原始作业任务的数据拦截和分析定位；
S3：对于拦截分离的静态数据，所述统一动态元数据处理系统对AST进行扫描，解析作业涉及的核心数据；
S4：对于拦截分离的动态数据，通过调用运行时反射机制模块来对这些动态的运行时数据模型实例进行分析获取，并动态生成数据模型以及修改任务或计算作业行为的能力，同时，基于REPL的交互式解析器和运行时反射机制模块进行配合工作，通过基于REPL的交互式解析器，增强了REPL能力，以满足动态生成上下文环境、映射计算作业实现、动态切换作业执行模式需求，两者结合形成对动态交互数据的引用；
S5：通过上述基于REPL的交互式解析器和运行时反射机制模块的共同作用，为进一步利用REPL的交互式解析器和运行时反射机制模块进行计算作业重构做好准备。
2.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述作业任务为原始计算或存储模型相关的计算存储任务。
3.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述静态数据包括业务数据模型和计算规则。
4.根据权利要求1所述的一种面向大数据异构模型的统一动态元数据处理方法，其特征在于：所述动态数据包括中间数据模型和用户动态配置的业务参数。
CN201910462509.0A 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法 Active CN110209380B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910462509.0A CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910462509.0A CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Publications (2)

Publication Number Publication Date
CN110209380A CN110209380A (zh) 2019-09-06
CN110209380B true CN110209380B (zh) 2020-11-03

Family

ID=67789636

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910462509.0A Active CN110209380B (zh) 2019-05-30 2019-05-30 一种面向大数据异构模型的统一动态元数据处理方法

Country Status (1)

Country Link
CN (1) CN110209380B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111125052B (zh) * 2019-10-25 2020-09-15 北京华如科技股份有限公司 基于动态元数据的大数据智能建模系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158554A (zh) * 2011-04-02 2011-08-17 南京邮电大学 基于移动代理的物联网中间件开发方法
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7523133B2 (en) * 2002-12-20 2009-04-21 Oracle International Corporation Data model and applications
US7469248B2 (en) * 2005-05-17 2008-12-23 International Business Machines Corporation Common interface to access catalog information from heterogeneous databases
US20110088011A1 (en) * 2009-10-14 2011-04-14 Vermeg Sarl Automated Enterprise Software Development
CN104142980B (zh) * 2014-07-15 2017-11-17 中电科华云信息技术有限公司 基于大数据的元数据模型管理系统和管理方法
US9256467B1 (en) * 2014-11-11 2016-02-09 Amazon Technologies, Inc. System for managing and scheduling containers
CN105045607B (zh) * 2015-09-02 2019-03-29 广东创我科技发展有限公司 一种实现多种大数据计算框架统一接口的方法
CN105701181A (zh) * 2016-01-06 2016-06-22 中电科华云信息技术有限公司 一种动态异构元数据获取方法及系统
CN105760781B (zh) * 2016-03-02 2018-05-08 四川师范大学 有序可推演大数据文件的存储方法、恢复方法和操作方法
CN108829707A (zh) * 2018-05-02 2018-11-16 国网浙江省电力有限公司信息通信分公司 跨业务域的大数据智能分析系统及方法
CN108829836A (zh) * 2018-06-19 2018-11-16 长光卫星技术有限公司 异构遥感大数据应用平台
CN109410698B (zh) * 2018-09-19 2021-02-12 浙江省测绘科学技术研究院 数据大屏可视化方法及系统
CN109086462A (zh) * 2018-09-21 2018-12-25 郑州云海信息技术有限公司 一种分布式文件系统中元数据的管理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102158554A (zh) * 2011-04-02 2011-08-17 南京邮电大学 基于移动代理的物联网中间件开发方法
CN104424955A (zh) * 2013-08-29 2015-03-18 国际商业机器公司 生成音频的图形表示的方法和设备、音频搜索方法和设备

Also Published As

Publication number Publication date
CN110209380A (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
Koschke et al. An intermediate representation for integrating reverse engineering analyses
Trinder et al. Parallel and distributed Haskells
Ierotheou et al. Computer aided parallelisation tools (CAPTools)—conceptual overview and performance on the parallelisation of structured mesh codes
Weimer et al. Machine learning in ScalOps, a higher order cloud computing language
Havlak Interprocedural symbolic analysis
Dai et al. Migration from PLC to IEC 61499 using semantic web technologies
Tohid et al. Asynchronous execution of python code on task-based runtime systems
CN110209380B (zh) 一种面向大数据异构模型的统一动态元数据处理方法
CN101710273A (zh) 联机分析处理服务器中多维查询语句的解析方法和装置
Bacci et al. Skeletons and transformations in an integrated parallel programming environment
Vasilache et al. A tale of three runtimes
Abramov et al. OpenTS: an outline of dynamic parallelization approach
Lee et al. A New Integrated Software Development Environment Based on SDL, MSC, and CHILL for Large‐scale Switching Systems
Churavy Transparent distributed programming in Julia
Bhatia et al. Automatic experimental analysis of communication patterns in virtual topologies
Wang et al. Analysis of the Design of Several Modern Programming Languages
Ernstsson SkePU 2: language embedding and compiler support for flexible and type-safe skeleton programming
De Martini et al. The Noir Dataflow Platform: Efficient Data Processing without Complexity
Dayarathna et al. Multiple stream job performance optimization with source operator graph transformations
Pllana et al. A novel approach for hybrid performance modelling and prediction of large-scale computing systems
Feng et al. Eliminating object reference checks by escape analysis on real-time Java virtual machine
Gao et al. AIBench: An Agile Domain-specific Benchmarking Methodology and an AI Benchmark Suite
Afzal Modular Dependency Analysis in Heterogeneous Software Systems
Widemann et al. The Functional Programming Language R and the Paradigm of Dynamic Scientific Programming: (Position Paper)
Yu et al. PartitionTuner: An operator scheduler for deep‐learning compilers supporting multiple heterogeneous processing units

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant