CN110825775A - 一种Gaia系统中支持流数据与批数据交互的数据交换系统 - Google Patents

一种Gaia系统中支持流数据与批数据交互的数据交换系统 Download PDF

Info

Publication number
CN110825775A
CN110825775A CN201911067510.XA CN201911067510A CN110825775A CN 110825775 A CN110825775 A CN 110825775A CN 201911067510 A CN201911067510 A CN 201911067510A CN 110825775 A CN110825775 A CN 110825775A
Authority
CN
China
Prior art keywords
data
module
batch
batch data
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911067510.XA
Other languages
English (en)
Other versions
CN110825775B (zh
Inventor
赵恒泰
王国仁
赵宇海
郑军
李荣华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN201911067510.XA priority Critical patent/CN110825775B/zh
Publication of CN110825775A publication Critical patent/CN110825775A/zh
Application granted granted Critical
Publication of CN110825775B publication Critical patent/CN110825775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Gaia系统中支持流数据与批数据交互的数据交换系统，实现了在Gaia的低纬度算子级的流数据与批数据连接，并且可实现对指定数据库的定向支持。为达到上述目的，该系统包括操作符模块、核心算子模块、批数据定义模块、缓存模块以及外部数据接口模块。该系统中其中批数据定义模块、缓存模块、核心算子模块可以分别从辅助工具模块中获取自己需要的工具类；核心算子模块通过调用批数据定义模块获取连接相关信息，并调用外部数据接口模块从不同数据源中获取批数据，调用缓存模块对数据进行缓存操作。操作符模块对核心算子模块和批数据定义模块进行了外部封装，使得Gaia系统可以进行统一调用。

Description

一种Gaia系统中支持流数据与批数据交互的数据交换系统
技术领域
本发明涉及分布式大数据处理技术领域，具体涉及一种Gaia系统中支持流数据与批数据交互的数据交换系统。
背景技术
Gaia系统是一个面向多计算模型混合并存的高时效、可扩展的新一代大数据分析系统。在自适应、可伸缩的大数据存储、批流融合大数据计算、高维大规模机器学习和高时效大数据智能交互向导等大数据分析系统的几个核心层面，解决一系列关键技术问题，构建自主可控的高时效、可伸缩的新一代大数据分析系统，掌握国际领先的大数据分析系统核心技术。
Gaia系统针对批流混合任务具有全周期多尺度优化和统一计算引擎。现有大数据计算系统或依托自身计算引擎模拟另一类框架的行为，或定义一套通用接口屏蔽底层计算引擎的差异，对批流融合支持较弱。同时，其优化大多位于执行的特定时期或特定层级，且针对高复杂性任务的优化能力不足。针对以上问题，创新性地开发了基于统一计算引擎和全周期多尺度优化的高性能批流融合大数据计算技术。该技术为批流融合处理提供统一表达逻辑支持，通过统一表达建模融合批流处理的计算模型、数据模型、变换模型和动作模型，实现批、流处理的真正融合。针对作业的多样性、持久性、迭代性等特点，提供面向多作业、多任务、迭代计算、持久计算等优化策略，优化针对性更强。同时，提供执行前和执行中的全周期优化，并细分为作业级、任务级、变换级等多个尺度，以实现极速响应和海量吞吐。
流计算中一个常见的需求就是为数据流补齐字段。因为数据采集端采集到的数据往往比较有限，在做数据分析之前，就要先将所需的维度信息补全。比如采集到的交易日志中只记录了商品id，但是在做业务时需要根据店铺维度或者行业纬度进行聚合，这就需要先将交易日志与商品维表进行关联，补全所需的维度信息。这里所说的维表与数据仓库中的概念类似，是维度属性的集合，比如商品维，地点维，用户维等等。
目前的主流框架，在单纯的批处理或流处理中都有很好的性能以及成熟的API设计，但在涉及两种数据交互的时候，普遍采用的都是全部转换同一种数据类型再进行操作。如果全量转换为批数据进行处理，就会失去流计算的高时效性，如果全量转换为流数据进行处理，又会失去批处理的高吞吐性。这个症结目前并没有对应的数据变换模型予以解决，普遍需要开发者自己手动设计。
现有的维表连接技术是建立在SQL查询的基础上，降低了用户的使用门槛，但是也大大限制了使用方式。在面对需要定制化开发的复杂场景时，SQL查询已经是顶级抽象，无法在进行业务抽象单纯的SQL查询将不足以100％保证业务逻辑。同时SQL查询只支持系统本身提供的少数几种数据库，无法对指定数据库进行定向支持。
因此目前亟需一种针对Gaia系统的能够支持流数据与批数据交互的、可实现对指定数据库定向支持的数据交换系统。
发明内容
有鉴于此，本发明提供了一种Gaia系统中支持流数据与批数据交互的数据交换系统，实现了在Gaia的低纬度算子级的流数据与批数据连接，并且可实现对指定数据库的定向支持。
为达到上述目的，本发明的技术方案为：包括操作符模块、核心算子模块、批数据定义模块、缓存模块以及外部数据接口模块。
批数据定义模块，用于存储批数据定义数据和连接数据。
批数据定义数据包括批数据结构信息以及数据源信息，批数据定义数据为用户通过Gaia系统写入的数据。
连接数据包括流数据与批数据建立连接时所需的连接信息，包括流数据主键列、流数据投影列、批数据主键列、批数据投影列、输入数据类型、输出数据类型和缓存类型；缓存类型包括全量缓存和增量缓存。
输入数据类型为流数据和批数据的数据类型；输出数据类型为连接后的流数据和批数据输出时的数据类型。
缓存模块，用于对批数据进行缓存，用于实现对批数据的全量缓存或增量缓存。
外部数据接口模块，包括数据源的连接接口，用于根据数据源类型调用数据源驱动以从数据源中获取批数据。
核心算子模块，调用批数据定义模块获取批数据定义数据和连接数据；根据批数据定义数据中的数据源类型，调用外部数据接口模块中对应数据源的连接接口，根据批数据结构信息和连接数据中的批数据主键列以及批数据投影列构建查询，从数据源中获取批数据。
核心算子模块，调用批数据定义模块获取连接数据中的缓存类型，根据缓存类型调用缓存模块，对从数据源中获取的批数据进行全量缓存或增量缓存。
核心算子模块，根据从批数据定义模块获取待连接的流数据主键列，从缓存模块中读取待连接的批数据，待连接的批数据的批数据主键列与待连接的流数据主键列一致，将待连接的批数据的投影列和待连接的流数据投影列进行合并，得到连接后的流数据和批数据，并根据输出数据类型进行输出。
操作符模块，用于对核心算子模块进行封装，构建核心算子模块的辅助操作方法，核心算子模块的辅助操作方法包括：流数据主键列输入方法、流数据投影列输入方法、批数据主键列输入方法、批数据投影列输入方法以及缓存类型输入方法。
操作符模块，还用于对批数据定义模块进行封装，构建批数据定义模块的辅助操作方法，批数据定义模块的辅助操作方法为批数据定义数据输入方法。
操作符模块，还用于将核心算子模块的辅助操作方法以及批数据定义模块的辅助操作方法封装为应用处理接口API，暴露到Gaia系统的统一算子中，与Gaia系统中的其他算子保持一致的调用方式。
Gaia系统通过调用操作符模块中的API，将流数据主键列、流数据投影列、维表数据主键列、维表数据投影列以及缓存类型经核心算子模块送入批数据定义模块。
进一步地，批数据结构信息包括批数据的表名、字段名和字段类型，数据源信息包括数据源类型、数据源地址、数据源连接用户名、数据源连接密码以及数据源模式名。
进一步地，还包括辅助工具模块；
辅助工具模块，用于提供辅助工具，包括：
批数据类型转换工具，用于将string格式的数据类型转换为Gaia系统可识别的内部数据类型。
Object类型转换工具，用于将Object类型还原为原始类型。
日期转换工具，用于将批数据中不同类型的日期数据统一转换为Date格式；
核心算子模块，对于string类型的批数据，调用批数据类型转换工具，将string类型的批数据转换为Gaia系统可识别的内部数据类型。
缓存模块进行批数据的缓存时，统一转换为Object类型，核心算子模块在读取缓存模块中的批数据时，调用Object类型转换工具，将Object类型的批数据还原为原始类型。
核心算子模块在读取缓存模块中的批数据时，调用日期转换工具，将批数据中不同类型的日期数据统一转换为Date格式。
有益效果：
本发明提供的一种Gaia系统中支持流数据与批数据交互的数据交换系统，在Gaia的低纬度算子级业务处理抽象上构建了流数据和批数据的连接，提供了可供Gaia系统调用的应用处理接口API，从而暴露了底层的外部接口，在实现流数据和批数据连接功能的基础上，通过实现暴露出来的应用处理接口API就可以维护指定数据库的连接。
附图说明
图1为本发明提供的一种Gaia系统中支持流数据与批数据交互的数据交换系统组成框架示意图；
图2为本发明实施例中批数据定义模块的批数据构造逻辑示意图。
具体实施方式
下面结合附图并举实施例，对本发明进行详细描述。
图1示出了本发明提供的一种Gaia系统中支持流数据与批数据交互的数据交换系统的组成结构示意图，即该系统包括操作符模块、核心算子模块、批数据定义模块、缓存模块以及外部数据接口模块。
批数据定义模块，用于存储批数据定义数据和连接数据。
批数据定义数据包括批数据结构信息以及数据源信息，批数据定义数据为用户通过Gaia系统写入的数据。
本发明实施例中，批数据结构信息包括批数据的表名、字段名和字段类型，数据源信息包括数据源类型、数据源地址、数据源连接用户名、数据源连接密码以及数据源模式名。
连接数据包括流数据与批数据建立连接时所需的连接信息，包括流数据主键列、流数据投影列、批数据主键列、批数据投影列、输入数据类型、输出数据类型和缓存类型；缓存类型包括全量缓存和增量缓存。
输入数据类型为流数据和批数据的数据类型；输出数据类型为连接后的流数据和批数据输出时的数据类型。
缓存模块，用于对批数据进行缓存，用于实现对批数据的全量缓存或增量缓存。
外部数据接口模块，包括数据源的连接接口，用于根据数据源类型调用数据源驱动以从数据源中获取批数据。
核心算子模块，调用批数据定义模块获取批数据定义数据和连接数据；根据批数据定义数据中的数据源类型，调用外部数据接口模块中对应数据源的连接接口，根据批数据结构信息和连接数据中的批数据主键列以及批数据投影列构建查询，从数据源中获取批数据。
核心算子模块，调用批数据定义模块获取连接数据中的缓存类型，根据缓存类型调用缓存模块，对从数据源中获取的批数据进行全量缓存或增量缓存。
核心算子模块，根据从批数据定义模块获取待连接的流数据主键列，从缓存模块中读取待连接的批数据，待连接的批数据的批数据主键列与待连接的流数据主键列一致，将待连接的批数据的投影列和待连接的流数据投影列进行合并，得到连接后的流数据和批数据，并根据输出数据类型进行输出。
操作符模块，用于对核心算子模块进行封装，构建辅助操作方法，辅助操作方法包括：流数据主键列选择方法、流数据投影列选择方法、批数据主键列选择方法、批数据投影列选择方法以及缓存类型选择方法。
操作符模块，还用于对批数据定义模块进行封装，构建批数据定义模块的辅助操作方法，批数据定义模块的辅助操作方法为批数据定义数据输入方法；
操作符模块，还用于将核心算子模块的辅助操作方法以及批数据定义模块的辅助操作方法封装为应用处理接口API，暴露到Gaia系统的统一算子中，与Gaia系统中的其他算子保持一致的调用方式。
操作符模块对核心算子模块和批数据定义模块进行了外部封装，优化调用逻辑，减低调用难度。
Gaia系统通过调用操作符模块中的API，将流数据主键列、流数据投影列、维表数据主键列、维表数据投影列以及缓存类型经核心算子模块送入批数据定义模块。
本发明实施例中，该Gaia系统中支持流数据与批数据交互的数据交换系统还包括辅助工具模块；
辅助工具模块，用于提供辅助工具，包括：
批数据类型转换工具，用于将string格式的数据类型转换为Gaia系统可识别的内部数据类型；
Object类型转换工具，用于将Object类型还原为原始类型；
日期转换工具，用于将批数据中不同类型的日期数据统一转换为Date格式；
核心算子模块，对于string类型的批数据，调用批数据类型转换工具，将string类型的批数据转换为Gaia系统可识别的内部数据类型；
缓存模块进行批数据的缓存时，统一转换为Object类型，核心算子模块在读取缓存模块中的批数据时，调用Object类型转换工具，将Object类型的批数据还原为原始类型；
核心算子模块在读取缓存模块中的批数据时，调用日期转换工具，将批数据中不同类型的日期数据统一转换为Date格式。
本发明实施例提供的数据交换系统，其中批数据定义模块、缓存模块、核心算子模块可以分别从辅助工具模块中获取自己需要的工具类；核心算子模块通过调用批数据定义模块获取连接相关信息，并调用外部数据接口模块从不同数据源中获取批数据，调用缓存模块对数据进行缓存操作。操作符模块对核心算子模块和批数据定义模块进行了外部封装，使得Gaia系统可以进行统一调用。
图2示出了本发明实施例中批数据定义模块的批数据构造逻辑，即本发明实施例中，批数据定义模块采用批数据辅助构造逻辑进行批数据的构造，即用户通过调用不同数据类型的批数据构造方法，并传入数据源信息和批数据结构信息构造初步的批数据，在完成构造时将检验批数据信息合法性，并生成对应存储结构。
综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种Gaia系统中支持流数据与批数据交互的数据交换系统，其特征在于，包括操作符模块、核心算子模块、批数据定义模块、缓存模块以及外部数据接口模块；
所述批数据定义模块，用于存储批数据定义数据和连接数据；
所述批数据定义数据包括批数据结构信息以及数据源信息，批数据定义数据为用户通过Gaia系统写入的数据；
所述连接数据包括流数据与批数据建立连接时所需的连接信息，包括流数据主键列、流数据投影列、批数据主键列、批数据投影列、输入数据类型、输出数据类型和缓存类型；所述缓存类型包括全量缓存和增量缓存；
所述输入数据类型为所述流数据和所述批数据的数据类型；所述输出数据类型为连接后的流数据和批数据输出时的数据类型；
所述缓存模块，用于对批数据进行缓存，用于实现对所述批数据的全量缓存或增量缓存；
所述外部数据接口模块，包括数据源的连接接口，用于根据数据源类型调用数据源驱动以从所述数据源中获取批数据；
所述核心算子模块，调用批数据定义模块获取批数据定义数据和连接数据；根据所述批数据定义数据中的数据源类型，调用所述外部数据接口模块中对应数据源的连接接口，根据所述批数据结构信息和连接数据中的批数据主键列以及批数据投影列构建查询，从所述数据源中获取批数据；
所述核心算子模块，调用所述批数据定义模块获取所述连接数据中的缓存类型，根据所述缓存类型调用所述缓存模块，对从所述数据源中获取的批数据进行全量缓存或增量缓存；
所述核心算子模块，根据从所述批数据定义模块获取待连接的流数据主键列，从所述缓存模块中读取待连接的批数据，所述待连接的批数据的批数据主键列与所述待连接的流数据主键列一致，将所述待连接的批数据的投影列和所述待连接的流数据投影列进行合并，得到连接后的流数据和批数据，并根据所述输出数据类型进行输出；
所述操作符模块，用于对所述核心算子模块进行封装，构建核心算子模块的辅助操作方法，所述核心算子模块的辅助操作方法包括：流数据主键列输入方法、流数据投影列输入方法、批数据主键列输入方法、批数据投影列输入方法以及缓存类型输入方法；
所述操作符模块，还用于对所述批数据定义模块进行封装，构建批数据定义模块的辅助操作方法，所述批数据定义模块的辅助操作方法为批数据定义数据输入方法；
所述操作符模块，还用于将所述核心算子模块的辅助操作方法以及批数据定义模块的辅助操作方法封装为应用处理接口API，暴露到Gaia系统的统一算子中，与Gaia系统中的其他算子保持一致的调用方式；
Gaia系统通过调用所述操作符模块中的API，将所述流数据主键列、流数据投影列、维表数据主键列、维表数据投影列以及缓存类型经所述核心算子模块送入所述批数据定义模块。
2.如权利要求1所述的系统，其特征在于，所述批数据结构信息包括批数据的表名、字段名和字段类型，所述数据源信息包括数据源类型、数据源地址、数据源连接用户名、数据源连接密码以及数据源模式名。
3.如权利要求1所述的系统，其特征在于，还包括辅助工具模块；
所述辅助工具模块，用于提供辅助工具，包括：
批数据类型转换工具，用于将string格式的数据类型转换为Gaia系统可识别的内部数据类型；
Object类型转换工具，用于将Object类型还原为原始类型；
日期转换工具，用于将批数据中不同类型的日期数据统一转换为Date格式；
所述核心算子模块，对于string类型的批数据，调用所述批数据类型转换工具，将string类型的批数据转换为Gaia系统可识别的内部数据类型；
所述缓存模块进行批数据的缓存时，统一转换为Object类型，所述核心算子模块在读取所述缓存模块中的批数据时，调用所述Object类型转换工具，将Object类型的批数据还原为原始类型；
所述核心算子模块在读取所述缓存模块中的批数据时，调用所述日期转换工具，将批数据中不同类型的日期数据统一转换为Date格式。
CN201911067510.XA 2019-11-04 2019-11-04 一种Gaia系统中支持流数据与批数据交互的数据交换系统 Active CN110825775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911067510.XA CN110825775B (zh) 2019-11-04 2019-11-04 一种Gaia系统中支持流数据与批数据交互的数据交换系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911067510.XA CN110825775B (zh) 2019-11-04 2019-11-04 一种Gaia系统中支持流数据与批数据交互的数据交换系统

Publications (2)

Publication Number Publication Date
CN110825775A true CN110825775A (zh) 2020-02-21
CN110825775B CN110825775B (zh) 2022-02-15

Family

ID=69552391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911067510.XA Active CN110825775B (zh) 2019-11-04 2019-11-04 一种Gaia系统中支持流数据与批数据交互的数据交换系统

Country Status (1)

Country Link
CN (1) CN110825775B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416537A (zh) * 2020-12-15 2021-02-26 东北大学 一种Gaia系统中的统一表达API调用系统及调用方法
CN113934759A (zh) * 2021-10-15 2022-01-14 东北大学 Gaia系统中面向融合计算的数据缓存装置与系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008007A (zh) * 2014-06-12 2014-08-27 深圳先进技术研究院 基于流式计算和批处理计算的互操作数据处理系统及方法
CN107045534A (zh) * 2017-01-20 2017-08-15 中国航天系统科学与工程研究院 大数据环境下基于HBase的异构数据库在线交换与共享系统
CN107247799A (zh) * 2017-06-27 2017-10-13 北京天机数测数据科技有限公司 兼容多种大数据存储的数据处理方法、系统及其建模方法
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN109933306A (zh) * 2019-02-11 2019-06-25 山东大学 混合计算框架生成、数据处理方法、装置及混合计算框架
US10404787B1 (en) * 2015-04-06 2019-09-03 EMC IP Holding Company LLC Scalable distributed data streaming computations across multiple data processing clusters

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104008007A (zh) * 2014-06-12 2014-08-27 深圳先进技术研究院 基于流式计算和批处理计算的互操作数据处理系统及方法
US10404787B1 (en) * 2015-04-06 2019-09-03 EMC IP Holding Company LLC Scalable distributed data streaming computations across multiple data processing clusters
CN107045534A (zh) * 2017-01-20 2017-08-15 中国航天系统科学与工程研究院 大数据环境下基于HBase的异构数据库在线交换与共享系统
CN107247799A (zh) * 2017-06-27 2017-10-13 北京天机数测数据科技有限公司 兼容多种大数据存储的数据处理方法、系统及其建模方法
CN107577805A (zh) * 2017-09-26 2018-01-12 华南理工大学 一种面向日志大数据分析的业务服务系统
CN109933306A (zh) * 2019-02-11 2019-06-25 山东大学 混合计算框架生成、数据处理方法、装置及混合计算框架

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
EILEEN KUEHN 等: ""Monitoring Data Streams at Process Level in Scientific Big Data Batch Clusters"", 《2014 IEEE/ACM INTERNATIONAL SYMPOSIUM ON BIG DATA COMPUTING》 *
N.A. WALTON 等: ""Estimating Gaia"s performance for O stars in the Outer Galactic plane using Herschel data"", 《EAS PUBLICATIONS SERIES》 *
屈志坚 等: ""面向智能调度监测的流计算并行滑动窗口技术"", 《电网技术》 *
张玉峰等: "基于动态数据挖掘的物流信息分析模型研究", 《情报科学》 *
李亚林: ""变曲率流道内固液两相CFD-DEM方法及在大型脱硫泵中的应用"", 《中国博士学位论文全文数据库 工程科技Ⅰ辑》 *
董建伟: ""SACC2014：腾讯资源调度平台Gaia分享"", 《HTTPS://CLOUD.IT168.COM/A2014/0918/1667/000001667383.SHTML》 *
董春涛等: "Hadoop YARN大数据计算框架及其资源调度机制研究", 《信息通信技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416537A (zh) * 2020-12-15 2021-02-26 东北大学 一种Gaia系统中的统一表达API调用系统及调用方法
CN113934759A (zh) * 2021-10-15 2022-01-14 东北大学 Gaia系统中面向融合计算的数据缓存装置与系统
CN113934759B (zh) * 2021-10-15 2024-05-17 东北大学 Gaia系统中面向融合计算的数据缓存装置与系统

Also Published As

Publication number Publication date
CN110825775B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN106202207B (zh) 一种基于HBase-ORM的索引及检索系统
AU2016359060B2 (en) Storing and retrieving data of a data cube
CN111462327B (zh) 三维造型软件三维检验模型非结构化数据解析方法
Stadler et al. Making interoperability persistent: A 3D geo database based on CityGML
CN105426394B (zh) 基于跨平台的移动报表生成方法和系统
US11693912B2 (en) Adapting database queries for data virtualization over combined database stores
US20080168082A1 (en) Method and apparatus for modelling data exchange in a data flow of an extract, transform, and load (etl) process
CN102841889A (zh) 一种基于orm架构的高效数据库访问的实现方法及装置
EP1457878B1 (en) Automatic generation of an object model from a dimensional model
CN107103064B (zh) 数据统计方法及装置
US9930113B2 (en) Data retrieval via a telecommunication network
CN112347071B (zh) 一种配电网云平台数据融合方法及配电网云平台
CN110825775B (zh) 一种Gaia系统中支持流数据与批数据交互的数据交换系统
CN106951552A (zh) 一种基于Hadoop的用户行为数据处理方法
CN110968579B (zh) 执行计划的生成与执行方法、数据库引擎及存储介质
CN111078961A (zh) 多数据源查询驱动系统、方法、装置和存储介质
CN112307396B (zh) 基于多引擎数据建模计算分析的平台架构及其处理方法
CN112633822B (zh) 基于数字孪生技术的资产管理方法、存储介质和移动终端
CN115469941A (zh) 基于FlinkSQL的风控指标计算开发的自动配置处理方法及系统
CN103617167A (zh) 一种通用的元数据/关系映射框架
CN104331517A (zh) 一种检索方法及装置
CN109460416B (zh) 一种数据处理方法、装置、电子设备及存储介质
CN108763127B (zh) 源数据与目标数据相互转换的Modbus适配器的实现方法
CN110647518B (zh) 一种数据源融合计算方法、组件及装置
CN110515993B (zh) 税务数据转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant