CN106991125A - 基于内存计算的大数据分布式数据交互系统的实现方法 - Google Patents

基于内存计算的大数据分布式数据交互系统的实现方法 Download PDF

Info

Publication number
CN106991125A
CN106991125A CN201710123816.7A CN201710123816A CN106991125A CN 106991125 A CN106991125 A CN 106991125A CN 201710123816 A CN201710123816 A CN 201710123816A CN 106991125 A CN106991125 A CN 106991125A
Authority
CN
China
Prior art keywords
data
client terminal
child node
interactive system
interactive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710123816.7A
Other languages
English (en)
Inventor
吕骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Nash Big Data Technology Co ltd
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of CN106991125A publication Critical patent/CN106991125A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2471—Distributed queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2423—Interactive query statement specification based on a database schema

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，该实现方法包括：交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；交互子节点接收查询客户端发送的查询请求，底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。本发明的有益效果是：本发明是基于内存、数据访问为中心设计发明的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。

Description

基于内存计算的大数据分布式数据交互系统的实现方法
技术领域
本发明涉及数据处理技术领域，尤其涉及一种基于内存计算的大数据分布式数据交互系统的实现方法。
背景技术
大数据时代，数据的快速生成，快速交易，传统的数据交换体系在快速处理数据时往往显得力不从心。
传统的数据交换体系主要依赖与传统的存储系统，传统存储系统最大的瓶颈就是I\O，多而频繁的交互，导致传统存储系统性能直线下降；传统的存储系统，虽然可以通过并行，虚拟化等方式来规避瓶颈，但是其成本也是异常的昂贵；传统的数据交换体系，最大的问题在于不同文件系统间的数据无法进行直接交互，必须要通过其他繁琐的方式来进行交互。
发明内容
本发明提供了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：
A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
作为本发明的进一步改进，所述交互子节点为多个。
作为本发明的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。
作为本发明的进一步改进，所述交互系统主控器包括索引数据。
作为本发明的进一步改进，所述交互系统主控器包括心跳检测数据。
本发明还提供了一种基于内存计算的大数据分布式数据交互系统，包括：
交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
作为本发明的进一步改进，所述交互子节点为多个。
作为本发明的进一步改进，所述交互子节点的存储器包括内存、SSD或硬盘。
作为本发明的进一步改进，所述交互系统主控器包括索引数据。
作为本发明的进一步改进，所述交互系统主控器包括心跳检测数据。
本发明的有益效果是：本发明是基于内存、数据访问为中心设计发明的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。
附图说明
图1是本发明的数据交互系统的原理框图。
具体实施方式
本发明公开了一种基于内存计算的大数据分布式数据交互系统的实现方法，包括如下步骤：
A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
所述交互子节点为多个，所述交互子节点的存储器包括内存、SSD或硬盘，所述交互系统主控器包括索引数据，所述交互系统主控器包括心跳检测数据。
工作时，具体为：
1.查询客户端对数据交互系统发起数据请求；
2.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
3.查询客户端接收到交互系统主控制器传回的数据时，反馈给上层应用；当查询客户端接收交互系统主控制器传回的访问交互子节点时，自动向交互子节点发出查询请求；
4.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
5.查询客户端接收到交互子节点传回的数据时，反馈给上层应用；当查询客户端接收交互子节点传回的访问底层存储系统时，自动向底层存储系统发出查询请求；
6.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端；
7.查询客户端接收到底层存储系统的数据反馈给上层应用。
如图1所示，本发明还公开了一种基于内存计算的大数据分布式数据交互系统，包括：
交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
在数据交互系统中，所述交互子节点为多个，所述交互子节点的存储器包括内存、SSD或硬盘，所述交互系统主控器包括索引数据，所述交互系统主控器包括心跳检测数据。
本发明的基于内存计算的大数据分布式数据交互系统简称为Nash-Center。
Nash-Center是基于内存、数据访问为中心设计发明的数据交互系统，它介于存储系统和计算系统之间，既可以部署在传统的架构下，也可以部署在大数据平台下，不管是在大数据生态圈，还是传统的IT界，都有独特的地位。就用户应用和计算框架而言，无论用户的应用与计算框架是否运行在相同的计算引擎下，Nash-Center都可以从底层来支持数据的访问、快速存储、数据的快速交互，以及多任务的数据共享和本地化。
Nash-Center为底层的存储与大数据应用建立了通道，并且重新定义了一组面向数据使用的工作负载程序，因此，Nash-Center为大数据应用提供了重量级的数据加速，同时还对其他程序提供了通用的数据访问接口。
Nash-Center屏蔽了底层存储系统的整合细节，所以，任何底层存储系统都可以支撑运行在Nash-Center之上的应用和框架，同时，Nash-Center可以挂载多种底层的存储系统，所以Nash-Center还可以为任意数量的不同数据源提供服务。
本发明的核心技术是在Nash-Center上对数据进行快速交互。
其优点有三：
1.数据交互在分布式内存中进行，规避IO瓶颈，不同热度的数据存放在交互子节点的不同介质上。（极速处理、合理存放）
2.交互子节点可以将自己资源（本地内存、SSD或者硬盘）分配给Nash-Center来使用，在Nash-Center中，可以采用大量廉价的设备来提高运算效率（成本低，效率高）。
3.Nash-Center为应用提供文件系统的API，查询客户端通过发起与交互系统主控器来执行元数据的操作，并通过与交互子节点的通信来对Nash-Center的数据进行读写。同时存储在底层存储系统上而不是在Nash-Center上的数据可以直接通过底层存储客户端访问。（不固定方式构建，可独立使用，可混合使用）。
本发明的上述三个优势完美解决了传统数据交换架构下的3个缺点。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (10)

1.一种基于内存计算的大数据分布式数据交互系统的实现方法，其特征在于，包括如下步骤：
A.交互系统主控器接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
B.交互子节点接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
C.底层存储系统接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
2.根据权利要求1所述的实现方法，其特征在于，所述交互子节点为多个。
3.根据权利要求1所述的实现方法，其特征在于，所述交互子节点的存储器包括内存、SSD或硬盘。
4.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括索引数据。
5.根据权利要求1所述的实现方法，其特征在于，所述交互系统主控器包括心跳检测数据。
6.一种基于内存计算的大数据分布式数据交互系统，其特征在于，包括：
交互系统主控器，用于接收查询客户端发送的数据请求，且交互系统主控制器首先查询内部的元数据，如果在元数据中有需要的数据信息，将会通过交互系统主控制器中的索引指向交互子节点，否则告知查询客户端去查询交互子节点；
交互子节点，用于接收查询客户端发送的查询请求，且交互子节点会通过本地的索引在存储器中进行查询，如果有数据，那么直接反馈给查询客户端，否则告知查询客户端去查询底层存储系统；
底层存储系统，用于接收到查询客户端发送的查询请求后，直接将数据反馈给查询客户端。
7.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互子节点为多个。
8.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互子节点的存储器包括内存、SSD或硬盘。
9.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互系统主控器包括索引数据。
10.根据权利要求6所述的基于内存计算的大数据分布式数据交互系统，其特征在于，所述交互系统主控器包括心跳检测数据。
CN201710123816.7A 2016-12-30 2017-03-03 基于内存计算的大数据分布式数据交互系统的实现方法 Pending CN106991125A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016112619276 2016-12-30
CN201611261927 2016-12-30

Publications (1)

Publication Number Publication Date
CN106991125A true CN106991125A (zh) 2017-07-28

Family

ID=59411650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710123816.7A Pending CN106991125A (zh) 2016-12-30 2017-03-03 基于内存计算的大数据分布式数据交互系统的实现方法

Country Status (1)

Country Link
CN (1) CN106991125A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600413A (zh) * 2018-04-23 2019-04-09 中国科学院高能物理研究所 一种基于高能物理事例的数据管理与传输方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313207A1 (en) * 2007-06-13 2008-12-18 Chad Modad System and method for collection, retrieval, and distribution of data
CN104142957A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种面向区域医疗的数据共享的方法及其系统
CN106161520A (zh) * 2015-04-02 2016-11-23 朗新科技股份有限公司 大数据应用平台及基于其的交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080313207A1 (en) * 2007-06-13 2008-12-18 Chad Modad System and method for collection, retrieval, and distribution of data
CN104142957A (zh) * 2013-05-10 2014-11-12 上海联影医疗科技有限公司 一种面向区域医疗的数据共享的方法及其系统
CN106161520A (zh) * 2015-04-02 2016-11-23 朗新科技股份有限公司 大数据应用平台及基于其的交互方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109600413A (zh) * 2018-04-23 2019-04-09 中国科学院高能物理研究所 一种基于高能物理事例的数据管理与传输方法
CN109600413B (zh) * 2018-04-23 2021-04-06 中国科学院高能物理研究所 一种基于高能物理事例的数据管理与传输方法

Similar Documents

Publication Publication Date Title
US9977727B2 (en) Methods and systems for internally debugging code in an on-demand service environment
CA2824394C (en) Method and system for providing a session in a heterogeneous environment
US8713186B2 (en) Server-side connection resource pooling
US20190196875A1 (en) Method, system and computer program product for processing computing task
CN105373420B (zh) 数据传输方法及装置
US9495411B2 (en) Increased parallelism performance of batch requests
CN107688322A (zh) 一种容器化管理系统
CN104618693A (zh) 一种基于云计算的监控视频在线处理任务管理方法及系统
US9110695B1 (en) Request queues for interactive clients in a shared file system of a parallel computing system
WO2019047441A1 (zh) 一种通信优化方法及系统
CN105190545A (zh) 虚拟化方法和装置及计算机设备
JP2006512688A5 (zh)
CN104780202B (zh) 用于端到端云服务数据库虚拟化及管理的系统和方法
CN103561060A (zh) 一种多线程环境下的通信链接方法及中转服务器
US11360824B2 (en) Customized partitioning of compute instances
WO2016026436A1 (en) Service provision
CN106991125A (zh) 基于内存计算的大数据分布式数据交互系统的实现方法
CN103023986B (zh) 一种对多用户提供rdbms服务的系统和方法
CN106970827A (zh) 信息处理方法、信息处理装置、电子设备
US20150046574A1 (en) System to enhance performance, throughput and reliability of an existing cloud offering
Dalčeković et al. Enabling the IoT paradigm through multi-tenancy supported by scalable data acquisition layer
CN106331092A (zh) 一种基于hadoop大数据平台的应用服务系统及部署方法
CN107704618A (zh) 一种基于aufs文件系统的热迁徙方法和系统
CN107656795A (zh) 一种VMware平台的虚拟机转换到WinServer平台的实现方法及装置
JP2014081765A (ja) 負荷分散装置、負荷分散方法および負荷分散プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20200807

Address after: 201, room 518057, building A, No. 1, front Bay Road, Qianhai, Shenzhen Guangdong cooperation zone (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant after: SHENZHEN NASH BIG DATA TECHNOLOGY Co.,Ltd.

Address before: 518000 Guangdong city of Shenzhen province Futian District Rd No. 30 Huilong garden 13 Wen long 701

Applicant before: Lv Jun

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20170728

RJ01 Rejection of invention patent application after publication