CN107066204A - 一种多节点间的数据交换方法 - Google Patents

一种多节点间的数据交换方法 Download PDF

Info

Publication number
CN107066204A
CN107066204A CN201611208639.4A CN201611208639A CN107066204A CN 107066204 A CN107066204 A CN 107066204A CN 201611208639 A CN201611208639 A CN 201611208639A CN 107066204 A CN107066204 A CN 107066204A
Authority
CN
China
Prior art keywords
data
node
acquisition system
data acquisition
write
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611208639.4A
Other languages
English (en)
Inventor
楚涌泉
刘斌
张丽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology (beijing) Co Ltd
Original Assignee
Space Star Technology (beijing) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology (beijing) Co Ltd filed Critical Space Star Technology (beijing) Co Ltd
Priority to CN201611208639.4A priority Critical patent/CN107066204A/zh
Publication of CN107066204A publication Critical patent/CN107066204A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种多节点间的数据交换方法，本发明提供的方法将数据传输的负担从数据提供方的服务器中分离出来，选择运行负载最低的节点作为中转节点，减轻数据提供方的服务器的运行负载，加快系统交换速度，进一步地，本申请将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。

Description

一种多节点间的数据交换方法
【技术领域】
本发明属于数据共享领域，尤其涉及多节点间的数据交换方法。
【背景技术】
近年来随着网络技术的发展，分布式技术得到了深入的研究和广泛的应用，分布式系统中的各个计算机都存储有数据，数据可以在各个计算机之间进行共享和交换。
现有的数据交换方式，通常是在数据请求方和数据提供方之间直接进行数据交换，这对作为数据提供方的服务器的读写和传输速度要求很高，但是对于硬盘读写速度通常比较慢，影响服务器自身的数据处理。
基于上述问题，现在亟需一种新的多节点间的数据交换方法，减轻数据提供方服务器的处理负载，提高系统数据交换速度。
【发明内容】
为了解决现有技术中的上述问题，本发明提出了一种多节点间的数据交换方法。
本发明采用的技术方案如下：
一种多节点间的数据交换方法，所述数据以树结构存储，其特征在于，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据交换请求，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点，在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区；
(4)对缓存区中的多个子树合并成数据D的完整树结构；
(5)重复上述步骤(3)(4)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；
(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合E传送给节点A，并将缓冲区中存储的数据量删除；
(7)节点A接收上述传送的数据集合E并存储在其内存中；
(8)如果数据集合E是数据集合G的子集，再继续执行上述步骤(5)-(7)，如果数据集合E和数据集合G相同，则执行步骤(9)-(12)；
(9)节点A为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点A硬盘中划分一块区域作为暂时持久化区域；
(10)将数据集合E中的数据F的树结构分成M棵子树，依次写入上述暂时持久化区域；
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构；
(12)重复上述步骤(10)(11)，将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
本发明的有益效果包括：将数据传输的负担从数据提供方的服务器中分离出来，选择运行负载最低的节点作为中转节点，减轻数据提供方的服务器的运行负载，加快系统交换速度，进一步地，本申请将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。
【附图说明】
此处所说明的附图是用来提供对本发明的进一步理解，构成本申请的一部分，但并不构成对本发明的不当限定，在附图中：
图1是本发明系统的结构图。
图2是本发明多节点间的数据交换方法的流程图。
【具体实施方式】
下面将结合附图以及具体实施例来详细说明本发明，其中的示意性实施例以及说明仅用来解释本发明，但并不作为对本发明的限定。
参见附图1，是本发明所应用的系统，在一个实施例中，系统为分布式系统，该系统包括一个控制节点和多个计算节点。在其他实施方式中，也可以是云系统等多节点系统。
参见附图2，一种多节点间的数据交换方法，所述数据以树结构存储，其特征在于，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据交换请求。
在一个实施方式中，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个节点C作为缓存节点，
在一个实施方式中，选择一个当前运行负载最低的一个节点作为缓存节点，以便最低限度降低对其他节点运行的影响，然后在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区；
(4)对缓存区中的多个子树合并成数据D的完整树结构；
(5)重复上述步骤(3)(4)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；
(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合E传送给节点A，并将缓冲区中存储的数据量删除；
(7)节点A接收上述传送的数据集合E并存储在其内存中；
(8)如果数据集合E是数据集合G的子集，再继续执行上述步骤(5)-(7)，如果数据集合E和数据集合G相同，则执行步骤(9)-(12)；
(9)节点A为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点A硬盘中划分一块区域作为暂时持久化区域；
(10)将数据集合E中的数据F的树结构分成M棵子树，依次写入上述暂时持久化区域；
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构；
(12)重复上述步骤(10)(11)，将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
通过上述方法，本发明将数据传输的负担从数据提供方的服务器中分离出来，选择运行负载最低的节点作为中转节点，减轻数据提供方的服务器的运行负载，加快系统交换速度，进一步地，本申请将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区，再对缓存区中的多个子树合并成数据D的完整树结构，缩小了传输过程和写入内存中的数据量，提高了传输和读写速率。
以上所述仅是本发明的较佳实施方式，故凡依本发明专利申请范围所述的构造、特征及原理所做的等效变化或修饰，均包括于本发明专利申请范围内。

Claims (3)

1.一种多节点间的数据交换方法，所述数据以树结构存储，其特征在于，该方法包括如下步骤：
(1)节点A向节点B发送数据集合G的数据交换请求，所述数据集合G中包括若干数据D，其中数据D以树结构存储在节点B中，节点A为数据请求节点，节点B为数据发送节点；
(2)从其他节点中选择一个当前运行负载最低的节点C作为缓存节点，在缓存节点内存中划分一个区域作为共享数据交换的缓冲区；
(3)将数据集合G中的数据D的树结构分成N棵子树，依次写入内存的上述缓存区；
(4)对缓存区中的多个子树合并成数据D的完整树结构；
(5)重复上述步骤(3)(4)，将数据集合G中的数据的树结构依次进行子树分解、写入缓存区和完整树合并；
(6)监控缓冲区中存储的数据量是否超过缓存阈值，如果超过缓存阈值，则将缓存区中存储的数据集合E传送给节点A，并将缓冲区中存储的数据量删除；
(7)节点A接收上述传送的数据集合E并存储在其内存中；
(8)如果数据集合E是数据集合G的子集，再继续执行上述步骤(5)-(7)，如果数据集合E和数据集合G相同，则执行步骤(9)-(12)；
(9)节点A为防止数据丢失，需要将数据存储在暂时持久化磁盘，在节点A硬盘中划分一块区域作为暂时持久化区域；
(10)将数据集合E中的数据F的树结构分成M棵子树，依次写入上述暂时持久化区域；
(11)对暂时持久化区域中的子树合并处理成数据F的完整树结构；
(12)重复上述步骤(10)(11)，将数据集合E中的数据的树结构依次进行子树分解、写入缓存区和完整树合并。
2.根据权利要求1所述的多节点间的数据交换方法，其特征在于，所述多节点处于云系统中。
3.根据权利要求1所述的多节点间的数据交换方法，其特征在于，所述多节点处于分布式系统中。
CN201611208639.4A 2016-12-23 2016-12-23 一种多节点间的数据交换方法 Pending CN107066204A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611208639.4A CN107066204A (zh) 2016-12-23 2016-12-23 一种多节点间的数据交换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611208639.4A CN107066204A (zh) 2016-12-23 2016-12-23 一种多节点间的数据交换方法

Publications (1)

Publication Number Publication Date
CN107066204A true CN107066204A (zh) 2017-08-18

Family

ID=59623138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611208639.4A Pending CN107066204A (zh) 2016-12-23 2016-12-23 一种多节点间的数据交换方法

Country Status (1)

Country Link
CN (1) CN107066204A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561128A (zh) * 2017-09-27 2019-04-02 北京国双科技有限公司 数据传输方法和装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852826A (en) * 1996-01-26 1998-12-22 Sequent Computer Systems, Inc. Parallel merge sort method and apparatus
CN102045388A (zh) * 2010-11-25 2011-05-04 汉王科技股份有限公司 在线阅读装置及在线阅读方法
CN102682110A (zh) * 2012-05-10 2012-09-19 北京大学 面向大规模空间信息的高性能缓存设计方法
CN103888419A (zh) * 2012-12-21 2014-06-25 中国电信股份有限公司 虚拟桌面终端获取视频内容的方法、系统与cdn子系统
CN105224237A (zh) * 2014-05-26 2016-01-06 华为技术有限公司 一种数据存储方法及装置
CN105897859A (zh) * 2016-03-25 2016-08-24 天津书生云科技有限公司 一种存储系统
CN105915600A (zh) * 2016-04-13 2016-08-31 乐视控股（北京）有限公司 基于cdn网络系统的数据写入方法及cdn网络系统
CN106020713A (zh) * 2015-09-16 2016-10-12 展视网（北京）科技有限公司 一种基于缓冲区的文件存储方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5852826A (en) * 1996-01-26 1998-12-22 Sequent Computer Systems, Inc. Parallel merge sort method and apparatus
CN102045388A (zh) * 2010-11-25 2011-05-04 汉王科技股份有限公司 在线阅读装置及在线阅读方法
CN102682110A (zh) * 2012-05-10 2012-09-19 北京大学 面向大规模空间信息的高性能缓存设计方法
CN103888419A (zh) * 2012-12-21 2014-06-25 中国电信股份有限公司 虚拟桌面终端获取视频内容的方法、系统与cdn子系统
CN105224237A (zh) * 2014-05-26 2016-01-06 华为技术有限公司 一种数据存储方法及装置
CN106020713A (zh) * 2015-09-16 2016-10-12 展视网（北京）科技有限公司 一种基于缓冲区的文件存储方法
CN105897859A (zh) * 2016-03-25 2016-08-24 天津书生云科技有限公司 一种存储系统
CN105915600A (zh) * 2016-04-13 2016-08-31 乐视控股（北京）有限公司 基于cdn网络系统的数据写入方法及cdn网络系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561128A (zh) * 2017-09-27 2019-04-02 北京国双科技有限公司 数据传输方法和装置
CN109561128B (zh) * 2017-09-27 2022-05-20 北京国双科技有限公司 数据传输方法和装置

Similar Documents

Publication Publication Date Title
CN103294710B (zh) 一种数据存取方法和装置
CN105574104B (zh) 一种基于ObjectStore的LogStructure存储系统及其数据写入方法
US8521986B2 (en) Allocating storage memory based on future file size or use estimates
US10698831B2 (en) Method and apparatus for data access
CN102307206B (zh) 基于云存储的快速访问虚拟机镜像的缓存系统的缓存方法
CN110287160B (zh) 一种缓存空间清理方法及装置
US8799584B2 (en) Method and apparatus for implementing multi-processor memory coherency
US20200019474A1 (en) Consistency recovery method for seamless database duplication
CN107229415A (zh) 一种数据写方法、数据读方法及相关设备、系统
CN105426321A (zh) 采用远程位置信息的rdma友好缓存方法
CN109117950A (zh) 基于人工智能设备的分层稀疏张量压缩方法
CN101800768B (zh) 一种基于存储联盟子集划分的网格数据副本生成方法
US11729268B2 (en) Computer-implemented method, system, and storage medium for prefetching in a distributed graph architecture
CN104158863A (zh) 基于事务级别全程高速缓冲的云存储机制
CN102355502A (zh) 存储系统远程接入桌面操作系统的远程接入方法
CN105574008A (zh) 应用于分布式文件系统的任务调度方法和设备
CN107066204A (zh) 一种多节点间的数据交换方法
CN108614879A (zh) 小文件处理方法与装置
CN105022833A (zh) 一种数据处理的方法、节点及监控系统
CN108173974A (zh) 一种基于分布式缓存Memcached的HC Model内部缓存数据淘汰方法
US10097637B2 (en) Grid distributed cache
CN105930519A (zh) 一种基于集群文件系统的全局共享读缓存方法
KR101229851B1 (ko) 데이터의 병렬적 중복제거 시스템
US10067678B1 (en) Probabilistic eviction of partial aggregation results from constrained results storage
CN108243203A (zh) 一种云系统中的数据共享方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
CB02 Change of applicant information

Address after: 101399 No. 2 East Airport Road, Shunyi Airport Economic Core Area, Beijing (1st, 5th and 7th floors of Industrial Park 1A-4)

Applicant after: Zhongke Star Map Co., Ltd.

Address before: 101399 Building 1A-4, National Geographic Information Technology Industrial Park, Guomen Business District, Shunyi District, Beijing

Applicant before: Space Star Technology (Beijing) Co., Ltd.

CB02 Change of applicant information
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination