CN107368370A - 一种高效率数据处理系统 - Google Patents

一种高效率数据处理系统 Download PDF

Info

Publication number
CN107368370A
CN107368370A CN201710538070.6A CN201710538070A CN107368370A CN 107368370 A CN107368370 A CN 107368370A CN 201710538070 A CN201710538070 A CN 201710538070A CN 107368370 A CN107368370 A CN 107368370A
Authority
CN
China
Prior art keywords
data
module
high efficiency
handling system
memory module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710538070.6A
Other languages
English (en)
Inventor
徐乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Leteng Technology Consulting Co ltd
Original Assignee
Hefei Leteng Technology Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hefei Leteng Technology Consulting Co ltd filed Critical Hefei Leteng Technology Consulting Co ltd
Priority to CN201710538070.6A priority Critical patent/CN107368370A/zh
Publication of CN107368370A publication Critical patent/CN107368370A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种高效率数据处理系统，包括：数据处理模块、数据存储模块和数据通信模块，所述数据通信模块用于在所述数据处理模块和所述数据存储模块之间传送数据，其中，所述数据处理模块中包括数据缓存子模块，所述数据缓存子模块用于存储处理频率高于预定频率阈值的数据；本发明的目的在于提供一种可以高效的做到数据筛选，减少内存与磁盘二者之间的IO速率差异；增加数据传输的管道数量；增加数据传输的管道带宽；提升共享存储处理能力和冗余保护能力的高效率数据处理系统。

Description

一种高效率数据处理系统
技术领域
本发明属于高效率数据处理系统设计技术领域，具体涉及一种能够提高数据处理速度的高效率数据处理系统。
背景技术
在数据库领域，处理海量数据一般采用的传统硬件系统，其结构大多为单机( 使用本机存储)、单机或者集群加共享存储( 单个存储设备) 两种模式。高效率数据处理系统提交使用之前需要集成各部分组件，包括机柜、电源、节点机、存储、网络等各部件。目前使用的数据处理业务的硬件系统，对使用环境和人员有较高要求，如专用机房、专用制冷设备、独立的电源系统，网络等，同时对人员使用带来诸多不便，如管理、技能、各品牌兼容性等方面。
现有技术中，通常需要把大量数据从共享存储读取到服务器内存这一过程，而这一过程存在很多瓶颈，比如服务器内存处与磁盘IO 速率差异很大、数据传输管道的数量和带宽是否满足大量数据传输、共享存储是否存在单点故障以及共享存储是否存在单点性能不足情况。
发明内容
本发明的目的在于提供一种可以高效的做到数据筛选，减少内存与磁盘二者之间的IO速率差异；增加数据传输的管道数量；增加数据传输的管道带宽；提升共享存储处理能力和冗余保护能力的高效率数据处理系统。
本发明技术方案的一种高效率数据处理系统，包括：数据处理模块、数据存储模块和数据通信模块，所述数据通信模块用于在所述数据处理模块和所述数据存储模块之间传送数据，其中，所述数据处理模块中包括数据缓存子模块，所述数据缓存子模块用于存储处理频率高于预定频率阈值的数据。
优选的，所述数据处理模块中还包括数据筛选子模块，所述数据筛选子模块用于判断所述数据处理模块所处理的数据的处理频率是否高于所述预定频率阈值，如果所述处理频率高于所述预定频率阈值，则将所处理的数据存储在所述数据缓存子模块中。
优选的，所述数据处理模块还包括处理器和内存。
优选的，所述数据处理模块由至少两台服务器实现。
优选的，所述数据通信模块为无限带宽网络模块。
优选的，所述无限带宽网络模块包括多个无限带宽网络接口，所述数据处理模块和每个所述数据存储模块通过所述多个无限带宽网络接口相通信。
优选的，所述多个无限带宽网络接口为四个无限带宽网络接口。
优选的，所述数据存储模块为多个数据存储模块、每个所述数据存储模块均包括处理器、内存和操作系统。
优选的，所述数据处理模块根据存储策略将数据存储在对应数据存储模块中或者从对应数据存储模块中读取数据。
优选的，所述存储策略包括应用数据存储模块数量最少的策略和所应用的每个数据存储模块所处理的数据量相同的策略。
本发明技术有益效果：
本发明技术方案的一种高效率数据处理系统，能够提高高效率数据处理系统的处理效率；可以高效的做到数据筛选；减少内存与磁盘三者之间的IO速率差异；增加数据传输的管道数量；增加数据传输的管道带宽；提升共享存储处理能力和冗余保护能力。
附图说明
图1为本发明一种高效率数据处理系统控制流程示意图；
图2为本发明一种高效率数据处理系统另一种实施例控制流程示意图；
其中，102、数据处理模块，104、数据缓存子模块，106、数据通信模块，108、数据存储模块。
具体实施方式
为便于本领域技术人员理解本发明技术方案，现结合说明书附图对本发明技术方案做进一步的说明。
如图1、图2所示，一种高效率数据处理系统，包括：数据处理模块102、数据存储模块108和数据通信模块106，所述数据通信模块106用于在所述数据处理模块102和所述数据存储模块108之间传送数据，其中，所述数据处理模块102中包括数据缓存子模块104，所述数据缓存子模块104用于存储处理频率高于预定频率阈值的数据。
所述数据处理模块102中还包括数据筛选子模块，所述数据筛选子模块用于判断所述数据处理模块102所处理的数据的处理频率是否高于所述预定频率阈值，如果所述处理频率高于所述预定频率阈值，则将所处理的数据存储在所述数据缓存子模块104中。
所述数据处理模块102还包括处理器和内存。
所述数据处理模块102由至少两台服务器实现。
所述数据通信模块106为无限带宽网络模块。
所述无限带宽网络模块包括多个无限带宽网络接口，所述数据处理模块102和每个所述数据存储模块108通过所述多个无限带宽网络接口相通信。
所述多个无限带宽网络接口为四个无限带宽网络接口。
所述数据存储模块108为多个数据存储模块、每个所述数据存储模块108均包括处理器、内存和操作系统。
所述数据处理模块102根据存储策略将数据存储在对应数据存储模块中或者从对应数据存储模块中读取数据。
所述存储策略包括应用数据存储模块108数量最少的策略和所应用的每个数据存储模块108所处理的数据量相同的策略。
如图1所示，在该高效率数据处理系统中，包括有数据处理模块102、数据通信模块106 和数据存储模块108。其中，数据处理模块102 用于处理数据；数据通信模块106 用于在数据处理模块102 和数据存储模块108之间传送数据；数据存储模块108 用于存储数据( 包括但不限于原始数据和经过数据处理模块102 处理的数据等等)。
数据处理模块102中包括数据缓存子模块104，数据缓存子模块104 用于存储由数据缓存子模块104进行处理的处理频率( 例如，单位时间内的处理次数) 高于预定频率阈值的数据。也就是说，数据缓存子模块104 能够存储数据处理模块102中经常处理( 即处理频率较高，例如，处理频率高于预定频率阈值) 的数据，减少了存数据处理模块102频繁访问数据存储模块108中的相对低速硬盘的概率，提高了访问效率，缓解了数据处理模块102中内存与磁盘速率的差异。
在一个优选实施例中，数据处理模块102 中还包括有数据筛选子模块( 未示出)，数据筛选子模块用于判断数据处理模块102 所处理的数据的处理频率是否高于预定频率阈值，如果处理频率高于预定频率阈值，则将所处理的数据存储在数据缓存子模块104 中。
例如，当用户指示数据处理模块102 处理数据时，数据处理模块102 首先判断所要处理的数据是否存储在数据缓存子模块104 中，如果该数据存储在该数据缓存子模块104 中，则直接从该数据缓存子模块104 中调取该数据进行处理，如果该数据存储在该数据缓存子模块104 中才通过数据通信模块106 从数据存储模块108 中调取该数据。其中，预定频率阈值可以预先设定在该数据处理模块102 中。
在一个优选实施例中，数据处理模块102 采用集群模式设计，至少采用两台服务器，保证了该数据处理模块102 具有高可用和负载均衡的特性。
在高效率数据处理系统中，数据通信模块106 可以是无限带宽(Infiniband) 网络模块。该无限带宽网络模块106 包括多个无限带宽(Infiniband) 网络接口，每个数据处理模块102 和每个数据存储模块108 通过多个无限带宽网络接口相通信。具体来说，可以将多个无限带宽网络接口聚合使用，即将多个接口组合为一个接口使用，这样与每个接口相连接的用户就可以通过使用经过聚合后的接口而获得了成倍的带宽。优选地，该无限带宽网络接口可以为四个。
在高效率数据处理系统100 中，数据存储模块108 为多个，每个数据存储模块108均包括处理器、内存和操作系统。虽然在图1 中示出了三个存储模块108，但并不限于此。通过处理器、内存和操作系统每个数据存储模块108 均可以对需要处理的数据进行预处理，还可以自行进行冗余备份和数据均衡等等操作。数据处理模块102 根据存储策略将数据存储在对应数据存储模块中并且从对应数据存储模块中读取数据。其中，存储策略包括应用数据存储模块数量最少的策略和所应用的每个数据存储模块所处理的数据量相同的策略。例如，如果采用应用数据存储模块108 数量最少的策略，则当需要将数据存储在数据存储模块108 中时，优先选择已经开启和运行的数据存储模块108，从而节省了资源。如果采用所应用的每个数据存储模块所处理的数据量相同的策略，则当需要将数据存储在数据存储模块108 中时，优先选择相对空闲的数据存储模块108，从而尽量保证各个数据存储模块108的负载均衡。当然，这里的“相同”指的是一种大体平均的概念，不一定要达到绝对相同，例如，保证负载量最大的数据存储模块108 和负载量最小的数据存储模块108 之间的负载差小于预定负载阈值。
传统的共享存储架构为“存储控制器+存储扩展柜”模式。也就意味着，在传统方式下，存储控制器存在着单点故障和性能瓶颈问题；而本次设计的数据处理一体机包含多个数据存储模块108，并且每个模块108 都具有处理能力，可以实现大规模数据并行处理，把繁杂的存储任务进行分布式处理，另外这些模块之间具有冗余性，从而有效解决了大规模数据的处理能力和安全问题。
通过本实施例所描述的高效率数据处理系统100，通过利用数据缓存模块104 对经常处理的数据进行缓存，从而提高了数据的访问效率，缓解了数据处理模块102 中内存与磁盘速率的差异。通过将多个无限带宽网络接口聚合，有效地解决了数据传输管道的带宽和数量问题。通过使用多个数据存储模块108，并且每个数据存储模块108 均具有处理能力，从而有效地解决了大规模数据的处理能力问题和安全性问题。
如图2 所示，本实例主要对目前的高效率数据处理系统进行了相应的改进而形成了一种先进的数据处理一体机的设计架构，在图2 中包括以下改进：
(1)数据处理一体机采用模块化设计，拥有四个模块：数据处理模块、高速数据缓存模块、高速通讯网络模块、以及高速数据存储模块；
(2)数据处理模块采用集群模式设计，至少采用两台服务器，保证模块具有高可用和负载均衡的特性；
(3)高速数据缓存模块基于高速的PCI-E接口高速磁盘实现，它能缓存高速处理模块中经常处理的内存数据，减少了高速处理模块频繁访问低速磁盘的概率，提高数据的访问效率，缓解了数据处理模块中内存与磁盘速率的差异；
(4)高速通讯网络模块基于Infiniband 统一交换技术实现，传输带宽为每秒
40Gb，比传统的光纤( 每秒8Gb) 和万兆网络( 每秒10Gb)都高，而数据处理模块和高速数据存储模块上的Infiniband的接口都可以扩展至4个，并可以实现Infiniband端口聚合，有效解决了数据传输管道的带宽和数量问题；
(5)高速数据存储模块本身就带有独立的CPU和内存，以及操作系统，本身具有很强的处理能力。传统的共享存储架构为“存储控制器+ 存储扩展柜”模式。也就意味着，在传统方式下，存储控制器存在着单点故障和性能瓶颈问题；而本次设计的数据处理一体机包含多个高速数据存储模块，并且每个模块都具有处理能力，可以实现大规模数据并行处理，把繁杂的存储任务进行分布式处理，另外这些模块之间具有冗余性，从而有效解决了大规模数据的处理能力和安全问题。
本发明技术方案在上面结合附图对发明进行了示例性描述，显然本发明具体实现并不受上述方式的限制，只要采用了本发明的方法构思和技术方案进行的各种非实质性改进，或未经改进将发明的构思和技术方案直接应用于其它场合的，均在本发明的保护范围之内。

Claims (10)

1.一种高效率数据处理系统，其特征在于，包括：数据处理模块、数据存储模块和数据通信模块，所述数据通信模块用于在所述数据处理模块和所述数据存储模块之间传送数据，其中，所述数据处理模块中包括数据缓存子模块，所述数据缓存子模块用于存储处理频率高于预定频率阈值的数据。
2.根据权利要求1所述的高效率数据处理系统，其特征在于，所述数据处理模块中还包括数据筛选子模块，所述数据筛选子模块用于判断所述数据处理模块所处理的数据的处理频率是否高于所述预定频率阈值，如果所述处理频率高于所述预定频率阈值，则将所处理的数据存储在所述数据缓存子模块中。
3.根据权利要求1所述的高效率数据处理系统，其特征在于，所述数据处理模块还包括处理器和内存。
4.根据权利要求1所述的高效率数据处理系统，其特征在于，所述数据处理模块由至少两台服务器实现。
5.根据权利要求1至4中任一项所述的高效率数据处理系统，其特征在于，所述数据通信模块为无限带宽网络模块。
6.根据权利要求5所述的高效率数据处理系统，其特征在于，所述无限带宽网络模块包括多个无限带宽网络接口，所述数据处理模块和每个所述数据存储模块通过所述多个无限带宽网络接口相通信。
7.根据权利要求5所述的高效率数据处理系统，其特征在于，所述多个无限带宽网络接口为四个无限带宽网络接口。
8.根据权利要求5所述的高效率数据处理系统，其特征在于，所述数据存储模块为多个数据存储模块、每个所述数据存储模块均包括处理器、内存和操作系统。
9.根据权利要求1至4中任一项所述的高效率数据处理系统，其特征在于，所述数据处理模块根据存储策略将数据存储在对应数据存储模块中或者从对应数据存储模块中读取数据。
10.根据权利要求9所述的高效率数据处理系统，其特征在于，所述存储策略包括应用数据存储模块数量最少的策略和所应用的每个数据存储模块所处理的数据量相同的策略。
CN201710538070.6A 2017-07-04 2017-07-04 一种高效率数据处理系统 Withdrawn CN107368370A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710538070.6A CN107368370A (zh) 2017-07-04 2017-07-04 一种高效率数据处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710538070.6A CN107368370A (zh) 2017-07-04 2017-07-04 一种高效率数据处理系统

Publications (1)

Publication Number Publication Date
CN107368370A true CN107368370A (zh) 2017-11-21

Family

ID=60305911

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710538070.6A Withdrawn CN107368370A (zh) 2017-07-04 2017-07-04 一种高效率数据处理系统

Country Status (1)

Country Link
CN (1) CN107368370A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937997A (zh) * 2012-11-26 2013-02-20 曙光信息产业(北京)有限公司 数据处理系统
CN103188313A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 数据处理系统及数据处理方法
CN105302915A (zh) * 2015-12-23 2016-02-03 西安美林数据技术股份有限公司 基于内存计算的高性能数据处理系统
CN205451037U (zh) * 2015-12-25 2016-08-10 天津联云合创信息科技有限公司 一种高效并行分布式数据处理系统
CN105843966A (zh) * 2016-04-22 2016-08-10 中国银联股份有限公司 数据处理系统以及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188313A (zh) * 2011-12-30 2013-07-03 上海博泰悦臻电子设备制造有限公司 数据处理系统及数据处理方法
CN102937997A (zh) * 2012-11-26 2013-02-20 曙光信息产业(北京)有限公司 数据处理系统
CN105302915A (zh) * 2015-12-23 2016-02-03 西安美林数据技术股份有限公司 基于内存计算的高性能数据处理系统
CN205451037U (zh) * 2015-12-25 2016-08-10 天津联云合创信息科技有限公司 一种高效并行分布式数据处理系统
CN105843966A (zh) * 2016-04-22 2016-08-10 中国银联股份有限公司 数据处理系统以及方法

Similar Documents

Publication Publication Date Title
US10929325B2 (en) PCIE lane aggregation over a high speed link
CN101572667B (zh) 一种ip路由等价多路径的实现方法及装置
CN103793342B (zh) 一种多通道直接内存存取dma控制器
US20160132541A1 (en) Efficient implementations for mapreduce systems
CN102185833B (zh) 一种基于fpga的fc i/o并行处理方法
CN102970242B (zh) 一种实现负载均衡的方法
CN102937997A (zh) 数据处理系统
CN103368777B (zh) 一种数据包处理板及处理方法
CN106027424A (zh) 基于RapidIO交换技术的以太网交换装置
CN102866980A (zh) 用于多核微处理器片上互连网络的网络通信胞元
CN105045566B (zh) 一种嵌入式并行计算系统及采用其的并行计算方法
CN104572498A (zh) 报文的缓存管理方法和装置
CN102843435A (zh) 一种在集群系统中存储介质的访问、响应方法和系统
CN202043124U (zh) 一种基于zigbee网络的智能网关
CN101674193A (zh) 传输控制协议连接的管理方法和装置
CN104898775A (zh) 计算装置、存储装置、网络交换设备及计算机体系架构
CN107368370A (zh) 一种高效率数据处理系统
CN106603355B (zh) 一种计算装置、节点设备和服务器
CN116471242A (zh) 基于rdma的发送端、接收端、数据传输系统及方法
CN103581163A (zh) 一种多功能远程i/o端口控制服务器及其设计方法
CN108459969A (zh) 一种64位多核服务器内数据存储及传输方法
CN209676263U (zh) 一种基于全光网络传输的智能网关
US9268501B1 (en) High performance solid-state based computer data storage array
CN107395527A (zh) 一种带外管理系统及方法
CN2669500Y (zh) 环形交换机堆叠装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20171121

WW01 Invention patent application withdrawn after publication