CN106598497B - 一种服务器集群数据存储方法及装置 - Google Patents
一种服务器集群数据存储方法及装置 Download PDFInfo
- Publication number
- CN106598497B CN106598497B CN201611131331.4A CN201611131331A CN106598497B CN 106598497 B CN106598497 B CN 106598497B CN 201611131331 A CN201611131331 A CN 201611131331A CN 106598497 B CN106598497 B CN 106598497B
- Authority
- CN
- China
- Prior art keywords
- storage unit
- data
- storage
- node
- server cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 239000000872 buffer Substances 0.000 claims abstract description 31
- 238000013500 data storage Methods 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0608—Saving storage space on storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
- G06F3/0656—Data buffering arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种服务器集群数据存储方法及装置，方法包括：在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中。通过本发明服务器集群数据存储方法及装置，对于先传输到的节点数据先入库，若各节点间存在网路延时问题，可避免先传输到节点数据在缓冲区中积压，从而避免在内存中积压较多数据，避免导致内存增长问题。
Description
技术领域
本发明涉及服务器集群技术领域，特别是涉及一种服务器集群数据存储方法及装置。
背景技术
随着使用用户的不断增多，服务器集群中设置的监控节点数量日益增多。现有技术中，由节点采集的数据发送至服务器，服务器对数据的处理机制是平行处理，即按各节点数据平行入库，此种处理机制中其实服务器默认各节点数据同时到达。但事实上由于存在网络延时问题，各节点传输数据会出现不同步，有些节点数据迟迟没有传输到，而先传输到的数据在缓冲区中积压，会导致内存增长问题。
发明内容
鉴于此，本发明提供一种服务器集群数据存储方法及装置，可避免在服务器内存中积压较多数据，占用内存。
为实现上述目的，本发明提供如下技术方案：
一种服务器集群数据存储方法，包括：
在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中。
可选地，在服务器缓冲区内各所述存储单元为链表形式；
与节点对应的所述存储单元包括：
用于存储数据的数据域；
用于存储下一存储单元地址的指针域。
可选地，与节点对应的所述存储单元还包括：用于记录计数值的计数域。
可选地，在所述存储单元中各次数据以链表形式存储。
可选地，所述当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中包括：
当所述存储单元的计数值不为零时，将该所述存储单元中最先传输到的数据存储到数据库中对应位置处，并将该所述存储单元的计数值减1。
一种服务器集群数据存储装置，包括：
计数模块，用于在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
存储控制模块，用于循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该所述存储单元中的数据顺次存储到数据库中。
可选地，在服务器缓冲区内各所述存储单元为链表形式；
与节点对应的所述存储单元包括：
用于存储数据的数据域；
用于存储下一存储单元地址的指针域。
可选地，与节点对应的所述存储单元还包括：用于记录计数值的计数域。
可选地，在所述存储单元中各次数据以链表形式存储。
可选地，所述存储控制模块具体用于当所述存储单元的计数值不为零时，将该所述存储单元中最先传输到的数据存储到数据库中对应位置处；
所述计数模块还用于当将所述存储单元中最先传输到的数据存储到数据库中对应位置处后，将该所述存储单元的计数值减1。
由上述技术方案可知，本发明所提供的服务器集群数据存储方法及装置，在服务器缓冲区内设置分别与各节点对应的存储单元，由存储单元接收对应节点发送的数据，并计数存储单元中当前的数据数量；通过循环遍历各存储单元，当存储单元的计数值不为零时，将该所述存储单元中的数据顺次存储到数据库中。
通过本发明服务器集群数据存储方法及装置，对于先传输到的节点数据先入库，若各节点间存在网路延时问题，可避免先传输到节点数据在缓冲区中积压，从而避免在内存中积压较多数据，避免导致内存增长问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种服务器集群数据存储方法的示意图；
图2为本发明实施例中在服务器缓冲区中存储单元的设置示意图；
图3为本发明实施例提供的一种服务器集群数据存储系统的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
请参考图1，本发明实施例提供的一种服务器集群数据存储方法，包括：
S10：在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
S11：循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中。
可以看出，本实施例服务器集群数据存储方法，在服务器缓冲区内设置分别与各节点对应的存储单元，由存储单元接收对应节点发送的数据，并计数存储单元中当前的数据数量；通过循环遍历各存储单元，当存储单元的计数值不为零时，将该所述存储单元中的数据存储到数据库中。
通过本实施例服务器集群数据存储方法，对于先传输到的节点数据先入库，若各节点间存在网路延时问题，可避免先传输到节点数据在缓冲区中积压，从而避免在内存中积压较多数据，避免导致内存增长问题。
下面对本实施例服务器集群数据存储方法作进一步说明。本实施例服务器集群数据存储方法包括：
S10：在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量。
可选的，在服务器缓冲区内各所述存储单元可以是以链表形式设置，可参考图2，具体的，与节点对应的所述存储单元包括：用于存储数据的数据域；用于存储下一存储单元地址的指针域。
在服务器缓冲区中各存储单元以链表形式设置，在链表上允许插入或者删除任意位置上的单元，采用链表结构可以充分利用系统内存空间，实现灵活的内存动态管理。
在存储单元数据域中包括多个数据单元，各数据单元用于放置节点各次发送的数据。优选的，本实施例中数据单元设置为链表形式，在所述存储单元中各次数据以链表形式存储。
本方法中，在服务器缓冲区中设置计数功能。对各存储单元中当前的数据数量进行计数。相应的，在与节点对应的存储单元中还包括：用于记录计数值的计数域。
S11：循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该所述存储单元中的数据顺次存储到数据库中。
循环遍历服务器缓冲区中各存储单元，在遍历过程中检测到存储单元的计数值不为零，表明该存储单元中当前存在数据，则将该所述存储单元中最先传输到的数据存储到数据库中对应位置处，并将该所述存储单元的计数值减1。然后遍历到下一存储单元，检测下一存储单元的计数值是否为零，在不为零时将其中放置的最先传输到的数据入库，存储到数据库中其对应位置处，如此循环遍历缓冲区中各存储单元。
因此，本实施例服务器集群数据存储方法，对于先传输到的节点数据先入库，在遇到网络延时情况时，可避免在内存中积压较多数据，避免占用内存，可提高内存利用率，也可有效防止节点数据丢失。
相应的，请参考图3，本发明实施例还提供一种服务器集群数据存储装置，包括：
计数模块20，用于在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
存储控制模块21，用于循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该所述存储单元中的数据顺次存储到数据库中。
可以看出，本实施例服务器集群数据存储装置，包括计数模块和存储控制模块，在服务器缓冲区内设置分别与各节点对应的存储单元，由存储单元接收对应节点发送的数据，并计数存储单元中当前的数据数量；通过循环遍历各存储单元，当存储单元的计数值不为零时，将该所述存储单元中的数据存储到数据库中。
通过本实施例服务器集群数据存储装置，对于先传输到的节点数据先入库，若各节点间存在网路延时问题，可避免先传输到节点数据在缓冲区中积压，从而避免在内存中积压较多数据，避免导致内存增长问题。
可选的，本实施例服务器集群数据存储装置，在服务器缓冲区内各所述存储单元可以链表形式设置，可参考图2，具体的，与节点对应的所述存储单元包括：用于存储数据的数据域；用于存储下一存储单元地址的指针域。
服务器缓冲区中各存储单元以链表形式设置，在链表上允许插入或者删除任意位置上的单元，采用链表结构可以充分利用系统内存空间，实现灵活的内存动态管理。
在存储单元数据域中包括多个数据单元，数据单元用于放置节点各次发送的数据。优选的，本实施例中各数据单元设置为链表形式，在所述存储单元中各次数据以链表形式存储。
计数模块20对服务器缓冲区中各存储单元中当前的数据数量分别进行计数。相应的，在与节点对应的存储单元中还包括：用于记录计数值的计数域。
本实施例服务器集群数据存储装置中，所述存储控制模块21具体用于当所述存储单元的计数值不为零时，将该所述存储单元中最先传输到的数据存储到数据库中对应位置处；所述计数模块20还用于当将所述存储单元中最先传输到的数据存储到数据库中对应位置处后，将该所述存储单元的计数值减1。
存储控制模块21循环遍历服务器缓冲区中各存储单元，在遍历过程中检测到存储单元的计数值不为零，表明该存储单元中当前存在数据，则将该所述存储单元中最先传输到的数据存储到数据库中对应位置处，并将该所述存储单元的计数值减1。然后遍历到下一存储单元，检测下一存储单元的计数值是否为零，在不为零时将其中放置的最先传输到的数据入库，存储到数据库中其对应位置处，如此循环遍历缓冲区中各存储单元。
因此，本实施例服务器集群数据存储装置，对于先传输到的节点数据先入库，在遇到网络延时情况时，可避免在内存中积压较多数据，避免占用内存，可提高内存利用率，也可有效防止节点数据丢失。
以上对本发明所提供的一种服务器集群数据存储方法及装置进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
Claims (10)
1.一种服务器集群数据存储方法，其特征在于，包括：
在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中。
2.根据权利要求1所述的服务器集群数据存储方法，其特征在于，在服务器缓冲区内各所述存储单元为链表形式；
与节点对应的所述存储单元包括：
用于存储数据的数据域；
用于存储下一存储单元地址的指针域。
3.根据权利要求2所述的服务器集群数据存储方法，其特征在于，与节点对应的所述存储单元还包括：用于记录计数值的计数域。
4.根据权利要求2所述的服务器集群数据存储方法，其特征在于，在所述存储单元中各次数据以链表形式存储。
5.根据权利要求1所述的服务器集群数据存储方法，其特征在于，所述当所述存储单元的计数值不为零时，将该存储单元中的数据顺次存储到数据库中包括：
当所述存储单元的计数值不为零时，将该所述存储单元中最先传输到的数据存储到数据库中对应位置处，并将该所述存储单元的计数值减1。
6.一种服务器集群数据存储装置，其特征在于，包括：
计数模块，用于在服务器缓冲区内设置分别与各节点对应的存储单元，由所述存储单元接收对应节点发送的数据，并计数所述存储单元中当前的数据数量；
存储控制模块，用于循环遍历各所述存储单元，当所述存储单元的计数值不为零时，将该所述存储单元中的数据顺次存储到数据库中。
7.根据权利要求6所述的服务器集群数据存储装置，其特征在于，在服务器缓冲区内各所述存储单元为链表形式；
与节点对应的所述存储单元包括：
用于存储数据的数据域；
用于存储下一存储单元地址的指针域。
8.根据权利要求7所述的服务器集群数据存储装置，其特征在于，与节点对应的所述存储单元还包括：用于记录计数值的计数域。
9.根据权利要求7所述的服务器集群数据存储装置，其特征在于，在所述存储单元中各次数据以链表形式存储。
10.根据权利要求6所述的服务器集群数据存储装置，其特征在于，所述存储控制模块具体用于当所述存储单元的计数值不为零时，将该所述存储单元中最先传输到的数据存储到数据库中对应位置处；
所述计数模块还用于当将所述存储单元中最先传输到的数据存储到数据库中对应位置处后，将该所述存储单元的计数值减1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611131331.4A CN106598497B (zh) | 2016-12-09 | 2016-12-09 | 一种服务器集群数据存储方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611131331.4A CN106598497B (zh) | 2016-12-09 | 2016-12-09 | 一种服务器集群数据存储方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106598497A CN106598497A (zh) | 2017-04-26 |
| CN106598497B true CN106598497B (zh) | 2019-09-24 |
Family
ID=58598520
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611131331.4A Active CN106598497B (zh) | 2016-12-09 | 2016-12-09 | 一种服务器集群数据存储方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106598497B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107797765B (zh) * | 2017-09-26 | 2020-09-25 | 昆明理工大学 | 一种延长电可擦除存储元件使用寿命的方法 |
| CN116107503A (zh) * | 2022-12-26 | 2023-05-12 | 长春吉大正元信息技术股份有限公司 | 数据传输方法、装置及电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827120A (zh) * | 2010-02-25 | 2010-09-08 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储方法及系统 |
| CN103268318A (zh) * | 2013-04-16 | 2013-08-28 | 华中科技大学 | 一种强一致性的分布式键值数据库系统及其读写方法 |
| CN103338135A (zh) * | 2013-07-05 | 2013-10-02 | 山东大学 | 一种集群存储容量的实时监控方法 |
| CN105224252A (zh) * | 2015-09-28 | 2016-01-06 | 北京奇虎科技有限公司 | 数据存储方法及装置 |
-
2016
- 2016-12-09 CN CN201611131331.4A patent/CN106598497B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101827120A (zh) * | 2010-02-25 | 2010-09-08 | 浪潮(北京)电子信息产业有限公司 | 一种集群存储方法及系统 |
| CN103268318A (zh) * | 2013-04-16 | 2013-08-28 | 华中科技大学 | 一种强一致性的分布式键值数据库系统及其读写方法 |
| CN103338135A (zh) * | 2013-07-05 | 2013-10-02 | 山东大学 | 一种集群存储容量的实时监控方法 |
| CN105224252A (zh) * | 2015-09-28 | 2016-01-06 | 北京奇虎科技有限公司 | 数据存储方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106598497A (zh) | 2017-04-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108733344B (zh) | 数据读写方法、装置以及环形队列 | |
| WO2018013690A3 (en) | Memory controller arbiter with streak and read/write transaction management | |
| US10325219B2 (en) | Parallel retrieval of training data from multiple producers for machine learning systems | |
| CN109085997A (zh) | 用于非易失性存储器的存储器高效持续键值储存 | |
| CN105210028B (zh) | 持久存储器装置、用于管理其的方法和计算机可读存储介质 | |
| CN106598497B (zh) | 一种服务器集群数据存储方法及装置 | |
| CN103327072A (zh) | 一种集群负载均衡的方法及其系统 | |
| CN105446893A (zh) | 数据存储方法及设备 | |
| US9288284B2 (en) | Managed event queue for independent clients | |
| CN105573711B (zh) | 一种数据缓存方法及装置 | |
| CN109167699A (zh) | 处理区块链的节点的状态的方法和装置 | |
| CN203644370U (zh) | 一种显示屏的异步级联装置 | |
| CN105308906A (zh) | 时间上高效的计数器和计量器架构 | |
| RU2014119846A (ru) | Устройство для обработки информации и способ обработки информации | |
| CN104615684B (zh) | 一种海量数据通信并发处理方法及系统 | |
| CN110209493A (zh) | 内存管理方法、装置、电子设备及存储介质 | |
| CN109145255A (zh) | 一种稀疏矩阵lu分解行更新的异构并行计算方法 | |
| CN105656807A (zh) | 一种网络芯片多通道数据传输方法及传输装置 | |
| CN101827120A (zh) | 一种集群存储方法及系统 | |
| CN107453948A (zh) | 一种网络测量数据的存储方法及系统 | |
| CN104199729B (zh) | 一种资源管理方法及系统 | |
| CN102487401B (zh) | 一种文件下载方法和装置 | |
| CN110209548A (zh) | 服务控制方法、系统、电子设备及计算机可读存储介质 | |
| CN103927125B (zh) | 分时缓冲器存取系统及存储器控制器 | |
| CN104375967B (zh) | 一种应用于pci‑e的流量控制方法、设备及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |