CN104050100B - 一种适用于大数据环境的数据流存储管理方法及系统 - Google Patents

一种适用于大数据环境的数据流存储管理方法及系统 Download PDF

Info

Publication number
CN104050100B
CN104050100B CN201410228006.4A CN201410228006A CN104050100B CN 104050100 B CN104050100 B CN 104050100B CN 201410228006 A CN201410228006 A CN 201410228006A CN 104050100 B CN104050100 B CN 104050100B
Authority
CN
China
Prior art keywords
data
storage
buffer
volume
clock frequency
Prior art date
Application number
CN201410228006.4A
Other languages
English (en)
Other versions
CN104050100A (zh
Inventor
张可
柴毅
周国庆
汪嘉文
Original Assignee
重庆大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 重庆大学 filed Critical 重庆大学
Priority to CN201410228006.4A priority Critical patent/CN104050100B/zh
Publication of CN104050100A publication Critical patent/CN104050100A/zh
Application granted granted Critical
Publication of CN104050100B publication Critical patent/CN104050100B/zh

Links

Abstract

本发明公开了一种适用于大数据环境的数据流存储管理方法和系统,首先建立数据服务器;然后获取存储数据;最后判断存储数据的数据量,数据量大时采用事件触发机制控制存储方式将存储数据存入数据服务器;数据量小时采用时钟频率控制存储方式将存储数据存入数据服务器。本发明提供一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储,提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔,利用窗口大小可变的批量存储模块,采用由多个单个动态大小的缓冲器组成的缓冲器组。对数据进行简单的处理和索引更新。提高数据流存储效率,提高信息服务响应速度,兼顾检索过程,提高检索效率;从而提高企业的运作效率。

Description

一种适用于大数据环境的数据流存储管理方法及系统

技术领域

[0001] 本发明涉及计算机信息数据存储,特别涉及一种适用于大数据环境的数据流存储 管理方法及系统。

背景技术

[0002] 大数据环境下现有的数据记录体系大多采用固定窗口大小批量存储的方式来存 储数据。随着数据规模的扩大,存储的效率不高。

[0003] 现有数据记录体系在对数据记录高并发性和数据的海量性的存储能力不足,并且 数据记录对数据进行任何处理,后续查询就需要耗费更多的时间和资源来对数据进行检 索。

[0004] 因此需要一种适用于大数据环境的数据流存储管理方法及系统。

发明内容

[0005] 有鉴于此,本发明所要解决的技术问题是提供一种适用于大数据环境的数据流存 储管理方法及系统。

[0006] 本发明是通过以下技术方案来实现的:

[0007] 本发明的目的之一是提出一种适用于大数据环境的数据流存储管理方法;本发明 的目的之二是提出一种适用于大数据环境的数据流存储管理系统。

[0008] 本发明的目的之一是通过以下技术方案来实现的:

[0009] 本发明提供的一种适用于大数据环境的数据流存储管理方法,包括以下步骤:

[0010] S1:建立数据服务器;

[0011] S2:获取存储数据;

[0012] S3:判断存储数据的数据量是否超过预设阈值,如果是,则采用事件触发机制控制 存储方式将存储数据存入数据服务器;

[0013] S4:如果否,则采用时钟频率控制存储方式将存储数据存入数据服务器。

[0014] 进一步,所述时钟频率控制存储过程采用以下步骤:

[0015] S31:获取数据量和数据类型;

[0016] S32:根据数据量和数据类型设置批量存储的动态窗口;

[0017] S33:设置存储时钟频率;

[0018] S:34:按照动态窗口和存储时钟频率将数据存入存储缓冲器;

[0019] S35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0020] S36:如果否,则返回步骤S34。

[0021] 进一步,所述事件触发机制控制存储过程采用以下步骤:

[0022] S41:获取数据量和数据类型;

[0023] S42:按照数据量和数据类型设置存储缓冲器;

[0024] S43:将数据存入存储缓冲器;

[0025] S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0026] S45:如果否,则返回步骤S43。

[0027] 进一步,所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:

[0028] S5:获取存储数据的数据量;

[0029] S6:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增 大;

[0030] S7:如果否,则将缓冲器的大小按预设倍率减小。

[0031] 进一步,所述存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存 储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。

[0032] 进一步,所述动态窗口采用以下步骤来调整:

[0033] 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中 选择相应的窗口大小值。

[0034] 本发明的目的之二是通过以下技术方案来实现的:

[0035] 本发明提供的一种适用于大数据环境的数据流存储管理系统,包括数据服务器单 元、数据采集单元、存储模式单元;

[0036] 所述数据服务器单元,用于建立数据服务器;

[0037] 所述数据采集单元,用于获取存储数据;

[0038] 所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式,所述存 储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式;

[0039] 所述事件触发机制控制存储模式,用于当存储数据的数据量超过预设阈值,则采 用事件触发机制控制存储方式将存储数据存入数据服务器;

[0040] 所述时钟频率控制存储模式,用于当存储数据的数据量低于预设阈值,则采用时 钟频率控制存储方式将存储数据存入数据服务器。

[0041] 所述时钟频率控制存储模式采用以下步骤:

[0042] S31:获取数据量和数据类型;

[0043] S32:根据数据量和数据类型设置批量存储的动态窗口;

[0044] S33:设置存储时钟频率;

[0045] S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器;

[0046] S35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0047] S36:如果否,则返回步骤S34;

[0048] 所述事件触发机制控制存储模式采用以下步骤:

[0049] S41:获取数据量和数据类型;

[0050] S42:按照数据量和数据类型设置存储缓冲器;

[0051] S43:将数据存入存储缓冲器;

[0052] S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0053] S45:如果否,则返回步骤S43。

[0054] 进一步,所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:

[0055] S5:获取存储数据的数据量;

[0056] S6:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增 大;

[0057] S7:如果否,则将缓冲器的大小按预设倍率减小。

[0058] 进一步,所述存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存 储过程中的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。

[0059] 进一步,所述动态窗口采用以下步骤来调整:

[0060] 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中 选择相应的窗口大小值。

[0061] 本发明的有益效果在于:本发明提供了一种适用于大数据环境的数据流存储管理 系统的架构方法。采用分布式数据存储,提高信息服务的响应能力。采用步进控制和事件控 制共同控制存储时间间隔,利用窗口大小可变的批量存储模块,采用由多个单个动态大小 的缓冲器组成的缓冲器组。并对数据进行简单的处理,进行索引更新。提高了数据流存储效 率,提高了信息服务响应速度,并且兼顾后续的检索过程,为数据添加索引,提高检索效率; 从而提高企业的运作效率。

附图说明

[0062] 为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进 一步的详细描述,其中:

[0063]图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图; [0064]图2为本发明实施例提供的适用于大数据环境的数据流存储管理系统图。

具体实施方式

[0065] 以下将参照附图,对本发明的优选实施例进行详细的描述。应当理解,优选实施例 仅为了说明本发明,而不是为了限制本发明的保护范围。

[0066] 图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图;图2 为本发明实施例提供的适用于大数据环境的数据流存储管理系统图,如图所示:本发明提 供的一种适用于大数据环境的数据流存储管理方法,包括以下步骤:

[0067] S1:建立数据服务器;

[0068] S2:获取存储数据;

[0069] S3:判断存储数据的数据量是否超过预设阈值,如果是,则采用事件触发机制控制 存储方式将存储数据存入数据服务器;

[0070] S4:如果否,则采用时钟频率控制存储方式将存储数据存入数据服务器。

[0071] 所述时钟频率控制存储过程采用以下步骤:

[0072] S31:获取数据量和数据类型;

[0073] S32:根据数据量和数据类型设置批量存储的动态窗口;

[0074] S33:设置存储时钟频率;

[0075] S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器;

[0076] S35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0077] S36:如果否,则返回步骤S34。

[0078] 所述事件触发机制控制存储过程采用以下步骤:

[0079] S41:获取数据量和数据类型;

[0080] S42:按照数据量和数据类型设置存储缓冲器;

[0081] S43:将数据存入存储缓冲器;

[0082] S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0083] S45:如果否,则返回步骤S43。

[0084] 所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:

[0085] S5:获取存储数据的数据量;

[0086] S6:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增 大;

[0087] S7:如果否,则将缓冲器的大小按预设倍率减小。

[0088] 所述存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存储过程中 的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。

[0089] 所述动态窗口采用以下步骤来调整:

[0090] 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中 选择相应的窗口大小值。

[0091] 本实施例还提供了一种适用于大数据环境的数据流存储管理系统,包括数据服务 器单元、数据采集单元、存储模式单元;

[0092] 所述数据服务器单元,用于建立数据服务器;

[0093] 所述数据采集单元,用于获取存储数据;

[0094] 所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式,所述存 储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式;

[0095]所述事件触发机制控制存储模式,用于当存储数据的数据量超过预设阈值,则采 用事件触发机制控制存储方式将存储数据存入数据服务器;

[0096]所述时钟频率控制存储模式,用于当存储数据的数据量低于预设阈值,则采用时 钟频率控制存储方式将存储数据存入数据服务器。

[0097] 所述时钟频率控制存储模式采用以下步骤:

[0098] S31:获取数据量和数据类型;

[0099] S32:根据数据量和数据类型设置批量存储的动态窗口;

[0100] S33:设置存储时钟频率;

[0101] S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器;

[0102] S:35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0103] S36:如果否,则返回步骤S34;

[0104] 所述事件触发机制控制存储模式采用以下步骤:

[0105] S41:获取数据量和数据类型;

[0106] S42:按照数据量和数据类型设置存储缓冲器;

[0107] S43:将数据存入存储缓冲器;

[0108] S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储;

[0109] S45:如果否,则返回步骤S43。

[0110] 所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整:

[0111] S5:获取存储数据的数据量;

[0112] se:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增 大;

[0113] s7:如果否,则将缓冲器的大小按预设倍率减小。

[0114] 所述存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存储过程中 的存储缓冲器采用以下方式来调整:将缓冲器的大小调整到预设最大值。

[0115] 所述动态窗口采用以下步骤来调整:

[0116] 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中 选择相应的窗口大小值。

[0117] 用户或者管理者还可以根据自己系统的配置和运行的标准来进行设置。如当一个 数据块大于5G时,则将缓冲器的大小增大一倍或者是增大到一个具体的空间。

[0118] 最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管通过参 照本发明的优选实施例已经对本发明进行了描述,但本领域的普通技术人员应当理解,可 以在形式上和细节上对其作出各种各样的改变,而不偏离所附权利要求书所限定的本发明 的精神和范围。

Claims (9)

1. 一种适用于大数据环境的数据流存储管理方法,其特征在于:包括以下步骤: S1:建立数据服务器; S2:获取存储数据; S3:判断存储数据的数据量是否超过预设阈值,如果是,则采用事件触发机制控制存储 方式将存储数据存入数据服务器; S4:如果否,则采用时钟频率控制存储方式将存储数据存入数据服务器; 所述时钟频率控制存储方式采用以下步骤: S31:获取数据量和数据类型; S32:根据数据量和数据类型设置批量存储的动态窗口; S33:设置存储时钟频率; S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器; S35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储; S36:如果否,则返回步骤S34。
2.根据权利要求1所述的适用于大数据环境的数据流存储管理方法,其特征在于:所述 事件触发机制控制存储方式采用以下步骤: S41:获取数据量和数据类型; S42:按照数据量和数据类型设置存储缓冲器; S43:将数据存入存储缓冲器; S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储; S45:如果否,则返回步骤S43。
3. 根据权利要求2所述的适用于大数据环境的数据流存储管理方法,其特征在于:所述 时钟频率控制存储方式中的存储缓冲器采用以下步骤来调整: S5:获取存储数据的数据量; S6:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增大; S7:如果否,则将缓冲器的大小按预设倍率减小。
4. 根据权利要求3所述的适用于大数据环境的数据流存储管理方法,其特征在于:所述 存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存储方式中的存储缓冲器 采用以下方式来调整:将缓冲器的大小调整到预设最大值。
5. 根据权利要求2所述的适用于大数据环境的数据流存储管理方法,其特征在于:所述 动态窗口采用以下步骤来调整: 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中选择 相应的窗口大小值。
6. —种适用于大数据环境的数据流存储管理系统,其特征在于:包括数据服务器单元、 数据采集单元和存储模式单元; 所述数据服务器单元,用于建立数据服务器; 所述数据采集单元,用于获取存储数据; 所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式,所述存储模 式单元包括事件触发机制控制存储模式和时钟频率控制存储模式; 所述事件触发机制控制存储模式,用于当存储数据的数据量超过预设阈值,则采用事 件触发机制控制存储方式将存储数据存入数据服务器; '^ 所述时钟频雜制雜模式,肝当存储数細数擴鮮__值,脈用时钟 率控制存储方式将存储数据存入数据服务器; 所述时钟频率控制存储方式采用以下步骤: S31:获取数据量和数据类型; S32:根据数据量和数据类型设置批夏存储的动态窗口; S33:设置存储时钟频率; ’ S34:按照动态窗口和存储时钟频率将数据存入存储缓冲器; S35:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储; S36:如果否,则返回步骤S34; 所述事件触发机制控制存储方式采用以下步骤: S41:获取数据量和数据类型; S42:按照数据量和数据类型设置存储缓冲器; S43:将数据存入存储缓冲器; S44:检测存储缓冲器是否存满数据,如果是,则将存储缓冲器内的数据存储; S45:如果否,则返回步骤S43。
7.根据权利要求6所述的适用于大数据环境的数据流存储管理系统,其特征在于:所述 时钟频率控制存储方式中的存储缓冲器采用以下步骤来调整: S5:获取存储数据的数据量; se:判断数据量是否超过缓冲器预设值;如果是,则将缓冲器的大小按预设倍率增大; S7:如果否,则将缓冲器的大小按预设倍率减小。
8. 根据权利要求6所述的适用于大数据环境的数据流存储管理系统,其特征在于:所述 存储缓冲器大小为动态多级存储缓冲器;所述事件触发机制控制存储方式中的存储缓冲器 采用以下方式来调整:将缓冲器的大小调整到预设最大值。
9. 根据权利要求6所述的适用于大数据环境的数据流存储管理系统,其特征在于:所述 动态窗口采用以下步骤来调整: 首先获取数据量和数据类型;然后根据数据量和数据类型在预设存储窗口规则中选择 相应的窗口大小值。
CN201410228006.4A 2014-05-27 2014-05-27 一种适用于大数据环境的数据流存储管理方法及系统 CN104050100B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410228006.4A CN104050100B (zh) 2014-05-27 2014-05-27 一种适用于大数据环境的数据流存储管理方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410228006.4A CN104050100B (zh) 2014-05-27 2014-05-27 一种适用于大数据环境的数据流存储管理方法及系统

Publications (2)

Publication Number Publication Date
CN104050100A CN104050100A (zh) 2014-09-17
CN104050100B true CN104050100B (zh) 2017-07-14

Family

ID=51502979

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410228006.4A CN104050100B (zh) 2014-05-27 2014-05-27 一种适用于大数据环境的数据流存储管理方法及系统

Country Status (1)

Country Link
CN (1) CN104050100B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105912271A (zh) * 2016-04-14 2016-08-31 四川隧唐科技股份有限公司 一种车载快速数据储存方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101120294A (zh) * 2005-06-29 2008-02-06 西格马特尔公司 管理电子设备中的时钟速度的系统和方法
CN101410773A (zh) * 2003-07-28 2009-04-15 索诺斯公司 同步多个独立时钟数字数据处理设备间的操作的系统和方法
US7539142B1 (en) * 2004-07-21 2009-05-26 Adtran, Inc. Ethernet LAN interface for T3 network
CN102662890A (zh) * 2012-02-28 2012-09-12 南京大学 一种高效的数据流存储方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101410773A (zh) * 2003-07-28 2009-04-15 索诺斯公司 同步多个独立时钟数字数据处理设备间的操作的系统和方法
US7539142B1 (en) * 2004-07-21 2009-05-26 Adtran, Inc. Ethernet LAN interface for T3 network
CN101120294A (zh) * 2005-06-29 2008-02-06 西格马特尔公司 管理电子设备中的时钟速度的系统和方法
CN102662890A (zh) * 2012-02-28 2012-09-12 南京大学 一种高效的数据流存储方法

Also Published As

Publication number Publication date
CN104050100A (zh) 2014-09-17

Similar Documents

Publication Publication Date Title
US10430332B2 (en) System and method for performance tuning of garbage collection algorithms
US9276886B1 (en) Apparatus and method for dynamically configuring application component tiles
US9426221B2 (en) Dynamic proximity based networked storage
US9979772B2 (en) Data streaming method of an electronic device and the electronic device thereof
TW201220180A (en) Application lifetime management
US20120173831A1 (en) Data aware storage system operations
US20130198050A1 (en) Systems and methods for providing decision time brokerage in a hybrid cloud ecosystem
US20130185229A1 (en) Apparatus and method for managing storage of data blocks
US9201810B2 (en) Memory page eviction priority in mobile computing devices
CN104424199B (zh) 搜索方法和装置
CN102857578B (zh) 一种网络硬盘的文件上传方法、系统及网盘客户端
CN103309740B (zh) 程序启动方法、装置和设备
US9454407B2 (en) Service resource allocation
US8555156B2 (en) Inferring that a message has been read
CN104601736A (zh) 一种短url服务的实现方法及装置
CN103678408B (zh) 一种查询数据的方法及装置
CN103106130A (zh) 一种移动终端的软件行为数据监控方法及系统
CN104536701A (zh) 一种nvme协议多命令队列的实现方法及系统
US20140040895A1 (en) Electronic device and method for allocating resources for virtual machines
JP2012118987A (ja) メモリ使用量照会ガバナのためのコンピュータ実装方法、コンピュータ・プログラム、およびシステム(メモリ使用量照会ガバナ)
US20150244645A1 (en) Intelligent infrastructure capacity management
WO2014170775A1 (en) System, method, and device for exposing wireless module data storage
US20130254374A1 (en) Resource allocation based on social networking trends in a networked computing environment
US20150026430A1 (en) Virtual data storage service with sparse provisioning
CN104601696A (zh) 服务处理方法、服务调用框架、装置和架构

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant