CN104050100B - 一种适用于大数据环境的数据流存储管理方法及系统 - Google Patents
一种适用于大数据环境的数据流存储管理方法及系统 Download PDFInfo
- Publication number
- CN104050100B CN104050100B CN201410228006.4A CN201410228006A CN104050100B CN 104050100 B CN104050100 B CN 104050100B CN 201410228006 A CN201410228006 A CN 201410228006A CN 104050100 B CN104050100 B CN 104050100B
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- buffer
- volume
- clock frequency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Communication Control (AREA)
Abstract
本发明公开了一种适用于大数据环境的数据流存储管理方法和系统，首先建立数据服务器；然后获取存储数据；最后判断存储数据的数据量，数据量大时采用事件触发机制控制存储方式将存储数据存入数据服务器；数据量小时采用时钟频率控制存储方式将存储数据存入数据服务器。本发明提供一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。对数据进行简单的处理和索引更新。提高数据流存储效率，提高信息服务响应速度，兼顾检索过程，提高检索效率；从而提高企业的运作效率。
Description
技术领域
本发明涉及计算机信息数据存储，特别涉及一种适用于大数据环境的数据流存储管理方法及系统。
背景技术
大数据环境下现有的数据记录体系大多采用固定窗口大小批量存储的方式来存储数据。随着数据规模的扩大，存储的效率不高。
现有数据记录体系在对数据记录高并发性和数据的海量性的存储能力不足，并且数据记录对数据进行任何处理，后续查询就需要耗费更多的时间和资源来对数据进行检索。
因此需要一种适用于大数据环境的数据流存储管理方法及系统。
发明内容
有鉴于此，本发明所要解决的技术问题是提供一种适用于大数据环境的数据流存储管理方法及系统。
本发明是通过以下技术方案来实现的：
本发明的目的之一是提出一种适用于大数据环境的数据流存储管理方法；本发明的目的之二是提出一种适用于大数据环境的数据流存储管理系统。
本发明的目的之一是通过以下技术方案来实现的：
本发明提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤：
S1：建立数据服务器；
S2：获取存储数据；
S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
进一步，所述时钟频率控制存储过程采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34。
进一步，所述事件触发机制控制存储过程采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
进一步，所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
本发明的目的之二是通过以下技术方案来实现的：
本发明提供的一种适用于大数据环境的数据流存储管理系统，包括数据服务器单元、数据采集单元、存储模式单元；
所述数据服务器单元，用于建立数据服务器；
所述数据采集单元，用于获取存储数据；
所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；
所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。
所述时钟频率控制存储模式采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34；
所述事件触发机制控制存储模式采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
进一步，所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
进一步，所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
进一步，所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
本发明的有益效果在于：本发明提供了一种适用于大数据环境的数据流存储管理系统的架构方法。采用分布式数据存储，提高信息服务的响应能力。采用步进控制和事件控制共同控制存储时间间隔，利用窗口大小可变的批量存储模块，采用由多个单个动态大小的缓冲器组成的缓冲器组。并对数据进行简单的处理，进行索引更新。提高了数据流存储效率，提高了信息服务响应速度，并且兼顾后续的检索过程，为数据添加索引，提高检索效率；从而提高企业的运作效率。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：
图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图；
图2为本发明实施例提供的适用于大数据环境的数据流存储管理系统图。
具体实施方式
以下将参照附图，对本发明的优选实施例进行详细的描述。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
图1为本发明实施例提供的适用于大数据环境的数据流存储管理方法流程图；图2为本发明实施例提供的适用于大数据环境的数据流存储管理系统图，如图所示：本发明提供的一种适用于大数据环境的数据流存储管理方法，包括以下步骤：
S1：建立数据服务器；
S2：获取存储数据；
S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器。
所述时钟频率控制存储过程采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34。
所述事件触发机制控制存储过程采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
本实施例还提供了一种适用于大数据环境的数据流存储管理系统，包括数据服务器单元、数据采集单元、存储模式单元；
所述数据服务器单元，用于建立数据服务器；
所述数据采集单元，用于获取存储数据；
所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；
所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器。
所述时钟频率控制存储模式采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34；
所述事件触发机制控制存储模式采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
所述时钟频率控制存储过程中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储过程中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
用户或者管理者还可以根据自己系统的配置和运行的标准来进行设置。如当一个数据块大于5G时，则将缓冲器的大小增大一倍或者是增大到一个具体的空间。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。
Claims (9)
1.一种适用于大数据环境的数据流存储管理方法，其特征在于：包括以下步骤：
S1：建立数据服务器；
S2：获取存储数据；
S3：判断存储数据的数据量是否超过预设阈值，如果是，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
S4：如果否，则采用时钟频率控制存储方式将存储数据存入数据服务器；
所述时钟频率控制存储方式采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34。
2.根据权利要求1所述的适用于大数据环境的数据流存储管理方法，其特征在于：所述事件触发机制控制存储方式采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
3.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于：所述时钟频率控制存储方式中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
4.根据权利要求3所述的适用于大数据环境的数据流存储管理方法，其特征在于：所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储方式中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
5.根据权利要求2所述的适用于大数据环境的数据流存储管理方法，其特征在于：所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
6.一种适用于大数据环境的数据流存储管理系统，其特征在于：包括数据服务器单元、数据采集单元和存储模式单元；
所述数据服务器单元，用于建立数据服务器；
所述数据采集单元，用于获取存储数据；
所述存储模式单元用于通过判断存储数据的数据量来确定数据存储模式，所述存储模式单元包括事件触发机制控制存储模式和时钟频率控制存储模式；
所述事件触发机制控制存储模式，用于当存储数据的数据量超过预设阈值，则采用事件触发机制控制存储方式将存储数据存入数据服务器；
所述时钟频率控制存储模式，用于当存储数据的数据量低于预设阈值，则采用时钟频率控制存储方式将存储数据存入数据服务器；
所述时钟频率控制存储方式采用以下步骤：
S31：获取数据量和数据类型；
S32：根据数据量和数据类型设置批量存储的动态窗口；
S33：设置存储时钟频率；
S34：按照动态窗口和存储时钟频率将数据存入存储缓冲器；
S35：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S36：如果否，则返回步骤S34；
所述事件触发机制控制存储方式采用以下步骤：
S41：获取数据量和数据类型；
S42：按照数据量和数据类型设置存储缓冲器；
S43：将数据存入存储缓冲器；
S44：检测存储缓冲器是否存满数据，如果是，则将存储缓冲器内的数据存储；
S45：如果否，则返回步骤S43。
7.根据权利要求6所述的适用于大数据环境的数据流存储管理系统，其特征在于：所述时钟频率控制存储方式中的存储缓冲器采用以下步骤来调整：
S5：获取存储数据的数据量；
S6：判断数据量是否超过缓冲器预设值；如果是，则将缓冲器的大小按预设倍率增大；
S7：如果否，则将缓冲器的大小按预设倍率减小。
8.根据权利要求6所述的适用于大数据环境的数据流存储管理系统，其特征在于：所述存储缓冲器大小为动态多级存储缓冲器；所述事件触发机制控制存储方式中的存储缓冲器采用以下方式来调整：将缓冲器的大小调整到预设最大值。
9.根据权利要求6所述的适用于大数据环境的数据流存储管理系统，其特征在于：所述动态窗口采用以下步骤来调整：
首先获取数据量和数据类型；然后根据数据量和数据类型在预设存储窗口规则中选择相应的窗口大小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410228006.4A CN104050100B (zh) | 2014-05-27 | 2014-05-27 | 一种适用于大数据环境的数据流存储管理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410228006.4A CN104050100B (zh) | 2014-05-27 | 2014-05-27 | 一种适用于大数据环境的数据流存储管理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104050100A CN104050100A (zh) | 2014-09-17 |
| CN104050100B true CN104050100B (zh) | 2017-07-14 |
Family
ID=51502979
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410228006.4A Active CN104050100B (zh) | 2014-05-27 | 2014-05-27 | 一种适用于大数据环境的数据流存储管理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104050100B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105912271A (zh) * | 2016-04-14 | 2016-08-31 | 四川隧唐科技股份有限公司 | 一种车载快速数据储存方法 |
| CN108255884A (zh) * | 2016-12-29 | 2018-07-06 | 大唐移动通信设备有限公司 | 一种omc的日志信息的数据处理方法和装置 |
| CN111182032A (zh) * | 2019-12-06 | 2020-05-19 | 重庆川仪自动化股份有限公司 | 工业园区数据集成管理系统及控制方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101120294A (zh) * | 2005-06-29 | 2008-02-06 | 西格马特尔公司 | 管理电子设备中的时钟速度的系统和方法 |
| CN101410773A (zh) * | 2003-07-28 | 2009-04-15 | 索诺斯公司 | 同步多个独立时钟数字数据处理设备间的操作的系统和方法 |
| US7539142B1 (en) * | 2004-07-21 | 2009-05-26 | Adtran, Inc. | Ethernet LAN interface for T3 network |
| CN102662890A (zh) * | 2012-02-28 | 2012-09-12 | 南京大学 | 一种高效的数据流存储方法 |
-
2014
- 2014-05-27 CN CN201410228006.4A patent/CN104050100B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101410773A (zh) * | 2003-07-28 | 2009-04-15 | 索诺斯公司 | 同步多个独立时钟数字数据处理设备间的操作的系统和方法 |
| US7539142B1 (en) * | 2004-07-21 | 2009-05-26 | Adtran, Inc. | Ethernet LAN interface for T3 network |
| CN101120294A (zh) * | 2005-06-29 | 2008-02-06 | 西格马特尔公司 | 管理电子设备中的时钟速度的系统和方法 |
| CN102662890A (zh) * | 2012-02-28 | 2012-09-12 | 南京大学 | 一种高效的数据流存储方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104050100A (zh) | 2014-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9952970B2 (en) | Cache allocation for disk array | |
| US9454472B2 (en) | Sparsity-driven matrix representation to optimize operational and storage efficiency | |
| CN102158349B (zh) | 一种日志管理装置及方法 | |
| CN107610695A (zh) | 驾驶人语音唤醒指令词权重的动态调整方法 | |
| US9588906B2 (en) | Removing cached data | |
| CN107341033A (zh) | 一种数据统计方法、装置、电子设备和存储介质 | |
| CN104113576A (zh) | 一种客户端的更新方法及装置 | |
| CN104978324B (zh) | 一种数据处理方法和装置 | |
| CN103970870A (zh) | 数据库查询方法和服务器 | |
| JP2017517172A (ja) | 情報想起方法及び装置、並びに電子端末 | |
| CN102857578A (zh) | 一种网络硬盘的文件上传方法、系统及网盘客户端 | |
| CN101673192A (zh) | 时序化的数据处理方法、装置及系统 | |
| CN104050100B (zh) | 一种适用于大数据环境的数据流存储管理方法及系统 | |
| CN104182487A (zh) | 一种支持多种存储方式的统一存储方法 | |
| CN112711387B (zh) | 缓冲区容量的调整方法、装置、电子设备及可读存储介质 | |
| EP4354292A1 (en) | Resource configuration method and apparatus, and storage medium and computing system | |
| CN106657182B (zh) | 云端文件处理方法和装置 | |
| CN109582649A (zh) | 一种元数据存储方法、装置、设备及可读存储介质 | |
| CN104424294A (zh) | 一种信息处理方法及装置 | |
| CN117235088B (zh) | 一种存储系统的缓存更新方法、装置、设备、介质及平台 | |
| CN106888264A (zh) | 一种数据交换方法和装置 | |
| CN104360961A (zh) | 一种基于对象存储的自适应分级处理方法及系统 | |
| US20160254940A9 (en) | Apparatus and method for a thin form-factor technology for use in handheld smart phone and tablet devices | |
| CN105549907A (zh) | 一种根据业务变量计算所需虚拟机磁盘iops的方法 | |
| CN109358942A (zh) | 一种调整管理设备软件的监控页面的方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |