CN109840053A - 一种基于存储系统的在线数据存储优化方法 - Google Patents
一种基于存储系统的在线数据存储优化方法 Download PDFInfo
- Publication number
- CN109840053A CN109840053A CN201910112298.8A CN201910112298A CN109840053A CN 109840053 A CN109840053 A CN 109840053A CN 201910112298 A CN201910112298 A CN 201910112298A CN 109840053 A CN109840053 A CN 109840053A
- Authority
- CN
- China
- Prior art keywords
- data
- section
- storage
- pending data
- needing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
本发明公开了一种基于存储系统的在线数据存储优化方法，属于数据存储技术领域。包括以下步骤：步骤S1，根据待处理数据的数据信息，建立分布式数据存储库；步骤S2，将存储设备划分得到N个区间，N为大于1的整数；确定所述N个区间中每一个区间的访问密度；步骤S3，接收需要存储的所述待处理数据，确定所述需要存储的所述待处理数据的类型；步骤S4，基于需要存储的所述待处理数据的类型，将所述待处理数据发送至所述N个区间中存储；步骤S5，所述N个区间中接收的数据进行分析，将异常数据进行反馈，同时可将数据类型进行区间转换；步骤S6，所述N个区间将所述待处理数据存至系统内存中，并进行加密。本发明使用方便，适合推广使用。
Description
技术领域
本发明涉及数据存储技术领域，尤其涉及一种基于存储系统的在线数据存储优化方法。
背景技术
数据存储，是数据流在加工过程中产生的临时文件或加工过程中需要查找的信息；常用的存储介质为磁盘和磁带。存储组织方式因存储介质而异；在磁带上数据仅按顺序文件方式存取；在磁盘上则可按使用要求采用顺序存取或直接存取方式；数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。在磁带上数据仅按顺序文件方式存取；在磁盘上则可按使用要求采用顺序存取或直接存取方式。数据存储方式与数据文件组织密切相关，其关键在于建立记录的逻辑与物理顺序间对应关系，确定存储地址，以提高数据存取速度。
但，现有的在线数据存储优化方法在使用时仍存在一定的缺陷，现有的数据存储方式在数据读取时，效率低下，且数据杂乱，不便于使用者进行读取。因此，针对上述问题提出一种基于存储系统的在线数据存储优化方法。
发明内容
本发明的目的就在于为了解决上述数据存储存在读取缓慢，且浪费存储空间的问题而提供一种基于存储系统的在线数据存储优化方法，具有存储方便的优点。
为实现上述目的，本发明采用如下技术方案：
一种基于存储系统的在线数据存储优化方法，包括以下步骤：
步骤S1，根据待处理数据的数据信息，建立分布式数据存储库；
步骤S2，将存储设备划分得到N个区间，N为大于1的整数；确定所述N 个区间中每一个区间的访问密度；
步骤S3，接收需要存储的所述待处理数据，确定所述需要存储的所述待处理数据的类型；
步骤S4，基于需要存储的所述待处理数据的类型，将所述待处理数据发送至所述N个区间中存储；
步骤S5，所述N个区间中接收的数据进行分析，将异常数据进行反馈，同时可将数据类型进行区间转换；
步骤S6，所述N个区间将所述待处理数据存至系统内存中，并进行加密。进一步的技术方案，步骤2中确定所述N个区间中任一区间的访问密度包括：判断该区间是否存在周期性频繁访问，若是，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
进一步的技术方案，步骤S1中，所述分布式数据存储库与云端数据库连接，且分布式数据存储库与云端数据库之间可进行数据传输。
有益效果
本发明与现有技术相比，具有如下显著优点：
1、本发明的在线数据存储优化方法通过数据库的建立，然后对数据进行分析处理，数据分析处理后进行分类处理，且可将异常数据进行反馈，同时可将数据类型进行区间转换，最后将待处理数据存至系统内存中，并进行加密，提高磁盘使用率，对用户来讲，节省了存储空间，从而降低了投入成本，有效的在线数据存储优化，可以降低磁盘介质进行重复数据删除时的存储消耗。
2、本发明的使用方便，实用性强，适合推广使用。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种基于存储系统的在线数据存储优化方法，包括以下步骤：
步骤S1，根据待处理数据的数据信息，建立分布式数据存储库；
步骤S2，将存储设备划分得到N个区间，N为大于1的整数；确定所述N 个区间中每一个区间的访问密度；
步骤S3，接收需要存储的所述待处理数据，确定所述需要存储的所述待处理数据的类型；
步骤S4，基于需要存储的所述待处理数据的类型，将所述待处理数据发送至所述N个区间中存储；
步骤S5，所述N个区间中接收的数据进行分析，将异常数据进行反馈，同时可将数据类型进行区间转换；
步骤S6，所述N个区间将所述待处理数据存至系统内存中，并进行加密。步骤2中确定所述N个区间中任一区间的访问密度包括：判断该区间是否存在周期性频繁访问，若是，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
步骤S1中，所述分布式数据存储库与云端数据库连接，且分布式数据存储库与云端数据库之间可进行数据传输。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (3)
1.一种基于存储系统的在线数据存储优化方法，其特征在于：包括以下步骤：
步骤S1，根据待处理数据的数据信息，建立分布式数据存储库；
步骤S2，将存储设备划分得到N个区间，N为大于1的整数；确定所述N个区间中每一个区间的访问密度；
步骤S3，接收需要存储的所述待处理数据，确定所述需要存储的所述待处理数据的类型；
步骤S4，基于需要存储的所述待处理数据的类型，将所述待处理数据发送至所述N个区间中存储；
步骤S5，所述N个区间中接收的数据进行分析，将异常数据进行反馈，同时可将数据类型进行区间转换；
步骤S6，所述N个区间将所述待处理数据存至系统内存中，并进行加密。
2.根据权利要求1所述的一种基于存储系统的在线数据存储优化方法，其特征在于，步骤2中确定所述N个区间中任一区间的访问密度包括：判断该区间是否存在周期性频繁访问，若是，则将该区间在所述周期性频繁访问对应的一个周期内的访问次数作为访问密度，若否，则将该区间在整体使用期内访问次数作为访问密度。
3.根据权利要求1所述的一种基于存储系统的在线数据存储优化方法，其特征在于：步骤S1中，所述分布式数据存储库与云端数据库连接，且分布式数据存储库与云端数据库之间可进行数据传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910112298.8A CN109840053A (zh) | 2019-02-13 | 2019-02-13 | 一种基于存储系统的在线数据存储优化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910112298.8A CN109840053A (zh) | 2019-02-13 | 2019-02-13 | 一种基于存储系统的在线数据存储优化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109840053A true CN109840053A (zh) | 2019-06-04 |
Family
ID=66884730
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910112298.8A Pending CN109840053A (zh) | 2019-02-13 | 2019-02-13 | 一种基于存储系统的在线数据存储优化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109840053A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114647386A (zh) * | 2022-04-02 | 2022-06-21 | 南京大昌智能科技有限公司 | 基于人工智能的大数据分布式存储方法 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140122412A1 (en) * | 2012-11-01 | 2014-05-01 | Tata Consultancy Services Limited | System and method to provide analytical processing of data in a distributed data storage systems |
| CN103927129A (zh) * | 2014-03-14 | 2014-07-16 | 汉柏科技有限公司 | 数据存储方法 |
| CN104750855A (zh) * | 2015-04-16 | 2015-07-01 | 成都睿峰科技有限公司 | 一种大数据存储优化方法和装置 |
| CN104881259A (zh) * | 2015-06-29 | 2015-09-02 | 联想(北京)有限公司 | 一种数据处理方法和装置以及存储设备 |
| CN106371762A (zh) * | 2016-08-19 | 2017-02-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储数据优化方法及系统 |
| CN107193693A (zh) * | 2017-05-23 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种基于存储系统的在线数据存储优化方法 |
| CN107908371A (zh) * | 2017-12-08 | 2018-04-13 | 浪潮软件股份有限公司 | 一种数据管理系统及其实现数据管理业务的方法 |
-
2019
- 2019-02-13 CN CN201910112298.8A patent/CN109840053A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140122412A1 (en) * | 2012-11-01 | 2014-05-01 | Tata Consultancy Services Limited | System and method to provide analytical processing of data in a distributed data storage systems |
| CN103927129A (zh) * | 2014-03-14 | 2014-07-16 | 汉柏科技有限公司 | 数据存储方法 |
| CN104750855A (zh) * | 2015-04-16 | 2015-07-01 | 成都睿峰科技有限公司 | 一种大数据存储优化方法和装置 |
| CN104881259A (zh) * | 2015-06-29 | 2015-09-02 | 联想(北京)有限公司 | 一种数据处理方法和装置以及存储设备 |
| CN106371762A (zh) * | 2016-08-19 | 2017-02-01 | 浪潮(北京)电子信息产业有限公司 | 一种存储数据优化方法及系统 |
| CN107193693A (zh) * | 2017-05-23 | 2017-09-22 | 郑州云海信息技术有限公司 | 一种基于存储系统的在线数据存储优化方法 |
| CN107908371A (zh) * | 2017-12-08 | 2018-04-13 | 浪潮软件股份有限公司 | 一种数据管理系统及其实现数据管理业务的方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114647386A (zh) * | 2022-04-02 | 2022-06-21 | 南京大昌智能科技有限公司 | 基于人工智能的大数据分布式存储方法 |
| CN114647386B (zh) * | 2022-04-02 | 2023-12-26 | 水发科技信息(山东)有限公司 | 基于人工智能的大数据分布式存储方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9298384B2 (en) | Method and device for storing data in a flash memory using address mapping for supporting various block sizes | |
| CN106548789B (zh) | 用于操作叠瓦式磁记录设备的方法和装置 | |
| CN104850358B (zh) | 一种磁光电混合存储系统及其数据获取和存储方法 | |
| US20170075718A1 (en) | Method and apparatus of accessing data of virtual machine | |
| US9996557B2 (en) | Database storage system based on optical disk and method using the system | |
| EP2209074A1 (en) | Data storage processing method, data searching method and devices thereof | |
| CN103973810B (zh) | 基于互联网协议ip盘的数据处理方法和装置 | |
| CN102317926A (zh) | 将高速存储装置作为缓存使用的存储系统 | |
| CN106302829A (zh) | 一种信息访问方法、装置及服务器 | |
| CN109558421A (zh) | 基于缓存的数据处理方法、系统、装置及存储介质 | |
| CN103425785A (zh) | 数据存储系统及其用户数据存储、读取方法 | |
| CN105446990B (zh) | 一种业务数据处理方法及设备 | |
| CN106951488A (zh) | 一种日志记录方法和装置 | |
| CN107506154A (zh) | 一种元数据的读取方法、装置及计算机可读存储介质 | |
| CN103076993A (zh) | 一种密集型系统中的存储系统及方法 | |
| CN103270499A (zh) | 日志存储方法及系统 | |
| WO2023000536A1 (zh) | 一种数据处理方法、系统、设备以及介质 | |
| CN104050057B (zh) | 一种历史感知的数据去重碎片消除方法与系统 | |
| CN109325011A (zh) | 基于区块链的数据存储、处理、分享方法及系统 | |
| CN103841168B (zh) | 数据副本更新方法及元数据服务器 | |
| CN101963993B (zh) | 一种数据库单表记录快速查找的方法 | |
| CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件系统 | |
| CN107506466A (zh) | 一种小文件存储方法及系统 | |
| CN107402982A (zh) | 数据写入、数据匹配方法、装置及计算设备 | |
| CN105260139B (zh) | 一种磁盘管理方法以及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190604 |
|
| RJ01 | Rejection of invention patent application after publication |