CN111061702A - 一种基于大数据的存储服务方法 - Google Patents
一种基于大数据的存储服务方法 Download PDFInfo
- Publication number
- CN111061702A CN111061702A CN201911241811.XA CN201911241811A CN111061702A CN 111061702 A CN111061702 A CN 111061702A CN 201911241811 A CN201911241811 A CN 201911241811A CN 111061702 A CN111061702 A CN 111061702A
- Authority
- CN
- China
- Prior art keywords
- data
- storage
- backup
- encryption
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/221—Column-oriented storage; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2379—Updates performed during online database operations; commit processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/602—Providing cryptographic facilities or services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于大数据的存储服务方法，包括云端存储服务器、数据监测端、数据提取端和数据传输端，所述云端数据存储服务器包含用于数据存储的数据存储端、数据备份端、数据修复端和数据加密端，所述数据存储端用于记录数据的修改和更新，所述数据备份端采集所述数据的更改记录并将其进行复制备份，所述数据修复端采集所述数据备份端备份的更改记录并按照修改记录对损坏的数据进行修复，所述数据加密端主要用于对数据存储端和数据备份端的存储数据进行加密保护，本发明的有益效果是：能够实现数据的快速存储、保存、恢复和加密功能。
Description
技术领域
本发明涉及数据存储服务技术领域，具体为一种基于大数据的存储服务方法。
背景技术
数据来自于一切客观存在，包括宏观到微观的物理世界，各种生物体、人类社会活动、感知、认识和思维的结果。随着信息技术的发展，当通常所说的数据是指经过数字化转换后的信息，是可以被量化、分析和再利用的信息，包含数值、文字、符号、音频、视频等不同形态。对数据的分析都并非新鲜事，如交通规划、宏观经济分析、电力系统规划、气象预测、高能物理、航天航空、基因工程等大规模数据分析和计算早已在人类生产和生活中发挥着关键的作用。2020年所产生的数据量是2009年的44倍。数据存储成本下降：单位信息存储成本的下降，使得对海量数据的分布式存储技术难度降低。30年前，1TB存储的成本为16亿美金，如今通过云存储服务所需不到100美金。
大规模数据处理成为可能：随着计算机技术能发展，对非结构化数据的处理和分析方式组建成熟，MapReduce模型以及云计算模式的出现，是大规模数据处理的成本和技术门槛大大降低。数据采集更为密集和广泛：随着移动互联网和物联网技术的发展，使得数据的采集更加方便。
我国大数据市场规模：2014年规模达到84亿人民币，2015年达到116亿元，2016年达到162.4亿元，年平均增速接近40％大数据软件产值68.2亿元，占市场42％，占比高于国际平均水平。超过95％的企业认为大数据对企业非常重要，企业大数据应用效果明显：超过65％的企业认为提升运营效率是企业大数据应用的最显著效果，随后是智能决策(60％)和风险管控(50％)。绝大部分(78％)的企业数据总数在50TB-500TB之间(1TB＝1024GB＝1024x1024B，Byte字节)，500TB以上的企业只有18％企业内部数据是开展大数据应用的基础，来自内部平台、客户、内部管理平台的数据占企业大数据应用资源总量的60％企业主要数据类型是企业传统结构化数据库表，76％企业认为数据库表是大数据应用当中最主要的数据类型，59％认为是网页数据，37％认为是图片数据。
然而，数据采集设备的分布位置较为分散，很容易受到网络环境等因素的影响，当数据采集设备无法向存储服务器发送数据时，只能将采集到的数据存储于数据采集设备中，而无法存储于存储服务器中，导致存储服务器存储的数据不完整，无法保证数据的可靠性。
不仅仅如此，随着互联网科技水平的不断发展，现有技术的数据处理存储服务安全性能有待提高。
发明内容
本发明的目的在于提供一种基于大数据的存储服务方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种基于大数据的存储服务方法,包括云端存储服务器、数据监测端、数据提取端和数据传输端；
所述云端数据存储服务器包含用于数据存储的数据存储端、数据备份端、数据修复端和数据加密端，所述数据存储端用于记录数据的修改和更新，所述数据备份端采集所述数据的更改记录并将其进行复制备份，所述数据修复端采集所述数据备份端备份的更改记录并按照修改记录对损坏的数据进行修复，所述数据加密端主要用于对数据存储端和数据备份端的存储数据进行加密保护；
所述数据监测端不仅包括对数据的采集还包括对数据监测评测，当所述数据监测端的数据采集设备采集的新数据发生变化时，通过调取数据存储端的现有数据进行比对，根据比对结果进行相应的评测；
所述数据提取端用于调取数据存储端内存储的最新数据；
通过数据传输端建立各个存储服务阶段的通信连接。
优选的，数据的存储服务方法如下：
步骤一：当所述数据采集设备接收到需要更新的新数据时，通过数据提取端调取已存储旧数据，然后对两个不同时期的数据进行比对，将两个不同时期数据的相同点进行标注，对变化的地方进行评测；
步骤二：所述数据评测主要通过与历届存储备份的数据进行比对，依据历届数据的波动区间判断本次所采集的新数据变化的趋势；
步骤三：数据存储端根据采集的新数据进行新的更新并进行保存；
步骤四：新数据存储的同时，所述数据备份端立即对存储之前的旧数据进行辅助备份保存起来。
优选的，所述步骤三中具体保存过程如下：
对数据存储端和数据备份端内所有的数据进行排序，将最新的数据排在首位，其余数据依据更新的时间依次排序，更新时间最早的数据排序末位；
接收到需要更新的新数据后，对旧数据进行保存；
保存后，将新的数据排序到首位，其余旧数据依次向后顺延至下一位。
优选的，对损坏的数据修复方法具体如下：
所述数据监测端检测到数据发生异常，对异常数据与数据备份端备份的旧数据进行比对，然后通过对两组数据进行比对监测；
具体对比数据包括异常数据发生的时间、异常数据导致大数据变化的具体内容；
所述数据监测端对异常数据进行彻底的删除，然后通过调取数据备份端内存储序号排序第一的数据进行替换。
优选的，所述数据加密端采用的加密程序包括动态验证码、系统密码和虹膜验证加密；
所述动态验证码适用于数据提取端调取存储端的最新数据和数据备份的历史数据；
所述系统密码适用于数据备份端的最终的系统加密；
所述虹膜验证加密包括不少于三组的虹膜验证加密，且必须同时满足三组虹膜验证的前提下才能通过验证。
优选的，所述数据监测端还用于监测各个流程当中数据的更新、修复、异常数据删除、数据备份、存储是否正常。
优选的，所述数据存储端会对数据异常的记录进行存储，同时将数据监测端对异常数据的比对记录和具体异常内容进行存储。
与现有技术相比，本发明的有益效果是：
1、通过与历届存储备份的数据进行比对，依据历届数据的波动区间判断本次所采集的新数据变化的趋势；
2、新数据存储的同时，所述数据备份端立即对存储之前的旧数据进行辅助备份保存起来；
3、通过数据加密端对整个过程进行数据加密处理，从而保证数据存储服务过程中的安全性；
4、监测各个流程当中数据的更新、修复、异常数据删除、数据备份、存储是否正常；
5、可以对数据异常的记录进行存储，同时将数据监测端对异常数据的比对记录和具体异常内容进行存储。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明结构框图；
图2为本发明流程步骤图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2，本发明提供一种技术方案：
一种基于大数据的存储服务方法,包括云端存储服务器、数据监测端、数据提取端和数据传输端；
值得注意的是，数据的存储服务方法如下：
步骤一：当所述数据采集设备接收到需要更新的新数据时，通过数据提取端调取已存储旧数据，然后对两个不同时期的数据进行比对，将两个不同时期数据的相同点进行标注，对变化的地方进行评测；
步骤二：所述数据评测主要通过与历届存储备份的数据进行比对，依据历届数据的波动区间判断本次所采集的新数据变化的趋势；
步骤三：数据存储端根据采集的新数据进行新的更新并进行保存；
步骤四：新数据存储的同时，所述数据备份端立即对存储之前的旧数据进行辅助备份保存起来。
值得注意的是，所述步骤三中具体保存过程如下：
对数据存储端和数据备份端内所有的数据进行排序，将最新的数据排在首位，其余数据依据更新的时间依次排序，更新时间最早的数据排序末位；
接收到需要更新的新数据后，对旧数据进行保存；
保存后，将新的数据排序到首位，其余旧数据依次向后顺延至下一位。
所述云端数据存储服务器包含用于数据存储的数据存储端、数据备份端、数据修复端和数据加密端，所述数据存储端用于记录数据的修改和更新，所述数据备份端采集所述数据的更改记录并将其进行复制备份，所述数据修复端采集所述数据备份端备份的更改记录并按照修改记录对损坏的数据进行修复，所述数据加密端主要用于对数据存储端和数据备份端的存储数据进行加密保护；
所述数据监测端不仅包括对数据的采集还包括对数据监测评测，当所述数据监测端的数据采集设备采集的新数据发生变化时，通过调取数据存储端的现有数据进行比对，根据比对结果进行相应的评测；
所述数据提取端用于调取数据存储端内存储的最新数据；
通过数据传输端建立各个存储服务阶段的通信连接。
值得注意的是，对损坏的数据修复方法具体如下：
所述数据监测端检测到数据发生异常，对异常数据与数据备份端备份的旧数据进行比对，然后通过对两组数据进行比对监测；
具体对比数据包括异常数据发生的时间、异常数据导致大数据变化的具体内容；
所述数据监测端对异常数据进行彻底的删除，然后通过调取数据备份端内存储序号排序第一的数据进行替换。
在实施过程中还通过数据加密端对整个过程进行数据加密处理，从而保证数据存储服务过程中的安全性，所述数据加密端采用的加密程序包括动态验证码、系统密码和虹膜验证加密；
所述动态验证码适用于数据提取端调取存储端的最新数据和数据备份的历史数据；
所述系统密码适用于数据备份端的最终的系统加密；
所述虹膜验证加密包括不少于三组的虹膜验证加密，且必须同时满足三组虹膜验证的前提下才能通过验证。
值得注意的是，所述数据监测端还用于监测各个流程当中数据的更新、修复、异常数据删除、数据备份、存储是否正常。
值得注意的是，所述数据存储端会对数据异常的记录进行存储，同时将数据监测端对异常数据的比对记录和具体异常内容进行存储。
实施例：
对于某项数据A，在某次更新中得到更新后的新数据记载为A1，在数据监测端监测数据一切正常的情况下，对两组数据进行简单的评测，然后数据存储端对A1数据进行存储并保存，在存储的同时数据备份端对A1数据进行复制备份，对原有数据A的排列序号向后顺延一位，将A1数据排列至排列序号当中的首位，其余历史数据依次向后顺延至下一位。
本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (7)
1.一种基于大数据的存储服务方法,其特征在于：包括云端存储服务器、数据监测端、数据提取端和数据传输端；
所述云端数据存储服务器包含用于数据存储的数据存储端、数据备份端、数据修复端和数据加密端，所述数据存储端用于记录数据的修改和更新，所述数据备份端采集所述数据的更改记录并将其进行复制备份，所述数据修复端采集所述数据备份端备份的更改记录并按照修改记录对损坏的数据进行修复，所述数据加密端主要用于对数据存储端和数据备份端的存储数据进行加密保护；
所述数据监测端不仅包括对数据的采集还包括对数据监测评测，当所述数据监测端的数据采集设备采集的新数据发生变化时，通过调取数据存储端的现有数据进行比对，根据比对结果进行相应的评测；
所述数据提取端用于调取数据存储端内存储的最新数据；
通过数据传输端建立各个存储服务阶段的通信连接。
2.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：数据的存储服务方法如下：
步骤一：当所述数据采集设备接收到需要更新的新数据时，通过数据提取端调取已存储旧数据，然后对两个不同时期的数据进行比对，将两个不同时期数据的相同点进行标注，对变化的地方进行评测；
步骤二：所述数据评测主要通过与历届存储备份的数据进行比对，依据历届数据的波动区间判断本次所采集的新数据变化的趋势；
步骤三：数据存储端根据采集的新数据进行新的更新并进行保存；
步骤四：新数据存储的同时，所述数据备份端立即对存储之前的旧数据进行辅助备份保存起来。
3.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：所述步骤三中具体保存过程如下：
对数据存储端和数据备份端内所有的数据进行排序，将最新的数据排在首位，其余数据依据更新的时间依次排序，更新时间最早的数据排序末位；
接收到需要更新的新数据后，对旧数据进行保存；
保存后，将新的数据排序到首位，其余旧数据依次向后顺延至下一位。
4.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：对损坏的数据修复方法具体如下：
所述数据监测端检测到数据发生异常，对异常数据与数据备份端备份的旧数据进行比对，然后通过对两组数据进行比对监测；
具体对比数据包括异常数据发生的时间、异常数据导致大数据变化的具体内容；
所述数据监测端对异常数据进行彻底的删除，然后通过调取数据备份端内存储序号排序第一的数据进行替换。
5.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：所述数据加密端采用的加密程序包括动态验证码、系统密码和虹膜验证加密；
所述动态验证码适用于数据提取端调取存储端的最新数据和数据备份的历史数据；
所述系统密码适用于数据备份端的最终的系统加密；
所述虹膜验证加密包括不少于三组的虹膜验证加密，且必须同时满足三组虹膜验证的前提下才能通过验证。
6.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：所述数据监测端还用于监测各个流程当中数据的更新、修复、异常数据删除、数据备份、存储是否正常。
7.根据权利要求1所述的一种基于大数据的存储服务方法，其特征在于：所述数据存储端会对数据异常的记录进行存储，同时将数据监测端对异常数据的比对记录和具体异常内容进行存储。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241811.XA CN111061702A (zh) | 2019-12-06 | 2019-12-06 | 一种基于大数据的存储服务方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911241811.XA CN111061702A (zh) | 2019-12-06 | 2019-12-06 | 一种基于大数据的存储服务方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111061702A true CN111061702A (zh) | 2020-04-24 |
Family
ID=70299876
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911241811.XA Withdrawn CN111061702A (zh) | 2019-12-06 | 2019-12-06 | 一种基于大数据的存储服务方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111061702A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115563144A (zh) * | 2022-10-26 | 2023-01-03 | 山东浪潮新基建科技有限公司 | 一种物联网平台动态数据更新方法及系统 |
-
2019
- 2019-12-06 CN CN201911241811.XA patent/CN111061702A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115563144A (zh) * | 2022-10-26 | 2023-01-03 | 山东浪潮新基建科技有限公司 | 一种物联网平台动态数据更新方法及系统 |
| CN115563144B (zh) * | 2022-10-26 | 2023-10-03 | 山东浪潮新基建科技有限公司 | 一种物联网平台动态数据更新方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114143020B (zh) | 一种基于规则的网络安全事件关联分析方法和系统 | |
| CN104899130A (zh) | 一种应用程序管理方法及系统 | |
| CN113282635B (zh) | 一种微服务系统故障根因定位方法及装置 | |
| WO2019196869A1 (zh) | 一种确定巡检基站列表的方法以及巡检装置 | |
| CN115497272A (zh) | 一种基于数字化建造的工期智能化预警系统及方法 | |
| CN113723773A (zh) | 一种基于大数据分析的电能决策系统 | |
| CN111581056B (zh) | 基于人工智能的软件工程数据库维护与预警系统 | |
| CN111061702A (zh) | 一种基于大数据的存储服务方法 | |
| CN109218401A (zh) | 日志采集方法、系统、计算机设备和存储介质 | |
| CN115883213A (zh) | 基于连续时间动态异质图神经网络的apt检测方法及系统 | |
| CN117235731B (zh) | 一种保密装备大数据监控预警系统 | |
| CN110705712A (zh) | 面向第三方社会服务的人工智能基础资源与技术开放平台 | |
| CN113065580A (zh) | 一种基于多信息融合的电厂设备管理方法及系统 | |
| CN111506271A (zh) | 数据段单元传输差异化管理方法和分布式块存储系统 | |
| CN109426576B (zh) | 容错处理方法以及容错组件 | |
| CN114548769B (zh) | 一种智能电网it资产大数据监测系统及方法 | |
| CN111813833B (zh) | 一种实时二度通联关系数据挖掘的方法 | |
| KR20230077842A (ko) | 풍력발전단지 분석용 데이터 수집을 위한 빅데이터 시스템 및 방법 | |
| CN113378239A (zh) | 一种数据内容确权方法及系统 | |
| Zhao et al. | Research and Design of Power Big Data Desensitization System Based on K-means++ Clustering Algorithm | |
| CN112445958A (zh) | 一种基于人工智能的大数据采集存储系统及方法 | |
| CN112561230A (zh) | 基于电气特征的环保设备状态监测方法 | |
| CN117649166B (zh) | 一种基于大数据的物流信息管理方法及系统 | |
| CN115859262A (zh) | 一种服务监控方法和系统 | |
| CN116450734B (zh) | 一种产业园区开发建设数字孪生数据分布式存储方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200424 |
|
| WW01 | Invention patent application withdrawn after publication |