CN114357030A - 一种大数据存储系统及方法 - Google Patents

一种大数据存储系统及方法 Download PDF

Info

Publication number
CN114357030A
CN114357030A CN202210005577.6A CN202210005577A CN114357030A CN 114357030 A CN114357030 A CN 114357030A CN 202210005577 A CN202210005577 A CN 202210005577A CN 114357030 A CN114357030 A CN 114357030A
Authority
CN
China
Prior art keywords
data
memory
serial number
processor
number data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210005577.6A
Other languages
English (en)
Other versions
CN114357030B (zh
Inventor
陈怀东
庞小兵
宋均强
杜天天
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhibudweiser Technology Development Co ltd
Original Assignee
Shenzhen Zhibudweiser Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhibudweiser Technology Development Co ltd filed Critical Shenzhen Zhibudweiser Technology Development Co ltd
Priority to CN202210005577.6A priority Critical patent/CN114357030B/zh
Publication of CN114357030A publication Critical patent/CN114357030A/zh
Application granted granted Critical
Publication of CN114357030B publication Critical patent/CN114357030B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474Sequence data queries, e.g. querying versioned data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明一种大数据存储系统及方法包括相互连接的用户终端(200)和服务器(200);所述用户终端(200)包括采集模块(101)、数据显示模块;所述服务器(200)包括数据库(201)、处理器(202);当所述采集模块(101)采集到的第一数据时,所述处理器(202)根据所述编号通过第一方法将所述第一数据进行第一数据的命名编号,通过第二方法进行自动存储与管理。本发明通过所述处理器(202)通过第一方法将第一数据进行命名编号,能够将第一数据有序的进行存储,方便用户随时的、准确的提取,再通过第二方法进行管理,能够方便用户快速的查阅第一数据,增强用户体验、增加软件运行效率。

Description

一种大数据存储系统及方法
技术领域
本发明涉及一种数据存储领域,特别是涉及一种大数据存储系统及方法。
背景技术
大数据(big data),或称巨量资料,指的是所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据存储是将这些数据集持久化到计算机中。对于一般大数据存储方法,在大量的数据中进行快速的寻找并定位到具体的数据上,需对大数据进行筛选搜索,但是在设备性能较差的情况下会很大程度的影响数据的存储与读取的效率,无法很好地满足大数据量的请求,造成应用程序在运行过程中出现卡顿不流畅等影响。
因此,目前亟需一种方便存储的、能够快速、准确的提取大数据、提高设备运行能力的一种大数据存储系统及方法。
发明内容
本发明要解决的技术问题是提供一种方便存储的、能够快速、准确的提取大数据、提高设备运行能立的一种大数据存储系统及方法。
本发明一种大数据存储系统,包括相互连接的用户终端和服务器;
所述用户终端,包括
采集模块,其用于采集第一数据;
数据显示模块,其用于显示第一数据;
所述服务器包括
数据库,其存储有第二编号数据;
处理器,当所述采集模块采集到的第一数据时,所述处理器根据所述编号通过第一方法将所述第一数据进行第一数据的命名编号,通过第二方法进行自动存储与管理。
本发明一种大数据存储系统,其中所述用户终端还包括
GPS模块,其用于采集用户终端采集到的的第一数据时的第一位置数据;
时间采集模块,其用于采集用户终端采集到的第一数据时的第一时间数据;
所述数据库包括第一存储器和所述第二存储器;
所述第一方法包括
当所述采集模块采集到第一数据时,所述处理器将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器中;
若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器中;
若所述第一存储器与所述第二存储器之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
本发明一种大数据存储系统,其中所述数据库包括a个硬盘,所述处理器根据a个硬盘的平均读取速度v、读取量d、历史通电时间t、最高温度c、剩余空间r按照如下公式生成能力值w;
Figure BDA0003455382410000021
所述处理器将能力值由多至少排名第一和第二的硬盘输出为第一存储器和第二存储器,所述处理器通过第二方法将所述第一数据存储在所述第一存储器和所述第二存储器中。
本发明一种大数据存储系统,其中所述用户终端与服务器的连接方式为电连接。
本发明一种大数据存储系统,其中所述用户终端可为手机端或电脑端。
本发明一种大数据存储系统,其中所述数据显示模块为电脑或手机的显示屏。
本发明一种大数据存储系统,其中每个所述硬盘的容量至少为50GB。
本发明一种大数据存储系统,其中所述处理器能够将存储在所述第一存储器和所述第二存储器中的所述第一数据上传至除所述第一存储器和所述第二存储器之外的其他任意一硬盘中。
本发明一种大数据存储系统,其中所述第一存储器和所述第二存储器的连接方式为电连接。
本发明一种大数据存储系统的存储方法,包括如下步骤:
采集用户终端采集到的的第一数据时的第一位置数据;
采集在采集到第一数据时的第一时间数据;
当所述采集模块采集到第一数据时,所述处理器将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器中;
若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器中;
若所述第一存储器与所述第二存储器之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
本发明一种大数据存储系统及方法与现有技术不同之处在于本发明一种大数据存储系统及方法通过所述处理器通过第一方法将第一数据进行命名编号,能够将第一数据有序的进行存储,方便用户随时的、准确的提取,再通过第二方法进行管理,能够方便用户快速的查阅第一数据,增强用户体验、增加软件运行效率。
下面结合附图对本发明的一种大数据存储系统及方法作进一步说明。
附图说明
图1是一种大数据存储系统及方法的电连接图;
图2是一种大数据存储系统及方法的第一流程图;
图3是一种大数据存储系统及方法的第二流程图;
图4是一种大数据存储系统及方法的第三流程图;
图5是一种大数据存储系统及方法的第四流程图;
图6是一种大数据存储系统及方法的第一示意图。
具体实施方式
如图1~5所示,参见图1,本发明一种大数据存储系统包括相互连接的用户终端200和服务器200;
所述用户终端100,包括
采集模块101,其用于采集第一数据;
数据显示模块102,其用于显示第一数据;
所述服务器200包括
数据库201,其存储有第二编号数据;
处理器202,当所述采集模块101采集到的第一数据时,所述处理器202根据所述编号通过第一方法将所述第一数据进行第一数据的命名编号,通过第二方法进行自动存储与管理。
本发明通过所述处理器202通过第一方法将第一数据进行命名编号,能够将第一数据有序的进行存储,方便用户随时的、准确的提取,再通过第二方法进行管理,能够方便用户快速的查阅第一数据,增强用户体验、增加软件运行效率。
其中,所述编号可为第一编号数据、第二编号数据。
其中,所述用户终端100与服务器200的连接方式为电连接。
其中,所述用户终端100可为手机端或电脑端。
其中,所述数据显示模块102为电脑或手机的显示屏。
优选的,参见图1、图2,所述用户终端200还包括
GPS模块203,其用于采集用户终端200采集到的第一数据时的第一位置数据;
时间采集模块101,其用于采集用户终端200采集到的第一数据时的第一时间数据;
所述数据库201包括第一存储器204和所述第二存储器205;
所述第一方法包括
当所述采集模块101采集到第一数据时,所述处理器202将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器204中;
若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器205中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器205中;
若所述第一存储器204与所述第二存储器205之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器202通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
本发明将采集到第一数据按照时间和位置进行编号,并自动存储在第一存储器204中,当用户自行更改第一数据的名称时,若用户更改后的名称在预设的名称范围内,则将更改名称的第一数据复制或剪切至第二存储器205中,若用户更改后的名称不在预设的名称范围内,则将按照时间将第一数据进行排列并存储在第二存储器205中。
若需要转存的存储器的剩余空间不足以存储下一个第一数据时,则通过第三方法将采集到的第一数据进行存储。
其中,所述第一数据的第一编号数据的命名规则为:所述第一时间数据为yyyy-mm-nn,所述第一位置数据为xxx市ppp区qqq具体地名。因此,最后得出的第一编号数据可为:yyyymmnnxxx市ppp区qqq。
其中,数据库可存储有与所述第一数据对应的第一编号数据,即便用户自行更改第一数据的第一编号数据,也能够根据第一数据而通过数据库中查找到与第一数据对应的未被用户自行更改的第一编号数据。
其中,用户在查看第一数据时,所述处理器202将所述第一数据输出至数据显示模块102。
例如,小明在2021年11月1日13点35分12秒在故宫下载了一张表格,系统将这张表格的第一编号数据自动命名为“20211101132512北京市东城区故宫”,并存放在第一存储器204中,若小明将这张表格改名为“工资表”,若系统中有第二编号数据为工资的文件夹,则系统将这张表转存在第二存储器205中的文件夹名称为工资的文件夹中,若第二存储器中没有第二编号数据为工资的文件夹,则系统将这张表按照时间顺序直接存在第二存储器205中的空余位置。
其中,所述数据库201中存储有标签数据,当所述第二编号数据与所述第三编号数据不同时,所述处理器202将所述第三编号数据与所述标签数据对比,若所述第三编号数据与标签数据相同,则将第三编号数据下的所述第一数据存储在标签数据所对应的文件夹中。
其中,所述第一存储器204和所述第二存储器205的连接方式为电连接。
优选的,参见图1,所述数据库201包括a个硬盘,所述处理器202根据采集第一数据时的a个硬盘的平均读取速度v、读取量d、历史通电时间t、最高温度c、剩余空间r按照如下公式生成能力值w;
Figure BDA0003455382410000071
所述处理器202将能力值由多至少排名第一和第二的硬盘输出为与第一数据对应的第一存储器204和第二存储器205,所述处理器202通过第二方法将所述第一数据存储在所述第一存储器204和所述第二存储器205中。
本发明通过多个硬盘通过不同参数比较出能力值,选择最优的两个硬盘进行存储数据,从而能够使所述系统的反应时间始终保持最小状态,使用户在使用的过程中不会出现反应过慢或卡顿的情况发生。
其中,所述a可为3-200个,优选为100个。
其中,所述读取速度v的单位为m/s,读取量d的单位为GB,历史通电时间t的单位为s,最高温度c的单位为℃,剩余空间r的单位为GB。
其中,采集第一个第一数据时,将所述第一数据存储在能力值最高的第一存储器和所述第二存储器中,当获取第二个第一数据时,所述处理器获取新的硬盘的能力值,此时,在进行存储时,第一存储器和所述第二存储器可能会发生变化,选择最优的两个硬盘进行存储。
其中,所述读取速度v和剩余空间r与能力值成正相关,所述读取速度v和剩余空间r为公式的分子,最高温度c、读取量d、历史通电时间t与能力值成负相关,所述最高温度c、读取量d、历史通电时间t为公式的分母。
其中,所述读取速度v和剩余空间r与能力值成正相关,选择了读取速度v占有较大的权重原因为希望本系统能够有较快的运行速度,从而使用户在使用时体验感流畅,因此读取速度v相对于所述剩余空间r有较大的权重。由于最高温度c、读取量d、历史通电时间t与能力值成负相关,将历史通电时间t开根号的原因为,当t的值越小时,图像的斜率越大,所述硬盘的性能越好,当t的值越大时,图像的斜率越小,所述硬盘的性能越差,又由于硬盘的温度越高,所述系统运行越慢,因此温度对硬盘的影响较大,所述最高温度c占有较大的权重,由于所述读取量d越大则证明该硬盘使用的时间越长,性能越差,因此所述读取量d对于硬盘的运行速度影响的权重较大,在本公式中,d越大,斜率越大,增长的越多,满足读取量d对于硬盘的运行速度影响的权重较大的条件。
例如,第一硬盘平均读取速度v为60m/s、读取量d为3GB、历史通电时间t为200s、最高温度c为45℃、剩余空间r为60GB,则根据如上公式计算得出第一能力值为2.17;
第二硬盘的平均读取速度v为55m/s、读取量d为6GB、历史通电时间t为300s、最高温度c为50℃、剩余空间r为65GB,则根据如上公式计算得出第二能力值为1.47;
第三硬盘的平均读取速度v为90m/s、读取量d为20GB、历史通电时间t为360s、最高温度c为55℃、剩余空间r为70GB,则根据如上公式计算得出第三能力值为0.61;
则所述处理器202将第一硬盘和第二硬盘作为第一存储器204和第二存储器205。
其中,每个所述硬盘的容量至少为50GB。
优选的,参见图1,所述处理器202将所述第一编号数据和第二编号数据下的第一数据上传至出第一存储器204和所述第二存储器205之外的其他硬盘中。
本发明通过由于所述第二编号数据下的第一数据是用户自行更改过名称的,则所述第二编号数据下的第一数据对于用户来说相对更加重要,所述处理器202将所述第二编号数据下的第一数据存储后在上传至其他硬盘进行储存,能够使用户重要的数据进行二次存储,防止用户终端100崩溃或丢失时减少用户的损失。
其中,“所述处理器202将所述第一编号数据和第二编号数据下的第一数据上传至出第一存储器204和所述第二存储器205之外的其他硬盘中”可为将所述第一数据存储到第一存储器204和所述第二存储器205之外的其他硬盘中的一个中或第一存储器204和所述第二存储器205之外的其他所有硬盘中。
本发明通过将第一数据存储至其他硬盘中的一个中时能够节省其他硬盘的空间,存到所有硬盘中备份能够增加文件的安全性。
优选的,参见图1、图3、图6,所述第二方法包括,若所述第一编号数据对应的第一数据由所述第一存储器204发送至用户终端200的时间超过第一时间阈值且所述第一存储器204的读取速度小于第五预设阈值时,则所述处理器202将此第一数据后第四预设阈值后的、与此第一数据的所述第一位置数据相同的、与第一时间数据间隔第一预设阈值的第一数据中的第奇数个所述第一数据发送至第二存储器205中;当所述第奇数个所述第一数据全部发送至第二存储器205中时,所述处理器202在第一存储器204和所述第二存储器205之间交替读取;
若用户将此第一数据后第四预设阈值后的、与此第一数据的所述第一位置数据相同的、与第一时间数据间隔有第一预设阈值的第一数据读取剩余为第二预设阈值时,则所述处理器202将此第一数据的所述第一位置数据方圆第二预设距离的、与第一时间数据间隔有增加了第一变量的所述第一预设阈值的第一数据中的第奇数个所述第一数据发送至第二存储器205中;
若所述第三编号数据对应的第一数据由所述第二存储器205发送至用户终端200的时间超过第一时间阈值且所述第二存储器205的读取速度小于第五预设阈值时,则所述处理器202将此第一数据后第四预设阈值后的、与此第一数据的所述第一位置数据相同的、与第一时间数据间隔第一预设阈值的第一数据中的第奇数个所述第一数据发送至发送至第一存储器204中;
当所述第奇数个所述第一数据全部发送至第一存储器204中时,所述处理器202在第一存储器204和所述第二存储器205之间交替读取;
若用户将发送至第一存储器204中的第一数据读取剩余第二预设阈值时,则所述处理器202将此第一数据的所述第一位置数据方圆第二预设距离的、将所述第一预设阈值增加第一变量的第一数据中的第奇数个所述第一数据发送至第一存储器204中。
本发明通过当用户搜索第一编号数据对应的第一数据时,若反应时间较长,则将该第一存储器204中的第一数据附近位置的、附近时间的其他第一数据中第奇数个第一数据转移至第二存储器205中,所述处理器202读第一一个和第二个第一存储器204中的第一数据,再读取第三个存储在第二存储器205中的第一数据,从而能够交替快速进行读取,从而能够节省时间,增强用户的体验感,满足部分要求瞬时的高读取速度的软件,从而扩大存储器的带宽,增加读取速度。
其中,所述第一预设阈值为1-20分钟,优选为10分钟,所述第一预设阈值的最大值为60分钟。
其中,所述第二预设距离为10-1000米,优选为800米。
其中,所述第一存储器204中划分有第一临时存储区,所述第二存储器205中划分有第二临时存储区,所述第一存储器204发送至所述第二存储器205的所述第一数据存储在所述第二临时存储区中,所述第二存储器205发送至所述第一存储器204的所述第一数据存储在所述第一临时存储区中。
本发明通过上述结构能够使系统更加稳定,不会发生第一数据乱存的现象。
其中,所述第一变量为10-30分钟,优选为20分钟。
其中,所述第一时间阈值为0.5-2.5s,优选为1s。
其中,所述第一预设阈值为5-60分钟,优选为50分钟。
其中,所述第四预设阈值为1-3,优选为1。
其中,所述“第奇数个”是除了第一个以外的第奇数个。
其中,所述第五预设阈值为5M/s-80M/s,优选为10M/s。
其中,所述第二预设阈值为1-3,优选为2。
例如,小明在故宫拍摄了10张照片,当小明点开第一张照片至照片显示出来的时间第一时间阈值为1.2s,此时手机的读取速度为5M/s时,则系统将第一张后第四预设阈值为1的在故宫拍摄的第2张至第10张中的第3张、第5张、第7张、第9张照片发送至第二存储器205中,当小明点开第2张照片时,处理器202从第一存储器204中进行读取,打开第3张照片时,处理器202从第二存储器205中进行读取,以此类推进行交替式读取,这种方式能够提高读取速度,使小明点开照片的时候没有卡顿情况出现;因为交替读取的占用带宽小、两个存储器的总和负载低,这同样适用于大型文件的连续读取或大型软件在启动或读条时的高速读取。
当小明点开第7张照片时,所述处理器202判定还有2张照片就要看完了,则将获取照片的范围扩大,将小明在离开故宫70分钟、距离故宫方圆800米内的照片中的奇数个也发送至第二存储器205中,这种方式能够对小明的行为进行预判并进行预处理,当小明看完这10张照片后再看别的照片不会有卡顿的情况出现。
用户读取单个文件的操作可以是较为连贯的、可被预判的,而本发明童过上述第二方法可实现将可被预判的要被读取的第一数据进行预缓存,并实现了局部的类似raid的磁盘阵列的方式进行数据拆分、数据传输,从而增加了短时间内的被预判要读取的第一数据的带宽,从而增加了软件的运行效率,增加了用户的体验。
优选的,参见图1,所述处理器202判断用户不读取所述第一数据的时间超过第二预设时间时,所述处理器202在所述第二存储器205的读取速度低于第五预设阈值时,将发送至第二存储器205中的所述第奇数个第一数据发送至第一存储器204中;
处理器202判断用户不读取所述第一数据的时间超过第二预设时间时,所述处理器202在所述第一存储器204的读取速度低于第五预设阈值时,将发送至第一存储器204中的所述第奇数个第一数据发送至第二存储器205中。
本发明通过将临时转存的第一数据在被用户读取结束后再存回原有位置,能够方便用户查找文件所在的位置,不会发生错乱从而导致文件丢失的情况。
其中,所述第二预设时间为3-20s,优选为15s。
例如,若小明在读取完最后一张照片15秒后没有进行读取下一张照片,所述处理器202将有第一存储器204转至第二存储器205的第奇数个照片在转回至所述第一存储器204。
优选的,参见图1、图4、图5,所述第三方法包括,所述处理器202获取所述用户获取第一数据的次数;
若所述第一存储器204的存储空间小于等于第一预设空间时,则当第一存储器204的读取速度低于第五预设阈值时,所述处理器202将所述第一存储器204中所述用户获取次数小于等于第三预设次数的第一数据发送至所述第二存储器205中;
若所述第二存储器205的剩余空间小于所述第一存储器204向所述第二存储器205中发送的奇数个第一数据的文件大小的总和时,则所述处理器202将所述第奇数个第一数据减少第三变量;
若所述第二存储器205的存储空间小于等于第一预设空间时,则当第一存储器204的读取速度低于第五预设阈值时,所述处理器202将所述第一存储器204中所述用户获取次数小于等于第三预设次数的第一数据发送至第一存储器204中;
当所述第一存储器204的剩余空间小于所述第二存储器205向所述第一存储器204中发送的奇数个第一数据的文件大小的总和时,所述处理器202将所述第奇数个第一数据减少第三变量;
当所述第一存储器204和所述第二存储器205的存储空间均小于等于第一预设空间时,所述处理器202将第一编号数据下的、小于第一获取阈值的第一数据进行删除,当所述第一存储器204的剩余存储空间大于等于第二预设空间时,所述处理器202停止删除;当所述处理器202将所述将第一编号数据下的、小于第一获取阈值的第一数据均删除后,所述第一存储器204的剩余存储空间仍小于第二预设空间时,则所述处理器202将所述第二编号数据下的、小于第二获取阈值的第一数据进行删除,当所述第二存储器205的剩余存储空间大于等于第二预设空间时,所述处理器202停止删除;
若所述处理器202将所述第二编号数据下的、小于第二预设获取阈值的第一数据均删除后,所述第二存储器205的剩余存储空间仍小于第二预设空间,所述处理器202将所述第二获取阈值增加第二变量。
本发明通过当所述第一存储器204的剩余空间无法存储第一数据时,所述处理器202将所述第一存储器204中不常用的第一数据转移至第二存储器205中,当所述第二存储器205的剩余空间无法存储第一数据时,所述处理器202将所述第二存储器205的中的不常用的第一数据转移至第一存储器204中,当所述第一存储器204和所述第二存储器205的剩余存储空间均即将存满时,所述处理器202首先将所述用户不经常获取的第一数据进行删除,其次将已经上传至其他硬盘中的数据进行删除,从而使用户的存储空间始终保持不能使用户终端200崩溃的大小,能够防止用户的第一数据丢失,有效的保护的用户数据,增强用户的使用体验。
其中,所述第三预设阈值为1-5,优选为2。
其中,所述第三获取阈值为0-5,优选为1。
其中,所述第二变量为1-5,优选为1,若将第二获取阈值,增加了1后,所述第二存储器205的空间仍不够,则将第二获取阈值增加1后再加1,直至第二存储器205的空间达到存储标准。
其中,所述第三变量为1-5,优选为1,若将第奇数个第一数据减少1后,仍发送不出去,则将第奇数个第一数据减少2,以此类推,直至能够将第奇数个第一数据发送出去。
其中,当所述第一存储器204的存储空间小于等于第一预设空间时,所述第一存储器204无法存储第一编号数据下的第一数据。
其中,其中,当所述第二存储器205的存储空间小于等于第一预设空间时,所述第二存储器205无法存储第三编号数据下的第一数据。
其中,所述第一预设空间可为所述奇数个第一数据的文件大小的总和或奇数个第一数据的文件大小的总和的z倍,所述z可为1~100,优选为3。
其中,所述第二预设空间可为所述奇数个第一数据的文件大小的总和或奇数个第一数据的文件大小的总和的z+1倍,所述z+1可为2~101,优选为4。
其中,被删除的第一数据可通过其他硬盘的备份而找回。
其中“则所述处理器202将所述第奇数个第一数据减少第三变量;”为将减少第三变量个所述第奇数个第一数据不发送至第二存储器205。
其中,所述第二空间阈值为30-500M,优选为200M。
例如,小明的手机的第一存储器204的内存只剩下10M,此时小明下载了一个30M的软件,则系统将小明手机第一存储器204中的点开次数为2次以下的文件全部转移到所述第二存储器205中,若转存后所述第一存储器204有35M,则直接将软件存储;若转存后所述第一存储器204有25M,则将点开次数为3次以下的文件全部转移到所述第二存储器205中,若还存不下,则将点开次数为4次以下的文件全部转移到所述第二存储器205中,以此类推,直至将软件存在第一存储器204中。若此时,小明点开在故宫拍摄的照片手机反应时间为1.2s时,则系统将第2张至第10张中的第3张、第5张、第7张、第9张照片发送至第二存储器205的过程中,所述第二存储器205存满了,则由后至前减少一张照片,将第3张、第5张、第7张发送至第二存储器205,若还存不下,则由后至前再减少一张,直至能够存储下为止;
若所述第一存储器204和所述第二存储器205的存储空间都满了,无法转存时,系统将所述第一存储器204中,点击次数小于2次的数据自动删除,若删除至能够存储数据后停止删除,若当点击次数小于2次的数据全部被删除后,仍无法存储数据,则将第二存储器205中点击次数小于一次的数据删除,若删除后仍无法储存,则将第二存储器205中点击次数小于2次的文件删除,直至能够存储文件为止。
当然,所述处理器202也可将所述第一存储器204和所述第二存储器205以外的其他硬盘中的备份的与第一存储器204和所述第二存储器205中存储的第一数据对应的第一数据使用第三方法进行删除。
如图1、图2所示,发明一种大数据存储系统的存储方法,其包括如下步骤:
步骤一,采集用户终端200采集到的的第一数据时的第一位置数据;
步骤二,采集在采集到第一数据时的第一时间数据;
步骤三,当所述采集模块101采集到第一数据时,所述处理器202将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器204中;
步骤四,若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器205中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器205中;
若所述第一存储器204与所述第二存储器205之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器202通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
以上所述的实施例仅仅是对本发明的优选实施方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案作出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (10)

1.一种大数据存储系统,其特征在于:包括相互连接的用户终端(200)和服务器(200);
所述用户终端(100),包括
采集模块(101),其用于采集第一数据;
数据显示模块(102),其用于显示第一数据;
所述服务器(200)包括
数据库(201),其存储有第二编号数据;
处理器(202),当所述采集模块(101)采集到的第一数据时,所述处理器(202)根据所述编号通过第一方法将所述第一数据进行第一数据的命名编号,通过第二方法进行自动存储与管理。
2.根据权利要求1所述的一种大数据存储系统,其特征在于:
所述用户终端(200)还包括
GPS模块(203),其用于采集用户终端(200)采集到的第一数据时的第一位置数据;
时间采集模块(206),其用于采集用户终端(200)采集到的第一数据时的第一时间数据;
所述数据库(201)包括第一存储器(204)和所述第二存储器(205);
所述第一方法包括
当所述采集模块(101)采集到第一数据时,所述处理器(202)将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器(204)中;
若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器(205)中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器(205)中;
若所述第一存储器(204)与所述第二存储器(205)之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器(202)通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
3.根据权利要求2所述的一种大数据存储系统,其特征在于:
所述数据库(201)包括a个硬盘,所述处理器(202)根据a个硬盘的平均读取速度v、读取量d、历史通电时间t、最高温度c、剩余空间r按照如下公式生成能力值w;
Figure FDA0003455382400000021
所述处理器(202)将能力值由多至少排名第一和第二的硬盘输出为第一存储器(204)和第二存储器(205),所述处理器(202)通过第二方法将所述第一数据存储在所述第一存储器(204)和所述第二存储器(205)中。
4.根据权利要求3所述的一种大数据存储系统,其特征在于:所述用户终端(100)与服务器(200)的连接方式为电连接。
5.根据权利要求4所述的一种大数据存储系统,其特征在于:所述用户终端(100)可为手机端或电脑端。
6.根据权利要求5所述的一种大数据存储系统,其特征在于:所述数据显示模块(102)为电脑或手机的显示屏。
7.根据权利要求6所述的一种大数据存储系统,其特征在于:每个所述硬盘的容量至少为50GB。
8.根据权利要求7所述的一种大数据存储系统,其特征在于:所述处理器(202)能够将存储在所述第一存储器(204)和所述第二存储器(205)中的所述第一数据上传至除所述第一存储器(204)和所述第二存储器(205)之外的其他任意一硬盘中。
9.根据权利要求8所述的一种大数据存储系统,其特征在于:所述第一存储器(204)和所述第二存储器(205)的连接方式为电连接。
10.根据权利要求1-9中的任意一项所述的一种大数据存储系统的存储方法,其特征在于包括如下步骤:
采集用户终端(200)采集到的的第一数据时的第一位置数据;
采集在采集到第一数据时的第一时间数据;
当所述采集模块(101)采集到第一数据时,所述处理器(202)将所述第一位置数据和所述第一时间数据的组合作为第一时间数据下的第一数据的第一编号数据,将所述第一编号数据存储在第一存储器(204)中;
若用户自行将第一数据的第一编号数据更改为第三编号数据,则当第三编号数据与所述第二编号数据相同时,将所述第三编号数据下的第一数据存储在第二存储器(205)中的第二编号数据所对应的文件夹内;若所述第三编号数据与所述第二编号数据不同时,则将所述第一数据按照所述第一时间数据进行排列,并将第三编号数据对应的第一数据存储在所述第二存储器(205)中;
若所述第一存储器(204)与所述第二存储器(205)之中的至少一个的剩余存储空间小于第一空间阈值时,则所述处理器(202)通过第三方法将所述第一编号数据和所述第三编号数据对应的第一数据进行存储。
CN202210005577.6A 2022-01-04 2022-01-04 一种大数据存储系统及方法 Active CN114357030B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210005577.6A CN114357030B (zh) 2022-01-04 2022-01-04 一种大数据存储系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210005577.6A CN114357030B (zh) 2022-01-04 2022-01-04 一种大数据存储系统及方法

Publications (2)

Publication Number Publication Date
CN114357030A true CN114357030A (zh) 2022-04-15
CN114357030B CN114357030B (zh) 2022-09-30

Family

ID=81108136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210005577.6A Active CN114357030B (zh) 2022-01-04 2022-01-04 一种大数据存储系统及方法

Country Status (1)

Country Link
CN (1) CN114357030B (zh)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009022688A1 (ja) * 2007-08-14 2009-02-19 Japan Lucida Co., Ltd. 機器データ管理システム
CN102970104A (zh) * 2012-10-24 2013-03-13 北京经纬恒润科技有限公司 一种获取数据的方法及服务器
CN103631819A (zh) * 2012-08-27 2014-03-12 华为技术有限公司 一种图片命名的方法及系统
US20140164334A1 (en) * 2012-12-12 2014-06-12 Hon Hai Precision Industry Co., Ltd. Data block backup system and method
CN104424225A (zh) * 2013-08-26 2015-03-18 联想(北京)有限公司 基于文件传输过程的文件处理方法及装置
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置
CN107911648A (zh) * 2017-10-31 2018-04-13 上海麦泽科技有限公司 一种视频监控方法及智能柜
CN109542961A (zh) * 2018-10-19 2019-03-29 中国平安财产保险股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN109690519A (zh) * 2017-06-16 2019-04-26 华为技术有限公司 一种文件处理方法及移动终端
CN110134332A (zh) * 2019-04-28 2019-08-16 平安科技(深圳)有限公司 一种数据存储方法及相关装置
CN110413645A (zh) * 2019-06-19 2019-11-05 平安普惠企业管理有限公司 数据搜索方法、装置、终端及计算机可读存储介质
CN112256650A (zh) * 2020-10-20 2021-01-22 广州市百果园网络科技有限公司 存储空间管理方法、装置、设备及存储介质
CN112261038A (zh) * 2020-10-20 2021-01-22 苏州莱锦机电自动化有限公司 大数据采集方法、系统、计算机设备及其存储介质

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009022688A1 (ja) * 2007-08-14 2009-02-19 Japan Lucida Co., Ltd. 機器データ管理システム
CN103631819A (zh) * 2012-08-27 2014-03-12 华为技术有限公司 一种图片命名的方法及系统
CN102970104A (zh) * 2012-10-24 2013-03-13 北京经纬恒润科技有限公司 一种获取数据的方法及服务器
US20140164334A1 (en) * 2012-12-12 2014-06-12 Hon Hai Precision Industry Co., Ltd. Data block backup system and method
CN104424225A (zh) * 2013-08-26 2015-03-18 联想(北京)有限公司 基于文件传输过程的文件处理方法及装置
CN105516755A (zh) * 2015-12-14 2016-04-20 成都易瞳科技有限公司 一种视频预览方法与装置
CN109690519A (zh) * 2017-06-16 2019-04-26 华为技术有限公司 一种文件处理方法及移动终端
CN107911648A (zh) * 2017-10-31 2018-04-13 上海麦泽科技有限公司 一种视频监控方法及智能柜
CN109542961A (zh) * 2018-10-19 2019-03-29 中国平安财产保险股份有限公司 数据存储方法、装置、计算机设备和存储介质
CN110134332A (zh) * 2019-04-28 2019-08-16 平安科技(深圳)有限公司 一种数据存储方法及相关装置
CN110413645A (zh) * 2019-06-19 2019-11-05 平安普惠企业管理有限公司 数据搜索方法、装置、终端及计算机可读存储介质
CN112256650A (zh) * 2020-10-20 2021-01-22 广州市百果园网络科技有限公司 存储空间管理方法、装置、设备及存储介质
CN112261038A (zh) * 2020-10-20 2021-01-22 苏州莱锦机电自动化有限公司 大数据采集方法、系统、计算机设备及其存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
秦强 等: "基于MongoDB的海量遥感影像大数据存储", 《北京建筑大学学报》 *

Also Published As

Publication number Publication date
CN114357030B (zh) 2022-09-30

Similar Documents

Publication Publication Date Title
CN101459557B (zh) 一种安全日志集中存储方法及装置
CN101534213B (zh) 一种日志的获取方法及日志服务器
CN103020281B (zh) 一种基于空间数据数值索引的数据存储与检索方法
CN107508718B (zh) 日志采集系统、日志采集单元以及日志采集方法
CN109739815B (zh) 文件处理方法、系统、装置、设备及存储介质
US8126997B2 (en) Hot data management method based on hit counter
KR101078287B1 (ko) 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법
CN105095300A (zh) 一种数据库备份方法及系统
CN108089818B (zh) 数据处理方法、装置及存储介质
US10684923B2 (en) Real time file alteration sensing-based automatic backup device
CN107239521A (zh) 一种分布式集群上的回收站应用方法及系统
CN110109866B (zh) 一种文件系统目录的管理方法及设备
CN107249135A (zh) 视频数据存储系统及其操作方法、以及索引服务器
CN103049508A (zh) 一种数据处理方法及装置
CN115098447A (zh) 文件恢复方法、装置、电子设备及可读存储介质
CN114357030B (zh) 一种大数据存储系统及方法
CN101470733A (zh) 数据块副本数量调整方法及分布式文件系统
CN102523410A (zh) 一种写入视频数据的方法及视频数据存储设备
CN112749144B (zh) 一种基于区块链的持久化文件存储系统及方法
CN112347043A (zh) 基于车载sd卡的文件管理方法、装置、设备及存储介质
CN104915376A (zh) 一种云存储中文件的归档压缩方法
CN112835858A (zh) 非连续存储文件的恢复方法、装置、设备及存储介质
CN1322707C (zh) 话单剔重方法
CN114153392A (zh) 一种对象存储数据存储管理方法、装置及设备
CN103854519B (zh) 一种数字报刊语音读报的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant