CN114816232A - 一种高效存取地质灾害大数据的方法及装置 - Google Patents

一种高效存取地质灾害大数据的方法及装置 Download PDF

Info

Publication number
CN114816232A
CN114816232A CN202110848801.3A CN202110848801A CN114816232A CN 114816232 A CN114816232 A CN 114816232A CN 202110848801 A CN202110848801 A CN 202110848801A CN 114816232 A CN114816232 A CN 114816232A
Authority
CN
China
Prior art keywords
data
storage area
fragment
block
fragment data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110848801.3A
Other languages
English (en)
Other versions
CN114816232B (zh
Inventor
黄成�
杨迎冬
晏祥省
魏蕾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunnan Institute Of Geological Environment Monitoring Yunnan Institute Of Environmental Geology
Original Assignee
Yunnan Institute Of Geological Environment Monitoring Yunnan Institute Of Environmental Geology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunnan Institute Of Geological Environment Monitoring Yunnan Institute Of Environmental Geology filed Critical Yunnan Institute Of Geological Environment Monitoring Yunnan Institute Of Environmental Geology
Priority to CN202110848801.3A priority Critical patent/CN114816232B/zh
Publication of CN114816232A publication Critical patent/CN114816232A/zh
Application granted granted Critical
Publication of CN114816232B publication Critical patent/CN114816232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062—Securing storage systems
    • G06F3/0622—Securing storage systems in relation to access
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/064—Management of blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明涉及存储系统技术领域，特别是涉及一种高效存取地质灾害大数据的方法及装置，包括第一存储区域、第二存储区域；所述第一存储区域用于存储碎片数据，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中，其中，所述N≥2；所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，由于碎片数据和块数据分开存储，使分盘存储成为可能，同时可以根据用户的访问习惯对数据进行转移，提高数据的存取效率，同时节约存储成本。

Description

一种高效存取地质灾害大数据的方法及装置
【技术领域】
本发明涉及存储系统技术领域，特别是涉及一种高效存取地质灾害大数据的方法及装置。
【背景技术】
机械硬盘作为一种传统普通硬盘，主要由：盘片、磁头、盘片转轴及控制电机、磁头控制器、数据转换器和接口等几个部分组成。机械硬盘具有的优点为成本低廉、容量大；但缺点为：数据访问速度较慢。
针对机械硬盘具有的数据访问速度较慢的缺点，目前，SSD(Solid State Disk，固态硬盘)作为一种具有快速的数据访问速度的硬盘，已逐渐应用于计算机中。虽然SSD的数据访问速度较快，但与机械硬盘相比，具有成本高、容量小的缺点，由此限制了SSD的广泛推广使用。
现有技术是将碎片数据和块数据均存储在一起，若将碎片数据和块数据均存储在固态硬盘，虽然会增加存储的成本；若将碎片数据和块数据均存储在机械硬盘，会降低数据的存取效率。
鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。
【发明内容】
本发明要解决的技术问题是：
现有技术是将碎片数据和块数据均存储在一起，若将碎片数据和块数据均存储在固态硬盘，会增加存储的成本；若将碎片数据和块数据均存储在机械硬盘，会降低数据的存取效率。
本发明通过如下技术方案达到上述目的：
第一方面，本发明提供一种高效存取地质灾害大数据的方法，至少包括第一存储区域和第二存储区域，具体的：
所述第一存储区域用于存储碎片数据，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中，其中，所述N≥2；
其中，所述N个碎片数据作为第一块数据转移至所述第二存储区域后，对于针对所述N个碎片数据中任意一个碎片数据的查询命令，都会触发对第二存储区域中相应第一块数据的获取，第一块数据会在缓存中保留第二预设时间，并且在所述第二预设时间内未收到所述N个碎片数据中任意一个碎片数据的查询命令时，释放缓存中的第一块数据；在所述第二预设时间内收到所述N个碎片数据中任意一个碎片数据的查询命令时，则直接从缓存中读取相应内容并返回；
所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
优选的，还包括索引表，所述索引表包括各个碎片数据的描述信息、块数据的描述信息和各个碎片数据和块数据位于所述第一存储区域或者第二存储区域的存储信息，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，具体包括：
在第一预设时间内接收到一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第一存储区域，并去相应第一存储区域读取数据后，返回查询结果，其中，所述查询结果包括所述N个碎片数据；
分析得到所述N个碎片数据在所述第一预设时间内被共同作为查询结果的频率；
判断所述频率是否大于等于第一预设阈值；
当判断所述频率大于等于第一预设阈值，即所述均被访问的频率大于等于第一预设阈值，并且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中。
优选的，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，具体包括：
在第三预设时间内接收一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第二存储区域，并去相应第二存储区域区读取数据后，返回查询结果，其中，所述查询结果为第一块数据中的单位数据；
分析所述第一块数据中的单位数据在所述第三预设时间内被作为查询结果的频率；
判断所述频率是否大于等于第二预设阈值；
当判断所述频率大于等于第二预设阈值时，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
优选的，N个碎片数据打包为第一块数据转移至所述第二存储区域后，方法还包括：
相应的索引表中对应各个碎片数据的位置信息被更新为第二存储区域；
进一步的，在相应的第一块数据被读取到缓存中之后，相应的索引表中对应N个碎片数据的位置信息将进一步由第二存储区域更新为缓存；
并且，在所述第一块数据从缓存中释放的时候，相应的索引表中对应N个碎片数据的位置信息被还原为第二存储区域。
优选的，所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，具体为：
当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，且在缓存中释放所述第一块数据时，将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，并且，将所述索引表中相应单位数据的存储信息更新为所述第一存储区域；以便于利用第一存储区域完成对第二存储区域中相应单位数据的定位。
优选的，所述第一存储区域用于存储碎片数据，其中，所述碎片数据的大小小于等于第三预设阈值；
所述第二存储区域用于存储块数据，其中，所述块数据的大小大于等于第四预设阈值；
其中，所述第三预设阈值大于所述第四预设阈值。
优选的，所述N个碎片数据满足第二存储区域的条件时，具体为：所述N个碎片数据的大小总和大于等于第四预设阈值。
优选的，在所述第一块数据被读取并缓存后，所述方法还包括：
对于任意涉及所述N个碎片数据之一的查询命令，都会重置对应所述第二预设时间的计时，从而保证所述第一块数据在缓存中的活跃状态。
优选的，所述第一存储区域和第二存储区域的存储介质分别为固态硬盘和机械硬盘。
第二方面，本发明还提供了一种高效存取地质灾害大数据的装置，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行第一方面所述的高效存取地质灾害大数据的方法。
与现有技术相比，本发明的有益效果是：
本发明将碎片数据和块数据分开存储，其中，将碎片数据存储在第一存储区域中，将块数据存储在第二存储区域中，当所述第一存储区域中的N个碎片数据同时被访问的频率大于等于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为块数据转移至所述第二存储区域中，当N个碎片数据打包为块数据转移至第二存储区域之后，下一个用户若还是同时访问这N个碎片数据时，可以直接在第二存储区域中获取到块数据，而不需要逐一在第一存储区域中获取N个碎片数据；当所述块数据中的单位数据被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，下一个用户可以通过该位置信息从第二存储区域中快速查询到所述单位数据的存储位置，由于碎片数据和块数据分开存储，使分盘存储成为可能，同时可以根据用户的访问习惯对数据进行转移，提高数据的存取效率，同时节约存储成本。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍。显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种高效存取地质灾害大数据的方法的示意图；
图2是本发明实施例提供的一种高效存取地质灾害大数据的方法的流程图；
图3是本发明实施例提供的一种高效存取地质灾害大数据的方法的流程图；
图4是本发明实施例提供的一种高效存取地质灾害大数据的方法中数据迁移和索引表结构的示意图；
图5是本发明实施例提供的一种高效存取地质灾害大数据的方法中数据迁移和索引表结构的示意图；
图6是本发明实施例提供的一种高效存取地质灾害大数据的方法中数据迁移和索引表结构的示意图；
图7是本发明实施例提供的一种高效存取地质灾害大数据的方法的流程示意图；
图8是本发明实施例提供的一种高效存取地质灾害大数据的装置的结构示意图。
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此时间未构成冲突就可以相互组合。
实施例1:
本发明实施例1提供了一种高效存取地质灾害大数据的方法，包括第一存储区域、第二存储区域。
所述第一存储区域用于存储碎片数据，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中，其中，所述N≥2。
本实施例提供一种实际场景中可实现的方式，具体为：
假设第一存储区域和第二存储区域的存储介质分别为固态硬盘和机械硬盘，如图1所示，第一存储区域中有8个碎片数据，其中，所述碎片数据的大小小于等于第三预设阈值，假设第三预设阈值为3MB(即数据的大小小于3MB时才可以作为碎片数据存储于所述第一存储区域中，本实施例中的参数3MB仅仅是举例说明，具体参数可以根据需求进行设置)，第二存储区域中有8个块数据，假设第四预设阈值为11MB(即数据的大小大于等于11MB时才可以作为块数据存储于所述第二存储区域中)。所述第一存储区域用于存储碎片数据，其中，所述碎片数据的大小小于等于第三预设阈值；所述第二存储区域用于存储块数据，其中，所述块数据的大小大于等于第四预设阈值；其中，所述第三预设阈值大于所述第四预设阈值，其中，所述本实施例所说的碎片数据或者块数据具体可以为地质灾害数据，也可以是其他任何数据，在此不一一赘述。
系统接收用户的查询命令A并返回查询结果A，所述查询结果A由第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6组成(即第一存储区域中的4个碎片数据同时被访问)，大数据分析在第一预设时间(可根据需求人为设置)内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为105(在实际实现过程中，是认定他们的频率各自均达到了105，因此，具体实现过程中通常是根据满足次数的碎片数据作为条件，进行第一块数据的生成)，假设第一预设阈值为100(参数100仅仅是举例说明，可根据需求进行设置)，那么分析可知在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为大于所述第一预设阈值，此时，需计算碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和，假设碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和大于11MB，则满足第二存储区域的条件(具体为：所述N个碎片数据的大小大于等于第四预设阈值)，则可将所述碎片数据3、碎片数据4、碎片数据5和碎片数据6打包为第一块数据转移至第二存储区域的块数据9中。
当系统再次获取到用户的查询命令A时，系统可直接从第二存储区域的块数据9中将整块数据取出，这在一定程度上加快了读取效率，同时节约了存储介质的成本。当分析得到碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率105大于等于第一预设阈值100，但所述碎片数据3、碎片数据4、碎片数据5和碎片数据6得到数据大小总和小于11MB(即不满足第二存储区域的条件时)，此时不需要将碎片数据3、碎片数据4、碎片数据5和碎片数据6作为第一块数据转移至第二存储区域中。
系统接收用户的查询命令A并返回查询结果A，所述查询结果A由第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6组成，大数据分析在第一预设时间(可根据需求人为设置)内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为99，假设第一预设阈值为100，那么分析可知在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率小于所述第一预设阈值，不执行将所述N个碎片数据作为第一块数据转移至所述第二存储区域的操作，直至系统分析得到在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率大于等于第一预设阈值，且碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和满足第二存储区域的条件时，将碎片数据3、碎片数据4、碎片数据5和碎片数据6打包为第一块数据转移至所述第二存储区域中。
其中，所述N个碎片数据作为第一块数据转移至所述第二存储区域后，对于针对所述N个碎片数据中任意一个碎片数据的查询命令，都会触发对第二存储区域中相应第一块数据的获取，第一块数据会在缓存中保留第二预设时间，并且在所述第二预设时间内未收到所述N个碎片数据中任意一个碎片数据的查询命令时，释放缓存中的第一块数据；在所述第二预设时间内收到所述N个碎片数据中任意一个碎片数据的查询命令时，则直接从缓存中读取相应内容并返回；在所述第一块数据被读取并缓存后，所述方法还包括：对于任意涉及所述N个碎片数据之一的查询命令，都会重置对应所述第二预设时间的计时，从而保证所述第一块数据在缓存中的活跃状态。
当N个碎片数据作为第一块数据转移至所述第二存储区域之后，系统接收用户的查询命令B并返回查询结果B，若查询结果B由块数据9中的单位数据1构成，即由碎片数据3、碎片数据4、碎片数据5和碎片数据6中的任意一个碎片数据构成时，都会将块数据9取出，并存储在缓存中，所述块数据9会在缓存中保留第二预设时间，若在第二预设时间未收到将碎片数据3、碎片数据4、碎片数据5和碎片数据6中的任意一个碎片数据作为查询结果B返回的查询命令时，则在缓存中释放所述块数据9，若在所述第二预设时间内收到所述碎片数据3、碎片数据4、碎片数据5和碎片数据6中的任意一个碎片数据作为查询结果B返回的查询命令时，则查询结果直接从缓存中获取，且对于任意涉及碎片数据3、碎片数据4、碎片数据5和碎片数据6之一的查询命令都会重置第二预设时间，从而保持块数据9在缓存中的活跃度，系统会从缓存中快速获取相应碎片数据的内容并返回。
所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
本实施例提供一种实际场景中可实现的方式，具体为：
假设第一存储区域和第二存储区域的存储介质分别为固态硬盘和机械硬盘，如图1所示，第一存储区域中有8个碎片数据，其中，所述碎片数据的大小小于等于第三预设阈值，假设第三预设阈值为3MB(即数据的大小小于3MB时才可以作为碎片数据存储于所述第一存储区域中，本实施例中的参数3MB仅仅是举例说明，具体参数可以根据需求进行设置)，第二存储区域中有8个块数据，假设第四预设阈值为11MB(即数据的大小大于等于11MB时才可以作为块数据存储于所述第二存储区域中)，其中，所述每个块数据由多个单位数据构成。
系统接收用户的查询命令C并返回查询结果C，若所述查询结果C由第二存储区域的中的块数据9中的单位数据1组成，且此时，块数据9已从缓存中释放出来了，大数据分析在第三预设时间(可根据需求自行设置)内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率为100，假设第二预设阈值为100(参数100仅仅是举例说明，可根据需求进行设置)，那么分析可知在第三预设时间内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率等于第二预设阈值，此时，将所述单位数据1在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，并将所述索引表中相应单位数据的存储信息更新为所述第一存储区域；以便于利用第一存储区域完成对第二存储区域中相应单位数据的定位。
系统接收用户的查询命令C并返回查询结果C，所述查询结果C由第二存储区域的中的块数据9中的单位数据1组成，大数据分析在第三预设时间(可根据需求自行设置)内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率为99，假设第二预设阈值为100，那么分析可知在第三预设时间内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率小于第二预设阈值，则不执行将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中的操作，直至系统分析得到在第三预设时间内第二存储区域的单位数据1作为查询结果C的频率大于等于100(即第二预设阈值的一种实例参数值表现)，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
结合本发明实施例，为了便于构建更为完善的操作命令反馈体系，优选的，还包括索引表，所述索引表包括各个碎片数据的描述信息、块数据的描述信息和各个碎片数据和块数据位于所述第一存储区域或者第二存储区域的存储信息，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，如图2所示，具体包括：
步骤102，在第一预设时间内接收到一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第一存储区域，并去相应第一存储区域读取数据后，返回查询结果，其中，所述查询结果包括所述N个碎片数据。
系统接收用户的查询命令A并返回查询结果A，所述查询结果A由第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6组成(即第一存储区域中的4个碎片数据同时被访问)。
步骤103，分析得到所述N个碎片数据在所述第一预设时间内被共同作为查询结果的频率。
系统接收用户的查询命令A并返回查询结果A，所述查询结果A由第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6组成(即第一存储区域中的4个碎片数据同时被访问)，大数据分析在第一预设时间(可根据需求人为设置)内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为105，假设第一预设阈值为100(参数100仅仅是举例说明，可根据需求进行设置)。
步骤104，判断所述频率是否大于等于第一预设阈值。
分析可知在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为大于所述第一预设阈值。步骤104，判断所述N个碎片数据是否满足第二存储区域的条件。
步骤105，当判断所述频率大于等于第一预设阈值，即所述均被访问的频率大于等于第一预设阈值，并且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中。
计算碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和，假设碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和大于11MB，则满足第二存储区域的条件(具体为：所述N个碎片数据的大小大于等于第四预设阈值)，则可将所述碎片数据3、碎片数据4、碎片数据5和碎片数据6打包为第一块数据转移至第二存储区域的块数据9中。当系统再次获取到用户的查询命令A时，系统可直接从第二存储区域的块数据9中将整块数据取出，这在一定程度上加快了读取效率，同时节约了存储介质的成本。
如图4和图5所示，在所述索引表的使用过程中，原本存储在第一存储区域中的碎片数据，包括县A-1、县A-2、县A-3，他们即便通过上述步骤101-步骤105被以第一块数据形式转移到了第二存储区域中后，其在索引表中的相关描述信息呈现方式，仍然会保持各自碎片数据的原有形式，而更新的是其中关联的存储信息，会由原本图4所示的第一存储区域更新为如图5所示的第二存储区域。而两个图中展示的首部：1001和尾部：10020仅仅是描述信息的示例性展示，具体内容会根据不同数据对象类型有所不同，在此不做过多赘述。以图4场景为例，该描述首部和尾部描述信息可以理解为县的ID号，所述ID号有一定的大小顺序。
当判断所述N个碎片数据作为查询结果的频率小于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，不执行将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中的操作，直至所述N个碎片数据作为查询结果的频率大于等于第一预设阈值时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中。
系统接收用户的查询命令A并返回查询结果A，所述查询结果A由第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6组成，大数据分析在第一预设时间(可根据需求人为设置)内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率为99，假设第一预设阈值为100，那么分析可知在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率小于所述第一预设阈值，不执行将所述N个碎片数据作为第一块数据转移至所述第二存储区域的操作，直至系统分析得到在第一预设时间内第一存储区域中的碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率大于等于第一预设阈值，且碎片数据3、碎片数据4、碎片数据5和碎片数据6的数据大小总和满足第二存储区域的条件时，将碎片数据3、碎片数据4、碎片数据5和碎片数据6打包为第一块数据转移至所述第二存储区域中。
当判断所述N个碎片数据作为查询结果的频率大于等于第一预设阈值，但所述N个碎片数据未满足第二存储区域的条件时，不转移所述N个碎片数据至所述第二存储区域中。
当分析得到碎片数据3、碎片数据4、碎片数据5和碎片数据6作为查询结果A的频率105大于等于第一预设阈值100，但所述碎片数据3、碎片数据4、碎片数据5和碎片数据6得到数据大小总和小于11MC(即不满足第二存储区域的条件时)，此时不需要将碎片数据3、碎片数据4、碎片数据5和碎片数据6作为块数据转移至第二存储区域中。
当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，如图3所示，具体包括：
步骤201，在第三预设时间内接收一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第二存储区域，并去相应第二存储区域区读取数据后，返回查询结果，其中，所述查询结果为第一块数据中的单位数据。
系统接收用户的查询命令C并返回查询结果C，所述查询结果C由第二存储区域的中的块数据9中的单位数据1组成。
步骤202，分析所述第一块数据中的单位数据在所述第三预设时间内被作为查询结果的频率。
大数据分析在第三预设时间(可根据需求自行设置)内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率为100，假设第二预设阈值为100(参数100仅仅是举例说明，可根据需求进行设置)
步骤203，判断所述频率是否大于等于第二预设阈值。
步骤204，当判断所述频率大于等于第二预设阈值时，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
如图6所示为例，其延续了上述图4和图5的示例，在此是针对上述步骤201-204所表现的示例性内容。通过图6不难发现，其中，第一存储区域中新增了步骤204中所描述的单位数据(即图6中的县A-1)，而相应单位数据的内容即该单位数据内容位于第二存储中位置信息，而此时，相应的索引表中记录的对应该单位数据的位置信息被更新为了第一存储区域。这样能够充分利用第一缓存区的快速读取特性，将原本都被打包转移到第二存储区域中的第一单位数据做出更优化的读取效果。
分析可知在第三预设时间内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率等于第二预设阈值，此时，将所述单位数据1在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。当系统再次获取用户的查询命令C时(此时，块数据9已经从缓存中释放)，系统可根据查询命令C从索引表中判断单位数据1在第一存储区域，由于第一存储区域存储了单位数据1在第二存储区域得到位置信息，且响应速度较快，因此可以从第一存储区域中快速获取单位数据1在第二存储区域的位置信息，从而从第二存储区域快速获取查询结果C，由于第一存储区域的存储介质为固态硬盘，这在一定程度上加快了数据的读取效率。
当判断所述第一块数据中的单位数据作为查询结果的频率小于第二预设阈值时，不执行将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中的操作，直至所述块数据中的单位数据作为查询结果的频率大于等于第二预设阈值时，将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
系统接收用户的查询命令C并返回查询结果C，所述查询结果C由第二存储区域的中的块数据9中的单位数据1组成，大数据分析在第三预设时间(可根据需求自行设置)内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率为99，假设第二预设阈值为100，那么分析可知在预设时间内第二存储区域中的块数据9中的单位数据1作为查询结果C的频率小于第二预设阈值，则不执行将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中的操作，直至系统分析得到在预设时间内第二存储区域的单位数据1作为查询结果C的频率大于等于100(即第二预设阈值的一种实例参数值表现)，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。在具体实现过程中，相应的单位数据1通常更多的会直接体现为上述碎片数据3、碎片数据4、碎片数据5、碎片数据6中的某一块，因此，除了可以呈现为图1所示的增加碎片数据9之外，相应的碎片数据9也可以直接表现为上述碎片数据3、碎片数据4、碎片数据5、碎片数据6中的某一块。
结合本发明实施例，尤其是在上述的引入了索引表特性之后，还存在一种优选的实现方案，N个碎片数据打包为第一块数据转移至所述第二存储区域后，如图7所示，方法还包括：
在步骤301中，相应的索引表中对应各个碎片数据的位置信息被更新为第二存储区域。
在步骤302中，在相应的第一块数据被读取到缓存中之后，相应的索引表中对应N个碎片数据的位置信息将进一步由第二存储区域更新为缓存。
在步骤303中，在所述第一块数据从缓存中释放的时候，相应的索引表中对应N个碎片数据的位置信息被还原为第二存储区域。
通过上述步骤301-步骤303，将索引表中的位置信息维护完整覆盖到本发明所涉及的整个流程过程。从而保证无论数据(碎片数据、第一块数据，或者第一块数据中的单元数据)存储位置是第一存储区域、第二存储区域还是缓存，都能够通过所述索引表建立完善的数据链路关系，能够应对复杂的场景变化需求。
结合本发明实施例，尤其是在上述的引入了索引表特性之后，还存在一种优选的实现方案，所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，具体为：
当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，且在缓存中释放所述第一块数据时，将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，并且，在所述索引表中更新相应单位数据的存储信息更新为所述第一存储区域；以便于利用第一存储区域完成对第二存储区域中相应单位数据的定位。
在优选方案中，还可以设置一个更大时间间隔的周期，对于上述执行过存储区域迁移的数据，按照其在相应周期内的查询频率，进行迁移状态的维持or还原，从而使得整个方案的逻辑形成有效的闭环。
其中，本实施例中的数据具体可以表现为地质灾害的数据，也可以是其他数据，在此不一一赘述。
实施例2：
在上述实施例1提供的高效存取地质灾害大数据的方法的基础上，本发明还提供了一种可用于实现上述方法的高效存取地质灾害大数据的装置，如图8所示，是本发明实施例的装置架构示意图。本实施例的高效存取地质灾害大数据的装置包括一个或多个处理器21以及存储器22。其中，图8中以一个处理器21为例。
所述处理器21和所述存储器22可以通过总线或者其他方式连接，图8中以通过总线连接为例。
所述存储器22作为一种高效存取地质灾害大数据的方法非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如实施例1中的高效存取地质灾害大数据的方法。所述处理器21通过运行存储在所述存储器22中的非易失性软件程序、指令以及模块，从而执行高效存取地质灾害大数据的装置的各种功能应用以及数据处理，即实现实施例1的高效存取地质灾害大数据的方法。
所述存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，所述存储器22可选包括相对于所述处理器21远程设置的存储器，这些远程存储器可以通过网络连接至所述处理器21。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述程序指令/模块存储在所述存储器22中，当被所述一个或者多个处理器21执行时，执行上述实施例1中的高效存取地质灾害大数据的方法，例如，执行以上描述的图2-图3所示的各个步骤。
本领域普通技术人员可以理解实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁盘或光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种高效存取地质灾害大数据的方法，其特征在于，至少包括第一存储区域和第二存储区域，具体的：
所述第一存储区域用于存储碎片数据，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中，其中，所述N≥2；
其中，所述N个碎片数据作为第一块数据转移至所述第二存储区域后，对于针对所述N个碎片数据中任意一个碎片数据的查询命令，都会触发对第二存储区域中相应第一块数据的获取，第一块数据会在缓存中保留第二预设时间，并且在所述第二预设时间内未收到所述N个碎片数据中任意一个碎片数据的查询命令时，释放缓存中的第一块数据；在所述第二预设时间内收到所述N个碎片数据中任意一个碎片数据的查询命令时，则直接从缓存中读取相应内容并返回；
所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
2.根据权利要求1所述的高效存取地质灾害大数据的方法，其特征在于，还包括索引表，所述索引表包括各个碎片数据的描述信息、块数据的描述信息和各个碎片数据和块数据位于所述第一存储区域或者第二存储区域的存储信息，当所述第一存储区域中的N个碎片数据在第一预设时间内均被访问的频率大于等于第一预设阈值，具体包括：
在第一预设时间内接收到一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第一存储区域，并去相应第一存储区域读取数据后，返回查询结果，其中，所述查询结果包括所述N个碎片数据；
分析得到所述N个碎片数据在所述第一预设时间内被共同作为查询结果的频率；
判断所述频率是否大于等于第一预设阈值；
当判断所述频率大于等于第一预设阈值，即所述均被访问的频率大于等于第一预设阈值，并且所述N个碎片数据满足第二存储区域的条件时，将所述N个碎片数据打包为第一块数据转移至所述第二存储区域中。
3.根据权利要求2所述的高效存取地质灾害大数据的方法，其特征在于，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，具体包括：
在第三预设时间内接收一个或者多个携带关键词的查询命令，通过所述索引表确定关键词所匹配的描述信息，从而确定针对所述查询命令的数据是在第二存储区域，并去相应第二存储区域区读取数据后，返回查询结果，其中，所述查询结果为第一块数据中的单位数据；
分析所述第一块数据中的单位数据在所述第三预设时间内被作为查询结果的频率；
判断所述频率是否大于等于第二预设阈值；
当判断所述频率大于等于第二预设阈值时，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中。
4.根据权利要求3所述的高效存取地质灾害大数据的方法，其特征在于，N个碎片数据打包为第一块数据转移至所述第二存储区域后，方法还包括：
相应的索引表中对应各个碎片数据的位置信息被更新为第二存储区域；
进一步的，在相应的第一块数据被读取到缓存中之后，相应的索引表中对应N个碎片数据的位置信息将进一步由第二存储区域更新为缓存；
并且，在所述第一块数据从缓存中释放的时候，相应的索引表中对应N个碎片数据的位置信息被还原为第二存储区域。
5.根据权利要求4所述的高效存取地质灾害大数据的方法，其特征在于，所述第二存储区域用于存储块数据，当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，则将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，具体为：
当所述第一块数据中的单位数据在第三预设时间内被访问的频率大于等于第二预设阈值，且在缓存中释放所述第一块数据时，将所述单位数据在第二存储区域的位置信息作为碎片数据存储至所述第一存储区域中，并且，将所述索引表中相应单位数据的存储信息更新为所述第一存储区域；以便于利用第一存储区域完成对第二存储区域中相应单位数据的定位。
6.根据权利要求1所述的高效存取地质灾害大数据的方法，其特征在于，所述第一存储区域用于存储碎片数据，其中，所述碎片数据的大小小于等于第三预设阈值；
所述第二存储区域用于存储块数据，其中，所述块数据的大小大于等于第四预设阈值；
其中，所述第三预设阈值大于所述第四预设阈值。
7.根据权利要求6所述的高效存取地质灾害大数据的方法，其特征在于，所述N个碎片数据满足第二存储区域的条件时，具体为：所述N个碎片数据的大小总和大于等于第四预设阈值。
8.根据权利要求1-7任一所述的高效存取地质灾害大数据的方法，其特征在于，在所述第一块数据被读取并缓存后，所述方法还包括：
对于任意涉及所述N个碎片数据之一的查询命令，都会重置对应所述第二预设时间的计时，从而保证所述第一块数据在缓存中的活跃状态。
9.根据权利要求1-7任一所述的高效存取地质灾害大数据的方法，其特征在于，所述第一存储区域和第二存储区域的存储介质分别为固态硬盘和机械硬盘。
10.一种高效存取地质灾害大数据的装置，其特征在于，包括至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被程序设置为执行权利要求1-9任一所述的高效存取地质灾害大数据的方法。
CN202110848801.3A 2021-07-27 2021-07-27 一种高效存取地质灾害大数据的方法及装置 Active CN114816232B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110848801.3A CN114816232B (zh) 2021-07-27 2021-07-27 一种高效存取地质灾害大数据的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110848801.3A CN114816232B (zh) 2021-07-27 2021-07-27 一种高效存取地质灾害大数据的方法及装置

Publications (2)

Publication Number Publication Date
CN114816232A true CN114816232A (zh) 2022-07-29
CN114816232B CN114816232B (zh) 2022-11-08

Family

ID=82526641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110848801.3A Active CN114816232B (zh) 2021-07-27 2021-07-27 一种高效存取地质灾害大数据的方法及装置

Country Status (1)

Country Link
CN (1) CN114816232B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
US20140250282A1 (en) * 2013-03-01 2014-09-04 Nec Corporation Storage system
CN107145452A (zh) * 2017-05-25 2017-09-08 努比亚技术有限公司 碎片整理的方法、终端设备及计算机可读存储介质
CN111124303A (zh) * 2019-12-18 2020-05-08 北京易华录信息技术股份有限公司 一种数据的存储方法、装置及系统
CN111309251A (zh) * 2020-01-21 2020-06-19 青梧桐有限责任公司 数据存储方法、系统、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102831088A (zh) * 2012-07-27 2012-12-19 国家超级计算深圳中心(深圳云计算中心) 基于混合存储器的数据迁移方法和装置
US20140250282A1 (en) * 2013-03-01 2014-09-04 Nec Corporation Storage system
CN107145452A (zh) * 2017-05-25 2017-09-08 努比亚技术有限公司 碎片整理的方法、终端设备及计算机可读存储介质
CN111124303A (zh) * 2019-12-18 2020-05-08 北京易华录信息技术股份有限公司 一种数据的存储方法、装置及系统
CN111309251A (zh) * 2020-01-21 2020-06-19 青梧桐有限责任公司 数据存储方法、系统、电子设备及可读存储介质

Also Published As

Publication number Publication date
CN114816232B (zh) 2022-11-08

Similar Documents

Publication Publication Date Title
US20190163364A1 (en) System and method for tcp offload for nvme over tcp-ip
US20200150890A1 (en) Data Deduplication Method and Apparatus
CN105760405A (zh) 用于加载web页面的网络资源获取方法、缓存方法及装置
CN110764708A (zh) 一种数据读取方法、装置、设备及存储介质
CN109819039B (zh) 一种文件获取方法、文件存储方法、服务器及存储介质
JP2006172458A (ja) 不揮発性保存装置にマルチメディアデータをブロック単位で保存する方法及び装置
US10416907B2 (en) Storage system, storage control apparatus, and method of controlling a storage device
US9411519B2 (en) Implementing enhanced performance flash memory devices
WO2020135384A1 (zh) 进行数据压缩的方法和装置
US20140067920A1 (en) Data analysis system
CN114968102B (zh) 一种数据缓存方法、装置、系统、计算机设备及存储介质
WO2020034729A1 (zh) 数据处理方法、相关设备及计算机存储介质
KR20170010810A (ko) 플래시 메모리 내에 데이터를 판독/기록하기 위한 방법, 장치 및 사용자 장비
CN111723058A (zh) 一种预读数据缓存方法、装置、设备及存储介质
CN111208941A (zh) 文件管理方法、装置、计算机设备和计算机可读存储介质
CN105915595B (zh) 一种集群存储系统存取数据的方法以及集群存储系统
CN114816232B (zh) 一种高效存取地质灾害大数据的方法及装置
US20220214832A1 (en) Prefetching metadata in a storage system
CN107577549A (zh) 一种存储重删功能的测试方法
CN110941595B (zh) 一种文件系统访问方法及装置
US20200319817A1 (en) Information processing device and data management method of information processing device
US11481142B2 (en) Method and device for downloading resources
CN114936010B (zh) 数据处理方法、装置、设备及介质
CN110750566A (zh) 数据处理方法、装置、缓存系统及缓存管理平台
JP2018511131A (ja) オンライン媒体のための階層的なコストベースのキャッシング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant