CN115455015A - 一种海量数据存储方法以及装置、存储介质 - Google Patents

一种海量数据存储方法以及装置、存储介质 Download PDF

Info

Publication number
CN115455015A
CN115455015A CN202210944954.2A CN202210944954A CN115455015A CN 115455015 A CN115455015 A CN 115455015A CN 202210944954 A CN202210944954 A CN 202210944954A CN 115455015 A CN115455015 A CN 115455015A
Authority
CN
China
Prior art keywords
flow data
time
real
data table
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210944954.2A
Other languages
English (en)
Other versions
CN115455015B (zh
Inventor
彭长江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongyi Shenzhen Information Technology Co ltd
Original Assignee
Zhongyi Shenzhen Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongyi Shenzhen Information Technology Co ltd filed Critical Zhongyi Shenzhen Information Technology Co ltd
Priority to CN202210944954.2A priority Critical patent/CN115455015B/zh
Publication of CN115455015A publication Critical patent/CN115455015A/zh
Application granted granted Critical
Publication of CN115455015B publication Critical patent/CN115455015B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2308—Concurrency control
    • G06F16/2315—Optimistic concurrency control
    • G06F16/2322—Optimistic concurrency control using timestamps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提出一种海量数据存储方法，包括在缓存数据库中根据日期一对一设置对应的流量数据表，获取实时运行数据；将所述运行数据按照关系型数据存储方式存储在与所述运行数据产生的日期对应的流量数据表中；获取第一实时时刻；当所述第一实时时刻与所述第一预设时间相同时；对于任一所述流量数据表；若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库。本发明可以解决单表存储有存储数据量瓶颈限制的技术问题。

Description

一种海量数据存储方法以及装置、存储介质
技术领域
本发明涉及一种海量数据存储方法以及装置、存储介质，属于计算机技术领域。
背景技术
现行技术中，用于进行海量数据存储一般是创建两张表，一张当天数据缓存的临时表，一张历史数据表，获取天流量数据，先缓存当天数据缓存的临时表，通过定时任务，每天凌晨将当天数据缓存的临时表获取的数据转存在历史数据表，而在上述过程中，由于历史数据表需要存储前一天的所有数据，因此，在一段时间过后，历史数据表中的数据肯定会逐渐增大，为了解决后期数据过大的问题，一般会定时人工删除历史数据。
发明内容
针对上述现有技术的不足，本发明的目的在于提供一种海量数据存储方法，通过海量数据存储方法可以解决单表存储有存储数据量瓶颈限制的技术问题。
根据本发明的实施方案，提供第一个方案为：一种海量数据存储方法，所述海量数据存储方法包括：
获取实时运行数据；
将所述运行数据按照关系型数据存储方式存储在与所述运行数据日期对应的流量数据表中；
获取第一实时时刻；
当所述第一实时时刻与所述第一预设时间相同时；
对于任一所述流量数据表；
若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。
可选地，所述将对应的所述流量数据表从缓存数据库转存至分布式数据库的步骤之后还包括：
实时跟进所述流量数据表转存至分布式数据库的进度；
当所述分布式数据库的所述流量数据表的存储大小与所述缓存数据库的对应日期的所述流量数据表的存储大小相同时，确认转存完成；
删除所述缓存数据库中存储的所述流量数据表。
可选地，所述在缓存数据库中根据日期一对一设置对应的流量数据表的步骤包括：
获取第二实时时刻；
当所述第二实时时刻与所述第二预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当存在预设数量的所述流量数据表，且所述流量数据表所对应的日期与当前日期的多个第一时间差值依次排列后满足第一预设条件时，确定数据存储所需流量数据表已经全部建立。
可选地，所述第一预设条件为等差数列且最大数值与当前日期的差值小于第一预设值。
可选地，所述海量数据存储方法还包括：
获取第三实时时刻；
当所述第三实时时刻与所述第三预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当所述流量数据表所对应的日期与当前日期的第二时间差值超过第二预设时间差值时，确定存在过期的流量数据表；
删除过期的所述流量数据表。
可选地，所述第二预设时间与所述第三预设时间相同。
可选地，所述第一预设值为3-7天中任一数值。
根据本发明的实施方案，提供第二个方案为：一种海量数据存储装置，所述海量数据存储装置包括：
数据获取模块,用于获取实时运行数据以及第一实时时刻；并将所述运行数据按照关系型数据存储方式存储在与所述运行数据日期对应的流量数据表中；
控制模块，当所述第一实时时刻与所述第一预设时间相同时；对于任一所述流量数据表；若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库。
根据本发明的实施方案，提供第三个方案为：一种存储介质，其特征在于，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的海量数据存储方法。
根据本发明的实施方案，提供第四个方案为：一种海量数据存储装置，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的海量数据存储方法的步骤。
与现有技术相比，本申请提供的技术方案通过将日期相同的运行数据存储在同一流量数据表中的方式来完整保存每日的运行数据在缓存数据库中，而针对每一日期存在不同的流量数据表，对于任一所述流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值小于预设时间差值，则将对应的流量数据表存储在缓存数据库中，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值，将对应的所述述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。从而使得缓存数据库能够及时保存运行数据的同时，还能通过对日期的监控，将超过时间的流量数据表转存至分布式数据库，从而可以看可以将以往日期的流量数据表转存至分布式数据库，避免单表存储有存储数据量瓶颈限制的技术问题。
附图说明
图1为本发明海量数据存储方法的结构示意图；
图2为本发明海量数据存储方法的模块示意图。
具体实施方式
为了使本领域的技术人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，当元件被称为“固定于”或“设置于”另一个部件上，它可以直接在另一个部件上或者间接设置在另一个部件上；当一个部件被称为是“连接于”另一个部件，它可以是直接连接到另一个部件或间接连接至另一个部件上。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”
、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或部件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。
须知，本说明书附图所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本申请可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本申请所能产生的功效及所能达成的目的下，均应仍落在本申请所揭示的技术内容得能涵盖的范围内。
根据本发明的实施方案，提供第一个方案为：一种海量数据存储方法，包括：
S1、在缓存数据库中根据日期一对一设置对应的流量数据表；
其中，流量数据表是用来存储当天流量数据以及运行数据的，分为行和列，表现为关系型数据库。缓存数据库可以选用mysql数据库等关系型数据库实现。
S2、获取实时运行数据；
此时的实时运行数据可以是软件等各种需要实时监控的设备或者软件等产生的运行数据以及缓存数据。
S3、将所述运行数据按照关系型数据存储方式存储在与所述运行数据产生的日期对应的流量数据表中；
在之前的设置流量数据表的过程中，建立起日期和流量数据表的对应关系，这种对应关系可以是通过以日期命名流量数据表的方式去进行对应和查找，此时通过命名的方式建立每一流量数据表与日期的对应关系可以加快查找流量数据表和存储运行数据的速度。而需要说明的是，也有很多其他的方式可以建立对应关系，例如，在设置每一日期对应的流量数据表时去进行时间戳标记。
S4、获取第一实时时刻；
此时的第一实时时刻可以通过调用系统时间或者北京时间进行确认。
S5、当所述第一实时时刻与所述第一预设时间相同时，对于任一所述流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。
本申请提供的技术方案通过将日期相同的运行数据存储在同一流量数据表中的方式来完整保存每日的运行数据在缓存数据库中，而针对每一日期存在不同的流量数据表，对于任一所述流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值小于预设时间差值，则将对应的流量数据表存储在缓存数据库中，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值，将对应的所述述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。从而使得缓存数据库能够及时保存运行数据的同时，还能通过对日期的监控，将超过时间的流量数据表转存至分布式数据库，从而可以看可以将以往日期的流量数据表转存至分布式数据库，避免单表存储有存储数据量瓶颈限制的技术问题。
需要说明的是，此时的第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值应该参照如下实施例进行理解:假设流量数据表对应的日期为7月21，将第一预设时间设置为24小时制的零点过五分，则在每天的零点过五分时，去比较第一实时时刻对应的日期与7月21的差值，若第一实时时刻对应的日期为7月24，此时日期差值为3天，假设预设时间差值为2天，则判定第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值，将对应的所述述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。若预设时间差值为3天，则判定第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值小于预设时间差值，对应的流量数据表继续存储在缓存数据库。
在上述实施例中，由于用分布式数据库Hadoop来存储超出预设时间差值的运行数据表，Hadoop是一个开源编程框架，可在分布式计算环境中处理大型数据集，通过Hadoop我们可以轻松的实现海量数据的分布式存储和分布式计算。它可以轻松的部署在数以千计的普通计算机上，而且Hadoop集群的规模也可以方便的扩展，因此，进行海量数据存储没有问题，存储归档数据不用考虑因为数据量有限的问题去删除历史运行数据。且分布式数据库所需要硬件可以通过联网的设备进行实现，可以分别在多个物理设备上建立物理上多个分布，逻辑集中的分布式数据库，可以将对单一设备的要求，通过叠加多个设备来满足，从而去减小单用户的数据库建立的投入成本。
可选地，所述将对应的所述流量数据表从缓存数据库转存至分布式数据库的步骤之后还包括：
实时跟进所述流量数据表转存至分布式数据库的进度；
当所述分布式数据库的所述流量数据表的存储大小与所述缓存数据库的对应日期的所述流量数据表的存储大小相同时，确认转存完成；
删除所述缓存数据库中存储的所述流量数据表。
其中，通过上述步骤，可以确认流量数据表转存完毕，保证缓存数据库的存储不会超出限制，从而解决了单表存储数据有瓶颈限制的技术问题，另外，还将历史流量数据表存储在分布式数据库，从而可以进一步将历史流量数据表进行归档，保证历史数据可查，且不用占用原始的缓存数据库。需要说明的是，上述过程也可以通过现有技术中的其他进程跟进方式保证转存可靠完成，在此不再赘述。
可选地，所述在缓存数据库中根据日期一对一设置对应的流量数据表的步骤包括：
获取第二实时时刻；
当所述第二实时时刻与所述第二预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当存在预设数量的所述流量数据表，且所述流量数据表所对应的日期与当前日期的多个第一时间差值依次排列后满足第一预设条件时，确定数据存储所需流量数据表已经全部建立。
通过上述过程，可以每天定时检查所述流量数据表所对应的日期与当前日期的差值满足第一预设条件的流量数据表的数量，若满足第一预设条件的流量数据表的数量达到预设数量，则确定数据存储所需流量数据表，从而可以提前建立流量数据表，避免误删等情况。
可选地，所述第一预设条件为等差数列且最大数值与当前日期的差值小于第一预设值。
以预设数量为7为例，则第一预设值为8，若当前日期为7.22.则需同时存在日期7.23、7.24、7.25、7.26、7.27、7.28、7.29，其差值为1、2、3、4、5、6、7，其满足等差数列，且从左到右依次递增，或从右到左依次递减，且最大数值与当前日期的差值小于7，第一预设值小于8。当同时满足等差数列以及且最大数值与当前日期的差值小于第一预设值。
可选地，所述第一预设值为3-7天中任一数值。
可选地，所述海量数据存储方法还包括：
获取第三实时时刻；
当所述第三实时时刻与所述第三预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当所述流量数据表所对应的日期与当前日期的第二时间差值超过第二预设时间差值时，确定存在过期的流量数据表；
删除过期的所述流量数据表。
基于上述实施例，可以在每天的第三实时时刻，例如零点过五分时，定时检测缓存数据库的流量数据表，此时将过期的所述流量数据表删除，其中，第二预设条件可以直接设置成时间，例如2天3天等等，在所述流量数据表所对应的日期与当前日期的多个第二时间差值超过第二预设时间差值的流量数据表，从而可以根据实际使用缓存数据库的容量进行设置，从而可以方便的将本方法应用于各种硬件配置不同的场合，均能实现较好的缓存以及保存历史数据的效果。
可选地，所述第二预设时间与所述第三预设时间相同。
当时刻设置相同时，可以同时调用两个进程，提高运行效率。
一种海量数据存储装置包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的海量数据存储方法的步骤
本发明还提出一种海量数据存储装置，如图2所示，所述海量数据存储装置包括：
数据获取模块10,用于获取实时运行数据以及第一实时时刻；并将所述运行数据按照关系型数据存储方式存储在与所述运行数据日期对应的流量数据表中；
控制模块20，当所述第一实时时刻与所述第一预设时间相同时；对于任一所述流量数据表；在缓存数据库中根据日期一对一设置对应的流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。
本申请提供的技术方案通过将日期相同的运行数据存储在同一流量数据表中的方式来完整保存每日的运行数据在缓存数据库中，而针对每一日期存在不同的流量数据表，对于任一所述流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值小于预设时间差值，则将对应的流量数据表存储在缓存数据库中，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值，将对应的所述述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。从而使得缓存数据库能够及时保存运行数据的同时，还能通过对日期的监控，将超过时间的流量数据表转存至分布式数据库，从而可以看可以将以往日期的流量数据表转存至分布式数据库，避免单表存储有存储数据量瓶颈限制的技术问题。
本发明还提出一种存储介质，所述计算机程序被处理器执行时，使得所述处理器执行如上所述的海量数据存储装置。
需要说明的是，由于本申请的存储介质包含上述海量数据存储装置的所有步骤，因此，存储介质也可以实现海量数据存储方法的所有方案，并具有同样的有益效果，在此不再赘述。
执行上述方法实施例中的一种海量数据存储装置。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存15储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机20制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
本发明还提出一种海量数据存储装置，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上所述的导电胶的涂胶方法的步骤。
需要说明的是，由于本申请的海量数据存储装置包含上述海量数据存储方法的所有步骤，因此，海量数据存储装置也可以实现海量数据存储方法的所有方案，并具有同样的有益效果，在此不再赘述。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种海量数据存储方法，其特征在于，所述海量数据存储方法包括：
在缓存数据库中根据日期一对一设置对应的流量数据表；
获取实时运行数据；
将所述运行数据按照关系型数据存储方式存储在与所述运行数据产生的日期对应的流量数据表中；
获取第一实时时刻；
当所述第一实时时刻与所述第一预设时间相同时，对于任一所述流量数据表，若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库并删除缓存数据库中的所述流量数据表。
2.根据权利要求1所述的海量数据存储方法，其特征在于，所述将对应的所述流量数据表从缓存数据库转存至分布式数据库的步骤之后还包括：
实时跟进所述流量数据表转存至分布式数据库的进度；
当所述分布式数据库的所述流量数据表的存储大小与所述缓存数据库的对应日期的所述流量数据表的存储大小相同时，确认转存完成；
删除所述缓存数据库中存储的所述流量数据表。
3.根据权利要求1所述的海量数据存储方法，其特征在于，所述在缓存数据库中根据日期一对一设置对应的流量数据表的步骤包括：
获取第二实时时刻；
当所述第二实时时刻与所述第二预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当存在预设数量的所述流量数据表，且所述流量数据表所对应的日期与当前日期的多个第一时间差值依次排列后满足第一预设条件时，确定数据存储所需流量数据表已经全部建立。
4.根据权利要求3所述的海量数据存储方法，其特征在于，所述第一预设条件为等差数列且最大数值与当前日期的差值小于第一预设值。
5.根据权利要求2所述的海量数据存储方法，其特征在于，所述海量数据存储方法还包括：
获取第三实时时刻；
当所述第三实时时刻与所述第三预设时间相同时；
依次遍历缓存数据库中的每一所述流量数据表；
当所述流量数据表所对应的日期与当前日期的第二时间差值超过第二预设时间差值时，确定存在过期的流量数据表；
删除过期的所述流量数据表。
6.根据权利要求2所述的海量数据存储方法，其特征在于，所述第二预设时间与所述第三预设时间相同。
7.根据权利要求4所述的海量数据存储方法，其特征在于，所述第一预设值为3-7天中任一数值。
8.一种海量数据存储装置，其特征在于，所述海量数据存储装置包括：
数据获取模块,用于获取实时运行数据以及第一实时时刻；并将所述运行数据按照关系型数据存储方式存储在与所述运行数据日期对应的流量数据表中；
控制模块，当所述第一实时时刻与所述第一预设时间相同时；对于任一所述流量数据表；若所述第一实时时刻对应的日期与任一所述流量数据表对应的日期的差值大于预设时间差值时，将对应的所述流量数据表从缓存数据库转存至分布式数据库。
9.一种存储介质，其特征在于，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-8任一项所述的海量数据存储方法。
10.一种海量数据存储装置，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至7中任一项所述的海量数据存储方法的步骤。
CN202210944954.2A 2022-08-08 2022-08-08 一种海量数据存储方法以及装置、存储介质 Active CN115455015B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210944954.2A CN115455015B (zh) 2022-08-08 2022-08-08 一种海量数据存储方法以及装置、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210944954.2A CN115455015B (zh) 2022-08-08 2022-08-08 一种海量数据存储方法以及装置、存储介质

Publications (2)

Publication Number Publication Date
CN115455015A true CN115455015A (zh) 2022-12-09
CN115455015B CN115455015B (zh) 2024-01-26

Family

ID=84296369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210944954.2A Active CN115455015B (zh) 2022-08-08 2022-08-08 一种海量数据存储方法以及装置、存储介质

Country Status (1)

Country Link
CN (1) CN115455015B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488148A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 大数据的存储访问系统及方法
CN106933836A (zh) * 2015-12-29 2017-07-07 航天信息股份有限公司 一种基于分表的数据存储方法和系统
CN109313642A (zh) * 2018-09-07 2019-02-05 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN110019131A (zh) * 2017-12-08 2019-07-16 北京京东尚科信息技术有限公司 一种复盘业务的方法和装置
CN111913917A (zh) * 2020-07-24 2020-11-10 北京锐安科技有限公司 一种文件处理方法、装置、设备和介质
CN113360498A (zh) * 2021-06-01 2021-09-07 中国农业银行股份有限公司 流数据转存处理方法、装置及服务器
CN113608724A (zh) * 2021-08-24 2021-11-05 上海德拓信息技术股份有限公司 一种基于模型缓存实现的离线仓库实时交互方法与系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105488148A (zh) * 2015-11-26 2016-04-13 上海晶赞科技发展有限公司 大数据的存储访问系统及方法
CN106933836A (zh) * 2015-12-29 2017-07-07 航天信息股份有限公司 一种基于分表的数据存储方法和系统
CN110019131A (zh) * 2017-12-08 2019-07-16 北京京东尚科信息技术有限公司 一种复盘业务的方法和装置
CN109313642A (zh) * 2018-09-07 2019-02-05 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
WO2020047840A1 (zh) * 2018-09-07 2020-03-12 威富通科技有限公司 账单信息缓存方法、账单信息查询方法和终端设备
CN111913917A (zh) * 2020-07-24 2020-11-10 北京锐安科技有限公司 一种文件处理方法、装置、设备和介质
CN113360498A (zh) * 2021-06-01 2021-09-07 中国农业银行股份有限公司 流数据转存处理方法、装置及服务器
CN113608724A (zh) * 2021-08-24 2021-11-05 上海德拓信息技术股份有限公司 一种基于模型缓存实现的离线仓库实时交互方法与系统

Also Published As

Publication number Publication date
CN115455015B (zh) 2024-01-26

Similar Documents

Publication Publication Date Title
US9934263B1 (en) Big-fast data connector between in-memory database system and data warehouse system
CN104317800A (zh) 一种海量智能用电数据混合存储系统及方法
US7613747B1 (en) Tiered database storage and replication
CN109299115A (zh) 一种数据存储方法、装置、服务器及存储介质
CN101419616A (zh) 一种数据同步方法及装置
CN109144791A (zh) 数据转存方法、装置和数据管理服务器
CN105069134A (zh) 一种Oracle统计信息自动收集方法
CN102930062A (zh) 一种数据库快速水平扩展的方法
CN104182898A (zh) 银行系统对夜模式期间发生的联机交易进行补录的方法
CN110597835B (zh) 一种基于区块链的交易数据删除方法及装置
EP4024815A1 (en) Data uploading method, system and apparatus, and electronic device
US20120191639A1 (en) Statistics forecast for range partitioned tables
WO2012048555A1 (zh) 数据入库方法和装置
CN102779138A (zh) 实时数据的硬盘存取方法
CN107133331A (zh) 基于shell脚本实现的数据库自动扩容方法及装置
CN110096509A (zh) 大数据环境下实现历史数据拉链表存储建模处理的系统及方法
CN105787058A (zh) 一种用户标签系统及基于用户标签系统的数据推送系统
CN107193494A (zh) 一种基于ssd和hdd混合存储系统的rdd持久化方法
EP3832477A1 (en) Efficient storage method for time series data
CN107291878A (zh) 一种分布式存储文件系统的数据删除方法及装置
CN106844556A (zh) 一种基于HBase的智能电网时标量测数据存储方法
CN115455015A (zh) 一种海量数据存储方法以及装置、存储介质
CN110175206A (zh) 用于多数据库分离的智能分析业务方法、系统及介质
WO2021249027A1 (zh) 数据存储方法、装置、终端设备及存储介质
CN107179883A (zh) 一种基于SSD和HDD的混合存储系统的Spark架构优化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant