CN111897819A - 数据存储方法、装置、电子设备及存储介质 - Google Patents

数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111897819A
CN111897819A CN202010760675.1A CN202010760675A CN111897819A CN 111897819 A CN111897819 A CN 111897819A CN 202010760675 A CN202010760675 A CN 202010760675A CN 111897819 A CN111897819 A CN 111897819A
Authority
CN
China
Prior art keywords
data
cache
data type
cache object
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010760675.1A
Other languages
English (en)
Inventor
袁康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Puhui Enterprise Management Co Ltd
Original Assignee
Ping An Puhui Enterprise Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Puhui Enterprise Management Co Ltd filed Critical Ping An Puhui Enterprise Management Co Ltd
Priority to CN202010760675.1A priority Critical patent/CN111897819A/zh
Publication of CN111897819A publication Critical patent/CN111897819A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2291—User-Defined Types; Storage management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/1805—Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815—Journaling file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24552—Database cache management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本发明涉及大数据技术领域，可应用于智慧物流、智慧医疗等需大量数据处理的场景中，从而推动智慧城市的建设。提供一种数据存储方法，所述方法包括：获取待存储数据；根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；针对每种所述分类数据，确定所述分类数据的数据类型；若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；将所述分类数据存储至所述缓存对象中。本发明还提供一种数据存储装置、电子设备以及存储介质。本发明能提高系统稳定性。

Description

数据存储方法、装置、电子设备及存储介质
技术领域
本发明涉及大数据技术领域，尤其涉及一种数据存储方法、装置、电子设备及存储介质。
背景技术
目前，可以将数据存储至缓存中进行快速读取，提高系统性能，但在实践中发现，由于缓存的空间有限，需要及时进行清理，如果没能及时清理缓存，大量数据导入缓存会导致内存空间不足，从而发生系统宕机。
因此，如何提高系统稳定性是一个亟需解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种数据存储方法、装置、电子设备及存储介质，能够提高系统稳定性。
本发明的第一方面提供一种数据存储方法，所述数据存储方法包括：
获取待存储数据；
根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；
针对每种所述分类数据，确定所述分类数据的数据类型；
若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；
将所述分类数据存储至所述缓存对象中。
在一种可能的实现方式中，所述则创建与所述数据类型对应的缓存对象包括：
获取与所述数据类型对应的初始化信息，其中，所述初始化信息包括最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间，所述缓存回收策略包括基于容量回收策略或基于时间回收策略；
根据所述初始化信息，创建所述缓存对象。
在一种可能的实现方式中，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
获取第一数据类型对应的第一缓存对象，其中，所述第一缓存对象包括外部数据；
确定所述第一缓存对象中所有数据的访问时间；
从所述所有数据中，将访问时间属于预设时间范围的数据确定为回收数据；
回收所述回收数据。
在一种可能的实现方式中，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
接收数据读取指令；
确定所述数据读取指令所指示的待读取数据的数据类型；
从所述数据类型对应的缓存对象中读取所述待读取数据，并判断是否成功读取所述待读取数据；
若未成功读取所述待读取数据，从预设的数据库中查询所述待读取数据，获得查询结果。
在一种可能的实现方式中，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
接收针对目标数据类型的监听指令；
对与所述目标数据类型对应的缓存对象进行监听，其中，所述目标数据类型包括配置信息数据类型和/或风控规则数据类型；
当监听到与所述目标数据类型对应的缓存对象中的数据进行数据更新时，获取对应的日志信息；
记录所述日志信息。
在一种可能的实现方式中，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
确定缓存的使用率；
若所述使用率大于预设使用率阈值，生成告警信息；
将所述告警信息发送至预设终端。
在一种可能的实现方式中，所述数据类型为外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型或风控结论数据类型。
本发明的第二方面提供一种数据存储装置，所述数据存储装置包括：
获取模块，用于获取待存储数据；
分类模块，用于根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；
确定模块，用于针对每类所述分类数据，确定所述分类数据的数据类型；
创建模块，用于若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；
存储模块，用于将所述分类数据存储至所述缓存对象中。
本发明的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述的数据存储方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的数据存储方法。
由以上技术方案，本发明中，可以对不同的数据使用不同的缓存对象，进行缓存管理，通过对缓存对象进行管理来实现及时自动清理缓存以及监控等。确保系统正常运行，提高了系统的稳定性。
附图说明
图1是本发明公开的一种数据存储方法的较佳实施例的流程图。
图2是本发明公开的一种数据存储装置的较佳实施例的功能模块图。
图3是本发明实现数据存储方法的较佳实施例的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
本发明实施例的数据存储方法应用在电子设备中，也可以应用在电子设备和通过网络与所述电子设备进行连接的服务器所构成的硬件环境中，由服务器和电子设备共同执行。网络包括但不限于：广域网、城域网或局域网。
其中，服务器可以是指能对网络中其它设备(如电子设备)提供服务的计算机系统。如果一个个人电脑能够对外提供文件传输协议(File Transfer Protocol，简称FTP)服务，也可以叫服务器。从狭义范围上讲，服务器专指某些高性能计算机，能通过网络，对外提供服务，其相对于普通的个人电脑来说，稳定性、安全性、性能等方面都要求更高，因此在CPU、芯片组、内存、磁盘系统、网络等硬件和普通的个人电脑有所不同。
所述电子设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。所述电子设备还可包括网络设备和/或用户设备。其中，所述网络设备包括但不限于单个网络设备、多个网络设备组成的服务器组或基于云计算(Cloud Computing)的由大量主机或网络设备构成的云，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。所述用户设备包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理PDA等。
请参见图1，图1是本发明公开的一种数据存储方法的较佳实施例的流程图。其中，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。其中，所述数据存储方法的执行主体可以是电子设备。
S11、获取待存储数据。
其中，所述待存储数据可以是新获取的数据，还未被相关程序调用，需要存储到缓存中，等待相关程序调用。
S12、根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据。
其中，所述分类数据的数据类型可以包括但不限于：外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型以及风控结论数据类型。
S13、针对每种所述分类数据，确定所述分类数据的数据类型。
其中，所述数据类型为外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型或风控结论数据类型。
其中，所述中间结果可以是对已有数据进行统计获得的数据，用于进行下一步的运算。外部数据量大，使用完就需要进行回收，释放空间；中间结果临时缓存，走完流程，就可以释放；系统类配置信息不需要回收，可以长期缓存，业务类配置信息会随业务需求动态调整，需要定时更新；风控规则也会随业务调整，需要定时更新；风控结论临时缓存，流程结束就可以清理。
S14、若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制。
其中，所述缓存对象可以是Guava缓存对象。Guava缓存是一种本地缓存。在本实施方式中，可以通过管理所述缓存对象，从而管理在所述缓存对象中的缓存。
作为一种可选的实施方式，所述则创建与所述数据类型对应的缓存对象包括：
获取与所述数据类型对应的初始化信息，其中，所述初始化信息包括最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间，所述缓存回收策略包括基于容量回收策略或基于时间回收策略；
根据所述初始化信息，创建所述缓存对象。
在该可选的实施方式中，创建缓存对象的时候可以指定最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间等，所述缓存回收策略包括基于容量回收策略以及基于时间回收策略，所述基于容量回收策略可以是当缓存对象中的已缓存的数据量到达预设的缓存容量时，回收缓存对象中最近没有使用或总体上很少使用的缓存数据。所述基于时间回收策略可以是按照访问时间，对缓存对象中最早访问的数据进行最早回收的操作。
作为一种可选的实施方式，所述将所述分类数据存储至所述缓存对象中之后，所述方法还包括：
获取第一数据类型对应的第一缓存对象，其中，所述第一缓存对象包括外部数据；
确定所述第一缓存对象中所有数据的访问时间；
从所述所有数据中，将访问时间属于预设时间范围的数据确定为回收数据；
回收所述回收数据。
在该可选的实施方式中，可以按照写入时间，最早写入的最先回收；按照访问时间，最早访问的最早回收。对于外部数据，使用后就可以回收，设置按照访问时间更新。在该可选的实施方式中，可以及时清理掉不需要的缓存，确保缓存剩余足够的空间可以使用。
S15、将所述分类数据存储至所述缓存对象中。
本发明实施例中，将所述分类数据存储至所述缓存对象中，使得不同种类的分类数据对应不同的缓存对象，具有不同缓存回收机制，比如外部数据数据类型的数据的数据量大，且使用完就不需要再进行调用了，可以在使用后立即进行回收，释放空间。中间结果数据类型的数据可以临时缓存，走完流程，就可以释放；配置信息数据类型的数据因为要一直使用，不需要过期，可以长期缓存，且会随业务需求动态调整，需要定时更新；风控规则数据类型的数据也要一直使用，不需要过期，可以长期缓存，且会随业务需求动态调整，需要定时更新；风控结论数据类型的数据需要临时缓存，流程结束就可以清理，进行缓存回收操作。
作为一种可选的实施方式，所述将所述分类数据存储至所述缓存对象中之后，所述方法还包括：
确定缓存的使用率；
若所述使用率大于预设使用率阈值，生成告警信息；
将所述告警信息发送至预设终端。
在该可选的实施方式中，当缓存的使用率满了以后，数据不能导入缓存中，可能使系统发送异常，可以预先设置一个使用率阈值，比如80％，当所述使用率大于预设使用率阈值，生成告警信息，将所述告警信息发送至预设终端，以告警管理人员进行缓存清理或者增加缓存空间等。
作为一种可选的实施方式，所述将所述分类数据存储至所述缓存对象中之后，所述方法还包括：
接收数据读取指令；
确定所述数据读取指令所指示的待读取数据的数据类型；
从所述数据类型对应的缓存对象中读取所述待读取数据，并判断是否成功读取所述待读取数据；
若未成功读取所述待读取数据，从预设的数据库中查询所述待读取数据，获得查询结果。
在该可选的实施方式中，当接收数据读取指令时，先确定所述数据读取指令所指示的待读取数据的数据类型，然后从与所述数据类型对应的缓存对象中读取所述待读取数据，若缓存对象保存有所述待读取数据，则可以快速读取所述待读取数据。对于配置信息，风控规则这些比较重要的数据，可以同时保存在数据库中，当未成功读取所述待读取数据时，可以从数据库读取配置信息和/或风控规则，避免因无法命中缓存而导致的系统问题，提高了系统的稳定性。
作为一种可选的实施方式，所述将所述分类数据存储至所述缓存对象中之后，所述方法还包括：
接收针对目标数据类型的监听指令；
对与所述目标数据类型对应的缓存对象进行监听，其中，所述目标数据类型包括配置信息数据类型和/或风控规则数据类型；
当监听到所述目标数据类型的缓存对象中的数据进行数据更新时，获取对应的日志信息；
记录所述日志信息。
在该可选的实施方式中，可以通过对缓存对象增加监控(即对指定的缓存对象进行监听)，可以及时获取缓存对象的数据变化情况，比如当配置信息和/或风控规则更新时，可以记录对应的日志信息，即将数据变更过程记录下来。可选的，可以将记录的日志信息进行输出，提示配置信息和/或风控规则发生了变更等。
在图1所描述的方法流程中，可以对不同的数据使用不同的缓存对象，进行缓存管理，通过对缓存对象进行管理来实现及时自动清理缓存以及监控等。本实施例可以确保系统正常运行，提高了系统的稳定性。
图2是本发明公开的一种数据存储装置的较佳实施例的功能模块图。
请参见图2，所述数据存储装置20可运行于电子设备中。所述数据存储装置20可以包括多个由程序代码段所组成的功能模块。所述数据存储装置20中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的数据存储方法中的部分或全部步骤。
本实施例中，所述数据存储装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：获取模块201、分类模块202、确定模块203、创建模块204及存储模块205。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
获取模块201，用于获取待存储数据。
其中，所述待存储数据可以是新获取的数据，还未被相关程序调用，需要存储到缓存中，等待相关程序调用。
分类模块202，用于根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据。
其中，所述分类数据的数据类型可以包括但不限于：外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型以及风控结论数据类型。
确定模块203，用于针对每类所述分类数据，确定所述分类数据的数据类型。
其中，所述数据类型为外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型或风控结论数据类型。
其中，所述中间结果可以是对已有数据进行统计获得的数据，用于进行下一步的运算。外部数据量大，使用完就需要进行回收，释放空间；中间结果临时缓存，走完流程，就可以释放；系统类配置信息不需要回收，可以长期缓存，业务类配置信息会随业务需求动态调整，需要定时更新；风控规则也会随业务调整，需要定时更新；风控结论临时缓存，流程结束就可以清理。
创建模块204，用于若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制。
其中，所述缓存对象可以是Guava缓存对象。Guava缓存是一种本地缓存。在本实施方式中，可以通过管理所述缓存对象，从而管理在所述缓存对象中的缓存。
存储模块205，用于将所述分类数据存储至所述缓存对象中。
本发明实施例中，将所述分类数据存储至所述缓存对象中，使得不同种类的分类数据对应不同的缓存对象，具有不同缓存回收机制，比如外部数据数据类型的数据的数据量大，且使用完就不需要再进行调用了，可以在使用后立即进行回收，释放空间。中间结果数据类型的数据可以临时缓存，走完流程，就可以释放；配置信息数据类型的数据因为要一直使用，不需要过期，可以长期缓存，且会随业务需求动态调整，需要定时更新；风控规则数据类型的数据也要一直使用，不需要过期，可以长期缓存，且会随业务需求动态调整，需要定时更新；风控结论数据类型的数据需要临时缓存，流程结束就可以清理，进行缓存回收操作。
作为一种可选的实施方式，所述创建模块204则创建与所述数据类型对应的缓存对象的方式具体为：
获取与所述数据类型对应的初始化信息，其中，所述初始化信息包括最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间，所述缓存回收策略包括基于容量回收策略或基于时间回收策略；
根据所述初始化信息，创建所述缓存对象。
在该可选的实施方式中，创建缓存对象的时候可以指定最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间等，所述缓存回收策略包括基于容量回收策略以及基于时间回收策略，所述基于容量回收策略可以是当缓存对象中的已缓存的数据量到达预设的缓存容量时，回收缓存对象中最近没有使用或总体上很少使用的缓存数据。所述基于时间回收策略可以是按照访问时间，对缓存对象中最早访问的数据进行最早回收的操作。
作为一种可选的实施方式，所述获取模块201，还用于所述存储模块205将所述分类数据存储至所述缓存对象中之后，获取第一数据类型对应的第一缓存对象，其中，所述第一缓存对象包括外部数据；
所述确定模块203，还用于确定所述第一缓存对象中所有数据的访问时间；
所述确定模块203，还用于从所述所有数据中，将访问时间属于预设时间范围的数据确定为回收数据；
所述数据存储装置20还包括：
回收模块，用于回收所述回收数据。
在该可选的实施方式中，可以按照写入时间，最早写入的最先回收；按照访问时间，最早访问的最早回收。对于外部数据，使用后就可以回收，设置按照访问时间更新。在该可选的实施方式中，可以及时清理掉不需要的缓存，确保缓存剩余足够的空间可以使用。
作为一种可选的实施方式，所述数据存储装置20还包括：
第一接收模块，用于所述存储模块205将所述分类数据存储至所述缓存对象中之后，接收数据读取指令；
所述确定模块203，还用于确定所述数据读取指令所指示的待读取数据的数据类型；
读取模块，用于从所述数据类型对应的缓存对象中读取所述待读取数据，并判断是否成功读取所述待读取数据；
查询模块，用于若未成功读取所述待读取数据，从预设的数据库中查询所述待读取数据，获得查询结果。
在该可选的实施方式中，当接收数据读取指令时，先确定所述数据读取指令所指示的待读取数据的数据类型，然后从与所述数据类型对应的缓存对象中读取所述待读取数据，若缓存对象保存有所述待读取数据，则可以快速读取所述待读取数据。对于配置信息，风控规则这些比较重要的数据，可以同时保存在数据库中，当未成功读取所述待读取数据时，可以从数据库读取配置信息和/或风控规则，避免因无法命中缓存而导致的系统问题，提高了系统的稳定性。
作为一种可选的实施方式，所述数据存储装置20还包括：
第二接收模块，用于所述存储模块205将所述分类数据存储至所述缓存对象中之后，接收针对目标数据类型的监听指令；
监听模块，用于对与所述目标数据类型对应的缓存对象进行监听，其中，所述目标数据类型包括配置信息数据类型和/或风控规则数据类型；
所述获取模块201，还用于当监听到与所述目标数据类型对应的缓存对象中的数据进行数据更新时，获取对应的日志信息；
记录模块，用于记录所述日志信息。
在该可选的实施方式中，可以通过对缓存对象增加监控(即对指定的缓存对象进行监听)，可以及时获取缓存对象的数据变化情况，比如当配置信息和/或风控规则更新时，可以记录对应的日志信息，即将数据变更过程记录下来。可选的，可以将记录的日志信息进行输出，提示配置信息和/或风控规则发生了变更等。
作为一种可选的实施方式，所述确定模块203，还用于所述存储模块205将所述分类数据存储至所述缓存对象中之后，确定缓存的使用率；
所述数据存储装置20还包括：
生成模块，用于若所述使用率大于预设使用率阈值，生成告警信息；
发送模块，用于将所述告警信息发送至预设终端。
在该可选的实施方式中，当缓存的使用率满了以后，数据不能导入缓存中，可能使系统发送异常，可以预先设置一个使用率阈值，比如80％，当所述使用率大于预设使用率阈值，生成告警信息，将所述告警信息发送至预设终端，以告警管理人员进行缓存清理或者增加缓存空间等。
在图2所描述的数据存储装置20中，可以对不同的数据使用不同的缓存对象，进行缓存管理，通过对缓存对象进行管理来实现及时自动清理缓存以及监控等。本实施例可以确保系统正常运行，提高了系统的稳定性。
如图3所示，图3是本发明实现所述数据存储方法的较佳实施例的电子设备的结构示意图。所述电子设备3包括存储器31、至少一个处理器32、存储在所述存储器31中并可在所述至少一个处理器32上运行的计算机程序33及至少一条通讯总线34。
本领域技术人员可以理解，图3所示的示意图仅仅是所述电子设备3的示例，并不构成对所述电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备3还可以包括输入输出设备、网络接入设备等。
所述电子设备3还包括但不限于任何一种可与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)、游戏机、交互式网络电视(InternetProtocol Television，IPTV)、智能式穿戴式设备等。所述电子设备3所处的网络包括但不限于互联网、广域网、城域网、局域网、虚拟专用网络(Virtual Private Network，VPN)等。
所述至少一个处理器32可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、分立硬件组件等。该处理器32可以是微处理器或者该处理器32也可以是任何常规的处理器等，所述处理器32是所述电子设备3的控制中心，利用各种接口和线路连接整个电子设备3的各个部分。
所述存储器31可用于存储所述计算机程序33和/或模块/单元，所述处理器32通过运行或执行存储在所述存储器31内的计算机程序和/或模块/单元，以及调用存储在存储器31内的数据，实现所述电子设备3的各种功能。所述存储器31可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备3的使用所创建的数据等。此外，存储器31可以包括易失性和非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件等。
结合图1，所述电子设备3中的所述存储器31存储多个指令以实现一种数据存储方法，所述处理器32可执行所述多个指令从而实现：
获取待存储数据；
根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；
针对每种所述分类数据，确定所述分类数据的数据类型；
若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；
将所述分类数据存储至所述缓存对象中。
具体地，所述处理器32对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图3所描述的电子设备3中，可以对不同的数据使用不同的缓存对象，进行缓存管理，通过对缓存对象进行管理来实现及时自动清理缓存以及监控等。确保系统正常运行，提高了系统的稳定性。
所述电子设备3集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)等。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种数据存储方法，其特征在于，所述数据存储方法包括：
获取待存储数据；
根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；
针对每种所述分类数据，确定所述分类数据的数据类型；
若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；
将所述分类数据存储至所述缓存对象中。
2.根据权利要求1所述的数据存储方法，其特征在于，所述则创建与所述数据类型对应的缓存对象包括：
获取与所述数据类型对应的初始化信息，其中，所述初始化信息包括最大并发数、缓存回收策略、缓存初始容量、最大缓存容量以及缓存回收时间，所述缓存回收策略包括基于容量回收策略或基于时间回收策略；
根据所述初始化信息，创建所述缓存对象。
3.根据权利要求1所述的数据存储方法，其特征在于，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
获取第一数据类型对应的第一缓存对象，其中，所述第一缓存对象包括外部数据；
确定所述第一缓存对象中所有数据的访问时间；
从所述所有数据中，将访问时间属于预设时间范围的数据确定为回收数据；
回收所述回收数据。
4.根据权利要求1所述的数据存储方法，其特征在于，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
接收数据读取指令；
确定所述数据读取指令所指示的待读取数据的数据类型；
从所述数据类型对应的缓存对象中读取所述待读取数据，并判断是否成功读取所述待读取数据；
若未成功读取所述待读取数据，从预设的数据库中查询所述待读取数据，获得查询结果。
5.根据权利要求1至4中任一项所述的数据存储方法，其特征在于，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
接收针对目标数据类型的监听指令；
对与所述目标数据类型对应的缓存对象进行监听，其中，所述目标数据类型包括配置信息数据类型和/或风控规则数据类型；
当监听到与所述目标数据类型对应的缓存对象中的数据进行数据更新时，获取对应的日志信息；
记录所述日志信息。
6.根据权利要求1至4中任一项所述的数据存储方法，其特征在于，所述将所述分类数据存储至所述缓存对象中之后，所述数据存储方法还包括：
确定缓存的使用率；
若所述使用率大于预设使用率阈值，生成告警信息；
将所述告警信息发送至预设终端。
7.根据权利要求1至4中任一项所述的数据存储方法，其特征在于，所述数据类型为外部数据数据类型、中间结果数据类型、配置信息数据类型、风控规则数据类型或风控结论数据类型。
8.一种数据存储装置，其特征在于，所述数据存储装置包括：
获取模块，用于获取待存储数据；
分类模块，用于根据所述待存储数据的数据标识，对所述待存储数据进行分类，获得分类数据；
确定模块，用于针对每类所述分类数据，确定所述分类数据的数据类型；
创建模块，用于若不存在与所述数据类型对应的缓存对象，则创建与所述数据类型对应的缓存对象，其中，不同的缓存对象具有不同的缓存回收机制；
存储模块，用于将所述分类数据存储至所述缓存对象中。
9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至7中任意一项所述的数据存储方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至7中任意一项所述的数据存储方法。
CN202010760675.1A 2020-07-31 2020-07-31 数据存储方法、装置、电子设备及存储介质 Pending CN111897819A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010760675.1A CN111897819A (zh) 2020-07-31 2020-07-31 数据存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010760675.1A CN111897819A (zh) 2020-07-31 2020-07-31 数据存储方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN111897819A true CN111897819A (zh) 2020-11-06

Family

ID=73182983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010760675.1A Pending CN111897819A (zh) 2020-07-31 2020-07-31 数据存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111897819A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448997A (zh) * 2021-06-22 2021-09-28 深信服科技股份有限公司 缓存处理方法、装置、电子设备和存储介质
CN114528243A (zh) * 2022-02-14 2022-05-24 贵州电网有限责任公司 一种适用于电力芯片内模块间的信息交互方法及装置
WO2023045755A1 (zh) * 2021-09-23 2023-03-30 惠州Tcl移动通信有限公司 一种数据存储方法、装置、终端设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012907A (zh) * 2010-11-10 2011-04-13 上海光芒科技有限公司 一种浏览器客户端侧的缓存方法及系统
CN103428267A (zh) * 2013-07-03 2013-12-04 北京邮电大学 一种智慧缓存系统及其区分用户喜好相关性的方法
CN103488581A (zh) * 2013-09-04 2014-01-01 用友软件股份有限公司 数据缓存系统和数据缓存方法
CN104111899A (zh) * 2014-07-03 2014-10-22 北京思特奇信息技术股份有限公司 一种缓存数据的存储方法及系统及读取方法
CN104133783A (zh) * 2014-07-11 2014-11-05 北京京东尚科信息技术有限公司 处理分散式缓存数据的方法和装置
CN105204963A (zh) * 2015-09-28 2015-12-30 北京奇虎科技有限公司 数据缓存方法及装置
CN106033438A (zh) * 2015-03-13 2016-10-19 北大方正集团有限公司 舆情数据存储方法和服务器
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN107704573A (zh) * 2017-09-30 2018-02-16 山东浪潮通软信息科技有限公司 一种与业务耦合的智能缓存方法
CN108182187A (zh) * 2016-12-08 2018-06-19 腾讯科技（深圳）有限公司 数据缓存方法及装置
CN109101528A (zh) * 2018-06-21 2018-12-28 深圳市买买提信息科技有限公司 数据处理方法、数据处理装置及电子设备
CN109947363A (zh) * 2018-12-11 2019-06-28 深圳供电局有限公司 一种分布式存储系统的数据缓存方法
CN110647477A (zh) * 2018-06-27 2020-01-03 广州神马移动信息科技有限公司 数据缓存方法、装置、终端以及计算机可读存储介质
CN110674432A (zh) * 2019-09-09 2020-01-10 中国平安财产保险股份有限公司 二级缓存方法、装置及计算机可读存储介质
CN111078733A (zh) * 2019-11-26 2020-04-28 金蝶软件（中国）有限公司 批量任务处理方法、装置、计算机设备和存储介质
CN111382180A (zh) * 2020-03-11 2020-07-07 网易（杭州）网络有限公司 一种本地缓存的数据清除方法和装置

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102012907A (zh) * 2010-11-10 2011-04-13 上海光芒科技有限公司 一种浏览器客户端侧的缓存方法及系统
CN103428267A (zh) * 2013-07-03 2013-12-04 北京邮电大学 一种智慧缓存系统及其区分用户喜好相关性的方法
CN103488581A (zh) * 2013-09-04 2014-01-01 用友软件股份有限公司 数据缓存系统和数据缓存方法
CN104111899A (zh) * 2014-07-03 2014-10-22 北京思特奇信息技术股份有限公司 一种缓存数据的存储方法及系统及读取方法
CN104133783A (zh) * 2014-07-11 2014-11-05 北京京东尚科信息技术有限公司 处理分散式缓存数据的方法和装置
CN106033438A (zh) * 2015-03-13 2016-10-19 北大方正集团有限公司 舆情数据存储方法和服务器
CN105204963A (zh) * 2015-09-28 2015-12-30 北京奇虎科技有限公司 数据缓存方法及装置
CN108182187A (zh) * 2016-12-08 2018-06-19 腾讯科技（深圳）有限公司 数据缓存方法及装置
CN106599199A (zh) * 2016-12-14 2017-04-26 国云科技股份有限公司 一种数据缓存与同步方法
CN107704573A (zh) * 2017-09-30 2018-02-16 山东浪潮通软信息科技有限公司 一种与业务耦合的智能缓存方法
CN109101528A (zh) * 2018-06-21 2018-12-28 深圳市买买提信息科技有限公司 数据处理方法、数据处理装置及电子设备
CN110647477A (zh) * 2018-06-27 2020-01-03 广州神马移动信息科技有限公司 数据缓存方法、装置、终端以及计算机可读存储介质
CN109947363A (zh) * 2018-12-11 2019-06-28 深圳供电局有限公司 一种分布式存储系统的数据缓存方法
CN110674432A (zh) * 2019-09-09 2020-01-10 中国平安财产保险股份有限公司 二级缓存方法、装置及计算机可读存储介质
CN111078733A (zh) * 2019-11-26 2020-04-28 金蝶软件（中国）有限公司 批量任务处理方法、装置、计算机设备和存储介质
CN111382180A (zh) * 2020-03-11 2020-07-07 网易（杭州）网络有限公司 一种本地缓存的数据清除方法和装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113448997A (zh) * 2021-06-22 2021-09-28 深信服科技股份有限公司 缓存处理方法、装置、电子设备和存储介质
WO2023045755A1 (zh) * 2021-09-23 2023-03-30 惠州Tcl移动通信有限公司 一种数据存储方法、装置、终端设备及存储介质
CN114528243A (zh) * 2022-02-14 2022-05-24 贵州电网有限责任公司 一种适用于电力芯片内模块间的信息交互方法及装置

Similar Documents

Publication Publication Date Title
US11960726B2 (en) Method and apparatus for SSD storage access
CN111897819A (zh) 数据存储方法、装置、电子设备及存储介质
JP6983806B2 (ja) タグ付きオブジェクトメモリのモニタリング方法及び処理装置
WO2021217863A1 (zh) 订单标识生成方法、装置、服务器及存储介质
CN109086141B (zh) 内存管理方法和装置以及计算机可读存储介质
US10031948B1 (en) Idempotence service
CN111767270A (zh) 数据迁移方法、装置、服务器及存储介质
CN109783321B (zh) 监控数据管理方法、装置、终端设备
RU2665272C1 (ru) Способ и устройство для восстановления дедуплицированных данных
CN108319688A (zh) 一种用于对用户进行阅读提醒的方法与设备
US9380126B2 (en) Data collection and distribution management
CN111104401A (zh) 在基于数组和链表的集成结构中存储数据的系统和方法
CN110535724B (zh) 应用程序网络读写限制方法、装置、电子设备及存储介质
WO2019019596A1 (zh) 断点名单的处理方法、装置、服务器及介质
US11269784B1 (en) System and methods for efficient caching in a distributed environment
CN107003932A (zh) 多核处理器系统的缓存目录处理方法和目录控制器
CN110309328B (zh) 数据存储方法、装置、电子设备及存储介质
CN114518848B (zh) 存储数据的处理方法、装置、设备和介质
CN112286909B (zh) 执行状态确定方法、装置、服务器及存储介质
CN115328656A (zh) 动态内存智能化扩展方法、装置、设备及存储介质
CN104317820A (zh) 报表的统计方法和装置
CN111198900B (zh) 工业控制网络的数据缓存方法、装置、终端设备及介质
CN112394876B (zh) 大文件存储/读取方法、存储/读取装置和计算机设备
CN109614854B (zh) 视频数据处理方法及装置、计算机装置及可读存储介质
CN111897612A (zh) 页面更新方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination