CN111309251A - 数据存储方法、系统、电子设备及可读存储介质 - Google Patents

数据存储方法、系统、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111309251A
CN111309251A CN202010071120.6A CN202010071120A CN111309251A CN 111309251 A CN111309251 A CN 111309251A CN 202010071120 A CN202010071120 A CN 202010071120A CN 111309251 A CN111309251 A CN 111309251A
Authority
CN
China
Prior art keywords
data
preset
hot
hot spot
hotspot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010071120.6A
Other languages
English (en)
Inventor
孙朝阳
李昭
陈浩
高靖
崔岩
卢述奇
张宵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingwutong Co ltd
Original Assignee
Qingwutong Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingwutong Co ltd filed Critical Qingwutong Co ltd
Priority to CN202010071120.6A priority Critical patent/CN111309251A/zh
Publication of CN111309251A publication Critical patent/CN111309251A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储方法、系统、电子设备及可读存储介质，该方法包括：获取业务数据；根据预设应用场景信息确定业务数据中的热点数据和非热点数据；将热点数据存储至第一存储位置，将非热点数据存储至第二存储位置，第一存储位置的读写速度大于第二存储位置的读写速度；按照预设升降级周期分别对热点数据和非热点数据进行升降级，得到升降级结果；根据升降级结果和预设更新时间对业务数据重新分配存储位置。该方法对业务中的热点数据和非热点数据进行定时采集和分类，在后续的数据访问变化过程中对数据进行升降级调整，实现了热点数据和非热点数据的存储转移，既保证了热点数据的读写速度，又降低了非热点数据的存储成本。

Description

数据存储方法、系统、电子设备及可读存储介质
技术领域
本发明涉及数据处理技术领域，具体涉及到一种数据存储方法、系统、电子设备及可读存储介质。
背景技术
针对于互联网时代和大数据时代，数据量井喷式的爆发，不同类型的数据有着不同性能的要求，在线类服务的数据往往对于性能要求很高，一般要求毫秒级别的响应时间，因此，数据的操作时间对整个响应时间来说是至关重要的，这就对数据存储提出了很高的要求。如何提供一种更优的数据存储方法成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种数据存储方法、系统、电子设备及可读存储介质，以提供一种更优的数据存储方式。
为此，本发明实施例提供了如下技术方案：
根据第一方面，本发明实施例提供了一种数据存储方法，包括：获取业务数据；根据预设应用场景信息确定业务数据中的热点数据和非热点数据；将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置。
可选地，根据预设应用场景信息确定业务数据中的热点数据和非热点数据，包括：根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，所述业务数据中除所述热点数据之外的数据设置为非热点数据。
可选地，根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，包括：根据预设应用场景信息对所述业务数据进行预设统计周期的统计，得到预设统计周期内的分布数据；根据所述分布数据确定所述业务数据中预设类型的数据，将所述预设类型的数据设置为热点数据。
可选地，按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，包括：获取预设升降级周期内所述热点数据的访问频率和所述非热点数据的访问频率；判断所述热点数据的访问频率是否小于第一预设频率；若所述热点数据的访问频率小于第一预设频率，则将所述热点数据降级为非热点数据；判断所述非热点数据的访问频率是否大于第二预设频率；若所述非热点数据的访问频率大于第二预设频率，则将所述非热点数据升级为热点数据。
可选地，根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置，包括：根据所述升降级结果重新确定所述业务数据中的热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据；在预设更新时间将所述更新后的热点数据存储至所述第一存储位置，将所述更新后的非热点数据存储至所述第二存储位置。
可选地，所述第一存储位置为内存，所述第二存储位置为磁盘。
根据第二方面，本发明实施例提供了一种数据存储系统，包括：获取模块，用于获取业务数据；第一处理模块，用于根据预设应用场景信息确定业务数据中的热点数据和非热点数据；第二处理模块，用于将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；第三处理模块，用于按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；第四处理模块，用于根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置。
可选地，所述第一处理模块包括：第一处理单元，用于根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，所述业务数据中除所述热点数据之外的数据设置为非热点数据。
可选地，所述第一处理单元包括：第一处理子单元，用于根据预设应用场景信息对所述业务数据进行预设统计周期的统计，得到预设统计周期内的分布数据；第二处理子单元，用于根据所述分布数据确定所述业务数据中预设类型的数据，将所述预设类型的数据设置为热点数据。
可选地，所述第三处理模块包括：获取单元，用于获取预设升降级周期内所述热点数据的访问频率和所述非热点数据的访问频率；第一判断单元，用于判断所述热点数据的访问频率是否小于第一预设频率；第二处理单元，用于若所述热点数据的访问频率小于第一预设频率，则将所述热点数据降级为非热点数据；第二判断单元，用于判断所述非热点数据的访问频率是否大于第二预设频率；第三处理单元，用于若所述非热点数据的访问频率大于第二预设频率，则将所述非热点数据升级为热点数据。
可选地，所述第四处理模块包括：第四处理单元，用于根据所述升降级结果重新确定所述业务数据中的热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据；第五处理单元，用于在预设更新时间将所述更新后的热点数据存储至所述第一存储位置，将所述更新后的非热点数据存储至所述第二存储位置。
可选地，所述第一存储位置为内存，所述第二存储位置为磁盘。
根据第三方面，本发明实施例提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的计算机程序，计算机程序被至少一个处理器执行，以使至少一个处理器执行上述第一方面任意一项所述的数据存储方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行上述第一方面任意一项所述的数据存储方法。
本发明实施例技术方案，具有如下优点：
本发明实施例提供了一种数据存储方法、系统、电子设备及可读存储介质，其中，该方法包括：获取业务数据；根据预设应用场景信息确定业务数据中的热点数据和非热点数据；将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置。该方法对业务中的热点数据和非热点数据进行定时采集和分类，在后续的数据访问变化过程中对数据进行升降级调整，实现了热点数据和非热点数据的存储转移，保证了数据在服务时能更加分明更加快速地调用数据，提升了服务系统性能，优化了存储空间；既保证了热点数据的读写速度，又降低了非热点数据的存储成本。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的数据存储方法的一个具体示例的流程图；
图2为本发明实施例的数据存储方法的另一个具体示例的流程图；
图3为本发明实施例的数据存储方法的另一个具体示例的流程图；
图4为本发明实施例的数据存储方法的另一个具体示例的流程图；
图5为本发明实施例的数据存储方法的另一个具体示例的流程图；
图6为本发明实施例的数据存储方法的另一个具体示例的流程图；
图7为本发明实施例的数据存储系统的一个具体示例的框图；
图8为本发明实施例的电子设备的示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前，主流的数据存储方案包括基于磁盘的MySQL和基于内存的Redis(RemoteDictionary Server，远程字典服务)。MySQL是关系型数据库，数据持久化在数据页(即文件)中，对于某一业务领域的数据存储在一个数据页中，若无索引则为整个数据页扫描查询，若有索引则通过索引可对查询优化，好比书的目录，具有事务特性，无需关注数据的一致性，广泛应用于实际开发中。Redis是内存型数据库，采用KV(Key-Value)键值对的形式进行存储，数据存储在内存中，会有对应的持久化文件，防止宕机(down机)后文件丢失，支持数据类型比较友好，采用单线程，多路复用epoll模型使性能更优。无论是MySQL或者Redis在一定程度上可以满足服务对于数据的要求，但主要存在如下问题：MySQL是完全基于磁盘，即使可以增加索引来提高查询速度，但是还是达不到内存的读写速度，在一些要求很高性能的服务下，MySQL往往不作为第一选择；Redis是完全基于内存的，从性能上来说已经达到目前计算机时代的极致了，但缺点是成本太高，通常会控制Redis的成本，间接限制了服务的性能。故本实施例中，对业务数据进行区分，并结合两种存储方式的优点，将业务数据分别进行存储，这样既保证了数据的读写速度，又降低了存储成本。
基于此，本发明实施例提供了一种数据存储方法，如图1所示，该方法包括步骤S1-S5。
步骤S1：获取业务数据。
作为示例性的实施例，可对业务进行埋点，之后通过埋点日志得到业务数据，本实施例对业务数据的获取方法仅作示意性说明，不以此为限。具体地，埋点可以是自有埋点，也可以是第三方平台埋点(如神策数据埋点)，根据需要合理设置即可。
步骤S2：根据预设应用场景信息确定业务数据中的热点数据和非热点数据。
作为示例性的实施例，预设应用场景信息是预先根据需要设置好的，不同的应用场景所对应业务数据中的热点数据和非热点数据不同。预设应用场景信息可以是酒店旅馆应用场景，也可以是长租公寓应用场景，仅以此为例，不以此为限，预设应用场景可根据实际业务需要合理设置。
具体地，增加业务系统埋点获取业务数据，如酒旅业务中，长周期性离线统计系统访问时间分布，统计各个城市数据访问情况(如热门城市的数据访问)，统计列表返回数据点击情况(如热门酒店的点击量)。根据上述统计，分析出热点数据，如热门城市下的热门酒店，除热点数据的其它数据则为非热点数据。
步骤S3：将热点数据存储至第一存储位置，将非热点数据存储至第二存储位置，第一存储位置的读写速度大于第二存储位置的读写速度。
作为示例性的实施例，第一存储位置为读写速度较快的存储位置，以便于热点数据的快速读取；第二存储位置为读写速度较慢的存储位置，以降低非热点数据的存储成本。
具体地，第一存储位置可以是内存，第二存储位置可以是磁盘，本实施例对此仅作示意性说明，不以此为限。
步骤S4：按照预设升降级周期分别对热点数据和非热点数据进行升降级，得到升降级结果。
作为示例性的实施例，由于数据具有时效性，数据根据访问频率的变化状态也会相应变化，为了最大程度地优化数据存储，保证热点数据的访问，按照预设升降级周期对业务数据中的热点数据和非热点数据进行升降级更新，也就是经过预设升降级周期之后重新对业务数据进行热点数据和非热点数据的划分，得到升降级结果。具体地，随着时间的推移，原来的热点数据随着访问量的减少会变成非热点数据，也就是热点数据的降级；原来的非热点数据随着访问量的增加会变成热点数据，也就是非热点数据的升级。
作为示例性的实施例，预设升降级周期具体可根据实际业务需要合理设置，例如，预设升降级周期可以是一天、一个星期、一个月、一个季度等，仅以此为例，不以此为限。
步骤S5：根据升降级结果和预设更新时间对业务数据重新分配存储位置。
作为示例性的实施例，根据升降级结果可以重新确定业务数据中的热点数据和非热点数据，之后按照预设更新时间对业务数据重新分配存储位置，也就是将重新确定的热点数据存储至第一存储位置，将重新确定的非热点数据存储至第二存储位置。
作为示例性的实施例，预设更新时间可以是预先设置好的，具体根据实际业务场景的需要合理设置即可。例如，在酒店应用场景下，用户通常在下午进行订房，对房间的访问量较大，故预设更新时间设置为每天的上午时间段，具体可以是每天的上午9点。又例如，在租房应用场景下，用户通常在周末进行看房，周末的访问量较大，故预设更新时间设置为周一到周四的任意时间；本实施例对此仅作示意性说明，不以此为限。
通过上述步骤对业务中的热点数据和非热点数据进行定时采集和分类，在后续的数据访问变化过程中对数据进行升降级调整，实现了热点数据和非热点数据的存储转移，保证了数据在服务时能更加分明更加快速地调用数据，提升了服务系统性能，优化了存储空间；既保证了热点数据的读写速度，又降低了非热点数据的存储成本。
作为示例性的实施例，步骤S2根据预设应用场景信息确定业务数据中的热点数据和非热点数据的步骤中，如图2所示，具体包括步骤S21。
步骤S21：根据预设应用场景信息将业务数据中预设类型的数据设置为热点数据，业务数据中除热点数据之外的数据设置为非热点数据。
作为示例性的实施例，预设类型的数据可以是固定的一类数据，也就是强制定义这一类型的数据为热点数据。预设类型具体可根据实际需要合理设置，例如，在房源搜索应用场景下，根据业务需求将想要出租的房源作为热点数据，以便将这些房源尽快出租出去。
作为示例性的实施例，步骤S21根据预设应用场景信息将业务数据中预设类型的数据设置为热点数据的步骤中，如图3所示，具体可包括步骤S211-S212。
步骤S211：根据预设应用场景信息对业务数据进行预设统计周期的统计，得到预设统计周期内的分布数据。
作为示例性的实施例，预设统计周期具体可根据实际业务需要合理设置，例如，预设统计周期可以是一天、一个星期、一个月、一个季度等，仅以此为例，不以此为限。
具体地，结合预设应用场景，对业务数据按照预设统计周期进行统计处理，得到该周期内的分布数据。例如，对多个房源的访问，预设统计周期可以设置为一个月，具体地，对一个月内的每一个房源的访问量进行统计，得到每一个房源一个月内的访问量，将上述访问量作为房源一个月内的分布数据。
步骤S212：根据分布数据确定业务数据中预设类型的数据，将预设类型的数据设置为热点数据。
具体地，预设类型的数据可以是特定房源的数据，从多个房源中的分布数据中查找到该特定房源的分布数据，将特定房源的分布数据设置为热点数据，其它房源的分布数据设置为非热点数据。
通过上述步骤，先对业务数据进行周期统计得到分布数据，之后，根据分布数据确定热点数据，保证了数据的时效性。
作为示例性的实施例，步骤S4按照预设升降级周期分别对热点数据和非热点数据进行升降级的步骤中，如图4所示，包括步骤S41-S45。
步骤S41：获取预设升降级周期内热点数据的访问频率和非热点数据的访问频率。
作为示例性的实施例，在预设升降级周期内统计热点数据的访问量和非热点数据的访问量，之后得到热点数据的访问频率和非热点数据的访问频率。
步骤S42：判断热点数据的访问频率是否小于第一预设频率。若热点数据的访问频率小于第一预设频率，则执行步骤S43；若热点数据的访问频率大于或者等于第一预设频率，则不执行任何操作。
作为示例性的实施例，第一预设频率可以预先设置好的频率，具体可根据需要合理设置。
步骤S43：若热点数据的访问频率小于第一预设频率，则将热点数据降级为非热点数据。
具体地，热点数据的访问频率小于第一预设频率，说明该热点数据在近期内的访问量下降，需要将该热点数据进行降级处理，将其降级为非热点数据，以便将其从第一存储位置移出，保证热点数据有足够的存储空间。若热点数据的访问频率大于或者等于第一预设频率，说明该热点数据的访问量仍较大，仍是热点数据，无需对其进行降级处理，不执行任何操作。
步骤S44：判断非热点数据的访问频率是否大于第二预设频率。若非热点数据的访问频率大于第二预设频率，则执行步骤S45；若非热点数据的访问频率小于或者等于第二预设频率，则不执行任何操作。
作为示例性的实施例，第二预设频率可以预先设置好的频率，具体可根据需要合理设置。第一预设频率和第二预设频率可以相同，也可以不同，根据需要合理设置即可。
步骤S45：若非热点数据的访问频率大于第二预设频率，则将非热点数据升级为热点数据。
具体地，非热点数据的访问频率大于第二预设频率，说明该非热点数据在近期内的访问量上升，需要将该非热点数据进行升级处理，将其升级为热点数据，以便提高数据的访问速度。若非热点数据的访问频率小于或者等于第二预设频率，说明该非热点数据的访问量仍较小，仍是非热点数据，无需对其进行升级处理，不执行任何操作。
通过上述步骤实现了热点数据和非热点数据的及时采集和更新，使热点数据更多的落入内存中，保证热点数据的快速读取；也使一些非热点数据从内存转移到磁盘中，达到节约成本的目的。
作为示例性的实施例，步骤S5根据升降级结果和预设更新时间对业务数据重新分配存储位置的步骤中，如图5所示，包括步骤S51-S52。
步骤S51：根据升降级结果重新确定业务数据中的热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据。
作为示例性的实施例，根据升降级结果，将热点数据中降级的数据划分至非热点数据中，将非热点数据中升级的数据划分至热点数据中，重新划分热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据。
步骤S52：在预设更新时间将更新后的热点数据存储至第一存储位置，将更新后的非热点数据存储至第二存储位置。
作为示例性的实施例，在预设更新时间对更新后的热点数据和非热点数据重新分配存储位置，将更新后的热点数据存储至第一存储位置，将更新后的非热点数据存储至所述第二存储位置，合理利用存储空间。
通过上述步骤，对热点数据和非热点数据的定时采集，以及在数据访问变化过程中对数据进行升降级调整，实现了热点数据和非热点数据的存储转移，保证了数据在服务时能更加分明的调用数据，提升服务系统性能；而且将一些降级为非热点的数据从内存转移到磁盘中，达到节约成本的目的。同时，对数据进行分类存储，能够更加快速地调用数据，提升了服务性能。
下面以一个具体实施例进行详细说明，如图6所示。数据配置主要包括两个数据单元，自定义单元：配置此表的数据是固定的一类数据，强制定义为热点数据；条件定义单元：该单元根据内部配置的周期和访问次数进行热点数据的配置。时间配置主要配置升级/降级的时间，即热点数据升级/降级的更新调整。存储库配置主要对数据进行分类存储，数据状态的转换存在相应的数据库内；其中，热点数据存入内存中，非热点数据存入磁盘中。
具体步骤如下：首先，通过数据配置对热点数据进行配置，主要分为两种配置方式：一种是根据自定义单元配置自定义热点数据表，该单元主要配置固定的一类数据，强制将此类数据定位为热点数据；另一种是通过条件定义单元配置，该单元内部先配置周期和设定访问次数，即此类数据是根据访问的频率来定义是否为热点数据，具体地，周期和访问次数可以是预先配置好的，即在一个时间内，访问多少次为热点数据，此类数据是根据访问的频率来定义是否为热点数据。其次，通过时间配置对数据及时进行更新调整；主要配置数据升级/降级的开始时间；由于数据都具有时效性，因此数据根据访问频率的变化状态也会相应变化；其中，数据的升级方案为：如果数据的访问频率上升，则将数据升级为热点数据；数据的降级方案为：如果数据的访问频率下降，则热点数据将降级为普通数据，也就是非热点数据；对数据的更新调整保证了数据的时效性和准确性。最后，通过存储库配置模块对数据进行分类存储；根据配置情况，将热点数据存入内存中，非热点数据存入磁盘中。
通过上述步骤实现热点数据和非热点数据的存储转移，保证了数据在服务时能更加分明地调用数据，既保证了数据的读取速度，又降低了数据的存储成本。
在本实施例中还提供了一种数据存储系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
本实施例还提供一种数据存储系统，如图7所示，包括：获取模块71、第一处理模块72、第二处理模块73、第三处理模块74和第四处理模块75。
获取模块71，用于获取业务数据；详细内容参考步骤S1所述。
第一处理模块72，用于根据预设应用场景信息确定业务数据中的热点数据和非热点数据；详细内容参考步骤S2所述。
第二处理模块73，用于将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；详细内容参考步骤S3所述。
第三处理模块74，用于按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；详细内容参考步骤S4所述。
第四处理模块75，用于根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置；详细内容参考步骤S5所述。
作为示例性的实施例，所述第一处理模块包括：第一处理单元，用于根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，所述业务数据中除所述热点数据之外的数据设置为非热点数据；详细内容参考步骤S21所述。
作为示例性的实施例，所述第一处理单元包括：第一处理子单元，用于根据预设应用场景信息对所述业务数据进行预设统计周期的统计，得到预设统计周期内的分布数据，详细内容参考步骤S211所述；第二处理子单元，用于根据所述分布数据确定所述业务数据中预设类型的数据，将所述预设类型的数据设置为热点数据，详细内容参考步骤S212所述。
作为示例性的实施例，所述第三处理模块包括：获取单元，用于获取预设升降级周期内所述热点数据的访问频率和所述非热点数据的访问频率，详细内容参考步骤S41所述；第一判断单元，用于判断所述热点数据的访问频率是否小于第一预设频率，详细内容参考步骤S42所述；第二处理单元，用于若所述热点数据的访问频率小于第一预设频率，则将所述热点数据降级为非热点数据，详细内容参考步骤S43所述；第二判断单元，用于判断所述非热点数据的访问频率是否大于第二预设频率，详细内容参考步骤S44所述；第三处理单元，用于若所述非热点数据的访问频率大于第二预设频率，则将所述非热点数据升级为热点数据，详细内容参考步骤S45所述。
作为示例性的实施例，所述第四处理模块包括：第四处理单元，用于根据所述升降级结果重新确定所述业务数据中的热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据，详细内容参考步骤S51所述；第五处理单元，用于在预设更新时间将所述更新后的热点数据存储至所述第一存储位置，将所述更新后的非热点数据存储至所述第二存储位置，详细内容参考步骤S52所述。
作为示例性的实施例，所述第一存储位置为内存，所述第二存储位置为磁盘。
本实施例中的数据存储系统是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。
上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。
本发明实施例还提供了一种电子设备，如图8所示，该电子设备包括一个或多个处理器81以及存储器82，图8中以一个处理器81为例。
该控制器还可以包括：输入装置83和输出装置84。
处理器81、存储器82、输入装置83和输出装置84可以通过总线或者其他方式连接，图8中以通过总线连接为例。
处理器81可以为中央处理器(Central Processing Unit，CPU)。处理器81还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。通用处理器可以是微处理器或者是任何常规的处理器等。
存储器82作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本实施例中的数据存储方法对应的程序指令/模块。处理器81通过运行存储在存储器82中的非暂态软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的数据存储方法。
存储器82可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据服务器操作的处理装置的使用所创建的数据等。此外，存储器82可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器82可选包括相对于处理器81远程设置的存储器，这些远程存储器可以通过网络连接至网络连接装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置83可接收输入的数字或字符信息，以及产生与服务器的处理装置的用户设置以及功能控制有关的键信号输入。输出装置84可包括显示屏等显示设备。
一个或者多个模块存储在存储器82中，当被一个或者多个处理器81执行时，执行如图1-6所示的数据存储方法。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指示相关的硬件来完成，被执行的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述数据存储方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random AccessMemory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (9)

1.一种数据存储方法，其特征在于，包括：
获取业务数据；
根据预设应用场景信息确定业务数据中的热点数据和非热点数据；
将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；
按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；
根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置。
2.如权利要求1所述的数据存储方法，其特征在于，根据预设应用场景信息确定业务数据中的热点数据和非热点数据，包括：
根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，所述业务数据中除所述热点数据之外的数据设置为非热点数据。
3.如权利要求2所述的数据存储方法，其特征在于，根据预设应用场景信息将所述业务数据中预设类型的数据设置为热点数据，包括：
根据预设应用场景信息对所述业务数据进行预设统计周期的统计，得到预设统计周期内的分布数据；
根据所述分布数据确定所述业务数据中预设类型的数据，将所述预设类型的数据设置为热点数据。
4.如权利要求1所述的数据存储方法，其特征在于，按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，包括：
获取预设升降级周期内所述热点数据的访问频率和所述非热点数据的访问频率；
判断所述热点数据的访问频率是否小于第一预设频率；
若所述热点数据的访问频率小于第一预设频率，则将所述热点数据降级为非热点数据；
判断所述非热点数据的访问频率是否大于第二预设频率；
若所述非热点数据的访问频率大于第二预设频率，则将所述非热点数据升级为热点数据。
5.如权利要求1所述的数据存储方法，其特征在于，根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置，包括：
根据所述升降级结果重新确定所述业务数据中的热点数据和非热点数据，得到更新后的热点数据和更新后的非热点数据；
在预设更新时间将所述更新后的热点数据存储至所述第一存储位置，将所述更新后的非热点数据存储至所述第二存储位置。
6.如权利要求1-5中任一所述的数据存储方法，其特征在于，所述第一存储位置为内存，所述第二存储位置为磁盘。
7.一种数据存储系统，其特征在于，包括：
获取模块，用于获取业务数据；
第一处理模块，用于根据预设应用场景信息确定业务数据中的热点数据和非热点数据；
第二处理模块，用于将所述热点数据存储至第一存储位置，将所述非热点数据存储至第二存储位置，所述第一存储位置的读写速度大于所述第二存储位置的读写速度；
第三处理模块，用于按照预设升降级周期分别对所述热点数据和所述非热点数据进行升降级，得到升降级结果；
第四处理模块，用于根据所述升降级结果和预设更新时间对所述业务数据重新分配存储位置。
8.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1-6任意一项所述的数据存储方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-6任意一项所述的数据存储方法。
CN202010071120.6A 2020-01-21 2020-01-21 数据存储方法、系统、电子设备及可读存储介质 Pending CN111309251A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071120.6A CN111309251A (zh) 2020-01-21 2020-01-21 数据存储方法、系统、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071120.6A CN111309251A (zh) 2020-01-21 2020-01-21 数据存储方法、系统、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN111309251A true CN111309251A (zh) 2020-06-19

Family

ID=71150829

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071120.6A Pending CN111309251A (zh) 2020-01-21 2020-01-21 数据存储方法、系统、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111309251A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506435A (zh) * 2020-12-12 2021-03-16 南京地铁建设有限责任公司 一种应用于自动扶梯的数据分级存储方法及系统
CN113111014A (zh) * 2021-04-07 2021-07-13 山东英信计算机技术有限公司 缓存中非热点数据的清理方法、装置、设备及存储介质
CN113254422A (zh) * 2021-06-07 2021-08-13 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统
CN114035743A (zh) * 2021-10-14 2022-02-11 长沙韶光半导体有限公司 机器人传感数据的存储方法及相关设备
CN114816232A (zh) * 2021-07-27 2022-07-29 云南省地质环境监测院(云南省环境地质研究院) 一种高效存取地质灾害大数据的方法及装置
CN115630928A (zh) * 2022-12-01 2023-01-20 广东省实验动物监测所 一种实验动物行政许可数据的管理方法、系统及装置
CN116431082A (zh) * 2023-06-14 2023-07-14 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782683A (zh) * 2010-03-04 2012-11-14 微软公司 用于数据库服务器的缓冲池扩展
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN109684358A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 数据查询的方法和装置
CN110209345A (zh) * 2018-12-27 2019-09-06 中兴通讯股份有限公司 数据存储的方法及装置
US10496315B1 (en) * 2018-07-05 2019-12-03 Western Digital Technologies, Inc. Unified tier and cache structure

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102782683A (zh) * 2010-03-04 2012-11-14 微软公司 用于数据库服务器的缓冲池扩展
CN109684358A (zh) * 2017-10-18 2019-04-26 北京京东尚科信息技术有限公司 数据查询的方法和装置
US10496315B1 (en) * 2018-07-05 2019-12-03 Western Digital Technologies, Inc. Unified tier and cache structure
CN109656958A (zh) * 2018-12-18 2019-04-19 北京小米移动软件有限公司 数据查询方法以及系统
CN110209345A (zh) * 2018-12-27 2019-09-06 中兴通讯股份有限公司 数据存储的方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506435A (zh) * 2020-12-12 2021-03-16 南京地铁建设有限责任公司 一种应用于自动扶梯的数据分级存储方法及系统
CN112506435B (zh) * 2020-12-12 2024-04-02 南京地铁建设有限责任公司 一种应用于自动扶梯的数据分级存储方法及系统
CN113111014A (zh) * 2021-04-07 2021-07-13 山东英信计算机技术有限公司 缓存中非热点数据的清理方法、装置、设备及存储介质
CN113254422A (zh) * 2021-06-07 2021-08-13 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统
CN113254422B (zh) * 2021-06-07 2021-11-12 云上(南昌)大数据运营有限公司 一种基于云计算应用于城市大脑的政务资源管理系统
CN114816232A (zh) * 2021-07-27 2022-07-29 云南省地质环境监测院(云南省环境地质研究院) 一种高效存取地质灾害大数据的方法及装置
CN114816232B (zh) * 2021-07-27 2022-11-08 云南省地质环境监测院(云南省环境地质研究院) 一种高效存取地质灾害大数据的方法及装置
CN114035743A (zh) * 2021-10-14 2022-02-11 长沙韶光半导体有限公司 机器人传感数据的存储方法及相关设备
CN114035743B (zh) * 2021-10-14 2024-05-14 长沙韶光半导体有限公司 机器人传感数据的存储方法及相关设备
CN115630928A (zh) * 2022-12-01 2023-01-20 广东省实验动物监测所 一种实验动物行政许可数据的管理方法、系统及装置
CN116431082A (zh) * 2023-06-14 2023-07-14 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质
CN116431082B (zh) * 2023-06-14 2023-11-21 深圳嘉华众力科技有限公司 数据存储的方法、装置、计算机设备和存储介质

Similar Documents

Publication Publication Date Title
CN111309251A (zh) 数据存储方法、系统、电子设备及可读存储介质
US11269819B1 (en) Managing consistency models in a distributed database
EP2811792B1 (en) A method for operating a mobile telecommunication device
US11675694B2 (en) Key-value stores with optimized merge policies and optimized LSM-tree structures
CN109271435B (zh) 一种支持断点续传的数据抽取方法及系统
US8688658B2 (en) Management of time-variant data schemas in data warehouses
CN102667772A (zh) 文件级分级存储管理系统、方法和设备
US9158802B2 (en) Database partition management
CN107004016B (zh) 有效的数据操纵支持
CN113391765A (zh) 基于分布式存储系统的数据存储方法、装置、设备及介质
US20200341899A1 (en) System and method for prediction based cache management
WO2023066182A1 (zh) 文件处理方法、装置、设备及存储介质
WO2023000766A1 (zh) 数据库模型动态调整的方法、设备及存储介质
CN107992529A (zh) 一种关键词联想方法与装置
CN115729912A (zh) 数据库访问系统、方法、计算机设备和存储介质
JP6953738B2 (ja) データセンターのネットワークにおいてクエリを実行する、コンピュータにより実施される方法
CN113590027B (zh) 数据存储方法、数据获取方法、系统、设备和介质
JP2022550380A (ja) 日付切替データオフロード方法、装置、設備及び媒体
US11860889B2 (en) Cascading data impact visualization tool
US11379375B1 (en) System and method for cache management
CN113688155A (zh) 一种预防缓存雪崩的系统
US20230297632A1 (en) Fetching a query result using a query filter
US20050044090A1 (en) Computer system and program
CN110022348B (zh) 用于动态备份会话的系统和方法
CN110134509B (zh) 一种数据的缓存方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200619