CN114461143A - 一种海量数据的冷热数据区分方法及装置 - Google Patents

一种海量数据的冷热数据区分方法及装置 Download PDF

Info

Publication number
CN114461143A
CN114461143A CN202210035859.0A CN202210035859A CN114461143A CN 114461143 A CN114461143 A CN 114461143A CN 202210035859 A CN202210035859 A CN 202210035859A CN 114461143 A CN114461143 A CN 114461143A
Authority
CN
China
Prior art keywords
data
cold
hot
distinguished
median
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202210035859.0A
Other languages
English (en)
Inventor
安万民
姚国军
陈勇铨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Information2 Software Inc
Original Assignee
Shanghai Information2 Software Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Information2 Software Inc filed Critical Shanghai Information2 Software Inc
Priority to CN202210035859.0A priority Critical patent/CN114461143A/zh
Publication of CN114461143A publication Critical patent/CN114461143A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种海量数据的冷热数据区分方法及装置，所述方法包括如下步骤：步骤S1，收集若干待区分冷热的数据的相关信息；步骤S2，以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数；步骤S3，根据步骤S2确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。

Description

一种海量数据的冷热数据区分方法及装置
技术领域
本发明涉及数据存储技术领域，特别是涉及一种海量数据的冷热数据区分方法及装置。
背景技术
冷数据一般是较长时间之前的状态数据，即用户画像数据，常见的有银行凭证、税务凭证、医疗档案、影视资料等。冷数据不需要实时访问到离线数据，用于灾难恢复的备份或者因为要遵守法律规定必须保留一段时间的。
温数据是非即时的状态和行为数据。可以简单地理解为，把热数据和冷数据混在一起就成了温数据。比如用户近期对某一类型的话题特别感兴趣(热数据)，与以往的行为(冷数据)形成鲜明对比，这说明该用户正处于新用户的成长期(温数据)，运营人员就可以考虑用相应的策略去拉动活跃度并促进转化。
热数据指即时的位置状态、交易和浏览行为。如即时的地理位置，某一特定时间活跃的手机应用等，能够表征“正在什么位置干什么事情”。另外一些实时的记录信息，如用户刚刚打开某个软件或者网站进行了一些操作，热数据可以通过第三方平台去积累，开发者也可以根据用户使用行为积累。
在数据库领域经常会提到冷热数据识别的问题，为什么要区分冷数据和热数据？其原因是由于内存不足以存下所有数据，或者要在内存中存下所有数据的成本过高，因此，大家期望只在内存中存热数据，通过压缩减少内存中冷数据的占用，甚至把冷数据逐出到更廉价的存储设备上(例如SSD或硬盘)。
目前，分布式云计算中心的存储都有分布式存储、外部存储、直接存储等方式，由于现在处理的数据都是海量的，所以大都使用分布式存储，分布式存储也是分布在各台虚拟机上的直接存储通过分布式文件系统整合成一个大的存储，普通的磁盘的数据I/O速率并不高，每个节点的吞吐率不高导致处理海量级数据的时间长。
如今，分层存储已成为了一种常见的存储方法，它将数据存储在具有不同特性(如性能、成本和容量)的不同存储介质上。不同的存储媒介被分配到不同的层次结构中，其中最高性能的存储媒介被认为是第0层或第1层，然后是第2 层、第3层等等，因此，对于数据分层存储的多层存储技术，则更需要依赖于区分数据的冷热。
发明内容
为克服上述现有技术存在的不足，本发明之目的在于提供一种海量数据的冷热数据区分方法及装置，以实现灵活高效地海量数据的冷热数据区分及存储的目的。
为达上述目的，本发明提供一种海量数据的冷热数据区分方法，包括如下步骤：
步骤S1，收集若干待区分冷热的数据的相关信息；
步骤S2，以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数；
步骤S3，根据步骤S2确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
优选地，于步骤S3后，所述方法还包括如下步骤：
步骤S4，利用最近一次的访问时间来分别判断划分后的冷数据序列与热数据序列，确定冷数据序列中的偏冷数据以及确定热数据序列中的偏热数据。
优选地，于步骤S4后，所述方法还包括如下步骤：
步骤S5，根据划分结果，根据不同的温度将所有待区分冷热的数据存至不同的存储介质中。
优选地，于步骤S1中，所收集的待区分冷热的数据的相关信息至少包括数据的访问频次、最近一次访问时间以及该数据的存放地址。
优选地，采用一多维数组存放所收集的待区分冷热的数据的相关信息，并使该多维数组中的数据在访问频次的列上有序。
优选地，于步骤S2中，若该多维数组包括n行数据，则以其访问频次对应的列的数据进行排序，若n为奇数，则其中位数为该多维数据中位置为(n+1) /2对应的记录，若n为偶数，则该中位数为该多维数据中位置为n/2与位置为 n/2+1的两个元素的和除以2的结果。
优选地，于步骤S2中，获取所有待区分冷热的数据对应的访问频次的中位数的频率可根据系统数据的单位时间访问次数设定。
优选地，于步骤S3中，利用获得的该中位数将有序的该多维数组分为两个序列，将该多维数组中访问频次大于或等于该中位数的记录分为热数据序列，该多维数组中访问频次小于该中位数的记录被分至冷数据序列。
优选地，于步骤S4中，若某个数据在冷数据序列中，在近w时间段内未被使用则确定其为冷数据，如果该在冷数据序列中在近w时间段内有被使用则确定其为偏冷数据；若某个数据在热数据序列中，在近w时间段内被使用过则确定其为热数据，如果该在冷数据序列中在近w时间段内未被使用则确定其为偏热数据。
为达到上述目的，本发明还提供一种海量数据的冷热数据区分装置，包括：
信息收集单元，用于收集若干待区分冷热的数据的相关信息；
中位数确定单元，用于以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数；
第一划分单元，根据所述中位数确定单元确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
与现有技术相比，本发明一种海量数据的冷热数据区分方法及装置通过收集若干待区分冷热的数据的相关信息，然后以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数，最后根据确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列，实现了海量数据的冷热区分及高效存储的目的。
附图说明
图1为本发明一种基于自有数据格式的合成备份方法的步骤流程图；
图2为本发明具体实施例中磁盘变化块信息图；
图3为本发明一种基于自有数据格式的合成备份装置的系统架构图。
具体实施方式
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
图1为本发明一种海量数据的冷热数据区分方法的步骤流程图。如图1所示，本发明一种海量数据的冷热数据区分方法，包括如下步骤：
步骤S1，收集并存储若干待区分冷热的数据的相关信息。
在本发明中，待区分的数据可以是存储于普通的存储介质，比如磁盘，硬盘等的数据，需要对其区分冷热存至不同速率的介质中，待区分数据也可以是进行过冷热度区分并已存在不同速率的存储介质，但随着时间的推移需要对其进行重新区分冷热度并重新存储。
具体地，收集待区分冷热的数据的相关信息，至少包括数据的访问频次、最近一次访问时间、以及该数据的存放地址。在本发明具体实施例中，可采用一多维数组存放所收集的待区分冷热的数据的相关信息，但本发明不以此为限制，也可以使用其他数据结构，如堆、队列等存储所收集的待区分冷热的数据的相关信息。
步骤S2，以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数。
在本发明具体实施例中，若采用多维数组存放所收集的待区分冷热的数据的相关信息，则使该多维数组中的数据在访问频次的列上有序，并每隔若干时间计算该多维数组中所有数据访问频次的中位数，假设该多维数组为n行，即该多维数组中收集了n个待区分冷热的数据的相关信息，则以其访问频次对应的列的数据进行排序，并得到该n个待区分冷热的数据访问频次的中位数，其中，若n为奇数，则其中位数为该多维数据中位置为(n+1)/2对应的那个元素，若n为偶数，则该中位数为该多维数据中位置为n/2与位置为n/2+1的两个元素的和除以2的结果(此时中位数并不一定存在于该多维数组中)。
优选地，获取所有待区分冷热的数据对应的访问频次的中位数的频率可根据系统数据的单位时间访问次数设定，例如：系统数据1分钟总访问10次，则可降低获取所有待区分冷热的数据对应的访问频次的中位数的频率。
步骤S3，根据步骤S2确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
在本发明具体实施例中，利用获得的该中位数将有序的该多维数组分为两个序列，该多维数组中访问频次大于或等于该中位数的记录分为热数据序列，即其中对应的待区分冷热的数据为热数据，该多维数组中访问频次小于该中位数的记录被分至冷数据序列，其中对应的待区分冷热的数据为冷数据。
步骤S4，利用最近一次的访问时间来分别判断划分后的冷数据序列与热数据序列，确定冷数据序列中的偏冷数据以及确定热数据序列中的偏热数据。
在本发明中，如果某个数据在冷数据序列中，在近w时间段内未被使用则确定其为冷数据，如果该在冷数据序列中在近w时间段内有被使用则确定其为偏冷数据，同理，热数据序列的处理也类似。
具体地，得到中位数后判断该多维数组中各记录的访问频次，对于访问频次大于或等于中位数，并且在近w时间段内被使用过的数据则为热数据；对于访问频次大于或等于中位数，并且在近w时间段内未被使用的为偏热数据；对于访问频次小于中位数，并且在近w时间段内被使用过的为偏冷数据；访问频次在小于中位数，并且在近w时间段未被使用过的为冷数据，最终该多维数组序列则被划分为4个子序列，该4个子序列对应的数据分别是：热数据、偏热数据、偏冷数据、冷数据。在本发明具体实施例中，w可以为一天、一周、一天，可视具体情况而定，本发明不做限定。
优选地，于步骤S4后，本发明还包括如下步骤：
步骤S5，根据划分结果，根据不同的温度将所有待区分冷热的数据存至不同的存储介质中。
在本发明具体实施例中，根据上述划分结果根据不同的温度将所有待区分冷热的数据存至分层存储的不同的层次结构中，例如热数据、偏热数据存储到第0层、第1层，偏冷数据、冷数据存储到第2层、第3层。
图2为本发明一种海量数据的冷热数据区分装置的系统架构图。如图2所示，本发明一种海量数据的冷热数据区分装置，包括：
信息收集单元201，用于收集并存储若干待区分冷热的数据的相关信息。
在本发明中，所收集的待区分冷热的数据的相关信息至少包括数据的访问频次、最近一次访问时间、以及该数据的存放地址。在本发明具体实施例中，可采用一多维数组存放所收集的待区分冷热的数据的相关信息，但本发明不以此为限制，也可以使用其他数据结构，如堆、队列等存储所收集的待区分冷热的数据的相关信息。
中位数确定单元202，用于以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数。
在本发明具体实施例中，若采用多维数组存放所收集的待区分冷热的数据的相关信息，则使该多维数组中的数据在访问频次的列上有序，并每隔若干时间计算该多维数组中所有数据访问频次的中位数，假设该多维数组为n行，即该多维数组中收集了n个待区分冷热的数据的相关信息，则以其访问频次对应的列的数据进行排序，并得到该n个待区分冷热的数据访问频次的中位数，其中，若n为奇数，则其中位数为该多维数据中位置为(n+1)/2对应的那个元素，若n为偶数，则该中位数为该多维数据中位置为n/2与位置为n/2+1的两个元素的和除以2的结果。
优选地，获取所有待区分冷热的数据对应的访问频次的中位数的频率可根据系统数据的单位时间访问次数设定，例如：系统数据1分钟总访问10次，则可降低获取所有待区分冷热的数据对应的访问频次的中位数的频率。
第一划分单元203，根据中位数确定单元202确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
在本发明具体实施例中，利用获得的该中位数将有序的该多维数组分为两个序列，该多维数组中访问频次大于或等于该中位数的记录分为热数据序列，即其中对应的待区分冷热的数据为热数据，该多维数组中访问频次小于该中位数的记录被分至冷数据序列，其中对应的待区分冷热的数据为冷数据。
第二划分单元204，用于利用最近一次的访问时间来分别判断划分后的冷数据序列与热数据序列，确定冷数据序列中的偏冷数据以及确定热数据序列中的偏热数据。
在本发明中，如果某个数据在冷数据序列中，在近w时间段内未被使用则确定其为冷数据，如果该在冷数据序列中在近w时间段内有被使用则确定其为偏冷数据，同理，热数据序列的处理也类似。
具体地，得到中位数后判断该多维数组中各记录的访问频次，对于访问频次大于或等于中位数，并且在近w时间段内被使用过的数据则为热数据；对于访问频次大于或等于中位数，并且在近w时间段内未被使用的为偏热数据；对于访问频次小于中位数，并且在近w时间段内被使用过的为偏冷数据；访问频次在小于中位数，并且在近w时间段未被使用过的为冷数据，最终该多维数组序列则被划分为4个子序列，该4个子序列对应的数据分别是：热数据、偏热数据、偏冷数据、冷数据。在本发明具体实施例中，w可以为一天、一周、一天，可视具体情况而定，本发明不做限定。
优选地，本发明还包括：
存储单元205，用于根据划分结果，根据不同的温度将所有待区分冷热的数据存至不同的存储介质中。
在本发明具体实施例中，根据上述划分结果根据不同的温度将所有待区分冷热的数据存至分层存储的不同的层次结构中，例如热数据、偏热数据存储到第0层、第1层，偏冷数据、冷数据存储到第2层、第3层。
实施例
在本实施例中，一种海量数据的冷热数据区分方法，其流程如下：
步骤1，使用多维数组a存放n个需要区分冷热的数据的访问频次、最近一次访问时间、以及该数据的存放地址，并让a在访问频次的列上有序，如图3 所示，当然，本发明也可使用其他数据结构，如堆、队列等，本发明不以此为限。
步骤2，每隔一段时间m去计算这n个数据访问频次的中位数，如果该多维数组的长度n是奇数，则中位数就是位置为(n+1)/2的那个元素，如图3 所示，假设n为15，则中位数为位置8的那个元素，160，如果该多维数组a的长度n是偶数，则中位数的定义是位置为n/2和位置为n/2+1的两个元素的和除以2的结果，该数并不一定在此多维数组a中。在本实施例中，m根据系统数据的单位时间访问次数指定，例如：系统数据1分钟总访问10次，则就可将m指定稍微大一点。
步骤3，当得到中位数后，判断该多维数组a中访问频次大于或等于中位数，并且在近w时间段内被使用过的数据为热数据；该多维数组a中访问频次大于或等于中位数，并且在近w时间段内未被使用的数据为偏热数据；该多维数组a中访问频次小于中位数，并且在近w时间段内被使用过的数据为偏冷数据；该多维数组a中访问频次在小于中位数，并且在近w时间段未被使用过的数据为冷数据，如图3所示，其中，w可以为一天、一周、一天，视具体情况而定，此处不做限定。
步骤4，根据得到的四种不同程度的数据冷热的划分，可根据存储策略调整他们的存储介质，使存储的效益更高更优。
与现有技术相比，本发明具有如下优点：
1、本发明可指定多长时间去刷新一次冷热数据；
2、本发明可指定通过近一周、一月，或一年等来作为划分条件，也可添加其他的划分条件例如文件的创建时间等。
3、本发明中，分割条件具有代表性，绝大多数情况下，中位数具有不受分布数列的极大或极小值影响，从而在一定程度上提高了中位数对分布数列的代表性。
4、由于本发明在数据结构中存储的只有数据的存放地址和数据的使用频次，不需将数据存储到该多维数组或其他数据结构中，同样大小的空间它可以存放更多的数据的属性(频次和地址)，可以实现海量数据的冷热数据区分，本发明占用空间小，用空间来换取了存储效率。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种海量数据的冷热数据区分方法，包括如下步骤：
步骤S1，收集若干待区分冷热的数据的相关信息；
步骤S2，以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数；
步骤S3，根据步骤S2确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
2.如权利要求1所述的一种海量数据的冷热数据区分方法，其特征在于，于步骤S3后，所述方法还包括如下步骤：
步骤S4，利用最近一次的访问时间来分别判断划分后的冷数据序列与热数据序列，确定冷数据序列中的偏冷数据以及确定热数据序列中的偏热数据。
3.如权利要求2所述的一种海量数据的冷热数据区分方法，其特征在于，于步骤S4后，所述方法还包括如下步骤：
步骤S5，根据划分结果，根据不同的温度将所有待区分冷热的数据存至不同的存储介质中。
4.如权利要求3所述的一种海量数据的冷热数据区分方法，其特征在于：于步骤S1中，所收集的待区分冷热的数据的相关信息至少包括数据的访问频次、最近一次访问时间以及该数据的存放地址。
5.如权利要求4所述的一种海量数据的冷热数据区分方法，其特征在于：采用一多维数组存放所收集的待区分冷热的数据的相关信息，并使该多维数组中的数据在访问频次的列上有序。
6.如权利要求5所述的一种海量数据的冷热数据区分方法，其特征在于：于步骤S2中，若该多维数组包括n行数据，则以其访问频次对应的列的数据进行排序，若n为奇数，则其中位数为该多维数据中位置为(n+1)/2对应的记录，若n为偶数，则该中位数为该多维数据中位置为n/2与位置为n/2+1的两个元素的和除以2的结果。
7.如权利要求6所述的一种海量数据的冷热数据区分方法，其特征在于：于步骤S2中，获取所有待区分冷热的数据对应的访问频次的中位数的频率可根据系统数据的单位时间访问次数设定。
8.如权利要求7所述的一种海量数据的冷热数据区分方法，其特征在于：于步骤S3中，利用获得的该中位数将有序的该多维数组分为两个序列，将该多维数组中访问频次大于或等于该中位数的记录分为热数据序列，该多维数组中访问频次小于该中位数的记录被分至冷数据序列。
9.如权利要求8所述的一种海量数据的冷热数据区分方法，其特征在于：于步骤S4中，若某个数据在冷数据序列中，在近w时间段内未被使用则确定其为冷数据，如果该在冷数据序列中在近w时间段内有被使用则确定其为偏冷数据；若某个数据在热数据序列中，在近w时间段内被使用过则确定其为热数据，如果该在冷数据序列中在近w时间段内未被使用则确定其为偏热数据。
10.一种海量数据的冷热数据区分装置，包括：
信息收集单元，用于收集若干待区分冷热的数据的相关信息；
中位数确定单元，用于以收集的信息中访问频次对收集的所有待区分冷热的数据的相关信息进行排列，每隔若干时间，获取所有待区分冷热的数据对应的访问频次的中位数；
第一划分单元，根据所述中位数确定单元确定的中位数，根据所有待区分冷热的数据的访问频次进行冷热数据划分，将所有待区分冷热的数据划分为冷数据序列和热数据序列。
CN202210035859.0A 2022-01-11 2022-01-11 一种海量数据的冷热数据区分方法及装置 Withdrawn CN114461143A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210035859.0A CN114461143A (zh) 2022-01-11 2022-01-11 一种海量数据的冷热数据区分方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210035859.0A CN114461143A (zh) 2022-01-11 2022-01-11 一种海量数据的冷热数据区分方法及装置

Publications (1)

Publication Number Publication Date
CN114461143A true CN114461143A (zh) 2022-05-10

Family

ID=81410498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210035859.0A Withdrawn CN114461143A (zh) 2022-01-11 2022-01-11 一种海量数据的冷热数据区分方法及装置

Country Status (1)

Country Link
CN (1) CN114461143A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303119A (zh) * 2023-05-19 2023-06-23 珠海妙存科技有限公司 冷热数据的识别方法、系统及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066512A (zh) * 2017-01-23 2017-08-18 重庆邮电大学 一种基于Hadoop的用户偏好评估方法及系统
CN107979636A (zh) * 2017-11-10 2018-05-01 上海华讯网络系统有限公司 冷热数据分介质存储平台设计系统及方法
CN108536552A (zh) * 2018-04-17 2018-09-14 北京搜狐新媒体信息技术有限公司 数据的冗余备份处理方法及装置
CN109299144A (zh) * 2018-08-22 2019-02-01 北京奇艺世纪科技有限公司 一种数据处理方法、装置、系统及应用服务器
CN109783443A (zh) * 2018-12-25 2019-05-21 西安交通大学 一种分布式存储系统中海量数据的冷热判断方法
CN111562889A (zh) * 2020-05-14 2020-08-21 杭州海康威视系统技术有限公司 数据处理方法、装置、系统及存储介质
CN113535757A (zh) * 2021-08-12 2021-10-22 厦门市易联众易惠科技有限公司 一种冷热数据的发现方法、装置、设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107066512A (zh) * 2017-01-23 2017-08-18 重庆邮电大学 一种基于Hadoop的用户偏好评估方法及系统
CN107979636A (zh) * 2017-11-10 2018-05-01 上海华讯网络系统有限公司 冷热数据分介质存储平台设计系统及方法
CN108536552A (zh) * 2018-04-17 2018-09-14 北京搜狐新媒体信息技术有限公司 数据的冗余备份处理方法及装置
CN109299144A (zh) * 2018-08-22 2019-02-01 北京奇艺世纪科技有限公司 一种数据处理方法、装置、系统及应用服务器
CN109783443A (zh) * 2018-12-25 2019-05-21 西安交通大学 一种分布式存储系统中海量数据的冷热判断方法
CN111562889A (zh) * 2020-05-14 2020-08-21 杭州海康威视系统技术有限公司 数据处理方法、装置、系统及存储介质
CN113535757A (zh) * 2021-08-12 2021-10-22 厦门市易联众易惠科技有限公司 一种冷热数据的发现方法、装置、设备及可读存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116303119A (zh) * 2023-05-19 2023-06-23 珠海妙存科技有限公司 冷热数据的识别方法、系统及存储介质
CN116303119B (zh) * 2023-05-19 2023-08-11 珠海妙存科技有限公司 冷热数据的识别方法、系统及存储介质

Similar Documents

Publication Publication Date Title
CN109164980B (zh) 一种时序数据的聚合优化处理方法
US20070162697A1 (en) Volume management method and apparatus
EP3944556B1 (en) Block data storage method and apparatus, and block data access method and apparatus
US20070143380A1 (en) Apparatus, system, and method for reorganizing a set of database partitions
JP4948276B2 (ja) データベース検索装置及びデータベース検索プログラム
CN106933511B (zh) 考虑负载均衡与磁盘效率的空间数据存储组织方法及系统
US20130232175A1 (en) Information retrieval system, registration apparatus for indexes for information retrieval, information retrieval method and program
CN110727406B (zh) 一种数据存储调度方法及装置
US10712943B2 (en) Database memory monitoring and defragmentation of database indexes
CN110858210B (zh) 数据查询方法及装置
CN111125171A (zh) 一种监测数据存取方法、装置、设备及可读存储介质
CN111708895B (zh) 一种知识图谱系统的构建方法及装置
US7660790B1 (en) Method and apparatus for utilizing a file change log
CN114461143A (zh) 一种海量数据的冷热数据区分方法及装置
US12093286B2 (en) Time series data management systems and methods
WO2020024798A1 (zh) 一种时序数据的高效存储方法
CN107480281B (zh) 一种异构文件系统之间的统一视图的构建方法
US20160055211A1 (en) Apparatus and method for memory storage and analytic execution of time series data
CN110399396B (zh) 高效的数据处理
CN112883124B (zh) 数据处理方法、装置、计算机设备及存储介质
JP4095840B2 (ja) キャッシュメモリ管理方法
CN106980616B (zh) 一种海量小文件合并存储方法和系统
CN114217741A (zh) 存储装置的存储方法及存储装置
CN110990394B (zh) 分布式面向列数据库表的行数统计方法、装置和存储介质
CN107819804B (zh) 云端储存设备系统及决定其架构的高速缓存中数据的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220510

WW01 Invention patent application withdrawn after publication