CN116595110A - 一种数据存储方法、装置、电子设备及存储介质 - Google Patents

一种数据存储方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN116595110A
CN116595110A CN202310650966.9A CN202310650966A CN116595110A CN 116595110 A CN116595110 A CN 116595110A CN 202310650966 A CN202310650966 A CN 202310650966A CN 116595110 A CN116595110 A CN 116595110A
Authority
CN
China
Prior art keywords
data
data file
file
cold
warehouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310650966.9A
Other languages
English (en)
Inventor
邵天东
许超
张文军
纪台伟
王亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Original Assignee
Faw Nanjing Technology Development Co ltd
FAW Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Faw Nanjing Technology Development Co ltd, FAW Group Corp filed Critical Faw Nanjing Technology Development Co ltd
Priority to CN202310650966.9A priority Critical patent/CN116595110A/zh
Publication of CN116595110A publication Critical patent/CN116595110A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2282—Tablespace storage structures; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0608—Saving storage space on storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0644—Management of space entities, e.g. partitions, extents, pools
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据存储方法、装置、电子设备及存储介质。该方法包括：遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件；将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件；从数据仓库中删除冷数据文件。本公开实施例的技术方案，可以在不影响历史数据文件读取的同时，将数据仓库的存储压力释放到低成本存储区中，减轻数据仓库的存储压力，降低历史数据的存储成本。

Description

一种数据存储方法、装置、电子设备及存储介质
技术领域
本发明涉及数据处理领域，尤其涉及一种数据存储方法、装置、电子设备及存储介质。
背景技术
在数据仓库建设过程中，通常需要存储大量的历史数据，这些数据涉及到多维度、多层次的数据模型，需要占用大量的磁盘空间，随着数据量的增加，存储成本也会不断攀升。
针对这个问题，传统有两个解决方法：一是进行数据删除，对于不再需要的历史数据，从数仓中删除，以减少存储空间需求和提高查询效率；二是进行数据压缩，对历史数据进行压缩，以减少存储空间需求。
关于数据删除，在进行数据删除时，业务上往往无法区分哪些是不再需要的数据，很多数据在业务上虽然使用频率极低，但却无法容忍直接删除，否则在后期需要数据的时候，则无法调取。关于数据压缩，在大数据数仓建设时底层文件已经进行过压缩，且如果进行二次压缩的话基本没有什么效果，无法减轻数据仓库的存储压力。
发明内容
本发明提供了一种数据存储方法、装置、电子设备及存储介质，以实现在不影响历史数据文件读取的同时，将数据仓库的存储压力释放到低成本存储区中，减轻数据仓库的存储压力，降低历史数据的存储成本的效果。
根据本发明的一方面，提供了一种数据存储方法，所述方法包括：
遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件；
将所述冷数据文件备份至目标存储区中，并在所述数据仓库中创建所述冷数据文件对应的链接文件；其中，所述链接文件用于指示从所述目标存储区中读取备份存储的冷数据文件；
从所述数据仓库中删除所述冷数据文件。
根据本发明的另一方面，提供了一种数据存储装置，所述装置包括：
冷数据文件确定模块，用于遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件；
链接文件创建模块，用于将所述冷数据文件备份至目标存储区中，并在所述数据仓库中创建所述冷数据文件对应的链接文件；其中，所述链接文件用于指示从所述目标存储区中读取备份存储的冷数据文件；
冷数据文件删除模块，用于从所述数据仓库中删除所述冷数据文件。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据存储方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据存储方法。
本发明实施例的技术方案，通过遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件，可以在数据仓库的海量的历史数据文件中准确地确定需要进行处理的冷数据文件；通过将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件，可以在不影响冷数据文件读取的同时，将冷数据文件的存储地址由数据仓库转到目标存储区；通过从数据仓库中删除所述冷数据文件，释放了数据仓库的存储空间。本发明实施例的技术方案，可以在不影响历史数据文件读取的同时，将数据仓库的存储压力释放到低成本存储区中，减轻数据仓库的存储压力，降低历史数据的存储成本。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据存储方法的流程图；
图2是根据本发明实施例二提供的一种数据存储方法的流程图；
图3是根据本发明实施例三提供的一种数据存储装置的结构示意图；
图4是实现本发明实施例的数据存储方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
图1为本发明实施例一提供了一种数据存储方法的流程图，本实施例可适用于对数据仓库中的冷数据进行备份存储的情况，该方法可以由数据存储装置来执行，该数据存储装置可以采用硬件和/或软件的形式实现，该数据存储装置可配置于电子设备中。如图1所示，该方法包括：
S110、遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件。
在数据仓库建设过程中，通常需要存储大量的历史数据文件，这些数据文件涉及到多维度、多层次的数据模型，需要占用大量的磁盘空间。然而，在这些历史数据文件中，有一部分数据文件不经常被访问，在本申请实施例中，这部分数据被称为冷数据文件。冷数据文件不经常被访问，又占用了磁盘空间。因此，为了降低数据的存储成本，需要对冷数据文件进行处理，而在对冷数据文件进行处理之前，需要在数据仓库的历史数据文件中确定冷数据文件。
在本发明实施例中，可以在遍历数据仓库中的各个数据文件的过程中，通过预先设定的冷热数据判断算法，对数据仓库中的各个数据文件进行区分，从各个数据文件中确定数据仓库中的冷数据文件。其中，通过冷热数据判断算法对冷热数据文件进行区分时，所遵循的区分规则可以为任意规则，如数据文件创建时间、最后读取时间、使用频率，具体可根据实际的应用场景进行预先设定。由此，可以在数据仓库的海量的历史数据文件中准确地确定需要进行处理的冷数据文件。
S120、将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件。
一般来说，存储区可根据成本高低以及速度快慢分为两类，一类是成本较高、速度较快的存储区，如本地固态硬盘、集群的HDFS，另一类是成本较低、速度较慢的存储区，如对象存储区、自动磁带机。
在本发明实施例中，目标存储区包括对象存储区或自动磁带机，即目标存储区为成本较低、速度较慢的存储区。可以将不经常被访问的冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件，链接文件用于指示从目标存储区中读取备份存储的冷数据文件。
具体地，链接文件的名称与冷数据文件的名称相同，后缀名为cl，其中包含冷数据文件的备份信息。
当需要对冷数据文件进行读取时，便可经由数据仓库中的链接文件，从目标存储区中读取备份存储的冷数据文件。由此，便可以在不影响冷数据文件读取的同时，将冷数据文件的存储地址由数据仓库转到目标存储区，进而将数据仓库的存储压力释放到低成本存储区中，降低历史数据的存储成本。
S130、从数据仓库中删除所述冷数据文件。
将冷数据文件备份至目标存储区之后，由于可以通过数据仓库中的链接文件，从目标存储区中读取备份存储的冷数据文件，因此，便可以将存储在数据仓库中的冷数据文件进行删除。由此，可以释放数据仓库的存储空间，进而减轻数据仓库的存储压力。
本发明实施例的技术方案，通过遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件，可以在数据仓库的海量的历史数据文件中准确地确定需要进行处理的冷数据文件；通过将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件，可以在不影响冷数据文件读取的同时，将冷数据文件的存储地址由数据仓库转到目标存储区；通过从数据仓库中删除所述冷数据文件，释放了数据仓库的存储空间。本发明实施例的技术方案，可以在不影响历史数据文件读取的同时，将数据仓库的存储压力释放到低成本存储区中，减轻数据仓库的存储压力，降低历史数据的存储成本。
实施例二
图2为本发明实施例二提供的一种数据存储方法的流程图，本发明实施例以上述实施例为基础进行优化，未在本发明实施例中详尽描述的方案见上述实施例。如图2所示，该方法包括：
S210、遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件。
具体地，遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件，包括：遍历数据仓库中的各个数据文件，确定当前数据文件的创建时间或最后读取时间；当创建时间大于第一预设时长或最后读取时间大于第二预设时长时，确定当前数据文件为冷数据文件；或者，遍历数据仓库中的各个数据文件，确定当前数据文件的历史访问频率；当历史访问频率小于预设访问频率时，确定当前数据文件为冷数据文件。
在本发明实施例中，通过预先设定的冷热数据判断算法对冷热数据文件进行区分时，所遵循的区分规则主要包括时间规则和频率规则，时间规则包括数据文件的创建时间和数据文件的最后读取时间，频率规则包括数据文件的历史访问频率。
示例性地，当数据文件的创建时间大于第一预设时长，如三个月，则认为该数据文件为冷数据文件；当数据文件的最后读取时间大于第二预设时长，如一个月，则认为该数据文件为冷数据文件；当数据文件的历史访问频率小于预设访问频率，如一月三次，则认为该数据文件为冷数据文件。
在一个可选地具体实施方式中，上述方案基于Apache Hive的数据仓库进行实现。在该具体实施方式中，将Hive数据仓库构建在热数据文件使用的HDFS集群存储上之后，创建Hive的数据表，数据表以日期作为分区，使用自定义的InputFormat类做数据读取类。用户可以使用通过Java编写的MapReduce程序来实现遍历该数据表存储的分区目录，并将日期距今时间大于三个月的分区目录下的数据文件确定为冷数据文件。
S220、将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件。
在上述可选地具体实施方式中，目标存储区使用MinIO对象存储。用户可以使用通过Java编写的MapReduce程序来将日期距今时间大于三个月的分区目录下的冷数据文件备份至MinIO对象存储中，并在备份完成后，在该目录中创建后缀名为cl的链接文件，链接文件指向MinIO对象存储中备份存储的冷数据文件。
S230、从数据仓库中删除冷数据文件。
在上述可选地具体实施方式中，用户可以通过删除日期距今时间大于三个月的分区目录下的数据文件来从数据仓库中删除冷数据文件。
S240、当接收到数据读取指令时，判断数据读取指令中是否包含目标条件信息；其中，目标条件信息为用于确定各个数据文件是否为冷数据文件的条件信息，若是，则执行S250，否则，执行S260。
在本发明实施例中，数据读取指令包括SQL语句，用户通过向数据仓库提交SQL语句对数据仓库进行查询。目标条件信息为用于确定各个数据文件是否为冷数据文件的条件信息，如数据文件的创建时间大于三个月。当接收到数据读取指令时，判断SQL语句中是否包含用于确定各个数据文件是否为冷数据文件的条件信息，若是，则执行步骤S250，否则，执行步骤S260。
在上述可选地具体实施方式中，当接收到数据读取指令时，获取用户提交查询的SQL语句，解析SQL语句中是否有日期字段的过滤条件，以上功能可使用Java编写Hive的自定义InputFormat类型实现。
S250、对数据仓库中的所有文件进行扫描，以读取与数据读取指令匹配的第一目标数据文件；其中，数据仓库中的所有文件包括链接文件。
在本发明实施例中，步骤240的判断结果为是，即数据读取指令中包含所述目标条件信息，则表示与数据读取指令匹配的第一目标数据文件可能是冷数据文件，对数据仓库中的包括链接文件在内的所有文件进行扫描。如果与数据读取指令匹配的第一目标数据文件不是冷数据文件，则直接在数据仓库中进行第一目标数据文件的读取；如果与数据读取指令匹配的第一目标数据文件是冷数据文件，则按照链接文件的内容从目标存储区中进行第一目标数据文件的读取。由此，可以通过链接文件直接进行目标存储区中的冷数据文件备份的读取，不用再将冷数据文件的备份恢复至数据仓库中。
在上述可选地具体实施方式中，如果SQL语句中有日期字段的过滤条件，则扫描文件时包含所有cl后缀名的文件，当读取到cl后缀名的文件时，通过其内容中的url，从MinIO中读取其数据文件。
S260、对数据仓库中除链接文件外的文件进行扫描，以读取与数据读取指令匹配的第二目标数据文件。
在本发明实施例中，步骤240的判断结果为否，即数据读取指令中不包含目标条件信息，则表示与数据读取指令匹配的第二目标数据文件并不是冷数据文件，对数据仓库中的除链接文件在内的所有文件进行扫描，以直接在数据仓库中进行第二目标数据文件的读取。由此，可以减少需要进行扫描的文件的量，提高数据文件的读取效率。
在上述可选地具体实施方式中，如果SQL语句中没有日期字段的过滤条件，则扫描文件时，忽略所有的cl后缀名的文件。
本发明实施例的技术方案，通过遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从各个数据文件中确定数据仓库中的冷数据文件，可以在数据仓库的海量的历史数据文件中准确地确定需要进行处理的冷数据文件；通过将冷数据文件备份至目标存储区中，并在数据仓库中创建冷数据文件对应的链接文件；其中，链接文件用于指示从目标存储区中读取备份存储的冷数据文件，可以在不影响冷数据文件读取的同时，将冷数据文件的存储地址由数据仓库转到目标存储区；通过从数据仓库中删除所述冷数据文件，释放了数据仓库的存储空间。当接收到数据读取指令时，判断数据读取指令中是否包含目标条件信息；其中，目标条件信息为用于确定各个数据文件是否为冷数据文件的条件信息；当数据读取指令中包含所述目标条件信息时，对数据仓库中的所有文件进行扫描，以读取与数据读取指令匹配的第一目标数据文件；其中，数据仓库中的所有文件包括链接文件，可以通过链接文件直接进行目标存储区中的冷数据文件备份的读取，不用再将冷数据文件的备份恢复至数据仓库中。本发明实施例的技术方案，可以在不影响历史数据文件读取的同时，将数据仓库的存储压力释放到低成本存储区中，减轻数据仓库的存储压力，降低历史数据的存储成本，同时，减少冷数据备份恢复所需的人力资源。
实施例三
图3为本发明实施例三提供的一种数据存储装置的结构示意图。如图3所示，该装置包括：
冷数据文件确定模块310，用于遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件；
链接文件创建模块320，用于将所述冷数据文件备份至目标存储区中，并在所述数据仓库中创建所述冷数据文件对应的链接文件；其中，所述链接文件用于指示从所述目标存储区中读取备份存储的冷数据文件；
冷数据文件删除模块330，用于从所述数据仓库中删除所述冷数据文件。
在本发明实施例中，该装置还包括：
数据读取指令判断模块，用于当接收到数据读取指令时，判断所述数据读取指令中是否包含目标条件信息；其中，所述目标条件信息为用于确定所述各个数据文件是否为冷数据文件的条件信息；
第一目标数据文件读取模块，用于当所述数据读取指令中包含所述目标条件信息时，对所述数据仓库中的所有文件进行扫描，以读取与所述数据读取指令匹配的第一目标数据文件；其中，所述数据仓库中的所有文件包括所述链接文件。
可选地，该装置还包括：
第二目标数据文件读取模块，用于当所述数据读取指令中不包含所述目标条件信息时，对所述数据仓库中除所述链接文件外的文件进行扫描，以读取与所述数据读取指令匹配的第二目标数据文件。
其中，所述数据读取指令包括SQL语句。
在本发明实施例中，冷数据文件确定模块310，具体用于：
遍历数据仓库中的各个数据文件，确定当前数据文件的创建时间或最后读取时间；当所述创建时间大于第一预设时长或所述最后读取时间大于第二预设时长时，确定所述当前数据文件为冷数据文件；或者，
遍历数据仓库中的各个数据文件，确定当前数据文件的历史访问频率；当所述历史访问频率小于预设访问频率时，确定所述当前数据文件为冷数据文件。
其中，所述链接文件为与所述冷数据文件的名称相同，且后缀名为cl的链接文件，所述链接文件中包含所述冷数据文件的备份存储信息。
其中，所述目标存储区包括对象存储区或自动磁带机。
本发明实施例所提供的数据存储装置可执行本发明任意实施例所提供的数据存储方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据存储方法。
在一些实施例中，数据存储方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据存储方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据存储方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据存储方法，其特征在于，包括：
遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件；
将所述冷数据文件备份至目标存储区中，并在所述数据仓库中创建所述冷数据文件对应的链接文件；其中，所述链接文件用于指示从所述目标存储区中读取备份存储的冷数据文件；
从所述数据仓库中删除所述冷数据文件。
2.根据权利要求1所述的方法，其特征在于，在从所述数据仓库中删除所述冷数据文件之后，还包括：
当接收到数据读取指令时，判断所述数据读取指令中是否包含目标条件信息；其中，所述目标条件信息为用于确定所述各个数据文件是否为冷数据文件的条件信息；
当所述数据读取指令中包含所述目标条件信息时，对所述数据仓库中的所有文件进行扫描，以读取与所述数据读取指令匹配的第一目标数据文件；其中，所述数据仓库中的所有文件包括所述链接文件。
3.根据权利要求2所述的方法，其特征在于，还包括：
当所述数据读取指令中不包含所述目标条件信息时，对所述数据仓库中除所述链接文件外的文件进行扫描，以读取与所述数据读取指令匹配的第二目标数据文件。
4.根据权利要求2所述的方法，其特征在于，所述数据读取指令包括SQL语句。
5.根据权利要求1所述的方法，其特征在于，遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件，包括：
遍历数据仓库中的各个数据文件，确定当前数据文件的创建时间或最后读取时间；当所述创建时间大于第一预设时长或所述最后读取时间大于第二预设时长时，确定所述当前数据文件为冷数据文件；或者，
遍历数据仓库中的各个数据文件，确定当前数据文件的历史访问频率；当所述历史访问频率小于预设访问频率时，确定所述当前数据文件为冷数据文件。
6.根据权利要求1-5任一所述的方法，其特征在于，所述链接文件为与所述冷数据文件的名称相同，且后缀名为cl的链接文件，所述链接文件中包含所述冷数据文件的备份存储信息。
7.根据权利要求1-5任一所述的方法，其特征在于，所述目标存储区包括对象存储区或自动磁带机。
8.一种数据存储装置，其特征在于，包括：
冷数据文件确定模块，用于遍历数据仓库中的各个数据文件，基于预先设定的冷热数据判断算法，从所述各个数据文件中确定所述数据仓库中的冷数据文件；
链接文件创建模块，用于将所述冷数据文件备份至目标存储区中，并在所述数据仓库中创建所述冷数据文件对应的链接文件；其中，所述链接文件用于指示从所述目标存储区中读取备份存储的冷数据文件；
冷数据文件删除模块，用于从所述数据仓库中删除所述冷数据文件。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的数据存储方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的数据存储方法。
CN202310650966.9A 2023-06-02 2023-06-02 一种数据存储方法、装置、电子设备及存储介质 Pending CN116595110A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310650966.9A CN116595110A (zh) 2023-06-02 2023-06-02 一种数据存储方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310650966.9A CN116595110A (zh) 2023-06-02 2023-06-02 一种数据存储方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN116595110A true CN116595110A (zh) 2023-08-15

Family

ID=87599143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310650966.9A Pending CN116595110A (zh) 2023-06-02 2023-06-02 一种数据存储方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN116595110A (zh)

Similar Documents

Publication Publication Date Title
CN112597126A (zh) 一种数据迁移方法和装置
CN112783887A (zh) 一种基于数据仓库的数据处理方法及装置
CN114490160A (zh) 一种数据倾斜优化因子自动调整方法、装置、设备和介质
CN112433757A (zh) 一种确定接口调用关系的方法和装置
CN116226150A (zh) 基于分布式数据库的数据处理方法、装置、设备和介质
CN116796085A (zh) 一种文件处理方法、装置、电子设备及存储介质
CN114564149B (zh) 一种数据存储方法、装置、设备及存储介质
CN115905121A (zh) 一种文件处理方法、装置、设备及存储介质
CN112887426B (zh) 信息流的推送方法、装置、电子设备以及存储介质
CN112148705A (zh) 数据迁移的方法和装置
CN109213815B (zh) 控制执行次数的方法、装置、服务器终端以及可读介质
CN115438007A (zh) 一种文件合并方法、装置、电子设备及介质
CN115525659A (zh) 数据查询方法、装置、电子设备及存储介质
CN114817223A (zh) 业务数据提取方法、装置、电子设备和存储介质
CN116595110A (zh) 一种数据存储方法、装置、电子设备及存储介质
CN118503298B (zh) 基于双缓存的数据处理方法、装置、设备及存储介质
CN113569144B (zh) 推广内容的检索方法、装置、设备、存储介质及程序产品
CN118519574A (zh) 一种数据处理方法、装置、设备及介质
CN115687244A (zh) 文件处理监控方法、装置、设备及介质
CN118503224A (zh) 对象数据存储处理方法、装置、电子设备及存储介质
CN115587091A (zh) 数据入库方法、装置、设备以及存储介质
CN117573267A (zh) 一种应用程序数据的显示方法、系统、电子设备及存储介质
CN116244321A (zh) 数据更新方法、装置、设备及介质
CN115617801A (zh) 基于分布式系统的数据检索方法、装置、设备及介质
CN117519983A (zh) 一种基于内存的数据处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination