CN116361388A - 一种数据处理方法、装置、设备及存储介质 - Google Patents

一种数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116361388A
CN116361388A CN202310257592.4A CN202310257592A CN116361388A CN 116361388 A CN116361388 A CN 116361388A CN 202310257592 A CN202310257592 A CN 202310257592A CN 116361388 A CN116361388 A CN 116361388A
Authority
CN
China
Prior art keywords
data
target
target file
queried
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310257592.4A
Other languages
English (en)
Inventor
张恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Agricultural Bank of China
Original Assignee
Agricultural Bank of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Agricultural Bank of China filed Critical Agricultural Bank of China
Priority to CN202310257592.4A priority Critical patent/CN116361388A/zh
Publication of CN116361388A publication Critical patent/CN116361388A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/466—Transaction processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质，属于数据处理技术领域。该方法包括：响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识；采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。通过上述技术方案，能够解决读写并发场景中存在的查询任务失败问题。

Description

一种数据处理方法、装置、设备及存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
数据湖的数据组织格式组件Apache Hudi(简称Hudi)针对读取频繁的场景设计了读时合并模式，将记录的插入、更新等操作追写至行式存储的Avro日志文件，并通过异步或同步的方式将日志文件内容同步至Parquet文件中然后删除日志文件，该步骤即为合并任务。但这样的操作方式存在出现异常的情况：Hudi数据文件采用了分区、文件组、文件切片的方式管理，事务以快照隔离的隔离级别并发完成对数据文件的读写操作，但其元数据文件粒度仍保留在整个表的维度，即事务中某个进程导致的数据文件变化仅能在事务完成后更新至元数据。因此在并发读写状态下，读取操作在遍历文件切片的过程首先需要通过分布式文件系统获取分区下所有文件切片的文件名，进而根据文件名中保存的文件组id建立逻辑上的文件组，这一步骤会由于文件数目过大导致耗时更多，因此会出现获取日志文件路径后该日志文件被合并任务删除导致任务异常的情况。
发明内容
本发明提供了一种数据处理方法、装置、设备及存储介质，以解在读时合并模式下的读写并发场景中存在的查询任务失败问题。
根据本发明的一方面，提供了一种数据处理方法，该方法包括：
响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识；
采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。
根据本发明的另一方面，提供了一种数据处理装置，该装置包括：
目标存储标识确定模块，用于响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识；
切片信息更新模块，用于采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。
根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的数据处理方法。
根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的数据处理方法。
本发明实施例的技术方案，通过响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识，之后采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。上述技术方案，引入切片信息表来记录文件路径和数据存储标识之间的对应关系，确保了在数据读写并发场景中数据的路径的及时更新，从而保证了数据的可正确查询。
应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例一提供的一种数据处理方法的流程图；
图2是根据本发明实施例二提供的一种数据处理方法的流程图；
图3是根据本发明实施例三提供的一种数据处理装置的结构示意图；
图4是实现本发明实施例的数据处理方法的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”、“原始”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
此外，还需要说明的是，本发明的技术方案中，所涉及的待处理数据和待查询数据等的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
实施例一
图1是根据本发明实施例一提供的一种数据处理方法的流程图。本实施例适用于可适用于在数据读取频繁场景(尤其是Hudi的读时合并模式)下如何进行数据处理的情况。可选的，读时合并即：在读时合并模式下，Hudi会将操作内容追写至Avro格式的日志文件中，避免每次提交都需要更新数据文件的情况。同时根据合并策略，对满足合并条件的文件组做合并操作，将日志文件内容与其所属文件组的最新文件切片合并，合并结束后删除日志文件并将合并结果保存为一个文件切片。文件组即为：Hudi将表中一部分记录映射至一组数据文件中，该组数据文件即为一个文件组，文件组内的包含不同时间节点的数据备份，每个备份文件即为一个文件切片。文件切片即为：不同于传统大数据领域的文件切片概念，Hudi的文件切片(File Slice)用于保存某一时刻表中一部分记录的数据，以Paruqet文件作为存储格式。
该方法可以由数据处理装置来执行，该数据处理装置可以采用硬件和/或软件的形式实现，并可集成于承载数据处理功能的电子设备中，例如服务器中。如图1所示，本实施例的数据处理方法可以包括：
S110、响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识。
本实施例中，数据处理事务请求是指对数据进行处理的事务请求；可选的，数据处理事务请求中包括但不限于待处理数据、待处理数据的目标文件路径以及待处理数据对应的目标数据存储标识。待处理数据是指需要进行处理的数据文件，例如可以是待合并数据、待删除数据、待修改数据等文件切片；其中，文件切片是由特定版本的数据文件及其日志文件组成。
目标数据存储标识用于定位识别待处理数据，包括目标文件分区和目标文件组标识；其中，目标文件分区是指待处理数据所处的分区；目标文件组标识是指包含待处理数据的目标文件组的标识，可以由数字、字母等形式表示。其中，目标文件组是指包括不同版本的待处理数据及待处理数据对应的日志文件。
具体的，在识别到Hudi表创建后，在Hudi执行数据写入、数据合并任务的过程中，在每个并发进程执行成功后，向Redis发送数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识。
S120、采用目标文件路径和目标数据存储标识，更新待处理数据对应的目标文件切片信息表。
本实施例中，文件切片信息表是指用于存储数据的存储标识和文件路径的信息表。目标文件切片信息表示是用于存储待处理数据的最新的目标文件路径和目标数据存储标识。
示例性的，可以以目标数据存储标识为键，以目标文件路径为键值，在目标文件切片信息表中以键值对形式存储待处理数据的文件切片变化信息。
一种可选方式，可以以目标数据存储标识为索引，从待处理数据对应的目标文件切片信息表中确定待处理数据对应的原始文件路径；采用目标文件路径替换原始文件路径以更新目标文件切片信息表。
其中，原始文件路径是指待处理数据未被操作前的文件路径，也即待处理数据的上一版本的文件路径。
具体的，可以以目标数据存储标识所索引，从待处理数据对应的目标文件切片信息表中查找是否存在目标数据存储标识，若存储目标数据存储标识，则从目标文件切片信息表中确定待数据对应的原始文件路径，并采用目标文件路径替换原始文件路径，得到更新后的目标文件切片信息表。
可以理解的是，通过数据存储标识可以快速定位待数据处理的文件路径，可以快速更新目标文件切片信息表。
又一种可选方式，若目标文件切片信息表中不存在目标数据存储标识，则将目标数据存储标识和目标文件路径更新至目标文件切片信息表。
具体的，若目标文件切片信息表示中不存在目标数据存储标识，也就是说，在数据写入任务中产生了创建分区、文件切片的操作，此时，将目标数据存储标识和目标文件路径以键值对形式存储至目标文件切片信息表中。
可以理解的是，文件切片信息表中不存在数据存储标识的情况下，仍可以生成对应的目标数据存储标识和目标文件路径的键值对以存储至文件切片信息表中，保证了目标文件切片信息表中数据与数据读写任务中涉及的数据路径信息等保持一致，便于后续的数据查询等操作。
需要说明的是，本发明采用Redis维护Hudi文件切片路径，针对Hudi事务并发执行的特点，在事务执行过程中更新并发子任务成功执行的结果，避免原有设计中需要在所有进程执行成功更新元数据导致的文件读写冲突问题。
本发明实施例提供的技术方案，通过响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识，之后采用目标文件路径和目标数据存储标识，更新待处理数据对应的目标文件切片信息表。上述技术方案，引入切片信息表来记录文件路径和数据存储标识之间的对应关系，确保了在数据读写并发场景中数据的路径的及时更新，从而保证了数据的可正确查询。
实施例二
图2是根据本发明实施例二提供的一种数据处理方法的流程图。本实施例在上述实施例的基础上，进一步优化，提供一种可选实施方案。如图2所示，本实施例的数据处理方法可以包括：
S210、响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识。
其中，目标数据存储标识包括目标文件分区和目标文件组标识；
S220、采用目标文件路径和目标数据存储标识，更新待处理数据对应的目标文件切片信息表。
S230、若数据处理事务请求为数据查询事务请求，则确定数据查询事务请求中待查询数据所属的待查询数据标识。
本实施例中，待查询数据标识用于定位识别待查询数据，包括待查询文件分区和待查询文件组标识；其中，待查询文件分区是指待查询数据所处的文件分区；待查询文件组标识是指待查询数据所属的文件组的标识。
数据查询事务请求是指对数据进行查询的事务请求；可选的，数据查询事务请求中可以包括待查询数据所属的待查询数据标识。
具体的，确定数据查询事务请求中待查询数据所属的待查询数据标识。
S240、根据待查询数据标识，确定待查询数据。
可选的，可以根据待查询数据标识，从目标文件切片信息表中确定待查询数据对应的待查询文件路径；根据待查询文件路径确定待查询数据。具体的，可以以待查询数据标识为索引，从目标文件切片信息表中确定待查询数据对应的待查询文件路径，之后可以根据待查询文件路径，加载待查询数据。
本发明实施例提供的技术方案，通过响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识，之后采用目标文件路径和目标数据存储标识，更新待处理数据对应的目标文件切片信息表，进而若数据处理事务请求为数据查询事务请求，则确定数据查询事务请求中待查询数据所属的待查询数据标识，并根据待查询数据标识，确定待查询数据。上述技术方案，基于待查询数据标识从文件切片信息表中可以直接获取到待查询数据的路径信息，可以快速且准确的加载待查询数据。
在上述实施例的基础上，作为本发明的一种可选方式，还可以在数据处理事务请求执行过程中出现异常的情况下，确定数据处理事务请求中异常数据对应的异常数据存储标识；异常数据存储标识包括异常文件分区和异常文件组标识；根据异常数据存储标识，更新异常数据对应的目标文件切片信息表。
其中，异常数据存储标识用于定位异常数据，可以包括异常文件分区和异常文件组标识；其中，异常文件分区是指异常数据所在的文件分区；异常文件组标识是指异常数据所属的文件组的标识。
具体的，在数据处理事务请求执行过程中，若识别到异常的情况，则确定数据处理事情请求中异常数据对应的异常数据存储标识，之后根据异常数据信息标识更新异常数据对应的目标文件切片信息表。
可以理解的是，在Hudi事务执行过程中，如出现异常并需要回滚，Hudi会根据事务提交时间戳删除其对应的文件切片。在并发删除文件切片的步骤中，删除文件后，再次根据分区和文件组标识更新分布式缓存中的文件信息，以删除后的最新文件切片为键值，以此实现回滚。
实施例三
图3是根据本发明实施例三提供的一种数据处理装置的结构示意图。本实施例适用于可适用于在数据读取频繁场景(尤其是Hudi的读时合并模式)下如何进行数据处理的情况。该数据处理装置可以采用硬件和/或软件的形式实现，并可集成于承载数据处理功能的电子设备中，例如服务器中。如图3所示，本实施例的数据处理装置可以包括：
目标存储标识确定模块310，用于响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和待处理数据对应的目标数据存储标识；目标数据存储标识包括目标文件分区和目标文件组标识；
切片信息更新模块320，用于采用目标文件路径和目标数据存储标识，更新待处理数据对应的目标文件切片信息表。
本发明实施例的技术方案，通过响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识，之后采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。上述技术方案，引入切片信息表来记录文件路径和数据存储标识之间的对应关系，确保了在数据读写并发场景中数据的路径的及时更新，从而保证了数据的可正确查询。
可选的，切片信息更新模块320具体用于：
以目标数据存储标识为索引，从待处理数据对应的目标文件切片信息表中确定待处理数据对应的原始文件路径；
采用目标文件路径替换原始文件路径以更新目标文件切片信息表。
可选的，切片信息更新模块320还具体用于：
若目标文件切片信息表中不存在目标数据存储标识，则将目标数据存储标识和目标文件路径更新至目标文件切片信息表。
可选的，该装置还包括：
异常数据确定模块，用于在数据处理事务请求执行过程中出现异常的情况下，确定数据处理事务请求中异常数据对应的异常数据存储标识；异常数据存储标识包括异常文件分区和异常文件组标识；
切片信息更新模块，还用于根据异常数据存储标识，更新异常数据对应的目标文件切片信息表。
可选的，若数据处理事务请求为数据查询事务请求，该装置还包括：
待查数据标识确定模块，用于确定数据查询事务请求中待查询数据所属的待查询数据标识；待查询数据标识包括待查询文件分区和待查询文件组标识；
待查询数据确定模块，用于根据待查询数据标识，确定待查询数据。
可选的，待查询数据确定模块具体用于：
根据待查询数据标识，从目标文件切片信息表中确定待查询数据对应的待查询文件路径；
根据待查询文件路径确定待查询数据。
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行方法相应的功能模块和有益效果。
实施例四
图4是实现本发明实施例的数据处理方法的电子设备的结构示意图；图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
如图4所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(ROM)12、随机访问存储器(RAM)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(ROM)12中的计算机程序或者从存储单元18加载到随机访问存储器(RAM)13中的计算机程序，来执行各种适当的动作和处理。在RAM 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、ROM 12以及RAM 13通过总线14彼此相连。输入/输出(I/O)接口15也连接至总线14。
电子设备10中的多个部件连接至I/O接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如数据处理方法。
在一些实施例中，数据处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由ROM 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到RAM 13并由处理器11执行时，可以执行上文描述的数据处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行数据处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)、区块链网络和互联网。
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务中，存在的管理难度大，业务扩展性弱的缺陷。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，包括：
响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识；
采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。
2.根据权利要求1所述的方法，其特征在于，所述采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表，包括：
以所述目标数据存储标识为索引，从所述待处理数据对应的目标文件切片信息表中确定所述待处理数据对应的原始文件路径；
采用所述目标文件路径替换所述原始文件路径以更新所述目标文件切片信息表。
3.根据权利要求1所述的方法，其特征在于，所述采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表，包括：
若所述目标文件切片信息表中不存在所述目标数据存储标识，则将所述目标数据存储标识和所述目标文件路径更新至所述目标文件切片信息表。
4.根据权利要求1所述的方法，其特征在于，还包括：
在所述数据处理事务请求执行过程中出现异常的情况下，确定所述数据处理事务请求中异常数据对应的异常数据存储标识；所述异常数据存储标识包括异常文件分区和异常文件组标识；
根据所述异常数据存储标识，更新所述异常数据对应的目标文件切片信息表。
5.根据权利要求1所述的方法，其特征在于，若所述数据处理事务请求为数据查询事务请求，所述方法还包括：
确定数据查询事务请求中待查询数据所属的待查询数据标识；所述待查询数据标识包括待查询文件分区和待查询文件组标识；
根据所述待查询数据标识，确定所述待查询数据。
6.根据权利要求5所述的方法，其特征在于，所述根据所述待查询数据标识，确定所述待查询数据，包括：
根据所述待查询数据标识，从目标文件切片信息表中确定所述待查询数据对应的待查询文件路径；
根据所述待查询文件路径确定所述待查询数据。
7.一种数据处理装置，其特征在于，包括：
目标存储标识确定模块，用于响应于数据处理事务请求，确定数据处理事务请求中待处理数据的目标文件路径和所述待处理数据对应的目标数据存储标识；所述目标数据存储标识包括目标文件分区和目标文件组标识；
切片信息更新模块，用于采用所述目标文件路径和所述目标数据存储标识，更新所述待处理数据对应的目标文件切片信息表。
8.根据权利要求7所述的装置，其特征在于，所述切片信息更新模块具体用于：
以所述目标数据存储标识为索引，从所述待处理数据对应的目标文件切片信息表中确定所述待处理数据对应的原始文件路径；
采用所述目标文件路径替换所述原始文件路径以更新所述目标文件切片信息表。
9.一种电子设备，其特征在于，所述电子设备包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的数据处理方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-6中任一项所述的数据处理方法。
CN202310257592.4A 2023-03-09 2023-03-09 一种数据处理方法、装置、设备及存储介质 Pending CN116361388A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310257592.4A CN116361388A (zh) 2023-03-09 2023-03-09 一种数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310257592.4A CN116361388A (zh) 2023-03-09 2023-03-09 一种数据处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116361388A true CN116361388A (zh) 2023-06-30

Family

ID=86927605

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310257592.4A Pending CN116361388A (zh) 2023-03-09 2023-03-09 一种数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116361388A (zh)

Similar Documents

Publication Publication Date Title
CN113364877B (zh) 数据处理方法、装置、电子设备和介质
CN115408391A (zh) 一种数据库表变更方法、装置、设备和存储介质
CN113438275B (zh) 数据迁移方法、装置、存储介质及数据迁移设备
CN115640280A (zh) 数据迁移方法及装置
CN115639966A (zh) 一种数据写入方法、装置、终端设备及存储介质
CN115510036A (zh) 数据迁移方法、装置、设备以及存储介质
CN115469810A (zh) 一种数据获取方法、装置、设备及存储介质
CN116361388A (zh) 一种数据处理方法、装置、设备及存储介质
CN114691781A (zh) 一种数据同步方法、系统、装置、设备及介质
CN114385657A (zh) 数据存储方法、装置及存储介质
CN112860376A (zh) 一种快照链的制作方法、装置、电子设备及存储介质
CN107590286B (zh) 在集群文件系统中事务信息的管理方法和装置
CN114327293B (zh) 一种数据读方法、装置、设备以及存储介质
EP3591529B1 (en) System and method for backup storage garbage collection
CN115421979A (zh) 一种日志文件的断点确定方法、装置、设备及存储介质
CN116302371A (zh) 事务可见性判断方法、装置、设备及存储介质
CN117743290A (zh) 数据操作方法、装置、设备以及存储介质
CN116860826A (zh) 基于时序数据库的数据处理方法、装置、设备及介质
CN118132573A (zh) 一种数据变更捕获方法、装置、电子设备及存储介质
CN115858104A (zh) 一种事务提交序号快照获取方法、装置、设备及存储介质
CN117633110A (zh) 敏感操作日志记录的存储方法、装置、设备和介质
CN117082046A (zh) 数据上传方法、装置、设备及存储介质
CN117971112A (zh) 存储卷迁移方法、装置、电子设备以及存储介质
CN116301634A (zh) 资源交互状态的检测方法、装置、设备及介质
CN115858472A (zh) 一种数据处理方法、装置、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination