CN113553335A - 列式存储文件的数据更新方法及装置 - Google Patents

列式存储文件的数据更新方法及装置 Download PDF

Info

Publication number
CN113553335A
CN113553335A CN202110846415.0A CN202110846415A CN113553335A CN 113553335 A CN113553335 A CN 113553335A CN 202110846415 A CN202110846415 A CN 202110846415A CN 113553335 A CN113553335 A CN 113553335A
Authority
CN
China
Prior art keywords
data
file
target
columnar storage
storage file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110846415.0A
Other languages
English (en)
Inventor
徐微
张烨
冀家玮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Business Intelligence Of Oriental Nations Corp ltd
Original Assignee
Business Intelligence Of Oriental Nations Corp ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Business Intelligence Of Oriental Nations Corp ltd filed Critical Business Intelligence Of Oriental Nations Corp ltd
Priority to CN202110846415.0A priority Critical patent/CN113553335A/zh
Publication of CN113553335A publication Critical patent/CN113553335A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • G06F16/2358—Change logging, detection, and notification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/172—Caching, prefetching or hoarding of files

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种列式存储文件的数据更新方法及装置，方法包括：获取待更新的目标数据和目标数据的数据信息；根据数据信息，对目标数据进行更新；其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。所述装置用于执行上述方法。本发明通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。

Description

列式存储文件的数据更新方法及装置
技术领域
本发明涉及数据处理技术领域，尤其涉及一种列式存储文件的数据更新方法及装置。
背景技术
在大数据时代，一个常见分析型场景的查询很多时候是计算某个属性上的聚合值，比如计算一个地区的平均身高，所有人的平均年龄等。列式存储通常将不同数据的同一个属性值存在一起，在查询时只遍历需要的数据，更适合分析型场景，因此分析型数据库多选用列式存储文件格式，进行数据存储。
批量入库，批量分析是分析型数据库的基本能力。在这个过程中，对数据文件的读写能力是分析型数据库的基本功能，列存文件格式基于按照列存储、按照列查询的思想是此场景下最好的选择。
在实际应用场景中，对数据的更新也是数据加工环节不可少的一部分，如何在列式存储的基础上，实现对数据的更新，是目前亟需解决的问题。
发明内容
本发明提供的列式存储文件的数据更新方法，用于克服现有技术中存在的上述问题，通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。
本发明提供一种列式存储文件的数据更新方法，包括：
获取待更新的目标数据和所述目标数据的数据信息；
根据所述数据信息，对所述目标数据进行更新；
其中，所述数据信息至少包括所述目标数据所在所述列式存储文件的文件名、目标文件、所述目标数据所在所述列式存储文件的列数、所述目标数据所在所述列式存储文件的行数和所述目标数据所在所述列式存储文件的元数据。
根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行更新，包括：
根据所述数据信息，对所述目标数据进行修改；或
根据所述数据信息，对所述目标数据进行删除。
根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行修改，包括：
根据所述数据信息，获取第预设列的列数据；
对所述第预设列的列数据中第第一预设行的所述目标数据进行修改；
对所述第预设列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件；
其中，所述预设列是根据所述目标数据所在所述列式存储文件的列数确定的；
所述第一预设行是根据所述目标数据所在所述列式存储文件的行数确定的；
所述目标文件包括所述第一目标文件。
根据本发明提供的一种列式存储文件的数据更新方法，所述对所述第预设列的元数据进行修改，包括：
将所述第预设列的元数据的有效文件路径修改为所述第一目标文件的文件名。
根据本发明提供的一种列式存储文件的数据更新方法，所述第一目标文件的文件名，包括：
版本号。
根据本发明提供的一种列式存储文件的数据更新方法，所述根据所述数据信息，对所述目标数据进行删除，包括：
根据所述数据信息，确定目标行数的比特数组；
将第第二预设行的所述比特数组的比特值修改为预设比特值，以对所述比特数组进行修改；
将修改后的比特数组保存到所述元数据中，以对所述元数据进行修改；
将修改后的元数据写入第二目标文件；
其中，所述目标行数是根据所述列式存储文件的总数据行数确定的；
所述第二预设行是根据所述目标数据的所在所述列式存储文件的行数确定的；
所述目标文件包括所述第二目标文件。
本发明还提供一种列式存储文件的数据更新装置，数据获取模块和数据更新模块；
所述数据获取模块，用于获取待更新的目标数据和所述目标数据的数据信息；
所述数据更新模块，用于根据所述数据信息，对所述目标数据进行更新；
其中，所述数据信息至少包括所述目标数据所在所述列式存储文件的文件名、目标文件、所述目标数据所在所述列式存储文件的列数、所述目标数据所在所述列式存储文件的行数和所述目标数据所在所述列式存储文件的元数据。
根据本发明提供的一种列式存储文件的数据更新装置，所述数据更新模块，还用于：
根据所述数据信息，对所述目标数据进行修改；或
根据所述数据信息，对所述目标数据进行删除。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述列式存储文件的数据更新方法的步骤。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述列式存储文件的数据更新方法的步骤。
本发明提供的列式存储文件的数据更新方法及装置，通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的列式存储文件的数据更新方法的流程示意图；
图2是本发明提供的列式存储文件的数据更新装置的结构示意图；
图3是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供的列式存储文件的数据更新方法在批量数据加载后通过列式文件存储，对数据进行批量更新删除操作，方案中涉及的文件格式皆为列式存储，更新后不影响列式存储数据整体的查询特性，具体实现如下：
图1是本发明提供的列式存储文件的数据更新方法的流程示意图，如图1所示，方法包括：
S1、获取待更新的目标数据和目标数据的数据信息；
S2、根据数据信息，对目标数据进行更新；
其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。
需要说明的是，上述方法的执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本发明不作具体限定。
可选地，准备待更新的目标数据和目标数据对应的数据信息，其中，待更新的目标数据的数据信息可以具体包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。元数据(Metadata):又称中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性(property)的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
根据目标数据的数据信息，对列式存储文件中的目标数据进行更新，例如可以对目标数据进行修改或删除，以实现对列式存储文件的数据更新。
本发明提供的列式存储文件的数据更新方法，通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。
进一步地，在一个实施例中，步骤S2可以具体包括：
S21、根据数据信息，对目标数据进行修改；或
S22、根据数据信息，对目标数据进行删除。
可选地，根据获得的待更新目标数据的数据信息，将列式存储文件中的目标数据修改为新的数据，或者根据获得的待更新目标数据的数据信息，将目标数据从列式存储文件中删除，以对列式存储文件中的目标数据进行更新。
本发明提供的列式存储文件的数据更新方法，通过利用目标数据的数据信息，对列式存储文件中的目标数据进行修改或删除操作，实现了对列式存储文件的更新。
进一步地，在一个实施例中，步骤S21可以具体包括：
S211、根据数据信息，获取第预设列的列数据；
S212、对第预设列的列数据中第第一预设行的目标数据进行修改；
S213、对第预设列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件；
其中，预设列是根据目标数据所在列式存储文件的列数确定的；
第一预设行是根据所述目标数据所在所述列式存储文件的行数确定的；
目标文件包括所述第一目标文件。
可选地，根据获得的待更新目标数据的数据信息，将列式存储文件中的目标数据修改为新的数据，具体如下：
假设目标数据所在列式存储文件的文件名DpId(例如base_file_v1)，目标数据修改后将要保存的第一目标文件的文件名New_Dp_Id(例如update_file_v2)，目标数据所在列式存储文件的列数SlotId(例如C2)，目标数据在列式存储文件中行数RowId，数据所在列式存储文件的元数据md。
根据目标数据所在列式存储文件的列数SlotId得到预设列也为SlotId，读取第SlotId列的列数据，并对第SlotId列的列数据中第第一预设行的目标数据进行修改，其中第一预设行是根据目标数据所在列式存储文件的行数确定的，假设，目标数据在列式存储文件中行数RowId，则第一预设行也为RowId。
对第SlotId列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件。
本发明提供的列式存储文件的数据更新方法，将目标数据所在列的列数据对应的元数据进行修改，以实现对列式存储文件的批量数据更新。
进一步地，在一个实施例中，步骤S213可以具体包括：
S2131、将第预设列的元数据的有效文件路径修改为第一目标文件的文件名。
可选地，对第SlotId列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件，具体地，将第SlotId列的元数据的有效文件路径file_path修改为第一目标文件的文件名New_Dp_Id。
在实际应用中，在对目标数据进行修改操作时，可以通过对目标数据所在列式存储文件中列数的列数据的有效文件路径如file_path_v1(file_path_vn中，n为文件生成操作的版本号)进行修改，每次有数据修改时都会生成新的第一目标文件file_path_v2，第一次修改时保存有数据更新列更新后数据，并保存有数据更新列在元数据中有效文件路径为file_path_v2，无数据更新列在元数据中的有效文件路径为file_path_v1，并将后续有数据更新列在元数据中的有效文件路径进行修改，具体将有数据更新列在元数据中的有效文件路径的版本号进行更新。
本发明提供的列式存储文件的数据更新方法，保证了列式存储文件的查询性能更优的同时，满足数据加工中的修改操作需求。
进一步地，在一个实施例中，第一目标文件的文件名，可以具体包括：
版本号。
可选地，将第预设列的元数据的有效文件路径修改为第一目标文件的文件名，其中，该文件名包括版本号，通过版本号区分有数据更新列和无数据更新列，假设，列式存储文件的各数据列(C1、C2和C3)数据所在文件名分别为base_file_v1、update_file_v2和base_file_v1，具体如表1所示，则可以确定第C2列数据有更新操作。
表1
数据列 数据的有效文件路径
C1 base_file_v1
C2 update_file_v2
C3 base_file_v1
这样读取数据时，通过第一目标文件的文件名后的版本号，读取最新版本的有效文件路径update_file_v2，并通过元数据中各数据列的有效文件路径可以找到各数据列最新数据所在位置，按列读取数据。
本发明提供的列式存储文件的数据更新方法，通过对有数据更新列的有效文件路径后追加版本号的方式，提高了对有更新数据列的查询速率。
进一步地，在一个实施例中，步骤S22可以具体包括：
S221、根据数据信息，确定目标行数的比特数组；
S222、将第第二预设行的比特数组的比特值修改为预设比特值，以对比特数组进行修改；
S223、将修改后的比特数组保存到元数据中，以对元数据进行修改；
S224、将修改后的元数据写入第二目标文件；
其中，目标行数是根据列式存储文件的总数据行数确定的；
第二预设行是根据目标数据的所在列式存储文件的行数确定的；
目标文件包括所述第二目标文件。
可选地，准备待删除的目标数据，假设，目标数据所在列式存储文件的文件名DpId(如base_file_v1)，目标数据修改后将要保存的第二目标文件的文件名New_Dp_Id(例如delete_file_v2)，目标数据在列式存储文件中行数RowId，数据所在列式存储文件的元数据md。
根据上述数据信息创建目标行数的比特数组DeleteBv，其中，目标行数是根据列式存储文件的总数据行数确定的，DeleteBv为比特数组形式存储，通过下标与比特值的对应关系，标识当前文件有效行数，比特数组初始比特值均设置为0。
将第第二预设行的比特数组的比特值修改为预设比特值(例如1)，其中，第二预设行是根据目标数据的所在列式存储文件的行数确定的，假设目标数据所在列式存储文件的行数为RowId，则第二预设行也为RowId。
将修改后的DeleteBv保存在元数据md中，且元数据md中其他数据不变，写入文件第二目标文件例如delete_file_v2中，删除操作结束。
例如在对文件file_path_v2中数据进行删除时，生成新的数据文件(即第二目标文件)file_path_v3，读取file_path_v2的元数据，并在其中增加标识有效行的比特数组DeleteBV，目标数据所在行在比特数组DeleteBV的比特值为1，更新DeleteBV后将元数据存入文件file_path_v3。
读取数据时读取最新版本文件file_path_v3，通过元数据中各列的有效文件路径找到各列最新数据所在位置，并通过元数据中DeleteBV跳过被删除行(即比特值为1的行)，进行有效数据读取，具体地：
假设删除目标数据后的列式存储文件的各数据列及其对应的有效文件路径如表2所示：
表2
数据列 数据的有效文件路径
C1 base_file_v1
C2 base_file_v1
C3 base_file_v1
通过第二目标文件的文件名后版本号找到数据的有效文件路径中最大版本号文件(假设为delete_file_v2)；
读取列式存储文件的元数据，获取列式存储文件中每列数据的有效文件路径。
通过元数据中的DeleteBv，获取列式存储文件的有效行数(即，DeleteBv中比特值为1的行数)。
通过有效文件路径，找到列数据所在文件，按列读取列式存储文件，并除去DeleteBv中标识为1的数据。
本发明提供的列式存储文件的数据更新方法，保证了列式存储文件的查询性能更优的同时，满足数据加工中的删除操作需求。
下面对本发明提供的列式存储文件的数据更新装置进行描述，下文描述的列式存储文件的数据更新装置与上文描述的列式存储文件的数据更新方法可相互对应参照。
图2是本发明提供的列式存储文件的数据更新装置的结构示意图，如图2所示，包括：数据获取模块210和数据更新模块211；
数据获取模块210，用于获取待更新的目标数据和目标数据的数据信息；
数据更新模块211，用于根据数据信息，对目标数据进行更新；
其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。
本发明提供的列式存储文件的数据更新装置，通过利用目标数据在列式存储文件的数据信息，能够实现对列式存储文件的数据的更新。
进一步地，在一个实施例中，数据更新模块211，还可以具体用于：
根据数据信息，对目标数据进行修改；或
根据数据信息，对目标数据进行删除。
本发明提供的列式存储文件的数据更新装置，通过利用目标数据的数据信息，对列式存储文件中的目标数据进行修改或删除操作，实现了对列式存储文件的更新。
图3是本发明提供的电子设备的结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(communication interface)311、存储器(memory)312和总线(bus)313，其中，处理器310，通信接口311，存储器312通过总线313完成相互间的通信。处理器310可以调用存储器312中的逻辑指令，以执行如下方法：
获取待更新的目标数据和目标数据的数据信息；
根据数据信息，对目标数据进行更新；
其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
进一步地，本发明公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的列式存储文件的数据更新方法，例如包括：
获取待更新的目标数据和目标数据的数据信息；
根据数据信息，对目标数据进行更新；
其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的列式存储文件的数据更新方法，例如包括：
获取待更新的目标数据和目标数据的数据信息；
根据数据信息，对目标数据进行更新；
其中，数据信息至少包括目标数据所在列式存储文件的文件名、目标文件、目标数据所在列式存储文件的列数、目标数据所在列式存储文件的行数和目标数据所在列式存储文件的元数据。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种列式存储文件的数据更新方法，其特征在于，包括：
获取待更新的目标数据和所述目标数据的数据信息；
根据所述数据信息，对所述目标数据进行更新；
其中，所述数据信息至少包括所述目标数据所在所述列式存储文件的文件名、目标文件、所述目标数据所在所述列式存储文件的列数、所述目标数据所在所述列式存储文件的行数和所述目标数据所在所述列式存储文件的元数据。
2.根据权利要求1所述的列式存储文件的数据更新方法，其特征在于，所述根据所述数据信息，对所述目标数据进行更新，包括：
根据所述数据信息，对所述目标数据进行修改；或
根据所述数据信息，对所述目标数据进行删除。
3.根据权利要求2所述的列式存储文件的数据更新方法，其特征在于，所述根据所述数据信息，对所述目标数据进行修改，包括：
根据所述数据信息，获取第预设列的列数据；
对所述第预设列的列数据中第第一预设行的所述目标数据进行修改；
对所述第预设列的元数据进行修改，并将修改后的元数据和更新后的列式存储文件的列数据写入第一目标文件；
其中，所述预设列是根据所述目标数据所在所述列式存储文件的列数确定的；
所述第一预设行是根据所述目标数据所在所述列式存储文件的行数确定的；
所述目标文件包括所述第一目标文件。
4.根据权利要求3所述的列式存储文件的数据更新方法，其特征在于，所述对所述第预设列的元数据进行修改，包括：
将所述第预设列的元数据的有效文件路径修改为所述第一目标文件的文件名。
5.根据权利要求4所述的列式存储文件的数据更新方法，其特征在于，所述第一目标文件的文件名，包括：
版本号。
6.根据权利要求3所述的列式存储文件的数据更新方法，其特征在于，所述根据所述数据信息，对所述目标数据进行删除，包括：
根据所述数据信息，确定目标行数的比特数组；
将第第二预设行的所述比特数组的比特值修改为预设比特值，以对所述比特数组进行修改；
将修改后的比特数组保存到所述元数据中，以对所述元数据进行修改；
将修改后的元数据写入第二目标文件；
其中，所述目标行数是根据所述列式存储文件的总数据行数确定的；
所述第二预设行是根据所述目标数据的所在所述列式存储文件的行数确定的；
所述目标文件包括所述第二目标文件。
7.一种列式存储文件的数据更新装置，其特征在于，包括：数据获取模块和数据更新模块；
所述数据获取模块，用于获取待更新的目标数据和所述目标数据的数据信息；
所述数据更新模块，用于根据所述数据信息，对所述目标数据进行更新；
其中，所述数据信息至少包括所述目标数据所在所述列式存储文件的文件名、目标文件、所述目标数据所在所述列式存储文件的列数、所述目标数据所在所述列式存储文件的行数和所述目标数据所在所述列式存储文件的元数据。
8.根据权利要求7所述的列式存储文件的数据更新装置，其特征在于，所述数据更新模块，还用于：
根据所述数据信息，对所述目标数据进行修改；或
根据所述数据信息，对所述目标数据进行删除。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述列式存储文件的数据更新方法的步骤。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述列式存储文件的数据更新方法的步骤。
CN202110846415.0A 2021-07-26 2021-07-26 列式存储文件的数据更新方法及装置 Pending CN113553335A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110846415.0A CN113553335A (zh) 2021-07-26 2021-07-26 列式存储文件的数据更新方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110846415.0A CN113553335A (zh) 2021-07-26 2021-07-26 列式存储文件的数据更新方法及装置

Publications (1)

Publication Number Publication Date
CN113553335A true CN113553335A (zh) 2021-10-26

Family

ID=78104463

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110846415.0A Pending CN113553335A (zh) 2021-07-26 2021-07-26 列式存储文件的数据更新方法及装置

Country Status (1)

Country Link
CN (1) CN113553335A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528258A (zh) * 2022-02-18 2022-05-24 北京百度网讯科技有限公司 文件异步处理方法、装置、服务器、介质、产品及系统
CN115167891A (zh) * 2022-07-07 2022-10-11 北京蓝天航空科技股份有限公司 接口控制文件的数据更新方法、装置、设备及存储介质
CN117453707A (zh) * 2023-12-09 2024-01-26 北京镜舟科技有限公司 数据更新方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105956123A (zh) * 2016-05-03 2016-09-21 无锡雅座在线科技发展有限公司 基于局部更新软件的数据处理方法及装置
US20160357740A1 (en) * 2014-02-24 2016-12-08 Huawei Technologies Co., Ltd. Metadata Updating Method and Apparatus Based on Columnar Storage in Distributed File System, and Host
CN107545021A (zh) * 2017-05-10 2018-01-05 新华三信息安全技术有限公司 一种数据存储方法及装置
CN108959587A (zh) * 2018-07-10 2018-12-07 上海达梦数据库有限公司 基于列存储的数据更新方法、装置、服务器及存储介质
CN111984597A (zh) * 2020-08-19 2020-11-24 安徽鸿程光电有限公司 文件存储方法、装置、设备和介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357740A1 (en) * 2014-02-24 2016-12-08 Huawei Technologies Co., Ltd. Metadata Updating Method and Apparatus Based on Columnar Storage in Distributed File System, and Host
CN105956123A (zh) * 2016-05-03 2016-09-21 无锡雅座在线科技发展有限公司 基于局部更新软件的数据处理方法及装置
CN107545021A (zh) * 2017-05-10 2018-01-05 新华三信息安全技术有限公司 一种数据存储方法及装置
CN108959587A (zh) * 2018-07-10 2018-12-07 上海达梦数据库有限公司 基于列存储的数据更新方法、装置、服务器及存储介质
CN111984597A (zh) * 2020-08-19 2020-11-24 安徽鸿程光电有限公司 文件存储方法、装置、设备和介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114528258A (zh) * 2022-02-18 2022-05-24 北京百度网讯科技有限公司 文件异步处理方法、装置、服务器、介质、产品及系统
CN115167891A (zh) * 2022-07-07 2022-10-11 北京蓝天航空科技股份有限公司 接口控制文件的数据更新方法、装置、设备及存储介质
CN115167891B (zh) * 2022-07-07 2023-09-05 北京蓝天航空科技股份有限公司 接口控制文件的数据更新方法、装置、设备及存储介质
CN117453707A (zh) * 2023-12-09 2024-01-26 北京镜舟科技有限公司 数据更新方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN113553335A (zh) 列式存储文件的数据更新方法及装置
CN111353095A (zh) 一种基于seo优化的智能信息管理系统
CN110162540B (zh) 区块链账本数据的查询方法、电子装置及存储介质
CN114564620A (zh) 图数据存储方法、系统及计算机设备
CN110442585B (zh) 数据更新方法、数据更新装置、计算机设备及存储介质
CN104915404A (zh) 访问失效网址的方法和装置
CN111639087B (zh) 数据库中数据更新方法、装置和电子设备
CN112418875B (zh) 跨平台税务智能客服语料迁移方法及装置
CN111897573A (zh) 数据库字典文档的生成方法、装置、设备及存储介质
CN111291547A (zh) 模板生成方法、装置、设备及介质
CN108021464B (zh) 一种应用程序响应数据的兜底处理的方法以及装置
CN111753141A (zh) 一种数据管理方法及相关设备
CN111400406B (zh) 数据处理方法及装置、电子设备、计算机存储介质
CN109656805B (zh) 用于业务分析的代码链路的生成方法、装置及业务服务器
CN113343137A (zh) 优化seo页面生成方法、装置、电子设备及存储介质
CN111460307B (zh) 一种移动终端精确搜索方法和装置
CN110941604B (zh) 一种数据存储方法及装置
CN115470290A (zh) 基于物化视图日志的增量同步方法、装置以及计算机设备
CN111666484B (zh) 内容推送方法、推送装置及计算机可读存储介质
CN115408491B (zh) 一种历史数据的文本检索方法及系统
CN113297230B (zh) 数据验证方法及装置
CN115309870B (zh) 一种知识获取方法及装置
CN112148869B (zh) 文本参考信息生成方法、装置、电子设备及存储介质
CN107729013B (zh) 管理网页上操作按钮的方法和计算机可读存储介质
CN116880843A (zh) 一种前端页面图表设计方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination