CN108920695B - 一种数据查询方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种数据查询方法、装置、设备及存储介质。其中，该方法包括：根据数据查询请求生成过滤条件，并获取数据库中的目标文件；确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。本发明实施例的技术方案可以在数据查询的读取文件阶段根据修改操作信息对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

Description

一种数据查询方法、装置、设备及存储介质

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据查询方法、装置、设备及存储介质。

背景技术

分布式数据库中事务表的一种常用的存储方式是增量存储。原始版本的数据存储在基础文件中。每一次事务操作的增删改相关的数据，会作为新的版本存储在一个增量文件中。在读取事务表中的一行时，需要合并所有版本的数据来获取事务表中的当前行的实际内容。因此，数据库在检测到用户的查询请求时，先读取每一个基础文件和增量文件的所有内容。然后根据用户的查询请求生成的过滤条件对结果进行过滤，过滤不满足过滤条件的数据，生成用户需要的结果。在查询过程中，会进行大量不必要的数据读取，降低了数据库的查询性能。

现有技术中，在数据库查询中，常用的性能提升方式是在读取文件内容的阶段进行过滤。通常可分为两种过滤方式：1)整块过滤，2)逐行过滤。一个文件可分为多个数据块，每个数据块又包含多行。通常会优先尝试将整块过滤掉，使用描述每个数据块的整体情况的统计信息，来判断过滤条件的取值。如果过滤条件的取值为假，则表示块中没有行满足过滤条件，可以忽略这个数据块；如果过滤条件的取值有可能为真，则表示块中可能有满足条件的行，需要读取这个数据块。在不能忽略的数据块上使用逐行过滤，先读取一行中与过滤条件相关的数据列上的内容，用来判断过滤条件是否满足，从而决定能否可以忽略这一行。

发明人在实现本发明的过程中，发现现有技术存在如下缺陷：由于增量文件中的内容仅表示当前版本的信息，不能确认是否有其他版本的存在以及内容。进行查询时，需要将基础文件和所有版本的增量文件按内部行号进行合并，生成每行事务表的实际内容。如果直接将过滤条件直接作用在读取每一个基础文件和增量文件的内容的阶段，将无法确认每行事务表的实际内容，可能会生成错误的查询结果。

发明内容

本发明提供一种数据查询方法、装置、设备及存储介质，可以在数据查询的读取文件阶段根据文件信息进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取和合并操作，提高查询性能。

第一方面，本发明实施例提供了一种数据查询方法，包括：

当检测到数据查询请求时，根据数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件；

确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；

根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；

根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

第二方面，本发明实施例还提供了一种数据查询装置，包括：

目标文件获取模块，用于当检测到数据查询请求时，根据所述数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；所述第一增量文件为仅包括增加操作信息的增量文件；

影响范围确定模块，用于确定所述目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；

文件过滤模块，用于根据所述过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤，得到过滤结果；对所述目标数据块和数据库中除所述目标文件之外的文件直接进行读取，得到读取结果；

查询结果生成模块，用于根据所述过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例所提供的数据查询方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所提供的数据查询方法。

本发明实施例的技术方案，通过确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果，可以在数据查询的读取文件阶段根据修改操作信息对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

附图说明

图1为本发明实施例提供的一种数据查询方法的流程图；

图2为现有技术的一种数据查询过程的示意图；

图3为现有技术的一种数据过滤方法的流程图；

图4为一种采用现有技术的数据过滤方法进行过滤的数据查询过程的示意图；

图5为一种采用本发明实施例提供的数据查询方法的数据查询过程的示意图；

图6为本发明实施例提供的一种数据查询方法的流程图；

图7为本发明实施例提供的一种应用于数据查询过程的数据过滤方法的流程图；

图8为本发明实施例提供的一种数据查询装置的结构框图；

图9为本发明实施例提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种数据查询方法的流程图，所述方法可适用于采用增量存储方式进行数据存储的数据库进行数据查询的情况，其中，该数据库可以至少包括基础文件和包含修改操作信息的增量文件。该方法可以由数据查询装置来执行，所述装置由软件和/或硬件来执行，并一般可集成在数据查询设备中。数据查询设备包括但不限定于计算机等。

如图1所示，本发明实施例提供的技术方案具体包括如下步骤：

步骤101、当检测到数据查询请求时，根据数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件。

其中，采用增量存储方式进行数据存储的表的数据保存在基础文件和增量文件中。基础文件是用于保存数据库的原始数据的文件。例如，如图2所示，基础文件201包括4行原始数据。增量文件可以保存事务操作的相关数据，事务操作是对原始数据进行的操作，其中，原始数据可以保存在基础文件和增量文件中。事务操作类型包括增加操作、删除操作和修改操作。增加操作是指在原始数据的基础上增加新的原始数据的事务操作。删除操作是指删除原始数据的事务操作。修改操作是指修改原始数据的事务操作。每一次增加操作、删除操作和修改操作的相关的数据，即增加操作信息、删除操作信息和修改操作信息，都会作为新的版本存储在一个对应的增量文件中。例如，如图2所示，1号增量文件202保存了对基础文件201的删除操作信息：删除了基础文件201中内部行号为3的数据行。2号增量文件203保存了对基础文件201的增加操作信息：增加内部行号为5的数据行和内部行号为6的数据行。3号增量文件204保存了对基础文件201的修改操作信息：将基础文件201中内部行号为2的数据行对应的成绩改为“C”，将2号增量文件203中内部行号为6的数据行对应的成绩改为“E”。

一个增量文件存储一次事务操作相关的数据。一个增量文件可能包含多种事务操作类型。每一次事务操作的增删改相关的数据，会作为新的版本存储在一个增量文件中。在读取事务表中的一行时，需要根据内部行号和版本信息获取事务表中的当前行的实际内容。基础文件和增量文件中存储的每一行数据都会有唯一的内部行号。内部行号代表数据库内部使用的号码标识，唯一标示一行，在所有版本的数据合并后得到的数据不包含内部行号。此外，内部行号是逻辑上的概念，并不一定由物理上的一列来表示，也可能是由多个不同类型的数据的值组合而成。版本信息包括文件编号。每一个基础文件和增量文件都会有唯一的文件编号。文件编号用于反应事务操作的先后顺序，即每一个基础文件和增量文件的版本号。

一个增量文件存储一次事务操作相关的数据，可能包含多种事务操作类型。可选的，删除操作信息和修改操作信息可以不包含冗余的信息，比如删除操作信息不需要存储所删除的原始数据的每一列的内容，修改操作信息可以仅包含原始数据的被更新列的内容。这是一种实现方式，删除操作信息和修改操作信息也可以包含对应的原始数据的所有信息，对本发明的使用没有影响。

数据库在检测到用户的查询请求时，根据数据查询请求生成过滤条件，并读取对应表的每一个基础文件和增量文件的文件内容或统计信息，根据每一个基础文件和增量文件的文件内容或统计信息获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件。第一增量文件是指包括增加操作信息，且不包括删除操作信息和修改操作信息的增量文件。即第一增量文件对应的事务操作包括增加操作，且不包括删除操作和修改操作。例如，如图2所示，2号增量文件203为第一增量文件。2号增量文件203仅包括增加操作信息，且不包括删除操作信息和修改操作信息。

具体的，当检测到数据查询请求时，根据数据查询请求生成过滤条件，并按照预设顺序获取数据库中对应表的每一个文件，读取文件内容或统计信息，判断文件是否为基础文件或第一增量文件。若文件是基础文件，则确定文件是目标文件；若文件是第一增量文件，则确定文件是目标文件；若文件不是基础文件或第一增量文件，则确定文件不是目标文件，从而获取数据库中的目标文件。

每一个基础文件和增量文件的统计信息包含对应文件的整体信息。统计信息是数据库存储中提高效率的常用方法。利用统计信息可以不用实际读取文件内容，即可了解文件的一部分整体信息。统计信息中的信息可以根据业务需求进行设置。可选的，统计信息通常包含数据过滤相关的信息。例如，文件中某列数据的最大值和最小值，某列数据的布隆过滤信息，以及某列数据的数据字典内容。

步骤102、确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件。

其中，第二增量文件为包括修改操作信息的增量文件。修改操作是指修改原始数据的事务操作。只要增量文件中包括对基础文件或增量文件的修改操作信息，即为第二增量文件。例如，如图2所示，3号增量文件204保存了对基础文件201的修改操作信息：将基础文件201中内部行号为2的数据行对应的成绩改为“C”，将2号增量文件203中内部行号为6的数据行对应的成绩改为“E”。3号增量文件204是第二增量文件。1号增量文件202和2号增量文件203不包括对基础文件201或其他增量文件的修改操作信息，不是第二增量文件。

目标数据块是指需要修改的数据块。数据库在检测到用户的查询请求时，读取每一个基础文件和增量文件的文件内容或统计信息，根据文件的文件内容或统计信息获取数据库中的第二增量文件，并根据第二增量文件中的修改操作信息可以确定需要修改的数据块的内部行号。目标文件中受到第二增量文件影响的数据块是目标文件中需要修改的数据块，即目标数据块。根据目标文件的文件内容或统计信息可以获取目标文件所对应的数据块的内部行号，然后根据需要修改的文件的内部行号，确定目标文件中的数据块是否受到第二增量文件影响。若目标文件的数据块所对应的内部行号在需要修改的文件的内部行号范围内，表示该数据块受到第二增量文件影响，是目标文件中受到第二增量文件影响的目标数据块；若目标文件的数据块所对应的内部行号中不在需要修改的文件的内部行号范围内，表示该数据块没受到第二增量文件影响，不是目标文件中受到第二增量文件影响的目标数据块。

在本发明一个具体实施方式中，可选的，该数据查询方法还包括：当检测到数据库中存在至少一个第二增量文件时,获取至少一个第二增量文件的统计信息，统计信息包含需要修改的数据块的内部行号的最大值和最小值；针对每一个第二增量文件，根据内部行号的最大值和最小值确定与过滤条件对应的数据列的内部行号范围；根据每一个第二增量文件对应的内部行号范围，确定过滤条件对应数据列的内部行号总范围。其中，根据文件的文件内容或统计信息获取数据库中的第二增量文件，并根据第二增量文件中的修改操作信息可以确定需要修改的文件的内部行号。具体的，当检测到数据库中存在至少一个第二增量文件时,获取至少一个第二增量文件的统计信息，统计信息包含需要修改的数据块的内部行号的最大值和最小值。根据数据查询请求生成过滤条件，确定过滤条件对应的数据列。例如，过滤条件为“成绩为C”，则确定过滤条件对应的数据列为“成绩”。在统计信息包含的需要修改的文件的内部行号的最大值和最小值中，确定与过滤条件对应数据列对应的内部行号的最大值和最小值，即确定第二增量文件中需要修改的数据块中的需要对过滤条件对应数据列进行修改的数据块的内部行号的最大值和最小值，例如，过滤条件对应数据列为“成绩”，则确定第二增量文件中需要修改的数据块中的需要对“成绩”进行修改的数据块的内部行号的最大值和最小值，从而确定第二增量文件中与过滤条件对应的数据列的内部行号范围。例如，数据库包括两个第二增量文件。确定过滤条件对应的数据列为“成绩”。一个第二增量文件中与“成绩”对应的内部行号的最大值为6，最小值为2。另一个增量文件中与“成绩”对应的内部行号的最大值为9，最小值为5。根据过滤条件对应的数据列对应的内部行号的最大值和最小值确定内部行号范围[2,6]和[5,9]。然后根据每一个第二增量文件对应的内部行号范围，确定过滤条件对应数据列的内部行号总范围为[2,9]。

在本发明一个具体实施方式中，可选的，确定目标文件中受到第二增量文件影响的目标数据块，包括：从目标文件中确定与内部行号总范围对应的数据块，将数据块作为目标文件对应的目标数据块。

其中，若目标文件的数据块所对应的内部行号在内部行号总范围内，表示该数据块受到第二增量文件影响，是目标文件中受到第二增量文件影响的目标数据块；若目标文件的数据块所对应的内部行号中不在内部行号总范围内，表示该数据块没受到第二增量文件影响，不是目标文件中受到第二增量文件影响的目标数据块。例如，内部行号总范围为[2,9]。目标文件所对应的内部行号为2、4、和11，则内部行号为2的数据行所在的数据块和内部行号为4的数据行所在的数据块为受到第二增量文件影响的目标数据块。目标文件所对应的内部行号为10和11，则目标文件中没有受到第二增量文件影响的目标数据块。

在本发明一个具体实施方式中，可选的，该数据查询方法还包括：当检测到数据库中存在至少一个第二增量文件时，获取至少一个第二增量文件的文件内容；针对每一个第二增量文件，根据文件内容确定过滤条件对应数据列的内部行号；根据每一个第二增量文件对应的内部行号确定过滤条件对应数据列的内部行号集合。

其中，当检测到数据库中存在至少一个第二增量文件时，获取至少一个第二增量文件的文件内容。文件内容包含修改操作信息，可以根据文件内容中的修改操作信息确定第二增量文件对应的每一个需要修改的数据行的内部行号。针对每一个第二增量文件，根据文件内容确定需要修改的数据行的内部行号。根据数据查询请求生成过滤条件，确定过滤条件对应的数据列。例如，过滤条件为“成绩为C”，则确定过滤条件对应的数据列为“成绩”。在根据文件内容确定需要修改的数据行的内部行号中，确定与过滤条件对应数据列的内部行号，即确定第二增量文件中需要对过滤条件对应数据列进行修改的数据行的内部行号，例如，过滤条件对应数据列为“成绩”，则确定第二增量文件中需要对“成绩”进行修改的数据行的内部行号，从而确定第二增量文件中过滤条件对应数据列的内部行号集合。例如，数据库包括两个第二增量文件。一个第二增量文件中过滤条件对应数据列的内部行号为2、3和6。另一个第二增量文件中过滤条件对应数据列的内部行号为5、7和9。根据每一个第二增量文件对应的内部行号，确定过滤条件对应数据列的内部行号集合{2,3,5,6,7,9}。

在本发明一个具体实施方式中，可选的，确定目标文件中受到第二增量文件影响的目标数据块，包括：从目标文件中确定与内部行号集合对应的数据块，将数据块作为目标文件对应的目标数据块。

其中，从目标文件中确定与内部行号集合中元素对应的数据块。若目标文件中有数据块的内部行号与内部行号集合中元素对应，则确定该数据块为目标文件中受到第二增量文件影响的目标数据块；若目标文件中没有数据块的内部行号与内部行号集合中元素对应，则确定目标文件中没有受到第二增量文件影响的目标数据块。例如，内部行号总范围为{2,3,5,6,7,9}。目标文件所对应的内部行号为2、4和11，则内部行号为2的数据行所在的数据块为受到第二增量文件影响的目标数据块。目标文件所对应的内部行号为10和11，则目标文件中没有受到第二增量文件影响的目标数据块。

步骤103、根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果。

其中，根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤的过程与对目标数据块和数据库中除目标文件之外的文件直接进行读取的过程可以同时进行。

当检测到数据查询请求时，根据数据查询请求生成过滤条件。在根据需要修改的数据块的内部行号确定目标文件中受到第二增量文件影响的目标数据块，以及目标文件中除目标数据块之外的数据块后，针对目标文件中除目标数据块之外的数据块，根据过滤条件进行过滤，忽略不满足过滤条件的数据块，读取满足过滤条件的数据块，得到过滤结果。例如，过滤条件为“成绩为C”，忽略目标文件中除目标数据块之外的数据块中“成绩不为C”的数据块，读取目标文件中除目标数据块之外的数据块中“成绩为C”的数据块，得到过滤结果。

在本发明一个具体实施方式中，可选的，在根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤之前，还包括：当检测到过滤条件包含至少两个子过滤条件时，按照过滤条件的逻辑关系将过滤条件拆分成至少两个子过滤条件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果，包括：根据至少两个子过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果，包括：根据至少两个子过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

其中，根据数据查询请求生成的过滤条件中可以包含逻辑关系。逻辑关系包括与或关系。例如，过滤条件为成绩为C与班级为2班。过滤条件为成绩为C或成绩为B。在根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果之前，当检测到过滤条件包含至少两个子过滤条件时，按照过滤条件的逻辑关系将过滤条件拆分成至少两个子过滤条件。例如，过滤条件为成绩为C或成绩为B。将过滤条件拆分成子过滤条件：成绩为C、成绩为B。

根据至少两个子过滤条件对目标文件中除目标数据块之外的数据块进行整块过滤和/或逐行过滤，得到过滤结果。根据至少两个子过滤条件对目标文件中除目标数据块之外的数据块进行整块过滤，包括：获取目标文件中除目标数据块之外的数据块之外的每一个数据块的统计信息，根据统计信息分别判断数据块是否满足至少两个子过滤条件，忽略不满足子过滤条件的数据块，读取满足子过滤条件的数据块，得到与至少两个子过滤条件对应的过滤结果，然后根据过滤条件中的逻辑关系将与至少两个子过滤条件对应的过滤结果组合起来，得到数据块的过滤结果。

根据至少两个子过滤条件对目标文件中除目标数据块之外的数据块进行逐行过滤，包括：获取目标文件中除目标数据块之外的数据块的每一个数据行的文件内容，根据文件内容分别判断数据块是否满足至少两个子过滤条件，忽略不满足子过滤条件的数据块，读取满足子过滤条件的数据块，得到与至少两个子过滤条件对应的过滤结果，然后根据过滤条件中的逻辑关系将与至少两个子过滤条件对应的过滤结果组合起来，得到数据行的过滤结果。

根据至少两个子过滤条件对目标文件中目标文件中除目标数据块之外的数据块进行整块过滤和逐行过滤包括：获取目标文件中除目标数据块之外的数据块的统计信息，根据统计信息判断数据块是否满足至少两个子过滤条件，忽略不满足至少两个子过滤条件的数据块，针对满足至少两个子过滤条件的数据块，获取满足至少两个子过滤条件的数据块的每一个数据行的文件内容，根据文件内容判断数据行是否满足至少两个子过滤条件，忽略不满足至少两个子过滤条件的数据行，读取满足至少两个子过滤条件的数据行，得到对应的过滤结果。

仅对目标文件的数据块使用过滤条件，因为：删除操作表示删除某行数据，修改操作信息仅包含被修改的某个类型的数据的信息，过滤掉删除操作信息和修改操作信息可能会导致过滤后获取的当前事务表的内容与当前事务表的实际内容不符，从而导致查询结果错误。

其中，对目标数据块和数据库中除目标文件之外的文件，忽略过滤条件，直接进行读取，得到读取结果。

步骤104、根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

其中，根据过滤条件对上述得到的过滤结果和读取结果进行再次过滤，忽略不满足过滤条件的数据，读取满足过滤条件的数据，生成最终的查询结果。

本实施例提供的一种数据查询方法，通过确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果，可以在数据查询的读取文件阶段根据修改操作信息对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

图2为现有技术的一种数据查询过程的示意图。如图2所示，当检测到数据查询请求时，读取数据库中基础文件201、1号增量文件202、2号增量文件203以及3号增量文件204。对基础文件201、1号增量文件202、2号增量文件203以及3号增量文件204进行读取后得到的结果205。根据数据查询请求生成过滤条件：成绩为C。根据过滤条件对结果205进行过滤，生成1号查询结果206。由此，可见现有技术的数据查询过程中，会进行大量不必要的数据读取，降低了数据库的查询性能。现有技术中，在数据库查询中，常用的性能提升方式是在读取文件内容的阶段进行过滤。图3为现有技术的一种数据过滤方法的流程图。如图3所示，其步骤如下：

步骤301、读文件的统计信息。

步骤302、文件中是否有剩余数据块。若是，则执行步骤303；若否，则执行步骤309。

步骤303、获取下一个数据块的统计信息。

步骤304、判断数据块是否满足过滤条件。若是，则执行步骤305；若否，则执行步骤302。

步骤305、判断数据块中是否有剩余行。若是，则执行步骤306；若否，则执行步骤302。

步骤306、获取当前数据块的下一行。

步骤307、判断数据行是否满足过滤条件。若是，则执行步骤308；若否，则执行步骤306。

步骤308、将当前行放到输出列表。执行完步骤308后跳转至步骤305，执行步骤305。

步骤309、返回输出列表。

由此，通过整块过滤和逐行过滤对数据进行过滤，忽略不满足过滤条件的数据，保存满足过滤条件的数据至输出列表。因此，现有技术直接将数据过滤方法作用在读取每一个基础文件和增量文件的内容的阶段，以减少大量不必要的数据读取。

图4为一种采用现有技术的数据过滤方法进行过滤的数据查询过程的示意图。如图4所示，当检测到数据查询请求时，读取数据库中基础文件201、1号增量文件202、2号增量文件203以及3号增量文件204。根据数据查询请求生成过滤条件：成绩为C。根据过滤条件对基础文件201进行过滤，生成1号过滤结果401。根据过滤条件对2号增量文件203进行过滤，生成2号过滤结果402。对1号过滤结果401、1号增量文件202、2号过滤结果402以及3号增量文件204进行读取后得到结果403。根据过滤条件对结果403进行过滤，生成2号查询结果404。2号查询结果404为空。与正确的1号查询结果206的结果不相同，结果错误。其中，3号增量文件204的修改操作，修改了内部行号为2的行，使其可以满足过滤条件。但由于基础文件201中的内部行号为2的行的原始数据已被过滤掉，无法还原该行的内容。

由此可知，采用现有技术的文件过滤方法进行过滤的数据查询过程直接将过滤条件直接作用在读取每一个基础文件和增量文件的内容的阶段，将无法确认每行事务表的实际内容，可能会生成错误的查询结果。

本发明实施例通过确定目标文件中受到包括修改操作信息的增量文件的目标数据块，然后根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；并根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果，可以解决现有技术直接将过滤条件直接作用在读取每一个基础文件和增量文件的内容的阶段，导致的无法确认每行事务表的实际内容，可能会生成错误的查询结果的问题。

例如，图5为一种采用本发明实施例提供的数据查询方法的数据查询过程的示意图。如图5所示，本实施例提供的数据查询方法，当检测到数据查询请求时，读取数据库中基础文件201、1号增量文件202、2号增量文件203以及3号增量文件204。根据数据查询请求生成过滤条件：成绩为C。根据过滤条件对基础文件201进行过滤，生成3号过滤结果501。根据过滤条件对2号增量文件203进行过滤，生成4号过滤结果502。对3号过滤结果501、1号增量文件202、4号过滤结果502以及3号增量文件204进行读取得到3号读取结果503。根据过滤条件对3号读取结果503进行过滤，生成3号查询结果504。如图5所示，3号查询结果504与正确的1号查询结果206的结果相同，结果正确。通过在读取数据库中基础文件201、1号增量文件202、2号增量文件203以及3号增量文件204的阶段，根据过滤条件对基础文件201进行过滤，生成3号过滤结果501，根据过滤条件对2号增量文件203进行过滤，生成4号过滤结果502，滤除了不必要的数据，保证查询结果的正确性的同时，减少了不必要的数据读取，提高了查询性能。

图6为本发明实施例提供的一种数据查询方法的流程图。如图6所示，其步骤如下：

步骤601、读取基础文件和增量文件的统计信息。

步骤602、统计修改操作影响的每一个数据列对应的内部行号范围。

步骤603、判断是否有剩余文件。若是，则执行步骤604；若否，则执行步骤609。

步骤604、选择下一个文件。

步骤605、判断文件是否是基础文件或第一增量文件。若是，则执行步骤607；若否，则执行步骤606。

步骤606、读取所有数据行到输出列表。执行完步骤606后跳转至步骤603，执行步骤603。

步骤607、根据过滤条件和统计修改操作影响的内部行号范围对文件进行过滤。

步骤608、读取满足过滤条件的数据行到输出列表。执行完步骤608后跳转至步骤608，执行步骤608。

步骤609、按内部行号合并输出列表中的数据行。

步骤610、根据过滤条件进行再次过滤，生成最终查询结果。

由此可知，可以根据过滤条件和统计修改操作影响的内部行号范围对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

图7为本发明实施例提供的一种应用于数据查询过程的数据过滤方法的流程图。如图7所示，其步骤如下：

步骤701、获取目标文件。

步骤702、判断是否有剩余数据块。若是，则执行步骤703；若否，则执行步骤709。

步骤703、获取下一个数据块。

步骤704、判断是否是受到修改操作影响的目标数据块。若是，则执行步骤705；若否，则执行步骤706。

步骤705、读取该数据块的所有数据行到输出列表。完成步骤705后，返回执行步骤702。

步骤706、根据当前数据块的统计信息，判断是否满足过滤条件。若是，则执行步骤707；若否，则返回执行步骤702。

步骤707、进行逐行过滤。

步骤708、读取满足过滤条件的数据行到输出列表。完成步骤708后，返回执行步骤702。

步骤709、结束当前目标文件的读取。

由此，可以根据过滤条件和修改操作对文件进行过滤，从而在保证查询结果的正确性的同时，减少不必要的数据读取。

图8为本发明实施例提供的一种数据查询装置的结构框图。如图8所示，该装置包括：目标文件获取模块801、影响范围确定模块802、文件过滤模块803和查询结果生成模块804。

其中，目标文件获取模块801，用于当检测到数据查询请求时，根据数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件；影响范围确定模块802，用于确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；文件过滤模块803，用于根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件直接进行读取，得到读取结果；查询结果生成模块804，用于根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

本实施例提供的一种数据查询装置，通过确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果，可以在数据查询的读取文件阶段根据修改操作信息对文件进行过滤，保证查询结果的正确性的同时，减少不必要的数据读取，提高查询性能。

在上述实施例的基础上，该数据查询装置可以还包括：

统计信息获取模块，用于当检测到数据库中存在至少一个第二增量文件时,获取至少一个第二增量文件的统计信息，统计信息包含需要修改的数据块的内部行号的最大值和最小值；

行号范围确定模块，用于针对每一个第二增量文件，根据内部行号的最大值和最小值确定与过滤条件对应的数据列的内部行号范围；

总范围确定模块，用于根据每一个第二增量文件对应的内部行号范围，确定过滤条件对应数据列的内部行号总范围。

在上述实施例的基础上，影响范围确定模块802可以包括：

第一确定单元，用于从目标文件中确定与内部行号总范围对应的数据块，将数据块作为目标文件对应的目标数据块。

在上述实施例的基础上，该数据查询装置可以还包括：

文件内容获取模块，用于当检测到数据库中存在至少一个第二增量文件时，获取至少一个第二增量文件的文件内容；

内部行号确定模块，用于针对每一个第二增量文件，根据文件内容确定过滤条件对应数据列的内部行号；

行号集合确定模块，用于根据每一个第二增量文件对应的内部行号确定过滤条件对应数据列的内部行号集合。

在上述实施例的基础上，影响范围确定模块802可以包括：

第二确定单元，用于从目标文件中确定与内部行号集合对应的数据块，将数据块作为目标文件对应的目标数据块。

在上述实施例的基础上，该数据查询装置可以还包括：

过滤条件拆分模块，用于当检测到过滤条件包含至少两个子过滤条件时，按照过滤条件的逻辑关系将过滤条件拆分成至少两个子过滤条件。

在上述实施例的基础上，文件过滤模块803可以包括：

文件过滤单元，用于根据至少两个子过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果。

在上述实施例的基础上，查询结果生成模块804可以包括：

根据至少两个子过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

图9为本发明实施例提供的一种设备的结构示意图。图9示出了适于用来实现本发明实施方式的示例性设备912的框图。图9显示的设备912仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图9所示，设备912以通用计算设备的形式表现。设备912的组件可以包括但不限于：一个或者多个处理器或者处理单元916，系统存储器928，连接不同系统组件(包括系统存储器928和处理单元916)的总线918。

总线918表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

设备912典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备912访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器928可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)930和/或高速缓存存储器932。设备912可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统934可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线918相连。存储器928可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块942的程序/实用工具940，可以存储在例如存储器928中，这样的程序模块942包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块942通常执行本发明所描述的实施例中的功能和/或方法。

设备912也可以与一个或多个外部设备914(例如键盘、指向设备、显示器924等)通信，还可与一个或者多个使得用户能与该设备912交互的设备通信，和/或与使得该设备912能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口922进行。并且，设备912还可以通过网络适配器920与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器920通过总线918与设备912的其它模块通信。应当明白，尽管图中未示出，可以结合设备912使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元916通过运行存储在系统存储器928中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的数据查询方法。

也即，所述处理单元916执行所述程序时实现：当检测到数据查询请求时，根据数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；第一增量文件为仅包括增加操作信息的增量文件；确定目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；根据过滤条件对目标文件中除目标数据块之外的数据块进行过滤，得到过滤结果；对目标数据块和数据库中除目标文件之外的文件，直接进行读取，得到读取结果；根据过滤条件对过滤结果和读取结果进行再次过滤，生成最终查询结果。

本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本发明实施例所提供的数据查询方法。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据查询方法，其特征在于，包括：

当检测到数据查询请求时，根据所述数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；所述第一增量文件为仅包括增加操作信息的增量文件；

确定所述目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；

根据所述过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤，得到过滤结果；对所述目标数据块和数据库中除所述目标文件之外的文件，直接进行读取，得到读取结果；

根据所述过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果。

2.根据权利要求1所述的方法，其特征在于，还包括：

当检测到所述数据库中存在至少一个第二增量文件时,获取所述至少一个第二增量文件的统计信息，所述统计信息包含需要修改的数据块的内部行号的最大值和最小值；

针对每一个第二增量文件，根据所述内部行号的最大值和最小值确定与所述过滤条件对应的数据列的内部行号范围；

根据每一个第二增量文件对应的内部行号范围，确定所述过滤条件对应数据列的内部行号总范围。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标文件中受到第二增量文件影响的目标数据块，包括：

从所述目标文件中确定与所述内部行号总范围对应的数据块，将所述数据块作为所述目标文件对应的目标数据块。

4.根据权利要求1所述的方法，其特征在于，还包括：

当检测到所述数据库中存在至少一个第二增量文件时，获取所述至少一个第二增量文件的文件内容；

针对每一个第二增量文件，根据所述文件内容确定所述过滤条件对应数据列的内部行号；

根据每一个第二增量文件对应的内部行号确定所述过滤条件对应数据列的内部行号集合。

5.根据权利要求4所述的方法，其特征在于，所述确定所述目标文件中受到第二增量文件影响的目标数据块，包括：

从所述目标文件中确定与所述内部行号集合对应的数据块，将所述数据块作为所述目标文件对应的目标数据块。

6.根据权利要求1所述的方法，其特征在于，在根据所述过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤之前，还包括：

当检测到所述过滤条件包含至少两个子过滤条件时，按照所述过滤条件的逻辑关系将所述过滤条件拆分成至少两个子过滤条件；

所述根据所述过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤，得到过滤结果，包括：

根据所述至少两个子过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤，得到过滤结果；

所述根据所述过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果，包括：

根据所述至少两个子过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果。

7.一种数据查询装置，其特征在于，包括：

目标文件获取模块，用于当检测到数据查询请求时，根据所述数据查询请求生成过滤条件，并获取数据库中的目标文件，其中，目标文件包括基础文件，或者基础文件和第一增量文件；所述第一增量文件为仅包括增加操作信息的增量文件；

影响范围确定模块，用于确定所述目标文件中受到第二增量文件影响的目标数据块，第二增量文件为包括修改操作信息的增量文件；

文件过滤模块，用于根据所述过滤条件对所述目标文件中除所述目标数据块之外的数据块进行过滤，得到过滤结果；对所述目标数据块和数据库中除所述目标文件之外的文件直接进行读取，得到读取结果；

查询结果生成模块，用于根据所述过滤条件对所述过滤结果和所述读取结果进行再次过滤，生成最终查询结果。

8.根据权利要求7所述的装置，其特征在于，还包括：

统计信息获取模块，用于当检测到所述数据库中存在至少一个第二增量文件时,获取所述至少一个第二增量文件的统计信息，所述统计信息包含需要修改的数据块的内部行号的最大值和最小值；

行号范围确定模块，用于针对每一个第二增量文件，根据所述内部行号的最大值和最小值确定与所述过滤条件对应的数据列的内部行号范围；

总范围确定模块，用于根据每一个第二增量文件对应的内部行号范围，确定所述过滤条件对应数据列的内部行号总范围。

9.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的数据查询方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6中任一所述的数据查询方法。