CN114969056A - 数据筛选方法、装置、存储介质及计算机设备 - Google Patents

Abstract

本申请提供了一种数据筛选方法、装置、存储介质及计算机设备。该方法包括：获取待筛选数据；扫描待筛选数据，获取待筛选数据中每条数据记录的字段信息；字段信息包括字段名称及对应于字段名称的字段值；将每条数据记录的每个字段信息分别与记录id建立映射关系，构建待筛选数据的映射关系集合；根据映射关系集合生成索引表；获取筛选条件；从索引表中确定满足筛选条件的数据记录的目标记录id；根据目标记录id获取对应的数据记录。本申请即使在筛选条件较为复杂的情况，也无需多次轮询待筛选数据，节约计算资源，根据索引表筛选符合筛选条件的数据记录，扫描的数据量远小于直接扫描待筛选数据的数据量，能够提高数据筛选效率，节约计算资源。

Description

数据筛选方法、装置、存储介质及计算机设备

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据筛选方法、装置、存储介质及计算机设备。

背景技术

数据筛选是指从大量的数据中选取需要的部分，通常是利用计算机或数据存储和计算装置对数据进行有条件的、有选择性的选取操作，通过数据筛选得到符合某些条件的数据，满足用户的需求。

目前，在对数据进行筛选的时候，通常做法都是获取待筛选数据，再根据筛选条件对数据各个字段的值进行一一扫描和匹配，这种筛选方法需要占用大量的计算资源，耗时也比较久。

发明内容

本申请实施例提供了一种数据筛选方法、装置、存储介质及计算机设备，能够提高筛选效率，节约计算资源。

第一方面，本申请提供了数据筛选方法，所述方法包括：

获取待筛选数据；

扫描所述待筛选数据，获取所述待筛选数据中每条数据记录的字段信息；其中，所述字段信息包括字段名称及对应于字段名称的字段值；

将每条数据记录的每个字段信息分别与记录id建立映射关系，构建所述待筛选数据的映射关系集合；

根据所述映射关系集合生成索引表；

获取筛选条件；

从所述索引表中确定满足所述筛选条件的数据记录的目标记录id；

根据所述目标记录id获取对应的数据记录。

在其中一个实施例中，所述根据所述映射关系集合生成索引表，包括：

根据字段名称对所述映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集；

根据各字段名称的映射关系子集生成各字段名称的索引表。

在其中一个实施例中，所述从所述索引表中确定满足所述筛选条件的数据记录的目标记录id，包括：

确定所述筛选条件的目标字段名称；

获取所述目标字段名称的索引表；

识别所述目标字段名称的索引表中满足所述筛选条件的目标记录id。

在其中一个实施例中，所述从所述索引表中确定满足所述筛选条件的数据记录的目标记录id，包括：

若所述筛选条件包括多个单体条件，则分别根据每个单体条件确定单体条件的目标字段名称；

获取每个单体条件的目标字段名称对应的索引表；

识别各索引表中满足对应单体条件的待筛选记录id；

根据所述筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

在其中一个实施例中，所述根据所述筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，包括：

若存在两个以上单体条件为与关系，则将以与关系组合的各单体条件对应的待筛选记录id取交集；

若存在两个以上单体条件为或关系，则将以或关系组合的各单体条件对应的待筛选记录id取并集。

在其中一个实施例中，所述根据所述目标记录id获取对应的数据记录，包括：

对根据所述筛选条件确定的目标记录id进行去重处理；

根据去重处理后的目标记录id获取对应的数据记录。

在其中一个实施例中，所述方法还包括：

根据筛选得到的数据记录生成数据报表。

第二方面，本申请提供了一种数据筛选装置，包括：

数据获取模块，用于获取待筛选数据；

扫描模块，用于扫描所述待筛选数据，获取所述待筛选数据中每条数据记录的字段信息；其中，所述字段信息包括字段名称及对应于字段名称的字段值；

集合构建模块，用于将每条数据记录的每个字段信息分别与记录id建立映射关系，构建所述待筛选数据的映射关系集合；

索引表生成模块，用于根据所述映射关系集合生成索引表；

条件获取模块，用于获取筛选条件；

目标记录id确定模块，用于从所述索引表中确定满足所述筛选条件的数据记录的目标记录id；

数据记录获取模块，用于根据所述目标记录id获取对应的数据记录。

第三方面，本申请提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如上述任一项实施例所述数据筛选方法的步骤。

第四方面，本申请提供了一种计算机设备，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述一个或多个处理器执行时所述计算机可读指令时，执行如上述任一项实施例所述的数据筛选方法的步骤。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请提供的数据筛选方法、装置、存储介质及计算机设备，通过扫描获取的待筛选数据，获取待筛选数据中每条数据记录的字段信息，字段信息包括数据记录所包括的字段名称及对应于字段名称的字段值，将待筛选数据中每条数据记录的每个字段信息分别与记录id建立映射关系，各数据记录的映射关系构建待筛选数据的映射关系集合，根据映射关系集合生成索引表，利用索引表确定满足筛选条件的数据记录的目标记录id，根据目标记录id获取对应的数据记录，实现数据筛选，只需轮询一次待筛选数据用于提取信息生成索引表，即使在筛选条件较为复杂的情况，也无需多次轮询待筛选数据，节约计算资源，并且根据索引表筛选符合筛选条件的数据记录，扫描的数据量远小于直接扫描待筛选数据的数据量，能够提高数据筛选效率，进一步节约计算资源。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为一个实施例中，数据筛选方法的流程示意图；

图2为一个实施例中，根据映射关系集合生成索引表步骤的流程示意图；

图3为一个实施例中，从索引表中确定满足筛选条件的数据记录的目标记录id步骤的流程示意图；

图4为一个实施例中，根据目标记录id获取对应的数据记录步骤的流程示意图；

图5为一个实施例中，数据筛选装置的结构框图；

图6为一个实施例中，计算机设备为服务器的内部结构图；

图7为一个实施例中，计算机设备为终端的内部结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种数据筛选方法，如图1所示，所述方法包括：

步骤S101，获取待筛选数据。

步骤S102，扫描待筛选数据，获取待筛选数据中每条数据记录的字段信息。

其中，字段信息包括字段名称及对应于字段名称的字段值。待筛选数据即为多条数据记录的集合，每条数据记录包括至少一个字段信息。

步骤S103，将每条数据记录的每个字段信息分别与记录id建立映射关系，构建待筛选数据的映射关系集合。

其中，记录id是数据记录的标识信息，一条数据记录有一个唯一的记录id，通过记录id可以在众多数据记录进行查询。映射关系集合里包含了待筛选数据中每条数据记录的每个字段信息与其记录id的映射关系。

步骤S104，根据映射关系集合生成索引表。

索引表是待筛选记录中所有字段信息的集合和相应的指向其各自对应的记录id的逻辑指针清单，通过在索引表中查询字段信息，可以查询到对应的记录id，同样的，在索引表中查询记录id，可以查询到该记录id所指向的数据记录对应的字段信息。

步骤S105，获取筛选条件。

筛选条件可以包括一个或多个条件，在包括多个条件时，不同单体条件之间可以是以或关系、与关系组合构成最终的筛选条件。示例性的，若存在A条件、B条件和C条件三个单体条件，且三个单体条件是以或关系组合，则筛选条件即从待筛选数据中筛选出所有满足A条件、B条件、C条件中任意一个条件的数据记录。若A条件、B条件和C条件三个单体条件是以与关系组合，则筛选条件即从待筛选数据中筛选出所有同时满足A条件、B条件、C条件三个单体条件的数据记录。若A条件与B条件为或关系，再与C条件以与关系组合，则筛选条件即从待筛选数据中筛选出所有同时满足A条件和C条件的数据记录，以及所有同时满足B条件和C条件的数据记录。

步骤S106，从索引表中确定满足筛选条件的数据记录的目标记录id。

基于获取的筛选条件在索引表中进行查询，用以替代直接对待筛选数据进行筛选条件匹配的方式，在索引表中查询出满足筛选条件的数据记录的记录id，这些数据记录的记录id即为目标记录id。

步骤S107，根据目标记录id获取对应的数据记录。

通过查询索引表确定的目标记录id，从待筛选数据中获取目标记录id指向的数据记录。

可以理解的是，步骤S105并非必须在执行完步骤S104之后执行，只需要在步骤S106之前任意时间获取筛选条件即可。

本申请提供的数据筛选方法，通过扫描获取的待筛选数据，获取待筛选数据中每条数据记录的字段信息，字段信息包括数据记录所包括的字段名称及对应于字段名称的字段值，将待筛选数据中每条数据记录的每个字段信息分别与记录id建立映射关系，各数据记录的映射关系构建待筛选数据的映射关系集合，根据映射关系集合生成索引表，利用索引表确定满足筛选条件的数据记录的目标记录id，根据目标记录id获取对应的数据记录，实现数据筛选，只需轮询一次待筛选数据用于提取信息生成索引表，即使在筛选条件较为复杂的情况，也无需多次轮询待筛选数据，节约计算资源，并且根据索引表筛选符合筛选条件的数据记录，扫描的数据量远小于直接扫描待筛选数据的数据量，能够提高数据筛选效率，进一步节约计算资源。

在其中一个实施例中，如图2所示，所述根据映射关系集合生成索引表，包括：

步骤S201，根据字段名称对映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集。

映射关系集合包括了待筛选数据中所有数据记录的所有字段信息与记录id的映射关系，为了进一步提高筛选效率，可以根据字段信息中的字段名称对映射关系进行分组，将同一个字段名称的映射关系分类为与该字段名称对应的映射关系子集，例如，有若干条数据记录包括字段名称为D的字段信息，则可以将所有字段名称为D的字段信息与记录id的映射关系划分为一个映射关系子集，并且该映射关系子集对字段名称D对应。对所有映射关系进行分组，最终将映射关系集合划分为若干组对应于不同字段名称的映射关系子集。

步骤S202，根据各字段名称的映射关系子集生成各字段名称的索引表。

本实施例是分别根据每个字段名称对应的映射关系子集生成索引表，即一个字段名称的映射关系子集对应一个索引表。在进行数据筛选时，可以先通过字段名称找到对应的索引表，进而再从找到的索引表内查询目标记录id，提高筛选效率。

在其中一个实施例中，如图3所示，所述从索引表中确定满足筛选条件的数据记录的目标记录id，包括：

步骤S301，确定筛选条件的目标字段名称。

在一些实施例中，筛选条件是根据字段信息实现筛选，例如某个字段名称的字段值在一定范围区间内的即为所希望筛选得到的数据记录，因此可以先确定筛选条件的字段名称作为目标字段名称。

步骤S302，获取目标字段名称的索引表。

由于索引表包括对应于不同字段名称的索引表，因此可以先通过目标字段名称对索引表进行初步筛选。

步骤S303，识别目标字段名称的索引表中满足筛选条件的目标记录id。

基于目标字段名称对应的索引表再进行筛选条件的匹配，找到索引表内满足筛选条件的目标记录id。

本实施例能够在通过字段值进行筛选时，降低初筛的计算量，提高筛选效率。

在其中一个实施例中，所述从索引表中确定满足筛选条件的数据记录的目标记录id，包括：

若筛选条件包括多个单体条件，则分别根据每个单体条件确定单体条件的目标字段名称；

获取每个单体条件的目标字段名称对应的索引表；

识别各索引表中满足对应单体条件的待筛选记录id；

根据筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

本实施例应用于筛选条件包括了多个单体条件的场景，可以先根据单体条件所要筛选的字段名称找到对应的索引表，再按照一一对应的关系，分别对每个单体条件的目标字段名称对应的索引表进行筛选，分别找到每个索引表内满足对应单体条件的记录id作为待筛选记录id，由于存在多个单体条件，因此需要在根据各单体条件之间的与或关系对待筛选记录id进行筛选，确定目标记录id，提高筛选效率。

在其中一个实施例中，所述根据筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，包括：

若存在两个以上单体条件为与关系，则将以与关系组合的各单体条件对应的待筛选记录id取交集；

若存在两个以上单体条件为或关系，则将以或关系组合的各单体条件对应的待筛选记录id取并集。

对于以与关系组合的单体条件，即筛选条件中需要同时满足这些单体条件，因此对应的待筛选记录id需要取交集；对于以或关系组合的单体条件，即筛选条件中只需要满足任意一个单体条件，因此对对应的待筛选记录id需要取并集。

示例性的，若A条件与B条件为或关系，再与C条件以与关系组合，则筛选条件即从待筛选数据中筛选出所有同时满足A条件和C条件的数据记录，以及所有同时满足B条件和C条件的数据记录，因此可以先对根据A条件筛选出的待筛选记录id和根据C条件筛选出的待筛选记录id取交集，并且对根据B条件筛选出的待筛选记录id和根据C条件筛选出的待筛选记录id取交集，再将两个交集结果取并集；也可以先对根据A条件筛选出的待筛选记录id和根据B条件筛选出的待筛选记录id取并集，在将并集结果与根据C条件筛选出的待筛选记录id取交集。

在其中一个实施例中，如图4所示，所述根据目标记录id获取对应的数据记录，包括：

步骤S401，对根据筛选条件确定的目标记录id进行去重处理。

步骤S402，根据去重处理后的目标记录id获取对应的数据记录。

由于一个数据记录的可能会包括多个字段信息，利用索引表查询满足筛选条件的记录id可能出现通过不同单体条件筛选出相同记录id的情况，因此可以筛选出的目标记录id进行去重处理，对于相同的目标记录id仅保留一条，利用去重处理后的目标记录id从待筛选数据中获取对应的数据记录。

在其中一个实施例中，所述方法还包括：

根据筛选得到的数据记录生成数据报表。

筛选出的数据根据需求的不同，后续处理也会存在差异，在一些实施例中，可以生成数据报表，数据报表可以方便进行查看。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

下面对本申请实施例提供的数据筛选装置进行描述，下文描述的数据筛选装置与上文描述的数据筛选方法可相互对应参照。

如图5所示，本申请实施例提供了一种数据筛选装置500，包括：

数据获取模块501，用于获取待筛选数据；

扫描模块502，用于扫描待筛选数据，获取待筛选数据中每条数据记录的字段信息；其中，字段信息包括字段名称及对应于字段名称的字段值；

集合构建模块503，用于将每条数据记录的每个字段信息分别与记录id建立映射关系，构建待筛选数据的映射关系集合；

索引表生成模块504，用于根据映射关系集合生成索引表；

条件获取模块505，用于获取筛选条件；

目标记录id确定模块506，用于从索引表中确定满足筛选条件的数据记录的目标记录id；

数据记录获取模块507，用于根据目标记录id获取对应的数据记录。

在其中一个实施例中，索引表生成模块包括：

分组单元，用于根据字段名称对映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集；

索引表生成单元，用于根据各字段名称的映射关系子集生成各字段名称的索引表。

在其中一个实施例中，目标记录id确定模块包括：

第一确定单元，用于确定筛选条件的目标字段名称；

第一获取单元，用于获取目标字段名称的索引表；

第一识别单元，用于识别目标字段名称的索引表中满足筛选条件的目标记录id。

在其中一个实施例中，目标记录id确定模块包括：

第二确定单元，用于在筛选条件包括多个单体条件时，分别根据每个单体条件确定单体条件的目标字段名称；

第二获取单元，用于获取每个单体条件的目标字段名称对应的索引表；

第二识别单元，用于识别各索引表中满足对应单体条件的待筛选记录id；

第三确定单元，用于根据所述筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

在其中一个实施例中，第三确定单元用于在存在两个以上单体条件为与关系时，将以与关系组合的各单体条件对应的待筛选记录id取交集；在存在两个以上单体条件为或关系时，将以或关系组合的各单体条件对应的待筛选记录id取并集。

在其中一个实施例中，数据记录获取模块包括：

去重单元，用于对根据筛选条件确定的目标记录id进行去重处理；

第三获取单元，根据去重处理后的目标记录id获取对应的数据记录。

在其中一个实施例中，数据筛选装置还包括：

数据报表生成模块，用于根据筛选得到的数据记录生成数据报表。

上述数据筛选装置中各个模块的划分仅仅用于举例说明，在其他实施例中，可将数据筛选装置按照需要划分为不同的模块，以完成上述数据筛选装置的全部或部分功能。上述数据筛选装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，本申请还提供了一种存储介质，所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：

获取待筛选数据；

扫描待筛选数据，获取待筛选数据中每条数据记录的字段信息；其中，字段信息包括字段名称及对应于字段名称的字段值；

将每条数据记录的每个字段信息分别与记录id建立映射关系，构建待筛选数据的映射关系集合；

根据映射关系集合生成索引表；

获取筛选条件；

从索引表中确定满足筛选条件的数据记录的目标记录id；

根据目标记录id获取对应的数据记录。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

根据字段名称对映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集；

根据各字段名称的映射关系子集生成各字段名称的索引表。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

确定筛选条件的目标字段名称；

获取目标字段名称的索引表；

识别目标字段名称的索引表中满足筛选条件的目标记录id。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

若筛选条件包括多个单体条件，则分别根据每个单体条件确定单体条件的目标字段名称；

获取每个单体条件的目标字段名称对应的索引表；

识别各索引表中满足对应单体条件的待筛选记录id；

根据筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

若存在两个以上单体条件为与关系，则将以与关系组合的各单体条件对应的待筛选记录id取交集；

若存在两个以上单体条件为或关系，则将以或关系组合的各单体条件对应的待筛选记录id取并集。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

对根据筛选条件确定的目标记录id进行去重处理；

根据去重处理后的目标记录id获取对应的数据记录。

在其中一个实施例中，计算机可读指令被处理器执行时还实现以下步骤：

根据筛选得到的数据记录生成数据报表。

在一个实施例中，本申请还提供了一种计算机设备，所述计算机设备中存储有计算机可读指令，所述一个或多个处理器执行所述计算机可读指令时，执行以下步骤：

获取待筛选数据；

扫描待筛选数据，获取待筛选数据中每条数据记录的字段信息；其中，字段信息包括字段名称及对应于字段名称的字段值；

将每条数据记录的每个字段信息分别与记录id建立映射关系，构建待筛选数据的映射关系集合；

根据映射关系集合生成索引表；

获取筛选条件；

从索引表中确定满足筛选条件的数据记录的目标记录id；

根据目标记录id获取对应的数据记录。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

根据字段名称对映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集；

根据各字段名称的映射关系子集生成各字段名称的索引表。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

确定筛选条件的目标字段名称；

获取目标字段名称的索引表；

识别目标字段名称的索引表中满足筛选条件的目标记录id。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

若筛选条件包括多个单体条件，则分别根据每个单体条件确定单体条件的目标字段名称；

获取每个单体条件的目标字段名称对应的索引表；

识别各索引表中满足对应单体条件的待筛选记录id；

根据筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

若存在两个以上单体条件为与关系，则将以与关系组合的各单体条件对应的待筛选记录id取交集；

若存在两个以上单体条件为或关系，则将以或关系组合的各单体条件对应的待筛选记录id取并集。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

对根据筛选条件确定的目标记录id进行去重处理；

根据去重处理后的目标记录id获取对应的数据记录。

在其中一个实施例中，处理器执行计算机可读指令时还执行以下步骤：

根据筛选得到的数据记录生成数据报表。

示意性地，在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据筛选方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种数据筛选方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图6和图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等；“若干”的含义是至少一个，除非另有明确具体的限定。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据筛选方法，其特征在于，所述方法包括：

获取待筛选数据；

扫描所述待筛选数据，获取所述待筛选数据中每条数据记录的字段信息；其中，所述字段信息包括字段名称及对应于字段名称的字段值；

将每条数据记录的每个字段信息分别与记录id建立映射关系，构建所述待筛选数据的映射关系集合；

根据所述映射关系集合生成索引表；

获取筛选条件；

从所述索引表中确定满足所述筛选条件的数据记录的目标记录id；

根据所述目标记录id获取对应的数据记录。

2.根据权利要求1所述的数据筛选方法，其特征在于，所述根据所述映射关系集合生成索引表，包括：

根据字段名称对所述映射关系集合中的映射关系进行分组，得到各字段名称的映射关系子集；

根据各字段名称的映射关系子集生成各字段名称的索引表。

3.根据权利要求2所述的数据筛选方法，其特征在于，所述从所述索引表中确定满足所述筛选条件的数据记录的目标记录id，包括：

确定所述筛选条件的目标字段名称；

获取所述目标字段名称的索引表；

识别所述目标字段名称的索引表中满足所述筛选条件的目标记录id。

4.根据权利要求2所述的数据筛选方法，其特征在于，所述从所述索引表中确定满足所述筛选条件的数据记录的目标记录id，包括：

若所述筛选条件包括多个单体条件，则分别根据每个单体条件确定单体条件的目标字段名称；

获取每个单体条件的目标字段名称对应的索引表；

识别各索引表中满足对应单体条件的待筛选记录id；

根据所述筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，确定目标记录id。

5.根据权利要求4所述的数据筛选方法，其特征在于，所述根据所述筛选条件中各单体条件之间的与或关系对各待筛选记录id进行筛选，包括：

若存在两个以上单体条件为与关系，则将以与关系组合的各单体条件对应的待筛选记录id取交集；

若存在两个以上单体条件为或关系，则将以或关系组合的各单体条件对应的待筛选记录id取并集。

6.根据权利要求3至5任一项所述的数据筛选方法，其特征在于，所述根据所述目标记录id获取对应的数据记录，包括：

对根据所述筛选条件确定的目标记录id进行去重处理；

根据去重处理后的目标记录id获取对应的数据记录。

7.根据权利要求6所述的数据筛选方法，其特征在于，所述方法还包括：

根据筛选得到的数据记录生成数据报表。

8.一种数据筛选装置，其特征在于，包括：

数据获取模块，用于获取待筛选数据；

扫描模块，用于扫描所述待筛选数据，获取所述待筛选数据中每条数据记录的字段信息；其中，所述字段信息包括字段名称及对应于字段名称的字段值；

集合构建模块，用于将每条数据记录的每个字段信息分别与记录id建立映射关系，构建所述待筛选数据的映射关系集合；

索引表生成模块，用于根据所述映射关系集合生成索引表；

条件获取模块，用于获取筛选条件；

目标记录id确定模块，用于从所述索引表中确定满足所述筛选条件的数据记录的目标记录id；

数据记录获取模块，用于根据所述目标记录id获取对应的数据记录。

9.一种存储介质，其特征在于：所述存储介质中存储有计算机可读指令，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至7中任一项所述的数据筛选方法的步骤。

10.一种计算机设备，其特征在于，包括：一个或多个处理器，以及存储器；

所述存储器中存储有计算机可读指令，所述一个或多个处理器执行时所述计算机可读指令时，执行如权利要求1至7中任一项所述的数据筛选方法的步骤。

Images