CN110781180B - 一种数据筛选方法和数据筛选装置 - Google Patents

Abstract

本申请公开了一种数据筛选方法和数据筛选装置，该方法中，调度器接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数；根据各个节点参数调用DAG调度结构，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数；根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。通过设定的DAG调度结构提高运算的并行度，在实现多个不同的符合多元运算的数据筛选的同时，降低了管理成本，提高了数据筛选的效率。

Description

一种数据筛选方法和数据筛选装置

技术领域

本申请涉及计算机技术领域，特别涉及一种数据筛选方法和数据筛选装置。

背景技术

当前，随着计算机的发展，网络上的数据越来越多，不同的企业或者部门对数据的需求也各不相同。在大数据中筛选到符合用户实际需求的数据，越来越重要。相关技术中一般是通过根据预设条件得到对应的数据的运算表达式，然后利用调度场算法将运算表达式，转换为逆波兰表达式，进行数据的在线处理，但是较小的栈空间，并且仅能串行计算，因此，数据筛选效率较低。

因此，如何提供一种解决上述技术问题的方案是本领域技术人员目前需要解决的问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据筛选方法、数据筛选装置，能够保证数据筛选的高效率。其具体方案如下：

为实现上述目的，一方面，本申请提供了一种数据筛选方法，包括：

接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，所述节点参数包括操作数参数和运算符参数；

根据各个所述节点参数调用所述DAG调度结构，所述DAG调度结构包括预设数目的父节点，所述父节点包括第一节点、第二节点，所述第二节点是叶子节点，当所述第一节点有子节点时用于接收所述运算符参数，当所述第一节点没有子节点时用于接收所述操作数参数，所述第二节点用于接收所述操作数参数；

根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。

又一方面，本申请还提供了一种数据筛选方法，包括：

接收到满足一个或者多个筛选条件的目标数据的请求信息，根据所述请求信息得到目标数据表达式；

对所述目标数据表达式进行解析，获取二叉树结构，并对所述二叉树结构进行树形编码，以便获取各个节点参数；其中，所述节点参数包括操作数参数和运算符参数，所述二叉树结构的父节点包括第一节点和第二节点，且所述第二节点是叶子节点的结构；所述第一节点有子节点时是所述运算符参数，所述第一子节点没有子节点时是所述操作数参数；

将各个所述节点参数发送至调度器，以便所述调度器根据各个所述节点参数调用与所述二叉树结构对应的DAG调度结构，输出目标数据。

又一方面，本申请还提供了数据筛选装置，包括：

节点参数获取模块，用于接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，所述节点参数包括操作数参数和运算符参数；

DAG调度结构调用模块，用于根据各个所述节点参数调用所述DAG调度结构，所述DAG调度结构包括预设数目的父节点，所述父节点包括第一节点、第二节点，所述第二节点是叶子节点，当所述第一节点有子节点时用于接收所述运算符参数，当所述第一节点没有子节点时用于接收所述操作数参数，所述第二节点用于接收所述操作数参数；

目标数据获取模块，用于根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。

又一方面，本申请还提供了一种数据筛选装置，包括：

目标数据表达式获取模块，用于接收到满足一个或者多个筛选条件的目标数据的请求信息，根据所述请求信息得到目标数据表达式；

解析与编码模块，用于对所述目标数据表达式进行解析，获取二叉树结构，并对所述二叉树结构进行树形编码，以便获取各个节点参数；其中，所述节点参数包括操作数参数和运算符参数，所述二叉树结构的父节点包括第一节点和第二节点，且所述第二节点是叶子节点的结构；所述第一节点有子节点时是所述运算符参数，所述第一子节点没有子节点时是所述操作数参数；

发送模块，用于将各个所述节点参数发送至调度器，以便所述调度器根据各个所述节点参数调用与所述二叉树结构对应的DAG调度结构，输出目标数据。

本申请提供的数据筛选方法，包括：接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，节点参数包括操作数参数和运算符参数；根据各个节点参数调用DAG调度结构，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数；根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。

本申请根据目标数据表达式得到与DAG调度结构对应的各个节点参数，调度器接收到各个节点参数后，利用各个节点参数调用预设的DAG调度结构，其中，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数；根据目标父节点的第二节点的操作参数的获取状态，实现调度，最终选择根节点跳出，因此，本申请可以通过一个DAG调度结构来满足不同的目标数据表达式的数据筛选任务，利用DAG调度结构提高数据筛选的并行度，同时降低了管理成本的，提高了数据筛选的效率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例提供的一种数据筛选系统的组成架构；

图2为本申请实施例提供的一种数据筛选的操作流程图；

图3为本申请实施例提供的一种DAG调度结构的结构示意图；

图4为本申请实施例提供的一种数据筛选方法的流程示意图；

图5为本申请实施例提供的另一种数据筛选方法的流程示意图；

图6为本申请实施例提供的一种任务合并的简单示意图；

图7为本申请实施例提供的一种数据筛选记录的显示示意图；

图8为本申请实施例提供的一种数据筛选方法的流程示意图；

图9为本申请实施例提供的一种二叉树结构简图；

图10为本申请实施例提供的一种树形编码的结构示意图；

图11为本申请实施例提供的一种自定义人群的数据筛选的界面示意图；

图12为本申请实施例提供的自定义人群数据筛选过程的结构示意图；

图13为本申请实施例提供的一种数据筛选装置的组成结构示意图；

图14为本申请实施例提供的一种数据筛选装置的组成结构示意图；

图15为本申请实施例提供的一种调度器的结构示意图；

图16为本申请实施例提供的一种业务服务器的结构示意图。

具体实施方式

当前数据筛选的过程，一般是利用调度长算法将运算表达式转化为逆波兰表达式，进行数据的在线处理，由于较小的栈空间，并且仅能进行串行计算，因此数据的筛选效率低。每次多元运算表达式，繁简不一，产生了大量不同的表达式结构，给管理带来了困难。

鉴于目前所存在的上述问题，本申请提出了数据筛选技术方案，通过该技术方案，提高数据筛选的效率。

为了便于理解，下面对本申请的技术方案所适用的系统架构进行介绍。参见图1，图1为本申请实施例提供的一种数据筛选系统的组成架构。

本申请的数据筛选系统的一种组成架构可以包括客户端设备10、业务服务器11、调度器12、节点设备13。图2为本申请实施例提供的一种数据筛选的操作流程图。由于每个运算都设置海量的数据，计算量大，以此，可以基于分布式计算平台来提升运算速度，分布式计算系统平台是将一系列用计算机网络相连接通信的，独立计算的模式和组件，集成到一个统一的平台，展现给用户的是一个完整的独立计算平台。可以基于Apache Spark或者Hadoop计算平台进行任务处理。

其中，客户端设备10可以通过自身安装的客户端，在用户交互界面上为用户提供请求信息的输入接口和请求信息触发单元。在用户交互界面可以包括针对大数据进行筛分的选项，可以是在预设区域显示不同的筛选条件，用户可自定义选择，例如，选择在满足第一筛选条件的同时或者满足第二筛选条件，在满足上述条件的基础上满足第三筛选条件，进一步在满足上述条件的基础上或者满足第四筛选条件。当用户选择时，客户端设备10通过请求信息输入接口获取用户端满足一个或者多个筛选条件的目标数据的请求信息，当用户选择完成后，通过请求信息触发单元，触发任务，其中，触发任务的方式可以是用户点击预设按钮完成触发操作，当然也可以是通过语音识别来完成触发任务的操作。其中，大数据本实施例不再进行限定，可以是包括多个标签的人群属性的数据，可以是包括多个标签的物品属性的数据，可以是包括多个标签的公司信息的数据，还可以是包括多个标签的车辆属性的数据，当然也可以是其他的数据，只要是能够实现本实施例的目的即可。

在一种可实现的实施例中，大数据可以是人群属性数据，对应的目标数据表达式是自定义人群属性表达式，人群属性可以包括基础属性、人口属性、房产信息属性，其中，基础属性包括人生阶段、常住地，人口属性包括年龄范围，房产信息属性包括居住社区房价等级。在另一种可实现的实施例中，大数据可以是物品属性的数据，对应的目标数据表达式是自定义物品表达式，物品属性可以包括材料属性、保存属性、物品基础属性，其中，材料属性包括食用品、非食用品，保存属性包括保存时间范围，物品基础属性包括产地、公司信息、若是食用品，物品基础属性还包括营养成分信息。

当请求信息被外界触发后，客户端设备10可以利用第一通信网络将请求信息发送至业务服务器11。客户端设备10可以是电脑设备、智能手机、穿戴式设备或者其他智能设备。第一通讯网络可以是长连接，利用Socket进行连接，可以是短连接，通过Http进行连接。

业务服务器11是与设备端对应的服务器，通过通讯接口与客户端设备10进行通信连接。业务服务器11中根据客户端设备10对应的客户端发送的满足一个或者多个筛选条件的目标数据的请求信息，得到目标数据表达式。进一步，业务服务器11对目标数据表达式进行解析，得到二叉树结构，并对二叉树结构进行树形编码，得到各个节点参数，其中，节点参数包括操作数参数和运算符参数，此时，若目标数据表达式简化为A∪B∩C∩D，父节点为运算符∩，父节点的第一叶子节点为D，父节点的第一子节点是运算符∩，第一子节点的第二叶子节点是C，第一子节点的第二子节点是运算符∪，第二子节点的第三叶子节点是A，第二子节点的第四叶子节点是B。业务服务器11通过通讯接口与调度器12进行通信连接，业务服务器11通过第二通讯网络将各个节点参数发送至调度器12。第二通讯网络可以是TCP/IP协议网络接口。

调度器12接收到各个节点参数，并根据各个节点参数调用DAG调度结构，由于DAG调度结构与二叉树结构对应，因此，此时二叉树结构可以看成是DAG调度结构的子集，根据节点参数进行DAG调度结构的调度。DAG调度结构包括预设数目的父节点，父节点包括第一节点和第二节点，第二节点是叶子节点，第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数。本实施例不对父节点的数量进行限定，可以是10、15、20、25、30中的任意一个，或者是其他数量，用户可根据实际需求进行设定。调度器12根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。可以理解的是，节点参数相当于任务请求，其中进行数据运算处理具体是根据DAG调度结构匹配对应的节点设备13，调度器12利用通讯接口与节点设备13进行通讯，以便节点设备13能够利用调度指令进行数据操作，最终在根节点调出，输出目标数据，并将目标数据发送至调度器12。其中节点设备13为对应的所有的节点。

其中，DAG调度结构具体请参考图3，图3为本申请实施例提供的一种DAG调度结构的结构示意图，可知，每个节点代表一个任务，对于DAG调度结构用户可自定义设置，可以设置预设数目的父节点，本申请以节点的个数确定DAG调度结构的复杂度。以图3为例，复杂度为10，每个节点表示为一个任务，每条边表示节点间的任务处理顺序和数据传递即父子关系，值得注意的是，此时的父子关系中，数据及任务的处理过程为从子至父。DAG调度结构由多个任务节点和有向边构成。每一个父节点必须接收到子节点的数据后才可以根据父节点的运算符参数执行任务，当父节点执行完成任务后，可以判断当前的父节点的父节点的子节点中是否存在操作数参数，当存在时才继续进行数据运算处理，当不存在时则从根节点跳出，得到目标数据。在本DAG调度结构中，某一父节点存在两个叶子节点时，此时两个叶子节点是DAG调度结构的入口节点；当一个节点没有父节点时，此节点为根节点，并称之为出口节点；此时DAG调度结构有两个入口节点、一个根节点。只有父节点完成数据处理后，才能够和与父节点同一级的叶子节点将数据输出至上一级父节点，以使该上一级父节点进行任务处理。

在一种可实现的实施例中，当DAG调度结构中所有的节点对应的节点设备13均不同时，所有的叶子节点的任务处理顺序可以是与同级的节点设备13同时进行处理，或者可以优先处理，以便节省时间，避免出现故障造成任务处理的延时，增加任务处理的时间；在另一种可实现的实施例中，当部分叶子节点是同一个节点设备13进行任务处理，则按照数据传递的关系确定处理的权重值，根据权重值依次进行处理；在另一种可实现的实施例中，当所有的节点均为一台节点设备13进行任务处理时，按照预设顺序依次进行任务处理。

请参考图4，图4为本申请实施例提供的一种数据筛选方法的流程示意图，该数据筛选方法可以包括以下步骤：

S101、接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，节点参数包括操作数参数和运算符参数。

在本实施例中，调度器为业务服务器提供一个或者多个通信接口，通过通信接口获取节点参数，以节点参数作为数据筛选请求，此时，调度器获取到数据筛选请求。此时，节点参数是业务服务器解析根据解析目标数据表达式得到的与DAG调度结构对应的各个节点参数，并且，节点参数是业务服务器将目标数据表达式进行解析后，建立二叉树结构并进行编码得到的节点参数。其中，抽象语法树可以提高数据并行处理的问题，但繁简不一表达式的抽象语法树结构也千差万别，把抽象语法树直接作为DAG结构，管理起来复杂因此本实施例提供一个DAG调度结构，支持多个实例，实现有效的管理。例如，目标数据表达式是(u2.101015.12-18∪₁u5.1014.420100)∪₂(u1.101015.15∩u1.101012.10)。在一种可实现的实施例中，u2.101015.12-18∪u5.1014.420100的操作数参数对应为“t990101010101”：{执行参数}；∪₂的运算符参数对应为“t990101010100”：{执行参数}；u1.101015.15∩u1.101012.10的操作数参数对应为“t990101010102”：{执行参数}。在另一种可实现的实施例中，u2.101015.12-18操作数参数对应为“t990101010101”：{执行参数}；u5.1014.420100的操作数参数“t990101010102”：{执行参数}；∪₁的运算符参数对应为“t990101010100”：{执行参数}；∪₂的运算符参数对应为“t99010101000”：{执行参数}；u1.101015.15∩u1.101012.10的操作数参数“t990101010200”：{执行参数}。

S102、根据各个节点参数调用DAG调度结构。

其中，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数。

在本实施例中可以通过HTTP协议，根据节点参数触发DAG调度。在本实施例中，以各个节点参数为数据筛选请求，调用DAG调度结构。每一个节点参数与DAG调度结构中的节点一一对应，对应的，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数。

S103、根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据。

在本实施例中，DAG调度结构是在二元抽象语法树的基础上引入了分支结构，在任务运行时根据目标父节点的第二节点的操作参数的获取状态确定选择哪个分支进行数据运算处理，最终从根节点跳出，得到目标数据。具体的，分支结构是根据目标父节点的第二节点的操作数参数的获取状态进行调度处理。请参考图2，具体的，当执行到每一个父节点时，可以利用分支结构进行判断，是继续执行父节点的父节点的任务还是选择对应的分支结构，跳出至根节点。此时，可以看到针对每个父节点可以进行分支结构进行判断是否可提前退出。当目标数据表达式完全符合当前的DAG调度结构，此时DAG调度结构执行任务的顺序可以是，s2、s3→s5、s6→s8、s9→s11、s12→s13，当然，对于s3、s6、s9、s12可以在接收到操作数参数后就立刻执行任务，也可以是与同级的节点同时执行任务，或者按照其他预设时间进行任务的执行，只要是能过后保证在两者的父节点的任务能够完成即可。在一种可实现的实施例中，当DAG调度结构中所有的节点对应的节点设备均不同时，所有的叶子节点的任务处理顺序可以是与同级的节点设备同时进行处理，或者按照其他预设时间进行任务的执行，以便节省时间，避免出现故障造成任务处理的延时，增加任务处理的时间；在另一种可实现的实施例中，当部分节点是同一个节点设备进行任务处理，则按照数据传递的关系确定处理的权重值，根据权重值依次进行处理；在另一种可实现的实施例中，当所有的节点均为一台节点设备进行任务处理时，按照预设数据处理顺序依次进行任务处理。

在一种可能实现的实施方式中，若目标父节点的第二节点获得操作数参数，则选择目标父节点的父节点进行调度处理，直至存在父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。当目标父节点的第二节点即叶子结点有操作数参数，证明目标父节点可以进行任务处理，然后沿着数据处理方向进行处理，当目标父节点的父节点第二节点有数据时，则证明目标父节点的父节点还能够进行执行任务；当目标父节点的父节点的第二节点没有数据时，则证明任务执行完成，选择根节点跳出。在一种可能实现的实施方式中，若目标父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。可见，本实施例当目标父节点还未进行任务的处理时，判断其第二节点的操作数参数的获取状态来确定是否还需要继续数据筛选。

在一种可能实现的实施方式中，若目标父节点的父节点获取到运算符参数，则选择目标节点的父节点进行调度处理，直至存在父节点的父节点未获得运算符参数，则选择根节点跳出，获取到目标数据。在一种可能实现的实时方式中，若目标父节点的父节点未获得运算符参数，则选择根节点跳出，获取目标数据。可见，本实施例当判断目标父节点是否获取到运算符参数的方式判断是否继续进行数据筛选。

在一种可实现的实施方式中，可以通过解析节点参数，确定在任务调度过程中，跳出的节点信息，其中节点信息包括节点设备的ID，以便当该节点设备执行任务时，判断其第二节点的操作数参数的获取状态，当满足跳出条件时，选择根节点跳出。可见，本实施例通过分析得到跳出的节点信息，在节点上进行任务的执行时，根据第二节点的操作数参数的获取状态的方式判断是否继续进行数据的筛选，此时，确保了任务执行的准确性，保证了数据筛选准确，此时不需要针对每一个父节点进行第二节点的操作数参数的获取状态的判断，减少了时间，提高了数据筛选的效率。

基于上述技术方案，本实施例根据目标数据表达式得到与DAG调度结构对应的各个节点参数，然后利用各个节点参数调用DAG调度结构，其中，DAG调度结构是包括预设数目的父节点，父节点的每个子节点用于接收节点参数，用以实现数据筛选，因此，本申请可以通过一个DAG调度结构来满足不同的目标数据表达式的数据筛选任务，利用DAG调度结构提高数据筛选的并行度，同时降低了管理成本，提高了数据筛选的效率。

在一种可实现的实施方式中，为了并行处理的效率，本实施例中，若当前的运算符参数对应的运算符与父节点的运算符参数对应的运算符一致时，本次不再进行计算，将对应的操作数合并到父节点，在保证结构不变的情况下，通过延迟处理的操作，采用并行处理，在实现多元运算的同时，提高了数据筛选的效率。具体请参考图5，图5为本申请实施例提供的一种数据筛选方法的流程示意图，包括：

S201、接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数。

其中，节点参数包括操作数参数和运算符参数。

S202、根据各个节点参数调用DAG调度结构。

其中，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数。

S203、若目标父节点的第二节点获得操作数参数，则判断目标父节点的运算符参数与目标父节点的父节点的运算符参数是否相同。

在可实现的一种实施例中，在步骤S203之前，还可以包括：判断目标父节点的第二节点是否获得操作数参数。若目标父节点的第二节点未获得操作数参数，则选择根节点跳出，获取到目标数据。若目标父节点的第二节点获得操作数参数，则判断目标父节点的运算符参数与目标父节点的父节点的运算符参数是否相同。

本步骤的目的是为了合并处理具有共同运算符参数的运算，例如，(a₂∪a₁)∩b∩c，需要五个节点设备执行数据筛选操作，包括一个父节点，接收运算符参数∩，父节点包括第一子节点和叶子节点，叶子节点接收的是c，第一子节点接收的是∩，第一子节点具有两个叶子节点，其中，第一个叶子节点接收(a₂∪a₁)，第二个叶子节点接收b，可知，此时的任务调度过程是两个叶子节点执行操作数参数任务，然后第一子节点执行运算符参数的任务后，叶子节点执行完成操作数参数任务后，叶子节点和第一子节点将数据传输至父节点，父节点执行运算符参数任务，得到目标数据；然而，通过本实施例后，处理过程进行了延时处理，简单来说，一个父节点包括三个叶子节点，三个叶子节点并行执行完成对应的操作数参数任务后，将对应的数据发送至主节点，主节点完成运算符参数任务，可见，提高了数据处理的并行度，提高数据筛选的效率。

S204、若相同，则将目标父节点的第二节点的操作数参数与目标父节点的父节点的第二节点的操作数参数合并，进行调度处理，直至存在父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

若不同，则选择目标父节点的父节点进行数据运算处理，直至存在父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

若相同，则将目标父节点的第二节点的操作数参数与目标父节点的父节点的第二节点的操作数参数合并。其中，当目标父节点的运算符参数与目标节点的父节点的运算符参数一致时，此时目标父节点的第二节点的操作数参数和目标父节点的父节点的操作数参数进行合并，此时，在保证结构不变的情况下实现了多元运算。当目标数据表达式是(A∪B)∩(C∪D)∪E∩(F∪G)∩(H∪I)，如图6所示，图6为本申请实施例提供的一种任务合并的简单示意图，得到的简化的DAG调度结构如图6左所示，当存在操作数参数相同，则进行合并，变成如图6右所示，任务进行延时处理，实现了多元运算，并且并行处理数据，提高数据筛选的效率。

基于上述技术方案，本实施例通过可以引入延迟处理的操作，在当前的运算符参数对应的运算符与父节点的运算符参数对应的运算符一致时，本次不再进行计算，将对应的操作数合并到父节点，此时，在保证结构不变的情况下，实现了多元运算，采用并行处理，提高了处理的效率。

在一种可实现的实施例中，在调度器完成调度处理后，记录调用DAG调度结构的筛选结果，筛选结果包括筛选成功次数、筛选失败次数、筛选失败对应的信息。进一步的，可以将筛选结果显示在显示屏幕上，界面中可以采用表格的形式来显示筛选结果，以方便用户获取DAG调度过程中的运行概况。在表格中可以用关键词的形式显示，当光标移动在目标区域中，则显示具体的任务信息或者失败原因。在进行多元运算的过程中，调用同一个DAG调度结构，降低了管理成本。不同多元运算，在任务调度时，调用同一个DAG调度结构，大大降低了管理成本。以调度器airflow为例，记录数据筛选的筛选成功次数374次，筛选失败次数54次。请参考图7，图7为本申请实施例提供的一种数据筛选记录的显示示意图。单击筛选失败次数的54次对应的区域，可以在显示屏幕显示筛选失败对应的信息，可以是失败的Dag实例列表，其中，点击任意列表项，还可以看到失败的具体任务和原因。

在另一种可实现的实施例中，可以首先判断目标数据表达式的复杂度是否小于DAG调度结构的复杂度；若目标数据表达式的复杂度小于DAG调度结构的复杂度，则根据各个节点参数调用DAG调度结构。可以理解的是，DAG调度结构是预设的结构，只有小于DAG调度结构的复杂度的目标数据表达式才能够应用该DAG调度结构，得到完整的目标数据。但是，当目标数据表达式的复杂度大于DAG调度结构的复杂度，此时，当调用DAG调度结构时，不能够完成完整的数据的筛选，此时得到的结果是不完整的，进一步的，可以叠加多个DAG调度结构来进行数据的筛选，此时，以两个或者多个DAG调度结构实现数据的筛选。

在另一种可实现的实施例中，在完成数据筛选后，还可以与其他的任务共同形成一个新的，DAG结构，此时选择根节点跳出后，得到目标数据，然后再执行DAG结构中的任务操作。其中，针对自定义人群属性表达式，其他任务可以是获取人群的声纹信息或者照片或者指纹信息；针对自定义物品属性表达式，其他任务可以是获取物品的照片或者物品的二维码信息或者物品的条形码信息。

请参考图8，图8为本申请实施例提供的一种数据筛选方法的流程示意图，该数据筛选方法可以包括以下步骤：

S301、接收到满足一个或者多个筛选条件的目标数据的请求信息，根据请求信息得到目标数据表达式。

在本实施例中，业务服务器接收到满足一个或者多个筛选条件的目标数据的请求信息。本实施例不对业务服务器进行限定，只要是能够实现本实施例的目的即可。目标数据表达式是基于交集并集差集与筛选条件得到的表达式。

S302、对目标数据表达式进行解析，获取二叉树结构，并对二叉树结构进行树形编码，以便获取各个节点参数。

其中，节点参数包括操作数参数和运算符参数，二叉树结构的父节点包括第一节点和第二节点，且第二节点是叶子节点的结构；第一节点有子节点时是运算符参数，第一子节点没有子节点时是操作数参数。

在本实施例中，基于二叉树结构即抽象语法树结构，可以针对每个多元计算的目标数据表达式创建对应的二叉树结构，二叉树结构可以直接表示运算过程和数据的依赖关系。为了降低复杂度，二叉树结构预先定义DAG调度结构的子集。对二叉树结构的每个节点使用树形编码，给每个节点生成唯一的编码，同时可以表达节点间的父子关系。由于每个节点都能预先定义对应的DAG调度结构中的节点，因此，将节点参数传递至DAG调度结构对应的节点中，完成计算。参考图9，图9为本申请实施例提供的一种二叉树结构简图，此时，二叉树结构包括四个父节点，与图3的DAG调度结构完全对应，当然，可以根据实际的目标数据表达式建立对应的二叉树结构，具体的本实施例不再进行限定，只要是能够实现本实施例的目的即可。可以理解的是，二叉树结构可以看成是DAG调度结构的子集，只有二叉树结构式DAG调度结构的子集才能够获取完整的目标数据。

针对包含一个父节点的目标数据表达式来说，请参考图10，图10为本申请实施例提供的一种树形编码的结构示意图。每个节点均对应有一个操作数参数，针对图10来说，操作数参数即“t990101010101”：{执行参数}、“t990101010100”：{执行参数}、“t990101010102”：{执行参数}。当然，用户还可以根据实际情况进行设置，本实施例不再进行赘述。

S303、将各个节点参数发送至调度器，以便调度器根据各个节点参数调用与二叉树结构对应的DAG调度结构，输出目标数据。

基于上述技术方案，本实施例根据接收到的满足一个或者多个筛选条件的目标数据的请求信息得到目标数据表达式并进行解析，获取二叉树结构，并对二叉树结构进行树形编码，以便获取各个节点参数，然后以节点参数作为数据筛选请求发送至调度器，以便通过一个DAG调度结构实现针对不同的目标数据表达式的数据筛选，利用DAG调度结构提高数据筛选的并行度，同时降低了管理成本的，提高了数据筛选的效率。

在一种可实现的数据筛选方法的实施例中，目标数据表达式是满足一个或者多个筛选条件的自定义人群属性表达式。进一步的，筛选条件包括基础属性范围、人口属性范围、房产信息属性范围中的一个或者多个。

在本申请提供的一个具体的实施例中，以自定义人群属性为例，在客户端设备上可以进行标签的选择即满足一个或者多个筛选条件。例如，确定基础属性中的人生阶段的条件，可以选择上班族和自由职业或者可以是学生，进而针对人生阶段选择并集或者交集或者差集。确定属性间的运算，可以是并集或者交集或者差集。再确定基础属性中的常住地的条件，可以选择河北省、上海市，可以选择并集或者交集或者差集。确定与下一个属性间的运算，可以是并集或者交集或者差集。其次，确定人口属性中的年龄(连续)的条件，可以选择18-25、25-30，可以选择并集或者交集或者差集。确定与下一个属性间的运算，可以是并集或者交集或者差集。最后，确定房产信息属性中的居住社区房价等级的条件，可以选择高或中或低，可以选择并集或者交集或者差集，此时完成确定筛选条件的操作，以便在根据筛选的条件获取自定义人群表达式。

下面通过一个具体的应用场景实施例进行描述，DMP自定义人群，本质上生成多元运算表达式并计算相应的结果。针对自定义人群属性信息进行数据筛选，如图11，图11为本申请实施例提供的一种自定义人群的数据筛选的界面示意图，可知，用户在客户端设备的用户交互界面上根据显示的数据属性包括：基础属性、人口属性、房产信息属性；其中，基础属性包括人生阶段和常住地，当然也可以包括其他的属性信息；人口属性包括年龄(连续)，也可以包括性别；房产信息属性包括居住社区房价等级。可以理解的是，在针对每个数据属性进行选择时可以选择一个或者多个参数，进而在本数据属性中多种参数可以设置交集或并集或差集，进而与下一个数据属性设置交集或并集或差集，同时选择该下一个数据属性的一个或者多个参数，直至设置完成所有的筛选条件。根据图12所示，图12为本申请实施例提供的自定义人群数据筛选过程的结构示意图，客户端设备选择了满足多个筛选条件的目标数据，进一步可以通过请求信息触发单元发送请求信息至业务服务器，业务服务器接收到请求信息后，得到目标数据表达式，(A1∪A2)∩B1∪C2∩(D1∪D3)，业务服务器对目标数据表达式进行解析，得到二叉树结构，对二叉树结构进行树形编码，得到各节点参数，以各节点参数作为请求发送至调度器，以便调度器调用DAG调度结构，在根据DAG调度结构进行数据筛选的过程中，通过父节点的一个结构分支判断是否选择根节点跳出，最终得到目标数据。

请参考图13，图13为本申请实施例提供的一种数据筛选装置的组成结构示意图，包括：

节点参数获取模块401，用于调度器接收到业务服务器解析满足预设条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，节点参数包括操作数参数和运算符参数；

DAG调度结构调用模块402，用于根据各个节点参数调用DAG调度结构，DAG调度结构包括预设数目的父节点，父节点包括第一节点、第二节点，第二节点是叶子节点，当第一节点有子节点时用于接收运算符参数，当第一节点没有子节点时用于接收操作数参数，第二节点用于接收操作数参数；

目标数据获取模块403，用于根据目标父节点的第二节点的操作数参数的获取状态，进行数据运算处理，以便选择根节点跳出，获取目标数据。

可选的，目标数据获取模块403，包括：

第一目标数据获取单元，用于若目标父节点的第二节点获得操作数参数，则选择目标父节点的父节点进行调度处理，直至存在父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

可选的，第一目标数据获取单元，包括：

判断子单元，用于若目标父节点的第二节点获得操作数参数，则判断目标父节点的运算符参数与目标父节点的父节点的运算符参数是否相同；

调度处理子单元，用于若相同，则将目标父节点的第二节点的操作数参数与目标父节点的父节点的第二节点的操作数参数合并，进行调度处理。

可选的，目标数据获取模块403，包括：

第二目标数据获取单元，用于若目标父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

可选的，数据筛选装置，还包括：

记录模块，用于记录调用DAG调度结构的筛选结果，筛选结果包括筛选成功次数、筛选失败次数、筛选失败对应的信息。

可选的，DAG调度结构调用模块，包括：

判断单元，用于判断目标数据表达式的复杂度是否小于DAG调度结构的复杂度；

调用单元，用于若目标数据表达式的复杂度小于DAG调度结构的复杂度，则根据各个节点参数调用DAG调度结构。

请参考图14，图14为本申请实施例提供的一种数据筛选装置的组成结构示意图，包括：

目标数据表达式获取模块501，用于业务服务器获取满足预设条件的数据的请求信息，根据请求信息得到目标数据表达式；

解析与编码模块502，用于对目标数据表达式进行解析，获取二叉树结构，并对二叉树结构进行树形编码，以便获取各个节点参数；其中，节点参数包括操作数参数和运算符参数，二叉树结构的父节点包括第一节点和第二节点，且第二节点是叶子节点的结构；第一节点有子节点时是运算符参数，第一子节点没有子节点时是操作数参数；

发送模块503，用于将各个节点参数发送至调度器，以便调度器根据各个节点参数调用与二叉树结构对应的DAG调度结构，输出目标数据。

本申请还提供了一种计算机设备，该计算机设备可以包括处理器和存储器。其中，计算机设备可以是调度器也可以是业务服务器。可以是图15所示的调度器，还可以是图16提供的业务服务器。

图15为本申请实施例提供的一种调度器的结构示意图。该调度器12，具体可以包括：至少一个处理器121、至少一个存储器122、电源123、通信接口124、输入输出接口125和通信总线126。其中，存储器122用于存储计算机程序，计算机程序由处理器121加载并执行，以实现前述任一实施例公开的由调度器执行的数据筛选方法中的相关步骤。

本实施例中，电源123用于为调度器12上的各硬件设备提供工作电压；通信接口124能够为调度器12创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口125，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。

另外，存储器122作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源包括操作系统1221、计算机程序1222及数据1223等，存储方式可以是短暂存储或者永久存储。

其中，操作系统1221用于管理与控制调度器12上的各硬件设备以及计算机程序1222，以实现处理器121对存储器122中海量数据1223的运算与处理，其可以是WindowsServer、Netware、Unix、Linux等。计算机程序1222除了包括能够用于完成前述任一实施例公开的由调度器执行的数据筛选方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。

图16为本申请实施例提供的一种业务服务器的结构示意图，该业务服务器11包括处理器111和存储器112。

其中，处理器111可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器111可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器111也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。存储器112可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器112还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器112至少用于存储以下计算机程序1122，其中，该计算机程序被处理器111加载并执行之后，能够实现前述任一实施例公开的由终端侧执行的数据筛选方法中的相关步骤。另外，存储器112所存储的资源还可以包括操作系统1121和数据1123等，存储方式可以是短暂存储或者永久存储。其中，操作系统1121可以包括Windows、Unix、Linux等。本领域技术人员可以理解，图16中示出的结构并不构成对业务服务器11的限定，可以包括比图示更多或更少的组件。

进一步的，该业务服务器还可以包括：电源113、通信接口114、输入输出接口115和通信总线116。

本申请实施例还公开了一种计算机存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令被处理器加载并执行时，实现前述任一实施例公开的数据筛选方法步骤。

需要指出的是，上述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

以上对本申请所提供的一种数据筛选方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种数据筛选方法，其特征在于，包括：

接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，所述节点参数包括操作数参数和运算符参数；

根据各个所述节点参数调用所述DAG调度结构，所述DAG调度结构包括预设数目的父节点，所述父节点包括第一节点、第二节点，所述第二节点是叶子节点，当所述第一节点有子节点时用于接收所述运算符参数，当所述第一节点没有子节点时用于接收所述操作数参数，所述第二节点用于接收所述操作数参数；

根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据，其中，若目标父节点的第二节点获得操作数参数，则选择目标父节点的父节点进行调度处理，若目标父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

2.根据权利要求1所述的数据筛选方法，其特征在于，所述根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据，包括：

若所述目标父节点的第二节点获得所述操作数参数，则选择所述目标父节点的父节点进行调度处理，直至存在父节点的第二节点未获得操作数参数，则选择所述根节点跳出，获取所述目标数据。

3.根据权利要求2所述的数据筛选方法，其特征在于，所述若所述目标父节点的第二节点获得所述操作数参数，则选择所述目标父节点的父节点进行调度处理，包括：

若所述目标父节点的第二节点获得所述操作数参数，则判断所述目标父节点的运算符参数与所述目标父节点的父节点的运算符参数是否相同；

若相同，则将所述目标父节点的第二节点的操作数参数与目标父节点的父节点的第二节点的操作数参数合并，进行调度处理。

4.根据权利要求1所述的数据筛选方法，其特征在于，所述根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据之后，还包括：

记录调用所述DAG调度结构的筛选结果，所述筛选结果包括筛选成功次数、筛选失败次数、筛选失败对应的信息。

5.根据权利要求1所述的数据筛选方法，其特征在于，所述目标数据表达式是满足一个或者多个所述筛选条件的自定义人群属性表达式。

6.根据权利要求5所述的数据筛选方法，其特征在于，所述筛选条件包括基础属性范围、人口属性范围、房产信息属性范围中的一个或者多个。

7.根据权利要求1至6任一项所述的数据筛选方法，其特征在于，根据各个所述节点参数调用所述DAG调度结构，包括：

判断所述目标数据表达式的复杂度是否小于所述DAG调度结构的复杂度；

若所述目标数据表达式的复杂度小于所述DAG调度结构的复杂度，则根据各个所述节点参数调用所述DAG调度结构。

8.一种数据筛选方法，其特征在于，包括：

接收到满足一个或者多个筛选条件的目标数据的请求信息，根据所述请求信息得到目标数据表达式；

对所述目标数据表达式进行解析，获取二叉树结构，并对所述二叉树结构进行树形编码，以便获取各个节点参数；其中，所述节点参数包括操作数参数和运算符参数，所述二叉树结构的父节点包括第一节点和第二节点，且所述第二节点是叶子节点的结构；所述第一节点有子节点时是所述运算符参数，所述第一节点没有子节点时是所述操作数参数；

将各个所述节点参数发送至调度器，以便所述调度器根据各个所述节点参数调用与所述二叉树结构对应的DAG调度结构，输出目标数据。

9.根据权利要求8所述的数据筛选方法，其特征在于，所述目标数据表达式是满足一个或者多个所述筛选条件的自定义人群属性表达式。

10.根据权利要求9所述的数据筛选方法，其特征在于，所述筛选条件包括基础属性范围、人口属性范围、房产信息属性范围中的一个或者多个。

11.一种数据筛选装置，其特征在于，包括：

节点参数获取模块，用于接收到业务服务器解析满足一个或者多个筛选条件的目标数据表达式得到的与DAG调度结构对应的各个节点参数，其中，所述节点参数包括操作数参数和运算符参数；

DAG调度结构调用模块，用于根据各个所述节点参数调用所述DAG调度结构，所述DAG调度结构包括预设数目的父节点，所述父节点包括第一节点、第二节点，所述第二节点是叶子节点，当所述第一节点有子节点时用于接收所述运算符参数，当所述第一节点没有子节点时用于接收所述操作数参数，所述第二节点用于接收所述操作数参数；

目标数据获取模块，用于根据目标父节点的第二节点的操作数参数的获取状态，进行调度处理，以便选择根节点跳出，获取目标数据，其中，若目标父节点的第二节点获得操作数参数，则选择目标父节点的父节点进行调度处理，若目标父节点的第二节点未获得操作数参数，则选择根节点跳出，获取目标数据。

12.一种数据筛选装置，其特征在于，包括：

目标数据表达式获取模块，用于接收到满足一个或者多个筛选条件的目标数据的请求信息，根据所述请求信息得到目标数据表达式；

解析与编码模块，用于对所述目标数据表达式进行解析，获取二叉树结构，并对所述二叉树结构进行树形编码，以便获取各个节点参数；其中，所述节点参数包括操作数参数和运算符参数，所述二叉树结构的父节点包括第一节点和第二节点，且所述第二节点是叶子节点的结构；所述第一节点有子节点时是所述运算符参数，所述第一节点没有子节点时是所述操作数参数；

发送模块，用于将各个所述节点参数发送至调度器，以便所述调度器根据各个所述节点参数调用与所述二叉树结构对应的DAG调度结构，输出目标数据。

Images