CN112949172A - 一种数据处理方法、装置、机器可读介质及设备 - Google Patents

Abstract

本发明公开了一种数据处理方法，包括：确定目标技战法；获取所述目标技战法对应的依赖树；对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；对所述逻辑计划进行优化，得到对应的物理计划；利用流式计算引擎运行所述物理计划，得到计算结果。本发明利用流式计算技术，极大提高了公安场景下海量数据自定义逻辑计算的效率，提高了系统的可靠性和灵活性，同时，用户不需等待所有数据都计算完，就能看到已计算完成部分的结果，提高了系统易用性。

Description

一种数据处理方法、装置、机器可读介质及设备

技术领域

本发明涉及人工智能领域，具体涉及一种数据处理方法、装置、机器可读介质及设备。

背景技术

技战法是战术情报层面的研判方法，是情报攻歼系统的内核。随着非传统安全威胁的不断升级，中国的情报界正在经历一场方兴未艾的技战法创新活动。

当前的技战法系统涉及的数据处理逻辑是固定的，即对于每个技战法，数据处理的流程是固定的，业务人员在使用过程中只能修改流程中固定部分的参数。这种方式缺少灵活性，使得业务人员很难利用这类系统进行战法上的创新。

如果有一种可以让业务人员在可视化面板上进行拖拽式建模，实现对于不同对象、时空、关系、数据规则的定义与流转分析，自定义出各类技战法的系统，那可以大大提高技战法创新的效率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据处理方法、装置、机器可读介质及设备，用于解决现有技术存在的问题。

为实现上述目的及其他相关目的，本发明提供一种数据处理方法，包括：

确定目标技战法；

获取所述目标技战法对应的依赖树；

对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

对所述逻辑计划进行优化，得到对应的物理计划；

利用流式计算引擎运行所述物理计划，得到计算结果。

可选地，所述确定目标技战法，包括：

从预存于技战法库中的多个技战法中选择一个作为目标技战法，或通过自定义的方式确定目标技战法。

可选地，所述通过自定义的方式确定目标技战法，包括：

获取生成所述目标技战法所需的算子；

确定各个算子之间的先后依赖关系；

基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

可选地，所述算子包括：

对象选择类算子，用于根据第一选择条件对对象数据进行选择；

输出类算子，用于确定用于构建所述依赖树所需的算子的保存方式及保存位置。

可选地，所述第一选择条件包括以下至少之一：对象选择、标签选择、时间选择、地点选择。

可选地，所述算子还包括规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

可选地，在规则类算子对所依赖的算子输出的数据进行筛选时，通过第二选择条件对数据进行筛选，所述第二选择条件包括以下至少之一：过滤、分组统计、规则判断、求交集、求差集、求并集。

可选地，所述算子包括至少一个节点；所述对所述依赖树进行语义解析，包括对所述依赖树进行词法分析、语法分析、语义分析；

所述词法分析用于标识所述依赖树中各算子的输入节点与输出节点；

所述语法分析用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述前一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全；

所述语义分析用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。

可选地，所述对所述逻辑计划进行优化包括流程优化，所述流程优化包括在所述规则类算子对所依赖的算子输出的数据进行筛选时，改变第二选择条件的执行顺序。

可选地，所述对所述逻辑计划进行优化还包括数据倾斜优化；所述数据倾斜自动优化包括：

获取经规则类算子筛选后的数据的数据特征；

将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；

若所述数据倾斜的概率大于设定阈值，则在数据前随机添加前缀，对数据进行离散化。

可选地，所述数据特征包括：数据主键的分布情况、数据主键的相似度、数据的数据类型。

为实现上述目的及其他相关目的，本发明提供一种数据处理装置，包括：

技战法获取模块，用于确定目标技战法；

依赖树获取模块，用于获取所述目标技战法对应的依赖树；

解析模块，用于对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

优化模块，用于对所述逻辑计划进行优化，得到对应的物理计划；

计算模块，用于利用流式计算引擎运行所述物理计划，得到计算结果。

可选地，所述技战法获取模块包括用于生成自定义技战法的自定义技战法生成模块，所述技战法生成模块包括：

算子获取子模块，用于获取生成所述目标技战法所需的算子；

关系确定子模块，用于确定各个算子之间的先后依赖关系；

依赖树构建子模块，用于基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

可选地，所述算子包括：

对象选择类算子，用于根据第一选择条件对对象数据进行选择；

输出类算子，用于确定用于构建所述依赖树所需的算子的保存方式及保存位置。

可选地，所述算子还包括规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

可选地，所述算子包括至少一个节点；所述解析模块包括词法分析子模块、语法分析子模块、语义分析子模块；

所述词法分析子模块用于标识所述依赖树中各算子中的输入节点与输出节点；

所述语法分析子模块用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述上一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全；

所述语义分析子模块用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。

可选地，所述优化模块包括流程优化子模块和数据倾斜优化子模块：

流程优化子模块，用于在所述规则类算子对所述第一数据表或所述第二数据表进行筛选时，改变筛选方法的执行顺序；

所述数据倾斜优化子模块包括：

数据特征获取单元，用于获取第二数据表中数据的数据特征；

倾斜概率预测单元，用于将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；

离散单元，用于在数据倾斜的概率大于设定阈值时，在数据前随机添加前缀，对数据进行离散化。

为实现上述目的及其他相关目的，本发明还提供一种电子设备，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行前述的一个或多个所述的方法。

为实现上述目的及其他相关目的，本发明还提供一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述的一个或多个所述的方法。

如上所述，本发明提供的一种数据处理方法、装置、机器可读介质及设备，具有以下有益效果：

本发明的一种数据处理方法，包括：确定目标技战法；获取所述目标技战法对应的依赖树；对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；对所述逻辑计划进行优化，得到对应的物理计划；利用流式计算引擎运行所述物理计划，得到计算结果。本发明利用流式计算技术，极大提高了公安场景下海量数据自定义逻辑计算的效率，提高了系统的可靠性和灵活性，同时，用户不需等待所有数据都计算完，就能看到已计算完成部分的结果，提高了系统易用性。

附图说明

图1为本发明一实施例一种数据处理方法的流程图；

图2为本发明一实施例确定目标技战法的流程图；

图3为本发明一实施例数据倾斜自动优化的流程图；

图4为本发明一实施例一种数据处理装置的硬件结构示意图；

图5为本发明一实施例技战法生成模块的硬件结构示意图；

图6为本发明一实施例数据倾斜优化子模块的硬件结构示意图；

图7为本发明一实施例中终端设备的硬件结构示意图；

图8为本发明一实施例中终端设备的硬件结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，本申请实施例提供一种数据处理方法，包括：

S11确定目标技战法；

S12获取所述目标技战法对应的依赖树；

S13对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

S14对所述逻辑计划进行优化，得到对应的物理计划；

S15利用流式计算引擎运行所述物理计划，得到计算结果。

本发明利用流式计算技术，极大提高了公安场景下海量数据自定义逻辑计算的效率，提高了系统的可靠性和灵活性，同时，用户不需等待所有数据都计算完，就能看到已计算完成部分的结果，提高了系统易用性。

在一些实施例中，所述确定目标技战法，包括：

从预存于技战法库中的多个技战法中选择一个作为目标技战法，或通过自定义的方式确定目标技战法。其中，技战法库中的技战法可以是通用技战法。

具体地，如图2所示，所述通过自定义的方式确定目标技战法，包括：

S21获取生成所述目标技战法所需的算子；

在具体获取生成技战法所需的算子过程中，可以在建立技战法任务的可视化面板上将所需要的算子拖拽到任务编辑界面中。在定义技战法的过程中，接收在任务编辑界面中对算子(算子被封装成一个图形化组件)的操作，其中，所述算子用于生成技战法，每个算子分别用于实现技战法生成过程中所使用的功能；

用户在任务编辑界面中对算子的操作包括通过计算机的鼠标输入实现拖拽、点击操作或通过摄像头捕捉用户手势实现的拖拽操作。

算子可以包括多个，并且每个算子的功能可以是一个完整的功能，用户在选择这些算子的时候，可以直接使用从而提高使用的便利性。也可以根据实际需要对各个算子进行调整后再使用，从而通过将不同的算子进行不同的组合，实现不同的功能，从而提高了操作的灵活性。

S22确定各个算子之间的先后依赖关系；S23基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

在一些实施例中，所述算子包括：对象选择类算子和输出类算子。

所述对象选择类算子用于根据第一选择条件对对象数据进行选择，经过第一选择条件对对象数据进行选择后，可以得到与所述目标技战法对应的数据统计结果。

其中，所述第一选择条件包含对象选择(即选择研判对象是人、重点人、实有人口、车辆、房屋还是案件等)，标签选择(选择符合指定标签的对象，例如，老人、年轻人、男性、女性)，时间选择(选择指定时间出没的对象)，地点选择(选择指定地点出没的对象)。

所述输出类算子用于确定构建所述依赖树所需的算子的保存方式及保存位置，即用于生成技战法的算子可以持久化保存在数据库中，或保存在现有表或临时表中。

在一些实施例中，所述算子还可以包括：规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

可以理解为，一个技战法包括的算子包括以下四种情况：

情况一：对象选择类算子、规则类算子、输出类算子，规则类算子依赖对象选择类算子。

情况二：对象选择类算子、技战法算子、输出类算子，技战法算子依赖对象选择类算子。

情况三：对象选择类算子、规则类算子、技战法算子、输出类算子，规则类算子依赖对象选择类算子，技战法算子依赖规则类算子。

情况四：对象选择类算子、技战法算子、规则类算子、输出类算子，技战法算子依赖对象选择类算子，规则类算子依赖技战法算子。

在情况一中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用规则类算子对第一数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况二中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用技战法算子对第一数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况三中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用规则类算子对第一数据表进行筛选，得到第二数据表，再利用技战法算子对第二数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况四中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用技战法算子规则类算子对第一数据表进行筛选，得到第二数据表，再利用规则类算子对第二数据表进行筛选，得到与目标技战法对应的数据统计结果。

需要说明的是，在规则类算子对所依赖的算子输出的数据进行筛选时，通过第二选择条件对数据进行筛选，所述第二选择条件包括以下至少之一：过滤、分组统计、规则判断、求交集、求差集、求并集。

其中，过滤、分组统计、规则判断筛选的对象是一个数据表，而求交集、求差集、求并集筛选的对象是两个及以上的数据表。

过滤是根据过滤条件对第一数据表中的数据进行筛选，例如，小于20岁。

分组统计是根据分组条件对第一数据表中的数据进行筛选，例如，将一个班的同学分成男生组与女生组。

规则判断是根据一定的规则对第一数据表中的数据进行筛选，例如，某一科考试50～80分的同学。

求交集、求差集、求并集都是根据某个条件来对数据进行筛选，得到最终的与目标技战法对应的数据统计结果。

一般来说，数据统计结果是一个二维数据表，包括人员ID字段，人员类型字段。

在一些实施例中，所述算子包括至少一个节点；例如，可以包括输入节点，筛选节点，运算节点，临时存储节点，输出节点等。其中，输入节点接收上一个节点的输出；筛选节点，用于根据筛选条件对数据表中的数据进行筛选；临时存储节点，用于临时存储构成技战法的算子；输出节点，用于将该输出节点所在的算子的输出数据输入到下一个算子的输入节点。

在一些实施例中，所述对所述依赖树进行语义解析，包括对所述依赖树进行词法分析、语法分析、语义分析；

所述词法分析用于标识所述依赖树中各算子的输入节点与输出节点；

所述语法分析用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述前一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全。如技战法算子的输入应当包含对象id、对象标签(比如，性别)、对象属性(比如，穿着、打扮等)和对象流水(在一定时间段内出现在什么地方，干了什么事情等)，语法分析根据上下文的词法进行判断，若从上一个算子的输出节点传递的数据有缺少，会通过关联的方式将缺少的信息补全。

所述语义分析用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。其中，包括输入数据、输出数据的内容与类型等等。例如，后一个节点需要输入的是轨迹数据，而前一个节点输出的是人员名单，那么需要对前一个节点的输出进行匹配，得到后一个节点的输入。

在一些实施例中，所述对所述逻辑计划进行优化包括流程优化，所述流程优化包括在所述规则类算子对所依赖的算子输出的数据进行筛选时，改变第二选择条件的执行顺序。例如，用户定义先分组统计再进行过滤，在执行时会被优化为先过滤再分组统计；又例如，如果是小表交大表，会将小表自动进行广播，然后与大表进行求交。一般来说，小表指的是数据在1万左右，而大表一般表示数据在千万甚至上亿。

在一些实施例中，所述对所述逻辑计划进行优化还包括数据倾斜优化；如图3所示，所述数据倾斜自动优化包括：

S31获取经规则类算子筛选后的数据的数据特征；

S32将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；

S33若所述数据倾斜的概率大于设定阈值，则在数据前随机添加前缀，对数据进行离散化。

当然，为了减少计算量，可以对数据表进行采集，具体可以利用水塘抽样的方法对输入数据进行采样。然后得到数据的数据特征，将数据特征输入到基于历史数据训练得出的数据倾斜检测模型中，得到发生数据倾斜的概率；其中，数据倾斜检测模型包括但不限于逻辑回归模型、深度神经网络模型、GBDT树模型等等。采样数据的特征包括数据主键的分布情况、主键的相似度、主键的类型等。

需要说明的是，根据数据主键的分布来判断是否会发生数据倾斜，可以理解为将数据表中的数据按照一定规则进行分组，得到多个分组，将这些分组数据的主键输入到数据倾斜概率检测模型中，得出发生数据倾斜的概率。一般认为，分组中数据量大的可能发生数据倾斜的概率比较大。例如，若一个班级中，男生的数量远远大于女生的数量，因此，男生这个分组很可能发生数据倾斜。

根据主键的相似度来判断是否会发生数据倾斜，可以理解为，一般来说，主键相似度越大的数据越容易被分到同一个节点中。若这个节点中的数据量过大，则认为可能发生数据倾斜。

根据主键的类型来判断是否会发生数据倾斜，可以理解为，某个类型的数据量过大，可能会发生数据倾斜。

若发生数据倾斜的概率没有超过设定阈值，则直接执行无需处理。若概率超过设定阈值，在执行时会自动通过添加随机前缀的方式对主键进行进一步的离散化，待该节点计算完成之后再进行结果的合并。例如，通过在数据的前端随机加前缀的方式来改变主键之间的相似度，从而避免因主键数据相似度过高被分配到同一个节点。例如，数据A与数据B比较相似，则通过在数据A的前面随机添加一个前缀，例如，00101A，在数据B的前面随机添加一个前，例如01001010B，则数据A与数据B明显不同，那么在进行数据分配的时候，数据A和数据B很可能不会被分配到同一个节点。在进行大数据运算时，通过随机添加前缀的方式，可以减小将相似数据分配到时一个节点的机率，减小发生数据倾斜的概率。根据数据主键的分布以及主键的类型判断是否会发生数据倾斜的概率，在判断出会发生数据倾斜后，可以通过与主键相似度的方式来离散主键的分布，从而减少发生数据倾斜的概率。。

在一些实施例中，在对逻辑计划进行优化后，得到物理计划，之后可以将物理计划推送到流式计算引擎(包括但不限于Spark Streaming，Flink，Storm等)中进行计算，得到数据统计结果。在进行流式计算的过程中，可以实时对计算进度和数据统计结果进行推送。

当然在得到数据统计结果后，可以基于数据透视表和数据报表的方式进行结果验证。通过人工的方式验证数据统计结果是否符合目标技战法的需求。若验证通过后，可以将目标技战法存储到技战法库中。

应该理解，上述各个实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

如图4所示，本申请实施例提供一种数据处理装置，包括：

技战法获取模块41，用于确定目标技战法；

依赖树获取模块42，用于获取所述目标技战法对应的依赖树；

解析模块43，用于对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

优化模块44，用于对所述逻辑计划进行优化，得到对应的物理计划；

计算模块45，用于利用流式计算引擎运行所述物理计划，得到计算结果。

本发明利用流式计算技术，极大提高了公安场景下海量数据自定义逻辑计算的效率，提高了系统的可靠性和灵活性，同时，用户不需等待所有数据都计算完，就能看到已计算完成部分的结果，提高了系统易用性。

在一些实施例中，所述确定目标技战法，包括：

从预存于技战法库中的多个技战法中选择一个作为目标技战法，或通过自定义的方式确定目标技战法。其中，技战法库中的技战法可以是通用技战法。

在一些实施例中，所述技战法获取模块包括用于生成自定义技战法的自定义技战法生成模块，如图5所示，所述技战法生成模块包括：

算子获取子模块51，用于获取生成所述目标技战法所需的算子；

在具体获取生成技战法所需的算子过程中，可以在建立技战法任务的可视化面板上将所需要的算子拖拽到任务编辑界面中。在定义技战法的过程中，接收在任务编辑界面中对算子(算子被封装成一个图形化组件)的操作，其中，所述算子用于生成技战法，每个算子分别用于实现技战法生成过程中所使用的功能；

用户在任务编辑界面中对算子的操作包括通过计算机的鼠标输入实现拖拽、点击操作或通过摄像头捕捉用户手势实现的拖拽操作。

算子可以包括多个，并且每个算子的功能可以是一个完整的功能，用户在选择这些算子的时候，可以直接使用从而提高使用的便利性。也可以根据实际需要对各个算子进行调整后再使用，从而通过将不同的算子进行不同的组合，实现不同的功能，从而提高了操作的灵活性。

关系确定子模块52，用于确定各个算子之间的先后依赖关系；

依赖树构建子模块53，用于基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

在一些实施例中，所述算子包括：

对象选择类算子，用于根据第一选择条件对对象数据进行选择；

所述对象选择类算子用于根据第一选择条件对对象数据进行选择，经过第一选择条件对对象数据进行选择后，可以得到与所述目标技战法对应的数据统计结果。

其中，所述第一选择条件包含对象选择(即选择研判对象是人、重点人、实有人口、车辆、房屋还是案件等)，标签选择(选择符合指定标签的对象，例如，老人、年轻人、男性、女性)，时间选择(选择指定时间出没的对象)，地点选择(选择指定地点出没的对象)。

输出类算子，用于用于确定构建所述依赖树所需的算子的保存方式及保存位置。，即用于生成技战法的算子可以持久化保存在数据库中，或保存在现有表或临时表中。

在一些实施例中，所述算子还可以包括：规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

可以理解为，一个技战法包括的算子包括以下四种情况：

情况一：对象选择类算子、规则类算子、输出类算子，规则类算子依赖对象选择类算子。

情况二：对象选择类算子、技战法算子、输出类算子，技战法算子依赖对象选择类算子。

情况三：对象选择类算子、规则类算子、技战法算子、输出类算子，规则类算子依赖对象选择类算子，技战法算子依赖规则类算子。

情况四：对象选择类算子、技战法算子、规则类算子、输出类算子，技战法算子依赖对象选择类算子，规则类算子依赖技战法算子。

在情况一中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用规则类算子对第一数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况二中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用技战法算子对第一数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况三中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用规则类算子对第一数据表进行筛选，得到第二数据表，再利用技战法算子对第二数据表进行筛选，得到与目标技战法对应的数据统计结果。

在情况四中，首先利用对象选择类算子对对象数据进行选择，得到第一数据表，然后利用技战法算子规则类算子对第一数据表进行筛选，得到第二数据表，再利用规则类算子对第二数据表进行筛选，得到与目标技战法对应的数据统计结果。

需要说明的是，在规则类算子对所依赖的算子输出的数据进行筛选时，通过第二选择条件对数据进行筛选，所述第二选择条件包括以下至少之一：过滤、分组统计、规则判断、求交集、求差集、求并集。

其中，过滤、分组统计、规则判断筛选的对象是一个数据表，而求交集、求差集、求并集筛选的对象是两个及以上的数据表。

过滤是根据过滤条件对第一数据表中的数据进行筛选，例如，小于20岁。

分组统计是根据分组条件对第一数据表中的数据进行筛选，例如，将一个班的同学分成男生组与女生组。

规则判断是根据一定的规则对第一数据表中的数据进行筛选，例如，某一科考试50～80分的同学。

求交集、求差集、求并集都是根据某个条件来对数据进行筛选，得到最终的与目标技战法对应的数据统计结果。

一般来说，数据统计结果是一个二维数据表，包括人员ID字段，人员类型字段。

在一些实施例中，所述算子包括至少一个节点；例如，可以包括输入节点，筛选节点，运算节点，临时存储节点，输出节点等。其中，输入节点接收上一个节点的输出；筛选节点，用于根据筛选条件对数据表中的数据进行筛选；临时存储节点，用于临时存储构成技战法的算子；输出节点，用于将该输出节点所在的算子的输出数据输入到下一个算子的输入节点。所述解析模块包括词法分析子模块、语法分析子模块、语义分析子模块；

所述词法分析子模块用于标识所述依赖树中各算子中的输入节点与输出节点；

所述语法分析子模块用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述前一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全。如技战法算子的输入应当包含对象id、对象标签(比如，性别)、对象属性(比如，穿着、打扮等)和对象流水(在一定时间段内出现在什么地方，干了什么事情等)，语法分析根据上下文的词法进行判断，若从上一个算子的输出节点传递的数据有缺少，会通过关联的方式将缺少的信息补全。

所述语义分析子模块用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。其中，包括输入数据、输出数据的内容与类型等等。例如，后一个节点需要输入的是轨迹数据，而前一个节点输出的是人员名单，那么需要对前一个节点的输出进行匹配，得到后一个节点的输入。

可选地，所述优化模块包括流程优化子模块和数据倾斜优化子模块：

流程优化子模块，用于在所述规则类算子对所依赖的算子输出的数据进行筛选时，改变第二选择条件的执行顺序。例如，用户定义先分组统计再进行过滤，在执行时会被优化为先过滤再分组统计；又例如，如果是小表交大表，会将小表自动进行广播，然后与大表进行求交。一般来说，小表指的是数据在1万左右，而大表一般表示数据在千万甚至上亿。

如图6所示，所述数据倾斜优化子模块包括：

数据特征获取单元61，用于获取经规则类算子筛选后的数据的数据特征；

倾斜概率预测单元62，用于将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；

离散单元63，用于在数据倾斜的概率大于设定阈值时，在数据前随机添加前缀，对数据进行离散化。

当然，为了减少计算量，可以对数据表进行采集，具体可以利用水塘抽样的方法对输入数据进行采样。然后得到数据的数据特征，将数据特征输入到基于历史数据训练得出的数据倾斜检测模型中，得到发生数据倾斜的概率；其中，数据倾斜检测模型包括但不限于逻辑回归模型、深度神经网络模型、GBDT树模型等等。采样数据的特征包括数据主键的分布情况、主键的相似度、主键的类型等。

需要说明的是，根据数据主键的分布来判断是否会发生数据倾斜，可以理解为将数据表中的数据按照一定规则进行分组，得到多个分组，将这些分组数据的主键输入到数据倾斜概率检测模型中，得出发生数据倾斜的概率。一般认为，分组中数据量大的可能发生数据倾斜的概率比较大。例如，若一个班级中，男生的数量远远大于女生的数量，因此，男生这个分组很可能发生数据倾斜。

根据主键的相似度来判断是否会发生数据倾斜，可以理解为，一般来说，主键相似度越大的数据越容易被分到同一个节点中。若这个节点中的数据量过大，则认为可能发生数据倾斜。

根据主键的类型来判断是否会发生数据倾斜，可以理解为，某个类型的数据量过大，可能会发生数据倾斜。

若发生数据倾斜的概率没有超过设定阈值，则直接执行无需处理。若概率超过设定阈值，在执行时会自动通过添加随机前缀的方式对主键进行进一步的离散化，待该节点计算完成之后再进行结果的合并。例如，通过在数据的前端随机加前缀的方式来改变主键之间的相似度，从而避免因主键数据相似度过高被分配到同一个节点。例如，数据A与数据B比较相似，则通过在数据A的前面随机添加一个前缀，例如，00101A，在数据B的前面随机添加一个前，例如01001010B，则数据A与数据B明显不同，那么在进行数据分配的时候，数据A和数据B很可能不会被分配到同一个节点。在进行大数据运算时，通过随机添加前缀的方式，可以减小将相似数据分配到时一个节点的机率，减小发生数据倾斜的概率。根据数据主键的分布以及主键的类型判断是否会发生数据倾斜的概率，在判断出会发生数据倾斜后，可以通过与主键相似度的方式来离散主键的分布，从而减少发生数据倾斜的概率。。

在一些实施例中，在对逻辑计划进行优化后，得到物理计划，之后可以将物理计划推送到流式计算引擎(包括但不限于Spark Streaming，Flink，Storm等)中进行计算，得到数据统计结果。在进行流式计算的过程中，可以实时对计算进度和数据统计结果进行推送。

当然在得到数据统计结果后，可以基于数据透视表和数据报表的方式进行结果验证。通过人工的方式验证数据统计结果是否符合目标技战法的需求。若验证通过后，可以将目标技战法存储到技战法库中。

本申请实施例还提供了一种设备，该设备可以包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行图1所述的方法。在实际应用中，该设备可以作为终端设备，也可以作为服务器，终端设备的例子可以包括：智能手机、平板电脑、电子书阅读器、MP3(动态影像专家压缩标准语音层面3，Moving Picture Experts Group Audio Layer III)播放器、MP4(动态影像专家压缩标准语音层面4，Moving Picture Experts Group Audio Layer IV)播放器、膝上型便携计算机、车载电脑、台式计算机、机顶盒、智能电视机、可穿戴设备等等，本申请实施例对于具体的设备不加以限制。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的图1中方法所包含步骤的指令(instructions)。

图7为本申请一实施例提供的终端设备的硬件结构示意图。如图所示，该终端设备可以包括：输入设备1100、第一处理器1101、输出设备1102、第一存储器1103和至少一个通信总线1104。通信总线1104用于实现元件之间的通信连接。第一存储器1103可能包含高速RAM存储器，也可能还包括非易失性存储NVM，例如至少一个磁盘存储器，第一存储器1103中可以存储各种程序，用于完成各种处理功能以及实现本实施例的方法步骤。

可选的，上述第一处理器1101例如可以为中央处理器(Central ProcessingUnit，简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，该第一处理器1101通过有线或无线连接耦合到上述输入设备1100和输出设备1102。

可选的，上述输入设备1100可以包括多种输入设备，例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的，该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等)；可选的，该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等)；可选的，上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口，例如芯片的输入引脚接口或者输入接口等；输出设备1102可以包括显示器、音响等输出设备。

在本实施例中，该终端设备的处理器包括用于执行各设备中各模块的功能，具体功能和技术效果参照上述实施例即可，此处不再赘述。

图8为本申请的一个实施例提供的终端设备的硬件结构示意图。图8是对图7在实现过程中的一个具体的实施例。如图所示，本实施例的终端设备可以包括第二处理器1201以及第二存储器1202。

第二处理器1201执行第二存储器1202所存放的计算机程序代码，实现上述实施例中图1所述方法。

第二存储器1202被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令，例如消息，图片，视频等。第二存储器1202可能包含随机存取存储器(random access memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

可选地，第二处理器1201设置在处理组件1200中。该终端设备还可以包括：通信组件1203，电源组件1204，多媒体组件1205，语音组件1206，输入/输出接口1207和/或传感器组件1208。终端设备具体所包含的组件等依据实际需求设定，本实施例对此不作限定。

处理组件1200通常控制终端设备的整体操作。处理组件1200可以包括一个或多个第二处理器1201来执行指令，以完成上述数据处理方法中的全部或部分步骤。此外，处理组件1200可以包括一个或多个模块，便于处理组件1200和其他组件之间的交互。例如，处理组件1200可以包括多媒体模块，以方便多媒体组件1205和处理组件1200之间的交互。

电源组件1204为终端设备的各种组件提供电力。电源组件1204可以包括电源管理系统，一个或多个电源，及其他与为终端设备生成、管理和分配电力相关联的组件。

多媒体组件1205包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中，显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板，显示屏可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。

语音组件1206被配置为输出和/或输入语音信号。例如，语音组件1206包括一个麦克风(MIC)，当终端设备处于操作模式，如语音识别模式时，麦克风被配置为接收外部语音信号。所接收的语音信号可以被进一步存储在第二存储器1202或经由通信组件1203发送。在一些实施例中，语音组件1206还包括一个扬声器，用于输出语音信号。

输入/输出接口1207为处理组件1200和外围接口模块之间提供接口，上述外围接口模块可以是点击轮，按钮等。这些按钮可包括但不限于：音量按钮、启动按钮和锁定按钮。

传感器组件1208包括一个或多个传感器，用于为终端设备提供各个方面的状态评估。例如，传感器组件1208可以检测到终端设备的打开/关闭状态，组件的相对定位，用户与终端设备接触的存在或不存在。传感器组件1208可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在，包括检测用户与终端设备间的距离。在一些实施例中，该传感器组件1208还可以包括摄像头等。

通信组件1203被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个实施例中，该终端设备中可以包括SIM卡插槽，该SIM卡插槽用于插入SIM卡，使得终端设备可以登录GPRS网络，通过互联网与服务器建立通信。

由上可知，在图8实施例中所涉及的通信组件1203、语音组件1206以及输入/输出接口1207、传感器组件1208均可以作为图7实施例中的输入设备的实现方式。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (19)

1.一种数据处理方法，其特征在于，包括：

确定目标技战法；

获取所述目标技战法对应的依赖树；

对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

对所述逻辑计划进行优化，得到对应的物理计划；

利用流式计算引擎运行所述物理计划，得到计算结果。

2.根据权利要求1所述的数据处理方法，其特征在于，所述确定目标技战法，包括：

从预存于技战法库中的多个技战法中选择一个作为目标技战法，或通过自定义的方式确定目标技战法。

3.根据权利要求2所述的数据处理方法，其特征在于，所述通过自定义的方式确定目标技战法，包括：

获取生成所述目标技战法所需的算子；

确定各个算子之间的先后依赖关系；

基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

4.根据权利要求3所述的数据处理方法，其特征在于，所述算子包括：

对象选择类算子，用于根据第一选择条件对对象数据进行选择；

输出类算子，用于确定用于构建所述依赖树所需的算子的保存方式及保存位置。

5.根据权利要求4所述的数据处理方法，其特征在于，所述第一选择条件包括以下至少之一：对象选择、标签选择、时间选择、地点选择。

6.根据权利要求4所述的数据处理方法，其特征在于，所述算子还包括规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

7.根据权利要求6所述的数据处理方法，其特征在于，在规则类算子对所依赖的算子输出的数据进行筛选时，通过第二选择条件对数据进行筛选，所述第二选择条件包括以下至少之一：过滤、分组统计、规则判断、求交集、求差集、求并集。

8.根据权利要求3所述的数据处理方法，其特征在于，所述算子包括至少一个节点；所述对所述依赖树进行语义解析，包括对所述依赖树进行词法分析、语法分析、语义分析；

所述词法分析用于标识所述依赖树中各算子的输入节点与输出节点；

所述语法分析用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述前一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全；

所述语义分析用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。

9.根据权利要求6所述的数据处理方法，其特征在于，所述对所述逻辑计划进行优化包括流程优化，所述流程优化包括在所述规则类算子对所依赖的算子输出的数据进行筛选时，改变第二选择条件的执行顺序。

10.根据权利要求9所述的数据处理方法，其特征在于，所述对所述逻辑计划进行优化还包括数据倾斜优化；所述数据倾斜自动优化包括：

获取经规则类算子筛选后的数据的数据特征；

将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；若所述数据倾斜的概率大于设定阈值，则在数据前随机添加前缀，对数据进行离散化。

11.根据权利要求10所述的数据处理方法，其特征在于，所述数据特征包括：数据主键的分布情况、数据主键的相似度、数据的数据类型。

12.一种数据处理装置，其特征在于，包括：

技战法获取模块，用于确定目标技战法；

依赖树获取模块，用于获取所述目标技战法对应的依赖树；

解析模块，用于对所述依赖树进行语义解析，得到所述依赖树对应的逻辑计划；

优化模块，用于对所述逻辑计划进行优化，得到对应的物理计划；

计算模块，用于利用流式计算引擎运行所述物理计划，得到计算结果。

13.根据权利要求12所述的数据处理装置，其特征在于，所述技战法获取模块包括用于生成自定义技战法的自定义技战法生成模块，所述技战法生成模块包括：

算子获取子模块，用于获取生成所述目标技战法所需的算子；

关系确定子模块，用于确定各个算子之间的先后依赖关系；

依赖树构建子模块，用于基于所述各个算子之间的先后依赖关系构建依赖树，所述依赖树表示所述目标技战法。

14.根据权利要求13所述的数据处理装置，其特征在于，所述算子包括：

对象选择类算子，用于根据第一选择条件对对象数据进行选择；

输出类算子，用于确定用于构建所述依赖树所需的算子的保存方式及保存位置。

15.根据权利要求14所述的数据处理装置，其特征在于，所述算子还包括规则类算子或/和技战法算子，所述规则类算子用于对所述规则类算子所依赖的算子输出的数据进行筛选，所述技战法算子用于对所述技战法算子所依赖的算子输出的数据进行筛选。

16.根据权利要求13所述的数据处理装置，其特征在于，所述算子包括至少一个节点；所述解析模块包括词法分析子模块、语法分析子模块、语义分析子模块；

所述词法分析子模块用于标识所述依赖树中各算子中的输入节点与输出节点；

所述语法分析子模块用于对前一个算子的输出节点的输出内容与后一个算子的输入节点的输入内容进行词法分析，以判断所述上一个算子传递的数据是否完整，若不完整，则对缺失的数据进行补全；

所述语义分析子模块用于根据后一个节点的输入数据，匹配确定前一个节点的输出数据。

17.根据权利要求16所述的数据处理装置，其特征在于，所述优化模块包括流程优化子模块和数据倾斜优化子模块：

流程优化子模块，用于在所述规则类算子对所述第一数据表或所述第二数据表进行筛选时，改变筛选方法的执行顺序；

所述数据倾斜优化子模块包括：

数据特征获取单元，用于获取第二数据表中数据的数据特征；

倾斜概率预测单元，用于将所述数据特征输入到预先训练好的数据倾斜检测模型中，得到发生数据倾斜的概率；

离散单元，用于在数据倾斜的概率大于设定阈值时，在数据前随机添加前缀，对数据进行离散化。

18.一种电子设备，其特征在于，包括：

一个或多个处理器；和

其上存储有指令的一个或多个机器可读介质，当所述一个或多个处理器执行时，使得所述设备执行如权利要求1-12中一个或多个所述的方法。

19.一个或多个机器可读介质，其特征在于，其上存储有指令，当由一个或多个处理器执行时，使得设备执行如权利要求1-12中一个或多个所述的方法。

Images