CN113282606A - 数据处理方法、装置、存储介质和计算设备 - Google Patents

Abstract

本申请的实施方式提供了一种数据处理方法、装置、存储介质和计算设备。数据处理方法包括：接收待处理数据；基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；其中所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。利用本申请的实施例能够实现灵活高效的数据处理。

Description

数据处理方法、装置、存储介质和计算设备

技术领域

本申请的实施方式涉及信息技术领域，更具体地，本申请的实施方式涉及数据处理方法、装置、存储介质和计算设备。

背景技术

本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

通常，在反垃圾、风险控制、垃圾邮件过滤、有害信息提示等与信息安全相关的应用场景下，需要构建相适应的安全架构，确保信息发布、信息交互等的安全合规。以反垃圾(Anti-spam)技术为例，是以文本识别、图片识别、语音识别等为基础，通过将数据与违规敏感数据库进行比对命中违规内容。反垃圾系统可涉及多种检测策略，例如黑/白名单识别、敏感词识别、小语种识别等，依据不同策略的组合，反垃圾结果也会有所不同，而策略的组合方式主要依赖于对策略的配置方式。目前，大多数反垃圾系统的策略配置方式较为固定，难以灵活调整，并且无法兼顾不同策略之间执行效率的差异，已对反垃圾检测的吞吐量造成不当限制。

发明内容

本申请期望提供一种数据处理方法、装置、存储介质和计算设备，以解决存在的至少一种技术问题。

第一方面，本申请实施例提供一种数据处理方法，包括：

接收待处理数据；

基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

根据本申请实施例的数据处理方法，在所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测之前，所述方法还包括：根据所述待处理数据配置和/或调整所述多个策略以及所述多个策略之间的依赖关系，获得所述有向无环图。

根据本申请实施例的数据处理方法，所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，包括：从一个或多个无依赖的节点上的策略开始，对所述待处理数据进行检测，其中，在基于单个节点上的策略产生检测结果后，如果所述检测结果落入任一有向边对应的结果集合，则根据所述有向边确定下游节点，并根据所述下游节点所对应的策略继续对所述待处理数据进行检测。

根据本申请实施例的数据处理方法，如果所述检测结果未落入任一有向边对应的结果集合，则将所述单个节点标记为已执行检测，并将所述单个节点的全部下游节点标记为已执行检测。

根据本申请实施例的数据处理方法，所述多个策略中的每个策略对应一个权重集合，其中单个策略的权重集合中的每一个权重值对应所述单个策略的一种检测结果。

根据本申请实施例的数据处理方法，在所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测之后，所述方法还包括：根据所述多个策略分别产生的检测结果以及各个检测结果对应的权重值，确定所述待处理数据的检测结果。

根据本申请实施例的数据处理方法，所述根据所述多个策略分别产生的检测结果以及各个检测结果对应的权重值，确定所述待处理数据的检测结果，包括：在所述多个策略分别产生的检测结果中，以最大权重值对应的检测结果作为所述待处理数据的检测结果。

根据本申请实施例的数据处理方法，所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果，包括：将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中；通过不同的线程分别对所述待处理数据执行所述待执行集合中的各个策略；在所述待执行集合中的单个策略执行完毕后，如果所述单个策略的检测结果落入所述单个策略与其下游策略之间的有向边对应的结果集合且所述单个策略的下游策略具有多个上游策略，则判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合；如果所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合，则将所述下游策略加入所述待执行集合中以继续执行。

根据本申请实施例的数据处理方法，如果所述下游策略的多个上游策略有部分执行失败，或者，所述下游策略的多个上游策略中至少一个上游策略的检测结果未落入其对应的有向边的结果集合，则将所述单个策略以及所述单个策略的全部下游策略标记为已执行检测。

根据本申请实施例的数据处理方法，在所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合的情况下，还包括：将所述单个策略标记为已执行检测。

根据本申请实施例的数据处理方法，在所述将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中之后，还包括：将所述待执行集合中的策略标记为正在执行中。

根据本申请实施例的数据处理方法，在所述待执行集合中的每个策略执行完毕后，还包括：发布一个执行完成事件，以触发所述判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合。

本申请的实施例利用有向无环图DAG中的节点表示策略，以DAG中两两节点之间的有向边表示两两策略之间的依赖关系，能够对多维度的策略进行灵活配置，无依赖的节点可并行执行，提高整体处理效率，某个或某些节点执行失败不会导致系统整体运行失败，可满足不同应用场景下的多样化应用需求。

附图说明

通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：

图1示意性示出一种有向无环图DAG；

图2示意性示出本申请一实施方式的数据处理方法的流程图；

图3示意性示出本申请另一实施方式的数据处理方法的流程图；

图4示意性示出本申请一实施方式中生成聚合结果的流程示意图；

图5示意性示出本申请一实施方式的反垃圾样例处理流程示意图；

图6示意性示出本申请一实施方式的DAG构建流程示意图；

图7示意性示出本申请的一种具体实施例的DAG构建流程示意图；

图8示意性示出本申请的另一具体实施例的DAG构建流程示意图；

图9示意性示出本申请一实施方式的策略调用及标记方式的示意图；

图10示意性地示出本申请一实施方式的存储介质结构示意图；

图11示意性地示出本申请一实施方式的数据处理装置结构示意图；

图12示意性地示出根据本申请一实施方式的计算设备结构示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本申请的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本申请，而并非以任何方式限制本申请的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本申请的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本申请的实施方式，提出了一种数据处理方法、存储介质、装置和计算设备。以下为本文中可能涉及的一些概念或算法：

有向无环图(Directed Acyclic Graph，DAG)：一种在图论领域和计算机科学中使用较多的数据结构。

反垃圾技术(Anti-spam)：一种对用户生产内容进行违规敏感数据识别和过滤的技术。

策略集(Strategy set)：一种将风控策略打包的集合，常用于风控体系对数据进行过滤标记。

深度优先搜索(DepthFirstSearch，DFS)：一种图的遍历算法。

在本文中，附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。

下面参考本申请的若干代表性实施方式，详细阐释本申请的原理和精神。

发明概述

关于反垃圾策略，“基于关键词匹配”的反垃圾策略是一种简单直接的方法，如精确匹配、跳词匹配、拼音匹配、标点符号匹配、长句模糊匹配等。不同的匹配算法针对不同类型的反垃圾文本效果也不同，例如精确匹配是将送检文本与词库中的词进行完全匹配；跳词匹配是针对识别内容被特殊字符分割的情况，识别算法会将词库的词拆开来匹配被分割的词；关键词匹配较为简单有效，但容易误伤正常文本，且词库维护成本较大，容易出现由于消息滞后而导致某些词检测不出的情况。

另外，“基于规则”的反垃圾策略可针对特殊文本模式配置拦截，相比关键词拦截更加灵活。例如小语种识别器需要识别A语言、B语言、C 语言等小语种语言，那么关键词拦截无法生效，需配置小语种规则，通过模式匹配的方式检测小语种并进行拦截。按照应用需求，可将“关键词”和“规则”进行组合，按照拦截顺序对输入文本进行过滤，这种策略组合方式依赖组合顺序(也就是检测拦截的顺序)，且一般形成线性链路，执行效率不高，并且如果某个环节阻塞，将影响整条检测链路的响应时间，对策略编排的灵活度很低，不同策略之间的多种依赖关系很难得到体现，导致反垃圾系统的执行过程和执行结果都难以令人满意。

本申请提出一种将安全系统(例如反垃圾系统)的检测策略进行组合并抽象成有向无环图(Directed Acyclic Graph，DAG)的思想，利用DAG 的各个节点表示一种策略，利用DAG的有向边表示策略间的依赖关系，那么，执行检测时，不存在依赖关系的多个节点策略可以并行执行，而存在依赖关系的节点策略需要在上游节点执行之后才有可能运行，而是否运行还需要考虑上游节点的执行结果，等等，可形成类似于网状的链路关系，图1示意性地示出一种有向无环图DAG，其中节点1、3、7、11、13 等不存在上游节点，为无依赖的节点。基于DAG描述的策略组合既能够满足复杂场景中的策略组合配置需要，扩展系统配置的灵活度，也能提高检测流的执行效率，达到提高系统检测吞吐量的目的。

在介绍了本申请的基本思想之后，下面具体介绍本申请的各种非限制性实施方式。

示例性方法

下面参考图2来描述根据本申请示例性实施方式的数据处理方法。

图2示意性地示出了根据本申请一实施方式的数据处理方法的实现流程图，该方法包括以下步骤：

S101，接收待处理数据；

S102，基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

根据本申请的实施例，利用有向无环图DAG中的节点来表示策略，以DAG中两两节点之间的有向边来表示两两策略之间的依赖关系，能够对多维度的策略进行灵活配置，理论上对策略的配置数量没有上限，运行时对于无依赖的节点可并行执行，提高整体处理效率，如果某个或某些节点执行失败并不会导致系统整体运行失败，可以满足不同应用场景下的多样化应用需求。

根据本申请的实施例，可选地，在所述基于多个策略以及所述多个策略之间的依赖关系对所述待处理数据进行检测之前，根据所述待处理数据配置和/或调整所述多个策略以及所述多个策略之间的依赖关系，获得所述有向无环图。

例如，在接收到待处理数据后，可根据待处理数据的类型、检测目的、检测需求等，确定对待处理数据的检测策略，并确定各策略之间的依赖关系，基于此配置DAG，或者是对已有的DAG进行调整，为后续检测处理做好准备。

根据本申请的实施例，可选地，检测时，从一个或多个无依赖的节点上的策略开始，对所述待处理数据进行检测，其中，在基于单个节点上的策略产生检测结果后，如果所述检测结果落入任一有向边对应的结果集合，则根据所述有向边确定下游节点，并根据所述下游节点所对应的策略继续对所述待处理数据进行检测。

可选地，如果所述检测结果未落入任一有向边对应的结果集合，则将所述单个节点标记为已执行检测，并将所述单个节点的全部下游节点标记为已执行检测。

例如，如果配置好的DAG中有两个无依赖的节点，可利用两个线程并行执行该两个节点上的策略，提高整体执行效率，节点上的策略执行完毕后可获得执行结果，也就是对数据的检测结果，需判断该检测结果是否落入了有向边的结果集合，如果落入了，说明满足该有向边配置的条件，则可以继续执行下游节点的策略；如果没有落入，说明不满足该有向边的配置的条件，则该节点的下游节点都不再执行，可将该节点及其全部下游节点标记为已执行检测。

可见，本申请实施例利用DAG承载检测策略以及各检测策略之间的依赖关系，能够准确反映安全系统(例如反垃圾系统)的检测逻辑，可确保各个策略的执行符合配置需求，检测结果可靠性高。

进一步地，本申请的实施例还可为每个节点配置“权重表”(或称权重集合、权重组合等)，用以描述该节点上的策略对应的检测结果集合的置信度，用于检测结果的聚合。以下通过实施例进行具体说明。

根据本申请的实施例，可选地，所述多个策略中的每个策略对应一个权重集合，其中单个策略的权重集合中的每一个权重值对应所述单个策略的一种检测结果。

例如，对于第一策略，为其配置有第一权重集合，第一权重集合中包括第一权重值、第二权重值、第三权重值等等，每个权重值对应于该第一策略的一种检测结果，权重值代表检测结果的置信度(或重要程度)。

根据本申请的实施例，可选地，在所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测之后，根据所述多个策略分别产生的检测结果以及各个检测结果对应的权重值，确定所述待处理数据的检测结果。

也就是说，可利用各个检测结果对应的权重值，作为确定最终的检测结果的参考依据。

根据本申请的实施例，可选地，在所述多个策略分别产生的检测结果中，以最大权重值对应的检测结果作为所述待处理数据的检测结果。

例如，第一策略的执行结果为第一检测结果，权重值为20，第二策略的执行结果为第二检测结果，权重值为50，第三策略的执行结果为第三检测结果，权重值为60，则以第三检测结果(权重值最大)作为对待检测数据的最终检测结果输出或上报。这种处理方式也可称为冠军模式聚合，即为每个节点的检测结果分配一个权重(可配置)，严重程度高的结果设置高权重，严重程度低的结果设置低权重，最后聚合结果取最大权重的策略结果，保证聚合结果能体现每个节点的检测结果的影响。

以上描述了本申请实施例的数据处理方法的实现方式，以下描述本申请实施例的数据处理方法的实现过程。

根据本申请的实施例，可选地，所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果，可通过如下处理步骤实现，参考图3：

S201，将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中；

S202，通过不同的线程分别对所述待处理数据执行所述待执行集合中的各个策略；

S203，在所述待执行集合中的单个策略执行完毕后，如果所述单个策略的检测结果落入所述单个策略与其下游策略之间的有向边对应的结果集合且所述单个策略的下游策略具有多个上游策略，则判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合；

S204，如果所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合，则将所述下游策略加入所述待执行集合中以继续执行。

可选地，如果所述下游策略的多个上游策略有部分执行失败，或者，所述下游策略的多个上游策略中至少一个上游策略的检测结果未落入其对应的有向边的结果集合，则将所述单个策略以及所述单个策略的全部下游策略标记为已执行检测。

根据本申请的实施例，可选地，在所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合的情况下，将所述单个策略标记为已执行检测。

根据本申请的实施例，可选地，在所述将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中之后，将所述待执行集合中的策略标记为正在执行中。

根据本申请的实施例，可选地，在所述待执行集合中的每个策略执行完毕后，发布一个执行完成事件，以触发所述判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合。

利用本申请的以上至少一个实施例，可基于DAG实现对检测策略的灵活编排，不同于以往大多数策略集是将策略打包配置的方式，本申请实施例将每个策略作为DAG的节点，通过控制节点间的有向边实现策略之间依赖关系的编排，可大幅提升策略配置的灵活性，DAG中不存在依赖的策略节点可独立并行执行，能够提高整体执行效率。

以上通过实施例描述了本申请实施例的数据处理方法的实现方式，以下通过多个例子，从多个角度描述本申请实施例的具体实现过程。

参考图4，根据本申请的实施例，以数据从输入到生成聚合结果为例，大致经历以下阶段：

(1)拓扑配置解析：根据输入数据的类型，将数据库配置的拓扑解析生成一个DAG，配置节点属性、有向边以及检测流依赖的上下文，为接下来的检测流提供执行环境；

(2)拓扑排序调用策略：从无依赖节点(即入度为0的节点)的策略开始，按照DAG拓扑顺序，依次调用各个策略进行检测，策略检测完成后发布相关事件。

(3)根据有向边配置的执行条件，如果满足执行条件，则将检测结果传递给下游检测策略，如果不满足执行条件，则对节点进行虚执行标记，直至所有检测策略执行完成。

其中，关于虚执行标记，在本申请实施例中，虚执行标记表示该策略虽不执行但做“已执行”的标记，由于一个节点做了虚标记，其所有依赖它的节点以及后续节点都应进行虚标记(因为不满足执行条件)。在算法上，可对所有需要进行虚标记的节点做DFS遍历，为其打上虚执行标记。

(4)策略聚合：可采用冠军模式聚合，为每个节点的检测结果分配一个权重(严重程度高的结果设置高权重，严重程度低的结果设置低权重)，全部节点的策略检测完毕后，取最大权重的策略结果作为聚合结果，保证聚合结果能体现每个节点的检测结果。聚合策略可以自定义，可根据业务的具体场景灵活选择配置聚合方式。

参考图5，以黑名单、小语种、文本模型三种检测策略为例，可包含以下处理过程：

(1)用户发表的评论需通过反垃圾处理，首先为“黑名单”策略检测，如果该用户命中黑名单，直接返回检测结果，例如删除(delete)；

(2)如果没有命中黑名单，则需要继续进行下一个策略，小语种检测，检查用户传输的文本是否包含A语言、B语言等小语种，如命中则返回检测结果，例如删除(delete)；

(3)如果没有命中小语种，则继续进行下一个策略，文本模型检测，检测后返回结果。

其中，关于黑名单、小语种、文本模型三种检测策略的权重集合的设置，举例如下：

a)小语种各个检测结果对应的权重为：通过(pass，即未命中小语种)20分，删除(delete，命中小语种)30分，检测失败 (fail)5分；

b)黑名单的各个检测结果对应的权重为：通过(pass，即未命中黑名单)50分，删除(delete，命中黑名单)50分，检测失败 (fail)5分；

c)文本模型的各个处理结果权重为：通过(pass，符合文本模型要求)50分，删除(delete，不符合文本模型要求)50分，检测失败(fail)5分。

需要说明，通常，反垃圾结果会有通过(pass)，嫌疑(suspect)和删除(delete)，还可能有检测失败(fail)、异步等待回调(wait)。例如对于是否命中名单，一般不会有fail和wait的结果，这时权重表只需要配置pass和delete就能满足要求。可选地，权重配置范围可以为[0,100]的整数，配置的权重越大，表示此结果在整个检测聚合中越重要。

关于DAG拓扑构建，在本申请的实施例中，可按照如下方式实现：

图6示意性地示出了本申请实施例的一种策略依赖DAG生成的主要流程。本申请实施例中，策略的依赖关系和权重可以以例如json格式进行配置，能够很好地描述依赖关系的层次关系和继承顺序。安全系统例如反垃圾系统读取到上述配置后，可将每种策略的权重表解析出来，权重表表示每种反垃圾结果的权重。

策略依赖关系对应于根据策略间的先后关联顺序建立的DAG有向边，每条边有一个结果集合，当上游策略的检测结果命中该集合，则符合这个依赖条件，即可以执行下游的策略；如果某个策略依赖多个(例如3 个)上游策略，则该3个上游策略全部满足条件，才能执行该策略。

举例说明，仍以黑名单、小语种、文本模型三种检测策略为例，可构建如图7所示的DAG拓扑关系，其中，三种策略的依赖关系为：小语种依赖黑名单，文本模型依赖小语种，黑名单无依赖。图7形成一种链式拓扑结构，链上的策略节点如果满足依赖条件，可依次向下游执行，将执行结果返回给业务操作者(例如图7中的“业务xx”)。

对于更复杂的情况，图8示意性地示出一种非线性网状拓扑结构，用以实现用户小语种检测和文本检测，执行情况的复杂度有所提高。

a)首先，待审数据先经过用户白名单的检测，

b)如果命中白名单(此处约定白名单命中结果是通过pass，未命中是删除deny)，检测结果为pass，则认为用户相对安全，之后待审数据仅执行A语言小语种检测，检测完成直接返回业务检测结果；

c)如果没有命中用户白名单，检测结果为deny，则待审数据需要进行A语言、B语言和C语言的小语种检测，检测完成后，再进行手机号查询、用户注册时间查询这两个策略节点的检测；举例来说，可将从小语种到这两个查询节点的依赖条件设置为“空”，表示无论小语种检测结果是什么，都会向下游两个查询节点执行检测。这里，根据拓扑排序算法，手机号查询和注册时间查询可以并行完成。

d)手机号查询和注册时间查询完成后，执行文本检测模型，返回业务检测结果。

可以看到，相比图7实施例的链式拓扑，图8实施例的非线性的网状结构支持更复杂的定制化策略，部分策略可并行完成，配置灵活度得到大幅提升，能够显著提高链路整体执行效率。

关于本申请实施例中的策略调用以及执行过程中的标记方式，可按照 DAG中的拓扑排序进行，参考图9，处理方式如下：

(1)首先选择无依赖的策略，加入到待执行集合，可记为executeSet。

(2)将执行集合中的策略标记为执行中(可记为processing)，将策略放入线程池执行。

(3)每个策略执行完成后发布一个执行完成事件(可记为 CompletedEvent)，表示任务执行完成(可在事件处理逻辑中处理 CompletedEvent事件)，然后计算当前策略的下游策略的依赖是否都已满足(该下游策略的全部上游策略是否都被执行且符合有向边的一种结果)，如果都满足，则将该下游策略放入executeSet 集，并将当前执行完成的策略标记为已执行检测(可记为 completed)。

(4)重复步骤(2)-(3)，直至DAG中所有节点上的策略都执行完毕，此时，所有策略节点都已标记为completed。

举例说明，以上述黑名单、小语种、文本模型三种检测策略的情况为例，可执行如下步骤：

a)首先确定黑名单属于无依赖的策略，将黑名单策略加入到待执行集合executeSet。

b)标记黑名单策略为执行中，将黑名单放入线程池执行。

c)黑名单执行完成后发布一个CompletedEvent事件，在事件处理服务中计算下游策略(小语种)的依赖是否满足，由于小语种只依赖于黑名单且黑名单已经完成，因此小语种可以执行，将小语种放入执行集executeSet，并将黑名单策略标记为已执行检测completed。

d)重复步骤(b)-(c)，待小语种执行完后，将文本模型放入 executeSet执行集中执行，直至所有检测环节执行完成。

关于本申请实施例中的“虚执行标记”，在本申请实施例的DAG 中，如果上游节点没有执行成功或执行结果没有命中结果集，则下游节点以及后续节点都不能继续执行，则这里需要用到“虚执行标记”，虚执行标记用来表明某些节点不能执行但已被处理，算法上可使用深度优先搜索算法DFS进行遍历，可按照以下过程实现：

(1)将当前节点标记为已虚执行，也即进行虚执行标记，可记为 completed。

(2)遍历该节点的所有下游节点，如果该节点没有被执行且没有被虚标记，则重复步骤(1)，直到所有节点被虚标记。

其中，被虚标记的节点不能再被加入到执行集executeSet中，对于 DAG来说，被虚标记的节点状态属于已被执行完(completed)，后续也不会被调用。此外被虚标记的节点也不会发布任何事件。

以上述黑名单、小语种、文本模型三种检测策略的情况，假设黑名单执行完成，但后续有向边上配置的结果集中并不包含当前黑名单的执行结果，此时，就需要对黑名单策略节点进行虚执行标记，并利用DFS算法依次深度优先遍历下游的小语种策略和文本模型策略，并将小语种策略和文本模型策略进行虚执行标记。如此，黑名单的下游节点将不会被执行，符合系统整体的检测逻辑，确保高可靠性的结果输出。

关于策略聚合，本申请实施例的策略聚合依据不同策略节点配置的权重进行，每个策略节点配置一个权重表，表示不同检测结果对应的权重，权重区间可为例如[0,100]，权重越大表示该结果在整个检测流程中越重要，通过权重可以控制不同检测策略在聚合结果中所占的比例，比例越大，表示该策略越重要。

本申请实施例使用冠军聚合模式进行聚合，即最终检测结果(例如反垃圾结果)取最大权重的检测结果，其中如果多个策略节点的检测结果的权重相等，可取最后一个完成的节点的检测结果。如此，可以保证聚合结果是权重最大的结果，准确体现不同策略的影响，这种设计也适用于大部分应用场景。

仍以上述黑名单、小语种、文本模型三种检测策略的情况为例，假设 DAG检测获得如下检测结果，对应的权重如下：

·黑名单的执行结果是通过(pass)，对应的权重是50；

·小语种的执行结果是通过(pass)，对应的权重是20；

·文本模型的执行结果是删除(delete)，对应的权重是50，

此时，按照冠军原则进行聚合，应该取最大权重的聚合结果，又由于黑名单通过的权重和文本模型删除的权重相等，均是50，因此取最后执行的策略(文本模型)的结果作为最终的反垃圾结果。因此，本次DAG检测最终的反垃圾结果为：文本模型的检测结果(删除，delete)。

利用本申请的以上至少一个实施例，可实现基于有向无环图DAG的安全策略编排，通过有向图来描述安全策略例如反垃圾策略的组合关系，策略节点表示各种反垃圾策略，有向边表示策略间的依赖关系或称依赖条件，每种策略均配置一个权重表，表示该策略执行结果对应的权重，通过权重的合理配置，能使聚合结果更加准确。

相比传统的基于策略集的编排方法，本申请实施例的基于DAG的策略编排方案具有以下至少一种优点：

(1)策略组合可以是非线性的，无依赖的节点可以并行执行，可提高整体执行效率。

(2)可支持配置策略条件依赖关系，比如名单命中时执行策略A，未命中时执行策略B，使配置更加灵活。

(3)不同策略可以根据权重进行结果聚合，权重值可灵活调整，能够最大限度地提高安全系统的准确度。

示例性介质

在介绍了本申请示例性实施方式的方法之后，接下来，参考图10对本申请示例性实施方式的介质进行说明。

在一些可能的实施方式中，本申请的各个方面还可以实现为一种计算机可读介质，其上存储有程序，当所述程序被处理器执行时用于实现本说明书上述“示例性方法”部分中描述的根据本申请各种示例性实施方式的数据处理方法中的步骤。

具体地，上述处理器执行上述程序时用于实现如下步骤：

接收待处理数据；

基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

需要说明的是：上述的介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

如图10所示，描述了根据本申请的实施方式的介质60，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序，并可以在设备上运行。然而，本申请不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可以以一种或多种程序设计语言的任意组合来编写用于执行本申请操作的程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如 Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算设备。

示例性装置

在介绍了本申请示例性实施方式的存储介质之后，接下来，参考图11 对本申请示例性实施方式的装置进行说明。

如图11所示，本申请实施例的数据处理装置100可以包括：

接收模块110，用于接收待处理数据；

检测模块120，用于基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

根据本申请实施例的数据处理装置100，可选地，还包括：有向无环图处理模块，用于根据所述待处理数据配置和/或调整所述多个策略以及所述多个策略之间的依赖关系，获得所述有向无环图。

根据本申请实施例的数据处理装置100，可选地，所述检测模块120 用于从一个或多个无依赖的节点上的策略开始，对所述待处理数据进行检测，其中，所述检测模块120包括第一检测处理子模块，用于在基于单个节点上的策略产生检测结果后，在所述检测结果落入任一有向边对应的结果集合的情况下，根据所述有向边确定下游节点，并根据所述下游节点所对应的策略继续对所述待处理数据进行检测。

根据本申请实施例的数据处理装置100，可选地，所述检测模块120 还包括第二检测处理子模块，用于在所述检测结果未落入任一有向边对应的结果集合的情况下，将所述单个节点标记为已执行检测，并将所述单个节点的全部下游节点标记为已执行检测。

根据本申请实施例的数据处理装置100，可选地，所述多个策略中的每个策略对应一个权重集合，其中单个策略的权重集合中的每一个权重值对应所述单个策略的一种检测结果。

根据本申请实施例的数据处理装置100，可选地，还包括：检测结果确定模块，用于根据所述多个策略分别产生的检测结果以及各个检测结果对应的权重值，确定所述待处理数据的检测结果。

根据本申请实施例的数据处理装置100，可选地，所述检测结果确定模块用于在所述多个策略分别产生的检测结果中，以最大权重值对应的检测结果作为所述待处理数据的检测结果。

根据本申请实施例的数据处理装置100，可选地，所述检测模块120 包括：

策略添加模块，用于将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中；

策略执行模块，用于通过不同的线程分别对所述待处理数据执行所述待执行集合中的各个策略；

判断处理模块，用于在所述待执行集合中的单个策略执行完毕后，在所述单个策略的检测结果落入所述单个策略与其下游策略之间的有向边对应的结果集合且所述单个策略的下游策略具有多个上游策略的情况下，判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合；如果所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合，则所述策略添加模块将所述下游策略加入所述待执行集合中以继续执行。

根据本申请实施例的数据处理装置100，可选地，还包括：第一标记模块，用于在所述下游策略的多个上游策略有部分执行失败的情况下，或者，在所述下游策略的多个上游策略中至少一个上游策略的检测结果未落入其对应的有向边的结果集合的情况下，将所述单个策略以及所述单个策略的全部下游策略标记为已执行检测。

根据本申请实施例的数据处理装置100，可选地，在所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合的情况下，所述第一标记模块将所述单个策略标记为已执行检测。

根据本申请实施例的数据处理装置100，可选地，还包括：第二标记模块，用于将所述待执行集合中的策略标记为正在执行中。

根据本申请实施例的数据处理装置100，可选地，还包括：事件发布模块，用于在所述待执行集合中的每个策略执行完毕后，发布一个执行完成事件，以触发所述判断处理模块判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合。

示例性计算设备

在介绍了本申请示例性实施方式的方法、存储介质和装置之后，接下来，参考图12对本申请示例性实施方式的计算设备进行说明。

所属技术领域的技术人员能够理解，本申请的各个方面可以实现为系统、方法或程序产品。因此，本申请的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

在一些可能的实施方式中，根据本申请实施方式的计算设备可以至少包括至少一个处理单元以及至少一个存储单元。其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述处理单元执行本说明书上述“示例性方法”部分中描述的根据本申请的各种示例性实施方式的数据处理方法中的步骤。

下面参照图12来描述根据本申请的这种实施方式的计算设备80。图 12显示的计算设备80仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图12所示，计算设备80以通用计算设备的形式表现。计算设备80 的组件可以包括但不限于：上述至少一个处理单元801、上述至少一个存储单元802，连接不同系统组件(包括处理单元801和存储单元802)的总线803。

总线803包括数据总线、控制总线和地址总线。

存储单元802可以包括易失性存储器形式的可读介质，例如随机存取存储器(RAM)8021和/或高速缓存存储器8022，可以进一步包括非易失性存储器形式的可读介质，例如只读存储器(ROM)8023。

存储单元802还可以包括具有一组(至少一个)程序模块8024的程序 /实用工具8025，这样的程序模块8024包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

计算设备80也可以与一个或多个外部设备804(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口805进行。并且，计算设备80还可以通过网络适配器806与一个或者多个网络(例如局域网 (LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图 12所示，网络适配器806通过总线803与计算设备80的其它模块通信。应当理解，尽管图中未示出，可以结合计算设备80使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

应当注意，尽管在上文详细描述中提及了数据处理装置的若干单元/模块或子单元/模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之，上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。

此外，尽管在附图中以特定顺序描述了本申请方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

虽然已经参考若干具体实施方式描述了本申请的精神和原理，但是应该理解，本申请并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本申请旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

接收待处理数据；

基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

2.根据权利要求1所述的方法，其特征在于，所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，包括：

从一个或多个无依赖的节点上的策略开始，对所述待处理数据进行检测，其中，在基于单个节点上的策略产生检测结果后，如果所述检测结果落入任一有向边对应的结果集合，则根据所述有向边确定下游节点，并根据所述下游节点所对应的策略继续对所述待处理数据进行检测。

3.根据权利要求3所述的方法，其特征在于，

如果所述检测结果未落入任一有向边对应的结果集合，则将所述单个节点标记为已执行检测，并将所述单个节点的全部下游节点标记为已执行检测。

4.根据权利要求1-3中任一项所述的方法，其特征在于，

所述多个策略中的每个策略对应一个权重集合，其中单个策略的权重集合中的每一个权重值对应所述单个策略的一种检测结果。

5.根据权利要求4所述的方法，其特征在于，在所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测之后，所述方法还包括：

根据所述多个策略分别产生的检测结果以及各个检测结果对应的权重值，确定所述待处理数据的检测结果。

6.根据权利要求1所述的方法，其特征在于，所述基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果，包括：

将所述有向无环图中的无依赖的节点对应的策略加入待执行集合中；

通过不同的线程分别对所述待处理数据执行所述待执行集合中的各个策略；

在所述待执行集合中的单个策略执行完毕后，如果所述单个策略的检测结果落入所述单个策略与其下游策略之间的有向边对应的结果集合且所述单个策略的下游策略具有多个上游策略，则判断所述下游策略的多个上游策略是否均被执行且检测结果是否均落入各自对应的有向边的结果集合，其中，

如果所述下游策略的多个上游策略均已被执行且检测结果均落入各自的有向边对应的结果集合，则将所述下游策略加入所述待执行集合中以继续执行。

7.根据权利要求6所述的方法，其特征在于，如果所述下游策略的多个上游策略有部分执行失败，或者，所述下游策略的多个上游策略中至少一个上游策略的检测结果未落入其对应的有向边的结果集合，则将所述单个策略以及所述单个策略的全部下游策略标记为已执行检测。

8.一种数据处理装置，其特征在于，包括：

接收模块，用于接收待处理数据；

检测模块，用于基于多个策略以及所述多个策略之间的依赖关系，对所述待处理数据进行检测，获得检测结果；

其中，所述多个策略以及所述多个策略之间的依赖关系属于有向无环图关系，所述多个策略分别对应有向无环图中的各个节点，所述多个策略之间的依赖关系对应所述有向无环图中的各个有向边。

9.一种计算设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的方法。

10.一种非易失性计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

Images