CN114969129A - 一种异常业务数据回流方法及装置 - Google Patents

Abstract

本发明实施例公开了一种异常业务数据回流方法及装置，当异常检测器检测到业务数据异常激增，则将所述业务数据发送至回流器；根据所述回流器预先加载的回流规则对所述业务数据进行检测；若所述业务数据命中所述回流规则，则将所述业务数据回流至完整处理链。由此可见，利用本申请实施例提供的方案，可以精细化的针对异常的业务数据进行降级处理，保障整体业务数据降级的前提下，部分重要数据不受影响，提高了数据控制的精细化程度。

Description

一种异常业务数据回流方法及装置

技术领域

本申请涉及数据处理技术领域，尤其涉及一种异常业务数据回流方法及装置。

背景技术

由于用户所生成的网络数据内容丰富，为了提高机器的预处理效率，通常先将网络数据划分为不同业务类型的数据，再分别将属于不同业务的各类网络数据送入相应的业务线进行审核。

现有技术在处理异常的业务数据时，只能将业务数据整体降级，整体切换到简化处理链。无法做到部分数据降级，部分数据不降级，进而无法实现对业务中的某些数据进行精细化的处理。

发明内容

本申请实施例提供了一种异常业务数据回流方法及装置，实现了在处理异常的业务数据时部分数据降级，部分数据不降级，进而实现对业务中的某些数据进行精细化的处理。

本申请第一方面提供了一种异常业务数据回流方法，所述方法包括：

当检测到业务数据异常激增时，则将所述业务数据发送至回流器；

根据所述回流器预先加载的回流规则对所述业务数据进行检测；

若所述业务数据命中所述回流规则，则将所述业务数据回流至完整处理链。

可选的，所述方法还包括：

若所述业务数据未命中所述回流规则，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

可选的，所述根据所述回流器预先加载的回流规则对所述业务数据进行检测，包括：

当所述回流器启动时，从配置中心加载与所述业务数据对应的回流规则，将所述回流规则存放于映射Map结构中，并将所述回流规则加载至检测装置；

获取所述业务数据的业务名称，将所述业务名称存储在所述回流器中；

根据所述回流器中存储的所述业务名称对所述映射Map结构进行查询，若所述映射Map结构中存在所述业务名称，则运行所述检测装置,通过所述检测装置使用回流规则对所述业务数据进行检测。

可选的，所述方法还包括：

若所述映射Map结构中不存在所述业务名称，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

可选的，所述方法还包括：

当回流器启动后，在预定时间后，重新从配置中心加载与所述业务数据对应的更新的回流规则，将所述更新的回流规则存放于映射Map结构中，并将所述更新的回流规则重新加载至检测装置。

可选的，所述检测装置包括Drools规则引擎。

本申请第二方面提供了一种异常业务数据回流装置，所述装置包括：

异常检测单元，用于当检测到业务数据异常激增时，则将所述业务数据发送至回流器；

回流检测单元，用于根据所述回流器预先加载的回流规则对所述业务数据进行检测；

判断单元，用于若所述业务数据命中所述回流规则，则将所述数据回流至完整处理链。

可选的，所述回流检测单元，具体用于当所述回流器启动时，从配置中心加载与所述业务数据对应的回流规则，将所述回流规则存放于映射Map结构中，并将所述回流规则加载至检测装置；

获取所述业务数据的业务名称，将所述业务名称存储在所述回流器中；

根据所述回流器中存储的所述业务名称对所述映射Map结构进行查询，若所述映射Map结构中存在所述业务名称，则运行所述检测装置,通过所述检测装置使用回流规则对所述业务数据进行检测。

可选的，所述回流检测单元，具体用于若所述映射Map结构中不存在所述业务名称，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

可选的，所述装置还包括：

更新单元，用于当回流器启动后，在预定时间后，重新从配置中心加载与所述业务数据对应的更新的回流规则，将所述更新的回流规则存放于映射Map结构中，并将所述更新的回流规则重新加载至检测装置。

本申请第三方面提供了一种存储介质，其特征在于，用于存储计算机程序，所述计算机程序被执行时，用于实现如第一方面公开的任一项所述的异常业务数据回流方法。

本发明第四方面公开了一种电子设备，包括处理器和存储器；其中：

所述存储器用于存储计算机程序；

所述处理器用于执行所述计算机程序，具体用于实现如第一方面公开的任一项所述的异常业务数据回流方法。

本申请实施例公开了一种异常业务数据回流方法及装置，当异常检测器检测到业务数据异常激增，则将所述业务数据发送至回流器；根据所述回流器预先加载的回流规则对所述业务数据进行检测；若所述业务数据命中所述回流规则，则将所述业务数据回流至完整处理链。由此可见，利用本申请实施例提供的方案，可以精细化的针对异常的业务数据进行降级处理，保障整体业务数据降级的前提下，部分重要数据不受影响，提高了数据控制的精细化程度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种异常业务数据回流方法的流程示意图；

图2为本申请实施例提供的另一种异常业务数据回流方法的流程示意图；

图3为本申请实施例提供的一种数据流程图；

图4为本申请实施例提供的一种完整处理链的结构示意图；

图5为本申请实施例提供的一种简化处理链的结构示意图；

图6为本申请实施例提供的一种异常业务数据回流装置的结构示意图；

图7为本申请实施例提供的一种设备的结构示意图。

具体实施方式

本申请实施例提供了一种异常业务数据回流方法及装置，实现了在处理异常的业务数据时部分数据降级，部分数据不降级，进而实现对业务中的某些数据进行精细化的处理。

参见图1，该图为本申请实施例提供的一种异常业务数据回流方法的流程示意图，可以通过如下S101-103实现。结合图3，对该实施例进行具体描述。

S101：当异常检测器检测到业务数据异常激增时，则将业务数据发送至回流器。

具体的，异常检测器在预设统计时间段内，对业务数据进行统计，得到业务数据的数据量；判断业务数据的数据量，是否超过相应的预设数据阈值；若判断出业务数据的数据量未超过对应的预设数据阈值，则判定业务数据的数据量未出现异常；若判断出业务数据的数据量超过对应的预设数据阈值，则判定业务数据的数据量出现异常，并将该异常的业务数据发送至回流器。

S102：根据回流器预先加载的回流规则对业务数据进行检测。

具体的，当回流器启动时，从配置中心加载与业务数据对应的回流规则，将回流规则存放于映射Map结构中，并将回流规则加载至检测装置；获取业务数据的业务名称，将业务名称存储在所述回流器中；根据回流器中存储的业务名称对映射Map结构进行查询，若映射Map结构中存在业务名称，则运行检测装置,通过检测装置使用回流规则对业务数据进行检测。

具体的，映射Map结构的Key（键）值为业务名称，Value为Key值映射的回流规则列表。

具体的，配置中心能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性，适用于微服务配置管理场景。配置中心包括Apollo配置中心。

具体的，检测装置包括Drools规则引擎。

以Drools规则引擎为检测装置，对回流规则举例说明，代码如下：

{

package com.sohu.tv.ugc.monitor.model;

public class Content {

private String userId;

private String title;

private String uploadFrom;

private boolean backFlow = false;

public String getUserId() {

return userId;

}

public void setUserId(String userId) {

this.userId = userId;

}

public String getTitle() {

return title;

}

public void setTitle(String title) {

this.title = title;

}

public String getUploadFrom() {

return uploadFrom;

}

public void setUploadFrom(String uploadFrom) {

this.uploadFrom = uploadFrom;

}

public boolean isBackFlow() {

return backFlow;

}

public void setBackFlow(boolean backFlow) {

this.backFlow = backFlow;

}

}

package com.sohu.tv.ugc.monitor.security

import com.sohu.tv.ugc.monitor.model.Content;

import java.util.Arrays;

rule "rule1"

salience 1

when

vipUid : Arrays("12345", "23456", "12222","13432")

c : Content(userId memberOf vipUid)

then

c.setBackflow(true);

end

package com.sohu.tv.ugc.monitor.security

import com.sohu.tv.ugc.monitor.model.Content;

import java.util.Arrays;

rule "rule2"

salience 2

when

vipVideoTitle : Arrays("该视频不能降级", "我是重要视频", "我不能降级")

c : Content(title memberOf vipVideoTitle)

then

c.setBackflow(true);

end

package com.sohu.tv.ugc.monitor.security

import com.sohu.tv.ugc.monitor.model.Content;

import java.util.Arrays;

rule "rule3"

salience 3

when

vipUplpadFrom : Arrays("12345", "66666", "88888")

c : Content(uploadFrom memberOf vipUplpadFrom)

then

c.setBackflow(true);

end

//checkContent为进审数据实体

//ruleEngine为规则引擎服务，执行execute方法后，会自动按规则检测进审数据实体

ruleEngine.execute(checkContent);

//当规则引擎检测结束后，检测backFlow属性是否为真

// 若为真，则命中回流规则

//若为假，则未命中回流规则

if (checkContent.isBackFlow()) {

//业务数据命中回流规则，则将该业务数据回流到完整处理链}

else {

//业务数据未命中回流规则，该业务数据仍交由简化处理链处理

}

}

如代码所示，Content为进审数据对象（即业务数据），其backflow属性是一个bool值，即true或false，表示该数据是否回流。默认为false，当命中回流规则时，则设置为true。

rule1通过设置用户uid，当设置的用户uid所生成的业务数据命中回流规则时，则将该业务数据回流到完整处理链；rule2通过设置视频标题，rule3通过设置视频来源，当设置的视频产生的业务数据命中回流规则，则将该业务数据回流到完整处理链。其中，Salience 后面的数值表示的是优先级，当数值越大时，则表示的优先级越高。

可以理解的是，上述回流规则，只是一种可实现方式的举例，不作为对申请实施例的限定，还可以结合实际应用场景对回流规则进行灵活配置。

需要说明的是，使用Drools规则引擎作为检测装置，只是一种可实现方式的举例，不作为对申请实施例的限定，还可以根据实际应用场景自制回流规则检测装置。

S103：若业务数据命中回流规则，则将业务数据回流至完整处理链。

具体的，结合图4，一条完整处理链是由多个处理器节点组成的一条处理链，在具体应用过程中，根据实际应用场景设置完整处理链中的处理器类型和顺序。

本申请实施例提供了一种异常业务数据回流方法，该方案中，当异常检测器检测到业务数据异常激增，则将业务数据发送至回流器；根据回流器预先加载的回流规则对所述业务数据进行检测；若业务数据命中回流规则，则将业务数据回流至完整处理链。由此可见，利用本申请实施例提供的方案，可以精细化的针对异常的业务数据进行降级处理，保障整体业务数据降级的前提下，部分重要数据不受影响，提高了数据控制的精细化程度。

如图2所示，本申请实施例提供了另一种异常业务数据回流方法，包括：

S201：判断业务数据是否异常。

具体的，当异常检测器检测到业务数据异常激增时，则执行S202；当异常检测器检测未检测到业务数据异常激增时，则执行S207。

S202：根据回流器预先加载的回流规则对业务数据进行检测。

步骤S202的具体实施方式可相应地参考步骤S102的实施方式，此处不再赘述。

S203：在预定时间后，重新从配置中心加载与业务数据对应的更新的回流规则。

具体的，通过配置中心加载回流规则，动态调整回流规则，从而实现不用重启设备，就能对回流规则进行动态调整。

S204：获取业务数据的业务名称，将业务名称存储在回流器中。

S205：将回流规则存放于映射Map结构中，判断映射Map结构中是否存在业务名称。

具体的，若映射Map结构中不存在业务名称，则通过简化处理链处理业务数据，若映射Map结构中存在业务名称，则执行步骤S206。

具体的，结合图4、图5，简化处理链为完整处理链经过摘除处理器后的处理链。在具体应用过程中，还可以根据实际应用场景，自定义预设简化处理链中处理器的顺序和类型，本申请不作具体限定。

S206：判断业务数据是否命中规则。

若业务数据命中回流规则，则执行S207；若业务数据未命中回流规则，则执行S208。

S207：将业务数据发送至完整处理链，通过完整处理链处理处理业务数据。

S208：通过简化处理链处理业务数据。

本申请实施例提供了一种异常业务数据回流方法，该方案中，当异常检测器检测到业务数据异常激增，则将业务数据发送至回流器；当异常检测器检测未检测到业务数据异常激增时，则将业务数据发送至完整处理链；根据回流器预先加载的回流规则对所述业务数据进行检测；在预定时间后，重新从配置中心加载与业务数据对应的更新的回流规则；获取业务数据的业务名称；将回流规则存放于映射Map结构中，若映射Map结构中不存在业务名称，则通过简化处理链处理业务数据；若映射Map结构中存在业务名称，则判断业务数据是否命中回流规则；若业务数据命中回流规则，则将业务数据回流至完整处理链；若业务数据未命中回流规则，则通过简化处理链处理业务数据。由此可见，利用本申请实施例提供的方案，可以动态更新回流规则，针对异常的业务数据进行降级处理，保障整体业务数据降级的前提下，部分重要数据不受影响，提高了数据控制的精细化程度。

基于以上实施例提供的方法，本申请实施例还提供了一种异常业务数据回流装置，以下结合附图介绍该装置。

参见图6，该图为本申请实施例提供的一种异常业务数据回流装置的结构示意图。

本申请实施例提供的一种异常业务数据回流装置，包括：异常检测单元601、回流检测单元602和判断单元603。

异常检测单元601，用于当检测到业务数据异常激增时，则将业务数据发送至回流器；

回流检测单元602，用于根据回流器预先加载的回流规则对业务数据进行检测；

判断单元603，用于若业务数据命中所述回流规则，则将业务数据回流至完整处理链。

在一种可能的实现方式中，回流检测单元602，具体用于：

当回流器启动时，从配置中心加载与业务数据对应的回流规则，将回流规则存放于映射Map结构中，并将回流规则加载至检测装置；

获取业务数据的业务名称，将业务名称存储在所述回流器中；

根据回流器中存储的业务名称对映射Map结构进行查询，若映射Map结构中存在业务名称，则运行检测装置,通过检测装置使用回流规则对业务数据进行检测。

在一种可能的实现方式中，回流检测单元602，具体用于：

若所述映射Map结构中不存在所述业务名称，则通过简化处理链处理所述业务数据。

在一种可能的实现方式中，判断单元603，具体用于：

若业务数据未命中回流规则，则通过简化处理链处理业务数据，其中，简化处理链为完整处理链经过摘除处理器后的处理链。

在一种可能的实现方式中，所述装置，还包括：

更新单元，用于当回流器启动后，在预定时间后，重新从配置中心加载与业务数据对应的更新的回流规则，将更新的回流规则存放于映射Map结构中，并将更新的回流规则重新加载至检测装置。

由于所述装置是与以上方法实施例提供的一种异常业务数据回流方法对应的装置，所述装置的各个单元的具体实现，均与以上方法实施例为同一构思，因此，关于所述装置的各个单元的具体实现，可以参考以上方法实施例关于常业务数据回流方法的描述部分，此处不再赘述。

本申请实施例还提供了一种电子设备，请参考图7，包括：存储器701和处理器702。

其中，存储器701用于存储计算机程序。

处理器702用于执行该计算机程序，具体用于实现本申请实施例提供的数据处理方法。

需要说明的是，关于异常业务数据回流方法的相关说明，参见上述实施例即可，此处不再赘述。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑业务划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各业务单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件业务单元的形式实现。

集成的单元如果以软件业务单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的业务可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些业务存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已。

以上，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

Claims (10)

1.一种异常业务数据回流方法，其特征在于，所述方法包括：

当检测到业务数据异常激增时，则将所述业务数据发送至回流器；

根据所述回流器预先加载的回流规则对所述业务数据进行检测；

若所述业务数据命中所述回流规则，则将所述业务数据回流至完整处理链。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述业务数据未命中所述回流规则，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

3.根据权利要求1所述的方法，其特征在于，所述根据所述回流器预先加载的回流规则对所述业务数据进行检测，包括：

当所述回流器启动时，从配置中心加载与所述业务数据对应的回流规则，将所述回流规则存放于映射Map结构中，并将所述回流规则加载至检测装置；

获取所述业务数据的业务名称，将所述业务名称存储在所述回流器中；

根据所述回流器中存储的所述业务名称对所述映射Map结构进行查询，若所述映射Map结构中存在所述业务名称，则运行所述检测装置,通过所述检测装置使用回流规则对所述业务数据进行检测。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述映射Map结构中不存在所述业务名称，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

当回流器启动后，在预定时间后，重新从配置中心加载与所述业务数据对应的更新的回流规则，将所述更新的回流规则存放于映射Map结构中，并将所述更新的回流规则重新加载至检测装置。

6.根据权利要求3所述的方法，其特征在于，所述检测装置包括Drools规则引擎。

7.一种异常业务数据回流装置，其特征在于，所述装置包括：

异常检测单元，用于当检测到业务数据异常激增时，则将所述业务数据发送至回流器；

回流检测单元，用于根据所述回流器预先加载的回流规则对所述业务数据进行检测；

判断单元，用于若所述业务数据命中所述回流规则，则将所述数据回流至完整处理链。

8.根据权利要求7所述的装置，其特征在于，

所述回流检测单元，具体用于当所述回流器启动时，从配置中心加载与所述业务数据对应的回流规则，将所述回流规则存放于映射Map结构中，并将所述回流规则加载至检测装置；

获取所述业务数据的业务名称，将所述业务名称存储在所述回流器中；

根据所述回流器中存储的所述业务名称对所述映射Map结构进行查询，若所述映射Map结构中存在所述业务名称，则运行所述检测装置,通过所述检测装置使用回流规则对所述业务数据进行检测。

9.根据权利要求8所述的装置，其特征在于，

所述回流检测单元，具体用于若所述映射Map结构中不存在所述业务名称，则通过简化处理链处理所述业务数据，其中，所述简化处理链为所述完整处理链经过摘除处理器后的处理链。

10.根据权利要求7所述的装置，其特征在于，所述装置还包括：

更新单元，用于当回流器启动后，在预定时间后，重新从配置中心加载与所述业务数据对应的更新的回流规则，将所述更新的回流规则存放于映射Map结构中，并将所述更新的回流规则重新加载至检测装置。

Images