CN108923972B - 一种去重流量提示方法、装置、服务器及存储介质 - Google Patents

一种去重流量提示方法、装置、服务器及存储介质 Download PDF

Info

Publication number
CN108923972B
CN108923972B CN201810704335.XA CN201810704335A CN108923972B CN 108923972 B CN108923972 B CN 108923972B CN 201810704335 A CN201810704335 A CN 201810704335A CN 108923972 B CN108923972 B CN 108923972B
Authority
CN
China
Prior art keywords
target
deduplication
flow
rule
duplication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810704335.XA
Other languages
English (en)
Other versions
CN108923972A (zh
Inventor
赵吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201810704335.XA priority Critical patent/CN108923972B/zh
Priority to PCT/CN2018/108475 priority patent/WO2020000744A1/zh
Publication of CN108923972A publication Critical patent/CN108923972A/zh
Application granted granted Critical
Publication of CN108923972B publication Critical patent/CN108923972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Computer And Data Communications (AREA)

Abstract

本发明实施例公开了一种去重流量提示方法、装置、服务器及存储介质，所述方法包括：在判断报文对应的流量为目标去重流量的情况下，确定出计算目标去重流量所需的多个目标时间窗口下各自对应的用于记录历史去重流量的去重值的去重流量数据，并根据预设流量规则确定出用于计算目标去重流量的去重阈值，在各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合，进而根据各个去重值集合中去重值的数量，确定目标去重流量是否命中该预设流量规则，若命中，则输出提示信息。采用本发明，可以减少获取目标时间窗口内去重值的数量，提高计算效率，有利于更高效地提示用户进行风险控制。

Description

一种去重流量提示方法、装置、服务器及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种去重流量提示方法、装置、服务器及存储介质。
背景技术
目前，为了加强风险控制，通常会在判断出某条去重流量命中预设流量规则时，输出告警信息。但是，当确定某条去重流量是否命中流量规则时，通常需要将该条去重流量对应待统计时间段内的所有去重值均取出来进行计算，进而根据取出的去重值数量来判断该条去重流量是否命中规则。当遇到极端规则时，去重值数量可能成千上万，这种情况，如果把待统计时间段内的所有去重值均取出，会造成io过高，且计算效率低下，降低了提示效率。
发明内容
本发明实施例提供了一种去重流量提示方法、装置、服务器及存储介质，可以减少获取待统计时间段内去重值的数量，提高计算效率，有利于更高效提示用户进行风险控制。
第一方面，本发明实施例提供了一种去重流量记录方法，该方法包括：
在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；
若判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；
获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值；
根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个目标时间窗口中的各个目标时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个目标时间窗口各自对应的去重值集合；
根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则，若命中，则输出提示信息。
在一个实施例中，所述根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值的具体实施方式为：解析所述预设流量规则，确定出目标操作符以及所述目标操作符对应的特征阈值；基于预设取值规则，确定出与所述目标操作符以及所述特征阈值匹配的用于计算所述目标去重流量的去重阈值。
在一个实施例中，所述目标操作符包括大于、等于、小于等于、大于等于和小于中的至少一种，所述基于预设取值规则，确定出与所述目标操作符以及所述特征阈值匹配的用于计算所述目标去重流量的去重阈值的具体实施方式为：
识别所述目标操作符，在所述目标操作符为大于、等于或者小于等于的情况下，将所述特征阈值增加1后的数值确定为用于计算所述目标去重流量的去重阈值；
在所述目标操作符为大于等于或者小于的情况下，将所述特征阈值对应的数值确定为用于计算所述目标去重流量的去重阈值。
在一个实施例中，所述根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则的具体实施方式为：解析所述各个目标时间窗口各自对应的所述去重值集合，从各个所述去重值集合中获取不为空集的目标去重值集合，并遍历每个所述目标去重值集合中去重值的数量；在所述目标操作符为大于或者大于等于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；在所述目标操作符为等于、小于等于或者小于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
在一个实施例中，所述遍历所述目标去重值集合下去重值的数量之后，还可以若每个所述目标去重值集合下去重值的数量均小于所述去重阈值，则将每个所述目标去重集合下的去重值进行合并；在所述目标操作符为大于或者大于等于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；在所述目标操作符为等于、小于等于或者小于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
在一个实施例中，所述判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量的具体实施方式为：解析所述报文，得到所述报文的字段点信息；根据所述字段点信息判断所述报文对应的流量是否为与所述预设流量规则匹配的目标去重流量。
在一个实施例中，所述预设流量规则还预定义了统计所述目标去重流量的统计时长，所述根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口的具体实施方式为：解析所述预设流量规则，确定出计算所述目标去重流量的统计时长以及所述统计时长对应的时间粒度；根据所述统计时长和所述当前系统时间确定出计算所述目标去重流量的统计时间段；在所述统计时间段内确定出与所述时间粒度匹配的用于计算所述目标去重流量的多个目标时间窗口。
第二方面，本发明实施例提供了一种去重流量提示装置，该去重流量提示装置包括用于执行上述第一方面的方法的单元。
第三方面，本发明实施例提供了一种服务器，该服务器包括处理器、网络接口和存储器，所述处理器、网络接口和存储器相互连接，其中，所述网络接口受所述处理器的控制用于收发消息，所述存储器用于存储支持服务器执行上述方法的计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行上述第一方面的方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行上述第一方面的方法。
本发明实施例中，服务器可以在接收到报文的情况下，判断该报文对应的流量是否为与预设流量规则匹配的目标去重流量，若是，则根据预设流量规则和当前系统时间确定出用于计算目标去重流量的多个目标时间窗口，进而获取多个目标时间窗口下各自对应的用于记录历史去重流量的去重值的去重流量数据，根据预设流量规则确定出计算目标去重流量所需的去重阈值，并在多个目标时间窗口中的各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合，进而根据各个目标时间窗口各自对应的去重值集合中去重值的数量，确定目标去重流量是否命中该预设流量规则，若命中，则输出提示信息。采用本发明，可以减少获取目标时间窗口内去重值的数量，提高计算效率，有利于更高效地提示用户进行风险控制。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种去重流量提示方法的流程示意图；
图2是本发明实施例提供的另一种去重流量提示方法的流程示意图；
图3是本发明实施例提供的一种流量规则配置操作界面的示意图；
图4是本发明实施例提供的一种去重流量提示装置的示意性框图；
图5是本发明实施例提供的一种服务器的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，图1是本发明实施例提供的一种去重流量提示方法的流程示意图，如图所示，该去重流量提示方法可包括：
101、服务器在接收到报文的情况下，判断该报文对应的流量是否为与预设流量规则匹配的目标去重流量。
在一个实施例中，用户可以通过流量规则配置页面预先对流量规则进行配置(即预设流量规则)，配置的目的是为了确定对何种流量执行流量规则，以及执行该流量规则的统计时长等等，本发明主要是配置去重流量规则，对去重流量执行流量规则。其中，去重流量为关注不同去重值的流量，该去重值可以为一个唯一标识，如设备号、ID号、账号等等。例如，一条流量为同设备号不同用户交易次数，其中，该用户的唯一标识可以为用户账号，那么该用户账号则为去重值，这条流量关注不同的用户(即去重值)，则为去重流量。
这种情况下，服务器接收到报文后，可以解析该定报文的各字段点信息，如果通过解析字段点信息确定出该报文对应的流量为与预先配置的流量规则(即预设规则)匹配，则可以确定需要对该报文对应的流量执行流量规则，也即该报文对应的流量为目标去重流量。
102、若服务器判断出该报文对应的流量为与预设流量规则匹配的目标去重流量，则根据预设流量规则和当前系统时间确定出用于计算目标去重流量的多个目标时间窗口。
其中，上述多个目标时间窗口是以时间粒度进行分类的，每个时间粒度的目标时间窗口存在优先级，例如：秒钟级别>分钟级别>小时级别>天级别>周级别>月级别。
在一个实施例中，上述预设流量规则还预定义了统计该目标去重流量的统计时长，服务器判断出该报文对应的流量为与预设流量规则匹配的目标去重流量后，可以解析该预设流量规则，确定出统计目标去重流量的统计时长以及统计时长对应的时间粒度，并根据统计时长和当前系统时间确定出计算该目标去重流量的统计时间段，进而在该待统计时间段内确定出与时间粒度匹配的用于计算该目标去重流量的多个目标时间窗口。
示例性的，目标去重流量为来自设备D的一条流量，用户在流量规则配置页面预先定义的统计时长为10分钟，该统计时长对应的时间粒度为分钟，当前系统时间为2018-05-04T10:08:34。这种情况下，服务器将以当前系统时间倒推10分钟的这一时间段确定为该目标去重流量的统计时间段，也即该目标去重流量的统计时间段为2018-05-04T09:58:34—2018-05-04T10:08:34。进一步地，在该统计时间段内确定出关于设备D的，且时间粒度为分钟的多个目标时间窗口。该多个目标时间窗口则为以下10个分钟级别的时间窗口：
a设备D-2018-05-04T10:08:00
b设备D-2018-05-04T10:07:00
c设备D-2018-05-04T10:06:00
d设备D-2018-05-04T10:05:00
e设备D-2018-05-04T10:04:00
f设备D-2018-05-04T10:03:00
g设备D-2018-05-04T10:02:00
h设备D-2018-05-04T10:01:00
i设备D-2018-0.5-04T10:00:00
j设备D-2018-05-04T9:59:00
103、服务器获取多个目标时间窗口下各自对应的去重流量数据，该去重流量数据用于记录历史去重流量的去重值。
在一个实施例中，每个目标时间窗口下均记录了历史去重流量(即去重流量数据)，记录的形式为记录各个历史去重流量对应去重值在各个目标时间窗口出现的次数，如目标时间窗口g，记录的数据可以为：设备D-2018-05-04T10:02:00→[(U101，1)]，其中U101即为去重值，1表征该去重值U101在目标时间窗口g出现了1次。这种情况下，服务器确定出统计该目标去重流量的多个目标时间窗口后，可以获取各个目标时间窗口下各自记录的去重流量数据。
104、服务器根据预设流量规则确定出用于计算该目标去重流量的去重阈值，并在多个目标时间窗口中的各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合。
其中，服务器需要确定出计算该目标去重流量所需的去重阈值时，可以解析预设流量规则，确定出目标操作符以及所述目标操作符对应的特征阈值，并基于预设取值规则，确定出与目标操作符以及特征阈值匹配的计算目标去重流量所需的去重阈值。
其中，该目标操作符可以包括大于、小于、等于、大于等于和小于等于中的至少一种。具体选择何种操作符，是根据预设流量规则确定的。例如，预设流量规则为“同设备不同用户交易成功次数10分钟内大于10次”，那么服务器则可以通过解析该预设流量规则，将目标操作符确定为“大于”，将目标操作符对应的特征阈值确定为“10”。
在一个实施例中，服务器可以识别目标操作符，在目标操作符为大于、等于或者小于等于的情况下，将特征阈值增加1后的数值确定为用于计算目标去重流量的去重阈值。在目标操作符为大于等于或者小于的情况下，将特征阈值对应的数值确定为用于计算目标去重流量的去重阈值。
具体地，假设目标操作符对应的特征阈值为x，如何根据目标操作符以及特征阈值确定出计算目标去重流量所需的去重阈值，主要可以分为以下几种情况：
1)目标操作符为“>”“＝”“<＝”，去重阈值取“x+1”，之所以这么取的逻辑是由于：如果待统计时间段内的时间窗口下的去重值已经大于或者等于“x+1”，那么当前的这条目标去重流量必定命中“>x”这条规则；“＝x”这条规则必定不命中；“<＝x”这条规则必定也不命中；
2)目标操作符为“>＝”“<”，去重阈值取“x”，之所以这么取的逻辑是由于：如果待统计时间段内的时间窗口下的去重值已经大于或者等于“x”，那么当前的这条目标去重流量必定命中“>＝x”这条规则；“<x”这条规则必定不命中。
在一个实施例中，当服务器确定出计算该目标去重流量所需的去重阈值后，可以获取到的每个目标时间窗口的去重流量数据中去获取数量等于去重阈值的去重值，每次获取均会返回一个获取结果，该获取结果为一个去重值集合。示例性地，服务器确定出计算该目标去重流量所需的去重阈值为11，步骤103获取到多个目标时间窗口下各自对应的去重流量数据记录如下：
a设备D-2018-05-04T10:08:00 [][]表示没有空，没有流量
b设备D-2018-05-04T10:07:00 []
c设备D-2018-05-04T10:06:00 []
d设备D-2018-05-04T10:05:00 []
e设备D-2018-05-04T10:04:00 []
f设备D-2018-05-04T10:03:00 []
g设备D-2018-05-04T10:02:00 [(U101，1)]
h设备D-2018-05-04T10:01:00 [(U1，1)，(U2，1)……(U10，1)]有10个用户被记录下来
i.设备D-2018-0.5-04T10:00:00 [(U1，1)，(U2，1)……(U11，1)]有11个用户被记录下来
j设备D-2018-05-04T9:59:00 [(U1，1)，(U2，1)……(U100，1)]有100个用户被记录下来
这种情况下，服务器可以只在每个目标时间窗口下尝试着取11(即特征阈值)个去重值，那么对于a-j的这10个分钟级的目标时间窗口，取11个去重值后的结果，也即得到的各个时间目标时间窗口各自对应的去重值集合分别为：
a设备D-2018-05-04T10:08:00 窗口没有去重值，返回空集
b设备D-2018-05-04T10:07:00 同上
c设备D-2018-05-04T10:06:00 同上
d设备D-2018-05-04T10:05:00 同上
e设备D-2018-05-04T10:04:00 同上
f设备D-2018-05-04T10:03:00 同上
g设备D-2018-05-04T10:02:00 共一个去重值，全部返回后得到去重值集合[(U101，1)]
h设备D-2018-05-04T10:01:00 共10个去重值，全部返回后得到去重值集合[(U1，1)，(U2，1)……(U10，1)]
i.设备D-2018-0.5-04T10:00:00 刚好11个去重值，全部返回得到去重值集合[(U1，1)，(U2，1)……(U11，1)]
j设备D-2018-05-04T9:59:00 取前11个去重值，返回后得到去重值集合[(U1，1)，(U2，1)……(U11，1)]
105、服务器根据各个目标时间窗口各自对应的去重值集合中去重值的数量，确定去重流量是否命中预设流量规则，若命中，则输出提示信息。
在一个实施例中，服务器可以解析各个目标时间窗口各自对应的去重值集合，从各个去重值集合中获取不为空集的目标去重值集合，并遍历每个目标去重值集合中去重值的数量，如果该数量命中预设流量规则，则输出提示信息，用于提示用户该条去重流量存在异常。
本发明实施例中，服务器可以在接收到报文的情况下，判断该报文对应的流量是否为与预设流量规则匹配的目标去重流量，若是，则根据预设流量规则和当前系统时间确定出用于计算目标去重流量的多个目标时间窗口，进而获取多个目标时间窗口下各自对应的用于记录历史去重流量的去重值的去重流量数据，根据预设流量规则确定出计算目标去重流量所需的去重阈值，并在多个目标时间窗口中的各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合，进而根据各个目标时间窗口各自对应的去重值集合中去重值的数量，确定目标去重流量是否命中该预设流量规则，若命中，则输出提示信息。采用本发明，可以减少获取目标时间窗口内去重值的数量，提高计算效率，有利于更高效地提示用户进行风险控制。
参见图2，图2是本发明实施例提供的另一种去重流量提示方法的流程示意图，如图所示，该去重流量提示方法可包括：
201、服务器在接收到报文的情况下，判断该报文对应的流量是否为与预设流量规则匹配的目标去重流量。
在一个实施例中，服务器接收到该报文后，可以解析该报文得到该报文的字段点信息，并根据该字段点信息判断报文对应的流量是否为与预设流量规则匹配的目标去重流量。
示例性，用户可以通过如图3所示的流量规则配置页面预先对去重流量进行配置，配置的目的是为了配置的目的是为了确定对何种去重流量执行流量规则，以及执行该流量规则的统计时长等等。可以看出，通过如图3所示的流量规则配置页面配置的具体内容(即预设流量规则)可包括：同设备号不同用户交易成功次数10分钟内大于10次这一流量规则，以及10分钟这一统计时长。
这种情况下，服务器接收到一个交易报文，该报文内容如下:
Figure BDA0001714938020000091
服务器则对报文的各个字段点进行解析，从这个报文的字段点“user name”可以确定这条流量关注不同的用户数(即去重值)，是一条与预设流量规则匹配的目标去重流量，须执行流量规则。
202、若服务器判断出该报文对应的流量为与预设流量规则匹配的目标去重流量，则根据预设流量规则和当前系统时间确定出用于计算目标去重流量的多个目标时间窗口。
203、服务器获取多个目标时间窗口下各自对应的去重流量数据，该去重流量数据用于记录历史去重流量的去重值。
204、服务器解析预设流量规则，确定出目标操作符以及目标操作符对应的特征阈值，并基于预设取值规则确定出与目标操作符以及特征阈值匹配的用于计算目标去重流量的去重阈值，并在多个目标时间窗口中的各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合。
其中，步骤202-204的具体实施方式，可以参见上述实施例中步骤102-步骤104的相关描述，此处不再赘述。
205、服务器解析各个目标时间窗口各自对应的去重值集合，从各个去重值集合中获取不为空集的目标去重值集合，并遍历每个目标去重值集合中去重值的数量。
206、在目标操作符为大于或者大于等于的情况下，若服务器确定出任一目标去重值集合中的数量大于或者等于去重阈值，则确定目标去重流量命中预设流量规则，并输出提示信息。
207、在目标操作符为等于、小于等于或者小于的情况下，若服务器确定出任一目标去重值集合中的数量大于或者等于去重阈值，则确定目标去重流量不命中预设流量规则，并输出提示信息。
例如，配置的流量规则为“同设备号不同账户交易成功次数在过去10分钟内大于10次”，可以确定出目标操作符为“>”，去重阈值为“11”，服务器执行步骤204得到的各个目标时间窗口各自对应的去重值集合为：
a设备D-2018-05-04T10:08:00 窗口没有去重值，返回空集
b设备D-2018-05-04T10:07:00 同上
c设备D-2018-05-04T10:06:00 同上
d设备D-2018-05-04T10:05:00 同上
e设备D-2018-05-04T10:04:00 同上
f设备D-2018-05-04T10:03:00 同上
g设备D-2018-05-04T10:02:00 共一个去重值，全部返回后得到去重值集合[(U101，1)]
h设备D-2018-05-04T10:01:00 共10个去重值，全部返回后得到去重值集合[(U1，1)，(U2，1)……(U10，1)]
i.设备D-2018-0.5-04T10:00:00 刚好11个去重值，全部返回得到去重值集合[(U1，1)，(U2，1)……(U11，1)]
j设备D-2018-05-04T9:59:00 取前11个去重值，返回后得到去重值集合[(U1，1)，(U2，1)……(U11，1)]
丢弃未取到值的各个去重值集合(即空集)，只获取去重值数量大于0的目标去重值集合，目标去重值集合与各自对应的目标时间记录如下：
g设备D-2018-05-04T10:02:00 [(U101，1)]
h设备D-2018-05-04T10:01:00 [(U1，1)，(U2，1)……(U10，1)]
i设备D-2018-05-04T10:00:00 [(U1，1)，(U2，1)……(U11，1)]
j设备D-2018-05-04T9:59:00 [(U1，1)，(U2，1)……(U11，1)]
进一步地，遍历g到j的目标去重值集合下的去重值的数量，确定出i和j对应目标去重值集合下的去重值数量等于11，则可以确定本条去重流量命中“同设备号不同账户交易成功次数在过去10分钟内大于10次”这一预设流量规则。
再例如，g-j目标时间窗口各自对应的目标去重值集合记录同上，这种情况下，若目标操作符调整为“等于”，去重阈值取11，也即预设流量规则调整为“同设备号不同账户交易成功次数在过去10分钟内等于10次”。这种情况下，服务器遍历g到j的目标去重值集合下的去重值的数量，确定出i和j对应目标去重值集合下的去重值数量大于等于11，则可以确定本条去重流量不命中“同设备号不同账户交易成功次数在过去10分钟内等于10次”这一预设流量规则。
又例如，g-j目标时间窗口各自对应的目标去重值集合记录同上，这种情况下，若目标操作符调整为“小于等于”，去重阈值取11，也即预设流量规则调整为“同设备号不同账户交易成功次数在过去10分钟内小于等于10次”。这种情况下，服务器遍历g到j的目标去重值集合下的去重值的数量，确定出i和j对应目标去重值集合下的去重值数量大于等于11，则可以确定本条去重流量不命中“同设备号不同账户交易成功次数在过去10分钟内小于等于10次”这一预设流量规则。
又例如，g-j目标时间窗口各自对应的目标去重值集合记录同上，这种情况下，若目标操作符调整为“大于等于”，去重阈值取10，也即预设流量规则调整为“同设备号不同账户交易成功次数在过去10分钟内大于等于10次”。这种情况下，服务器遍历g到j的目标去重值集合下的去重值的数量，确定出h、i和j对应目标去重值集合下的去重值数量大于等于10，则可以确定本条去重流量命中“同设备号不同账户交易成功次数在过去10分钟内大于等于10次”这一预设流量规则。
又例如，g-j目标时间窗口各自对应的目标去重值集合记录同上，这种情况下，若目标操作符调整为“小于”，去重阈值取10，也即预设流量规则调整为“同设备号不同账户交易成功次数在过去10分钟内小于10次”。这种情况下，服务器遍历g到j的目标去重值集合下的去重值的数量，确定出h、i和j对应目标去重值集合下的去重值数量大于等于10，则可以确定本条去重流量不命中“同设备号不同账户交易成功次数在过去10分钟内小于10次”这一预设流量规则。
在一个实施例中，若服务器确定出每个目标去重值集合下去重值的数量均小于去重阈值，则将每个目标去重集合下的去重值进行合并，在目标操作符为大于或者大于等于的情况下，若合并后的去重值的数量大于或者等于去重阈值，则确定目标去重流量命中预设流量规则。在目标操作符为等于、小于等于或者小于的情况下，若合并后的去重值的数量大于或者等于去重阈值，则确定目标去重流量不命中预设流量规则。
例如，预设流量规则变为：同设备号不同账户交易成功次数在过去10分钟内大于100次，可以确定出目标操作符为大于，去重阈值为101，执行步骤205确定出的目标去重值集合与各自对应的目标时间记录如下：
g设备D-2018-05-04T10:02:00 [(U101，1)]
h设备D-2018-05-04T10:01:00 [(U1，1)，(U2，1)……(U10，1)]
i设备D-2018-05-04T10:00:00 [(U1，1)，(U2，1)……(U11，1)]
j设备D-2018-05-04T9:59:00 [(U1，1)，(U2，1)……(U100，1)]
此时，服务器遍历g-j每个目标去重值集合下的去重值均小于101，则可以将每个目标去重值集合下的去重值合并，这里的需要合并U1到U101一共有101个值，也即确定合并后的去重值数量101等于去重阈值101，则确定目标去重流量命中“同设备号不同账户交易成功次数在过去10分钟内大于100次”这一预设流量规则。
在一个实施例中，当服务器确定出目标去重流量命中预设流量规则后，可以输出提示信息，当运维人员查看到该提示信息后，则可以及时处理，进而实现去重流量的风险控制。
在一个实施例中，当服务器确定出目标去重流量命中预设流量规则后，还可以获取该目标去重流量对应的账号信息，并对该账号信息添加标识信息，该标识信息用于标识该账号信息对应的目标账户存在历史异常行为。进一步地，服务器可以将添加标识信息后的账号信息分发到其它服务器，提示其它服务器目标账号存在历史异常行为。采用这样的方式，任一个接收到该账号信息的其它服务器均可以在检测到目标账号登录时，发出预警通知，通知目标账号存在历史异常行为，进一步提高风险控制。其中，该账号信息可以包括设备号，用户ID、IP地址或者登录账号等等，该标识信息可以为一个标记符号。
其中，该标识信息还可以包括目标去重流量命中预设流量规则的历史时间，以及预设流量规则。这种情况下，其它服务器接收到添加标识信息后的账号信息后，可以将该账号信息存储在存储器中。当其它服务器检测到该账号信息对应的目标账号登录时，则可以获取预先存储的账号信息，并根据该账号信息输出预警通知，该预警通知包括目标去重流量命中预设流量规则的历史时间，以及预设流量规则。采用这样的方式，运维人员接收到预警通知后，可以查看目标账号具体的历史异常行为，进而执行后续的操作。例如，该目标账号具体的历史异常行为可以为目标账号在某一时间点命中了某一条预设规则。
本发明实施例中，服务器可以在接收到报文的情况下，判断该报文对应的流量是否为与预设流量规则匹配的目标去重流量，若判断出该报文对应的流量为与预设流量规则匹配的目标去重流量，则根据预设流量规则和当前系统时间确定出用于计算目标去重流量的多个目标时间窗口，获取多个目标时间窗口下各自对应的用于记录历史去重流量的去重值的去重流量数据。进一步地，服务器解析预设流量规则，确定出目标操作符以及目标操作符对应的特征阈值，并基于预设取值规则确定出与目标操作符以及特征阈值匹配的用于计算目标去重流量的去重阈值，并在多个目标时间窗口中的各个目标时间窗口的去重流量数据中获取数量等于去重阈值的去重值，得到各个目标时间窗口各自对应的去重值集合。进一步地，服务器解析各个目标时间窗口各自对应的去重值集合，从各个去重值集合中获取不为空集的目标去重值集合，并遍历每个目标去重值集合中去重值的数量，在目标操作符为大于或者大于等于的情况下，若确定出任一目标去重值集合中的数量大于或者等于去重阈值，则确定目标去重流量命中预设流量规则，并输出提示信息；或者，在目标操作符为等于、小于等于或者小于的情况下，若确定出任一目标去重值集合中的数量大于或者等于去重阈值，则确定目标去重流量不命中预设流量规则，并输出提示信息。采用本发明，可以减少获取目标时间窗口内去重值的数量，提高计算效率，有利于更高效地提示用户进行风险控制。
本发明实施例还提供了一种去重流量提示装置，该装置用于执行前述图1或者图2所述的方法的模块。具体地，参见图4，是本发明实施例提供的一种去重流量提示装置的示意框图。本实施例的去重流量提示装置包括：判断模块40、确定模块41、获取模块42以及输出模块43。
判断模块40，用于在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；
确定模块41，若所述判断模块判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；
获取模块42，用于获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值；
所述获取模块42，还用于根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个时间窗口中的各个时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个时间窗口各自对应的去重值集合；
所述判断模块40，还用于根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则；
输出模块43，用于若所述判断模块确定出所述目标去重流量命中所述预设流量规则，则输出提示信息。
在一个实施例中，确定模块41，具体用于：解析所述预设流量规则，确定出目标操作符以及所述目标操作符对应的特征阈值；基于预设取值规则，确定出与所述目标操作符以及所述特征阈值匹配的用于计算所述目标去重流量的去重阈值。
在一个实施例中，所述目标操作符包括大于、等于、小于等于、大于等于和小于中的至少一种，确定模块41，具体用于：识别所述目标操作符，在所述目标操作符为大于、等于或者小于等于的情况下，将所述特征阈值增加1后的数值确定为用于计算所述目标去重流量的去重阈值；在所述目标操作符为大于等于或者小于的情况下，将所述特征阈值对应的数值确定为用于计算所述目标去重流量的去重阈值。
在一个实施例中，判断模块40，具体用于：解析所述各个目标时间窗口各自对应的所述去重值集合，从各个所述去重值集合中获取不为空集的目标去重值集合，并遍历每个所述目标去重值集合中去重值的数量；在所述目标操作符为大于或者大于等于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；在所述目标操作符为等于、小于等于或者小于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
在一个实施例中，所述装置还包括：合并模块44，其中：
合并模块44，用于若每个所述目标去重值集合下去重值的数量均小于所述去重阈值，则将每个所述目标去重集合下的去重值进行合并；
判断模块40，还用于在所述目标操作符为大于或者大于等于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；
判断模块40，还用于在所述目标操作符为等于、小于等于或者小于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
在一个实施例中，判断模块40，具体用于：解析所述报文，得到所述报文的字段点信息；根据所述字段点信息判断所述报文对应的流量是否为与所述预设流量规则匹配的目标去重流量。
在一个实施例中，确定模块41，具体用于：解析所述预设流量规则，确定出统计所述目标去重流量的统计时长以及所述统计时长对应的时间粒度；根据所述统计时长和所述当前系统时间确定出统计所述目标去重流量的统计时间段；在所述统计时间段内确定出与所述时间粒度匹配的用于统计所述目标去重流量的多个目标时间窗口。
需要说明的是，本发明实施例所描述的去重流量提示装置的各功能模块的功能可根据图1或者图2所述的方法实施例中的方法具体实现，其具体实现过程可以参照图1或者图2的方法实施例的相关描述，此处不再赘述。
请参见图5，图5是本发明实施例提供的一种服务器的示意性框图，如图5所示，该服务器包括，处理器501、存储器502和网络接口503。上述处理器501、存储器502和网络接口503可通过总线或其他方式连接，在本发明实施例所示图5中以通过总线连接为例。其中，网络接口503受所述处理器的控制用于收发消息，存储器502用于存储计算机程序，所述计算机程序包括程序指令，处理器501用于执行存储器502存储的程序指令。其中，处理器501被配置用于调用所述程序指令执行：在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；若判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值；根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个目标时间窗口中的各个目标时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个目标时间窗口各自对应的去重值集合；根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则，若命中，则输出提示信息。
应当理解，在本发明实施例中，所称处理器501可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器501还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器502可以包括只读存储器和随机存取存储器，并向处理器501提供指令和数据。存储器502的一部分还可以包括非易失性随机存取存储器。例如，存储器502还可以存储设备类型的信息。
具体实现中，本发明实施例中所描述的处理器501、存储器502和网络接口503可执行本发明实施例提供的图1或者图2所述的方法实施例所描述的实现方式，也可执行本发明实施例所描述的去重流量提示装置的实现方式，在此不再赘述。
在本发明的另一实施例中提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令被处理器执行时实现：在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；若判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值；根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个目标时间窗口中的各个目标时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个目标时间窗口各自对应的去重值集合；根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则，若命中，则输出提示信息。
所述计算机可读存储介质可以是前述任一实施例所述的服务器的内部存储单元，例如服务器的硬盘或内存。所述计算机可读存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。进一步地，所述计算机可读存储介质还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述服务器所需的其他程序和数据。所述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所揭露的仅为本发明的部分实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (10)

1.一种去重流量提示方法，其特征在于，包括：
在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；
若判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；
获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值，所述去重值为用于指示去重流量的标识；
根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个目标时间窗口中的各个目标时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个目标时间窗口各自对应的去重值集合；
根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则，若命中，则输出提示信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，包括：
解析所述预设流量规则，确定出目标操作符以及所述目标操作符对应的特征阈值；
基于预设取值规则，确定出与所述目标操作符以及所述特征阈值匹配的用于计算所述目标去重流量的去重阈值。
3.根据权利要求2所述的方法，其特征在于，所述目标操作符包括大于、等于、小于等于、大于等于和小于中的至少一种，所述基于预设取值规则，确定出与所述目标操作符以及所述特征阈值匹配的用于计算所述目标去重流量的去重阈值，包括：
识别所述目标操作符，在所述目标操作符为大于、等于或者小于等于的情况下，将所述特征阈值增加1后的数值确定为用于计算所述目标去重流量的去重阈值；
在所述目标操作符为大于等于或者小于的情况下，将所述特征阈值对应的数值确定为用于计算所述目标去重流量的去重阈值。
4.根据权利要求2或3所述的方法，其特征在于，所述根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则，包括：
解析所述各个目标时间窗口各自对应的所述去重值集合，从各个所述去重值集合中获取不为空集的目标去重值集合，并遍历每个所述目标去重值集合中去重值的数量；
在所述目标操作符为大于或者大于等于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；
在所述目标操作符为等于、小于等于或者小于的情况下，若任一目标去重值集合中的所述数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
5.根据权利要求4所述的方法，其特征在于，所述遍历所述目标去重值集合下去重值的数量之后，所述方法还包括：
若每个所述目标去重值集合下去重值的数量均小于所述去重阈值，则将每个所述目标去重集合下的去重值进行合并；
在所述目标操作符为大于或者大于等于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量命中所述预设流量规则；
在所述目标操作符为等于、小于等于或者小于的情况下，若合并后的所述去重值的数量大于或者等于所述去重阈值，则确定所述目标去重流量不命中所述预设流量规则。
6.根据权利要求1所述的方法，其特征在于，所述判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量，包括：
解析所述报文，得到所述报文的字段点信息；
根据所述字段点信息判断所述报文对应的流量是否为与所述预设流量规则匹配的目标去重流量。
7.根据权利要求1所述的方法，其特征在于，所述预设流量规则还预定义了统计所述目标去重流量的统计时长，所述根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口，包括：
解析所述预设流量规则，确定出计算所述目标去重流量的统计时长以及所述统计时长对应的时间粒度；
根据所述统计时长和所述当前系统时间确定出计算所述目标去重流量的统计时间段；
在所述统计时间段内确定出与所述时间粒度匹配的用于计算所述目标去重流量的多个目标时间窗口。
8.一种去重流量提示装置，其特征在于，包括：
判断模块，用于在接收到报文的情况下，判断所述报文对应的流量是否为与预设流量规则匹配的目标去重流量；
确定模块，若所述判断模块判断出所述报文对应的流量为与预设流量规则匹配的目标去重流量，则根据所述预设流量规则和当前系统时间确定出用于计算所述目标去重流量的多个目标时间窗口；
获取模块，用于获取所述多个目标时间窗口下各自对应的去重流量数据，所述去重流量数据用于记录历史去重流量的去重值，所述去重值为用于指示去重流量的标识；
所述获取模块，还用于根据所述预设流量规则确定出用于计算所述目标去重流量的去重阈值，并在所述多个时间窗口中的各个时间窗口的所述去重流量数据中获取数量等于所述去重阈值的去重值，得到所述各个时间窗口各自对应的去重值集合；
所述判断模块，还用于根据所述各个目标时间窗口各自对应的所述去重值集合中去重值的数量，确定所述目标去重流量是否命中所述预设流量规则；
输出模块，用于若所述判断模块确定出所述目标去重流量命中所述预设流量规则，则输出提示信息。
9.一种服务器，其特征在于，包括处理器和存储装置，所述处理器和所述存储装置相互连接，其中，所述存储装置用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如权利要求1-7任一项所述的方法。
CN201810704335.XA 2018-06-30 2018-06-30 一种去重流量提示方法、装置、服务器及存储介质 Active CN108923972B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810704335.XA CN108923972B (zh) 2018-06-30 2018-06-30 一种去重流量提示方法、装置、服务器及存储介质
PCT/CN2018/108475 WO2020000744A1 (zh) 2018-06-30 2018-09-28 一种去重流量提示方法、装置、服务器及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810704335.XA CN108923972B (zh) 2018-06-30 2018-06-30 一种去重流量提示方法、装置、服务器及存储介质

Publications (2)

Publication Number Publication Date
CN108923972A CN108923972A (zh) 2018-11-30
CN108923972B true CN108923972B (zh) 2021-06-04

Family

ID=64423821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810704335.XA Active CN108923972B (zh) 2018-06-30 2018-06-30 一种去重流量提示方法、装置、服务器及存储介质

Country Status (2)

Country Link
CN (1) CN108923972B (zh)
WO (1) WO2020000744A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109995613B (zh) * 2019-03-29 2021-02-05 北京乐蜜科技有限责任公司 流量计算方法和装置
CN111142942B (zh) * 2019-12-26 2023-08-04 远景智能国际私人投资有限公司 窗口数据的处理方法、装置、服务器及存储介质
CN111177137B (zh) * 2019-12-30 2023-10-13 广州酷狗计算机科技有限公司 数据去重的方法、装置、设备及存储介质
CN113190567B (zh) * 2021-04-28 2021-09-28 支付宝(杭州)信息技术有限公司 一种交易检测方法和装置
CN115086195B (zh) * 2022-06-09 2024-02-02 北京锐安科技有限公司 分流设备的报文去重时间确定方法、装置、设备及介质
CN114996261B (zh) * 2022-08-05 2022-10-28 深圳市深蓝信息科技开发有限公司 基于ais数据的去重方法、装置、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559282A (zh) * 2013-11-07 2014-02-05 北京国双科技有限公司 实时系统数据的去重方法和装置
CN105468699A (zh) * 2015-11-18 2016-04-06 珠海多玩信息技术有限公司 去重数据统计方法及设备
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN106844143A (zh) * 2016-12-27 2017-06-13 微梦创科网络科技（中国）有限公司 一种日志去重处理方法及装置
CN107623605A (zh) * 2016-07-14 2018-01-23 精硕科技（北京）股份有限公司 网络流量去重的方法和系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050283511A1 (en) * 2003-09-09 2005-12-22 Wei Fan Cross-feature analysis
JP6266479B2 (ja) * 2014-09-12 2018-01-24 東芝メモリ株式会社 メモリシステム
CN107995046B (zh) * 2017-12-20 2021-08-24 北京搜狐新媒体信息技术有限公司 一种网络报警分析方法、装置及电子设备
CN108234524B (zh) * 2018-04-02 2020-08-21 广州广电研究院有限公司 网络数据异常检测的方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559282A (zh) * 2013-11-07 2014-02-05 北京国双科技有限公司 实时系统数据的去重方法和装置
CN105468699A (zh) * 2015-11-18 2016-04-06 珠海多玩信息技术有限公司 去重数据统计方法及设备
CN107623605A (zh) * 2016-07-14 2018-01-23 精硕科技（北京）股份有限公司 网络流量去重的方法和系统
CN106452868A (zh) * 2016-10-12 2017-02-22 中国电子科技集团公司第三十研究所 一种支持多维度聚合分类的网络流量统计实现方法
CN106844143A (zh) * 2016-12-27 2017-06-13 微梦创科网络科技（中国）有限公司 一种日志去重处理方法及装置

Also Published As

Publication number Publication date
CN108923972A (zh) 2018-11-30
WO2020000744A1 (zh) 2020-01-02

Similar Documents

Publication Publication Date Title
CN108923972B (zh) 一种去重流量提示方法、装置、服务器及存储介质
CN111917740B (zh) 一种异常流量告警日志检测方法、装置、设备及介质
CN106649831B (zh) 一种数据过滤方法及装置
CN108718298B (zh) 一种恶意外连流量检测方法及装置
CN114185708A (zh) 基于分布式链路追踪的数据分析方法、装置和电子设备
CN108492150B (zh) 实体热度的确定方法及系统
CN110609780B (zh) 数据监控方法、装置、电子设备及存储介质
CN109450869B (zh) 一种基于用户反馈的业务安全防护方法
CN113992340B (zh) 用户异常行为识别方法、装置、设备和存储介质
CN108737193A (zh) 一种故障预测方法及装置
CN110347568A (zh) 用户行为数据的处理方法和装置
CN108923967B (zh) 一种去重流量记录方法、装置、服务器及存储介质
CN108073703A (zh) 一种评论信息获取方法、装置、设备及存储介质
CN113535823B (zh) 异常访问行为检测方法、装置及电子设备
CN109639456B (zh) 一种自动化告警的改进方法及告警数据的自动化处理平台
CN114595765A (zh) 数据处理方法、装置、电子设备及存储介质
CN107911232B (zh) 一种确定业务操作规则的方法及装置
CN110108722B (zh) 一种检测方法及系统
CN109614382B (zh) 一种应用的日志分割方法及装置
CN109598525B (zh) 数据处理方法和装置
CN112242917A (zh) 一种车联网服务质量检测方法及系统
CN113095891A (zh) 一种数据处理方法、装置、存储介质及电子装置
CN112671756A (zh) 一种过滤异常流量的方法及装置
CN113315739A (zh) 一种恶意域名的检测方法及系统
CN113806196B (zh) 根因分析方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant