CN106559445B - 一种数据处理方法及装置 - Google Patents

一种数据处理方法及装置 Download PDF

Info

Publication number
CN106559445B
CN106559445B CN201510624880.4A CN201510624880A CN106559445B CN 106559445 B CN106559445 B CN 106559445B CN 201510624880 A CN201510624880 A CN 201510624880A CN 106559445 B CN106559445 B CN 106559445B
Authority
CN
China
Prior art keywords
processing
record
processing record
target
records
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510624880.4A
Other languages
English (en)
Other versions
CN106559445A (zh
Inventor
武乃辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201510624880.4A priority Critical patent/CN106559445B/zh
Publication of CN106559445A publication Critical patent/CN106559445A/zh
Application granted granted Critical
Publication of CN106559445B publication Critical patent/CN106559445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/50Network services
    • H04L67/51Discovery or management thereof, e.g. service location protocol [SLP] or web services

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Debugging And Monitoring (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及计算机与信息技术领域,尤其涉及一种数据处理方法及装置,用以解决在线下进行处理策略的确定及更新时,进行数据处理的效率较低的问题。本申请实施例提供的数据处理方法包括:服务器提取目标时间窗口内的目标处理记录,其中包括在第一设定时间段内产生的第一处理记录,第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;将所述目标处理记录按照预设的主体特征参数划分为多个处理集合;针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录,执行预设的处理逻辑。

Description

一种数据处理方法及装置
技术领域
本申请涉及计算机与信息技术领域,尤其涉及一种数据处理方法及装置。
背景技术
服务器在接收到用户终端的业务处理请求后,通常需要基于预设的处理策略对该业务处理请求进行安全性监测,在确定该业务处理请求为合法请求后,才会执行具体的业务处理。
不同的处理策略对应不同的处理逻辑,比如处理策略为:若同一个IP地址的登录次数在10天内不小于设定阈值,则认为当前的业务处理请求为安全请求,则服务器基于该处理策略执行的处理逻辑为:统计发起该业务处理请求的用户终端的IP地址在10天内登录的次数。
处理策略的准确率是影响业务处理成功率及用户体验的一个非常重要的因素,关于处理策略的确定及更新通常需要在线下以实验形式进行。比如,当针对最近一段时间内的处理记录进行处理策略的确定及更新时,除了最近一段时间内的处理记录外,还需要提取在最近一段时间之前的一定时间长度内的处理记录。比如,当需要针对当天8:00~9:00之间的处理记录进行处理策略的确定及更新时,可以针对其中任一条处理记录,提取在预设的时间窗口(比如前10天)内、且在产生该处理记录之前产生的、与该条处理记录在主体特征参数(比如上述列举的IP地址)上匹配的各条处理记录,将该条处理记录以及提取的在该条处理记录之前产生的各条处理记录作为一组处理记录,执行预设的处理逻辑(比如上述列举的统计IP地址在10天内登录的次数),最后,基于针对当天8:00~9:00之间的每条处理记录所执行的处理结果,以及确认的每条处理记录所对应的正确稽核结果(比如该条处理记录为安全处理),确定或更新处理策略(比如,确定或更新上述处理策略“若同一个IP地址的登录次数在10天内不小于设定阈值,则认为当前的业务处理请求为安全请求”中的设定阈值)。
为了实现处理策略的确定及更新,需要将最近一段时间内的各条处理记录,与总的时间窗口内的各条处理记录进行笛卡尔积运算,也即基于预设的主体特征参数(比如上述列举的IP地址),将最近一段时间内的每条处理记录,与总的时间窗口内的每条处理记录依次进行匹配,以确定用于执行预设的处理逻辑的各组处理记录。这种处理方式会不可避免地出现大量重复性的匹配工作,处理数据量巨大,导致处理效率很低,甚至会由于系统资源限制而导致处理过程出错,因而无法得到正确的处理结果。
发明内容
本申请实施例提供一种数据处理方法及装置,用以解决在线下进行处理策略的确定及更新时,进行数据处理的效率较低的问题。
本申请实施例提供一种数据处理方法,包括:
服务器提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;
将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同;
针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录。
可选地,针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑,包括:
针对每一个处理集合,将该处理集合内的每一条目标处理记录分别分配到对应的待处理缓存队列中;其中,不同的待处理缓存队列对应不同的处理逻辑;
针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的处理逻辑。
可选地,将所述目标处理记录按照预设的主体特征参数划分为多个处理集合后,还包括:
将每一个处理集合内的各条目标处理记录按照产生时间进行排序;
根据以下步骤确定所述第一处理记录的同族处理记录:
基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录。
可选地,基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录,包括:
按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
可选地,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录,包括:
基于设定的每一条第一处理记录的同族处理记录的最大数量,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
可选地,根据以下步骤确定所述目标时间窗口:
基于所述第一设定时间段,以及确定第一处理记录的同族处理记录时所需采用的所述设定时间长度,确定所述目标时间窗口。
本申请实施例提供一种数据处理装置,包括:
提取模块,用于提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;
划分模块,用于将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同;
执行模块,用于针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录。
本申请实施例将在预设的主体特征参数下的参数信息相同的各条目标处理记录分配在了同一个处理集合中,这样,就无需进行处理记录的逐条匹配,从而可以大大提高处理效率,并节省了系统资源。
附图说明
图1为本申请实施例一提供的数据处理方法流程图;
图2为本申请实施例二提供的数据处理方法流程图;
图3为本申请实施例三提供的数据处理方法流程图;
图4为本申请实施例提供的数据处理装置结构示意图。
具体实施方式
本申请实施例中,服务器在提取目标时间窗口内的目标处理记录后,首先将目标处理记录按照预设的主体特征参数(可以预设一种或多种主体特征参数)划分为多个处理集合,这样,在预设的主体特征参数下的参数信息相同的各条目标处理记录(可以在预设的一种或多种主体特征参数下的参数信息相同)就被分配在了同一个处理集合中;再针对每一个处理集合内的每一条第一处理记录(在第一设定时间段内产生的目标处理记录),基于该第一处理记录,以及该第一处理记录在该处理集合内的同族处理记录(在产生该第一处理记录之前设定时间长度内产生的),执行预设的处理逻辑。可见,本申请实施例将在预设的主体特征参数下的参数信息相同的各条目标处理记录分配在了同一个处理集合中,这样,就无需进行处理记录的逐条匹配,从而可以大大提高处理效率,并节省了系统资源。
下面结合说明书附图对本申请实施例作进一步详细描述。
实施例一
如图1所示,为本申请实施例一提供的数据处理方法流程图,包括以下步骤:
S101:服务器提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间。
在具体实施过程中,当服务器需要针对在第一设定时间段内产生的处理记录进行处理策略的确定或更新时,除在该第一设定时间段内产生的第一处理记录外,还需提取在该第一设定时间段之前一定时间长度内产生的其它目标处理记录。这里,服务器可以预设一个总的包含第一设定时间段的目标时间窗口,该目标时间窗口需要满足:针对每一条第一处理记录,所有在该第一处理记录之前设定时间长度内产生的目标处理记录的产生时间,都位于该目标时间窗口内。也即,可以基于该第一设定时间段,以及所述设定时间长度,确定所述目标时间窗口。比如,该第一设定时间段为2015年2月26日上午8:00~9:00,设定时间长度为10天,则可以确定目标时间窗口为自2015年2月16日上午8:00至2015年2月26日上午9:00。
S102:将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同。
在具体实施过程中,可以基于预先设定的一种或多种处理策略的体现形式来确定应该采用的一种或多种主体特征参数。比如同一IP地址在设定时间长度内的登录次数影响稽核结果,则可以将IP地址作为一种主体特征参数;再比如,同一用户账户在设定时间长度内请求业务处理的次数影响稽核结果,则可以将账户标识作为一种主体特征参数。
这里,针对每一种主体特征参数,将在该主体特征参数下的参数信息相同的各条目标处理记录归为一个处理集合;针对同一种主体特征参数,不同的处理集合之间的目标处理记录不同,但若不同的处理集合之间的主体特征参数不同(比如一个处理集合的主体特征参数为IP地址,另一个处理集合的主体特征参数为用户账户标识),则不同的处理集合之间可能存在相同的目标处理记录。
S103:针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的其它处理记录。
在具体实施过程中,可以为每一个处理集合分配一个处理进程,各处理进程可以并发针对本处理集合执行预设的处理逻辑,这样可以进一步提高处理效率。
在具体实施过程中,针对一个处理集合,对该处理集合内的每一条第一处理记录,执行:提取该处理集合内、产生时间在该第一处理记录的产生时间之前设定时间长度内的同族处理记录,将该第一处理记录及其同族处理记录作为一组处理记录,基于该组处理记录执行预设的处理逻辑。比如,采用主体特征参数“IP地址”,将对应的IP地址为10.1.2.3的各条目标处理记录划分到一个处理集合中,其中产生时间为2015年2月26日上午8:00的一条目标处理记录为第一处理记录,在该处理集合内提取产生时间在2015年2月26日上午8:00之前,且在2015年2月16日上午8:00之后(设定时间长度为10天)的目标处理记录作为该第一处理记录的同族处理记录,统计该第一处理记录及其同族处理记录的条数(预设的处理逻辑),若该条数为10条,也即表示该IP地址在10天内的登录次数为10次,若基于用户反馈确认该第一处理记录为一次安全的处理,则可以认为若发起业务处理请求的IP地址在10天内的登录次数在10次及以上,则可以认为该业务处理请求为安全的请求。当然,在具体实施中,会综合针对多条第一处理记录的处理结果确定最终的处理策略,比如综合的处理结果表明,发起业务处理请求的IP地址在10天内的登录次数在5次及以上的一般都为安全的请求,相反,在5次以下的一般为不安全的请求,则最终可以将一种处理策略设为,若发起业务处理请求的IP地址在10天内的登录次数在5次及以上,则认为此次业务处理请求为安全的请求。
在实际实施中,针对每一个处理集合,可能需要执行与不同处理策略相匹配的不同的处理逻辑,并且执行的不同的处理逻辑所针对的目标处理记录也可能存在不同,针对这种情况,本申请以下实施例二给出了具体的实施方式。
实施例二
如图2所示,为本申请实施例二提供的数据处理方法流程图,包括:
S201:服务器提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间。
S202:将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同。
S203:针对每一个处理集合,将该处理集合内的每一条目标处理记录分别分配到对应的待处理缓存队列中;其中,不同的待处理缓存队列对应不同的处理逻辑。
这里,根据该处理集合内的每一条目标处理记录对应的处理策略,将该处理集合内的各条目标处理记录分别分配到对应的待处理缓存队列中。
在具体实施过程中,服务器在产生一条处理记录后,可以根据预设的多种处理策略,以及该处理记录所包含的信息,确定该处理记录对应的一种或多种处理策略,并在该处理记录中进行标识。比如,处理策略1是与同一账户(账户标识为主体特征参数)在设定时间长度内的交易金额相关的一种处理策略,则若一条处理记录涉及到了交易金额,可以在该条处理记录中标识处理策略1,再比如,处理策略2是与同一账户在设定时间长度内使用的媒体访问控制(Media Access Control,MAC)地址相关的一种处理策略,则若一条处理记录涉及到了MAC地址,可以在该条处理记录中标识处理策略2。
针对每一个处理集合,根据在每一条目标处理记录中的处理策略标识信息,将各条目标处理记录分别分配到对应的待处理缓存队列中,每一个待处理缓存队列对应一种处理策略。
S204:针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的目标处理记录。
该步骤中,针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及在该第一处理记录之前设定时间长度内产生的该第一处理记录的同族处理记录,执行与该待处理缓存队列所对应的处理策略相匹配的处理逻辑。比如,一个待处理缓存队列所对应的处理策略为发起业务处理请求的IP地址在设定时间长度内的登录次数大于设定阈值时,认为此次业务处理请求为安全请求(或者小于设定阈值时,认为此次业务处理请求为风险请求),则针对一条第一处理记录,执行的预设的处理逻辑为:统计该第一处理记录和该第一处理记录在该待处理缓存队列中的同族处理记录的总条数,该总条数也即为发起该第一处理记录对应的业务处理请求的IP地址在设定时间长度内的登录次数。
在具体实施中,为了进一步提高处理效率,在将获取的所有目标处理记录划分为多个处理集合后,可以将每一个处理集合内的各条目标处理记录按照产生时间进行排序,这样,针对每一条第一处理记录,可以基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录。由于将各条目标处理记录按照时间进行了排序,可以按照时间顺序依次确定第一处理记录的各条同族处理记录,比如,按照产生时间由晚到早的顺序,依次查找产生时间在该第一处理记录的产生时间之前的每一条目标处理记录,直到查找到一条目标处理记录,其产生时间与当前第一处理记录的产生时间之间的时间间隔超过了设定时间长度,则可以停止查找,将查找到的除最后一条目标处理记录之外的其它目标处理记录作为该第一处理记录的同族处理记录。再比如,还可以按照产生时间由早到晚的顺序,依次查找产生时间在该第一处理记录的产生时间之前的每一条目标处理记录,直到查找到一条目标处理记录,其产生时间与当前第一处理记录的产生时间之间的时间间隔小于或等于设定时间长度,则可以停止查找,将最后查找到的目标处理记录,以及剩余未查找的在该第一处理记录之前产生的所有目标处理记录作为该第一处理记录的同族处理记录。
下面,通过实施例三,对本申请实施例的思想作进一步说明。
实施例三
如图3所示,为本申请实施例三提供的数据处理方法流程图,包括:
S301:服务器提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间。
在具体实施中,可以基于最近的第一设定时间段,以及预设的统计时间长度(也即后续介绍的设定时间长度),确定所述目标时间窗口,也即自第一设定时间段的最早时间点往前推设定时间长度起,至第一设定时间段的最晚时间点为止,这一段时间为所述目标时间窗口;比如,第一设定时间段为2015年2月26日上午8:00~9:00,设定时间长度为10天,则可以确定目标时间窗口为自2015年2月16日上午8:00至2015年2月26日上午9:00。
S302:将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,并将每一个处理集合内的各条目标处理记录按照产生时间进行排序;其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同。
如下表一所示,为基于账户标识这种主体特征参数划分出的一个处理集合,其中每一条目标处理记录除账户标识外,还包括处理策略标识、交易金额、MAC地址、IP地址、和产生时间标识(采用编号形式标识产生时间)
Figure BDA0000812118130000101
表一
S303:针对每一个处理集合,根据该处理集合内的每一条目标处理记录对应的处理策略,将该处理集合内的各条目标处理记录分别分配到对应的待处理缓存队列中。
如下表二~四所示,分别表示分配到不同的待处理缓存队列中的目标处理记录,其中影响表二对应的处理策略的特征参数除账户标识外,还包括交易金额和IP地址,影响表三对应的处理策略的特征参数除账户标识外,还包括MAC地址和IP地址,影响表四对应的处理策略的特征参数除账户标识外,还包括交易金额。
Figure BDA0000812118130000111
表二
Figure BDA0000812118130000112
表三
Figure BDA0000812118130000113
表四
S304:针对每个待处理缓存队列中的每一条第一处理记录,确定在该待处理缓存队列中的排序后的各条目标处理记录中,属于该第一处理记录的同族处理记录。
优选地,在没有处理记录数量的限制的情况下,可以按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为所述同族处理记录;也即依次将在该第一处理记录之前产生的目标处理记录归为所述同族处理记录,直到目标处理记录的产生时间与该第一处理记录的产生时间之间的时间间隔超过设定时间长度。
比如,在上述表三中,是将各条目标处理记录按照时间由晚到早(也即由晚到早)的顺序排列的,其中记录1是距离当前时间最近的一条目标处理记录,针对记录1,依次将记录4、记录5归为记录1的同族处理记录,由于记录6的产生时间与该记录1的产生时间之间的时间间隔大于设定时间长度,因此,记录6不再是记录1的同族处理记录,若排列在记录6之后的还有其它目标处理记录,由于其它目标处理记录的产生时间与该记录1的产生时间之间的时间间隔肯定也会大于设定时间长度,因此排列在记录6之后的其它目标处理记录也不再是记录1的同族处理记录。
在有处理记录数量的限制的情况下,可以基于设定的每一条第一处理记录的同族处理记录的最大数量,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的每一条目标处理记录归为所述同族处理记录;也即,依次将在该第一处理记录之前设定时间长度内产生的每一条目标处理记录归为所述同族处理记录,直到所述第一处理记录的同族处理记录的条数达到设定的最大数量。
在具体实施中,为了减少计算量及尽量采用距离当前时间最近的(也是最有价值的)目标处理记录,当在该第一处理记录之前设定时间长度内产生的目标处理记录的数量超过设定的最大数量时,只将产生时间距离该第一处理记录的产生时间最近的、设定的最大数量的目标处理记录作为该第一处理记录的同族处理记录。
S305:基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的处理策略相匹配的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的目标处理记录。
比如,针对位于处理策略1所对应的待处理缓存队列中的记录1这一第一处理记录,确定记录1的同族处理记录为记录2和记录5;假设处理策略1为:针对当前发起业务处理请求的用户终端的账户标识及IP地址,若具有同一账户标识及同一IP地址的用户终端之前发起的业务处理请求的数目小于设定阈值,则确定当前的业务处理请求为不安全的请求;则,基于记录1、记录2和记录5,统计得到在发生该记录1之前,具有同一账户和同一IP的用户终端之前发起的业务处理请求的数目为2,结合确认的正确稽核结果:该记录1为不安全的业务处理,可以认为:若具有同一账户标识及同一IP地址的用户终端之前发起的业务处理请求的数目小于或等于2,当前的业务处理请求很可能为不安全的请求。
基于上述思想,本申请实施例可以采用MapReduce编程模型来实现上述过程。
基于同一发明构思,本申请实施例中还提供了一种与数据处理方法对应的数据处理装置,由于该装置解决问题的原理与本申请实施例的数据处理方法相似,因此该装置的实施可以参见方法的实施,重复之处不再赘述。
如图4所示,为本申请实施例提供的数据处理装置结构示意图,包括:
提取模块41,用于提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;
划分模块42,用于将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同;
执行模块43,用于针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录。
可选地,所述执行模块43具体用于:
针对每一个处理集合,将该处理集合内的每一条目标处理记录分别分配到对应的待处理缓存队列中,其中,不同的待处理缓存队列对应不同的处理逻辑;针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的处理逻辑。
可选地,所述划分模块42还用于:在将所述目标处理记录按照预设的主体特征参数划分为多个处理集合后,将每一个处理集合内的各条目标处理记录按照产生时间进行排序;
所述执行模块43还用于根据以下步骤确定所述第一处理记录的同族处理记录:基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录。
可选地,所述执行模块43具体用于:
按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
可选地,所述执行模块43具体用于:
基于设定的每一条第一处理记录的同族处理记录的最大数量,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
可选地,所述提取模块41还用于:
基于所述第一设定时间段,以及确定第一处理记录的同族处理记录时所需采用的所述设定时间长度,确定所述目标时间窗口。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (12)

1.一种数据处理方法,其特征在于,该方法包括:
服务器提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;
将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同;
针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录。
2.如权利要求1所述的方法,其特征在于,针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑,包括:
针对每一个处理集合,将该处理集合内的每一条目标处理记录分别分配到对应的待处理缓存队列中;其中,不同的待处理缓存队列对应不同的处理逻辑;
针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的处理逻辑。
3.如权利要求1所述的方法,其特征在于,将所述目标处理记录按照预设的主体特征参数划分为多个处理集合后,还包括:
将每一个处理集合内的各条目标处理记录按照产生时间进行排序;
根据以下步骤确定所述第一处理记录的同族处理记录:
基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录。
4.如权利要求3所述的方法,其特征在于,基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录,包括:
按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
5.如权利要求4所述的方法,其特征在于,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录,包括:
基于设定的每一条第一处理记录的同族处理记录的最大数量,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
6.如权利要求1所述的方法,其特征在于,根据以下步骤确定所述目标时间窗口:
基于所述第一设定时间段,以及确定第一处理记录的同族处理记录时所需采用的所述设定时间长度,确定所述目标时间窗口。
7.一种数据处理装置,其特征在于,该装置包括:
提取模块,用于提取目标时间窗口内的目标处理记录;所述目标处理记录包括在第一设定时间段内产生的第一处理记录,所述第一设定时间段为自所述目标时间窗口内的设定时间点开始至该目标时间窗口的结束时间点为止的一段时间;
划分模块,用于将所述目标处理记录按照预设的主体特征参数划分为多个处理集合,其中每一个处理集合内的各条目标处理记录在预设的主体特征参数下的参数信息相同;
执行模块,用于针对每一个处理集合内的每一条第一处理记录,基于该第一处理记录,以及该第一处理记录的同族处理记录,执行预设的处理逻辑;其中,该第一处理记录的同族处理记录为在产生该第一处理记录之前设定时间长度内产生的、该第一处理记录所在处理集合内的目标处理记录。
8.如权利要求7所述的装置,其特征在于,所述执行模块具体用于:
针对每一个处理集合,将该处理集合内的每一条目标处理记录分别分配到对应的待处理缓存队列中,其中,不同的待处理缓存队列对应不同的处理逻辑;针对每个待处理缓存队列中的每一条第一处理记录,基于该第一处理记录及该第一处理记录在所属待处理缓存队列中的同族处理记录,执行与该待处理缓存队列所对应的处理逻辑。
9.如权利要求7所述的装置,其特征在于,
所述划分模块还用于:在将所述目标处理记录按照预设的主体特征参数划分为多个处理集合后,将每一个处理集合内的各条目标处理记录按照产生时间进行排序;
所述执行模块还用于根据以下步骤确定所述第一处理记录的同族处理记录:基于该第一处理记录所在的处理集合内的、排序后的各条目标处理记录,确定所述第一处理记录的同族处理记录。
10.如权利要求9所述的装置,其特征在于,所述执行模块具体用于:
按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
11.如权利要求10所述的装置,其特征在于,所述执行模块具体用于:
基于设定的每一条第一处理记录的同族处理记录的最大数量,按照各条目标处理记录的产生时间由晚到早的顺序,依次将在该第一处理记录之前设定时间长度内产生的目标处理记录归为该第一处理记录的同族处理记录。
12.如权利要求7所述的装置,其特征在于,所述提取模块还用于:
基于所述第一设定时间段,以及确定第一处理记录的同族处理记录时所需采用的所述设定时间长度,确定所述目标时间窗口。
CN201510624880.4A 2015-09-25 2015-09-25 一种数据处理方法及装置 Active CN106559445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510624880.4A CN106559445B (zh) 2015-09-25 2015-09-25 一种数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510624880.4A CN106559445B (zh) 2015-09-25 2015-09-25 一种数据处理方法及装置

Publications (2)

Publication Number Publication Date
CN106559445A CN106559445A (zh) 2017-04-05
CN106559445B true CN106559445B (zh) 2020-04-07

Family

ID=58415397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510624880.4A Active CN106559445B (zh) 2015-09-25 2015-09-25 一种数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN106559445B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990387B (zh) * 2019-11-29 2024-02-27 广东电网有限责任公司 一种电能计量设备停电记录错误处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN102055621A (zh) * 2009-10-29 2011-05-11 弗兰克公司 将网络业务与相关包有效关联的方法和设备
CN103618692A (zh) * 2013-10-28 2014-03-05 中国航天科工集团第二研究院七〇六所 一种构建日志快速匹配的方法
CN104462089A (zh) * 2013-09-13 2015-03-25 北大方正集团有限公司 一种数据处理方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7801749B2 (en) * 2007-06-07 2010-09-21 Ingenix, Inc. System and method for grouping claim records associated with a procedure
CN104768233A (zh) * 2014-01-03 2015-07-08 中兴通讯股份有限公司 一种d2d通讯方法及终端
JP2015170125A (ja) * 2014-03-06 2015-09-28 富士通株式会社 コンテンツ取得プログラム、装置、及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101183371A (zh) * 2007-12-12 2008-05-21 中兴通讯股份有限公司 一种快速完成大数据处理的方法和报表系统
CN102055621A (zh) * 2009-10-29 2011-05-11 弗兰克公司 将网络业务与相关包有效关联的方法和设备
CN104462089A (zh) * 2013-09-13 2015-03-25 北大方正集团有限公司 一种数据处理方法和装置
CN103618692A (zh) * 2013-10-28 2014-03-05 中国航天科工集团第二研究院七〇六所 一种构建日志快速匹配的方法

Also Published As

Publication number Publication date
CN106559445A (zh) 2017-04-05

Similar Documents

Publication Publication Date Title
CN106656932B (zh) 一种业务处理方法及装置
US10402427B2 (en) System and method for analyzing result of clustering massive data
US9116879B2 (en) Dynamic rule reordering for message classification
CN109492394B (zh) 异常业务请求的识别方法及终端设备
CN106202280B (zh) 一种信息处理方法及服务器
CN111008192B (zh) 一种数据管理方法、装置、设备及介质
US20230205755A1 (en) Methods and systems for improved search for data loss prevention
CN106844320B (zh) 一种财务报表整合方法和设备
CN106372977B (zh) 一种虚拟账户的处理方法和设备
US10120860B2 (en) Methods and apparatus to identify a count of n-grams appearing in a corpus
US9948570B2 (en) Stream data processing method and stream data processing device
CN104778252B (zh) 索引的存储方法和装置
CN110221914B (zh) 文件处理方法及装置
CN113626173B (zh) 调度方法、装置及存储介质
CN106559445B (zh) 一种数据处理方法及装置
US8667008B2 (en) Search request control apparatus and search request control method
CN111625507A (zh) 一种文件处理方法及装置
KR102464688B1 (ko) 모니터링 결과의 이벤트 등급 결정 방법 및 장치
CN114936187A (zh) 数据文件的处理方法、装置、设备及存储介质
CN114238328A (zh) 数据分页查询方法、装置、设备及存储介质
US9342511B2 (en) Fast selection in hardware or software
WO2020114155A1 (zh) 一种路基压实施工数据高效处理系统
CN105447755B (zh) 一种交易控制方法及装置
CN110929207A (zh) 数据处理方法、装置和计算机可读存储介质
CN111144509B (zh) 用于系统应用程序分类的方法、装置及计算机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200918

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200918

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Patentee after: Advanced innovation technology Co.,Ltd.

Address before: Cayman Islands Grand Cayman capital building, a four storey No. 847 mailbox

Patentee before: Alibaba Group Holding Ltd.

TR01 Transfer of patent right