CN113419792A - 一种事件处理方法、装置、终端设备和存储介质 - Google Patents

一种事件处理方法、装置、终端设备和存储介质 Download PDF

Info

Publication number
CN113419792A
CN113419792A CN202110741900.1A CN202110741900A CN113419792A CN 113419792 A CN113419792 A CN 113419792A CN 202110741900 A CN202110741900 A CN 202110741900A CN 113419792 A CN113419792 A CN 113419792A
Authority
CN
China
Prior art keywords
identification information
event
target
data
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110741900.1A
Other languages
English (en)
Inventor
王国涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weikun Shanghai Technology Service Co Ltd
Original Assignee
Weikun Shanghai Technology Service Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weikun Shanghai Technology Service Co Ltd filed Critical Weikun Shanghai Technology Service Co Ltd
Priority to CN202110741900.1A priority Critical patent/CN113419792A/zh
Publication of CN113419792A publication Critical patent/CN113419792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/448Execution paradigms, e.g. implementations of programming paradigms
    • G06F9/4482Procedural
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2291User-Defined Types; Storage management thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/466Transaction processing

Abstract

本申请适用于数据处理技术领域,提出一种事件处理方法、装置、终端设备和存储介质。该方法预先初始化一个布隆过滤器,将系统已处理的每个事件的标识信息写入该布隆过滤器的数据集合中;当接收到事件处理请求时,会将对应事件的标识信息映射至该布隆过滤器的位数组的多个目标数据位中,然后根据这些目标数据位的数值判断该对应事件的标识信息是否处于该数据集合中;若是,则表示该对应事件已处理,此时拒绝响应该事件处理请求,避免同一事件的重复处理;若否,则表示该对应事件未处理,此时响应该事件处理请求,然后将该对应事件的标识信息添加到该数据集合中,从而实现系统接口的幂等。

Description

一种事件处理方法、装置、终端设备和存储介质
技术领域
本申请属于数据处理技术领域,尤其涉及一种事件处理方法、装置、终端设备和存储介质。
背景技术
随着互联网行业的发展,越来越多的业务系统采用分布式的系统架构,能够满足业务高速增长下的系统吞吐量需求。在分布式系统的各类接口属性中,实现幂等是开发人员需要重点考虑的,幂等是指多次重复操作产生的影响与单次操作产生的影响相同。例如,当借贷系统调用放款接口时,若前端重复提交订单导致后端生成多个重复订单,则此时放款接口需要保证幂等性,避免出现重复放款的情况。
目前,幂等的实现方式通常是在业务表中建立唯一索引,设计一套通用的幂等表,在将接收到的事件处理请求的索引插入幂等表时,利用数据库的唯一索引特性,如果发现该索引重复,则拒绝响应该事件处理请求。然而,索引需要占用物理空间,而且在对幂等表中的数据进行操作时,索引也要执行对应的动态维护,如果业务系统某一时刻接收到的事件处理请求过多,则可能导致该业务系统的性能下降。
发明内容
有鉴于此,本申请提出一种事件处理方法、装置、终端设备和存储介质,能够在不降低系统性能的基础上,实现系统接口的幂等。
第一方面,本申请实施例提供了一种事件处理方法,包括:
当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,其中,所述位数组的各个数据位的数值根据所述布隆过滤器的数据集合设置,所述数据集合包含已处理的每个事件的标识信息;
根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
若所述目标事件的标识信息处于所述数据集合中,则拒绝响应所述事件处理请求;
若所述目标事件的标识信息未处于所述数据集合中,则响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。
本申请实施例预先初始化一个布隆过滤器,将系统已处理的每个事件的标识信息写入该布隆过滤器的数据集合中;当接收到事件处理请求时,会将对应事件的标识信息映射至该布隆过滤器的位数组的多个目标数据位中,然后根据这些目标数据位的数值判断该对应事件的标识信息是否处于该数据集合中;若是,则表示该对应事件已处理,此时拒绝响应该事件处理请求,避免同一事件的重复处理;若否,则表示该对应事件未处理,此时响应该事件处理请求,然后将该对应事件的标识信息添加到该数据集合中,从而实现系统接口的幂等。另一方面,由于布隆过滤器具有很高的空间效率和数据查询效率,故即便系统同时接收到大量的事件处理请求,也不会导致系统性能的明显下降。
在本申请的一个实施例中,将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,具体可以为:
基于K个哈希函数,将所述目标事件的标识信息映射至所述位数组的K个目标数据位,K为大于1的整数。
进一步的,根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中,可以包括:
若所述K个目标数据位的数值全部为第一数值,则确定所述目标事件的标识信息处于所述数据集合中;
若所述K个目标数据位的数值中存在一个以上的数值为第二数值,则确定所述目标事件的标识信息未处于所述数据集合中。
在本申请的一个实施例中,所述位数组的各个数据位的数值可以根据以下方式设置:
基于所述K个哈希函数,将所述数据集合包含的每个标识信息分别映射至所述位数组的各个待设数据位;
将所述各个待设数据位的数值设置为所述第一数值。
在本申请的一个实施例中,若所述K个目标数据位的数值全部为第一数值,在确定所述目标事件的标识信息处于所述数据集合中之前,还可以包括:
检测所述目标事件的标识信息是否存储于指定数据库中,所述指定数据库存储所述已处理的每个事件的标识信息;
若所述目标事件的标识信息存储于所述指定数据库中,则执行确定所述目标事件的标识信息处于所述数据集合中的步骤;
若所述目标事件的标识信息未存储于所述指定数据库中,则确定所述目标事件的标识信息未处于所述数据集合中,且在响应所述事件处理请求后,将所述目标事件的标识信息写入所述指定数据库。
进一步的,所述指定数据库为Key-value数据库,在检测所述目标事件的标识信息是否存储于指定数据库中之前,还可以包括:
将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,其中,所述已处理的每个事件都具有对应的事件处理时间,当所述数据缓存池写满后,每向所述数据缓存池写入一个新的标识信息,则将所述数据缓存池中对应的事件处理时间距离当前时间最长的事件的标识信息删除;
检测所述目标事件的标识信息是否存储于指定数据库中,具体可以为:
检测所述数据缓存池存储的关键字中是否包含所述目标事件的标识信息。
更进一步的,将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,可以包括:
从所述已处理的每个事件的标识信息中选取指定数量的标识信息,并将所述指定数量的标识信息写入所述数据缓存池;
每次从剩余标识信息中选取一个标识信息写入所述数据缓存池,直至将所述数据缓存池写满,其中,所述剩余标识信息为所述已处理的每个事件的标识信息中除所述指定数量的标识信息之外的其它标识信息,每次从所述剩余标识信息中选取的是对应的事件处理时间距离当前时间小于目标时长的事件的标识信息,所述目标时长为所述数据缓存池已存储的各个标识信息中对应事件的事件处理时间和当前时间的距离的最小值。
第二方面,本申请实施例提供了一种事件处理装置,包括:
标识信息获取模块,用于当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
标识信息映射模块,用于将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,其中,所述位数组的各个数据位的数值根据所述布隆过滤器的数据集合设置,所述数据集合包含已处理的每个事件的标识信息;
标识信息检测模块,用于根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
请求拒绝模块,用于若所述目标事件的标识信息处于所述数据集合中,则拒绝响应所述事件处理请求;
请求响应模块,用于若所述目标事件的标识信息未处于所述数据集合中,则响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。第三方面,本申请实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例第一方面提出的事件处理方法。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请实施例第一方面提出的事件处理方法。
第五方面,本申请实施例提供了一种计算机程序产品,当该计算机程序产品在终端设备上运行时,使得该终端设备执行如本申请实施例第一方面提出的事件处理方法。
上述第二方面至第五方面所能实现的有益效果,可以参照上述第一方面的相关说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种事件处理方法的一个实施例的流程图;
图2是布隆过滤器的原理示意图;
图3是本申请实施例提供的一种事件处理装置的一个实施例的结构图;
图4是本申请实施例提供的一种终端设备的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
对于同一个业务系统,在同样条件下,若一次请求和多次重复请求对资源的影响一致,则称该操作为幂等的。本申请提出一种事件处理方法、装置、终端设备和存储介质,能够在不降低系统性能的基础上,实现系统接口的幂等。
本申请实施例提供的事件处理方法可以应用于手机、平板电脑、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personal digital assistant,PDA)、大屏电视等终端设备或者服务器上,本申请实施例对终端设备和服务器的具体类型不作任何限制。
请参阅图1,本申请实施例中一种事件处理方法的第一个实施例包括:
101、当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
终端设备或者服务器在接收到一个事件处理请求时,首先获取该事件处理请求对应的目标事件的标识信息。其中,该事件处理请求可以是各种类型的操作请求,每个事件处理请求对应一个请求执行的事件,例如借贷业务请求对应一个借贷事件。标识信息是用于唯一标识一个事件的索引数据,例如对于借贷事件,其标识信息可以是“流水号”、“时间”、“放款金额”、“放款账户”等字段中的至少一个,用于表征该借贷事件的唯一性。应当理解,针对同一类型的两个事件,它们的标识信息也是不同的。
102、将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位;
本申请实施例预先初始化一个布隆过滤器,布隆过滤器是一种空间效率很高的随机数据结构,其基本思想为当一个目标元素加入数据集合时,通过多个散列函数(哈希函数)将该元素映射成一个位数组中的多个数据位,然后将该多个数据位设置为1。之后在检索时,只需要检测该多个数据位的数值是否都为1即可判断该数据集合中是否具有该目标元素。若该多个数据位的数值有一个以上为0,则表示目标元素一定不在该数据集合中;若该多个数据位的数值都为1,则表示目标元素大概率在该数据集合中。
如图2所示,为布隆过滤器的原理示意图。在图2中,数据集合S包含a、b和c三个元素,下方的位数组是一个包含大量数据位的数列,该数列初始化后全部的数值为0;每个元素都分别通过3个哈希函数映射至位数组中的3个数据位,并将这些数据位的数值置1。之后,若需要检索元素a是否处于数据集合S中,只需要检测元素a映射得到的3个数据位的数值是否都为1即可。
在本申请实施例中,将标识信息作为数据集合中的元素。当布隆过滤器初始化时,将位数组各个数据位的数值全部置0,并将系统已处理的每个事件(也可以是系统预设时长内已处理的每个事件)的标识信息写入该布隆过滤器的数据集合中,这些标识信息映射到该布隆过滤器的位数组的各个数据位,并将该各个数据位的数值置1。也即,该位数组的各个数据位的数值是根据布隆过滤器的数据集合设置的,而该数据集合包含已处理的每个事件的标识信息。
在获取到目标事件的标识信息之后,为了检验该目标事件是否已处理,需要将目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位中,再根据这些目标数据位的数值判断该目标事件的标识信息是否处于该布隆过滤器的数据集合中。
在本申请的一个实施例中,将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,具体可以为:
基于K个哈希函数,将所述目标事件的标识信息映射至所述位数组的K个目标数据位,K为大于1的整数。
可以采用K个不同的哈希函数对目标事件的标识信息进行处理,每个哈希函数返回一个数据位的编号,故可以返回K个数据位的编号,这些编号对应的数据位即为映射得到的K个目标数据位。例如,采用3个哈希函数对目标事件的标识信息进行处理,分别返回值2、7和13,则布隆过滤器中的第2个、第7个和第13个的数据位为映射得到的3个目标数据位。
103、根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
在将目标事件的标识信息映射至位数组的多个目标数据位之后,根据该多个目标数据位的数值判断该目标事件的标识信息是否处于布隆过滤器的数据集合中。根据布隆过滤器的原理,具体可以判断该目标数据位的数值是否都为1,若是则判定该目标事件的标识信息处于数据集合中,否则判定该目标事件的标识信息未处于数据集合中。
假设目标数据位的数量为K个,则步骤103可以包括:
(1)若所述K个目标数据位的数值全部为第一数值,则确定所述目标事件的标识信息处于所述数据集合中;
(2)若所述K个目标数据位的数值中存在一个以上的数值为第二数值,则确定所述目标事件的标识信息未处于所述数据集合中。
根据布隆过滤器的原理,若该K个目标数据位的数值全部为第一数值(例如1),则可以确定该目标事件的标识信息处于该数据集合中;若该K个目标数据位的数值中存在一个以上的数值为第二数值(例如0),则可以确定该目标事件的标识信息未处于该数据集合中。例如,假设K为3,基于3个哈希函数将目标事件的标识信息映射为3个目标数据位,分别为位数组中的第2个点、第7个点和第13个点,则若这3个目标数据位都为1,则判定目标事件的标识信息处于该数据集合中;若这3个目标数据位中存在0,则判定目标事件的标识信息未处于该数据集合中。
在本申请的一个实施例中,所述位数组的各个数据位的数值可以根据以下方式设置:
(1)基于所述K个哈希函数,将所述数据集合包含的每个标识信息分别映射至所述位数组的各个待设数据位;
(2)将所述各个待设数据位的数值设置为所述第一数值。
布隆过滤器的位数组在初始化的过程中,可以基于该K个哈希函数,将数据集合包含的每个标识信息(即系统已处理的事件的标识信息)分别映射至该位数组的各个待设数据位,然后将该各个待设数据位的数值设置为第一数值(例如1)。
考虑到不同的标识信息,映射出的数据位存在相同的可能,因此即使检测到该多个目标数据位的数值都为1,也不能100%确定该目标事件的标识信息处于布隆过滤器的数据集合中。而若检测到该多个目标数据位的数值中存在0,则可以100%确定该目标事件的标识信息未处于布隆过滤器的数据集合中。为了提高检测该目标事件的标识信息是否处于该数据集合中的准确率(本质是提高识别该目标事件是否为已处理事件的准确率),在本申请的一个实施例中,若所述K个目标数据位的数值全部为第一数值,在确定所述目标事件的标识信息处于所述数据集合中之前,还可以包括:
(1)检测所述目标事件的标识信息是否存储于指定数据库中,所述指定数据库存储所述已处理的每个事件的标识信息;
(2)若所述目标事件的标识信息存储于所述指定数据库中,则执行确定所述目标事件的标识信息处于所述数据集合中的步骤;
(3)若所述目标事件的标识信息未存储于所述指定数据库中,则确定所述目标事件的标识信息未处于所述数据集合中,且在响应所述事件处理请求后,将所述目标事件的标识信息写入所述指定数据库。
若各个目标数据位的数值都为1,可以进一步检测该目标事件的标识信息是否存储于某个指定数据库中。系统会将预设时间内已处理的每个事件的标识信息存储至该指定数据库,通过查询该指定数据库中是否存储该目标事件的标识信息,可以准确地判断该目标事件是否已处理,也即可以进一步判断该目标事件的标识信息是否处于前文所述的布隆过滤器的数据集合中。具体的,若在该指定数据库中查询到该目标事件的标识信息,则可以确定该目标事件的标识信息处于该数据集合中;若在该指定数据库中查询不到该目标事件的标识信息,则可以确定该目标事件的标识信息未处于该数据集合中,而且,在响应该事件处理请求,即对目标事件进行处理后,目标事件也成为一个已处理的事件,故将目标事件的标识信息也写入该指定数据库。
进一步的,所述指定数据库为Key-value数据库,在检测所述目标事件的标识信息是否存储于指定数据库中之前,还可以包括:
将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,其中,所述已处理的每个事件都具有对应的事件处理时间,当所述数据缓存池写满后,每向所述数据缓存池写入一个新的标识信息,则将所述数据缓存池中对应的事件处理时间距离当前时间最长的事件的标识信息删除。
Key-value数据库是一种以键值对存储数据的数据库,类似于java中的map,可以将整个数据库理解为一个大的map,每个关键字(key)都会对应一个唯一的值(value)。基于Key-value数据库的特点,本申请实施例将系统已处理的各个事件的标识信息作为关键字(key),写入Key-value数据库的数据缓存池中。另外,每个已处理的事件都具有对应的事件处理时间,当该数据缓存池写满后,每写入一个新的标识信息,会将该数据缓存池中对应的事件处理时间距离当前时间最长的事件(即执行时间最早的事件)的标识信息删除。示例性的,可以采用Redis数据库(属于一种Key-value数据库),基于该数据库实现LRU(最近最少使用)算法,从而淘汰数据缓存池中执行时间最早的事件的标识信息(key)。通过这样设置,检测目标事件的标识信息是否存储于指定数据库中具体可以为:检测数据缓存池存储的关键字中是否包含目标事件的标识信息。
更进一步的,将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,可以包括:
(1)从所述已处理的每个事件的标识信息中选取指定数量的标识信息,并将所述指定数量的标识信息写入所述数据缓存池;
(2)每次从剩余标识信息中选取一个标识信息写入所述数据缓存池,直至将所述数据缓存池写满,其中,所述剩余标识信息为所述已处理的每个事件的标识信息中除所述指定数量的标识信息之外的其它标识信息,每次从所述剩余标识信息中选取的是对应的事件处理时间距离当前时间小于目标时长的事件的标识信息,所述目标时长为所述数据缓存池已存储的各个标识信息中对应事件的事件处理时间和当前时间的距离的最小值。
在将已处理的每个事件的标识信息写入数据缓存池时,首先从这些标识信息中选取(可以采用随机选取,或者指定选取等方式)一定数量的标识信息,写入该数据缓存池。随后,每次从剩余的标识信息中选取对应的事件处理时间距离当前时间小于目标时长的事件的一个标识信息,写入该数据缓存池,直至将该数据缓存池写满。这里的目标时长是该数据缓存池已存储的各个标识信息中对应事件的事件处理时间和当前时间的距离的最小值,也即已存储的执行时间最晚(和当前时间最接近)的事件的执行时间和当前时间的差值。
以LRU算法为例,即每次选取的标识信息的LRU值要小于数据缓存池中已有的每个标识信息的LRU值,当数据缓存池写满后,每写入一个新的标识信息,则需要将数据缓存池中LRU值最大的标识信息删除。其中,LRU值是指关键字key的额外字段,可以是最后访问该key的时间,也可以是idle time(空闲时间)。示例性的,假设LRU值是空闲时间,数据缓存池的大小是16个key(即可缓存16个标识信息),采用LRU算法时,每次从数据库中不断读取空闲时间小于10分钟的索引数据(即标识信息),写入该数据缓存池中。当该数据缓存池写满16个key时,每写入一个新的key,则会将数据缓存池中空闲时间最大的key删除。
在上述方案中,利用布隆过滤器的高效过滤,以确定目标事件的标识信息(作为索引)是否存在于数据集合中,可以快速得到过滤结果。进一步的,通过在指定数据库中进行标识信息的二次查询,能够进一步提高该过滤结果的准确率。
若目标事件的标识信息处于所述数据集合中,则执行步骤104;若目标事件的标识信息未处于所述数据集合中,则执行步骤105。
104、拒绝响应所述事件处理请求;
目标事件的标识信息处于布隆过滤器的数据集合中,表示该目标事件是已处理的事件,也即该事件处理请求可能是针对同一事件的重复请求,此时系统拒绝响应该事件处理请求,即不执行该目标事件,以实现系统接口的幂等。例如,对于借贷系统,其放款接口针对一个订单号已经执行过放款,则后续针对同一个订单号的重复请求,系统会拒绝响应,从而实现该放款接口的幂等。
105、响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。
目标事件的标识信息未处于布隆过滤器的数据集合中,表示该目标事件是未处理的事件,此时系统响应该事件处理请求,执行该目标事件。之后,该目标事件成为一个已处理的事件,故将该目标事件的标识信息也添加至布隆过滤器的数据集合中。接着,布隆过滤器的数据集合进行更新,并将位数组的各个目标数据位置1,以等待接收下一次的事件处理请求,如此重复。
本申请实施例预先初始化一个布隆过滤器,将系统已处理的每个事件的标识信息写入该布隆过滤器的数据集合中;当接收到事件处理请求时,会将对应事件的标识信息映射至该布隆过滤器的位数组的多个目标数据位中,然后根据这些目标数据位的数值判断该对应事件的标识信息是否处于该数据集合中;若是,则表示该对应事件已处理,此时拒绝响应该事件处理请求,避免同一事件的重复处理;若否,则表示该对应事件未处理,此时响应该事件处理请求,然后将该对应事件的标识信息添加到该数据集合中,从而实现系统接口的幂等。另一方面,由于布隆过滤器具有很高的空间效率和数据查询效率,故即便系统同时接收到大量的事件处理请求,也不会导致系统性能的明显下降。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
对应于上文实施例所述的事件处理方法,图3示出了本申请实施例提供的一种事件处理装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。
参照图3,该装置包括:
标识信息获取模块301,用于当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
标识信息映射模块302,用于将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,其中,所述位数组的各个数据位的数值根据所述布隆过滤器的数据集合设置,所述数据集合包含已处理的每个事件的标识信息;
标识信息检测模块303,用于根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
请求拒绝模块304,用于若所述目标事件的标识信息处于所述数据集合中,则拒绝响应所述事件处理请求;
请求响应模块305,用于若所述目标事件的标识信息未处于所述数据集合中,则响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。
在本申请的一个实施例中,所述标识信息映射模块具体可以用于:基于K个哈希函数,将所述目标事件的标识信息映射至所述位数组的K个目标数据位,K为大于1的整数。
在本申请的一个实施例中,所述标识信息检测模块可以包括:
第一检测单元,用于若所述K个目标数据位的数值全部为第一数值,则确定所述目标事件的标识信息处于所述数据集合中;
第二检测单元,用于若所述K个目标数据位的数值中存在一个以上的数值为第二数值,则确定所述目标事件的标识信息未处于所述数据集合中。
在本申请的一个实施例中,所述事件处理装置还可以包括:
数据映射模块,用于基于所述K个哈希函数,将所述数据集合包含的每个标识信息分别映射至所述位数组的各个待设数据位;
数值设置模块,用于将所述各个待设数据位的数值设置为所述第一数值。
在本申请的一个实施例中,所述事件处理装置还可以包括:
数据库检测模块,用于检测所述目标事件的标识信息是否存储于指定数据库中,所述指定数据库存储所述已处理的每个事件的标识信息;
数据检测模块,用于若所述目标事件的标识信息存储于所述指定数据库中,则执行确定所述目标事件的标识信息处于所述数据集合中的步骤;
数据库写入模块,用于若所述目标事件的标识信息未存储于所述指定数据库中,则确定所述目标事件的标识信息未处于所述数据集合中,且在响应所述事件处理请求后,将所述目标事件的标识信息写入所述指定数据库。
进一步的,所述指定数据库为Key-value数据库,所述事件处理装置还可以包括:
关键字写入模块,用于将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,其中,所述已处理的每个事件都具有对应的事件处理时间,当所述数据缓存池写满后,每向所述数据缓存池写入一个新的标识信息,则将所述数据缓存池中对应的事件处理时间距离当前时间最长的事件的标识信息删除;
所述数据库检测模块具体可以用于:检测所述数据缓存池存储的关键字中是否包含所述目标事件的标识信息。
更进一步的,所述关键字写入模块可以包括:
标识信息选取单元,用于从所述已处理的每个事件的标识信息中选取指定数量的标识信息,并将所述指定数量的标识信息写入所述数据缓存池;
标识信息写入单元,用于每次从剩余标识信息中选取一个标识信息写入所述数据缓存池,直至将所述数据缓存池写满,其中,所述剩余标识信息为所述已处理的每个事件的标识信息中除所述指定数量的标识信息之外的其它标识信息,每次从所述剩余标识信息中选取的是对应的事件处理时间距离当前时间小于目标时长的事件的标识信息,所述目标时长为所述数据缓存池已存储的各个标识信息中对应事件的事件处理时间和当前时间的距离的最小值。
本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如图1表示的任意一种事件处理方法。
本申请实施例还提供一种计算机程序产品,当该计算机程序产品在服务器上运行时,使得服务器执行实现如图1表示的任意一种事件处理方法。
图4是本申请一实施例提供的终端设备的示意图。如图4所示,该实施例的终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个事件处理方法实施例中的步骤,例如图1所示的步骤101至105。或者,所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块301至305的功能。
示例性的,所述计算机可读指令42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令42在所述终端设备4中的执行过程。
所述终端设备4可以是智能手机、笔记本、掌上电脑及云端终端设备等计算设备。所述终端设备4可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是终端设备4的示例,并不构成对终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端设备4还可以包括输入输出设备、网络接入设备、总线等。
所述处理器40可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(AppLication Specific Integrated Circuit,ASIC)、现成可编程门阵列(FieLd-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述终端设备4的内部存储单元,例如终端设备4的硬盘或内存。所述存储器41也可以是所述终端设备4的外部存储设备,例如所述终端设备4上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器41还可以既包括所述终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (10)

1.一种事件处理方法,其特征在于,包括:
当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,其中,所述位数组的各个数据位的数值根据所述布隆过滤器的数据集合设置,所述数据集合包含已处理的每个事件的标识信息;
根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
若所述目标事件的标识信息处于所述数据集合中,则拒绝响应所述事件处理请求;
若所述目标事件的标识信息未处于所述数据集合中,则响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。
2.如权利要求1所述的事件处理方法,其特征在于,将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,具体为:
基于K个哈希函数,将所述目标事件的标识信息映射至所述位数组的K个目标数据位,K为大于1的整数。
3.如权利要求2所述的事件处理方法,其特征在于,根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中,包括:
若所述K个目标数据位的数值全部为第一数值,则确定所述目标事件的标识信息处于所述数据集合中;
若所述K个目标数据位的数值中存在一个以上的数值为第二数值,则确定所述目标事件的标识信息未处于所述数据集合中。
4.如权利要求3所述的事件处理方法,其特征在于,所述位数组的各个数据位的数值根据以下方式设置:
基于所述K个哈希函数,将所述数据集合包含的每个标识信息分别映射至所述位数组的各个待设数据位;
将所述各个待设数据位的数值设置为所述第一数值。
5.如权利要求3或4所述的事件处理方法,其特征在于,若所述K个目标数据位的数值全部为第一数值,在确定所述目标事件的标识信息处于所述数据集合中之前,还包括:
检测所述目标事件的标识信息是否存储于指定数据库中,所述指定数据库存储所述已处理的每个事件的标识信息;
若所述目标事件的标识信息存储于所述指定数据库中,则执行确定所述目标事件的标识信息处于所述数据集合中的步骤;
若所述目标事件的标识信息未存储于所述指定数据库中,则确定所述目标事件的标识信息未处于所述数据集合中,且在响应所述事件处理请求后,将所述目标事件的标识信息写入所述指定数据库。
6.如权利要求5所述的事件处理方法,其特征在于,所述指定数据库为Key-value数据库,在检测所述目标事件的标识信息是否存储于指定数据库中之前,还包括:
将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,其中,所述已处理的每个事件都具有对应的事件处理时间,当所述数据缓存池写满后,每向所述数据缓存池写入一个新的标识信息,则将所述数据缓存池中对应的事件处理时间距离当前时间最长的事件的标识信息删除;
检测所述目标事件的标识信息是否存储于指定数据库中,具体为:
检测所述数据缓存池存储的关键字中是否包含所述目标事件的标识信息。
7.如权利要求6所述的事件处理方法,其特征在于,将所述已处理的每个事件的标识信息作为关键字,写入所述Key-value数据库的数据缓存池,包括:
从所述已处理的每个事件的标识信息中选取指定数量的标识信息,并将所述指定数量的标识信息写入所述数据缓存池;
每次从剩余标识信息中选取一个标识信息写入所述数据缓存池,直至将所述数据缓存池写满,其中,所述剩余标识信息为所述已处理的每个事件的标识信息中除所述指定数量的标识信息之外的其它标识信息,每次从所述剩余标识信息中选取的是对应的事件处理时间距离当前时间小于目标时长的事件的标识信息,所述目标时长为所述数据缓存池已存储的各个标识信息中对应事件的事件处理时间和当前时间的距离的最小值。
8.一种事件处理装置,其特征在于,包括:
标识信息获取模块,用于当接收到事件处理请求时,获取所述事件处理请求对应的目标事件的标识信息;
标识信息映射模块,用于将所述目标事件的标识信息映射至布隆过滤器的位数组的多个目标数据位,其中,所述位数组的各个数据位的数值根据所述布隆过滤器的数据集合设置,所述数据集合包含已处理的每个事件的标识信息;
标识信息检测模块,用于根据所述多个目标数据位的数值判断所述目标事件的标识信息是否处于所述数据集合中;
请求拒绝模块,用于若所述目标事件的标识信息处于所述数据集合中,则拒绝响应所述事件处理请求;
请求响应模块,用于若所述目标事件的标识信息未处于所述数据集合中,则响应所述事件处理请求,并将所述目标事件的标识信息添加至所述数据集合中。
9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的事件处理方法。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的事件处理方法。
CN202110741900.1A 2021-06-30 2021-06-30 一种事件处理方法、装置、终端设备和存储介质 Pending CN113419792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110741900.1A CN113419792A (zh) 2021-06-30 2021-06-30 一种事件处理方法、装置、终端设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110741900.1A CN113419792A (zh) 2021-06-30 2021-06-30 一种事件处理方法、装置、终端设备和存储介质

Publications (1)

Publication Number Publication Date
CN113419792A true CN113419792A (zh) 2021-09-21

Family

ID=77717713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110741900.1A Pending CN113419792A (zh) 2021-06-30 2021-06-30 一种事件处理方法、装置、终端设备和存储介质

Country Status (1)

Country Link
CN (1) CN113419792A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679464A (zh) * 2022-03-24 2022-06-28 未鲲(上海)科技服务有限公司 基于分布式锁的数据回滚方法、装置、设备和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114679464A (zh) * 2022-03-24 2022-06-28 未鲲(上海)科技服务有限公司 基于分布式锁的数据回滚方法、装置、设备和存储介质
CN114679464B (zh) * 2022-03-24 2024-02-13 深圳九有数据库有限公司 基于分布式锁的数据回滚方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN108255958B (zh) 数据查询方法、装置和存储介质
CN111352902A (zh) 日志处理方法、装置、终端设备及存储介质
CN110489405B (zh) 数据处理的方法、装置和服务器
CN110909025A (zh) 数据库的查询方法、查询装置及终端
US20140201132A1 (en) Storing a key value to a deleted row based on key range density
CN116010300B (zh) 一种gpu缓存方法及装置、电子设备和存储介质
CN112579595A (zh) 数据处理方法、装置、电子设备及可读存储介质
CN112559386A (zh) 提升ssd性能的方法、装置、计算机设备及存储介质
CN108399175B (zh) 一种数据存储、查询方法及其装置
CN111949681A (zh) 数据的聚合处理装置、方法和存储介质
CN111046106A (zh) 缓存数据同步方法、装置、设备及介质
CN114721594A (zh) 一种分布式存储方法、装置、设备及机器可读存储介质
CN113419792A (zh) 一种事件处理方法、装置、终端设备和存储介质
CN111831691A (zh) 一种数据读写方法及装置、电子设备、存储介质
CN110222046B (zh) 列表数据的处理方法、装置、服务器和存储介质
CN111104426B (zh) 一种数据查询方法及系统
CN112765155A (zh) 基于区块链的键值存储方法、装置、终端设备及介质
CN111459937A (zh) 数据表关联方法、装置、服务器及存储介质
CN109213972B (zh) 确定文档相似度的方法、装置、设备和计算机存储介质
CN107368281B (zh) 一种数据处理方法及装置
CN110046180B (zh) 一种用于定位相似实例的方法、装置和电子设备
CN113625967A (zh) 数据存储方法、数据查询方法及服务器
US9824105B2 (en) Adaptive probabilistic indexing with skip lists
CN111198900A (zh) 工业控制网络的数据缓存方法、装置、终端设备及介质
CN111104528A (zh) 图片获取方法、装置及客户端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination