CN114625625B - 一种基于识别用户行为的事件时序数据处理方法及系统 - Google Patents
一种基于识别用户行为的事件时序数据处理方法及系统 Download PDFInfo
- Publication number
- CN114625625B CN114625625B CN202210514440.3A CN202210514440A CN114625625B CN 114625625 B CN114625625 B CN 114625625B CN 202210514440 A CN202210514440 A CN 202210514440A CN 114625625 B CN114625625 B CN 114625625B
- Authority
- CN
- China
- Prior art keywords
- data
- processing
- time sequence
- module
- concurrency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种基于识别用户行为的事件时序数据处理方法及系统,涉及高并发数据处理技术领域,包括当用户行为识别模块识别到用户的高并发数据请求时,用户行为获取模块获取高并发数据请求的点击次数;数据获取模块获取高并发数据,数据分析模块对高并发数据进行分析;时序处理模块根据数据分析模块的分析结果确定高并发数据的处理时序;调整模块根据数据分析模块的分析结果对高并发数据的处理时序进行调整;当数据分析模块的分析结果为事件时序数据处理系统的响应时长不合格时,根据事件时序处理系统的通道利用率确定是否对高并发数据的处理时序进行调整,提高了对高并发数据处理过程的控制精度。
Description
技术领域
本发明涉及高并发数据处理技术领域,尤其涉及一种基于识别用户行为的事件时序数据处理方法及系统。
背景技术
高并发是指在同一个时间点,有很多用户同时的访问同一API接口或者Url 地址。它经常会发生在有大活跃用户量,用户高聚集的业务场景中。而面对高并发数据,现有的很多系统在一定程度上会出现处理速度严重下降,系统宕机等问题。
现有的应用于大数据的高并发在处理高并发数据时,已经能够针对事件型的高并发数据的处理速度得到了一定的提升。
中国专利公开号:CN105515837B公开了一种基于事件驱动的高并发WEB流量产生器,属于网络软件技术领域。该WEB流量产生器包括控制层,数据层和两个事件驱动层。其中控制层包含用户管理模块,用户行为模块,进程管理模块和负载均衡模块;数据层包含DNS查询模块,缓存管理模块,流量统计模块,发送模块和接收模块;事件驱动层包含事件的注册模块,监听模块和分发模块。本发明在控制层与数据层以及数据层与网络之间引入事件驱动层,用于解决层内大量的定时管理以及层间的异步通信问题。本发明提高了WEB流量产生器的用户模拟能力。同时,提高了WEB流量发生器并发执行性能,减小了进程或线程的切换开销,能够有效地提高HTTP连接的高并发处理能力;由此可见,所述基于事件驱动的高并发WEB流量产生器,仅仅只是通过用户行为监控和通过定时管理以及层间的异步通信,对于高并发数据的处理过程控制还不够精准,导致高并发数据处理效率低。
发明内容
为此,本发明提供一种基于识别用户行为的事件时序数据处理方法及系统,用以克服现有技术中通过用户行为监控和通过定时管理以及层间的异步通信,对于高并发数据的处理过程控制还不够精准,导致高并发数据处理效率低的问题。
为实现上述目的,本发明一种实施方式提供一种基于识别用户行为的事件时序数据处理方法,包括:
步骤S1、当用户行为识别模块识别到用户高并发数据请求时,用户行为获取模块获取高并发数据请求的点击次数;
步骤S2、数据获取模块获取高并发数据,数据分析模块对所述高并发数据进行分析;
步骤S3、时序处理模块根据所述数据分析模块的分析结果确定所述高并发数据的处理时序;
步骤S4、调整模块根据所述数据分析模块的分析结果对所述高并发数据的处理时序进行调整;
在所述步骤S2中,当所述分析模块对所述高并发数据进行分析时,根据所述高并发数据的数据量初步确定所述高并发数据的处理时序;
在所述步骤S4中,当所述数据分析模块的分析结果为事件时序数据处理系统的响应时长不合格时,根据事件时序数据处理系统的通道利用率确定是否对所述高并发数据的处理时序进行调整。
进一步地,在所述步骤S2中,当所述数据分析模块对所述高并发数据进行分析时,所述数据分析模块获取所述高并发数据的数据量U,所述时序处理模块根据该高并发数据量初步确定高并发数据的处理时序,
其中,所述时序处理模块中设有第一预设数据量U1、第二预设数据量U2、第一处理时序A1、第二处理时序A2、第三处理时序A3,其中U1<U2<U3,
当U≤U1时,所述时序处理模块将所述高并发数据的处理时序设置为A1;
当U1<U≤U2时,所述时序处理模块将所述高并发数据的处理时序设置为A2;
当U2<U≤U3时,所述时序处理模将所述高并发数据的处理时序设置为A3。
进一步地,当所述时序处理模块确定所述高并发数据的处理时序完成时,所述用户行为识别模块获取单次高并发数据请求的点击次数C,计算该点击次数C和高并发用户数E的比值B,设定B=C/E,并根据该比值B与预设比值B0的比对结果确定用户行为是否合格,
若B≤B0,所述用户行为识别模块判定所述用户行为合格;
若B>B0,所述用户行为识别模块判定所述用户行为不合格。
进一步地,当所述用户行为识别模块判定所述用户行为不合格时,所述调整模块计算所述比值B和预设比值B0的比值差ΔB,并根据该比值差与预设比值差的比对结果选取对应的调节系数对该用户请求的处理时序进行调整,
其中,所述调整模块设置有第一预设比值差ΔB1、第二预设比值差ΔB2、第三预设比值差ΔB3、第一时序调节系数K1、第二时序调节系数K2以及第三时序调节系数K3,其中,ΔB1<ΔB2<ΔB3,0.5<K3<K2<K1<1,
当ΔB≤ΔB1时,所述调整模块选取第一时序调节系数K1对所述用户请求的处理时序进行调整;
当ΔB1<ΔB≤ΔB2时,所述调整模块选取第二时序调节系数K2对所述用户请求的处理时序进行调整;
当ΔB2<ΔB≤ΔB3时,所述调整模块选取第三时序调节系数K3对所述用户请求的处理时序进行调整;
当所述调整模块选取第i时序调节系数Ki对所述用户请求的处理时序进行调整时,设定K=1,2,3,所述调整模块将调整后的用户请求处理时序设置为An´,设定An´=An×Ki,其中n=1,2,3。
进一步地,当所述用户行为识别模块确定所述用户行为合格时,所述数据分析模块获取高并发数据响应时间t,并根据该响应时间t与预设响应时间t0的比对结果确定事件时序数据处理系统响应时长是否合格,
若t≤t0,所述数据分析模块判定所述事件时序数据处理系统响应时长合格;
若t>t0,所述数据分析模块判定所述事件时序数据处理系统响应时长不合格。
进一步地,当所述数据分析模块判定所述事件时序数据处理系统响应时长不合格,所述数据分析模块计算所述事件时序数据处理系统的通道利用率P,设定P=W/W0,并将该通道利用率与预设通道利用率P0进行比对,并根据比对结果确定对所述高并发数据的处理时序是否进行调整,其中W为高并发数据的实时吞吐量,W0为所述事件时序数据处理系统的所有通道的标准吞吐量总和,
若P>P0,所述数据分析模块判定对高并发数据的处理时序进行调整;
若P≤P0,所述数据分析模块判定对高并发数据的处理时序不进行调整。
进一步地,当所述数据分析模块判定对高并发数据的处理时序进行调整时,若当前高并发数据的处理时序为A1时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小的高并发数据;若当前高并发数据的处理时序为A2时,则所述数据分析对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小且复杂度最低的高并发数据;若当前高并发数据的处理时序为A3时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度最小且数据量最小的高并发数据。
进一步地,当所述数据分析模块对所述高并发数据进行分析时,获取所述高并发数据中与所述事件时序数据处理系统编码类型不同种类的编码字长L,并根据该不同种类的编码字长L与该高并发数据的编码总字长Lz计算所述高并发数据的复杂度F,设定F=L/Lz。
进一步地,当所述数据分析模块确定所述高并发数据复杂度完成时,所述数据分析模块将所述高并发数据的复杂度F与预设复杂度F0进行比对,并根据该比对结果确定所述复杂度是否合格,
若F>F0,所述数据分析模块判定所述复杂度不合格;
若F≤F0,所述数据分析模块判定所述复杂度合格;
当所述数据分析模块判定所述复杂度不合格时,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度F小于预设复杂度F0的高并发数据。
本发明另一实施方式提供一种基于识别用户行为的事件时序数据处理方法的事件时序数据处理系统,包括:
用户行为识别模块,其用于识别用户高并发数据请求,并获取单次高并发数据请求的点击次数;
数据获取模块,其与所述用户行为识别模块连接,数据获取模块用以获取所述高并发数据请求时的高并发数据;
数据分析模块,其与所述数据获取模块连接,数据分析模块用以对所述数据获取模块获取的所述高并发数据进行分析;
时序处理模块,其与所述数据分析模块连接,时序处理模块用以根据所述数据获取模块获取的高并发数据确定所述高并发数据的处理时序;
调整模块,其分别与所述用户行为模块和时序数据模块连接,调整模块用以根据数据分析模块的分析结果对所述高并发数据的处理时序进行调整。
与现有技术相比,本发明的有益效果在于,本发明通过用户行为识别模块识别用户的高并发数据请求,并确定用户单次高并发数据请求的点击次数,在识别到高并发数据请求时,通过数据获取模块获取高并发数据,对该高并发数据进行分析,确定对高并发数据的处理时序,提高了对高并发数据处理过程的控制精度,从而提高了高并发数据的处理效率。
进一步地,本发明通过对高并发数据进行分析,确定高并发数据的数据量,并根据高并发数据的数据量与预设数据量的比对结果初步确定对高并发数据的处理时序,进一步提高了对高并发数据处理过程的控制精度,从而进一步提高了高并发数据的处理效率。
进一步地,本发明通过设置预设比值差值和时序调整系数,通过在确定用户请求的高并发数据完成时,根据用户请求的点击次数对用户行为进行判定,根据计算的用户点击次数和高并发用户数的比值的比对结果确定用户行为是否合格,并在确定用户行为不合格时,对用户请求的高并发数据的处理时序进行调整,进一步提高了对高并发数据处理过程的控制精度,从而进一步提高了高并发数据的处理效率。
进一步地,本发明通过在数据分析模块设置预设响应时间,并在确定用户行为合格时,根据实时的高并发数据响应时间与预设响应时间的比对结果确定系统响应时长是否合格,进一步提高了对高并发数据处理过程的控制精度,从而进一步提高了高并发数据的处理效率。
进一步地,本发明通过在数据分析模块设置预设通道利用率,并在确定系统响应时长不合格时,根据计算的通道利用率与预设通道利用率的比对结果确定是否对所述高并发数据的处理时序进行调整,进一步提高了对高并发数据处理过程的控制精度,从而进一步提高了高并发数据的处理效率。
进一步地,本发明通过在数据分析模块设置预设复杂度,并在确定根据复杂度对高并发数据的处理时序进行调整时,根据计算的高并发数据的复杂度与预设复杂度的比对结果确定对应高并发数据的复杂度是否合格,并在复杂度不合格时,对对应的高并发数据的处理时序进行调整,进一步提高了对高并发数据处理过程的控制精度,从而进一步提高了高并发数据的处理效率。
附图说明
图1为本发明所述基于识别用户行为的事件时序数据处理系统的结构框图;
图2为本发明所述基于识别用户行为的事件时序数据处理方法的流程图。
具体实施方式
为了使本发明的目的和优点更加清楚明白,下面结合实施例对本发明作进一步描述;应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非在限制本发明的保护范围。
需要说明的是,在本发明的描述中,术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系,这仅仅是为了便于描述,而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,还需要说明的是,在本发明的描述中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域技术人员而言,可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1所示,其为本发明所述基于识别用户行为的事件时序数据处理系统的结构框图。
本发明实施例所述基于识别用户行为的事件时序数据处理系统,包括:
用户行为识别模块,其用于识别用户高并发数据请求,并获取单次高并发数据请求的点击次数;
数据获取模块,其与所述用户行为识别模块连接,数据获取模块用以获取所述高并发数据请求时的高并发数据;
数据分析模块,其与所述数据获取模块连接,数据分析模块用以对所述数据获取模块获取的所述高并发数据进行分析;
时序处理模块,其与所述数据分析模块连接,时序处理模块用以根据所述数据获取模块获取的高并发数据确定所述高并发数据的处理时序;
调整模块,其分别与所述用户行为模块和时序数据模块连接,调整模块用以根据数据分析模块的分析结果对所述高并发数据的处理时序进行调整。
请参阅图2所示,其为本发明所述基于识别用户行为的事件时序数据处理方法的流程图。
本发明实施例所述基于识别用户行为的事件时序数据处理方法,包括:
步骤S1、当用户行为识别模块识别到用户高并发数据请求时,用户行为获取模块获取高并发数据请求的点击次数;
步骤S2、数据获取模块获取高并发数据,数据分析模块对所述高并发数据进行分析;
步骤S3、时序处理模块根据所述数据分析模块的分析结果确定所述高并发数据的处理时序;
步骤S4、调整模块根据所述数据分析模块的分析结果对所述高并发数据的处理时序进行调整。
在所述步骤S2中,当所述数据分析模块对所述高并发数据进行分析时,所述数据分析模块获取所述高并发数据的数据量U,所述时序处理模块根据该高并发数据量初步确定高并发数据的处理时序,
其中,所述时序处理模块中设有第一预设数据量U1、第二预设数据量U2、第一处理时序A1、第二处理时序A2、第三处理时序A3,其中U1<U2<U3,
当U≤U1时,所述时序处理模块将所述高并发数据的处理时序设置为A1;
当U1<U≤U2时,所述时序处理模块将所述高并发数据的处理时序设置为A2;
当U2<U≤U3时,所述时序处理模将所述高并发数据的处理时序设置为A3。
具体而言,第一处理时序A1为根据高并发数据的数据量由大到小排序处理,第二处理时序A2为根据高并发数据的数据量由小到大排序处理,第三处理时序A3为根据高并发数据的复杂度由小到大排序处理。
本发明实施例中,各所述处理时序中对应处理的高并发数据请求的请求数据量不同,各处理时序对应处理的请求数据量按照顺序递减,且各所述处理时序下,根据用户请求次数由少至多、请求时间由长至短进行排序。
当所述时序处理模块确定所述高并发数据的处理时序完成时,所述用户行为识别将单次高并发数据请求的点击次数C,并计算该点击次数C和高并发用户数E的比值B,设定B=C/E,并根据该比值B与预设比值B0的比对结果确定用户行为是否合格,
若B≤B0,所述用户行为识别模块判定所述用户行为合格;
若B>B0,所述用户行为识别模块判定所述用户行为不合格。
当所述用户行为识别模块判定所述用户行为不合格时,所述调整模块计算所述比值B和预设比值B0的比值差ΔB,并根据该比值差与预设比值差的比对结果选取对应的调节系数对该用户请求的处理时序进行调整,
其中,所述调整模块设置有第一预设比值差ΔB1、第二预设比值差ΔB2、第三预设比值差ΔB3、第一时序调节系数K1、第二时序调节系数K2以及第三时序调节系数K3,其中,ΔB1<ΔB2<ΔB3,1<K1<K2<K3<2,
当ΔB≤ΔB1时,所述调整模块选取第一时序调节系数K1对所述用户请求的处理时序进行调整;
当ΔB1<ΔB≤ΔB2时,所述调整模块选取第二时序调节系数K2对所述用户请求的处理时序进行调整;
当ΔB2<ΔB≤ΔB3时,所述调整模块选取第三时序调节系数K3对所述用户请求的处理时序进行调整;
当所述调整模块选取第i时序调节系数Ki对所述用户请求的处理时序进行调整时,设定K=1,2,3,所述调整模块将调整后的用户请求处理时序设置为An´,设定An´=An×Ki,其中n=1,2,3。
具体而言,所述调整模块在对用户请求的高并发数据处理时序进行调节时,根据用户请求的高并发数据所处的序列号乘对应的时序调节系数对所述高并发数据处理时序进行调节。
具体而言,当所述用户行为识别模块确定所述用户行为合格时,所述数据分析模块获取高并发数据响应时间t,并根据该响应时间t与预设响应时间t0的比对结果确定事件时序数据处理系统响应时长是否合格,
若t≤t0,所述数据分析模块判定所述事件时序数据处理系统响应时长合格;
若t>t0,所述数据分析模块判定所述事件时序数据处理系统响应时长不合格。
具体而言,当所述数据分析模块判定所述事件时序数据处理系统响应时长不合格,所述数据分析模块计算所述事件时序数据处理系统的通道利用率P,设定P=W/W0,并将该通道利用率与预设通道利用率P0进行比对,并根据比对结果确定对所述高并发数据的处理时序是否进行调整,其中W为高并发数据的实时吞吐量,W0为所述事件时序数据处理系统的所有通道的标准吞吐量总和,
若P>P0,所述数据分析模块判定对高并发数据的处理时序进行调整;
若P≤P0,所述数据分析模块判定对高并发数据的处理时序不进行调整。
具体而言,当所述数据分析模块判定对高并发数据的处理时序进行调整时,若当前高并发数据的处理时序为A1时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小的高并发数据;若当前高并发数据的处理时序为A2时,则所述数据分析对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小且复杂度最低的高并发数据;若当前高并发数据的处理时序为A3时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度最小且数据量最小的高并发数据。
本发明实施例所述基于识别用户行为的事件时序数据处理方法,当所述数据分析模块对所述高并发数据进行分析时,获取所述高并发数据中与所述事件时序数据处理系统编码类型不同种类的编码字长L,并根据该不同种类的编码字长L与该高并发数据的编码总字长Lz计算所述高并发数据的复杂度F,设定F=L/Lz。
具体而言,当所述调整模块在确定优先处理复杂度最小的高并发数据时,当所述数据分析模块确定所述高并发数据复杂度完成时,所述数据分析模块将所述高并发数据的复杂度F与预设复杂度F0进行比对,并根据该比对结果确定所述复杂度是否合格,
若F>F0,所述数据分析模块判定所述复杂度不合格;
若F≤F0,所述数据分析模块判定所述复杂度合格。
具体而言,当所述数据分析模块判定所述复杂度不合格时,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度F小于预设复杂度F0的高并发数据。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
以上所述仅为本发明的优选实施例,并不用于限制本发明;对于本领域的技术人员来说,本发明可以有各种更改和变化。 凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于识别用户行为的事件时序数据处理方法,其特征在于,包括:
步骤S1、当用户行为识别模块识别到用户高并发数据请求时,用户行为获取模块获取高并发数据请求的点击次数;
步骤S2、数据获取模块获取高并发数据,数据分析模块对所述高并发数据进行分析;
步骤S3、时序处理模块根据所述数据分析模块的分析结果确定所述高并发数据的处理时序;
步骤S4、调整模块根据所述数据分析模块的分析结果对所述高并发数据的处理时序进行调整;
在所述步骤S2中,当所述分析模块对所述高并发数据进行分析时,根据所述高并发数据的数据量初步确定所述高并发数据的处理时序;
当所述数据分析模块对所述高并发数据进行分析时,所述数据分析模块获取所述高并发数据的数据量U,所述时序处理模块根据该高并发数据量初步确定高并发数据的处理时序,
其中,所述时序处理模块中设有第一预设数据量U1、第二预设数据量U2、第一处理时序A1、第二处理时序A2、第三处理时序A3,其中U1<U2<U3,
当U≤U1时,所述时序处理模块将所述高并发数据的处理时序设置为A1;
当U1<U≤U2时,所述时序处理模块将所述高并发数据的处理时序设置为A2;
当U2<U≤U3时,所述时序处理模将所述高并发数据的处理时序设置为A3;
其中,第一处理时序A1为根据高并发数据的数据量由大到小排序处理,第二处理时序A2为根据高并发数据的数据量由小到大排序处理,第三处理时序A3为根据高并发数据的复杂度由小到大排序处理;
在所述步骤S4中,当所述数据分析模块的分析结果为事件时序数据处理系统的响应时长不合格时,根据事件时序数据处理系统的通道利用率确定是否对所述高并发数据的处理时序进行调整;
当所述时序处理模块确定所述高并发数据的处理时序完成时,所述用户行为识别模块获取单次高并发数据请求的点击次数C,计算该点击次数C和高并发用户数E的比值B,设定B=C/E,并根据该比值B与预设比值B0的比对结果确定用户行为是否合格,
若B≤B0,所述用户行为识别模块判定所述用户行为合格;
若B>B0,所述用户行为识别模块判定所述用户行为不合格;
当所述用户行为识别模块判定所述用户行为不合格时,所述调整模块计算所述比值B和预设比值B0的比值差ΔB,并根据该比值差与预设比值差的比对结果选取对应的调节系数对该用户请求的处理时序进行调整,所述调整模块将调整后的用户请求处理时序设置为An´,设定An´=An×Ki,其中Ki为时序调节系数,n=1,2,3。
2.根据权利要求1所述的基于识别用户行为的事件时序数据处理方法,其特征在于,当所述用户行为识别模块确定所述用户行为合格时,所述数据分析模块获取高并发数据响应时间t,并根据该响应时间t与预设响应时间t0的比对结果确定事件时序数据处理系统响应时长是否合格,
若t≤t0,所述数据分析模块判定所述事件时序数据处理系统响应时长合格;
若t>t0,所述数据分析模块判定所述事件时序数据处理系统响应时长不合格。
3.根据权利要求2所述的基于识别用户行为的事件时序数据处理方法,其特征在于,当所述数据分析模块判定所述事件时序数据处理系统响应时长不合格,所述数据分析模块计算所述事件时序数据处理系统的通道利用率P,设定P=W/W0,并将该通道利用率与预设通道利用率P0进行比对,并根据比对结果确定对所述高并发数据的处理时序是否进行调整,其中W为高并发数据的实时吞吐量,W0为所述事件时序数据处理系统的所有通道的标准吞吐量总和,
若P>P0,所述数据分析模块判定对高并发数据的处理时序进行调整;
若P≤P0,所述数据分析模块判定对高并发数据的处理时序不进行调整。
4.根据权利要求3所述的基于识别用户行为的事件时序数据处理方法,其特征在于,当所述数据分析模块判定对高并发数据的处理时序进行调整时,若当前高并发数据的处理时序为A1时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小的高并发数据;若当前高并发数据的处理时序为A2时,则所述数据分析对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理数据量最小且复杂度最低的高并发数据;若当前高并发数据的处理时序为A3时,则所述数据分析模块对所述高并发数据进行分析,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度最小且数据量最小的高并发数据。
5.根据权利要求4所述的基于识别用户行为的事件时序数据处理方法,其特征在于,当所述数据分析模块对所述高并发数据进行分析时,获取所述高并发数据中与所述事件时序数据处理系统编码类型不同种类的编码字长L,并根据该不同种类的编码字长L与该高并发数据的编码总字长Lz计算所述高并发数据的复杂度F,设定F=L/Lz。
6.根据权利要求5所述的基于识别用户行为的事件时序数据处理方法,其特征在于,当所述数据分析模块确定所述高并发数据复杂度完成时,所述数据分析模块将所述高并发数据的复杂度F与预设复杂度F0进行比对,并根据该比对结果确定所述复杂度是否合格,
若F>F0,所述数据分析模块判定所述复杂度不合格;
若F≤F0,所述数据分析模块判定所述复杂度合格;
当所述数据分析模块判定所述复杂度不合格时,所述调整模块将所述高并发数据的处理时序调整为优先处理复杂度F小于预设复杂度F0的高并发数据。
7.根据权利要求1-6任一项所述的基于识别用户行为的事件时序数据处理方法的事件时序数据处理系统,其特征在于,包括:
用户行为识别模块,其用于识别用户高并发数据请求,并获取单次高并发数据请求的点击次数;
数据获取模块,其与所述用户行为识别模块连接,数据获取模块用以获取所述高并发数据请求时的高并发数据;
数据分析模块,其与所述数据获取模块连接,数据分析模块用以对所述数据获取模块获取的所述高并发数据进行分析;
时序处理模块,其与所述数据分析模块连接,时序处理模块用以根据所述数据获取模块获取的高并发数据确定所述高并发数据的处理时序;
调整模块,其分别与所述用户行为模块和时序数据模块连接,调整模块用以根据数据分析模块的分析结果对所述高并发数据的处理时序进行调整;
所述数据分析模块在对所述高并发数据进行分析时,所述数据分析模块获取所述高并发数据的数据量U,所述时序处理模块根据该高并发数据量初步确定高并发数据的处理时序,
其中,所述时序处理模块中设有第一预设数据量U1、第二预设数据量U2、第一处理时序A1、第二处理时序A2、第三处理时序A3,其中U1<U2<U3,
当U≤U1时,所述时序处理模块将所述高并发数据的处理时序设置为A1;
当U1<U≤U2时,所述时序处理模块将所述高并发数据的处理时序设置为A2;
当U2<U≤U3时,所述时序处理模将所述高并发数据的处理时序设置为A3;
其中,第一处理时序A1为根据高并发数据的数据量由大到小排序处理,第二处理时序A2为根据高并发数据的数据量由小到大排序处理,第三处理时序A3为根据高并发数据的复杂度由小到大排序处理;
所述时序处理模块在确定所述高并发数据的处理时序完成时,所述用户行为识别模块获取单次高并发数据请求的点击次数C,计算该点击次数C和高并发用户数E的比值B,设定B=C/E,并根据该比值B与预设比值B0的比对结果确定用户行为是否合格,
若B≤B0,所述用户行为识别模块判定所述用户行为合格;
若B>B0,所述用户行为识别模块判定所述用户行为不合格;
当所述用户行为识别模块判定所述用户行为不合格时,所述调整模块计算所述比值B和预设比值B0的比值差ΔB,并根据该比值差与预设比值差的比对结果选取对应的调节系数对该用户请求的处理时序进行调整,所述调整模块将调整后的用户请求处理时序设置为An´,设定An´=An×Ki,其中Ki为时序调节系数,n=1,2,3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210514440.3A CN114625625B (zh) | 2022-05-12 | 2022-05-12 | 一种基于识别用户行为的事件时序数据处理方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210514440.3A CN114625625B (zh) | 2022-05-12 | 2022-05-12 | 一种基于识别用户行为的事件时序数据处理方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114625625A CN114625625A (zh) | 2022-06-14 |
CN114625625B true CN114625625B (zh) | 2022-08-05 |
Family
ID=81907197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210514440.3A Active CN114625625B (zh) | 2022-05-12 | 2022-05-12 | 一种基于识别用户行为的事件时序数据处理方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114625625B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106375329A (zh) * | 2016-09-20 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 一种数据推送方法和时序控制器以及数据推送系统 |
CN108958893A (zh) * | 2017-05-23 | 2018-12-07 | 中国移动通信集团重庆有限公司 | 高并发业务的资源控制方法、装置和计算机可读存储介质 |
GB202002803D0 (en) * | 2020-02-27 | 2020-04-15 | Crfs Ltd | Real-time data processing |
CN113762994A (zh) * | 2020-06-08 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户运营管理的方法和装置 |
CN114238037A (zh) * | 2022-02-28 | 2022-03-25 | 北京金堤科技有限公司 | 高并发服务请求结果存储方法和装置、以及电子设备和存储介质 |
CN114298597A (zh) * | 2021-12-31 | 2022-04-08 | 广州佳帆计算机有限公司 | 基于网络模型的订单处理方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104734946A (zh) * | 2015-04-09 | 2015-06-24 | 北京易掌云峰科技有限公司 | 一种多租户高并发的即时通讯云平台 |
US10942909B2 (en) * | 2018-09-25 | 2021-03-09 | Salesforce.Com, Inc. | Efficient production and consumption for data changes in a database under high concurrency |
CN114154132B (zh) * | 2022-02-10 | 2022-05-20 | 北京华科软科技有限公司 | 一种基于业务系统的数据共享方法 |
-
2022
- 2022-05-12 CN CN202210514440.3A patent/CN114625625B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106375329A (zh) * | 2016-09-20 | 2017-02-01 | 腾讯科技(深圳)有限公司 | 一种数据推送方法和时序控制器以及数据推送系统 |
CN108958893A (zh) * | 2017-05-23 | 2018-12-07 | 中国移动通信集团重庆有限公司 | 高并发业务的资源控制方法、装置和计算机可读存储介质 |
GB202002803D0 (en) * | 2020-02-27 | 2020-04-15 | Crfs Ltd | Real-time data processing |
CN113762994A (zh) * | 2020-06-08 | 2021-12-07 | 北京沃东天骏信息技术有限公司 | 用户运营管理的方法和装置 |
CN114298597A (zh) * | 2021-12-31 | 2022-04-08 | 广州佳帆计算机有限公司 | 基于网络模型的订单处理方法、装置、设备及存储介质 |
CN114238037A (zh) * | 2022-02-28 | 2022-03-25 | 北京金堤科技有限公司 | 高并发服务请求结果存储方法和装置、以及电子设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
高并发解决方案;若不离则不弃;《https://www.cnblogs.com/cn-sbo/p/10853469.html》;20190513;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114625625A (zh) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2304899B1 (en) | Priority-based admission control in a network with variable channel data rates | |
US20110239273A1 (en) | Network utilization and resource control based on traffic patterns | |
CN110708256A (zh) | Cdn调度方法、装置、网络设备及存储介质 | |
US11576187B2 (en) | Radio frequency resource allocation method, apparatus, device and system, and storage medium | |
EP4167149A1 (en) | Method and apparatus for building predictive model, computing device, and storage medium | |
Kiran et al. | Resource allocation optimization in LTE-A/5G networks using big data analytics | |
CN110944016B (zh) | DDoS攻击检测方法、装置、网络设备及存储介质 | |
CN1596525A (zh) | 无线系统中公平的依赖于信道的调度系统和方法 | |
CN114625625B (zh) | 一种基于识别用户行为的事件时序数据处理方法及系统 | |
CN101199162B (zh) | 一种控制通信网络的方法、系统和设备 | |
CN112799908B (zh) | 基于边缘计算的智能终端安全监控方法、设备和介质 | |
CN114189535A (zh) | 一种基于智慧城市数据的业务请求方法及系统 | |
CN102186203B (zh) | 数据业务信道数目的确定方法、装置和系统 | |
JP2023525112A (ja) | ユーザ機器ueのユーザデータを検出するための方法およびデバイス、並びに記憶媒体 | |
CN113038537B (zh) | 分配移动网络频谱资源的方法和电子设备 | |
CN115314421A (zh) | 基于网络智慧平台的量化管理系统 | |
CN113645594B (zh) | 信道资源管理方法、系统、基站及计算机可读存储介质 | |
CN112671670A (zh) | 一种vr视频业务识别方法、装置、智能终端及存储介质 | |
US11870863B2 (en) | Method for operating a network | |
CN210327630U (zh) | 一种边缘智能网络感知平台 | |
Hou et al. | Dystri: A Dynamic Inference based Distributed DNN Service Framework on Edge | |
CN113971093A (zh) | 一种消息处理方法、装置、设备及计算机存储介质 | |
CN115237241B (zh) | 一种数据中心节能调度方法及系统 | |
CN111093218A (zh) | 一种干扰分析方法和装置 | |
CN113891361B (zh) | 一种网络扩容方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |