CN117632922A - 基于高并发任务处理的业务运营平台及数据处理方法 - Google Patents
基于高并发任务处理的业务运营平台及数据处理方法 Download PDFInfo
- Publication number
- CN117632922A CN117632922A CN202311568591.8A CN202311568591A CN117632922A CN 117632922 A CN117632922 A CN 117632922A CN 202311568591 A CN202311568591 A CN 202311568591A CN 117632922 A CN117632922 A CN 117632922A
- Authority
- CN
- China
- Prior art keywords
- task
- information
- data
- task execution
- execution data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 110
- 238000003672 processing method Methods 0.000 title abstract description 11
- 238000004140 cleaning Methods 0.000 claims abstract description 13
- 238000000034 method Methods 0.000 claims abstract description 13
- 230000010354 integration Effects 0.000 claims abstract description 8
- 230000003993 interaction Effects 0.000 claims abstract description 8
- 238000007726 management method Methods 0.000 claims description 34
- 238000012795 verification Methods 0.000 claims description 12
- 238000012550 audit Methods 0.000 claims description 11
- 238000007405 data analysis Methods 0.000 claims description 11
- 238000013524 data verification Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 238000004458 analytical method Methods 0.000 claims description 4
- 238000011084 recovery Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 230000002147 killing effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013475 authorization Methods 0.000 description 4
- 230000010076 replication Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000700605 Viruses Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005242 forging Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本申请公开了一种基于高并发任务处理的业务运营平台及数据处理方法,通过前端服务模块获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各高并发任务信息的第一任务执行数据,通过数据处理模块采集并验证第一任务执行数据,对第一任务执行数据进行数据清洗,获得第二任务执行数据,将第二任务执行数据发送至后端服务模块并存储至任务执行数据库,通过后端服务模块从任务执行数据库中获取第二任务执行数据,对第二任务执行数据进行任务审核管理,生成目标任务积分并下发。本申请能够提高任务处理效率,降低延迟,无需用户自行回传截图资料和人工审核截图资料,对数据库进行容灾处理,提升平台的稳定性和任务处理性能。
Description
技术领域
本申请涉及任务处理技术领域,特别涉及一种基于高并发任务处理的业务运营平台及数据处理方法。
背景技术
目前,业务运营平台在高并发任务处理中,例如口碑任务处理时,通常需要用户自行回传截图资料,然后平台采用对截图资料进行人工审核,这种处理方式耗费大量人工时间,增加运营成本,同时,人工审核具有一定的不准确性,无法满足用户的需求,用户的体验感不足。
同时,业务运营平台处理高并发任务时,尤其是瞬时高并发任务,例如秒杀活动,可能出现超发的情况,严重可能出现服务雪崩,稳定性不足,容易导致数据丢失,从而造成巨大损失。
发明内容
为了解决至少一个上述相关技术中存在的技术问题,本申请实施例提出了一种基于高并发任务处理的业务运营平台及数据处理方法,旨在实现自动审核高并发任务的任务执行数据,提高在处理高并发任务时平台的稳定性,增强平台的数据库容灾能力,有效避免数据库崩溃时出现数据丢失和数据无法恢复的问题。
本申请实施例的一方面提出了一种基于高并发任务处理的业务运营平台,所述平台包括:
前端服务模块,用于获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各所述高并发任务信息的第一任务执行数据;所述任务执行操作为用户根据各所述高并发任务信息进行任务处理的相关操作;
数据处理模块,用于采集并验证所述第一任务执行数据,对所述第一任务执行数据进行数据清洗,获得第二任务执行数据,将所述第二任务执行数据发送至后端服务模块并存储至任务执行数据库;所述任务执行数据库为一主两从架构的高可用数据库;
后端服务模块,用于从所述任务执行数据库中获取所述第二任务执行数据,根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标用户信息,对所述第二任务执行数据进行任务审核管理,生成目标任务积分,将所述目标任务积分下发至对应的用户任务信息中;所述用户任务信息通过所述目标用户信息与所述第二任务执行数据确定。
在一些实施例,所述后端服务模块包括用户管理单元和任务管理单元;
所述用户管理单元用于存储用户信息,提供第一信息接口;
所述任务管理单元用于响应任务生成操作,确定多个所述高并发任务信息并存储,提供第二信息接口;所述高并发任务信息包括任务标识信息、任务内容信息、任务审核规则信息和任务采集配置信息。
在一些实施例,所述后端服务模块还包括负载均衡单元和多个后端处理单元:
所述负载均衡单元,用于接收所述第二任务执行数据,监听各所述后端处理单元的服务负载信息,根据各所述后端处理单元的服务负载信息,从多个所述后端处理单元中确定最优处理单元,将所述第二任务执行数据分配至所述最优处理单元;
所述最优处理单元,用于接收所述第二任务执行数据,根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标任务标识信息,调用所述第二信息接口,确定与所述目标任务标识信息对应的任务审核规则信息,根据所述任务审核规则信息,对所述第二任务执行数据进行审核分析,确定所述目标任务积分;
所述最优处理单元还用于根据所述第二任务执行数据,调用所述第一信息接口,确定所述目标用户信息。
在一些实施例,所述后端处理单元还包括积分管理单元;
所述积分管理单元,用于接收所述目标任务标识信息、所述目标任务积分和所述目标用户信息,将所述目标用户信息和所述目标任务标识信息进行绑定,确定所述用户任务信息,将所述目标任务积分下发至所述用户任务信息,存储积分下发后的所述用户任务信息。
在一些实施例,所述数据处理模块包括数据验证单元;
所述数据验证单元,用于验证所述第一任务执行数据是否为合规数据,对合规的所述第一任务执行数据进行数据清洗,获得所述第二任务执行数据。
在一些实施例,所述后端服务模块还包括数据分析单元;
所述数据分析单元,用于对所述第二任务执行数据进行分析统计,获得数据分析结果。
在一些实施例,所述前端处理模块还用于响应用户的业务请求操作,获取用户请求信息,将所述用户请求信息转发至所述后端服务模块;
所述后端服务模块用于接收所述用户请求信息,根据所述用户请求信息进行任务请求处理,生成请求处理数据,对所述请求处理数据进行编码后输出至所述前端处理模块。
在一些实施例,所述业务运营平台还包括网关管理模块;
所述网关管理模块用于对所述用户请求信息进行请求验证处理,将请求验证处理后的所述用户请求信息转发至所述后端服务模块;所述请求验证处理至少包括请求信息过滤、请求限流以及熔断处理。
在一些实施例,所述数据处理模块还包括数据加密单元;
所述数据加密单元用于采用加密算法对所述第二任务执行数据进行加密处理。
本申请实施例的另一方面提出了一种业务运营数据处理方法,包括以下步骤:
获取多个高并发任务信息,响应任务执行操作,返回第一任务执行数据;所述任务执行操作为用户根据各所述高并发任务信息进行任务处理的相关操作;
验证所述第一任务执行数据,对所述第一任务执行数据进行数据清洗,获得第二任务执行数据并存储至任务执行数据库;所述任务执行数据库为一主两从架构的高可用数据库;
根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标用户信息,对所述第二任务执行数据进行任务审核管理,生成目标任务积分,将所述目标任务积分下发至对应的用户任务信息中;所述用户任务信息通过所述目标用户信息与所述第二任务执行数据确定。
本申请提供的一种基于高并发任务处理的业务运营平台及数据处理方法,其通过前端服务模块获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各高并发任务信息的第一任务执行数据,通过数据处理模块采集并验证第一任务执行数据,对第一任务执行数据进行数据清洗,获得第二任务执行数据,将第二任务执行数据发送至后端服务模块并存储至任务执行数据库,通过后端服务模块从任务执行数据库中获取第二任务执行数据,对第二任务执行数据进行任务审核管理,生成目标任务积分并下发。本申请能够在获得用户授权后,采集并验证用户的任务执行数据,对用户的任务执行数据进行自动审核下发积分,提高任务处理效率,降低延迟,提升用户的体验感,无需用户自行回传截图资料和人工审核截图资料,同时,对数据库进行容灾处理,提升了平台的稳定性和任务处理性能,避免因数据丢失而造成巨大损失。
附图说明
图1是本申请实施例提供的一种基于高并发任务处理的业务运营平台的结构示意图;
图2(a)是本申请实施例中任务执行数据库的结构示意图;
图2(b)是本申请实施例中任务执行数据库的另一结构示意图;
图3是本申请实施例中数据处理模块的结构示意图;
图4是本申请实施例中后端服务模块的结构示意图;
图5是本申请实施例提供的一种基于高并发任务处理的业务运营平台的另一结构示意图;
图6是本申请实施例提供的一种业务运营数据处理方法的流程图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
需要说明的是,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
目前,业务运营平台在高并发任务处理中,例如口碑任务处理时,通常需要用户自行回传截图资料,然后平台采用对截图资料进行人工审核,这种处理方式耗费大量人工时间,增加运营成本,同时,人工审核具有一定的不准确性,无法满足用户的需求,用户的体验感不足。
同时,业务运营平台处理高并发任务时,尤其是瞬时高并发任务,例如秒杀活动,可能出现超发的情况,严重可能出现服务雪崩,稳定性不足,容易导致数据丢失,从而造成巨大损失。
基于此,本申请实施例提出了一种基于高并发任务处理的业务运营平台及数据处理方法,旨在实现自动审核高并发任务的任务执行数据,提高在处理高并发任务时平台的稳定性,增强平台的数据库容灾能力,有效避免数据库崩溃时出现数据丢失和数据无法恢复的问题。
本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
参照图1,图1是本申请实施例提供的一种基于高并发任务处理的业务运营平台的一个可选的结构示意图,该业务运营平台可以包括但不限于包括以下模块:
前端服务模块,用于获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各高并发任务信息的第一任务执行数据;
数据处理模块,用于采集并验证第一任务执行数据,对第一任务执行数据进行数据清洗,获得第二任务执行数据,将第二任务执行数据发送至后端服务模块并存储至任务执行数据库;
后端服务模块,用于从任务执行数据库中获取第二任务执行数据,根据第二任务执行数据,确定与第二任务执行数据对应的目标用户信息,对第二任务执行数据进行任务审核管理,生成目标任务积分,将目标任务积分下发至对应的用户任务信息中。
在一些实施例中,任务执行操作为用户根据各高并发任务信息进行任务处理的相关操作,具体地,用户点击领取高并发任务,根据高并发任务信息执行任务,包括转发任务、与任务进行互动以及根据任务信息进行相关操作,然后在执行任务过程中产生任务执行数据,可选地,高并发任务为秒杀活动等口碑任务,用户领取秒杀活动的任务后,通过转发秒杀活动、点赞秒杀活动,或者对秒杀活动进行评论等任务执行操作,产生并返回对应的第一任务执行数据。
在一些实施例中,任务执行数据库为一主两从架构的高可用数据库,可选地,数据库采用MySQL数据库,三实例,一主两从,高可用方案采用开源复制拓扑管理工具Orchestrator。通过orchestrator实现自动故障转移和手动主从切换,采用一主两从的架构,通过数据冗余提高数据的可靠性,同时为了减轻MySQL的负担,使用Redis进行热数据缓存,以达到提升业务运营平台性能的目的。
具体地,参照图2(a)和图2(b),图2(a)和图2(b)是本申请实施例中任务执行数据库的一个可选的结构示意图,其中,Orchestrator(以下简称Orch)负责监听MySQL一主两从架构中三个MySQL数据库实例A、B和C的运行状态,当A发生故障时,Orch会自动从B和C中选择一个新主进行切换,假设B为新主,Orch会自动创建B到C的复制关系,旧主会被踢出复制拓扑,如果旧主需要重新加入拓扑,需要手动与B或者C建立复制关系。
在一些实施例中,参照图3,图3是本申请实施例中数据处理模块的一个可选的结构示意图,该数据处理模块包括以下模块单元:
数据验证单元,用于验证第一任务执行数据是否为合规数据,对合规的第一任务执行数据进行数据清洗,获得第二任务执行数据;
数据加密单元,用于采用加密算法对第二任务执行数据进行加密处理。
在一些实施例中,数据验证单元对返回的第一任务执行数据进行验证,判断是否存在异常数据或病毒数据,防止网络攻击等,判断第一任务执行数据的返回参数是否合规,确定第一任务执行数据的参数合规合法,判断第一任务执行数据是否带有敏感信息,过滤掉敏感信息,通过以上多重判断,完成对第一任务执行数据的数据清洗以防止恶意数据对业务运营平台造成破坏,提高数据输入的安全性。
在一些实施例中,数据加密单元对第二任务执行数据进行加密后存储至任务执行数据库,提高数据安全性,防止数据泄露或数据被窃取。
在一些实施例中,参照图4,图4是本申请实施例中后端服务模块的一个可选的结构示意图,该后端服务模块包括以下模块单元:
用户管理单元,用于存储用户信息,提供第一信息接口;
任务管理单元,用于响应任务生成操作,确定多个高并发任务信息并存储,提供第二信息接口;
负载均衡单元,用于接收第二任务执行数据,监听各后端处理单元的服务负载信息,根据各后端处理单元的服务负载信息,从多个后端处理单元中确定最优处理单元,将第二任务执行数据分配至最优处理单元;
多个后端处理单元,用于接收第二任务执行数据,根据第二任务执行数据进行任务审核,生成任务积分;
积分管理单元,用于接收目标任务标识信息、目标任务积分和目标用户信息,将目标用户信息和目标任务标识信息进行绑定,确定用户任务信息,将目标任务积分下发至用户任务信息,存储积分下发后的用户任务信息;
数据分析单元,用于对第二任务执行数据进行分析统计,获得数据分析结果。
最优处理单元,用于接收第二任务执行数据,根据第二任务执行数据,确定与第二任务执行数据对应的目标任务标识信息,调用第二信息接口,确定与目标任务标识信息对应的任务审核规则信息,根据任务审核规则信息,对第二任务执行数据进行审核分析,确定目标任务积分;
最优处理单元,还用于根据第二任务执行数据,调用第一信息接口,确定目标用户信息。
在一些实施例中,上述高并发任务信息包括任务标识信息、任务内容信息、任务审核规则信息和任务采集配置信息,其中,任务标识信息为任务ID,任务内容信息即任务描述、任务积分获取条件等信息,任务审核规则信息即针对该高并发任务的第二任务执行数据配置的任务审核规则和积分计算规则,任务采集配置信息为针对用户执行任务的相关操作,追踪或回传任务采集参数以自动采集任务执行数据的配置信息,示例性地,当转发高并发任务跳转到其他平台时,可以通过任务采集配置信息,自动回传任务转发的平台链接至前端服务模块,然后前端服务模块根据该平台链接采集对应的任务执行数据。
在一些实施例中,用户任务信息通过目标用户信息与第二任务执行数据确定,具体地,目标用户信息包括用户ID和对应于用户ID的用户任务明细等信息,用户任务明细中包括多个任务ID不同的用户任务信息,用户任务信息用于表示用户的任务完成情况和任务审核情况,第二任务执行数据包括任务ID,通过将用户任务明细中多个用户任务信息的任务ID和第二任务执行数据中包含的任务ID进行匹配,确定对应于第二任务执行数据的用户任务信息。
在一些实施例中,数据分析单元对任务执行数据进行分析统计,获得数据分析结果,平台运营人员根据数据分析结果,可以调整和完善高并发任务信息以提升用户的任务执行体验。
在一些实施例中,上述业务运营平台还包括网关管理模块。
网关管理模块,用于对用户请求信息进行请求验证处理,将请求验证处理后的用户请求信息转发至后端服务模块;请求验证处理至少包括请求信息过滤、请求限流以及熔断处理。
在一些实施例中,前端处理模块还可以用于响应用户的业务请求操作,获取用户请求信息,将用户请求信息转发至后端服务模块;
后端服务模块接收用户请求信息,根据用户请求信息进行任务请求处理,生成请求处理数据,对请求处理数据进行编码后输出至前端处理模块。
在上述用户请求过程中,网关管理模块可以作为数据传输的通道,先接收前端服务模块的用户请求信息,对用户请求信息进行过滤、限流、熔断等请求验证处理,再将请求验证处理后的用户请求信息转发到后端服务模块上以提高业务运营平台的稳定性和安全性。
在一些实施例中,可选地,上述用户请求信息包括用户请求登录、用户请求授权、用户请求查看数据等。
在一些实施例中,后端服务模块接收用户请求信息,根据用户请求信息进行任务请求处理,其中,后端服务模块为每个用户会话分配唯一的会话ID,以便于跟踪和管理用户的请求,同时,通过设置会话超时、会话劫持检测等机制,防止会话被恶意利用。
在一些实施例中,后端服务模块对请求处理数据进行编码后输出至前端处理模块以防止跨站脚本攻击等安全问题。
在一些实施例中,后端服务模块还用于进行安全日志记录,记录业务运营平台的关键操作,以便在发生安全事件时进行追踪和分析。这有助于及时发现潜在的攻击和漏洞。
在一些实施例中,上述业务运营平台还设置有跨站请求伪造(CSRF)防护,通过使用Token、验证码等技术,防止用户在没有相关请求授权的情况下提交表单或执行敏感操作。
在一些实施例中,上述业务运营平台采用微服务架构,微服务架构架构具有以下优点:
1)针对特定服务发布,影响小,风险小,成本低;
2)频繁发布版本,快速交付需求;
3)低成本扩容,弹性伸缩,适应云环境。
可选地,采用提供了配置管理、服务注册发现、熔断限流、认证鉴权、消息驱动、分布式跟踪等的微服务框架来实现微服务架构,示例性地,采用微服务框架Spring CloudAlibaba。
在一些实施例中,参照图5,图5是本申请实施例提供的一种基于高并发任务处理的业务运营平台的另一个可选的结构示意图,包括:
前端服务层,用于终端主要为小程序、APP、后端管理平台三端,提供人机交互界面以与用户进行人机交互。
接入层,用于通过负载均衡,将多个用户请求分摊到多台服务器上,进而提高业务运营平台的吞吐量,同时也可以提高业务运营平台的可伸缩性和可靠性。
网关管理层,用于将前端服务层的用户请求转发到后端服务层上,同时对用户请求进行过滤、限流、熔断等处理,以提高业务运营平台的稳定性和安全性。
后端服务层,用于实现业务逻辑和业务编排。
基础环境层,用于为业务实现提供基础运行环境。
参照图6,图6是本申请实施例提供的一种业务运营数据处理方法的一个可选的流程图,该业务运营数据处理方法可以包括但不限于包括步骤S101至步骤S103:
步骤S101,获取多个高并发任务信息,响应任务执行操作,返回第一任务执行数据;任务执行操作为用户根据各高并发任务信息进行任务处理的相关操作;
步骤S102,验证第一任务执行数据,对第一任务执行数据进行数据清洗,获得第二任务执行数据并存储至任务执行数据库;任务执行数据库为一主两从架构的高可用数据库;
步骤S103,根据第二任务执行数据,确定与第二任务执行数据对应的目标用户信息,对第二任务执行数据进行任务审核管理,生成目标任务积分,将目标任务积分下发至对应的用户任务信息中;用户任务信息通过目标用户信息与第二任务执行数据确定。
本申请实施例提供的一种基于高并发任务处理的业务运营平台及数据处理方法,其通过前端服务模块获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各高并发任务信息的第一任务执行数据,通过数据处理模块采集并验证第一任务执行数据,对第一任务执行数据进行数据清洗,获得第二任务执行数据,将第二任务执行数据发送至后端服务模块并存储至任务执行数据库,通过后端服务模块从任务执行数据库中获取第二任务执行数据,对第二任务执行数据进行任务审核管理,生成目标任务积分并下发。本申请能够在获得用户授权后,采集并验证用户的任务执行数据,对用户的任务执行数据进行自动审核下发积分,提高任务处理效率,降低延迟,提升用户的体验感,无需用户自行回传截图资料和人工审核截图资料,同时,对数据库进行容灾处理,提升了平台的稳定性和任务处理性能,避免因数据丢失而造成巨大损失。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域技术人员可知,随着技术的演变和新应用场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
本领域技术人员可以理解的是,图中示出的技术方案并不构成对本申请实施例的限定,可以包括比图示更多或更少的步骤,或者组合某些步骤,或者不同的步骤。
以上参照附图说明了本申请实施例的优选实施例,并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进,均应在本申请实施例的权利范围之内。
Claims (10)
1.一种基于高并发任务处理的业务运营平台,其特征在于,所述平台包括:
前端服务模块,用于获取多个高并发任务信息,提供人机交互界面,响应于任务执行操作,返回对应于各所述高并发任务信息的第一任务执行数据;所述任务执行操作为用户根据各所述高并发任务信息进行任务处理的相关操作;
数据处理模块,用于采集并验证所述第一任务执行数据,对所述第一任务执行数据进行数据清洗,获得第二任务执行数据,将所述第二任务执行数据发送至后端服务模块并存储至任务执行数据库;所述任务执行数据库为一主两从架构的高可用数据库;
后端服务模块,用于从所述任务执行数据库中获取所述第二任务执行数据,根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标用户信息,对所述第二任务执行数据进行任务审核管理,生成目标任务积分,将所述目标任务积分下发至对应的用户任务信息中;所述用户任务信息通过所述目标用户信息与所述第二任务执行数据确定。
2.根据权利要求1所述的业务运营平台,其特征在于,所述后端服务模块包括用户管理单元和任务管理单元;
所述用户管理单元用于存储用户信息,提供第一信息接口;
所述任务管理单元用于响应任务生成操作,确定多个所述高并发任务信息并存储,提供第二信息接口;所述高并发任务信息包括任务标识信息、任务内容信息、任务审核规则信息和任务采集配置信息。
3.根据权利要求2所述的业务运营平台,其特征在于,所述后端服务模块还包括负载均衡单元和多个后端处理单元:
所述负载均衡单元,用于接收所述第二任务执行数据,监听各所述后端处理单元的服务负载信息,根据各所述后端处理单元的服务负载信息,从多个所述后端处理单元中确定最优处理单元,将所述第二任务执行数据分配至所述最优处理单元;
所述最优处理单元,用于接收所述第二任务执行数据,根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标任务标识信息,调用所述第二信息接口,确定与所述目标任务标识信息对应的任务审核规则信息,根据所述任务审核规则信息,对所述第二任务执行数据进行审核分析,确定所述目标任务积分;
所述最优处理单元还用于根据所述第二任务执行数据,调用所述第一信息接口,确定所述目标用户信息。
4.根据权利要求3所述的业务运营平台,其特征在于,所述后端处理单元还包括积分管理单元;
所述积分管理单元,用于接收所述目标任务标识信息、所述目标任务积分和所述目标用户信息,将所述目标用户信息和所述目标任务标识信息进行绑定,确定所述用户任务信息,将所述目标任务积分下发至所述用户任务信息,存储积分下发后的所述用户任务信息。
5.根据权利要求1所述的业务运营平台,其特征在于,所述数据处理模块包括数据验证单元;
所述数据验证单元,用于验证所述第一任务执行数据是否为合规数据,对合规的所述第一任务执行数据进行数据清洗,获得所述第二任务执行数据。
6.根据权利要求5所述的业务运营平台,其特征在于,所述后端服务模块还包括数据分析单元;
所述数据分析单元,用于对所述第二任务执行数据进行分析统计,获得数据分析结果。
7.根据权利要求1所述的业务运营平台,其特征在于,所述前端处理模块还用于响应用户的业务请求操作,获取用户请求信息,将所述用户请求信息转发至所述后端服务模块;
所述后端服务模块用于接收所述用户请求信息,根据所述用户请求信息进行任务请求处理,生成请求处理数据,对所述请求处理数据进行编码后输出至所述前端处理模块。
8.根据权利要求7所述的业务运营平台,其特征在于,所述业务运营平台还包括网关管理模块;
所述网关管理模块用于对所述用户请求信息进行请求验证处理,将请求验证处理后的所述用户请求信息转发至所述后端服务模块;所述请求验证处理至少包括请求信息过滤、请求限流以及熔断处理。
9.根据权利要求1所述的业务运营平台,其特征在于,所述数据处理模块还包括数据加密单元;
所述数据加密单元用于采用加密算法对所述第二任务执行数据进行加密处理。
10.一种业务运营数据处理方法,其特征在于,包括以下步骤:
获取多个高并发任务信息,响应任务执行操作,返回第一任务执行数据;所述任务执行操作为用户根据各所述高并发任务信息进行任务处理的相关操作;
验证所述第一任务执行数据,对所述第一任务执行数据进行数据清洗,获得第二任务执行数据并存储至任务执行数据库;所述任务执行数据库为一主两从架构的高可用数据库;
根据所述第二任务执行数据,确定与所述第二任务执行数据对应的目标用户信息,对所述第二任务执行数据进行任务审核管理,生成目标任务积分,将所述目标任务积分下发至对应的用户任务信息中;所述用户任务信息通过所述目标用户信息与所述第二任务执行数据确定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311568591.8A CN117632922B (zh) | 2023-11-22 | 2023-11-22 | 基于高并发任务处理的业务运营平台及数据处理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311568591.8A CN117632922B (zh) | 2023-11-22 | 2023-11-22 | 基于高并发任务处理的业务运营平台及数据处理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117632922A true CN117632922A (zh) | 2024-03-01 |
CN117632922B CN117632922B (zh) | 2024-04-30 |
Family
ID=90019197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311568591.8A Active CN117632922B (zh) | 2023-11-22 | 2023-11-22 | 基于高并发任务处理的业务运营平台及数据处理方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117632922B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090144280A1 (en) * | 2007-12-03 | 2009-06-04 | Barry Rongsheng Su | Electronic multilingual business information database system |
CN101741850A (zh) * | 2009-12-25 | 2010-06-16 | 北京邮电大学 | 面向混合网络服务的多任务并发执行系统及方法 |
CN111738602A (zh) * | 2020-06-23 | 2020-10-02 | 杭州米克曼尼网络科技有限公司 | 一种电商系统 |
CN113160024A (zh) * | 2021-04-30 | 2021-07-23 | 中国银行股份有限公司 | 基于微服务架构的业务管理系统及方法 |
CN113476853A (zh) * | 2021-07-26 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 交互任务的数据处理方法、装置、电子设备、存储介质 |
CN115001776A (zh) * | 2022-05-26 | 2022-09-02 | 浙江网商银行股份有限公司 | 数据处理系统及方法 |
-
2023
- 2023-11-22 CN CN202311568591.8A patent/CN117632922B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090144280A1 (en) * | 2007-12-03 | 2009-06-04 | Barry Rongsheng Su | Electronic multilingual business information database system |
CN101741850A (zh) * | 2009-12-25 | 2010-06-16 | 北京邮电大学 | 面向混合网络服务的多任务并发执行系统及方法 |
CN111738602A (zh) * | 2020-06-23 | 2020-10-02 | 杭州米克曼尼网络科技有限公司 | 一种电商系统 |
CN113160024A (zh) * | 2021-04-30 | 2021-07-23 | 中国银行股份有限公司 | 基于微服务架构的业务管理系统及方法 |
CN113476853A (zh) * | 2021-07-26 | 2021-10-08 | 北京达佳互联信息技术有限公司 | 交互任务的数据处理方法、装置、电子设备、存储介质 |
CN115001776A (zh) * | 2022-05-26 | 2022-09-02 | 浙江网商银行股份有限公司 | 数据处理系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN117632922B (zh) | 2024-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107395767B (zh) | 基于长连接的消息推送系统及方法 | |
CN107580046B (zh) | 长连接服务系统及方法 | |
US11223639B2 (en) | Endpoint network traffic analysis | |
US8667096B2 (en) | Automatically generating system restoration order for network recovery | |
US7076801B2 (en) | Intrusion tolerant server system | |
KR20180120157A (ko) | 데이터세트 추출 기반 패턴 매칭 | |
CN107347047B (zh) | 攻击防护方法和装置 | |
KR101294280B1 (ko) | 패킷 미러링 방식으로 암호화된 https 통신 데이터를 모니터링하여 개인정보유출을 방지하는 개인정보 유출 방지 시스템 및 방법 | |
CN105468295B (zh) | 一种实现对象存储的安全防护访问方法及系统 | |
CN105516081A (zh) | 一种服务器下发安全策略的方法、系统及消息队列中间件 | |
JP2012150805A (ja) | システムアプリケーション処理に関連する詐欺を検出するシステムおよび方法 | |
US20230231882A1 (en) | Honeypot identification method, apparatus, device, and medium based on cyberspace mapping | |
US20160110544A1 (en) | Disabling and initiating nodes based on security issue | |
US8732469B2 (en) | Communication cutoff device, server device and method | |
CN111988275A (zh) | 一种单点登录方法、单点登录服务器集群及电子设备 | |
Sanjay Ram | Secure cloud computing based on mutual intrusion detection system | |
CN109600395A (zh) | 一种终端网络接入控制系统的装置及实现方法 | |
CN117632922B (zh) | 基于高并发任务处理的业务运营平台及数据处理方法 | |
CN104506552A (zh) | 一种信息系统安全监控及访问控制方法 | |
CN111506661A (zh) | 一种内容访问管理方法、装置和存储介质 | |
CN116319803A (zh) | 一种云边协同分布式api调用方法及系统 | |
CN108347411B (zh) | 一种统一安全保障方法、防火墙系统、设备及存储介质 | |
CN115174563A (zh) | 一种计算机底层远程运维的驱动方法 | |
CN114189515A (zh) | 基于sgx的服务器集群日志获取方法和装置 | |
KR20140055103A (ko) | 탐지 서버 및 그의 이상 징후 탐지 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |