CN117539965A - 请求处理方法、装置、计算机设备和存储介质 - Google Patents

请求处理方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN117539965A
CN117539965A CN202311516748.2A CN202311516748A CN117539965A CN 117539965 A CN117539965 A CN 117539965A CN 202311516748 A CN202311516748 A CN 202311516748A CN 117539965 A CN117539965 A CN 117539965A
Authority
CN
China
Prior art keywords
data
target
service
service request
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311516748.2A
Other languages
English (en)
Inventor
卓灿辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202311516748.2A priority Critical patent/CN117539965A/zh
Publication of CN117539965A publication Critical patent/CN117539965A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请涉及一种请求处理方法、装置、计算机设备、存储介质和计算机程序产品。本申请的实施例中可以应用于车载场景,方法包括:当接收到针对目标业务请求数据的查询请求时,确定目标发送对象和目标业务内容;进而确定目标业务请求数据的聚类特征;基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇;基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。本申请通过确定目标业务请求数据中的目标发送对象和目标业务内容,并进行聚类分析,从而可以确定目标发送对象对目标业务内容的时限内请求总量,并实时得出针对目标业务请求数据的处理方式,提高业务请求处理的效率。

Description

请求处理方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域,特别是涉及一种请求处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着计算机技术与网络技术的发展,出现了基于网络进行业务处理的场景。例如对于游戏相关的网络营销业务,这类业务的特点是活动时间短、用户请求量大、请求实效性高,需要实时识别用户请求是否异常以决定是否放行,防止异常用户请求对业务的干扰,从而保证业务的有效性。
然而目前针对这类异常的用户请求,一般需要提前检测出用户是否属于异常用户,然后再在用户检测的基础上来对请求是否异常进行区分,无法实时地进行异常请求的检测,从而降低请求检测的准确性。
发明内容
基于此,有必要针对上述技术问题,提供一种能够实时进行请求检测,保证请求检测准确性的请求处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面,本申请提供了一种请求处理方法,包括:
当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
第二方面,本申请还提供了一种请求处理装置,包括:
数据提取模块,用于当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
特征提取模块,用于基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
聚簇查找模块,用于基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
处理方式识别模块,用于基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
第三方面,本申请还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
第四方面,本申请还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
第五方面,本申请还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
上述请求处理方法、装置、计算机设备、存储介质和计算机程序产品,通过在接收到针对目标业务请求数据的查询请求时,先确定目标业务请求数据中的目标发送对象和目标业务内容,得到请求处理的基础数据。而后基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征,识别出查询的目标业务请求数据相关的聚类特征,来从聚类结果中查找得到目标业务请求数据匹配的聚类簇。由于聚类簇是与目标发送对象和目标业务内容相关联的,因此基于聚类簇中符合时限条件的时限内请求总量。通过时限内请求总量可以确定目标发送对象对目标业务内容发起请求的频率,由于历史数据分析表明正常发送对象无法在时限内产生太多的请求,可以通过目标发送对象针对目标业务内容的请求触发频,率来识别出异常的目标业务请求数据,从而确定针对目标业务请求数据的处理方式。本申请通过确定目标业务请求数据中的目标发送对象和目标业务内容,并进行聚类分析,从而可以确定目标发送对象对目标业务内容的时限内请求总量,并实时得出针对目标业务请求数据的处理方式,提高业务请求处理的效率。
附图说明
为了更清楚地说明本申请实施例或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中请求处理方法的应用环境图;
图2为一个实施例中请求处理方法的流程示意图;
图3为一个实施例中请求数据清洗与采集步骤的流程示意图;
图4为一个实施例中数据清洗前后的对比示意图;
图5为一个实施例中信用等级实时计算的流程示意图;
图6为一个实施例中信用等级查询与请求拦截的流程示意图;
图7为一个实施例中请求处理系统的结构示意图;
图8为一个实施例中用户进入活动页面的游戏主界面示意图;
图9为另一个实施例中请求处理方法的流程示意图;
图10为一个实施例中请求处理装置的结构框图;
图11为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请实施例提供的请求处理方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上,也可以放在云上或其他网络服务器上。目标对象可以通过终端102向服务器104发起业务请求,以请求服务器104来进行相应的业务处理。也在服务器104端,由于其可以接收来自不同来源的业务请求数据,因此有必要对所接收到的业务请求进行识别,确定其中存在的异常请求。服务器104搭载有相应的业务模块用于处理目标对象所发起的业务请求数据。业务模块在处理业务请求数据时,可以基于接收到的目标业务请求数据向服务器发起查询请求,已确定该目标业务请求数据是否异常。此时,服务器104可以通过本申请的请求处理方法来实时识别出异常请求,从而保证请求处理的准确性和效率。首先,服务器104在从业务模块接收到针对目标业务请求数据的查询请求时,确定目标业务请求数据中的目标发送对象和目标业务内容;基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征;基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇,聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,聚类处理以业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。业务模块基于确定的处理方式来进行相应的业务处理。其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个示例性的实施例中,如图2所示,提供了一种请求处理方法,以该方法应用于图1中的服务器104为例进行说明,包括以下步骤202至步骤206。其中:
步骤201,当接收到针对目标业务请求数据的查询请求时,确定目标业务请求数据中的目标发送对象和目标业务内容。
其中,目标业务请求数据是指本申请请求处理方法所需要处理的请求,目标业务请求数据中包含有目标发送对象和目标业务内容。其中目标发送对象是指发送该目标业务请求数据的终端102所在方的对象,可以通过对象的对象编号来识别确定目标发送对象。而目标业务内容则是目标对象通过目标业务请求数据所请求处理的业务相关的指示内容,目标业务内容可以通过目标业务请求数据中携带的业务编码进行识别。查询请求则是指由服务器104业务处理相关模块自动生成,用于请求进行请求处理的中心处理器来对当前目标业务请求数据进行处理的请求。在具体实施例中,业务处理相关模块可以是进行业务处理的网关或者组件。
示例性地,本申请的方案适用于进行目标业务请求数据的实时处理,从而提高请求处理的效率和准确性。在对终端102提交的业务请求进行处理时,业务请求数据会流转到服务器104进行业务处理相关的网关和业务组件上,此时这些业务处理相关的网关和业务组件可以根据接收到的目标业务请求,发起针对目标业务请求数据的查询请求。服务器104的处理器接收到针对目标业务请求数据的查询请求时,会通过解析目标业务请求数据,确定目标业务请求数据中的目标发送对象和目标业务内容。在其中一个实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理,游戏用户在确定需要参加的营销活动后,可以通过终端向游戏营销服务器发起相关的请求。游戏营销活动领域的特点是活动时间短、用户请求量大、请求实效性高,需要实时识别用户请求是否非法以决定是否放行,同时这些活动的网关通常是通用入口,下游对接全业务的营销组件,每个业务、每个活动的请求特征不一,需要区分对待。此时用户可以基于自身在游戏上的对象编号、开展营销活动游戏的游戏编号和营销活动的编号来发起业务请求数据。当服务器中负责进行请求处理的网关和营销组件接收到游戏用户发送的业务请求数据时,可以根据接收到的业务请求数据作为目标业务请求数据发起查询请求,来确定该业务请求数据是正常用户发起的请求还是由黑产用户发起的请求,从而进行区别处理。
步骤203,基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征。
其中,聚类特征主要用于作为目标业务请求数据这类请求数据进行聚类的依据。可以通过聚类特征在已经聚类的请求数据中查找到当前目标业务请求数据相关的聚类簇,且聚类簇中的请求的发送对象和所请求的业务内容都与当前的目标业务请求数据相同。
示例性地,在得到目标发送对象和目标业务内容中,可以基于目标发送对象和目标业务内容来构建目标业务请求数据相关的聚类特征,从而可以基于聚类特征来对当前接收到的目标业务请求数据进行聚类分析。在其中一个实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理。此时可以直接将目标发送对象的对象编号作为一个聚类特征,并将目标业务内容相关的游戏编号和活动编号等作为其他的聚类特征。
步骤205,基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇,聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,聚类处理以业务请求数据中的发送对象信息和业务内容信息为联合聚类中心。
其中,聚类结果是指将服务器实时接收到的所有业务请求数据进行聚类处理所得到的结果。聚类具体可以将业务请求数据中的发送对象信息和业务内容信息为联合聚类中心,而后进行聚类,从而将可以将包含有相同发送对象信息和业务内容信息的请求聚类到一起,得到聚类结果。通过聚类结果展示发送对象对业务内容发起请求的相关情况。联合聚类中心是指发送对象信息相同,且业务内容信息也想通的业务请求数据才可以聚类到一起。
示例性地,为了进行更加高效的请求处理,服务器104可以在进行请求处理前,就将实时接收到的全量的业务请求数据进行一个聚类处理,通过聚类处理将这些业务请求数据进行分类,聚类处理的聚类中心则可以选取发送对象信息和业务内容信息为联合聚类中心。而以该联合聚类中心进行聚类的话,全量的业务请求数据就可以被分类聚合到不同的聚簇中,通过统计聚簇内的请求数量就可确定发送对象发起请求的数量和频率等,实现请求分析。因此在接收到针对目标业务请求数据的查询请求,可以基于目标业务请求数据的聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇。而后基于聚类簇来进行请求分析。在其中一个实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理。此时,对于业务请求数据的聚类过程,可以将用户在游戏上的对象编号、开展营销活动游戏的游戏编号和营销活动的活动编号这些作为联合聚类中心,将具有相同对象编号、游戏编号和活动编号的数据聚类到一起,得到聚类结果。
步骤207,基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。
其中,时限条件是指基于目标业务请求数据所确定的一个时间段,例如可以将3秒作为一个时间段,在目标业务请求数据对应的请求时间内,在聚类簇中查找3秒内的请求量,即可得到时限内请求总量。而处理方式则可以根据业务类型进行设置,比如对异常的目标业务请求数据进行拦截处理等。
示例性地,由于通过历史数据分析以及设备性能分析,表明正常的发送对象无法在时限内产生太多的请求,因此可以通过目标发送对象针对目标业务内容的请求触发频率,来识别出异常的目标业务请求数据,从而进行相应的处理。因此,在得到聚类簇后,可以从聚类簇中识别出所有符合时限条件的请求,并确定这些请求总的数量有多少,得到时限内请求总量。从而确定针对目标业务请求数据的处理方式。
此外,本申请的方案在提升业务请求处理的效率的同时,还可以通过聚类的方式将由目标发送对象所提交的异常请求数据进行聚类,从而对这些异常的请求数据进行拦截处理,可以有效地提高请求处理的服务器以及下游相关服务器的安全性。在一个示例性的实施例中,异常的用户可以通过向请求处理的服务器提交业务请求,从而请求服务器来进行相关的业务处理,进入请求服务器下游的营销服务器,从而对实现对营销服务器的攻击。当营销服务器接收到的异常业务请求数量过大时,不仅无法服务正常的用户,还会造成营销资源的浪费。此时,可以通过本申请的请求处理方法请求服务器端对业务请求是否属于异常请求进行识别,从而避免将异常用户所提交的业务请求下发到下游的营销服务器端,保证营销服务器的安全性。
上述请求处理方法,通过在接收到针对目标业务请求数据的查询请求时,先确定目标业务请求数据中的目标发送对象和目标业务内容,得到请求处理的基础数据。而后基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征,识别出查询的目标业务请求数据相关的聚类特征,来从聚类结果中查找得到目标业务请求数据匹配的聚类簇。由于聚类簇是与目标发送对象和目标业务内容相关联的,因此基于聚类簇中符合时限条件的时限内请求总量。通过时限内请求总量可以确定目标发送对象对目标业务内容发起请求的频率,由于历史数据分析表明正常发送对象无法在时限内产生太多的请求,可以通过目标发送对象针对目标业务内容的请求触发频,率来识别出异常的目标业务请求数据,从而确定针对目标业务请求数据的处理方式。本申请通过确定目标业务请求数据中的目标发送对象和目标业务内容,并进行聚类分析,从而可以确定目标发送对象对目标业务内容的时限内请求总量,并实时得出针对目标业务请求数据的处理方式,提高业务请求处理的效率。
在一个示例性的实施例中,方法还包括:从接收到的业务请求数据中提取业务数据信息;以业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,对业务请求数据进行聚类处理,得到业务请求数据的聚类结果。
示例性地,在进行请求处理之前,还需要针对接收到的全量业务请求数据进行聚类处理,从而得到与这些请求相对应的聚类结果。因此,搭载本申请请求处理方法可以通过相应的数据收集模块,收集所有用户向服务器所提交的业务请求数据,同时服务器还需要进一步对收集到的这些业务请求数据进行聚类处理,此时可以将业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,将接收到的业务请求数据都根据发送对象信息和业务内容信息的区别,分类到不同的联合聚类中心上,得到针对业务请求数据的聚类结果。本实施例中,通过在接收到业务请求数据的基础上,以发送对象信息和业务内容信息为联合聚类中心来对业务请求数据进行聚类,从而可以将具有同时相同发送对象信息和业务内容信息的业务请求数据聚类到一起,通过请求聚类来对异常请求进行识别,保证实时进行异常请求识别的效率。
在一个实施例中,从接收到的业务请求数据中提取业务数据信息包括:基于负载均衡的策略对接收到的业务请求数据进行数据清洗处理,得到清洗结果数据;对清洗结果数据进行数据压缩处理和数据拆分处理,得到业务数据信息。
其中,负载均衡是指将任务分摊到多个操作单元上进行执行,从而共同完成工作任务。在本申请的方案中,是指将搭载本申请请求处理方法的服务器所接受到的业务请求数据以负载均衡的策略分配到不同的模块进行后续的清洗处理。数据清洗处理是数据文件处理的一种方式,包括了检查数据一致性,处理无效值和缺失值等。在本申请的方案中,通过数据清洗,可以将业务请求数据清洗成统一的后续模块能处理的数据格式,同时丢弃掉多余的数据。数据压缩处理是指将处理完成的数据进行压缩,从而降低文件传输过程的网络带宽。而数据拆分处理将压缩好的数据再拆分出来到后续聚类处理的模块的处理过程。
示例性地,由线上的流量比较大,服务器所接收到的业务请求数据实例数量比较多,需要将所有业务请求数据上报后集中处理,在集中处理时,可以通过负载均衡的策略,将所接收到的业务请求数据分发到不同的数据清洗模块中进行清洗处理,将原始数据清洗成统一的后续计算模块能处理的数据格式,并丢弃多余的信息。而后在数据清洗完成后,对统一格式的清洗结果数据进行数据压缩处理,完成压缩后将数据传输,而后到进行聚类处理的相关处理模块上进行数据拆分处理。在一个具体的实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理。此时,数据清洗与数据采集的处理流程可以参照图3所示,游戏用户所提交的业务请求数据通过各个营销网关进入到营销业务处理的服务器中,而后由负责负载均衡处理的模块将数据导入到数据清洗和数据采集的模块内,同时将清洗后得到的清洗结果数据写入到文件系统中,通过数据管道来进行压缩和拆分的处理,以便进行后续的聚类处理操作。本实施例中,通过负载均衡的策略来先对业务请求数据进行清洗,而后通过数据压缩和数据拆分来处理数据,从而有效保证所得到的业务数据信息的可用性。
在一个实施例中,基于负载均衡的策略对接收到的业务请求数据进行数据清洗处理,得到清洗结果数据包括:基于轻量化的用户数据报协议,以负载均衡的策略将业务请求数据传输至各数据清洗模块;通过各数据清洗模块对业务请求数据进行数据清洗处理,得到清洗结果数据。
其中,用户数据报协议(User Datagram Protocol,UDP),是开放式系统互联(OpenSystem Interconnection,OSI)参考模型中一种无连接的传输层协议,提供面向事务的简单不可靠信息传送服务。UDP有不提供数据包分组、组装和不能对数据包进行排序的缺点,也就是说,当报文发送之后,是无法得知其是否安全完整到达的。UDP用来支持那些需要在计算机之间传输数据的网络应用。包括网络视频会议系统在内的众多的客户/服务器模式的网络应用都需要使用UDP协议。
示例性地,本申请的方案中具体可以通过清理化的数据传输协议来在处理器内部不同模块之间实现请求相关的清洗结果数据和业务数据信息等数据的传输处理,通过轻量化的UDP来进行数据传输,相对于较重的传输控制(Transmission Control Protocol,TCP)协议,可以提升网络传输的效率,减少中间环节的网络延时。而负载均衡的策略则具体可以基于网关技术实现,通过业务网关来实现多网的统一接入,同时在业务请求的处理过程中自动进行负载均衡化处理。在一个具体的实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理。而对于数据清洗的过程,由于接收到的业务请求数据是原始数据,无法直接使用,所以将原始数据清洗成统一的后续计算模块能处理的数据格式;具体的,原始数据中会包含许多信息,只有少部分是必需的信息,将必须的信息提取出来同时丢弃多余的信息。此时,数据清洗前后数据格式图可以参照图4所示,其中清洗前的业务请求数据中包括了“域名”、“用户地址”、“来源”、“用户编号”、“业务编码”、“请求方法”、“状态码”、“接口”以及“活动编号”这些必要的信息,还有其他部分多余的信息,而在清洗完成之后,所得到的清洗结果数据就只有这些必要的信息了,相对于原本的业务请求数据,清洗结果数据的数据量大大减少,从而可以提高处理计算过程效率。同时,由于线上业务的请求量较大,单个实例无法承载所有的流量,因此进行数据清洗处理的数据清洗模块也是多实例。本实施例中,通过轻量化的用户数据报协议可以有效提高数据传输过程的传输效率,并降低带宽。
在一个示例性的实施例中,对清洗结果数据进行数据压缩处理和数据拆分处理,得到业务数据信息包括:将清洗结果数据写入目标存储磁盘;在目标存储磁盘对清洗结果数据进行压缩处理,得到压缩数据;将压缩数据导入数据消费接口,通过数据消费接口对压缩数据进行数据拆分处理,得到业务数据信息。
其中,目标存储磁盘是指用于存储数据清洗所得到清洗结果数据的磁盘,通过将清洗结果数据存储到磁盘中进行集中存储,可以提高整体系统的可靠性及鲁棒性。而数据压缩则对应了数据采集的过程,通过在发送数据前会将数据压缩,可以进一步降低数据传输过程网络带宽。数据消费接口用于将数据清洗和数据压缩等流程得到的数据提交至下一个进行聚类处理的处理过程。
示例性地,在完成对数据的清洗处理后,清洗完成所得到的清洗结果数据需要集中存储,为了提高整体系统的可靠性及鲁棒性,将数据写入目标存储磁盘内,同时构建一个数据采集模块进行采集,利用目标存储磁盘进行缓冲,进行数据采集的数据采集模块监测文件系统上的数据文件,读取数据并实时上报到统一的数据消费接口,而后通过数据消费接口发送到聚类计算处理的模块中。具体地,数据采集模块发送数据前会将数据压缩,进一步降低网络带宽;模块可以使用日志服务(Cloud Log Service,CLS)提供的数据采集器采集文件系统上的数据,其会使用lz4压缩算法压缩数据。数据消费接口可以通过数据管道来进行数据传输,数据管道提供统一的数据存储;同时数据管道提供统一的数据实时消费接口,供后续聚类过程的实时计算模块消费使用。本实施例中,通过目标存储磁盘来存储清洗得到的结果数据,而后完成对清晰结果数据的压缩处理和数据拆分的分发处理,可以将所得到的业务数据信息有效地传输到后续的模块中进行实时的聚类处理,并保证聚类过程的准确性与效率,同时降低数据传输的带宽损耗。
在一个示例性的实施例中,以业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,对业务请求数据进行聚类处理,得到业务请求数据的聚类结果包括:基于业务数据信息中发送对象的对象编号、业务数据信息中业务内容的业务编码以及业务请求数据的活动编号构建请求三元组;将请求三元组作为聚类中心对接收到的业务数据信息进行聚类处理,得到业务请求数据的聚类结果。
其中,发送对象的对象编号可以表明发送对象的身份信息,业务内容的业务编码可以表明当前业务请求数据与哪个业务对应,而业务请求数据的活动编号则可以表名当前业务请求数据所请求参加的是业务的哪个活动。在一个具体的实施例中,本申请的请求处理方法适用于针对游戏领域的营销相关请求进行请求处理。此时,发送对象的对象编号具体为用户在所游玩游戏中的玩家编号,业务内容的业务编码为用户所游玩游戏的编码,而活动编号则为该用户所游玩游戏中促销活动对应的编号。
示例性地,本申请的方案具体可以基于业务数据信息中发送对象的对象编号、业务数据信息中业务内容的业务编码以及业务请求数据的活动编号构建请求三元组。而后将请求三元组作为聚类中心对接收到的业务数据信息进行聚类处理,得到业务数据信息的聚类结果。通过提取出每个业务数据信息中的三元组,从而可以通过三元组来表征完整的业务数据信息,而后通过三元组来完成业务请求数据的聚类处理,将包含有相同三元组信息的业务数据信息分到一起,也就是将用户针对同一业务内同一活动的所有请求数据聚类到一起处理,这些类似于将业务请求数据进行分类,即可得到相应的聚类结果。而后再在聚类结果上结合请求的时间,即可确定时限内请求总量,从而确定目标业务请求数据是否正常。在其中一个实施例中,对于聚类处理的过程,可以将接收到的业务数据信息展开,得到每个业务数据信息包含的请求三元组;而后先基于业务数据信息包含的请求三元组对业务数据信息进行分组处理,得到分组结果;再在分组结果的基础上,对业务数据信息对应的业务数据请求进行聚类,得到三元组所代表的业务数据请求的聚类结果。本实施例中,根据对象编号、业务编码和活动编号来构建请求三元组,从而实现业务数据信息的分类和业务请求数据的聚类,可以有效保证聚类处理的效率和准确性。
在一个示例性的实施例中,方法还包括:按照聚类簇中业务请求数据的请求时间对业务请求数据进行排序处理,得到请求排序结果;通过滑动时间窗口对请求排序结果进行提取处理,确定聚类簇中符合时限条件的时限内请求总量。
示例性地,针对聚类簇内的全量业务请求数据,可以先对这些请求进行排序处理,通过排序处理可以将业务请求数据按照发送时间的先后进行整理,而后通过滑动时间窗口对请求排序结果进行提取处理,确定查询请求对应时限条件的时限内请求总量,滑动时间窗口的长度即为时限条件。例如可以选取3秒作为时限条件,此时可以在接收到针对目标业务请求数据的查询请求后,将滑动时间窗口移动到目标业务请求数据的聚类簇中,并将滑动时间窗口的对准目标业务请求数据的发送时间,在滑动时间窗口内所有请求即为符合时限条件的时限内请求,这些请求的数量则为时限内请求总量。在具体实施例中,还可以设置滑动时间窗口的补偿,例如设置步长为1秒,这样每间隔一秒触发一次,计算得到时间窗口内时限内请求总量。在一个实施例中,信用等级计算的处理流程可以参照图5所示,包括展开、分组、窗口、聚合、过滤和存储等流程,其中展开是指把清洗后的数据根据后续计算需要的格式展开,取得上述三元组信息;分组则是明确不同的key信息作为分组的依据,采用上述三元组信息;窗口处理则是采用滑动时间窗口进行数量统计,步长为1秒,窗口长度为3秒;聚合处理是每间隔一秒触发一次,计算过去3秒内每个三元组的聚合量;过滤则是基于上述提到的信用等级规则,得出每个三元组的信用等级,过滤掉不符合要求的数据;存储则是将计算完成的三元组信用等级写入Redis。本实施例中,通过滑动时间窗口对请求排序结果进行提取处理,从而可以高效地识别出聚类簇中符合时限条件的时限内请求总量,保证请求识别的效率与准确性。
在一个示例性的实施例中,基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式包括:基于聚类簇中符合时限条件的时限内请求总量,确定目标业务请求数据的请求信用等级;查找目标发送对象针对目标业务内容的原始信用等级,原始信用等级在请求信用等级表征的信用风险高于原始信用等级时,将更新为请求信用等级;基于原始信用等级,确定目标业务请求数据的处理方式。
其中,请求信用等级用于标记当前目标业务请求数据的异常程度,而原始信用等级则可以对目标发送对象针对目标业务内容的异常程度进行标记。
示例性地,本申请的方案可以通过标记信用等级的方式来对不同类型的目标业务请求数据进行标记。因此,在得到聚类簇后,可以先基于聚类簇中符合时限条件的时限内请求总量,确定目标业务请求数据的请求信用等级。而后在请求信用等级的基础上进行请求处理。请求信用等级具体可以保存为原始信用等级,或者对已有的原始信用等级进行更新。例如可以通过Redis服务来存储一段时间内目标发送对象针对目标业务内容的信用等级,而后在新的目标业务请求数据生成后,则查找目标发送对象针对目标业务内容的原始信用等级,如果原始信用等级在请求信用等级表征的信用风险高于原始信用等级,既可以将更新为请求信用等级,通过只保存信用风险高的信用等级,可以更有效地识别出风险更高的目标业务请求数据,即使异常的发送对象降低请求的发送频率,则可以通过原始信用等级来识别出该对象发送的请求。在其中一个实施例中,对于原始信用等级的读取过程,可以先从目标数据库查找目标发送对象针对目标业务内容的原始信用等级;当目标业务请求数据的请求信用等级表征的信用风险高于原始信用等级时,将目标数据库中存储的原始信用等级更新为请求信用等级。其中的目标数据库具体可以通过键值对数据库Redis实现,用于存储信用等级相关的数据,在存储信用等级时,可以根据目标发送对象针对目标业务内容的请求构建存储数据的键数据,并将原始信用等级作为值数据进行存储。当后续识别出最新的请求信用等级后,即可通过对比目标数据库中所存储的原始信用等级和最新识别的请求信用等级,判断哪个等级所对应的信用风险更高,并将对比得到的风险更高的信用等级保存到目标数据库中,并基于目标数据库中最新保存的原始信用等级,来确定目标业务请求数据的处理方式。从而可以在信用风险识别的过程中,保存历史数据中请求数据的风险性,进而提高业务请求数据处理的准确性。
在具体实施例中,通过历史数据分析表明正常用户在3秒内并不会产生太多的请求,因为用户无法以正常的方式触发这么多的请求,因此以此为基础可以确定不同的阀值,从而形成针对异常请求的判断规则,进一步可以确定不同目标业务请求数据的信用等级,信用等级的计算规则具体如下,信用等级越高,表明请求异常的可能性越大:如果过去3秒内三元组的聚合数量小于10,则三元组所代表目标业务请求数据的信用等级为1;如果过去3秒内三元组的聚合数量介于10到20,则三元组所代表目标业务请求数据的信用等级为2;如果过去3秒内三元组的聚合数量大于20,则三元组所代表目标业务请求数据的信用等级为3。此时,写入Redis,而且Redis保存的信用等级可以保持24小时不是小,因此可以考虑用户过去24小时的行为特征,因此可以在得到当前目标业务请求数据的请求信用等级与Redis中存储的数据进行比对,如果新数据大于老数据则更新,反之则不更新,如此在线的信用等级反映了该三元组在过去24小时的行为特征。而在另一个实施例中,如果过去3秒内三元组的聚合数量小于10,则三元组所代表目标业务请求数据的信用等级为3;如果过去3秒内三元组的聚合数量介于10到20,则三元组所代表目标业务请求数据的信用等级为2;如果过去3秒内三元组的聚合数量大于20,则三元组所代表目标业务请求数据的信用等级为1。此时,在将当前目标业务请求数据的请求信用等级与Redis中存储的数据进行比对时,如果新数据小于老数据则更新,反之则不更新。而对于针对目标业务请求数据的处理方式,则可以根据发起查询请求的不同模块来分别进行处理,如网关模块可以作为发起查询请求的模块,此时查找目标业务内容对应的信用等级阈值;当目标业务请求数据的信用等级低于或等于信用等级阈值时,对业务请求数据进行拦截处理。通过网关直接对请求进行拦截。如图6所示,此外,还可以当本申请的方案应用于营销业务处理时,查询请求可以由进行业务处理的组件模块发起,此时,基于信用等级查找营销请求数据对应营销投放道具;根据营销投放道具生成营销反馈信息;发送营销反馈信息至目标发送对象。此时,针对异常的目标业务请求数据,可以不发放营销投放道具,或者少发放营销投放道具,而对于正常的目标业务请求数据,则正常的发放营销投放道具,从而保证营销业务的顺利进行,防止异常的业务请求数据对营销过程的干扰。本实施例中,通过记录目标发送对象针对目标业务内容的原始信用等级,结合实时确定的请求信用等级来对目标业务请求数据是否存在异常进行判定从而进行相应的请求处理,可以有效保证请求处理过程的效率和准确性,降低误判和漏判的风险。
本申请还提供一种应用场景,该应用场景应用上述的请求处理方法。具体地,该请求处理方法在该应用场景的应用如下:
当用户需要开展游戏内的营销活动以吸引更多的玩家时,可以在营销活动中投放各种实物和非实物的奖励,此时,为了防止用户通过自动工具等频繁触发的营销请求对营销活动的干扰,可以通过本申请的方案来对用户提交的请求进行筛选处理。搭载本申请请求处理方法的服务器的架构可以参照图7所示,在登陆游戏主界面之后,正常游戏用户和异常游戏用户都可以通过点击图8所示的游戏主界面中的活动按键来访问游戏营销的活动网页,而后在活动网页提交业务请求数据到通用网关,通用网关再把业务请求分发到当前游戏所对应的不同营销网关,此时实时计算和分析的模块可以对这些游戏用户所提交的请求是否存在异常进行分析。而后再基于分析的结果在下游组件进行相应的业务处理,当实时计算和分析的模块判定请求为正常请求时,下游组件会为正常游戏用户下发请求相关的奖励,并反馈奖励请求成功的消息,而对于异常游戏用户,则直接反馈请求失败的消息,从而有效保证游戏场景下奖励发放的有效性。
首先,搭载服务器可以接收所有用户发送的相关请求,而后基于轻量化的用户数据报协议,以负载均衡的策略将业务请求数据传输至各数据清洗模块;通过各数据清洗模块对业务请求数据进行数据清洗处理,得到清洗结果数据;将清洗结果数据写入目标存储磁盘;在目标存储磁盘对清洗结果数据进行压缩处理,得到压缩数据;将压缩数据导入数据消费接口,通过数据消费接口对压缩数据进行数据拆分处理,得到业务数据信息;基于业务数据信息中发送对象的对象编号、业务数据信息中业务内容的业务编码以及业务请求数据的活动编号构建请求三元组;将接收到的业务数据信息展开,得到每个业务数据信息包含的请求三元组;基于业务数据信息包含的请求三元组对业务数据信息进行分组处理,得到分组结果;基于分组结果对业务数据信息对应的业务数据请求进行聚类,得到业务数据请求的聚类结果。这些聚类结果就可以表征当前不同用户针对当前营销业务的请求情况,而后当接收到针对目标业务请求数据的查询请求时,确定目标业务请求数据中的目标发送对象和目标业务内容;基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征;基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇。并按照聚类簇中业务请求数据的请求时间对业务请求数据进行排序处理,得到请求排序结果;通过滑动时间窗口对请求排序结果进行提取处理,确定聚类簇中符合时限条件的时限内请求总量。从而确定用户针对当前营销业务的请求频率,即基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。此时,可以直接对时限内请求总量超过阈值的业务处理请求进行拦截,或者在业务处理时,减少对这些请求的道具投放量,从而保证营销效果。
在一个实施例中,本申请的模型数据处理方法的完整流程可以参照图9所示,包括:
步骤902,基于轻量化的用户数据报协议,以负载均衡的策略将业务请求数据传输至各数据清洗模块。步骤904,通过各数据清洗模块对业务请求数据进行数据清洗处理,得到清洗结果数据。步骤906,将清洗结果数据写入目标存储磁盘。步骤908,在目标存储磁盘对清洗结果数据进行压缩处理,得到压缩数据。步骤910,将压缩数据导入数据消费接口,通过数据消费接口对压缩数据进行数据拆分处理,得到业务数据信息。步骤912,基于业务数据信息中发送对象的对象编号、业务数据信息中业务内容的业务编码以及业务请求数据的活动编号构建请求三元组。步骤914,将接收到的业务数据信息展开,得到每个业务数据信息包含的请求三元组。步骤96,基于业务数据信息包含的请求三元组对业务数据信息进行分组处理,得到分组结果。步骤918,基于分组结果对业务数据信息对应的业务数据请求进行聚类,得到业务数据请求的聚类结果。步骤920,当接收到针对目标业务请求数据的查询请求时,确定目标业务请求数据中的目标发送对象和目标业务内容。步骤922,基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征。步骤924,基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇。步骤926,基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。
应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的请求处理方法的请求处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个请求处理装置实施例中的具体限定可以参见上文中对于请求处理方法的限定,在此不再赘述。
在一个示例性的实施例中,如图10所示,提供了一种请求处理装置,包括:
数据提取模块1001,用于当接收到针对目标业务请求数据的查询请求时,确定目标业务请求数据中的目标发送对象和目标业务内容。
特征提取模块1003,用于基于目标发送对象和目标业务内容,确定目标业务请求数据的聚类特征。
聚簇查找模块1005,用于基于聚类特征,从聚类结果中查找得到目标业务请求数据匹配的聚类簇,聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,聚类处理以业务请求数据中的发送对象信息和业务内容信息为联合聚类中心。
处理方式识别模块1007,用于基于聚类簇中符合时限条件的时限内请求总量,确定针对目标业务请求数据的处理方式。
在一个实施例中,还包括请求聚类模块,用于:从接收到的业务请求数据中提取业务数据信息;以业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,对业务请求数据进行聚类处理,得到业务请求数据的聚类结果。
在一个实施例中,请求聚类模块具体用于:基于负载均衡的策略对接收到的业务请求数据进行数据清洗处理,得到清洗结果数据;对清洗结果数据进行数据压缩处理和数据拆分处理,得到业务数据信息。
在一个实施例中,请求聚类模块具体用于:基于轻量化的用户数据报协议,以负载均衡的策略将业务请求数据传输至各数据清洗模块;通过各数据清洗模块对业务请求数据进行数据清洗处理,得到清洗结果数据。
在一个实施例中,请求聚类模块具体用于:将清洗结果数据写入目标存储磁盘;在目标存储磁盘对清洗结果数据进行压缩处理,得到压缩数据;将压缩数据导入数据消费接口,通过数据消费接口对压缩数据进行数据拆分处理,得到业务数据信息。
在一个实施例中,请求聚类模块具体用于:基于业务数据信息中发送对象的对象编号、业务数据信息中业务内容的业务编码以及业务请求数据的活动编号构建请求三元组;将请求三元组作为聚类中心对接收到的业务请求数据进行聚类处理,得到业务请求数据的聚类结果。
在一个实施例中,请求聚类模块具体用于:将接收到的业务数据信息展开,得到每个业务数据信息包含的请求三元组;基于业务数据信息包含的请求三元组对业务数据信息进行分组处理,得到分组结果;基于分组结果对业务数据信息对应的业务数据请求进行聚类,得到业务数据请求的聚类结果。
在一个实施例中,还包括窗口处理模块,用于:按照聚类簇中业务请求数据的请求时间对业务请求数据进行排序处理,得到请求排序结果;通过滑动时间窗口对请求排序结果进行提取处理,确定聚类簇中符合时限条件的时限内请求总量。
在一个实施例中,处理方式识别模块1007具体用于:基于聚类簇中符合时限条件的时限内请求总量,确定目标业务请求数据的请求信用等级;查找目标发送对象针对目标业务内容的原始信用等级,原始信用等级在请求信用等级表征的信用风险高于原始信用等级时,将更新为请求信用等级;基于原始信用等级,确定目标业务请求数据的处理方式。
在一个实施例中,处理方式识别模块1007具体用于:从目标数据库查找目标发送对象针对目标业务内容的原始信用等级;当目标业务请求数据的请求信用等级表征的信用风险高于原始信用等级时,将目标数据库中存储的原始信用等级更新为请求信用等级。
在一个实施例中,处理方式识别模块1007具体用于:查找目标业务内容对应的信用等级阈值;当目标业务请求数据的信用等级低于或等于信用等级阈值时,对业务请求数据进行拦截处理。
在一个实施例中,业务请求数据包括营销请求数据。处理方式识别模块207具体用于:基于信用等级查找营销请求数据对应营销投放道具;根据营销投放道具生成营销反馈信息;发送营销反馈信息至目标发送对象。
上述请求处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个示例性的实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output,简称I/O)和通信接口。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口通过输入/输出接口连接到系统总线。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储请求处理相关的数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种请求处理方法。
本领域技术人员可以理解,图11中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种请求处理方法,其特征在于,所述方法包括:
当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
从接收到的业务请求数据中提取业务数据信息;
以所述业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,对所述业务请求数据进行聚类处理,得到所述业务请求数据的聚类结果。
3.根据权利要求2所述的方法,其特征在于,所述从接收到的业务请求数据中提取业务数据信息包括:
基于负载均衡的策略对接收到的业务请求数据进行数据清洗处理,得到清洗结果数据;
对所述清洗结果数据进行数据压缩处理和数据拆分处理,得到业务数据信息。
4.根据权利要求3所述的方法,其特征在于,所述基于负载均衡的策略对接收到的所述业务请求数据进行数据清洗处理,得到清洗结果数据包括:
基于轻量化的用户数据报协议,以负载均衡的策略将所述业务请求数据传输至各数据清洗模块;
通过所述各数据清洗模块对所述业务请求数据进行数据清洗处理,得到清洗结果数据。
5.根据权利要求3所述的方法,其特征在于,所述对所述清洗结果数据进行数据压缩处理和数据拆分处理,得到业务数据信息包括:
将所述清洗结果数据写入目标存储磁盘;
在所述目标存储磁盘对所述清洗结果数据进行压缩处理,得到压缩数据;
将所述压缩数据导入数据消费接口,通过所述数据消费接口对所述压缩数据进行数据拆分处理,得到业务数据信息。
6.根据权利要求2所述的方法,其特征在于,所述以所述业务数据信息中的发送对象信息和业务内容信息为联合聚类中心,对所述业务请求数据进行聚类处理,得到所述业务请求数据的聚类结果包括:
基于所述业务数据信息中发送对象的对象编号、所述业务数据信息中业务内容的业务编码以及所述业务请求数据的活动编号构建请求三元组;
将所述请求三元组作为聚类中心对接收到的所述业务请求数据进行聚类处理,得到所述业务请求数据的聚类结果。
7.根据权利要求6所述的方法,其特征在于,所述将所述请求三元组作为聚类中心对接收到的所述业务请求数据进行聚类处理,得到所述业务请求数据的聚类结果包括:
将接收到的所述业务数据信息展开,得到每个所述业务数据信息包含的请求三元组;
基于所述业务数据信息包含的请求三元组对所述业务数据信息进行分组处理,得到分组结果;
基于所述分组结果对所述业务数据信息对应的业务数据请求进行聚类,得到所述业务数据请求的聚类结果。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
按照所述聚类簇中业务请求数据的请求时间对所述业务请求数据进行排序处理,得到请求排序结果;
通过滑动时间窗口对所述请求排序结果进行提取处理,确定所述聚类簇中符合时限条件的时限内请求总量。
9.根据权利要求1至8任意一项所述的方法,其特征在于,所述基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式包括:
基于所述聚类簇中符合时限条件的时限内请求总量,确定目标业务请求数据的请求信用等级;
查找所述目标发送对象针对所述目标业务内容的原始信用等级,所述原始信用等级在所述请求信用等级表征的信用风险高于所述原始信用等级时,将更新为所述请求信用等级;
基于所述原始信用等级,确定目标业务请求数据的处理方式。
10.根据权利要求9所述的方法,其特征在于,所述查找所述目标发送对象针对所述目标业务内容的原始信用等级包括:
从目标数据库查找所述目标发送对象针对所述目标业务内容的原始信用等级;
当所述目标业务请求数据的请求信用等级表征的信用风险高于所述原始信用等级时,将所述目标数据库中存储的原始信用等级更新为所述请求信用等级。
11.根据权利要求9所述的方法,其特征在于,所述基于所述原始信用等级,确定目标业务请求数据的处理方式包括:
查找所述目标业务内容对应的信用等级阈值;
当所述目标业务请求数据的信用等级低于或等于所述信用等级阈值时,对所述业务请求数据进行拦截处理。
12.根据权利要求9所述的方法,其特征在于,所述业务请求数据包括营销请求数据;
所述基于所述原始信用等级,确定目标业务请求数据的处理方式包括:
基于所述信用等级查找所述营销请求数据对应营销投放道具;
根据所述营销投放道具生成营销反馈信息;
发送所述营销反馈信息至所述目标发送对象。
13.一种请求处理装置,其特征在于,所述装置包括:
数据提取模块,用于当接收到针对目标业务请求数据的查询请求时,确定所述目标业务请求数据中的目标发送对象和目标业务内容;
特征提取模块,用于基于所述目标发送对象和所述目标业务内容,确定所述目标业务请求数据的聚类特征;
聚簇查找模块,用于基于所述聚类特征,从聚类结果中查找得到所述目标业务请求数据匹配的聚类簇,所述聚类结果通过对实时接收到的业务请求数据进行聚类处理得到,所述聚类处理以所述业务请求数据中的发送对象信息和业务内容信息为联合聚类中心;
处理方式识别模块,用于基于所述聚类簇中符合时限条件的时限内请求总量,确定针对所述目标业务请求数据的处理方式。
14.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12中任一项所述的方法的步骤。
15.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至12中任一项所述的方法的步骤。
CN202311516748.2A 2023-11-10 2023-11-10 请求处理方法、装置、计算机设备和存储介质 Pending CN117539965A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311516748.2A CN117539965A (zh) 2023-11-10 2023-11-10 请求处理方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311516748.2A CN117539965A (zh) 2023-11-10 2023-11-10 请求处理方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN117539965A true CN117539965A (zh) 2024-02-09

Family

ID=89789322

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311516748.2A Pending CN117539965A (zh) 2023-11-10 2023-11-10 请求处理方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN117539965A (zh)

Similar Documents

Publication Publication Date Title
EP2987090B1 (en) Distributed event correlation system
US10110687B2 (en) Session based web usage reporter
CN106953758A (zh) 一种基于Nginx服务器的动态配置管理方法及系统
CN101321084A (zh) 在计算机环境中利用关联规则挖掘为计算实体产生配置规则的方法和装置
CN110232010A (zh) 一种告警方法、告警服务器及监控服务器
CN112003920B (zh) 一种信息共享系统
WO2017211157A1 (zh) 关联账户的监控方法及装置
CN109034580B (zh) 一种基于大数据分析的信息系统整体健康度评估方法
US11074652B2 (en) System and method for model-based prediction using a distributed computational graph workflow
CN113726783B (zh) 异常ip地址识别方法、装置、电子设备及可读存储介质
CN110210213A (zh) 过滤恶意样本的方法及装置、存储介质、电子装置
CN113949577A (zh) 一种应用于云服务的数据攻击分析方法及服务器
CN112737800A (zh) 服务节点故障定位方法、调用链生成方法及服务器
CN110149319A (zh) Apt组织的追踪方法及装置、存储介质、电子装置
CN114357000A (zh) 一种区块链交易数据检索系统、方法、设备及存储介质
CN111770022A (zh) 基于链路监控的扩容方法、系统、设备及计算机存储介质
CN110061854A (zh) 一种无边界网络智能运维管理方法与系统
US20220058745A1 (en) System and method for crowdsensing-based insurance premiums
CN112581129A (zh) 区块链交易数据治理方法及装置、计算机设备及存储介质
CN117539965A (zh) 请求处理方法、装置、计算机设备和存储介质
CN114285786B (zh) 一种网络链路库的构建方法及装置
CN112712368B (zh) 一种基于大数据的云安全账户管理方法及云安全平台
US11544123B1 (en) Systems and methods for detecting partitioned and aggregated novel network, user, device and application behaviors
CN109995834A (zh) 大流量数据处理方法、装置、计算设备及存储介质
CN111800409A (zh) 接口攻击检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication