CN115002044A - 控制数据传输的方法、装置、计算机设备及存储介质 - Google Patents
控制数据传输的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN115002044A CN115002044A CN202210582588.0A CN202210582588A CN115002044A CN 115002044 A CN115002044 A CN 115002044A CN 202210582588 A CN202210582588 A CN 202210582588A CN 115002044 A CN115002044 A CN 115002044A
- Authority
- CN
- China
- Prior art keywords
- service request
- data
- core server
- overtime
- traffic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000004044 response Effects 0.000 claims abstract description 86
- 238000012545 processing Methods 0.000 claims abstract description 21
- 230000008569 process Effects 0.000 claims abstract description 15
- 230000002159 abnormal effect Effects 0.000 claims description 71
- 238000004891 communication Methods 0.000 claims description 25
- 238000012544 monitoring process Methods 0.000 description 46
- 238000001514 detection method Methods 0.000 description 13
- 230000002146 bilateral effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 238000013475 authorization Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000593 degrading effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012216 screening Methods 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/22—Traffic shaping
- H04L47/225—Determination of shaping rate, e.g. using a moving window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2425—Traffic characterised by specific attributes, e.g. priority or QoS for supporting services specification, e.g. SLA
- H04L47/2433—Allocation of priorities to traffic types
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/24—Traffic characterised by specific attributes, e.g. priority or QoS
- H04L47/2441—Traffic characterised by specific attributes, e.g. priority or QoS relying on flow classification, e.g. using integrated services [IntServ]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer And Data Communications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请涉及数据处理技术领域,提供了一种控制数据传输的方法、装置、计算机设备及存储介质,包括:首先基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合。然后根据每个业务请求的响应时长和预设响应时长阈值,对业务请求集合中的全部业务请求进行分类,得到分类结果。由于分类结果能够表征业务请求处理过程中的资源利用情况,因此基于分类结果可以对核心服务器发送的业务请求的流量等级进行调整,若调整后的流量等级调整结果为对流量等级进行升级,则增加业务请求的传输数量;若调整后的流量等级调整结果为对流量等级进行降级,则减少业务请求的传输数量,实现对数据传输的控制,避免服务器负载过大。
Description
技术领域
本申请涉及数据处理技术领域,尤其涉及一种控制数据传输的方法、装置、计算机设备及存储介质。
背景技术
在面向服务的架构环境下,系统之间存在着连带效应,例如,银行交易系统中,由用于交易风险侦测的伪冒系统来甄别来自核心系统的业务请求从而更好的保护银行利益是信用卡交易活动中重要步骤,但现有技术中,当有大量的数据从核心系统流向伪冒系统而导致伪冒系统出现性能问题时,由于核心系统对伪冒系统的强依赖作用而带来的连带效应会直接导致核心系统交易处理失效,若核心系统还是全流量打入伪冒系统会进一步加剧伪冒系统负载。
发明内容
基于此,有必要针对上述技术问题,提供一种控制数据传输的方法,以解决现有的控制数据传输的方法中,易导致服务器负载过大的问题。
本申请实施例的第一方面提供了一种控制数据传输的方法,包括:
基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
本申请实施例的第二方面提供了一种控制数据传输的装置,包括:
采集模块:用于基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
分类模块:用于根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
调整模块:用于基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
第一判定模块:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
第二判定模块:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
本申请实施例的第三方面提供了一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现上述控制数据传输的方法。
本申请实施例的第四方面提供了一个或多个存储有计算机可读指令的可读存储介质,所述计算机可读指令被一个或多个处理器执行时,使得所述一个或多个处理器执行如上述控制数据传输的方法。
本申请实施例提供的一种控制数据传输的方法、装置、计算机设备及存储介质,首先基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合,其中,业务请求集合中包括N个由用户终端向核心服务器发送的业务请求,N取大于0的整数。然后根据每个业务请求的响应时长和预设响应时长阈值,对业务请求集合中的全部业务请求进行分类,得到分类结果。由于分类结果能够表征业务请求处理过程中的资源利用情况,通过获取资源利用情况来对可传输的数据流量进行调整,因此基于分类结果可以对核心服务器发送的业务请求的流量等级进行调整,若调整后的流量等级调整结果为对核心服务器发送的业务请求的流量等级进行升级,则增加业务请求的传输数量;若调整后的流量等级调整结果为对核心服务器发送的业务请求的流量等级进行降级,则减少业务请求的传输数量,实现对数据传输的控制,以避免服务器负载过大。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例中控制数据传输的方法的一应用环境示意图;
图2是本申请实施例中控制数据传输的方法的实现流程示意图;
图3是本申请另一实施例中控制数据传输的方法的实现流程示意图;
图4是本申请实施例中控制数据传输的装置的结构示意图;
图5是本申请实施例中计算机设备的一示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1示出了本申请实施例中控制数据传输的方法的一应用环境示意图,如图1所示,本申请实施例提供的控制数据传输的方法,可应用在如图1的应用环境中,用户通过用户终端向核心服务器发送业务请求,核心服务器对业务请求进行授权检查,同时会将业务请求发送给监控服务器,监控服务器对业务请求进行风险侦测后将风险侦测结果反馈至核心服务器,核心服务器根据监控服务器反馈的风险侦测结果对业务请求进行放行或拒绝。
由于核心服务器再对业务请求进行授权检查时,同步请求监控服务器,若监控服务器出现性能问题,核心服务器的授权交易处理也将受到影响。本申请提供一种控制数据传输的方法,以控制数据流量由核心服务器进入监控服务器,减少特殊情况下的双边压力。其中,用户终端包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器和监控服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在具体实现时,用户在申请办理某项业务时,首先通过用户终端向核心服务器发送业务请求,核心服务器对业务请求进行授权检查,同时将业务请求发送给监控服务器进行风险侦测。监控服务器基于预设时间滑动窗口对核心服务器发送的业务请求进行采集,得到业务请求集合。其中业务请求集合中包括至少一个用户终端向核心服务器发送的业务请求。然后监控服务器根据对每个业务请求的响应时长与预设响应时长阈值,对业务请求集合中的全部业务请求进行分类,得到分类结果,其中分类结果包括不同响应时长的业务请求。再基于各类响应时长的业务请求的占比对核心服务器发送的业务请求的流量等级进行升级或降级调整,对应地,基于各类响应时长的业务请求的占比令核心服务器增加或减少向监控服务器传输业务请求的数据量,实现通过实时监测监控服务器的资源利用情况,控制核心服务器想监控服务器进行数据传输,缓解了特殊情况下核心服务器向监控服务器传输的数据量过多造成的监控服务器对应的系统负载问题,且有效避免了由于核心服务器与伪冒服务器之间的强依赖性而导致的双边服务器性能上的连带影响,提高了交易风险侦测的效率。
请参阅图2,图2所示为本申请实施例中控制数据传输的方法的实现流程图,以该方法应用在图1中的监控服务器为例进行说明,包括如下步骤:
S11:基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合。
在步骤S11中,业务请求集合中包括N个由用户终端向核心服务器发送的业务请求,且N为大于0的整数。预设时间滑动窗口通过参数设定可以周期性的采集核心服务器传输至伪冒服务器的业务请求,其中参数设定不做限制。其中,滑动窗口是一种流量控制技术,可应用于数据链路层(OSI模型)或传输层(TCP,Transmission Control Protocol,传输控制协议),滑动窗口的大小意味着接收方还有多大的缓冲区可以用于接收数据,发送方可以通过滑动窗口的大小来确定应该发送多少字节的数据,当滑动窗口为0时,发送方一般不能在发送数据。核心服务器用于对接收到的用户终端发送的业务请求进行授权检查,且将业务请求同步发送至监控服务器,根据监控服务器返回的风险侦测结果对业务请求进行放行或拒绝。监控服务器用于对接收到的业务请求进行风险侦测,并将风险侦测结果反馈给核心服务器。业务请求是指用户终端向核心服务器发送的用于业务办理、查询、交易等的请求。
在本实施例中,核心服务器通过基于预设时间滑动窗口与监控服务器进行业务请求等的数据交互。在配置时间滑动窗口时,可根据实际应用场景对时间滑动窗口的大小、采集的有效数据量等参数进行配置,得到预设的时间滑动窗口。监控服务器通过时间滑动窗口的大小确定对应的存储器可以接收的业务请求的数据量,以实时调整时间滑动窗口的大小,例如若检测到接收的数据量过多,则会减小窗口允许的数据量,同时核心服务器减小时间滑动窗口的大小以减小发送给监控服务器业务请求的数据量。基于预设的时间滑动窗口周期性的采集由核心服务器传输至监控服务器的业务请求,通过对采集到的业务请求实时进行数据分析,以控制核心服务器与监控服务器之间的数据传输,避免监控服务器出现数据负载的问题,影响服务器性能。需要说明的是,本申请对时间滑动窗口的大小、采集的有效数据量等参数配置不做限定。
作为本申请一实施例,所述预设时间滑动窗口包括基于所述业务请求落入窗口的时间设置的第一预设时间滑动窗口和基于落入窗口的业务请求量设置的第二预设时间滑动窗口;所述基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合,包括:以所述第一预设时间滑动窗口为采集周期采集所述业务请求;和/或以所述第二预设时间滑动窗口为采集周期采集所述业务请求,得到业务请求集合。
在本实施例中,基于业务请求落入窗口的时间设置的第一预设时间滑动窗口,也即基于预设时间窗口的大小的第一预设时间滑动窗口,例如设置预设时间滑动窗口的大小为5分钟(大小和度量单位均可配置),即最近5分钟内落入预设时间滑动窗口的数据才是有效数据。基于落入窗口的业务请求量设置的第二预设时间滑动窗口,即以落入窗口的业务请求的数据量为第二预设时间滑动窗口的参考配置。设置最大有效数据量和最小有效数据量,只有在最小有效数据量和最大有效数据量之间的数据量才为有效数据量,参与数据分析。例如设置最大有效数据量为最近落入窗口的500笔业务请求数据,最小有效数据量为最近落入窗口的10笔业务请求数据,如果最近落入时间滑动窗口的窗口数据大于500笔只会使用最近500笔参与数据统计计算,如果最近落入时间滑动窗口的窗口数据小于10笔就代表窗口数据无效,当前不进行数据统计计算,只有在窗口数据大于10笔小于500笔的数据才为有效数据,对这些有效数据进行数据统计计算。以第一预设时间滑动窗口和/或以第二预设时间滑动窗口为采集周期采集业务请求,也即,基于时间滑动窗口大小和/或最大有效数据量、最小有效数据量采集业务请求,具体地,若传输的数据量已知在最小有效数据量和最大有效数据量之间,则以单位时间窗口大小,例如最近5分钟内,采集的数据作为最终小小数据参与统计计算,若在数据量持续较大的情况下,最终采集的单位周期的有效数据须同时满足在时间窗口大小内且最大有效数据量和最小有效数据量之间。以时间滑动窗口大小和落入窗口有效数据量最终确定参与统计计算的单位周期的有效数据量。
S12:根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果。
在步骤S12中,分类结果用于表征业务请求处理过程中的资源利用情况。每个业务请求的响应时长是指核心服务器从调用监控服务器的接口想监控服务器发送该业务请求开始到接收到监控服务器反馈的该业务请求的风险侦测结果为止的时长。
在本实施例中,根据预设响应时长阈值,对每个业务请求的响应时长进行划分,可以划分出不同的响应时长,如正常的响应时长,异常的响应时长以及超时的响应时长,对应地,不同的响应时长对应不同的业务请求,将业务请求集合中的所有业务请求分成几类,根据各类业务请求的占比判断出资源利用情况,根据资源利用情况实施控制核心服务器和监控服务器之间的数据传输。
作为本申请一实施例,所述预设响应时长阈值包括正常响应时长阈值与超时响应时长阈值;所述根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果,包括:若所述响应时长小于或等于所述正常响应时长阈值,则将所述响应时长对应的业务请求归类为正常业务请求;若所述响应时长大于所述正常响应时长阈值小于所述超时响应时长阈值,则将所述响应时长对应的业务请求归类为异常业务请求;若所述响应时长大于或等于所述超时响应时长阈值,则将所述响应时长对应的业务请求归类为超时业务请求。
在本实施例中,预设响应时长阈值包括正常响应时长阈值和超时响应时长阈值,其中正常响应时长阈值是指正常响应时长的最大值,也即小于或等于正常响应时长阈值的响应时长均为正常响应时长,正常响应时长对应的业务请求归类为正常业务请求。超时响应时长阈值是指超时响应时长的最小值,也即大于或等于超时响应时长阈值的响应时长均为超时响应时长,超时响应时长对应的业务请求归类为超时业务请求。通常在达到通信超时前都会有异常响应,即位于正常响应时长阈值和超时响应时长阈值之间的响应时长,也即大于正常响应时长阈值,小于超时响应时长阈值的异常响应时长,异常响应时长对应的业务请求归类为异常业务请求。通过设置正常响应时长的临界值有助于更有效的提前判断监控服务器的数据负载情况,以能够提前进行流量限制,从而更有效的保护双边服务器。
S13:基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果。
在步骤S13中,流量等级用于表征允许核心服务器向监控服务器发送的业务请求的数据量。作为一示例,流量等级可以设置为1档、2档、3档,对应地,允许核心服务器向监控服务器发送的业务请求的数据量依次减少,也即流量等级1档时等级较高,3档较低,除此之外还有按照时间滑动窗口大小正常传输的情况和通信熔断即无数据传输的情况。本申请对流量等级的设置不做限定,例如也可以设置流量等级1档时等级较低,3档较高。流量等级调整结果包括在当前流量等级的基础上进行升级、降级或通信熔断等处理。
在本实施例中,实施对单位采集周期内的业务请求进行分类,可以得到各类业务请求在单位采集周期内总的业务请求中的占比,通过对各类业务请求的占比进行分析,判断对流量等级进行升级、降级或通信熔断或保持不变等操作。例如,若分析得到超时业务请求的占比较大,也即核心服务器发送至监控服务器的大部分业务请求均请求超时,则说明监控服务器的性能出现问题,例如监控服务器数据负载过重等,此时可对流等级进行降级或通信熔断处理。另外地,各级档位对应配置有相应的业务筛选规则,其中规则可配置。作为一示例,在银行系统中,若流量等级分别为1、2、3档,等级依次降低,即允许核心服务器向监控服务器发送的业务请求的数据量依次减少,则对应的业务筛选规则可以是1档时,核心服务器将特殊消费和全部取现交易发送至监控服务器对这些交易业务进行风险侦测,2档时,核心服务器将特殊商户特殊场景的取现业务发送至监控服务器进行风险侦测,较大概率降低交易风险同时控制发送至监控服务器的交易请求的数据量,从而保护通讯链路。
作为本申请一实施例,所述分类结果包括所述正常业务请求、异常业务请求及超时业务请求;所述基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果,包括:根据超时数据占比与当前连续超时数据量判断是否进行通信熔断;其中,所述超时数据占比是指单位采集周期内,所述超时业务请求的数据量在总数据量中的占比,所述当前连续超时数据量是指当前连续为超时业务请求的数据量;若判定为非通信熔断,则基于异常数据占比与当前连续异常数据量,对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果;其中,所述异常数据占比是指单位采集周期内,所述异常业务请求的数据量在总数据量中的占比,所述当前连续异常数据量是指当前连续为异常业务请求的数据量。
在本实施例中,通过定时线程对时间滑动窗口采集的业务请求数据进行统计计算,然后基于每一业务请求的响应时长和预设响应时长阈值,对采集到的业务请求进行分类,得到正常业务请求,异常业务请求以及超时业务请求。分别计算各类业务请求占单位采集周期的总业务请求的比例,得到超时数据占比,异常数据占比和正常数据占比。根据超时数据占比与当前连续超时数据量判断是否进行通信熔断,可以多尺度进行判断,其中当前连续超时数据量是指当前连续为超时业务请求的数据量。只有在判断为非熔断情况下,再基于异常数据占比与当前连续异常数据量对核心服务器发送业务请求的流量等级进行调整,其中,异常数据占比是指单位采集周期内,异常业务请求的数据量在总数据量中的占比,当前连续异常数据量是指当前连续为异常业务请求的数据量。
作为本申请一实施例,所述根据超时数据占比与当前连续超时数据量判断是否进行通信熔断,包括:若所述超时数据占比大于或等于预设超时数据占比阈值且所述当前连续超时数据量达到预设当前连续超时数据量阈值,则进行通信熔断;若所述超时数据占比小于预设超时数据占比阈值或所述当前连续超时数据量未达到预设当前连续超时数据量阈值,则判定为非通信熔断。
在本实施例中,预设超时数据占比阈值和当前连续超时数据量阈值用于作为判断是否进行通信熔断的标准,可进行多尺度的划分。例如,统计的单位采集周期的业务请求中,若超时数据占比大于50%且最近连续发送的5个业务请求均为超时业务请求,即判断进行熔断;若超时数据占比大于70%且最近连续发送的1个业务请求均为超时业务请求,即判断进行熔断;若超时数据占比大于95%则直接判断熔断。将预设超时数据占比阈值分别设为50%、70%以及95%,对应地,当前连续超时数据量阈值分别设为5、1和0。超时数据占比和当前连续超时数据量只要同时满足上述三种尺度范围中的一个,即判断进行通信熔断,但若超时数据占比和当前连续超时数据量两者只有一个满足或两者均不满足上述条件,则判定为非通信熔断。例如超时数据占比大于50%小于70%,但是当前连续超时数据量只有两个,则判定为非通信熔断,或超时数据占比小于50%,则判定为非通信熔断。
作为本申请一实施例,所述若判定为非通信熔断,则基于异常数据占比与当前连续异常数据量对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果,包括:若判断为非熔断,则将所述异常数据占比和所述当前连续异常数据量分别与预设异常数据占比阈值和当前连续异常数据量阈值作比较,得到比较结果;基于所述比较结果对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果。
在本实施例中,异常数据占比阈值是指单位采集周期内,异常业务请求的数据量在总数据量中的占比,当前连续异常数据量是指当前连续为异常业务请求的数据量。监控服务器在判定与核心服务器之间的通讯链路为非通信熔断的情况下,将异常数据占比和当前连续异常数据量分别与预设异常数据占比阈值和当前连续异常数据量阈值作比较,基于比较结果对核心服务器和监控服务器之间的流量等级进行升级或降级等调整,以更灵活有效的保护双边服务器,提高风险侦测效率。
作为一示例,预设档位分为3档、2档和1档,其中,3档为最低档位,此时控制业务请求数据使得传输数据量较少,设置预设异常数据占比阈值分别为60%、80%和100%,当前连续异常数据量阈值分别为5和2,其中,预设异常数据占比阈值与当前连续异常数据量阈值是成对配置的,具体地,若异常数据占比大于或等于60%小于80%且当前连续异常数据量达到5个,则将流量等级定位为1档,若异常数据占比大于或等于80%小于100%且当前连续异常数据量达到2个,则将流量等级定位为2档,若异常数据占比达到100%,则将流量等级定位为3档。若异常数据占比由小于60%变为异常数据占比大于或等于60%小于80%且当前连续异常数据量达到5个,则将流量等级降为1档,即降级,相对地,若异常数据占比由100%,降到80%到100%之间当前连续异常数据量达到2个,则将流量等级由3档升为2档。需要注意的是,降级可以越档降级,但是升级不能越档升级,例如,降级可以直接由正常降为3挡,而假若当前档位是3档,判断升级后只能升级到2档,等下次判断还可以升档,才能升为1档。其中,为了更好保护系统,降级判断时间间隔应该较小而升级判断时间间隔需要更大,所以升级和降级分开处理,两个定时线程的间隔时间可预先设定。
S14:若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量。
在步骤S14中,流量等级调整结果包括对核心服务器与监控服务器之间的流量等级进行升级或降级。
在本实施例中,若判断出异常数据占比满足高于当前等级的等级对应的异常数据占比的条件,且当前连续异常数据量也满足高于当前等级的等级对应的当前连续异常数据量的条件,则对流量等级进行升级,可增加核心服务器向监控服务器传输的数据量直至达到升级后的流量等级对应的可传输数据量。需要注意的是对流量等级进行升级不能越档升级,要逐档位升级。
S15:若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
在步骤S15中,减少业务请求的传输数量即减少核心服务器向监控服务器传输的数据量。
在本实施例中,若判断出异常数据占比数值较大,满足预设降级条件,且当前连续异常数据量对应也满足,同档位降级条件,则对流量等级进行降级,减少核心服务器向监控服务器传输的数据量,直至减少到降级后的流量等级对应的可传输数据量,以避免数据过载而造成服务器出现性能问题,且防止了由于连带效应影响核心服务器的性能,有效的保护了双边服务器。需要注意的是,对流量等级进行降级可以越档位降级,例如可以有1档位直接降为3档位,或直接进行通信熔断,以及时保护双边服务器。
请参阅图3,图3所示为本申请另一实施例提供的一种控制数据传输的方法的实现流程示意图,相比于图2所示的实施例中控制数据传输的方法的实现流程示意图,本实施例还包括步骤S21-S22,具体如下:
S21:根据所述升级后的流量等级对应的可传输数据量,进行业务请求的数据传输。
在本实施例中,在判定对核心服务器发送业务请求的流量等级为升级后,根据升级后的流量等级对应的档位,增加核心服务器向监控服务器传输的业务请求的数据量,不同档位对应的可传输的数据量不同。
S22:根据所述降级后的流量等级对应的可传输数据量,进行业务请求的数据传输。
在本实施例中,在判定对核心服务器发送业务请求的流量等级为降级后,根据降级后的流量等级对应的档位,减少核心服务器向监控服务器传输的业务请求的数据量,不同档位对应的可传输的数据量不同。各级档位对应配置有相应的业务筛选规则,其中规则可配置。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
在一个实施例中,提供一种控制数据传输的装置400,该控制数据传输的装置与上述实施例中控制数据传输的方法一一对应。如图4所示,该控制数据传输的装置包括采集模块401、分类模块402、调整模块403、第一判定模块404以及第二判定模块405。各功能模块详细说明如下:
采集模块401:用于基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
分类模块402:用于根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
调整模块403:用于基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
第一判定模块404:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
第二判定模块405:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
关于控制数据传输的装置的具体限定可以参见上文中对于控制数据传输的方法的限定,在此不再赘述。上述控制数据传输的装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该可读存储介质存储有操作系统、计算机可读指令和数据库。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的数据库用于存储控制数据传输的方法所涉及的数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读指令被处理器执行时以实现一种控制数据传输的方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括可读存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读指令。该内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机可读指令被处理器执行时以实现一种控制数据传输的方法。本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机可读指令,处理器执行计算机可读指令时实现以下步骤:
基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
在一个实施例中,提供了一个或多个存储有计算机可读指令的计算机可读存储介质,本实施例所提供的可读存储介质包括非易失性可读存储介质和易失性可读存储介质。可读存储介质上存储有计算机可读指令,计算机可读指令被一个或多个处理器执行时实现以下步骤:
基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机可读指令来指令相关的硬件来完成,所述的计算机可读指令可存储于一非易失性可读取存储介质或易失性可读存储介质中,该计算机可读指令在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种控制数据传输的方法,其特征在于,包括:
基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
2.如权利要求1所述的控制数据传输的方法,其特征在于,所述预设时间滑动窗口包括基于所述业务请求落入窗口的时间设置的第一预设时间滑动窗口和基于落入窗口的业务请求量设置的第二预设时间滑动窗口;
所述基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合,包括:
以所述第一预设时间滑动窗口为采集周期采集所述业务请求;和/或
以所述第二预设时间滑动窗口为采集周期采集所述业务请求,得到业务请求集合。
3.如权利要求1所述的控制数据传输的方法,其特征在于,所述预设响应时长阈值包括正常响应时长阈值与超时响应时长阈值;
所述根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果,包括:
若所述响应时长小于或等于所述正常响应时长阈值,则将所述响应时长对应的业务请求归类为正常业务请求;
若所述响应时长大于所述正常响应时长阈值小于所述超时响应时长阈值,则将所述响应时长对应的业务请求归类为异常业务请求;
若所述响应时长大于或等于所述超时响应时长阈值,则将所述响应时长对应的业务请求归类为超时业务请求。
4.如权利要求3所述的控制数据传输的方法,其特征在于,所述分类结果包括所述正常业务请求、异常业务请求及超时业务请求;
所述基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果,包括:
根据超时数据占比与当前连续超时数据量判断是否进行通信熔断;其中,所述超时数据占比是指单位采集周期内,所述超时业务请求的数据量在总数据量中的占比,所述当前连续超时数据量是指当前连续为超时业务请求的数据量;
若判定为非通信熔断,则基于异常数据占比与当前连续异常数据量,对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果;其中,所述异常数据占比是指单位采集周期内,所述异常业务请求的数据量在总数据量中的占比,所述当前连续异常数据量是指当前连续为异常业务请求的数据量。
5.如权利要求4所述的控制数据传输的方法,其特征在于,所述根据超时数据占比与当前连续超时数据量判断是否进行通信熔断,包括:
若所述超时数据占比大于或等于预设超时数据占比阈值且所述当前连续超时数据量达到预设当前连续超时数据量阈值,则进行通信熔断;
若所述超时数据占比小于预设超时数据占比阈值或所述当前连续超时数据量未达到预设当前连续超时数据量阈值,则判定为非通信熔断。
6.如权利要求5所述的控制数据传输的方法,其特征在于,所述若判定为非通信熔断,则基于异常数据占比与当前连续异常数据量对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果,包括:
若判断为非熔断,则将所述异常数据占比和所述当前连续异常数据量分别与预设异常数据占比阈值和当前连续异常数据量阈值作比较,得到比较结果;
基于所述比较结果对所述核心服务器发送所述业务请求的流量等级进行调整,得到流量等级调整结果。
7.一种控制数据传输的方法,其特征在于,还包括:
根据所述升级后的流量等级对应的可传输数据量,进行业务请求的数据传输;
根据所述降级后的流量等级对应的可传输数据量,进行业务请求的数据传输。
8.一种控制数据传输的装置,其特征在于,包括:
采集模块:用于基于预设时间滑动窗口,对核心服务器发送的业务请求进行采集,得到业务请求集合;所述业务请求集合中包括N个由用户终端向所述核心服务器发送的业务请求,且N为大于0的整数;
分类模块:用于根据所述业务请求集合中每个所述业务请求的响应时长与预设响应时长阈值,对所述业务请求集合中的全部所述业务请求进行分类,得到分类结果;所述分类结果用于表征业务请求处理过程中的资源利用情况;
调整模块:用于基于所述分类结果对所述核心服务器发送的业务请求的流量等级进行调整,得到流量等级调整结果;
第一判定模块:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行升级,则增加所述业务请求的传输数量,得到升级后的流量等级对应的可传输数据量;
第二判定模块:用于若所述流量等级调整结果为对所述核心服务器发送的业务请求的流量等级进行降级,则减少所述业务请求的传输数量,得到降级后的流量等级对应的可传输数据量。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,其特征在于,所述计算机可读指令被处理器执行时以实现权利要求1-7任意一项所述的控制数据传输的方法。
10.一个或多个可读存储介质,所述可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1-7任意一项所述的控制数据传输的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210582588.0A CN115002044B (zh) | 2022-05-26 | 2022-05-26 | 控制数据传输的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210582588.0A CN115002044B (zh) | 2022-05-26 | 2022-05-26 | 控制数据传输的方法、装置、计算机设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115002044A true CN115002044A (zh) | 2022-09-02 |
CN115002044B CN115002044B (zh) | 2024-03-19 |
Family
ID=83029579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210582588.0A Active CN115002044B (zh) | 2022-05-26 | 2022-05-26 | 控制数据传输的方法、装置、计算机设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115002044B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117112236A (zh) * | 2023-10-23 | 2023-11-24 | 山东曙光照信息技术股份有限公司 | 基于数据涌流及波动性预测的辖区服务器配置方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120079101A1 (en) * | 2010-06-02 | 2012-03-29 | Blue Coat Systems, Inc. | Behavioral Classification of Network Data Flows |
CN110390529A (zh) * | 2019-07-23 | 2019-10-29 | 中国工商银行股份有限公司 | 交易智能路由方法、装置、设备及存储介质 |
CN110505155A (zh) * | 2019-08-13 | 2019-11-26 | 北京达佳互联信息技术有限公司 | 请求降级处理方法、装置、电子设备及存储介质 |
CN112165436A (zh) * | 2020-10-15 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 流量控制方法、装置及系统 |
CN113595887A (zh) * | 2021-09-09 | 2021-11-02 | 北京天空卫士网络安全技术有限公司 | 一种邮件系统中的流量控制方法和装置 |
CN113779189A (zh) * | 2021-04-09 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种通讯请求流量预测方法和装置 |
CN114257411A (zh) * | 2021-11-19 | 2022-03-29 | 中国建设银行股份有限公司 | 交易流量控制方法、装置、设备、介质和计算机程序产品 |
-
2022
- 2022-05-26 CN CN202210582588.0A patent/CN115002044B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120079101A1 (en) * | 2010-06-02 | 2012-03-29 | Blue Coat Systems, Inc. | Behavioral Classification of Network Data Flows |
CN110390529A (zh) * | 2019-07-23 | 2019-10-29 | 中国工商银行股份有限公司 | 交易智能路由方法、装置、设备及存储介质 |
CN110505155A (zh) * | 2019-08-13 | 2019-11-26 | 北京达佳互联信息技术有限公司 | 请求降级处理方法、装置、电子设备及存储介质 |
CN112165436A (zh) * | 2020-10-15 | 2021-01-01 | 腾讯科技(深圳)有限公司 | 流量控制方法、装置及系统 |
CN113779189A (zh) * | 2021-04-09 | 2021-12-10 | 北京沃东天骏信息技术有限公司 | 一种通讯请求流量预测方法和装置 |
CN113595887A (zh) * | 2021-09-09 | 2021-11-02 | 北京天空卫士网络安全技术有限公司 | 一种邮件系统中的流量控制方法和装置 |
CN114257411A (zh) * | 2021-11-19 | 2022-03-29 | 中国建设银行股份有限公司 | 交易流量控制方法、装置、设备、介质和计算机程序产品 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117112236A (zh) * | 2023-10-23 | 2023-11-24 | 山东曙光照信息技术股份有限公司 | 基于数据涌流及波动性预测的辖区服务器配置方法及系统 |
CN117112236B (zh) * | 2023-10-23 | 2024-02-20 | 山东曙光照信息技术股份有限公司 | 基于数据涌流及波动性预测的辖区服务器配置方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115002044B (zh) | 2024-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107592345B (zh) | 交易限流装置、方法及交易系统 | |
CN109144700B (zh) | 超时时长的确定方法、装置、服务器和数据处理方法 | |
CN108923996B (zh) | 一种容量分析方法及装置 | |
WO2021032056A1 (zh) | 一种处理批量任务的方法、装置、计算设备及存储介质 | |
CN115002044B (zh) | 控制数据传输的方法、装置、计算机设备及存储介质 | |
CN110955586A (zh) | 一种基于日志的系统故障预测方法、装置和设备 | |
CN109117280A (zh) | 电子装置及其限制进程间通信的方法、存储介质 | |
CN109670932B (zh) | 信贷数据核算方法、装置、系统和计算机存储介质 | |
CN113935725A (zh) | 一种转账额度共享方法及装置 | |
CN111858021B (zh) | 交易渠道选择方法、线上交易方法以及相关装置 | |
CN116151982A (zh) | 热点账户的交易数据处理方法、装置、设备及介质 | |
CN116954893A (zh) | 一种自适应资源调度方法、装置及电子设备 | |
US8850034B1 (en) | Service request fast fail circuit breaker | |
CN110827142A (zh) | 用户信用评估方法、系统、服务器及存储介质 | |
US10872369B1 (en) | Systems and methods for providing intelligent electronic communications | |
CN114257411A (zh) | 交易流量控制方法、装置、设备、介质和计算机程序产品 | |
CN114612220A (zh) | 风控策略调整方法、装置、电子设备以及存储介质 | |
CN114116214A (zh) | Flink任务处理的资源调整方法、装置、设备和存储介质 | |
CN113469686B (zh) | 业务交易量的调整方法、装置、设备及存储介质 | |
CN106487925A (zh) | 服务访问控制方法和服务访问控制系统 | |
CN113469806A (zh) | 一种支付渠道确定方法、装置、设备及存储介质 | |
CN104363111A (zh) | 一种第三方系统接入的控制方法及设备 | |
CN111626852A (zh) | 交易管理方法与交易管理系统 | |
CN116777621B (zh) | 一种贸易业务风险防控方法及其防控系统 | |
CN116755869B (zh) | 一种金融业务进件处理方法、系统和介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |