CN116405534A - 数据的处理方法、装置和计算机设备 - Google Patents

数据的处理方法、装置和计算机设备 Download PDF

Info

Publication number
CN116405534A
CN116405534A CN202310401831.9A CN202310401831A CN116405534A CN 116405534 A CN116405534 A CN 116405534A CN 202310401831 A CN202310401831 A CN 202310401831A CN 116405534 A CN116405534 A CN 116405534A
Authority
CN
China
Prior art keywords
request data
rpc server
time
preset time
rpc
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310401831.9A
Other languages
English (en)
Inventor
潘熙文
罗俊
崔培豪
张俪龄
黄翠
王�锋
周飞
鲍龄
王良杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Original Assignee
Industrial Bank Co Ltd
CIB Fintech Services Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Bank Co Ltd, CIB Fintech Services Shanghai Co Ltd filed Critical Industrial Bank Co Ltd
Priority to CN202310401831.9A priority Critical patent/CN116405534A/zh
Publication of CN116405534A publication Critical patent/CN116405534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/133—Protocols for remote procedure calls [RPC]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请涉及一种数据的处理方法、装置、计算机设备、存储介质和计算机程序产品。方法包括：接收客户端发送的请求数据，确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数，根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。采用本方法能够根据第一预设时间内请求数据访问的第一次数和发送失败的第二次数确定对请求数据的处理方式，然后根据确定的处理方式对请求数据进行访问限制或者熔断处理，进而根据请求数据的实际情况来平衡大数据访问资源，解决高峰期的服务治理。

Description

数据的处理方法、装置和计算机设备
技术领域
本申请涉及大数据处理领域，特别是涉及一种数据的处理方法、装置、计算机设备、存储介质和计算机程序产品。
背景技术
随着大数据时代的到来，数据的种类和数量呈现爆炸式的增长，数据采集和处理需要大量的网络请求，由于服务器之间的IP地址不同，需要通过代理服务器进行数据访问，在访问过程中存在数据访问量过大，而导致某些访问数据因服务资源倾斜无法进行访问，以及对某些出现异常的服务端访问而导致更多访问数据阻塞等一系列问题。
在多种协议的大数据服务代理中，需要及时发现服务资源倾斜和服务端异常等问题，解决大数据服务资源倾斜和服务治理问题，以保障大数据服务的高可用。
发明内容
基于此，有必要针对上述技术问题，提供一种保障大数据服务的高可用的数据的处理方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
第一方面，本申请提供了一种数据的处理方法。所述方法包括：
接收客户端发送的请求数据；
确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理。
在其中一个实施例中，所述配置信息包括：第三次数和第四次数；所述根据所述第一次数、第二次数以及预设的配置信息确定对所述请求数据进行访问限制或者熔断处理，包括：
在第一预设时间内所述第一次数大于所述第三次数时，对所述请求数据进行访问限制；
在第二预设时间内所述第二次数大于所述第四次数时，对所述请求数据进行熔断处理。
在其中一个实施例中，所述对所述请求数据进行熔断处理，包括：
根据缓存的服务路由规则获取RPC服务端服务地址；
将所述请求数据延迟预设熔断时间发送至与所述RPC服务端服务地址对应的RPC服务端。
在其中一个实施例中，所述对所述请求数据进行访问限制，包括：
根据缓存的服务路由规则获取RPC服务端服务地址，不发送所述请求数据至所述RPC服务端服务地址；
当预设时间内所述第一次数小于等于所述第三次数时，将所述请求数据发送至与所述RPC服务端服务地址对应的RPC服务端。
在其中一个实施例中，所述方法还包括：
对请求数据进行分析，确定是否为预设的多种通讯协议；
若是，执行步骤：确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数。
在其中一个实施例中，所述对请求数据进行分析，确定是否为预设的多种通讯协议之后，还包括：
若否，则进行报错处理。
第二方面，本申请还提供了一种数据的处理装置。所述装置包括：
请求数据接收模块，用于接收客户端发送的请求数据；
远程控制RPC服务端确定模块，用于确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
访问限制熔断处理确定模块，用于根据所述第一次数、第二次数以及预设的配置信息确定对所述请求数据进行访问限制或者熔断处理。
第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
接收客户端发送的请求数据；
确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理。
第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
接收客户端发送的请求数据；
确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理。
第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收客户端发送的请求数据；
确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理。
上述数据的处理方法、装置、计算机设备、存储介质和计算机程序产品，接收客户端发送的请求数据，确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数，根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理，从而能够根据第一预设时间内请求数据访问的第一次数和发送失败的第二次数确定对请求数据的处理方式，然后根据确定的处理方式对请求数据进行访问限制或者熔断处理，进而根据请求数据的实际情况来平衡大数据访问资源，解决高峰期的服务治理。
附图说明
图1为一个实施例中数据的处理方法的应用环境图；
图2为一个实施例中数据的处理方法的流程示意图；
图3为一个实施例中熔断处理步骤的流程示意图；
图4为另一个实施例中访问限制步骤的流程示意图；
图5为一个实施例中对请求数据进行分析的流程示意图；
图6为另一个实施例中数据的处理方法的流程示意图；
图7为一个实施例中数据的处理装置的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的数据的处理方法，可以应用于如图1所示的应用环境中。其中，客户端102通过网络与代理器104进行通信，代理器104通过网络与远程控制RPC服务端106进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在代理器104上，也可以放在云上或其他网络服务器上。代理器104接收客户端102发送的请求数据；代理器104确定与请求数据对应的远程控制RPC服务端106，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数；代理器104根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。远程控制RPC服务端106可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一个实施例中，如图2所示，提供了一种数据的处理方法，该方法应用于图1中的代理器，包括以下步骤：
步骤202，接收客户端发送的请求数据。
代理器是一种网络服务器，它在客户端和目标服务器之间充当中间人的角色，代替客户端向目标服务端发送请求，并将响应返回给客户端。客户端可以通过向代理器发送请求数据来实现与目标服务端进行通信。
具体地，客户端需要大数据服务时，客户端向代理器发送请求数据，同时客户端会建立与代理器的连接。请求数据是客户端发送的一个包含了请求方法、目标URL、请求头和请求体等信息的数据包，这些请求数据包含了客户端想要与目标服务端进行交互的具体要求。
步骤204，确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
其中，第一预设时间和第二预设时间可以相同也可以不同，第一预设时间可以为15秒、30秒等，第二预设时间可以为15秒、30秒、40秒等。具体地，预设时间可以根据实际访问情况进行自主设置等。第一次数为在第一预设时间内将请求数据发送RPC服务端的次数。第二次数为在第二预设时间内将请求数据向RPC服务端发送失败的次数。
具体地，代理器基于Selector读写模型、Netty以及Akka通信框架，接收请求数据后，解析请求数据中的Uri协议(比如http://、spar://等)、协议头信息。根据解析出的请求数据信息，确定请求数据对应的远程控制RPC服务端。并统计在第一预设时间内，请求数据向述RPC服务端发送次数，即请求数据在第一预设时间内的第一次数。同样地，统计第二预设时间内，将请求数据向RPC服务端发送失败的次数，即RPC服务端的第二次数。从而得到请求数据在第一预设时间内发送RPC服务端的第一次数，及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
步骤206，根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。
其中，配置信息包括了访问限制配置和熔断配置，访问限制配置用于确定是否需要对请求数据进行访问限制，以实现请求数据无法进行访问的目的。熔断配置用于确定是否需要对请求数据进行熔断处理。配置信息访问限制相关配置默认采用适配器启动时的配置，可通过控制面板下推新的配置信息进行覆盖。
一般地，当代理器发现某一请求数据频繁对远程控制RPC服务端进行访问时，会通过不转发上述请求数据至远程控制RPC服务端，来实现对上述请求数据的访问限制，从而保证其他的请求数据可以顺利进行访问，平衡访问资源。
当代理器发现无法访问远程控制RPC服务端时，会通过对熔断器进行操作来实现代理器不再转发请求数据至远程控制RPC服务端。具体地，根据预设时间内的第二次数和预设的熔断信息，来确定是否需要进行熔断处理。若判断出需要进行熔断处理，则对熔断器进行相应的操作。
在本实施例中，通过接收客户端发送的请求数据，确定与请求数据对应的远程控制RPC服务端，并统计获得请求数据在预设时间内的第一次数，以及RPC服务端的第二次数，第二次数是指在预设时间内将请求数据向RPC服务端发送失败的次数；根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理，从而在请求数据频繁访问RPC服务端时进行访问限制，在RPC服务端频繁响应异常时，进行熔断处理，进而平衡大数据访问资源，解决高峰期的服务治理。
在一个实施例中，配置信息包括：配置信息包括：第三次数和第四次数；根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理，包括：在第一预设时间内第一次数大于第三次数时，对请求数据进行访问限制；在第二预设时间内第二次数大于第四次数时，对请求数据进行熔断处理。
其中，第一次数为在第一预设时间内将请求数据发送RPC服务端的次数，第二次数是指在第二预设时间内将请求数据向RPC服务端发送失败的次数，第三次数是用于判断是否需要进行访问限制的次数，第四次数是用于判断是否需要进行熔断处理的次数，第三次数和第四次数为根据实际访问需求而设置的次数。
可以理解的是，代理器会对远程控制RPC服务端进行监控，如果远程控制RPC服务端在第一预设时间内被频繁访问，代理器将停止转发请求数据至远程控制RPC服务端，从而实现对请求数据的访问限制，避免一个RPC服务端被频繁访问影响到其他的请求数据的访问。
如果远程控制RPC服务端在第二预设时间内发生了一定次数的故障，代理器会将熔断器从“开启”状态转换为“关闭”状态，阻止请求数据到达远程控制RPC服务端。
具体地，对配置的进行访问限制的第三次数和请求数据在第一预设时间内的第一次数进行比较，若在第一预设时间内，第一次数大于进行访问限制的第三次数，则阻止代理服务器发送请求数据，从而限制请求数据对其对应的RPC服务端的访问。对配置的进行熔断处理的第四次数和请求数据在第二预设时间内的第二次数进行比较，若在第二预设时间内，第二次数大于进行熔断处理的第四次数，则将熔断器从“开启”状态转换为“关闭”状态，阻止请求数据到达远程控制RPC服务端。
在本实施例中，比较第一预设时间内的第一次数和第三次数，当第一预设时间内的第一次数大于第三次数时，对请求数据进行访问限制，避免一个RPC服务端被频繁访问。同样的，比较第二预设时间内的第二次数和第四次数，当第二预设时间内的第二次数大于第四次数时，阻止请求数据对远程控制RPC服务端的访问，从而避免远程控制RPC服务端异常时，客户端多次发起访问请求。
在一个实施例中，如图3所示，对请求数据进行熔断处理，包括以下步骤：
步骤302，根据缓存的服务路由规则获取RPC服务端服务地址。
服务路由规则包括了多种协议类型，以及多种协议类型对应的RPC服务端服务地址，其通过控制面板程序下推新的服务路由规则进行覆盖。熔断处理是指通过变更熔断器的状态来实现不发送请求数据至RPC服务端服务地址的目的。
在第二预设时间内将请求数据发送RPC服务端的失败次数大于配置的第四次数时，则将熔断器从“开启”状态转换为“关闭”状态，从而阻止请求数据到达对应的RPC服务端，并根据服务理由规则确定请求数据对应的RPC服务端服务地址。
步骤304，将请求数据延迟预设熔断时间发送至与RPC服务端服务地址对应的RPC服务端。
预设熔断时间为预先设置的熔断时间，熔断时间可以为30s，也可为50s，具体数值可以根据历史请求数据的访问失败次数，确定各时间段对应的不同的熔断时间。
获取请求数据对应的RPC服务端服务地址后，经过预设熔断时间后，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
在本实施例中，熔断器对请求数据进行熔断处理后，获取请求数据对应的RPC服务端服务地址，当达到预设熔断时间时，发送请求数据至与RPC服务端服务地址对应的RPC服务端，通过延期发送请求数据来避免出现异常的服务端的响应压力。
在一个实施例中，如图4所示，对请求数据进行访问限制，包括以下步骤：
步骤402，根据缓存的服务路由规则获取RPC服务端服务地址，不发送请求数据至RPC服务端服务地址。
在第一预设时间内将请求数据发送RPC服务端的次数大于配置的第三次数时，代理器不转发上述请求数据至远程控制RPC服务端，来实现对上述请求数据的访问限制。
步骤404，当第一预设时间内第一次数小于等于第三次数时，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
对上述请求数据进行访问限制后，请求数据无法访问RPC服务端。在一段时间内，由于请求数据无法访问RPC服务端，在第一预设时间内上述请求数据的访问次数减少，从而在第一预设时间内第一次数小于等于第三次数，此时，请求数据不满足访问限制条件，可以将请求数据发送至RPC服务端服务地址对应的RPC服务端。
在本实施例中，通过代理器不转发上述请求数据至远程控制RPC服务端，来实现对上述请求数据的访问限制，且在一段时间内，由于请求数据的访问次数减少，使得请求数据在第一预设时间内不满足访问限制条件，从而代理器继续转发请求数据至RPC服务端服务地址，实现请求数据对RPC服务端的访问。
在一个实施例中，如图5所示，数据的处理方法还包括以下步骤：
步骤502，对请求数据进行分析，确定是否为预设的多种通讯协议。
其中，预设的多种通讯协议包括http协议、https协议、spark RPC协议、flink RPC协议。
具体地，对请求数据进行协议分析，解析TCP报文的数据部分，解析数据中的Uri协议(比如http://、spar://等)、协议头信息，并比对是否满足http、spark RPC、flink RPC请求报文的特征。
步骤504，若是，执行步骤：确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
若解析得到的请求数据的Uri协议、协议头信息满足http、spark RPC、flink RPC请求报文的特征，则根据请求数据和服务路由规则确定请求数据对应的远程控制RPC服务端，统计上述请求数据在第一预设时间内的第一次数，以及在在第二预设时间内上述请求数据向RPC服务端发送失败的次数。
步骤506，若否，则进行报错处理。
若解析得到的请求数据的Uri协议、协议头信息满足http、spark RPC、flink RPC请求报文的特征时，则代理服务器进行报错处理。
在本实施例中，通过对请求数据进行协议分析，确定代理器是否可以对请求数据进行代理，代理器可以代理请求数据时，获取请求数据对应的远程控制RPC服务端、请求数据在第一预设时间内的第一次数，在第二预设时间内将请求数据向RPC服务端发送失败的第二次数，代理器不能代理请求数据时，进行报错处理，从而对预设的多种通讯协议进行服务代理。
本申请提供一种数据的处理方法，如图6所示，该方法通过远程控制RPC代理器接收客户端发送的请求数据，其中远程控制RPC代理器是基于Selector读写模型、Netty以及Akka通信框架，RPC代理器对接收到的请求数据进行解析，得到请求数据的Uri协议、协议头信息，将其与http协议、spark RPC通讯协议、flink RPC通信协议进行特征比对。若请求数据的Uri协议、协议头信息满足三种通讯协议的报文特征，从本地缓存中读取服务路由规则，基于服务路由规则，确定请求数据对应的远程控制RPC服务端，并统计获得请求数据在第一预设时间内发送远程控制RPC服务端的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。从本地缓存中读取访问限制配置和熔断配置，基于访问限制配置和请求数据在第一预设时间内的第一次数确定是否需要对请求数据进行访问限制，若需要进行访问限制，则通过限流器来限制请求数据的转发；基于熔断配置和请求数据在第二预设时间内的第二次数来确定是否需要对请求数据进行熔断处理，若需要进行熔断处理，则通过熔断器阻止发送请求数据；若请求数据既不需要访问限制也不需要熔断处理，则代理器发送请求数据至RPC服务端，RPC服务端响应请求数据后，代理器将RPC服务端响应的内容返回至客户端。其中，服务路由规则、访问限制配置和熔断配置均通过控制面板写入代理器，并在本地进行缓存。
本申请提供的数据的处理方法，通过在RPC代理器中记录请求数据来源、以及请求数据对应的第一次数和第二次数，再根据控制面板下推的配置信息判断是否对请求数据进行限制访问或熔断，在请求数据频繁访问RPC服务端时进行访问限制，在RPC服务端频繁响应异常时，进行熔断处理，进而平衡大数据访问资源，解决高峰期的服务治理，进一步保障大数据服务高可用。
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据的处理方法的数据的处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据的处理装置实施例中的具体限定可以参见上文中对于数据的处理方法的限定，在此不再赘述。
在一个实施例中，如图7所示，提供了一种数据的处理装置，包括：请求数据接收模块702、远程控制RPC服务端确定模块704和访问限制熔断处理确定模块707，其中：
请求数据接收模块702，用于接收客户端发送的请求数据。
远程控制RPC服务端确定模块704，用于确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
访问限制熔断处理确定模块706，用于根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。
在一个实施例中，配置信息包括：第三次数和第四次数；根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理，包括：在第一预设时间内第一次数大于第三次数时，对请求数据进行访问限制；在第二预设时间内第二次数大于第四次数时，对请求数据进行熔断处理。
在一个实施例中，访问限制熔断处理确定模块，还用于根据缓存的服务路由规则获取RPC服务端服务地址；将请求数据延迟预设熔断时间发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，访问限制熔断处理确定模块，还用于根据缓存的服务路由规则获取RPC服务端服务地址，不发送请求数据至RPC服务端服务地址；当预设时间内第一次数小于等于第三次数时，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，数据的处理装置还包括分析模块，用于对请求数据进行分析，确定是否为预设的多种通讯协议；
若是，执行步骤：确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数
在一个实施例中，分析模块，还用于若否，则进行报错处理。
上述数据的处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示，图8中的计算机设备和图1中的代理器为同一设备。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储响应数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据的处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
接收客户端发送的请求数据；
确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数；
根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
在第一预设时间内第一次数大于第三次数时，对请求数据进行访问限制；在第二预设时间内第二次数大于第四次数时，对请求数据进行熔断处理。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址；将请求数据延迟预设熔断时间发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址，不发送请求数据至RPC服务端服务地址；当预设时间内第一次数小于等于第三次数时，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对请求数据进行分析，确定是否为预设的多种通讯协议；若是，执行步骤：确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
若否，则进行报错处理。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
接收客户端发送的请求数据；
确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数；
根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在第一预设时间内第一次数大于第三次数时，对请求数据进行访问限制；在第二预设时间内第二次数大于第四次数时，对请求数据进行熔断处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址；将请求数据延迟预设熔断时间发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址，不发送请求数据至RPC服务端服务地址；当预设时间内第一次数小于等于第三次数时，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对请求数据进行分析，确定是否为预设的多种通讯协议；若是，执行步骤：确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若否，则进行报错处理。
在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
接收客户端发送的请求数据；
确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数；
根据第一次数、第二次数以及预设的配置信息确定对请求数据进行访问限制或者熔断处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
在第一预设时间内第一次数大于第三次数时，对请求数据进行访问限制；在第二预设时间内第二次数大于第四次数时，对请求数据进行熔断处理。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址；将请求数据延迟预设熔断时间发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据缓存的服务路由规则获取RPC服务端服务地址，不发送请求数据至RPC服务端服务地址；当预设时间内第一次数小于等于第三次数时，将请求数据发送至与RPC服务端服务地址对应的RPC服务端。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对请求数据进行分析，确定是否为预设的多种通讯协议；若是，执行步骤：确定与请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得请求数据的第一次数，以及在第二预设时间内将请求数据向RPC服务端发送失败的第二次数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
若否，则进行报错处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据的处理方法，其特征在于，所述方法包括：
接收客户端发送的请求数据；
确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
根据所述第一次数、第二次数以及预设的配置信息对所述请求数据进行访问限制或者熔断处理。
2.根据权利要求1所述的方法，其特征在于，所述配置信息包括：第三次数和第四次数；所述根据所述第一次数、第二次数以及预设的配置信息确定对所述请求数据进行访问限制或者熔断处理，包括：
在第一预设时间内所述第一次数大于所述第三次数时，对所述请求数据进行访问限制；
在第二预设时间内所述第二次数大于所述第四次数时，对所述请求数据进行熔断处理。
3.根据权利要求2所述的方法，其特征在于，所述对所述请求数据进行熔断处理，包括：
根据缓存的服务路由规则获取RPC服务端服务地址；
将所述请求数据延迟预设熔断时间发送至与所述RPC服务端服务地址对应的RPC服务端。
4.根据权利要求2所述的方法，其特征在于，所述对所述请求数据进行访问限制，包括：
根据缓存的服务路由规则获取RPC服务端服务地址，不发送所述请求数据至所述RPC服务端服务地址；
当第一预设时间内所述第一次数小于等于所述第三次数时，将所述请求数据发送至与所述RPC服务端服务地址对应的RPC服务端。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对请求数据进行分析，确定是否为预设的多种通讯协议；
若是，执行步骤：确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数。
6.根据权利要求5所述的方法，其特征在于，所述对请求数据进行分析，确定是否为预设的多种通讯协议之后，还包括：
若否，则进行报错处理。
7.一种数据的处理装置，其特征在于，所述装置包括：
请求数据接收模块，用于接收客户端发送的请求数据；
远程控制RPC服务端确定模块，用于确定与所述请求数据对应的远程控制RPC服务端，并统计在第一预设时间内获得所述请求数据的第一次数，以及在第二预设时间内将所述请求数据向所述RPC服务端发送失败的第二次数；
访问限制熔断处理确定模块，用于根据所述第一次数、第二次数以及预设的配置信息确定对所述请求数据进行访问限制或者熔断处理。
8.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202310401831.9A 2023-04-14 2023-04-14 数据的处理方法、装置和计算机设备 Pending CN116405534A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310401831.9A CN116405534A (zh) 2023-04-14 2023-04-14 数据的处理方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310401831.9A CN116405534A (zh) 2023-04-14 2023-04-14 数据的处理方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN116405534A true CN116405534A (zh) 2023-07-07

Family

ID=87010173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310401831.9A Pending CN116405534A (zh) 2023-04-14 2023-04-14 数据的处理方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN116405534A (zh)

Similar Documents

Publication Publication Date Title
US9830240B2 (en) Smart storage recovery in a distributed storage system
US9971823B2 (en) Dynamic replica failure detection and healing
US8135979B2 (en) Collecting network-level packets into a data structure in response to an abnormal condition
CN107204901B (zh) 一种提供、接收状态通知的计算机系统
US20150213134A1 (en) Data query method and system and storage medium
CN111459750A (zh) 基于非扁平网络的私有云监控方法、装置、计算机设备及存储介质
US20180295029A1 (en) Managing groups of servers
CN111835562B (zh) 日志上传方法、日志查询方法、系统
US9331915B1 (en) Dynamic network traffic mirroring
US10609123B2 (en) Hybrid quorum policies for durable consensus in distributed systems
US20140237067A1 (en) Connection cache method and system
CN112100146B (zh) 一种高效的纠删分布式存储写入方法、系统、介质及终端
US10545667B1 (en) Dynamic data partitioning for stateless request routing
US10445136B1 (en) Randomized subrequest selection using request-specific nonce
US9021109B1 (en) Controlling requests through message headers
CN112019604A (zh) 边缘数据传输方法和系统
CN116405534A (zh) 数据的处理方法、装置和计算机设备
CN101902449A (zh) 网络设备之间持续http连接的仿真
CN114553778A (zh) 心跳控制方法及装置、存储介质、电子设备
US20170262543A1 (en) Method and system for improving sessions and open files enumerations by data structures changes
CN115250276A (zh) 分布式系统及数据处理的方法和装置
CN112769960A (zh) 一种基于Nginx服务器的主动流量控制方法及系统
EP3374882B1 (en) File system with distributed entity state
CN117992243B (zh) 用于中间件的负载均衡方法、装置和计算机设备
US10708343B2 (en) Data repository for a distributed processing environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination