CN117527786A - Ftp数据处理方法、装置、电子设备及存储介质 - Google Patents
Ftp数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN117527786A CN117527786A CN202311569232.4A CN202311569232A CN117527786A CN 117527786 A CN117527786 A CN 117527786A CN 202311569232 A CN202311569232 A CN 202311569232A CN 117527786 A CN117527786 A CN 117527786A
- Authority
- CN
- China
- Prior art keywords
- request data
- data
- processed
- ftp
- service request
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 27
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 190
- 238000012546 transfer Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 60
- 238000012544 monitoring process Methods 0.000 claims description 31
- 230000000694 effects Effects 0.000 abstract description 9
- 230000005540 biological transmission Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000010485 coping Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
- H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/568—Storing data temporarily at an intermediate stage, e.g. caching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
- H04L69/163—In-band adaptation of TCP data exchange; In-band control procedures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请提供一种FTP数据处理方法、装置、电子设备及存储介质。该方法包括：获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。本申请的方法，提高了通过FTP协议对数据进行处理的效果。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种FTP数据处理方法、装置、电子设备及存储介质。
背景技术
FTP(File Transfer Protocol，文件传输协议)作为一种标准的文件传输协议，在计算机网络中扮演着重要的角色。它通过提供可靠、高效和安全的文件传输方式，满足了人们日常生活和工作中对文件共享和数据传输的需求。
目前，现有技术中FTP主要是使用基于TCP(Transmission Control Protocol，传输控制协议)的连接进行数据传输，而在TCP协议中，数据传输是面向连接的，这意味着在传输大文件时，会建立一条从客户端到服务器的持续连接，这个过程中，连接需要保持打开状态，直到数据传输完成并关闭连接。
然而，现有FTP数据处理方法存在数据处理效果不好的问题。
发明内容
本申请提供一种FTP数据处理方法、装置、电子设备及存储介质，用以解决处理大批量数据时效果不好的问题。
第一方面，本申请提供一种FTP数据处理方法，包括：
获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；
将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。
在本申请实施例中，获取待处理请求数据，包括：
流量监控单元接收服务请求数据；
流量监控单元根据访问流量阈值要求，确定服务请求数据中的目标服务请求数据和其他服务请求数据，其中，访问流量阈值要求表征对服务请求数据的访问数据量要求和访问频率要求；
将目标服务请求数据发送至网关负载均衡单元；
网关负载均衡单元根据FTP转存集群中节点的当前性能要求，确定目标服务请求数据中的待处理请求数据和其他待处理请求数据。
在本申请实施例中，方法还包括：
将其他服务请求数据和其他待处理请求数据存储在任务队列中；
任务队列在接收到调度器单元的请求调度指令后，将其他服务请求数据和其他待处理请求数据中的目标请求数据发送至调度器单元，以使调度器单元将目标请求数据发送至流量监控单元。
在本申请实施例中，将其他服务请求数据和其他待处理请求数据存储在任务队列中，包括：
确定其他服务请求数据的请求时间和其他待处理请求数据的请求时间；
根据其他服务请求数据的请求时间和其他待处理请求数据的请求时间，将其他服务请求数据和其他待处理请求数据按照时间排序要求存储在任务队列中。
在本申请实施例中，方法还包括：
确定FTP转存集群中节点的当前性能信息；
若FTP转存集群中节点的当前性能信息满足预设的性能使用要求，则根据调度器单元中的节点性能，对FTP转存集群进行扩容。
在本申请实施例中，将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理，包括：
确定FTP转存集群中节点的当前性能信息；
根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式，FTP转存集群中节点对待处理请求数据的处理模式包括数据消费者处理模式和数据生产者处理模式；
根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理。
在本申请实施例中，根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式，包括：
确定与待处理请求数据对应的目标服务器、以及目标服务器与数据处理系统的连接信息；
根据FTP转存集群中节点的当前性能信息、以及目标服务器与数据处理系统的连接信息，确定FTP转存集群中节点对待处理请求数据的处理模式。
在本申请实施例中，在根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式之后，根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理之前，方法还包括：
确定处于数据消费者处理模式的第一节点的第一数量和第一数量阈值、以及处于数据生产者处理模式的第二节点的第二数量和第二数量阈值，其中，第一数量阈值和第二数量阈值根据待处理请求数据确定；
根据第一数量和第一数量阈值、以及第二数量和第二数量阈值，调整处于数据消费者处理模式的第一节点的数量、以及处于数据消费者处理模式的第二节点的数量。
第二方面，本申请提供一种FTP数据处理装置，包括：
获取模块，用于获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；
处理模块，用于将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。
第三方面，本申请提供一种电子设备，包括：处理器，以及与处理器通信连接的存储器；
存储器存储计算机执行指令；
处理器执行存储器存储的计算机执行指令，以实现本申请实施例的数据填报显示方法。
第四方面，一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现本申请实施例的FTP数据处理方法。
本申请提供的FTP数据处理方法、装置、电子设备及存储介质，通过获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理的手段，使得在接收到初始请求数据后，通过流量监控单元对访问数据量和访问频率进行控制，再通过网关负载均衡单元根据数据请求的性能要求进行筛选，然后将不满足要求的请求数据重新发送至流量监控单元，将满足要求的请求数据发送至述FTP转存集群处理，实现应对大批量任务提高处理效率的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的FTP数据处理方法的流程示意图；
图2为本申请实施例提供的另一种FTP数据处理方法的模块示意图；
图3为本申请实施例提供的FTP数据处理装置的结构示意图；
图4为本申请实施例提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
现有技术中，FTP基于TCP的连接进行数据传输时，会先建立连接，然后进行数据的分段、编号，并通过确认应答机制保证数据的可靠传输。这个过程中，连接需要保持打开状态，直到数据传输完成并关闭连接。因此，在传输大文件时，需要保持较长时间的连接，这就会占用大量的网络带宽资源，当数据传输速度过快时，接收方可能会来不及处理接收到的数据，导致数据丢失或丢包。
本申请实施例可以基于大批量的数据处理请求，为了确保转存集群中的节点能够快速处理任务，避免任务积压或任务过载，因此，设置了流量监控单元，从而对数据处理请求的访问数据量、访问频率进行监控和限制，还设置了网关负载均衡单元，根据转存集群中的节点的性能和数据处理请求的性能需要进行筛选，将能够处理的数据处理请求发送至转存集群并进行数据处理，在数据处理时，还可以随时调整转存集群中节点对待处理请求数据的处理模式，由此，产生提高处理大批量数据处理请求效率的效果。
本申请实施例提供一种FTP数据处理方法、装置、电子设备及存储介质。
该FTP数据处理方法的执行主体可以是服务器。其中，服务器可以为手机、平板、电脑等设备。本实施例对执行主体的实现方式不做特别限制，只要该执行主体能够获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理即可。
其中，FTP数据处理可以指通过FTP协议将数据从客户端传输到服务器端的过程，这个过程中，客户端和服务器端之间会进行一系列的通信和数据交换，以实现文件的上传、下载、删除等操作。
图1为本申请实施例提供的FTP数据处理方法的流程示意图。本方法的执行主体可以为服务器或其它服务器，本实施例此处不做特别限制，如图1所示，本方法可以包括：
S101、获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据。
其中，待处理请求数据可以指需要发送至FTP转存集群处理的从服务器下载到客户端的数据，其中，待处理请求数据符合访问流量阈值要求且满足FTP转存集群中节点的当前性能要求。
当前性能要求可以指根据FTP转存集群的节点在目前能够提供的性能设置的要求，可以包括对存储容量、网络带宽、计算能力、安全性等的要求。
服务请求数据可以包括其他待处理请求数据、其他服务请求数据和初始请求数据，根据服务请求数据中的性能需求，可以确定目标服务请求数据，目标服务请求数据可以指其他待处理请求数据、其他服务请求数据和初始请求数据中满足访问流量阈值要求的数据，其中，访问流量阈值要求可以指根据服务器在单位时间内能够处理的最大请求数据和最大请求频率设置的要求。
初始请求数据可以指客户端在向服务器发起请求时，作为请求报文的一部分发送给服务器的原始数据，用于描述客户端的请求内容和要求。
FTP转存集群可以指用于存储和管理FTP数据的分布式系统，由多个节点组成，每个节点都具备一定的存储容量和处理能力，可以作为一个独立的FTP服务器，接收和存储来自客户端的FTP数据。同时，FTP转存集群还具备高可用性和可扩展性，当某个节点发生故障或需要扩展存储容量时，其他节点可以协作完成数据备份、恢复或扩展任务。
其中，在本申请实施例中，获取待处理请求数据的方法可以包括：
流量监控单元接收服务请求数据；
流量监控单元根据访问流量阈值要求，确定服务请求数据中的目标服务请求数据和其他服务请求数据，其中，访问流量阈值要求表征对服务请求数据的访问数据量要求和访问频率要求；
将目标服务请求数据发送至网关负载均衡单元；
网关负载均衡单元根据FTP转存集群中节点的当前性能要求，确定目标服务请求数据中的待处理请求数据和其他待处理请求数据。
其中，流量监控单元可以指用于实时监控FTP服务器和客户端之间的数据流量情况的功能模块，可以帮助用户了解服务器的负载情况、网络带宽使用情况以及数据传输速率等关键指标，在本申请实施例中，流量监控单元可以包括网络监控工具、流量频率监控插件等方式，流量监控可以指实时监控服务请求数据的访问数据量和访问频率。
流量监控单元根据访问流量阈值要求，确定服务请求数据中的目标服务请求数据和其他服务请求数据的方法可以包括根据流量监控单元监控得到的服务请求数据的访问数据量和访问频率，与访问流量阈值要求中的访问数据量要求和访问频率要求进行比对，满足访问数据量要求和访问频率要求的部分为目标服务请求数据，不满足访问数据量要求和访问频率要求的部分为其他服务请求数据，例如，当访问流量阈值要求中的访问数据量要求为5000个、访问频率要求为每秒100个时，流量监控单元监控得到的访问数据量为8000个，则超出访问数据量要求的3000个任务为其他服务请求数据，未超出访问数据量要求的5000个任务为目标服务请求数据，流量监控单元监控得到的访问频率为每秒150个，则超出访问频率要求的50个任务为其他服务请求数据，未超出访问频率要求的100个任务为目标服务请求数据。
网关负载均衡单元可以指用于实时监控FTP转存集群中节点的性能的功能模块，节点的性能可以包括存储容量、网络带宽、计算能力、安全性等，可以根据节点的当前性能要求，对目标服务请求数据进行筛选，能够通过节点的当前性能要求满足性能需求的为待处理请求数据，不能满足性能需求的为其他待处理请求数据，例如，先获取目标服务请求数据的性能需求，为存储数据大小为5GB，再获取所有节点的当前存储容量情况，如果没有节点的存储容量大于5GB时，则目标服务请求数据不能通过现有节点完成处理，为其他待处理请求数据，如果有节点的存储容量大于5GB时，则目标服务请求数据能够通过现有节点完成处理，为待处理请求数据。
其中，在本申请实施例中，方法还可以包括：
将其他服务请求数据和其他待处理请求数据存储在任务队列中；
任务队列在接收到调度器单元的请求调度指令后，将其他服务请求数据和其他待处理请求数据中的目标请求数据发送至调度器单元，以使调度器单元将目标请求数据发送至流量监控单元。
其中，任务队列可以指存储未能发送至FTP转存集群的数据的队列，在本申请实施例中，任务队列中包括未满足访问流量阈值要求的其他服务请求数据，以及未满足FTP转存集群中节点的当前性能要求的其他待处理请求数据。
调度器单元可以指用于管理和调度任务队列的功能模块，可以根据预定义的策略和算法，发出请求调度指令，从任务队列中选择任务并执行，通过调度质量在任务队列中选中的任务为目标请求数据，其中，调度器单元可以基于quartz定时框架来实现定时拉取任务，定时探测集群任务数，调度指令的策略可以有多种，例如，调取任务队列中存在时间最久的任务、每分钟随机调取20个任务、调取任务队列中存储数据小于5GB的任务等。调度器单元将目标请求数据发送至流量监控单元，再次经过访问流量阈值要求和节点的当前性能要求，如果都满足要求则成为待处理请求数据，被发送至FTP转存集群进行处理。通过调度器单元，可以实现将当前不满足需求的请求数据在一定时间后再次判断，直至FTP转存集群可以处理时再通过的效果。
其中，在本申请实施例中，将其他服务请求数据和其他待处理请求数据存储在任务队列中的方法可以包括：
确定其他服务请求数据的请求时间和其他待处理请求数据的请求时间；
根据其他服务请求数据的请求时间和其他待处理请求数据的请求时间，将其他服务请求数据和其他待处理请求数据按照时间排序要求存储在任务队列中。
其中，确定其他服务请求数据的请求时间和其他待处理请求数据的请求时间的方法可以包括检查请求中的时间戳字段、检查请求路径中的时间信息、调取服务器中请求的日志文件等。
将其他服务请求数据和其他待处理请求数据按照时间排序要求存储在任务队列中可以包括将请求时间最早的请求数据放在任务队列的队头，然后按照时间的先后依次排列，当流量监控单元监控到当前流量小于访问流量阈值要求时，向调度器单元申请调取一定数量的任务，此时，调度器单元从任务队列的队头开始调取，将积压在任务队列中最久未处理的任务发送至流量监控单元，确保每个任务的处理效率。
其中，在本申请实施例中，方法还可以包括：
确定FTP转存集群中节点的当前性能信息；
若FTP转存集群中节点的当前性能信息满足预设的性能使用要求，则根据调度器单元中的节点性能，对FTP转存集群进行扩容。
其中，FTP转存集群中节点的当前性能信息可以指节点在特定时间点的运行状态和性能指标，可以包括CPU使用率、内存使用情况、网络宽带使用情况、负载指标等。
预设的性能使用要求可以指用户预先设置的对FTP转存集群中节点的性能要求，当节点的当前性能信息达到设定阈值时，可以判断目前的FTP转存集群与当前的请求任务不匹配，需要根据情况对FTP转存集群进行调整，调整的方式可以包括增加节点实现扩容、减少节点实现缩容等，用户还可以通过在调度器单元上设置扩缩容手动接口的方式，根据具体情况人工手动调整，在本申请实施例中，例如预设的性能使用要求为内存使用率达到90％并持续10分钟，则当节点性能使用情况达到95％并持续10分钟时，从调度器单元中调取未使用的节点到FTP转存集群中，扩大容量，加强任务处理效率。
S102、将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。
其中，数据处理可以指对数据进行收集、存储、加工、分析和利用，以满足用户需求或解决用户问题的过程，数据处理的操作可以包括数据缓存、数据压缩、数据加密、数据转存等。
其中，在本申请实施例中，将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理的方法可以包括：
确定FTP转存集群中节点的当前性能信息；
根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式，FTP转存集群中节点对待处理请求数据的处理模式包括数据消费者处理模式和数据生产者处理模式；
根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理。
其中，根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式的方法可以包括对节点的性能信息设置阈值，达到阈值的节点的处理模式为数据生产者处理模式，未达到阈值的节点的处理模式为数据消费者处理模式，生产者节点主要负责生成和下载数据，而消费者节点主要负责消费和上传数据，所以，拥有高性能的CPU和较大网络带宽的节点适合作为生产者节点，拥有较强的数据处理能力的节点适合作为消费者节点，例如，设置节点的性能阈值为网络带宽达到50Mbps，获取FTP转存集群中节点的当前性能信息，网络带宽大于或等于50Mbps的节点设置为数据生产者处理模式，网络带宽小于50Mbps的节点设置为数据消费者处理模式。
根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理的方法可以包括处于数据生产者处理模式的节点接收待处理请求数据，并对接收到的请求数据进行处理，处理方式可以包括数据清洗、格式转换、数据分析等操作，然后将处理后的请求数据发送至处于数据消费者处理模式的节点，消费者节点对处理后的请求数据进行进一步处理，进一步处理方式可以包括业务逻辑运算、生成报告等，再将进一步处理后的请求数据返回给初始服务器或其他服务器。
其中，在本申请实施例中，根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式的方法可以包括：
确定与待处理请求数据对应的目标服务器、以及目标服务器与数据处理系统的连接信息；
根据FTP转存集群中节点的当前性能信息、以及目标服务器与数据处理系统的连接信息，确定FTP转存集群中节点对待处理请求数据的处理模式。
其中，确定与待处理请求数据对应的目标服务器、以及目标服务器与数据处理系统的连接信息的方法可以包括通过网络监控工具收集目标服务器与数据处理系统的连接信息，包括网络延迟、带宽限制、通信协议等，这些信息有助于确定数据传输的效率和稳定性。
根据FTP转存集群中节点的当前性能信息、以及目标服务器与数据处理系统的连接信息，确定FTP转存集群中节点对待处理请求数据的处理模式的方法可以包括根据连接信息推断出目标服务器与数据处理系统的数据处理负载和数据传输效率，如果目标服务器处理负载较大，可以通过降低性能阈值的方式将更多的节点配置为生产者节点，分担一部分数据处理任务，以减轻目标服务器的负载，如果目标服务器处理负载较小，则可以通过提高性能阈值的方式将更多的节点配置为消费者节点，专注于数据的消费和处理。同样的，如果连接信息中的网络延迟较高，可能会影响数据处理的速度和效率，可以将更多的节点配置为消费者节点，以避免网络拥堵和减少数据传输的延迟，例如，预设的节点性能阈值为网络带宽达到50Mbps，目标服务器与数据处理系统的连接信息中的网络延迟达到了预设的100毫秒，则自动调整节点性能阈值为网络带宽达到60Mbps，使得更多的节点处于数据消费者处理模式，再获取FTP转存集群中节点的当前性能信息，网络带宽大于或等于60Mbps的节点设置为数据生产者处理模式，网络带宽小于60Mbps的节点设置为数据消费者处理模式。
其中，在本申请实施例中，在根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式之后，根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理之前，方法还可以包括：
确定处于数据消费者处理模式的第一节点的第一数量和第一数量阈值、以及处于数据生产者处理模式的第二节点的第二数量和第二数量阈值，其中，第一数量阈值和第二数量阈值根据待处理请求数据确定；
根据第一数量和第一数量阈值、以及第二数量和第二数量阈值，调整处于数据消费者处理模式的第一节点的数量、以及处于数据消费者处理模式的第二节点的数量。
其中，第一数量阈值和第二数量阈值可以指处理待处理数据至少需要的消费者节点数量和生产者节点数量，如果当前第一数量和第二数量分别小于第一数量阈值和第二数量阈值，则说明当前消费者节点和生产者节点不能满足数据处理需求，可以通过增加消费者节点和生产者节点的方式进行调整，具体的增加方式可以包括，在性能足够的FTP转存集群中的节点中部署多个生产者或消费者，同时进行数据处理，提高数据处理效率，如果第一数量小于第一数量阈值但第二数量大于第二数量阈值，或者第二数量小于第二数量阈值但第一数量大于第一数量阈值，则相应调整生产者节点和消费者节点的数量，例如，将多出的生产者节点调整为缺少的消费者节点。
本申请实施例提供的FTP数据处理方法，可以基于大批量的数据处理请求，为了确保转存集群中的节点能够快速处理任务，避免任务积压或任务过载，因此，设置了流量监控单元，从而对数据处理请求的访问数据量、访问频率进行监控和限制，还设置了网关负载均衡单元，根据转存集群中的节点的性能和数据处理请求的性能需要进行筛选，将能够处理的数据处理请求发送至转存集群并进行数据处理，在数据处理时，还可以随时调整转存集群中节点对待处理请求数据的处理模式，由此，产生提高处理大批量数据处理请求效率的效果。
图2为本申请实施例提供的另一种FTP数据处理方法的模块示意图，如图2所示，包括智能调度模块、智能传输模块、智能运维模块、数据与配置模块，该方法包括：
智能调度模块，用于获取数据处理请求，存储在网关，根据流频控插件对数据处理请求进行拦截，被拦截的数据处理请求被发送至任务队列，基于quartz定时框架的调度器根据设定规则定时从任务队列中拉取转存任务继续发送至网关，未被拦截的数据处理请求经过网关负载均衡插件发送至智能传输模块进行数据处理。
智能传输模块，用于对FTP转存集群中的节点进行初始化，分配生产者身份和消费者身份，数据处理请求先进行生产前预处理，再通过生产者节点生产出文件，然后进行消费前预处理，通过消费者节点消费文件。
智能运维模块，用于通过设置信息获取API(Application ProgrammingInterface，应用程序编程接口)的方式，获取转存处理器详情列表、转存任务详情、转存文件数量、调度器任务队列积压情况等等，在数据处理的各个阶段进行链路追踪，可以得到每个阶段的执行情况、耗时情况等，同时设置监控告警，可以对转存集群性能损坏、任务队列堆积严重、转存任务大量失败等情况进行告警。
数据与配置模块，用于配置相关的信息热部署在nacos平台上，基本的记录信息存储在mysql系统里，例如，转存结果、链路追踪信息等，日志类相关信息存储在es服务器中。
本申请实施例提供的另一种FTP数据处理方法，可以通过流频控插件拦截超出转存集群处理能力的任务，实现应对大批量的任务的效果，根据具体情况调节FTP转存集群中节点的身份，可以实现在生产和消费的过程中根据服务器的情况智能调节数据传输的速度，并且对任务全链路的任务节点进行追踪监控，帮助用户快速定位数据传输问题点。
图3为本申请实施例提供的FTP数据处理装置的结构示意图。如图3所示，该FTP数据处理装置30包括：获取模块301、处理模块302。其中：
获取模块301，用于获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；
处理模块302，用于将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。
在本申请实施例中，获取模块301还可以用于：
流量监控单元接收服务请求数据；
流量监控单元根据访问流量阈值要求，确定服务请求数据中的目标服务请求数据和其他服务请求数据，其中，访问流量阈值要求表征对服务请求数据的访问数据量要求和访问频率要求；
将目标服务请求数据发送至网关负载均衡单元；
网关负载均衡单元根据FTP转存集群中节点的当前性能要求，确定目标服务请求数据中的待处理请求数据和其他待处理请求数据。
在本申请实施例中，获取模块301还可以用于：
将其他服务请求数据和其他待处理请求数据存储在任务队列中；
任务队列在接收到调度器单元的请求调度指令后，将其他服务请求数据和其他待处理请求数据中的目标请求数据发送至调度器单元，以使调度器单元将目标请求数据发送至流量监控单元。
在本申请实施例中，获取模块301还可以用于：
确定其他服务请求数据的请求时间和其他待处理请求数据的请求时间；
根据其他服务请求数据的请求时间和其他待处理请求数据的请求时间，将其他服务请求数据和其他待处理请求数据按照时间排序要求存储在任务队列中。
在本申请实施例中，获取模块301还可以用于：
确定FTP转存集群中节点的当前性能信息；
若FTP转存集群中节点的当前性能信息满足预设的性能使用要求，则根据调度器单元中的节点性能，对FTP转存集群进行扩容。
在本申请实施例中，处理模块302还可以用于：
确定FTP转存集群中节点的当前性能信息；
根据FTP转存集群中节点的当前性能信息，确定FTP转存集群中节点对待处理请求数据的处理模式，FTP转存集群中节点对待处理请求数据的处理模式包括数据消费者处理模式和数据生产者处理模式；
根据FTP转存集群中节点对待处理请求数据的处理模式，对待处理请求数据进行数据处理。
在本申请实施例中，处理模块302还可以用于：
确定与待处理请求数据对应的目标服务器、以及目标服务器与数据处理系统的连接信息；
根据FTP转存集群中节点的当前性能信息、以及目标服务器与数据处理系统的连接信息，确定FTP转存集群中节点对待处理请求数据的处理模式。
在本申请实施例中，处理模块302还可以用于：
确定处于数据消费者处理模式的第一节点的第一数量和第一数量阈值、以及处于数据生产者处理模式的第二节点的第二数量和第二数量阈值，其中，第一数量阈值和第二数量阈值根据待处理请求数据确定；
根据第一数量和第一数量阈值、以及第二数量和第二数量阈值，调整处于数据消费者处理模式的第一节点的数量、以及处于数据消费者处理模式的第二节点的数量。
由上可知，本申请实施例的种FTP数据处理装置由获取模块301，用于获取待处理请求数据，待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，其他待处理请求数据为目标服务请求数据中未满足FTP转存集群中节点的当前性能要求的数据，其他服务请求数据为服务请求数据中超出访问流量阈值要求的数据；处理模块302，用于将待处理请求数据发送至FTP转存集群，以对待处理请求数据进行数据处理。由此，本申请实施例的装置可以基于大批量的数据处理请求，确保转存集群中的节点能够快速处理任务，避免任务积压或任务过载，产生提高处理大批量数据处理请求效率的效果。
图4为本申请实施例提供的电子设备的结构示意图。如图4所示，该电子设备40包括：
该电子设备40可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、通信部件403等部件。其中，处理器401、存储器402以及通信部件403通过总线404连接。
在具体实现过程中，至少一个处理器401执行存储器402存储的计算机执行指令，使得至少一个处理器401执行如上的FTP数据处理方法。
处理器401的具体实现过程可参见上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
在上述的图4所示的实施例中，应理解，处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application SpecificIntegrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速存储器(Random Access Memory，RAM)，也可能还包括非易失性存储器(Non-volatile Memory，NVM)，例如至少一个磁盘存储器。
总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component，PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture，EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
在一些实施例中，还提出一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现上述任一种FTP数据处理方法中的步骤。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种FTP数据处理方法中的步骤。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种FTP数据处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种FTP数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求书指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求书来限制。
Claims (11)
1.一种FTP数据处理方法，其特征在于，应用于数据处理系统，包括：
获取待处理请求数据，所述待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，所述目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，所述服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，所述其他待处理请求数据为所述目标服务请求数据中未满足所述FTP转存集群中节点的当前性能要求的数据，所述其他服务请求数据为所述服务请求数据中超出所述访问流量阈值要求的数据；
将所述待处理请求数据发送至所述FTP转存集群，以对所述待处理请求数据进行数据处理。
2.根据权利要求1所述的方法，其特征在于，所述获取待处理请求数据，包括：
流量监控单元接收服务请求数据；
所述流量监控单元根据所述访问流量阈值要求，确定所述服务请求数据中的目标服务请求数据和其他服务请求数据，其中，所述访问流量阈值要求表征对所述服务请求数据的访问数据量要求和访问频率要求；
将所述目标服务请求数据发送至网关负载均衡单元；
所述网关负载均衡单元根据所述FTP转存集群中节点的当前性能要求，确定所述目标服务请求数据中的待处理请求数据和其他待处理请求数据。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
将所述其他服务请求数据和所述其他待处理请求数据存储在任务队列中；
所述任务队列在接收到调度器单元的请求调度指令后，将所述其他服务请求数据和所述其他待处理请求数据中的目标请求数据发送至所述调度器单元，以使所述调度器单元将所述目标请求数据发送至流量监控单元。
4.根据权利要求3所述的方法，其特征在于，所述将所述其他服务请求数据和所述其他待处理请求数据存储在任务队列中，包括：
确定所述其他服务请求数据的请求时间和所述其他待处理请求数据的请求时间；
根据所述其他服务请求数据的请求时间和所述其他待处理请求数据的请求时间，将所述其他服务请求数据和所述其他待处理请求数据按照时间排序要求存储在所述任务队列中。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述FTP转存集群中节点的当前性能信息；
若所述FTP转存集群中节点的当前性能信息满足预设的性能使用要求，则根据所述调度器单元中的节点性能，对所述FTP转存集群进行扩容。
6.根据权利要求1所述的方法，其特征在于，所述将所述待处理请求数据发送至所述FTP转存集群，以对所述待处理请求数据进行数据处理，包括：
确定所述FTP转存集群中节点的当前性能信息；
根据所述FTP转存集群中节点的当前性能信息，确定所述FTP转存集群中节点对所述待处理请求数据的处理模式，所述FTP转存集群中节点对所述待处理请求数据的处理模式包括数据消费者处理模式和数据生产者处理模式；
根据所述FTP转存集群中节点对所述待处理请求数据的处理模式，对所述待处理请求数据进行数据处理。
7.根据权利要求6所述的方法，其特征在于，所述根据所述FTP转存集群中节点的当前性能信息，确定所述FTP转存集群中节点对所述待处理请求数据的处理模式，包括：
确定与所述待处理请求数据对应的目标服务器、以及所述目标服务器与所述数据处理系统的连接信息；
根据所述FTP转存集群中节点的当前性能信息、以及所述目标服务器与所述数据处理系统的连接信息，确定所述FTP转存集群中节点对所述待处理请求数据的处理模式。
8.根据权利要求6所述的方法，其特征在于，在所述根据所述FTP转存集群中节点的当前性能信息，确定所述FTP转存集群中节点对所述待处理请求数据的处理模式之后，根据所述FTP转存集群中节点对所述待处理请求数据的处理模式，对所述待处理请求数据进行数据处理之前，所述方法还包括：
确定处于数据消费者处理模式的第一节点的第一数量和第一数量阈值、以及处于数据生产者处理模式的第二节点的第二数量和第二数量阈值，其中，所述第一数量阈值和所述第二数量阈值根据所述待处理请求数据确定；
根据所述第一数量和所述第一数量阈值、以及所述第二数量和所述第二数量阈值，调整所述处于数据消费者处理模式的第一节点的数量、以及所述处于数据消费者处理模式的第二节点的数量。
9.一种FTP数据处理装置，其特征在于，包括：
获取模块，用于获取待处理请求数据，所述待处理请求数据为目标服务请求数据中满足FTP转存集群中节点的当前性能要求的数据，所述目标服务请求数据为服务请求数据中满足访问流量阈值要求的数据，所述服务请求数据包括其他待处理请求数据、其他服务请求数据和初始请求数据，所述其他待处理请求数据为所述目标服务请求数据中未满足所述FTP转存集群中节点的当前性能要求的数据，所述其他服务请求数据为所述服务请求数据中超出所述访问流量阈值要求的数据；
处理模块，用于将所述待处理请求数据发送至所述FTP转存集群，以对所述待处理请求数据进行数据处理。
10.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至8任一项所述的FTP数据处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311569232.4A CN117527786A (zh) | 2023-11-22 | 2023-11-22 | Ftp数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311569232.4A CN117527786A (zh) | 2023-11-22 | 2023-11-22 | Ftp数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117527786A true CN117527786A (zh) | 2024-02-06 |
Family
ID=89747366
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311569232.4A Pending CN117527786A (zh) | 2023-11-22 | 2023-11-22 | Ftp数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117527786A (zh) |
-
2023
- 2023-11-22 CN CN202311569232.4A patent/CN117527786A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11362961B2 (en) | Service processing method and system and device | |
| EP3637733B1 (en) | Load balancing engine, client, distributed computing system, and load balancing method | |
| CN110856018B (zh) | 一种基于云计算的监控系统中的快速转码方法及系统 | |
| EP3395048A1 (en) | Managing communication congestion for internet of things devices | |
| US11671332B2 (en) | Adjusting triggers for automatic scaling of virtual network functions | |
| US20210042578A1 (en) | Feature engineering orchestration method and apparatus | |
| CN107135088B (zh) | 云计算系统中处理日志的方法和装置 | |
| CN111641563B (zh) | 基于分布式场景的流量自适应方法与系统 | |
| US20230237064A1 (en) | Data processing method, apparatus, and system, computer device, readable storage medium, and computer program product | |
| CN111611129B (zh) | PaaS云平台的性能监控方法及装置 | |
| CN111200606A (zh) | 深度学习模型任务处理方法、系统、服务器及存储介质 | |
| JP7356581B2 (ja) | 情報処理方法、装置、設備及びコンピュータ読み取り可能な記憶媒体 | |
| CN113032410B (zh) | 数据处理方法、装置、电子设备及计算机存储介质 | |
| CN111510493A (zh) | 分布式数据传输方法及装置 | |
| WO2021063026A1 (zh) | 一种推理服务网络化的方法及装置 | |
| CN113328906A (zh) | 一种流量实时监控方法、装置、存储介质及电子设备 | |
| CN114489963A (zh) | 人工智能应用任务的管理方法、系统、设备及存储介质 | |
| CN112969244B (zh) | 一种会话恢复方法及其装置 | |
| CN109558442B (zh) | 一种数据实时汇聚方法及系统 | |
| CN117527786A (zh) | Ftp数据处理方法、装置、电子设备及存储介质 | |
| CN115941907A (zh) | 一种rtp数据包发送方法、系统、电子设备及存储介质 | |
| CN112311826A (zh) | 内容分发系统中访问请求的处理方法、装置及系统 | |
| CN112817732B (zh) | 一种适应云边协同多数据中心场景下的流数据处理方法及系统 | |
| CN111836020A (zh) | 监控系统中的码流传输方法、装置及存储介质 | |
| CN117076057B (zh) | 一种ai服务请求调度的方法、装置、设备及介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |