CN113079152B - 一种数据传输方法、装置及介质 - Google Patents
一种数据传输方法、装置及介质 Download PDFInfo
- Publication number
- CN113079152B CN113079152B CN202110327606.6A CN202110327606A CN113079152B CN 113079152 B CN113079152 B CN 113079152B CN 202110327606 A CN202110327606 A CN 202110327606A CN 113079152 B CN113079152 B CN 113079152B
- Authority
- CN
- China
- Prior art keywords
- data
- service processing
- processing module
- target
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/22—Parsing or analysis of headers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Information Transfer Between Computers (AREA)
- Computer And Data Communications (AREA)
Abstract
本申请公开了一种数据传输方法、装置及介质,其中各缓冲区与各业务处理模块一一对应。由于本申请中各业务处理模块部署对应的缓冲区、并将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种数据传输方法、装置及介质。
背景技术
随着科技的发展,计算机已成为生活中必不可少的一部分,生活和工作上的业务也选择通过计算机进行处理从而提高业务处理效率。通常计算机处理业务过程为:在网络模块接收到待处理数据后,需要将待处理数据拷贝至对应的业务处理模块,在将待处理数据拷贝至对应的业务处理模块过程中,网络模块会向中央处理器(Central ProcessingUnit,CPU)发送中断信号,CPU在接收到中断信号后通过直接存储器访问(Direct MemoryAccess,DMA)将待处理数据拷贝至对应的业务模块。当存在大量的待处理数据时,大量的中断信号会使得CPU忙于执行中断流程,影响了其它流程的响应和处理。
为了避免上述问题,目前,CPU通过事件驱动模型实现轮询的方式从而减少接收中断信号的次数,即CPU按周期查询网络模块,使得网络模块将一次周期内接收的所有待处理数据缓存至共享的缓冲区,而多个业务处理模块从该缓冲区获取对应的数据进行处理,其中网络模块、缓冲区、多个业务处理模块构成事件驱动模型。由于不同的业务处理模块处理数据的时间消耗存在差异,因此当某些业务处理模块处理数据的时间慢导致共享的缓冲区没有空闲空间时,会使得网络模块无法将下一周期内接收的所有待处理数据发送至对应的业务处理模块进行处理,即待处理数据“堵死”在网络模块侧,从而降低了系统运行的运行效率和性能。
由此可见,如何提高系统运行的运行效率和性能是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种数据传输方法,用以提高系统运行的运行效率和性能。本申请的目的是还提供一种数据传输装置及介质。
为解决上述技术问题,本申请提供一种数据传输方法,缓冲区与业务处理模块一一对应,所述数据传输方法包括:
接收数据请求;
解析所述数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据;
根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据。
优选的,在所述接收数据请求前,还包括:
发送表征获取主备角色的注册请求;
接收与所述注册请求对应的答复数据;
解析所述答复数据得到对应的主备角色;
则,所述接收数据请求,具体为:
在所述答复数据的解析结果表征对应角色为主角色的情况下,接收所述数据请求。
优选的,与所述目标业务处理模块对应的目标缓冲区具体为两个,所述目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区;
则,所述根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据,具体为:
根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的第一目标缓冲区,以便于所述目标业务处理模块从所述第一目标缓冲区中获取所述待处理数据;
则,所述根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据后,还包括:
从与所述目标业务处理模块对应的第二目标缓冲区内获取结果数据,其中所述结果数据具体由所述目标业务处理模块根据所述待处理数据进行处理后返回的反馈结果。
优选的,所述目标缓冲区具体为无锁缓冲区。
优选的,所述接收数据请求具体为:
通过用户态TCP/IP协议接收所述数据请求。
优选的,还包括:
获取所述目标缓冲区已暂存的数据量;
在所述数据量达到所述目标缓冲区的上限的情况下,发送表征所述目标缓冲区已达存储上限的告警信号。
优选的,所述目标缓冲区的缓存空间与对应的所述目标业务处理模块的处理速度呈正相关。
为解决上述技术问题,本申请还提供一种数据传输装置,缓冲区与业务处理模块一一对应,所述数据传输装置包括:
第一接收模块,用于接收数据请求;
第一解析模块,用于解析所述数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据;
第一存储模块,用于根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据。
为解决上述技术问题,本申请还提供一种数据传输装置,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如上所述的数据传输方法的步骤。
为解决上述技术问题,本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的数据传输方法的步骤。
本申请所提供的数据传输方法,其中各缓冲区与各业务处理模块一一对应。由于该方法中各业务处理模块部署对应的缓冲区、并将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
此外,本申请提供的一种数据传输装置及介质,与上述数据传输方法对应,效果同上。
附图说明
为了更清楚地说明本申请实施例,下面将对实施例中所需要使用的附图做简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的一种数据传输系统的组成架构;
图2为本申请实施例提供的一种数据传输方法的流程图;
图3为本申请实施例提供的一种数据传输装置的结构示意图;
图4为本申请实施例提供的另一种数据传输装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下,所获得的所有其他实施例,都属于本申请保护范围。
本申请的核心是提供一种数据传输方法,用以提高系统运行的运行效率和性能。本申请的核心是还提供一种数据传输装置及介质。
为了便于理解,下面以分布式存储系统为例对本申请的技术方案所适用的系统架构进行介绍,参见图1所示出的本申请提供的一种数据传输系统的组成架构。如图1所示,数据传输系统可包括安装有客户端的客户终端10、服务器11、节点12和存储装置13。
在具体实施中,存储装置13可以通过自身安装的存储单元(存储单元具体指实现数据存入存储装置13功能的应用程序),从其自身划分的缓冲区中获取待存储的数据,并对待存储数据进行类似于归一化处理后,将数据存入存储装置13内的空间中。
节点12通过安装的网络监控管理模块(NetAgent,NA)实现与客户终端10之间的通信连接,以及与存储装置13之间的通信连接,从而实现客户终端10与存储装置13之间的数据交互。具体的,节点12通过安装的NA能够获取客户终端10发送的包含有待存储数据和表征与需求对应的目标存储装置13的身份表示的位置数据的数据存储请求,并根据位置数据将待存储数据传送至目标存储装置13中的目标缓冲区,以便于安装于目标存储装置13的存储单元从目标缓冲区内获取数据并经过相应处理后存入存储装置13中。可以理解的是,本申请中的节点12可以是物理节点12也可以是虚拟节点12,即当分布式存储系统中物理节点12无法满足用户需求时,可对物理节点12进行虚拟化处理,得到多个虚拟节点12,相应的每个虚拟节点12上需安装NA从而时间与客户终端10和存储装置13之间的数据交互。
服务器11用于实现节点12与存储装置13通信连接和节点12与客户终端10通讯。具体实现方式如下:由服务器11接收由在节点12上安装的NA发送的注册信息,在根据注册信息得到并存储各NA所在节点12信息以及各NA的身份标识,接收安装于存储装置13的存储单元或客户终端10发送的注册请求,根据该注册请求发送对应的回复数据,以便于存储单元或客户终端10根据对应的回复数据与节点12连接。
此外,在每个节点12安装有多个NA的情况下,服务器11还用于接收各NA发送的注册请求数据,并根据注册请求数据中包含的节点12信息和NA身份标识在每个节点12的多个NA中配置主备角色,从而保证每个节点12各NA之间能够正常稳定的运行。可以理解的是,本申请中的服务器11包括单不限于云服务器、物理服务器和虚拟服务器。
本申请中提及的客户终端10,其类型包括但不限于各种类型的服务器、个人计算机(例如:笔记本电脑、台式电脑)、手持终端(例如:智能手机、平板电脑)等。
为了使本技术领域的人员更好地理解本申请方案,下面结合附图和具体实施方式对本申请作进一步的详细说明。
图2为本申请实施例提供的一种数据传输方法的流程图。如图2所示,该方法应用于上文所述的节点12,其中该方法包括:
S10:接收数据请求。
本申请实施例中,数据请求包含有待处理数据、以及待处理数据需要通过对应业务处理模块存储于对应的存储模块时该业务处理模块所在的、包含有所在节点位置、业务处理模块的身份标识等位置数据,可以理解的是,通过该位置数据才能够使得安装于节点上的NA将待处理数据分配至数据请求所指定的业务处理模块进行数据处理,并后续存入对应的存储空间。
具体的,在客户端发送数据请求前,通过如下流程获取上述位置数据,以下流程基于客户端角度进行说明:客户端发送包含有客户端自身身份标识以及节点信息的注册数据后,接收包含有所有业务处理模块的信息和各个节点的信息的反馈数据,根据反馈数据计算对应的业务处理模块的身份标识、以及与该业务处理模块通信连接的NA的位置和身份标识后,根据对应NA的位置和身份标识向该NA发送包含有业务处理模块的身份标识的数据请求。
此外,为了进一步减少CPU接收终端的次数,进一步降低资源的消耗、提高CPU的稳定性,作为优选的实施例,S10具体为通过用户态TCP/IP协议接收数据请求。其中TCP/IP协议具体为基于传输控制协议(Transmission Control Protocol,TCP)和互联网协议(Internet Protocol,IP)的不同的通信协议,即TCP/IP协议可以泛指IP、TCP、控制报文协议(Internet Control Message Protocol,ICMP)、用户数据报协议(User DatagramProtocol,UDP)、远程终端协议(Telnet)、文件传输协议(File Transfer Protocol,FTP)、以及超文本传输协议(HyperText Transfer Protocol,HTTP)等协议。
S11:解析数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据。
需要说明的是,在数据存入存储空间前,通过上述业务处理模块对待处理数据进行处理,该处理可以是数据的统一格式处理等。可以理解的是,在分布式存储系统中,由于存储单元除存储数据外还具备上述业务处理模块所具备的功能,因此在分布式存储系统中可以将上述业务处理模块理解为存储单元,则数据请求包括待存储数据(对应待处理数据)和表征目标存储单元(对应目标业务处理模块)身份标识的位置数据。
S12:根据位置数据将待处理数据暂存至与目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据。
本申请实施例中,缓冲区与业务处理模块一一对应。可以理解的是,由于业务处理模块与缓冲区一一对应,因此对于安装于节点上的NA而言,将数据传送至缓冲区即完成了数据传输,相比较于现有技术中将所有待处理数据缓存至共享的缓冲区、多个业务处理模块从该缓冲区获取对应的数据,本申请实施例提供的方法,无需为了防止业务处理模块获取到错误的数据、在缓存至共享的缓冲区前对待处理数据设置不同的标识的步骤,提高了数据传输的速度。
进一步的,为了降低系统资源的消耗、提高系统运行的效率,作为优选的实施例,与业务处理模块对应的缓冲区具体为无锁缓冲区。可以理解的是,在现有技术中的多个业务处理模块从缓冲区获取数据,相当于在系统运行过程中产生了多个并行的线程,而为了数据获取的正确性,现有技术中的缓冲区通常为加锁缓冲区,而加锁缓冲区使用锁机制将会消耗大量的资源,即现有技术中的加锁缓冲区是以降低系统运行的效率为代价保证多个业务处理模块获取数据的正确性,而本申请实施例中,由于缓冲区与业务处理模块一一对应,即对于本申请的业务处理模块而言,从对应的缓冲区获取数据避免了业务处理模块获取错误数据的问题,即无论是否使用加锁缓冲区都能够保证业务处理模块获取数据的正确性,因此使用无锁缓冲区能够优化本申请实施例所提供的方法,进一步提高系统的运行效率,降低在整个数据传输过程中系统的资源消耗。
本申请实施例所提供的数据传输方法,其中各缓冲区与各业务处理模块一一对应,该方法包括:接收数据请求,并解析该数据请求得到待处理数据和表征处理该待处理数据的目标业务处理模块身份标识的位置数据,根据位置数据将待处理数据暂存至目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据并进行后续处理。由于各业务处理模块部署对应的缓冲区且网络监管模块将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
在上述实施例的基础上,在S10前,还包括:发送表征获取主备角色的注册请求,接收与注册请求对应的答复数据,解析答复数据得到对应的主备角色。
则,S10具体为:在答复数据的解析结果表征对应角色为主角色的情况下,接收数据请求。
本申请实施例中,为了方便后续客户端获取相应的NA的位置数据并插入数据请求中,在解析答复数据得到对应的主备角色后,还包括:在答复数据的解析结果表征对应角色为主角色的情况下,发送状态数据,其中状态数据中包含有表征主角色对应NA的身份标识、所在节点的位置数据以及进程标识符(Process Identification,PID)等。
可以理解的是,节点上可安装有多个NA,其中至少一个NA作为主NA,其余NA作为备NA。需要说明的是,在通常情况下节点与主NA一一对应,若在具体实施中,当分布式系统的节点数量无法满足业务需求时,可对某一节点进行虚拟化处理,使得某一节点存在多个虚拟终端,而虚拟终端与主NA一一对应,即主NA需与CPU一一对应绑定,则在答复数据的解析结果表征对应角色为主角色后,发送状态同步请求,其中状态同步请求包含有PID、对应绑定的CPU编号等,进一步的,在主NA与对应业务处理模块通信连接的情况下,上述状态同步请求还包括缓冲区的信息数据。
为了便于理解,下文将详细描述主NA与对应业务处理模块通信连接方法,该方法基于业务处理模块:业务处理模块发送包含有身份标识和所在节点的信息数据的注册数据后,接收与该注册数据对应的、包含有该节点上运行的各NA状态数据回复数据,解析回复数据得到配置项,利用业务处理模块的PID对配置项取模得到结果值(结果值记为i),并从回复数据中解析编号与结果值匹配的主NA(记为NAi)的状态数据,根据解析得到的状态数据与对应的主NA连接。
本申请实施例所提供的数据传输方法,由“在答复数据的解析结果表征对应角色为主角色的情况下,接收数据请求”可知,本申请实施例中在节点上安装的NA存在多个,其中至少一个NA为主角色,其余NA为备角色,因此避免了在节点与NA一一对应的情况下、当NA工作异常时无法对数据进行传输的问题,提高了数据传输过程中的稳定性。
在上述实施例中,仅强调在待处理数据传入业务处理模块过程中缓冲区与业务处理模块一一对应,因此在处理结果传回客户端的过程中,多个业务处理模块可将各处理结果发送至一个缓冲区,NA从该缓冲区中获取各处理结果并转发给对应的客户端。由于在处理结果传回客户端的过程中,使用共享的缓冲区,因此为了保证处理结果发送的正确性,在业务处理模块将处理结果发送至共享缓冲区前,需要业务处理模块在其处理结果上设置表征业务处理模块相关信息的标识,增加了业务处理模块的业务量,同时降低了数据传输的效率。
故在上述实施例的基础上,与目标业务处理模块对应的目标缓冲区具体为两个,则目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区。
相应的,S12具体为:
根据位置数据将待处理数据暂存至与目标业务处理模块对应的第一目标缓冲区,以便于目标业务处理模块从第一目标缓冲区中获取待处理数据。
在S12后,还包括:
从与目标业务处理模块对应的第二目标缓冲区内获取结果数据,其中结果数据具体由目标业务处理模块根据待处理数据进行处理后返回的反馈结果。
可以理解的是,在分布式存储系统中,上文所述的反馈结果可以为表征数据存储成功或数据存储完成的反馈信号。
进一步的,为了降低系统资源的消耗、提高系统运行的效率,作为优选的实施例,第一目标缓冲区和第二目标缓冲区均为无锁缓冲区。
本申请实施例所提供的数据传输方法,目标缓冲区具体分为第一目标缓冲区和第二目标缓冲区,即一个业务处理模块拥有两个缓冲区,因此在处理结果传回客户端的过程中,业务处理模块无需对处理结果设置相关标识,直接传送至对应的第二目标缓冲区,降低了业务处理模块的业务量,提高了数据传输的效率。
在上述实施例的基础上,本申请实施例所提供的方法还包括:获取目标缓冲区已暂存的数据量,在数据量达到目标缓冲区的上限的情况下,发送表征目标缓冲区已达存储上限的告警信号。
可以理解的是,通过告警信号能够及时控制NA不再接收与该业务模块对应的数据,还可以通过告警信号通知客户端已使客户端停止发送数据请求,进一步的,还可以在数据量达到目标缓冲区的上限的情况下,计算目标缓冲区中达到预设空间所需时间,将所需时间随告警信号发送至客户端,以便于提醒客户端多长时间后能够再次发送数据,提高了用户使用感。
此外,在上述实施例的基础上,为了进一步提高数据传输过程中的效率,作为优选的实施例,目标缓冲区的缓存空间与对应的目标业务处理模块的处理速度呈正相关。
可以理解的是,处理速度越快的业务处理模块,则其对应的缓冲区空间越大,能够缓存的待处理数据越多,数据传输的效率越快。
在上述实施例中,对于数据传输方法进行了详细描述,本申请还提供数据传输装置对应的实施例。需要说明的是,本申请从两个角度对装置部分的实施例进行描述,一种是基于功能模块的角度,另一种是基于硬件的角度。
图3为本申请实施例提供的一种数据传输装置的结构示意图。如图3所示,基于功能模块的角度,该装置包括:
第一接收模块20,用于接收数据请求。
第一解析模块21,用于解析数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据。
第一存储模块22,用于根据位置数据将待处理数据暂存至与目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据。
由于装置部分的实施例与方法部分的实施例相互对应,因此装置部分的实施例请参见方法部分的实施例的描述,这里暂不赘述。
作为优选的实施例,还包括:
第一发送模块,用于发送表征获取主备角色的注册请求。
第二接收模块,用于接收与注册请求对应的答复数据。
第二解析模块,用于解析答复数据得到对应的主备角色。
则,第一接收模块20具体为:
第三接收模块,用于在答复数据的解析结果表征对应角色为主角色的情况下,接收数据请求。
在目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区的情况下,第一存储模块22具体为:
第二存储模块,用于根据位置数据将待处理数据暂存至与目标业务处理模块对应的第一目标缓冲区,以便于目标业务处理模块从第一目标缓冲区中获取待处理数据。
在目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区的情况下,还包括:
第一获取模块,用于从与目标业务处理模块对应的第二目标缓冲区内获取结果数据,其中结果数据具体由目标业务处理模块根据待处理数据进行处理后返回的反馈结果。
作为优选的实施例,第一接收模块20具体为:
第四接收模块,用于通过用户态TCP/IP协议接收数据请求。
还包括:
获取模块,用于获取目标缓冲区已暂存的数据量。
第二发送模块,用于在数据量达到目标缓冲区的上限的情况下,发送表征目标缓冲区已达存储上限的告警信号。
本申请实施例所提供的数据传输装置,其中各缓冲区与各业务处理模块一一对应,该方法包括:接收数据请求,并解析该数据请求得到待处理数据和表征处理该待处理数据的目标业务处理模块身份标识的位置数据,根据位置数据将待处理数据暂存至目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据并进行后续处理。由于各业务处理模块部署对应的缓冲区且网络监管模块将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
图4为本申请实施例提供的另一种数据传输装置的结构示意图。如图4所示,基于硬件结构的角度,该装置包括:
存储器30,用于存储计算机程序;
处理器31,用于执行计算机程序时实现如上述实施例中数据传输方法的步骤。
其中,处理器31可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器31可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器31也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU;协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器31可以在集成有图像处理器(Graphics Processing Unit,GPU),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器31还可以包括人工智能(Artificial Intelligence,AI)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器30可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器30还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。本实施例中,存储器30至少用于存储以下计算机程序301,其中,该计算机程序301被处理器31加载并执行之后,能够实现前述任一实施例公开的数据传输方法的相关步骤。另外,存储器30所存储的资源还可以包括操作系统302和数据303等,存储方式可以是短暂存储或者永久存储。其中,操作系统302可以包括Windows、Unix、Linux等。数据303可以包括但不限于数据传输方法中涉及的数据等。
在一些实施例中,数据传输装置还可包括有显示屏32、输入输出接口33、通信接口34、电源35以及通信总线36。
本领域技术人员可以理解,图4中示出的结构并不构成对数据传输装置的限定,可以包括比图示更多或更少的组件。
本申请实施例提供的数据传输装置,包括存储器和处理器,处理器在执行存储器存储的程序时,能够实现如下方法:接收数据请求,并解析该数据请求得到待处理数据和表征处理该待处理数据的目标业务处理模块身份标识的位置数据,根据位置数据将待处理数据暂存至目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据并进行后续处理。由于各业务处理模块部署对应的缓冲区且网络监管模块将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
最后,本申请还提供一种计算机可读存储介质对应的实施例。计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上述方法实施例中记载的步骤。
可以理解的是,如果上述实施例中的方法以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供的计算机可读存储介质,该介质上存储有计算机程序,计算机程序被处理器执行时,能够实现如下方法:接收数据请求,并解析该数据请求得到待处理数据和表征处理该待处理数据的目标业务处理模块身份标识的位置数据,根据位置数据将待处理数据暂存至目标业务处理模块对应的目标缓冲区,以便于目标业务处理模块从目标缓冲区中获取待处理数据并进行后续处理。由于各业务处理模块部署对应的缓冲区且网络监管模块将待处理数据暂存至目标业务处理模块对应的缓冲区内,因此当某些业务处理模块的处理时间较慢导致对应的缓冲区没有空闲空间时,目标网络监管模块还能够将处理时间较快的业务处理模块对应的待处理数据经由对应的缓冲区传输至该业务处理模块,避免了所有业务处理模块对应的待处理数据“堵死”在目标网络监管模块侧,提高了系统运行的运行效率和性能。
以上对本申请所提供的一种数据传输方法、装置及介质进行了详细介绍。说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (8)
1.一种数据传输方法,其特征在于,缓冲区与业务处理模块一一对应,所述数据传输方法包括:
接收数据请求;
解析所述数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据;
根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据;所述目标缓冲区具体为无锁缓冲区;
与所述目标业务处理模块对应的目标缓冲区具体为两个,所述目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区;
则,所述根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据,具体为:
根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的第一目标缓冲区,以便于所述目标业务处理模块从所述第一目标缓冲区中获取所述待处理数据;
则,所述根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据后,还包括:
从与所述目标业务处理模块对应的第二目标缓冲区内获取结果数据,其中所述结果数据具体由所述目标业务处理模块根据所述待处理数据进行处理后返回的反馈结果。
2.根据权利要求1所述的数据传输方法,其特征在于,在所述接收数据请求前,还包括:
发送表征获取主备角色的注册请求;
接收与所述注册请求对应的答复数据;
解析所述答复数据得到对应的主备角色;
则,所述接收数据请求,具体为:
在所述答复数据的解析结果表征对应角色为主角色的情况下,接收所述数据请求。
3.根据权利要求1所述的数据传输方法,其特征在于,所述接收数据请求具体为:
通过用户态TCP/IP协议接收所述数据请求。
4.根据权利要求1所述的数据传输方法,其特征在于,还包括:
获取所述目标缓冲区已暂存的数据量;
在所述数据量达到所述目标缓冲区的上限的情况下,发送表征所述目标缓冲区已达存储上限的告警信号。
5.根据权利要求1所述的数据传输方法,其特征在于,所述目标缓冲区的缓存空间与对应的所述目标业务处理模块的处理速度呈正相关。
6.一种数据传输装置,其特征在于,缓冲区与业务处理模块一一对应,所述数据传输装置包括:
第一接收模块,用于接收数据请求;
第一解析模块,用于解析所述数据请求得到待处理数据和表征目标业务处理模块身份标识的位置数据;
第一存储模块,用于根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的目标缓冲区,以便于所述目标业务处理模块从所述目标缓冲区中获取所述待处理数据;所述目标缓冲区具体为无锁缓冲区;
与所述目标业务处理模块对应的目标缓冲区具体为两个,所述目标缓冲区具体包括第一目标缓冲区和第二目标缓冲区;
则,所述第一存储模块,具体为:
第二存储模块,用于根据所述位置数据将所述待处理数据暂存至与所述目标业务处理模块对应的第一目标缓冲区,以便于所述目标业务处理模块从所述第一目标缓冲区中获取所述待处理数据;
则,还包括:
第一获取模块,用于从与所述目标业务处理模块对应的第二目标缓冲区内获取结果数据,其中所述结果数据具体由所述目标业务处理模块根据所述待处理数据进行处理后返回的反馈结果。
7.一种数据传输装置,其特征在于,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现如权利要求1至5任意一项所述的数据传输方法的步骤。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至5任意一项所述的数据传输方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327606.6A CN113079152B (zh) | 2021-03-26 | 2021-03-26 | 一种数据传输方法、装置及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110327606.6A CN113079152B (zh) | 2021-03-26 | 2021-03-26 | 一种数据传输方法、装置及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113079152A CN113079152A (zh) | 2021-07-06 |
CN113079152B true CN113079152B (zh) | 2023-01-24 |
Family
ID=76610768
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110327606.6A Active CN113079152B (zh) | 2021-03-26 | 2021-03-26 | 一种数据传输方法、装置及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113079152B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113992651B (zh) * | 2021-09-24 | 2024-05-14 | 深圳市有方科技股份有限公司 | 一种基于文件传输协议ftp的下载方法和相关产品 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017097027A1 (zh) * | 2015-12-08 | 2017-06-15 | 中兴通讯股份有限公司 | 基于因特网内容适配协议的数据处理方法、装置和系统 |
WO2017215408A1 (zh) * | 2016-06-14 | 2017-12-21 | 中兴通讯股份有限公司 | 会话切换控制方法、装置及接入点设备 |
WO2018157836A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 一种可编程硬件的资源管理方法、可编程硬件设备及存储介质 |
EP3402172A1 (en) * | 2017-05-12 | 2018-11-14 | Solarflare Communications Inc | A data processing system |
CN110704174A (zh) * | 2018-07-09 | 2020-01-17 | 中国移动通信有限公司研究院 | 一种内存释放方法、装置、电子设备及存储介质 |
CN112311843A (zh) * | 2020-03-18 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据加载方法和装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753344B (zh) * | 2008-12-12 | 2012-09-05 | 华为技术有限公司 | 一种记录日志的方法、装置及系统 |
CN102360289B (zh) * | 2011-09-29 | 2013-11-27 | 用友软件股份有限公司 | 数据管理装置和数据管理方法 |
CN103455292B (zh) * | 2012-05-28 | 2016-09-21 | 展讯通信(上海)有限公司 | 业务数据显示处理方法与装置、用户设备 |
CN103944691B (zh) * | 2013-01-17 | 2019-01-15 | 中兴通讯股份有限公司 | 一种协同业务传输中的数据重传方法及接入网网关 |
US11232100B2 (en) * | 2016-09-26 | 2022-01-25 | Splunk Inc. | Resource allocation for multiple datasets |
CN108108310A (zh) * | 2016-11-24 | 2018-06-01 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及服务器 |
KR102464567B1 (ko) * | 2017-01-16 | 2022-11-09 | 삼성전자 주식회사 | 무선 통신 시스템에서 데이터 처리 방법 및 장치 |
CN112363763B (zh) * | 2020-11-13 | 2022-12-23 | 山东云海国创云计算装备产业创新中心有限公司 | 数据处理方法、装置及计算机可读存储介质 |
-
2021
- 2021-03-26 CN CN202110327606.6A patent/CN113079152B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017097027A1 (zh) * | 2015-12-08 | 2017-06-15 | 中兴通讯股份有限公司 | 基于因特网内容适配协议的数据处理方法、装置和系统 |
WO2017215408A1 (zh) * | 2016-06-14 | 2017-12-21 | 中兴通讯股份有限公司 | 会话切换控制方法、装置及接入点设备 |
WO2018157836A1 (zh) * | 2017-03-02 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 一种可编程硬件的资源管理方法、可编程硬件设备及存储介质 |
EP3402172A1 (en) * | 2017-05-12 | 2018-11-14 | Solarflare Communications Inc | A data processing system |
CN110704174A (zh) * | 2018-07-09 | 2020-01-17 | 中国移动通信有限公司研究院 | 一种内存释放方法、装置、电子设备及存储介质 |
CN112311843A (zh) * | 2020-03-18 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据加载方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113079152A (zh) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109690512B (zh) | 具有触发操作的gpu远程通信 | |
KR102134547B1 (ko) | 리스크 식별 방법, 리스크 식별 장치, 및 클라우드 리스크 식별 장치와 시스템 | |
EP3422210A1 (en) | Method, device, and system for processing data in webpage | |
CN111008075A (zh) | 一种负载均衡系统、方法、装置、设备及介质 | |
EP2819015B1 (en) | Method, terminal, and server for synchronizing terminal mirror | |
CN107577578B (zh) | 统计nfs操作字时延的方法、装置、设备以及存储介质 | |
US9374417B1 (en) | Dynamic specification auditing for a distributed system | |
CN113220420A (zh) | 服务监控方法、装置、设备、存储介质及计算机程序产品 | |
CN112579304A (zh) | 基于分布式平台的资源调度方法、装置、设备及介质 | |
CN112751847A (zh) | 接口调用请求的处理方法、装置、电子设备及存储介质 | |
US9448827B1 (en) | Stub domain for request servicing | |
CN113079152B (zh) | 一种数据传输方法、装置及介质 | |
US8589926B2 (en) | Adjusting processor utilization data in polling environments | |
Wu et al. | Toward low CPU usage and efficient DPDK communication in a cluster | |
CN114510299A (zh) | 处理人工智能业务的方法、装置以及存储介质 | |
CN110650101A (zh) | 一种cifs网络带宽的优化方法、装置和介质 | |
CN115658745A (zh) | 数据处理方法、装置、计算机设备和计算机可读存储介质 | |
CN114138476A (zh) | 一种池化资源的处理方法、装置、电子设备及介质 | |
CN114356713A (zh) | 线程池监控方法、装置、电子设备及存储介质 | |
CN113986582A (zh) | 一种实时数据推送方法、装置、设备及存储介质 | |
CN111813621A (zh) | 基于Flume数据中台的数据处理方法、装置、设备及介质 | |
CN112488462A (zh) | 一种工作流数据的统一推送方法、装置及介质 | |
WO2018227853A1 (zh) | 单证打印的装置、方法、系统及计算机可读存储介质 | |
CN108108243B (zh) | 一种资源分享系统和方法 | |
KR102367017B1 (ko) | 통신 네트워크 시스템 및 그것의 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |