CN113132480B - 一种数据传输方法、装置和系统 - Google Patents

一种数据传输方法、装置和系统 Download PDF

Info

Publication number
CN113132480B
CN113132480B CN202110413432.5A CN202110413432A CN113132480B CN 113132480 B CN113132480 B CN 113132480B CN 202110413432 A CN202110413432 A CN 202110413432A CN 113132480 B CN113132480 B CN 113132480B
Authority
CN
China
Prior art keywords
data
transmission
request
current
data packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110413432.5A
Other languages
English (en)
Other versions
CN113132480A (zh
Inventor
刘敬斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Zhenshi Information Technology Co Ltd
Original Assignee
Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Zhenshi Information Technology Co Ltd filed Critical Beijing Jingdong Zhenshi Information Technology Co Ltd
Priority to CN202110413432.5A priority Critical patent/CN113132480B/zh
Publication of CN113132480A publication Critical patent/CN113132480A/zh
Application granted granted Critical
Publication of CN113132480B publication Critical patent/CN113132480B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/141Setup of application sessions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/133Protocols for remote procedure calls [RPC]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/14Session management
    • H04L67/146Markers for unambiguous identification of a particular session, e.g. session cookie or URL-encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC

Abstract

本发明公开了一种数据传输方法、装置和系统,涉及计算机技术领域。该方法的一具体实施方式包括:向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;根据编号,保存数据包中的传输数据。该实施方式减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。

Description

一种数据传输方法、装置和系统
技术领域
本发明涉及计算机技术领域,尤其涉及一种数据传输方法、装置和系统。
背景技术
随着计算机技术以及分布式技术的发展,不仅产生的数据越来越多,而且产生的数据可能被分散在各个业务端,为了各个业务端上的数据实时保持一致,业务端通常会每产生一条数据,便将该条数据实时发送给其他业务端。
但是,这种每产生一条数据,便实时发送该条数据的方法不仅会消耗大量的资源,而且还会占用大量的带宽,虽然保证了实时性,但是投入与产出之间的收益很低。
发明内容
有鉴于此,本发明实施例提供一种数据传输方法、装置和系统,数据请求端能够向数据生产端并行发送多个数据传输请求,数据生产端能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
为实现上述目的,根据本发明实施例的一个方面,提供了应用于数据请求端的一种数据传输方法。
本发明实施例的应用于数据请求端的一种数据传输方法包括:
向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;
接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
根据编号,保存数据包中的传输数据。
可选地,
当接收到数据生产端返回的多个数据包时,根据编号,保存数据包中的传输数据,包括:
将数据包保存至链式结构中与编号分别对应的节点中;
根据节点的顺序,依次对数据包进行解析,以保存数据包中的传输数据。
可选地,
根据链式结构的节点的顺序,依次对数据包进行解析,包括:
将链式结构中的第一个节点作为当前节点,并循环执行以下步骤:
确定当前节点中是否保存有数据包;
如果是,则对当前节点中保存的数据包进行解析,并将当前节点的下一个节点作为当前节点;
如果否,则在当前节点处等待,并每隔预设时长,返回执行确定当前节点中是否保存有数据包。
可选地,
在向数据生产端并行发送多个数据传输请求之前,还包括:
向数据生产端发送握手请求,握手请求中包括自身的标识;
接收数据生产端发来的握手成功信息,以与数据生产端建立通信连接。
为实现上述目的,根据本发明实施例的另一方面,提供了应用于数据生产端的一种数据传输方法。
本发明实施例的应用于数据生产端的一种数据传输方法包括:
接收数据请求端发来的多个数据传输请求,多个数据传输请求中包括数据请求端的标识以及传输数据在数据生产端自身上的起始位点;
根据起始位点,生成数据包,其中,数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
根据标识,将数据包发送给数据请求端,以使数据请求端根据编号,保存数据包中的传输数据。
可选地,
根据起始位点,生成数据包,包括:
从多个数据传输请求中选择一个作为当前数据传输请求,并执行以下步骤,直至多个数据传输请求均被执行完毕:
根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据;
根据当前传输数据,生成数据包,并根据数据包生成的顺序在数据包中写入相应的编号;
记录当前传输数据中最后一个数据的下一个位点作为当前位点;
从多个数据传输请求中选择另一个未被执行的数据传输请求作为当前数据传输请求,并将当前位点作为当前数据传输请求中的起始位点。
可选地,
根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据,包括:
根据当前数据传输请求中的起始位点和预设传输数据量,确定当前数据传输请求对应的当前传输数据,其中,当前传输数据的数据量不大于预设传输数据量。
可选地,
在根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据之前,还包括:
为当前数据传输请求添加互斥锁,以使除当前数据传输请求之外的其他数据传输请求不被执行。
为实现上述目的,根据本发明实施例的又一方面,提供了一种数据请求端。
本发明实施例的一种数据请求端包括请求发送模块、数据包接收模块、数据保存模块;其中:
请求发送模块,用于向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;
数据包接收模块,用于接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
数据保存模块,用于根据编号,保存数据包中的传输数据。
为实现上述目的,根据本发明实施例的又一方面,提供了一种数据生产端。
本发明实施例的一种数据生产端包括请求接收模块、数据包生成模块、数据包发送模块;其中:
请求接收模块,用于接收数据请求端发来的多个数据传输请求,多个数据传输请求中包括数据请求端的标识以及传输数据在数据生产端自身上的起始位点;
数据包生成模块,用于根据起始位点,生成数据包,其中,数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
数据包发送模块,用于根据标识,将数据包发送给数据请求端,以使数据请求端根据编号,保存数据包中的传输数据。
为实现上述目的,根据本发明实施例的又一方面,提供了一种数据传输系统。
本发明实施例的一种数据传输系统包括:本发明实施例中提供的一种数据请求端以及一种数据生产端。
为实现上述目的,根据本发明实施例的又一方面,提供了一种数据传输电子设备。
本发明实施例的一种数据传输电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现本发明实施例的一种数据传输方法。
为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读存储介质。
本发明实施例的一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现本发明实施例的一种数据传输方法。
上述发明中的一个实施例具有如下优点或有益效果:数据请求端能够向数据生产端并行发送多个数据传输请求,数据生产端能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明,不构成对本发明的不当限定。其中:
图1是根据本发明实施例的应用于数据请求端的一种数据传输方法的主要步骤的示意图;
图2a、图2b以及图2c是将数据包保存至链式结构中与编号分别对应的节点的过程的示意图;
图3是根据链式结构的节点的顺序,依次对数据包进行解析的方法的主要步骤的示意图;
图4是根据本发明实施例的应用于数据生产端的一种数据传输方法的主要步骤的示意图;
图5是数据生产端根据起始位点生成数据包的方法的主要步骤的示意图;
图6是根据本发明实施例的一种数据请求端的主要模块的示意图;
图7是根据本发明实施例的一种数据生产端的主要模块的示意图;
图8是根据本发明实施例的一种数据传输系统的示意图;
图9是根据本发明实施例的另一种数据传输系统的示意图;
图10是本发明实施例可以应用于其中的示例性系统架构图;
图11是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明,其中包括本发明实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要指出的是,在不冲突的情况下,本发明的实施例以及实施例中的技术特征可以相互结合。
图1是根据本发明实施例的应用于数据请求端的一种数据传输方法的主要步骤的示意图。
如图1所示,本发明实施例的应用于数据请求端的一种数据传输方法主要包括以下步骤:
步骤S101:向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;
步骤S102:接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
步骤S103:根据编号,保存数据包中的传输数据。
在本发明实施例中,在步骤S101之前,还包括数据请求端和数据生产端之间建立通信连接的过程,具体地,包括:数据请求端向数据生产端发送握手请求,握手请求中包括自身的标识;数据请求端接收数据生产端发来的握手成功信息,以与数据生产端建立通信连接。
在本发明实施例中,握手请求中除了包括数据请求端自身的标识,还可以包括数据请求端所请求的传输数据在数据生产端上的起始位点,以使数据生产端能够提前建立并保存该数据请求端的标识及其所请求的传输数据的起始位点之间的关联关系、为后续处理该数据请求端并行发来的多个数据传输请求做好相关的准备。在本发明一个优选的实施例中,数据请求端可以通过RPC(Remote Procedure Call,远程过程调用)方式向数据生产端发送握手请求。
在本发明实施例中,在数据请求端与数据生产端之间建立通信连接之后,数据请求端可以启动多个并发长连接,每个长连接分别向数据生产端发送数据传输请求,以向数据生产端并行发送多个数据传输请求。
在本发明实施例中,当数据请求端接收到数据生产端返回的多个数据包时,由于数据包中除了多个传输数据以外还包括编号,因此,数据请求端可以根据数据包的编号,先将数据包保存至链式结构中与编号分别对应的节点中,再根据节点的顺序,依次对数据包进行解析,以保存数据包中的传输数据。
具体地,举例来说,将数据包保存至链式结构中与编号分别对应的节点的过程可以如图2a至图2c所示。首先如图2a所示,当前链式结构的某两个节点内已分别保存有编号为n与n+1的数据包。此时,如果数据请求端又接收到编号为n+2与n+4的数据包,则数据请求端可以先将保存有编号为n+1的数据包的节点的后一个节点,作为保存编号为n+2的数据包的节点,并将编号为n+2的数据包保存至该节点中,如图2b所示;再将保存有编号为n+2的数据包的节点的后两个节点,作为保存编号为n+4的数据包的节点,并将编号为n+4的数据包保存至该节点中,如图2c所示。由于各个节点之间是链式结构,所以数据请求端会在保存有编号为n+2的数据包的节点与保存有编号为n+4的数据包的节点之间空出一个节点,等待保存编号为n+3的数据包,以保证能够按照数据包的生成顺序保存相应的数据包,进而保证解析数据包后得到并保存传输数据的顺序与其在数据生产端上保存的顺序相一致。
在本发明实施例中,根据链式结构的节点的顺序,依次对数据包进行解析的方法如图3所示,该方法主要包括以下步骤:
步骤S301:将链式结构中的第一个节点作为当前节点;
步骤S302:确定当前节点中是否保存有数据包,如果是,执行步骤S303,如果否,执行步骤S304;
步骤S303:对当前节点中保存的数据包进行解析,并将当前节点的下一个节点作为当前节点,返回执行步骤S302;
步骤S304:在当前节点处等待,并每隔预设时长,返回执行步骤S302。
在本发明实施例中,数据请求端会从链式结构的第一个节点开始,按照节点在链式结构中的顺序,依次对节点中的数据包进行解析,每解析一个数据包,就保存该数据包内的传输数据,以使传输数据在自身保存的顺序与传输数据在数据生产端上保存的顺序相一致,进而使得数据请求端能够有序使用这些传输数据。如果在解析过程中遇到某个节点内没有数据包,则说明该节点对应的数据包尚未被传输完毕,则解析过程暂停,在该节点处自旋等待,直至该节点内保存有数据包时,继续进行解析。
根据本发明实施例的应用于数据请求端的一种数据传输方法可以看出,数据请求端能够向数据生产端并行发送多个数据传输请求,以使数据生产端根据数据传输请求中所包括的传输数据在其自身上的起始位点,生成并返回数据包,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
如图4所示,本发明实施例的应用于数据生产端的一种数据传输方法主要包括以下步骤:
步骤S401:接收数据请求端发来的多个数据传输请求,多个数据传输请求中包括数据请求端的标识以及传输数据在数据生产端自身上的起始位点;
步骤S402:根据起始位点,生成数据包,其中,数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
步骤S403:根据标识,将数据包发送给数据请求端,以使数据请求端根据编号,保存数据包中的传输数据。
在本发明实施例中,在步骤S401之前,还包括数据生产端和数据请求端之间建立通信连接的过程。具体地,数据生产端接收数据请求端发来的握手请求,握手请求中包括数据请求端的标识;数据生产端验证该标识可信后,即向数据请求端发送握手成功信息,以与数据请求端建立通信连接。
在本发明实施例中,握手请求中除了包括数据请求端的标识,还可以包括数据请求端所请求的传输数据在数据生产端上的起始位点。数据生产端接收到该握手请求后,可以提前建立并保存该数据请求端的标识及其所请求的传输数据的起始位点之间的关联关系,为后续处理该数据请求端并行发来的多个数据传输请求做好相关的准备。
在本发明实施例中,由于数据请求端发来的每一个数据传输请求中都包括传输数据在数据生产端自身上的起始位点,因此,数据生产端根据起始位点生成数据包的方法如图5所示,该方法主要包括以下步骤:
步骤S501:从多个数据传输请求中选择一个作为当前数据传输请求;
步骤S502:根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据;
步骤S503:根据当前传输数据,生成数据包,并根据数据包生成的顺序在数据包中写入相应的编号;
步骤S504:记录当前传输数据中最后一个数据的下一个位点作为当前位点;
步骤S505:确定多个数据传输请求是否均被执行完毕,如果否,执行步骤S506;
步骤S506:从多个数据传输请求中选择另一个未被执行的数据传输请求作为当前数据传输请求,并将当前位点作为当前数据传输请求中的起始位点,返回执行步骤S502。
在本发明实施例中,在根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据之前,还可以包括:为当前数据传输请求添加互斥锁,以使除当前数据传输请求之外的其他数据传输请求不被执行。
在本发明实施例中,根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据的过程,包括:根据当前数据传输请求中的起始位点和预设传输数据量,确定当前数据传输请求对应的当前传输数据,其中,当前传输数据的数据量不大于预设传输数据量。
举例来说,若预设传输数据量为100条,则数据生产端从当前数据传输请求中的起始位点开始,确定出100条当前传输数据后,就将这100条当前传输数据压缩为一个数据包,此时如果该数据包是数据生产端生成的第40个数据包,则数据生产端在该数据包中写入编号“40”后,将该数据包发送给数据请求端,作为对当前数据传输请求的响应。通过预设传输数据量,可以避免数据生产端生成大批量的传输数据之后才发送给数据请求端的情况,提高传输效率,保证传输的实时性。
在本发明实施例中,还可以预设时间阈值,以保证传输过程的实时性。举例来说,若预设时间阈值为100毫秒,则数据生产端从当前数据传输请求中的起始位点开始确定当前传输数据,每过100毫秒,就将确定出的当前传输数据压缩为一个数据包,此时如果该数据包是数据生产端生成的第52个数据包,则数据生产端在该数据包中写入编号“52”后,将该数据包发送给数据请求端,作为对当前数据传输请求的响应。
在本发明实施例中,也可以同时预设传输数据量和时间阈值,以进一步保证传输过程的实时性。
在本发明实施例中,根据当前传输数据,生成数据包的过程,可以是:通过LZ4无损压缩算法,对当前传输数据进行压缩,生成数据包。
根据本发明实施例的应用于数据生产端的一种数据传输方法可以看出,数据生产端在接收到数据请求端发来的多个数据传输请求后,能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,以使数据请求端根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
图6是根据本发明实施例的一种数据请求端的主要模块的示意图。
如图6所示,本发明实施例的一种数据请求端600包括请求发送模块601、数据包接收模块602、数据保存模块603;其中:
请求发送模块601,用于向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;
数据包接收模块602,用于接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
数据保存模块603,用于根据编号,保存数据包中的传输数据。
在本发明实施例中,当接收到数据生产端返回的多个数据包时,数据保存模块603进一步用于:将数据包保存至链式结构中与编号分别对应的节点中;根据节点的顺序,依次对数据包进行解析,以保存数据包中的传输数据。
在本发明实施例中,数据保存模块603进一步用于:将链式结构中的第一个节点作为当前节点,并循环执行以下步骤:确定当前节点中是否保存有数据包;如果是,则对当前节点中保存的数据包进行解析,并将当前节点的下一个节点作为当前节点;如果否,则在当前节点处等待,并每隔预设时长,返回执行确定当前节点中是否保存有数据包。
在本发明实施例中,在向数据生产端并行发送多个数据传输请求之前,请求发送模块601进一步用于:向数据生产端发送握手请求,握手请求中包括自身的标识;接收数据生产端发来的握手成功信息,以与数据生产端建立通信连接。
根据本发明实施例的一种数据请求端可以看出,数据请求端能够向数据生产端并行发送多个数据传输请求,以使数据生产端根据数据传输请求中所包括的传输数据在其自身上的起始位点,生成并返回数据包,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
图7是根据本发明实施例的一种数据生产端的主要模块的示意图。
如图7所示,本发明实施例的一种数据生产端700包括请求接收模块701、数据包生成模块702、数据包发送模块703;其中:
请求接收模块701,用于接收数据请求端发来的多个数据传输请求,多个数据传输请求中包括数据请求端的标识以及传输数据在数据生产端自身上的起始位点;
数据包生成模块702,用于根据起始位点,生成数据包,其中,数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;
数据包发送模块703,用于根据标识,将数据包发送给数据请求端,以使数据请求端根据编号,保存数据包中的传输数据。
在本发明实施例中,数据包生成模块702进一步用于:从多个数据传输请求中选择一个作为当前数据传输请求,并执行以下步骤,直至多个数据传输请求均被执行完毕:根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据;根据当前传输数据,生成数据包,并根据数据包生成的顺序在数据包中写入相应的编号;记录当前传输数据中最后一个数据的下一个位点作为当前位点;从多个数据传输请求中选择另一个未被执行的数据传输请求作为当前数据传输请求,并将当前位点作为当前数据传输请求中的起始位点。
在本发明实施例中,数据包生成模块702进一步用于:根据当前数据传输请求中的起始位点和预设传输数据量,确定当前数据传输请求对应的当前传输数据,其中,当前传输数据的数据量不大于预设传输数据量。
在本发明实施例中,在根据当前数据传输请求中的起始位点,确定当前数据传输请求对应的当前传输数据之前,请求接收模块701进一步用于:为当前数据传输请求添加互斥锁,以使除当前数据传输请求之外的其他数据传输请求不被执行。
根据本发明实施例的一种数据生产端可以看出,数据生产端在接收到数据请求端发来的多个数据传输请求后,能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,以使数据请求端根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
图8是根据本发明实施例的一种数据传输系统的示意图。
如图8所示,本发明实施例的一种数据传输系统800包括上述任一实施例提供的一种数据请求端600以及一种数据生产端700。
下面以一种数据请求端以及一种数据生产端之间的交互过程对本发明提供的一种数据传输系统以及数据传输方法进行说明,如图9所示,图9是根据本发明实施例的另一种数据传输系统的示意图。
由图9可见,数据生产端向数据请求端并行发送多个数据传输请求后,数据生产端根据数据传输请求中包括的传输数据在自身上的起始位点,生成数据包,并将数据包发送给数据请求端,由数据请求端根据数据包中包括的编号,保存数据包中的传输数据,从而完成二者之间的数据传输过程。
根据本发明实施例的一种数据传输系统可以看出,数据请求端能够向数据生产端并行发送多个数据传输请求,数据生产端能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
图10示出了可以应用本发明实施例的一种数据传输方法、一种数据请求端或一种数据生产端的示例性系统架构1000。
如图10所示,系统架构1000可以包括终端设备1001、1002、1003,网络1004和电子设备1005。网络1004用以在终端设备1001、1002、1003和电子设备1005之间提供通信链路的介质。网络1004可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备1001、1002、1003通过网络1004与电子设备1005交互,以接收或发送消息等。终端设备1001、1002、1003上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备1001、1002、1003可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
电子设备1005可以是提供各种服务的服务器,例如对用户利用终端设备1001、1002、1003所浏览的购物类网站提供支持的后台管理服务器。后台管理服务器可以对接收到的数据传输请求等数据进行分析等处理,并将处理结果(例如传输数据)反馈给终端设备。
应该理解,图10中的终端设备、网络和电子设备的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和电子设备。
下面参考图11,其示出了适于用来实现本发明实施例的终端设备的计算机系统1100的结构示意图。图11示出的终端设备仅仅是一个示例,不应对本发明实施例的功能和使用范围带来任何限制。
如图11所示,计算机系统1100包括中央处理单元(CPU)1101,其可以根据存储在只读存储器(ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(RAM)1103中的程序而执行各种适当的动作和处理。在RAM 1103中,还存储有系统1100操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地,根据本发明公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本发明公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时,执行本发明的系统中限定的上述功能。
需要说明的是,本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中,例如,可以描述为:一种处理器包括请求发送模块、数据包接收模块、数据保存模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,请求发送模块还可以被描述为“用于向数据生产端并行发送多个数据传输请求的模块”。
作为另一方面,本发明还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备包括:向数据生产端并行发送多个数据传输请求,多个数据传输请求中包括数据请求端自身的标识以及传输数据在数据生产端上的起始位点;接收数据生产端返回的数据包,其中,数据包是数据生成端根据起始位点生成的,且数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;根据编号,保存数据包中的传输数据。
当上述一个或者多个程序被一个该设备执行时,还可以使得该设备包括:接收数据请求端发来的多个数据传输请求,多个数据传输请求中包括数据请求端的标识以及传输数据在数据生产端自身上的起始位点;根据起始位点,生成数据包,其中,数据包中包括编号以及多个传输数据,编号指示了数据包生成的顺序;根据标识,将数据包发送给数据请求端,以使数据请求端根据编号,保存数据包中的传输数据。
根据本发明实施例的技术方案,数据请求端能够向数据生产端并行发送多个数据传输请求,数据生产端能够根据数据传输请求中所包括的传输数据在自身上的起始位点,生成数据包,并发送给数据请求端,数据请求端再根据数据包中的编号,保存数据包中的传输数据,从而减少了资源的消耗与带宽的占用,提高了投入与产出之间的收益。
上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,取决于设计要求和其他因素,可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。

Claims (11)

1.一种数据传输方法,其特征在于,应用于数据请求端,包括:
向数据生产端并行发送多个数据传输请求,所述多个数据传输请求中包括所述数据请求端自身的标识以及传输数据在所述数据生产端上的起始位点;
接收所述数据生产端返回的数据包,其中,所述数据包是所述数据生成端根据所述起始位点生成的,且所述数据包中包括编号以及多个所述传输数据,所述编号指示了所述数据包生成的顺序;所述起始位点对应于每个所述数据传输请求中的第一个数据;
根据所述编号,保存所述数据包中的所述传输数据,包括:将所述数据包保存至链式结构中与所述编号分别对应的节点中;根据所述节点的顺序,依次对所述数据包进行解析,以保存所述数据包中的所述传输数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述链式结构的节点的顺序,依次对所述数据包进行解析,包括:
将所述链式结构中的第一个节点作为当前节点,并循环执行以下步骤:
确定所述当前节点中是否保存有所述数据包;
如果是,则对所述当前节点中保存的所述数据包进行解析,并将所述当前节点的下一个节点作为当前节点;
如果否,则在所述当前节点处等待,并每隔预设时长,返回执行所述确定所述当前节点中是否保存有所述数据包。
3.根据权利要求1所述的方法,其特征在于,在所述向数据生产端并行发送多个数据传输请求之前,还包括:
向所述数据生产端发送握手请求,所述握手请求中包括自身的所述标识;
接收所述数据生产端发来的握手成功信息,以与所述数据生产端建立通信连接。
4.一种数据传输方法,其特征在于,应用于数据生产端,包括:
接收数据请求端发来的多个数据传输请求,所述多个数据传输请求中包括所述数据请求端的标识以及传输数据在所述数据生产端自身上的起始位点;
根据所述起始位点,生成数据包,其中,所述数据包中包括编号以及多个所述传输数据,所述编号指示了所述数据包生成的顺序;
根据所述标识,将所述数据包发送给所述数据请求端,以使所述数据请求端根据所述编号,保存所述数据包中的所述传输数据;
所述根据所述起始位点,生成数据包,包括:从所述多个数据传输请求中选择一个作为当前数据传输请求,并执行以下步骤,直至所述多个数据传输请求均被执行完毕:根据所述当前数据传输请求中的起始位点,确定所述当前数据传输请求对应的当前传输数据;根据所述当前传输数据,生成数据包,并根据所述数据包生成的顺序在所述数据包中写入相应的所述编号;记录所述当前传输数据中最后一个数据的下一个位点作为当前位点;从所述多个数据传输请求中选择另一个未被执行的数据传输请求作为当前数据传输请求,并将所述当前位点作为所述当前数据传输请求中的起始位点。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前数据传输请求中的起始位点,确定所述当前数据传输请求对应的当前传输数据,包括:
根据所述当前数据传输请求中的起始位点和预设传输数据量,确定所述当前数据传输请求对应的当前传输数据,其中,所述当前传输数据的数据量不大于所述预设传输数据量。
6.根据权利要求4所述的方法,其特征在于,在所述根据所述当前数据传输请求中的起始位点,确定所述当前数据传输请求对应的当前传输数据之前,还包括:
为所述当前数据传输请求添加互斥锁,以使除所述当前数据传输请求之外的其他数据传输请求不被执行。
7.一种数据请求端,其特征在于,包括请求发送模块、数据包接收模块、数据保存模块;其中:
所述请求发送模块,用于向数据生产端并行发送多个数据传输请求,所述多个数据传输请求中包括所述数据请求端自身的标识以及传输数据在所述数据生产端上的起始位点;
所述数据包接收模块,用于接收所述数据生产端返回的数据包,其中,所述数据包是所述数据生成端根据所述起始位点生成的,且所述数据包中包括编号以及多个所述传输数据,所述编号指示了所述数据包生成的顺序;所述起始位点对应于每个所述数据传输请求中的第一个数据;
所述数据保存模块,用于根据所述编号,保存所述数据包中的所述传输数据包括:将所述数据包保存至链式结构中与所述编号分别对应的节点中;根据所述节点的顺序,依次对所述数据包进行解析,以保存所述数据包中的所述传输数据。
8.一种数据生产端,其特征在于,包括请求接收模块、数据包生成模块、数据包发送模块;其中:
所述请求接收模块,用于接收数据请求端发来的多个数据传输请求,所述多个数据传输请求中包括所述数据请求端的标识以及传输数据在所述数据生产端自身上的起始位点;
所述数据包生成模块,用于根据所述起始位点,生成数据包,其中,所述数据包中包括编号以及多个所述传输数据,所述编号指示了所述数据包生成的顺序;
所述数据包发送模块,用于根据所述标识,将所述数据包发送给所述数据请求端,以使所述数据请求端根据所述编号,保存所述数据包中的所述传输数据;
所述根据所述起始位点,生成数据包,包括:从所述多个数据传输请求中选择一个作为当前数据传输请求,并执行以下步骤,直至所述多个数据传输请求均被执行完毕:根据所述当前数据传输请求中的起始位点,确定所述当前数据传输请求对应的当前传输数据;根据所述当前传输数据,生成数据包,并根据所述数据包生成的顺序在所述数据包中写入相应的所述编号;记录所述当前传输数据中最后一个数据的下一个位点作为当前位点;从所述多个数据传输请求中选择另一个未被执行的数据传输请求作为当前数据传输请求,并将所述当前位点作为所述当前数据传输请求中的起始位点。
9.一种数据传输系统,其特征在于,包括:权利要求7所述的一种数据请求端以及权利要求8所述的一种数据生产端。
10.一种数据传输电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-3或4-6中任一所述的方法。
11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-3或4-6中任一所述的方法。
CN202110413432.5A 2021-04-16 2021-04-16 一种数据传输方法、装置和系统 Active CN113132480B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110413432.5A CN113132480B (zh) 2021-04-16 2021-04-16 一种数据传输方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110413432.5A CN113132480B (zh) 2021-04-16 2021-04-16 一种数据传输方法、装置和系统

Publications (2)

Publication Number Publication Date
CN113132480A CN113132480A (zh) 2021-07-16
CN113132480B true CN113132480B (zh) 2023-04-07

Family

ID=76777108

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110413432.5A Active CN113132480B (zh) 2021-04-16 2021-04-16 一种数据传输方法、装置和系统

Country Status (1)

Country Link
CN (1) CN113132480B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875646A (zh) * 2015-12-11 2017-06-20 华为技术有限公司 数据采集方法和设备
CN109783462A (zh) * 2018-12-13 2019-05-21 创新科存储技术有限公司 一种基于分布式文件系统的数据访问方法和装置
CN111835712A (zh) * 2020-06-01 2020-10-27 北京百卓网络技术有限公司 一种数据传输方法、装置、系统、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112015005786A2 (pt) * 2012-09-14 2017-07-04 Silversmith Inc transporte de pacote de dados e sistema e método de entrega

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106875646A (zh) * 2015-12-11 2017-06-20 华为技术有限公司 数据采集方法和设备
CN109783462A (zh) * 2018-12-13 2019-05-21 创新科存储技术有限公司 一种基于分布式文件系统的数据访问方法和装置
CN111835712A (zh) * 2020-06-01 2020-10-27 北京百卓网络技术有限公司 一种数据传输方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
CN113132480A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
CN111510466B (zh) 客户端的数据更新方法、装置、电子设备及可读介质
CN114979024A (zh) 算力网络交易方法、装置、计算机可读介质及电子设备
CN112965673A (zh) 内容的打印方法、装置、设备及存储介质
CN110321252B (zh) 一种技能服务资源调度的方法和装置
CN112104679B (zh) 处理超文本传输协议请求的方法、装置、设备和介质
CN111427899A (zh) 存储文件的方法、装置、设备和计算机可读介质
CN112084042A (zh) 一种消息处理的方法和装置
CN110798495A (zh) 用于在集群架构模式下端到端的消息推送的方法和服务器
CN111800223B (zh) 生成发送报文、处理接收报文的方法、装置和系统
CN113742389A (zh) 一种业务处理方法和装置
CN112948138A (zh) 一种处理消息的方法和装置
CN113132480B (zh) 一种数据传输方法、装置和系统
CN112149392A (zh) 一种富文本编辑方法和装置
CN110830427A (zh) 一种netty环境下的消息编码、消息解码的方法和装置
CN113127561B (zh) 业务单号的生成方法、装置、电子设备和存储介质
CN113992641A (zh) 一种数据处理方法、装置、设备及存储介质
CN113779122A (zh) 导出数据的方法和装置
CN113572704A (zh) 一种信息处理方法、生产端、消费端和服务器
CN113779018A (zh) 一种数据处理方法和装置
CN113238808A (zh) 一种消息推送方法和装置
CN113722115A (zh) 调用接口的方法、装置、设备和计算机可读介质
CN113542335A (zh) 一种信息共享方法、装置、电子设备及存储介质
CN117478535B (zh) 一种日志存储的方法和装置
CN109981554B (zh) 信息处理方法、系统和电子设备
CN115454666A (zh) 消息队列集群间的数据同步方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant