CN112468407A - 数据分包传输方法、装置、计算机设备和存储介质 - Google Patents

数据分包传输方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112468407A
CN112468407A CN202011475329.5A CN202011475329A CN112468407A CN 112468407 A CN112468407 A CN 112468407A CN 202011475329 A CN202011475329 A CN 202011475329A CN 112468407 A CN112468407 A CN 112468407A
Authority
CN
China
Prior art keywords
data
sub
transmitted
packets
data packets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011475329.5A
Other languages
English (en)
Inventor
关班记
劳作媚
季统凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloud Computing Center of CAS
Cloud Computing Industry Technology Innovation and Incubation Center of CAS
Original Assignee
Cloud Computing Center of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloud Computing Center of CAS filed Critical Cloud Computing Center of CAS
Priority to CN202011475329.5A priority Critical patent/CN112468407A/zh
Publication of CN112468407A publication Critical patent/CN112468407A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/29Flow control; Congestion control using a combination of thresholds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/34Flow control; Congestion control ensuring sequence integrity, e.g. using sequence numbers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/50Queue scheduling

Abstract

本申请提供了一种数据分包传输方法、装置、计算机设备和存储介质。该方法包括:通过获取待传输数据,根据待传输数据的数据量以及预设的子数据包数据量阈值,将待传输数据进行分包,得到多个子数据包,为多个子数据包分别配置对应的索引,并将多个子数据包发送至消息队列,其中,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和所述多个子数据包的子数据包数量,该消息队列用于供接收方的消息处理器获取子数据包并进行拼包处理,通过将大数据包分包的方式实现异步传输,提高了大数据包传输的效率。

Description

数据分包传输方法、装置、计算机设备和存储介质
技术领域
本申请涉及大数据技术领域,特别是涉及一种数据分包传输方法、装置、计算机设备和存储介质。
背景技术
随着云计算技术的发展,分布式管理系统已经成为主流的管理系统,随着分布式系统管理规模的扩大,每个节点之间的通信数据包也将越来越大,各个通信节点的传输效率影响大数据包的传输效率。
目前技术中,对大数据包的传输通常采用缓存处理的方式,传输效率较低。
发明内容
基于此,有必要针对目前技术中存在的大数据包传输效率低的技术问题,提供一种数据分包传输方法、装置、计算机设备和存储介质。
一种数据分包传输方法,所述方法包括:
获取待传输数据;
根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;
为所述多个子数据包分别配置对应的索引,并将所述多个子数据包发送至消息队列;所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;所述消息队列用于供所述待传输数据接收方获取所述多个子数据包,并根据多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据。
在其中一个实施例中,所述根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包,包括:
获取所述待传输数据的数据量,以及获取所述子数据包数据量阈值;
根据所述数据量和子数据包数据量阈值,确定所述待传输数据对应的子数据包数量;
根据所述子数据包数量对所述待传输数据的数据量进行分包,得到所述多个子数据包。
在其中一个实施例中,所述方法还包括:
若所述待传输数据的数据量小于或等于所述子数据包数据量阈值,直接将所述待传输数据的发送至所述消息队列。
在其中一个实施例中,一种数据分包传输方法,所述方法包括:
从消息队列中获取多个子数据包;所述多个子数据包为待处理数据的发送方根据所述待传输数据的数据量,对所述待传输数据进行分包得到;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;所述消息队列中的所述多个子数据包分别对应有索引,所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;
根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据;
发送所述拼包后的待传输数据。
在其中一个实施例中,所述根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据,包括:
获取各个子数据包对应的顺序编号、数据标识和子数据包数量;
根据所述待传输数据的数据标识和子数据包数量,获取所述待传输数据对应的全部子数据包;
根据各个子数据包的顺序编号,将所述全部子数据包进行拼包,得到所述拼包后的待传输数据。
在其中一个实施例中,所述根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据之前,所述方法还包括:
获取所述多个子数据包的加密状态,对所述多个子数据包进行解密处理。
一种数据分包传输装置,所述装置包括:
数据获取模块,用于获取待传输数据;
数据分包模块,用于数据根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;
消息队列模块,用于为所述多个子数据包分别配置对应的索引,并将所述多个子数据包发送至消息队列;所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;所述消息队列用于供所述待传输数据接收方获取所述多个子数据包,并根据多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据。
一种数据分包传输装置,所述装置包括:
数据包获取模块,用于从消息队列中获取多个子数据包;所述多个子数据包为待处理数据的发送方根据所述待传输数据的数据量,对所述待传输数据进行分包得到;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;所述消息队列中的所述多个子数据包分别对应有索引,所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;
数据拼包模块,用于根据所述多个子数据包分别对应的索引,对所述多个子数据包进行处理,得到拼包后的待传输数据;
数据发送模块,用于发送所述拼包后的待传输数据。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一实施例中方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一实施例中方法步骤。
上述数据分包传输方法、装置、计算机设备和存储介质,通过获取待传输数据,根据待传输数据的数据量以及预设的子数据包数据量阈值,将待传输数据进行分包,得到多个子数据包,为多个子数据包分别配置对应的索引,并将多个子数据包发送至消息队列,其中,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和所述多个子数据包的子数据包数量,该消息队列用于供接收方获取子数据包并进行拼包处理,通过将大数据包分包的方式实现异步传输,提高了大数据包传输的效率。
附图说明
图1为一个实施例中数据分包传输方法的应用环境图;
图2为一个实施例中数据分包传输方法的流程示意图;
图3为另一个实施例中数据分包传输方法的流程示意图;
图4为另一个实施例中数据分包传输方法的流程示意图;
图5为另一个实施例中数据分包传输方法的流程示意图;
图6为一个实施例中数据分包传输装置的结构框图;
图7为一个实施例中数据分包传输装置的结构框图;
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的数据分包传输方法,可以应用于如图1所示的应用环境中。其中,消息处理器102可以通过应用端获取数据发送方的待传输数据,将待传输数据进行分包、并配置对应的索引后,发送至消息队列,供接收方的消息处理器104访问。其中,消息处理器102和104可以分布在独立的服务器或者是多个服务器组成的服务器集群。消息处理器可以是用于专门处理应用层消息的处理模块,负责消息数据的发送、接收、分包、拼包和加密等工作。
在一个实施例中,数据分包传输方法可以适用于分布式计算资源管理系统,通过消息队列实现异步传输。消息队列可以是分布式系统的中间件,用于解决应用耦合、异步消息、流量削锋等问题,实现高性能、高可用、可伸缩和最终一致性架构,例如ActiveMQ、RabbitMQ、ZeroMQ、Kafka、MetaMQ、RocketMQ等消息队列。
在一个实施例中,如图2所示,提供了一种数据分包传输方法,以该方法应用于图1的消息处理器102为例进行说明,包括以下步骤:
步骤S201,获取待传输数据。
待传输数据可以是数据发送方发送的数据,该数据可以是应用端之间用来传输的未经过处理的字符串数据。消息处理器102可以通过应用端口获取的应用端发送的数据。
步骤S202,根据待传输数据的数据量,对待传输数据进行分包,得到多个子数据包。
其中,待传输数据的数据量可用于表征数据的规模,若数据量较大,数据完成传输所需的资源就较多,消息处理器可以根据待传输数据的数据量确定对待传输数据的分包策略。子数据包数据量阈值可以是待传输数据分包后数据包的数据量的上限数据,可以用字节长度来标识。消息处理器可以预先配置该子数据包数据量阈值。各个子数据包的数据量可以小于或等于预设的子数据包数据量阈值。
具体实现中,消息处理器102可以获取待传输数据的数据量,并获取子数据包数据量阈值,根据子数据包数据量阈值对待传输数据进行分包,得到多个子数据包。
步骤S203,为多个子数据包分别配置对应的索引,并将多个子数据包发送至消息队列。
其中,索引可以用于标识子数据包,以及该子数据包所属的待传输数据,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和所述多个子数据包的子数据包数量。待传输数据的数据标识可以是待传输数据的唯一标识,能够用于确定待传输数据,各个子数据包的顺序编号可以用于确定子数据包在待传输数据中的顺序。消息处理器可以根据索引查询待传输数据对应的所有子数据包。消息队列可以用于通过异步传输的方式接收多个子数据包。消息队列还可以用于供待传输数据接收方的消息处理器获取该多个子数据包,并根据多个子数据包分别对应的索引,对多个子数据包进行处理,得到拼包后的待传输数据,并发送该拼包后的待传输数据。
具体实现中,消息处理器102可以为多个子数据包配置对应的索引,包括待传输数据的数据标识、子数据包数量,以及各个子数据包的顺序编号,并将各个子数据包发送至消息队列进行存储。接收方的消息处理器104可以访问消息队列,并获取其中的子数据包,当获得待传输数据的所有子数据包后,进行拼包处理,得到拼包后的子数据。索引可以包含在各个子数据包中。
上述数据分包传输方法中,通过获取待传输数据,根据待传输数据的数据量以及预设的子数据包数据量阈值,将待传输数据进行分包,得到多个子数据包,为多个子数据包分别配置对应的索引,并将多个子数据包发送至消息队列,其中,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和多个子数据包的子数据包数量,该消息队列用于供接收方获取子数据包并进行拼包处理,通过将大数据包分包的方式实现异步传输,提高了大数据包传输的效率。
在一个实施例中,步骤S202中确定根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包的步骤包括:
获取待传输数据的数据量,以及获取子数据包数据量阈值;根据数据量和子数据包数据量阈值,确定待传输数据对应的子数据包数量;根据子数据包数量对待传输数据的数据量进行分包,得到多个子数据包。
本实施例中,消息处理器102在对待传输数据进行分包处理时,可以获取待传输数据的数据量,以及配置的子数据包数据量阈值,根据数据量和子数据包阈值,确定带传输数据对应的子数据包数量。消息处理器102可以通过子数据包数量对待传输数据的数据量进行分包,得到多个子数据包。由此得到的子数据包,数据量小于或等于预设的子数据包数据量阈值。
在一些实施例中,子数据包数量可以是待传输数据的数据量除以子数据包数据量阈值,并向上取整数。例如,待传输数据中有3个数据,预设的子数据包数据量阈值为2,需要进行分包处理,消息处理器可以将待传输数据分为两部分,可以设置待传输数据的子数据包的数量为2,其中第一部分的顺序编号为0,第二部分的顺序编号为1。并将第一部分数据和第二部分数据发送至消息队列。
上述实施例的方案,通过子数据包数据量阈值和待传输数据量对待传输数据进行分包,得到多个子数据包,提高了大数据包分包传输的效率。
在一个实施例中,上述方法还包括:
若待传输数据的数据量小于或等于子数据包数据量阈值,直接将待传输数据的发送至消息队列。
本实施例中,消息处理器102也可以将待传输数据的数据量与子数据包数据量阈值进行对比,若待传输数据的数据量小于或等于子数据包数据量阈值,可以直接将待传输数据发送至消息队列进行存储,提高分包处理的精确程度。待传输数据中可以携带有数据包数量、数据标识等参数信息。
在一个实施例中,消息处理器102接收到的待传输数据可以包括待传输数据的数据标识、初始数据包数量、初始包索引等参数。例如,可以设置待传输数据的初始数据包数量为1,初始包索引为0。进行分包操作后,消息处理器102可以将为各个子数据包按照上述规则分别配置对应的索引。消息处理器104可以在进行拼包操作后,根据该初始数据包数量、初始包索引等参数,为拼包后的待传输数据配置新的数据包数量和包索引等参数。
在一个实施例中,消息处理器102可以将各个子数据包分别进行加密处理,提高数据传输的安全性,针对子数据包加密可以提升加密的效率。
在一个实施例中,如图3所示,提供了数据分包传输方法,以该方法应用于图1的消息处理器104为例进行说明,包括以下步骤:
步骤301,从消息队列中获取多个子数据包。
其中,多个子数据包可以为待处理数据的发送方根据待传输数据的数据量,对待传输数据进行分包得到;其中,各个子数据包的数据量可以小于或等于预设的子数据包数据量阈值;消息队列中的多个子数据包分别对应有索引,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和多个子数据包的子数据包数量;该消息队列可以用于通过异步传输的方式接收多个子数据包。
具体实现中,消息处理器104可以访问消息队列,并从消息队列中获取多个子数据包。
步骤302,根据多个子数据包分别对应的索引,对多个子数据包进行拼包处理,得到拼包后的待传输数据;
具体实现中,消息处理器104可以根据各个子数据包对应的索引,获取索引中包含的待传输数据的数据标识、多个子数据包的子数据包数量以及各个子数据包的顺序编号,对接收到的各个子数据包进行处理,得到拼包后的待传输数据。
步骤303,发送拼包后的待传输数据。
具体实现中,消息处理器104可以将品保后的待传输数据,发送给接收方的应用层。
上述实施例的方案,通过从消息队列获取子数据包,将获得的待传输数据的子数据包进行处理,得到拼包后的待传输数据进行发送,其中子数据包为待传输数据发送方的消息管理器将待传输数据进行分包后,得到的数据包,通过将大数据包分包的方式实现异步传输,提高了大数据包传输的效率。
在一个实施例中,步骤S302中根据多个子数据包分别对应的索引,对多个子数据包进行拼包处理,得到拼包后的待传输数据的步骤包括:
获取各个子数据包对应的顺序编号、数据标识和子数据包数量;根据所述待传输数据的数据标识和子数据包数量,获取待传输数据对应的全部子数据包;根据各个子数据包的顺序编号,将全部子数据包进行拼包,得到所述拼包后的待传输数据。
本实施例中,消息处理器104可以获取各个子数据包对应的顺序编号、数据标识和子数据包数量。根据待传输数据的数据标识和子数据包数量,查询该数据标识对应的子数据包,以获取待传输数据对应的全部子数据包。进而根据各个子数据包的顺序编号,将全部子数据包进行拼包,得到拼包后的待传输数据,拼包后的待传输数据可以是与待传输数据内容一致的数据。在一些情况下,消息处理器可以对拼包后的待传输数据进行校验,以确保数据分包和拼包前后的数据一致性。
在一些实施例中,消息处理器104可以预先配置与分包算法对应的拼包算法,以根据接收到的全部子数据包进行拼包处理,得到拼包后的待传输数据。拼包算法和分包算法对用户可以是非透明的,避免数据传输中被外部获取导致的数据泄露问题,提高数据传输的安全性。
上述实施例的方案,通过各个子数据包对应的顺序编号、数据标识和子数据包数量,获得待传输数据的全部子数据包,处理后得到拼包后的待传输数据,提高大数据包传输的效率和安全性。
在一个实施例中,步骤S302中据多个子数据包分别对应的索引,对多个子数据包进行处理,得到拼包后的待传输数据之前,上述方法还包括:
获取多个子数据包的加密状态,对多个子数据包进行解密处理。
本实施例中,发送方在进行子数据包传输时,可以对各个子数据包进行加密,消息处理器104在获取各个子数据包时,可以根据与加密算法相应的解密算法,对各个子数据包进行解密操作,提高子数据包传输的安全性。
在一个实施例中,图如4所示,提供了一种数据分包传输方法,该方法包括:
步骤S401,发送方对应的消息处理器获取待传输数据。
步骤S402,获取待传输数据的数据量,以及获取子数据包数据量阈值;根据数据量和子数据包数据量阈值,确定待传输数据对应的子数据包数量;根据子数据包数量对待传输数据的数据量进行分包,得到多个子数据包。其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值。
步骤S403,为多个子数据包分别配置对应的索引,对各个子数据包进行加密处理后,并将多个子数据包发送至消息队列,该索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和多个子数据包的子数据包数量。
步骤S404,接收方对应的消息处理器从消息队列中获取多个子数据包;
步骤S405,将各个子数据包进行解密处理,获取各个子数据包对应的顺序编号、数据标识和子数据包数量;根据待传输数据的数据标识和子数据包数量,获取待传输数据对应的全部子数据包;根据各个子数据包的顺序编号,将全部子数据包进行拼包,得到拼包后的待传输数据。
步骤S406,发送该拼包后的待传输数据。
上述实施例的方案,发送方对应的消息处理器获取待传输数据,根据数据量以及子数据包数据量阈值进行处理后,得到多个子数据包,为各个子数据包配置索引以及加密后,发送至消息队列,接收方对应的消息处理器从消息队列获取多个子数据包,进行解密处理,根据各个子数据包的索引,获取待传输数据对应的全部子数据包,进行拼包处理,得到拼包后的待传输数据,并进行发送,通过将大数据包分包的方式实现异步传输,提高了大数据包传输的效率,通过针对多个子数据包分别进行加解密,进一步提高了数据加解密的效率以及数据传输的安全性。
在一个实施例中,数据分包传输的方法可以如图5所示,包括:
步骤S501,预先配置大数据包分包后的子数据包数据量阈值。
步骤S502,消息处理器从发送方的应用层获取待传输数据。
步骤S503,根据待传输数据的数据包的大小,并与子数据包数据量阈值进行对比。
步骤S504,若待传输数据的数据量大于子数据包数据量阈值,则执行分包,得到多个子数据包。
步骤S505,将多个子数据包分别发送到消息队列,每个子数据包都包含唯一的索引,该索引包括待传输数据的数据标识,同时记录子数据包数量以及该子数据包的顺序编号。
步骤S506,接收方对应的消息处理器从消息队列获取各个子数据包,根据各个子数据包的索引,将接收到的待传输数据对应的多有子数据包进行处理,得到拼包后的待传输数据。
步骤S507,接收方对应的消息处理器将该拼包后的待处理数据发送至接收方的应用层。
应该理解的是,虽然图2-5的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-5中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图6所示,提供了数据分包传输装置,该装置600包括:
数据获取模块601,用于获取待传输数据;
数据分包模块602,用于数据根据待传输数据的数据量,对待传输数据进行分包,得到多个子数据包;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;
消息队列模块603,用于为多个子数据包分别配置对应的索引,并将多个子数据包发送至消息队列;索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和多个子数据包的子数据包数量;消息队列用于供待传输数据接收方获取多个子数据包,并根据多个子数据包分别对应的索引,对多个子数据包进行处理,得到该待传输数据。
在一个实施例中,数据分包模块602,包括:分包处理单元,用于获取待传输数据的数据量,以及获取子数据包数据量阈值;根据数据量和子数据包数据量阈值,确定待传输数据对应的子数据包数量;根据子数据包数量对待传输数据的数据量进行分包,得到多个子数据包。
在一个实施例中,数据分包模块602,还包括:写入队列单元,用于若待传输数据的数据量小于或等于子数据包数据量阈值,直接将待传输数据的发送至消息队列。
在一个实施例中,如图7所示,提供了数据分包传输装置,该装置700包括:
数据包获取模块701,用于从消息队列中获取多个子数据包;多个子数据包为待处理数据的发送方根据待传输数据的数据量,对待传输数据进行分包得到;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;消息队列中的多个子数据包分别对应有索引,索引至少包括对应的子数据包的顺序编号、待传输数据的数据标识和多个子数据包的子数据包数量;
数据拼包模块702,用于根据多个子数据包分别对应的索引,对多个子数据包进行拼包处理,得到拼包后的待传输数据;
数据发送模块703,用于发送拼包后的待传输数据。
在一个实施例中,数据拼包模块702,还包括:拼包处理单元,用于获取各个子数据包对应的顺序编号、数据标识和子数据包数量;根据待传输数据的数据标识和子数据包数量,获取待传输数据对应的全部子数据包;根据各个子数据包的顺序编号,将全部子数据包进行拼包,得到拼包后的待传输数据。
在一个实施例中,数据拼包模块702,还包括:解密单元,用于获取多个子数据包的加密状态,对多个子数据包进行解密处理。
关于数据分包传输装置的具体限定可以参见上文中对于数据分包传输方法的限定,在此不再赘述。上述数据分包传输装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请提供的数据分包传输方法,可以应用于计算机设备,该计算机设备可以是服务器,其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储待传输数据、子数据包以及阈值数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据分包传输方法。
本领域技术人员可以理解,图8中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据分包传输方法,其特征在于,所述方法包括:
获取待传输数据;
根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;
为所述多个子数据包分别配置对应的索引,并将所述多个子数据包发送至消息队列;所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;所述消息队列用于供所述待传输数据接收方获取所述多个子数据包,并根据多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包,包括:
获取所述待传输数据的数据量,以及获取所述子数据包数据量阈值;
根据所述数据量和子数据包数据量阈值,确定所述待传输数据对应的子数据包数量;
根据所述子数据包数量对所述待传输数据的数据量进行分包,得到所述多个子数据包。
3.根据权利要求1至2任一项所述的方法,其特征在于,所述方法还包括:
若所述待传输数据的数据量小于或等于所述子数据包数据量阈值,直接将所述待传输数据的发送至所述消息队列。
4.一种数据分包传输方法,其特征在于,所述方法包括:
从消息队列中获取多个子数据包;所述多个子数据包为待处理数据的发送方根据所述待传输数据的数据量,对所述待传输数据进行分包得到;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;所述消息队列中的所述多个子数据包分别对应有索引,所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;
根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据;
发送所述拼包后的待传输数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据,包括:
获取各个子数据包对应的顺序编号、数据标识和子数据包数量;
根据所述待传输数据的数据标识和子数据包数量,获取所述待传输数据对应的全部子数据包;
根据各个子数据包的顺序编号,将所述全部子数据包进行拼包,得到所述拼包后的待传输数据。
6.根据权利要求4至5任一项所述的方法,其特征在于,所述根据所述多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据之前,所述方法还包括:
获取所述多个子数据包的加密状态,对所述多个子数据包进行解密处理。
7.一种数据分包传输装置,其特征在于,所述装置包括:
数据获取模块,用于获取待传输数据;
数据分包模块,用于数据根据所述待传输数据的数据量,对所述待传输数据进行分包,得到多个子数据包;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;
消息队列模块,用于为所述多个子数据包分别配置对应的索引,并将所述多个子数据包发送至消息队列;所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;所述消息队列用于供所述待传输数据接收方获取所述多个子数据包,并根据多个子数据包分别对应的索引,对所述多个子数据包进行拼包处理,得到拼包后的待传输数据。
8.一种数据分包传输装置,其特征在于,所述装置包括:
数据包获取模块,用于从消息队列中获取多个子数据包;所述多个子数据包为待处理数据的发送方根据所述待传输数据的数据量,对所述待传输数据进行分包得到;其中,各个子数据包的数据量小于或等于预设的子数据包数据量阈值;所述消息队列中的所述多个子数据包分别对应有索引,所述索引至少包括对应的子数据包的顺序编号、所述待传输数据的数据标识和所述多个子数据包的子数据包数量;
数据拼包模块,用于根据所述多个子数据包分别对应的索引,对所述多个子数据包进行处理,得到拼包后的待传输数据;
数据发送模块,用于发送所述拼包后的待传输数据。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。
CN202011475329.5A 2020-12-15 2020-12-15 数据分包传输方法、装置、计算机设备和存储介质 Pending CN112468407A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011475329.5A CN112468407A (zh) 2020-12-15 2020-12-15 数据分包传输方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011475329.5A CN112468407A (zh) 2020-12-15 2020-12-15 数据分包传输方法、装置、计算机设备和存储介质

Publications (1)

Publication Number Publication Date
CN112468407A true CN112468407A (zh) 2021-03-09

Family

ID=74804247

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011475329.5A Pending CN112468407A (zh) 2020-12-15 2020-12-15 数据分包传输方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112468407A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986785A (zh) * 2021-11-03 2022-01-28 深圳市鑫鑫达电子有限公司 一种基于usb数据传输的方法
CN114401127A (zh) * 2021-12-30 2022-04-26 中国电信股份有限公司 一种基于ZeroMQ的数据包传输方法、装置及设备
CN114553595A (zh) * 2022-04-06 2022-05-27 重庆伏特猫科技有限公司 一种基于消息队列的数据安全传输方法与系统
CN116321291A (zh) * 2023-05-12 2023-06-23 北京大唐高鸿数据网络技术有限公司 一种发送业务数据的控制方法、装置及终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347477A (zh) * 2018-01-24 2018-07-31 广东欧珀移动通信有限公司 数据发送方法、装置以及服务器
CN109379380A (zh) * 2018-12-06 2019-02-22 联想图像(天津)科技有限公司 数据传输方法、数据接收方法及远程打印系统、移动终端
CN110515749A (zh) * 2019-08-30 2019-11-29 深圳乐信软件技术有限公司 信息发送的队列调度的方法、装置、服务器和存储介质
CN110995956A (zh) * 2019-12-06 2020-04-10 深圳大学 基于LoRa的图片传输方法、装置及计算机设备
CN111083161A (zh) * 2019-12-27 2020-04-28 中消云(北京)物联网科技研究院有限公司 数据传输的处理方法及装置、物联网设备
CN111641592A (zh) * 2020-05-08 2020-09-08 卓尔智联(武汉)研究院有限公司 基于中间件的数据传输方法、装置和计算机设备
CN111953621A (zh) * 2020-08-18 2020-11-17 北京爱笔科技有限公司 数据传输方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347477A (zh) * 2018-01-24 2018-07-31 广东欧珀移动通信有限公司 数据发送方法、装置以及服务器
CN109379380A (zh) * 2018-12-06 2019-02-22 联想图像(天津)科技有限公司 数据传输方法、数据接收方法及远程打印系统、移动终端
CN110515749A (zh) * 2019-08-30 2019-11-29 深圳乐信软件技术有限公司 信息发送的队列调度的方法、装置、服务器和存储介质
CN110995956A (zh) * 2019-12-06 2020-04-10 深圳大学 基于LoRa的图片传输方法、装置及计算机设备
CN111083161A (zh) * 2019-12-27 2020-04-28 中消云(北京)物联网科技研究院有限公司 数据传输的处理方法及装置、物联网设备
CN111641592A (zh) * 2020-05-08 2020-09-08 卓尔智联(武汉)研究院有限公司 基于中间件的数据传输方法、装置和计算机设备
CN111953621A (zh) * 2020-08-18 2020-11-17 北京爱笔科技有限公司 数据传输方法、装置、计算机设备和存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113986785A (zh) * 2021-11-03 2022-01-28 深圳市鑫鑫达电子有限公司 一种基于usb数据传输的方法
CN114401127A (zh) * 2021-12-30 2022-04-26 中国电信股份有限公司 一种基于ZeroMQ的数据包传输方法、装置及设备
CN114553595A (zh) * 2022-04-06 2022-05-27 重庆伏特猫科技有限公司 一种基于消息队列的数据安全传输方法与系统
CN116321291A (zh) * 2023-05-12 2023-06-23 北京大唐高鸿数据网络技术有限公司 一种发送业务数据的控制方法、装置及终端
CN116321291B (zh) * 2023-05-12 2023-08-08 北京大唐高鸿数据网络技术有限公司 一种发送业务数据的控制方法、装置及终端

Similar Documents

Publication Publication Date Title
CN112468407A (zh) 数据分包传输方法、装置、计算机设备和存储介质
CN111556136B (zh) 一种电力边缘物联代理内部容器间的数据交互方法
CN109379380A (zh) 数据传输方法、数据接收方法及远程打印系统、移动终端
CN104601550B (zh) 基于集群阵列的反向隔离文件传输系统及其方法
CN106790221B (zh) 一种英特网协议安全IPSec协议加密方法和网络设备
CN110620762A (zh) 基于rdma的数据传输方法、网卡、服务器及介质
CN110690962B (zh) 一种服务节点的应用方法与装置
CN104038505A (zh) 一种IPSec防重放的方法和装置
CN110690961A (zh) 一种量子网络功能虚拟化方法与装置
CN114157649A (zh) 数据可靠传输方法、装置、计算机设备及存储介质
CN114363055B (zh) 数据传输方法、装置、计算机设备和存储介质
CN115639954A (zh) 一种数据传输方法、装置、设备及介质
US11082411B2 (en) RDMA-based data transmission method, network interface card, server and medium
CN113114616A (zh) 一种终端协议栈构建和解析方法、装置及终端
CN114513418B (zh) 一种数据处理方法及相关设备
WO2022227484A1 (zh) 数据通信方法、装置、计算机设备和存储介质
CN111262837B (zh) 一种数据加密方法、数据解密方法、系统、设备和介质
CN111901126B (zh) 一种基于v2x协议栈网络层避免解密验签模块耗时的方法
CN114125080A (zh) 一种报文链终端协议栈构建方法和解析方法、装置及终端
CN107454116A (zh) 单隧道模式下IPsec ESP协议的优化方法及装置
CN109462591A (zh) 一种数据传输方法、接收方法、装置及系统
CN113098780B (zh) 虚拟网络的报文处理方法、电子设备及存储介质
CN115987513B (zh) 分布式数据库分片加密、解密方法、装置、设备及介质
CN113468563B (zh) 虚拟机数据加密方法、装置、计算机设备和存储介质
CN114268466B (zh) 编码处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210309