CN113556285B - 数据的传输方法和装置 - Google Patents
数据的传输方法和装置 Download PDFInfo
- Publication number
- CN113556285B CN113556285B CN202110824178.8A CN202110824178A CN113556285B CN 113556285 B CN113556285 B CN 113556285B CN 202110824178 A CN202110824178 A CN 202110824178A CN 113556285 B CN113556285 B CN 113556285B
- Authority
- CN
- China
- Prior art keywords
- data
- transmission paths
- path
- transmission
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 370
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000012216 screening Methods 0.000 claims abstract description 48
- 239000013598 vector Substances 0.000 claims description 103
- 239000011159 matrix material Substances 0.000 claims description 93
- 238000011156 evaluation Methods 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 15
- 238000010606 normalization Methods 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L45/00—Routing or path finding of packets in data switching networks
- H04L45/70—Routing based on monitoring results
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请公开一种数据的传输方法和装置,涉及通信技术领域。数据的传输方法包括:依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息;依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;统计多条备选传输路径的实时状态信息;依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径,目标传输路径用于传输待传输数据。保证获得的目标传输路径的准确性,提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
Description
技术领域
本申请涉及通信技术领域,具体涉及一种数据的传输方法和装置。
背景技术
在容器集群批量扩展的过程中,一台容器设备可以向多台容器设备传输大量的数据,如果容器集群的数量较大,需要根据当前的容器设备连接的各条传输路径的实时状态,选择合适的传输路径,以保证数据传输的效率。
目前,在进行传输路径的选择时,容器设备通常会根据第一跳的参数,选择合适的传输路径。但这样会导致部分传输路径的数据负载过重,增加了数据的传输时间,从而导致网络延迟。并且,还会使得其他传输路径的剩余资源过多,导致传输路径的利用率低下。
发明内容
为此,本申请提供一种数据的传输方法和装置,解决如何提升数据传输效率,并提高传输路径的利用率的问题。
为了实现上述目的,本申请第一方面提供一种数据的传输方法,方法包括:依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息;依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;统计多条备选传输路径的实时状态信息;依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径,目标传输路径用于传输待传输数据。
在一些具体实现中,数据分发需求信息,包括:带宽需求信息、传输时延需求信息和传输跳数中的任意一种或几种。
在一些具体实现中,统计多条备选传输路径的实时状态信息,包括:
获取各个备选传输路径的路径状态信息;
对多条备选传输路径的路径状态信息进行统计,获得实时状态信息;
其中,实时状态信息包括:剩余带宽信息、网络时延信息和跳数信息中的任意一种或几种。
在一些具体实现中,依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径,包括:
依据实时状态信息,确定网络状态矩阵;
依据数据分发需求信息,确定数据分发需求矩阵;
依据网络状态矩阵和数据分发需求矩阵,从多条备选传输路径中筛选获得目标传输路径。
在一些具体实现中,待传输数据的数据类型,包括:容器镜像数据和业务数据;
依据数据分发需求信息,确定数据分发需求矩阵,包括:
在确定待传输数据的数据类型为容器镜像数据的情况下,确定数据分发需求矩阵中的带宽需求向量占比优于其他向量;
在确定待传输数据的数据类型为业务数据的情况下,确定数据分发需求矩阵中的传输时延需求向量占比优于其他向量。
在一些具体实现中,依据网络状态矩阵和数据分发需求矩阵,从多条备选传输路径中筛选获得目标传输路径,包括:
将数据分发需求矩阵和网络状态矩阵相乘,获得多条备选传输路径对应的评价值;
依据多条备选传输路径对应的评价值,确定评价列表;
依据评价列表对多条备选传输路径进行筛选,获得目标传输路径。
在一些具体实现中,网络状态矩阵包括:剩余带宽向量、网络时延向量和跳数向量;
将数据分发需求矩阵和网络状态矩阵相乘,获得多条备选传输路径对应的评价值,包括:
分别对剩余带宽向量、网络时延向量和跳数向量进行归一化处理,获得归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量;
依据归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量,确定归一化后的网络状态矩阵;
将数据分发需求矩阵和归一化后的网络状态矩阵相乘,获得多条备选传输路径对应的评价值。
在一些具体实现中,每条备选传输路径,包括,子路径;
依据评价列表对多条备选传输路径进行筛选,获得目标传输路径,包括:
依据评价列表对多条备选传输路径进行筛选,获得M条待处理传输路径,M为大于或等于1的整数;
对M条待处理传输路径的各条子路径进行编号,获得M条待处理传输路径对应的待处理路径序列;
依据最大公共子序列算法,对M条待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径。
在一些具体实现中,依据最大公共子序列算法,对M条待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径,包括:
对比M条待处理传输路径对应的待处理路径序列,确定待处理路径序列中的最大公共子序列;
依据最大公共子序列对应的传输路径和数据分发需求信息对应的目标节点,确定目标传输路径。
为了实现上述目的,本申请第二方面提供一种数据的传输装置,包括:数据分发需求确定模块,被配置为依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息;第一筛选模块,被配置为依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;统计模块,被配置为统计多条备选传输路径的实时状态信息;第二筛选模块,被配置为依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径,目标传输路径用于传输待传输数据。
本申请中的数据的传输方法和装置,通过依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息,获取与数据类型对应的不同维度的数据分发需求信息,增加对待传输数据的评价维度;依据所述数据类型对应的数据分发需求信息,对传输路径进行初次筛选,获得有效的多条备选传输路径,删除掉无效的传输路径;对多条备选传输路径进行统计,获取各个备选传输路径的实时状态信息,保证路径信息信的实时性;依据实时状态信息和数据分发需求信息,对多条备选传输路径进行再次筛选,以获得目标传输路径,保证获得的目标传输路径的准确性,提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
附图说明
附图用来提供对本公开实施例的进一步理解,并且构成说明书的一部分,与本公开的实施例一起用于解释本公开,并不构成对本公开的限制。通过参考附图对详细示例实施例进行描述,以上和其它特征和优点对本领域技术人员将变得更加显而易见,在附图中:
图1示出本申请一实施例提供的数据的传输方法的流程示意图。
图2示出本申请又一实施例提供的数据的传输方法的流程示意图。
图3示出本申请实施例提供的数据的传输装置的组成方框图。
图4示出本申请实施例提供的数据的传输系统的组成方框图。
图5示出本申请实施例提供的数据的传输系统的工作方法的流程示意图。
在附图中:
301:数据分发需求确定模块 302:第一筛选模块
303:统计模块 304:第二筛选模块:
400:数据的传输系统 401:第一容器
402:第二容器 403:第三容器
40N:第N容器
具体实施方式
以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本申请,并不用于限制本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
图1示出本申请一实施例提供的数据的传输方法的流程示意图。该数据的传输方法可应用于数据的传输装置。如图1所示,该数据的传输方法可包括如下步骤:
步骤S101,依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息。
其中,待传输数据的数据类型可包括:业务数据和/或容器镜像数据。数据分发需求信息,包括:带宽需求信息、传输时延需求信息和传输跳数中的任意一种或几种。
传输跳数表示待传输数据在进行传输的过程中,需要经过的路由设备的数量。例如,待传输数据在传输的过程中,经过5个路由设备的中转才能到达目标设备,则传输跳数为5。
步骤S102,依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径。
其中,每台设备都对应多条传输路径,在目标设备确定的情况下,有些传输路径可以到达目标设备,但有些传输路径不能到达目标设备,因此,需要依据不同数据类型对应的数据分发需求信息,从多条传输路径中筛选获得满足业务需求的最低要求的传输路径作为备选传输路径。
例如,业务需求的最低要求可包括如下条件中的任意一种或几种:业务数据需要每跳的传输时延小于3秒,且带宽大小可以在10~20Mbps,传输跳数在5-6台路由设备。则需要从多条传输路径中筛选满足上述最低要求的传输路径作为备选传输路径,以加快后续对目标传输路径的筛选速度。
步骤S103,统计多条备选传输路径的实时状态信息。
其中,每条备选传输路径的实时状态信息都各不相同,需要根据实际情况对每条备选传输路径进行统计,以获得多条备选传输路径的实时状态信息。
步骤S104,依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径。
其中,目标传输路径用于传输待传输数据。
通过数据分发需求信息,对多条备选传输路径的实时状态信息进行确认并筛选,获得目标传输路径,该目标传输路径的实时状态信息能够满足数据分发需求信息的要求,使用该目标传输路径进行数据的传输,能够提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
在本实施例中,通过依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息,获取与数据类型对应的不同维度的数据分发需求信息,增加对待传输数据的评价维度;依据所述数据类型对应的数据分发需求信息,对传输路径进行初次筛选,获得有效的多条备选传输路径,删除掉无效的传输路径;对多条备选传输路径进行统计,获取各个备选传输路径的实时状态信息,保证路径信息信的实时性;依据实时状态信息和数据分发需求信息,对多条备选传输路径进行再次筛选,以获得目标传输路径,保证获得的目标传输路径的准确性,提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
图2示出本申请又一实施例提供的数据的传输方法的流程示意图。该数据的传输方法可应用于数据的传输装置。如图2所示,该数据的传输方法可包括如下步骤:
步骤S201,依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息。
步骤S202,依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径。
需要说明的是,本实施例中的步骤S201~步骤S202与上一实施例中的步骤S101~步骤S102相同,在此不再赘述。
步骤S203,统计多条备选传输路径的实时状态信息。
在一些具体实现中,统计多条备选传输路径的实时状态信息,包括:获取各个备选传输路径的路径状态信息;对多条备选传输路径的路径状态信息进行统计,获得实时状态信息。
其中,每条备选传输路径的路径状态信息可包括该备选传输路径当前所使用的带宽信息和/或当前的网络时延信息等,通过对多条备选传输路径的路径状态信息进行统计,可获知实时状态信息。其中,实时状态信息包括:剩余带宽信息、网络时延信息和跳数信息中的任意一种或几种。
通过实时状态信息能够反馈备选传输路径对应的数据承载能力,保证可获得匹配度最好的路径。
步骤S204,依据实时状态信息,确定网络状态矩阵。
其中,网络状态矩阵可以是n列m行的矩阵,n为大于或等于1的整数,m为大于或等于3的整数。该网络状态矩阵可包括多条备选传输路径对应的实时状态向量。
例如,当m等于3时,可包括n条备选传输路径对应的剩余带宽向量、网络时延向量和跳数向量。
步骤S205,依据数据分发需求信息,确定数据分发需求矩阵。
其中,数据分发需求矩阵可以是系数矩阵,用于表示不同数据类型的数据对不同网络指标的敏感程度。每个数据分发需求矩阵可以是m列1行的矩阵,该数据分发需求矩阵至少包括三个向量,m为大于或等于3的整数。
例如,每个数据分发需求矩阵包括:带宽需求向量、传输时延需求向量和传输跳数等。不同的数量类型对应的数据分发需求矩阵均可设置为[带宽需求向量,传输时延需求向量,传输跳数]。
在一些具体实现中,待传输数据的数据类型,包括:容器镜像数据和业务数据;依据数据分发需求信息,确定数据分发需求矩阵,包括:在确定待传输数据的数据类型为容器镜像数据的情况下,确定数据分发需求矩阵中的带宽需求向量占比优于其他向量;在确定待传输数据的数据类型为业务数据的情况下,确定数据分发需求矩阵中的传输时延需求向量占比优于其他向量。
其中,因业务数据的重要程度较高,故业务数据对传输时延较敏感,而对带宽的需求较小。容器镜像数据由于需要传输的数据量较大,对带宽的需求较大,但是对传输时延不敏感。
例如,可设置容器镜像数据对应的第一数据分发需求矩阵设置为[0.6(带宽需求向量),0.2(传输时延需求向量),0.2(传输跳数)];而设置业务数据对应的第二数据分发需求矩阵设置为[0.2(带宽需求向量),0.6(传输时延需求向量),0.2(传输跳数)]。
通过不同的向量占比,能够表征不同数据类型对数据分发的需求信息,提升对不同数据类型的数据的传输需求的筛选,能够为不同数据类型的数据筛选获得与其匹配的传输路径,提升传输路径的筛选准确性。
步骤S206,依据网络状态矩阵和数据分发需求矩阵,从多条备选传输路径中筛选获得目标传输路径。
其中,网络状态矩阵能够表征多条备选传输路径对应的实时状态信息,而数据分发需求矩阵能够表征不同数据类型对应的数据传输需求,通过对两种矩阵进行运算和处理,以获得匹配度最高的传输路径,并将该匹配度最高的传输路径作为目标传输路径,能够提升传输路径的筛选准确性,保证目标传输路径可以满足不同数据类型的数据传输需求。
在本实施例中,通过采用矩阵的形式来表征多条备选传输路径对应的实时状态信息,以及不同数据类型对应的数据传输需求,将实时状态信息与数据传输需求相匹配,获得匹配度最高的传输路径作为目标传输路径,保证获得的目标传输路径的准确性,提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
本申请实施例提供了另一种可能的实现方式,其中,步骤S206中的依据网络状态矩阵和数据分发需求矩阵,从多条备选传输路径中筛选获得目标传输路径,包括:将数据分发需求矩阵和网络状态矩阵相乘,获得多条备选传输路径对应的评价值;依据多条备选传输路径对应的评价值,确定评价列表;依据评价列表对多条备选传输路径进行筛选,获得目标传输路径。
其中,评价值能够反应每条备选传输路径与待传输数据的匹配程度。
通过对评价列表中的各个评价值进行对比和排序,可获得多个评价值较高的备选传输路径,然后,再从这多个评价值较高的备选传输路径中筛选获得评价值最高的备选传输路径,并将该评价值最高的备选传输路径作为目标传输路径,以使目标传输路径能够最好的与待传输数据进行匹配,保证待传输数据能够安全快捷的被传输至目标设备,提升数据传输的准确性。
在一些具体实现中,网络状态矩阵包括:剩余带宽向量、网络时延向量和跳数向量;将数据分发需求矩阵和网络状态矩阵相乘,获得多条备选传输路径对应的评价值,包括:分别对剩余带宽向量、网络时延向量和跳数向量进行归一化处理,获得归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量;依据归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量,确定归一化后的网络状态矩阵;将归一化后的网络状态矩阵和数据分发需求矩阵相乘,获得多条备选传输路径对应的评价值。
其中,归一化处理能够保证各个不同的向量对应的数量级相同,可使用统一的数量级对各个向量进行评价,保证不同维度的向量参数能够获得统一的评价。
例如,归一化后的网络状态矩阵能够在同一个数量级别上,分别对归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量进行衡量,以使将归一化后的网络状态矩阵和数据分发需求矩阵相乘,获得多条备选传输路径对应的评价值更准确。
在一些具体实现中,每条备选传输路径,包括,子路径;依据评价列表对多条备选传输路径进行筛选,获得目标传输路径,包括:依据评价列表对多条备选传输路径进行筛选,获得M条待处理传输路径,M为大于或等于1的整数;对M条待处理传输路径的各条子路径进行编号,获得M条待处理传输路径对应的待处理路径序列;依据最大公共子序列算法,对M条待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径。
其中,最大公共子序列算法可采用如下方式表示:如果一个序列S分别是两个或多个已知序列的子序列,且是所有符合此条件的序列中最长的序列,则序列S称为已知序列的最长公共子序列。
通过对M条待处理传输路径对应的待处理路径序列进行筛选,获得M个待处理路径序列中最长的公共子序列,能够快速的筛选获得目标传输路径,保证该目标传输路径是M个待处理路径序列中最优的传输路径,提升传输路径的匹配度。
在一些具体实现中,依据最大公共子序列算法,对M条待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径,包括:对比M条待处理传输路径对应的待处理路径序列,确定待处理路径序列中的最大公共子序列;依据最大公共子序列对应的传输路径和数据分发需求信息对应的目标节点,确定目标传输路径。
其中,最大公共子序列对应的传输路径可以是最快到达目标节点的路径,并且,该最大公共子序列还是两个或多个已知序列的子序列(例如,是第一待处理路径序列和第二待处理路径序列的子序列),则可缩小筛选范围,直接对比第一待处理路径序列和第二待处理路径序列,以获得目标传输路径,加快了对目标传输路径的筛选速度。
图3示出本申请实施例提供的数据的传输装置的流程示意图。本实施方式中的装置的具体实施不局限于以上实施例,其他未说明的实施例也在本装置的保护范围之内。
如图3所示,该数据的传输装置,包括如下模块:
数据分发需求确定模块301,被配置为依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息;第一筛选模块302,被配置为依据数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;统计模块303,被配置为统计多条备选传输路径的实时状态信息;第二筛选模块304,被配置为依据实时状态信息和数据分发需求信息,从多条备选传输路径中筛选获得目标传输路径,目标传输路径用于传输待传输数据。
在本实施方式中,通过数据分发需求确定模块依据待传输数据的数据类型,确定与数据类型对应的数据分发需求信息,获取与数据类型对应的不同维度的数据分发需求信息,增加对待传输数据的评价维度;使用第一筛选模块依据所述数据类型对应的数据分发需求信息,对传输路径进行初次筛选,获得有效的多条备选传输路径,删除掉无效的传输路径;使用统计模块对多条备选传输路径进行统计,获取各个备选传输路径的实时状态信息,保证路径信息信的实时性;使用第二筛选模块依据实时状态信息和数据分发需求信息,对多条备选传输路径进行再次筛选,以获得目标传输路径,保证获得的目标传输路径的准确性,提升数据传输效率;同时,避免因多次都选择同一个传输路径而导致的传输路径的数据负载过多,保证资源的均衡使用,提升传输路径的利用率。
值得一提的是,本实施方式中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本申请的创新部分,本实施方式中并没有将与解决本申请所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
图4示出本申请实施例提供的数据的传输系统的组成方框图。数据的传输系统400包括:多个容器,例如,如图4所示,包括第一容器401、第二容器402、第三容器403、……、第N容器40N。其中,N为大于或等于1的整数。
其中,各个容器之间存在不同的传输路径。以方便各个容器之间进行数据传输。
图5示出本申请实施例提供的数据的传输系统的工作方法的流程示意图。在容器集群批量扩展阶段,一个容器可能会需要向其他多个容器传输大量的数据,如果容器集群的数量较多,就需要对各个容器之间的传输路径进行合理选择,根据各条传输路径的实时状态确定最佳的传输方案。
如图5所示,具体包括如下步骤:
步骤S501,依据待传输数据的数据类型,将待传输数据分为容器镜像数据和业务数据,并分别设定容器镜像数据对应的第一数据分发需求矩阵,以及业务数据对应的第二数据分发需求矩阵。
其中,数据分发需求矩阵可以是系数矩阵,用于表示不同数据类型的数据对不同网络指标的敏感程度。每个数据分发需求矩阵可包括至少三个向量,例如,带宽需求向量、传输时延需求向量和传输跳数等。
需要说明的是,容器镜像数据由于需要传输的数据量较大,对带宽的需求较大,但是对传输时延不敏感,可以将第一数据分发需求矩阵设置为[0.6(带宽需求向量),0.2(传输时延需求向量),0.2(传输跳数)]。而业务数据由于需要传输的数据量相对于容器镜像数据而言要小一些,但是业务数据的重要程度较高,并且业务数据对传输时延较敏感,而对带宽的需求较小。例如,可将第二数据分发需求矩阵设置为[0.2(带宽需求向量),0.6(传输时延需求向量),0.2(传输跳数)]。
以上对于数据分发需求矩阵的设置仅是举例说明,可根据实际情况进行具体设置,其他未说明的数据分发需求矩阵的设置方式也在本申请的保护范围之内,在此不再赘述。
步骤S502,数据的传输系统根据每个容器的数据分发需求,统计各个需求对应的n条备选传输路径,并统计n条备选传输路径的实时状态信息。
其中,n为大于或等于1的整数,实时状态信息可以包括:n条备选传输路径的剩余带宽信息R、网络时延信息D和跳数信息N。
需要说明的是,n条备选传输路径,是对每个容器的数据分发需求进行统计,获得多条传输路径,并将多条传输路径中不满足业务需求的最低要求的备选传输路径进行剔除,所获得的n条备选传输路径。可采用公式(1)表示网络状态矩阵,该网络状态矩阵表征了n条备选传输路径对应的实时状态信息。
其中,网络状态矩阵包括n条备选传输路径中的每条备选传输路径对应的剩余带宽向量R、网络时延向量D和跳数向量N。例如,第一备选传输路径对应的R1、D1和N1;……;第n备选传输路径对应的Rn、Dn和Nn等。
步骤S503,因不同参数对应的数量级不同,故分别对剩余带宽向量R和网络时延向量D进行归一化处理,依次获得归一化后的剩余带宽向量和归一化后的网络时延向量。
其中,可采用公式(2)对剩余带宽向量进行归一化处理。
其中,r表示归一化后的剩余带宽向量,R表示实时的剩余带宽向量,Rmin表示n条备选传输路径中对应的最小的剩余带宽向量,Rmax表示n条备选传输路径中对应的最大的剩余带宽向量。
可采用公式(3)对网络时延向量进行归一化处理。
其中,d表示归一化后的网络时延向量,D表示实时的网络时延向量,Dmin表示n条备选传输路径中对应的最小的网络时延向量,Dmax表示n条备选传输路径中对应的最大的网络时延向量。
步骤S504,依据归一化后的剩余带宽向量、归一化后的网络时延向量和跳数向量N,获得归一化后的网络状态矩阵a,也可称为标准矩阵a。
其中,标准矩阵a可采用公式(4)表示。
其中,第一备选传输路径对应的归一化后的各个向量分别为:归一化后的剩余带宽向量r1、归一化后的网络时延向量d1和跳数向量n1;……;第n备选传输路径对应的归一化后的各个向量分别为:归一化后的剩余带宽向量rn、归一化后的网络时延向量dn和跳数向量nn。
步骤S505,将不同数据类型对应的数据分发需求矩阵和归一化后的网络状态矩阵a相乘,获得n条备选传输路径对应的评价值列表S。
其中,该评价值列表包括n个评价值。例如,将第一数据分发需求矩阵[0.6,0.2,0.2]与归一化后的网络状态矩阵a相乘,可获得容器镜像数据对应的评价列表S1n(如公式(5)所示)。
将第二数据分发需求矩阵[0.2,0.6,0.2]与归一化后的网络状态矩阵a相乘,可获得容器镜像数据对应的评价列表S2n(如公式(6)所示)。
步骤S506,分别对各个评价列表中的评价值进行筛选,获得容器镜像数据对应的第一待处理传输路径集合,以及业务数据对应的第二待处理传输路径集合。
例如,从s11,…,s1n中,选择评价值最高的前K条备选传输路径作为容器镜像数据对应的第一待处理传输路径集合;从s21,…,s2n中,选择评价值最高的前K条备选传输路径作为业务数据对应的第二待处理传输路径集合。
其中,K可以是大于或等于2,且小于或等于4的整数。
需要说明的是,每条待处理传输路径都包括数据不等的子线路。例如,可对子线路进行排序,获得每条子线路对应的序号,则每条待处理传输路径对应一个待处理路径序列。
例如,容器镜像数据对应的第一待处理传输路径集合,包括:三条待处理传输路径,即第一待处理传输路径、第二待处理传输路径和第三待处理传输路径。并且,第一待处理传输路径对应的第一待处理路径序列为[1,3,5,7],第二待处理传输路径对应的第二待处理路径序列为[1,2,5,7],第三待处理传输路径对应的第三待处理路径序列为[1,2,6,7],则容器镜像数据对应的待处理传输路径对应的待处理路径序列可表示为:{[1,3,5,7],[1,2,5,7],[1,2,6,7]}。
例如,业务数据对应的第二待处理传输路径集合,包括:三条待处理传输路径,即第四待处理传输路径、第五待处理传输路径和第六待处理传输路径。并且,第四待处理传输路径对应的第四待处理路径序列为[1,4,6,8],第五待处理传输路径对应的第五待处理路径序列为[1,3,5,8],第六待处理传输路径对应的第六待处理路径序列为[1,4,5,8],则容器镜像数据对应的待处理传输路径对应的待处理路径序列可表示为:{[1,4,6,8],[1,3,5,8],[1,4,5,8]}。
步骤S507,按照最大公共子序列算法分别对不同数据类型的各条待处理传输路径进行处理,获得目标传输路径。
例如,采用最大公共子序列算法对容器镜像数据对应的第一待处理传输路径集合:{[1,3,5,7],[1,2,5,7],[1,2,6,7]}中的各个路径进行对比,因路径序列[5,7]不仅是第一待处理路径序列[1,3,5,7]的子集,还是第二待处理路径序列[1,2,5,7]的子集;并且,路径序列[5,7]是所有已知子序列中最长的子序列,而第一待处理路径序列[1,3,5,7]对应的路径长度大于第二待处理路径序列[1,2,5,7]对应的路径长度,路径{7}是该容器镜像数据的目标节点对应的最终的路径,则可选择第二待处理路径序列[1,2,5,7]作为目标传输路径。
步骤S508,使用目标传输路径进行数据传输。
在本实施例中,通过将多条备选传输路径对应的实时状态信息与不同数据类型对应的数据传输需求信息相匹配,并采用矩阵的方式,将各个参数对应的向量快速准确的表征处理,以使匹配信息更明确;将不同数据类型对应的数据分发需求矩阵和归一化后的网络状态矩阵相乘,获得n条备选传输路径对应的评价值列表,可快速准确的对评价值列表中的各条备选传输路径进行筛选,获得容器镜像数据对应的第一待处理传输路径集合,以及业务数据对应的第二待处理传输路径集合,提升路径的筛选速度的同时,可缩小不同数据类型的数据对应的备选传输路径的筛选范围;按照最大公共子序列算法分别对不同数据类型的各条待处理传输路径进行处理,获得目标传输路径,能够保证目标传输路径的准确性,实现更高的传输质量。
可以理解的是,以上实施方式仅仅是为了说明本申请的原理而采用的示例性实施方式,然而本申请并不局限于此。对于本领域内的普通技术人员而言,在不脱离本申请的精神和实质的情况下,可以做出各种变型和改进,这些变型和改进也视为本申请的保护范围。
Claims (8)
1.一种数据的传输方法,其特征在于,所述方法包括:
依据待传输数据的数据类型,确定与所述数据类型对应的数据分发需求信息;
依据所述数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;
统计所述多条备选传输路径的实时状态信息;
依据所述实时状态信息确定网络状态矩阵,依据所述数据分发需求信息,确定数据分发需求矩阵,将所述数据分发需求矩阵和所述网络状态矩阵相乘,获得多条所述备选传输路径对应的评价值;依据多条所述备选传输路径对应的评价值确定评价列表;
依据所述评价列表对多条所述备选传输路径进行筛选,获得M条待处理传输路径,M为大于或等于1的整数;依据最大公共子序列算法,对M条所述待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径,所述目标传输路径用于传输所述待传输数据。
2.根据权利要求1所述的方法,其特征在于,所述数据分发需求信息,包括:带宽需求信息、传输时延需求信息和传输跳数中的任意一种或几种。
3.根据权利要求1所述的方法,其特征在于,所述统计所述多条备选传输路径的实时状态信息,包括:
获取各个所述备选传输路径的路径状态信息;
对多条所述备选传输路径的路径状态信息进行统计,获得所述实时状态信息;
其中,所述实时状态信息包括:剩余带宽信息、网络时延信息和跳数信息中的任意一种或几种。
4.根据权利要求1所述的方法,其特征在于,所述待传输数据的数据类型,包括:容器镜像数据和业务数据;
所述依据所述数据分发需求信息,确定数据分发需求矩阵,包括:
在确定所述待传输数据的数据类型为所述容器镜像数据的情况下,确定所述数据分发需求矩阵中的带宽需求向量占比优于其他向量;
在确定所述待传输数据的数据类型为所述业务数据的情况下,确定所述数据分发需求矩阵中的传输时延需求向量占比优于其他向量。
5.根据权利要求1所述的方法,其特征在于,所述网络状态矩阵包括:剩余带宽向量、网络时延向量和跳数向量;
所述将所述数据分发需求矩阵和所述网络状态矩阵相乘,获得多条所述备选传输路径对应的评价值,包括:
分别对所述剩余带宽向量、网络时延向量和跳数向量进行归一化处理,获得归一化后的剩余带宽向量、归一化后的网络时延向量和归一化后的跳数向量;
依据所述归一化后的剩余带宽向量、所述归一化后的网络时延向量和所述归一化后的跳数向量,确定归一化后的网络状态矩阵;
将所述数据分发需求矩阵和所述归一化后的网络状态矩阵相乘,获得多条所述备选传输路径对应的评价值。
6.根据权利要求1所述的方法,其特征在于,每条所述备选传输路径,包括,子路径;所述方法还包括:
对M条所述待处理传输路径的各条所述子路径进行编号,获得M条所述待处理传输路径对应的待处理路径序列。
7.根据权利要求1所述的方法,其特征在于,所述依据最大公共子序列算法,对M条所述待处理传输路径对应的待处理路径序列进行处理,获得所述目标传输路径,包括:
对比M条所述待处理传输路径对应的待处理路径序列,确定所述待处理路径序列中的最大公共子序列;
依据所述最大公共子序列对应的传输路径和所述数据分发需求信息对应的目标节点,确定所述目标传输路径。
8.一种数据的传输装置,其特征在于,包括:
数据分发需求确定模块,被配置为依据待传输数据的数据类型,确定与所述数据类型对应的数据分发需求信息;
第一筛选模块,被配置为依据所述数据类型对应的数据分发需求信息,对传输路径进行筛选,获得多条备选传输路径;
统计模块,被配置为统计所述多条备选传输路径的实时状态信息;
第二筛选模块,被配置为依据所述实时状态信息确定网络状态矩阵,依据所述数据分发需求信息,确定数据分发需求矩阵,将所述数据分发需求矩阵和所述网络状态矩阵相乘,获得多条所述备选传输路径对应的评价值;依据多条所述备选传输路径对应的评价值确定评价列表;依据所述评价列表对多条所述备选传输路径进行筛选,获得M条待处理传输路径,M为大于或等于1的整数;依据最大公共子序列算法,对M条所述待处理传输路径对应的待处理路径序列进行处理,获得目标传输路径,所述目标传输路径用于传输所述待传输数据。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110824178.8A CN113556285B (zh) | 2021-07-21 | 2021-07-21 | 数据的传输方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110824178.8A CN113556285B (zh) | 2021-07-21 | 2021-07-21 | 数据的传输方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113556285A CN113556285A (zh) | 2021-10-26 |
CN113556285B true CN113556285B (zh) | 2022-08-23 |
Family
ID=78103809
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110824178.8A Active CN113556285B (zh) | 2021-07-21 | 2021-07-21 | 数据的传输方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113556285B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114697255B (zh) * | 2022-06-01 | 2022-10-25 | 江苏青山软件有限公司 | 一种企业网络传输数据风险预警系统及方法 |
CN116437317B (zh) * | 2023-04-11 | 2024-03-15 | 重庆赛力斯凤凰智创科技有限公司 | 一种升级刷写方法、装置及车辆 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009011838A2 (en) * | 2007-07-13 | 2009-01-22 | Dash Navigation, Inc. | System and method for sharing user-identified routes |
CN109218213A (zh) * | 2018-09-25 | 2019-01-15 | 中国银联股份有限公司 | 一种流量调控方法及装置 |
CN109951391A (zh) * | 2019-03-25 | 2019-06-28 | 中电莱斯信息系统有限公司 | 一种基于多QoS约束的网络路径快速计算方法 |
CN112217727A (zh) * | 2019-07-11 | 2021-01-12 | 奇安信科技集团股份有限公司 | 多度量维度的路由选择方法、装置、计算机设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP0814583A2 (en) * | 1996-06-20 | 1997-12-29 | International Business Machines Corporation | Method and system for minimizing the connection set up time in high speed packet switching networks |
CN1984020A (zh) * | 2006-06-08 | 2007-06-20 | 华为技术有限公司 | 一种传输数据的方法及装置 |
US8259736B2 (en) * | 2009-12-15 | 2012-09-04 | Hewlett-Packard Development Company, L.P. | Selecting a path through a network |
CN105337899A (zh) * | 2015-09-29 | 2016-02-17 | 重庆邮电大学 | 一种灵活调整预留型业务传输带宽的光网络节能路由方法 |
CN108512760B (zh) * | 2018-03-09 | 2020-07-28 | 西安电子科技大学 | 基于SDN保障业务QoS的路由方法 |
CN108540876A (zh) * | 2018-03-12 | 2018-09-14 | 上海欣诺通信技术股份有限公司 | 业务路径选取方法、sdn控制器、存储介质及电子设备 |
-
2021
- 2021-07-21 CN CN202110824178.8A patent/CN113556285B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009011838A2 (en) * | 2007-07-13 | 2009-01-22 | Dash Navigation, Inc. | System and method for sharing user-identified routes |
CN109218213A (zh) * | 2018-09-25 | 2019-01-15 | 中国银联股份有限公司 | 一种流量调控方法及装置 |
CN109951391A (zh) * | 2019-03-25 | 2019-06-28 | 中电莱斯信息系统有限公司 | 一种基于多QoS约束的网络路径快速计算方法 |
CN112217727A (zh) * | 2019-07-11 | 2021-01-12 | 奇安信科技集团股份有限公司 | 多度量维度的路由选择方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN113556285A (zh) | 2021-10-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113556285B (zh) | 数据的传输方法和装置 | |
CN109032801B (zh) | 一种请求调度方法、系统及电子设备和存储介质 | |
Lan et al. | An axiomatic theory of fairness in network resource allocation | |
EP2453612B1 (en) | Bus control device | |
CN110505540B (zh) | 一种判断pon端口扩容优先级的方法及装置 | |
Moscholios et al. | QoS guarantee in a batched poisson multirate loss model supporting elastic and adaptive traffic | |
CN109257282B (zh) | 一种数据传输方法及装置 | |
CN113194146A (zh) | 领导节点确定方法、计算机设备和存储介质 | |
CN116582493A (zh) | 数据中心网络链路的选取方法、装置、电子设备 | |
US20130121146A1 (en) | Iterative max-min fairness algorithms | |
US6704312B1 (en) | Switching apparatus and method using bandwidth decomposition | |
US20210357723A1 (en) | Distributed Processing System and Distributed Processing Method | |
CN113014663B (zh) | 支持跨节点计算任务抗毁接替的任务与资源匹配方法 | |
CN109951540A (zh) | 一种数据传输方法、装置及电子设备 | |
CN114003337A (zh) | 访问请求的分配方法及装置 | |
CN112468573B (zh) | 基于分布式部署的数据推送方法、装置、设备及存储介质 | |
US20180048579A1 (en) | A sampling node and a method performed thereby for handling flows through a sdn between client(s) and origin server(s) of a communication network | |
US20040213266A1 (en) | Network switch fabric configured to weight traffic | |
CN113472591B (zh) | 一种业务性能的确定方法及装置 | |
CN105471762A (zh) | 一种电力通信网拓扑的时间感知服务降级方法 | |
CN114612037A (zh) | 一种仓库信息的管理方法和系统 | |
US11012347B2 (en) | Communication apparatus, communication control method, and communication system for multilink communication simultaneously using a plurality of communication paths | |
WO2020245864A1 (ja) | 分散処理システムおよび分散処理方法 | |
CN113645311B (zh) | 一种基于负载均衡策略的路径计算方法与电子设备 | |
US6891846B2 (en) | Method and apparatus for a traffic shaper |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |