CN117033278B - 一种用于多类型接口的数据传输方法及系统 - Google Patents
一种用于多类型接口的数据传输方法及系统 Download PDFInfo
- Publication number
- CN117033278B CN117033278B CN202311289753.4A CN202311289753A CN117033278B CN 117033278 B CN117033278 B CN 117033278B CN 202311289753 A CN202311289753 A CN 202311289753A CN 117033278 B CN117033278 B CN 117033278B
- Authority
- CN
- China
- Prior art keywords
- data
- transmission
- type
- interface
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 533
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012360 testing method Methods 0.000 claims abstract description 155
- 238000012544 monitoring process Methods 0.000 claims abstract description 42
- 238000005457 optimization Methods 0.000 claims abstract description 20
- 238000009826 distribution Methods 0.000 claims description 55
- 238000012217 deletion Methods 0.000 claims description 13
- 230000037430 deletion Effects 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/382—Information transfer, e.g. on bus using universal interface adapter
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种用于多类型接口的数据传输方法及系统。涉及数据传输技术领域，其方法包括：获取待传输数据，并确定所述待传输数据包含的数据类型；确定用于数据传输的接口类型以及各类接口数量，构建数据传输测试集；对相应类型接口进行数据传输测试及监测；对数据传输匹配区域以及传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；可适用于多类型接口，既确保了数据传输的稳定性，又提高了数据传输的速率。
Description
技术领域
本发明涉及数据传输技术领域，特别涉及一种用于多类型接口的数据传输方法及系统。
背景技术
目前，随着互联网技术的飞速发展以及日益完善，数据传输日益频繁，且随着人们对业务需求的多样化，数据传输类型也越发复杂，对数据传输速率以及数据传输质量均提出了更高的要求，然而，现有数据传输技术常出现资源使用分布不均匀以及局部数据传输拥堵的问题，且常受限于数据传输接口对不同数据类型的接收能力限制，导致数据传输速率低下。
因此，本发明提供一种用于多类型接口的数据传输方法及系统。
发明内容
本发明提供一种用于多类型接口的数据传输方法及系统，用以通过获取待传输数据，并确定所述待传输数据包含的数据类型；确定用于数据传输的接口类型以及各类接口数量，构建数据传输测试集；对相应类型接口进行数据传输测试及监测；对数据传输匹配区域以及传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；可适用于多类型接口，既确保了数据传输的稳定性，又提高了数据传输的速率。
本发明提供一种用于多类型接口的数据传输方法，包括：
步骤1：获取待传输数据，并确定所述待传输数据包含的数据类型；
步骤2：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
步骤3：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
步骤4：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案。
优选的，获取待传输数据，并确定所述待传输数据包含的数据类型，包括：
溯源所述待传输数据涉及到的数据源头，并确定每个数据源头的源头类型；
按照所述数据源头对所述待传输数据进行依次配对，并将所述源头类型进行类型转换；
若所述待传输数据的配对剩余数据量为0，则将转换结果作为待传输数据包含的数据类型，若所述待传输的配对剩余数量不为0，获取所述待传输数据中的未配对集；
根据所述未配对集中每个未配对数据的数据位置，筛选与所述数据位置存在相邻关系的数据类型，同时，从类型数据库中调取已知类型；
判断所述未配对数据的数据类型是否落在存在相邻关系的数据类型以及已知类型中，若落入，则将落入的类型作为相应未配对数据的数据类型；
若未落入，将所述未配对数据的数据类型视为未知类型；
基于转换结果以及未配对数据的类型作为待传输数据包含的数据类型。
优选的，确定用于数据传输的接口类型以及各类接口数量，获取与不同接口类型相应的最新测试数据，构建数据传输测试集，包括：
根据数据类型-接口数据库，确定用于传输所述待传输数据的接口类型；
根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量；
从历史测试数据库中，获取与各接口类型一致的最新测试数据，且结合各接口类型的接口数量，向对应待测试接口配置匹配的测试数据；
根据所有匹配的测试数据，构建数据传输测试集。
优选的，基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测，包括：
按照每个待测试接口所匹配的测试数据进行数据传输测试；
监测每个待测试接口的数据传输量以及数据传输时间；
获取得到每个待测试接口的数据传输速率、数据传输分布以及相应数据丢失量。
优选的，根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量，包括：
根据同类型数据的数据量以及位置分布，构建第一类型向量，并确定对应接口类型的允许接口数量范围，其中，第一类型向量是按照位置分布顺序构建的；
；
其中，表示允许接口数量范围的右边界值；/>表示允许接口数量范围的左边界值；/>表示第一类型向量中位置分布总数；/>表示第一类型向量中第/>个分布位置下的数据量；/>表示第一类型向量中第/>个分布位置每次允许传输的最大数据量；/>表示取整符号；/>表示第一类型向量中第/>个分布位置下的允许并行传输通道数；/>表示第一类型向量中所有分布位置按照常规速率进行传输后，所确定的最大传输时间与第二大传输时间的时间差值/>之下的剩余未传输数据量；/>表示通用接口每次允许传输的最大数据量；
根据所述待传输数据的最大接口限制以及各接口类型的允许接口数量范围，并按照传输速率最高原则，确定各接口类型的接口数量。
优选的，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，包括：
根据接口类型，从类型-区域映射表获取得到各类型接口的数据传输匹配区域；
根据数据传输测试以及监测结果，获取得到各类型接口的结果区域，并将所述结果区域与所述数据传输匹配区域进行对比分析；
根据对比分析结果，确定所述数据传输匹配区域中的待传输区域，并作为第一传输区域，进而获取所述第一传输区域的第一传输速率以及第一丢失量；
根据数据传输测试以及监测结果，获取得到第一传输区域对应的数据传输通道的数据传输速率以及数据丢失量；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量存在一个不匹配时，则获取所述第一传输速率与对应数据传输速率的第一差值绝对值以及获取所述第一丢失量与对应数据丢失量的第二差值绝对值，并对所述第一传输区域进行第一扩展；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量都不匹配时，获取所述待传输数据的传输要求，确定各类型接口的预设传输速率以及预设最大允许数据丢失量；
当对应数据传输通道的数据传输速率低于对应类型接口的预设传输速率，或者对应数据丢失量高于对应类型接口的预设最大允许数据丢失量时，判定对应数据传输通道不符合待传输数据的传输要求，则对所述数据传输通道所对应的第一传输区域进行第一删减；
将进行第一删减后的数据传输区域记为第二传输区域，获取得到第二传输区域的第二传输速率以及第二丢失量，当所述第二传输速率以及所述第二丢失量均满足所述待传输数据的传输要求时，则保持第二传输区域不变，并记为不变区域；
若不满足，则获取得到第二传输区域外的各数据传输通道的第三传输速率以及第三丢失量，根据每个第三传输速率与对应数据传输速率的第三差值绝对值以及每个第三丢失量与对应数据丢失量的第四差值绝对值，对第二传输区域进行第二扩展；
获取每个第二扩展区域的数据传输分布以及相应数据丢失量，计算得到对应第二扩展区域的数据传输系数；
；
其中，为第二扩展区域的数据传输系数；/>为/>个测试传输数据；/>为第二扩展区域中第/>个传输接口针对/>的数据丢失量；/>为数据传输测试集中测试传输数据的总量；/>为第二扩展区域涉及到的传输接口的总数量；/>为第二扩展区域进行数据传输测试的平均传输时间；/>为常数；/>为第二扩展区域中第/>个传输接口针对/>的理论传输量；e为指数函数符号；
确定第二扩展区域的数据传输系数，当所述第二扩展区域的数据传输系数与所述第二传输区域的理论传输系数的差值绝对值在允许分布误差内，且所述第二扩展区域在对应类型接口的数据传输匹配区域内时，则判定所述第二扩展区域扩展合格；
否则，判定所述第二扩展区域扩展不合格，对第二传输区域进行重新扩展；
其中，第一扩展结果、合格的第二扩展结果、第一删减结果以及不变区域即为对数据接收匹配区域的优化调整结果。
优选的，确定待传输数据的最终传输方案，包括：
从所述数据传输测试集获取与优化调整后的数据接收匹配区域相关的测试数据进行接口测试；
当数据接收匹配区域的所有接口测试结果满足所述待传输数据的传输要求时，则判定优化调整合格，并将对应的数据传输方案记为所述待传输数据的最终传输方案；
否则，判定优化调整不合格。
优选的，一种用于多类型接口的数据传输系统，包括：
数据识别模块：获取待传输数据，并确定所述待传输数据包含的数据类型；
接口识别模块：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
传输测试模块：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
匹配优化模块：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种用于多类型接口的数据传输方法的流程图；
图2为本发明实施例中一种用于多类型接口的数据传输系统的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供一种用于多类型接口的数据传输方法，如图1所示，包括：
步骤1：获取待传输数据，并确定所述待传输数据包含的数据类型；
步骤2：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
步骤3：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
步骤4：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案。
该实施例中，待传输数据指的是未来时刻需要传输的数据，且包含不同的数据类型，比如是，数字类型、文字类型、图像类型、int类型、char类型等，其中，比如，待传输数据包含：数据1、2、3，数据1、2对应接口类型a1，数据3对应接口类型a2，且接口类型a1的数量为n01，接口类型a2的数量为n02。
该实施例中，历史测试数据库是指对不同接口类型进行数据传输测试的测试数据的数据库。
该实施例中，最新测试数据是指历史数据库中匹配不同接口类型的最有效的测试数据。
该实施例中，数据传输测试集是指根据待传输数据所包含的数据类型所对应的接口类型的最新测试数据所组成的数据集合。
该实施例中，对相应类型接口进行数据传输测试及监测是指监测最新测试数据在相应类型接口的数据传输过程以及数据传输结果，监测内容包括，数据传输速率、数据传输稳定性以及数据丢失量。
该实施例中，各类型接口的数据传输匹配区域是指用于此次数据传输的个类型接口的数据传输区域，比如，类型接口A，包括a1、a2、a3以及a4四个数据传输区域，此次用于数据传输的区域为a1，则称a1为类型接口A的数据传输匹配区域。
该实施例中，所有接口数据的传输测试及监测结果的结果区域是指监测到的实际数据传输的匹配区域，比如，类型接口A，数据传输测试及监测所用的数据传输区域为a1，则a1为类型接口A的传输测试及监测结果的结果区域。
该实施例中，待传输数据的最终传输方案是指实际用于待传输数据进行数据传输的方案，数据接收匹配区域的所有接口测试结果均满足所述待传输数据的传输要求。
上述技术方案的有益效果是：通过获取待传输数据，并确定所述待传输数据包含的数据类型；确定用于数据传输的接口类型以及各类接口数量，构建数据传输测试集；对相应类型接口进行数据传输测试及监测；对数据传输匹配区域以及传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；提高了数据传输的速率，满足了待传输数据的数据传输要求。
本发明实施例提供一种用于多类型接口的数据传输方法，获取待传输数据，并确定所述待传输数据包含的数据类型，包括：
溯源所述待传输数据涉及到的数据源头，并确定每个数据源头的源头类型；
按照所述数据源头对所述待传输数据进行依次配对，并将所述源头类型进行类型转换；
若所述待传输数据的配对剩余数据量为0，则将转换结果作为待传输数据包含的数据类型，若所述待传输的配对剩余数量不为0，获取所述待传输数据中的未配对集；
根据所述未配对集中每个未配对数据的数据位置，筛选与所述数据位置存在相邻关系的数据类型，同时，从类型数据库中调取已知类型；
判断所述未配对数据的数据类型是否落在存在相邻关系的数据类型以及已知类型中，若落入，则将落入的类型作为相应未配对数据的数据类型；
若未落入，将所述未配对数据的数据类型视为未知类型；
基于转换结果以及未配对数据的类型作为待传输数据包含的数据类型。
该实施例中，数据源头是指待传输数据的根本来源，确定每个数据源头的源头类型是指确定每个数据源头的数据类型。
该实施例中，对所述源头类型进行类型转换是指将所述源头类型转化为当前各类型接口已知的数据类型，且源头类型与对应接口的数据类型都是一一对应预先设定好的。
该实施例中，若所述待传输数据的配对剩余数据量为0，即所述待传输数据均可以溯源到数据源头；若所述待传输的配对剩余数量不为0，即所述待传输数据中存在部分数据无法溯源到数据源头，因此获取所述待传输数据中的无法溯源到数据源头的对应待传输数据，并将其记为未配对集。
比如：待传输数据包含：数据1、数据2以及数据3，其中，数据1对应源头1，数据3对应源头3，数据2不存在对应源头，此时，数据2即为未配对数据，且：待传输数据：数据1（位置1）、数据2（位置2）、数据3（位置3）。
该实施例中，存在相邻关系的数据类型，即为与位置2存在相邻关系的数据1与数据3的数据类型。
该实施例中，类型数据库是预先构建好的，包含若干不同的历史已知类型。
该实施例中，如果确定出是未知类型，可以使用通用接口进行数据传输，保证数据传输的完整性。
上述技术方案的有益效果是：对待传输数据进行溯源，并将所述源头类型进行类型转换，有利于确定待传输数据的数据类型；基于转换结果以及未配对数据的类型作为待传输数据包含的数据类型，提高了数据类型识别的准确性，为后续数据传输方案的制定提供了数据类型识别基础。
本发明实施例提供一种用于多类型接口的数据传输方法，确定用于数据传输的接口类型以及各类接口数量，获取与不同接口类型相应的最新测试数据，构建数据传输测试集，包括：
根据数据类型-接口数据库，确定用于传输所述待传输数据的接口类型；
根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量；
从历史测试数据库中，获取与各接口类型一致的最新测试数据，且结合各接口类型的接口数量，向对应待测试接口配置匹配的测试数据；
根据所有匹配的测试数据，构建数据传输测试集。
该实施例中，根据数据类型-接口数据库，确定用于传输所述待传输数据的接口类型，比如，所述待传输数据包含数据类型b1、b2以及b3，则对应的待传输数据的接口类型为c1、c2以及c3。
该实施例中，确定各接口类型的接口数量，比如，数据类型b1的数据量为1兆字节，基于所述待传输数据的位置分布为B1，确定对应的接口类型c1的数量为3。
该实施例中，向对应待测试接口配置匹配的测试数据，比如，对应的接口类型c1的数量为3，则将接口类型c1一致的最新测试数据分别匹配3个接口类型c1。
上述技术方案的有益效果是：确定用于所述待传输数据的接口类型以及对应的各接口类型的接口数据，构建数据传输测试集，有利于提前分析测试数据传输相关参数，优化所述待传输数据的实际传输效果。
本发明实施例提供一种用于多类型接口的数据传输方法，基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测，包括：
按照每个待测试接口所匹配的测试数据进行数据传输测试；
监测每个待测试接口的数据传输量以及数据传输时间；
获取得到每个待测试接口的数据传输速率、数据传输分布以及相应数据丢失量。
该实施例中，每个待测试接口的数据传输分布是指测试数据在该待测试接口的数据传输匹配区域内的对应传输区域的分布情况。
该实施例中，每个待测试接口的数据丢失量是指数据在数据传输过程中所丢失的数据，该数据越大，则数据传输效果越差。
上述技术方案的有益效果是：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测，准确获取得到各接口类型的数据传输速率、数据传输分布以及相应数据丢失量，便于后续分析优化数据传输方案。
本发明实施例提供一种用于多类型接口的数据传输方法，根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量，包括：
根据同类型数据的数据量以及位置分布，构建第一类型向量，并确定对应接口类型的允许接口数量范围，其中，第一类型向量是按照位置分布顺序构建的；
；
其中，表示允许接口数量范围的右边界值；/>表示允许接口数量范围的左边界值；/>表示第一类型向量中位置分布总数；/>表示第一类型向量中第/>个分布位置下的数据量；/>表示第一类型向量中第/>个分布位置每次允许传输的最大数据量；/>表示取整符号；/>表示第一类型向量中第/>个分布位置下的允许并行传输通道数；/>表示第一类型向量中所有分布位置按照常规速率进行传输后，所确定的最大传输时间与第二大传输时间的时间差值/>之下的剩余未传输数据量；/>表示通用接口每次允许传输的最大数据量；
根据所述待传输数据的最大接口限制以及各接口类型的允许接口数量范围，并按照传输速率最高原则，确定各接口类型的接口数量。
该实施例中，第一类型向量是指根据对应类型数据的数据量以及位置分布所构建的类型向量，比如，数据类型b1，数据量为1兆字节。位置分布为B1，则数据类型b1的第一类型向量为（1兆字节，B1）。
该实施例中，对应接口类型的允许接口数量范围是指根据第一类型向量所确定的可以用于数据传输的接口数量范围。
该实施例中，待传输数据的最大接口限制是指待传输数据可以用于数据传输的接口的最大允许数量，比如，待传输数据对于数据类型b1的最大接口限制为3，而对应的接口类型c1的允许接口数量范围为2~5，则确定接口类型c1的接口数量为3。
该实施例中，待传输数据的最大接口限制是10个接口，且该待传输数据包含4种数据类型，按照传输速率最高原则所确定出的传输方案包括：
数据类型1对应的接口为2，数据类型2对应的接口为1，数据类型3对应的接口为3，数据类型4对应的接口为4。
上述技术方案的有益效果是：确定各接口类型的接口数量，有利于分配最新测试数据，合理构建数据传输测试集，确保数据传输符合各类型接口的接口限制，确保数据传输的稳定性以及数据传输速率。
本发明实施例提供一种用于多类型接口的数据传输方法，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，包括：
根据接口类型，从类型-区域映射表获取得到各类型接口的数据传输匹配区域；
根据数据传输测试以及监测结果，获取得到各类型接口的结果区域，并将所述结果区域与所述数据传输匹配区域进行对比分析；
根据对比分析结果，确定所述数据传输匹配区域中的待传输区域，并作为第一传输区域，进而获取所述第一传输区域的第一传输速率以及第一丢失量；
根据数据传输测试以及监测结果，获取得到第一传输区域对应的数据传输通道的数据传输速率以及数据丢失量；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量存在一个不匹配时，则获取所述第一传输速率与对应数据传输速率的第一差值绝对值以及获取所述第一丢失量与对应数据丢失量的第二差值绝对值，并对所述第一传输区域进行第一扩展；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量都不匹配时，获取所述待传输数据的传输要求，确定各类型接口的预设传输速率以及预设最大允许数据丢失量；
当对应数据传输通道的数据传输速率低于对应类型接口的预设传输速率，或者对应数据丢失量高于对应类型接口的预设最大允许数据丢失量时，判定对应数据传输通道不符合待传输数据的传输要求，则对所述数据传输通道所对应的第一传输区域进行第一删减；
将进行第一删减后的数据传输区域记为第二传输区域，获取得到第二传输区域的第二传输速率以及第二丢失量，当所述第二传输速率以及所述第二丢失量均满足所述待传输数据的传输要求时，则保持第二传输区域不变，并记为不变区域；
若不满足，则获取得到第二传输区域外的各数据传输通道的第三传输速率以及第三丢失量，根据每个第三传输速率与对应数据传输速率的第三差值绝对值以及每个第三丢失量与对应数据丢失量的第四差值绝对值，对第二传输区域进行第二扩展；
获取每个第二扩展区域的数据传输分布以及相应数据丢失量，计算得到对应第二扩展区域的数据传输系数；
；
其中，为第二扩展区域的数据传输系数；/>为/>个测试传输数据；/>为第二扩展区域中第/>个传输接口针对/>的数据丢失量；/>为数据传输测试集中测试传输数据的总量；/>为第二扩展区域涉及到的传输接口的总数量；/>为第二扩展区域进行数据传输测试的平均传输时间；/>为常数；/>为第二扩展区域中第/>个传输接口针对/>的理论传输量；e为指数函数符号；
确定第二扩展区域的数据传输系数，当所述第二扩展区域的数据传输系数与所述第二传输区域的理论传输系数的差值绝对值在允许分布误差内，且所述第二扩展区域在对应类型接口的数据传输匹配区域内时，则判定所述第二扩展区域扩展合格；
否则，判定所述第二扩展区域扩展不合格，对第二传输区域进行重新扩展；
其中，第一扩展结果、合格的第二扩展结果、第一删减结果以及不变区域即为对数据接收匹配区域的优化调整结果。
该实施例中，第一传输区域是指对数据传输匹配区域以及结果区域进行对比分析后得到的传输区域。
该实施例中，第一传输速率是指第一传输区域的平均数据传输速率；第一丢失量是指第一传输区域进行数据传输过程的数据总丢失量。
该实施例中，数据传输通道是指用于将待传输数据传输至接口类型对应区域的通道；第一传输区域可以存在多个数据传输通道。
该实施例中，当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量存在一个不匹配时，对所述第一传输区域进行第一扩展，使得所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量都匹配。
该实施例中，所述待传输数据的传输要求是指数据传输速率要求以及数据传输最大丢失量要求，。比如，待传输数据A1，数据传输速率要求10比特/秒以上，数据最大丢失量100字节。
该实施例中，第一删减是指对不符合待传输数据传输要求的数据传输通道所对应的第一传输区域进行删减。
该实施例中，第二传输区域是指进行第一删减后所得到的数据传输区域；第二传输速率是指第二传输区域的平均数据传输速率；第二丢失量是指第二传输区域进行数据传输过程的数据总丢失量。
该实施例中，不变区域是指第二传输区域中满足所述待传输数据的传输u要求的对应数据传输区域。
该实施例中，第三传输速率是指第二传输区域外各数据传输通道的传输速率；第三丢失量是指对应数据传输通道的数据总丢失量。
该实施例中，第二扩展是指根据每个第三传输速率与对应数据传输速率的第三差值绝对值以及每个第三丢失量与对应数据丢失量的第四差值绝对值，对第二传输区域所进行的扩展。
该实施例中，第二扩展区域的数据传输系数是指该区域的数据传输能力以及数据传输分布情况。
该实施例中，预设允许分布误差为0.05，所述第二传输区域的理论传输系数为0.91，若计算得到所述第二扩展区域的数据传输系数为0.93，且所述第二扩展区域在对应类型接口的数据传输匹配区域内时，则判定所述第二扩展区域扩展合格。
该实施例中，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整是指对所述数据接收匹配区域进行第一扩展、第二扩展、第一删减以及不变区域。
上述技术方案的有益效果是：对数据接收匹配区域进行第一扩展、第二扩展、第一删减以及不变区域，实现了对每一类型接口的具体优化调整，确保了待传输数据中的各类数据传输均符合数据传输要求。
本发明实施例提供一种用于多类型接口的数据传输方法，确定待传输数据的最终传输方案，包括：
从所述数据传输测试集获取与优化调整后的数据接收匹配区域相关的测试数据进行接口测试；
当数据接收匹配区域的所有接口测试结果满足所述待传输数据的传输要求时，则判定优化调整合格，并将对应的数据传输方案记为所述待传输数据的最终传输方案；
否则，判定优化调整不合格。
该实施例中，从所述数据传输测试集获取与优化调整后的数据接收匹配区域相关的测试数据进行接口测试是指对优化调整后的数据接收匹配区域再次进行数据传输测试，监测数据测试过程以及数据传输测试结果，若满足所述待传输数据的传输要求，则判定优化调整合格。
上述技术方案的有益效果是：从所述数据传输测试集获取与优化调整后的数据接收匹配区域相关的测试数据进行接口测试，判定优化调整是否合格，有利于最终确定用于所述待传输数据的数据传输方案，确保了数据传输满足待传输数据的传输要求。
本发明实施例提供一种用于多类型接口的数据传输系统，如图2所示，包括：
数据识别模块：获取待传输数据，并确定所述待传输数据包含的数据类型；
接口识别模块：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
传输测试模块：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
匹配优化模块：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案。
上述技术方案的有益效果是：通过获取待传输数据，并确定所述待传输数据包含的数据类型；确定用于数据传输的接口类型以及各类接口数量，构建数据传输测试集；对相应类型接口进行数据传输测试及监测；对数据传输匹配区域以及传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；确保了数据传输方案符合待传输数据的数据传输要求。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (5)
1.一种用于多类型接口的数据传输方法，其特征在于，包括：
步骤1：获取待传输数据，并确定所述待传输数据包含的数据类型；
步骤2：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
步骤3：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
步骤4：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；
其中，步骤2，包括：
根据数据类型-接口数据库，确定用于传输所述待传输数据的接口类型；
根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量；
从历史测试数据库中，获取与各接口类型一致的最新测试数据，且结合各接口类型的接口数量，向对应待测试接口配置匹配的测试数据；
根据所有匹配的测试数据，构建数据传输测试集；
其中，根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量，包括：
根据同类型数据的数据量以及位置分布，构建第一类型向量，并确定对应接口类型的允许接口数量范围，其中，第一类型向量是按照位置分布顺序构建的；
；其中，/>表示允许接口数量范围的右边界值；/>表示允许接口数量范围的左边界值；/>表示第一类型向量中位置分布总数；/>表示第一类型向量中第/>个分布位置下的数据量；/>表示第一类型向量中第/>个分布位置每次允许传输的最大数据量；/>表示取整符号；/>表示第一类型向量中第/>个分布位置下的允许并行传输通道数；/>表示第一类型向量中所有分布位置按照常规速率进行传输后，所确定的最大传输时间与第二大传输时间的时间差值/>之下的剩余未传输数据量；/>表示通用接口每次允许传输的最大数据量；
根据所述待传输数据的最大接口限制以及各接口类型的允许接口数量范围，并按照传输速率最高原则，确定各接口类型的接口数量；
其中，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，包括：
根据接口类型，从类型-区域映射表获取得到各类型接口的数据传输匹配区域；
根据数据传输测试以及监测结果，获取得到各类型接口的结果区域，并将所述结果区域与所述数据传输匹配区域进行对比分析；
根据对比分析结果，确定所述数据传输匹配区域中的待传输区域，并作为第一传输区域，进而获取所述第一传输区域的第一传输速率以及第一丢失量；
根据数据传输测试以及监测结果，获取得到第一传输区域对应的数据传输通道的数据传输速率以及数据丢失量；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量存在一个不匹配时，则获取所述第一传输速率与对应数据传输速率的第一差值绝对值以及获取所述第一丢失量与对应数据丢失量的第二差值绝对值，并对所述第一传输区域进行第一扩展；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量都不匹配时，获取所述待传输数据的传输要求，确定各类型接口的预设传输速率以及预设最大允许数据丢失量；
当对应数据传输通道的数据传输速率低于对应类型接口的预设传输速率，或者对应数据丢失量高于对应类型接口的预设最大允许数据丢失量时，判定对应数据传输通道不符合待传输数据的传输要求，则对所述数据传输通道所对应的第一传输区域进行第一删减；
将进行第一删减后的数据传输区域记为第二传输区域，获取得到第二传输区域的第二传输速率以及第二丢失量，当所述第二传输速率以及所述第二丢失量均满足所述待传输数据的传输要求时，则保持第二传输区域不变，并记为不变区域；
若不满足，则获取得到第二传输区域外的各数据传输通道的第三传输速率以及第三丢失量，根据每个第三传输速率与对应数据传输速率的第三差值绝对值以及每个第三丢失量与对应数据丢失量的第四差值绝对值，对第二传输区域进行第二扩展；
获取每个第二扩展区域的数据传输分布以及相应数据丢失量，计算得到对应第二扩展区域的数据传输系数；
；其中，/>为第二扩展区域的数据传输系数；/>为个测试传输数据；/>为第二扩展区域中第/>个传输接口针对/>的数据丢失量；/>为数据传输测试集中测试传输数据的总量；/>为第二扩展区域涉及到的传输接口的总数量；为第二扩展区域进行数据传输测试的平均传输时间；/>为常数；/>为第二扩展区域中第/>个传输接口针对/>的理论传输量；e为指数函数符号；
确定第二扩展区域的数据传输系数，当所述第二扩展区域的数据传输系数与所述第二传输区域的理论传输系数的差值绝对值在允许分布误差内，且所述第二扩展区域在对应类型接口的数据传输匹配区域内时，则判定所述第二扩展区域扩展合格；
否则，判定所述第二扩展区域扩展不合格，对第二传输区域进行重新扩展；
其中，第一扩展结果、合格的第二扩展结果、第一删减结果以及不变区域即为对数据接收匹配区域的优化调整结果。
2.如权利要求1所述的一种用于多类型接口的数据传输方法，其特征在于，获取待传输数据，并确定所述待传输数据包含的数据类型，包括：
溯源所述待传输数据涉及到的数据源头，并确定每个数据源头的源头类型；
按照所述数据源头对所述待传输数据进行依次配对，并将所述源头类型进行类型转换；
若所述待传输数据的配对剩余数据量为0，则将转换结果作为待传输数据包含的数据类型，若所述待传输的配对剩余数量不为0，获取所述待传输数据中的未配对集；
根据所述未配对集中每个未配对数据的数据位置，筛选与所述数据位置存在相邻关系的数据类型，同时，从类型数据库中调取已知类型；
判断所述未配对数据的数据类型是否落在存在相邻关系的数据类型以及已知类型中，若落入，则将落入的类型作为相应未配对数据的数据类型；
若未落入，将所述未配对数据的数据类型视为未知类型；
基于转换结果以及未配对数据的类型作为待传输数据包含的数据类型。
3.如权利要求1所述的一种用于多类型接口的数据传输方法，其特征在于，基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测，包括：
按照每个待测试接口所匹配的测试数据进行数据传输测试；
监测每个待测试接口的数据传输量以及数据传输时间；
获取得到每个待测试接口的数据传输速率、数据传输分布以及相应数据丢失量。
4.如权利要求1所述的一种用于多类型接口的数据传输方法，其特征在于，确定待传输数据的最终传输方案，包括：
从所述数据传输测试集获取与优化调整后的数据接收匹配区域相关的测试数据进行接口测试；
当数据接收匹配区域的所有接口测试结果满足所述待传输数据的传输要求时，则判定优化调整合格，并将对应的数据传输方案记为所述待传输数据的最终传输方案；
否则，判定优化调整不合格。
5.一种用于多类型接口的数据传输系统，其特征在于，包括：
数据识别模块：获取待传输数据，并确定所述待传输数据包含的数据类型；
接口识别模块：确定用于数据传输的接口类型以及各类接口数量，并从历史测试数据库中，获取与不同接口类型相应的最新测试数据，构建数据传输测试集；
传输测试模块：基于构建的数据传输测试集对相应类型接口进行数据传输测试及监测；
匹配优化模块：将各类型接口的数据传输匹配区域与所有接口数据的传输测试及监测结果的结果区域进行匹配对比分析，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，确定待传输数据的最终传输方案；
其中，接口识别模块，用于：
根据数据类型-接口数据库，确定用于传输所述待传输数据的接口类型；
根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量；
从历史测试数据库中，获取与各接口类型一致的最新测试数据，且结合各接口类型的接口数量，向对应待测试接口配置匹配的测试数据；
根据所有匹配的测试数据，构建数据传输测试集；
其中，根据所述待传输数据中的各类型数据的数据量以及各类型数据基于所述待传输数据的位置分布，确定各接口类型的接口数量，包括：
根据同类型数据的数据量以及位置分布，构建第一类型向量，并确定对应接口类型的允许接口数量范围，其中，第一类型向量是按照位置分布顺序构建的；
；其中，/>表示允许接口数量范围的右边界值；/>表示允许接口数量范围的左边界值；/>表示第一类型向量中位置分布总数；/>表示第一类型向量中第/>个分布位置下的数据量；/>表示第一类型向量中第/>个分布位置每次允许传输的最大数据量；/>表示取整符号；/>表示第一类型向量中第/>个分布位置下的允许并行传输通道数；/>表示第一类型向量中所有分布位置按照常规速率进行传输后，所确定的最大传输时间与第二大传输时间的时间差值/>之下的剩余未传输数据量；/>表示通用接口每次允许传输的最大数据量；
根据所述待传输数据的最大接口限制以及各接口类型的允许接口数量范围，并按照传输速率最高原则，确定各接口类型的接口数量；
其中，对与所述数据类型一致的类型接口的数据接收匹配区域进行优化调整，包括：
根据接口类型，从类型-区域映射表获取得到各类型接口的数据传输匹配区域；
根据数据传输测试以及监测结果，获取得到各类型接口的结果区域，并将所述结果区域与所述数据传输匹配区域进行对比分析；
根据对比分析结果，确定所述数据传输匹配区域中的待传输区域，并作为第一传输区域，进而获取所述第一传输区域的第一传输速率以及第一丢失量；
根据数据传输测试以及监测结果，获取得到第一传输区域对应的数据传输通道的数据传输速率以及数据丢失量；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量存在一个不匹配时，则获取所述第一传输速率与对应数据传输速率的第一差值绝对值以及获取所述第一丢失量与对应数据丢失量的第二差值绝对值，并对所述第一传输区域进行第一扩展；
当所述第一传输区域的第一传输速率与对应的数据传输速率、第一丢失量与数据丢失量都不匹配时，获取所述待传输数据的传输要求，确定各类型接口的预设传输速率以及预设最大允许数据丢失量；
当对应数据传输通道的数据传输速率低于对应类型接口的预设传输速率，或者对应数据丢失量高于对应类型接口的预设最大允许数据丢失量时，判定对应数据传输通道不符合待传输数据的传输要求，则对所述数据传输通道所对应的第一传输区域进行第一删减；
将进行第一删减后的数据传输区域记为第二传输区域，获取得到第二传输区域的第二传输速率以及第二丢失量，当所述第二传输速率以及所述第二丢失量均满足所述待传输数据的传输要求时，则保持第二传输区域不变，并记为不变区域；
若不满足，则获取得到第二传输区域外的各数据传输通道的第三传输速率以及第三丢失量，根据每个第三传输速率与对应数据传输速率的第三差值绝对值以及每个第三丢失量与对应数据丢失量的第四差值绝对值，对第二传输区域进行第二扩展；
获取每个第二扩展区域的数据传输分布以及相应数据丢失量，计算得到对应第二扩展区域的数据传输系数；
；其中，/>为第二扩展区域的数据传输系数；/>为个测试传输数据；/>为第二扩展区域中第/>个传输接口针对/>的数据丢失量；/>为数据传输测试集中测试传输数据的总量；/>为第二扩展区域涉及到的传输接口的总数量；为第二扩展区域进行数据传输测试的平均传输时间；/>为常数；/>为第二扩展区域中第/>个传输接口针对/>的理论传输量；e为指数函数符号；
确定第二扩展区域的数据传输系数，当所述第二扩展区域的数据传输系数与所述第二传输区域的理论传输系数的差值绝对值在允许分布误差内，且所述第二扩展区域在对应类型接口的数据传输匹配区域内时，则判定所述第二扩展区域扩展合格；
否则，判定所述第二扩展区域扩展不合格，对第二传输区域进行重新扩展；
其中，第一扩展结果、合格的第二扩展结果、第一删减结果以及不变区域即为对数据接收匹配区域的优化调整结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289753.4A CN117033278B (zh) | 2023-10-08 | 2023-10-08 | 一种用于多类型接口的数据传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311289753.4A CN117033278B (zh) | 2023-10-08 | 2023-10-08 | 一种用于多类型接口的数据传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117033278A CN117033278A (zh) | 2023-11-10 |
| CN117033278B true CN117033278B (zh) | 2024-04-12 |
Family
ID=88630351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311289753.4A Active CN117033278B (zh) | 2023-10-08 | 2023-10-08 | 一种用于多类型接口的数据传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117033278B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117372286B (zh) * | 2023-12-06 | 2024-02-09 | 和元达信息科技有限公司 | 一种基于Python的图像噪声优化方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103535005A (zh) * | 2012-05-17 | 2014-01-22 | 华为技术有限公司 | 传输数据的方法及装置 |
| CN106649166A (zh) * | 2016-12-30 | 2017-05-10 | 湖北三江航天红峰控制有限公司 | 一种基于统一接口的通用型惯组数据处理系统 |
| CN107992439A (zh) * | 2017-10-13 | 2018-05-04 | 武汉高德智感科技有限公司 | 一种可扩展的数据交互方法及系统 |
| CN212433755U (zh) * | 2020-07-13 | 2021-01-29 | 成都能通科技有限公司 | 一种模块化小体积、多类型数据接口处理装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11755510B2 (en) * | 2011-11-08 | 2023-09-12 | Seagate Technology Llc | Data detection and device optimization |
-
2023
- 2023-10-08 CN CN202311289753.4A patent/CN117033278B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103535005A (zh) * | 2012-05-17 | 2014-01-22 | 华为技术有限公司 | 传输数据的方法及装置 |
| CN106649166A (zh) * | 2016-12-30 | 2017-05-10 | 湖北三江航天红峰控制有限公司 | 一种基于统一接口的通用型惯组数据处理系统 |
| CN107992439A (zh) * | 2017-10-13 | 2018-05-04 | 武汉高德智感科技有限公司 | 一种可扩展的数据交互方法及系统 |
| CN212433755U (zh) * | 2020-07-13 | 2021-01-29 | 成都能通科技有限公司 | 一种模块化小体积、多类型数据接口处理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117033278A (zh) | 2023-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN117033278B (zh) | 一种用于多类型接口的数据传输方法及系统 | |
| CN108427725B (zh) | 数据处理方法、装置和系统 | |
| CN109002424B (zh) | 文件格式转换方法、装置、计算机设备及存储介质 | |
| CN114928574B (zh) | 信息发送方法、装置、电子设备和计算机可读介质 | |
| CN113568900A (zh) | 基于人工智能的大数据清洗方法及云服务器 | |
| CN112566170B (zh) | 网络质量评估方法、装置、服务器及存储介质 | |
| CN111967168A (zh) | 一种加速退化试验方案优化设计方法 | |
| CN116482713A (zh) | 一种用于北斗导航接收机的导航数据校验方法 | |
| CN114490882B (zh) | 一种异构数据库数据同步分析方法 | |
| CN110929849B (zh) | 一种基于神经网络模型压缩的视频检测方法和装置 | |
| CN112785000A (zh) | 面向大规模机器学习系统的机器学习模型训练方法及系统 | |
| CN115034255A (zh) | 一种具有注意力机制时间卷积网络的信号调制识别算法 | |
| CN113608863A (zh) | 一种海量数据分布式采集方法及系统 | |
| CN109325104B (zh) | 一种动态计算新闻采集服务资源的方法 | |
| CN113094272A (zh) | 应用测试方法、装置、电子设备和计算机可读介质 | |
| CN112308278A (zh) | 预测模型的优化方法、装置、设备和介质 | |
| GB2606792A (en) | Time series data generation method and device based on multi-condition constraints, and medium | |
| CN116415423B (zh) | 一种基于大数据分析的计算机仿真数据处理系统及方法 | |
| CN117459449B (zh) | 一种基于多链路的通信方法及装置 | |
| CN117349087B (zh) | 一种互联网信息数据备份方法 | |
| CN113808689B (zh) | 一种参考数据管理方法、装置、设备及存储介质 | |
| CN117527708B (zh) | 基于数据流向的企业级数据链路的优化传输方法及系统 | |
| CN109062903B (zh) | 用于校正错别字的方法和装置 | |
| CN117591850B (zh) | 基于扩展坞的数据处理方法、装置、电子设备及介质 | |
| CN117082010B (zh) | 一种基于大数据的芯片原型验证报文传输管理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240108 Address after: 100031, 10th to 12th floors, Building C, No. 2 Fuxingmen South Street, Xicheng District, Beijing Applicant after: Huaneng Capital Services Co.,Ltd. Address before: 100031 floor a, West Block C, Tianyin building, No. C, Fuxingmen South Street, Xicheng District, Beijing Applicant before: Beijing Yuncheng Financial Information Service Co.,Ltd. Applicant before: Huaneng Capital Services Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |