CN116132553A - 一种大数据传输优化方法及系统 - Google Patents

一种大数据传输优化方法及系统 Download PDF

Info

Publication number
CN116132553A
CN116132553A CN202310137521.0A CN202310137521A CN116132553A CN 116132553 A CN116132553 A CN 116132553A CN 202310137521 A CN202310137521 A CN 202310137521A CN 116132553 A CN116132553 A CN 116132553A
Authority
CN
China
Prior art keywords
data
transmission
resource library
optimization
index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310137521.0A
Other languages
English (en)
Inventor
祁铠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Junxinda Information Consulting Co ltd
Original Assignee
Wuhan Junxinda Information Consulting Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Junxinda Information Consulting Co ltd filed Critical Wuhan Junxinda Information Consulting Co ltd
Priority to CN202310137521.0A priority Critical patent/CN116132553A/zh
Publication of CN116132553A publication Critical patent/CN116132553A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/16—Implementation or adaptation of Internet protocol [IP], of transmission control protocol [TCP] or of user datagram protocol [UDP]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25—Integrating or interfacing systems involving database management systems
    • G06F16/258—Data format conversion from or to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/22—Parsing or analysis of headers

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及数据处理技术领域，提供了一种大数据传输优化方法及系统，所述方法包括：获取待传输的数据资源库，连接至云处理器中，对数据存储格式进行分析，得到数据类型，判断是否激活数据格式转化条件，若数据类型激活数据格式转化条件，获取待转化数据资源根据转化指令，对待转化数据资源进行数据转化，得到数据转化结果，更新数据资源库，获取优化数据资源库，生成多个优化指标，对数据传输通道的传输参数进行优化配置，通过优化传输参数进行传输控制。解决数据传输稳定性低，进而导致大数据传输效率低的技术问题，实现对传输信道进行优化配置，排除传输导致的数据缺失、混乱、重复，提高数据传输稳定性，保证大数据传输效率的技术效果。

Description

一种大数据传输优化方法及系统
技术领域
本发明涉及数据处理相关技术领域，具体涉及一种大数据传输优化方法及系统。
背景技术
在进行数据包传送过程中，常见的，因网络干扰、部分数据不可读、部分数据暂时无法获取(如实时采集所得数据，需要在完成采集后，在同步至数据存储端)、信息遗漏(如采集设备故障、传输媒体故障等原因导致的数据丢失)等相关异常的发生，均会造成数据缺失，在大数据传输方面，需要进行优化监督管理。
常见的，采用数据清洗的方式，排除数据缺失、混乱、重复，数据清洗即从记录集、表或数据库中检测和修正(或删除)受损或不准确记录的过程，识别出数据中不完善、不准确或不相关的部分，并替换、修改或删除这些脏乱的数据，但数据清洗的执行过程耗时，无法满足用户传输需求。
综上可知，亟需构建满足用户传输需求的大数据传输优化系统，同步监督数据传输过程，排除数据缺失、混乱、重复，分别从数据发送端与数据接收端，对传输信道进行优化配置，为保证数据传输过程的可读性提供支持。
综上所述，现有技术中存在数据传输稳定性低，进而导致大数据传输效率低的技术问题。
发明内容
本申请通过提供了一种大数据传输优化方法及系统，旨在解决现有技术中的数据传输稳定性低，进而导致大数据传输效率低的技术问题。
鉴于上述问题，本申请实施例提供了一种大数据传输优化方法及系统。
本申请公开的第一个方面，提供了一种大数据传输优化方法，其中，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：获取用于进行待传输的数据资源库；将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；基于所述优化数据资源库，生成多个优化指标；按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
本申请公开的另一个方面，提供了一种大数据传输优化系统，其中，所述方法包括：区资源库获取模块，用于获取用于进行待传输的数据资源库；数据类型获取模块，用于将所述数据资源库连接至云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；数据资源获取模块，用于基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；转化结果获取模块，用于所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；优化资源库获取模块，用于根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；优化指标生成模块，用于基于所述优化数据资源库，生成多个优化指标；传输控制模块，用于按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：
由于采用了获取用于进行待传输的数据资源库，连接至云处理器中，对数据资源库中的数据存储格式进行分析，得到数据类型，判断是否激活数据格式转化条件，若数据类型激活数据格式转化条件，获取待转化数据资源；云处理器根据转化指令，对待转化数据资源进行数据转化，得到数据转化结果，更新数据资源库，获取优化数据资源库，生成多个优化指标，对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制，实现了针对数据传输过程的数据格式转化等易出现数据缺失、混乱、重复步骤，对传输信道进行优化配置，排除传输导致的数据缺失、混乱、重复，提高数据传输稳定性，保证大数据传输效率的技术效果。
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。
附图说明
图1为本申请实施例提供了一种大数据传输优化方法可能的流程示意图；
图2为本申请实施例提供了一种大数据传输优化方法中获取激活指令可能的流程示意图；
图3为本申请实施例提供了一种大数据传输优化方法中生成多个优化指标可能的流程示意图；
图4为本申请实施例提供了一种大数据传输优化系统可能的结构示意图。
附图标记说明：资源库获取模块100，数据类型获取模块200，数据资源获取模块300，转化结果获取模块400，优化资源库获取模块500，优化指标生成模块600，传输控制模块700。
具体实施方式
本申请提供的技术方案总体思路如下：
本申请实施例提供了大数据传输过程中，易出现出现数据缺失、混乱、重复等数据异常，在数据传输过程进行优化配置优化，可以在传输过程排除传输导致的数据缺失、混乱、重复的发生。
在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。
实施例一
如图1所示，本申请实施例提供了一种大数据传输优化方法，其中，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：
S10：获取用于进行待传输的数据资源库；
S20：将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；
具体而言，所述数据资源库包括多种数据类型，常见的，所述数据资源库以“0”或“1”的形式存储字节单元中，常见的，数据首部包括地址信息、标识信息与验证信息，通过数据首部所包含的地址信息，将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式(数据总长度＝地址信息长度+标识信息长度+验证信息长度+有效数据信息长度，数据存储格式即对应为地址信息、标识信息、验证信息、有效数据信息)进行分析，确定包含有效数据信息对应的数据字段，对包含有效数据信息对应的数据字段进行数据类型辨识(采用“读”操作进行数据类型辨识)，获取数据类型，所述数据类型即基本数据类型，所述基本数据类型一般包括：byte：8位、short：16位、int：32位、long：64位)，为后续进行数据传输提供基础。
S30：基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；
如图2所示，步骤S30包括步骤：
S31：基于所述数据类型进行数据传输速率影响度分析，获得速率影响系数；
S32：将所述速率影响系数输入转化分析模块中，其中，所述转化分析模块中嵌有所述数据格式转化条件，所述数据格式转化条件包括预设速率影响系数；
S33：判断所述速率影响系数是否大于所述预设速率影响系数；
S34：若所述速率影响系数大于所述预设速率影响系数，获取激活指令。
具体而言，所述转化分析模块中嵌有所述数据格式转化条件，所述数据格式转化条件包括预设速率影响系数，所述数据格式转化条件可以是速率影响系数大于预设速率影响系数，所述速率影响系数即数据格式转化对应的速率影响百分比，所述转化分析模块用于执行byte类型需要将空余位置补上0操作或是将long类型分为两部分或多个部分的数制转化模块，所述转化分析模块还包括一系数比对模块，所述系数比对模块用于比较预设速率影响系数与速率影响系数的数值，所述预设速率影响系数即预设参数指标，所述激活指令即所述数据类型激活所述数据格式转化条件，所述待转化数据资源即包含激活指令的数据资源库中的有效数据信息；
基于所述数据类型进行数据传输速率影响度分析(常见的，CPU GPRs(General-Purpose Registers，通用寄存器)的数据宽度为32位，也就是说处理器一次可以运行32bit数据，即处理数据类型为int，数据传输速率影响度可以达到100％，常见的，long类型需要不低于两次才可以完成传输，byte类型需要将空余位置补上0后进行传输，进行数据传输速率影响度分析，示例性的，若传输int数据需要0.1ms,传输byte数据需要0.14ms,byte对应的速率影响系数＝(0.14-0.1)/0.1×100％)，获得速率影响系数；将所述速率影响系数输入转化分析模块中，通过所述转化分析模块中的系数比对模块，判断所述速率影响系数是否大于所述预设速率影响系数(判断是否激活数据格式转化条件包括判断所述速率影响系数是否大于所述预设速率影响系数)；若所述速率影响系数不大于所述预设速率影响系数，将速率影响系数发送至大数据传输优化系统的管理人员(管理人员排查一下，是否出现数据混乱、重复)；若所述速率影响系数大于所述预设速率影响系数，获取激活指令，为保证数据传输效率提供基础。
步骤S31还包括步骤：
S311：基于所述数据类型进行数据传输测试，得到初始样本数据和传输后样本数据；
S312：根据所述初始样本数据和传输后样本数据进行比对，得到数据损失率；
S313：以所述数据损失率作为新增条件，添加至所述速率影响系数中。
具体而言，执行数据传输测试，排除数据缺失提供基础，具体包括：复制所述数据资源库，将复制数据资源库连接至所述云处理器中，基于所述数据类型对复制数据资源库进行数据传输测试，得到初始样本数据(未执行数据传输的数据包)和传输后样本数据(执行数据传输的数据包)；遍历比对所述初始样本数据和所述传输后样本数据，将比对的缺失数据/缺失值在初始样本数据中标记，进行缺失率计算(数据损失率＝缺失数据/缺失值的位数÷初始样本数据的位数×100％)，得到数据损失率；以所述数据损失率作为新增条件，将新增条件添加至所述速率影响系数中，为排除数据缺失提供参考，维护数据传输过程的完整性。
S40：所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；
S50：根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；
S60：基于所述优化数据资源库，生成多个优化指标；
具体而言，所述转化指令为所述大数据传输优化系统的用户发出的操作指令，所述数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程；
所述云处理器接收到转化指令后，根据转化指令，执行转化任务，具体包括：依照用户需求的形式，对所述待转化数据资源进行数据转化(例如转换日期格式、编辑文本字符串或连接行和列)，转化得到数据转化结果；根据所述数据转化结果，将所述数据资源库卸载，并将数据转化结果写入，对所述数据资源库更新，获取优化数据资源库；基于所述优化数据资源库，生成多个优化指标，在传输任务执行之前，进行传输优化，从接收端排除传输过程出现数据缺失、混乱。
如图3所示，步骤S60包括步骤：
S61：获取所述优化数据资源库的网络传输协议；
S62：根据所述网络传输协议，得到目标传输地址；
S63：以所述目标传输地址与所述优化数据资源库进行传输分析，得到预设传输速率指标和预设传输延迟指标；
S64：以所述预设传输速率指标和所述预设传输延迟指标作为所述多个优化指标进行输出。
具体而言，基于所述优化数据资源库，生成多个优化指标，具体包括：所述网络传输协议即发送端拟定的，为保证传输数据可读性、安全性所拟定的网络协议，所述目标传输地址即所述网络传输协议乙方的网络地址信息，所述传输分析包括传输速率分析和传输延迟分析(示例性的，传输速率对应的传输时耗为t1，传输延迟对应的延迟时耗为t2，实际传送需要的时长为t＝t1+t2)，所述预设传输速率指标和预设传输延迟指标为处理器一次可以运行数据确定的单位传输速率与单位传输延迟；
获取所述优化数据资源库的网络传输协议；在乙方同意网络传输协议后，根据所述网络传输协议的乙方网络地址信息，得到目标传输地址；以所述目标传输地址与优化数据资源库在所述云处理器的地址建立无线连接，在所述目标传输地址与优化数据资源库的云处理器地址的无线通道中，以所述目标传输地址与所述优化数据资源库进行传输分析，得到预设传输速率指标和预设传输延迟指标；以所述预设传输速率指标和所述预设传输延迟指标作为所述多个优化指标进行输出，为传输过程的优化控制提供数据支持。
S70：按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
步骤S70包括步骤：
S71：根据所述网络传输协议，获取所述数据传输通道；
S72：对所述数据传输通道进行可配置指标分析，得到多个可配置指标集；
S73：以所述多个可配置指标集作为优化变量，以所述预设传输速率指标和所述预设传输延迟指标作为约束条件进行优化配置，获取响应结果，其中，所述响应结果为与所述多个可配置指标集对应的参数。
具体而言，按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制，具体包括：所述数据传输通道即用于传输优化数据资源库的所有信道，所述可配置指标包括频带宽度、传码速率(即波特率，一个电压脉冲持续的时间)等相关参数指标，所述多个可配置指标集即各个数据传输通道的可配置指标，所述响应结果为与所述多个可配置指标集对应的参数；
根据所述网络传输协议，以所述目标传输地址与优化数据资源库在所述云处理器的地址建立无线连接，获取所述数据传输通道；对所述数据传输通道进行可配置指标分析，得到多个可配置指标集；以所述多个可配置指标集作为优化变量，以所述预设传输速率指标和所述预设传输延迟指标作为约束条件，对所述数据传输通道进行优化配置，获取响应结果，为进行优化配置提供技术支持。
步骤S70还包括步骤：
S74：获取传输网络环境的信息；
S75：根据所述传输网络环境的信息，得到载波信道的传输幅度和传输速度；
S76：按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，其中，所述传输质量指标用于标识传输的质量大小；
S77：根据所述传输质量指标，生成约束条件，用于对所述数据传输通道的传输参数进行优化约束。
具体而言，所述传输网络环境的信息包括传输网速、信道占用率(传输网速、信道占用率均为本技术领域常用参数指标)，载波信道一般载入正弦波，所述传输质量指标用于标识传输的质量大小，所述约束条件即传输质量指标的预设传输质量区间，所述优化约束即满足传输质量指标处于预设传输质量区间；
获取传输网络环境的信息；根据所述传输网络环境的信息，得到载波信道的传输幅度(所述传输幅度一般为正弦波的峰谷值)和传输速度；按照所述载波信道的传输幅度和传输速度进行传输质量分析(结合经验数据进行传输质量评估)，得到传输质量指标；根据所述传输质量指标，生成约束条件，用于对所述数据传输通道的传输参数进行优化约束，为保证传输过程的稳定性提供支持。
步骤S76包括步骤：
S761：采集所述载波信道的历史传输数据集，其中，所述历史传输数据集包括传输数据包的信息，以及各个数据包进行传输时对应的历史幅度和历史传输速度；
S762：按照所述历史传输数据集对各个数据包进行传输质量分析，得到与所述各个数据包对应的各个质量指标；
S763：对所述各个质量指标进行均值计算，输出均值质量指标；
S764：将所述均值质量指标作为所述传输质量指标进行输出。
具体而言，按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，具体包括：所述历史传输数据集包括传输数据包的信息以及各个数据包进行传输时对应的历史幅度和历史传输速度，区间位置可以是高点、低点，高点可以是靠近历史传输速度区间最大值或是可以是靠近历史传输幅度区间最大值；低点可以是靠近历史传输速度区间最小值或是可以是靠近历史传输幅度区间最小值；
基于大数据传输优化系统的数据存储单元，通过数据检索引擎，对传输数据进行检索采集，采集所述载波信道的历史传输数据集；按照所述历史传输数据集对各个数据包进行传输质量分析(对各个数据包进行传输时对应的历史幅度和历史传输速度进行整合，确定历史传输幅度区间和历史传输速度区间，各个数据包的传输幅度和传输速度落在历史传输幅度区间和历史传输速度区间的区间位置即所述各个数据包对应的各个质量指标；对所述各个质量指标进行均值计算，输出均值质量指标；将所述均值质量指标作为所述传输质量指标进行输出，为均衡评估传输质量提供支持。
综上所述，本申请实施例所提供的一种大数据传输优化方法及系统具有如下技术效果：
1.由于采用了获取用于进行待传输的数据资源库，连接至云处理器中，对数据资源库中的数据存储格式进行分析，得到数据类型，判断是否激活数据格式转化条件，若数据类型激活数据格式转化条件，获取待转化数据资源；云处理器根据转化指令，对待转化数据资源进行数据转化，得到数据转化结果，更新数据资源库，获取优化数据资源库，生成多个优化指标，对数据传输通道的传输参数进行优化配置，以优化传输参数进行传输控制，本申请通过提供了一种大数据传输优化方法及系统，实现了针对数据传输过程的数据格式转化等易出现数据缺失、混乱、重复步骤，对传输信道进行优化配置，排除传输导致的数据缺失、混乱、重复，提高数据传输稳定性，保证大数据传输效率的技术效果。
2.由于采用了获取优化数据资源库的网络传输协议，得到目标传输地址；以目标传输地址与优化数据资源库进行传输分析，得到预设传输速率指标和预设传输延迟指标，确定多个优化指标并输出，为传输过程的优化控制提供数据支持。
实施例二
基于与前述实施例中一种大数据传输优化方法相同的发明构思，如图4所示，本申请实施例提供了一种大数据传输优化系统，其中，所述系统包括：
资源库获取模块100，用于获取用于进行待传输的数据资源库；
数据类型获取模块200，用于将所述数据资源库连接至云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；
数据资源获取模块300，用于基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；
转化结果获取模块400，用于所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；
优化资源库获取模块500，用于根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；
优化指标生成模块600，用于基于所述优化数据资源库，生成多个优化指标；
传输控制模块700，用于按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
进一步的，所述系统包括：
传输网络环境信息获取模块，用于获取传输网络环境的信息；
传输幅度与速度获取模块，用于根据所述传输网络环境的信息，得到载波信道的传输幅度和传输速度；
传输质量指标确定模块，用于按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，其中，所述传输质量指标用于标识传输的质量大小；
约束条件生成模块，用于根据所述传输质量指标，生成约束条件，用于对所述数据传输通道的传输参数进行优化约束。
进一步的，所述系统包括：
历史传输数据集采集模块，用于采集所述载波信道的历史传输数据集，其中，所述历史传输数据集包括传输数据包的信息，以及各个数据包进行传输时对应的历史幅度和历史传输速度；
传输质量分析模块，用于按照所述历史传输数据集对各个数据包进行传输质量分析，得到与所述各个数据包对应的各个质量指标；
均值质量指标输出模块，用于对所述各个质量指标进行均值计算，输出均值质量指标；
传输质量指标输出模块，用于将所述均值质量指标作为所述传输质量指标进行输出。
进一步的，所述系统包括：
速率影响系数获得模块，用于基于所述数据类型进行数据传输速率影响度分析，获得速率影响系数；
速率影响系数输入模块，用于将所述速率影响系数输入转化分析模块中，其中，所述转化分析模块中嵌有所述数据格式转化条件，所述数据格式转化条件包括预设速率影响系数；
速率影响系数判断模块，用于判断所述速率影响系数是否大于所述预设速率影响系数；
激活指令获取模块，用于若所述速率影响系数大于所述预设速率影响系数，获取激活指令。
进一步的，所述系统包括：
样本数据获取模块，用于基于所述数据类型进行数据传输测试，得到初始样本数据和传输后样本数据；
数据比对模块，用于根据所述初始样本数据和传输后样本数据进行比对，得到数据损失率；
新增条件添加模块，用于以所述数据损失率作为新增条件，添加至所述速率影响系数中。
进一步的，所述系统包括：
网络传输协议获取模块，用于获取所述优化数据资源库的网络传输协议；
目标传输地址获取模块，用于根据所述网络传输协议，得到目标传输地址；
传输分析模块，用于以所述目标传输地址与所述优化数据资源库进行传输分析，得到预设传输速率指标和预设传输延迟指标；
优化指标输出模块，用于以所述预设传输速率指标和所述预设传输延迟指标作为所述多个优化指标进行输出。
进一步的，所述系统包括：
数据传输通道获取模块，用于根据所述网络传输协议，获取所述数据传输通道；
可配置指标分析模块，用于对所述数据传输通道进行可配置指标分析，得到多个可配置指标集；
响应结果获取模块，用于以所述多个可配置指标集作为优化变量，以所述预设传输速率指标和所述预设传输延迟指标作为约束条件进行优化配置，获取响应结果，其中，所述响应结果为与所述多个可配置指标集对应的参数。
综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。
进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。

Claims (8)

1.一种大数据传输优化方法，其特征在于，所述方法应用于大数据传输优化系统，所述系统与云处理器通信连接，所述方法包括：
获取用于进行待传输的数据资源库；
将所述数据资源库连接至所述云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；
基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；
所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；
根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；
基于所述优化数据资源库，生成多个优化指标；
按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取传输网络环境的信息；
根据所述传输网络环境的信息，得到载波信道的传输幅度和传输速度；
按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，其中，所述传输质量指标用于标识传输的质量大小；
根据所述传输质量指标，生成约束条件，用于对所述数据传输通道的传输参数进行优化约束。
3.如权利要求2所述的方法，其特征在于，按照所述载波信道的传输幅度和传输速度进行传输质量分析，得到传输质量指标，还包括：
采集所述载波信道的历史传输数据集，其中，所述历史传输数据集包括传输数据包的信息，以及各个数据包进行传输时对应的历史幅度和历史传输速度；
按照所述历史传输数据集对各个数据包进行传输质量分析，得到与所述各个数据包对应的各个质量指标；
对所述各个质量指标进行均值计算，输出均值质量指标；
将所述均值质量指标作为所述传输质量指标进行输出。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
基于所述数据类型进行数据传输速率影响度分析，获得速率影响系数；
将所述速率影响系数输入转化分析模块中，其中，所述转化分析模块中嵌有所述数据格式转化条件，所述数据格式转化条件包括预设速率影响系数；
判断所述速率影响系数是否大于所述预设速率影响系数；
若所述速率影响系数大于所述预设速率影响系数，获取激活指令。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
基于所述数据类型进行数据传输测试，得到初始样本数据和传输后样本数据；
根据所述初始样本数据和传输后样本数据进行比对，得到数据损失率；
以所述数据损失率作为新增条件，添加至所述速率影响系数中。
6.如权利要求1所述的方法，其特征在于，基于所述优化数据资源库，生成多个优化指标，方法包括：
获取所述优化数据资源库的网络传输协议；
根据所述网络传输协议，得到目标传输地址；
以所述目标传输地址与所述优化数据资源库进行传输分析，得到预设传输速率指标和预设传输延迟指标；
以所述预设传输速率指标和所述预设传输延迟指标作为所述多个优化指标进行输出。
7.如权利要求6所述的方法，其特征在于，按照所述多个优化指标对数据传输通道的传输参数进行优化配置，方法包括：
根据所述网络传输协议，获取所述数据传输通道；
对所述数据传输通道进行可配置指标分析，得到多个可配置指标集；
以所述多个可配置指标集作为优化变量，以所述预设传输速率指标和所述预设传输延迟指标作为约束条件进行优化配置，获取响应结果，其中，所述响应结果为与所述多个可配置指标集对应的参数。
8.一种大数据传输优化系统，其特征在于，用于实施权利要求1-7所述的一种大数据传输优化方法，包括：
资源库获取模块，用于获取用于进行待传输的数据资源库；
数据类型获取模块，用于将所述数据资源库连接至云处理器中，对所述数据资源库中的数据存储格式进行分析，得到数据类型；
数据资源获取模块，用于基于所述数据类型，判断是否激活数据格式转化条件，若所述数据类型激活所述数据格式转化条件，获取待转化数据资源；
转化结果获取模块，用于所述云处理器根据转化指令，对所述待转化数据资源进行数据转化，得到数据转化结果；
优化资源库获取模块，用于根据所述数据转化结果更新所述数据资源库，获取优化数据资源库；
优化指标生成模块，用于基于所述优化数据资源库，生成多个优化指标；
传输控制模块，用于按照所述多个优化指标对数据传输通道的传输参数进行优化配置，以输出的优化传输参数进行传输控制。
CN202310137521.0A 2023-02-20 2023-02-20 一种大数据传输优化方法及系统 Pending CN116132553A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310137521.0A CN116132553A (zh) 2023-02-20 2023-02-20 一种大数据传输优化方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310137521.0A CN116132553A (zh) 2023-02-20 2023-02-20 一种大数据传输优化方法及系统

Publications (1)

Publication Number Publication Date
CN116132553A true CN116132553A (zh) 2023-05-16

Family

ID=86294081

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310137521.0A Pending CN116132553A (zh) 2023-02-20 2023-02-20 一种大数据传输优化方法及系统

Country Status (1)

Country Link
CN (1) CN116132553A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991337A (zh) * 2023-09-27 2023-11-03 深圳市凌壹科技有限公司 一种远程教育系统的教育资源的云存储方法及装置
CN117149746A (zh) * 2023-10-30 2023-12-01 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统
CN117648383A (zh) * 2024-01-30 2024-03-05 中国人民解放军国防科技大学 一种异构数据库实时数据同步方法、装置、设备及介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116991337A (zh) * 2023-09-27 2023-11-03 深圳市凌壹科技有限公司 一种远程教育系统的教育资源的云存储方法及装置
CN116991337B (zh) * 2023-09-27 2023-12-26 深圳市凌壹科技有限公司 一种远程教育系统的教育资源的云存储方法及装置
CN117149746A (zh) * 2023-10-30 2023-12-01 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统
CN117149746B (zh) * 2023-10-30 2024-02-02 山东海博科技信息系统股份有限公司 基于云原生和存算分离的数据仓库管理系统
CN117648383A (zh) * 2024-01-30 2024-03-05 中国人民解放军国防科技大学 一种异构数据库实时数据同步方法、装置、设备及介质
CN117648383B (zh) * 2024-01-30 2024-06-11 中国人民解放军国防科技大学 一种异构数据库实时数据同步方法、装置、设备及介质

Similar Documents

Publication Publication Date Title
CN116132553A (zh) 一种大数据传输优化方法及系统
CN107957940B (zh) 一种测试日志处理方法、系统及终端
CN109561106B (zh) 一种船舶通信报文实时解析过滤方法
CN111400127B (zh) 业务日志的监控方法及装置、存储介质、计算机设备
CN107977473B (zh) 基于Logback的分布式系统日志的检索方法和系统
CN105376314B (zh) 一种将环境监测分析数据提取到lims的方法及装置
CN110768875A (zh) 一种基于dns学习的应用识别方法及系统
CN114401203B (zh) 基于can报文解析运算的自动驾驶测试方法和系统
CN101145984B (zh) 基于参数自适应的自动化测试方法
CN104836686B (zh) 一种生成服务器的配置文件的方法及装置
CN116204438A (zh) 测试用例生成方法、自动化测试方法和相关装置
CN112416557B (zh) 调用关系的确定方法和装置、存储介质及电子装置
CN114490861A (zh) 遥测数据解析方法、装置、设备及介质
CN116719750B (zh) 软件测试方法及装置、服务器设备和存储介质
CN111935767B (zh) 一种网络仿真系统
CN117499380A (zh) 一种自定义协议数据采集方法
JP2000010815A (ja) 並列分散システムのデバッグ装置及びデバッグ方法
CN115757639A (zh) 数据源同步方法、装置、电子设备及存储介质
CN116506300A (zh) 一种网站流量数据统计方法和系统
WO2015176516A1 (zh) 一种业务流程的跟踪方法及装置
CN114416597A (zh) 测试用例记录的生成方法和装置
CN111783391B (zh) 一种在线人工文本标记系统及方法
CN107392415B (zh) 一种基于大数据的电信营业员画像信息处理方法及装置
Ládi et al. GrAMeFFSI: Graph Analysis Based Message Format and Field Semantics Inference For Binary Protocols, Using Recorded Network Traffic
CN113947284B (zh) 一种国土空间规划的数据合规性转换方法、装置及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination