CN115801196B - 一种低延迟的数据传输方法及装置 - Google Patents

一种低延迟的数据传输方法及装置 Download PDF

Info

Publication number
CN115801196B
CN115801196B CN202310046470.0A CN202310046470A CN115801196B CN 115801196 B CN115801196 B CN 115801196B CN 202310046470 A CN202310046470 A CN 202310046470A CN 115801196 B CN115801196 B CN 115801196B
Authority
CN
China
Prior art keywords
data
sequence
transmission
information
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310046470.0A
Other languages
English (en)
Other versions
CN115801196A (zh
Inventor
李健
杨琨
余纪良
葛大伟
刘奎阳
何亘
段国强
杨立寨
王振宇
汪进
王凯飞
何立军
李辰辉
苏建新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuncheng Financial Information Service Co ltd
Original Assignee
Beijing Yuncheng Financial Information Service Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuncheng Financial Information Service Co ltd filed Critical Beijing Yuncheng Financial Information Service Co ltd
Priority to CN202310046470.0A priority Critical patent/CN115801196B/zh
Publication of CN115801196A publication Critical patent/CN115801196A/zh
Application granted granted Critical
Publication of CN115801196B publication Critical patent/CN115801196B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供了一种低延迟的数据传输方法及装置。包括:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输。通过对传输数据进行拆分,从而传输重要度较高的数据信息,而对剩余数据进行预测补偿,降低数据传输的时间,提高数据传输效率的同时也保证了数据传输的精准性。

Description

一种低延迟的数据传输方法及装置
技术领域
本发明涉及数据传输领域,特别涉及一种低延迟的数据传输方法及装置。
背景技术
目前,随着互联网技术的高度发展,人们越来越依赖互联网,也通过互联网进行更多的应用,随之而来的是越来越多的数据传输,而对于数据传输的质量及速度也要求越来越高。
然而,现有的互联网技术,在传输较大规模的数据时仍然存在着很严重的延迟问题,从而影响用户的使用效果。
因此,本发明提供了一种低延迟的数据传输方法及装置。
发明内容
本发明提供了一种低延迟的数据传输方法及装置,用以通过对传输数据进行拆分,从而传输重要度较高的数据信息,而对剩余数据进行预测补偿,降低数据传输的时间,提高数据传输效率的同时,也保证了数据传输的精准性。
本发明提供一种低延迟的数据传输方法,包括:
步骤1:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
步骤2:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
步骤3:对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
步骤4:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输。
在一种可能实现的方式中,获取当前操作对应的数据信息包,包括:
步骤11:获取当前需要进行数据传输操作的所有数据信息,并对数据信息进行分类;
步骤12:对分类后的数据信息中的重复数据进行提取及标记,并保留重复数据一次,其余的重复数据进行删除,且对应删除的重复数据的标记保留;
步骤13:获取删除重复数据后的数据信息,并获取对应的传输起始地址、传输到达地址,并构建保留数据信息对应的数据信息包。
在一种可能实现的方式中,按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输,包括:
步骤21:对所述数据信息包中每个所保留的重复数据进行完整提取,得到每个所保留的重复数据的数据序列;
同时,按照预设方法对所述数据信息包中未完整提取的剩余数据信息进行信息拆分,拆分成为多个数据序列;
步骤22:将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度;
按照所述重要度由高到低对数据序列进行排序,并按照排序结果对每个数据序列进行数据传输;
其中,重要度低于预设度的数据序列,不进行数据传输。
在一种可能实现的方式中,获取删除重复数据后的数据信息,并获取对应的传输起始地址、传输到达地址,并构建保留数据信息对应的数据信息包,包括:
步骤31:基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果;
步骤32:获取所述数据信息包的数据特性,并从历史数据库中调取与所述数据特性一致的历史数据信息包的历史数据传输情况;
步骤33:基于获取的历史数据传输情况,构建数据修正模型;
步骤34:将第一预测补偿结果上传至数据修正模型中进行优化,得到优化后的预测补偿结果。
在一种可能实现的方式中,基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果,包括:
步骤311:基于所述排序结果确定未被传输的数据序列的数据编号;
步骤312:基于所述数据编号,确定每个未被传输的数据序列的前后两个数据序列,即为前数据序列以及后数据序列;
步骤313:获取所述前数据序列的尾数据以及所述后数据序列的头数据,并对比所述尾数据和头数据的差异情况;
步骤314:基于所述尾数据和头数据的第一差异情况,与预设变化列表进行比较,从而得到所述第一差异情况与预设变化列表中的每组变化数据对应的第二差异情况的重叠度;
步骤315:将同个第一差异情况的所有重叠度进行比较,并按照重叠度大小进行排序,得到对应的重叠度表,其中,所述重叠度表包含n行m列,且每行与第一差异情况对应,且每列与预设变化列表中的每组变化数组对应;
步骤316:获取基于所述预设变化列表中每组变化数据所对应的标准变化轨迹,并按照匹配的重叠度,对所述标准变化轨迹的每个轨迹段进行轨迹调整,作为第一预测补偿结果。
在一种可能实现的方式中,基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输后,还包括:
步骤01:获取优化后的数据与所述信息数据包中未被传输的数据进行比较;
步骤02:基于比较结果分析预测补偿方案是否需要优化;
若不需要,则继续按照重要度不低于预设度的数据序列进行预测补偿;
否则,将未被传输的数据输入到数据修正模型中,对数据修正模型进行调整;
步骤03:基于调整后的数据修正模型行预测补偿。
在一种可能实现的方式中,将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度,包括:
将所述述数据序列输入到脆弱性分析模型中,获取得到所述数据序列的内容脆弱性以及序列结构脆弱性,并计算对应数据序列的传输脆弱性;
Figure SMS_1
其中,C表示对应数据序列的传输脆弱性;
Figure SMS_2
表示对应数据序列的内容脆弱性;/>
Figure SMS_3
表示对应数据序列的序列结构脆弱性;/>
Figure SMS_4
表示针对内容的设置权重;/>
Figure SMS_5
表示针对结构的设置权重,且/>
Figure SMS_6
将当前数据序列与整个数据信息包中的剩余每个数据序列进行比较,并构建比较阵列
Figure SMS_7
,其中,所述比较阵列中包括若干比较值,/>
Figure SMS_8
表示当前数据序列与第一个剩余数据序列的比较值;/>
Figure SMS_9
表示当前数据序列与第二个剩余数据序列的比较值;
Figure SMS_10
表示当前数据序列与第n-1个剩余数据序列的比较值,且当前数据序列与所有剩余数据序列的总个数为n;
从所述比较阵列中提取相同的比较值,并分别获取相同比较组中的值个数
Figure SMS_11
以及值本身/>
Figure SMS_12
,其中,/>
Figure SMS_13
表示相同比较组的总组数且/>
Figure SMS_14
的取值大于或等于1;
同时,获取所述整个数据信息包中与所述当前数据序列完全一致的内容个数n2;
根据所有
Figure SMS_15
与预设值b0的比较,筛选大于预设值b0的所有最后比较组,并将所有最后比较组的值本身进行累加和计算,得到sum1,其中,只采用每个最后比较组中的一个值本身进行累加和计算;
根据如下公式,计算当前数据序列的重要度G:
Figure SMS_16
其中,sum0表示所有相同比较组的值本身的累加和,其中,只采用每个相同比较组中的一个值本身进行累加和计算。
一种低延迟的数据传输装置,包括:
数据获取单元:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
分块传输单元:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
数据优化单元:对重要度不超过预设值的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
数据传输单元:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种低延迟的数据传输方法的流程图;
图2为本发明实施例中一种低延迟的数据传输方法的另一流程图;
图3为本发明实施例中一种低延迟的数据传输装置的结构图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
实施例1:
本发明实施例提供了一种低延迟的数据传输方法,如图1所示,包括:
步骤1:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
步骤2:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
步骤3:对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
步骤4:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输。
该实施例中,数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址。
该实施例中,传输起始地址是指当前需要传输的数据信息在进行数据传输之前所处数据库的位置。
该实施例中,传输到达地址是指当前需要传输的数据信息在数据传输完成后进行数据保存显示的位置。
该实施例中,数据序列是按照预设的方法将数据信息包进行拆分得到的数据块,其中,所有数据序列组成一个完整的数据信息包。
该实施例中,分块传输是按照以单个数据序列为传输单位进行数据传输。
该实施例中,重要度是指当前数据序列中的数据在数据信息包中的重要程度。
该实施例中,预测补偿是基于重要度高于预设度而进行数据传输的数据对重要度低于预设度而未进行数据传输的数据序列部分进行信息预测,从而对未被传输部分进行补偿。
该实施例中,数据优化是指基于历史数据情况对预测补偿后的数据信息包进行数据信息的优化调整。
该实施例中,第二信息数据包包含预测补偿后得到的数据信息结果以及重要度高于预设重要度从而被传输的数据信息一起构建的数据信息包。
上述技术方案的有益效果是:通过对传输数据进行拆分,从而传输重要度较高的数据信息,而对剩余数据进行预测补偿,降低数据传输的时间,提高数据传输效率的同时也保证了数据传输的精准性。
实施例2:
基于实施例1的基础上,获取当前操作对应的数据信息包,包括:
步骤11:获取当前需要进行数据传输操作的所有数据信息,并对数据信息进行分类;
步骤12:对分类后的数据信息中的重复数据进行提取及标记,并保留重复数据一次,其余的重复数据进行删除,且对应删除的重复数据的标记保留;
步骤13:获取删除重复数据后的数据信息,并获取对应的传输起始地址、传输到达地址,并构建保留数据信息对应的数据信息包。
该实施例中,数据信息是指需要进行数据传输的数据所包含的全部数据信息。
该实施例中,分类是基于数据信息的数据类型进行分类,比如,可以按照.jpg,.mp3,.doc等数据类型对数据信息进行分类。
该实施例中,重复数据是指在数据信息中大于预设数据长度的数据出现数据重复的情况,比如,可以将预设数据长度设置为10KB,也可以根据实际数据信息的长度进行适当调整。
该实施例中,提取标记是对重复数据在传输数据中的所在位置做一个标签,用于标记重复数据的位置和长度,比如,有一段数据信息是重复数据,在这段数据的第一个数据之前做一个开始标记,在这段数据的最后一个数据之后做一个结尾标记,在进行数据传输的时候除去第一组标记之外的其他组标记之前的数据进行删除,对应的标记进行保留,数据传输之后,再基于第一组标记中的数据对其他标记进行补充,补充完成之后删除标记,其中,不同重复数据对应的标记不同。
该实施例中,传输起始地址是指当前需要传输的数据信息在进行数据传输之前所处数据库的位置。
该实施例中,传输到达地址是指当前需要传输的数据信息在数据传输完成后进行数据保存显示的位置。
该实施例中,数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址。
所述技术方案的有益效果是:通过对传输数据进行分类,从而删除传输数据中的重复数据,可以提高数据传输的效率,降低数据传输时间,降低数据传输数据在传输过程中的数据压力。
实施例3:
基于实施例2的基础上,按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输,包括:
步骤21:对所述数据信息包中每个所保留的重复数据进行完整提取,得到每个所保留的重复数据的数据序列;
同时,按照预设方法对所述数据信息包中未完整提取的剩余数据信息进行信息拆分,拆分成为多个数据序列;
步骤22:将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度;
按照所述重要度由高到低对数据序列进行排序,并按照排序结果对每个数据序列进行数据传输;
其中,重要度低于预设度的数据序列,不进行数据传输。
该实施例中,完整提取是指将数据信息包中被保留的重复数据进行完整提取,不能进行拆分,从而得到一个单独的数据序列,或一个数据序列的子序列。
该实施例中,预设方法是基于当前数据信息包的数据属性进行合理拆分,比如,可以按照数据信息包的规模进行信息拆分,如果数据信息包的大小为100MB,那么进行信息拆分时可以将每个数据序列的大小设置为2MB,也可以按照数据信息包的子数据情况进行拆分,如果数据信息包中包含有10个音频信息,那么可以将每个音频信息进行拆分,得到数据序列,不同音频信息不进行合并。
该实施例中,重要度是指单个数据序列中的数据对整个数据信息包的总体信息的影响程度。
所述技术方案的有益效果是:通过对数据信息包进行分块,得到多个数据序列,从而将重要度高的数据序列进行传输,可以大大提升数据传输的效率,降低数据传输的时间,从而达到数据传输低延迟的效果。
实施例4:
基于实施例3的基础上,对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化,包括:
步骤31:基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果;
步骤32:获取所述数据信息包的数据特性,并从历史数据库中调取与所述数据特性一致的历史数据信息包的历史数据传输情况;
步骤33:基于获取的历史数据传输情况,构建数据修正模型;
步骤34:将第一预测补偿结果上传至数据修正模型中进行优化,得到优化后的预测补偿结果。
该实施例中,预设度是基于实际数据传输的精准性需要,提前设定的适合当前数据信息包的,单个数据序列对整个数据信息包信息的影响程度。
该实施例中,预测补偿是基于重要度高于预设度而进行数据传输的数据对重要度低于预设度而未进行数据传输的数据序列部分进行信息预测,从而对未被传输部分进行补偿。
该实施例中,第一预测补偿结果是指基于预测补偿得到的重要度低于预设度部分的数据信息的预测结果。
该实施例中,数据特性包括:传输到达位置、数据信息格式、数据信息属性、数据信息规模等。
该实施例中,历史数据信息包是从历史数据库中调取到的与当前数据信息包的数据特性一致的数据信息包。
该实施例中,历史数据传输情况是指历史数据信息包在进行数据传输的时候对应的数据传输情况,比如,历史数据信息包的预测补偿结果与实际重要度不高于预设度的未传输数据的差异结果。
该实施例中,数据修正模型是基于历史数据信息包的历史数据传输情况对原始数据修正模型进行学习得到的。
该实施例中,优化后的预测补偿结果是基于第一预测补偿结果的基础上,根据数据修正模型进行修正得到的。
所述技术方案的有益效果是:通过对重要度低的数据序列进行预测补偿,可以得到较为完整的数据信息包,可以在提高数据传输效率的同时,更大限度满足数据精准性要求。
实施例5:
基于实施例4的基础上,基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果,如图2所示,包括:
步骤311:基于所述排序结果确定未被传输的数据序列的数据编号;
步骤312:基于所述数据编号,确定每个未被传输的数据序列的前后两个数据序列,即为前数据序列以及后数据序列;
步骤313:获取所述前数据序列的尾数据以及所述后数据序列的头数据,并对比所述尾数据和头数据的差异情况;
步骤314:基于所述尾数据和头数据的第一差异情况,与预设变化列表进行比较,从而得到所述第一差异情况与预设变化列表中的每组变化数据对应的第二差异情况的重叠度;
步骤315:将同个第一差异情况的所有重叠度进行比较,并按照重叠度大小进行排序,得到对应的重叠度表,其中,所述重叠度表包含n行m列,且每行与第一差异情况对应,且每列与预设变化列表中的每组变化数组对应;
步骤316:获取基于所述预设变化列表中每组变化数据所对应的标准变化轨迹,并按照匹配的重叠度,对所述标准变化轨迹的每个轨迹段进行轨迹调整,作为第一预测补偿结果。
该实施例中,数据编号是按照排序结果对每一个数据序列进行编号。
该实施例中,前数据序列、后数据序列是指与未被传输的数据序列的数据编号相邻的两个数据编号所对应的数据序列。
该实施例中,尾数据、头数据是指数据序列的最后一个数据以及第一个数据。
该实施例中,第一差异情况是指前数据序列的尾数据与后数据序列的头数据的数据差异情况。
该实施例中,预设变化列表是从变化数据库中提取到的与当前数据序列的数据属性保持一致的数据变化列表,其中,预设变化列表包含,原有数据,变化数据,变化情况。
该实施例中,第二差异情况是预设变化列表中每行原有数据与变化数据的数据差异情况。
该实施例中,重叠度是指第一差异情况与第二差异情况的重叠程度。
该实施例中,重叠度表包含n行m列,且每行与第一差异情况对应,且每列与预设变化列表中的每组变化数组对应。
该实施例中,标准变化轨迹是指预设变化列表中每组变化数据的变化轨迹。
该实施例中,轨迹调整是基于预设变化列表中每组变化数据对应的第二差异情况与第一差异情况的重叠度,将重叠部分变化轨迹进行保留,未重叠部分变化轨迹进行删除,并保留这段区域空白,最终将多个调整后的标准变化轨迹进行重叠,并将离散数据删除,从而得到最终的变化轨迹作为第一预测补偿结果。
上述技术方案的有益效果是:通过对未被传输的序列前后两个序列进行预测,可以得到较为准确的变化轨迹,从而对未被传输序列进行预测补偿,从而在提高数据传输效率的同时,满足数据精准性的要求。
实施例6:
基于实施例5的基础上,基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输后,还包括:
步骤01:获取优化后的数据与所述信息数据包中未被传输的数据进行比较;
步骤02:基于比较结果分析预测补偿方案是否需要优化;
若不需要,则继续按照重要度不低于预设度的数据序列进行预测补偿;
否则,将未被传输的数据输入到数据修正模型中,对数据修正模型进行调整;
步骤03:基于调整后的数据修正模型行预测补偿。
该实施例中,预测补偿是基于重要度高于预设度而进行数据传输的数据对重要度低于预设度而未进行数据传输的数据序列部分进行信息预测,从而对未被传输部分进行补偿。
该实施例中,数据修正模型是将未被传输的数据作为精准数据,预测补偿结果作为修正数据,输入数据修正模型中对数据修正模型进行调整。
上述技术方案的有益效果是:通过将预测数据与原有数据进行比较,可以得到预测补偿的精准度情况,从而对预测补偿进行调整,使得调整之后的预测补偿更加精准。
实施例7:
基于实施例3的基础上,将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度,包括:
将所述述数据序列输入到脆弱性分析模型中,获取得到所述数据序列的内容脆弱性以及序列结构脆弱性,并计算对应数据序列的传输脆弱性;
Figure SMS_17
其中,C表示对应数据序列的传输脆弱性;
Figure SMS_18
表示对应数据序列的内容脆弱性;/>
Figure SMS_19
表示对应数据序列的序列结构脆弱性;/>
Figure SMS_20
表示针对内容的设置权重;/>
Figure SMS_21
表示针对结构的设置权重,且/>
Figure SMS_22
将当前数据序列与整个数据信息包中的剩余每个数据序列进行比较,并构建比较阵列
Figure SMS_23
,其中,所述比较阵列中包括若干比较值,/>
Figure SMS_24
表示当前数据序列与第一个剩余数据序列的比较值;/>
Figure SMS_25
表示当前数据序列与第二个剩余数据序列的比较值;
Figure SMS_26
表示当前数据序列与第n-1个剩余数据序列的比较值,且当前数据序列与所有剩余数据序列的总个数为n;
从所述比较阵列中提取相同的比较值,并分别获取相同比较组中的值个数
Figure SMS_27
以及值本身/>
Figure SMS_28
,其中,/>
Figure SMS_29
表示相同比较组的总组数且/>
Figure SMS_30
的取值大于或等于1;
同时,获取所述整个数据信息包中与所述当前数据序列完全一致的内容个数n2;
根据所有
Figure SMS_31
与预设值b0的比较,筛选大于预设值b0的所有最后比较组,并将所有最后比较组的值本身进行累加和计算,得到sum1,其中,只采用每个最后比较组中的一个值本身进行累加和计算;
根据如下公式,计算当前数据序列的重要度G:
Figure SMS_32
其中,sum0表示所有相同比较组的值本身的累加和,其中,只采用每个相同比较组中的一个值本身进行累加和计算。
该实施例中,脆弱性分析模型是预先训练好的,且是基于事先所确定的不同结构的结构脆弱性以及不同序列所代表内容的脆弱性为样本,来训练得到脆弱性分析模型,比如,样本1为:数据序列:00111100,内容脆弱性:0.8,结构脆弱性:0.5,通过超过10000个与样本1类似的样本,来训练得到脆弱性分析模型,因此,可以得到该数据序列的内容脆肉性以及结构脆弱性。
该实施例中,内容脆弱性的取值范围为[0,1],序列结构脆弱性的取值范围为[0,1]。
该实施例中,比较值指的是当前数据序列与对应每个剩余数据序列的相似度,相似度的取值范围为[0,1],比如,当前数据序列为00111100,对应的剩余数据序列为:00111111,对应的比较值:3/4。
该实施例中,比较阵列为:{0.2 0.2 0.30.5 0.6 0.6 0.6 0.6},其中,相同比较数组为[0.2 0.2],[0.3],[0.5],[0.6 0.6 0.60.6 ],其中,预设值为0.4,此时,最后比较组为[0.5],[0.6 0.6 0.60.6 ],因此,sum1为0.5+0.6=1.1,sum0为:0.2+0.3+0.5+0.6=1.6,对应的n-1为8。
上述技术方案的有益效果是:通过脆弱性分析模型来获取对应数据序列的内容脆弱性以及序列结构脆弱性,来计算得到传输脆弱性,且后续通过将序列与剩余序列的分别比较,来获取相同比较组以及最后比较组,且通过公式,来计算得到重要度,为后续进行序列的分块传输提供有效基础,保证数据传输的有效性,提高传输速度。
实施例8:
本发明实施例提供了一种低延迟的数据传输装置,如图3所示,包括:
数据获取单元:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
分块传输单元:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
数据优化单元:对重要度不超过预设值的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
数据传输单元:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输。
上述技术方案的有益效果是:通过对传输数据进行拆分,从而传输重要度较高的数据信息,而对剩余数据进行预测补偿,降低数据传输的时间,提高数据传输效率的同时也保证了数据传输的精准性。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种低延迟的数据传输方法,其特征在于,包括:
步骤1:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
步骤2:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
步骤3:对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
步骤4:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输;
其中,对重要度不超过预设度的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化,包括:
步骤31:基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果;
步骤32:获取所述数据信息包的数据特性,并从历史数据库中调取与所述数据特性一致的历史数据信息包的历史数据传输情况;
步骤33:基于获取的历史数据传输情况,构建数据修正模型;
步骤34:将第一预测补偿结果上传至数据修正模型中进行优化,得到优化后的预测补偿结果;
其中,基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果,包括:
步骤311:基于排序结果确定未被传输的数据序列的数据编号;
步骤312:基于所述数据编号,确定每个未被传输的数据序列的前后两个数据序列,即为前数据序列以及后数据序列;
步骤313:获取所述前数据序列的尾数据以及所述后数据序列的头数据,并对比所述尾数据和头数据的差异情况;
步骤314:基于所述尾数据和头数据的第一差异情况,与预设变化列表进行比较,从而得到所述第一差异情况与预设变化列表中的每组变化数据对应的第二差异情况的重叠度;
步骤315:将同个第一差异情况的所有重叠度进行比较,并按照重叠度大小进行排序,得到对应的重叠度表,其中,所述重叠度表包含n行m列,且每行与第一差异情况对应,且每列与预设变化列表中的每组变化数组对应;
步骤316:获取基于所述预设变化列表中每组变化数据所对应的标准变化轨迹,并按照匹配的重叠度,对所述标准变化轨迹的每个轨迹段进行轨迹调整,作为第一预测补偿结果。
2.如权利要求1所述的一种低延迟的数据传输方法,其特征在于,获取当前操作对应的数据信息包,包括:
步骤11:获取当前需要进行数据传输操作的所有数据信息,并对数据信息进行分类;
步骤12:对分类后的数据信息中的重复数据进行提取及标记,并保留重复数据一次,其余的重复数据进行删除,且对应删除的重复数据的标记保留;
步骤13:获取删除重复数据后的数据信息,并获取对应的传输起始地址、传输到达地址,并构建保留数据信息对应的数据信息包。
3.如权利要求2所述的一种低延迟的数据传输方法,其特征在于,按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输,包括:
步骤21:对所述数据信息包中每个所保留的重复数据进行完整提取,得到每个所保留的重复数据的数据序列;
同时,按照预设方法对所述数据信息包中未完整提取的剩余数据信息进行信息拆分,拆分成为多个数据序列;
步骤22:将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度;
按照所述重要度由高到低对数据序列进行排序,并按照排序结果对每个数据序列进行数据传输;
其中,重要度低于预设度的数据序列,不进行数据传输。
4.如权利要求1所述的一种低延迟的数据传输方法,其特征在于,基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输后,还包括:
步骤01:获取优化后的数据与所述信息数据包中未被传输的数据进行比较;
步骤02:基于比较结果分析预测补偿方案是否需要优化;
若不需要,则继续按照重要度不低于预设度的数据序列进行预测补偿;
否则,将未被传输的数据输入到数据修正模型中,对数据修正模型进行调整;
步骤03:基于调整后的数据修正模型行预测补偿。
5.如权利要求1所述的一种低延迟的数据传输方法,其特征在于,将每个数据序列与当前整个数据信息包的数据进行比较,得到每个数据序列在当前数据信息包中的重要度,包括:
将所述数据序列输入到脆弱性分析模型中,获取得到所述数据序列的内容脆弱性以及序列结构脆弱性,并计算对应数据序列的传输脆弱性;
Figure QLYQS_1
其中,C表示对应数据序列的传输脆弱性;
Figure QLYQS_2
表示对应数据序列的内容脆弱性;/>
Figure QLYQS_3
表示对应数据序列的序列结构脆弱性;/>
Figure QLYQS_4
表示针对内容的设置权重;/>
Figure QLYQS_5
表示针对结构的设置权重,且/>
Figure QLYQS_6
将当前数据序列与整个数据信息包中的剩余每个数据序列进行比较,并构建比较阵列
Figure QLYQS_7
,其中,所述比较阵列中包括若干比较值,/>
Figure QLYQS_8
表示当前数据序列与第一个剩余数据序列的比较值;/>
Figure QLYQS_9
表示当前数据序列与第二个剩余数据序列的比较值;
Figure QLYQS_10
表示当前数据序列与第n-1个剩余数据序列的比较值,且当前数据序列与所有剩余数据序列的总个数为n;
从所述比较阵列中提取相同的比较值,并分别获取相同比较组中的值个数
Figure QLYQS_11
以及值本身/>
Figure QLYQS_12
,其中,/>
Figure QLYQS_13
表示相同比较组的总组数且/>
Figure QLYQS_14
的取值大于或等于1;
同时,获取所述整个数据信息包中与所述当前数据序列完全一致的内容个数n2;
根据所有
Figure QLYQS_15
与预设值b0的比较,筛选大于预设值b0的所有最后比较组,并将所有最后比较组的值本身进行累加和计算,得到sum1,其中,只采用每个最后比较组中的一个值本身进行累加和计算;
根据如下公式,计算当前数据序列的重要度G:
Figure QLYQS_16
其中,sum0表示所有相同比较组的值本身的累加和,其中,只采用每个相同比较组中的一个值本身进行累加和计算。
6.一种低延迟的数据传输装置,其特征在于,包括:
数据获取单元:获取当前操作对应的数据信息包,所述数据信息包包括:实际数据信息以及与所述实际数据信息对应的传输起始地址以及传输到达地址;
分块传输单元:按照预设方法将所述数据信息包拆分成为多个数据序列,并按照数据序列在数据信息包中的重要度进行分块传输;
数据优化单元:对重要度不超过预设值的数据序列进行预测补偿,并基于历史数据情况对预测补偿后的数据进行数据优化;
数据传输单元:基于数据优化后的数据得到第二信息数据包,并基于第二信息数据包完成数据传输;
其中,数据优化单元,用于:
基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果;
获取所述数据信息包的数据特性,并从历史数据库中调取与所述数据特性一致的历史数据信息包的历史数据传输情况;
基于获取的历史数据传输情况,构建数据修正模型;
将第一预测补偿结果上传至数据修正模型中进行优化,得到优化后的预测补偿结果;
其中,基于重要度不低于预设度的数据序列,对重要度低于预设度的数据序列进行预测补偿,得到第一预测补偿结果,包括:
基于排序结果确定未被传输的数据序列的数据编号;
基于所述数据编号,确定每个未被传输的数据序列的前后两个数据序列,即为前数据序列以及后数据序列;
获取所述前数据序列的尾数据以及所述后数据序列的头数据,并对比所述尾数据和头数据的差异情况;
基于所述尾数据和头数据的第一差异情况,与预设变化列表进行比较,从而得到所述第一差异情况与预设变化列表中的每组变化数据对应的第二差异情况的重叠度;
将同个第一差异情况的所有重叠度进行比较,并按照重叠度大小进行排序,得到对应的重叠度表,其中,所述重叠度表包含n行m列,且每行与第一差异情况对应,且每列与预设变化列表中的每组变化数组对应;
获取基于所述预设变化列表中每组变化数据所对应的标准变化轨迹,并按照匹配的重叠度,对所述标准变化轨迹的每个轨迹段进行轨迹调整,作为第一预测补偿结果。
CN202310046470.0A 2023-01-31 2023-01-31 一种低延迟的数据传输方法及装置 Active CN115801196B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310046470.0A CN115801196B (zh) 2023-01-31 2023-01-31 一种低延迟的数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310046470.0A CN115801196B (zh) 2023-01-31 2023-01-31 一种低延迟的数据传输方法及装置

Publications (2)

Publication Number Publication Date
CN115801196A CN115801196A (zh) 2023-03-14
CN115801196B true CN115801196B (zh) 2023-07-04

Family

ID=85429259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310046470.0A Active CN115801196B (zh) 2023-01-31 2023-01-31 一种低延迟的数据传输方法及装置

Country Status (1)

Country Link
CN (1) CN115801196B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346279B1 (en) * 2002-03-25 2008-03-18 Forster Energy Llc Optical transceiver using heterodyne detection and a transmitted reference clock
CN103986763A (zh) * 2014-05-13 2014-08-13 中国科学院地理科学与资源研究所 一种面向Web可视化的矢量数据流式传输方法和系统
CN104809184A (zh) * 2015-04-20 2015-07-29 西北工业大学 基于规则前件发生树匹配的数据流预测方法
CN112637600A (zh) * 2020-12-14 2021-04-09 绍兴文理学院 对数据进行有损或无损压缩的编码、解码的方法或装置
CN112804707A (zh) * 2021-01-04 2021-05-14 腾讯科技(深圳)有限公司 数据传输方法、装置、计算机可读介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7178907B2 (ja) * 2017-02-03 2022-11-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7346279B1 (en) * 2002-03-25 2008-03-18 Forster Energy Llc Optical transceiver using heterodyne detection and a transmitted reference clock
CN103986763A (zh) * 2014-05-13 2014-08-13 中国科学院地理科学与资源研究所 一种面向Web可视化的矢量数据流式传输方法和系统
CN104809184A (zh) * 2015-04-20 2015-07-29 西北工业大学 基于规则前件发生树匹配的数据流预测方法
CN112637600A (zh) * 2020-12-14 2021-04-09 绍兴文理学院 对数据进行有损或无损压缩的编码、解码的方法或装置
CN112804707A (zh) * 2021-01-04 2021-05-14 腾讯科技(深圳)有限公司 数据传输方法、装置、计算机可读介质及电子设备

Also Published As

Publication number Publication date
CN115801196A (zh) 2023-03-14

Similar Documents

Publication Publication Date Title
AU2017204338B2 (en) Industry first method that uses users search query to show highly relevant poster frames for stock videos thereby resulting in great experience and more sales among users of stock video service
CN110751224B (zh) 视频分类模型的训练方法、视频分类方法、装置及设备
CN108563739B (zh) 天气数据获取方法及装置、计算机装置及可读存储介质
CN111611847B (zh) 基于尺度注意力空洞卷积网络的视频动作检测方法
CN107657008B (zh) 基于深度判别排序学习的跨媒体训练及检索方法
CN110889863B (zh) 一种基于目标感知相关滤波的目标跟踪方法
CN110188654B (zh) 一种基于移动未裁剪网络的视频行为识别方法
CN111104555A (zh) 基于注意力机制的视频哈希检索方法
CN111242033A (zh) 一种基于视频和文字对判别分析的视频特征学习方法
CN112487805A (zh) 一种基于元学习框架的小样本Web服务分类方法
CN110751030A (zh) 一种视频分类方法、设备及系统
WO2019144728A1 (zh) 数据处理
CN106557777A (zh) 一种基于SimHash改进的Kmeans聚类方法
CN105930432A (zh) 序列标注工具的训练方法和装置
CN109543029B (zh) 基于卷积神经网络的文本分类方法、装置、介质和设备
CN108804577B (zh) 一种资讯标签兴趣度的预估方法
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
KR100896336B1 (ko) 영상 정보 기반의 동영상 연관 검색 시스템 및 방법
CN113177138A (zh) 一种基于弹幕和标题分析的有监督视频分类方法
CN109871379A (zh) 一种基于数据块学习的在线哈希最近邻查询方法
CN115801196B (zh) 一种低延迟的数据传输方法及装置
CN109213974B (zh) 一种电子文档转换方法及装置
CN114218348A (zh) 基于问答文本的直播片段获取方法、装置、设备及介质
US20230353797A1 (en) Classifying segments of media content using closed captioning
CN117076803A (zh) 一种大数据量场景下日志预览优化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant