CN114338826A - 数据传输方法、装置、系统及相关设备 - Google Patents
数据传输方法、装置、系统及相关设备 Download PDFInfo
- Publication number
- CN114338826A CN114338826A CN202111670785.XA CN202111670785A CN114338826A CN 114338826 A CN114338826 A CN 114338826A CN 202111670785 A CN202111670785 A CN 202111670785A CN 114338826 A CN114338826 A CN 114338826A
- Authority
- CN
- China
- Prior art keywords
- data
- transmitted
- reference sample
- preset
- identification information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 106
- 238000000034 method Methods 0.000 title claims abstract description 98
- 239000013074 reference sample Substances 0.000 claims abstract description 268
- 239000003999 initiator Substances 0.000 claims description 39
- 239000000523 sample Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 15
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 12
- 238000011084 recovery Methods 0.000 claims description 7
- 238000012546 transfer Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 description 27
- 238000012545 processing Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000013144 data compression Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000013499 data model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
本发明实施例提供一种数据传输方法、装置、系统及相关设备,所述方法包括:获取待传输数据;确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息和所述差值用于还原所述待传输数据。本发明实施例可以有效压缩数据信息,降低硬件资源消耗。
Description
技术领域
本发明实施例涉及芯片技术领域,具体涉及一种数据传输方法、装置、系统及相关设备。
背景技术
芯片互联是一种通过高速物理接口实现芯片间总线互联的技术,多个系统级芯片(SOC,system on chip)通过芯片互联技术,可以组成的性能更加强大的系统,为用户提供更加高效的服务。
然而,由于跨芯片传输的带宽资源有限,传输功耗较高,如何在芯片互联时压缩数据信息,有效利用硬件资源,成为本领域技术人员亟待解决的问题。
发明内容
有鉴于此,本发明实施例提供一种数据传输方法、装置、系统及相关设备,以有效压缩数据信息,降低硬件资源消耗。
为实现上述目的,本发明实施例提供如下技术方案。
第一方面,本发明实施例提供一种数据传输方法,包括:
获取待传输数据;
确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;
计算所述待传输数据与所述参照样例的数据之间的差值;
发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值还原所述待传输数据。
第二方面,本发明实施例还提供一种数据传输方法,包括:
获取参照样例的标识信息和差值;其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值;
根据所述参照样例的标识信息,确定所述参照样例;
基于所述参照样例和所述差值,还原所述待传输数据。
第三方面,本发明实施例提供一种数据传输装置,包括:
第一预处理模块,用于获取待传输数据;
差值计算模块,用于确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;
第一数据发送模块,用于发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值用于还原所述待传输数据。
第四方面,本发明实施例还提供一种数据传输装置,包括:
第二预处理模块,用于获取参照样例的标识信息和差值;其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值;
数据恢复模块,用于根据所述参照样例的标识信息,确定所述参照样例;基于所述参照样例和所述差值,还原所述待传输数据。
第五方面,本发明实施例还提供一种数据传输系统,所述数据传输系统被配置为执行本发明实施例提供的应用于发送端的数据传输方法,和/或,执行本发明实施例提供的应用于接收端的数据传输方法。
第六方面,本发明实施例提供一种计算机设备,包括至少一个存储器和至少一个处理器;所述存储器存储一条或多条计算机可执行指令,所述处理器调用所述一条或多条计算机可执行指令,以执行本发明实施例提供的应用于发送端的数据传输方法,和/或,执行本发明实施例提供的应用于接收端的数据传输方法。
第七方面,本发明实施例提供一种存储介质,所述存储介质存储一条或多条可执行指令,所述一条或多条可执行指令用于执行本发明实施例提供的应用于发送端的数据传输方法,和/或,执行本发明实施例提供的应用于接收端的数据传输方法。
本发明实施例提供的数据传输方法、装置、系统及相关设备,所述方法包括:获取待传输数据;确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息和所述差值用于还原所述待传输数据。
可以看出,本发明实施例中,发送端可以基于待传输数据,确定与待传输数据在数据结构上相关的参照样例的标识信息,以及,待传输数据与所述参照样例的差值,并基于参照样例的标识信息和所述差值进行传输,并可以在接收端基于参照样例的标识信息确定所述参照样例,并进一步基于参照样例和所述差值还原所述待传输数据,从而在数据传输的过程中,将待传输数据压缩为该标识信息和差值,使得发送端与接收端之间仅需传输该标识信息和差值即可。可以理解的是,该标识信息和差值,在数据量上显然远远小于待传输数据,从而使得本发明实施例可以有效压缩数据信息,降低硬件资源消耗。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的两个芯片间的芯片互联的可选架构图;
图2为本发明实施例提供的应用于发送端的数据传输方法的一可选流程图;
图3为本发明实施例提供的总线数据类型示例图;
图4为本发明实施例提供的数据的预设格式示意图;
图5为本发明实施例提供的应用于发送端的数据传输方法的另一可选流程图;
图6为本发明实施例提供的应用于发送端的数据传输方法的又一可选流程图;
图7为本发明实施例提供的步骤S11的可选流程图;
图8为本发明实施例提供的应用于发送端的数据传输方法的再一可选流程图;
图9为本发明实施例提供的参照样例的可选更新流程图;
图10为本发明实施例提供的应用于接收端的数据传输方法的一可选流程图;
图11为本发明实施例提供的应用于接收端的数据传输方法的另一可选流程图;
图12为本发明实施例提供的应用于接收端的数据传输方法的又一可选流程图;
图13为本发明实施例提供的应用于接收端的数据传输方法的再一可选流程图;
图14为本发明实施例提供的数据传输装置的一可选框图;
图15为本发明实施例提供的数据传输装置的另一可选框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为便于理解芯片互联技术,下面,以两个芯片间的芯片互联为例,对芯片互联技术中的数据传输过程进行介绍。
参照图1所示两个芯片间的芯片互联的可选架构,该架构中的两芯片可以为第一芯片11和第二芯片12,各芯片内均包括传输层13、数据链路层14和物理层15;
其中,传输层13用于处理协议相关事务,包括与内部总线的逻辑交互、总线信号的压缩等;数据链路层14用于保证链路的连接性和健壮性,负责包括链路的建立、数据重传等任务;物理层15用于将数据转换成信号并传输。
以总线数据从第一芯片11传输至第二芯片12为例,第一芯片11内的总线数据经第一芯片11的传输层13、数据链路层14和物理层15的传输后,通过高速物理接口传输到第二芯片12的物理层15,并进一步经过数据链路层14,被第二芯片12的传输层13接收。从逻辑来看,该传输过程相当于实现了第一芯片11的传输层13和第二芯片12的传输层13之间的通信,即实现了2个芯片的总线逻辑互联。
然而,从实际过程来看,芯片间的数据传输,实质上仍是需要传输层以外的数据链路层和物理层的硬件资源支持,而如何有效利用这些硬件资源,成为本领域技术人员亟待解决的问题。
基于此,本发明实施例提供了一种数据传输方法、装置、系统及相关设备,所述方法包括:获取待传输数据;确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值还原所述待传输数据。
可以看出,本发明实施例中,在数据传输的过程中,可以将待传输数据压缩为该标识信息和差值,使得发送端与接收端之间仅需传输该标识信息和差值即可。可以理解的是,该标识信息和差值,在数据量上显然远远小于待传输数据,从而使得本发明实施例可以有效压缩数据信息,降低硬件资源消耗。
下面,对本发明实施例提供的数据传输方案进行详细的说明。
在一种可选实现中,图2示例性的示出了本发明实施例提供的应用于发送端的数据传输方法的一可选流程图。所述方法应用于数据传输的发送端,如图2所示,所述方法包括:
步骤S10:获取待传输数据;
所述待传输数据,可以理解为即将传输的数据,用于指代当前即将处理的数据。在芯片互联场景下,所述待传输数据可以为总线数据,适用于从一芯片传输至另一芯片的数据,然而,在其他用于实现数据传输的场景下,所述待传输数据也可以为其他线路的数据,本发明在此不做具体的限定。
所述待传输数据可以为用于实现逻辑控制的控制数据(对应的信号可以称为控制信号),也可以为指代具体内容的内容数据(对应的信号可以称为数据信号)。其中,基于控制数据具有较为一致的格式和结构,在本发明实施例以所述待传输数据为控制数据为例进行说明,在本发明的其他实施例中,所述待传输数据还可以为其他类型的数据,本发明在此不做具体的限定。
以总线数据为例,总线数据为通过总线传输的数据,通常可以包含写请求、写数据、写响应、读请求、读响应和读数据等。其中,这些数据在具体的传输过程中,可以体现为在总线中传输的各种信号,这些信号可以包括地址信号、请求类型、请求优先级、请求标号、请求状态、请求数据、响应标号、响应状态、响应数据等协议交互所需的各类信息,其中,请求数据和响应数据可以理解为数据信号,请求数据和响应数据以外的其他信号则可以理解为控制信号,相应的,基于这些信号的分类,写请求、写响应、读请求和读响应等仅通过控制信号进行传输的数据可以理解为控制数据。
具体的,参考图3示出的总线数据类型示例,总线数据通常可以为写请求、写数据、写响应、读请求、读响应和读数据等数据类型,其中,图示中的箭头方向以左侧向右侧发送请求为例,说明各数据的传输方向,请求(例如写请求/读请求)中需要传输的信号包括:请求地址、请求长度、请求标号、发起者标记、接受者标记、请求命令、请求属性、请求优先级、请求安全级别、虚通道标记和请求流标记等,响应(例如写响应/读响应)中需要传输的信号包括:响应标记、发起者标记、接收者标记、响应状态、响应属性、响应优先级、虚通道标记和响应流标记等,由此,可以将仅通过控制信号进行传输的数据(包含写请求、写响应、读请求和读响应)理解为控制数据。
可以理解的是,在芯片互联场景下,在需要将待传输数据从一芯片的传输层传输至另一芯片的传输层时,获取所述待传输数据,为后续处理步骤提供基础。
继续参考图2,步骤S11:确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;
所述参照样例为预设的用于作为参照基础的数据模型,通过在后续步骤中确定待传输数据与参照样例的区别,进而使得接收端可以基于参照样例和该区别信息还原待传输数据。
可以理解的是,所述参照样例可以为多个,在获取所述待传输数据后,可以确定与之对应的参照样例,该对应的参照样例,应当与待传输数据在数据结构上相关。在一个可选的示例中,可以将所述待传输数据与所述参照样例逐一比对,以确定与待传输数据对应的参照样例,或者,还可以基于预设的规则或预设的标识信息,确定与待传输数据对应的参照样例。
需要说明的是,参照样例与待传输数据在数据结构上相关,可以理解为参照样例与待传输数据在数据结构上相同或相似,例如,在数据结构中的各域段一一对应相同,或者,在数据结构中,仅有少量(例如小于或等于预设数量)的域段不同,而剩余域段一一对应相同。相应的,与所述待传输数据在数据结构上相关的参照样例,可以理解为与所述待传输数据在数据结构上最相似的参照样例。其中,所述域段指的是域段类型,如地址域段、属性域段等,并不指代域段内的具体数据。
通过选取结构相同或相似的参照样例,以降低待传输数据与参照样例之间的差值,以便在后续更精准的还原待传输数据。
步骤S12:计算所述待传输数据与所述参照样例的数据之间的差值;
在确定参照样例后,通过计算待传输数据与参照样例的数据之间的差值,以确定待传输数据与参照样例之间的区别信息。
以待传输数据为常用的AXI(Advanced eXtensible Interface,一种总线协议)写请求,待传输场景为总线数据传输场景为例,AXI写请求中可以配置有写地址awaddr 32bit(位),突发长度(awlen)8bit,突发大小(awsize)3bit,突发类型(awburst)2bit,总线锁信号(awlock)2bit,内存类型(awcache)4bit,写地址ID(awid)12bit,保护类型(awprot)3bit,区域标志(awregion)4bit,(用户自定义信号)awuser 6bit,质量服务QoS(awqos)4bit,其中,将待传输数据按{awaddr_h,awqos,awregion,awlock,awprot,awcache,awuser,awburst,awsize,awid,awlen,awaddr_l}组织成80bit的待传输数据,其中,awaddr_h指写地址的高位地址域段,awaddr_l指写地址的低位地址域段;例如,待传输数据可以为0x1C1D031FC8,参照样例的数据可以为0x1C1D031FC4,两者的差值为0x4,其中,0x表示相应的数据为16进制数据,0x后的数据表示具体的值。
步骤S13:发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息和所述差值用于还原所述待传输数据;
其中,所述参照样例可以设置有与之对应的标识信息,在发送端和接收端,该标识信息与参照样例具有等同的对应关系,从而在发送端和接收端,均可基于参照样例的标识信息确定对应的参照样例。例如,在发送端和接收端,可以设置有等同的参照样例库,对应的标识信息可以为参照样例库中对应各参照样例的索引信息,在确定标识信息后,可以基于该标识信息从参照样例库中查找与之对应的参照样例;同样的,在确定参照样例后,同样可以得到对应该参照样例的标识信息。从而,在进行数据传输时,仅传输该标识信息,即可确定对应该标识信息的参照样例。
可以理解的是,所述标识信息的数据长度小于所述参照样例的数据长度,可选的,所述标识信息的数据长度远小于所述参照样例的数据长度,从而可以降低所需传输的数据长度,降低硬件资源消耗。
在确定所述参照样例和所述差值后,通过仅发送所述参照样例的标识信息和所述差值,使得接收端可以基于参照样例的标识信息确定参照样例,并进一步基于所确定的参照样例和所述差值,还原所述待传输数据。
在一个示例中,在得到参照样例的标识信息后,可以基于基于参照样例的标识信息确定参照样例,从而得到参照样例的数据,例如参照样例的数据可以为0x1C1D031FC4,基于所获取的差值,例如可以为0x4,可以将该参照样例的数据0x1C1D031FC4与差值0x4相加,还原得到待传输数据0x1C1D031FC8。其中,可以理解的是,所述参照样例的标识信息和所述差值实质上就是待传输数据压缩处理后得到的数据,在总线数据传输场景下,该标识信息和差值对应的控制信号连同与之关联的数据信号一起按照数据链路层指定的格式进行编码并发送。
在一个可选的示例中,所发送的数据可以基于预设格式进行发送。具体的,参考图4所示的数据的预设格式示意图,所述预设格式包括数据长度、参照样例的标识信息和差值数据。其中,参照样例的标识信息可以为参照样例的索引,差值数据为所述差值的具体数据,所述数据长度用于指示标识信息的数据长度和差值的数据长度,其中,具体的数据长度可以以比特为单元计量。可以理解的是,基于对数据长度的提示,使得本发明实施例中标识信息和差值的数据长度可以基于实际情况进行逐一设置,再根据数据长度的提示进行标识信息和差值的区分,从而最大程度的减少需要传输的数据量,进而有效压缩数据信息,降低硬件资源消耗。
可以理解的是,在数据传输过程中,具有固定制式的数据显然更适应于本发明实施例所述的数据传输方法,从而,在一个可选的示例中,可以基于具体的待传输数据,选择性的执行本发明实施例所提供的方法。具体的,参照图5所示的应用于发送端的数据传输方法的另一可选流程图,在数据传输的发送端,所述数据传输方法在步骤S10之后,步骤S11之前,还可以进一步执行:
步骤S14:基于预设的规则,判断是否处理所述待传输数据,所述预设的规则,包括数据类型规则、数据来源规则和/或数据标识规则。
若是,则执行后续的步骤S11,若否,则执行步骤S15。
其中,所述数据类型规则用于设定允许执行后续的处理步骤的待传输数据的数据类型。其中,所述后续的处理步骤指步骤S11。可以理解的是,前述待传输数据限定为控制数据时,可以不设定本步骤数据类型规则,而在待传输数据未进行数据类型的限定时,可以在本步骤中设定相应的数据类型,例如,设定数据类型为控制数据。
所述数据来源规则用于设定允许执行后续的处理步骤的待传输数据的原始数据来源。其中,待传输数据的原始数据来源,无论是请求还是响应,均指的是发出请求的设备,例如,CPU(central processing unit,中央处理器)发出一个写请求,该写请求作为待传输数据,对应的原始数据来源为CPU;而对应该写请求的写响应,作为待传输数据,其数据来源可以为DMA(Direct Memory Access,直接存储器访问)设备,但是其对应的原始数据来源则是其对应的写请求的数据来源,即CPU。
在总线数据中,相应的,待传输数据的原始数据来源可以为CPU(centralprocessing unit,中央处理器),也可以为GPU(graphics processing unit,图形处理器)、协处理器、DMA(Direct Memory Access,直接存储器访问)设备、IO(Input/Output,输入/输出)设备等外围设备,考虑到以CPU为原始数据来源的待传输数据之间的关联度一般较低,而以上述外围设备为原始数据来源的待传输数据之间的关联度一般较高,且相应的待传输数据具有固定制式的概率也更大,因此,可以设定GPU、协处理器、DMA设备、IO设备等外围设备为原始数据来源的待传输数据允许执行后续的处理步骤。
在一个具体的示例中,可以根据待传输数据中的发起者标记和/或接收者标记(例如请求中的发起者标记/响应中的接受者标记)来判断待传输数据的原始发起者。
所述数据标识规则用于设定允许执行后续的处理步骤的待传输数据的数据标识。其中,对于特定的待传输数据,可以通过设置数据标识,以控制是否执行后续的处理步骤。在一个可选的示例中,可以在待传输数据的属性域段进行标记,从而作为待传输数据的数据标识,所述数据标识用于指示是否允许执行后续的处理步骤。
需要说明的是,所述预设的规则,可以为上述规则中的一个,也可以为上述规则中的任意多个,本申请在此不做具体的限制。
步骤S15:发送所述待传输数据;
在所述待传输数据若无需进行相应的处理,则直接将所述待传输数据发出。
基于上述示例,在数据传输过程中,可以选择性的执行本发明实施例所提供的方法,从而尽量选取具有固定制式的数据进行对应处理,从而提高数据的处理效率。
可以理解的是,在进行数据传输的过程中,待传输数据与参照样例的差值越小,待传输数据与参照样例的相似度越大,相应的,差值所占用的数据位越少,数据的压缩率越高。发明人认为,可以通过调整数据的数据结构,降低待传输数据与参考样例的差值。具体的,考虑到数据传输过程中,不同时刻的待传输数据通常随着系统的运行不断变化,然而,针对待传输数据特别是具有固定制式的待传输数据,其不同的域段则可能具有不同的变化概率,因而,可以将数据中容易发生变化的域段设置在数据的低位,而不易发生变化的域段设置在数据的高位,从而在计算数据的差值时,高位的数据若不发生变化,则对应的差值仅体现低位上,相应的,数据的差值越小。
基于此,本发明实施例可以将用于计算差值的数据,调整为预设的数据结构,进而基于该结构进行差值计算。在该预设的数据结构中,数据中的域段的排序规则包括:发生变化概率高的域段排在低位,发生变化概率低的域段排在高位;并且,所述参照样例中的域段基于所述预设顺序排列。其中,需要说明的是,所述参照样例的数据结构可以为调整后的结构,从而不必在每次计算前进行数据结构的调整,进而降低数据传输方案的计算量。
具体的,本发明实施例进一步提供数据传输方法的另一可选示例,通过对数据结构进行调整,降低待传输数据与参照样例的差值。具体的,参照图6所示的应用于发送端的数据传输方法的又一可选流程图,所述数据传输方法在步骤S10之后,步骤S11之前,具体还可以为步骤S14判断结果为处理所述待传输数据时,可以进一步执行:
步骤S16:调整所述待传输数据的数据结构,使所述待传输数据中的域段基于预设顺序排列;
其中,所述预设顺序的排序规则包括:发生变化概率高的域段排在低位,发生变化概率低的域段排在高位;并且,所述参照样例中的域段基于所述预设顺序排列。
可以理解的是,在确定预设顺序的排序规则时,可以通过对待传输数据各个域段发生变化的概率进行统计确定。所述预设顺序在一段时间内应当是固定的,而非实时变化的,而在所述预设顺序需要更新时,应当同时基于更新后的预设顺序对参照样例中的数据进行调整。
在一个可选的示例中,还可以对数据中的原有域段进行再划分,具体的,可以将一个原有域段划分为多个域段,例如,可以将地址域段划分为高地址域段和低地址域段,或者,基于系统地址的构成方式,将地址域段划分为更多域段,并基于再划分后的域段进行预设顺序的确定,进而基于预设顺序进行数据结构的调整。
在所述待传输数据为外围设备(包括GPU、协处理器、DMA设备、IO设备等)等作为原始发起者发起的控制数据(例如请求/响应)时,可以统计对该原始发起者在进行块数据操作时,对应在控制数据的各个域段发生变化的概率,从而确定所述预设顺序。
在另一个可选的示例中,所述对待传输数据的数据结构的调整,还可以删除冗余的信息。例如,在参照样例的标识信息中包含有用于标记原始发起者的原始发起者标记时,本步骤中还可以进一步删除所述待传输数据中的原始发起者标记域段,从而进一步降低数据的运算量,提高数据的运算效率。
在一个可选的实现中,考虑到基于待传输数据的原始发起者不同,对应的数据结构不同,而在原始发起者相同时,对应的数据结构和数据内容则相似度较大,相应的,可以将参照样例基于不同的原始发起者进行区分,进而在步骤S11确定与所述待传输数据相对应的参照样例时,可以将原始发起者作为相应的参照进行确定。
具体的,所述参照样例的标识信息中包含用于标记原始发起者的原始发起者标记,相应的,步骤S11具体可以为:根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例;
其中,所述待传输数据中,可以根据其内的原始发起者标记域段(例如,对应请求的发起者标记域段,或对应响应的接收者标记域段),确定所述待传输数据的原始发起者,进而,可以根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例。
在另一个可选的实现中,对应一个原始发起者可以设置有多个参照样例,其中,可以将对应一个原始发起者的参照样例设置为一个参照样例组,一个参照样例组可以包括至少一个参照样例,相应的,参考图7示出的步骤S11的可选流程图,步骤S11可以包括:
步骤S111:根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例组;
基于待传输数据中的原始发起者标记域段,可以确定所述待传输数据的原始发起者,进而可以确定与所述待传输数据相对应的参照样例组。
步骤S112:在所述参照样例组中,确定与所述待传输数据的数据结构最接近的参照样例;
在确定参照样例组后,可以根据待传输数据的数据结构确定与之最接近的参照样例。
结合前述,可以选择在数据结构中的各域段的类型一一对应相同,或者,在数据结构中,仅有少量(例如小于或等于预设数量)的域段类型不同,而剩余域段类型一一对应相同的参照样例,作为所确定的参照样例。其中,该预设数量可以为3、5或者7,本发明在此不做具体的限制。
在一个可选的示例中,考虑到若所述差值超出一定的范围,则有数据量过大的可能,对应的,参考图8示出的应用于发送端的数据传输方法的再一可选流程图,在本发明实施例的步骤S12之后,步骤S13之前,还进一步包括:
步骤S17:判断所述差值是否大于或等于预设值;
可以理解的,本发明实施例基于差值进行数据传输,用于减少数据传输量,相应的,所述差值的最大位数应当远小于待传输数据的位数,相应的,所述预设值可以为能够传输的差值的最大位数所指代的最大值。可以理解的,基于参照样例的标识信息和差值进行数据计算,本身即用于压缩所需传输数据的数据量,相应的,留给差值的数据位也是有限的,因此,在超出对应差值的数据位所能指代的数据最大值后,则无法进行数据的准确传输。
在判断所述差值是否大于或等于预设值时,若是,则执行步骤S13,若否,则可以执行步骤S15,发送所述待传输数据。
在一个可选的示例中,所述数据传输方案还进一步对参照样例的更新,具体的,在步骤S14中,若所述待传输数据可以执行后续的处理步骤,且所述待传输数据未被成功处理,(例如,在步骤S11中未确定与之对应的参照样例,或者,在步骤S17中所述差值大于或等于预设值),则可以执行参照样例的更新流程。参考图9示出的参照样例的可选更新流程图,所述更新流程包括:
步骤S18:将所述待传输数据作为参照样例,存储至第一预设存储空间。
其中,所述第一预设存储空间可以为发送端用于存储参照样例的存储空间。在一个可选的示例中,所述第一预设存储空间可以设置在发送端的样例管理模块中,其中,当所述第一预设存储空间中具有剩余空间时,可以直接执行相应的存储操作,当所述第一预设存储空间中没有剩余空间时,则可以基于预设的替换策略,删除一个已有的参照样例,再执行本步骤中的存储操作。
其中,所述替换策略,例如可以为选择最久未使用的预存模板进行删除,在本发明的其他示例中,所述替换策略也可以采用其他算法,本发明在此不做具体的限定。
需要说明的是,在进行所述参照样例的存储过程中,可以基于待传输数据的原始发起者标记作为索引进行存储,或者,还可以设置对应该待传输数据的标识信息作为索引进行存储,其中,该标识信息包含有所述原始发起者标记。
另外,在进行参照样例的存储之前,还可以对待传输数据的数据结构进行调整,使所述待传输数据中的域段基于预设顺序排列。同时,在索引包含有原始发起者标记时,对待传输数据的数据结构进行调整的过程中,还可以进一步删除所述待传输数据中的原始发起者标记域段。
其中,在将所述待传输数据作为参照样例进行存储后,还可以进一步执行:
步骤S19:在所述待传输数据内设置样例更新标记;
所述样例更新标记用于指示所述待传输数据需要作为参照样例进行更新,从而使得接收端能够基于该样例更新标记执行对应的更新,保证发送端和接收端的参照样例相同。其中,所述样例更新标记可以设置在待传输数据的属性域段。
在执行完步骤S19后,可以进一步执行步骤S15,将所述待传输数据发送至接收端。
相应的,本发明实施例还进一步提供了一种数据传输方法,该方法应用于数据传输的接收端,如图10示例性的示出的应用于接收端的数据传输方法的一可选流程图,所述方法包括:
步骤S20:获取参照样例的标识信息和差值;
其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值。
在发送端发出所述参照样例的标识信息和差值后,接收端可以获取所述参照样例的标识信息和差值,从而基于所述参照样例的标识信息和差值,进行待传输数据的还原。
步骤S21:根据所述参照样例的标识信息,确定所述参照样例;
在获取参照样例的标识信息后,可以基于该标识信息进行参照样例的确定,进而基于该参照样例执行后续的处理。
需要说明的是,在本发明实施例提供的数据传输方案中,发送端和接收端中参照样例及其对应的标识信息是相同的。其中,发送端中的参照样例可以存储在第一预设存储空间,接收端的参照样例可以存储在第二预设存储空间,两预设存储空间内的软件参数和硬件参数也应当一致。例如,在两预设存储空间内的对参照样例的替换策略应当一致,两预设存储空间的空间大小应当一致。其中,两预设存储空间内的参照样例不一定同时更新,但在数据传输过程中,仍会先后进行对应的更新,为发送端和接收端的数据压缩和还原提供支持。
步骤S22:基于所述参照样例和所述差值,还原所述待传输数据。
在确定所述参照样例后,可以基于所述参照样例和所述差值进行相应的计算,从而还原所述待传输数据。
具体的,可以对所述参照样例和所述差值进行加法计算,从而得到所述待传输数据。
在一个可选的示例中,还原所述待传输数据,还可以进一步包括:
步骤S28:发送待传输数据至所述待传输数据所指向的设备;
其中,所述待传输数据中包含有其所指向的设备信息,相应的,可以基于该设备信息,将所述待传输数据发送至其所指向的设备。
在一个可选的示例中,在接收端接收到发送端所发送的数据时,可以对所发送的数据进行判断,确定所接收的数据包含有参照样例的标识信息和差值。具体的,参考图11示出的应用于接收端的数据传输方法的可选流程图,在步骤S20之前,本发明实施例还可以进一步包括:
步骤S23:接收发送端发送的数据;
在发送端发送数据后,接收端可以接收到发送端发送的数据。
步骤S24:判断所接收的数据是否包含有参照样例的标识信息和差值;
通过判断所接收的数据是否包含有参照样例的标识信息和差值,可以确定是否进行待传输数据的还原步骤。
在一个可选的示例中,可以基于数据的标识信息或数据的特征信息进行判断,例如,判断所接收的数据中的标识信息是否指示器包含有参照样例的标识信息和差值,或者,基于所接收的数据中特定域段的信息,判断所接收的数据中是否包含有参照样例的标识信息和差值。
其中,在判断结果为是时,执行步骤S20,在判断结构为否时,则认为所接收的数据为发送端的原始的待传输数据,则直接对原始的待传输数据进行后续的处理。例如,在总线数据传输场景下,则可以执行步骤S28。
在一个可选的示例中,在接收端接收到发送端所发送的数据时,还可以对所发送的数据进行分析,确定所接收的数据是否包含有样例更新标记。具体的,参考图12示出的应用于接收端的数据传输方法的又一可选流程图,在步骤S23之后,或者,在步骤S24的判断结果为否时,本发明实施例还可以进一步包括:
步骤S25:确定所接收的数据是否包含有样例更新标记;
若是,则执行步骤S26,若否,则退出样例更新流程。
其中,所述样例更新标记用于指示将待传输数据作为参照样例进行保存。从而实现发送端和接收端的参照样例的同步更新。
在一个可选的示例中,发送端将所述样例更新标记设置在待传输数据的属性域段,相应的,本示例中的接收端则可以基于所接收的数据的属性域段进行样例更新标记的判断。
步骤S26:将所接收的数据作为参照样例,存储至第二预设存储空间。
其中,可以将所接收的数据理解为原始的待传输数据,并将所述待传输数据作为参照样例,存储至第二预设存储空间。
需要说明的是,所述第二预设存储空间可以为接收端用于存储参照样例的存储空间。在一个可选的示例中,所述第二预设存储空间可以设置在接收端的样例管理模块中,其中,当所述第二预设存储空间中具有剩余空间时,可以直接执行相应的存储操作,当所述第二预设存储空间中没有剩余空间时,则可以基于预设的替换策略,删除一个已有的参照样例,再执行本步骤中的存储操作。
其中,所述替换策略,例如可以为选择最久未使用的预存模板进行删除,在本发明的其他示例中,所述替换策略也可以采用其他算法,本发明在此不做具体的限定。
需要说明的是,在进行所述参照样例的存储过程中,可以基于所接收的数据的原始发起者标记作为索引进行存储,或者,还可以设置对应该所接收的数据的标识信息作为索引进行存储,其中,该标识信息包含有所述原始发起者标记。
另外,在进行参照样例的存储之前,还可以对所接收的数据的数据结构进行调整,使所接收的数据中的域段基于预设顺序排列。同时,在索引包含有原始发起者标记时,对所接收的数据的数据结构进行调整的过程中,还可以进一步删除所接收的数据中的原始发起者标记域段。
可以理解的是,在进行数据压缩的流程中,若对待传输数据的数据结构进行了调整,从而使得待传输数据中的域段基于预设顺序排列,相应的,在本示例对数据的还原步骤,还可以对数据结构进行还原。具体的,参考图13示出的应用于接收端的数据传输方法的再一可选流程图,在步骤S22之后,步骤S28之前,进一步包括:
步骤S27:调整所述待传输数据的数据结构,以使所述待传输数据中的域段基于原始顺序排列;
其中,所述原始顺序为所述待传输数据被调整为预设顺序之前的排列顺序。
需要说明的是,在进行数据传输的过程中,发送端和接收端是相对称呼,一个端可以同时为发送端和接收端,相应的,接收端同时具有发送端应当设置的数据信息。因此,接收端同时具有发送端发送待传输数据时用于调整待传输数据的预设顺序的信息。同时,待传输数据的原始顺序是固定的,相应的,在进行数据结构的调整时,可以基于预设顺序和原始顺序的对应关系,将所述待传输数据的数据结构调整为基于原始顺序排列。
在另一个可选的示例中,若发送端删除了待传输数据的原始发起者标记域段,所述对待传输数据的数据结构的调整,还可以在所述待传输数据中增加所述原始发起者标记域段,从而完整准确的还原待传输数据。
在一种可选的实现中,本发明实施例提供了一种数据传输装置,该装置应用于数据的发送端,例如可以在发送端的传输层,参考图14示出的本发明实施例提供的数据传输装置的一可选框图,所述装置可以包括:第一预处理模块20、差值计算模块21、第一数据发送模块22;
其中,第一预处理模块20,用于获取待传输数据;
差值计算模块21,用于确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;
第一数据发送模块22,用于发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值还原所述待传输数据。
可选的,所述第一预处理模块20,还用于基于预设的规则,判断是否处理所述待传输数据,所述预设的规则,包括数据类型规则、数据来源规则和/或数据标识规则;若是,由差值计算模块确定与所述待传输数据相对应的参照样例,若否,则由数据发送模块发送所述待传输数据。
可选的,所述差值计算模块21,还用于调整所述待传输数据的数据结构,使所述待传输数据中的域段基于预设顺序排列;其中,所述预设顺序的排序规则包括:发生变化概率高的域段排在低位,发生变化概率低的域段排在高位;并且,所述参照样例中的域段基于所述预设顺序排列。
可选的,所述参照样例的标识信息中包含用于标记原始发起者的原始发起者标记,所述差值计算模块21,还用于删除所述待传输数据中的原始发起者标记域段。
可选的,所述预设顺序为对原有域段再划分后的顺序,所述原有域段为待传输数据中原有的域段,所述对原有域段再划分,具体为,将一个原有域段划分为多个域段。
可选的,所述参照样例的标识信息中包含用于标记原始发起者的原始发起者标记;所述差值计算模块21,用于确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关,具体为,根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例。
可选的,一个原始发起者对应有一个参照样例组,一个参照样例组中包括至少一个参照样例;所述差值计算模块21,用于确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关,包括:
根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例组;
在所述参照样例组中,确定与所述待传输数据的数据结构最接近的参照样例。
可选的,所述差值计算模块21,还用于判断所述差值是否大于或等于预设值;
若否,执行所述发送所述参照样例的标识信息和所述差值;若是,发送所述待传输数据。
可选的,所述第一数据发送模块22,用于发送所述参照样例的标识信息和所述差值,具体为,基于预设格式发送所述参照样例的标识信息和所述差值,所述预设格式包括数据长度、所述参照样例的标识信息和所述差值,其中,所述数据长度用于指示所述参照样例的标识信息的数据长度和所述差值的数据长度。
可选的,所述数据传输装置还包括:第一样例管理模块23,用于将所述待传输数据作为参照样例,存储至第一预设存储空间;其中,所述第一预设存储空间为用于存储参照样例的存储空间,若所述第一预设存储空间中具有剩余空间时,直接执行存储操作;若所述第一预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
可选的,所述第一样例管理模块23,用于将所述待传输数据作为参照样例,存储至第一预设存储空间之后,所述差值计算模块21,还用于在所述待传输数据内设置样例更新标记,并由第一数据发送模块22发送所述待传输数据。
在一种可选的实现中,本发明实施例提供了一种数据传输装置,该装置应用于数据的接收端,例如可以在接收端的传输层,参考图15示出的本发明实施例提供的数据传输装置的一可选框图,所述装置可以包括:第二预处理模块30、数据恢复模块31;
第二预处理模块30,用于获取参照样例的标识信息和差值;其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值;
数据恢复模块31,用于根据所述参照样例的标识信息,确定所述参照样例;基于所述参照样例和所述差值,还原所述待传输数据。
可选的,所述第二预处理模块30,还用于接收发送端发送的数据;判断所接收的数据是否包含有参照样例的标识信息和差值;若是,获取参照样例的标识信息和差值。
可选的,所述数据传输装置,还包括:第二样例管理模块32,用于确定所接收的数据是否包含有样例更新标记;若是,将所接收的数据作为参照样例,存储至第二预设存储空间;其中,所述第二预设存储空间为用于存储参照样例的存储空间,若所述第二预设存储空间中具有剩余空间时,直接执行存储操作;若所述第二预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
可选的,所述待传输数据中的域段基于预设顺序排列,所述数据恢复模块31,还用于调整所述待传输数据的数据结构,以使所述待传输数据中的域段基于原始顺序排列;所述原始顺序为所述待传输数据被调整为预设顺序之前的排列顺序。
可选的,所述数据恢复模块31,用于调整所述待传输数据的数据结构的过程中,还在所述待传输数据中增加原始发起者标记域段。
可选的,所述数据传输装置,还包括:第二数据发送模块33,用于发送待传输数据至所述待传输数据所指向的设备。
本发明实施例还提供一种数据传输系统,该数据传输系统可以被配置为执行本发明实施例提供的应用于发送端的数据传输方法,和/或,本发明实施例提供的应用于接收端的数据传输方法。
本发明实施例还提供一种计算机设备,该计算机设备可以包括:至少一个存储器和至少一个处理器;所述存储器存储一条或多条计算机可执行指令,所述处理器调用所述一条或多条计算机可执行指令,以执行本发明实施例提供的应用于发送端的数据传输方法,和/或,本发明实施例提供的应用于接收端的数据传输方法。
本发明实施例提供一种存储介质,所述存储介质存储一条或多条可执行指令,所述一条或多条可执行指令用于执行本发明实施例提供的应用于发送端的数据传输方法,和/或,本发明实施例提供的应用于接收端的数据传输方法。
上文描述了本发明实施例提供的多个实施例方案,各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用,从而延伸出多种可能的实施例方案,这些均可认为是本发明实施例披露、公开的实施例方案。
虽然本发明实施例披露如上,但本发明并非限定于此。任何本领域技术人员,在不脱离本发明的精神和范围内,均可作各种更动与修改,因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (29)
1.一种数据传输方法,其特征在于,包括:
获取待传输数据;
确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;
计算所述待传输数据与所述参照样例的数据之间的差值;
发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值还原所述待传输数据。
2.根据权利要求1所述的方法,其特征在于,所述获取待传输数据之后,所述确定与所述待传输数据相对应的参照样例之前,还包括:
基于预设的规则,判断是否处理所述待传输数据;其中,所述预设的规则,包括数据类型规则、数据来源规则和/或数据标识规则;
若是,执行所述确定与所述待传输数据相对应的参照样例的步骤,若否,则发送所述待传输数据。
3.根据权利要求1所述的方法,其特征在于,所述获取待传输数据之后,所述确定与所述待传输数据相对应的参照样例之前,还包括:
调整所述待传输数据的数据结构,使所述待传输数据中的域段基于预设顺序排列;
其中,所述预设顺序的排序规则包括:发生变化概率高的域段排在低位,发生变化概率低的域段排在高位;并且,所述参照样例中的域段基于所述预设顺序排列。
4.根据权利要求3所述的方法,其特征在于,所述参照样例的标识信息中包含用于标记原始发起者的原始发起者标记,所述调整所述待传输数据的数据结构的步骤中,还删除所述待传输数据中的原始发起者标记域段。
5.根据权利要求3所述的方法,其特征在于,所述预设顺序为对原有域段再划分后的顺序,所述原有域段为待传输数据中原有的域段,所述对原有域段再划分,具体为,将一个原有域段划分为多个域段。
6.根据权利要求1所述的方法,其特征在于,所述参照样例的标识信息中包含用于标记原始发起者的原始发起者标记;所述确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关,具体为,根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例。
7.根据权利要求1所述的方法,其特征在于,一个原始发起者对应有一个参照样例组,一个参照样例组中包括至少一个参照样例;所述确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关,包括:
根据所述待传输数据的原始发起者,确定与所述待传输数据相对应的参照样例组;
在所述参照样例组中,确定与所述待传输数据的数据结构最接近的参照样例。
8.根据权利要求1所述的方法,其特征在于,所述计算所述待传输数据与所述参照样例的数据之间的差值之后,所述发送所述参照样例的标识信息和所述差值之前,还包括:
判断所述差值是否大于或等于预设值;
若否,执行所述发送所述参照样例的标识信息和所述差值;若是,发送所述待传输数据。
9.根据权利要求1所述的方法,其特征在于,所述发送所述参照样例的标识信息和所述差值,具体为,基于预设格式发送所述参照样例的标识信息和所述差值,所述预设格式包括数据长度、所述参照样例的标识信息和所述差值,其中,所述数据长度用于指示所述参照样例的标识信息的数据长度和所述差值的数据长度。
10.根据权利要求2所述的方法,其特征在于,所述基于预设的规则,判断是否处理所述待传输数据的步骤中;若是,且所述待传输数据未被成功处理,则所述方法还包括:
将所述待传输数据作为参照样例,存储至第一预设存储空间;
其中,所述第一预设存储空间为用于存储参照样例的存储空间,若所述第一预设存储空间中具有剩余空间时,直接执行存储操作;若所述第一预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
11.根据权利要求10所述的方法,其特征在于,所述将所述待传输数据作为参照样例,存储至第一预设存储空间之后,还包括:
在所述待传输数据内设置样例更新标记,并发送所述待传输数据。
12.一种数据传输方法,其特征在于,包括:
获取参照样例的标识信息和差值;其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值;
根据所述参照样例的标识信息,确定所述参照样例;
基于所述参照样例和所述差值,还原所述待传输数据。
13.根据权利要求12所述的方法,其特征在于,所述获取参照样例的标识信息和差值之前,还包括:
接收发送端发送的数据;
判断所接收的数据是否包含有参照样例的标识信息和差值;
若是,执行所述获取参照样例的标识信息和差值。
14.根据权利要求13所述的方法,其特征在于,所述接收发送端发送的数据之后,还包括:
确定所接收的数据是否包含有样例更新标记;
若是,将所接收的数据作为参照样例,存储至第二预设存储空间;
其中,所述第二预设存储空间为用于存储参照样例的存储空间,若所述第二预设存储空间中具有剩余空间时,直接执行存储操作;若所述第二预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
15.根据权利要求12所述的方法,其特征在于,所述基于所述参照样例和所述差值,还原所述待传输数据之后,所述待传输数据中的域段基于预设顺序排列,所述方法还包括:
调整所述待传输数据的数据结构,以使所述待传输数据中的域段基于原始顺序排列;
所述原始顺序为所述待传输数据被调整为预设顺序之前的排列顺序。被调整为预设顺序之前的排列顺序。
16.根据权利要求15所述的方法,其特征在于,所述调整所述待传输数据的数据结构的步骤中,还在所述待传输数据中增加原始发起者标记域段。
17.根据权利要求15所述的方法,其特征在于,所述基于所述参照样例和所述差值,还原所述待传输数据之后,还包括:
发送待传输数据至所述待传输数据所指向的设备。
18.一种数据传输装置,其特征在于,包括:
第一预处理模块,用于获取待传输数据;
差值计算模块,用于确定与所述待传输数据相对应的参照样例,所述参照样例与所述待传输数据在数据结构上相关;计算所述待传输数据与所述参照样例的数据之间的差值;
第一数据发送模块,用于发送所述参照样例的标识信息和所述差值;其中,所述参照样例的标识信息用于确定所述参照样例,以基于所述参照样例和所述差值还原所述待传输数据。
19.根据权利要求18所述的装置,其特征在于,所述第一预处理模块,还用于基于预设的规则,判断是否处理所述待传输数据,所述预设的规则,包括数据类型规则、数据来源规则和/或数据标识规则;若是,由差值计算模块确定与所述待传输数据相对应的参照样例,若否,则由数据发送模块发送所述待传输数据。
20.根据权利要求18所述的装置,其特征在于,所述差值计算模块,还用于调整所述待传输数据的数据结构,使所述待传输数据中的域段基于预设顺序排列;其中,所述预设顺序的排序规则包括:发生变化概率高的域段排在低位,发生变化概率低的域段排在高位;并且,所述参照样例中的域段基于所述预设顺序排列。
21.根据权利要求18所述的装置,其特征在于,还包括:第一样例管理模块,用于将所述待传输数据作为参照样例,存储至第一预设存储空间;其中,所述第一预设存储空间为用于存储参照样例的存储空间,若所述第一预设存储空间中具有剩余空间时,直接执行存储操作;若所述第一预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
22.一种数据传输装置,其特征在于,包括:
第二预处理模块,用于获取参照样例的标识信息和差值;其中,所述参照样例与待传输数据在数据结构上相关,所述参照样例的标识信息用于确定所述参照样例,所述差值为所述待传输数据与所述参照样例的数据之间的差值;
数据恢复模块,用于根据所述参照样例的标识信息,确定所述参照样例;基于所述参照样例和所述差值,还原所述待传输数据。
23.根据权利要求22所述的装置,其特征在于,所述第二预处理模块,还用于接收发送端发送的数据;判断所接收的数据是否包含有参照样例的标识信息和差值;若是,获取参照样例的标识信息和差值。
24.根据权利要求22所述的装置,其特征在于,还包括:第二样例管理模块,用于确定所接收的数据是否包含有样例更新标记;若是,将所接收的数据作为参照样例,存储至第二预设存储空间;其中,所述第二预设存储空间为用于存储参照样例的存储空间,若所述第二预设存储空间中具有剩余空间时,直接执行存储操作;若所述第二预设存储空间中没有剩余空间时,基于预设的替换策略,删除一个已有的参照样例,再执行存储操作。
25.根据权利要求22所述的装置,其特征在于,所述待传输数据中的域段基于预设顺序排列,所述数据恢复模块,还用于调整所述待传输数据的数据结构,以使所述待传输数据中的域段基于原始顺序排列;所述原始顺序为所述待传输数据被调整为预设顺序之前的排列顺序。
26.根据权利要求22所述的装置,其特征在于,还包括:
第二数据发送模块,用于发送待传输数据至所述待传输数据所指向的设备。
27.一种数据传输系统,其特征在于,所述数据传输系统被配置为执行如权利要求1-11任一项所述的数据传输方法,和/或,执行如权利要求12-17任一项所述的数据传输方法。
28.一种计算机设备,其特征在于,包括:至少一个存储器和至少一个处理器;所述存储器存储一条或多条计算机可执行指令,所述处理器调用所述一条或多条计算机可执行指令,以执行如权利要求1-11任一项所述的数据传输方法,和/或,执行如权利要求12-17任一项所述的数据传输生成方法。
29.一种存储介质,其特征在于,所述存储介质存储一条或多条可执行指令,所述一条或多条可执行指令用于执行如权利要求1-11任一项所述的数据传输方法,和/或,执行如权利要求12-17任一项所述的数据传输生成方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111670785.XA CN114338826A (zh) | 2021-12-31 | 2021-12-31 | 数据传输方法、装置、系统及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111670785.XA CN114338826A (zh) | 2021-12-31 | 2021-12-31 | 数据传输方法、装置、系统及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114338826A true CN114338826A (zh) | 2022-04-12 |
Family
ID=81020946
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111670785.XA Pending CN114338826A (zh) | 2021-12-31 | 2021-12-31 | 数据传输方法、装置、系统及相关设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114338826A (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107864116A (zh) * | 2017-06-22 | 2018-03-30 | 平安科技(深圳)有限公司 | 数据传输方法、终端以及计算机可读存储介质 |
CN110636009A (zh) * | 2018-06-22 | 2019-12-31 | 中兴通讯股份有限公司 | 一种数据传输方法和装置 |
WO2021189957A1 (zh) * | 2020-10-14 | 2021-09-30 | 平安科技(深圳)有限公司 | 一种数据传输方法、数据传输系统、设备及存储介质 |
-
2021
- 2021-12-31 CN CN202111670785.XA patent/CN114338826A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107864116A (zh) * | 2017-06-22 | 2018-03-30 | 平安科技(深圳)有限公司 | 数据传输方法、终端以及计算机可读存储介质 |
CN110636009A (zh) * | 2018-06-22 | 2019-12-31 | 中兴通讯股份有限公司 | 一种数据传输方法和装置 |
WO2021189957A1 (zh) * | 2020-10-14 | 2021-09-30 | 平安科技(深圳)有限公司 | 一种数据传输方法、数据传输系统、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11163850B2 (en) | System, method and computer program product for data transfer management | |
CN111930676B (zh) | 多处理器间的通信方法、装置、系统及存储介质 | |
CN109756536A (zh) | 一种数据传输的方法、装置及系统 | |
CN113422793B (zh) | 数据传输方法、装置、电子设备及计算机存储介质 | |
WO2014135038A1 (zh) | 基于pcie总线的报文传输方法与装置 | |
CN110336677B (zh) | 区块打包、广播方法和系统、设备及存储介质 | |
CN115102780B (zh) | 数据传输方法、相关装置、系统及计算机可读存储介质 | |
CN114385534B (zh) | 一种数据处理的方法及装置 | |
CN111641563A (zh) | 基于分布式场景的流量自适应方法与系统 | |
CN108200387A (zh) | 一种文件的传输方法、系统及相机 | |
CN109710502B (zh) | 日志传输方法、装置及存储介质 | |
CN111930510B (zh) | 电子设备和数据处理方法 | |
CN113238856A (zh) | 一种基于rdma的内存管理方法及装置 | |
CN115878351B (zh) | 消息的传输方法及装置、存储介质及电子装置 | |
CN110585727B (zh) | 一种资源获取方法及装置 | |
CN114338826A (zh) | 数据传输方法、装置、系统及相关设备 | |
CN114915499B (zh) | 数据传输方法、相关装置、系统及计算机可读存储介质 | |
CN114925386B (zh) | 数据处理方法、计算机设备、数据处理系统及存储介质 | |
CN116610623A (zh) | 一种数据读取方法、装置、电子设备及存储介质 | |
US11636061B2 (en) | On-demand packetization for a chip-to-chip interface | |
WO2022111326A9 (zh) | 一种数据传输方法、装置、电子设备和存储介质 | |
CN113422792B (zh) | 数据传输方法、装置、电子设备及计算机存储介质 | |
CN112312396A (zh) | 一种NoC追踪数据的生成方法及相关装置 | |
CN114157716A (zh) | 基于区块链的数据处理方法、装置和电子设备 | |
JP3914398B2 (ja) | Icカードリーダライタの通信方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |