CN114157722A - 一种数据传输方法及装置 - Google Patents

一种数据传输方法及装置 Download PDF

Info

Publication number
CN114157722A
CN114157722A CN202010823521.2A CN202010823521A CN114157722A CN 114157722 A CN114157722 A CN 114157722A CN 202010823521 A CN202010823521 A CN 202010823521A CN 114157722 A CN114157722 A CN 114157722A
Authority
CN
China
Prior art keywords
data
value
error
transmitted
sequences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010823521.2A
Other languages
English (en)
Inventor
孔垂丽
王坚
李榕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010823521.2A priority Critical patent/CN114157722A/zh
Priority to PCT/CN2021/109647 priority patent/WO2022037390A1/zh
Publication of CN114157722A publication Critical patent/CN114157722A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Abstract

本申请实施例提供一种数据传输方法及装置,所述方法中,发送端在获取待发送数据后,可以将待发送数据中的部分数据序列输入到网络模型,获得网络模型输出的其余数据序列对应的数据估计值,从而根据数据估计值与数据原始值计算误差数据,并将部分数据序列、误差数据以及模型参数执行量化、熵编码后,发送给接收端。接收端在接收到传输数据后,执行发送端数据处理的逆处理过程,将传输数据进行解析,从而获得全部数据。所述数据传输方法可以通过误差数据代替部分数据序列的数据原始值,从而利用误差数据较小的量化比特数需求,降低数据传输量。并且通过发送端和接收端的网络模型,使解析后的数据更接近于原始数据,降低信息损耗。

Description

一种数据传输方法及装置
技术领域
本申请涉及数据传输技术领域,尤其涉及一种数据传输方法及装置。
背景技术
通信系统在传输数据时,会将待传输的数据压缩后再进行传输,以提高数据的传输效率。例如,基于云计算的无线接入网架构(cloud-radio access network)的通信系统可以采用前向回传(Fronthaul)压缩。
对于上行数据,远程射频头(remote radio head,RRH)在接收到来自用户设备(user equipment,UE)的信号后,先对信号进行模数转换(analog-to-digital converter,ADC)和数字前端处理,得到同向/正交信号(in-phase/quadrature,I/Q)。再通过Fronthaul模块对I/Q信号进行压缩,然后将压缩后的数据发送给基带单元(baseband unit),实现上行数据的传输。Fronthaul模块压缩和传输的数据量取决于通信系统中的天线个数、采样率、采样宽度、编码因子等因素。在传输的数据量较大时,Fronthaul模块需要在单位时间内对更多的数据执行压缩,会增加Fronthaul模块的负担,进而导致数据传输效率降低。
为了减轻Fronthaul模块的负担,在执行压缩过程中可以通过降低采样宽度来减少数据量,或者通过部分比特表示采到的数据来减少数据量。但直接降低采样宽度或者通过部分比特表示数据会导致数据量失真。例如,若采用1比特的模数转换方式对数据进行量化,虽然Fronthaul模块的数据处理量可以大幅降低,但是数据的幅度信息将全部丢失,从而带来严重的信息损耗。
发明内容
本申请提供一种数据传输方法及装置,以解决传统数据传输方法在数据量较大时,压缩数据损失的问题。
第一方面,本申请实施例提供一种数据传输方法,所述数据传输方法包括:
获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
获取误差数据;所述误差数据为根据所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
上述方法可应用于基站或终端设备中,用于在基站和/或终端之间传输数据。基站或终端可以先获取待传输数据。其中,待传输数据包括多个具有时域相关关系的数据序列。基站或终端再将待传输数据中的P个数据序列输入网络模型,以获得网络模型的输出结果。其中,网络模型可以是通过与待传输数据相似,具有时域相关关系的训练数据训练获得的神经网络(neural networks,NN)模型。
网络模型会根据输入的P个数据序列输出其余N-P个数据序列的数据估计值,再通过计算N-P个数据序列的数据原始值与数据估计值之间的差值,获得误差数据。最后将待传输数据中的P个数据序列、误差数据以及网络模型的模型参数进行量化以及熵编码等压缩处理,完成数据传输。
采用上述数据传输方法,可以在传输数据时,传输部分数据序列以及误差数据和模型参数,由于误差数据的数值较小,可以通过较少的量化比特数进行表达。因此,上述数据传输方法能够在较小的信息损耗的前提下,提高数据压缩率,从而减小数据传输量。
上述数据传输方法中,所使用的网络模型可以预先通过训练获得,即在一种实现方式中,在执行数据传输前,还需要对网络模型进行训练,包括:
获取训练数据;
将所述训练数据输入网络模型,获得训练误差;
以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
其中,训练数据可以与待传输数据具有相同的时域相关关系,即训练数据中包括多个由训练数据值组成的数据序列,训练数据值即数据序列的数据原始值。在获取训练数据后,可以依次将训练数据的其中P个数据序列输入到网络模块中,并获得网络模型的输出结果,即第P+1个数据序列的估计值序列
Figure BDA0002635345430000021
同理,再将训练数据的其中P+1个数据序列输入到网络模型,并获得模型输出的第P+2个数据序列的估计值序列
Figure BDA0002635345430000022
依次重复输入上述训练数据中的N-1个数据序列,从而得到N-P个数据序列的数据估计值序列。
获得估计值序列后,网络模型算法还可以利用输出的估计值和原始值计算出训练误差序列,从而以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合的方式,对输出结果进行反向传播,调整网络模型的模型参数,以最终获得模型参数。
模型参数可以包括数据序列权值,并在计算模型参数时按照下式拟合:
Figure BDA0002635345430000023
其中,n=P+1,P+2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
上述拟合计算方式可以应用于线性时域相关的数据序列的模型训练中,通过模型训练,计算获得数据序列权值,从而实现对线性时域相关的待传输数据进行误差计算。
对于多天线系统(multiple input multiple output,MIMO),训练数据可以为信道数据,信道数据可以是对时域信道的采样,形成信道矩阵。因此,在一种实现方式中,计算模型参数时还可以按照下式拟合:
Figure BDA0002635345430000024
其中,θ为模型参数;n=P+1,P+2,……,N;H[n]为待传输数据原始值矩阵;
Figure BDA0002635345430000025
为待传输数据估计值矩阵。
上述拟合计算方式可以应用于多天线系统,通过准则
Figure BDA0002635345430000026
利用梯度下降法,获得NN网络的模型参数θ,以便实现数据传输和解析。
获得的模型参数可以用于在传输过程中构建相同的网络模型,以计算误差数据。并且,在计算误差数据后,模型参数还与P个数据序列和误差数据一同进行发送,从而在数据的接收端构建网络模型,以根据P个数据序列和误差数据解析N-P个数据序列的原始值。
完成训练后,基站或终端可以利用训练获得的网络模型(或模型参数)对待传输数据进行估计计算,以获得数据估计值。如果待传输数据可以通过多路传输,则在一种实现方式中,可以将多路待传输数据按照预设输入方式输入到网络模型中,并且在传输P个数据序列、误差数据以及网络模型的模型参数的同时,还将预设输入方式对应的信息也进行传输。
其中,预设输入方式包括以下几种:分别将每一路待传输数据并行输入网络模型;或者,将多路待传输数据串行输入网络模型;或者,将多路待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入网络模型。对于不同的数据输入方式,可以适用于不同的数据传输场景,使输入的网络模型的数据可以输出对应的数据估计值。在传输数据时,可以将所使用的输入方式也进行传输,从而在接收端可以根据相同的方式对解析获得的数据原始值序列与P个数据序列进行重新排列,得到与待传输数据差别更小的全部数据。
对于传输的误差数据,还可以通过进一步的计算,减小其具体数值。即在一种实现方式中,所述数据传输方法还包括:
获取误差基准;
计算误差基准与误差数据的差值;
传输误差基准以及误差基准与误差数据的差值。
其中,所述误差基准为所有误差数据中的最小值、或最大值、或中间值、或平均值。通过获取误差数据中的误差基准,并计算其余误差数据与该误差基准的差值,可以进一步减小误差数据的数值大小。再对误差数据与该误差基准的差值执行量化,从而通过更少的量化比特数进行表达。实现通过传输误差基准以及误差基准与误差数据的差值,代替传输误差数据,以减小数据传输量。
同理,如果通过误差基准计算误差基准与误差数据的差值时,接收端同样需要根据误差基准以及误差基准与误差数据的差值计算原误差数据,从而解析获得N-P个数据序列的数据原始值。
在不同的应用场景或不同时间段,数据传输的流量不同,即网络中待传输数据的数据量动态变化。因此对基站或终端的传输负荷也不同。为了适应不同的数据传输流量,在一种实现方式中,所述数据传输方法还包括:
获取待传输数据的流量值;
根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;
传输调节后的P值、单位比特数以及模型参数数量中的一种或多种。
发送端可以实时获取待传输数据的流量值,并根据待传输数据的流量值调节数据压缩过程中的P值、单位比特数以及模型参数数量中的一种或多种,从而改变压缩率。包括:如果待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个,以增大数据压缩率,减少数据传输量;如果待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个,以减小数据压缩率,降低信息损耗。
在一种实现方式中,可以预先设置两个用于判断的阈值,即第一阈值和第二阈值,其中第一阈值大于第二阈值。再通过实时监测的待传输数据的流量值与阈值进行对比,从而确定P值的具体数值。如果待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于初始值,第一阈值小于N值,第一阈值大于第二阈值;如果待传输数据的流量值大于第一阈值,则设定P值等于第一值,第一值小于初始值;如果待传输数据的流量值小于第二阈值,则设定P值等于第二值,第二值大于初始值。
通过在不同的应用场景下,使P值被设定为第一值、初始值或第二值,从而分别适应不同流量值的场景中,使所述数据传输方法既能保证传输效率,又能降低信息损耗。同理,在传输数据的过程中,如果对P值进行调整,还需要将调整后的P值发送给接收端,以便接收端可以按照调整后的P值进行逆处理,从而获得更准确的数据原始值。
第二方面,本申请实施例还提供一种数据传输方法,应用于数据传输过程的接收端。所述数据传输方法包括:
接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
作为数据的接收端可以在接收传输数据后,对传输数据进行解析,从而获得P个数据序列以外的其余N-P个数据序列的数据原始值,即全部数据。在解析过程中,接收端可以先根据接收的传输数据中的模型参数构建与发送端相同的网络模型,并将P个数据序列输入构建的网络模型,以获得N-P个数据序列的数据估计值,再结合误差数据,计算N-P个数据序列的数据估计值与误差数据的和,从而得到N-P个数据序列的数据原始值。
由于在接收端采用与发送端相同的网络模型,因此在接收端网络模型中输出的数据估计值与在发送端网络模型输出的数据估计值差别较小,从而可以根据误差数据求和计算得到信息损耗较小的全部数据。
在发送端根据待传输数据的实时流量值,调整P值、单位比特数以及模型参数数量后,接收端也需要根据调整后的P值来解析传输数据。即所述方法还包括:
获取所述P值、单位比特数以及模型参数数量中的一种或多种;
按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
通过将调整后的P值、单位比特数以及模型参数数量,可以使接收端和发送端保持相同的压缩和解压缩方式,从而降低传输过程的信息损耗。
对于误差数据,接收端还可以根据发送端的处理方式对误差数据执行逆处理。即在接收到传输数据后,提取基准误差值以及误差基准与误差数据的差值,从而还原误差数据,以便通过误差数据与模型输出的数据估计值求和,获得数据原始值。
当发送端中待传输数据进行多路传输时,为了获得与原数据相近的数据,接收端还可以在传输数据中获取预设输入方式信息,并且按照预设输入方式信息,对解析获得的N-P个数据序列的数据原始值与所述传输数据中的P个数据序列执行重新排列。
第三方面,本申请实施例中还提供一种数据传输装置,包括用于执行第一方面所提供数据传输方法的数据获取模块、误差计算模块以及传输模块,也可以包括用于执行第一方面各实现方式中方法步骤的模块。
具体的,所述数据获取模块用于获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
误差计算模块,用于获取误差数据;所述误差数据为所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输模块,用于传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
数据获取模块在获取待传输数据后,可以将待传输数据分别发送给误差计算模块和传输模块。误差计算模块再将待处理数据的其中P个数据序列输入到内置的网络模型中,获得网络模型输出的余N-P个数据序列的数据估计值,从而根据数据估计值与数据原始值计算获得其余N-P个数据序列对应的误差数据。误差计算模块还将获得的误差数据与网络模型的模型参数一同发送给传输模块,使传输模块可以针对传输P个数据序列、误差数据以及网络模型的模型参数执行量化和熵编码等压缩处理,以便将数据传输给接收端。
通过数据获取模块、误差计算模块以及传输模块之间的相互配合,可以将待传输数据的其中P个数据原始值、误差数据以及模型参数代替全部原始数据进行传输,通过数值较小的误差数据代替数值较大的数据原始值,减少量化所需比特数,进而减小数据传输量。
在一种实现方式中,所述误差计算模块,具体用于将所述P个数据序列输入所述网络模型;获得所述网络模型输出的其余N-P个数据序列的数据估计值;根据其余N-P个所述数据序列中每个数据估计值与每个数据原始值之差,生成所述误差数据。通过将P个数据序列输入网络模型以获得其余N-P个数据序列的数据估计值的方式,可以利用待传输数据的时域相关特点和网络模型,获得与数据原始值相差较小的数据估计值,获得更小的误差数据,从而减小误差数据的量化所需比特数,提高数据传输效率。
在一种实现方式中,所述数据传输装置还包括模型训练模块,所述模型训练模块用于获取训练数据,所述训练数据中包括多个由训练数据值组成的数据序列;将所述训练数据输入网络模型,获得训练误差;以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
模型训练模块可以预先通过训练数据对神经网络模型进行训练,获得模型参数。再将模型参数发送给误差计算模块,以在误差计算模块中构建网络模型。在模型训练过程中,模型训练模块可以通过将训练数据中的P个、P+1个、P+2个、……、N-1个数据序列分别输入网络模型,从而通过网络模型输出的估计值序列与原始值进行对比,确定训练误差,从而以训练误差最小化为训练准则反向传播调整网络模型的模型参数。经过训练数据的反复训练过程,最终确定误差最小化的模块参数。
在一种实现方式中,对于不同类型的待传输数据,模型训练模块可以采用不同的方式拟合计算模型参数。即所述模型参数包括数据序列权值,所述模型训练模块在计算模型参数时按照下式拟合:
Figure BDA0002635345430000051
其中,n=P+1,P+2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
或者,所述模型训练模块在计算模型参数时按照下式拟合:
Figure BDA0002635345430000052
其中,θ为模型参数;n=P+1,P+2,……,N;H[n]为待传输数据原始值矩阵;
Figure BDA0002635345430000053
为待传输数据估计值矩阵。
在一种实现方式中,如果所述待传输数据通过多路传输,所述数据传输装置还包括数据输入模块,用于将多路所述待传输数据按照预设输入方式发送给误差计算模块,以在误差计算模块中输入网络模型。其中,预设输入方式可以包括:将多路所述待传输数据并行输入所述网络模型;或者,将多路所述待传输数据串行输入所述网络模型;或者,将多路所述待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入所述网络模型。
如果所述待传输数据通过多路传输,所述传输模块具体用于传输所述预设输入方式信息。通过数据输入模块,可以根据不同的应用场景和待传输数据特点,使用不同的数据输入方式,因此在保证数据能够输入网络模型的前提下,对更多的待发送数据进行处理。
在一种实现方式中,所述误差计算模块具体用于获取误差基准,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;计算所述误差基准与所述误差数据的差值;传输所述误差基准以及所述误差基准与所述误差数据的差值。误差计算模块可以在计算获得误差数据后,在误差数据的各误差值中提取最小值、最大值、中间值或平均值中的一种作为误差基准,再通过计算其余误差值与该误差基准的差值,从而通过误差基准与误差数据的差值来表示误差数据。由于,误差基准与误差数据的差值相对于原误差值,其数值更小,因此可以进一步通过较少的量化比特数进行表示,以进一步减少数据传输量。
在一种实现方式中,所述数据传输装置还包括调节模块,所述调节模块用于获取待传输数据的流量值;根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。通过调节模块,可以实时检测待传输数据的数据量,并在数据量发生变化时动态调整压缩率。即在流量较大时,通过减小P值、单位比特数或模型参数数量来提高压缩率,以提高数据传输效率;在流量较小时,通过增大P值、单位比特数或模型参数数量减小压缩率来降低压缩率,以降低信息损耗。
所述调节模块,具体用于如果所述待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值,所述第一阈值小于N值,所述第一阈值大于所述第二阈值;或者,如果所述待传输数据的流量值大于所述第一阈值,则设定P值等于所述第一值,所述第一值小于所述初始值;或者,如果所述待传输数据的流量值小于第二阈值,则设定P值等于所述第二值,所述第二值大于所述初始值。
通过在调节模块中预设第一阈值和第二阈值来判断当前待传输数据的流量值所属的区间,将P值设定为初始值、第一值以及第二值中的一种,从而适应不同的待传输数据流量。另外,通过调节模块,还可以实现在待传输数据流量较小时,充分利用信号传输通道的带宽,减少发送端对数据传输能力的浪费。
第四方面,本申请实施例还提供一种数据传输装置,包括用于执行第二方面所提供数据传输方法的数据接收模块和数据解析模块,也可以包括用于执行第二方面各实现方式中方法步骤的模块。
具体的,所述数据接收模块,用于接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
数据解析模块,用于解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
对于作为数据接收的基站或终端,可以通过数据接收模块接收发送端传输的传输数据,并将传输数据发送给数据解析模块。数据解析模块可以先根据模型参数构建网络模型,再将传输数据中的P个数据序列输入所述网络模型,以获得网络模型输出的N-P个数据序列的数据估计值。再根据数据估计值与误差数据计算生成N-P个数据序列的数据原始值,从而获得所有数据,实现数据的准确传输。
在一种实现方式中,所述传输数据还包括P值、单位比特数以及模型参数数量中的一种或多种,所述数据解析模块,具体用于获取所述P值、单位比特数以及模型参数数量中的一种或多种;按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。在发送端根据待传输数据的数据量调节P值、单位比特数以及模型参数数量中的一种或多种后,接收端的数据解析模块可以按照调整后的P值、单位比特数或模型参数数量对N-P个数据序列进行解析,从而获得更接近于原始值的数据,降低信息损耗。
在一种实现方式中,所述误差数据包括误差基准以及所述误差基准与其余误差数据的差值,所述误差基准为所有所述误差数据中的最小值、最大值、中间值、平均值中的一种。数据解析模块,具体用于根据误差基准以及误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值,从而使接收端用于计算数据原始值的误差数据与发送端传输的误差数据保持为相同的形式,在进一步减小数据传输量的前提下,能够解析出更加准确的数据原始值。
第五方面,本申请实施例中还提供一种通信装置,包括:至少一个处理器和存储器;所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现第一方面所述的数据传输方法。
第六方面,本申请实施例中还提供一种通信装置,包括:至少一个处理器和存储器;所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现第二方面所述的数据传输方法。
第七方面,本申请实施例中还提供一种通信装置包括:逻辑电路和输入输出接口;所述输入输出接口用于获取待传输数据,所述逻辑电路用于执行第一方面所述的数据传输方法方法。
第八方面,本申请实施例中还提供一种通信装置包括:逻辑电路和输入输出接口;所述输入输出接口用于获取待传输数据,所述逻辑电路用于执行第二方面所述的数据传输方法方法。
第九方面,本申请实施例中还提供一种计算机可读存储介质,该计算机可读存储介质可以为可读的非易失性存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述第一方面或者上述方面的任一种可能的实现方式中所述的数据传输方法。
为了实现对时域相关数据的传输,本申请实施例中,发送端在获取待发送数据后,可以将待发送数据中的部分数据序列输入到网络模型,获得网络模型输出的其余数据序列对应的数据估计值,从而根据数据估计值与数据原始值计算误差数据,并将部分数据序列、误差数据以及模型参数执行量化、熵编码后,发送给接收端。接收端在接收到传输数据后,执行发送端数据处理的逆处理过程,将传输数据进行解析,从而获得全部数据。所述数据传输方法可以通过误差数据代替部分数据序列的数据原始值,从而利用误差数据较小的量化比特数需求,降低数据传输量。并且通过发送端和接收端的网络模型,使解析后的数据更接近于原始数据,降低信息损耗。
附图说明
图1为本申请实施例中无线通信系统结构示意图;
图2为本申请实施例中信源处理系统结构示意图;
图3为本申请实施例中一种数据传输方法发送端数据流程示意图;
图4为本申请实施例中数据传输方法流程示意图;
图5为本申请实施例中训练网络模型的流程示意图;
图6为本申请实施例中调整压缩参数流程示意图;
图7为本申请实施例中传输误差基准和差值的流程示意图;
图8为本申请实施例中一种数据传输装置结构示意图;
图9为本申请实施例中一种通信装置的结构示意图。
具体实施方式
为便于本申请的技术方案进行说明,以下首先对本申请所用到的一些概念进行简要说明。
在本申请各个实施例中,发送端是指在各种通信系统中,向特定的基站(basestation,BS)或终端(terminal)发送数据的基站或终端;接收端是指在各种通信系统中,从作为发送端的基站或者终端中获取传输数据的基站或终端。在同一个通信系统,同一基站或终端可以在不同的数据传输过程中作为的发送端或接收端。例如,通信系统可以由多个终端和基站组成,当通过基站向终端发送下行数据时,基站作为发送端、终端作为接收端;而当通过终端向基站发送上行数据时,基站作为接收端、终端作为发送端。
其中,所述通信系统包括但不限于长期演进(long term evolution,LTE)系统、第五代(5th-generation,5G)系统、新空口(new radio,NR)系统,以及未来演进系统或者多种通信融合系统。其中,5G系统可以为非独立组网(non-standalone,NSA)的5G系统或独立组网(standalone,SA)的5G系统。如图1所示,在通信系统中,基站或其他中心节点进行信源编码,包括信源的压缩和与任务相关信息的提取,系统架构。
通信系统由小区组成,每个小区包含一个基站和多个终端,基站向多个终端提供通信服务。本申请实施例中,基站可以包括各种形式的宏基站,微基站(也称为小站),中继站,接入点、设备到设备(device-to-device,D2D)、机器到机器(machine to machine,M2M)、车联网通信中承担基站功能的设备等。在采用不同的无线接入技术的系统中,具备基站功能的设备的名称可能会有所不同,例如,在LTE系统中,称为演进的节点B(evolvedNodeB,eNB或者eNodeB),在第三代(3rd Generation,3G)系统中,称为节点B(Node B)等。为方便描述,在本申请实施例中,上述为终端提供无线通信功能的装置统称为网络设备或基站或BS。
基站包含基带单元(baseband unit,BBU)和远端射频单元(remote radio unit,RRU)。BBU和RRU可以放置在不同的地方,例如:RRU放置于高话务量的区域,BBU放置于中心机房。BBU和RRU也可以放置在同一机房。BBU和RRU也可以为一个机架下的不同部件。
本申请实施例所涉及到的终端可以包括各种具有无线通信功能的移动台(mobilestation,MS),如手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备。所述MS还可以是用户单元(subscriber unit)、蜂窝电话(cellular phone)、智能手机(smart phone)、无线数据卡、个人数字助理(personal digital assistant,PDA)电脑、平板型电脑、无线调制解调器(modem)、手持设备(handset)、膝上型电脑(laptopcomputer)、机器类型通信(machine type communication,MTC)终端等。
需要说明的是,本申请实施例中提及的无线通信系统包括但不限于:窄带物联网系统(narrow band-internet of things,NB-IoT)、全球移动通信系统(global systemfor mobile communications,GSM)、增强型数据速率GSM演进系统(enhanced data ratefor GSM evolution,EDGE)、宽带码分多址系统(wideband code division multipleaccess,WCDMA)、码分多址2000系统(code division multiple access,CDMA2000)、时分同步码分多址系统(time division-synchronization code division multiple access,TD-SCDMA),长期演进系统(long term evolution,LTE)以及下一代5G移动通信系统的三大应用场景,即增强移动宽带技术(enhanced mobile broadband,eMBB),高可靠和低延迟通信技术(ultra-reliable and low latency communications,URLLC)和增强物联网技术(enhance machine type communication,eMTC)。
具体而言,本申请实施例提供的技术方案可以应用于无线通信系统的信源处理系统中。信源处理系统在传输数据前,对信源数据执行压缩、转换等信源处理。以信源压缩为例,如图2所示,信源处理系统可以通过编码器将信源数据进行编码后,通过建立的信道传输给解码器。其中,在编码器中执行的编码过程即为信源数据执行压缩处理。
其中,编码器的输入可以是传感器采集的数据,也可以是监控摄像头采集来的视频数据,或者其他信源信息数据。信源数据可以根据不同的采集过表现为不同的形式,例如信源数据可以是前向回传(fronthaul)过程中传输的同向正交(in-phase/quadrature,I/Q)数据,或者信道中无线系统中的信道状态信息(channel state information,CSI)数据。
值得注意的是,输入编码器的数据可以具有时域相关性,即按照时序关系先后发送的数据之间具有相关性。例如,基于云计算的无线接入网(cloud-radio accessnetwork,C-RAN)架构中通过fronthaul传输的数据为I/Q数据,I/Q数据在一个正交频分复用(orthogonal frequency division multiplexing,OFDM)符号内具有相关性。又例如,对于大规模多输入多输出(multiple in multiple out,MIMO)系统的无线信道,数据信道可以为时域信道的采样,而信道是时变的,即在后一时刻的信道信息与前一时刻的信道信息也具有相关性。
输入编码器的数据可以进行量化,再执行熵编码,从而将熵编码后的数据通过信道传输给解码器,或者用如硬盘等存储介质储存起来。其中,量化是指通过数字信号形式将输入信号进行表达的处理过程。即通过量化可以将数据原始值转化为数字信号形式,以便进行传输。而解码器可以对接收到的数据进行信息解码,从而针对信源完成数据恢复。
为了减少数据传输量,编码器在执行编码的过程中,可以对待传输的数据进行压缩处理。例如,Fronthual的数据速率可以表示为:
Data rate=M×Sr×N×2×Cw×C
其中,M为每个区域的天线个数,Sr为采样率(sample/s/carrier),N为采样宽度(bits/sample),2表示两路信号I/Q数据,Cw表示通用公共无线接口(common public radiointerface,CPRI)控制字码因子,C为编码因子。根据上述公式可知,Fronthual的数据量由系统中天线个数,采样率,采样宽度,编码因子等因素决定。
为了执行压缩处理,降低Fronthual的负担,可以通过直接降低采样宽度N;或者将待传输数据进行部分比特表示,以提高数据压缩率。例如,对于用10比特的模/数转换器(analog-to-digital converter,ADC)采集的数据,只保留高7位,低7位填充固定序列,或者填0;或者进行无损编码,进行压缩方法等。
但是,直接降低采样宽度或者将待传输数据进行部分比特表示的处理方式,会导致数据量的失真,带来严重的信息损耗。而无损编码方式,数据量没有损失,但是可能导致压缩不充分,也即无法获得比较高的压缩率。
为了在获得较高压缩率的前提下,减小信息损耗,本申请的一个示意性实施例中提供一种数据传输方法,如图3所示,包括以下步骤:
S110:获取待传输数据。
待传输数据可以具有时域相关关系的I/Q数据或CSI数据。待传输数据可以包括N个由数据原始值组成的数据序列,其中,N为大于1的正整数,表示具有时域相关关系的数据序列长度。
根据待传输数据所适用的场景不同,输入编码器的待传输数据形式也不同。例如,在C-RAN架构的通信系统中,输入编码器的I/Q数据在一个OFDM符号内具有时域相关性,并且由于快速傅里叶变换(fast fourier transform,FFT)和逆快速傅里叶变换(inversefast fourier transform,IFFT)都是线性处理过程,因此待传输数据的时域相关性也是线性的。即输入编码器的待传输数据可以包括N个数据序列,每个数据序列中包括多个数据原始值,每个数据序列可以分别表示为:x[1]、x[2]、x[3]、……、x[N]。
S120:获取误差数据。
在获取到待传输数据后,可以将待传输数据的其中P个数据序列输入网络模型,其中,P为小于N的正整数。通过网络模型执行计算,可以获得网络模型输出的其余N-P个数据序列的数据估计值,从而根据待传输数据中的数据原始值与数据估计值计算误差数据。
其中,误差数据是根据数据原始值与数据估计值计算的差值。例如,在获取待传输数据x[1]、x[2]、x[3]、……、x[N]后,将获取的待传输数据的其中P个数据序列输入网络模型,经网络模型计算输出其余N-P个数据序列的数据估计值。
即,将数据序列中的x[1]、x[2]、……、x[P]输入到网络模型中,网络模型可以根据数据序列x[1]、x[2]、……、x[P]的原始值,计算得到数据序列x[P+1]对应的数据估计值
Figure BDA0002635345430000101
数据序列x[P+2]对应的数据估计值
Figure BDA0002635345430000102
……;数据序列x[N]对应的估计值
Figure BDA0002635345430000103
在通过网络模型计算得到其余N-P个数据序列的数据估计值后,可以针对模型输出的其余N-P个数据序列的数据估计值
Figure BDA0002635345430000104
和待传输数据中的数据原始值x[P+1]、x[P+2]、……、x[N]执行减法计算,获得其余N-P个数据序列对应的数据估计值与数据原始值之间的差值,即
Figure BDA0002635345430000105
需要说明的是,在上述步骤S120中,其余N-P个数据序列的数据估计值由网络模型输出获得,其中,网络模型可以是预先训练好的神经网络(neural networks,NN)模型。例如,全连接神经网络模型、循环神经网络(recurrent neural network,RNN)模型等。
S130:传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
在获得N-P个数据序列对应的误差数据后,编码器可以对P个数据序列x[1]、x[2]、……、x[P],误差数据e[P+1]、e[P+2]、……、e[N]以及网络模型的模型参数执行数字信号编码,从而将P个数据序列、误差数据以及网络模型的模型参数进行传输。
为了传输P个数据序列、误差数据以及网络模型的模型参数等数据,作为发送端的基站或终端可以先提取网络模型的模型参数、误差数据以及P个数据序列,再对提取的误差数据、P个数据序列以及模型参数执行量化,获得量化数据。其中量化方式可以采用均匀或者非均匀、或者其他量化方式。在获得量化数据后,再对量化数据执行熵编码,以形成数字信号,传输熵编码后的量化数据。
在数据传输过程中,编码器需要对数据执行量化,即将具体的数据原始值通过比特数进行表示,由于误差数据e[n]的值比较小,可以用较小的量化比特数进行表达。因此相对于直接传输N-P个数据序列对应数据原始值的方式,上述实施例中传输P个数据序列、误差数据以及网络模型的模型参数能够减少量化的数据量。
例如,如果需要传输发送N长度的数据序列,且采用高精度的量化器,比如量化位宽为m,则量化N长度的数据序列x[n],需要的量化比特数为N×m。而根据上述实施例中的数据传输方法,所需的传输比特数包括三部分,即:量化x[1],……,x[P]共需要P×m个比特;量化误差e[n]需要(N-P)×n比特;对模型参数θ的量化,模型参数θ的数量与神经网络的大小有关,假设参数θ有Q个,则需要Q×n个比特数。因此,相对于传输数据原始值,上述实施例提供的数据传输方法对应的压缩率为:
Figure BDA0002635345430000106
假设其中N=2048,P=100,m=15,n=2,Q=500,则压缩率为γ=4.8,即对待传输数据压缩了4.8倍。可见,上述实施例中提供的数据传输方法能够显著提高数据压缩率。
上述实施例中编码器可以作为数据发送端,将待传输数据进行发送。例如,通过fronthaul传输给BBU。作为数据接收端的BBU可以在接收到数据后,对接收到的数据进行解压缩,即在本申请的一个示意性实施例中,提供一种数据传输方法,如图4所示,包括以下步骤:
S210:接收传输数据。
其中,所述传输数据是指作为数据发送端的基站或终端向接收端传输的数据,包括P个数据序列的原始值x[1]、x[2]、……、x[P]、误差数据e[P+1]、e[P+2]、……、e[N]以及网络模型的模型参数θ。其中,N为大于1的正整数,P为小于N的正整数。
S220:解析N-P个数据序列的数据原始值。
在接收到传输数据后,作为接收端的基站或者终端可以对接收到的数据进行解码处理,从而在接收到的传输数据中提取网络模型参数。接收端还可以根据提取的模型参数构建与发送端相同的网络模型。
构建网络模型后,接收端再将P个数据序列输入构建的网络模型,网络模型同样根据P个数据序列的数据原始值计算输出其余N-P个数据序列的数据估计值。例如,BBU根据接收到的网络模型的模型参数θ构建与RRH相同的网络模型。再将传输数据中的P个数据序列x[1]、x[2]、……、x[P]输入到构建的网络模型中,获取网络模型输出的其余N-P个数据序列对应的数据估计值
Figure BDA0002635345430000111
在网络模型输出其余N-P个数据序列的数据估计值后,可以计算N-P个数据序列的数据估计值与误差数据的和,生成N-P个数据序列的数据原始值。例如,根据误差数据e[P+1]、e[P+2]、……、e[N]和网络模型输出的数据估计值
Figure BDA0002635345430000112
计算得到x[P+1]、x[P+2]、……、x[N]的数据原始值为
Figure BDA0002635345430000113
Figure BDA0002635345430000114
从而解析出N-P个数据序列的数据原始值。
因此,在解析得到N-P个数据序列的数据原始值后,将N-P个数据序列的数据原始值与P个数据序列的数据原始值拼接在一起,即可获得发送端输出的全部数据。由于在接收端构建的网络模型与发送端执行计算的网络模型相同,使得在接收端网络模型输出的数据估计值与发送端网络模型输出的数据估计值相同或相差很小。因此,在接收端可以通过模型输出的数据估计值和误差数据可以计算获得与待传输数据中数据原始值相近的解析结果,从而恢复出全部数据,降低信息损耗。
可见,在上述实施例中提供的数据传输方法,可以在拥有较高压缩率的前提下,降低信息损耗,可适用于带宽较大且传输数据量也较大的无线通信系统中。例如,包含天线数量较多的NR系统等。
需要说明的是,在将待传输数据的其中P个数据序列输入网络模型的过程中,网络模型可以具有多项输出结果,即在输入P个数据序列后直接输出其余N-P个数据序列的数据估计值。这种网络模型在输出结果的过程中,可以仅将P个数据序列作为输入,因此数据的接收端,也能够直接通过P个数据序列输入后,获得其余N-P个数据序列的数据估计值。
在一个示意性实施例中,还可以在网络模型中依次输入其他数据序列,从而获得更加接近数据原始值的数据估计值。例如,发送端先将数据序列中的x[1]、x[2]、……、x[P]输入到网络模型中,使网络模型可以根据数据序列x[1]、x[2]、……、x[P]的原始值,计算得到数据序列x[P+1]对应的数据估计值
Figure BDA0002635345430000115
再将数据序列中的x[1]、x[2]、……、x[P]、x[P+1]输入网络模型,从而根据x[1]、x[2]、……、x[P]、x[P+1]的原始值得到数据序列x[P+2]对应的数据估计值
Figure BDA0002635345430000116
依次再将x[1]、x[2]、……、x[P+1]、x[P+2],x[1]、x[2]、……、x[P+2]、x[P+3],……,x[1]、x[2]、……、x[N-2]、x[N-1]输入到网络模型中,得到其余数据序列对应的估计值
Figure BDA0002635345430000121
因此,通过依次将数据序列的其中P个、其中P+1个、其中P+2个、……、其中N-1个输入到网络模型后,可以分别获得数据估计值
Figure BDA0002635345430000122
由于模型输出的数据估计值都是根据数据原始值计算得到,因此输出的数据估计值不会受其他数据估计值的计算影响,而更加接近数据原始值。例如,输出的数据估计值
Figure BDA0002635345430000123
是根据x[1]、x[2]、……、x[P+1]的原始值,则输出结果不受数据估计值
Figure BDA0002635345430000124
的影响。可见,这种数据估计值输出方式可以使根据数据估计值和数据原始值计算的误差数据的值更小,可通过更小的量化比特数进行表达,减小数据传输量。
在上述实施例中,为了输出数据估计值,需要将部分数据序列输入到网络模型中,从而通过网络模型计算数据估计值。可见,网络模型的模型参数能够决定输出的数据估计值与数据原始值之间的差距,即网络模型越符合待传输数据的时域相关关系,输出的数据估计值就越接近数据原始值。因此,为了获得更加符合待传输数据的时域相关关系的网络模型,在一个示意性实施例中,可以预先对网络模型进行训练,如图5所示,包括以下步骤:
S310:获取训练数据。
对于作为数据发送端的基站或者终端,可以内置有模型训练模块。模型训练模块可以独立于编码器,也可以集成在编码器中。模型训练模块中可以包含有一个初始神经网络模型。模型训练模块可以获取训练数据,以输入初始神经网络模型,从而使用训练数据对初始神经网络模型进行训练。
其中,训练数据可以与待传输数据具有相同或相近的时域相关关系,例如,训练数据可以是来源于与待传输数据相同的信道,或者直接为当前信道下待传输数据构成的数据集。因此,与待传输数据相同,训练数据中包括多个由训练数据值组成的数据序列。为了能够输出准确的数据估计值,训练数据可以与待传输数据具有相同的数据序列长度,即训练数据中也包括N个数据序列,其中N为大于1的正整数。训练数据中的数据序列也可以分别表示为x[1]、x[2]、……、x[P]、……、x[N]。
S320:将所述训练数据输入网络模型,获得训练误差。
在获取训练数据后,可以将训练数据的其中P个输入到初始网络模型中,以获得模型输出的其余N-P个数据序列对应的数据估计值。再计算其余N-P个数据序列对应的数据估计值与数据原始值之间的差值,从而获得训练误差。
其中,网络模型输出数据估计值的方式与上述实施例中模型输出数据估计值的方式相同。例如,可以依次将所述训练数据的其中P个数据序列x[1],……,x[P]、其中P+1个数据序列x[1],……,x[P+1]、……、以及其中N-1个数据序列x[1],……,x[N]输入所述网络模型,再分别获取所述网络模型输出的其余N-P个估计值序列
Figure BDA0002635345430000125
通过分别计算其余N-P个数据序列的原始值与估计值序列中对应元素之差,得到所述训练误差序列
Figure BDA0002635345430000126
获得训练误差。
S330:以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
在获得训练误差后,模型训练模块可以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到网络模型的模型参数。以全连接神经网络为例,全连接神经网络又叫多层感知机(multi-layer perceptron,MLP)。一个MLP包含一个输入层,一个输出层,及多个隐藏层(中间层)。每层包含数个节点,称为神经元。其中,相邻两层的神经元间两两相连。相邻两层的神经元之中的下一层的神经元的输出h为所有与之相连的上一层神经元x的加权和。根据激活函数,相邻两层之间可以表示为:
h=f(wx+b)
其中,w为权重矩阵,b为偏置向量,f为激活函数。因此,神经网络的输出可以递归表达为:
y=fn(wnfn-1(…)+bn)
其中,y为输出结果,w为权重矩阵,b为偏置向量,f为激活函数,n表示层数为大于1的正整数。在神经网络模型中,通过训练可以获得一个从输入数据集合到输出数据集合的映射关系。
神经网络模型的训练过程可以是随机初始化,再通过训练数据从随机的w和b得到映射关系。可以采用损失函数(loss function)对神经网络的输出结果进行评价,并将误差反向传播,通过梯度下降的方法迭代优化w和b直到损失函数达到最小值。模型训练过程中使用的梯度下降方法可以表示为:
Figure BDA0002635345430000131
其中,θ为待优化参数,包括权重矩阵w和偏置向量b,L为损失函数,η为学习率,即控制梯度下降的步长。上述反向传播的过程可利用求偏导的链式法则,即前一层参数的梯度可以由后一层参数的梯度递推计算得到,表示为:
Figure BDA0002635345430000132
其中,wij为节点j连接节点i的权重,si为节点i上的输入加权和。
根据上述模型训练过程,本实施例可以使用训练数据对网络模型进行反复训练,直至训练误差达到最小值或者小于设定的阈值时,输出此时的模型参数,以便编码器使用输出的模型参数构建符合当前待传输数据时域相关关系的网络模型。
需要说明的是,对于不同的待传输数据,模型训练过程所依据的拟合计算规则也不同。例如,在一个示意性实施例中,所述模型参数包括数据序列权值,模型训练模块可以按照下式拟合计算模型参数:
Figure BDA0002635345430000133
其中,n=P+1,P+2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。即,模型训练过程中,可以按照Model-based的方法,通过上述公式直接进行拟合,直接计算出权重ai作为模型参数。
在一种实现方式中,训练数据可以为时域信道的采样,对于多天线系统,该信道数据为矩阵形式。则模型训练模块可以按照下式拟合计算模型参数:
Figure BDA0002635345430000134
其中,θ为模型参数;n=P+1,P+2,……,N;H[n]为待传输数据原始值矩阵;
Figure BDA0002635345430000135
为待传输数据估计值矩阵。在训练阶段,输入信道矩阵H[1],……,H[P],通过上式采用梯度下降法,获得NN网络的参数θ。
根据上述实施例中提供的模型训练方法,可以使数据传输过程中所使用的网络模型更加符合待传输数据的时域相关关系,从而在使输出的数据估计值更加接近于数据原始值,减小误差数据中各误差数据的数值大小,以通过较少的量化比特数进行表示。另外,通过独立的模型训练模块,可以预先训练好符合传输要求的网络模型。在数据传输过程中能够直接调用对应的网络模型,缓解训练过程对数据传输速度的影响。
根据不同的模型训练方法,可以获得不同适应范围的网络模型,并且在不同的网络模型下对不同的待传输数据进行处理。例如,在一种示意性实施例中,可针对信道特性进行网络模型的训练。由于部分无线信道是时变的,后一时刻的信道与前一时刻的信道具有一定的时域相关性,因此可以利用该时域相关性进行模型训练。
即在发送端先建立NN网络模型,并输入信道数据,信道数据可以为时域信道的采样。对于多天线系统,信道数据为矩阵形式。通过输入信道矩阵H[1]、……、H[P],通过准则
Figure BDA0002635345430000141
Figure BDA0002635345430000142
利用梯度下降法,获得NN网络模型的参数θ。
在获取网络模型参数以后,再将信道输入训练后的NN网络模型,获得估计信道矩阵
Figure BDA0002635345430000143
然后定义误差矩阵为
Figure BDA0002635345430000144
计算每一个误差矩阵E[n],然后将误差矩阵E[n],网络参数θ,和前P个信道矩阵H[1]、……、H[P],送入量化器进行量化,以及在进行熵编码后,将数据进行传输。
上述实施例中,由于在发送端传输所述待传输数据前,需要将待传输数据先输入到网络模型中,而根据不同的数据传输特点,待传输数据的传输方式也不同。例如,待传输数据可以通过单路或多路进行传输。其中,如果待传输数据通过多路传输,发送端还可以将多路待传输数据按照预设输入方式输入网络模型。
预设输入方式可以根据当前传输系统的特点进行设定。例如,发送端可以将多路待传输数据并行输入网络模型;或者,将多路待传输数据串行输入网络模型;或者,将多路待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入网络模型。
其中,将多路待传输数据并行输入网络模型的方式,可适用于多路之间不具有时域相关关系或者时域相关关系不显著的,而同一路的待传输数据具有时域相关关系的数据传输过程。网络模型可以根据每一路输入的待传输数据分别输出数据估计值,从而使每一路待传输数据的数据估计值更接近于数据原始值。为了输出更加相近的数据估计值,还可以针对每一路待传输数据对应设置一个网络模型,由不同的训练数据训练获得,因此不同路对应设置的网络模型的模型参数也可以不同。
而将多路待传输数据串行输入网络模型的方式,可以适用于多路待传输数据之间具有时域相关关系的数据传输过程。通过将多路待传输数据串行输入网络模型后,可以针对串行输入的所有待传输数据输出数据估计值,不仅减小模型设置量,而且可以保证更多的数据序列能够通过计算误差数据的方式进行传输,从而提高数据压缩率。
shuffle处理可以根据预先设定的规则,对多路待传输数据进行数据分区、排序、缓存等处理,使多路待传输数据按照设定的规则进行排列以后,再输入到网络模型中。这样的输入方式可以保证多路待传输数据之间可以保持具有良好的时域相关关系,从而在将待传输数据输入网络模型时,能够根据该时域相关关系获得更准确的数据估计值。
而对于数据接收端,需要对接收的数据进行解析,从而获得与发送端数据传输方式相同的数据。因此,为了便于接收端对传输数据进行解析,在一个示意性实施例中,如果所述待传输数据通过多路传输,在传输P个数据序列、误差数据以及网络模型的模型参数的同时,还传输预设输入方式信息。
预设输入方式信息可以单独发送至数据接收端,也可以与P个数据序列、误差数据以及网络模型的模型参数一同进行量化编码后传输给数据接收端。例如,可以将预设输入方式信息通过特定的数字进行表达,如在特定位置上,使用00表示待传输数据不是多路传输方式;使用01表示待传输数据并行输入网络模型的传输方式;使用10表示待传输数据将多路待传输数据串行输入网络模型的传输方式;使用11表示将多路待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入网络模型的传输方式。
作为接收端的基站或终端,在接收到传输数据后,可以在解码后的数据中提取相应的预设输入方式信息,并按照与预设输入方式相同的方式对解析后的数据进行处理,从而获得与原数据形式相同的数据。例如,接收端在接收到的传输数据中提取到预设输入方式信息为11,则可以在解析传输数据中N-P个数据序列的数据原始值后,根据串行处理和shuffle处理方式,对P个数据序列和N-P个数据序列执行逆向处理,从而获得与原数据相同的多路待传输数据。
可见,在上述实施例中,通过对多路待传输数据按照预设输入方式输入到网络模型中,不仅能够适应多路传输的数据输入方式,而且可以使输入网络模型中的待传输数据能够拥有更显著的时域相关关系,从而使网络模型输出的数据估计值更接近于数据原始值。
对于待传输数据,其对应的传输数据量可以是动态的,即在不同的时间段,传输的数据量不同。相应的,在部分时间段的待传输数据规模较大,而在部分时间段的待传输数据规模较小。因此,为了适应不同规模的待发送数据流量,在一个示意性实施例中,如图6所示,传输P个数据序列、误差数据以及网络模型的模型参数的步骤包括:
S410:获取待传输数据的流量值。
所述待传输数据的流量值是指在单位时间内传输的数据量。可以通过在数据发送端内置一个流量获取模块,以实时获取当前传输过程中的流量值。或者通过统计获取待传输数据的数据量来确定待传输数据的流量,从而确定待传输数据的流量值。
S420:根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率。
在获取待传输数据的流量值以后,可以通过判断流量值的大小来确定数据发送端的当前数据发送压力,从而调整数据压缩过程。例如,在获取待传输数据的流量值以后,通过判断流量值的变化规律,调整数据压缩过程中的参数。如果待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个。其中,减小P值即增大N-P的值,使更多的数据序列以误差数据的形式代替传输,以提高压缩率;如果待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个。其中,增大P值即减小N-P的值,使更多的数据序列以数据原始值的形式进行传输,以降低信息损耗。
在一种示意性实施例中,也可以根据实际数据发送端或接收端的数据处理能力,在发送端内置多个判断阈值或区间,从而在获取待传输数据的流量值以后,确定当前流量值所归属的区间,并在流量值归属于不同区间时,设置不同的压缩参数。例如,如果待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值;其中,第一阈值小于N值,第一阈值大于第二阈值;如果待传输数据的流量值大于第一阈值,则设定P值等于第一值,其中,第一值小于初始值;如果待传输数据的流量值小于第二阈值,则设定P值等于第二值,其中,第二值大于初始值。
S430:传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。
为了使接收端能够在发送端对压缩过程的参数进行调整后,通过同样的压缩过程参数对传输的数据进行解析,在传输数据的同时,还需要将调节后的P值、单位比特数以及模型参数数量中的一种或多种也发送给接收端。具体的发送方式可以与待传输数据一同发送,也可以单独发送。
例如,在网络中待传输数据的数据量动态变化,当流量值增大时,可以提升压缩率,以减少数据的传输量;当流量减小时,可以降低压缩率,以降低信息损耗并充分利用信道容量。可以设定通信系统默认的P值=P0,单位比特数n=n0,模型参数数量Q=Q0,因此可获得默认压缩率γ=γ0。若需要针对该默认压缩率进行调整,可以通过额外的信令通知BBU pool,包括P值变化量ΔP,单位比特数变化量Δn以及模型参数数量变化量ΔQ。调整后的压缩率为调整后的压缩率为γ=γ0+Δγ。
可见,相比于固定压缩率的方法,通过待传输数据流量值自适应调整压缩率的方法可以实时匹配网络环境状态,确定合适的数据压缩方式。在流量较大时,通过较高的压缩率进一步减小数据传输量;在流量较小时,通过较低的压缩率尽可能传输更多的原始值数据。
对于接收端,在发送端调整压缩过程的参数后,可以根据调整后的压缩参数对接收到的传输数据进行解析,从而获得数据原始值。即,接收端接收到的传输数据中还包括P值、单位比特数以及模型参数数量中的一种或多种。在接收到传输数据后,接收端可以在传输数据中获取P值、单位比特数以及模型参数数量中的一种或多种,从而按照P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
通过与发送端相同的数据压缩参数,可以在接收端采用该压缩参数执行解析过程,从而获得更接近数据原始值的数据解析结果。
通过上述实施例中的数据传输方法,可以通过网络模型对待传输数据中的部分数据序列输出数据估计值,从而使用误差数据代替数据原始值来减小量化比特数,在较小的信息损耗下,获得较大的压缩率。并支持通过调整压缩参数对压缩过程进行调整。而为了进一步提高压缩率,可以在针对误差数据进行调整,从而使用更少的量化比特数对误差数据进行表达,即在本申请的部分实施例中,所述数据传输方法还包括以下步骤:
S510:获取误差基准。
所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值。在生成误差数据后,可以通过遍历误差数据中的数值大小,在误差数据中确定最小值、最大值、中间值或者平均值,获取当前误差数据对应的误差基准。
S520:计算所述误差基准与所述误差数据的差值。
在获取误差基准后,可以计算误差数据中的所有误差数值与该误差基准之间的差值。例如,根据网络模型输出的数据估计值和数据原始值计算得到的误差数据e[n]中,误差值的最小值为emin,可以将误差值的最小值作为误差基准,即,emin=min(e[n])。在获得误差基准emin后,可以将误差数据e[n]中每个误差值与该误差基准emin做差,计算获得误差基准与误差数据的差值,即Δe[n]=e[n]-emin
S530:传输所述误差基准以及所述误差基准与所述误差数据的差值。
在计算误差数据中各个误差值与误差基准值之间的差值后,发送端可以将误差基准值和计算获得的差值进行传输。即,通过误差数据中的各误差值与误差基准之间的差值代替误差数据执行量化过程。由于计算获得的误差数据中的各误差值与误差基准之间的差值,相对于误差数据中具体的误差值更小,因此在执行量化过程中,可以通过更小的量化比特数完成对误差数据的量化,进一步减小传输数据量。
而在传输误差数据中各个误差值与误差基准值之间差值的同时,还需要将确定的误差基准也执行量化并进行传输,以便接收端可以根据传输数据中的差值和误差基准计算获得误差数据中的各误差值,从而实现对N-P个数据序列的原始值进行解析。
因此,对于接收端,从接收到的所述传输数据中获得的误差数据包括误差基准以及误差基准与其余误差数据的差值,误差基准为所有误差数据中的最小值或最大值或中间值。在获取误差数据后,可以根据误差基准以及误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值。
可见,本实施例可以在使用误差数据代替N-P个数据序列原始值的基础上,通过计算误差值与误差基准的差值,代替误差数据,从而通过更少的比特数对误差数据进行量化,减小数据传输量。因此,更适合应用于带宽大,天线多的NR系统,或者对传输量具有传输量限制的通信系统。
本实施例提供的数据传输方法,还可以适用在网络模型输出的数据估计值与数据原始值之间误差较大的系统中。即通过计算误差值与误差基准之间的差值进一步减小误差数据中各误差值的大小,以减少量化所需的比特数。
需要说明的是,上述实施例在对待传输执行压缩处理后,可以将待传输数据通过信道进行发送,即从发送端传输到接收端。其中所述传输过程并不局限于上述在发送端和接收端之间的传输方式,还包括其他传输方式。例如,在对待传输数据执行压缩处理后,可以将压缩处理后的数据传输给存储介质,以通过存储介质进行保存。而在数据保存过程中,则不需要对数据进行熵编码,而是将量化后的数据直接记录在存储介质上。同样,由于存储的数据中通过误差数据代替数据原始值,可以减小量化比特数,进而减小存储空间要求。
上述实施例中所提供的数据传输方法以及各种实现方式中提供的数据传输方法或方法所包含的步骤之间,可以相互结合以获得更多的数据传输方法的实现方式,此处不再赘述。
基于上述实施例提供的数据传输方法,在本申请的一种示意性实施方式中,还提供一种数据传输装置。所述数据传输装置可以用于实施上述实施例中提供的数据传输方法。如图8所示,所述数据传输装置,包括:数据获取模块11、误差计算模块12以及传输模块13,分别用于执行上述实施例中的步骤S110、步骤S120以及步骤S130,以便传输数据。
例如,数据获取模块11用于获取待传输数据,并将获取的待传输数据发送给误差计算模块12。其中,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数。
误差计算模块12用于计算误差数据,即在接收到数据获取模块11发送的待传输数据后,调用网络模型,并将待传输数据的其中P个数据序列输入网络模型,其中P为小于N的正整数,以获取网络模型的输出结果,即其余N-P个数据序列的数据估计值。误差计算模块12再根据所述待传输数据中的数据原始值与数据估计值计算差值获得误差数据。误差计算模块12还可以用于将P个数据序列、误差数据以及网络模型的模型参数发送给传输模块13,以作为发送端进行数据传输。
传输模块13用于传输P个数据序列、误差数据以及网络模型的模型参数。传输模块13可以在接收到误差计算模块12发送的数据后,对接收的数据进行量化及熵编码处理,以便将数据转化为可进行传输的数字信号,最后将数字信号发送到数据接收端,完成数据传输。
可见,上述实施例提供的数据传输装置可以在发送端传输数据前,先通过数据获取模块获取待传输数据,再通过误差计算模块12生成误差数据,从而通过传输模块13传输待传输数据中的P个数据序列,和其余N-P个数据序列对应的误差数据,以及网络模型的模型参数代替待传输数据的数据原始值。由于传输模块13对N-P个数据序列对应的误差数据执行量化,因此可以采用相对于数据原始值较小的量化比特数进行表达,进而减小数据传输量。并且,通过调用网络模型,输出与数据原始值接近的数据估计值,使误差计算模块12生成的误差数据更小,进一步减小数据传输量。
对于上述实施例中的其他实现方式,可以在上述数据传输装置的基础上,通过配置不同的功能单元或附加功能模块实施相对应的实现方式,此处不再赘述。
同理,基于上述实施例提供的数据传输方法,在本申请的一种示意性实施方式中,还提供一种数据传输装置。所述数据传输装置可以用于实施上述实施例中提供的数据传输方法。所述数据传输装置,包括:数据接收模块21和数据解析模块22,分别用于执行上述实施例中的步骤S210和步骤S220,以作为接收端进行数据传输。
例如,数据接收模块21用于接收传输数据。其中,传输数据是指作为数据发送端的数据传输装置所发送的传输数据,因此所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数。数据接收模块21在接收到传输数据后,可以将接收到的数据发送给数据解析模块22。
数据解析模块22用于解析N-P个数据序列的数据原始值。数据解析模块22在接收到传输数据后,可以在传输数据中提取网络模型参数,并根据提取的网络模型参数构建与发送端误差计算模块12中相同的网络模型,从而利用构建的网络模型,以P个数据序列为输入,输出N-P个数据序列的数据估计值;其中,N为大于1的正整数,P为小于N的正整数。数据解析模块22再根据数据估计值与误差数据计算求和,得到N-P个数据序列的数据原始值,完成数据解析,获得全部数据。
可见,上述实施例提供的数据传输装置可以在接收端由数据接收模块21接收传输数据,并将接收到的传输数据发送给数据解析模块22,再通过数据解析模块22解析N-P个数据序列的数据原始值,获得传输数据对应的全部数据。因此,本实施例提供的数据传输装置可以在发送端传输P个数据序列、误差数据以及网络模型的模型参数时,能够根据发送端误差计算模块12的逆处理过程,获得其余N-P个数据序列的数据原始值,实现数据传输。
对于上述实施例中的其他实现方式,可以在上述数据传输装置的基础上,通过配置不同的功能单元以及附加的功能模块实施相对应的实现方式,此处不再赘述。
需要说明的是,上述实现方式中的数据传输装置中各模块的划分仅仅是一种逻辑功能的划分,在实际实现过程中可以全部或部分集成到一个物理实体上,也可以在物理上分开。例如,所述数据获取模块11和数据接收模块21,以及传输模块13可以由信号收发器实现;误差计算模块12和数据解析模块22可以由控制器实现。
即在发送端,信号收发器获取待传输数据并发送给控制器,使得控制器在将待发送数据中的部分数据序列输入网络模型后,计算误差数据。并通过信号收发器将计算误差数据、部分数据序列以及模型参数进行传输。在接收端,信号收发器接收到传输数据后,将传输数据发送给控制器,以使控制器进行与发送端相逆的操作,进而恢复出全部数据。
为此,在一种示意性实施方式中,还提供一种基站,包括信号收发台和控制器。信号收发台连接控制器,信号收发台被配置为获取待传输数据,以及将待传输数据发送给控制器。控制器被配置为执行操作指令,实现根据待传输数据计算误差数据,并控制信号收发台传输所述待传输数据中的部分数据序列、误差数据以及网络模型的模型参数,完成数据传输。
其中,控制器可以内置处理器和存储器,其中存储器中可以储存有上述预编码方法对应的控制程序,处理器可以从存储器中调用对应的控制程序,并通过执行该控制程序对下行数据进行预编码。其中,处理器可以是中央处理器(central processing unit,CPU),网络处理器(network processor,NP)或者CPU和NP的组合。处理器也可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integratedcircuit,ASIC),可编程逻辑器件(programmable logic device,PLD)或其组合。
上述PLD可以是复杂可编程逻辑器件(complex programmable logic device,CPLD),现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)或其任意组合。
存储器可以包括易失性存储器,例如随机存取存储器(random-access memory,RAM);存储器也可以包括非易失性存储器,例如只读存储器(read-only memory,ROM),快闪存储器,硬盘或固态硬盘;存储器也可以包括上述种类的存储器的组合。
需要说明的是,根据数据传输过程中所执行的功能不同,基站可以作为数据发送端也可以作为数据接收端。而在基站作为数据发送端和数据接收端时,其中信号收发台和控制器配配置的操作指令不同。例如,在作为数据发送端时,基站的信号收发台被配置为获取待发送数据以及传输待发送数据中的P个数据序列、误差数据以及网络模型的模型参数,而控制器被配置为计算误差数据。在作为数据接收端时,基站的信号收发台被配置为获取传输数据,控制器被配置为解析传输数据以获取其余N-P个数据序列的数据原始值。
对于上述实施例中的其他实现方式,只需要在基站的存储器中相应存储特定的应用程序。并在达到相应条件时,由处理器直接调用执行该应用程序即可实施其他实现方式,此处不再赘述。
在一个示意性实施例中,还提供一种通信装置,该通信装置可以为终端或者终端中的芯片或者片上系统。该通信装置可以实现上述各方面或者各可能的实现方式中终端所执行的功能,所述功能可以通过硬件实现。该通信装置可以包括:逻辑电路和输入输出接口,其中,输入输出接口可以用于获取数据和发送数据。处理器可以用于支持通信装置实现上述数据传输方法。根据通信装置作为的数据传输角色不同,输入输出接口用于获取或发送的数据也不同。例如,输入输出接口可以包括输入接口和输出接口,当通信装置作为发送端时,输入接口用于获取待传输数据,输出接口用于传输P个数据序列、误差数据以及网络模型的模型参数。当通信装置作为接收端时,输入接口用于接收传输数据,输出接口则用于将解析获得的数据原始值发送给其他模块或装置。
在一个示意性实施例中,还提供一种计算机可读存储介质,该计算机可读存储介质可以为可读的非易失性存储介质,该计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机可以执行上述数据传输方法。
在一个示意性实施例中,还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机可以执行上述数据传输方法。
在一个示意性实施例中,还提供一种通信装置,该通信装置可以为终端或者终端中的芯片或者片上系统,如图9所示,该通信装置包括一个或者多个处理器以及一个或多个存储器。所述一个或多个存储器与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,使所述通信装置执行上述数据传输方法。其中,存储器和处理器可以相互独立设置并通过通信总线实现连接,也可以集成在一起,即在处理器内部直接存储计算机程序。
通信装置可以通过处理器执行不同的计算机程序以分别作为发送端或接收端。例如,存储器中可以同时存储有用于发送数据的计算机程序和用于接收数据的计算机程序。当通信装置作为发送端时,处理器可以在存储器中提取用于发送数据的计算机程序代码,从而在获取待传输数据后,计算获得误差数据并传输P个数据序列、误差数据以及模型参数,完成数据传输。当通信装置作为接收端时,处理器可以在存储器中提取用于接收数据的计算机程序代码,从而在获取传输数据后,通过解析待传输数据获得数据原始值,完成数据接收。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线,例如同轴电缆、光纤、数字用户线,或无线,例如红外、无线、微波等,方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘)等。
本申请实施例是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本发明实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。

Claims (39)

1.一种数据传输方法,其特征在于,包括:
获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
获取误差数据;所述误差数据为所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
2.根据权利要求1所述的数据传输方法,其特征在于,所述获取误差数据包括:
将所述P个数据序列输入所述网络模型;
获得所述网络模型输出的其余N-P个数据序列的数据估计值;
根据其余N-P个所述数据序列中每个数据估计值与每个数据原始值之差,生成所述误差数据。
3.根据权利要求1或2所述的数据传输方法,其特征在于,所述方法还包括:
获取训练数据,所述训练数据中包括多个由训练数据值组成的数据序列;
将所述训练数据输入所述网络模型,获得训练误差;
以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
4.根据权利要求3所述的数据传输方法,其特征在于,所述获得训练误差包括:
依次将所述训练数据的其中P个数据序列x[1],……,x[P]、其中P+1个数据序列x[1],……,x[P+1]、……、以及其中N-1个数据序列x[1],……,x[N]输入所述网络模型;
获取所述网络模型输出的其余N-P个估计值序列
Figure FDA0002635345420000011
分别计算其余N-P个数据序列的原始值与估计值序列中对应元素之差,得到训练误差序列
Figure FDA0002635345420000012
5.根据权利要求3所述的数据传输方法,其特征在于,所述模型参数包括数据序列权值,所述计算模型参数按照下式拟合:
Figure FDA0002635345420000013
其中,n=P+1,P+2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
6.根据权利要求3所述的数据传输方法,其特征在于,所述计算模型参数按照下式拟合:
Figure FDA0002635345420000014
其中,θ为模型参数;n=P+1,P+2,……,N;H[n]为待传输数据原始值矩阵;
Figure FDA0002635345420000015
为待传输数据估计值矩阵。
7.根据权利要求1所述的数据传输方法,其特征在于,如果所述待传输数据通过多路传输,所述方法还包括:
将多路所述待传输数据按照预设输入方式输入所述网络模型;以及,
传输所述预设输入方式信息。
8.根据权利要求7所述的数据传输方法,其特征在于,将多路所述待传输数据按照预设输入方式输入所述网络模型包括:
将多路所述待传输数据并行输入所述网络模型;或者,
将多路所述待传输数据串行输入所述网络模型;或者,
将多路所述待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入所述网络模型。
9.根据权利要求1-8任一项所述的数据传输方法,其特征在于,传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数包括:
提取所述网络模型的模型参数、所述误差数据以及所述P个数据序列;
对所述误差数据、所述P个数据序列以及所述模型参数执行量化,获得量化数据;
对所述量化数据执行熵编码,并传输熵编码后的量化数据。
10.根据权利要求1-8任一项所述的数据传输方法,其特征在于,所述方法还包括:
获取误差基准,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
计算所述误差基准与所述误差数据的差值;
传输所述误差基准以及所述误差基准与所述误差数据的差值。
11.根据权利要求1-8任一项所述的数据传输方法,其特征在于,所述方法还包括:
获取待传输数据的流量值;
根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;
传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。
12.根据权利要求11所述的数据传输方法,其特征在于,所述根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率包括:
如果所述待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个;或者,
如果所述待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个。
13.根据权利要求11或12所述的数据传输方法,其特征在于,所述方法还包括:
如果所述待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值,所述第一阈值小于N值,所述第一阈值大于所述第二阈值;或者,
如果所述待传输数据的流量值大于所述第一阈值,则设定P值等于所述第一值,所述第一值小于所述初始值;或者,
如果所述待传输数据的流量值小于第二阈值,则设定P值等于所述第二值,所述第二值大于所述初始值。
14.一种数据传输方法,其特征在于,包括:
接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
15.根据权利要求14所述的数据传输方法,其特征在于,所述解析N-P个数据序列的数据原始值包括:
根据所述模型参数构建所述网络模型;
将所述P个数据序列输入所述网络模型,获得所述网络模型输出的其余N-P个数据序列的数据估计值;
计算N-P个数据序列的所述数据估计值与所述误差数据的和,生成N-P个数据序列的所述数据原始值。
16.根据权利要求14所述的数据传输方法,其特征在于,所述传输数据还包括P值、单位比特数以及模型参数数量中的一种或多种,所述方法还包括:
获取所述P值、单位比特数以及模型参数数量中的一种或多种;
按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
17.根据权利要求14所述的数据传输方法,其特征在于,所述误差数据包括误差基准以及所述误差基准与其余误差数据的差值,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值,所述方法还包括:
根据所述误差基准以及所述误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值。
18.一种数据传输装置,其特征在于,包括:
数据获取模块,用于获取待传输数据,所述待传输数据包括由数据原始值组成的N个数据序列,其中,N为大于1的正整数;
误差计算模块,用于获取误差数据;所述误差数据为所述待传输数据中N-P个数据序列的数据原始值与数据估计值的差值;所述数据估计值是由网络模型根据所述待传输数据中P个数据序列得到的,其中,P为小于N的正整数;
传输模块,用于传输所述P个数据序列、所述误差数据以及所述网络模型的模型参数。
19.根据权利要求18所述的数据传输装置,其特征在于,
所述误差计算模块,具体用于将所述P个数据序列输入所述网络模型;
获得所述网络模型输出的其余N-P个数据序列的数据估计值;
根据其余N-P个所述数据序列中每个数据估计值与每个数据原始值之差,生成所述误差数据。
20.根据权利要求18或19所述的数据传输装置,其特征在于,
还包括模型训练模块,用于:
获取训练数据,所述训练数据中包括多个由训练数据值组成的数据序列;
将所述训练数据输入所述网络模型,获得训练误差;
以最小训练误差为模型训练准则,通过线性拟合或浅层神经网络拟合,得到所述网络模型的模型参数。
21.根据权利要求20所述的数据传输装置,其特征在于,
所述模型训练模块,具体用于依次将所述训练数据的其中P个数据序列x[1],……,x[P]、其中P+1个数据序列x[1],……,x[P+1]、……、以及其中N-1个数据序列x[1],……,x[N]输入所述网络模型;
获取所述网络模型输出的其余N-P个估计值序列
Figure FDA0002635345420000041
分别计算其余N-P个数据序列的原始值与估计值序列中对应元素之差,得到所述训练误差序列
Figure FDA0002635345420000042
22.根据权利要求20所述的数据传输装置,其特征在于,
所述模型参数包括数据序列权值,所述模型训练模块计算模型参数时按照下式拟合:
Figure FDA0002635345420000043
其中,n=P+1,P+2,……,N;i=1,2,……,P;ai为数据序列权值;N和P为正整数。
23.根据权利要求20所述的数据传输装置,其特征在于,
所述模型训练模块计算模型参数按照下式拟合:
Figure FDA0002635345420000044
其中,θ为模型参数;n=P+1,P+2,……,N;H[n]为待传输数据原始值矩阵;
Figure FDA0002635345420000045
为待传输数据估计值矩阵。
24.根据权利要求18所述的数据传输装置,其特征在于,
如果所述待传输数据通过多路传输,还包括数据输入模块,用于将多路所述待传输数据按照预设输入方式输入所述网络模型;以及,
所述传输模块,具体用于传输所述预设输入方式信息。
25.根据权利要求24所述的数据传输装置,其特征在于,
所述数据输入模块,具体用于将多路所述待传输数据并行输入所述网络模型;或者,
将多路所述待传输数据串行输入所述网络模型;或者,
将多路所述待传输数据执行串行处理,并对串行处理后的数据执行shuffle处理后,输入所述网络模型。
26.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
所述传输模块具体用于提取所述网络模型的模型参数、所述误差数据以及所述P个所述数据序列;
对所述误差数据、所述P个数据序列以及所述模型参数执行量化,获得量化数据;
对所述量化数据执行熵编码,并传输熵编码后的量化数据。
27.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
所述误差计算模块,具体用于获取误差基准,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
计算所述误差基准与所述误差数据的差值;
传输所述误差基准以及所述误差基准与所述误差数据的差值。
28.根据权利要求18-25任一项所述的数据传输装置,其特征在于,
还包括调节模块,用于获取待传输数据的流量值;
根据所述待传输数据的流量值调节P值、单位比特数以及模型参数数量中的一种或多种,以改变压缩率;
传输调节后的所述P值、单位比特数以及模型参数数量中的一种或多种。
29.根据权利要求28所述的数据传输装置,其特征在于,
所述调节模块,具体用于如果所述待传输数据的流量值增大,则减小P值、单位比特数以及模型参数数量中的一个或多个;或者,
如果所述待传输数据的流量值减小,则增大P值、单位比特数以及模型参数数量中的一个或多个。
30.根据权利要求28或29所述的数据传输装置,其特征在于,
所述调节模块,具体用于如果所述待传输数据的流量值小于或等于第一阈值,且大于或等于第二阈值,则设定P值等于预设初始值,所述第一阈值小于N值,所述第一阈值大于所述第二阈值;或者,
如果所述待传输数据的流量值大于所述第一阈值,则设定P值等于所述第一值,所述第一值小于所述初始值;或者,
如果所述待传输数据的流量值小于第二阈值,则设定P值等于所述第二值,所述第二值大于所述初始值。
31.一种数据传输装置,其特征在于,包括:
数据接收模块,用于接收传输数据;所述传输数据包括P个数据序列、误差数据以及网络模型的模型参数;
数据解析模块,用于解析N-P个数据序列的数据原始值,所述数据原始值为数据估计值与误差数据之和;所述数据估计值是由所述网络模型根据所述模型参数以及P个数据序列得到的;其中,N为大于1的正整数,P为小于N的正整数。
32.根据权利要求31所述的数据传输装置,其特征在于,
所述数据解析模块,具体用于根据所述模型参数构建所述网络模型;
将所述P个数据序列输入所述网络模型,获得所述网络模型输出的N-P个数据序列的数据估计值;
计算N-P个数据序列的所述数据估计值与所述误差数据的和,生成N-P个数据序列的所述数据原始值。
33.根据权利要求31所述的数据传输装置,其特征在于,
所述传输数据还包括P值、单位比特数以及模型参数数量中的一种或多种,所述数据解析模块,具体用于获取所述P值、单位比特数以及模型参数数量中的一种或多种;
按照所述P值、单位比特数以及模型参数数量中的一种或多种,解析N-P个数据序列的数据原始值。
34.根据权利要求31所述的数据传输装置,其特征在于,
所述误差数据包括误差基准以及所述误差基准与其余误差数据的差值,所述误差基准为所有所述误差数据中的最小值或最大值或中间值或平均值;
所述数据解析模块,具体用于根据所述误差基准以及所述误差基准与其余误差数据的差值还原误差数据,获得N-P个数据序列的误差值。
35.一种通信装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现如权利要求1-13任意一项所述的方法。
36.一种通信装置,其特征在于,包括:至少一个处理器和存储器;
所述存储器用于存储计算机可读指令或者计算机程序,所述处理器用于读取所述计算机可读指令以实现如权利要求14-17任意一项所述的方法。
37.一种通信装置,其特征在于,包括:逻辑电路和输入输出接口;
所述输入输出接口用于获取待传输数据,所述逻辑电路用于执行如权利要求1-13中任一项所述的方法。
38.一种通信装置,其特征在于,包括:逻辑电路和输入输出接口;
所述输入输出接口用于获取传输数据,所述逻辑电路用于执行如权利要求14-17中任一项所述的方法。
39.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当其在计算机上运行时,使得所述计算机执行如权利要求1-13或14-17中任意一项所述的方法。
CN202010823521.2A 2020-08-17 2020-08-17 一种数据传输方法及装置 Pending CN114157722A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010823521.2A CN114157722A (zh) 2020-08-17 2020-08-17 一种数据传输方法及装置
PCT/CN2021/109647 WO2022037390A1 (zh) 2020-08-17 2021-07-30 一种数据传输方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010823521.2A CN114157722A (zh) 2020-08-17 2020-08-17 一种数据传输方法及装置

Publications (1)

Publication Number Publication Date
CN114157722A true CN114157722A (zh) 2022-03-08

Family

ID=80322320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010823521.2A Pending CN114157722A (zh) 2020-08-17 2020-08-17 一种数据传输方法及装置

Country Status (2)

Country Link
CN (1) CN114157722A (zh)
WO (1) WO2022037390A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116659044B (zh) * 2023-05-31 2023-11-07 利德世普科技有限公司 一种5g通信基站的节能控制方法、系统及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7653248B1 (en) * 2005-11-07 2010-01-26 Science Applications International Corporation Compression for holographic data and imagery
CN101232304B (zh) * 2008-02-29 2012-05-30 北京邮电大学 一种通信系统中发送和接收信道信息的方法和设备
CN101888550A (zh) * 2010-06-28 2010-11-17 中兴通讯股份有限公司 一种slice头信息中量化参数编码方法和装置
CN102685478B (zh) * 2011-03-11 2015-04-29 华为技术有限公司 编码方法以及装置、解码方法以及装置
GB2493212B (en) * 2011-07-29 2015-03-11 Canon Kk Method and device for error concealment in motion estimation of video data

Also Published As

Publication number Publication date
WO2022037390A1 (zh) 2022-02-24

Similar Documents

Publication Publication Date Title
CN105324949B (zh) 基站系统及通信装置
US9722677B2 (en) Backhaul signal compression through spatial-temporal linear prediction
CN114614955A (zh) 一种传输数据的方法和装置
TW201532423A (zh) 分裂增益形狀向量編碼
WO2022037390A1 (zh) 一种数据传输方法及装置
WO2023011472A1 (zh) 信道状态信息的反馈方法及接收方法、终端、基站、计算机可读存储介质
US20220374500A1 (en) Finite resolution decomposition of a matrix and matrix-vector multiplication
KR20190093019A (ko) 클라우드 무선 접속 네트워크의 수신 간섭 상관도에 따른 신호 송수신 방법 및 장치
WO2022001822A1 (zh) 获取神经网络的方法和装置
CN117203902A (zh) 使用基于子码本的网格编码量化进行信道状态信息反馈的方法和系统
CN114492784A (zh) 神经网络的测试方法和装置
CN112888076A (zh) 一种调度方法及装置
Thulajanaik et al. An Adaptive Compression Technique for Efficient Video Reconstruction in Future Generation Wireless Network.
CN114978413B (zh) 信息编码的控制方法及相关装置
Silva et al. A New O-RAN Compression Approach for Improved Performance on Uplink Signals
WO2022217502A1 (zh) 信息处理方法、装置、通信设备及存储介质
CN112838908B (zh) 基于深度学习的通信方法、装置及系统
WO2024008004A1 (zh) 一种通信方法及装置
WO2023115254A1 (zh) 处理数据的方法及装置
WO2023004563A1 (zh) 获取参考信号的方法及通信设备
CN109690673B (zh) 量化器与量化方法
WO2017167370A1 (en) Radio system and decoding device for distributed compression
CN116982300A (zh) 信号处理的方法及接收机
Kavitha et al. Efficient Multimedia Data Transmission Model for Future Generation Wireless Network
CN115133967A (zh) 数据处理方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination