CN113379040B - 基于语义编码的混合重传方法 - Google Patents
基于语义编码的混合重传方法 Download PDFInfo
- Publication number
- CN113379040B CN113379040B CN202110766619.3A CN202110766619A CN113379040B CN 113379040 B CN113379040 B CN 113379040B CN 202110766619 A CN202110766619 A CN 202110766619A CN 113379040 B CN113379040 B CN 113379040B
- Authority
- CN
- China
- Prior art keywords
- semantic
- network
- coding
- retransmission
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 20
- 238000005457 optimization Methods 0.000 claims description 10
- 239000000654 additive Substances 0.000 claims description 2
- 230000000996 additive effect Effects 0.000 claims description 2
- 125000004122 cyclic group Chemical group 0.000 claims 2
- 241001591024 Samea Species 0.000 claims 1
- 230000007774 longterm Effects 0.000 abstract description 4
- 238000004891 communication Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000012937 correction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007306 turnover Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/08—Error detection or correction by redundancy in data representation, e.g. by using checking codes
- G06F11/10—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's
- G06F11/1004—Adding special bits or symbols to the coded information, e.g. parity check, casting out 9's or 11's to protect a block of data words, e.g. CRC or checksum
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Quality & Reliability (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
Abstract
本发明公开一种基于语义编码的混合重传方法,包括:对待传输的内容训练一个主语义编解码器和多个增量冗余语义编解码器;对第一类混合重传方法:只用一个主语义编解码器替换原信源信道编解码,发送端对信源进行语义编码和CRC校验编码并发送,接收端在解码并CRC校验,若有错则丢弃码字,并通知发送端重发同样的码字;对第二类混合重传方法,接收端在发现错误后不丢弃错误码字,而通知发送端继续用一个增量冗余语义编码器对信源编码并发送,接收端每次都合并所有接收到的码字并用对应的增量冗余语义解码器完成解码并进行CRC校验。本发明相较于基于传统前向编码的混合重传方法,大幅降低了发送码长并改善了混合重传机制在长期恶劣信道环境下的译码性能。
Description
技术领域
本发明涉及一种基于语义编码的混合重传方法,属于无线通信技术领域。
背景技术
近年来,基于注意力机制的语义自编码网络在自然语言处理等众多学科得到了广泛应用,不断取得突破性的成果。在通信领域,基于传输内容感知的语义通信是目前的热点研究方向之一,有望实现传统通信从符号传输向语义传输的突破。
对于作为通信关键技术之一的混合重传技术,目前已经有基于不同前向纠错码的混合重传方式。但是,目前的纠错编码方式仅仅停留在对比特级或者符号级的数据进行编码,不能理解具体的传输内容,不能根据传输内容的上下文联系实现高效压缩和纠错,其纠错能力和重传机制受到长期恶劣信道环境的挑战。同时,现有的语义通信编解码器在未结合混合重传机制时,受到固定网络结构的影响,无法适应多样的信源信息和不断变化的无线通信信道环境,导致其实际应用不能发挥出最好性能。
发明内容
本发明所要解决的技术问题在于克服现有技术的不足,提供一种基于语义编码的混合重传方法,解决现有技术存在的对于传输带宽要求高,无法工作在长期恶劣信道环境,无法适应信源和信道环境快速变化的问题。
本发明具体采用以下技术方案解决上述技术问题:
一种基于语义编码的混合重传方法,包括以下步骤:
步骤一、对基于待传输内容对主语义编解码网络进行离线训练,包括:使用内容范围特定的信源数据集s,在发送端经过语义编码网络得到待传输码字b,其码长为n;考虑信道干扰的影响,在接收端获得码字b的估计值将输入语义解码网络且将其输出看作对发送信源s的估计;信源数据集s作为网络的输入样本和标签对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的主语义编解码网络;
步骤二、考虑第二类混合重传时还需要离线训练增量语义编解码网络,包括:对于第i次增量重传,发送端使用第i个增量语义编码网络将信源s编码成增量码字bi,其码长为ni;接收端在信道干扰下获得增量码字的估计并将前面接收到的码字与合并输入第i个增量语义解码网络获得第i次重传得到的发送信源的估计其标签仍为s;信源数据集s作为网络的输入样本对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的第i个增量语义编解码网络;
步骤三、部署为第一类混合重传时,发送端需调用主语义编码网络将某个信源s′编码成码字b′,同时也传输用于CRC校验码字;接收端接收到码字的估计和CRC检验码后,先将通过主语义解码器获得信源的估计再用CRC检验是否出错;若出错则丢弃并通知发送端重发,接收端重复解码和校验的步骤直到无错或者达到重传上限。
步骤四、部署为第二类混合重传时,发送端需调用主语义编码网络将某个信源s′编码成码字b′,同时也传输用于CRC校验码字;接收端接收到码字的估计和CRC检验码后,先将通过主语义解码器获得信源的估计再用CRC检验是否出错;若出错则通知发送端进行第一次增量重传,即使用第一个增量编码网络发送增量码字b1,接收端接收到增量码字的估计并将前面接收到的码字与合并输入第一个增量解码网络解码并进行CRC校验,如出错则继续使用下一个增量编解码网络完成下一次增量重传,直到无错或者达到重传上限。
进一步的,作为本发明的一种优选技术方案,所述步骤一和二中的信道干扰影响,具体为:
若编码网络产生的码字为调制后的频域信号,其信道干扰可以表现为加性白噪声或者随机擦除部分码字;若编码网络产生的码字为比特流,其信道干扰可以表现为比特的随机擦除或者随机翻转。
进一步的,作为本发明的一种优选技术方案,所述方法中步骤一到四中使用的主语义编解码网络和增量语义编解码网络均为基于注意力机制的自编码网络。
进一步的,作为本发明的一种优选技术方案,所述步骤一和二中优化算法调整网络参数采用与信源数据集相适应的损失函数,具体为:
对于文本传输可以选择交叉熵损失函数
其中,N为文本信源s中的单词数,M为字典中的单词总数;文本中第j个单词是字典中第k个的单词则sj,k=1,否则sj,k=0;是网络预测文本中第j个单词是字典中第k个的单词的概率。同样的,步骤二中第i重传得到的文本预测概率也与标签sj,k计算交叉熵损失函数。
对于图片传输可以选择均方误差损失函数
进一步的,作为本发明的一种优选技术方案,所述步骤四中重传上限次数等于步骤二中所提供的增量语义编解码网络的数量。
本发明采用上述技术方案,能产生如下技术效果:
本发明的基于语义编码的混合重传方法,利用基于注意力机制的语义编解码网络重新设计混合重传机制,提升了传输性能,降低了传输消耗。本发明使用基于注意力机制的语义编解码网络,首先针对特定的待传输信源数据集实现离线训练,然后固定网络参数,并使用混合重传的方法传输编码后的符号,相比传统混合重传方法取得了更好的效果。
因此,本发明的语义编码,解决了基于传统编码的混合重传方法在长期恶劣信道下的纠错性能不足;通过引入语义编码网络,改善了混合重传方法在不同传输环境下的解码错误率以及减少了传输符号数目。并且,基于语义编码的混合重传方式相比于现有语义传输系统,对不同的信道环境具有更强的鲁棒性,对不同的信源信息编码也更加灵活。
附图说明
图1为本发明方法的原理示意图。
图2为本发明的主语义网络离线训练的示意图。
图3为本发明的增量语义网络离线训练的示意图。
具体实施方式
下面结合说明书附图对本发明的实施方式进行描述。
如图1所示,本发明提出一种基于语义编码的混合重传方法。如图2所示是主语义网络离线训练的示意图,如图2所示是主语义网络离线训练的示意图,具体的,使用了基于注意力机制的编解码网络。本发明的实施使用了上述接收机结构,但不限于该种结构,本方法具体包括以下步骤:
步骤一、对基于待传输内容对主语义编解码网络进行离线训练,包括:使用内容范围特定的信源数据集s,在发送端经过语义编码网络得到待传输码字b;考虑信道干扰的影响,在接收端获得码字b的估计值将输入语义解码网络且将其输出看作对发送信源s的估计;信源数据集s作为网络的输入样本和标签对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的主语义编解码网络;
具体的,基于注意力的主语义编码网络首先将文本信源数据s编码成待发送比特流b;由于信道的干扰发送比特流b中的部分比特发生了随机翻转得到接收比特流这里假设随机翻转率为5%;基于注意力的主语义解码网络将接收比特流解码成发送信源的估计其中,使用Adam优化算法和小批量梯度下降法调整网络参数,使s和的交叉熵损失最小。采用的交叉熵损失函数如下所示:
本步骤中所有神经网络的训练使用Python依靠TensorFlow深度学习框架在GPU上实现,依靠GPU的并行计算能力,提高运算速度。离线训练完成后将网络参数存储在硬盘中,便于神经网络编解码阶段调用,最后得到离线训练后的神经网络。
步骤二、考虑第二类混合重传时还需要离线训练增量语义编解码网络,包括:对于第i次增量重传,发送端使用第i个增量语义编码网络将信源s编码成增量码字bi;接收端在信道干扰下获得增量码字的估计并将前面接收到的码字与合并输入第i个增量语义解码网络获得第i次重传得到的发送信源的估计其标签仍为s;信源数据集s作为网络的输入样本对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的第i个增量语义编解码网络;
具体的,增量网络需要依次训练并固定住所有训练好的网络参数再训练下一个增量语义编解码网络。如图2所示,此时除了待训练的增量编码网络传输的增量比特流bi,待训练的增量解码网络还需要合并输入前面所有网络的比特流并解码出本次的信源估计
步骤三、部署为第一类混合重传时,发送端需调用主语义编码网络将某个信源s′编码成码字b′,同时也传输用于CRC校验码字;接收端接收到码字的估计和CRC检验码后,先将通过主语义解码器获得信源的估计再用CRC检验是否出错;若出错则丢弃并通知发送端重发,接收端重复解码和校验的步骤直到无错或者达到重传上限。
具体的,这里使用CRC对发送信源s编码并每次传输同时发送32比特CRC校验码字。
步骤四、部署为第二类混合重传时,发送端需调用主语义编码网络将某个信源s′编码成码字b′,同时也传输用于CRC校验码字;接收端接收到码字的估计和CRC检验码后,先将通过主语义解码器获得信源的估计再用CRC检验是否出错;若出错则通知发送端进行第一次增量重传,即使用第一个增量编码网络发送增量码字b1,接收端接收到增量码字的估计并将前面接收到的码字与合并输入第一个增量解码网络解码和校验,如出错则继续使用下一个增量编解码网络完成下一次增量重传,直到无错或者达到重传上限。
具体的,重传次数的上限与离线训练好的增量网络的数量一致,当所有增量网络用尽时,系统将通知发送端重新从主语义网络编码开始发送,并丢弃之前所有接收码字。
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (6)
1.一种基于语义编码的混合重传方法,其特征在于,包括以下步骤:
步骤一、对基于待传输内容对主语义编解码网络进行离线训练,包括:使用内容范围特定的信源数据集s,在发送端经过语义编码网络得到待传输码字b,其码长为n;考虑信道干扰的影响,在接收端获得码字b的估计值将输入语义解码网络且将其输出看作对发送信源s的估计;信源数据集s作为网络的输入样本和标签对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的主语义编解码网络;
步骤二、考虑第二类混合重传时还需要离线训练增量语义编解码网络,包括:对于第i次增量重传,发送端使用第i个增量语义编码网络将信源s编码成增量码字bi,其码长为ni;接收端在信道干扰下获得增量码字的估计并将前面接收到的码字与合并输入第i个增量语义解码网络获得第i次重传得到的发送信源的估计其标签仍为s;信源数据集s作为网络的输入样本对收发两端的编解码网络进行端到端训练,使用优化算法调整网络参数,并将离线训练完成后的网络参数存储,得到离线训练后的第i个增量语义编解码网络;
步骤三、部署为第一类混合重传时,发送端需调用主语义编码网络将某个信源s′编码成码字b′,同时也传输用于CRC校验码字;接收端接收到码字的估计和CRC检验码后,先将通过主语义解码器获得信源的估计再用CRC检验是否出错;若出错则丢弃并通知发送端重发b′,接收端重复解码和校验的步骤直到无错或者达到重传上限;
2.根据权利要求1所述基于语义编码的混合重传方法,其特征在于,所述步骤一和二中信道干扰影响,在训练时具体为:
若编码网络产生的码字为调制后的频域信号,其信道干扰表现为加性白噪声或者随机擦除部分码字;若编码网络产生的码字为比特流,其信道干扰表现为比特的随机擦除或者随机翻转。
3.根据权利要求1所述基于语义编码的混合重传方法,其特征在于,所述步骤一到四中使用的主语义编解码网络和增量语义编解码网络均为基于注意力机制的自编码网络。
4.根据权利要求1所述基于语义编码的混合重传方法,其特征在于,所述步骤一、二中优化算法调整网络参数采用与信源数据集相适应的损失函数,具体为:
对于文本传输可以选择交叉熵损失函数
其中,N为文本信源s中的单词数,M为字典中的单词总数;文本中第j个单词是字典中第k个的单词则sj,k=1,否则sj,k=0;是网络预测文本中第j个单词是字典中第k个的单词的概率;同样的,步骤二中第i重传得到的文本预测概率也与标签sj,k计算交叉熵损失函数;
对于图片传输可以选择均方误差损失函数
6.根据权利要求1所述基于语义编码的混合重传方法,其特征在于,所述步骤四中重传上限次数等于步骤二中所提供的增量语义编解码网络的数量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110766619.3A CN113379040B (zh) | 2021-07-07 | 2021-07-07 | 基于语义编码的混合重传方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110766619.3A CN113379040B (zh) | 2021-07-07 | 2021-07-07 | 基于语义编码的混合重传方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113379040A CN113379040A (zh) | 2021-09-10 |
CN113379040B true CN113379040B (zh) | 2022-11-01 |
Family
ID=77581241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110766619.3A Active CN113379040B (zh) | 2021-07-07 | 2021-07-07 | 基于语义编码的混合重传方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113379040B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113839750B (zh) * | 2021-11-25 | 2022-02-18 | 之江实验室 | 一种语义通信系统中的信息传输方法 |
CN114448563B (zh) * | 2021-12-13 | 2024-03-08 | 北京邮电大学 | 语义编码传输方法及电子设备 |
CN116367167A (zh) * | 2021-12-22 | 2023-06-30 | 华为技术有限公司 | 通信方法和通信装置 |
CN114548073B (zh) * | 2022-01-20 | 2024-09-06 | 浙江大学 | 一种基于语义通信系统的去噪方法 |
CN116863949A (zh) * | 2022-03-21 | 2023-10-10 | 北京邮电大学 | 通信接收方法及其装置 |
CN114765568B (zh) * | 2022-04-01 | 2022-11-18 | 北京科技大学 | 一种面向语义通信系统的多址接入方法及装置 |
CN117692094A (zh) * | 2022-09-02 | 2024-03-12 | 北京邮电大学 | 编码方法、解码方法、编码装置、解码装置及电子设备 |
CN115883018A (zh) * | 2022-11-03 | 2023-03-31 | 北京邮电大学 | 语义通信系统 |
CN115955297B (zh) * | 2023-03-14 | 2023-05-30 | 中国人民解放军国防科技大学 | 语义编码方法、语义编码装置、语义译码方法及装置 |
CN118869667A (zh) * | 2023-04-27 | 2024-10-29 | 华为技术有限公司 | 语义信息传输的方法和通信装置 |
WO2024259549A1 (zh) * | 2023-06-19 | 2024-12-26 | 华为技术有限公司 | 语义通信方法以及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109194425A (zh) * | 2018-08-15 | 2019-01-11 | 西安电子科技大学 | 一种基于人工智能端到端信息传输系统及方法 |
CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
CN112236943A (zh) * | 2018-06-07 | 2021-01-15 | 高通股份有限公司 | 低密度奇偶校验码的自解码性 |
-
2021
- 2021-07-07 CN CN202110766619.3A patent/CN113379040B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112236943A (zh) * | 2018-06-07 | 2021-01-15 | 高通股份有限公司 | 低密度奇偶校验码的自解码性 |
CN109194425A (zh) * | 2018-08-15 | 2019-01-11 | 西安电子科技大学 | 一种基于人工智能端到端信息传输系统及方法 |
CN109582789A (zh) * | 2018-11-12 | 2019-04-05 | 北京大学 | 基于语义单元信息的文本多标签分类方法 |
Non-Patent Citations (1)
Title |
---|
基于动态语义编码双向LSTM的中文语义相似度计算;初雅莉等;《计算机应用与软件》;20200612(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN113379040A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113379040B (zh) | 基于语义编码的混合重传方法 | |
CN106571831B (zh) | 一种基于深度学习的ldpc硬判决译码方法及译码器 | |
CN101567755B (zh) | 一种基于喷泉码的网络编码方法 | |
CN116488748B (zh) | 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质 | |
CN106488243A (zh) | 一种多描述屏幕内容视频编码方法 | |
CN111917512A (zh) | 一种在多跳传输系统中基于bats码的高效编码设计方法 | |
CN110247732B (zh) | 多播环境中基于混合译码的喷泉码的编码设计方法 | |
CN116436567A (zh) | 一种基于深度神经网络的语义通信方法 | |
CN101917625A (zh) | 一种基于联合信源-网络编码的可分级视频流传输方法 | |
CN103200088A (zh) | 一种基于喷泉编码下的改进型mmrs固定中继节点选择的信号传输方法 | |
CN109274462B (zh) | 一种基于改进在线喷泉码的图像传输方法 | |
CN103944676B (zh) | 一种基于深空通信环境的lt码编译码方法 | |
CN110430018A (zh) | 一种均衡保护的滑动窗口bats码传输方法 | |
CN113890683B (zh) | 一种基于不等差错保护在线喷泉码的分级视频传输方法 | |
WO2021063218A1 (zh) | 一种图像信号处理方法及装置 | |
CN107181533B (zh) | 一种喷泉码的译码方法及喷泉码的水声通信传输方法 | |
CN105430421A (zh) | 一种基于极化码属性降低图像传输失真率的方法 | |
CN107222294A (zh) | 一种改进的喷泉码度分布算法 | |
CN106100804A (zh) | 一种基于选择重传arq的数字喷泉码传输方法 | |
Wang et al. | A novel deep learning architecture for wireless image transmission | |
CN107508656A (zh) | 一种在BEC信道上的Spinal信源信道联合译码方法 | |
CN117978181A (zh) | 一种极化码帧间联合译码方法 | |
CN102263606B (zh) | 信道数据编码、解码方法及装置 | |
CN111865488B (zh) | 一种用于多跳短分组通信的编码选择方法 | |
CN107257244A (zh) | 一种基于广播环境下的喷泉码编码方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |