CN115955297B - 语义编码方法、语义编码装置、语义译码方法及装置 - Google Patents

语义编码方法、语义编码装置、语义译码方法及装置 Download PDF

Info

Publication number
CN115955297B
CN115955297B CN202310239583.2A CN202310239583A CN115955297B CN 115955297 B CN115955297 B CN 115955297B CN 202310239583 A CN202310239583 A CN 202310239583A CN 115955297 B CN115955297 B CN 115955297B
Authority
CN
China
Prior art keywords
semantic
word
code table
decoding
code
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310239583.2A
Other languages
English (en)
Other versions
CN115955297A (zh
Inventor
魏急波
赵海涛
张亦弛
曹阔
熊俊
王喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202310239583.2A priority Critical patent/CN115955297B/zh
Publication of CN115955297A publication Critical patent/CN115955297A/zh
Application granted granted Critical
Publication of CN115955297B publication Critical patent/CN115955297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Abstract

本发明提供一种语义编码方法、语义编码装置、语义译码方法及装置，编码时，依据码字间的信道传输概率和码字对应的单词间的语义距离构建码表的平均语义损失函数；求解使平均语义损失最小的码表，将其作为最终的信源编码码表，对待传输的信息进行信源编码。译码时，根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。本发明提供的所提出的语义编译码策略可以提高通信系统的可靠性，提高传输和恢复消息之间的语义准确性。

Description

语义编码方法、语义编码装置、语义译码方法及装置
技术领域
本发明属于智能通信技术领域，特别涉及一种语义编码方法、语义编码装置、语义译码方法及装置。
背景技术
语义通信在经典通信系统的基础上考虑传输信息的语义特征，来提高整个通信系统的可靠性和有效性。
现有的语义通信系统往往采用信源信道联合编译码策略和自动编译码模型，同时需要假设通信系统需要获得完美的信道状态信息，即（perfectchannel stateinformation）。除此之外，采用以词向量作为编码码字的语义通信系统中的编码后的码字往往是实数而非是二进制数，需要额外设计调制和解调才可以应用于实际的通信信道中。
发明内容
针对现有技术存在的技术问题，本发明提出了一种语义编码方法、语义编码装置、语义译码方法及装置，其能够考虑发送与恢复信息间的语义差异和上下文相关性，以提高通信系统的可靠性和有效性。
为实现上述技术目的，本发明提出的技术方案为：
一方面，本发明提供一种语义编码方法，包括：
对所有词语表
Figure SMS_1
随机生成初始码表/>
Figure SMS_2
；
依据码字间的信道传输概率
Figure SMS_3
和码字对应的单词间的语义距离
Figure SMS_4
构建码表的平均语义损失函数/>
Figure SMS_5
；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
作为本发明的优选方案，本发明利用模拟退火算法求解使平均语义损失最小的码表
Figure SMS_6
，即：
Figure SMS_7
；
其中
Figure SMS_13
表示使平均语义损失最小的码表，/>
Figure SMS_19
代表所有编码码表的集合，/>
Figure SMS_25
表示当前码表/>
Figure SMS_9
的平均语义损失值，码表/>
Figure SMS_15
即对词语表/>
Figure SMS_22
中所有待编码的元素随机分配一个等长二进制码字/>
Figure SMS_28
，/>
Figure SMS_12
为码字集合，所述元素包括单词、符号、字符，/>
Figure SMS_20
和/>
Figure SMS_26
表示词语表/>
Figure SMS_31
中任意两个元素，/>
Figure SMS_14
表示码字集合/>
Figure SMS_21
中任意两个二进制码字/>
Figure SMS_27
和/>
Figure SMS_32
间的信道传输概率即
Figure SMS_10
，/>
Figure SMS_16
为/>
Figure SMS_23
的二进制码字中第k个符号，其中/>
Figure SMS_29
为/>
Figure SMS_8
在编码码表g中的信源码字/>
Figure SMS_17
，/>
Figure SMS_24
为确定性编码函数；/>
Figure SMS_30
表示/>
Figure SMS_11
和/>
Figure SMS_18
间的语义距离。
另一方面，本发明提供一种语义译码方法，包括：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
根据传输信息单词间的上下文共现概率即信息序列联合共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
作为本发明的优选方案，本发明所述译码目标函数为：
Figure SMS_33
；
其中h代表语义信源译码策略，
Figure SMS_41
为码字/>
Figure SMS_35
被发送端发送经过信道后接收机收到的二进制码字，/>
Figure SMS_47
为已知接收机接收到的第i位目标单词的二进制码字/>
Figure SMS_37
和第i位目标单词的上下文/>
Figure SMS_43
通过译码策略h将第i位目标单词译码成单词/>
Figure SMS_38
，
Figure SMS_44
，/>
Figure SMS_46
代表信息序列联合共现概率，条件概率/>
Figure SMS_49
为已知目标单词/>
Figure SMS_34
的上文单词/>
Figure SMS_45
的前提下后面接目标单词/>
Figure SMS_36
的概率或者已知上文/>
Figure SMS_48
后当前位置是/>
Figure SMS_39
的出现概率，/>
Figure SMS_42
表示为目标单词/>
Figure SMS_40
的上文。
作为本发明的优选方案，本发明所述条件概率
Figure SMS_50
以通过排列语言模型建模求解。
作为本发明的优选方案，本发明利用动态规划算法求解译码目标函数。
另一方面，本发明提供一种语义编码装置，包括：
初始码表生成单元，用于对所有词语表
Figure SMS_51
随机生成初始码表/>
Figure SMS_52
；
平均语义损失构建单元，用于依据码字间的信道传输概率
Figure SMS_53
和码字对应的单词间的语义距离/>
Figure SMS_54
构建码表的平均语义损失函数/>
Figure SMS_55
；
信源编码码表生成单元，用于求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
编码单元，用于基于信源编码码表，对待传输的信息进行信源编码。
另一方面，本发明提供一种语义编码装置，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
对所有词语表
Figure SMS_56
随机生成初始码表/>
Figure SMS_57
；
依据码字间的信道传输概率
Figure SMS_58
和码字对应的单词间的语义距离
Figure SMS_59
构建码表的平均语义损失函数/>
Figure SMS_60
；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
另一方面，本发明提供一种语义译码装置，包括：
接收单元,用于获取经信道译码后的输入码字；
信源译码单元，用于根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
共现概率计算及输出单元，用于根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
另一方面，本发明提供一种语义译码装置，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
与现有技术相比，本发明的优点在于：
本发明提供的语义编码方法中使用词语间的语义距离和码字间的码字距离来定义码表的平均语义损失，并且生成使平均语义损失最小的码表。
本发明提供的语义译码方法中，进一步考虑并利用码字表和词语间上下文语义关联来恢复消息。
本发明提供的所提出的语义编译码策略可以提高通信系统的可靠性，提高传输和恢复消息之间的语义准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明一实施例提供的一种语义编码方法的流程图；
图2为本发明一实施例提供的一种语义译码方法的流程图；
图3为本发明一个实施例中利用模拟退火算法求解使平均语义损失最小的码表的流程示意图；
图4为本发明一个实施例中语义编码方法的模拟退火算法迭代收敛图；
图5为一个实施例中利用本发明提供的语义编码及译码方法与最新语义通信系统基于BPSK调制在高斯白噪声信道上的BLEU(4-gram)得分仿真结果对比示意图；
图6为一个实施例中利用本发明提供的语义编码及译码方法与最新语义通信系统基于QPSK调制在高斯白噪声信道上的BLEU(4-gram)得分仿真结果对比示意图；
图7为一个实施例中利用本发明提供的语义编码及译码方法与最新语义通信系统在瑞利衰落信道上的BLEU（4-gram）得分仿真结果对比示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面将以附图及详细叙述来清楚说明本发明所揭示内容的精神，任何所属技术领域技术人员在了解本发明内容的实施例后，当可由本发明内容所教示的技术，加以改变及修饰，其并不脱离本发明内容的精神与范围。本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
参照图1，本发明一实施例提供一种语义编码方法，包括：
对所有词语表
Figure SMS_61
随机生成初始码表/>
Figure SMS_62
；
依据码字间的信道传输概率
Figure SMS_63
和码字对应的单词间的语义距离
Figure SMS_64
构建码表的平均语义损失函数/>
Figure SMS_65
；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
可以理解，本领域技术人员可以采用现有的各种码表生成方法，生成初始码表。本发明一实施例中，针对所有词语表
Figure SMS_67
先随机产生一个码表作为初始码表。可以理解，生成码表/>
Figure SMS_69
即对词语表/>
Figure SMS_71
中所有待编码的元素（包括单词、符号、字符等）随机分配一个等长码字/>
Figure SMS_68
，/>
Figure SMS_70
为码字集合。等长码字的码字长度/>
Figure SMS_72
与词语表的大小/>
Figure SMS_73
有关，它们的关系为/>
Figure SMS_66
。
本发明一实施例中，依据码字间的信道传输概率
Figure SMS_74
和码字对应的单词间的语义距离/>
Figure SMS_75
构建码表/>
Figure SMS_76
的平均语义损失函数/>
Figure SMS_77
，定义如下：
Figure SMS_94
Figure SMS_82
其中/>
Figure SMS_93
和/>
Figure SMS_79
表示词语表/>
Figure SMS_91
中任意两个元素，
Figure SMS_80
表示码字集合/>
Figure SMS_89
中任意两个二进制码字/>
Figure SMS_84
和/>
Figure SMS_87
间的信道传输概率即/>
Figure SMS_83
，/>
Figure SMS_88
为/>
Figure SMS_81
的二进制码字中第k个符号，其中/>
Figure SMS_90
为/>
Figure SMS_85
在编码码表g中的信源码字/>
Figure SMS_92
，/>
Figure SMS_78
为确定性编码函数；码字间的信道传输概率/>
Figure SMS_86
，即：
Figure SMS_95
；
其中，
Figure SMS_96
可以由错误检测概率/>
Figure SMS_97
和正确检测概率/>
Figure SMS_98
建模为：
Figure SMS_99
；
另一方面，在语义通信系统中，
Figure SMS_101
错误检测成/>
Figure SMS_105
的代价还需要考虑/>
Figure SMS_108
和/>
Figure SMS_102
间的语义差异特征。/>
Figure SMS_103
和/>
Figure SMS_106
间的语义距离/>
Figure SMS_109
是一种语义差异特征，用于衡量/>
Figure SMS_100
和/>
Figure SMS_104
间语义差异特征。语义距离/>
Figure SMS_107
定义为：
Figure SMS_110
；
其中，
Figure SMS_111
为/>
Figure SMS_112
和/>
Figure SMS_113
间的语义相似度。语义相似度的范围为0到1之间。语义相似度/>
Figure SMS_114
可以建模为/>
Figure SMS_115
和/>
Figure SMS_116
的词向量间的余弦相似度，可以表示为：
Figure SMS_117
；
其中，
Figure SMS_118
的词向量/>
Figure SMS_119
是高维特征向量（K维的特征向量，其中每个元素为实数），可以用来表征/>
Figure SMS_120
。同样的，/>
Figure SMS_121
的词向量/>
Figure SMS_122
是高维特征向量（K维的特征向量，其中每个元素为实数），可以用来表征/>
Figure SMS_123
。/>
Figure SMS_124
代表Euclidean欧式距离。
本发明一实施例中，利用模拟退火算法求解使平均语义损失最小的码表
Figure SMS_125
，即：/>
Figure SMS_126
；
其中
Figure SMS_127
表示使平均语义损失最小的码表，/>
Figure SMS_128
代表所有编码码表的集合，/>
Figure SMS_129
表示当前码表/>
Figure SMS_130
的平均语义损失值，/>
Figure SMS_131
表示/>
Figure SMS_132
和/>
Figure SMS_133
间的语义距离。
参照图3，流程如下：首先设定初始温度
Figure SMS_137
和终止温度/>
Figure SMS_139
，设置内、外循环的次数/>
Figure SMS_142
和/>
Figure SMS_135
，以及最大迭代次数/>
Figure SMS_140
。然后，在每个内循环内随机在解决方案空间中产生R个新解，实现对当前解/>
Figure SMS_143
的扰动和更改；在这些扰动的新解中找到语义损失值最小的对应的解作为/>
Figure SMS_145
，并且记录其语义损失值为/>
Figure SMS_134
。记录新解的语义损失值和当前解的语义损失值之间的差值/>
Figure SMS_138
。接着，当/>
Figure SMS_141
，即新解比当前解的语义损失值更小，那么就保留新的可行解；否则，新可行解没有当前解的好，那么就根据Metropolis准则，以/>
Figure SMS_144
概率判断是否接受新可行解/>
Figure SMS_136
，这样做的目的是可以跳出局部最优解。根据Metropolis准则，接受新可行解的概率为
Figure SMS_146
；
当接受差的新可行解的次数l超过最大的次数限制
Figure SMS_149
，那就跳出循环。将扰动后的当前解/>
Figure SMS_152
的语义损失值/>
Figure SMS_155
与保存的最优解/>
Figure SMS_148
的语义损失值/>
Figure SMS_151
进行比较。如果当前解的语义损失值/>
Figure SMS_154
比保存的最优解的语义损失值/>
Figure SMS_157
更小，那么将当前解保存为新的最优解/>
Figure SMS_147
。根据温度衰减因子，降低温度，当温度由初始温度/>
Figure SMS_150
降到终止温度/>
Figure SMS_153
，就将当前最优解/>
Figure SMS_156
输出。
可以理解，使平均语义损失最小的码表
Figure SMS_158
即最终的信源编码码表。按照信源编码码对待传输的信息进行语义信源编码，然后按照经典通信系统对信源编码后的码字进行处理，包括但不仅限于信道译码、调制等。
参照图2，本发明一实施例提供一种语义译码方法，包括：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
根据传输信息单词间的上下文共现概率（即信息序列联合共现概率）构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
可以理解，在译码阶段，接收机接收到信号，接收机对经过信道的信号进行处理至信道译码后得到输入码字y。因为经过噪声信道，所以输入码字y可能会存在错误。
接收机在信源编码码表
Figure SMS_161
中寻找目标单词/>
Figure SMS_162
的所有候选词集合/>
Figure SMS_164
，其中候选词集合中每个元素都满足该元素的码字/>
Figure SMS_160
和目标词的码字/>
Figure SMS_163
之间的汉明距离小于阈值/>
Figure SMS_165
（即/>
Figure SMS_166
,/>
Figure SMS_159
）。汉明距离表示两个（相同长度）字符串对应位置的不同字符的数量，通常以d(x,y)表示两个字x,y之间的汉明距离。
本发明根据传输信息单词间的上下文共现概率c，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果
Figure SMS_167
，其中h代表语义信源译码策略。
可以理解，确定候选单词集合后，接收机可以利用目标单词周围的历史消息作为目标词的先验上下文c来恢复信息序列
Figure SMS_168
。考虑因果语言模型来制定信息序列联合共现概率/>
Figure SMS_169
，为：
Figure SMS_170
；
其中，
Figure SMS_171
表示为目标单词/>
Figure SMS_172
的上文。
对信息序列联合共现概率
Figure SMS_173
建模后，语义信源译码策略的译码目标函数为：
Figure SMS_174
；
其中h代表语义信源译码策略，
Figure SMS_182
为码字/>
Figure SMS_176
被发送端发送经过信道后接收机收到的二进制码字，/>
Figure SMS_186
为已知接收机接收到的第i位目标单词的二进制码字
Figure SMS_179
和第i位目标单词的上下文/>
Figure SMS_185
通过译码策略h将第i位目标单词译码成单词/>
Figure SMS_181
，
Figure SMS_187
，/>
Figure SMS_180
代表序列联合共现概率，条件概率/>
Figure SMS_184
为已知目标单词
Figure SMS_175
的上文单词/>
Figure SMS_183
的前提下后面接目标单词/>
Figure SMS_178
的概率或者已知上文/>
Figure SMS_189
后当前位置是/>
Figure SMS_188
的出现概率，/>
Figure SMS_190
表示为目标单词/>
Figure SMS_177
的上文。
其中条件概率
Figure SMS_191
可以通过排列语言模型（permutationlanguagemodel）建模求解。其中，排列语言模型打乱了原序列并在原序列的基础上产生多种新排列组合。每个新排列都用马尔可夫模型考虑上文信息，再对每种情况取平均就可以得到双向上下文信息。其条件概率可以表示为/>
Figure SMS_192
；
其中，
Figure SMS_193
为XLNET网络中训练出来的单词/>
Figure SMS_194
的输出向量（神经网络中嵌入层的输出向量），/>
Figure SMS_195
为网络输入（目标单词上文）的隐藏层的输出表示，/>
Figure SMS_196
为码字表里所有词的总数目。
利用动态规划算法求解
Figure SMS_197
，即恢复后的信息满足序列联合共现概率
Figure SMS_198
最大的要求。
在本发明一实施例中，提供一种语义信源编译码处理方法，包括编码过程和译码过程，其中所述编码过程包括：
随机生成初始码表；
依据码字间的信道传输概率和码字对应的单词间的语义距离构建码表的平均语义损失函数；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码；
所述译码过程包括：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
根据传输信息单词间的上下文共现概率（即信息序列联合共现概率）构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
在一个实施例中，为了更直观且全面地说明上述语义编码方法以及语义译码方法的有效性，下面提供的是应用本申请上述语义编码方法以及语义译码方法和高斯白噪声瑞利衰落信道模型的仿真示例。
需要说明的是，本说明书中给出的仿真示例仅为示意性的，并非为本发明具体实施案例的唯一限定，本领域技术人员可以在本发明提供的实施案例的示意下，同理采用本发明上述提供的语义编码方法以及语义译码方法，实现对不同应用场景的仿真、实际应用或试验。
高斯白噪声信道模型满足
Figure SMS_199
，/>
Figure SMS_200
。瑞利衰落信道模型满足信道响应/>
Figure SMS_201
服从复高斯分布/>
Figure SMS_202
，即/>
Figure SMS_203
。考虑BLEU (4-gram) “双语评估替补”作为评价指标，用于计算发送文本与恢复后文本的语义相似度。将本发明的方法和最新的语义通信方法相比较。图4是所提编码策略中模拟退火算法的迭代收敛图。该图显示了迭代次数与语义损失值之间的关系。其中，初始温度为100，终止温度为/>
Figure SMS_204
，冷却系数为0.99。内循环数为10，外循环数为20，连续接受差解的最大不超过1500次。由该收敛图可知在7000次迭代后，算法收敛。
图5和图6所示，在加性高斯白噪声（AWGN）信道中，所提出的语义编码/解码策优于其他两种语义编码方法，尤其是在低信噪比时，本发明的优势更明显。Semantic_game方法（即现有方法（二））和ContextSC(CBOW)（即现有方法（一））是两种典型的语义信源编译码策略。其中横坐标为信噪比，纵坐标为BLEU（4-gram）得分。
补充说明，在BPSK调制中，错误检测概率（即0传输错判为1或者1错判为0）为：
Figure SMS_205
。
正确检测概率为：
Figure SMS_206
。
在QPSK调制中，调制符号为
Figure SMS_207
，当码字距离为1时（例如 00和01间码字距离为1）错误检测概率是：
Figure SMS_208
；
当码字距离为2时（例如00和11码字间距离为2）错误检测概率为：
Figure SMS_209
。
正确检测概率（例如00传输为00）为：
Figure SMS_210
。
在图7中，将本发明的语义信源编译码方法(即图中本发明方法)与ContextSC（CBOW）+CC（即现有方法（三））、ECSC（即现有方法（四））和DeepSC（即现有方法（五））网络进行性能比较，其中CC 为信道编码方法，信道编码方法采用LDPC信道编码（2/3速率）方法。ECSC和DeepSC网络是最新的联合语义信源信道编码方法。这两种基于深度学习的自动编码器结构（ECSC模型和DeepSC网络）在低SNR区域比其他方法表现好，但在SNR超过6dB时比其他方法表现差。所提出的模型在相对较低的SNR区域可以获得比ContextSC（CBOW）+CC更好的性能。
另一方面，本发明一实施例中提供一种语义编码装置，包括：
初始码表生成单元，用于对所有词语表
Figure SMS_211
随机生成初始码表/>
Figure SMS_212
；
平均语义损失构建单元，用于依据码字间的信道传输概率
Figure SMS_213
和码字对应的单词间的语义距离/>
Figure SMS_214
构建码表的平均语义损失函数/>
Figure SMS_215
；
信源编码码表生成单元，用于求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
编码单元，用于基于信源编码码表，对待传输的信息进行信源编码。
上述各模块功能的实现方法，可以采用前述各实施例中相同的方法实现，在此不再赘述。
另一方面，本发明一实施例中提供一种语义编码装置，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
对所有词语表
Figure SMS_216
随机生成初始码表/>
Figure SMS_217
；
依据码字间的信道传输概率
Figure SMS_218
和码字对应的单词间的语义距离/>
Figure SMS_219
构建码表的平均语义损失函数/>
Figure SMS_220
；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
上述各模块功能的实现方法，可以采用前述各实施例中相同的方法实现，在此不再赘述。
另一方面，本发明一实施例中提供一种语义译码装置，包括：
接收单元,用于获取经信道译码后的输入码字；
信源译码单元，用于根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
共现概率计算及输出单元，用于根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
上述各模块功能的实现方法，可以采用前述各实施例中相同的方法实现，在此不再赘述。
另一方面，本发明一实施例中提供一种语义译码装置，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合；
根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果。
上述各模块功能的实现方法，可以采用前述各实施例中相同的方法实现，在此不再赘述。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.语义编码方法，其特征在于，包括：
对所有词语表
Figure QLYQS_1
随机生成初始码表g；
依据码字间的信道传输概率
Figure QLYQS_2
和码字对应的单词间的语义距离/>
Figure QLYQS_3
构建码表的平均语义损失函数/>
Figure QLYQS_4
；
Figure QLYQS_5
，
其中
Figure QLYQS_6
和/>
Figure QLYQS_7
表示词语表/>
Figure QLYQS_8
中任意两个元素；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
2.根据权利要求1所述的语义编码方法，其特征在于，利用模拟退火算法求解使平均语义损失最小的码表
Figure QLYQS_9
，即：
Figure QLYQS_10
，
其中
Figure QLYQS_15
表示使平均语义损失最小的码表，/>
Figure QLYQS_13
代表所有编码码表的集合，/>
Figure QLYQS_19
表示当前码表/>
Figure QLYQS_14
的平均语义损失值，码表/>
Figure QLYQS_22
即对词语表/>
Figure QLYQS_28
中所有待编码的元素随机分配一个等长二进制码字/>
Figure QLYQS_32
，/>
Figure QLYQS_23
为码字集合，所述元素包括单词、符号、字符，
Figure QLYQS_29
表示码字集合/>
Figure QLYQS_11
中任意两个二进制码字/>
Figure QLYQS_17
和
Figure QLYQS_21
间的信道传输概率即/>
Figure QLYQS_27
，/>
Figure QLYQS_25
为/>
Figure QLYQS_30
的二进制码字中第k个符号，其中/>
Figure QLYQS_16
为/>
Figure QLYQS_20
在编码码表g中的信源码字/>
Figure QLYQS_26
，
Figure QLYQS_31
为确定性编码函数，T表示转置；/>
Figure QLYQS_12
表示/>
Figure QLYQS_18
和/>
Figure QLYQS_24
间的语义距离。
3.语义译码方法，其特征在于，包括：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合，其中所述信源编码码表采用如下方法获得：
对所有词语表
Figure QLYQS_33
随机生成初始码表g；
依据码字间的信道传输概率
Figure QLYQS_34
和码字对应的单词间的语义距离/>
Figure QLYQS_35
构建码表的平均语义损失函数/>
Figure QLYQS_36
；/>
Figure QLYQS_37
，
其中
Figure QLYQS_38
和/>
Figure QLYQS_39
表示词语表/>
Figure QLYQS_40
中任意两个元素；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
根据传输信息单词间的上下文共现概率即信息序列联合共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果，其中译码目标函数为：
Figure QLYQS_41
，
其中h代表语义信源译码策略，
Figure QLYQS_55
为码字/>
Figure QLYQS_44
被发送端发送经过信道后接收机收到的二进制码字，/>
Figure QLYQS_49
为已知接收机接收到的第i位目标单词的二进制码字/>
Figure QLYQS_48
和第i位目标单词的上下文/>
Figure QLYQS_54
通过译码策略h将第i位目标单词译码成单词/>
Figure QLYQS_56
，
Figure QLYQS_57
，/>
Figure QLYQS_45
代表序列联合共现概率，条件概率/>
Figure QLYQS_52
为已知目标单词/>
Figure QLYQS_43
的上文单词/>
Figure QLYQS_51
的前提下后面接目标单词/>
Figure QLYQS_47
的概率或者已知上文/>
Figure QLYQS_53
后当前位置是/>
Figure QLYQS_46
的出现概率，/>
Figure QLYQS_50
表示为目标单词/>
Figure QLYQS_42
的上文。
4.根据权利要求3所述的语义译码方法，其特征在于，条件概率
Figure QLYQS_58
以通过排列语言模型建模求解。
5.根据权利要求3所述的语义译码方法，其特征在于，利用动态规划算法求解译码目标函数。
6.语义编码装置，其特征在于，包括：
初始码表生成单元，用于对所有词语表
Figure QLYQS_59
随机生成初始码表g；
平均语义损失构建单元，用于依据码字间的信道传输概率
Figure QLYQS_60
和码字对应的单词间的语义距离/>
Figure QLYQS_61
构建码表的平均语义损失函数/>
Figure QLYQS_62
；
Figure QLYQS_63
，/>
其中
Figure QLYQS_64
和/>
Figure QLYQS_65
表示词语表/>
Figure QLYQS_66
中任意两个元素；
信源编码码表生成单元，用于求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
编码单元，用于基于信源编码码表，对待传输的信息进行信源编码。
7.语义编码装置，其特征在于，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述 存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
对所有词语表
Figure QLYQS_67
随机生成初始码表g；
依据码字间的信道传输概率
Figure QLYQS_68
和码字对应的单词间的语义距离/>
Figure QLYQS_69
构建码表的平均语义损失函数/>
Figure QLYQS_70
；
Figure QLYQS_71
，
其中
Figure QLYQS_72
和/>
Figure QLYQS_73
表示词语表/>
Figure QLYQS_74
中任意两个元素；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
基于信源编码码表，对待传输的信息进行信源编码。
8.语义译码装置，其特征在于，包括：
接收单元,用于获取经信道译码后的输入码字；
信源译码单元，用于根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合，其中所述信源编码码表采用如下方法获得：
对所有词语表
Figure QLYQS_75
随机生成初始码表g；
依据码字间的信道传输概率
Figure QLYQS_76
和码字对应的单词间的语义距离/>
Figure QLYQS_77
构建码表的平均语义损失函数/>
Figure QLYQS_78
；
Figure QLYQS_79
，/>
其中
Figure QLYQS_80
和/>
Figure QLYQS_81
表示词语表/>
Figure QLYQS_82
中任意两个元素；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
共现概率计算及输出单元，用于根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果，其中译码目标函数为：
Figure QLYQS_83
，
其中h代表语义信源译码策略，
Figure QLYQS_88
为码字/>
Figure QLYQS_86
被发送端发送经过信道后接收机收到的二进制码字，/>
Figure QLYQS_94
为已知接收机接收到的第i位目标单词的二进制码字/>
Figure QLYQS_87
和第i位目标单词的上下文/>
Figure QLYQS_93
通过译码策略h将第i位目标单词译码成单词/>
Figure QLYQS_95
，
Figure QLYQS_99
，/>
Figure QLYQS_92
代表序列联合共现概率，条件概率/>
Figure QLYQS_98
为已知目标单词/>
Figure QLYQS_84
的上文单词/>
Figure QLYQS_90
的前提下后面接目标单词/>
Figure QLYQS_89
的概率或者已知上文/>
Figure QLYQS_96
后当前位置是/>
Figure QLYQS_91
的出现概率，/>
Figure QLYQS_97
表示为目标单词/>
Figure QLYQS_85
的上文。
9.语义译码装置，其特征在于，包括处理器、存储器、收发器和总线，所述处理器、存储器、收发器通过总线连接，其中，所述 存储器用于存储一组程序代码，所述收发器用于收发信息，所述处理器用于调用所述存储器中存储的程序代码，执行以下操作：
获取经信道译码后的输入码字；
根据信源编码码表，对输入码字进行信源译码，得到传输信息中每个目标单词的候选单词集合，其中所述信源编码码表采用如下方法获得：
对所有词语表
Figure QLYQS_100
随机生成初始码表g；
依据码字间的信道传输概率
Figure QLYQS_101
和码字对应的单词间的语义距离/>
Figure QLYQS_102
构建码表的平均语义损失函数/>
Figure QLYQS_103
；
Figure QLYQS_104
，
其中
Figure QLYQS_105
和/>
Figure QLYQS_106
表示词语表/>
Figure QLYQS_107
中任意两个元素；
求解使平均语义损失最小的码表，将其作为最终的信源编码码表；
根据传输信息单词间的上下文共现概率构建译码目标函数，从候选单词集合中选择共现概率最大的单词组成语义译码输出结果，其中译码目标函数为：
Figure QLYQS_108
，
其中h代表语义信源译码策略，
Figure QLYQS_113
为码字/>
Figure QLYQS_110
被发送端发送经过信道后接收机收到的二进制码字，/>
Figure QLYQS_118
为已知接收机接收到的第i位目标单词的二进制码字/>
Figure QLYQS_112
和第i位目标单词的上下文/>
Figure QLYQS_119
通过译码策略h将第i位目标单词译码成单词/>
Figure QLYQS_114
，
Figure QLYQS_120
，/>
Figure QLYQS_122
代表序列联合共现概率，条件概率/>
Figure QLYQS_124
为已知目标单词
Figure QLYQS_109
的上文单词/>
Figure QLYQS_116
的前提下后面接目标单词/>
Figure QLYQS_115
的概率或者已知上文/>
Figure QLYQS_121
后当前位置是
Figure QLYQS_117
的出现概率，/>
Figure QLYQS_123
表示为目标单词/>
Figure QLYQS_111
的上文。/>
CN202310239583.2A 2023-03-14 2023-03-14 语义编码方法、语义编码装置、语义译码方法及装置 Active CN115955297B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310239583.2A CN115955297B (zh) 2023-03-14 2023-03-14 语义编码方法、语义编码装置、语义译码方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310239583.2A CN115955297B (zh) 2023-03-14 2023-03-14 语义编码方法、语义编码装置、语义译码方法及装置

Publications (2)

Publication Number Publication Date
CN115955297A CN115955297A (zh) 2023-04-11
CN115955297B true CN115955297B (zh) 2023-05-30

Family

ID=85891382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310239583.2A Active CN115955297B (zh) 2023-03-14 2023-03-14 语义编码方法、语义编码装置、语义译码方法及装置

Country Status (1)

Country Link
CN (1) CN115955297B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092516A1 (en) * 2012-12-14 2014-06-19 Samsung Electronics Co., Ltd. Packet decoding method and apparatus
CN113271110A (zh) * 2021-04-27 2021-08-17 北京邮电大学 一种文本的语义信源信道联合编译码方法及装置
CN113473149A (zh) * 2021-05-14 2021-10-01 北京邮电大学 用于无线图像传输的语义信道联合编码方法及装置
WO2022131450A1 (ko) * 2020-12-16 2022-06-23 숭실대학교 산학협력단 노이즈 추가 기반 커버리지와 단어 연관을 이용한 문서 요약 방법, 이를 수행하기 위한 기록 매체 및 장치

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3113532A1 (fr) * 2020-08-24 2022-02-25 Commissariat A L'energie Atomique Et Aux Energies Alternatives Systeme d’echange de donnees semantiques avec un canal de retransmission semantique
CN112836506A (zh) * 2021-02-24 2021-05-25 中国人民解放军国防科技大学 一种基于上下文语义的信源编译码方法和装置
CN113379040B (zh) * 2021-07-07 2022-11-01 东南大学 基于语义编码的混合重传方法
CN114091673B (zh) * 2022-01-19 2022-04-08 华中科技大学 语义编码器、解码器和语义通信框架
CN114519346A (zh) * 2022-02-11 2022-05-20 中国人民解放军国防科技大学 基于语言模型的译码处理方法、装置、设备和介质
CN115293167A (zh) * 2022-07-18 2022-11-04 中国人民解放军国防科技大学 基于依存句法分析的分层语义通信方法和系统
CN115309869A (zh) * 2022-08-19 2022-11-08 南京邮电大学 一种一对多的多用户语义通信模型及通信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014092516A1 (en) * 2012-12-14 2014-06-19 Samsung Electronics Co., Ltd. Packet decoding method and apparatus
WO2022131450A1 (ko) * 2020-12-16 2022-06-23 숭실대학교 산학협력단 노이즈 추가 기반 커버리지와 단어 연관을 이용한 문서 요약 방법, 이를 수행하기 위한 기록 매체 및 장치
CN113271110A (zh) * 2021-04-27 2021-08-17 北京邮电大学 一种文本的语义信源信道联合编译码方法及装置
CN113473149A (zh) * 2021-05-14 2021-10-01 北京邮电大学 用于无线图像传输的语义信道联合编码方法及装置

Also Published As

Publication number Publication date
CN115955297A (zh) 2023-04-11

Similar Documents

Publication Publication Date Title
CN108462558B (zh) 一种极化码scl译码方法、装置及电子设备
KR101751497B1 (ko) 행렬 네트워크 코딩을 사용하는 장치 및 방법
Wu et al. Blind recognition of LDPC codes over candidate set
CN110995278B (zh) 一种改进极性码串行消除列表比特翻转译码方法及系统
KR20150131370A (ko) 멀티-스테이지 소프트 입력 디코딩을 위한 방법 및 시스템
CN107864029A (zh) 一种降低多用户检测复杂度的方法
CN109951190B (zh) 一种自适应Polar码SCL译码方法及译码装置
CN110995279B (zh) 一种极化码联合scf球形列表翻转译码方法
CN111480324A (zh) 用于检测相互干扰的信息流的装置和方法
CN109831281B (zh) 一种低复杂度稀疏码多址接入系统多用户检测方法及装置
US7023936B2 (en) Method and apparatus for decoding lattice codes and multilevel coset codes
CN115955297B (zh) 语义编码方法、语义编码装置、语义译码方法及装置
CN114070331A (zh) 一种自适应串行抵消列表翻转译码方法及系统
KR102199274B1 (ko) 첨가 래티스들을 이용하는 map 디코딩 방법
CN115694515A (zh) 基于关键比特的神经网络辅助极化码译码方法及装置
CN114519346A (zh) 基于语言模型的译码处理方法、装置、设备和介质
CN114421974A (zh) 一种具有改进因子图选择方式的极化码bpl译码方法
CN112821895A (zh) 一种实现信号高误码率下的编码识别方法
US7224724B2 (en) Reduced alphabet equalizer using iterative equalization
Han et al. A novel method for identifying recursive systematic convolutional encoders based on the cuckoo search algorithm
CN109951259B (zh) 一种极化码球形译码器的译码半径选取方法
TWI783727B (zh) 使用極化碼之通訊系統及其解碼方法
CN110830051A (zh) 一种译码方法和装置
VUCETIC et al. Low complexity soft decision decoding algorithms for reed-solomon codes
CN106953647A (zh) 一种针对代数几何码的自适应Chase译码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant