CN113271110A

CN113271110A - 一种文本的语义信源信道联合编译码方法及装置

Info

Publication number: CN113271110A
Application number: CN202110461894.4A
Authority: CN
Inventors: 牛凯; 戴金晟; 姚圣时
Original assignee: Beijing University of Posts and Telecommunications
Current assignee: Beijing University of Posts and Telecommunications
Priority date: 2021-04-27
Filing date: 2021-04-27
Publication date: 2021-08-17
Anticipated expiration: 2041-04-27
Also published as: CN113271110B

Abstract

本说明书一个或多个实施例提供一种文本的语义信源信道联合编译码方法及装置，包括：接收无线信道输出的接收信号；根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码，得到本次译码的信道译码结果；利用信源译码模型根据所述信道译码结果预测本次译码所对应的文本序列。本实施例可提高无线信道传输的可靠性且具有较高的鲁棒性。

Description

一种文本的语义信源信道联合编译码方法及装置

技术领域

本说明书一个或多个实施例涉及通信技术领域，尤其涉及一种文本的语义信源信道联合编译码方法及装置。

背景技术

一般的通信系统中，信源编码与信道编码独立进行，这种独立编码方式在有限包长的情况下是非最优的，信源信道联合编译码使用单一码字同时完成对信源的压缩和在有噪信道上传输时的差错保护。相比于传统的信源编码根据信源的统计特性进行压缩编码，然后再用信道码加以差错保护，基于语义的信源信道联合编译码模型利用神经网络提取消息序列的语义信息，完成对消息序列的语义信息到码字序列的映射，在接收端通过对未判决的信道输出符号进行译码，使得译码器能“感知”到信道噪声的影响，达到差错保护效果，但这类方案对于噪声是敏感的，离线训练的编译码模型对不同信道的鲁棒性较差，对离散信道(如删除信道，对称信道)是可行的，但不适合具有连续噪声特性的复杂无线信道。

发明内容

有鉴于此，本说明书一个或多个实施例的目的在于提出一种文本的语义信源信道联合编译码方法及装置，能够提高无线信道传输的可靠性。

基于上述目的，本说明书一个或多个实施例提供了一种文本的语义信源信道联合编译码方法，包括：

接收无线信道输出的接收信号；

根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码，得到本次译码的信道译码结果；

利用信源译码模型根据所述信道译码结果预测本次译码所对应的文本序列。

可选的，根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码，得到本次译码的信道译码结果，包括：

第一次译码时，计算所述接收信号的对数似然比；

根据所述接收信号的对数似然比进行第一次译码，得到第一次译码的信道译码结果；

其他次译码时，根据所述接收信号的对数似然比以及上一次译码的先验信息，对所述接收信号进行本次译码，得到本次译码的信道译码结果。

可选的，预测本次译码所对应的文本序列之后，还包括：

计算文本序列中每个词单元的概率分布；

根据各词单元的概率分布，计算各词单元的加权词向量；

对所有词单元的加权词向量进行编码处理，得到本次译码的先验信息。

可选的，根据所述概率分布，计算加权词向量包括：

根据所述概率分布，对各概率值从大到小排序；

从前向后选取预定数量的概率值；

确定选取的各概率值分别对应的候选词单元；

根据各候选词单元分别对应的词向量及概率值，计算所述加权词向量。

可选的，根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码为：以所述接收信号的对数似然比和所述上一次译码的先验信息为参数进行本次译码。

本说明书实施例提供一种文本的语义信源信道联合编译码装置，包括：

接收模块，用于接收无线信道输出的接收信号；

信道译码模块，用于根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码，得到本次译码的信道译码结果；

信源译码模块，用于根据所述信道译码结果预测本次译码所对应的文本序列。

可选的，所述信道译码模块，用于在第一次译码时，计算所述接收信号的对数似然比；根据所述接收信号的对数似然比进行第一次译码，得到第一次译码的信道译码结果；在其他次译码时，根据所述接收信号的对数似然比以及上一次译码的先验信息，对所述接收信号进行本次译码，得到本次译码的信道译码结果。

可选的，所述装置还包括：

计算模块，用于计算文本序列中每个词单元的概率分布，根据各词单元的概率分布，计算各词单元的加权词向量，对所有词单元的加权词向量进行编码处理，得到本次译码的先验信息。

可选的，所述计算模块，用于根据所述概率分布，对各概率值从大到小排序，从前向后选取预定数量的概率值，确定选取的各概率值分别对应的候选词单元，根据各候选词单元分别对应的词向量及概率值，计算所述加权词向量。

可选的，所述信道译码模块，用于以所述接收信号的对数似然比和所述上一次译码的先验信息为参数进行本次译码。

从上面所述可以看出，本说明书一个或多个实施例提供的文本的语义信源信道联合编译码方法及装置，通过接收无线信道输出的接收信号，根据接收信号和上一次译码的先验信息对接收信号进行本次译码，得到本次译码的信道译码结果，利用信源译码模型根据信道译码结果预测本次译码所对应的文本序列。本实施例可提高无线信道传输的可靠性且具有较高的鲁棒性。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的方法流程示意图；

图2为本说明书一个或多个实施例的通信系统的框图；

图3为本说明书一个或多个实施例的信源信道编码模型示意图；

图4为本说明书一个或多个实施例的信源译码模型示意图；

图5为本说明书一个或多个实施例的信源信道联合译码模型示意图；

图6为本说明书一个或多个实施例的装置结构示意图；

图7为本说明书一个或多个实施例的电子设备结构示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如图1所示，本说明书实施例提供一种文本的语义信源信道联合编译码方法，包括：

S101：接收无线信道输出的接收信号；

S102：根据接收信号和上一次译码的先验信息对接收信号进行本次译码，得到本次译码的信道译码结果；

S103：利用信源译码模型根据信道译码结果预测本次译码所对应的文本序列。

结合图2所示，本实施例中，通信系统包括发送端、无线信道和接收端，发送端与接收端利用信源信道编码模型、信源信道联合译码模型对待传输的文本序列进行编译码处理，能够实现文本序列在信源的压缩处理并保证经无线信道传输的可靠性。

在发送端，对于待发送的文本序列，利用信源信道编码模型将文本序列处理为待发送的发送码字序列，发送码字序列经无线信道传输至接收端。

一些实施方式中，信源信道编码模型包括信源编码模型和信道编码器。信源编码模型对文本序列进行词向量转换、压缩编码及量化处理后得到适于无线信道传输的码字序列，码字序列经信道编码器处理后作为发送码字序列输入至无线信道，经无线信道传输后，由无线信道输出叠加了噪声信号的接收信号。

在接收端，接收无线信道输出的接收信号，利用信源信道联合译码模型对接收信号进行译码以恢复出文本序列。其中，信源信道联合译码模型包括信道译码器、信源译码模型和再编码器。对于接收信号，信道译码器根据接收信号和接收信号的上一次译码的先验信息，对接收信号进行本次译码，得到本次译码的信道译码结果，信源译码模型根据信道译码结果预测本次译码对应的文本序列，再编码器根据预测结果生成先验信息，经过多次迭代译码后，恢复出文本序列。由于结合上一次译码的先验信息进行本次译码，能够提高无线信道传输的可靠性，信源信道联合译码模型能够适应恶劣程度不同的无线信道，具有较高的鲁棒性。

在文本无线传输的通信系统中，发送端利用信源编码模型提取文本的语义信息，对文本序列进行编码，接收端结合上一次译码的先验信息进行辅助译码，既可实现信源的压缩，又可提高数据在无线信道中传输的可靠性，且具有较高的鲁棒性，。

一些实施例中，发送端利用信源信道编码模型将文本序列处理为发送码字序列，包括：

将文本序列中的每个词单元转换为词向量，得到文本序列的词向量表示；

对词向量表示进行压缩编码处理，得到编码后的码字序列；

对编码后的码字序列进行量化处理，得到量化后的码字序列；

对量化后的码字序列进行信道编码，得到发送码字序列。

结合图2所示，本实施例中，文本序列由若干词单元组成，文本序列输入信源编码模型，信源编码模型将每个词单元转换为对应的词向量，所有词单元转换完成，得到由每个词单元的词向量组成的词向量表示；之后，信源编码模型对词向量表示进行压缩编码，得到编码后的码字序列，再对编码后的码字序列进行量化处理，量化后的码字序列经过信道编码器处理后得到发送码字序列。

结合图3所示，一些实施方式中，信源编码模型基于多层双向LSTM神经网络实现，相较于传统的信源编码方式，信源编码模型对文本序列进行编码，对编码后的码字序列进行量化，信道编码器对量化后的码字序列加以差错保护，实现文本的语义信源信道编码模型。文本序列包括l个词单元，表示为w＝[w₁,w₂,…，w_l]，信源编码模型首先将第i个词单元w_i转换为对应的词向量s_i，该词向量是预定的词嵌入矩阵E的第i行。之后，信源编码模型对词向量表示按照句子顺序和句子反序两个方向进行压缩编码，每个方向上，最后一层的元胞状态c和隐藏状态h经拼接后输入全连接层(FC)，全连接层输出预定编码长度的编码后的码字序列，编码后的码字序列经激活函数处理输出预定幅度的码字序列，量化器根据码字序列的幅度进行量化处理，得到量化处理后的码字序列。

一些方式中，对于不同长度的文本序列，可训练不同的全连接层，使得全连接层输出预定编码长度k_l的编码后的码字序列。编码后的码字序列经tanh激活函数处理输出幅度在[-1,1]之间的码字序列，量化器β对预定幅度的码字序列进行量化，量化后的码字序列经过信道编码，得到发送码字序列

x_k∈{0，1}，k＝1，2，…，N_l，N_l为发送码字序列的长度。其中，编码长度k_l由文本序列的长度l决定，N_l由信道编码方式和编码长度k_l决定，信道编码方式的具体形式不做限定，但对每个l，k_l与N_l的比值相同，k_l/N_l等于信道码的码率。信道编码通过在信源编码的码字序列(即，量化后的码字序列)基础上增加冗余以达到纠错的目的，N_l＞k_l。

在模型推理阶段，无需进行梯度反向传播，量化器β可使用符号函数sgn(·)进行量化处理，表示为：

其中，x为激活函数输出的码字序列中的码字。

在模型训练阶段，需要进行梯度反向传播，量化器β的量化处理方法为：

β(x)＝x+B_x (2)

其中，B_x为只与x有关的变量，且只取值于{-x,1-x}，其概率分布为：

一些实施例中，根据接收信号和上一次译码的先验信息对接收信号进行本次译码，得到本次译码的信道译码结果，包括：

第一次译码时，计算接收信号的对数似然比；

根据接收信号的对数似然比进行第一次译码，得到第一次译码的信道译码结果；

后续译码时，根据接收信号的对数似然比以及上一次译码的先验信息，对接收信号进行本次译码，得到本次译码的信道译码结果。

结合图5所示，本实施例中，接收端接收无线信道输出的接收信号o，该接收信号o为经过无线信道传输后叠加有噪声信号的连续信号。对于接收信号o，计算对数似然比L_CH(o)(图5中表达为L_CH)，然后利用信道译码器C_D对接收信号的对数似然比进行信道译码，得到接收信号的信道译码结果。

其中，进行第一次译码时，信道译码器C_D根据接收信号的对数似然比L_CH(o)进行第一次的信道译码，得到第一次的信道译码结果L_x ⁽¹⁾＝C_D(L_CH(o)).L_x ⁽¹⁾为第一次译码后得到的对数似然比。进行第二次译码时，信道译码器C_D根据接收信号的对数似然比L_CH(o)以及第一次译码的先验信息L_p ⁽¹⁾进行第二次的信道译码，得到第二次的信道译码结果L_x ⁽²⁾＝C_D(L_CH(o)+L_p ⁽¹⁾)。进行第t+1次译码时，信道译码器C_D根据接收信号的对数似然比L_CH(o)和第t次译码的先验信息L_p ^(t)进行第t+1次译码，得到第t+1次的信道译码结果L_x ^(t+1)＝C_D(L_CH(o)+L_p ^(t))，L_x ^(t+1)为第t+1次译码后得到的对数似然比。一些方式中，信道译码器以接收信号的对数似然比和上一次译码的先验信息为参数进行本次译码，其中，第一次译码时，可以视作先验信息为0。

一些实施例中，利用信源译码模型根据信道译码结果预测本次译码所对应的文本序列之后，还包括：

计算文本序列中每个词单元的概率分布；

根据各词单元的概率分布，计算各词单元的加权词向量；

本实施例中，对接收序列进行信道译码后得到本次译码的信道译码结果，根据本次译码的信道译码结果利用信源译码模型预测本次译码所对应的文本序列，信源译码模型一方面能够预测每个词单元，另一方面根据所预测的词单元计算该词单元的概率分布，基于概率分布计算该词单元的加权词向量，对所有词单元的加权词向量进行编码处理得到本次译码的先验信息，作为信道译码器进行下一次译码的输入参数。本实施例中，由于结合本次译码的先验信息对下一次译码进行辅助译码，能够提高数据在无线信息中传输的可靠性和鲁棒性。

结合图2、4、5所示，接收信号o经过信道译码器进行信道译码后，得到信道译码结果，信道译码结果输入信源译码模型，由信源译码模型根据信道译码结果预测第t次译码对应的文本序列w^(t)，

为第t次译码得到的第l个词单元。

另一方面，信源译码模型利用分类器计算预测的词单元

在词单元表中的概率分布。若不考虑译码次数，信源译码模型利用分类器计算预测的第m个词单元

的概率分布，表示为

V为词单元表中词单元的数量；根据词单元

的概率分布，计算词单元

的加权词向量

表示为：

其中，Z为归一化因子，i_q∈{1,2,…,V}，

为词嵌入矩阵E的第i_q行，

为信源译码模型的隐藏状态向量，包含了各层的隐藏状态，

为信源译码模型的元胞状态向量，包含了各层的元胞状态。

一些方式中，信源译码模型(对应图5中的LSTM译码器)基于LSTM神经网络实现，信道译码结果(信道译码后得到的对数似然比)经硬判决后，经全连接网络恢复网络的隐藏状态向量

和元胞状态向量

(发送端的信源编码模型中，全连接层对隐藏状态向量和元胞状态向量进行了降维处理，相对应的，接收端的信源译码模型中，需要进行升维处理)，作为信源译码模型的初始状态，由信源译码模型预测文本序列。在每轮LSTM神经网络译码中，利用特殊符号<SOS>表示序列开始，信源译码模型根据特殊符号预测第一个词单元

此时信源译码模型进行网络状态更新，根据更新后的网络状态和第一个词单元

预测第二个词单元

直至预测得到所有词单元，进而根据所有词单元得到预测出的文本序列。

在信源译码模型预测得到一个词单元的同时，利用分类器计算该词单元的概率分布，根据得到的概率分布，按照概率值从大到小排序，选取排在前面的Q个概率值，确定Q个概率值分别对应于词单元表中的Q个候选词单元，根据Q个候选词单元分别对应的词向量及概率值，计算该词单元的加权词向量

举例来说，预测第m个词单元的同时，计算第m个词单元的概率分布为[0.5，0.2，0.2，0.05，0.02…]，表示第m个词单元对应于词单元表中的各词单元的概率；之后，按照从大到小的顺序，对各概率值进行排序，排序之后，从前向后选取出Q个较大的概率值，确定Q个概率值所对应的候选词单元，例如为[dog,cat,tiger,lion…]，Q个候选词单元分别对应于词单元表中的第i₁,i₂,…,i_Q个，之后，根据Q个候选词单元的概率值及各候选词单元所对应的词向量，计算第m个词单元的加权词向量为：

本实施例中，根据预测出的词单元，计算该词单元的加权词向量，为减少词单元判决的信息损失，对前Q个最有可能的词单元的词向量计算概率加权，得到加权词向量

加权词向量是词嵌入矩阵中的一个向量，它大概率不对应于任意一个词单元，但融合了更多可能的词单元的信息，加权词向量一定程度上防止了因贪婪式译码的错误传播导致的语义信息的损失。

本实施例中，得到预测的所有词单元对应的加权词向量之后，由所有词单元的加权词向量构成加权词向量表示，对加权词向量表示进行编码，得到本次译码的先验信息，将先验信息作为信道译码器的输入参数，用以进行下一次的信道译码。其中，对加权词向量进行编码处理可以使用与信源编码模型类似的再编码器R，再编码器R的激活函数输出的是先验信息L_p，第t次译码时，再编码器R^(t)输出的先验信息

s^(t)为第t次译码的所有词单元的加权词向量集合；第t+1次译码时，信道译码器根据接收信号的对数似然比L_CH(o)及第t次译码的先验信息

进行信道译码，得到第t+1次译码的信道译码结果

一些方式中，信道译码器进行译码时，奇偶校验位的先验信息填充0，表示信源侧无额外的有关校验的先验信息。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

如图6所示，本说明书实施例还提供一种文本的语义信源信道联合编译码装置，其特征在于，包括：

接收模块，用于接收无线信道输出的接收信号；

信道译码模块，用于根据接收信号和上一次译码的先验信息对接收信号进行本次译码，得到本次译码的信道译码结果；

信源译码模块，用于根据信道译码结果预测本次译码所对应的文本序列。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书一个或多个实施例时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

上述实施例的装置用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

图7示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

上述实施例的电子设备用于实现前述实施例中相应的方法，并且具有相应的方法实施例的有益效果，在此不再赘述。

本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本说明书一个或多个实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本说明书一个或多个实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。

Claims

1.一种文本的语义信源信道联合编译码方法，其特征在于，包括：

接收无线信道输出的接收信号；

2.根据权利要求1所述的方法，其特征在于，根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码，得到本次译码的信道译码结果，包括：

第一次译码时，计算所述接收信号的对数似然比；

3.根据权利要求1所述的方法，其特征在于，预测本次译码所对应的文本序列之后，还包括：

计算文本序列中每个词单元的概率分布；

根据各词单元的概率分布，计算各词单元的加权词向量；

4.根据权利要求3所述的方法，其特征在于，根据所述概率分布，计算加权词向量包括：

根据所述概率分布，对各概率值从大到小排序；

从前向后选取预定数量的概率值；

确定选取的各概率值分别对应的候选词单元；

5.根据权利要求1所述的方法，其特征在于，根据所述接收信号和上一次译码的先验信息对所述接收信号进行本次译码为：以所述接收信号的对数似然比和所述上一次译码的先验信息为参数进行本次译码。

6.一种文本的语义信源信道联合编译码装置，其特征在于，包括：

接收模块，用于接收无线信道输出的接收信号；

7.根据权利要求6所述的装置，其特征在于，

所述信道译码模块，用于在第一次译码时，计算所述接收信号的对数似然比；根据所述接收信号的对数似然比进行第一次译码，得到第一次译码的信道译码结果；在其他次译码时，根据所述接收信号的对数似然比以及上一次译码的先验信息，对所述接收信号进行本次译码，得到本次译码的信道译码结果。

8.根据权利要求6所述的装置，其特征在于，还包括：

9.根据权利要求8所述的装置，其特征在于，

所述计算模块，用于根据所述概率分布，对各概率值从大到小排序，从前向后选取预定数量的概率值，确定选取的各概率值分别对应的候选词单元，根据各候选词单元分别对应的词向量及概率值，计算所述加权词向量。

10.根据权利要求6所述的装置，其特征在于，

所述信道译码模块，用于以所述接收信号的对数似然比和所述上一次译码的先验信息为参数进行本次译码。