CN115883018A - 语义通信系统 - Google Patents

Abstract

本申请提供一种语义通信系统，包括：语义编码器，用于提取输入信源的语义特征向量；信源信道联合编码器，用于对语义特征向量进行编码，得到待传输语义特征向量；弹性特征选择器，用于将待传输语义特征向量按重要性排序，得到语义重要性排序特征向量，并将排序后重要性最高的对应数量的语义特征传输至信源信道联合译码器；语义译码器，用于接收译码结果，并对译码结果进行语义译码，得到分类结果。本申请实施例所示的语义通信系统，多个语义任务公用一个语义编码器，利用设置的多个语义译码器即可完成多任务语义通信需求，且将待传输特征按重要性依次排序，保证重要的语义信息得以优先传输，实现语义特征的高效通信传输与恢复。

Description

语义通信系统

技术领域

本申请涉及语义通信技术领域，尤其涉及一种语义通信系统。

背景技术

现有技术的语义通信技术方案中通过设置新的通用神经网络层来实现传输时可保留前几个特征值，以实现特征向量传输时的弹性伸缩，但其至少简单的对特征向量从头部进行截取。还有的技术方案，在语义传输时并未考虑不同语义特征的重要性差异，在传输时有些选择将全部语义特征向量传输过去，有些选择随机选择语义特征进行传输。上述技术方案并未考虑不同特征对接收端任务实施的影响，且在语义通信的过程中，并未考虑到信道的优劣对于语义通信的影响。此外，上述技术方案在一次语义通信过程中只能完成一个任务，并不能同时完成多个任务。

发明内容

有鉴于此，本申请的目的在于提出一种语义通信系统。

基于上述目的，本申请提供了一种语义通信系统，包括：

语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；

所述语义编码器，用于提取输入信源的语义特征向量；

所述信源信道联合编码器，用于对语义特征向量进行编码，得到待传输语义特征向量；

所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；

所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。

在一种可能的实现方式中，通过下述方法获取所述预设的特征重要性度量向量：

对所述语义编码器和所述语义译码器进行训练，响应于所述训练结束，获取最后一次训练时所述语义译码器输出的训练用分类结果；

固定所述语义编码器和所述语义译码器的参数，对所述信源信道联合编码器和所述信源信道联合译码器进行训练，响应于所述训练结束，基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的所有特征进行重要性度量，得到所述预设的特征重要性度量向量。

在一种可能的实现方式中，所述语义译码器的数量能够为多个；

每个所述语义译码器对应于一个任务；

其中，所述语义译码器用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果，包括：

所有的所述语义译码器用于接收所述信源信道联合译码器的译码结果，并针对任务对所述译码结果进行语义译码，得到对应任务的分类结果。

在一种可能的实现方式中，所述对所述语义编码器和所述语义译码器进行训练，包括：

利用所述语义编码器对获取的训练用信源进行语义特征提取，并利用所有的所述语义译码器对提取得到的训练用语义特征向量进行译码，得到多个训练用分类结果；

结合所述多个训练用分类结果和预设的真实分类结果计算得到损失函数；利用所述损失函数对所述语义编码器和所述语义解码器进行训练。

在一种可能的实现方式中，通过下式计算所述损失函数：

其中，L表示损失函数，i表示任务的编号，n表示任务的总数，λ_i表示第i个任务所占的权重，L_i表示第i个任务的损失函数。

在一种可能的实现方式中，所述基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的所有语义特征进行重要性度量，得到所述预设的特征重要性度量向量，包括：

基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的语义特征向量求偏导，得到任务敏感度向量；

基于所述任务敏感度向量，结合对应任务的重要程度，计算得到所述预设的特征重要性度量向量。

在一种可能的实现方式中，所述基于所述任务敏感度向量，结合对应任务的重要程度，计算得到所述预设的特征重要性度量向量，包括：

响应于所述任务的个数为1，将所述任务敏感度向量作为所述预设的特征重要性度量向量；

响应于所述任务的个数大于1，结合预设的任务权重，对所述任务敏感度向量进行加权，计算得到所述预设的特征重要性度量向量。

在一种可能的实现方式中，所述按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序序，包括：

计算所述预设的特征重要性度量向量的数值；

将所述待传输语义特征向量按照对应的所述预设的特征重要性度量向量的数值从大到小进行排序。

在一种可能的实现方式中，所述信道参数包括：

信道的传输带宽、传输时隙和信噪比；

其中，所述根据获取的信道参数，计算得到可传输语义特征的数量，包括：

根据所述传输带宽、所述传输时隙和所述信噪比，计算得到单次传输比特数；

根据所述单次传输比特数和所述语义特征的比特长度计算得到所述可传输语义特征的数量。

在一种可能的实现方式中，通过下式计算所述单次传输比特数：

B＝TW low₂(1+SNR)

其中，B表示单次传输比特数，T表示传输时隙，W表示传输带宽，SNR表示信噪比。

从上面所述可以看出，本申请提供的语义通信系统，包括：语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；所述语义编码器，用于提取输入信源的语义特征向量；所述信源信道联合编码器，用于对所述语义特征向量进行编码，得到待传输语义特征向量；所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。本申请提供的语义通信系统利用多个智能任务之间的辅助相关性，搭建多任务端到端语义通信系统，进行多任务联合语义特征压缩编解码，并将多任务特征与信道条件和用户语义需求耦合。相较于单线任务编码后直接传输，在保证任务完成性能的前提下，极大提高信源压缩比率，减少收发端通信处理时延，实现语义特征的高效通信传输与恢复。

附图说明

为了更清楚地说明本申请或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例的语义通信系统结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本申请进一步详细说明。

需要说明的是，除非另外定义，本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

如背景技术部分所述，相关技术中的语义通信技术方案通过设置新的通用神经网络层来实现传输时可保留前几个特征值，以实现特征向量传输时的弹性伸缩，但其只是简单的对特征向量从头部进行截取，未考虑不同特征对网络的影响是不同的，即不同的特征向量在系统中的重要性是不同的，导致现有的语义通信方法或系统的灵活性较差。此外，设置的该通用神经网络层的目的在于简化神经网络结构，而在语义通信系统中，特征的弹性截取方式需要根据信道条件自适应变化，因此其难以直接应用于语义通信系统。

还有的相关技术的技术方案，在语义传输时并未考虑不同语义特征的重要性差异，在传输时选择将全部语义特征传输过去，或者选择随机选择语义特征进行传输，或者只按照特征在特征向量中的前后顺序传输特征，无法依据通信条件控制传输码率，通信效率不高，且无法在发送端选取与语义任务高度相关的语义特征进行传输，无法实现与语义任务高度耦合的弹性编码。

同时现有技术一般在一次语义通信时仅能完成一类任务，在面对多个任务时需要重复相关步骤实现，或者设置多个完整的语义通信系统来完成多个任务，在训练和使用过程中的复杂度过高。

综合上述考虑，本申请实施例提出一种语义通信系统，包括：语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；所述语义编码器，用于提取输入信源的语义特征向量；所述信源信道联合编码器，用于对所述语义特征向量进行编码，得到待传输语义特征向量；所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。

本申请实施例通过利用多个智能任务之间的辅助相关性，搭建多任务端到端语义通信系统，进行多任务联合语义特征压缩编解码，并将多任务特征与信道条件和用户语义需求耦合。相较于单线任务编码后直接传输，在保证任务完成性能的前提下，极大提高信源压缩比率，减少收发端通信处理时延，实现语义特征的高效通信传输与恢复。

此外，本申请实施例提出基于信道条件的弹性编码方案，将待传输特征按重要性依次排序，保证重要的语义信息得以优先传输。进一步在保持多任务完成高准确率的前提下，提高多变信道条件和多变用户需求下语义信息传输的效率和可伸缩性。

同时，本申请实施例通过设计信道容量指导的信道状态信息到传输特征数量的弹性映射机制，以多任务完成度为指标，按照传输维度的弹性机制进行语义特征的传输，使得传输特征数量可以随信道条件弹性变化，在一定的传输带宽与时延下最大限度利用了通信资源。

以下，通过具体的实施例来详细说明本申请实施例的技术方案。

参考图1，为本申请实施例的语义通信系统结构示意图。

如图1所示，本申请实施例中的语义通信系统包括：语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；

所述语义编码器，用于提取输入信源的语义特征向量；

所述信源信道联合编码器，用于对所述语义特征向量进行编码，得到待传输语义特征向量；

所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；

所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。

本申请实施例整体流程分为搭建并训练端到端多任务语义通信系统、利用语义通信系统模型生成语义特征重要性度量值、将重要性度量值与待传输特征耦合、依据信道条件自适应映射传输特征数量、选取重要性高的特征传输共五个步骤。

该系统首先搭建由语义特征编码器、信源信道联合编码器、信道、信源信道联合译码器和语义特征解码器组成的多任务语义通信系统；其次，反向计算待传输特征相对于模型输出的分类识别结果的梯度，得出不同特征对于智能任务结果的敏感程度，以此表征不同特征对于智能任务的重要程度；最后，结合重要程度值和信道容量指导下的自适应特征传输数量，选择重要特征上优先传输。

具体的，首先构建语义通信系统，在本申请实施例中，以语义译码器的个数为多个为例，但需要注意的是，本申请完全可以应用于单任务情景模式下，对应的，语义译码器的个数在该情景下设置为一个。

语义通信系统的发送端由语义编码器、信源信道联合编码器、弹性特征选择器组成，接收端则由信源信道联合译码器和多个任务对应的语义译码器组成。

此外，将输入信源记为x，将经过语义编码器和信源信道联合编码器后得到的待传输语义特征向量记为f，将经过弹性特征选择器输出的排序后的语义特征向量记为z，将经过信道后信源信道联合译码器接收的语义特征向量记为

将经过信源信道联合译码器译码后的语义特征向量记为/>

将经多个任务对应的多个语义译码器后恢复得到的语义特征向量记为y₁,y₂,y₃……，根据上述特征构成概率图形模型：

上述的概率图形模型满足下式：

其中，y_n表示完成某个任务对应的语义特征向量，θ表示语义编码器对应的深度神经网络参数，Φ表示信源信道联合编码器对应的神经网络参数，

表示语义译码器对应的深度神经网络参数，/>

表示信源信道联合译码器对应的神经网络参数，h表示信道转移参数。

上述概率图形模型仅为了示出本申请实施例的语义通信系统的整体处理流程。

进一步的，当构建好语义通信系统后，需要对本申请实施例的语义通信系统进行训练。

具体的，首先单独对语义编码器和语义译码器进行训练，在本申请实施例中，以智能交通系统中三个常见的语义智能任务为例，该语义智能任务包括：车辆身份重识别、车辆颜色分类、车辆类型分类。

本申请实施例中在对语义编码器和语义解码器进行训练时，利用的是在现实世界城市监控场景中建立的“VeRi”的车辆Re-Id的大规模基准数据集进行训练。它包含超过50,000张776辆车的图像，这些图像由20台摄像机拍摄，在24小时内覆盖1.0平方公里的面积，这使得该数据集足以用于车辆Re-Id和其他相关研究。图像是在真实世界的无约束监视场景中捕获的，并标有不同的属性，例如：类型，颜色和品牌等。因此可以利用该数据集同时完成本发明中的三种语义智能任务。

进一步的，在训练语义编解码器时，利用所述语义编码器对获取的训练用信源进行语义特征提取，并利用所有的所述语义译码器对提取得到的训练用语义特征向量进行译码，得到多个训练用分类结果，结合所述多个训练用分类结果和预设的真实分类结果计算得到损失函数；利用所述损失函数对所述语义编码器和所述语义解码器进行训练。

具体的，在本申请实施例中，采用DenseNet121深度学习网络进行语义特征提取，并使用由全连接层和激励函数组成的三个语义解码器得到恢复的语义特征向量，最后利用三个分类器得到任务的预测结果。

进一步的，通过下式计算所述损失函数：

其中，L表示损失函数，i表示任务的编号，L_i表示第i个任务的损失函数，λ_i表示第i个任务所占的权重，n表示任务的总数。

在本实施例中，综合三个任务，此训练过程的损失函数为：

L＝λ_IDL_ID+λ_colorL_color+λ_typeL_type

其中，L_ID表示车辆身份重识别的损失函数、L_color表示车辆颜色分类的损失函数、L_type表示车辆类型分类的损失函数，λ_ID表示车辆重识别的任务所占权重，λ_color表示车辆颜色分类的任务所占权重，λ_type表示车辆类型分类的任务所占权重。

在本申请实施例中，将车辆身份重识别任务的权重设置为0.75，将车辆颜色分类任务的权重设置为0.125，将车辆类型分类任务的权重设置为0.125。本领域技术人员应当知晓，上述任务权重可以根据自身需求进行自由设置，且任务的数量并不限于三个。

另外，在本申请的实施例中，学习方式设置为监督学习，将上述提及的车辆身份重识别的损失函数设定为难挖掘三元组损失(hard-mining triplet loss)和交叉熵损失的加权：

L_ID＝L_ht(a,p,n)+L_ce(y,y′)

其中，L_ID表示车辆身份重识别的损失函数，L_ht(a,p,n)表示三元组损失，L_ce(y,y′)表示交叉熵损失，a表示基准样本，p表示针对基准的正样本，n表示针对基准的负样本。L_ht(a,p,n)通过下式计算：

L_ht(a,p,n)＝max{(max(d_ap)-min(d_an)+α),0}

其中，d_ap表示基准样本和正样本间的距离，d_an表示基准样本和负样本间的距离。交叉熵损失函数通过下式计算：

其中，y表示任务真实标签，y′表示分类预测值，K表示任务总类别数。车辆颜色分类的损失函数和车辆类型分类的损失函数也设定为语义解码器估计所得的分类结果与真实分类标签之间的交叉熵损失。

进一步的，利用上述损失函数，对语义编译码器的参数进行训练，需要注意的是，上述将交叉熵损失作为训练语义编码器的损失函数的技术方案，本领域技术人员应当知晓，可以根据实际需求对损失函数进行适应性的改变，以适应相应的任务。当语义编译码器的损失函数达到收敛后训练完成。需要注意的是，在对语义编译码器进行训练时，并不涉及语义通信系统中的其他部分。响应于所述训练结束，获取最后一次训练时所述语义译码器输出的训练用分类结果。

进一步的，将语义编译码器的训练好的参数进行冻结，之后对整个系统进行训练，即对信源信道联合编码器和信源信道联合解码器以及信道参数进行训练，训练过程本领域技术人员应当知晓，故在此不做赘述。

进一步的，当对信源信道联合编码器和信源信道联合解码器训练结束后，将语义编译码器的训练好的参数进行解冻，进一步对整个的语义通信系统进行训练，调整参数，当整体训练结束后，结合前述的训练用分类结果，即系统的语义解码器中的全连接层中的该类别对应的概率，对信源信道编码器中最后一层的所有特征求偏导(偏导可以反映出输出概率关于该特征的敏感程度，如果梯度大，则非常敏感，表示该特征更有可能通过分类网络预测出该类别)，得到任务敏感度向量。该任务敏感度向量中包括C个元素，即特征向量的个数。

进一步的，基于该任务敏感度向量，结合对应任务的重要程度，计算得到所述预设的特征重要性度量向量。前述的对应任务的重要程度即为上述的任务权重，依据该任务权重对计算得到的每个任务敏感度向量进行加权计算，得到预设的特征重要性度量向量。需要注意的是，若任务数量为1时，则直接将任务敏感度向量作为预设的特征重要性度量向量即可。

进一步的，以上述预设的特征重要性度量向量为定值，改变信道参数，基于不同的信道参数值，对整个语义通信系统的参数进行调整。

具体的，在本申请实施例中，信道参数包括：信道的传输带宽、传输时隙和信噪比。根据传输带宽、所述传输时隙和所述信噪比，计算得到单次传输比特数；根据所述单次传输比特数和所述待传输语义特征的比特长度计算得到所述可传输语义特征向量的数量。上述步骤通过弹性特征选择器进行。

具体的，通过下式计算所述单次传输比特数：

B＝TW log₂(1+SNR)

其中，B表示单次传输比特数，T表示传输时隙，W表示传输带宽，SNR表示信噪比。

在后续的训练过程中，通过改变语义通信系统的信道参数，以使得本申请的语义通信系统能适应于几乎所有的信道条件。

当对语义通信系统训练结束后，在预测过程中，利用语义编码器提取输入信源的语义特征向量，进一步的，利用信源信道联合编码器接收所述语义特征向量，并对语义特征向量进行编码，得到待传输语义特征向量。

进一步的，按照预设的特征重要性度量向量将待传输语义特征向量输入至弹性特征选择器，预设的特征重要性度量向量在前述训练过程中已经说明，故在此不再赘述。在弹性特征选择器中，将待传输语义特征向量按照重要性大小进行排序，具体的，计算预设的特征重要性度量向量的数值，按照预设的特征重要性度量向量的数值从大到小对待传输语义特征向量中相应位置的语义特征进行重要性排序，进一步的，获取信道参数，根据获取的信道参数，计算得到可传输语义特征的数量，可传输语义特征的数量的计算步骤在前述技术方案中已经说明，故在此不再赘述。进一步的，依据前述步骤中计算得到的可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器。

进一步的，在信源信道联合译码器中对所述接收到的语义特征进行解码，本领域技术人员应当知晓解码过程，故在此不再赘述。

进一步的，利用语义译码器接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。需要注意的是，本申请中的语义译码器的数量是根据任务的数量进行设置的，每个任务均对应于一个语义译码器，因此每个语义译码器均会针对于任务对前述信源信道联合译码器的译码结果进行语义译码，得到对应任务的分类结果。每个语义译码器针对单独任务的语义译码的过程本领域技术人员应当知晓，故在此不再赘述。

通过上述实施例可以看出，本申请实施例所述的语义通信系统，包括：语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；所述语义编码器，用于提取输入信源的语义特征向量；所述信源信道联合编码器，用于对所述语义特征向量进行编码，得到待传输语义特征向量；所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。

本申请实施例通过利用多个智能任务之间的辅助相关性，搭建多任务端到端语义通信系统，进行多任务联合语义特征压缩编解码，并将多任务特征与信道条件和用户语义需求耦合。相较于单线任务编码后直接传输，在保证任务完成性能的前提下，极大提高信源压缩比率，减少收发端通信处理时延，实现语义特征的高效通信传输与恢复。

此外，本申请实施例提出基于信道条件的弹性编码方案，将待传输特征按重要性依次排序，使得语义信息提取过程与语义任务完成指标耦合，保证重要的语义信息得以优先传输，在有限通信资源下，提高了系统性能。进一步在保持多任务完成高准确率的前提下，提高多变信道条件和多变用户需求下语义信息传输的效率和可伸缩性。

同时，本申请实施例通过设计信道容量指导的信道状态信息到传输特征数量的弹性映射机制，以多任务完成度为指标，按照传输维度的弹性机制进行语义特征的传输，使得传输特征数量可以随信道条件弹性变化，在一定的传输带宽与传输时隙下最大限度利用了通信资源。

需要说明的是，本申请实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

需要说明的是，上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本申请的范围(包括权利要求)被限于这些例子；在本申请的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本申请实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

另外，为简化说明和讨论，并且为了不会使本申请实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本申请实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本申请的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此，这些描述应被认为是说明性的而不是限制性的。

尽管已经结合了本申请的具体实施例对本申请进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态RAM(DRAM))可以使用所讨论的实施例。

本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本申请实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种语义通信系统，其特征在于，包括：

语义编码器、信源信道联合编码器、弹性特征选择器、信源信道联合译码器和语义译码器；

所述语义编码器，用于提取输入信源的语义特征向量；

所述信源信道联合编码器，用于对所述语义特征向量进行编码，得到待传输语义特征向量；

所述弹性特征选择器，用于按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，得到语义重要性排序特征向量；根据获取的信道参数，计算得到可传输语义特征的数量；根据所述可传输语义特征的数量，将排序后所述语义重要性排序特征向量中重要性最高的对应数量的语义特征传输至信源信道联合译码器；

所述语义译码器，用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果。

2.根据权利要求1所述的系统，其特征在于，通过下述方法获取所述预设的特征重要性度量向量：

对所述语义编码器和所述语义译码器进行训练，响应于所述训练结束，获取最后一次训练时所述语义译码器输出的训练用分类结果；

固定所述语义编码器和所述语义译码器的参数，对所述信源信道联合编码器和所述信源信道联合译码器进行训练，响应于所述训练结束，基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的所有语义特征进行重要性度量，得到所述预设的特征重要性度量向量。

3.根据权利要求2所述的系统，其特征在于，所述语义译码器的数量能够为多个；

每个所述语义译码器对应于一个任务；

其中，所述语义译码器用于接收所述信源信道联合译码器的译码结果，并对所述译码结果进行语义译码，得到分类结果，包括：

所有的所述语义译码器用于接收所述信源信道联合译码器的译码结果，并针对任务对所述译码结果进行语义译码，得到对应任务的分类结果。

4.根据权利要求3所述的系统，其特征在于，所述对所述语义编码器和所述语义译码器进行训练，包括：

利用所述语义编码器对获取的训练用信源进行语义特征提取，并利用所有的所述语义译码器对提取得到的训练用语义特征向量进行译码，得到多个训练用分类结果；

结合所述多个训练用分类结果和预设的真实分类结果计算得到损失函数；利用所述损失函数对所述语义编码器和所述语义解码器进行训练。

5.根据权利要求4所述的系统，其特征在于，通过下式计算所述损失函数：

其中，L表示损失函数，i表示任务的编号，n表示任务的总数，λ_i表示第i个任务所占的权重，L_i表示第i个任务的损失函数。

6.根据权利要求2所述的系统，其特征在于，所述基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的所有语义特征进行重要性度量，得到所述预设的特征重要性度量向量，包括：

基于所述训练用分类结果，对所述信源信道联合编码器的最后一层的语义特征向量求偏导，得到任务敏感度向量；

基于所述任务敏感度向量，结合对应任务的重要程度，计算得到所述预设的特征重要性度量向量。

7.根据权利要求6所述的系统，其特征在于，所述基于所述任务敏感度向量，结合对应任务的重要程度，计算得到所述预设的特征重要性度量向量，包括：

响应于所述任务的个数为1，将所述任务敏感度向量作为所述预设的特征重要性度量向量；

响应于所述任务的个数大于1，结合预设的任务权重，对所述任务敏感度向量进行加权，计算得到所述预设的特征重要性度量向量。

8.根据权利要求1所述的系统，其特征在于，所述按照预设的特征重要性度量向量，将所述待传输语义特征向量按重要性排序，包括：

计算所述预设的特征重要性度量向量的数值；

将所述待传输语义特征向量按照对应的所述预设的特征重要性度量向量的数值从大到小进行排序。

9.根据权利要求1所述的系统，其特征在于，所述信道参数包括：

信道的传输带宽、传输时隙和信噪比；

其中，所述根据获取的信道参数，计算得到可传输语义特征的数量，包括：

根据所述传输带宽、所述传输时隙和所述信噪比，计算得到单次传输比特数；

根据所述单次传输比特数和所述语义特征的比特长度计算得到所述可传输语义特征的数量。

10.根据权利要求9所述的系统，其特征在于，通过下式计算所述单次传输比特数：

B＝TW log₂(1+SNR)

其中，B表示单次传输比特数，T表示传输时隙，W表示传输带宽，SNR表示信噪比。

Images