CN114091673A - 语义信息表示方法、语义编码器、解码器和语义通信框架 - Google Patents

Abstract

本发明公开了语义信息表示方法、语义编码器、解码器和语义通信框架，属于语义通信领域。本发明在传统的语义通信架构基础上，在语义编码器中增加语义比较器，在语义解码器增加语义推理器。所述语义通信架构不在发送方对语义信息进行直接编码，而是训练一个语义比较器，该语义比较器能够区分出发送方的专家推理路径，语义推理器通过和语义比较器对抗式训练，学习到语义发送方专家推理路径的推理机制，最后直接能对接收到的信息进行解码恢复出语义信息，解决了对隐式语义信息中的语义推理机制难以编码的问题，并且能够实现语义信息的解码。

Description

语义信息表示方法、语义编码器、解码器和语义通信框架

技术领域

本发明属于语义通信领域，更具体地，涉及语义信息表示方法、语义编码器、解码器和语义通信框架。

背景技术

传统的通信系统现在被视为传输基于用户体验质量的服务到终端用户的一个最大障碍。这激发了一个新的通信范式的产生——语义通信。和传统的通信系统相比，语义通信能够允许所有的通信者，包括信息源和传输接收方来利用共享的语法、语义、和推理规则来帮助传输并且解释目标含义。最近的研究表明语义通信这一通信范式有改善通信的效率、可靠性、加强用户体验质量的潜力。

现有的语义通信相关工作致力于传输显式语义信息。例如：物体能够被直接辨别出的各种形式的标签信息（图像、声音、文本信号）。这些显式语义能够通过一些成熟的方法识别出，例如基于深度学习的分类和识别方法。但是可能需要在用户之间传输的信息不仅仅包括显式语义信息，还包括隐式语义信息。例如，一张图片显式“一个小孩正在骑自行车”，小孩和自行车之间的关系“骑”不能被现有的方法从图片中识别出来开。又例如，一个小孩发出一个信息问他的父亲：“英文单词‘Tweety’是什么意思”，英文单词“Tweety”可以有许多个解释，例如，一个手机应用、黄鹂鸟或者一个电视节目的卡通角色。为了更好地解释信息的准确含义，接收方必须能够基于上下文和小孩的背景知识给出回答。如果小孩没有手机，那么英文单词“Tweety”则不应该被解释为一个手机应用。

从以上例子可以看出，除了显式信息之外，通信的内容通常包含非常难以直接表示、识别和恢复的隐式语义信息。然而，提取隐式语义信息有很多困难。首先，缺乏一个简单和有表达能力的方式来表示隐式语义。其次，隐式语义是很难被推理，并且和用户的个人背景极其相关。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了语义信息表示方法、语义编码器、解码器和语义通信框架，其目的在于实现隐式语义的表示、推理和传输。

为实现上述目的，按照本发明的第一方面，提供了源信号的隐式语义信息表示方法，所述源信号的隐式语义信息表示为推理路径，所述推理路径包括：实体、关系和语义推理机制；

源信号中属于真实世界的物质或者概念表示为一个实体；

两个实体之间的一种联系表示为一条关系；

语义推理机制用于对源信号中的单个或者多个实体进行推理，推理出不能从源信号中自动识别出来的潜在的实体和/或关系。

为实现上述目的，按照本发明的第二方面，提供了一种语义编码器，其位于源用户端，所述语义编码器包括：实体探测器、向量转换器和语义比较器；

所述实体探测器，用于识别出源信号中的每个实体，表示为标签形式；

所述向量转换器，用于将实体的标签形式转化为实体向量，将实体向量发送给目的用户端；

所述语义比较器，用于在训练阶段接收目的用户端反馈的推理路径，结合私有知识库中的专家推理路径，基于两个推理路径的分数差进行更新，使得对专家推理路径的分数更高，反馈推理路径分数更低，将更新后语义比较器生成的反馈推理路径的分数输出至目的用户端，其中，分数能够反映推理路径为专家推理路径的概率。

为实现上述目的，按照本发明的第三方面，提供了一种语义解码器，其位于目的用户端，所述语义解码器包括：语义推理器；

所述语义推理器，用于接收源用户端发送的实体向量，结合目的用户端知识库，推理出关于实体的推理路径，所述推理路径采用如第一方面所述的方法表示；在训练阶段将推理出的推理路径反馈至源用户端，接收源用户端反馈的对推理路径的分数，并基于该分数进行更新，使得产生的推理路径得到的分数更高，在通信阶段将推理出的推理路径直接作为语义信息，其中，分数能够反映推理路径为专家推理路径的概率。

优选地，所述语义推理器采用马尔可夫决策过程对实体进行推理，其中，

环境为目的用户端知识库，表示形式为知识图谱；

状态为当前实体的向量表示、源实体的向量表示以及目标实体的向量表示拼接；

动作为给定一个状态，从当前环境中，选择当前实体连接的一个关系以及该关系连接的除当前实体外的另外一个实体来扩展路径；

奖励：将接收到的对推理路径的分数作为推理路径的奖励，仅在训练推理策略时使用；

推理策略为神经网络，输入为当前状态，输出为关于所有的可能的动作的一个概率分布，对应动作的概率值越大则越有可能被执行。

有益效果：本发明通过马尔可夫决策过程对实体进行语义推理，由于该过程集成了环境（知识库），说明推理过程是以知识库为背景，这符合语义通信的基本要求。另外，该过程是多跳的，最后能够形成一个多跳推理路径，相比于单跳推理能够提取更加丰富且复杂的语义信息。

优选地，训练阶段按概率随机选择动作，通信阶段选择概率最大的动作。

有益效果：为了解决推理策略在强化学习过程中陷入局部最优的情形，本发明在训练阶段按概率随机选择动作，可以增强语义推理器的探索能力，避免陷入局部最优的情况；本发明在通信阶段选择概率最大的动作，使通信阶段的准确性的推理准确性越高，避免生成的语义信息的随机性和不唯一性。

优选地，语义推理器接收源用户端发送的实体向量后，在目的用户端知识库中找到与其最接近的实体向量，将此作为需要进行推理的实体。

有益效果：针对现有技术语义通信过程中在信道产生的噪声对通信的干扰。本发明通过在语义的接收方重新进行实体匹配，在接收方的知识图谱中找到与接收到的向量最接近的实体向量并将此作为需要进行推理的实体，可以避免或者减小信道产生的噪声的影响。

为实现上述目的，按照本发明的第四方面，提供了一种语义通信架构，包括源用户端和目的用户端；

所述源用户端采用如第二方面所述的语义编码器；

所述目的用户端采用如第三方面所述的语义解码器。

优选地，从未进行语义通信的源用户端和目的用户端，进行第一次语义通信之前，按照以下方式进行训练：

步骤S0：语义推理器中的推理策略随机初始化，语义比较器随机初始化；

步骤S1：语义推理器推理出对于训练集中实体的推理路径，将产生的推理路径的向量发送给语义比较器；

步骤S2：语义比较器分别对接收到的反馈推理路径和专家推理路径生成分数，基于生成的反馈推理路径的分数和专家推理路径的分数差进行更新，使更新之后的语义比较器能够给专家推理路径更高的分数，而给反馈推理路径更低的分数；更新之后的语义比较器生成反馈推理路径的分数，发送给语义推理器；

步骤S3：语义推理器采用强化学习的方法，基于最新的语义比较器训练更新，使生成的路径能够得到更高的分数；

步骤S4：重复步骤S1-S3，直至语义推理器和语义比较器收敛或达到最大训练次数。

有益效果：针对现有技术语义推理机制不能被显式地表达、难以学习的问题，以及发送方的隐私保护问题，本发明通过使语义比较器和语义推理器进行对抗训练来进行推理机制的学习。首先训练语义比较器，使之能够辨别出专家推理路径（一开始对非专家路径可能并不能很好地辨别，只是能辨别出专家推理路径和此时已经生成的推理路径），再训练语义推理器，使之能够辨别出语义比较器难以辨别的推理路径，接着再训练语义比较器。如此循环往复，最后双方都达到收敛状态时停止训练，此时生成的推理路径的分布收敛到专家推理路径的分布。该对抗式训练方法能够学习到专家路径的推理机制，生成和专家路径推理机制一致的推理路径，并且该方法中发送方无需将专家推理路径发送给接收方，这保护了发送方的隐私。

优选地，语义比较器的训练损失函数为：

其中，

表示期望函数，

为语义比较器中的评分器，

为评分器的网络参 数，

为专家推理路径向量，

为语义推理器生成的推理路径向量。

有益效果：针对语义编码器的语义比较器的训练问题，本发明通过引入交叉熵损失函数，用于度量两个概率分布间的差异性信息，使用该交叉熵损失函数对语义比较器进行训练，能够很好地区分两个分布，即区分专家推理路径集和生成的推理路径集合。

优选地，语义推理器的损失函数为：

其中，

表示期望函数，

为语义推理器生成的推理路径向量，

为 基于推理策略网络

和最大跳数

生成的推理路径集，

表示从推理路径 集

中提取推理路径

，

为推理策略网络的参数，

为当前语义比较器中的 评分器。

有益效果：对于语义推理器，基于已经训练好的语义比较器，在训练的过程中使该语义损失函数变小，即使现有语义比较器对生成的推理路径评分越高，进而使生成的推理路径和专家路径越来越相似。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

（1）针对现有技术无法表示隐式语义信息的问题，本发明通过将隐式语义信息表示为实体、关系和语义推理机制，由于实体和关系都可转化为可操作的数学或者物理形式，语义推理机制可以将隐含在专家推理路径中的推理逻辑抽象归纳出来，可基于该隐式语义信息进行通信；由于将所有的隐式语义信息概括进来，具备完整的表达能力，是对隐式语义信息的一种有效表征。

（2）针对现有语义通信系统无法对隐式语义信息进行编码的问题，本发明通过在编码器加入一个语义比较器，将语义比较器作为一个中间比较媒介，由于它能够分辨出发送方的专家推理路径，使接收方能够以推理路径的形式基于自己的知识库和发送方的推理机制进行语义推理，即能够辨别发送方的专家推理机制与其他推理机制，从而避免接收双方信息不共通所带来的问题。

（3）针对现有语义通信系统无法对隐式语义信息进行解码的问题，本发明通过在语义解码器部署一个语义推理器，该推理器经过专家样本的训练生成与专家样本分布相同的推理路径，最终学习到专家样本中潜在的推理机制，拥有解码出语义信息的能力。

（4）针对现有语义通信框架无法进行隐式语义编解码的问题，本发明在传统的语义通信架构基础上，在语义编码器中增加了一个语义比较器，在语义解码器增加了一个语义推理器。和传统的编解码机制不同，本语义通信架构并不在发送方对语义信息进行直接编码，而是训练一个语义比较器，该语义比较器能够区分出发送方的专家推理路径，语义推理器通过和语义比较器交互训练，学习到语义发送方专家路径的推理机制，最后直接能对接收到的信息进行解码恢复出语义信息，这避开了对隐式语义信息中的语义推理机制难以编码的问题，并且能够实现语义信息的解码。

附图说明

图1为源信号示意图。

图2为语义通信编解码框架训练阶段示意图。

图3为语义通信编解码框架通信阶段示意图。

图4为本实施例提供的基于路径推理的语义通信编解码模型训练过程。

图5为本实施例提供的基于路径推理的语义通信模型的通信和编解码过程。

图6为本实施例提供的基于路径推理的语义通信模型解码器中的语义推理器的语义推理过程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明提供一种源信号的隐式语义信息表示方法，所述源信号的隐式语义信息表示为推理路径，所述推理路径包括：实体、关系和语义推理机制；源信号中属于真实世界的物质或者概念表示为一个实体；源信号中实体之间的联系表示为一条关系；语义推理机制用于对源信号中的单个或者多个实体进行推理，推理出不能从源信号中自动识别出来的潜在的实体和/或关系。

实体：真实世界的物质或者概念，例如：小孩、自行车、“Tweety”、“社交媒体网站”、“黄鹂鸟”等等。

关系：表示实体之间的联系，例如：一个小孩“骑”自行车。关系一般情况下不能用已有的方法从源信号中识别出。

推理机制：除了实体和关系，一个信息的含义也包括一个推理机制，该机制能够推理出不能从图片中识别出来的潜在的实体和关系。该推理机制和用户的背景知识等有关。

例如，源信号如图1所示，其中，实体为小孩和自行车，基于用户的语义推理机制可以推理出“小孩骑自行车”，其中，“骑”为推理出来的潜在的关系，推理路径为“小孩骑自行车”。

本发明中，从源信号中基于已有技术可以识别出的实体可以是一个或者多个。所述例的推理路径的跳数为1跳，本发明中推理跳数还可以是多跳，能够挖掘除更加丰富且复杂的信息。基于用户背景，通过语义推理机制可以得到关于源信号中识别出的实体的推理路径，从而得到不能从源信号中识别出但是能够基于背景知识推理出的信息。

本发明提供一种语义通信编解码框架，包含：语义编码器和语义解码器，其中，语义解码器位于接收方（目的用户端），语义编码器位于发送方（源用户端），语义通信双方各自存在一个可查询的知识库。语义解码器包含一个语义推理器，语义编码器中包含一个实体探测器、一个向量转换器、一个语义比较器。

实体探测器，用于识别出源信号中的每个实体，表示为标签形式。本发明中实体探测器采用已有机器学习，若源信号是图片，可采用图片分割与识别算法；若源信号文本，可采用文本分割识别相关算法，但是不限于此。

向量转换器，用于将实体的标签形式转化为实体向量，将实体向量发送给目的用户端。本实施例采用TransE方法，但是不限于此。将实体标签形式转化为向量形式，实体向量和关系向量的维数相同。

语义比较器，用于在训练阶段接收目的用户端反馈的推理路径，结合公有知识库中的专家推理路径，基于两个推理路径的分数差进行更新，使得对专家推理路径的分数更高，反馈推理路径分数更低，将更新后语义比较器生成的反馈推理路径的分数输出至目的用户端，其中，分数能够反映推理路径为专家推理路径的概率。

本实施例采用多层感知机，但是不限于此。其中有一个评分器，输入为一条路径的向量表示，输出为对该路径的一个得分，得分范围为0~1。

语义推理器中包含一个推理策略网络，推理策略网络输入为当前状态，输出为关于所有的可能的动作的一个概率分布，对应动作的概率值越大则越有可能被执行。假设当前状态下对应的动作空间为3，即可以执行3个动作中的一个，动作分布可能为：第一、二、三个动作被执行的概率分别为0.5、0.25、0.25。推理策略网络的结构可以是多层感知机、长短期记忆网络。本实施例采用的是三层感知机，但是不限于此。

语义通信分为两个阶段：模型训练和实际通信。

训练阶段：如图2所示，语义编码器将实体向量传输给语义解码器，语义解码器对该实体（一个或者多个）进行解码（推理），得到关于实体的一个推理路径，接着语义接收方将该推理路径以向量形式传输给语义发送方，发送方的语义编码器中的语义比较器能够输出对该推理路径的评分，语义比较器进行更新使对专家推理路径的评分更高，接收方的推理路径评分更低。语义解码器基于更新的语义比较器，使用强化学习方法进行推理策略网络的更新，以使产生的推理路径得到的评分更高。上述过程不断重复，最后语义解码器生成的推理路径的分布能够收敛到语义发送方专家推理路径分布，也就是语义解码器能够学习到语义发送方的专家路径中潜在的推理机制。

通信阶段：如图3所示，训练过程结束，进行语义通信。以传输一张图片的语义信息为例，源信号是一张图片，发送方的实体探测器识别出源信号中的实体，接着用向量转换器将该实体的标签信息转化为实体向量，将该向量传输至语义接收方。语义接收方基于学习到的推理机制进行推理得到推理路径，也就是这张图片的语义信息，至此，完成了一次语义通信。

如图4所示，本发明提供了一种基于隐式语义通信的语义通信编解码器的训练方法，具体包括：

步骤S0：语义推理器中的推理策略网络随机初始化，语义比较器中的评分器网络随机初始化。

步骤S1：语义接收方的语义解码器中的语义推理器推理出基于训练实体（一个集 合）的推理路径（一个集合）；语义接收方将语义推理器产生的推理路径

（其中

为路径上所有实体的标签，

为路径上所有关 系的标签）转化为路径向量

，其中，

为推理路径上关系的向量表示再将该向量表 示反馈给语义发送方。

步骤S2（语义比较器的更新，具体为语义比较器中的评分器更新）：语义比较器先 将专家推理路径和转化为路径向量

。语义发送方的语义比较器分别对接收到的语义推 理路径（向量）和专家推理路径（向量）进行评分。

语义比较器基于生成的语义推理路径的评分和专家推理路径的评分差进行更新，使更新之后的语义比较器能够给专家推理路径更高的评分，而给生成的路径更低的评分，具体损失函数如下：

其中，

为专家推理路径的向量表示，

为语义推理器生成的推理路径的向量 表示。

为评分器，

为评分器的网络参数。采用小样本随机梯度下降算法来更新网络参 数。 语义比较器不止更新一次，更新次数具体视情况而定，是一个需要调整的参数，所以 这里不做展开描述。语义比较器只需要在训练前得到一个接收方的推理路径集合即可，更 新过程中不需要再与语义推理器进行通信。

步骤S3（语义推理器的更新，具体为推理策略网络的更新）：语义解码器中的语义推理器用强化学习的方法，基于最新的语义比较器训练更新，使生成的路径能够得到更高的评分。语义推理器的损失函数为：

其中，

为生成的推理路径，

为基于推理策略网络

、和最大跳数

生成的推理路径集，

为该推理策略网络的参数。

为当前比较器中的评分器。采用小样 本随机梯度下降算法来更新网络参数。

语义解码器也不止更新一次，另外在这里每一次更新策略网络都先要产生新的推理路径，将新产生的推理路径发送给发送方得到比较器对之的评分作为奖励，强化学习方法要求得到关于产生的路径的奖励，并基于当前的奖励不断更新调整自己的策略以使能够得到的奖励更大，所以在语义推理器的一次训练过程中需要和语义发送方传输多次。

步骤S4：重复步骤S1-S3，直至模型收敛或达到规定最大训练次数。

在训练流程结束后，语义解码器能够学习到语义发送方的专家推理路径的推理机制，并且在该过程中，语义发送方不需要将专家推理路径传输给接收方，这保护了语义发送方的隐私信息。语义发送方和语义接收方的知识库可以有共享部分和私有部分，换句话说，本发明不需要发送方和接收方的知识库完全相同也能够进行语义通信。

发送方和接收方的知识库本就不太可能完全相同，本发明在训练和通信发收双方都不需要查询对方的知识库，保证了用户的隐私性和本发明模型的泛化能力。而传统通信或者显式语义通信都需要发收双方对信息的理解能力一样，也就是背景知识需要保持一致。本发明只需要保证语义发送方和接收方的知识库都拥有训练集中的实体即可。知识库以知识图谱形式存在，所述知识图谱包括事实三元组<实体,关系,实体>。训练集中的样本为实体对。

如图5所示，本发明提供了一种基于隐式语义通信的通信方法，该方法是基于以上步骤训练好的语义通信框架。以传输一张图片的语义信息为例。具体包括：

步骤S5：语义编码器中的实体探测器通过已有的机器学习方法识别出图片中的实体，具体为标签表示形式。

步骤S6：语义编码器中的向量转换器将实体的标签表示形式转化为向量表示形式。

步骤S7：语义发送方将实体的向量表示传输给接收方。

步骤S8：接收方的语义推理器基于该实体的向量表示输出推理路径，这就是图片最终的语义信息。

本发明以源信号（图片）中只有两个实体为例，但是实际上，本发明的模型也可以应用到图片中存在多个实体的场景。

该方法在执行步骤S7之后，还可以包括以下处理：语义接收方基于在接收方的知识图谱中找到和接收到的向量最接近（欧式距离）的实体向量，直接替换接收到的实体向量，将该向量作为语义推理器的输入，再执行步骤S8。这能够修正由于噪声而具有变化的实体向量，增强系统的抗噪声能力。若发送方从源信号中识别的实体并不存在于接收方的知识库中，接收方也能找到一个与接收到的该实体向量欧式距离最接近的实体作为推理的源实体或者目标实体。

如图6所示，接收方的语义推理器对一个实体对用马尔可夫决策过程进行推理，得到基于当前知识库和推理机制的推理路径。其中马尔可夫决策过程的各元素为：

环境：为知识库，表示形式为知识图谱。

状态：状态即为当前实体的向量表示、源实体的向量表示以及目标实体的向量表示拼接，状态=（当前实体的向量表示，源实体的向量表示，目标实体的向量表示）。

动作：给定一个状态，从当前环境中，选择当前实体连接的一个关系以及该关系连接的除当前实体外的另外一个实体来扩展路径，动作=（关系的向量表示，关系连接的另一个实体的向量表示）。

奖励：在进行推理的过程中无需得到奖励，只有在对推理策略网络进行训练的时候需要得到比较器中评分器对推理路径的评分，并以此作为推理路径的奖励。

推理策略：推理策略如前所述为一个三层感知机，输入为当前状态，输出为一个动作分布。

具体推理步骤为：

步骤S9：将实体对中的一个实体作为源实体，另外一个实体作为目标实体。当前实体初始化为源实体，从当前实体出发，推理策略网络随机初始化；

步骤S10：语义推理器基于源实体、目标实体和当前推理策略，将当前状态作为推理策略网络的输入，输出一个动作概率分布。动作空间通过查询知识库得到，具体为接收方整个知识库中所有和当前实体连接的实体以及连接关系；

步骤S11：选择概率最大的动作，当前实体更新为动作选择的连接实体；

步骤S12：重复步骤S9-S11，直至到达目标实体或达到最大跳数；

本实施例选用的动作空间为所有和当前实体连接的实体以及连接关系，另外，所选用的动作空间还可以是当前知识库的所有关系或者给定的关系集。这取决于知识图谱的具体情况。若知识图谱关系种类并不多，可以将知识图谱中的所有关系种类作为动作空间；若知识图谱种类特别多，则使用本实施例所述动作空间。

经过实验仿真发现：在训练阶段，按概率随机选择动作效果更好，在通信阶段，选择概率最大的动作效果更好。这是因为在训练阶段按概率随机选择可以增强语义推理器的探索能力，而通信阶段选择概率最大的动作推理的准确性更高。

基于上述分析，本发明训练过程中还可以有多个语义发送方，不同发送方的知识库和专家推理路径可能不同或者不完全相同，每个语义发送方都有一个语义编码器，即对应多个语义比较器。以此为基础可以训练一个基于多个语义发送方的语义推理器。此语义推理器可以学习到多个发送方的推理机制，能够实现和该多个语义发送方的语义通信。

基于上述分析，训练过程中还可以有多个语义接收方，不同接收方的知识库可能不同，每个接收方都有一个语义推理器。以此为基础可以训练多个语义推理器，该多个语义推理器能够基于各自的知识库给对专家推理路径的推理机制进行学习。最终该发送方可以和该多个语义接收方进行沟通。

基于上述分析，本发明的训练过程可以发生在两个中心：发送中心A、接收中心B。训练之后，接收中心B将其学习到的推理策略传输给对应的用户群B，其中有若干用户，接收中心B和用户群B共享知识库。发送中心A也有对应的用户群A，其中有若干用户，发送中心A和用户群A共享知识库。之后，发送中心可以向代理群中的任一代理发送语义信息而不需要提前训练。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.源信号的隐式语义信息表示方法，其特征在于，所述源信号的隐式语义信息表示为推理路径，所述推理路径包括：实体、关系和语义推理机制；

源信号中属于真实世界的物质或者概念表示为一个实体；

两个实体之间的一种联系表示为一条关系；

语义推理机制用于对源信号中的单个或者多个实体进行推理，推理出不能从源信号中自动识别出来的潜在的实体和/或关系。

2.一种语义编码器，其位于源用户端，其特征在于，所述语义编码器包括：实体探测器、向量转换器和语义比较器；

所述实体探测器，用于识别出源信号中的每个实体，表示为标签形式；

所述向量转换器，用于将实体的标签形式转化为实体向量，将实体向量发送给目的用户端；

所述语义比较器，用于在训练阶段接收目的用户端反馈的推理路径，结合私有知识库中的专家推理路径，基于两个推理路径的分数差进行更新，使得对专家推理路径的分数更高，反馈推理路径分数更低，将更新后语义比较器生成的反馈推理路径的分数输出至目的用户端，其中，分数能够反映推理路径为专家推理路径的概率。

3.一种语义解码器，其位于目的用户端，其特征在于，所述语义解码器包括：语义推理器；

所述语义推理器，用于接收源用户端发送的实体向量，结合目的用户端知识库，推理出关于实体的推理路径，所述推理路径采用如权利要求1所述的方法表示；在训练阶段将推理出的推理路径反馈至源用户端，接收源用户端反馈的对推理路径的分数，并基于该分数进行更新，使得产生的推理路径得到的分数更高，在通信阶段将推理出的推理路径直接作为语义信息，其中，分数能够反映推理路径为专家推理路径的概率。

4.如权利要求3所述的语义解码器，其特征在于，所述语义推理器采用马尔可夫决策过程对实体进行推理，其中，

环境为目的用户端知识库，表示形式为知识图谱；

状态为当前实体的向量表示、源实体的向量表示以及目标实体的向量表示拼接；

动作为给定一个状态，从当前环境中，选择当前实体连接的一个关系以及该关系连接的除当前实体外的另外一个实体来扩展路径；

奖励：将接收到的对推理路径的分数作为推理路径的奖励，仅在训练推理策略时使用；

推理策略为神经网络，输入为当前状态，输出为关于所有的可能的动作的一个概率分布，对应动作的概率值越大则越有可能被执行。

5.如权利要求4所述的语义解码器，其特征在于，训练阶段按概率随机选择动作，通信阶段选择概率最大的动作。

6.如权利要求3所述的语义解码器，其特征在于，语义推理器接收源用户端发送的实体向量后，在目的用户端知识库中找到与其最接近的实体向量，将此作为需要进行推理的实体。

7.一种语义通信架构，其特征在于，包括源用户端和目的用户端；

所述源用户端采用如权利要求2所述的语义编码器；

所述目的用户端采用如权利要求3至6任一项所述的语义解码器。

8.如权利要求7所述的语义通信架构，其特征在于，从未进行语义通信的源用户端和目的用户端，进行第一次语义通信之前，按照以下方式进行训练：

步骤S0：语义推理器中的推理策略随机初始化，语义比较器随机初始化；

步骤S1：语义推理器推理出对于训练集中实体的推理路径，将产生的推理路径的向量发送给语义比较器；

步骤S2：语义比较器分别对接收到的反馈推理路径和专家推理路径生成分数，基于生成的反馈推理路径的分数和专家推理路径的分数差进行更新，使更新之后的语义比较器能够给专家推理路径更高的分数，而给反馈推理路径更低的分数；更新之后的语义比较器生成反馈推理路径的分数，发送给语义推理器；

步骤S3：语义推理器采用强化学习的方法，基于最新的语义比较器训练更新，使生成的路径能够得到更高的分数；

步骤S4：重复步骤S1-S3，直至语义推理器和语义比较器收敛或达到最大训练次数。

9.如权利要求8所述的语义通信架构，其特征在于，语义比较器的训练损失函数为：

其中，

表示期望函数，

为语义比较器中的评分器，

为评分器的网络参数，

为专家推理路径向量，

为语义推理器生成的推理路径向量。

10.如权利要求8所述的语义通信架构，其特征在于，语义推理器的损失函数为：

其中，

表示期望函数，

为语义推理器生成的推理路径向量，

为基于 推理策略网络

和最大跳数

生成的推理路径集，

表示从推理路径集

中提取推理路径

，为推理策略网络的参数，

为当前语义比较器中的评分 器。

Images