CN114490920B - 语义知识库自动构建与更新方法、语义编码器和通信架构 - Google Patents

语义知识库自动构建与更新方法、语义编码器和通信架构 Download PDF

Info

Publication number
CN114490920B
CN114490920B CN202210070546.9A CN202210070546A CN114490920B CN 114490920 B CN114490920 B CN 114490920B CN 202210070546 A CN202210070546 A CN 202210070546A CN 114490920 B CN114490920 B CN 114490920B
Authority
CN
China
Prior art keywords
semantic
representation
user side
knowledge base
embedded vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210070546.9A
Other languages
English (en)
Other versions
CN114490920A (zh
Inventor
肖泳
石光明
梁静明
李莹玉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202210070546.9A priority Critical patent/CN114490920B/zh
Publication of CN114490920A publication Critical patent/CN114490920A/zh
Application granted granted Critical
Publication of CN114490920B publication Critical patent/CN114490920B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367Ontology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Abstract

本发明公开语义知识库自动构建与更新方法、语义编码器和通信架构,属于语义通信领域。针对现有语义通信框架和模型需在通信前预先训练、无法对未知知识进行语义编解码、无法对未知语义进行自动模型更新和编解码的语义通信的问题,本发明引入语义知识库自动构建方法、推理机制自动更新方法与语义编解码器协同机制。本语义通信架构可以自动识别未知语义信息,自动学习和适配未知实体和已知实体间关系,并且引入模型自动学习和自动更新机制,能够实现在语义通信过程中自动协同编码器和解码器的语义知识库,从而实现语义编解码器实时协同更新学习模型。避开对传统语义信息中的语义知识库单一且固定,当遇到未知知识时无法实现编码与解码等问题。

Description

语义知识库自动构建与更新方法、语义编码器和通信架构
技术领域
本发明属于语义通信领域,更具体地,涉及语义知识库自动构建与更新方法、语义编码器和通信架构。
背景技术
语义通信是一种新兴的范式,侧重于理解和传递消息所蕴含的语义信息。传统的通信系统聚焦于提高有限资源的利用率,以满足快速增长的用户需求。随着通信系统的发展,对多样化服务的需求不断增加,越来越多的应用开始以增强以人为本的体验为目标,并提出了严格且高度个性化的要求。这激发了一种新的传播范式,被称为语义传播,它从人类交际沟通的模式中汲取灵感,专注于理解和传递消息的语义信息。
现有的语义通信领域的相关工作都充分利用了机器学习的最新进展,尤其是基于深度学习的方法,来检测并传输从源信号中识别的对象标签。例如,已有工作将从源信号识别的单词含义定义为语义。
然而,这种将语义定义方式忽略了不能直接观察到的语义信息。此外,现有的工作方案通常假定可识别的语义信息受到预定义标签数据库的限制。
发明内容
针对现有技术的缺陷和改进需求,本发明提供了语义知识库自动构建与更新方法、语义编码器和通信架构,其目的在于通过语义信息的构建表征、推理补全以实现语义传输。
为实现上述目的,按照本发明的第一方面,提供了一种语义知识库自动构建方法,应用于源用户端,该方法包括:
在训练过程中,语义编码器将各待训练的源信号语义表征转化为嵌入向量表示,并生成语义表征和嵌入向量表示的一对一映射关系,得到语义压缩表,加入源用户端的语义知识库中。
为实现上述目的,按照本发明的第二方面,提供了一种语义知识库自动构建方法,应用于目的用户端,该方法包括:
在训练过程中,语义解码器接收信号,对接收到的各信号和其所代表的语义表征构建一对一映射关系,得到语义解析表,加入到目的用户端的语义知识库中。
为实现上述目的,按照本发明的第三方面,提供了一种语义知识库自动更新方法,应用于源用户端,该方法包括:
在实际通信过程中,若源信号语义表征不包含在源用户端语义知识库,启动语义知识库更新,所述更新具体如下:生成源信号语义表征和其嵌入向量表示的一对一映射关系,加入到语义压缩表,并更新源用户端的语义知识库,将嵌入向量表示和语义表征一起发送给目的用户端。
为实现上述目的,按照本发明的第四方面,提供了一种语义知识库自动更新方法,应用于目的用户端,该方法包括:
在实际通信过程中,若接收到的信号和其所代表的语义表征不包含在目的用户端语义知识库,启动语义知识库更新,所述更新具体如下:
请求源用户端将嵌入向量表示和语义表征一起发送,将源用户端反馈的嵌入向量表示和语义表征一起加入到语义解析表,并更新目的用户端的语义知识库;
或者,
若嵌入向量表示和目的用户端当前语义知识库中的某一嵌入向量表示的相似度超过设定阈值,则将接收到的嵌入向量表示和相似嵌入向量表示的语义表征构成一对一映射关系,加入到语义解析表,并更新目的用户端的语义知识库,否则,请求源用户端将嵌入向量表示和语义表征一起发送,将源用户端反馈的嵌入向量表示和语义表征一起加入到语义解析表,并更新目的用户端的语义知识库。
为实现上述目的,按照本发明的第五方面,提供了一种语义编码器,位于源用户端,所述语义编码器用于,在训练阶段,将待训练的源信号语义表征编码为嵌入向量,将待训练的源信号语义表征的嵌入向量表示通过信道发送给目的用户端,接收目的用户端反馈的对该嵌入向量表示的评估分数并进行更新,使得输出的嵌入向量表示在目的用户端获得更高的分数;
在实际通信阶段,将源信号的各语义表征编码为嵌入向量,并将得到的嵌入向量表示通过信道发送给目的用户端,接收目的用户端反馈的需要重新训练的信号后,重新进行训练。
为实现上述目的,按照本发明的第六方面,提供了一种目的用户端,包括:语义评估器、语义知识库、知识探测器和语义解码器;
所述语义评估器,用于在训练阶段,接收源用户端发送的待训练的源信号语义表征嵌入向量表示,结合目的用户端语义知识库的背景知识和推理函数,得到评估分数,并反馈给源用户端;
所述语义知识库采用如第二方面所述的方法构建,并采用如第四方面所述的方法更新;
所述知识探测器,用于在实际通信阶段,接收源用户端发送的源信号语义表征嵌入向量表示,查询语义解析表,若存在,则将源信号语义表征语义解析表示发送给语义解码器,否则,反馈源用户端需要重新训练;
所述语义解码器,用于在实际通信阶段,基于推理函数和语义解析表,得到推理结果。
优选地,所述语义评估器通过以下方式,基于推理函数得到语义距离评估分数L:
Figure BDA0003481960290000041
其中,φ表示完整的语义表征嵌入向量,φ′表示在训练过程中随机产生的错误的语义表征的嵌入向量,f()为推理函数,γ为训练参数,Φ+表示语义知识库抽样出的正样本集,Φ-表示语义知识库抽样出的负样本集。
有益效果:针对现有技术语义通信过程中在信道产生的噪声对通信的干扰问题,本发明通过在训练时产生负样本集,并将正、负源信号的语义表征的语义差异进行排序,以使得编码器产生的嵌入向量能够最大化地符合推理规则,可以避免或者减小信道产生的噪声的影响。
优选地,所述语义解码器使用推理函数f,使推理函数值最小化,得到隐藏或缺失的语义信息:
Figure BDA0003481960290000042
其中,
Figure BDA0003481960290000043
表示不完整的语义表征<es,r,eo>的嵌入向量表示,es,eo分别为头实体与尾实体,ε表示实体库,r为关系,R为关系库,
Figure BDA0003481960290000044
为能够使得推理函数值最小的实体或关系标签,即推理所得结果,所述推理函数值越小,表明语义表征成立的可能性越大。
有益效果:本发明优选上述方式推理补全信息,应用推理函数,在语义的接收方的语义解析表中找到与接收到的信息最接近的实体或关系向量,并将此作为需要进行推理的实体,可以补齐隐藏或缺失的语义信息,以有效进行语义通信,并减小信道产生的噪声对语义的影响。
优选地,所述推理函数通过以下方式构建:
Figure BDA0003481960290000045
其中,g(·),h(·),l(·)对应实体嵌入和关系嵌入的加法关系、线性关系、乘法以及可能的更高阶关系,定义形式如下:
Figure BDA0003481960290000051
其中,a,a′,a″,b,b′,b″,c,c′,d,d′是常数,根据实体和关系的取值范围以及它们之间的几何距离确定;(·)T表示向量/矩阵的转置;diag(·)是将向量的所有元素列在矩阵的对角线上的对角线运算。
有益效果:本发明引入三种可能的函数基形式来刻画推理函数,以表征嵌入空间中各种实体和关系之间的加性、线性和乘法关系,优选上述方式构建推理函数,通过将实体和关系嵌入表示组合拆解为加性、线性和乘性关系,使得推理函数能够将任何给定的实体和关系的组合可能性映射到一个函数值,同时接收方能够使用该映射值来推理语义信息,判断这些实体和关系是否可能被组合起来,从而实现语义补齐,并进行有效的语义通信。
为实现上述目的,按照本发明的第七方面,提供了一种语义通信架构,包括:源用户端、如第五方面所述的目的用户端;
所述源用户端包括:如第四方面所述的语义编码器、语义转义器;
所述语义转义器,用于将源信号转义为语义知识库,发送给语义编码器。
其中,不同于传统通信系统,通过语义编码器与语义解码器协同训练,解码器具有抗噪能力、并输出目的用户端推理出的嵌入表示。
总体而言,通过本发明所构思的以上技术方案,能够取得以下有益效果:
(1)针对现有技术无法有效表示、传输语义信息问题,本发明提出通过协同编解码器,在源用户端与目的用户端分别构建语义知识库,将语义表征与嵌入向量一一对应,既考虑了噪声对通信的影响,同时,基于知识库,目的用户端可以将不完整的实体以及缺失的关系等隐藏信息推理出来,基于此实现语义通信。
(2)针对传统语义信息中的语义知识库单一且固定、当遇到未知知识时无法实现编码与解码等问题,本发明引入了一种模型自动学习和更新的机制,通过将语义编解码器实时协同更新,对语义知识库进行更新,能够进行高度动态的语义通信。
(3)针对现有语义通信系统无法有效传输语义信息的问题,本发明通过训练语义编码器,将语义表示转换为适当的形式,以便在物理信道中进行传输。本发明中的语义编码器引入持续学习的更新,考虑到人类用户表达的可能语义可能是复杂的、高度动态的,发送端用户可能使用接收端用户不知道的新事实和概念,该方法让接收方可以从用户发送的消息中不断学习,并在发现新的语义实体和语义关系时自动更新推理规则模型。
(4)针对现有语义通信系统无法挖掘高度动态的隐式语义信息的问题,本发明的语义解码器通过语义解析表与推理函数推理收到的信息,拥有解码出语义信息的能力,且通过部署知识探测器的实时反馈,能够进行高度动态的语义通信。
(5)针对现有语义通信框架无法进行隐式语义编解码、无法有效进行高度动态的语义通信的问题,本发明在传统的语义通信架构基础上,引入了推理机制与自动学习机制。和传统的编解码机制不同,本语义通信架构可以表征实体之间的复杂关系,并从信息中推断出不能直接观察到的隐藏信息,如缺失或隐藏的实体和关系。并且引入了一种自动学习的机制,即遇到新知识时会传递反馈信号,更新学习模型。这避开了对隐式语义信息中的语义推理机制难以编解码的问题,并且能够实现高度动态的语义通信。
附图说明
图1为源信号示意图。
图2为该源信号的隐式语义信息表示示意图。
图3为语义通信架构训练过程示意图。
图4为语义通信架构实际通信过程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出一种基于推理的语义通信架构,在这一架构中,语义由基于图谱的结构表示,包括实体、关系和推理规则三大元素。
实体:某一具体对象或某种概念,例如“苹果”、“水果”、“史蒂夫·乔布斯”等都可作为实体存在。
关系:用于指定实体对之间的连接关系,通常表现为{头实体,关系,尾实体}这样的三元组形式。一般来说,关系是有向的,同一对实体之间不同方向的关系可以表示不同的语义信息。此外,同一对实体间还有可能存在多种类型的关系,例如“史蒂夫·乔布斯”不仅是“苹果公司”的联合创始人,而且还担任过“苹果公司”的前任CEO。
推理规则:可以是在给定实体对的条件下,决定其可能关系的某种规则;也可以是在给定某一关系和/或一端实体的条件下,决定最可能的隐藏实体的规则。推理规则的关键是推理函数f,使用推理函数,使函数值最小化,得到隐藏或缺失的语义信息。
Figure BDA0003481960290000071
其中,
Figure BDA0003481960290000072
表示不完整的语义表征<es,r,eo>的语义解析表示,es,eo分别为头实体与尾实体,ε表示实体库,r为关系,R为关系库,
Figure BDA0003481960290000073
为能够使得推理函数值最小的实体或关系标签,即推理所得结果,所述推理函数值越小,表明语义表征成立的可能性越大。
源信息如图1所示,其中,实体为“男孩”、“足球”、“衣服颜色”;可表示为如图2所示。
本发明提出一种基于嵌入的语义解释框架,将基于图的高维语义表示转化为低维语义表示,从而有效地实现信道传输。本发明给出一种基于推理函数的新方法,用于描述图中不同实体和关系之间的映射规则以及它们在嵌入表示空间中的组合可能,可以自动地从消息中推断出无法直接观察到的隐藏信息,如缺失的实体和关系。本发明提出一种持续学习的更新方法,即接收端可以从发送端用户传递的消息中学习,并在发现新的未知语义实体和关系时自动更新用户的推理规则。
语义通信是通过提取和传输信号中用户信息的含义和语义以达到通信目的方法。语义通信的基本要求是包括语义编码器和语义解码器在内的通信参与方具有相同的普适性知识和语义,包括语义实体、实体间关系等,因此可以实现语义信息的识别和理解。语义实体包括如人名、地点、事物或概念等在内的可以作为句子主语和宾语的名词。实体可以具备不同的类别和属性,实体间可以具有不同的关系。本发明提供的方法中,重点在于语义通信的编解码模块。其主要思想为:语义通信的发送端用户有一个语义转义器,以及一个语义编码器,语义通信的接收端用户有一个知识探测器,一个语义评估器以及一个语义解码器。
语义转义器,用于识别出源信号中的实体与关系,将其转义为语义表征形式。本发明中采用已有的机器学习方法,源信号可以是音频、文本、图像等。以音频为例,可采用音频处理与语音识别相关算法;若源信号为图像,可采用图像识别等算法,不限于此。
语义编码器,用于将转义的复杂冗余的语义表征编码为低维的嵌入向量,以发送给接受端用户。本实施例采用Trans系列的方法,但不限于此。将实体与关系编码为嵌入向量形式,其中,实体与关系向量拥有相同的维数。该编码器生成与实体、关系一一对应的语义压缩表,该表由发送端与接收端共享。
知识探测器,主要应用于实际通信过程中。当接收端接收到的信息无法在已有的语义解析表中对应,即表明该信息中包含新知识,不再进入解码过程,而是要求重新进入训练过程;如果接收到的信息可以在语义解析表中对应,则进入解码过程。
语义评估器,主要用于训练过程。在训练时,本发明假定接收端和发送端拥有共同的基础知识库,当接收到发送端传输的完整信息时,语义评估器对所收到的向量表示进行评估,判断其是否满足推理规则f,并将得分
Figure BDA0003481960290000092
反馈给发送端的语义编码器,以使编码器不断优化向量编码。本发明引入了三种可能的函数基形式来刻画推理函数,以表征嵌入空间中各种实体和关系之间的加性、线性和乘法关系:
f(φ)=g(φ)+h(φ)+l(φ)
其中,g(·),h(·),l(·)对应实体嵌入和关系嵌入的加法关系、线性关系和乘法关系,定义形式如下:
g(φ)=aes+br+ceo+d
h(φ)=a′rTes+b′rTeo+c′(es)Teo+d′
l(φ)=a″(es)Tdiag(r)eo+b
其中,a,a′,a″,b,b′,b″,c,c′,d,d′是常数,根据实体和关系的取值范围以及它们之间的几何距离确定;(·)T表示向量/矩阵的转置;diag(·)是将向量的所有元素列在矩阵的对角线上的对角线运算。
基于此,假定推理规则的推理函数给定为f(φ),则反馈得分如下:
Figure BDA0003481960290000091
其中,φ表示完整的语义表征嵌入向量,φ′表示在训练过程中随机产生的错误的语义表征的嵌入向量(用于对照训练),γ为训练参数,可以设为固定值,也可以设为根据样本调整的函数,Φ+表示正样本集,Φ-表示负样本集。
语义解码器,主要用于实际通信过程,作用是恢复语义,并试图将其呈现为传递者所观察到的原始形式。语义解码器需要应用推理规则进行恢复补齐,假定推理规则的推理函数给定为f(φ),其在语义解析表中搜寻能够使函数值最小化的向量以及其对应的标签(实体或关系),从而得到隐藏或缺失的语义信息。
本发明提供了一种基于嵌入表示的语义通信编码模型更新与持续学习方法,所述方法包括模型训练与实际通信两个流程。
如图3所示,在训练过程中:
语义发送端:语义转义器将语义信息(各种形式,例如图像、音频、动作等)转义为图表示,语义编码器对语义表征进行编码,发送端用户将得到的嵌入表示传输给接收端用户。
语义接收端:通过语义评估器与真实语义比较,将评估得到的分数反馈给语义发送端。
语义发送端:编码器收到反馈后,将使用随机梯度下降的方式更新语义编码器的参数(本实施例中,参数即为语义压缩表中的嵌入表示),以使输出的嵌入表示在接收端获得更优的分数。其更新机制为:
Figure BDA0003481960290000101
其中,φ={es,r,eo}表示源信号的语义表征的嵌入向量表示,语义压缩表即为实体或关系的一一对应表,其形如:es/o→es/o,r→r,其中,粗体表示嵌入向量形式,非粗体表示语义知识。
上述过程不断循环,直至达到最大迭代次数或收敛至最优结果。训练过程结束后,进行实际语义通信。
如图4所示,在实际通信过程中:
以源信息是图片形式为例说明。
语义发送端:语义转义器将源信息转义为语义表征形式,接着用语义编码器将高维的图表示转为低维的嵌入向量,再将该嵌入向量经由通信信道传输到语义接收端。
语义接收端:通过知识探测器判断收到的嵌入表示是否在语义解析表中,如果不存在,则重新进入训练过程;如果存在,则通过语义解码器基于推理函数和语义解析表,补全隐藏或缺失的语义信息,也即源信息的语义信息。至此,完成了一次语义通信。
基于嵌入表示的语义通信编解码模型的训练流程,具体包括:
步骤S1:语义接收端的语义评估器使用推理函数对得到的嵌入表示进行评估,并将分数反馈给语义发送端;
步骤S2:语义发送端的语义编码器根据分数反馈进行参数更新,使更新之后的语义编码器输出的嵌入表示在接收端能获得更高得分;
步骤S3:重复上述步骤,直至模型收敛或达到规定最大重复次数。
在训练流程结束后,语义编码器能够输出合理的嵌入表示,由于源信号的语义信息可能具备较高的相关性。因此,通过训练语义编码器可以去除不同实体属性和关系之间的冗余信息和相关性,从而实现语义信息的压缩。将压缩后所得到的语义信息数据包进行编码后发送给接收端的语义解码器。
以传输图片形式的语义信息为例。具体包括:
步骤S4:语义发送端的语义转义器通过已有的机器学习方法识别出图片中的语义信息,转换为图结构表示;
步骤S5:语义发送端的语义编码器将高维的图结构表示转为低维的嵌入向量形式;
步骤S6:语义发送端将语义压缩表示传输给接收端;
步骤S7:接收端的知识探测器对接收到的嵌入表示进行判断;
步骤S8:如果判断该表示不存在于语义解析表中,是未知的新知识,则触发反馈并更新模型,进入训练过程;如果能够在语义解析表中搜寻,则接收端的语义解码器将基于推理函数补全隐藏或缺失的语义信息,得到源语义信息。
本发明中,语义发送端可以压缩需要发送的语义信息,例如仅向接收端传输有限的标签数据(如部分的实体信息和关系),接收端的语义解码器在接收到带有标签的部分实体或关系信息后,可根据推理函数规则恢复出源信号中包含的语义信息以及相互关系;最终,语义解码器根据还原出来的语义信息将源信号恢复到语义通信接收方期望的表达形式,例如,源信息如果为语音,接收用户可理解形式为文本,语义解码器应当根据语义知识库中存储的实体和关系对应的语义信息恢复为文本的形式,发送给接收端。
基于上述分析,本发明可以考虑有多个语义发送端,不同发送端的知识库可能不同或者不完全相同,每个语义发送端都对应一个语义编码器。以此为基础,对不同的知识库可以训练多个语义编码器,实现和多个语义发送端的语义通信。
基于上述分析,本发明还可以考虑多个语义接收端,不同接收端的推理函数或推理规则可能不同,每个接收端都对应一个语义解码器。以此为基础可以训练多个语义编码器,最终该发送端可以和该多个拥有不同推理规则的语义接收端进行沟通。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种语义编码器,位于源用户端,其特征在于,所述语义编码器用于,
在训练阶段,将待训练的源信号语义表征编码为嵌入向量,将待训练的源信号语义表征的嵌入向量表示通过信道发送给目的用户端,接收目的用户端反馈的对该嵌入向量表示的评估分数并进行更新,使得输出的嵌入向量表示在目的用户端获得更高的分数;其中,评估分数由结合目的用户端语义知识库的背景知识和推理函数得到;
在实际通信阶段,将源信号的各语义表征编码为嵌入向量,并将得到的嵌入向量表示通过信道发送给目的用户端,接收目的用户端反馈的需要重新训练的信号后,重新进行训练;
其中,使用推理函数f,使推理函数值最小化,得到隐藏或缺失的语义信息:
Figure FDA0003797846780000011
其中,
Figure FDA0003797846780000012
表示不完整的语义表征<es,r,eo>的嵌入向量表示,es,eo分别为头实体与尾实体,ε表示实体库,r为关系,R为关系库,
Figure FDA0003797846780000013
为能够使得推理函数值最小的实体或关系标签,即推理所得结果,所述推理函数值越小,表明语义表征成立的可能性越大;
所述推理函数通过以下方式构建:
Figure FDA0003797846780000014
其中,g(·),h(·),l(·)对应实体嵌入和关系嵌入的加法关系、线性关系、乘法以及可能的更高阶关系,定义形式如下:
Figure FDA0003797846780000015
Figure FDA0003797846780000016
Figure FDA0003797846780000017
其中,a,a′,a″,b,b′,b″,c,c′,d,d′是常数,根据实体和关系的取值范围以及它们之间的几何距离确定;(·)T表示向量/矩阵的转置;diag(·)是将向量的所有元素列在矩阵的对角线上的对角线运算。
2.一种语义知识库自动构建与更新方法,应用于源用户端,其特征在于,该方法包括:
在训练过程中,采用如权利要求1所述的语义编码器将各待训练的源信号语义表征转化为嵌入向量表示,并生成语义表征和嵌入向量表示的一对一映射关系,得到语义压缩表,加入源用户端的语义知识库中;
在实际通信过程中,若源信号语义表征不包含在源用户端语义知识库,启动语义知识库更新,所述更新具体如下:生成源信号语义表征和其嵌入向量表示的一对一映射关系,加入到语义压缩表,并更新源用户端的语义知识库,将嵌入向量表示和语义表征一起发送给目的用户端。
3.一种语义知识库自动构建与更新方法,应用于目的用户端,其特征在于,该方法包括:
在训练过程中,语义解码器接收信号,对接收到的各信号和其所代表的语义表征构建一对一映射关系,得到语义解析表,加入到目的用户端的语义知识库中;
在实际通信过程中,若接收到的信号和其所代表的语义表征不包含在目的用户端语义知识库,启动语义知识库更新,所述更新具体如下:
请求源用户端将嵌入向量表示和语义表征一起发送,将源用户端反馈的嵌入向量表示和语义表征一起加入到语义解析表,并更新目的用户端的语义知识库;
或者,
若嵌入向量表示和目的用户端当前语义知识库中的某一嵌入向量表示的相似度超过设定阈值,则将接收到的嵌入向量表示和相似嵌入向量表示的语义表征构成一对一映射关系,加入到语义解析表,并更新目的用户端的语义知识库,否则,请求源用户端将嵌入向量表示和语义表征一起发送,将源用户端反馈的嵌入向量表示和语义表征一起加入到语义解析表,并更新目的用户端的语义知识库;
所述语义解码器,用于在实际通信阶段,基于推理函数和语义解析表,得到推理结果;
其中,所述语义解码器使用推理函数f,使推理函数值最小化,得到隐藏或缺失的语义信息:
Figure FDA0003797846780000031
其中,
Figure FDA0003797846780000032
表示不完整的语义表征<es,r,eo>的嵌入向量表示,es,eo分别为头实体与尾实体,ε表示实体库,r为关系,R为关系库,
Figure FDA0003797846780000033
为能够使得推理函数值最小的实体或关系标签,即推理所得结果,所述推理函数值越小,表明语义表征成立的可能性越大;
所述推理函数通过以下方式构建:
Figure FDA0003797846780000034
其中,g(·),h(·),l(·)对应实体嵌入和关系嵌入的加法关系、线性关系、乘法以及可能的更高阶关系,定义形式如下:
Figure FDA0003797846780000035
Figure FDA0003797846780000036
Figure FDA0003797846780000037
其中,a,a′,a″,b,b′,b″,c,c′,d,d′是常数,根据实体和关系的取值范围以及它们之间的几何距离确定;(·)T表示向量/矩阵的转置;diag(·)是将向量的所有元素列在矩阵的对角线上的对角线运算。
4.一种目的用户端,其特征在于,包括:语义评估器、语义知识库、知识探测器和语义解码器;
所述语义评估器,用于在训练阶段,接收源用户端发送的待训练的源信号语义表征嵌入向量表示,结合目的用户端语义知识库的背景知识和推理函数,得到评估分数,并反馈给源用户端;
所述语义知识库采用如权利要求3所述的方法构建与更新;
所述知识探测器,用于在实际通信阶段,接收源用户端发送的源信号语义表征嵌入向量表示,查询语义解析表,若存在,则将源信号语义表征语义解析表示发送给语义解码器,否则,反馈源用户端需要重新训练;
所述语义解码器,用于在实际通信阶段,基于推理函数和语义解析表,得到推理结果。
5.如权利要求4的目的用户端,其特征在于,所述语义评估器通过以下方式,基于推理函数得到语义距离评估分数L:
Figure FDA0003797846780000041
其中,φ表示完整的语义表征嵌入向量,φ′表示在训练过程中随机产生的错误的语义表征的嵌入向量,f()为推理函数,γ为训练参数,Φ+表示语义知识库抽样出的正样本集,Φ-表示语义知识库抽样出的负样本集。
6.一种语义通信架构,其特征在于,包括:源用户端、如权利要求4至5任一项所述的目的用户端;
所述源用户端包括:如权利要求1所述的语义编码器、语义转义器;
所述语义转义器,用于将源信号转义为语义知识库,发送给语义编码器;
其中,不同于传统通信系统,通过语义编码器与语义解码器协同训练,解码器具有抗噪能力、并输出目的用户端推理出的嵌入表示。
CN202210070546.9A 2022-01-21 2022-01-21 语义知识库自动构建与更新方法、语义编码器和通信架构 Active CN114490920B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210070546.9A CN114490920B (zh) 2022-01-21 2022-01-21 语义知识库自动构建与更新方法、语义编码器和通信架构

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210070546.9A CN114490920B (zh) 2022-01-21 2022-01-21 语义知识库自动构建与更新方法、语义编码器和通信架构

Publications (2)

Publication Number Publication Date
CN114490920A CN114490920A (zh) 2022-05-13
CN114490920B true CN114490920B (zh) 2022-10-14

Family

ID=81473495

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210070546.9A Active CN114490920B (zh) 2022-01-21 2022-01-21 语义知识库自动构建与更新方法、语义编码器和通信架构

Country Status (1)

Country Link
CN (1) CN114490920B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115149986B (zh) * 2022-05-27 2023-05-23 北京科技大学 一种针对语义通信的信道分集方法及装置
CN116488748B (zh) * 2023-05-04 2024-02-27 山东大学 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027700A (zh) * 2019-12-18 2020-04-17 福州大学 基于wcur算法的知识库补全方法
CN112800247A (zh) * 2021-04-09 2021-05-14 华中科技大学 基于知识图谱共享的语义编/解码方法、设备和通信系统
CN113569056A (zh) * 2021-07-27 2021-10-29 科大讯飞(苏州)科技有限公司 知识图谱补全方法、装置、电子设备与存储介质
CN113836312A (zh) * 2021-09-13 2021-12-24 中国人民解放军32801部队 一种基于编码器和解码器架构的知识表示推理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210192372A1 (en) * 2019-12-19 2021-06-24 Electronics And Telecommunications Research Institute Multi-layered knowledge base system and processing method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111027700A (zh) * 2019-12-18 2020-04-17 福州大学 基于wcur算法的知识库补全方法
CN112800247A (zh) * 2021-04-09 2021-05-14 华中科技大学 基于知识图谱共享的语义编/解码方法、设备和通信系统
CN113569056A (zh) * 2021-07-27 2021-10-29 科大讯飞(苏州)科技有限公司 知识图谱补全方法、装置、电子设备与存储介质
CN113836312A (zh) * 2021-09-13 2021-12-24 中国人民解放军32801部队 一种基于编码器和解码器架构的知识表示推理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的语义通信系统;涂勇峰等;《移动通信》;20210715;第91-94,119页 *

Also Published As

Publication number Publication date
CN114490920A (zh) 2022-05-13

Similar Documents

Publication Publication Date Title
Qin et al. Semantic communications: Principles and challenges
CN114490920B (zh) 语义知识库自动构建与更新方法、语义编码器和通信架构
Shi et al. From semantic communication to semantic-aware networking: Model, architecture, and open problems
Gündüz et al. Beyond transmitting bits: Context, semantics, and task-oriented communications
CN112800247B (zh) 基于知识图谱共享的语义编/解码方法、设备和通信系统
US10654380B2 (en) Query rewriting and interactive inquiry framework
Shi et al. A new communication paradigm: from bit accuracy to semantic fidelity
CN111368219A (zh) 信息推荐方法、装置、计算机设备以及存储介质
CN114091673B (zh) 语义编码器、解码器和语义通信框架
EP3673387B1 (en) Compression of word embeddings for natural language processing systems
CN113537024B (zh) 多层时序注意力融合机制的弱监督神经网络手语识别方法
CN112131368B (zh) 对话生成方法、装置、电子设备及存储介质
CN110909181A (zh) 一种面向多类型海洋数据的跨模态检索方法及系统
CN111767697B (zh) 文本处理方法、装置、计算机设备以及存储介质
CN112100350B (zh) 一种用于强化回复个性化表达的开放域对话方法
CN111241850B (zh) 提供业务模型的方法及装置
CN116975288A (zh) 文本处理方法及文本处理模型训练方法
CN115293348A (zh) 一种多模态特征提取网络的预训练方法及装置
CN110390109B (zh) 分析多条群聊消息间关联关系的方法和装置
CN109933773A (zh) 一种多重语义语句解析系统及方法
CN113868451A (zh) 基于上下文级联感知的社交网络跨模态对话方法及装置
CN112035633B (zh) 数据处理方法、装置、对话设备及存储介质
CN105763424A (zh) 一种文字信息处理方法和装置
CN114386412B (zh) 一种基于不确定性感知的多模态命名实体识别方法
CN113420111A (zh) 一种用于多跳推理问题的智能问答方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant