CN115293167A - 基于依存句法分析的分层语义通信方法和系统 - Google Patents

基于依存句法分析的分层语义通信方法和系统 Download PDF

Info

Publication number
CN115293167A
CN115293167A CN202210841144.4A CN202210841144A CN115293167A CN 115293167 A CN115293167 A CN 115293167A CN 202210841144 A CN202210841144 A CN 202210841144A CN 115293167 A CN115293167 A CN 115293167A
Authority
CN
China
Prior art keywords
dependency
words
edge
semantic
transmitted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210841144.4A
Other languages
English (en)
Inventor
魏急波
赵海涛
姜胜腾
曹阔
熊俊
刘月玲
张亦弛
刘琰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202210841144.4A priority Critical patent/CN115293167A/zh
Publication of CN115293167A publication Critical patent/CN115293167A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0056—Systems characterized by the type of code used
    • H04L1/0057—Block codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及智能体语义通信技术领域的一种基于依存句法分析的分层语义通信方法和系统。所述方法将依存句法分析引入语义通信，在发送端利用依存句法分析对传输句子中的词语进行语义分层，根据信道质量对待传输句子中不同语义层级的词语进行选择性传输，接收端接收发送端发送的信息，对接收信息依次进行信道译码与信源译码，得到接收语句；采用ERNIE模型对接收语句进行语义恢复。本发明在发送端将依存句法分析引入语义通信克服现有语义通信方案中语义刻画不明确，语义表示过于抽象等问题，接收端接收信息后使用ERNIE语言模型进行语义恢复，相较于传统通信方法，本发明在传输可靠性方面有显著提升。

Description

基于依存句法分析的分层语义通信方法和系统
技术领域
本申请涉及智能体语义通信技术领域，特别是涉及一种基于依存句法分析的分层语义通信方法和系统。
背景技术
传统通信系统不考虑传输内容背后的含义，其主要目的是将通信符号准确传输。语义通信关注的问题与传统通信并不相同，相较于通信符号本身，语义通信更加关注其传达的含义。因此，语义通信系统更加接近通信的本质，更加关注语义的传输问题，是更深层次的通信方式。
传统通信系统要求传输内容在比特级别做到无差错传输，即发送内容与接收内容要完全一致。当通信环境较差时，接收信息经过信道译码纠错后仍存在错误码字或错误比特会导致信源译码失败。在这种情况下，传统通信系统会采用重传技术来解决这个问题，不过这种方法即费时又耗费大量的传输资源。而语义通信系统追求语义无差别传输，因此可以在发送端提取传输内容的语义信息并进行传输，在接收端收到语义信息后再对传输信息进行恢复。
发明内容
基于此，有必要针对上述技术问题，提供一种基于依存句法分析的分层语义通信方法和系统，用于克服现有语义通信方案中语义刻画不明确，语义表示过于抽象等问题。
一种基于依存句法分析的分层语义通信方法，所述方法包括：
发送端：
获取待传输句子，并使用jieba模型对所述待传输句子进行中文分词。
对分词后的待传输句子进行依存句法分析，得到与待传输句子对应的依存句法树。
根据所述依存句法树对所述待传输语句进行语义分层，将所述待传输语句中的词语划分为不同的语义层级。
根据信道质量对待传输句子中不同语义层级的词语进行选择性传输的原则，确定传输词语。
对所述传输词语进行信源编码，将编码后的结果转化为比特信息，并对所述比特信息进行信道编码，将得到的编码结果发送至接收端。
接收端：
接收发送端发送的信息，得到接收信息，对所述接收信息依次进行信道译码与信源译码，得到接收语句。
采用ERNIE模型对所述接收语句进行语义恢复。
在其中一个实施例中，对分词后的待传输句子进行依存句法分析，得到与待传输句子对应的依存句法树，包括：
获取训练数据集，所述训练数据集包括分词后的传输句子中的中文词语。
将所述训练数据集中的中文词语分别采用Glove网络和Char_CNN网络计算每个中文词语的词向量，并将得到的两个词向量进行拼接。
将拼接后的词向量采用BiLSTM网络计算与词语对应的隐藏层特征向量。
根据两个词对应的隐藏层特征向量输入到依存边识别模块中，计算每两个词语间的依存边的嵌入表示；并根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，并根据得到的依存边得分，确定词语间存在依存边的概率；根据词语间存在依存边的概率确定词语间存在的正确依存边。
采用多标签分类法对每条正确依存边进行标记，将标记后的正确依存边采用依存边分类模块进行分类，得到依存句法树预测结果。
构建依存句法分析模型的总损失函数，所述总损失函数包括依存边识别损失函数和依存边分类损失函数；所述依存句法分析模型是由Glove网络、Char_CNN网络、BiLSTM网络、依存边识别模块以及依存边分类模块组成的网络模型。
根据所述依存句法树预测结果、总损失函数以及训练数据集，采用梯度下降法对依存句法分析模型进行训练，得到训练好的依存句法分析模型。
将分词后的待传输句子输入到所述训练好的依存句法分析模型中，得到与待传输句子对应的依存句法树。
在其中一个实施例中，根据两个词对应的隐藏层特征向量输入到依存边识别模块中，计算每两个词语间的依存边的嵌入表示；并根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分；根据得到的依存边得分，确定词语间存在依存边的概率，根据依存边的概率确定词语间的正确依存边，包括：
采用两个词语的隐藏层向量计算两个词语间的依存边的嵌入表示，所述嵌入表示的表达式为：
Figure BDA0003751116360000031
其中
Figure BDA0003751116360000032
为依存边的嵌入表示，＜wi,wj＞为第i个词语wi和第j个词语wj之间的依存边，
Figure BDA0003751116360000033
分别为第i个词语wi和第j个词语wj对应的隐藏层特征向量。
根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，所述依存边评分函数为：
Figure BDA0003751116360000034
其中fedge(wi,wj)为第i个词语wi和第j个词语wj之间依存边的得分，ε是传输句子中所有依存边的集合。
根据得到的依存边得分，确定词语间存在依存边的概率，根据依存边的概率确定词语间的正确依存边，所述依存边的概率的表达式为：
Figure BDA0003751116360000035
其中，p(wj∣wi)为第i个词语wi和第j个词语wj之间的依存边的概率，n为传输句子中词语的总数量。
在其中一个实施例中，采用多标签分类法对每条正确依存边进行标记，将标记后的正确依存边采用依存边分类模块进行分类，得到依存句法树预测结果，包括：
对每条正确依存边引入依存边的依存关，并根据正确依存边的嵌入表示计算依存边的依存关系是否正确的评分，评价依存关系是否正确的评分函数为：
Figure BDA0003751116360000041
式中flabel(·)是评价依存关系是否正确的评分函数，ε(r)是ε中关系为r的依存边的集合。
根据每个依存边的依存关系是否正确的评分，确定依存边的依存关系为r的概率为：
Figure BDA0003751116360000042
其中，p(r∣wi,wj)为第i个词语wi和第j个词语wj之间的依存边的依存关系为r的概率，
Figure BDA0003751116360000043
为所有依存关系类型的集合，r′为
Figure BDA0003751116360000044
中的任意一种依存关系。
根据依存边的依存关系为r的概率对依存边进行分类，得到依存句法树预测结果。
在其中一个实施例中，总损失函数包括依存边识别损失函数和依存边分类损失函数。
构建依存句法分析模型的总损失函数，包括：
构建依存边识别损失函数和依存边分类损失函数，将依存边识别损失函数和依存边分类损失函数之和作为依存句法分析模型的总损失函数；所述依存边识别损失函数为：
Figure BDA0003751116360000045
式中，
Figure BDA0003751116360000051
为依存边识别损失，
Figure BDA0003751116360000052
是网络训练使用的数据集，
Figure BDA0003751116360000053
代表数据集中第l个句子中的第i个单词，
Figure BDA0003751116360000054
代表
Figure BDA0003751116360000055
的支配词。
所述依存边分类损失函数为：
Figure BDA0003751116360000056
其中，
Figure BDA0003751116360000057
为依存边分类损失，
Figure BDA0003751116360000058
是
Figure BDA0003751116360000059
与
Figure BDA00037511163600000510
间的依存关系。
在其中一个实施例中，根据所述依存句法树对所述待传输语句进行语义分层，将所述待传输语句中的词语划分为不同的语义层级，包括：
根据所述依存句法树将所述待传输语句分为四个不同的语义层级；其中，第一语义层级包括待传输语句的主语、谓语以及宾语；第二语义层级包括所有依存于待传输语句的主语、谓语、宾语的词语；第三语义层级包括关系修饰词；第四语义层级包括结构助词。
在其中一个实施例中，根据信道质量对待传输句子中不同语义层级的词语进行选择性传输的原则，确定传输词语，包括：
当信道质量较差时，只传输第一语义层级的词语，并使用未传输词语的通信资源保护传输词语，保证传输词语传递的重要语义不被信道噪声影响。
随着信道质量逐渐变好，再传输其他语义层级的词语。
在其中一个实施例中，对所述传输词语进行信源编码，将编码后的结果转化为比特信息，并对所述比特信息进行信道编码，将得到的编码结果发送至接收端，包括：
对所述传输词语采用Huffman编码进行信源编码，将编码后的结果转化为比特信息。
对所述比特信息采用LDPC编码进行信道编码，将得到的编码结果发送至接收端。
在其中一个实施例中，采用ERNIE模型对所述接收语句进行语义恢复，包括：
将所述接收语句中缺失的词语填为[MASK]并输入ERNIE模型，根据所述接收语句中的上下文信息将接收语句中的[MASK]填为语境合适的单词，得到预测词语；所填预测词语为：
Figure BDA0003751116360000061
其中，
Figure BDA0003751116360000062
为预测词语，
Figure BDA0003751116360000063
为预测词语的上下文信息对应的条件概率，
Figure BDA0003751116360000064
为第l个预测词语；
Figure BDA0003751116360000065
Emb(context)为整个预测词语集合context的嵌入表示。
一种基于依存句法分析的分层语义通信系统，所述系统包括发送端和接收端；所述发送端和所述接收端通过执行上述中任一所述基于依存句法分析的分层语义通信进行通信。
上述基于依存句法分析的分层语义通信方法和系统，所述方法将依存句法分析引入语义通信，在发送端利用依存句法分析对传输句子中的词语进行语义分层，根据信道质量对待传输句子中不同语义层级的词语进行选择性传输，接收端接收发送端发送的信息，对接收信息依次进行信道译码与信源译码，得到接收语句；采用ERNIE模型对接收语句进行语义恢复。本发明在发送端将依存句法分析引入语义通信克服现有语义通信方案中语义刻画不明确，语义表示过于抽象等问题，接收端接收信息后使用ERNIE语言模型进行语义恢复，相较于传统通信方法，本发明在传输可靠性方面有显著提升。
附图说明
图1为一个实施例中基于依存句法分析的分层语义通信方法的流程示意图；
图2为一个实施例中确定待传输句子对应的依存句法树步骤的流程示意图；
图3为一个实施例中基于依存句法分析的分层语义通信原理框图；
图4为另一个实施例中传输不同语义层级的词语在高斯白噪声信道上基于BERT的语义相似度得分的仿真结果；
图5为另一个实施例中本发明系统与经典通信系统在高斯白噪声信道上的BLEU得分的仿真结果；
图6为另一个实施例中基于依存句法分析的分层语义通信系统与经典通信系统在高斯白噪声信道上的基于BERT的语义相似度得分的仿真结果；
图7为另一个实施例中基于依存句法分析的分层语义通信系统与经典通信系统在瑞利衰落信道上的BLEU得分的仿真结果；
图8为另一个实施例中基于依存句法分析的分层语义通信系统与经典通信系统在瑞利衰落信道上的基于BERT的语义相似度得分的仿真结果。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在一个实施例中，如图1所示，提供了一种基于依存句法分析的分层语义通信方法，该方法包括以下步骤：
发送端：
步骤100：获取待传输句子，并使用jieba模型对待传输句子进行中文分词。
步骤102：对分词后的待传输句子进行依存句法分析，得到与待传输句子对应的依存句法树。
具体的，依存句法分析采用两段式流程，即首先预测传输句子中各个词语间是否存在依存关系，再预测不同词语间依存关系的具体类型，进行生成传输句子对应的依存句法树。
步骤104：根据依存句法树对待传输语句进行语义分层，将待传输语句中的词语划分为不同的语义层级。
具体的，语义层级越靠前的词语传递的语义就越重要。
步骤106：根据信道质量对待传输句子中不同语义层级的词语进行选择性传输的原则，确定传输词语。
具体的，根据信道质量对传输句子中不同语义层级的词语进行选择性传输，在信道质量较差时，只传输语义层级最靠前的词语，随着信道质量逐渐变好，再传输其他语义层级的词语。同时，在信道质量较差时，使用未传输词语的通信资源保护传输词语，保证传输词语传递的重要语义不被信道噪声影响。
当信道质量很差时，与其传输的信息出错，无法表达正确的语义，不如使用传输资源保护最重要的语义信息，使其可以正确传输。
步骤108对传输词语进行信源编码，将编码后的结果转化为比特信息，并对比特信息进行信道编码，将得到的编码结果发送至接收端。
具体的，进行信道编码是为了抵御信道噪声影响。
接收端：
步骤110：接收发送端发送的信息，得到接收信息，对接收信息依次进行信道译码与信源译码，得到接收语句。
步骤112：采用ERNIE模型对接收语句进行语义恢复。
上述基于依存句法分析的分层语义通信方法中，所述方法将依存句法分析引入语义通信，在发送端利用依存句法分析对传输句子中的词语进行语义分层，根据信道质量对待传输句子中不同语义层级的词语进行选择性传输，接收端接收发送端发送的信息，对接收信息依次进行信道译码与信源译码，得到接收语句；采用ERNIE模型对接收语句进行语义恢复。本发明在发送端将依存句法分析引入语义通信克服现有语义通信方案中语义刻画不明确，语义表示过于抽象等问题，接收端接收信息后使用ERNIE语言模型进行语义恢复，相较于传统通信方法，本发明在传输可靠性方面有显著提升。
在其中一个实施例中，确定待传输句子对应的依存句法树步骤的流程如图2所示，步骤102具体包括如下步骤：
步骤200：获取训练数据集，训练数据集包括分词后的传输句子中的中文词语。
步骤202：将训练数据集中的中文词语分别采用Glove网络和Char_CNN网络计算每个中文词语的词向量，并将得到的两个词向量进行拼接。
具体的，获取分词的传输句子后，计算传输句子中每个中文词语的词向量：
Figure BDA0003751116360000091
式中Glove(wi)是Glove模型计算得出的词语wi的词向量，Char_CNN(wi)是Char_CNN模型计算出的字符级嵌入向量。
步骤204：将拼接后的词向量采用BiLSTM网络计算与词语对应的隐藏层特征向量。
具体的，获取wi的拼接词向量后，将ei馈入BiLSTM网络计算wi对应的隐藏层特征向量：
vi＝BiLSTM(ei)
其中，vi为词语wi对应的隐藏层特征向量。
步骤206：根据两个词对应的隐藏层特征向量输入到依存边识别模块中，计算每两个词语间的依存边的嵌入表示；并根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，并根据得到的依存边得分，确定词语间存在依存边的概率；根据词语间存在依存边的概率确定词语间存在的正确依存边。
步骤208：采用多标签分类法对每条正确依存边进行标记，将标记后的正确依存边采用依存边分类模块进行分类，得到依存句法树预测结果。
步骤210：构建依存句法分析模型的总损失函数，总损失函数包括依存边识别损失函数和依存边分类损失函数；依存句法分析模型是由Glove网络、Char_CNN网络、BiLSTM网络、依存边识别模块以及依存边分类模块组成的网络模型。
步骤212：根据依存句法树预测结果、总损失函数以及训练数据集，采用梯度下降法对依存句法分析模型进行训练，得到训练好的依存句法分析模型。
步骤214：将分词后的待传输句子输入到训练好的依存句法分析模型中，得到与待传输句子对应的依存句法树。
在其中一个实施例中，步骤206包括：采用两个词语的隐藏层向量计算两个词语间的依存边的嵌入表示，嵌入表示的表达式为：
Figure BDA0003751116360000101
其中
Figure BDA0003751116360000102
为依存边的嵌入表示，＜wi,wj＞为第i个词语wi和第j个词语wj之间的依存边，
Figure BDA0003751116360000103
分别为第i个词语wi和第j个词语wj对应的隐藏层特征向量。
具体的，
Figure BDA0003751116360000104
代表两个词语间的依存边。
根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，依存边评分函数为：
Figure BDA0003751116360000105
其中fedge(wi,wj)为第i个词语wi和第j个词语wj之间依存边的得分，ε是传输句子中所有依存边的集合。
根据得到的依存边得分，确定词语间存在依存边的概率，根据依存边的概率确定词语间的正确依存边，依存边的概率的表达式为：
Figure BDA0003751116360000106
其中，p(wj∣wi)为第i个词语wi和第j个词语wj之间的依存边的概率，n为传输句子中词语的总数量。
在其中一个实施例中，步骤208包括：对每条正确依存边引入依存边的依存关，并根据正确依存边的嵌入表示计算依存边的依存关系是否正确的评分，评价依存关系是否正确的评分函数为：
Figure BDA0003751116360000107
式中flabel(·)是评价依存关系是否正确的评分函数，ε(r)是ε中关系为r的依存边的集合。
根据每个依存边的依存关系是否正确的评分，确定依存边的依存关系为r的概率为：
Figure BDA0003751116360000111
其中，p(r∣wi,wj)为第i个词语wi和第j个词语wj之间的依存边的依存关系为r的概率，
Figure BDA0003751116360000112
为所有依存关系类型的集合，r′为
Figure BDA0003751116360000113
中的任意一种依存关系。
根据依存边的依存关系为r的概率对依存边进行分类，得到依存句法树预测结果。
在其中一个实施例中，总损失函数包括依存边识别损失函数和依存边分类损失函数；步骤210包括：构建依存边识别损失函数和依存边分类损失函数，将依存边识别损失函数和依存边分类损失函数之和作为依存句法分析模型的总损失函数；依存边识别损失函数为：
Figure BDA0003751116360000114
式中，
Figure BDA0003751116360000115
为依存边识别损失，
Figure BDA0003751116360000116
是网络训练使用的数据集，
Figure BDA0003751116360000117
代表数据集中第l个句子中的第i个单词，
Figure BDA0003751116360000118
代表
Figure BDA0003751116360000119
的支配词。
依存边分类损失函数为：
Figure BDA00037511163600001110
其中，
Figure BDA00037511163600001111
为依存边分类损失，ri (l)是
Figure BDA00037511163600001112
与
Figure BDA00037511163600001113
间的依存关系。
在其中一个实施例中，步骤104包括：根据依存句法树将待传输语句分为四个不同的语义层级；其中，第一语义层级包括待传输语句的主语、谓语以及宾语；第二语义层级包括所有依存于待传输语句的主语、谓语、宾语的词语；第三语义层级包括关系修饰词；第四语义层级包括结构助词。
具体的，根据传输语句的依存句法树进行语义分层，共分为四个不同的语义层级，第一语义层级主要包含了传输句子的主语、谓语以及宾语，代表了传输句子的核心语义。构建第一语义层级首先要查询传输句子中的谓语，然后再依次查找依存于谓语的主语与宾语。第一语义层级的词语集合可以表示为：
Figure BDA0003751116360000121
其中，wi←root代表所有依存于根节点(root)的词语，wj←wi代表所有依存于wi的词语，
Figure BDA0003751116360000122
为第一语义层级的词语集合，s为待传输句子。
第二语义层级包含了所有依存于传输句子的主语、谓语、宾语的词语，这些词语在传输句子中起到了补充核心语义的作用。第二语义层级的词语集合可以表示为：
Figure BDA0003751116360000123
其中，
Figure BDA0003751116360000124
为第二语义层级的词语集合。
同理，第三语义层级与第四语义层级的词语集合可以表示为：
Figure BDA0003751116360000125
Figure BDA0003751116360000126
其中，
Figure BDA0003751116360000127
为第三语义层级的词语集合，
Figure BDA0003751116360000128
为第四语义层级的词语集合。
第三语义层级通常包含关系修饰词，使第一语义层级与第二语义层级间的语义关系更加明确，有助于消除语义歧义，帮助语义理解。第四语义层级的词语多为结构助词，对传输句子语义不构成影响。
在其中一个实施例中，步骤106包括：当信道质量较差时，只传输第一语义层级的词语，并使用未传输词语的通信资源保护传输词语，保证传输词语传递的重要语义不被信道噪声影响；随着信道质量逐渐变好，再传输其他语义层级的词语。
在其中一个实施例中，步骤108包括：对传输词语采用Huffman编码进行信源编码，将编码后的结果转化为比特信息；对比特信息采用LDPC编码进行信道编码，将得到的编码结果发送至接收端。
在其中一个实施例中，步骤112包括：将接收语句中缺失的词语填为[MASK]并输入ERNIE模型，根据接收语句中的上下文信息将接收语句中的[MASK]填为语境合适的单词，得到预测词语；所填预测词语为：
Figure BDA0003751116360000131
其中，
Figure BDA0003751116360000132
为预测词语，
Figure BDA0003751116360000133
为预测词语的上下文信息对应的条件概率，
Figure BDA0003751116360000134
为第l个预测词语；
Figure BDA0003751116360000135
Emb(context)为整个预测词语集合context的嵌入表示。
应该理解的是，虽然图1-图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种基于依存句法分析的分层语义通信系统，系统包括发送端和接收端。
发送端和接收端通过执行上述中任一基于依存句法分析的分层语义通信进行通信。
在一个具体实施例中，如图3所示提供了基于依存句法分析的分层语义通信系统，该系统在传统通信系统的基础上，在发送端增加了依存句法分析模块，并根据传输句子的依存句法树对其进行语义分层；在接收端使用ERNIE语言模型进行语义恢复。
图2给出了本发明方法传输不同层级的语义信息在加性高斯白噪声信道下的仿真结果。
在一个仿真实施例中，采用基于依存句法分析的分层语义通信传输不同层级的语义信息共选取了四种传输策略，分别为仅传输第一层的语义信息，传输前两层的语义信息，传输前三层的语义信息，传输前四层的语义信息。采用本系统传输不同层级的语义信息在加性高斯白噪声信道下的仿真结果如图4所示。图4中选用的评价标准：基于BERT模型的语义相似度评价标准，该评价标准通过计算词向量间的夹角来反映语义相似程度。如图4所示，在高斯白噪声信道中，当信噪比小于-2dB时，只传输第一层级的语义信息得分最高；当信噪比在-1dB到1dB之间时，传输前两层语义信息得分最高；当信噪比在2dB到4dB之间时，传输前三层语义信息得分最高；当信噪比大于4dB时，适合传输前四层语义信息。仿真结果符合本发明方法的预期，也验证了本发明方法提出的根据语义信息重要性进行选择传输这一方案的有效性。
在另一个仿真实施例中，在信道模型中，发送和接收信号分别为x和y，接收信号可以表示为：y＝hx+n，h为信道响应，高斯白噪声
Figure BDA0003751116360000141
接着介绍除语义相似度之外的另一种评价标准，BLEU(Bilingual evaluation understudy)用于计算句子间的语义相似度，BLEU(1-gram)通过综合比较两句话中n＝1元组词共同出现的占比来评价两句话的接近程度。将本发明方法和经典通信系统架构(Huffman信源编译码和码率为2/3的LDPC信道编译码)在两种信道模型下相比较。图5到图8为基于依存句法分析的分层语义通信系统在高斯白噪声信道和瑞利衰落信道模型下的仿真结果，其中图5和图6为在高斯白噪声信道中，该语义通信系统中发送和恢复信息间的BLEU(1-gram)以及基于BERT模型的语义相似度得分在整个信噪比区间内都高于经典通信系统。同样，图7和图8分别反映出在瑞利衰落信道中，和经典通信系统相比，本方法的BLEU得分与基于BERT模型的语义相似度得分更高；验证了采用本发明中的方法进行通信的基于依存句法分析的分层语义通信系统可以有效提升通信过程可靠性。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于依存句法分析的分层语义通信方法，其特征在于，所述方法包括：
发送端：
获取待传输句子，并使用jieba模型对所述待传输句子进行中文分词；
对分词后的待传输句子进行依存句法分析，得到与待传输句子对应的依存句法树；
根据所述依存句法树对所述待传输语句进行语义分层，将所述待传输语句中的词语划分为不同的语义层级；
根据信道质量对待传输句子中不同语义层级的词语进行选择性传输的原则，确定传输词语；
对所述传输词语进行信源编码，将编码后的结果转化为比特信息，并对所述比特信息进行信道编码，将得到的编码结果发送至接收端；
接收端：
接收发送端发送的信息，得到接收信息，对所述接收信息依次进行信道译码与信源译码，得到接收语句；
采用ERNIE模型对所述接收语句进行语义恢复。
2.根据权利要求1所述的方法，其特征在于，对分词后的待传输句子进行依存句法分析，得到与待传输句子对应的依存句法树，包括：
获取训练数据集，所述训练数据集包括分词后的传输句子中的中文词语；
将所述训练数据集中的中文词语分别采用Glove网络和Char_CNN网络计算每个中文词语的词向量，并将得到的两个词向量进行拼接；
将拼接后的词向量采用BiLSTM网络计算与词语对应的隐藏层特征向量；
根据两个词对应的隐藏层特征向量输入到依存边识别模块中，计算每两个词语间的依存边的嵌入表示；并根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，并根据得到的依存边得分，确定词语间存在依存边的概率；根据词语间存在依存边的概率确定词语间存在的正确依存边；
采用多标签分类法对每条正确依存边进行标记，将标记后的正确依存边采用依存边分类模块进行分类，得到依存句法树预测结果；
构建依存句法分析模型的总损失函数，所述总损失函数包括依存边识别损失函数和依存边分类损失函数；所述依存句法分析模型是由Glove网络、Char_CNN网络、BiLSTM网络、依存边识别模块以及依存边分类模块组成的网络模型；
根据所述依存句法树预测结果、总损失函数以及训练数据集，采用梯度下降法对依存句法分析模型进行训练，得到训练好的依存句法分析模型；
将分词后的待传输句子输入到所述训练好的依存句法分析模型中，得到与待传输句子对应的依存句法树。
3.根据权利要求2所述的方法，其特征在于，根据两个词对应的隐藏层特征向量输入到依存边识别模块中，计算每两个词语间的依存边的嵌入表示；并根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分；根据得到的依存边得分，确定词语间存在依存边的概率，根据依存边的概率确定词语间的正确依存边，包括：
采用两个词语的隐藏层向量计算两个词语间的依存边的嵌入表示，所述嵌入表示的表达式为：
Figure FDA0003751116350000021
其中
Figure FDA0003751116350000022
为依存边的嵌入表示，＜wi,wj＞为第i个词语wi和第j个词语wj之间的依存边，
Figure FDA0003751116350000023
分别为第i个词语wi和第j个词语wj对应的隐藏层特征向量；
根据得到的训练数据集中词语间依存边集合中每个依存边的嵌入表示，采用依存边评分函数对依存边进行评分，所述依存边评分函数为：
Figure FDA0003751116350000024
其中fedge(wi,wj)为第i个词语wi和第j个词语wj之间依存边的得分，ε是传输句子中所有依存边的集合；
根据得到的依存边得分，确定词语间存在依存边的概率，根据依存边的概率确定词语间的正确依存边，所述依存边的概率的表达式为：
Figure FDA0003751116350000031
其中，p(wj∣wi)为第i个词语wi和第j个词语wj之间的依存边的概率，n为传输句子中词语的总数量。
4.根据权利要求2所述的方法，其特征在于，采用多标签分类法对每条正确依存边进行标记，将标记后的正确依存边采用依存边分类模块进行分类，得到依存句法树预测结果，包括：
对每条正确依存边引入依存边的依存关，并根据正确依存边的嵌入表示计算依存边的依存关系是否正确的评分，评价依存关系是否正确的评分函数为：
Figure FDA0003751116350000032
式中flabel(·)是评价依存关系是否正确的评分函数，ε(r)是ε中关系为r的依存边的集合；
根据每个依存边的依存关系是否正确的评分，确定依存边的依存关系为r的概率为：
Figure FDA0003751116350000033
其中，p(r∣wi,wj)为第i个词语wi和第j个词语wj之间的依存边的依存关系为r的概率，
Figure FDA0003751116350000034
为所有依存关系类型的集合，r′为
Figure FDA0003751116350000035
中的任意一种依存关系；
根据依存边的依存关系为r的概率对依存边进行分类，得到依存句法树预测结果。
5.根据权利要求2所述的方法，其特征在于，总损失函数包括依存边识别损失函数和依存边分类损失函数；
构建依存句法分析模型的总损失函数，包括：
构建依存边识别损失函数和依存边分类损失函数，将依存边识别损失函数和依存边分类损失函数之和作为依存句法分析模型的总损失函数；所述依存边识别损失函数为：
Figure FDA0003751116350000041
式中，
Figure FDA0003751116350000042
为依存边识别损失，
Figure FDA0003751116350000043
是网络训练使用的数据集，
Figure FDA0003751116350000044
代表数据集中第l个句子中的第i个单词，
Figure FDA0003751116350000045
代表
Figure FDA0003751116350000046
的支配词；
所述依存边分类损失函数为：
Figure FDA0003751116350000047
其中，
Figure FDA0003751116350000048
为依存边分类损失，ri (l)是
Figure FDA0003751116350000049
与
Figure FDA00037511163500000410
间的依存关系。
6.根据权利要求1所述的方法，其特征在于，根据所述依存句法树对所述待传输语句进行语义分层，将所述待传输语句中的词语划分为不同的语义层级，包括：
根据所述依存句法树将所述待传输语句分为四个不同的语义层级；其中，第一语义层级包括待传输语句的主语、谓语以及宾语；第二语义层级包括所有依存于待传输语句的主语、谓语、宾语的词语；第三语义层级包括关系修饰词；第四语义层级包括结构助词。
7.根据权利要求6所述的方法，其特征在于，根据信道质量对待传输句子中不同语义层级的词语进行选择性传输的原则，确定传输词语，包括：
当信道质量较差时，只传输第一语义层级的词语，并使用未传输词语的通信资源保护传输词语，保证传输词语传递的重要语义不被信道噪声影响；
随着信道质量逐渐变好，再传输其他语义层级的词语。
8.根据权利要求1所述的方法，其特征在于，对所述传输词语进行信源编码，将编码后的结果转化为比特信息，并对所述比特信息进行信道编码，将得到的编码结果发送至接收端，包括：
对所述传输词语采用Huffman编码进行信源编码，将编码后的结果转化为比特信息；
对所述比特信息采用LDPC编码进行信道编码，将得到的编码结果发送至接收端。
9.根据权利要求1所述的方法，其特征在于，采用ERNIE模型对所述接收语句进行语义恢复，包括：
将所述接收语句中缺失的词语填为[MASK]并输入ERNIE模型，根据所述接收语句中的上下文信息将接收语句中的[MASK]填为语境合适的单词，得到预测词语；所填预测词语为：
Figure FDA0003751116350000051
其中，
Figure FDA0003751116350000052
为预测词语，
Figure FDA0003751116350000053
为预测词语的上下文信息对应的条件概率，
Figure FDA0003751116350000054
为第l个预测词语；
Figure FDA0003751116350000055
Emb(context)为整个预测词语集合context的嵌入表示。
10.一种基于依存句法分析的分层语义通信系统，其特征在于，所述系统包括发送端和接收端；
所述发送端和所述接收端通过执行权利要求1至9中任一项所述基于依存句法分析的分层语义通信进行通信。
CN202210841144.4A 2022-07-18 2022-07-18 基于依存句法分析的分层语义通信方法和系统 Pending CN115293167A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210841144.4A CN115293167A (zh) 2022-07-18 2022-07-18 基于依存句法分析的分层语义通信方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210841144.4A CN115293167A (zh) 2022-07-18 2022-07-18 基于依存句法分析的分层语义通信方法和系统

Publications (1)

Publication Number Publication Date
CN115293167A true CN115293167A (zh) 2022-11-04

Family

ID=83823373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210841144.4A Pending CN115293167A (zh) 2022-07-18 2022-07-18 基于依存句法分析的分层语义通信方法和系统

Country Status (1)

Country Link
CN (1) CN115293167A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955297A (zh) * 2023-03-14 2023-04-11 中国人民解放军国防科技大学 语义编码方法、语义编码装置、语义译码方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115955297A (zh) * 2023-03-14 2023-04-11 中国人民解放军国防科技大学 语义编码方法、语义编码装置、语义译码方法及装置

Similar Documents

Publication Publication Date Title
CN108829722B (zh) 一种远程监督的Dual-Attention关系分类方法及系统
CN108416058B (zh) 一种基于Bi-LSTM输入信息增强的关系抽取方法
CN111709241B (zh) 一种面向网络安全领域的命名实体识别方法
CN112487807B (zh) 一种基于膨胀门卷积神经网络的文本关系抽取方法
CN112215013B (zh) 一种基于深度学习的克隆代码语义检测方法
CN111274804A (zh) 基于命名实体识别的案件信息提取方法
CN113300813B (zh) 基于注意力的针对文本的联合信源信道方法
CN112966525B (zh) 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法
CN112463924B (zh) 面向智能问答基于内部相关性编码的文本意图匹配方法
CN116645971A (zh) 一种基于深度学习的语义通信文本传输优化方法
CN115293167A (zh) 基于依存句法分析的分层语义通信方法和系统
CN115203406A (zh) 一种基于RoBERTa模型的长文本信息立场检测方法
CN114239574A (zh) 一种基于实体和关系联合学习的矿工违规行为知识抽取方法
CN113065349A (zh) 基于条件随机场的命名实体识别方法
CN114254077A (zh) 一种基于自然语言对稿件完整性的评估方法
CN114742016A (zh) 一种基于多粒度实体异构图的篇章级事件抽取方法及装置
CN113901813A (zh) 一种基于主题特征和隐式句子结构的事件抽取方法
CN110717316B (zh) 字幕对话流的主题分割方法及装置
CN116306684A (zh) 基于自然语言的网络管控交互方法和装置
CN116362246A (zh) 一种面向多源威胁情报的实体识别及关系抽取方法
CN114298052B (zh) 一种基于概率图的实体联合标注关系抽取方法和系统
CN115481636A (zh) 一种面向技术文献的技术功效矩阵构建方法
CN114330350A (zh) 一种命名实体识别方法、装置、电子设备及存储介质
CN114595338A (zh) 基于混合特征表示的实体关系联合抽取系统及方法
US20230401827A1 (en) Open vocabulary instance segmentation with noise estimation and robust student

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination