CN115470799A - 一种用于网络边缘设备的文本传输和语义理解一体化方法 - Google Patents
一种用于网络边缘设备的文本传输和语义理解一体化方法 Download PDFInfo
- Publication number
- CN115470799A CN115470799A CN202211365109.6A CN202211365109A CN115470799A CN 115470799 A CN115470799 A CN 115470799A CN 202211365109 A CN202211365109 A CN 202211365109A CN 115470799 A CN115470799 A CN 115470799A
- Authority
- CN
- China
- Prior art keywords
- semantic
- channel
- natural language
- feature vector
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000005540 biological transmission Effects 0.000 title claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 61
- 238000013528 artificial neural network Methods 0.000 claims description 30
- 230000000306 recurrent effect Effects 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 24
- 238000010606 normalization Methods 0.000 claims description 8
- 230000007246 mechanism Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 239000000654 additive Substances 0.000 claims description 5
- 230000000996 additive effect Effects 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 101100172279 Paenibacillus polymyxa endR gene Proteins 0.000 claims description 4
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 10
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 230000000052 comparative effect Effects 0.000 description 19
- 238000012360 testing method Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000238558 Eucarida Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/309—Measuring or estimating channel quality parameters
- H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B17/00—Monitoring; Testing
- H04B17/30—Monitoring; Testing of propagation channels
- H04B17/373—Predicting channel quality or other radio frequency [RF] parameters
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Quality & Reliability (AREA)
- Electromagnetism (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明属于通信和自然语言处理交叉技术领域，具体提供一种用于网络边缘设备的文本传输和语义理解一体化方法，包括发送端、接收端及无线信道，接收端的语义解码器在不恢复原始文本信息的情况下，采用分类器得到意图信息，采用循环神经网络GRU模型逐个生成语义槽的单词序列内容，从而得到包括意图与语义槽的结构化信息。本发明能够大幅降低运算开销，基于网络边缘设备十分有限的计算和储存能力，在接收端不恢复自然语言输入的情况下，能够直接从通信信号特征中提取结构化的意图和语义槽信息序列，实现自然语言理解。本发明适用于万物互联的5G、6G通信时代，人与机器、机器与机器之间的文本语义传输和控制场景。
Description
技术领域
本发明属于通信和自然语言处理交叉技术领域，具体提供一种用于网络边缘设备的文本传输和语义理解一体化方法。
背景技术
传统的海量数据由数据中心产生，如淘宝浏览记录等，构建云服务器等大数据处理平台进行集中式的处理是基于这些数据进行智能计算的传统方式。近年来，随着万物互联时代的快速到来和5G无线网络的普及，网络边缘设备的数量及其产生的数据都在快速增长，大量数据将从边缘用户设备上产生，例如手机、可穿戴设备及各类传感器等，如果以传统模式集中处理所有边缘设备产生的数据，必然存在实时性不够、带宽不足、能耗较大、不利于数据安全和隐私等弊端。边缘智能技术旨在利用网络边缘设备上有限的运算能力，在靠近收集数据的网络边缘进行数据智能处理；此时，网络边缘设备也参与神经网络的训练和推理工作，从而提高数据处理的质量和速度，同时达到保护隐私数据和提高安全性的目的。
自然语言理解（Natural Language Understanding, NLU）任务旨在对用户输入的文本或者语音识别的结果进行处理，提取用户的对话意图以及用户所传递的信息，将无结构的自然语言文本转化为有结构的语义表示，从而让计算机能够自动理解复杂的人类自然语言所蕴含的真正含义。近年来，基于深度学习的自然语言理解技术快速发展，并成功应用于天猫精灵、Siri等开放域智能助手，以及智能客服等专业领域内的人机对话场景。当前的自然语言理解技术主要考虑云端集中式处理场景，依赖大规模的神经网络模型和大量的训练语料，实现对语义的精准分析和理解；少量研究自然语言理解任务在网络边缘实现的工作，为了降低运算复杂度，使用正则化方法和特征函数，应用于小规模的训练和测试数据集。
近期有研究提出，在发送端与接收端构建基于神经网络的信源-信道联合编码模块，实现图像与文本的无线传输；该方法的目标是依赖深度学习强大的拟合能力，传输原始数据所蕴含的语义信息而非比特数据；然而，该方法的接收端对语义的解析结果仍然是无结构的图像或文本信息，而不是机器可以直接理解的结构化的信息。在万物互联时代，通信场景不仅限于人与人之间的通信，人与机器、机器与机器之间的通信则更为常见；此时，接收端的功能不仅是恢复原始信息，更要实现对信息语义的自动分析和理解。
发明内容
本发明的目的在于针对上述现有技术存在的缺陷，提供一种用于网络边缘设备的文本传输和语义理解一体化方法，使得处于网络边缘的手机、传感器等接收端设备依靠本地受限的计算和存储能力，实现文本信息的接收及其语义理解，得到结构化的语义信息，避免了上传云端服务器进行处理，大大提高了数据处理的速度并保护了数据的安全性；本发明适用于万物互联的5G、6G通信时代，人与机器、机器与机器之间的文本语义传输和控制场景。
为实现上述目的，本发明采用的技术方案为：
一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：
步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个[CLS]语义特征，得到语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；
步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；
步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，语义特征向量T包括[CLS]语义特征对应的解码语义特征t 0与解码字符特征向量T C ；语义解码器中分类器基于解码语义特征t 0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t 0与解码字符特征向量T C 得到自然语言输入的语义槽信息序列。
进一步的，步骤S3中，解码语义特征t 0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量T C 进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w 1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k-1轮迭代得到的单词估计w k-1的嵌入表征作为输入、将第k-1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计w k ；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。
更进一步的，所述注意力机制运算具体为：
，其中，a n 表示输出特征向量Q在第n个字符上的语义相关性权重：
，W 1表示矩阵参数，n=1,2,...,N。
一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：
步骤S1、在发送端，语义编码器基于自然语言输入X生成一个[CLS]语义特征，作为语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；
步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；
步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，包括[CLS]语义特征对应的解码语义特征t 0；语义解码器中分类器基于解码语义特征t 0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t 0得到自然语言输入的语义槽信息序列。
进一步的，步骤S3中，解码语义特征t 0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q，作为综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w 1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k-1轮迭代得到的单词估计w k-1的嵌入表征作为输入、将第k-1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计w k ；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。
进一步的，上述两个技术方案中，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型或者双向GRU模型，所述信道编码器由全连接层与归一化层连接构成，所述信道解码器由全连接层构成，所述分类器由全连接层和softmax层构成。
进一步的，上述两个技术方案中，所述相似度计算具体为：
，s m 表示综合语义特征p与字典中第m个单词的相似度，W 2表示矩阵参数，e m 表示字典中第m个单词的嵌入表征，m=1,2,...,M，M表示词典中的单词数量。
进一步的，上述用于网络边缘设备的文本传输和语义理解一体化方法中，涉及网络模型均经过预训练，训练过程中惩罚函数L为：
，其中，λ为超参数；
L int 为意图分类的估计误差：
，其中，U表示预测意图分布，Z表示独热编码的意图标签；
L slot 为语义槽信息序列的生成误差：
，其中，I表示预测语义槽信息序列的数量，J表示语义槽信息序列的长度，
表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征在字典上的概率分布，
表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签。
基于上述技术方案，本发明的有益效果在于：
本发明提供一种用于网络边缘设备的文本传输和语义理解一体化方法，包括发送端、接收端及无线信道；发送端包括语义编码器与信道编码器，其中，语义编码器将自然语言输入编码为语义特征，信道编码器将语义特征压缩并归一化为适合信道传输的特征；接收端包括信道解码器与语义解码器，其中，信道解码器将通信信号表示的特征转化为供语义解码器使用的特征，语义解码器通过该特征在不恢复原始文本信息的情况下，采用分类器得到意图（Intent）信息，并将语义槽（Slot）名称的嵌入表征作为初始输入，采用循环神经网络GRU模型逐个生成语义槽的单词序列内容，从而得到包括意图与语义槽的结构化信息。
进一步的，本发明在循环神经网络GRU模型中，根据语义槽名来生成语义槽信息序列，在生成过程中，使用语义槽名作为初始输入，并采用注意力机制将模型输出与解码得到的字符特征进行信息融合，从而获得符合整体语义的当前语义槽单词的特征表示；同时，本发明提出混合惩罚函数用来并行训练意图预测和语义槽信息序列生成，有效提升预测准确度。
综上，本发明能够大幅降低运算开销，基于网络边缘设备十分有限的计算和储存能力，在接收端不恢复自然语言输入的情况下，能够直接从通信信号特征中提取结构化的意图和语义槽信息序列，实现自然语言理解；并且，在压缩传输数据量的同时，能够克服无线信道噪声的影响。
附图说明
图1为本发明实施例1中用于网络边缘设备的文本传输和语义理解一体化方法的流程示意图。
图2为本发明所有实施例与对比例在ATIS数据集在的意图识别正确率对比图。
图3为本发明所有实施例与对比例在ATIS数据集在的语义槽识别完成正确率对比图。
图4为本发明所有实施例与对比例在SmartLights数据集在的意图识别正确率对比图。
图5为本发明所有实施例与对比例在SmartLights数据集在的语义槽识别完成正确率对比图。
图6为本发明所有实施例与对比例在SmartSpeaker数据集在的意图识别正确率对比图。
图7为本发明所有实施例与对比例在SmartSpeaker数据集在的语义槽识别完成正确率对比图。
图8为本发明实施例1中各个训练信噪比时在ATIS数据集下的语义槽识别完成正确率对比图。
具体实施方式
为使本发明的目的、技术方案与有益效果更加清楚明白，下面结合附图和实施例对本发明做进一步详细说明。
实施例1
本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，如图1所示，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器；具体步骤如下：
步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个额外的[CLS]语义特征，得到语义编码特征向量F；其中，X={x 1,x 2,..., x N}，N表示自然语言输入中字符数量，x n 表示自然语言输入中第n个字符，F={ f 0,f 1,f 2,..., f N}，f 0表示[CLS]语义特征，f n 表示x n 的字符特征，n=1,2,...,N；
信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；其中，G={ g 0,g 1,g 2,..., g N} ，g n 表示f n 的信道传输语义特征，n=0,1,2,...,N；
进一步的，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型；所述信道编码器由全连接层与归一化层连接构成，全连接层用于降低语义特征向量的特征维度，归一化层用于将语义特征向量中的特征值归一化至有限范围内；
步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；
步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，其中，T={t 0,t 1,t 2,..., t N}，t 0表示f 0对应的解码语义特征，t n 表示f n 对应的解码语义特征，n=1,2,...,N；进而得到解码字符特征向量T C ：T C ={ t 1,t 2,..., t N}，n=1,2,...,N；
语义解码器包括：分类器与循环神经网络GRU模型；解码语义特征t 0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量T C 进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w 1；在循环神经网络GRU模型的第k（k>1）轮迭代中，将第k-1轮迭代得到的单词估计w k-1的嵌入表征作为输入、将第k-1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计w k ；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列；
所述注意力机制运算具体为：
，其中，a n 表示输出特征向量Q在第n个字符上的语义相关性权重：
，W 1表示可训练的矩阵参数，n=1,2,...,N；
所述相似度计算具体为：
，s m 表示综合语义特征p与字典中第m个单词的相似度，W 2表示可训练的矩阵参数，e m 表示字典中第m个单词的嵌入表征，m=1,2,...,M，M表示词典中的单词数量；
进一步的，所述信道解码器由全连接层构成，将语义特征R进行解码得到供语义解码器使用的解码语义特征T；所述分类器由全连接层和softmax层构成，用于输出意图信息。
上述用于网络边缘设备的文本传输和语义理解一体化方法涉及的网络模型均完成预训练，训练目标为最小化意图与语义槽信息序列的误差，意图分类的估计误差与语义槽信息序列的生成误差均采用交叉熵进行计算；更为具体的讲：
交叉熵用于度量真实的概率分布和预测的概率分布间的差异性，交叉熵越小，误差就越小；本实施例中，设置意图分类的估计误差为L int ：
其中，U表示预测意图分布，Z表示独热编码的意图标签；
设置语义槽信息序列的生成误差为L slot ：
其中，I表示预测语义槽信息序列的数量，J表示语义槽信息序列的长度，
表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征p i,j 在字典上的概率分布：
，
表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签；
最终得到完整惩罚函数L为：
，其中，λ为可调节的超参数。
实施例2
本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例1的区别在于：在发送端，仅将 [CLS]语义特征f 0的信道传输语义特征g 0无线传输至接收端；在接收端，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第一次迭代，得到输出特征向量Q，直接作为综合语义特征p。
实施例3
本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例1的区别在于：在发送端，语义编码器采用双向GRU模型。
实施例4
本实施例一种用于网络边缘设备的文本传输和语义理解一体化方法，其与实施例2的区别在于：在发送端，语义编码器采用双向GRU模型。
同时，本发明还提供两个对比例，均采用文献“Chen Q, Zhuo Z, Wang W. Bertfor joint intent classification and slot filling[J]. arXiv preprint arXiv:1902.10909, 2019.”中的传统语义传输和理解系统；在对比例1中，采用FixLen编码进行信源比特编码，每个字符的信源编码长度设置为6bit，采用Reed-Solomon编码进行信道编码，信道编码长度设置为9bit、消息长度设置为7bit，在接收端使用BERT模型进行NLU；在对比例2中，采用Huffman编码进行信源比特编码，采用Reed-Solomon编码进行信道编码，信道编码长度设置为7bit、消息长度设置为4bit，在接收端使用BERT模型进行NLU。
对于NLU任务，本发明使用SmartLights、SmartSpeaker、ATIS公开基准数据集对实施例与对比例进行性能比较，所述SmartLights、SmartSpeaker、ATIS公开基准数据集的信息如表1所示；
表1
对于ATIS数据集，将其原始训练集用于训练，结合其验证集和测试集进行测试；对于SmartLights数据集，将80%的样本用于训练，20%用于测试；对于SmartSpeaker数据集，将80%的样本用于训练，20%用于测试。
在训练与测试过程中，实施例1~实施例4将数值连续的信道传输语义特征向量G中每两个特征值形成一个符号，采用连续QAM调制进行无线传输，每个符号可以映射为I/Q复平面上的点；对比例1与对比例2采用64QAM调制；所有实施例与对比例的自然语言输入采用大致相同的平均传输符号数量，每个单词大约6.5个符号。在训练过程中，实施例1~实施例4训练的信噪比固定为7dB，采用Adam优化器与linear warmup scheduler，发送端的BERT模型的最大学习率设置为1e-4，其他部分的最大学习率设置为5e-3；对于发送端未采用BERT模型的实施例，整个模型设置最大学习率5e-3进行训练。惩罚函数中超参数λ设置为0.1，批量大小设置为32，采用ratio参数为0.5的Teacher Forcing策略训练循环神经网络GRU模型；对比例1与对比例2的接收端的BERT模型采用Adam优化器进行了有效训练。在测试过程中，采用不同信噪比的AWGN信道进行测试。
如图2~图7为所有实施例与对比例的测试结果对比图，其中，图2为在ATIS数据集在的意图识别正确率，图3为在ATIS数据集下的语义槽识别完成正确率，图4为在SmartLights数据集在的意图识别正确率，图5为在SmartLights数据集下的语义槽识别完成正确率，图6为在SmartSpeaker数据集在的意图识别正确率，图7为在SmartSpeaker数据集下的语义槽识别完成正确率；由图可见，实施例1~实施例4均能够在测试信噪比范围内准确地预测自然语言输入的意图；在语义槽信息序列预测方面，当SNR低于18dB，实施例1~实施例4在三个数据集的性能均明显优于对比例；具体而言，在ATIS、SmartLights、SmartSpeaker数据集上，实施例1在测试信噪比为12dB时，其语义槽识别完全正确率约为80%，证明了本发明的可行性及其对信道噪声的鲁棒性。
进一步的，如图8所示为实施例1在各个训练信噪比时在ATIS数据集下的语义槽识别完成正确率，将单词符号数固定为12，将训练信噪比设置为2dB、5dB与12dB；由图可见，实施例1在高信噪比下进行训练时，能在高信噪比范围内获得更好的性能；在低信噪比下进行训练时，能在低信噪比范围内获得更好的性能；此外，实施例1总是能够适应当前的信道条件，并获得相对较好的性能。
另外，本发明采用FLOPs与参数大小表征实施例1与对比例在接收端的复杂度，FLOPs表示处理自然语言输入的平均浮点操作次数；本发明中FLOPs定义为：
，参数大小定义为：
，其中， S、E、H、V分别表示语义槽数量、字典里的单词嵌入大小、隐藏层大小、句子中的单词数量。对于各个数据集，基于BERT模型的传统方法（对比例1与对比例2）在语义理解上的复杂性都近似恒定；本发明在接收端的复杂性主要存在于语义槽信息序列生成部分，并且在各个数据集之间存在差异，具体如表2所示；由表可见，对于语义槽数量与词汇数量小的数据集，如SmartLights、SmartSpeakers，实施例1的计算和存储复杂性不到基于BERT模型的传统方法的千分之一和百分之一。
表2
综上可见，本发明所提出的用于网络边缘设备的文本传输和语义理解一体化方法，在接收端不用恢复原始自然语言输入，省去了信源和信道解码的运算开销，能更高效地传输并理解语义信息；同时，本发明降低了接收端语义理解的计算复杂度和存储复杂度，因而大幅降低在网络边缘进行语义理解的门槛，使得在计算能力很低的设备本地进行语义理解成为了可能。
以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。
Claims (10)
1.一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：
步骤S1、在发送端，语义编码器将自然语言输入X中每一个字符进行语义编码得到对应的字符特征，同时生成一个[CLS]语义特征，得到语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；
步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；
步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，语义特征向量T包括[CLS]语义特征对应的解码语义特征t 0与解码字符特征向量T C ；语义解码器中分类器基于解码语义特征t 0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t 0与解码字符特征向量T C 得到自然语言输入的语义槽信息序列。
2.根据权利要求1所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，步骤S3中，解码语义特征t 0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q；基于输出特征向量Q对解码字符特征向量T C 进行注意力机制运算，得到综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w 1；在循环神经网络GRU模型的第k轮迭代中，将第k-1轮迭代得到的单词估计w k-1的嵌入表征作为输入、将第k-1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计w k ；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。
3.根据权利要求2所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述注意力机制运算具体为：
，其中，a n 表示输出特征向量Q在第n个字符上的语义相关性权重：
，W 1表示矩阵参数；t n 表示解码字符特征向量T C 中第n个字符对应的解码字符特征。
4.一种用于网络边缘设备的文本传输和语义理解一体化方法，包括：发送端与接收端；所述发送端包括：语义编码器与信道编码器，所述接收端包括：信道解码器与语义解码器，所述语义解码器包括：分类器与循环神经网络GRU模型；具体包括以下步骤：
步骤S1、在发送端，语义编码器基于自然语言输入X生成一个[CLS]语义特征，作为语义编码特征向量F；信道编码器对语义编码特征向量F进行降维与归一化，得到连续数值的信道传输语义特征向量G；
步骤S2、将信道传输语义特征向量G进行调制，并通过加性高斯白噪声信道无线传输至接收端，接收端接收语义特征向量R；
步骤S3、在接收端，信道解码器将语义特征向量R进行解码得到解码语义特征向量T，包括[CLS]语义特征对应的解码语义特征t 0；语义解码器中分类器基于解码语义特征t 0得到自然语言输入的意图信息，语义解码器中循环神经网络GRU模型基于解码语义特征t 0得到自然语言输入的语义槽信息序列。
5.根据权利要求4所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，步骤S3中，解码语义特征t 0输入至分类器，由分类器输出自然语言输入的意图信息；同时，循环神经网络GRU模型将解码语义特征t 0作为初始隐藏状态、语义槽名称的嵌入表征作为输入进行第1次迭代，得到输出特征向量Q，作为综合语义特征p；将综合语义特征p与字典中各单词的嵌入表征进行相似度计算，并取相似度最大的单词作为语义槽信息序列的第一个单词估计w 1；在循环神经网络GRU模型的第k轮迭代中，将第k-1轮迭代得到的单词估计w k-1的嵌入表征作为输入、将第k-1轮迭代的隐藏层输出作为隐藏状态，计算得到第k个单词估计w k ；循环神经网络GRU模型持续迭代直至输出预定义结束符，输出自然语言输入的语义槽信息序列。
6.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述语义编码器采用由嵌入层与多层多头自注意力层组成的BERT预训练模型或者双向GRU模型。
7.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述信道编码器由全连接层与归一化层连接构成，所述信道解码器由全连接层构成。
8.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述分类器由全连接层和softmax层构成。
9.根据权利要求1或4所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，涉及网络模型均经过预训练，训练过程中惩罚函数L为：
，其中，λ为超参数；
L int 为意图分类的估计误差：
，其中，U表示预测意图分布，Z表示独热编码的意图标签；
L slot 为语义槽信息序列的生成误差：
，其中，I表示预测语义槽信息序列的数量，J表示语义槽信息序列的长度，
表示第i个预测语义槽信息序列中第j个单词估计对应的综合语义特征在字典上的概率分布，
表示第i个预测语义槽信息序列中第j个单词估计的独热编码标签。
10.根据权利要求2或5所述用于网络边缘设备的文本传输和语义理解一体化方法，其特征在于，所述相似度计算具体为：
，s m 表示综合语义特征p与字典中第m个单词的相似度，W 2表示矩阵参数，e m 表示字典中第m个单词的嵌入表征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211365109.6A CN115470799B (zh) | 2022-11-03 | 2022-11-03 | 一种用于网络边缘设备的文本传输和语义理解一体化方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211365109.6A CN115470799B (zh) | 2022-11-03 | 2022-11-03 | 一种用于网络边缘设备的文本传输和语义理解一体化方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115470799A true CN115470799A (zh) | 2022-12-13 |
| CN115470799B CN115470799B (zh) | 2023-04-07 |
Family
ID=84338097
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211365109.6A Active CN115470799B (zh) | 2022-11-03 | 2022-11-03 | 一种用于网络边缘设备的文本传输和语义理解一体化方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115470799B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115842593A (zh) * | 2023-02-20 | 2023-03-24 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104283629A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种信道安全传输方法 |
| US20160072892A1 (en) * | 2013-12-10 | 2016-03-10 | Shenyang Institute Of Automation Of The Chinese Academy Of Sciences | A semantics-based architectural model of the internet of things |
| US20170150235A1 (en) * | 2015-11-20 | 2017-05-25 | Microsoft Technology Licensing, Llc | Jointly Modeling Embedding and Translation to Bridge Video and Language |
| CN109858030A (zh) * | 2019-02-11 | 2019-06-07 | 北京邮电大学 | 双向的意图槽值交叉相关的任务型对话理解系统及方法 |
| CN110188348A (zh) * | 2019-05-07 | 2019-08-30 | 南京邮电大学 | 一种基于深度神经网络的中文语言处理模型及方法 |
| AU2021102961A4 (en) * | 2021-05-29 | 2021-07-15 | Achanta, Sampath Dakshina Murthy MR | AN IoT BASED SYSTEM FOR TRACING AND RECOGNIZING AN OBJECT |
| CN113300813A (zh) * | 2021-05-27 | 2021-08-24 | 中南大学 | 基于注意力的针对文本的联合信源信道方法 |
| CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
| CN113839750A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种语义通信系统中的信息传输方法 |
| CN113938254A (zh) * | 2021-10-21 | 2022-01-14 | 东南大学 | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 |
| CN114615499A (zh) * | 2022-05-07 | 2022-06-10 | 北京邮电大学 | 一种面向图像传输的语义光通信系统和方法 |
| CN115081582A (zh) * | 2021-05-06 | 2022-09-20 | 黑芝麻智能科技有限公司 | 联合训练网络 |
| CN115149986A (zh) * | 2022-05-27 | 2022-10-04 | 北京科技大学 | 一种针对语义通信的信道分集方法及装置 |
-
2022
- 2022-11-03 CN CN202211365109.6A patent/CN115470799B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160072892A1 (en) * | 2013-12-10 | 2016-03-10 | Shenyang Institute Of Automation Of The Chinese Academy Of Sciences | A semantics-based architectural model of the internet of things |
| CN104283629A (zh) * | 2014-09-02 | 2015-01-14 | 电子科技大学 | 一种信道安全传输方法 |
| US20170150235A1 (en) * | 2015-11-20 | 2017-05-25 | Microsoft Technology Licensing, Llc | Jointly Modeling Embedding and Translation to Bridge Video and Language |
| CN109858030A (zh) * | 2019-02-11 | 2019-06-07 | 北京邮电大学 | 双向的意图槽值交叉相关的任务型对话理解系统及方法 |
| CN110188348A (zh) * | 2019-05-07 | 2019-08-30 | 南京邮电大学 | 一种基于深度神经网络的中文语言处理模型及方法 |
| CN115081582A (zh) * | 2021-05-06 | 2022-09-20 | 黑芝麻智能科技有限公司 | 联合训练网络 |
| CN113300813A (zh) * | 2021-05-27 | 2021-08-24 | 中南大学 | 基于注意力的针对文本的联合信源信道方法 |
| AU2021102961A4 (en) * | 2021-05-29 | 2021-07-15 | Achanta, Sampath Dakshina Murthy MR | AN IoT BASED SYSTEM FOR TRACING AND RECOGNIZING AN OBJECT |
| CN113610212A (zh) * | 2021-07-05 | 2021-11-05 | 宜通世纪科技股份有限公司 | 一种多模态传感器数据的合成方法、装置及存储介质 |
| CN113938254A (zh) * | 2021-10-21 | 2022-01-14 | 东南大学 | 一种基于注意力机制的分层信源信道联合编码传输系统及其传输方法 |
| CN113839750A (zh) * | 2021-11-25 | 2021-12-24 | 之江实验室 | 一种语义通信系统中的信息传输方法 |
| CN114615499A (zh) * | 2022-05-07 | 2022-06-10 | 北京邮电大学 | 一种面向图像传输的语义光通信系统和方法 |
| CN115149986A (zh) * | 2022-05-27 | 2022-10-04 | 北京科技大学 | 一种针对语义通信的信道分集方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| WANTING YANG 等: "Semantic Communication Meets Edge Intelligence", 《ARXIV.ORG》 * |
| 李攀攀 等: ""人工智能物联网中面向智能任务的语义通信方法"", 《通信学报》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115842593A (zh) * | 2023-02-20 | 2023-03-24 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
| CN115842593B (zh) * | 2023-02-20 | 2023-05-09 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115470799B (zh) | 2023-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11194972B1 (en) | Semantic sentiment analysis method fusing in-depth features and time sequence models | |
| CN110209801B (zh) | 一种基于自注意力网络的文本摘要自动生成方法 | |
| CN110119765B (zh) | 一种基于Seq2seq框架的关键词提取方法 | |
| CN109299342B (zh) | 一种基于循环生成式对抗网络的跨模态检索方法 | |
| US11908457B2 (en) | Orthogonally constrained multi-head attention for speech tasks | |
| CN105139864A (zh) | 语音识别方法和装置 | |
| CN112420028B (zh) | 一种用于对语音信号进行语义识别的系统及方法 | |
| CN113300813B (zh) | 基于注意力的针对文本的联合信源信道方法 | |
| CN116416480B (zh) | 一种基于多模板提示学习的视觉分类方法和装置 | |
| CN113516152B (zh) | 一种基于复合图像语义的图像描述方法 | |
| CN111464881A (zh) | 基于自优化机制的全卷积视频描述生成方法 | |
| CN115470799B (zh) | 一种用于网络边缘设备的文本传输和语义理解一体化方法 | |
| CN116306652A (zh) | 一种基于注意力机制和BiLSTM的中文命名实体识别模型 | |
| CN114004220A (zh) | 一种基于cpc-ann的文本情绪原因识别方法 | |
| CN114694255B (zh) | 基于通道注意力与时间卷积网络的句子级唇语识别方法 | |
| CN115408494A (zh) | 一种融合多头注意力对齐的文本匹配方法 | |
| CN116229939A (zh) | 基于Transformer的视听融合机器人唤醒词识别方法及装置 | |
| CN116226322A (zh) | 一种基于对抗学习和支撑向量机融合的蒙汉情感分析方法 | |
| CN115223549A (zh) | 一种越南语语音识别语料构建方法 | |
| CN116451699A (zh) | 一种基于注意力机制的片段抽取式机器阅读理解方法 | |
| CN114564962A (zh) | 一种基于Transformer的语义通信码率控制方法 | |
| Sun et al. | Task-Oriented Scene Graph-Based Semantic Communications with Adaptive Channel Coding | |
| He et al. | Joint Transmission and Understanding of Semantics with Edge Intelligence | |
| CN115858791B (zh) | 短文本分类方法、装置、电子设备和存储介质 | |
| CN118098216B (zh) | 一种利用非平行语料提升语音识别系统性能的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |