CN114595698A - 一种基于ccsk和深度学习的语义通信方法 - Google Patents
一种基于ccsk和深度学习的语义通信方法 Download PDFInfo
- Publication number
- CN114595698A CN114595698A CN202210260485.2A CN202210260485A CN114595698A CN 114595698 A CN114595698 A CN 114595698A CN 202210260485 A CN202210260485 A CN 202210260485A CN 114595698 A CN114595698 A CN 114595698A
- Authority
- CN
- China
- Prior art keywords
- vector
- matrix
- word
- sequence
- bit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000004891 communication Methods 0.000 title claims abstract description 34
- 238000013135 deep learning Methods 0.000 title claims abstract description 18
- 208000030748 clear cell sarcoma of kidney Diseases 0.000 title claims abstract description 13
- 239000011159 matrix material Substances 0.000 claims abstract description 158
- 238000001228 spectrum Methods 0.000 claims abstract description 53
- 230000005540 biological transmission Effects 0.000 claims abstract description 29
- 230000007480 spreading Effects 0.000 claims abstract description 25
- 238000009432 framing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 219
- 230000007246 mechanism Effects 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 32
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 18
- 125000004122 cyclic group Chemical group 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000009466 transformation Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- PXUQTDZNOHRWLI-OXUVVOBNSA-O malvidin 3-O-beta-D-glucoside Chemical compound COC1=C(O)C(OC)=CC(C=2C(=CC=3C(O)=CC(O)=CC=3[O+]=2)O[C@H]2[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O2)O)=C1 PXUQTDZNOHRWLI-OXUVVOBNSA-O 0.000 claims description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/69—Spread spectrum techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D30/00—Reducing energy consumption in communication networks
- Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Pure & Applied Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Machine Translation (AREA)
Abstract
为了克服大数据对传统通信系统带来的挑战，本发明提出了一种基于CCSK和深度学习的语义通信方法，实现了语音信号的语义传输；发送端将原始语音转换为文本，对文本进行特征矩阵提取，得到特征矩阵；对征矩阵进行解码，得到语义信息；对语义信息进行分组扩频，得到扩频后的信号并传输至接收端；接收端获取发送端传输的扩频后的信号并进行解扩，得到语义信息，并将语义信息转成语音，完成传输。本发明在数据传输方面依靠软件形式生成扩频码，对语义信息进行分组组帧扩频，能够节省硬件成本，提高通信的抗干扰性。
Description
技术领域
本发明属于通信技术领域，提出了一种基于CCSK和深度学习的语义通信方法。
背景技术
在过去的几十年里，通信技术发展迅猛，在智慧城市、物联网、自动驾驶、远程医疗等领域发挥了重要作用。人们日常获取的信息量不断增加，对通信技术的要求不断提高；未来的通信技术需要在带宽受限、信噪比较低或误码率较高的环境下做到准确传输信息，从而进一步提高带宽的利用率，并更合理地分配频谱资源。现在的通信技术主要以准确传输数据或者精确传送信号波形为目标，通常用bit误码率或符号误码率作为性能指标。在此基础上，以更高的容量、可靠性和更低的时延为目标的技术进步会带来频谱资源的巨大浪费和通信能耗的急剧增长。随着蜂窝通信系统的发展，当前通信系统的信息传输速率已经提高了数万倍，系统容量也逐渐接近香农极限。
在强大的深度学习技术的支持下，语义通信被认为是进一步提高通信系统效率的一个有前景的解决方案。语义通信系统更关注信号中承载的含义，即语义信息，利用语义信息进行编码，去除冗余数据以此来减少传输数据量。在大数据时代，以“达意通信”为核心的语义通信是智能体之间的一种必然通信方式。语义通信系统通过在语义域处理数据，可以去除冗余数据，减少传输数据量，从而实现更高效的通信。这种通信系统也有望在应对恶劣的信道环境，即低信噪比(SNR)区域时有更好的鲁棒性，非常适合要求高可靠的性的应用场景。在深度学习技术的推动下，自然语言处理在分析和理解大量语言文本方面取得了巨大的成功。
发明内容
本发明的目的在于针对现有技术的不足，提供了一种基于CCSK和深度学习的语义通信方法。
本发明的目的是通过以下技术方案来实现的：一种基于CCSK和深度学习的语义通信方法，包括以下步骤：
步骤(1)：发送端将语音转换为文本；
步骤(2)：对步骤(1)转换的文本进行特征矩阵提取，得到特征矩阵；
步骤(3)：对步骤(2)得到的特征矩阵进行解码，得到语义信息；
步骤(4)：对步骤(3)得到的语义信息生成256bit的扩频码，通过该扩频码对语义信息进行分组扩频，得到扩频后的信号并传输至接收端；
步骤(5)：接收端生成与发送端一致的256bit扩频码，通过识别同步位来获取发送端传输的扩频后的信号并进行解扩，得到语义信息；
步骤(6)：将步骤(5)得到的语义信息转成语音，完成传输。
进一步地，所述步骤(2)包括以下子步骤：
(2.1)对步骤(1)转换的文本做预处理，所述预处理包括分词、生成词向量和词向量位置编码三部分；所述预处理具体为：1)分词：对文本进行分词处理，即将文本输入jieba中文分词模型，按文本原顺序得到w1,w2,…,wi,…,wn总计n个词语，下标i表示第i个词语，i∈[1,n]；所述jieba中文分词模型为一个常用的分词器模型，可以将句子分成多个词语；2)生成词向量：随后将词语w1,w2,…,wi,…,wn输入到Word2vec中文预训练模型，得到相对应的词向量x1,x2,…,xi,…,xn，所述词向量x1,x2,…,xi,…,xn为维度为300的行向量；所述Word2vec中文预训练模型是一种常用的生成词向量的模型，可以将词语映射为向量；3)词向量位置编码：使用正弦/余弦函数将词向量x1,x2,…,xi,…,xn生成位置向量t1,t2,…,ti,…,tn，公式如下：
其中a指的是词向量xi的第a维度，a∈[1,300]；t(,)指的是位置向量ti第a个纬度的值；将词向量x1,x2,…,xi,…,xn和对应的位置向量t1,t2,…,ti,…,tn相加得到词嵌入向量e1,e2,…,ei,…,en，其中ei＝xi+ti，将词嵌入向量e1,e2,…,ei,…,en记作矩阵E；
(2.2)对步骤(2.1)得到的矩阵E进行自注意力机制操作，所述自注意力机制操作过程如下：
首先生成Query查询矩阵Q1、Key键矩阵K1和Value值矩阵V1：
其中，
分别是维数为300的权重方阵，方阵中元素的具体值经过预训练得到，预训练共确定
十八个权重方阵，所述十八个权重方阵都为维数为300的权重方阵，预训练使用的数据集在正文开头加上了单词“<start>”，在对应摘要的结尾加上了单词“<eos>”，经过预训练之后，权重方阵
会包含“<start>”和“<eos>”的特征信息；qi,ki,vi为维度为300的行向量，其中qi为矩阵E中第i个行向量的查询向量，ki为矩阵E中第i个行向量的键向量，vi为矩阵E中第i个行向量的值向量；
令Query查询矩阵Q1中的查询向量分别与矩阵K1中的所有键向量进行score运算；
以Query查询矩阵Q1中的查询向量q1为例，查询向量q1与键向量ki(i∈[1,n])做score运算，结果记作α1，m,m＝i；所述score运算的公式为：
将所有结果α1,1,α1,2,…,α1,m,…,α1,n进行soft-max归一化操作得到
所述soft-max是深度学习中常用的函数，可以把输入映射成0～1之间的实数，并且保证所有输入映射到的实数的和为1，soft-max归一化操作的公式为：
再将
分别与Value值矩阵V1中的对应的值向量v1,v2,…vi,…,vn相乘得到加权向量z1,z2,…zm,…,zn，相乘操作为
将加权向量z1,z2,…zm,…,zn相加得到思想向量b1；
将上述操作进行n次，得到向量b1,b2,…,bi,…,bn，公式如下：
至此，生成了矩阵E中所有行向量对应的思想向量b1,b2,…,bi,…,bn；
(2.3)将步骤(2.2)得到的思想向量b1,b2,…,bi,…,bn通过前馈神经网络输出向量f1,f2,…,fi,…,fn，所述前馈神经网络由两次变换构成，第一次通过ReLU激活函数做非线性映射，第二次使用线性激活函数恢复到原始梯度；
(2.4)将步骤(2.3)得到的向量f1,f2,…,fi,…,fn记作矩阵F，对矩阵F进行自注意力机制操作，本次自注意力机制操作中，将矩阵F分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到矩阵F中所有行向量对应的思想向量d1,d2,…,di,…,dn，并将思想向量d1,d2,…,di,…,dn通过前馈神经网络输出向量
将向量
记作特征矩阵
进一步地，所述步骤(3)包括以下子步骤：
(3.1)将步骤(2)得到的特征矩阵
进行解码；
首先进行初始化；将单词“<start>”经步骤(2.1)中的生成词向量和词向量位置编码操作，生成一个维数为300的初始词嵌入向量s；
然后将初始词嵌入向量s进行第一次自注意力机制操作，本次自注意力机制操作中，将向量s分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到初始词嵌入向量s相对应的思想向量c1；
然后将思想向量c1和步骤(2)中得到的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c1与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量z，所述向量z的纬度为300；
(3.2)将步骤(3.1)得到的向量z进行第一次自注意力机制操作，本次自注意力机制操作中，将向量z分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得的向量z相对应的思想向量c2；
然后将思想向量c2和步骤(2)得的的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c2与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量
所述向量
的纬度为300；
(3.3)将步骤(3.2)得到的向量
输入神经网络层，经变换得到第一个单词的概率向量μ，所述概率向量μ的纬度为30000，通过该概率向量在包含30000单词的词库中搜索对应单词，得到第一个目标单词W1；其中搜索规则为：找到概率向量μ中值最大的纬度记作max_value，找到词库中的第max_value个单词作为第一个目标单词W1；
(3.4)将步骤(3.3)得到的第一个目标单词W1对应的词嵌入向量重复执行步骤(3.1)、步骤(3.2)以及步骤(3.3)，生成第二个目标单词W2；
(3.5)重复步骤(3.4)，直至输出目标单词为“<eos>”，得到所有目标单词W1,W2,…,Wl,…,Wh；将所有目标单词W1,W2,…,Wl,…,Wh按照生成顺序拼接，从而得到预测句子
所述预测句子
为解码得到的语义信息；
(3.6)可通过最小化损失函数来训练模型参数，所述模型参数包括矩阵元素与神经网络权重，最小化损失函数定义为：
其中，q(Wl)：第l个目标单词Wl出现在输入文本中的真实概率；
p(Wl)：第l个目标单词Wl在语义信息
中出现的预测概率。
进一步地，所述步骤(4)包括以下子步骤：
(4.1)生成长度为256bit的扩频码，生成过程如下：由8级串联的移位寄存器和反馈逻辑线路可组成动态移位寄存器，带线性反馈逻辑的移位寄存器设定初始数码后，在时钟触发下，每次移位后各级寄存器会发生变化；动态移位寄存器可以生成一个长度为255bit的输出序列，这样序列被称为最长线性移位寄存器序列(m序列)；使用代码形式生成m序列，其中寄存器初始数码为：最高阶寄存器为1，其余寄存器为0；在生成的255bit的m序列的末尾增加一个值为0的bit位，生成符合长度要求的256bit的二进制序列作为扩频码；
(4.2)将语义信息
转化为二进制形式，并按照每组256bit的长度对其进行分组得到多个数据分组，每个数据分组都为二进制形式序列；
(4.3)对步骤(4.2)分得的第一个数据分组进行分组扩频，所述分组扩频过程如下：将第一个数据分组转化为一个十进制数N；以得到的十进制数N为移位量，将步骤(4.1)生成的扩频码循环左移N位得到一个伪随机序列，该伪随机序列作为第一个数据分组的扩频传输序列；
使用的二进制-十进制转化规则为：视二进制序列为小端序存储，即二进制序列的头部位的权为20，所述头部位为最左边的一位，从左向右依次提高指数，每次加1，最后按权展开求和；
(4.4)对步骤(4.3)得到的第一个数据分组的扩频传输序列进行组帧，得到第一个数据帧，并将该数据帧传输至接收端；
组帧过程为：首先定义一个空的数据帧，在空的数据帧中依次加入3字节的同步位、步骤(4.3)中得到的第一个数据分组的扩频传输序列、2字节的CRC校验位后得到第一个数据帧；所述同步位用于识别数据帧中的有用信息；所述CRC校验位用于进行数据检验，CRC校验位的算法采用的是CRC-16标准；
(4.5)对步骤(4.2)中得到的所有数据分组都执行步骤(4.3)和步骤(4.4)操作，实现扩频、组帧和传输，至此完成语义信息
的扩频传输。
进一步地，所述步骤(5)包括以下子步骤：
(5.1)接收端生成解扩需要的256bit扩频码，生成过程与步骤(4.1)一致，且接收端生成的扩频码和发送端生成的扩频码相同；
(5.2)接收端持续识别同步位，所述同步位即为步骤(4.4)中添加的同步位；
(5.3)当接收端识别到同步位后，暂停匹配同步位，提取同步位后长度为272bit的二进制序列对其进行CRC校验，272bit包括256的扩频码和16bit的CRC校验位；对16bit的CRC校验位进行校验，当校验错误时，重新执行步骤(5.2)；
(5.4)当同步位匹配成功且CRC校验正确时，视作有一个步骤(4)产生的数据帧到达接收端，对该到达的数据帧中包含的信息进行解扩；
提取同步位后长度为256bit的伪随机序列，将该序列和步骤(5.1)生成的扩频码进行匹配；匹配的具体过程为：将该伪随机序列和扩频码循环移位产生的所有可能伪随机序列都进行相关运算，实时更新得到最大相关值的伪随机序列和该伪随机序列较扩频码的移位值，分别记作matched_sq和max_value；其中的相关运算为：
其中res为计算结果，x(m)为提取出来的伪随机序列的第m个bit位的值，y(m-a)为循环码向左移位a位的伪随机序列的第m个bit位的值；
(5.5)将步骤(5.4)得到的十进制数max_value根据二进制-十进制转换规则转化为二进制序列，所述二进制序列就是步骤(5.4)中所提取的二进制伪随机序列携带的原始数据信息；
(5.6)重复步骤(5.2)、步骤(5.3)、步骤(5.4)以及步骤(5.5)的操作，持续解扩所有到达接收端的数据帧，最终在接收端得到步骤(3)提取的语义信息，完成传输。
本发明的有益效果是：本发明设计的语义通信系统针对信源中有含义的信息进行提取，去除冗余数据，有效减少了传输数据量，降低了通信成本；将信息数据进行扩频传输，提升了通信的安全性和抗干扰性。
附图说明
图1为一种基于CCSK和深度学习的语义通信方法的流程图；
图2为实施例1中步骤(2)和步骤(3)的操作流程图；
图3为实施例1中步骤(4)和步骤(5)操作流程图。
具体实施方式
为了使本发明的目的、技术方案及优点更加明白清楚，结合附图和实施例，对本发明进一步的详细说明，应当理解，此处所描述的具体实施例仅仅用以解释本发明，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均在本发明保护范围。
实施例1
如图1所示，一种基于CCSK和深度学习的语义通信方法，包括以下步骤：
步骤(1)：发送端将语音转换为文本；
步骤(2)：对步骤(1)转换的文本进行特征矩阵提取，得到特征矩阵；
步骤(2)通过以下子步骤来具体实现：
(2.1)对步骤(1)转换的文本做预处理，所述预处理包括分词、生成词向量和词向量位置编码三部分；所述预处理具体为：1)分词：对文本进行分词处理，即将文本输入jieba中文分词模型，按文本原顺序得到w1,w2,…,wi,…,wn总计n个词语，下标i表示第i个词语，i∈[1,n]；所述jieba中文分词模型为一个常用的分词器模型，可以将句子分成多个词语；2)生成词向量：随后将词语w1,w2,…,wi,…,wn输入到Word2vec中文预训练模型，得到相对应的词向量x1,x2,…,xi,…,xn，所述词向量x1,x2,…,xi,…,xn为维度为300的行向量；所述Word2vec中文预训练模型是一种常用的生成词向量的模型，可以将词语映射为向量；3)词向量位置编码：使用正弦/余弦函数将词向量x1,x2,…,xi,…,xn生成位置向量t1,t2,…,ti,…,tn，公式如下：
其中a指的是词向量xi的第a维度，a∈[1,300]；t(,)指的是位置向量ti第a个纬度的值；将词向量x1,x2,…,xi,…,xn和对应的位置向量t1,t2,…,ti,…,tn相加得到词嵌入向量e1,e2,…,ei,…,en，其中ei＝xi+ti，将词嵌入向量e1,e2,…,ei,…,en记作矩阵E；
(2.2)对步骤(2.1)得到的矩阵E进行自注意力机制操作，所述自注意力机制操作过程如下：
首先生成Query查询矩阵Q1、Key键矩阵K1和Value值矩阵V1：
其中，
分别是维数为300的权重方阵，方阵中元素的具体值经过预训练得到，预训练共确定
十八个权重方阵，所述十八个权重方阵都为维数为300的权重方阵。预训练使用的数据集在正文开头加上了单词“<start>”，在对应摘要的结尾加上了单词“<eos>”，经过预训练之后，权重方阵
会包含“<start>”和“<eos>”的特征信息；qi,ki,vi为维度为300的行向量，其中qi为矩阵E中第i个行向量的查询向量，ki为矩阵E中第i个行向量的键向量，vi为矩阵E中第i个行向量的值向量；
令Query查询矩阵Q1中的查询向量分别与矩阵K1中的所有键向量进行score运算；
以Query查询矩阵Q1中的查询向量q1为例，查询向量q1与键向量ki(i∈[1,n])做score运算，结果记作α1,,m＝i；所述score运算的公式为：
将所有结果α1,,α1,,…,α1,,…,α1,进行soft-max归一化操作得到
所述soft-max是深度学习中常用的函数，可以把输入映射成0～1之间的实数，并且保证所有输入映射到的实数的和为1，soft-max归一化操作的公式为：
再将
分别与Value值矩阵V1中的对应的值向量v1,v2,…vi,…,vn相乘得到加权向量z1,z2,…zm,…,zn，相乘操作为
将加权向量z1,z2,…zm,…,zn相加得到思想向量b1；
将上述操作进行n次，得到向量b1,b2,…,bi,…,bn，公式如下：
至此，生成了矩阵E中所有行向量对应的思想向量b1,b2,…,bi,…,bn；
(2.3)将步骤(2.2)得到的思想向量b1,b2,…,bi,…,bn通过前馈神经网络输出向量f1,f2,…,fi,…,fn，所述前馈神经网络由两次变换构成，第一次通过ReLU激活函数做非线性映射，第二次使用线性激活函数恢复到原始梯度；
(2.4)将步骤(2.3)得到的向量f1,f2,…,fi,…,fn记作矩阵F，对矩阵F进行自注意力机制操作，本次自注意力机制操作中，将矩阵F分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到矩阵F中所有行向量对应的思想向量d1,d2,…,di,…,dn。将思想向量d1,d2,…,di,…,dn通过前馈神经网络输出向量
将向量
记作特征矩阵
步骤(3)：对步骤(2)得到的特征矩阵进行解码，得到语义信息；
步骤(3)通过以下子步骤来具体实现：
(3.1)将步骤(2)得到的特征矩阵
进行解码；
首先进行初始化；将单词“<start>”经步骤(2.1)中的生成词向量和词向量位置编码操作，生成一个维数为300的初始词嵌入向量s；
然后将初始词嵌入向量s进行第一次自注意力机制操作，本次自注意力机制操作中，将向量s分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到初始词嵌入向量s相对应的思想向量c1；
然后将思想向量c1和步骤(2)中得到的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c1与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量z，所述向量z的纬度为300；
(3.2)将步骤(3.1)得到的向量z进行第一次自注意力机制操作，本次自注意力机制操作中，将向量z分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得的向量z相对应的思想向量c2；
然后将思想向量c2和步骤(2)得的的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c2与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量
所述向量
的纬度为300；
(3.3)将步骤(3.2)得到的向量
输入神经网络层，经变换得到第一个单词的概率向量μ，所述概率向量μ的纬度为30000，通过该概率向量在包含30000单词的词库中搜索对应单词，得到第一个目标单词W1；其中搜索规则为：找到概率向量μ中值最大的纬度记作max_value，找到词库中的第max_value个单词作为第一个目标单词W1；
(3.4)将步骤(3.3)得到的第一个目标单词W1对应的词嵌入向量重复执行步骤(3.1)、步骤(3.2)以及步骤(3.3)，生成第二个目标单词W2；
(3.5)重复步骤(3.4)，直至输出目标单词为“<eos>”，得到所有目标单词W1,W2,…,Wl,…,Wh；将所有目标单词W1,W2,…,Wl,…,Wh按照生成顺序拼接，从而得到预测句子
所述预测句子
为解码得到的语义信息；
(3.6)可通过最小化损失函数来训练模型参数，所述模型参数包括矩阵元素与神经网络权重，最小化损失函数定义为：
其中，q(Wl)：第l个目标单词Wl出现在输入文本中的真实概率；
p(Wl)：第l个目标单词Wl在语义信息
中出现的预测概率。
步骤(2)和步骤(3)的所有操作如图2所示。
步骤(4)：对步骤(3)得到的语义信息生成256bit的扩频码，通过该扩频码对语义信息进行分组扩频，得到扩频后的信号并传输至接收端；
步骤(4)通过以下子步骤来具体实现：
(4.1)生成长度为256bit的扩频码，生成过程如下：由8级串联的移位寄存器和反馈逻辑线路可组成动态移位寄存器，带线性反馈逻辑的移位寄存器设定初始数码后，在时钟触发下，每次移位后各级寄存器会发生变化；动态移位寄存器可以生成一个长度为255bit的输出序列，这样序列被称为最长线性移位寄存器序列(m序列)；使用代码形式生成m序列，其中寄存器初始数码为：最高阶寄存器为1，其余寄存器为0；在生成的255bit的m序列的末尾增加一个值为0的bit位，生成符合长度要求的256bit的二进制序列作为扩频码；
(4.2)将语义信息
转化为二进制形式，并按照每组256bit的长度对其进行分组得到多个数据分组，每个数据分组都为二进制形式序列；
(4.3)对步骤(4.2)分得的第一个数据分组进行分组扩频，所述分组扩频过程如下：将第一个数据分组转化为一个十进制数N；以得到的十进制数N为移位量，将步骤(4.1)生成的扩频码循环左移N位得到一个伪随机序列，该伪随机序列作为第一个数据分组的扩频传输序列；
使用的二进制-十进制转化规则为：视二进制序列为小端序存储，即二进制序列的头部位的权为20，所述头部位为最左边的一位，从左向右依次提高指数，每次加1，最后按权展开求和；
(4.4)对步骤(4.3)得到的第一个数据分组的扩频传输序列进行组帧，得到第一个数据帧，并将该数据帧传输至接收端；
组帧过程为：首先定义一个空的数据帧，在空的数据帧中依次加入3字节的同步位、步骤(4.3)中得到的第一个数据分组的扩频传输序列、2字节的CRC校验位后得到第一个数据帧；所述同步位用于识别数据帧中的有用信息；所述CRC校验位用于进行数据检验，CRC校验位的算法采用的是CRC-16标准；
(4.5)对步骤(4.2)中得到的所有数据分组都执行步骤(4.3)和步骤(4.4)操作，实现扩频、组帧和传输，至此完成语义信息
的扩频传输。
步骤(5)：接收端生成与发送端一致的256bit扩频码，通过识别同步位来获取发送端传输的扩频后的信号并进行解扩，得到语义信息；
步骤(5)通过以下子步骤来具体实现：
(5.1)接收端生成解扩需要的256bit扩频码，生成过程与步骤(4.1)一致，且接收端生成的扩频码和发送端生成的扩频码相同；
(5.2)接收端持续识别同步位，所述同步位即为步骤(4.4)中添加的同步位；
(5.3)当接收端识别到同步位后，暂停匹配同步位，提取同步位后长度为272bit的二进制序列对其进行CRC校验，272bit包括256的扩频码和16bit的CRC校验位；对16bit的CRC校验位进行校验，当校验错误时，重新执行步骤(5.2)；
(5.4)当同步位匹配成功且CRC校验正确时，视作有一个步骤(4)产生的数据帧到达接收端，对该到达的数据帧中包含的信息进行解扩；
提取同步位后长度为256bit的伪随机序列，将该序列和步骤(5.1)生成的扩频码进行匹配；匹配的具体过程为：将该伪随机序列和扩频码循环移位产生的所有可能伪随机序列都进行相关运算，实时更新得到最大相关值的伪随机序列和该伪随机序列较扩频码的移位值，分别记作matched_sq和max_value；其中的相关运算为：
其中res为计算结果，x(m)为提取出来的伪随机序列的第m个bit位的值，y(m-a)为循环码向左移位a位的伪随机序列的第m个bit位的值；
(5.5)将步骤(5.4)得到的十进制数max_value根据二进制-十进制转换规则转化为二进制序列，所述二进制序列就是步骤(5.4)中所提取的二进制伪随机序列携带的原始数据信息；
(5.6)重复步骤(5.2)、步骤(5.3)、步骤(5.4)以及步骤(5.5)的操作，持续解扩所有到达接收端的数据帧，最终在接收端得到步骤(3)提取的语义信息，完成传输。
步骤(4)和步骤(5)的所有操作如图3所示。
步骤(6)：将步骤(5)得到的语义信息转成语音，完成传输。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
Claims (5)
1.一种基于CCSK和深度学习的语义通信方法，其特征在于，包括以下步骤：
步骤(1)：发送端将语音转换为文本；
步骤(2)：对步骤(1)转换的文本进行特征矩阵提取，得到特征矩阵；
步骤(3)：对步骤(2)得到的特征矩阵进行解码，得到语义信息；
步骤(4)：对步骤(3)得到的语义信息生成256bit的扩频码，通过该扩频码对语义信息进行分组扩频，得到扩频后的信号并传输至接收端；
步骤(5)：接收端生成与发送端一致的256bit扩频码，通过识别同步位来获取发送端传输的扩频后的信号并进行解扩，得到语义信息；
步骤(6)：将步骤(5)得到的语义信息转成语音，完成传输。
2.根据权利要求1所述的一种基于CCSK和深度学习的语义通信方法，其特征在于，所述步骤(2)包括以下子步骤：
(2.1)对步骤(1)转换的文本做预处理，所述预处理包括分词、生成词向量和词向量位置编码三部分；所述预处理具体为：1)分词：对文本进行分词处理，即将文本输入jieba中文分词模型，按文本原顺序得到w1,w2,…,wi,…,wn总计n个词语，下标i表示第i个词语，i∈[1,n]；所述jieba中文分词模型为一个常用的分词器模型，可以将句子分成多个词语；2)生成词向量：随后将词语w1,w2,…,wi,…,wn输入到Word2vec中文预训练模型，得到相对应的词向量x1,x2,…,xi,…,xn，所述词向量x1,x2,…,xi,…,xn为维度为300的行向量；所述Word2vec中文预训练模型是一种常用的生成词向量的模型，可以将词语映射为向量；3)词向量位置编码：使用正弦/余弦函数将词向量x1,x2,…,xi,…,xn生成位置向量t1,t2,…,ti,…,tn，公式如下：
其中a指的是词向量xi的第a维度，a∈[1,300]；t(,)指的是位置向量ti第a个纬度的值；将词向量x1,x2,…,xi,…,xn和对应的位置向量t1,t2,…,ti,…,tn相加得到词嵌入向量e1,e2,…,ei,…,en，其中ei＝xi+ti，将词嵌入向量e1,e2,…,ei,…,en记作矩阵E；
(2.2)对步骤(2.1)得到的矩阵E进行自注意力机制操作，所述自注意力机制操作过程如下：
首先生成Query查询矩阵Q1、Key键矩阵K1和Value值矩阵V1：
其中，
分别是维数为300的权重方阵，方阵中元素的具体值经过预训练得到，预训练共确定
十八个权重方阵，所述十八个权重方阵都为维数为300的权重方阵，预训练使用的数据集在正文开头加上了单词“<start>”，在对应摘要的结尾加上了单词“<eos>”，经过预训练之后，权重方阵
会包含“<start>”和“<eos>”的特征信息；qi,ki,vi为维度为300的行向量，其中qi为矩阵E中第i个行向量的查询向量，ki为矩阵E中第i个行向量的键向量，vi为矩阵E中第i个行向量的值向量；
令Query查询矩阵Q1中的查询向量分别与矩阵K1中的所有键向量进行score运算；
以Query查询矩阵Q1中的查询向量q1为例，查询向量q1与键向量ki(i∈[1,n])做score运算，结果记作α1,m,m＝i；所述score运算的公式为：
将所有结果α1,1,α1,2,…,α1,m,…,α1,n进行soft-max归一化操作得到
所述soft-max是深度学习中常用的函数，可以把输入映射成0～1之间的实数，并且保证所有输入映射到的实数的和为1，soft-max归一化操作的公式为：
再将
分别与Value值矩阵V1中的对应的值向量v1,v2,…vi,…,vn相乘得到加权向量z1,z2,…zm,…,zn，相乘操作为
将加权向量z1,z2,…zm,…,zn相加得到思想向量b1；
将上述操作进行n次，得到向量b1,b2,…,bi,…,bn，公式如下：
至此，生成了矩阵E中所有行向量对应的思想向量b1,b2,…,bi,…,bn；
(2.3)将步骤(2.2)得到的思想向量b1,b2,…,bi,…,bn通过前馈神经网络输出向量f1,f2,…,fi,…,fn，所述前馈神经网络由两次变换构成，第一次通过ReLU激活函数做非线性映射，第二次使用线性激活函数恢复到原始梯度；
(2.4)将步骤(2.3)得到的向量f1,f2,…,fi,…,fn记作矩阵F，对矩阵F进行自注意力机制操作，本次自注意力机制操作中，将矩阵F分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到矩阵F中所有行向量对应的思想向量d1,d2,…,di,…,dn，并将思想向量d1,d2,…,di,…,dn通过前馈神经网络输出向量
将向量
记作特征矩阵
3.根据权利要求2所述的一种基于CCSK和深度学习的语义通信方法，其特征在于，所述步骤(3)包括以下子步骤：
(3.1)将步骤(2)得到的特征矩阵
进行解码；
首先进行初始化；将单词“<start>”经步骤(2.1)中的生成词向量和词向量位置编码操作，生成一个维数为300的初始词嵌入向量s；
然后将初始词嵌入向量s进行第一次自注意力机制操作，本次自注意力机制操作中，将向量s分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得到初始词嵌入向量s相对应的思想向量c1；
然后将思想向量c1和步骤(2)中得到的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c1与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量z，所述向量z的纬度为300；
(3.2)将步骤(3.1)得到的向量z进行第一次自注意力机制操作，本次自注意力机制操作中，将向量z分别与权重方阵
相乘来生成Query查询矩阵、Key键矩阵和Value值矩阵，其余具体操作过程同步骤(2.2)，得的向量z相对应的思想向量c2；
然后将思想向量c2和步骤(2)得的的特征矩阵
进行第二次自注意力机制操作，本次自注意力机制操作中，用思想向量c2与权重方阵
相乘生成Query查询矩阵，用步骤(2)得到的特征矩阵
分别与权重方阵
和
相乘生成Key键矩阵和Value值矩阵，其他具体操作过程同步骤(2.2)，得到思想向量
最终将思想向量
通过前馈神经网络输出向量
所述向量
的纬度为300；
(3.3)将步骤(3.2)得到的向量
输入神经网络层，经变换得到第一个单词的概率向量μ，所述概率向量μ的纬度为30000，通过该概率向量在包含30000单词的词库中搜索对应单词，得到第一个目标单词W1；其中搜索规则为：找到概率向量μ中值最大的纬度记作max_value，找到词库中的第max_value个单词作为第一个目标单词W1；
(3.4)将步骤(3.3)得到的第一个目标单词W1对应的词嵌入向量重复执行步骤(3.1)、步骤(3.2)以及步骤(3.3)，生成第二个目标单词W2；
(3.5)重复步骤(3.4)，直至输出目标单词为“<eos>”，得到所有目标单词W1,W2,…,Wl,…,Wh；将所有目标单词W1,W2,…,Wl,…,Wh按照生成顺序拼接，从而得到预测句子
所述预测句子
为解码得到的语义信息；
(3.6)可通过最小化损失函数来训练模型参数，所述模型参数包括矩阵元素与神经网络权重，最小化损失函数定义为：
其中，q(Wl)：第l个目标单词Wl出现在输入文本中的真实概率；
p(Wl)：第l个目标单词Wl在语义信息
中出现的预测概率。
4.根据权利要求3所述的一种基于CCSK和深度学习的语义通信方法，其特征在于，所述步骤(4)包括以下子步骤：
(4.1)生成长度为256bit的扩频码，生成过程如下：由8级串联的移位寄存器和反馈逻辑线路可组成动态移位寄存器，带线性反馈逻辑的移位寄存器设定初始数码后，在时钟触发下，每次移位后各级寄存器会发生变化；动态移位寄存器可以生成一个长度为255bit的输出序列，这样序列被称为最长线性移位寄存器序列(m序列)；使用代码形式生成m序列，其中寄存器初始数码为：最高阶寄存器为1，其余寄存器为0；在生成的255bit的m序列的末尾增加一个值为0的bit位，生成符合长度要求的256bit的二进制序列作为扩频码；
(4.2)将语义信息
转化为二进制形式，并按照每组256bit的长度对其进行分组得到多个数据分组，每个数据分组都为二进制形式序列；
(4.3)对步骤(4.2)分得的第一个数据分组进行分组扩频，所述分组扩频过程如下：将第一个数据分组转化为一个十进制数N；以得到的十进制数N为移位量，将步骤(4.1)生成的扩频码循环左移N位得到一个伪随机序列，该伪随机序列作为第一个数据分组的扩频传输序列；
使用的二进制-十进制转化规则为：视二进制序列为小端序存储，即二进制序列的头部位的权为20，所述头部位为最左边的一位，从左向右依次提高指数，每次加1，最后按权展开求和；
(4.4)对步骤(4.3)得到的第一个数据分组的扩频传输序列进行组帧，得到第一个数据帧，并将该数据帧传输至接收端；
组帧过程为：首先定义一个空的数据帧，在空的数据帧中依次加入3字节的同步位、步骤(4.3)中得到的第一个数据分组的扩频传输序列、2字节的CRC校验位后得到第一个数据帧；所述同步位用于识别数据帧中的有用信息；所述CRC校验位用于进行数据检验，CRC校验位的算法采用的是CRC-16标准；
(4.5)对步骤(4.2)中得到的所有数据分组都执行步骤(4.3)和步骤(4.4)操作，实现扩频、组帧和传输，至此完成语义信息
的扩频传输。
5.根据权利要求4所述的一种基于CCSK和深度学习的语义通信方法，其特征在于，所述步骤(5)包括以下子步骤：
(5.1)接收端生成解扩需要的256bit扩频码，生成过程与步骤(4.1)一致，且接收端生成的扩频码和发送端生成的扩频码相同；
(5.2)接收端持续识别同步位，所述同步位即为步骤(4.4)中添加的同步位；
(5.3)当接收端识别到同步位后，暂停匹配同步位，提取同步位后长度为272bit的二进制序列对其进行CRC校验，272bit包括256的扩频码和16bit的CRC校验位；对16bit的CRC校验位进行校验，当校验错误时，重新执行步骤(5.2)；
(5.4)当同步位匹配成功且CRC校验正确时，视作有一个步骤(4)产生的数据帧到达接收端，对该到达的数据帧中包含的信息进行解扩；
提取同步位后长度为256bit的伪随机序列，将该序列和步骤(5.1)生成的扩频码进行匹配；匹配的具体过程为：将该伪随机序列和扩频码循环移位产生的所有可能伪随机序列都进行相关运算，实时更新得到最大相关值的伪随机序列和该伪随机序列较扩频码的移位值，分别记作matched_sq和max_value；其中的相关运算为：
其中res为计算结果，x(m)为提取出来的伪随机序列的第m个bit位的值，y(m-a)为循环码向左移位a位的伪随机序列的第m个bit位的值；
(5.5)将步骤(5.4)得到的十进制数max_value根据二进制-十进制转换规则转化为二进制序列，所述二进制序列就是步骤(5.4)中所提取的二进制伪随机序列携带的原始数据信息；
(5.6)重复步骤(5.2)、步骤(5.3)、步骤(5.4)以及步骤(5.5)的操作，持续解扩所有到达接收端的数据帧，最终在接收端得到步骤(3)提取的语义信息，完成传输。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260485.2A CN114595698A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ccsk和深度学习的语义通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210260485.2A CN114595698A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ccsk和深度学习的语义通信方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114595698A true CN114595698A (zh) | 2022-06-07 |
Family
ID=81817805
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210260485.2A Pending CN114595698A (zh) | 2022-03-16 | 2022-03-16 | 一种基于ccsk和深度学习的语义通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114595698A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629137A (zh) * | 2023-06-08 | 2023-08-22 | 武汉智网兴电科技开发有限公司 | 风电机组能效管理方法、装置及变桨通讯控制系统 |
| CN117763140A (zh) * | 2024-02-22 | 2024-03-26 | 神州医疗科技股份有限公司 | 基于计算特征网络的精准医学信息结论生成方法 |
-
2022
- 2022-03-16 CN CN202210260485.2A patent/CN114595698A/zh active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116629137A (zh) * | 2023-06-08 | 2023-08-22 | 武汉智网兴电科技开发有限公司 | 风电机组能效管理方法、装置及变桨通讯控制系统 |
| CN116629137B (zh) * | 2023-06-08 | 2023-12-15 | 武汉智网兴电科技开发有限公司 | 风电机组能效管理方法、装置及变桨通讯控制系统 |
| CN117763140A (zh) * | 2024-02-22 | 2024-03-26 | 神州医疗科技股份有限公司 | 基于计算特征网络的精准医学信息结论生成方法 |
| CN117763140B (zh) * | 2024-02-22 | 2024-05-28 | 神州医疗科技股份有限公司 | 基于计算特征网络的精准医学信息结论生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110209801B (zh) | 一种基于自注意力网络的文本摘要自动生成方法 | |
| CN114595698A (zh) | 一种基于ccsk和深度学习的语义通信方法 | |
| CN101800556B (zh) | 数据传输及编码数据字符串的方法 | |
| CN109039534B (zh) | 一种基于深度神经网络的稀疏码分多址信号检测方法 | |
| CN110321566A (zh) | 中文命名实体识别方法、装置、计算机设备和存储介质 | |
| CN111178093A (zh) | 一种基于堆叠算法的神经机器翻译系统训练加速方法 | |
| CN109145946B (zh) | 一种智能图像识别和描述方法 | |
| Xu et al. | Knowledge-enhanced semantic communication system with OFDM transmissions | |
| CN115309869A (zh) | 一种一对多的多用户语义通信模型及通信方法 | |
| CN114491597A (zh) | 一种基于汉字部件组合的文本无载体信息隐藏方法 | |
| CN116032292B (zh) | 一种基于翻译文件的大数据高效存储方法 | |
| CN111538803A (zh) | 待匹配的候选提问文本获取方法及装置、设备及介质 | |
| CN115470799B (zh) | 一种用于网络边缘设备的文本传输和语义理解一体化方法 | |
| CN101488823A (zh) | Reed-Muller译码方法及使用该方法的译码器 | |
| CN116055436A (zh) | 一种基于知识图谱驱动的多用户认知语义通信系统及方法 | |
| Yi et al. | Semantic communication systems with a shared knowledge base | |
| CN112821895B (zh) | 一种实现信号高误码率下的编码识别方法 | |
| Liu et al. | Attention-based neural joint source-channel coding of text for point to point and broadcast channel | |
| CN114757179A (zh) | 一种实体关系联合抽取方法及装置 | |
| CN113947085A (zh) | 一种面向智能问答系统的命名实体识别方法 | |
| CN114579728A (zh) | 应用于多轮对话系统的对话生成方法、装置、设备及介质 | |
| Huang et al. | Recognition of channel codes based on BiLSTM-CNN | |
| CN114461816A (zh) | 基于知识图谱的信息补充语义通信系统的实现方法 | |
| Shanmugasundaram et al. | Text preprocessing using enhanced intelligent dictionary based encoding (EIDBE) | |
| CN111130697A (zh) | 一种降低基于自动编码器的通信物理层传输系统复杂度的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |