CN114520693A - 一种面向文本传输的语义光通信系统和方法 - Google Patents
一种面向文本传输的语义光通信系统和方法 Download PDFInfo
- Publication number
- CN114520693A CN114520693A CN202210413181.5A CN202210413181A CN114520693A CN 114520693 A CN114520693 A CN 114520693A CN 202210413181 A CN202210413181 A CN 202210413181A CN 114520693 A CN114520693 A CN 114520693A
- Authority
- CN
- China
- Prior art keywords
- module
- text
- optical
- character string
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/501—Structural aspects
- H04B10/503—Laser transmitters
- H04B10/505—Laser transmitters using external modulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
- H04B10/50—Transmitters
- H04B10/516—Details of coding or modulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Optics & Photonics (AREA)
- Optical Communication System (AREA)
Abstract
本发明提供一种面向文本传输的语义光通信系统和方法,所述系统包括文本转化模块,用于接收待传输文本,并进行分词,得到文本单词,匹配文本单词在单词库中的相对位置,转化为初始词向量;编码模块,用于接收初始词向量,对初始词向量进行降维,得到降维词向量,进行编码,得到编码字符串;光传输模块,包括发射端模块、光链路模块和接收端模块,发射端模块接收编码字符串,转化为光信号,光链路模块接收光信号并传输至接收端模块,接收端模块用于将光信号还原为编码字符串;解码模块,对编码字符串解码,得到降维词向量,还原为初始词向量;文本获取模块,用于接收初始词向量,在单词库中匹配出对应的文本单词,组合文本单词,得到文本信息。
Description
技术领域
本发明涉及光纤通信技术领域,尤其涉及一种面向文本传输的语义光通信系统和方法。
背景技术
通信可以分为三个层次:(1)符号的传输(2)传输符号的语义交换(3)语义信息交换的影响。通信的第一层次主要聚焦于符号或比特的准确传输。通信的第二个层次是处理发送者发送的语义信息和接收者理解到的信息,即语义通信。第三层次是聚焦于接收方按照发送方要求的方式执行某些任务的效果。过去,通信主要聚焦于第一层,通信系统的质量通常由误比特率(BER)来衡量。近年来,随着人工智能领域的发展,基于深度学习的语义通信开始被初步研究。
现有评判文本传输方案准确度的方式,可以采用BER指标或评判机器翻译准确度指标BLEU作为评判通信质量的标准。现有的文本传输方案通常需要将文本语句经过信源编码、信道编码再通过调制后通过无线通信的方式进行传输。
虽然现有的文本传输方案能够完成传输,但是,现有技术通信对信噪比的要求较高,在现有技术的方法中,如图6所示,当信噪比较低的情况下,测量出的BLEU值较小,通信质量较差。
发明内容
鉴于此,本发明的实施例提供了一种面向文本传输的语义光通信系统,以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种面向文本传输的语义光通信系统,所述系统包括:
文本转化模块,所述文本转化模块用于接收待传输文本,对所述待传输文本进行分词,得到多个文本单词,匹配文本单词在预设的单词库中的相对位置,基于所述相对位置将所述文本单词转化为初始词向量;
编码模块,所述编码模块用于接收初始词向量,并基于编码模块内部设置的编码层对所述初始词向量进行降维,得到降维词向量,且对多个降维词向量进行编码,得到编码字符串;
光传输模块,所述光传输模块包括发射端模块、光链路模块和接收端模块,所述发射端模块用于接收编码字符串,将编码字符串转化为光信号,所述光链路模块用于接收光信号并传输至接收端模块,所述接收端模块用于接收光信号,将光信号还原为编码字符串;
解码模块,所述解码模块用于接收编码字符串,并基于解码模块内部设置的解码层对编码字符串解码,得到降维词向量,且对多个降维词向量进行升维,还原为初始词向量;
文本获取模块,所述文本获取模块用于接收初始词向量,基于初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息。
采用上述方案,一方案,本发明提出语义光通信,即利用光作为信息的载体实现文本传输,提高传输效率和传输质量;另一方面,本发明通过在编码模块进行降维,并对降维后的词向量进行编码,进一步提高了传输质量,如图7所示,本发明在低信噪比的环境下测试得到的BLEU值较大,本发明通过语义光通信的方式,提高了低信噪比的环境下的通信质量。
在本发明的一些实施方式中,所述解码模块包括卷积神经网络结构,所述卷积神经网络结构用于对光链路模块传输过程中产生的码间干扰进行补偿,卷积神经网络结构的输入端接入编码字符串,卷积神经网络结构的输出端将补偿后的编码字符串输出到解码层;
所述卷积神经网络结构包括第一卷积层和第二卷积层;
所述第一卷积层采用线性激活函数补偿光链路模块传输过程中的线性码间干扰;
所述第二卷积层采用非线性激活函数补偿光链路模块传输过程中的非线性码间干扰。
在本发明的一些实施方式中,所述编码模块包括顺序连接的嵌入层、转换层和编码层,
所述嵌入层用于对初始词向量进行降维,得到降维词向量;
所述编码模块中的转换层基于注意力机制用于缩小降维词向量之间的距离;
所述编码层用于对多个降维词向量进行编码,得到编码字符串。
在本发明的一些实施方式中,编码模块中的转换层基于注意力机制能够缩小语义相近的词的降维词向量之间的距离。
在本发明的一些实施方式中,所述解码模块的解码层包括顺序连接的解码层、转换层和分类层,
所述解码层用于对编码字符串解码,得到降维词向量;
所述解码模块中的转换层基于注意力机制进一步还原降维词向量之间的距离;
所述分类层用于将降维词向量还原为初始词向量。
在本发明的一些实施方式中,所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器,所述任意波形生成器输入端接入编码字符串输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出编码字符串所对应的光信号。
在本发明的一些实施方式中,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器;
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
在本发明的一些实施方式中,所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
在本发明的一些实施方式中,所述接收端模块包括可调衰减器、光电探测器和数字采样示波器,所述可调衰减器的输入端接入光信号,可调衰减器的输出端与光电探测器的输入端相连接,所述光电探测器的输出端与数字采样示波器的输入端相连接,
所述可调衰减器用于调节光信号强度,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号的编码字符串。
在本发明的一些实施方式中,基于所述相对位置将所述文本单词转化为初始词向量的步骤为,基于单词在所述单词库中的位置对所述单词库中的单词顺序编号,匹配所述文本单词在所述单词库中的编号,基于编号将所述文本单词转化为初始词向量。
所述单词库中的每个单词编号均不同。
本发明的另一个方面提供了一种应用上述系统的面向文本传输的语义光通信方法,所述方法的步骤包括:
将待传输文本输入文本转化模块,得到对应待传输文本的多个初始词向量,将多个所述初始词向量输入到所述编码模块进行编码,将编码得到的编码字符串输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块,基于所述所述解码模块将编码字符串还原为初始词向量,并输出到所述文本获取模块,所述文本获取模块将初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息,完成传输。
本发明的另一个方面提供了一种应用上述系统的面向文本传输的语义光通信方法,所述方法的步骤包括:
将待传输文本输入文本转化模块,得到对应待传输文本的多个初始词向量,将多个所述初始词向量输入到所述编码模块进行编码,将编码得到的编码字符串输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块,基于所述所述解码模块将编码字符串还原为初始词向量,并输出到所述文本获取模块,所述文本获取模块将初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息,完成传输。
本发明的附加优点、目的,以及特征将在下面的描述中将部分地加以阐述,且将对于本领域普通技术人员在研究下文后部分地变得明显,或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是,能够用本发明实现的目的和优点不限于以上具体所述,并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。
图1为本发明面向文本传输的语义光通信系统的示意图;
图2为本发明面向文本传输的语义光通信系统第一种实施方式的结构示意图;
图3为本发明面向文本传输的语义光通信系统第二种实施方式的结构示意图;
图4为对卷积神经网络结构训练的示意图;
图5为对包括卷积神经网络结构的面向文本传输的语义光通信系统训练的示意图;
图6为现有技术的实验效果图;
图7为本方案与现有技术进行对比的实验效果图;
图8为卷积神经网络结构对编码字符串处理的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下面结合实施方式和附图,对本发明做进一步详细说明。在此,本发明的示意性实施方式及其说明用于解释本发明,但并不作为对本发明的限定。
在此,还需要说明的是,为了避免因不必要的细节而模糊了本发明,在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤,而省略了与本发明关系不大的其他细节。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此,还需要说明的是,如果没有特殊说明,术语“连接”在本文不仅可以指直接连接,也可以表示存在中间物的间接连接。
在下文中,将参考附图描述本发明的实施例。在附图中,相同的附图标记代表相同或类似的部件,或者相同或类似的步骤。
为解决以上问题,如图1、2所示,本发明提出一种面向文本传输的语义光通信系统,所述系统包括:
文本转化模块100,所述文本转化模块用于接收待传输文本,对所述待传输文本进行分词,得到多个文本单词,匹配文本单词在预设的单词库中的相对位置,基于所述相对位置将所述文本单词转化为初始词向量;
在本发明的一些实施方式中,所述待传输文本中包括至少一个句子,每个句子包括至少一个文本单词。
所述对待传输文本进行分词的方法可以为结巴分词、bert分词或ngram分词等。
所述初始词向量可以为存在一位为1,其他位为0的向量,1的位置与文本单词在单词库中的相对位置相对应,所述初始词向量的维度总数与单词库中的单词数相等。
所述初始词向量可以为one hot向量。
所述单词库可以为预先建立的单词库,也可以为corpus数据集中的单词库。
编码模块200,所述编码模块用于接收初始词向量,并基于编码模块内部设置的编码层对所述初始词向量进行降维,得到降维词向量,且对多个降维词向量进行编码,得到编码字符串;
采用上述方案,由于每个初始词向量的的维度总数与单词库中的单词数相等,单词库中的单词数较大,本方法对初始词向量进行降维,便于编码和传输。
所述编码字符串可以为浮点数字符串。
现有文本传输方案通常需要通过信源编码和信道编码两步,编码得到比特字符串,比特字符串由0、1组成,受信道环境影响较大,本方案采用浮点数字符串能够直接利用光传输进行传输,降低由于信道干扰对编码字符串的影响。
光传输模块300,所述光传输模块包括发射端模块、光链路模块和接收端模块,所述发射端模块用于接收编码字符串,将编码字符串转化为光信号,所述光链路模块用于接收光信号并传输至接收端模块,所述接收端模块用于接收光信号,将光信号还原为编码字符串;
解码模块400,所述解码模块用于接收编码字符串,并基于解码模块内部设置的解码层对编码字符串解码,得到降维词向量,且对多个降维词向量进行升维,还原为初始词向量;
所述解码模块对降维词向量进行升维的维度与编码模块对初始词向量进行降维的维度相对应。
文本获取模块500,所述文本获取模块用于接收初始词向量,基于初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息。
所述文本获取模块基于初始词向量中1的位置,在单词库对应该位置的文本单词,组合文本单词,获取输入到文本转化模块的待传输文本的文本信息。
采用上述方案,一方案,本发明提出语义光通信,即利用光作为信息的载体实现文本传输,提高传输效率和传输质量;另一方面,本发明通过在编码模块进行降维,并对降维后的词向量进行编码,进一步提高了传输质量,如图7所示,本发明在低信噪比的环境下测试得到的BLEU值较大,本发明通过语义光通信的方式,提高了低信噪比的环境下的通信质量。
BLEU (bilingual evaluation understudy,双语评估替补)由IBM在2002提出的,用于机器翻译任务的评价,BLEU-1表示一元双语评估替补,以一个词划分为一个词组来评估准确性。
如图3所示,在本发明的一些实施方式中,所述解码模块包括卷积神经网络结构,所述卷积神经网络结构用于对光链路模块传输过程中产生的码间干扰进行补偿,卷积神经网络结构的输入端接入编码字符串,卷积神经网络结构的输出端将补偿后的编码字符串输出到解码层;
所述卷积神经网络结构包括第一卷积层和第二卷积层;
所述第一卷积层采用线性激活函数补偿光链路模块传输过程中的线性码间干扰;
所述第二卷积层采用非线性激活函数补偿光链路模块传输过程中的非线性码间干扰。
采用上述方案,本申请的解码模块中的卷积神经网络结构,用于光链路模块传输过程中产生的码间干扰进行补偿,而光链路模块的码间干扰多为色散引起的码间干扰,色散引起的码间干扰一个非线性过程,现有的补偿模型通常是用于解决带宽限制引起的码间干扰的线性滤波器,本申请在卷积神经网络结构中加入了用于补偿光链路模块传输过程中的非线性码间干扰的第二卷积层,第二卷积层采用非线性激活函数针对非线性码间干扰进行补偿,防止由于非线性码间干扰导致的传输精度下降。
如图8所示,在本发明的一些实施方式中,将卷积神经网络结构输入端接入的编码字符串同时输入到第一卷积层和第二卷积层,将第一卷积层和第二卷积层输出的字符串进行叠加,即为补偿线性码间干扰和非线性码间干扰后的编码字符串。
在本发明的一些实施方式中,若第一卷积层输出的字符串中第一位为1,第二卷积层输出的字符串中第一位为1,叠加后输出的编码字符串的第一位为2。
图8中通过信道后数据即为卷积神经网络结构输入端接入的编码字符串,图8中信道均衡数据后即为补偿线性码间干扰和非线性码间干扰后的编码字符串。
采用上述方案,同时对线性码间干扰和非线性码间进行补偿。
由于较长距离传输时光纤会有色散影响,方案相较于背靠背传输有所改进。整个方案的优势是,光纤信道中的部分码间干扰所带来的损伤通过卷积神经网络结构(CNN)来补偿,剩余的信道损伤则通过发射端和接收端的语义网络来补偿。此外,当传输距离改变,即信道状况发生改变时只需要更新CNN的参数即可实现模型迁移。
在本发明的一些实施方式中,本方案中第一卷积层和第二卷积层的卷积核大小均可以为n*1的核,n大于100。
在本发明的一些实施方式中,n=121。
本方案中设置的卷积核大小相比于传统的卷积核较大,本方案中设置较大的卷积核能够更好的修正光链路模块传输中色散的畸变。
传统模式的码间干扰为器件频率响应引起的码间干扰,色散引起的码间干扰和器件频率响应引起的码间干扰不同,由于色散引起的码间干扰是一个非线性过程,无法用线性滤波器的模型来补偿,因此需要用基于非线性激活函数的神经网络来补偿色散带来的效应;传统的带宽限制引起的码间干扰是一个近似线性的过程,可以用线性滤波器来补偿。
在本发明的一些实施方式中,所述编码模块包括顺序连接的嵌入层、转换层和编码层,
所述嵌入层用于对初始词向量进行降维,得到降维词向量;
所述编码模块中的转换层基于注意力机制用于缩小降维词向量之间的距离;
所述编码层用于对多个降维词向量进行编码,得到编码字符串。
在本发明的一些实施方式中,若单词库中共有35632个,则初始词向量的维度总数为35632,所述嵌入层对初始词向量进行降维,可以将35632维的初始词向量降维至128维,所述转换层可以设置有多个,可以为3个,转换层具有注意力机制,能将词义相近的词的降维词向量在向量空间的距离拉近,所述编码层用于对多个降维词向量进行编码,将词向量相互连接为一串编码字符串。
在本发明的一些实施方式中,所述嵌入层为Embedding层,所述转换层为Transformer层,编码层为Encoder层。
在本发明的一些实施方式中,所述编码层包括两层全连接层,在第一层将128维的降维词向量升到256维,再通过第二层降到8维实现压缩。
在本发明的一些实施方式中,所述解码模块的解码层包括顺序连接的解码层、转换层和分类层,
所述解码层用于对编码字符串解码,得到降维词向量;
所述解码模块中的转换层基于注意力机制进一步还原降维词向量之间的距离;
在本发明的一些实施方式中,编码模块中的转换层基于注意力机制能够缩小语义相近的词的降维词向量之间的距离。
所述分类层用于将降维词向量还原为初始词向量。
在本发明的一些实施方式中,所述解码层为Decoder层,所述转换层为Transformer层,分类层为softmax层。
在本发明的一些实施方式中,所述解码层与编码层相对应,若编码层包括两层全连接层,则解码层同样包括两层全连接层,解码层的第一层将8维升维至256维,第二层将256维降维为128维的降维词向量。
所述解码模块中的转换层层数与编码模块中的转换层层数相对应,若编码模块中转换层为3个,则解码模块中的转换层层数也为3个;
所述分类层与嵌入层相对应,将降维词向量还原为初始词向量,若降维词向量为128维,初始词向量的维度总数为35632,则分类层将128维的降维词向量还原为35632维的初始词向量。
在本发明的一些实施方式中,所述发射端模块包括任意波形生成器(AWG)、放大器(Driver)和马赫曾德尔调制器(MZM),所述任意波形生成器输入端接入编码字符串,所述任意波形生成器输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出编码字符串所对应的光信号。
在本发明的一些实施方式中,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器(Laser)和偏置控制器(bias control);
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
在本发明的一些实施方式中,所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
所述传输光纤可以为网络标准单模光纤(standard single mode fiber,SSMF),所述光纤放大器可以为掺铒光纤放大器(EDFA)。
在本发明的一些实施方式中,所述接收端模块包括可调衰减器(VOA)、光电探测器(PD)和数字采样示波器(DSO),所述可调衰减器的输入端接入光信号,可调衰减器的输出端与光电探测器的输入端相连接,所述光电探测器的输出端与数字采样示波器的输入端相连接,
所述可调衰减器用于调节光信号强度,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号的编码字符串。
在本发明的一些实施方式中,基于所述相对位置将所述文本单词转化为初始词向量的步骤为,基于单词在所述单词库中的位置对所述单词库中的单词顺序编号,匹配所述文本单词在所述单词库中的编号,基于编号将所述文本单词转化为初始词向量。
所述单词库中的每个单词编号均不同。
在本发明的一些实施方式中,若单词库中共有35632个单词,则将单词由1-35632进行排序,若文本单词与单词库中编号为1的单词匹配,则文本单词对应的初始词向量为(10000....000),0的数量为35631,若若文本单词与单词库中编号为2的单词匹配,则文本单词对应的初始词向量为(01000....000),0的数量为35631;在文本获取模块获取文本单词的步骤为上述步骤的反推导。
本发明的另一个方面提供了一种应用上述系统的面向文本传输的语义光通信方法,所述方法的步骤包括:
将待传输文本输入文本转化模块,得到对应待传输文本的多个初始词向量,将多个所述初始词向量输入到所述编码模块进行编码,将编码得到的编码字符串输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块,基于所述所述解码模块将编码字符串还原为初始词向量,并输出到所述文本获取模块,所述文本获取模块将初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息,完成传输。
本方法需要对编码模块和解码模块预先进行训练,训练过程中,将编码模块、光传输模块、解码模块顺序连接,基于预先设置的训练数据集,以交叉熵函数作为损失函数进行训练,调整编码模块和解码模块中各层的参数;
上述对编码模块和解码模块预先进行训练的仿真系统优选为一个50-Gbaud/s直接调制强度检测(IM/DD)系统。
若所述解码模块中包括卷积神经网络结构,则可以预先对卷积神经网络结构进行训练,将训练完成的卷积神经网络结构嵌入到解码模块中;
如图4所示,在对卷积神经网络结构进行训练的步骤中,将卷积神经网络结构与光传输模块的输出端相连接,图4中数据驱动信道建模即为光传输模块,基于预设的训练数据集,在光传输模块的输入端输入训练数据集中的数据,在卷积神经网络结构的输出端接收数据,以MSE作为损失函数调整卷积神经网络结构中各参数。
由于较长距离传输时光纤会有色散影响,方案相较于背靠背传输有所改进。整个方案的优势是,光纤信道中的部分码间干扰所带来的损伤通过卷积神经网络结构(CNN)来补偿,剩余的信道损伤则通过发射端和接收端的语义网络来补偿。此外,当传输距离改变,即信道状况发生改变时只需要更新CNN的参数即可实现模型迁移。
如图5所示,图5中数据驱动信道模型即为光传输模块,若所述解码模块中包括卷积神经网络结构,则在对编码模块和解码模块预先进行训练的步骤中,将完成训练的卷积神经网络结构嵌入到解码模块的各解码层之前,并在对编码模块和解码模块预先进行训练的过程中,在卷积神经网络结构和解码模块的各解码层之间加入高斯白噪声(AWGN),用于模拟真实信道。
该方案适用于与光传输物理层交互的通信。首先,利用卷积神经网络和物理层实测的数据对信道进行建模。然后,利用基于卷积网络的信道模型进行端到端的编码过程、解码过程训练。最后,将训练好的编码过程和解码过程与实际物理层链路进行链接。该方案的优势是:语义通信的编解码与信道干扰在训练过程中不断交互,编解码不仅能很好的恢复出文本信息,还能有效地抵抗信道噪声的干扰,从而实现高效且可靠的通信。
实验例;
在实验例中将本方案与现有技术的文本传输方案进行对比。
本方案
本方案中包括文本转化模块、编码模块、光传输模块、解码模块和文本获取模块;
文本转化模块用于接收待传输文本,对所述待传输文本进行分词,得到多个文本单词,匹配文本单词在预设的单词库中的相对位置,基于所述相对位置将所述文本单词转化为初始词向量;
编码模块包括嵌入层、转换层和编码层,其中转换层为3层,编码层输出编码字符串;
光传输模块包括任意波形生成器、放大器、马赫曾德尔调制器、激光器、偏置控制器、传输光纤、光纤放大器、可调衰减器、光电探测器和数字采样示波器;
如图7所示,所述任意波形生成器输入端接入编码字符串输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与传输光纤一端相连接,向传输光纤输出编码字符串所对应的光信号,激光器和偏置控制器均与马赫曾德尔调制器相连接,所述传输光纤另一端与所述可调衰减器的输入端相连接,所述可调衰减器的输入端接入光信号,可调衰减器的输出端与光电探测器的输入端相连接,所述光电探测器的输出端与数字采样示波器的输入端相连接,所述数字采样示波器用于采集电信号的编码字符串;
解码模块包括顺序连接的解码层、转换层和分类层,其中转换层为3层,接入编码字符串,分类层输出初始词向量;
文本获取模块用于接收初始词向量,基于初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息。
上述的编码模块和解码模块都为预先训练完成,训练过程中,将编码模块、光传输模块解码模块顺序连接,基于预先设置的训练数据集,以交叉熵函数作为损失函数进行训练,调整编码模块和解码模块中各层的参数。
将预设的256句话输入到文本转化模块中,再输入到编码模块中得到61440个符号;在文本获取模块最终得到输出的文本信息;
并在信噪比为5到45db的环境范围中进行10次测试,10次测试的信噪比环境均匀分布在5到45db之间,分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db,计算每次测试的BLEU-1值,结果如图7中语义通信所示;
现有技术1
现有技术1采用哈夫曼编码信源编码,2/3LDPC信道编码,采用PAM8调制;
将预设的256句话经过哈夫曼编码信源编码后变为119808个比特,再经过2/3LDPC信道编码后变为179712个比特,采用PAM8调制,符号数变为59904个,在传输完成后进行解码;
在信噪比为5到45db的环境范围中进行10次测试,10次测试的信噪比环境均匀分布在5到45db之间,分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db,计算每次测试的BLEU-1值,结果如图7中哈夫曼编码+2/3LDPC+PAM8所示。
现有技术2
现有技术2采用哈夫曼编码信源编码,2/3LDPC信道编码,采用PAM4调制;
将预设的256句话经过哈夫曼编码信源编码后变为119808个比特,再经过2/3LDPC信道编码后变为179712个比特,采用PAM4调制,符号数变为89856个,在传输完成后进行解码;
在信噪比为5到45db的环境范围中进行10次测试,10次测试的信噪比环境均匀分布在5到45db之间,分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db,计算每次测试的BLEU-1值,结果如图7中哈夫曼编码+2/3LDPC+PAM4所示。
现有技术3
现有技术3采用哈夫曼编码信源编码,2/3LDPC信道编码,采用OOK调制;
将预设的256句话经过哈夫曼编码信源编码后变为119808个比特,再经过2/3LDPC信道编码后变为179712个比特,采用OOK调制,符号数变为179712个,在传输完成后进行解码;
在信噪比为5到45db的环境范围中进行10次测试,10次测试的信噪比环境均匀分布在5到45db之间,分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db,计算每次测试的BLEU-1值,结果如图7中哈夫曼编码+2/3LDPC+OOK所示。
如图所示7,对比本方案和现有技术1、2、3可知,
现有技术1在34db、38db的之间的信噪比环境下,BLEU值断崖式下滑,且在低于34db的信噪比环境下BLEU值较低;
现有技术2在30db、34db的之间的信噪比环境下,BLEU值断崖式下滑,且在低于30db的信噪比环境下BLEU值较低;
现有技术3在26db、30db的之间的信噪比环境下,BLEU值断崖式下滑,且在低于26db的信噪比环境下BLEU值较低;
本申请在10db、14db、18db、22db、26db、30db、34db、38db、43db的信噪比环境下能够保持较为稳定的BLEU值,仅在6db的信噪比环境下BLEU值小幅下降;
对比可知,本申请的语义通信系统,相比于现有技术的信源编码、信道编码,再调制的方法提高了低信噪比的环境下的通信质量。
研究表明,本方案的基于深度学习的语义光通信对信道变化的鲁棒性更高并且在低信噪比区可以取得更好的传输效果。相比于传统基于通信方案,语义通信在提高通信可靠性和有效性方面都有着很大潜力。且本方案首次提出语义光通信,即利用光作为信息的载体实现文本传输,相对于传统的无线通信,进一步提高了通信效率。
本领域普通技术人员应该可以明白,结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法,能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是,本发明并不局限于上文所描述并在图2或3中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,做出各种改变、修改和添加,或者改变步骤之间的顺序。
本发明中,针对一个实施方式描述和/或例示的特征,可以在一个或更多个其它实施方式中以相同方式或以类似方式使用,和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种面向文本传输的语义光通信系统,其特征在于,所述系统包括:
文本转化模块,所述文本转化模块用于接收待传输文本,对所述待传输文本进行分词,得到多个文本单词,匹配文本单词在预设的单词库中的相对位置,基于所述相对位置将所述文本单词转化为初始词向量;
编码模块,所述编码模块用于接收初始词向量,并基于编码模块内部设置的编码层对所述初始词向量进行降维,得到降维词向量,且对多个降维词向量进行编码,得到编码字符串;
光传输模块,所述光传输模块包括发射端模块、光链路模块和接收端模块,所述发射端模块用于接收编码字符串,将编码字符串转化为光信号,所述光链路模块用于接收光信号并传输至接收端模块,所述接收端模块用于接收光信号,将光信号还原为编码字符串;
解码模块,所述解码模块用于接收编码字符串,并基于解码模块内部设置的解码层对编码字符串解码,得到降维词向量,且对多个降维词向量进行升维,还原为初始词向量;
文本获取模块,所述文本获取模块用于接收初始词向量,基于初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息。
2.根据权利要求1所述的面向文本传输的语义光通信系统,其特征在于,所述解码模块包括卷积神经网络结构,所述卷积神经网络结构用于对光链路模块传输过程中产生的码间干扰进行补偿,卷积神经网络结构的输入端接入编码字符串,卷积神经网络结构的输出端将补偿后的编码字符串输出到解码层;
所述卷积神经网络结构包括第一卷积层和第二卷积层;
所述第一卷积层采用线性激活函数补偿光链路模块传输过程中的线性码间干扰;
所述第二卷积层采用非线性激活函数补偿光链路模块传输过程中的非线性码间干扰。
3.根据权利要求1所述的面向文本传输的语义光通信系统,其特征在于,所述编码模块包括顺序连接的嵌入层、转换层和编码层,
所述嵌入层用于对初始词向量进行降维,得到降维词向量;
所述编码模块中的转换层基于注意力机制用于缩小降维词向量之间的距离;
所述编码层用于对多个降维词向量进行编码,得到编码字符串。
4.根据权利要求1所述的面向文本传输的语义光通信系统,其特征在于,所述解码模块的解码层包括顺序连接的解码层、转换层和分类层,
所述解码层用于对编码字符串解码,得到降维词向量;
所述解码模块中的转换层基于注意力机制进一步还原降维词向量之间的距离;
所述分类层用于将降维词向量还原为初始词向量。
5.根据权利要求1-4任一项所述的面向文本传输的语义光通信系统,其特征在于,所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器,所述任意波形生成器输入端接入编码字符串输出端与放大器的输入端相连接,所述放大器的输出端与马赫曾德尔调制器的输入端相连接,所述马赫曾德尔调制器的输出端与光链路模块相连接,向光链路模块输出编码字符串所对应的光信号。
6.根据权利要求5所述的面向文本传输的语义光通信系统,其特征在于,所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器;
所述激光器用于向马赫曾德尔调制器输出光载波;
所述偏置控制器用于控制功率。
7.根据权利要求1或6所述的面向文本传输的语义光通信系统,其特征在于,所述光链路模块包括传输光纤和光纤放大器,所述光纤放大器的输入端和输出端均连接有传输光纤,处于所述光纤放大器的输入端的传输光纤与发射端模块相连接,处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
8.根据权利要求7所述的面向文本传输的语义光通信系统,其特征在于,所述接收端模块包括可调衰减器、光电探测器和数字采样示波器,所述可调衰减器的输入端接入光信号,可调衰减器的输出端与光电探测器的输入端相连接,所述光电探测器的输出端与数字采样示波器的输入端相连接,
所述可调衰减器用于调节光信号强度,所述光电探测器用于将光信号转化为电信号,所述数字采样示波器用于采集电信号的编码字符串。
9.根据权利要求1或8所述的面向文本传输的语义光通信系统,其特征在于,基于所述相对位置将所述文本单词转化为初始词向量的步骤为,基于单词在所述单词库中的位置对所述单词库中的单词顺序编号,匹配所述文本单词在所述单词库中的编号,基于编号将所述文本单词转化为初始词向量。
10.一种应用如权利要求1-9任一项所述系统的面向文本传输的语义光通信方法,其特征在于,所述方法的步骤包括:
将待传输文本输入文本转化模块,得到对应待传输文本的多个初始词向量,将多个所述初始词向量输入到所述编码模块进行编码,将编码得到的编码字符串输入到光传输模块,所述光传输模块将编码字符串转化为光信号传输至解码模块,基于所述解码模块将编码字符串还原为初始词向量,并输出到所述文本获取模块,所述文本获取模块将初始词向量在预设的单词库中匹配出对应的文本单词,顺序组合所述文本单词,得到文本信息,完成传输。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210413181.5A CN114520693B (zh) | 2022-04-20 | 2022-04-20 | 一种面向文本传输的语义光通信系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210413181.5A CN114520693B (zh) | 2022-04-20 | 2022-04-20 | 一种面向文本传输的语义光通信系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114520693A true CN114520693A (zh) | 2022-05-20 |
CN114520693B CN114520693B (zh) | 2022-06-17 |
Family
ID=81600471
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210413181.5A Active CN114520693B (zh) | 2022-04-20 | 2022-04-20 | 一种面向文本传输的语义光通信系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114520693B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115842593A (zh) * | 2023-02-20 | 2023-03-24 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103457903A (zh) * | 2013-09-26 | 2013-12-18 | 哈尔滨工程大学 | 一种数字式水下语音通信装置及水下语音通信方法 |
CN104125323A (zh) * | 2013-04-24 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 发送信息的方法及装置 |
CN108717852A (zh) * | 2018-04-28 | 2018-10-30 | 湖南师范大学 | 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法 |
CN111738251A (zh) * | 2020-08-26 | 2020-10-02 | 北京智源人工智能研究院 | 一种融合语言模型的光学字符识别方法、装置和电子设备 |
-
2022
- 2022-04-20 CN CN202210413181.5A patent/CN114520693B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104125323A (zh) * | 2013-04-24 | 2014-10-29 | 腾讯科技(深圳)有限公司 | 发送信息的方法及装置 |
CN103457903A (zh) * | 2013-09-26 | 2013-12-18 | 哈尔滨工程大学 | 一种数字式水下语音通信装置及水下语音通信方法 |
CN108717852A (zh) * | 2018-04-28 | 2018-10-30 | 湖南师范大学 | 一种基于白光通信和类脑认知的智能机器人语义交互系统和方法 |
CN111738251A (zh) * | 2020-08-26 | 2020-10-02 | 北京智源人工智能研究院 | 一种融合语言模型的光学字符识别方法、装置和电子设备 |
Non-Patent Citations (4)
Title |
---|
KAIXUAN SUN等: "Experimental Demonstration of Soft Failure Identification Based on Digital Residual Spectrum and Machine Learning", 《2021 INTERNATIONAL CONFERENCE ON UK-CHINA EMERGING TECHNOLOGIES (UCET)》 * |
LAURA SEVILLA-LARA等: "Optical Flow with Semantic Segmentation and Localized Layers", 《HTTPS://DEEPAI.ORG/PUBLICATION/OPTICAL-FLOW-WITH-SEMANTIC-SEGMENTATION-AND-LOCALIZED-LAYERS》 * |
冯浩育: "基于VLC的实时业务传输及接入组网技术研究", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
孙洪伟: "智能手机可见光通信系统设计与应用", 《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115842593A (zh) * | 2023-02-20 | 2023-03-24 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
CN115842593B (zh) * | 2023-02-20 | 2023-05-09 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114520693B (zh) | 2022-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | Overfitting and underfitting analysis for deep learning based end-to-end communication systems | |
CN114615499B (zh) | 一种面向图像传输的语义光通信系统和方法 | |
CN109905170B (zh) | 一种基于k-dnn的非线性失真补偿算法及可见光通信装置 | |
CN114520693B (zh) | 一种面向文本传输的语义光通信系统和方法 | |
CN109728824B (zh) | 一种基于深度学习的ldpc码迭代译码方法 | |
CN114039670B (zh) | 一种模分复用通信系统非线性损伤补偿方法 | |
Xu et al. | Transfer learning aided neural networks for nonlinear equalization in short-reach direct detection systems | |
Shu et al. | Application analysis of clipping and digital resolution enhancer in high-speed direct-detection PAM4 transmission | |
Yi et al. | Neural network-based equalization in high-speed PONs | |
CN108521384B (zh) | 用于低带宽高速光通信的最大化方差数据选择的svm均衡方法及系统 | |
Yao et al. | Artificial neural network assisted probabilistic and geometric shaping for flexible rate high-speed PONs | |
CN112613538B (zh) | 一种基于加权主成分分析的非线性均衡方法 | |
Fang et al. | Neural successive cancellation polar decoder with Tanh-based modified LLR over FSO turbulence channel | |
CN114500197B (zh) | 一种可见光通信后均衡方法、系统、装置及存储介质 | |
Dong‐Nhat et al. | Absolute added correlative coding: an enhanced M‐PAM modulation format | |
Huang et al. | Optical Fiber Communication System Based on Intelligent Joint Source-Channel Coded Modulation | |
Zhang et al. | An improved end-to-end optical transmission system based on deep learning | |
Wang et al. | Transceiver cooperative learning-aided semantic communications against mismatched background knowledge bases | |
CN111130697B (zh) | 一种降低基于自动编码器的通信物理层传输系统复杂度的方法 | |
Huang et al. | Semantic Optical Fiber Communication System Based on Deep Learning | |
CN112242871B (zh) | 用于光通信的方法、设备和计算机可读存储介质 | |
Zhu et al. | Visible Light Communication Channel Modeling by Experiment-Data-Driven Deep Learning | |
Jovanovic et al. | End-to-end learning for fiber-optic communication systems | |
Liang et al. | Research on signal recovery method of IM/DD optical fiber transmission system based on multi-bit and multi-class classification convolutional neural network | |
Ren et al. | Transfer Learning Aided Optical Nonlinear Equalization Based Feature Engineering Neural Network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |