CN114615499B - 一种面向图像传输的语义光通信系统和方法 - Google Patents

一种面向图像传输的语义光通信系统和方法 Download PDF

Info

Publication number
CN114615499B
CN114615499B CN202210491363.4A CN202210491363A CN114615499B CN 114615499 B CN114615499 B CN 114615499B CN 202210491363 A CN202210491363 A CN 202210491363A CN 114615499 B CN114615499 B CN 114615499B
Authority
CN
China
Prior art keywords
layer
module
picture
convolution
character string
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210491363.4A
Other languages
English (en)
Other versions
CN114615499A (zh
Inventor
于振明
程黎明
黄宏宇
张威
徐坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202210491363.4A priority Critical patent/CN114615499B/zh
Publication of CN114615499A publication Critical patent/CN114615499A/zh
Application granted granted Critical
Publication of CN114615499B publication Critical patent/CN114615499B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/50—Transmitters
    • H04B10/516—Details of coding or modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optical Communication System (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种面向图像传输的语义光通信系统和方法，所述系统包括编码模块，包括第一变换模块和图片编码模块，第一变换模块增加输入到该层的图片的通道数，缩小每个通道的图片的尺寸大小，所述图片编码模块基于接收到的图片的像素值对图片进行编码，输出编码字符串；光传输模块，将编码字符串转化为光信号，并传输至接收端模块，所述接收端模块将光信号还原为编码字符串；解码模块，包括图片解码模块和第二变换模块，所述图片解码模块将编码字符串中的字符还原为图片的像素值，输出具有字符对应像素值的图片，第二变换模块减少输入到该层的图片的通道数，增大每个通道的图片的大小，使解码模块输出的图片的通道数和尺寸大小均与初始图片相等。

Description

一种面向图像传输的语义光通信系统和方法
技术领域
本发明涉及光纤通信技术领域，尤其涉及一种面向图像传输的语义光通信系统和方法。
背景技术
随着数据流量的急速增长，光纤通信系统在过去十年得到了迅猛的发展。为了实现超高速、超高密度、超高可靠性、超大容量的下一代通信指标，基于语义信息的数据传输成为非常有竞争力的下一代通信候选技术。相关的构建语义通信系统的方案也被广泛地提出。
在传统的数字通信系统中，信源编码和信道编码分开进行。对于图像的传输任务，根据应用场景的不同，不同的算法被用来进行信源编码，例如JPEG、JPEG2000、BPG，对于信道编码，常采用的编码算法为Turbo、LDPC 。在理论上，信源和信道分开编码的模式是可以达到最优性能的，但是在实际应用中，联合信源信道编码（Joint Source-channel coding，JSCC）的策略是获得最佳性能的理想方案。
虽然现有的图片传输方案能够完成传输，但是，现有技术利用信源编码和信道编码的通信方式对信噪比的要求较高，对图片传输的评价方法包括但不限于峰值信噪比（Peak Signal to Noise Ratio，PSNR）或结构相似度（Structural Similarity，SSIM），在现有技术的方法中，如图11所示，当信噪比较低的情况下，测量出的PSNR值和SSIM值较小，通信质量较差。
发明内容
鉴于此，本发明的实施例提供了一种面向图像传输的语义光通信系统，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种面向图像传输的语义光通信系统，所述系统包括：
编码模块，所述编码模块包括第一变换模块和图片编码模块，所述第一变换模块用于接收初始图片，所述第一变换模块包括第一参差卷积层，所述第一参差卷积层用于增加输入到该层的图片的通道数，缩小每个通道的图片的尺寸大小；所述图片编码模块包括编码全连接层，所述编码全连接层接收第一变换模块输出的图片，所述编码全连接层基于接收到的图片的像素值对图片进行编码，输出编码字符串；
光传输模块，所述光传输模块包括发射端模块、光链路模块和接收端模块，所述发射端模块用于接收编码字符串，将编码字符串转化为光信号，所述光链路模块用于接收光信号并传输至接收端模块，所述接收端模块用于接收光信号，将光信号还原为编码字符串；
解码模块，所述解码模块包括图片解码模块和第二变换模块，所述图片解码模块包括解码全连接层，所述解码全连接层接收所述编码字符串，将编码字符串中的字符还原为图片的像素值，输出具有字符对应像素值的图片，所述第二变换模块包括第二参差卷积层，所述第二参差卷积层用于减少输入到该层的图片的通道数，增大每个通道的图片的大小，使解码模块输出的图片的通道数和尺寸大小均与初始图片相等。
采用上述方案，一方案，本发明提出图片的语义光通信，利用光作为信息的载体实现图片传输，相较于传统的信源和信道编码技术，本方案利用机器学习中的卷积神经网络能够更好地实现信源信道联合编码，如图7所示，本发明在低信噪比的环境下测试得到的PSNR值和SSIM值较大，本方案提高了低信噪比的环境下的图片传输质量。
在本发明的一些实施方式中，所述解码模块包括卷积补偿模块，所述卷积补偿模块包括顺序连接的多个卷积层，包括卷积层一、卷积层二、卷积层三和卷积层四，
所述卷积层一预设有第一个数的第一卷积核，对编码字符串进行卷积，得到第一个数个第一卷积字符串；
所述卷积层二预设有第二个数的第二卷积核，所述第二卷积核用于对第一卷积字符串中同一位置的字符进行卷积，得到第二个数个第二卷积字符串；
所述卷积层三预设有第三个数的第三卷积核，所述第三卷积核用于对第二卷积字符串中同一位置的字符进行卷积，得到第三个数个第三卷积字符串；
所述卷积层四预设有一个第四卷积核，所述第四卷积核用于对第三卷积字符串中同一位置的字符进行卷积，得到修复完成编码字符串，并向解码全连接层输出。
在本发明的一些实施方式中，所述第一个数与第三个数相等，所述第二个数大于第一个数。
在本发明的一些实施方式中，所述第一变换模块包括第一归一化层、第一参差卷积层、第一批归一化层、第一非线性激活函数层和第一信噪比注意力机制层；
所述第一归一化层用于将初始图片的像素值调节至第一范围；
所述第一参差卷积层用于增加输入到该层的图片的通道数，并将每个通道的图片的尺寸大小缩小为二分之一；
所述第一批归一化层用于防止过拟合；
所述第一信噪比注意力机制层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第一信噪比注意力机制层中的多个全连接层输出融合信噪比通道的图像，使第一信噪比注意力机制层输出图像的通道数与第一信噪比注意力机制层输入图像的信道数相同。
在本发明的一些实施方式中，所述信噪比通道的图像中每个像素块的值均为信噪比的值。
在本发明的一些实施方式中，所述第一参差卷积层包括升维卷积层和第一下采用层，
所述升维卷积层用于增加输入图片的通道数；
第一下采用层用于将输入图片的尺寸大小缩小为二分之一。
在本发明的一些实施方式中，所述第二变换模块包括第二参差卷积层、第二批归一化层、第二非线性激活函数层、第二信噪比注意力机制层和去归一化层；
所述第二参差卷积层用于减少输入到该层的图片的通道数，并将每个通道的图片的尺寸大小增大为二倍；
所述第二批归一化层用于防止过拟合；
所述第二非线性激活函数层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第二非线性激活函数层中的多个全连接层输出融合信噪比通道的图像，使第二非线性激活函数层输出图像的通道数与第二非线性激活函数层输入图像的信道数相同；
所述去归一化层用于将输入图像的通道数减少至与初始图像的通道数相等，并将每个通道的图片的尺寸大小增大为二倍，使输出图像的通道数和尺寸大小均与初始图像相等。
在本发明的一些实施方式中，所述第二参差卷积层包括降维卷积层和第二上采用层，
所述降维卷积层用于减少输入图片的通道数；
第二上采用层用于将输入图片的尺寸大小增大为二倍。
在本发明的一些实施方式中，所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器，所述任意波形生成器输入端接入编码字符串，所述任意波形生成器的输出端与放大器的输入端相连接，所述放大器的输出端与马赫曾德尔调制器的输入端相连接，所述马赫曾德尔调制器的输出端与光链路模块相连接，向光链路模块输出编码字符串所对应的光信号。
在本发明的一些实施方式中，所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器；
所述激光器用于向马赫曾德尔调制器输出光载波；
所述偏置控制器用于控制功率。
在本发明的一些实施方式中，所述光链路模块包括传输光纤和光纤放大器，所述光纤放大器的输入端和输出端均连接有传输光纤，处于所述光纤放大器的输入端的传输光纤与发射端模块相连接，处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
在本发明的一些实施方式中，所述接收端模块包括光电探测器和数字采样示波器，所述光电探测器的输入端接入光信号，所述光电探测器的输出端与数字采样示波器的输入端相连接，
所述光电探测器用于将光信号转化为电信号，所述数字采样示波器用于采集电信号对应的编码字符串。
本发明的另一个方面提供了一种应用上述系统的面向图像传输的语义光通信方法，所述方法的步骤包括：
将初始图片输入编码模块，基于编码模块中的第一变换模块增加初始图片的通道数，缩小每个通道的图片的尺寸大小，基于编码模块中的图片编码模块对第一变换模块输出的变换图片进行编码，输出编码字符串；
将编码字符串输入到光传输模块，所述光传输模块将编码字符串转化为光信号传输至解码模块；
所述解码模块接入编码字符串，基于解码模块中的图片解码模块，将编码字符串中的字符还原为变换图片的像素值，得到变换图片，基于解码模块中的第二变换模块增大每个通道的图片的大小，使解码模块输出图片的通道数和尺寸大小均与初始图片相等。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。
图1为本发明面向图像传输的语义光通信系统第一种实施方式的结构示意图；
图2为本发明面向图像传输的语义光通信系统第二种实施方式的结构示意图；
图3为本发明面向图像传输的语义光通信系统第三种实施方式的结构示意图；
图4为本发明面向图像传输的语义光通信系统中神经网络层的结构示意图；
图5为本发明面向图像传输的语义光通信系统中光传输模块的结构示意图；
图6为编码模块的处理流程示意图；
图7为卷积补偿模块的一种训练示意图；
图8为卷积补偿模块的另一种训练示意图；
图9为本发明面向图像传输的语义光通信系统的实现流程示意图；
图10为编码模块和解码模块的训练示意图；
图11为实验例的实验结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
为解决以上问题，如图1、2所示，本发明提出一种面向图像传输的语义光通信系统，所述系统包括：
编码模块100，所述编码模块包括第一变换模块110和图片编码模块120，所述第一变换模块用于接收初始图片，所述第一变换模块包括第一参差卷积层，所述第一参差卷积层用于增加输入到该层的图片的通道数，缩小每个通道的图片的尺寸大小；所述图片编码模块包括编码全连接层，所述编码全连接层接收第一变换模块输出的图片，所述编码全连接层基于接收到的图片的像素值对图片进行编码，输出编码字符串；
在本发明的一些实施方式中，所述初始图片为RGB三通道图片。
在本发明的一些实施方式中，所述第一变换模块包括三个第一参差卷积层，通过三个第一参差卷积层逐渐增加图片的通道数，并缩小图片的尺寸大小。
所述编码字符串可以为由像素值构成的浮点数字符串。
现有文本传输方案通常需要通过信源编码和信道编码两步，编码得到比特字符串，比特字符串由0、1组成，受信道环境影响较大，本方案采用浮点数字符串能够直接利用光传输进行传输，降低由于信道干扰对编码字符串的影响。
光传输模块200，所述光传输模块包括发射端模块210、光链路模块220和接收端模块230，所述发射端模块用于接收编码字符串，将编码字符串转化为光信号，所述光链路模块用于接收光信号并传输至接收端模块，所述接收端模块用于接收光信号，将光信号还原为编码字符串；
在本发明的一些实施方式中，所述光传输模块设置有用于传输光信号的传输光纤。
解码模块300，所述解码模块包括图片解码模块320和第二变换模块330，所述图片解码模块包括解码全连接层（Fully Connected layer，FC），所述解码全连接层接收所述编码字符串，将编码字符串中的字符还原为图片的像素值，输出具有字符对应像素值的图片，所述第二变换模块包括第二参差卷积层，所述第二参差卷积层用于减少输入到该层的图片的通道数，增大每个通道的图片的大小，使解码模块输出的图片的通道数和尺寸大小均与初始图片相等。
在本发明的一些实施方式中，所述第二变换模块与第一转换模块相对应，设置有三个第二参差卷积层，三个所述第二参差卷积层逐渐减少图片的通道数，并增大图片的尺寸大小，使解码模块输出的图片的通道数和尺寸大小均与初始图片相等。
采用上述方案，一方案，本发明提出图片的语义光通信，利用光作为信息的载体实现图片传输，相较于传统的信源和信道编码技术，本方案利用机器学习中的卷积神经网络能够更好地实现信源信道联合编码，如图7所示，本发明在低信噪比的环境下测试得到的PSNR值和SSIM值较大，本方案提高了低信噪比的环境下的图片传输质量。
如图3、7、8所示，在本发明的一些实施方式中，所述解码模块300包括卷积补偿模块310（Compensate Module，CM），所述卷积补偿模块包括顺序连接的多个卷积层，包括卷积层一、卷积层二、卷积层三和卷积层四，
所述卷积层一预设有第一个数的第一卷积核，对编码字符串进行卷积，得到第一个数个第一卷积字符串；
所述第一个数可以为32，每个第一卷积核均对输入的编码字符串进行卷积，得到32个第一卷积字符串。
所述卷积层二预设有第二个数的第二卷积核，所述第二卷积核用于对第一卷积字符串中同一位置的字符进行卷积，得到第二个数个第二卷积字符串；
所述第二个数可以为64，每个第二卷积核均对32个第一卷积字符串中同一位置的字符进行卷积，得到64个第二卷积字符串。
所述卷积层三预设有第三个数的第三卷积核，所述第三卷积核用于对第二卷积字符串中同一位置的字符进行卷积，得到第三个数个第三卷积字符串；
所述第三个数可以为32，每个第三卷积核均对64个第二卷积字符串中同一位置的字符进行卷积，得到32个第三卷积字符串；
所述卷积层四预设有一个第四卷积核，所述第四卷积核用于对第三卷积字符串中同一位置的字符进行卷积，得到修复完成编码字符串，并向解码全连接层（FullyConnected layer，FC）输出。
在本发明的一些实施方式中，所述第四卷积核对32个第三卷积字符串中同一位置的字符进行卷积，输出修复完成的编码字符串。
在本发明的一些实施方式中，所述第一个数与第三个数相等，所述第二个数大于第一个数。
采用上述方案，对于光纤通信，由于光纤中存在的色散、码间干扰、带限等效应，会导致出纤信号相比入纤信号出现严重失真，从而导致通信质量严重下降，所以卷积补偿模块是为了消除这种失真而设计的，对于码间干扰效应，出纤信号的某点信号值不仅与该位置有关，还和周围的信号有关系；而色散、带限等效应在时域信号上也表现为一定程度的码间干扰。出纤信号某点信号的计算为用一个滑窗，该滑窗内包含了该点信号和周围的信号，用该滑窗内的信号加权求和作为该点信号的均衡值，即出纤信号通过该滑窗计算后会生成均衡后的信号，因此在卷积层一通过卷积核进行卷积，并继续通过卷积层二、三和四，逐渐消除干扰的影响。
如图7所示，在本发明的一些实施方式中，需要预先对卷积补偿模块进行训练，基于预设的训练数据集，将训练数据集中的训练字符串输入光传输模块，接收光传输模块输出的训练字符串，以均方根误差作为损失函数，计算输入光传输模块的训练字符串和输出光传输模块的训练字符串均方根误差，再通过反向传播更新卷积补偿模块中各个卷积层的参数。
如图4所示，在本发明的一些实施方式中，所述第一变换模块包括第一归一化层、第一参差卷积层、第一批归一化层、第一非线性激活函数层和第一信噪比注意力机制层；
所述第一归一化层用于将初始图片的像素值调节至第一范围；
所述第一范围可以为[-1,1]；
所述第一参差卷积层用于增加输入到该层的图片的通道数，并将每个通道的图片的尺寸大小缩小为二分之一；
所述第一批归一化层用于防止过拟合；
所述第一信噪比注意力机制层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第一信噪比注意力机制层中的多个全连接层输出融合信噪比通道的图像，使第一信噪比注意力机制层输出图像的通道数与第一信噪比注意力机制层输入图像的信道数相同。
在本发明的一些实施方式中，所述第一信噪比注意力机制层包括顺序连接的三个全连接层。
采用上述方案，使整个模型能够更好的适应复杂的信噪比环境。
如图4所示，在本发明的一些实施方式中，所述第一变换模块还包括归一化层和第一双注意力机制层，所述第一变换模块包括顺序连接的归一化层（Normalization Layer，NL）、升维卷积层（Res（3,32））、第一下采用层、第一批归一化层（Batch Normalization，BN）、第一非线性激活函数（PReLU）、第一双注意力机制层（Dual Attention，DA）、第一信噪比注意力机制（SNR Attention，SA）、升维卷积层（Res（32,64））、第一下采用层、第一批归一化层（Batch Normalization，BN）、第一非线性激活函数（PReLU）、第一双注意力机制层（Dual Attention，DA）、第一信噪比注意力机制层（SNR Attention，SA）、升维卷积层（Res（64,128））、第一下采用层、第一批归一化层（Batch Normalization，BN）和第一非线性激活函数（PReLU）；
其中升维卷积层、第一下采用层、第一批归一化层和第一非线性激活函数均设置有三个，且升维卷积层、第一下采用层、第一批归一化层和第一非线性激活函数顺序连接；
如图6所示，三个升维卷积层分别为将3通道的初始图像增加为32通道的图像，将32通道的图像增加为64通道，将64通道的图像增加为128通道；
若初始图像为3通道，长宽分别为32的图像，则三个第一下采用层的处理步骤分别为，将长宽分别为32的图像缩小为长宽分别为16的图像，将长宽分别为16的图像缩小为长宽分别为8的图像，将长宽分别为8的图像缩小为长宽分别为4的图像；
每个第一下采用层将输入该层的图像缩小二分之一。
所述归一化层用于将输入该层的图像的像素值转化到[-1,1]的范围内；所述第一双注意力机制层基于双注意力机制，该机制考虑了图像像素之间的相互关系，并基于相互关系来对输入的图像进行调整，使得输出图像能够更好地包含图像的全局信息。
第一双注意力机制层、第一信噪比注意力机制均设置有两个，且第一双注意力机制层与第一信噪比注意力机制顺序连接。
在本发明的一些实施方式中，所述第一参差卷积层包括升维卷积层和第一下采用层，
所述升维卷积层用于增加输入图片的通道数；
第一下采用层用于将输入图片的尺寸大小缩小为二分之一。
如图4所示，在本发明的一些实施方式中，所述图片编码模块包括编码全连接层（Fully Connected layer，FC）和幅度归一化层（Amplitude Normalization, AN），将编码字符串的幅值限定在[-1，1]之间以满足光纤信道的调制需求，所述幅度归一化层的输入端与编码全连接层的输出端相连接，向光传输模块输出调整幅度后的编码字符串。
在本发明的一些实施方式中，所述第二变换模块包括第二参差卷积层、第二批归一化层、第二非线性激活函数层、第二信噪比注意力机制层和去归一化层；
所述第二参差卷积层用于减少输入到该层的图片的通道数，并将每个通道的图片的尺寸大小增大为二倍；
所述第二批归一化层用于防止过拟合；
所述第二非线性激活函数层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第二非线性激活函数层中的多个全连接层输出融合信噪比通道的图像，使第二非线性激活函数层输出图像的通道数与第二非线性激活函数层输入图像的信道数相同；
所述去归一化层用于将输入图像的通道数减少至与初始图像的通道数相等，并将每个通道的图片的尺寸大小增大为二倍，使输出图像的通道数和尺寸大小均与初始图像相等。
在本发明的一些实施方式中，所述第二参差卷积层包括降维卷积层和第二上采用层，
所述降维卷积层用于减少输入图片的通道数；
第二上采用层用于将输入图片的尺寸大小增大为二倍。
如图4所示，在本发明的一些实施方式中，所述第二变换模块包括顺序连接的降维卷积层（Res（128,64））、第二上采用层、第二批归一化层（Batch Normalization，BN）、第二非线性激活函数（PReLU）、第二双注意力机制层（Dual Attention，DA）、第二信噪比注意力机制（SNR Attention，SA）、降维卷积层（Res（64,32））、第二上采用层、第二批归一化层（Batch Normalization，BN）、第二非线性激活函数（PReLU）、第二双注意力机制层（DualAttention，DA）、第二信噪比注意力机制（SNR Attention，SA）、降维卷积层（Res（32,3））、第二上采用层、第二批归一化层（Batch Normalization，BN）、输出归一化层（tanh）和去归一化层（Denormalization Layer，DL）；
所述输出归一化层基于tanh函数用于将接收到的图片的像素值转化到[-1,1]的范围内；
所述去归一化层与归一化层（Normalization Layer， NL）相对应，用于将输入图像的通道数减少至与初始图像的通道数相等，并将每个通道的图片的尺寸大小增大为二倍，使输出图像的通道数和尺寸大小均与初始图像相等，若初始图像为RGB三通道，尺寸大小为32×32像素的图像，则去归一化层输出的图像也为RGB三通道，尺寸大小为32×32的图像。
如图5所示，在本发明的一些实施方式中，所述发射端模块包括任意波形生成器（AWG）、放大器（Driver）和马赫曾德尔调制器（MZM），所述任意波形生成器（AWG）输入端接入编码字符串，所述任意波形生成器（AWG）的输出端与放大器（Driver）的输入端相连接，所述放大器（Driver）的输出端与马赫曾德尔调制器（MZM）的输入端相连接，所述马赫曾德尔调制器（MZM）的输出端与光链路模块相连接，向光链路模块输出编码字符串所对应的光信号。
在本发明的一些实施方式中，所述发射端模块还包括与马赫曾德尔调制器（MZM）相连接的激光器（Laser）和偏置控制器（bias control）；
所述激光器用于向马赫曾德尔调制器输出光载波；
所述偏置控制器用于控制功率。
在本发明的一些实施方式中，所述光链路模块包括传输光纤和光纤放大器，所述光纤放大器的输入端和输出端均连接有传输光纤，处于所述光纤放大器的输入端的传输光纤与发射端模块相连接，处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
在本发明的一些实施方式中，所述光链路模块包括传输光纤和光纤放大器，所述光纤放大器的输入端和输出端均连接有传输光纤，处于所述光纤放大器的输入端的传输光纤与发射端模块相连接，处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
所述传输光纤可以为网络标准单模光纤(standard single mode fiber，SSMF)，所述光纤放大器可以为掺铒光纤放大器（EDFA）。
在本发明的一些实施方式中，所述接收端模块包括光电探测器（PD）和数字采样示波器（DSO），所述光电探测器（PD）的输入端接入光信号，所述光电探测器（PD）的输出端与数字采样示波器（DSO）的输入端相连接，
所述光电探测器用于将光信号转化为电信号，所述数字采样示波器用于采集电信号对应的编码字符串。
本发明的另一个方面提供了一种应用上述系统的面向图像传输的语义光通信方法，所述方法的步骤包括：
将初始图片输入编码模块，基于编码模块中的第一变换模块增加初始图片的通道数，缩小每个通道的图片的尺寸大小，基于编码模块中的图片编码模块对第一变换模块输出的变换图片进行编码，输出编码字符串；
将编码字符串输入到光传输模块，所述光传输模块将编码字符串转化为光信号传输至解码模块；
所述解码模块接入编码字符串，基于解码模块中的图片解码模块，将编码字符串中的字符还原为变换图片的像素值，得到变换图片，基于解码模块中的第二变换模块增大每个通道的图片的大小，使解码模块输出图片的通道数和尺寸大小均与初始图片相等。
如图10所示，本方法需要对编码模块和解码模块预先进行训练，训练过程中，将编码模块、光传输模块、解码模块顺序连接，基于预先设置的训练数据集，以均方误差（MeanSquare Error， MSE）作为损失函数，通过反向传播算法调整编码模块和解码模块中各层的参数；
若所述解码模块中包括卷积补偿模块，则可以预先对卷积补偿模块的神经网络结构进行训练，将训练完成的卷积补偿模块嵌入到解码模块中；
如图7、8、10所示，在对卷积补偿模块进行训练的步骤中，将卷积补偿模块与光传输模块的输出端相连接，基于预设的训练数据集，在光传输模块的输入端输入训练数据集中的数据，在卷积神经网络结构的输出端接收数据，以MSE作为损失函数调整卷积补偿模块中各层的参数。
优选地，在对编码模块和解码模块预先进行训练的步骤中，加入高斯白噪声（AWGN），使编码模块和解码模块预先适应噪声。
本方案在图像领域，提出一种利用神经网络被用来实现图像压缩，通过神经网络对图像特征的提取，以及对码流的组织，可以实现优于传统方案的图像压缩。基于神经网络对图像信息极强的去冗余能力，利用卷积神经网络实现图像信源信道联合编码的无线通信方案，以应对未来的通信系统中的时延、带宽限制等一系列问题。
图像语义编码理论的提出源于机器学习技术。相较于传统的信源和信道编码技术，利用机器学习中的卷积神经网络能够更好地实现信源信道联合编码，具有节省带宽资源、适应恶劣信道环境，泛化性强、性能稳定、图像重建质量高等优点。
实验例；
在实验例中将本方案与现有技术的文本传输方案进行对比。
本方案
本方案中包括编码模块、光传输模块、解码模块；
编码模块包括顺序连接的归一化层（Normalization Layer， NL）、升维卷积层（Res（3,32））、第一下采用层、第一批归一化层（Batch Normalization，BN）、第一非线性激活函数（PReLU）、第一双注意力机制层（Dual Attention，DA）、第一信噪比注意力机制（SNRAttention，SA）、升维卷积层（Res（32,64））、第一下采用层、第一批归一化层（BatchNormalization，BN）、第一非线性激活函数（PReLU）、第一双注意力机制层（DualAttention，DA）、第一信噪比注意力机制层（SNR Attention，SA）、升维卷积层（Res（64,128））、第一下采用层、第一批归一化层（Batch Normalization，BN）、第一非线性激活函数（PReLU）、编码全连接层（Fully Connected layer，FC）和幅度归一化层（AmplitudeNormalization, AN）；
光传输模块包括任意任意波形生成器（AWG）、放大器（Driver）和马赫曾德尔调制器（MZM）、激光器（Laser）、偏置控制器（bias control）、网络标准单模光纤(standardsingle mode fiber，SSMF)、掺铒光纤放大器（EDFA）、光电探测器（PD）和数字采样示波器（DSO）；
所述任意波形生成器（AWG）输入端接入编码字符串，所述任意波形生成器（AWG）的输出端与放大器（Driver）的输入端相连接，所述放大器（Driver）的输出端与马赫曾德尔调制器（MZM）的输入端相连接，所述马赫曾德尔调制器（MZM）的输出端与光链路模块相连接，向光链路模块输出编码字符串所对应的光信号，所述激光器和偏置控制器均与马赫曾德尔调制器相连接，所述激光器用于向马赫曾德尔调制器输出光载波，所述偏置控制器用于控制功率；
所述光纤放大器的输入端和输出端均连接有网络标准单模光纤，处于所述光纤放大器的输入端的网络标准单模光纤与马赫曾德尔调制器相连接，处于所述光纤放大器的输出端的网络标准单模光纤与光电探测器相连接；
所述光电探测器（PD）的输入端接入光信号，所述光电探测器（PD）的输出端与数字采样示波器（DSO）的输入端相连接；
解码模块包括顺序连接的卷积层一、卷积层二、卷积层三、卷积层四、解码全连接层、降维卷积层（Res（128,64））、第二上采用层、第二批归一化层（Batch Normalization，BN）、第二非线性激活函数（PReLU）、第二双注意力机制层（Dual Attention，DA）、第二信噪比注意力机制（SNR Attention，SA）、降维卷积层（Res（64,32））、第二上采用层、第二批归一化层（Batch Normalization，BN）、第二非线性激活函数（PReLU）、第二双注意力机制层（Dual Attention，DA）、第二信噪比注意力机制（SNR Attention，SA）、降维卷积层（Res（32,3））、第二上采用层、第二批归一化层（Batch Normalization，BN）、输出归一化层（tanh）和去归一化层（Denormalization Layer，DL）。
上述的编码模块和解码模块都为预先训练完成，训练过程中，将编码模块、光传输模块解码模块顺序连接，基于预先设置的训练数据集，以以均方误差（Mean Square Error，MSE）作为损失函数进行训练，调整编码模块和解码模块中各层的参数。
如图9所示，图9中输入图像即为预设的初始图片，物理信道即为光传输模块，特征图即为编码字符串，输出图像即为传输后得到的图像，将预设的初始图片输入到编码模块中；在解码模块获取输出的图片；
本实验在在信噪比为5到45db的环境范围中进行10次测试，10次测试的信噪比环境均匀分布在5到45db之间，分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db，计算每次测试的PSNR和SSIM的值，结果如图11中图像语义编码光传输（SemanticCoding and Transmit，SCT）所示；
现有技术1
现有技术1采用JPEG信源编码，LDPC信道编码，采用PAM8调制；
对预设的初始图片进行传输；
在信噪比为5到45db的环境范围中进行10次测试，10次测试的信噪比环境均匀分布在5到45db之间，分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db，计算每次测试的PSNR和SSIM的值，结果如图11中JPEG+LDPC+PAM8所示。
现有技术2
现有技术2采用JP2000信源编码，LDPC信道编码，采用PAM8调制；
对预设的初始图片进行传输；
在信噪比为5到45db的环境范围中进行10次测试，10次测试的信噪比环境均匀分布在5到45db之间，分别为6db、10db、14db、18db、22db、26db、30db、34db、38db、43db，计算每次测试的PSNR和SSIM的值，结果如图11中JP2000+LDPC+PAM8所示。
如图所示7，对比本方案和现有技术1、2可知，
现有技术1在30db、35db的之间的信噪比环境下，BLEU值断崖式下滑，且在低于30db的信噪比环境下PSNR和SSIM的值趋近于0；
现有技术2在30db、35db的之间的信噪比环境下，BLEU值断崖式下滑，且在低于30db的信噪比环境下PSNR和SSIM的值趋近于0；
本申请在6db、10db、14db、18db、22db、26db、30db、34db、38db、43db的信噪比环境下能够保持较为稳定的PSNR和SSIM值；
如图11所示，对比可知，本方案的面向图像传输的语义光通信系统相比于现有技术的信源编码、信道编码，再调制的方法提高了低信噪比的环境下的通信质量。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，做出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种面向图像传输的语义光通信系统，其特征在于，所述系统包括：
编码模块，所述编码模块包括第一变换模块和图片编码模块，所述第一变换模块用于接收初始图片，所述第一变换模块包括第一参差卷积层，所述第一参差卷积层用于增加输入到该层的图片的通道数，缩小每个通道的图片的尺寸大小；所述图片编码模块包括编码全连接层，所述编码全连接层接收第一变换模块输出的图片，所述编码全连接层基于接收到的图片的像素值对图片进行编码，输出编码字符串；
光传输模块，所述光传输模块包括发射端模块、光链路模块和接收端模块，所述发射端模块用于接收编码字符串，将编码字符串转化为光信号，所述光链路模块用于接收光信号并传输至接收端模块，所述接收端模块用于接收光信号，将光信号还原为编码字符串；
解码模块，所述解码模块包括图片解码模块和第二变换模块，所述图片解码模块包括解码全连接层，所述解码全连接层接收所述编码字符串，将编码字符串中的字符还原为图片的像素值，输出具有字符对应像素值的图片；所述第二变换模块包括第二参差卷积层，所述第二参差卷积层用于减少输入到该层的图片的通道数，增大每个通道的图片的大小，使解码模块输出的图片的通道数和尺寸大小均与初始图片相等。
2.根据权利要求1所述的面向图像传输的语义光通信系统，其特征在于，所述解码模块包括卷积补偿模块，所述卷积补偿模块包括顺序连接的多个卷积层，包括卷积层一、卷积层二、卷积层三和卷积层四，
所述卷积层一预设有第一个数的第一卷积核，对编码字符串进行卷积，得到第一个数个第一卷积字符串；
所述卷积层二预设有第二个数的第二卷积核，所述第二卷积核用于对第一卷积字符串中同一位置的字符进行卷积，得到第二个数个第二卷积字符串；
所述卷积层三预设有第三个数的第三卷积核，所述第三卷积核用于对第二卷积字符串中同一位置的字符进行卷积，得到第三个数个第三卷积字符串；
所述卷积层四预设有一个第四卷积核，所述第四卷积核用于对第三卷积字符串中同一位置的字符进行卷积，得到修复完成编码字符串，并向解码全连接层输出。
3.根据权利要求2所述的面向图像传输的语义光通信系统，其特征在于，所述第一个数与第三个数相等，所述第二个数大于第一个数。
4.根据权利要求1所述的面向图像传输的语义光通信系统，其特征在于，所述第一变换模块包括第一归一化层、第一参差卷积层、第一批归一化层、第一非线性激活函数层和第一信噪比注意力机制层；
所述第一归一化层用于将初始图片的像素值调节至第一范围；
所述第一参差卷积层用于增加输入到该层的图片的通道数，并将每个通道的图片的尺寸大小缩小为二分之一；
所述第一批归一化层用于防止过拟合；
所述第一信噪比注意力机制层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第一信噪比注意力机制层中的多个全连接层输出融合信噪比通道的图像，使第一信噪比注意力机制层输出图像的通道数与第一信噪比注意力机制层输入图像的信道数相同。
5.根据权利要求1所述的面向图像传输的语义光通信系统，其特征在于，所述第二变换模块包括第二参差卷积层、第二批归一化层、第二非线性激活函数层、第二信噪比注意力机制层和去归一化层；
所述第二参差卷积层用于减少输入到该层的图片的通道数，并将每个通道的图片的尺寸大小增大为二倍；
所述第二批归一化层用于防止过拟合；
所述第二非线性激活函数层预设有信噪比通道，使输入到该层的图像增加信噪比通道，并通过第二非线性激活函数层中的多个全连接层输出融合信噪比通道的图像，使第二非线性激活函数层输出图像的通道数与第二非线性激活函数层输入图像的信道数相同；
所述去归一化层用于将输入图像的通道数减少至与初始图像的通道数相等，并将每个通道的图片的尺寸大小增大为二倍，使输出图像的通道数和尺寸大小均与初始图像相等。
6.根据权利要求1-5任一项所述的面向图像传输的语义光通信系统，其特征在于，所述发射端模块包括任意波形生成器、放大器和马赫曾德尔调制器，所述任意波形生成器输入端接入编码字符串，所述任意波形生成器的输出端与放大器的输入端相连接，所述放大器的输出端与马赫曾德尔调制器的输入端相连接，所述马赫曾德尔调制器的输出端与光链路模块相连接，向光链路模块输出编码字符串所对应的光信号。
7.根据权利要求6所述的面向图像传输的语义光通信系统，其特征在于，所述发射端模块还包括与马赫曾德尔调制器相连接的激光器和偏置控制器；
所述激光器用于向马赫曾德尔调制器输出光载波；
所述偏置控制器用于控制功率。
8.根据权利要求1所述的面向图像传输的语义光通信系统，其特征在于，所述光链路模块包括传输光纤和光纤放大器，所述光纤放大器的输入端和输出端均连接有传输光纤，处于所述光纤放大器的输入端的传输光纤与发射端模块相连接，处于所述光纤放大器的输出端的传输光纤与接收端模块相连接。
9.根据权利要求1所述的面向图像传输的语义光通信系统，其特征在于，所述接收端模块包括光电探测器和数字采样示波器，所述光电探测器的输入端接入光信号，所述光电探测器的输出端与数字采样示波器的输入端相连接，
所述光电探测器用于将光信号转化为电信号，所述数字采样示波器用于采集电信号对应的编码字符串。
10.一种应用如权利要求1-9任一项所述系统的面向图像传输的语义光通信方法，其特征在于，所述方法的步骤包括：
将初始图片输入编码模块，基于编码模块中的第一变换模块增加初始图片的通道数，缩小每个通道的图片的尺寸大小，基于编码模块中的图片编码模块对第一变换模块输出的变换图片进行编码，输出编码字符串；
将编码字符串输入到光传输模块，所述光传输模块将编码字符串转化为光信号传输至解码模块；
所述解码模块接入编码字符串，基于解码模块中的图片解码模块，将编码字符串中的字符还原为变换图片的像素值，得到变换图片，基于解码模块中的第二变换模块增大每个通道的图片的大小，使解码模块输出图片的通道数和尺寸大小均与初始图片相等。
CN202210491363.4A 2022-05-07 2022-05-07 一种面向图像传输的语义光通信系统和方法 Active CN114615499B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210491363.4A CN114615499B (zh) 2022-05-07 2022-05-07 一种面向图像传输的语义光通信系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210491363.4A CN114615499B (zh) 2022-05-07 2022-05-07 一种面向图像传输的语义光通信系统和方法

Publications (2)

Publication Number Publication Date
CN114615499A CN114615499A (zh) 2022-06-10
CN114615499B true CN114615499B (zh) 2022-09-16

Family

ID=81868793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210491363.4A Active CN114615499B (zh) 2022-05-07 2022-05-07 一种面向图像传输的语义光通信系统和方法

Country Status (1)

Country Link
CN (1) CN114615499B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115470799B (zh) * 2022-11-03 2023-04-07 电子科技大学 一种用于网络边缘设备的文本传输和语义理解一体化方法
CN116073889B (zh) * 2023-02-06 2023-09-01 中国科学院微小卫星创新研究院 一种基于语义内容的卫星通信网络架构
CN116156144B (zh) * 2023-04-18 2023-08-01 北京邮电大学 一种面向高光谱信息采集传输的一体化系统和方法
CN116781156B (zh) * 2023-08-24 2023-11-10 济南安迅科技有限公司 一种用于光通信网络的信道编码方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7115884B1 (en) * 1997-10-06 2006-10-03 Trustees Of Tufts College Self-encoding fiber optic sensor
EP3346423A1 (en) * 2017-01-04 2018-07-11 STMicroelectronics Srl Deep convolutional network heterogeneous architecture system and device
CN109039468A (zh) * 2018-07-27 2018-12-18 北京邮电大学 一种信息调制方法、信息解调方法、装置及通信系统
CN109640095A (zh) * 2018-12-28 2019-04-16 中国科学技术大学 一种结合量子密钥分发的视频加密系统
CN109660297A (zh) * 2018-12-19 2019-04-19 中国矿业大学 一种基于机器学习的物理层可见光通信方法
CN110421557A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的环境立体感知与安全预警保护系统及方法
CN110932809A (zh) * 2019-11-20 2020-03-27 北京邮电大学 光纤信道模型模拟方法及装置
CN111127331A (zh) * 2019-10-22 2020-05-08 广东启迪图卫科技股份有限公司 基于像素级全局噪声估计编解码网络的图像去噪方法
CN111754445A (zh) * 2020-06-02 2020-10-09 国网湖北省电力有限公司宜昌供电公司 隐藏信息的光纤标签的编码解码方法及系统
CN112532322A (zh) * 2020-11-23 2021-03-19 同济大学 一种基于信道编码和二次vnle的im-dd光通信系统
CN113506362A (zh) * 2021-06-02 2021-10-15 湖南大学 基于编码解码网络的单视角透明物体新视图合成的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932480B (zh) * 2018-06-08 2022-03-15 电子科技大学 基于1d-cnn的分布式光纤传感信号特征学习与分类方法
US10763989B2 (en) * 2018-10-16 2020-09-01 Nec Corporation Machine learning based classification of higher-order spatial modes

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7115884B1 (en) * 1997-10-06 2006-10-03 Trustees Of Tufts College Self-encoding fiber optic sensor
EP3346423A1 (en) * 2017-01-04 2018-07-11 STMicroelectronics Srl Deep convolutional network heterogeneous architecture system and device
CN109039468A (zh) * 2018-07-27 2018-12-18 北京邮电大学 一种信息调制方法、信息解调方法、装置及通信系统
CN109660297A (zh) * 2018-12-19 2019-04-19 中国矿业大学 一种基于机器学习的物理层可见光通信方法
CN109640095A (zh) * 2018-12-28 2019-04-16 中国科学技术大学 一种结合量子密钥分发的视频加密系统
CN110421557A (zh) * 2019-06-21 2019-11-08 国网安徽省电力有限公司淮南供电公司 配网带电作业机器人的环境立体感知与安全预警保护系统及方法
CN111127331A (zh) * 2019-10-22 2020-05-08 广东启迪图卫科技股份有限公司 基于像素级全局噪声估计编解码网络的图像去噪方法
CN110932809A (zh) * 2019-11-20 2020-03-27 北京邮电大学 光纤信道模型模拟方法及装置
CN111754445A (zh) * 2020-06-02 2020-10-09 国网湖北省电力有限公司宜昌供电公司 隐藏信息的光纤标签的编码解码方法及系统
CN112532322A (zh) * 2020-11-23 2021-03-19 同济大学 一种基于信道编码和二次vnle的im-dd光通信系统
CN113506362A (zh) * 2021-06-02 2021-10-15 湖南大学 基于编码解码网络的单视角透明物体新视图合成的方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"Principle-Driven Fiber Transmission Model Based on PINN Neural Network";Yubin Zang;《Journal of Lightwave Technology》;20220115;全文 *
"光子神经网络发展与挑战";陈宏伟等;《中国激光》;20200110;全文 *
"光纤通信系统中极化码的编解码优化";邓博优;《信息科技辑》;20220115;全文 *
Zhenming Yu."Experimental Demonstration of Multimode Fiber Imaging Based on Pre-¬trained Autoencoder".《2020 Conference on Lasers and Electro-Optics Pacific Rim (CLEO-PR)》.2020, *

Also Published As

Publication number Publication date
CN114615499A (zh) 2022-06-10

Similar Documents

Publication Publication Date Title
CN114615499B (zh) 一种面向图像传输的语义光通信系统和方法
Wang et al. Wireless deep video semantic transmission
US6690894B2 (en) Multilevel optical signals optimized for systems having signal-dependent and signal-independent noises, finite transmitter extinction ratio and intersymbol interference
CN111010239B (zh) 一种相干光纤通信系统中非线性相位噪声补偿方法及系统
CN107370569B (zh) 用于光学mimo系统的时空编码方法和设备
Xu et al. Transfer learning aided neural networks for nonlinear equalization in short-reach direct detection systems
CN111064516A (zh) 一种基于六边形星座成型迭代的光载无线通信方法
CN112613538B (zh) 一种基于加权主成分分析的非线性均衡方法
CN114553315A (zh) 基于CNN-biRNN的光纤非线性均衡方法及系统
CN114520693B (zh) 一种面向文本传输的语义光通信系统和方法
Zhou et al. Combining efficient probabilistic shaping and deep neural network to mitigate capacity crunch in 5G fronthaul
CN112532322B (zh) 一种基于信道编码和二次vnle的im-dd光通信系统
Yao et al. Artificial neural network assisted probabilistic and geometric shaping for flexible rate high-speed PONs
CN112491478B (zh) 一种基于信道编码和非线性傅里叶变换的im-dd光通信系统
CN1627667B (zh) 双二进制接收机
CN116112694A (zh) 一种应用于模型训练的视频数据编码方法及系统
Huang et al. Optical Fiber Communication System Based on Intelligent Joint Source-Channel Coded Modulation
Peng et al. Mitigation of PAM4 rolling shuttered pattern grayscale ambiguity in demodulation utilizing long short term memory neural network (LSTM-NN) in optical wireless communication systems
Cheng et al. Optical Fiber Communication System with Intelligent Joint Source-Channel Coded Modulation
CN111130697B (zh) 一种降低基于自动编码器的通信物理层传输系统复杂度的方法
Tong et al. Alternate learning based sparse semantic communications for visual transmission
Yu et al. Semantic optical fiber communication system
Liu et al. Nonlinearity mitigation in a fiber-wireless integrated system based on low-complexity autoencoder and BiLSTM-ANN equalizer
CN116980291A (zh) 一种系统优化方法、装置、设备及计算机可读存储介质
CN117560082A (zh) 一种编码调制一体化的低分辨率光通信方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant