CN117692094A - 编码方法、解码方法、编码装置、解码装置及电子设备 - Google Patents

编码方法、解码方法、编码装置、解码装置及电子设备 Download PDF

Info

Publication number
CN117692094A
CN117692094A CN202211072342.5A CN202211072342A CN117692094A CN 117692094 A CN117692094 A CN 117692094A CN 202211072342 A CN202211072342 A CN 202211072342A CN 117692094 A CN117692094 A CN 117692094A
Authority
CN
China
Prior art keywords
information
semantic
coding
model
service information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211072342.5A
Other languages
English (en)
Inventor
许晓东
孙梦颖
董辰
韩书君
王碧舳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN202211072342.5A priority Critical patent/CN117692094A/zh
Priority to PCT/CN2023/092061 priority patent/WO2024045672A1/zh
Publication of CN117692094A publication Critical patent/CN117692094A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/004—Arrangements for detecting or preventing errors in the information received by using forward error control
    • H04L1/0045—Arrangements at the receiver end
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及通信技术领域，尤其涉及编码方法、解码方法、编码装置、解码装置及电子设备。包括：发送端对第一业务信息进行语义提取得到语义编码信息及关键特征编码信息；基于语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，信源信道联合编码模型对语义编码信息、关键特征编码信息、语义解码模型参数、信道传输环境参数进行编码形成第二业务信息向接收端发送；接收端接收第二业务信息，并进行信源信道解码以及语义解码得到语义信息和关键特征信息；利用关键特征信息对语义信息进行校验，并在通过校验后对语义信息进行恢复处理，得到第三业务信息。从而降低通信传输量，并确保通信传输的准确率。

Description

编码方法、解码方法、编码装置、解码装置及电子设备
技术领域
本公开涉及通信技术领域，尤其涉及编码方法、解码方法、编码装置、解码装置及电子设备。
背景技术
1977年Elience等人首次提出了联合信源信道编码方案，常见的传统的信源信道编码方法有二维差分脉冲编码调制编码、树编码及二维离散余弦变换编码，大部分工作依照传统的方式进行信源信道编码，但是随着人工智能技术的发展，采用人工智能方式进行语义智能提取编码，以及基于AI(Artificial Intelligence，人工智能)模型的联合信源信道编码方式还没有得到深入研究。
在未来万物互联的网络中，网络节点趋向于智能化，网络节点智能化导致信息空间迅速扩张，信息维度急剧增加，多维信息表征难度增加，导致了传统网络服务能力与高纬度信息空间难以匹配，通信传输的数据量过大，信息业务服务系统无法持续满足人们复杂、多样和智能化信息传输的需求，此外，网络噪声也带来较大的传输误码率。而传统的通信系统侧重于传输过程，而忽略了上下文相关的含义。5G系统已接近香农极限，数据量的增加将带来一系列的问题，例如通信瓶颈、延迟增加和安全问题。随着社会的发展和时代的进步，通信技术和人工智能不断发展前进。智简网络是一种将人工智能与通信技术相结合的通信技术，提高通信的性能。通过人工智能模型来编码、传播、解码业务信息，可显著降低通信业务中的数据传输量，在不丢失重要信息的情况下，极大地提升了信息传输效率。因此现需一种基于智简网络的信源信道联合编码解码方法，以实现自适应编解码，此外，可以通过对传输数据进行校验，以不断地优化编码解码方式，以确保通信传输的准确率。
发明内容
本公开提供了一种用于智简网络的编码方法、解码方法、编码装置、解码装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种编码方法，包括：
发送端获取第一业务信息，并检测所述第一业务信息的数据类型；
所述发送端根据所述第一业务信息的数据类型选择适配的语义编码模型；
所述发送端将所述第一业务信息输入所述语义编码模型进行语义提取得到语义编码信息，并对所述第一业务信息进行特征提取得到关键特征编码信息；
所述发送端基于所述语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将所述语义编码信息、所述关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入信源信道联合编码模型，根据所述信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
可选的，编码方法还包括：所述发送端周期性地对所述接收端接收的所述第二业务信息进行采样，并计算所述发送端的解码器输出的所述第二业务信息与所述发送端的编码器输出的所述第二业务信息的均方误差，利用计算得到的所述均方误差训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器。
可选的，所述利用计算得到的所述均方误差训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器包括：
计算所述发送端的解码器输出的语义信息与所述发送端的编码器输出的语义信息之间的均方误差：
其中，LMSE表示所述均方误差；S表示所述发送端的编码器输出的所述第二业务信息；S′表示所述发送端的解码器接收的所述第二业务信息；w,s,c分别表示图像的长、宽和信道数；
进一步地，计算原始图像与解码图像之间的语义误差：
其中，LSE表示所述语义误差；Ω表示所述语义编码模型倒数第二层输出的语义编码信息；
通过所述均方误差和所述语义误差得到用于训练所述编码器中的所述语义编码模型及所述解码器中的所述语义解码模型的损失方程：
其中，ε∈(0,1)表示权重因子，用于表示所述语义误差LSE和所述均方误差LMSE各自所占的比重。
可选的，所述训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器还包括：
通过下列公式计算所述发送端的解码器输出的数据信号与所述发送端的编码器输出的数据信号之间的损失方程，用于训练所述编码器中的信源信道联合编码模型和/或所述解码器中的信源信道联合解码模型：
其中，x表示所述发送端的编码器输出的数据信号；x′表示所述发送端的解码器输出的数据信号。
可选的，信源信道联合编码解码方法还包括通过下列步骤训练所述语义编码模型和/或所述语义解码模型：
通过下述公式计算所述发送端的编码器输出的原始图像和所述发送端的解码器输出的解码图像之间的相似度，以评估所述语义编码模型和所述语义解码模型的精度：
其中，ζx表示x均值，ζy表示y的均值，表示x的方差，/>表示y的方差，σxy表示x和y的协方差；c1和c2表示协方差系数；
并且，当所述原始图像和所述解码图像之间的相似度误差大于容忍误差阈值ε时，即计算得到所述损失方程/>基于随机梯度下降算法更新所述语义编码模型和/或所述语义解码模型的参数。
可选的，编码方法还包括通过下列步骤训练所述信源信道联合编码模型和/或所述信源信道联合解码模型：
通过下述公式计算所述发送端编码器输出的数据信号和所述发送端解码器输出的数据信号之间的相似度，以评估所述信源信道联合编码模型和所述信源信道联合解码模型的精度：
其中，ζx表示x均值，ζy表示y的均值，表示x的方差，/>表示y的方差，σxy表示x和y的协方差。c1和c2表示协方差系数；
并且，当所述发送端的编码器输出的数据信号和所述发送端的解码器输出的数据信号之间的相似度误差大于容忍误差阈值ε时，即计算得到所述损失方程基于随机梯度下降算法更新所述信源信道联合编码模型和所述信源信道联合解码模型的参数。
可选的，所述发送端对所述第一业务信息处理形成所述第二业务信息的步骤具体包括：
利用所述语义编码模型提取的所述第一业务信息进行归一化处理，再将归一化处理后的所述第一业务信息输入残差神经网络中，利用多层残差卷积神经网络及参数化激活函数对所述第一业务信息进行编码，最后对所述第一业务信息进行正则化处理形成所述第二业务信息；
其中，所述参数化激活函数包括ReLU或PReLU：
若p＝0则激活函数PReLU等价于激活函数ReLU。
可选的，所述语义编码模型基于多层残差网络，包括瓶颈层和扩展瓶颈层两种残差网络，其中，所述瓶颈层的数量为2，所述扩展瓶颈层的数据为4。
根据本公开的另一方面，提供了一种解码方法，包括：
接收端接收发送端发送的第二业务信息，并利用信源信道联合解码模型进行解码得到语义编码信息、关键特征编码信息以及语义解码模型的参数；
所述接收端利用所述语义解码模型的参数构建所述语义解码模型，并利用所述语义解码模型对所述语义编码信息和所述关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
所述接收端利用解码得到的所述关键特征信息对所述语义信息进行校验；
所述接收端响应于所述语义信息通过校验，对所述语义信息进行恢复处理，得到第三业务信息；
所述接收端响应于所述语义信息未通过校验，利用所述关键特征信息对所述语义信息进行修复，或触发所述发送端重新发送所述第二业务信息，直到所述语义信息通过校验后对其进行恢复处理，以得到所述第三业务信息。
可选的，所述接收端对所述第二业务信息进行解码的步骤包括：
将所述第二业务信息输入所述语义解码模型的多个反卷积层，并通过激活函数输出，最后进行一次反正则化处理；其中，所述激活函数包括PReLU、ReLU、Sigmoid激活函数。
根据本公开的另一方面，提供了一种编码装置，包括：
第一获取模块，被配置为获取第一业务信息，并检测所述第一业务信息的数据类型；
模型选择模块，被配置为根据所述第一业务信息的数据类型选择适配的语义编码模型；
语义编码模块，被配置为将所述第一业务信息输入所述语义编码模型进行语义提取得到语义编码信息，并对所述第一业务信息进行特征提取得到关键特征编码信息；
信源信道联合编码模块，被配置为基于所述语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将所述语义编码信息、所述关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入信源信道联合编码模型，根据所述信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
可选的，所述编码装置还包括：模型训练模块，被配置为周期性地对所述接收端接收的所述第二业务信息进行采样，并计算所述发送端的解码器输出的所述第二业务信息与所述发送端的编码器输出的所述第二业务信息的均方误差，利用计算得到的所述均方误差训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器。
根据本公开的另一方面，还提供了一种解码装置，包括：
信源信道联合解码模块，被配置为接收第二业务信息，并利用信源信道联合解码模型进行解码得到所述语义编码信息、所述关键特征编码信息以及所述语义解码模型的参数；
语义解码模块，被配置为利用所述语义解码模型的参数构建所述语义解码模型，并利用所述语义解码模型对所述语义编码信息和所述关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
信息校验模块，被配置为利用所述关键特征信息对所述语义信息进行校验；
信息处理模块，被配置为响应于所述语义信息通过校验，对所述语义信息进行恢复处理，得到第三业务信息；并响应于所述语义信息未通过校验，利用所述关键特征信息对所述语义信息进行修复，或触发所述发送端重新发送所述第二业务信息，直到所述语义信息通过校验后对其进行恢复处理，以得到所述第三业务信息。
本公开还提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述技术方案中任一项所述的编码方法或解码方法。
本公开还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据上述实施例中任一项所述的编码方法或解码方法。
本公开还提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据上述实施例中任一项所述的编码方法或解码方法。
本公开提供了编码方法、解码方法、编码装置、解码装置、电子设备以及存储介质，将人工智能的语义提取与通信技术的信源信道联合编码相结合，结合信源信息的类型和信道传输环境来选择对应的信源信道联合编码模型，降低通信传输的数据量并确保通信传输的质量；并且通过提取的关键特征信息对传输的业务信息进行校验，在确保通信传输准确率的前提下大幅降低传输的数据量。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是本公开实施例中的编码方法的步骤图；
图2是本公开实施例中的解码方法的步骤图；
图3是本公开实施例中的信源信道联合编码和解码的整体流程图；
图4是本公开实施例中基于接收端反馈信息进行编码器模型优化的原理图；
图5是本公开实施例中的联合语义信源信道编码解码流程图；
图6是本公开实施例中进行特征提取的多层残差网络结构图；
图7是本公开实施例中残差网络的瓶颈层结构图；
图8是本公开实施例中残差网络的扩展瓶颈层结构图；
图9是本公开实施例中的关键特征提取分析过程图；
图10是本公开实施例中的编码装置的原理框图；
图11是本公开实施例中的解码装置的原理框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
智简网络中主要通过人工智能模型传播业务信息，通过使用人工智能模型将待传播的第一业务信息压缩为与所述人工智能模型相关的第二业务信息，极大地降低了网络中的数据通信量，压缩效率远超传统的压缩算法。其中，发送端设备利用预先配置的第一模型对所述第一业务信息进行提取并得到待传输的第二业务信息；所述发送端设备向接收端设备传输所述第二业务信息。接收端设备接收所述第二业务信息，并利用预先配置的第二模型对所述第二业务信息进行恢复处理得到第三业务信息；经第二模型恢复的第三业务信息比起原先的第一业务信息会有些许质量上的差异，但两者在内容上是一致的，给用户的体验几乎是无差异的。在所述发送端设备向接收端设备传输所述第二业务信息之前，还包括：更新模块判断所述接收端设备是否需要对所述第二模型进行更新，并在判断需要更新时向所述接收端设备传输预先配置的第三模型，所述接收端设备利用所述第三模型对所述第二模型进行更新。通过预先训练好的人工智能模型对业务信息进行处理，可显著降低通信业务中的数据传输量，极大地提升了信息传输效率。这些模型相对稳定，并具有复用性、传播性。模型的传播和复用将有助于增强网络智能，同时降低开销和资源浪费。所述模型能够根据不同切分规则切分为若干个模型切片，上述模型切片也可以在不同的网络节点之间传输，模型切片可以组装成模型。模型切片可以分散存储在多个网络节点上。当网络节点请发现自己缺少或需要更新某模型或某模型切片时，可以通过请求的方式，向周围可能具有该切片的节点请求。
传输所述业务信息、传输所述模型均发生在通信网络中，基于网络协议进行通信传输。传输所述业务信息、传输所述模型的路径上经过的网络节点包括智简路由器。智简路由器的功能包括但不限于业务信息传输、模型传输，吸收模型自我更新，安全保护等功能。智简路由器的传输功能，涉及将业务信息或模型从信源节点传输到信宿节点，信源节点和信宿节点之间存在多个路径。智简路由器的模型传输功能，可以对模型切片进行传输，通过合理安排模型切片走多个路径，多路传输模型切片，提高模型传输速率。
本公开提供了一种编码方法，如图1所示，包括：
步骤S101，发送端获取第一业务信息，并检测第一业务信息的数据类型；
步骤S102，发送端根据第一业务信息的数据类型选择适配的语义编码模型；
步骤S103，发送端将第一业务信息输入语义编码模型进行语义提取得到语义编码信息，并对第一业务信息进行特征提取得到关键特征编码信息；
步骤S104，发送端基于语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将语义编码信息、关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入信源信道联合编码模型，根据信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
具体地，编码方法的特点在于将信源的语义提取和信源信道编码联合考虑。如图3所示，在语义提取和信源信道联合编码方面，在发送端构建一个智简发送机，其主要包含两个模块，一个是语义编码模块，一个信源信道联合编码模块。在语义编码模块，采用人工智能方法，利用训练好的语义编码模型对信源数据(即第一业务信息)进行语义提取，并对提取的语义信息及其所选择的语义编码模型的参数进行智能编码。在语义提取过程中，基于第一业务信息的数据类型(文本或图像或视频)，提取关键特征信息，并对关键特征信息进行编码传输，该关键特征用于对复原信息进行校验，校验结果可以作为判断依据，判决信息是否需要重新传输，也可以作为发送端和接收端的语义编码模型、语义解码模型训练的反馈。在联合信源信道编码模块，利用人工智能技术对传输环境进行感知建模，以及对调制编码信道进行信道估计，基于信源信道联合编码模型，根据当前信道传输信息，对需要传输的数据进行信源信道联合编码。通过上述技术方案，将提取的语义信息与当前信道的传输环境结合起来，特定的信源信息结合特定的信道传输环境，选择特定的信源信道联合编码模型，例如，假设现需发送信源A，已知主流信道条件分为甲、乙、丙、丁，那么可以预先训练得到A甲、A乙、A丙、A丁四个信源信道联合编码模型。当某一次传输信源A时，当前的信道条件为丙，那么可以选择利用A丙模型进行编码。这样针对特定的信源类型和特定的信道传输环境选择的模型，有利于提升编码的准确率以及信道传输效率。
作为可选的实施方式，如图4所示，编码方法还包括：发送端周期性地对接收端接收的第二业务信息进行采样，并计算发送端的解码器输出的第二业务信息与发送端的编码器输出的第二业务信息的均方误差，利用计算得到的均方误差训练发送端的编码器、解码器以及接收端的编码器、解码器。其中，发送端的编码器和接收端的编码器均包括语义编码模型、信源信道联合编码模型两种编码模型，发送端的解码器和接收端的解码器均包括语义解码模型和信源信道联合解码模型两种解码模型。
为了使得编码器中的模型和解码器中的模型不断得到优化更新，如图4所示，本实施例中提出了将接收端2的解码器模型2A接收到数据信息(即第二业务信息)进行周期采样，通过物理信道再发送回原始发送端1，并将数据输入发送端1的解码器模型1A，将解码出的符号与发送端编码器模型1B输出的原始发送符号一起输入编解码器模型训练单元1C进行比对，计算两者的均方误差值，进行编码器和解码器的模型优化训练，从而提升编码模型和解码模型的编码解码能力，保证传输数据的准确率。
作为可选的实施方式，利用计算得到的均方误差训练发送端的编码器、解码器以及接收端的编码器、解码器包括：
计算发送端的解码器输出的语义信息与发送端的编码器输出的语义信息之间的均方误差：
其中，LMSE表示均方误差；S表示发送端的编码器输出的第二业务信息；S′表示发送端的解码器接收的第二业务信息；w,s,c分别表示图像的长、宽和信道数；
进一步地，计算原始图像S与解码图像S′之间的语义误差：
其中，LSE表示语义误差；Ω表示输出的语义编码模型倒数第二层输出的语义编码信息；
通过均方误差和语义误差得到用于训练编码器中的语义编码模型及解码器中的语义解码模型的损失方程：
其中，ε∈(0,1)表示权重因子，用于表示语义误差LSE和均方误差LMSE各自所占的比重。
需要说明的是，上述损失方程仅用于训练语义编码模型和语义解码模型。
同时，不仅考虑图像之间的差异，还需要考虑数据信号的差异性，计算发送端的解码器输出的数据信号与发送端的编码器输出的数据信号之间的损失方程，用于训练信源信道联合编码模型和/或信源信道联合解码模型：
其中，x表示发送端编码器输出的数据信号；x′表示发送端解码器输出的数据信号。
进一步地，在训练模型之前，需要评估模型的精度，当模型精度不足时才需要利用上述损失方程对模型进行训练。通过计算发送端编码器输出的原始图像(或数据信号)和发送端解码器输出的解码图像(或数据信号)之间的相似度，以评估模型的精度：
其中，ζx表示x均值；ζy表示y的均值；表示x的方差；/>表示y的方差；σxy表示x和y的协方差；c1和c2表示协方差系数。
通过上述评估公式得到发送端的编码器和发送端的解码器之间图像的相似度或数据信号的相似度，当相似度表明差异大于预设阈值时，例如时，表明语义编码模型或语义解码模型的精度不足，则可以利用损失方程/>对模型进行训练；当时，表明信源信道联合编码模型或信源信道联合解码模型的精度不足，导致编码或解码出的信息不准确，则可以利用损失方程/>对模型进行训练。
示例性地，基于图3所示的信源信道联合编码整体流程，假设发送端获取的第一业务信息为图像，定义一个图片信源为S∈Cwhs，其中w,h,s分别表示图片的长、宽以及信道的数量。首先基于一个图片预分类器选择一个特定的语义编码器和语义解码器，代号为n。其中语义编码器包括多层向下采样卷积层和多层线性编码层，将多维的图片信源(第一业务信息)降维为语义编码信息l∈Rd，其中，d表示语义编码信息的维度。α和β分别表示语义编码器和语义解码器的神经网络参数。那么，联合信源信道编码符号数据流表示为X，表示为：
X＝Ca(γ,Eβ(S))
其中，Ca和Eβ分别表示用于联合信源信道编码的编码器和解码器；参数γ表示语义解码模型的参数。
进一步地，发送端发送的比特数据流(第二业务信息)经过多通道信道衰落，接收端接收到的信息建模为：
其中，y表示接收到的符号信息流；δnoise表示加性高斯白噪声；h是多径信道的信道脉冲响应增益；表示卷积操作，假定对于一个符号信号流，信道相应是固定的，对于同一时间的不同符号之间是不同的。信道h随时间变化，具体表示如下：
其中，ak(t)表示第k个信道的信道增益；τk表示第k个信道的时延；K表示总的信道数量。
接收端对第二业务信息进行解码得到的数据表示为：
为了使得接收端解码出信息S′与信源信息S尽可能相同，采用均方误差(MeanSquare Error，MSE)作为损失方程的一部分，来训练语义编码模型与语义解码模型，即通过上述损失方程和/或/>训练模型。
在发射端配备语义编码器和语义解码器，语义解码器参数需要与语义编码信息一起传输至接收端，其中，语义解码模型需要配置得数据量越小越好。采用基于卷积神经网络的AI自动编码的基础框架来有效降低参数的冗余。对于一个特定信道的语义编码符号，第k层特征映射的语义表达为：
lk＝Λ(x*Wk)
其中，Λ表示激活函数(激活函数可以是参数化的ReLU或PReLU，Sigmod函数)；*表示2D的卷积操作。
接收端的全连通层与发送端的全连通层对称，接收端利用接收的语义解码模型参数恢复的重建模型，将语义比特数据流输入到重建语义解码模型，对第二业务信息进行恢复处理得到与第一业务信息高度相似的第三业务信息(恢复图像)，所得到的重建图形如下所示：
其中，W表示翻转操作。
进一步地，为了评估模型训练精度，引入结构相似度模型来评估两个图像的相似度，表示为：
其中，ζx表示x均值；ζy表示y的均值；表示x的方差；/>表示y的方差；σxy表示x和y的协方差；c1和c2表示协方差系数。
进一步地，根据原始图像和解码图像的相似度评估结果对语义编码模型和语义解码模型进行训练，训练步骤包括：
输入：从图像数据库获取一组图像S，和一个模型选择分类器Θ，容忍误差阈值ε；
计算l＝Eβ(S)；
计算
计算损失方程
基于随机梯度下降算法更新神经网络参数β,γ；
End while
输出：语义编码器和解码器模型Eβ，Dγ。
同时，根据数据信号的相似度评估结果对信源信道联合编码模型和信源信道联合解码模型进行训练，训练步骤包括：
输入：从图像数据库获取一组图像S，和一个模型选择分类器Θ，容忍误差阈值ε；语义编码模型Eβ和语义解码模型Dγ，衰落信道h，噪声δnoise；
计算符号数据流X＝Cα(γ,Eβ(S))；
计算接收到的符号数据流
基于解码出的比特数据得到解码器模型参数及其语义编码数据，分别表示为
计算损失函数
基于随机梯度下降算法更新神经网络参数α,θ；
End While
输出：得到训练好的网络模型：Cα，
作为可选的实施方式，如图5所示，发送端对第一业务信息处理形成第二业务信息的步骤具体包括：
利用语义编码模型提取第一业务信息进行归一化处理，再将归一化处理后的第一业务信息输入残差神经网络中，利用多层残差卷积神经网络及参数化激活函数对第一业务信息进行编码，最后对第一业务信息进行正则化处理形成第二业务信息；
其中，参数化激活函数包括ReLU或PReLU：
若p＝0则激活函数PReLU等价于激活函数ReLU；
接收端对第二业务信息进行解码的步骤包括：
将第二业务信息输入语义解码模型的多个反卷积层，并通过激活函数输出，最后进行一次反正则化处理；其中，激活函数包括PReLU、ReLU、Sigmoid激活函数。
具体地，本实施例中引入神经网络，将所提取的语义信息映射及相应的语义提取训练模型参数为比特数据，在卷积神经网络的基础上，引入残差网络，对信源编码器和解码器进行参数化处理。具体的联合信源信道编码流程如图5所示，参数化处理过程具体描述如下：
发送端将所提取的信源数据(第一业务信息)进行归一化处理，然后将归一化数据输入到残差神经网络中，残差神经网络采用参数化激活函数ReLU(PReLU)，信源数据被一个基于多层残差卷积神经网络的编码方程进行编码，经过多层卷积神经网络后，再对数据进行正则化处理，并将其输入到物理信道发送至接收端。PReLU激活函数具体表示为：
若p＝0则激活函数PReLU等价于激活函数ReLU。
此外，还需要对第一业务信息的关键特征进行提取，增加传输冗余以增加接收端解码的准确度。在特征提取方面，由ResNet50生成的多层残差网络，如图6所示，其中Res1-Res4是由ResNet50生成的残差卷积层，Res5是额外的卷积层，F为编码输出信息。其中，Res1-Res4具有不同的卷积结构，通常需要基于F的输出格式做调整，Res1初始化一般采用：(7X7conv,64,stride 2)参数方式(卷积是7x7，64像素，步长2)。采用上述残差网络结构的优点是：(1)复杂度低，所需的参量少；(2)网络深度更深，不会出现梯度消失；(3)分类准确度增加；(4)解决了训练过程中的网络退化问题。
如图5所示，接收端将接收的数据输入到与传输卷积层相对应的反卷积层，并通过激活函数输出，并再进行一次反正则化处理，解码出语义比特数据、语义解码模型参数的比特数据和关键特征提取编码信息的比特数据。基于语义解码模型参数，解码出语义信息。上文所述的激活函数包括但不限于PReLU、ReLU、Sigmoid激活函数等。解码器的反卷积神经网络与编码器的神经网络相对应。
在关键特征提取方面，引入两种类型的残差网络，一种是瓶颈层，另一种是扩展瓶颈层，其中，瓶颈层和扩展瓶颈层结构如图7和图8所示。基于残差神经网络的关键特征分析过程如图9所示。接收端将接收到的语义信息输入到两个瓶颈层和四个扩展瓶颈层分别进行语义分割和语义解析。
本公开还提供了一种解码方法，如图2所示，包括：
步骤S201，接收端接收发送端发送的第二业务信息，并利用信源信道联合解码模型进行解码得到语义编码信息、关键特征编码信息以及语义解码模型的参数；
步骤S202，接收端利用语义解码模型的参数构建语义解码模型，并利用语义解码模型对语义编码信息和关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
步骤S203，接收端利用解码得到的关键特征信息对语义信息进行校验；
步骤S204，接收端响应于语义信息通过校验，对语义信息进行恢复处理，得到第三业务信息；
步骤S205，接收端响应于语义信息未通过校验，利用关键特征信息对语义信息进行修复，或触发发送端重新发送第二业务信息，直到语义信息通过校验后转向步骤S204，对语义信息进行恢复处理，以得到第三业务信息。
本实施例在接收端构建一个智简接收机，智简接收机可以包括基于AI模型的信源信道解码器和基于AI模型的语义解码器。智能接收机根据AI模型参数对接收的第二业务信息(第二业务信息为比特数据)进行解码，得到用于接收端进行语义解码的语义解码模型参数、语义编码信息以及关键特征编码信息，再利用语义解码模型参数构建语义解码模型，进行语义解码得到与第一业务信息对应的语义信息及关键特征信息。为了校验接收信息的准确性，需要对解码得到的语义信息进行校验，本公开提供了两种校验方式：(1)对语义信息中的重要信息进行分析，并与接收到的关键特征信息相对比；(2)将语义信息输入到校验网络中，并判断校验网络输出元素是否在关键特征信息里。若校验通过说明接收端解码出的语义信息是正确的，反之则语义信息不正确，利用关键特征信息对校验没有通过的语义信息进行修复，或者必要的情况下可以触发发送端重新发送或部分重新发送业务信息，以确保传输业务信息的准确性。
作为可选的实施方式，接收端对第二业务信息进行解码的步骤包括：将第二业务信息输入语义解码模型的多个反卷积层，并通过激活函数输出，最后进行一次反正则化处理；其中，激活函数包括PReLU、ReLU、Sigmoid激活函数。最后，接收端将解码出来的语义信息输入到特征校验网络，进行复原语义信息校验。该特征校验网络的处理过程包括：将解码得到的特征信息进行池化处理，并将信道的信噪比加入与池化信息拼接，输入到全连接层，并通过激活函数PReLU输出，然后输入到下一个全连接层，再通过Sigmoid激活函数输出。通过特征校验网络输出的数据与关键特征信息匹配程度，从而判断解码出信源图像信息是否正确。
本公开还提供了一种编码装置，如图10所示，包括：
第一获取模块101，被配置为获取第一业务信息，并检测第一业务信息的数据类型；
模型选择模块102，被配置为根据第一业务信息的数据类型选择适配的语义编码模型；
语义编码模块103，被配置为将第一业务信息输入语义编码模型进行语义提取得到语义编码信息，并对第一业务信息进行特征提取得到关键特征编码信息；
信源信道联合编码模块104，被配置为基于语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将语义编码信息、关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入信源信道联合编码模型，根据信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
具体地，信源信道联合编码方法的特点在于将信源的语义提取和信源信道编码联合考虑。其中，第一获取模块101、模型选择模块102、语义编码模块103、信源信道联合编码模块104可以设置于发送端1中。在语义提取和信源信道联合编码方面，在发送端构建一个智简发送机，智简发送机主要包含两个模块，一个是语义编码模块，一个信源信道联合编码模块。图3所示为发送端语义编码传输与接收端语义复原的整体流程图，语义编码模块103采用人工智能方法，利用训练好的语义编码模型对信源数据(即第一业务信息)进行语义提取，并对提取的语义信息及其所选择的语义编码模型的参数进行智能编码。在语义提取过程中，基于第一业务信息的数据类型(文本或图像或视频)，提取关键特征信息，并对关键特征信息进行编码传输，该关键特征用于对复原信息进行校验，校验结果可以作为判断依据，判决信息是否需要重新传输，也可以作为发送端和接收端的语义编码模型、语义解码模型训练的反馈。在信源信道联合编码模块104，利用人工智能技术对传输环境进行感知建模，以及对调制编码信道进行信道估计，基于AI模型，根据当前信道传输信息，对需要传输的数据进行信源信道联合编码。通过上述编码装置，将提取的语义信息与当前信道的传输环境结合起来，利用AI模型输出较优的编码模式，有利于提升编码的准确率以及信道传输效率。
作为可选的实施方式，编码装置还包括：模型训练模块105，被配置为周期性地对接收端接收的第二业务信息进行采样，并计算发送端的解码器输出的第二业务信息与发送端的编码器输出的第二业务信息的均方误差，利用计算得到的均方误差训练发送端的编码器、解码器以及接收端的编码器、解码器。本实施例中的模型训练方法与上述编码方法实施例中的模型训练方法一致，通过计算损失方程对模型进行训练，因此以下不再赘述。
本公开还提供了一种解码装置，如图11所示，包括：
信源信道联合解码模块201，被配置为接收第二业务信息，并利用信源信道联合解码模型进行解码得到语义编码信息、关键特征编码信息以及语义解码模型的参数；
语义解码模块202，被配置为利用语义解码模型的参数构建语义解码模型，并利用语义解码模型对语义编码信息和关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
信息校验模块203，被配置为利用关键特征信息对语义信息进行校验；
信息处理模块204，被配置为响应于语义信息通过校验，对语义信息进行恢复处理，得到第三业务信息；并响应于语义信息未通过校验，利用关键特征信息对语义信息进行修复，或触发发送端重新发送第二业务信息，直到语义信息通过校验后对其进行恢复处理，以得到第三业务信息。
具体地，信源信道联合解码模块201、语义解码模块202、信息校验模块203、信息处理模块204可以设置于接收端2中。在接收端，构建一个智简接收机，智简接收机可以包括基于AI模型的信源信道解码器和基于AI模型的语义解码器。信源信道联合解码模块201根据AI模型参数对接收的第二业务信息(第二业务信息为比特数据)进行解码，得到用于接收端进行语义解码的语义解码模型参数、语义编码信息以及关键特征编码信息，语义解码模块202再利用语义解码模型参数构建语义解码模型，进行语义解码得到与第一业务信息对应的语义信息及关键特征信息。为了校验接收信息的准确性，需要信息校验模块203对解码得到的语义信息进行校验，本公开提供了两种校验方式：(1)对语义信息中的重要信息进行分析，并与接收到的关键特征信息相对比；(2)将语义信息输入到校验网络中，并判断校验网络输出元素是否在关键特征信息里。若校验通过说明接收端解码出的语义信息是正确的，信息处理模块204则对正确的语义信息进行语义恢复得到第三业务信息，例如第一业务信息为图像，第二业务信息包含对第一业务信息进行语义提取得到的语义信息，通过对语义信息进行恢复得到与第一业务信息高度相似的图像，即第三业务信息，通过这种方式大幅降低传输的数据量，提升通信效率；反之则语义信息不正确，利用关键特征信息对校验没有通过的语义信息进行修复，或者必要的情况下可以触发发送端重新发送或部分重新发送业务信息，直到接收端解码得到的语义信息通过信息校验模块203的校验，以确保传输业务信息的准确性。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
具体地，电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
设备包括计算单元，其可以根据存储在只读存储器(ROM)中的计算机程序或者从存储单元加载到随机访问存储器(RAM)中的计算机程序，来执行各种适当的动作和处理。在RAM中，还可存储设备操作所需的各种程序和数据。计算单元、ROM以及RAM通过总线彼此相连。输入/输出(I/O)接口也连接至总线。
设备中的多个部件连接至I/O接口，包括：输入单元，例如键盘、鼠标等；输出单元，例如各种类型的显示器、扬声器等；存储单元，例如磁盘、光盘等；以及通信单元，例如网卡、调制解调器、无线通信收发机等。通信单元允许设备通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元执行上文所描述的各个方法和处理，例如上述实施例中的编码方法或解码方法。例如，在一些实施例中，编码方法或解码方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元。在一些实施例中，计算机程序的部分或者全部可以经由ROM和/或通信单元而被载入和/或安装到设备上。当计算机程序加载到RAM并由计算单元执行时，可以执行上文描述的编码方法或解码方法的一个或多个步骤。备选地，在其他实施例中，计算单元可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行编码方法或解码方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的编码方法或解码方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (16)

1.一种编码方法，其特征在于，包括：
发送端获取第一业务信息，并检测所述第一业务信息的数据类型；
所述发送端根据所述第一业务信息的数据类型选择适配的语义编码模型；
所述发送端将所述第一业务信息输入所述语义编码模型进行语义提取得到语义编码信息，并对所述第一业务信息进行特征提取得到关键特征编码信息；
所述发送端基于所述语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将所述语义编码信息、所述关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入所述信源信道联合编码模型，根据所述信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
2.根据权利要求1所述的编码方法，其特征在于，还包括：所述发送端周期性地对所述接收端接收的所述第二业务信息进行采样，并计算所述发送端的解码器输出的所述第二业务信息与所述发送端的编码器输出的所述第二业务信息的均方误差，利用计算得到的所述均方误差训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器。
3.根据权利要求2所述的编码方法，其特征在于，所述训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器包括：
计算所述发送端的解码器输出的语义信息与所述发送端的编码器输出的语义信息之间的均方误差：
其中，LMSE表示所述均方误差；S表示所述发送端的编码器输出的所述第二业务信息；S′表示所述发送端的解码器接收的所述第二业务信息；w,s,c分别表示图像的长、宽和信道数；
进一步地，计算原始图像与解码图像之间的语义误差：
其中，LSE表示所述语义误差；Ω表示所述语义编码模型倒数第二层输出的语义编码信息；
通过所述均方误差和所述语义误差得到用于训练所述编码器中的所述语义编码模型及所述解码器中的所述语义解码模型的损失方程：
其中，ε∈(0,1)表示权重因子，用于表示所述语义误差LSE和所述均方误差LMSE各自所占的比重。
4.根据权利要求2所述的编码方法，其特征在于，所述训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器还包括：
通过下列公式计算所述发送端的解码器输出的数据信号与所述发送端的编码器输出的数据信号之间的损失方程，用于训练所述编码器中的信源信道联合编码模型和/或所述解码器中的信源信道联合解码模型：
其中，x表示所述发送端的编码器输出的数据信号；x′表示所述发送端的解码器输出的数据信号。
5.根据权利要求3所述的编码方法，其特征在于，还包括通过下列步骤训练所述语义编码模型和/或所述语义解码模型：
通过下述公式计算所述发送端的编码器输出的原始图像和所述发送端的解码器输出的解码图像之间的相似度，以评估所述语义编码模型和所述语义解码模型的精度：
其中，ζx表示x均值，ζy表示y的均值，表示x的方差，/>表示y的方差，σxy表示x和y的协方差；c1和c2表示协方差系数；
并且，当所述原始图像和所述解码图像之间的相似度误差大于容忍误差阈值ε时，即计算得到所述损失方程/>基于随机梯度下降算法更新所述语义编码模型和/或所述语义解码模型的参数。
6.根据权利要求4所述的编码方法，其特征在于，还包括通过下列步骤训练所述信源信道联合编码模型和/或所述信源信道联合解码模型：
通过下述公式计算所述发送端编码器输出的数据信号和所述发送端解码器输出的数据信号之间的相似度，以评估所述信源信道联合编码模型和所述信源信道联合解码模型的精度：
其中，ζx表示x均值，ζy表示y的均值，表示x的方差，/>表示y的方差，σxy表示x和y的协方差。c1和c2表示协方差系数；
并且，当所述发送端的编码器输出的数据信号和所述发送端的解码器输出的数据信号之间的相似度误差大于容忍误差阈值ε时，即计算得到所述损失方程基于随机梯度下降算法更新所述信源信道联合编码模型和所述信源信道联合解码模型的参数。
7.根据权利要求1所述的编码方法，其特征在于，所述发送端对所述第一业务信息处理形成所述第二业务信息的步骤具体包括：
利用所述语义编码模型提取的所述第一业务信息进行归一化处理，再将归一化处理后的所述第一业务信息输入残差神经网络中，利用多层残差卷积神经网络及参数化激活函数对所述第一业务信息进行编码，最后对所述第一业务信息进行正则化处理形成所述第二业务信息；
其中，所述参数化激活函数包括ReLU或PReLU：
若p＝0则激活函数PReLU等价于激活函数ReLU。
8.根据权利要求1所述的编码方法，其特征在于，所述语义编码模型基于多层残差网络，包括瓶颈层和扩展瓶颈层两种残差网络，其中，所述瓶颈层的数量为2，所述扩展瓶颈层的数据为4。
9.一种解码方法，其特征在于，包括：
接收端接收发送端发送的第二业务信息，并利用信源信道联合解码模型进行解码得到语义编码信息、关键特征编码信息以及语义解码模型的参数；
所述接收端利用所述语义解码模型的参数构建所述语义解码模型，并利用所述语义解码模型对所述语义编码信息和所述关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
所述接收端利用解码得到的所述关键特征信息对所述语义信息进行校验；
所述接收端响应于所述语义信息通过校验，对所述语义信息进行恢复处理，得到第三业务信息；
所述接收端响应于所述语义信息未通过校验，利用所述关键特征信息对所述语义信息进行修复，或触发所述发送端重新发送所述第二业务信息，直到所述语义信息通过校验后对其进行恢复处理，以得到所述第三业务信息。
10.根据权利要求9所述的解码方法，其特征在于，所述接收端对所述第二业务信息进行解码的步骤包括：
将所述第二业务信息输入所述语义解码模型的多个反卷积层，并通过激活函数输出，最后进行一次反正则化处理；其中，所述激活函数包括PReLU、ReLU、Sigmoid激活函数。
11.一种编码装置，其特征在于，包括：
第一获取模块，被配置为获取第一业务信息，并检测所述第一业务信息的数据类型；
模型选择模块，被配置为根据所述第一业务信息的数据类型选择适配的语义编码模型；
语义编码模块，被配置为将所述第一业务信息输入所述语义编码模型进行语义提取得到语义编码信息，并对所述第一业务信息进行特征提取得到关键特征编码信息；
信源信道联合编码模块，被配置为基于所述语义编码信息的类型与当前的信道传输环境，选择对应的信源信道联合编码模型，并将所述语义编码信息、所述关键特征编码信息、语义解码模型的参数以及信道传输环境参数输入信源信道联合编码模型，根据所述信源信道联合编码模型输出的编码模式进行编码形成第二业务信息并通过物理信道向接收端发送。
12.根据权利要求11所述的编码装置，其特征在于，还包括：模型训练模块，被配置为周期性地对所述接收端接收的所述第二业务信息进行采样，并计算所述发送端的解码器输出的所述第二业务信息与所述发送端的编码器输出的所述第二业务信息的均方误差，利用计算得到的所述均方误差训练所述发送端的编码器、解码器以及所述接收端的编码器、解码器。
13.一种解码装置，其特征在于，包括：
信源信道联合解码模块，被配置为接收第二业务信息，并利用信源信道联合解码模型进行解码得到所述语义编码信息、所述关键特征编码信息以及所述语义解码模型的参数；
语义解码模块，被配置为利用所述语义解码模型的参数构建所述语义解码模型，并利用所述语义解码模型对所述语义编码信息和所述关键特征编码信息进行语义解码，得到语义信息和关键特征信息；
信息校验模块，被配置为利用所述关键特征信息对所述语义信息进行校验；
信息处理模块，被配置为响应于所述语义信息通过校验，对所述语义信息进行恢复处理，得到第三业务信息；并响应于所述语义信息未通过校验，利用所述关键特征信息对所述语义信息进行修复，或触发所述发送端重新发送所述第二业务信息，直到所述语义信息通过校验后对其进行恢复处理，以得到所述第三业务信息。
14.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的编码方法或权利要求9-10中任一项所述的解码方法。
15.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的编码方法或权利要求9-10中任一项所述的解码方法。
16.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的编码方法或权利要求9-10中任一项所述的解码方法。
CN202211072342.5A 2022-09-02 2022-09-02 编码方法、解码方法、编码装置、解码装置及电子设备 Pending CN117692094A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202211072342.5A CN117692094A (zh) 2022-09-02 2022-09-02 编码方法、解码方法、编码装置、解码装置及电子设备
PCT/CN2023/092061 WO2024045672A1 (zh) 2022-09-02 2023-05-04 编码方法、解码方法、编码装置、解码装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211072342.5A CN117692094A (zh) 2022-09-02 2022-09-02 编码方法、解码方法、编码装置、解码装置及电子设备

Publications (1)

Publication Number Publication Date
CN117692094A true CN117692094A (zh) 2024-03-12

Family

ID=90100298

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211072342.5A Pending CN117692094A (zh) 2022-09-02 2022-09-02 编码方法、解码方法、编码装置、解码装置及电子设备

Country Status (2)

Country Link
CN (1) CN117692094A (zh)
WO (1) WO2024045672A1 (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116018647A (zh) * 2020-07-10 2023-04-25 皇家飞利浦有限公司 通过基于可配置机器学习的算术编码进行的基因组信息压缩
CN113379040B (zh) * 2021-07-07 2022-11-01 东南大学 基于语义编码的混合重传方法
CN114448563B (zh) * 2021-12-13 2024-03-08 北京邮电大学 语义编码传输方法及电子设备
CN114885370A (zh) * 2022-04-24 2022-08-09 北京邮电大学 语义通信方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2024045672A1 (zh) 2024-03-07

Similar Documents

Publication Publication Date Title
US11783511B2 (en) Channel-wise autoregressive entropy models for image compression
CN114445831A (zh) 一种图文预训练方法、装置、设备以及存储介质
CN113889076B (zh) 语音识别及编解码方法、装置、电子设备及存储介质
CN113327599B (zh) 语音识别方法、装置、介质及电子设备
CN116978011B (zh) 一种用于智能目标识别的图像语义通信方法及系统
WO2022028197A1 (zh) 一种图像处理方法及其设备
CN116600119B (zh) 视频编码、解码方法、装置、计算机设备和存储介质
CN117436408A (zh) 一种语义通信方法、装置、设备以及存储介质
CN108171325B (zh) 一种多尺度人脸恢复的时序集成网络、编码装置及解码装置
CN113628116A (zh) 图像处理网络的训练方法、装置、计算机设备和存储介质
CN113177483A (zh) 视频目标分割方法、装置、设备以及存储介质
CN116918329A (zh) 一种视频帧的压缩和视频帧的解压缩方法及装置
WO2023179800A1 (zh) 通信接收方法及其装置
CN114663536B (zh) 一种图像压缩方法及装置
CN117692094A (zh) 编码方法、解码方法、编码装置、解码装置及电子设备
CN110958417A (zh) 一种基于语音线索的视频通话类视频去除压缩噪声的方法
CN113949880B (zh) 一种极低码率人机协同图像编码训练方法及编解码方法
CN115631502A (zh) 文字识别方法、装置、模型训练方法、电子设备及介质
Ma et al. Attention-based UNet enabled Lightweight Image Semantic Communication System over Internet of Things
CN118350416B (zh) 基于大模型的多模态语义通信方法、系统、设备及介质
US20230229894A1 (en) Method and apparatus for compression and training of neural network
CN116522947A (zh) 基于智简网络的信息发送方法、装置、电子设备及介质
US20240013426A1 (en) Image processing system and method for image processing
CN116152366A (zh) 基于特征的图像重建方法、系统、电子设备及可读介质
CN118803242A (zh) 图像编码方法、图像解码方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication