CN116029340B - 一种基于深度学习网络的图像及语义信息传输方法 - Google Patents

一种基于深度学习网络的图像及语义信息传输方法 Download PDF

Info

Publication number
CN116029340B
CN116029340B CN202310039257.7A CN202310039257A CN116029340B CN 116029340 B CN116029340 B CN 116029340B CN 202310039257 A CN202310039257 A CN 202310039257A CN 116029340 B CN116029340 B CN 116029340B
Authority
CN
China
Prior art keywords
image
neural network
feature vector
semantic information
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310039257.7A
Other languages
English (en)
Other versions
CN116029340A (zh
Inventor
黄川�
崔曙光
黄坚豪
张晗
唐心怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202310039257.7A priority Critical patent/CN116029340B/zh
Publication of CN116029340A publication Critical patent/CN116029340A/zh
Application granted granted Critical
Publication of CN116029340B publication Critical patent/CN116029340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习网络的图像及语义信息传输方法，包括以下步骤：S1.给定发射端的数据处理模型：发射端基于神经网络，对图像进行特征向量提取后对特征向量进行量化，然后结合概率密度函数进行编码得到符号序列传输给接收端；S2.给定接收端的数据处理模型：接收端接收符号序列，进行解码并获取特征向量，根据特征向量恢复出图像信息，然后恢复出图像的语义信息；S3.进行神经网络参数训练；S4.对图像及语义信息进行传输。本发明在点对点信道条件下，基于神经网络对图像信息和图像的语义信息进行联合恢复，能够自适应的学习图像特征的分布，具有良好的图像恢复效果，并引入和训练了语义神经网络，具有较好的语义恢复效果。

Description

一种基于深度学习网络的图像及语义信息传输方法
技术领域
本发明涉及信息传输，特别是涉及一种基于深度学习网络的图像及语义信息传输方法。
背景技术
随着5G通信时代的到来，多媒体应用的爆发式增长使得通信频谱资源的利用面临巨大挑战，因此需要从传统的比特级通讯升级到语义级通讯。
传统的比特级通信方式，只是对数据进行简单的压缩和发送，无法高效的完成众多的语义任务，如人脸识别，物体识别等。语义通信技术是利用先进的深度学习技术，对原始数据的语义信息进行提取，压缩与编码，具有更高的频谱利用效率。然而，目前的语义通信技术，缺少对于图像及其语义信息联合传输的分析，使得图像的传输和语义任务的性能远远没有达到最优。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于深度学习网络的图像及语义信息传输方法，能够实现图像信息和图像的语义信息进行联合恢复。
本发明的目的是通过以下技术方案来实现的：一种基于深度学习网络的图像及语义信息传输方法，包括以下步骤：
S1.给定发射端的数据处理模型：
发射端基于神经网络，对图像进行特征向量提取后对特征向量进行量化，然后结合概率密度函数进行编码得到符号序列传输给接收端；
S2.给定接收端的数据处理模型：
接收端接收符号序列，进行解码并基于神经网络得到特征向量，根据特征向量恢复出图像信息，然后恢复出图像的语义信息；
S3.神经网络参数训练：
构建训练样本，对图像及语义信息传输过程中，发射端和接收端的数据处理模型中包含的神经网络参数进行训练，训练结束后将得到的神经网络参数更新到发射端和接收端的数据处理模型中；
S4.图像及语义信息传输：
利用更新后发射端的数据处理模型，对待传输的图像及语义信息进行处理，然后传输给接收端；
然后利用更新接收端的数据处理模型，对接收到的信息进行处理，实现图像及语义信息的恢复，从而完成图像及语义传输。
本发明的有益效果是：本发明在点对点信道条件下，基于神经网络对图像信息和图像的语义信息进行联合恢复，并设计的一种分布学习模块，能够自适应的学习图像特征的分布，因此该方法能够比传统的图像恢复算法具有更好的图像恢复效果。同时通过引入和训练语义神经网络，使得该方法具有更好的语义恢复效果。
附图说明
图1为本发明的具体流程图；
图2为特征提取函数
Figure SMS_1
的神经网络结构图；
图3为分布学习模块的框架图；
图4为函数
Figure SMS_2
的神经网络结构图；
图5为函数
Figure SMS_3
的神经网络结构图；
图6为图像恢复函数
Figure SMS_4
的神经网络结构图；
图7为图像峰值信噪比随压缩信道带宽率变化的仿真图；
图8为语义恢复准确率随压缩信道带宽率变化的仿真图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种基于深度学习网络的图像及语义信息传输方法，包括以下步骤：
S1.给定发射端的数据处理模型：发射端基于神经网络，对图像进行特征向量提取后对特征向量进行量化，然后结合概率密度函数进行编码得到符号序列传输给接收端；
S101. 图像数据
Figure SMS_5
先通过函数/>
Figure SMS_9
提取特征，输出为特征向量/>
Figure SMS_11
，/>
Figure SMS_6
代表所有维度为K的实数向量。其中，函数/>
Figure SMS_10
是由神经网络构成的函数，神经网络参数为/>
Figure SMS_12
，其具体结构如图2所示。详细说明如下：首先，图像/>
Figure SMS_14
先通过一个归一化函数，使得图像的每个元素取值范围在/>
Figure SMS_7
之间；然后，再通过一个卷积神经网络，其卷积核为/>
Figure SMS_8
，通道数为162，下采样数为2，激活函数为generalized divisive normalization (GDN) 函数；接着，再通过一个卷积神经网络，其卷积核为/>
Figure SMS_13
，通道数为162，下采样数为2，激活函数为GDN; 最后通过一个卷积神经网络，其卷积核为/>
Figure SMS_15
，通道数为162，下采样数为1，激活函数为GDN.
S102. 得到特征向量
Figure SMS_16
后，通过均匀量化器将特征向量/>
Figure SMS_17
进行量化，输出为量化后的特征向量/>
Figure SMS_18
，均匀量化器主要原理为通过四舍五入的原理，将特征向量/>
Figure SMS_19
的每个元素量化为相邻整数；
同时将特征向量
Figure SMS_21
，通过一个分布学习模块，输出为特征向量/>
Figure SMS_24
和条件分布概率值
Figure SMS_26
，其中，/>
Figure SMS_22
是指概率分布函数/>
Figure SMS_25
中，/>
Figure SMS_27
为取值为/>
Figure SMS_28
的向量时得到的值；/>
Figure SMS_20
为K维任意整数向量，满足/>
Figure SMS_23
；
S103. 接下来详细介绍S102中第二步中分布学习模块的设计：如图3所示，首先,输入特征向量
Figure SMS_45
通过一个参数为/>
Figure SMS_32
的神经网络/>
Figure SMS_36
，输出为特征向量/>
Figure SMS_39
。其中神经网络/>
Figure SMS_42
的设计如图4所示，由三个卷积神经网络级联得到，卷积核分别为/>
Figure SMS_44
，/>
Figure SMS_46
和/>
Figure SMS_37
, 通道数统一为162，下采样数分别为1，2和2。接着，特征向量/>
Figure SMS_41
通过量化得到/>
Figure SMS_31
；然后，/>
Figure SMS_33
输入参数为
Figure SMS_38
的神经网络/>
Figure SMS_40
，输出为向量/>
Figure SMS_43
, 其中D是维度。其中，神经网络/>
Figure SMS_47
的详细设计如图5所示，由三个卷积神经网络级联得到，卷积核分别为/>
Figure SMS_30
，/>
Figure SMS_35
和/>
Figure SMS_29
, 通道数统一为162，上采样数分别为2，2和1，激活函数为 inverse generalized divisivenormalization (IGDN) 函数；最后概率分布函数/>
Figure SMS_34
可以计算为：
Figure SMS_48
其中，
Figure SMS_49
，/>
Figure SMS_50
代表所有维度为K的整数域向量，/>
Figure SMS_51
是均值为0，方差为/>
Figure SMS_52
的高斯概率密度函数，它的变量为/>
Figure SMS_53
。
S104. 从S101得到特征向量
Figure SMS_54
并且从S102中得到特征向量/>
Figure SMS_55
和条件分布概率值
Figure SMS_56
后。我们作如下处理：对于特征向量/>
Figure SMS_57
，它的分布/>
Figure SMS_58
满足：
Figure SMS_59
其中，
Figure SMS_60
，/>
Figure SMS_61
是参数化神经网络（non-parametricfully-factorized density model）参数为/>
Figure SMS_62
，我们设/>
Figure SMS_63
。利用概率计算值/>
Figure SMS_64
，采用算数编码技术将特征向量/>
Figure SMS_65
编码为比特序列，得到比特流/>
Figure SMS_66
。
同样地，利用S103中的概率分布函数
Figure SMS_67
，将向量/>
Figure SMS_68
利用算数编码技术编码为比特序列，得到比特流/>
Figure SMS_69
。
S105. 将S104中得到的比特流
Figure SMS_70
和/>
Figure SMS_71
，利用信道编码技术（例如参数为(1944,1296)的LDPC+16QAM编码器），编码为符号序列/>
Figure SMS_72
。经过信道后，得到接受信号/>
Figure SMS_73
，其满足：
Figure SMS_74
其中，
Figure SMS_75
，/>
Figure SMS_76
，L为信号/>
Figure SMS_77
和/>
Figure SMS_78
的维度；/>
Figure SMS_79
为高斯白噪声，满足均值为0，方差为/>
Figure SMS_80
。
S2.给定接收端的的数据处理模型：接收端接收符号序列，进行解码并基于神经网络得到特征向量，根据特征向量恢复出图像信息，然后恢复出图像的语义信息；
S201. 首先符号序列
Figure SMS_81
通过信道解码器（如参数为(1944, 1296)的LDPC+16QAM解码器），恢复出比特流/>
Figure SMS_82
和/>
Figure SMS_83
。
S202. 在这一步骤中，我们从比特流
Figure SMS_85
和/>
Figure SMS_87
中恢复出特征向量/>
Figure SMS_90
和/>
Figure SMS_86
。首先，我们将/>
Figure SMS_88
和S104中得到的/>
Figure SMS_91
输入到算数解码器中，解码出/>
Figure SMS_93
。 然后输入到神经网络/>
Figure SMS_84
，得到/>
Figure SMS_89
，计算出/>
Figure SMS_92
为:/>
Figure SMS_94
最后将得到的
Figure SMS_95
和/>
Figure SMS_96
输入到算数解码器中，输出特征向量/>
Figure SMS_97
。
S203. 在这一步骤中，我们通过S202中得到的特征向量
Figure SMS_98
，恢复出图像信息/>
Figure SMS_102
。首先，将特征向量/>
Figure SMS_104
通过神经网络/>
Figure SMS_100
得到/>
Figure SMS_103
,神经网络参数为/>
Figure SMS_106
。如图6所示，/>
Figure SMS_107
是由四个级联的卷积神经网络加一个去归一化函数组成的。前三个级联的卷积神经网络的卷积核分别为
Figure SMS_99
，/>
Figure SMS_101
和/>
Figure SMS_105
, 通道数前两个为162，最后一个是3， 上采样数分别为1，2和2，激活函数统一为 inverse generalized divisive normalization (IGDN) 函数。最后一个卷积神经网络的卷积核为，通道数为3，激活函数为Relu函数。去归一化函数是将四个卷积神经网络的输出的每一个元素乘以255。
S204. 在这一步骤中，我们通过S203中得到的图像信息
Figure SMS_108
，恢复出语义信息/>
Figure SMS_109
。 我们将/>
Figure SMS_110
输入神经网络Resnet 中，参数为/>
Figure SMS_111
，输出为后验概率/>
Figure SMS_112
，最后通过最大后验解码恢复出语义信息，即：
Figure SMS_113
步骤S1，S2介绍了发射机和接收机的具体步骤，然而神经网络的参数需要经过训练之后才能使用。为此，我们在S3中详细介绍了如何训练神经网络。
S3.神经网络参数训练：
构建训练样本，对图像及语义信息传输过程中，发射端和接收端的数据处理模型中包含的神经网络参数进行训练，训练结束后将得到的神经网络参数更新到发射端和接收端的数据处理模型中；
S301. 初始化，输入神经网络参数
Figure SMS_114
，两组训练样本/>
Figure SMS_117
，
Figure SMS_119
，样本总数分别为/>
Figure SMS_116
和/>
Figure SMS_118
，超参数/>
Figure SMS_120
，其中样本数据/>
Figure SMS_121
为需要传输的图像信息，
Figure SMS_115
为在接收端需要恢复的关于图像类别的语义信息；
S302. 固定参数
Figure SMS_122
，训练参数/>
Figure SMS_123
：
将样本
Figure SMS_124
输入神经网络中，输出计算为/>
Figure SMS_125
，/>
Figure SMS_126
，
Figure SMS_127
为输出的图像信息，计算为/>
Figure SMS_128
；同时概率值计算为/>
Figure SMS_129
和/>
Figure SMS_130
；
Figure SMS_131
是由均值为0，范围为1的均匀分布产生的样本，得到的输出结合概率密度函数模型/>
Figure SMS_132
，/>
Figure SMS_133
和语义信息/>
Figure SMS_134
，计算如下损失函数：
Figure SMS_135
Figure SMS_136
/>
Figure SMS_137
其中
Figure SMS_138
代表均方误差。
利用后向迭代算法和Ada优化器对神经网络进行训练，每一次输入训练样本
Figure SMS_139
进入神经网络，计算损失函数，然后进行参数更新；当更新固定数量次后，输出为更新后的神经网络参数，即/>
Figure SMS_140
；
S303. 输入S302中产生的参数
Figure SMS_141
和样本集合/>
Figure SMS_142
，训练参数/>
Figure SMS_143
。输入为/>
Figure SMS_144
，输出与S302的神经网络计算方法一致，损失函数为：
Figure SMS_145
利用后向迭代算法和Ada优化器对神经网络进行训练，每一次输入训练样本
Figure SMS_146
进入神经网络，计算损失函数，然后进行参数更新；当更新固定数量次后，输出为更新后的神经网络参数，即/>
Figure SMS_147
；
S304.输出神经网络参数
Figure SMS_148
更新到发射端和接收端的数据处理模型中。
S4.图像及语义信息传输：
利用更新后发射端的数据处理模型，对待传输的图像及语义信息进行处理，然后传输给接收端；
然后利用更新接收端的数据处理模型，对接收到的信息进行处理，实现图像及语义信息的恢复，从而完成图像及语义传输。
在本申请的实施例中，给出一些仿真结果，来验证提出方案的可行性。实验参数选择为：选择的图像数据集为CIFAR10，
Figure SMS_149
，信道信噪比设定为10 dB。
在图7的实验中，我们将所提出的方法与现有的BPG，NTSCC，DJSCC，做了对比。其中横坐标是压缩比率，它是由信道编码后发送的符号数除以图像维度得到的。纵坐标是峰值信噪比，常用于衡量图像的恢复质量。从图中我们可以看到，我们所提出的算法在容量可达的编码下优于现有的所有方法，在LDPC信道编码下依旧拥有很好的性能。
在图8中，我们给出了该方法在语义恢复上的性能。这里我们选择的图像语义为图像的类别信息，如花，鸟，鱼等，所以我们用分类准确率来衡量语义恢复效果。如图8所示，我们提出的方法，使得恢复出的图像能够很好的保留语义信息。相比于现有图像算法和分类算法，我们的设计方法，能够拥有更高的分类准确率。
上述说明示出并描述了本发明的一个优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (6)

1.一种基于深度学习网络的图像及语义信息传输方法，其特征在于：包括以下步骤：
S1.给定发射端的数据处理模型：
发射端基于神经网络，对图像进行特征向量提取后对特征向量进行量化，然后结合概率密度函数进行编码得到符号序列传输给接收端；
S101.发射端将图像数据
Figure QLYQS_1
先通过函数/>
Figure QLYQS_2
提取特征，输出为特征向量/>
Figure QLYQS_3
，/>
Figure QLYQS_4
代表所有维度为K的实数向量；其中，函数/>
Figure QLYQS_5
是由神经网络构成的函数，神经网络参数为/>
Figure QLYQS_6
；
S102.得到特征向量
Figure QLYQS_7
后，通过均匀量化器将特征向量/>
Figure QLYQS_8
进行量化，输出为量化后的特征向量/>
Figure QLYQS_9
，均匀量化器主要原理为通过四舍五入的原理，将特征向量/>
Figure QLYQS_10
的每个元素量化为相邻整数；
同时将特征向量
Figure QLYQS_12
，通过一个分布学习模块，输出为特征向量/>
Figure QLYQS_15
和条件分布概率值
Figure QLYQS_16
，其中，/>
Figure QLYQS_13
是指概率分布函数/>
Figure QLYQS_17
中，/>
Figure QLYQS_18
为取值为/>
Figure QLYQS_19
的向量时得到的值；/>
Figure QLYQS_11
为K维任意整数向量，满足/>
Figure QLYQS_14
；
S103.得到特征向量
Figure QLYQS_20
、特征向量/>
Figure QLYQS_21
和条件分布概率值/>
Figure QLYQS_22
后，作如下处理：
对于特征向量
Figure QLYQS_23
，给定概率密度函数/>
Figure QLYQS_24
满足：
Figure QLYQS_25
其中
Figure QLYQS_27
是向量/>
Figure QLYQS_33
中的第/>
Figure QLYQS_35
个元素，/>
Figure QLYQS_29
是向量/>
Figure QLYQS_32
中的第/>
Figure QLYQS_34
个元素，/>
Figure QLYQS_36
是参数化神经网络的输出，参数为/>
Figure QLYQS_26
，总共有D个参数，构成参数集合/>
Figure QLYQS_28
；当/>
Figure QLYQS_30
取值为n，
Figure QLYQS_31
，它的概率值计算为
Figure QLYQS_37
利用概率计算值
Figure QLYQS_38
，采用算数编码技术将特征向量/>
Figure QLYQS_39
编码为比特序列，得到比特流/>
Figure QLYQS_40
；
同样地，利用条件分布概率值
Figure QLYQS_41
，将向量/>
Figure QLYQS_42
利用算数编码技术编码为比特序列，得到比特流/>
Figure QLYQS_43
；
S104. 将得到的比特流
Figure QLYQS_44
和/>
Figure QLYQS_45
，利用信道编码编码为符号序列/>
Figure QLYQS_46
，经过信道后，得到接受信号/>
Figure QLYQS_47
，其满足：
Figure QLYQS_48
其中，
Figure QLYQS_49
，/>
Figure QLYQS_50
，L为信号/>
Figure QLYQS_51
和/>
Figure QLYQS_52
的维度；/>
Figure QLYQS_53
为高斯白噪声，满足均值为0，方差为/>
Figure QLYQS_54
；/>
S2.给定接收端的数据处理模型：
接收端接收符号序列，进行解码并基于神经网络得到特征向量，根据特征向量恢复出图像信息，然后恢复出图像的语义信息；
S3.神经网络参数训练：
构建训练样本，对图像及语义信息传输过程中，发射端和接收端的数据处理模型中包含的神经网络参数进行训练，训练结束后将得到的神经网络参数更新到发射端和接收端的数据处理模型中；
S4.图像及语义信息传输：
利用更新后发射端的数据处理模型，对待传输的图像及语义信息进行处理，然后传输给接收端；
然后利用更新接收端的数据处理模型，对接收到的信息进行处理，实现图像及语义信息的恢复，从而完成图像及语义传输。
2.根据权利要求1所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S101中，神经网络构成的函数
Figure QLYQS_55
由一个归一化函数和三个级联的卷积神经网络构成，神经网络参数集合为/>
Figure QLYQS_56
。
3.根据权利要求1所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S102中，将特征向量
Figure QLYQS_57
，通过一个分布学习模块，输出特征向量/>
Figure QLYQS_58
和条件分布概率值/>
Figure QLYQS_59
的过程包括：
在分布学习模块中,首先将输入特征向量
Figure QLYQS_60
通过一个参数为/>
Figure QLYQS_61
的神经网络/>
Figure QLYQS_62
，输出为特征向量/>
Figure QLYQS_63
；
接着，将特征向量
Figure QLYQS_64
通过与步骤S102中相同均匀量化器进行量化，得到/>
Figure QLYQS_65
；然后，/>
Figure QLYQS_66
输入参数为/>
Figure QLYQS_67
的神经网络/>
Figure QLYQS_68
，输出为向量/>
Figure QLYQS_69
, 其中D是维度；其中，神经网络
Figure QLYQS_70
由三个卷积神经网络级联得到；
设步骤S102中得到的特征向量
Figure QLYQS_71
的取值为/>
Figure QLYQS_72
，则计算特征向量/>
Figure QLYQS_73
和/>
Figure QLYQS_74
的条件分布概率值/>
Figure QLYQS_75
为
Figure QLYQS_76
其中，
Figure QLYQS_77
代表所有维度为K的整数域向量，/>
Figure QLYQS_78
是均值为0，方差为/>
Figure QLYQS_79
的高斯概率密度函数，它的变量为/>
Figure QLYQS_80
，表示特征向量/>
Figure QLYQS_81
中的第i个元素。
4.根据权利要求1所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S2包括：
S201.设接收机接收得到的符号序列
Figure QLYQS_82
，将符号序列/>
Figure QLYQS_83
通过信道解码器，恢复出比特流
Figure QLYQS_84
和/>
Figure QLYQS_85
；
S202.从比特流
Figure QLYQS_86
和/>
Figure QLYQS_87
中恢复出特征向量/>
Figure QLYQS_88
和/>
Figure QLYQS_89
：/>
首先，将
Figure QLYQS_90
和概率密度函数/>
Figure QLYQS_91
输入到算数解码器中，解码出/>
Figure QLYQS_92
；
然后
Figure QLYQS_93
输入到神经网络/>
Figure QLYQS_94
，得到/>
Figure QLYQS_95
，计算出/>
Figure QLYQS_96
为:
Figure QLYQS_97
最后将得到的
Figure QLYQS_98
和/>
Figure QLYQS_99
输入到算数解码器中，输出特征向量/>
Figure QLYQS_100
；
S203.通过S202中得到的特征向量
Figure QLYQS_101
，恢复出图像信息/>
Figure QLYQS_102
：
S204.通过S203中得到的图像信息
Figure QLYQS_103
，恢复出语义信息/>
Figure QLYQS_104
；将/>
Figure QLYQS_105
输入神经网络Resnet-18中，参数为/>
Figure QLYQS_106
，输出为后验概率/>
Figure QLYQS_107
，最后通过最大后验解码恢复出语义信息，即：
Figure QLYQS_108
。
5.根据权利要求4所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S203包括：
首先，将特征向量
Figure QLYQS_109
通过神经网络/>
Figure QLYQS_110
得到/>
Figure QLYQS_111
,神经网络参数为/>
Figure QLYQS_112
；/>
Figure QLYQS_113
是由四个级联的卷积神经网络加一个去归一化函数组成的；
所述去归一化函数用于将四个卷积神经网络的输出的每一个元素乘以255。
6.根据权利要求1所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S3包括：
S301. 初始化，输入神经网络参数
Figure QLYQS_114
，两组训练样本/>
Figure QLYQS_118
，
Figure QLYQS_120
，样本总数分别为/>
Figure QLYQS_115
和/>
Figure QLYQS_117
，超参数/>
Figure QLYQS_119
，其中样本数据/>
Figure QLYQS_121
为需要传输的图像信息，
Figure QLYQS_116
为在接收端需要恢复的关于图像类别的语义信息；
S302.固定参数
Figure QLYQS_122
，训练参数/>
Figure QLYQS_123
：
将样本
Figure QLYQS_124
输入神经网络中，输出计算为/>
Figure QLYQS_125
，/>
Figure QLYQS_126
，/>
Figure QLYQS_127
为输出的图像信息，计算为/>
Figure QLYQS_128
，同时概率值计算为/>
Figure QLYQS_129
和/>
Figure QLYQS_130
；
Figure QLYQS_131
是由均值为0，范围为1的均匀分布产生的样本，得到的输出结合概率密度函数模型
Figure QLYQS_132
，/>
Figure QLYQS_133
和语义信息/>
Figure QLYQS_134
，计算如下损失函数：
Figure QLYQS_135
Figure QLYQS_136
Figure QLYQS_137
其中
Figure QLYQS_138
代表均方误差；/>
利用后向迭代算法和Ada优化器对神经网络进行训练，每一次输入训练样本
Figure QLYQS_139
进入神经网络，计算损失函数，然后进行参数更新；当更新固定数量次后，输出为更新后的神经网络参数，即/>
Figure QLYQS_140
；
S303. 输入S302中产生的参数
Figure QLYQS_141
和样本集合/>
Figure QLYQS_142
，训练参数/>
Figure QLYQS_143
：
输入为
Figure QLYQS_144
，输出与S302的神经网络计算方法一致，损失函数为：
Figure QLYQS_145
利用后向迭代算法和Ada优化器对神经网络进行训练，每一次输入训练样本
Figure QLYQS_146
进入神经网络，计算损失函数，然后进行参数更新；当更新固定数量次后，输出为更新后的神经网络参数，即/>
Figure QLYQS_147
；
S304.输出神经网络参数
Figure QLYQS_148
更新到发射端和接收端的数据处理模型中。/>
CN202310039257.7A 2023-01-13 2023-01-13 一种基于深度学习网络的图像及语义信息传输方法 Active CN116029340B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310039257.7A CN116029340B (zh) 2023-01-13 2023-01-13 一种基于深度学习网络的图像及语义信息传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310039257.7A CN116029340B (zh) 2023-01-13 2023-01-13 一种基于深度学习网络的图像及语义信息传输方法

Publications (2)

Publication Number Publication Date
CN116029340A CN116029340A (zh) 2023-04-28
CN116029340B true CN116029340B (zh) 2023-06-02

Family

ID=86070405

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310039257.7A Active CN116029340B (zh) 2023-01-13 2023-01-13 一种基于深度学习网络的图像及语义信息传输方法

Country Status (1)

Country Link
CN (1) CN116029340B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022204392A1 (en) * 2021-03-26 2022-09-29 Dolby Laboratories Licensing Corporation Multi-distribution entropy modeling of latent features in image and video coding using neural networks
WO2022265627A1 (en) * 2021-06-16 2022-12-22 Google Llc End-to-end learning-based, eg neural network, pre-processing and post-processing optimization for image and video coding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106559636A (zh) * 2015-09-25 2017-04-05 中兴通讯股份有限公司 一种视频通信方法、装置及系统
US11526808B2 (en) * 2019-05-29 2022-12-13 The Board Of Trustees Of The Leland Stanford Junior University Machine learning based generation of ontology for structural and functional mapping
CN113473149A (zh) * 2021-05-14 2021-10-01 北京邮电大学 用于无线图像传输的语义信道联合编码方法及装置
CN113255830A (zh) * 2021-06-21 2021-08-13 上海交通大学 基于变分自编码器与高斯混合模型的无监督目标检测方法及系统
CN115412202B (zh) * 2022-08-01 2023-06-16 鹏城实验室 一种基于医学图像的语义通信方法及相关设备
CN115695810A (zh) * 2022-10-21 2023-02-03 哈尔滨工业大学 一种基于语义通信的低比特率图像压缩编码方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022204392A1 (en) * 2021-03-26 2022-09-29 Dolby Laboratories Licensing Corporation Multi-distribution entropy modeling of latent features in image and video coding using neural networks
WO2022265627A1 (en) * 2021-06-16 2022-12-22 Google Llc End-to-end learning-based, eg neural network, pre-processing and post-processing optimization for image and video coding

Also Published As

Publication number Publication date
CN116029340A (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
CN111787323B (zh) 一种基于对抗学习的可变比特率生成式压缩方法
CN107832837B (zh) 一种基于压缩感知原理的卷积神经网络压缩方法及解压缩方法
CN111818346B (zh) 图像编码方法和装置、图像解码方法和装置
CN109889839B (zh) 基于深度学习的感兴趣区域图像编码、解码系统及方法
CN111641832B (zh) 编码方法、解码方法、装置、电子设备及存储介质
CN111641826B (zh) 对数据进行编码、解码的方法、装置与系统
CN114581544A (zh) 图像压缩方法、计算机设备及计算机存储介质
CN111835364B (zh) 一种极化码的低复杂度神经bp译码方法
Li et al. Multiple description coding based on convolutional auto-encoder
CN114422784A (zh) 一种基于卷积神经网络的无人机多光谱遥感影像压缩方法
CN116029340B (zh) 一种基于深度学习网络的图像及语义信息传输方法
Yilmaz et al. High perceptual quality wireless image delivery with denoising diffusion models
CN111479286B (zh) 一种边缘计算系统减少通信流量的数据处理方法
Shehab et al. Recurrent neural network based prediction to enhance satellite telemetry compression
US20230154053A1 (en) System and method for scene graph lossless compression by context-based graph convolution
Dong et al. Innovative semantic communication system
US9369315B2 (en) Digital communication system using real-time capacity achieving encoder design for channels with memory and feedback
CN116911360B (zh) 一种利用神经网络求解语义信息最小压缩速率的方法
CN115314156B (zh) 基于自编码网络的ldpc编译码方法及系统
Wang et al. SNN-SC: A Spiking Semantic Communication Framework for Feature Transmission
Yang et al. Unequal error protection based on expanding window fountain for object-based 3D audio
CN115761020B (zh) 一种基于神经网络自动构建的影像数据压缩方法
CN115114928B (zh) 一种基于特征选择的可解释性语义通信系统
Ullrich et al. Neural communication systems with bandwidth-limited channel
CN117220826B (zh) 一种基于语义通信的农业物联网感知数据预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant