CN114448563B - 语义编码传输方法及电子设备 - Google Patents
语义编码传输方法及电子设备 Download PDFInfo
- Publication number
- CN114448563B CN114448563B CN202111521414.5A CN202111521414A CN114448563B CN 114448563 B CN114448563 B CN 114448563B CN 202111521414 A CN202111521414 A CN 202111521414A CN 114448563 B CN114448563 B CN 114448563B
- Authority
- CN
- China
- Prior art keywords
- semantic
- feature
- map
- reconstructed
- segmentation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 59
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000013598 vector Substances 0.000 claims abstract description 95
- 230000009466 transformation Effects 0.000 claims abstract description 22
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 11
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 11
- 230000011218 segmentation Effects 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 abstract description 20
- 238000004458 analytical method Methods 0.000 abstract description 10
- 241000282326 Felis catus Species 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000013527 convolutional neural network Methods 0.000 description 7
- 230000008054 signal transmission Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005538 encapsulation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000002715 modification method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000414 obstructive effect Effects 0.000 description 1
- 230000002685 pulmonary effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L1/00—Arrangements for detecting or preventing errors in the information received
- H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
- H04L1/0014—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the source coding
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
本申请提供一种语义编码传输方法及电子设备,通过对接收的信源数据进行语义解析变换得到语义特征向量,根据语义特征向量进行信源信道编码,得到编码后的信号,通过信道将编码后的信号传输至接收端,对所述编码后的信号进行信源信道解码和语义合成变换,得到重建信源数据,完成传输。本实施例可进一步提高通信的有效性和可靠性。
Description
技术领域
本申请实施例涉及通信技术领域,尤其涉及一种语义编码传输方法及电子设备。
背景技术
通信系统是利用电信号或光信号传输信息的系统。在现有技术中,通过堆叠更多频谱、更高性能的信道编码、更高阶调制、更密集的接入点和日益复杂的大规模天线,以及提出基于明确概率模型的信源编码和信道编码方案来提高传输能力。但这类方案仍然是对全部信源数据进行无差别的,非高效的传输。
发明内容
有鉴于此,本申请的目的在于提出一种语义编码传输方法及电子设备,能够提高通信的有效性和可靠性。
基于上述目的,本申请提供了一种语义编码传输方法,应用于发射端,包括:
获取信源数据;
对所述信源数据进行语义解析变换,得到语义特征向量;
对所述语义特征向量进行信源信道编码,得到编码后的信号;
将所述编码后的信号传输至接收端。
应用于接收端,包括:
接收发射端传输的编码后的信号;
对所述编码后的信号进行信源信道解码,得到重建语义特征向量;
对所述重建语义特征向量进行语义合成变换,得到重建信源数据,完成传输。
基于同一发明构思,本说明书一个或多个实施例还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任意一项所述的慢阻肺复发预测方法。
本申请提供一种语义编码传输方法及电子设备,通过对接收的信源数据进行语义解析变换得到语义特征向量,根据语义特征向量进行信源信道编码,得到编码后的信号,通过信道将编码后的信号传输至接收端,对所述编码后的信号进行信源信道解码和语义合成变换,得到重建信源数据,完成传输。本申请提供的方案,相比于现有的无差别传输方式,对传输内容的语义信息进行提取,在达到相同性能时,所需要的带宽更少,从而得到更低的压缩率;同时,本方案还能够提高通信系统的传输可靠性和有效性。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图得到其他的附图。
图1为本申请实施例的语义编码传输方案的发射端流程图;
图2为本申请实施例的语义编码传输方案的接收端流程图;
图3为本申请实施例的语义编码传输方案的发射端装置图;
图4为本申请实施例的语义编码传输方案的接收端装置图;
图5为本申请一个实施例的具体流程图;
图6为本申请实施例的电子设备硬件结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本申请进一步详细说明。
需要说明的是,除非另外定义,本说明书一个或多个实施例本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如背景技术部分所述,在现有技术中,通过堆叠更多频谱、更高性能的信道编码、更高阶调制、更密集的接入点和日益复杂的大规模天线,以及提出基于明确概率模型的信源编码和信道编码方案来提高传输能力。但这类方案仍然对全部信源数据进行无差别的,非高效的传输。
综合上述考虑,本申请实施例提出一种语义编码传输(Semantic CodedTransmission,SCT)方案,在进行信源信道编码的同时,考虑数据所含语义信息,根据语义重要性不同,提出不同的编码方案。与相关技术相比,在达到相同性能时,本申请提出的方法能够有效提高传输可靠性和有效性。
下面结合图1的应用场景,来描述根据本申请示例性实施方式的文本修正模型的训练方法以及文本修改方法。需要注意的是,上述应用场景仅是为了便于理解本申请的精神和原理而示出,本申请的实施方式在此方面不受任何限制。相反,本申请的实施方式可以应用于适用的任何场景。
如图1所示,本申请实施例提供一种语义编码传输方法,应用于发射端,包括:
步骤S101:获得信源数据。
在本步骤中,首先获得信源数据。其中,信源数据可以包括如下类型:文本字母序列,作为面向人通信(human-type communications(HTC))中表达信息和面向机器通信(machine-type communications(MTC))中的控制消息;语音音频信号序列;三维多路复用载体定义的图像;视频,相关图像的序列;上述类型的各种组合序列。
步骤S102:对所述信源数据进行语义解析变换,得到语义特征向量。
在本步骤中,对信源数据进行语义解析变换,得到包含语义对象信息和语义特征信息的语义特征向量(Semantic Feature Vector,SFV),后续基于得到的语义特征向量,完成编码传输。
在实现本申请的过程中,发明人发现,对信源数据进行语义解析变换,并根据语义对象重要性的不同分配不同的信源信道编码方案,这种语义级别的编码传输方案,可以提高传输可靠性和有效性。
具体的,发射端可以通过对信源数据进行特征提取,获得包含特征信息的特征图。对所得到的特征图进行语义分割,获得包含语义对象注释标签信息的分割图。结合所述特征图和分割图,获得含有特征信息、语义对象注释标签信息的语义注释特征图。分割语义注释特征图,得到语义特征向量。同一语义特征向量中所有元素属于同一语义对象。
在一些实施例中,发射端可以通过例如卷积神经网络,对信源数据进行语义特征提取,获得包含特征信息的特征图。对所得到的特征图通过例如基于卷积神经网络的语义分割方法进行语义分割,获得包含语义对象注释标签信息的分割图。通过例如卷积神经网络或者transformer网络结合特征图和分割图,获得含有特征信息、语义对象注释标签信息的语义注释特征图。分割语义注释特征图,得到语义特征向量。
步骤S103:对所述语义特征向量进行信源信道编码,得到编码后的信号。
在本步骤中,根据语义特征向量对应的语义对象的重要性分数,以及数字信号和模拟信号传输格式的不同要求,对所述语义特征向量进行信源信道编码,得到编码后的信号。
其中,对于数字信号传输格式,可以通过对语义特征向量进行信源编码,得到数字比特。对于数字比特,根据语义对象的重要性分数,分配不同的信道编码方案、带宽、编码率等,并得到编码后的数字特征向量。整合、串联数字特征向量,得到比特向量。对比特向量进行数字调制、封装,得到待传输的数字信号。
在一些实施例中,具体的,可以通过对语义特征向量进行量化得到向量特征值。通过熵编码器对向量特征值进行压缩,得到数字比特。对重要性分数高的语义对象所对应的数字比特分配例如低密度奇偶校验编码方案或极性编码方案,同时分配更宽的带宽,更高的编码率等,对重要性分数低的语义对象所对应的数字比特分配例如BPG编码方案,得到数字特征向量。对数字特征向量进行整合、串联,得到比特向量,对比特向量数字调制、封装,得到待传输的数字信号。通过上述步骤保证语义对象重要性分数高的语义对象相应语义特征向量,经过信源编码和信道编码得到损失更少的数字信号。
对于模拟信号传输格式,可以通过自编码器将语义特征向量映射为模拟特征向量,整合模拟特征向量得到信道符号。信道符号串联,得到模拟信号,并传输至接收端。
具体的,为了满足自编码器的约束条件,编码器由一系列隐藏层和归一化层组成。约束条件会使编码器优先复制语义对象的重要性分数高的语义特征向量。
在一些实施例中,具体的,对语义对象的重要性分数高的信号分配更高编码率。
在一些实施例中,语义对象的重要性分数可以人为设定或通过卷积神经网络训练得到。
步骤S104:将所述编码后的信号传输至接收端。
在一些实施例中,可将编码后的数字信号或模拟信号通过固定信噪比为1dB的AWGN信道传输至接收端。
如图2所示,本申请实施例提供一种语义编码传输方法,应用于接收端,包括:
步骤S105:接收发射端传输的编码后的信号。
在本步骤中,接收发射端传输的编码后的信号,包括数字信号、模拟信号。
步骤S106:对所述编码后的信号进行信源信道解码,得到重建语义特征向量。
其中,对数字信号进行解调,得到数字比特的软信息。通过信道解码器及信源解码器对数字比特的软信息进行解码,解码方案为信道编码方案及信源编码方案的逆操作。通过解码得到重建的语义特征向量。
对模拟信号通过自编码器中的解码器进行解码,得到重建的语义特征向量。
步骤S107:对所述重建的语义特征向量进行语义合成变换,得到重建信源数据,完成传输。
在本步骤中,对重建的语义特征向量进行语义失真校正,得到纠正残差误差后语义特征向量。对纠正残差误差后语义特征向量进行语义特征融合,得到重建的信源数据。
具体的,语义特征向量在信源信道解码时,会丢失一些重要性分数低的语义对象的信息细节。利用语义失真校正可以进一步校正过程中产生的残差误差,然后对纠正残差误差后的语义特征向量进行语义特征融合。得到重建的信源数据。
在一些实施例中,通过重建的语义特征向量之间的二维相关性进一步纠正过程中产生的残差误差,进一步提高传输质量。
以下,通过具体的实施例进一步详细说明本申请的技术方案。
首先,参考图5,本申请提供的一种语义编码传输方法包括如下步骤:发射端获得信源图片数据后,对信源数据进行语义解析变换,得到语义特征向量;发射端对所述语义特征向量,根据语义对象重要性分数进行语义偏置编码,得到可以传输的模拟信号或数字信号;将得到的信号通过固定信噪比为1dB的AWGN信道传输至接收端;接收端通过信源信道解码,得到重建后语义特征向量;对重建后语义特征向量进行语义合成变换,得到重建后信源图片数据,完成传输。
进一步的,参考图5,语义解析变换还包括:发射端通过卷积神经网络,对信源图片数据进行语义特征提取,获得包含特征信息的特征图。对所得到的特征图通过基于卷积神经网络的语义分割方法进行语义分割,获得包含语义对象注释标签的分割图,对象注释标签包括{猫、窗户、其他}。通过卷积神经网络或者transformer网络方法结合特征图和分割图,获得含有对象特征信息、注释标签信息的语义注释特征图,语义注释特征图为n维张量。将语义注释特征图分割为三个语义通道,包括语义通道#1、语义通道#2、语义通道#3。每个通道包含一个语义特征向量,每个语义特征向量中的所有元素属于同一语义对象。即语义通道#1包含语义特征向量对应语义对象为猫,语义通道#2包含语义特征向量对应语义对象为窗户,语义通道#3包含语义特征向量对应语义对象为其他。
语义偏置编码还包括:根据所述分割图,对图片中所包含所有语义对象,猫、窗户和其他评估重要性分数,得到分数ω1、ω2、ω3,ω1大于ω2大于ω3。评估方法可以为人工评估或深度神经网络学习评估。包含重要性分数信息的图为重要性图。根据语义对象重要性分数的高低,进行信源信道编码。
其中,对于数字信号传输格式,首先进行信源编码,通过对语义特征向量进行量化得到向量特征值。通过熵编码器对向量特征值进行压缩,得到数字比特。根据语义对象的重要性分数,分配不同的参数。猫、窗户和其他所对应的语义特征向量信源编码过程分别为信源编码#1、信源编码#2、信源编码#3。然后根据数字比特进行信道编码。由于三个语义对象重要性分数ω1大于ω2大于ω3,对猫所对应的数字比特,分配低密度奇偶校验编码方案或极性编码方案,对窗户和其他所对应的数字比特,分配BPG编码方案。猫、窗户和其他所对应的数字比特信源编码过程分别为信道编码#1、信道编码#2、信道编码#3。同时分配语义对象为猫的数据更宽的带宽,更高的编码率等,保证语义对象的重要性分数高的语义对象所对应的语义特征向量经过信源编码和信道编码得到损失更少的数字特征向量。整合数字特征向量,得到信道符号。猫、窗户和其他所对应的数字特征向量整合过程分别为R1、R2、R3。再然后,对信道符号串联得到比特向量,对比特向量进行数字调制、封装,得到待传输的数字信号。
对于模拟信号传输格式,可以通过自编码器将语义特征向量映射为模拟特征向量,整合模拟特征向量得到信道符号。编码器由一系列隐藏层和归一化层组成,编码器的约束条件会使编码器优先复制语义对象为猫的语义特征向量。同时,会对语义对象为猫的数据分配更高编码率。猫、窗户和其他所对应的语义特征向量信源信道编码过程分别为信源信道编码#1、信源信道编码#2、信源信道编码#3,得到相应模拟特征向量。猫、窗户和其他所对应的模拟特征向量整合过程分别为R1、R2、R3,得到信道符号。将信道符号串联,得到实数向量或复数向量,作为待传输的模拟信号。
信源信道解码还包括:将接收端接收到的传输信号,经过解调得到重建后的语义特征向量。
其中,对于数字信号进行解调,解码方案为信道编码方案及信源编码方案的逆操作。猫、窗户和其他所对应的信号信源解码过程分别为信道解码#1、信道解码#2、信道解码#3。
对于模拟信号进行解调,解码方案为信源信道编码的逆操作。猫、窗户和其他所对应的信号信源信道解码过程分别为信源信道解码#1、信源信道解码#2、信源信道解码#3。
语义合成变换还包括:语义失真校正和语义特征融合。其中,语义失真校正是接收端对重建后语义特征向量,通过元素间二维相关性,校正信源信道解码过程中产生的残差误差。由于解码过程中语义对象重要性分数低相关细节容易被忽略,语义失真校正可以再进一步提高传输质量。
通过上述实施例可以看出,本说明书实施例所述的语义编码传输方案,通过对接收的信源数据进行语义解析变换得到语义特征向量,根据语义特征向量进行信源信道编码,得到编码后的信号,通过信道将编码后的信号传输至接收端,对所述编码后的信号进行信源信道解码和语义合成变换,得到重建信源数据,完成传输。本发明提出的语义编码传输方案更加关注传输内容的语义信息,使通信系统能够从无差别的可靠传输转变为目的驱动的语义级别的高效传输。提高通信有效性和可靠性。
此外,对于监控系统、人脸识别系统、查询系统等对于目标对象有更高传输要求的系统进行信息传输时,本方案可以根据语义对象的重要性进行重要性偏置编码,提高目标对象传输质量的同时,本方案所需要的带宽更少,压缩率更低。
需要说明的是,本申请实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例本申请还提供了一种语义编码传输装置。
参考图3,所述语义编码传输装置,应用于发射端,包括:
获得模块S201,被配置为获得信源数据。
语义解析变换模块S202,被配置为对所述信源数据进行语义解析变换,得到语义特征向量。
信源信道编码模块S203,被配置为对所述语义特征向量进行信源信道编码,得到编码后的信号。
参考图4,所述语义编码传输装置,应用于接收端,包括:
获得模块S205,,被配置为接收发射端传输的编码后的信号。
信源信道解码模块S206,被配置为对所述编码后的信号进行信源信道解码,得到重建语义特征向量。
语义合成变换模块S207,被配置为对所述重建语义特征向量进行语义合成变换,得到重建信源数据,完成传输。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本说明书一个或多个实施例本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的语义编码传输方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的语义编码传输方案。
图6示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的语义编码传输方案,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本说明书一个或多个实施例本申请还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的语义编码传输方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的语义编码传输方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的范围(包括权利要求)被限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本说明书一个或多个实施例本申请实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本说明书一个或多个实施例本申请实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本说明书一个或多个实施例本申请实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本说明书一个或多个实施例本申请实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本申请的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本说明书一个或多个实施例本申请实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本说明书一个或多个实施例本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本说明书一个或多个实施例本申请实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (8)
1.一种语义编码传输方法,应用于发射端,其特征在于,包括:
获取信源数据;
对所述信源数据进行特征提取,得到特征图;对所述特征图进行语义分割,得到分割图;根据所述特征图和所述分割图,得到语义注释特征图;对所述语义注释特征图进行分割,得到语义特征向量;
根据语义对象的重要性分数,对所述语义特征向量进行信源编码和信道编码,得到编码后的信号;所述编码后的信号为数字信号;
将所述编码后的信号传输至接收端。
2.根据权利要求1所述的语义编码传输方法,其中,对所述信源数据进行语义特征提取、语义分割,得到语义注释特征图,包括:
对所述信源数据进行语义特征提取,得到特征图;
对所述特征图进行语义分割,得到分割图;
结合所述特征图、所述分割图,得到所述语义注释特征图。
3.根据权利要求1所述的语义编码传输方法,其中,对所述语义特征向量进行信源信道编码,得到编码后的信号,还包括:
对所述语义特征向量,通过自编码器进行编码,得到信道符号;
对所述信道符号进行串联,得到所述编码后的信号;所述信号为模拟信号。
4.根据权利要求1或权利要求3所述的语义编码传输方法,其中,所述语义对象的重要性分数为:
对语义对象进行重要性评估,得到的分数为所述语义对象的重要性分数。
5.一种语义编码传输方法,应用于接收端,其特征在于,包括:
接收发射端传输的编码后的信号;所述编码后的信号为根据语义对象的重要性分数,对语义特征向量进行信源编码和信道编码得到;所述语义特征向量为对信源数据进行特征提取得到特征图,对所述特征图进行语义分割得到分割图,根据所述特征图和所述分割图得到语义注释特征图,对所述语义注释特征图进行分割得到;对所述编码后的信号进行信源信道解码,得到重建语义特征向量;
对所述重建语义特征向量进行语义合成变换,得到重建信源数据,完成传输。
6.根据权利要求5所述的语义编码传输方法,其中,对所述重建语义特征向量进行语义合成变换,得到重建信源数据,包括:
对所述重建语义特征向量进行语义失真校正,得到纠正残差误差后语义特征向量;
对所述纠正残差误差后语义特征向量进行语义特征融合,得到重建信源数据。
7.根据权利要求6所述的语义编码传输方法,其中,对所述重建语义特征向量进行语义失真校正,得到纠正残差误差后语义特征向量为:
对所述重建语义特征向量,根据向量元素之间的二维相关性,纠正残差误差,得到纠正残差误差后语义特征向量。
8.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111521414.5A CN114448563B (zh) | 2021-12-13 | 2021-12-13 | 语义编码传输方法及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111521414.5A CN114448563B (zh) | 2021-12-13 | 2021-12-13 | 语义编码传输方法及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114448563A CN114448563A (zh) | 2022-05-06 |
CN114448563B true CN114448563B (zh) | 2024-03-08 |
Family
ID=81363618
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111521414.5A Active CN114448563B (zh) | 2021-12-13 | 2021-12-13 | 语义编码传输方法及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114448563B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115149986B (zh) * | 2022-05-27 | 2023-05-23 | 北京科技大学 | 一种针对语义通信的信道分集方法及装置 |
CN117692094A (zh) * | 2022-09-02 | 2024-03-12 | 北京邮电大学 | 编码方法、解码方法、编码装置、解码装置及电子设备 |
CN115842593B (zh) * | 2023-02-20 | 2023-05-09 | 北京邮电大学 | 一种语义相干光通信方法及系统 |
CN116209069B (zh) | 2023-04-25 | 2023-07-21 | 北京邮电大学 | 基于语义域的多址接入方法及相关设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103220340A (zh) * | 2013-03-28 | 2013-07-24 | 北京交通大学 | 一种道路交通传感器网络节点的语义编码方法 |
CN110225342A (zh) * | 2019-04-10 | 2019-09-10 | 中国科学技术大学 | 基于语义失真度量的视频编码的比特分配系统及方法 |
CN110334656A (zh) * | 2019-07-08 | 2019-10-15 | 中国人民解放军战略支援部队信息工程大学 | 基于信源概率加权的多源遥感图像水体提取方法及装置 |
CN110909744A (zh) * | 2019-11-26 | 2020-03-24 | 山东师范大学 | 结合语义分割的多描述编码方法及系统 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN113379040A (zh) * | 2021-07-07 | 2021-09-10 | 东南大学 | 基于语义编码的混合重传方法 |
CN113473149A (zh) * | 2021-05-14 | 2021-10-01 | 北京邮电大学 | 用于无线图像传输的语义信道联合编码方法及装置 |
CN113536782A (zh) * | 2021-07-09 | 2021-10-22 | 平安国际智慧城市科技股份有限公司 | 敏感词识别方法、装置、电子设备及存储介质 |
CN113705245A (zh) * | 2021-09-01 | 2021-11-26 | 北京邮电大学 | 语义通信方法、装置、系统、计算机设备及存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11263756B2 (en) * | 2019-12-09 | 2022-03-01 | Naver Corporation | Method and apparatus for semantic segmentation and depth completion using a convolutional neural network |
-
2021
- 2021-12-13 CN CN202111521414.5A patent/CN114448563B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103220340A (zh) * | 2013-03-28 | 2013-07-24 | 北京交通大学 | 一种道路交通传感器网络节点的语义编码方法 |
CN110225342A (zh) * | 2019-04-10 | 2019-09-10 | 中国科学技术大学 | 基于语义失真度量的视频编码的比特分配系统及方法 |
CN110334656A (zh) * | 2019-07-08 | 2019-10-15 | 中国人民解放军战略支援部队信息工程大学 | 基于信源概率加权的多源遥感图像水体提取方法及装置 |
CN110909744A (zh) * | 2019-11-26 | 2020-03-24 | 山东师范大学 | 结合语义分割的多描述编码方法及系统 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN113473149A (zh) * | 2021-05-14 | 2021-10-01 | 北京邮电大学 | 用于无线图像传输的语义信道联合编码方法及装置 |
CN113379040A (zh) * | 2021-07-07 | 2021-09-10 | 东南大学 | 基于语义编码的混合重传方法 |
CN113536782A (zh) * | 2021-07-09 | 2021-10-22 | 平安国际智慧城市科技股份有限公司 | 敏感词识别方法、装置、电子设备及存储介质 |
CN113705245A (zh) * | 2021-09-01 | 2021-11-26 | 北京邮电大学 | 语义通信方法、装置、系统、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
深度卷积神经网络图像语义分割研究进展;青晨;禹晶;肖创柏;段娟;;中国图象图形学报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114448563A (zh) | 2022-05-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114448563B (zh) | 语义编码传输方法及电子设备 | |
US10380996B2 (en) | Method and apparatus for correcting speech recognition result, device and computer-readable storage medium | |
CN109600618B (zh) | 视频压缩方法、解压缩方法、装置、终端和介质 | |
CN111382555B (zh) | 数据处理方法、介质、装置和计算设备 | |
CN110019865B (zh) | 海量图片处理方法、装置、电子设备及存储介质 | |
CN113473149A (zh) | 用于无线图像传输的语义信道联合编码方法及装置 | |
CN113327599B (zh) | 语音识别方法、装置、介质及电子设备 | |
CN116978011B (zh) | 一种用于智能目标识别的图像语义通信方法及系统 | |
CN111401273A (zh) | 一种用于隐私保护的用户特征提取系统及设备 | |
JP2022525897A (ja) | ニューラルネットワークモデルの圧縮/解凍のための方法および装置 | |
CN115426075A (zh) | 语义通信的编码传输方法及相关设备 | |
CN114885370A (zh) | 语义通信方法、装置、电子设备及存储介质 | |
CN112560652B (zh) | 文本识别方法和系统以及文本识别模型训练方法和系统 | |
CN114067327A (zh) | 文本识别方法、装置、可读介质及电子设备 | |
US11051080B2 (en) | Method for improving video resolution and video quality, encoder, and decoder | |
CN103109319A (zh) | 确定音调循环能量及按比例缩放激励信号 | |
CN114564606A (zh) | 一种数据处理方法、装置、电子设备及存储介质 | |
CN113592009A (zh) | 图像语义分割方法、装置、存储介质与电子设备 | |
CN114359490A (zh) | 基于多模态融合的电磁地图构建方法及相关装置 | |
CN115471875B (zh) | 一种多码率的行人识别视觉特征编码压缩方法和装置 | |
KR101581131B1 (ko) | 영상 정보를 전달하는 방법, 영상 부호기 및 영상 복호기 | |
WO2023071462A1 (zh) | 点云的编解码方法、装置、设备、存储介质及程序产品 | |
CN110868615B (zh) | 一种视频处理方法、装置、电子设备以及存储介质 | |
CN111224670B (zh) | 自动编码器及用于对自动编码器进行训练的方法和介质 | |
WO2023169303A1 (zh) | 编解码方法、装置、设备、存储介质及计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |