CN115102982B - 一种面向智能任务的语义通信方法 - Google Patents

一种面向智能任务的语义通信方法 Download PDF

Info

Publication number
CN115102982B
CN115102982B CN202210658290.3A CN202210658290A CN115102982B CN 115102982 B CN115102982 B CN 115102982B CN 202210658290 A CN202210658290 A CN 202210658290A CN 115102982 B CN115102982 B CN 115102982B
Authority
CN
China
Prior art keywords
semantic
feature map
feature
concept
intelligent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210658290.3A
Other languages
English (en)
Other versions
CN115102982A (zh
Inventor
郭彩丽
刘传宏
杨洋
孙启政
陈九九
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Publication of CN115102982A publication Critical patent/CN115102982A/zh
Application granted granted Critical
Publication of CN115102982B publication Critical patent/CN115102982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04—Protocols for data compression, e.g. ROHC

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Medical Informatics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明公开了一种面向智能任务的语义通信方法，属于人工智能与通信融合技术领域；具体包括：首先发送端的设备采集图像数据，经神经网络提取特征图，利用语义概念对应神经元激活值对特征图求梯度后取平均，得到特征图相对于语义概念的重要性权重，将语义概念和特征图排序关系起来；利用得到的语义关系，对特征图进行裁剪压缩，进而保留重要性权重高的特征图，将压缩后的特征图经无线信道进行传输，接收端对接收到的信号进行解调，恢复特征图数据，并输入后续神经网络，完成智能任务，返回结果给发送端设备。本发明有效地利用了数据的语义关系，降低了传输数据量、缓解了通信压力，提升了智能任务的有效性能。

Description

一种面向智能任务的语义通信方法
技术领域
本发明属于人工智能与通信融合技术领域，具体涉及一种面向智能任务的语义通信方法。
背景技术
随着物联网(Internet of Things，IoT)和人工智能(Artificial Intelligence，AI)技术的融合发展，万物智能互联成为了时代所趋，大大激发了人工智能物联网(Artificial Intelligence&Internet of Things，AIoT)的繁荣发展[1]。
在人工智能物联网中，智能设备依靠传感器(如摄像头等)对外部感知并采集大量数据后，将数据集中传输到边/云服务器上。边/云服务器利用以深度学习为代表的人工智能技术对数据(如文本，图片等)进行理解和分析，从而完成一系列智能任务[2]，如图像分类和目标识别等。
在人工智能物联网中，若将设备采集到的大量数据发送到边/云服务器上，在边/云服务器上完成具体的智能任务，然后将结果传回到IoT设备上，对设备功耗以及智能任务执行的实时性提出了很高要求，难以满足智能任务的准确性需求[4]，主要原因是数据中存在大量的冗余信息。去除冗余信息不但可以降低IoT设备的功耗，而且可以减少传输时延，进而在带宽时延受限的条件下提升智能任务的性能。因此，如何有效提取数据重要信息以去除数据冗余成为了主要问题。
不同于传统物联网，人工智能物联网中设备之间的通信发展成为智能体之间的通信，通信的目标不再是准确传输比特数据或者精确传递信号波形，而是准确理解传递的语义信息。这里的语义是指接收者正确理解发送者的信息内容，即对原始数据更精炼的一种“达意”表示[3]。
传输语义信息的语义通信方法是一种新颖的解决方案，可将原始数据提取出智能计算所需的语义进行传输，有效压缩数据冗余，减少网络传输的压力，降低智能任务的处理时延。现有一些初步的基于深度学习的语义通信方法，大致可以分为针对文本信源[5]和针对图像信源[6]两类。然而，深度神经网络模型复杂，对计算和存储资源要求严格，输出的特征数据量依然较大，很难落实到各个IoT设备上。特别的，在IoT设备资源和通信资源受限的情况下，通信压力过大影响智能任务性能的问题不容忽视。
因此需要研究一种高效且鲁棒的语义通信方法，以促进人工智能物联网中通信传输与智能计算两个过程的融合。
[1]Qiu T,Chen N,Li K等.《一项调查：异构物联网如何构建我们的未来》.IEEECommunications Surveys&Tutorials[J].2018,20(3):2011-2027.
[2]Ke R,Zhuang Y,Pu Z等.《在具有边缘人工智能的物联网设备上智能，高效，可靠的停车监控系统》.IEEE Transactions on Intelligent Transportation Systems[J].2020.
[3]Carnap R and Bar-Hillel Y.《语义信息理论概述》.Res.Lab.Electron.,Massachusetts Inst.Technol.,Cambridge,MA,USA,RLE Tech.Rep.247,Oct.1952.
[4]Samie F,Bauer L and Henkel J.《从云端到物联网：物联网中的机器学习概述》.IEEE Internet of Things Journal[J].2019,6(3):4921-4934.
[5]Xie H and Qin Z.《一种用于物联网的轻量化分布式语义通信系统》.IEEEJournal on Selected Areas in Communications[J].2020,39(1):142-153.
[6]Bourtsoulatze E,Kurka D B and Gündüz D.《用于无线图像传输的深度联合源信道编码》.IEEE Transactions on Cognitive Communications and Networking[J].2019,5(3):567-579.
发明内容
针对上述问题，本发明提出了一种面向智能任务的语义通信方法，引入深度学习的可解释，从语义概念(指智能任务中客观表示的某一具体事物，如猫狗分类任务中的猫和狗)出发，将语义概念和特征图(为卷积神经网络(Convolutional Neural Network，CNN)提取的特征向量)进行关联，提取语义关系，在发送端利用提取的语义关系实现语义压缩，大大降低待传输的数据量，使得接收端最大程度的理解图片的语义信息，在提升智能任务性能的同时节约通信资源，降低传输时延。
所述的面向智能任务的语义通信方法，具体的步骤如下：
步骤一、针对物联网IoT设备摄像头采集的图像数据，利用卷积神经网络CNN对每个图像分别进行初步特征提取，得到各图像的特征图集合，所有图像的特征图集合组成系列特征图集合；
提取输入图片I的特征表示为：
A＝Sα(I)
其中Sα(·)为卷积神经网络，α为卷积神经网络的参数，A为图片I提取的特征图集合。
同理，对摄像头采集的所有图像均提取各自的特征，形成系列特征图集合；
步骤二、利用CNN神经元对应的每个语义概念输出的激活值，对系列特征图集合中各特征图求梯度后取平均，得到语义概念的特征图权重；
具体步骤如下：
首先、针对单个语义概念ck，利用激活值对每个系列特征图集合中每个特征图分别求梯度，经过全局平均池化得到各特征图的重要性权重，组成语义概念ck的特征图权重向量
Figure BDA0003689315940000021
如下：
Figure BDA0003689315940000022
Figure BDA0003689315940000023
是语义概念ck对第n个特征图的重要性权重；N为系列特征图集合中所有特征图的总数。
同理，重复对CNN神经元的每个语义概念计算特征图权重向量，组成特征图权重矩阵ω；如下：
Figure BDA0003689315940000031
Figure BDA0003689315940000032
Figure BDA0003689315940000033
表示语义概念集合的元素个数，即语义概念的总数。
步骤三、分别按照各语义概念的特征图权重，对各自的特征图进行降序排序，得到语义关系；
针对语义概念ck，按照重要性权重值降序对特征图进行排序，得到的特征图排序结果记为
Figure BDA0003689315940000034
表示为：
Figure BDA0003689315940000035
其中，
Figure BDA0003689315940000036
表示为对语义概念ck最重要的特征图索引，/>
Figure BDA0003689315940000037
表示对语义概念ck最不重要的特征图索引；
同理，对每个语义概念，利用各自的特征图权重值分别对各自的特征图进行降序排序；
最后，将所有语义概念对应的特征图排序关系组成语义关系，表示为：
Figure BDA0003689315940000038
步骤四、依据实际的通信和计算资源，结合特征图权重和语义关系，对系列特征图集合进行裁剪，从而实现语义压缩；
具体步骤如下：
首先、针对单个语义概念ck，依据设定的裁剪比例σ，计算实际传输重要特征图个数：
Figure BDA0003689315940000039
然后、根据实际传输的重要特征图个数，确定特征图的裁剪阈值，由下式得到：
Figure BDA00036893159400000310
其中
Figure BDA00036893159400000311
是将特征图权重矩阵/>
Figure BDA00036893159400000312
中所有的特征图权重值从大到小排序结果。
最后、针对语义概念ck，根据语义关系从特征图排序中选择符合裁剪阈值的n个特征图进行实际传输，其余裁剪掉；
表示为：
Figure BDA00036893159400000313
同理，得到所有语义概念的实际传输特征图，组成信道传输特征图矩阵，表示为：
Figure BDA00036893159400000314
经语义压缩后输出X为：
X＝Cσ(A)
其中，Cσ(·)表示特征图裁剪函数；
步骤五、将裁剪后的特征图经无线信道进行传输，计算接收端收到的特征图数据；并输入分类器，将分类结果返回给IoT设备。
接收端收到的特征图数据表示为：
Y＝hX+n
其中，h为瑞利衰落信道的信道增益，n为加性高斯白噪声；
本发明的优点有：
1.一种面向智能任务的语义通信方法，实现了通信传输和智能任务相融合，提升了系统处理效率；
2.一种面向智能任务的语义通信方法，有效地降低了系统的传输压力，利用语义关系压缩传输数据；
3.一种面向智能任务的语义通信方法，有效地降低了通信传输的时延，提高了系统AIoT场景中的可靠性；
4.一种面向智能任务的语义通信方法，在不同信道信噪比条件下，其智能任务有效性能优于传统方法；
附图说明
图1是本发明一种面向智能任务的语义通信方法的原理图；
图2是本发明一种面向智能任务的语义通信方法的系统模型；
图3是本发明一种面向智能任务的语义通信方法的流程图；
图4是本发明针对图像分类任务的神经网络结构；
图5是本发明中语义关系提取示意图；
图6是本发明针对图像分类任务的语义通信实例演示图；
图7为本发明不同网络结构不同裁剪比例下分类准确率随信噪比的变化关系；
图8为本发明不同网络结构不同带宽下不同裁剪方式分类准确率的对比图；
图9为不同带宽和时延限制下不同裁剪比例时的有效分类准确率对比图；
图10为本发明的语义通信方法和传统通信方法以单张图片完成分类的运行时间对比图。
具体实施方式
为了使本领域的技术人员更加清楚地理解和实施本发明，下面将结合附图以具体实施例的方式，详细阐述本发明实施例的技术方案。
本发明是人工智能物联网中一种面向智能任务的语义通信方法，实现如图1所示，实体部分主要由边/云服务器和IoT设备组成。基于语义通信的方式，资源受限的IoT设备采集数据后，可以在本地完成特征提取，然后经语义压缩后将特征图传输到边/云服务器上；边/云服务器平台具有强大的计算能力和大内存，将接收到的特征数据输入后续网络进行智能计算，完成智能任务，最终将智能任务结果返回给IoT设备。
如图2所示，为本发明面向智能任务的语义通信系统模型，主要分为发送端、物理信道和接收端三部分。发送端包括语义编码、信道编码和调制，其中语义编码由特征提取模块、语义概念关系提取模块和语义裁剪模块组成；接收端包括解调模块、信道解码模块和智能任务计算模块(如图像分类任务为分类器，目标检测任务为检测器等)。
所述的面向智能任务的语义通信方法，如图3所示，具体的步骤如下：
步骤一、针对物联网IoT设备摄像头采集的图像数据，经特征提取模块利用卷积神经网络CNN对每个图像分别进行初步特征提取，得到一系列的特征激活图，后续统称为特征图；所有特征图集合组成系列特征图集合；
假设语义通信系统模型的输入是图片I，经特征提取模块提取特征的过程可以表示为：
A＝Sα(I)
其中Sα(·)为卷积神经网络，α为卷积神经网络的参数，A为图片I提取的特征图集合。
同理，对摄像头采集的所有图像均提取各自的特征，形成系列特征图集合；
如图4所示，为针对图像分类任务的语义通信卷积神经网络CNN，以实现高效语义传输并最大程度上提高分类任务的准确度。
发送端首先将图像调整为固定尺寸，利用深度CNN网络提取特征，本发明采用的CNN网络包括卷积层和池化层，卷积层可以提取输入特征，多层可以逐渐提取更精细的特征。池化层可以降低网络中隐藏层的维数，并降低后续层中的计算量。接着基于提取的语义关系将提取的特征图经语义压缩，进一步降低实际传输的数据量。AWGN信道用一层神经网络表示。接收端基于三层全连接层构成分类器网络，特征图经分类器及Softmax层后输出分类结果。
步骤二、利用CNN神经元对应的每个语义概念输出的激活值，对系列特征图集合中各特征图求梯度后取平均，得到特征图对于语义概念的重要性权重；以此为依据，针对具体语义概念对特征图进行排序，得到语义概念和特征图重要性排序之间的关系；
激活值是神经网络计算后，神经元的输出值；如十分类问题最后一层神经元个数为10，每个神经元对应一个类别(即语义概念)。输入一个待分类图像，经过神经网络前向计算传播，最后一层每个神经元会输出一个激活值。
具体步骤如下：
步骤201、利用语义概念c的得分对第k个特征图求梯度，然后经过全局平均池化即可得到针对语义概念c而言，第k个特征图的重要性权重
Figure BDA0003689315940000051
如图5所示，其中针对语义概念c的激活值，即得分yc，定义为最后一层全连接经过Softmax之前的神经元激活值，Ak为最后一个卷积层的第k个特征图，其宽度和高度分别为w和h。
利用语义概念c的得分对第k个特征图求梯度，然后经过全局平均池化即可得到针对语义概念c而言，第k个特征图的重要性权重
Figure BDA0003689315940000061
表示为：
Figure BDA0003689315940000062
其中，
Figure BDA0003689315940000063
为特征图Ak第i行第j列处的激活值。
步骤202、针对特定语义概念c，同理计算每个特征图的重要性权重，得到针对语义概念c的特征图权重向量，可以表示为：
Figure BDA0003689315940000064
其中，N为系列特征图集合中所有特征图的总数。
如具体的语义概念ck的特征图权重向量
Figure BDA0003689315940000065
为：/>
Figure BDA0003689315940000066
Figure BDA0003689315940000067
是语义概念ck对第n个特征图的重要性权重；
步骤203、考虑语义概念集合
Figure BDA0003689315940000068
中的每个概念，基于上述步骤得到针对每个概念的特征图权重向量，即针对所有语义概念得到的特征图权重矩阵，可以表示为：
Figure BDA0003689315940000069
其中，
Figure BDA00036893159400000610
Figure BDA00036893159400000611
表示语义概念集合的元素个数即语义概念的总数。
步骤204、针对语义概念c，按照重要性权重值降序对特征图进行排序，得到的特征图排序结果；
针对语义概念ck，按照重要性权重值降序对特征图进行排序，得到的特征图排序结果记为
Figure BDA00036893159400000612
表示为：
Figure BDA00036893159400000613
其中，
Figure BDA00036893159400000614
表示为对语义概念ck最重要的特征图索引，/>
Figure BDA00036893159400000615
表示对语义概念ck最不重要的特征图索引；
步骤205、针对每个语义概念，利用各自的特征图权重值分别对各自的特征图进行降序排序，即可得到任一语义概念和特征图重要性排序之间的对应关系，即语义关系，可以表示为：
Figure BDA00036893159400000616
步骤三、依据实际的通信和计算资源，结合特征图权重和语义关系，对系列特征图集合进行裁剪，从而实现语义压缩去除冗余信息；
经语义压缩后输出X为：
X＝Cσ(A)
其中，Cσ(·)表示特征图裁剪函数，σ为裁剪比例；
具体步骤如下：
首先、针对单个语义概念ck，依据设定的裁剪比例σ，计算实际传输重要特征图个数：
Figure BDA0003689315940000071
其中，σ∈[0,1)为裁剪比例，对应于发送端的语义压缩程度，即σ越接近1，语义压缩程度越大，实际传输特征图的比例为1-σ；
Figure BDA0003689315940000072
表示向下取整；
然后、根据实际传输的重要特征图个数，确定特征图的裁剪阈值，由下式得到：
Figure BDA0003689315940000073
其中
Figure BDA0003689315940000074
是将特征图权重矩阵/>
Figure BDA0003689315940000075
中所有的特征图权重值从大到小排序结果。
接着、依据语义关系和特征图重要性排序的关系及设定的裁剪比例，实现特征图裁剪，去除不重要的特征图以降低传输的数据量，裁剪函数表示为：
Figure BDA0003689315940000076
其中
Figure BDA0003689315940000077
为裁剪阈值，n为针对每个语义概念，实际传输的重要特征图个数。
最后、针对语义概念ck，根据语义关系从特征图排序中选择符合裁剪阈值的n个特征图进行实际传输，其余裁剪掉；
针对语义概念ck实际传输的n个特征图索引表示为：
Figure BDA0003689315940000078
同理，得到所有语义概念的实际传输特征图，组成信道传输特征图矩阵，表示为：
Figure BDA0003689315940000079
步骤四、将裁剪后的特征图经无线信道进行传输，考虑瑞利衰落信道，计算接收端收到的特征图数据并输入分类器，将分类结果返回给IoT设备。
接收端收到的特征图数据表示为：
Y＝hX+n
其中，h为瑞利衰落信道的信道增益，n为加性高斯白噪声(AWGN，additive whiteGaussian noise)；依据香农公式，计算传输速率表示为：
Figure BDA00036893159400000710
其中，B为信道带宽，P为IoT设备发送功率，N0为AWGN功率谱密度。
接收端接收到的特征图数据输入分类器网络，输出各类对应的概率值：
p＝Qμ(Y)
其中，p＝[p1,p2,...,pM]，pk表示图片分为第k类的概率，M为总类别数，Qμ(·)表示分类器网络，网络参数为μ；
整个分类网络训练过程以交叉熵为损失函数，计算损失函数可以表示为：
Figure BDA0003689315940000081
其中，y＝[y1,y2,...,yM]为样本标签，如果样本的类别是i，则yi＝1，其余均为0。
概率值最大的类别即为分类结果，将结果返回给IoT设备。
本发明后续通过计算传输时延并和时延门限比较，判决传输成功与否；
将每张图像的实际传输数据量记为d，则传输时延可以表示为：
Figure BDA0003689315940000082
R为数据传输速率。
设定每张图像数据传输过程中的时延门限为t0，当数据实际传输时延大于时延门限(t＞t0)时，记作此次传输失败，也就无法完成后续图像分类任务，判定为分类错误。
最后，计算有效分类准确率；
传统图像分类任务的评价指标为分类准确率，可以表示为：
Figure BDA0003689315940000083
其中，Nt为待分类的图片总数，Ns为分类正确的图片数量。
在带宽和时延限制条件下，为了同时考量通信性能和图像分类任务的完成性能，本发明采用有效分类准确率为评价指标，表示为：
η＝β×γ
其中，β为给定信噪比和语义压缩程度时的分类准确率，γ为给定带宽和时延限制时，实际可以成功传输的图片比例。
为了更清楚地展示本发明所提语义通信过程，如图6所示，给出了图像分类任务应用实例演示流程图。
首先将待分类图像经尺度变换后输入特征提取网络(这里选用VGG16卷积部分)，输出尺寸为512×7×7的特征图；然后，利用提取到的语义概念和特征图重要性排序关系，将不重要的特征图进行裁剪，这里裁剪掉462个的特征图(对应裁剪比例σ＝0.9023)，保留50个特征图sT(对应每个语义概念最重要的前5个，即n＝5)经无线信道传输；在接收端，将恢复后的特征图输入分类器网络，输出最终的分类结果——卡车，并将结果返回给IoT设备。
本发明的语义通信方法在不同信道信噪比条件下，不同语义压缩程度(即不同裁剪比例)时图像分类性能与传统通信方法的性能对比如图7所示。
传统通信方式指将图像先经传统JPEG编码传输，接收端经解码恢复原图，再输入神经网络完成分类任务的方式；裁剪比例为0％表示不对特征图进行裁剪压缩而全部传输。从图中可以看出，基于深度学习的语义通信方式分类任务性能远远好于传统通信方式的分类任务性能，尤其是当信噪比较低时，如信道信噪比为0dB时，统统通信方式几乎无法完成分类，而基于语义通信方式的分类精度可以达到90％以上。此外，相较于特征图全部传输到接收端，基于语义通信的压缩方式在分类性能上会有一定的损失。然而，从两个实验结果可以看出，当压缩比例达到80％时，分类的精度在信噪比大于0dB时损失都很小，均在2％以内。这说明本发明的语义通信方法可以实现在几乎不影响任务性能的前提下，大大降低了传输的数据量，降低了传输时延和通信负担，比传统的通信方式更适合于时延和功耗敏感的IoT场景中。
如图8所示，展示了不同裁剪方式指导下的性能差异，对比方案包括：1)本发明所提的基于语义通信的特征图裁剪；2)实际场景中的随机传输部分特征图。考虑到实际场景中，带宽资源受限，同时受到时延门限的限制，往往无法将全部特征图经无线信道传输到接收端，因此考虑实际场景中存在的随机丢包，相当于对特征图进行了随机裁剪后传输。
为了更好的比较实验结果，这里将带宽定性地定义为满足时延限制条件下允许实际传输的特征图个数。如图8所示，在固定信道带宽和信噪比时，本发明提出的基于语义关系的裁剪方式可以提高模型分类准确率，例如在20dB、带宽为50时，基于语义关系裁剪方式相较于随机裁剪可以将分类准确率提高约30％。也就是说，本发明的语义通信方法在传输过程中，尽可能多的保留了图片重要的语义信息，有利于更好地完成分类任务。同时从实验结果可以看出，随着信道带宽和信噪比的增加，模型的分类性能也会增加。这是因为无论是传输更多的特征图还是更好的信道条件，都有利于分类任务的完成，提高模型分类准确率。
如图9所示，比较了本发明的语义通信方法在不同带宽和时延限制条件下，基于语义关系的特征图裁剪(裁剪比例设置为80％)和传输全部特征图两种方式的有效分类准确率。图9(a)为特征图裁剪80％后经信道传输完成分类任务，图9(b)为不对特征图进行裁剪压缩直接传输以完成分类任务。
从图9(a)和(b)对比中可以得出，当信道带宽或者时延门限较小的时候，特征图完整传输的方式最终几乎无法完成分类任务，这是因为当带宽或时延门限小的时候，实际可以完整传输的图片数很小，导致有效分类准确率很低。而经本发明所提方法裁剪80％的特征图后，传输时延也相应降低了80％，即使在带宽或时延门限较低的条件下，仍然可以有效传输部分重要的卷积核(即图片语义可以得到有效传输)，也即成功传输的图片信息比例增大，也提高了有效分类准确率，说明本发明所提方法更适合应用在带宽资源紧张和时延要求敏感的人工智能物联网场景中，提高模型的有效分类性能。
如图10所示，比较了本发明的语义通信方法和传统通信方法的复杂度，以单张图片完成分类任务的运行时间来定量衡量。从图10可以得出，面向智能任务的语义通信方法所需的运行时间远远小于传统通信方法所需的运行时间，而且适用于不同的分类网络，以基于Resnet18网络为例，语义通信方法的运行时间仅为传统方法的0.8％。这是因为语义通信方法利用分类网络的特征提取部分实现信源编码，同时利用语义关系实现数据进一步压缩，大大降低了传输和处理时延，因此面向智能任务的语义通信方法相较于传统方法更适合应用到对时敏感的AIOT场景中。
综上所述，通过实施本发明提出的面向智能任务的语义通信方法，在传输过程中提取语义关系来实现语义压缩，不仅可以减小网络传输的压力，降低智能任务的处理时延，而且可以提升智能任务的有效性能，在时延要求严格和带宽资源紧张的人工智能物联网场景中性能提升更为明显；相比于现有的数据集中传输和特征图完整传输，本发明有效地解决了传输数据中存在大量冗余信息的弊端，可以获得更大的通信传输效率和智能任务性能增益。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (4)

1.一种面向智能任务的语义通信方法，其特征在于，具体步骤如下：
步骤一、针对物联网IoT设备摄像头采集的图像数据，利用卷积神经网络CNN对每个图像分别进行初步特征提取，得到各图像的特征图集合；所有图像的特征图集合组成系列特征图集合；
步骤二、利用CNN神经元对应的每个语义概念输出的激活值，对系列特征图集合中各特征图分别求梯度并取平均值，得到该语义概念的特征图权重；
具体步骤如下：
首先、针对单个语义概念ck，利用激活值对每个系列特征图集合中每个特征图分别求梯度，经过全局平均池化得到各特征图的重要性权重，组成语义概念ck的特征图权重向量
Figure FDA0004227503720000011
如下：
Figure FDA0004227503720000012
Figure FDA0004227503720000013
是语义概念ck对第n个特征图的重要性权重；N为系列特征图集合中所有特征图的总数；
所有语义概念的特征图权重向量组成特征图权重矩阵ω如下：
Figure FDA0004227503720000014
Figure FDA00042275037200000113
是语义概念ck的特征图权重向量；/>
Figure FDA0004227503720000015
Figure FDA0004227503720000016
表示语义概念集合的元素个数，即语义概念的总数；
步骤三、分别按照各语义概念的重要性权重，对各自的特征图进行降序排序，得到语义概念和特征图重要性排序之间的对应关系，即语义关系；表示为：
Figure FDA0004227503720000017
Figure FDA0004227503720000018
为针对语义概念ck，按照重要性权重值降序对特征图进行排序，得到的特征图排序结果；
步骤四、依据实际的通信和计算资源，结合特征图权重和语义关系，对系列特征图集合进行裁剪，从而实现语义压缩；
所述语义压缩的具体步骤如下：
首先、针对单个语义概念ck，依据设定的裁剪比例σ，计算实际传输重要特征图个数：
Figure FDA0004227503720000019
裁剪比例σ∈[0,1)；
然后、根据实际传输的重要特征图个数，确定特征图的裁剪阈值，由下式得到：
Figure FDA00042275037200000110
其中
Figure FDA00042275037200000111
是将特征图权重矩阵/>
Figure FDA00042275037200000112
中所有的特征图权重值从大到小排序结果；
最后、针对语义概念ck，根据语义关系从特征图排序中选择符合裁剪阈值的n个特征图进行实际传输，其余裁剪掉；
表示为：
Figure FDA0004227503720000021
同理，得到所有语义概念的实际传输特征图，组成信道传输特征图矩阵，表示为：
Figure FDA0004227503720000022
步骤五、将裁剪后的特征图经无线信道进行传输，计算接收端收到的特征图数据；并输入分类器，将分类结果返回给IoT设备。
2.如权利要求1所述的一种面向智能任务的语义通信方法，其特征在于，所述步骤一中，得到各图像的特征图集合，具体为：
对图像I进行特征提取，得到特征图集合A的计算公式为：
A＝Sα(I)
其中Sα()为卷积神经网络，α为卷积神经网络的参数，A为图片I提取的特征图集合。
3.如权利要求1所述的一种面向智能任务的语义通信方法，其特征在于，所述对语义概念ck的特征图排序结果
Figure FDA0004227503720000026
表示为：
Figure FDA0004227503720000023
其中，
Figure FDA0004227503720000024
表示为对语义概念ck最重要的特征图索引，/>
Figure FDA0004227503720000025
表示对语义概念ck最不重要的特征图索引。
4.如权利要求1所述的一种面向智能任务的语义通信方法，其特征在于，所述接收端收到的特征图数据表示为：
Y＝hX+n
其中，h为瑞利衰落信道的信道增益，n为加性高斯白噪声，X为经语义压缩后的输出。
CN202210658290.3A 2021-11-19 2022-06-10 一种面向智能任务的语义通信方法 Active CN115102982B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021113764992 2021-11-19
CN202111376499 2021-11-19

Publications (2)

Publication Number Publication Date
CN115102982A CN115102982A (zh) 2022-09-23
CN115102982B true CN115102982B (zh) 2023-06-23

Family

ID=83290353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210658290.3A Active CN115102982B (zh) 2021-11-19 2022-06-10 一种面向智能任务的语义通信方法

Country Status (1)

Country Link
CN (1) CN115102982B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809201A (zh) * 2016-03-11 2016-07-27 中国科学院自动化研究所 一种生物启发式自主提取图像语义概念的识别方法及装置
CN108108657A (zh) * 2017-11-16 2018-06-01 浙江工业大学 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN112446376A (zh) * 2019-09-05 2021-03-05 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110709865A (zh) * 2019-05-10 2020-01-17 深圳码隆科技有限公司 用于产品识别的压缩网络
CN110517329B (zh) * 2019-08-12 2021-05-14 北京邮电大学 一种基于语义分析的深度学习图像压缩方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105809201A (zh) * 2016-03-11 2016-07-27 中国科学院自动化研究所 一种生物启发式自主提取图像语义概念的识别方法及装置
CN108108657A (zh) * 2017-11-16 2018-06-01 浙江工业大学 一种基于多任务深度学习的修正局部敏感哈希车辆检索方法
CN112446376A (zh) * 2019-09-05 2021-03-05 中国科学院沈阳自动化研究所 一种工业图像智能分割压缩方法

Also Published As

Publication number Publication date
CN115102982A (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
Chen et al. Label-less learning for traffic control in an edge network
CN107330074B (zh) 基于深度学习和哈希编码的图像检索方法
CN112181666A (zh) 一种基于边缘智能的设备评估和联邦学习重要性聚合方法、系统、设备和可读存储介质
CN111914937A (zh) 一种轻量化改进目标检测方法及检测系统
US20220398835A1 (en) Target detection system suitable for embedded device
CN111079847B (zh) 一种基于深度学习的遥感影像自动标注方法
CN113378890A (zh) 一种基于改进YOLO v4的轻量级行人车辆检测方法
CN111160481B (zh) 基于深度学习的adas目标检测方法及系统
CN113705596A (zh) 图像识别方法、装置、计算机设备和存储介质
CN113406974A (zh) 一种面向无人机集群联邦学习的学习与资源联合优化方法
CN114529765A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN115147632A (zh) 基于密度峰值聚类算法的图像类别自动标注方法及装置
CN116258941A (zh) 基于Android平台的yolox目标检测轻量化改进方法
CN114154578B (zh) 面向非平衡数据基于半监督分布式训练的任务识别方法
CN115102982B (zh) 一种面向智能任务的语义通信方法
Sagduyu et al. Age of information in deep learning-driven task-oriented communications
CN111753885B (zh) 一种基于深度学习的隐私增强数据处理方法和系统
CN114640669A (zh) 边缘计算方法及装置
CN115577797B (zh) 一种基于本地噪声感知的联邦学习优化方法及系统
CN112085164A (zh) 一种基于无锚框网络的区域推荐网络提取方法
CN114757721B (zh) 用于联合大数据挖掘的业务预测分析方法及ai挖掘系统
CN111768493B (zh) 一种基于分布参数编码的点云处理方法
CN116229128A (zh) 实体图像的聚类处理方法、装置、电子设备及存储介质
CN113420824A (zh) 针对工业视觉应用的预训练数据筛选及训练方法、系统
EP3683733A1 (en) A method, an apparatus and a computer program product for neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant