CN114630121A - 基于压缩感知的图像信息无线传输方法 - Google Patents

基于压缩感知的图像信息无线传输方法 Download PDF

Info

Publication number
CN114630121A
CN114630121A CN202210208982.8A CN202210208982A CN114630121A CN 114630121 A CN114630121 A CN 114630121A CN 202210208982 A CN202210208982 A CN 202210208982A CN 114630121 A CN114630121 A CN 114630121A
Authority
CN
China
Prior art keywords
image
compressed sensing
sub
image information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210208982.8A
Other languages
English (en)
Other versions
CN114630121B (zh
Inventor
廖少林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202210208982.8A priority Critical patent/CN114630121B/zh
Publication of CN114630121A publication Critical patent/CN114630121A/zh
Application granted granted Critical
Publication of CN114630121B publication Critical patent/CN114630121B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/02—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas
    • H04B7/04—Diversity systems; Multi-antenna system, i.e. transmission or reception using multiple antennas using two or more spaced independent antennas
    • H04B7/0413—MIMO systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Radio Transmission System (AREA)

Abstract

本发明公开了一种基于压缩感知的图像信息无线传输方法，包括在发送端对原始图像信息进行划分获得多个子图像信息，获取各所述子图像信息对应的共同基组，根据缩感知测量矩阵对发送端多输入‑多输出天线阵列进行调制，获得子图像的变换信息，在接收端通过多输入‑多输出天线阵列接收发送端传输过来的子图像变换信息，通过压缩感知还原神经网络对子图像进行还原等步骤。本发明通过将原始图像信息变换为维度更低的子图像变换信息，可以提高传输速度；通过图像/视频帧伪随机矩阵的线性乘积变换，可以减少传输的等效噪声，增加信噪比，可以在不增加空间复用技术的带宽的情况下，提高图像信息的无线传输速度和效率。本发明广泛应用于图像处理技术领域。

Description

基于压缩感知的图像信息无线传输方法
技术领域
本发明涉及图像处理和无线传输技术领域，尤其是一种基于压缩感知的图像信息无线传输方法。
背景技术
随着图像与视频等大数据的爆炸性增长，比如4K/8K视频等，需要提升其传输的速率。其中一个有效的途径就是采用频带更宽的毫米波(millimeterWave，mmWave：30GHz—300GHz)和太赫兹(THz：300GHz—3THz)频段，比如毫米波/太赫兹5G/6G。由于其更短的波长，毫米波/太赫兹5G/6G通信中可以采用规模更大的多天线阵列技术，从而可以采用多输入-多输出(MIMO，MultipleInputsMultipleOutputs)空间复用技术来进一步提升通信的速率。例如，一个具有半个波长天线间距的3GHz天线阵列能够部署在31m×31m区域内；然而，在60GHz的时候，这就缩小到更实际的范围1.58m×1.58m。毫米波/太赫兹MIMO探索了空间自由度，为频谱分享提供一个新维度，以增加数据容量并减少延迟。而且，大量、紧密的毫米波/太赫兹基站大大地增加了网络覆盖率，提升了高流量、高密度通信所需的大容量。例如，5G/6G小基站的数量预计约为40-50BSs/km2以上，远大于4G-LTE微蜂窝的8-10BSs/km2。
然而，虽然现有的多输入-多输出(MIMO)空间复用技术的带宽大，但是图像与视频大数据的维度和自由度也大，单纯靠增加空间复用技术的带宽，不能充分提高图像信息的无线传输速度和效率。
发明内容
针对目前的图像信息无线传输技术单纯依赖增加空间复用技术的带宽，传输速度和效率受到限制等至少一个技术问题，本发明的目的在于提供一种基于压缩感知的图像信息无线传输方法，包括：
获取要传输的原始图像信息；
对所述原始图像信息进行划分，获得多个子图像信息；
获取各所述子图像信息对应的共同基组；
获取最佳压缩感知测量矩阵；
根据所述最佳压缩感知测量矩阵对所述子图像信息进行变换，获得子图像变换信息；
对所述子图像变换信息通过毫米波/太赫兹进行无线传输。
进一步地，所述对所述原始图像信息进行划分，获得多个子图像信息，包括：
获取MIMO天线阵列的尺寸大小；
所述MIMO天线阵列的尺寸大小与相同大小的子图像对应；
把原始图像按照所述子图像大小划分为多个子图像；
所述MIMO天线阵列将用于所述子图像的压缩感知信息变换以及无线传输。
进一步地，所述获取各所述子图像信息对应的共同基组，包括：
构建字典学习神经网络；
通过所述字典学习神经网络对各所述子图像信息的图像特征进行学习，获得所述共同基组。
进一步地，所述获取最佳压缩感知测量矩阵，包括：
通过优化方法，获取相关度最小的所述压缩感知测量矩阵为所述最佳压缩感知测量矩阵。
进一步地，所述压缩感知测量矩阵为伪随机哈达玛矩阵。
进一步地，所述根据所述最佳压缩感知测量矩阵对所述原始图像信息进行变换，获得子图像变换信息，包括：
对所述最佳压缩感知测量矩阵和所述原始图像信息进行点乘积计算，获得所述子图像变换信息。
进一步地，最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过对数字电路的编程来实现，比如FPGA；也可以通过发送端的多输入-多输出天线阵列来实现。
进一步地，所述对所述子图像变换信息进行无线传输，包括：
通过毫米波信号/太赫兹MIMO天线阵列传输所述子图像变换信息。
进一步地，所述基于压缩感知的图像信息无线传输方法在接收端还包括：
接收所述子图像变换信息；
对所述子图像变换信息进行采样和数字量化；
构建压缩感知还原神经网络；
通过所述压缩感知还原神经网络对所述子图像变换信息进行子图像还原。
进一步地，所述基于压缩感知的图像信息无线传输方法还包括：
当所述发送端的字典学习神经网络学习到新的所述共同基组，将被传输到接收端与压缩感知还原神经网络进行共享。
本发明的有益效果是：由于图像的传输速度决定于压缩感知(CS)矩阵的维度，即图像/视频帧大数据的共同基组自由度，实施例中的基于压缩感知的图像信息无线传输方法，通过将原始图像信息变换为维度更低的子图像变换信息，可以提高图像的传输速度；通过图像/视频帧伪随机矩阵的线性乘积变换，压缩感知(CS)毫米波/太赫兹5G/6G图像传输的等效噪声可被减少，信噪比增加。根据香农定理，也就意味通信速率的增加；因此，实施例中的基于压缩感知的图像信息无线传输方法可以在不依赖增加空间复用技术的带宽的情况下，提高图像信息的无线传输速度和效率。
附图说明
图1为基于压缩感知的图像信息无线传输方法的示意图；
图2为实施例中基于压缩感知的图像信息无线传输方法的流程图；
图3为基于压缩感知的图像信息无线传输方法的典型应用场景；
图4为实施例中用于验证压缩感知的图像信息无线传输方法的系统结构图；
图5为实施例中验证基于压缩感知的图像信息无线传输方法效果的实验效果示意图；
图6为实施例中在图像/视频不失真情况下每个字母图像的最高传输速率和所需的信噪比(SNR)示意图；
图7为实施例中数字图像传输在不同的传输速率和信噪比(SNR)实验条件下，图像/视频帧的重组失真度示意图；
图8为实施例中在图像/视频不失真情况下每个数字图像的最高传输速率和所需的信噪比(SNR)示意图。
具体实施方式
本发明公开了一种基于压缩感知的图像信息无线传输方法(如图1所示)：1)在传输端，对要传输的原始图像信息进行划分，获得多个子图像信息；然后通过人工智能AI神经网络等方法，比如字典学习神经网络，获取原始图像所有子图像信息的共同基组；再以获取的共同基组为输入，获取最佳压缩感知测量矩阵；随后，利用获取的压缩感知测量矩阵对无线发送端的多输入-多输出天线阵列进行控制，实现子图像的信息变换；2)在接收端，通过多输入-多输出天线阵列接收带有噪音的子图像变换信息；然后利用压缩感知图像重建神经网络来复原子图像。本发明通过将原始图像信息变换为维度更低的子图像变换信息，可以提高图像的传输速度；通过图像/视频帧伪随机矩阵的线性乘积变换，也可以增加通信速率；因此，本发明可以在不依赖增加空间复用技术的带宽的情况下，提高图像信息的无线传输速度和效率。本发明广泛应用于图像处理与传输技术领域。该发明的主要步骤如图2所示。
该发明的应用包括5G/6G手机-基站间的无线图像/视频传输；手机-接入点(AP)间的无线图像/视频传输；手机-手机的点对点无线图像/视频传输等。该发明属于毫米波/太赫兹5G/6G无线通信技术与计算机人工智能技术领域，尤其涉及一种基于压缩感知(CS)的高速无线图像/视频传输技术。
该发明的典型应用例子如图3所示：基站/接入点(Base Station/Access Pointor BS/AP，右子图)对待传输的图像与视频大数据进行人工智能(AI)神经网络深度学习得出其最优化的共同基组
Figure BDA0003530244740000041
然后，通过最小化等效压缩感知(CS)测量矩阵
Figure BDA0003530244740000042
的相关度μ来获取最佳的
Figure BDA0003530244740000043
并通过最佳等效压缩感知(CS)测量矩阵
Figure BDA0003530244740000044
和共同基组
Figure BDA0003530244740000045
来获得实际压缩感知(CS)测量矩阵
Figure BDA0003530244740000046
其次，基站/接入点(BS/AP)将应用测量矩阵
Figure BDA0003530244740000047
对图像/视频帧通过多输入多输出(MIMO)进行硬件变换得到图像/视频帧的变换结果
Figure BDA0003530244740000048
随后，手机(左子图)通过传过来的变换结果
Figure BDA0003530244740000049
和最优化的共同基组
Figure BDA00035302447400000410
对图像/视频帧进行重组。
本实施例中，压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频传输技术的原理如图1所示。参照图2，基于压缩感知的图像信息无线传输方法包括以下步骤：
S1.获取要传输的原始图像信息；
S2.对原始图像信息进行划分，获得多个子图像信息；
S3.获取各子图像信息对应的共同基组；
S4.获取最佳压缩感知测量矩阵；
S5.根据共同基组和最佳压缩感知测量矩阵，确定最佳压缩感知测量矩阵；
S6.根据最佳压缩感知测量矩阵对原始图像信息进行变换，获得子图像变换信息；
S7.对子图像变换信息进行无线传输。
步骤S1-S7可以由发送端来执行，具体地，发送端可以是手机、接入点和基站等设备，发送端执行步骤S7，向接收端传输图像信息，接收端也可以是手机、接入点和基站等设备。发送端和接收端均设有MIMO天线阵列。
具体地，MIMO天线阵列可以是：i)幅度和相位控制天线阵列；ii)可重构发射面(RIS)；iii)大智慧型表面(LIS)等。其中：
i)幅度和相位控制天线阵列：压缩感知(CS)测量通过压缩感知(CS)测量矩阵对待传输的图像进行幅度和相位的控制实现。特别是，最简单的方法是控制每个天线的开与关(On-OffAmplitude ShiftKeying,ASK)来实现。
ii)可重构发射面(RIS)：待传输的图像每个像素先投射到可重构发射面(RIS)的单元上，然后压缩感知(CS)测量控制可重构发射面(RIS)单元的反射幅度和相位来实现压缩感知(CS)测量。
iii)大智慧型表面(LIS)：和可重构发射面(RIS)类似，并具备更多的感知与信号处理功能。
步骤S1中，发送端获取原始图像信息，其中原始图像信息可以是单张静态照片，也可以是多张静态照片，或者是视频流。如果原始图像信息是多张静态照片或者视频流，可以将原始图像信息分解成多帧单张静态照片处理，因此本实施例中可以只对原始图像信息为单张静态照片的情况进行说明。
步骤S2中，根据作为发送端的手机、接入点(AP)和基站(BS)所设的多输入多输出(MIMO)天线阵列大小，对原始图像信息进行区块划分。例如，对小规模的手机多输入多输出(MIMO)天线阵列，可设置4×4＝16作为划分数量，将原始图像信息划分成16个区块，每个区块都是子图像信息；对大规模的接入点(AP)和基站(BS)多输入多输出(MIMO)天线阵列，可设置42×42＝1764作为划分数量，将原始图像信息划分成1764个区块，每个区块都是子图像信息。
发送端在执行步骤S3，也就是获取各子图像信息对应的共同基组这一步骤时，具体可以执行以下步骤：
S301.构建字典学习神经网络(第一个神经网络)；
S302.通过字典学习神经网络对各子图像信息的图像特征进行学习，获得共同基组。
由于现实中对相同目标拍摄的多张图像，尤其是对相同目标拍摄的视频数据中的各帧画面之间存在着很强相关性：比如视频中的相连图像帧是前后相连的，它们之间只有局部地方是有变化的。因此，可以基于上述原理对子图像信息进行降维。其中一个很好的解决办法就是对它们在最佳的图像基组中进行分解，以少量的基组(自由度)来表示它们。所以，可以先找到最佳的基组，使得子图像信息在该基组的自由度最少。这就是图像/视频大数据字典学习神经网络(DLNet)(第一个神经网络)的功能。步骤S301中，可以使用L-层的深度学习神经网络(字典学习神经网络DLNet)作为字典学习神经网络。
步骤S302中，将子图像信息表示为
Figure BDA0003530244740000051
子图像信息的像素点为p×q，在L-层的深度学习神经网络中子图像信息的1维向量
Figure BDA0003530244740000061
可以表示为以下方程1和方程2：
Figure BDA0003530244740000062
Figure BDA0003530244740000063
其中，
Figure BDA0003530244740000064
N=pq为子图像信息
Figure BDA0003530244740000065
的共同基组，
Figure BDA0003530244740000066
为其相应系数，在不写上标时
Figure BDA0003530244740000067
也可以写为
Figure BDA0003530244740000068
子图像信息的最佳(最优化)共同基组可以通过最小化
Figure BDA0003530244740000069
的系数个数来获得，即通过计算
Figure BDA00035302447400000610
(s.t.方程1.方程2)来求解子图像信息的最佳(最优化)共同基组。
由于方程2虽然可以通过多循环迭代的方法求解，但是多循环迭代并不是很适用大规模的图像和视频。因此，步骤S302中，通过构建多层深度学习图像/视频大数据字典学习神经网络(DLNet)对其进行学习和求解，即由字典学习神经网络来计算
Figure BDA00035302447400000611
(s.t.方程1.方程2)，对各子图像信息的图像特征进行学习，获得共同基组。
发送端在在执行步骤S4，也就是获取最佳压缩感知测量矩阵这一步骤时，具体可以执行以下步骤：
S401.生成多个压缩感知测量矩阵；
S402.获取各压缩感知测量矩阵各自对应的互相关度；
S403.确定对应的相关度最小的压缩感知测量矩阵为最佳压缩感知测量矩阵。
步骤S401-S403中，发送端从多个分别具有各自相应的互相关度的压缩感知测量矩阵中，筛选出互相关度μ最小的那个压缩感知测量矩阵作为最佳压缩感知测量矩阵。其中，这些压缩感知测量矩阵都可以是二维循环哈达玛(Hadamard)矩阵。循环哈达玛(Hadamard)矩阵可以表示为
Figure BDA00035302447400000612
N=p×q，是具有以下特征的矩阵：
1)为兼容二进制图像传输，
Figure BDA00035302447400000613
矩阵中所有元素可以是0或1。
2)
Figure BDA00035302447400000614
矩阵中的行是循环的：通过将第一行转移i步，则可得第i行。
3)
Figure BDA00035302447400000615
矩阵中所有行是伪随机序列：除了某些偏移，它们的傅里叶光谱是平坦的。
4)逆矩阵
Figure BDA00035302447400000616
是运用一个偏移量对自身的转置。
5)逆矩阵
Figure BDA00035302447400000617
同样也是循环的。
针对具有循环矩阵
Figure BDA00035302447400000618
的图像的哈达玛(Hadamard)伪随机矩阵变换变换步骤如下所示：
1)首先，将输入的p×q 2D图像转换成矩阵，标记为
Figure BDA0003530244740000071
2)然后，采用孪生素数方法，构建循环哈达玛(Hadamard)序列；
3)最后，将循环哈达玛(Hadamard)序列转换成2D模式，标记为
Figure BDA0003530244740000072
图像的伪随机矩阵变换的实现方法有两个：1)软件伪随机矩阵变换；2)基于多输入-多输出(MIMO)的硬件伪随机矩阵变换。
1)对于基于软件的图像传输，其传输实现于软件级别，即，在基带数字处理中计算图像和伪随机矩阵的乘积，例如，FPGA。然后，数字伪随机矩阵变换输出给MIMO天线阵列，以用于传输。对于实验中采用的哈达玛(Hadamard)矩阵，由于其循环特性，哈达玛(Hadamard)变换被可认为是图像/视频帧与循环哈达玛(Hadamard)矩阵的卷积，可以通过高效的快速傅里叶变换实现。
2)对于基于硬件的图像传输，其传输实现于硬件级别。因此，意味着更高速的图像传输。对于实验中采用的哈达玛(Hadamard)矩阵，由于其循环特性，可以通过循环寄存器实现，大大地简化了转换的硬件构架。
本实施例中，可以不再关注除最佳压缩感知测量矩阵之外的其他压缩感知测量矩阵。本实施例中，将最佳压缩感知测量矩阵记为
Figure BDA0003530244740000073
在执行步骤S5，也就是根据共同基组
Figure BDA0003530244740000074
和最佳压缩感知测量矩阵
Figure BDA0003530244740000075
确定最佳压缩感知测量矩阵这一步骤时，具体可以执行以下步骤：
S401.以共同基组
Figure BDA0003530244740000076
的逆矩阵右乘最佳压缩感知测量矩阵
Figure BDA0003530244740000077
获得最佳压缩感知测量矩阵
Figure BDA0003530244740000078
即
Figure BDA0003530244740000079
步骤S401的原理在于：根据压缩感知的原理，有如下方程：
Figure BDA00035302447400000710
将方程1代入方程3，可以得到以下方程：
Figure BDA00035302447400000711
为了提高压缩感知(Compressed Sensing，CS)的效率，其测量矩阵(最佳压缩感知测量矩阵)
Figure BDA00035302447400000712
需要满足最小互相关特性μ，因此有：
Figure BDA00035302447400000713
其中，
Figure BDA0003530244740000081
为
Figure BDA0003530244740000082
的归一化矩阵。
根据方程4中的
Figure BDA0003530244740000083
可以得到
Figure BDA0003530244740000084
本实施例中，发送端在执行步骤S6，也就是根据最佳压缩感知测量矩阵对原始图像信息进行变换，获得子图像变换信息这一步骤时，具体可以执行以下步骤：
S601.对最佳压缩感知测量矩阵
Figure BDA0003530244740000085
和原始图像信息
Figure BDA0003530244740000086
进行点乘积计算，获得子图像变换信息
Figure BDA0003530244740000087
步骤S601实际上是方程3即
Figure BDA0003530244740000088
执行步骤S601进行压缩感知(CS)的2种实现方法包括：i)软件方式；ii)硬件方式。压缩感知(CS)利用图像在最佳基组的稀疏自由度的特性，通过远小于图像像素N的测量数量M＜＜N而能够重建出无损的完整图像，其中，
Figure BDA0003530244740000089
为压缩感知(CS)测量矩阵。
Figure BDA00035302447400000810
为压缩感知(CS)测量结果。方程3可以通过软件或者硬件的方式实现计算：
i)软件方式：方程3中的压缩感知(CS)测量结果
Figure BDA00035302447400000811
可以通过数字基带处理器(比如FPGA)的直接计算获得，然后应用传统的毫米波/太赫兹5G/6G多输入-多输出(MIMO)通信来传输压缩感知(CS)测量结果即子图像变换信息
Figure BDA00035302447400000812
ii)硬件方式：方程3也可以利用压缩感知(CS)测量矩阵
Figure BDA00035302447400000813
对与毫米波/太赫兹多输入-多输出(MIMO)阵列单元相连的待传输图像进行幅度和相位的调制来实现。其中，毫米波/太赫兹多输入-多输出(MIMO)阵列包括天线阵列、可重构发射面(RIS)或者大智慧型表面(LIS)等。
本实施例中，发送端在执行步骤S7，也就是对子图像变换信息进行无线传输这一步骤时，具体地可以将子图像变换信息
Figure BDA00035302447400000814
加载在毫米波信号(30GHz-300GHz)/太赫兹信号(300GHz-3THz)从而进行传输。
本实施例中，基于压缩感知的图像信息无线传输方法还包括以下步骤：
S8.接收子图像变换信息；
S9.对子图像变换信息进行采样和数字量化；
S10.构建压缩感知还原神经网络；
S11.通过压缩感知还原神经网络对子图像变换信息进行图像还原。
本实施例中，由接收端执行步骤S8-S11。接收端通过伪随机矩阵反变换，实现图像/视频帧重构，包括图像/视频帧的数字量化。同样的，有两种实现方法可以实现图像还原：1)软件图像/视频帧重构；2)基于多输入-多输出(MIMO)的硬件图像/视频帧重构。
1)软件图像/视频帧重构
压缩感知(CS)图像/视频帧重构方法包括传统的循环迭代法，比如基于L1-norm的优化算法Lasso等；和人工智能(AI)神经网络。
2)基于多输入-多输出(MIMO)的硬件图像/视频帧重构
首先，通过多输入-多输出(MIMO)来实现硬件准倒转测量矩阵，获得近似的图像/视频帧重构；然后再通过软件方法对图像/视频帧进行更准确的重构。
本实施例中，接收端在执行步骤S8-S11，即压缩感知(CS)图像重建步骤时，具体可以执行以下步骤：接收端对接收到带有噪音的压缩感知(CS)测量结果即子图像变换信息
Figure BDA0003530244740000091
后，先对即子图像变换信息
Figure BDA0003530244740000092
进行采样和数字量化，然后通过压缩感知(CS)图像重建算法进行图像还原。由于噪音的存在，为了使得还原的图像具有更小的失真度，需要设计好的压缩感知(CS)图像重建算法。通常的压缩感知(CS)图像重建算法包括i)循环迭代法；ii)人工智能(AI)神经网络。
i)循环迭代法：包括基于L1-norm的优化算法Lasso等。
ii)人工智能(AI)神经网络：通过构建多层神经网络来实现压缩感知(CS)图像重建。由于压缩感知(CS)图像重建和图像/视频大数据字典学习神经网络
(DLNet)都可以用方程1描述的同一个神经网络来表示，所以它们可以共用同一个神经网络，只是学习的参数不同：图像/视频大数据字典学习神经网络(DLNet)学习的是图像/视频大数据的基组，而压缩感知(CS)图像重建学习则是其系数。
压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频传输的端对端整体优化：由于图像与视频传输的一个重要指标为图像与视频还原的失真度，因此，为了降低图像与视频还原的失真度，需要以图像与视频还原的失真度为目标函数，进行从发送端到接收端的端对端整体优化，以获得整体最佳的压缩感知(CS)测量和最好的图像与视频还原。这种端对端整体优化可以是通过线下端对端神经网络的学习来进行，也可以在线上通过接收端的反馈结果来进行。
本实施例中，基于压缩感知的图像信息无线传输方法还包括以下步骤：
S12.当字典学习神经网络学习到新的共同基组，字典学习神经网络将新的共同基组共享到压缩感知还原神经网络。
由于接收端需要用到基组对其接收到的压缩感知(CS)测量结果进行更快更好的图像还原，因此需要发送端共享其学习到的最佳基组。这种共享是一个不断更新的过程：每当图像/视频大数据字典学习神经网络(DLNet)学习到新的图像基组变化，发送端将对接收端的基组进行更新。
实验验证
为了证明本实施例中的基于压缩感知(CS)的图像信息无线传输方法的高效性，可以搭建图4所示的传输实验系统，测试了压缩感知(CS)高速毫米波/太赫兹(94GHz)无线图像/视频传输过程，即测试执行步骤S1-S11。执行步骤S1-S11的其他因素如下：
1)图像/视频帧由字母图像和数字图像组成。
2)伪随机矩阵为循环哈达玛(Hadamard)矩阵，并由孪生素数方法产生。
3)伪随机循环哈达玛(Hadamard)矩阵掩膜可通过紧密机械制造或者光刻蚀技术制造；
4)伪随机循环哈达玛(Hadamard)矩阵由电脑控制3维平移台进行伪随机矩阵循环切换。
5)伪随机哈达玛(Hadamard)矩阵变换由毫米波/太赫兹照射到紧密重叠的图像/视频帧和伪随机矩阵为循环哈达玛(Hadamard)矩阵掩膜来实现。
6)单像素毫米波/太赫兹探测器对伪随机哈达玛(Hadamard)矩阵变换进行探测。
7)运行在电脑上的人工智能(AI)压缩感知(CS)重构神经网络将对图像/视频帧进行重组还原。
图5展示了压缩感知(CS)高速毫米波/太赫兹5G/6G无线图像/视频帧传输方法的实验结果：字母图像传输在不同的传输速率和信噪比(SNR)实验条件下，图像/视频帧的重组失真度。从中可以看出，在一定的信噪比(SNR)实验条件下，传输速率可以大大地被提升，而不出现图像/视频失真。比如字母I在信噪比SNR＝12时，传输速率达到了12倍速而不出现图像/视频失真。图6则总结了在图像/视频不失真情况下每个字母图像的最高传输速率和所需的信噪比(SNR)。
相似地，图7展示了本实施例中的基于压缩感知的图像信息无线传输方法的实验结果：数字图像传输在不同的传输速率和信噪比(SNR)实验条件下，图像/视频帧的重组失真度。从中可以看出，在一定的信噪比(SNR)实验条件下，传输速率可以大大地被提升，而不出现图像/视频失真。比如数字1在信噪比SNR＝15时，传输速率达到了18倍速而不出现图像/视频失真。最后，图8总结了在图像/视频不失真情况下每个数字图像的最高传输速率和所需的信噪比(SNR)。
综上，本实施例中的基于压缩感知的图像信息无线传输方法有以下主要创新点：
1)将压缩感知(CS)技术应用于高速毫米波/太赫兹无线图像/视频传输中。
2)与多输入-多输出(MIMO)毫米波/太赫兹5G/6G技术相兼容。
3)可通过多种毫米波/太赫兹多输入-多输出(MIMO)阵列实现，包括天线阵列，可重构发射面(Reconfigurable Intelligent Surface,RIS)，大智慧型表面(LargeIntelligent Surface,LIS)等。
4)可用于图像，也可用于视频毫米波/太赫兹5G/6G无线传输。
5)在图像/视频发送端(比如，毫米波/太赫兹5G/6G基站)，图像/视频大数据字典学习神经网络(DLNet)学习出图像/视频大数据的基组。
6)在图像/视频发送端(比如，毫米波/太赫兹5G/6G基站)，由DLNet得到图像/视频基组后，对压缩感知(CS)测量矩阵进行优化。
7)在图像/视频发送端(比如，毫米波/太赫兹5G/6G基站)，应用优化后的压缩感知(CS)测量矩阵通过软件或者硬件的方式来实现图像/视频进行压缩感知(CS)测量或变换：i)软件方式：在数字基带中计算压缩感知(CS)测量矩阵与图像/视频的乘积，然后把得到的乘积结果用常规的毫米波/太赫兹5G/6G MIMO通信来实现；ii)硬件方式：用压缩感知(CS)测量矩阵对与图像/视频相连接的多输入-多输出(MIMO)阵列(比如可重构发射面RIS或者大智慧型表面LIS)进行幅度和相位的调制。
8)在图像/视频接收端(比如，毫米波/太赫兹5G/6G手机；访问接入点：AP；和基站：BS)，对接收到的压缩感知(CS)结果经过模拟数字转换器采样和量化后，应用压缩感知(CS)图像/视频重建算法或神经网络对其进行复原。
9)最后，为了进一步提升压缩感知(CS)毫米波/太赫兹无线图像/视频传输的速率，将上述步骤5)到步骤8)进行整合优化，开发出端对端(End-to-End)优化神经网络。
具体到数据通信过程，本实施例中的基于压缩感知的图像信息无线传输方法的优点如下：
1)图像的传输速度决定于压缩感知(CS)矩阵的维度，即图像/视频帧大数据的共同基组自由度，通过将原始图像信息变换为维度更低的子图像变换信息，从而提高图像的传输速度；
2)通过图像/视频帧伪随机矩阵的线性乘积变换，压缩感知(CS)毫米波/太赫兹5G/6G图像传输的等效噪声可被减少，信噪比增加。根据香农定理，也就意味通信速率的增加。
3)压缩感知(CS)图像传输技术可兼容于毫米波/太赫兹5G/6G多输入-多输出(MIMO)技术。
需要说明的是，如无特殊说明，当某一特征被称为“固定”、“连接”在另一个特征，它可以直接固定、连接在另一个特征上，也可以间接地固定、连接在另一个特征上。此外，本公开中所使用的上、下、左、右等描述仅仅是相对于附图中本公开各组成部分的相互位置关系来说的。在本公开中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。此外，除非另有定义，本实施例所使用的所有的技术和科学术语与本技术领域的技术人员通常理解的含义相同。本实施例说明书中所使用的术语只是为了描述具体的实施例，而不是为了限制本发明。本实施例所使用的术语“和/或”包括一个或多个相关的所列项目的任意的组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种元件，但这些元件不应限于这些术语。这些术语仅用来将同一类型的元件彼此区分开。例如，在不脱离本公开范围的情况下，第一元件也可以被称为第二元件，类似地，第二元件也可以被称为第一元件。本实施例所提供的任何以及所有实例或示例性语言(“例如”、“如”等)的使用仅意图更好地说明本发明的实施例，并且除非另外要求，否则不会对本发明的范围施加限制。
应当认识到，本发明的实施例可以由计算机硬件、硬件和软件的组合、或者通过存储在非暂时性计算机可读存储器中的计算机指令来实现或实施。所述方法可以使用标准编程技术-包括配置有计算机程序的非暂时性计算机可读存储介质在计算机程序中实现，其中如此配置的存储介质使得计算机以特定和预定义的方式操作——根据在具体实施例中描述的方法和附图。每个程序可以以高级过程或面向对象的编程语言来实现以与计算机系统通信。然而，若需要，该程序可以以汇编或机器语言实现。在任何情况下，该语言可以是编译或解释的语言。此外，为此目的该程序能够在编程的专用集成电路上运行。
此外，可按任何合适的顺序来执行本实施例描述的过程的操作，除非本实施例另外指示或以其他方式明显地与上下文矛盾。本实施例描述的过程(或变型和/或其组合)可在配置有可执行指令的一个或多个计算机系统的控制下执行，并且可作为共同地在一个或多个处理器上执行的代码(例如，可执行指令、一个或多个计算机程序或一个或多个应用)、由硬件或其组合来实现。所述计算机程序包括可由一个或多个处理器执行的多个指令。
进一步，所述方法可以在可操作地连接至合适的任何类型的计算平台中实现，包括但不限于个人电脑、迷你计算机、主框架、工作站、网络或分布式计算环境、单独的或集成的计算机平台、或者与带电粒子工具或其它成像装置通信等等。本发明的各方面可以以存储在非暂时性存储介质或设备上的机器可读代码来实现，无论是可移动的还是集成至计算平台，如硬盘、光学读取和/或写入存储介质、RAM、ROM等，使得其可由可编程计算机读取，当存储介质或设备由计算机读取时可用于配置和操作计算机以执行在此所描述的过程。此外，机器可读代码，或其部分可以通过有线或无线网络传输。当此类媒体包括结合微处理器或其他数据处理器实现上文所述步骤的指令或程序时，本实施例所述的发明包括这些和其他不同类型的非暂时性计算机可读存储介质。当根据本发明所述的方法和技术编程时，本发明还包括计算机本身。
计算机程序能够应用于输入数据以执行本实施例所述的功能，从而转换输入数据以生成存储至非易失性存储器的输出数据。输出信息还可以应用于一个或多个输出设备如显示器。在本发明优选的实施例中，转换的数据表示物理和有形的对象，包括显示器上产生的物理和有形对象的特定视觉描绘。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

1.一种基于压缩感知的图像信息无线传输方法，适用于毫米波/太赫兹5G/6G无线网络，其具体步骤如下：
1)在发送端
获取要传输的原始图像信息；
对所述原始图像信息进行划分，获得多个子图像信息；
获取各所述子图像信息对应的共同基组；
获取最佳压缩感知测量矩阵；
据获取的压缩感知测量矩阵，对发送端多输入-多输出天线阵列进行调制，以获得子图像的变换信息；
2)在接收端
通过多输入-多输出天线阵列接收发送端传输过来的子图像变换信息；
然后通过压缩感知还原神经网络对子图像进行还原。
2.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，对所述原始图像信息进行划分，获得多个子图像信息，包括：
获取MIMO天线阵列的尺寸大小；
所述MIMO天线阵列的尺寸大小与相同大小的子图像对应；
把原始图像按照所述子图像大小划分为多个子图像；
所述MIMO天线阵列将用于所述子图像的压缩感知信息变换以及无线传输。
3.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，所述获取各所述子图像信息对应的共同基组，包括：
构建字典学习神经网络；
通过所述字典学习神经网络对各所述子图像信息的图像特征进行学习，获得所述共同基组。
4.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，所述获取最佳压缩感知测量矩阵，包括：
通过优化方法，获取相关度最小的所述压缩感知测量矩阵为所述最佳压缩感知测量矩阵。
5.根据权利要求4所述的基于压缩感知的图像信息无线传输方法，其特征在于，所述压缩感知测量矩阵为伪随机哈达玛矩阵。
6.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，根据所述最佳压缩感知测量矩阵对所述子图像信息进行变换，获得子图像变换信息，包括：
对所述最佳压缩感知测量矩阵和所述原始图像信息进行点乘积计算，获得所述子图像变换信息。
7.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，子图像和压缩感知测量矩阵的点乘积操作可以通过可编程的数字电路和多输入-多输出天线阵列来实现，包括：
所述最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过对数字电路的编程来实现，比如FPGA；
所述最佳压缩感知测量矩阵和所述原始图像信息的点乘积计算可以通过发送端的多输入-多输出天线阵列来实现。
8.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，对所述子图像变换信息进行无线传输，包括：
通过毫米波/太赫兹多输入-多输出天线阵列传输所述子图像变换信息。
9.根据权利要求3所述的基于压缩感知的图像信息无线传输方法，其特征在于，所述基于压缩感知的图像信息无线传输方法还包括：
在接收端接收所述子图像变换信息；
对所述子图像变换信息进行采样和数字量化；
构建压缩感知还原神经网络；
通过所述压缩感知还原神经网络对所述子图像变换信息进行子图像还原。
10.根据权利要求1所述的基于压缩感知的图像信息无线传输方法，其特征在于，所述基于压缩感知的图像信息无线传输方法还包括：
所述发送端字典学习神经网络学习到的所述共同基组将被传输到接收端，与所述压缩感知还原神经网络进行共享。
CN202210208982.8A 2022-03-03 2022-03-03 基于压缩感知的图像信息无线传输方法 Active CN114630121B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210208982.8A CN114630121B (zh) 2022-03-03 2022-03-03 基于压缩感知的图像信息无线传输方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210208982.8A CN114630121B (zh) 2022-03-03 2022-03-03 基于压缩感知的图像信息无线传输方法

Publications (2)

Publication Number Publication Date
CN114630121A true CN114630121A (zh) 2022-06-14
CN114630121B CN114630121B (zh) 2023-05-12

Family

ID=81900819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210208982.8A Active CN114630121B (zh) 2022-03-03 2022-03-03 基于压缩感知的图像信息无线传输方法

Country Status (1)

Country Link
CN (1) CN114630121B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952039A (zh) * 2015-06-14 2015-09-30 中国电子科技集团公司第十研究所 分布式图像压缩感知重建方法
CN105338602A (zh) * 2015-10-14 2016-02-17 安徽大学 一种基于虚拟mimo的压缩数据收集方法
CN105610477A (zh) * 2016-01-28 2016-05-25 西南交通大学 基于压缩感知的多发多收系统增强信号复用技术
US10373300B1 (en) * 2019-04-29 2019-08-06 Deep Render Ltd. System and method for lossy image and video compression and transmission utilizing neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104952039A (zh) * 2015-06-14 2015-09-30 中国电子科技集团公司第十研究所 分布式图像压缩感知重建方法
CN105338602A (zh) * 2015-10-14 2016-02-17 安徽大学 一种基于虚拟mimo的压缩数据收集方法
CN105610477A (zh) * 2016-01-28 2016-05-25 西南交通大学 基于压缩感知的多发多收系统增强信号复用技术
US10373300B1 (en) * 2019-04-29 2019-08-06 Deep Render Ltd. System and method for lossy image and video compression and transmission utilizing neural networks

Also Published As

Publication number Publication date
CN114630121B (zh) 2023-05-12

Similar Documents

Publication Publication Date Title
Guo et al. Overview of deep learning-based CSI feedback in massive MIMO systems
CN108390706B (zh) 一种基于深度学习的大规模mimo信道状态信息反馈方法
Rani et al. A systematic review of compressive sensing: Concepts, implementations and applications
CN111817768B (zh) 一种用于智能反射表面无线通信的信道估计方法
US20140211039A1 (en) Efficient Transforms and Efficient Row Generation for Kronecker Products of Hadamard Matrices
US9277139B2 (en) Generating modulation patterns for the acquisition of multiscale information in received signals
CN113098805B (zh) 基于二值化神经网络的高效mimo信道反馈方法及装置
CN111555781B (zh) 一种基于深度学习注意力机制的大规模mimo信道状态信息压缩及重建方法
CN116054887A (zh) 一种基于神经网络模型的天线信号调制方法
Myers et al. Deep learning-based beam alignment in mmwave vehicular networks
Guo et al. Deep learning for joint channel estimation and feedback in massive MIMO systems
Ou et al. Millimeter wave wireless Hadamard image transmission for MIMO enabled 5G and beyond
CN114884549A (zh) 基于深度学习的大规模mimo信道状态信息反馈方法
CN115865145A (zh) 一种基于Transformer的大规模MIMO信道状态信息反馈方法
Vura et al. A study of different compression algorithms for multispectral images
Sudhakar Ilango et al. Hybrid two-dimensional dual tree—biorthogonal wavelet transform and discrete wavelet transform with fuzzy inference filter for robust remote sensing image compression
CN114630121B (zh) 基于压缩感知的图像信息无线传输方法
Wang et al. A customized deep network based encryption-then-lossy-compression scheme of color images achieving arbitrary compression ratios
Blanes et al. Isorange pairwise orthogonal transform
Devi et al. FPGA implementation of balanced biorthogonal multiwavelet using direct pipelined mapping method for image compression applications
Uthayakumar et al. An efficient near lossless image compression algorithm using dissemination of spatial correlation for remote sensing color images
TW201944745A (zh) 基於深度學習作為通道狀態資訊之回饋方法
US10531099B2 (en) Systems and methods for distributed quantization of multimodal images
Wang et al. Deep learning-based compressive beam alignment in mmWave vehicular systems
Yang et al. SwinJSCC: Taming Swin Transformer for Deep Joint Source-Channel Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant