CN106412596B - 一种基于梯度采样信息的视频图像传输方案 - Google Patents

一种基于梯度采样信息的视频图像传输方案 Download PDF

Info

Publication number
CN106412596B
CN106412596B CN201610891442.9A CN201610891442A CN106412596B CN 106412596 B CN106412596 B CN 106412596B CN 201610891442 A CN201610891442 A CN 201610891442A CN 106412596 B CN106412596 B CN 106412596B
Authority
CN
China
Prior art keywords
gradient
data
image
transmission
auxiliary layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610891442.9A
Other languages
English (en)
Other versions
CN106412596A (zh
Inventor
熊瑞勤
刘航帆
马思伟
高文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN201610891442.9A priority Critical patent/CN106412596B/zh
Publication of CN106412596A publication Critical patent/CN106412596A/zh
Application granted granted Critical
Publication of CN106412596B publication Critical patent/CN106412596B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/37—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability with arrangements for assigning different transmission priorities to video input data or to video coded data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种以梯度采样数据为主、少量低频系数为辅来传输视觉信息的视频图像传输方法。梯度采样数据由梯度数据经过随机投影产生。相比于直接传输梯度数据，本发明提出的传送梯度采样数据可以明显减小传输数据量，适应信道带宽不足的情况。本发明不仅具有SoftCast的无悬崖效应、能同时服务多个不同信道条件下的客户端的优点，而且能达到更好的视觉效果，能适应于不同的信道信噪比和带宽环境。

Description

一种基于梯度采样信息的视频图像传输方案
技术领域
本发明涉及视觉传输领域，特别是图像/视频的无线传输领域，更进一步的涉及基于视觉特性的图像/视频无线软传输方案。
背景技术
传统数字图像传输方案一般将像素值或DCT系数作为传输对象，如图1所示，输入图像经过变换(T)、量化(Q)、变长编码(VLC)成为码流，通过前向纠错(FEC)进行保护，映射到正交振幅调制(QAM)上进行正交频分复用(OFDM)传输。其编码端需要进行信道估计来选取适当的码率。如果信道容量低于某一阈值，解码端性能会急剧下降；而如果高于这一阈值，解码性能也难有提升，这就是所谓的“悬崖效应”。
为了克服“悬崖效应”，MIT的研究人员提出软传输方案SoftCast。如图2所示，SoftCast的编码过程没有量化和熵编码，取而代之的是简单的对图像信号的线性变换；不是发送01码流，而是发送实系数流。此外，SoftCast也没有信道编码，实系数被直接调制到64k-QAM来进行OFDM传输。在传输过程中，被传送的数据不可避免会受噪声污染，噪声强度与信道信噪比(CSNR)有关。SoftCast的主要优点在于，在很广的CSNR范围内，它的传输性能随CSNR的波动而优雅地变化，并且可以同时服务多个不同信道条件下的客户端。
传统的传输方案和SoftCast都以最小化图像像素值的失真为目的，这有一定道理，但很多时候像素值的保真度与人的视觉感受并不一致。近期研究表明，图像的梯度相似性能更好地反映图像的视觉保真度。受以上研究工作的启发，提出了通过传送图像梯度数据传输视觉信息。但是，由于梯度数据一般包括水平方向梯度和竖直方向梯度，梯度数据量是原图像数据量的两倍，所以，在信道带宽受限的情况下，有可能不允许传输所有的梯度数据。这种情况下，如果简单地丢弃某个方向上的梯度数据，在接收端很难达到良好的重构效果，如图3所示，(a)表示原图；(b)表示仅采用水平梯度数据重构结果；(c)表示仅采用竖直梯度数据重构结果。
当需要大幅压缩数据量而不明显影响图像重构质量时，压缩感知是一种很有效的工具。压缩感知理论说明，只要信号在某个域(如小波域)稀疏，则它可以在经过比奈奎斯特采样率更低的下采样后有效地恢复。假设x为图像信号，Φ为测量矩阵，则测量值y＝Φx。由于图像信号通常在某种变换域具有良好的稀疏性，x一般都能通过求解凸优化问题被很好地重构。但是，如果在无线信道中直接传送图像像素域的压缩感知测量值，会要求很高的能量，而且在噪声干扰下非常不稳定。
发明内容
本发明要解决的技术问题是设计一种新的图像软传输方案，使之在接收端的重构图像达到更好的视觉质量，并且能够适应信道带宽受限的情况。本发明的目的是通过以下技术方案实现的。
根据本发明的实施方式，提出一种基于梯度采样信息的视频图像发送方法，其特征在于，所述方法分为主层传输和辅助层传输，所述主层传输用于传输包含图像亮度跳变信息的梯度数据；所述辅助层传输用于传输确定图像的整体和局部亮度的低频数据。
优选的，所述主层传输具体包括：
A1，由梯度变换从原图提取出梯度数据；
A2，利用压缩感知技术对梯度数据进行压缩；
A3，将梯度压缩后的测量值经由哈达玛变换白化；
A4，经过哈达玛变换白化后的数据调制到密星座图并发送到OFDM信道。
优选的，所述利用压缩感知技术对梯度数据进行压缩具体包括：利用随机投影技术对梯度数据进行采样，产生测量值，采样率由信道带宽决定。
优选的，将白化后的数据调制到密星座图采用64K-QAM。
优选的，所述辅助层传输具体包括:
B1，在变换域取出图像的少量低频系数；
B2，利用变长编码对低频系数进行编码；
B3，对变长编码后的01码流用容错技术进行保护，调制到QAM并发送到OFDM信道。
优选的，所述变换域为傅立叶域或DCT域，所述低频系数为8×8个。
根据本发明的实施方式，还提出一种基于梯度采样信息的视频图像接收方法，所述方法分为主层接收、辅助层接收以及图像重构，所述主层接收用于接收包含图像亮度跳变信息的梯度数据；所述辅助层接收用于接收确定图像的整体和局部亮度的低频数据；所述图像重构用于根据来自主层的梯度采样数据和来自辅助层的低频数据进行图像重构。
优选的，所述主层接收具体包括：
C1，接收端主层通过解调带噪声的OFDM信号以提取梯度采样数据的哈达玛变换系数；
C2，主层通过反哈达玛变换得到梯度采样数据。
优选的，所述辅助层接收具体包括：
D1，辅助层通过解调和FEC解码提取码流；
D2，辅助层通过变长解码得到低频系数。
根据本发明的实施方式，还提出一种基于梯度采样信息的视频图像传输方法，其包括前述基于梯度采样信息的视频图像发送步骤和基于梯度采样信息的视频图像接收步骤。
本发明提出了以传输梯度数据为主、少量低频系数为辅来传输视觉信息，并对梯度数据采用压缩感知进行压缩以减小传输数据量的方案。本发明不仅具有SoftCast的主要优点(无悬崖效应，可同时服务多个不同信道条件下的客户端)，而且能达到更好的视觉效果，能适应于不同的信道信噪比和带宽环境。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
附图1示出了传统图像传输方案示意图；
附图2示出了现有技术中的SoftCast软传输方案示意图；
附图3示出了现有技术中的SoftCast软传输方案中，仅用一个方向的梯度数据的重构效果；
附图4示出了根据本发明实施方式的基于梯度采样信息的视频图像传输方案示意图；
附图5示出了在信道带宽限于图像尺寸的情况下，本发明的传输方案与SoftCast方案、像素压缩感知测量值直接传输(CS)方案的SSIM比较示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
关于视觉质量评价的研究表明，人眼对亮度跳变很敏感，因此，本发明以包含了图像亮度跳变信息的梯度数据为主要传输对象，并尽可能使之保真，可以达到更好的视觉效果。此外，由于梯度数据属于图像的高频成分，在图像重构时还需要低频成分来确定图像的整体和局部亮度，因此还要同时传送少量低频数据，并加以较强的保护。因为需要传送的低频数据数量很少，所以占用的带宽几乎可以忽略不计。
考虑到梯度数据一般包括水平方向梯度和竖直方向梯度，梯度数据量是原图像数据量的两倍，所以，在信道带宽受限的情况下，有可能不允许传输所有的梯度数据。为了应对这种情况，本发明提出在发送端利用压缩感知技术对梯度数据进行压缩，以根据信道带宽条件调整数据量。
具体而言，本发明提出一种基于压缩梯度的图像软传输方案(CompressiveGradient based SoftCast,CG-Cast)，如图4所示，在发送端，图像经梯度变换(GradientTransform，GT)产生梯度数据，然后由随机投影(Random Projection,RP)进行压缩，得到的测量值经过哈达玛变换(Walsh-Hadamard Transform，WHT)白化以降低峰均比。这些经过WHT白化后的数据被调制到密星座图上进行OFDM传输。与此同时，将图像变换到频域并提取低频系数(Low-Pass Selection，LPS)，这些系数由变长编码(Variable Length Coding，VLC)编成码流，用FEC码进行保护。在接收端，利用接收到的梯度数据和低频系数，通过基于压缩梯度的重构算法(Compressive Gradient Based Reconstruction，CGBR)重构图像。
下面，我们以单帧图像的传输为例，结合框图，介绍本发明的实现过程。
根据本发明的实施方式，发送端可以分为主层传输和辅助层传输，所述主层传输用于传输包含图像亮度跳变信息的梯度数据；所述辅助层传输用于传输确定图像的整体和局部亮度的低频数据；具体的，
所述主层传输的实现过程分别可以归结为四步：
第一步，由梯度变换(GT)从原图提取出梯度数据；
第二步，利用随机投影技术对梯度数据进行采样，产生测量值，采样率由信道带宽决定；利用随机投影对要传送的梯度数据进行下采样，以减少传输数据量，使之可适应于信道带宽受限的情况；即，传送的数据为Φg，而非直接传送梯度数据g，Φ为随机投影矩阵(如高斯随机矩阵)；
第三步，将测量值经由哈达玛变换(WHT)白化；
第四步，经过哈达玛变换白化后的数据调制到密星座图(例如，64K-QAM)并发送到OFDM信道。
所述辅助层传输的实现过程可以归结为三步:
第一步，在变换域(如傅立叶域或DCT域)取出图像的少量(例如8×8个)低频系数(LPS)；
第二步，利用变长编码(VLC)，如哈弗曼编码，对低频系数进行编码；
第三步，对变长编码后的01码流用容错技术(如FEC)进行保护，调制到QAM并发送到OFDM信道。
根据本发明的实施方式，与发送端对应，接收端分为主层接收、辅助层接收以及图像重构，所述主层接收用于接收包含图像亮度跳变信息的梯度数据；所述辅助层接收用于接收确定图像的整体和局部亮度的低频数据；所述图像重构用于根据来自主层的梯度采样数据和来自辅助层的低频数据进行图像重构；具体的，
所述主层接收的实现过程可以分为两步：
第一步，接收端主层通过解调从带噪声的OFDM信号中提取梯度采样数据的哈达玛变换系数；
第二步，主层通过反哈达玛变换得到梯度采样数据；
所述辅助层接收的实现过程也可以分为两步：
第一步，辅助层通过解调和FEC解码提取码流；
第二步，辅助层通过变长解码得到低频系数；
所述图像重构利用来自主层的梯度采样数据和来自辅助层的低频数据进行重构。为抑制噪声影响，这时重构图像可以转化为求解以下优化目标函数：
s.t.TLu＝m
其中，Ψ(u)是先验项(或正则项)，μ是正则化参数；Φ为随机投影矩阵(如高斯随机矩阵)，D是梯度算子，Dhu表示水平方向梯度数据，Dvu表示竖直方向梯度数据；gh和gv分别表示接受端接收到的水平梯度数据的压缩感知测量值和竖直梯度数据压缩感知测量值；TL表示将图像转换到频域并取其少数低频数据(例如取图像DCT变换后左上角的8x8大小的块)；m是接收端收到的低频系数。上式可以采用变量分离和增广的拉格朗日方法等技术求解。
附图5示出了在信道带宽限于图像尺寸的情况下，本发明的传输方案(CG-Cast)与SoftCast方案、像素压缩感知测量值直接传输(CS)方案的图像质量评价(SSIM)比较示意图，5(a)-5(c)分别示出了数据率为0.3、0.4以及0.5时的SSIM比较示意图，由图可见，本发明的传输方案取得了更优的图像重构质量。
以上所述，仅为本发明较佳的具体实施方式，本发明的基本思想是利用人眼对亮度跳变更加敏感的特性，传输包含跳变信息的梯度数据，从而达到在接收端可以重构出视觉效果更好的图像的目的；利用压缩感知技术对要传输的梯度数据进行压缩，减小传输数据量，从而在信道带宽受限的情况下也能有效工作。但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (7)

1.一种基于梯度采样信息的视频图像发送方法，所述方法分为主层传输和辅助层传输，所述主层传输用于传输包含图像亮度跳变信息的梯度数据；所述辅助层传输用于传输确定图像的整体和局部亮度的低频数据，所述主层传输具体包括：
A1，由梯度变换从原图提取出梯度数据；
A2，利用压缩感知技术对梯度数据进行压缩；
A3，将梯度压缩后的测量值经由哈达玛变换白化；
A4，经过哈达玛变换白化后的数据调制到密星座图并发送到OFDM信道，
其特征在于，
所述利用压缩感知技术对梯度数据进行压缩具体包括：利用随机投影技术对梯度数据进行采样，产生测量值，采样率由信道带宽决定。
2.如权利要求1所述的方法，将白化后的数据调制到密星座图采用64K-QAM。
3.如权利要求1所述的方法，所述辅助层传输具体包括:
B1，在变换域取出图像的少量低频系数；
B2，利用变长编码对低频系数进行编码；
B3，对变长编码后的01码流用容错技术进行保护，调制到QAM并发送到OFDM信道。
4.如权利要求3所述的方法，所述变换域为傅立叶域或DCT域，所述低频系数为8×8个。
5.一种基于梯度采样信息的视频图像传输方法，其包括如权利要求1-4其中之一的基于梯度采样信息的视频图像发送步骤，以及如下的基于梯度采样信息的视频图像接收步骤，所述基于梯度采样信息的视频图像接收步骤分为主层接收、辅助层接收以及图像重构，所述主层接收用于接收包含图像亮度跳变信息的梯度数据；所述辅助层接收用于接收确定图像的整体和局部亮度的低频数据；所述图像重构用于根据来自主层的梯度采样数据和来自辅助层的低频数据进行图像重构。
6.如权利要求5所述的方法，所述主层接收具体包括：
C1，接收端主层通过解调带噪声的OFDM信号以提取梯度采样数据的哈达玛变换系数；
C2，主层通过反哈达玛变换得到梯度采样数据。
7.如权利要求5所述的方法，所述辅助层接收具体包括：
D1，辅助层通过解调和FEC解码提取码流；
D2，辅助层通过变长解码得到低频系数。
CN201610891442.9A 2016-10-12 2016-10-12 一种基于梯度采样信息的视频图像传输方案 Active CN106412596B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610891442.9A CN106412596B (zh) 2016-10-12 2016-10-12 一种基于梯度采样信息的视频图像传输方案

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610891442.9A CN106412596B (zh) 2016-10-12 2016-10-12 一种基于梯度采样信息的视频图像传输方案

Publications (2)

Publication Number Publication Date
CN106412596A CN106412596A (zh) 2017-02-15
CN106412596B true CN106412596B (zh) 2019-04-09

Family

ID=59228402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610891442.9A Active CN106412596B (zh) 2016-10-12 2016-10-12 一种基于梯度采样信息的视频图像传输方案

Country Status (1)

Country Link
CN (1) CN106412596B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107068017A (zh) * 2017-03-10 2017-08-18 长春中国光学科学技术馆 自适应投影演示装置
CN108347608B (zh) * 2018-03-07 2020-12-25 中国科学技术大学 一种基于压缩感知的无线图像传输方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683814A (zh) * 2015-03-20 2015-06-03 北京大学 面向视觉感官质量的图像传输方法和装置
CN105357536A (zh) * 2015-10-14 2016-02-24 太原科技大学 基于残差分布式压缩感知的视频软组播方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942456B2 (en) * 2012-07-20 2015-01-27 Brown University Image reconstruction from incomplete fourier measurements and prior edge information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683814A (zh) * 2015-03-20 2015-06-03 北京大学 面向视觉感官质量的图像传输方法和装置
CN105357536A (zh) * 2015-10-14 2016-02-24 太原科技大学 基于残差分布式压缩感知的视频软组播方法

Also Published As

Publication number Publication date
CN106412596A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
JP6141295B2 (ja) 知覚的に無損失のおよび知覚的に強調された画像圧縮システムならびに方法
US11082707B2 (en) Encoding method and apparatus, image processing system, and computer-readable storage medium
CN108337516B (zh) 一种面向多用户的hdr视频动态范围可分级编码方法
WO2023274074A1 (en) Systems and methods for image filtering
CN106412596B (zh) 一种基于梯度采样信息的视频图像传输方案
Mohammed et al. Hybrid transform coding scheme for medical image application
Yadav et al. A hybrid image compression technique for medical images
Kalavathi et al. A wavelet based image compression with RLC encoder
CN105825530B (zh) 基于感兴趣区域的海岸带高光谱图像分布式有损编码和解码方法
CN113612898A (zh) 一种抗jpeg图像下采样的鲁棒隐蔽通信装置
CN104683814B (zh) 面向视觉感官质量的图像传输方法和装置
Salih et al. Improved image compression scheme using hybrid encoding algorithm
Wang et al. Enhancing HEVC spatial prediction by context-based learning
CN107948644B (zh) 一种水下图像压缩方法及传输方法
Schilling et al. Feature-preserving image coding for very low bit rates
CN106131575B (zh) 基于小波变换与孙子定理相结合的图像压缩方法
Reddy et al. 2D dual-tree complex wavelet transform based image analysis
Mohammed et al. Efficient hybrid transform scheme for medical image compression
Ranjan et al. The HAAR-the JPEG based image compression technique using singular values decomposition
Licciardi et al. Spectral compression of hyperspectral images by means of nonlinear principal component analysis decorrelation
Sarkar et al. Novel Hybrid Lossy Image Compression Model using Run Length Coding and Huffman Coding
RU2616562C1 (ru) Способ передачи изображения по каналу связи
Kingsbury 4F8 image coding course
Hawar Medical Image Application by Hybrid Transform Coding Scheme
Rostam et al. Medical Image Application by Hybrid Transform Coding Scheme

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant