CN110719473B - 基于结构化稀疏的可伸缩压缩视频采集与重构系统 - Google Patents

基于结构化稀疏的可伸缩压缩视频采集与重构系统 Download PDF

Info

Publication number
CN110719473B
CN110719473B CN201910827214.9A CN201910827214A CN110719473B CN 110719473 B CN110719473 B CN 110719473B CN 201910827214 A CN201910827214 A CN 201910827214A CN 110719473 B CN110719473 B CN 110719473B
Authority
CN
China
Prior art keywords
scalable
structured
module
subspace
sparse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910827214.9A
Other languages
English (en)
Other versions
CN110719473A (zh
Inventor
戴文睿
李勇
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910827214.9A priority Critical patent/CN110719473B/zh
Publication of CN110719473A publication Critical patent/CN110719473A/zh
Application granted granted Critical
Publication of CN110719473B publication Critical patent/CN110719473B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于结构化稀疏的可伸缩压缩视频采集与重构系统，包括：结构化稀疏学习模块、信号分解模块，可伸缩传感模块和可伸缩重构模块，其中，所述结构化稀疏学习模块在编码端和解码端利用数据驱动子空间联合模型以及分层子空间学习生成稀疏基矩阵。本发明提供的可伸缩压缩采样契合了视频采样过程的分布式渐进式的结构，对结构化稀疏基矩阵的渐进构造也提升了重构的精确度和效率，提高了视频信号的可伸缩采样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。

Description

基于结构化稀疏的可伸缩压缩视频采集与重构系统
技术领域
本发明涉及多媒体信号处理技术领域，具体是一种基于结构化稀疏的可伸缩压缩视频采集与重构系统。
背景技术
在智能信息化时代，各种设备通过异构网络相连，进行信息的有线或者无线传输。在异构网络中，网络带宽条件的波动，以及各种硬件设备对信息的处理能力和应用场景不同，由于对高维多媒体信号的编解码技术(特别是视频编码技术)的视频码流被固定，因此对于不同需求的灵活性不足。
在近20年里，各种可伸缩视频编码(Scalable Video Coding,SVC)技术被提出并标准化应用，以降低编码复杂度，填补了实际部署中可伸缩实现方案的空缺，提高了视频编码方案在实际应用场景中的灵活性，如H.264/AVC可伸缩扩展方案，HEVC可伸缩扩展方案等。这些可伸缩视频编码技术在时间，空间，质量上进行划分，对视频信号以分层的形式进行编码，通过多个单层标准编码器内核以及层间参考图像处理模块，输出多层码流(包括基本层(Base Layer,BL)和增强层(Enhancement Layer,EL))，有效实现可伸缩功能。当带宽受限或信道环境复杂时，仅对基本层的码流进行传输和解码，虽然这时解码的视频质量不高，但保证了基本视频内容的流畅传输。当信道环境良好或信道资源丰富时，通过传输和解码增强层的码流来提高视频的质量。因此，可伸缩视频编码方案通过分层编码和选择传输，实现一次编码以适应不同信道或者不同设备应用的需求，解决了之前基本视频编码方案的灵活性不足的问题。
对于传统压缩视频采样技术，由于采样矩阵的确定，当带宽波动或者设备能力和需求不同时，其采样得到的固定测量以及重构信号同样面临灵活性不足的问题。为了使压缩视频采样方案可以适应异构网络的需求，需要对压缩视频采样方法进行可伸缩拓展的研究来提高实用性。最近，已有少量压缩视频采样技术针对在异构网络中的传输进行了研究。经过对现有技术的文献检索发现，Stankovic等人在2011年的《IEEE IEEE Int.Conf.ImageProcess.》(IEEE ICIP)会议上发表的“Scalable compressive Video”一文中提出了可伸缩压缩视频采样方法，该方法给出了压缩视频采样的质量可伸缩编码方案，但是该方法的稀疏基是固定基矩阵，不能提供更加有效的稀疏性和适应性。随后，B.Bojana等人在2012年的《IEEE Proc.European Signal Process.Conf》(IEEE EUSIPCO)会议上发表的“Learningscalable dictionaries with application to scalable compressive sensing”一文中提出利用KSVD自适应地学习稀疏模式以支持质量可扩展的压缩视频采样方案，然而由于其基于一般性稀疏表示使得对高维信号内部的非平稳统计特性无法进行有效刻画。
这些不足促使我们提出一种更加有效的结构化稀疏基去进行结构化稀疏表示，并进一步的实现可伸缩压缩视频采样和重建，充分利用视频信号块的特殊结构来提高重构结果的主客观质量。
发明内容
本发明针对现有技术的不足，提供了一种基于结构化稀疏的可伸缩压缩视频采集与重构系统，可以有效提高视频信号结构化采集效率、提高重构结果的主客观质量和可伸缩性，可作为一种通用的视频采集工具。
本发明是通过以下技术方案实现的：
本发明所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，包括：结构化稀疏学习模块、信号分解模块，可伸缩传感模块和可伸缩重构模块，其中：
所述结构化稀疏学习模块对视频信号的关键帧块，生成稀疏基矩阵，并将各个稀疏基矩阵输出到信号分解模块以及重构处理模块；所述信号分解模块对视频信号进行分层分解，得到各层对应的子信号，并将所述分层子信号输出到可伸缩传感模块；所述可伸缩传感模块构建结构化采样矩阵，对各分层子信号进行压缩投影，得到子测量值，并将各个子测量值输出到可伸缩重构模块的输入端；所述可伸缩重构模块接收所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值，进行可伸缩重构。
可选地，所述的结构化稀疏学习模块，实现由编码端和解码端的关键帧的块集合利用分层子空间学习的方法得到各层用于生成结构化稀疏基矩阵。
可选地，所述的结构化稀疏学习模块实现由数据驱动子空间联合模型以及分层子空间学习生成针对各层的结构化稀疏基，所述结构化稀疏基适应性的表示出信号的内在结构。
可选地，所述信号分解模块，实现由在编码端，利用各个分层的基矩阵对视频信号进行分解为各个子信号。
可选地，所述信号分解模块，实现对视频信号的非关键帧进行分层分解，得到各层对应的分层子信号。
可选地，所述可伸缩传感模块为一阶的数字微镜设备，实现利用结构化采样矩阵模拟对视频信号的可伸缩压缩传感。
可选地，所述的可伸缩重构模块通过一种凸松弛算法模型实现的，针对各个分层找到的块稀疏向量解乘以各层对应的稀疏基得到重构子信号。
可选地，在编码端，结构化稀疏学习模块产生稀疏基矩阵并输入到信号分解模块，信号分解模块和可伸缩传感模块对视频信号进行分解并采样产生子测量值。
可选地，在解码端，结构化稀疏学习模块产生稀疏基矩阵，所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值进入可伸缩重构模块，在可伸缩重构模块中被分层重构。
本发明中采用的基于结构化稀疏的可伸缩压缩视频采集与重构技术为视频信号的采集和重构提供了通用的可伸缩解决方案。本发明所使用的结构化稀疏基矩阵是通过对关键帧中采用数据驱动子空间联合模型以及分层子空间学习的方法得到的，充分利用了视频帧块的独特结构，针对不同分层的需求，提供了各个分层下的基矩阵的学习和设计，这样能够使得帧块信号具有适应性的更加紧凑的结构化稀疏表示，且可以实现多层分解为子信号，进而提高可伸缩采样效率(降低精确重构所需的必要采样数)，有助于本发明结构化稀疏基矩阵学习的可伸缩压缩传感的性能及实用性的提升。
与现有技术相比，本发明具有如下的有益效果：
本发明大大提高了重构性能，与传统的使用固定基或者KSVD字典进行重构的可伸缩视频压缩传感系统相比，由于本发明的重构采用的是适应性的分层稀疏基矩阵因此在可伸缩重构效果上均能够得到增强；对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适应性；在重建时由于数据驱动子空间联合的特殊构造以及考虑了分层需求的分层子空间学习，使得信号具有更灵活的结构化稀疏表示，因此本发明在不降低视频的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他可伸缩方法取得了重构增益，同时也具备良好的可扩展性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的基于结构化稀疏的可伸缩压缩视频采集与重构系统一实施例的结构框图；
图2为本发明一实施例中的结构化稀疏学习模块的工作原理图；
图3为本发明一实施例中的信号分解模块的示意图；
图4为本发明一实施例中的可伸缩传感模块的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明的基于结构化稀疏的可伸缩压缩视频采集与重构系统一实施例的结构框图，如图1所示，本发明一实施例的基于结构化稀疏的可伸缩压缩视频采集与重构系统100包括：结构化稀疏学习模块101、信号分解模块102，可伸缩传感模块103和可伸缩重构模块104。
其中：结构化稀疏学习模块101对视频信号的关键帧块，利用数据驱动子空间联合模型以及分层子空间学习生成稀疏基矩阵，并将各个稀疏基矩阵分别输出到信号分解模块102和可伸缩重构模块104。
信号分解模块102对视频信号块进行分层分解为多个分层子信号，并将分层子信号输出到可伸缩传感模块103。
可伸缩传感模块103通过结构化采样矩阵对各分层子信号进行压缩投影，得到子测量值，并将子测量值输出到可伸缩重构模块。
可伸缩重构模块104接受结构化稀疏学习模块101输出的稀疏基矩阵与可伸缩传感模块103输出的子测量值，对视频信号进行可伸缩重构。
在编码端中，结构化稀疏学习模块101产生稀疏基矩阵并输入到信号分解模块102，信号分解模块102和可伸缩传感模块103对视频信号进行分解并采样产生子测量值；在解码端中，结构化稀疏学习模块101产生稀疏基矩阵，结构化稀疏学习模块101输出的稀疏基矩阵与可伸缩传感模块103输出的子测量值一起进入可伸缩重构模块104，在可伸缩重构模块104中信号被分层重构。
在一优选实施例中，结构化稀疏学习模块如图2所示：在整幅原始关键帧以及重建的关键帧中做块聚类，其中：关键帧中的块集合X＝{x1,x2,…,xK}，利用稀疏子空间聚类方法把X分割成t个聚类X1,X2,…,Xt，每个聚类中的块都是相似的且同属于一个子空间。X1,X2,…,Xt对应于t个子空间S1,S2,…,St，那么任一视频帧块信号x都属于数据驱动子空间联合(UoDS)模型U＝∪Si，训练集的实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法(如主成分分析(PCA))分别单独作用于不同的块组Xi,i＝1,…,t得到不同的基Di,i＝1,…,t，进而组成稀疏基矩阵D＝[D1,D2,…,Dt]。在所有层中，通过子空间聚类得到数据驱动子空间联合模型，为了在解码器中实现具有结构化稀疏性的质量可伸缩性，利用分层子空间学习在每个层中针对子空间数量以及子空间维度相应进行设计。
如图2所示，对于子空间联合U＝∪Si，给定其结构化基矩阵D，在模型复杂度Ο(U)约束下，分层子空间学习(HSL)优化了第j质量层的结构化稀疏表示:
Figure BDA0002189485200000051
这里，在BL(基本层)和第j-1个EL(增强层)中，其基矩阵分别为
Figure BDA0002189485200000052
和
Figure BDA0002189485200000053
xj为各个训练样本，cj为xj在稀疏基矩阵下的块稀疏表示向量，λ为拉格朗日系数。在数据驱动子空间联合模型中，Ο(U)取决于聚类的子空间数和D中每个子空间的维数。因此，利用两种用于子空间聚类和基矩阵派生的层次结构，以实现HSL来逼近数据驱动子空间联合模型中的模型复杂度Ο(U)。
首先，在BL中，训练集X＝{x1,x2,…,xK}被聚类成t＝tB个簇组G＝[G1,G2,…,Gt]，而在第j个EL中，有t＝tj个簇组
Figure BDA0002189485200000054
通过子空间聚类得到，这里tj＞tj-1,t0＝tB,j＝1,2,…,L-1。此外，针对每个簇组Gi，利用主成分分析进行独立地学习得到每个子空间Si的基矩阵Di
Figure BDA0002189485200000055
在BL中，每个子空间
Figure BDA0002189485200000061
的维度设为di＝dB，得到过完备基矩阵
Figure BDA0002189485200000062
这里
Figure BDA0002189485200000063
Figure BDA0002189485200000064
为di阶单位矩阵，n为信号的原始维度，R为实数域，B表示基本层，tB为基本层子空间数量。而在第j个EL中，设定子空间维度为di＝dj≥dB，对应的过完备基矩阵为
Figure BDA0002189485200000065
本发明的一实施例中，信号分解模块102实现在编码端，利用各个分层的基矩阵对视频信号进行分解为各个子信号，实现多码流的分层传输。
信号分解模块102对视频信号的非关键帧块进行分层分解，得到各层对应的分层子信号。
在一优选实施例中，信号分解模块102如图3所示：针对L个分层，利用已构造的L个结构化基矩阵
Figure BDA0002189485200000066
进而对待采样的信号xcs进行层次分解为L个子信号x1,x2,…,xL。图3提供了信号xcs在L个质量层的结构化基矩阵下分解的示例。其中，第i个子空间的基矩阵Di被分成L个子矩阵Di,1,Di,2,…,Di,L，这里i＝1,…,t。BL的基矩阵DBL的构造是取t个子空间的首个子矩阵D1,1,D2,1,…,Dt,1，以及置零其他子矩阵来实现的。对于第j个增强层，其基矩阵
Figure BDA0002189485200000067
可类似的进行构造，取t个子空间的第j+1子矩阵D1,j,D2,j,…,Dt,j，这里j＝1,…,L-1。通过这种方式，可把信号xcs分解成x1+x2+…+xL，其中xj可以通过DBLc1或者
Figure BDA0002189485200000068
来表示，c1为第一个基本层的稀疏表示向量，cj为第j个增强层的稀疏表示向量。因此，通过连接各个子信号
Figure BDA0002189485200000069
用于压缩采样,
Figure BDA00021894852000000610
为各个子信号级联的转置。
在一优选实施例中，可伸缩传感模块103如图4所示，是一种一阶的数字微镜投影设备(DMD)，它模拟了对视频信号的可伸缩压缩传感
Figure BDA00021894852000000611
Φ为结构化采样矩阵，由L个随机采样矩阵构成，实现了对L个子信号的压缩采样，
Figure BDA00021894852000000612
为用于压缩采样的各个子信号的级联，
Figure BDA00021894852000000613
为各个子测量值的级联。在一优选实施例中，首先对关键帧块进行压缩采样，采样率为0.9，然后对非关键帧块信号进行压缩采样，采样率的选取在0.1到0.8之间，基于视频帧块的可伸缩采样提高了视频采样和重构的速率，实现了渐进采样。当然，此处实施例的采样率只是为了举例说明，在其他实施例中还可以是其他选择，并不局限于此。
在一优选实施例中，可伸缩重构模块104是通过一种凸松弛算法模型实现的，结构化稀疏学习模块通过构造稀疏基矩阵，使得信号在该稀疏基矩阵下具有块稀疏表示，即该向量为块稀疏向量，可伸缩重构模块104对这个块稀疏向量进行求解得到最优的块稀疏向量解。具体为：对于关键帧，找到l1范数最小的表示向量c使得y＝ΦΨc，其中Ψ为DCT基，得到的是一个全局最优解，用DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号；对于非关键帧，在L个分层中，分别找到l2,I范数最小的c*使得yi＝ΦiDic*，i＝1,…,L,得到各个分层中的全局最优解，用Di乘以这个全局最优解就可以得到所需重构的非关键帧块子信号，最后对这些子信号进行累加得到多个输出信号。其中，Φi为随机采样矩阵，l2,I范数为混合范数，
Figure BDA0002189485200000071
I为块结构中块组的下标。
实施效果
利用上述方法进行实施，实施中关键参数的设置为：实验用视频序列来源于Akiyo_cif.yuv(352x288的4:2:0格式的YUV文件)，总共取300帧。每十帧为一个帧组，选取第一帧为关键帧，后九帧为非关键帧，块的尺寸选取为16×16像素。由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。
比较了采用本发明上述实施例的基于结构化稀疏的可伸缩压缩视频采集与重构系统与Stankovic等人在“Scalable compressive Video”论文中的方法以及B.Bojana等人在“Learning scalable dictionaries with application to scalable compressivesensing”中的方法。本发明实施例所用每个子空间的维数为10，聚类产生的子空间的个数为50,取L＝2，即一个基本层和一个增强层。
在基本层，与之前两种方法相比，在压缩率为0.1时，本发明实施例的系统分别获得2.4dB，2.2dB的重构增益；在压缩率为0.3时，本实施例的系统分别获得1.5dB,0.3dB的重构增益；在压缩率为0.5时，本发明实施例的系统分别获得1.7dB,0.5dB的重构增益；在压缩率为0.7时，本发明实施例的系统分别获得1.1dB,0.4dB的重构增益；
在增强层，与之前两种方法相比，在压缩率为0.1时基本层的比较，本发明实施例的系统分别获得0.1dB，0.5dB的重构增益；在压缩率为0.3时，本发明实施例的系统分别获得0.8dB,0.1dB的重构增益；在压缩率为0.5时，本发明实施例系的统分别获得2.1dB,1.7dB的重构增益；在压缩率为0.7时，本发明实施例的系统分别获得4.9dB,2.4dB的重构增益。上述实验表明，本发明实施例的系统重建出来的视频序列在重构质量上明显优于另外两种方法得到的视频序列。
应当理解的是，上述仅仅是部分实施例，上述实施例中的具体参数取值是为了更好地说明本发明，并不局限于上述参数取值，对于本领域技术人员来说，在其他实施例中，可以根据实际应用来选择其他取值。同时，上述各较佳技术特征，可以在任一实施例中单独使用，在互不冲突的前提下，也可以任一组合使用。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征在于，包括：结构化稀疏学习模块、信号分解模块，可伸缩传感模块和可伸缩重构模块，其中：
所述结构化稀疏学习模块对视频信号的关键帧块，生成稀疏基矩阵，并将各个稀疏基矩阵输出到信号分解模块以及重构处理模块；
所述信号分解模块对视频信号进行分层分解，得到各层对应的子信号，并将分层子信号输出到可伸缩传感模块；
所述可伸缩传感模块构建结构化采样矩阵，对各所述分层子信号进行压缩投影，得到子测量值，并将各个所述子测量值输出到可伸缩重构模块的输入端；
所述可伸缩重构模块接收所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值，进行可伸缩重构；
所述结构化稀疏学习模块，由数据驱动子空间联合模型以及分层子空间学习生成针对各层的结构化稀疏基，具体包括：
在整幅原始关键帧以及重建的关键帧中做块聚类，其中：关键帧中的块集合X＝{x1,x2,…,xK}，利用稀疏子空间聚类方法把X分割成t个聚类X1,X2,…,Xt，每个聚类中的块都是相似的且同属于一个子空间；X1,X2,…,Xt对应于t个子空间S1,S2,…,St，那么任一视频帧块信号x都属于数据驱动子空间联合模型U＝∪Si，训练集的实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法分别单独作用于不同的块组Xi,i＝1,...,t，得到不同的基Di，进而组成稀疏基矩阵D＝[D1,D2,…,Dt]；在所有层中，通过子空间聚类得到数据驱动子空间联合模型；
为了在解码器中实现具有结构化稀疏性的质量可伸缩性，利用分层子空间学习在每个层中针对子空间数量以及子空间维度相应进行设计；
对于子空间联合U＝∪Si，给定其结构化基矩阵D，在模型复杂度Ο(U)约束下，分层子空间学习优化了第j质量层的结构化稀疏表示：
Figure FDA0003267089530000011
这里，在基本层和第j-1个增强层中，其基矩阵分别为
Figure FDA0003267089530000012
和
Figure FDA0003267089530000013
xj为各个训练样本，cj为xj在稀疏基矩阵下的块稀疏表示向量，λ为拉格朗日系数；在数据驱动子空间联合模型中，Ο(U)取决于聚类的子空间数和D中每个子空间的维数，因此，利用两种用于子空间聚类和基矩阵派生的层次结构，以实现分层子空间学习来逼近数据驱动子空间联合模型中的模型复杂度Ο(U)；
首先，在基本层中，训练集X＝{x1,x2,…,xK}被聚类成t＝tB个簇组G＝[G1,G2,…,Gt]，而在第j个增强层中，有t＝tj个簇组
Figure FDA0003267089530000021
通过子空间聚类得到，这里tj＞tj-1,t0＝tB,j＝1,2,…,L-1，此外，针对每个簇组Gi，利用主成分分析进行独立地学习得到每个子空间Si的基矩阵Di
Figure FDA0003267089530000022
在基本层中，每个子空间
Figure FDA0003267089530000023
的维度设为di＝dB，得到过完备基矩阵
Figure FDA0003267089530000024
这里
Figure FDA0003267089530000025
Figure FDA0003267089530000026
为di阶单位矩阵，n为信号的原始维度，R为实数域，B表示基本层，tB为基本层子空间数量，而在第j个EL中，设定子空间维度为di＝dj≥dB，对应的过完备基矩阵为
Figure FDA0003267089530000027
2.根据权利要求1所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征在于，所述的结构化稀疏学习模块，由编码端和解码端的关键帧的块集合利用分层子空间学习的方法得到各层用于生成结构化稀疏基矩阵。
3.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征在于，所述信号分解模块，在编码端，利用各个分层的稀疏基矩阵对视频信号进行分解，得到各个分层子信号。
4.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，在特征在于，所述信号分解模块，实现对视频信号的非关键帧进行分层分解，得到各层对应的分层子信号。
5.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征在于，所述可伸缩传感模块为一阶的数字微镜设备，利用结构化采样矩阵模拟对视频信号的可伸缩压缩传感。
6.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征在于，所述的可伸缩重构模块通过一种凸松弛算法模型实现的，针对各个分层找到的块稀疏向量解乘以各层对应的稀疏基得到重构子信号。
7.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征是在于，在编码端，所述结构化稀疏学习模块产生稀疏基矩阵并输入到所述信号分解模块，所述信号分解模块和所述可伸缩传感模块对视频信号进行分解并采样产生子测量值。
8.根据权利要求1-2任一项所述的基于结构化稀疏的可伸缩压缩视频采集与重构系统，其特征是在于，在解码端，所述结构化稀疏学习模块产生稀疏基矩阵，所述结构化稀疏学习模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子测量值进入可伸缩重构模块，在可伸缩重构模块中被分层重构。
CN201910827214.9A 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频采集与重构系统 Active CN110719473B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910827214.9A CN110719473B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频采集与重构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910827214.9A CN110719473B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频采集与重构系统

Publications (2)

Publication Number Publication Date
CN110719473A CN110719473A (zh) 2020-01-21
CN110719473B true CN110719473B (zh) 2021-11-23

Family

ID=69210305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910827214.9A Active CN110719473B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频采集与重构系统

Country Status (1)

Country Link
CN (1) CN110719473B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113271477B (zh) * 2021-05-17 2022-07-08 中国工商银行股份有限公司 视频数据传输方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN109905778A (zh) * 2019-01-03 2019-06-18 上海大学 基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867851B2 (en) * 2012-12-12 2014-10-21 Seiko Epson Corporation Sparse coding based superpixel representation using hierarchical codebook constructing and indexing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN109905778A (zh) * 2019-01-03 2019-06-18 上海大学 基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEARNING SCALABLE DICTIONARIES WITH APPLICATION TO SCALABLE COMPRESSIVE SENSING;Bojana Begovic等;《20th European Signal Processing Conference (EUSIPCO 2012)》;20120831;全文 *
基于机器学习的多维数据压缩算法研究;唐欣;《中国优秀硕士学位论文全文数据库》;20160731;全文 *

Also Published As

Publication number Publication date
CN110719473A (zh) 2020-01-21

Similar Documents

Publication Publication Date Title
Dai et al. Nonlinear transform source-channel coding for semantic communications
CN108960333B (zh) 基于深度学习的高光谱图像无损压缩方法
Wang et al. Multiple description coding using pairwise correlating transforms
CN111009018A (zh) 基于深度神经网络的图像降维和重建方法
Yea et al. A wavelet-based two-stage near-lossless coder
CN109785847B (zh) 基于动态残差网络的音频压缩算法
Zhang et al. Learned scalable image compression with bidirectional context disentanglement network
CN104301728A (zh) 基于结构化稀疏字典学习的压缩视频采集与重构系统
Li et al. Multiple description coding based on convolutional auto-encoder
CN110719473B (zh) 基于结构化稀疏的可伸缩压缩视频采集与重构系统
CN110930408B (zh) 基于知识重组的语义图像压缩方法
CN113450421B (zh) 一种基于增强深度学习的无人机侦察图像压缩与解压方法
Yue et al. Communication-efficient federated learning via predictive coding
Kinsner Compression and its metrics for multimedia
Cao et al. End-to-end optimized image compression with deep Gaussian process regression
US9948928B2 (en) Method and apparatus for encoding an image
CN110620927B (zh) 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统
KR100248072B1 (ko) 신경망을 이용한 영상 데이터 압축/복원 장치의 구조 및압축/복원 방법
Huang et al. Multi-channel multi-loss deep learning based compression model for color images
CN112437300B (zh) 一种基于自适应区间重叠因子的分布式视频编码方法
Wang et al. Learned lossless image compression with combined channel-conditioning models and autoregressive modules
CN110708549B (zh) 一种压缩视频张量信号采集与重构系统及方法
Vasuki et al. Image compression using lifting and vector quantization
Hou et al. Learning-based Intra-Prediction For Point Cloud Attribute Transform Coding
CN116437089B (zh) 一种基于关键目标的深度视频压缩方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant