CN110620927B - 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统 - Google Patents

基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统 Download PDF

Info

Publication number
CN110620927B
CN110620927B CN201910826964.4A CN201910826964A CN110620927B CN 110620927 B CN110620927 B CN 110620927B CN 201910826964 A CN201910826964 A CN 201910826964A CN 110620927 B CN110620927 B CN 110620927B
Authority
CN
China
Prior art keywords
tensor
scalable
module
subspace
reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910826964.4A
Other languages
English (en)
Other versions
CN110620927A (zh
Inventor
戴文睿
李勇
邹君妮
熊红凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201910826964.4A priority Critical patent/CN110620927B/zh
Publication of CN110620927A publication Critical patent/CN110620927A/zh
Application granted granted Critical
Publication of CN110620927B publication Critical patent/CN110620927B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，包括：张量基构造模块、张量分解模块、可伸缩传感模块和可伸缩重构模块，其中，所述张量基构造模块对视频信号的关键帧块利用数据驱动张量子空间联合模型以及分层张量子空间学习生成稀疏基矩阵。本发明提供的可伸缩压缩张量采样契合了视频采样过程的分布式渐进式的结构，对结构化稀疏基矩阵的渐进构造也提升了重构的精确度和效率，从而提高了视频信号的可伸缩采样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。

Description

基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统
技术领域
本发明涉及视频信号处理技术领域，具体是一种基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统。
背景技术
在智能信息化时代，各种设备通过异构网络相连，进行信息的有线或者无线传输。在异构网络中，网络带宽条件的波动，以及各种硬件设备对信息的处理能力和应用场景不同，因为对高维多媒体信号的编解码技术(特别是视频编码技术)的视频码流被固定，因此对于不同需求的灵活性不足。
在近20年里，各种可伸缩视频编码(Scalable Video Coding,SVC)技术被提出并标准化应用，以降低编码复杂度，填补了实际部署中可伸缩实现方案的空缺，提高了视频编码方案在实际应用场景中的灵活性，如H.264/AVC可伸缩扩展方案，HEVC可伸缩扩展方案等。这些可伸缩视频编码技术在时间，空间，质量上进行划分，对视频信号以分层的形式进行编码，通过多个单层标准编码器内核以及层间参考图像处理模块，输出多层码流(包括基本层(Base Layer,BL)和增强层(Enhancement Layer,EL))，有效实现可伸缩功能。当带宽受限或信道环境复杂时，仅对基本层的码流进行传输和解码，虽然这时解码的视频质量不高，但保证了基本视频内容的流畅传输。当信道环境良好或信道资源丰富时，通过传输和解码增强层的码流来提高视频的质量。因此，可伸缩视频编码方案通过分层编码和选择传输，实现一次编码以适应不同信道或者不同设备应用的需求，解决了之前基本视频编码方案的灵活性不足的问题。
对于传统压缩视频采样技术，由于采样矩阵的确定，当带宽波动或者设备能力和需求不同时，其采样得到的固定测量以及重构信号同样面临灵活性不足的问题。为了使压缩视频采样方案可以适应异构网络的需求，需要对压缩视频采样方法进行可伸缩拓展的研究来提高实用性。此外，将高阶信号向量化会破坏原始信号中的内在结构和相关性，使得表示不那么紧凑或引入更多的计算复杂性。最近，已有少量压缩张量视频采样技术针对在异构网络中的传输进行了研究。经过对现有技术的文献检索发现，Hong Jiang和Chengbo Li等人在2014年的《Bell Labs Technical Journal》期刊上发表的“Scalable video codingusing compressive sensing”一文中提出了可伸缩压缩张量采样方法，该方法给出了基于全变差和DCT变换的压缩视频采样的质量可伸缩编码方案。但是该方法的稀疏基是固定基矩阵，因此无法利用结构信息提供更加有效的稀疏性和适应性。
这些不足促使我们提出一种新的更加有效的结构化稀疏基去对张量信号进行结构化稀疏表示并进一步的实现可伸缩压缩视频采样和重建，充分利用视频信号块的特殊结构来提高重构结果的主客观质量。
发明内容
本发明针对现有技术的不足，提供了基于结构化稀疏的可伸缩压缩张量采集与重构系统，可以有效提高视频信号结构化采集效率以及重构系统的主客观质量可伸缩性，并可作为一种通用的视频采集工具。
本发明是通过以下技术方案实现的：
一种基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，包括：张量基构造模块、张量分解模块、可伸缩传感模块和可伸缩重构模块，其中：
所述张量基构造模块对视频信号的关键帧块，利用数据驱动张量子空间联合模型以及分层张量子空间学习生成稀疏基矩阵，并将各个稀疏基矩阵输出到张量分解模块以及可伸缩重构模块；
所述张量分解模块对视频信号的非关键帧以块的形式进行分层分解，得到各层对应的分层子张量信号，并将所述分层子张量信号输出到可伸缩传感模块；
所述可伸缩传感模块在张量的各个模式上构建结构化采样矩阵，对各分层子张量信号进行压缩投影，得到子张量测量值，并将各个子张量测量值输出到可伸缩重构模块；
所述可伸缩重构模块接收所述张量基构造模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子张量测量值，对视频信号进行可伸缩重构。
可选地，所述的张量基构造模块，实现由编码端和重构端的关键帧的块集合利用分层张量子空间学习的方法得到各层用于生成结构化稀疏基矩阵。
可选地，所述的张量基构造模块实现由数据驱动张量子空间联合模型以及分层张量子空间学习生成针对各层的结构化稀疏基，所述结构化稀疏基适应性的表示出张量信号的内在结构。
可选地，所述张量分解模块，实现由在编码端，利用各个分层的基矩阵对张量信号进行分解为各个子张量信号。
可选地，所述的可伸缩传感模块是为一阶的数字微镜设备，用于利用结构化采样矩阵在各个张量模式下模拟对视频信号的可伸缩压缩传感。
可选地，所述的可伸缩重构模块通过一种凸松弛算法模型实现，在张量各个模式下，针对各个分层找到的块稀疏向量解乘以各层对应的稀疏基得到重构的子张量信号。
可选地，在编码端，所述张量基构造模块产生稀疏基矩阵并输入到所述张量分解模块，所述张量分解模块和所述可伸缩传感模块对视频张量信号进行分层分解并采样产生分层子张量测量值。
可选地，在解码端，所述张量基构造模块产生稀疏基矩阵，所述张量基构造模块输出的稀疏基矩阵与所述可伸缩传感模块输出的分层子张量测量值一起进入所述可伸缩重构模块，在所述可伸缩重构模块中张量信号被分层重构。
本发明中采用的基于结构化稀疏的可伸缩压缩张量采集与重构技术为视频信号的采集和重构提供了通用的可伸缩解决方案。本发明所使用的结构化稀疏基矩阵是通过对关键帧中采用数据驱动张量子空间联合模型以及分层张量子空间学习的方法得到的，充分利用了视频帧张量块的独特结构，针对不同分层的需求，提供了各个分层下的基矩阵的学习和设计，这样能够使得视频帧张量块信号具有适应性的更加紧凑的结构化稀疏表示，且可以实现多层分解为子张量信号，进而提高可伸缩采样效率(降低精确重构所需的必要采样数)，有助于本发明基于结构化稀疏的可伸缩压缩张量采集与重构的性能及实用性的提升。
与现有技术相比，本发明具有如下的有益效果：
本发明大大提高了重构性能，与传统的使用固定基字典进行重构的可伸缩压缩张量传感系统相比，由于本发明的重构采用的是适应性的分层稀疏基矩阵因此在可伸缩重构效果上均能够得到增强。
对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适应性；在重建时由于数据驱动张量子空间联合的特殊构造以及考虑了分层需求的分层张量子空间学习，使得信号具有更灵活的结构化稀疏表示，因此本发明在不降低视频的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他可伸缩方法取得了重构增益，同时也具备良好的可扩展性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统一实施例的结构框图；
图2为本发明一实施例中张量基构造模块的工作原理图；
图3为本发明一实施例中张量分解模块的示意图；
图4为本发明一实施例中可伸缩传感模块的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
图1为本发明的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统一实施例的结构框图。
如图1所示，本发明一实施例的的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，包括：张量基构造模块101、张量分解模块102、可伸缩传感模块103和可伸缩重构模块104。
张量基构造模块101利用数据驱动张量子空间联合模型以及分层张量子空间学习生成稀疏基矩阵，并将稀疏基矩阵输出到张量分解模块102以及可伸缩重构模块104。
张量分解模块102对视频张量信号的非关键帧以块的形式进行分层分解，得到各层对应的分层子张量信号，并将分层子张量信号输出到可伸缩传感模块103。
可伸缩传感模块103在张量的各个模式下通过结构化采样矩阵对各个张量子信号进行压缩投影，得到子张量测量值，并将各个子张量测量值输出到可伸缩重构模块104；
可伸缩重构模块104接收张量基构造模块101输出的稀疏基矩阵与可伸缩传感模块103输出的子张量测量值，对视频信号进行可伸缩重构。
在编码端，张量基构造模块101产生稀疏基矩阵并输入到张量分解模块102，张量分解模块102和可伸缩传感模块103对视频张量信号进行分层分解并采样产生分层子张量测量值；在解码端，张量基构造模块101产生稀疏基矩阵，张量基构造模块101输出的稀疏基矩阵与可伸缩传感模块103输出的分层子张量测量值一起进入可伸缩重构模块104，在可伸缩重构模块104中张量信号被分层重构。
在一实施例中，张量基构造模块如图2所示，在整幅原始关键帧以及重建的关键帧中做块聚类，其中：关键帧中的块集合X＝{x1,x2,…,xK}，
Figure BDA0002189399250000051
利用稀疏子空间聚类方法把X分割成t个聚类X1,X2,…,Xt，每个聚类中的块都是相似的且同属于一个张量子空间。X1,X2,…,Xt对应于t个张量子空间S1,S2,…,St，那么任一视频帧张量块信号x都属于数据驱动张量子空间联合(UoTS)模型U＝∪Si，训练集的实现由张量子空间学习方法生成的一种标准正交基，张量子空间学习方法(如多线性主成分分析(MPCA))分别单独作用于不同的块组Xi,i＝1,...,t得到不同的基
Figure BDA0002189399250000052
进而组成稀疏基矩阵
Figure BDA0002189399250000053
在所有层中，通过子空间聚类得到数据驱动张量子空间联合模型，为了在解码器中实现具有结构化稀疏性的质量可伸缩性，利用分层张量子空间学习在每个层中针对子空间数量以及子空间维度相应进行设计,如图2所示。
对于张量子空间联合U＝∪Si，给定其结构化基矩阵D1，D2，在模型复杂度Ο(U)约束下，分层子空间学习(HSL)优化了第j质量层的结构化稀疏表示:
Figure BDA0002189399250000054
这里，在基本层BL和第j-1个增强层EL中，其基矩阵分别为
Figure BDA0002189399250000055
和
Figure BDA0002189399250000056
xj为各个张量训练样本，cj为xj在稀疏基矩阵下的块稀疏表示张量，λ为拉格朗日系数。在UoTS模型中，Ο(U)取决于聚类的子空间数和D1,D2中每个子空间的维数。因此，利用两种用于子空间聚类和基矩阵派生的层次结构，以实现HSL来逼近UoTS模型中的模型复杂度Ο(U)。
首先，在BL中，训练集X＝{x1,x2,…,xK}被聚类成t＝tB个簇组G＝[G1,G2,…,Gt]，而在第j个EL中，有t＝tj个簇组
Figure BDA0002189399250000057
通过子空间聚类得到，这里tj＞tj-1,t0＝tB,j＝1,2,…,L-1。此外，针对每个簇组Gi，利用多线性主成分分析进行独立地学习得到每个张量子空间Si的基矩阵Di
Figure BDA0002189399250000061
在BL中，每个张量子空间
Figure BDA0002189399250000062
的维度设为di＝dB，得到过完备基矩阵
Figure BDA0002189399250000063
这里
Figure BDA0002189399250000064
基本层的张量子空间数量为tB，R为实数域。而在第j个EL中，设定子空间维度为di＝dj≥dB，对应的过完备基矩阵为
Figure BDA0002189399250000065
Figure BDA0002189399250000066
这里
Figure BDA0002189399250000067
和
Figure BDA0002189399250000068
分别表示第一模式和第二模式下的di阶单位矩阵，n1和n2分别表示张量的第一模式和第二模式下的原始维度。
图3为张量分解模块的示意图，在一实施例中，张量分解模块如图3所示。针对L个分层，利用已构造的L个结构化基矩阵对
Figure BDA0002189399250000069
Figure BDA00021893992500000610
进而对待采样的张量xcs进行层次分解为L个子张量信号x1,x2,...,xL。图3提供了张量信号xcs在L个质量层的结构化基矩阵下分解的示例。其中，第i个张量子空间的基矩阵
Figure BDA00021893992500000611
被分成L个子矩阵
Figure BDA00021893992500000612
这里i＝1,…,t。BL的基矩阵
Figure BDA00021893992500000613
的构造是取t个子空间的首个子矩阵
Figure BDA00021893992500000614
以及置零其他子矩阵来实现的。对于第j个增强层，其基矩阵
Figure BDA00021893992500000615
可类似的进行构造，取t个子空间的第j+1子矩阵
Figure BDA00021893992500000616
这里j＝1,…,L-1。通过这种方式，可把张量信号xcs分解成x1+x2+…+xL，其中xj可以通过
Figure BDA00021893992500000617
或者
Figure BDA00021893992500000618
来表示，c1为子张量信号x1在基本层中的稀疏表示张量，cj为子张量信号xj在第j个增强层的稀疏表示张量。因此，通过级联各个子张量信号
Figure BDA00021893992500000619
用于压缩采样。
在一实施例中，可伸缩传感模块如图4所示，是一种一阶的数字微镜投影设备(DMD)，它模拟了对视频信号的可伸缩压缩张量采样
Figure BDA00021893992500000620
其中Φ1,Φ2为第一模式和第二模式下的结构化采样矩阵，由L个随机采样矩阵构成，实现了对L个子张量信号的压缩采样。具体的，在一优选实施例中，首先对关键帧块进行压缩采样，采样率为0.9，然后对非关键帧张量块信号进行压缩采样，采样率两个维度上的选取在0.4到0.8之间，基于视频帧张量块的可伸缩采样提高了视频采样和重构的速率，实现了渐进采样。当然，此处实施例的采样率只是为了举例说明，在其他实施例中还可以是其他选择，并不局限于此。
在一实施例中，可伸缩重构模块是通过一种凸松弛算法模型实现的，具体为：对于关键帧，找到l1范数最小的表示向量c使得y＝ΦΨc，其中Ψ为DCT基，得到的是一个全局最优解，用DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号；对于非关键帧，在L个分层中，在张量各个模式下分别找到l2,I范数最小的稀疏表示张量c*使得
Figure BDA0002189399250000071
得到各个分层中的全局最优解，用
Figure BDA0002189399250000072
乘以这个全局最优解就可以得到所需重构的非关键帧块子张量信号，最后对这些子张量信号进行累加得到多个输出信号。其中，
Figure BDA0002189399250000073
为随机采样矩阵，l2,I范数为混合范数，
Figure BDA0002189399250000074
I为块结构中块组的下标。
实施效果
在一实施例中，关键参数的设置为：实验用视频序列来源于Driving_cif.yuv(720x480的4:2:0格式的YUV文件)，总共取300帧。每十帧为一个帧组，选取第一帧为关键帧，后九帧为非关键帧，块的尺寸选取为32×32像素。由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。以下比较了采用本发明基于结构化稀疏的可伸缩压缩张量视频信号采集与重构系统与Hong Jiang等人在“Scalable video coding usingcompressive sensing”论文中提出的可伸缩压缩张量采样方法。本发明实施例所用每个张量子空间的两个模式下的维数为10，聚类产生的子空间的个数为10,取L＝2，即一个基本层和一个增强层。
在基本层，与之前一种方法相比，在压缩率为0.4时，本发明实施例的系统获得0.2dB的重构增益；在压缩率为0.5时，本发明实施例的系统获得1.5dB的重构增益；在压缩率为0.6时，本发明实施例的系统获得1.8dB的重构增益；在压缩率为0.7时，本发明实施例的系统获得1.85dB的重构增益；在压缩率为0.8时，本发明实施例的系统获得1.9dB的重构增益；
在增强层，与之前一种方法相比，在压缩率为0.4时，本发明实施例的系统获得2.5dB的重构增益；在压缩率为0.5时，本发明实施例的系统获得0.5dB的重构增益；在压缩率为0.6时，本发明实施例的系统获得0.7dB的重构增益；在压缩率为0.7时，本发明实施例的系统获得0.8dB的重构增益；在压缩率为0.8时，本发明实施例的系统获得1.5dB的重构增益。
上述实验表明，本发明实施例的系统重建出来的视频序列在重构质量上明显优于另外一种方法得到的视频序列。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (8)

1.一种基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征在于，包括：张量基构造模块、张量分解模块、可伸缩传感模块和可伸缩重构模块，其中：
所述张量基构造模块对视频信号的关键帧块，利用数据驱动张量子空间联合模型以及分层张量子空间学习生成稀疏基矩阵，并将各个稀疏基矩阵输出到张量分解模块以及可伸缩重构模块；
所述张量分解模块对视频信号的非关键帧以块的形式进行分层分解，得到各层对应的分层子张量信号，并将所述分层子张量信号输出到可伸缩传感模块；
所述可伸缩传感模块在张量的各个模式上构建结构化采样矩阵，对各分层子张量信号进行压缩投影，得到子张量测量值，并将各个子张量测量值输出到可伸缩重构模块；
所述可伸缩重构模块接收所述张量基构造模块输出的稀疏基矩阵与所述可伸缩传感模块输出的子张量测量值，对视频信号进行可伸缩重构；
所述张量基构造模块，在整幅原始关键帧以及重建的关键帧中做块聚类，其中：关键帧中的块集合
Figure FDA0003566862410000011
把X分割成t个聚类X1,X2,…,Xt，每个聚类中的块都是相似的且同属于一个张量子空间；X1,X2,…,Xt对应于t个张量子空间S1,S2,…,St，那么任一视频帧张量块信号x都属于数据驱动张量子空间联合模型U＝∪Si，训练集的实现由张量子空间学习方法生成的一种标准正交基，张量子空间学习方法分别单独作用于不同的块组Xi,i＝1,…,t得到不同的基
Figure FDA0003566862410000012
进而组成稀疏基矩阵
Figure FDA0003566862410000013
在所有层中，通过子空间聚类得到数据驱动张量子空间联合模型，为了在解码器中实现具有结构化稀疏性的质量可伸缩性，利用分层张量子空间学习在每个层中针对子空间数量以及子空间维度相应进行设计；
对于张量子空间联合U＝∪Si，给定其结构化基矩阵D1，D2，在模型复杂度Ο(U)约束下，分层子空间学习(HSL)优化了第j质量层的结构化稀疏表示:
Figure FDA0003566862410000014
这里，在基本层BL和第j-1个增强层EL中，其基矩阵分别为
Figure FDA0003566862410000021
和
Figure FDA0003566862410000022
xj为各个张量训练样本，cj为xj在稀疏基矩阵下的块稀疏表示张量，λ为拉格朗日系数；在数据驱动张量子空间联合模型中，Ο(U)取决于聚类的子空间数和D1,D2中每个子空间的维数；因此，利用两种用于子空间聚类和基矩阵派生的层次结构，以实现HSL来逼近数据驱动张量子空间联合模型中的模型复杂度Ο(U)；
首先，在基本层BL中，训练集X＝{x1,x2,…,xK}被聚类成t＝tB个簇组G＝[G1,G2,…,Gt]，而在第j个增强层EL中，有t＝tj个簇组
Figure FDA0003566862410000023
通过子空间聚类得到，这里tj＞tj-1,t0＝tB,j＝1,2,…,L-1；此外，针对每个簇组Gi，利用多线性主成分分析进行独立地学习得到每个张量子空间Si的基矩阵Di：
Figure FDA0003566862410000024
在基本层BL中，每个张量子空间
Figure FDA0003566862410000025
的维度设为di＝dB，得到过完备基矩阵
Figure FDA0003566862410000026
这里
Figure FDA0003566862410000027
n2，基本层的张量子空间数量为tB，R为实数域；而在第j个增强层EL中，设定子空间维度为di＝dj≥dB，对应的过完备基矩阵为
Figure FDA0003566862410000028
Figure FDA0003566862410000029
n2，这里
Figure FDA00035668624100000210
和
Figure FDA00035668624100000211
分别表示第一模式和第二模式下的di阶单位矩阵，n1和n2分别表示张量的第一模式和第二模式下的原始维度。
2.根据权利要求1所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征是，所述的张量基构造模块，实现由编码端和重构端的关键帧的块集合利用分层张量子空间学习的方法得到各层用于生成结构化稀疏基矩阵。
3.根据权利要求2所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征是，所述的张量基构造模块实现由数据驱动张量子空间联合模型以及分层张量子空间学习生成针对各层的结构化稀疏基，所述结构化稀疏基适应性的表示出张量信号的内在结构。
4.根据权利要求1-3任一项所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征是，所述张量分解模块，实现由在编码端，利用各个分层的基矩阵对张量信号进行分解为各个子张量信号。
5.根据权利要求1-3任一项所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征是，所述的可伸缩传感模块是为一阶的数字微镜设备，用于利用结构化采样矩阵在各个张量模式下模拟对视频信号的可伸缩压缩传感。
6.根据权利要求1-3任一项所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征是，所述的可伸缩重构模块通过一种凸松弛算法模型实现，在张量各个模式下，针对各个分层找到的块稀疏向量解乘以各层对应的稀疏基得到重构的子张量信号。
7.根据权利要求1-3任一项所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征在于，在编码端，所述张量基构造模块产生稀疏基矩阵并输入到所述张量分解模块，所述张量分解模块和所述可伸缩传感模块对视频张量信号进行分层分解并采样产生分层子张量测量值。
8.根据权利要求1-3任一项所述的基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统，其特征在于，在解码端，所述张量基构造模块产生稀疏基矩阵，所述张量基构造模块输出的稀疏基矩阵与所述可伸缩传感模块输出的分层子张量测量值一起进入所述可伸缩重构模块，在所述可伸缩重构模块中张量信号被分层重构。
CN201910826964.4A 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统 Active CN110620927B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910826964.4A CN110620927B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910826964.4A CN110620927B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统

Publications (2)

Publication Number Publication Date
CN110620927A CN110620927A (zh) 2019-12-27
CN110620927B true CN110620927B (zh) 2022-05-27

Family

ID=68922272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910826964.4A Active CN110620927B (zh) 2019-09-03 2019-09-03 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统

Country Status (1)

Country Link
CN (1) CN110620927B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN109905778A (zh) * 2019-01-03 2019-06-18 上海大学 基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040236557A1 (en) * 2003-05-22 2004-11-25 Shah Sunil C. Method for simulation of electronic circuits and N-port systems
US10776710B2 (en) * 2015-03-24 2020-09-15 International Business Machines Corporation Multimodal data fusion by hierarchical multi-view dictionary learning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104954780A (zh) * 2015-07-01 2015-09-30 南阳师范学院 一种适用于高清2d/3d转换的dibr虚拟图像修复方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN109905778A (zh) * 2019-01-03 2019-06-18 上海大学 基于组稀疏编码的单个非结构化视频的可扩展缩略的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LEARNING SCALABLE DICTIONARIES WITH APPLICATION TO SCALABLE COMPRESSIVE SENSING;Bojana Begovic等;《20th European Signal Processing Conference (EUSIPCO 2012)》;20120831;全文 *
基于机器学习的多维数据压缩算法研究;唐欣;《中国优秀硕士学位论文全文数据库》;20160731;全文 *

Also Published As

Publication number Publication date
CN110620927A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN108960333B (zh) 基于深度学习的高光谱图像无损压缩方法
KR100529311B1 (ko) 신경 회로망을 이용하여 가변 길이 부호화 비트 스트림의길이를 선택하는 장치 및 방법
US20210099731A1 (en) Neural network based image set compression
CN112149652A (zh) 用于高光谱图像有损压缩的空谱联合深度卷积网络方法
CN114449276B (zh) 一种基于学习的超先验边信息补偿图像压缩方法
Zhang et al. Learned scalable image compression with bidirectional context disentanglement network
Li et al. Multiple description coding based on convolutional auto-encoder
CN113450421B (zh) 一种基于增强深度学习的无人机侦察图像压缩与解压方法
Harell et al. Rate-distortion in image coding for machines
CN110930408A (zh) 基于知识重组的语义图像压缩方法
CN110719473B (zh) 基于结构化稀疏的可伸缩压缩视频采集与重构系统
Cao et al. End-to-end optimized image compression with deep Gaussian process regression
CN110620927B (zh) 基于结构化稀疏的可伸缩压缩视频张量信号采集与重构系统
Zhang et al. Image primitive coding and visual quality assessment
KR100248072B1 (ko) 신경망을 이용한 영상 데이터 압축/복원 장치의 구조 및압축/복원 방법
Huang et al. Multi-channel multi-loss deep learning based compression model for color images
Kong et al. End-to-end multispectral image compression framework based on adaptive multiscale feature extraction
CN107205151B (zh) 基于混合失真度量准则的编解码装置及方法
Rehna Hybrid approaches to image coding: A review
Zhao et al. Deep multiple description coding by learning scalar quantization
Sun et al. KSVD-based multiple description image coding
Thepade et al. New clustering algorithm for Vector Quantization using Slant transform
CN110708549B (zh) 一种压缩视频张量信号采集与重构系统及方法
Wang et al. Learned lossless image compression with combined channel-conditioning models and autoregressive modules
Hou et al. Learning-based Intra-Prediction For Point Cloud Attribute Transform Coding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant