CN104243986B - 基于数据驱动张量子空间的压缩视频采集与重构系统 - Google Patents
基于数据驱动张量子空间的压缩视频采集与重构系统 Download PDFInfo
- Publication number
- CN104243986B CN104243986B CN201410468199.0A CN201410468199A CN104243986B CN 104243986 B CN104243986 B CN 104243986B CN 201410468199 A CN201410468199 A CN 201410468199A CN 104243986 B CN104243986 B CN 104243986B
- Authority
- CN
- China
- Prior art keywords
- tensor
- sparse basis
- vision signal
- subspace
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种基于数据驱动张量子空间的压缩视频采集与重构系统,包括:张量稀疏基构造模块、视频信号传感模块和重构处理模块,其中:张量稀疏基构造模块利用张量子空间学习方法生成张量子空间对应的稀疏基矩阵;视频信号传感模块对视频信号以张量块的形式进行投影,得到观测值;重构处理模块接收对稀疏基矩阵和观测值,对张量信号的各个维度分别解码重构。本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构,对张量稀疏基矩阵的特殊构造也提升了重构的精确度和效率。本发明大大提高了视频信号的采样效率,在不同的采样压缩率下相比其他方法取得了重构增益,同时也具备良好的可扩展性。
Description
技术领域
本发明涉及一种视频信号获取方案,具体地,涉及一种基于数据驱动张量子空间的压缩视频采集与重构系统。
背景技术
视频信号的采集和编码(压缩)对于视频的存储和传输等应用至关重要。传统的信号处理系统采用先采样再压缩的模式:为了完整地保存信号所有信息,应以不小于信号带宽的两倍采样频率对视频进行采样;采集到的原始信号通过一系列编码技术后达到去除冗余的目的,相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理后的少量信号压缩数据,对采样端的资源需求过高。为了进一步提高视频信号的采集效率,在采样的同时加入了一些信号处理技术,其中一种方案则是将采样与压缩同时进行,然后通过后端的一些算法对压缩后的数据进行重构。
经过对现有技术的文献检索发现,Q.Li,D.Schonfeld和S.Friedland在2013年的《IEEE International Conference on Multimedia and Expo》(IEEE ICME)会议上发表的“Generalized tensor compressive sensing”一文中提出了基于离散余弦变换(DCT)张量基的重构将压缩传感应用到视频采样上来,该方法在采样编码端直接对视频张量采用传感矩阵对各个维度分别进行压缩采样,在解码端使用DCT基作为稀疏基对信号进行重构,这种方法可以有效地提高视频采样的效率,并且保证重构获得的视频的主观质量,但这种方法所使用的DCT基是一种固定基,对于具有复杂纹理或者剧烈运动的视频场景,该方法所使用的DCT基不够灵活以至不能准确有效的对视频帧张量块进行稀疏表示,不能提供更加有效的稀疏性和适应性,进而导致效果降低。这些不足促使我们在其基础上去寻找一种更加有效灵活地稀疏基去进行重构,充分利用视频信号块的特殊结构来提高重构结果的主客观质量。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于数据驱动张量子空间的压缩视频采集与重构系统,可以有效提高视频信号采集效率以及重构系统的主客观质量,并可作为一种通用的视频采集工具。
为实现以上目的,本发明提供一种基于数据驱动张量子空间的压缩视频采集与重构系统,包括:张量稀疏基构造模块、视频信号传感模块和重构处理模块,其中:
所述张量稀疏基构造模块,对视频信号关键帧张量块利用张量子空间学习方法生成张量子空间对应的稀疏基矩阵,并将该稀疏基矩阵输出到重构处理模块的输入端;
所述视频信号传感模块,将视频信号的非关键帧块以张量块的形式对各个维度分别进行投影,得到观测值,并将该观测值输出到重构处理模块的输入端;
所述重构处理模块,接收所述张量稀疏基构造模块输出的稀疏基矩阵与所述视频信号传感模块输出的观测值,对信号进行重构。
优选地,所述的张量稀疏基构造模块,实现由在重构的关键帧上得到的张量块作为训练集用于生成张量子空间的稀疏基矩阵。
优选地,所述的张量稀疏基构造模块,实现由张量子空间学习方法生成的一种标准正交基,其能够适应性的表示出多维信号的各个维度的内在结构,相对于固定基能更有效地稀疏表示视频信号。
优选地,所述的视频信号传感模块是一种一阶的数字微镜设备(DMD),其模拟对视频信号的压缩传感,对视频非关键帧的张量块的各个维度分别进行采样。
优选地,所述的重构处理模块是通过一种凸松弛算法模型实现的,找到的全局最优解乘以稀疏基即为要得到的重构信号。该模块对视频非关键帧的张量块的各个维度分别进行重构。
本发明中采用的基于数据驱动张量子空间的压缩传感技术为视频信号的采集提供了通用的解决方案。本发明所使用的张量稀疏基矩阵是通过在重构的关键帧中采用张量子空间学习的方法得到的,充分利用了视频帧张量块的独特结构,这样能够使得帧块张量信号具有适应性稀疏表示,进而提高采样效率(降低精确重构所需的必要采样数),还能分别在各个维度进行重建,有助于本发明数据驱动张量子空间压缩传感的性能及实用性的提升。
与现有技术相比,本发明具有如下的有益效果:
本发明大大提高了重构性能,与传统的使用固定基进行重构的视频压缩传感系统相比,由于本发明的重构采用的是适应性的全局最优的稀疏基因此在重构效果上均能够得到增强;对于其它多维信号,本发明通过适当的修改也可使用,具有较强的适应性;在采样和重建时由于没有对信号进行向量化而是对各个张量的维度分别进行处理,使得该方法相比传统的压缩视频感知方法具有更高的实用性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例的系统结构框图;
图2为本发明一实施例的张量稀疏基构造模块的工作原理图;
图3为本发明一实施例的视频信号传感模块的示意图;
图4为本发明一实施例的重构处理模块的示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示,本实施例提供一种基于数据驱动张量子空间的压缩视频采集与重构系统,包括:张量稀疏基构造模块、视频信号传感模块、重构处理模块,其中:张量稀疏基构造模块利用张量子空间学习方法生成张量子空间各个维度对应的稀疏基矩阵,视频信号传感模块对视频信号以张量块的形式进行压缩投影,所得的观测值最后在重构处理模块中被解码重构;在编码端中,视频信号传感模块对视频张量信号进行采样产生测量值;在解码端中,张量稀疏基构造模块产生张量稀疏基矩阵;所述张量稀疏基构造模块输出的张量稀疏基矩阵与所述视频信号传感模块输出的测量值一起进入重构处理模块,在重构处理模块中信号被重构。
本实施例中,所述的张量稀疏基构造模块如图2所示,从连续三幅重建的关键帧中提取出张量训练集,由张量子空间学习方法生成的一种标准正交基,张量子空间学习方法(如多线性主成分分析(MPCA))作用于张量训练集得到各个维度的基Ψ(1),Ψ(2),Ψ(3)。该稀疏基矩阵能够适应性的表示出视频帧张量块信号的内在结构,相对于固定基能更有效地稀疏表示视频信号。
本实施例中,所述的视频信号传感模块如图3所示,是一种一阶的数字微镜投影设备(DMD),它模拟了对视频信号的压缩传感Y=X×1Φ1×2Φ2×3Φ3,Φi为随机采样矩阵,×i为模式i采样。如图3中举例所示,X为尺寸为m1×m2×m3的张量,各维的采样率设为ri,其中ni=ri×mi,按照模式1展开成尺寸为m1×m2m3的二维矩阵X(1),模式1采样矩阵Φ1的尺寸为n1×m1,进行模式1压缩采样后X(1)变为尺寸为n1×m2m3的矩阵,然后再折叠回来成为n1×m2×m3的张量,至此对张量X的模式1压缩采样完成。按照同样的方式,继续进行模式2和模式3压缩采样,最后得到采样后尺寸为n1×n2×n3的张量测量值Y。本实施例首先对关键帧进行全采样,然后对非关键帧张量块信号进行压缩采样,各维采样率ri的选取在0.4到0.9之间,基于视频帧张量块的采样提高了视频采样的速率。
本实施例中,所述的重构处理模块如图4所示,是通过一种凸松弛算法模型实现的,具体为:对于关键帧,找到l1范数最小的c使得y=ΦΨc,得到的是一个全局最优解,用二维DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号;对于非关键帧,在各个维度(模式)上找到l1范数最小的c*使得Yi=ΦiΨ(i)c*,得到的是一个全局最优解,用Ψ(i)乘以这个全局最优解就可以得到所需重构的非关键帧张量块的第i维信号,其中:Φi为模式i随机采样矩阵,Ψ(i)为张量第i维的稀疏基矩阵,如图4中举例所示,Y为尺寸为n1×n2×n3的张量测量值,按照模式3展开成尺寸为n1n2×n3的矩阵Y(3),模式3采样矩阵Φ3的尺寸为n3×m3,模式3稀疏基矩阵Ψ(3)的尺寸为m3×m3,进行模式3重构后Y(3)变为尺寸为n1n2×m3的矩阵,然后再折叠回来成为n1×n2×m3的张量,至此对张量Y的模式3重构完成。按照同样的方式,继续进行模式2以及模式1重构,最后得到重构后尺寸为m1×m2×m3的张量X。
实施效果
本实施例中关键参数的设置为:实验用视频序列来源于Foreman_cif.yuv(352x288的4:2:0格式的YUV文件),总共取100帧。每二十帧为一个帧组,选取第一帧至第四帧为关键帧,后16帧为非关键帧,块的尺寸选取为32×32×16像素。由于信号的灰度图集中了绝大部分能量,测试主要是在灰度图上完成的。本实施例比较了采用本发明所述的基于数据驱动张量子空间的压缩视频采集与重构的方法与Q.Li等人在“Generalized tensorcompressive sensing”论文中的方法。本发明所用稀疏基Ψ(1),Ψ(2)选取了MPCA基,Ψ(3)选取了DCT基。
与之前的方法相比,在各维压缩率为0.4时,本实施例系统获得0.50dB的重构增益;在压缩率为0.5时,本实施例系统获得0.35dB的重构增益;在压缩率为0.6时,本实施例系统获得0.52dB的重构增益;在压缩率为0.7时,本实施例系统获得0.67dB的重构增益;在压缩率为0.8时,本实施例系统获得0.23dB的重构增益;在压缩率为0.9时,本实施例系统获得2.1dB的重构增益;
实验表明,本实施例系统重建出来的视频序列在重构质量上明显优于所比较方法得到的视频序列。
本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构,对张量稀疏基矩阵的特殊构造也提升了重构的精确度和效率,本发明大大提高了视频信号的采样效率,在不同的采样压缩率下相比其他方法取得了重构增益,同时也具备良好的可扩展性。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变形或修改,这并不影响本发明的实质内容。
Claims (5)
1.一种基于数据驱动张量子空间的压缩视频采集与重构系统,其特征在于,包括:张量稀疏基构造模块、视频信号传感模块和重构处理模块,其中:
所述张量稀疏基构造模块,对视频信号关键帧张量块利用张量子空间学习方法生成张量子空间对应的稀疏基矩阵,并将该稀疏基矩阵输出到重构处理模块的输入端;所述的张量稀疏基构造模块,实现由张量子空间学习方法生成的一种标准正交基,其能够适应性的表示出多维信号的各个维度的内在结构,相对于固定基能更有效地稀疏表示视频信号;
所述视频信号传感模块,将视频信号的非关键帧块以张量块的形式对各个维度分别进行投影,得到观测值,并将该观测值输出到重构处理模块的输入端;
所述重构处理模块,接收所述张量稀疏基构造模块输出的稀疏基矩阵与所述视频信号传感模块输出的观测值,对信号进行重构。
2.根据权利要求1所述的一种基于数据驱动张量子空间的压缩视频采集与重构系统,其特征在于,所述的张量稀疏基构造模块,实现由在重构的关键帧上得到的张量块作为训练集用于生成张量子空间的稀疏基矩阵。
3.根据权利要求1或2所述的一种基于数据驱动张量子空间的压缩视频采集与重构系统,其特征在于,所述的视频信号传感模块是一种一阶的数字微镜设备(DMD),其模拟对视频信号的压缩传感,对视频非关键帧的张量块的各个维度分别进行采样。
4.根据权利要求1或2所述的一种基于数据驱动张量子空间的压缩视频采集与重构系统,其特征在于,所述的重构处理模块是通过一种凸松弛算法模型实现的,找到的全局最优解乘以稀疏基即为要得到的重构信号。
5.根据权利要求4所述的一种基于数据驱动张量子空间的压缩视频采集与重构系统,其特征在于,对视频非关键帧的张量块的各个维度分别进行重构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410468199.0A CN104243986B (zh) | 2014-09-15 | 2014-09-15 | 基于数据驱动张量子空间的压缩视频采集与重构系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410468199.0A CN104243986B (zh) | 2014-09-15 | 2014-09-15 | 基于数据驱动张量子空间的压缩视频采集与重构系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104243986A CN104243986A (zh) | 2014-12-24 |
CN104243986B true CN104243986B (zh) | 2018-07-20 |
Family
ID=52231208
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410468199.0A Active CN104243986B (zh) | 2014-09-15 | 2014-09-15 | 基于数据驱动张量子空间的压缩视频采集与重构系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104243986B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105472657B (zh) * | 2015-12-14 | 2019-03-15 | 南开大学 | 基于低秩张量的一种无线传感器网络中数据重构方法 |
CN105721869B (zh) * | 2016-01-26 | 2018-04-06 | 上海交通大学 | 基于结构化稀疏的压缩张量采集与重构系统 |
CN110708549B (zh) * | 2019-09-10 | 2021-06-01 | 上海交通大学 | 一种压缩视频张量信号采集与重构系统及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103517079A (zh) * | 2013-09-16 | 2014-01-15 | 上海交通大学 | 基于数据驱动子空间集的压缩视频采集与重构系统 |
-
2014
- 2014-09-15 CN CN201410468199.0A patent/CN104243986B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103517079A (zh) * | 2013-09-16 | 2014-01-15 | 上海交通大学 | 基于数据驱动子空间集的压缩视频采集与重构系统 |
Non-Patent Citations (1)
Title |
---|
《Generalized tensor compressive sensing》;Qun Li; Schonfeld, D.; Friedland, S.;《2013 IEEE International Conference on Multimedia and Expo (ICME)》;20130719;摘要,第1-5页,第1-5部分 * |
Also Published As
Publication number | Publication date |
---|---|
CN104243986A (zh) | 2014-12-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Shi et al. | Image compressed sensing using convolutional neural network | |
CN104301728B (zh) | 基于结构化稀疏字典学习的压缩视频采集与重构系统 | |
CN105721869B (zh) | 基于结构化稀疏的压缩张量采集与重构系统 | |
Yu et al. | Saliency-based compressive sampling for image signals | |
CN110933429B (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
CN103237204B (zh) | 基于高维压缩感知的视频信号采集与重构系统 | |
CN110084862B (zh) | 基于多尺度小波变换与深度学习的图像压缩感知算法 | |
CN103037212B (zh) | 基于视觉感知的自适应块压缩传感图像编码方法 | |
CN103517079B (zh) | 基于数据驱动子空间集的压缩视频采集与重构系统 | |
CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码系统 | |
CN112884851A (zh) | 一种展开迭代优化算法的深度压缩感知网络 | |
CN104123705B (zh) | 一种超分辨率重建图像质量Contourlet域评价方法 | |
CN102708576A (zh) | 基于结构字典的分块图像压缩感知重建方法 | |
CN102123278A (zh) | 基于分布式压缩感知技术的信源编码的方法 | |
CN103455988A (zh) | 基于结构自相似性与稀疏表示的超分辨率图像重构方法 | |
CN103295198A (zh) | 基于冗余字典和结构稀疏的非凸压缩感知图像重构方法 | |
CN102148987A (zh) | 基于先验模型和l0范数的压缩感知图像重构方法 | |
CN104243986B (zh) | 基于数据驱动张量子空间的压缩视频采集与重构系统 | |
CN104485966A (zh) | 一种基于信号分解的压缩感知处理和信号重构方法 | |
CN115561182A (zh) | 一种基于先验图像引导的快照式光谱成像系统重构方法 | |
Li et al. | On joint optimization of sensing matrix and sparsifying dictionary for robust compressed sensing systems | |
CN103700074A (zh) | 基于离散余弦变换系数分布的自适应压缩感知采样方法 | |
CN106056640B (zh) | 基于形态成分分解结合压缩感知的图像压缩方法 | |
CN113284202B (zh) | 一种基于内容自适应的可伸缩网络的图像压缩感知方法 | |
Agarwal et al. | Near lossless image compression using discrete cosine transformation and principal component analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |