CN105721869A - 基于结构化稀疏的压缩张量采集与重构系统 - Google Patents

Abstract

本发明提供了一种基于结构化稀疏的压缩张量采集与重构系统，包括：结构化稀疏基构造模块、张量信号传感模块和重构处理模块，其中：结构化稀疏基构造模块利用子空间聚类方法得到训练集，利用张量子空间学习方法生成张量子空间集对应的稀疏基矩阵；张量信号传感模块对信号各个维度分别进行投影，得到张量观测值；重构处理模块接收稀疏基矩阵和张量观测值，对非参考张量信号各个维度分别解码重构。本发明提供对张量信号压缩采样的同时还契合了张量信号采样过程的分布式渐进式结构，对结构化稀疏基矩阵的构造也提升了重构的精确度和效率；本发明大大提高了张量信号的采样效率，在不同的采样压缩率下取得了重构增益，同时具备良好的可扩展性。

Description

基于结构化稀疏的压缩张量采集与重构系统

技术领域

本发明涉及一种张量信号获取方案，具体是一种基于结构化稀疏的压缩张量采集与重构系统。

背景技术

传统的信号处理系统采用先采样再压缩的模式：为了完整地保存信号所有信息，应以不小于信号带宽的两倍采样频率对视频进行采样；采集到的原始信号通过一系列编码技术后达到去除冗余的目的，相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理后的少量信号压缩数据，对采样端的资源需求过高。为了进一步提高信号的采集效率，在采样的同时加入了一些信号处理技术，其中一种方案则是将采样与压缩同时进行，然后通过后端的一些算法对压缩后的数据进行重构。然而，在自然界中的大量多维信号(如图像、视频)可以看作是张量(图像是二阶的张量，视频是三阶的张量)，已有的大部分方法在处理这些多维信号之前都会进行向量化，因此忽略并破坏了多维信号原始的内在结构。

经过对现有技术的文献检索发现，Q.Li,D.Schonfeld和S.Friedland在2013年的《IEEEInternationalConferenceonMultimediaandExpo》(IEEEICME)会议上发表的“Generalizedtensorcompressivesensing”一文中提出了基于离散余弦变换(DCT)张量基的重构将压缩传感应用到视频采样上来，该方法在采样编码端直接对视频张量采用传感矩阵对各个维度分别进行压缩采样，在解码端使用DCT基作为稀疏基对信号进行重构，这种方法可以有效地提高视频采样的效率，并且保证重构获得的视频的主观质量，但这种方法所使用的DCT基是一种固定基，对于具有复杂纹理或者剧烈运动的视频场景，该方法所使用的DCT基不够灵活以至不能准确有效的对视频帧张量块进行稀疏表示，不能提供更加有效的稀疏性和适应性，进而导致效果降低。Y.Li和H.Xiong在2014年的《IEEEDataCompressionConference》(IEEEDCC)会议上发表的“UnionofData-drivenSubspacesviaSubspaceClusteringforCompressiveVideoSampling”一文中提出了基于数据驱动子空间集模型将压缩传感应用到视频采样上来，该方法在采样编码端直接对视频信号进行压缩采样，在解码端使用UoDS基作为稀疏基对信号进行重构，这种方法可以灵活有效地对信号进行稀疏表示以保证重构获得的视频的主观质量，但这种方法不是基于张量的方法，它在对信号进行采样和重构之前，就已经把多维信号(比如视频内的帧块)进行了向量化，忽视并破坏了多维信号的内在结构。

上述现有技术的不足促使我们在其基础上去寻找一种更加有效的采样模式以及更加灵活有效的稀疏基去进行重构，充分利用张量信号的结构来提高重构结果的主客观质量。

发明内容

本发明针对现有技术的不足，提供了一种基于结构化稀疏的压缩张量采集与重构系统，可以有效提高图像视频等多维信号的采集效率以及重构系统的主客观质量，并可作为一种通用的采集工具。

本发明是通过以下技术方案实现的：

本发明提供一种基于结构化稀疏的压缩张量采集与重构系统，包括：结构化稀疏基构造模块、张量信号传感模块和重构处理模块，其中：

所述的结构化稀疏基构造模块，对参考张量信号，首先利用子空间聚类的方法得到张量训练集，然后利用张量子空间学习方法生成张量子空间集对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；

所述的张量信号传感模块，对非参考张量信号的各个维度分别进行投影，得到张量观测值，并将该张量观测值输出到重构处理模块的输入端；

所述的重构处理模块，接收结构化稀疏基构造模块输出的稀疏基矩阵与张量信号传感模块输出的张量观测值，对非参考张量信号进行重构。

优选地，所述的结构化稀疏基构造模块，实现由对参考张量信号集合进行稀疏子空间聚类生成不同类别的张量组，每类张量组对应于一个张量子空间；聚类得到的张量组作为训练集用于生成张量子空间集的稀疏基矩阵。

优选地，所述的结构化稀疏基构造模块，实现由张量子空间学习方法生成标准正交基，该标准正交基能够适应性的表示张量信号各个维度的内在结构，相对于固定基能更有效地稀疏表示张量信号。

优选地，所述的结构化稀疏基构造模块，实现由对张量训练集中的每个张量组分别利用张量子空间学习方法生成对应的各个标准正交基，进而组成稀疏基矩阵；参考张量信号和非参考张量信号在所述稀疏基矩阵上的稀疏表示是具有块结构的。

优选地，所述的张量信号传感模块，为一种一阶的数字微镜设备，其模拟了对非参考张量信号的压缩传感，对非参考张量信号的各个维度分别进行投影。

优选地，所述的重构处理模块，通过一种凸松弛算法模型找到的全局最优解乘以稀疏基就是要得到的重构信号。

优选地，所述的重构处理模块，分别在非参考张量信号的各个维度利用一种块稀疏约束得到具有块稀疏性的表示向量，用于各个维度的重构。

本发明中采用的基于结构化稀疏的压缩张量传感技术为图像视频等多维信号的采集提供了通用的解决方案。本发明所使用的张量稀疏基矩阵是通过在参考张量中先采用子空间聚类获得训练集，再采用张量子空间学习的方法得到的，充分利用了张量的独特结构，这样能够使得张量信号具有适应性的结构化稀疏表示，提高了采样的效率与重建性能。另一方面，采样和重建分别在各个维度进行，有助于本发明结构化稀疏的压缩张量传感的性能及实用性的提升。

与现有技术相比，本发明具有如下的有益效果：

本发明大大提高了重构性能，与传统的使用固定基进行重构的压缩传感系统相比，由于本发明的重构采用的是适应性的全局最优的稀疏基，因此在重构效果上均能够得到增强；对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适应性；在采样和重建时由于没有对信号进行向量化而是对张量的各个维度分别进行处理，使得该方法相比传统的压缩感知方法具有更高的实用性。在重建时由于训练集和基矩阵的构造，使得张量信号具有结构化的稀疏表示，因此本发明在不降低多维信号的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例的系统流程框图；

图2为本发明一实施例的结构化稀疏基构造模块的工作原理图；

图3为本发明一实施例的张量信号传感模块的工作原理图；

图4为本发明一实施例的重构处理模块的工作原理图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如图1所示，一种基于结构化稀疏的压缩张量采集与重构系统，包括：结构化稀疏基构造模块、张量信号传感模块和重构处理模块，其中：

结构化稀疏基构造模块首先利用子空间聚类的方法得到张量训练集，然后利用张量子空间学习方法生成张量子空间集对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；张量信号传感模块对非参考张量信号的各个维度分别进行投影，所得的张量观测值最后在重构处理模块中被解码重构。在编码端中，张量信号传感模块对张量信号进行采样产生张量观测值；在解码端中，结构化稀疏基构造模块产生稀疏基矩阵；所述结构化稀疏基构造模块输出的稀疏基矩阵与所述张量信号传感模块输出的张量观测值一起进入所述重构处理模块，在重构处理模块中张量信号被重构。

本发明提供对张量信号压缩采样的同时还契合了张量信号采样过程的分布式渐进式结构，对结构化稀疏基矩阵的构造也提升了重构的精确度和效率；本发明大大提高了张量信号的采样效率，在不同的采样压缩率下取得了重构增益，同时具备良好的可扩展性。

进一步的，所述的结构化稀疏基构造模块如图2所示，在整幅重建的参考张量中做稀疏子空间聚类，其中：

参考张量中的张量集合X＝{x₁,x₂,…,x_K}，利用稀疏子空间聚类方法把X分割成t个聚类(张量组)X₁,X₂,…,X_t，每个聚类中的张量都是相似的且同属于一个张量子空间；X₁,X₂,…,X_t对应于t个张量子空间S₁,S₂,…，S_t，那么任一N阶张量信号x都属于张量子空间集U＝∪S_i，利用张量子空间学习方法，如多线性主成分分析(MPCA)，分别单独作用于不同的聚类X_i,i＝1,…,t得到不同的基：

${\mathrm{\Ψ}}_i={\mathrm{\Ψ}}_i^{\left(1\right)}\⊗{\mathrm{\Ψ}}_i^{\left(2\right)}\⊗...\⊗{\mathrm{\Ψ}}_i^{\left(N\right)},$

其中：i＝1,…,t，Ψ_i ^(N)为第i个张量子空间第N维的基矩阵，为克罗内克乘法；因此张量子空间集对应的稀疏基矩阵：

${\mathrm{\Ψ}}^{*}={\mathrm{\Ψ}}^{*\left(1\right)}\⊗{\mathrm{\Ψ}}^{*\left(2\right)}\⊗...\⊗{\mathrm{\Ψ}}^{*\left(N\right)},$

i＝1,…,N，d_i为每个张量子空间第i维的维度；

该稀疏基矩阵能够适应性的表示出张量信号的内在结构，相对于固定基能更有效地稀疏表示张量信号，并且张量信号的各个维度在对应的稀疏基矩阵上的稀疏表示c^*具有块稀疏性。

进一步的，所述的张量信号传感模块如图3所示，是一种一阶的数字微镜投影设备(DMD)，它模拟了对3阶张量信号的压缩传感Y＝X×₁Φ₁×₂Φ₂×₃Φ₃，Φ_i为随机采样矩阵，×_i为模式i采样。

如图3所示，X为尺寸为m₁×m₂×m₃的张量，各维的采样率设为r_i，其中n_i＝r_i×m_i，按照模式1展开成尺寸为m₁×m₂m₃的二维矩阵X₍₁₎，模式1采样矩阵Φ₁的尺寸为n₁×m₁，进行模式1压缩采样后X₍₁₎变为尺寸为n₁×m₂m₃的矩阵，然后再折叠回来成为n₁×m₂×m₃的张量，至此对张量X的模式1压缩采样完成。

按照同样的方式，继续进行模式2和模式3压缩采样，最后得到采样后尺寸为n₁×n₂×n₃的张量测量值Y。

本实施例首先对参考张量进行全采样，然后对非参考张量块信号进行压缩采样，各维采样率r_i的选取在0.4到0.8之间，基于视频张量块的采样提高了视频采样的速率。

本实施例中，所述的重构处理模块如图4所示，是通过一种凸松弛算法模型实现的，具体为：

对于参考张量，找到范数最小的c使得y＝ΦΨc，得到的是一个全局最优解，用二维DCT基Ψ乘以这个全局最优解就可以得到所需重构的参考张量块信号；

对于非参考张量，在各个维度(模式)上找到范数最小的c^*使得Y_i＝Φ_iΨ^*(i)c^*，得到的是一个全局最优解，用Ψ^*(i)乘以这个全局最优解就可以得到所需重构的非参考张量块的第i维信号，其中：范数为混合范数，Φ_i为模式i随机采样矩阵，Ψ^*(i)为张量第i维的稀疏基矩阵。

如图4所示，Y为尺寸为n₁×n₂×n₃的张量测量值，按照模式3展开成尺寸为n₁n₂×n₃的矩阵Y₍₃₎，模式3采样矩阵Φ₃的尺寸为n₃×m₃，模式3稀疏基矩阵Ψ^*(3)的尺寸为m₃×td₃，进行模式3重构后Y₍₃₎变为尺寸为n₁n₂×m₃的矩阵，然后再折叠回来成为n₁×n₂×m₃的张量，至此对张量Y的模式3重构完成。

按照同样的方式，继续进行模式2以及模式1重构，最后得到重构后尺寸为m₁×m₂×m₃的张量X^*。

实施效果

本实施例中关键参数的设置为：

实验用视频序列来源于Foreman_cif.yuv(352x288的4:2:0格式的YUV文件)，总共取100帧。每五帧为一个帧组，选取第一帧为参考张量，后四帧为非参考张量，块的尺寸选取为32×32×4像素。由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。

本实施例比较了采用本发明所述的基于结构化稀疏的压缩张量采集与重构的方法与Q.Li等人在“Generalizedtensorcompressivesensing”论文中的方法。本发明所用稀疏基Ψ^*(1),Ψ^*(2)选取了MPCA基，Ψ⁽³⁾选取了DCT基。本发明所用每个张量子空间的维数为5，聚类产生的子空间的个数为10，各维采样率r₁＝r₂∈[0.4,0.5,…,0.8],r₃＝1。

与之前的方法相比：

在压缩率为0.4时，本实施例所述系统分别获得0.49dB的重构增益；

在压缩率为0.5时，本实施例所述系统分别获得0.35dB的重构增益；

在压缩率为0.6时，本实施例所述系统分别获得0.54dB的重构增益；

在压缩率为0.7时，本实施例所述系统分别获得0.67dB的重构增益；

在压缩率为0.8时，本实施例所述系统分别获得0.23dB的重构增益；

从上述实验表明，本实施例所述系统重建出来的视频序列在重构质量上明显优于另外一种方法得到的视频序列。

本发明大大提高了重构性能，与传统的使用固定基进行重构的压缩传感系统相比，由于本发明的重构采用的是适应性的全局最优的稀疏基，因此在重构效果上均能够得到增强。对于其它多维信号，本发明也具有较强的适应性。在采样和重建时由于没有对信号进行向量化而是对张量的各个维度分别进行处理，使得该方法相比传统的压缩感知方法具有更高的实用性。

在重建时由于训练集和基矩阵的构造，使得张量信号具有结构化的稀疏表示，因此本发明在不降低多维信号的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (7)

1.一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，包括：结构化稀疏基构造模块、张量信号传感模块和重构处理模块，其中：

所述的结构化稀疏基构造模块，对参考张量信号，首先利用子空间聚类的方法得到张量训练集，然后利用张量子空间学习方法生成张量子空间集对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；

所述的张量信号传感模块，对非参考张量信号的各个维度分别进行投影，得到张量观测值，并将该张量观测值输出到重构处理模块的输入端；

所述的重构处理模块，接收结构化稀疏基构造模块输出的稀疏基矩阵与张量信号传感模块输出的张量观测值，对非参考张量信号进行重构。

2.根据权利要求1所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的结构化稀疏基构造模块，实现由对参考张量信号集合进行稀疏子空间聚类生成不同类别的张量组，每类张量组对应于一个张量子空间；聚类得到的张量组作为训练集用于生成张量子空间集的稀疏基矩阵。

3.根据权利要求2所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的结构化稀疏基构造模块，实现由张量子空间学习方法生成标准正交基，该标准正交基能够适应性的表示张量信号各个维度的内在结构，相对于固定基能更有效地稀疏表示张量信号。

4.根据权利要求1-3任一项所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的结构化稀疏基构造模块，实现由对张量训练集中的每个张量组分别利用张量子空间学习方法生成对应的各个标准正交基，进而组成稀疏基矩阵；参考张量信号和非参考张量信号在所述稀疏基矩阵上的稀疏表示是具有块结构的。

5.根据权利要求1-3任一项所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的张量信号传感模块，为一种一阶的数字微镜设备，其模拟了对非参考张量信号的压缩传感，对非参考张量信号的各个维度分别进行投影。

6.根据权利要求1-3任一项所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的重构处理模块，通过一种凸松弛算法模型找到的全局最优解乘以稀疏基就是要得到的重构信号。

7.根据权利要求6所述的一种基于结构化稀疏的压缩张量采集与重构系统，其特征在于，所述的重构处理模块，分别在非参考张量信号的各个维度利用一种块稀疏约束得到具有块稀疏性的表示向量，用于各个维度的重构。