CN103237204A - 基于高维压缩感知的视频信号采集与重构系统 - Google Patents

基于高维压缩感知的视频信号采集与重构系统 Download PDF

Info

Publication number
CN103237204A
CN103237204A CN201310091422XA CN201310091422A CN103237204A CN 103237204 A CN103237204 A CN 103237204A CN 201310091422X A CN201310091422X A CN 201310091422XA CN 201310091422 A CN201310091422 A CN 201310091422A CN 103237204 A CN103237204 A CN 103237204A
Authority
CN
China
Prior art keywords
sensing
module
matrix
video signal
universe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310091422XA
Other languages
English (en)
Other versions
CN103237204B (zh
Inventor
熊红凯
叶鑫炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201310091422.XA priority Critical patent/CN103237204B/zh
Publication of CN103237204A publication Critical patent/CN103237204A/zh
Application granted granted Critical
Publication of CN103237204B publication Critical patent/CN103237204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了一种基于高维压缩感知的视频信号采集与重构系统，包括：合成传感矩阵构造及优化模块、稀疏基矩阵构造模块、视频信号全域传感模块和重构处理模块，其中：合成传感矩阵构造及优化模块和稀疏基矩阵构造模块利用矩阵克罗内克积的运算形式分别生成最优的合成传感矩阵和高维稀疏基，全域传感模块对于上述矩阵对视频信号进行投影，所得的数据最后在重构处理模块中被解码重构。本发明提供时-空域同时压缩采样的同时还契合了视频采样过程的分布式渐进式的结构，对传感矩阵的相应优化也提升了重构的精确度和效率，本发明大大提高了视频信号的采样效率，在不同的采样压缩率下最高得到了4dB的采样增益，同时也具备良好的可扩展性。

Description

基于高维压缩感知的视频信号采集与重构系统
技术领域
本发明涉及一种视频信号获取方案，具体是一种基于高维压缩感知的视频信号采集与重构系统。
背景技术
视频信号的采集和编码（压缩）对于视频的存储和传输等应用至关重要。传统的信号处理系统采用先采样再压缩的模式：为了完整地保存信号所有信息，应以不小于信号带宽的两倍采样频率对视频进行采样；采集到的原始信号通过一系列编码技术后达到去除冗余的目的，相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理后的少量信号压缩数据，对采样端的资源需求过高。为了进一步提高视频信号的采集效率，在采样的同时加入了一些信号处理技术，其中一种方案则是将采样与压缩同时进行，然后通过后端的一些算对压缩后的数据进行重构。
经过对现有技术的文献检索发现，M.F.Duarte,与R.G.Baraniuk在2012年的《IEEE Transaction on Image Processing》（TIP）期刊上发表的“KroneckerCompressive Sensing”一文中提出了以联合重构形式将压缩传感应用到视频采样上来，该方法利用公式来构造传感矩阵，同样使用克罗内克积构造高维稀疏基，这两个矩阵在不改变传统信号的物理结构的条件下实现了对测量值的联合重构。这种方法都可以有效地提高视频采样的效率，并且保证重构获得的视频的主观质量，但这种方法忽略了视频序列时间维度上信号的相似特性，使得采样得到的数据仍旧包含冗余信息，使得视频信号的高维特征无法被充分利用，实际上由传感矩阵
Figure BDA00002945860600012
形式可以看出这种方案可以归结为基于重构优化的压缩传感。此外，由于选用的Φ是一种随机矩阵而无法提供基于l1凸松弛重构算法的最优传感，因此在投影的计算能力下重构精度有所损失。这些不足促使我们在其基础上去寻找一种更加通用与普适的方法，充分利用视频信号的高维结构并对合成传感矩阵进行优化。
发明内容
本发明针对现有技术的不足，提供了一种基于高维压缩感知的视频信号采集与重构系统，可作为一种通用的视频采集工具，也可经修改适用于其它高维信号的采样系统，其目的是进一步提高采样端的效率。
本发明是通过以下技术方案实现的：
本发明所述的基于高维压缩感知的视频信号采集与重构系统，包括：合成传感矩阵构造及优化模块、稀疏基矩阵构造模块、视频信号全域传感模块和重构处理模块，其中：合成传感矩阵构造及优化模块和稀疏基矩阵构造模块利用矩阵克罗内克积的运算形式分别生成最优的合成传感矩阵和高维稀疏基，全域传感模块对于上述矩阵对视频信号进行投影，所得的数据最后在重构处理模块中被解码重构。
所述的合成传感矩阵构造及优化模块包括：由时域与空间域对应传感子矩阵合成全域压缩传感矩阵与基于互相关系数的传感矩阵优化，其中：合成的全域压缩传感矩阵能提供时-空域同时压缩采样，还契合了视频采样过程的分布式渐进式的结构，基于互相关系数的传感矩阵优化在克罗内克积的形式下也可以分步完成并使得本方案性能和实用性进一步提升。
所述的合成稀疏基矩阵构造模块是由克罗内克积生成的一种双曲小波基，它能够充分表示出高维信号的奇异结构，相对于低维的小波基能更高稀疏地表示出视频信号
所述的全域传感模块是一种二阶的数字微镜设备（DMD），它模拟了对视频信号的全域压缩传感。
所述的重构处理模块是通过一种凸松弛算法模型实现的。
本发明中采用的基于克罗内克积（Kronecker product）的高维压缩传感技术为多维信号的采集提供了通用的解决方案，尤其是针对三维视频信号的获取，设计了分布式的时-空域同时压缩的采样方法。本发明所使用的传感矩阵使用由时空维度对应欠定采样子矩阵通过克罗内克积合成，每个欠定采样子阵都与对应维度的稀疏度相匹配，由于克罗内克积矩阵的分块特性，该合成矩阵在提供时-空域同时压缩采样的同时还契合了视频采样过程的分布式渐进式的结构。考虑到该方法在采样的同时可以压缩视频信号的所有维度，充分利用了视频信号的时-空维结构特性使得采样压缩率进一步的提升。另一方面，鉴于传感矩阵在压缩传感的采集和重构过程中都发挥的重要作用，本发明优化了传感矩阵，这不仅能提高采样效率（降低精确重构所需的必要采样数），还能加速凸松弛重构算法的收敛及稳定性，有助于本发明全域克罗内克压缩传感的性能及实用性的提升。
与现有技术相比，本发明具有如下的有益效果：
本发明大大提高了采样效率，与传统的无压缩采样和空间域单独压缩传感相比，信号的重构效果上均能够得到增强；对于其它高维信号，本发明通过适当的修改也可使用，具有较强的适应性；在重建时绑定时间与空间信息，具有较好的时空一致性，由于针对性的优化，重建的质量也较好，在不降低视频的主观效果的情况下可以提高采样效率，在不同的采样压缩率下最高得到了4dB的采样增益，同时也具备良好的可扩展性。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明系统一实施例的结构框图；
图2为合成传感矩阵构造及优化模块工作原理图；
图3为全域传感模块对高维视频信号产生的实质作用示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
如图1所示，本发明系统一实施例的结构框图，包括：合成传感矩阵构造及优化模块、稀疏基矩阵构造模块、视频信号全域传感模块和重构处理模块，其中：合成传感矩阵构造及优化模块和稀疏基矩阵构造模块利用矩阵克罗内克积的运算形式分别生成最优的合成传感矩阵和高维稀疏基，视频信号全域传感模块对于上述矩阵对视频信号进行投影，所得的数据最后在重构处理模块中被解码重构。
所述的合成传感矩阵构造及优化模块包括：如图2所示，由时域与空间域对应传感子矩阵Φt以及Φs合成全域压缩传感矩阵
Figure BDA00002945860600041
与基于互相关系数的传感矩阵优化，其中：合成的全域压缩传感矩阵能提供时-空域同时压缩采样，还契合了视频采样过程的分布式渐进式的结构，合成传感矩阵优化算法在克罗内克积的形式下也可以分步完并使得本方案性能和实用性进一步提升。
所述的时域传感子矩阵Φt初始是一个高斯随机矩阵，对应时域稀疏基Ψt可进行基于互相关系数优化。
所述的时域传感子矩阵Φs初始是一个高斯随机矩阵，对应时域稀疏基Ψs可进行基于互相关系数优化。
所述的合成传感矩阵
Figure BDA00002945860600042
由一个二阶的数字微镜投影设备（DMD）（即视频信号全域传感模块）实现，考虑到序列的时序物理特性以及公式
Figure BDA00002945860600043
可以时-空域同时完成压缩投影，这里X是待处理3-D视频序列，X'是X的变形（按行单独列开）。因此可分别实现对Φt与Φs的单独优化来构成合成矩阵的全局优化。
所述的合成稀疏基矩阵构造模块是由克罗内克积生成的一种双曲小波基，它能够充分表示出高维信号的奇异结构，相对于低维的小波基能更高稀疏地表示出视频信号。
所述的视频信号全域传感模块是一种二阶的数字微镜投影设备（DMD），它模拟了对视频信号的全域压缩传感。对高维视频信号产生的实质作用如图3所示，该发明提供时-空域同时压缩采样和契合了视频采样过程的分布式渐进式的结构，对立体的128×128×128视频信号进行压缩变换，压缩率的选取在0.1到0.5之间，采样的同时压缩了视频信号的所有维度，充分利用了视频信号的时-空维结构特性使得采样压缩率进一步的提升。
所述的重构处理模块是通过一种凸松弛算法模型实现的，具体为：找到l1范数最小的θ使得y＝ΦΨθ，得到的是一个全局最优解，用Ψ乘以这个全局最优解就可以得到所需的重构视频。
本实施例中关键参数的设置为：
视频序列是从标准QCIF格式中提取的128×128×128三维视频信号，尺寸大小对应与稀疏基进行了优化调整，由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。
时间域和空间域稀疏基均选取了对应的Daubechies-8小波基合成。
合成传感矩阵的优化前后的互相关系数分别为0.09与0.05，对于凸松弛重构效率平均提高80%。
测试总的采样（压缩）率为0.15、0.25、0.35、0.45四种情况，时域和空间域的压缩率相等。
在压缩率为0.15时，本实施例系统获得1.7dB的重构增益；在压缩率为0.25时，本实施例系统获得2.3dB的重构增益；在压缩率为0.35时，本实施例系统获得4.1dB的重构增益；在压缩率为0.45时，本实施例系统获得4.7dB的重构增益；
因此，本实施例系统重建出来的视频序列与未经压缩的采样得到的视频序列在质量上是可以匹配的。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (6)

1.一种基于高维压缩感知的视频信号采集与重构系统，其特征在于，包括：合成传感矩阵构造及优化模块、稀疏基矩阵构造模块、视频信号全域传感模块、重构处理模块和输出模块，其中：合成传感矩阵构造及优化模块和稀疏基矩阵构造模块利用矩阵克罗内克积的运算形式分别生成最优的合成传感矩阵和高维稀疏基，全域传感模块基于上述矩阵对视频信号进行投影，所得的数据最后在重构处理模块中被解码重构。
2.根据权利要求1所述的基于高维压缩感知的视频信号采集与重构系统，其特征是，所述的合成传感矩阵构造及优化模块，实现由时域与空间域对应传感子矩阵合成全域压缩传感矩阵与基于互相关系数的传感矩阵优化，其中：合成的全域压缩传感矩阵能提供时-空域同时压缩采样，还契合了视频采样过程的分布式渐进式的结构。
3.据权利要求2述的基于高维压缩感知的视频信号采集与重构系统，其特征是，所述的基于互相关系数最小化的传感矩阵优化通过分步优化实现的。
4.根据权利要求1-3任一项所述的基于高维压缩感知的视频信号采集与重构系统，其特征是，所述的合成稀疏基矩阵构造模块实现由克罗内克积生成的一种双曲小波基，它能够充分表示出高维信号的奇异结构，相对于低维的小波基能更高稀疏地表示出视频信号。
5.根据权利要求1-3任一项所述的基于高维压缩感知的视频信号采集与重构系统，其特征是，所述的视频信号全域传感模块是一种二阶的数字微镜设备，它模拟了对视频信号的全域压缩传感。
6.据权利要求1-3任一项所述的基于高维压缩感知的视频信号采集与重构系统，其特征是，所述的重构处理模块通过一种凸松弛算法模型实现的，找到的全局最优解乘以稀疏基就是要得到的重构信号。
CN201310091422.XA 2013-03-21 2013-03-21 基于高维压缩感知的视频信号采集与重构系统 Active CN103237204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310091422.XA CN103237204B (zh) 2013-03-21 2013-03-21 基于高维压缩感知的视频信号采集与重构系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310091422.XA CN103237204B (zh) 2013-03-21 2013-03-21 基于高维压缩感知的视频信号采集与重构系统

Publications (2)

Publication Number Publication Date
CN103237204A true CN103237204A (zh) 2013-08-07
CN103237204B CN103237204B (zh) 2016-03-02

Family

ID=48885217

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310091422.XA Active CN103237204B (zh) 2013-03-21 2013-03-21 基于高维压缩感知的视频信号采集与重构系统

Country Status (1)

Country Link
CN (1) CN103237204B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
CN104933685A (zh) * 2015-06-16 2015-09-23 西安电子科技大学 基于三维张量压缩感知的高光谱压缩成像方法
CN105472657A (zh) * 2015-12-14 2016-04-06 南开大学 基于低秩张量的一种无线传感器网络中数据重构方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN105979548A (zh) * 2016-04-14 2016-09-28 西安电子科技大学 无线传感网中基于时空压缩网络编码的数据传输方法
CN107509035A (zh) * 2017-09-25 2017-12-22 成都精益技术检测服务有限公司 一种摄像机时空域图像快速压缩方法
CN109828285A (zh) * 2019-01-07 2019-05-31 北京理工大学 一种双波段时域压缩感知高速成像方法及装置
CN110545379A (zh) * 2019-09-09 2019-12-06 北京理工大学 一种采用dmd的并行时空域联合压缩成像方法及装置
CN111193618A (zh) * 2019-12-20 2020-05-22 山东大学 一种基于张量计算的6g移动通信系统及其数据处理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063729A (zh) * 2010-12-30 2011-05-18 哈尔滨工业大学 基于二维稀疏性的压缩感知图像重建方法
CN102123278A (zh) * 2010-12-10 2011-07-13 北京邮电大学 基于分布式压缩感知技术的信源编码的方法
US8310233B2 (en) * 2009-02-18 2012-11-13 Mayo Foundation For Medical Education And Research Method for image reconstruction from undersampled medical imaging data
CN102821236A (zh) * 2012-07-16 2012-12-12 天津师范大学 基于分离式二维压缩感知理论的压缩成像系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8310233B2 (en) * 2009-02-18 2012-11-13 Mayo Foundation For Medical Education And Research Method for image reconstruction from undersampled medical imaging data
CN102123278A (zh) * 2010-12-10 2011-07-13 北京邮电大学 基于分布式压缩感知技术的信源编码的方法
CN102063729A (zh) * 2010-12-30 2011-05-18 哈尔滨工业大学 基于二维稀疏性的压缩感知图像重建方法
CN102821236A (zh) * 2012-07-16 2012-12-12 天津师范大学 基于分离式二维压缩感知理论的压缩成像系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517079B (zh) * 2013-09-16 2016-11-16 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN103517079A (zh) * 2013-09-16 2014-01-15 上海交通大学 基于数据驱动子空间集的压缩视频采集与重构系统
CN103822581A (zh) * 2014-02-26 2014-05-28 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
CN103822581B (zh) * 2014-02-26 2016-11-23 陕西科技大学 一种基于压缩感知的不规则物体体积测量方法
CN104933685A (zh) * 2015-06-16 2015-09-23 西安电子科技大学 基于三维张量压缩感知的高光谱压缩成像方法
CN105472657A (zh) * 2015-12-14 2016-04-06 南开大学 基于低秩张量的一种无线传感器网络中数据重构方法
CN105472657B (zh) * 2015-12-14 2019-03-15 南开大学 基于低秩张量的一种无线传感器网络中数据重构方法
CN105721869A (zh) * 2016-01-26 2016-06-29 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN105721869B (zh) * 2016-01-26 2018-04-06 上海交通大学 基于结构化稀疏的压缩张量采集与重构系统
CN105979548A (zh) * 2016-04-14 2016-09-28 西安电子科技大学 无线传感网中基于时空压缩网络编码的数据传输方法
CN107509035A (zh) * 2017-09-25 2017-12-22 成都精益技术检测服务有限公司 一种摄像机时空域图像快速压缩方法
CN109828285A (zh) * 2019-01-07 2019-05-31 北京理工大学 一种双波段时域压缩感知高速成像方法及装置
CN110545379A (zh) * 2019-09-09 2019-12-06 北京理工大学 一种采用dmd的并行时空域联合压缩成像方法及装置
CN111193618A (zh) * 2019-12-20 2020-05-22 山东大学 一种基于张量计算的6g移动通信系统及其数据处理方法
CN111193618B (zh) * 2019-12-20 2021-05-25 山东大学 一种基于张量计算的6g移动通信系统及其数据处理方法

Also Published As

Publication number Publication date
CN103237204B (zh) 2016-03-02

Similar Documents

Publication Publication Date Title
CN103237204A (zh) 基于高维压缩感知的视频信号采集与重构系统
CN102982805B (zh) 一种基于张量分解的多声道音频信号压缩方法
CN103036573B (zh) 基于滤波的压缩感知信号采集方法
CN102164282B (zh) 一种用于图像编码的基于系数随机置换的压缩感知方法及系统
CN103517079B (zh) 基于数据驱动子空间集的压缩视频采集与重构系统
CN104301728B (zh) 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN103559696B (zh) 一种基于压缩感知的图像融合方法
CN104199627B (zh) 基于多尺度在线字典学习的可分级视频编码系统
CN106981292B (zh) 一种基于张量建模的多路空间音频信号压缩和恢复方法
CN102186076B (zh) 一种实时码率预分配的图像压缩方法及图像压缩装置
CN105721869B (zh) 基于结构化稀疏的压缩张量采集与重构系统
CN105206277B (zh) 基于单比特压缩感知的语音压缩方法
CN108419083B (zh) 一种图像多级小波全子带压缩感知编码方法
CN103247028A (zh) 一种多假设预测的分块压缩感知图像处理方法
CN102891684A (zh) 一种压缩感知含噪重构系统的构建方法
CN102291152B (zh) 基于奇异值分解的压缩感知含噪信号重构系统
Siddeq et al. A novel image compression algorithm for high resolution 3D reconstruction
CN113689513B (zh) 一种基于鲁棒张量分解的sar图像压缩方法
CN105741333A (zh) 一种Video-SAR图像实时压缩重构方法
CN103077510A (zh) 基于小波hmt模型的多变量压缩感知重构方法
US9998763B2 (en) Compression of signals, images and video for multimedia, communications and other applications
CN106301384A (zh) 一种基于分块压缩感知的信号重构方法
CN104243986B (zh) 基于数据驱动张量子空间的压缩视频采集与重构系统
CN109584320A (zh) 一种低相干观测矩阵构造方法
Majumdar et al. Combining sparsity with rank-deficiency for energy efficient EEG sensing and transmission over Wireless Body Area Network

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant