CN108242065A - 一种基于ldpc矩阵的光场图像压缩感知方法 - Google Patents
一种基于ldpc矩阵的光场图像压缩感知方法 Download PDFInfo
- Publication number
- CN108242065A CN108242065A CN201711430830.8A CN201711430830A CN108242065A CN 108242065 A CN108242065 A CN 108242065A CN 201711430830 A CN201711430830 A CN 201711430830A CN 108242065 A CN108242065 A CN 108242065A
- Authority
- CN
- China
- Prior art keywords
- light field
- field image
- dictionary
- row
- submatrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种基于LDPC矩阵的光场图像压缩感知方法,步骤(1)、建立样本数据集;步骤(2)、利用Matlab对样本数据集中所有的光场图像块文件进行处理,选出方差较大的几组图片,作为后续实验原料;步骤(3)、进得到训练好的K‑SVD字典作为选择出的训练集;步骤(4)、对步骤(3)中训练好的K‑SVD字典进行在线稀疏编码处理;步骤(5)、生成测量矩阵;步骤(6)、利用OMP算法对降采样后的光场图像数据进行重构;步骤(7)、获得重构信号。与现有技术相比,本发明具有简单、高效的特点,实现了降低光场图像传输存储空间的功能,在保证准确率的基础上一定程度上提高了重构的速度,实现了光场信号的降采样处理以及高概率重构。
Description
技术领域
本发明涉及压缩感知技术、光场图像处理技术等多种领域,特别是一种光场图像压缩感知方法。
背景技术
奈奎斯特采样定理指出,只有当采样速率达到信号带宽的两倍以上时,才能由采样信号精确重建原始信号。可见,带宽是奈奎斯特采样定理对采样的本质要求。然而随着人们对信息需求量的增加,信号带宽越来越宽,以此为基础的信号处理框架对采样速率和处理速度的要求也越来越高。于是人们尝试探索能否利用其他变换空间描述信号建立新的信号描述和处理的理论框架,使得在保证信息不损失的情况下,用远低于奈奎斯特采样定理要求的采样速率进行信号采样,同时又可以获取完全的恢复信号。
基于上述研究,人们发现稀疏性在现代信号处理领域起着至关重要的作用。近年来基于信号稀疏性提出的称为压缩感知的新型采样理论,能够成功实现信号的同时采样与压缩。简单地说,压缩感知理论指出:只要信号是可压缩的或在某个变换域是稀疏的,那么就可以用一个与变换基不相关的观测矩阵将变换所得高维信号投影到一个低维空间上,然后通过求解一个优化问题就可以从这些少量的投影中以高概率重构出原信号。得到证明的是:这样的投影包含了重构信号的足够信息。
一直以来,压缩感知理论研究主要集中在三个方面,一是信号的稀疏表示,即如何寻找到信号被最少的系数所表示出来的一个变换域,使得这个信号在此变换域下具有很大的稀疏性;二是测量矩阵的设计,即如何设计一个和稀疏变换基不相关的矩阵,使得将此矩阵应用于压缩感知中时,能够保留信号完整的信号;三是重构算法的设计,即设计一种最具有鲁棒性的重构算法,使得在压缩感知过程中即使只有很少的采样数据,甚至在噪声很大的系统中,原始信号也能被准确地恢复出来。
光场就是指光在每一个方向通过每一个点的光量,描述的是自由空间中某一点沿着一定方向的光线辐射度值,该空间所有的有向光线集就构成光场数据库,这里所描述的光线是一个矢量。基于这个定义,科学家阐述了5维全光学理论(The 5D plenopticfunction),而今天看到的全光场照相机就是基于这一理论的研究成果而来的。这种技术被引用在相机当中,实现了不用对焦相机的设想,目前还在不断完善中。
光场相机虽然可以实现先拍摄、后调焦的功能,但是由于光场图像记录下了每一束光线进入镜头的位置和方向,包含了三维的光场信息,存储了大量信息,使得其占用的存储空间较大。由于这个原因,照片的容量会相对较大(例如8G的容量仅可以装下约350张照片,每张照片所占用的内存大于50M)。这是本领域亟待解决的技术问题。
发明内容
本发明目的是提供一种基于LDPC矩阵的光场图像压缩感知方法,可以压缩传感光场图像,使其在传输过程中突破奈奎斯特采样频率的限制,所需内容占用量更加少。
本发明的一种基于LDPC矩阵的光场图像压缩感知方法,该方法包括以下步骤:
步骤1、建立样本数据集,即从开源的通用光场图像包中选用5组光场图像,建立样本数据集,对光场图像进行分块;
步骤2、利用Matlab对样本数据集中所有的光场图像块文件进行处理,从光场图像块中选取方差最大的前50000块作为“核心集”;
步骤3、进行“核心集”处理,即通过“核心集”进行K-SVD字典训练,训练步骤包括:设定初始字典D0∈Rn×K,设字典为Dj,其中j表示字典的更新次数;Rn×K表示字典属于一个n×K的向量空间,n和K分别表示字典的行数和列数;对样本数据集中各样本i进行稀疏编码:即利用匹配算法计算每个音频样本si的表示向量ai,求解均方误差方程i=1,2,…,n,||ai||0≤T0,找到一个最多有T0个非零项的信号,并且使得限制条件最小T0;其中T0是一个固定的预设数量的非零项;更新字典原子,每次更新一列dk;更新该列的表达系数,使其满足均方误差)的值最小的收敛条件,直到收敛条件停止更新,得到训练好的K-SVD字典作为选择出的训练集;
步骤4、对步骤3中训练好的K-SVD字典进行在线稀疏编码处理;
步骤5、生成测量矩阵,即在LDPC矩阵的基础上,根据采样率R的大小构造相应的测量矩阵,具体生成过程如下:
对于一个N×1的一维信号x,N一般为偶数,根据采样率R的大小构造子矩阵,确定子矩阵每一行“1”个数为L,而每一行的“1”根据采样率大小按照将P×Q子矩阵中第K行的“1”连续分布在从(K-1)×L+1到K×L的列的位置或离散分布在第K列和第K+0.5Q列的位置这两种情况分布,以保证每一列中有且仅有一个“1”存在;
构造一个单位矩阵,并依据采样率大小从上述子矩阵或者单位矩阵中随机选取所需的行或者列;选取所需的行或列添加到子矩阵中,使子矩阵的大小等于测量矩阵的大小;
通过迭代算法有限次的遍历搜索整个子矩阵中的四边环,并通过改变其中一个“1”的位置来消除存在的四边环,经消除四边环的子矩阵即为测量矩阵;
步骤6、利用OMP算法对降采样后的光场图像数据进行重构,即在已知y、Φ、D的情况下,通过OMP算法求解公式y=ΦDa中α的值;其中,D为步骤4中生成的过完备字典,Φ为步骤5中生成的测量矩阵,y为降采样后的光场图像数据;
步骤7、获得重构信号,即通过计算D、α的乘积得到重构信号s。
与现有技术相比,本发明具有以下效果:
本发明具有简单、高效的特点,实现了降低光场图像传输存储空间的功能,在保证准确率的基础上一定程度上提高了重构的速度,实现了光场信号的降采样处理以及高概率重构。
附图说明
图1为本发明的基于LDPC矩阵的光场图像压缩感知方法整体流程图。
具体实施方式
下面将结合附图对本发明的实施方式作进一步的详细描述。
本发明的整体思路:首先对光场图像块进行“核心集”训练,选择出更适合字典训练的样本集;然后通过在线稀疏编码,得出性能较佳、更符合样本特点的K-SVD字典,利用一种新型LDPC矩阵对稀疏后的光场图像样本块进行降采样处理;最后通过OMP重构算法进行恢复后得出光场图像信号处理结果。
如图1所示,为基于LDPC矩阵的光场图像压缩感知方法整体流程示意图。本发明包括以下步骤:
步骤1、建立样本数据集,即从开源的通用光场图像包中选用5组光场图像建立样本数据集,对其进行分块(约可分成1000000万块),之所以对光场图像集中的图像进行分块,是因为光场图像所占内存较大,对其整体进行处理需要极长的时间和存储容量;该光场图像集为美国麻省理工大学Media Group提供的开源光场图像集,共有5个场景,每个场景分别有25个角度图像;
步骤2、利用Matlab对样本数据集中所有的光场图像块文件进行处理,选出方差较大的几组图片,即把所有块按方差大小进行排序,取10个左右用于对后续实验步骤的测试即可,因为方差大表明图像块中内容较多,对内容较多的图像块的处理更有实际应用价值),作为后续实验原料;由于图像方差反应图像的高频部分的大小,如果图片对比度很大,那方差就较大,图像内容差别较大的实验原料比较有实际意义;而核心集的选取,即为从步骤1中1000000块光场图像块中选取方差最大的前50000块,选取出来的5万块即为“核心集”;从该训练集中提取出“核心集”,作为字典学习过程的替代训练集,选取“核心集”最有效的方法是选取训练集中具有高方差的多个图像块;
步骤3、进行“核心集”处理,即把步骤1中分块处理后的所有光场图像块通过“核心集”进行K-SVD字典训练,训练步骤包括:①设定初始字典D0∈Rn×K,设字典为Dj,其中j表示字典的更新次数;Rn×K表示字典属于一个n×K的向量空间,n和K分别表示字典的行数和列数;②对样本数据集中各样本i进行稀疏编码:即利用匹配算法计算每个音频样本si的表示向量ai,求解方程为i=1,2,…,n,||ai||0≤T0,该方程旨在找到一个最多有T0个非零项的信号,并且使得限制条件T0最小;其中T0是一个固定的预设数量的非零项;③更新字典原子,每次更新一列dk;④更新该列的表达系数,每一个表达系数分别与字典中的一列相对应,随着字典中的一列发生了改变,其对应的表达系数也会发生相应的变化,使其最大限度的减少均方误差,均方误差即为步骤②中)的值,直到满足收敛条件,收敛条件即为均方误差最小,停止更新,得到训练好的K-SVD字典;本步骤所进行的“核心集”训练大大减小了训练集的大小,移除了训练集中的冗余,明显提高了下一步中“在线稀疏编码”算法的收敛率;
步骤4、对步骤3中训练好的K-SVD字典进行在线稀疏编码处理,得到一个具有适用于表达光场图像的过完备字典D,用于后续对于光场图像的稀疏表示,本步骤是对步骤3的K-SVD字典训练的改进,所得到的编码处理结果克服了训练集大小的限制,可以在有限的存储容量和时间中批次处理大量的训练集,因此可以更有效的处理本方法中的光场图像集;
步骤5、测量矩阵生成,即在LDPC矩阵的基础上,设计一种新型压缩感知测量矩阵,该方法可以根据采样率R的大小构造相应的测量矩阵:
5-1、对于一个N×1(N一般为偶数)的一维信号x,根据采样率R的大小构造子矩阵,确定子矩阵每一行“1”个数为L,而每一行的“1”根据采样率大小按照将P×Q子矩阵中第K行的“1”连续分布在从(K-1)×L+1到K×L的列的位置或离散分布在第K列和第K+0.5Q列的位置这两种情况分布,以保证每一列中有且仅有一个“1”存在;
5-2、构造一个单位矩阵,并依据采样率大小从上述子矩阵或者单位矩阵中随机选取所需的行或者列;选取所需的行或列添加到子矩阵中,使子矩阵的大小等于测量矩阵的大小;
5-3、:通过迭代算法有限次的遍历搜索整个子矩阵中的四边环,并通过改变其中一个“1”的位置来消除存在的四边环,经消除四边环的子矩阵即为测量矩阵。
步骤6、利用OMP(正交匹配追踪)算法对降采样后的光场图像数据进行重构,即在已知y、Φ、D的情况下,通过OMP算法求解公式中αy=ΦDa的值。其中D为步骤4中生成的过完备字典,Φ为步骤5中生成的测量矩阵,y为降采样后的光场图像数据,该算法是对匹配追踪算法(MP)的改进,其改进之处在于:在分解的每一步对所选择的全部原子进行正交化处理,这使得在精度要求相同的情况下,OMP算法的收敛速度更快。
将重构信号与原始信号进行对比,分析实验结果。
本发明并不局限于前述具体方式。本发明扩展到任何本说明书中披露的新特征或任何新的组合,或新的步骤的组合。综上,本说明书内容不应理解为对本发明的限制。
Claims (1)
1.一种基于LDPC矩阵的光场图像压缩感知方法,其特征在于,该方法包括以下步骤:
步骤(1)、建立样本数据集,即从开源的通用光场图像包中选用5组光场图像,建立样本数据集,对光场图像进行分块;
步骤(2)、利用Matlab对样本数据集中所有的光场图像块文件进行处理,从光场图像块中选取方差最大的前50000块作为“核心集”;
步骤(3)、进行“核心集”处理,即通过“核心集”进行K-SVD字典训练,训练步骤包括:设定初始字典D0∈Rn×K,设字典为Dj,其中j表示字典的更新次数;Rn×K表示字典属于一个n×K的向量空间,n和K分别表示字典的行数和列数;对样本数据集中各样本i进行稀疏编码:即利用匹配算法计算每个音频样本si的表示向量ai,求解均方误差方程找到一个最多有T0个非零项的信号,并且使得限制条件T0最小;其中T0是一个固定的预设数量的非零项;更新字典原子,每次更新一列dk;更新该列的表达系数,使其满足均方误差)的值最小的收敛条件,直到收敛条件停止更新,得到训练好的K-SVD字典作为选择出的训练集;
步骤(4)、对步骤(3)中训练好的K-SVD字典进行在线稀疏编码处理;
步骤(5)、生成测量矩阵,即在LDPC矩阵的基础上,根据采样率R的大小构造相应的测量矩阵,具体生成过程如下:
对于一个N×1的一维信号x,N一般为偶数,根据采样率R的大小构造子矩阵,确定子矩阵每一行“1”个数为L,而每一行的“1”根据采样率大小按照将P×Q子矩阵中第K行的“1”连续分布在从(K-1)×L+1到K×L的列的位置或离散分布在第K列和第K+0.5Q列的位置这两种情况分布,以保证每一列中有且仅有一个“1”存在;
构造一个单位矩阵,并依据采样率大小从上述子矩阵或者单位矩阵中随机选取所需的行或者列;选取所需的行或列添加到子矩阵中,使子矩阵的大小等于测量矩阵的大小;
通过迭代算法有限次的遍历搜索整个子矩阵中的四边环,并通过改变其中一个“1”的位置来消除存在的四边环,经消除四边环的子矩阵即为测量矩阵;
步骤(6)、利用OMP算法对降采样后的光场图像数据进行重构,即在已知y、Φ、D的情况下,通过OMP算法求解公式y=ΦDa中α的值;其中,D为步骤4中生成的过完备字典,Φ为步骤5中生成的测量矩阵,y为降采样后的光场图像数据;
步骤(7)、获得重构信号,即通过计算D、α的乘积得到重构信号s。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711430830.8A CN108242065A (zh) | 2017-12-26 | 2017-12-26 | 一种基于ldpc矩阵的光场图像压缩感知方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711430830.8A CN108242065A (zh) | 2017-12-26 | 2017-12-26 | 一种基于ldpc矩阵的光场图像压缩感知方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108242065A true CN108242065A (zh) | 2018-07-03 |
Family
ID=62700552
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711430830.8A Pending CN108242065A (zh) | 2017-12-26 | 2017-12-26 | 一种基于ldpc矩阵的光场图像压缩感知方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108242065A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658467A (zh) * | 2018-12-12 | 2019-04-19 | 浙江工业大学 | 一种基于多字典改进型压缩感知框架的内窥镜图像感知重构方法 |
CN110033030A (zh) * | 2019-03-27 | 2019-07-19 | 南京大学 | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 |
CN110047430A (zh) * | 2019-04-26 | 2019-07-23 | 京东方科技集团股份有限公司 | 光场数据重构方法、光场数据重构器件及光场显示装置 |
CN113239573A (zh) * | 2021-06-05 | 2021-08-10 | 西北工业大学 | 基于无网格波动建模的封闭空间声场重构方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130083312A1 (en) * | 2011-09-30 | 2013-04-04 | Inview Technology Corporation | Adaptive Search for Atypical Regions in Incident Light Field and Spectral Classification of Light in the Atypical Regions |
CN104735438A (zh) * | 2015-03-09 | 2015-06-24 | 南京航空航天大学 | 一种基于压缩传感的多视点数据采集方法 |
CN105743510A (zh) * | 2016-02-03 | 2016-07-06 | 南京邮电大学 | 一种基于稀疏字典无线传感器网络WSNs信号处理的方法 |
CN106452456A (zh) * | 2016-09-29 | 2017-02-22 | 天津大学 | 一种基于ldpc矩阵的压缩感知测量矩阵构造方法 |
-
2017
- 2017-12-26 CN CN201711430830.8A patent/CN108242065A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130083312A1 (en) * | 2011-09-30 | 2013-04-04 | Inview Technology Corporation | Adaptive Search for Atypical Regions in Incident Light Field and Spectral Classification of Light in the Atypical Regions |
CN104735438A (zh) * | 2015-03-09 | 2015-06-24 | 南京航空航天大学 | 一种基于压缩传感的多视点数据采集方法 |
CN105743510A (zh) * | 2016-02-03 | 2016-07-06 | 南京邮电大学 | 一种基于稀疏字典无线传感器网络WSNs信号处理的方法 |
CN106452456A (zh) * | 2016-09-29 | 2017-02-22 | 天津大学 | 一种基于ldpc矩阵的压缩感知测量矩阵构造方法 |
Non-Patent Citations (1)
Title |
---|
刘永春: "光场三维成像技术研究", 《中国优秀博士学位论文全文数据库信息科技辑》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109658467A (zh) * | 2018-12-12 | 2019-04-19 | 浙江工业大学 | 一种基于多字典改进型压缩感知框架的内窥镜图像感知重构方法 |
CN109658467B (zh) * | 2018-12-12 | 2023-04-18 | 浙江工业大学 | 一种基于多字典改进型压缩感知框架的内窥镜图像感知重构方法 |
CN110033030A (zh) * | 2019-03-27 | 2019-07-19 | 南京大学 | 基于神经网络求解0-1测量矩阵的压缩感知问题的方法 |
CN110047430A (zh) * | 2019-04-26 | 2019-07-23 | 京东方科技集团股份有限公司 | 光场数据重构方法、光场数据重构器件及光场显示装置 |
CN110047430B (zh) * | 2019-04-26 | 2020-11-06 | 京东方科技集团股份有限公司 | 光场数据重构方法、光场数据重构器件及光场显示装置 |
CN113239573A (zh) * | 2021-06-05 | 2021-08-10 | 西北工业大学 | 基于无网格波动建模的封闭空间声场重构方法 |
CN113239573B (zh) * | 2021-06-05 | 2024-05-07 | 西北工业大学 | 基于无网格波动建模的封闭空间声场重构方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yuan et al. | Plug-and-play algorithms for video snapshot compressive imaging | |
CN108242065A (zh) | 一种基于ldpc矩阵的光场图像压缩感知方法 | |
ES2873845T3 (es) | Aprendizaje automático para el procesamiento visual | |
Liu et al. | Efficient crowd counting via structured knowledge transfer | |
CN104159112B (zh) | 基于双重稀疏模型解码的压缩感知视频传输方法及系统 | |
CN107622515B (zh) | 压缩光场的物理重建方法 | |
CN108182669A (zh) | 一种基于多个图片尺寸的生成对抗网络的超分辨率复原方法 | |
CN109447898B (zh) | 一种基于压缩感知的高光谱超分辨计算成像系统 | |
CN109255822A (zh) | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 | |
Merhej et al. | Embedding prior knowledge within compressed sensing by neural networks | |
CN104735438A (zh) | 一种基于压缩传感的多视点数据采集方法 | |
KR20220107028A (ko) | 시간적 변형가능한 콘볼루션에 의한 딥 루프 필터 | |
Kong et al. | End-to-end multispectral image compression framework based on adaptive multiscale feature extraction | |
Zhang et al. | Image categorization using non-negative kernel sparse representation | |
CN107133921A (zh) | 基于多层次邻域嵌入的图像超分辨率重建方法及系统 | |
Abedi et al. | Single-pixel compressive imaging based on random DoG filtering | |
Chen et al. | Lightweight parameter de-redundancy demoiréing network with adaptive wavelet distillation | |
Zhang et al. | Super-resolution image reconstruction via adaptive sparse representation and joint dictionary training | |
Sun et al. | Complementary coded aperture set for compressive high-resolution imaging | |
Lian et al. | An Image Deblurring Method Using Improved U‐Net Model | |
Liu et al. | Super-Resolution reconstruction from single image based on join operation in granular computing | |
Luo et al. | A novel surveillance video processing using stochastic low-rank and generalized low-rank approximation techniques | |
Xie et al. | Reduced‐Dimensional Capture of High‐Dynamic Range Images with Compressive Sensing | |
Teng et al. | Light Field Compression via a Variational Graph Auto-Encoder | |
CN111416980B (zh) | 基于压缩编码孔径的高分辨率相机成像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180703 |