CN110827198B - 基于压缩感知和超分辨率重构的多相机全景图像构建方法 - Google Patents
基于压缩感知和超分辨率重构的多相机全景图像构建方法 Download PDFInfo
- Publication number
- CN110827198B CN110827198B CN201910973693.5A CN201910973693A CN110827198B CN 110827198 B CN110827198 B CN 110827198B CN 201910973693 A CN201910973693 A CN 201910973693A CN 110827198 B CN110827198 B CN 110827198B
- Authority
- CN
- China
- Prior art keywords
- observation
- resolution
- image
- super
- reconstruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010276 construction Methods 0.000 title claims abstract description 13
- 230000006872 improvement Effects 0.000 claims abstract description 5
- 230000009467 reduction Effects 0.000 claims abstract description 4
- 239000011159 matrix material Substances 0.000 claims description 43
- 238000000034 method Methods 0.000 claims description 31
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 9
- 230000003416 augmentation Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 3
- 230000010354 integration Effects 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000003384 imaging method Methods 0.000 abstract description 5
- 238000012544 monitoring process Methods 0.000 abstract description 4
- 238000009826 distribution Methods 0.000 description 7
- 238000005265 energy consumption Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 102100031262 Deleted in malignant brain tumors 1 protein Human genes 0.000 description 2
- 101000844721 Homo sapiens Deleted in malignant brain tumors 1 protein Proteins 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- ZINJLDJMHCUBIP-UHFFFAOYSA-N ethametsulfuron-methyl Chemical compound CCOC1=NC(NC)=NC(NC(=O)NS(=O)(=O)C=2C(=CC=CC=2)C(=O)OC)=N1 ZINJLDJMHCUBIP-UHFFFAOYSA-N 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于压缩感知和超分辨率重构的多相机全景图像构建方法，将图像超分辨率理论引入到压缩感知重构中，从降低压缩感知观测冗余和去除受损观测值的观测干扰角度出发，建立鲁棒性压缩感知图像超分辨率重构技术，在构造的最小有效观测集的约束下对集合内受损观测值以远小于传统压缩感知理论下的观测量超分辨率重构出细节丰富的高分辨率、高质量图像。本发明将新型压缩感知图像超分辨率重构技术应用于供电受限的多视角相机网络，使其能够在成像系统分辨率较低的情况下，实现图像采集数据量的降低和图像空间分辨率的提高，重构后的全景图像细节丰富、分辨率高，为进一步实现野外等大型场景的长时间视频监控提供理论基础。
Description
技术领域
本发明涉及无线通信技术领域，具体为基于压缩感知和超分辨率重构的多相机全景图像构建方法。
背景技术
针对野外等大型场景的监测常常遇到环境复杂，覆盖面广等因素的挑战。单一的图像采前端各个相机集设备无法实现全景重构，由此诞生的多视角相机网络是由大量的部署在监测区域内的微型相机节点组成，以不同的视角和方位覆盖整个区域，随后将前端各个节点采集数据进行融合，利用联合重构技术实现全景图像的重建。由于传统相机成像分辨率严重依赖与图像传感器的性能，为保证成像质量，往往需要制造工艺复杂的高分辨率图像传感器，会产生庞大的数据量。在供电受限的多视角的相机网络中，由于节点大都采用电池供电，电池容量有限，为达到高分辨率的图像直接依靠硬件解决方案，会造成海量数据的采集、存储，功耗很大，不适应这种供电条件。
压缩感知(Compressed Sensing，CS)理论和图像超分辨率重构理论为解决上述问题提供新的思路。CS理论区别于传统图像压缩方法，将采样与压缩合并进行，可以解决海量数据采集和存储问题，显著降低前端传感器的计算量，有效节约能耗。
图像超分辨率重构是指利用一幅或者多幅低分辨率图像，通过对成像系统截止频率之外的信号高频成分的估计来获得一幅清晰的高分辨率图像。利用CS理论实现图像的超分辨率重构本质上是解决从低维到高维的维数增加问题。
根据CS理论，在已知高分辨图像具有稀疏性或可压缩性的前提下，利用少量的线性观测值即可以高概率实现对图像的精确重构。根据这一特点，现有研究将原始低分辨率图像视为CS观测值，通过构建合适的观测矩阵和用于表示高分辨率图像的稀疏基函数来实现CS超分辨率重构。而CS的原始图像的信息量是平均分布在观测值中，每个观测值都可以看成是对原图像的一个描述，这与低分辨率图像像素值有很大差别，因此低分辨率图像的像素值不满足CS关于观测值的要求。此外，考虑在实际中，由于场景受雨雾等天气环境的影响，使得该场景的CS观测值存在模糊、噪声等观测干扰，针对此类受损观测值，对其进行重构的同时去除干扰，实现图像的修复等研究工作是目前CS理论研究中的热点问题。
发明内容
本发明的目的在于提供一种基于压缩感知和超分辨率重构的多相机全景图像构建方法。
为实现上述目的，本发明提供如下技术方案：基于压缩感知和超分辨率重构的多相机全景图像构建方法，包括训练步骤、处理步骤和改进策略，所述训练步骤包括构造初始稀疏字典并对所述初始稀疏字典进行训练使其能够利用Brushlet复变换特征提取方法提取图像特征；所述处理步骤包括：
步骤S1、将多视角相机网络环境中的全景图像处理成若干原始单帧图像，并根据原始单帧图像建立观测矩阵；
步骤S2、构建局部稀疏字典；包括子步骤S2-1、子步骤S2-2、子步骤S2-3和子步骤S2-4，
所述子步骤S2-1包括通过小波变换分析方法对原始单帧图像进行分解后得到若干小波高频方向子带；
所述子步骤S2-2包括对所述小波高频方向子带进行分解得到图像子块，并通过初始稀疏字典提取所述图像子块的能量特征和相位特征；
所述子步骤S2-3包括利用模糊C-均值聚类算法对所述图像子块进行分类，以构建具有相似特征的若干一类子块，并对若干所述一类子块分别应用K-L变换算法求解其所包含的所有图像子块的的主成分，以构造中间字典；
所述子步骤S2-4包括利用求解正则化问题的算法对所述中间字典进行降维处理，以得到局部稀疏字典；
步骤S3、构建最小有效观测集；包括将所述观测矩阵和所述局部稀疏字典组成观测序列，并对所述观测序列进行自相关运算，以构造最小有效观测集；
步骤S4、通过分割增广拉格朗日迭代算法实现对所述最小有效观测集内受损观测值的重构，以得到重构单帧图像；
步骤S5、由重构单帧图像组成超分辨率全景图像。
优选的，所述改进策略被配置为通过改进步骤S4重构过程中的阈值来去除受损观测值内的观测噪声，以得到重构单帧图像。
优选的，所述步骤S3中对所述观测序列进行自相关运算得到自相关向量，且将相邻两次自相关向量经过融合中心算法处理和SSAMP协作重构算法估算重构误差，来确定所需的最小观测次数，以构造最小有效观测集。
优选的，所述步骤S3中通过局部稀疏字典与观测矩阵的乘积得到第一Gram对称矩阵，利用Gram-Schmidt方法构造标准正交基，再通过稀疏模型约束的正则化方法将第一Gram矩阵构造成接近单位阵的第二Gram矩阵，所述第二Gram矩阵的n元列向量近似为一标准正交基，以构造优化观测矩阵来降低观测值的互相关系数，并通过剔除优化观测矩阵下观测集合的非关键观测值，以获得最小有效观测集。
优选的，所述分割增广拉格朗日迭代算法采用变量分割算法和联合正则化方法，通过空、频双变量分割方法和交替更新约束方法，实现对最小有效观测集内受损观测值的重构。
优选的，在所述分割增广拉格朗日迭代算法中，通过在CS传感矩阵逆过程中加入泊松奇异值积分去模糊算子，实现对所述最小有效观测集内受损观测值的修复和重构。
优选的，所述步骤S5中通过建立Context模型来改进重构过程的阈值，且通过将系数分成多个部分并分别计算每一部分系数矩阵的方差来估计信号的能量以实现对单个系数的判别。
通过构造有效的图像稀疏表示方法和排除观测矩阵和稀疏基间的互相关系数来降低CS(压缩感知)冗余，在保证信号完全重构的前提下，得到一个低冗余的新观测集，称为最小有效观测集。
在最小有效观测集的约束下，针对集合内的受损观测值进行重构时，为保证重构图像的质量，设计一种新型基于鲁棒性压缩感知图像超分辨率重构技术(robustcompressed sensing image super resolution reconstruction,RCS_SR)。
优选的，利用小波对图像进行分解，将所得的各个小波高频方向子带进行分块并构造稀疏字典；
优选的，训练子带上各个子块的稀疏字典，利用Brushlet复变换的特征提取方法，将其用于提取图像子块的能量特征以及相位特征；
优选的，利用模糊C-均值聚类方式依据特征对各个子块进行分类，将具有相似特征的子块划分为一类；
优选的，对于每一类子块，应用K-L变换通过求解类内全体子块主成分来构造字典；
优选的，利用求解正则化问题对所得字典进行降维处理，得到最终的基于小波域的局部自适应稀疏表示方法；
优选的，在确立稀疏字典的前提下，将观测矩阵和稀疏基组成的观测序列进行自相关运算，相邻两次自相关观测向量输入融合中心经由SSAMP协作重构算法估算重构误差，并自适应确定所需的最小观测次数；
优选的，基于分割增广拉格朗日迭代算法实现对受损观测值的重构；
优选的，在迭代过程中，在CS传感矩阵逆过程中加入泊松奇异值积分去模糊算子，通过空、频变量分割后交替逼近各自最优解来解决最小L1范数约束的去模糊等问题；
优选的，利用Context模型改进重构算法的阈值，将系数分成多个部分，分别计算每一部分系数矩阵的方差来估计信号的能量，实现对单个系数的判别；
优选的，利用改进阈值的重构算法实现对受损观测值内的观测噪声的去除；
优选的，将新型RCS_SR技术应用于供电受限的多视角相机网络环境；
与现有技术相比，本发明的有益效果是：
1、本发明将图像超分辨率理论引入到压缩感知重构系统中，从降低压缩感知观测冗余和去除受损观测值的观测干扰角度出发，建立鲁棒性压缩感知图像超分辨率重构方法，在构造的最小有效观测集的约束下对集合内受损观测值以远小于传统压缩感知理论下的观测量超分辨率重构出细节丰富的高分辨率、高质量图像，对于模糊、噪声等观测干扰具有良好的鲁棒性。
2、本发明将新型压缩感知图像超分辨率重构系统应用于供电受限的多视角相机网络系统中，使其能够在成像系统分辨率较低的情况下，通过压缩感知图像超分辨率重构方法实现图像采集数据量的降低和图像空间分辨率的提高，有效节约硬件成本并降低节点的能耗，从而延长了整体网络的生命周期，且重构后的全景图像细节丰富、分辨率高，为进一步实现野外等大型场景的长时间视频监控提供理论基础。
附图说明
图1为本发明基于压缩感知和超分辨率重构的多相机全景图像构建方法的步骤框图；
图2为本发明基于压缩感知和超分辨率重构的多相机全景图像构建方法的详细步骤框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-图2，本发明提供的一种实施例：基于压缩感知和超分辨率重建技术的供电受限相机网络系统，所述方法的具体步骤如下：
Step1：将小波的多尺度特性与局部稀疏字典的灵活性结合，在小波域内构造局部自适应稀疏表示方法，实现对图像的更为稀疏的表达；
Step101：在小波域内构造局部自适应稀疏表示方法(wavelet-based multiscalelocally learnt dictionaries,WBMLLD)，即对下述方程进行求解：
Step102：其中，D是学习字典，Θ代表稀疏向量，X表征的是待训练的图像或图像集合。矩阵WS代表小波合成算子(小波逆变换)，即等价于小波原子字典；
Step103：令x代表小波高频方向子带(WAX)b，将x进行无重叠分块，即xi＝Rix,i＝1,2,...,N，xi代表第i个子带图像块(尺寸为)，矩阵Ri的作用是从x中提取子块xi。设{dk},k＝1,2,...,K是K个正交子字典，每个子块xi都对应一个子字典/>即通过稀疏编码(Sparse coding)可求得xi。并由下式最终求得
Step104：其中是对角矩阵，因此上式可通过“逐像素”方式解决。由于字典学习是在小波域内，因此无重叠的分块不会造成整体重构的/>存在块效应。为了实现对/>求解的传统表达，定义操作算子/> 其中，D、α分别代表是{dk}、和所有αi的串联集合；
Step105：在CS中，目标是通过观测值求得原始信号X，利用小波域内局部子字典作为CS的稀疏表示，则重构问题转化为对如下方程的求解：
Step106：针对待求图像自身进行训练，将字典训练和信号重构合并进行；
Step107：令表示brushlet分解后的系数，freal，fimag分别表示其实部和虚部,其子块模值能量特征FBE可表示如下：/>
Step108：通过相角的分布来表示其相位信息。相角即分解后虚部和实部的反正切值,用θ表示，则大小在[-π,π]之间。提取对应的实部和虚部子块中相角来构成相位矩阵Mph,以均值和标准差作为Mph的分布特征,来体现该子块中的方向性。对于/>维的子块xi，均值和标准差可表示为：/>
Step109：对小波高频子带的所有维的子块xi进行特征提取的过程是：首先对xi进行2层Brushlet变换，得到16个Brushlet系数子块，考虑到Brushlet系数关于原点是反对称的，因此只提取上半部8个系数子块的能量FBE和相位特征FBF用于描述当前子块。并利用模糊C均值聚类算法(FOCUSS，FCM)对其进行无监督分类；
Step110：设所有子块被分为K类，用{Ck},k＝1,2,...,K表示，每一类对应的子块集合为{Sk},k＝1,2,...,K。余下的问题变为如何从Sk中训练子字典dk，使得Sk中所有子块都能够被dk稀疏表达，这种问题可转化为对如下方程的求解：
Step111：其中Λk是Sk在dk表示下的稀疏系数矩阵。上式通过K-SVD算法求解过完备字典dk和相应系数Λk；
Step112：设Ωk是Sk的互相关矩阵，将K-L变换应用于Ωk得到一个正交变换矩阵Pk。并将Pk视为字典，令于是得：/>
Step113：为平衡中l1与l2的正则化项，只选择Pk中前r个最重要的特征向量来构造dk，则dk＝[p1,p2,...,pr]，令/>则最优r值可通过对下式求解得：/>Sk对应的字典/>
Step2：低冗余CS观测方法
Step201：用观测集合yM重构信号利用yM-1重构出信号/>计算
Step202：e<τ(τ表示重构误差的阈值),令循环控制变量p＝M,转步骤3；否则,转步骤10；
Step203：对于每个Aj＝Φp-1,jΨ，计算互相关系数其中,al与am代表AJ的两个列向量.用umin＝min(u(Aj))(1≤j≤p)求出最小的互相关系数,将umin相应的观测矩阵记为Amin；
Step204：用Amin相应的观测来重构信号/>并计算/>
Step205：如果e<τ,令p＝p-1,重复上面的步骤3～5；否则,转步骤6；
Step206：得到的观测集记为T(T中包含n个元素),相应的观测矩阵记为令循环控制变量p＝n。
Step207：计算误差并依据该误差将T中的元素分成两个集合T1和T2,其中T1中的任一元素从T中去除后不能完全地重构信号,而T2中的每一个元素从T中去除后仍然能完全地重构信号.称T1为T的关键集,称T2为T的非关键集；
Step208：依据Ej的降序,将T2中的各观测进行排序,排序后的观测集仍用T2来表示.按照从后向前的顺序,尽可能多地剔除T2中的元素,并且保证T1与T2中的其余元素仍然能完全地重构信号；
Step209：用T1和T2中的剩余元素来更新T,重复上面的步骤7～9,直到T2中的元素为空。基于改进阈值的分割增广拉格朗日算法实现CS快速重构。
Step301：SALSA算法是利用变量分割后交替逼近各自最优解来解决最小L1范数约束的图像复原等问题，最优化求解需满足：
Step302：式中，x∈RN为原始图像，Φ为模糊算子，Ψ为变换域，y∈RN为模糊图像，τ为正则化参数；
Step303：基于SALSA变量分割思想，则上式转化为：
Step304：式中，v为空域变量x相对应的频域变量；
Step305：利用增广拉格朗日函数约束求解：
其中μ≥0为罚参数，d∈RN为与拉格朗日乘子向量有关的迭代变量，且通过下式更新：dk+1＝dk-Ψxk+1+vk+1；
Step306：式中，dk+1表示变量d的第k+1次更新值，xk+1表示第k+1次迭代的空域变量值，vk+1表示第k+1次迭代的频域变量值；
Step307：用交替乘子方向法(ADMM)【7】应用于式(3)，可以转化为：
Step308：从上面二式可看出，xk+1利用上一次迭代的频域变量vk求得，而vk+1利用当前的空域变量xk+1求得，即在迭代过程中，空频变量相互约束，交替逼近各自的最优解；
Step309：通常根据Sherman-Morrison-Woodbury求逆公式求解空域变量x的二范数最优解，而频域变量v的最优解通过软阈值收缩求得：
Step310：通过分析视频经Surfacelet分解后的所有方向子块，发现其系数分布都近似服从近似高斯分布或者近似拉普拉斯分布，即GGD(General Gaussian Distribution)分布。但不同尺度空间的Surfacelet系数的能量分布不同，因此考虑利用由Grace等提出了基于Context模型的空间自适应软门限算法。该方法用Context模型将Surfacelet系数y分成多个部分，分别计算每一部分Surfacelet系数矩阵的方差来估计信号的能量，实现对单个Surfacelet系数的判别，这样有效避免过平滑现象，保留了更多的细节信息；
Step311：Surfacelet系数矩阵的方差var(y)可被认为是信号和噪声(标准差为σn)的能量和，则信号标准差σx和其相对应的门限值分别为：
将研究成果传统视频编解码技术对比，通过重构视频的质量，采集及传输数据量及能耗方面的对比来验证该方案的有效性。
Step4：在供电受限的多视角相机网络环境的应用
Step401：利用新设计的测量矩阵分别采集各个相机对应的区域，考虑各个相机覆盖的区间有重叠，因此汇总的采样数据有冗余。
Step402：为消除冗余，设计前端各个相机的测量矩阵采样数据随机性是唯一的，利用这一特性，可以进一步比较汇总数据的值，若相等则为冗余，剔除其中之一，并相应剔除测量矩阵的冗余信息，然后由剔除冗余后的测量矩阵合并共同生成总的测量矩阵，进行联合超分辨率重构。
Step403：通过和传统供电受限的相机网络在能耗方面的比较来验证其有效性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
Claims (5)
1.基于压缩感知和超分辨率重构的多相机全景图像构建方法，其特征在于，包括训练步骤、处理步骤和改进策略，所述训练步骤包括构造初始稀疏字典并对所述初始稀疏字典进行训练使其能够利用Brushlet复变换特征提取方法提取图像特征；所述处理步骤包括：
步骤S1、将多视角相机网络环境中的全景图像处理成若干原始单帧图像，并根据原始单帧图像建立观测矩阵；
步骤S2、构建局部稀疏字典；包括子步骤S2-1、子步骤S2-2、子步骤S2-3和子步骤S2-4，
所述子步骤S2-1包括通过小波变换分析方法对原始单帧图像进行分解后得到若干小波高频方向子带；
所述子步骤S2-2包括对所述小波高频方向子带进行分解得到图像子块，并通过初始稀疏字典提取所述图像子块的能量特征和相位特征；
所述子步骤S2-3包括利用模糊C-均值聚类算法对所述图像子块进行分类，以构建具有相似特征的若干一类子块，并对若干所述一类子块分别应用K-L变换算法求解其所包含的所有图像子块的的主成分，以构造中间字典；
所述子步骤S2-4包括利用求解正则化问题的算法对所述中间字典进行降维处理，以得到局部稀疏字典；
步骤S3、构建最小有效观测集；包括将所述观测矩阵和所述局部稀疏字典组成观测序列，并对所述观测序列进行自相关运算，以构造最小有效观测集，
具体通过局部稀疏字典与观测矩阵的乘积得到第一Gram对称矩阵，利用Gram-Schmidt方法构造标准正交基，再通过稀疏模型约束的正则化方法将第一Gram矩阵构造成接近单位阵的第二Gram矩阵，所述第二Gram矩阵的n元列向量近似为一标准正交基，以构造优化观测矩阵来降低观测值的互相关系数，并通过剔除优化观测矩阵下观测集合的非关键观测值，以获得最小有效观测集；
步骤S4、通过分割增广拉格朗日迭代算法实现对所述最小有效观测集内受损观测值的重构，以得到重构单帧图像；
步骤S5、由重构单帧图像组成超分辨率全景图像，具体通过建立Context模型来改进重构过程的阈值，且通过将系数分成多个部分并分别计算每一部分系数矩阵的方差来估计信号的能量以实现对单个系数的判别。
2.根据权利要求1所述的基于压缩感知和超分辨率重构的多相机全景图像构建方法，其特征在于：所述改进策略被配置为通过改进步骤S4重构过程中的阈值来去除受损观测值内的观测噪声，以得到重构单帧图像。
3.根据权利要求1所述的基于压缩感知和超分辨率重构的多相机全景图像构建方法，其特征在于：所述步骤S3中对所述观测序列进行自相关运算得到自相关向量，且将相邻两次自相关向量经过融合中心算法处理和SSAMP协作重构算法估算重构误差，来确定所需的最小观测次数，以构造最小有效观测集。
4.根据权利要求1或2所述的基于压缩感知和超分辨率重构的多相机全景图像构建方法，其特征在于：所述分割增广拉格朗日迭代算法采用变量分割算法和联合正则化方法，通过空、频双变量分割方法和交替更新约束方法，实现对最小有效观测集内受损观测值的重构。
5.根据权利要求4所述的基于压缩感知和超分辨率重构的多相机全景图像构建方法，其特征在于：在所述分割增广拉格朗日迭代算法中，通过在CS传感矩阵逆过程中加入泊松奇异值积分去模糊算子，实现对所述最小有效观测集内受损观测值的修复和重构。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910973693.5A CN110827198B (zh) | 2019-10-14 | 2019-10-14 | 基于压缩感知和超分辨率重构的多相机全景图像构建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910973693.5A CN110827198B (zh) | 2019-10-14 | 2019-10-14 | 基于压缩感知和超分辨率重构的多相机全景图像构建方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110827198A CN110827198A (zh) | 2020-02-21 |
| CN110827198B true CN110827198B (zh) | 2023-11-21 |
Family
ID=69549314
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910973693.5A Active CN110827198B (zh) | 2019-10-14 | 2019-10-14 | 基于压缩感知和超分辨率重构的多相机全景图像构建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110827198B (zh) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110278380A (zh) * | 2019-07-18 | 2019-09-24 | 成都甄识科技有限公司 | 一种可重构的超多目相机及其复用方法 |
| CN111640063B (zh) * | 2020-05-20 | 2023-03-10 | 中国科学院国家空间科学中心 | 基于空间频域多尺度调制与重建的压缩成像系统及方法 |
| CN111754380A (zh) * | 2020-06-28 | 2020-10-09 | 苏州科达科技股份有限公司 | 图像篡改区域的定位方法、装置及存储介质 |
| CN112579687B (zh) * | 2020-12-04 | 2022-07-15 | 中国人民解放军海军航空大学 | 一种海洋环境监测数据压缩感知在线重构方法 |
| CN114723614B (zh) * | 2021-01-05 | 2023-05-09 | 四川大学 | 基于小波域admm深度网络的图像复原方法 |
| CN112365552A (zh) * | 2021-01-11 | 2021-02-12 | 成都职业技术学院 | 一种结合奇异值分解和小波包变换的图像压缩方法 |
| CN115037962B (zh) * | 2022-05-31 | 2024-03-12 | 咪咕视讯科技有限公司 | 视频自适应传输方法、装置、终端设备以及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN108319970A (zh) * | 2018-01-16 | 2018-07-24 | 上海海事大学 | 基于压缩感知的声纳图像超分辨率重建目标跟踪和检测方法 |
| CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105931179B (zh) * | 2016-04-08 | 2018-10-26 | 武汉大学 | 一种联合稀疏表示与深度学习的图像超分辨率方法及系统 |
-
2019
- 2019-10-14 CN CN201910973693.5A patent/CN110827198B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106886977A (zh) * | 2017-02-08 | 2017-06-23 | 徐州工程学院 | 一种多图自动配准及融合拼接方法 |
| CN108319970A (zh) * | 2018-01-16 | 2018-07-24 | 上海海事大学 | 基于压缩感知的声纳图像超分辨率重建目标跟踪和检测方法 |
| CN109255822A (zh) * | 2018-07-13 | 2019-01-22 | 中国人民解放军战略支援部队航天工程大学 | 一种多尺度编码和多重约束的超时间分辨率压缩感知重建方法 |
| CN109741256A (zh) * | 2018-12-13 | 2019-05-10 | 西安电子科技大学 | 基于稀疏表示和深度学习的图像超分辨率重建方法 |
Non-Patent Citations (1)
| Title |
|---|
| 可实现图像自修复的压缩感知超分辨率成像算法的研究;张湃;燕山大学博士论文2013年信息科技辑(第12期);78-95 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110827198A (zh) | 2020-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110827198B (zh) | 基于压缩感知和超分辨率重构的多相机全景图像构建方法 | |
| CN110119780B (zh) | 基于生成对抗网络的高光谱图像超分辨重建方法 | |
| CN106952228B (zh) | 基于图像非局部自相似性的单幅图像的超分辨率重建方法 | |
| CN111709895A (zh) | 基于注意力机制的图像盲去模糊方法及系统 | |
| CN110933429B (zh) | 基于深度神经网络的视频压缩感知与重构方法和装置 | |
| CN104199627B (zh) | 基于多尺度在线字典学习的可分级视频编码系统 | |
| CN112102163B (zh) | 基于多尺度运动补偿框架和递归学习的连续多帧图像超分辨率重建方法 | |
| CN111127325A (zh) | 基于循环神经网络的卫星视频超分辨率重建方法及系统 | |
| CN109949217B (zh) | 基于残差学习和隐式运动补偿的视频超分辨率重建方法 | |
| CN112866694A (zh) | 联合非对称卷积块和条件上下文的智能图像压缩优化方法 | |
| CN110599402A (zh) | 一种基于多特征稀疏表示的图像超分辨率重建方法 | |
| CN104657951A (zh) | 图像乘性噪声移除方法 | |
| Shi et al. | Multi-scale deep networks for image compressed sensing | |
| CN111489305B (zh) | 基于强化学习的图像增强方法 | |
| CN111147863B (zh) | 基于张量的视频快照压缩成像恢复方法 | |
| CN114202463B (zh) | 面向云端融合的视频超分辨率方法及系统 | |
| Yang et al. | Variation learning guided convolutional network for image interpolation | |
| Zou et al. | A nonlocal low-rank regularization method for fractal image coding | |
| CN106559670A (zh) | 一种改进的分块视频压缩感知算法 | |
| Amaranageswarao et al. | Residual learning based densely connected deep dilated network for joint deblocking and super resolution | |
| CN108596831B (zh) | 一种基于AdaBoost实例回归的超分辨率重建方法 | |
| CN113077403B (zh) | 基于局部数据块的张量增强技术的彩色图像重建方法 | |
| Li et al. | Compression artifact removal with stacked multi-context channel-wise attention network | |
| CN115375537A (zh) | 非线性感知多尺度的超分辨率图像生成系统及方法 | |
| CN114022356A (zh) | 基于小波域的河道流量水位遥感图像超分辨率方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |