CN109934882A - 基于动态挑选多假设匹配块的视频压缩感知重构方法 - Google Patents

基于动态挑选多假设匹配块的视频压缩感知重构方法 Download PDF

Info

Publication number
CN109934882A
CN109934882A CN201910092190.7A CN201910092190A CN109934882A CN 109934882 A CN109934882 A CN 109934882A CN 201910092190 A CN201910092190 A CN 201910092190A CN 109934882 A CN109934882 A CN 109934882A
Authority
CN
China
Prior art keywords
key
key frame
selecting
mode
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910092190.7A
Other languages
English (en)
Other versions
CN109934882B (zh
Inventor
周健
刘浩
魏冬
田伟
李德敏
黄荣
闵雄阔
钟平
邓开连
孙韶媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Donghua University
Original Assignee
Donghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Donghua University filed Critical Donghua University
Priority to CN201910092190.7A priority Critical patent/CN109934882B/zh
Publication of CN109934882A publication Critical patent/CN109934882A/zh
Application granted granted Critical
Publication of CN109934882B publication Critical patent/CN109934882B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种基于动态挑选多假设匹配块的视频压缩感知重构方法，包括以下步骤：独立地重构序列中的每一帧图像；对于上述非关键帧重构得到的图像，采用K种根据距离动态挑选匹配块的模式从前后两个关键帧中依次进行匹配块的挑选，再利用多假设匹配块形成残差稀疏模型，进行K种模式下的重构该非关键帧图像；基于阈值与整体结构相似性确定非关键帧的最终重构结果。本发明能够提高重构质量。

Description

基于动态挑选多假设匹配块的视频压缩感知重构方法
技术领域
本发明涉及视频处理技术领域，特别是涉及一种基于动态挑选多假设匹配块的视频压缩感知重构方法。
背景技术
传统的视频采集系统根据奈奎斯特-香农采样定理对每帧视频采集到一组大量的信号样本，采样速率要求不小于信号带宽的两倍，随后是高复杂度的压缩编码，以消除像素之间存在的冗余。压缩感知(CS)技术的兴起提供了一种新型的信号采集与重构方法。CS只需通过将信号投射到随机基上以获得少量的测量值，根据CS理论，在某一变换域中具有稀疏或近稀疏表示的信号可以通过这些测量值得到较高可能性的重构。一些研究者提出在重构端通过块匹配进行运动估计和运动补偿，生成当前帧的一个预测。然而，现有的方法均没有考虑多假设情况下的整体结构相似性(SSIM)，只是试图最小化均方误差(MSE)。在某些情况下，基于MSE的方法并不能得到满意的视频重构效果，甚至会得到较差的结果。因此，对于视频压缩感知，匹配块的挑选策略以及如何确定最终重构结果的研究是很有必要的。
发明内容
本发明所要解决的技术问题是提供一种基于动态挑选多假设匹配块的视频压缩感知重构方法，能够提高重构质量。
本发明解决其技术问题所采用的技术方案是：提供一种基于动态挑选多假设匹配块的视频压缩感知重构方法，包括以下步骤：
(1)独立地重构序列中的每一帧图像；
(2)对于步骤(1)中非关键帧重构得到的图像，采用K种根据距离动态挑选匹配块的模式从前后两个关键帧中依次进行匹配块的挑选，再利用多假设匹配块形成残差稀疏模型进行K种模式下的重构该非关键帧图像；
(3)基于阈值与整体结构相似性确定非关键帧的最终重构结果。
所述步骤(1)采用基于多假设匹配块的残差重构方法独立地重构序列中的每一帧图像，其中多假设匹配块从每帧自身进行挑选。
所述步骤(2)中K种根据距离动态挑选匹配块的模式具体包括：
第一模式：从前后两个关键帧中各挑选M/2个；
第二模式：从距离较近的关键帧中挑选M/2+1个，从距离较远的关键帧中挑选M/2-1个；
第三模式：从距离较近的关键帧中挑选M/2+2个，从距离较远的关键帧中挑选M/2-2个；
其中，M为从前后两个关键帧中挑选的总匹配块个数。
所述步骤(3)具体为：设置阈值T，如果K种模式中的一种重构的非关键帧图像与原图像的整体结构相似性大于阈值，则将该模式下重构的非关键帧图像作为最终重构结果；如果K种模式中的重构的非关键帧图像与原图像的整体结构相似性均小于阈值，则选择与原图像的整体结构相似性最大的那种模式重构的非关键帧图像作为最终重构结果。
有益效果
由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明挑选匹配块的模式更加灵活，实现了多模式的动态挑选；同时在基于整体结构相似性的考虑下，所提方法可从总体上衡量每个视频帧的质量，进一步削弱了块效应，在增加一定复杂度的情况下有效地提升了视频重构的质量，并改善了重构视频的主观视觉质量。
附图说明
图1是本发明的流程图；
图2是动态挑选多假设匹配块的示意图；
图3是基于阈值与整体结构相似性确定最终重构结果的流程图。
具体实施方式
下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。
本发明的实施方式涉及一种基于动态挑选多假设匹配块的视频压缩感知重构方法，该方法通过动态挑选多假设匹配块，形成残差稀疏模型，进而获得每种挑选匹配块模式下的重构结果，并基于整体结构相似性(SSIM)，确定最终的重构结果。
为了控制计算复杂度和内存需求，测量端逐帧地使用基于块的随机压缩感知(CS)测量进行视频采集。视频序列由若干帧组成，每帧由一个关键帧和后面的一些非关键帧组成。关键帧使用相对较高的压缩率进行采样，而非关键帧使用较低的采样率进行采样。在重构端，具体的视频重构步骤如下：
步骤1：序列中每帧均通过帧内模型独立恢复。在这一步中，采用基于多假设(MH)块的残差重构方法，MH块从每帧自身进行挑选。一般而言，采样率越高的帧重构质量越好，采样率越低的帧重构质量越差。受传统视频压缩编解码的启发，本实施方式采用了具有较高采样率的帧作为关键帧。
步骤2：在本步骤中，只重构非关键帧，这些非关键帧可以从相邻的两关键帧得到匹配的块，由于关键帧在第一阶段得到了较好的重构结果，在本步骤中不需要进行处理。基于每一非关键帧与前后两帧的距离决定从两关键帧挑选匹配块的个数，而不是固定每一帧从某关键帧中获取块个数。也就是说，如果当前的非关键帧距离前向关键帧较近，从前向关键帧中将挑选更多的匹配块而从后向关键帧中挑选的匹配块将相应的减少。假定从两个关键帧中挑选的总匹配块个数为M，不失一般性，M为偶数。基于复杂度的考虑，所提方法设置三组动态挑选模式：①从前后两关键帧各挑选M/2帧；②从距离较近的关键帧挑选M/2+1帧，从距离较远关键帧挑选M/2-1帧；③从距离较近的关键帧挑选M/2+2帧，从距离较远的关键帧挑选M/2-2帧。在获得上述MH块之后，对于①②③每种模式，计算每块与对应的匹配块线性组合之间残差。然后，根据残差系数为零的概率对残差系数进行加权，得到一个加权的L1最小化问题，根据Split Bregman迭代算法解决该问题，从而完成一帧的重构。
步骤3：挑选最终的重构结果。由于在某些情况下最小化均方误差并不会得到满意的效果，因此在本步骤中，本发明基于整体结构相似性从模式①②③中挑选最终的重构结果。为减少复杂度，设置一个阈值T(0<T<1)，可依据重构质量自动调节所提方法的复杂度。序列中的每个非关键帧按照模式①②③的顺序依次执行残差重构，并在每种模式重构完成后计算其与原始帧的SSIM，若某种模式下对应的SSIM大于T，则重构完成，该模式对应的重构结果为最终结果；否则，接着执行其余的模式；若三种模式下得到的SSIM均小于阈值T，则从三种模式中挑选较大的SSIM对应的重构结果为最终重构结果。
下面通过一个具体的实施例来进一步说明本发明。
在本实施例中，使用标准测试视频Foreman序列，可采用下面两种通用准则对所提方法的性能进行衡量：①图像峰值信噪比(PSNR)、②重构的整体结构相似性(SSIM)。首先对所提方法的参数进行设置。选取Foreman序列的连续17帧为测试序列，其中第1、9、17帧为关键帧，序列中的其余帧为非关键帧。图1给出了基于动态挑选多假设匹配块的视频压缩感知三步重构方法的流程图。为了衡量所提方法在不同采样率下的效果，对序列设置三种采样率组合：(0.7,0.2)、(0.6,0.3)、(0.5,0.4)，其中括号中的前一个值为关键帧的采样率，括号中的后一个值为非关键帧的采样率。之后，设置搜索窗的大小为20×20，重叠块的大小为8×8，多假设匹配块的权重常量为8，阈值T设置为0.9。
步骤1：对于得到的测量值，序列中每帧均通过帧内模型独立恢复。Foreman序列中的每一帧都独自的从本帧挑选匹配块，利用多假设匹配块形成残差稀疏模型：上式中，C为步骤1从自身挑选匹配块的个数，设置为10，实现各帧的初次重构，xk为当前重构帧中块k，为块k的第i个匹配块，为该匹配块对应的权重。并对该残差模型进行加权：F(xk)＝WkR(xk)，式中Wk为残差块k对应的权重，得到一个加权的范数式中D为当前重构帧拆成重叠块的个数，求解上式即实现了当前帧的残差重构。对于关键帧的重构图像保存作为最终的重构图像，而非关键帧将在接下来的步骤中执行进一步的处理。
步骤2：对步骤1中非关键帧重构得到的图像执行进一步操作。本实施例在此步骤中提挑选匹配块的方法如图2所示，取总匹配块个数为10，设置三种根据距离动态挑选匹配块的模式①从前后两个关键帧都挑选5个匹配块；②从距离较近的关键帧挑选6个匹配块，较远的关键帧挑选4个匹配块；③从距离较近的关键帧挑选7个匹配块，较远的关键帧挑选3个匹配块。然后分别执行①②③三种挑选匹配块的模式，依次进行匹配块的挑选，形成如步骤1中所述加权残差稀疏模型，并重构该帧图像。
步骤3：图3给出了基于阈值与整体结构相似性确定非关键帧最终重构结果的流程图。步骤1中的阈值T设置为0.9，若步骤2中①模式重构得到的图像与原图像的整体结构相似性值大于阈值0.9，则结束另外挑选匹配块模式的重构，该模式下重构图像作为最终重构结果并保存，否则继续执行②③模式下的重构。若三种模式的重构结果的整体结构相似值均小于阈值0.9，从三种模式中挑选整体结构相似性值最大的作为最终重构结果并保存。至此，完成Foreman序列的重构，重构质量在PSNR和SSIM两方面均能取得改善。

Claims (4)

1.一种基于动态挑选多假设匹配块的视频压缩感知重构方法，其特征在于，包括以下步骤：
(1)独立地重构序列中的每一帧图像；
(2)对于步骤(1)中非关键帧重构得到的图像，采用K种根据距离动态挑选匹配块的模式从前后两个关键帧中依次进行匹配块的挑选，再利用多假设匹配块形成残差稀疏模型进行K种模式下的重构该非关键帧图像；
(3)基于阈值与整体结构相似性确定非关键帧的最终重构结果。
2.根据权利要求1所述的基于动态挑选多假设匹配块的视频压缩感知重构方法，其特征在于，所述步骤(1)采用基于多假设匹配块的残差重构方法独立地重构序列中的每一帧图像，其中多假设匹配块从每帧自身进行挑选。
3.根据权利要求1所述的基于动态挑选多假设匹配块的视频压缩感知重构方法，其特征在于，所述步骤(2)中K种根据距离动态挑选匹配块的模式具体包括：
第一模式：从前后两个关键帧中各挑选M/2个；
第二模式：从距离较近的关键帧中挑选M/2+1个，从距离较远的关键帧中挑选M/2-1个；
第三模式：从距离较近的关键帧中挑选M/2+2个，从距离较远的关键帧中挑选M/2-2个；其中，M为从前后两个关键帧中挑选的总匹配块个数。
4.根据权利要求1所述的基于动态挑选多假设匹配块的视频压缩感知重构方法，其特征在于，所述步骤(3)具体为：设置阈值T，如果K种模式中的一种重构的非关键帧图像与原图像的整体结构相似性大于阈值，则将该模式下重构的非关键帧图像作为最终重构结果；如果K种模式中的重构的非关键帧图像与原图像的整体结构相似性均小于阈值，则选择与原图像的整体结构相似性最大的那种模式重构的非关键帧图像作为最终重构结果。
CN201910092190.7A 2019-01-30 2019-01-30 基于动态挑选多假设匹配块的视频压缩感知重构方法 Active CN109934882B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910092190.7A CN109934882B (zh) 2019-01-30 2019-01-30 基于动态挑选多假设匹配块的视频压缩感知重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910092190.7A CN109934882B (zh) 2019-01-30 2019-01-30 基于动态挑选多假设匹配块的视频压缩感知重构方法

Publications (2)

Publication Number Publication Date
CN109934882A true CN109934882A (zh) 2019-06-25
CN109934882B CN109934882B (zh) 2023-04-25

Family

ID=66985450

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910092190.7A Active CN109934882B (zh) 2019-01-30 2019-01-30 基于动态挑选多假设匹配块的视频压缩感知重构方法

Country Status (1)

Country Link
CN (1) CN109934882B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
CN111147853A (zh) * 2019-12-20 2020-05-12 东华大学 一种基于变焦预观测的先验子块生成方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN106888024A (zh) * 2017-01-06 2017-06-23 南京邮电大学 一种基于双向最佳匹配的分布式视频压缩感知重构方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102427527A (zh) * 2011-09-27 2012-04-25 西安电子科技大学 基于分布式视频压缩感知系统非关键帧的重构方法
CN104822063A (zh) * 2015-04-16 2015-08-05 长沙理工大学 一种基于字典学习残差重建的压缩感知视频重建方法
CN106888024A (zh) * 2017-01-06 2017-06-23 南京邮电大学 一种基于双向最佳匹配的分布式视频压缩感知重构方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
CN111147853A (zh) * 2019-12-20 2020-05-12 东华大学 一种基于变焦预观测的先验子块生成方法
CN111147853B (zh) * 2019-12-20 2021-05-25 东华大学 一种基于变焦预观测的先验子块生成方法

Also Published As

Publication number Publication date
CN109934882B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN106888024B (zh) 一种基于双向最佳匹配的分布式视频压缩感知重构方法
KR100736041B1 (ko) 에러 은닉 방법 및 장치
JPH08307874A (ja) 映像信号符号化装置
CN101009835A (zh) 基于背景的运动估计编码方法
CN112116601A (zh) 一种基于线性采样网络及生成对抗残差网络的压缩感知采样重建方法及系统
US6222882B1 (en) Adaptive motion estimation method of a luminance signal
CN110852964A (zh) 一种基于深度学习的图像比特增强方法
CN110290389B (zh) 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
CN108235020B (zh) 一种面向量化分块压缩感知的螺旋式逐块测量值预测方法
CN107481293B (zh) 基于多假设加权的差分图像压缩感知重构方法及智能终端
CN110728728B (zh) 一种基于非局部正则的压缩感知网络图像重建方法
CN109934882A (zh) 基于动态挑选多假设匹配块的视频压缩感知重构方法
CN112637599B (zh) 一种基于分布式压缩视频感知系统的新型重构方法
CN106559670A (zh) 一种改进的分块视频压缩感知算法
CN114202463B (zh) 面向云端融合的视频超分辨率方法及系统
CN114173131B (zh) 一种基于帧间相关性的视频压缩方法及系统
CN108390871B (zh) 一种基于自回归模型帧预测的雷达数据压缩方法
CN108573509B (zh) 基于测量域显著检测模型的自适应压缩感知图像编码方法
CN111641825B (zh) 一种嵌入到hevc编码过程的3d去噪方法及去噪装置
CN108521573A (zh) 一种分布式视频压缩感知编解码方法
CN116095291B (zh) 一种用于媒体流图像传输的图像预处理方法
CN116579931A (zh) 一种基于事件相机的自监督卷帘快门图像矫正方法及设备
CN113225568B (zh) 一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法
CN114189695B (zh) 一种基于gan的hevc压缩视频视觉感知提升方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant