CN106888024A - 一种基于双向最佳匹配的分布式视频压缩感知重构方法 - Google Patents

一种基于双向最佳匹配的分布式视频压缩感知重构方法 Download PDF

Info

Publication number
CN106888024A
CN106888024A CN201710010302.0A CN201710010302A CN106888024A CN 106888024 A CN106888024 A CN 106888024A CN 201710010302 A CN201710010302 A CN 201710010302A CN 106888024 A CN106888024 A CN 106888024A
Authority
CN
China
Prior art keywords
frame
key frame
best match
block
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710010302.0A
Other languages
English (en)
Other versions
CN106888024B (zh
Inventor
张登银
谢亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Post and Telecommunication University
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing Post and Telecommunication University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Post and Telecommunication University filed Critical Nanjing Post and Telecommunication University
Priority to CN201710010302.0A priority Critical patent/CN106888024B/zh
Publication of CN106888024A publication Critical patent/CN106888024A/zh
Application granted granted Critical
Publication of CN106888024B publication Critical patent/CN106888024B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H03M7/3062Compressive sampling or sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于双向最佳匹配的分布式视频压缩感知重构方法,在多假设(Multiple Hypotheses,MH)预测模型的基础上,由像素块在测量域结构相似性约束双向最佳匹配策略,结合运动对齐估计思想,采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块,在以前、后向最佳匹配块为中心的搜索窗口内逐像素提取视频最优生成矩阵,采用连续帧间结构相似性约束优化双向最佳匹配过程,联合残差补偿重构出非关键帧。本发明能够充分考虑帧间空时运动信息相关性,在相同的采样率下,能够提高重构视频序列帧质量,并且重构时间没有大幅度增加。该方法解决了现有基于多假设预测模型重构过程中未充分考虑视频帧间空时运动信息稀疏相关性的问题。

Description

一种基于双向最佳匹配的分布式视频压缩感知重构方法
技术领域
本发明涉及一种基于双向最佳匹配的分布式视频压缩感知重构方法,属于视频图像处理技术领域。
背景技术
目前,信息社会正朝着数字化、网络化和智能化方向快速发展,采用视频传感构建的无线传感器网络来实现现场实时视频感知的应用需求日益增加。由于视频信号复杂,信号传输过程流量大,并且通信资源有限,所以使得视频图像通信面临较大的挑战。当下,引起较多关注的是分布式视频压缩感知(DistributedCompressive VideoSensing,DCVS)编码方式,它结合了分布式视频编码(Distributed Video Coding,DVC)与压缩感知(Compressive Sensing,CS),充分利用了两者的优点,非常适用于资源受限制的通信传输场合。
在DCVS系统中,现有大多数重构算法的主要思想是以前一帧图像作为参考图像,通过挖掘并利用当前图像与参考图像间的相关性信息,对当前图像进行CS重建。目前的CS视频重构策略可分为3类:逐帧独立重构、立体重构和预测—残差重构。逐帧独立重构独立地复原单帧,并未利用时间相关性,导致率失真性能较差;立体重构利用3维(3—Dimensional,3D)变换域稀疏性或视频低秩性作为先验知识,可获得较高的率失真性能,但需要巨大的计算复杂度;预测-残差重构首先利用时间相关性对当前帧作出预测,然后利用图像CS重构算法重构出预测帧与原始帧之间的残差。相比于逐帧独立重建和立体重构策略,预测-残差重构权衡了他们之间的优缺点,能够以适中的复杂度得到良好的率失真性能,因而获得广泛关注。在预测-残差重构方法中,边信息预估精度对于重建质量的影响不可忽视,所以提高预估质量是确保视频重构质量的关键。Mun和Fowler借鉴分布式视频编码框架中边信息的生成方法,基于运动估计/运动补偿的残差重建方案。Do等人基于系数稀疏性假设,提出基于帧间相关性的预测模型,利用已重建帧中的时域相邻块线性表示当前重建帧中的图像块,该方法仅考虑了采用相邻关键帧对当前图像组中的非关键帧进行双向预测的重建结构,当GOP增大时,重建质量会有明显下降。在此基础上,Tramel和Fowler提出基于多重假设(MH)预估模型。其中,基于多假设的边信息预估算法假设待预估的宏块可以利用已经重构好的若干参考帧对应领域内的多个宏块进行稀疏表示,但MH预测模型没有充分考虑视频帧间空时运动信息稀疏相关性的问题。
发明内容
本发明目的在于提出了一种基于双向最佳匹配的分布式视频压缩感知重构方法,该方法解决了现有基于多假设预测模型重构过程中未充分考虑视频帧间空时运动信息相关性的问题。本发明在多假设预测模型的基础上,由像素块在测量域结构相似性约束双向最佳匹配策略,结合运动对齐估计思想,采用测量域自适应块结构相似性作为失真标准在参考帧中选取出双向最佳匹配块,在以前、后向最佳匹配块为中心的搜索窗口内逐像素提取视频最优生成矩阵,采用连续帧间结构相似性约束优化双向最佳匹配过程,联合残差补偿重构出非关键帧。在相同的采样率下,能够提高重构视频序列帧质量,并且重构时间没有大幅度增加。为分布式视频压缩进一步提高视频重构质量、满足实时要求提供了可能。
本发明解决其技术问题所采取的技术方法是:
1.一种基于双向最佳匹配的分布式视频压缩感知重构方法,该方法具体步骤如下:
输入:视频序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2
分块尺寸:B×B,B=32。分块测量矩阵为ΦB
(1)将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧。
(2)在采集端,用测量矩阵Φ对关键帧和非关键帧进行CS测量。
(3)在重构端,首先重构视频序列中的关键帧。
(4)将已重构的关键帧作为参考帧,MH预测模型首先寻找待重构块xt,i在参考帧D1内的前向最佳匹配块xt,ibestforward和后向最佳匹配块xt,ibestback,即寻找前、后向最佳匹配块时,采用像素块结构相似性作为失真标准进行迭代寻找,约束最佳匹配过程中根据非关键帧采样率的不同进行自适应阈值迭代,在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值。SSIM定义如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
由于当前帧中的视频块xt,i是未知的,但xt,i的测量值是已知的,所以整个过程在测量域进行迭代比较,则x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束双向最佳匹配策略,迭代计算得最终最佳匹配块,即有:
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,σx,σy,σxy分别表示参考图像和失真图像的亮度均值、标准差以及协方差;C1,C2,C3为小常数,为了防止分母为0。
(5)由步骤(4)在搜索窗口D1内得到前、后向临时最佳匹配块xt,ibestforward和xt,ibestback后,再以xt,ibestforward为中心,生成半径为D2的搜索窗口D2,在以最佳匹配块为中心的搜索窗口D2内逐像素提取视频块生成最优矩阵Ht,ibestforward;后向最佳匹配块的最优矩阵Ht,ibestback用同样方法获得。此处Ht,i(即Ht,ibestforward和Ht,ibestback)为一个B2×K的矩阵,K=|Ht,i|,矩阵中的列为参考帧中相应搜索区域D2内的视频块。
(6)利用多假设预测模型中的如下公式计算非关键帧的多假设预测值(即边信息):其中wt,i为代表Ht,i中各列的最佳线性组合的列向量(前、后向分别为wt,if和wt,ib),Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K。
(7)在步骤(6)中算得前向最佳匹配边信息为后向最佳匹配边信息为将前、后向最佳匹配边信息进行迭代比较,选择出最终的最佳匹配边信息,即:
(8)获得非关键帧的边信息后,用非关键帧的测量值减去其边信息的测量值,计算出当前帧残差r的各块CS观测向量yr,i,即:
(9)重构出残差值rt
(10)将边信息和残差值相加,得到暂时的重构非关键帧,即:由残差重构帧xt和边信息帧之间的SSIM值(同步骤4)作为图像重构时的迭代阈值,迭代得到最终的重构非关键帧xt
根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(1)中关键帧的采样率固定为0.7,非关键帧的采样率分别采用0.1,0.2,0.3,0.4,0.5。
所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(2)中用于信号测量的测量矩阵和步骤(4)中测量域块结构相似性所用的测量矩阵为结构化随机分块测量矩阵(Structurally random matrix,SAM),其他步骤所用的Φ均为SAM。
所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(4)、(5)中分块尺寸为B=32,搜索窗口半径D1=D2=B,利用已经重构好的关键帧作为参考帧,根据子块尺寸和搜索窗口范围逐渐增加进行非关键帧的多假设预测,每次迭代后子块尺寸和搜索窗口范围增加一倍。
所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(6)中本方法正则化使用的先验知识为:与目标块越接近的候选块,其所对应的权重越大;相反,其所对应的权重越小。λ为正则化控制因子,取值0.15。
所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(3)采用MS-BCS-SPL-DDWT对关键帧的测量值进行重构;步骤(9)采用MS-BCS-SPL-DWT对非关键帧残差值进行重构。
所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(4)、(10)中,非关键帧测量率为0.1-0.3时,迭代阈值(SSIM值)τs=0.99995;测量率为0.4和0.5时,τs=0.999995。步骤(4)中,C1,C2,C3为小常数,步骤(4)、(10)最大迭代次数为200次。
本发明所述方法适用于运动剧烈场景下的分布式视频压缩感知重构系统。
有益效果
与现有技术相比,本发明具有如下优点:
第一,本发明在多假设预测模型的基础上,引入像素块测量域相似性双向最佳匹配策略,结合运动对齐估计思想,采用测量域自适应块结构相似性作为失真标准在参考帧中选取出最佳匹配块,采用连续帧间结构相似性约束优化双向最佳匹配过程,联合残差补偿重构出非关键帧。与现有基于多假设预测的视频重构方案相比,本发明能够充分考虑帧间空时运动信息稀疏相关性,在相同的采样率下,能够提高重构视频序列帧质量,并且重构时间没有大幅度增加。满足提高运动剧烈场景下视频传输重构质量的要求。
第二,本发明在测量域计算像素块结构相似性,充分考虑稀疏性,根据非关键帧测量率自适应调节阈值,降低算法迭代次数,减少耗时,满足视频实时的要求。
附图说明
图1为本发明一种基于双向最佳匹配的分布式视频压缩感知重构方法的框架图。
图2为本发明方法与现有技术非关键帧重构图像的平均PSNR值随采样率的变化情况(Foreman、Susie、Football序列前100帧,Foreman、Susie序列偶数帧为非关键帧,Football序列奇数帧为非关键帧)。
图3为本发明方法与现有技术非关键帧平均重构时间对比图(Foreman、Susie、Football序列前100帧),更直观地显示了各算法的复杂度。
图4为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图。
图5为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图。
具体实施方式
以下结合附图,对本发明技术方案进行详细说明,具体实施例如下:
如图1所示,本发明提供了一种基于双向最佳匹配的分布式视频压缩感知重构方法,该方法具体步骤如下:
输入:视频序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2
分块尺寸:B×B,B=32。分块测量矩阵为ΦB
(1)将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧。
(2)在采集端,用测量矩阵Φ对关键帧和非关键帧进行CS测量。
(3)在重构端,首先重构视频序列中的关键帧。
(4)将已重构的关键帧作为参考帧,MH预测模型首先寻找待重构块xt,i在参考帧D1内的前向最佳匹配块xt,ibestforward和后向最佳匹配块xt,ibestback,即寻找前、后向最佳匹配块时,采用像素块结构相似性SSIM作为失真标准进行迭代寻找,约束最佳匹配过程中根据非关键帧采样率的不同进行自适应阈值迭代,在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值。SSIM定义如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
由于当前帧中的视频块xt,i是未知的,但xt,i的测量值是已知的,所以整个过程在测量域进行迭代比较,则x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束双向最佳匹配策略,迭代计算得最终最佳匹配块,即有:
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,σx,σy,σxy分别表示参考图像和失真图像的亮度均值、标准差以及协方差;C1,C2,C3为小常数,为了防止分母为0。
(5)由步骤(4)在搜索窗口D1内得到前、后向临时最佳匹配块xt,ibestforward和xt,ibestback后,再以xt,ibestforward为中心,生成半径为D2的搜索窗口D2,在以最佳匹配块为中心的搜索窗口D2内逐像素提取视频块生成最优矩阵Ht,ibestforward;后向最佳匹配块的最优矩阵Ht,ibestback用同样方法获得。此处Ht,i(即Ht,ibestforward和Ht,ibestback)为一个B2×K的矩阵,K=|Ht,i|,矩阵中的列为参考帧中相应搜索区域D2内的视频块。
(6)利用多假设预测模型中的如下公式计算非关键帧的多假设预测值(即边信息):其中wt,i为代表Ht,i中各列的最佳线性组合的列向量(前、后向分别为wt,if和wt,ib),Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K。
(7)在步骤(6)中算得前向最佳匹配边信息为后向最佳匹配边信息为将前、后向最佳匹配边信息进行迭代比较,选择出最终的最佳匹配边信息,即:
(8)获得非关键帧的边信息后,用非关键帧的测量值减去其边信息的测量值,计算出当前帧残差r的各块CS观测向量yr,i,即:
(9)重构出残差值rt
(10)将边信息和残差值相加,得到暂时的重构非关键帧,即:由残差重构帧xt和边信息帧之间的SSIM值(同步骤4)作为图像重构时的迭代阈值,迭代得到最终的重构非关键帧xt
表1是本方法与现有技术在5个采样率下非关键帧重构图像的平均峰值信噪比PSNR值。可以看出,在相同的采样率下,本发明方法与现有方法比较,PSNR值最大,能够明显提高视频帧序列的重构质量。
表1
表2是本方法与现有技术在5个采样率下视频图像的平均重构时间,可以看出本发明方法非关键帧重构时间增加不明显。
表2
下面结合附图对本发明方法的效果做进一步说明:
以CIF格式(352×288)的标准测式序列Foreman、Susie、Football的前100帧作为测试序列帧,Foreman、Susie序列偶数帧为非关键帧,Football序列奇数帧为非关键帧,关键帧采样率固定为为0.7,非关键帧采样率为0.1,0.2,0.3,0.4,0.5。测量矩阵为SAM,分块尺寸B=32,搜索窗口半径D1=D2=B,正则化参数λ=0.15,最大迭代次数为200次。由两个连续残差重构图像之间的SSIM值作为图像重构时的阈值,测量率为0.1-0.3时,τs=0.99995,测量率为0.4和0.5时,τs=0.999995。采用MS-BCS-SPL-DDWT对关键帧的测量值进行重构,采用MS-BCS-SPL-DWT对非关键帧残差值进行重构。对比方法为基于分块压缩的BCS-SPL和MS-BCS-SPL,基于MH预测模型的MH-BCS-SPL和MH-MS-BCS-SPL。
图2是序列Foreman、Susie、Football的前100帧仿真的具体情况。比表1更直观地显示了非关键帧重构图像的平均PSNR值随采样率的变化情况。从图2可以看出,在相同的采样率下,本发明方法与现有方法比较,PSNR值最大,能够明显提高视频帧序列的重构质量;本发明方法的PSNR值比其他方案平均提高1.97dB。在测量率为0.3时体现最为明显,对比方法重构PSNR最高为33.80dB,本发明方法重构PSNR值为36.4,提高了2.6dB。
图3是序列Foreman、Susie、Football的前100帧仿真时非关键重构时间具体情况,比表2更直观地显示了视频序列帧在各采样率下的平均重构时间,更直观地显示了各算法的复杂度。从图3可以看出,本发明方法非关键帧重构时间要比BCS-SPL和MH-BCS-SPL算法少,比MS-BCS-SPL和MH-MS-BCS-SPL算法的重构时间要长,但是在测量域进行像素块相似性计算,根据非关键帧测量率自适应调节阈值,降低算法迭代次数,减少了耗时,所以本发明方法非关键帧重构时间增加不明显,并没有过多的增加算法复杂度。
图4为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图。本发明方法重构PSNR值为35.4dB,其他方法重构PSNR值最高为33.5dB,本发明方法提高了1.9dB,观察各重构视频帧,明显本方法具有最好的主观视觉质量。
图5为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图。本发明方法重构PSNR值为29.3dB,其他方法重构PSNR值最高为27.6dB,本发明方法提高了1.7dB,观察各重构视频帧,明显本方法具有最好的主观视觉质量。
本发明方法通过像素块在测量域结构相似性约束双向最佳匹配策略,结合运动对齐估计思想,使得利用MH预测模型重构非关键帧时能够充分考虑视频帧间空时运动信息相关性,重构出的非关键帧质量更高,在基本不增加算法复杂度的基础上,可以获得更好的主观视觉效果。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (7)

1.一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于,具体步骤如下:
输入:视频序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2
分块尺寸:B×B,B=32,分块测量矩阵为ΦB
(1)将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧;
(2)在采集端,用测量矩阵Φ对关键帧和非关键帧进行CS测量;
(3)在重构端,首先重构视频序列中的关键帧;
(4)将已重构的关键帧作为参考帧,MH预测模型首先寻找待重构块xt,i在参考帧D1内的前向最佳匹配块xt,ibestforward和后向最佳匹配块xt,ibestback,即寻找前、后向最佳匹配块时,在测量域采用像素块结构相似性(Structural SIMilarity,SSIM)作为失真标准进行迭代寻找,约束最佳匹配过程中根据非关键帧采样率的不同进行自适应阈值迭代,在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值;SSIM定义如下:
SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ
l ( x , y ) = 2 μ x μ y + C 1 μ x 2 + μ y 2 + C 1 , l ( x , y ) = 2 σ x σ y + C 2 σ x 2 + σ y 2 + C 2 , l ( x , y ) = σ x y + C 3 σ x σ y + C 3
由于当前帧中的视频块xt,i是未知的,但xt,i的测量值是已知的,所以整个过程在测量域进行迭代比较,则x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束双向最佳匹配策略,迭代计算得最终最佳匹配块,即有:
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,σx,σy,σxy分别表示参考图像和失真图像的亮度均值、标准差以及协方差;C1,C2,C3为小常数,为了防止分母为0;
(5)由步骤(4)在搜索窗口D1内得到前、后向最佳匹配块xt,ibestforward和xt,ibestback后,再以xt,ibestforward为中心,生成半径为D2的搜索窗口D2,在以最佳匹配块为中心的搜索窗口D2内逐像素提取视频块生成最优矩阵Ht,ibestforward;后向最佳匹配块的最优矩阵Ht,ibestback用同样方法获得;此处Ht,i即Ht,ibestforward和Ht,ibestback,为一个B2×K的矩阵,K=|Ht,i|,矩阵中的列为参考帧中相应搜索区域D2内的视频块;
(6)利用多假设预测模型中的如下公式计算非关键帧的多假设预测值即边信息:其中wt,i为代表Ht,i中各列的最佳线性组合的列向量,前、后向分别为wt,if和wt,ib,Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K;
(7)在步骤(6)中算得前向最佳匹配边信息为后向最佳匹配边信息为将前、后向最佳匹配边信息进行迭代比较,选择出最终的最佳匹配边信息,即:
x ^ t , i = x t , i b e s t f o r w a r d , | | x t , i b e s t f o r w a r d - x t , i | | ≤ | | x t , i b e s t b a c k - x t , i | | x t , i b e s t b a c k , | | x t , i b e s t f o r w a r d - x t , i | | ≥ | | x t , i b e s t b a c k - x t , i | |
(8)获得非关键帧的边信息后,用非关键帧的测量值减去其边信息的测量值,计算出当前帧残差r的各块CS观测向量yr,i,即:
y r , i = y t , i - Φ B x t , i Λ = Φ B ( x t , i - x t , i Λ ) = Φ B r t , i , i = 1 , ... , n
(9)重构出残差值rt
(10)将边信息和残差值相加,得到暂时的重构非关键帧,即:由残差重构帧xt和边信息帧之间的SSIM值即同步骤4,作为图像重构时的迭代阈值,迭代得到最终的重构非关键帧xt
2.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(1)中关键帧的采样率固定为0.7,非关键帧的采样率分别采用0.1,0.2,0.3,0.4,0.5。
3.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(2)中用于信号测量的测量矩阵和步骤(4)中测量域块结构相似性所用的测量矩阵为结构化随机分块测量矩阵Structurally random matrix,即SAM,其他步骤所用的Φ均为SAM。
4.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(4)、(5)中分块尺寸为B=32,搜索窗口半径D1=D2=B,利用已经重构好的关键帧作为参考帧,根据子块尺寸和搜索窗口范围逐渐增加进行非关键帧的多假设预测,每次迭代后子块尺寸和搜索窗口范围增加一倍。
5.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(6)中本方法正则化使用的先验知识为:与目标块越接近的候选块,其所对应的权重越大;相反,其所对应的权重越小,λ为正则化控制因子,取值0.15。
6.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(3)采用MS-BCS-SPL-DDWT对关键帧的测量值进行重构;步骤(9)采用MS-BCS-SPL-DWT对非关键帧残差值进行重构。
7.根据权利要求1所述的一种基于双向最佳匹配的分布式视频压缩感知重构方法,其特征在于:步骤(4)、(10)中,非关键帧测量率为0.1-0.3时,迭代阈值即SSIM值,τs=0.99995;测量率为0.4和0.5时,τs=0.999995;步骤(4)中,C1,C2,C3为小常数,步骤(4)、(10)最大迭代次数为200次。
CN201710010302.0A 2017-01-06 2017-01-06 一种基于双向最佳匹配的分布式视频压缩感知重构方法 Active CN106888024B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710010302.0A CN106888024B (zh) 2017-01-06 2017-01-06 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710010302.0A CN106888024B (zh) 2017-01-06 2017-01-06 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Publications (2)

Publication Number Publication Date
CN106888024A true CN106888024A (zh) 2017-06-23
CN106888024B CN106888024B (zh) 2020-09-08

Family

ID=59176406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710010302.0A Active CN106888024B (zh) 2017-01-06 2017-01-06 一种基于双向最佳匹配的分布式视频压缩感知重构方法

Country Status (1)

Country Link
CN (1) CN106888024B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107360426A (zh) * 2017-07-13 2017-11-17 福州大学 一种基于压缩感知的视频序列重构方法
CN107509074A (zh) * 2017-07-10 2017-12-22 上海大学 基于压缩感知的自适应3d视频编解码方法
CN108200440A (zh) * 2017-12-31 2018-06-22 南京邮电大学 一种基于时间相关性的分布式视频压缩感知重构方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN108769675A (zh) * 2018-06-04 2018-11-06 南京邮电大学 基于两阶多假设预测的分布式视频自适应重构方法
CN109934882A (zh) * 2019-01-30 2019-06-25 东华大学 基于动态挑选多假设匹配块的视频压缩感知重构方法
CN110175597A (zh) * 2019-06-04 2019-08-27 北方工业大学 一种融合特征传播与聚合的视频目标检测方法
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
CN110392258A (zh) * 2019-07-09 2019-10-29 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法
WO2020034921A1 (zh) * 2018-08-17 2020-02-20 北京金山云网络技术有限公司 运动估计的方法、装置、电子设备及计算机可读存储介质
CN113225568A (zh) * 2021-04-30 2021-08-06 刘明瑞 一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN104508682A (zh) * 2012-08-03 2015-04-08 柯达阿拉里斯股份有限公司 使用群组稀疏性分析来识别关键帧
CN105554502A (zh) * 2015-12-07 2016-05-04 天津大学 基于前景背景分离的分布式压缩感知视频编解码方法
CN106210444A (zh) * 2016-07-04 2016-12-07 石家庄铁道大学 运动状态自适应关键帧提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104508682A (zh) * 2012-08-03 2015-04-08 柯达阿拉里斯股份有限公司 使用群组稀疏性分析来识别关键帧
CN104301728A (zh) * 2014-10-15 2015-01-21 上海交通大学 基于结构化稀疏字典学习的压缩视频采集与重构系统
CN104333757A (zh) * 2014-10-17 2015-02-04 河海大学常州校区 基于cs测量值多描述的视频编解码方法
CN105554502A (zh) * 2015-12-07 2016-05-04 天津大学 基于前景背景分离的分布式压缩感知视频编解码方法
CN106210444A (zh) * 2016-07-04 2016-12-07 石家庄铁道大学 运动状态自适应关键帧提取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张健: "基于时空特征的分布式视频压缩感知重构技术研究", 《中国优秀硕士学位论文全文数据库》 *
李然: "图像与视频压缩感知研究", 《中国博士学位论文全文数据库》 *
胡育涛: "基于压缩感知的分布式视频编码技术研究", 《中国优秀硕士学位论文全文数据库》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107509074A (zh) * 2017-07-10 2017-12-22 上海大学 基于压缩感知的自适应3d视频编解码方法
CN107360426A (zh) * 2017-07-13 2017-11-17 福州大学 一种基于压缩感知的视频序列重构方法
CN108200440A (zh) * 2017-12-31 2018-06-22 南京邮电大学 一种基于时间相关性的分布式视频压缩感知重构方法
CN108200440B (zh) * 2017-12-31 2019-08-23 南京邮电大学 一种基于时间相关性的分布式视频压缩感知重构方法
CN108259916A (zh) * 2018-01-22 2018-07-06 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN108259916B (zh) * 2018-01-22 2019-08-16 南京邮电大学 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN108769675A (zh) * 2018-06-04 2018-11-06 南京邮电大学 基于两阶多假设预测的分布式视频自适应重构方法
CN108769675B (zh) * 2018-06-04 2021-12-17 南京邮电大学 基于两阶多假设预测的分布式视频自适应重构方法
WO2020034921A1 (zh) * 2018-08-17 2020-02-20 北京金山云网络技术有限公司 运动估计的方法、装置、电子设备及计算机可读存储介质
CN109934882A (zh) * 2019-01-30 2019-06-25 东华大学 基于动态挑选多假设匹配块的视频压缩感知重构方法
CN109934882B (zh) * 2019-01-30 2023-04-25 东华大学 基于动态挑选多假设匹配块的视频压缩感知重构方法
CN110175597A (zh) * 2019-06-04 2019-08-27 北方工业大学 一种融合特征传播与聚合的视频目标检测方法
CN110392258B (zh) * 2019-07-09 2021-03-16 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN110392258A (zh) * 2019-07-09 2019-10-29 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN110290389A (zh) * 2019-07-11 2019-09-27 东华大学 基于长短期参考帧挑选假设匹配块视频压缩感知重构方法
CN113225568A (zh) * 2021-04-30 2021-08-06 刘明瑞 一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法
CN113225568B (zh) * 2021-04-30 2022-09-13 刘明瑞 一种视频压缩感知低延迟帧间重构的迭代渐进假设预测方法

Also Published As

Publication number Publication date
CN106888024B (zh) 2020-09-08

Similar Documents

Publication Publication Date Title
CN106888024A (zh) 一种基于双向最佳匹配的分布式视频压缩感知重构方法
CN108259916B (zh) 一种分布式视频压缩感知中帧内最佳匹配插值重构方法
CN107396124B (zh) 基于深度神经网络的视频压缩方法
CN100463527C (zh) 一种多视点视频图像视差估计的方法
CN103873861B (zh) 一种用于hevc的编码模式选择方法
CN103220488B (zh) 一种视频帧率上转换装置及方法
CN111739082B (zh) 一种基于卷积神经网络的立体视觉无监督深度估计方法
CN111260560B (zh) 一种融合注意力机制的多帧视频超分辨率方法
CN106937118B (zh) 一种基于主观感兴趣区域和时空域相结合的码率控制方法
CN108989802B (zh) 一种利用帧间关系的hevc视频流的质量估计方法及系统
CN101009835A (zh) 基于背景的运动估计编码方法
CN108924558B (zh) 一种基于神经网络的视频预测编码方法
JP2004514351A (ja) ブロックマッチング処理を用いたビデオ符号化方法
CN112381866B (zh) 一种基于注意力机制的视频比特增强方法
CN110557646B (zh) 一种智能视点间的编码方法
CN111355956A (zh) 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法
CN113822954B (zh) 一种面向资源约束下人机协同场景的深度学习图像编码方法
CN104602028A (zh) 一种立体视频b帧整帧丢失错误隐藏方法
CN105046725B (zh) 低比特率视频通话中基于模型和对象的头肩图像重建方法
CN107277537A (zh) 一种基于时间相关性的分布式视频压缩感知采样方法
CN118101943B (zh) 一种优化5g网络拓扑结构的视频传输系统
CN108769696A (zh) 一种基于Fisher判别式的DVC-HEVC视频转码方法
CN108200440B (zh) 一种基于时间相关性的分布式视频压缩感知重构方法
CN114494569B (zh) 基于轻量级神经网络和残差流式传输的云渲染方法和装置
CN107343202B (zh) 基于附加码率的无反馈分布式视频编解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant