CN108259916B - 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 - Google Patents
一种分布式视频压缩感知中帧内最佳匹配插值重构方法 Download PDFInfo
- Publication number
- CN108259916B CN108259916B CN201810057980.7A CN201810057980A CN108259916B CN 108259916 B CN108259916 B CN 108259916B CN 201810057980 A CN201810057980 A CN 201810057980A CN 108259916 B CN108259916 B CN 108259916B
- Authority
- CN
- China
- Prior art keywords
- frame
- best match
- interpolation
- block
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/142—Detection of scene cut or scene change
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开了一种分布式视频压缩感知中帧内最佳匹配插值重构方法,在多假设预测模型的基础上,根据自然像素连续特性,基于传统帧内多假设预测,采用测量域块结构相似性作为失真标准在待重构帧中选取出最佳匹配块,在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。关键帧采用帧内最佳匹配插值法生成边信息,非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,联合残差补偿重构出对应帧。本发明能够充分考虑运动剧烈的视频场景中帧间空时运动造成的像素不对齐特性,且插值法使残差信号更稀疏,解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。
Description
技术领域
本发明涉及一种分布式视频压缩感知中帧内最佳匹配插值重构方法,属于视频图像处理技术领域。
背景技术
目前,信息社会正朝着数字化、网络化和智能化方向快速发展,采用视频传感构建的无线传感器网络来实现现场实时视频感知的应用需求日益增加。由于视频信号复杂,信号传输过程流量大,并且通信资源有限,所以使得视频图像通信面临较大的挑战。当下,引起较多关注的是分布式视频压缩感知(DistributedCompressive VideoSensing,DCVS)编码方式,它结合了分布式视频编码(Distributed Video Coding,DVC)与压缩感知(Compressive Sensing,CS),充分利用了两者的优点,非常适用于资源受限制的通信传输场合。
在DCVS系统中,现有大多数重构算法的主要思想是以前一帧图像作为参考图像,通过挖掘并利用当前图像与参考图像间的相关性信息,对当前图像进行CS重建。目前的CS视频重构策略可分为3类:逐帧独立重构、立体重构和预测—残差重构。逐帧独立重构独立地复原单帧,并未利用时间相关性,导致率失真性能较差;立体重构利用3维(3—Dimensional,3D)变换域稀疏性或视频低秩性作为先验知识,可获得较高的率失真性能,但需要巨大的计算复杂度;预测-残差重构首先利用时间相关性对当前帧作出预测,然后利用图像CS重构算法重构出预测帧与原始帧之间的残差。相比于逐帧独立重建和立体重构策略,预测-残差重构权衡了他们之间的优缺点,能够以适中的复杂度得到良好的率失真性能,因而获得广泛关注。在预测-残差重构方法中,边信息预估精度对于重建质量的影响不可忽视,所以提高预估质量是确保视频重构质量的关键。Mun和Fowler借鉴分布式视频编码框架中边信息的生成方法,基于运动估计/运动补偿的残差重建方案。Do等人基于系数稀疏性假设,提出基于帧间相关性的预测模型,利用已重建帧中的时域相邻块线性表示当前重建帧中的图像块,该方法仅考虑了采用相邻关键帧对当前图像组中的非关键帧进行双向预测的重建结构,当GOP增大时,重建质量会有明显下降。在此基础上,Tramel和Fowler提出基于多重假设(MH)预估模型。其中,基于多假设的边信息预估算法假设待预估的宏块可以利用已经重构好的若干参考帧对应领域内的多个宏块进行稀疏表示,但现有MH预测模型没有充分考虑视频帧间空时运动信息稀疏相关性的问题,对于运动剧烈的视频场景,无法提供非常好的视频重构效果。
发明内容
为解决现有技术的不足,本发明的目的在于提供一种分布式视频压缩感知中帧内最佳匹配插值重构方法,解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。
为了实现上述目标,本发明采用如下的技术方案:
一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,包括如下步骤:
步骤1)采集原始视频,该视频的序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2;分块尺寸:B×B,采用分块测量矩阵为结构化随机测量矩阵ΦB;
将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧;
步骤2)在采集端对关键帧和非关键帧进行以块为单位的测量,得到对应的块测量值;
步骤3)根据接收到的关键帧的块测量值yk采用MH-BCS-SPL(基于离散小波变换域的BCS-SPL)重构算法重构出关键帧的初始重构帧得到帧内自适应初始字典;
步骤4)将已重构的关键帧作为参考帧D1,MH预测模型首先寻找待重构块xt,i在参考帧D1内的最佳匹配块xt,ibest,即
步骤5)由步骤4)在搜索窗口D1内得到最佳匹配块xt,ibest,再以xt,ibest为中心,生成半径为Dk的搜索窗口,k表示当前帧在参考帧中对应的第k个最佳匹配块的序号,此时参考帧就是当前待重构帧,选取以最佳匹配块xt,ibest为中心的搜索窗,Dk作为搜索窗的尺寸参数,控制窗的大小,采用滑动取块的方式选择搜索窗Dk中的参考块集合Bk,即其中表示搜索窗中的第j块,J=(Dk×2+1)2为搜索窗中提取视频参考块的总个数;
步骤6)对搜索窗中的参考块进行帧内插值,来获得帧内最佳匹配插值字典,形成BM插值字典,即在原始像素点的后右方、后下方和后右下方进行像素点插值,插值后的参考块大小是原参考块大小的4倍,提取插值后相同半像素点(0,0)、(0,1/2)、(1/2,0)、(1/2,1/2)按顺序重组,即将原始像素点、插值后右方像素点、插值后下方像素点和插值后右下方像素点按顺序重组,得到4个重组参考块和将其分别向量化得到和将其作为帧内最佳匹配插值字典的列向量,重复步骤5)和步骤6)生成当前待重构块的最佳匹配插值字典,即
其中,表示当前第t帧第i个待重构块的帧内最佳匹配插值字典;
步骤7)利用多假设预测模型中的如下公式计算待重构块的帧内多假设预测值作为边信息:其中即Ht,i为帧内基于多假设预测的最佳匹配插值字典,记为帧内MH-BM插值字典,w是Ht,i中各列的线性组合的列向量,为代表Ht,i中各列的最佳线性组合的列向量,Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K,K=J×4,λ为正则化控制因子,Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵;
步骤8)对于非关键帧,通过块分类后,运动剧烈块分别采用步骤4)-7)的帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,选择两者中的最优边信息作为非关键帧的预测值,相对静止块采用帧间双向最佳匹配法生成边信息;
步骤9)获得关键帧和非关键帧的边信息后,用预测值的测量值减去其边信息的测量值,计算出当前帧残差r的各块压缩感知CS观测向量yr,i,即:
步骤10)重构出残差值rt;
步骤11)将边信息和残差值相加,得到重构的视频帧,即
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤2)的测量过程具体如下:在步骤1)的基础上,对xt,i应用MB×B2的结构化随机测量矩阵ΦB进行测量,得到视频帧的测量值向量yt,i,其长度为MB,其中MB<<B2,记为yt,i=ΦBxt,i,i=1,2,…,n。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤2)、4)、7)、9)中分块测量矩阵Φ与结构化随机测量矩阵ΦB的关系为:其中ΦB为结构化随机测量矩阵(SRM),使用该矩阵生成测量值只需要少量的计算和内存开销,且不需要存储庞大的测量矩阵。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤4)和5)中分块尺寸为B=32,搜索窗口半径D1=Dk=B。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤4)中用MH预测模型在初始重构帧内寻找最佳匹配块时,在测量域采用像素块结构相似性SSIM作为失真标准进行迭代寻找,以整个初始重构帧作为搜索区,根据关键帧测量率的不同进行自适应阈值τs迭代,测量率为0.1-0.2时,迭代阈值即SSIM值,τs=0.99995;测量率为0.3时,τs=0.999995;测量率为0.4和0.5时,τs=0.9999995,最大迭代次数为100次,通过对视频帧测量率自适应调节阈值,降低算法迭代次数,减少耗时,满足视频实时传输的要求,最终在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值;
SSIM定义如下:SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ, x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,xt,i和yt,i是视频序列中第t待重构帧的相邻块,其中Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束最佳匹配策略,迭代计算得最终最佳匹配块,即有
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,μxy分别表示参考图像的亮度均值、标准差以及协方差,σx,σy,σxy分别表示失真图像的亮度均值、标准差以及协方差;C1,C2,C3为常数,取值为10-5~10-8。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤5)中是以步骤4)生成的最佳匹配块为中心,生成最佳匹配搜索窗口,然后在此最佳匹配搜索窗口中对各块进行帧内插值。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤7)中采用正则化矩阵时使用的先验知识为:与目标块越接近的候选块,其所对应的权重越大;相反,其所对应的权重越小。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤7)中利用帧内MH-BM插值字典生成边信息时,采用MH预测模型搜索分块尺寸为B,每个分块中的子块尺寸为b,根据子块尺寸和搜索窗口范围逐渐增加进行帧内多假设预测,每次迭代后子块尺寸和搜索窗口范围增加一倍。当子块尺寸小于块尺寸时,MH预测重构算法采用DDWT(Dual—tree DWT)作为稀疏基;当子块尺寸等于块尺寸时,MH预测重构算法采用RDWT(Redundant DWT)作为稀疏基;
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤8)对非关键帧运动剧烈块采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,选择两者中的最优边信息作为非关键帧的预测值,相对静止块采用帧间双向最佳匹配法生成边信息;
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤8)中,非关键帧中相对静止块采用MH双向最佳匹配方法时,测量率为0.1-0.3时,迭代阈值即SSIM值,τs=0.99995;测量率为0.4和0.5时,τs=0.999995,最大迭代次数为200次。
前述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤10)采用基于离散小波变换域的BCS-SPL方法对残差值进行重构。
本发明所达到的有益效果:
第一,本发明在多假设预测模型的基础上,提出帧内最佳匹配插值法生成最佳匹配插值字典(帧内MH-BM插值字典),基于传统帧内多假设预测,采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块,在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。与现有基于多假设预测的视频重构方案相比,本发明得到的帧内稀疏字典更加稀疏,满足提高运动剧烈场景下视频传输重构质量的要求。
第二,关键帧采用帧内最佳匹配插值法生成边信息,非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,选择两者中的最优边信息作为非关键帧的预测值,相对静止块采用帧间双向最佳匹配法生成边信息,联合残差补偿重构出对应帧。与现有基于多假设预测的视频重构方案相比,本发明能够充分考虑帧间空时运动信息稀疏相关性,在相同的采样率下,能够提高重构视频序列帧质量。满足提高运动剧烈场景下视频传输重构质量的要求。
第三,本发明在测量域计算像素块结构相似性,充分考虑稀疏性,根据视频帧测量率自适应调节阈值,降低算法迭代次数,减少耗时,满足视频实时的要求。
附图说明
图1为本发明一种分布式视频压缩感知中帧内最佳匹配插值重构方法的框架图;
图2为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图;其中,图2(a)是原始图像,图2(b)是BCS算法重构视频帧的示意图,图2(c)是MS算法重构视频帧的示意图,图2(d)是MH-MS算法重构视频帧的示意图,图2(e)是本发明重构后的示意图;
图3为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图;其中,图3(a)是原始图像,图3(b)是BCS算法重构视频帧的示意图,图3(c)是MS算法重构视频帧的示意图,图3(d)是MH-MS算法重构视频帧的示意图,图3(e)是本发明重构后的示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
本发明目的在于提出了一种分布式视频压缩感知中帧内最佳匹配插值重构方法,本发明能够充分考虑运动剧烈的视频场景中帧间空时运动造成的像素不对齐特性,且插值法使残差信号更稀疏。本发明解决现有MH预测重构过程在运动剧烈场景中重构视频帧不够清晰的问题。
本发明在多假设(Multiple Hypotheses,MH)预测模型的基础上,根据自然像素连续特性,基于传统帧内多假设预测,采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块,在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典。关键帧采用帧内最佳匹配插值法生成边信息,非关键帧中的运动剧烈块分别采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,联合残差补偿重构出对应帧。在相同的采样率下,能够提高重构视频序列帧质量,并且重构时间没有大幅度增加。为运动剧烈场景下应用分布式视频压缩进一步提高视频重构质量、满足实时要求提供了可能。
此外,在本发明中所提及的帧间双向最佳匹配法所相关的内容采用的是申请人之前的专利,其申请号:201710010302.0,已经公开。
如图1所示,该方法具体步骤如下:
输入:视频序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2;
分块尺寸:B×B,B=32,分块测量矩阵为ΦB;
(1)将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧;
(2)在采集端,对关键帧和非关键帧进行基于块的测量。测量过程具体如下:在步骤1)的基础上,对xt,i应用MB×B2的结构化随机测量矩阵ΦB进行测量,得到视频帧的测量值向量yt,i,其长度为MB,其中MB<<B2,记为yt,i=ΦBxt,i,i=1,2,…,n。
之后在重构端,分别重构关键帧和非关键帧,具体的内容如下面的步骤:
步骤3)根据接收到的关键帧的块测量值yk采用MH-BCS-SPL重构算法重构出关键帧的初始重构帧得到帧内自适应初始字典;
步骤4)将已重构的关键帧作为参考帧D1,MH预测模型首先寻找待重构块xt,i在参考帧D1内的最佳匹配块xt,ibest,即用MH预测模型在初始重构帧内寻找最佳匹配块时,在测量域采用像素块结构相似性SSIM作为失真标准进行迭代寻找,以整个初始重构帧作为搜索区,根据关键帧测量率的不同进行自适应阈值τs迭代,测量率为0.1-0.2时,迭代阈值即SSIM值,τs=0.99995;测量率为0.3时,τs=0.999995;测量率为0.4和0.5时,τs=0.9999995,最大迭代次数为100次,通过对视频帧测量率自适应调节阈值,降低算法迭代次数,减少耗时,满足视频实时传输的要求,最终在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值;
SSIM定义如下:SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ, x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,xt,i和yt,i是视频序列中第t待重构帧的相邻块,其中Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束最佳匹配策略,迭代计算得最终最佳匹配块,即有
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,μxy分别表示参考图像的亮度均值、标准差以及协方差,σx,σy,σxy分别表示失真图像的亮度均值、标准差以及协方差;C1,C2,C3为常数,取值为10-5~10-8。
步骤5)由步骤4)在搜索窗口D1内得到最佳匹配块xt,ibest,再以xt,ibest为中心,生成半径为Dk的搜索窗口,k表示当前帧在参考帧中对应的第k个最佳匹配块的序号,此时参考帧就是当前待重构帧,选取以最佳匹配块xt,ibest为中心的搜索窗,Dk作为搜索窗的尺寸参数,控制窗的大小,采用滑动取块的方式选择搜索窗Dk中的参考块集合Bk,即其中表示搜索窗中的第j块,J=(Dk×2+1)2为搜索窗中提取视频参考块的总个数;
步骤6)对搜索窗中的参考块进行帧内插值,来获得帧内最佳匹配插值字典,形成BM插值字典,即在原始像素点的后右方、后下方和后右下方进行像素点插值,插值后的参考块大小是原参考块大小的4倍,提取插值后相同半像素点(0,0)、(0,1/2)、(1/2,0)、(1/2,1/2)按顺序重组,即将原始像素点、插值后右方像素点、插值后下方像素点和插值后右下方像素点按顺序重组,得到4个重组参考块和将其分别向量化得到和将其作为帧内最佳匹配插值字典的列向量,重复步骤6)和步骤7)生成当前待重构块的最佳匹配插值字典,即
其中,表示当前第t帧第i个待重构块的帧内最佳匹配插值字典;
步骤7)利用多假设预测模型中的如下公式计算待重构块的帧内多假设预测值作为边信息:其中即Ht,i为帧内基于多假设预测的最佳匹配插值字典,记为帧内MH-BM插值字典,w是Ht,i中各列的线性组合的列向量,为代表Ht,i中各列的最佳线性组合的列向量,Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K,K=J×4,λ为正则化控制因子,Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵。
本步骤中采用正则化矩阵时使用的先验知识为:与目标块越接近的候选块,其所对应的权重越大;相反,其所对应的权重越小。
利用帧内MH-BM插值字典生成边信息时,采用MH预测模型搜索分块尺寸为B,每个分块中的子块尺寸为b,根据子块尺寸和搜索窗口范围逐渐增加进行帧内多假设预测,每次迭代后子块尺寸和搜索窗口范围增加一倍。当子块尺寸小于块尺寸时,MH预测重构算法采用DDWT(Dual—tree DWT)作为稀疏基;当子块尺寸等于块尺寸时,MH预测重构算法采用RDWT(Redundant DWT)作为稀疏基;
步骤8)对于非关键帧,通过块分类后,运动剧烈块分别采用步骤4)-8)的帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,选择两者中的最优边信息作为非关键帧的预测值,相对静止块采用帧间双向最佳匹配法生成边信息。
非关键帧中相对静止块采用MH双向最佳匹配方法时,测量率为0.1-0.3时,迭代阈值即SSIM值,τs=0.99995;测量率为0.4和0.5时,τs=0.999995,最大迭代次数为200次。
步骤9)获得关键帧和非关键帧的边信息后,用预测值的测量值减去其边信息的测量值,计算出当前帧残差r的各块压缩感知CS观测向量yr,i,即:
步骤10)采用用基于离散小波变换域的BCS-SPL方法对残差值进行重构出残差值rt;
步骤11)将边信息和残差值相加,得到重构的视频帧,即
在实施例中,
步骤2)、4)、7)、9)中分块测量矩阵Φ与结构化随机测量矩阵ΦB的关系为:其中ΦB为结构化随机测量矩阵(SRM),使用该矩阵生成测量值只需要少量的计算和内存开销,且不需要存储庞大的测量矩阵。
步骤4)和5)中分块尺寸为B=32,搜索窗口半径D1=Dk=B。
下面结合附图对本发明方法的效果做进一步说明:
以CIF格式(352×288)的标准测式序列Foreman、Susie、Football的前100帧作为测试序列帧,Foreman、Susie序列偶数帧为非关键帧,Football序列奇数帧为非关键帧,块测量矩阵为SAM,分块尺寸B=32,搜索窗口半径D1=D2=B,正则化参数λ=0.15,最大迭代次数为200次。由两个连续残差重构图像之间的SSIM值作为图像重构时的阈值,测量率为0.1-0.3时,τs=0.99995,测量率为0.4和0.5时,τs=0.999995。采用BCS-SPL-DDWT进行帧内初始重构,采用MS-BCS-SPL-DWT对非关键帧残差值进行重构。对比方法为基于分块压缩的BCS-SPL和MS-BCS-SPL,基于MH预测模型的MH-MS-BCS算法。
图2为本发明方法与现有技术在测量率为0.2时重构出的Foreman第2帧的主观视觉对比图。本发明方法重构PSNR值为36.5dB,其他方法重构PSNR值最高为33.8dB,本发明方法提高了2.7dB,观察各重构视频帧,明显本方法具有最好的主观视觉质量。
图3为本发明方法与现有技术在测量率为0.2时重构出的Football第59帧的主观视觉对比图。本发明方法重构PSNR值为30.0dB,其他方法重构PSNR值最高为27.6dB,本发明方法提高了2.4dB,观察各重构视频帧,明显本方法具有最好的主观视觉质量。
本发明方法通过在帧内采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块,在以最佳匹配块为中心的搜索窗口内采用插值法构成MH最佳匹配插值字典,使得利用MH预测模型进行帧内重构时能够充分考虑视频帧间空时运动信息相关性,重构出的视频帧质量更高,可以获得更好的主观视觉效果。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,包括如下步骤:
步骤1)采集原始视频,该视频的序列帧xt有N=Ic×Ir个像素,分成n个大小为B×B的块,第i个块的列向量形式记为xt,i,i=1,...,n,n=N/B2;分块尺寸:B×B,采用分块测量矩阵为结构化随机测量矩阵ΦB;
将原始视频流拆分为关键帧和非关键帧,奇数帧为关键帧,偶数帧为非关键帧;或者偶数帧为关键帧,奇数帧为非关键帧;
步骤2)在采集端对关键帧和非关键帧进行以块为单位的测量,得到对应的块测量值;
步骤3)根据接收到的关键帧的块测量值yk采用MS-BCS-SPL重构算法重构出关键帧的初始重构帧得到帧内自适应初始字典;
步骤4)将已重构的关键帧作为参考帧D1,MH预测模型首先寻找待重构块xt,i在参考帧D1内的最佳匹配块xt,ibest,即
步骤5)由步骤4)在搜索窗口D1内得到最佳匹配块xt,ibest,再以xt,ibest为中心,生成半径为Dk的搜索窗口,k表示当前帧在参考帧中对应的第k个最佳匹配块的序号,此时参考帧就是当前待重构帧,选取以最佳匹配块xt,ibest为中心的搜索窗,Dk作为搜索窗的尺寸参数,控制窗的大小,采用滑动取块的方式选择搜索窗Dk中的参考块集合Bk,即其中表示搜索窗中的第j块,J=(Dk×2+1)2为搜索窗中提取视频参考块的总个数;
步骤6)对搜索窗中的参考块进行帧内插值,来获得帧内最佳匹配插值字典,形成BM插值字典,即在原始像素点的后右方、后下方和后右下方进行像素点插值,插值后的参考块大小是原参考块大小的4倍,提取插值后相同半像素点(0,0)、(0,1/2)、(1/2,0)、(1/2,1/2)按顺序重组,即将原始像素点、插值后右方像素点、插值后下方像素点和插值后右下方像素点按顺序重组,得到4个重组参考块和将其分别向量化得到和将其作为帧内最佳匹配插值字典的列向量,重复步骤5)和步骤6)生成当前待重构块的最佳匹配插值字典,即
其中,表示当前第t帧第i个待重构块的帧内最佳匹配插值字典;
步骤7)利用多假设预测模型中的如下公式计算待重构块的帧内多假设预测值作为边信息:其中即Ht,i为帧内基于多假设预测的最佳匹配插值字典,记为帧内MH-BM插值字典,yt,i为视频帧的测量值向量,w是Ht,i中各列的线性组合的列向量,为代表Ht,i中各列的最佳线性组合的列向量,Γ为正则化矩阵,ht,i是Ht,i的列,i=1,...,K,K=J×4,λ为正则化控制因子,Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵;
步骤8)对于非关键帧,通过块分类后,分别对运动剧烈块和相对静止块生成边信息;
步骤9)获得关键帧和非关键帧的边信息后,用预测值的测量值减去其边信息的测量值,计算出当前帧残差r的各块压缩感知CS观测向量yr,i,即:
步骤10)重构出残差值rt;
步骤11)将边信息和残差值相加,得到重构的视频帧,即
2.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤2)的测量过程具体如下:在步骤1)的基础上,对xt,i应用MB×B2的结构化随机测量矩阵ΦB进行测量,得到视频帧的测量值向量yt,i,其长度为MB,其中MB<<B2,记为yt,i=ΦBxt,i,i=1,2,…,n。
3.根据权利要求2所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤7)中分块测量矩阵Φ与结构化随机测量矩阵ΦB的关系为:其中ΦB为结构化随机测量矩阵。
4.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤1)中分块尺寸为B=32,所述步骤4)和5)中搜索窗口半径D1=Dk=B。
5.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤4)中用MH预测模型在初始重构帧内寻找最佳匹配块时,在测量域采用像素块结构相似性SSIM作为失真标准进行迭代寻找,以整个初始重构帧作为搜索区,根据关键帧测量率的不同进行自适应阈值τs迭代,测量率为0.1-0.2时,迭代阈值即SSIM值,τs=0.99995;测量率为0.3时,τs=0.999995;测量率为0.4和0.5时,τs=0.9999995,最大迭代次数为100次;
SSIM定义如下:SSIM(x,y)=[l(x,y)]α[c(x,y)]β[s(x,y)]γ, x,y分别为当前帧和参考帧中对应的视频帧块测量值,即x=Φxt,i,y=Φyt,i,xt,i和yt,i是视频序列中第t待重构帧的相邻块,其中Φ是由结构化随机测量矩阵ΦB作为对角元素的分块测量矩阵,由上式计算测量域的SSIM,根据像素块在测量域结构相似性约束最佳匹配策略,迭代计算得最终最佳匹配块,即有
其中l(x,y),c(x,y),s(x,y)分别代表亮度、对比度、结构比较函数;μx,μy,μxy分别表示参考图像的亮度均值、标准差以及协方差,σx,σy,σxy分别表示失真图像的亮度均值、标准差以及协方差;C1,C2,C3为常数,取值为10-5~10-8。
6.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤5)中是以步骤4)生成的最佳匹配块为中心,生成最佳匹配搜索窗口,然后在此最佳匹配搜索窗口中对各块进行帧内插值。
7.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤7)中利用帧内MH-BM插值字典生成边信息时,采用MH预测模型搜索分块尺寸为B,每个分块中的子块尺寸为b,根据子块尺寸和搜索窗口范围逐渐增加进行帧内多假设预测,每次迭代后子块尺寸和搜索窗口范围增加一倍;当子块尺寸小于块尺寸时,MH预测重构算法采用DDWT作为稀疏基;当子块尺寸等于块尺寸时,MH预测重构算法采用RDWT作为稀疏基。
8.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤8)对非关键帧运动剧烈块采用帧内最佳匹配插值法和帧间双向最佳匹配法生成边信息并判决,选择两者中的最优边信息作为非关键帧的预测值,相对静止块采用帧间双向最佳匹配法生成边信息。
9.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤8)中,非关键帧中相对静止块采用MH双向最佳匹配方法时,测量率为0.1-0.3时,迭代阈值即SSIM值,τs=0.99995;测量率为0.4和0.5时,τs=0.999995,最大迭代次数为200次。
10.根据权利要求1所述的一种分布式视频压缩感知中帧内最佳匹配插值重构方法,其特征是,所述步骤10)采用基于离散小波变换域的BCS-SPL方法对残差值进行重构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810057980.7A CN108259916B (zh) | 2018-01-22 | 2018-01-22 | 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810057980.7A CN108259916B (zh) | 2018-01-22 | 2018-01-22 | 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108259916A CN108259916A (zh) | 2018-07-06 |
CN108259916B true CN108259916B (zh) | 2019-08-16 |
Family
ID=62726891
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810057980.7A Active CN108259916B (zh) | 2018-01-22 | 2018-01-22 | 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108259916B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109284671B (zh) * | 2018-08-02 | 2022-02-22 | 哈尔滨工程大学 | 一种基于asmp阈值最优和低通滤波的海水温度场重构算法 |
CN110933423B (zh) * | 2018-09-20 | 2022-03-25 | 杭州海康威视数字技术股份有限公司 | 帧间预测方法和设备 |
CN109743571B (zh) * | 2018-12-26 | 2020-04-28 | 西安交通大学 | 一种基于并行压缩感知多层残差系数的图像编码方法 |
CN109934882B (zh) * | 2019-01-30 | 2023-04-25 | 东华大学 | 基于动态挑选多假设匹配块的视频压缩感知重构方法 |
CN110072105B (zh) * | 2019-05-07 | 2020-12-01 | 武汉大学深圳研究院 | 一种联合边信息的分布式视频压缩采样重建方法 |
CN112637599B (zh) * | 2020-12-02 | 2022-09-06 | 哈尔滨工业大学(深圳) | 一种基于分布式压缩视频感知系统的新型重构方法 |
CN112822520B (zh) * | 2020-12-31 | 2023-06-16 | 武汉球之道科技有限公司 | 一种在线赛事视频的服务器编码方法 |
CN115633216B (zh) * | 2022-09-05 | 2024-05-28 | 北京智源人工智能研究院 | 时域运动一致性视频生成模型的训练方法和视频生成方法 |
CN117579833B (zh) * | 2024-01-12 | 2024-04-05 | 合肥六角形半导体有限公司 | 一种视频压缩电路及芯片 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
CN103297782A (zh) * | 2013-06-08 | 2013-09-11 | 河海大学常州校区 | 分布式视频压缩感知系统中基于区域划分的重构方法 |
CN106888024A (zh) * | 2017-01-06 | 2017-06-23 | 南京邮电大学 | 一种基于双向最佳匹配的分布式视频压缩感知重构方法 |
CN107155112A (zh) * | 2017-05-24 | 2017-09-12 | 湖北工业大学 | 一种多假设预测的压缩感知视频处理方法 |
CN107277537A (zh) * | 2017-07-20 | 2017-10-20 | 南京邮电大学 | 一种基于时间相关性的分布式视频压缩感知采样方法 |
-
2018
- 2018-01-22 CN CN201810057980.7A patent/CN108259916B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102427527A (zh) * | 2011-09-27 | 2012-04-25 | 西安电子科技大学 | 基于分布式视频压缩感知系统非关键帧的重构方法 |
CN103297782A (zh) * | 2013-06-08 | 2013-09-11 | 河海大学常州校区 | 分布式视频压缩感知系统中基于区域划分的重构方法 |
CN106888024A (zh) * | 2017-01-06 | 2017-06-23 | 南京邮电大学 | 一种基于双向最佳匹配的分布式视频压缩感知重构方法 |
CN107155112A (zh) * | 2017-05-24 | 2017-09-12 | 湖北工业大学 | 一种多假设预测的压缩感知视频处理方法 |
CN107277537A (zh) * | 2017-07-20 | 2017-10-20 | 南京邮电大学 | 一种基于时间相关性的分布式视频压缩感知采样方法 |
Non-Patent Citations (3)
Title |
---|
Block-based Compressive Sensing Coding of Natural Images by Local Structural Measurement Matrix;Xinwei Gao等;《IEEE explore》;20151231;全文 |
基于冗余字典的信号超完备表示与稀疏分解;张春梅;《科学通报》;20060331;全文 |
基于压缩感知的分布式视频编码研究;武明虎;《中国博士学位论文全文数据库》;20150531;全文 |
Also Published As
Publication number | Publication date |
---|---|
CN108259916A (zh) | 2018-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108259916B (zh) | 一种分布式视频压缩感知中帧内最佳匹配插值重构方法 | |
CN106888024B (zh) | 一种基于双向最佳匹配的分布式视频压缩感知重构方法 | |
CN100527842C (zh) | 基于背景的运动估计编码方法 | |
CN107396124B (zh) | 基于深度神经网络的视频压缩方法 | |
CN100463527C (zh) | 一种多视点视频图像视差估计的方法 | |
CN111355956B (zh) | 一种hevc帧内编码中基于深度学习的率失真优化快速决策系统及其方法 | |
CN110852964A (zh) | 一种基于深度学习的图像比特增强方法 | |
CN110087087A (zh) | Vvc帧间编码单元预测模式提前决策及块划分提前终止方法 | |
CN108347612B (zh) | 一种基于视觉注意机制的监控视频压缩与重构方法 | |
CN108924558B (zh) | 一种基于神经网络的视频预测编码方法 | |
CN101710993A (zh) | 基于块的自适应超分辨率视频处理方法及系统 | |
CN111464814B (zh) | 一种基于视差引导融合的虚拟参考帧生成方法 | |
CN106385584B (zh) | 基于空域相关性的分布式视频压缩感知自适应采样编码方法 | |
CN101980538B (zh) | 一种基于分形的双目立体视频压缩编解码方法 | |
CN112004085A (zh) | 一种场景语义分割结果指导下的视频编码方法 | |
CN112381866B (zh) | 一种基于注意力机制的视频比特增强方法 | |
CN104602028A (zh) | 一种立体视频b帧整帧丢失错误隐藏方法 | |
CN109120931A (zh) | 一种基于帧间相关性的流媒体视频压缩方法 | |
CN103037218A (zh) | 一种基于分形和h.264的多目立体视频压缩与解压缩方法 | |
CN108769696A (zh) | 一种基于Fisher判别式的DVC-HEVC视频转码方法 | |
CN102316323B (zh) | 一种快速的双目立体视频分形压缩与解压缩方法 | |
CN103051894A (zh) | 一种基于分形和h.264的双目立体视频压缩与解压缩方法 | |
CN106791869B (zh) | 基于光场子孔径图像相对位置关系的快速运动搜索方法 | |
CN114202463B (zh) | 面向云端融合的视频超分辨率方法及系统 | |
CN112637599B (zh) | 一种基于分布式压缩视频感知系统的新型重构方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |