CN105338357B - 一种分布式视频压缩感知编解码方法 - Google Patents

一种分布式视频压缩感知编解码方法 Download PDF

Info

Publication number
CN105338357B
CN105338357B CN201510628176.6A CN201510628176A CN105338357B CN 105338357 B CN105338357 B CN 105338357B CN 201510628176 A CN201510628176 A CN 201510628176A CN 105338357 B CN105338357 B CN 105338357B
Authority
CN
China
Prior art keywords
module
video
coding
estimation
side information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510628176.6A
Other languages
English (en)
Other versions
CN105338357A (zh
Inventor
武明虎
鲁亚琪
刘敏
赵楠
孔祥斌
汪洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenglong Electric Group Co Ltd
Original Assignee
Hubei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Technology filed Critical Hubei University of Technology
Priority to CN201510628176.6A priority Critical patent/CN105338357B/zh
Publication of CN105338357A publication Critical patent/CN105338357A/zh
Application granted granted Critical
Publication of CN105338357B publication Critical patent/CN105338357B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

视频信号的分布式压缩感知编码是实现视频信号高效传输的基础和关键,针对分布式压缩感知编码中的边信息准确获取和重建算法问题,本发明通过运动搜索和单应性矩阵补偿时间插值获得边信息,在解码端接收到陪集索引后即可融合边信息进行解码。在联合解码重构时引入Huber‑Markov随机场先验概率模型对解码像素点进行平滑性约束,获得更佳重建质量。该基于压缩感知的分布式视频编解码技术方法采用“独立编码,联合解码”的方法,将复杂度从编码端转移到解码端,使得编码运算复杂度低,适合无线网络中资源受限的视频编码设备。

Description

一种分布式视频压缩感知编解码方法
技术领域
本发明属于压缩感知和分布式视频编码技术领域,具体涉及一种分布式视频压缩感知编解码方法。
背景技术
在以H.26x和MPEG系列标准为代表的传统视频编码框架中,编码端承担了变换、量化、熵编码以及运动估计/运动补偿等大量的运算。其中,运动估计和运动补偿占据了整个系统大部分的运算量,导致编码端的计算量和复杂度远大于解码端。因此,这些编解码方式非常适用于一次编码多次解码的视频系统,例如广播电视、VOD和DVD等。
然而在有些视频应用场景,例如移动视频通信、无线视频监控和无线摄像机等新的视频应用,其视频系统通常具有编码器复杂度低,而解码器可进行高复杂度运算的特点。对于这一类视频应用,显然不适合采用传统的视频编码方法。
有鉴于此,有必要提供一种分布式视频压缩感知编解码方法,以解决上述问题。
发明内容
为了克服上述现有技术存在的不足,本发明的目的在于提供一种基于压缩感知的分布式视频编解码方法,将运算量巨大的运动估计和运动补偿从编码端转移到解码端,在保证压缩效率的前提下,大大降低编码器的复杂度。
为了达到上述目的,本发明所采用的技术方案是:
一种分布式视频压缩感知编解码方法,其特征在于,包括相互通信连接的编码端和解码端,其中编码端包括自适应CS随机测量模块、码率控制模块和MPEG/H.264帧内编码模块,该自适应CS随机测量模块同码率控制模块相通信连接,码率控制模块同MPEG/H.264帧内编码模块相通信连接;所述的解码端内包括最优观测值生成模块、联合视频稀疏模型的CS重建模块、运动估计和估算边信息模块、H.264帧内解码模块和加法器,该最优观测值生成模块同联合视频稀疏模型的CS重建模块相通信连接,联合视频稀疏模型的CS重建模块与运动估计和估算边信息模块相通信连接,运动估计和估算边信息模块同H.264帧内解码模块相通信连接,联合视频稀疏模型的CS重建模块和H.264帧内解码模块同加法器相通信连接。
如上所述的分布式视频压缩感知编解码方法,其特征在于:解码端内的运动估计和估算边信息模块,来自视角内的边信息采用运动补偿空间插值方式来估计产生,而来自视角间的边信息则采用单应性矩阵补偿视角间插值得到。
如上所述的分布式视频压缩感知编解码方法,其特征在于:解码端内的联合视频稀疏模型的CS重建模块,将接收到陪集索引后,通过运动搜索和单应性矩阵补偿时间插值获取边信息。
如上所述的分布式视频压缩感知编解码方法,其特征在于:所述的解码端在联合解码重构中引入Huber-Markov随机场的先验概率模型,对解码像素点做平滑性约束。
如上所述的分布式视频压缩感知编解码方法,其特征在于:输入视频流在编码端处被分为两支,即CS-帧和关键帧两部分,一支CS-帧流入自适应CS随机测量模块,经过自适应CS随机测量后发送到解码端内的最优观测值生成模块,将观测到的值发送给联合视频稀疏模型的CS重建模块,同时最优观测值生成模块也将观测值反馈给编码端内的码率控制模块,另一支关键帧流入MPEG/H.264帧内编码模块,经过MPEG/H.264帧内编码后发送到解码端内的H.264帧内解码模块进行解码;在解码端内,将MPEG/H.264帧内编码模块传送过来的关键帧经过H.264帧内解码模块直接进行重建,对于传来的CS-帧在经过最优观测值生成模块后,传入联合视频稀疏模型的CS重建模块,CS-帧流在该联合视频稀疏模型的CS重建模块中与经过H.264帧内解码模块再传入运动估计和估算边信息模块后获取的准确预测边信息进行联合重建;经联合视频稀疏模型的CS重建模块输出的联合重建CS-帧信息流一部分作为视频质量信息反馈到编码端内的码率控制模块,另一部分与H.264帧内解码模块输出的重建关键帧信息流相加,得到重建输出视频流,同时,编码端内的码率控制模块,接收到编码端中最优观测值生成模块和联合视频稀疏模型的CS重建模块的反馈信息后,在编码端中调控自适应CS随机测量模块和MPEG/H.264帧内编码模块,以得到更好重建视频输出。
本发明的有益效果是:本发明提供的基于压缩感知的分布式视频编解码方法,通过将联合视频稀疏模型的CS重建模块和运动估计和估算边信息模块融合进分布式视频编解码系统,采用运动搜索和单应性矩阵补偿时间插值获得边信息,解码端接收到陪集索引后即可融合边信息进行解码。在联合解码重构时引入Huber-Markov随机场先验概率模型对解码像素点进行平滑性约束,获得更佳重建质量。解码后的视频质量客观评价信息反馈至编码端,以调整视频流采样率和帧率,实现速率自适应控制。该基于压缩感知的分布式视频编解码技术方法采用“独立编码,联合解码”的方法,将复杂度从编码端转移到解码端,使得编码运算复杂度低,适合无线网络中资源受限的视频编码设备。
附图说明
图1是本发明的分布式视频压缩感知编解码方法的结构示意图。
图2是本发明的分布式视频压缩感知编解码方法的原理结构图。
图3是数据矩阵Xp的构造示意图(P帧情形)。
附图中的符号说明:101-编码端,102-解码端,1-自适应CS随机测量模块,2-码率控制模块,3-MPEG/H.264帧内编码模块,4-最优观测值生成模块,5-联合视频稀疏模型的CS重建模块,6-运动估计和估算边信息模块,7-H.264帧内解码模块,8-加法器。
具体实施方式
为了更好地理解本发明,下面结合实施例进一步阐明本发明的内容,但本发明的内容不仅仅局限于下面的实施例。本领域技术人员可以对本发明作各种改动或修改,这些等价形式同样在本申请所列权利要求书限定范围之内。
如图1所示,基于压缩感知的分布式视频编解码方法,包括相互通信连接的编码端101和解码端102,其中编码端101包括自适应CS随机测量模块1,码率控制模块2和MPEG/H.264帧内编码模块3。
在分布式压缩感知视频编码结构中,在编码端将视频序列分成关键帧(K帧)和非关键帧(CS帧)。对关键帧用H.264或高采样的CS进行编码;对非关键帧用CS随机测量,经量化和熵编码后传到解码端。
自适应CS随机测量模块1中将非关键帧中N=Ic×Ir个像素的视频帧xt分成L个尺寸为B×B的块,第n个块的列向量形式记为xtn,然后使用相同的高斯随机测量矩阵ΦB对xtn进行测量,得到相应的长度为MB的观测值向量ytn,上述过程可记为:
ytn=ΦB·xtn,n=1,2,…,L
且定义测量率S=MB/B2。由于对非关键帧进行联合CS重构时,前后参考帧的重构质量将对联合重构算法性能产生较大影响,因此关键帧的测量率SNK应远高于非关键帧的测量率SK。关键帧的高测量率也使得其仅利用静止图像CS重建算法进行独立帧内重构就可获得较好的复原质量,故关键帧也称作为I帧。
对于非关键帧,低测量率导致其只有充分利用相邻参考帧的帧间相关性和自身的空间相关性进行联合CS重构,才能获得与关键帧相近的重构质量。若仅参考前一重构帧,则称之为P帧;若参考前后两重构帧,则称之为B帧。利用PCA稀疏基底和非局部相似性正则化项,构造出CS联合重构模型并求解之,可得到当前非关键帧的预测帧(即SI)xSI。为了进一步地提高非关键帧的重构质量,最后再进行残差重构,其步骤如下:
Step 1:初始化:xt (0)=xSI;设定初始迭代k=0,最大迭代次数maxiter=5。
Step 2:计算预测帧与原始非关键帧之间残差的CS观测值,如下:
Step 3:利用BCS-SPL-DCT重构出残差rtn (k),并按下式得到第k+1次迭代解xt (k+1)
Step 4:k=k+1,若k≤maxiter且||rtn (k)||2≥10-4·N,返回步骤2)继续进行迭代,否则停止迭代。
码率控制模块2将视频信号本身的局部稀疏度和远程联合稀疏度结合起来,确定CS帧的采样率。从压缩感知理论可知,视频信号置的重建质量与采样数密切相关,而采样数M必须满足M≥cKlog(N/K),其中,K为信号Xt的稀疏程度,N为信号的长度,C为一常数。因此,在随机投影前先必须确定每个块的测量数,定义采样率:SR=M/N。局部稀疏度是指信号在某一组基(或字典)下非零系数的个数K。远程联合稀疏度是指视频序列中相邻帧之间具有较高的相似度。我们定义远程联合稀疏度C1,根据CS帧中每个块的局部稀疏度K0和联合K帧中的相对空间块的远程稀疏度C1,确定CS帧中每个块的采样率,通过反馈信道回传给编码端。
由于在解码端没有CS帧的原始数据,无法直接确定局部稀疏度K0,但由于关键帧已经被解码,因此可以利用关键帧对Xt进行预测得到边信息SI,用边信息的稀疏特性代替CS帧的稀疏性。将边信息S1分块,并进行DCT变换,得到每个块的非零DCT系数的个数,记为Kti。再将CS帧Xt前关键帧Xt-1和后关键帧Xt+1的每一个块做方差,如果方差小于某一设定的值,则认为CS帧中的当前块对于关键帧中相对位置的块是相同的,在编码端可以不进行编码,记Cti=0,类似于传统编码中的SIKP模式;否则,记Cti=1。结合局部稀疏度Kti和远程联合稀疏度Cti,可以得到CS帧Xt中每一个块的采样率SRti
其中,SR为给定CS帧的平均采样率,b为CS帧中块的个数。
所述的解码端102内包括最优观测值生成模块4,联合视频稀疏模型的CS重建模块5,运动估计和估算边信息模块6,H.264帧内解码模块7。在解码端,先利用传统的H.264解码或CS重建算法重建关键帧,并通过插值或运动估计等工作计算边信息:再根据边信息和接收到的采样值重构非关键帧。
最优观测值生成模块4首先利用待重构块的CS观测值进行运动估计,搜索到其在相邻帧的最佳匹配块,并利用最佳匹配块的空间邻域块生成数据矩阵,由于数据矩阵包含噪声,再利用PCA训练出数据矩阵的主成份,挑选出较显著的主成份作为最终的稀疏基底以抑制噪声。以P帧情形为例,具体的构造步骤如下:
Step 1:设当前非关键帧待重构块xtn的CS观测值为ytn,由于高斯随机测量矩阵ΦB具有受限等距性(Restricted Isometry Property,RIP),因此xtn与其相邻帧的候选匹配块xcj之间的残差能量在测量域近似保持不变,即
||xtn-xcj||2≈||ytnBxcj||2
那么,基于块匹配的运动估计可在测量域中直接进行,如下:
其中S1是尺寸为2S1×2S1的搜索窗口。如图3所示,以最佳匹配块xbn为中心,作半径为S2的搜索窗口,在窗口内逐像素抽取尺寸为B×B的块xpk,然后拉成列向量并按列排序为数据矩阵Xp=[xp1,xp2,...,xpK],其中K=2S2×2S2
Step 2:由于构成数据矩阵Xp的各块xpk含有噪声,因此直接使用其作为稀疏字典并不是最优方案。采用PCA技术可训练出能够消除块xpk像素间统计冗余的正交变换矩阵P,利用该矩阵对图像子块作变换,可有效地分离数据矩阵Xp的有用信息和噪声。首先,计算Xp的d×d(d=B2)协方差矩阵Ωp,如下:
再计算出协方差矩阵Ωp的d个特征值η1≥η2≥…≥ηd和相对应的规范化特征向量(主成份)p1,p2,…,pd,则可知正交变换矩阵P=[p1,p2,…,pd]。
Step 3:为了能够有效地分离数据矩阵Xp的噪声和有用信息,应寻找到能尽可能稀疏表示Xp中所有块xpn的稀疏字典Dn,即满足如下公式:
其中Λn是Xp在Dn上的系数矩阵,||·||F为Frobenius范数。可从正交变换矩阵P中分离出r个最显著的主成份形成字典Dnr=[p1,p2,…,pr],且在Dnr下的系数矩阵Λnr可简便地计算,即Λnr=DnrT·Xp。上式中的重构误差将随着r的升高而降低,而项||Λnr||1则会升高,所以r的最优值r*可由下式决定:
最后,得到待重构块xtn的稀疏字典Dn=[p1,p2,…,pr*]。
Step 4:利用通过PCA学习到的稀疏字典Dn,构造如下的CS重构模型:
该式可利用GPSR算法求解出xtn在Dn下的稀疏表示系数αtn,最后按下式重构出预测块:
运动估计和估算边信息模块6是将来自视角内的边信息采用运动补偿空间插值方式来估计产生,而来自视角间的边信息则采用单应性矩阵补偿视角间插值得到。
运动补偿空间插值算法描述如下:
Step 1:起始点预测;使用五种预测模式预测运动矢量MV,分别是
(1)中值预测:利用空间相关性,令当前子块的左、上、右上邻块的运动矢量的中间值为预测运动矢量
(2)原点预测:直接令运动矢量为(0,0)。
(3)Uplayer预测:利用H.264运动估计可变宏块划分的特点,从模式l(16x16)到模式7(4x4)的分级搜索顺序,取已求出的同位置上一级、大一倍块的运动矢量。
(4)对应块预测:利用时间相关性,取前一帧同位置块的运动矢量作为预测结果。
(5)相邻参考帧预测:利用时间相关性,令前一参考帧中对应位置块的MV按比例进行预测。
Step 2:对以上MV所指向的点使用非对称十字模板搜索,获得当前的最佳预测起点。随后根据不同起始点的率失真结果使用阈值进行判断,分为非满意区域、满意区域和很满意区域,分别转入Step 3,Step 4,Step 5。
Step 3:对于不满意的块使用如下方式进行搜索:
(1)以目前最优点为中心,用非对称十字型搜索模板进行搜索;获得当前最优点,判断此处是否属于满意或很满意区,跳到相应的Step3或Step4或继续搜索;
(2)以目前最佳点为中心,在方形区域中进行逐点搜索;获得当前最优点,判断此处是否属于满意或很满意区,跳到相应的Step3或Step4或继续搜索;
(3)用不断扩大一倍直径的大六边形模板进行搜索,直至搜索到能符合相应阈值而进入Step3或Step4的搜索点为止;或者搜索模板完全超出搜索窗范围,也结束Step2的搜索。
Step 4:以目前最优点为中心,使用中心六边形模板进行搜索,直至最优点在六边形中心为止。
Step 5:对很满意区域的子块进行搜索。以当前最优点为中心,使用十字形模板进行搜索,直至最优点在十字形模板中心点为止。
单应性矩阵补偿视角间插值将接收到陪集索引后,通过运动搜索和单应性矩阵补偿时间插值获取边信息,采用间接法图像配准,即运用图像间单应性矩阵关系来进行配准。单应性矩阵是一个数学概念,它定义了两幅图像之问的相互关系,一张图像上的任意一点可以在另一张图像上找到对应的点,且对应点惟一,反之亦然。用一个称为单应矩阵的变换矩阵来表示两幅图像对应点之间存在一一对应关系。该矩阵估计算法为:
Step 1:设置金字塔结构尺度因子s和层数L,层内迭代次数nIters,尺度总体最小二乘法的参数,与图像区域模板(ROI)的默认值。彩色转换(将RGB图像转换为HSV图像或其他色彩图像)。使用ROI模板取出感兴趣的图像区域。
Step 2:利用因子s<l产生Img1与Img2的金字塔结构
Step 3:用单位矩阵初始化单应矩阵:H←I3×3
Step 4:分层迭代
for k=1:L
1)对参数作尺度逆变换
hij←s-1·hij,i=1:2,j=1:3
2)对图像的作迭代法估计
for iter=1:nIters
(1)利用H变换得图像f1 (L-k+1)
(2)对用Simoncelli方法计算图像导数。
(3)利用行扩充构造线性模型。
(4)利用STLS估计得到运动参数向量并按将其转换为单应矩阵M。
(5)更新单应矩阵:H←M·H
End
End
边信息(SI)生成描述算法如下:
Step 1:用双边运动估计(BME)进行估计运动向量场(MVF)的内插帧。
Step 2:使用加权矢量中值滤波器来删除运动向量中存在异常的值。
Step 3:为了减少块工件,用自适应重叠块运动补偿(AOBMC)来插入最后的SI。
联合视频稀疏模型的CS重建模块5,联合解码重构中引入Huber-Markov随机场的先验概率模型,对解码像素点做平滑性约束。该先验概率模型如下:
设一个场景的n幅低分辨率图像是由一幅高分辨率图像经过一系列的降噪过程产生的。设所求的高分辨率图像N×1用矢量z表示,低分辨率图像用M×1矢量yk(k为图像序号,k=1,2,···,n)表示,则图像的模型可表示为:
yk=Wkz+ηk
式中,ηk表示加性噪声,故可知,低分辨率图像的像素灰度值可以看作相应的高分辨率图像像素灰度值的加权平均,而权系数由矩阵Wk决定。
图像超分辨率重建算法,最大后验估计超分辨率重建的目的是在已知低分辨率图像序列的情况下,使高分辨率图像的后验概率达到最大,即
根据贝叶斯公式,得
由于上式右端分母部分与z无关,可以直接消去有
对上式右端取对数,并将最大化问题转化为最小化问题得
其中,log Pr(y|z)为最大似然函数的对数;log Pr(z)为z的先验概率的对数。
设图像是分段平滑的,用HMRF对图像的先验概率进行估计,则概率密度函数为
其中,λ为温度系数;ρ(·)为Huber函数
这里,T为Huber函数的阈值;在此选择Laplacian算子作为图像平滑度的测度函数,则
其中
至此,我们可以得到最优化问题的目标函数为
其中,正则化参数α=2σ2/λ。
Huber函数中的参数T可以看作是图像中高频成分与低频成分的分界点。令
其中,ρ为事先确定的高频成分的比率;NT为集合中元素的个数,则T由下式求得
式中,Sortdes(·)表示降序排序。ρ一般选择(0,0.5]区间之内,因为我们通常认为图像中低频部分的能量要高于高频部分。如果无法作出适当的估计,则可以选择ρ=0.5,即认为图像中的高频成分与低频成分是相等的。在图像重建的过程中,不断根据中间结果对T值进行更新,并用新的T值进行下一次迭代,直至求出最优解。该算法总结如下:
Step 1:用插值法得到高分辨率图像的初始估计n=0;
Step 2:用所提出的T值计算方法确定参数T;
Step 3:用梯度下降法对目标函数L(z)进行优化,得到高分辨率图像估计
Step 4:若满足迭代终止条件则迭代结束,否则,转第2步。
如图2所示,所述的基于压缩感知的分布式视频编解码方法为输入视频流在编码端101处被分为两支,即CS-帧和关键帧两部分,一支CS-帧(非关键帧)流入自适应CS随机测量模块1,经过自适应CS随机测量后发送到解码端102内的最优观测值生成模块4,将观测到的值发送给联合视频稀疏模型的CS重建模块5,同时最优观测值生成模块4也将观测值反馈给编码端101内的码率控制模块2。另一支关键帧流入MPEG/H.264帧内编码模块3,经过MPEG/H.264帧内编码后发送到解码端102内的H.264帧内解码模块7进行解码。
在解码端102内,将MPEG/H.264帧内编码模块3传送过来的关键帧经过H.264帧内解码模块7直接进行重建,对于传来的CS-帧(非关键帧)在经过最优观测值生成模块4后,传入联合视频稀疏模型的CS重建模块5,CS-帧(非关键帧)流在该联合视频稀疏模型的CS重建模块5中与经过H.264帧内解码模块7再传入运动估计和估算边信息模块6后获取的准确预测边信息进行联合重建。经联合视频稀疏模型的CS重建模块5输出的联合重建CS-帧信息流一部分作为视频质量信息反馈到编码端101内的码率控制模块2,另一部分与H.264帧内解码模块7输出的重建关键帧信息流相加,最终得到重建的输出视频流。
所述的编码端101内的码率控制模块2,接收到解码端102中最优观测值生成模块4和联合视频稀疏模型的CS重建模块5的反馈信息后,在编码端101中调控自适应CS随机测量模块1和MPEG/H.264帧内编码模块3,以得到更好输出。通过将联合视频稀疏模型的CS重建模块5和运动估计和估算边信息模块6融合进分布式视频编解码系统,采用运动搜索和单应性矩阵补偿时间插值获得边信息,解码端接收到陪集索引后即可融合边信息进行解码。在联合解码重构时引入Huber-Markov随机场先验概率模型对解码像素点进行平滑性约束,获得更佳重建质量。
该基于压缩感知的分布式视频编解码方法采用“独立编码,联合解码”的方法,将复杂度从编码端转移到解码端,使得编码运算复杂度低,适合无线网络中资源受限的视频编码设备。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (4)

1.一种分布式视频压缩感知编解码方法,其特征在于,包括相互通信连接的编码端(101)和解码端(102),其中编码端(101)包括自适应CS随机测量模块(1)、码率控制模块(2)和MPEG/H.264帧内编码模块(3),该自适应CS随机测量模块(1)同码率控制模块(2)相通信连接,码率控制模块(2)同MPEG/H.264帧内编码模块(3)相通信连接;所述的解码端(102)内包括最优观测值生成模块(4)、联合视频稀疏模型的CS重建模块(5)、运动估计和估算边信息模块(6)、H.264帧内解码模块(7)和加法器(8),该最优观测值生成模块(4)同联合视频稀疏模型的CS重建模块(5)相通信连接,联合视频稀疏模型的CS重建模块(5)与运动估计和估算边信息模块(6)相通信连接,运动估计和估算边信息模块(6)同H.264帧内解码模块(7)相通信连接,联合视频稀疏模型的CS重建模块(5)和H.264帧内解码模块(7)同加法器(8)相通信连接;所述的分布式视频压缩感知编码技术方法为:
输入视频流在编码端(101)处被分为两支,即CS-帧和关键帧两部分,一支CS-帧流入自适应CS随机测量模块(1),经过自适应CS随机测量后发送到解码端(102)内的最优观测值生成模块(4),将观测到的值发送给联合视频稀疏模型的CS重建模块(5),同时最优观测值生成模块(4)也将观测值反馈给编码端(101)内的码率控制模块(2),另一支关键帧流入MPEG/H.264帧内编码模块(3),经过MPEG/H.264帧内编码后发送到解码端(102)内的H.264帧内解码模块(7)进行解码;
在解码端(102)内,将MPEG/H.264帧内编码模块(3)传送过来的关键帧经过H.264帧内解码模块(7)直接进行重建,对于传来的CS-帧在经过最优观测值生成模块(4)后,传入联合视频稀疏模型的CS重建模块(5),CS-帧流在该联合视频稀疏模型的CS重建模块(5)中与经过H.264帧内解码模块(7)再传入运动估计和估算边信息模块(6)后获取的准确预测边信息进行联合重建;经联合视频稀疏模型的CS重建模块(5)输出的联合重建CS-帧信息流一部分作为视频质量信息反馈到编码端(101)内的码率控制模块(2),另一部分与H.264帧内解码模块(7)输出的重建关键帧信息流相加,得到重建输出视频流;同时,编码端(101)内的码率控制模块(2),接收到解码端(102)中最优观测值生成模块(4)和联合视频稀疏模型的CS重建模块(5)的反馈信息后,在编码端(101)中调控自适应CS随机测量模块(1)和MPEG/H.264帧内编码模块(3),以得到更好重建视频输出。
2.根据权利要求1所述的分布式视频压缩感知编解码方法,其特征在于:解码端(102)内的运动估计和估算边信息模块(6),来自视角内的边信息采用运动补偿空间插值方式来估计产生,而来自视角间的边信息则采用单应性矩阵补偿视角间插值得到。
3.根据权利要求1或2所述的分布式视频压缩感知编解码方法,其特征在于:解码端(102)内的联合视频稀疏模型的CS重建模块(5),将接收到陪集索引后,通过运动搜索和单应性矩阵补偿时间插值获取边信息。
4.根据权利要求1或2所述的分布式视频压缩感知编解码方法,其特征在于:所述的解码端(102)在联合解码重构中引入Huber-Markov随机场的先验概率模型,对解码像素点做平滑性约束。
CN201510628176.6A 2015-09-29 2015-09-29 一种分布式视频压缩感知编解码方法 Active CN105338357B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510628176.6A CN105338357B (zh) 2015-09-29 2015-09-29 一种分布式视频压缩感知编解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510628176.6A CN105338357B (zh) 2015-09-29 2015-09-29 一种分布式视频压缩感知编解码方法

Publications (2)

Publication Number Publication Date
CN105338357A CN105338357A (zh) 2016-02-17
CN105338357B true CN105338357B (zh) 2018-08-24

Family

ID=55288590

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510628176.6A Active CN105338357B (zh) 2015-09-29 2015-09-29 一种分布式视频压缩感知编解码方法

Country Status (1)

Country Link
CN (1) CN105338357B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931181B (zh) * 2016-04-14 2018-10-26 武汉大学 基于非耦合映射关系的影像超分辨率重建方法及系统
CN105898222B (zh) * 2016-04-26 2018-12-18 国家电网公司 一种图像采集方法及图像采集系统
CN107820084B (zh) * 2016-09-13 2020-02-07 北京金山云网络技术有限公司 一种视频感知编码方法及装置
CN108629237B (zh) * 2017-03-21 2021-11-05 中山大学 基于h.264/avc加密视频的运动异常检测方法
CN107155112A (zh) * 2017-05-24 2017-09-12 湖北工业大学 一种多假设预测的压缩感知视频处理方法
CN110139168B (zh) * 2018-02-02 2021-07-13 中南大学 视频编码方法、装置、计算机设备及存储介质
CN110072105B (zh) * 2019-05-07 2020-12-01 武汉大学深圳研究院 一种联合边信息的分布式视频压缩采样重建方法
CN110392258B (zh) * 2019-07-09 2021-03-16 武汉大学 一种联合时空边信息的分布式多视点视频压缩采样重建方法
CN111046766A (zh) * 2019-12-02 2020-04-21 武汉烽火众智数字技术有限责任公司 一种行为识别方法、装置及计算机存储介质
CN112437300B (zh) * 2020-11-23 2022-04-15 武汉理工大学 一种基于自适应区间重叠因子的分布式视频编码方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494627A (zh) * 2009-03-11 2009-07-29 北京邮电大学 宽带移动通信中利用压缩感知减少导频数的信道估计方法
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
CN102123278A (zh) * 2010-12-10 2011-07-13 北京邮电大学 基于分布式压缩感知技术的信源编码的方法
CN102223536A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的分布式视频编解码系统及其方法
CN102223537A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的多视角分布式视频编解码系统及其方法
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其系统
CN103347188A (zh) * 2013-07-24 2013-10-09 南京邮电大学 一种分布式视频编码非关键帧压缩感知编解码方法
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783459B2 (en) * 2007-02-21 2010-08-24 William Marsh Rice University Analog system for computing sparse codes

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101494627A (zh) * 2009-03-11 2009-07-29 北京邮电大学 宽带移动通信中利用压缩感知减少导频数的信道估计方法
CN101742313A (zh) * 2009-12-10 2010-06-16 北京邮电大学 基于压缩感知技术的分布式信源编码的方法
CN102123278A (zh) * 2010-12-10 2011-07-13 北京邮电大学 基于分布式压缩感知技术的信源编码的方法
CN102223536A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的分布式视频编解码系统及其方法
CN102223537A (zh) * 2011-06-10 2011-10-19 清华大学 基于压缩感知的多视角分布式视频编解码系统及其方法
CN102271256A (zh) * 2011-09-16 2011-12-07 河海大学常州校区 基于模式决策的自适应帧组分布式视频编码和解码方法
CN102857760A (zh) * 2012-09-29 2013-01-02 中国科学院计算技术研究所 一种无反馈的优化码率的分布式视频编解码方法及其系统
CN103347188A (zh) * 2013-07-24 2013-10-09 南京邮电大学 一种分布式视频编码非关键帧压缩感知编解码方法
CN103618907A (zh) * 2013-11-08 2014-03-05 天津大学 基于压缩感知多视点分布式视频编码及帧排列装置及方法

Also Published As

Publication number Publication date
CN105338357A (zh) 2016-02-17

Similar Documents

Publication Publication Date Title
CN105338357B (zh) 一种分布式视频压缩感知编解码方法
CN107105278B (zh) 运动矢量自动生成的视频编解码系统
CN103329522B (zh) 用于使用字典编码视频的方法
KR102011491B1 (ko) 템플릿 매칭을 이용한 영상 부호화 방법 및 장치, 그리고 복호화 방법 및 장치
CN108924558B (zh) 一种基于神经网络的视频预测编码方法
CN102137263A (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN107027025B (zh) 一种基于宏像素块自适应预测的光场图像压缩方法
CN107040782B (zh) 基于拉格朗日方法的视频编码全局率失真优化方法
CN102413323B (zh) 一种基于h.264的视频压缩方法
CN104539961B (zh) 基于分层结构渐进式字典学习的可分级视频编码系统
Zhang et al. Multiple linear regression for high efficiency video intra coding
CN106210721A (zh) 一种hevc快速码率转码方法
CN103002283A (zh) 多视角分布式视频压缩的边信息生成方法
CN110062239A (zh) 一种用于视频编码的参考帧选择方法及装置
CN113822801B (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
CN206698375U (zh) 一种滑动像素块整数dct核心矩阵变换运动补偿器
KR101253917B1 (ko) 움직임 추정 장치 및 그 방법
CN110072105B (zh) 一种联合边信息的分布式视频压缩采样重建方法
KR100788704B1 (ko) 영상 변환 방법 및 그 장치
Gilmutdinov et al. Lossless image compression scheme with binary layers scanning
Wang et al. Lie group transformation models for predictive video coding
Hu et al. Learning neural volumetric field for point cloud geometry compression
Sinha et al. Deep Video Compression using Compressed P-Frame Resampling
CN110392264A (zh) 一种基于神经网络的对齐外插帧方法
Ashika et al. Inter frame coding in advanced video coding standard H. 264 using block based motion compensation technique

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Zhou Shangli

Inventor after: Wu Minghu

Inventor after: Lu Yaqi

Inventor after: Liu Min

Inventor after: Zhao Nan

Inventor after: Kong Xiangbin

Inventor after: Wang Yang

Inventor before: Wu Minghu

Inventor before: Lu Yaqi

Inventor before: Liu Min

Inventor before: Zhao Nan

Inventor before: Kong Xiangbin

Inventor before: Wang Yang

CB03 Change of inventor or designer information
TR01 Transfer of patent right

Effective date of registration: 20220719

Address after: 430000 No. 3-2, Guandong science and Technology Industrial Park, Wuhan City, Hubei Province

Patentee after: SHENGLONG ELECTRIC Co.,Ltd.

Address before: 430068, No. 1, Li Jia, Nanhu Lake, Wuchang, Hubei, Wuhan

Patentee before: HUBEI University OF TECHNOLOGY

TR01 Transfer of patent right