CN102946539B - 基于压缩感知的视频图像帧间运动估计方法 - Google Patents

基于压缩感知的视频图像帧间运动估计方法 Download PDF

Info

Publication number
CN102946539B
CN102946539B CN201210476441.XA CN201210476441A CN102946539B CN 102946539 B CN102946539 B CN 102946539B CN 201210476441 A CN201210476441 A CN 201210476441A CN 102946539 B CN102946539 B CN 102946539B
Authority
CN
China
Prior art keywords
macro block
reference frame
motion
macro
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210476441.XA
Other languages
English (en)
Other versions
CN102946539A (zh
Inventor
宋彬
李玲泉
郭洁
秦浩
刘海啸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Limited By Share Ltd Credit Service
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201210476441.XA priority Critical patent/CN102946539B/zh
Publication of CN102946539A publication Critical patent/CN102946539A/zh
Application granted granted Critical
Publication of CN102946539B publication Critical patent/CN102946539B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

本发明公开了一种基于压缩感知的视频图像帧间运动估计方法,主要解决现有技术在编码过程中难以直接利用运动后宏块测量值进行运动估计的问题。其实现步骤为:(1)对视频序列分组,组内划分参考帧与非参考帧;(2)对每一帧图像进行分块得到每个宏块的列向量;(3)对每一宏块进行压缩感知测量得到各个宏块测量值和运动后宏块的估计测量值;(4)根据衡量估计测量值与真实测量值差异程度的代价函数寻找最优运动估计向量。本发明提出的运动估计方法提取了视频编码过程中的运动信息,减少了编码端所需传输的数据量,可用在压缩感知的视频编解码中。

Description

基于压缩感知的视频图像帧间运动估计方法
技术领域
本发明属于图像处理领域,涉及视频图像的帧间运动估计,可用在压缩感知的视频编解码中。
背景技术
近年来,随着数字信号处理的高速发展,需要处理的数据量正以惊人的速度增大,传统的奈奎斯特(Nyquist)采样定理要求信号的采样频率不低于信号最大频率的两倍,这对信号处理能力和硬件设备提出了更高的要求,为了突破以奈奎斯特采样理论为支撑的信息获取、压缩处理并存储传输的传统信号处理方式,一种新型的将数据采集和数据压缩过程合二为一的压缩感知理论开始成为国内外研究的热点之一。
与传统的奈奎斯特理论适用于带宽受限信号类似,压缩感知理论同样有其信号适用范围。一般来说,对于稀疏或可压缩信号,压缩感知利用其在某种已知基下的稀疏性可以从原理上降低其采样成本,考虑到视频信号在离散余弦变换DCT、小波等基下具有很强的可压缩性,可以将压缩感知理论用于实现视频图像压缩编码中。与传统视频压缩编码相比,压缩感知最主要的优点是可以大大降低视频信号的采集成本,而且在视频采集的同时也实现了视频图像的压缩。尽管应用压缩感知理论能够减少处理/传输的数据量,但将其直接用于视频信号存储/传输,其压缩效率远低于传统的视频压缩方法,主要原因是其未考虑视频帧之间的相关性。在传统视频编码算法中,可以通过帧间运动估计在像素域分析时间相关性,消除视频帧中大量存在的时间冗余,去冗余后残差块的变换域系数非常稀疏,获得较高的压缩效率。
目前,基于压缩感知视频编码端消除时间冗余方法主要是利用视频帧差更稀疏这一特性来进行相关性分析。首先对视频每一帧用相同的测量矩阵进行分块测量;由于视频信号连续帧之间存在较强的相关性,如背景区域较多,帧差信号越稀疏,则所需要的测量数越少。对视频帧测量值做帧差,以约束等距特性RIP为理论基础,根据帧差稀疏程度合理分配测量数目,从而提高编码压缩率。这种视频编码方法的不足是,没有考虑视频信号存在运动信息,造成其压缩效率较低。
北京邮电大学申请的专利“基于分布式压缩感知技术的信源编码的方法”(申请号:CN201010595373.X,公开号:CN102123278A)公开了一种基于视频图像编码方法。在对视频图像信号源编码时,利用视频差值信号更为稀疏的特点,用压缩感知技术对数据帧的差值信号进行低速率采样方法。该方法的不足是,对像素域视频信号做帧差后低速采样显然违背了压缩感知技术的初衷,压缩感知是将采样和压缩合二为一,而该方法先对原始视频信号进行采样做帧差,然后对帧差信号进行压缩感知采样压缩;其次该方法也没有考虑视频信号的运动信息,视频编码压缩效率不高。
发明内容
本发明的目的在于克服上述已有技术的缺点,提出一种基于压缩感知的视频图像帧间运动估计方法,以提取视频信号间的运动信息,在保证解码端能够良好恢复原视频信号的前提下,减少编码端所需传输的数据量,进一步提高压缩采样效率。
实现本发明目的的技术方案是:在测量域直接分析视频帧在像素域上的运动信息,并进行估计,其具体步骤如下:
(1)将视频图像中连续的N帧分为一组,每一组图像的第一帧作为参考帧,其余N-1帧作为非参考帧,其中N为大于等于2的自然数;
(2)将每组视频图像中的参考帧和非参考帧分成n个大小相同,互不重叠的宏块,对每个宏块进行二维到一维变换,得到每个宏块的列向量,其中n为大于1的自然数;
(3)基于压缩感知理论,对所有宏块用相同的测量矩阵进行测量,得到每个宏块的测量值;
(4)在参考帧中搜索与非参考帧当前宏块最匹配的宏块,找出最优估计运动向量:
4a)建立参考帧中某一宏块运动后像素域向量与步骤(2)所划分宏块像素域向量之间的位置关系模型:
x f ( B + mv ) = Γ mv 1 · x f ( B ) + Γ mv 2 · x f ( B T ) + Γ mv 3 · x f ( B R ) + Γ mv 4 · x f ( B TR )
其中,B表示参考帧中与非参考帧中当前块对应位置的宏块;mv是宏块B的一个运动向量;B+mv表示宏块B偏移运动向量mv后得到的宏块,运动后宏块B+mv覆盖了步骤(2)所划分宏块中最多的四个宏块;xf(·)表示宏块对应的像素域向量;i=1,2,3,4是由运动向量mv确定的位置关系矩阵;BT表示运动后宏块B+mv所覆盖的宏块中与宏块B垂直方向相邻的宏块,BR表示运动后宏块B+mv所覆盖的宏块中与宏块B水平方向相邻的宏块,BTR表示运动后宏块B+mv所覆盖的宏块中与宏块B对角的宏块;
4b)根据步骤(3)中所得到的相应宏块的测量值,在参考帧中估计运动后宏块B+mv的测量值
y ~ f ( B + mv ) = Λ mv 1 · y f ( B ) + Λ mv 2 · y f ( B T ) + Λ mv 3 · y f ( B R ) + Λ mv 4 · y f ( B TR )
其中,yf(B)表示参考帧中宏块B的测量值,yf(BT)表示参考帧中宏块BT的测量值,yf(BR)表示宏块BR的测量值,yf(BTR)表示宏块BTR的测量值; 是由运动向量和测量矩阵确定的加权系数矩阵:i=1,2,3,4,其中,Φ为步骤(3)中所用的测量矩阵,该矩阵是由哈达玛矩阵取出的部分矩阵构成,即部分哈达玛矩阵,Φ+表示测量矩阵Φ的伪逆,Φ的行数与列数之比称为测量率MR;
4c)根据参考帧中估计运动后宏块B+mv的测量值在参考帧中搜索与非参考帧当前宏块最匹配的块,找出最优估计运动向量MVB′
MV B ′ = arg min mv ∈ SW Δ ( y ~ ( B + mv ) - y ( B ′ ) ) ,
其中,B′表示非参考帧中的当前宏块,y(B′)表示宏块B′的真实测量值,SW表示参考帧中搜索窗口;表示评价两个测量值和y(B′)差异程度的代价函数,argmin表示求解的值为使后面表达式取最小值的参数mv值。
本发明与现有技术相比,具有如下优点:
第一,本发明提出了一种在测量域直接分析视频帧的帧间运动估计方法,在基于压缩感知采样后,通过测量域上运动后宏块的估计值,在参考帧内搜索与当前帧最匹配的宏块,找出最优估计运动向量,不需要通过复杂的像素域重构来进行运动估计,且这种测量域运动估计方法与像素域运动估计方法等价,能够保证解码端良好恢复原视频信号;
第二,这种运动估计方法能够在编码端提取视频信号存在的运动信息,从而进一步提高视频帧间的时间相关性,增加视频信号差的稀疏度,减少编码端所需传输的数据量,为提高视频编码压缩率奠定了基础。
附图说明
图1是本发明的流程图;
图2是本发明运动搜索参考帧与非参考帧宏块位置关系图;
图3是本发明foreman.qcif序列的视频帧以16×16大小划分宏块后,选取测量率MR=0.1的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真得到的仿真图;
图4是本发明foreman.qcif序列的视频帧以16×16大小划分宏块后,选取测量率MR=0.3的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真得到的仿真图;
图5是本发明foreman.qcif序列的视频帧以16×16大小划分宏块后,选取测量率MR=0.5的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真得到的仿真图;
图6是本发明foreman.qcif序列的视频帧以16×16大小划分宏块后,选取测量率MR=0.7的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真得到的仿真图;
图7是本发明foreman.qcif序列第二帧在测量域上搜索预测重构帧与在像素域上搜索预测重构帧的客观质量对比图。
具体实施方式
下面结合附图1对本发明作进一步的详细描述:
步骤1:将视频序列中连续的N帧视频分成一组,第一帧作为参考帧,其余帧作为非参考帧,其中,自然数N为每组图像的帧数,且N≥2。本发明的具体实施例是N=2,即连续的2帧分成一组,第一帧作为参考帧,第二帧作为非参考帧。
步骤2:将每组视频图像中的参考帧和非参考帧分成n个大小相同的宏块,本发明的具体实施例是将每一帧图像分成大小为16×16互不重叠的宏块,分别对各个宏块进行二维降一维后存储到列向量中,得到每个块的像素域列向量xi,i=1,2,...n,
其中n为大于1的自然数。
步骤3:利用压缩感知技术,对每个宏块用相同测量矩阵进行测量:
3a)构造测量矩阵Φ:
理论证明,约束等距特性RIP是测量矩阵测量结果能够被精确重构的充分条件,满足约束等距特性的测量矩阵主要分三类:如以高斯随机矩阵为代表,矩阵元素独立服从某一分布的矩阵,以部分哈达玛矩阵为代表的部分正交矩阵和以托普利兹矩阵为代表的结构化矩阵;本发明的具体实例是用部分哈达玛矩阵作为测量矩阵;
构造m行n列测量矩阵Φ,列数n即宏块的总个数,行数m为小于等于n的自然数,方法为:首先产生一个大小为n×n的哈达玛矩阵,一个n=8的哈达玛矩阵的举例H如下:
H = 1 1 1 1 1 1 1 1 1 - 1 1 - 1 1 - 1 1 - 1 1 1 - 1 - 1 1 1 - 1 - 1 1 - 1 - 1 1 1 - 1 - 1 1 1 1 1 1 - 1 - 1 - 1 - 1 1 - 1 1 - 1 - 1 1 - 1 1 1 1 - 1 - 1 - 1 - 1 1 1 1 - 1 - 1 1 - 1 1 1 - 1
选取H的第一行即全1的这一行为Φ的第一行,其他m-1行随机选取,这样得到m行n列的测量矩阵Φ;
3b)通过公式yi=Φ·xi对步骤2中得到的各个宏块的列向量xi进行测量,得到各个宏块的测量值yi,i=1,2,...n。
步骤4:在参考帧中搜索窗口内每一个运动向量对应一个宏块,为了遍历搜索窗口内包含的每一个运动向量,每次在参考帧中搜索匹配宏块时都需给定一个不同的运动向量;本发明实例中搜索窗口大小为以当前宏块为中心的3×3宏块,即搜索窗口的像素范围为48×48;若给定运动向量mv=(a,b),其中a、b为整数,则a、b的范围也随着搜索窗口大小的确定而确定,即a取值范围为[-16,+16],b取值范围为[-16,+16];其中,搜索窗口为在参考帧中沿运动向量方向搜索匹配宏块时的搜索区域。
步骤5:建立参考帧中某一宏块运动后像素域向量与步骤2所划分宏块像素域向量之间的位置关系模型:
x f ( B + mv ) = Γ mv 1 · x f ( B ) + Γ mv 2 · x f ( B T ) + Γ mv 3 · x f ( B R ) + Γ mv 4 · x f ( B TR )
其中,B表示参考帧中与非参考帧中当前块对应位置的宏块;mv是宏块B的一个运动向量;B+mv表示宏块B偏移运动向量mv后得到的宏块,运动后宏块B+mv覆盖了步骤2所划分宏块中最多的四个宏块;xf(·)表示宏块对应的像素域向量;i=1,2,3,4是由运动向量mv确定的位置关系矩阵;BT表示运动后宏块B+mv所覆盖的宏块中与宏块B垂直方向相邻的宏块,BR表示运动后宏块B+mv所覆盖的宏块中与宏块B水平方向相邻的宏块,BTR表示运动后宏块B+mv所覆盖的宏块中与宏块B对角的宏块;
下面结合附图2对步骤5的位置关系模型做进一步说明:
图2中图(a)表示参考帧宏块划分图,图2(b)表示非参考帧即当前帧宏块划分图;图2(a)参考帧中宏块B与非参考帧当前宏块B′位置对应,即这两个块在各自所在帧中的位置相同;搜索窗口大小如图2(a)中外圈粗线边框所示,以当前宏块B位置为中心,大小为3×3宏块;运动向量mv方向为以宏块B为中心沿着各个方向搜索,示意图如图2(a)中虚线箭头所示;以右上方向为例,参考帧中运动后宏块位置如图2(a)中虚线框所示,则运动后宏块覆盖了四个宏块:宏块B、宏块BT、宏块BTR、宏块BR
为了对本发明中步骤5中的位置关系矩阵有更充分的理解,以下以具体实例的方式对其做进一步的解释:
【具体实例】
如给定运动向量mv=(1,1),宏块大小为16×16,则参考帧中运动向量对应宏块像素域向量与步骤2划分互不重叠宏块像素域向量之间的位置关系为:
x f ( B + mv ) = Γ mv 1 · x f ( B ) + Γ mv 2 · x f ( B T ) + Γ mv 3 · x f ( B R ) + Γ mv 4 · x f ( B TR )
其中,表示一号位置关系矩阵,
表示二号位置关系矩阵,
表示三号位置关系矩阵,
表示四号位置关系矩阵,
I ~ 3 = 0 E N 0 0 N 2 × N 2 , I ~ 4 = 0 0 E N × ( N - 1 ) 0 N 2 × N 2 ;
I 1 = 0 E N - 1 0 0 N × N , I 2 = 0 0 E 1 0 N × N , EN是N维单位矩阵,EN×(N-1)是对角线上元素都为1,其余元素为0的N×(N-1)矩阵,EN-1是N-1维单位矩阵,E1=[1]。
步骤6:根据步骤3中所得到的相应宏块的测量值,在参考帧中估计运动后
宏块B+mv的测量值
y ~ f ( B + mv ) = Λ mv 1 · y f ( B ) + Λ mv 2 · y f ( B T ) + Λ mv 3 · y f ( B R ) + Λ mv 4 · y f ( B TR )
其中,yf(B)表示参考帧中宏块B的测量值,yf(BT)表示参考帧中宏块BT的测量值,yf(BR)表示宏块BR的测量值,yf(BTR)表示宏块BTR的测量值; 是由运动向量和测量矩阵确定的加权系数矩阵:i=1,2,3,4,其中,Φ为步骤3中所用的部分哈达玛矩阵,Φ+表示测量矩阵Φ的伪逆。
步骤7:计算参考帧中运动后宏块与非参考帧中当前宏块之间的代价函数值
Δ ( y ~ ( B + mv ) - y ( B ′ ) ) :
衡量差异程度的代价函数有很多:如误差平方和SSE、绝对差之和SAD、平均绝对误差MAD,本发明的具体实例是用误差平方和SSE来做代价函数,即:
Δ ( y ~ f ( B + mv ) - y ( B ′ ) ) = | | y ~ f ( B + mv ) - y ( B ′ ) | | 2 2 ,
其中,B′表示非参考帧中当前宏块,y(B′)表示宏块B′的真实测量值,表示向量2范数的平方值。
步骤8:根据代价函数值在参考帧中搜索与非参考帧中当前宏块最匹配的宏块:
代价函数值的大小反映了参考帧中宏块与非参考帧当前宏块的差异程度,即:代价函数值最小的运动向量就是最优估计运动向量;若搜索窗口中未搜索完所有宏块,则返回到步骤4,否则,得出最优估计运动向量MVB′
MV B ′ = arg min mv ∈ SW Δ ( y ~ ( B + mv ) - y ( B ′ ) ) ,
其中,SW表示参考帧中搜索窗口,argmin表示求解的值为使后面表达式取最小值的参数mv值。
下面结合附图对本发明中运动后宏块估计测量值精确程度进一步说明:
1.仿真条件:硬件环境:CPU AMD Sempron3000+,1.8GHz,512MB内存;软件环境:Windows XP,Matlab R2009b;参考序列:foreman.qcif的第一、二帧图像;运动向量:mv=(1,1),分辨率:176×144;测量矩阵为:部分哈达玛矩阵。
2.仿真内容
仿真1:将foreman.qcif序列的第一帧以16×16大小划分宏块,选取测量率MR=0.1的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真,仿真结果如图3所示。其中,图3(a)是运动后宏块估计测量值与运动后宏块真实测量值的二阶距示意图,图3(b)是运动后宏块估计测量值、真实测量值之差的二阶距相对于真实测量值二阶距的相对误差图;
仿真2:将foreman.qcif序列的第一帧以16×16大小划分宏块,选取测量率MR=0.3的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真,仿真结果如图4所示。其中,图4(a)是运动后宏块估计测量值与运动后宏块真实测量值的二阶距示意图,图4(b)是运动后宏块估计测量值、真实测量值之差的二阶距相对于真实测量值二阶距的相对误差图;
仿真3:将foreman.qcif序列的第一帧以16×16大小划分宏块,选取测量率MR=0.5的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真,仿真结果如图5所示。其中,图5(a)是运动后宏块估计测量值与运动后宏块真实测量值的二阶距示意图,图5(b)是运动后宏块估计测量值、真实测量值之差的二阶距相对于真实测量值二阶距的相对误差图;
仿真4:将foreman.qcif序列的第一帧以16×16大小划分宏块,选取测量率MR=0.7的测量矩阵,对参考帧中运动后宏块估计测量值与运动后宏块真实测量值的二阶距的进行仿真,仿真结果如图6所示。其中,图6(a)是运动后宏块估计测量值与运动后宏块真实测量值的二阶距示意图,图6(b)是运动后宏块估计测量值、真实测量值之差的二阶距相对于真实测量值二阶距的相对误差图。
以上四个仿真的所有仿真图的横坐标表示视频帧中的宏块位置索引,其中图3(a)、图4(a)、图5(a)、图6(a)的纵坐标表示运动后宏块估计测量值的二阶距,星号点线表示运动后宏块真实测量值的二阶距,圆圈实线表示运动后宏块用本发明方法估计的测量值的二阶距;图3(b)、图4(b)、图5(b)、图6(b)的纵坐标表示运动后宏块估计测量值、真实测量值之差的二阶距相对于真实测量值二阶距的相对误差。
仿真5:将foreman.qcif序列第一帧和第二帧以4×4大小划分宏块后,将第一帧作为参考帧用传统的压缩感知方法进行测量,重构方法是基追踪方法,基矩阵是离散余弦变换DCT矩阵;第二帧分别用本发明方法测量域运动估计方法和像素域运动估计方法得到运动向量,根据运动向量直接用参考帧的重构帧作为第二帧的预测帧,对这两种方法得到的第二帧的预测图像的峰值信噪比进行仿真,仿真结果如图7所示。图7中圆圈实线表示本发明方法测量域运动估计方法得到的预测图像客观质量曲线,星号虚线表示用像素域运动估计方法得到的预测图像客观质量曲线。图7横坐标表示不同的测量率,纵坐标是第二帧预测图像的峰值信噪比PSNR。
3.仿真结果分析:
从仿真1、仿真2、仿真3、仿真4的仿真图可以看出,运动后宏块估计测量值的二阶距与真实测量值的二阶距相差很小,本发明构造的运动后宏块测量值估计方法是比较精确的。
从仿真5的仿真图中可以看出,用本发明方法与用像素域运动估计方法得到的图像客观质量近似,因此可以得出结论本发明方法用于视频帧间运动估计是比较精确的。

Claims (2)

1.一种基于压缩感知的视频图像帧间运动估计方法,包括:
(1)将视频图像中连续的N帧分为一组,每一组图像的第一帧作为参考帧,其余N-1帧作为非参考帧,其中N为大于等于2的自然数;
(2)将每组视频图像中的参考帧和非参考帧分成n个大小相同,互不重叠的宏块,对每个宏块进行二维到一维变换,得到每个宏块的列向量,其中n为大于1的自然数;
(3)基于压缩感知理论,对所有宏块用相同的测量矩阵进行测量,得到每个宏块的测量值;
(4)在参考帧中搜索与非参考帧当前宏块最匹配的宏块,找出最优估计运动向量:
4a)建立参考帧中某一宏块运动后像素域向量与步骤(2)所划分宏块像素域向量之间的位置关系模型:
x f ( B + mv ) = Γ mv 1 · x f ( B ) + Γ mv 2 · x f ( B T ) + Γ mv 3 · x f ( B R ) + Γ mv 4 · x f ( B TR )
其中,B表示参考帧中与非参考帧中当前块对应位置的宏块;mv是宏块B的一个运动向量;B+mv表示宏块B偏移运动向量mv后得到的宏块,运动后宏块B+mv覆盖了步骤(2)所划分宏块中最多的四个宏块;xf(·)表示宏块对应的像素域向量;i=1,2,3,4是由运动向量mv确定的位置关系矩阵;BT表示运动后宏块B+mv所覆盖的宏块中与宏块B垂直方向相邻的宏块,BR表示运动后宏块B+mv所覆盖的宏块中与宏块B水平方向相邻的宏块,BTR表示运动后宏块B+mv所覆盖的宏块中与宏块B对角的宏块;
4b)根据步骤(3)中所得到的相应宏块的测量值,在参考帧中估计运动后宏块B+mv的测量值
y ~ f ( B + mv ) = Λ mv 1 · y f ( B ) + Λ mv 2 · y f ( B T ) + Λ mv 3 · y f ( B R ) + Λ mv 4 · y f ( B TR )
其中,yf(B)表示参考帧中宏块B的测量值,yf(BT)表示参考帧中宏块BT的测量值,yf(BR)表示宏块BR的测量值,yf(BTR)表示宏块BTR的测量值; 是由运动向量和测量矩阵确定的加权系数矩阵:i=1,2,3,4,其中,Φ为步骤(3)中所用的测量矩阵,该矩阵是由哈达玛矩阵取出的部分矩阵构成,即部分哈达玛矩阵,Φ+表示测量矩阵Φ的伪逆;
4c)根据参考帧中估计运动后宏块B+mv的测量值在参考帧中搜索与非参考帧当前宏块最匹配的块,找出最优估计运动向量MVB′
MV B ′ = arg min mv ∈ SW Δ ( y ~ ( B + mv ) - y ( B ′ ) ) ,
其中,B′表示非参考帧中的当前宏块,y(B′)表示宏块B′的真实测量值,SW表示参考帧中搜索窗口;表示评价两个测量值和y(B′)差异程度的代价函数,arg min表示求解使后面表达式取最小值的参数mv值。
2.根据权利要求1所述的基于压缩感知的视频图像帧间运动估计方法,其中步骤(3)所述所有宏块用相同测量矩阵进行测量,是通过如下公式进行:
yi=Φxi
其中,Φ是部分哈达玛矩阵,xi为各个宏块的列向量;yi为各个宏块的测量值,i=1,2,...n,n是宏块的总个数。
CN201210476441.XA 2012-11-21 2012-11-21 基于压缩感知的视频图像帧间运动估计方法 Active CN102946539B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210476441.XA CN102946539B (zh) 2012-11-21 2012-11-21 基于压缩感知的视频图像帧间运动估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210476441.XA CN102946539B (zh) 2012-11-21 2012-11-21 基于压缩感知的视频图像帧间运动估计方法

Publications (2)

Publication Number Publication Date
CN102946539A CN102946539A (zh) 2013-02-27
CN102946539B true CN102946539B (zh) 2015-07-15

Family

ID=47729440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210476441.XA Active CN102946539B (zh) 2012-11-21 2012-11-21 基于压缩感知的视频图像帧间运动估计方法

Country Status (1)

Country Link
CN (1) CN102946539B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347188B (zh) * 2013-07-24 2016-06-15 南京邮电大学 一种分布式视频编码非关键帧压缩感知编解码方法
CN105007487A (zh) * 2015-05-27 2015-10-28 华南理工大学 一种基于块匹配压缩感知的视频采样复原算法
CN106937125B (zh) * 2017-03-28 2019-12-10 西安电子科技大学 一种动态改变搜索窗大小的多假设预测方法
CN107135396B (zh) * 2017-06-16 2020-08-28 北京奇艺世纪科技有限公司 一种运动估计方法和装置
CN107968947A (zh) * 2017-12-12 2018-04-27 西安文理学院 一种基于dsp的视频压缩感知系统及数据处理方法
CN108093259B (zh) * 2017-12-14 2021-10-08 希诺麦田技术(深圳)有限公司 图像运动估计方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002085026A1 (en) * 2001-04-10 2002-10-24 Koninklijke Philips Electronics N.V. Method of encoding a sequence of frames
CN101583028A (zh) * 2008-05-14 2009-11-18 深圳市融合视讯科技有限公司 一种视频压缩编码搜索算法
CN102137263A (zh) * 2011-05-09 2011-07-27 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002085026A1 (en) * 2001-04-10 2002-10-24 Koninklijke Philips Electronics N.V. Method of encoding a sequence of frames
CN101583028A (zh) * 2008-05-14 2009-11-18 深圳市融合视讯科技有限公司 一种视频压缩编码搜索算法
CN102137263A (zh) * 2011-05-09 2011-07-27 松日数码发展(深圳)有限公司 基于cnm关键帧分类的分布式视频编码及解码方法

Also Published As

Publication number Publication date
CN102946539A (zh) 2013-02-27

Similar Documents

Publication Publication Date Title
CN102946539B (zh) 基于压缩感知的视频图像帧间运动估计方法
CN104822063B (zh) 一种基于字典学习残差重建的压缩感知视频重建方法
CN101917619B (zh) 一种多视点视频编码快速运动估计方法
CN100463527C (zh) 一种多视点视频图像视差估计的方法
CN102427527A (zh) 基于分布式视频压缩感知系统非关键帧的重构方法
CN108833923A (zh) 视频编码、解码方法、装置、存储介质和计算机设备
CN103489173A (zh) 一种视频图像超分辨率重建方法
CN102209243A (zh) 基于线性模型的深度图帧内预测方法
CN104754338A (zh) 一种帧内预测模式的选择方法和装置
CN100591136C (zh) 一种基于空域分解的视频帧内编码方法
CN103929649A (zh) 一种视频压缩感知的重建方法
CN106791768A (zh) 一种基于图割优化的深度图帧率提升方法
CN107360433A (zh) 一种帧间预测编码方法和装置
CN110392258A (zh) 一种联合时空边信息的分布式多视点视频压缩采样重建方法
US11601661B2 (en) Deep loop filter by temporal deformable convolution
CN102801982B (zh) 一种应用于视频压缩且基于块积分的快速运动估计方法
CN103688544A (zh) 用于对数字图像序列进行编码的方法
CN101783956B (zh) 基于时空邻居信息的后向预测方法
CN106534855A (zh) 一种面向satd的拉格朗日因子计算方法
CN108521573A (zh) 一种分布式视频压缩感知编解码方法
CN102918838A (zh) 图像序列的一个块的编码方法和重构方法
CN103873862B (zh) 一种帧内快速编码方法及系统
CN103220532B (zh) 立体视频的联合预测编码方法及系统
CN100571387C (zh) 针对块集合的编码选择运动矢量的方法与设备
CN101389032A (zh) 一种基于图像插值的帧内预测编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20170417

Address after: 241000 room 1703-1706, building, star international A block, Anhui, Wuhu, China

Patentee after: Limited by Share Ltd credit service

Address before: Xi'an City, Shaanxi province Taibai Road 710071 No. 2

Patentee before: Xidian University