CN101123731A - 视讯图像错误的掩盖方法 - Google Patents
视讯图像错误的掩盖方法 Download PDFInfo
- Publication number
- CN101123731A CN101123731A CN 200710030005 CN200710030005A CN101123731A CN 101123731 A CN101123731 A CN 101123731A CN 200710030005 CN200710030005 CN 200710030005 CN 200710030005 A CN200710030005 A CN 200710030005A CN 101123731 A CN101123731 A CN 101123731A
- Authority
- CN
- China
- Prior art keywords
- motion
- lost
- macro block
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供一种视讯图像错误的掩盖方法,是指接收数据包,检测是否丢失宏块,并根据丢失宏块周边的相应块的运动矢量的情况来判断图像的运动程度;进而根据所确定的图像的运动程度是小运动帧、中运动帧或者是大运动帧,当发生丢宏块时采用相应的错误掩盖方式进行掩盖。本发明得到的图像效果好,质量高,可较好应用于图像的不同运动程度。
Description
技术领域
本发明涉及图像信息传输与处理领域,尤其涉及视讯图像错误的掩盖方法。
背景技术
由于信道的误码或网络的阻塞会造成接收端图像内宏块的丢失或视频质量的下降,所以有必要采用必要的方法来实现掩盖。
现有的视讯图像差错掩盖分为两种:一种是空间方向上的,在基于JPEG压缩的图像和视频压缩的I帧(I-Frame)只能采用这种方法,因为它没有时间方向上的信息可以利用;另外一种是时间方向上的,在这种方法中它不仅有空间方向的信息,还有时间方向的信息可以利用。
空间方向的错误掩盖技术:现有的方法很多,例如:(1)最大平滑恢复方法,在这种方法中,通过使丢失宏块和周围相邻块边界的最大平滑约束条件来恢复丢失宏块内的像素;(2)采用周边块的均方误差最小和线性内插的方法来恢复丢失宏块;(3)使用只恢复离散余弦变换(Discrete Cosine Transform,DCT)域的低频系数,并且把高频系数置零的方法来恢复丢失的块。
时间方向的错误掩盖方法:当码流中的宏块丢失后,一般情况下,运动矢量(Motion Vector,MV)信息也会相应的丢失,这就需要对MV进行恢复,现有的方法有很多,例如:(1)线性内插方法,在这种方法中,丢失宏块的每个像素都是用周围相邻块MV的双线性内插来得到;(2)边界匹配方法,在这种方法中,它用前一帧中和当前块的周围边界像素的平均绝对差(Mean of AbsoluteDifference,MAD)最小的块的MV作为当前丢失宏块的MV。还有一些其他采用时间上的相关性来得到丢失宏块的MV信息的方法。
一般地,在有场景变换的区域和有快速运动、旋转和变形对象时,时间方向上的掩盖方法效果不好,所以也出现了一种基于边界匹配和基于网格变形(BMA-MBW)的方法,这种方法也有它局限性,不仅运算量大,而且只能用于运动激烈的视频中。
发明内容
本发明的目的在于克服上述现有技术的缺点和不足,提供一种图像效果好,质量高的视讯图像错误的掩盖方法,该方法通过判断图像的运动程度,从而对图像进行分级,根据不同的级而采用相应的“错误掩盖”方法。
本发明的目的通过下述技术方案实现:本视讯图像错误的掩盖方法,包括以下步骤:
步骤一、接收数据包,检测是否丢失宏块,并根据丢失宏块周边的相应块的运动矢量的情况来判断图像的运动程度:
(1-1)计算周围相邻块运动矢量的平均值
其中,n是丢失宏块周围相邻块的个数,vi是第i块的运动矢量;
(1-2)计算每个块运动矢量与平均值差值的绝对值,从而得到Ta:
(1-3)根据Ta与门限值的比较结果,确定图像帧的运动程度:
当Ta大于给定的门限值Tv h,该图像帧为大运动帧;
当Ta小于给定的门限值Tv l,该图像帧为小运动帧;
当 ,该图像帧为中运动帧;
其中门限值Tv h的取值范围是10~20,门限值Tv l的取值范围是0~8;门限值Tv h最佳取值15,门限值Tv l最佳取值6。
步骤二、根据以上所确定的图像的运动程度,当发生丢失宏块时采用相应的错误掩盖方式:
(2-1)若图像的运动程度为小运动帧,则利用丢失宏块周围相邻块的运动矢量加权平均值来预测该丢失宏块的运动矢量,根据运动矢量对应前一帧的宏块来掩盖丢失宏块;
所述丢失宏块周围相邻块的数量为八块;所述加权系数之和为1;
(2-2)若图像的运动程度为中运动帧,则根据以上所述步骤(2-1)在前一帧找到的掩盖宏块,以该掩盖宏块为中心,确定一个搜索窗体,再采用边界匹配(Boundary Matching Algorithm,BMA)方法,对搜索窗体进行搜索,从而确定与丢失宏块周围边界像素的MAD最小的块来掩盖丢失宏块;
所述搜索窗体的大小设置在16~20像素之间;
对其窗体进行搜索方法为整像素搜索或者1/4像素搜索;
所述整像素搜索或者1/4像素搜索的具体方法为菱形搜索;
所述菱形搜索上下左右平移1~4像素,对角平移1~2像素;
(2-3)若图像的运动程度为大运动帧,则在进行以上所述步骤(2-2)的基础上,再利用网格变形(Mesh Warping)方法来降低图像激烈运动(旋转、缩放和变形等)造成的块效应。
所述网格变形(Mesh Warping)方法具体步骤为:
(a)确定控制网格:在用边界匹配(Boundary Matching Algorithm,BMA)方法恢复丢失宏块后,用一个的控制网格掩盖该丢失宏块,它在周围边界上多个个控制点,在内部有多个内插点,相邻两个控制点之间的水平或者垂直距离设为多个像素点,以任一控制点为参考点,从而确定各控制点和内插点与参考点的相对坐标;
所述控制网格的大小为16×16像素;
(b)控制网格确定后,对恢复后的丢失宏块进行网格变形,以适应当前恢复丢失周围的信息:
(b-1)确定每个控制点的运动矢量信息,即通过在控制点处选择多个像素点(以3、4个为佳)作为其像素矢量,然后与周围相邻块的内边界上的像素矢量进行匹配,根据均方差(Mean Square Error,MSE)的最小值来确定控制点的匹配点,从而得出其位移矢量dxi C:
其中,
fx,y为位于(x,y)点的像素值;(xi,yi)为控制点Ci的坐标;如果 时,该点就不移动,否则,它就移动距离为(dxi c,0);Tm为一门限值(0.01~0.09),用来屏蔽噪声;Lv(3~6)最佳取值4和Ws(-5~+5)最佳取值(-3~+3)分别为匹配矢量的长度和搜索范围,如果其值大,会提高匹配精度,但会增加计算量,在这取值分别为4和3。
(b-2)得到控制点的位移矢量后,再进行仿射变换,即先把一个不规则的三角形变换成一个规则三角形,然后再变换到不规则的三角形,从而实现掩盖块的自动旋转功能。
附图说明
图1是本发明视讯图像错误的掩盖方法所述的丢失宏块和其周围的宏块的示意图;
图2是图1所示丢失宏块根据预测运动矢量对应的掩盖块(16×16)及边界匹配搜索窗体的示意图;
图3是图1所示丢失宏块的控制网格的控制点和内插点的示意图;
图4是控制点的运动搜索过程的示意图;
图5是仿射变换的示意图。
具体实施方式
由于信道的误码或网络的阻塞会造成接收端图像内块的丢失或视频质量的下降,所以有必要采用必要的措施来实现掩盖。
本发明视讯图像错误的掩盖方法采用分级的错误掩盖方法对接收端的差错或丢失包图像质量进行改善。
当宏块丢失时,一般也会造成宏块的运动矢量丢失。所以首先得从丢失宏块的时空周边预测丢失宏块的运动矢量,从而找出相似丢失宏块来掩盖当前丢失宏块。但是这样简单的掩盖不利于细节部分的恢复,比如当丢失宏块运动为非平移运动如:旋转、缩放和变形等。结合这几个特性,本发明视讯的分级差错掩盖方法按以下步骤对视迅的分级差错进行掩盖,从而实现图像的具体细节的凸现。
其中n是丢失宏块周围相邻块的个数;vi是第i个块的运动矢量。
然后计算每个块运动矢量与平均值差值的绝对值,从而得到Ta,公式如下:
当Ta大于给定的门限值Tv h时,就跳到步骤(4);
当Ta小于给定的门限值Tv l时,就跳到步骤(2);
当 时,就跳到步骤(3)。
(2)周围八块的运动矢量加权平均来预测丢失宏块的运动矢量。这也是最简单的预测方法,只有在图像变化非常不激烈时,才可以这样做,再根据运动矢量来掩盖丢失宏块。如图1所示,黑色表示丢失宏块,白色表示其周围8块宏块,丢失宏块与周围的宏块对应的运动矢量为:
MVlost,MV1,MV2,MV3,MV4,MV5,MV6,MV7,MV8
丢失宏块的运动矢量的预测公式如下:
MVlost=x1*MV1+x2*MV2+x3*MV3+x4*MV4+x5*MV5+x6*MV6+x7*MV7+x8*MV8
其加权系数X={x1,x2,x3,x4,x5,x6,x7,x8},其中X的取值可以自动调控,考虑到1、2、3、4、5、6、7、8块中也有可能是丢失宏块,所以这时其相对应的加权系数必须要小,同时两对角方向1、3、5、7也应该比2、4、6、8的系数小。其参数还需满足:
x1+x2+x3+x4+x5+x6+x7+x8=1
(3)请参考图2,在步骤(2)的预测基础上,确定丢失宏块运动矢量,从而在前一帧找到的掩盖宏块,但是有时这样直接覆盖会造成丢失宏块与周边块的不平滑,因此以这个掩盖宏块为中心来确定一个搜索窗体,窗体的大小一般设置在16~20像素之间,如图2所示,灰色部分表示预测运动矢量对应的相似块(16×16),整个图形是它对应的搜索窗体,搜索窗体为20像素,再采用边界匹配(Boundary Matching Algorithm,BMA)的方法,对其搜索窗体做整像素搜索或者1/4像素搜索来找到与丢失宏块周边边界象素的MAD最小的块来覆盖丢失宏块。这种方法会弥补采用BMA搜索带来的边界匹配,但是掩盖后的块内和相邻接的块内不是连续的缺点。
考虑到图形大部分都是进行上下左右移动,所述整像素搜索或者1/4像素搜索为菱形搜索,其步骤为,上下左右平移(1~4)像素,对角平移(1~2)像素。
(4)在步骤(3)的基础上,当图像运动激烈,在丢失宏块区域中,并非简单的平移运动如旋转、缩放和变形等一些运动方式时,基于匹配块运动的补偿方法将产生块效应,这种效应可以采用多种方式来降低,如各种滤波的方法,但是这些方法主要是对块的边界进行滤波,会使得边界模糊,所以在这里使用一种基于网格变形的仿射变换(affine transforms)方法来降低非平移运动造成的块效应。
请参考图3,在用匹配方法恢复丢失的块后,用一个控制网格覆盖到该宏块(16×16),它在周围边界上共有12个控制点,在内部有4个控制点,相邻两个控制点之间的水平或者垂直距离为5个像素点,即假设一个宏块左上角的坐标为(0,0),则12个控制点的坐标分别为:(0,0),(0,5),(0,10),(0,15),(15,5),(15,10),(15,15),(15,10),(15,5),(15,0),(10,0),(5,0)如图3中Ci所示;四个内插点为:(5,5),(10,5),(5,10),(10,10)如图3中Pi所示。
控制网格确定后,对恢复后的块进行网格变形,以适应当前恢复块周围的信息。
1)请参考图4,首先确定每个控制节点的运动信息,其运动信息是通过在控制节点处选择几个像素点作为其像素矢量与周围相邻块的内边界上的像素矢量进行匹配,最后根据MSE的最小值来确定控制点的匹配点,最后得出其位移矢量。匹配函数公式如下:
其中,
fx,y为位于(x,y)点的像素值;(xi,yi)为控制点Ci的坐标;如果 时,该点就不移动,否则,它就移动距离为(dxi c,0),Tm为一门限值,用来屏蔽噪声;Lv和Ws分别为匹配矢量的长度和搜索范围,如果其值大,会提高匹配精度,但会增加计算量,在这取值分别为4和3。
2)得到控制点的位移后,再对每个三角形进行仿射变换,如图5所示,即先把一个不规则的三角形变换成一个规则三角形,然后变换到不规则的三角形。从而实现掩盖块的自动旋转功能,实现图像的更加匹配。
如上所述,便可较好地实现本发明,上述实施例仅为本发明的较佳实施例,并非用来限定本发明的实施范围;即凡依本发明内容所作的均等变化与修饰,都为本发明权利要求所要求保护的范围所涵盖。
Claims (10)
1.视讯图像错误的掩盖方法,其特征在于包括以下步骤:
步骤一、接收数据包,检测是否丢失宏块,并根据丢失宏块周围相邻块的运动矢量来判断图像的运动程度:
其中,n是丢失宏块周围相邻块的个数,vi是第i块的运动矢量;
(1-2)计算每个块运动矢量与平均值差值的绝对值,从而得到Ta;
(1-3)根据Ta与门限值的比较结果,确定图像帧的运动程度:
当Ta大于给定的门限值Tv h,该图像帧为大运动帧;
当Ta小于给定的门限值Tv l,该图像帧为小运动帧;
当 该图像帧为中运动帧;
其中门限值Tv h的取值范围是10~20,门限值Tv l的取值范围是0~8;
步骤二、根据以上所确定的图像的运动程度,当发生丢宏块时,则采用相应的错误掩盖方式:
(2-1)若图像的运动程度为小运动帧,则利用丢失宏块周围相邻块的运动矢量加权平均值来预测该丢失宏块的运动矢量,再根据运动矢量所对应前一帧的宏块来掩盖丢失宏块;
(2-2)若图像的运动程度为中运动帧,则根据以上所述步骤(2-1)在前一帧找到的掩盖宏块,以该掩盖宏块为中心,确定一个搜索窗体,再采用边界匹配方法,对搜索窗体进行搜索,从而确定与丢失宏块周围边界像素的MAD最小的块来掩盖丢失宏块;
(2-3)若图像的运动程度为大运动帧,则在进行以上所述步骤(2-2)的基础上,再利用网格变形方法来降低图像激烈运动造成的块效应。
2.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:所述步骤(1-3)中,门限值Tv h取值为15,门限值Tv l取值为6。
3.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:所述图像激烈运动为旋转、缩放或变形之一。
4.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:所述步骤(2-1)中,所述丢失宏块周围相邻块的数量为8块;所述加权系数之和为1。
5.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:所述步骤(2-2)中,所述搜索窗体的大小范围为16~20像素。
6.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:对所述步骤(2-2)的搜索窗体进行搜索方法为整像素搜索或者1/4像素搜索。
7.根据权利要求6所述视讯图像错误的掩盖方法,其特征在于:所述整像素搜索或者1/4像素搜索为菱形搜索。
8.根据权利要求1所述视讯图像错误的掩盖方法,其特征在于:所述步骤(2-2)中,所述网格变形方法具体步骤为:
(a)确定控制网格:用边界匹配方法恢复丢失宏块后,用一个控制网格掩盖该丢失宏块,它在周围边界上有多个控制点,在内部有多个内插点,相邻两个控制点之间的水平或者垂直距离设为多个像素点,以任一控制点为参考点,从而确定各控制点和内插点与参考点的相对坐标;
(b)控制网格确定后,对恢复后的丢失宏块进行网格变形,以适应当前恢复丢失周围的信息:
(b-1)确定每个控制点的运动矢量信息,即通过在控制点处选择多个像素点作为其像素矢量,然后与周围相邻块的内边界上的像素矢量进行匹配,根据均方差的最小值来确定控制点的匹配点,从而得出其位移矢量dxi C:
其中,
fx,y为位于(x,y)点的像素值;(xi,yi)为控制点Ci的坐标;如果D(dxi c)<D(0)+Tm时,该点就不移动,否则,它就移动距离为(dxi c,0);Tm为用来屏蔽噪声的门限值,其取值范围为0.01~0.09;Lv为匹配矢量的长度,取值范围为3~6;Ws为匹配矢量的搜索范围,取值范围为-5~+5;
(b-2)得到控制点的位移矢量后,再进行仿射变换,即先把一个不规则的三角形变换成一个规则三角形,然后再变换到不规则的三角形,从而实现掩盖块的自动旋转功能。
9.根据权利要求8所述所述视讯图像错误的掩盖方法,其特征在于:所述步骤(a)中控制网格的大小为16×16像素。
10.根据权利要求8所述所述视讯图像错误的掩盖方法,其特征在于:所述步骤(b-1)中,Lv取值为4,Ws取值范围为-3~+3。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710030005 CN100542299C (zh) | 2007-08-31 | 2007-08-31 | 视讯图像错误的掩盖方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 200710030005 CN100542299C (zh) | 2007-08-31 | 2007-08-31 | 视讯图像错误的掩盖方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101123731A true CN101123731A (zh) | 2008-02-13 |
CN100542299C CN100542299C (zh) | 2009-09-16 |
Family
ID=39085874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 200710030005 Expired - Fee Related CN100542299C (zh) | 2007-08-31 | 2007-08-31 | 视讯图像错误的掩盖方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN100542299C (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101594543B (zh) * | 2009-06-26 | 2010-11-10 | 武汉大学 | 基于动态纹理模型的视频整帧丢失差错掩盖方法 |
CN101917628A (zh) * | 2010-08-30 | 2010-12-15 | 武汉虹信通信技术有限责任公司 | 基于自适应块尺寸的整帧错误掩盖方法 |
CN101692712B (zh) * | 2009-10-19 | 2011-02-02 | 浙江大学 | 基于信道状态和视觉感知边信息的错误掩盖方法 |
CN107454398A (zh) * | 2011-01-12 | 2017-12-08 | 佳能株式会社 | 编码方法、编码装置、解码方法和解码装置 |
US11095878B2 (en) | 2011-06-06 | 2021-08-17 | Canon Kabushiki Kaisha | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI549489B (zh) * | 2014-04-16 | 2016-09-11 | 智原科技股份有限公司 | 移動偵測電路與方法 |
-
2007
- 2007-08-31 CN CN 200710030005 patent/CN100542299C/zh not_active Expired - Fee Related
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101594543B (zh) * | 2009-06-26 | 2010-11-10 | 武汉大学 | 基于动态纹理模型的视频整帧丢失差错掩盖方法 |
CN101692712B (zh) * | 2009-10-19 | 2011-02-02 | 浙江大学 | 基于信道状态和视觉感知边信息的错误掩盖方法 |
CN101917628A (zh) * | 2010-08-30 | 2010-12-15 | 武汉虹信通信技术有限责任公司 | 基于自适应块尺寸的整帧错误掩盖方法 |
CN107454398A (zh) * | 2011-01-12 | 2017-12-08 | 佳能株式会社 | 编码方法、编码装置、解码方法和解码装置 |
US10499060B2 (en) | 2011-01-12 | 2019-12-03 | Canon Kabushiki Kaisha | Video encoding and decoding with improved error resilience |
US10506236B2 (en) | 2011-01-12 | 2019-12-10 | Canon Kabushiki Kaisha | Video encoding and decoding with improved error resilience |
US10609380B2 (en) | 2011-01-12 | 2020-03-31 | Canon Kabushiki Kaisha | Video encoding and decoding with improved error resilience |
US11146792B2 (en) | 2011-01-12 | 2021-10-12 | Canon Kabushiki Kaisha | Video encoding and decoding with improved error resilience |
US11095878B2 (en) | 2011-06-06 | 2021-08-17 | Canon Kabushiki Kaisha | Method and device for encoding a sequence of images and method and device for decoding a sequence of image |
Also Published As
Publication number | Publication date |
---|---|
CN100542299C (zh) | 2009-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8320470B2 (en) | Method for spatial error concealment | |
US7072398B2 (en) | System and method for motion vector generation and analysis of digital video clips | |
US7720148B2 (en) | Efficient multi-frame motion estimation for video compression | |
US20030189980A1 (en) | Method and apparatus for motion estimation between video frames | |
US7953154B2 (en) | Image coding device and image coding method | |
WO2012043841A1 (en) | Systems for producing a motion vector field | |
JP5098081B2 (ja) | 画像処理方法および画像処理装置 | |
JP2004530367A (ja) | 動きベクトル予測方法及び動きベクトル予測装置 | |
EP1859627B1 (en) | Global motion estimation | |
US8155213B2 (en) | Seamless wireless video transmission for multimedia applications | |
JP5248632B2 (ja) | 動き推定のための技術 | |
CN101123731A (zh) | 视讯图像错误的掩盖方法 | |
KR101445009B1 (ko) | 공통 프로세싱 요소들에 기초하여 비디오 안정화를 수행하고 비디오 샷 경계를 검출하는 기법 | |
JP4328000B2 (ja) | 動画像符号化装置および動画像の特殊効果シーン検出装置 | |
US6996175B1 (en) | Motion vector estimation | |
Wu et al. | A two-stage lossless compression algorithm for aurora image using weighted motion compensation and context-based model | |
Bachu et al. | Adaptive order search and tangent-weighted trade-off for motion estimation in H. 264 | |
Liu et al. | Complexity comparison of fast block-matching motion estimation algorithms | |
US9225994B2 (en) | Global motion estimation using reduced frame lines | |
CN114827632A (zh) | 视频帧错误隐藏方法、装置、电子设备及介质 | |
JPH06165164A (ja) | 動画像処理装置 | |
JP4617442B2 (ja) | 画像復号方法及びプログラム | |
JP4504291B2 (ja) | デブロッキング処理方法、デブロッキング処理装置、デブロッキング処理プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
Duanmu et al. | A continuous tracking algorithm for long-term memory motion estimation [video coding] | |
JP2002199407A (ja) | 動画像内のロールテロップ検出装置および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090916 Termination date: 20170831 |
|
CF01 | Termination of patent right due to non-payment of annual fee |