CN102984525A - 一种视频码流错误隐藏方法 - Google Patents
一种视频码流错误隐藏方法 Download PDFInfo
- Publication number
- CN102984525A CN102984525A CN2012105517956A CN201210551795A CN102984525A CN 102984525 A CN102984525 A CN 102984525A CN 2012105517956 A CN2012105517956 A CN 2012105517956A CN 201210551795 A CN201210551795 A CN 201210551795A CN 102984525 A CN102984525 A CN 102984525A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- piece
- pieces
- macro block
- adjacent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种视频码流错误隐藏方法,包括:利用视频序列的时间和空间相关性,恢复视频信息。本发明可用于视频码流宏块级的错误恢复。
Description
技术领域
本发明涉及视频编码和图像处理领域,尤其涉及一种视频码流错误隐藏方法。
背景技术
现代视频编码标准采用混合编码框架,用了一系列技术来达到高效率的视频编码,包括帧内预测、帧间预测、变换、量化和熵编码等。帧间预测使用基于块的运动矢量来消除图像间的冗余;帧内预测使用空间预测模式来消除图像内的冗余。再通过对预测残差进行变换和量化消除图像内的视觉冗余。最后,运动矢量、预测模式、量化参数和变换系数用熵编码进行压缩。
压缩后的视频经过信道进行传输后,方在接收方进行解码。与其他通信信道相比,无线信道是最为复杂的一种,各种问题都可能发生。信号有干扰和衰落的影响,再加上移动终端本身的运动,使得无线信道多变且难以控制,发生比特错误和传输包丢失错误等是难以避免的。这样,再加上移动带宽的限制,视频在移动无线网络中传输,对系统的容错能力提出了更高的要求,不仅需要能够检测并处理随时可能出现的错误,而且要求保障系统错误恢复的实时性和高效性。
目前被广泛用到的视频容错技术,包括灵活的宏块组织方式(FMO)、编码端增加冗余信息、解码端进行错误隐藏等。
当视频序列中,一帧中的某些宏块丢失时,需要对这些宏块中的每个像素点进行恢复。很多方法是基于图像的空间特性(如纹理、边缘),利用这些特性在丢失宏块所在图像帧内部进行像素点恢复。这些方法对于视频帧的空间特性要求较高,对于平滑区域或者纹理明显的区域较为适用,适合于采用帧内编码方式的视频帧;而对于更一般的情况如有运动物品的视频序列,在出现较大块丢失时则无法恢复出丢失的信息。
发明内容
本发明解决的技术问题在于如何利用运动矢量预测及块边界匹配思想,在解码端对视频码流进行错误隐藏。
本发明提供了一种视频码流错误隐藏方法,该方法包括如下步骤:
将每一个宏块划分成4个8*8的块;
取得与受损宏块相邻的上方的2个8*8块、下方的2个8*8块、左侧的2个8*8块、右侧的2个8*8块以及与受损宏块临近的其它8*8块,将这N个8*8块的运动矢量和0值运动矢量作为受损宏块的参考运动矢量,其中N>=8;
对于受损宏块中的每个8*8块,如果有参考运动矢量可用,则按照一定规则从中选择一个作为该8*8块运动矢量的重构值;如果参考运动矢量都不可用,则用其它方式来重构该8*8块的运动矢量;
对于受损宏块中的每个8*8块,利用重构的运动矢量在其参考帧中取得该块的重构值。
作为本发明的进一步改进,从参考运动矢量中选择的方法为,对于受损宏块中的一个8*8块,根据每个参考运动矢量在其对应参考帧中取出一个预测块,考察与受损8*8块相邻的两个完好8*8块与该预测块的边界匹配程度,选择能够使得边界匹配程度最好的运动矢量。
作为本发明的进一步改进,边界匹配程度的衡量标准是,预测块与相邻的两个完好8*8块的邻接边界像素点的SAD。
作为本发明的进一步改进,如果与受损8*8块相邻的两个完好8*8块都不存在,则采用各个参考运动矢量的平均值来重构该受损8*8块的运动矢量。
作为本发明的进一步改进,如果参考运动矢量都不存在,则选用前一帧中对应位置8*8块的运动矢量来重构当前受损8*8块的运动矢量。
本发明的有益效果是:由于利用了视频的空间、时间相关性,尤其对运动矢量的选择给出了有效的新方法,算法简单、复杂度低,能够保证在移动应用中的实时性,同时,能在很大程度恢复出丢失或出错的视频信息。
附图说明
当结合附图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本发明的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其中:
图1为P帧宏块丢失边界匹配示意图。
具体实施方式
以下参照图1对本发明的实施例进行说明。
当一帧视频图像中发生块丢失或出错时,不仅利用视频序列的时间相关性,从已经解码的相邻帧中通过运动补偿获得丢失块的预测值,同时利用丢失块与相邻块的空间相关性,采用块边界匹配的方法来选择最优的运动矢量。对于每个丢失宏块,考虑其中的每个8*8块。获得与该宏块相邻的八个8*8块的运动矢量和0值运动矢量,将其作为丢失宏块中8*8块的运动矢量的候选。最优的运动矢量通过块边界匹配的方式来得到,即考察丢失块外边界像素点与用某个候选运动矢量得到的恢复块内边界像素点的差异,使得差异最小的运动矢量为最终选定的运动矢量。利用这个运动矢量来获得当前8*8块的恢复快。
实施例:
方法:对于当前丢失宏块中的每个8*8块,分别找其运动矢量。对于这每个8*8块,都考察与当前丢失宏块相邻的八个8*8块。每个相邻8*8块对应一个运动矢量,再加上0值运动矢量,这样就有9个运动矢量可以使用(如果某相邻块为intra块或者不存在,则其运动矢量不可用,相应总共可用的运动矢量数量减一)。利用这9个运动矢量,在相应的参考帧中得到9个预测块,分别用这9个预测块邻接相邻块的16个像素点与相邻的两个8*8块中邻接丢失块的16个像素点求SAD,找出使得SAD最小的预测块及其相应的运动矢量。用该预测块来恢复丢失块。
如图1,中间区域表示丢失的宏块,其中标号为0、1、2、3的正方形表示该丢失宏块内的4个8*8块。四周区域分别表示丢失宏块的相邻8*8块,分别标号为a1、a2、b1、b2、c1、c2、d1、d2。这8个8*8块的运动矢量将被用作候选运动矢量。
对0、1、2、3正方形表示的四个丢失块分别进行恢复。以0号丢失块的恢复为例进行说明。
考察8个邻接的8*8块,即正方形表示的a1、a2、b1、b2、c1、c2、d1、d2块。分别用这个8个块的运动矢量对丢失的0号块在各个邻接块相应的参考帧中找到8个预测块,再用0值运动矢量在0号参考帧中找到一个预测块,这样总共可以得到9个预测块。对每个预测块,将其填充到0号丢失块的位置,那么它将有两个邻接块:a2和b1块。考察预测块与这两个邻接块相邻的16对像素点的SAD,即差值绝对值的和。这样9个预测块,就找到9个SAD,从中找出最小的SAD,并找出相应的预测块及运动矢量。用该预测块恢复丢失的0号块。
如果0号丢失块的邻接块不存在,即图中a2块和b1块不存在(a2、b1超出图像边界,或者已丢失仍未恢复),那么对应的像素点就不存在,SAD将无法计算。此时,直接将各个相邻8*8块的运动矢量求平均得到丢失块的运动矢量,再用此运动矢量进行恢复。
如上所述,对本发明的实施例进行了详细地说明,但是只要实质上没有脱离本发明的发明点及效果可以有很多的变形,这对本领域的技术人员来说是显而易见的。因此,这样的变形例也全部包含在本发明的保护范围之内。
Claims (5)
1.一种视频序列错误隐藏的方法,该方法包括如下步骤,
a)将每一个宏块划分成4个8*8的块;
b)取得与受损宏块相邻的上方的2个8*8块、下方的2个8*8块、左侧的2个8*8块、右侧的2个8*8块以及与受损宏块临近的其它8*8块,将这N个8*8块的运动矢量和0值运动矢量作为受损宏块的参考运动矢量,其中N>=8;
c)对于受损宏块中的每个8*8块,如果有参考运动矢量可用,则按照一定规则从中选择一个作为该8*8块运动矢量的重构值;如果参考运动矢量都不可用,则用其它方式来重构该8*8块的运动矢量;
d)对于受损宏块中的每个8*8块,利用重构的运动矢量在其参考帧中取得该块的重构值。
2.按照权利要求一所述的视频序列错误隐藏的方法,其特征在于:
从参考运动矢量中选择的方法为,对于受损宏块中的一个8*8块,根据每个参考运动矢量在其对应参考帧中取出一个预测块,考察与受损8*8块相邻的两个8*8块与该预测块的边界匹配程度,选择能够使得边界匹配程度最好的运动矢量。
3.按照权利要求二所述的视频序列错误隐藏的方法,其特征在于:
边界匹配程度的衡量标准是,预测块与相邻的两个完好8*8块的邻接边界像素点的SAD。
4.按照权利要求二所述的视频序列错误隐藏的方法,其特征在于:
如果与受损8*8块相邻的两个8*8块都不存在,则采用各个参考运动矢量的平均值来重构该受损8*8块的运动矢量。
5.按照权利要求一所述的视频序列错误隐藏的方法,其特征在于:
如果参考运动矢量都不存在,则选用前一帧中对应位置8*8块的运动矢量来重构当前受损8*8块的运动矢量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210551795.6A CN102984525B (zh) | 2012-12-18 | 2012-12-18 | 一种视频码流错误隐藏方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201210551795.6A CN102984525B (zh) | 2012-12-18 | 2012-12-18 | 一种视频码流错误隐藏方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102984525A true CN102984525A (zh) | 2013-03-20 |
CN102984525B CN102984525B (zh) | 2015-10-28 |
Family
ID=47858214
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210551795.6A Expired - Fee Related CN102984525B (zh) | 2012-12-18 | 2012-12-18 | 一种视频码流错误隐藏方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102984525B (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313064A (zh) * | 2013-06-07 | 2013-09-18 | 国家广播电影电视总局广播科学研究院 | 基于帧间模式和运动修补的时域错误隐藏方法 |
CN103957413A (zh) * | 2014-01-13 | 2014-07-30 | 南京达鹏信息技术有限公司 | 一种针对移动网络视频通信应用的实时误码掩盖方法和装置 |
CN104410864A (zh) * | 2014-11-07 | 2015-03-11 | 太原科技大学 | Hevc中基于残差能量的错误隐藏方法 |
CN104427348A (zh) * | 2013-09-06 | 2015-03-18 | 乐金显示有限公司 | 用于恢复空间运动矢量的装置和方法 |
WO2019157717A1 (zh) * | 2018-02-14 | 2019-08-22 | 北京大学 | 运动补偿的方法、装置和计算机系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102325258A (zh) * | 2011-09-14 | 2012-01-18 | 北京航空航天大学 | 一种采用线性规划模型的视频错误隐藏方法 |
US8223846B2 (en) * | 2008-07-03 | 2012-07-17 | National Taiwan University | Low-complexity and high-quality error concealment techniques for video sequence transmissions |
CN102685509A (zh) * | 2012-04-26 | 2012-09-19 | 中山大学 | 一种基于场景转换的视频差错控制方法 |
-
2012
- 2012-12-18 CN CN201210551795.6A patent/CN102984525B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8223846B2 (en) * | 2008-07-03 | 2012-07-17 | National Taiwan University | Low-complexity and high-quality error concealment techniques for video sequence transmissions |
CN102325258A (zh) * | 2011-09-14 | 2012-01-18 | 北京航空航天大学 | 一种采用线性规划模型的视频错误隐藏方法 |
CN102685509A (zh) * | 2012-04-26 | 2012-09-19 | 中山大学 | 一种基于场景转换的视频差错控制方法 |
Non-Patent Citations (1)
Title |
---|
张义忠,等: "基于外边界匹配的时域变块错误隐藏算法", 《图像图形技术研究与应用》, 30 April 2009 (2009-04-30) * |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103313064A (zh) * | 2013-06-07 | 2013-09-18 | 国家广播电影电视总局广播科学研究院 | 基于帧间模式和运动修补的时域错误隐藏方法 |
CN103313064B (zh) * | 2013-06-07 | 2016-04-13 | 国家广播电影电视总局广播科学研究院 | 基于帧间模式和运动修补的时域错误隐藏方法 |
CN104427348A (zh) * | 2013-09-06 | 2015-03-18 | 乐金显示有限公司 | 用于恢复空间运动矢量的装置和方法 |
US9872046B2 (en) | 2013-09-06 | 2018-01-16 | Lg Display Co., Ltd. | Apparatus and method for recovering spatial motion vector |
CN104427348B (zh) * | 2013-09-06 | 2018-01-16 | 乐金显示有限公司 | 用于恢复空间运动矢量的装置和方法 |
CN103957413A (zh) * | 2014-01-13 | 2014-07-30 | 南京达鹏信息技术有限公司 | 一种针对移动网络视频通信应用的实时误码掩盖方法和装置 |
CN104410864A (zh) * | 2014-11-07 | 2015-03-11 | 太原科技大学 | Hevc中基于残差能量的错误隐藏方法 |
CN104410864B (zh) * | 2014-11-07 | 2018-08-14 | 太原科技大学 | Hevc中基于残差能量的错误隐藏方法 |
WO2019157717A1 (zh) * | 2018-02-14 | 2019-08-22 | 北京大学 | 运动补偿的方法、装置和计算机系统 |
US11272204B2 (en) | 2018-02-14 | 2022-03-08 | SZ DJI Technology Co., Ltd. | Motion compensation method and device, and computer system |
Also Published As
Publication number | Publication date |
---|---|
CN102984525B (zh) | 2015-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101653006B (zh) | 基于帧间预测进行编码和解码的方法和设备 | |
CN103248893B (zh) | 从h.264/avc标准到hevc标准的快速帧间转码方法及其转码器 | |
CN111819854B (zh) | 用于协调多符号位隐藏和残差符号预测的方法和装置 | |
CN104704835A (zh) | 视频编码中运动信息管理的装置与方法 | |
JP2022517134A (ja) | ビデオ符号化のための双方向オプティカルフローおよびデコーダ側動きベクトル補正を選択的に適用する方法およびデバイス | |
CN106576172A (zh) | 用于编码/解码图像的方法和使用该方法的装置 | |
WO2006073116A1 (ja) | 映像符号化方法及び装置、映像復号方法及び装置、それらのプログラムおよびそれらプログラムを記録した記録媒体 | |
CN102308585A (zh) | 多视点视频编码/解码方法和设备 | |
CN104041047A (zh) | 在使用深度的3d视频译码中的多重假设差异向量构建 | |
CN104838657A (zh) | 可缩放及多视角视频译码中的高级残差预测 | |
CN103959774A (zh) | 用于高效视频编码的运动信息的有效存储 | |
JP2007505529A (ja) | 映像符号化の符号化側/復号化側に使用される双方向予測方法 | |
JP2023052767A (ja) | 映像処理方法及び符号化器 | |
CN103152563A (zh) | 视频数据的解码设备 | |
CN101253775A (zh) | 用于视频错误恢复的编解码方法及装置 | |
CN104995916A (zh) | 视频数据解码方法和视频数据解码设备 | |
CN102984525A (zh) | 一种视频码流错误隐藏方法 | |
CN103370934A (zh) | 多视点视频编码/解码装置和方法 | |
CN102595124A (zh) | 图像编码解码方法、处理图像数据方法及其设备 | |
CN104704832A (zh) | 用于预测运动矢量和视差矢量的图像处理方法和设备 | |
KR20180039324A (ko) | 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치 | |
CN103636219A (zh) | 图像处理装置和方法 | |
CN104519363A (zh) | 视频编/解码方法、对应计算机程序及视频编/解码设备 | |
CN105430406A (zh) | 一种分布式视频编码框架 | |
CA2200725C (en) | Method and system for improved motion compensation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151028 Termination date: 20201218 |