CN105992012B - 一种错误隐藏的方法和装置 - Google Patents

一种错误隐藏的方法和装置 Download PDF

Info

Publication number
CN105992012B
CN105992012B CN201510086369.3A CN201510086369A CN105992012B CN 105992012 B CN105992012 B CN 105992012B CN 201510086369 A CN201510086369 A CN 201510086369A CN 105992012 B CN105992012 B CN 105992012B
Authority
CN
China
Prior art keywords
block
spatial
error
adjacent
current error
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510086369.3A
Other languages
English (en)
Other versions
CN105992012A (zh
Inventor
曾幸
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201510086369.3A priority Critical patent/CN105992012B/zh
Priority to PCT/CN2015/090813 priority patent/WO2016131270A1/zh
Publication of CN105992012A publication Critical patent/CN105992012A/zh
Application granted granted Critical
Publication of CN105992012B publication Critical patent/CN105992012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供一种错误隐藏的方法,所述方法包括:将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;确定当前错误块的空域左相邻块和空域上相邻块,空域左相邻块和空域上相邻块与错误块在空域上相邻;当所述当前错误块的空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;如果当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;如果当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏。上述方案结合HEVC视频的编码特性,利用错误块数据与空域时域相邻数据的相关性修复受损图像,对受损的HEVC视频码流有良好的修复效果。

Description

一种错误隐藏的方法和装置
技术领域
本发明涉及视频领域,具体涉及错误隐藏的方法和装置。
背景技术
网络技术和视频编码技术的巨大进步使得广播电视、网络视频和视频通讯日益普及。不可避免的移动信道衰落和网络拥塞,必然造成视频数据在传输过程中受到损伤。在解码端对视频进行错误隐藏,是提高用户体验的重要方法。
错误隐藏技术在解码端检测到视频错误后,利用已正确解码的视频信息与受损数据的相关性,近似地恢复受损图像。错误隐藏技术根据可用数据与错误数据的空间和时间相关性,可以分为空域错误隐藏和时域错误隐藏。
空域错误隐藏主要利用视频图像的空间相关性,受损区域的数据可由帧内相邻的正确数据作内插来重构。目前空域错误隐藏方法中有代表性的主要有两种:BI(Bi-linearInterpolation,双线性插值算法)和DI(Directional Interpolation,方向插值算法)。
时域错误隐藏主要利用视频图像的时间相关性,即利用参考图像中已正确解码的图像数据来估计当前图像中的错误数据。有代表性的方法是BMA(Boundary MatchingAlgorithm,边界匹配算法)。该算法的基本思想是根据相邻块之间的运动一致性原则,从受损块周围正确接收块中提取运动矢量作为当前受损块的候选运动矢量,然后选取使得运动补偿后的宏块边界像素与丢失宏块边界像素的绝对差值和SAD(Sum of AbsoluteDifference,)最小的运动矢量作为当前丢失宏块的运动矢量,再做运动补偿来修复受损宏块。
因为要利用数据间的相关性,所以通常结合具体编码特性的错误隐藏技术有更好的效果。HEVC(High Efficiency Video Coding,高效率视频编码)视频中的受损的CTU(Coding Tree Unit,编码树单元)尺寸远大于以往标准中宏块的尺寸,可变的编码单元尺寸、多角度的帧内预测和高级运动矢量预测方法是HEVC编码标准与H.264的重大区别之一,现有的错误隐藏技术直接应用于HEVC视频难以得到满意的视频质量。
发明内容:
本发明提供一种错误隐藏的方法和装置,以解决HEVC视频难以得到满意的视频质量的问题。
为解决上述技术问题,本发明提供一种错误隐藏的方法,所述方法包括:
将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
确定所述当前错误块的空域左相邻块和空域上相邻块,所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;
如果所述当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;如果所述当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏。
优选地,所述方法还包括:
当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
优选地,
所述进行时域和空域相关性比较包括:
当SADS小于(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;
当SADS大于或等于(SADT1+SADT2)/3时,所述当前错误块的时域相关性强;
其中:
Figure GDA0002370535530000021
Figure GDA0002370535530000031
Figure GDA0002370535530000032
其中,n为帧号,x为当前错误块的水平坐标,y为当前错误块的垂直坐标,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
优选地,
所述进行空域插值错误隐藏包括:
根据所述当前错误块的空域左相邻块计算所述当前错误块的预测像素P′(i,j);
Figure GDA0002370535530000033
其中,i,j为当前错误块的像素坐标;P′(0,0)为当前错误块的左上角像素值。
优选地,
所述进行时域错误隐藏包括:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,
所述对所述当前错误块进行帧内预测错误隐藏包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,
所述将当前错误编码树单元CTU中的每个错误块依次作为当前错误块前还包括:
当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;
当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
本发明还提供一种错误隐藏的装置,所述装置包括:
配置模块,用于将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
信息获取模块,用于确定所述当前错误块的空域左相邻块和空域上相邻块,所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
判断模块,用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;
隐藏处理模块,用于如果所述当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;还用于如果所述当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏。
优选地,
所述隐藏处里模块还用于当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
优选地,
所述判断模块用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性是指:
当SADS<(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;其中:
Figure GDA0002370535530000051
Figure GDA0002370535530000052
Figure GDA0002370535530000053
其中,n为帧号,x为当前错误块的水平坐标,y为当前错误块的垂直坐标,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
优选地,
所述隐藏处理模块用于进行空域插值错误隐藏是指:
根据所述当前错误块的空域左相邻块计算所述当前错误块的预测像素P′(i,j);
Figure GDA0002370535530000054
其中,i,j为当前错误块的像素坐标;P′(0,0)为当前错误块的左上角像素值。
优选地,
所述隐藏处理模块还用于进行时域错误隐藏是指:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,
所述隐藏处理模块还用于对所述当前错误块进行帧内预测错误隐藏包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,所述装置还包括:
划分模块,用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;还用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
上述方案结合HEVC视频的编码特性,利用错误块数据与空域时域相邻数据的相关性修复受损图像,对受损的HEVC视频码流有良好的修复效果。
附图说明
图1是本发明实施例一中的错误隐藏的方法的流程图;
图2是本发明实施例一中的错误块的相邻块位置示意图;
图3是本发明实施例一中的空域和时域相关性比较的块位置示意图;
图4是本发明实施例一中的空域插值示意图;
图5是本发明实施例一中的计算边界匹配差用到像素示意图;
图6是本发明实施例一中的错误隐藏的装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,下文中将结合附图对本申请的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
实施例一
本发明的技术方案结合HEVC视频编码特性,利用受损图像区域与已解码图像信息的相关性来修复受损图像,以解决HEVC视频难以得到满意的视频质量的问题。
下面结合附图给出具体实施例,对本发明技术方案作进一步的说明。
如图1所示,本发明提供一种错误隐藏的方法,所述方法包括:
步骤S101:将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
步骤S103:确定所述当前错误块的空域左相邻块和空域上相邻块;
所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
步骤S105:当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,转步骤S107;
步骤S107:进行时域和空域相关性比较;
步骤S109:如果所述当前错误块的空域相关性大于预设强度阈值时,则转步骤S110;如果所述当前错误块的空域相关性不大于预设强度阈值时,则转步骤S111;
步骤S110:进行空域插值错误隐藏;转步骤S101确定下一个当前错误块;
步骤S111:进行时域错误隐藏;转S101确定下一个当前错误块。
需要说明的是,本实施例所提供的执行流程对于每一个当前错误块是相同,一个错误CTU中的每个错误块依次执行该操作,即步骤S101至步骤S111。当一个当前错误块进行完错误隐藏处理后,继续查找下一个错误块作为当前错误,并进行相应的错误隐藏处理。当一个错误CTU内包含的所有错误块都完成错误隐藏处理后,则查找下一个错误CTU进行相应的错误隐藏处理,直到所有错误CTU全部完成错误隐藏处理。
优选地,所述方法还包括:
步骤S106:当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
优选地,所述方法还包括:
步骤S100:当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;
当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
需要说明的是,步骤S105和步骤S106不限定先后顺序,在其它实施例中,也可以先执行步骤S106。此外,步骤S110和步骤S111也不限定先后顺序。
下面对上述步骤做进一步的解释和说明:
如图2所示,在本实施例中,对于某一个错误块,假设错误块的左上角像素坐标为(x,y),尺寸为w,那么该错误块的上相邻块是像素(x,y-1)所在的PU(prediction Unit,预测单元);左相邻块是像素(x-1,y)所在的PU;下相邻块是像素(x,y+w+1)所在的PU;右相邻块是像素(x+w+1,y)所在的PU;左下相邻块是像素(x-1,y+w+1)所在的PU;右上相邻块是像素(x+w+1,y-1)所在的PU;
时域相邻块是POC(Picture Order Count,图像序号)比当前图像POC小且距离最近的解码图像中像素(x+w/2-1,y+w/2-1)所在的PU。
在步骤S105和S106中,当一个相邻块同时满足以下两个条件时,认为该相邻块是可用的;否则,当一个相邻块不能同时满足以下两个条件时,认为该相邻块是不可用的:
条件一、相邻块没有超出图像边界,即在图像内部;
条件二、相邻块被正确解码,或经过了错误隐藏处理。这里所说的经过了错误隐藏处理是指已经经过本发明描述的错误隐藏方法进行了恢复。
步骤S105中进行时域和空域相关性比较具体包括:
如图3所示,找到与当前错误块B(n,x,y)的左相邻块B(n,x-1,y)和上相邻块B(n,x,y-1),找到当前错误块的时域相邻块B(n-1,x,y)及该时域相邻块的左相邻块B(n-1,x-1,y)和上相邻块B(n-1,x,y-1)。
计算相邻块B(n,x-1,y)和B(n,x,y-1)之间的SADS;再分别计算B(n,x-1,y)和B(n-1,x-1,y)的SADT1,以及B(n,x,y-1)和B(n-1,x,y-1)的SADT2
当SADS小于(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;
当SADS大于或等于(SADT1+SADT2)/3时,所述当前错误块的时域相关性强;
其中:
Figure GDA0002370535530000091
Figure GDA0002370535530000101
Figure GDA0002370535530000102
其中,n为帧号,x为当前错误块的水平坐标,y为当前错误块的垂直坐标,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
步骤S110中进行空域插值错误隐藏具体包括:
如图4所示,根据当前错误块的空域左相邻块计算当前错误块的预测像素P′(i,j),具体的,可利用空域左相邻块边界的一列像素和空域上相邻块边界的一行像素,进行内插得到当前错误块的预测像素。
Figure GDA0002370535530000103
其中,i,j为当前错误块的像素坐标;P′(0,0)表示当前错误块的左上角像素值。
步骤S106中对所述当前错误块进行帧内预测错误隐藏具体包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
如图5所示,在具体计算各候选恢复块的边界匹配差时,根据候选恢复块内边界上的一圈像素以及相邻块中的邻近像素计算。
边界匹配差具体可以采用下述公式1计算:
公式1:SADE=∑0≤i<m||P(i,j)-P(i,j-1)||+∑i=0,m-1||P(i,j)-P(i-1,j)||
其中,m为当前错误块的尺寸;i,j为当前错误块的像素坐标;P(0,0)为当前错误块的左上角像素值。
步骤S111中进行时域错误隐藏具体包括:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块,该恢复像素块对应的MV作为当前错误块的MV。
其中,具体计算边界匹配差可以按照上述公式1的方法计算获得。同时该步骤中需要判断各MV中任意两个MV相同分量的差值是否大于预定阈值,例如可以将预定阈值设为4,那么当满足公式2时将所述当前错误块划分为4个错误子块;
公式2为|MVi(j)-MVi(j-m)|>4。
如图6所示,本发明还提供一种错误隐藏的装置,所述装置包括:
配置模块11,用于将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
信息获取模块12,用于确定所述当前错误块的空域左相邻块和空域上相邻块,所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
判断模块13,用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;
隐藏处理模块14,用于如果所述当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;还用于如果所述当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏。
优选地,
所述隐藏处里模块14还用于当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
优选地,
所述判断模块13用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性是指:
当SADS<(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;其中:
Figure GDA0002370535530000121
Figure GDA0002370535530000122
Figure GDA0002370535530000123
其中,n为帧号,x为当前错误块的水平坐标,y为当前错误块的垂直坐标,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
优选地,
所述隐藏处理模块14用于进行空域插值错误隐藏是指:
根据所述当前错误块的空域左相邻块计算所述当前错误块的预测像素P′(i,j);
Figure GDA0002370535530000131
其中,i,j为当前错误块的像素坐标;P′(0,0)为当前错误块的左上角像素值。
优选地,
所述隐藏处理模块14还用于进行时域错误隐藏是指:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,
所述隐藏处理模块14还用于对所述当前错误块进行帧内预测错误隐藏包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
优选地,所述装置还包括:
划分模块16,用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;还用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
需要强调的是,本领域的技术人员应该明白,本发明中涵盖的策略和步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而可以将它们存储在存储装置中由计算装置来执行,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/模块可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本申请不限制于任何特定形式的硬件和软件的结合。

Claims (12)

1.一种错误隐藏的方法,其特征在于,所述方法包括:
将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
确定所述当前错误块的空域左相邻块和空域上相邻块,所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;
如果所述当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;如果所述当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏;
所述进行时域和空域相关性比较包括:
当SADS小于(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;
当SADS大于或等于(SADT1+SADT2)/3时,所述当前错误块的时域相关性强;
其中:
Figure FDA0002531045460000011
Figure FDA0002531045460000012
Figure FDA0002531045460000013
其中,n为帧号,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
2.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
3.如权利要求1所述的方法,其特征在于:
所述进行空域插值错误隐藏包括:
根据所述当前错误块的空域左相邻块计算所述当前错误块的预测像素P′(i,j);
Figure FDA0002531045460000021
其中,i,j为当前错误块的像素坐标;P′(0,0)为当前错误块的左上角像素值。
4.如权利要求1所述的方法,其特征在于:
所述进行时域错误隐藏包括:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
5.如权利要求2所述的方法,其特征在于:
所述对所述当前错误块进行帧内预测错误隐藏包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
6.如权利要求1至5任一所述的方法,其特征在于:
所述将当前错误编码树单元CTU中的每个错误块依次作为当前错误块前还包括:
当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;
当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
7.一种错误隐藏的装置,其特征在于,所述装置包括:
配置模块,用于将当前错误编码树单元CTU中的每个错误块依次作为当前错误块;
信息获取模块,用于确定所述当前错误块的空域左相邻块和空域上相邻块,所述空域左相邻块和空域上相邻块与所述错误块在空域上相邻;
判断模块,用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性比较;
隐藏处理模块,用于如果所述当前错误块的空域相关性大于预设强度阈值时,则进行空域插值错误隐藏;还用于如果所述当前错误块的空域相关性不大于预设强度阈值时,则进行时域错误隐藏;
所述判断模块用于当所述当前错误块的所述空域左相邻块和空域上相邻块都可用且都不为帧内预测块时,进行时域和空域相关性是指:
当SADS<(SADT1+SADT2)/3时,所述当前错误块的空域相关性强;其中:
Figure FDA0002531045460000031
Figure FDA0002531045460000032
Figure FDA0002531045460000033
其中,n为帧号,m为当前错误块的尺寸,i、j为当前错误块的像素坐标,n为帧号,P(n,0,0)为当前错误块的左上角像素值。
8.如权利要求7所述的装置,其特征在于:
所述隐藏处里模块还用于当所述空域左相邻块和空域上相邻块都可用且都为帧内预测块时,对所述当前错误块进行帧内预测错误隐藏。
9.如权利要求7所述的装置,其特征在于:
所述隐藏处理模块用于进行空域插值错误隐藏是指:
根据所述当前错误块的空域左相邻块计算所述当前错误块的预测像素P′(i,j);
Figure FDA0002531045460000041
其中,i,j为当前错误块的像素坐标;P′(0,0)为当前错误块的左上角像素值。
10.如权利要求7所述的装置,其特征在于:
所述隐藏处理模块还用于进行时域错误隐藏是指:
获取所述当前错误块的空域左相邻块、空域上相邻块、空域左下相邻块以及空域右上相邻块中的各运动矢量MV;
当各MV中任意两个MV相同分量的差值大于预定阈值时,将所述当前错误块划分为4个错误子块;否则,将所述当前错误块整体作为1个错误子块;
对于每个错误子块依次进行以下操作:
将错误子块的空域左相邻子块、空域上相邻子块、空域右相邻子块、空域下相邻子块和时域相邻子块中可用的MV以及零运动MV作为所述错误子块的MV,根据所述错误子块的各MV获取所述错误子块的各候选恢复块;
将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
11.如权利要求8所述的装置,其特征在于:
所述隐藏处理模块还用于对所述当前错误块进行帧内预测错误隐藏包括:
将所述空域左相邻块和空域上相邻块的预测模式分别作为所述当前错误块的候选预测模式;
根据各候选预测模式获取所述当前错误块的各候选恢复块;将各候选恢复块中边界匹配差最小的候选恢复块作为所述当前错误块的恢复像素块。
12.如权利要求7至11任一所述的装置,其特征在于,所述装置还包括:
划分模块,用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU中任一项进行过划分,则将所述当前错误CTU划分为4个错误块;还用于当所述当前错误CTU的空域上相邻CTU、空域下相邻CTU、空域左相邻CTU、空域右相邻CTU以及时域相邻CTU都未进行划分,则将所述当前错误CTU整体作为1个错误块。
CN201510086369.3A 2015-02-17 2015-02-17 一种错误隐藏的方法和装置 Active CN105992012B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510086369.3A CN105992012B (zh) 2015-02-17 2015-02-17 一种错误隐藏的方法和装置
PCT/CN2015/090813 WO2016131270A1 (zh) 2015-02-17 2015-09-25 一种错误隐藏的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510086369.3A CN105992012B (zh) 2015-02-17 2015-02-17 一种错误隐藏的方法和装置

Publications (2)

Publication Number Publication Date
CN105992012A CN105992012A (zh) 2016-10-05
CN105992012B true CN105992012B (zh) 2020-09-15

Family

ID=56691977

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510086369.3A Active CN105992012B (zh) 2015-02-17 2015-02-17 一种错误隐藏的方法和装置

Country Status (2)

Country Link
CN (1) CN105992012B (zh)
WO (1) WO2016131270A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107277549B (zh) * 2017-06-07 2020-05-12 南京邮电大学 一种基于纹理角度预测模式的hevc帧内编码帧差错掩盖方法
CN107241609A (zh) * 2017-07-21 2017-10-10 东华大学 基于梯度特征统计与非迭代收缩填充的空域错误隐藏方法
CN111770346B (zh) * 2020-06-10 2022-09-30 杭州电子科技大学 一种基于显著性的立体三维视频错误隐藏方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463154A (zh) * 2002-05-28 2003-12-24 华为技术有限公司 视讯系统中的错误掩盖方法
CN1964497A (zh) * 2005-11-09 2007-05-16 上海乐金广电电子有限公司 动影像解码时的错误隐蔽方法
CN101163250A (zh) * 2006-10-09 2008-04-16 北京航空航天大学 一种基于边界梯度的视频流容错方法
CN101304538A (zh) * 2008-06-19 2008-11-12 宁波中科集成电路设计中心有限公司 Avs视频解码的错误检测与掩盖方法
CN102307304A (zh) * 2011-09-16 2012-01-04 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738561B2 (en) * 2004-11-16 2010-06-15 Industrial Technology Research Institute MPEG-4 streaming system with adaptive error concealment
CN102111622B (zh) * 2009-12-23 2012-12-19 中兴通讯股份有限公司 一种视频图像的时域错误隐藏方法及装置
CN102104782A (zh) * 2011-03-30 2011-06-22 武汉大学 一种适用于avs-p2视频编码标准的解码端错误隐藏方法
CN103313064B (zh) * 2013-06-07 2016-04-13 国家广播电影电视总局广播科学研究院 基于帧间模式和运动修补的时域错误隐藏方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1463154A (zh) * 2002-05-28 2003-12-24 华为技术有限公司 视讯系统中的错误掩盖方法
CN1964497A (zh) * 2005-11-09 2007-05-16 上海乐金广电电子有限公司 动影像解码时的错误隐蔽方法
CN101163250A (zh) * 2006-10-09 2008-04-16 北京航空航天大学 一种基于边界梯度的视频流容错方法
CN101304538A (zh) * 2008-06-19 2008-11-12 宁波中科集成电路设计中心有限公司 Avs视频解码的错误检测与掩盖方法
CN102307304A (zh) * 2011-09-16 2012-01-04 北京航空航天大学 基于图像分割的立体视频右图像整帧丢失的错误隐藏方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
视频传输的错误隐藏技术综述;张义云 等;《计算机应用研究》;20150228;全文 *

Also Published As

Publication number Publication date
WO2016131270A1 (zh) 2016-08-25
CN105992012A (zh) 2016-10-05

Similar Documents

Publication Publication Date Title
JP5254997B2 (ja) 発見フレーム領域についての動き推定
US9060177B2 (en) System and method to process motion vectors of video data
WO2019229705A1 (en) Weighted interweaved prediction
CN107046645B9 (zh) 图像编解码方法及装置
US9307241B2 (en) Video encoding method and a video encoding apparatus using the same
US20140241436A1 (en) Method and device for determining parameters for encoding or decoding of an image of a video sequence
CN106375764B (zh) 一种结合方向预测和块复制预测的视频帧内编码方法
CN112385211A (zh) 用于视频编码和解码的运动补偿
US11363276B2 (en) Intra-frame prediction method and apparatus, video coding device, and storage medium
WO2012095466A1 (en) Video encoding and decoding with improved error resilience
US20210211647A1 (en) Utilization of non-sub block spatial-temporal motion vector prediction in inter mode
US20100002771A1 (en) Seamless Wireless Video Transmission For Multimedia Applications
US20240031576A1 (en) Method and apparatus for video predictive coding
CN105992012B (zh) 一种错误隐藏的方法和装置
US20130235942A1 (en) Signal shaping techniques for video data that is susceptible to banding artifacts
KR100846780B1 (ko) 움직임 벡터 추정 방법 및 장치
WO2020049447A1 (en) Fast encoding methods for interweaved prediction
CN112565747B (zh) 一种解码、编码方法、装置及其设备
JP2005184241A (ja) 動画像フレーム内モード判定方式
KR101378434B1 (ko) 고속 화면내 예측 모드 결정 방법
Pradhan et al. Survey on block matching algorithms for motion estimation
WO2019229682A1 (en) Application of interweaved prediction
WO2020049446A1 (en) Partial interweaved prediction
CN112565789B (zh) 视频解码及编码方法、装置、计算机可读介质及电子设备
JP7545331B2 (ja) ビデオ符号化及び復号化の動き補償

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant