CN104427348B - 用于恢复空间运动矢量的装置和方法 - Google Patents
用于恢复空间运动矢量的装置和方法 Download PDFInfo
- Publication number
- CN104427348B CN104427348B CN201410453839.0A CN201410453839A CN104427348B CN 104427348 B CN104427348 B CN 104427348B CN 201410453839 A CN201410453839 A CN 201410453839A CN 104427348 B CN104427348 B CN 104427348B
- Authority
- CN
- China
- Prior art keywords
- motion vector
- loss
- orthogonal
- effective
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
用于恢复空间运动矢量的装置和方法。讨论了一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的装置,该装置包括:第一选择单元,其从位于丢失的片上方的第一片选择第一运动矢量,并且从位于所丢失的片下方的第二片选择第二运动矢量;第二选择单元,其确定与第一运动矢量正交的至少一个第一正交运动矢量,并且确定与第二运动矢量正交的至少一个第二正交运动矢量;以及恢复单元,其使用有效的运动矢量的加权平均来计算所丢失的片中包括的丢失的运动矢量,其中,有效的运动矢量包括第一运动矢量、第二运动矢量、第一正交运动矢量以及第二正交运动矢量中的至少一个。
Description
技术领域
本发明涉及一种用于恢复接收到的视频流的空间运动矢量的装置和方法。
背景技术
移动装置正变得更加普遍和复杂。结果,这些装置的无线通信方面正变得越来越重要。同时,在可用性和质量方面对视频需求也在上升。高清晰度(HD)视频是用于满足现今视频需求的选择的标准。然而,HD视频的特征在于高数据速率。使用H.264压缩的HD视频能够经由802.11无线网络进行无线流式传输。然而,这样的无线网络易于出现分组丢失,这导致视频的感知质量下降。因此,重要的是执行错误隐藏(error concealment)以便改善下降的视频的视觉质量。
发明内容
因此,本发明旨在提供一种用于恢复接收到的视频流的空间运动矢量的装置和方法,所述装置和方法基本上消除了由于相关技术的局限性和缺点而导致的一个或更多个问题。
本发明的一个方面旨在提供一种用于恢复接收到的视频流的空间运动矢量的装置和方法,所述装置和方法对接收到的视频流执行错误隐藏。
除了本发明的前述目标之外,将在下面描述本发明的其它特征和优点,所述特征和优点将由本领域的技术人员从下面的描述清楚地理解。
除本发明的前述特征和效果之外,能够从本发明的实施方式以新的方式解释其它特征和效果。
本发明的附加的优点和特征将在下面的描述中部分地阐述,并且对于研究了以下部分的本领域普通技术人员将变得显而易见,或者可以从本发明的实践中习得。本发明的目的和其它优点可以通过在撰写的说明书及其权利要求书以及附图中所特别地指出的结构来实现和获得。
为了实现这些和其它优点并且依照本发明的目的,如在本文中所体现和广泛地描述的那样,一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的方法,该方法包括以下步骤:第一步骤,从位于丢失的片上方的第一片选择第一运动矢量,并且从位于所述丢失的片下方的第二片选择第二运动矢量;第二步骤,确定与所述第一运动矢量正交的至少一个第一正交运动矢量,并且确定与所述第二运动矢量正交的至少一个第二正交运动矢量;以及第三步骤,使用有效的运动矢量的加权平均来计算包含在所述丢失的片中的丢失的运动矢量,其中,所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交运动矢量以及所述第二正交运动矢量中的至少一个。
在本发明的另一方面,一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的装置,该装置包括:第一选择单元,该第一选择单元从位于丢失的片上方的第一片选择第一运动矢量,并且从位于所述丢失的片下方的第二片选择第二运动矢量;第二选择单元,该第二选择单元确定与所述第一运动矢量正交的至少一个第一正交运动矢量,并且确定与所述第二运动矢量正交的至少一个第二正交运动矢量;以及恢复单元,该恢复单元使用有效的运动矢量的加权平均来计算包括在所述丢失的片中包括的丢失的运动矢量,其中,所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交运动矢量以及所述第二正交运动矢量中的至少一个。
应当理解,本发明的前面的通用描述和以下详细描述两者都是示例性的和说明性的,并且旨在提供对如所要求保护的本发明的进一步解释。
附图说明
附图被包括在本说明书中以提供对本发明的进一步理解,并结合到本说明书中且构成本说明书的一部分,附图示出了本发明的实施方式,且与说明书一起用于解释本发明的原理。在图中:
图1例示了根据本发明的用于恢复运动矢量的方法的实施方式;
图2例示了第一运动矢量和第二运动矢量相对于丢失的宏块的位置和距离;
图3例示了被用于经由反距离加权来估计丢失的运动矢量的值的第一运动矢量、第二运动矢量以及它们的相邻的运动矢量;
图4例示了运动矢量相对于距离的空间关系;
图5例示了1080p HD测试视频的规范;
图6例示了范围从-1到+1的莫氏(Moran’s)I值的直方图;
图7例示了根据本发明的用于恢复运动矢量的装置的实施方式;
图8A和图8B例示了在原始帧与由于网络分组丢失而具有缺失的片信息的损坏帧之间的比较;
图9A至图9E例示了与已有的EC技术的比较;
图10A至图10F例示了具有使用CMVR而隐藏的5个丢失场景的6个测试视频的测量结果;
图11例示了针对六个测试视频对默认方法和CMVR使用恢复的MV的隐藏MB的百分比分布;
图12A至图12C例示了针对用默认方法和CMVR两者隐藏的Med2的3int情况在原始帧与已损坏帧之间的比较。
具体实施方式
在下文中,将参照附图详细地描述根据本发明的用于恢复运动矢量的装置和方法。
基于宏块(MB)候选系统的本发明提供了称作加权最近有效(Weighted NearestValid)MV平均(WNVMVA)的新的运动矢量(MV)恢复技术。WNVMVA被提出来补充MV侯选(即,均值MV、中值MV、最后MV以及零MV技术)的默认集合。默认技术和新的技术的组合将被称为竞争性运动矢量恢复(CMVR)。
WNVMVA的目标在于通过仅使用在空间上最接近于丢失的MV的有效的MV(即,仅正确地接收到并解码的MV)来利用在MV之中的空间关系。相比之下,MV由于帧内编码或分组丢失而可能是无效的。在空间上最接近的有效的MV被用来估计丢失的MV。所估计的MV由于未能准确地表示MV的空间特性而被从WNVMVA排除。因此,通过仅分析有效的MV,有可能暴露MV之中的更准确的空间关系。
图1例示了根据本发明的用于恢复运动矢量的方法的实施方式。
如图1中所看到的,在操作1100中,根据本发明的用于恢复运动矢量的方法选择第一MV和第二MV。
针对丢失的片中的每个MB,本发明首先从位于上方的片选择一个有效的MV(第一MV)并且从位于下方的片选择另一个有效的MV(第二MV)。这在图2中示出。
图2例示了第一运动矢量和第二运动矢量相对于丢失的宏块的位置和距离。如图2中所看到的,基于正确地接收到并解码的片的可用性来做出选择。例如,如果位于丢失的片上方的片是帧中的第一片并且该片也丢失了,则仅考虑底部的有效MV。顶部的有效MV将被称为MV1并且底部的有效MV将被称作MV2,它们在垂直方向上在空间上最接近于丢失的MV。在MV1的位置和MV2的位置与丢失的MB之间的距离分别是d1和d2。注意,假定丢失的MB与MV1的MB之间的MB的MV不是有效的(并且对于MV2的MB同样如此),这是因为这些MB丢失或者被帧内编码并因此不存在这些MB的MV。
水平方向上的对应有效的MV在已经历了分组丢失的H.264视频的背景下通常是不可用的。这是因为丢失的视觉信息在整个帧延伸。当H.264视频损坏时,片的一部分、整个片或多个片丢失。然而,一些丢失的片区可以在帧中间开始或结束,这将导致一些水平地可用的有效MV。但是这种可用性将被限于仅为丢失的MB的总数目的一小部分-在丢失的片的顶部的行和底部的行中的那些。例如,HD视频中的标准帧包含8个片并且每个片由8或9行MB构成。如果这些片中的一个在中间帧中开始或者结束,则仅一行中MB的约一半MB(少于一片中全部MB的10%)将具有水平相邻的有效MV。因此,一般而言,从丢失的MB的角度看,水平方向上存在很少的可用的有效MV。
如图1中所看到的,在操作1200中,根据本发明的用于恢复运动矢量的方法选择第一正交MV和第二正交MV。
在建立了MV1和MV2后,确定MV1和MV2的相应的正交相邻有效MV(即,第一正交MV和第二正交MV)(如果有的话)。在图3中例示了这个过程。
图3例示了被用来经由反距离加权(IDW)来估计丢失的运动矢量的值的第一运动矢量、第二运动矢量以及它们相邻的运动矢量。
如图3中所看到的,MV1的最接近的有效的相邻MV是左侧相邻的MV1L、右侧相邻的MV1R、以及顶部邻居的MV1T。类似地,MV2的最接近的有效的相邻MV是左侧相邻的MV2L、右侧相邻的MV2R、以及底部相邻的MV2B。再次,可能存在于MV1或MV2与其最接近的有效的相邻MV之间的任何MV被认为是无效的,这是因为它们被帧内编码或丢失。可以单独地基于MV1和MV2来估计所丢失的MB的MV。然而,MV1和MV2的正交相邻的有效MV提供在更准确地估计丢失的MV时有用的互补的空间依赖性信息。通过不仅考虑MV1和MV2而且考虑它们的邻居,估计所丢失的MV的过程更表示MV的空间特性。此外,左邻居和右邻居特别地说明水平空间依赖性。这个选择补偿了水平地邻接所丢失的MV的有效的MV的不存在。
如图1中所看到的,在操作1300中,根据本发明的用于恢复运动矢量的方法使用有效的MV来恢复丢失的MV。
然后使用MV1和MV2以及它们有效的正交邻居来计算对所丢失的MV的估计。这经由反距离加权(IDW)来执行,所述反距离加权(IDW)是使用已知点的加权平均来估计未知点的值的内插技术。每个有效的MV的权重与该MV与未知MV之间的距离成反比。这个反比关系基于如下假设:更靠近在一起的MV比离彼此更远的MV是更加空间相关的。在图4中可看到这个概念的简单图形图示,图4是具有重叠MV的视频帧的放大后的部分。如从图4可以看到的,MV越靠近就越展示出越大的相似性,并且越远离就展示出越大的不一致性。因此,正确地解码的MV与丢失的MV之间的距离越短,对丢失的MV的估计的影响越大。
用于本发明的对有效的MV的选择还能够通过测量在它们之中的空间自相关而在数学上进行分析。空间自相关基于有效的MV的值和它们在帧中的相对位置在统计上测量它们在空间上是多么相关的。目标在于在有效的MV之中实现正的依赖性,这将不仅证明它们的选择,而且证明IDW公式。为了执行空间自相关统计,采用了莫氏I(Moran’s I),其是其值范围从-1(完全分散)到+1(完全相关)的索引。零值指示随机空间关系。莫氏I被定义为下面的等式。
其中,N是根据MB在帧中的(x;y)坐标由i和j所索引的有效的MV值的数目,X是表示MV值的变量,是X的均值,并且wij是大小为N×N的空间权重矩阵(SWM)的元素。
为了图示莫氏I等式的使用,考虑当存在全部8个有效的MV时的情况。然而,为了莫氏I分析起见,同样通过从视频的未损坏版本获得丢失的MV的值来考虑可能丢失的MV。这导致总共9个被正确解码的MV,其中8个有效的MV将被测试以得到相对于可能丢失的MV的实际值和位置的空间依赖性。通过量化这个空间依赖性,有可能基于可靠地估计所丢失的MV的值的IDW来构造模型。
总共9个MV表示N=9。因此,SWM是9×9矩阵,其表达在每对i;j位置处的MV值之间的交互的可能性(即,空间依赖性的可能性)。这些交互中的每一个都以权重的形式表示。下面的矩阵示出了通常的9×9SWM。通过定义,SWM的对角元素(wii)被设置为零,而其余元素(wij)被计算为基于距离的权重。
每个基于距离的权重是在两个MV之间的MB距离的倒数。例如,MV1与MV1L之间的空间权重关系由SWM中的元素w12表示。假定这些MV例如相隔5个MB,则w12=1/5。在建立SWM后,针对帧中的每个MV计算莫氏I。针对MV值的x和y分量两者分别进行。图6示出了针对极限运动(滑冰)测试视频的MV y分量值的莫氏I值的典型分布(见图5)。不仅对于所对应的x-分量值,而且对于极限运动(滑冰)以及其它测试视频中的其它帧,能够看到类似的行为。从图6可以看到大多数莫氏I值是正值的并且集中在0.8附近。这相当于根据被用来构造SWM以用于计算莫氏I值的IDW关系在MV值之中的正空间自相关的强烈指示。注意,即使这样,在零处也存在大量的莫氏I值,这主要是由于零莫氏I值对帧内编码的MB(其没有MV值)和不具有有效的邻近MV的MV的默认分配而导致的。因此,零值在这种情况下并不是在分配莫氏I值时所预期的随机空间关联的真实反映。考虑所有这一切,经由莫氏I的结果和空间自相关分析如图6中所例示的那样经由基于IDW的公式支持所丢失的MV的估计。结果是下面示出的WNVMVA公式。
其中
i∈{1,1L,1R,1T,2,2L,2R,2B}
图7例示了根据本发明的用于恢复运动矢量的装置的实施方式。
如图7中所看到的,根据本发明的用于恢复运动矢量的装置包括第一选择单元200、第二选择单元300以及恢复单元400。
第一选择单元200从位于丢失的片上方的第一片选择第一运动矢量,并且从位于丢失的片下方的第二片选择第二运动矢量。
第一选择单元200选择在空间上最接近于丢失的运动矢量的第一运动矢量,并且选择在空间上最接近于丢失的运动矢量的第二运动矢量。
第二选择单元300确定与第一运动矢量正交的至少一个第一正交运动矢量,并且确定与第二运动矢量正交的至少一个第二正交运动矢量。
第二选择单元300将第一左侧运动矢量、第一顶部运动矢量以及第一右侧运动矢量中的至少一个确定为第一正交运动矢量,并且将第二左侧运动矢量、第二底部运动矢量以及第二右侧运动矢量中的至少一个确定为第二正交运动矢量,其中,第一左侧运动矢量最接近于第一运动矢量的左侧,第一顶部运动矢量最接近于第一运动矢量的顶侧,第一右侧运动矢量最接近于第一运动矢量的右侧,第二左侧运动矢量最接近于第二运动矢量的左侧,第二底部运动矢量最接近于第二运动矢量的底侧,第二右侧运动矢量最接近于第二运动矢量的右侧。
恢复单元400使用有效的运动矢量的加权平均来计算丢失的片中所包括的丢失的运动矢量,其中,有效的运动矢量包括第一运动矢量、第二运动矢量、第一正交运动矢量以及第二正交运动矢量中的至少一个。
恢复单元400使用反距离加权(IDW)来计算丢失的运动矢量,所述反距离加权(IDW)是使用有效的运动矢量的加权平均来估计丢失的运动矢量的内插法,每个有效的运动矢量的权重与每个有效的运动矢量与丢失的运动矢量之间的距离成反比。
丢失的运动矢量像在以下等式中所表达的那样被计算:其中,wi是权重,并且MVi是每个有效的运动矢量。
<评估>
为了评估WNVMVA,使用了在总体运动特性中展示不同水平的速度的视频,其被分类为低速、中速以及高速。针对每个速度使用两个1080p HD H.264视频而得到总共六个视频。图5概述了使用的不同视频和它们的特性。每个视频长约2秒钟。
在图5中,通过模拟视频中的数据丢失来创建测试视频。H.264比特流包含针对每个NAL单元的头部和起始码。因此,有可能通过隔离并去除图片的片(picture slice)来模拟数据丢失,这是因为它们直接地对应于NAL单元。图8A和图8B示出了由于之前为评估无线HD视频技术而进行的实际802.11无线流式传输试验而具有缺失片的信息的I-帧。可以看到,由于片与NAL单元之间的关系以及它们如何直接地与RTP分组相关联,因此所述丢失是基于片的。使用开源H.264编码器x264按照10至15Mbps的位速率并在没有的B-帧的情况下对每个测试视频重新编码。这产生原始H.264比特流,能够在片的水平上修改原始H.264比特流,以如在部分2.2中所描述的那样模拟数据丢失。编辑元素H.264比特流在十六进制模式下完成,这包含与P-帧的片相对应的起始码。每个P-帧的第一片具有起始码0x0000000141,而同一帧的其余的七个片中的每一个都以码0x00000141开始。这些码是用于在原始H.264比特流内操纵帧和片的基础。对于视频中的每一个,模拟了五种不同类型的丢失,如下所示:
1.两个间歇片(2int)
2.三个间歇片(3int)
3.四个连续片(4cont)
4.顶部片(top)
5.底部片(bot)
然后使用包括WNVMVA的CMVR对这些视频进行编码和隐藏。编码的结果被与它们相应的原始未损坏版本和所记录的PSNR测量结果进行比较。为了演示WNVMVA的视觉意义,如在图9A至图9E中可见的,将组成CMVR的多个技术单独地比较。这通过使EC技术中的每一个隔离并且隐藏单个损坏帧来完成。可以看到,WNVMVA展示了最好的视觉质量并且因此大体上在CMVR的MB候选系统内是有用的。然而,零MV展示了来自不同帧的拷贝的片。并且,其它方法(均值MV、中值MV以及最后MV)展示了由于糟糕的MV估计而由来自猎豹的身体的放错位置的MB构成的赝像(artifact)。
图10A至图10F中示出了针对六个不同视频的PSNR比较,其中每个都具有五个不同丢失场景。对于每个视频,第十帧损坏(此时视频质量开始)。这些结果针对所有五个丢失场景(2int、3int、4cont、top以及bot)比较CMVR与默认方法(即,没有WNVMVA的CMVR)。与CMVR相对应的图例附加有W以表示包括WNVMVA。
可以看到,视频劣化的量与丢失的片的数目成比例。这能够从每个视频的平均PSNR按以下次序下降的事实推断出:top/bot、2int、3int以及4cont。CMVR提供了对于大多数情况优于默认方法0.5dB至2dB的PSNR改进。例如,图12A至图12C例示了针对Med2剪辑的3int情况采用CMVR对默认方法的视觉改进。为了突出差异,仅考虑已损坏帧的一部分。
由WNVMVA所提供的改进的主要例外是4cont的一些情况,其中CMVR使视频劣化了多达2dB。这些情况包括High1、High2及Med2的4cont。这违反逻辑,因为具有WNVMVA的CVMR应该总是比默认方法表现得更好。然而,因为解码器可能由于以下两个有关的原因选择基于WNVMVA的候选而导致这种情况出现。首先,WNVMVA取决于位于丢失的片区上方和下方的有效的MV的空间依赖性。因此,丢失的片区越大,有效的MV相隔越远,并且因此它们越少地空间依赖。这导致了经由WNVMVA的较不准确的MV估计。第二,WNVMVA由于BMA的有限效率而在一定程度上是可靠的。也就是说,基于WNVMVA的MV可以以在它们紧靠的范围内生成具有较好BMA性能的MB而结束,但是结果却使视频的总体质量下降。通过改进BMA算法,能够在这样的情况下来改善选择WNVMVA而不选择默认方法。
如较早地讨论的那样,CMVR是现有方法(零MV、均值MV、中值MV以及最后MV)与本发明WNVMVA的组合。这意味着对于每一丢失的MB,存在总共五个可能的MB候选。图11例示了使用所有五个EC技术的隐藏MB的总数目的百分比分布。图11同样示出了在默认方法中使用的四个EC技术的百分比分布作为比较。可以看到,WNVMVA通过补充四个现有的MV恢复技术来提供相当好的改进。WNVMVA针对所有视频向EC做出显著的贡献–CMVR的大约50%。这表明在丢失的MV与周围有效的MV之间存在相当量的空间依赖性。
H.264HD视频在802.11无线网络上的未来是能够成功的,尤其是在努力改进与渐增的视频需求结合的802.11方面。由于802.11无线网络的有损性质和H.264视频对这些丢失的高敏感性,适当的EC在无线HD视频传输中是一个重要过程。能够通过利用MV的空间关系基于在相同空间(帧)内的可用MV来估计丢失的MV。在本文献中,已经示出了通过专门地分析有效的MV来捕获在MV之中的空间依赖性的新的发明WNVMVA。此外,WNVMVA已证明其是对利用易出错的估计的MV的现有MV恢复EC技术的可靠补充。
存在通过利用时间冗余并且解决在空间域内的附加因素(诸如可用MV的更复杂表征以及将帧内编码的MB并入到EC方案中)来进一步改进MV恢复的机会。
对于本领域的技术人员而言将显而易见的是,在不背离本发明的精神或范围的情况下,能够在本发明中做出各种修改和变化。因此,意图是,本发明涵盖本发明的修改和变化,只要他们落入所附权利要求和它们的等同物的范围内。
Claims (8)
1.一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的方法,该方法包括以下步骤:
第一步骤,从位于丢失的片上方的第一片选择在同一帧内在空间上最接近丢失的运动矢量的第一运动矢量,并且从位于所述丢失的片下方的第二片选择在所述同一帧内在空间上最接近所述丢失的运动矢量的第二运动矢量;
第二步骤,确定在所述同一帧内的与所述第一运动矢量正交的至少一个第一正交运动矢量,并且确定在所述同一帧内的与所述第二运动矢量正交的至少一个第二正交运动矢量;以及
第三步骤,使用有效的运动矢量的加权平均来生成所述丢失的片中包括的所述丢失的运动矢量的经恢复的运动矢量,所述有效的运动矢量至少包括所述第一运动矢量、所述第二运动矢量、所述第一正交运动矢量和所述第二正交运动矢量,
其中,每个所述有效的运动矢量的权重与每个所述有效的运动矢量和所述丢失的运动矢量之间的在所述同一帧内的空间距离成反比,并且
其中,所述有效的运动矢量是在所述同一帧内的不包括任何帧内编码的运动矢量的被正确解码的运动矢量。
2.根据权利要求1所述的方法,其中,生成所述丢失的运动矢量的所述经恢复的运动矢量的所述第三步骤使用反距离加权IDW,所述IDW是使用所述有效的运动矢量的加权平均来估计所述丢失的运动矢量的内插法。
3.根据权利要求2所述的方法,其中,所述丢失的运动矢量如在下式中所表示的那样计算:
其中,wi是所述权重,并且MVi是每个有效的运动矢量。
4.根据权利要求1所述的方法,所述第二步骤将第一左侧运动矢量、第一顶部运动矢量以及第一右侧运动矢量中的至少一个确定为所述第一正交运动矢量,并且将第二左侧运动矢量、第二底部运动矢量以及第二右侧运动矢量中的至少一个确定为所述第二正交运动矢量,
其中,所述第一左侧运动矢量最接近所述第一运动矢量的左侧,所述第一顶部运动矢量最接近所述第一运动矢量的顶侧,所述第一右侧运动矢量最接近所述第一运动矢量的右侧,所述第二左侧运动矢量最接近所述第二运动矢量的左侧,所述第二底部运动矢量最接近所述第二运动矢量的底侧,所述第二右侧运动矢量最接近所述第二运动矢量的右侧。
5.一种用于恢复运动矢量以对接收到的视频流执行错误隐藏的装置,该装置包括:
第一选择单元,该第一选择单元从位于丢失的片上方的第一片选择在同一帧内在空间上最接近丢失的运动矢量的第一运动矢量,并且从位于所述丢失的片下方的在所述同一帧内在空间上最接近所述丢失的运动矢量的第二片选择第二运动矢量;
第二选择单元,该第二选择单元确定在所述同一帧内的与所述第一运动矢量正交的至少一个第一正交运动矢量,并且确定在所述同一帧内的与所述第二运动矢量正交的至少一个第二正交运动矢量;以及
恢复单元,该恢复单元使用有效的运动矢量的加权平均来生成所述丢失的片中包括的所述丢失的运动矢量的经恢复的运动矢量,
其中,所述有效的运动矢量包括所述第一运动矢量、所述第二运动矢量、所述第一正交运动矢量以及所述第二正交运动矢量,
其中,所述有效的运动矢量是不包括任何帧内编码的运动矢量的被正确解码的运动矢量,并且
其中,每个有效的运动矢量的权重与每个有效的运动矢量和所述丢失的运动矢量之间的在所述同一帧内的空间距离成反比。
6.根据权利要求5所述的装置,其中,生成所述丢失的运动矢量的所述经恢复的运动矢量的所述恢复单元使用反距离加权IDW,所述IDW是使用所述有效的运动矢量的加权平均来估计所述丢失的运动矢量的内插法。
7.根据权利要求6所述的装置,其中,所述丢失的运动矢量如在下式中所表示的那样计算:
其中,wi是所述权重,并且MVi是每个有效的运动矢量。
8.根据权利要求5所述的装置,其中,所述第二选择单元将第一左侧运动矢量、第一顶部运动矢量以及第一右侧运动矢量中的至少一个确定为所述第一正交运动矢量,并且将第二左侧运动矢量、第二底部运动矢量以及第二右侧运动矢量中的至少一个确定为所述第二正交运动矢量,
其中,所述第一左侧运动矢量最接近所述第一运动矢量的左侧,所述第一顶部运动矢量最接近所述第一运动矢量的顶侧,所述第一右侧运动矢量最接近所述第一运动矢量的右侧,所述第二左侧运动矢量最接近所述第二运动矢量的左侧,所述第二底部运动矢量最接近所述第二运动矢量的底侧,所述第二右侧运动矢量最接近所述第二运动矢量的右侧。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/020,565 | 2013-09-06 | ||
US14/020,565 US9872046B2 (en) | 2013-09-06 | 2013-09-06 | Apparatus and method for recovering spatial motion vector |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104427348A CN104427348A (zh) | 2015-03-18 |
CN104427348B true CN104427348B (zh) | 2018-01-16 |
Family
ID=52625602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410453839.0A Active CN104427348B (zh) | 2013-09-06 | 2014-09-05 | 用于恢复空间运动矢量的装置和方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9872046B2 (zh) |
KR (1) | KR102251200B1 (zh) |
CN (1) | CN104427348B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102111622A (zh) * | 2009-12-23 | 2011-06-29 | 中兴通讯股份有限公司 | 一种视频图像的时域错误隐藏方法及装置 |
CN102984525A (zh) * | 2012-12-18 | 2013-03-20 | 北京大学 | 一种视频码流错误隐藏方法 |
CN103024402A (zh) * | 2012-11-29 | 2013-04-03 | 宁波大学 | 一种自由视点视频整帧丢失错误隐藏方法 |
CN103167291A (zh) * | 2013-03-08 | 2013-06-19 | 宁波大学 | 一种基于结构相似度的立体视频整帧丢失错误隐藏方法 |
CN103220533A (zh) * | 2013-03-29 | 2013-07-24 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100556450B1 (ko) * | 1998-05-28 | 2006-05-25 | 엘지전자 주식회사 | 움직임 벡터 추정에 의한 오류 복원 방법 |
KR100587274B1 (ko) * | 1999-07-22 | 2006-06-08 | 엘지전자 주식회사 | 엠펙2 압축복원시스템에서의 오류 은폐방법 |
CN1323553C (zh) * | 2003-01-10 | 2007-06-27 | 汤姆森许可贸易公司 | 隐藏由宏块流构成的编码图像中的空间差错的方法 |
KR100531895B1 (ko) * | 2004-02-26 | 2005-11-29 | 엘지전자 주식회사 | 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법 |
EP1779673A1 (en) | 2004-07-15 | 2007-05-02 | Qualcomm Incorporated | H.264 spatial error concealment based on the intra-prediction direction |
US20060062304A1 (en) * | 2004-09-17 | 2006-03-23 | Shih-Chang Hsia | Apparatus and method for error concealment |
GB0500332D0 (en) | 2005-01-08 | 2005-02-16 | Univ Bristol | Enhanced error concealment |
US7660354B2 (en) * | 2005-05-11 | 2010-02-09 | Fang Shi | Temporal error concealment for bi-directionally predicted frames |
US7916796B2 (en) * | 2005-10-19 | 2011-03-29 | Freescale Semiconductor, Inc. | Region clustering based error concealment for video data |
KR100728587B1 (ko) * | 2006-01-05 | 2007-06-14 | 건국대학교 산학협력단 | 하이브리드 에러 은닉 방법 |
EP1809041A1 (en) * | 2006-01-11 | 2007-07-18 | Mitsubishi Electric Information Technology Centre Europe B.V. | Error concealement for scalable video coding |
US8238442B2 (en) * | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
US8509313B2 (en) * | 2006-10-10 | 2013-08-13 | Texas Instruments Incorporated | Video error concealment |
US8265171B2 (en) * | 2008-02-26 | 2012-09-11 | Richwave Technology Corp. | Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission |
TWI442777B (zh) | 2009-06-23 | 2014-06-21 | Acer Inc | 空間性錯誤隱藏方法 |
GB2493212B (en) * | 2011-07-29 | 2015-03-11 | Canon Kk | Method and device for error concealment in motion estimation of video data |
-
2013
- 2013-09-06 US US14/020,565 patent/US9872046B2/en active Active
-
2014
- 2014-09-04 KR KR1020140117607A patent/KR102251200B1/ko active IP Right Grant
- 2014-09-05 CN CN201410453839.0A patent/CN104427348B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102111622A (zh) * | 2009-12-23 | 2011-06-29 | 中兴通讯股份有限公司 | 一种视频图像的时域错误隐藏方法及装置 |
CN103024402A (zh) * | 2012-11-29 | 2013-04-03 | 宁波大学 | 一种自由视点视频整帧丢失错误隐藏方法 |
CN102984525A (zh) * | 2012-12-18 | 2013-03-20 | 北京大学 | 一种视频码流错误隐藏方法 |
CN103167291A (zh) * | 2013-03-08 | 2013-06-19 | 宁波大学 | 一种基于结构相似度的立体视频整帧丢失错误隐藏方法 |
CN103220533A (zh) * | 2013-03-29 | 2013-07-24 | 宁波大学 | 一种立体视频宏块丢失错误隐藏方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20150028951A (ko) | 2015-03-17 |
KR102251200B1 (ko) | 2021-05-12 |
US20150071355A1 (en) | 2015-03-12 |
US9872046B2 (en) | 2018-01-16 |
CN104427348A (zh) | 2015-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5496914B2 (ja) | 知覚上の品質を評価する方法 | |
Ma et al. | Reduced-reference video quality assessment of compressed video sequences | |
CN111010495B (zh) | 一种视频降噪处理方法及装置 | |
US20150163493A1 (en) | Motion Analysis Method and Code Stream Conversion Method Based on Video Compression Code Stream and Apparatus Thereof | |
US20140286441A1 (en) | Video quality measurement | |
CN105409216A (zh) | 丢失视频数据的条件隐藏 | |
WO2013075335A1 (en) | Video quality assessment considering scene cut artifacts | |
Reibman et al. | Characterizing packet-loss impairments in compressed video | |
JP5911563B2 (ja) | ビットストリームレベルで動画品質を推定する方法及び装置 | |
CN104853186A (zh) | 一种改进的基于运动向量回复的视频隐写分析方法 | |
CN104427348B (zh) | 用于恢复空间运动矢量的装置和方法 | |
CN104618714B (zh) | 一种立体视频帧重要性评估方法 | |
Van Wallendael et al. | Full-HD HEVC-encoded video quality assessment database | |
Wan et al. | A video forensic technique for detecting frame integrity using human visual system-inspired measure | |
Hadar et al. | New hybrid error concealment for digital compressed video | |
CN105763882B (zh) | 用于解码端的帧内错误隐藏方法及其系统 | |
Battisti et al. | No-reference quality metric for color video communication | |
Wang et al. | Variable block size error concealment scheme based on H. 264/AVC non-normative decoder | |
TWI412282B (zh) | 可隱藏傳輸錯誤之視訊解碼裝置與相關方法 | |
KR102153093B1 (ko) | 컨텍스트를 고려한 압축영상에 대한 신택스 기반의 이동객체 영역 추출 방법 | |
Wu et al. | Self-training-based no-reference SSIM estimation for single video frame | |
Xia et al. | Blind video quality assessment using natural video spatio-temporal statistics | |
Singhal et al. | Machine learning based subjective quality estimation for video streaming over wireless networks | |
CN112004090A (zh) | 目标边界确定方法、计算机设备及存储介质 | |
CN114630111A (zh) | 一种基于编码信息的无参考压缩视频质量评估方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |