CN101023676A - 用于时间视频压缩中运动矢量预测的方法和设备 - Google Patents
用于时间视频压缩中运动矢量预测的方法和设备 Download PDFInfo
- Publication number
- CN101023676A CN101023676A CNA2005800315320A CN200580031532A CN101023676A CN 101023676 A CN101023676 A CN 101023676A CN A2005800315320 A CNA2005800315320 A CN A2005800315320A CN 200580031532 A CN200580031532 A CN 200580031532A CN 101023676 A CN101023676 A CN 101023676A
- Authority
- CN
- China
- Prior art keywords
- motion vector
- video
- frame
- treatment technology
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
- H04N19/52—Processing of motion vectors by encoding by predictive encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
公开了一种用于对当前块进行运动矢量预测的方法,所述当前块具有一组相邻块,所述相邻块组包括不具有相关运动矢量的块。该方法包括为该相邻块组中不具有相关运动矢量的每个块获得候选运动矢量;及使用该相邻块组中不具有相关运动矢量的每个块的候选运动矢量来为当前块预测当前运动矢量。还公开了一种用于执行该方法的设备。
Description
在35 U.S.C§119下的优先权要求
本专利申请要求分配给同一代理人的于2004年7月20日提交的题目为“Method and Apparatus for Motion Vector Prediction in TemporalVideo Compression”的临时专利申请No.60/589,818,因此在此将其引入作为参考。
技术领域
本发明通常涉及视频压缩,更具体而言,涉及在时间视频压缩中运动矢量预测的方法和设备。
背景技术
在利用视频序列中的时间冗余度的视频编码系统中,运动估计是一个关键要素。运动估计是根据在先前解码的帧中的块来估计要预测的帧中的当前宏块(或块)的过程。通常,该过程包括根据为最小化失真而进行的测量,搜索预测帧来寻找与当前块相匹配的块。例如,当前所使用的测量包括差值绝对值之和(SAD)和差值平方和(SSD)。通常,搜索基于采用运动矢量预测得到的初始估计(在参考帧中的位置)而开始。
在视频编解码在运动矢量预测中结合了多个参考帧和多种宏块类型的情况中,运动矢量预测过程引入了极大的计算量。实验证明,运动估计会占用总编码时间的60%(一个参考帧)至90%(5个参考帧)。减小运动估计中的计算复杂度并同时保持失真率是具有挑战性的课题。当前,相关研究集中在获得更准确的运动矢量预测值,以及通过检测到零块来实现及早的终止,以便减少处理时间或者甚至跳过像素搜索步骤。在控制总运动估计时间中,所预测的运动矢量的准确度是至关重要的。在由ISO/IEC MPEG & ITU-T VCEG(ISO/IECJTC1/SC29/WG11和ITU-T SG16 Q.6)的视频联合工作组(JVT)2003年9月第9次会议JVT-I050(JVT标准)所提出的H.264视频编解码中的有关运动矢量预测的标准中,采用了多种方法,通过引入更多运动矢量候选来改进运动矢量的预测。
例如,如图1所示,使用在当前块102的左方,上方,和右上方的相邻块来预测当前块的运动矢量:
pre_mv=median(mv_A,mv_B,mv_C)在此,pred_mv定义为中值预测值,mv_A,mv_B,mv_C分别是块A 104、B 106、C 108的运动矢量。为了更好地利用在7个帧间预测模式之间的运动关系,一种方案使用了从模式1到7的分层搜索次序,而不是在JVT标准中所建议的搜索次序。在图2中示出了当前块的上层的运动矢量,其被视为用于预测当前块运动矢量的候选。其它方案通过考虑相应相邻块和所有参考帧的运动矢量,而在时间序列中使用了更多的运动矢量候选。如在图3和图4中所示,先前参考帧和其它参考帧的相应运动矢量也用作预测候选。应注意,在图4的多参考帧模型中,参考帧中的运动矢量是根据其与当前帧的时间距离来定标的。
运动矢量预测的精确性在控制计算量减少的步骤中,例如在运动估计中的及早终止、快速搜索方法以及快速模式判定(例如,跳过模式)中,起到关键作用。
发明内容
在此描述的实施例提供了用于运动矢量预测的4种方法,以及将这些方法合并的方案,以实现在失真率方面的性能改善。在此所述的方法和设备提高了运动矢量预测的准确度。在一个实施例中,通过使用从原始视频帧的较低分辨率形式而来的更多空间相关信息,将当前块的所有非因果关系块的运动矢量并入到对运动矢量预测值的计算中。在另一个实施例中,将色度分量与亮度分量相结合,通过使用颜色信息来预测更准确的运动矢量。在再一个实施例中,系统考虑了可能存在于视频流传输系统中MPEG-2元数据(metadata)流中的运动矢量信息。在再另一个实施例中,采用了运动矢量处理技术来消除(即,平滑)错误的运动矢量,以提高该技术的准确度。
从随后的详细说明中,其它目的、特征和优点对于本领域技术人员而言将变得显而易见。然而,要理解的是,详细描述和特定示例虽然指示了本发明的实施例,但是是以说明的方式给出的而不具有局限性。在不脱离本发明的精神的情况下,可以在本描述的范围内进行各种改变和修改,并且本发明包括所有的这些修改。
附图说明
通过参考附图,本发明将更加容易理解,其中:
图1示出了现有技术的使用特定相邻块的运动矢量预测方案;
图2示出了使用分层搜索方案的运动矢量预测方案;
图3示出了使用来自先前参考帧的运动矢量的运动矢量预测方案;
图4示出了使用来自先前参考帧的运动矢量的运动矢量预测方案;
图5示出了用于运动矢量预测的非因果关系参考块的位置;
图6是示出用于运动矢量预测的非因果关系参考块的使用的流程图;
图7是示出来自下采样视频帧的较为粗略的运动矢量的创建的示意图;
图8示出了在视频传输系统中的数据流;
图9示出了使用元数据来预测在下一帧中的相应块的运动矢量;
图10示出了在彩色图像中的亮度分量和色度分量;
图11示出了在运动矢量预测之后三个典型运动矢量场的排列;以及
图12是无线系统的接入终端和接入点的方框图。
在附图中类似的数字表示类似的元件。
具体实施方式
运动矢量预测的精确性在控制以下的计算量减少步骤,例如及早终止、快速搜索方法以及快速模式决定(例如跳过模式)中起到关键作用。本方法提出了四种新方法来改进在视频编解码中的运动矢量的创建。在一个实施例中,利用了宏块之间的空间相关性,首先对视频帧进行下采样以创建较低分辨率形式的视频帧,并对该较低分辨率的视频帧执行运动估计。因此获得一组运动矢量,称为“较为粗略”的运动矢量。将较为粗略的运动矢量映射到原始视频帧。因此,能够将包括较为粗略的运动矢量(源自较低分辨率视频帧)和因果关系运动矢量在内的所有相邻块的运动矢量用作候选运动矢量。在另一个实施例中,使用了从上游MPEG-2编码器输入给视频编解码器的元数据信息,所述元数据信息包含每个宏块的MPEG-2运动矢量信息,其可以用于预测相应块的运动矢量。在又一个实施例中,将亮度分量并入到对运动矢量的计算中,以充分利用颜色信息。在再另一个实施例中,使用了运动矢量平滑技术,以尽可能纠正错误预测的运动矢量并去除噪声。
1.非因果关系运动矢量
图5示出了采用非因果关系运动矢量来在如图6的流程图中所示的预测过程600中预测当前帧500的当前块502的运动矢量。在上述JVT标准中,在预测中只使用了3个因果关系块,与JTV标准相比,在一个实施例中,所有与当前块502相邻的块504-518都可以用作在帧序列中除帧内帧(I帧)之外所有帧的运动矢量预测的候选,如在步骤602和步骤604所示。对于I帧不执行预测,因为对于此类帧无需运动矢量预测。然而,如在以下步骤中所述,对于所有其它帧,通过“较为粗略”运动矢量的创建,使得所有相邻块的运动矢量都可用。因此,当视频帧不是I帧时,对该视频帧进行下采样,以创建较低分辨率帧702,在帧702中确定因果关系运动矢量是否可用。参照图5作为实例,因果关系运动矢量仅对块504(A)、块506(B)、和块508(C)及块510(H)是可用的,因为块512(D),块518(E),块516(F)和块514(G)按照扫描次序还没有被处理。因此,操作会继续到步骤608,在此对视频帧500进行下采样以创建较低分辨率帧702,如图7中所示。随后,在步骤608,对该较低分辨率视频帧702执行运动估计,得到一组运动矢量,称为一组“较为粗略”的运动矢量,随后在步骤610中,将该运动矢量组映射回原始视频帧中,其在图7中示出。
因此,即使因果关系运动矢量不可用时,由于可以使用较为粗略的运动矢量,在步骤612中可以执行运动矢量预测。例如,参照图6,在一个实施例中,使用关于因果关系运动矢量的当前标准中的模式来执行当前块502的预测,在该标准中只有块510(H)、块506(B)和块508(C)用于预测,但也使用了从非因果关系块得到的另外的矢量(即,从中得到的较为粗略的运动矢量)。尤其是,为块510(H)、块506(B)和块508(C)的三个运动矢量所设定的值按照如下来确定:
1.如果H不可用(位于图像之外),则将其MV设定为(0,0)。
2.如果C不可用,则将其MV设定为A。
3.如果B和C都不可用,则将两个MV都设定为(0,0)。
这些运动矢量与来自块512(D)、块518(E)、块516(F)和块514(G)的较为粗略的运动矢量组合来计算中值预测值。
在另一实施例中,所使用的参考块包括所有块(即块504(A)、块506(B)、块508(C)、块512(D)、块518(E)、块516(F)和块514(G)、及块510(H))。于是,中值预测值计算为:
pred_mv=median(mv_A,mv_B,mv_C,mv_D,mv_E,mv_F,mv_G,
mv_H,mv_PrevCurrent)
在此,mv_PrevCurrent定义为在先前参考帧中的相应块的运动矢量。
2.来自MPEG-2上游元数据的运动矢量信息
图8示出了视频传输系统800的数据流,在此,输入视频编解码器806的视频数据源是从来自MPEG-2解码器802的被解码MPEG-2视频流传输而来的。在一个实施例中,所有原始源视频数据都作为MPEG-2流进行传输,并随后进行解码。由预处理器804对被解码的原始视频数据进行进一步处理并将其按比例减小为1/4的VGA大小(QVGA),并将其提供给视频编解码器806来将其编码为新的格式,例如H.264。视频编解码器806还接收诸如帧大小,帧速率,每个宏块的宏块类型和运动矢量之类的MPEG-2元数据。在一个实施例中,在编码过程中,视频编解码器806由此将MPEG-2运动矢量用作相应宏块的运动矢量预测候选。在一个实施例中,在宏块的大小是16×16的块大小的情况中,MPEG-2运动矢量还被视为所有子层块的上层运动矢量。
在一个实施例中,使用从先前格式到新格式的元数据的概念仅用于这样的代码转换情况中:在目标编码器中,例如视频编解码器806中,可以采用来自输入格式解码的编码参数和边信息。此外,由于运动矢量是从先前帧为P和B帧预测的,因此其只适于从紧随其后的未来帧的元数据中预测运动矢量。如在图9中所示,序列中在时间t-1处的运动矢量只用于预测序列中在时间t处的对应块的运动矢量。在一个实施例中,当前帧的参考帧号用于定位与先前参考帧的元数据有关联的运动矢量。
3.颜色运动估计
在当前视频编解码标准中,例如MPEG-4和H.264中,两个色度分量(Cb和Cr)的运动矢量源自相应的亮度分量(Y)。由于假定亮度分量能够提供足够的信息且无需额外的开销来预测色度,因此随后在速率失真(RD)和运动矢量预测过程中省略了色度分量。然而,对于具有低亮度或复杂颜色信息的视频序列而言,色度分量对于更准确的运动矢量预测而言是有用的。因此,在一个实施例中,运动估计采用亮度分量和两个色度分量。例如,当在具有带有丰富颜色信息的对象的视频帧中取出色度信息时,对象的运动会更加难以预测。因此,使用颜色运动预测所预测的视频帧很可能会比仅采用亮度分量运动预测所预测的视频帧具有较少的伪像。
如在图10中所示,将色度分量半采样到对应于亮度分量的水平和垂直坐标上。如果只考虑帧编码,则色度分量的运动矢量按照如下来计算:
MVC_X=1/2*MVL_X
MVC_Y=1/2*MVL_Y
在此,(MVL_X,MVL_Y)是亮度运动矢量,(MVC_X,MVC_Y)是色度运动矢量。在一个实施例中,色度运动矢量用于为合并到运动矢量预测和RD优化中的色度运动矢量计算差值绝对值之和(SAD)。对于仅仅亮度的RD优化方程为:
L=R+λD
因此,运动预测能够视为使得该拉格朗日代价函数最小。这里,失真D表示作为亮度分量的SAD来测量的预测误差,R是比特数量,拉格朗日乘法器与量化参数(QP)相关联,其值控制RD折衷。考虑色度分量,则引入了以下的代价函数:
L=R+λ(W1*DL+W2*DC)
W1∈(1,2),W2∈(0,1)
其中DL和DC分别表示在亮度分量和色度分量中的失真,W1和W2是根据实验得到的适合于特定视频序列的加权参数。在一个实施例中,因为色度分量具有较少信息,因此其SAD计算仅使用了整数值的运动矢量,因此无需插值。
4.运动矢量平滑
在视频捕捉和编码的视频序列传输期间所遇到的任何噪声或丢帧经常转化为在重放期间序列质量的降低。另外,在运动矢量预测中,块匹配运动矢量预测过程也引入了误差。矢量中值滤波(VMF)可以用作另一种有效的方法来提高运动矢量预测准确度并减小噪声,同时保留视频序列细节。VMF的基本概念是在自然视频序列中的相邻运动矢量总是彼此相关的。如在图11中所示,在运动矢量预测过程之后,会出现三种类型的运动矢量场,包括平滑区域运动矢量场1110、在运动矢量场1120中的离群值(outlier)运动矢量1122、和示出由多个运动矢量1132(a)-(c)所定义的对象边缘的运动矢量场1130,其中,运动矢量1132(a)-(c)的方向与运动矢量场1130中其它运动矢量方向相反。
在一个实施例中,选择3×3的块大小来执行中值操作。继续参照图11,在离群值运动矢量场1120中,“错误”(或离群值)运动矢量能够被纠正。然而,当对象边界出现在块内部时,例如在运动矢量场1130中时,就不能使用VMF。在一个实施例中,边缘检测和对象分割方法可以用于处理此情况。
所提出的每种运动矢量预测方法能够单独或组合使用。例如,在一个实施例中,在代码转换期间,提取并保存在输入视频比特流中可用的运动矢量数据,以在目标编码器中,例如视频编解码器806中使用。该数据从属于输入视频帧。将运动矢量数据重新映射到输入到目标编码器的源帧上。在使用单一参考帧的过程中,能够模拟在先前N个帧上的运动矢量数据,以找到在这N个帧上的运动轨迹。然后能够采用运动矢量平滑来移除离群值并提高轨迹的准确度。对轨迹进行外插得到对要进行编码的块的运动矢量的更准确估计。另外,从输入视频比特流中提取的运动矢量数据可以是也可以不是真实运动矢量。这些运动矢量的准确度通常取决于在上游源编码器中所使用的运动搜索算法。根据这些运动矢量来获得每个被解码帧的运动场,并应用合适的运动矢量平滑技术,这将会有助于消除离群值。当不能确定运动矢量的准确度时,能采用其它方法,例如基于空间相邻或并列相邻的方法。
如果可以得到足够的信息以实现一种以上的所提出的方法,则建议在获得运动矢量估计时采用以下优先级别:
1.根据从元数据或预处理功能中得到的附加信息来对每种方法的准确度进行分级(例如使用从0-1的范围)。例如,如果将解交错或反向电视电影处理(telecine)用作预处理的部分,则就需要对运动矢量进行适当的映射。如果运动矢量平滑的结果是不确定的,则该方法的准确度就较差。如果所提取的运动矢量、经过运动矢量平滑的运动矢量和经过预处理和和重新映射的运动矢量很接近,则该运动矢量估计的准确度就很高。此外,对于色度运动估计而言,准确度取决于在源内容中色度信息相对于亮度信息的比例。当可能时,会使用来自所有参考帧的非因果关系运动矢量和因果关系运动矢量。
2.根据其排列顺序,对每种方法进行加权。
3.使用非线性选择算法来选择方法。
对视频编解码器的上述附加方法尽可能提高运动矢量预测过程的准确度。尽管在每种方法的实现中都包含了计算,但运动矢量预测准确度的提高会减少在像素搜索步骤、SAD计算和RD优化中的计算量。因此,总编码时间将会减小,并会实现更好的视频质量。
图12示出了在无线系统中接入终端1202x和接入点1204x的方框图,其中每个都可以实现在此所述的运动矢量预测过程。在此所述的“接入终端”指的是为用户提供语音和/或者数据连接的设备。接入终端可以连接到诸如膝上型计算机或者桌面型计算机之类的计算设备,或者其可以是独立设备,例如个人数字助理。接入终端还可以指用户单元、移动站点、移动设备(mobile)、远程站点、远程终端、用户终端、用户代理、或者用户设备。接入终端可以是用户站点、无线设备、蜂窝电话、PCS电话、无绳电话、会话发起协议(SIP)电话、无线本地环路(WLL)站点、个人数字助理(PDA)、具有无线连接功能的手持设备、或者连接到无线调制解调器上的其他处理设备。在此所述的“接入点”指的是通过空中接口经过一个或多个扇区与接入终端进行通信的接入网络中的设备。接入点通过将所接收的空中接口帧转换为IP分组,来充当在接入终端与包括IP网络在内的接入网络的其他部分之间的路由器。接入点还协调空中接口的属性管理。
对于反向链路而言,在接入终端1202x,发射(TX)数据处理器1214接收来自数据缓冲器1212的通信量数据,根据所选择的编码和调制方案来处理(例如,编码、交错、以及符号映射)每个数据分组,并提供数据符号。数据符号是数据的调制符号,导频符号(pilotsymbol)是导频(其已知为先验的)的调制符号。调制器1216接收数据符号、导频符号,并且可能还有反向链路的信令,执行系统所指定的(例如OFDM)调制和/或者其他处理,并提供输出芯片的流。发射器单元(TMTR)1218处理(例如转换为模拟、滤波、放大、和频率上转换)输出芯片流并生成经过调制的信号,该信号是从天线1220发射的。
在接入点1204x,由与接入点1204x通信的接入终端1202x和其他终端所发射的经过调制的信号被天线1252接收。接收器单元(RCVR)1254处理(例如,调节和数字化)来自天线1252的所接收信号,并提供所接收采样。解调器(Demod)1256处理(例如,解调和检测)所接收采样,并提供所检测的数据符号,其是由终端发射到接入点1204x的数据符号的噪声估计。接收(RX)数据处理器1258处理(例如,符号解映射、解交错和解码)每个终端的所检测的数据符号,并提供该终端的被解码数据。
对于前向链路,在接入点1204x,由TX数据处理器1260处理通信量数据以生成数据符号。调制器1262接收数据符号、导频符号、和前向链路的信令,执行(例如OFDM)调制和/或者其他相关处理,并提供输出芯片流,所述芯片流由发射器单元1264进行进一步调节,并从天线1252发射。前向链路信令可以包括由控制器1270对所有终端所产生的功率控制命令,其在反向链路上发射到接入点1204x。在接入终端1202x,由接入点1204x所发射的被调制信号由天线1220所接收,由接收器单元1222进行调节和数字化,并由解调器1224进行处理,以获得所检测的数据符号。RX数据处理器1226处理所检测的数据信号,并为终端提供被解码数据并提供前向链路信令。控制器1230接收功率控制命令,并控制在反向链路上到接入点1204x的数据传输和发射功率。控制器1230和1270分别控制接入终端1202x和接入点1204x的操作。存储器单元1232和1272分别存储控制器1230和1270所使用的程序代码和数据。
所公开的实施例可以应用到以下技术中的任意一种或者其组合:码分多址(CDMA)系统、多载波CDMA(MC-CDMA)、宽带CDMA(W-CDMA)、高速下行链路分组接入(HSDPA)、时分多址(TDMA)系统、频分多址(FDMA)系统和正交频分多址(OFDMA)系统。
与在此所公开的实施例有关的所述方法和算法的步骤可以直接用硬件、由处理器执行的软件模块或者两者的结合来实现。软件模块可以驻留在RAM存储器中、闪存存储器中、ROM存储器中、EPROM存储器中、EEPROM存储器中、寄存器中、硬盘中、可移动磁盘中、CD-ROM中或者现有技术中已知的任何存储介质中。示例性的存储介质耦合到处理器,从而使得存储器能够从存储介质中读出信息,并将信息写入存储介质中。可替换的,存储介质可以集成到处理器中。处理器和存储介质可以位于ASIC中。ASIC可以位于用户终端中。可替换的,处理器和存储介质可以作为分立部件而位于用户终端中。
应该注意的是,在此所述的方法可以在本领域技术人员已知的各种通信硬件、处理器和系统上实现。例如,对于客户机按照在此所述进行操作的通常要求是,客户机具有用于显示内容和信息的显示器、用于控制客户机操作的处理器和用于存储与客户机操作相关的数据和程序的存储器。在一个实施例中,客户机是蜂窝电话。在另一实施例中,客户机是具有通信能力的手持计算机。在再一实施例中,客户机是具有通信能力的个人计算机。另外,诸如GPS接收器之类的硬件可以按照需要结合到客户机中,来实现各种实施例。与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器,但是可替换的是,该处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合,例如,DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器,或者任何其他的这种配置。
与在此所公开的实施例有关的各种示意性逻辑电路、逻辑块、模块和电路可以采用通用处理器、数字信号处理器(DSP)、特定用途集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立的门或晶体管逻辑电路、分立的硬件部件、或者被设计为执行在此所述功能的以上的任何组合来实现或者执行。通用处理器可以是微处理器,但是可替换的是,处理器可以是任何传统的处理器、控制器、微控制器或者状态机。处理器还可以实现为计算器件的组合,例如,DSP和微处理器的组合、多个微处理器的组合、与DSP核协作的一个或多个微处理器,或者任何其他的这种配置。
上述实施例是示例性的实施例。在不脱离在此所公开的发明性概念的情况下,本领域技术人员可以实现上述实施例的许多用途和改变。对于这些实施例的各种修改对于本领域技术人员是显而易见的,并且在此所定义的一般原理可以应用到其他实施例而不会脱离所述实施例的精神和范围,例如,应用在即时消息服务中或者任何普通无线数据通信应用中。因此,本描述的范围不是要局限于在此所示的实施例,而是要对其给予与在此所公开的原理和新颖特征相一致的最大范围。单词“示例性”在此专用于“用作示例、实例或者举例说明”的意思。在此作为“示例性”所述的任何实施例不是必须要构建为优于其他实施例的。
Claims (28)
1、一种用于对视频帧中的一个区域进行运动矢量预测的方法,所述视频帧包括多个区域,所述方法包括:
为所述视频帧中的所述多个区域中的另一区域生成候选运动矢量,所述另一区域与所述视频帧的所述一个区域相邻且缺少相关的运动矢量;以及
使用所述候选运动矢量来为所述视频帧的所述一个区域预测当前运动矢量。
2、如权利要求1所述的方法,其中,为所述视频帧中的多个区域中的另一区域生成所述候选运动矢量的步骤包括:
使用从由运动估计、色度和亮度检测、运动矢量平滑和先前被解码运动矢量的变换组成的组中选出的至少一种运动矢量处理技术,来执行运动矢量处理;
对每种所使用的运动矢量处理技术进行分级;
对每种所使用的运动矢量处理技术根据其分级进行加权;以及
采用非线性选择算法选择所使用的运动矢量处理技术中的一种,来创建所述候选运动矢量。
3、如权利要求2所述的方法,其中,所述运动估计运动矢量处理技术包括:
对所述视频帧进行下采样并创建较低分辨率的视频帧;
从所述较低分辨率的视频帧中创建一组运动矢量;以及
将所述运动矢量组中的每个运动矢量映射到所述视频帧中的所述多个区域中的至少一个区域上。
4、如权利要求3所述的方法,其中,所述较低分辨率视频帧包括一组块,并且从所述较低分辨率的视频帧中创建所述运动矢量组的步骤包括,对所述较低分辨率的视频帧的块组执行运动估计,以创建一组较为粗略的运动矢量。
5、如权利要求2所述的方法,其中,所述色度和亮度检测运动矢量处理技术包括:
获得色度运动矢量;
为所述色度运动矢量计算差值绝对值之和(SAD);以及
将所述色度运动矢量的SAD值并入运动矢量预测过程中。
6、如权利要求2所述的方法,其中,先前被解码运动矢量的变换运动矢量处理技术包括:
接收使用第一编解码器所编码的编码视频流;
对所述编码视频流进行解码,以提取与所述视频帧中的所述多个区域中缺少相关运动矢量的所述另一区域相关联的至少第一运动矢量;以及
使用第二编解码器将被解码的视频流编码到第二编码视频流中,并且将所述第一运动矢量用作在所述第二编码视频流中的视频帧的候选运动矢量。
7、如权利要求2所述的方法,其中,所述运动矢量平滑运动矢量处理技术包括:
创建包括多个运动矢量的运动矢量场;
通过将在所述多个运动矢量中的运动矢量和其相邻运动矢量相比较,确定所述运动矢量是否是离群值运动矢量;以及
移除所述离群值运动矢量。
8、其上存储有指令的一种计算机可读介质,所存储的指令使得计算机执行一种用于对当前块进行运动矢量预测的方法,所述当前块具有一组相邻块,所述相邻块组包含不具有相关运动矢量的块,所述方法包括:
为所述相邻块组中不具有相关运动矢量的每个块获得候选运动矢量;以及
使用所述相邻块组中不具有相关运动矢量的每个块的候选运动矢量来预测所述当前块的当前运动矢量。
9、如权利要求8所述的计算机可读取介质,其中,为所述视频帧中的多个区域搜索块中的另一区域生成所述候选运动矢量的步骤包括:
使用从由运动估计、色度和亮度检测、运动矢量平滑和先前被解码运动矢量的变换组成的组中选出的至少一种运动矢量处理技术,来执行运动矢量处理;
对每种所使用的运动矢量处理技术进行分级;
对每种所使用的运动矢量处理技术根据其分级进行加权;以及
采用非线性选择算法选择所使用的运动矢量处理技术中的一种,来创建所述候选运动矢量。
10、如权利要求9所述的计算机可读取介质,其中,所述运动估计运动矢量处理技术包括:
对所述视频帧进行下采样并创建较低分辨率的视频帧;
从所述较低分辨率的视频帧中创建一组运动矢量;以及
将所述运动矢量组中的每个运动矢量映射到所述视频帧中的所述多个区域中的至少一个区域上。
11、如权利要求10所述的计算机可读取介质,其中,所述较低分辨率视频帧包括一组块,并且从所述较低分辨率的视频帧中创建所述运动矢量组的步骤包括,对所述较低分辨率视频帧的块组执行运动估计,以创建一组较为粗略的运动矢量。
12、如权利要求9所述的计算机可读取介质,其中,所述色度和亮度检测运动矢量处理技术包括:
获得色度运动矢量;
为所述色度运动矢量计算差值绝对值之和(SAD);以及
将所述色度运动矢量的SAD值并入运动矢量预测过程中。
13、如权利要求9所述的计算机可读取介质,其中,先前被解码运动矢量的变换运动矢量处理技术包括:
接收使用第一编解码器所编码的编码视频流;
对所述编码视频流进行解码,以提取与所述视频帧中的所述多个区域中缺少相关运动矢量的所述另一区域相关联的至少第一运动矢量;以及
使用第二编解码器将被解码的视频流编码到第二编码视频流中,并且将所述第一运动矢量用作在所述第二编码视频流中的视频帧的候选运动矢量。
14、如权利要求9所述的计算机可读取介质,其中,所述运动矢量平滑运动矢量处理技术包括:
创建包括多个运动矢量的运动矢量场;
通过将在所述多个运动矢量中的一个运动矢量和其相邻运动矢量相比较,确定所述运动矢量是否是离群值运动矢量;以及
移除所述离群值运动矢量。
15、一种用于为当前块预测运动矢量的设备,所述当前块具有一组相邻块,所述相邻块组包含不具有相关运动矢量的块,所述设备包括:
用于为所述相邻块组中不具有相关运动矢量的每个块获得候选运动矢量的装置;以及
用于使用所述相邻块组中不具有相关运动矢量的每个块的候选运动矢量来为所述当前块预测当前运动矢量的装置。
16、如权利要求15所述的设备,其中,为所述视频帧中的多个区域中的另一区域生成所述候选运动矢量的装置包括:
用于使用从由运动估计、色度和亮度检测、运动矢量平滑和先前被解码运动矢量的变换组成的组中选出的至少一种运动矢量处理技术来执行运动矢量处理的装置;
用于对每种所使用的运动矢量处理技术进行分级的装置;
用于对每种所使用的运动矢量处理技术根据其分级进行加权的装置;以及
用于采用非线性选择算法选择所使用的运动矢量处理技术中的一种来创建所述候选运动矢量的装置。
17、如权利要求16所述的设备,其中,所述当前块包含在当前帧中,并且用于运动估计运动矢量处理技术的装置包括:
用于对所述当前帧进行下采样并创建较低分辨率的帧的装置;
用于从所述较低分辨率的帧中创建一组运动矢量的装置;以及
用于将所述运动矢量组中的每个运动矢量映射到所述视频帧中的相邻块组中的多个区域搜索块中不具有相关运动矢量的至少一个区域上。
18、如权利要求17所述的设备,其中,所述较低分辨率视频帧包括一组块,并且用于从所述较低分辨率的视频帧中创建所述运动矢量组的装置包括,用于对所述较低分辨率的视频帧的块组执行运动估计以创建一组较为粗略的运动矢量的装置。
19、如权利要求16所述的设备,其中,用于色度和亮度检测运动矢量处理技术的装置包括:
用于获得色度运动矢量的装置;
用于为所述色度运动矢量计算差值绝对值之和(SAD)的装置;以及
用于将所述色度运动矢量的SAD值合并入运动矢量预测过程中的装置。
20、如权利要求16所述的设备,其中,用于先前被解码运动矢量的变换运动矢量处理技术的装置包括:
用于接收使用第一编解码器所编码的编码视频流的装置;
用于对所述编码视频流进行解码以提取与所述视频帧中的多个区域中缺少相关运动矢量的所述另一区域相关联的至少第一运动矢量的装置;以及
用于使用第二编解码器将被解码的视频流编码到第二编码视频流中,并且将所述第一运动矢量用作在所述第二编码视频流中的视频帧的候选运动矢量的装置。
21、如权利要求16所述的设备,其中,用于运动矢量平滑运动矢量处理技术的装置包括:
用于创建包括多个运动矢量的运动矢量场的装置;
用于通过将在所述多个运动矢量中的一个运动矢量和其相邻运动矢量相比较来确定所述运动矢量是否是离群值运动矢量的装置;以及
用于移除所述离群值运动矢量的装置。
22、配置为实现一种用于对视频帧当前块中的一个区域进行运动矢量预测的方法的至少一个处理器,所述视频帧包括具有相邻块的多个区域组的当前块,所述相邻块中包括不具有相关运动矢量的块,所述方法包括:
为所述视频帧中的多个区域中的另一区域生成候选运动矢量,所述另一区域与所述视频帧的所述一个区域相邻且缺少相关的运动矢量;以及
使用所述候选运动矢量来为所述视频帧的所述一个区域预测当前运动矢量。
23、如权利要求22所述的至少一个处理器,其中,为所述视频帧中的多个区域中的另一区域生成所述候选运动矢量的步骤包括:
使用从由运动估计、色度和亮度检测、运动矢量平滑和先前被解码运动矢量的变换组成的组中选出的至少一种运动矢量处理技术,来执行运动矢量处理;
对每种所使用的运动矢量处理技术进行分级;
对每种所使用的运动矢量处理技术根据其分级进行加权;以及
采用非线性选择算法选择所使用的运动矢量处理技术中的一种,来创建所述候选运动矢量。
24、如权利要求23所述的至少一个处理器,其中,所述当前块包含在当前帧中,并且所述运动估计运动矢量处理技术包括:
对所述视频帧进行下采样并创建较低分辨率的视频帧;
从所述较低分辨率视频帧中创建一组运动矢量;以及
将所述运动矢量组中的每个运动矢量映射到所述视频帧中的所述多个区域中的至少一个区域上。
25、如权利要求24所述的至少一个处理器,其中,所述较低分辨率视频帧包括一组块,并且从所述较低分辨率视频帧中创建所述运动矢量组的步骤包括,对所述较低分辨率视频帧的块组执行运动估计,以创建一组较为粗略的运动矢量。
26、如权利要求23所述的至少一个处理器,其中,所述色度和亮度检测运动矢量处理技术包括:
获得色度运动矢量;
为所述色度运动矢量计算差值绝对值之和(SAD);以及
将所述色度运动矢量的SAD值并入运动矢量预测过程中。
27、如权利要求23所述的至少一个处理器,其中,先前被解码运动矢量的变换运动矢量处理技术包括:
接收使用第一编解码器所编码的编码视频流;
对所述编码视频流进行解码,以提取与所述视频帧中的多个区域中缺少相关运动矢量的所述另一区域相关联的至少第一运动矢量;以及
使用第二编解码器将被解码的视频流编码到第二编码视频流中,并且将所述第一运动矢量用作在所述第二编码视频流中的视频帧的候选运动矢量。
28、如权利要求23所述的至少一个处理器,其中,所述运动矢量平滑运动矢量处理技术包括:
创建包括多个运动矢量的运动矢量场;
通过将在所述多个运动矢量中的一个运动矢量与其相邻运动矢量相比较,确定所述运动矢量是否是离群值运动矢量;以及
移除所述离群值运动矢量。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US58981804P | 2004-07-20 | 2004-07-20 | |
US60/589,818 | 2004-07-20 | ||
PCT/US2005/025812 WO2006012383A2 (en) | 2004-07-20 | 2005-07-20 | Method and apparatus for motion vector prediction in temporal video compression |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210148672.8A Division CN102695054B (zh) | 2004-07-20 | 2005-07-20 | 用于时间视频压缩中运动矢量预测的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101023676A true CN101023676A (zh) | 2007-08-22 |
CN101023676B CN101023676B (zh) | 2012-06-27 |
Family
ID=35045051
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2005800315320A Expired - Fee Related CN101023676B (zh) | 2004-07-20 | 2005-07-20 | 用于时间视频压缩中运动矢量预测的方法和设备 |
CN201210148672.8A Expired - Fee Related CN102695054B (zh) | 2004-07-20 | 2005-07-20 | 用于时间视频压缩中运动矢量预测的方法和设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201210148672.8A Expired - Fee Related CN102695054B (zh) | 2004-07-20 | 2005-07-20 | 用于时间视频压缩中运动矢量预测的方法和设备 |
Country Status (9)
Country | Link |
---|---|
US (1) | US7978770B2 (zh) |
EP (1) | EP1784985B1 (zh) |
JP (1) | JP4699460B2 (zh) |
KR (1) | KR100907847B1 (zh) |
CN (2) | CN101023676B (zh) |
AR (1) | AR049593A1 (zh) |
CA (1) | CA2574590C (zh) |
TW (1) | TWI401957B (zh) |
WO (1) | WO2006012383A2 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102377992A (zh) * | 2010-08-06 | 2012-03-14 | 华为技术有限公司 | 运动矢量的预测值的获取方法和装置 |
WO2013053309A1 (en) * | 2011-10-11 | 2013-04-18 | Mediatek Inc. | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
TWI493975B (zh) * | 2010-10-06 | 2015-07-21 | Intel Corp | 用於低複雜度移動向量導出之系統及方法 |
CN105120278A (zh) * | 2010-07-20 | 2015-12-02 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
US9445103B2 (en) | 2009-07-03 | 2016-09-13 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
US9509995B2 (en) | 2010-12-21 | 2016-11-29 | Intel Corporation | System and method for enhanced DMVD processing |
CN106412603A (zh) * | 2010-09-02 | 2017-02-15 | Lg电子株式会社 | 编码和解码视频的方法和使用该方法的装置 |
CN107454424A (zh) * | 2010-10-28 | 2017-12-08 | 韩国电子通信研究院 | 视频解码设备和视频解码方法 |
CN107566836A (zh) * | 2011-12-23 | 2018-01-09 | 韩国电子通信研究院 | 图像解码方法、图像编码方法和记录介质 |
US9955179B2 (en) | 2009-07-03 | 2018-04-24 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
WO2018228016A1 (zh) * | 2017-06-13 | 2018-12-20 | 华为技术有限公司 | 一种运动矢量预测的方法及设备 |
CN110933426A (zh) * | 2018-09-20 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法及其设备 |
Families Citing this family (81)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7924921B2 (en) * | 2003-09-07 | 2011-04-12 | Microsoft Corporation | Signaling coding and display options in entry point headers |
US8213779B2 (en) * | 2003-09-07 | 2012-07-03 | Microsoft Corporation | Trick mode elementary stream and receiver system |
TWI254571B (en) * | 2004-12-07 | 2006-05-01 | Sunplus Technology Co Ltd | Method for fast multiple reference frame motion estimation |
TWI308841B (en) * | 2005-01-24 | 2009-04-11 | Via Tech Inc | Method and system for reducing the bandwidth access in video encoding |
EP1952268A4 (en) * | 2005-11-04 | 2012-01-04 | Univ Singapore | METHOD AND SYSTEM FOR DETERMINING PRE-ARRANGED NUMBERS OF PROCESSOR CYCLES REQUIRED FOR ANY SEGMENTS OF A MEDIA FILE FOR PLAYING THE MEDIA FILE |
CN1794821A (zh) * | 2006-01-11 | 2006-06-28 | 浙江大学 | 可分级视频压缩中插值的方法与装置 |
JP5224459B2 (ja) * | 2006-02-02 | 2013-07-03 | トムソン ライセンシング | 動き補償予測のための適応重み選択を行う方法および装置 |
US8213509B2 (en) | 2006-10-06 | 2012-07-03 | Calos Fund Limited Liability Company | Video coding on parallel processing systems |
US8451897B2 (en) * | 2006-12-04 | 2013-05-28 | Atmel Corporation | Highly parallel pipelined hardware architecture for integer and sub-pixel motion estimation |
KR101383540B1 (ko) | 2007-01-03 | 2014-04-09 | 삼성전자주식회사 | 복수의 움직임 벡터 프리딕터들을 사용하여 움직임 벡터를추정하는 방법, 장치, 인코더, 디코더 및 복호화 방법 |
US8144778B2 (en) * | 2007-02-22 | 2012-03-27 | Sigma Designs, Inc. | Motion compensated frame rate conversion system and method |
KR100955396B1 (ko) * | 2007-06-15 | 2010-04-29 | 성균관대학교산학협력단 | 양-예측 부호화 방법 및 장치, 양-예측 복호화 방법 및장치 및 기록매체 |
WO2008153262A1 (en) | 2007-06-15 | 2008-12-18 | Sungkyunkwan University Foundation For Corporate Collaboration | Bi-prediction coding method and apparatus, bi-prediction decoding method and apparatus, and recording midium |
EP2206342A2 (en) * | 2007-09-10 | 2010-07-14 | Nxp B.V. | Method and apparatus for motion estimation and motion compensation in video image data |
JP2009089332A (ja) * | 2007-10-03 | 2009-04-23 | Sony Corp | 動き予測方法及び動き予測装置 |
US8228992B2 (en) * | 2007-10-12 | 2012-07-24 | Broadcom Corporation | Method and system for power-aware motion estimation for video processing |
KR101835342B1 (ko) | 2007-10-16 | 2018-03-07 | 엘지전자 주식회사 | 비디오 신호 처리 방법 및 장치 |
FR2925815B1 (fr) * | 2007-12-19 | 2010-02-12 | Ateme Sa | Procede et dispositif d'estimation de mouvement hierarchique symetrique d'objets d'images video successives dans un codeur video |
KR100939917B1 (ko) | 2008-03-07 | 2010-02-03 | 에스케이 텔레콤주식회사 | 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법 |
US8379152B2 (en) * | 2008-03-31 | 2013-02-19 | Sharp Laboratories Of America, Inc. | Systems and methods for increasing the temporal resolution of video data |
TW201028964A (en) * | 2009-01-23 | 2010-08-01 | Ind Tech Res Inst | Depth calculating method for two dimension video and apparatus thereof |
US20100309987A1 (en) * | 2009-06-05 | 2010-12-09 | Apple Inc. | Image acquisition and encoding system |
US20110026596A1 (en) * | 2009-07-28 | 2011-02-03 | Wei Hong | Method and System for Block-Based Motion Estimation for Motion-Compensated Frame Rate Conversion |
KR101452859B1 (ko) * | 2009-08-13 | 2014-10-23 | 삼성전자주식회사 | 움직임 벡터를 부호화 및 복호화하는 방법 및 장치 |
WO2011021914A2 (ko) | 2009-08-21 | 2011-02-24 | 에스케이텔레콤 주식회사 | 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치 |
KR101356613B1 (ko) * | 2009-08-21 | 2014-02-06 | 에스케이텔레콤 주식회사 | 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치 |
TWI566586B (zh) * | 2009-10-20 | 2017-01-11 | 湯姆生特許公司 | 一序列形象的現時區塊之寫碼方法和重建方法 |
TWI419519B (zh) * | 2009-12-22 | 2013-12-11 | Ind Tech Res Inst | 適用於多媒體串流的網路封包傳送系統與方法 |
KR101522850B1 (ko) | 2010-01-14 | 2015-05-26 | 삼성전자주식회사 | 움직임 벡터를 부호화, 복호화하는 방법 및 장치 |
US9036692B2 (en) * | 2010-01-18 | 2015-05-19 | Mediatek Inc. | Motion prediction method |
US8594199B2 (en) * | 2010-03-08 | 2013-11-26 | Qualcomm Incorporated | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps |
WO2011131089A1 (en) * | 2010-04-22 | 2011-10-27 | Mediatek Inc. | Motion prediction method |
KR101106634B1 (ko) | 2010-05-12 | 2012-01-20 | 전남대학교산학협력단 | 움직임 벡터 스무딩 장치 및 방법 |
US9300970B2 (en) * | 2010-07-09 | 2016-03-29 | Samsung Electronics Co., Ltd. | Methods and apparatuses for encoding and decoding motion vector |
US8611415B1 (en) * | 2010-11-15 | 2013-12-17 | Google Inc. | System and method for coding using improved motion estimation |
US8891626B1 (en) | 2011-04-05 | 2014-11-18 | Google Inc. | Center of motion for encoding motion fields |
WO2012167711A1 (en) | 2011-06-10 | 2012-12-13 | Mediatek Inc. | Method and apparatus of scalable video coding |
JP2014523708A (ja) | 2011-07-01 | 2014-09-11 | モトローラ モビリティ エルエルシー | 動きベクトル予測設計の簡易化 |
EP2754131B1 (en) | 2011-09-08 | 2022-10-26 | Nautilus, Inc. | System and method for visualizing synthetic objects withinreal-world video clip |
KR101616010B1 (ko) | 2011-11-04 | 2016-05-17 | 구글 테크놀로지 홀딩스 엘엘씨 | 비균일 움직임 벡터 그리드에 대한 움직임 벡터 스케일링 |
KR20130050405A (ko) * | 2011-11-07 | 2013-05-16 | 오수미 | 인터 모드에서의 시간 후보자 결정방법 |
TWI523497B (zh) * | 2011-11-10 | 2016-02-21 | Sony Corp | Image processing apparatus and method |
US8908767B1 (en) | 2012-02-09 | 2014-12-09 | Google Inc. | Temporal motion vector prediction |
US9460495B2 (en) * | 2012-04-06 | 2016-10-04 | Microsoft Technology Licensing, Llc | Joint video stabilization and rolling shutter correction on a generic platform |
US9491458B2 (en) * | 2012-04-12 | 2016-11-08 | Qualcomm Incorporated | Scalable video coding prediction with non-causal information |
US9420285B2 (en) | 2012-04-12 | 2016-08-16 | Qualcomm Incorporated | Inter-layer mode derivation for prediction in scalable video coding |
US9172970B1 (en) | 2012-05-29 | 2015-10-27 | Google Inc. | Inter frame candidate selection for a video encoder |
US11317101B2 (en) | 2012-06-12 | 2022-04-26 | Google Inc. | Inter frame candidate selection for a video encoder |
US9288484B1 (en) | 2012-08-30 | 2016-03-15 | Google Inc. | Sparse coding dictionary priming |
US9503746B2 (en) | 2012-10-08 | 2016-11-22 | Google Inc. | Determine reference motion vectors |
US9485515B2 (en) | 2013-08-23 | 2016-11-01 | Google Inc. | Video coding using reference motion vectors |
US10785498B2 (en) * | 2012-11-27 | 2020-09-22 | Squid Design Systems Pvt Ltd | System and method of mapping multiple reference frame motion estimation on multi-core DSP architecture |
US10205962B2 (en) | 2013-03-15 | 2019-02-12 | Raymond Zenkich | System and method for non-uniform video coding |
US9300906B2 (en) | 2013-03-29 | 2016-03-29 | Google Inc. | Pull frame interpolation |
US9313493B1 (en) | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
JP6359101B2 (ja) | 2013-10-14 | 2018-07-18 | マイクロソフト テクノロジー ライセンシング,エルエルシー | ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴 |
US11109036B2 (en) | 2013-10-14 | 2021-08-31 | Microsoft Technology Licensing, Llc | Encoder-side options for intra block copy prediction mode for video and image coding |
US10506254B2 (en) | 2013-10-14 | 2019-12-10 | Microsoft Technology Licensing, Llc | Features of base color index map mode for video and image coding and decoding |
US10390034B2 (en) | 2014-01-03 | 2019-08-20 | Microsoft Technology Licensing, Llc | Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area |
KR102258427B1 (ko) | 2014-01-03 | 2021-06-01 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩/디코딩에서의 블록 벡터 예측 |
CN103747264B (zh) * | 2014-01-03 | 2017-10-17 | 华为技术有限公司 | 预测运动矢量的方法、编码设备和解码设备 |
US11284103B2 (en) | 2014-01-17 | 2022-03-22 | Microsoft Technology Licensing, Llc | Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning |
US10542274B2 (en) | 2014-02-21 | 2020-01-21 | Microsoft Technology Licensing, Llc | Dictionary encoding and decoding of screen content |
WO2015131323A1 (en) | 2014-03-04 | 2015-09-11 | Microsoft Technology Licensing, Llc | Block flipping and skip mode in intra block copy prediction |
EP3149945A1 (en) | 2014-05-30 | 2017-04-05 | Paofit Holdings Pte Ltd | Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation |
EP4354856A2 (en) | 2014-06-19 | 2024-04-17 | Microsoft Technology Licensing, LLC | Unified intra block copy and inter prediction modes |
US9286653B2 (en) | 2014-08-06 | 2016-03-15 | Google Inc. | System and method for increasing the bit depth of images |
US9153017B1 (en) | 2014-08-15 | 2015-10-06 | Google Inc. | System and method for optimized chroma subsampling |
US10554965B2 (en) | 2014-08-18 | 2020-02-04 | Google Llc | Motion-compensated partitioning |
CA3171803A1 (en) | 2014-09-30 | 2016-04-07 | Microsoft Technology Licensing, Llc | Rules for intra-picture prediction modes when wavefront parallel processing is enabled |
US9591325B2 (en) * | 2015-01-27 | 2017-03-07 | Microsoft Technology Licensing, Llc | Special case handling for merged chroma blocks in intra block copy prediction mode |
US10659783B2 (en) | 2015-06-09 | 2020-05-19 | Microsoft Technology Licensing, Llc | Robust encoding/decoding of escape-coded pixels in palette mode |
US9704298B2 (en) | 2015-06-23 | 2017-07-11 | Paofit Holdings Pte Ltd. | Systems and methods for generating 360 degree mixed reality environments |
US10397600B1 (en) | 2016-01-29 | 2019-08-27 | Google Llc | Dynamic reference motion vector coding mode |
US10462457B2 (en) | 2016-01-29 | 2019-10-29 | Google Llc | Dynamic reference motion vector coding mode |
US10419777B2 (en) | 2016-12-22 | 2019-09-17 | Google Llc | Non-causal overlapped block prediction in variable block size video coding |
US20180184107A1 (en) * | 2016-12-28 | 2018-06-28 | Novatek Microelectronics Corp. | Motion estimation method and motion estimation apparatus |
KR102476204B1 (ko) * | 2017-10-19 | 2022-12-08 | 삼성전자주식회사 | 멀티 코덱 인코더 및 이를 포함하는 멀티 코덱 인코딩 시스템 |
US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
WO2020142468A1 (en) * | 2018-12-31 | 2020-07-09 | Beijing Dajia Internet Information Technology Co., Ltd. | Picture resolution dependent configurations for video coding |
US20230097592A1 (en) * | 2021-09-30 | 2023-03-30 | Waymo Llc | Systems, Methods, and Apparatus for Aligning Image Frames |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR0181069B1 (ko) * | 1995-11-08 | 1999-05-01 | 배순훈 | 움직임 추정장치 |
EP0897247A3 (de) * | 1997-08-14 | 2001-02-07 | Philips Patentverwaltung GmbH | Verfahren zur Berechnung von Bewegungsvektoren |
IT1313382B1 (it) * | 1999-03-18 | 2002-07-23 | St Microelectronics Srl | Stima del moto ricorsiva spazio temporale con sottocampionamento ad 1/2 di macroblocco e ad 1/4 di pixel |
US6567469B1 (en) * | 2000-03-23 | 2003-05-20 | Koninklijke Philips Electronics N.V. | Motion estimation algorithm suitable for H.261 videoconferencing applications |
JP4574090B2 (ja) * | 2001-09-21 | 2010-11-04 | 三菱電機株式会社 | 動画データ変換装置および動画データ変換プログラム |
FR2833797B1 (fr) * | 2001-12-19 | 2004-02-13 | Thomson Licensing Sa | Procede d'estimation du mouvement dominant dans une sequence d'images |
JP4102970B2 (ja) | 2002-01-21 | 2008-06-18 | 日本電気株式会社 | 動画像符号列変換方法 |
US7173971B2 (en) * | 2002-11-20 | 2007-02-06 | Ub Video Inc. | Trailing artifact avoidance system and method |
CN1181691C (zh) * | 2003-01-24 | 2004-12-22 | 杭州国芯科技有限公司 | 视频运动估计方法 |
US20050286777A1 (en) * | 2004-06-27 | 2005-12-29 | Roger Kumar | Encoding and decoding images |
-
2005
- 2005-07-20 CN CN2005800315320A patent/CN101023676B/zh not_active Expired - Fee Related
- 2005-07-20 EP EP05775463.2A patent/EP1784985B1/en not_active Not-in-force
- 2005-07-20 CN CN201210148672.8A patent/CN102695054B/zh not_active Expired - Fee Related
- 2005-07-20 KR KR1020077003881A patent/KR100907847B1/ko not_active IP Right Cessation
- 2005-07-20 AR ARP050103010A patent/AR049593A1/es unknown
- 2005-07-20 JP JP2007522724A patent/JP4699460B2/ja not_active Expired - Fee Related
- 2005-07-20 TW TW094124540A patent/TWI401957B/zh not_active IP Right Cessation
- 2005-07-20 WO PCT/US2005/025812 patent/WO2006012383A2/en active Application Filing
- 2005-07-20 CA CA2574590A patent/CA2574590C/en not_active Expired - Fee Related
- 2005-07-20 US US11/186,126 patent/US7978770B2/en not_active Expired - Fee Related
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9538197B2 (en) | 2009-07-03 | 2017-01-03 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US11765380B2 (en) | 2009-07-03 | 2023-09-19 | Tahoe Research, Ltd. | Methods and systems for motion vector derivation at a video decoder |
US8917769B2 (en) | 2009-07-03 | 2014-12-23 | Intel Corporation | Methods and systems to estimate motion based on reconstructed reference frames at a video decoder |
US10404994B2 (en) | 2009-07-03 | 2019-09-03 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US9955179B2 (en) | 2009-07-03 | 2018-04-24 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US10863194B2 (en) | 2009-07-03 | 2020-12-08 | Intel Corporation | Methods and systems for motion vector derivation at a video decoder |
US9445103B2 (en) | 2009-07-03 | 2016-09-13 | Intel Corporation | Methods and apparatus for adaptively choosing a search range for motion estimation |
CN105120278A (zh) * | 2010-07-20 | 2015-12-02 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
CN105120278B (zh) * | 2010-07-20 | 2016-11-30 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
CN105120280A (zh) * | 2010-07-20 | 2015-12-02 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
CN105120280B (zh) * | 2010-07-20 | 2018-04-20 | 株式会社Ntt都科摩 | 图像预测编码装置及方法、图像预测解码装置及方法 |
CN102377992A (zh) * | 2010-08-06 | 2012-03-14 | 华为技术有限公司 | 运动矢量的预测值的获取方法和装置 |
US11653021B2 (en) | 2010-09-02 | 2023-05-16 | Lg Electronics Inc. | Method for encoding and decoding video, and apparatus using same |
CN106412603A (zh) * | 2010-09-02 | 2017-02-15 | Lg电子株式会社 | 编码和解码视频的方法和使用该方法的装置 |
US11245918B2 (en) | 2010-09-02 | 2022-02-08 | Lg Electronics Inc. | Method for encoding and decoding video, and apparatus using same |
CN106412603B (zh) * | 2010-09-02 | 2019-08-06 | Lg电子株式会社 | 编码和解码视频的方法和使用该方法的装置 |
US10666969B2 (en) | 2010-09-02 | 2020-05-26 | Lg Electronics Inc. | Method for encoding and decoding video, and apparatus using same |
TWI493975B (zh) * | 2010-10-06 | 2015-07-21 | Intel Corp | 用於低複雜度移動向量導出之系統及方法 |
CN107454424B (zh) * | 2010-10-28 | 2020-07-28 | 韩国电子通信研究院 | 视频解码设备和视频解码方法 |
CN107454424A (zh) * | 2010-10-28 | 2017-12-08 | 韩国电子通信研究院 | 视频解码设备和视频解码方法 |
US9509995B2 (en) | 2010-12-21 | 2016-11-29 | Intel Corporation | System and method for enhanced DMVD processing |
WO2013053309A1 (en) * | 2011-10-11 | 2013-04-18 | Mediatek Inc. | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
US11284067B2 (en) | 2011-12-23 | 2022-03-22 | Electronics And Telecommunications Research Institute | Method and apparatus for setting reference picture index of temporal merging candidate |
US11843769B2 (en) | 2011-12-23 | 2023-12-12 | Electronics And Telecommunications Research Institute | Method and apparatus for setting reference picture index of temporal merging candidate |
CN107566836B (zh) * | 2011-12-23 | 2020-04-07 | 韩国电子通信研究院 | 图像解码方法、图像编码方法和记录介质 |
CN108093254B (zh) * | 2011-12-23 | 2020-04-17 | 韩国电子通信研究院 | 图像解码方法、图像编码方法和记录介质 |
US11843768B2 (en) | 2011-12-23 | 2023-12-12 | Electronics And Telecommunications Research Institute | Method and apparatus for setting reference picture index of temporal merging candidate |
CN108093254A (zh) * | 2011-12-23 | 2018-05-29 | 韩国电子通信研究院 | 图像解码方法、图像编码方法和记录介质 |
US10848757B2 (en) | 2011-12-23 | 2020-11-24 | Electronics And Telecommunications Research Institute | Method and apparatus for setting reference picture index of temporal merging candidate |
CN107566836A (zh) * | 2011-12-23 | 2018-01-09 | 韩国电子通信研究院 | 图像解码方法、图像编码方法和记录介质 |
WO2018228016A1 (zh) * | 2017-06-13 | 2018-12-20 | 华为技术有限公司 | 一种运动矢量预测的方法及设备 |
US11202077B2 (en) | 2017-06-13 | 2021-12-14 | Huawei Technologies Co., Ltd. | Motion vector prediction method and device |
CN109089119A (zh) * | 2017-06-13 | 2018-12-25 | 浙江大学 | 一种运动矢量预测的方法及设备 |
CN110933426B (zh) * | 2018-09-20 | 2022-03-01 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法及其设备 |
CN110933426A (zh) * | 2018-09-20 | 2020-03-27 | 杭州海康威视数字技术股份有限公司 | 一种解码、编码方法及其设备 |
Also Published As
Publication number | Publication date |
---|---|
KR100907847B1 (ko) | 2009-07-14 |
US20060018381A1 (en) | 2006-01-26 |
AR049593A1 (es) | 2006-08-16 |
CA2574590A1 (en) | 2006-02-02 |
CN102695054A (zh) | 2012-09-26 |
JP4699460B2 (ja) | 2011-06-08 |
TW200627966A (en) | 2006-08-01 |
JP2008507914A (ja) | 2008-03-13 |
EP1784985A2 (en) | 2007-05-16 |
CN101023676B (zh) | 2012-06-27 |
TWI401957B (zh) | 2013-07-11 |
CA2574590C (en) | 2013-02-19 |
WO2006012383A2 (en) | 2006-02-02 |
KR20070040398A (ko) | 2007-04-16 |
CN102695054B (zh) | 2015-01-28 |
US7978770B2 (en) | 2011-07-12 |
WO2006012383A3 (en) | 2006-06-15 |
EP1784985B1 (en) | 2017-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101023676B (zh) | 用于时间视频压缩中运动矢量预测的方法和设备 | |
CN101023678B (zh) | 运动矢量分配的方法和装置 | |
CN110419217B (zh) | 用于图像处理的方法和图像处理装置 | |
CN100581266C (zh) | 视频信息编码与解码的方法,运动补偿视频编码器与相应的解码器 | |
JP5081305B2 (ja) | フレーム間予測符号化の方法および装置 | |
US7852938B2 (en) | Method and apparatus for motion vector processing | |
CN101010964B (zh) | 在可分级视频编码中的使用帧速率上变换技术的方法与设备 | |
Li et al. | Early intra CU size decision for versatile video coding based on a tunable decision model | |
US20070211800A1 (en) | Method and Apparatus for Frame Rate Up Conversion with Multiple Reference Frames and Variable Block Sizes | |
CN108012163B (zh) | 视频编码的码率控制方法及装置 | |
CN105409216A (zh) | 丢失视频数据的条件隐藏 | |
JP2008178149A (ja) | 運動ベクトルフィールドを圧縮するための装置及び方法 | |
CN108632616A (zh) | 一种基于参考质量做帧间加权预测的方法 | |
Cui et al. | Fast mode decision for HD scalable video coding via statistical content analysis | |
JPH11122619A (ja) | 動画像符号化および復号化方法 | |
CN114882390B (zh) | Vvc编码标准中基于ctu直方图的视频帧类型决策方法 | |
KR100242653B1 (ko) | 프레임내 부호화방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 1105744 Country of ref document: HK |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: WD Ref document number: 1105744 Country of ref document: HK |
|
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120627 Termination date: 20180720 |