CN102342102A - 具有先进的空间过滤差动矢量的多候选运动估计 - Google Patents

具有先进的空间过滤差动矢量的多候选运动估计 Download PDF

Info

Publication number
CN102342102A
CN102342102A CN2009801577244A CN200980157724A CN102342102A CN 102342102 A CN102342102 A CN 102342102A CN 2009801577244 A CN2009801577244 A CN 2009801577244A CN 200980157724 A CN200980157724 A CN 200980157724A CN 102342102 A CN102342102 A CN 102342102A
Authority
CN
China
Prior art keywords
motion vector
candidate motion
macro block
score
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801577244A
Other languages
English (en)
Inventor
M·L·施米特
V·W·曾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Publication of CN102342102A publication Critical patent/CN102342102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

实施方式包括一种在并行处理系统执行的运动估计方法，其为视频影像的宏块确定几个候选运动矢量的列表，并在多个运算传递(computation passes)之中保持。所有候选运动矢量被使用为潜在的邻近的预测，以致于差异矢量的最佳组合上升到候选列表的顶部。在比较多达八个邻近宏块而不是简单地宏块对之间的运动矢量的过程中，考虑差动矢量的许多组合。运动估计系统配置为使用大量的运算引擎，如在高度并行GPU平台上。通过每一传递，除了一个，宏块之间无相关性(dependencies)来实现。使得每一传递的计算的数量非常大。

Description

具有先进的空间过滤差动矢量的多候选运动估计
[优先权主张]
本申请案是主张于2008年12月31日向美国专利局所提出申请的美国专利申请案第12/347,932号的优先权，于此并入该专利申请案所揭露的内容以供参考。
技术领域
本发明一般是有关视频压缩技术，尤其是有关使用并行处理系统的运动估计和补偿的方法和系统。
背景技术
为了减少在视频系统中传输的数据量，视频数据往往通过编码机制来压缩。视频编解码器是使视频压缩和/或为数字视频解压缩的器件或固件/软件程序。在具有运动的视频领域中，一些像素的从一帧变化到下一帧，而视频压缩机制必须发送更多的数据以跟上正在改变的较大数量的像素。在高频细节变化的极端情况下，视频质量可能会降低。为了保证视频质量，还减少传输的数据量，已经开发各种不同的压缩技术。例如，MPEG基视频压缩通常在邻近的像素的方形组(称为宏块)上操作。从一帧到下一帧比较这些像素的块，而且视频压缩编解码器只发送这些块之间的差异。因此视频领域没有动机需要非常小的传输的数据。
预测技术也可用于视频压缩系统，从而实现高效编码。MPEG视频中使用的时间预测技术是基于运动估计。运动估计是基于以下的前提，在大多数情况下，除物体在帧内移动引起的变化外，连续的视频帧将是类似的。运动矢量是运动估计过程中的关键要素。运动矢量是用于帧间预测(inter prediction)的二维矢量，提供从在解码图像的坐标至在另一图像(称为参考图像)中的坐标的偏移量。它是用来表示在图像中的宏块，是基于在参考图像中的此宏块(或一类似者)的位置。在一般情况下，运动估计是确定运动矢量的过程，描述从一个二维影像至另一影像的转化，通常是从视频序列中的相邻帧。运动矢量可能涉及到整个影像(全面的运动估计)或特定部分，如矩形块，任意形状小块(patches)或甚至个别像素。通过可以近似真实摄像头的运动的平移模式或其它模式可表示运动矢量。
应用运动矢量至图像以合成转化为下一影像称为运动补偿。运动估计和运动补偿的结合是MPEG 1，2和4标准使用的视频压缩方法以及许多其它视频编解码器的重要部分。
如上所述，视频编解码器的设计一般是基于统计的事实，在视频帧序列中的大量像素不改变，或当他们改变时他们仍空间或时间地相似其邻近的像素。运动矢量的使用利用时间上的相似性(一个像素块从帧到帧仍然相同)；以及差异编码运动矢量是利用空间上的相似性(帧中的一个像素块具有与其邻近的相同的运动)。如MPEG-2和H264的编解码器通过利用差异编码，利用运动矢量的空间的相似性。图1绘示依据目前已知的方法在邻近的宏块上执行空间上过滤的概念。图1中，每一区块102代表组织成若干行(row)的16x16像素的一宏块。在处理过程中，邻近的块以成对的方式互相比较，需要至少两个传递以比较每一区块与其邻近的块或多个块。每一区块是与其两个邻近的每一个比较。因此，宏块2，与宏块1执行第一比较，与宏块3执行第二比较，如图1中箭头所示。依据已知的空间过滤机制，影像中的宏块整体的处理继续进行奇-偶对，然后偶-奇对。因此，例如图1的示范帧结构，相对图像帧块的左边缘，处理继续进行如下：
第一传递：1-2，3-4，5-6，7-8.46-47，48-49，50-51，52-53。91-92，93-94，95-96，97-98，第二传递2-3，4-5，6-7..47-48，49-50，51-52..92-93，94-95，96-97...
在运动检测系统中的目前这个空间过滤方法执行两个或两个以上的一系列连续传递，从而为每一传递耗费额外的处理开销。尽管这种方法可能利用某种程度的并行处理，多运算传递中一般不会为视频影像的宏块的几个候选运动矢量保持数据，并因此没有充分利用现代的多处理器设计。
因此，需要运动估计系统，充分利用目前的图形处理单元的并行处理能力，以减少的处理开销提供更高质量的视频和更低的比特率(bitrates)。
附图说明
经由范例但并不受限于所附加的附图来说明具体实施方式，该附图中，同样的组件符号表示同样的组件，且其中：
图1说明依据现有已知技术在邻近的宏块上所执行的空间过滤方法；
图2是根据实施方式的实现运动估计组件的实施方式的编码器管线(pipeline)的方块图；
图3是根据实施方式说明影像或影像片段的宏块集的范例，其上执行运动估计过程；
图4是根据实施方式说明为宏块确定运动矢量的主要步骤的流程图；
图5根据实施方式说明实施方式的为每一宏块计算候选运动矢量的方法；
图6是根据实施方式说明为宏块比较候选运动矢量以确定最佳运动矢量的方法的流程图；以及
图7是根据实施方式说明微调运动矢量之间差异的方法的流程图。
具体实施方式
本文所描述的发明的实施方式对于上述习知方法的问题提出解决方案。以下描述中，给予各种范例是用以说明但并非限制。具体实施方式包括包含于软件或硬件编码器管线的运动估计组件，并允予该编码器在较低比特率(较高压缩率)保持视频质量的相同或相似的相对水平。当执行比目前已知的编码器使用的其它方法较少的计算时，该运动估计组件获得较低比特率。
MPEG基视频压缩系统中，帧上的最小的独立编码的矩形称为宏块，大小为16x16像素，每一帧具有一秒1/30的周期。某些系统在统计分析16x16像素的整个帧之前进行压缩，以确定范围从没有或很少活动不再使用的活动的水平(是只适用于空间活动)。标准压缩系统一般不再使用显示相对较少的活动的像素。为全运动视频，这种类型分析通常是足够的以执行压缩，其中在填入丢失的数据时，丢弃感知地微小的信息和依赖人类感知，使压缩的影像出现与原来的无压缩版本相同。一般情况下，每一个编解码器可以给予视频序列内的给定帧集不同程度的质量。通常情况下，通过在每帧基础上设置比特率和质量的比特率控制机制(比特率分配)来控制质量。
一般的设计目标是使用尽可能最低的比特率来编码数字视频数据。发展视频压缩的H.264标准以在比以前的标准(例如，MPEG-2，H.263或MPEG-4第2部分的一半或更少的比特率)实质较低的比特率下提供良好的视频质量，无过于增加设计的复杂度。H.264(也称为MPEG-4第十部分或MPEG-4 AVC)规范已成为视频压缩的标准，并包含数功能，允许它比旧标准更有效地压缩视频并提供更灵活地应用到多种网络环境。这些功能包括具有块大小大至16X16和小至4X4的可变块大小运动补偿(运动估计)，使移动区域的精确的分割和每宏块使用多个运动矢量的能力。
为了描述的目的，“H 264”是指视频压缩标准，也称为MPEG-4第十部分，或MPEG-4 AVC(高级视频编码)。H 264是ITU-T视频编码专家组(VCEG)与ISO/IEC运动图像专家组(MPEG)开发的面向块的运动估计基编解码器的一个。
目前很多视频编解码器，如H 264编解码器，利用差异编码的形式来利用影像中邻近的宏块之间的时间和空间的相似性。编码系统的实施方式提供一种在邻近的宏块上执行的目前空间过滤技术(如图1所示)的改善，。图2为根据实施方式实现运动估计组件的实施方式的编码器管线的方块图，。配置运动估计组件以通过在高度并行计算环境的多个处理引擎的使用，通过进行迭代比较通过为每一宏块寻找最佳运动矢量和相对于多个邻近的宏块的得分步骤，最大限度地提高视频质量。
图2的系统200是编码器管线的实施方式，其接收输入视频帧202，并产生编码的视频比特流216。将输入视频帧202输入至运动估计组件204和帧内预测单元206内。然后将这些组件的输出通过转换过程(T)，如正向离散余弦变换(fDCT)模块和量化过程(Q)，与原始输入视频帧结合。然后通过反量化过程(Q-1)和反变换过程(T-1)，如iDCT，处理量化的数据。然后将反变换的数据结合帧内预测单元206的运动估计输出以及可选的循环去块过滤器210生成参考帧208。比特率控制单元212提供控制量化(Q)过程，也从无损熵解码模块214输入以产生输出比特流216。比特率控制单元212从来源收到无压缩的视频数据202和依据编码方法(如标准H.264编码)产生压缩的视频信号216。率控制组件动态调整编码器参数，以达到比特率参数所指定的目标比特率。该率控制器在视频序列中分配每一区域，个别图像，图像组，和/或子图像的比特预算。
在一个实施方式中，运动估计组件204以不需要大处理步骤或传递之内的邻近计算之间的任何相关性(dependencies)的方式，实现执行提出的邻近的运动矢量的过滤和分析的方法。这有利于每宏块独立的计算引擎的使用。这样的计算引擎，可以是在图形处理单元(GPU)的个别着色(shader)处理器或运动估计用的专用硬件电路。因此，图2的系统可在并行处理器计算环境中实施，如包括多个中央处理器(CPU)内核，多个GPU核心，或混合多核心CPU/GPU系统的系统。运动估计组件的实施方式也可以用于GPU着色系统。一般情况下，着色器是一套软件指令，其通过图形资源使用以主要执行渲染效果。写入着色器以在同一时间将转换适用到大套组件，比如屏幕的区域中的每一像素，或为模型的每一顶点。着色器因此特别适于并行处理，如目前的多核心GPU系统。
通过组件204进行的运动估计方法确定几个候选运动矢量的列表和多运算传递之中保持他们。此法可防止最初的传递中的单一的最佳成本得分过早地为其宏块支配结果。所有候选运动矢量被用来作为潜在邻近的预测，使差异矢量的最佳组合上升到候选列表的顶部。在比较多达八个邻近的宏块之间而不是宏块对之间的运动矢量的过程中，考虑差动矢量的众多组合。运动估计系统配置为使用大量的运算引擎，如在高度并行GPU平台上。通过每一传递，除了一个，宏块之间无相关性(dependencies)来实现。使得每一传递的计算的数量非常大。
在一个实施方式中，使用多个并行处理器的多传递过程是在宏块集上执行以确定最佳运动矢量。不是如图1所示的比较宏块的个别对，该方法比较单一宏块的可能近的邻近的数量的差异，如高达八个邻近的。图3是根据实施方式说明影像或影像片段的宏块集的范例，其上进行运动估计过程。图3的影像片段包括一些宏块，可以是16x16块或更小。对于图3的视频影像模式，大部分宏块有多达8个邻近的。因此，范例宏块47，为八个邻近的1，2，3，46，48，91，92，93执行差异比较，如图3箭头所示。
图4是根据实施方式说明为一宏块确定运动矢量的主要步骤的流程图。在一个实施方式中，过程继续进行三个传递，其中第一传递一般为视频影像的一些宏块的每一宏块确定和排序候选运动矢量，方块402。第二传递比较每一候选运动矢量与邻近候选运动矢量和执行迭代得分过程直到确定最佳运动矢量，方块404。第三传递是一个可选的步骤，包括进行空间过滤步骤以微调宏块运动矢量之间的任何差异，方块406。以下的流程图为每一传递的详细的处理步骤解释。
图5根据实施方式说明为每一宏块计算候选运动矢量的方法。在方块502，为每一宏块计算一个或多个候选运动矢量(candidate motionvectors；CMVs)，可使用已知的方法的任何数量的一计算候选运动矢量。虽然可使用任何类似的度量(metric)，使用四个候选，提供这个过程的一个范例和最小绝对差总和(sum of absolute differences；SAD)的过程。
用于运动估计过程中的块匹配的SAD度量是通过采取原始块中的每一像素和用于比较的块中的相应的像素之间的差异的绝对值的方式运作度量。总和这些差异以创建块相似性(差异影像的L1规范(L1 norm))的简单度量。在替代实施方式中，可以使用其它度量，如绝对差的平方的总和(sum of the square of absolute differences；SSAD)。另一个可能的度量是绝对转化差的总和(sum of absolute transformed differences；SATD)，其通过采取原始块中的像素和用于比较的块中的相应的像素之间的差异的频率变换(通常Hadamard变换(SAHD))来运作。变换本身往往是小块而不是整个宏块。例如，可转变一系列的4x4块，而不是完整的16x16变换。一般情况下，SATD由于其增加的复杂性，SATD比SAD慢，但有从客观和主观度量的角度能够更准确地预测质量的效益。
在一个实施方式中，使用分层搜索方法来为每一宏块计算CMVs。箱区域被定义为围绕该块，然后被划分成多个区域。然后此过程搜索每一区域，像是其为兴趣的区域。在一个范例中，决定四个区域和确定四个CMV值。这些值表示为CMV1，CMV2，CMV3和CMV4。在此方法中，通过定义的比例，如在每一尺寸中的一半，降低取样该区域。因此，如果该区域的大小是100×100，降低取样作业在25x25区域内产生4x4块的搜索，而不是100x100区域内产生16x16块的搜索。
每一宏块具有CMV列表，如CMV1-4。然后通过成本排序为每一宏块的候选运动矢量的列表，方块504。最低的成本一般产生最佳的候选。在一个实施方式中，通过下列公式计算成本
成本＝SAD+λ(dMV)
在上面的方程式，dMV是差动矢量，具有来自预测运动矢量的差异。预测的运动矢量可以是0，0或其它一些运动矢量。波长(λ)因子是归一化因子，取决于系统的要求可以选择其值。
如图5的方块506所示，最低成本(最佳)候选是用来为下一传递作为预测器。也就是说，成本最低CMV候选取代在成本方程式的dMV值。保持非选择的候选供日后使用，方块508，过程的第一个传递的输出是具有SADS和成本的排序的列表，方块510。
图6是根据实施方式说明为一宏块比较候选运动矢量以确定最佳运动矢量的方法的流程图。如方块602所示，通过每一候选运动矢量与其八个邻近的每一个执行比较，开始这个过程，如图3所示，其中，例如，单一宏块编号47与其八个邻近的每一个1，2，3，46，48，91，92和93比较。边缘周围一些宏块具有较少邻近的，从而用于这些宏块的比较步骤可少于八个宏块的比较步骤。比较步骤检查每一邻近的宏块的排序列表中的整个候选运动矢量清单，并计算其成本(如通过使用上述的成本方程式)。从传递1过程的最佳CMV是取代作为成本方程式的差动矢量的参考，从而在这个过程中成本＝SAD+λ(CMVbest)。第二传递的比较步骤基本上确定CMV之间的相似性程度。如果CMV值是相同的，那么在比较的宏块之间没有比特改变。从差动矢量(dMV)组选择候选运动矢量，差动矢量(dMV)组是从块至周围的八个邻近的块每一个的可能差异。
在方块604，为每一邻近的的列表中的单一至少CMV的得分增加。在简单的实现中，每一邻近的的列表中的单一至少成本CMV获取一增加到其得分的得分值。换句话说，为单一宏块的计算使其八个邻近的每一个中的一得分点添加至一CMV。另外，加权分数被添加到每一列表中的多个CMV。
在一个实施方式中，方块604，可以设置标志(或可以增加一些共享的全局计数器)，致每次最高得分CMV改变可累积变化的总数以提供每传递的变化数是低的时候的指示，致不使用过多的传递。或者，基于测试，可用时间，质量设置等等，可使用传递的一些固定数。
所有的得分完成后，排序每一宏块的CMV列表，最高得分置于列表的顶部，方块606。请注意，最高得分不同于最少成本。在一般情况下，排序步骤可为一些宏块改变“最佳”的运动矢量。由于最佳是用于得分计算，可能有一些新的最佳CMV。在方块608，确定是否达到最佳的结果。在一个实施方式中，此定义相对平衡点，进一步迭代不会添加显着的改善。可定义增量的改善值以确定此最佳结果。如果没达到最佳的结果，过程自方块602重复，直到达到具有最优或接近最优的结果的相对平衡。然后为每一宏块设置最高得分和排序的CMV为最终结果运动矢量，方块610。
图7是根据实施方式说明微调运动矢量之间差异的方法的流程图。如方块702所示，从候选运动矢量的列表确定最佳的运动矢量。就空间相同而言，最佳运动矢量通常表示所有邻近的可有利的运动矢量。在方块704，此过程执行微调矢量之间的差异的空间的过滤步骤(SFODMV)。此有助于轻微差异的调整，可以减至零，系数比特(coefficient bits)小幅增加。根据系统的质量和性能设置可考虑选用此步骤，在某些情况下，这种微调是不必要的。
在一般情况下，显示在图5-7的为视频影像的每一宏块计算最佳运动矢量的整体运动估计过程比传统方法产生具有较低的比特率的更好的视频影像。此方法包括几个候选运动矢量的列表并在多运算传递之中保持他们，这样可以为其宏块防止在最初的传递的单一最佳的SAD得分过早支配结果。此外，所有候选运动矢量被用来作为潜在邻近的预测，以至于使差异矢量的最佳组合上升到列表的顶部。此外，尝试差动矢量的多种组合，但取代仅比较宏块的个别对，此过程比较所有八个尽量近的邻近的差异。
在实施方式中，检查所有可能的邻近宏块，即使是特别的编解码器可能不支持此邻近的宏块作为预测。因为反向预测可能是有效的且预测的方向在试图为整个影像确定最小dMV平均时造成非常小的差异而做到。
在一个实施方式中，方法是在使用大量的运算引擎(如高度并行GPU平台)的计算平台实现。此使得该方法在合理的时间数量内执行相对较高数量的所需运算。通常通过每一传递，除了一个，宏块之间无相关性(dependencies)来实现。每一传递的计算的数量可能会很大，但宏块之间没有相关性。
使用的处理器的数量取决于该系统的限制和视频流压缩应用的要求。例如，在典型情况下，约5000线程在同一时间可用线程以处理10,000宏块。此可通过有160个独立的处理器的系统提供，并通过方程式160(4(N))确定，其中4代表组中的一处理器上一次处理的线程数，N(＝2，4，或8)代表可以一次预定的组的数量，以克服内存延迟。
在所描述的运动估计过程中，提出的邻近的运动矢量的过滤和分析尝试使两个矢量相同，即使“最佳”提出的矢量不相同。因为在某些百分比情况下，通过矢量相同保存的比特可以超过通过稍大的残留数据以压缩的失去的比特，这有助于提高视频质量和/或降低比特率。此过滤的类型非常适于GPU处理，其中，在计算的GPU着色模型考虑和比较所有的块，而不是在CPU上完成连续的块处理。然而，这个概念是适用于CPUs，GPUs和专用硬件编码器。根据使用的实际编解码器，可以选择使用的特定的过滤。
在一般情况下，此处所描述的实施方式是集中在视频编码器的运动估计的执行方法，包括：为视频影像的每一宏块计算一个或多个候选运动矢量，以形成候选运动矢量的列表，为每一候选运动矢量计算成本，通过成本从最低成本到最高成本排序候选运动矢量的列表，使用最低成本候选运动矢量作为成本计算的基础来比较第一个宏块的计算的候选运动矢量与多个邻近的宏块的计算的候选运动矢量，依据用于每一接收增加的基准得分的宏块的最低成本候选运动矢量将基准得分分配给用于每一宏块的每一候选运动矢量，以及通过点取决于其与邻近的宏块中的候选运动矢量的相似性增加基准得分或各自的候选运动矢量的增加的基准得分。通过一个反复的过程，此方法依据从最高得分至最低得分的得分排序候选运动矢量的列表，以创建候选运动矢量的新列表，再比较候选运动矢量的新列表的每一候选运动矢量与多个邻近的宏块的计算的候选运动矢量，和再计分候选运动矢量来确定最高得分候选运动矢量，并重复这些步骤，直到最高得分候选矢量的变化数低于定义的最低阈值。该方法也可以为每一宏块的运动矢量执行空间过滤步骤以为每一宏块的运动矢量之间调整微小差异。该方法也可以在多处理器计算环境中执行，其中，多处理器系统的专用处理引擎执行为各自的宏块计算一个或多个候选运动矢量的步骤。
本文所述的运动估计过程的实施方式可用于标准的预测MPEG方案，例如图2的电路，其中包括帧内预测块206和相关电路。在处理视频流中，MPEG编码器产生三个类型的编码帧。第一个类型帧是所谓的“I”帧或帧内编码帧。这是最简单的帧的类型并为静止影像的编码代表。在一般情况下，没有对I帧进行运动估计处理，其目的是提供解码器开始点以解码下一组帧。下一个类型帧被称为“P”帧或预测帧。经解码，从前面的P帧或I帧内所包含的信息创建P帧。第三种类型帧，最常见的类型，是“B”帧或双向帧。向前和向后预测及从最后的和下一P或I帧建立B帧。P帧和B帧是编码间帧。编解码器编码器可以下列顺序编码流：IBBP。在数字视频传输，往往不使用B帧。在这种情况下，此顺序可只是包括I帧跟着一些P帧。
虽然实施方式已描述关于H.264标准，应注意到，其它类似的标准也可使用作为图2的编码器电路的基础。实施方式也可以是可变块尺寸运动系统，具有的块大小为16x16大和4x4小，或中间尺寸，例如，16x8，8x16，8x8，8x4，和4x8。
实施方式可用在转码系统。转码是一个数字编码格式到另一种格式的直接数字到数字的转换。转码可以在许多内容适配的领域中发现并常用于转变成不兼容或过期的数据至更合适的格式。也可以用来将不同播放设备使用的不同类型的数字媒体上的内容存档或分配，如从CD格式转换歌曲至MP3格式在计算机和MP3播放器上播放。转码也常用在移动电话内容适配的领域。在这种情况下，因为移动设备和能力的多样性，转码是必要的。这种多样性需要内容适配的中间状态以确保源内容将充分播放在目标设备上。
虽然运动估计系统和过程的实施方式是针对GPU的组件，如GPU着色器，该方法可以被用于任何计算设备实现某种形式的并行计算。此外，虽然实施方式已参照包括GPU设备或视觉处理单元(VPU)的图形系统描述，处理系统用的专用或集成显卡呈现设备，应注意到，这种实施方式也可以用于许多其它类型的用于并行的视频产生引擎。这种视频产生引擎可在离散的视频发生器的形式(如数字投影机)实现，也可以是视频基的计算机系统使用的单独的IC(集成电路)器件或附加卡的形式提供的电子电路。在一个实施方式中，包括GPU控制系统的系统包括计算设备，是由个人计算机，工作站，手持计算设备，数字电视，媒体播放器，智能通讯设备，游戏机，或任何其它类似的处理装置择一。
此处所述的系统和/或组件可以实现为一个或多个电子电路。通过制造工艺和布图设计的控制可以实现此处所描述的这种电路，且可用以制造相关电路。普通技艺人士已知的此制造过程控制和掩膜工件(maskwork)产生包括计算机可读介质上的计算机指令的存储，包括例如，其中的Verilog，VHDL 01指令在其它硬件描述语言。
此处描述系统的态样可功能编程实现为各种各样的电路，包括可编程逻辑器件(PLDS)，如场可编程闸阵列(FPGA)，可程序规划数组逻辑(PAL)设备，电可编程逻辑和存储器设备以及标准单元基设备，以及专用集成电路。用于实现态样的一些其它的可能性包括：存储设备，具有存储器(如EEPROM)的微控制器，嵌入式微处理器，固件，软件，等。此外，视频流迁移系统的态样可体现在具有软件基电路仿真，离散逻辑(顺序和组合)，定制设备，模糊(神经)逻辑，量子器件，以及上述设备类型的任何混合的微处理器。基本设备技术可以多种组件类型提供，如，金属氧化物半导体场效应晶体管(MOSFET)技术如互补型金属氧化物半导体(CMOS)，双极技术如发射极耦合逻辑(emitter-coupled logic；ECL)，聚合物技术(例如，硅共轭聚合物和金属共轭聚合物金属结构)，混合模拟和数字，等等。
还应该指出，本文所披露的各种功能，就其行为，寄存器传输，逻辑组件，和/或其它特性而言，可使用体现在各种机器可读的或计算机可读媒体的任何硬件，固件组合描述和/或数据和/或指令，。计算机可读媒体，此格式的数据和/或指令，可体现在包括但不限于各种形式非易失性存储介质(例如，光，磁或半导体存储介质)和可用以通过无线，光学，或有线信号媒体或任何组合传输此格式的数据和/或指令的载波。通过载波此格式的数据和/或指令的传输的例子包括但不仅限于，通过一个或多个数据传输协议(例如，HTTP，FTP，SMTP等)在互联网和/或其它计算机网络上传输(上传，下载，电子邮件等)。此外，实施方式可包括致能视频编码(如视频编辑软件，内容创建软件和类似)的应用程序。此应用程序可包括编程一般和/或特殊用途处理器(如CPU和/或GPU或组合)的指令以实现本文所述的发明的态样。这些应用程序可产生在此处所描述的方式产生的编码视频数据。
除非文意另有明确要求，整个说明书和权利要求的“包括”，“包含”之类，是包容性的意义解释而不是排除其它的或详尽的意义，也就是说，“包括，但不限于”。使用单数或复数的词也包括复数或单数。此外，“此处”，“下文”，”以上“，”以下“，和类似含义的词是指这个整体，而不是任何特定部分。”或“这个词是用在两个或两个以上的项目的列表的参考，这个词涵盖了如下所有的解释：在列表中的项目的任一，所有在列表项目，在列表中的项目的任意组合。
上面显示的描述实施方式的运动估计方法和系统不是详尽无遗或限制实施方式于披露的具体形式或指示。虽然本文所描述的在图形处理单元或ASIC的过程的具体的实施方式和范子是爲了说明目的，此技术领域具有通常技艺人士是應了解，在本发明的范畴与精神内的各种等效修改是为可能。
可组合以上所述的各种实施方式的组件或动作以提供另外的实施方式。按照以上详细描述可对所披露的系统做出这些或其它的改变。
一般而言，在以下权利要求中，这些术语不应被理解为限制说明书及权利要求所披露的具体实施方式披露的方法，但应被理解为包括根据权利要求所运作的所有操作或过程。因此，所披露的结构和方法不受限于所披露的，反而权利要求完全决定所述的方法的范畴。
虽然所披露的实施方式的某些态样是表现于某些权利要求格式下，发明者思量在任意数量的权利要求形式中各种方法论的态样。例如，尽管仅叙述一种态样体现于机器可读取介质，其它态样可同样地体现于机器可读取介质。因此，在提出申请后，发明者保留增加额外的权利要求的权利以继续进行这样额外的权利要求格式。

Claims (27)

1.一种在视频编码器执行运动估计的方法，包括下列步骤：
为视频影像的每一宏块计算一个或多个候选运动矢量，以形成候选运动矢量的列表；
为每一候选运动矢量计算成本；
通过成本从最低成本到最高成本排序该候选运动矢量的列表；以及
使用最低成本的候选运动矢量为成本计算的基础，比较第一宏块的经计算的候选运动矢量与多个邻近的宏块的经计算的候选运动矢量。
2.如权利要求1所述的方法，进一步包括：
依据用于每一宏块的该最低成本候选运动矢量接收增加的基准得分分配基准得分给用于每一宏块的每一候选运动矢量；以及
通过点取决于其与邻近的宏块中的候选运动矢量的相似性增加该基准得分或各自的候选运动矢量的增加的基准得分。
3.如权利要求2所述的方法，其中，多个邻近的宏块包括2至8个之间的宏块。
4.如权利要求2所述的方法，进一步包括：
依据得分从最高得分至最低得分再排序该候选运动矢量的列表，以创建候选运动矢量的新列表；
再比较该候选运动矢量的新列表的每一候选运动矢量与该多个邻近的宏块的该经计算的候选运动矢量；以及
再计分候选运动矢量来确定最高得分候选运动矢量。
5.如权利要求4所述的方法，其中，反复重复再排序、再比较以及再计分步骤直到该最高得分候选矢量的变化数低于定义的最低阈值。
6.如权利要求5所述的方法，进一步包括设置标志值以追踪该最高得分候选矢量的变化数。
7.如权利要求6所述的方法，其中该定义的最低阈值是选自：最大标志值，定义的迭代次数，和处理时间的最大量的所组群组来执行迭代次数。
8.如权利要求5所述的方法，进一步包括为每一宏块定义该最高得分候选运动矢量为为各自的宏块的运动矢量。
9.如权利要求8所述的方法，进一步包括为每一宏块的运动矢量执行空间过滤步骤以为每一宏块的运动矢量之间调整微小差异。
10.如权利要求9所述的方法，其中，该空间过滤步骤通过可能增加一个或多个运动矢量的系数比特减少运动矢量之间的差异至零。
11.如权利要求10所述的方法，其中，使用以差动矢量乘以归一化值的总和的度量值计算成本。
12.如权利要求11所述的方法，其中，该度量是绝对差异的总和(SAD)，绝对差异的平方的总和(SSAD)或转化差异的总和(SATD)中的一个。
13.如权利要求1所述的方法，其中，多处理器系统的专用处理引擎执行为各自的宏块计算一个或多个候选运动矢量的步骤。
14.如权利要求13所述的方法，其中，该多处理器系统包括多核心中央处理单元(CPU)，多核心图形处理单元(GPU)，或混合CPU/GPU系统中的一个。
15.如权利要求14所述的方法，其中，该多处理器系统包括GPU着色系统。
16.一种使用在视频编码器管线的运动估计系统，包括：
第一电路，为视频影像的每一宏块计算一个或多个候选运动矢量，形成候选运动矢量的列表；
第二电路，为每一候选运动矢量计算成本，和通过成本从最低成本到最高成本排序该候选运动矢量的列表；
比较器电路，使用最低成本候选运动矢量为成本计算的基础，比较第一宏块的经计算的候选运动矢量与多个邻近的宏块的经计算的候选运动矢量，其中，该多个邻近的宏块包括2至8个之间的宏块；以及
得分电路，依据用于每一接收增加的基准得分的宏块的最低成本候选运动矢量将基准得分分配给用于每一宏块的每一候选运动矢量和通过点取决于其与邻近的宏块中的候选运动矢量的相似性增加该基准得分或各自的候选运动矢量的增加的基准得分。
17.如权利要求16所述的运动估计系统，其中，通过迭代处理方法，确定为每一宏块的最佳候选运动矢量，其中依据得分从最高得分至最低得分再排序该候选运动矢量的列表以创建候选运动矢量的新列表，再比较该候选运动矢量的新列表的每一候选运动矢量和多个邻近的宏块的计算的候选运动矢量，以及再计分候选运动矢量以确定最高得分候选运动矢量直到该最高得分候选矢量的变化数低于定义的最低阈值。
18.如权利要求17所述的运动估计系统，进一步包括全局计数器电路追踪该最高得分候选矢量的变化数，并确定变化数超出该定义阈值的时候。
19.如权利要求18所述的运动估计系统，进一步包括空间过滤电路为每一宏块的运动矢量执行空间过滤步骤以为每一宏块的运动矢量之间调整微小差异。
20.如权利要求16所述的运动估计系统，其中，视频编码器管线包括部分多处理器系统，其中该第一电路和该第二电路包括该多处理器系统的部分专用处理引擎以为各自的宏块计算一个或多个候选运动矢量。
21.如权利要求20所述的运动估计系统，其中，该多处理器系统包括多核心中央处理单元(CPU)，多核心图形处理单元(GPU)，或混合CPU/GPU系统中的一个。
22.如权利要求14所述的运动估计系统，其中，该多处理器系统包括GPU着色系统。
23.一种在多处理器计算系统内的视频编码器中执行运动估计的方法，包括：
为视频影像的每一宏块计算多个候选运动矢量的成本，以在多个处理引擎中形成候选运动矢量的列表，每一处理引擎专用于单一各自的宏块；
比较第一宏块的经计算的候选运动矢量与多达八个邻近的宏块的经计算的候选运动矢量，以为每一候选运动矢量产生相对得分；
使用最高得分候选运动矢量以在一个或多个后续费用计算步骤中为每一宏块确定候选运动矢量的成本；以及
反复比较和再计分候选运动矢量直到为每一宏块确定最佳候选运动矢量。
24.如权利要求23所述的方法，其中最佳候选运动矢量是在达到定义阈值后具有最高得分的候选运动矢量。
25.如权利要求23所述的方法，进一步包括为每一宏块的最佳候选运动矢量执行空间过滤步骤以为每一宏块的运动矢量之间调整微小差异。
26.如权利要求23所述的方法，其中该多处理器系统包括多核心中央处理单元(CPU)，多核心图形处理单元(GPU)，或混合CPU/GPU系统中的一个。
27.如权利要求26所述的方法，其中，该多处理器系统包括GPU着色系统。
CN2009801577244A 2008-12-31 2009-12-23 具有先进的空间过滤差动矢量的多候选运动估计 Pending CN102342102A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/347,932 US20100166073A1 (en) 2008-12-31 2008-12-31 Multiple-Candidate Motion Estimation With Advanced Spatial Filtering of Differential Motion Vectors
US12/347,932 2008-12-31
PCT/US2009/069507 WO2010078212A1 (en) 2008-12-31 2009-12-23 Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors

Publications (1)

Publication Number Publication Date
CN102342102A true CN102342102A (zh) 2012-02-01

Family

ID=42102406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801577244A Pending CN102342102A (zh) 2008-12-31 2009-12-23 具有先进的空间过滤差动矢量的多候选运动估计

Country Status (6)

Country Link
US (1) US20100166073A1 (zh)
EP (1) EP2382786A1 (zh)
JP (1) JP2012514429A (zh)
KR (1) KR20110107827A (zh)
CN (1) CN102342102A (zh)
WO (1) WO2010078212A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946536A (zh) * 2012-10-09 2013-02-27 华为技术有限公司 候选矢量列表构建的方法及装置
CN106471811A (zh) * 2014-06-27 2017-03-01 微软技术许可有限责任公司 用于视频编码的运动向量选择
CN111373441A (zh) * 2017-11-20 2020-07-03 超威半导体公司 使用运动估计的随时间注视点渲染
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US20100158105A1 (en) * 2008-12-19 2010-06-24 Nvidia Corporation Post-processing encoding system and method
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
US9609342B2 (en) * 2010-02-19 2017-03-28 Skype Compression for frames of a video signal using selected candidate blocks
US9078009B2 (en) * 2010-02-19 2015-07-07 Skype Data compression for video utilizing non-translational motion information
US9819358B2 (en) * 2010-02-19 2017-11-14 Skype Entropy encoding based on observed frequency
US20110206132A1 (en) * 2010-02-19 2011-08-25 Lazar Bivolarsky Data Compression for Video
US9313526B2 (en) 2010-02-19 2016-04-12 Skype Data compression for video
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
KR101914018B1 (ko) * 2010-09-30 2018-10-31 미쓰비시덴키 가부시키가이샤 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
FR2966679A1 (fr) * 2010-10-25 2012-04-27 France Telecom Procedes et dispositifs de codage et de decodage d'au moins une image a partir d'un epitome, signal et programme d'ordinateur correspondants
EP2654301A4 (en) 2010-12-14 2016-02-17 M&K Holdings Inc METHOD FOR INTER-PREDICTIVE DECODING OF ENCODED FILMS
US9473789B2 (en) 2010-12-14 2016-10-18 M&K Holdings Inc. Apparatus for decoding a moving picture
SG10202101292WA (en) 2010-12-17 2021-03-30 Mitsubishi Electric Corp Image coding device, image decoding device, image coding method, and image decoding method
GB2486726B (en) * 2010-12-23 2017-11-29 British Broadcasting Corp Compression of pictures
JPWO2012090495A1 (ja) * 2010-12-27 2014-06-05 パナソニック株式会社 画像符号化方法および画像復号方法
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
CN102611881B (zh) * 2011-01-19 2014-06-25 华为技术有限公司 参考运动矢量获取方法、模块及编、解码装置
TWI466550B (zh) * 2011-02-23 2014-12-21 Novatek Microelectronics Corp 多媒體裝置及其移動偵測方法
US9143795B2 (en) 2011-04-11 2015-09-22 Texas Instruments Incorporated Parallel motion estimation in video coding
PL3879831T3 (pl) * 2011-05-31 2024-07-29 Jvckenwood Corporation Urządzenie do kodowania ruchomego obrazu wizyjnego, sposób kodowania ruchomego obrazu wizyjnego i program do kodowania ruchomego obrazu wizyjnego, a także urządzenie do dekodowania ruchomego obrazu wizyjnego, sposób dekodowania ruchomego obrazu wizyjnego i program do dekodowania ruchomego obrazu wizyjnego
PL3739884T3 (pl) 2011-06-27 2021-11-22 Samsung Electronics Co., Ltd. Kodowanie i dekodowanie informacji o ruchu
CN105245874B (zh) * 2011-06-30 2017-05-24 Jvc建伍株式会社 图像解码装置和图像解码方法
KR20130030181A (ko) * 2011-09-16 2013-03-26 한국전자통신연구원 움직임 벡터 예측기를 이용한 움직임 벡터 부호화/복호화 방법 및 장치
CN103096050B (zh) * 2011-11-04 2016-08-03 华为技术有限公司 视频图像编解码的方法及装置
KR20130050149A (ko) * 2011-11-07 2013-05-15 오수미 인터 모드에서의 예측 블록 생성 방법
KR20130050406A (ko) * 2011-11-07 2013-05-16 오수미 머지 모드에서의 움직임 정보 생성 방법
CN104185988B (zh) 2011-11-08 2019-05-10 韩国电子通信研究院 用于共享候选者列表的方法和装置
CN103139556B (zh) * 2011-11-23 2016-12-28 华为技术有限公司 视频图像编解码的方法及装置
WO2013101095A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Variable depth compression
WO2013111551A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
KR101932916B1 (ko) * 2012-06-28 2018-12-27 삼성전자 주식회사 모션 추정 시스템 및 그 방법, 디스플레이 컨트롤러, 및 전자 장치
ES2775202T3 (es) * 2012-10-07 2020-07-24 Lg Electronics Inc Método y dispositivo para procesar una señal de vídeo
US20160037167A1 (en) * 2013-03-30 2016-02-04 Anhui Guangxing Linked-Video Communication Technology Co. Ltd Method and apparatus for decoding a variable quality bitstream
KR20160075705A (ko) 2013-10-25 2016-06-29 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩에서의 해시 기반 블록 매칭
CN105684409B (zh) 2013-10-25 2019-08-13 微软技术许可有限责任公司 在视频和图像编码和解码中使用散列值来表示各块
EP3114841B1 (en) 2014-03-04 2020-06-10 Microsoft Technology Licensing, LLC Encoder-side decisions for block flipping and skip mode in intra block copy prediction
CN105393537B (zh) 2014-03-04 2019-08-27 微软技术许可有限责任公司 用于基于散列的块匹配的散列表构建和可用性检查
KR20150113715A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 정보 유도방법 및 장치, 움직임 병합 후보 유도방법 및 장치
KR20150113714A (ko) * 2014-03-31 2015-10-08 인텔렉추얼디스커버리 주식회사 깊이 정보를 이용한 움직임 병합 후보 부호화/복호화 방법 및 장치
US10681372B2 (en) 2014-06-23 2020-06-09 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
US10757437B2 (en) 2014-07-17 2020-08-25 Apple Inc. Motion estimation in block processing pipelines
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
MX2017004210A (es) 2014-09-30 2017-11-15 Microsoft Technology Licensing Llc Decisiones de codificador basadas en hash para codificar video.
US10659805B2 (en) * 2015-01-29 2020-05-19 Ecole De Technologie Superieure Method and apparatus for video intermodal transcoding
CN105338354B (zh) * 2015-09-29 2019-04-05 北京奇艺世纪科技有限公司 一种运动向量估计方法和装置
US10390039B2 (en) 2016-08-31 2019-08-20 Microsoft Technology Licensing, Llc Motion estimation for screen remoting scenarios
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US20180184107A1 (en) * 2016-12-28 2018-06-28 Novatek Microelectronics Corp. Motion estimation method and motion estimation apparatus
RU2656785C1 (ru) * 2017-08-03 2018-06-06 Самсунг Электроникс Ко., Лтд. Оценка движения путем трехмерного рекурсивного поиска (3drs) в реальном времени для преобразования частоты кадров (frc)
US10523961B2 (en) * 2017-08-03 2019-12-31 Samsung Electronics Co., Ltd. Motion estimation method and apparatus for plurality of frames
CN109495738B (zh) * 2017-09-12 2023-02-07 华为技术有限公司 一种运动信息的编解码方法和装置
WO2019199071A1 (ko) * 2018-04-13 2019-10-17 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
WO2019203513A1 (ko) * 2018-04-16 2019-10-24 엘지전자 주식회사 영상 코딩 시스템에서 dmvd 를 이용한 인터 예측에 따른 영상 디코딩 방법 및 장치
CN110662075B (zh) * 2018-06-29 2023-04-25 北京字节跳动网络技术有限公司 改进的时域运动矢量预测推导
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks
US20230094825A1 (en) * 2021-09-28 2023-03-30 Qualcomm Incorporated Motion vector difference sign prediction for video coding

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04345288A (ja) * 1991-05-22 1992-12-01 Olympus Optical Co Ltd 動ベクトル検出方法及びその装置
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
JP2004180044A (ja) * 2002-11-28 2004-06-24 Shibasoku:Kk 動きベクトル処理方法及び動きベクトル処理回路
US7145950B2 (en) * 2003-07-14 2006-12-05 Primax Electronics Ltd. Method of motion vector determination in digital video compression
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US8000392B1 (en) * 2004-02-27 2011-08-16 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
KR100631768B1 (ko) * 2004-04-14 2006-10-09 삼성전자주식회사 비디오 코딩에서 프레임간 예측방법 및 비디오 인코더와,비디오 디코딩방법 및 비디오 디코더
US8588513B2 (en) * 2005-07-18 2013-11-19 Broadcom Corporation Method and system for motion compensation
EP1755342A1 (en) * 2005-08-19 2007-02-21 Thomson Licensing Method and apparatus for iteratively calculating a set of global motion parameters for a picture sequence from block motion vectors
TWI271106B (en) * 2005-10-25 2007-01-11 Novatek Microelectronics Corp Apparatus and method for motion estimation supporting multiple video compression standards
JP5044568B2 (ja) * 2005-12-15 2012-10-10 アナログ・デバイシズ・インコーポレーテッド 予測誘導間引き探索を使用する動き推定
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
KR100939917B1 (ko) * 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법
US20100020877A1 (en) * 2008-07-23 2010-01-28 The Hong Kong University Of Science And Technology Multiple reference frame motion estimation in video coding

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102946536A (zh) * 2012-10-09 2013-02-27 华为技术有限公司 候选矢量列表构建的方法及装置
WO2014056316A1 (zh) * 2012-10-09 2014-04-17 华为技术有限公司 候选矢量列表构建的方法及装置
CN102946536B (zh) * 2012-10-09 2015-09-30 华为技术有限公司 候选矢量列表构建的方法及装置
CN106471811A (zh) * 2014-06-27 2017-03-01 微软技术许可有限责任公司 用于视频编码的运动向量选择
CN106471811B (zh) * 2014-06-27 2019-09-27 微软技术许可有限责任公司 用于视频编码的运动向量选择
CN111373441A (zh) * 2017-11-20 2020-07-03 超威半导体公司 使用运动估计的随时间注视点渲染
CN111373441B (zh) * 2017-11-20 2022-06-03 超威半导体公司 使用运动估计的随时间注视点渲染
CN111801944A (zh) * 2018-03-26 2020-10-20 华为技术有限公司 视频图像编码器、视频图像解码器以及对应的运动信息编码方法

Also Published As

Publication number Publication date
KR20110107827A (ko) 2011-10-04
JP2012514429A (ja) 2012-06-21
WO2010078212A1 (en) 2010-07-08
EP2382786A1 (en) 2011-11-02
US20100166073A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
CN102342102A (zh) 具有先进的空间过滤差动矢量的多候选运动估计
CN105052140B (zh) 用于下一代视频的模式和参考类型数据的内容自适应熵编码
CN101472181B (zh) 用于视频编码的可配置性能运动估计的方法、装置和系统
US20150172687A1 (en) Multiple-candidate motion estimation with advanced spatial filtering of differential motion vectors
CN102067601B (zh) 视频编码和解码中模板匹配预测(tmp)的方法和装置
TWI445411B (zh) 在譯碼單元之視頻譯碼中執行局部運動向量推導之方法與相應裝置
CN102100068B (zh) 用于运动估计迭代搜索的推测起始点选择
JP6443869B2 (ja) デジタル画像を処理するためのシステムおよび方法
KR101941955B1 (ko) 재귀적 블록 파티셔닝
CN102256136B (zh) 改进的视频压缩帧插值
CN1981537B (zh) 能够在流应用中进行媒体采集的方法和设备
CN110024393A (zh) 用于视频译码的低复杂度符号预测
US20190037227A1 (en) Techniques for hardware video encoding
CN109862356B (zh) 一种基于感兴趣区域的视频编码方法及系统
CN102137263A (zh) 基于cnm关键帧分类的分布式视频编码及解码方法
CN101490968A (zh) 用于视频压缩的并行处理装置
CN102100059B (zh) 用于运动估计迭代搜索的简单下一搜索位置选择
CN107005701A (zh) 使用减少数量的角模式来降低帧内预测复杂度及其后续改进
CN109379594A (zh) 视频编码压缩方法、装置、设备和介质
CN104754337A (zh) 视频编码方法
US20120051434A1 (en) Video encoding
CN110351554A (zh) 用于视频编码的分割和模式决策的生成
CN105491380A (zh) 用于运动向量预测因子推导的方法及装置
Wang et al. Convolutional neural network based low complexity HEVC intra encoder
CN101179729A (zh) 一种基于帧间模式统计分类的h.264宏块模式选择方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20120201