CN103096063A - 适应性调整估计搜寻范围的运动估计方法及视差估计方法 - Google Patents

适应性调整估计搜寻范围的运动估计方法及视差估计方法 Download PDF

Info

Publication number
CN103096063A
CN103096063A CN2011104141842A CN201110414184A CN103096063A CN 103096063 A CN103096063 A CN 103096063A CN 2011104141842 A CN2011104141842 A CN 2011104141842A CN 201110414184 A CN201110414184 A CN 201110414184A CN 103096063 A CN103096063 A CN 103096063A
Authority
CN
China
Prior art keywords
search area
candidate
initial
estimation
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011104141842A
Other languages
English (en)
Other versions
CN103096063B (zh
Inventor
张元腾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of CN103096063A publication Critical patent/CN103096063A/zh
Application granted granted Critical
Publication of CN103096063B publication Critical patent/CN103096063B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

适应性调整估计搜寻范围的运动估计方法及视差估计方法。在多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法，以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行估计流程，取得一向量分布，根据此向量分布，取得至少一第一候选搜寻范围。选择第一候选搜寻范围，作为对第二图帧的第二搜寻视窗内的多个第二区块进行估计流程的第二搜寻范围，得到估计流程对应的一估计向量，提供做为视频编码。

Description

适应性调整估计搜寻范围的运动估计方法及视差估计方法
技术领域
本发明涉及一种多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法(adaptive search range method formotion/disparity estimation)。
背景技术
多视点(Multiview)视频是以多台摄像机对相同拍摄的目标物与背景进行摄像而得的多个图像。多视点(Multiview)视频可提供使用者同时捕捉目标物不同角度的图像，而能让其感受现场真实的场景。通过同时传送两个图帧到使用者的双眼，也能让其产生三维(3-D)立体的效果。多视点视频已经被广泛地运用在多种产品，例如3-D蓝光播放器(Blu-ray Disc Player)、3-D摄像机(Camcorder)、网络协议电视(Internet Protocol Television，IPTV)等等。
由于多视点视频是以多台摄像机对相同拍摄的目标物与背景进行摄像，因此，目标物在不同的移动状态下，从多台摄像机所产生的大量视频数据，如何有效率的编码与传送，将是重要的课题。因此，多视点视频编码(Multiviewvideo coding，底下称为MVC)技术，已逐渐发展并且也被广泛的使用，并且制定为业界的标转，例如国际编码标准的H.264/AVC(“Advanced Video Codingfor Generic Audiovisual Services，”Joint Video Team of ISO/IEC MPEG andITU-T VCEG，March 2010)，并且已经被广泛地运用在多种产品。
多视点视频与时间方向有着很大的相关性，而通过利用此相关性来提升编码效率。另一方面，在多视点视频的动态图像中，当各摄像机为同步时，由于对应于相同时间的各摄像机的图像为从不同位置对状态完全相同的目标物与背影进行摄像而得的图像，所以在摄像机间有着很大的相关性。在多视点视频的编码中，可通过此相关性而能够提升编码效率。
发明内容
本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计和/或视差估计的搜寻范围的方法。
在多个实施例其中之一，提出一种适应性调整估计搜寻范围的运动估计方法，适用于多视点视频编码(MVC)。此运动估计方法包括以一初始搜寻范围做为第一搜寻范围，对从第一视点取得的第一图帧(first frame)的多个第一区块进行运动估计流程，取得一运动向量分布，根据运动向量分布取得第一候选搜寻范围。选择第一候选搜寻范围或初始搜寻范围，作为第二图帧的第二搜寻视窗内的多个第二区块进行运动估计流程的第二搜寻范围，得到这些第二区块的运动向量，提供给第二图帧进行视频编码，其中第二图帧是来自第二视点。
上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，此第一候选搜寻范围的取得的方法包括对初始搜寻范围区分为多个区域，每一该区域对应的一计数值。对所述第一区块的每一第一区块的运动向量判断落在哪一该区域，则增加此区域对应的计数值。完成所有第一区块的运动向量落入区域判断后，根据运动向量分布中，以最大的计数值对应的区域取得一最佳搜寻范围(SRbest)。依据最佳搜寻范围(SRbest)、初始搜寻范围与这些区域的数量，计算该第一候选搜寻范围。例如，在实施例中是以最佳搜寻范围(SRbest)加上初始搜寻范围除以这些区域的数量的和，作为第一候选搜寻范围。
上述适应性调整估计搜寻范围的运动估计方法，在一实施例中，第二搜寻范围从第一候选搜寻范围与初始搜寻范围两者其中之一进行选择，其中选择初始搜寻范围作为第二搜寻范围的方法，包括根据第二区块的多个邻近区块取得一邻近区块信息。根据邻近区块信息判断第二区块是否符合一运动特性判断方法，如果是，则第二搜寻范围选择初始搜寻范围作为第二搜寻范围，如果不是，则第二搜寻范围选择第一候选搜寻范围。
在多个实施例其中之一，提出一种适应性调整估计搜寻范围的视差估计方法，适用于多视点视频编码(MVC)。此视差估计方法包括以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行视差估计流程，取得一视差向量分布。根据此视差向量分布，取得第一候选搜寻范围及第二候选搜寻范围，其中第一图帧是在一第一时间取得。从第一候选搜寻范围或第二候选搜寻范围其中之一，作为对第二图帧的第二搜寻视窗内的多个第二区块进行视差估计流程的第二搜寻范围，得到视差估计流程对应的视差向量，提供做为视频编码，其中第二图帧是在第二时间取得，而第一时间早于该第二时间。
上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，第二搜寻范围从第一候选搜寻范围、第二候选搜寻范围与初始搜寻范围三者其中之一进行选择，其中选择方法包括根据第二区块的多个邻近区块取得一邻近区块信息。根据此邻近区块信息判断第二区块是否符合一视差特性判断方法，如果是，则第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择第一候选搜寻范围或第二候选搜寻范围其中之一。
上述的适应性调整估计搜寻范围的视差估计方法，在一实施例中，邻近区块信息判断第二区块是否符合视差特性判断方法包括判断所有邻近区块的视差向量是否都没有被选择，如果是，则第二搜寻范围选择第二候选搜寻范围。判断邻近区块的视差向量是否落在最佳搜寻范围(SRbest)之外，而且所有邻近区块的视差向量是否都没有被选择，如果两者皆是，则第二搜寻范围选择初始搜寻范围，如果两者任一条件为否，则第二搜寻范围选择第一候选搜寻范围。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是说明符合H.264/AVC标准的多视点视频编码(MVC)技术的架构与编码流程示意图。
图2是说明在连续的时间对于不同图帧进行运动估计(ME)，以及在连续的视点之间连续的视点进行视差估计(DE)的示意图。
图3A是说明根据先前的参考图帧或是其它视点的图帧的检索视窗中，以搜寻范围(SR)进行估计的示意图。
图3B是说明宏区块切割模式与子宏区块(Sub-Macroblock)的切割模式。
图4A～图4E是说明本公开内容多个实施例其中之一，动态适应性调整运动估计(ME)的搜寻范围方法的详细说明示意图。
图5是说明本公开内容实施例所提出动态适应性调整运动估计(ME)的搜寻范围方法的范例说明示意图。
图6A～图6D是说明本公开内容所提出多视点视频编码(MVC)技术中，在一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。
图7是说明本公开内容实施例所提出动态适应性调整视差估计(DE)的搜寻范围方法的范例说明示意图。
【主要元件符号说明】
100A：对第一视点取得的视频图像数据进行编码的流程
100B：对第二视点取得的视频图像数据进行编码的流程
102：图帧数据
104：转换(Transform)/量化(Quantization)程序
106：熵编码(Entropy Coding)程序
108：反转换(Inverse Transform)/反量化(Inverse Quantization)程序
110：Intra-Picture预测程序
112：Inter-Picture预测程序
114：多工器
116：去区块效应过滤器(Deblocking Filter)
118：图帧缓冲器
120：运动估计(Motion Estimation)程序
121：运动向量
130：运动估计程序
132：Inter-Picture预测程序
310、320：图帧
312：检索视窗(Search Window)
322：宏区块
MV_X：水平运动向量
MV_Y：垂直运动向量
502、504：图帧
512、522、524、526：宏区块
Cur：目前处理中的宏区块
A、B、C、D：邻近宏区块
702、704：图帧
712、722、724、726、728：宏区块
具体实施方式
本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计(Motion Estimation)和/或视差估计(Disparity Estimation)的搜寻范围(Search Range)的方法。
首先，在此以H.264/AVC标准的架构说明多视点视频编码(MVC)技术的编码流程。
H.264标准的编码流程，是针对输入的图像数据，利用所谓运动补偿(Motion Compensation)、转换(Transform)、量化(Quantization)、熵编码(EntropyCoding)的技术来进行高效率编码。
在H.264的运动补偿中，是将编码对象图帧分割成各种大小的宏区块(Macroblock)，例如16×16(像素)、16×8、8×16、8×8、8×4、4×8、4×4的7种，而能够以细小单位对应被摄像的目标物的动作的方向与程度的差异来预测估计图像，以达成高编码效率。
上述的预测估计图像技术，Intra-Picture预测(Intra-Picture Estimation，在同一画像内)与Inter-Picture预测(Inter-Picture，在多个画像之间)。Intra-Picture预测是考虑到空间的因素，也就是与同一画像(Picture)内的邻近区块的关联性来进行预测。Inter-Picture预测以时间轴为准，根据前后的画像作为参考画像。以Inter-Picture预测为例，对每一宏区块挑选一称为参考图帧的已编码完成的图帧，使用称为运动向量(Motion Vector)或是表示对应点的向量信息来预测图像。
但对于多视点视频的编码而言，除了考虑摄像机间的相关性，还同时存在有时间方向的相关性。因此可采用通过将运动补偿应用于相同时刻的相异摄像机所摄得的画像的视差补偿(Disparity Compensation)而高效率地将多视点动态图像进行编码的方式。此处，视差(Disparity)是指被摄体上的相同位置，在配置于相异位置的摄像机的画像平面上所投影的位置的差。视差补偿根据该对应关系，从参考图帧来预测编码对象图帧的各像素值，将该预测残值与表示对应关系的视差信息进行编码。
请参照图1，是说明符合H.264/AVC标准的多视点视频编码(MVC)技术的架构与编码流程示意图。在此示意图中，标号100A是指对第一视点(View)取得的视频图像数据进行编码的流程，而标号100B是指对第二视点(View)取得的视频图像数据进行编码的流程。
先以针对第一视点进行编码的流程100A进行说明。对于第一视点取得的图像数据，将欲编码的图帧分割成各种大小的宏区块(Macroblock)的图帧数据102输入。而后针对此图帧数据102利用运动补偿(Motion Compensation)得到的残值进行转换(Transform)/量化(Quantization)程序104，得到量化转换系数(Quantized Transform Coefficients)后，经由熵编码(Entropy Coding)程序106进行高效率编码。
底下将说明上述运动补偿的计算流程。
上述量化转换系数同时也进行反转换(Inverse Transform)/反量化(InverseQuantization)程序108后，进行Intra-Picture预测程序110。另外，量化转换系数进行反转换/反量化程序108后，得到的结果经由去区块效应过滤器(Deblocking Filter)116的去区块效应程序后，以减缓区块效应的影响，并传送到图帧缓冲器(Frame Buffer)118暂存。运动估计(Motion Estimation)程序120是根据图帧缓冲器118所存储的之前经过编码的参考图帧，以及输入的图帧数据102进行运动估计。而根据运动估计程序120估计得到的结果，进行Inter-Picture预测程序112。从Intra-Picture预测程序110与Inter-Picture预测程序112中，经由多工器114进行选择，而做为输入的图帧数据102中，后续的宏区块进行运动补偿的依据。同时，运动估计程序120产生的运动向量121，也提供给熵编码程序106进行编码。
对于第二视点进行编码的流程100B，与第一视点进行编码的流程类似，差异点在于程序130是根据输入的图帧数据122以及图帧缓冲器128所存储的前一个经过编码的参考图帧外，进一步从第一视点的图帧缓冲器118取得所存储的参考图帧，从这些取得的数据进行运动估计。而Inter-Picture预测程序132，进行采用同一视点取得的图帧之间，更进一步取得其他视点的图帧信息进行预测。
上述符合H.264/AVC标准的多视点视频编码(MVC)基本技术，不仅能利用单一的视点取得并降低图帧之间的累赘或多余(Temporal Redundancy)信息以增加编码的效率，更能利用其他视点取得的图帧类似的特性(Similarities)来改善编码。通过这样的技术，相较于各个视点之间独立进行编码的程序，此架构可以大约降低20％～30％的比特率(Bit rate)，而没有牺牲重建时的视频质量。
一般而言，运动估计(Motion Estimation，底下称为ME)是用以发现在连续的图帧之间最符合条件的区块(Best Matching block)信息，以降低画面间累赘或多余(Temporal Redundancy)信息。而视差估计(Disparity Estimation，底下称为DE)可用以发现在连续的视点(View)之间最符合条件的宏区块，以降低视点间的累赘或多余信息。请参照图2，是说明在连续的时间对于不同图帧进行运动估计(ME)，以及在连续的视点之间连续的视点进行视差估计(DE)的示意图。在时间t-1、t、t+1时，第n-1、n、n+1视点分别取得的图帧之间，可以进行运动估计(ME)程序，以降低画面间累赘或多余信息。而在时间t时，分别根据第n-1个视点、第n个视点、第n+1个视点同时取得的图帧之间，进行视差估计(DE)程序，以降低画面间累赘或多余信息。
但相对于单一视点的编码程序，此引用的视差估计(DE)程序，将使多视点视频编码(MVC)装置耗费更多的运算资源。底下将以图3A与3B进行说明。首先，如图3A所示，分别根据先前的参考图帧或是其它视点的图帧310的检索视窗(Search Window)312中，以搜寻范围(Search Range，以下称为SR)进行估计的一实施例。而图帧320则是包括多个宏区块(Macroblock，底下称为MB)，并且以宏区块，例如标号322，进行运动估计(ME)与视差估计(DE)。
此运动估计(ME)与视差估计(DE)是对每一个区块进行，以分别找出最佳的运动向量(Best Motion Vector)与最佳的视差向量(Best Disparity Vector)。而上述区块的大小，在一实施例中，如图3B所示的宏区块切割模式的16×16、16×8、8×16、8×8，或是子宏区块(Sub-Macroblock)切割模式的8×8、8×4、4×8、4×4。
在对于每一个切割的区块执行完运动估计(ME)与视差估计(DE)程序后，根据速率-失真(Rate-Distortion)成本法则选择运动向量(Motion Vector)或是视差向量(Disparity Vector)两者其中之一。此速率-失真(Rate-Distortion)成本法则为
λ×Rate(mvd)+SAD    (式1)或
λ×Rate(mvd)+SATD   (式2)
其中，λ为Lagrange参数，SAD代表绝对差值合(Sum of AbsoluteDifferences，SAD)，SATD代表绝对转换差值和(Sum of Absolute TransformedDifference)，而Rate(mvd)代表运动向量差值(Motion Vector Difference，mvd)的比特率(Bit rate)。
在进行运动估计(ME)与视差估计(DE)程序时，并非搜寻在参考画面的所有点，而是仅搜寻在一限制的搜寻视窗(Search Window)内的搜寻点(Searchpoints)。而搜寻视窗的大小是决定于(2×SR+1)2，如图3A所示，在此SR代表搜寻范围(Search Range)。从上述的内容可知，执行运动估计(ME)与视差估计(DE)程序，如果采用全范围搜寻法则(Full-search algorithm)所需要的时间，由搜寻范围(SR)所主宰，并且与搜寻范围(SR)的平方大小成正比。
但今日，高解析度视频(High-resolution Video，HD Video)已经越来越普遍，也越来越受欢迎，例如HD1080p。此高解析度视频需要更大的搜寻范围(SR)来执行运动估计(ME)与视差估计(DE)程序，以取得更好的编码质量。然而，更大的搜寻范围(SR)也就代表需要更多的执行的时间。因此，例如若是将搜寻范围(SR)设定为例如64，则执行运动估计(ME)与视差估计(DE)占据编码的时间将近60％～80％。因此，本实施例提出一种有效降低运动估计(ME)与视差估计(DE)时间的复杂因素，来达到多视点视频数据的即时(Real-time)编码需求。
本公开内容提出一种多视点视频编码(MVC)技术中，动态适应性调整运动估计(ME)和/或视差估计(DE)的搜寻范围的方法，以及使用该方法的视频编码装置。
在多个实施例其中之一，提出一种适应性调整运动估计(ME)的搜寻范围大小的方法，是采用在所选择的基础视点(Base View)得到的运动向量分布(MV Distribution)，据以判断动态适应性调整的搜寻范围大小。此运动向量分布在一实施例中，是采用多级距范围计算MV数量的方法。除此之外，在多个实施例其中的又一实施例，提出一种适应性调整视差估计(DE)的搜寻范围大小的方法，是采用之前的数个图帧(previous frames)的视差向量分布(DVDistribution)，据以判断动态适应性调整的搜寻范围大小。
上述动态适应性调整运动估计(ME)及视差估计(DE)的搜寻范围大小的方法，可有效地节省运动估计(ME)与视差估计(DE)的时间。以符合H.264/AVCMultiview High Profile的多视点视频编码(MVC)为例，如果对两个视点的HD1080p每秒30个图帧(Frames per second，fps)视频，在操作频率为250百万赫兹(MHz)条件下进行无牺牲编码质量的编码操作，将可达到即时(Real-time)编码的要求。
动态适应性调整运动估计(ME)的搜寻范围实施例
图4A～4D，为本公开内容多个实施例其中之一，动态适应性调整运动估计(ME)的搜寻范围方法的详细说明。
请参照图4A，在此实施例中，先对基础视点(Base View)，例如选择第一视点为基础视点，对每一个宏区块(Macroblock，底下简称MB)，以初始搜寻范围(SRinitial)进行运动估计(ME)。当每完成一个宏区块的运动估计(ME)后，就将得到的运动向量(MV)的绝对值落入做为运动向量分布的级距范围做一记录，在此实施例中，采用四个区域做分布的记录，但并非以数量此为限制，可根据例如速率-失真(Rate-Distortion)成本法则调整区域的数量。
在完成对基础视点所有宏区块(MB)的运动估计(ME)后，找出分布最多运动向量(MV)的搜寻范围(SR)做为最佳搜寻范围(SRbest)。此最佳搜寻范围(SRbest)将会被选择非基础视点(non-Base View)的开始进行运动估计(ME)的搜寻范围，也就是候选的搜寻范围。
对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图帧P而言，将依据最佳搜寻范围SRbest、初始搜寻范围SRintial与这些区域的数量，计算候选搜寻范围SR。例如，采用最佳搜寻范围(SRbest)加上级距SRintial/4做为候选搜寻范围，也就是SR＝SRbest+SRintial/4。但在特定条件下，非基础视点(non-Base View)的图帧也会选择扩大搜寻范围到初始搜寻范围(SRinitial)。上述条件是根据例如邻近的宏区块(Neighbor Macroblock，以下简称NMB)的信息进行判断。当根据NMB的信息判断得知若处理中的宏区块(MB)是属于高运动(High-Motion)特性，则此搜寻范围将扩大到初始搜寻范围(SRinitial)。
如图4B右上方显示，对运动向量分布的记录与统计，必须分为垂直运动向量与水平运动向量的分布，也就是垂直方向与水平方向必须分开处理，而且两者可以互相独立进行调整垂直运动向量或水平运动向量的搜寻范围。
在此实施例中，采用四个区域做分布的记录分为水平方向的水平运动向量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布，而四个区域分别为区域(1)、区域(2)、区域(3)、区域(4)。而根据此四个区域，作为选择对应的搜寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。
如果以初始搜寻范围(SRinitial)为32为例进行说明。区域(1)、区域(2)、区域(3)、区域(4)来统计运动向量分布，则对水平运动向量(MV_X)绝对值或是对垂直运动向量(MV_Y)绝对值的落点分布级距，分别为0～7、8～15、16～23、24～31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、计数值4。
请参照图4C，为说明本实施例对基础视点的所有宏区块(MB)经过估计取得的运动向量(MV)进行分布计算的流程示意图。首先，在步骤S410中，对基础视点以初始搜寻范围(SRinitial)进行所有宏区块的运动向量估计，而得到所有宏区块的运动向量。而后，根据步骤S412，如果是运动向量小于初始搜寻范围(SRinitial)的四分之一，则如步骤S414，直接将此计数值1加一，并且结束此分布计算流程。如果不是，则进行下一步骤。步骤S416，如果是运动向量小于初始搜寻范围(SRinitial)的四分的二，则如步骤S418，直接将此计数值2加一，并且结束此分布计算流程，如果不是，则进行下一步骤。步骤S420，如果是运动向量小于初始搜寻范围(SRinitial)的四分的三，则直接将此计数值3加一，并且结束此分布计算流程，如果不是，则直接将此计数值4加一，并且结束此分布计算流程。
请参照图4D与4E，为说明在一实施例中，对非基础视点(non-Base View)的宏区块(MB)进行运动估计(ME)时所采用的搜寻范围判断流程示意图。
对非基础视点的宏区块进行运动估计(ME)时，采用的搜寻范围例如可以包括两个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围(SRinitial)，其判断流程请参照图4D的实施例示意图说明。
基本上，一般采用的搜寻范围是以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR＝SRbest+SRinitial/4)。但是，如果是根据NMB的信息判断得知若处理中的宏区块(MB)是属于高运动(High-Motion)特性，则在高运动特性下，为避免因为错过正确的运动向量而使比特率(bit rate)增加，则此搜寻范围的选择必须加上根据邻近的宏区块(NMB)信息判断处理中的宏区块是否具有高运动特性。
本公开内容多个实施例其中之一，提出底下三种规则下，对非基础视点的宏区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SRinitial)，但并非以此为限制。
请参照图4D，步骤S430，先以分布区域中最多运动向量(MV)的对应的搜寻范围做为最佳搜寻范围(SRbest)。
第一规则：步骤S432，判断在目前正在进行运动估计(ME)的宏区块(MB)的任一邻近宏区块(NMB)的速率-失真成本值(底下以rd_costbest表示)是否比基础视点的每一宏区块(MB)的平均速率-失真成本值(底下以rd_costbase-view表示)高α倍，也就是如下式：
rd_costbest＞α×rd_costbase-view  (式3)
在一些实施例中，α建议值为1.75。
第二规则：步骤S434，判断任一邻近宏区块(NMB)的最大运动向量是否落在SRbest与(SRbest+SRinitial/4)之间，且无任一邻近宏区块(NMB)选择视差向量(Disparity Vector，DV)。
第三规则：步骤S436，判断任一邻近宏区块(NMB)的最大运动向量是否超出(SRbest+SRinitial/4)。
在步骤S432～S436的任一条件符合，则如步骤S438，对非基础视点的宏区块进行运动估计(ME)时，选择扩大搜寻范围到初始搜寻范围(SRinitial)。但若步骤S432～S436的所有条件都不符合，则维持以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR＝SRbest+SRinitial/4)做搜寻范围。
而对于目前处理中的宏区块(MB)的邻近宏区块(NMB)，在一实施例中，请参照图4E，标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、“D”的宏区块则可定义为邻近宏区块。
请参照图5，为本公开内容实施例所提出动态适应性调整运动估计(ME)的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SRinitial)为32进行说明。
根据基础视点(Base View)取得的图帧，例如选择第一视点为基础视点取得的图帧P(502)，对在搜寻视窗内的宏区块(MB)，以初始搜寻范围(SRinitial)进行运动估计(ME)。因此，所有的宏区块(MB)都采用SR＝32进行，而取得水平运动向量(MV_X)分布与垂直方向的垂直运动向量(MV_Y)分布。
对每一个宏区块，以初始搜寻范围(SRinitial)进行运动估计。当每完成一个宏区块的运动估计后，就将得到的运动向量(MV)的绝对值落入做为运动向量分布的级距范围做一记录。例如对宏区块512完成运动估计后取得的(MV_X，MV_Y)＝(9，3)，则由于MV_X＝9是大于7但小于15，因此落在第二区域，则将对应的计数值加一。从图示中可知，经由第一视点(基础视点)取得的图帧P(502)以初始搜寻范围(SR＝32)进行运动估计后，取得SRbest(MV_X)在8～15之间，而SRbest(MV_Y)在0～7之间。
对于非基础视点(non-Base View)的图帧而言，例如图示的第二视点的图帧P(504)而言，将采用经由第一视点(基础视点)取得的图帧P(502)的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围(SR)，也就是SR＝SRbest+SRinitial/4。
但在特定条件下，也会选择扩大搜寻范围到初始搜寻范围(SRinitial)，例如标号522、524、526的宏区块，因为符合例如图4D的三个规则其中之一，这些宏区块522、524、526属于高运动特性，则此搜寻范围将扩大到初始搜寻范围(SR＝32)。
动态适应性调整视差估计(DE)搜寻范围的实施例
请参照图6A～6D，是说明本公开内容所提出多视点视频编码(MVC)技术中，在一实施例中，动态适应性调整视差估计(DE)搜寻范围的方法。在此弹性动态调整视差估计(DE)的搜寻范围大小的方法，是采用之前的数个图帧(previous frames)的视差向量分布(DV Distribution)，据以判断动态适应性调整的搜寻范围大小。
请参照图6A，在此实施例中，例如在时间轴上，先对第一个图帧P(例如图6A中图帧602)在搜寻视窗内的每一个宏区块(MB)，以初始搜寻范围(SRinitial)进行视差估计(DE)。当每完成一个宏区块的视差估计(DE)后，就将得到的视差向量(DV)的绝对值落入做为视差向量分布的级距范围做一记录，在此实施例中，采用四个区域做分布的记录，但并非以数量此为限制，可根据例如速率-失真(Rate-Distortion)成本法则调整区域的数量。
在完成对第一个图帧P在搜寻视窗内的所有宏区块(MB)完成视差估计(DE)后，找出分布最多的视差向量(DV)的搜寻范围(SR)做为最佳搜寻范围(SRbest)。此最佳搜寻范围(SRbest)将会被选择做为下一个图帧的开始进行视差估计(DE)的搜寻范围，例如图示中的第二个图帧P(例如图6A中图帧604)。
对于第二个图帧P(图6A中图帧604)而言，将采用最佳搜寻范围(SRbest)加或减级距SRinitial/4做为搜寻范围(SR)，也就是SR＝SRbest+SRinitial/4或SR＝SRbest-SRinitial/4。但在特定条件下，第二个图帧P(图6A中图帧604)也会选择扩大搜寻范围到初始搜寻范围(SRinitial)。上述扩大搜寻范围的条件是根据例如邻近的宏区块(NMB)的信息进行判断。
如图6B右上方显示，对视差向量分布的记录与统计，必须分为垂直视差向量与水平视差向量的分布，也就是垂直方向与水平方向必须分开处理，而且两者可以互相独立进行调整垂直视差向量或水平视差向量的搜寻范围。
在此实施例中，采用四个区域做分布的记录分为水平方向的水平视差向量(DV_X)分布与垂直方向的视差向量向量(DV_Y)分布，而四个区域分别为区域(1)、区域(2)、区域(3)、区域(4)。而根据此四个区域，作为选择对应的搜寻范围(SR)的值，例如每个级距为SR/4，并根据分布而调整SR/4。
如果以初始搜寻范围(SRinitial)为32为例进行说明。区域(1)、区域(2)、区域(3)、区域(4)来统计视差向量分布，则对水平视差向量(DV_X)绝对值或是对垂直视差向量(DV_Y)绝对值的落点分布级距，分别为0～7、8～15、16～23、24～31。而对于分布的数量计算，则是分别为计数值1、计数值2、计数值3、计数值4。
请参照图6C，为说明本实施例对第一个图帧P(图6A中图帧602)在搜寻视窗内的所有宏区块(MB)完成视差估计(DE)后进行分布计算的流程示意图。首先，在步骤S610中，对基础视点以初始搜寻范围(SRinitial)进行所有宏区块的视差估计程序，而得到所有宏区块的视差向量。而后，根据步骤S612，如果是视差向量小于初始搜寻范围(SRinitial)的四分之一，则如步骤S614，直接将此计数值1加一，并且结束此分布计算流程。如果不是，则进行下一步骤。步骤S616，如果是视差向量小于初始搜寻范围(SRinitial)的四分的二，则如步骤S618，直接将此计数值2加一，并且结束此分布计算流程，如果不是，则进行下一步骤。步骤S620，如果是视差向量小于初始搜寻范围(SRinitial)的四分的三，则直接将此计数值3加一，并且结束此分布计算流程，如果不是，则直接将此计数值4加一，并且结束此分布计算流程。
请参照图6D，为说明在一实施例中，对非第一个图帧的宏区块(MB)进行视差估计(DE)时所采用的搜寻范围判断流程示意图。底下对于目前处理中的宏区块(MB)的邻近宏区块(NMB)，在一实施例中，请参照图6D右上方的一实施例的示意图，标示“Cur”为目前处理中的宏区块，而标示“A”、“B”、“C”、“D”的宏区块则可定义为邻近宏区块。
对非第一个图帧的宏区块进行视差估计(DE)时，采用的搜寻范围例如可以包括三个候选搜寻范围，包括根据前述实施例中提出的最佳搜寻范围(SRbest)加或减SRinitial/4做为搜寻范围，或是选择扩大搜寻范围到初始搜寻范围(SRinitial)，其判断流程请参照图6D的实施例示意图说明。
基本上，一般采用的搜寻范围是以最佳搜寻范围(SRbest)加上级距SRinitial/4，也就是(SR＝SRbest+SRinitial/4)。
但是，如果是根据NMB的信息判断得知若处理中的宏区块(MB)是属于高视差(High-Disparity)特性，则在高视差特性下，为避免因为错过正确的视差向量而使比特率(bit rate)增加，则此搜寻范围的选择必须加上根据邻近的宏区块(NMB)信息判断处理中的宏区块是否具有高视差特性。除此之外，一般选择DV的宏区块数量，根据实验得知，占所有图帧的宏区块数量约小于10％，因此，在选择搜寻范围时也列入考虑。
本公开内容多个实施例其中之一，提出底下两个判断式，用以选择(SR＝SRbest+SRinitial/4)、(SR＝SRbest-SRinitial/4)或初始搜寻范围(SRinitial)对宏区块进行视差估计(DE)的搜寻范围，但并非以此为限制。
请参照图6D，步骤S630，判断所有邻近的宏区块(NMB)的视差向量(DV)是否都没有被选择，如果是，则如步骤S636，选择(SR＝SRbest-SRinitial/4)对宏区块进行视差估计(DE)的搜寻范围，如果否，则进行步骤S632。
步骤S632，最大的视差向量(DV)落在(SR＝SRbest)之外，而且是否所有邻近的宏区块(NMB)都未挑选运动向量(MV)，如果是，则如步骤S638，选择初始搜寻范围(SRinitial)对宏区块进行视差估计(DE)的搜寻范围，如果否，则进行步骤S634，选择(SR＝SRbest+SRinitial/4)对宏区块进行视差估计(DE)的搜寻范围
请参照图7，为本公开内容实施例所提出动态适应性调整视差估计(DE)的搜寻范围方法的范例说明示意图。在此以初始搜寻范围(SRinitial)为32进行说明。
根据第一个图帧P(702)为参考，对在搜寻视窗内的宏区块(MB)，以初始搜寻范围(SRinitial)进行视差估计(DE)。因此，所有的宏区块(MB)都采用SR＝32进行，而取得水平视差向量(DV_X)分布与垂直方向的垂直视差向量(DV_Y)分布。
对每一个宏区块，以初始搜寻范围(SRinitial)进行视差估计。当每完成一个宏区块的视差估计后，就将得到的视差向量的绝对值落入做为视差向量分布的级距范围做一记录。例如对宏区块712完成视差估计后取得的(DV_X，DV_Y)＝(9，3)，则由于DV_X＝9是大于7但小于15，因此落在第二区域，则将对应的计数值加一。从图示中可知，经由第一个图帧以初始搜寻范围(SR＝32)进行视差估计后，取得SRbest(DV_X)在8～15之间，而SRbest(DV_Y)在0～7之间。
对于后续的图帧而言，例如图示的第二个图帧P(704)而言，将采用经由第一个图帧P(702)的最佳搜寻范围(SRbest)加上级距SRinitial/4做为搜寻范围(SR)，也就是SR＝SRbest+SRinitial/4。
但在特定条件下，也会选择SR＝SRbest-SRinitial/4，例如标号722、724的宏区块，或选择扩大搜寻范围到初始搜寻范围(SRinitial)，例如标号726、728的宏区块，这些宏区块726、728属于高视差，则此搜寻范围将扩大到初始搜寻范围(SR＝32)。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的更动与润饰，故本发明的保护范围当视所附权利要求书所界定者为准。

Claims (12)

1.一种适应性调整估计搜寻范围的运动估计方法，适用于多视点视频编码，其中该运动估计方法包括：
以一初始搜寻范围做为第一搜寻范围，对从第一视点取得的第一图帧的多个第一区块进行运动估计流程，取得一运动向量分布，根据该运动向量分布取得第一候选搜寻范围；以及
选择该第一候选搜寻范围或该初始搜寻范围，作为第二图帧的第二搜寻视窗内的多个第二区块进行该运动估计流程的第二搜寻范围，得到这些第二区块的一运动向量，提供给该第二图帧进行视频编码，其中该第二图帧是来自第二视点。
2.如权利要求1所述的一种适应性调整估计搜寻范围的运动估计方法，其中该第一候选搜寻范围的取得的方法包括：
对该初始搜寻范围区分为多个区域，每一该区域对应的一计数值：
对这些第一区块的每一该第一区块的运动向量判断落在这些区域的哪一该区域，则增加该区域对应的该计数值；
完成所有这些第一区块的这些运动向量落入这些区域判断后，根据该运动向量分布中，以最大的该计数值对应的该区域取得一最佳搜寻范围；以及
依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量，计算该第一候选搜寻范围。
3.如权利要求2所述的适应性调整估计搜寻范围的运动估计方法，其中计算该第一候选搜寻范围的步骤包括：
以该最佳搜寻范围加上该初始搜寻范围除以这些区域的数量的和，作为该第一候选搜寻范围。
4.如权利要求2所述的适应性调整估计搜寻范围的运动估计方法，其中该第二搜寻范围从该第一候选搜寻范围与该初始搜寻范围两者其中之一进行选择，其中选择该初始搜寻范围作为该第二搜寻范围的方法，包括：
根据该第二区块的多个邻近区块取得一邻近区块信息；
根据该邻近区块信息判断该第二区块是否符合一运动特性判断方法，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
5.如权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合该运动特性判断方法包括
判断该第二区块的这些邻近区块的每一该邻近区块的速率-失真成本值是否比该第一图帧这些第一区块的速率-失真成本值的平均值高过一倍数，其中该倍数大于1，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
6.如权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合运动特性判断方法包括
判断这些邻近区块的这些运动向量的最大值是否落在该最佳搜寻范围与该第一候选搜寻范围之间，而无任一该邻近区块选择视差向量，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
7.如权利要求4所述的适应性调整估计搜寻范围的运动估计方法，其中该邻近区块信息判断该第二区块是否符合运动特性判断方法包括
判断这些邻近区块的这些运动向量的最大值是否超出该第一候选搜寻范围，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围。
8.一种适应性调整估计搜寻范围的视差估计方法，适用于多视点视频编码，其中该视差估计方法包括：
以一初始搜寻范围做为第一搜寻范围，对第一图帧的第一搜寻视窗内的多个第一区块进行视差估计流程，取得一视差向量分布，根据该视差向量分布，取得第一候选搜寻范围及第二候选搜寻范围，其中该第一图帧是在一第一时间取得；以及
从该第一候选搜寻范围或该第二候选搜寻范围其中之一，作为对第二图帧的第二搜寻视窗内的多个第二区块进行该视差估计流程的第二搜寻范围，得到该视差估计流程对应的一视差向量，提供做为视频编码，其中该第二图帧是在第二时间取得，而该第一时间早于该第二时间。
9.如权利要求8所述的适应性调整估计搜寻范围的视差估计方法，其中取得该第一候选搜寻范围与该第二候选搜寻范围的方法包括：
对该初始搜寻范围区分为多个区域，每一该区域对应一计数值：
对这些第一区块的每一该第一区块的该视差向量判断落在这些区域的哪一该区域，则增加该区域对应的该计数值；
完成所有这些第一区块的这些视差向量落入这些区域判断后，根据该视差向量分布中，以最大的该计数值对应的该区域取得一最佳搜寻范围；以及
依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量的和，计算该第一候选搜寻范围，以及依据该最佳搜寻范围、该初始搜寻范围与这些区域的数量的差，计算该第二候选搜寻范围。
10.如权利要求9所述的适应性调整估计搜寻范围的视差估计方法，其中计算该第一候选搜寻范围以及该第二候选搜寻范围的步骤包括：
以该最佳搜寻范围加上该初始搜寻范围除以这些区域的数量的和，作为该第一候选搜寻范围；以及
以该最佳搜寻范围减去该初始搜寻范围除以这些区域的数量的差，作为该第二候选搜寻范围。
11.如权利要求8所述的适应性调整估计搜寻范围的视差估计方法，其中该第二搜寻范围从该第一候选搜寻范围、该第二候选搜寻范围与该初始搜寻范围三者其中之一进行选择，其中选择方法包括：
根据该第二区块的多个邻近区块取得一邻近区块信息；以及
根据该邻近区块信息判断该第二区块是否符合一视差特性判断方法，如果是，则该第二搜寻范围选择该初始搜寻范围作为该第二搜寻范围，如果不是，则该第二搜寻范围选择该第一候选搜寻范围或该第二候选搜寻范围其中之一。
12.如权利要求11所述的适应性调整估计搜寻范围的视差估计方法，其中该邻近区块信息判断该第二区块是否符合该视差特性判断方法包括：
判断所有这些邻近区块的这些视差向量是否都没有被选择，如果是，则该第二搜寻范围选择该第二候选搜寻范围；以及
判断这些邻近区块的这些视差向量是否落在一最佳搜寻范围之外，而且所有这些邻近区块的这些视差向量是否都没有被选择，如果两者皆是，则该第二搜寻范围选择该初始搜寻范围，如果为否，则该第二搜寻范围选择该第一候选搜寻范围。
CN201110414184.2A 2011-11-03 2011-12-13 适应性调整估计搜寻范围的运动估计方法及视差估计方法 Active CN103096063B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW100140173 2011-11-03
TW100140173A TWI461066B (zh) 2011-11-03 2011-11-03 彈性調整估算搜尋範圍的移動估算方法及視差估算方法

Publications (2)

Publication Number Publication Date
CN103096063A true CN103096063A (zh) 2013-05-08
CN103096063B CN103096063B (zh) 2015-09-30

Family

ID=48208138

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110414184.2A Active CN103096063B (zh) 2011-11-03 2011-12-13 适应性调整估计搜寻范围的运动估计方法及视差估计方法

Country Status (3)

Country Link
US (1) US8817871B2 (zh)
CN (1) CN103096063B (zh)
TW (1) TWI461066B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683812A (zh) * 2013-11-27 2015-06-03 财团法人工业技术研究院 用于移动估计的视频预处理方法与装置
CN109874017A (zh) * 2017-12-04 2019-06-11 晨星半导体股份有限公司 与移动补偿相关的影像处理装置及影像处理方法
CN110710207A (zh) * 2017-12-17 2020-01-17 谷歌有限责任公司 在360度视频中搜寻视频失真

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
KR101347062B1 (ko) * 2012-06-27 2014-01-10 숭실대학교산학협력단 움직임 벡터의 예측을 위한 탐색영역 설정 장치 및 방법
US10230956B2 (en) 2012-09-26 2019-03-12 Integrated Device Technology, Inc. Apparatuses and methods for optimizing rate-distortion of syntax elements
BR112015006323A2 (pt) * 2012-09-28 2017-07-04 Sony Corp dispositivo e método de processamento de imagem
KR20140048783A (ko) * 2012-10-09 2014-04-24 한국전자통신연구원 깊이정보값을 공유하여 움직임 정보를 유도하는 방법 및 장치
US20140219331A1 (en) * 2013-02-06 2014-08-07 Magnum Semiconductor, Inc. Apparatuses and methods for performing joint rate-distortion optimization of prediction mode
US10491916B2 (en) * 2013-10-01 2019-11-26 Advanced Micro Devices, Inc. Exploiting camera depth information for video encoding
CN104768001B (zh) * 2014-01-02 2018-12-07 浙江大学 一种视差矢量导出方法及装置
CN109496431A (zh) * 2016-10-13 2019-03-19 富士通株式会社 图像编码/解码方法、装置以及图像处理设备
CN110060283B (zh) * 2019-04-17 2020-10-30 武汉大学 一种多测度半全局密集匹配方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436002A (zh) * 2002-01-26 2003-08-13 Lg电子株式会社 运动矢量搜索范围的自适应确定方法
CN1440203A (zh) * 2002-02-23 2003-09-03 三星电子株式会社 自适应运动估计装置和方法
US20050238102A1 (en) * 2004-04-23 2005-10-27 Samsung Electronics Co., Ltd. Hierarchical motion estimation apparatus and method
CN1864406A (zh) * 2003-08-07 2006-11-15 索尼电子有限公司 用于多视图视频编码的基于语义的运动估计
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US7609765B2 (en) * 2004-12-02 2009-10-27 Intel Corporation Fast multi-frame motion estimation with adaptive search strategies
TW200633539A (en) 2005-03-09 2006-09-16 Pixart Imaging Inc Estimation method of motion vector based on distance weighted searching sequence
US7852940B2 (en) 2005-10-20 2010-12-14 Qualcomm Incorporated Scalable motion estimation for video encoding
CN1791224A (zh) 2005-12-19 2006-06-21 宁波大学 一种基于h.264的自适应块搜索范围快速运动估计方法
US8494052B2 (en) 2006-04-07 2013-07-23 Microsoft Corporation Dynamic selection of motion estimation search ranges and extended motion vector ranges
US8467448B2 (en) * 2006-11-15 2013-06-18 Motorola Mobility Llc Apparatus and method for fast intra/inter macro-block mode decision for video encoding
KR20090095316A (ko) * 2008-03-05 2009-09-09 삼성전자주식회사 영상 인트라 예측 방법 및 장치
TW201007393A (en) * 2008-07-21 2010-02-16 Seereal Technologies Sa Light modulating device
US20120033040A1 (en) * 2009-04-20 2012-02-09 Dolby Laboratories Licensing Corporation Filter Selection for Video Pre-Processing in Video Applications
US8509309B2 (en) * 2009-05-14 2013-08-13 Massachusetts Institute Of Technology Selecting transforms for compressing visual data
US8462852B2 (en) * 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
WO2011036888A1 (ja) * 2009-09-25 2011-03-31 パナソニック株式会社 記録媒体、再生装置、及び集積回路
KR101623062B1 (ko) * 2010-02-23 2016-05-20 니폰덴신뎅와 가부시키가이샤 움직임 벡터 추정 방법, 다시점 영상 부호화 방법, 다시점 영상 복호 방법, 움직임 벡터 추정 장치, 다시점 영상 부호화 장치, 다시점 영상 복호 장치, 움직임 벡터 추정 프로그램, 다시점 영상 부호화 프로그램 및 다시점 영상 복호 프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1436002A (zh) * 2002-01-26 2003-08-13 Lg电子株式会社 运动矢量搜索范围的自适应确定方法
CN1440203A (zh) * 2002-02-23 2003-09-03 三星电子株式会社 自适应运动估计装置和方法
CN1864406A (zh) * 2003-08-07 2006-11-15 索尼电子有限公司 用于多视图视频编码的基于语义的运动估计
US20050238102A1 (en) * 2004-04-23 2005-10-27 Samsung Electronics Co., Ltd. Hierarchical motion estimation apparatus and method
US20080198924A1 (en) * 2007-02-06 2008-08-21 Gwangju Institute Of Science And Technology Method of computing disparity, method of synthesizing interpolation view, method of encoding and decoding multi-view video using the same, and encoder and decoder using the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104683812A (zh) * 2013-11-27 2015-06-03 财团法人工业技术研究院 用于移动估计的视频预处理方法与装置
US9787880B2 (en) 2013-11-27 2017-10-10 Industrial Technology Research Institute Video pre-processing method and apparatus for motion estimation
CN104683812B (zh) * 2013-11-27 2017-12-15 财团法人工业技术研究院 用于移动估计的视频预处理方法与装置
CN109874017A (zh) * 2017-12-04 2019-06-11 晨星半导体股份有限公司 与移动补偿相关的影像处理装置及影像处理方法
CN110710207A (zh) * 2017-12-17 2020-01-17 谷歌有限责任公司 在360度视频中搜寻视频失真
CN110710207B (zh) * 2017-12-17 2023-10-20 谷歌有限责任公司 一种用于流送视频的方法、内容服务器和可读存储介质
CN110710207B9 (zh) * 2017-12-17 2023-11-17 谷歌有限责任公司 一种用于流送视频的方法、内容服务器和可读存储介质

Also Published As

Publication number Publication date
US8817871B2 (en) 2014-08-26
TWI461066B (zh) 2014-11-11
US20130114689A1 (en) 2013-05-09
CN103096063B (zh) 2015-09-30
TW201320768A (zh) 2013-05-16

Similar Documents

Publication Publication Date Title
CN103096063B (zh) 适应性调整估计搜寻范围的运动估计方法及视差估计方法
JP6788699B2 (ja) 高い分割自由度を伴う効果的なパーティション符号化
JP6884598B2 (ja) パーティション符号化を用いた有効な予測
AU2013284038B2 (en) Method and apparatus of disparity vector derivation in 3D video coding
JP5485851B2 (ja) 映像符号化方法，映像復号方法，映像符号化装置，映像復号装置およびそれらのプログラム
US20120114036A1 (en) Method and Apparatus for Multiview Video Coding
US20170310996A1 (en) Image encoding method, image decoding method, image encoding apparatus, image decoding apparatus, image encoding program, and image decoding program
EP2839664A1 (en) Method and apparatus of inter-view sub-partition prediction in 3d video coding
CN104054346A (zh) 图像处理装置和方法
CN104798375A (zh) 在3d视频编码中约束视差向量推导的方法及装置
JP2012151576A (ja) 画像符号化方法、画像符号化装置、画像復号方法及び画像復号装置
CN102917233A (zh) 空间遥操作环境下立体视频编码优化方法
JP4874578B2 (ja) 画像符号化装置
JP5849681B2 (ja) 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、及び復号プログラム
CN101459849A (zh) 基于多视点编码的运动搜索范围自适应调节的快速运动估计方法
KR101078525B1 (ko) 다중시점 영상의 부호화 방법
Belbel et al. Improved inter-view correlations for low complexity MV-HEVC
JP6181242B2 (ja) 画像復号化方法
JP5951915B2 (ja) 画像復号化方法
JP5946980B1 (ja) 画像復号化方法
JP5750191B2 (ja) 画像復号化方法
JP5911982B2 (ja) 画像復号化方法
Ahmmed et al. A Two-Step Discrete Cosine Basis Oriented Motion Modeling Approach for Enhanced Motion Compensation
Kim et al. Motion Estimation Method for Multi-view Video Coding
JP2010068219A (ja) 動画像符号化装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant