CN1284373C - 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备 - Google Patents

用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备 Download PDF

Info

Publication number
CN1284373C
CN1284373C CNB028134745A CN02813474A CN1284373C CN 1284373 C CN1284373 C CN 1284373C CN B028134745 A CNB028134745 A CN B028134745A CN 02813474 A CN02813474 A CN 02813474A CN 1284373 C CN1284373 C CN 1284373C
Authority
CN
China
Prior art keywords
motion vector
segment
tree
candidate motion
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB028134745A
Other languages
English (en)
Other versions
CN1522542A (zh
Inventor
F·E·埃恩斯特
P·维林斯基
C·W·A·M·范奥弗维尔德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1522542A publication Critical patent/CN1522542A/zh
Application granted granted Critical
Publication of CN1284373C publication Critical patent/CN1284373C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

在运动估计方法中通过执行一个层次化分段而生成图像(100)的片断(102-114)的一个树(120)。对片断(102-114)树(120)进行分析，以控制片断(104)的候选运动向量集合(118)的生成。为运动向量集合(118)计算匹配补偿。最后，根据匹配补偿，从候选运动向量集合(118)中选择一个特定的运动向量(116)。在深度估计的方法中，根据运动向量和视差规则计算深度数据。

Description

用于运动或深度估计的方法和装置和 配备这种运动估计装置的图像处理设备
技术领域
本发明涉及一种图像的片断的运动估计的方法，包含下述步骤：
生成特定片断的候选运动向量的集合；
为每个候选运动向量计算一个匹配补偿(match penalty)；和
根据匹配补偿从候选运动向量的集合中选择特定的运动向量。
本发明进一步涉及一种用于图像的片断的运动估计的运动估计装置，包含：
生成器，用于生成特定片断的候选运动向量的集合；
计算装置，用于为每个候选运动向量计算一个匹配补偿；和
选择器，用于根据匹配补偿从候选运动向量的集合中选择特定的运动向量。
本发明进一步涉及一种图像的片断的深度估计的方法，包含下述步骤：
生成特定片断的候选运动向量的集合；
为每个候选运动向量计算一个匹配补偿；
根据匹配补偿从候选运动向量的集合中选择特定的运动向量；
本发明进一步涉及一种用于图像的片断的深度估计的深度估计装置，包含：
生成器，用于生成特定片断的候选运动向量的集合；
计算装置，用于为每个候选运动向量计算一个匹配补偿；
选择器，用于根据匹配补偿从候选运动向量的集合中选择特定的运动向量；和
深度计算装置，用于根据该特定的运动向量计算该特定片断的深度数据。
本发明进一步涉及一种图像处理设备，包含：
运动估计装置，用于图像的片断的运动估计；
生成器，用于生成特定片断的候选运动向量的集合；
计算装置，用于为每个候选运动向量计算一个匹配补偿；
选择器，用于根据匹配补偿从候选运动向量的集合中选择特定的运动向量；和运动补偿的(motion compensated)图像处理装置。
背景技术
在“利用三D递归搜索块匹配的真实运动估计(True-MotionEstimation with 3-D Recursive Search Block Matching)”一文描述了开篇段落中这种运动估计的方法(作者G.de Haan等，IEEE视频技术的电路和系统论文集(IEEE Transactions on circuits andsystem for video technology，vol.3，no.5，pp 369-379)，1993年8月)。
运动估计已经被成功地应用于运动补偿的图像处理，如扫描速率上转换(scan-rate up-conversion)、去隔行扫描(de-interlacing)和时域降噪(temporal noise reduction)。有一类运动估计算法称作“块匹配”(block matching)。块匹配算法是递归的最小化算法，它们假设在一个给定块内的所有像素是均匀移动的。对于可能的运动向量候选者，该决的匹配补偿被最小化。匹配补偿例如可能是绝对差之和(SAD，即Sum of Absolute Differences)或者均方差(MSE，即MeanSquared Error)。一般来说，块是8乘8像素的。然而，借助于使匹配补偿最小化来估计运动向量原理也适用于具有不规则形状的片断。在这种情况中，运动估计/匹配补偿的计算是以片断为基础的。片断边界可以按亮度或颜色的间断对齐(aligned)。这样，就能把片断解释为场景(scene)中的对象(objects)或对象的局部。
寻找图像的各种片断的最佳运动向量的方法的速度，取决于片断的个数、这些片断的大小和每个片断的可能的候选运动向量的个数。精确性取决于以下两个因素：
第一，片断的大小，这是因为：片断越大，越不易于受噪声影响。然而，该大小受到片断的运动应当恒定这一事实的限制。因此，片断最好应当与仍然具有相同运动的最大的区域一致。
第二，候选运动向量的选择。如果只检测了有限数量的候选运动向量，则对候选运动向量的好的选择就很关键。在所引用的文章中，候选集合包含相邻块的当前运动向量，并补充以一些随机的候选运动向量。潜在的假设是，相邻的块可能具有相似的运动。然而，相邻块只有在属于相同的对象时才有可能具有相同的运动。因此，尝试使用不大可能属于相同的对象的候选运动向量是在浪费计算功能。该已知方法的缺点是浪费了时间和计算功能。
已知在运动估计的方法的步骤之后可以接着采取一个计算步骤来获得深度估计的方法。考虑以下问题：给定具有已知运动的由照相机拍摄的静态场景的一系列图像，要重新获得深度信息。图像系列得的所有外表运动(apparent motion)都是由视差(parallax)产生的。一个片断与另一个片断之间的运动的差异表明了深度差异。确实，分析两个连续的图像，就能计算出一个给定的在时刻t的图像片断与在时刻t+1的同一个图像片断之间的视差。这个视差对应于场景的不同部分的运动。在照相机的平移(translation)的情况下，前景中的对象比背景中的移动得更多。通过应用几何的关系，能从运动中推导出深度信息。这个概念在P.Wilinski和K.van Overveld的文章“来自使用基于块匹配的置信度的运动的深度(Depth from motion usingconfidence based blocking matching)”(Proceedings of Imageand Multidimensional Signal Processing Workshop(图像和多维信号处理研究组论文集))，159-162页，Alpbach，澳大利亚，1998)中有描述。
发明内容
本发明的第一个目的是提供一种在本文开篇段落中所述的那种具有改进性能的运动估计的方法。
本发明的第二个目的是提供一种在本文开篇段落中所述的那种具有改进性能的运动估计装置。
本发明的第三个目的是提供一种在本文开篇段落中所述的那种具有改进性能的深度估计的方法。
本发明的第四个目的是提供一种在本文开篇段落中所述的那种具有改进性能的深度估计装置。
本发明的第五个目的是提供一种在本文开篇段落中所述的那种具有改进性能的图像处理设备。
为了实现本发明的第一个目的，该运动估计的方法还包含以下步骤：
通过执行一个层次化分段(hierarchicals egmentation)来生成图像的片断的一个树；和
分析该片断树，以控制特定片断的候选运动向量集合的生成。
由于分段的树结构，层次化的分段提供关于分段属于同一个对象的可能性的信息。该树在最高层有一个单独的节点，该节点称作根。树中的每个节点在次高层有唯一的父节点。父片断具有子片断。美国专利US 5,876,605中有一个分段的树结构的例子。运动估计的方法的性能即速度和/或精度，可以借助树以两种方式得到改善：自上而下和自下而上。这两种情况的优点是，需要为其计算匹配补偿的候选向量的数量较低。
在按照本发明的运动估计的方法的实施例中，通过在自上而下的方向递归地处理片断树而估计树的片断的运动向量。这可以按照以下程序进行：
在树的高层开始估计适当的运动向量，这时片断仍然较大。
如果为某片断找不到令人满意的运动向量，就单独为这个节点的所有子节点估计运动向量。
递归地重复前一个步骤，直到获得令人满意的运动向量。
这样，在不牺牲精度的情况下，要被匹配的片断的数量是最小的。估计运动向量的过程一直继续到获得了令人满意的运动向量为止。结果是，只为树的较高层次上的片断估计运动向量。其优点是，过程在尽可能最大的、因此是最不易于有噪声的片断处停止。
在按照本发明的运动估计方法的实施例的一个变体中，如果特定运动向量的匹配补偿不令人满意，则估计与对应于特定片断的树的节点的子节点对应的片断的运动向量。这个停止标准的优点是其简单性。另一个标准可能是根据比较父片断的运动向量和子向量的运动向量的匹配补偿。然而，应用后一个标准意味着额外的计算。
在按照本发明的运动估计的方法的实施例中，通过在自下而上的方向归递地处理片断树而估计树的片断的运动向量。将两个片断的最低共同祖先(ancestor)定义为树中在从根到每一个这些片断的路径上的最低节点。具有一个在树中的低位置的最低共同祖先的片断，比具有一个在树中的高位置的最低共同祖先的片断，更可能属于同一个对象。这个信息可被用来通过只考虑相关的邻居(neighbors)而限制候选运动向量的数量。
在按照本发明的运动估计的方法的实施例中，生成特定片断的候选运动向量集合的步骤包含以下的子步骤：
生成一个包含相邻片断的运动向量的候选运动向量的初始列表；
按照树内对应节点的位置排定候选运动向量的初始列表的顺序；和
将候选运动向量的初始列表限定至具有较高顺序(order)的候选运动向量，产生一个候选运动向量集合。将相邻片断的运动向量按照重要性的顺序放置。重要性与特定片断和所考虑的相邻片断的最低共同祖先在树中的位置有关。最低共同祖先在树中的位置越低，候选运动向量就越重要。
为了实现本发明的第二个目的，该运动估计装置包含：
用于执行一个层次化分段的、生成图像的片断树的分段装置；和
分析装置，用于分析片断树，以便控制生成器。
对运动估计装置的改变及其变体可能与所述方法的改变及其变体相对应。
为了实现本发明的第三个目的，该深度估计的方法还包含以下步骤：
通过执行一个层次化分段，以生成图像的片断的一个树；和
分析片断树，以控制该特定片断的候选运动向量集合的生成。
为了实现本发明的第四个目的，该深度估计装置还包含：
用于执行一个层次化分段的、生成图像的片断树的分段装置；和
分析装置，用于分析片断树，以控制生成器。
为了实现本发明的第五个目的，图像处理设备的深度估计装置进一步包含：
用于执行一个层次化分段的、生成图像的片断树的分段装置；和
分析装置，用于分析片断树，以控制生成器。
按照本发明的图像处理设备、运动或深度估计方法和装置的这些和其他方面，将在下文结合附图所述的实现和实施例得到阐释并变得明显。
附图说明
图1表示一个被分成8个片断的图像和对应的树；
图2A示意性地表示在树的层次中的第二最高层以自上而下的方式为其估计运动向量的片断；
图2B示意性地表示在树的层次中的第三最高层以自上而下的方式为其估计运动向量的片断；
图2C示意性地表示在树的层次中的最低层以自上而下的方式为其估计运动向量的片断；
图3A示意性地表示为自上而下方式设计的运动估计装置的单元；
图3B示意性地表示为自下而上方式设计的运动估计装置的单元；
图4示意性地表示深度估计装置的单元；
图5示意性地表示图像处理设备的单元。
在所有附图中，对应的标注号有相同的意义。
具体实施方式
图1表示一个被层次化地分段成8个片断102-114的图像100和对应的树120。该树有13个节点122-146，其中节点122被称作根。每个节点122-146对应于图像100的一个片断。对于有些节点，图中指出该节点对应于图像100的哪个片断，例如，节点130对应于片断102。为了方便，提供了标注符A-H。
简要解释一下层次化分段的概念。层次化分段是基于区域的分段技术，其中图像中的片断是按满足一定的同质标准而确定的。随后，这些片断被按连续变化的同质参数被扩展，例如增长，使得这些片断的合并会覆盖整个图像。然后，分段完成。基本方式由下列步骤组成：
要选择一个表示同质的标准，例如在一个像素的周围的片断中亮度的差异。这意味着可以根据该像素周围区域中的亮度差异决定能否将一个像素看作一个初始片断的一部分。
对于同质标准的每个值，可以计算结果片断。然而，最好按一些预定的阈值进行。每个阈值对应于树中的一个层次。
为这些片断建立一个树结构。注意，如果对于某个阈值存在某个片断，该片断对于所有更高的阈值也存在。如果阈值增加，片断就能增长得更大，并且因低阈值而被分离的片断可以合并到更高层次的阈值。然而，鉴于片断被创建的方式，绝不会发生如果阈值增加则片断的大小降低或分裂(split)的情况。
可选地，修剪这个树，以获得分离的片断。
可选地，通过形态操作(morphological operation)使片断增长。该自由参数是同质标准的阈值。可以以很直觉的方式规定这个标准，例如在一定环境中的亮度的差异、相邻像素的相似性，等等。如果片断必须被合并，则树结构唯一地规定要合并哪些片断以达到一个更大的片断。最后，树本身给出片断之间的结构关系。
下面说明为估计片断C104的运动向量116而在树120中产生的层次化分段的优点。按照自下而上方式的运动估计的方法包含下述步骤：
为片断C104生成候选运动向量Vi的集合CSC，其中，Vi是C104的相邻片断(即102、103、106-114)的运动向量。
按照节点C104和有关的相邻片断在树中的最低共同祖先的位置排定候选运动向量的次序。例如，节点132是节点C140和D142的最低共同祖先。最低共同祖先在树中的位置越低，候选运动向量Vi就越相关。
将候选运动向量集合CSC仅限定为那些具有最高相关性的K个运动向量Vi。
在现有技术的情况中，片断C104的候选运动向量集合是CSC＝{VA，VB，VD，VE，VF，VG，VH，VR}，其中VR是一个随机的运动向量。然而，按照本发明，允许取CSC＝{VB，VD，VA，VR}，因为从树结构中可以得出，节点C104和例如节点E134的最低共同祖先在树中的位置如此之高，以至片断C104和片断E104不大可能属于相同的对象和具有相同的运动。在这种情况下，取K＝3。这样，就有可能限制要进行测试的候选运动向量的数量。由于候选运动向量的选择是以分段的述结构为根据的，只有最相关的相邻片断中的信息被使用。结果是效率的提高，即要进行测试的候选运动向量的数量减少，而不损失精度，因为不测试的候选运动向量是来自那些可能是不同的对象的一部分、因此具有相似运动的可能性更小的片断中的。
图2A示意性地表示其运动向量208、210和212被估计的片断202、204和206。图2A中的树120表示按照自上而下方式的方法中的一种状态：树的第二最高层次。节点124、126和128对应于为其估计运动向量的各片断。自上而下方式的原理结合图3A作说明。
图2B示意性地表示为其估计运动向量208、222、224、226和228的片断202、216、214、218和220。图2B中的树120表示按照自上而下方式的方法中的一个状态：树的层次结构的第三最高层。节点128、130、132、134和135对应于为其估计运动向量的各片断。通过比较图2A和图2B可以看到将片断分成更小片断对运动向量的影响。例如，运动向量210是为片断204估计的，运动向量226和228是分别为片断214和216估计的。例如，运动向量212是为片断206估计的，运动向量222和224是分别为片断220和218估计的。
图2C示意性地表示为其估计运动向量208、224、228、238、240、244和242的片断202、216、218、230、232、234和236。图2C中的树120表示按照自上而下方式的方法中的一个状态：树的层次结构的最低层。节点128、130、134、138、140、142、144和146对应于为其估计运动向量的各片断。通过比较图2B和图2C可以看到将片断分成更小片断对运动向量的影响。例如，运动向量226是为片断214估计的，运动向量238和240是分别为片断230和232估计的。运动向量222是为片断220估计的，运动向量242和244是分别为片断236和234估计的。
图3A示意性地表示为自上而下方式设计的运动估计装置300的各单元。运动估计装置300包含：
生成器310，用于生成特定片断的候选运动向量的集合；
计算装置306，用于为每个候选运动向量计算一个匹配补偿；
选择装置308，用于根据匹配补偿从候选运动向量的集合中选择特定的运动向量；
分段装置302，用于通过执行一个层次化分段而生成一个图像的片断树；和
分析装置304，用于分析片断树，以控制生成器310。
运动估计装置300的输入包含图像，并且在输入连接器312处提供。运动估计装置300的输出包含片断的运动向量。运动估计装置300的按下述方式操作：首先，由分段装置302执行一个层次化分段。这个分段按US5,867,605中所述的那样进行。分段的结果是一个片断树。通过以自上而下的方向递归地处理该片断树而估计该片断树的运动向量。这是按照下列程序进行的：
对适当的运动向量的估计在树的高层上开始，那里的各片断仍然是大的。
如果找不到某片断的令人满意的运动向量，就为这个节点的所有子节点单独估计运动向量。令人满意的运动向量的一个标准是特定运动向量的匹配补偿小于预定的阈值。
递归地重复前一个步骤，直到获得令人满意的运动向量。
这样，在不牺牲精度的情况下，要被匹配的片断的数量是最小的。估计运动向量的过程一直继续到获得了令人满意的运动向量为止。结果是，只为树的较高层次上的片断估计运动向量。优点是，过程在尽可能最大的、因此是最不易于受到噪声的片断停止。
图3B示意性地表示为自下而上方式设计的运动估计装置301的各单元。这个运动估计装置301的大多数单元与图3A中所述的运动估计装置300的单元相同。用于生成候选运动向量的集合的第一生成装置310包含：
第二生成装置303，用于生成包含相邻片断的运动向量的候选运动向量的初始列表；
排序装置305，用于按照树内对应节点的位置排定候选运动向量的初始列表的顺序；和
过滤器307，用于将候选运动向量的初始列表限定至具有较高顺序的候选运动向量。
该树是以自下而上方式被处理的。这意味着，对于树的叶子即最小的片断，按图1中所述的方式来确定候选运动向量集合。当为特定片断确定了一个运动向量集合时，由计算装置306计算匹配补偿。然后，选择装置308根据匹配补偿从该候选运动向量集合中选择一个特定的运动向量。
图4示意性地表示深度估计装置400的各单元。深度估计装置400包含：
第一生成装置310，用于生成特定片断的候选运动向量的集合；
计算装置306，用于为每个候选运动向量计算一个匹配补偿；
选择装置308，用于根据匹配补偿从候选运动向量集合中选择特定的运动向量；
分段装置302，用于执行一个层次化分段以生成图像的片断树；
分析装置304，用于分析片断树，以控制第一生成装置；和
深度计算装置402，用于根据特定运动向量计算特定片断的深度数据。深度数据可能包含标量的深度值或者标量的深度值与对象的方向。
运动估计装置300的输入包含在输入连接器312处提供的图像和在输入连接器416处提供的照相机校准数据。运动估计装置300的输出是片断的深度值。深度估计装置300按下述方式操作：首先，由分段装置302执行一个层次化分段。这个分段按US5,867,605中所述的那样进行。分段的结果是一个与场景中的对象或对象的各部分对应的片断的树。对于特定的对象来说，假设它相对于预定的原点(例如照相机)有一个深度，深度的值在候选值范围内。这个深度与图像中对象的运动有关。这意味着如果对象相对于相机的运动是已知的，则能够根据视差规则(rules of parallax)估计出该深度。这意味着为了估计深度必须计算运动向量。该深度估计方法符合在文章“来自使用基于块匹配的置信度的运动的深度(Depth from motion usingconfidence based block matching)”(Proceedings of Image andMultidimensional Signal Processing Workshop(图像和多维信号处理研究组论文集)，159-162页，澳大利亚，1998)所描述的方法。图4中显示，选择装置308向计算装置402提供片断的特定运动向量。运动估计可以如图3A中所述的或如图3B中所述的的那样。
图5示意性地表示图像处理设备500的各单元，包含：
-接收装置501，用于接收一个代表在已经进行了某种处理后要被显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号，也可以是来自诸如VCR(盒式录像带)或数字多用盘(DVD)的存储装置的信号。该信号是在深入连接器506处提供的。
-如图3A和图3B中分别所述的运动估计装置300或301；
-运动补偿的图像处理装置502；和
-用于显示处理过的图像的显示装置。
运动补偿的图像处理装置502提供以下类型的处理：
-去隔行扫描(de-interlacing)：隔行扫描是用于交替地传输奇数或偶数图像行的普通视频广播程序。去隔行扫描试图恢复整个垂直析像能力，即使奇数和偶数行可同时用于每个图像；
-上转换(up-conversion)：从一系列原始输入图像计算出一系列更大的输出图像。输出的图像临时位于两个原始输入图像之间；和
-时域降噪(temporal noise reduction)。
运动补偿的图像处理装置502要求图像和运动向量作为其输入。如果使用三维显示装置，例如用透镜屏幕，则深度值可以被用来呈现三维图像。
应当注意，上述实施例解释而不是限制本发明，本领域的熟练人员在不偏离后附的权利要求的范围的情况下能够设计出替代的实施方案。在权利要求书中，括号中的任何标注符号都不应被解释为限制权利要求。“包含”一词并不排除在权利要求中没有列举的单元或步骤。出现在单元前面的“一个”并不排除有多个这样的单元。本发明可以通过包含几个不同单元的硬件来实现，可以通过适当的经过编程的计算机来实现。在枚举若干装置的装置权利要求中，几个这样的装置可以由同一件硬件装置来体现。

Claims (13)

1.图像(100)的片断(102-114)的运动估计方法，包含下述步骤：
生成特定片断(104)的候选运动向量的集合(118)；
为每个候选运动向量计算一个匹配补偿；和
根据匹配补偿从候选运动向量的集合(118)中选择特定的运动向量(116)，
其特征在于进一步包含以下步骤：
通过执行一个层次化分段而生成图像(100)的片断(102-114)的一个树(120)；和
使用自下而上方式或自上而下方式来分析该片断(102-114)树(120)，以控制特定片断(104)的候选运动向量集合(118)的生成。
2.如权利要求1所要求的运动估计方法，特征在于，通过在自上而下的方向递归地处理片断(102-114)的树(120)而估计树(120)的片断(102-114)的运动向量。
3.如权利要求2所要求的运动估计方法，特征在于，如果特定运动向量(116)的匹配补偿不令人满意，就估计对应于特定片断(104)的树(120)的一个节点的子节点的各片断(102-114)的运动向量。
4.如权利要求1所要求的运动估计方法，特征在于，通过在自下而上的方向递归地处理片断(102-114)的树(120)而估计树(120)的片断(102-114)的运动向量。
5.如权利要求4所要求的运动估计方法，特征在于，生成特定片断(104)的候选运动向量集合(118)的步骤包含以下子步骤：
生成包含相邻片断(102-114)的运动向量的候选运动向量的初始列表；
按照树(120)内对应节点(122-146)的位置排定候选运动向量的初始列表的顺序；和
将候选运动向量的初始列表限定至具有较高顺序的候选运动向量，产生候选运动向量集合(118)。
6.一种用于图像的片断的运动估计的运动估计装置，包含：
第一生成装置，用于生成特定片断的候选运动向量集合；
计算装置，用于为每个候选运动向量计算一个匹配补偿；和
选择装置，用于根据匹配补偿从候选运动向量集合中选择特定的运动向量，
特征在于进一步包含：
分段装置，用于执行一个层次化分段而生成图像的片断的树；和
分析装置，使用自下而上方式或自上而下方式来分析片断的树，以控制第一生成装置。
7.按照权利要求6中所要求的运动估计装置，特征在于它被设计成通过在自上而下的方向递归地处理片断的树以估计树的片断的运动向量。
8.按照权利要求7中所要求的运动估计装置，特征在于它被设计成如果特定运动向量的匹配补偿不令人满意，就估计对应于特定片断的树的一个节点的子节点的各片断的运动向量。
9.按照权利要求6中所要求的运动估计装置，特征在于它被设计成通过在自下而上的方向递归地处理片断的树而估计树的片断的运动向量。
10.按照权利要求9中所要求的运动估计装置，特征在于，用于生成特定片断的候选运动向量集合的第一生成装置包含：
第二生成装置，用于生成包含相邻片断的运动向量的候选运动向量的初始列表；
排序装置，用于按照树内对应节点的位置排定候选运动向量的初始列表的顺序；和
过滤器，用于将候选运动向量的初始列表限定至具有较高顺序的候选运动向量。
11.一种图像的片断(102-104)的深度估计的方法，包含以下步骤：
生成特定片断(104)的候选运动向量集合(118)；
为每个候选运动向量计算一个匹配补偿；
根据匹配补偿从候选运动向量的集合(118)中选择特定的运动向量(116)；和
根据该特定的运动向量(116)计算该特定片断(104)的深度数据，
其特征在于进一步包含：
通过执行一个层次化分段生成图像(100)的片断(102-114)的一个树(120)；和
使用自下而上方式或自上而下方式来分析该片断(102-114)的树(120)，以控制特定片断(104)的候选运动向量集合(118)的生成。
12.一种用于图像的片断(102-114)的深度估计的深度估计装置(400)，包含：
第一生成装置(310)，用于生成特定片断(104)的候选运动向量集合(118)；
计算装置(306)，用于为每个候选运动向量计算一个匹配补偿；
选择装置(308)，用于根据匹配补偿从候选运动向量集合(118)中选择特定的运动向量(116)；和
深度计算装置(402)，用于根据该特定的运动向量(116)计算该特定片断(104)的深度数据，
其特征在于进一步包含：
分段装置(302)，用于通过执行一个层次化分段生成图像(100)的片断(102-114)的一个树(120)；和
分析装置(304)，使用自下而上方式或自上而下方式来分析该片断(102-114)的树(120)，以控制该第一生成装置。
13.图像处理装置(500)，包含：
运动估计装置(300，301)，用于图像(100)的片断(102-114)的运动估计，包含：
生成装置(310)，用于生成特定片断(104)的候选运动向量的集合(118)；
计算装置(306)，用于为每个候选运动向量计算一个匹配补偿；
选择装置(308)，用于根据匹配补偿从候选运动向量集合(118)中选择特定的运动向量(116)；和
运动补偿的图像处理装置(502)，
其特征在于，运动估计装置(300，301)包含：
分段装置(302)，用于通过执行一个层次化分段方法而生成图像(100)的片断(102-114)的一个树(120)；和
分析装置(304)，使用自下而上方式或自上而下方式来分析该片断(102-114)的树(120)，以控制该生成装置(310)。
CNB028134745A 2001-07-06 2002-06-21 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备 Expired - Fee Related CN1284373C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202615 2001-07-06
EP01202615.9 2001-07-06

Publications (2)

Publication Number Publication Date
CN1522542A CN1522542A (zh) 2004-08-18
CN1284373C true CN1284373C (zh) 2006-11-08

Family

ID=8180611

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028134745A Expired - Fee Related CN1284373C (zh) 2001-07-06 2002-06-21 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备

Country Status (6)

Country Link
US (1) US7039110B2 (zh)
EP (1) EP1407613A1 (zh)
JP (1) JP2004534336A (zh)
KR (1) KR20030029933A (zh)
CN (1) CN1284373C (zh)
WO (1) WO2003005727A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1308892C (zh) * 2002-02-06 2007-04-04 皇家飞利浦电子股份有限公司 用于分割的装置和方法
WO2005013623A1 (en) * 2003-08-05 2005-02-10 Koninklijke Philips Electronics N.V. Multi-view image generation
US7522749B2 (en) * 2005-04-08 2009-04-21 Microsoft Corporation Simultaneous optical flow estimation and image segmentation
US7769240B2 (en) * 2007-02-07 2010-08-03 At&T Intellectual Property, I, L.P. Methods and systems for image processing
JP4886898B2 (ja) * 2007-07-26 2012-02-29 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 深さ関連情報伝達のための方法及び装置
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
CN100592338C (zh) * 2008-02-03 2010-02-24 四川虹微技术有限公司 多视角视频图像深度搜索方法及深度估计方法
TW201028964A (en) * 2009-01-23 2010-08-01 Ind Tech Res Inst Depth calculating method for two dimension video and apparatus thereof
TW201030682A (en) * 2009-02-12 2010-08-16 Sunplus Technology Co Ltd Motion vector estimator for reducing film judder
KR101504887B1 (ko) 2009-10-23 2015-03-24 삼성전자 주식회사 데이터 단위 레벨의 독립적 파싱 또는 복호화에 따른 비디오 복호화 방법 및 그 장치, 그리고 데이터 단위 레벨의 독립적 파싱 또는 복호화를 위한 비디오 부호화 방법 및 그 장치
CN101702751B (zh) * 2009-11-03 2011-07-27 上海富瀚微电子有限公司 一种视频降噪处理中的三维块匹配方法
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
AU2013201503B2 (en) * 2009-12-08 2014-06-12 Samsung Electronics Co., Ltd Method and apparatus for encoding video by motion prediction using arbitrary partition, and method and apparatus for decoding video by motion prediction using arbitrary partition
US20130286017A1 (en) * 2010-05-07 2013-10-31 David MARIMÓN SANJUAN Method for generating depth maps for converting moving 2d images to 3d
KR101678654B1 (ko) * 2010-06-11 2016-11-22 에스케이 텔레콤주식회사 효율적인 움직임 벡터 부호화/복호화를 위한 적응적 경쟁기반 움직임 후보 벡터 산출 기법 및 이를 이용한 움직임 벡터 부/복호화 장치
CN102572295B (zh) * 2010-12-21 2014-04-02 新奥特（北京）视频技术有限公司 一种特效图调度方法
CN102307310B (zh) * 2011-08-23 2014-10-29 威盛电子股份有限公司 影像深度估计方法及其装置
US9041773B2 (en) * 2011-11-22 2015-05-26 Corel Corporation Conversion of 2-dimensional image data into 3-dimensional image data
CN102819586B (zh) * 2012-07-31 2015-10-07 北京网康科技有限公司 一种基于高速缓存的url分类方法和设备
KR20140029689A (ko) * 2012-08-29 2014-03-11 삼성전자주식회사 영상 처리 시스템에서 움직임 추정 장치 및 방법
US10257506B2 (en) 2012-12-28 2019-04-09 Samsung Electronics Co., Ltd. Method of obtaining depth information and display apparatus
KR101484282B1 (ko) 2013-04-02 2015-01-22 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101677275B1 (ko) * 2014-10-29 2016-11-17 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR101677276B1 (ko) * 2015-01-19 2016-11-17 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
CN105809717B (zh) * 2016-03-10 2019-01-11 上海玮舟微电子科技有限公司 一种深度估计方法、系统及电子设备
KR101867597B1 (ko) * 2017-09-22 2018-06-14 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
KR102006804B1 (ko) * 2018-06-07 2019-08-02 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
JP2021182267A (ja) * 2020-05-19 2021-11-25 日本製鉄株式会社 トラッキング装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03256485A (ja) * 1990-03-06 1991-11-15 Victor Co Of Japan Ltd 動きベクトル検出回路
WO1994018799A1 (en) * 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
US5608458A (en) * 1994-10-13 1997-03-04 Lucent Technologies Inc. Method and apparatus for a region-based approach to coding a sequence of video images
WO1997017797A2 (en) * 1995-10-25 1997-05-15 Sarnoff Corporation Apparatus and method for quadtree based variable block size motion estimation
JP3929492B2 (ja) * 1995-10-25 2007-06-13 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化画像符号化方法及びシステム並びにその復号化方法及びシステム
US5929940A (en) * 1995-10-25 1999-07-27 U.S. Philips Corporation Method and device for estimating motion between images, system for encoding segmented images
US6766037B1 (en) * 1998-10-02 2004-07-20 Canon Kabushiki Kaisha Segmenting moving objects and determining their motion

Also Published As

Publication number Publication date
US20030007667A1 (en) 2003-01-09
KR20030029933A (ko) 2003-04-16
EP1407613A1 (en) 2004-04-14
US7039110B2 (en) 2006-05-02
WO2003005727A1 (en) 2003-01-16
JP2004534336A (ja) 2004-11-11
CN1522542A (zh) 2004-08-18

Similar Documents

Publication Publication Date Title
CN1284373C (zh) 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备
CN1179553C (zh) 用于数字信号内插的方法和系统
Yu et al. Mvimgnet: A large-scale dataset of multi-view images
CN1456015A (zh) 识别并行地出现在单个电视信号场中的影片和视频对象
CN100342401C (zh) 基于段的运动估计
Yu et al. An efficient method for scene cut detection
CN1224262C (zh) 提取对象区域的方法
CN101048799A (zh) 通过实时视频动作分析理解视频内容
CN1842867A (zh) 使用模糊一级支持向量机的自动视频摘要装置和方法
CN101047795A (zh) 运动图像分割设备、字幕提取设备、方法和程序
CN1711556A (zh) 检测均匀色片段的方法和系统
CN1441594A (zh) 用于变换扫描格式的装置和方法
KR20110124222A (ko) 전경-배경 제약 조건 전파를 기초로 하는 비디오 매팅
CN101047779A (zh) 用于创建内插帧的设备
CN1311409C (zh) 用于分割的系统和方法
CN1647113A (zh) 运动估计单元和估计运动矢量的方法
CN1551629A (zh) 内插图像生成方法、装置和使用该方法、装置的图像显示系统
CN1577380A (zh) 用于检测彩色图像中的脸部的方法和设备
CN1192101A (zh) 电影转换装置
KR101014296B1 (ko) 가우시안 모델을 이용한 영상 처리 장치 및 방법
CN1917642A (zh) 迭代计算全局运动参数集的方法和设备
CN1578464A (zh) 在数字影像压缩中决定动态向量的方法
CN1198245C (zh) 降低运动向量传输成本的运动估计方法
CN1589022A (zh) 多模式运动估计中由朝向树决定的宏块分割模式选择方法
US10225587B1 (en) Motion estimation method for frame rate converter and video processor using the same

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee