CN104980623B - 检测方法及检测装置 - Google Patents

检测方法及检测装置 Download PDF

Info

Publication number
CN104980623B
CN104980623B CN201510157977.9A CN201510157977A CN104980623B CN 104980623 B CN104980623 B CN 104980623B CN 201510157977 A CN201510157977 A CN 201510157977A CN 104980623 B CN104980623 B CN 104980623B
Authority
CN
China
Prior art keywords
area
block
image
frame
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510157977.9A
Other languages
English (en)
Other versions
CN104980623A (zh
Inventor
方弘吉
张芳甄
陈宥任
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN104980623A publication Critical patent/CN104980623A/zh
Application granted granted Critical
Publication of CN104980623B publication Critical patent/CN104980623B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出一种检测方法及检测装置，用以检测前景区域。该检测方法及检测装置是根据使用两个已知运动向量的位置匹配结果以将两个非遮挡区域中的一个指定为前景区域来实现前景检测。此前景检测的执行，是通过将在当前帧中当前遮挡区域的位置与在先前帧中先前遮挡区域的一个或多个位置相匹配来实现。匹配的操作是以用于相邻于当前遮挡区域的邻近区域的运动向量为依据。运动向量的确定是根据时序上位在当前帧之前和之后的两个邻近帧来实现。若当前遮挡区域的位置通过两运动向量中的一个而与先前遮挡区域相匹配，则对应该运动向量的邻近区域则被指定为前景区域。本发明所提出的检测方法及检测装置，可检测前景区域。

Description

检测方法及检测装置
技术领域
本发明是有关于图像处理，特别是有关于检测在视频序列的多个图像中的前景区域。
背景技术
运动估计(motion estimation)广泛地用于图像处理的方法中，例如，用于在预测或插值的影像中预测或插值移动物体。为了计算影像的每一部分，必须解决遮挡的问题。除了检测影像的遮挡区域以外，也需要识别出前景区域或背景区域的位置，如此可确定用于预测遮挡区域的参数。
遮挡区域(occlusion area)是在一个帧中可见的部分场景，但由于前景物体的妨碍，使得遮挡区域在多个连续影像的一个相邻帧中变得不可见。连续影像中的每一个影像可以是由影像系统所捕获的图像或是基于捕获的图像所获得的插值影像。对于由相机所捕获的连续影像来说，遮挡区域的存在是由于在物体与相机之间的相对位置的改变而导致的。当影像的一些部分变为不可见时，由于投射的关系，背景物体的至少一部分被较接近于相机的前景物体所遮蔽。反过来说，若前景物体在场景中位于较远离相机的地方，则部分背景变为未被遮蔽。变为被遮蔽或未被遮蔽的部分背景物体称作为遮挡区域。当此区域变为被遮蔽或未被遮蔽时，在邻近影像中唯一相配的区域则无法通过运动估计来找到。因此，遮蔽的问题必须特别留意，否则在时序插值中会产生假影(artifact)。
在现有技术中，遮挡检测是基于在两个连续影像之间与两个运动向量相关的像素差异来进行的(美国专利US7995793B2)。两个运动向量中的一个可能等于0，其对应相对于相机静止的背景。图1为以两个运动向量为基础的遮挡检测的示意图。该两个运动向量为在影像系统所捕获两个连续帧(帧(t)与帧(t+1))之间的两个运动向量。帧(t+δ)是根据帧(t)与帧(t+1)而在时序上插值的。确定两个运动向量(即运动向量MV1与运动向量MV2)，来描述在两个帧之间的运动，其中运动向量MV1＝0，其对应于背景区域的零向量。
帧(t+δ)通过根据这两个运动向量中的一个来投影帧(t)与帧(t+1)而形成的。举例来说，由于在帧(t)中的区域101与在帧(t+1)中的区域121之间较好的匹配可通过使用运动向量MV1来获得，因此，在帧(t+δ)中的区域111是根据运动向量MV1来将区域101投射至区域121而形成的。同样地，由于在帧(t)中的区域102与在帧(t+1)中的区域122之间较好的匹配可通过使用运动向量MV2来获得，因此，在帧(t+δ)中的区域112是根据运动向量MV2来将区域102投射至区域122而形成的。然而，对于在帧(t+δ)中的区域113而言，没有任何运动向量可导致在帧(t)与帧(t+1)的对应区域之间的较好匹配。换句话说，不论使用这两个运动向量中的哪一个，对于在帧(t)和帧(t+1)中与帧(t+δ)的区域113相关联的对应区域而言，具有较大的像素差异。
除了检测遮挡区域的位置以外，可确定在邻近影像中的参数以进行遮挡区域的预测。当遮挡区域中的影像内容是来自将被遮蔽或变成未被遮蔽的对应区域时，对应区域的位置应该被识别出。最近被遮蔽或变为未遮蔽的对应区域相邻于邻近影像的背景区域，其中该邻近影像是用来预测相邻于当前帧中遮挡区域的背景区域。因此，此对应区域的位置可间接地通过确定相邻于遮挡区域的前景区域或背景区域来确定。
图2为在三个连续帧中预测一个影像的参考区块的示意图。该参考区块用于形成一个插值帧的每一个区块。帧210根据邻近的帧200与帧220来插值。帧200与帧220为由影像系统所捕获的两个连续帧。在此例子中，在帧200与帧220中，左边物体对应背景区域，而右边物体对应于前景区域。如图2所示，在帧200中，区块b0至区块b7位于背景区域，而区块b8至区块b19是位于前景区域。在帧220中，区块c0至区块c5位于背景区域，而区块c12至区块c19是位于前景区域。帧220的区块c6至区块c11位于将被前景区域遮蔽的区域或变成未被前景区域所遮蔽的区域。若执行由帧200至帧220的运动估计，区块c6至区块c11是位于帧220中最近未被遮蔽的区域。另一方面，若执行由帧220至帧200的运动估计，区块c6至区块c11则为将被变为被遮蔽的区域。在帧200与帧220中的相匹配区块可用于在帧210中区块的插值。在帧200与帧220中相匹配区块之间的关系可通过使用运动估计技术来判断。举例来说，如图2的双向箭头所示，可自背景区域得到运动向量MVB以及可自前景区域得到运动向量MVF。可使用区块为基础的运动估计，且此技术在其技术领域中为已知的。因此，在此不加以详细说明。请注意，每一个箭头的长度与任何运动向量的长度之间不具有关联。在此例子中，帧220中的区块c0、区块c1、区块c2、区块c3、区块c4,、与区块c5分别与帧200中的区块b2、区块b3、区块b4、区块b5、区块b6、与区块b7相匹配。同样地，区块c12、区块c13、区块c14、区块c15、区块c16、区块c17、区块c18、与区块c19分别与区块区块b8、区块b9、区块b10、区块b11、区块b12、区块b13、区块b14、与区块b15相匹配。对于在帧220中将被遮蔽或变为未被遮蔽的区域而言，在帧200中没有区块可匹配区块c6、区块c7、区块c8、区块c9、区块c10、与区块c11。
帧210根据帧200与帧220而插值获得的。在帧200与帧220中每一对相匹配的区块可作为两个参考区块，以形成帧210中的一个插值区块。在插值帧的前景区域或背景区域中的区块可根据在此两个邻近帧中的对应两个参考区块来形成。然而，当在帧200中没有发现相匹配的区块时，在帧210中的遮挡的区块a7、区块a8、与区块a9只可根据在帧220中将被遮蔽或变为未被遮蔽的对应区域来预测。遮挡的区块a7、区块a8、与区块a9应可分别根据区块c6、区块c7、与区块c8来预测。遮挡的区块a7、区块a8、区块a9与对应参考的区块c6、区块c7、区块c8之间的关系可由在图2中以虚线箭头来呈现的运动向量MVOB来获得。运动向量MVOB相同于给予帧210与帧220的背景区域之间的关系的运动向量，例如用来表示由区块a6至区块c5的关系的运动向量。如图2所示，在帧220中的参考区域相邻于，用来预测帧210中遮挡区域的邻近背景区域的背景区域。
在图2中，运动向量MVB或运动向量MVF的尺寸仅指示在帧200与帧220中的相匹配区块。运动向量MVOB指示在帧210与帧220中的遮挡区块和对应的参考区块。在运动估计的技术领域中已知，区块匹配是在二维空间中执行，并且运动向量通常包括水平成分以及垂直成分。每一个区块对应一个二维的像素数组。在图2中的一维图示仅用于简洁说明。此外，当区块ai、区块bi、与区块ci以垂直对齐来绘制时，其并非暗示运动向量尺寸是由区块尺寸来量测。举例来说，图2可能对应在水平方向的匹配。水平区块可对应八个像素。如图2所示，尽管前景区域中的区块bi与区块ci+4相匹配时，并非必然暗示水平运动向量为32个像素(即4x8＝32个像素)。
图3为在三个连续帧中预测一个影像的参考区块的另一示例的示意图。该参考区块形成一个插值帧中每一个区块。不同于图2所显示的例子，在帧300与帧320中，右边的物体对应背景区域，而左边的物体对应前景区域。因此，在帧300中，区块b0至区块b7位于前景区域，而区块b8至区块b19位于背景区域。在帧320中，区块c0至区块c5位于前景区域，而区块c12至区块c19位于背景区域。
帧310是根据两个捕获的帧300与帧320来插值获得的。遮挡的区块a7、区块a8、与区块a9应分别根据区块c9、区块c10、与区块c11来预测。遮挡的区块a7、区块a8、区块a9与区块c9、区块c10、区块c11之间的关系可由运动向量MVOB来获得。在此例子中，运动向量MVOB相同于给予帧310与帧320的背景区域之间的关系的运动向量，例如用来表示由区块a10至区块c12的关系的运动向量。用来预测在帧310中遮挡区块的参考区域，对应在帧320中将被遮蔽或变为未被遮蔽的区域。如图3所示，在帧320中的参考区域相邻于，用来预测帧310中遮挡区域的邻近背景区域的背景区域。为了计算遮挡的区块a7、区块a8、与区块a9，参考区块(区块c9、区块c10、区块c11)的位置应被确定。
若确定相邻于遮挡区域的背景区域或前景区域的位置，作为遮挡区域的参考的区域的位置可间接地确定。如图2与图3所示，作为遮挡区域的参考区域将被前景区域遮蔽或变为未被前景区域遮蔽。遮挡区域的参考区域相邻于插值帧的邻近背景区域的参考区域。预测可通过使用运动向量来执行，该运动向量指示由当前帧中的邻近背景区域至在参考帧中对应的背景区域的关系。因此，期望提出一种方法，能确定相邻于遮挡区域的背景区域或前景区域，以用于当前影像的预测。
发明内容
有鉴于此，本发明提出一种检测方法及检测装置。
根据本发明第一实施方式，提供一种检测方法，以检测在当前影像中的前景区域。前景区域根据在当前影像中第一遮挡区域、第二遮挡区域、与第一邻近区域相关联的第一运动向量、以及与第二邻近区域相关联的第二运动向量来检测。第一遮挡区域包括一个或多个第一遮挡区块，且第二遮挡区域包括一个或多个第二遮挡区块。第一运动向量以及第二运动向量分别被决定给第一区域以及第二区域。这些运动向量是根据时序上在当前影像之后的第一邻近影像和时序上在当前影像之前的第二邻近影像而确定的。此检测方法包括接收第一遮挡区域的第一位置、第二遮挡区域的第二位置、第一运动向量、以及第二运动向量的信息。接着，根据接收到的信息来判断前景区域。若根据第一运动向量，第一位置与第二位置相匹配，则将第一区域指定为前景区域。若根据第二运动向量，第一位置与第二位置相匹配，则将第二区域指定为前景区域。
根据本发明第二实施方式，提供一种检测装置以检测在当前影像中的前景区域。此检测装置包括一个或多个电子电路。该一个或多个电子电路配置接收信息，并将第一区域或第二区域指定为前景区域。上述信息包括第一遮挡区域的第一位置、第二遮挡区域的第二位置、第一运动向量、以及第二运动向量的信息。若根据第一运动向量，第一位置与第二位置相匹配，该一个或多个电子电路将第一区域指定为前景区域。若根据第二运动向量，第一位置与第二位置相匹配，该一个或多个电子电路将第二区域指定为前景区域。
当前影像的第一区域与第二区域是根据第一邻近影像以及第二邻近影像而在时序上进行插值而获得的。根据检测到的前景区域和使第一位置与一个或多个第二位置中的一个相匹配的选择的运动向量，选择性地由该第一邻近影像或该第二邻近影像产生该第一遮挡区域。
第一邻近影像和第二邻近影像为由影像系统所捕获的两个连续影像。先前影像在时序上配置在第二邻近影像之前。介于当前影像与先前影像之间的第一时序图像距离可能等于介于第一邻近影像与第二邻近影像之间的第二时序图像距离。先前图像对应于先前插值的影像。
第一运动向量可用于相邻于遮挡区域的区域。第二运动向量可用于相邻于遮挡区域的第二区域。第一运动向量以及第二运动向量是根据向前运动估计、向后运动估计、或是介于第一邻近影像与第二邻近影像之间的双向运动估计所决定。第一运动向量或第二运动向量可根据计算介于在第一邻近影像以及第二邻近影像中的多个候选参考区块之间的最小区块差异所决定。
本发明所提出的检测方法及检测装置，可检测在视频序列的多个图像中的前景区域。
附图说明
图1为以两个运动向量为基础的遮挡检测的示意图。
图2为在三个连续帧中预测一个影像的参考区块的示意图。
图3为在三个连续帧中预测一个影像的参考区块的另一示例的示意图。
图4为预测将被遮蔽的遮盖区块的参考区块的示意图。
图5为预测将被遮蔽的遮盖区块的参考区块的另一示例的示意图。
图6为预测变为未被遮蔽的遮盖区块的参考区块的示意图。
图7为预测变为未被遮蔽的遮盖区块的参考区块的另一示例的示意图。
图8为根据发明一实施方式的检测在当前影像中的前景区域的装置的示意图。
图9为根据发明另一实施方式的检测在当前影像中的前景区域的示意图。
图10为根据发明又一实施方式的检测在当前影像中的前景区域的示意图。
具体实施方式
为使本发明的上述目的、特征和优点能更明显易懂，下文特列举较佳实施方式，并配合所附图式，作详细说明如下。
在本发明实施方式中，提出一种方法，其检测在影像中的前景区域。此检测是以遮挡区域判断的结果作为依据。本发明实施方式的基础概念是来自于，在一系列连续的影像中相邻于遮挡区域的邻近区域中的影像内容改变。遮挡区域对应于将被前景区域遮蔽的背景区域或是变为未被前景区域所遮蔽的背景区域。因此，背景区域的影像内容在相邻于每一个遮挡区域的部分上具有变化。另一方面，相邻于每一个遮挡区域的前景区域具有两个参考区域，而这两个参考区域与在时序上先前影像和后续影像中的影像内容相匹配。因此，通过使用确定在相邻于遮挡区域的邻近区域的运动向量，相邻于当前遮挡区域的前景区域可被检测到。在不知道哪一个邻近区域为前景区域的情况下，用于相邻于遮挡区域的邻近区域的运动向量都可用来处理当前遮挡区域。这些运动向量用来使当前遮挡区域的位置与在另一影像中遮挡区域的位置相匹配。若在另一影像中遮挡区域的位置与在当前影像中当前遮挡区域的位置相匹配时，则确定对应的邻近区域为前景区域。
根据发明的一实施方式，相邻于当前遮挡区域的前景区域，是根据在先前影像中遮挡区域的信息以及根据用在相邻于当前遮挡区域的两个邻近区域的两个运动向量来检测。这些运动向量可由运动估计技术来决定，以找出在两个邻近影像中的匹配区域。根据本发明的一实施方式，这些运动向量是根据双向运动估计来判断获得的。运动估计的方法为在两个邻近影像中找出匹配区块的基于区块的方法。这些匹配区块可根据在两个邻近影像中候选区块之间的绝对值之差的最小和来确定。
根据本发明的实施方式，提出一种检测方法，检测在当前影像中的前景区域，包括：接收在当前影像中第一遮挡区域的第一位置，其中，第一遮挡区域包括一个或多个第一遮挡区块；接收在先前影像中第二遮挡区域的第二位置，其中，第二遮挡区域包括一个或多个第二遮挡区块；接收与第一区域相关联的第一运动向量，其中，第一区域包括在当前影像中一个或多个第一邻近非遮挡区块；接收与第二区域相关联的第二运动向量，其中，第二区域包括在当前影像中一个或多个第二邻近非遮挡区块，以及根据时序上在当前影像之后的第一邻近影像以及时序上在当前影像之前的第二邻近影像分别确定第一运动向量和第二运动向量，以用于第一区域和第二区域；若根据第一运动向量，第一位置与第二位置相匹配，则将第一区域指定为前景区域；以及若根据第二运动向量，第一位置与第二位置相匹配，则将第二区域指定为前景区域。
为了说明本发明，图4～图7用来说明在一系列连续的影像中影像内容间的关系。图4为预测将被遮蔽的遮盖区块的参考区块的示意图。该参考区块用来预测在五个连续帧中每一插值帧(interpolated frame)的遮挡区块。在此实施方式中，在每一帧中的左边区域为前景区域，在每一帧中的右边区域为背景区域(其带有变为被前景区域遮蔽的部分)。帧410在时序上位于帧400之后，以及这五个帧(帧400～帧440)在时序上以一个接在一个之后的方式配置。帧400、帧420、与帧440为由影像系统(例如，相机)所捕获的三个现存的帧。基于帧400与帧420来插值得到帧410。同样地，基于帧420与帧440来插值得到帧430。在此实施方式中，介于帧400与帧420之间的时序上的图像(picture)距离与介于帧420与帧440之间的时序上的图像距离相同。同时，由帧400至帧420的图像移动方向与由帧420至帧440的图像移动方向相同。因此，用来指示在帧400与帧420中移动的背景区域的运动向量等于用来指示在帧420与帧440中移动的背景区域的运动向量。
基于区块的运动估计是用来寻找在现存帧中的匹配区块。由运动估计所产生的运动向量指示出用于形成插值区块的参考的匹配区块对之间的关系。如图4中箭头所示，自前景区域得到运动向量MVF，自背景区域得到运动向量MVB。举例来说，根据介于帧400与帧420之间的向前运动估计、向后运动估计、或双向运动估计，确定运动向量MVF，以用于邻近非遮挡区块(例如，区块a1、区块a2、区块a3、与区块a4)。根据介于帧400与帧420之间的向前运动估计、向后运动估计、或双向运动估计，确定运动向量MVB，以用于邻近非遮挡区块(例如，区块a8至区块a18)。在前景区域中，区块bi与区块ci+2相匹配，并且区块ci与区块ei+2相匹配。在背景区域中，区块bi与区块ci-2相匹配，并且区块ci与区块ei-2相匹配。在图4中，运动向量MVB与运动向量MVF的尺寸仅指示在帧400与帧420之间或在帧420与帧440之间的匹配区块。区块匹配也在二维空间中来执行，并且每一个运动向量通常包括水平成分和垂直成分。每一个区块对应一个二维像素数组(array)。在图4中的一维图示仅作简要说明。此外，当区块ai、区块bi、区块ci、区块di、与区块ei以垂直对齐来绘制时，其并非暗示运动向量的尺寸是由区块尺寸来量测。举例来说，图4可能对应在水平方向的匹配。水平区块可对应八个像素。尽管如图4所示，前景区域中的区块bi与区块ci+2相匹配，但是并不需要指示水平运动向量为32个像素(即4x8＝32个像素)。
在帧410的前景区域中，可分别根据相匹配的区块对(b0,c2)、区块对(b1,c3)、区块对(b2,c4)、以及区块对(b3,c5)来插值区块a1、区块a2、区块a3、与区块a4。在帧410的背景区域中，可分别根据相匹配的区块对(b9,c7)至区块对(b19,c17)来插值区块a8至区块a18。同样地，在帧430的前景区域中，可分别根据相匹配的区块对(c0,e2)、区块对(c1,e3)、区块对(c2,e4)、区块对(c3,e5)、区块对(c4,e6)、以及区块对(b5,c7)来插值区块d1、区块d2、区块d3、区块d4、区块d5、与区块d6。在帧430的背景区域中，可分别根据相匹配的区块对(c11,e9)至区块对(c18,e16)来插值区块d10至区块d17。
当在先前参考帧中变为被遮蔽的区块与在后续参考帧中的区块并不相匹配时，则无法根据任何的相匹配的区块对来插值在帧410与帧430中的遮挡区块。每一个遮挡区块的先前区块对应于即将被前景区域所遮蔽的一个区块。因此，可根据将被遮蔽的对应参考区块来插值遮挡区块。使对应参考区块可通过在插值帧至先前参考帧的方向上偏移运动向量MVB来获得。如图4所示，每一个遮挡区域与对应的参考区块之间的关系可由以虚线箭头呈现的运动向量MVOB来表示。在帧410中的遮挡的区块a5、区块a6、与区块a7根据帧400中的对应参考的区块b6、区块b7、与区块b8来预测。同样地，在帧430中的遮挡的区块d7、区块d8、与区块d9根据帧420中的对应参考的区块c8、区块c9、与区块c10来预测。
图5为预测将被遮蔽的遮盖区块的参考区块的另一示例的示意图。该参考区块用来预测在五个连续帧中每一个插值帧的遮挡区块。在此实施方式中，每一帧中的前景区域与背景区域的相对位置不同于图4所示的相对位置。在如图5所示的实施方式中，在每一帧中的右边区域为前景区域，在每一帧中的左边区域为变为被前景区域所遮蔽的背景区域。帧540～帧500在时序上以一个接在一个之后的方式配置。分别基于现存的帧500与帧520、现存的帧520与帧540来插值得到帧510、帧530。通过双向的运动估计，在现存的帧的背景区域中的相匹配的区块对可被获得来形成在每一插值帧的背景区域中的区块。确定运动向量，以给予在帧500与帧520中或在帧520与帧540中相匹配的区块之间的关系。如图5所示，确定运动向量MVB以用于左侧的背景区域，确定运动向量MVF以用于右侧的前景区域。在帧510中，由背景区域中的区块对(bi-1,ci+1)来插值得到区块ai，并且由前景区域中的区块对(bi+2,ci-2)来插值得到区块ai。因此，匹配的区块对(b0,c2)至区块对(b8,c10)是用来形成在帧510的背景区域中的对应的插值的区块a1至区块a9。匹配的区块对(b15,c11)至区块对(b19,c15)是分别用来预测在背景区域中的区块a13至a17。在帧530中，由背景区域中的区块对(ci-1,ei+1)插值得到区块di，并且由前景区域中的区块对(ci+2,ei-2)插值得到区块di。在相匹配区块之间的关系在背景区域中是以运动相量MVB来表示，而在前景区域中则是以运动相量MVF来表示。
在插值帧中的每一遮挡区域也可根据在先前帧中将被遮蔽的一个参考区块来形成。此参考区块可通过偏移用于确定在遮蔽区块至先前邻近帧的方向上的背景区域的运动向量MVB来得到。在图5中，每一遮挡区块的参考区块可通过以虚线箭头来呈现的运动向量MVOB来得到。运动向量MVOB是通过在由遮蔽区块至用作参考的先前帧的方向上将运动向量MVB进行偏移而获得的。如图5所示，在帧510中的遮挡区块ai可根据将被前景区域所遮蔽的区块bi-1来插值。在帧530中，遮挡区块di可根据区块ci-1来形成。
如图4与图5图所示，每一遮挡区块的参考区块可通过使用用于确定背景区域的运动向量来获得。若判断出相邻于遮挡区域的背景区域，则对应的运动向量可用来找出遮挡区块的参考区块。通过在当前遮挡区块至先前帧的方向上将运动向量MVB进行偏移，则可找到参考区块。
在图4与图5的实施方式中，遮挡区域对应于在先前邻近帧中背景区域将被遮蔽的部分。在相邻于遮挡区域的部分背景区域中，影像内容改变。用于背景区域的运动向量根据在邻近影像的区块中相匹配的影像内容来确定。所以，用于确定背景区域的运动向量无法指示出，相邻于当前遮挡区域的背景区域与相邻于先前帧中的任何遮挡区域的背景区域之间相对位置。因此，运动向量MVB无法用来对当前遮挡区域的位置与先前帧中任何遮挡区域的位置进行匹配。以图4的实施方式来说，相邻于帧410中遮挡区域的背景区块(区块a8)与相邻于帧430中遮挡区域的背景区块(区块d10)并不相匹配。因此，运动向量MVB无法用来对包括区块d7至区块d9的遮挡区域的位置与包括区块a5至区块a7的遮挡区域的位置进行匹配。在图5所示的实施方式中，相邻于帧510中遮挡区域的背景区块(a9)与相邻于帧530中遮挡区域的背景区块(d5)并不相匹配。因此，运动向量MVB无法用来对帧510中遮挡区域的位置与帧530中遮挡区域的位置进行匹配。
在遮挡区域的另一侧，相邻于遮挡区域的前景区域建立在相同的影像内容上。于是，遮挡区域的相对位移相同于相邻于遮挡区域的前景区域的相对位移。因此，确定用于相邻于当前遮挡区域的前景区域的运动向量可用于指示当前遮挡区域与在先前帧中先前遮挡区域之间的相对位置。以图4的实施方式为例，区块b3的影像内容可与区块a4、区块c5、区块d6、以及区块e7的影像内容相匹配。运动向量MVF可用来指示区块a4与区块d6之间的关系。因此，运动向量MVF可用来匹配帧430中当前遮挡区域的位置和帧410中先前遮挡区域的位置。以图5的实施方式为例，区块b15的影像内容可与区块a13、区块c11、区块d9、以及区块e7的影像内容相匹配。运动向量MVF可用来指示区块a13与区块d9之间的相对位置。因此，运动向量MVF可用来匹配帧530中当前遮挡区域的位置和帧510中先前遮挡区域的位置。
图6为预测变为未被遮蔽的遮盖区块的参考区块的示意图。该参考区块用于预测在五个连续帧中每一插值帧的遮挡区块。在每一帧中，右边区域为前景区域，左边区域为背景区域。不同于图5的实施方式，在每一帧中部分的背景区域变为不被后续帧中的前景区域所遮蔽。插值的帧610根据帧600与帧620来得到，并且帧630利用帧620与帧640来插值得到。在帧610与帧630之间的时序图像差异相同于在帧600与帧620之间的时序图像差异和在帧620与帧640之间的时序图像差异。在插值帧的背景区域中的每一区块可根据在参考帧中的对应的匹配区块对来形成。在插值帧的前景区域中的每一区块是通过使用在两个邻近帧中一个匹配的区块对来计算获得的。匹配的区块可通过指示两个相匹配的区块之间的关系的运动向量而进行的运动估计来获得。如同图6中的双向箭头所示，运动向量MVB是用于背景区域的运动向量，而运动向量MVF是用于前景区域的运动向量。
由于在每一个插值的帧中的遮挡区域在先前的帧中没有前例，因此遮挡区块的插值操作仅可以在后续帧中最近未被遮蔽的区块为基础。如图6中虚线箭头所示，运动向量MVOB表示由遮挡区域开始到对应的最近未被遮蔽的区块为止的运动向量。运动向量MVOB相同于用来指示每一个插值的帧的背景区域与后续帧的背景区域之间的运动向量。因此，每一个遮挡区块的参考区块可通过在插值的帧至后续帧的方向上将运动向量MVB进行偏移来获得。以图6的实施方式来说，遮挡的区块a3、区块a4、与区块a5的参考区块分别对应由运动向量MVOB所决定的区块c2、区块c3、与区块c4。遮挡的区块d7、区块d8、与区块d9的参考区块分别对应由运动向量MVOB所决定的区块e6、区块e7、与区块e8。
图7为预测变为未被遮蔽的遮盖区块的参考区块的另一示例的示意图。该参考区块用于预测在五个连续帧中每一插值帧的遮挡区块。在此实施方式中，在每一帧的部分背景区域变成未被后续帧中的前景区域遮蔽。不同于图6实施方式之处在于，在图7的实施方式中，对于每一帧而言，左边区域为前景区域，而右边区域为背景区域。在此实施方式中，每一个遮挡区块的参考区块可通过使用指示遮挡区域与对应的最近未被遮挡区域之间的关系的运动向量MVOB来获得。运动向量MVOB的获得可根据用于确定相邻于遮挡区域的背景区域的运动向量来实现。因此，每一个遮挡区块的参考区块也可通过在遮挡区块至后续帧的方向上对运动向量MVB进行偏移来获得。
如图6与图7的实施方式所示，每一个遮挡区块的参考区块可通过使用用于背景区域的运动向量来获得。若判断出相邻于遮挡区域的背景区域，此对应运动向量可用来寻找遮挡区块的参考区块。通过在当前遮挡区块至后续帧的方向上偏移运动向量MVB，则可找到参考区块。
在图6与图7的实施方式中，用来形成每一个插值帧的对应遮挡区块的参考区块，是后续帧中将未被遮蔽的背景区域的一部分。相邻于在当前帧中遮挡区域的背景区块的影像内容与相邻于每一个后续帧中遮挡区域的背景区块的影像内容不相匹配。在每一帧的遮挡区域的另一侧，相邻于遮挡区域的前景区域以相同的影像内容为依据。因此，遮挡区域的位置相对位移相同于相邻于遮挡区域的前景区域的相对位移。因此，当前遮挡区域的位置可通过使用运动向量MVF而与先前遮挡区域的位置相匹配。
为了确定用来计算插值的帧中遮挡区块的参考区块，背景区域或前景区域的位置应被判断出，以便确定哪一个运动向量可用来找出参考区块。如图4至图7的实施方式所示，遮挡区域的位置的相对位移相同于与遮挡区域相邻的前景区域的相对位移。通过使用确定前景区域的运动向量MVF，遮挡区域的位置可通过在先前遮挡区域至当前帧的方向上对运动向量MVF进行偏移而获得。因此，若通过使用用于确定邻近区域的运动向量而使得在当前帧中的当前遮挡区域与在先前帧中的遮挡区域相匹配时，一个邻近区域可被识别为前景区域。邻近遮挡区域的另一个邻近区域则是背景区域。于是，可确定作为当前遮挡区域的参考的对应区域。
根据在当前影像中的当前遮挡区域以及在相邻影像中的至少一个先前遮挡区域，前景检测可通过使用用于确定相邻区域的运动向量来执行。图8为根据发明一实施方式的检测在当前影像中的前景区域的装置的示意图。用于当前遮挡区域(或区块)的运动估计810是根据与两个相邻影像相关联的像素来执行。运动估计的结果可确定运动向量以及其他用于遮挡检测的信息。用于相邻于当前遮挡区域的背景区域以及前景区域的运动向量可根据两个邻近影像来决定。用于遮挡检测的所有信息传送至遮挡检测820。用于遮挡检测的方法也可接收输入像素的数据，以用于遮挡检测。存储单元830接收并储存遮挡区域的信息，以用于前景检测。遮挡(t)表示在当前帧(t)中当前遮挡区域的信息(包括当前遮挡区域的至少一位置)。同样地，遮挡(t-1)表示在先前帧(t-1)中一个或多个先前遮挡区域的信息(包括在先前帧(t-1)中一个或多个先前遮挡区域的位置信息)。
在前景检测840中，邻近区域的运动向量施加于当前遮挡区域的位置和在先前帧中一个或多个先前遮挡区域的一个或多个位置。若通过使用一个运动向量来使当前遮挡区域与在先前帧中一个遮挡区域的一个位置相匹配时，与运动向量相关的邻近区域被指定为前景区域。于是，与当前遮挡区域的另一侧相邻的区域为背景区域。检测可通过以区块为基础的方法来执行。在以区块为基础的方法中，用于当前遮挡区域的邻近区域的运动向量也应用于在当前遮挡帧中的一个当前遮挡区块以及在先前帧中的一个或多个先前遮挡区块。若当前区块的位置与先前帧中一个先前遮挡区块相匹配，通过利用用于匹配的运动向量，前景区域则为相邻于当前遮挡区域的邻近区域。
除了在先前影像中的(多个)遮挡区域，时序上位于当前影像之后的后续影像中的遮挡区域也可用来检测相邻于当前遮挡区域的前景区域。只要当前遮挡区域的位置与后续帧中一个遮挡区域的位置相匹配，对应于匹配用的运动向量的邻近区域则为相邻于当前遮挡区域的前景区域。
图9为根据发明另一实施方式的检测在当前影像中的前景区域的示意图。帧900、帧920、与帧940为三个现存帧，用于帧910与帧930的插值。此五个连续帧的时序上顺序为由帧900至帧940。在插值的帧910与帧930之间的时序上图像差异等于在帧900与帧920之间的时序上图象差异和在帧920与帧940之间的时序上图像差异。在帧900或帧920中，在左侧的前景区域以及在右侧的背景区域彼此朝对方移动。于是，在帧920或帧940中，背景区域的一部分被前景区域所遮蔽。通过双向的运动估计，相匹配的区块可被寻找到，并且每一对相匹配的区块之间的关系则通过用于前景区域的运动向量MVF或用于背景区域的运动向量MVB来获得。
如图9所示，在每一个插值的帧中的遮挡区域，相邻于根据具有相匹配影像内容的参考区块所插值的前景区域。因此，用于相邻于遮挡区域的前景区域的运动向量也可用来匹配当前遮挡区域的位置与在先前帧或后续帧中的遮挡区域的位置。假设帧930为当前帧，在帧930中当前遮挡区域的位置可与先前帧910中遮挡区域的位置相匹配。若使用以区块为基础的方法，当前区块d7的位置可通过使用运动向量MVF而与先前帧910中区块a5的位置相匹配。反之，若当前帧为帧910，当前区块a7的位置可通过使用运动向量MVF而与后续帧910中区块d9的位置相匹配。同样地，区块a6的位置通过使用运动向量MVF而可与区块d8的位置相匹配。包括区块a5至区块a7的遮挡区域的位置可与包括区块d7至区块d9的遮挡区域的位置相匹配。同时，区块a5、区块a6、或区块a7的位置无法通过使用运动向量MVB来与区块d7、区块d8、与区块d9的任何位置相匹配。这是由前景区域和背景区域的相对移动特性所导致的。详细内容在此不加以叙述。因此，假使当前遮挡区块的位置通过使用运动向量MVF而可与在先前帧中一个遮挡区块的位置相匹配时，则可唯一地判断出前景区域。
图10为根据发明又一实施方式的检测在当前影像中的前景区域的示意图。在此实施方式中，不同于图9所示的实施方式，背景区域系配置在左侧。帧1000、帧1020、帧1040为三个现存的帧，其用于帧1010与帧1030的插值。此五个连续帧的时序上的顺序为帧1000至帧1040。
如图10所示，在每一个插值帧中的遮挡区域也相邻于根据具有相匹配影像内容的参考区块而插值获得的前景区域。因此，用在相邻于遮挡区域的前景区域的运动向量，可用来使当前遮挡区域的位置与在先前帧或后续帧中一个遮挡区域相匹配。假设帧1030为当前帧，在帧1030中当前遮挡区域的位置可与先前帧1010中遮挡区域的位置相匹配。当使用以区块为基础的方法时，当前区块d6的位置可通过使用运动向量MVF而与先前帧1010中区块a10的位置相匹配。同样地，区块a11的位置通过使用运动向量MVF而可与区块d7的位置相匹配。包括区块a10至区块a12的遮挡区域的位置可与包括区块d6至区块d8的遮挡区域的位置相匹配。同时，区块a10、区块a11、或区块a12的位置无法通过使用运动向量MVB来与区块d6、区块d7、与区块d8的任何位置相匹配。因此，假使用于区域的运动向量可用来使当前遮挡区块(或区域)的位置与在先前帧中一个遮挡区块(或区域)的位置相匹配时，则可唯一判断出前景区域。
以上描述可以使得本领域技术人员能够在一个特定应用的环境下实践本发明。对本领域技术人员来说，描述的实施方式的各种修改是清楚的，并且本发明的基本原理可以应用于其他实施方式。因此，本发明并非限定于描述的特定实施方式，而应符合与在此公开的基本原理和新颖性特征相一致的最宽范围。另外，在上述详细描述中，为提供彻底理解本发明，描述了各种特定细节。本领域的技术人员可以理解如何实践本发明。
如上所述，本发明的实施方式可在各种硬件，软件代码，或二者的组合中实现。例如，在本发明的实施方式可以为集成到视频压缩芯片中的电路或集成到视频压缩软件中执行这里描述的处理过程的程序代码。本发明的一个实施方式也可以是在一个数字信号处理器(DSP)上执行本文描述的处理的程序代码。本发明还可以涉及由计算机处理器，数字信号处理器，微处理器，或现场可编程门阵列(FPGA)来执行的一系列功能。通过执行定义由本发明所体现的特定方法的机器可读软件代码或固件代码，这些处理器可被配置为根据本发明执行特定任务。软件代码或固件代码可以不同的编程语言和不同的格式或样式来开发。该软件代码也可以被编译以用于不同的目标平台。然而，执行与本发明一致任务的软件代码的不同代码格式，风格和语言和配置代码的其他方式不会脱离本发明的精神和范围。
本发明虽以较佳实施方式揭露如上，然其并非用以限定本发明的范围，任何所属技术领域中具有通常知识者，在不脱离本发明之精神和范围内，当可做些许的更动与润饰，因此本发明之保护范围当视后附之申请专利范围所界定者为准。

Claims (12)

1.一种用于检测在当前影像中的前景区域的检测方法，其特征在于，该方法包括：
接收在该当前影像中第一遮挡区域的第一位置，其中，该第一遮挡区域包括一个或多个第一遮挡区块；
接收在先前影像中第二遮挡区域的第二位置，其中，该第二遮挡区域包括一个或多个第二遮挡区块；
接收与第一区域相关联的第一运动向量，其中，该第一区域包括在该当前影像中邻近于该第一遮挡区域的一个或多个第一非遮挡区块；
接收与第二区域相关联的第二运动向量，其中，该第二区域包括在该当前影像中邻近于该第一遮挡区域的一个或多个第二非遮挡区块，以及根据时序上在该当前影像之后的第一邻近影像和时序上在该当前影像之前的第二邻近影像分别确定用于该第一区域的该第一运动向量和用于该第二区域的该第二运动向量；
若根据该第一运动向量，该第一位置与该第二位置相匹配，则将该第一区域指定为该前景区域；以及
若根据该第二运动向量，该第一位置与该第二位置相匹配，则将该第二区域指定为该前景区域。
2.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该当前影像的该第一区域与该第二区域根据该第一邻近影像以及该第二邻近影像而在时序上进行插值而获得。
3.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，根据检测到的该前景区域和使该第一位置与该第二位置相匹配的选择的运动向量，该第一遮挡区域选择性地由该第一邻近影像或该第二邻近影像产生。
4.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该第一邻近影像和该第二邻近影像为由影像系统所捕获的两个连续影像。
5.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该先前影像对应于先前插值的影像。
6.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该先前影像在时序上位于在该第二邻近影像之前。
7.根据权利要求6所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，介于该当前影像与该先前影像之间的第一时序图像距离等于介于该第一邻近影像与该第二邻近影像之间的第二时序图像距离。
8.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，根据介于该第一邻近影像与该第二邻近影像之间的向前运动估计、向后运动估计、或双向运动估计，该第一运动向量被确定，以用于该第一非遮挡区块。
9.根据权利要求8所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该第一运动向量是根据计算介于在该第一邻近影像和该第二邻近影像中的多个候选参考区块之间的最小区块差异而确定的。
10.根据权利要求1所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，根据介于该第一邻近影像与该第二邻近影像之间的向前运动估计、向后运动估计、或双向运动估计，该第二运动向量被确定，以用于该第二非遮挡区块。
11.根据权利要求10所述的用于检测在当前影像中的前景区域的检测方法，其特征在于，该第二运动向量是根据计算介于在该第一邻近影像和该第二邻近影像中的多个候选参考区块之间的最小区块差异而确定的。
12.一种用于检测在当前影像中的前景区域的检测装置，其特征在于该检测装置包括一个或多个电子电路，该一个或多个电子电路被配置为：
接收在该当前影像中第一遮挡区域的第一位置，其中，该第一遮挡区域包括一个或多个第一遮挡区块；
接收在先前影像中第二遮挡区域的第二位置，其中，该第二遮挡区域包括一个或多个第二遮挡区块；
接收与第一区域相关联的第一运动向量，其中，该第一区域包括在该当前影像中邻近于该第一遮挡区域的一个或多个第一非遮挡区块；
接收与第二区域相关联的第二运动向量，其中，该第二区域包括在该当前影像中邻近于该第一遮挡区域的一个或多个第二非遮挡区块，以及根据时序上在该当前影像之后的第一邻近影像和时序上在该当前影像之前的第二邻近影像，分别确定用于该第一区域的该第一运动向量和用于该第二区域的该第二运动向量；
若根据该第一运动向量，该第一位置而与该第二位置相匹配，则将该第一区域指定为该前景区域；以及
若根据该第二运动向量，该第一位置而与该第二位置相匹配，则将该第二区域指定为该前景区域。
CN201510157977.9A 2014-04-09 2015-04-03 检测方法及检测装置 Active CN104980623B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/248,364 US9563960B2 (en) 2014-04-09 2014-04-09 Method for detecting foreground
US14/248,364 2014-04-09

Publications (2)

Publication Number Publication Date
CN104980623A CN104980623A (zh) 2015-10-14
CN104980623B true CN104980623B (zh) 2018-11-27

Family

ID=54265325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510157977.9A Active CN104980623B (zh) 2014-04-09 2015-04-03 检测方法及检测装置

Country Status (2)

Country Link
US (1) US9563960B2 (zh)
CN (1) CN104980623B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109598276A (zh) * 2017-09-30 2019-04-09 佳能株式会社 图像处理装置和方法及监控系统
JP6889843B2 (ja) * 2018-06-13 2021-06-18 株式会社Ｊｖｃケンウッド 映像信号検出装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170673A (zh) * 2006-10-23 2008-04-30 三星电子株式会社 检测遮挡区域的装置和方法
WO2010097470A1 (en) * 2009-02-27 2010-09-02 Trident Microsystems (Far East) Ltd. Detecting occlusion
US8279930B2 (en) * 2008-02-21 2012-10-02 Sony Corporation Image processing apparatus and method, program, and recording medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000011863A1 (en) 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
WO2003041416A1 (en) 2001-11-07 2003-05-15 Koninklijke Philips Electronics N.V. Occlusion detector for and method of detecting occlusion areas
TWI408620B (zh) * 2008-12-12 2013-09-11 Mstar Semiconductor Inc 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
TWI490819B (zh) * 2009-01-09 2015-07-01 Mstar Semiconductor Inc 影像處理方法及其裝置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101170673A (zh) * 2006-10-23 2008-04-30 三星电子株式会社 检测遮挡区域的装置和方法
US8279930B2 (en) * 2008-02-21 2012-10-02 Sony Corporation Image processing apparatus and method, program, and recording medium
WO2010097470A1 (en) * 2009-02-27 2010-09-02 Trident Microsystems (Far East) Ltd. Detecting occlusion

Also Published As

Publication number Publication date
CN104980623A (zh) 2015-10-14
US20150294179A1 (en) 2015-10-15
US9563960B2 (en) 2017-02-07

Similar Documents

Publication Publication Date Title
US7936950B2 (en) Apparatus for creating interpolation frame
KR101722803B1 (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
US8004528B2 (en) Method, systems and computer product for deriving three-dimensional information progressively from a streaming video sequence
US8189104B2 (en) Apparatus, method, and computer program product for detecting motion vector and for creating interpolation frame
JP4121376B2 (ja) 動き整合のための局所的制約
KR100787675B1 (ko) 두 개의 기준 프레임 사이에 보간 프레임을 생성하기 위한방법, 컴퓨터 프로그램 제품 및 장치
EP1549047B1 (en) Robust camera pan vector estimation using iterative center of mass
US9165211B2 (en) Image processing apparatus and method
JP2012133759A (ja) 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体
CN104980759B (zh) 侦测遮挡区域的方法以及装置
CN104980623B (zh) 检测方法及检测装置
JP4626158B2 (ja) 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP5412984B2 (ja) フォロー対象検出装置、フォロー対象検出方法およびフォロー対象検出プログラム
CN112001949B (zh) 确定目标点移动速度的方法、装置、可读存储介质及设备
JP6165513B2 (ja) ハンドジェスチャトラッキングシステム
JP2006215655A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP5059855B2 (ja) 大域的動き推定方法
US20150350669A1 (en) Method and apparatus for improving estimation of disparity in a stereo image pair using a hybrid recursive matching processing
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JP2004533073A (ja) 特徴点選択
JP2007257489A (ja) 画像処理装置および画像処理方法
JP5334241B2 (ja) フレーム画像の動きベクトル推定装置及びプログラム
JP2019176261A (ja) 画像処理装置
JP2009080623A (ja) 画像処理装置およびそれを搭載した撮像装置
TWI733188B (zh) 用於獨立物件之運動估計的裝置以及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220215

Address after: ottawa

Patentee after: Xueshan Technology Co.,Ltd.

Address before: China Taiwan Hsinchu Science Park Hsinchu city Dusing a road No.

Patentee before: MEDIATEK Inc.