CN102257534A - 确定运动向量的方法、装置及软件 - Google Patents

确定运动向量的方法、装置及软件 Download PDF

Info

Publication number
CN102257534A
CN102257534A CN2009801515337A CN200980151533A CN102257534A CN 102257534 A CN102257534 A CN 102257534A CN 2009801515337 A CN2009801515337 A CN 2009801515337A CN 200980151533 A CN200980151533 A CN 200980151533A CN 102257534 A CN102257534 A CN 102257534A
Authority
CN
China
Prior art keywords
image
motion vector
candidate motion
picture frame
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801515337A
Other languages
English (en)
Inventor
G·F·弗雷登哈根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN102257534A publication Critical patent/CN102257534A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明为自两图像确定运动向量，自该两图像取得一个或多个候选运动向量。修改该两图像中与该候选运动向量关联的区域。接着，自该修改图像取得另外的候选运动向量，从而降低已确定运动向量的区域的干扰。

Description

确定运动向量的方法、装置及软件
技术领域
本发明涉及图像处理，尤其涉及确定图像序列的运动向量的方法及装置。
背景技术
在图像处理中，运动向量是表示对象从一个图像至另一个图像的位移的方向和大小的向量。例如，运动向量可表示对象在视频序列中的两个顺序图像帧之间的表观运动(apparent motion)。例如，运动向量用于视频压缩和视频帧速率转换中。
一种确定运动向量的传统方法是搜索两个图像的匹配区域，以及使用匹配区域之间的相对位移来定义该两图像的运动向量。通常，将第二个图像分割成由一个或多个像素组成的多个区域。针对该第二个图像中的每个分割区域搜索该第一图像中与该分割区域最匹配的区域。
一种替代技术是确定该两图像或一图像的多个部分的相关表面。相关表面表示两个图像在所有方向和程度中彼此相对位移时该两图像的相关性。通常，与该相关表面的峰值对应的点可用于确定候选运动向量。不过，候选运动向量并不一定对应对象在该两个图像之间的实际运动。需要进一步计算以自该候选运动向量确定与对象的实际运动最佳对应的运动向量。
因此，需要提供确定运动向量的方法及装置以克服上述一个或多个问题。
发明内容
依据本发明的一种实施方式，提供一种确定图像的运动向量的方法，包括：(a)确定与候选运动向量关联的第一图像中的第一区域和第二图像中的第二区域；(b)藉由将该第一图像和第二图像中的该第一区域和第二区域的像素强度设为默认强度来修改该第一图像和第二图像；以及(c)自(b)中修改的该第一图像和第二图像取得并储存候选运动向量，作为该第一图像和第二图像的运动向量。
依据本发明另一种实施方式，提供一种确定第一图像和第二图像的运动向量的方法，包括：(a)取得表示区域从该第一图像到该第二图像之运动的至少一候选运动向量；(b)确定该第一图像和该第二图像中与该至少一候选运动向量关联的的该区域；(c)藉由将该第一图像和第二图像中的该区域的像素强度设为默认强度来修改该第一图像和第二图像；以及(d)利用(c)中修改的该第一图像和第二图像，重复该取得、确定和修改步骤，直到该第一图像和第二图像确定了期望数目的运动向量。
依据本发明另一实施方式，提供一种视频处理器，包括：第一逻辑模块，用以取得表示区域从该第一图像到该第二图像之运动的至少一候选运动向量；第二逻辑模块，用以确定该第一图像和该第二图像中与该至少一候选运动向量关联的该区域；第三逻辑模块，用以藉由将该第一图像和第二图像中的该区域的像素强度设为默认强度来修改该第一图像和第二图像；以及其中，利用该第三逻辑模块修改的该第一图像和第二图像，该第一、第二和第三逻辑模块重复该取得、确定和修改步骤，直到该第一图像和第二图像确定了期望数目的运动向量。
附图说明
图中例示本发明的实施例，其中：
图1显示依据本发明一例示实施例的计算设备的方块示意图。
图2显示一图像序列的示意图。
图3显示图2的第一图像帧的示意图，显示处于坐标系中的该第一帧局部的各像素。
图4显示图2的第一图像帧的示意图，显示该第一帧局部的各像素的强度值。
图5显示图2的第一图像帧与第二图像帧在其外侧边缘对齐下的迭合。
图6显示一种运动向量确定方法的流程图。
图7显示图2的第一图像帧的修改版。
图8显示图2的第二图像帧的修改版。
图9显示一种取得候选运动向量的方法的流程图。
图10显示图2的第一图像帧和第二图像帧的相关表面。
图11显示图2的第一图像帧相对图2的第二图像帧的位移。
图12显示一种运动向量确定方法的流程图。
图13显示图2的第一图像帧的第二次修改版。
图14显示图2的第二图像帧的第二次修改版。
图15显示一种运动向量确定方法的流程图。
图16显示一种在图2的第一图像帧和第二图像帧中确定与候选运动向量关联的第一区域和第二区域的方法的流程图。
图17显示图2的第一图像帧相对图2的第二图像帧的位移。
图18显示本发明例示实施例的视频处理器的简化方块图。
具体实施方式
总体而言，在本发明实施例的例示方法中，为自两图像确定运动向量，本发明自该两图像取得一个或多个候选运动向量。修改该两图像中与该候选运动向量关联的区域。接着，自该修改图像取得另外的候选运动向量。经发现，修改该两图像从而不考虑与已取得的候选运动向量关联的对象可提升随后自该修改图像取得的候选运动向量的质量。接着，可进一步处理并分析候选运动向量以取得可用于视频处理的运动向量。
所述区域可表示该些图像内的同一对象；对象的部分；具有明确几何(例如正方形或长方形方块)的图像部分等。
有效地，以迭代或递归确定运动向量。一旦利用例如相位相关、最小的绝对差值和、基于对象分割的匹配方法、色彩相似等确定适当的运动向量，即在随后的相关和分配中不考虑产生该运动向量的区域，从而消除内容串扰(cross-talk)。否则，当在随后的相关和匹配中不必要地重新考虑运动向量的区域时，不可避免地发生内容串扰。
在一实施例中，该方法可至少部分地由能够执行视频处理的设备执行。适当的视频处理设备可采取视频处理器的形式，其构成机顶盒、视频接收器、电视、图形子系统、计算设备等的其中一部分。图1例示本发明实施例的计算设备100。
计算机100包括处理器102，其与主存储器104、辅助存储器106以及输入输出周边108、110通信。计算机100可选择性地与网络(未图示)通信。
处理器102可为通用处理器，并可包括一个或多个处理内核，以处理计算机可执行代码和数据。
各存储器104、106适于储存电子数据，包括处理器可执行代码。运行时，处理器102易于访问主存储器104，并且主存储器104可采取同步动态随机存取存储器(synchronous dynamic random accessmemory；SDRAM)的形式。辅助存储器106可包括持久储存存储器，通常以电子文件的形式永久地储存数据。辅助存储器106还可用于本领域技术人员所了解的其他目的。计算机可读媒体为可由计算机访问的可移除或不可移除的任意可用媒体，易失性或非易失性的任意可用媒体，包括任意磁性储存、光学储存或固态储存设备，或包括计算机可执行指令之理想数据并可由计算机或计算设备本地或远程访问的任意其他媒体。上述任意组合也包括于计算机可读媒体的范围内。
输入周边108可包括一个或多个适当的输入设备，且通常包括键盘和鼠标。输入周边108还可包括麦克风、扫描仪、照相机等。输入周边108还可包括计算机可读媒体例如可移除存储器112以及用以访问该媒体的相应设备。输入周边108可用于自用户接收输入。输入设备可为连接到处理器102的本地或远程设备。
输出周边110可包括一个或多个输出设备，其可包括显示设备例如显示器。合适的输出设备还可包括其他设备，例如打印机、扬声器等，以及计算机可写媒体和写入至该媒体的设备。与输入设备类似，输出设备可为本地或远程设备。
本领域的技术人员应当理解，计算机系统100还可包括其他必要的或选择性的未图示部件。
存储器104、106或112可用于储存图像或计算数据、计算结果、或该运动向量生成过程中使用的其他输入和输出数据。
存储器104、106或112还可储存处理器可执行代码，当该代码由处理器102执行时，其使计算机100执行本文所述的任意方法。例如，该处理器可执行代码可包括用以自第一图像和第二图像取得至少一候选运动向量的代码；用以确定该第一图像中的第一区域和该第二图像中的第二区域的代码；用以修改该第一图像和第二图像的代码；以及用以自该修改的第一图像和第二图像取得并储存候选运动向量的代码，下面将进一步详细描述。
应当了解，还可利用硬件设备全部或部分执行本文所述的方法，该硬件设备具有执行一个或多个所述计算或功能的电路。例如，可利用图形处理器、其部件、或一个或多个专用集成电路(applicationspecific integrated circuits；ASIC)执行上述一个或多个程序代码的功能。
利用本发明实施例可自任意两图像确定运动向量。为描述目的，假定从图2所示的视频序列200中的图像帧210和图像帧220确定运动向量。方法还可应用于视频序列200中图像帧220后面的图像帧230。为描述目的，在第一图像帧210中，白色背景216定义黑色的正方形对象212和黑色的圆形对象214。在第二图像帧220中，白色背景226也定义黑色的正方形对象222和黑色的圆形对象224。
通常，图像由二维坐标系统引用的像素网格表示。为描述目的，假定原点为该图像的一角落，第一轴和第二轴自该原点沿该图像的边缘向外延伸。该例示性坐标系统如图3所示，其中，该原点为图像帧210的角落218，X轴自该原点沿图像帧210的水平绘制边向外延伸，Y轴自该原点沿图像帧210的垂直绘制边向外延伸。
在该例示性坐标系统中，各像素202的坐标以[a，b]的形式表示，其中，第一坐标a参照该X轴，第二坐标b参照该Y轴。对于例示图像p，使用标记p[a，b]表示该图像的各像素。假定该例示坐标系统的情况下，图像帧210和220为长方形，其尺寸为IxJ。
图4为图像帧210的示意图，其显示图像帧210局部各像素206和208的强度值。在该例示实施例中，图像帧210和220的各像素强度值以8位二进制表示，因此范围为0至255。黑色像素206的强度值为255。应当了解，每个像素的强度值可很容易地以高于8位或低于8位的二进制表示。类似地，强度值以外或替代强度值的色彩(色度)值可用于确定本文所述的运动向量及关联的像素区域。
图5显示图像帧210在图像帧220上方的迭合。图像帧210和220使用同一坐标系统，以使图像帧210和220的外侧边缘重合。向量236描述图像帧210与图像帧220之间黑色的正方形对象212和222的位置变化。向量MV1＝[x1，y1]236的起始位置242对应图像帧210中黑色正方形对象212的中心的坐标，结束位置244对应图像帧220中黑色正方形对象222的中心的坐标。类似的向量MV2＝[x2，y2]234，在位置246起始且在位置248结束，描述图像帧210与220之间黑色圆形区域214和224的位置变化。将黑色对象212、222、214及224的位置变化看作运动时，向量236和234是真运动向量，因为它们描述了图像帧210与图像帧220之间黑色对象212、222、214及224的运动。类似定义的向量MV3＝[x3，y3]232和MV4＝[x4，y4]238是伪运动向量，因为它们并未描述图像帧210与220之间黑色对象212、222、214及224的运动。在该例示描述中确定了包括运动向量236和234的一系列候选运动向量。
可依据图6中所示的本发明例示实施例的方块流程S100自图像帧210和220确定运动向量。为方便解释，将参照视频序列200的顺序图像帧210和220描述方块流程S100。
在S1002中，以传统方式自图像帧210和220取得候选运动向量。例如，利用区块匹配技术，检测图像帧210和220以将黑色正方形对象212和222识别为对应对象，接着确定描述黑色正方形对象212和222的位置变化的向量，从而自图像帧210和220确定运动向量MV1236。通常，可自两图像取得多个候选运动向量。
在S1004中，确定图像帧210中的第一区域和图像帧220中的第二区域与取得的候选运动向量关联。图像帧210中的该第一区域和图像帧220中的该第二区域可分别由图像帧210和220中一个或多个不连续的区域组成。假定该取得的候选运动向量是运动向量MV1236，在一实施例中，可比较图像帧210和220以区块匹配出现于图像帧210和220中的对应成对对象或区块。对于每对对应对象，如果运动向量MV1236正确描述图像帧210和220之间该对对象的位置变化，则分别将图像帧210和220中与该对对象对应的区域视为该第一区域和该第二区域的一部分。图像帧210和220的分析应当识别黑色正方形对象212和222构成一对对应对象，黑色圆形对象214和224构成第二对对应对象。由于运动向量MV1正确描述黑色正方形对象212和222的位置变化，而未正确描述黑色圆形对象214和224的位置变化，因此确定图像帧210中的该第一区域等同于区域212以及确定图像帧220中的该第二区域等同于区域222。在本发明实施例中，若在S1002获得多个候选运动向量，则图像帧210和220的区域与一个或多个取得的候选运动向量关联，从而认为该区域构成S1004中确定的该第一和第二区域的一部分。
在S1006中，藉由将图像帧210和220中该第一区域和第二区域中的像素强度值修改为默认强度值来修改图像帧210和220中的该第一区域和第二区域。在一实施例中，该默认强度值为零。图7和图8显示修改后的图像帧210’和220’，其中，藉由将图像帧210和220中该第一区域和第二区域的强度值设为零来修改图像帧210和220中先前确定的该第一区域和第二区域。由于先前没有确定黑色圆形对象214和224与候选运动向量MV1236关联，因此黑色圆形对象214’和224’出现于修改后的图像帧210’和220’中。由于先前已确定黑色正方形对象212和222与候选运动向量MV1236关联，因此相应的黑色正方形对象不出现于图像帧210’和220’中。
在S1008中，自修改后的图像帧210’和220’取得另一候选运动向量。在S1002中，可以传统方式-例如藉由区块匹配确定候选运动向量。方便地，在这样的确定方式中可忽略具有默认强度值的像素。分析修改后的图像帧210’和220’以识别像素为非默认强度值的对应对象，其中描述从图像帧210’到图像帧220’的该对应对象的位置变化的向量可被视为候选运动向量。因此，与自未修改的图像帧210和220取得另一候选运动向量相比，自修改后的图像帧210’和220’取得的所述另一候选运动向量更可能是真运动向量。
为描述目的，由于已将构成黑色正方形对象212和222的像素设为默认强度值以表示将忽略该些像素，因此对修改后的图像帧210’和220’的视觉检测可确定真运动向量MV2234为候选运动向量，但对未修改的图像帧210和220的视觉检测可导致将伪运动向量MV3232和MV1238确定为候选运动向量。在本发明的其他实施例中，可自修改后的图像帧210’和220’取得多个候选运动向量。
将自修改后的图像帧210’和220’取得的所述一个或多个候选运动向量与自未修改的图像帧210和220取得的所述一个或多个候选运动向量一起储存为图像帧210和220的候选运动向量。该些候选运动向量可储存于计算机存储器104、106或112中以供进一步处理。
在一些实施例中，可透过计算已发生相对位移的图像帧210和220的相关性来取得候选运动向量。如果所计算的相关性满足选定条件，则将图像帧210相对图像帧220的该位移确定为候选运动向量。
图9显示自图像帧210和220取得候选运动向量的例示方块流程S120，其应用于方块流程S100的S1002中。
在S1202中，首先自图像帧210和220确定相关函数。相关函数的因变量是图像帧210和220的相关性，其中，标明图像帧210和220之间的相对位移的自变量表示图像帧210和220之间的相对位移。相关函数可以f(x，y)的形式描述，其中，自变量x表示图像帧210和220沿X轴的相对位移，自变量y表示图像帧210和220沿Y轴的相对位移。由于图像帧210和220的尺寸都是IxJ，因此将f(x，y)定义于域-I＜x＜I，-J＜y＜J上。
相关函数f(x，y)可形象化为相关表面310，如图10所示。相关表面310表示于坐标系统中，其中，X轴和Y轴分别标示沿X轴和Y轴(如图像中定义的那样)方向图像帧210相对图像帧220的位移，该坐标系统的Z轴标示发生相对位移的图像帧210和220之间的相关程度。由于相关表面仅是相关函数的形象化表示，因此，术语相关表面和相关函数可互换使用。
在S1204和S1206中，相关表面310上满足条件的一点可用于确定对应的向量，该向量可当作候选运动向量。通常将该对应的向量定义为起始于原点而结束于该选定点在该X-Y平面上的投影的向量。利用前述表示向量的惯例，相关表面310上的任意点(x，y，f(x，y))通常对应候选运动向量[x，y]。可使用各种条件来选择相关表面310的适当点，以从中确定候选运动向量。
相关表面310上具有较高相关性的例示点332、334、336和338被认为是相关表面310的峰值。藉由使图像帧210相对图像帧220发生以起始于原点而结束于点334在X-Y平面上的投影的向量324表示的位移，从而生成点334。图11例示由向量324表示的图像帧210相对图像帧220的位移。将点334的Z坐标计算为重迭区404的相关性。类似地，藉由使图像帧210相对图像帧220发生分别以向量326、322和328表示的位移并计算重迭区的相关性，从而生成点336、332和338。
在S1204和S1206中，在一实施例中，识别相关表面310的峰值，并用以确定对应向量，该向量随后被视为候选运动向量。可使用识别函数的局部最大值的传统技术识别相关表面310的峰值。在另一实施例中，识别相关表面310的最大峰值334并用以确定候选运动向量324。在本发明的其他实施例中，可识别相关表面310的多个峰值并用以确定多个候选运动向量。
在本发明的另一实施例中，在S1202中自图像帧210和220确定的该相关函数是相位相关，亦称为相平面相关表面。与不同的相关函数例如交叉相关相比，相位相关的使用更有利，因为该相位相关针对像素的亮度标准化相关性。遵照引用图像各像素的前述惯例，针对尺寸为IxJ的图像A和B的相位相关定义如下。
相位相关其中
Figure BPA00001390198000092
的离散傅立叶变换
Figure BPA00001390198000094
的离散傅立叶逆变换
Figure BPA00001390198000095
的复共轭
图12显示一实施例，其中，自例示性修改图像帧210’和220’取得并储存候选运动向量需要重复前述流程。在S1002中，自图像帧210和220取得候选运动向量MV1236。在S1004中，确定图像帧210和220的第一区域和第二区域与候选运动向量MV1236关联。在S1006中，修改所确定的图像帧210和220的第一区域和第二区域，以形成修改后的图像帧210’和220’。在S1802中，测试退出条件以确定是否已取得期望数目的运动向量，或者是否应当自修改后的图像帧210’和220’提取另外的候选运动向量。如果满足该退出条件，则在S1804中储存所取得的候选运动向量，目前为止的候选运动向量MV1236，作为图像帧210和220的候选运动向量。如果不满足该退出条件，则针对修改后的图像帧210’和220’重复该流程。在S1002中，自修改后的图像帧210’和220’取得候选运动向量MV2234。在S1004中，确定修改后的图像帧210’和220’的第一区域和第二区域与候选运动向量MV2234关联。修改后的图像帧210’的该第一区域是由黑色圆形对象214’定义的区域。修改后的图像帧220’的该第二区域是由黑色圆形对象224’定义的区域。在S1006中，修改所确定的图像帧210’和220’的第一区域和第二区域，以形成进一步修改的图像帧210”和220”，如图13所示。在S1802中，再次测试退出条件以确定是否应当自该二次修改的图像帧210”和220”提取另外的候选运动向量。假定满足该退出条件，则在S1804中储存候选运动向量MV1236和MV2234作为图像帧210和220的候选运动向量。
可使用各种合适的退出条件。在一实施例中，该退出条件可为检查该修改图像以确定是否该修改图像的至少其中一者已被修改从而使该修改图像中具有默认强度值的比例大于选定的阈值。图15显示本发明另一实施例，其中，该退出条件为确定是否已取得足够数量的候选运动向量。在该实施例中，在S1004之前测试退出条件S1822，因为如果已满足该退出条件，则无需额外的修改。如果已满足该退出条件，则在S1824中储存已取得的候选运动向量。如未满足该候选条件，则在S1004中确定第一区域和第二区域，在S1006中修改该图像，以及在S1002中自修改图像取得候选运动向量，之后在S1822中再次考虑该退出条件。
值得注意的是，退出条件不必要求图像的全部像素都分配有运动向量。通常，当两图像之间有相对运动时，存在遮挡和暴露。该些区域代表已隐藏的内容以及新的内容。这样的内容通常无对应，因而通常需要独立处理。
一旦确定候选运动向量，即可如图16所述确定与该候选运动向量关联的第一区域和第二区域。就例示图像帧210和220描述流程S140时，假定已自S1002取得候选运动向量MV2＝[x2，y2]236。在S1404中，使图像帧210相对图像帧220沿X轴位移x2，沿Y轴位移y2，如图17所示。
在S1406中，计算重迭区域1702中的像素组的误差值。可以任意传统方式进行像素分组。例如，可将构成长方形或正方形的相邻像素归为一组。或者，将所侦测的对象边缘内的像素归为一组。所计算的误差值可为位移MV2的帧210中的像素组与帧220中的像素组之间的强度值的绝对差值之和。当然，可以各向异性、双向或以其他方式过滤误差计算，从而使所计算的像素组的误差值是围绕该像素组的位置和强度值的函数。
在S1408中，比较位移的图像帧210中的第一区域与图像帧220中的第二区域以确定所计算的误差比较是否满足选定条件。如是，则确定该第一区域为图像帧210中满足该选定条件的像素组中的其中部分像素。类似地，确定该第二区域为图像帧220中满足该选定条件的像素组中的其中部分像素。在本发明的一实施例中，以最小误差对应的帧210中的像素组和帧210中的相应像素组(低于选定阈值)可视为与候选运动向量MV1236关联的第一像素组和第二像素组。可使用的其他条件包括测试像素块的平均计算误差是否小于选定阈值，或者像素区的误差值的其他一些函数。
例如，假定所计算的误差值为强度值的绝对差值，须满足的条件是该误差值接近零，在S1406中，重迭区域1702中的重合像素组具有接近零的误差值。因此，图像帧210中与候选运动向量MV1236关联的该第一区域可为重迭区域1702中除表示黑色正方形对象212的像素之外的区域。类似地，图像帧220中与候选运动向量MV1236关联的该第二区域可为重迭区域1702中除与表示黑色正方形对象212的像素重合的像素之外的区域。
在S1410中，针对自S1002取得的各候选运动向量重复流程S140。
现在，针对已确定与各帧210、220中取得的各候选运动向量关联的区域，可藉由将帧210、220中的像素强度设为默认强度而进行修改。一旦修改该些区域，即可藉由例如重复方块流程S100或S120而确定另外的候选运动向量。
应当了解，可专门地或部分地在硬件中实施上述技术。为此，如图18所示，可形成视频处理器50，其包括多个功能模块52、54和56，其中，第一功能模块52用以取得表示区域从第一图像到第二图像的运动的至少一候选运动向量；第二功能模块54用以确定该第一图像和该第二图像中与该至少一候选运动向量关联的该区域；以及第三功能模块56藉由将该第一图像与第二图像中该区域的像素强度设置为默认强度来修改该第一图像和第二图像。利用该修改后的第一图像和第二图像，该第一、第二和第三功能模块重复所述取得、确定及修改步骤直到该第一图像和第二图像确定了期望数目的运动向量。
应当了解，可利用适当的组合硬件逻辑或时序硬件逻辑形成各该功能模块。或者，可利用软件逻辑和/或硬件逻辑的组合形成该功能模块。视频处理器50可包括一个或多个帧缓冲器60、62，以储存要确定候选向量的图像，或者其运行于外部帧缓冲器上(未图示)。各该功能模块可如前所述操作-例如计算相位相关等。视频处理器50可进一步处于软件或固件控制之下。
应当了解，可执行该两图像的初始预处理。尽管这里假定该两图像为长方形并且其沿X轴和Y轴的尺寸一致，但不相似的图像可藉由附加默认值而作初始修改，从而保证它们具有一致的尺寸。类似地，可利用传统技术修改彩色图像，使其成为灰度图象。
在本发明的其他实施例中，可对相关函数插值以实现子像素分辨率，从而取得相应的候选运动向量。
该第一图像和第二图像的修改可依据自该修改后的第一图像和第二图像取得候选运动向量所使用的技术而改变。在本发明的前述实施例中，将该第一区域和第二区域中的像素的强度值设为零。方便地，可建立相位相关函数以忽略强度值为零的像素。在本发明的其他实施例中，可将该强度值修改为其他默认值而实现类似的功效。
依据本说明书和附图，本领域的技术人员可理解所述实施例的其他特征、优点和优势。
当然，所述实施例仅为描述性质而非限制本发明。可对所述实施例作形式、零件布局、操作细节以及顺序等方面的修改。所有此类修改落在本发明权利要求所定义的范围内。

Claims (17)

1.一种确定图像的运动向量的方法，包括：
(a)确定与候选运动向量关联的第一图像中的第一区域和第二图像中的第二区域；
(b)藉由将该第一图像和第二图像中的该第一区域和第二区域的像素强度设为默认强度来修改该第一图像和第二图像；以及
(c)自(b)中修改的该第一图像和第二图像取得并储存候选运动向量，作为该第一图像和第二图像的运动向量。
2.如权利要求1所述的方法，其中，自两图像取得候选运动向量包括：
计算该两图像之间的相关性作为该两图像的其中一者相对另一者的位移的函数；以及
当该相关性满足选定条件时，选择表示该位移的运动向量作为该两图像的该候选运动向量。
3.如权利要求2所述的方法，其中，当该相关性为局部最大值或局部值最小值时满足该选定条件。
4.如权利要求3所述的方法，其中，当该相关性为最大值时满足该选定条件。
5.如权利要求2所述的方法，其中，该相关函数为相位相关函数。
6.如权利要求1所述的方法，包括针对修改后的第一图像和第二图像重复(a)至(c)。
7.如权利要求6所述的方法，其中，重复(a)至(c)。
8.如权利要求1所述的方法，其中，该默认强度的强度值为零。
9.如权利要求1所述的方法，其中，该取得至少一候选运动向量包括搜索该第一图像和该第二图像的匹配区域。
10.一种计算机，包括处理器和计算机可读存储器，用于执行权利要求1所述的方法。
11.一种计算机可读媒体，其上储存计算机可执行代码，当计算机执行该代码时，该代码使计算机执行权利要求1所述的方法。
12.一种确定第一图像和第二图像的运动向量的方法，包括：
(a)取得表示区域从该第一图像到该第二图像之运动的至少一候选运动向量；
(b)确定该第一图像和该第二图像中与该至少一候选运动向量关联的的该区域；
(c)藉由将该第一图像和第二图像中的该区域的像素强度设为默认强度来修改该第一图像和第二图像；以及
(d)利用(c)中修改的该第一图像和第二图像，重复该取得、确定和修改步骤，直到针对该第一图像和第二图像确定了期望数目的运动向量。
13.如权利要求12所述的方法，其中，该取得步骤包括确定该第一图像和该第二图像之间的相位相关。
14.如权利要求13所述的方法，其中，该确定步骤包括确定该相位相关的局部最大值。
15.一种视频处理器，包括：
第一逻辑模块，用以取得表示区域从该第一图像到该第二图像之运动的至少一候选运动向量；
第二逻辑模块，用以确定该第一图像和该第二图像中与该至少一候选运动向量关联的的该区域；
第三逻辑模块，用以藉由将该第一图像和第二图像中的该区域的像素强度设为默认强度来修改该第一图像和第二图像；以及
其中，利用该第三逻辑模块修改的该第一图像和第二图像，该第一、第二和第三逻辑模块重复该取得、确定和修改步骤，直到该第一图像和第二图像确定了期望数目的运动向量。
16.如权利要求15所述的视频处理器，其中，该第一逻辑模块确定该第一图像和第二图像的相位相关。
17.如权利要求16所述的视频处理器，其中，该第一逻辑模块确定该第一图像和第二图像的该相位相关的最大值。
CN2009801515337A 2008-10-24 2009-10-21 确定运动向量的方法、装置及软件 Pending CN102257534A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/258,084 US20100103323A1 (en) 2008-10-24 2008-10-24 Method, apparatus and software for determining motion vectors
US12/258,084 2008-10-24
PCT/CA2009/001511 WO2010045730A1 (en) 2008-10-24 2009-10-21 Method, apparatus and software for determining motion vectors

Publications (1)

Publication Number Publication Date
CN102257534A true CN102257534A (zh) 2011-11-23

Family

ID=42117121

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801515337A Pending CN102257534A (zh) 2008-10-24 2009-10-21 确定运动向量的方法、装置及软件

Country Status (6)

Country Link
US (1) US20100103323A1 (zh)
EP (1) EP2347388B1 (zh)
JP (1) JP5351971B2 (zh)
KR (1) KR20110086826A (zh)
CN (1) CN102257534A (zh)
WO (1) WO2010045730A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2945698B1 (fr) * 2009-05-18 2017-12-22 Canon Kk Procede et dispositif de codage d'une sequence video
TWI423169B (zh) 2010-04-23 2014-01-11 Pixart Imaging Inc 位移偵測裝置及其位移偵測方法
CN102279655B (zh) * 2010-06-08 2014-02-26 原相科技股份有限公司 位移侦测装置及其位移侦测方法
US20120155727A1 (en) * 2010-12-15 2012-06-21 General Electric Company Method and apparatus for providing motion-compensated images
US8737685B2 (en) * 2011-04-25 2014-05-27 Honeywell International Inc. Systems and methods for detecting the movement of an object
KR101348904B1 (ko) * 2012-01-20 2014-01-09 한국과학기술원 고차 상관 클러스터링을 이용한 이미지 분할 방법, 이를 처리하는 시스템 및 기록매체
US9927884B2 (en) * 2015-11-06 2018-03-27 Pixart Imaging (Penang) Sdn. Bhd. Non transitory computer readable recording medium for executing image processing method, and image sensing device applying the image processing method
US10387477B2 (en) * 2017-05-30 2019-08-20 Qualcomm Incorporated Calibration for phase detection auto focus (PDAF) camera systems
KR20200012957A (ko) * 2017-06-30 2020-02-05 후아웨이 테크놀러지 컴퍼니 리미티드 인터-프레임 예측 방법 및 디바이스
US11836844B2 (en) * 2022-03-03 2023-12-05 Nvidia Corporation Motion vector optimization for multiple refractive and reflective interfaces

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890160A (en) * 1986-03-19 1989-12-26 British Broadcasting Corporation TV picture motion vector measurement by correlation of pictures
US6049354A (en) * 1993-10-19 2000-04-11 Canon Kabushiki Kaisha Image shake-correcting system with selective image-shake correction
CN1496129A (zh) * 1998-10-22 2004-05-12 索尼株式会社 运动向量检测方法和装置
EP1431917A2 (en) * 2002-12-20 2004-06-23 Lsi Logic Corporation Motion estimation engine with parallel interpolation and search hardware
CN1535455A (zh) * 2001-06-21 2004-10-06 皇家菲利浦电子有限公司 处理像素的图像处理单元和方法以及包括这种图像处理单元的图像显示设备
CN101283364A (zh) * 2005-09-16 2008-10-08 索尼电子有限公司 提取运动目标边界

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69031145T2 (de) * 1989-05-12 1998-03-26 Nec Corp Video-Übertragungssystem mit einer adaptiven Bild-zu-Bild-Prädiktionscodierung
JPH07220082A (ja) * 1994-02-04 1995-08-18 Hitachi Ltd パターン処理装置及び降雨量予測システム
US6192080B1 (en) * 1998-12-04 2001-02-20 Mitsubishi Electric Research Laboratories, Inc. Motion compensated digital video signal processing
JP2000259837A (ja) * 1999-03-05 2000-09-22 Telecommunication Advancement Organization Of Japan 動き検出装置及び方法
US6618439B1 (en) * 1999-07-06 2003-09-09 Industrial Technology Research Institute Fast motion-compensated video frame interpolator
EP1194919A2 (en) * 1999-11-26 2002-04-10 Koninklijke Philips Electronics N.V. Method and unit for processing images
DE60127866T2 (de) * 2001-01-16 2007-12-20 Koninklijke Philips Electronics N.V. Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
US6965645B2 (en) * 2001-09-25 2005-11-15 Microsoft Corporation Content-based characterization of video frame sequences
AU2003201136A1 (en) * 2002-02-06 2003-09-02 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
JP3898606B2 (ja) * 2002-09-12 2007-03-28 株式会社東芝 動きベクトル検出方法及び装置並びにフレーム補間画像作成方法及び装置
KR100534207B1 (ko) * 2002-12-09 2005-12-08 삼성전자주식회사 비디오 부호화기의 움직임 추정기 및 그 방법
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
US7280597B2 (en) * 2003-06-24 2007-10-09 Mitsubishi Electric Research Laboratories, Inc. System and method for determining coding modes, DCT types and quantizers for video coding
US7286185B2 (en) * 2003-09-11 2007-10-23 Ati Technologies Inc. Method and de-interlacing apparatus that employs recursively generated motion history maps
US7307664B2 (en) * 2004-05-17 2007-12-11 Ati Technologies Inc. Method and apparatus for deinterlacing interleaved video
JP4752407B2 (ja) * 2005-09-09 2011-08-17 ソニー株式会社 画像処理装置および方法、プログラム、並びに記録媒体
DE102007027642A1 (de) * 2007-06-15 2008-12-18 Micronas Gmbh Verfahren zur Bearbeitung einer Bildfolge mit aufeinanderfolgenden Videobildern zur Verbesserung der räumlichen Auflösung
US8600189B2 (en) * 2007-11-12 2013-12-03 Qualcomm Incorporated Block-based image stabilization

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4890160A (en) * 1986-03-19 1989-12-26 British Broadcasting Corporation TV picture motion vector measurement by correlation of pictures
US6049354A (en) * 1993-10-19 2000-04-11 Canon Kabushiki Kaisha Image shake-correcting system with selective image-shake correction
CN1496129A (zh) * 1998-10-22 2004-05-12 索尼株式会社 运动向量检测方法和装置
CN1535455A (zh) * 2001-06-21 2004-10-06 皇家菲利浦电子有限公司 处理像素的图像处理单元和方法以及包括这种图像处理单元的图像显示设备
EP1431917A2 (en) * 2002-12-20 2004-06-23 Lsi Logic Corporation Motion estimation engine with parallel interpolation and search hardware
CN101283364A (zh) * 2005-09-16 2008-10-08 索尼电子有限公司 提取运动目标边界

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
禹晶，苏开娜: "块运动估计的研究进展", 《中国图象图形学报》 *
肖德贵，余胜生，周敬利: "快速而有效的块运动估计算法", 《计算机研究与发展》 *

Also Published As

Publication number Publication date
JP5351971B2 (ja) 2013-11-27
WO2010045730A1 (en) 2010-04-29
US20100103323A1 (en) 2010-04-29
EP2347388B1 (en) 2014-08-06
EP2347388A1 (en) 2011-07-27
KR20110086826A (ko) 2011-08-01
EP2347388A4 (en) 2012-12-26
JP2012506577A (ja) 2012-03-15

Similar Documents

Publication Publication Date Title
CN102257534A (zh) 确定运动向量的方法、装置及软件
US11308638B2 (en) Depth estimation method and apparatus, electronic device, program, and medium
US7440619B2 (en) Image matching method and image interpolation method using the same
US10818018B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
US6714689B1 (en) Image synthesizing method
CN1930585B (zh) 建立深度图
US10621446B2 (en) Handling perspective magnification in optical flow processing
JP2007000205A (ja) 画像処理装置及び画像処理方法並びに画像処理プログラム
US9235879B2 (en) Apparatus, system, and method for temporal domain hole filling based on background modeling for view synthesis
CN111881804B (zh) 基于联合训练的姿态估计模型训练方法、系统、介质及终端
US20140362099A1 (en) Image processing apparatus and image processing method
JP2021068056A (ja) 路上障害物検知装置、路上障害物検知方法、及び路上障害物検知プログラム
KR20200096426A (ko) 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램
US8126275B2 (en) Interest point detection
CN103765477A (zh) 通过图形匹配和环形检测而用自动模型初始化进行线跟踪
EP2966613A1 (en) Method and apparatus for generating a super-resolved image from an input image
Deng et al. Incremental image set querying based localization
US11232323B2 (en) Method of merging images and data processing device
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
JP5975791B2 (ja) 画像処理装置及び方法、並びに画像表示装置及び方法
JP2012247897A (ja) 画像処理装置および画像処理方法
US20130343636A1 (en) Image processing apparatus, control method of the same and non-transitory computer-readable storage medium
US11508083B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
TWI494900B (zh) 即時影像追蹤方法
Sharma et al. Hardware Design Aspects of Visual Tracking System

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20111123