CN102611824B - 改善利用相位相关估计的运动的精确度和可靠度的方法 - Google Patents

改善利用相位相关估计的运动的精确度和可靠度的方法 Download PDF

Info

Publication number
CN102611824B
CN102611824B CN201110317367.2A CN201110317367A CN102611824B CN 102611824 B CN102611824 B CN 102611824B CN 201110317367 A CN201110317367 A CN 201110317367A CN 102611824 B CN102611824 B CN 102611824B
Authority
CN
China
Prior art keywords
phase place
motion
window
peak
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110317367.2A
Other languages
English (en)
Other versions
CN102611824A (zh
Inventor
马克·罗伯逊
明-昌·刘
村上义弘
仓田徹
米田丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102611824A publication Critical patent/CN102611824A/zh
Application granted granted Critical
Publication of CN102611824B publication Critical patent/CN102611824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/238—Analysis of motion using block-matching using non-full search, e.g. three-step search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供了改善利用相位相关估计的运动的精确度和可靠度的方法。这里描述了改善运动估计的精确度和可靠度的方法。在一个方面中，利用两个1D向量的外积来近似相位相关峰的2D邻域以消除亚像素误差。在另一方面中，改善对可靠度的估计。在另一方面中，实现两遍相位相关来消除亚像素运动偏置。

Description

改善利用相位相关估计的运动的精确度和可靠度的方法
技术领域
本发明涉及图像和视频处理的领域。更具体而言，本发明涉及执行相位相关运动估计(phase correlation motion estimation)。
背景技术
执行运动估计的过程能够以若干种方式来实现。一种实现方式包括利用相位相关。相位相关使用频率域方法来估计两个相似图像之间的平移性偏移。
有若干种传统的方法来从相位相关表面确定亚像素(sub-pel)精度。这些亚像素方法大体可分类为1-D方法或2-D方法。1-D方法在每个空间维度上独立地操作。换言之，运动的垂直和水平亚像素分量被分开确定。
图1示出了不同的亚像素方法使用的记号。条目aij就是在相位相关表面中的峰的位置的邻域中s[x，y](相位相关表面)的值。峰值是a22，并且aij＝s[xk+j-2，yk+i-2]，其中(xk，yk)是峰的位置。注意，由于FFT的属性，相位相关表面s[x，y]的索引的求值是以N为模执行的。2D亚像素方法能够使用图中的相关值的一些或全部。一些2D方法使用更大的窗口，这些窗口能够利用延伸到超过所演示的3×3邻域的相关值。
1-D亚像素方法独立地考虑水平和垂直亚像素分量，并且使用图2中所示的相关值。
H.Foroosh等人在“Extension of Phase Correlation to SubpixelRegistration”中指出，sinc函数非常良好地近似了在存在平移性运动的情况下的相位相关表面。Foroosh等人的文章中的推导得出了在每个空间方向上独立操作的相对简单的1-D亚像素方法。该方法被应用到靠近相位相关峰的邻域。
在G.A.Thomas所著的“Television Motion Measurement for DATV andOther Applications”中，1-D二次函数被拟合到相位相关峰的邻域中的三个点(图2中所示的水平或垂直值)。在I.E.Abdou所著的“PracticalApproach to the Registration of Multiple Frames of Video Images”中，以类似的方式拟合1-D高斯函数。Thomas和Abdou的方法的结果是不重要的，因为正如Foroosh等人的文章中所指出的，相位相关表面既不是二次的也不是高斯的，因此这些方法由于不适当的拟合函数而是有局限的。另外，在许多情况下，1-D亚像素方法在峰邻域中不会提供像使用2-D亚像素方法时可能的那样完整的拟合。
在V.Argyriou等人所著的“A Study of Sub-Pixel Motion EstimationUsing Phase Correlation”中，考虑了以下的经修改的sinc函数：
然后确定在最小二乘意义上使函数A·h(B[x-C])最佳拟合到所观察到的相位相关表面的三个参数A、B和C。确定这样的拟合是复杂的，因为没有闭式解答。从而其需要数值解答，而数值解答在计算上可能是要求很高的。注意，此方法也是1-D亚像素方法，从而其也具有先前提到的1-D亚像素方法与2-D亚像素方法相比的局限。
在Takita等人所著的“High-Accuracy Subpixel Image RegistrationBased on Phase-Only Correlation”中，提出了将2-D高斯函数拟合到相位相关表面。首先，使用频率域高斯预滤波器(应用到S[m，n]，傅立叶域中的相位相关表面)来平滑相位相关表面。其次，使用最小二乘来将相关峰的7×7邻域拟合到高斯函数。较大的窗口大小与复杂的高斯函数的最小二乘优化相组合可导致过度复杂的算法。
最后，在L.H.Chien等人所著的“Robust Motion Estimation for VideoSequences Based on Phase-Only Correlation”中，提出了将以下2-D函数拟合到靠近相关峰的相位相关表面：
使用未指定的频率域预滤波器来平滑相位相关表面。还对于拟合窗口使用未指定的大小，虽然从图中看起来窗口大小可以是7×7。式子h(x，y)的复杂性质导致了对于Δx和Δy以及对于作为解答的一部分必须估计的α的最小二乘解答是计算上要求很高的。
所描述的方法都执行基于相位相关峰的邻域的亚像素估计，其使用先前引入的s[x，y]值。存在替换的配置，它们在傅立叶域中直接在S[m，n]值上工作。一个这种方法是Hoge所著的□Subspace Identification Extension to thePhase Correlation Method”的方法。在Hoge的文章中，执行N×N阵列S[m，n]的奇异值分解以形成相位表面S[m，n]的秩1近似。所得到的来自秩1近似的长度为N的向量随后被分开处理以给出水平和垂直运动。此方法避免了对IFFT和峰寻找的需要，但却代之以需要其他复杂的过程：奇异值分解、相位展开和最小二乘线拟合。
发明内容
这里描述了改善运动估计的精确度和可靠度的方法。在一个方面中，利用两个1D向量的外积来近似相位相关峰的2D邻域以消除亚像素误差。在另一方面中，改善对可靠度的估计。在另一方面中，实现两遍相位相关来消除亚像素运动偏置。
在一个方面中，一种被编程在设备中的存储器中的执行相位相关以消除亚像素运动偏置的方法，包括：执行第一遍的相位相关；根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；基于第二相位相关表面来计算亚像素运动估计；以及通过对偏移和亚像素估计求和来计算最终运动估计。执行第一遍的相位相关进一步包括：向当前帧的窗口应用窗口函数以获得当前帧结果；向当前帧结果应用快速傅立叶变换以得出第一组复数值；向参考帧的窗口应用窗口函数以获得参考帧结果；向参考帧结果应用快速傅立叶变换以得出第二组复数值；对第二组复数值与第一组复数值的复共轭的积进行正规化；计算逆快速傅立叶变换以得出相位相关表面；以及从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。执行第二遍的相位相关进一步包括：向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；向偏移帧结果应用快速傅立叶变换以得出第三组复数值；对第三组复数值与第一组复数值的复共轭的积进行正规化；以及计算逆快速傅立叶变换以得出第二相位相关表面。该方法还包括实现可靠度度量。该设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
在另一方面中，一种被编程在设备中的存储器中的用于执行相位相关以消除亚像素运动偏置的系统包括：第一遍模块，用于执行第一遍的相位相关；偏移模块，用于根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；第二遍模块，用于利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；亚像素模块，用于基于第二相位相关表面来计算亚像素运动估计；以及最终运动模块，用于通过对偏移和亚像素估计求和来计算最终运动估计。第一遍模块进一步包括：第一窗口函数模块，用于向当前帧的窗口应用窗口函数以获得当前帧结果；第一快速傅立叶变换模块，用于向当前帧结果应用快速傅立叶变换以得出第一组复数值；第二窗口函数模块，用于向参考帧的窗口应用窗口函数以获得参考帧结果；第二快速傅立叶变换模块，用于向参考帧结果应用快速傅立叶变换以得出第二组复数值；正规化模块，用于对第二组复数值与第一组复数值的复共轭的积进行正规化；逆快速傅立叶变换模块，用于计算逆快速傅立叶变换以得出相位相关表面；以及峰识别模块，用于从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。第二遍模块进一步包括：偏移窗口函数模块，用于向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；第三快速傅立叶变换模块，用于向偏移帧结果应用快速傅立叶变换以得出第三组复数值；对第三组复数值与第一组复数值的复共轭的积进行正规化；以及第二逆快速傅立叶变换模块，用于计算逆快速傅立叶变换以得出第二相位相关表面。该系统还包括用于实现可靠度度量的可靠度模块。该设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
在另一方面中，一种相机设备包括：视频获取组件，用于获取视频；编码器，用于对视频编码，包括通过以下操作进行的相位相关运动估计：执行第一遍的相位相关；根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；基于第二相位相关表面来计算亚像素运动估计；以及通过对偏移和亚像素估计求和来计算最终运动估计；以及存储器，用于存储经编码的视频。执行第一遍的相位相关进一步包括：向当前帧的窗口应用窗口函数以获得当前帧结果；向当前帧结果应用快速傅立叶变换以得出第一组复数值；向参考帧的窗口应用窗口函数以获得参考帧结果；向参考帧结果应用快速傅立叶变换以得出第二组复数值；对第二组复数值与第一组复数值的复共轭的积进行正规化；计算逆快速傅立叶变换以得出相位相关表面；以及从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。执行第二遍的相位相关进一步包括：向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；向偏移帧结果应用快速傅立叶变换以得出第三组复数值；对第三组复数值与第一组复数值的复共轭的积进行正规化；以及计算逆快速傅立叶变换以得出第二相位相关表面。
在另一方面中，一种被编程在设备中的存储器中的确定利用相位相关的亚像素运动估计精确度的方法包括：利用两个一维向量的外积来近似相位相关峰的二维邻域；以及自动校正不正确的估计峰位置。二维邻域是从由以下各项构成的组中选择的：3×3邻域、4×4邻域以及5×5邻域。两个一维向量包括与垂直亚像素运动向量相对应的列向量和与水平亚像素运动向量相对应的行向量。近似二维邻域包括实现秩1矩阵近似。
在另一方面中，一种被编程在设备中的存储器中的改善对运动估计的可靠度的估计的方法包括：执行运动估计以估计最佳峰的运动的整数分量以及亚像素分量；应用滤波器来度量峰邻域如何匹配相位相关峰的预期形状；以及计算运动估计的可靠度。计算可靠度利用了次佳峰。滤波器利用了正规化因子。滤波器被截断到以下之一：3×3窗口、4×4窗口或者5×5窗口。
在另一方面中，一种被编程在设备中的存储器中的计算可靠度度量的方法包括：执行运动估计以估计最佳峰的运动的整数分量以及最佳峰的亚像素分量；在最佳峰的邻域中向相位相关表面应用滤波器；以及利用所得到的经滤波的表面计算可靠度度量。滤波器实现了正规化常数。计算可靠度使用了次佳峰的位置。该设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
在另一方面中，一种被编程在设备中的存储器中的改善运动向量的亚像素精确度的方法包括：确定要近似的相位相关峰的二维邻域；以及利用两个一维向量的外积来近似相位相关峰的二维邻域。二维邻域是从由以下各项构成的组中选择的：3×3邻域、4×4邻域以及5×5邻域。两个一维向量包括与垂直亚像素运动向量相对应的列向量和与水平亚像素运动向量相对应的行向量。该设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
附图说明
图1示出了不同亚像素方法使用的记号。
图2示出了不同亚像素方法使用的记号。
图3示出了相机捕捉的两个图像之间的运动估计。
图4以降低的分辨率示出了来自图3的图像。
图5示出了联系图3的两个图像的理想运动场和有噪声运动场。
图6示出了向图像对的局部块应用相位相关的示例。
图7示出了根据一些实施例的相位相关的流程图。
图8示出了不同的亚像素运动的相位相关表面中的峰的示例。
图9示出了用于确定可靠度的滤波器的示例。
图10示出了两遍相位相关的窗口位置的示例。
图11示出了根据一些实施例的相位相关的流程图。
图12示出了被配置为实现根据一些实施例提高相位相关的精确度的方法的示例性计算设备的框图。
具体实施方式
像素被组织成块，块是图像内的基本分析单位。运动估计是按照前一图像的每个块移动到了何处来描述两个图像之间的差异的方式。当前图像中的每个块利用“运动向量”与良好相关的参考图像中的一区域相关联。运动向量可涉及整个图像，被称为全局运动估计，或涉及特定部分，例如矩形块、任意形状的片块或甚至每个像素。运动估计有许多应用，例如估计图3的图像之间的运动。
图3示出了其运动能够被估计的两个图像。图像302与图像300是相同的场景，但相机在图像302中已经向右摇镜头。如果通过估计图像之间的运动来对齐图像，则有许多可能的应用。一个这种应用是将它们拼接在一起作为全景图像的一部分，这能够通过随着相机进一步向右摇镜头以更多图像继续该过程而在空间上被进一步扩展。另一个应用是通过将两个图像中对应于同一位置的像素观察值平均在一起来降低噪声。运动估计还常用于作为视频压缩的一部分形成经运动补偿的预测。还存在许多其他应用。
估计两个全分辨率图像之间的运动的一个不利之处在于要处理的像素的量可能是非常复杂的。因为此原因，在一些情况下，希望先将图像300和302的大小减小并因此将其分辨率减小到图像400和402，然后才估计其运动，如图4所示。处理更少的像素使得计算负担更加可管理。
利用较小的图像降低了计算负担，但是运动估计(ME)方法的精确度变得重要多了。例如，假定图像在每个维度上被进行8倍降采样。如果ME的精确度是1/2像素(在发生处理的分辨率下测量)，则降低的分辨率下的处理在返回到全分辨率时仅给出1/2×8＝4像素的精确度。这种精确度可能是不可接受的。从而，虽然具有1/2像素精确度的ME算法当以全分辨率应用时可提供令人满意的对齐结果，但应用到降低分辨率的图像的同一算法可能不足够精确。为了实现在全分辨率下测量的1/2像素精确度，ME估计算法在被应用到八倍降采样的图像时必须具有1/16像素的精确度。
运动向量能够被测量为局部化运动向量，每个运动向量与两个图像之间的匹配块相关联。运动场是两个图像之间的所有局部化运动向量的汇集。对于图3所示的两个示例图像，图像300和图像302，在场景中没有独立运动的对象。这样，将图像302联系到图像300的理想运动场应当是均一运动场。图5示出了将图3的图像302联系到图像300的理想运动场500。每个箭头表示两个图像中的相应块的运动向量。每个箭头向右，这对应于在捕捉图像300和捕捉图像302之间相机向右摇镜头。然而，在实践中，测量到的运动场不是理想的。图5示出了将图像302联系到图像300的示例性测得运动场502。诸如那些在向量场502中所示的不正确运动向量(MV)能够由于诸如图像噪声或图像细节不足之类的多种原因而发生。一般地，图5的运动场502被观察和测量到，但希望估计理想全局运动，就好像其在运动场500中显现的那样。当误差像502中所示那些那样普遍且较大时，令人满意的解答需要某种健壮的模型拟合。该模型应当在以下意义上是健壮的：即，被称为“离群者”的具有大误差的数据点不会不利地影响输出。大多数健壮的模型拟合方法显式或隐式地尝试识别离群者，并且仅基于可靠的数据计算最终输出。作为模型拟合过程的一部分识别离群者经常在计算上是要求很高的，通常需要某种迭代过程。
这里描述能够识别离群者的运动向量可靠度的显式估计。通常非常高效的手段估计运动向量可靠度。通过在执行模型拟合之前识别运动向量的离群者，模型拟合过程变得更精确而且在计算上更高效。
这里描述利用相位相关来以高精确度确定亚像素运动估计的方法。该方法利用两个1D向量的外积来近似相位相关峰的2D邻域。理论上证明正确的近似将问题从两个维度简化到一个维度，从而使得亚像素估计的问题更易处理。
外积近似减轻了相位相关峰的邻域中的噪声的效果。
如果估计的峰位置错了一个像素(由于PC表面中的噪声，这对于近1/2像素水平和1/2像素垂直运动的运动是频繁发生的)，则标准的1D亚像素方法经常产生较高的亚像素误差。2D到1D简化自动针对这种情形进行校正。
在通过引用并入在此的2010年3月19日提交的序列号为12/728,025、标题为“Method for Highly Accurate Estimation of MotionUsing Phase Correlation”的美国专利申请中，引入了运动可靠度度量。给定相位相关运动向量，该度量提供了对其可靠度或者值的有效性应当被信任的程度的估计。这在组合通过向图像对的不同位置应用相位相关而得到的许多不同运动时是重要的，因为能够识别出不可靠的运动并且防止其损坏任何整体估计。识别这种不可靠的运动还能够降低计算复杂度，因为健壮的模型拟合算法将不必那么辛苦地工作来独自识别出离群者运动。构建在先前的方法上，提供了一种新方法，该方法在运动在性质上是亚像素的时是有效得多的。
在2010年3月19日提交的序列号为12/728,025、标题为“Method forHighly Accurate Estimation of Motion Using Phase Correlation”的美国专利申请中，引入了相位相关中的亚像素偏置的概念。这种偏置是一种小的非零均值误差，其在块大小相对较小时能够损坏相位相关亚像素运动。先前的提交物论述了针对这种偏置进行补偿的一种方法。引入了一种在去除偏置方面有效得多的新方法。该方法在第一遍中执行一般相位相关算法的一部分，然后在第二遍中执行一般相位相关算法的另外部分。作为结果，偏置几乎不存在了。
相位相关能够被应用到整个图像或图像内的子块。虽然这里描述了应用到图像子块，但通过让块大小和窗口大小覆盖整个图像来实现到整个图像的应用。
在图像中的每个B×B块上执行局部运动分析。相位相关通过考虑围绕B×B目标块的窗口来估计运动。使用N×N的围绕窗口大小，其中N＝2B，但一般地能够使用其他窗口大小和形状。相位相关考虑当前图像和参考图像中的N×N窗口，其中窗口能够是共位的，或者在更一般的情况下，由于运动预测子，对于参考帧中的块能够存在偏移。图6示出了共位的块的示例。
图7示出了根据一些实施例的相位相关的流程图。在步骤700中，执行参考帧中的N×N窗口与窗口函数w[x，y]的点乘。在步骤702中，向结果应用快速傅立叶变换(FFT)，这得出复数值F[m，n]。在步骤704中，执行当前帧中的N×N窗口与窗口函数w[x，y]的点乘。在步骤706中，向结果应用FFT，这得出复数值G[m，n]。在步骤708中，在正规化阶段中，计算以下式子：
其中*表示复共轭，并且||表示复变量的幅值。在步骤710中，计算S[m，n]的逆FFT(IFFT)以得出s[x，y]，即相位相关表面。在步骤712中，从相位相关表面中识别出K个最大的峰。这些峰的索引对应于在当前帧和参考帧中的N×N窗口之间存在的可能运动。这些峰的索引被表示为(xi，yi)，i＝0，...，K-1。索引是0，1，...，N-1中的正整数。-q的负运动导致索引位置N-q处的峰。在步骤714中，如果使用亚像素精度，则对于先前识别出的峰(xi，yi)计算亚像素估计(dxi，dyi)。在步骤716中，估计可靠度。
对于窗口函数，使用Hamming窗口的2-D可分离扩展，w[x，y]＝w[x]w[y]，
也能够使用其他实现方式，例如Hann窗口，Blackman窗口、Bartlett窗口或任何其他窗口。
相关表面中的峰表示可能的运动。较大的峰指示较高的相关，并且最大的峰经常指示N×N窗口中的主导运动。
在2010年3月19日提交的序列号为12/728,025、标题为“Method forHighly Accurate Estimation of Motion Using Phase Correlation”的美国专利申请中，指出以下量是具有最高相位相关的运动候选(x0，y0)的可靠度的良好估计：
可靠度的这个度量将最大峰(x0，y0)的大小与次大峰(x1，y1)相比较。
式(1)等同于前两个峰之间的正规化差异，
图7示出了这里描述的相位相关的基本实现方式的框图。可靠度度量通常不是传统相位相关的一部分。其被包括在图7中来演示所使用的基本相位相关。
外积近似
考虑相位相关表面中的峰(xk，yk)的3×3邻域，在这里以矩阵记号表示：
虽然考虑了3×3邻域，但也能够使用其他邻域大小，例如4×4和5×5，而不会改变方法的基本结构。
根据相位相关理论中的基本推导，在存在潜在的图像运动的情况下的相关表面是可分离的函数，换言之即s[x，y]≈s[x]s[y]。这暗示了如下的一种简化邻域A的方法：
上述式子将2D邻域A近似为两个1D向量v和u的外积。给定这种近似，先前建立的1D亚像素方法能够用来利用v估计垂直亚像素运动并利用u估计水平亚像素运动。
例如以上那样的矩阵近似也被称为秩1矩阵近似。计算这种近似的一种方法是通过使用奇异值分解(SVD)。然而，SVD在计算上是复杂的，并且其提供了这里的任务不需要的额外结果。提供了一种形成秩1近似的简单得多的方法。该方法是迭代的，开始于迭代k＝1，并且继续直到迭代k＝L为止。上标(k)记号指示迭代k的值。
u(k)＝Atv(k)
式(2)中的v(k)的正规化迫使v(k)的解答具有单位幅值。形成矩阵近似的其他技术能够改变缩放的方法。例如，当使用SVD来形成秩1近似时，v(k)和u(k)都被正规化到单位幅值，并且单独的奇异值指示缩放比例。不施加任何单位幅值约束的一种不同的示例算法由以下式子给出：
从而，存在多种形成相位相关峰的邻域的秩1近似的方法，但一般地，它们将具有如式(2)中所示的估计v(k)和u(k)的迭代交替结构。
初始条件u(0)不是很重要，只是u(0)≠0。例如，在一些实施例中，u(0)＝1。上述的简单矩阵向量运算迅速收敛到期望的近似。实践中，在2至4次迭代内观察到收敛。
利用上述过程来将2D问题简化到分开的1D问题具有多个益处。一维亚像素估计实现起来自然比相应的二维亚像素估计更简单。然而，因为算法利用了整个2D邻域，而不是峰的垂直和水平邻居，所以与其他2D方法相比没有精度的损失。
给定向量v和u，可以利用任何1D相位相关亚像素方法，例如先前引述的那些，来估计亚像素运动。这里示出一种简单的线性加权方法。相对于峰位置(xk，yk)的亚像素运动为：
(3)
在特殊情况下(例如v3＜0并且v1＜0)，就选择亚像素运动分量为零是慎重的。
秩1近似相对于1D亚像素方法的另一个益处是能够校正峰检测中的一些错误。例如，以下邻域示出了相位相关峰邻域的一个真实示例，其用于dx＝-0.5，dy＝0.5的亚像素运动，这是沿着值为0.444和0.407的位置之间的对角线的半途。检测到的峰在邻域的中心，具有值0.44，并且大多数峰能量被包含在左下的2×2部分中。
标准的1D亚像素方法只使用中间行[0.375，0.444，-0.032]和中央列[-0.019，0.444，0.150]t来计算亚像素估计。直接使用例如这样的1D亚像素给出dx＝-0.49，dy＝0.25的亚像素估计，其误差是0.25。然而，这忽略了一个高值对角线元素0.407，该元素对于大亚像素误差作出了贡献。改为利用这里描述的过程产生以下近似：
此近似表明更好的峰位置是左位置(具有近似值0.441)；由于相位相关表面中的噪声，原来找到了错误的峰位置。然而，该近似示出了误差，并且作为算法的一部分自动地针对其进行校正。对来自秩1近似的向量使用相同的1D亚像素方法给出了dx＝-0.55，dy＝0.42的亚像素估计，其误差0.09与直接应用到A的中间行和中央列的1D方法的误差(其误差是0.25)相比小得多。
秩1近似在峰寻找中降低误差和校正小误差的能力是由于其噪声降低属性。关于A的结构的在先知识允许了利用比原来构成A的九个值更少的自由度来表示A。在其他上下文中，已知利用SVD的降低秩近似的噪声降低属性。
为了证明式(2)中的迭代收敛到对矩阵A的最佳秩1近似，陈述来自SVD理论的结果。3×3矩阵A能够被分解如下：
其中以下成立：
σi≥σj，i＜j
根据SVD理论，对矩阵A的最佳秩1近似是 为了证明式(2)的迭代收敛到这样的量；只要证明以下就足够了：
在式(2)的迭代k＝n，
u(n)＝Atv(n)
为了简化，从计算AtA开始：
当计算n次方时，
当被矩阵A左乘时，
在随着迭代增加的极限中，对v的估计是
上述极限中的简化假定σ1＞σ2≥σ3。在不太可能发生的事件σ1＝σ2或σ1＝σ3中，极限将收敛到v1、v2和v3向量的某个组合。在此情况下，存在非唯一秩1近似。这种状况将仅在人工设计的情形中发生，而在处理真实数据时将是极为罕见的。
在随着迭代增加的极限中，对u的估计是：
从而，式(2)中的迭代确实像希望的那样收敛。
全局图像对齐
为了确定两个图像之间的全局运动，全局相机模型能够被拟合到来自不同块的个体运动向量。如图5中所示，有时许多局部运动向量是离群者-完全不适合用来确定全局运动。在这一节中，描述一种向每个运动向量赋予可靠度度量的方法，这能够使得健壮的模型拟合的整个工作更加精确和高效。
在文献中，有各种估计运动向量的可靠度的试探方法。一些简单方法基于的是平滑的区域倾向于给出不好的运动向量估计这个假设。这种方法基于输入图像块的空间度量，例如像素方差或边缘活动或诸如边角之类的特征的存在，来赋予可靠度。在相位相关的上下文中，一些方法使用相位相关峰的幅度作为可靠度的代理。所有这些方法都是有局限的，因为它们要求额外的复杂度，它们在实践中工作得较差，或者两种情况皆有。本方法基于将最佳运动向量估计与次佳运动向量估计相比较。
这里不详细描述模型拟合过程，因为可靠度度量对于模型拟合算法的许多不同变体都是可应用的。作为示例，一种方法可以对由相机运动引入的运动使用投影八参数模型。这种模型是在图像和视频处理任务中参数化相机运动的常见技术。对于将运动向量数据拟合到模型，能够使用任何健壮的模型拟合技术。
可靠度的先前度量的局限
原来的可靠度度量在式(1)中给出，为了方便我们在下面重复之：
按照定义s[x0，y0]≥s[x1，y1]，从而0≤reliability≤1。此方法基于主峰比次峰大多少来赋予可靠度。通过将可靠度度量与适当的阈值相比较，能够作出关于候选运动向量的可信度的二元判决。此度量是对运动向量可靠度的非常低成本的估计，其利用了在相位相关过程期间已经计算出的信息。
只要峰值s[x0，y0]是对峰信号的强度的良好近似，式(1)的度量就是运动向量质量非常好的指标。对于整数像素运动，公知相位相关峰近似为冲击脉冲，其能量集中在单个位置。在这种情况下，上述可靠度度量工作得很好。然而，当运动变成亚像素时，相位相关表面中的峰扩散到多个位置，这导致峰的幅度减小。在这种情况下，式(1)中的最佳峰值s[x0，y0]没有精确地反映峰信号的能量，从而运动体区域没有精确地反映运动估计的质量。
图8示出了四个不同的亚像素运动的四个分别的相位相关表面。左上的整数运动导致了恰好一个位置处的干净冲击脉冲。随着亚像素运动增大，这些图示出了峰的逐步减小和扩散。对于(1/2，1/2)的运动，幅度减小到(0，0)的运动的值的大约40％。这种急剧减小对于图中所示的示例可能没有很大影响，但是对于当相位相关表面具有更多噪声时或者当相位相关峰因为其他原因而额外变小时的其他情形，后果可能是可怕的。
改善可靠度估计的新方法
先前，对于相位相关峰信号，sinc模型被证明是正确的。对于没有整数分量的纯亚像素运动(dx，dy)，峰的理想sinc模型被写为：
p[x，y；dx，dy]＝sinc(x-dx)sinc(y-dy)， (4)
其中(x，y)是整数索引，并且dx和dy各自在[-1/2，1/2]的范围中。sinc函数被定义为
对于无亚像素运动，(dx，dy)＝(0，0)，并且p[x，y；0，0]是以(0，0)为中心的离散冲击脉冲。真实相位相关表面是式(4)的理想表面的受损版本。实际观察到的相位相关表面的模型是
s[x，y]＝Ap[x-xm，y-ym；dx，dy]+N[x，y]， (5)
其中A是峰的幅度，(xm，ym)是运动的整数分量，(dx，dy)是运动的亚像素分量，并且N[x，y]是加性噪声项。根据以下来定义估计运动向量可靠度的新方法：
1.执行运动估计(如前所述)来对最佳峰(x0，y0)估计运动的整数分量，及其亚像素分量(dx0，dy0)。
2.在位于位置(x0，y0)处的峰的邻域中，向s[x，y]应用以下滤波器：
pR[x，y；dx0，dy0]＝KRp[x，y；dx0，dy0]，
其中正规化常数KR是
应用滤波器pR[x，y；dx0，dy0]度量了峰邻域与相位相关峰的预期形状匹配得有多好。所得到的经滤波的表面被表示为sp[x，y；dx0，dy0]。
3.根据式(1)的这个经修改的版本计算可靠度：
其中(x1，y1)是次佳峰的位置。
滤波器pR[x，y；dx0，dy0]与来自式(4)的p[x，y；dx0，dy0]相同，但具有正规化因子KR。对正规化因子的特定选择允许了输出值sp[x0，y0；dx0，dy0]为式(5)中的2D sinc幅度A的最小二乘估计，这与单个值s[x0，y0]相比是信号强度的好得多指示。
在滤波器pR[x，y；dx0，dy0]和插补滤波器之间进行区分是重要的。基于sinc的插补滤波器将具有看起来类似于滤波器系数pR[x，y；dx0，dy0]的系数。然而，这种基于sinc的插补滤波器将具有不同的正规化常数。对于插补滤波器，正规化常数将被选择来给出等于1的DC增益，这将表明正规化因子为：
其与KR的不同在于分母中的“2”次幂。
在式(6)中，仅对最佳峰(x0，y0)应用滤波器pR。也可以对来自式(1)的次峰值s[x1，y1]应用滤波器pR[x，y；dx1，dy1]。在这种情况下，可靠度度量变成：
在实践中，只使用滤波器pR[x，y；dx0，dy0]的相对小的部分。在一些实施例中，滤波器被截断到3×3窗口、4×4窗口、5×5窗口或另外大小的窗口。图9示出了滤波器如何被应用到峰的邻域的几个示例。图9中的亚像素运动是根据先前介绍的亚像素方法来估计的。
在图9中可见，当亚像素运动处于其最大的(0.5，0.5)时，存在经滤波的峰值中的更急剧增大，而当亚像素运动接近(0.0，0.0)时，存在小增大或不存在增大。这是好的，因为式(1)中的旧的可靠度度量对于整数像素性能良好，而新的可靠度度量对于这个没有太大影响。然而，式(1)中的旧的可靠度度量对于大的亚像素位移性能没有那么好；式(6)的新的可靠度因此对于这些情况得到了改善。
表1将来自图9的示例与使用Kinterp而不是KR的类似的基于sinc的插补滤波器相比较。虽然插补的峰值大于原峰值，但注意来自图9的滤波器比插补滤波器给出更大的输出值。从图9中的滤波器可能得到更大的值，这是因为峰为sinc形这个理论上证明正确的假设(其允许了对幅度的最小二乘估计)，而简单的插补滤波器没有作出关于峰的形状的假设。
原峰值s[x0，y0] 利用KR正规化因子滤波后 利用Kinterp正规化因子滤波后
0.43 0.88 0.59
0.69 0.87 0.79
0.98 0.99 0.98
表1.图9的那些(其滤波器使用KR)与进行插补(并因此使用Kinterp)的类似滤波器之间的滤波结果的比较
两遍相位相关以消除亚像素运动偏置
亚像素运动偏置是非零均值的小误差，其能够影响亚像素运动估计。一般地，它来自两个来源之一：
1.相对于FFT窗口大小较大的平移性运动。此类偏置随着真实运动的幅值而增大，并且是由于相位相关峰幅度的衰减性质而引起的。
2.旋转性运动与平移性运动相组合。组合的旋转性-平移性运动能够被建模为两个分开的分量：绕块中心纯旋转性的一个分量，以及纯平移性的一个分量。在匹配整个块的运动估计方法中(例如完全搜索块匹配)，旋转性分量平均到零。然而，相位相关不匹配整个块，而是比较两个固定的窗口。因此，当平移和旋转都一起发生时，对相位相关窗口可见的旋转性分量不平均到零。结果是相位相关估计的运动中的小偏置。
这两种形式的亚像素运动偏置具有一个共同的基本属性：两者都是由于经历平移性运动的两个输入图像窗口之间的不完整重叠引起的。当输入窗口之间的平移性移位接近零时，亚像素偏置不存在。如果在输入窗口之间减小平移性移位，则也去除了偏置。
两遍相位相关解决了该问题，并且是如下执行的：
1.执行第一遍：执行通常的相位相关以得到运动(x0，y0)的整数分量，其对应于相位相关表面s[x，y]中的最大峰。不必计算运动的亚像素分量。
2.执行第二遍：
a.根据在第一遍中确定的运动(x0，y0)在参考图片中偏移窗口。这生成了新的参考窗口f2[x，y]来用在第二遍的相位相关中。
b.利用原始当前窗口g[x，y]和偏移参考窗口f2[x，y]执行通常的相位相关。中间结果是第二相位相关表面s2[x，y]。基于此第二相位相关表面计算亚像素运动估计(dxa，dya)。对于第二遍，注意以下事项：
i.不必重新计算G[m，n]，即当前块的FFT，因为它相对于第一遍没有变化。
ii.不必重新执行峰寻找，因为在第一遍中已经确定了运动的整数分量。从而，能够假定s2[x，y]中的峰位于原点(0，0)处或非常靠近原点(0，0)。
c.最终的运动估计于是是偏移和亚像素估计的加和：
(x0+dxa，y0+dya)。
利用两遍相位相关消除了亚像素误差偏置的效果。
图10图示出了该过程，而图11示出了该过程的框图。虽然图11没有明确示出可靠度度量(像图7中所示的那样)，但用以下各项中的一个或多个利用先前论述的技术计算可靠度度量是简单明了的：s[x，y]、s2[x，y]、峰(x0，y0)和(x1，y1)以及最终的亚像素运动估计。
图11示出了根据一些实施例的相位相关的流程图。在步骤1100中，执行参考帧中的N×N窗口与窗口函数w[x，y]的点乘。在步骤1102中，向结果应用快速傅立叶变换(FFT)，这得出复数值F[m，n]。在步骤1104中，执行当前帧中的N×N窗口与窗口函数w[x，y]的点乘。在步骤1106中，向结果应用FFT，这得出复数值G[m，n]。在步骤1108中，在正规化阶段中，计算以下式子：
其中*表示复共轭，并且||表示复变量的幅值。在步骤1110中，计算S[m，n]的逆FFT(IFFT)以得出s[x，y]，即相位相关表面。在步骤1112中，从相位相关表面中识别出K个最大的峰。这些峰的索引对应于在当前帧和参考帧中的N×N窗口之间存在的可能运动。这些峰的索引被表示为(xi，yi)，i＝0，...，K-1。索引是0，1，...，N-1中的正整数。-q的负运动导致索引位置N-q处的峰。
在步骤1114中，偏移窗口以生成要使用的新参考窗口。在步骤1116中，执行参考帧的N×N偏移窗口与窗口函数w[x，y]的点乘。在步骤1118中，向结果应用快速傅立叶变换(FFT)，这得出复数值F2[m，n]。
在步骤1120中，在正规化阶段中，计算以下式子：
其中*表示复共轭，并且||表示复变量的幅值。在步骤1122中，计算S2[m，n]的IFFT以得出s2[x，y]，即相位相关表面。在步骤1124中，对于位置(0，0)处的峰位置计算亚像素估计(dxa，dya)。最终的运动估计是(x0，y0)与亚像素估计的加和。
图12示出了被配置为实现根据一些实施例改善利用相位相关估计的运动的精确度和可靠度的方法的示例性计算设备1200的框图。计算设备1200能够用于获取、存储、计算、传输和/或显示诸如图像和视频之类的信息。例如，计算设备1200能够获取和存储图像或视频。当在设备1200上对视频编码时能够使用改善所估计的运动的精确度和可靠度的方法。一般地，适用于实现计算设备1200的硬件结构包括网络接口1202、存储器1204、处理器1206、(一个或多个)I/O设备1208、总线1210和存储设备1212。处理器的选择不是关键的，只要选择具有充分速度的适当处理器即可。存储器1204能够是本领域已知的任何传统的计算机存储器。存储设备1212能够包括硬驱动器、CDROM、CDRW、DVD、DVDRW、闪存卡或任何其他存储设备。计算设备1200能够包括一个或多个网络接口1202。网络接口的示例包括连接到以太网或其他类型的LAN的网络卡。(一个或多个)I/O设备1208能够包括以下各项中的一个或多个：键盘、鼠标、监视器、显示器、打印机、调制解调器、触摸屏、按钮接口和其他设备。用于执行改善运动估计的精确度和可靠度的方法的(一个或多个)改善精确度和可靠度应用1230可能被存储在存储设备1212和存储器1204中并且像应用通常被处理那样被处理。在计算设备1200中能够包括比图12中所示更多或更少的组件。在一些实施例中，包括改善可靠度和精确度硬件1220。虽然图12中的计算设备1200包括用于改善可靠度和精确度的应用1230和硬件1220，但改善运动估计的可靠度和精确度的方法能够用硬件、固件、软件或其任何组合在计算设备上实现。
在一些实施例中，(一个或多个)改善可靠度和精确度应用1230包括若干个应用和/或模块。在一些实施例中，(一个或多个)改善可靠度和精确度应用1230包括诸如以下模块：第一窗口函数模块，用于向当前帧的窗口应用窗口函数以获得当前帧结果；第一FFT模块，用于向当前帧结果应用快速傅立叶变换以得出第一组复数值；第二窗口函数模块，用于向参考帧的窗口应用窗口函数以获得参考帧结果；第二FFT模块，用于向参考帧结果应用快速傅立叶变换以得出第二组复数值；第一正规化模块，用于对第二组复数值与第一组复数值的复共轭的积进行正规化；第一IFFT模块，用于计算逆快速傅立叶变换以得出相位相关表面；具有匹配的滤波器的峰识别模块，用于从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动；偏移模块，用于通过峰输入偏移；第三窗口函数模块，于向帧的窗口应用窗口函数以获得帧结果；第三FFT模块，用于向帧结果应用快速傅立叶变换以得出第三组复数值；第二正规化模块，用于对第三组复数值与第一组复数值的复共轭的积进行正规化；第二IFFT模块，用于计算逆快速傅立叶变换以得出相位相关表面；以及亚像素估计模块，用于对先前识别的峰计算亚像素估计。在一些实施例中，能够包括更少的或额外的模块和/或子模块。
适当的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、/iPhone、视频播放器、DVD写入器/播放器、 写入器/播放器、电视机、家庭娱乐系统或任何其他适当的计算设备。
为了利用改善利用相位相关的运动估计的精确度和可靠度的方法，用户例如在数字便携式摄像机、数字相机或电视机上显示图像或视频，并且在图像或视频被显示的同时，改善运动估计的精确度和可靠度的方法自动更好地检测运动，使得图像或视频被平滑地显示、噪声更少、动态范围改善或者实现一些其他期望特征。改善运动估计的精确度和可靠度的方法在没有用户参与的情况下自动发生。在一些实现方式中，在获取图像或视频的同时使用改善运动估计的精确度和可靠度的方法。
在操作中，改善利用相位相关的运动估计的精确度和可靠度的方法执行相位相关，其中相位相关峰的2D邻域被用两个1D向量的外积来近似以消除亚像素误差。改善了可靠度估计。此外，实现了两遍相位相关来消除亚像素运动偏置。结果是更好的运动向量质量，其进而又生成更好的图像和/或视频。
改善利用相位相关估计的运动的精确度和可靠度的方法的一些实施例
1.一种被编程在设备中的存储器中的执行相位相关以消除亚像素运动偏置的方法，包括：
a.执行第一遍的相位相关；
b.根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；
c.利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；
d.基于第二相位相关表面来计算亚像素运动估计；以及
e.通过对偏移和亚像素估计求和来计算最终运动估计。
2.如第1条所述的方法，其中执行第一遍的相位相关进一步包括：
a.向当前帧的窗口应用窗口函数以获得当前帧结果；
b.向当前帧结果应用快速傅立叶变换以得出第一组复数值；
c.向参考帧的窗口应用窗口函数以获得参考帧结果；
d.向参考帧结果应用快速傅立叶变换以得出第二组复数值；
e.对第二组复数值与第一组复数值的复共轭的积进行正规化；
f.计算逆快速傅立叶变换以得出相位相关表面；以及
g.从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。
3.如第2条所述的方法，其中执行第二遍的相位相关进一步包括：
a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；
b.向偏移帧结果应用快速傅立叶变换以得出第三组复数值；
c.对第三组复数值与第一组复数值的复共轭的积进行正规化；以及
d.计算逆快速傅立叶变换以得出第二相位相关表面。
4.如第1条所述的方法，还包括实现可靠度度量。
5.如第1条所述的方法，其中所述设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
6.一种被编程在设备中的存储器中的用于执行相位相关以消除亚像素运动偏置的系统，包括：
a.第一遍模块，用于执行第一遍的相位相关；
b.偏移模块，用于根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；
c.第二遍模块，用于利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；
d.亚像素模块，用于基于第二相位相关表面来计算亚像素运动估计；以及
e.最终运动模块，用于通过对偏移和亚像素估计求和来计算最终运动估计。
7.如第6条所述的系统，其中第一遍模块进一步包括：
a.第一窗口函数模块，用于向当前帧的窗口应用窗口函数以获得当前帧结果；
b.第一快速傅立叶变换模块，用于向当前帧结果应用快速傅立叶变换以得出第一组复数值；
c.第二窗口函数模块，用于向参考帧的窗口应用窗口函数以获得参考帧结果；
d.第二快速傅立叶变换模块，用于向参考帧结果应用快速傅立叶变换以得出第二组复数值；
e.正规化模块，用于对第二组复数值与第一组复数值的复共轭的积进行正规化；
f.逆快速傅立叶变换模块，用于计算逆快速傅立叶变换以得出相位相关表面；以及
g.峰识别模块，用于从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。
8.如第7条所述的系统，其中第二遍模块进一步包括：
a.偏移窗口函数模块，用于向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；
b.第三快速傅立叶变换模块，用于向偏移帧结果应用快速傅立叶变换以得出第三组复数值；
c.对第三组复数值与第一组复数值的复共轭的积进行正规化；以及
d.第二逆快速傅立叶变换模块，用于计算逆快速傅立叶变换以得出第二相位相关表面。
9.如第6条所述的系统，还包括用于实现可靠度度量的可靠度模块。
10.如第6条所述的系统，其中所述设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
11.一种相机设备，包括：
a.视频获取组件，用于获取视频；
b.编码器，用于对视频编码，包括通过以下操作进行的相位相关运动估计：
i.执行第一遍的相位相关；
ii.根据在第一遍中确定的运动利用偏移来偏移参考图片中的窗口；
iii.利用原始当前窗口和偏移参考窗口执行第二遍的相位相关以生成第二相位相关表面；
iv.基于第二相位相关表面来计算亚像素运动估计；以及
v.通过对偏移和亚像素估计求和来计算最终运动估计；以及
c.存储器，用于存储经编码的视频。
12.如第11条所述的相机设备，其中执行第一遍的相位相关进一步包括：
a.向当前帧的窗口应用窗口函数以获得当前帧结果；
b.向当前帧结果应用快速傅立叶变换以得出第一组复数值；
c.向参考帧的窗口应用窗口函数以获得参考帧结果；
d.向参考帧结果应用快速傅立叶变换以得出第二组复数值；
e.对第二组复数值与第一组复数值的复共轭的积进行正规化；
f.计算逆快速傅立叶变换以得出相位相关表面；以及
g.从相位相关表面识别一个或多个峰，其中峰的索引对应于可能的运动。
13.如第12条所述的相机设备，其中执行第二遍的相位相关进一步包括：
a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；
b.向偏移帧结果应用快速傅立叶变换以得出第三组复数值；
c.对第三组复数值与第一组复数值的复共轭的积进行正规化；以及
d.计算逆快速傅立叶变换以得出第二相位相关表面。
14.一种被编程在设备中的存储器中的确定利用相位相关的亚像素运动估计精确度的方法，包括：
a.利用两个一维向量的外积来近似相位相关峰的二维邻域；以及
b.自动校正不正确的估计峰位置。
15.如第14条所述的方法，其中二维邻域是从由以下各项构成的组中选择的：3×3邻域、4×4邻域以及5×5邻域。
16.如第14条所述的方法，其中两个一维向量包括与垂直亚像素运动向量相对应的列向量和与水平亚像素运动向量相对应的行向量。
17.如第14条所述的方法，其中近似二维邻域包括实现秩1矩阵近似。
18.一种被编程在设备中的存储器中的改善对运动估计的可靠度的估计的方法，包括：
a.执行运动估计以估计最佳峰的运动的整数分量以及亚像素分量；
b.应用滤波器来度量峰邻域如何匹配相位相关峰的预期形状；以及
c.计算运动估计的可靠度。
19.如第18条所述的方法，其中计算可靠度利用了次佳峰。
20.如第18条所述的方法，其中滤波器利用了正规化因子。
21.如第18条所述的方法，其中滤波器被截断到以下之一：3×3窗口、4×4窗口或者5×5窗口。
22.一种被编程在设备中的存储器中的计算可靠度度量的方法，包括：
a.执行运动估计以估计最佳峰的运动的整数分量以及最佳峰的亚像素分量；
b.在最佳峰的邻域中向相位相关表面应用滤波器；以及
c.利用所得到的经滤波的表面计算可靠度度量。
23.如第22条所述的方法，其中滤波器实现了正规化常数。
24.如第22条所述的方法，其中计算可靠度使用了次佳峰的位置。
25.如第22条所述的方法，其中所述设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
26.一种被编程在设备中的存储器中的改善运动向量的亚像素精确度的方法，包括：
a.确定要近似的相位相关峰的二维邻域；以及
b.利用两个一维向量的外积来近似相位相关峰的二维邻域。
27.如第26条所述的方法，其中二维邻域是从由以下各项构成的组中选择的：3×3邻域、4×4邻域以及5×5邻域。
28.如第26条所述的方法，其中两个一维向量包括与垂直亚像素运动向量相对应的列向量和与水平亚像素运动向量相对应的行向量。
29.如第26条所述的方法，其中所述设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、 视频播放器、DVD写入器/播放器、 写入器/播放器、电视机以及家庭娱乐系统。
已经就包含细节的具体实施例描述了本发明以帮助理解本发明的构造和操作的原理。这里对具体实施例及其细节的这种提及并不意欲限制所附权利要求的范围。本领域的技术人员将容易清楚，在不脱离由权利要求限定的本发明的精神和范围的情况下，可对被选择用于例示的实施例进行其他各种修改。

Claims (11)

1.一种被编程在设备中的存储器中的执行相位相关以消除亚像素运动偏置的方法，包括：
a.执行第一遍的相位相关；
b.根据在所述第一遍中确定的运动利用偏移来偏移参考图片中的窗口；
c.利用原始当前窗口和偏移参考窗口执行第二遍的所述相位相关以生成第二相位相关表面；
d.基于所述第二相位相关表面来计算亚像素运动估计；以及
e.通过对所述偏移和亚像素估计求和来计算最终运动估计；
f.对所述最终运动估计进行可靠度度量，其中所述可靠度度量是通过以下步骤来计算的：
(1).执行运动估计以估计最佳峰的运动的整数分量(x0，y0)以及最佳峰的亚像素分量(dx0，dy0)；
(2).在位于所述整数分量(x0，y0)处的所述峰的邻域中，向相位相关表面应用滤波器，以度量所述峰的邻域与相位相关峰的预期形状匹配的有多好；以及
(3).利用所得到的经滤波的表面计算所述可靠度度量。
2.如权利要求1所述的方法，其中执行第一遍的相位相关进一步包括：
a.向当前帧的窗口应用窗口函数以获得当前帧结果；
b.向所述当前帧结果应用快速傅立叶变换以得出第一组复数值；
c.向参考帧的窗口应用所述窗口函数以获得参考帧结果；
d.向所述参考帧结果应用快速傅立叶变换以得出第二组复数值；
e.对所述第二组复数值与所述第一组复数值的复共轭的积进行正规化；
f.计算逆快速傅立叶变换以得出相位相关表面；以及
g.从所述相位相关表面识别一个或多个峰，其中所述峰的索引对应于可能的运动。
3.如权利要求2所述的方法，其中执行第二遍的相位相关进一步包括：
a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；
b.向所述偏移帧结果应用快速傅立叶变换以得出第三组复数值；
c.对所述第三组复数值与所述第一组复数值的复共轭的积进行正规化；以及
d.计算逆快速傅立叶变换以得出第二相位相关表面。
4.如权利要求1所述的方法，其中所述设备是从由以下各项构成的组中选择的：个人计算机、膝上型计算机、计算机工作站、服务器、大型机计算机、手持式计算机、个人数字助理、蜂窝/移动电话、智能器具、游戏控制器、数字相机、数字便携式摄像机、相机电话、iPhone、视频播放器、DVD写入器/播放器、写入器/播放器、电视机以及家庭娱乐系统。
5.如权利要求1所述的方法，其中所述滤波器实现了正规化常数。
6.如权利要求1所述的方法，其中计算可靠度使用了次佳峰的位置。
7.一种相机设备，包括：
a.视频获取组件，用于获取视频；
b.编码器，用于对视频编码，包括通过以下操作进行的相位相关运动估计：
i.执行第一遍的相位相关；
ii.根据在所述第一遍中确定的运动利用偏移来偏移参考图片中的窗口；
iii.利用原始当前窗口和偏移参考窗口执行第二遍的所述相位相关以生成第二相位相关表面；
iv.基于所述第二相位相关表面来计算亚像素运动估计；以及
v.通过对所述偏移和亚像素估计求和来计算最终运动估计；以及
vi.对所述最终运动估计进行可靠度度量，其中所述可靠度度量是通过以下步骤来计算的：
(1).执行运动估计以估计最佳峰的运动的整数分量(x0，y0)以及最佳峰的亚像素分量(dx0，dy0)；
(2).在位于所述整数分量(x0，y0)处的所述峰的邻域中，向相位相关表面应用滤波器，以度量所述峰的邻域与相位相关峰的预期形状匹配的有多好；以及
(3).利用所得到的经滤波的表面计算所述可靠度度量
c.存储器，用于存储经编码的视频。
8.如权利要求7所述的相机设备，其中执行第一遍的相位相关进一步包括：
a.向当前帧的窗口应用窗口函数以获得当前帧结果；
b.向所述当前帧结果应用快速傅立叶变换以得出第一组复数值；
c.向参考帧的窗口应用所述窗口函数以获得参考帧结果；
d.向所述参考帧结果应用快速傅立叶变换以得出第二组复数值；
e.对所述第二组复数值与所述第一组复数值的复共轭的积进行正规化；
f.计算逆快速傅立叶变换以得出相位相关表面；以及
g.从所述相位相关表面识别一个或多个峰，其中所述峰的索引对应于可能的运动。
9.如权利要求8所述的相机设备，其中执行第二遍的相位相关进一步包括：
a.向参考帧的窗口应用偏移窗口函数以获得偏移帧结果；
b.向所述偏移帧结果应用快速傅立叶变换以得出第三组复数值；
c.对所述第三组复数值与所述第一组复数值的复共轭的积进行正规化；以及
d.计算逆快速傅立叶变换以得出第二相位相关表面。
10.如权利要求7所述的相机设备，其中所述滤波器实现了正规化常数。
11.如权利要求7所述的相机设备，其中计算可靠度使用了次佳峰的位置。
CN201110317367.2A 2010-10-26 2011-10-13 改善利用相位相关估计的运动的精确度和可靠度的方法 Active CN102611824B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/912,587 US8792559B2 (en) 2010-10-26 2010-10-26 Method to improve accuracy and reliability of motion estimated with phase correlation
US12/912,587 2010-10-26

Publications (2)

Publication Number Publication Date
CN102611824A CN102611824A (zh) 2012-07-25
CN102611824B true CN102611824B (zh) 2015-07-29

Family

ID=44785675

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110317367.2A Active CN102611824B (zh) 2010-10-26 2011-10-13 改善利用相位相关估计的运动的精确度和可靠度的方法

Country Status (3)

Country Link
US (2) US8792559B2 (zh)
EP (1) EP2447913B1 (zh)
CN (1) CN102611824B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8705894B2 (en) 2011-02-15 2014-04-22 Digital Optics Corporation Europe Limited Image rotation from local motion estimates
US8587666B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Object detection from image profiles within sequences of acquired digital images
US8587665B2 (en) * 2011-02-15 2013-11-19 DigitalOptics Corporation Europe Limited Fast rotation estimation of objects in sequences of acquired digital images
US9313519B2 (en) 2011-03-11 2016-04-12 Google Technology Holdings LLC Interpolation filter selection using prediction unit (PU) size
US9264725B2 (en) 2011-06-24 2016-02-16 Google Inc. Selection of phase offsets for interpolation filters for motion compensation
JP5727673B2 (ja) * 2011-07-01 2015-06-03 モトローラ モビリティ エルエルシーＭｏｔｏｒｏｌａ Ｍｏｂｉｌｉｔｙ Ｌｌｃ 時間予測のためのジョイントサブピクセル補間フィルタ
US20140022373A1 (en) * 2012-07-20 2014-01-23 University Of Utah Research Foundation Correlative drift correction
CN103996205B (zh) * 2013-02-15 2019-01-08 三星电子株式会社 一种电子设备和操作电子设备的方法
US9275468B2 (en) * 2014-04-15 2016-03-01 Intel Corporation Fallback detection in motion estimation
CN104917931B (zh) 2015-05-28 2018-03-02 京东方科技集团股份有限公司 运动图像补偿方法及装置、显示装置
US9892518B2 (en) * 2015-06-09 2018-02-13 The Trustees Of Columbia University In The City Of New York Systems and methods for detecting motion using local phase information
JP6493877B2 (ja) * 2015-08-25 2019-04-03 富士フイルム株式会社 基準点評価装置、方法およびプログラム、並びに位置合せ装置、方法およびプログラム
US10009622B1 (en) 2015-12-15 2018-06-26 Google Llc Video coding with degradation of residuals
JP6545229B2 (ja) * 2017-08-23 2019-07-17 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
US10915782B2 (en) * 2017-12-14 2021-02-09 Pixart Imaging Inc. Image parameter calculating method, object tracking method, and image parameter calculating system
CA2996173C (en) * 2018-02-23 2020-02-18 Librestream Technologies Inc. Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
US10489928B2 (en) * 2018-02-23 2019-11-26 Librestream Technologies Inc. Image processing system for inspecting object distance and dimensions using a hand-held camera with a collimated laser
WO2020081018A1 (en) * 2018-10-17 2020-04-23 Aselsan Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇ Video processing-based image stabilization method
JP7423196B2 (ja) * 2019-05-09 2024-01-29 キヤノン株式会社 撮像装置、撮像システム、およびその制御方法
US20210185214A1 (en) * 2019-12-13 2021-06-17 Sony Corporation Trans-spectral feature detection for volumetric image alignment and colorization
CN112580478A (zh) * 2020-12-14 2021-03-30 深圳创怀医疗科技有限公司 判断样本漂动的方法以及电子设备
US11941878B2 (en) 2021-06-25 2024-03-26 Raytheon Company Automated computer system and method of road network extraction from remote sensing images using vehicle motion detection to seed spectral classification
US11915435B2 (en) * 2021-07-16 2024-02-27 Raytheon Company Resampled image cross-correlation
CN113808009A (zh) * 2021-09-24 2021-12-17 熵智科技(深圳)有限公司 一种峰值初相位估计方法、装置、计算机设备及存储介质
CN114897950A (zh) * 2022-04-29 2022-08-12 上海精积微半导体技术有限公司 图像配准及缺陷检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2207139A1 (en) * 2009-01-09 2010-07-14 Vestel Elektronik Sanayi ve Ticaret A.S. Motion estimation by a new and adaptive hierarchical phase correlation

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0261137B1 (en) 1986-03-19 1991-10-16 British Broadcasting Corporation Tv picture motion measurement
GB8626527D0 (en) 1986-11-06 1986-12-10 British Broadcasting Corp 3d video transmission
GB2231226B (en) 1989-04-27 1993-09-22 Sony Corp Motion dependent video signal processing
GB9204117D0 (en) 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
GB9325922D0 (en) 1993-12-18 1994-02-23 Kodak Ltd Detection of global translations between images
GB9404091D0 (en) 1994-03-03 1994-04-20 Snell & Wilcox Ltd Video signal processing
EP0697788A3 (en) 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing
GB2303513B (en) 1995-07-21 1999-09-29 Innovision Res Ltd Improved correlation processing for motion estimation
US6483538B2 (en) 1998-11-05 2002-11-19 Tektronix, Inc. High precision sub-pixel spatial alignment of digital images
US6611560B1 (en) 2000-01-20 2003-08-26 Hewlett-Packard Development Company, L.P. Method and apparatus for performing motion estimation in the DCT domain
KR100579542B1 (ko) * 2003-07-29 2006-05-15 삼성전자주식회사 블럭 간의 상관성을 고려한 움직임 추정 장치 및 방법
US7349583B2 (en) 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
US7751482B1 (en) * 2004-02-27 2010-07-06 Vbrick Systems, Inc. Phase correlation based motion estimation in hybrid video compression
US7620269B1 (en) 2004-07-01 2009-11-17 Sandia Corporation Edge-based correlation image registration for multispectral imaging
EP1647937A1 (en) 2004-10-15 2006-04-19 Sony Deutschland GmbH Method for motion estimation
GB0425430D0 (en) 2004-11-18 2004-12-22 Mitsubishi Electric Inf Tech Dominant motion analysis
JP4382797B2 (ja) 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および３次元位置計測方法
US7809208B2 (en) 2007-05-30 2010-10-05 Microsoft Corporation Image sharpening with halo suppression
US8477848B1 (en) 2008-04-22 2013-07-02 Marvell International Ltd. Picture rate conversion system architecture
US8311116B2 (en) 2008-07-09 2012-11-13 Marvell World Trade Ltd. Method and apparatus for periodic structure handling for motion compensation
US8155452B2 (en) 2008-10-08 2012-04-10 Harris Corporation Image registration using rotation tolerant correlation method
US8259809B2 (en) * 2009-01-12 2012-09-04 Mediatek Singapore Pte Ltd. One step sub-pixel motion estimation
US8488007B2 (en) * 2010-01-19 2013-07-16 Sony Corporation Method to estimate segmented motion
US8285079B2 (en) * 2010-03-19 2012-10-09 Sony Corporation Method for highly accurate estimation of motion using phase correlation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2207139A1 (en) * 2009-01-09 2010-07-14 Vestel Elektronik Sanayi ve Ticaret A.S. Motion estimation by a new and adaptive hierarchical phase correlation

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TELEVISION MOTION MEASUREMENT FOR DATV AND OTHER APPLICATIONS;G. A. Thomas;《BBC RESEARCH AND DEVELOPMENT REPORT》;19870901;正文第4.1.2节第1段，第4.1.3节第3段 *

Also Published As

Publication number Publication date
CN102611824A (zh) 2012-07-25
EP2447913A1 (en) 2012-05-02
EP2447913B1 (en) 2019-06-05
US20140307120A1 (en) 2014-10-16
US20120098986A1 (en) 2012-04-26
US8792559B2 (en) 2014-07-29
US9374507B2 (en) 2016-06-21

Similar Documents

Publication Publication Date Title
CN102611824B (zh) 改善利用相位相关估计的运动的精确度和可靠度的方法
JP6567127B2 (ja) 信号間の変換を推定するための信号処理装置及び方法
Baboulaz et al. Exact feature extraction using finite rate of innovation principles with an application to image super-resolution
US7349583B2 (en) Global motion estimation image coding and processing
Kang et al. Motion compensated frame rate up-conversion using extended bilateral motion estimation
Suresh et al. Superresolution of license plates in real traffic videos
US7831065B2 (en) Method for motion estimation
EP2157800A1 (en) Method and apparatus for increasing the frame rate of a video signal
US20110170784A1 (en) Image registration processing apparatus, region expansion processing apparatus, and image quality improvement processing apparatus
JP2009109666A (ja) 解像度変換装置、方法およびプログラム
Trucco et al. Real-time disparity maps for immersive 3-d teleconferencing by hybrid recursive matching and census transform
Vandewalle et al. Double resolution from a set of aliased images
Sorwar et al. Fast global motion estimation using iterative least-square estimation technique
JP3476710B2 (ja) ユークリッド的な３次元情報の復元方法、および３次元情報復元装置
EP1955548B1 (en) Motion estimation using motion blur information
Hosoi et al. Fast image inpainting using similarity of subspace method
Neumann et al. Adaptive multistage 2D image motion field estimation
Briassouli et al. Fusion of frequency and spatial domain information for motion analysis
Chiao et al. Rolling shutter correction for video with large depth of field
Kopernik et al. Improved disparity estimation for the coding of stereoscopic television
Turgay et al. Directionally adaptive super-resolution
Soatto et al. Dynamic visual motion estimation from subspace constraints
Haque et al. Computationally efficient global motion estimation using a multi-pass image interpolation algorithm
Ha et al. Subpixel shift estimation in noisy image using a wiener filtered local region
Chen et al. Robust pose estimation based on sylvester’s equation: Single and multiple collaborative cameras

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant