CN102282848B - 用于相平面关联的自适应频域滤波 - Google Patents

用于相平面关联的自适应频域滤波 Download PDF

Info

Publication number
CN102282848B
CN102282848B CN200980154534.7A CN200980154534A CN102282848B CN 102282848 B CN102282848 B CN 102282848B CN 200980154534 A CN200980154534 A CN 200980154534A CN 102282848 B CN102282848 B CN 102282848B
Authority
CN
China
Prior art keywords
phase
plane
phase plane
picture
high frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN200980154534.7A
Other languages
English (en)
Other versions
CN102282848A (zh
Inventor
G·F·弗雷登哈根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATI Technologies ULC
Original Assignee
ATI Technologies ULC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATI Technologies ULC filed Critical ATI Technologies ULC
Publication of CN102282848A publication Critical patent/CN102282848A/zh
Application granted granted Critical
Publication of CN102282848B publication Critical patent/CN102282848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/547—Motion estimation performed in a transform domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在相平面关联(PPC)工艺中，采用自适应频域滤波，以帮助产生候选的运动向量。在PPC工艺之前，测定预滤波输入图像是否有利。此导致比其它情况更可靠和一致的PPC表面。滤波器是用于频域，其中在有就地窗(in-place？window)的情況下，时域卷积(time-domain？convolution)会成为更有效率的分量形式(component-wise)的乘法(multiplication)。在计算的傅立叶表面的高频含量的能量测量，测量图像中的高频含量的程度。首先，计算两个图像的傅里叶转换。接着，从傅立叶表面估计高频含量。计算窗函数作为高频能量的函数。窗被应用于傅立叶表面。然后，修改的傅立叶表面送入PPC工艺。

Description

用于相平面关联的自适应频域滤波
技术领域
一般而言，本发明是关于关联两个图像(image)，且尤其是关于相平面关联(phase plane correlation；PPC)的使用。
背景技术
在图像处理应用中，最好是自数码数据获取清晰，高分辨率的图像和视频(video)。运动向量数据提供关于图像的关键部件的运动的速度和方向的信息，例如，如从图像的一帧到下一帧经一时间决定将变换的部分图像。使用运动向量数据的应用包括但不限于格式转换、去隔行(de-interlacing)、压缩、图像对位(image registration)和其它需某种时间内插(temporal interpolation)的应用。格式转换的例子包括：1)帧速率转换，如NTSC视频率至HDTV视频率的转换，2)隔行扫描(interlaced)视频转换为逐行扫描(progressive)视频，和3)传统DVD格式视频的3比2下拉伪影校正(3-to-2 pulldown artifact removal)。视频数据压缩工艺也受益于准确的运动向量数据。
压缩经常被用来通过限制带宽而允许有用的数据传输。普遍的视频压缩算法是利用视频压缩标准，例如，如MPEG2、MPEG4和H.26L等。受益于精确的运动向量数据分析的另一应用程序是显示特殊效果的制作，如相机参数的全域估计，有助于产生平移、倾斜或缩放的显示效果。
电视信号的数码处理(例如，编码、传输、存储和解码)，需要使用运动向量数据。运动向量数据是必要的，因为在时域(temporal domain)取样之前，电视信号通常不是以Nyquist标准所要求的方式进行滤波。因此，运动图像包含暂时别名的信息。传统线性内插技术因此在时域不能成功。
ITU-T(国际电信联盟远程通信标准化部门)建议使用H.261和H.262标准作为编码、存储和传输图像信号用的方法。ISO(国际标准化组织)建议MPEG-1(11172-2)和MPEG-2(13818-2)。以这些标准为基础的方法是采用帧间预测(inter frame prediction)作为编码视频信号的运动补偿。
帧间预测是根据视频数据而识别的冗余特征。视频信号包含从帧至帧的高度冗余信息(预定的帧的许多图像元素不会运动，从而将在随后的帧里重复)。例如，由于特殊效果所产生的帧、或产生以增加视频信号的清晰度的帧亦是如此。运动补偿帧间预测是一种利用帧间冗余的技术，以减少描述视频帧的顺序或建立图像帧所需的数据量，例如从隔行扫描视频信号制作逐行扫描视频信号所建立的。进行这样的操作，帧至帧运动的精确测定是很重要的。
一种用于运动检测的典型方法是在图像域进行。这种方法试图让参考(先前的)图像帧的区块与当前(接在该参考图像帧之后的)帧的区块匹配从。许多所谓的区块匹配方法是首先计算在当前图像帧的区块与在参考图像帧的所有区块的像素的差异的绝对值。具有最小差异的当前图像帧的区块被测定为匹配。然后当前帧的区块和参考帧的相应匹配区块之间的位移的特征是水平和垂直位移分量，因而产生运动向量。此过程被称为全搜索过程(full-search procedure)。
另一种运动检测方法利用相平面而非像平面(image plane)。此种相平面运动检测的一例描述在美国专利号7197074中-由比斯瓦斯等人所着，名为相平面关联运动向量的测定方法，在此纳入参考。相平面关联(PPC)是一种关联两个图像的有效方法。在频域，由当前图像帧的特定区块和参考图像帧的相应区块之间的相移(相位差)表示运动。相位差的反转傅立叶转换得到的关联表面表示移动的像素的数量和像素移动的幅度。这种技术有直接测定运动向量的优势。然而，相平面关联运动向量测定技术并不符合当前的视频处理需求。需要有效的方法计算图像中的运动，减少运动向量至像素产生错误分配的机会。
传统相平面关联(PPC)产生关联表面，其中波峰和其各自的振幅是直接表示图像亮度的相似度。传统的PPC技术有正规化步骤，减轻亮度的不同造成比简单的关联更有识别力的正规化关联表面。然而，传统的PPC方法并不能充分处理不同的输入图像内容。
基于PPC关联表面的标准亮度的推导如下：
PPC ( I 1 , I 2 ) = F - 1 ( F ( I 1 ) · F ( I 2 ) * | F ( I 1 ) · F ( I 2 ) * | ) .
此公式称为“基于PPC的亮度”。I、F和F-1分别是图像的亮度、傅立叶和反转傅里叶转换。
图1(先前技艺)是PPC图像关联的已知配置的一部分的方块图。亮度信号LUMA1，代表在时域的第一图像，由第一快速傅立叶转换FFT1转换为第一频域信号F1。亮度信号LUMA2，代表第二图像，由第二快速傅立叶转换FFT2转换为第二频域信号F2。根据表达式(W.F1).(W.F2)*/|(W.F1).(W.F2)*|.在相平面关联器102中的定义窗进行相平面关联。
来自相平面关联102的频域信号通过反转快速傅立叶转换IFFT而被转换回时域以提供相平面关联表面。
为了以最佳状态运作PPC，进行位移的对象(从一个帧移动到下一个帧)需要被良好定义。这意味此物体的边界必须由急剧边缘定义。然而，当输入图像很高频时，例如，接近Nyquist频率，很难明确界定边界。通常需要采用低通滤波器预处理(pre-process)输入图像。然而，此种预处理可能会产生问题。无法以相同的滤波器正确处理图像内容的频率极限。此外，在时域的滤波需要执行运算复杂的二维卷积(convolution)。对不同的应用而言，这是价格太高无法负担的。
发明内容
此段内容的目的是用以概述本发明的某些态样，以及用以大略介绍某些较佳实施例。可以进行简化或省略以避免模糊此段内容的目的。此种简化或省略并非意欲限制本发明的范围。本发明包含下列如在此所实施以及广泛描述者，其与本发明的原理相符。
本发明大致是针对改善的相平面关联(PPC)的技术，包括方法和装置。根据本发明实施例的PPC技术采用自适应频域滤波，当使用PPC测定图像关联时，帮助产生候选的运动向量
根据本发明一态样，在应用传统的PPC工艺之前，首先测定预滤波输入图像是否有利。如果要预滤波，则执行预滤波。另一方面，如果测定不要预滤波，则不进行任何预滤波和继续进行正常的PPC工艺。选择性预滤波的使用导致会得到比其它不使用此种预滤波的情形还更可靠和一致的PPC表面。
使用自适应频域滤波进行有关预滤波的测定和预滤波。在频域进行预滤波，以就地窗(in-place window)有效利用进行乘法的组件，有效地进行时域卷积。在计算的傅立叶表面测量图像高频含量的能量，测量图像中的高频含量的程度。接着使用高频含量的量以控制或“适应”滤波工艺。
传统的相平面方法使用完全正规化的分子。但这根据应用而并非必要。与此相反，根据本发明所述，可调制用来“变白”频谱的正规化分母以更适当可能地处理频带特定含量。在高频估计器316方面，根据在频率表面的含量的相对分配的基础，可选择变白到較少或較大的程度。例如，如果图像含量主要是高频，指数可比其它情况更大。相反，如果图像含量为较窄带的性质(较少的高频含量)，可以选择比其它情况还小的正规化指数。
在实际应用中根据确切性质和目的，可设计正规化指数的轮廓或排程。在设计和选择一或多个轮廓，可能评估候选运动指量的精度和差异化的程度。
此处描述的技术在先进视频处理方面，特别是当使用帧频转换的相平面关联时是有用的。减少杂散运动向量候选数是执行的主要问题。因此，本发明实施例应用包括视频帧关联、视频数据压缩与视频处理系统。
依据本发明实施例的方法包括：一)计算第一和第二图像的傅立叶转换；二)直接从傅立叶表面估计高频含量；三)计算估计的高频能量的函数的窗函数；四)将窗应用到傅立叶表面；和五)提供修改的傅立叶表面至PPC工艺。
本发明进一步的特点和优势，以及本发明的各种实施例的结构和操作，下面参考附图详细描述。
附图说明
本发明可参考以下结合附加图式的说明而理解，该图式中，同样的组件符号表示同样或功能相似的的组件。首先出现的组件是以在相应的参考号码最左边的数字指出。
图1(先前技艺)是PPC图像关联的部分已知的配置的方块图。
图2是根据本发明实施例的方法的流程图。
图3是根据本发明实施例的包括自适应频域滤波的PPC图像关联的配置的方块图。
图4是在高频估计器314发生的高频估计的概念的在频率平面(在图2的F1或F2)的图像的示意图。
图5是高频估计器314进行的高频估计的结果的示意图。
图6是图3所示的方块的高频估计器314的方块图。
图7是高频估计器314和自适应窗函数产生器316的实施例的方块图。
图8是图3所示的方块的相平面形成模块326的方块图。
本发明进一步的特点和优势，以及本发明的各种实施例的结构和操作，下面参考附图详细描述，其中同样的组件符号表示同样或功能相似的的组件。首先出现的组件是以在相应的参考号码最左边的数字指出。
具体实施方式
从本发明中所叙述的下列各种实施例可更加了解本发明。因此，特定实施例是本发明的观点，但各实施例本身并不代表整个发明。在许多情况下，一个特定实施例中的各别组件可替换成实施相似或对应功能的另一实施例中的不同组件。本技术领域人员能从本处的教示而看出在本发明范围内的额外修改、应用和实施例以及能显著利用本发明的额外领域。
本发明提供一种相平面关联(PPC)技术，其使用自适应频域滤波，以在使用相平面关联方法时帮助产生候选的运动向量。用PPC工艺之前，测定预滤波(pre-filter)输入图像是否有利。如果是，使用自适应频域滤波进行预滤波。此导致比其它情形更可靠和一致的PPC表面。
图2是根据本发明实施例的相平面关联的方法200的流程图。它解释了本发明的一般原则，即可以视需要地预滤波相平面图像，以改善相平面关联表面的关联及精确度。在时域以LUMA1表示的第一图像，在步骤210转成频域以形成频域信号F1。此步骤可以通过快速傅里叶转换(Fast Fourier Transform)进行。在时域以LUMA2表示的第二图像，在步骤212转成频域以形成频域信号F2。此步骤也可以通过快速傅里叶转换进行。在步骤213测定如相平面图像F1和F2的图像中的高频能量的量。在213测定的高频含量的能量的基础上，在步骤214测定是否要预滤波。如果测定要预滤波，则在216使用自适应滤波工艺进行。在相平面图像F1和F2的高频含量存在的量的基础上产生自适应窗，通过产生和使用自适应窗，进行自适应滤波。在相平面图像F1和F2中所存在的高频含量的量是用来测定供预滤波用的窗函数(window function)的形状。请注意，在本发明各种实施例中，自适应窗可以是以高频含量只存在在相平面图像F1为基础、以高频含量只存在在相平面图像F2为基础、或以高频含量存在在两个相平面图像F1和F2为基础。可控制自适应窗函数，使在频率表面的含量的相对分配的基础上，有可能选择变白至较小或较大程度。在相平面图像F1和F2的边缘部分测量高频含量较佳。例如，如果图像含量是主要包括高频，指数可为较其它情况大。相反地，如果图像含量为较窄带的性质，正规化指数可为较其它情况小。一般情况下，根据评估候选运动指量的精度和差异化的程度的确切性质和目的，可设计正规化指数的任何轮廓或排程。
无论是否进行预滤波，在220进行关联。在222反转傅立叶转换220的关联结果以在224提供在时域的相平面关联表面。
图3是根据本发明实施例的包括自适应频域滤波的PPC图像关联的配置的方块图。在时域以信号LUMA1表示的第一图像，通过快速傅里叶转换模块310转成频域以提供相平面图像F1。在时域以信号LUMA2表示的第二图像，通过快速傅里叶转换模块312转成频域以提供相平面图像F2。
相平面图像F1和F2输入到配置为估计FFT表面的总能量和FFT表面的高频能量的高频估计器314。因此，高频估计器314同时提供FFT表面F1和F2的总能量和高频能量含量。输出340提供总能量估计和输出342提供高频估计。由高频估计器314进行的工艺参考图6进一步说明如下。提供总能量估计和高频能量估计至自适应窗函数产生器316。
自适应窗函数产生器316提供自适应窗，用来进行相平面图像F1和F2的自适应滤波。如高频估计器314提供的基于相平面图像F1和F2存在的高频含量的量，产生自适应窗。从本质上讲，相平面图像F1和F2存在的高频含量的量，是用来测定自适应窗函数产生器316产生的窗函数的形状。从本质上讲，自适应窗函数产生器316基于总能量和高频能量值计算窗函数，然后基于计算的窗函数产生窗。
可控制高频估计器314和自适应窗函数产生器316的操作，因而有可能选择变白至较小或较大程度。例如，如果图像含量是主要包括高频，方程式2(稍后所列)的分母项中的指数可为较其它情况大。相反，如果图像含量为较窄带的性质，正规化指数可为较其它情况小。一般情况下，根据评估候选运动指量的精度和差异化的程度的确切性质和目的，可使用正规化指数的任何轮廓或排程。
窗函数产生器316配置为接收来自高频估计器314在FFT表面的总能量和高频能量的估计。如图3所示，这些估计分别在线340和342上。总能量和高频能量被用来测定用于FFT表面的加权函数。此外，也在区块360使用用户定义的函数，自这两个输入值测定指数alpha。用户定义的函数可以通过封闭式(closed-form)的解析方程式表示，也可通过查找表(lookup table)表示。请注意，在本发明各种实施例中，指数alpha可以是以高频含量只存在在相平面图像F1为基础、以高频含量只存在在相平面图像F2为基础、或以高频含量存在在两个相平面图像F1和F2为基础。
正如图4将要更进一步解释，在相平面图像F1和F2的边缘部分测量高频含量为较佳。在自适应窗函数产生器316的输出以W1和W2表示窗函数。通过提供F1和在混合器318(其在输出320提供第一窗表面)的输入提供窗函数，通过窗函数W1，使相平面图像F1有窗。通过提供F2和在混合器322的输入提供窗函数，通过窗函数W2，使图像F2有窗，以在输出324提供第二窗表面。请注意，W1和W2可以是以符号W表示的不同函数或相同函数。相平面形成模块326基于在其输出328的信号处理第一和第二窗表面以形成相平面。更详细的相平面形成模块326的图如图8所示。从本质上讲，相平面形成模块326提供频率增白频谱。相平面形成模块326的操作可表示为(W1.F1).(W2.F2)*/|(W1.F1).(W2.F2)*|。
相平面形成模块326的输出328耦合至提供已相平面关联的图像表面的反转快速傅立叶转换模块330的输入。然后，此表面送入传统相平面关联(PPC)处理系统。
自适应窗函数产生器316提供的自适应窗函数可以不同的方式计算。现在提出实施例说明如何计算窗函数。根据实施例，所产生的窗函数的形状是根据频域表面的至少部分频率含量，如在FFT310和FFT312由二维傅里叶转换计算的。根据示范实施例，在频域表面存在高频含量的量的基础上，窗函数可能的行为为改变窗的形状。例如，可定义对应于显着存在有高频含量的频域表面的区域，并计算在该区域的能量与表面的总能量的比。这个比是由在“0”至“1”的范围的数表示。这个比用来控制高频含量中的自适应窗的下降率(drop off rate)。例如，支配自适应窗的形状的其中一種方程式，如方程式1所示。方程1代表二维高斯窗函数。
W ( x , y ) = κexp ( - ( x - x 0 ) 2 2 σ x 2 - ( y - y 0 ) 2 2 σ y 2 ) · · · · · · · · · · · ·
(方程式1)
其中κ是正规化常数。σx和σy的值是比的函数。例如，如果这两个参数以比例的方式而与比有关，比会较小，窗函数会较平坦。如果它们是以相反的方式而与比有关，比会较大，窗函数会衰减较快。
或者，高频能量与总能量的比可以用于控制在PPC工艺中使用的正规化工艺。方程式2表示分数正规化的相平面关联。
PPC ( I 1 , I 2 ) = F - 1 ( F ( I 1 ) · F ( I 2 ) * | F ( I 1 ) · F ( I 2 ) * | α ) .
(方程式2)
以上方程式2，分母包括指数。分母的指数允许我们调节在频域裡的频谱被“白化”的角度。例如，当指数为一(unity)时，结果是传统PPC。当指数为零时，其结果是传统的交叉关联。然而，当指数为0和1之间时，产生分数正规化。该指数也可以大于1，但这种指数值并不容易直观的了解。产生正规化所需的角度取决于是否有存在窄带或宽带杂讯。一般而言，指数可以是频率表面任何的任意函数。
图4是相平面图像400，例如相平面图像F1或相平面图像F2的示意图。此图有助于解释由高频估计器314进行的高频估计的概念。相平面表面400的边缘区域410代表快速傅立叶转换(FFT)表面的高频区域。例如，运动向量将在相平面表面400的中央区域412的地方。从本质上讲，图形表示是频域点的矩阵。计算位于边缘区域(如410)的每个这样的点的能量。然后，这些点的能量相加，以测定存在在FFT表面的“高频”含量的总能量。代表此总能量的信号是从高频估计器314耦合至图3的自适应窗函数产生器316的输入。
图5是高频估计器314进行的高频估计的结果的示意图。曲线代表由自适应窗函数产生器316产生的窗函数的形状的例子。图5的左边部分代表在图像(如相平面图像F1或相平面图像F2)的高频含量有低能量的示范窗函数。图5的右边部分代表在图像(如相平面图像F1或相平面图像F2)的高频含量有较高的能量的示范窗函数。
图6是图3所示的方块的高频估计器314的操作的方块图。频率表面F，如FFT 310产生的F1或FFT 312产生的F2，通过解析模块(parsing module)602和解析模块604解析。高频计算模块606使用用户定义遮蔽(mask)或加权函数计算高频能量的估计。此高频能量估计提供在高频估计器314的输出342。总能量计算模块608使用用户定义遮蔽(mask)或加权函数计算总能量的估计。此总能量估计提供在高频估计器314的输出340。
不同的遮蔽或加权函数可用于优化特定应用的结果。例如，函数可以是具有对应于FFT表面的元素的实值的数的简单的加权。能量计算可以，例如，是在FFT阵列的每个条目(entry)的复杂相量(phasor)的大小。解析和计算可连续或同时进行。这些函数都可以处理器上运行的软件或硬连线电路(hard-wired circuit)进行。
图7是高频估计器314和自适应窗函数产生器316的实施例的方块图。FFT表面是由FFT，例如图3所示的FFT 310产生。此表面在图7以″S″代表。S是频域表面，可以通过如图所示的复杂相量S表示。表面S输入到高频估计器314，在本实施例中，包括总能量估计器704和高频估计器706。总能量估计器704提供表面S的总能量的估计E1。高频估计器706提供表面S(如在图4所示的区域410)的高频能量的估计E2。E1代表在各频率的信号的活动的测量。表面上的每个元素代表傅立叶转换的垂直和水平频率含量(按照清晰度)的组合。在计算E1时，可大概了解需要何种波形以及需要多少这种波形以代表原来信号。E2代表在超过某一预定频率的频率的信号的活动的测量。自适应窗函数产生器316包括窗函数产生器708和窗产生器710。基于能量E1和能量E2通过窗函数产生器708计算窗函数。窗函数产生器708产生的函数用于窗产生器710以产生实际窗(将输入到如图3所示的混合器318或322)。
如图3所示的方块进行的处理计算且形成项(term)，
( W 1 · F ( I 1 ) ) · ( W 2 · F ( I 2 ) ) * | ( W 1 · F ( I 1 ) ) · ( W 2 · F ( I 2 ) ) * | α
(方程式3)
方程式3代表分数正规化的加权相平面关联。通过检查图6输出342与340所产生的比或由如前面所述的查表手段来计算指数。这就形成在上面的方程式所示的指数项。
图8是进一步说明图3的方块所示的相平面形成模块326的操作方块图。相平面形成模块326接收输入320和324，并提供输出328。由输入320和324和输出328构成的相平面形成模块326的内部组件包括对复数向量800、幂指数运算器(exponentiator)801和逆变器(inverter)802进行的欧几里德范数运算(Euclidean norm operation)，复数向量800、幂指数运算器801和逆变器802三者是共同实行上面的方程式3的分母代表的函数，方程式3代表分数正规化的加权相平面关联。逆变器802的输出805通过乘法器803乘以来自接收输入320和324的乘法器820的信号806。乘法器803的输出形成分数正规化的相平面输出328。
应当注意的是，本发明的各种实施例的模拟、合成和/或制造可部分通过计算机可读代码的使用而完成，包括通用编程语言(如C或C++)、硬件描述语言(HDL)(包括Verilog HDL、VHDL语言、Altera HDL(AHDL)等)、或其它可用的编程和/或原理图捕捉工具(如电路捕捉工具)。此计算机可读代码可以在任何已知的计算机可用的介质处理，包括半导体、磁盘、光盘(如CD-ROM和DVD-ROM)和作为计算机数据信号在计算机可用(如可读)传输介质(如载波或任何其它媒介，包括数码、光学、或类比基的介质)体现。因此，代码可在通信网络传输，包括互联网。应了解，由上述系统和技术所完成的功能和/或所提供的结构可在以程序代码体现的核心(如GPU核心)中表现，并且可以转化为硬件作为制造集成电路的部分。
结论
已通过功能性建构方块描述本发明，这些方块说明的是其特定功能和关系的实作。这些功能性建构方块的边界已以任意的方式在本文中予以界定以便描述。只要这些方块的特定功能和关系能被适当执行，便能界定不同的边界。
上述的特定实施例揭示本发明的一般性质，其它人可以通过应用本技术领域内的技术、不需过度实验而容易修改及/或适应例如特定实施例的各种应用，不会背离本发明的一般概念。因此，根据在此所提出的教示和引导，此种适应和修改是意欲被涵盖在所揭示的实施例的等效物的意义和范围内。应了解到，此处的用语是用以描述而非限制本发明，使得本技术领域人士能鉴于在此所提出的教示和引导而理解本发明的用语。
本发明已提出许多示范实施例。本发明并非受限于这些范例。在此提出的这些范例是用来说明而非限制本发明。对本技术领域人士而言，根据在此所包含的教示，替代者(包含等效物、延伸物、变化物、误差物等等)将会是显而易见的。
本发明的范围和广度不应受到任何上述描述的示范实施例所限制，而是应仅根据所附权利要求及其等效物来予以界定。

Claims (33)

1.一种产生相平面关联表面的方法，包括：
由数码设备傅立叶转换第一和第二时域图像，以分别创建第一和第二相平面图像；
预滤波第一和第二相平面图像，其中该预滤波是使用自适应滤波工艺予以执行；
由该数码设备关联该预滤波的第一和第二相平面图像，以形成频域关联相平面表面；及
对该频域关联相平面表面进行反转傅立叶转换，以提供相平面关联表面。
2.如权利要求1所述的方法，其中，该预滤波是依据在提供相平面关联工艺之前有利于预滤波输入图像的测定。
3.如权利要求1所述的方法，其中，该预滤波是依据该第一和第二相平面图像的频率含量在这些图像的边缘部分。
4.如权利要求1所述的方法，其中，该关联包括分数正规化。
5.如权利要求4所述的方法，其中，包括分数正规化的该关联使用具有范围为零至一的值的指数。
6.如权利要求4所述的方法，其中，包括分数正规化的该关联使用由封闭式的解析式或查找表所产生的指数值。
7.一种在数码设备的相平面关联的方法，包括：
傅立叶转换第一和第二时域图像，以分别创建第一和第二相平面图像；
分别回应该第一和第二相平面图像的估计的高频含量的量而产生第一和第二窗函数，其中窗的形状是依据该高频含量的量且该高频含量被用于测定第一和第二加权函数；
将该第一和第二窗函数与该第一和第二相平面图像的各者混合，以提供第一和第二窗表面，其中该混合包括以该第一加权函数窗化该第一相平面图像并以该第二加权函数窗化该第二相平面图像；
关联该第一和第二窗表面，以形成频域关联相平面表面；及
对该频域关联相平面表面进行反转傅立叶转换，以提供图像平面关联表面。
8.如权利要求7所述的方法，其中，估计高频含量的量包括测定至少一个该相平面图像表面的一部分的高频含量的量。
9.如权利要求8所述的方法，其中，至少一个该相平面图像表面的该部分是边缘部分。
10.如权利要求7所述的方法，其中，产生第一窗函数包括：
产生具有形状的第一窗函数，其是第一相平面图像的高频能量含量与总能量含量的比的函数。
11.如权利要求7所述的方法，其中，产生第一窗函数包括：
产生具有形状的第一窗函数，该形状与该第一相平面图像的高频能量含量与总能量含量的比有关。
12.如权利要求7所述的方法，其中，该关联包括分数正规化。
13.如权利要求12所述的方法，其中，包括分数正规化的该关联包括使用具有范围在零至一的值的指数。
14.如权利要求12所述的方法，其中，包括分数正规化的该关联包括使用由封闭式的解析式或查找表所产生的指数值。
15.一种计算机可读存储装置，其中该装置包括：
用于傅立叶转换第一和第二时域图像，以分别创建第一和第二相平面图像的模块；
用于回应该第一和第二相平面图像的高频含量的量而分别产生第一和第二窗函数的模块，其中窗的形状是依据该高频含量的量且该高频含量被用于测定第一和第二加权函数；
用于将该第一和第二窗函数与该第一和第二相平面图像的各者混合，以分别提供第一和第二窗表面的模块，其中该混合包括以该第一加权函数窗化该第一相平面图像並以该第二加权函数窗化该第二相平面图像；
用于关联该第一和第二窗表面，以形成频域关联相平面表面的模块；及
用于对该频域关联相平面表面进行反转傅立叶转换，以提供图像平面关联表面的模块。
16.如权利要求15所述的计算机可读存储装置，其中，估计高频含量的量包括测定至少一个该相平面图像表面的一部分的高频含量的量。
17.如权利要求16所述的计算机可读存储装置，其中，该部分是边缘部分。
18.如权利要求15所述的计算机可读存储装置，其中，产生该第一窗函数的模块包括：
依据该第一相平面图像的高频能量含量与总能量含量的比产生该第一窗函数。
19.如权利要求15所述的计算机可读存储装置，其中，产生该第二窗函数的模块包括：
依据该第二相平面图像的高频能量含量与总能量含量的比产生该第二窗函数。
20.如权利要求15所述的计算机可读存储装置，其中，该关联包括分数正规化。
21.如权利要求20所述的计算机可读存储装置，其中，包括分数正规化的该关联包括使用具有范围在零至一的值的指数。
22.如权利要求20所述的计算机可读存储装置，其中，包括分数正规化的该关联包括使用由封闭式的解析式或查找表所产生的指数值。
23.一种相平面关联器，包括：
傅立叶转换模块，配置为转换第一和第二时域图像，以分别创建第一和第二相平面图像；
高频估计器，配置为估计第一和第二相平面图像的高频含量；
自适应窗函数产生器，配置为回应该高频含量而分别产生第一和第二窗函数，其中窗的形状是依据该高频含量的量且该高频含量被用于测定第一和第二加权函数；
混合器，配置为将该第一和第二窗函数与该第一和第二相平面图像的各者混合，以分别提供第一和第二窗表面，其中该混合包括以该第一加权函数窗化该第一相平面图像並以该第二加权函数窗化该第二相平面图像；
关联器，配置为关联该第一和第二窗表面，以形成频域关联相平面表面；及
反转傅立叶转换模块，配置为反转傅立叶转换该频域关联相平面表面，以提供图像平面关联表面。
24.如权利要求23所述的相平面关联器，其中，该高频估计器配置为在至少一个该相平面图像表面的一部分测量高频含量。
25.如权利要求24所述的相平面关联器，其中，该部分是边缘部分。
26.如权利要求23所述的相平面关联器，其中，自适应窗函数产生器包括用于产生具有形状的第一窗函数的手段，该第一窗函数是该第一相平面图像的高频能量含量与总能量含量的比的函数。
27.如权利要求23所述的相平面关联器，其中，自适应窗函数产生器包括用于产生具有形状的第一窗函数的手段，该形状与第一相平面图像的高频能量含量与总能量含量的比有关。
28.如权利要求23所述的相平面关联器，其是视频帧关联器的一部分。
29.如权利要求23所述的相平面关联器，其是视频数据压缩系统的一部分。
30.如权利要求23所述的相平面关联器，其是视频处理系统的一部分。
31.如权利要求23所述的相平面关联器，其中，该关联器还配置为包括分数正规化。
32.如权利要求31所述的相平面关联器，其中，还配置为包括分数正规化的该关联器使用具有范围在零至一的值的指数。
33.如权利要求31所述的相平面关联器，其中，还配置为包括分数正规化的该关联器使用由封闭式的解析式或查找表所产生的指数值。
CN200980154534.7A 2008-11-20 2009-11-20 用于相平面关联的自适应频域滤波 Active CN102282848B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US11649308P 2008-11-20 2008-11-20
US61/116,493 2008-11-20
US12/621,924 US9300966B2 (en) 2008-11-20 2009-11-19 Adaptive frequency domain filtering for phase plane correlation
US12/621,924 2009-11-19
PCT/IB2009/007627 WO2010058291A1 (en) 2008-11-20 2009-11-20 Adaptive frequency domain filtering for phase plane correlation

Publications (2)

Publication Number Publication Date
CN102282848A CN102282848A (zh) 2011-12-14
CN102282848B true CN102282848B (zh) 2015-04-29

Family

ID=42197875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200980154534.7A Active CN102282848B (zh) 2008-11-20 2009-11-20 用于相平面关联的自适应频域滤波

Country Status (6)

Country Link
US (1) US9300966B2 (zh)
EP (1) EP2359335A4 (zh)
JP (1) JP5603341B2 (zh)
KR (1) KR20110097868A (zh)
CN (1) CN102282848B (zh)
WO (1) WO2010058291A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104917931B (zh) * 2015-05-28 2018-03-02 京东方科技集团股份有限公司 运动图像补偿方法及装置、显示装置
US9892518B2 (en) * 2015-06-09 2018-02-13 The Trustees Of Columbia University In The City Of New York Systems and methods for detecting motion using local phase information
EP3387748B1 (en) 2015-12-09 2022-03-09 Cohere Technologies, Inc. Pilot packing using complex orthogonal functions
EP3420641A4 (en) 2016-02-25 2019-12-11 Cohere Technologies, Inc. REFERENCE SIGNAL PACKAGING FOR WIRELESS COMMUNICATIONS
GB2574428B (en) * 2018-06-06 2020-06-10 Visidon Oy Image registering method and apparatus

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0659021A2 (en) * 1993-12-18 1995-06-21 Kodak Limited Detection of global translations between images
CN1272747A (zh) * 1999-05-03 2000-11-08 汤姆森多媒体公司 测定帧图像间主运动的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6401057B1 (en) * 1997-07-02 2002-06-04 Nonlinear Solutions, Inc. Detection and classification system for analyzing deterministic properties of data using correlation parameters
US6230106B1 (en) * 1999-10-13 2001-05-08 Modulation Instruments Method of characterizing a device under test
US6947509B1 (en) * 1999-11-30 2005-09-20 Verance Corporation Oversampled filter bank for subband processing
US7324665B2 (en) * 2002-09-16 2008-01-29 Massachusetts Institute Of Technology Method of multi-resolution adaptive correlation processing
US20050033505A1 (en) * 2002-12-05 2005-02-10 Premier Wireless, Inc. Traffic surveillance and report system
US7197074B2 (en) * 2003-02-20 2007-03-27 The Regents Of The University Of California Phase plane correlation motion vector determination method
US20070211920A1 (en) * 2006-01-23 2007-09-13 Rhoads Geoffrey B Methods and Cards Employing Optical Phenomena
US7653230B2 (en) * 2006-02-21 2010-01-26 General Electric Company Methods and systems for image reconstruction using low noise kernel
JP4821548B2 (ja) * 2006-10-02 2011-11-24 コニカミノルタホールディングス株式会社 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム
KR101156117B1 (ko) * 2007-08-02 2012-07-03 삼성전자주식회사 영상 검출 장치 및 영상 검출 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0659021A2 (en) * 1993-12-18 1995-06-21 Kodak Limited Detection of global translations between images
CN1272747A (zh) * 1999-05-03 2000-11-08 汤姆森多媒体公司 测定帧图像间主运动的方法

Also Published As

Publication number Publication date
US9300966B2 (en) 2016-03-29
EP2359335A1 (en) 2011-08-24
KR20110097868A (ko) 2011-08-31
EP2359335A4 (en) 2012-08-01
WO2010058291A1 (en) 2010-05-27
CN102282848A (zh) 2011-12-14
US20100150225A1 (en) 2010-06-17
JP2012509535A (ja) 2012-04-19
JP5603341B2 (ja) 2014-10-08

Similar Documents

Publication Publication Date Title
EP2074586B1 (en) Image enhancement
Vu et al. ViS 3: An algorithm for video quality assessment via analysis of spatial and spatiotemporal slices
CN102282848B (zh) 用于相平面关联的自适应频域滤波
Leis Digital signal processing using MATLAB for students and researchers
CN101433093B (zh) 运动补偿的视频空间向上转换
CN100499738C (zh) 考虑水平和垂直图形的全局运动补偿的顺序扫描方法
US7440619B2 (en) Image matching method and image interpolation method using the same
US9300980B2 (en) Upsampling and downsampling of motion maps and other auxiliary maps in a tiered signal quality hierarchy
EP1978737A2 (en) Frame interpolation apparatus and method
CN109523506B (zh) 基于视觉显著图像特征增强的全参考立体图像质量客观评价方法
Wang et al. Novel spatio-temporal structural information based video quality metric
Zheng et al. No-reference quality assessment for screen content images based on hybrid region features fusion
US20030081144A1 (en) Video data de-interlacing using perceptually-tuned interpolation scheme
JP4904502B2 (ja) ビデオ・フレーム測定装置及び方法
US20120308119A1 (en) Image processing apparatus, image processing method, and program
US20100245372A1 (en) Method and apparatus for frame interpolation
CN103037217B (zh) 检测内插图像中的图像损坏
US20060244861A1 (en) Method for detecting bisection pattern in deinterlacing
US8325196B2 (en) Up-scaling
KR20080093088A (ko) 계수 데이터 생성장치 및 생성방법, 그것을 사용한 정보신호 처리장치 및 처리방법, 그것에 사용하는 종계수 데이터 생성장치 및 생성방법, 및 정보제공매체
EP1353320B1 (en) Information signal processing device, information signal processing method, image signal processing device, image display comprising the same, and information providing medium
CN104103065A (zh) 一种基于奇异值分解无参考模糊图像质量评价方法
Liu et al. Video image scaling technology based on adaptive interpolation algorithm and TTS FPGA implementation
US10432962B1 (en) Accuracy and local smoothness of motion vector fields using motion-model fitting
Zhou et al. Phase-based frame rate up-conversion for depth video

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant