CN102014281A - 具有非线性运动场平滑的运动估计的方法和系统 - Google Patents

具有非线性运动场平滑的运动估计的方法和系统 Download PDF

Info

Publication number
CN102014281A
CN102014281A CN2010102610935A CN201010261093A CN102014281A CN 102014281 A CN102014281 A CN 102014281A CN 2010102610935 A CN2010102610935 A CN 2010102610935A CN 201010261093 A CN201010261093 A CN 201010261093A CN 102014281 A CN102014281 A CN 102014281A
Authority
CN
China
Prior art keywords
pixels
location
motion vector
value
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2010102610935A
Other languages
English (en)
Inventor
皮特鲁斯·J·L·范比克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN102014281A publication Critical patent/CN102014281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明的各个方面涉及用于运动矢量场的非线性扩散滤波的低复杂性系统和方法。非线性扩散滤波器中的局部权重可以是数据自适应的，并且根据本发明一个方面，可以确定局部权重，使得尽管还没有显式检测到对象边界，也不会在对象边界处增强空间连贯性。因此，本发明的方法和系统可以平滑运动矢量场，而不会在对象边界上平滑运动矢量场。根据本发明的第二方面，可以抑制具有较低置信值的运动矢量，而可以传播具有较高置信值的运动矢量。根据本发明的另一方面，运动估计方法和系统可以合并根据本发明的非线性扩散滤波的方法和系统。

Description

具有非线性运动场平滑的运动估计的方法和系统
技术领域
本发明的实施例总体上涉及用于运动估计的方法和系统，具体涉及具有运动场平滑的运动估计的方法和系统。
背景技术
在运动估计(也被称作光流估计和位移估计)中，可以确定视频序列中不同视频帧(也被称作图像)中各个区(area)之间的对应关系。除了摄像机运动以外，视频序列中捕获的实际场景中的对象运动也会导致视频帧中视觉图案的移动。真实运动估计的目标可以是估计视觉图案从一个帧到另一帧的二维(2D)运动，使得估计的2D运动可以是实际三维(3D)场景运动的投影。局部运动估计是指针对小图像区(例如，单个像素或小像素块)的运动矢量的估计，示例性的小块可以是2x2、4x4、8x8以及包含少量像素的其他块。在整个图像或视频帧上针对所有像素或像素块的运动矢量集合可以被称作运动场。估计的运动场可以在许多领域的应用中使用，例如，视频处理、视频编码、计算机视觉以及其他视频和成像领域。示例应用可以包括运动补偿视频编码、运动补偿视频滤波以及运动补偿帧插值。
基于梯度的运动估计可以是运动估计方法的一个重要类别。在基于梯度的运动估计中，可以对局部运动进行建模，使该局部运动在接近可以估计运动矢量的像素位置的邻域中实质上是恒定的。该邻域可以被称作局部分析窗、分析窗或窗。可以确定窗中像素数据的空间和时间导数值(也被称作空间-时间梯度)，并使用该导数值来计算对应于所关联的运动的运动矢量、位移矢量或其他参数。
运动估计方法的另一重要类别可以是块匹配。在块匹配中，可以通过在预定区域中在候选像素块之中进行搜索，来将一个帧中的像素块与另一帧中的像素块相匹配。
大多数运动模型中使用的假设可能无法在所有图像位置处都成立，从而使得运动估计在理论上和实际中均成为极具挑战性的问题。例如，由于场景中实际对象的3D本质及其关联的照明，通常假定的基本假定不能成立，这种基本假定是像素或像素块的颜色、强度或亮度从一个视频帧到下个视频帧保持不变。此外，在数据不足以约束运动模型的情况下，例如在颜色或强度函数在局部非常平坦或是一维的情况下，不能够获得可靠的解决方案，这是被称作孔径问题的问题。此外，一幅图像中的区由于遮挡而不能出现在另一幅图像中，例如，背景区可能通过移动的前景对象而被覆盖或露出。
对于基于梯度的运动估计方法，其中可以对局部运动进行建模，以使该局部运动在邻域中实质上是恒定的，分析窗内多个对象的可能存在会产生问题，这是由于多个对象中的每一个可能与捕获的场景内不同的运动相关联。分析窗内不同运动的存在可能导致正被估计的运动矢量或其他运动参数的不准确估计。
此外，分析窗内的数据可能包括由于例如摄像机噪声、压缩噪声或其他噪声引起的一个或多个噪声分量。分析窗内的噪声数据可能导致不准确的运动矢量或其他运动参数估计。该问题在分析窗不足够大到能确保准确运动估计的情况下尤其明显。
可以对运动矢量场的估计应用正则化(Regularization)，以尝试缓解上述和其他问题。正则化可以使用例如空间连贯性(Coherency)的假设来约束估计。空间连贯性的概念说明，真实世界的表面具有空间范围，并且单个表面上的区很可能以相同或类似的运动来移动。空间连贯性概念带来了运动平滑性约束的引入。然而，空间连贯性的假定在运动边界处不成立，运动边界通常与对象边界相符，并且可能导致过于平滑(尤其是在运动边界)的运动场。
计算效率高的运动估计系统和方法是令人期望的，这种系统和方法改善运动场的空间连贯性，而不会使运动边界处运动场过于平滑，并且不需要显式的遮挡检测。
发明内容
本发明的一些实施例包括用于运动场的非线性扩散滤波的方法和系统。
根据本发明的一个方面，可以基于滤波载板中每个位置处的图像值和与滤波载板中心相关联的位置处的图像值的差，来确定滤波载板中每个位置处的数据自适应的滤波权重。
根据本发明的另一方面，可以基于与滤波载板(filter support)中每个位置处的运动矢量相关联的置信测度值(confidence-meausre value)，来确定滤波载板中每个位置处的数据自适应的滤波权重。
根据本发明的又一方面，数据自适应的滤波权重可以是根据本发明的上述方面确定的数据自适应的滤波权重的组合。
本发明的一些实施例包括：用于运动估计的方法和系统，包括根据本发明各个方面的运动场的非线性扩散滤波。
结合附图，考虑本发明的以下详细描述，将更容易地理解本发明的上述和其他目的、特征以及优点。
附图说明
图1是示出了二值分段常值函数关系的图；
图2是示出了本发明示例实施例的图，包括：基于滤波载板中位置处的图像值与中心位置处的图像值之间的差，来确定该位置处的数据自适应权重；
图3是示出了三值分段常值函数关系的图；
图4是示出了本发明示例实施例的图，包括：基于与位置处的运动矢量相关联的置信测度值，来确定该位置处的数据自适应权重；
图5是示出了本发明示例实施例的图，包括：基于滤波载板中位置处的图像值与中心位置处的图像值之间的差来确定该位置处的第一数据自适应权重，以及基于与该位置处的运动矢量相关联的置信测度值来确定该位置处的第二数据自适应权重，其中，将该位置处的第一数据自适应权重与该位置处的第二数据自适应权重进行组合，以形成该位置处的滤波权重；
图6是示出了图像的示例性多尺度级(multi-scale)表示的图；
图7是示出了本发明的示例实施例的图，包括：合并了根据本发明实施例的非线性扩散滤波的多尺度级运动估计；以及
图8是用于对运动矢量场进行滤波的系统。
具体实施方式
参照附图将更好地理解本发明的实施例，其中，贯穿附图，类似的部件由类似的数字表示。清楚地，合并上述附图作为该详细描述的一部分。
容易理解，如这里在附图中一般描述和示意的，本发明的组件可以按照各种不同的配置来布置和设计。因此，以下本发明的方法和系统的实施例的更详细描述并不意在限制本发明的范围，而是仅代表本发明当前优选实施例。
本发明实施例的元件可以以硬件、固件和/或软件来实现。尽管这里揭示的示例实施例可以仅描述这些形式之一，但是应理解，本领域技术人员能够实现以这些形式中任何形式的这些元件，而同时保持在本发明的范围内。
在运动估计(也被称作光流估计和位移估计)中，可以确定视频序列中不同视频帧(也被称作图像)中各个区(area)之间的对应关系。除了摄像机运动以外，视频序列中捕获的实际场景中的对象运动也会导致视频帧中视觉图案的移动。真实运动估计的目标可以是估计视觉图案从一个帧到另一帧的二维(2D)运动，使得估计的2D运动可以是实际三维(3D)场景运动的投影。局部运动估计是指针对小图像区(例如，单个像素或小像素块)的运动矢量的估计，示例性的小块可以是2x2、4x4、8x8以及包含少量像素的其他块。在整个图像或视频帧上针对所有像素或像素块的运动矢量集合可以被称作运动场。估计的运动场可以在许多领域的应用中使用，例如，视频处理、视频编码、计算机视觉以及其他视频和成像领域。示例应用可以包括运动补偿视频编码、运动补偿视频滤波以及运动补偿帧插值。
基于梯度的运动估计可以是运动估计方法的一个重要类别。在基于梯度的运动估计中，可以对局部运动进行建模，使该局部运动在接近可以估计运动矢量的像素位置的邻域中实质上是恒定的。该邻域可以被称作局部分析窗、分析窗或窗。可以确定窗中像素数据的空间和时间导数值(也被称作空间-时间梯度)，并使用该导数值来计算对应于所关联的运动的运动矢量、位移矢量或其他参数。
运动估计方法的另一重要类别可以是块匹配。在块匹配中，可以通过在预定区域中在候选像素块之中进行搜索，来将一个帧中的像素块与另一帧中的像素块相匹配。
大多数运动模型中使用的假设可能无法在所有图像位置处都成立，从而使得运动估计在理论上和实际中均成为极具挑战性的问题。例如，由于场景中实际对象的3D本质及其关联的照明，通常假定的基本假定不能成立，这种基本假定是像素或像素块的颜色、强度或亮度从一个视频帧到下个视频帧保持不变。此外，在数据不足以约束运动模型的情况下，例如在颜色或强度函数在局部非常平坦或是一维的情况下，不能够获得可靠的解决方案，这是被称作孔径问题的问题。此外，一幅图像中的区由于遮挡而不能出现在另一幅图像中，例如，背景区可能通过移动的前景对象而被覆盖或露出。
对于基于梯度的运动估计方法，其中可以对局部运动进行建模，以使该局部运动在邻域中实质上是恒定的，分析窗内多个对象的可能存在会产生问题，这是由于多个对象中的每一个可能与捕获的场景内不同的运动相关联。分析窗内不同运动的存在可能导致正被估计的运动矢量或其他运动参数的不准确估计。
此外，分析窗内的数据可能包括由于例如摄像机噪声、压缩噪声或其他噪声引起的一个或多个噪声分量。分析窗内的噪声数据可能导致不准确的运动矢量或其他运动参数估计。该问题在分析窗不足够大到能确保准确运动估计的情况下尤其明显。
可以对运动矢量场的估计应用正则化(Regularization)，以尝试缓解上述和其他问题。正则化可以使用例如空间连贯性(Coherency)的假设来约束估计。空间连贯性的概念说明，真实世界的表面具有空间范围，并且单个表面上的区很可能以相同或类似的运动来移动。空间连贯性概念带来了运动平滑性约束的引入。然而，空间连贯性的假定在运动边界处不成立，运动边界通常与对象边界相符，并且可能导致过于平滑(尤其是在运动边界)的运动场。
计算效率高的运动估计系统和方法是令人期望的，这种系统和方法改善运动场的空间连贯性，而不会使运动边界处运动场过于平滑，并且不需要显式的遮挡检测。
出于示意目的，可以关于单通道图像来描述这里描述的本发明的示例实施例。本发明的这些实施例的描述不应视为限制本发明的范围，对于本发明，可以允许如本领域技术人员将理解的、与多通道、颜色和其他非单通道图像有关的其他等同效果的实施例。此外，可以关于单个位移矢量来描述这里描述的本发明的示例实施例。本发明的这些实施例的描述不应视为限制本发明的范围，对于本发明可以允许本领域技术人员应认识到的、与例如仿射运动和其他模型的其他运动模型有关的其他等同效果实施例。
在运动估计中，当前图像中所识别的2D区域可以通过运动矢量、位移矢量或其他运动参数与参考图像中相应的2D区域相关联。这里为了示意目的，当前图像可以表示为f(x，y)，参考图像可以表示为g(x，y)，其中x和y表示图像中像素位置坐标。像素值f(x，y)和g(x，y)可以表示灰度级、亮度值或其他图像导出值。两幅图像，当前图像和参考图像可以是视频序列中的两个帧。当前图像中的区域可以是与图像中单个像素位置、矩形的像素位置块或任意形状的区域(region)相关联的区(area)。局部运动估计可以估计针对小图像区(例如，单个像素或小像素块)的运动矢量。当前图像中每个图像区、像素、块或区域可以与运动矢量相关联。针对所有图像区域的所有运动矢量的集合可以被称作运动矢量场，运动场、位移场或位移矢量场。图像中的2D运动也可以被称作流或光流。
可以假定，当前图像与参考图像之间的差异很大程度上由于捕获的场景内的对象运动。因此，在第一图像中可见的对象的一部分很可能也在第二图像中可见，但是该对象可能根据其场景运动的投影而发生位移。
在实际应用中，例如，视频编码、视频处理以及其他视频应用中，已经广泛实现和使用的一类方法的被称作块匹配。在块匹配中，可以将当前图像划分成矩形块，可以通过在参考图像中搜索最紧密匹配的块，为每个块估计运动矢量。
另一类已知方法可以被称作基于梯度的运动估计。基于梯度的运动估计也可以被称作差分运动估计或光流估计。在这些方法中，可以基于空间和时间图像导数或图像差，计算运动矢量、光流矢量或位移矢量。尽管块匹配包括针对最佳运动矢量的搜索过程，但是基于梯度的技术允许直接计算运动矢量。
可以由粗略至精细的方式来执行运动估计，其中，可以初步估计粗运动场，并随后迭代地精细化该粗运动场。这些方法也可以被称作多尺寸级别、多分辨率、分级或基于金字塔的运动估计。可以以缩减的图像分辨率来形成粗估计。然后，可以通过添加后续的较高分辨率上的附加细节，来精细化低分辨率的运动场，直到达到期望的分辨率为止。之前，基于块和基于梯度的运动估计技术已经扩展为包括分级方法。
可以使用以下符号表示来描述本发明的实施例。当前2D图像或视频帧可以表示为f(x，y)，参考2D图像或视频可以表示为g(x，y)。与当前图像中指示为(i，j)的位置相关联的运动矢量可以表示为v(i，j)＝(u(i，j)，v(i，j))T，并且可以被称作位移矢量，或运动矢量，其中，u和v分别是水平和垂直分量。为了表示的方便性，可以省略关于(i，j)的依赖关系，并且运动矢量可以表示为v＝(u，v)T。
在本发明的一些实施例中，可以接收当前帧。同样，可以在运动场平滑系统、运动估计系统或任何其他视频处理系统中的运动场滤波器处接收运动场。在一些实施例中，运动矢量场可以与当前帧相关联，其中，运动矢量场中的每个位置与当前帧中的位置相对应。在一些实施例中，运动场可以包括对多个感兴趣位置处的运动矢量的初步估计。在备选实施例中，运动场可以包括对多个感兴趣位置处的运动矢量的、由粗略至精细估计中的中间估计。感兴趣位置可以表示为(i，j)。
可以根据本发明的实施例对运动场滤波。这些实施例可以包括：通过使用针对区域中每个位置而确定的加权值，对窗中心位置处的运动矢量场滤波。这些实施例还可以包括：使用包括如下局部加权平均的非线性扩散滤波器：
u ( i , j ) = Σ m , n ∈ Ω i , j w ( m , n ) u ( m , n ) Σ m , n ∈ Ω i , j w ( m , n )
以及
v ( i , j ) = Σ m , n ∈ Ω i , j w ( m , n ) v ( m , n ) Σ m , n ∈ Ω i , j w ( m , n )
其中，Ωi，j是与感兴趣位置(i，j)相关联的邻域。该邻域也可以被称作与感兴趣位置相关联的局部窗或滤波载板。局部窗使用感兴趣位置周围的区域(邻域)的特性(例如像素值变化)，来计算针对感兴趣位置的运动矢量场参数。用于对运动矢量场进行滤波的局部窗与用于对运动矢量进行初步估计的局部窗不同。
在一些实施例中，窗可以实质上以感兴趣位置(i，j)为中心。因此，窗中心可以接近(i，j)，位置(i，j)可以被称作窗中的中心位置(窗中心位置)。坐标索引(m，n)表示窗内的位置。滤波器系数w(m，n)可以是根据本发明实施例的针对运动矢量场中区域中的每个位置而确定的数据自适应权重。
在本发明的一些实施例中，可以将权重限制到例如0.0≤w(m，n)≤1.0的区间。
在本发明的一些实施例中，根据w1(m，n)＝F1(|f(i，j)-f(m，n)|)，位置(m，n)处的权重可以基于图像值f(m，n)与窗中心处的图像值f(i，j)之间的差(绝对差)。
其中，函数关系F1(·)可以随着f(i，j)与f(m，n)之间的绝对差的逐渐增大而减小。在一些实施例中，图像值f(i，j)是与当前帧中相应位置相关联的图像值，图像值f(m，n)是与当前帧中相应窗中心位置相关联的图像值。当绝对差较小时，得到的权重值可以接近于1.0，并且随着绝对差逐渐增大，获得的权重值可以减小为更小的非负值。图1示出了这种函数10的示例。
在图1所示的示例函数10中，加权是基于包括第一值和第二值的二值分段常值函数F1(Δ)的，其中，Δ＝|f(i，j)-f(m，n)|，该加权根据：
Figure BSA00000241270900091
其中，TΔ是针对绝对差的预定阈值准则，c1(其中，0.0≤c1≤1.0)是从0到1的闭合区间中的预定恒定权重值，例如，在一些实施例中，c1＝0.0，并且在备选实施例中，c1＝0.20。在示例实施例中，可以选择TΔ，使得TΔ＝20。备选实施例可以包括多值分段常值函数F1(·)。在包括分段常值函数F1(·)的本发明实施例中，对于运动场滤波，计算成本和计算资源可以远少于现有技术方法的计算成本和计算资源。
本发明的数据自适应加权实施例可以在像素强度或颜色值缓慢变化的区中平滑运动场。在对象边界附近，像素强度或颜色可能变化显著，这导致图像中的可见边缘。根据本发明的实施例，给滤波载板中图像强度或颜色值与中心位置的图像值显著不同的位置分配小得多的权重值。因此，这些位置处的运动矢量对局部加权平均贡献不大。因此，根据本发明实施例而滤波的运动场具有沿着对象边界的锐化边缘，这是由于该滤波器可以显著避免在对象边界上的平滑。对象边界通常与运动边界相符，从而根据本发明实施例而滤波的运动场可以保持锐化的运动边界。
关于图2描述本发明的一些实施例。在这些实施例中，在与运动场滤波器相关联的计算系统中接收18当前帧或图像。还可以在计算系统中接收20输入运动矢量场。运动矢量场可以与当前帧相关联，其中，运动矢量场中的每个位置与当前帧中的位置相对应。确定22在运动场中是否剩余有未滤波的位置。如果不存在23未滤波的位置，则滤波可以终止24。如果还存在25未滤波的位置，则可以获得26下个位置，并且该下个位置可以变为当前位置。可以根据w1(m，n)＝F1(|f(i，j)-f(m，n)|)，针对滤波载板内的所有位置(即，针对每个位置)(针对运动矢量场中区域中的每个位置)确定28权重，并且可以根据局部加权平均滤波器(即，针对区域中的每个位置而确定的权重值)，在窗中心位置处对当前位置处的运动场滤波，局部加权平均滤波器如下：
u ( i , j ) = Σ m , n ∈ Ω i , j w 1 ( m , n ) u ( m , n ) Σ m , n ∈ Ω i , j w 1 ( m , n )
以及
v ( i , j ) = Σ m , n ∈ Ω i , j w 1 ( m , n ) v ( m , n ) Σ m , n ∈ Ω i , j w 1 ( m , n )
进一步确定22在运动场中是否剩余有未滤波的位置。
在本发明备选的数据自适应加权实施例中，可以基于与位置(m，n)处的运动矢量相关联的置信测度，来确定(m，n)处的权重(第一权重值)。在该实施例中，在计算系统中可以接收到针对运动矢量场中每个运动矢量的置信测度。根据本发明的实施例，加权函数可以将更接近1.0的权重与窗中与较高置信测度相关联的运动矢量相关联。加权函数可以将更接近0.0的权重与窗中与较低置信测度相关联的运动矢量相关联。
在一些实施例中，与位置处的运动矢量相关联的置信测度值的测量可以基于运动补偿像素误差，作为第一函数关系。置信测度值是对每个运动矢量的置信度的估计结果加以指示的值。运动补偿像素误差是在(根据已知像素数据)执行运动补偿来预测另一特定时间点处的像素数据情况下产生的失真。通常作为运动估计处理的一部分，自动计算运动补偿像素误差。许多运动估计算法可以基于亮度恒定约束，可以表示为：
f(i，j)≈g(i+u，j+v)
其中，该约束可以基于以下假定：位置(i，j)处的强度或亮度在当前图像和参考图像中实质上保持不变。
可以通过假定要对参考图像应用的增益因子α和偏移β，来放宽亮度恒定约束，从而获得线性亮度恒定约束f(i，j)≈αg(i+u，j+v)+β。
在本发明的一些实施例中，可以通过计算当前图像中像素强度或颜色值f(m，n)与参考图像中运动补偿像素值g(m+u(m，n)，n+v(m，n))之间的差，来计算位置(m，n)处的运动补偿像素误差。因此，局部运动补偿误差(可以表示为ε(m，n))可以根据以下来确定：
ε(m，n)＝|f(m，n)-g(m+u(m，n)，n+v(m，n))|
在本发明的一些实施例中，还根据以下来确定：
ε(m，n)＝|f(m，n)-αg(m+u(m，n)，n+v(m，n))-β|
在本发明的备选实施例中，可以计算位置(m，n)处的局部运动补偿误差ε(m，n)，作为接近该位置的小邻域上的局部平均。在本发明的一些实施例中，该小邻域可以是以(m，n)为中心的3x3区域。示例备选的小邻域可以包括以像素位置(m，n)为中心的矩形像素区域(当前帧中的多个像素)、以像素位置(m，n)为中心的方形像素区域、以像素位置(m，n)为中心的对称区域、以及其他区域。在这些实施例中，可以根据以下确定ε(m，n)：
ϵ ( m , n ) = Σ i , j ∈ R m , n | f ( i , j ) - g ( i + u ( i , j ) , j + v ( i , j ) ) |
其中，Rm，n表示与像素位置(m，n)相关联的邻域。
在又一备选实施例中，一个运动矢量可以与邻域相关联，可以根据以下确定ε(m，n)：
ϵ ( m , n ) = Σ i , j ∈ R m , n | f ( i , j ) - g ( i + u ( m , n ) , j + v ( m , n ) ) |
在本发明的一些实施例中，与位置处的运动矢量相关联的置信测度可以与在该位置处确定的局部运动补偿误差有关。可以基于置信测度与平均运动补偿像素误差(AME)值，来确定加权值。可以在比与该位置相关联的局部窗大的区上确定AME。在一些实施例中，可以在整个帧上确定AME。通常，可以根据：
Figure BSA00000241270900121
在由R表示、包含N个像素的区域上确定AME。
在备选实施例中，可以使用在更大区上的运动补偿像素误差的其他总和测量。
在一些实施例中，可以根据以下确定局部加权函数：
w2(m，n)＝F2(ε(m，n)，AME)
其中，对于相对于AME较小的ε值，函数关系F2(·)可以增大。图3示出了这种函数32的示例。在一些实施例中，权重可以基于分段常值函数(第二函数关系)F2(·)，根据如下：
Figure BSA00000241270900122
其中，K1和K2可以是预定的固定参数值，c2是第二值，c3是第三值，并且c2、c3可以是预定的固定权重值。在一些实施例中，K1≤K2，以及示例值可以是K1＝0.4和K2＝0.8。在一些实施例中，0.0≤c3≤c2≤1.0，示例值可以是c2＝0.2和c3＝0.0。在备选实施例中，权重可以基于包括除了三个相异值(distinct value)以外的其他值的分段常值函数F2(·)。分段常值函数可以获得较低计算成本，并需要非常少的处理资源，同时保持高效。相应地，根据本发明实施例的滤波，其中，加权值可以基于置信测度和AME值来确定，可以获得：抑制了具有相对于平均误差AME的较大误差的运动矢量，同时传播了具有相对于平均误差AME的较小误差的运动矢量。平均值AME的使用可以对于视频序列中存在的噪声的总体水平而言在全局级别上的自适应滤波。
关于图4描述本发明的一些实施例。在这些实施例中，可以在与运动场滤波器相关联的计算系统中接收36当前帧或图像。可以在计算系统中接收38参考帧或图像。也可以在计算系统中接收40输入运动场。确定42在运动场中是否剩余有40未滤波的位置。如果不存在43未滤波的位置，则滤波可以终止44。如果还有45未滤波的位置，则可以获得46下个位置，并且该下个位置可以成为当前位置。可以根据w2(m，n)＝F2(ε(m，n)，AME)，针对滤波模板中的所有位置确定48权重，并且根据局部加权平均滤波器来对当前位置处的运动场滤波50，局部加权平均滤波器如下：
u ( i , j ) = Σ m , n ∈ Ω i , j w 2 ( m , n ) u ( m , n ) Σ m , n ∈ Ω i , j w 2 ( m , n )
以及
v ( i , j ) = Σ m , n ∈ Ω i , j w 2 ( m , n ) v ( m , n ) Σ m , n ∈ Ω i , j w 2 ( m , n )
进一步确定42在运动场中是否剩余有未滤波的位置。
在本发明的一些实施例中，权重可以是w1(m，n)(在该实施例中，作为针对区域中位置的第一权重值)和w2(m，n)(在该实施例中，作为针对区域中位置的第二权重值)的组合。在该实施例中，对窗中心位置处的运动矢量场的滤波使用针对区域中每个位置而确定的该组合的权重值。组合应当保留以下特性：各个单独的权重值在0.0与1.0之间，并且较高权重值与在运动矢量值中具有较高置信度的运动矢量相关联。在示例实施例中，组合可以根据如下形成：
w(m，n)＝w1(m，n)·w2(m，n)。
在该实施例中，将针对区域中位置的第一权重值乘以针对该位置的第二权重值。
在备选实施例中，组合可以根据以下形成：
w(m，n)＝min{w1(m，n)，w2(m，n)}。
在该实施例中，在针对区域中位置的第一权重值以及针对区域中位置的第二权重值之间，确定最小值。
关于图5描述本发明的一些实施例。在这些实施例中，可以在与运动场滤波器相关联的计算系统中接收60当前帧或图像。可以在计算系统中接收62参考帧或图像。还可以在计算系统中接收64输入运动场。确定66在运动场中是否剩余有滤波位置。如果不存在67未滤波的位置，则滤波可以终止68。如果还有69未滤波位置，则可以获得70下位置，并且该下个位置可以变成当前位置。可以根据w1(m，n)＝F1(|f(i，j)-f(m，n)|)，为滤波载板内的所有位置(m，n)确定72第一权重，并且根据w2(m，n)＝F2(ε(m，n)，AME)，为滤波载板内的所有位置(m，n)确定第二权重。将权重进行组合76，并且可以根据以下局部加权平均滤波器对当前位置处的运动场滤波78：
u ( i , j ) = Σ m , n ∈ Ω i , j w ( m , n ) u ( m , n ) Σ m , n ∈ Ω i , j w ( m , n )
以及
v ( i , j ) = Σ m , n ∈ Ω i , j w ( m , n ) v ( m , n ) Σ m , n ∈ Ω i , j w ( m , n )
其中，w(m，n)可以表示组合的权重。进一步确定66在运动场中是否剩余有未滤波位置。
在备选实施例中，可以组合附加权重以形成组合的权重。
在一些实施例中，可以将局部加权平均滤波器实现为纯非递归滤波器，其中，可以仅根据来自输入运动场的运动矢量，计算每个输出运动矢量。在备选实施例中，可以将局部加权平均滤波器实现为因果递归滤波器。在这些实施例中，除了在使用针对滤波载板中还没有被滤波的位置的输入运动场之外，还可以使用针对滤波载板中已滤波的位置的输出运动场，来计算输出运动矢量。这可以被称作在位(in-place)滤波。可以根据本领域已知的技术和方法，实现局部加权平均滤波滤波器的备选实现方式。
本发明的一些实施例可以包括用于运动估计的方法和系统。可以相对于一般的多尺寸级别运动估计方法或系统来描述这些实施例中的一些，可以关于图6理解该一般多尺寸级别运动估计方法或系统。也被称作分级的多尺寸级别运动估计方法和系统可以使用与视频帧相关联的图像数据的金字塔表示80。金字塔表示80可以包括与全分辨率帧82相关联的分辨率依次减小的帧(所示的三个帧88、86、84)。在多尺寸级别运动估计方或系统中，可以产生当前帧f(x，y)的金字塔表示和参考帧g(x，y)的金字塔表示。可以通过估计最低分辨率尺度级(例如，88)处的初始运动场，来进行运动估计处理。随后，可以使用金字塔的尺度级(也被称作级别)处的图像数据，在依次较高分辨率的尺度级(例如，86、84、82)上对初始的粗运动场进行精细化和改进。级别上的精细化过程可以使用在先前等级处产生的运动场的估计，并且可以计算更新或递增的运动矢量。根据运动估计方法，可以以各种方式使用来自先前级别的信息。精细化过程可以继续，直到在最高分辨率尺度级处已计算了运动场为止。在本发明的一些实施例中，多分辨率运动估计方法或系统可以包括根据这里描述的本发明实施例的运动场滤波。
关于图7描述本发明的一些实施例。在这些实施例中，可以在与运动场估计器相关联的计算系统中接收90当前帧或图像。可以在计算系统中接收92参考帧或图像。可以对当前帧和参考帧进行预处理94、96。示例预处理可以包括颜色转换以及其他图像归一化处理。在备选实施例中，可以不执行预处理。可以产生98与当前帧相关联的金字塔表示，并且可以产生100与参考帧相关联的金字塔表示。在一些实施例中，可以预先确定金字塔表示中级别的数目，或者在备选实施例中，可以基于输入帧的特性确定金字塔表示中级别的数目。在示例实施例中，全分辨率级别可以与1920x1080个像素相对应；第一较低分辨率级别可以与960x540个像素相对应；第二较低分辨率级别可以与480x270个像素相对应；以及最粗略的分辨率级别可以与240x135个像素相对应。图6所示以及以上实施例中所描述的金字塔级别的数目仅出于示意性目的。应理解，金字塔表示可以包括比这些示例中所示的级别更少或更多的级别。确定102是否剩余有未处理的级别。如果不存在103未处理的级别，则估计可以终止104。如果还有105未处理的级别，则可以获得106下个级别处进行处理所需的信息，并且下个级别可以变成当前级别。可以在当前级别处估计108运动场。在这种情况下，可以与当前帧和参考帧相关联地进行运动矢量场的估计。在这种情况下，运动矢量场中的每个运动矢量与当前帧中的位置和参考帧中的位置相对应。在最粗略级别，可以估计初始运动场。在后续级别处，在一些实施例中可以估计运动场更新，或者在备选实施例中可以估计精细化的运动场。可以执行110当前计算的运动场的非线性扩散，以及进一步确定102在运动场中是否剩余有未处理的级别。可以提供与当前帧和参考帧相关联的原始强度或颜色数据，用于在非线性扩散中进行数据自适应滤波权重的确定。此外，在非线性扩散步骤中可以提供每个运动矢量的置信度估计。在一些实施例中，可以在运动估计期间产生(计算)每个运动矢量的置信测度值。
在本发明的一些实施例中，可以根据于2009年8月19日提交的题为“Methods and Systems for Motion Estimation in a Video Sequence”的美国专利申请No.12/543,597中描述的方法和系统，来执行给定级别处的运动估计，该美国专利申请的全部内容通过引用合并于此。其他示例运动估计方法和系统可以包括块匹配方法和系统以及基于梯度的方法和系统。例如，基于Lucas和Kanade的方法和系统、相位相关方法和系统、以及本领域中已知的、可以在多尺度级框架中使用的其他运动估计方法和系统。例如，对于块匹配方法和系统，可以使用来自先前处理的较低分辨率尺度级的运动矢量，来初始化在当前级别处对最佳匹配运动矢量的搜索。此外，在这些实施例中，可以基于初始化的估计，来限制搜索区域。在基于梯度的方法或系统中，可以使用运动场的先前估计来对当前帧或参考帧中的一个进行翘曲(warp)，以使其更类似于当前帧或参考帧中的另一个。在后续运动估计步骤中，翘曲后的图像可以代替帧中的一个帧的图像数据，使得可以计算递增的运动矢量。
在本发明的一些实施例中，可以在每个级别处多次执行非线性扩散滤波。在示例实施例中，可以在级别处以预定次数执行非线性扩散滤波。在备选实施例中，可以在级别处执行非线性扩散滤波，直到平滑后的运动场满足第一准则，或者直到超过预定次数。
在本发明的一些实施例中，可以在单个尺度级处多次执行运动估计，其中在该尺度级，每个后续的运动场基于先前确定的滤波后的运动场。
尽管图2、4、5和7中的图示出了具体的执行顺序，但是应理解，执行顺序可以与所示的执行顺序不同。例如，模块的执行顺序可以相对于所示的顺序而改变。同样，作为另一示例，可以并发地或者部分并发地执行图中相继示出的两个或多个模块。本领域技术人员应理解，本领域技术人员可以创建软件、硬件和/或固件来执行这里描述的各种逻辑功能。
在本发明的一些实施例中，与运动矢量场中的位置相对应的当前帧中的位置可以与当前帧中的多个像素相关联。
在本发明的一些实施例中，第一函数关系是分段常值函数。
在本发明的一些实施例中，当绝对差满足准则时，针对区域中位置的第二权重值包括第一值；以及当绝对差不满足准则时，针对区域中位置的第二权重值包括第二值。
在本发明的一些实施例中，第二函数关系是分段常值函数。
在本发明的一些实施例中，滤波是非递归滤波。
在本发明的一些实施例中，滤波是因果递归滤波。
在本发明的一些实施例中，滤波是非递归滤波。
在本发明的一些实施例中，滤波是因果递归滤波。
在本发明的一些实施例中，当前帧中与运动矢量场中的运动矢量相对应的位置与当前帧中的多个像素相关联。
在本发明的一些实施例中，还包括：在运动场矢量中确定针对区域中的每个位置的第二权重值，其中，针对区域中的位置的第二权重值基于第二函数关系，该第二函数关系取决于与当前帧中相应位置相关联的图像值和与当前帧中相应窗中心位置相关联的图像值之间的绝对差；将针对区域中位置的第一权重值与针对区域中位置的第二权重值进行组合；其中，使用针对区域中每个位置而确定的第一权重值对窗中心位置处的运动矢量场进行滤波还包括：使用针对区域中的每个位置而确定的组合权重值。
在本发明的一些实施例中，与运动矢量场中的运动矢量相对应的当前帧中的位置与当前帧中的多个像素相关联。
图8示出了用于本发明方法的图像处理设备(系统)200。该设备包括：第一接收部分120、第二接收部分130、确定部分140以及滤波部分150。部分120、130、140和150包括在设备的主控制部分160中。该设备还包括存储器170，存储器170包含用于主控制部分160中处理的若干信息或值。
第一接收部分120接收当前帧310。第二接收部分130接收运动矢量场320。运动矢量场320与当前帧310相关联，这是因为运动矢量场320中的每个像素位置与当前帧310中的像素位置相对应。
确定部分140确定运动矢量场中针对区域中每个像素位置的权重值。该区域可以以窗口中心位置为中心。针对区域中像素位置的权重值基于函数关系，该函数关系取决于与当前帧中相应像素位置相关联的图像值和当前帧中与相应窗中心场相对应的图像值之间的绝对差。
滤波部分150使用针对区域中的每个像素值而确定的权重值，对窗中心位置处的运动矢量场进行滤波。
上述说明书中已采用的术语和表达这里用作描述性的而非限制性的，并且并不意在以排除所示和所描述的特征或特征的一部分的等同物方式使用这样的术语和表达，应认识到，本发明的范围仅受所附权利要求的限定和限制。

Claims (17)

1.一种用于对运动矢量场进行滤波的方法，所述方法包括：
a)接收当前帧；
b)接收与所述当前帧相关联的运动矢量场，其中，所述运动矢量场中的每个像素位置与所述当前帧中的像素位置相对应；
c)针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中：
i)所述区域近似地以窗中心位置为中心；以及
ii)针对所述区域中的像素位置的权重值是基于函数关系的，该函数关系取决于与所述当前帧中对应的像素位置相关联的图像值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝对差；以及
d)使用针对所述区域中的每个像素位置而确定的所述权重值，对所述窗中心位置处的所述运动矢量场进行滤波。
2.根据权利要求1所述的方法，其中：
a)当所述绝对差满足准则时，针对所述区域中的所述像素位置的所述权重值包括第一值；以及
b)当所述绝对值不满足所述准则时，针对所述区域中的所述像素位置的所述权重值包括第二值；其中
c)当所述绝对差小于阈值时，满足所述准则；以及
e)所述第一值是1；以及
f)所述第二值是在从0到1的闭合区间中的固定值。
3.根据权利要求1所述的方法，其中，所述函数关系是分段常值函数。
4.根据权利要求1所述的方法，其中，如果绝对差增大，则所述函数关系的所述权重值减小。
5.根据权利要求1所述的方法，其中，所述滤波是非递归滤波。
6.根据权利要求1所述的方法，其中，所述滤波是因果递归滤波。
7.根据权利要求1所述的方法，其中，与所述运动矢量场中的所述像素位置相对应的所述当前帧中的所述像素位置与所述当前帧中的多个像素相关联。
8.一种用于对运动矢量场进行滤波的方法，所述方法包括：
a)接收运动矢量场；
b)接收针对所述运动矢量场中每个运动矢量的置信测度值；
c)针对所述运动矢量场中区域中的每个像素位置，确定第一权重值，其中；
i)所述区域近似地以窗中心位置为中心；以及
ii)针对所述区域中的像素位置的第一权重值是基于第一函数关系的，该第一函数关系取决于与所述像素位置处的所述运动矢量相关联的所述置信测度值；以及
d)使用针对所述区域中的每个像素位置而确定的所述第一权重值，对所述窗中心位置处的所述运动矢量场进行滤波。
9.根据权利要求8所述的方法，其中，所述置信测度值是在运动估计过程期间计算的。
10.根据权利要求8所述的方法，还包括：
a)接收与所述运动矢量场相关联的当前帧，其中，所述运动矢量场中的每个像素位置与所述当前帧中的像素位置相对应；
b)接收与所述运动矢量场相关联的参考帧，其中，所述运动矢量场中的每个运动矢量与所述参考帧中的像素位置相关联；
c)其中，接收针对所述运动矢量场中每个运动矢量的置信测度值包括：计算所述区域中每个像素位置处的运动补偿误差；
d)在所述当前帧和所述参考帧中的区上计算平均运动补偿误差，其中所述区大于所述区域；以及
e)其中，针对所述区域中的像素位置的所述第一权重值是使用所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差来计算的。
11.根据权利要求10所述的方法，其中：
a)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差满足第一准则时，针对所述区域中的所述像素位置的所述第一权重值包括第一值；
b)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差满足第二准则时，针对所述区域中的所述像素位置的所述第一权重值包括第二值；以及
c)当所述像素位置处的所述运动补偿误差以及所述平均运动补偿误差不满足所述第一准则和所述第二准则时，针对所述区域中的所述像素位置的所述第一权重值包括第三值；其中
所述第一值是1；以及
所述第二值和所述第三值是在从0到1的闭合区间中的预定固定值，并且所述第三值大于所述第二值。
12.根据权利要求8所述的方法，还包括：
a)针对所述运动矢量场中所述区域中的每个像素位置，确定第二权重值，其中；
针对所述区域中的像素位置的第二权重值是基于第二函数
关系的，该第二函数关系取决于与所述当前帧中对应的像素位置
相关联的图像值和与所述当前帧中对应的窗中心位置相关联的图
像值之间的绝对差；
b)组合针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值；以及
c)其中，使用针对所述区域中的每个像素位置而确定的所述第一权重值来对所述窗中心位置处的所述运动矢量场进行滤波包括：使用针对所述区域中的每个像素值而确定的所组合的权重值。
13.根据权利要求12所述的方法，其中，所述的组合针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值包括：将针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值相乘。
14.根据权利要求12所述的方法，其中，所述的组合针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值包括：确定针对所述区域中的像素位置的所述第一权重值与针对所述区域中的像素位置的所述第二权重值中的最小值。
15.一种用于估计运动矢量场的方法，所述方法包括：
a)接收当前帧；
b)接收参考帧；
c)估计与所述当前帧和所述参考帧相关联的运动矢量场，其中，所述运动矢量场中的每个运动矢量与所述当前帧中的像素位置和所述参考帧中的像素位置相对应；
d)针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中；
i)所述区域近似地以窗中心位置为中心；以及
ii)针对所述区域中的像素位置的权重值是基于函数关系的，
该函数关系取决于与所述当前帧中对应的像素位置相关联的图像
值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝
对差；以及
d)使用针对所述区域中的每个像素位置而确定的所述权重值，对所述窗中心位置处的所述运动矢量场进行滤波。
16.一种用于估计运动矢量场的方法，所述方法包括：
a)接收当前帧；
b)接收参考帧；
c)估计与所述当前帧和所述参考帧相关联的运动矢量场，其中，所述运动矢量场中的每个运动矢量与所述当前帧中的像素位置和所述参考帧中的像素位置相对应；
d)接收针对所述运动矢量场中每个运动矢量的置信测度值；
e)针对所述运动矢量场中区域中的每个像素位置，确定第一权重值，其中；
i)所述区域以窗中心位置为中心；以及
ii)针对所述区域中的像素位置的所述第一权重值是基于第
一函数关系的，该第一函数关系取决于与所述像素位置处的所述
运动矢量相关联的所述置信测度值；以及
f)使用针对所述区域中的每个像素位置而确定的所述第一权重值，对所述窗中心位置处的所述运动矢量场进行滤波。
17.一种用于对运动矢量场进行滤波的系统，包括：
a)第一接收部分，用于接收当前帧；
b)第二接收部分，用于接收与所述当前帧相关联的运动矢量场，其中，所述运动矢量场中的每个像素位置与所述当前帧中的像素位置相对应；
c)确定部分，用于针对所述运动矢量场中区域中的每个像素位置，确定权重值，其中：
i)所述区域以窗中心位置为中心；以及
ii)针对所述区域中的像素位置的权重值是基于函数关系的，
该函数关系取决于与所述当前帧中对应的像素位置相关联的图像
值和与所述当前帧中对应的窗中心位置相关联的图像值之间的绝
对差；以及
d)滤波部分，用于使用针对所述区域中的每个像素位置而确定的所述权重值，对所述窗中心位置处的所述运动矢量场进行滤波。
CN2010102610935A 2009-09-04 2010-08-23 具有非线性运动场平滑的运动估计的方法和系统 Pending CN102014281A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/554,809 2009-09-04
US12/554,809 US8711938B2 (en) 2009-09-04 2009-09-04 Methods and systems for motion estimation with nonlinear motion-field smoothing

Publications (1)

Publication Number Publication Date
CN102014281A true CN102014281A (zh) 2011-04-13

Family

ID=43647754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102610935A Pending CN102014281A (zh) 2009-09-04 2010-08-23 具有非线性运动场平滑的运动估计的方法和系统

Country Status (3)

Country Link
US (1) US8711938B2 (zh)
JP (1) JP5107409B2 (zh)
CN (1) CN102014281A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567093A (zh) * 2011-12-20 2012-07-11 广州粤嵌通信科技股份有限公司 一种应用于视觉泊位自动引导系统的泊位机型识别方法
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置
CN108010061A (zh) * 2017-12-19 2018-05-08 湖南丹尼尔智能科技有限公司 一种基于运动边界指导的深度学习光流估计方法
CN108632502A (zh) * 2017-03-17 2018-10-09 深圳开阳电子股份有限公司 一种图像锐化的方法及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011094047A1 (en) * 2010-02-01 2011-08-04 Dolby Laboratories Licensing Corporation Filtering for image and video enhancement using asymmetric samples
US9769493B1 (en) * 2010-12-13 2017-09-19 Pixelworks, Inc. Fusion of phase plane correlation and 3D recursive motion vectors
EP2952003B1 (en) * 2013-01-30 2019-07-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9456213B2 (en) * 2013-07-17 2016-09-27 Hangzhou Danghong Technology Co., Ltd. Method for simultaneously encoding macroblock groups of frame
US9449371B1 (en) 2014-03-06 2016-09-20 Pixelworks, Inc. True motion based temporal-spatial IIR filter for video
WO2016037926A1 (en) * 2014-09-11 2016-03-17 Thomson Licensing Method and apparatus for determining a confidence value for an estimated parameter associated to a pixel of an image
US10136155B2 (en) 2016-07-27 2018-11-20 Cisco Technology, Inc. Motion compensation using a patchwork motion field

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968074B1 (en) * 1999-03-29 2005-11-22 Sony Corporation Image processing device, image processing method, and storage medium
CN101266688A (zh) * 2007-03-15 2008-09-17 株式会社东芝 运动估计设备与方法
US20090167904A1 (en) * 2007-12-26 2009-07-02 Sony Corporation Image processing circuit, imaging apparatus, method and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6628715B1 (en) * 1999-01-15 2003-09-30 Digital Video Express, L.P. Method and apparatus for estimating optical flow
WO2002019721A2 (en) * 2000-08-28 2002-03-07 Thomson Licensing S.A. Method and apparatus for motion compensated temporal interpolation of video sequences
TWI250423B (en) * 2004-07-30 2006-03-01 Ind Tech Res Inst Method for processing video images
US7760911B2 (en) * 2005-09-15 2010-07-20 Sarnoff Corporation Method and system for segment-based optical flow estimation
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
EP2213101A4 (en) * 2007-11-20 2011-08-10 Ubstream Ltd METHOD AND SYSTEM FOR COMPRESSING DIGITAL VIDEO TONES

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6968074B1 (en) * 1999-03-29 2005-11-22 Sony Corporation Image processing device, image processing method, and storage medium
CN101266688A (zh) * 2007-03-15 2008-09-17 株式会社东芝 运动估计设备与方法
US20090167904A1 (en) * 2007-12-26 2009-07-02 Sony Corporation Image processing circuit, imaging apparatus, method and program

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANGJIAN XIAO，ET AL: "Bilateral Filtering-Based Optical Flow Estimation with Occlusion Detection", 《ECCV 2006》, 31 December 2006 (2006-12-31), pages 211 - 224, XP019036391 *
TOMASI, C.: "Bilateral Filtering for Gray and Color Images", 《COMPUTER VISION, 1998. SIXTH INTERNATIONAL CONFERENCE》, 7 January 1998 (1998-01-07), pages 839 - 846, XP000926378 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102567093A (zh) * 2011-12-20 2012-07-11 广州粤嵌通信科技股份有限公司 一种应用于视觉泊位自动引导系统的泊位机型识别方法
CN103618904B (zh) * 2013-11-20 2017-02-22 华为技术有限公司 基于像素的运动估计方法及装置
CN108632502A (zh) * 2017-03-17 2018-10-09 深圳开阳电子股份有限公司 一种图像锐化的方法及装置
CN108010061A (zh) * 2017-12-19 2018-05-08 湖南丹尼尔智能科技有限公司 一种基于运动边界指导的深度学习光流估计方法

Also Published As

Publication number Publication date
US20110058610A1 (en) 2011-03-10
US8711938B2 (en) 2014-04-29
JP2011060282A (ja) 2011-03-24
JP5107409B2 (ja) 2012-12-26

Similar Documents

Publication Publication Date Title
CN102014281A (zh) 具有非线性运动场平滑的运动估计的方法和系统
Shin et al. Radiance–reflectance combined optimization and structure-guided $\ell _0 $-Norm for single image dehazing
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
Jacobson et al. A novel approach to FRUC using discriminant saliency and frame segmentation
US8345971B2 (en) Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
EP0512422A2 (en) Method for temporally adaptive filtering of noisy image sequences
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
US20160191948A1 (en) Motion Estimation in a Video Sequence
CN105931213B (zh) 基于边缘检测和帧差法的高动态范围视频去鬼影的方法
CN111614965B (zh) 基于图像网格光流滤波的无人机视频稳像方法及系统
Philip et al. A comparative study of block matching and optical flow motion estimation algorithms
Rota et al. Video restoration based on deep learning: a comprehensive survey
Min et al. Noise reduction in high dynamic range images
Jacobson et al. Scale-aware saliency for application to frame rate upconversion
Mangiat et al. Inexpensive high dynamic range video for large scale security and surveillance
Lin et al. Depth map enhancement on rgb-d video captured by kinect v2
Huebner Software-based turbulence mitigation of short exposure image data with motion detection and background segmentation
CN103618904B (zh) 基于像素的运动估计方法及装置
Li et al. Motion-compensated frame interpolation using patch-based sparseland model
Van Vo et al. High dynamic range video synthesis using superpixel-based illuminance-invariant motion estimation
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Veeravasarapu et al. Fast and fully automated video colorization
Schwarz et al. Improved edge detection for EWOC depth upscaling
Romanenko et al. Image matching in Bayer raw domain to de-noise low-light still images, optimized for real-time implementation
US20140321559A1 (en) Local detection model (ldm) for recursive motion estimation

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
AD01 Patent right deemed abandoned

Effective date of abandoning: 20110413

C20 Patent right or utility model deemed to be abandoned or is abandoned