CN101444094B - 用于对输入图像序列的先前和后继图像插值的方法 - Google Patents

用于对输入图像序列的先前和后继图像插值的方法 Download PDF

Info

Publication number
CN101444094B
CN101444094B CN2007800173314A CN200780017331A CN101444094B CN 101444094 B CN101444094 B CN 101444094B CN 2007800173314 A CN2007800173314 A CN 2007800173314A CN 200780017331 A CN200780017331 A CN 200780017331A CN 101444094 B CN101444094 B CN 101444094B
Authority
CN
China
Prior art keywords
motion vector
information
motion
fidelity
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007800173314A
Other languages
English (en)
Other versions
CN101444094A (zh
Inventor
V·弗赖伯格
O·埃德勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Deutschland GmbH
Original Assignee
Sony International Europe GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony International Europe GmbH filed Critical Sony International Europe GmbH
Publication of CN101444094A publication Critical patent/CN101444094A/zh
Application granted granted Critical
Publication of CN101444094B publication Critical patent/CN101444094B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

用于对输入图像序列(SI)的先前和后继图像插值的方法，包括以下步骤：确定描述在所述先前和后继图像之间的运动的至少一运动矢量(SVM)的保真度信息(SF1)，其中所述保真度信息(SF1)描述所述运动的水平和准确性，确定所述至少一运动矢量(SVM)的分类信息(SCF)，其中所述分类信息(SCF)取决于所述保真度信息(SF1)，所述分类信息(SCF)描述所述运动的运动类型，并且依据所确定的分类信息(SCF)选择插值方法。

Description

用于对输入图像序列的先前和后继图像插值的方法
技术领域
本发明涉及用于对输入图像序列的先前和后继图像插值的方法。此外，本发明涉及信号处理系统、计算机程序产品、计算机可读存储介质和用于对输入图像序列的先前和后继图像插值的信号处理装置。
背景技术
一般需要改善由运动补偿系统产生的插值图像的感知图像质量。典型的运动补偿系统包括两个主架构模块。第一模块是产生运动矢量场的运动估计过程，该运动矢量场描述从在时间上处于不同但通常相邻的点的两个图像中估计的图像部分的局部位移。经估计的运动矢量信息随后被插值过程使用以将那些运动图像部分位移表示待插值图像的中间临时位置的分量(fractional amount)τ。图1描述了包括静止背景对象BG和移动前景对象FG的一维图像的这种情况。从时间n到时间n+1在BG和FG之间的边界的位移由矢量v给出。为了在时间n+τ处对图像适当地插值，需要以因子τ缩放矢量v以找出在BG和FG之间的边界的插值位置。线a表示在时间索引n和n+1处分别在先前和下一图像中的接入位置(access position)，其中在那些位置的图像部分被用在滤波过程中以在点p产生插值图像部分。
然而，如果经估计的运动矢量v处于一些原因不反映对象FG的实际运动，插值过程将不复制在对象BG和FG之间的合适边界。在图2中可视化这种情况，其中运动估计产生错误的矢量v′而不是正确的矢量v。结果在两个对象之间的边界现在包括在接入线b和c之间的过渡区，并且插值过程将基于前景和背景区域的混合。一般，这种合成体(constellation)将产生没有被合适地构建的边界区域并且因此降低了插值结果的感知质量。
运动估计过程失效的原因可以是多方面的。它们涉及运动估计本身的原理或由于实现相关的限制。运动估计过程失效的突出原因是：
当在图像序列中描述的前景对象越过(move over)背景对象时，则被先前对象中的前景遮挡的背景部分将暴露在下一图像中。相反，在先前图像中暴露的背景图像部分可能当前景对象越过那些部分时被前景对象遮挡。大多数运动估计过程仍然试图估计那些遮挡和暴露区域的运动矢量。然而，这是容易出错的，因为用在匹配过程中的信息仅存在于先前或下一图像。
如果匹配过程确定了位移矢量的几个候选，相对于匹配准则它们全部产生同等好的匹配，最后所分配的矢量可以是从候选组中的随机选择。这种情况在均匀图像区域或区域包括重复图样或纹理的情况下发生。
尽管由不完善的运动估计过程招致的问题由于以上给出原因不能被解决，所提出的方法的目的是在插值结果中降低那些影响的可见性，并且因此改善运动补偿的感知质量。所提出的方法的另一目的是用适合于在集成电路中实现的有效途径实现这个结果。换句话说，目的在于提供信号处理装置，该信号处理装置可以在插值结果中降低由不完善的运动估计招致的影响的可见性，并且因此改善运动补偿的感知质量，其中依据所需要的计算时间和存储器将资源保持在最小。
发明内容
为解决这个问题，本发明依据权利要求1提供了用于对输入图像序列的先前和后继图像插值的方法。此外，分别依据权利要求20、21、22和23本发明提供了信号处理系统、计算机程序产品、计算机可读存储介质和信号处理装置。本发明的优选实施例是所限定的从属权利要求。
本发明提供了用于对输入图像序列的先前和后继图像插值的方法，包括确定描述在所述先前和后继图像之间运动的至少一运动矢量的保真度信息的步骤，其中所述保真度信息描述所述运动的水平和准确性。所述运动的水平描述所述运动的复杂度、大小和/或绝对值。因此，运动的水平还可以视为运动的复杂度。复杂运动被定义为与所描述移动场景对象的快速遮挡或暴露组合的非匀速运动。所述运动的准确性与例如可从残差(比较以下)中得到的估计准确性相应。方法还包括确定所述至少一运动矢量的分类信息的步骤，其中所述分类信息取决于所述保真度信息，其中所述分类信息描述所述运动的运动类型。例如，所述分类信息可以相对于所述后继图像描述所述先前图像中的图像块的可见性，或反之亦然。方法还包括依据所确定的分类信息选择插值方法的步骤。随后，这种插值方法被用来对所述先前和后继图像插值以获得插值图像。例如所述先前图像可与时间n对应并且所述后继图像可与时间n+1对应。则所述插值图像可与时间n+τ对应。在这个实例中，时间n+τ位于时间n和时间n+1之间。所述保真度信息用来决定效用，即在插值图像内运动补偿的运动矢量的有效性或有用性或效益。例如，如果所述保真度信息表示低的保真度，则运动矢量被认为不是非常有效，然而当所述保真度信息表示高的保真度时，则这表示相应运动矢量对于所述插值图像中的运动补偿来说是有效的。
因此，提出运动补偿系统/方法的增强，其识别包括潜在复杂运动的问题图像区域。随后用与用于匀速运动区域的插值方法不同的可选稳健方法对所识别区域插值以感知上优化插值结果。
可以确定每个运动矢量的残差并且基于所述残差和相应运动矢量可确定所述保真度信息。
所述保真度信息还可以与信息的1位对应。在这种情况下内存的所需量非常低。
如果相应运动矢量的大小超过了第一阈值并且相应残差超过了第二阈值，所述保真度信息还可以具有值“不稳定”，并且否则还可以具有值“稳定”。
此外，还可以执行以下步骤：
将所述运动矢量投影到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得投影运动矢量，并且基于所述投影运动矢量确定所述分类信息。
此外，还可以执行以下步骤：
将所述保真度信息投影到所述插值位置以获得投影保真度信息，并且基于所述投影保真度信息确定所述分类信息。
所述分类信息还可以具有以下运动分类值之一，每个表示一定的运动类型：
“普通”，在此情况下所述运动矢量描述在所述先前图像中和在所述后继图像中都可见的图像块的无歧义运动；
“遮挡”，在此情况下所述运动矢量描述仅在所述先前源图像中可见并且在所述后继图像中被遮挡的图像块的运动；
“暴露”，在此情况下所述运动矢量描述在所述先前源图像中不可见并且在所述后继图像中被暴露的图像块的运动；
“未知”，在此情况下所述运动矢量描述不能被识别为“普通”、“遮挡”或“暴露”的运动。
所述分类信息可以是通过对描述所述运动的运动类型的未滤波分类信息滤波来确定的滤波分类信息。
所述对所述未滤波分类信息滤波还可以包括确定取决于所述未滤波分类信息、所述投影保真度信息和/或所述投影运动矢量的组合保真度信息。
如果所述投影保真度信息具有值“不稳定”，或
所述投影运动矢量与表示无矢量的零矢量对应并且所述未滤波分类信息的运动分类值与“普通”不同，或
横向和纵向相邻运动矢量的运动分类值具有值“未知”或相矛盾的相反值“遮挡”和“暴露”，
所述组合保真度信息还可以具有值“不稳定”，并且
否则具有值“稳定”。
还可以对所述组合保真度信息滤波以获得滤波保真度信息，其中所述对所述组合保真度信息滤波包括扩大标以值“不稳定”的空间区域的组合形态扩张和关闭操作。
从而，所述对所述未滤波分类信息滤波可包括复用所述未滤波分类信息和具有运动分类值“未知”的恒定运动分类信息以获得复用分类信息，其中所述复用取决于所述滤波保真度信息和/或取决于所述组合保真度信息。
如果所述滤波保真度信息具有值“稳定”，所述复用分类信息可等于所述未滤波分类信息，并且否则等于所述恒定运动分类信息。
此外，当对所述未滤波分类信息滤波时，还可以执行以下步骤：
在空间定义的邻域内围绕与所述至少一运动矢量对应的每个空间位置确定具有多数发生的运动分类值，并且
将所述滤波分类信息设置成具有多数发生的所确定运动分类值。
此外，还可以依据滤波运动矢量补偿运动，该滤波运动矢量由以下确定：
选择所述投影运动矢量的邻近运动矢量的子集，其中所述邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并且
将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波运动矢量。
在一实施例中，所述调整方法包括单独计算横向和纵向运动矢量分量的个别平均以得到平均横向和平均纵向运动矢量分量，并且重组待解释为每个邻域子集的平均运动矢量的平均矢量分量。
在另一实施例中，所述调整方法包括单独计算横向和纵向运动矢量分量的个别中值以得到中值横向和中值纵向运动矢量分量，并且重组待解释为每个邻域子集的中值滤波运动矢量的中值矢量分量。
仍然在另一实施例中，所述调整方法包括尤其通过矢量大小、矢量方向等等来枚举所述子集中的运动矢量，并且使用排序滤波器以选择所述子集的代表性运动矢量。
所述方法可以包括在投影所述运动矢量和/或所述保真度信息之后提高分辨率的步骤。
本发明的信号处理系统适合于执行如以上所定义并解释的方法或方法步骤中的任何之一。
依据发明的计算机程序产品，包括当在计算机、数字信号处理装置等等上执行时适合于实现方法的计算机程序装置，如以上所定义和/或其步骤该方法用于对输入图像序列的先前和后继图像插值。
计算机可读存储介质包括如以上所定义的计算机程序产品。
信号处理装置，用于对输入图像序列的先前和后继图像插值，包括：
保真度检测单元，适合于确定描述在所述先前和后继图像之间的运动的至少一运动矢量的保真度信息，其中所述保真度信息描述所述运动的水平和准确性，
滤波单元，适合于确定所述至少一运动矢量的分类信息，其中所述分类信息取决于所述保真度信息，所述分类信息描述所述运动的运动类型，
插值单元，适合于依据所确定的分类信息选择插值方法。
信号处理装置还可以包括适合于确定每个运动矢量的残差的运动估计单元，其中基于所述残差和相应运动矢量确定所述保真度信息。
所述信号处理装置还可以包括投影单元，该投影单元适合于将所述运动矢量投影到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得投影运动矢量，其中所述滤波单元还适合于基于所述投影运动矢量确定所述分类信息。
所述投影单元可以适合于将所述保真度信息投影到所述插值位置以获得投影保真度信息，并且所述滤波单元适合于基于所述投影保真度信息确定所述分类信息。
所述分类信息可以是滤波分类信息并且所述滤波单元适合于对描述所述运动的运动类型的未滤波分类信息滤波以获得所述滤波分类信息。
所述滤波单元还可以适合于确定取决于所述未滤波分类信息、所述投影保真度信息和/或所述投影运动矢量的组合保真度信息。
所述滤波单元还可以适合于对所述组合保真度信息滤波以获得滤波保真度信息，其中所述对所述组合保真度信息滤波包括扩大标以值“不稳定”的空间区域的组合形态扩张和关闭操作。
所述信号处理装置还可以包括复用单元，该复用单元适合于复用所述未滤波分类信息和具有运动分类值“未知”的恒定运动分类信息以获得复用分类信息，其中所述复用取决于所述滤波保真度信息和/或取决于所述组合保真度信息。
可以控制所述复用单元以便如果所述滤波保真度信息具有值“稳定”，所述复用分类信息等于所述未滤波分类信息，并且否则等于所述恒定运动分类信息。
所述信号处理装置还可以包括调整单元，该调整单元适合于
在空间定义的邻域内围绕与所述至少一运动矢量对应的每个空间位置确定具有多数发生的运动分类值，并且
将所述滤波分类信息设置成具有多数发生的所确定运动分类值。
所述插值单元可适合于依据滤波运动矢量补偿运动，该滤波运动矢量由所述调整单元通过以下确定：
选择所述投影运动矢量的邻近运动矢量的子集，其中所述邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并且
将所述邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波运动矢量。
附图说明
图1示出了例示两个图像的插值的图，其中运动矢量可以被准确确定；
图2示出了例示两个图像的插值的图，其中运动矢量不能被准确确定；
图3示出了带处理单元的框图；
图4示出了实例，其中位移矢量由前向运动估计过程产生并且后向矢量由前向矢量的反转(inversion)得到。
图5示出了基本原理，其中在时间索引n处的前向运动矢量场和在时间索引n+1处的后向运动矢量场都被投影到插值位置n+τ；
图6示出了可被包括在图3所示的滤波单元PF内的处理单元。
具体实施方式
图3描述了具有改善的复杂运动处理的运动补偿的实施例。包括至少两个后继图像的输入图像序列SI由运动估计过程ME分析以生成运动矢量信号SVM的和相应残差(residual error)值信号SEM，用于在处于时间索引n和时间索引n+1的输入图像之间的过渡。
矢量保真度检测器FD将误差值SEM和运动矢量SVM组合以形成二值保真度指标SF1，如果相应矢量被认为没有准确表示运动，该指标SF1具有值“不稳定”，如果相应矢量被认为适当地表示了运动，该指标SF1具有值“稳定”。
依据待插值输出帧的所期望临时位置n+τ，信号SVM和SF1都随后被矢量投影过程VP在运动矢量场中空间移动。因此，矢量投影过程VP将产生投影运动矢量SVP和相应投影保真度信号SFP。此外，生成为SCP中的每个运动矢量定义相应运动类型的四值运动分类信号SCP。
投影运动矢量SVP、相应运动类型分类SCP和相应投影保真度指标SFP随后被后滤波器PF进一步处理以生成滤波运动矢量SVF和相应的滤波运动类型分类SCF。
依据所期望临时位置n+τ，从源图像信号SI中的临时在索引n和索引n+1处相邻的至少源图像中，最后的插值过程IP生成输出图像SO。此外，滤波运动矢量信号SVF和滤波运动分类SCF用于通过运动补偿执行插值。
在图3所描述的不同运动矢量信号中不需要具有与输入和输出图像的分辨率相同的空间分辨率。在实施例中，经估计的运动矢量场的分辨率小于运动估计过程ME的有效实现的图像分辨率。对于信号SI中的8×8像素的图像块来说，典型值是信号SVM中的一矢量的关系(relation)。对于4×4像素的图像块来说，在矢量投影过程VP后，分辨率可以再次增加至例如信号SVP中的一矢量的关系。通常，后滤波过程PF不产生额外分辨率，以便滤波运动矢量SVF的分辨率与投影运动矢量SVP相同。
保真度检测过程FD的细节：
对于运动补偿方法的所提出改善来说，运动矢量一直被认为是足够可靠的以被包括在将它投影到应当对中间图像插值的临时位置n+τ的过程中。然而，来自运动估计过程的每个运动矢量在将它投影到插值位置之前将通过保真度指标来分级(grade)。这具有以下优点，即仅保真度指标需要连同相应运动矢量一起的投影，而非用来计算保真度指标的输入自身。
基本上从两个信号中计算保真度指标，第一个是运动估计过程的残差信号。残差是与每个所分配运动矢量相关联的单独值并反映匹配质量。运动估计过程的典型实施例是将在由候选运动矢量移位的图像区域之间的累计绝对误差(SAD)最小化的基于块的方法。则残差信号值是分配给各自图像位置的运动矢量的SAD值。
基于块的运动估算方法的典型特性是在越过背景对象的前景对象边界处确定合适运动矢量的减少的准确性。通常，对象边界并不与匹配块网格对准(align)，以便在那些情况下，仅部分匹配块包括来自期望运动的前景对象的像素，而由于背景与前景相比用不同的运动移动，其它部分包括来自背景的非匹配像素。结果，由于前述原因，尽管低的匹配误差值通常表示好的运动矢量，但高的匹配误差值并不自动表示不好的运动矢量。因此，对于保真度表示过程来说，需要另一信号。
该另一信号可以从以下一般观察中得到，即具有高速度的对象运动导致模糊的对象描绘。这种模糊效应是由于需要最小曝光时间的预先图像采集过程，其导致越过观察空间位置的所有图像内容的临时集成。对于移动刚性对象的内部区域来说，这种效应产生速度相关的但在其它方面恒定模糊的对象，同时在移动对象的边界区域出现与其它背景对象的混合。这种情况是基于块的运动估计的另一问题，即，合适检测前景和背景对象的正确的运动矢量，因为混合的图像区域仅存在于先前和下一源图像中的一个，使得匹配失败并且检测到错误的运动矢量。
由于上述推理，保真度检测器将从运动矢量信号SVM中得到的运动矢量大小和匹配残差信号SEM组合以决定运动矢量的效用。如果运动矢量的相应大小超过了第一阈值并且相应的残差超过了第二阈值，将值“不稳定”分配给信号SF1中的空间位置。否则，不满足这些条件时，将值“稳定”分配给信号SF1中的剩余空间位置。
运动矢量投影过程VP的细节：
运动矢量投影过程VP的目的是对于所期望插值位置n+τ对于时间索引n和n+1分别估计信号SVM中的运动矢量的定位。这在运动矢量场空间不连续的情况下尤其重要，即，在前景和背景对象之间的边界沿不同轨迹移动。否则，如果对象的运动描述并没有与插值图像中的其描绘重叠，插值过程在对象边界处产生伪像(artefact)。与将估计运动矢量信号SVM变换成投影运动矢量信号SVP类似，保真度指标信号SF1被变换成投影保真度指标信号SFP。
出于类似原因，识别在插值帧的每个空间位置处存在的运动类型是重要的，以便后继插值过程选择最合适的插值方法。因此，生成运动分类信号SCP，其包括与信号SVP中的每个投影运动矢量对应的四值运动分类类型。
由矢量投影过程VP检测的四种运动分类类型为：
“普通”：运动矢量描述在源图像中都可见的图像块的无歧义运动，先前图像在时间索引n处并且下一图像在时间索引n+1处。
“遮挡”：运动矢量描述仅在时间索引n处的先前源图像中可见但在时间索引n+1处的下一源图像中被遮挡的图像块的运动。
“暴露”：运动矢量描述在时间索引n处的先前源图像中不可见但在时间索引n+1处的下一源图像中被暴露的图像块的运动。
“未知”：运动矢量描述不能被识别为上述运动类型“普通”、“遮挡”或“暴露”之一的运动。
为了检测正确的运动分类类型，运动矢量投影过程VP在时间上需要来自至少两点的运动矢量信息，至少一点在所期望插值时间n+τ之前并且至少一点在所期望插值时间n+τ之后。
运动估计方案的几个实施例对于得到运动分类类型来说是足够的。
在[2]中描述了一实施例，其采用两个平行的但在其它方面独立的运动估计过程。第一过程估计从时间索引n到时间索引n+1的临时前向位移，而第二过程估计从时间索引n+1到时间索引n的临时后向位移。
在[1]中描述的另一实施例基于在时间索引n和时间索引n+1之间的前向运动矢量场通过将矢量外插(extrapolate)入时间索引n-1和时间索引n+2并分析由这些向量寻址(address)的像素值来执行运动分类。
在第三实施例中，使用单个运动估计过程以从两个后继运动矢量场中检测前向和后向位移二者。对于从时间索引n到时间索引n+1检测前向位移的运动估计过程来说，直接使用前向运动矢量。随后通过从时间索引n+1到时间索引n+2对前向位移反转(invert)来得到后向运动矢量。在从时间索引n+1到时间索引n检测后向位移的具有运动估计过程的可选实施例中，直接使用后向运动矢量。随后从时间索引n到时间索引n-1通过对后向位移反转得到前向运动矢量。图4描述了实例，其中位移矢量VF0和vF1由前向运动估计过程产生，并且后向矢量VB1通过前向矢量VF1的反转得到。
在用[1]或[2]运动估计方案从时间索引n到时间索引n+1建立前向位移并且从索引n+1到时间索引n建立后向位移之后，可构建运动分类类型。图5描述了基本原理，其中在时间索引n处的前向运动矢量场和在时间索引n+1处的后向运动矢量场都被投影到插值位置n+τ。将运动类型“普通”分配给在这些投影双方中包括等效匹配运动矢量的所有空间位置。将运动类型“遮挡”分配给在仅前向矢量投影中包括运动矢量的所有空间位置。将运动类型“暴露”分配给在仅后向矢量投影中包括运动矢量的所有空间位置。最后，将运动类型“未知”分配给既不在前向中也不在后向投影中接收运动矢量的剩余空间位置。在图5中，将运动类型“普通”分配给除段O和E外的所有空间位置，其中分别将运动类型“遮挡”分配给段O中的空间位置并且将运动类型“暴露”分配给段E中的空间位置。
后滤波器过程PF的细节：
将参考图6来解释后滤波器过程PF的内件。在第一步骤中，通过保真度组合过程FC将投影运动矢量信号SVP、投影保真度信号SFP和投影运动分类信号SCP组合以生成组合保真度信号SFC。SFC又是具有两个值“不稳定”和“稳定”的每个空间位置的二元标志。对于每个空间位置来说，过程FC用可配置的方式组合以下事件中的任何事件以分配输出保真度指标SFC的值“不稳定”：
信号SFP中的输入保真度指标具有值“不稳定”。
信号SVP中的运动矢量表示无运动的零矢量并且信号SCP中的相应运动分类不是运动类型“普通”。
横向和纵向相邻位置的运动类型具有值“未知”或相矛盾的相反值“遮挡”和“暴露”。
否则，将值“稳定”分配给所有空间位置的输出保真度指标SFC，其中不满足上述条件。
在下一步骤中，通过过程DC对保真度指标信号SFC滤波以产生滤波保真度指标信号SFD。滤波过程DC包括扩大标以值“不稳定”的空间区域的组合形态扩张和关闭操作。这通过以下来完成，即首先将所有与具有值“不稳定”的位置相邻的空间位置也设置成值“不稳定”并且随后用横向和纵向的方式对在值“不稳定”的不超过可配置分离距离(distance apart)的所有位置之间的值“不稳定”滤波。
随后，扩张保真度指标信号SFD控制复用器MUX，该复用器MUX从投影运动分类信号SCP或恒定运动分类信号SCU中为每个空间位置选择值。运动分类信号SCU具有与投影运动分类信号SCP相同的分辨率，但是具有分配给所有空间位置的运动类型值“未知”。对于每个空间位置来说，如果保真度指标信号SFD具有相应空间位置的值“稳定”，将投影运动分类信号SCP的值分配给输出运动分类信号SCX。否则，如果保真度指标信号SFD具有相应空间位置的值“不稳定”，将恒定运动分类信号SCU的值分配给输出运动分类信号SCX。
通过运动矢量调整过程VS进一步处理投影运动矢量信号SVP和复用运动分类信号SCX以产生滤波运动矢量信号SVF和滤波运动分类信号SCF。滤波过程VS首先在空间定义的邻域内围绕每个空间位置确定具有多数发生的运动分类值。结果，这种多数运动分类被分配给滤波运动分类信号SCF。相同的多数运动分类还用于在投影运动矢量信号SVP中选择相应邻近位置的子集。将源自邻域子集的运动矢量用作调整方法的输入以产生滤波运动矢量信号SVF中的每个空间位置的结果运动矢量。在一实施例中在调整方法内单独计算横向和纵向运动矢量分量的个别平均(individual average)以得到平均横向和平均纵向运动矢量分量。随后重组待解释为每个邻域子集的平均运动矢量的平均矢量分量。另一实施例采用排序滤波器(例如中值滤波器)而不是上述程序的平均滤波器。然而另一实施例例如通过矢量大小、矢量方向或其它准则来枚举邻域子集中的运动矢量，并且随后使用排序滤波器以选择邻域子集的代表性运动矢量。
插值过程IP的细节：
依据所期望临时位置n+τ从优选地为在源图像信号SI中在时间索引n和时间索引n+1处临时邻近的源图像的至少两个源图像中，插值过程IP生成输出图像SO。此外，滤波运动矢量SVF和滤波运动分类SCF用于通过运动补偿执行插值。
对于待插值输出图像SO中的每个空间位置来说，相应运动分类值用于选择在效果上不同的插值方法。那些方法中的每一个其自身通过现有技术是个别已知的。
“普通”：以因子τ缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的空间位置，第一图像块从先前输入图像中读出。其次，以因子(τ-1)缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n+1处的下一输入图像的空间位置，第二图像块从下一输入图像中读出。通过加权滤波器来处理两个图像块，该加权滤波器分别将它们的贡献加权至与它们的临时位置τ和1-τ成反比的滤波结果。将滤波结果分配给输出图像SO的当前空间位置。
“未知”：以因子τ缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的空间位置，第一图像块从先前输入图像中读出。其次，以因子(τ-1)缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n+1处的下一输入图像的空间位置，第二图像块从下一输入图像中读出。在与输出图像SO的当前空间位置对应的空间位置处分别从先前和下一输入图像中读出第三和第四图像块，并且随后将两个模块的加权平均分配给第五图像块。排序滤波器选取待复制到输出图像SO当前空间位置的由第一、第二和第五图像块构成的组中的一个。
“遮挡”：以因子τ缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n处的先前输入图像的空间位置，第一图像块从先前输入图像中读出。将这个图像块复制到输出图像SO的当前空间位置。
“暴露”：以因子(τ-1)缩放相应运动矢量并且将相应运动矢量加到输出图像的当前空间位置坐标上以计算在时间索引n+1处的下一输入图像的空间位置，第一图像块从下一输入图像中读出。将这个图像块复制到输出图像SO的当前空间位置。
在以下给出了现有技术的简要介绍：
对于在[1]中提出的运动补偿方法来说，四个后继图像的内容用来确定在两个中央图像之间估计的正确的运动矢量，并且决定图像部分在待插值图像中是否是遮挡的或显示的。
在[2]中提出的方法采用了产生前向运动矢量场和相应后向运动矢量场的两个并行运动估计过程。将前向和后向运动矢量与误差准则相比较以决定哪一矢量用于待插值图像。
在[3]中，双向基于块的运动补偿过程用于隔行到逐行扫描(Interlaced to Progressive)以及帧频(frame rate)转换。对于待插值帧的每个像素来说，在这使用的运动估计提供了一个、多个或无运动矢量。对于这三种情况中的每一个，使用不同的插值方法以产生插值输出像素。
在[4]中描述的视频图像上转换方法执行待用于每个像素运动补偿的运动矢量的正确性检测，并且如果认为运动矢量是不正确的则用先前记录像素值替换插值像素值。
在[5]中提出的格式转换器和去隔行变换器(de-interlacer)使用在先前和下一帧之间的双向运动估计。用具有局部最小匹配误差的邻近矢量替换具有高匹配误差的运动矢量。将结果矢量分配给插值帧，并且通过使用所分配矢量来对帧插值。
参考文献：
G.A.Thomas，M.Burl，Video Image Processing，International PatentNo.WO92/05662，April2，1992.
G.de Haan，A.Pelagotti，Motion Vector Estimation and Detection ofCovered/Uncovered Image Parts，International Patent No.WO99/22520，May6，1999.
D.-J.Wang，J.-J.Leou，A New Approach to Video FormatConversion Using Bidirectional Motion Estimation and Hybrid ErrorConcealment，Journal of Information Science and Engineering.Vol.17，No.5，pp.763-777，Sept.2001.
N.Dantwala，Method for Improving Accuracy of Block BasedMotion Compensation，International Patent No.WO 02/49365，June 20，2002.
S.-H.Lee，S.-J.Ko，Format Converter Using Bi-directional MotionVector and Method Thereof，US Patent No.6,900,846，May 31，2005.
标号
FD 保真度检测单元
IP 插值单元
ME 运动估计单元
MUX 复用单元
PF 滤波单元
SCF 分类信息
SCP 未滤波分类信息
SCU 恒定运动分类信息
SCX 复用分类信息
SEM 残差
SFC 组合保真度信息
SFD 滤波保真度指标信息
SF1 保真度信息
SFP 投影保真度信息
SI 图像序列
SVM 运动矢量
SVP 投影运动矢量
VP 矢量投影单元
VS 调整单元

Claims (37)

1.用于对输入图像序列(SI)的先前和后继图像插值的方法，包括以下步骤：
确定描述在先前和后继图像之间的运动的至少一运动矢量(SVM)的保真度信息(SF1)，其中所述保真度信息(SF1)描述所述运动的水平和准确性；
确定所述至少一运动矢量(SVM)的分类信息(SCF)，其中所述分类信息(SCF)取决于所述保真度信息(SF1)，所述分类信息(SCF)描述所述运动的运动类型；
依据所确定的分类信息(SCF)选择插值方法，
所述方法还包括将所述保真度信息(SF1)投影到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得投影保真度信息(SFP)，并且基于所述投影保真度信息(SFP)确定所述分类信息(SCF)。
2.如权利要求1所述方法，其中确定每个运动矢量(SVM)的残差(SEM)并且
基于所述残差(SEM)和相应运动矢量(SVM)确定所述保真度信息(SF1)。
3.如前述权利要求中任何一项所述的方法，其中所述保真度信息(SF1)与信息的1位对应。
4.如权利要求2所述的方法，其中如果相应运动矢量(SVM)的大小超过了第一阈值并且相应残差(SEM)超过了第二阈值，所述保真度信息(SF1)具有值“不稳定”，并且否则具有值“稳定”。
5.如权利要求1、2或4所述的方法，还包括：
将所述运动矢量(SVM)投影到与位于所述先前和后继图像之间的所述插值图像对应的所述插值位置以获得投影运动矢量(SVP)，并且
基于所述投影运动矢量(SVP)确定所述分类信息(SCF)。
6.如权利要求1、2或4所述的方法，其中所述分类信息(SCF)具有以下运动分类值之一，每个表示一定的运动类型：
“普通”，在此情况下所述运动矢量描述在所述先前图像中和在所述后继图像中都可见的图像块的无歧义运动；
“遮挡”，在此情况下所述运动矢量描述仅在所述先前图像中可见并且在所述后继图像中被遮挡的图像块的运动；
“暴露”，在此情况下所述运动矢量描述在所述先前图像中不可见并且在所述后继图像中被暴露的图像块的运动；
“未知”，在此情况下所述运动矢量描述不能被识别为“普通”、“遮挡”或“暴露”的运动。
7.如权利要求1、2或4所述的方法，其中所述分类信息是通过对描述所述运动的运动类型的未滤波分类信息(SCP)滤波来确定的滤波分类信息(SCF)。
8.如权利要求7所述的方法，其中所述对所述未滤波分类信息(SCP)滤波包括确定取决于所述未滤波分类信息(SCP)、所述投影保真度信息(SFP)和/或所述投影运动矢量(SVP)的组合保真度信息(SFC)。
9.如权利要求8所述的方法，其中如果
所述投影保真度信息(SFP)具有值“不稳定”，或
所述投影运动矢量与表示无运动的零矢量对应并且所述未滤波分类信息(SCP)的运动分类值与“普通”不同，或
横向和纵向相邻运动矢量的运动分类值具有值“未知”或相矛盾的相反值“遮挡”和“暴露”，
所述组合保真度信息(SFC)具有值“不稳定”，并且
否则具有值“稳定”。
10.如权利要求8所述的方法，其中对所述组合保真度信息(SFC)滤波以获得滤波保真度信息(SFD)，其中所述对所述组合保真度信息(SFC)滤波包括扩大标以值“不稳定”的空间区域的组合形态扩张和关闭操作。
11.如权利要求8所述的方法，其中所述对所述未滤波分类信息(SCP)滤波包括复用所述未滤波分类信息(SCP)和具有运动分类值“未知”的恒定运动分类信息(SCU)以获得复用分类信息(SCX)，其中所述复用取决于所述滤波保真度信息(SFD)和/或取决于所述组合保真度信息(SFC)。
12.如权利要求11所述的方法，其中如果所述滤波保真度信息(SFD)具有值“稳定”，所述复用分类信息(SCX)等于所述未滤波分类信息(SCP)，并且否则等于所述恒定运动分类信息(SCU)。
13.如权利要求7所述的方法，其中所述对所述未滤波分类信息(SCP)滤波包括：
在空间定义的邻域内围绕与所述至少一运动矢量(SVM)对应的每个空间位置确定具有多数发生的运动分类值，并且
将所述滤波分类信息(SCF)设置成具有多数发生的所确定的运动分类值。
14.如权利要求13所述的方法，还包括依据滤波运动矢量(SVF)补偿运动，该滤波运动矢量(SVF)由以下确定：
选择所述投影运动矢量(SVP)的邻近运动矢量的子集，其中所述邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并且
将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波运动矢量(SVF)。
15.如权利要求14所述的方法，其中所述调整方法包括单独计算横向和纵向运动矢量分量的个别平均以得到平均横向和平均纵向运动矢量分量，并且重组待解释为每个邻域子集的平均运动矢量的平均矢量分量。
16.如权利要求14所述的方法，其中所述调整方法包括单独计算横向和纵向运动矢量分量的个别中值以得到中值横向和中值纵向运动矢量分量，并且重组待解释为每个邻域子集的中值滤波运动矢量的中值矢量分量。
17.如权利要求14所述的方法，其中所述调整方法包括枚举所述子集中的运动矢量，并且使用排序滤波器以选择所述子集的代表性运动矢量。
18.如权利要求17所述的方法，其中所述调整方法包括通过矢量大小或矢量方向来枚举所述子集中的运动矢量.
19.如权利要求1、2或4所述的方法，还包括在投影所述运动矢量(SVM)和/或所述保真度信息(SF1)之后提高分辨率的步骤。
20.信号处理装置，用于对输入图像序列(SI)的先前和后继图像插值，包括：
保真度检测单元(FD)，适合于确定描述在所述先前和后继图像之间的运动的至少一运动矢量(SVM)的保真度信息(SF1)，其中所述保真度信息(SF1)描述所述运动的水平和准确性；
滤波单元(PF)，适合于确定所述至少一运动矢量(SVM)的分类信息(SCF)，其中所述分类信息(SCF)取决于所述保真度信息(SF1)，所述分类信息(SCF)描述所述运动的运动类型；
插值单元(IP)，适合于依据所确定的分类信息(SCF)选择插值方法，
其中所述投影单元(VP)适合于将所述保真度信息(SF1)投影到与位于所述先前和后继图像之间的插值图像对应的插值位置以获得投影保真度信息(SFP)，并且所述滤波单元(PF)适合于基于所述投影保真度信息(SFP)确定所述分类信息(SCF)。
21.如权利要求20所述的信号处理装置，包括适合于确定每个运动矢量(SVM)的残差(SEM)的运动估计单元(ME)，其中基于所述残差(SEM)和相应运动矢量(SVM)确定所述保真度信息(SF1)。
22.如权利要求20或21所述的信号处理装置，其中所述保真度信息(SF1)与信息的1位对应。
23.如权利要求21所述的信号处理装置，其中如果相应运动矢量(SVM)的大小超过了第一阈值并且相应残差(SEM)超过了第二阈值，所述保真度信息(SF1)具有值“不稳定”，并且否则具有值“稳定”。
24.如权利要求20、21或23所述的信号处理装置，还包括投影单元(VP)，该投影单元(VP)适合于将所述运动矢量(SVM)投影到与位于所述先前和后继图像之间的所述插值图像对应的所述插值位置以获得投影运动矢量(SVP)，其中所述滤波单元(PF)还适合于基于所述投影运动矢量(SVP)确定所述分类信息(SCF)。
25.如权利要求20、21或23所述的信号处理装置，其中所述分类信息(SCF)具有以下运动分类值之一，每个表示一定的运动类型：
“普通”，在此情况下所述运动矢量描述在所述先前图像中和在所述后继图像中都可见的图像块的无歧义运动；
“遮挡”，在此情况下所述运动矢量描述仅在所述先前图像中可见并且在所述后继图像中被遮挡的图像块的运动；
“暴露”，在此情况下所述运动矢量描述在所述先前图像中不可见并且在所述后继图像中被暴露的图像块的运动；
“未知”，在此情况下所述运动矢量描述不能被识别为“普通”、“遮挡”或“暴露”的运动。
26.如权利要求20、21或23所述的信号处理装置，其中所述分类信息是滤波分类信息(SCF)并且所述滤波单元(PF)适合于对描述所述运动的运动类型的未滤波分类信息(SCP)滤波以获得所述滤波分类信息。
27.如权利要求26所述的信号处理装置，其中所述滤波单元(PF)适合于确定取决于所述未滤波分类信息(SCP)、所述投影保真度信息(SFP)和/或所述投影运动矢量(SVP)的组合保真度信息(SFC)。
28.如权利要求27所述的信号处理装置，其中如果
所述投影保真度信息(SFP)具有值“不稳定”，或
所述投影运动矢量与表示无运动的零矢量对应并且所述未滤波分类信息(SCP)的运动分类值与“普通”不同，或
横向和纵向相邻运动矢量的运动分类值具有值“未知”或相矛盾的相反值“遮挡”和“暴露”，
所述组合保真度信息(SFC)具有值“不稳定”，并且
否则具有值“稳定”。
29.如权利要求27所述的信号处理装置，其中所述滤波单元(PF)适合于对所述组合保真度信息(SFC)滤波以获得滤波保真度信息(SFD)，其中所述对所述组合保真度信息(SFC)滤波包括扩大标以值“不稳定”的空间区域的组合形态扩张和关闭操作。
30.如权利要求27所述的信号处理装置，其中包括复用单元(MUX)，该复用单元(MUX)适合于复用所述未滤波分类信息(SCP)和具有运动分类值“未知”的恒定运动分类信息(SCU)以获得复用分类信息(SCX)，其中所述复用取决于所述滤波保真度信息(SFD)和/或取决于所述组合保真度信息(SFC)。
31.如权利要求30所述的信号处理装置，其中控制所述复用单元(MUX)以便如果所述滤波保真度信息(SFD)具有值“稳定”，所述复用分类信息(SCX)等于所述未滤波分类信息(SCP)，并且否则等于所述恒定运动分类信息(SCU )。
32.如权利要求27所述的信号处理装置，包括调整单元(VS)，该调整单元(VS)适合于
在空间定义的邻域内围绕与所述至少一运动矢量(SVM)对应的每个空间位置确定具有多数发生的运动分类值，并且
将所述滤波分类信息(SCF)设置成具有多数发生的所确定运动分类值。
33.如权利要求32所述的信号处理装置，其中所述插值单元(IP)适合于依据滤波运动矢量(SVF)补偿运动，该滤波运动矢量(SVF)由所述调整单元(VS)通过以下确定：
选择所述投影运动矢量(SVP)的邻近运动矢量的子集，其中所述邻近运动矢量具有与具有多数发生的运动分类值相等的运动分类值，并且
将邻近运动矢量的所述子集用作调整方法的输入以获得所述滤波运动矢量(SVF)。
34.如权利要求33所述的信号处理装置，其中所述调整方法包括单独计算横向和纵向运动矢量分量的个别平均以得到平均横向和平均纵向运动矢量分量，并且重组待解释为每个邻域子集的平均运动矢量的所述平均矢量分量。
35.如权利要求33所述的信号处理装置，其中所述调整方法包括单独计算横向和纵向运动矢量分量的个别中值以得到中值横向和中值纵向运动矢量分量，并且重组待解释为每个邻域子集的中值滤波运动矢量的中值矢量分量。
36.如权利要求33所述的信号处理装置，其中所述调整方法包括枚举所述子集中的运动矢量，并且使用排序滤波器以选择所述子集的代表性运动矢量。
37.如权利要求36所述的信号处理装置，其中所述调整方法包括通过矢量大小或矢量方向来枚举所述子集中的运动矢量。
CN2007800173314A 2006-05-12 2007-05-09 用于对输入图像序列的先前和后继图像插值的方法 Expired - Fee Related CN101444094B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP06009881A EP1855474A1 (en) 2006-05-12 2006-05-12 Method for generating an interpolated image between two images of an input image sequence
EP06009881.1 2006-05-12
PCT/EP2007/004108 WO2007131688A1 (en) 2006-05-12 2007-05-09 Method for interpolating a previous and subsequent image of an input image sequence

Publications (2)

Publication Number Publication Date
CN101444094A CN101444094A (zh) 2009-05-27
CN101444094B true CN101444094B (zh) 2010-12-22

Family

ID=36954922

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800173314A Expired - Fee Related CN101444094B (zh) 2006-05-12 2007-05-09 用于对输入图像序列的先前和后继图像插值的方法

Country Status (4)

Country Link
US (1) US8340186B2 (zh)
EP (1) EP1855474A1 (zh)
CN (1) CN101444094B (zh)
WO (1) WO2007131688A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2223530A2 (en) 2007-11-30 2010-09-01 Dolby Laboratories Licensing Corp. Temporal image prediction
CN101946514B (zh) 2007-12-20 2014-06-04 高通股份有限公司 使用自适应搜索范围的真实运动矢量估计
KR101536794B1 (ko) * 2007-12-20 2015-07-14 퀄컴 인코포레이티드 후광현상이 줄어든 영상보간 장치 및 방법
US20100013992A1 (en) * 2008-07-18 2010-01-21 Zhi Zhou Method and system for detecting motion at an intermediate position between image fields
US9100535B2 (en) * 2008-10-22 2015-08-04 Entropic Communications, Llc Device and method for motion estimation and compensation
TWI408620B (zh) * 2008-12-12 2013-09-11 Mstar Semiconductor Inc 用以決定插補畫面之移動向量的影像處理方法及其相關裝置
CN101778292B (zh) * 2009-01-08 2013-07-17 晨星软件研发(深圳)有限公司 影像处理方法及其装置
WO2010091937A1 (en) * 2009-02-12 2010-08-19 Zoran (France) Temporal video interpolation method with 2-frame occlusion handling
WO2010091934A1 (en) 2009-02-12 2010-08-19 Zoran (France) Video sequence analysis for robust motion estimation
EP2237560A1 (en) * 2009-03-30 2010-10-06 Vestel Elektronik Sanayi ve Ticaret A.S. Halo reducing motion-compensated interpolation
TR200906020A2 (tr) * 2009-08-04 2011-02-21 Vestel Elektroni̇k Sanayi̇ Ve Ti̇caret Anoni̇m Şi̇rketi̇@ Hareket alanlarının, kare interpolasyon çerçevelerine,belleğe etkin erişimli şekilde ayarlanması için metot ve aparat
TR200908303A2 (tr) * 2009-11-03 2011-05-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Hareket dengelemeli enterpolasyon.
US8537283B2 (en) 2010-04-15 2013-09-17 Qualcomm Incorporated High definition frame rate conversion
GB201007351D0 (en) * 2010-04-30 2010-06-16 Imagination Tech Ltd Varying temporal interpolation in a motion compensated frame interpolation system
US9357161B1 (en) * 2011-10-17 2016-05-31 Pixelworks, Inc. Motion vector interpolation for motion compensation
CN102724504B (zh) * 2012-06-14 2015-01-07 华为技术有限公司 视频编码滤波方法及装置
EP3001685A1 (en) * 2014-09-24 2016-03-30 Thomson Licensing Method and apparatus for estimating absolute motion values in image sequences
CN116723355B (zh) * 2023-08-11 2023-11-28 深圳传趣网络技术有限公司 视频插帧的处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0648047A2 (en) * 1993-10-11 1995-04-12 THOMSON multimedia Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
CN1212579A (zh) * 1997-09-19 1999-03-31 汤姆森多媒体公司 以运动补偿时间内插图像的方法及设备
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
CN1742486A (zh) * 2003-01-23 2006-03-01 皇家飞利浦电子股份有限公司 背景运动向量检测

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2637100B1 (fr) * 1988-09-23 1990-11-02 Thomson Csf Procede et dispositif d'estimation de mouvement dans une sequence d'images animees
KR930701888A (ko) 1990-09-20 1993-06-12 마머듀크 제임스 허시. 마이클 찰스 스티븐슨 비디오 영상 프로세싱 방법 및 장치
US5455629A (en) * 1991-02-27 1995-10-03 Rca Thomson Licensing Corporation Apparatus for concealing errors in a digital video processing system
FR2675002B1 (fr) 1991-04-05 1993-06-18 Thomson Csf Procede de classification des pixels d'une image appartenant a une sequence d'images animees et procede d'interpolation temporelle d'images utilisant ladite classification.
US5315171A (en) * 1992-12-23 1994-05-24 Michael Blauer Analog feedback rank order filter
US6185340B1 (en) * 1997-02-18 2001-02-06 Thomson Licensing S.A Adaptive motion vector control
US6097520A (en) * 1997-06-30 2000-08-01 Microsoft Corporation Remote control receiver and method of operation
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
KR100708091B1 (ko) 2000-06-13 2007-04-16 삼성전자주식회사 양방향 움직임 벡터를 이용한 프레임 레이트 변환 장치 및그 방법
US6810081B2 (en) 2000-12-15 2004-10-26 Koninklijke Philips Electronics N.V. Method for improving accuracy of block based motion compensation
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
FR2842064B1 (fr) * 2002-07-02 2004-12-03 Thales Sa Systeme de spatialisation de sources sonores a performances ameliorees

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0648047A2 (en) * 1993-10-11 1995-04-12 THOMSON multimedia Method and apparatus for forming a video signal using motion estimation and signal paths with different interpolation processing
CN1212579A (zh) * 1997-09-19 1999-03-31 汤姆森多媒体公司 以运动补偿时间内插图像的方法及设备
US6219436B1 (en) * 1997-10-29 2001-04-17 U.S. Philips Corporation Motion vector estimation and detection of covered/uncovered image parts
CN1742486A (zh) * 2003-01-23 2006-03-01 皇家飞利浦电子股份有限公司 背景运动向量检测

Also Published As

Publication number Publication date
EP1855474A1 (en) 2007-11-14
US8340186B2 (en) 2012-12-25
CN101444094A (zh) 2009-05-27
WO2007131688A1 (en) 2007-11-22
US20090278991A1 (en) 2009-11-12

Similar Documents

Publication Publication Date Title
CN101444094B (zh) 用于对输入图像序列的先前和后继图像插值的方法
CN105517671B (zh) 一种基于光流法的视频插帧方法及系统
EP0395275B1 (en) Motion dependent video signal processing
US5005077A (en) Motion dependent video signal processing
EP0395274B1 (en) Motion dependent video signal processing
US8929451B2 (en) External vectors in a motion estimation system
CN102025959B (zh) 从低清晰度视频产生高清晰度视频的系统与方法
US20030206246A1 (en) Motion estimator for reduced halos in MC up-conversion
EP0395264B1 (en) Motion dependent video signal processing
US20090136146A1 (en) Image processing device and method, program, and recording medium
CN100438609C (zh) 带有降质的图像处理单元
US4998168A (en) Motion dependent video signal processing
EP0395266B1 (en) Motion dependent video signal processing
EP0395272B1 (en) Motion dependent video signal processing
KR20040050906A (ko) 모션 추정을 위한 장치 및 방법
US20030086499A1 (en) Unit for and method of motion estimation and image processing apparatus provided with such motion estimation unit
JP2005535028A (ja) セグメント化のためのシステムおよびセグメント化方法
KR20040078690A (ko) 오클루전을 고려하여 일군의 화소들의 움직임 벡터를 추정
US9106926B1 (en) Using double confirmation of motion vectors to determine occluded regions in images
EP4174770A1 (en) Monocular-vision-based detection of moving objects
JP2006215657A (ja) 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体
JPH07336650A (ja) フィールド内挿方法
JP2009118456A (ja) 画像補間装置および方法
JP3903358B2 (ja) 動きベクトルの評価方法および装置
JPH04106673A (ja) 動画像領域分割装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20101222

Termination date: 20150509

EXPY Termination of patent right or utility model