CN1922873A - 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像 - Google Patents

通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像 Download PDF

Info

Publication number
CN1922873A
CN1922873A CNA2005800056311A CN200580005631A CN1922873A CN 1922873 A CN1922873 A CN 1922873A CN A2005800056311 A CNA2005800056311 A CN A2005800056311A CN 200580005631 A CN200580005631 A CN 200580005631A CN 1922873 A CN1922873 A CN 1922873A
Authority
CN
China
Prior art keywords
image
region
picture signal
areas
interpolated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800056311A
Other languages
English (en)
Inventor
R·J·N·弗博格
H·本坦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1922873A publication Critical patent/CN1922873A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及图像信号的扫描速率变换的一种方法、设备、计算机程序和计算机程序产品，包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并混合所述至少一个内插图像区域和至少一个外推图像区域以获得一个混合的图像区域。所述混合步骤有利地取决于要内插和/或外推的图像区域是不是一个闭塞区域的判决，并取决于至少一个确定的运动矢量的精确度。

Description

通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像
技术领域
本发明涉及图像信号的扫描速率变换的一种方法、设备、计算机程序和计算机程序产品。
背景技术
图像信号的扫描速率变换是大量的视频应用领域中需要的。例如，对第二视频标准要求的图像频率采用服从第一视频标准的图像信号的图像频率来说，扫描速率变换是必要的。这个过程通常结合了图像内插。然而，图像内插可能导致内插图像中令人讨厌的赝像。
光晕赝像是在现代的高端电视机中配置的运动补偿扫描速率变换系统中残留的最讨厌的赝像之一。在这些运动补偿扫描速率变换系统中，通过说明了图像信号的两个连续图像之间的像素或像素块的位移的估计的运动矢量从两个原始图像中移动所选的像素，并且在移动后的像素上执行某些线性的(例如，平均)或者非线性的(例如，中值滤波)操作，或者执行它们二者，将一个新的图像内插到两个原始图像中间。光晕赝像主要在执行内插时发生在所谓闭塞区域中，也就是在将要用于内插而且在不可能发生运动矢量估计程序期间不同于在所述两个图像中的图像区域或块的匹配的程度的两个图像中的图像区域中。
当前技术发展水平的扫描速率变换系统在闭塞区域中应用不同的处理以减轻光晕赝像，例如在检测到闭塞区域时，通过用单向图像处理(例如，从将要内插的两个图像之一中提取简单的像素)取代双向内插。例如，国际申请WO 00/11863建议检测一个图像信号的图像中作为闭塞区域标识符的边界的存在，并按照所检测的闭塞区域执行双向或单向处理。
图1示意性地描述了例如在WO 00/11863中使用的当前技术发展水平的扫描速率变换系统。该系统包括一个用于存储已确定的运动矢量的高速缓冲存储器1，一个用于存储当前图像的像素的高速缓冲存储器2和一个用于存储先前图像的像素的高速缓冲存储器3。用新的运动矢量和与扫描速率变换器4操作同步的像素连续地更新这些高速缓冲存储器。例如，可以用在先前图像中定义一个块(例如，由16×16像素组成的一个宏块)并在当前图像中搜索类似块的块匹配算法来粗略地确定运动矢量，其中二维位移矢量则表示运动矢量。当然，也可以应用用于块内物体或包含视频信号的几个图像的更简明的估计技术。随后连续地将已确定的运动矢量和那些来自与块匹配处理中形成的块相关联的先前和当前图像的像素馈送到扫描速率变换器4中，它内插当前和先前像素以获得内插像素，并从先前或当前图像的像素外推以获得外推像素。例如，可以通过用已确定的运动矢量移动来自先前和当前图像的像素，并在其上执行某些线性(例如，平均)和/或非线性(例如，级联式中值滤波)操作来实现内插处理。无论如何，由于得到的内插像素包含来自先前和当前图像二者的信息，所以可以认为内插是双向图像处理技术。相反，外推处理仅依赖来自所述先前和当前图像之一的信息。例如，通过用已确定的运动矢量移动先前图像的像素，只可以在其上执行运动补偿。从而，外推表现为单向图像处理技术。
随后，内插和外推像素馈送到开关5，它选择内插或外推像素作为扫描速率变换系统的最终输出像素。关于要选择内插或外推像素中的哪个的判决基于视频信号图像中闭塞区域的检测，该检测是由基于已确定的运动矢量的闭塞检测例6执行的。如果所述闭塞检测例6确定实际处理的像素所属的图像区域是一个闭塞区域，则为了减少扫描速率变换的图像中光晕赝像量，通过开关5选择外推像素而不选择内插像素。如果判决实际处理的像素所属的图像区域不是一个闭塞区域，则由于在内插非闭塞区域时不太可能出现光晕赝像，开关选择内插像素作为扫描速率变换系统的最终输出信号。
在图1的当前技术发展水平的扫描速率变换系统中应用的诸如外推技术之类的单向图像处理完全取决于已确定的运动矢量域的性质。即使为外推的图像区域确定了一个正确的运动矢量，例如一个图像的背景运动矢量，那么在扫描速率变换的图像信号中，尤其在图像信号中复杂运动的情况下，还是会出现新型的令人厌烦的赝像。实验表明，即使对闭塞区域应用空间模糊滤波器也不能去除这些新型的赝像。
考虑到上面提到的问题，和其它的问题，本发明的目的是提供用以改善图像信号扫描速率变换的一种方法、一种设备、一种计算机程序和一种计算机程序产品。
发明内容
提出了一种图像信号扫描速率变换的方法，包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域。
所述扫描速率变换方法，举例来说，可以是一种基于像素或子像素的运动补偿扫描速率变换方法，并且为了改变所述图像信号的图像频率，可以应用在多种类型的多媒体设备中，比如电视机、机顶盒、数字和模拟接收机、广播电台、计算机或手持设备。特别地，用于高清晰度电视(HDTV)系统的视频信号的上变换可以用所述扫描速率变换方法实现。因此，所述图像信号可以遵照多种图像或视频标准，举例来说，可以表示根据全国电视系统委员会制式(NTSC)、逐行倒相制式(PAL)或者顺序与存储彩色电视系统(SECAM)标准的电视信号。
所述图像信号通常由一个图像序列组成，它又由图像元素(像素)的行和列组成。所述像素的组形成每个图像内的图像区域，例如像素块。为了确定期望的扫描速率变换的图像信号的图像区域，可以执行内插，其中所述图像暂时位于要变换的输入图像信号的两个给定的图像之间。通常，在每个所述第一和第二图像内只有一个相应的图像区域考虑作内插，产生内插图像区域。或者，完整的第一和第二图像可以考虑作内插。在内插处理中，也可能有利于合并多于两个图像的像素信息。
举例来说可以通过从所述第一和第二图像的相应第一和第二图像区域移位像素对应的运动矢量，并在其上执行某些线性(比如，平均)和/或非线性(比如，中值滤波或级联式的中值滤波)操作来实现内插处理，其中举例来说可以由在第一图像中定义一个图像区域并在第二图像中搜索类似图像区域的块匹配算法来确定所述运动矢量，其中二维位移矢量则表示运动矢量。同样，也可以应用多种包含图像信号的几个图像的更简明的估计技术。从内插图像区域的观点看来，所述内插从而可以设想为双向图像处理技术。
相反，所述图像信号的所述至少一个图像的所述至少一个图像区域的所述外推仅从一个图像中的一个图像区域开始，并无需结合来自所述图像信号的两个图像的像素信息确定所述外推图像区域。例如，在没有运动补偿的方法中，外推像素可以简单地是所述图像信号的所述至少一个图像的一个未处理的像素。在有运动补偿的方法中，可以通过移位所述至少一个图像的像素对应的运动矢量来获得所述外推像素。从外推图像区域的观点看来，外推从而可以设想为单向图像处理技术。所述至少一个图像信号可以和所述第一或第二图像相同，或者表示另外的图像。同样，所述至少一个图像区域可以和所述第一或第二图像区域相同，或者表示另外的图像区域。
所述混合所述至少一个内插图像区域和所述至少一个外推图像区域的步骤举例来说可以用所述至少一个内插图像区域和所述至少一个外推图像区域的加权加法来表示。从而，所述内插图像区域的像素的亮度和/或色度值可以与第一因数相乘，而且因此在相加之前，所述外推图像区域的像素的亮度和/或色度值可以与第二因数相乘。
这种加权加法允许在作为混合图像区域的内插图像区域和作为混合图像区域的外推图像区域之间的无缝淡入淡出，并且非常有助于减少由扫描速率变换器最终输出的混合图像区域中的赝像。例如，如果对识别为闭塞区域的图像区域执行了外推，并且如果该外推以之为基础的已确定的运动矢量是不准确的，那么由于在作为混合图像区域的内插图像区域和外推图像区域之间的简单切换操作，在当前工艺水平的扫描速率变换系统中新型赝像的出现是不可避免的。然而，根据本发明的方法，不仅可以在选择最终输出混合图像区域时在内插图像区域和外推图像区域之间切换，也可以输出包括内插和外推图像区域二者成分的图像区域。在本示例中，从而有可能减少有利于内插图像区域的混合图像区域中外推图像区域的作用。这导致变换赝像的全面缓解，以及变换后图像信号的改善的感知特性。
在混合步骤期间关于加权因数的选择举例来说可以基于评价已确定的运动矢量精确度的标准，或者基于预定的或动态调整的阈值。
根据本发明的方法，可能有利的是，该方法还包括识别所述图像信号的所述图像中的闭塞区域。所述闭塞区域举例来说可以借助运动矢量估计和边界检测来识别。一个图像的剩余区域随后可以识别为非闭塞区域。
根据本发明的方法，可能有利的是，至少部分地依靠所述内插和/或外推的图像区域是否为闭塞区域的判定来执行所述混合的步骤。光晕效果只在对是闭塞区域的图像区域执行内插时发生。因此有利于合并关于内插和/或外推到混合步骤中的图像区域特性的知识。当图像区域是非闭塞区域时，可以以混合图像区域完全由内插图像区域组成而没有任何外推图像区域影响的方式来执行混合。相反，如果图像区域是闭塞区域，那么由于闭塞区域中的内插导致光晕赝像，可能有利于减少有利于外推图像区域的混合图像区域中内插图像区域的作用。
根据本发明的方法，可能有利的是，该方法还包括确定至少一个运动矢量，和关于所述图像信号的至少一个图像的至少一个图像区域的至少一个相关联匹配误差。所述运动矢量描述了目标从图像到图像的移动，例如通过可从第一图像内的图像区域或块中出发并随后在第二图像中搜索类似的图像区域或块的块匹配算法，其中在所述两个图像内的所述图像区域或块之间的二维位移随后可以表示一个运动矢量。对每个已确定的、对应于它描述其位移的图像区域或块的运动矢量，可以计算出匹配误差，其量化已经被所述运动矢量投影时的所述第一图像的所述图像区域或块与第二图像中的图像区域或块之间的差异。
根据本发明的方法，可能有利的是，至少部分地依靠所述至少一个已确定的匹配误差来执行所述混合的步骤。因而，所述混合的步骤有可能依赖有关被内插和/或外推的图像区域是否为闭塞区域的判定，并依赖所述已确定的匹配误差。所述匹配误差举例来说可以作为已确定的运动矢量的精确度的标识符来使用，而在所述混合的步骤中在所述内插图像区域和所述外推图像区域相加之前可以与它们相乘的加权因数可以依赖所述匹配误差。因而，在混合的步骤之后由所述扫描速率变换方法最终输出的混合图像区域中的所述内插和外推图像区域的作用可以适应运动矢量的特性。如果运动矢量是错误的，则增大内插图像区域的作用，而如果运动矢量是精确的，则增大外推图像区域的作用。如果已经断定要被内插和/或外推的图像区域是一个闭塞区域，则这是特别重要的。然而，在混合图像区域中内插图像区域和外推图像区域的作用是可以根据所述匹配误差来调整的，反之，如果断定当前处理的是一个非闭塞区域，混合图像区域可以直接设置为内插图像区域，而无需在混合步骤中考虑匹配误差。
在运动补偿的扫描速率变换系统中，匹配误差的计算是运动矢量估计器的一个整数部分，所以在驱动基于所述匹配误差的混合操作时没有出现了额外的计算复杂性。
根据本发明的方法，可能有利的是，根据绝对差(SAD)之和的标准来确定所述至少一个匹配误差。然后，计算在已经由一个相应运动矢量投射的第一图像的一个图像区域或块内的所有像素与在第二图像中的相应图像区域或块中的像素之间的亮度和/或色度值的绝对差的总和。或者，均方误差(MSE)标准可以应用于匹配误差。
根据本发明的方法，可能有利的是，基于像素、行、块或域并以所述至少一个图像区域的预定模式确定所述至少一个匹配误差。基于行、块或域计算匹配误差，与不得不考虑一个图像区域或块的所有像素的情况比较，可能有利于降低计算复杂性。
根据本发明的方法，可能有利的是，依靠执行的所述混合的步骤，所述至少一个匹配误差对应于一个是非闭塞区域的图像区域。得自闭塞区域的匹配误差可能不准确，所以可能有利于使用来自是非闭塞区域的其它的、可能邻近的图像区域的匹配误差。
根据本发明的方法，可能有利的是，依靠所述非闭塞区域的相应运动矢量和期望的运动矢量之间的差来选择所述非闭塞区域。所述期望的运动矢量举例来说可以是一个背景运动矢量，可以利用摇镜头变焦模式来确定它。然后选择一个不是一个闭塞区域而它的运动矢量接近所述背景运动矢量的图像区域。对应于所述图像区域的匹配误差随后用于混合步骤。
根据本发明的方法，可能有利的是，所述非闭塞区域位于至少一个被内插和/或外推的闭塞区域附近。举例来说，如果所述图像区域识别为闭塞区域，这可能有利于测试在被内插和/或外推的图像区域左边和右边的图像区域。如果这些在左边和右边的图像区域是非闭塞区域，可以确定它们相应的运动矢量并将其与期望的运动矢量进行比较，比如背景运动矢量。随后，对应于与该背景运动矢量最接近的运动矢量的匹配误差用于内插和外推图像区域的混合。
还提出了一种具有可操作以使处理器执行所述方法步骤的指令的计算机程序。所述处理器举例来说可以是一个提供和/或变换所述图像信号的多媒体设备的中央处理器。
还提出了一种包括具有可操作以使处理器执行所述方法步骤的指令的计算机程序的计算机程序产品。
还提出了一种图像信号扫描速率变换的设备，该设备包括：至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域的装置；外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域的装置；和混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域的装置。
根据本发明的设备，可能有利的是，该设备还包括在所述图像信号的所述图像中识别闭塞区域的装置。
根据本发明的设备，可能有利的是，该设备还包括确定所述图像信号的至少一个图像的至少一个图像区域的至少一个运动矢量和至少一个相关联匹配误差的装置。
本发明的这些和其它的方面将通过参考下文中描述的实施方式被阐明而显而易见。
附图说明
在附图中示出了：
图1.根据现有技术的扫描速率变换系统；
图2.根据本发明的扫描速率变换系统；和
图3.根据本发明的方法的流程图。
具体实施方式
图2示意性地描述了根据本发明的扫描速率变换系统。图2系统的基本结构与图1的现有技术系统相同。但是，在图2的系统中，用混合器7代替了开关5，而且更改了高速缓冲存储器1，以便它现在既包括运动矢量又包括相应的匹配误差。这些匹配误差被馈送到所述混合器例7。
在混合器例7及其输入上，显露了现有技术的扫描速率变换系统和根据本发明的扫描速率变换系统之间的决定性差别。除了由扫描速率变换器4输出的内插及外推像素和来自闭塞检测例6的可以得自运动矢量的关于闭塞区域的信息之外，混合器例7还接收表示已确定的运动矢量精确度的匹配误差信息。
在图3的流程图中示意性地描述了混合器例7的操作。在步骤10，基于来自闭塞检测例6的信息，混合器例7检查当前要扫描速率变换的像素的图像区域是否为一个闭塞区域。如果不是这样，则进行内插而不会导致光晕赝像是可能的，而且在步骤11中，简单地将输出像素设置为内插像素。如果在步骤10中识别图像区域是一个闭塞区域，则在步骤12中混合器例6检查可由高速缓冲存储器1用于所述混合器例6的匹配误差是否低于某个阈值。注意，由于当前图像区域是一个使相应匹配误差非常不准确的闭塞区域的事实，在步骤12中检查的匹配误差不是从当前图像区域得出的，而是从一个识别为非闭塞区域而且其相应运动矢量接近于已确定的背景矢量的邻近图像区域得出的。如果在步骤12中的判定为正，则认为匹配误差低，并且，相应地，假定已确定的运动矢量是准确的，以便在步骤13中能够将输出像素设置为外推像素而不会导致新型的赝像。或者，如果在步骤12中的判定为负，则由扫描速率变换系统输出内插和外推像素的加权和。为了这个目的，在步骤14中从在步骤12中使用的匹配误差得出第一加权因数we和w，并且，最终，在步骤15中，将输出像素设置为内插和外推像素的加权和。
已经借助于实施方式说明了本发明。应该注意到，对本领域的技术人员来说有显然的替代方式和变化，而且可以在不脱离所附权利要求的范围和主旨的情况下可以实现它们。特别地，可以应用检测闭塞和内插及外推的不同技术，而且在混合步骤内，可以使用可替换的标准控制在完全由外推像素组成的输出像素和完全由内插像素组成的输出像素之间的淡入淡出。例如，这可以包括均方误差(MSE)匹配误差标准，也包括以像素的行或者像素的一些格栅或者结构为基础计算的所有类型的匹配误差标准，尤其节省计算。取代仅对图像的图像区域执行内插和外推，对整个图像执行它们可能是有利的。很容易看到，不仅是闭塞区域的检测，而且还有导致双向内插的性能降低的其它图像特性的检测，可以在本发明中使用，以指出单向外推可能是有利的。

Claims (15)

1、一种用于图像信号扫描速率变换的方法，包括：
-至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插，以获得至少一个内插图像区域；
-外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域；并且
-混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一混合图像区域。
2、根据权利要求1的方法，还包括：
-识别所述图像信号的所述图像中的闭塞区域。
3、根据权利要求2的方法，其中所述混合步骤依赖所述被内插和/或外推的图像区域是否为闭塞区域的判决来至少部分地执行。
4、根据权利要求1-3的方法，还包括：
-确定至少一个运动矢量，和关于所述图像信号的至少一个图像的至少一个图像区域的至少一个相关联匹配误差。
5、根据权利要求4的方法，其中所述混合步骤依赖所述至少一个已确定的匹配误差来至少部分地执行。
6、根据权利要求4-5中任意一个的方法，其中所述至少一个匹配误差是根据绝对差之和(SAD)的标准来确定的。
7、根据权利要求4-6中任意一个的方法，其中所述至少一个匹配误差是基于像素、行、块或域并对于所述至少一个图像区域以预定模式确定的。
8、根据权利要求5-7中任一个的方法，其中依靠其执行所述混合步骤的所述至少一个匹配误差对应于是非闭塞区域的图像区域。
9、根据权利要求8的方法，其中所述非闭塞图像区域是依靠其相应的运动矢量和期望的运动矢量之间的差来选择的。
10、根据权利要求9的方法，其中所述非闭塞区域位于至少一个被内插和/或外推的闭塞区域附近。
11、一种具有可操作以使处理器执行权利要求1-10的方法步骤的指令的计算机程序。
12、一种包括具有可操作以使处理器执行权利要求1-10的方法步骤的指令的计算机程序的计算机程序产品。
13、一种用于图像信号扫描速率变换的设备，包括：
-至少在所述图像信号的第一图像的第一图像区域和所述图像信号的第二图像的第二图像区域之间内插以获得至少一个内插图像区域的装置；
-外推所述图像信号的至少一个图像的至少一个图像区域以获得至少一个外推图像区域的装置；和
-混合所述至少一个内插图像区域和所述至少一个外推图像区域以获得一个混合图像区域的装置。
14、根据权利要求13的设备，还包括：
-用以识别所述图像信号的所述图像中的闭塞区域的装置。
15、根据权利要求13-14中任意一个的设备，还包括：
-用以确定所述图像信号的至少一个图像的至少一个图像区域的至少一个运动矢量和至少一个相关联匹配误差的装置。
CNA2005800056311A 2004-02-23 2005-02-18 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像 Pending CN1922873A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04100698.2 2004-02-23
EP04100698 2004-02-23

Publications (1)

Publication Number Publication Date
CN1922873A true CN1922873A (zh) 2007-02-28

Family

ID=34878290

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800056311A Pending CN1922873A (zh) 2004-02-23 2005-02-18 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像

Country Status (6)

Country Link
US (1) US20080151106A1 (zh)
EP (1) EP1721458A1 (zh)
JP (1) JP2007525132A (zh)
KR (1) KR20060135770A (zh)
CN (1) CN1922873A (zh)
WO (1) WO2005081524A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626508A (zh) * 2008-07-11 2010-01-13 宝利微电子系统控股公司 一种判断帧率提升中闭塞区域的方法
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE320143T1 (de) * 2001-11-07 2006-03-15 Koninkl Philips Electronics Nv Vorrichtung und verfahren zum erkennen von verdeckung
JP4668220B2 (ja) * 2007-02-20 2011-04-13 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8831101B2 (en) * 2008-08-02 2014-09-09 Ecole De Technologie Superieure Method and system for determining a metric for comparing image blocks in motion compensated video coding
US8411756B2 (en) * 2009-05-21 2013-04-02 Ecole De Technologie Superieure Method and system for generating block mode conversion table for efficient video transcoding
US9100656B2 (en) 2009-05-21 2015-08-04 Ecole De Technologie Superieure Method and system for efficient video transcoding using coding modes, motion vectors and residual information
US8755438B2 (en) 2010-11-29 2014-06-17 Ecole De Technologie Superieure Method and system for selectively performing multiple video transcoding operations
US9906786B2 (en) * 2012-09-07 2018-02-27 Qualcomm Incorporated Weighted prediction mode for scalable video coding
KR101977802B1 (ko) * 2012-10-10 2019-05-13 삼성전자주식회사 영상 시스템에서 움직임 추정 장치 및 방법
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10147211B2 (en) * 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9204115D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
US5446804A (en) * 1994-04-14 1995-08-29 Hewlett-Packard Company Magnifying digital image using edge mapping
AU6726596A (en) * 1995-03-22 1996-10-08 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US6005980A (en) * 1997-03-07 1999-12-21 General Instrument Corporation Motion estimation and compensation of video object planes for interlaced digital video
WO2000011863A1 (en) * 1998-08-21 2000-03-02 Koninklijke Philips Electronics N.V. Problem area location in an image signal
US7573529B1 (en) * 1999-08-24 2009-08-11 Digeo, Inc. System and method for performing interlaced-to-progressive conversion using interframe motion data
AUPQ377599A0 (en) * 1999-10-29 1999-11-25 Canon Kabushiki Kaisha Colour clamping
EP1481546A1 (en) * 2002-02-28 2004-12-01 Koninklijke Philips Electronics N.V. Method and apparatus for field rate up-conversion
US7197075B2 (en) * 2002-08-22 2007-03-27 Hiroshi Akimoto Method and system for video sequence real-time motion compensated temporal upsampling

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626508A (zh) * 2008-07-11 2010-01-13 宝利微电子系统控股公司 一种判断帧率提升中闭塞区域的方法
CN102665061A (zh) * 2012-04-27 2012-09-12 中山大学 一种基于运动矢量处理的帧率上转换方法及其装置

Also Published As

Publication number Publication date
KR20060135770A (ko) 2006-12-29
EP1721458A1 (en) 2006-11-15
JP2007525132A (ja) 2007-08-30
US20080151106A1 (en) 2008-06-26
WO2005081524A1 (en) 2005-09-01

Similar Documents

Publication Publication Date Title
CN1922873A (zh) 通过合并图像的内插与外推来减少图像信号的扫描速率变换中的赝像
US9247250B2 (en) Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing
US8718143B2 (en) Optical flow based motion vector estimation systems and methods
CN1303818C (zh) 运动估计和/或补偿
CN102017615B (zh) 视频单元内的边界伪影校正
KR100393066B1 (ko) 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
CN1179302C (zh) 使用正交变换域中的块匹配进行运动估测的方法和装置
US8817878B2 (en) Method and system for motion estimation around a fixed reference vector using a pivot-pixel approach
KR101405913B1 (ko) 블록 매칭 모션 평가에서 모션 벡터를 수정하기 위한시스템 및 방법
US8355442B2 (en) Method and system for automatically turning off motion compensation when motion vectors are inaccurate
EP2011342A1 (en) Motion estimation at image borders
JP2000134585A (ja) 動きベクトル決定方法、画像信号のフレーム数変換方法および回路
JP2000512091A (ja) 動作ベクトル処理
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
US7505636B2 (en) System and method for two-pass interpolation for quarter-pel motion compensation
US8165211B2 (en) Method and apparatus of de-interlacing video
US8767831B2 (en) Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream
AU2004200237B2 (en) Image processing apparatus with frame-rate conversion and method thereof
US20050030424A1 (en) Post-processing of interpolated images
US8848793B2 (en) Method and system for video compression with integrated picture rate up-conversion
CN107333174B (zh) 一种基于场景切变检测的视频处理方法
JP2004180044A (ja) 動きベクトル処理方法及び動きベクトル処理回路
JP3022977B2 (ja) テレビジョン信号内挿方式
Bi et al. A new source-side de-interlacing method for high quality video content
EP1617673B1 (en) Means and method for motion estimation in digital Pal-Plus encoded videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication