CN101803363B - 用于视频图像数据中的基于行的运动估计的方法和装置 - Google Patents

用于视频图像数据中的基于行的运动估计的方法和装置 Download PDF

Info

Publication number
CN101803363B
CN101803363B CN2008801062224A CN200880106222A CN101803363B CN 101803363 B CN101803363 B CN 101803363B CN 2008801062224 A CN2008801062224 A CN 2008801062224A CN 200880106222 A CN200880106222 A CN 200880106222A CN 101803363 B CN101803363 B CN 101803363B
Authority
CN
China
Prior art keywords
motion
estimation
row
frame
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801062224A
Other languages
English (en)
Other versions
CN101803363A (zh
Inventor
福尔克尔·布卢姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dynamic Data Technology LLC
Original Assignee
NXP BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40379094&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101803363(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by NXP BV filed Critical NXP BV
Publication of CN101803363A publication Critical patent/CN101803363A/zh
Application granted granted Critical
Publication of CN101803363B publication Critical patent/CN101803363B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Color Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明涉及一种特别针对运动画面的连续帧/场中的场率上转换、用于视频图像数据中的基于行的运动估计的方法和装置,所述方法包括以下步骤:提供包括帧或场的若干视频行或这些视频行的一部分的视频图像数据在内的视频信号;通过对视频图像数据进行基于行的检测和分析并根据检测到的运动导出运动矢量来执行运动估计;其中,运动估计采用用于对场或帧内的不同行进行测试和更新的匹配处理,并且,与相同帧或场的其他行相比,对于场或帧的第一行,该匹配处理是不同的。本发明还涉及电视机、计算机程序产品和包括计算机程序的数据载体。

Description

用于视频图像数据中的基于行的运动估计的方法和装置
技术领域
本发明涉及一种用于视频图像数据中的基于行的运动估计的方法和装置,并且特别针对基于行的场率上转换运动估计视频图像数据。本发明还涉及一种电视机、一种计算机程序产品和包括计算机程序的数据载体。
背景技术
本发明涉及一种基于行的运动估计和运动补偿设备,更具体地,涉及一种对运动矢量进行估计并对色度子采样/非子采样的视频帧/场的隔行扫描/非隔行扫描序列执行运动补偿预测的运动估计和运动补偿设备。
下文中,将关于对视频处理装置(如具有行存储设备的微处理器或微控制器)内的用于基于行的运动估计和运动补偿的视频信号进行的处理来描述本发明及其潜在问题,而应当注意,本发明不限于该应用,而还可以用于其他视频处理装置。
基于100/120Hz帧率甚至更高帧率的电视机的市场倡导要求开发可靠的场/帧率上转换(FRU)技术来移除画面中的伪像,如大面积闪烁和线条闪烁。对要在显示器上显示的缺失图像场进行插值而不执行对连续图像场中的运动目标的运动估计和补偿的标准FRU方法,在许多应用中是令人满意的,特别是在图像的较好的质量和上述伪像的减少的方面尤其如此。然而,许多画面包含引起所谓的运动抖动的运动目标,如人、字幕等。
参照图1更好地理解该问题,其中,假设原始图像场(即,发送和接收到的图像场)中的运动目标(白方块)的运动轨迹是直线的。如果缺失场/帧是由通过上述标准FRU方法(即,没有运动估计和补偿)插值产生的,则插值后的场中的运动目标(黑灰方块)的运动不在观察者预期的位置上(虚方块)。这样的伪像是可见的并引入模糊效应,特别是快速运动目标的模糊效应。典型地,这些模糊效应显著地降低了所显示图像的质量。
为了避免这样的模糊效应并减少伪像,提出了多种运动估计和运动补偿(或简称MEMC)的方法。该MEMC提供了,对接收到的图像场内的运动部分或目标的检测,然后根据所估计的运动通过对所估计的场中的缺失目标或部分进行插值来对缺失场进行插值。
图2示意性示出了两个连续图像场之间运动目标的位置的改变。在两个连续接收的图像场/帧之间,运动目标将已改变了它们的位置,例如位置A中先前场/帧T中的目标MO随后在当前场/帧T+1中位于位置B。这表明,从先前场/帧T至当前场/帧T+1存在运动。连续图像场/帧中目标的这种运动可以由所谓的运动矢量表示。运动矢量AB表示从先前场T中的位置A至当前场/帧T+1中的位置B的目标MO的运动。该运动矢量AB典型地具有水平和垂直矢量分量。从先前场T中的点A开始并将该运动矢量AB应用于目标MO,然后将目标MO平移到当前场/帧T+1中的位置B。必须通过考虑运动目标MO的相应位置A、B,对先前场T和当前场T+1插值来计算必须进行插值的缺失场/帧T+1/2中的目标MO的缺失位置I。如果目标MO在先前场/帧和当前场/帧之间没有改变其位置,例如,如果A和B是相同的,则通过将A平移运动矢量|AB|/2来获得缺失场中位置I。这样,利用位于正确位置的运动目标插值出缺失场T+1/2,从而有效地避免模糊效应。
基于行的MEMC的一个主要问题是屏幕上帧或场内的最高的第一行。对于该第一行,MEMC是非常困难的,特别是对于测试和更新并入到MEMC中的处理尤其困难。
对于基于行的运动估计,非常有利的是,对于场景中的实际运动运动矢量将快速收敛。因此,对于帧或场的不同行,可以实现测试和/或更新处理。在场或帧的每一行中,用所选运动矢量来测试用于更新目的的上方行的运动矢量。然而,该测试和更新处理不能够用于帧或场内的第一行,这是由于在第一行之上没有可以用于更新和测试目的的任何行。这导致画面的上半部中的模糊/抖动效应。
发明内容
因此,基于以上目的本发明提供了更好地特别是能够更可靠地在基于行的运动估计实现方式中选择特别用于场或帧的第一行的运动矢量的可能性。
根据本发明,提供了一种包括权利要求1的特征的方法,和/或一种包括权利要求10的特征的装置、和/或一种包括权利要求12的特征的电视机、和/或一种包括权利要求13的特征的计算机程序产品、和/或一种包括权利要求14的特征的数据载体。
因此,提供了:
一种特别针对运动画面的连续帧/场中的场率上转换、用于视频图像数据中的基于行的运动估计的方法,所述方法包括以下步骤:提供包括帧或场的若干视频行或这些视频行的一部分的视频图像数据在内的视频信号;通过对视频图像数据进行基于行的检测和分析并根据检测到的运动导出运动矢量来执行运动估计;其中,运动估计采用用于对场或帧内的不同行进行测试和更新的匹配处理,并且,与相同帧或场的其他行相比,对于场或帧的第一行,该匹配处理是不同的。
-一种特别针对运动画面的连续帧或场中基于行的运动估计和补偿的场率上转换,用于视频图像数据中的基于行的运动估计的装置,其中,所述装置被配置为执行根据本发明的方法。
一种电视机,包括:提供视频输入信号的模拟或数字输入端子;从视频输入信号产生基于行的视频信号的设备,所述视频输入信号包括画面的视频行和视频行的一部分的视频图像数据;执行根据权利要求1所述的基于行的运动估计和运动补偿的装置;使用运动补偿后的图像输出信号来显示运动补偿后的画面的屏幕。
-一种包括代码在内的计算机程序产品,所述代码被配置为实现根据本发明的方法。
-一种包括根据本发明的计算机程序产品在内的数据载体。
在运动估计的处理期间,计算适合于在后续运动补偿处理中使用的若干运动矢量。出于更新的目的,行内不同的运动矢量被用于测试上方行的运动矢量。本发明的基本思想在于,对于测试和更新,与相同帧或场的其他行相比,以不同方式处理该帧或场内的第一行。这里,特别地,具有预定义幅度的规则振荡函数可以被应用于测试和更新第一行的运动矢量。通过应用这种类型的预定义函数,能够令人意外地提供用于第一行内的运动矢量的简单但有效的测试和更新处理。由于第一行内没有或不良测试的运动矢量而导致的模糊和/或抖动效应不会出现或至少被显著降低。
该更新方法还支持在已经出现场景改变之后的矢量场的快速收敛。此外,全局运动矢量的快速查找显著加快。
本发明还描述了一种用于运动估计和运动补偿的方法,该方法仅沿一个方向操作,从而使用至少一个单行缓冲存储器(所谓的行存储器)来执行运动估计和运动补偿操作。这能够提供将芯片嵌入式存储器减小为针对先前场或帧的一个单行存储器,和针对当前场或帧的一个单行存储器。这有利地实现了显著的硅面积减小和成本节省的实现方式。
参照附图,在其他从属权利要求和在以下描述中可以发现本发明的优点、实施例和其他改进。
在优选实施例中,针对每一帧或场的第一行,为所选运动矢量加载根据预定义函数逐像素变化的预定义矢量值,其中,预定义函数具有预定义幅度。
在优选实施例中,规则振荡函数,特别是锯齿函数和/或正弦函数和/或三角函数,被用于确定第一行的逐像素的运动矢量。
在优选实施例中,对于帧或场的其他行,通过对要测试的行以上的相应行的相应像素的运动矢量进行测试来进行匹配处理。
在优选实施例中,对至少一个所选运动矢量进行改变,以发起运动估计处理和/或遵循与恒定运动的偏离。
在优选实施例中,该方法包括以下步骤:通过检测和分析视频图像数据并根据检测到的运动导出运动矢量来执行运动估计,其中,运动矢量仅包含针对沿一个方向(特别是沿着水平方向)的目标运动的运动数据;使用用于运动补偿的运动矢量来对画面进行插值。
在优选实施例中,针对匹配处理,亮度简档和/或色度简档被用作匹配参数。
在优选实施例中,采用基于SAD的方法和/或基于ADRC的方法进行亮度和/或色度值的比较。
在优选实施例中,运动矢量仅包含针对沿一个方向(特别是水平方向)的目标运动的运动数据。
在优选实施例中,该装置是集成电路和/或在微控制器或微处理器中实现的。
附图说明
为了更完全地理解本发明及其优点,现在结合附图参照以下描述。以下使用在附图中示出的实施例以非限制示例更详细地说明本发明,在附图中:
图1示出了标准(即,非运动补偿的)FRU方法的结果;
图2示出了两个连续接收到的图像场之间运动目标的位置变化;
图3通过当前帧/场和相应先前帧/场示出了基于行的运动估计的运动估计原理;
图4示出了根据本发明的基于行的MEMC系统的第一实施例的框图;
图5示出了对运动估计的匹配处理进行示意的示例;
图6示出了若干行的场的示意,以示意根据本发明的用于测试和更新第一行内运动矢量的方法;
图7示出了根据本发明的用于更新第一行内运动矢量的过程的详细示例;
图8示出了示意了根据本发明的基于行的运动估计的实施例的框图;
图9示出了使用被分配给同样用于运动估计设备的去隔行器设备的行存储器的、根据本发明的基于行的MEMC系统的第二实施例的框图。
在所有附图中,除非另外明确说明,相同或至少具有相同功能的元件、特征和信号被提供了相同的参考符号、描述和缩写。
具体实施方式
在本发明的以下描述中,首先提供运动估计和运动补偿的简短概述。
MEMC方法主要由两部分组成,运动估计和运动补偿方法。运动估计执行对运动的测量,并导出以像素每画面(即,场或帧)为单位的显示区域的速度。同样运动方向将由正号或负号来指示。这些所测量的运动信息以运动矢量的形式来描述。运动矢量用于运动补偿,以在精确的时间位置对画面进行插值,并避免所谓的抖动效应和/或所谓的运动模糊效应。
图3通过当前画面(场或帧)10(n)和相应的先前画面11(n-1)示出了基于行的运动估计的运动估计原理。根据时间位置,将运动矢量12、13按其长度分成两个部分,其中,第一矢量部分12指向先前画面11,第二矢量部分13指向当前画面10。为了插值当前和先前画面10、11之间的缺失画面14(n-1/2),考虑来自两个时间画面10、11的像素15来进行补偿。在基于行的MEMC中,在相同时刻仅使用相同行16内的像素15,并且仅针对场或帧的单行16执行MEMC。对于这种类型的MEMC,将当前画面10的像素15与先前画面11的相应像素15进行比较以估计和补偿缺失画面14的相应像素15。
图4示出了根据本发明的基于行的MEMC系统的框图。MEMC系统由参考数字20表示。MEMC系统20包括输入端子21、总线22、两个行存储器23、24、运动估计设备25、运动补偿设备26、以及输出端子27。假设,总线22是外部总线,特别是外部存储器总线22。然而,还可能的是,总线22是内部总线22。在输入侧,总线22连接至外部存储器设备28,如SDRAM、DDR-RAM等。将要在面板29(如等离子或LCD面板或CRT屏幕)中显示的图像数据存储在该外部存储器28中。经由输入端子21和存储器总线22,将该图像数据X1、X1’传送至两个行存储器23、24。根据本发明的一实施例,仅需要两个行存储器23、24,而第一行存储器23用于对先前画面的图像数据X1进行缓冲,另一行存储器24用于对当前画面的图像数据X1’进行存储。
本专利申请中所使用的行存储器23、24指示了大小为帧或场的一个视频行或至少小于输入视频信号流或实际处理视频信号流的嵌入式存储器。场表示包括奇或偶数行的视频图像或画面。帧表示由一幅画面的完整视频信息组成的视频图像,即,由奇数行的场和偶数行的相应场构成的视频图像。行表示一个视频画面的场内的整个水平行或该行的至少一部分。
行存储器23、24在它们的输出侧均耦合至运动估计设备25和运动补偿设备26。这使得能够将在行存储器23、24中存储的图像数据X1、X1’分别传送至运动估计设备25和运动补偿设备26。在图4中,与运动估计设备25相对应的数据信号由X2、X2’表示,并且与运动补偿设备26相对应的数据信号由X3、X3’表示。
运动估计设备25通过采用匹配处理,由存储在行存储器23、24中的图像数据X2、X2’产生运动矢量信号X4。将该矢量信号X4传送至运动补偿设备26。运动补偿设备26使用存储在行存储器23、24中的图像数据X3、X3’并将矢量数据X4应用于该图像数据X3、X3’来执行运动补偿。在输出端子27处,运动补偿设备27提供包括针对运动补偿后的画面的信息在内的视频信号X5。经由输出端子27将该视频信号X5传送至显示器29,如LCD面板29等。
关于图5,下文中将更详细地描述运动估计设备25的操作:
为了运动估计,采用匹配处理来选择最适于给定数量的像素30的相应像素序列32。为了该选择,从当前帧32的行存储器24中获取应针对其确定运动的中心像素31周围的当前帧的行的给定数量的像素30。下文中,该给定量的像素30被表示为像素序列30。在本实施例中,像素序列30包括9个单个像素33。应当理解,该序列还可以包括更多或更少数量的像素33。
为了选择,将像素33的亮度简档用作匹配参数。亮度是沿给定方向的光强的密度的光度测量。它描述了通过特定面积或从该特定面积发出和落在给定立体角内的光量。因此,亮度是运动画面帧中明度的光度测量。如果亮度为高,则画面亮,如果亮度为低则该画面暗。因此,亮度是画面的黑白部分。
该亮度简档用于从先前帧35中找出与当前帧/场32的9像素序列30最符合的9像素序列34(根据质量,针对匹配处理可以使用更多或更少的像素)。在图5的实施例中,将当前帧32的9像素序列30的亮度简档与先前帧35的若干相应的9像素序列34的亮度简档进行比较。为了导出真实的运动,9像素序列30将沿着水平方向36在搜索范围上移动。假设显示出(与当前帧32的9像素序列30)最佳亮度简档匹配的先前帧35的9像素序列34是正确的像素序列。然后,将这些像素序列30、34用于计算运动矢量。
该搜索范围的典型值包括,例如64个像素(+31...-32)。然而,还可以使用少于64个像素;然而,该比较的结果质量逐渐下降。另一方面,还可以使用多于64个像素。则选择结果的质量提高,然而,这需要更多的计算量。因此,典型地,采用在选择结果的最佳质量与同时地最小计算量之间提供最优化的折衷。
在优选实施例中,针对每个所选运动矢量37,以上述方式来执行单个匹配处理。通过为每个像素序列30分配质量等级和/或失败等级来执行该匹配处理。然后,将质量等级和/或失败等级分配给经历匹配处理的那些像素序列30中的每一个。选择具有最高质量等级和/或最低失败等级的那些像素序列30作为最可能的像素序列。然后,将这些像素序列30用于计算针对水平运动的运动矢量。典型地,但非必要地,将SAD方法(SAD=绝对差的和)和/或ADRC方法用于亮度和/或色度值的比较。
使用预选的运动矢量样本来进行运动估计:
假设场景中目标的运动是逐帧(场)恒定的,并且目标大于像素序列(例如,上述9个像素),则如果针对亮度简档的匹配检查预选的运动矢量37(所谓的运动矢量样本37)的集合38,则可以更高效地执行匹配处理(参见图5)。例如,可以从邻近像素获取一个所选运动矢量37。如果将已经估计的运动矢量存储在特别针对不同运动矢量样本设计的矢量存储器中,则可以从先前行获取第二所选运动矢量。
指示目标没有运动的零矢量典型地是最常用的运动矢量样本之一。使用该零矢量,以便于更高效地检测未示出运动的画面内的区域。原则上,将要考虑的预选运动矢量37的数量完全取决于期望的运动矢量质量类型。
所选运动矢量的变化
为了发起运动估计处理,并遵循与恒定运动的偏离,出于测试操作目的,可能需要特定预选运动矢量的变化。这表明对于预选运动矢量样本,将加上或减去特定量的运动。这可以通过向这些运动矢量应用具有不同运动速度量值的变化来实现。所测试的实现方式在先前确定的运动矢量上,在交替更新+/-1像素和+/-4像素的奇像素和偶像素之间进行检查。根据需要或根据提出的需求,对变化的选择是可调整和可变的,例如对变化的选择取决于输入视频信号的分辨率。
第一行运动矢量的处理
对于基于行的运动估计,运动矢量针对场景中的真实运动快速收敛将是非常有利的。因此,针对帧或场的第一行以不同方式处理对所测试的运动矢量的选择。对于帧或场的第一行,由于需要进行测试的第一行之上的行不存在,因此无法以正常方式进行测试。在每个场的第一行中,为正常测试上方行的运动矢量的所选运动矢量加载例如根据三角函数逐像素变化的矢量值。三角函数在可调整的最小值和可调整的最大值之间振荡。出于该目的,还可以采用其他规则振荡函数(例如锯齿函数、正弦函数等)来确定第一行的运动矢量。
图6示出了若干行的场/帧的示意,以示意根据本发明的用于测试和更新第一行内运动矢量的方法。在图6中,场由参考数字40表示。应当注意,根据本发明的方法还可以用于帧或帧或场的一部分而不是场40。
在图6所示的实施例中,帧/场40包括若干行41,而最高的第一行由参考数字41’表示。每行41、41’包括多个像素42、42’,而第一行41’内的像素由参考数字42’表示。在针对不同行41、41’内的每个像素42、42’的运动估计期间,例如基于如上所述的SAD方法、ADRC方法等来计算运动矢量。
然后,将这些运动矢量用于基于行的运动补偿。对于测试和更新处理,基于紧邻上方行41上的像素42的相应运动矢量,来测试被分配给相应行41内的特定像素42的运动矢量。在图6中基于场40的中间部分中的三个行41a至41c来描述该处理的示例。此处,被分配至像素42a的运动矢量A用于测试相邻下方行41b的像素42b的运动矢量B。因此,基于以上运动矢量A来测试运动矢量B。此外,然后,该运动矢量B用于测试紧邻下方行42c的像素42c的运动矢量C。针对场40的所有行,采用该测试和更新处理。
然而,对于第一行41’,由于在第一行41’之上没有行则如上所述的测试和更新处理是不可能的。出于对该第一行41’的像素42’的不同运动矢量进行测试和更新的目的,采用具有预定幅度和特性的预定义函数来测试被分配至第一行41’的不同像素42’的运动矢量。
关于图7示出了上述内容。图7示出了根据本发明的用于更新第一行内运动矢量的过程的详细示例。
优选地,预定义函数是规则振荡函数。在图7中,该振荡函数是在幅度X和-X之间振荡的正弦函数50。对于预定义的时间点t1-t7从像素42到像素42’确定正弦函数50的相应值X1-X7。为了确定正弦函数50的不同值51,时间点t1-t7中的两个时间点之间的持续时间Δt应当是恒定的。
然后,将分别被分配至行41’内的不同像素42’的确定值X1-X7用于测试和更新相应像素42’内的相应运动矢量。然后,给这些像素的运动矢量加载有利地为所确定的值X1-X7的函数的特定值f(X1)-f(X7)。
还能够使用任何其他三角函数或锯齿函数来确定值X1-X7,以测试第一行41’中的运动矢量,而不使用正弦函数50。
匹配处理
在优选实施例中,匹配处理将失败值分配至每个所测试的运动矢量。在另一实施例中,该值还可以是质量值。还可以评估失败值和质量值用于匹配处理。优选地,将绝对差的和(SAD)用作失败值或至少用于导出失败值。理想地,为了找到最优运动矢量,需要失败值为零。然而,典型地,失败值不同于零。因此,然后,选择与最低失败值相对应的运动矢量作为表示局部场景中目标运动的最可能的运动矢量。
矢量选择的衰减、矢量阻尼
在优选实施例中,使用取决于不同运动矢量的矢量衰减的阻尼值。这使得能够以相等失败值控制运动矢量和/或为运动矢量选择处理提供特定方向。
矢量存储器
有利地,将不同运动矢量存储在矢量存储器中。然后,从矢量存储器取出这些运动矢量(如果需要),用于其他处理和/或用于后继像素的运动估计。
运动估计处理形成递归过程。因此,该矢量存储器的大小主要取决于匹配处理的期望质量等级。在一个实施例中,所测试的实现方式仅包括矢量存储器的一行。在该矢量存储器中,将交替存储每隔一个的运动矢量,使得对来自上方的所测量行的运动矢量的存取是可能的。
通过提供矢量直方图的鲁棒性改进
在优选实施例中,计算运动矢量直方图以便创建高度可靠并均匀的运动矢量场。该矢量直方图允许矢量多数排序导出实际场景中最多和较少使用的运动矢量。
如上所述以及如图4所示的运动估计设备25中实现的,图8示出了根据本发明的基于行的运动估计的实施例的框图。
运动估计设备或模块25包括:匹配设备80、成本/质量功能设备81、以及矢量选择器设备82,这些设备以串联的方式布置在运动估计设备25的输入侧83和运动估计设备25的输出侧84之间,其中,在运动估计设备25的输入侧83,提供存储在两个行存储器23、24中的图像数据信号X1、X1’,运动矢量信号X4出现在运动估计设备25的输出侧84。在设备元件80-82中,实现关于图5描述的匹配处理和矢量选择。
运动估计设备25还包括一方面连接至输入侧83另一方面连接至输出侧84的矢量质量设备85。矢量质量设备85由图像数据信号X1、X1’和运动矢量信号X4产生包括矢量质量的信息在内的质量信号X6。
运动估计设备25还包括以串联的方式布置在输出侧84和匹配设备80之间的反馈路径中的矢量直方图设备86和矢量多数设备87。这里,在设备元件86、87中,产生矢量直方图来提供实际场景中最多和较少使用的矢量的排序。
运动估计设备25还可以包括另一行存储器88来存储运动矢量数据X4和/或针对矢量质量的数据X6。
运动估计设备25还包括矢量样本设备89。该矢量样本设备89还可以被布置在反馈路径中,并在其输入侧与行存储器88、矢量多数设备87连接,并有利地与另一设备90连接。该另一设备90通过使用具有特定幅度的特殊信号(例如,正弦信号、锯齿信号等)来执行运动矢量样本的改变。然后,该特定信号被用于帧或场的第一行的测试和/或匹配处理和更新处理。然而,还可以随机更新帧或场的不同行。在矢量样本设备89的输出侧,矢量样本设备89在其输出侧连接至匹配设备80。
运动估计设备25还包括垂直运动估计设备91。对于垂直运动,上述一维运动估计算法不能充分补偿沿垂直方向的运动。然而,垂直运动的出现可以被用于通过将画面分成不同的区域来导出针对每个区域的垂直运动,以减少画面的相同区域中的补偿。在这种情况下,将对相同画面的不同区域中的行的亮度值进行求和,并针对该画面的每一行单独存储相同画面的不同区域中的行的亮度值。这导致了针对相同画面的不同区域的累积的垂直简档。然后,将整个画面划分成较小的区域,来导出针对这些区域中的每一个的垂直运动。在垂直运动估计设备91中执行该垂直运动估计处理,垂直运动估计设备91连接至输入侧83并在其输出侧提供基于部分的垂直运动索引X7。
因此,如上所述的垂直MEMC可以与水平MEMC无关地执行也可以与水平MEMC组合地来执行,其中,可以分别根据特定情况或存在的运动来执行组合。此外,这样的方法允许实现垂直MEMC,垂直MEMC不需要大量的附加存储器容量来分析连续帧/场的数据,而需要大量的附加存储器容量是现有技术的大多数方法的情况。
运动估计设备25还包括矢量阻尼设备92。在该阻尼设备92中,如上所述的阻尼值可以被用于对矢量样本设备89的矢量样本进行阻尼,并向矢量选择器82提供阻尼后的矢量样本。
图9示出了使用被分配至同样用于运动估计设备的去隔行器设备的行存储器的、根据本发明的基于行的MEMC系统的第二实施例的框图。
与图4中的第一实施例不同,去隔行器设备113被布置在行存储器110、111、112和运动补偿设备26之间。去隔行器设备113典型地用于将由视频数据流表示的场转换成随后同样由另一视频数据流表示的完整帧。
基于存储器、用于视频处理的片上解决方案具有现有的内部行缓冲器110-112(所谓的行存储器110-112),该内部行缓冲器110-112承载来自先前和当前场或帧的视频数据。这些行缓冲器110-112可以位于例如自适应操作运动的时间噪声降低或去隔行单元113内。利用所提出的基于行的MEMC,这些行缓冲器附加地可以针对运动估计进行重用。为此并且为了降低来自影片源的运动抖动伪像,使用下拉(pull-down)模式的指示当前插值序列的影片检测器。行缓冲器选择器根据先前和当前视频输入信号将视频信号数据传送至运动估计设备。该技术允许将现有的存储器资源同样用于运动估计,也可以防止用于时间上转换处理的附加带宽。因此,针对运动估计和运动补偿的芯片面积可以降低为最小。
在该实施例中,去隔行器设备113使用3个行存储器110、111、112,这三个行存储器在它们的输入侧耦合至存储器总线22并且在它们的输出侧提供行数据。可以在去隔行器设备内对由行存储器110、111、112提供的该行数据进行处理,然后将该行数据提供给运动补偿设备26。根据本发明,这些行存储器110、111、112附加地还用于运动估计设备25。为此,系统20附加地包括选择器设备114,其中将影片序列X0提供给该选择器设备114。然后,可以经由存储器总线22将该影片序列X0存储在外部存储器28中,并可以通过行存储器110、111和112从该外部存储器28读出该影片序列X0。对于操作,存储在去隔行器设备113的行存储器110、111、112中的该数据还可以用于MEMC。为此,然后,同样将存储在行存储器110、111、112中的数据提供给运动估计设备25和运动补偿设备26。
尽管以上已经示出并描述了本发明的实施例和应用,但对于本领域技术人员显而易见的是,在不背离这里描述的本发明的构思的前提下,更多修改(除了以上所述)是可能的。因此,本发明仅受限于所附权利要求的精神。因此,以上详细描述应当视为示意性的而非限制性的,并且应当理解以下权利要求包括在意在限定本发明的精神和范围的这些权利要求中描述的所有等同物。以上描述并不意在否定要求保护的本发明的范围也不意在否定其任何等同物。应当理解,上述数字数据仅是示意性的,并适于最佳地提供优化的模糊效应。
最后,应当注意,上述实施例示意而非限制本发明,并且在不背离所附权利要求所限定的本发明的范围的情况下,本领域技术人员将能够设计许多备选实施例。在权利要求中,置于括号中的任何参考符号不应视为限制权利要求。单词“包括”等不排除任何权利或作为整体的说明书中所列的那些组件或步骤以外的组件或步骤的存在。组件的单数形式不排除这样的组件的复数形式,反之亦然。在列举若干设备的装置权利要求中,这些设备中的许多设备可以由在一个或相同软件或硬件项目来体现。事实仅在于,在彼此不同的独立权利要求中引述的特定措施并不指示这些措施的组件不能用于获得利益。

Claims (11)

1.一种针对运动画面的连续帧中的场率上转换进行视频图像数据中基于行的运动估计的方法,所述方法包括以下步骤:
-提供包括帧或场的若干视频行或这些视频行的一部分的视频图像数据在内的视频信号(X1、X1’);
-通过对视频图像数据进行基于行的检测和分析并根据检测到的运动导出运动矢量来执行基于行的运动估计;
-其中,在基于行的运动估计中,将当前画面的相同行内的像素与先前画面的相应像素进行比较,以估计并补偿缺失画面的相应像素;
-其中,基于行的运动估计采用用于对场或帧内的不同行进行测试和更新的匹配处理,
-其中,针对每一帧或场(40)的第一行(41’),为所选运动矢量加载根据预定义函数(50)逐像素(42’)变化的预定义矢量值,其中,预定义函数(40)具有预定义幅度(X)。
2.根据权利要求1所述的方法,其中,所述预定义函数(40)是规则振荡函数(50),所述规则振荡函数(50)是锯齿函数和/或正弦函数(50)和/或三角函数。
3.根据权利要求1所述的方法,其中,对于帧(40)或场的其他行(41),通过对要测试的行(41)以上的相应行(41)的相应像素(42)的运动矢量进行测试来进行匹配处理。
4.根据权利要求1所述的方法,其中,对至少一个所选运动矢量进行改变,以发起运动估计处理和/或遵循与恒定运动的偏离。
5.根据权利要求1所述的方法,
-其中,所述方法包括以下步骤:
-通过对视频图像数据进行检测和分析并根据检测到的运动导出运动矢量来执行运动估计;
-使用用于运动补偿的运动矢量来对画面(14)进行插值。
6.根据权利要求1所述的方法,
其中,针对匹配处理,亮度简档和/或色度简档被用作匹配参数。
7.根据权利要求1所述的方法,
其中,采用基于SAD的方法和/或基于ADRC的方法进行亮度和/或色度值的比较。
8.根据权利要求1所述的方法,
其中,运动矢量仅包含针对沿一个方向的目标运动的运动数据,所述一个方向是水平方向。
9.一种针对运动画面的连续帧或场中基于行的运动估计和补偿的场率上转换进行视频图像数据中的基于行的运动估计的装置(20),其中,所述装置(20)包括:
-存储器总线(22),提供包括帧或场的若干视频行或这些视频行的一部分的视频图像数据在内的视频信号(X1、X1’);
-运动估计设备(25),通过对视频图像数据进行基于行的检测和分析并根据检测到的运动导出运动矢量来执行基于行的运动估计;
-其中,在基于行的运动估计中,将当前画面的相同行内的像素与先前画面的相应像素进行比较,以估计并补偿缺失画面的相应像素;
-其中,基于行的运动估计采用用于对场或帧内的不同行进行测试和更新的匹配处理,
-其中,针对每一帧或场(40)的第一行(41’),为所选运动矢量加载根据预定义函数(50)逐像素(42’)变化的预定义矢量值,其中,预定义函数(40)具有预定义幅度(X)。
10.根据权利要求9所述的装置,
其中,所述装置是集成电路(20)和/或在微控制器或微处理器中来实现。
11.一种电视机,包括:
-提供视频输入信号的模拟或数字输入端子;
-从包括基于行的视频图像数据的视频输入信号产生基于行的视频信号(X1、X1’)的设备;
-根据权利要求9所述的装置(20),提供运动补偿后的图像输出信号(X5、X5’);
-使用运动补偿后的图像输出信号(X5、X5’)来显示运动补偿后的画面的屏幕。
CN2008801062224A 2007-09-10 2008-08-05 用于视频图像数据中的基于行的运动估计的方法和装置 Expired - Fee Related CN101803363B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07017665 2007-09-10
EP07017665.6 2007-09-10
PCT/IB2008/053121 WO2009034486A2 (en) 2007-09-10 2008-08-05 Method and apparatus for line-based motion estimation in video image data

Publications (2)

Publication Number Publication Date
CN101803363A CN101803363A (zh) 2010-08-11
CN101803363B true CN101803363B (zh) 2013-09-18

Family

ID=40379094

Family Applications (5)

Application Number Title Priority Date Filing Date
CN2008801062224A Expired - Fee Related CN101803363B (zh) 2007-09-10 2008-08-05 用于视频图像数据中的基于行的运动估计的方法和装置
CN200880106002A Pending CN101796813A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计的方法和装置
CN200880106215A Pending CN101803362A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计和运动补偿的方法和装置
CN200880106214XA Expired - Fee Related CN101803361B (zh) 2007-09-10 2008-08-05 用于基于行的垂直运动估计和补偿的方法和装置
CN2008801061128A Expired - Fee Related CN101836441B (zh) 2007-09-10 2008-08-22 用于视频图像数据中的基于行的运动补偿的方法、装置和系统

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN200880106002A Pending CN101796813A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计的方法和装置
CN200880106215A Pending CN101803362A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计和运动补偿的方法和装置
CN200880106214XA Expired - Fee Related CN101803361B (zh) 2007-09-10 2008-08-05 用于基于行的垂直运动估计和补偿的方法和装置
CN2008801061128A Expired - Fee Related CN101836441B (zh) 2007-09-10 2008-08-22 用于视频图像数据中的基于行的运动补偿的方法、装置和系统

Country Status (4)

Country Link
US (4) US8526502B2 (zh)
EP (5) EP2188979A2 (zh)
CN (5) CN101803363B (zh)
WO (6) WO2009034489A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003201136A1 (en) * 2002-02-06 2003-09-02 Koninklijke Philips Electronics N.V. Unit for and method of segmentation
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US8300958B2 (en) * 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
CN101803363B (zh) * 2007-09-10 2013-09-18 英属开曼群岛商泰鼎微系统股份有限公司 用于视频图像数据中的基于行的运动估计的方法和装置
US20100091859A1 (en) * 2008-10-09 2010-04-15 Shao-Yi Chien Motion compensation apparatus and a motion compensation method
GB2466044B (en) 2008-12-09 2014-05-21 Snell Ltd Motion image rendering system
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
EP2234402B1 (en) 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
KR101643613B1 (ko) * 2010-02-01 2016-07-29 삼성전자주식회사 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
US9143758B2 (en) 2010-03-22 2015-09-22 Thomson Licensing Method and apparatus for low-bandwidth content-preserving encoding of stereoscopic 3D images
KR101279128B1 (ko) * 2010-07-08 2013-06-26 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
TWI429277B (zh) * 2011-01-31 2014-03-01 Novatek Microelectronics Corp 動態適應性解交錯裝置及方法
JP5494567B2 (ja) * 2011-05-17 2014-05-14 株式会社デンソー レーダ装置、検査システム、及び検査方法
US11582479B2 (en) * 2011-07-05 2023-02-14 Texas Instruments Incorporated Method and apparatus for reference area transfer with pre-analysis
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
TWI601075B (zh) * 2012-07-03 2017-10-01 晨星半導體股份有限公司 移動補償影像處理裝置與影像處理方法
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20140105305A1 (en) * 2012-10-15 2014-04-17 Vixs Systems, Inc. Memory cache for use in video processing and methods for use therewith
US8629939B1 (en) * 2012-11-05 2014-01-14 Lsi Corporation Television ticker overlay
MX2015010146A (es) * 2013-02-08 2016-05-31 Novartis Ag Sitios especificos para modificar anticuerpos para hacer inmunoconjugados.
US10326969B2 (en) * 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
GB2527315B (en) * 2014-06-17 2017-03-15 Imagination Tech Ltd Error detection in motion estimation
US9728166B2 (en) * 2015-08-20 2017-08-08 Qualcomm Incorporated Refresh rate matching with predictive time-shift compensation
US9819900B2 (en) * 2015-12-30 2017-11-14 Spreadtrum Communications (Shanghai) Co., Ltd. Method and apparatus for de-interlacing television signal
US10083498B2 (en) * 2016-02-24 2018-09-25 Novatek Microelectronics Corp. Compensation method for display device and related compensation module
US10504269B2 (en) * 2016-09-27 2019-12-10 Ziva Dynamics Inc. Inertial damping for enhanced simulation of elastic bodies
CN109729298B (zh) * 2017-10-27 2020-11-06 联咏科技股份有限公司 图像处理方法与图像处理装置
CN108305228B (zh) * 2018-01-26 2020-11-27 网易(杭州)网络有限公司 图像处理方法、装置、存储介质及处理器
KR20200016627A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 자체 운동 추정 방법 및 장치
WO2020149919A1 (en) * 2019-01-18 2020-07-23 Ziva Dynamics Inc. Inertial damping for enhanced simulation of elastic bodies
CN112017229B (zh) * 2020-09-06 2023-06-27 桂林电子科技大学 一种相机相对位姿求解方法
CN112561951B (zh) * 2020-12-24 2024-03-15 上海富瀚微电子股份有限公司 一种基于帧差绝对误差和sad的运动和亮度检测方法
EP4192002A1 (en) * 2021-12-03 2023-06-07 Melexis Technologies NV Method of generating a de-interlacing filter and image processing apparatus
CN116016831B (zh) * 2022-12-13 2023-12-05 湖南快乐阳光互动娱乐传媒有限公司 一种低时延的图像去交错方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1128678A1 (en) * 2000-02-24 2001-08-29 Koninklijke Philips Electronics N.V. Motion estimation apparatus and method

Family Cites Families (153)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644815B2 (ja) * 1984-04-27 1994-06-08 日本電気株式会社 動物体の動き内挿装置
EP0293644B1 (de) * 1987-06-02 1992-03-25 Siemens Aktiengesellschaft Verfahren zur Ermittlung von Bewegungsvektorfeldern aus digitalen Bildsequenzen
US4891699A (en) * 1989-02-23 1990-01-02 Matsushita Electric Industrial Co., Ltd. Receiving system for band-compression image signal
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
KR930004824B1 (ko) * 1990-05-12 1993-06-08 삼성전자 주식회사 Tv 전송시스템에 있어서 스펙트럼 호환성 고품위 tv신호 전송방법 및 회로
DE69126585T2 (de) * 1990-09-20 1998-01-02 Nippon Electric Co Verfahren und Gerät zur Kodierung von bewegten Bildsignalen
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
ES2118173T3 (es) * 1992-11-19 1998-09-16 Thomson Multimedia Sa Metodo y aparato para conversion ascendente de frecuencia de campo.
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
EP0645930B1 (en) * 1993-04-09 2000-06-14 Sony Corporation Method and apparatus for coding image
JPH07115646A (ja) * 1993-10-20 1995-05-02 Sony Corp 画像処理装置
US5798719A (en) * 1994-07-29 1998-08-25 Discovision Associates Parallel Huffman decoder
KR0151210B1 (ko) * 1994-09-23 1998-10-15 구자홍 엠펙2를 수용하는 반화소 움직임 보상조절장치
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
EP0765573B1 (en) 1995-03-14 1999-06-09 Koninklijke Philips Electronics N.V. Motion-compensated interpolation
EP0735746B1 (en) 1995-03-31 1999-09-08 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
WO1996033571A2 (en) 1995-04-11 1996-10-24 Philips Electronics N.V. Motion-compensated field rate conversion
AUPN234595A0 (en) 1995-04-12 1995-05-04 Eastman Kodak Company Improvements in image halftoning
US5805178A (en) * 1995-04-12 1998-09-08 Eastman Kodak Company Ink jet halftoning with different ink concentrations
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US5798948A (en) * 1995-06-20 1998-08-25 Intel Corporation Method and apparatus for video filtering
DE69618440T2 (de) 1995-11-01 2002-08-29 Koninkl Philips Electronics Nv Videosignalabtastumsetzung
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
JP3681835B2 (ja) * 1995-12-27 2005-08-10 三菱電機株式会社 画像符号化装置及び画像復号化装置及び符号化・復号化システム
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
EP0859524B1 (en) * 1996-08-29 2007-06-27 Matsushita Electric Industrial Co., Ltd. Image decoder and image memory overcoming various kinds of delaying factors caused by hardware specifications specific to image memory by improving storing system and reading-out system
GB2319684B (en) * 1996-11-26 2000-09-06 Sony Uk Ltd Scene change detection
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
FR2759524B1 (fr) * 1997-02-10 1999-05-14 Thomson Multimedia Sa Procede et dispositif de codage par estimation de luminance
US6456337B1 (en) * 1997-03-06 2002-09-24 Fujitsu General Limited Moving image correcting circuit for display device
US6788347B1 (en) * 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
DE69727911D1 (de) * 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6084641A (en) * 1997-08-06 2000-07-04 General Instrument Corporation Fade detector for digital video
US6360014B1 (en) * 1997-09-26 2002-03-19 Matsushita Electric Industrial Co., Ltd. Image decoding method, image decoding apparatus, and data recording medium
US6108047A (en) * 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6040875A (en) * 1998-03-23 2000-03-21 International Business Machines Corporation Method to compensate for a fade in a digital video input sequence
US6539058B1 (en) * 1998-04-13 2003-03-25 Hitachi America, Ltd. Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6274299B1 (en) * 1998-06-25 2001-08-14 Eastman Kodak Company Method of electronically processing an image from a color negative film element
ATE230140T1 (de) * 1998-09-07 2003-01-15 Thomson Multimedia Sa Bewegungsschätzungsverfahren zur reduzierung der übertragungskosten von bewegungsvektoren
WO2000031688A1 (fr) * 1998-11-25 2000-06-02 Sony Corporation Dispositif et procede de traitement d'image, et support enregistre lisible par ordinateur
US6782049B1 (en) * 1999-01-29 2004-08-24 Hewlett-Packard Development Company, L.P. System for selecting a keyframe to represent a video
WO2000051355A1 (en) * 1999-02-26 2000-08-31 Stmicroelectronics Asia Pacific Pte Ltd Method and apparatus for interlaced/non-interlaced frame determination, repeat-field identification and scene-change detection
US6360015B1 (en) * 1999-04-06 2002-03-19 Philips Electronics North America Corp. RAM-based search engine for orthogonal-sum block match motion estimation system
US6400764B1 (en) * 1999-04-06 2002-06-04 Koninklijke Philips Electronics N. V. Motion estimation method featuring orthogonal-sum concurrent multi matching
US6438275B1 (en) * 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR100370076B1 (ko) * 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US6847406B2 (en) * 2000-12-06 2005-01-25 Koninklijke Philips Electronics N.V. High quality, cost-effective film-to-video converter for high definition television
US20110013081A1 (en) * 2001-01-11 2011-01-20 Pixelworks, Inc. System and method for detecting a non-video source in video signals
BR0204824A (pt) * 2001-04-12 2003-06-10 Koninkl Philips Electronics Nv Aparelho compreendendo um transcodificador e dispositivo embutidor de marca d'água, aparelho para gravaçao digital e método de embutir uma marca d'água dentro de informações de um fluxo de dados recebido
US7904814B2 (en) * 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
US6898241B2 (en) * 2001-05-11 2005-05-24 Mitsubishi Electric Research Labs, Inc. Video transcoder with up-sampling
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
US6671322B2 (en) * 2001-05-11 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
DE60228101D1 (de) * 2001-09-12 2008-09-18 Nxp Bv Bewegungsschätzung und/oder kompensation
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
US6823015B2 (en) * 2002-01-23 2004-11-23 International Business Machines Corporation Macroblock coding using luminance date in analyzing temporal redundancy of picture, biased by chrominance data
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
JP3940616B2 (ja) * 2002-02-25 2007-07-04 松下電器産業株式会社 光受信回路
US20030161400A1 (en) * 2002-02-27 2003-08-28 Dinerstein Jonathan J. Method and system for improved diamond motion search
CN100358356C (zh) * 2002-02-28 2007-12-26 皇家飞利浦电子股份有限公司 用于场速率上变换的方法和装置
JP4082664B2 (ja) * 2002-09-20 2008-04-30 Kddi株式会社 映像検索装置
KR100930043B1 (ko) * 2002-11-23 2009-12-08 삼성전자주식회사 스크롤링 텍스트나 그래픽 데이터를 검출할 수 있는움직임 추정장치 및 방법
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
GB0229354D0 (en) * 2002-12-18 2003-01-22 Robert Gordon The University Video encoding
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
US20040190625A1 (en) * 2003-03-13 2004-09-30 Motorola, Inc. Programmable video encoding accelerator method and apparatus
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
GB2401502B (en) * 2003-05-07 2007-02-14 British Broadcasting Corp Data processing
KR100561398B1 (ko) * 2003-06-10 2006-03-16 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US7129987B1 (en) * 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
KR100573696B1 (ko) * 2003-07-31 2006-04-26 삼성전자주식회사 패턴 분석에 기반한 움직임 벡터 보정 장치 및 방법
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7366237B2 (en) * 2003-09-09 2008-04-29 Microsoft Corporation Low complexity real-time video coding
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
US7308029B2 (en) * 2003-12-23 2007-12-11 International Business Machines Corporation Method and apparatus for implementing B-picture scene changes
US20080144716A1 (en) * 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
DE102004017145B4 (de) * 2004-04-07 2006-02-16 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
JP4692846B2 (ja) * 2004-04-09 2011-06-01 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
FR2869753A1 (fr) 2004-04-29 2005-11-04 St Microelectronics Sa Procede et dispositif de generation de vecteurs candidats pour les systemes d'interpolation d'images par estimation et compensation de mouvement
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
WO2005117446A1 (en) * 2004-05-25 2005-12-08 Koninklijke Philips Electronics N.V. Motion estimation in interlaced video images
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
AR049593A1 (es) * 2004-07-20 2006-08-16 Qualcomm Inc Metodo y aparato para predecir el vector de movimiento en compresion de video temporal.
KR101127220B1 (ko) * 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법
EP1638337A1 (en) * 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
JP2006246431A (ja) * 2005-02-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
US20060285586A1 (en) * 2005-05-16 2006-12-21 Ensequence, Inc. Methods and systems for achieving transition effects with MPEG-encoded picture content
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
KR20070020994A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 영상신호 변환장치 및 그 방법
US8401070B2 (en) * 2005-11-10 2013-03-19 Lsi Corporation Method for robust inverse telecine
US7925120B2 (en) * 2005-11-14 2011-04-12 Mediatek Inc. Methods of image processing with reduced memory requirements for video encoder and decoder
US8036263B2 (en) * 2005-12-23 2011-10-11 Qualcomm Incorporated Selecting key frames from video frames
US8160144B1 (en) * 2006-05-10 2012-04-17 Texas Instruments Incorporated Video motion estimation
US8519928B2 (en) 2006-06-22 2013-08-27 Entropic Communications, Inc. Method and system for frame insertion in a digital display system
EP1884893A1 (en) 2006-08-03 2008-02-06 Mitsubishi Electric Information Technology Centre Europe B.V. Sparse integral image description with application to motion analysis
US20080056367A1 (en) * 2006-08-30 2008-03-06 Liu Wenjin Multi-step directional-line motion estimation
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
US20080055477A1 (en) * 2006-08-31 2008-03-06 Dongsheng Wu Method and System for Motion Compensated Noise Reduction
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
US8428125B2 (en) * 2006-12-22 2013-04-23 Qualcomm Incorporated Techniques for content adaptive video frame slicing and non-uniform access unit coding
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP5141043B2 (ja) * 2007-02-27 2013-02-13 株式会社日立製作所 画像表示装置および画像表示方法
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
CN101803363B (zh) * 2007-09-10 2013-09-18 英属开曼群岛商泰鼎微系统股份有限公司 用于视频图像数据中的基于行的运动估计的方法和装置
CN103124354B (zh) * 2007-09-28 2016-01-20 杜比实验室特许公司 处理视频信息
KR20090054828A (ko) 2007-11-27 2009-06-01 삼성전자주식회사 Frc된 비디오에 gui를 부가하는 비디오 기기 및 그의gui 제공방법
TWI386058B (zh) * 2008-10-03 2013-02-11 Realtek Semiconductor Corp 視訊處理方法與裝置
EP2286595A1 (en) * 2008-06-16 2011-02-23 Dolby Laboratories Licensing Corporation Rate control model adaptation based on slice dependencies for video coding
FR2933520B1 (fr) * 2008-07-04 2011-02-11 Canon Kk Procede et dispositif de restauration d'une sequence video
KR101574080B1 (ko) * 2009-04-15 2015-12-04 삼성디스플레이 주식회사 데이터 처리 방법 및 이를 수행하기 위한 데이터 처리 장치 및 이 데이터 처리 장치를 포함하는 표시 장치
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
US8643776B2 (en) * 2009-11-30 2014-02-04 Mediatek Inc. Video processing method capable of performing predetermined data processing operation upon output of frame rate conversion with reduced storage device bandwidth usage and related video processing apparatus thereof
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
TWI413023B (zh) 2010-03-30 2013-10-21 Novatek Microelectronics Corp 移動偵測方法及裝置
US20110255596A1 (en) * 2010-04-15 2011-10-20 Himax Technologies Limited Frame rate up conversion system and method
KR101152464B1 (ko) 2010-05-10 2012-06-01 삼성모바일디스플레이주식회사 유기전계발광 표시장치 및 그의 구동방법
US8446524B2 (en) * 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
KR101279128B1 (ko) * 2010-07-08 2013-06-26 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
KR101681779B1 (ko) * 2010-07-14 2016-12-02 엘지디스플레이 주식회사 입체 영상 표시장치와 그 백라이트 제어 방법
US8610707B2 (en) * 2010-09-03 2013-12-17 Himax Technologies Ltd. Three-dimensional imaging system and method
KR101707101B1 (ko) * 2010-09-09 2017-02-28 삼성디스플레이 주식회사 영상데이터 처리방법 및 이를 수행하는 표시 장치
KR101742182B1 (ko) * 2010-09-17 2017-06-16 삼성디스플레이 주식회사 영상 데이터 처리 방법, 및 이를 수행하는 표시 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1128678A1 (en) * 2000-02-24 2001-08-29 Koninklijke Philips Electronics N.V. Motion estimation apparatus and method

Also Published As

Publication number Publication date
CN101803362A (zh) 2010-08-11
CN101803361B (zh) 2013-01-23
US20100271554A1 (en) 2010-10-28
WO2009034493A2 (en) 2009-03-19
EP2188990A2 (en) 2010-05-26
CN101836441A (zh) 2010-09-15
CN101836441B (zh) 2012-03-21
CN101796813A (zh) 2010-08-04
US8526502B2 (en) 2013-09-03
WO2009034492A2 (en) 2009-03-19
CN101803361A (zh) 2010-08-11
WO2009034487A2 (en) 2009-03-19
WO2009034493A3 (en) 2009-08-06
WO2009034486A2 (en) 2009-03-19
EP2206342A2 (en) 2010-07-14
US20100277644A1 (en) 2010-11-04
WO2009034489A2 (en) 2009-03-19
EP2206341A2 (en) 2010-07-14
US20100238355A1 (en) 2010-09-23
WO2009034492A3 (en) 2009-08-13
WO2009034486A3 (en) 2009-04-30
WO2009034489A3 (en) 2009-05-28
WO2009034487A3 (en) 2009-04-30
WO2009034488A2 (en) 2009-03-19
EP2188978A2 (en) 2010-05-26
WO2009034488A3 (en) 2009-07-23
CN101803363A (zh) 2010-08-11
EP2188979A2 (en) 2010-05-26
US9036082B2 (en) 2015-05-19
US20110205438A1 (en) 2011-08-25

Similar Documents

Publication Publication Date Title
CN101803363B (zh) 用于视频图像数据中的基于行的运动估计的方法和装置
CN101589614B (zh) 图像显示装置及方法、图像处理装置及方法
KR100815010B1 (ko) Lcd 모션 블러 선보상 방법
USRE41196E1 (en) Method and apparatus for detecting motion between odd and even video fields
KR100588132B1 (ko) 디스플레이장치
US20080007614A1 (en) Frame rate conversion device, image display apparatus, and method of converting frame rate
EP2077663A1 (en) Image display device and method, and image processing device and method
US20050259739A1 (en) Image processing apparatus and method, and recording medium and program used therewith
CN101529902B (zh) 图像显示装置及方法、图像处理装置及方法
CN101663885A (zh) 图像处理装置及方法、图像显示装置及方法
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
KR20070069615A (ko) 움직임 추정장치 및 움직임 추정방법
JP2001024988A (ja) 画像信号の動き補償フレーム数変換方式および装置
CN104202555A (zh) 去隔行方法及装置
JP4731356B2 (ja) 画像表示装置及び方法
KR100931110B1 (ko) 퍼지 룰 기반 에지 복원 알고리즘을 이용하는 디인터레이싱장치 및 방법
JP2009182865A (ja) 画像表示装置及び方法、画像処理装置及び画像処理方法
CN100407766C (zh) 用于处理图像的方法和设备
JP5176613B2 (ja) 映像信号処理装置、映像信号処理方法およびコンピュータプログラム
JP2008124868A (ja) テロップ検出装置及び方法、並びに画像表示装置及び方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: CAYMAN ISLANDS BUSINESS TRIDENT MICROSYSTEMS CO.,

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20101119

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, HOLLAND TO: ENGLISH CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20101119

Address after: Cayman Islands

Applicant after: British Cayman Islands Shangtai Ding Microsystems Co.,Ltd.

Address before: Holland Ian Deho Finn

Applicant before: NXP B.V.

C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: ENTROPIC COMMUNICATIONS, INC.

Free format text: FORMER OWNER: CAYMAN ISLANDS BUSINESS TRIDENT MICROSYSTEMS CO., LTD.

Effective date: 20131009

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20131009

Address after: California, USA

Patentee after: ENTROPIC COMMUNICATIONS, Inc.

Address before: Cayman Islands

Patentee before: British Cayman Islands Shangtai Ding Microsystems Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180629

Address after: American Minnesota

Patentee after: Dynamic data technology LLC

Address before: California, USA

Patentee before: Entropic Communications, Inc.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130918

Termination date: 20210805