CN101836441B - 用于视频图像数据中的基于行的运动补偿的方法、装置和系统 - Google Patents

用于视频图像数据中的基于行的运动补偿的方法、装置和系统 Download PDF

Info

Publication number
CN101836441B
CN101836441B CN2008801061128A CN200880106112A CN101836441B CN 101836441 B CN101836441 B CN 101836441B CN 2008801061128 A CN2008801061128 A CN 2008801061128A CN 200880106112 A CN200880106112 A CN 200880106112A CN 101836441 B CN101836441 B CN 101836441B
Authority
CN
China
Prior art keywords
motion vector
row
motion
motion compensation
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2008801061128A
Other languages
English (en)
Other versions
CN101836441A (zh
Inventor
福尔克尔·布卢姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=40379094&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101836441(B) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101836441A publication Critical patent/CN101836441A/zh
Application granted granted Critical
Publication of CN101836441B publication Critical patent/CN101836441B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Picture Signal Circuits (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Color Television Systems (AREA)

Abstract

本发明涉及视频图像数据中的基于行的运动估计和补偿。具体地,通过执行基于行的运动估计,提供用于基于行的运动补偿的运动矢量集合。使用所提供的运动矢量集合,通过对当前场/帧中的图像数据进行插值来执行基于行的运动补偿,其中,作为执行基于行的运动补偿的结果提供当前场/帧的图像数据的插值后的图像数据。然后,检查当前场/帧的插值后的图像数据的区域是否包括根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量进行了插值的区域中的至少一个像素。如果是,根据本发明,执行相应区域的模糊化。

Description

用于视频图像数据中的基于行的运动补偿的方法、装置和系统
技术领域
本发明涉及一种用于视频图像数据中基于行的运动估计和基于行的运动补偿的方法、装置和系统。本发明还涉及一种包括实现所述方法的程序代码的计算机程序产品和包括所述计算机程序的数据载体。
背景技术
根据本发明的方法、装置和系统被配置为:通过基于行的运动估计和补偿来计算视频图像数据的经插值的图像数据,检测并处理作为执行基于行的运动补偿的结果而获得的经插值的图像数据中的错误。本发明实现了:芯片内部存储器的高效使用;能够实现基于行的运动估计和补偿的组件、设备和/或模块的高效交互;以及对作为执行基于行的运动补偿的结果而获得的经插值的图像数据进行处理,其中,显著地并同时以高效方式提高了要可视化的结果图像数据的质量。
下文中,将关于对视频处理装置(如具有行存储设备的微处理器或微控制器)内的用于基于行的运动估计和运动补偿的视频信号进行的处理来描述本发明及其潜在问题,而应当注意,本发明不限于该应用,而还可以用于其他视频处理装置。
基于100/120Hz帧率甚至更高帧率的电视机的市场倡导要求开发可靠的场/帧率上转换(FRU)技术来移除画面中的伪像,如大面积闪烁和线条闪烁。对要在显示器上显示的缺失图像场进行插值而不执行对连续图像场中的运动目标的运动估计和补偿的标准FRU方法,在许多应用中是令人满意的,特别是在图像的较好的质量和上述伪像的减少的方面尤其如此。然而,许多画面包含引起所谓的运动抖动的运动目标,如人、字幕等。
参照图1更好地理解该问题,其中,假设原始图像场(即,发送和接收到的图像场)中的运动目标(白方块)的运动轨迹是直线的。如果缺失场/帧是由通过上述标准FRU方法(即,没有运动估计和补偿)插值产生的,则插值后的场中的运动目标(黑灰方块)的运动不在观察者预期的位置上(虚方块)。这样的伪像是可见的并引入模糊效应,特别是快速运动目标的模糊效应。典型地,这些模糊效应显著地降低了所显示图像的质量。
为了避免这样的模糊效应并减少伪像,提出了多种运动估计和运动补偿(或简称MEMC)的方法。该MEMC提供了,对接收到的图像场内的运动部分或目标的检测,然后根据所估计的运动通过对所估计的场中的缺失目标或部分进行插值来对缺失场进行插值。
图2示意性示出了两个连续图像场之间运动目标的位置的改变。在两个连续接收的图像场/帧之间,运动目标将已改变了它们的位置,例如位置A中先前场/帧T中的目标MO随后在当前场/帧T+1中位于位置B。这表明,从先前场/帧T至当前场/帧T+1存在运动。连续图像场/帧中目标的这种运动可以由所谓的运动矢量表示。运动矢量AB表示从先前场T中的位置A至当前场/帧T+1中的位置B的目标MO的运动。该运动矢量AB典型地具有水平和垂直矢量分量。从先前场T中的点A开始并将该运动矢量AB应用于目标MO,然后将目标MO平移到当前场/帧T+1中的位置B。必须通过考虑运动目标MO的相应位置A、B,对先前场T和当前场T+1插值来计算必须进行插值的缺失场/帧T+1/2中的目标MO的缺失位置I。如果目标MO在先前场/帧和当前场/帧之间没有改变其位置,例如,如果A和B是相同的,则通过将A平移运动矢量|AB|/2来获得缺失场中位置I。这样,利用位于正确位置的运动目标插值出缺失场T+1/2,从而有效地避免模糊效应。
理论上,对于场的每个像素,必须计算相应的运动矢量。然而,这将增加所需的计算量,从而存储器需求巨大。为了降低该巨大的计算量和存储器工作,基本上存在两种不同的方法:
第一种方法采用所谓的基于块的MEMC。该第一种方法假设图像中的目标的尺寸始终大于单个像素的尺寸。因此,将图像场划分成若干图像块。对于MEMC,仅针对每个块计算一个运动矢量。
第二种方法采用所谓的基于行的MEMC。在该第二种方法中,算法基于场的单行或该行的一部分的减少的视频输入数据集合。本发明是基于该第二种MEMC方法。
在当前基于行的MEMC系统中,通常将图像数据存储在本地缓冲器或芯片存储器(所谓的行存储器)中,这需要相当大的带宽。许多当前MEMC系统(如Gerard de Haan在EP 765 571B1和US 6,034,734中描述的实现方式)应用高速缓存存储器(例如,二维缓冲器)来降低带宽要求并存储图像的子集。运动补偿设备或模块在应用运动矢量时从该高速缓存中取出视频图像数据。典型地,在MEMC系统中,该高速缓存覆盖运动矢量的整个搜索范围。通常,高速缓存由大量所谓行存储器组成。这导致相当大量的存储器,例如,720像素宽和24行(具有关联的[-12-+12]最大垂直矢量范围)。包括大量单行存储器的这种高速缓存需要仅MEMC数据缓冲所需的大型存储器。因此,处理器内的存储器部分覆盖相对大的芯片面积。
常用的MEMC算法补偿沿着两个方向的运动,即,沿着水平方向和垂直方向的运动。对于该操作,存储器的存取是随机可行的,对于硬件应用,这需要针对不同时间输入数据流的视频处理器内的足够的嵌入式芯片存储器。如上已经概括的,该嵌入式芯片存储器的大小完全取决于针对目标运动的搜索范围(即,搜索区域),其中,运动估计可以匹配两个时间位置中的类似视频模式,并像素每帧或每场为单位导出运动的速度。
然而,该匹配处理并非始终以理想方式工作,这是由于需要确定所测量的运动矢量的质量的方法。因此,对于其他时间输入视频信号的内部存储而言,需要附加存储器资源。然而,这增加了嵌入式存储器的量,甚至还导致芯片面积的增加,这是由于对于集成电路而言,芯片内部存储器主要确定芯片面积。因此,该芯片变得越来越贵。特别地,在主流市场部分(如对于现代等离子和LCD电视),这些附加成本典型地形成了针对MEMC实现方式的限制因素。
因此,本发明基于提供一种对芯片内部资源的更高效地使用的目标,特别是关于运动估计和运动补偿对芯片内部存储器的更高效地使用,其中,同时提高结果图像数据的质量。
发明内容
该目标可以通过以下方式来实现:一种用于视频图像数据中的基于行的运动估计和基于行的运动补偿的方法;一种用于视频图像数据中的基于行的运动估计和基于行的运动补偿的装置;一种电视机;和/或一种包括上述用于视频图像数据中的基于行的运动估计和基于行的运动补偿的装置的系统。
本发明的其他实施例还具有相应的从属权利要求。
本发明的目的是通过针对运动画面的连续场或帧中的运动估计和补偿后的场或帧率上转换、用于视频图像数据中的基于行的运动估计和基于行的运动补偿的方法来实现的,该方法包括以下步骤:
-通过执行基于行的运动估计,来提供用于当前场或帧的图像数据中的基于行的运动补偿的运动矢量集合;
-通过使用所提供的运动矢量集合来对当前场或帧的图像数据进行插值,来执行基于行的运动补偿;
-作为执行基于行的运动补偿的结果,提供当前场或帧的图像数据的插值后的图像数据;以及
-如果根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量对区域中的至少一个像素进行了插值,则对当前场或帧的插值后的图像数据的区域进行模糊化。
本发明的一个基本思想是基于以下结论:对于主流市场部分,性能从而搜索范围受限于自然捕捉场景中最可能的水平运动的出现。因此,本发明描述了仅沿水平方向操作的运动估计和运动补偿(基于行的运动估计和运动补偿)。由于根据本发明仅需要视频图像数据的逐行存储,这提供了减少芯片嵌入式存储器的可能性。当执行基于行的图像处理时,根据本发明仅沿水平方向执行以上提供的步骤。因此,当仅沿水平方向对图像数据进行处理时(沿垂直方向的图像数据的处理不是强制的),也可以显著改进被配置为执行以上步骤的组件、模块或设备的运行时间,其中,确保甚至同时提高运动估计和补偿结果的质量。
此外,本发明提供了一种处理插值后的视频数据中的伪像的高效和有效的方式,其中,同样沿水平方向执行该伪像处理,具体地,通过对插值后的图像数据的伪像区域进行自适应模糊来执行该伪像处理。
根据本发明的实施例,模糊化包括对至少一个像素的抑制。
如果区域的两个像素是根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量进行插值的,并且如果所述运动矢量与来自运动矢量集合、被指示为对于基于行的运动补偿可靠的另一运动矢量相交,则根据本发明的实施例,模糊化包括将两个像素之间的像素和这两个像素组合成一个统一区域。
此外,如果区域由根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量而插值出的区域的多于两个的相邻像素组成,则根据本发明的实施例,模糊化包括:通过将第一组两个像素插入在区域之前并通过将第二组两个像素插入到区域之后来扩展区域,其中,第一组两个像素和第二组两个像素与被指示为对于基于行的运动补偿不可靠的运动矢量的像素相对应。
根据本发明的实施例,将中值滤波器用于基于行的运动补偿。
根据本发明的另一实施例,中值滤波器使用在已经补偿的相邻像素处针对基于行的运动补偿提供的运动矢量、在要补偿的相邻像素处针对基于行的运动补偿提供的运动矢量、以及针对当前正在补偿的当前场或帧的图像数据的当前像素提供的当前运动矢量作为输入。
根据本发明的实施例,基于行的运动补偿是关于亮度值和色度值中的至少一个来执行的。
根据本发明的实施例,使用包括当前场或帧的图像数据的行存储器来沿着水平方向执行基于行的运动估计。该行存储器可以被配置为,使得该行存储器具有一个视频行的大小或至少具有输入的或实际处理的视频图像数据的大小。
根据本发明的实施例,在从当前帧或场的图像数据获取的相应像素处,针对基于行的运动补偿,提供运动矢量集合的每个运动矢量。
根据本发明的另一实施例,从包括当前场或帧的图像数据的行存储器中获取相应像素。
根据本发明的实施例,其中,使用包括先前场或帧的图像数据的行存储器来沿水平方向执行基于行的运动估计。该行存储器被配置为,使得该行存储器具有一个视频行的大小或至少具有输入的或实际处理的视频图像数据的大小。
根据本发明的实施例,使用包括当前场或帧的图像数据的行存储器来沿水平方向执行基于行的运动补偿。
根据本发明的实施例,通过执行基于行的运动估计来提供运动矢量集合包括:
-选择要用于基于行的运动补偿的运动矢量;
-检测所选运动矢量的质量值,其中,该质量值指示所选运动矢量对于基于行的运动补偿是否可靠;以及
-将所选运动矢量添加至运动矢量集合。
质量值指示,所选运动矢量表征运动的实际方向和图像数据中目标的实际速度的效果如何。如果参数(运动的实际方向和目标的实际速度)中的一个不满足,则当使用所选矢量补偿图像数据时会在插值后的图像数据中出现伪像。因此,这样的矢量对于基于行的运动补偿是不可靠的并且表示不良矢量。这里,选择了对于基于行的运动补偿不可靠的矢量的不同原因可能是:例如,目标的呈现和遮挡、目标的长度和或或方向的突然改变、当选择运动矢量时超出搜索范围。
根据本发明的实施例,通过执行基于行的运动估计提供运动矢量集合包括:
-如果所检测的质量值指示所选运动矢量对于基于行的运动补偿不可靠,从在基于行的运动估计中使用的当前行之上的行中搜索另一运动矢量;
-检测另一运动矢量的另一质量值,其中,该另一质量值指示另一运动矢量对于基于行的运动补偿是否可靠;以及
-如果另一质量值指示另一运动矢量对于运动补偿是可靠的,则用另一运动矢量替换所选运动矢量。
根据该实施例,确保可靠运动矢量被用于运动补偿。如果将所选运动矢量标识为不良,即,不可靠,则考虑下一环境,并在图像数据中关于该下一环境执行针对可靠运动矢量的另一搜索。如果能够找到可靠矢量,执行替换。否则,如果无法找到或选择可靠运动矢量,则执行上述和以下详细说明的模糊化。
通过针对运动画面的连续场或帧中的运动估计和补偿后的场或帧率上转换、用于视频图像数据中的基于行的运动估计和基于行的运动补偿的装置来实现上述目标,其中所述装置包括:
-被配置为通过执行基于行的运动估计来提供用于当前场或帧的图像数据中的基于行的运动补偿的运动矢量集合的模块、设备或组件;
-被配置为通过根据所提供的运动矢量集合对当前场或帧的图像数据进行插值来执行基于行的运动补偿的模块、设备或组件;
-被配置为在执行基于行的运动补偿之后获得当前场或帧的图像数据的插值后的图像数据的模块、设备或组件;
-被配置为如果根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量对区域的至少一个像素进行了插值则对当前场或帧的插值后的图像数据的区域进行模糊化的模块、设备或组件。
如上所述,本发明描述了仅沿水平方向操作的运动估计和运动补偿(基于行的运动估计和补偿)。因此,以上提供的装置的模块、设备或组件被配置为当执行基于行的图像处理时沿水平方向对视频图像数据进行处理。这样,由于根据本发明仅需要视频图像数据的逐行存储,可以显著减少用于存储图像数据的装置所需的资源。此外,由于仅沿水平方向对图像数据进行处理(沿垂直方向的图像数据处理不是强制的),通过本发明可以显著改进该装置的模块、设备或组件的运行时间,因此还可以显著改进装置本身的运行时间。此外,尽管仅沿一个方向对图像数据进行处理,但是确保了并同时甚至提高了运动估计和补偿结果的质量。
根据本发明的实施例,被配置为对当前场或帧的插值后的图像数据的区域进行模糊化模块、设备或组件被配置为抑制至少一个像素。
如果区域的两个像素是根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量进行插值的,并且如果所述运动矢量与来自运动矢量集合、被指示为对于基于行的运动补偿可靠的另一运动矢量相交,则根据本发明的实施例,被配置为对当前场或帧的插值后的图像数据的区域进行模糊化的模块、设备或组件被配置为将两个像素之间的像素和两个像素组合成一个统一区域。
此外,如果区域由根据来自运动矢量集合、被指示为对于基于行的运动补偿不可靠的运动矢量而插值出的所述区域的多于两个的相邻像素组成,则根据本发明的实施例,被配置为对当前场或帧的插值后的图像数据的区域进行模糊化的模块、设备或组件被配置为通过将第一组两个像素插入在区域之前并通过将第二组两个像素插入到区域之后来扩展区域,其中,第一组两个像素和第二组两个像素与被指示为对于基于行的运动补偿不可靠的运动矢量的像素相对应。
根据本发明的另一实施例,被配置为执行基于行的运动补偿的模块、设备或组件被配置为将中值滤波器用于基于行的运动补偿。
根据本发明的另一实施例,中值滤波器被配置为使用在已经补偿的相邻像素处针对基于行的运动补偿提供的运动矢量、在要补偿的相邻像素处针对基于行的运动补偿提供的运动矢量、以及针对当前正在补偿的当前场或帧的图像数据的当前像素提供的当前运动矢量作为输入。
根据本发明的实施例,被配置为执行基于行的运动补偿的模块、设备或组件被配置为关于亮度值和色度值中的至少一个来执行基于行的运动补偿。
根据本发明的实施例,所述装置包括:第一行存储器,被配置为存储当前场或帧的图像数据,其中,使用第一行存储器沿水平方向执行基于行的运动估计。该第一行存储器可以被配置为,使得其具有一个视频行的大小或至少具有输入的或实际处理的视频图像数据的大小。
根据本发明的实施例,被配置为提供运动矢量集合的模块、设备或组件被配置为,在从当前场或帧的图像数据中获取的相应像素处提供运动矢量集合中的每个运动矢量。
根据本发明的实施例,从第一行存储器中获取相应像素。
根据本发明的实施例,使用第一行存储器沿水平方向执行基于行的运动补偿。
根据本发明的另一实施例,该装置包括:第二行存储器,被配置为存储先前场或帧的图像数据。该第二行存储器可以被配置为,使得其具有一个视频行的大小或至少具有输入的或实际处理的视频图像数据的大小。
根据本发明的实施例,该装置包括:包括上方行的运动矢量在内的第三行存储器,其中,已经由先前执行的针对上方行的基于行的运动估计提供了上方行的运动矢量。同样,第三行存储器被配置为,使得其具有一个视频行的大小或至少具有输入的或实际处理的视频图像数据的大小。
根据本发明的实施例,被配置为提供运动矢量集合的模块、设备或组件被配置为:
-选择要用于基于行的运动补偿的运动矢量;
-检测所选运动矢量的质量值,其中,该质量值指示所选运动矢量对于基于行的运动补偿是否可靠;以及
-将所选运动矢量添加至运动矢量集合。
根据本发明的实施例,被配置为提供运动矢量集合的模块、设备或组件被配置为:
-如果所检测的质量值指示所选运动矢量对于基于行的运动补偿不可靠,从在基于行的运动估计中使用的当前行之上的行中搜索另一运动矢量;
-检测另一运动矢量的另一质量值,其中,该另一质量值指示另一运动矢量对于基于行的运动补偿是否可靠;以及
-如果另一质量值指示另一运动矢量对于运动补偿是可靠的,则用另一运动矢量替换所选运动矢量。
这里,必须注意,根据本发明,该装置被配置为执行上述和以下更详细地说明的方法步骤。因此,该装置提供被配置为执行相应方法步骤的模块、设备或组件,其中,根据本发明,严格划分所需模块、设备或组件是不必要的。根据本发明,该装置关于其模块、设备或组件的可变设计是可能的。因此,例如,当执行运动估计和运动补偿时,可以提供两个分离的模块、设备或组件——一个模块、设备或组件被配置为执行运动估计,另一模块、设备或组件被配置为执行运动补偿。然而,根据本发明还可以提供被配置为同时执行运动补偿和运动估计的一个模块。
同样,可以通过包括上述和以下更详细地说明的装置在内的电视机来实现本发明的目的。
此外,可以通过包括上述和以下更详细地说明的装置在内的的系统来实现本发明的目的。
必须注意,对于该系统,与装置(上述和以下更详细说明的)原理相同的原理是适用的。一般而言,系统被配置为执行用于视频图像数据中的基于行的运动估计和基于行的运动补偿的方法,从而包括被配置为执行所述方法的步骤的适当的模块、设备或组件。
如上所述,本发明是基于以下结论:对于主流市场部分,性能从而搜索范围受限于自然捕捉场景中最可能的水平运动的出现。由于根据本发明仅需要视频图像数据的逐行存储,这提供了减少芯片嵌入式存储器的可能性。因此,芯片嵌入式存储器例如可以减少为仅一对行存储器。这里,针对先前运动轨迹使用一个单行存储器并且针对当前运动轨迹使用一个单行存储器作为搜索范围足以实现本发明。这样,使用本发明实现了芯片嵌入式存储器的显著减少。此外,所提出的方法实现了运动估计和运动补偿的快速执行,其中,同时提高了结果视频图像的质量(尽管,仅沿一个方向进行处理)。
本发明还描述了一种运动估计和运动补偿的方法,该方法仅沿水平方向操作并因此能够实现使用单行缓冲存储器(所谓行存储器)的运动估计和运动补偿操作。
在视频信号处理中,通常在已经存取了先前和当前运动轨迹的其他应用(例如,所谓去隔行器应用或时间噪声降低应用)中使用行存储器。根据本发明,在这些应用中使用的所用行存储器现在附加地还用于运动估计和运动补偿操作。通过使用这些现有行存储器,不必进一步为存储器总线增加存储器带宽。因此,该解决方案提供了通过向现有视频处理系统添加最小的存储器或在最优情况下不添加存储器来完成运动估计和运动补偿操作的可能性。
根据本发明的、用于运动估计和运动补偿的方法可以在先前和当前场或帧的行存储器上进行操作。这有利地实现了硅面积减小和成本节省的实现方式。
补偿执行受限于沿一个方向的运动,特别是仅沿水平方向的运动,这是由于自然场景中的大多数运动具有该趋势。通过使用视频信号处理系统中现有的行存储器,存储器带宽保持不变。
另一优点在于,许多错误减少方法降低了伪像的可见性。根据本发明,能够有效地识别和处理在执行基于行地运动估计和补偿之后所获得的插值后的图像数据中产生的伪像。具体地,根据本发明所执行的(行)区域的模糊化实现了对插值后的图像数据的显著改善,并可以同时以快速有效的方式执行。
以下,为了简明起见,将在对本发明及其实施例进行更详细说明的多数情况下使用术语运动补偿和运动估计。必须注意,在这些情况下指基于行的运动估计和基于行的运动补偿。
附图说明
为了更完全地理解本发明及其优点,现在结合附图参照以下描述。以下使用在附图中示意性示出的示例实施例更详细地说明本发明,在附图中:
图1示出了标准(即,非运动补偿的)FRU方法的结果;
图2示出了两个连续接收到的图像场之间运动目标的位置变化;
图3A、B通过当前帧和相应先前帧示出了基于行的运动估计的运动估计原理;
图4示出了根据本发明的基于行的MEMC系统的第一实施例的框图;
图5示出了示意根据本发明实施例的运动估计的匹配处理的示例;
图6示出了根据本发明实施例的提供运动矢量直方图的基本原理;
图7示出了示意根据本发明实施例的用于检测不可靠矢量的过程的流程图;
图8示出了示意根据本发明实施例的用于不良矢量替换和错误隐藏的搜索过程的流程图;
图9通过三个例证(A)-(C)分别示出了根据本发明实施例的伪像隐藏或自适应模糊;
图10示出了示意根据本发明的基于行的运动估计的实施例的框图;
图11示出了示意使用自适应伪像隐藏的根据本发明的基于行的运动补偿的实施例的框图;
图12示出了使用被分配给同样用于运动估计设备或模块的去隔行器设备或模块的行存储器的、根据本发明的基于行的MEMC的第二实施例的框图。
在所有附图中,除非另外明确说明,相同或至少具有相同功能的元件、特征和信号被提供了相同的参考符号、描述和缩写。
具体实施方式
在本发明的以下描述中,首先提供运动估计和运动补偿的简短概述。
MEMC方法主要由两部分组成,运动估计和运动补偿方法。运动估计执行对运动的测量,并导出以像素每画面(即,场或帧)为单位的显示区域的速度。同样运动方向将由正号或负号来指示。这些所测量的运动信息以运动矢量的形式来描述。运动矢量用于运动补偿,以在精确的时间位置对画面进行插值,并避免所谓的抖动效应和/或所谓的运动模糊效应。
图3A、3B通过当前画面(场或帧)10(n)和相应的先前画面11(n-1)示出了基于行的运动估计的运动估计原理。根据时间位置,将运动矢量12、13按其长度分成两个部分,其中,第一矢量部分12指向先前画面11,第二矢量部分13指向当前画面10。为了插值当前和先前画面10、11之间的缺失画面14(n-1/2),考虑来自两个时间画面10、11的像素15来进行补偿。在基于行的MEMC中,在相同时刻仅使用相同行16内的像素15,并且仅针对场或帧的单行16执行MEMC。对于这种类型的MEMC,将当前画面10的像素15与先前画面11的相应像素15进行比较以估计和补偿缺失画面14的相应像素15。
图4示出了根据本发明的基于行的MEMC系统的框图。MEMC系统由参考数字20表示。MEMC系统20包括输入端子21、总线22、两个行存储器23、24、运动估计元设备或模块25、运动补偿设备或模块26、以及输出端子27。假设,总线22是外部总线,特别是外部存储器总线22。然而,还可能的是,总线22是内部总线22。在输入侧,总线22连接至外部存储器设备或模块28,如SDRAM、DDR-RAM等。将要在面板29(如等离子或LCD面板或CRT屏幕)中显示的图像数据存储在该外部存储器28中。经由输入端子21和存储器总线22,将该图像数据X1、X1’传送至两个行存储器23、24。根据本发明的一实施例,仅需要两个行存储器23、24,而第一行存储器23用于对先前画面的图像数据X1进行缓冲,另一存储器24用于对当前画面的图像数据X1’进行存储。然而,应当清楚的是,还可以提供更多数目的行存储器。
本专利申请中所使用的行存储器23、24指示了大小为帧或场的一个视频行或至少小于输入视频信号流或实际处理视频信号流的嵌入式存储器。场表示包括奇或偶数行的视频图像或画面。帧表示由一幅画面的完整视频信息组成的视频图像,即,由奇数行的场和偶数行的相应场构成的视频图像。行表示一个视频画面的场内的整个水平行或该行的至少一部分。
行存储器23、24在它们的输出侧均耦合至运动估计设备或模块25和运动补偿设备或模块26。这使得能够将在行存储器23、24中存储的图像数据X1、X1’分别传送至运动估计设备或模块25和运动补偿设备或模块26。在图4中,与运动估计设备或模块25相对应的数据信号由X2、X2’表示,并且与运动补偿设备或模块26相对应的数据信号由X3、X3’表示。
运动估计设备或模块25通过采用匹配处理,由存储在行存储器23、24中的图像数据X2、X2’产生运动矢量信号X4。将该矢量信号X4传送至运动补偿设备或模块26。运动补偿设备或模块26使用存储在行存储器23、24中的图像数据X3、X3’并将矢量数据X4应用于该图像数据X3、X3’来执行运动补偿。在输出端子27处,运动补偿设备或模块27提供包括针对运动补偿后的画面的信息在内的视频信号X5。经由输出端子27将该视频信号X5传送至显示器29,如LCD面板29等。
关于图5,下文中将更详细地描述运动估计设备或模块25的操作:
为了运动估计,采用匹配处理来选择最适于给定数量的像素30的相应像素序列32。为了该选择,从当前帧32的行存储器24中获取应当针对其确定运动的中心像素31周围的当前帧的行的给定数量的像素30。下文中,该给定量的像素30被表示为像素序列30。在本实施例中,像素序列30包括9个单个像素33。应当理解,该序列还可以包括更多或更少数量的像素33。
为了选择,将像素33的亮度简档用作匹配参数。亮度是沿给定方向的光强的密度的光度测量。它描述了通过特定面积或从该特定面积发出或落在给定立体角内的光量。因此,亮度是运动画面帧中亮度的光度测量。如果亮度为高,则画面亮,如果亮度为低则该画面暗。因此,亮度是画面的黑白部分。
该亮度简档用于从先前帧35中找出与当前帧32的9像素序列30最符合的9像素序列34。在图5的实施例中,将当前帧32的9像素序列30的亮度简档与先前帧35的若干相应的9像素序列34的亮度简档进行比较。为了导出真实的运动,9像素序列30将沿着水平方向36在搜索范围上移动。假设显示出(与当前帧32的9像素序列30的)最佳亮度简档匹配的先前帧35的9像素序列34是正确的像素序列。然后,将这些像素序列30、34用于计算运动矢量。
该搜索范围的典型值包括,例如64个像素(+31...-32)。然而,还可以使用少于64个像素;然而,该比较的结果质量逐渐下降。另一方面,还可以使用多于64个像素。则选择结果的质量提高,然而,这需要更多的计算量。因此,典型地,采用在选择结果的最佳质量与同时地最小计算量之间提供最优化的折衷。
在优选实施例中,针对每个所选运动矢量37,以上述方式来执行单个匹配处理。通过为每个像素序列30分配质量等级和/或失败等级来执行该匹配处理。然后,将质量等级和/或失败等级分配给经历匹配处理的那些像素序列30中的每一个。选择具有最高质量等级和/或最低失败等级的那些像素序列30作为最可能的像素序列。然后,将这些像素序列30用于计算针对水平运动的运动矢量。典型地,但非必要地,将SAD方法(SAD=绝对差的和)和/或ADRC(自适应动态范围编码)方法用于亮度和/或色度值的比较。
根据本发明的该实施例,可以将预选的运动矢量样本用于运动估计。
假设场景中目标的运动是逐帧/场恒定的,并且目标大于像素序列(例如,上述9个像素),则如果针对亮度简档的匹配检查预选的运动矢量37(所谓的运动矢量样本37)的集合38,则可以更高效地执行匹配处理(参见图5)。例如,可以从邻近像素获取一个所选运动矢量37。如果将已经估计的运动矢量存储在特别针对不同运动矢量样本设计的矢量存储器中,则可以从先前行获取第二所选运动矢量。
指示目标没有运动的零矢量典型地是最常用的运动矢量样本之一。使用该零矢量,以便于更高效地检测未示出运动的画面内的区域。原则上,将要考虑的预选运动矢量37的数量完全取决于期望的运动矢量质量类型。
为了建立运动估计处理,并遵循与恒定运动的偏离,出于测试操作目的,可能需要特定预选运动矢量的变化。根据本发明的该实施例,当执行运动估计时考虑所选运动矢量的变化。这表明对于预选运动矢量样本,将加上或减去特定量的运动。这可以通过向这些运动矢量应用具有不同运动速度量值的变化来实现。所测试的实现方式在先前确定的运动矢量上,在交替更新+/-1像素和+/-4像素的奇像素和偶像素之间进行检查。根据需要或根据提出的需求,对变化的选择是可调整和可变的,并且对变化的选择取决于输入视频信号的分辨率。
对于基于行的运动估计,运动矢量针对场景中的真实运动快速收敛将是非常有利的。因此,针对帧或场的第一行以不同方式处理对所测试的运动矢量的选择。对于帧或场的第一行,由于需要进行测试的第一行之上的行不存在,因此无法以正常方式进行测试。在每个场的第一行中,为正常测试上方行的运动矢量的所选运动矢量加载例如根据三角函数逐像素变化的矢量值。三角函数在可调整的最小值和可调整的最大值之间振荡。出于该目的,还可以采用其他规则振荡函数(例如锯齿函数、正弦函数等)来确定第一行的运动矢量。
在优选实施例中,匹配处理将失败值分配至每个所测试的运动矢量。在另一实施例中,该值还可以是质量值。还可以评估失败值和质量值用于匹配处理。优选地,将绝对差的和(SAD)用作失败值或至少用于导出失败值。理想地,为了找到最优运动矢量,需要失败值为零。然而,典型地,失败值不同于零。因此,然后,选择与最低失败值相对应的运动矢量作为表示局部场景中目标运动的最可能的运动矢量。
在优选实施例中,使用取决于不同运动矢量的矢量衰减的阻尼值。这里,利用矢量阻尼来执行矢量选择的衰减。这使得能够以相等失败值控制运动矢量和/或为运动矢量选择处理提供特定方向。
此外,有利地,将不同运动矢量存储在矢量存储器中。然后,从矢量存储器取出这些运动矢量(如果需要),用于其他处理和/或用于后继像素的运动估计。
运动估计处理形成递归过程。因此,该矢量存储器的大小主要取决于匹配处理的期望质量等级。在一个实施例中,所测试的实现方式仅包括矢量存储器的一行。在该矢量存储器中,将交替存储每隔一个的运动矢量,使得对来自上方的所测量的运动矢量的存取是可能的。
在优选实施例中,计算运动矢量直方图以便创建高度可靠并均匀的运动矢量场。该矢量直方图允许多数矢量排序导出实际场景中最多和较少使用的运动矢量。这样,通过提供矢量直方图,可以实现鲁棒性提高。
图6示出了示例,以示意提供运动矢量直方图的基本原理。图6示出了提供运动矢量直方图的矢量直方图发生器40。在图6中的实施例中,矢量直方图发生器40包括由+1递增设备或模块42控制的切换设备或模块41。切换设备或模块41一方面受运动矢量信息43控制,另一方面受递增设备或模块42的控制,该递增设备或模块42在出现下个相同的运动矢量43的情况下将切换设备或模块41转换至计数设备或模块45的下个输入端子。包括不同计数器单元44的计数设备或模块45对每个运动矢量的出现进行计数,并针对每次运动矢量的出现将计数器加1。排序设备或模块46(例如包括简单的比较装置)耦合至计数设备或模块45的不同计数器单元44的输出端子。该排序设备或模块46选择最常用的运动矢量并应用该运动矢量用于估计确定。然后,将该最常用的运动矢量存储在运动矢量直方图存储器47中。
可以针对整个帧或场或仅针对帧或场的部分,完成运动矢量直方图的提供。将画面分成水平条纹,并且为每个条纹返回最常用的矢量是非常高效的。在最优选实施例中,可以以非常可靠的方式来检测画面内的滚动新闻条信息。
在特定情况下,运动估计将不传递可靠运动矢量。特别对于垂直运动以及对于遮盖和无遮盖区域,匹配处理有时不提供对当前和先前行的可靠存取。然而,不可靠的运动矢量导致补偿处理的相对较大的、非期望的差异。根据本发明的实施例,执行不可靠矢量的检测。
图7示出了流程图的示例,以示意根据本发明实施例的、对不可靠矢量进行检测的过程。在该检测过程中,将先前帧或场中的矢量补偿后的亮度像素值50与矢量补偿后的当前帧或场的亮度像素值51进行比较52。如果该差值52远超过可调整的阈值53,则选择当前运动矢量作为不良矢量54。否则,假设该矢量是可靠矢量55。对该不良矢量54进行标记,并将矢量存储器的MSB比特设置为1。此时,MSB比特指示该矢量是否用于进一步估计处理。因此,MSB比特指示对于运动补偿该矢量是可靠还是不可靠。
根据本发明的实施例,分别执行不良矢量或对于运动补偿不可靠的矢量的替换,以提高MEMC的结果。图8示出了流程图的示例,以示意根据该实施例的用于不良矢量替换和错误隐藏的搜索过程。在该搜索过程中,以特殊的方式来处理不良运动矢量以避免引入伪像。在出现不良矢量的情况下,将从针对例如上方行的运动矢量的存储器中取出可靠矢量。因此,优选地,在该搜索过程中仅使用那些没有被标记为不可靠的运动矢量(参见以上关于图7提供的描述)。
该搜索过程例如起始于搜索范围的最外边界,以便找到周围区域的可靠矢量。首先,接收到关于选择用于运动估计的运动矢量的信号60,其中,该信号指示考虑良好矢量或可靠矢量还是考虑不良矢量或不可靠矢量。因此,在步骤61中,检查运动估计处理是否已经找到或检测到不良或良好矢量。为此,可以使用运动估计处理中针对运动矢量所检测的、并指示所选运动矢量对于运动补偿是否可靠的质量值或等级。如果不良矢量信号60(从而,质量值或等级)分别指示61良好矢量或可靠矢量,则该运动矢量用于进一步处理62(进一步的运动估计处理),如果需要,还用于运动补偿。否则,启动新搜索过程63,以使用先前估计处理的结果来选择运动矢量。具体地,如上所述,可以从在运动估计中使用的当前行之上的行中搜索另一运动矢量。同样,对于该另一或新运动矢量,可以如上所述对相应的质量值或等级进行检测(具体见图7的描述)。在步骤64中,检查由搜索过程63选择的新运动矢量。
如果步骤64中的检查示出:针对新运动矢量而检测到的质量值或等级指示新运动矢量是可靠矢量(或相应地,良好矢量),则在步骤65中使用新运动矢量来替换在步骤61中发现的不良或不可靠的运动矢量。在用新的并且可靠的矢量替换不良矢量之后,然后将该可靠矢量用于运动补偿处理。
然而,如果步骤64中的检查示出:针对新运动矢量而检测到的质量值或等级指示新运动矢量不是可靠矢量(或相应地,不良矢量),则在步骤66中检查是否达到搜索范围的末端。如果在步骤66达到搜索范围的末端,则将如下更详细描述的,对输出信号进行模糊处理67(从而,自适应模糊67)。如果在步骤66还没有达到搜索范围的末端,则搜索过程返回至步骤63。
图9分别通过三个例证(A)-(C)示出了根据本发明实施例的伪像隐藏或自适应模糊。具体地,根据本发明的该实施例,分别在伪像隐藏或自适应模糊中使用自适应错误区域扩展和错误尖峰抑制。
如参考图8所指出的,同样当执行不良矢量替换时,由运动估计所检测到的运动矢量集合能够包括不良或不可靠运动矢量。这些剩余的不可靠或不良矢量不得不使用在运动补偿中,并导致插值后的画面中的伪像。根据本实施例,可以通过对包括伪像的插值后的画面的区域进行模糊化来覆盖这些伪像。为了进行高效的伪像隐藏,必须从单个尖峰中清除这样的错误区域。以下,术语尖峰将被用于根据被指示为不可靠或不良的运动矢量通过运动补偿插值出的、插值后的画面中的像素。
根据本发明,将抑制单个尖峰。将与单个可靠矢量相交的双尖峰组合为一个区域。
此外,根据本实施例,在该第一次清除之后,将利用位于不良错误区域之前和之后的不良矢量的两个附加像素来扩展剩余错误区域。该操作确保模糊滤波器的正当表现。模糊滤波器仅水平操作。
一般而言,在图9(A)-(C)中,点表示使用由运动估计选择和提供的运动矢量执行运动补偿之后所获得的一行插值后的图像数据,其中,这些点中的每个点表示插值后的图像数据的像素。此外,图9(A)-(C)中提供的每个箭头起始于插值后的图像数据行中的点或像素,并通向虚线的错误行,这些箭头指示分别使用不良或不可靠的运动矢量导出或插值出的相应像素,并且表示尖峰。
在图9(A)中,提供三个尖峰71、72、73。尖峰71是单个尖峰,并且根据本实施例,当对插值后的图像数据的相应错误区域进行模糊化时对该尖峰71进行抑制。在图9(A)的右侧示出了该模糊步骤的结果,其中仅留下了尖峰72、73。
在图9(B)中,通过将像素74、75、76组合成一个统一区域来执行包括尖峰74、76在内的错误区域中的模糊化。根据图9(B)中提供的情况,两个尖峰74、76与来自运动矢量集合的、被指示为对于运动补偿可靠的运动矢量相交。该可靠矢量已经被用于像素75的插值。根据本实施例,在模糊化期间,将两个尖峰74、76和位于两个尖峰74、76之间的像素75组合成一个统一区域77。在图9(B)右侧示出了该模糊步骤的结果。
如图9(A)和9(B)的示例所示,在对插值后的图像数据进行第一次清除之后,根据本实施例通过在不良错误区域之后和之后的不良矢量的两个附加像素来扩展剩余错误区域。在图9(C)中,提供包括三个相邻尖峰在内的错误区域78。这里,在该行插入后数据中,通过将第一组两个像素70插入在区域78之前并通过将第二组两个像素70插入在区域78之后来扩展该错误区域78。在图9(C)的右侧示出了该模糊步骤的结果,其中,该行插值后的图像数据包括:无差错相邻像素79、插入的像素70、错误区域78、插入的像素70、和无差错相邻像素79。
这样,沿水平方向执行显著提高了数据的可视化质量的高效并且有效的伪像隐藏。
应当理解,上述数字数据仅是示意性的,并且适于最佳地提供最优模糊效果。
图10示出了示意如上所述并在图4所示的运动估计设备或模块25中实现的根据本发明的基于行的运动估计的实施例的框图。
运动估计设备或模块25包括:匹配设备或模块80、成本/质量功能设备或模块81、以及矢量选择器设备或模块82,这些设备或模块以串联的方式布置在运动估计设备或模块25的输入侧83和运动估计设备或模块25的输出侧84之间,其中,在运动估计设备或模块25的输入侧83,提供存储在两个行存储器23、24中的图像数据信号X1、X1’,运动矢量信号X4出现在运动估计设备或模块25的输出侧84。在设备或模块元件80-82中,实现关于图5描述的匹配处理和矢量选择。
运动估计设备或模块25还包括一方面连接至输入侧83另一方面连接至输出侧84的矢量质量设备或模块85。矢量质量设备或模块85由图像数据信号X1、X1’和运动矢量信号X4产生包括矢量质量的信息在内的质量信号X6。
运动估计设备或模块25还包括以串联的方式布置在输出侧84和匹配设备或模块80之间的反馈路径中的矢量直方图设备或模块86和矢量多数设备或模块87。这里,在设备或模块元件86、87中,产生矢量直方图来提供关于图6示出和描述的实际场景中最多和较少使用的矢量的排序。因此,元件86、87与图6的矢量直方图发生器40相对应。
运动估计设备或模块25还可以包括另一行存储器88来存储运动矢量数据X4和/或针对矢量质量的数据X6。
运动估计设备或模块25还包括矢量样本设备或模块89。该矢量样本设备或模块89还可以被布置在反馈路径中,并在其输入侧与行存储器88、矢量多数设备或模块87连接,并有利地与另一设备或模块90连接。该另一设备或模块90通过使用具有特定幅度的特殊信号(例如,正弦信号、锯齿信号等)来执行运动矢量样本的改变。然后,该特定信号被用于帧或场的第一行的测试和/或匹配处理和/或更新处理。然而,还可以随机更新帧或场的不同行。在矢量样本设备或模块89的输出侧,矢量样本设备或模块89在其输出侧连接至匹配设备或模块80。
运动估计设备或模块25还包括垂直运动估计设备或模块91。对于垂直运动,上述一维运动估计算法不能补偿沿垂直方向的运动。然而,垂直运动的出现可以被用于通过将画面分成不同的区域来导出针对每个区域的垂直运动,以减少画面的相同区域中的补偿。在这种情况下,将对相同画面的不同区域中的行的亮度值进行求和,并针对该画面的每一行单独存储相同画面的不同区域中的行的亮度值。这导致了针对相同画面的不同区域的累积的垂直简档。然后,将整个画面划分成较小的区域,来导出针对这些区域中的每一个的垂直运动。在垂直运动估计设备或模块91中执行该垂直运动估计处理,垂直运动估计设备或模块91连接至输入侧83并在其输出侧提供基于部分的垂直运动索引X7。
因此,如上所述的垂直ME可以与水平MEMC无关地执行也可以与水平MEMC组合地来执行,其中,可以分别根据特定情况或存在的运动来执行组合。此外,这样的方法允许实现垂直ME,垂直ME不需要大量的附加存储器容量来分析连续帧的数据,而需要大量的附加存储器容量是现有技术的大多数方法的情况。
运动估计设备或模块25还包括矢量阻尼设备或模块92。在该阻尼设备或模块92中,如上所述的阻尼值可以被用于对矢量样本设备或模块89的矢量样本进行阻尼,并向矢量选择器82提供阻尼后的矢量样本。
下文中,将关于图11更详细地描述在图4的运动补偿设备或模块26中执行的运动补偿处理。图11示出了示意使用如上所述的自适应伪像隐藏的根据本发明的基于行的运动补偿的实施例的框图。
运动补偿设备或模块26包括补偿设备或模块100,补偿设备或模块100根据由运动估计设备或模块25估计的运动矢量X4执行时间运动插值。在优选实施例中,补偿设备或模块100包括中值滤波器,该中值滤波器使用矢量补偿后的先前行、矢量补偿后的当前行和未补偿的先前行的亮度值作为输入数据。附加地,同样可以补偿色度值。
根据矢量质量,将在矢量存储器的局部区域中从上方行搜索到被指示为可靠矢量的替换矢量。如果找不到可靠矢量,则将以上关于图9(A)-(C)提出的自适应模糊用于覆盖该伪像。
运动补偿设备或模块26还包括垂直运动控制设备或模块101,该垂直运动控制设备或模块101将控制信号X8提供给补偿设备或模块100,以便同样将垂直运动的信息并入补偿设备或模块100。
运动补偿设备或模块26还包括不良矢量修正设备或模块102。基于由运动估计设备或模块25提供的信息X4、X6,不良矢量修正设备或模块102对如上关于图8和9示出和描述的不良矢量进行修正。然后,这些与修正后的不良矢量有关的信息X9(与控制信号X8一同)被用于执行补偿设备或模块100内的运动补偿。然后,补偿设备或模块100在其输出侧产生运动补偿后的图像数据信号X10。
运动补偿设备或模块26还包括自适应模糊设备或模块103。基于运动补偿后的图像数据信号X10和由不良矢量修正设备或模块102产生的模糊控制信号,该自适应模糊设备或模块103执行如关于图8和9所描述的自适应模糊。自适应模糊设备或模块103产生可能与图4的图像信号X5相对应的自适应模糊后的图像数据信号X5’。
图12示出了使用被分配至同样用于运动估计设备或模块的去隔行器设备或模块的行存储器的、根据本发明的基于行的MEMC系统的第二实施例的框图。
与图4中的第一实施例不同,去隔行器设备或模块113被布置在行存储器110、111、112和运动补偿设备或模块26之间。去隔行器设备或模块113典型地用于将由视频数据流表示的场转换成随后同样由另一视频数据流表示的完整帧。
基于存储器、用于视频处理的片上解决方案具有现有的内部行缓冲器110-112(所谓的行存储器110-112),该内部行缓冲器110-112承载来自先前和当前场或帧的视频数据。这些行缓冲器110-112可以位于例如自适应操作运动的时间噪声降低或去隔行单元113内。利用所提出的基于行的MEMC,这些行缓冲器附加地可以重新用于运动估计。为此并且为了降低来自影片源的运动抖动伪像,使用下拉(pull-down)模式的指示当前插值序列的影片检测器。行缓冲器选择器根据先前和当前视频输入信号将视频信号数据传送至运动估计设备或模块。该技术允许将现有的存储器资源同样用于运动估计,也可以防止用于时间上转换处理的附加带宽。因此,针对运动估计和运动补偿的芯片面积可以降低为最小。
去隔行器设备或模块113使用3个行存储器110、111、112,这三个行存储器在它们的输入侧耦合至存储器总线22并且在它们的输出侧提供行数据。可以在去隔行器设备或模块内对由行存储器110、111、112提供的该行数据进行处理,然后将该行数据提供给运动补偿设备或模块26。根据本发明,这些行存储器110、111、112附加地还用于运动估计设备或模块25。为此,系统20附加地包括选择器设备或模块114,其中将影片序列X0提供给该选择器设备或模块114。然后,经由存储器总线22将该影片序列X0存储在外部存储器28中,并可以通过行存储器110、111和112从该外部存储器28读出该影片序列X0。对于IMC操作,存储在去隔行器设备或模块113的行存储器110、111、112中的该数据还可以用于MEMC。为此,然后,同样将存储在行存储器110、111、112中的数据提供给运动估计设备或模块25和运动补偿设备26。
尽管以上已经示出并描述了本发明的实施例和应用,但对于本领域技术人员显而易见的是,在不背离这里描述的本发明的构思的前提下,更多修正(除了以上所述)是可能的。因此,本发明仅受限于所附权利要求的精神。因此,以上详细描述应当视为示意性的而非限制性的,并且应当理解以下权利要求包括在意在限定本发明的精神和范围的这些权利要求中描述的所有等同物。以上描述并不意在否定要求保护的本发明的范围也不意在否定其任何等同物。
还应当注意,应当将上述实施例、示例和数字数据理解为仅是示例性的。这表明在MEMC系统中可以实现附加系统元件和功能单元以及操作方法和标准。此外,必须注意,实现本发明的实现方式并以上说明的模块、组件或元件可以被配置为作为系统和装置的一部分。
参考列表:
10当前画面(帧或场)
11先前画面(帧或场)
12第一矢量部分
13第二矢量部分
14缺失画面
15像素
16单行
X1先前画面的图像数据
X1’当前画面的图像数据
X2数据信号
X2’数据信号
X3图像数据
X3’图像数据
X4矢量信号
X5视频信号
20MEMC系统
21输入端子
22总线
23行存储器
24行存储器
25运动估计设备或模块
26运动补偿设备或模块
27输出端子
28外部存储器
29显示器
30给定数量的像素
31中心像素
32像素序列
339个单个像素
349像素序列
35先前帧
36水平方向
37所选运动矢量
38(预选)所选运动矢量的集合
40矢量直方图发生器
41切换设备或模块
42递增设备或模块
43下个相同运动矢量
44计数器单元
45计数设备或模块
46排序设备或模块
47运动矢量直方图存储器
50亮度像素值
51亮度像素值
52差值
53可调整的阈值
54不良或不可靠矢量
55可靠矢量
56不良矢量标记
60信号
61检查步骤
62进一步处理
63搜索处理
64检查步骤
65替换步骤
66检查步骤
67模糊步骤
68返回
70插入的像素
71尖峰
72尖峰
73尖峰
74尖峰
75尖峰
76尖峰
77统一区域
78相邻尖峰
79相邻像素
X6质量信号
X7垂直运动索引
80匹配设备或模块
81成本/质量函数设备或模块
82矢量选择器设备或模块
83输入侧
84输出侧
85矢量质量设备或模块
86元件
87元件
88行存储器
89矢量样本设备或模块
90另一设备或模块
91垂直运动估计设备或模块
X8控制信号
X9信息
100补偿设备或模块
101垂直运动控制设备或模块
102不良矢量修正设备或模块
103自适应模糊设备或模块
110去隔行器设备或模块
111行存储器
112行存储器
113行存储器
114选择器设备或模块

Claims (31)

1.一种针对运动画面的连续场或帧中的运动估计和补偿后的场或帧率上转换、用于视频图像数据中的基于行的运动估计和基于行的运动补偿的方法,所述方法包括以下步骤:
-通过执行基于行的运动估计(25),来提供用于当前场或帧(10)的图像数据中的基于行的运动补偿(26)的运动矢量集合;
-通过使用所提供的运动矢量集合来对当前场或帧(10)的图像数据进行插值,来执行基于行的运动补偿(26);
-作为执行基于行的运动补偿(26)的结果,提供当前场或帧(10)的图像数据的插值后的图像数据;以及
-如果根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量对区域中的至少一个像素(71-76)进行了插值,则对当前场或帧(10)的插值后的图像数据的区域进行模糊化(67)。
2.根据权利要求1所述的方法,其中,模糊化(67)包括对至少一个像素(71)的抑制。
3.根据权利要求1所述的方法,其中,如果区域的两个像素(74、76)是根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量进行插值的,并且如果所述运动矢量与来自运动矢量集合、被指示为对于基于行的运动补偿(26)可靠的另一运动矢量相交,则模糊化(67)包括将两个像素(74、76)之间的像素(75)和两个像素(74、76)组合成一个统一区域(77)。
4.根据权利要求1所述的方法,其中,如果区域(78)由根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量而插值出的区域的多于两个的相邻像素组成,则模糊化(67)包括:通过将第一组两个像素(70)插入在区域(78)之前并通过将第二组两个像素(70)插入到所述区域之后来扩展所述区域,其中,第一组两个像素(70)和第二组两个像素(70)与被指示为对于基于行的运动补偿(26)不可靠的运动矢量的像素相对应。
5.根据权利要求1至4中至少一项所述的方法,其中,中值滤波器被用于基于行的运动补偿(26)。
6.根据权利要求5所述的方法,其中,所述中值滤波器使用在已经补偿的相邻像素处针对基于行的运动补偿(26)提供的运动矢量、在要补偿的相邻像素处针对基于行的运动补偿(26)提供的运动矢量、以及针对当前正在补偿的当前场或帧(10)的图像数据的当前像素提供的当前运动矢量作为输入。
7.根据权利要求1至4中至少一项所述的方法,其中,基于行的运动补偿(26)是关于亮度值和色度值中的至少一个来执行的。
8.根据权利要求1至4中至少一项所述的方法,其中,使用包括当前场或帧(10)的图像数据(X’)的行存储器(24)来沿着水平方向执行基于行的运动估计(25)。
9.根据权利要求1至4中至少一项所述的方法,其中,在从当前帧或场(10)的图像数据获取的相应像素(31)处,针对基于行的运动补偿(26),提供运动矢量集合的每个运动矢量。
10.根据权利要求8所述的方法,其中,从包括当前场或帧(10)的图像数据(X’)的行存储器(24)中获取所述相应像素。
11.根据权利要求1至4中至少一项所述的方法,其中,使用包括先前场或帧(11)的图像数据(X1)的行存储器(23)来沿水平方向执行基于行的运动估计(25)。
12.根据权利要求1至4中至少一项所述的方法,其中,使用包括当前场或帧(10)的图像数据(X’)的行存储器(24)来沿水平方向执行基于行的运动补偿(26)。
13.根据权利要求1至4中至少一项所述的方法,其中,通过执行基于行的运动估计(25)提供运动矢量集合包括:
-选择要用于基于行的运动补偿(26)的运动矢量;
-检测所选运动矢量的质量值,其中,所述质量值指示所选运动矢量对于基于行的运动补偿(26)是否可靠;以及
-将所选运动矢量添加至运动矢量集合。
14.根据权利要求1至4中至少一项所述的方法,其中,通过执行基于行的运动估计(25)提供运动矢量集合包括:
-如果所检测的质量值指示所选运动矢量对于基于行的运动补偿(26)不可靠,则从在基于行的运动估计(25)中使用的当前行之上的行中搜索(63)另一运动矢量;
-检测另一运动矢量的另一质量值,其中,该另一质量值指示另一运动矢量对于基于行的运动补偿(26)是否可靠;以及
-如果另一质量值指示另一运动矢量对于运动补偿(26)是可靠的,则用另一运动矢量替换(65)所选运动矢量。
15.一种针对运动画面的连续场或帧中的运动估计和补偿后的场或帧率上转换、用于视频图像数据的基于行的运动估计(25)和基于行的运动补偿(26)的装置,其中所述装置包括:
-被配置为通过执行基于行的运动估计(25)来提供用于当前场或帧(10)的图像数据中的基于行的运动补偿(26)的运动矢量集合的模块;
-被配置为通过根据所提供的运动矢量集合对当前场或帧(10)的图像数据进行插值来执行基于行的运动补偿(26)并且作为执行基于行的运动补偿(26)的结果提供当前场或帧(10)的图像数据的插值后的图像数据的模块;
-被配置为如果根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量对区域的至少一个像素(71-76)进行了插值则对当前场或帧(10)的插值后的图像数据的区域进行模糊化(67)的模块。
16.根据权利要求15所述的装置,其中,被配置为对当前场或帧(10)的插值后的图像数据的区域进行模糊化的模块被配置为,抑制至少一个像素(71)。
17.根据权利要求15所述的装置,其中,如果区域的两个像素(74、76)是根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量进行插值的,并且如果所述运动矢量与来自运动矢量集合、被指示为对于基于行的运动补偿(26)可靠的另一运动矢量相交,则被配置为对当前场或帧(10)的插值后的图像数据的区域进行模糊化(67)的模块被配置为将两个像素(74、76)之间的像素(75)和两个像素(74、76)组合成一个统一区域(77)。
18.根据权利要求15所述的装置,其中,如果区域(78)由根据来自运动矢量集合、被指示为对于基于行的运动补偿(26)不可靠的运动矢量而插值出的区域的多于两个的相邻像素组成,则被配置为对当前场或帧(10)的插值后的图像数据的区域进行模糊化(67)的模块通过将第一组两个像素(70)插入在区域(78)之前并通过将第二组两个像素(70)插入到区域(78)之后来扩展所述区域,其中,第一组两个像素(70)和第二组两个像素(70)与被指示为对于基于行的运动补偿(26)不可靠的运动矢量的像素相对应。
19.根据权利要求15至18中至少一项所述的装置,其中,被配置为执行基于行的运动补偿(26)的模块被配置为,使用中值滤波器进行基于行的运动补偿(26)。
20.根据权利要求19所述的装置,其中,所述中值滤波器被配置为,使用在已经补偿的相邻像素处针对基于行的运动补偿(26)提供的运动矢量、在要补偿的相邻像素处针对基于行的运动补偿(26)提供的运动矢量、以及针对当前正在补偿的当前场或帧(10)的图像数据的当前像素提供的当前运动矢量作为输入。
21.根据权利要求15至18中至少一项所述的装置,其中,被配置为执行基于行的运动补偿(26)的模块被配置为,关于亮度值和色度值中至少一个来执行基于行的运动补偿(26)。
22.根据权利要求15至18中至少一项所述的装置,其中,所述装置包括:第一行存储器(24),被配置为存储当前场或帧(10)的图像数据(X’),其中,使用第一行存储器(24)沿水平方向执行基于行的运动估计(25)。
23.根据权利要求15至18中至少一项所述的装置,其中,被配置为提供运动矢量集合的模块被配置为,在从当前场或帧(10)的图像数据中获取的相应像素(31)处提供运动矢量集合的每个运动矢量。
24.根据权利要求22所述的装置,其中,从第一行存储器(24)中获取相应像素(31)。
25.根据权利要求22所述的装置,其中,使用第一行存储器(24)沿水平方向执行基于行的运动补偿(26)。
26.根据权利要求16所述的装置,其中,所述装置包括:第二行存储器(23),被配置为存储先前场或帧(11)的图像数据(X1)。
27.根据权利要求15至18中至少一项所述的装置,其中,所述装置包括:第三行存储器(88),包括上方行的运动矢量,其中,已经由先前执行的针对上方行的基于行的运动估计(25)提供了上方行的运动矢量。
28.根据权利要求15至18中至少一项所述的装置,其中,被配置为提供运动矢量集合的模块被配置为:
-选择要用于基于行的运动补偿(26)的运动矢量;
-检测所选运动矢量的质量值,其中,该质量值指示所选运动矢量对于基于行的运动补偿(26)是否可靠;以及
-将所选运动矢量添加至运动矢量集合。
29.根据权利要求15至18中至少一项所述的装置,其中,被配置为提供运动矢量集合的模块被配置为:
-如果所检测的质量值指示所选运动矢量对于基于行的运动补偿(26)不可靠,则从在基于行的运动估计(25)中使用的当前行之上的行中搜索(63)另一运动矢量;
-检测另一运动矢量的另一质量值,其中,该另一质量值指示另一运动矢量对于基于行的运动补偿(26)是否可靠;以及
-如果另一质量值指示另一运动矢量对于运动补偿(26)是可靠的,则用另一运动矢量替换(65)所选运动矢量。
30.一种包括根据权利要求15至29中至少一项所述的装置的电视机。
31.一种包括根据权利要求15至29中至少一项所述的装置的系统(20)。
CN2008801061128A 2007-09-10 2008-08-22 用于视频图像数据中的基于行的运动补偿的方法、装置和系统 Expired - Fee Related CN101836441B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07017665 2007-09-10
EP07017665.6 2007-09-10
PCT/IB2008/053373 WO2009034492A2 (en) 2007-09-10 2008-08-22 Method, apparatus, and system for line-based motion compensation in video image data

Publications (2)

Publication Number Publication Date
CN101836441A CN101836441A (zh) 2010-09-15
CN101836441B true CN101836441B (zh) 2012-03-21

Family

ID=40379094

Family Applications (5)

Application Number Title Priority Date Filing Date
CN200880106002A Pending CN101796813A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计的方法和装置
CN200880106214XA Expired - Fee Related CN101803361B (zh) 2007-09-10 2008-08-05 用于基于行的垂直运动估计和补偿的方法和装置
CN2008801062224A Expired - Fee Related CN101803363B (zh) 2007-09-10 2008-08-05 用于视频图像数据中的基于行的运动估计的方法和装置
CN200880106215A Pending CN101803362A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计和运动补偿的方法和装置
CN2008801061128A Expired - Fee Related CN101836441B (zh) 2007-09-10 2008-08-22 用于视频图像数据中的基于行的运动补偿的方法、装置和系统

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN200880106002A Pending CN101796813A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计的方法和装置
CN200880106214XA Expired - Fee Related CN101803361B (zh) 2007-09-10 2008-08-05 用于基于行的垂直运动估计和补偿的方法和装置
CN2008801062224A Expired - Fee Related CN101803363B (zh) 2007-09-10 2008-08-05 用于视频图像数据中的基于行的运动估计的方法和装置
CN200880106215A Pending CN101803362A (zh) 2007-09-10 2008-08-05 用于视频图像数据中的运动估计和运动补偿的方法和装置

Country Status (4)

Country Link
US (4) US8526502B2 (zh)
EP (5) EP2206342A2 (zh)
CN (5) CN101796813A (zh)
WO (6) WO2009034487A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517257A (ja) * 2002-02-06 2005-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ セグメント化装置及び方法
US20070274385A1 (en) * 2006-05-26 2007-11-29 Zhongli He Method of increasing coding efficiency and reducing power consumption by on-line scene change detection while encoding inter-frame
US8300958B2 (en) * 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
US8526502B2 (en) * 2007-09-10 2013-09-03 Entropic Communications, Inc. Method and apparatus for line based vertical motion estimation and compensation
US20100091859A1 (en) * 2008-10-09 2010-04-15 Shao-Yi Chien Motion compensation apparatus and a motion compensation method
GB2466044B (en) 2008-12-09 2014-05-21 Snell Ltd Motion image rendering system
EP2227012A1 (en) * 2009-03-05 2010-09-08 Sony Corporation Method and system for providing reliable motion vectors
EP2234402B1 (en) * 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
KR101643613B1 (ko) * 2010-02-01 2016-07-29 삼성전자주식회사 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
KR20130030252A (ko) * 2010-03-22 2013-03-26 톰슨 라이센싱 입체적인 3차원 이미지들의 압축을 보존하는 낮은 대역폭 컨텐츠를 위한 방법 및 장치
KR101279128B1 (ko) * 2010-07-08 2013-06-26 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
US10424274B2 (en) * 2010-11-24 2019-09-24 Ati Technologies Ulc Method and apparatus for providing temporal image processing using multi-stream field information
TWI429277B (zh) * 2011-01-31 2014-03-01 Novatek Microelectronics Corp 動態適應性解交錯裝置及方法
JP5494567B2 (ja) * 2011-05-17 2014-05-14 株式会社デンソー レーダ装置、検査システム、及び検査方法
US11582479B2 (en) * 2011-07-05 2023-02-14 Texas Instruments Incorporated Method and apparatus for reference area transfer with pre-analysis
US9699456B2 (en) 2011-07-20 2017-07-04 Qualcomm Incorporated Buffering prediction data in video coding
KR101896026B1 (ko) * 2011-11-08 2018-09-07 삼성전자주식회사 휴대 단말기에서 움직임 블러를 생성하는 장치 및 방법
US8810666B2 (en) * 2012-01-16 2014-08-19 Google Inc. Methods and systems for processing a video for stabilization using dynamic crop
TWI601075B (zh) * 2012-07-03 2017-10-01 晨星半導體股份有限公司 移動補償影像處理裝置與影像處理方法
TW201409994A (zh) 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
GB2496015B (en) * 2012-09-05 2013-09-11 Imagination Tech Ltd Pixel buffering
CN103686190A (zh) * 2012-09-07 2014-03-26 联咏科技股份有限公司 立体视频的编码方法与编码装置
TWI606418B (zh) * 2012-09-28 2017-11-21 輝達公司 圖形處理單元驅動程式產生內插的圖框之電腦系統及方法
US20140105305A1 (en) * 2012-10-15 2014-04-17 Vixs Systems, Inc. Memory cache for use in video processing and methods for use therewith
US8629939B1 (en) * 2012-11-05 2014-01-14 Lsi Corporation Television ticker overlay
CN115925957A (zh) * 2013-02-08 2023-04-07 Irm责任有限公司 用于修饰抗体以制备免疫缀合物的特定位点
US10326969B2 (en) * 2013-08-12 2019-06-18 Magna Electronics Inc. Vehicle vision system with reduction of temporal noise in images
GB2527315B (en) * 2014-06-17 2017-03-15 Imagination Tech Ltd Error detection in motion estimation
US9728166B2 (en) * 2015-08-20 2017-08-08 Qualcomm Incorporated Refresh rate matching with predictive time-shift compensation
US9819900B2 (en) * 2015-12-30 2017-11-14 Spreadtrum Communications (Shanghai) Co., Ltd. Method and apparatus for de-interlacing television signal
US10083498B2 (en) * 2016-02-24 2018-09-25 Novatek Microelectronics Corp. Compensation method for display device and related compensation module
US10504269B2 (en) * 2016-09-27 2019-12-10 Ziva Dynamics Inc. Inertial damping for enhanced simulation of elastic bodies
CN109729298B (zh) * 2017-10-27 2020-11-06 联咏科技股份有限公司 图像处理方法与图像处理装置
CN108305228B (zh) * 2018-01-26 2020-11-27 网易(杭州)网络有限公司 图像处理方法、装置、存储介质及处理器
KR20200016627A (ko) * 2018-08-07 2020-02-17 삼성전자주식회사 자체 운동 추정 방법 및 장치
WO2020149919A1 (en) * 2019-01-18 2020-07-23 Ziva Dynamics Inc. Inertial damping for enhanced simulation of elastic bodies
CN112017229B (zh) * 2020-09-06 2023-06-27 桂林电子科技大学 一种相机相对位姿求解方法
CN112561951B (zh) * 2020-12-24 2024-03-15 上海富瀚微电子股份有限公司 一种基于帧差绝对误差和sad的运动和亮度检测方法
EP4192002A1 (en) * 2021-12-03 2023-06-07 Melexis Technologies NV Method of generating a de-interlacing filter and image processing apparatus
CN116016831B (zh) * 2022-12-13 2023-12-05 湖南快乐阳光互动娱乐传媒有限公司 一种低时延的图像去交错方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1092924A (zh) * 1992-11-19 1994-09-28 汤姆森电子消费品公司 场频上变换的方法和装置
CN1451235A (zh) * 2000-12-06 2003-10-22 皇家菲利浦电子有限公司 高质量、高性价比的用于高清晰度电视的影片-视频转换器
GB2401502A (en) * 2003-05-07 2004-11-10 British Broadcasting Corp Image data encoding and transmission
CN1581982A (zh) * 2003-07-31 2005-02-16 三星电子株式会社 基于模式分析的运动矢量补偿装置和方法
CN1640126A (zh) * 2002-02-28 2005-07-13 皇家飞利浦电子股份有限公司 用于场速率上变换的方法和装置

Family Cites Families (149)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0644815B2 (ja) * 1984-04-27 1994-06-08 日本電気株式会社 動物体の動き内挿装置
DE3869475D1 (de) * 1987-06-02 1992-04-30 Siemens Ag Verfahren zur ermittlung von bewegungsvektorfeldern aus digitalen bildsequenzen.
US4891699A (en) * 1989-02-23 1990-01-02 Matsushita Electric Industrial Co., Ltd. Receiving system for band-compression image signal
GB2231752B (en) * 1989-04-27 1993-08-04 Sony Corp Motion dependent video signal processing
FR2648979B1 (fr) * 1989-06-27 1996-09-06 Thomson Consumer Electronics Procede de segmentation du champ de mouvement d'une image et son application au codage d'images video
JPH0385884A (ja) * 1989-08-29 1991-04-11 Sony Corp 画像の動き検出回路
KR930004824B1 (ko) * 1990-05-12 1993-06-08 삼성전자 주식회사 Tv 전송시스템에 있어서 스펙트럼 호환성 고품위 tv신호 전송방법 및 회로
DE69126585T2 (de) * 1990-09-20 1998-01-02 Nec Corp Verfahren und Gerät zur Kodierung von bewegten Bildsignalen
GB2248361B (en) * 1990-09-28 1994-06-01 Sony Broadcast & Communication Motion dependent video signal processing
GB2265065B (en) * 1992-03-02 1995-08-16 Sony Broadcast & Communication Motion compensated image processing
US5440344A (en) * 1992-04-28 1995-08-08 Mitsubishi Denki Kabushiki Kaisha Video encoder using adjacent pixel difference for quantizer control
KR950009699B1 (ko) * 1992-06-09 1995-08-26 대우전자주식회사 움직임벡터 검출방법 및 장치
US5821885A (en) * 1994-07-29 1998-10-13 Discovision Associates Video decompression
JP3106749B2 (ja) * 1992-12-10 2000-11-06 ソニー株式会社 適応型ダイナミックレンジ符号化装置
EP0892562A3 (en) * 1993-04-09 1999-01-27 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
US5703646A (en) * 1993-04-09 1997-12-30 Sony Corporation Picture encoding method, picture encoding apparatus and picture recording medium
JPH07115646A (ja) * 1993-10-20 1995-05-02 Sony Corp 画像処理装置
KR0151210B1 (ko) * 1994-09-23 1998-10-15 구자홍 엠펙2를 수용하는 반화소 움직임 보상조절장치
DE69533870T2 (de) * 1994-10-19 2005-05-25 Matsushita Electric Industrial Co., Ltd., Kadoma Vorrichtung zur Bilddekodierung
JP3916661B2 (ja) 1995-03-14 2007-05-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像信号の動き補償内挿方法、そのための装置及び画像信号表示装置
EP0735746B1 (en) 1995-03-31 1999-09-08 THOMSON multimedia Method and apparatus for motion compensated frame rate upconversion
KR100391192B1 (ko) 1995-04-11 2003-11-17 코닌클리케 필립스 일렉트로닉스 엔.브이. 입력필드처리방법및장치및텔레비전신호수신기
US5805178A (en) * 1995-04-12 1998-09-08 Eastman Kodak Company Ink jet halftoning with different ink concentrations
AUPN234595A0 (en) 1995-04-12 1995-05-04 Eastman Kodak Company Improvements in image halftoning
US6119213A (en) * 1995-06-07 2000-09-12 Discovision Associates Method for addressing data having variable data width using a fixed number of bits for address and width defining fields
US5798948A (en) * 1995-06-20 1998-08-25 Intel Corporation Method and apparatus for video filtering
WO1997016923A1 (en) * 1995-11-01 1997-05-09 Philips Electronics N.V. Video signal scan conversion
DE19541457C1 (de) * 1995-11-07 1997-07-03 Siemens Ag Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz
JP3681835B2 (ja) * 1995-12-27 2005-08-10 三菱電機株式会社 画像符号化装置及び画像復号化装置及び符号化・復号化システム
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
DE69737852T2 (de) * 1996-08-29 2007-10-18 Matsushita Electric Industrial Co., Ltd., Kadoma Durch verbessertes speicher- und auslesesystem verschiedene arten von durch bildspeicherspezifischen hardwarespezifikationen verursachte verzögerungsfaktoren überwindender bilddekoder und bildspeicher
GB2319684B (en) * 1996-11-26 2000-09-06 Sony Uk Ltd Scene change detection
JP3633159B2 (ja) * 1996-12-18 2005-03-30 ソニー株式会社 動画像信号符号化方法及び装置、並びに動画像信号伝送方法
FR2759524B1 (fr) * 1997-02-10 1999-05-14 Thomson Multimedia Sa Procede et dispositif de codage par estimation de luminance
US6456337B1 (en) * 1997-03-06 2002-09-24 Fujitsu General Limited Moving image correcting circuit for display device
US6539120B1 (en) * 1997-03-12 2003-03-25 Matsushita Electric Industrial Co., Ltd. MPEG decoder providing multiple standard output signals
US6788347B1 (en) * 1997-03-12 2004-09-07 Matsushita Electric Industrial Co., Ltd. HDTV downconversion system
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
DE69727911D1 (de) 1997-04-24 2004-04-08 St Microelectronics Srl Verfahren zur Erhöhung der bewegungsgeschätzten und bewegungskompensierten Bildfrequenz für Videoanwendungen, und Vorrichtung zur Verwendung eines solchen Verfahrens
JP3226020B2 (ja) * 1997-05-28 2001-11-05 日本電気株式会社 動きベクトル検出装置
US6057884A (en) * 1997-06-05 2000-05-02 General Instrument Corporation Temporal and spatial scaleable coding for video object planes
US6084641A (en) * 1997-08-06 2000-07-04 General Instrument Corporation Fade detector for digital video
ES2241085T3 (es) * 1997-09-26 2005-10-16 Matsushita Electric Industrial Co., Ltd. Procedimiento y aparato de decodificacion de imagenes, y medios de registro de datos.
US6108047A (en) * 1997-10-28 2000-08-22 Stream Machine Company Variable-size spatial and temporal video scaler
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
US6040875A (en) * 1998-03-23 2000-03-21 International Business Machines Corporation Method to compensate for a fade in a digital video input sequence
US6539058B1 (en) * 1998-04-13 2003-03-25 Hitachi America, Ltd. Methods and apparatus for reducing drift due to averaging in reduced resolution video decoders
US6192079B1 (en) * 1998-05-07 2001-02-20 Intel Corporation Method and apparatus for increasing video frame rate
US6274299B1 (en) * 1998-06-25 2001-08-14 Eastman Kodak Company Method of electronically processing an image from a color negative film element
AU5973899A (en) * 1998-09-07 2000-03-27 Thomson Multimedia Method of motion estimation for transmission cost reduction of motion vectors
WO2000031688A1 (fr) * 1998-11-25 2000-06-02 Sony Corporation Dispositif et procede de traitement d'image, et support enregistre lisible par ordinateur
US6782049B1 (en) * 1999-01-29 2004-08-24 Hewlett-Packard Development Company, L.P. System for selecting a keyframe to represent a video
DE69920055T2 (de) * 1999-02-26 2005-09-15 Stmicroelectronics Asia Pacific Pte Ltd. Verfahren und vorrichtung zur bestimmung von zeilensprung-/nichtzeilensprungbildern und erkennung von wiederholten halbbildern und szenenänderungen
US6360015B1 (en) * 1999-04-06 2002-03-19 Philips Electronics North America Corp. RAM-based search engine for orthogonal-sum block match motion estimation system
US6400764B1 (en) * 1999-04-06 2002-06-04 Koninklijke Philips Electronics N. V. Motion estimation method featuring orthogonal-sum concurrent multi matching
US6438275B1 (en) * 1999-04-21 2002-08-20 Intel Corporation Method for motion compensated frame rate upsampling based on piecewise affine warping
US6831948B1 (en) * 1999-07-30 2004-12-14 Koninklijke Philips Electronics N.V. System and method for motion compensation of image planes in color sequential displays
US6836273B1 (en) * 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
JP3753578B2 (ja) * 1999-12-07 2006-03-08 Necエレクトロニクス株式会社 動きベクトル探索装置および方法
EP1128678A1 (en) * 2000-02-24 2001-08-29 Koninklijke Philips Electronics N.V. Motion estimation apparatus and method
JP3677192B2 (ja) * 2000-04-19 2005-07-27 シャープ株式会社 画像処理装置
US6647061B1 (en) * 2000-06-09 2003-11-11 General Instrument Corporation Video size conversion and transcoding from MPEG-2 to MPEG-4
KR100370076B1 (ko) * 2000-07-27 2003-01-30 엘지전자 주식회사 다운 컨버젼 기능을 갖는 비디오 디코더 및 비디오 신호를디코딩 하는 방법
US20110013081A1 (en) * 2001-01-11 2011-01-20 Pixelworks, Inc. System and method for detecting a non-video source in video signals
JP2004531942A (ja) * 2001-04-12 2004-10-14 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ウォーターマーク埋め込み
US7904814B2 (en) * 2001-04-19 2011-03-08 Sharp Laboratories Of America, Inc. System for presenting audio-video content
US6671322B2 (en) * 2001-05-11 2003-12-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction
US7170932B2 (en) * 2001-05-11 2007-01-30 Mitsubishi Electric Research Laboratories, Inc. Video transcoder with spatial resolution reduction and drift compensation
US7088780B2 (en) * 2001-05-11 2006-08-08 Mitsubishi Electric Research Labs, Inc. Video transcoder with drift compensation
US6898241B2 (en) * 2001-05-11 2005-05-24 Mitsubishi Electric Research Labs, Inc. Video transcoder with up-sampling
US6714594B2 (en) * 2001-05-14 2004-03-30 Koninklijke Philips Electronics N.V. Video content detection method and system leveraging data-compression constructs
KR100393066B1 (ko) * 2001-06-11 2003-07-31 삼성전자주식회사 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US20030112863A1 (en) * 2001-07-12 2003-06-19 Demos Gary A. Method and system for improving compressed image chroma information
US7142251B2 (en) * 2001-07-31 2006-11-28 Micronas Usa, Inc. Video input processor in multi-format video compression system
KR100905880B1 (ko) * 2001-09-12 2009-07-03 엔엑스피 비 브이 움직임 추정 방법 및 장치와, 인코딩 방법 및 인코더
KR100396558B1 (ko) * 2001-10-25 2003-09-02 삼성전자주식회사 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법
KR100453222B1 (ko) * 2001-12-17 2004-10-15 한국전자통신연구원 카메라 움직임 판별 장치 및 방법
US6823015B2 (en) * 2002-01-23 2004-11-23 International Business Machines Corporation Macroblock coding using luminance date in analyzing temporal redundancy of picture, biased by chrominance data
KR100492127B1 (ko) * 2002-02-23 2005-06-01 삼성전자주식회사 적응형 움직임 추정장치 및 추정 방법
JP3940616B2 (ja) * 2002-02-25 2007-07-04 松下電器産業株式会社 光受信回路
US20030161400A1 (en) * 2002-02-27 2003-08-28 Dinerstein Jonathan J. Method and system for improved diamond motion search
JP4082664B2 (ja) * 2002-09-20 2008-04-30 Kddi株式会社 映像検索装置
KR100930043B1 (ko) * 2002-11-23 2009-12-08 삼성전자주식회사 스크롤링 텍스트나 그래픽 데이터를 검출할 수 있는움직임 추정장치 및 방법
KR20040049214A (ko) * 2002-12-05 2004-06-11 삼성전자주식회사 고속 모션벡터 추정장치 및 방법
GB0229354D0 (en) * 2002-12-18 2003-01-22 Robert Gordon The University Video encoding
KR100751422B1 (ko) * 2002-12-27 2007-08-23 한국전자통신연구원 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치
US20040179599A1 (en) * 2003-03-13 2004-09-16 Motorola, Inc. Programmable video motion accelerator method and apparatus
US20040190625A1 (en) * 2003-03-13 2004-09-30 Motorola, Inc. Programmable video encoding accelerator method and apparatus
JP2004336103A (ja) * 2003-04-30 2004-11-25 Texas Instr Japan Ltd 画像情報圧縮装置
KR100561398B1 (ko) * 2003-06-10 2006-03-16 삼성전자주식회사 동화상 내 구획별로 휘도 변화를 검출하고 보상하는 장치 및 방법
DE10327576A1 (de) * 2003-06-18 2005-01-13 Micronas Gmbh Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
US7129987B1 (en) * 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
US7620254B2 (en) * 2003-08-07 2009-11-17 Trident Microsystems (Far East) Ltd. Apparatus and method for motion-vector-aided interpolation of a pixel of an intermediate image of an image sequence
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7366237B2 (en) * 2003-09-09 2008-04-29 Microsoft Corporation Low complexity real-time video coding
US7330509B2 (en) * 2003-09-12 2008-02-12 International Business Machines Corporation Method for video transcoding with adaptive frame rate control
KR20050049680A (ko) * 2003-11-22 2005-05-27 삼성전자주식회사 노이즈 감쇠장치 및 디인터레이싱 장치
KR100601935B1 (ko) * 2003-12-02 2006-07-14 삼성전자주식회사 디지탈 동영상 처리 방법 및 장치
US7308029B2 (en) * 2003-12-23 2007-12-11 International Business Machines Corporation Method and apparatus for implementing B-picture scene changes
US20080144716A1 (en) * 2004-03-11 2008-06-19 Gerard De Haan Method For Motion Vector Determination
DE102004017145B4 (de) * 2004-04-07 2006-02-16 Micronas Gmbh Verfahren und Vorrichtung zur Ermittlung von Bewegungvektoren, die Bildbereichen eines Bildes zugeordnet sind
EP1734480A1 (en) * 2004-04-09 2006-12-20 Sony Corporation Image processing device and method, recording medium, and program
FR2869753A1 (fr) * 2004-04-29 2005-11-04 St Microelectronics Sa Procede et dispositif de generation de vecteurs candidats pour les systemes d'interpolation d'images par estimation et compensation de mouvement
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
KR100968642B1 (ko) * 2004-05-25 2010-07-06 엔엑스피 비 브이 비월된 비디오 신호로부터 움직임 벡터를 계산하기 위한 방법 및 보간 디바이스와, 보간 디바이스를 포함하는 디스플레이 디바이스와, 컴퓨터 판독가능 매체
CN101023676B (zh) * 2004-07-20 2012-06-27 高通股份有限公司 用于时间视频压缩中运动矢量预测的方法和设备
KR20070040397A (ko) * 2004-07-20 2007-04-16 퀄컴 인코포레이티드 다중의 기준 프레임 및 가변 블록 크기를 가진 프레임레이트 업 변환을 위한 방법 및 장치
KR101127220B1 (ko) * 2004-07-28 2012-04-12 세종대학교산학협력단 움직임 보상 적응형 순차주사화 장치 및 그 방법
EP1638337A1 (en) * 2004-09-16 2006-03-22 STMicroelectronics S.r.l. Method and system for multiple description coding and computer program product therefor
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
JP2006246431A (ja) * 2005-02-07 2006-09-14 Matsushita Electric Ind Co Ltd 画像符号化装置および画像符号化方法
US20060285586A1 (en) * 2005-05-16 2006-12-21 Ensequence, Inc. Methods and systems for achieving transition effects with MPEG-encoded picture content
US7755667B2 (en) 2005-05-17 2010-07-13 Eastman Kodak Company Image sequence stabilization method and camera having dual path image sequence stabilization
KR20070020994A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 영상신호 변환장치 및 그 방법
US8401070B2 (en) * 2005-11-10 2013-03-19 Lsi Corporation Method for robust inverse telecine
US7925120B2 (en) * 2005-11-14 2011-04-12 Mediatek Inc. Methods of image processing with reduced memory requirements for video encoder and decoder
US8036263B2 (en) * 2005-12-23 2011-10-11 Qualcomm Incorporated Selecting key frames from video frames
US8160144B1 (en) * 2006-05-10 2012-04-17 Texas Instruments Incorporated Video motion estimation
US8519928B2 (en) 2006-06-22 2013-08-27 Entropic Communications, Inc. Method and system for frame insertion in a digital display system
EP1884893A1 (en) 2006-08-03 2008-02-06 Mitsubishi Electric Information Technology Centre Europe B.V. Sparse integral image description with application to motion analysis
US20080056367A1 (en) * 2006-08-30 2008-03-06 Liu Wenjin Multi-step directional-line motion estimation
SG140508A1 (en) * 2006-08-31 2008-03-28 St Microelectronics Asia Multimode filter for de-blocking and de-ringing
US20080055477A1 (en) * 2006-08-31 2008-03-06 Dongsheng Wu Method and System for Motion Compensated Noise Reduction
WO2008073416A1 (en) * 2006-12-11 2008-06-19 Cinnafilm, Inc. Real-time film effects processing for digital video
US8428125B2 (en) * 2006-12-22 2013-04-23 Qualcomm Incorporated Techniques for content adaptive video frame slicing and non-uniform access unit coding
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP5141043B2 (ja) * 2007-02-27 2013-02-13 株式会社日立製作所 画像表示装置および画像表示方法
CA2638465A1 (en) * 2007-08-01 2009-02-01 Jean-Yves Chouinard Learning filters for enhancing the quality of block coded still and video images
US8526502B2 (en) * 2007-09-10 2013-09-03 Entropic Communications, Inc. Method and apparatus for line based vertical motion estimation and compensation
WO2009045682A2 (en) * 2007-09-28 2009-04-09 Athanasios Leontaris Treating video information
KR20090054828A (ko) 2007-11-27 2009-06-01 삼성전자주식회사 Frc된 비디오에 gui를 부가하는 비디오 기기 및 그의gui 제공방법
TWI386058B (zh) * 2008-10-03 2013-02-11 Realtek Semiconductor Corp 視訊處理方法與裝置
JP5400876B2 (ja) * 2008-06-16 2014-01-29 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ符号化のための、スライス依存性に基づくレート制御モデル適合化
FR2933520B1 (fr) * 2008-07-04 2011-02-11 Canon Kk Procede et dispositif de restauration d'une sequence video
KR101574080B1 (ko) * 2009-04-15 2015-12-04 삼성디스플레이 주식회사 데이터 처리 방법 및 이를 수행하기 위한 데이터 처리 장치 및 이 데이터 처리 장치를 포함하는 표시 장치
US8675736B2 (en) * 2009-05-14 2014-03-18 Qualcomm Incorporated Motion vector processing
TWI398159B (zh) * 2009-06-29 2013-06-01 Silicon Integrated Sys Corp 具動態控制畫質功能的幀率轉換裝置及相關方法
US8643776B2 (en) * 2009-11-30 2014-02-04 Mediatek Inc. Video processing method capable of performing predetermined data processing operation upon output of frame rate conversion with reduced storage device bandwidth usage and related video processing apparatus thereof
US8879632B2 (en) * 2010-02-18 2014-11-04 Qualcomm Incorporated Fixed point implementation for geometric motion partitioning
TWI413023B (zh) 2010-03-30 2013-10-21 Novatek Microelectronics Corp 移動偵測方法及裝置
US20110255596A1 (en) * 2010-04-15 2011-10-20 Himax Technologies Limited Frame rate up conversion system and method
KR101152464B1 (ko) 2010-05-10 2012-06-01 삼성모바일디스플레이주식회사 유기전계발광 표시장치 및 그의 구동방법
US8446524B2 (en) * 2010-06-21 2013-05-21 Realtek Semiconductor Corp. Apparatus and method for frame rate conversion
KR101279128B1 (ko) * 2010-07-08 2013-06-26 엘지디스플레이 주식회사 입체 영상 표시장치와 그 구동 방법
KR101681779B1 (ko) * 2010-07-14 2016-12-02 엘지디스플레이 주식회사 입체 영상 표시장치와 그 백라이트 제어 방법
US8610707B2 (en) * 2010-09-03 2013-12-17 Himax Technologies Ltd. Three-dimensional imaging system and method
KR101707101B1 (ko) * 2010-09-09 2017-02-28 삼성디스플레이 주식회사 영상데이터 처리방법 및 이를 수행하는 표시 장치
KR101742182B1 (ko) * 2010-09-17 2017-06-16 삼성디스플레이 주식회사 영상 데이터 처리 방법, 및 이를 수행하는 표시 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1092924A (zh) * 1992-11-19 1994-09-28 汤姆森电子消费品公司 场频上变换的方法和装置
CN1451235A (zh) * 2000-12-06 2003-10-22 皇家菲利浦电子有限公司 高质量、高性价比的用于高清晰度电视的影片-视频转换器
CN1640126A (zh) * 2002-02-28 2005-07-13 皇家飞利浦电子股份有限公司 用于场速率上变换的方法和装置
GB2401502A (en) * 2003-05-07 2004-11-10 British Broadcasting Corp Image data encoding and transmission
CN1581982A (zh) * 2003-07-31 2005-02-16 三星电子株式会社 基于模式分析的运动矢量补偿装置和方法

Also Published As

Publication number Publication date
CN101796813A (zh) 2010-08-04
WO2009034487A3 (en) 2009-04-30
CN101803362A (zh) 2010-08-11
EP2206342A2 (en) 2010-07-14
CN101803361B (zh) 2013-01-23
US20110205438A1 (en) 2011-08-25
CN101803363B (zh) 2013-09-18
WO2009034493A3 (en) 2009-08-06
US9036082B2 (en) 2015-05-19
WO2009034492A2 (en) 2009-03-19
WO2009034493A2 (en) 2009-03-19
WO2009034492A3 (en) 2009-08-13
US20100271554A1 (en) 2010-10-28
US20100238355A1 (en) 2010-09-23
WO2009034486A3 (en) 2009-04-30
EP2206341A2 (en) 2010-07-14
EP2188979A2 (en) 2010-05-26
CN101803361A (zh) 2010-08-11
WO2009034488A2 (en) 2009-03-19
CN101836441A (zh) 2010-09-15
EP2188978A2 (en) 2010-05-26
CN101803363A (zh) 2010-08-11
WO2009034489A2 (en) 2009-03-19
WO2009034489A3 (en) 2009-05-28
WO2009034487A2 (en) 2009-03-19
US20100277644A1 (en) 2010-11-04
EP2188990A2 (en) 2010-05-26
WO2009034486A2 (en) 2009-03-19
US8526502B2 (en) 2013-09-03
WO2009034488A3 (en) 2009-07-23

Similar Documents

Publication Publication Date Title
CN101836441B (zh) 用于视频图像数据中的基于行的运动补偿的方法、装置和系统
KR100815010B1 (ko) Lcd 모션 블러 선보상 방법
EP1766970B1 (en) Method and apparatus for deinterlacing interleaved video
US8184703B2 (en) Interpolated frame generating method and interpolated frame generating apparatus
EP2077663A1 (en) Image display device and method, and image processing device and method
KR20060044912A (ko) 이미지 경계에서 개선된 움직임 벡터 추정
CN101536508A (zh) 图像显示装置及方法、图像处理装置及方法
US6404461B1 (en) Method for detecting static areas in a sequence of video pictures
CN101589614A (zh) 图像显示装置及方法、图像处理装置及方法
JP2006072359A (ja) ディスプレイ装置の制御方法
EP2323123B1 (en) Image signal processing device, image signal processing method, image display device, television receiver, and electronic device
CN102577365B (zh) 视频显示装置
GB2450121A (en) Frame rate conversion using either interpolation or frame repetition
KR101140442B1 (ko) 이미지 상태 정보의 정정 방법, 움직임 보상 이미지 처리방법, 및 이미지 상태 정보 정정기
US20060182184A1 (en) Device and method for pre-processing before encoding of a video sequence
CN102497525A (zh) 一种运动补偿去隔行方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120321

Termination date: 20150822

EXPY Termination of patent right or utility model