CN100417188C - 块模式自适应运动补偿 - Google Patents

块模式自适应运动补偿 Download PDF

Info

Publication number
CN100417188C
CN100417188C CNB2005100667393A CN200510066739A CN100417188C CN 100417188 C CN100417188 C CN 100417188C CN B2005100667393 A CNB2005100667393 A CN B2005100667393A CN 200510066739 A CN200510066739 A CN 200510066739A CN 100417188 C CN100417188 C CN 100417188C
Authority
CN
China
Prior art keywords
motion
image
state information
input
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB2005100667393A
Other languages
English (en)
Other versions
CN1694497A (zh
Inventor
斯文·萨尔泽
弗兰克·詹森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1694497A publication Critical patent/CN1694497A/zh
Application granted granted Critical
Publication of CN100417188C publication Critical patent/CN100417188C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K11/00—Arrangement in connection with cooling of propulsion units
    • B60K11/06—Arrangement in connection with cooling of propulsion units with air cooling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K11/00—Arrangement in connection with cooling of propulsion units
    • B60K11/08—Air inlets for cooling; Shutters or blinds therefor
    • B60K11/085—Air inlets for cooling; Shutters or blinds therefor with adjustable shutters or blinds
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00—Control of temperature
    • G05D23/01—Control of temperature without auxiliary power
    • G05D23/02—Control of temperature without auxiliary power with sensing element expanding and contracting in response to changes of temperature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种考虑了图像数据的本地特征的运动补偿图像处理。包括在单一图像中的图像数据可以起源于不同的视频源。为了考虑特定的运动相位，运动补偿处理被相应地切换以便能获得改善的图像质量。

Description

块模式自适应运动补偿
技术领域
本发明涉及改善的运动补偿图像的生成。更特别地，本发明涉及一种用于后续场的隔行输入的视频序列来生成运动补偿的输出图像数据的方法和一种对应的运动补偿器。
背景技术
本发明用于图像改善算法中，该画面改善算法特别用于现代电视接收机的数字信号处理中。具体地说，现代电视接收机具体以使用帧重复的向上变换(up-conversion)或者运动补偿的向上变换的形式，来执行帧速率变换，以便增加再现图像的画面质量。例如，为具有50HZ的场或帧频率到较高频率例如60HZ、66.67HZ、75HZ、100HZ等的视频序列而执行运动补偿的向上变换。当50HZ输入信号频率主要应用到基于PAL或SECAM标准的电视信号广播上时，基于NTSC的视频信号具有60HZ的输入频率。60HZ输入视频信号可以被向上变换到较高的频率上，例如72Hz、80Hz、90Hz等。
在向上变换期间，将生成用于及时反映由50Hz或60Hz输入视频序列没有表示的位置处的视频内容的中间图像。为了这个目的，不得不考虑对象的运动以便适当地反映在由对象的运动所导致的后续图像之间的变化。基于块来计算对象的运动，以及基于在先前和后续图像之间的新近生成的图像的相对时间位置来执行运动补偿。
为了运动矢量确定和补偿，将每一个图像划分成多个块。对每一个块都进行运动估计以便从先前的图像中检测对象的移动。
与例如PAL或NTSC信号的隔行视频信号相反，运动画面数据由完整的帧组成。运动画面数据的最普遍的帧速率是24Hz(24p)。当为了在电视接收机上显示而转换运动画面数据(这种转换被称为电视电影)时，通过使用“下拉(pull down)”技术来将24Hz帧速率转换成隔行视频序列。
为了将运动画面影片转换成遵循PAL标准的隔行信号，该隔行信号具有50Hz(50i)的场速率，使用了2-2下拉技术。2-2下拉技术从每一个影片帧中产生两个场，而以每秒25帧(25P)来播放运动画面影片。因此，两个连续场包含起源于相同的帧并且表示视频内容，特别是运动对象的相同时间位置的信息。
当将运动画面影片转换成遵循NTSC标准的隔行信号时，该隔行信号具有60Hz(60i)的场速率，通过使用3-2下拉技术来将24Hz的帧速率转换成60Hz场速率。这种3-2下拉技术从已知的运动画面帧中产生两个视频场和从下一个运动画面帧中产生三个视频场。
在图2中说明了用于根据不同的电视标准来产生隔行视频序列的电视电影转换处理过程。所使用的下拉技术生成视频序列，该视频序列包括反映同一运动相位的一对或三组相邻场。用于从隔行图像序列中区分出电视电影信号的场差能仅仅被在从不同的影片帧中产生的场之间被计算。
为了画面改善处理，如果图像内容不包括运动对象，则不必考虑在隔行视频图像的序列中由每一个场所反映的时间位置。但是，如果在要处理的场中存在运动对象，则需要考虑每一个场的单独运动相位。因此，画面改善处理需要指示单独场的运动特征的信息，即，每一个场是否反映单独运动相位或是否已经使用了下拉技术，以便后续场反映相同的运动相位。
根据不同类型的输入图像数据，对运动补偿去隔行处理进行控制以便获得输出图像数据的最好画面质量。为了这个目标，EP-A-0740467和US 6222589描述了属于相同的影片帧的源场的重新组合和具有期望的输出帧速率的相同场的重复输出。以这种方式，能获得高的空间分辨率。US 5495300描述了一种在100Hz电视系统中用来使运动相位从25至50每秒加倍的算法。仅仅在不同的运动相位的场之间估计和使用运动矢量。EP-A-0675643描述了一种两步骤画面改善处理。在第一步骤中，将相同影片帧的两个场组合进隔行至逐行转换器中。第二步骤包括基于矢量的插值以便在其间产生运动补偿的输出图像。例如，四个场的50Hz至100Hz转换输出序列由一个原始输入场和三个内插输出场组成。
为了精确切换用于影片模式和视频模式处理的运动补偿算法，需要影片模式检测。影片模式检测基于全局场差来确定输入图像序列的当前模式。在EP-A-1198137中描述了一种已知的方法。
发明内容
本发明的目的在于进一步改善运动补偿图像处理和提供一种用于产生运动补偿的输出图像数据的改善算法以及一种改善的运动补偿器。
通过独立权利要求的特征获得这个目的。
根据本发明的第一方面，提供了一种用于基于隔行输入的后续场的视频序列来产生运动补偿的输出图像数据的方法。所述隔行视频序列的每一个场都包括多个图像区域，其中为每一个图像区域提供了运动矢量和状态信息。为要产生的输出图像的当前图像区域而接收运动矢量和状态信息。基于所接收的运动矢量和所接收的状态信息来获得输入视频序列的输入图像数据。基于所获得的输入图像数据来产生用于当前输出图像区域的输出图像数据。
根据本发明的另一方面，提供了一种用于基于后续场的隔行视频序列来产生运动补偿的输出图像数据的运动补偿器。所述隔行输入的视频序列的每一个场都包括多个图像区域。为每一个图像区域提供了运动矢量和状态信息。所述运动补偿器包括输入存储器和输出插值器。输入存储器根据为要产生的输出图像的当前图像区域而接收到的运动矢量和状态信息来存储输入视频序列的图像区域的视频数据。输出插值器从存储在输入存储器中的视频数据中产生输出图像数据。
本发明的特定方法是基于输入图像序列的本地特征来进行运动补偿。为输入图像的多个图像区域中的每一个而获得状态信息。根据基于图像区域的状态信息来进行输出图像数据的产生。
本发明的特定优点在于当现有技术的方法仅仅考虑与整个的输入图像相关的全局状态信息时能适当地处理由不同类型的图像数据组成的混合模式的图像序列。根据本发明能适当地处理从不同的图像源产生的图像对象。有效地防止了在输出图像序列中产生的图像假象(image artifact)以及能获得增强的画面质量。
最好，状态信息指示图像区域是在影片模式中还是在视频模式中。基于上述，能相应地切换画面改善处理以便适当地考虑在后续图像区域之间的运动。
最好，状态信息包括用于影片模式图像区域的运动相位指示。因此，能精确地确定和使用图像区域的单独运动相位以便调整运动补偿处理。
最好，状态信息指示图像区域是在静止模式中还是在运动模式中。根据上述，图像改善处理能可靠地决定是否要对从后续场中产生的图像区域进行去隔行。
根据优选实施例，为了产生输出图像数据而选择从两个不同的运动相位产生的输入图像区域。因此，基于图像区域能可靠地产生在中间时间位置处的运动相位。
最好，输入图像存储器存储至少三个后续场的图像区域以便用于产生输出图像数据。以这种方式，通过仅仅使用最小的硬件成本和最小量的所需存储器容量就可获得高画面质量的输出图像数据。
最好，将从表示单一运动相位的两个场中产生的两个图像区域的数据去隔行成逐行视频格式。以这种方式，为了获得增加分辨率的输出图像数据，而仅仅需要单一逐行源图像。通过根据从表示不同的运动相位的另一个图像区域中有效的视频信息进行运动补偿来调整运动对象的运动位置。
最好，根据状态信息的运动相位指示来选择那些属于单一运动相位的图像区域。
最好，对从单一运动相位产生的图像数据，即单一图像的图像区域或去隔行图像区域，进行插值，以便产生将要分别和另一个图像区域的内插图像数据组合的内插输出像素数据。
对于视频模式图像区域来说，为了产生输出图像区域而选择仅仅两个输入图像区域。
最好，从在输入视频图像中的对应位置处的图像区域的状态信息和运动矢量中获得当前的输出图像区域的运动补偿图像处理所基于的运动矢量和状态信息，其中输入视频图像在时间上接近于要产生的输出图像。以这种方式，在运动补偿期间就能以简单和有效的方式来考虑本地图像特征。
本发明的优选实施例是从属权利要求的主题。
附图说明
从下列优选实施例的描述中，本发明的其它实施例和优点将变得更加明显，其中：
图1说明将视频图像划分成统一大小的多个块；
图2说明根据PAL和NTSC电视广播标准将运动画面图像转换成隔行的图像序列；
图3说明包括来自多个源的图像部分的混合模式视频图像的一个例子；
图4说明用于不同的向上变换速率的输入和输出图像的关系；
图5说明运动补偿器的一个示例性配置；
图6说明在视频图像输入序列中的图像之间的运动；
图7说明图3的输入视频图像的状态信息的一个示例性检测结果；
图8说明根据本发明的运动补偿器的一个示例性配置；
图9列出了依赖于基于图像区域的有效状态信息的不同的运动补偿处理方案；
图10说明根据本发明合并从不同的输入场中产生的图像区域以用于影片模式图像区域的一个例子；以及
图11说明根据本发明选择图像区域以用于视频模式图像区域。
具体实施方式
本发明涉及数字信号处理，特别涉及现代电视接收机中的信号处理。现代电视接收机使用向上转换算法以便增加再现的画面质量和增加显示频率。为了这个目的，要从两个后续图像中产生中间图像。为了产生中间图像，不得不考虑目标的运动以便将目标位置适当地适配到由补偿图像所反映的时间点上。
本发明最好用于显示单元或图像增强器设备中。视频信号处理本质上需要驱动逐行显示以便避免隔行线闪烁和通过使用较高的帧速率来减少大范围闪烁。另外，增强SD(Standard Definition：标准清晰度)信号的分辩率以用于HDTV显示设备上的显示。
对于画面改善处理来说关键是运动画面影片的检测，其中该运动画面影片被进行电视电影处理(另外称为影片模式)。例如，可以通过隔行/逐行转换(1/P)来获得图像增强。为了这个目的，通过重新隔行(re-interleave)偶和奇场来执行反向电视电影处理。在3-2下拉转换的情况中(如图2的底部示例中所说明的)，能消除单一冗余场。利用图2中着色的灰度来标记在3-2下拉转换期间的视频场的冗余重复。
较先进的向上变换算法使用运动估计和矢量内插。输出帧速率可以是输入帧速率的非均匀部分(uneven fraction)。例如，从60Hz到72Hz的向上变换对应于5到6的比率。在这样的变换期间，当产生运动对象的运动的连续印象时，从单一输入场能产生仅仅每一第6个输出帧。
当现有技术的影片模式检测器仅仅估计影片模式检测的整个图像时，然而影片模式特征对于图像内的不同的部分来说可能不同。特别地，从提供不同类型的图像数据的视频源中组成混合模式图像。这些混合模式序列主要由三种类型的图像内容组成：静止或恒定区域(例如，标识，背景，OSD)、视频摄像机区域(例如，滚动消息区(news ticker)，视频插入/覆盖)、以及影片模式区域(例如，主电影，PIP)。特别地，诸如MPEG-4的新编码方案允许在单一重新组合的图像内起源于不同源的图像数据的组合，例如如以简单方式在图3中所示的。因此，单一场可以包括起源于运动画面影片的、起源于视频摄像机源的和/或起源于计算机生成的情景的数据。
传统的影片模式检测器一直检测仅覆盖为图像的最大部分所存在的模式的“预定主要模式”。当运动补偿器没有考虑较小的图像部分的特征时，如此传统的检测器可以导致再现图像中的错误。因此，应用到完整图像的反向电视电影处理将在那些没有从运动画面影片中产生的图像区域中引起假象(artefact)。
另外，单一图像可以包含起源于2-2下拉的30Hz计算机动画的和另外3-2下拉段的图像部分。如果两个不同类型的影片模式发生在单一图像中，则在图像改善处理期间不得不不同地处理各个图像部分。
当在相同的图像中存在从有规则的2-2下拉中产生的图像部分和从反向2-2下拉中产生的其它图像部分时，也需要不同的处理，其中反向2-2下拉图像具有奇数和偶数场的反向次序。
本发明的一个特定方法是将每一个图像划分成多个块并且基于块来进行运动补偿。因此，基于块来确定视频序列的特征以及基于上述的画面改善处理提供改善的画面质量。
根据所获得的本地图像特征，最好能基于块来为每一个图像区域单独执行运动补偿和去隔行。最好，在单一画面的不同部分中的视频模式和影片模式处理的自适应组合在用于混合的模式图像内容的图像序列的画面改善处理期间获得最好的画面质量。
高质量影片至视频转换需要平滑的运动再现以及高空间分辨率。为了这个目的，本发明最好对影片模式图像内容的三场运动补偿帧速率转换和视频模式图像内容的两场帧速率转换进行组合。根据从基于块的影片/静止检测器产生的控制信号来以块为基础切换两个算法。在影片模式补偿期间，来自于属于相同的输入影片帧的两个输入场的不同输入块线被重新隔行以便保持原始影片帧的垂直分辨率。和剩余的第三输入场一起对这样的重新隔行的块进行插值。
如果这些属于相同的影片帧或在静止模式，即无运动的检测，的情况中，则通过使用用于合并两个连续输入场的输入线的块线切换单元来实现本发明。按照由影片/静止检测器所提供的几个用于指示影片/视频模式、静止/运动模式的状态信号来控制块切换单元。
现有的电视广播标准PAL和NTSC是基于50Hz和60Hz的不同场速率的。50Hz系统产生大范围的闪烁，特别是当在大的显示设备上产生所发送的图像时。50Hz和60Hz系统由于隔行传输标准而产生线闪烁(line flicker)。该线闪烁由后续场中的奇数和偶数线的交替传输所产生。
为了克服这些缺点，电视接收机将显示频率增加到例如100Hz，和/或使用图像的连续表示。这样的显示频率的转换需要计算附加的中间图像，如图4中所说明的。
隔行输入的视频序列的高质量向上变换需要运动矢量的可靠检测。该运动矢量表示在输入图像序列中的块或图像对象的方向上的运动值。
在运动补偿期间，基于单一运动矢量来移动两个图像。利用运动矢量的正方向来将先前的输入图像向前移动，以及利用该运动矢量的互补的负方向来将每一连续图像向后移动。这些片段依赖于相对于输入图像的输出图像的时间位置。
来自于这些两个内插图像的像素值以及另外来自于先前和连续图像的原始位置的平均像素被处理，如图5中所说明的，以便计算各个输出像素。具体地说，使用了来自于两个后续输入图像110、120的图像区域115、125。根据为了产生当前输出图像区域而要使用的运动矢量来选择图像区域115、125的位置。除了来自于图像区域115、125的图像数据之外，在像素平均单元130中计算附加的平均像素Paverage。基于先前图像Pprev、后继图像(successive image)Psucc和平均像素Paverage的像素数据，由输出计算器140计算最终结果的输出像素150。
为了满足画面质量和合理的成本限制的需要，将三个输入场存储在输入图像存储器中。如图8的配置中所说明的，最好，仅仅读出为了产生当前输出图像区域所需要的从三个后续输入场中产生的那些图像区域。由图8中的参考标号331、333和335来表示这些存储器。根据当前输出图像区域的运动矢量来选择从其读出的图像数据。
本发明使用去隔行的输入图像数据以便获得高画面质量的运动补偿图像数据。为了这个目的，最好以逐行视频格式来提供来自两个输入场的图像数据以便产生增加了分辨率的输出图像数据。分别在块线切换单元(新的，外部)340、350中合并来自于两个图像输入场的图像数据。如果根据各个状态信息，即影片模式、静止模式、运动相位，来进行去隔行是可能的，则块线切换单元340、350仅仅产生逐行图像区域。
为了高质量的去隔行处理，运动补偿器不得不在影片模式和视频模式图像内容之间进行区分。对于视频模式图像内容来说，在每一个输入场的图像区域之间存在运动以及在这些各个图像区域之间的场差分信号被设置为“1”，如图6中所说明的。对于这样的视频模式图像内容来说，运动补偿算法仅仅使用来自于存储在存储器331、333(F0，F1)中的两个最新场的图像数据。
对于影片模式图像内容来说，在运动补偿期间要考虑运动相位以便仅仅对从相同的运动相位的场中产生的那些图像数据进行去隔行。当处理影片模式图像数据时，使用存储在存储器331、333、335中的所有三个图像区域(F0，F1，F2)，其中根据各个运动图案来确定进行去隔行处理的那些图像区域。
图8中说明的运动补偿器的处理是基于以块为基础的图像类型的指示的。信号“mode”以“0”指示视频模式和以“1”指示影片模式。在影片模式的情况中，需要决定输入场的哪个图像区域对应于相同的影片帧。由表示从0到6的值的运动相位信号“phase”来提供这个信息。由0和1的值来反映2-2下拉方案的两个可能的运动相位。最好利用在2和6之间的值来标记3-2下拉方案的五个可能的运动相位。值2具有特定的意义。这个值在3-2下拉方案中指示起源于相同的影片帧的三个输入场的状态。因此，在所有的这些场之间不存在有效的运动。因此，需用特别的处理。
相同的影片帧的影片模式场的组合，即去隔行，保持了原始的垂直分辨率和改善了输出的插值画面质量。
最好由块模式检测单元(附图中未示出)提供控制信号“模式”和“相位”。这些控制信号为每一个图像块指示它的图像内容是在视频模式下还是在影片模式下以及哪个运动相位应用到影片模式块上。
此外，基于指示图像块是否具有运动或静止内容的块来执行运动检测。这个由静止模式信号(例如，“0”：运动，“1”：静止)来指示。在静止模式输入图像块的情况下，来自于两个连续域的图像区域的图像数据一直被合并成一个逐行视频格式，而与影片模式或视频模式指示无关。
在图7中说明了基于块的当前视频图像的模式检测的一个例子。正如从那里所看到的，该图像包括无运动段230(即静止模式段)、视频模式段220和电视电影段250(即影片模式段)。在其上的重叠是视频模式中的滚动消息区域260。OSD图像部分240是无运动图像段230的一部分。
依赖于影片/视频模式、运动相位和静止模式指示的值，由块线切换单元250将两个连续场的图像数据合并成一个去隔行的逐行图像区域(老)。第三输入场的剩余的图像数据被用作第二插值图像区域(新)。所有三个指示，即模式、静止和相位被提供到块线切换单元340、350和到多路复用器320。多路复用器根据运动矢量、模式和运动相位来选择输入图像序列中的场F1的图像位置。
根据在图9的表中所指示的运动补偿处理来求输入信号的值。基于图9中所指示的处理。由块线切换单元340、350将从相同的运动相位中产生的那些图像区域进行合并。因此，对于视频模式图像区域来说，块线切换单元340选择图像区域F0以及块线切换单元350选择图像区域F1。
对于影片模式输入图像数据来说，块线切换单元340或块线切换单元350选择和合并来自于两个后续的图像区域(即图像区域F0和F1，或图像区域F1和F2)的图像数据。各个其它的块线切换单元仅仅转发剩余的图像区域的数据。在图10和11中说明了这种处理过程。
当图10说明两个图像区域的合并器(merge)以处理影片模式的整个三个图像区域时，图11说明了视频模式的两个图像区域的处理过程。正如所能从图10中看到的，将场F0和F1的图像数据合并进单一去隔行场410中。附加图像区域F2是被未修改就转发的(420)。基于图像区域410、420的图像数据，由输出滤波器单元380计算输出图像区域。
在图10中说明了图像区域F0和F1的输入线的合并器。为要计算的当前输出图像区域所确定的状态信息可以为如下：
  模式   静止   相位
  1   0   0
  1   0   3
对于内插单元370中的场F2的内插来说，当这些图像数据属于由不同的相位信号所指示的另一个运动相位时，就不允许线合并。
为了获得改善的画面质量，特别为了计算在输入图像区域中不存在的输出画面位置，提供了内插单元360、370。这些内插单元360、370选择为了在像素位置417、427处的输出像素的插值而要使用的多个像素415、425。当图像区域410、420的垂直分辨率对于影片模式图像内容和静止模式图像内容而不同时，就不同地设置图像区域415、425的垂直大小以便考虑用于插值的像素的同一数目。相反，对于视频模式图像区域来说，用于像素插值的图像部分515、525是相同大小的。因此，内插单元360、370在视频模式处理期间相同地对图像区域510、520进行处理。要合并的线的数目依赖于滤波器抽头。在图10和11中所说明的例子中，使用了四抽头FIR滤波器组合(水平和垂直)并且由参考标号415、425、515、525对其进行标记。
本发明的特定好处在于当产生当前图像的下一个图像输出块时可以应用不同的处理。例如，下一个输出块的本地特征可以被描述在下列的控制信号组合中：
  模式   静止   相位
  0   0   X
图11中说明了各个处理过程。
本领域技术人员意识到本发明不限于用于存储三个后续场的图像数据的三个存储器的存储和使用。相反，可以使用第4个存储器以便充分地将用于插值的两个影片帧进行重新组合。
另外，块的定义不限于矩形块，而是可以使用具有任意像素数目的和非规则形状的每一种类型的图像区域。这样的非规则图像区域可能更好地适应各个图像对象。
综上所述，本发明涉及到考虑了图像数据的本地特征的运动补偿图像处理过程。包括在单一图像中的图像数据可以从不同的视频源中产生出来。为了考虑特定的运动相位，相应地切换运动补偿处理过程以便能获得改善的画面质量。

Claims (22)

1. 一种用于基于隔行输入的后续场的视频序列来产生运动补偿的输出图像数据的方法，所述隔行输入的后续场的视频序列的每一个场都包括多个块，其中每一个所述块都具有运动矢量和状态信息，所述方法包括步骤：
为要产生的输出图像的当前块而接收运动矢量和状态信息；
基于所接收的运动矢量和所接收的状态信息来获得所述隔行输入的后续场的视频序列的输入图像数据；以及
基于所获得的输入图像数据来产生用于所述输出图像的当前块的输出图像数据，
其中，所述状态信息指示要在影片模式中或在视频模式中的各个块。
2. 根据权利要求1所述的方法，其中，状态信息包括用于影片模式块的运动相位指示。
3. 根据权利要求1所述的方法，其中，所述状态信息指示要在静止模式或运动模式中的各个块。
4. 根据权利要求1至3中的任意一个所述的方法，还包括步骤：从起源于两个不同的运动相位的所述获得的输入图像数据中选择块。
5. 根据权利要求1至3中的任意一个所述的方法，其中，当所述接收到的状态信息是影片模式或静止模式时，从至少三个后续场中获得所述输入图像数据。
6. 根据权利要求5所述的方法，还包括步骤：将从表示单一运动相位的两个场中产生的块的数据去隔行成逐行视频格式。
7. 根据权利要求2所述的方法，还包括步骤：根据所述状态信息的所述运动相位指示来选择表示单一运动相位的所述块。
8. 根据权利要求6或7所述的方法，还包括步骤：对从单一运动相位产生的两个后续的块进行内插。
9. 根据权利要求8所述的方法，其中，当产生输出像素时，对两个运动相位都内插所述单一运动相位的相同数目的像素。
10. 根据权利要求1至3中的任意一个所述的方法，还包括步骤：如果所述接收到的状态信息是视频模式，则为了产生所述输出图像的当前块而选择后续场的两个输入块。
11. 根据权利要求1至3中的任意一个所述的方法，其中，从在时间上接近要产生的输出图像的输入视频图像的对应位置处的运动矢量和状态信息中检索所述接收到的运动矢量和所述接收到的状态信息。
12. 一种用于基于后续场的隔行输入的视频序列来产生运动补偿的输出图像数据的运动补偿器，所述后续场的隔行输入的视频序列的每一个场都包括多个块，其中每一个所述块都具有运动矢量和状态信息，所述运动补偿器包括：
输入存储器(331，333，335)，用于根据为要产生的输出图像的当前块而接收的运动矢量和状态信息，来存储所述隔行输入的后续场的视频序列的块的视频数据；以及
输出插值器(380)，用于从存储在所述输入存储器(331，333，335)中的视频数据中产生输出图像数据，
其中，所述状态信息指示要在影片模式中或在视频模式中的各个块。
13. 根据权利要求12所述的运动补偿器，其中，状态信息包括用于影片模式块的运动相位指示。
14. 根据权利要求12所述的运动补偿器，其中，所述状态信息指示要在静止模式或运动模式中的各个块。
15. 根据权利要求12至14中的任意一个所述的运动补偿器，还包括：块线切换单元(340，350)，用于从存储在所述输入存储器中的所述隔行输入的视频序列的块的所述视频数据中选择从两个不同的运动相位中产生的图像数据。
16. 根据权利要求12至14中的任意一个所述的运动补偿器，其中，所述输入存储器(331，333，335)存储至少三个后续场的块。
17. 根据权利要求15所述的运动补偿器，其中，块线切换单元(340，350)组合从表示单一运动相位的两个场中产生的块以及表示用于将块去隔行成逐行视频格式的单一运动相位。
18. 根据权利要求17所述的运动补偿器，其中，所述块线切换单元(340，350)根据所述状态信息的运动相位指示来选择表示单一运动相位的所述块。
19. 根据权利要求15所述的运动补偿器，还包括：内插单元(360，370)，用于对由块线切换单元(340，350)输出的图像数据进行插值。
20. 根据权利要求19所述的运动补偿器，其中，所述内插单元(360，370)内插所述块线切换单元(340，350)的输出图像数据的相同数目的像素。
21. 根据权利要求12至14中的任意一个所述的运动补偿器，包括：两个块线切换单元(340，350)，其中的每一个都：如果所述接收到的状态信息是视频模式，则选择输入块的输入图像数据。
22. 根据权利要求12至14中的任意一个所述的运动补偿器，其中，从在时间上接近要产生的输出图像的输入视频图像的对应位置处的运动矢量和状态信息中检索所述接收到的运动矢量和所述接收到的状态信息。
CNB2005100667393A 2004-04-30 2005-04-30 块模式自适应运动补偿 Expired - Fee Related CN100417188C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04010295A EP1592247A1 (en) 2004-04-30 2004-04-30 Block mode adaptive motion compensation
EP04010295.6 2004-04-30

Publications (2)

Publication Number Publication Date
CN1694497A CN1694497A (zh) 2005-11-09
CN100417188C true CN100417188C (zh) 2008-09-03

Family

ID=34896048

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005100667393A Expired - Fee Related CN100417188C (zh) 2004-04-30 2005-04-30 块模式自适应运动补偿

Country Status (5)

Country Link
US (1) US7440032B2 (zh)
EP (1) EP1592247A1 (zh)
JP (1) JP2005318612A (zh)
KR (1) KR20060047630A (zh)
CN (1) CN100417188C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686043A (zh) * 2012-08-31 2014-03-26 安讯士有限公司 对视频进行反交错的方法和装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4722936B2 (ja) * 2005-09-30 2011-07-13 シャープ株式会社 画像表示装置及び方法
JP4303748B2 (ja) * 2006-02-28 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
EP1850589A1 (en) * 2006-03-29 2007-10-31 Sony Deutschland Gmbh Method for video mode detection
TWI327863B (en) * 2006-06-19 2010-07-21 Realtek Semiconductor Corp Method and apparatus for processing video data
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP4181592B2 (ja) 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
KR100806858B1 (ko) * 2006-09-26 2008-02-22 삼성전자주식회사 고화질 영상표시장치 및 그 프레임레이트변환방법
JP4157579B2 (ja) * 2006-09-28 2008-10-01 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4615508B2 (ja) * 2006-12-27 2011-01-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP5008431B2 (ja) * 2007-03-15 2012-08-22 キヤノン株式会社 画像処理装置及び画像処理方法
JP2009135847A (ja) * 2007-12-03 2009-06-18 Hitachi Ltd 映像処理装置及びフレームレート変換方法
JP4331234B2 (ja) * 2007-12-26 2009-09-16 株式会社東芝 順次走査変換装置および順次走査変換方法並びに映像表示装置
JP2009206613A (ja) * 2008-02-26 2009-09-10 Toshiba Corp 映像表示装置及び映像表示方法
US8374240B1 (en) 2008-07-10 2013-02-12 Marvell International Ltd. Image frame management
WO2010120480A1 (en) * 2009-04-01 2010-10-21 Marvell World Trade, Ltd. Cadence detection in progressive video
JP2011023843A (ja) * 2009-07-14 2011-02-03 Sony Corp 画像処理装置および画像処理方法
CN101990093A (zh) * 2009-08-06 2011-03-23 索尼株式会社 检测视频中的重放片段的方法和设备
US9148620B2 (en) * 2011-04-11 2015-09-29 Intel Corporation Detecting video formats

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889A2 (en) * 1993-08-06 1995-02-08 Goldstar Co. Ltd. Device for converting image frame format
EP0675643A1 (en) * 1994-03-30 1995-10-04 Thomson Consumer Electronics (S.A.) Method and apparatus for reducing conversion artefacts
CN1212579A (zh) * 1997-09-19 1999-03-31 汤姆森多媒体公司 以运动补偿时间内插图像的方法及设备
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
CN1451235A (zh) * 2000-12-06 2003-10-22 皇家菲利浦电子有限公司 高质量、高性价比的用于高清晰度电视的影片－视频转换器
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5428399A (en) * 1991-04-15 1995-06-27 Vistek Electronics Limited Method and apparatus for image translation with improved motion compensation
GB2265275B (en) * 1992-03-18 1996-01-03 Sony Broadcast & Communication Digital video signal processing
US5241382A (en) * 1992-04-25 1993-08-31 General Instrument Corporation Digital HDTV data packet format and receiver therefor
DE69510851T2 (de) * 1994-03-30 1999-12-02 Thomson Multimedia Sa Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten
US6118820A (en) * 1998-01-16 2000-09-12 Sarnoff Corporation Region-based information compaction as for digital images

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0637889A2 (en) * 1993-08-06 1995-02-08 Goldstar Co. Ltd. Device for converting image frame format
EP0675643A1 (en) * 1994-03-30 1995-10-04 Thomson Consumer Electronics (S.A.) Method and apparatus for reducing conversion artefacts
CN1212579A (zh) * 1997-09-19 1999-03-31 汤姆森多媒体公司 以运动补偿时间内插图像的方法及设备
WO1999016251A1 (en) * 1997-09-23 1999-04-01 Koninklijke Philips Electronics N.V. Motion estimation and motion-compensated interpolation
CN1451235A (zh) * 2000-12-06 2003-10-22 皇家菲利浦电子有限公司 高质量、高性价比的用于高清晰度电视的影片－视频转换器
CN1456015A (zh) * 2001-01-11 2003-11-12 皇家菲利浦电子有限公司 识别并行地出现在单个电视信号场中的影片和视频对象

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686043A (zh) * 2012-08-31 2014-03-26 安讯士有限公司 对视频进行反交错的方法和装置
CN103686043B (zh) * 2012-08-31 2018-04-17 安讯士有限公司 对视频进行反交错的方法和装置

Also Published As

Publication number Publication date
US7440032B2 (en) 2008-10-21
CN1694497A (zh) 2005-11-09
KR20060047630A (ko) 2006-05-18
JP2005318612A (ja) 2005-11-10
US20050243216A1 (en) 2005-11-03
EP1592247A1 (en) 2005-11-02

Similar Documents

Publication Publication Date Title
CN100417188C (zh) 块模式自适应运动补偿
CN100586151C (zh) 检测视频图像序列中的胶片方式的方法和胶片方式检测器
JP4083265B2 (ja) 画像信号の方式変換方法および装置
US7057665B2 (en) Deinterlacing apparatus and method
US6414719B1 (en) Motion adaptive median filter for interlace to progressive scan conversion
US7474355B2 (en) Chroma upsampling method and apparatus therefor
US6118488A (en) Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
CN100433791C (zh) 在静止区域的影片模式纠正
JP5177828B2 (ja) 画像レート変換方法及び画像レート変換装置
US20020075959A1 (en) Method for improving accuracy of block based motion compensation
US7499102B2 (en) Image processing apparatus using judder-map and method thereof
CN101647292B (zh) 色度视频信号的运动自适应上采样
JP4083266B2 (ja) 動きベクトルの生成方法および装置
JP3365333B2 (ja) 解像度変換装置
JP2005167887A (ja) 動画像フォーマット変換装置及び方法
JP3293561B2 (ja) 画像表示装置及び画像表示方法
CN100425054C (zh) 影片模式外推法
US7129989B2 (en) Four-field motion adaptive de-interlacing
JP3898546B2 (ja) 画像走査変換方法及び装置
KR100587263B1 (ko) 비디오 신호의 프레임 율 변환 방법
TWI245198B (en) Deinterlace method and method for generating deinterlace algorithm of display system
KR102603650B1 (ko) 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법
KR101144435B1 (ko) 가중치를 이용한 에지 기반 디인터레이싱 방법 및 이러한 방법을 사용하는 영상 처리 장치
KR101174589B1 (ko) 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치
JP3314963B2 (ja) 画像信号の走査変換装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080903

Termination date: 20110430