CN1694501A - 反胶片模式外插 - Google Patents

反胶片模式外插 Download PDF

Info

Publication number
CN1694501A
CN1694501A CNA200510068451XA CN200510068451A CN1694501A CN 1694501 A CN1694501 A CN 1694501A CN A200510068451X A CNA200510068451X A CN A200510068451XA CN 200510068451 A CN200510068451 A CN 200510068451A CN 1694501 A CN1694501 A CN 1694501A
Authority
CN
China
Prior art keywords
film
mode
image
motion vector
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200510068451XA
Other languages
English (en)
Other versions
CN100417189C (zh
Inventor
蒂洛·兰西德尔
迈克尔·格伦德迈耶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1694501A publication Critical patent/CN1694501A/zh
Application granted granted Critical
Publication of CN100417189C publication Critical patent/CN100417189C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/04—Arrangements for synchronous operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/112—Selection of coding mode or of prediction mode according to a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • H04Q9/02—Automatically-operated arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q2209/00—Arrangements in telecontrol or telemetry systems
    • H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

本发明使得能够改善特别是运动对象的边界区域的胶片模式确定。这是通过胶片模式外插来实现的。当前块的运动向量的方向被反转，并且向当前块外插根据反向运动向量而确定的目标块的胶片模式指示。以这种方式，可以改善当前图像的胶片模式确定的精度，并且可以因此改善获得改善的画面质量的图像处理。

Description

反胶片模式外插
技术领域
本发明涉及一种改进的胶片模式确定。具体上，本发明涉及用于确定改进的胶片模式判定的方法和对应的胶片模式检测器。
背景技术
在用于越来越多的应用、特别是现代电视接收机的数字信号处理中的运动补偿图像处理中使用胶片模式指示。具体上，现代电视接收机执行帧频(frame rate)变换——特别是以上变换或运动补偿上变换的形式——以提高所再现图像的画面质量。例如对于具有50Hz到诸如60Hz、66.67Hz、75Hz、100Hz等的较高频率的场或帧频率的视频序列执行运动补偿上变换。50Hz输入信号频率主要适用于基于PAL或SECAM标准的电视信号广播，而基于NTSC的视频信号具有60Hz的输入频率。60Hz输入视频信号可以被上变换为诸如72Hz、80Hz、90Hz、120Hz等的较高频率。
在上变换期间，要产生多个中间图像，它们反映在未在50Hz或60Hz输入视频序列中表示的时间位置的视频内容。为此，需要考虑对象的运动以便适当地反映在由对象运动引起的随后图像之间的改变。在块基础上计算对象的运动，并且根据先前和随后图像之间新产生的图像的相对位置和时间来执行运动补偿。
对于运动向量确定，每个图像被划分为多个块。对每个块进行运动估计，以便检测对象与在前图像的移位。
与诸如PAL或NTSC信号的隔行扫描视频信号相反，运动画面数据由全部帧组成。运动画面数据的最普遍的帧频是24Hz(24p)。当将运动画面数据转换为隔行扫描视频序列以显示在电视接收机(这个变换被称为电视电影)上的时候，通过使用“下拉”技术来转换24Hz帧频。
为了按照具有50Hz(50i)场频(field rate)的PAL广播标准来将运动画面(motion picture)胶片转换为隔行扫描的视频序列，使用一种2-2下拉技术。所述2-2下拉技术从每个胶片帧产生两个场。以每秒25个帧(25p)来播放运动画面胶片。因此，两个连续的场包括从同一帧产生并且表示视频内容——特别是运动对象——的相同时间位置的信息。
当将运动画面胶片转换为具有60Hz场频(60i)的NTSC信号时，使用一种3-2下拉技术来将24Hz帧频转换为60Hz场频。这种3-2下拉技术从给定的运动画面帧产生两个视频场，并且从下一个运动画面帧产生三个视频场。
在图2中图解了按照不同的电视标准来产生隔行扫描视频序列的电视电影变换处理。所使用的下拉技术产生视频序列，其中包括反映相同运动相位的成对或三个一组的相邻场。根据在随后场之间的场差别的计算来检测单个的运动相位。仅仅从不同胶片帧产生的场使得能够检测运动。
需要检测所使用的单个下拉图案，以便适当地执行画面质量改进处理，特别是判定是否要使用运动补偿。各个下拉图案的检测是已知的，例如可以从EP-A-0 720 366和EP-A-1 198 138得知。
发明内容
本发明旨在进一步改进胶片模式检测和提供一种胶片模式检测的改进方法和一种改进的胶片模式检测器。
这是通过独立权利要求的特征来实现的。
按照本发明的第一方面，提供了一种用于确定当前图像的多个图像区域的胶片模式指示的方法。所述当前图像是图像序列的一部分。所述方法获得当前图像区域的运动向量。根据所接收的运动向量，计算具有所接收的运动向量的长度和反方向的运动向量。而且，接收用于由反向运动向量指向的图像区域的胶片模式指示，并且根据所述反向运动向量来校正当前图像的胶片模式指示。
按照本发明的另一个方面，提供了一种胶片模式检测器，用于确定当前图像的多个图像区域的胶片模式指示。所述当前图像是图像序列的一部分。所述图像检测器包括输入装置、计算装置和外插装置。所述输入装置获得当前图像的图像区域的胶片模式指示和当前图像区域的运动向量。所述计算装置计算具有所接收的运动向量的长度和反方向的运动向量。所述外插装置根据所述反向运动向量来校正当前图像的胶片模式指示。
本发明的特殊方法是通过在本地基础上获得胶片模式指示而改善胶片模式检测，并且外插胶片模式指示。所述外插旨在当所检测的胶片模式指示由于运动图像对象的运动而改变时、改善胶片模式指示的可靠性，其具体旨在避免在检测正确的胶片模式指示中的延迟。为此，特别是向当前块外插按照当前块的反向运动向量确定的块的胶片模式指示。以这种方式，可以以改善的精度和可靠性来确定在运动图像对象的边界区域的胶片模式指示。于是增强了通过画面改善算法可以获得的图像质量。
由于为了提高胶片模式指示的可靠性而引入的延迟，在运动对象的边缘周围的图像区域的胶片模式指示一般不立即转换到新检测的模式。但是，在可靠性上的这种提高的实现仅是以正确地确定在运动对象的边缘的胶片模式指示为代价的。通过使用按照本发明的反胶片模式指示外插来避免这个缺点。
为此，本发明评估在与运动对象的方向相反的方向中的运动对象的边缘后的图像区域。按照在反向运动向量的方向上从当前图像区域指向的反向运动向量来确定目标图像区域。其间的图像区域被设置为所述目标图像区域的胶片模式指示。以这种方式，可以避免转换延迟，而不降低胶片模式指示的可靠性。
优选的是，如果所述目标图像区域的胶片模式指示是胶片模式，在当前图像区域和由反向运动向量所指向的目标图像区域之间的图像区域被设置为胶片模式。于是，向移动对象的边缘外插胶片模式。优选的是，如果当前块不在胶片模式中，则仅进行外插。于是，如果在当前图像区域和目标图像区域之间发生所检测的胶片模式指示中的改变，则仅进行本发明的反向外插。
如果反向运动向量从当前图像区域指向图像外部的位置，则优选的是，剪短所述反向运动向量长度，以便所剪短的向量仅仅指向位于当前图像内部的位置。
优选的是，图像序列的图像被划分为多个块，其中，在块基础上提供胶片模式指示和运动向量，即图像区域对应于块结构。于是，可以根据现有的图像区域结构来以简单的方式进行反向外插。
优选的是，量化从当前块指向目标块的反向运动向量，以便适合于图像块的光栅。于是，可以以简单的方式来实现反胶片模式外插。
优选的是，按照预定的图像区域图案，即识别要校正的各个图像区域的图案，来选择当执行反胶片模式外插时要设置为胶片模式的图像区域。以这种方式，可以以可靠和简单的方式来确定需要校正胶片模式指示的那些图像区域。
优选的是，从存储器中的多个预存图案来选择所述预定图案。根据当前图像区域和目标图像区域的相对位置来进行这种选择。于是，可以以快速和简单的方式来选择要应用的图案。
优选的是，预存图案提供了当前图像区域和目标图像区域的相对位置的所有可能组合。可以因此以可靠的方式来确定要校正胶片模式指示的图像区域。
按照优选实施例，根据在当前图像区域开始和以步进方式接近目标图像区域的迭代确定，来确定要设置为胶片模式的图像区域。
优选的是，根据运动向量方位来确定用于确定要被设置为胶片模式的新图像区域的步长。更为优选的是，通过将水平和垂直向量分量的较大的向量分量除以较小的向量分量来设置步长。
优选的是，与每个图像区域相关联地存储附加指示，用于指示是否已经校正了图像区域的胶片模式指示。以这种方式，可以以可靠的方式来将原始胶片模式指示与校正的胶片模式指示相区别。当检测到出现“校正的”胶片模式指示时，可以禁止胶片模式指示的另外的反向外插。以这种方式，一次外插的胶片模式指示不作为另外的胶片模式外插的基础。
按照优选实施例，如果目标图像区域的胶片模式指示是视频模式，则当前图像区域和目标图像区域之间的图像区域被设置为视频模式。以这种方式，可以通过相应地外插视频模式，来精确地确定被插入到胶片模式的环境中的视频模式的运动对象的胶片模式指示。
优选的是，如果当前图像区域处于胶片模式，则仅外插视频模式。如果在当前图像区域和目标图像区域之间出现胶片模式指示转换，则仅执行视频模式外插。
附图说明
图1图解了将视频图像划分为多个均匀大小的块的示例，
图2图解了用于将运动画面数据转换为PAL或NTSC隔行扫描视频序列的下拉方案，
图3图解了被划分为多个块的视频图像和对于每个块存储的辅助信息的示例，
图4图解了在运动图像对象的边界的胶片模式指示的延迟检测的示例，
图5图解了本发明的反向外插原理，
图6是图解在按照本发明的胶片模式指示的外插期间执行的各个步骤的流程图，
图7是按照本发明的一个优选实施例的胶片模式指示的反向外插的迭代块确定的流程图，
图8图解了按照本发明的一个优选实施例的胶片模式指示的反向外插的迭代块确定的一个示例，
图9图解了按照本发明的另一个优选实例的、要校正胶片模式指示的图像块的逐步确定，和
图10图解了按照本发明的另一个优选实例的、外插查找表的示例。
具体实施方式
本发明涉及数字信号处理，特别涉及在现代电视接收机中的数字信号处理。现代电视接收机使用上变换算法，以便提高所再现的画面质量。为此，要从两个后续图像产生中间图像。为了产生中间图像，需要考虑对象的运动，以便将对象位置适当地调整到由内插图像反映的时间点。
在块基础上执行用于确定运动向量和运动补偿的运动估计。为此，如例如图1所示，将每个图像划分为多个块。通过确定在先前图像中的最佳匹配块，对每个块独立地进行运动估计。
为了能够正确地将运动补偿应用到图像区域，需要确定那个图像区域的胶片模式指示，即胶片模式或视频模式。通过按照所检测的胶片模式指示来应用正确的画面质量改善处理，避免了图像的人为现象。
特别对于HDTV显示器，特别需要视频信号处理来驱动逐行扫描显示器和使用较高的帧频。被转换为电视广播的隔行扫描图像序列的运动画面胶片(进一步被称为胶片模式)的检测对于信号处理是关键的。
对于画面改善处理，通过使用反电视电影处理，即偶数和奇数场的重新交织，隔行扫描/逐行扫描转换(I/P)是可能的。对于从3-2下拉方案产生的图像序列，消除了来自从同一胶片帧产生的三个一组的场的单个冗余场(图2中的灰色场)。
更先进的上变换算法使用基于运动向量的帧内插。输出帧频可以是输入视频速率的不均匀部分，例如，60Hz输入信号频率可以被上变换为对应于5∶6比率的72Hz输出频率。于是，当要保持运动对象的连续运动印象时，可以从单个输入场单独产生仅仅每第六个输出帧。
可以在图像基础上确定图像的胶片模式特性，或者按照改进的手段，图像的胶片模式特性可以是各个图像区域的本地特性。具体上，电视信号由不同类型的图像区域组成，诸如无运动区域(例如徽标、背景)、摄像机区域(例如新闻显示(newsticker)，视频插入)和胶片模式区域(例如主电影，画中画(PIP))。对于这些图像区域的每个，独立地执行下拉方案检测，使能具有改善的画面质量的上变换结果。
胶片模式检测一般涉及识别下拉图案。传统上，像素差被累积为表示随后图像之间的运动的位移帧差(DFD)。为了避免将导致对观众造成的不稳定印象的、在所检测的胶片模式指示中的突变，使用检测延迟来用于触发从胶片模式向视频模式的转换，反之亦然。
为了提高胶片模式指示精度，例如如图3所示，在块基础上执行胶片模式检测。对于m*n像素尺寸的每个块，确定运动向量和胶片模式指示。
在图3中对于单个块图解了对每个图像块所获得的数据。除了水平和垂直运动向量分量之外，还存储了胶片模式指示，用于表示当前块是胶片模式还是视频模式。而且，通过“人工模式”指示来表示所分配的胶片模式指示的校正，以便将原始胶片模式指示与其以后的校正相区别。
在图4中图解了基于块的胶片模式检测和由此产生的问题。具有均匀结构的运动对象(c)仅仅使得能够可靠地检测在边界区域(b，e)的运动值，即DFD值。除了这些边界区域之外，有意义的运动检测和从而运动图案和胶片模式指示的检测将是不可能的。
由于用于确定胶片模式指示的转换延迟——这是为了提高它们的可靠性而被引入的——所检测的胶片模式指示(图4中的a，d)分别相对于运动对象(c)的前沿(e)和后沿(b)在空间上偏移。由此产生一个特殊问题：运动对象(c)的边界线(b，e)没有正确地确定胶片模式指示，因此对于这些图像区域不能执行有效的画面质量改进处理。
但是，图像对象的边界区域对于所感知的图像质量是特别重要的。基于特定图像区域的不正确胶片模式指示的不适当画面改善处理的应用导致画面质量变差，而不是画面质量改善。因此，关键的是，有效的画面质量处理确定对象边缘的可靠胶片模式指示。
为了可靠地确定运动图像对象的边界区域的胶片模式指示，在与图像对象的运动方向相反的方向上外插胶片模式指示。
现在参照图5来详细说明对于外插的胶片模式指示的本发明的方法。视频图像的每个块(参见图1)包括多个像素，优选的是在隔行扫描视频图像中是8*4个像素，在逐行扫描图像中是8*8个像素。因此，对于每个NTSC隔行扫描视频图像提供了90*60个块。
对于每个单独块执行胶片模式确定和运动估计。在图6中所示的存储区域100中独立地对每个块如图3所示地存储确定结果。图6描述了用于以反向方式外插胶片模式指示的各个步骤，图5图解了其相应的结果。
通过获得当前块20的源模式和运动向量30来开始反向外插处理(步骤120)。如果在步骤130当前块原来是视频模式，则当前块20的运动向量30的方向被反转，以便在步骤140获得反向的运动向量40。而且，反向向量40的长度被量化，以便适合于视频图像的块光栅(参见图1)。如果反向运动向量40指向当前图像外部的位置，则运动向量长度被剪短，以便指向在图像边界的相应块。
在根据从当前块20开始的反向运动向量40的运动向量长度来确定目标块45后，确定目标块45的模式(目标模式)(步骤140)。如果满足下列条件，则仅仅执行目标模式的外插：
源模式＝视频模式
目标模式＝胶片模式
仅仅当在步骤150确定目标块的模式是胶片模式时，才在步骤160向当前块20执行反向外插。通过将在从当前块20指向目标块45的反向运动向量下的每个块50设置为胶片模式来执行所述外插。或者，也将当前块的胶片模式指示设置为胶片模式。
可以通过当前块索引的模数(modulo)寻址来实现要设置到胶片模式的块的确定。具有较大值的、水平和垂直分量的那个反向运动向量分量被当作主轴V1，而较小的反向运动向量分量被考虑来表示次轴V2。相应的符号(sign)确定方向Dir1、Dir2。
根据较大运动向量分量的整数部分除以较小运动向量分量来计算用于逐步地确定要被设置为胶片模式的块的步长，如下所示：
V1＝(|Vx|＞|Vy|)？VX:VY       Dir1＝Sign(V1)
V2＝(|Vx|＞|Vy|)？VY:VX       Dir2＝Sign(V2)
Figure A20051006845100131
应当注意这些人工设置的胶片模式块50的每个(在图5中)因此如图3所示被标注“人工模式比特”。因此，可以将每个胶片模式指示区分为原始确定或人工设置。在开始外插处理之前评估这个人工模式比特，以便避免人工设置的那些胶片模式指示的进一步的外插。
目标块不被设置为人工模式。被设置为胶片模式并且具有因此设置的人工比特的第一块是源模式块。
图7示出了用于在源块20和目标块45之间迭代地确定块50的方法。图8示出了Vx＝6、Vy＝4的反向向量的示例结果。
对于模数寻址的方法，使用典型的循环变量i和j。变量i用于主方向Dir1，而j用于Dir2。
原始确定的源块310在视频模式中，而目标块330在胶片模式中。后者将不被再次设置和标注为人工，而第一源块要被标注为人工和被设置到胶片模式。因此，在S210中，i被初始地设置为负Dir1。
通过将Dir1的符号加到索引i来在步骤S220开始处理。这是在图8中的块310“开始”。
在步骤230，查看变量j的增量的条件，它负责在S240在次方向Dir2中增大人工标注位置。如果i等于上面计算的值“步长”的偶数倍，则所述条件为真。这是在图8中的块331、333、335的情况。
在步骤S250，通过向源块(索引1/2(源))的绝对位置增加当前索引i和j，来计算人工胶片块的绝对位置。结果被保存在指示图像中的位置的变量k和l中。然后在步骤S260，在图像中设置人工比特和胶片比特。
如果主方向Dir1的索引i已经前进到等于在S270查看的V1的向量幅度的值，则模数寻址在S280结束(在图8中的“结束”块335)，否则跳回到S220。
用于确定当前块20和目标块45之间的块的迭代方法在达到目标块之前停止，因为原始胶片模式必须不被标注为人工。
按照另一个优选实施例，通过使用x/y向量分量的每个可能组合的查找表(LUT)来实现人工模式标注。查找表中的每个项目识别要被人工标注的那些块。为此，所存储的图案描述要接着标注哪个块。这可以根据二进制指示来实现，其中“0”指示上/下步长，“1”指示右/左步长。相应向量分量的符号给出方向。图9所示的示例是基于具有两个负分量x＝-3、y＝-4的反向运动向量。表项目指示六个步长010101，即下、左、下、左...。
这种方法不允许在水平或垂直方向上没有任何相邻块的情况下以对角的方式来标注块。因此，所标注的块的数量增加，导致更好的向量路径覆盖。
技术人员清楚，上述用于在当前块和目标块之间确定要人工设置为胶片模式的那些块的方法不限于所述的实施例，并且可以使用具有相同效果的每种其他方法。
上面将图像区域描述为对应于从运动估计知道的块大小。本发明不限于用于胶片模式确定和特别用于胶片模式外插的这种图像区域大小。可以限定大于或小于块的图像区域。例如，小于块的图像区域改善了胶片模式分辨率。可以根据具有在整个场和仅仅单个像素之间的大小或甚至子像素大小的图像区域，来实现胶片模式确定和外插。
而且，可以通过胶片模式指示的所检测的视频模式的、另外实现的运动向量辅助的外插来增强胶片模式外插。在可以精确地和高可靠性地执行每个块的视频模式检测的假设下，视频模式对象的运动路径不干扰胶片模式对象的运动路径。
总之，本发明使得能够改善特别用于运动对象的边界区域的胶片模式确定。这是通过胶片模式外插来实现的。当前块的运动向量的方向被反转，并且向当前块外插根据反向运动向量而确定的目标块的胶片模式指示。以这种方式，可以改善当前图像的胶片模式确定的精度，并且可以因此改善获得改善的画面质量的图像处理。

Claims (36)

1.一种用于确定当前图像的多个图像区域的胶片模式指示的方法，所述当前图像是图像序列的一部分，所述方法包括步骤：
获得当前图像区域(20)的运动向量(30)；
计算具有所接收的运动向量(30)的长度和反方向的运动向量(40)；
接收由所述反向运动向量(40)指向的图像区域(45)的胶片模式指示；并且
根据所述反向运动向量(40)来校正当前图像的胶片模式指示(50)。
2.按照权利要求1的方法，其中，如果由所述反向运动向量所指向的所述图像区域(45)的所述胶片模式指示是胶片模式，则在所述当前图像区域(20)和由所述反向运动向量(40)所指向的所述图像区域(45)之间的图像区域(50)被设置为胶片模式。
3.按照权利要求2的方法，其中，如果所述当前图像区域(20)的胶片模式指示不是胶片模式，则所述图像区域(50)仅仅被设置为胶片模式。
4.按照权利要求2或3的方法，其中，如果所述所计算的运动向量(40)指向当前图像外部的位置，则剪短所述反向运动向量(40)的长度。
5.按照权利要求1-4的任何一个的方法，其中，在块基础上提供被划分为多个块的所述视频序列的所述图像和所述胶片模式指示和运动向量(30)。
6.按照权利要求5的方法，其中，所述反向运动向量(40)被量化以适合于图像块的光栅。
7.按照权利要求1-6的任何一个的方法，其中，按照预定的图像区域图案来选择要设置为胶片模式的图像区域(50)。
8.按照权利要求7的方法，其中，按照当前图像区域(20)和由所述反向运动向量(40)指向的图像区域(45)的相对位置来从多个预存的图案中选择所述预定图案。
9.按照权利要求8的方法，其中，所述预存图案提供所述当前图像区域(20)和由所述反向运动向量(40)指向的所述图像区域(45)的相对位置的所有可能组合。
10.按照权利要求1-9的任何一个的方法，其中，根据在所述当前图像区域(20)开始并且逐步地接近由所述反向运动向量(40)指向的所述图像区域(45)的迭代确定，来确定要被设置为胶片模式的图像区域(50)。
11.按照权利要求10的方法，其中，根据反向运动向量(40)的方位来确定用于确定要被设置为胶片模式的新图像区域的步长。
12.按照权利要求11的方法，其中，所述反向运动向量(40)具有水平和垂直分量，并且通过将较大向量分量除以较小向量分量来计算步长。
13.按照权利要求1-12的任何一个的方法，还包括步骤：与所述图像区域的每个相关联地存储附加指示，用于指示是否所述胶片模式指示已经被校正为胶片模式。
14.按照权利要求1-13的任何一个的方法，其中，所述胶片模式指示表示每个单独图像区域的胶片模式或视频模式。
15.按照权利要求13或14的方法，其中，如果由所述反向运动向量(40)指向的图像区域(45)的胶片模式指示还未被校正时，仅进行胶片模式指示的校正。
16.按照权利要求1-15的任何一个的方法，还包括步骤：如果对由所述反向运动向量(40)指向的所述图像区域(45)所接收的所述胶片模式指示是视频模式，则将所述当前图像区域(20)和由所述反向运动向量(40)指向的图像区域(45)之间的图像区域(50)设置为视频模式。
17.按照权利要求16的方法，其中，如果所述当前图像区域(20)的胶片模式指示是胶片模式，则仅仅将图像区域(50)设置为视频模式。
18.一种用于执行运动补偿图像处理的方法，包括步骤：
接收对当前图像确定的运动向量；
确定当前图像的胶片模式指示；
通过应用按照权利要求1-17的任何一个的方法来校正对当前图像确定的胶片模式指示；和
通过按照相应的胶片模式指示应用运动补偿，根据当前图像的图像数据来执行运动补偿的图像处理。
19.一种胶片模式检测器，用于确定当前图像的多个图像区域的胶片模式指示，所述当前图像是图像序列的一部分，所述胶片模式检测器包括：
输入装置，用于获得当前图像的图像区域的胶片模式指示和当前图像区域(20)的运动向量(30)；
计算装置，用于计算具有所述所接收的运动向量(30)的长度和反方向的运动向量(40)；和
外插装置，用于根据所述反向运动向量(40)来校正当前图像的胶片模式指示(50)。
20.按照权利要求19的胶片模式检测器，其中，如果由所述反向运动向量指向的所述图像区域(45)的所述胶片模式指示是胶片模式，则所述外插装置将所述当前图像区域(20)和由所述反向运动向量(40)指向的所述图像区域(45)之间的图像区域(50)设置为胶片模式。
21.按照权利要求20的胶片模式检测器，其中，如果所述当前图像区域(20)的胶片模式指示不是胶片模式，则所述外插装置被配置为仅仅将所述图像区域(50)设置为胶片模式。
22.按照权利要求20或21的胶片模式检测器，其中，如果所述所计算运动向量(40)指向当前图像外部的位置，则所述外插装置被配置为剪短所述反向运动向量(40)的长度。
23.按照权利要求19-22的任何一个的胶片模式检测器，其中，在块基础上提供被划分为多个块的所述视频序列的所述图像和所述胶片模式指示和运动向量(30)。
24.按照权利要求23的胶片模式检测器，其中，所述外插装置将所述反向运动向量(40)量化为适合于图像块的光栅。
25.按照权利要求19-24的任何一个的胶片模式检测器，其中，所述外插装置按照预定的图像区域图案来选择要设置为胶片模式的图像区域(50)。
26.按照权利要求25的胶片模式检测器，还包括存储器，用于存储多个预定图案，其中，所述外插装置按照当前图像区域(20)和由所述反向运动向量(40)指向的图像区域(45)的相对位置来从所述多个预存图案中选择所述预定图案。
27.按照权利要求26的胶片模式检测器，其中，所述存储器存储所述当前图像区域(20)和由所述反向运动向量(40)指向的所述图像区域(45)的相对位置的所有可能组合的图案。
28.按照权利要求19-27的任何一个的胶片模式检测器，其中，所述外插装置根据在所述当前图像区域(20)开始并且逐步地接近由所述反向运动向量(40)指向的所述图像区域(45)的迭代确定，来确定要被设置为胶片模式的图像区域(50)。
29.按照权利要求28的胶片模式检测器，其中，所述外插装置根据反向运动向量(40)的方位来设置用于确定要被设置为胶片模式的新图像区域的步长。
30.按照权利要求29的胶片模式检测器，其中，所述反向运动向量(40)具有水平和垂直分量，并且所述外插装置通过将较大向量分量除以较小向量分量来计算步长。
31.按照权利要求19-30的任何一个的胶片模式检测器，其中，所述外插装置与所述图像区域的每个相关联地存储附加指示，用于指示是否所述胶片模式指示已经被校正为胶片模式。
32.按照权利要求19-31的任何一个的胶片模式检测器，其中，所述胶片模式指示表示每个单独图像区域的胶片模式或视频模式。
33.按照权利要求31或32的胶片模式检测器，其中，如果由所述反向运动向量(40)指向的图像区域(45)的胶片模式指示还未被校正时，所述外插装置仅进行胶片模式指示的校正。
34.按照权利要求19-33的任何一个的胶片模式检测器，其中，如果对于由所述反向运动向量(40)指向的所述图像区域(45)所接收的所述胶片模式指示是视频模式，则所述外插装置进一步将所述当前图像区域(20)和由所述反向运动向量(40)指向的图像区域(45)之间的图像区域(50)设置为视频模式。
35.按照权利要求34的胶片模式检测器，其中，如果所述当前图像区域(20)的胶片模式指示是胶片模式，则所述外插装置仅仅将图像区域(50)设置为视频模式。
36.一种运动补偿器，用于按照运动向量的场和每个图像的胶片模式指示来处理输入图像序列，所述运动补偿器包括：
按照权利要求19-35的任何一个的胶片模式检测器，用于确定每个图像的图像区域的外插胶片模式指示；以及
选择器，用于按照相应的胶片模式指示来选择每个单独图像区域的运动补偿。
CNB200510068451XA 2004-04-30 2005-04-28 反胶片模式外插 Expired - Fee Related CN100417189C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP04010300A EP1592249B1 (en) 2004-04-30 2004-04-30 Reverse film mode extrapolation
EP04010300.4 2004-04-30

Publications (2)

Publication Number Publication Date
CN1694501A true CN1694501A (zh) 2005-11-09
CN100417189C CN100417189C (zh) 2008-09-03

Family

ID=34924804

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200510068451XA Expired - Fee Related CN100417189C (zh) 2004-04-30 2005-04-28 反胶片模式外插

Country Status (6)

Country Link
US (1) US20050243933A1 (zh)
EP (1) EP1592249B1 (zh)
JP (1) JP2005318622A (zh)
KR (1) KR20060047635A (zh)
CN (1) CN100417189C (zh)
DE (1) DE602004006966T2 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1592254A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode extrapolation
US20070199011A1 (en) * 2006-02-17 2007-08-23 Sony Corporation System and method for high quality AVC encoding
US7912129B2 (en) * 2006-03-16 2011-03-22 Sony Corporation Uni-modal based fast half-pel and fast quarter-pel refinement for video encoding
JP4181593B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法
JP4181592B2 (ja) 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4181598B2 (ja) * 2006-12-22 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4615508B2 (ja) 2006-12-27 2011-01-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8300958B2 (en) * 2007-07-11 2012-10-30 Samsung Electronics Co., Ltd. System and method for detecting scrolling text in mixed mode film and video
JP5682454B2 (ja) * 2011-05-30 2015-03-11 株式会社Ｊｖｃケンウッド 映像処理装置及び補間フレーム生成方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5828786A (en) * 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
DE69510851T2 (de) * 1994-03-30 1999-12-02 Thomson Multimedia, Boulogne Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten
JP2795223B2 (ja) * 1995-07-18 1998-09-10 日本電気株式会社 画像信号の符号化方法
US6058140A (en) * 1995-09-08 2000-05-02 Zapex Technologies, Inc. Method and apparatus for inverse 3:2 pulldown detection using motion estimation information
EP0847198B1 (en) * 1995-09-29 1999-04-28 Matsushita Electric Industrial Co., Ltd. Method, device and disc for recording and reproducing interleaved bit stream on and from the disk
US6252873B1 (en) * 1998-06-17 2001-06-26 Gregory O. Vines Method of ensuring a smooth transition between MPEG-2 transport streams
US6515706B1 (en) * 1998-09-15 2003-02-04 Dvdo, Inc. Method and apparatus for detecting and smoothing diagonal features video images
US6700622B2 (en) * 1998-10-02 2004-03-02 Dvdo, Inc. Method and apparatus for detecting the source format of video images
EP0994626A1 (en) * 1998-10-12 2000-04-19 STMicroelectronics S.r.l. Detection of a 3:2 pulldown in a motion estimation phase and optimized video compression encoder
US6400763B1 (en) * 1999-02-18 2002-06-04 Hewlett-Packard Company Compression system which re-uses prior motion vectors
EP1107609A1 (en) * 1999-12-02 2001-06-13 STMicroelectronics S.r.l. Method of processing motion vectors histograms to detect interleaved or progressive picture structures
US6553150B1 (en) * 2000-04-25 2003-04-22 Hewlett-Packard Development Co., Lp Image sequence compression featuring independently coded regions
US6700932B2 (en) * 2001-03-06 2004-03-02 Sony Corporation MPEG video editing-cut and paste
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
US7423691B2 (en) * 2001-11-19 2008-09-09 Matsushita Electric Industrial Co., Ltd. Method of low latency interlace to progressive video format conversion
KR100446083B1 (ko) * 2002-01-02 2004-08-30 삼성전자주식회사 움직임 추정 및 모드 결정 장치 및 방법
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
US7154555B2 (en) * 2003-01-10 2006-12-26 Realnetworks, Inc. Automatic deinterlacing and inverse telecine
EP1592254A1 (en) * 2004-04-30 2005-11-02 Matsushita Electric Industrial Co., Ltd. Film mode extrapolation

Also Published As

Publication number Publication date
CN100417189C (zh) 2008-09-03
EP1592249A1 (en) 2005-11-02
JP2005318622A (ja) 2005-11-10
KR20060047635A (ko) 2006-05-18
DE602004006966D1 (de) 2007-07-26
DE602004006966T2 (de) 2007-10-18
EP1592249B1 (en) 2007-06-13
US20050243933A1 (en) 2005-11-03

Similar Documents

Publication Publication Date Title
CN1694501A (zh) 反胶片模式外插
CN1265633C (zh) 去隔行装置和方法
CN1678024A (zh) 改进的图像边界处的运动向量估计
CN1694502B (zh) 视频序列中的文字收报机处理
CN100348035C (zh) 计算运动矢量的方法与设备
CN101064817A (zh) 视频信号的转换装置及转换方法
CN1694503A (zh) 在视频序列中的胶片方式检测
CN1694497A (zh) 块模式自适应运动补偿
CN1694498A (zh) 在静止区域的影片模式纠正
US8749703B2 (en) Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts
JP5177828B2 (ja) 画像レート変換方法及び画像レート変換装置
CN1885946A (zh) 运动错误补偿器以及检测和补偿运动错误的方法
CN1694499A (zh) 使用自适应空间更新矢量的运动估算
CN1317900C (zh) 用于检测2∶2下拉序列的设备和方法
CN1694495A (zh) 采用自适应时间预测的运动向量估计
CN1750657A (zh) 基于混合块匹配的运动估计方法和用其转换帧速率的装置
CN1706189A (zh) 带有降质的图像处理单元
CN1694496A (zh) 影片模式外推法
CN1758743A (zh) 使用抖动映射的图像处理设备及其方法
US8345148B2 (en) Method and system for inverse telecine and scene change detection of progressive video
CN100477775C (zh) 图像状态信息校正
CN1512773A (zh) 图像格式转换装置及其方法
CN1848910A (zh) 具有相对于亮度级的运动值校正的全局运动自适应系统
CN1758744A (zh) 能够选择场的图像处理装置及其方法
CN1266944C (zh) 图像处理器和配有这种图像处理器的图像显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080903

Termination date: 20100428