CN1694498A - 在静止区域的影片模式纠正 - Google Patents
在静止区域的影片模式纠正 Download PDFInfo
- Publication number
- CN1694498A CN1694498A CNA200510066743XA CN200510066743A CN1694498A CN 1694498 A CN1694498 A CN 1694498A CN A200510066743X A CNA200510066743X A CN A200510066743XA CN 200510066743 A CN200510066743 A CN 200510066743A CN 1694498 A CN1694498 A CN 1694498A
- Authority
- CN
- China
- Prior art keywords
- motion
- image
- film mode
- mode
- film
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
- H04N7/0115—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard with details on the detection of a particular field or frame pattern in the incoming video signal, e.g. 3:2 pull-down pattern
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明允许把影片模式检测失败的图像区域正确维持影片模式。特别地,影片模式的图像的未组织的图像区域无法可靠地检测影片模式。因此,在画面改善处理期间,由于根据错误的模式确定应用不适当的处理方案,这些静止的图像区域的边界区域遭受画面质量下降。本发明还检测全局的影片模式指示,并且对那些局部影片模式确定失败且检测出静止模式的图像区域的局部影片模式确定,采用检测的全局运动。
Description
技术领域
本发明涉及一种改进的画面质量改善处理。特别地,本发明涉及一种用于确定视频序列的图像的影片模式(film mode)指示的方法,和一种对应的影片模式检测器。
背景技术
在日益增长的应用中,特别在现代电视接收机的数字信号处理中,采用了画面改善处理。特别地,现代电视接收机执行帧速率(frame-rate)转换,尤其以上转换(up-conversion)或运动补偿上转换的形式来增加再现的图像的画面质量。例如,对具有50Hz到更高的如60Hz、66.67Hz、75Hz、100Hz等场频或帧频的视频序列,执行运动补偿上转换。50Hz的输入信号频率主要应用于基于PAL或SECAM电视标准的电视信号广播,而基于NTSC的视频信号具有60Hz的输入频率。可以把60Hz的输入频率信号上转换到更高的频率,如72Hz、80Hz、90Hz、120Hz等。
在上转换期间,将生成中间图像,该中间图像反映不由50Hz或60Hz的输入视频序列表示的时间位置上的视频内容。为了这个目的,不得不考虑物体的运动以恰当反映由物体运动引起的连续图像之间的变化。以块为基础计算物体的运动,并且根据在之前与随后图像之间新生成的图像的时间的相对位置,执行运动补偿。
为了确定运动向量,例如图1中所示,把每个图像分成多个块。每个块经受运动估计,以便从前一图像检测物体的运动。
高端电视机和相关设备执行采用关于接收到的图像数据的额外信息的帧速率转换和图像大小缩放。除了运动信息,还有影片模式指示和进一步的辅助信息支持图像处理。影像模式指示标识图像数据是源于视频摄像(称为“视频模式”(video mode)或“摄像模式”(camera mode))还是运动画面影片(称为“影片模式”(film mode))。在“视频模式”中,运动物体由视频序列中的每个图像中不同的运动相位来表示。因此,可以通过每个场之间的运动来检测视频模式。在“影片模式”中,源于运动画面的图像转换到隔行扫描的视频数据。这样的转换从同一个帧生成两个或者三个场,这样可以检测特定的运动/未运动模式。
当执行画面改善处理,特别是基于运动补偿的画面改善处理时,为了采用恰当的处理方案,需要由每个单独的图像表示的特定运动相位信息。
例如,在EP-A-1 198 137中影片模式指示的检测,即当前图像是处于视频还是影片模式,是已知的。
与像PAL或NTSC信号这样的隔行扫描的视频信号不同,运动画面数据由完整的帧组成。最普遍的运动画面数据帧速率是24Hz(24p)。当转换运动画面数据以在电视接收机上显示时(该转换称为影视转换(telecine)),通过采用“下拉(pull down)”技术把24Hz帧速率转换为隔行扫描的视频序列。
为了把运动画面影片转换为与PAL标准一致的、具有50Hz场频(50i)的隔行扫描的信号,采用了2-2下拉技术。2-2下拉技术从每个影片帧产生出两个场,同时运动画面影片以每秒25帧(25p)播放。因此,两个随后的场包含源于同一帧并且表示同样的视频内容(特别是运动物体)的时间位置的信息。
当把运动画面影片转换为与NTSC标准一致的、具有60Hz场频(60i)的隔行扫描的信号时,采用3-2下拉技术把24Hz帧频转换成60Hz的场频。这种3-2下拉技术从一个给定的运动画面帧生成两个视频场,并从下一运动画面帧生成3个视频场。
图2图解了根据不同电视标准的、用于生成隔行扫描的视频序列的影视转换过程。采用的下拉技术产生了视频序列,该视频序列包括成对或三个一组相邻的、反映同一运动相位的场。只有源于不同影片帧的场之间才能计算出用于区别隔行扫描的图像序列的影视信号的场差。
对于画面改善处理,如果图像内容不包括运动物体,则不必考虑由隔行扫描的视频图像序列中的每个场反映的时间位置。然而,如果在要处理的场中存在运动物体,则需要考虑每个场的单独的运动相位。这样,画面改善处理需要指示单独的场的运动特性的信息,即,每个场是否反映单独的运动相位或者是否采用了下拉技术使得连续的场反映同样的运动相位。
如果连续图像之间无法检测出运动,则最好额外执行静止模式确定使得允许画面改善处理。为了这个目的,计算静止指示器。所述画面改善处理可以在收到所述静止指示器后执行奇场和偶场的再交织(re-interleaving)。
发明内容
本发明的目的是改善与图像数据相关的影片模式指示的质量,使得允许更恰当的画面质量改善处理。因此,本发明的目标是提供一种改进的、用于确定影片模式指示的方法和对应的影片模式检测器。
这是通过独立的权利要求的特性达到的。
根据本发明的第一方面,提供一种用于确定视频序列的图像的影片模式指示的方法。每个视频图像包括多个图像区域。根据对连续图像之间的运动的检测,为视频序列的每个图像确定全局影片模式指示,其中全局影片模式指示用来指示每个图像处于影片模式还是处于视频模式。根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部影片模式指示,其中局部影片模式指示用于指示图像区域处于影片模式还是处于视频模式。此外,根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部静止模式指示,其中局部静止模式指示用来指示是否检测到该图像区域的运动。如果检测到当前图像区域为静止模式,则根据检测到的全局影片模式指示的运动,确定当前图像区域的局部影片模式指示。
根据本发明的另一方面,提供一种用于确定视频序列的图像的影片模式指示的影片模式检测器。每个视频图像包括多个图像区域。该影片模式检测器包括全局影片模式检测器、局部影片模式检测器和局部静止模式检测器。全局影片模式检测器根据对连续图像之间的运动的检测,为视频序列的每个图像确定全局影片模式指示。全局影片模式指示用于指示每个图像处于影片模式还是处于视频模式。局部影片模式检测器根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部影片模式指示。局部影片模式指示用于指示图像区域处于影片模式还是处于视频模式。局部静止模式检测器根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部静止模式指示。静止模式指示用于指示是否检测到该图像区域的运动。如果对当前图像区域检测到静止模式,则局部影片模式指示器根据全局影片模式检测器检测到的运动,确定局部影片模式指示。
本发明的特别之处在于,允许画面改善处理同时提高画面质量。这是通过采用对视频图像的图像区域确定的、基于局部的影片和静止模式指示。为了增加局部影片模式指示的可靠性,对当前图像额外确定了局部静止模式指示。如果局部影片模式确定失败并且对该图像区域检测到静止模式,假如指示了全局影片模式,则根据由全局影片模式指示检测的图像间的运动,确定该图像区域的局部静止影片模式指示。以这种方式,可以跨过(bridge)影片模式确定的局部失败。此外,在混合模式的视频图像(即,包括不同影片和视频模式指示的图像区域的视频图像)中,可以可靠地控制影片模式指示的变换,即影片/视频模式变换,从而避免了间隙(gap)。以这种方式,防止不恰当的图像改善处理算法的应用和感觉的图像质量的相应下降。
最好,由对静止指示器的连续发生进行计数的计数器来延迟局部静止模式指示。可以准确地处理处于静止模式的图像区域而不丢失图像信息。
最好,只在影片模式和视频模式之间有延迟地切换局部影片模式指示的确定。在检测新的影片模式指示时,这样的延迟以临时和空间的偏移为代价增加影片模式指示的可靠性。通过纠正影片模式指示,可以准确地跨过第一个影像模式指示的结束和可靠检测的新的影片模式指示的开始之间的变换,并且阻止了不必要到视频模式的切换。
根据优选例,在检测新的影片模式指示之前,通过检测连续图像中对应位置的预定数量的新的影片模式指示,来实现延迟。以这种方式,大大增加检测的影片模式指示的可靠性。
最好根据运动位的检测,确定局部影片模式检测,其中运动位用来指示在连续图像中的对应位置的图像区域之间是否存在运动。把检测的运动位存储到FIFO寄存器,并且比较存储的运动位和预存储的运动模式。如果在存储的运动位序列中检测到预存储的模式,则检测出影片模式。以这种方式可靠地执行影片模式检测。
最好,通过检测连续图像之间的运动位指示来确定全局影片模式指示,其中该运动位指示在图像之间是否存在运动。把检测的运动位存储到FIFO寄存器中,并且将其与预存储的运动模式比较。如果检测到预存储的模式,则对当前图像确定影片模式。以这种方式执行可靠的全局影片模式确定。
最好,预存储的运动模式反映单独的运动画面影片-隔行扫描转换(motion picture film to interlaced conversion)模式。最好,这些转换模式包括2-2和3-2下拉模式。以这种方式,PAL和NTSC影视部分可以可靠地检测。
最好,通过计算连续图像的对应像素之间的绝对像素差、累加绝对像素差和比较累加结果和预定的阈值,来检测运动位。如果累加结果超出阈值,则检测出运动。因此,可以以简单可靠的模式检测运动。
最好,静止模式指示是二进制值。最好,静止模式指示用于指示是静止模式还是运动模式。
此外,影片模式指示是二进制值。最好,影片模式指示用于指示是影片模式还是视频模式。
尽管本发明的应用不限制图像区域的形状和大小,但最好使用以块的形式按照块光栅排列的图像区域。因此,允许简单而且可靠的处理。
本发明的优选实施例是从属的权利要求的主题。
附图说明
通过下面对优选实施例的描述,本发明其他实施例和优点将变得更加清楚,其中:
图1图解了把视频图像分成统一大小的多个块的例子,
图2图解了运动画面影片-隔行视频转换,
图3图解了源于由多个源组成的混合模式图像的示例图像,
图4图解了基于块的静止和影片模式检测器的示例配置,
图5图解了在隔行视频序列的连续场中的像素的垂直位置,
图6图解了检测静止模式的示例配置,
图7图解了用于NTSC和PAL视频序列的运动相位值表和对应的运动位预测,
图8图解了静止区域的影片运动位延续的示范性实施例,
图9图解了具有各自影片模式和静止模式检测的影视转换检测的结果的例子,和
图10图解了根据本发明图9中所示的例子的处理结果。
具体实施模式
本发明涉及数字信号处理,尤其涉及现代电视接收机中的数字信号处理。现代电视接收机采用上转换算法以增加再现的画面质量并增加显示频率。为了这个目的,从两个连续的图像生成中间图像。为了生成中间图像,不得不考虑物体的运动以恰当地使物体位置适应由补偿图像反映的时间点。
本发明最好在显示单元或图像增强设备中使用。为了采用更高的帧速率以避免隔行扫描线闪烁(interlaced line flicker)以及减少大区域闪烁,视频信号处理对于驱动逐行显示是非常必要的。此外,增强了在HDTV显示设备上显示的SD(standard definition)信号的分辨率。
经受影视转换过程的运动画面影片的检测(进一步称为运动画面模式),对于图像改善处理是关键性的。例如,可以通过隔行/逐行转换(I/P)实现图像增强。为了这个目的,通过再交织偶场和奇场执行反向的影视转换。在3-2下拉转换的情况下(如图2底部例子所示),可以除去单个冗余的场。由图2中灰色区域标记在3-2下拉转换期间的视频场的冗余重复。
更多先进的上转换算法采用运动估计和向量插值。输出帧速率可以是输入帧速率的奇分数。例如,从60Hz到72Hz的上转换对应于5∶6的比例。在这种转换期间,当生成运动物体连续运动印象时,从单个输入场中只能生成每第六个输出帧。
虽然现有技术的影片模式检测器仅对影片模式检测评估整个图像,但是影片模式特性可能随图像中的不同部分而不同。特别地,混合模式的图像由提供不同类型的图像数据的视频源构成。这些混合模式的序列主要由三种类型的图像内容组成:静止或不变区域(如图标、背景、OSD)、视频摄像区域(如新闻自动收报机(newsticker)、视频插入/层叠)和影片模式区域(如主影片、PIP)。特别地,像MPEG-4这样新的编码方案允许源于不同源的图像数据简单地组合在如图3中所示的单个重组的图像中。因此,单个场可能包括源于运动画面影片、源于视频摄像源和/或源于计算机生成的场景的数据。
现有运动画面模式检测器总是检测只覆盖当前图像大部分模式的“主要模式”。这种现有检测器可能导致在再现的图像中的错误,这是由于运动补偿没有考虑较小图像部分的特性。因此,应用于完整图像的反向影视转换处理将导致在那些图像区域中的不是源于运动画面影片的赝象。
此外,单个图像可以包括源于30Hz计算机动画的2-2下拉加上3-2下拉片段的图像部分。如果两种不同类型的影片模式出现在一个图像中,则在图像改善处理期间需要不同地处理各个图像部分。
当源于常规的2-2下拉的图像部分和源于反向2-2下拉的其他图像部分存在于同一图像中时,也需要不同的处理,其中反向2-2下拉图像具有相反顺序的奇场和偶场。
根据本发明,把每个图像分为多个块,以块为基础来执行静止和影片模式检测。这样,根据块来确定视频序列的特性,并且建立在其上的画面改善处理可以实现改善的画面质量。
对于影片和静止模式检测,需要三个连续的光栅中间亮度(raster neutralluminance)(Y)输入场。光栅中间度使相邻的相反极性的场能够比较。
根据每个块的像素差计算运动值。单个运动位指示是否检测到运动。根据运动位的序列,执行模式分析以确定下拉模式的存在和位置。在检测到下拉模式时,检测并指示影片模式。
同样地计算每个块的静止值并且推导出静止位,该静止位指示当前图像块没有运动。分析静止位序列来确定没有运动的连续状态,并且可以据此指示静止模式。
在图4中图解了基于块的影片模式检测器的示例配置。输入视频信号的亮度信息Y通过前置滤波电路130生成光栅中间的、低通滤波的图像信号N0。前置滤波防止由连续的场的不同光栅位置导致的垂直差被误解为运动。把经前置滤波的亮度分量N0存储到存储器141中,由场延迟设备143、145延迟两次,并且将延迟一个场周期的图像信号N1存储到存储器144,将延迟两个场周期的图像信号N2存储到存储器146。
根据如图1中所示的预定义的块光栅,把输入图像分成多个块。最好,每个图像在水平方向上包括90块,在垂直方向上对于NTSC视频序列包括60块而对PAL视频序列包括72块。
计算在连续图像对应位置的块之间的绝对像素差的总和SAPD。根据累加结果,检测到两个连续块之间运动的存在。
在单元150中执行图像块光栅和绝对像素差的计算。计算在场N0和N1、N1和N2还有场N0和N2的图像数据之间的同一块位置的三个SAPD值。
把计算的同一块位置的SAPD值施加到影片模式检测单元160和静止模式检测单元。后者比较SAPD值和自适应的阈值,如果SAPD值低于阈值,则设置静止位。影片模式检测单元160分别比较累加的差和自适应的阈值。根据比价结果,如果超过阈值并且检测到运动,则把运动位设置为1,否则设置为0。
将要和SAPD运动值比较用于检测运动的阈值根据图像内容设置为一个值。以这种方式,根据相对运动差考虑并估计小的SAPD运动值。
如果设置在对应位置上连续场的块的、确定的静止位,则计数器递增,如果该位被重置,则计数器递减(比较410)。比较该计数器值和可调整的延迟值,并且比较结果确定当前块的静止模式。
从所述块确定的运动位在运动寄存器中排队。如果当前块确定为静止,则不会发现运动位。此外,如果此外检测到最后图像为全局影片模式,则通过查找表(图7)的模式从全局运动寄存器推导出下一全局运动位,并将其在局部运动寄存器中排队。如果确定当前块的运动位,则立即重置静止计数器(比较410)从而重置静止模式。如果检测类似影片的运动,这防止任何块保持静止模式,并且避免来自错误的图像处理的运动赝象。
此外,比较本地运动寄存器和预存储的典型的如101或10010这样的影视转换模式。如果检测到影视转换模式,则确定各个图像块的影片模式。否则,确定各个图像块处于视频模式。
把确定的影像模式指示(F)和静止模式指示(S),连同静止计数器值和运动存储器一起为每个块存储,并且将其提供给存储器,以在连续的图像的确定期间使用并在附加的上转换单元中使用。
施加到本发明的影片模式检测器的视频信号最好与CCIR-601标准格式YUV-4:2:2一致。对于影片和静止模式检测,需要三个连续的光栅中间亮度(Y)输入场。光栅中间度使相反极性的相邻场能够比较。
如图5中所示,相邻场的偶线和奇线包含不同垂直位置(P1和P4相对于P2和P3)上的图像信息,该图像信息可能导致运动的误检测。为了避免这种运动误检测,预先通过把偶场内插到中线(half line)下移垂直位置,把奇场内插到中线上移位置,来计算光栅中间位置。
m*n像素的块大小用于图像格式。最好,块是矩形的,其中在水平方向上的像素数是在垂直方向上的像素数的两倍大。例如,块可以具有8*4像素的块大小。应当注意到,在隔行/逐行转换后,矩形块大小将采用正方形的形式。
为了在无法检测到连续图像之间的运动的情况下允许图像改善处理,最好另外执行静止模式确定。为了这个目的,计算静止指示器。图6中图解了静止模式检测器的示例配置。
输入视频信号的亮度信息Y通过前置滤波电路生成光栅中间的、低通图像N0。图像信号N0通过一个场周期延迟为场N1,并进一步通过另一个场周期延迟为场信号N2。以这种方式,不会把垂直变换误解为运动,并且可以相互比较连续的场。
对每个图像块,即场N0/N2、N1/N2和N0/N2间的图像块,计算绝对像素差总和SAPD。采用的块大小与影片模式检测采用的块大小相同。通过两个相邻场的同一空间位置XY的像素值P相减、反转负的差值并累加整个块的差,来计算块的SAPD。
为了消除视频噪声的影响,只有超过预定像素阈值PT的差被允许对累加的绝对像素差有所贡献。下式表示在连续的场N0和N1的图像区域执行的累加:
还计算在场N1/N2和场N0/N2之间的各自的SAPD值。
为了避免图像细节是相邻的块的部分并且被分别处理的情况,最好扩大块大小以便为影片模式确定考虑相邻块的图像细节。最好,在垂直和水平方向对块的维度加倍,从而采用2m*2n的块大小用于计算并将其分配给m*n维的物理块。
运动值SAPD02表示场N0和N2之间的帧运动。这个帧运动值是根据同一垂直像素位置的像素计算的(与直接相邻的场不同)。由于隔行的场结构,这个差值不包含任何垂直偏移的影响。为了确定没有运动,最好比较这个差和之前的帧运动差SAPD13。然而,由于存储器限制,通常只有两个中间场运动值是可用的,即运动值SAPD01和SAPD12。为了消除场结构对运动值SAPD的贡献,减去运动值SAPD01和SAPD12以生成中间帧运动的等效值。
为了达到非常可靠的指示,运动值SAPD01和SAPD12之间计算的场差与预定的量化操作符QS相乘。因此,根据下式执行静止位确定:
Stillbit=(SAPD02<QS*|SAPD01-SAPD12|)
预定的量化运算符QS最好具有在0和2之间的值。如果帧运动值小于阈值,则确定静止图像状态并且设置静止位。
静止模式检测是基于上面确定的由静止模式检测器估算的静止位序列,图6中图解了静止模式检测的结构。如果静止位被设置,则静止位使计数器410递增。否则,计数器410递减。当计数值超过预定的阈值420时,检测到各个图像区域的静止模式并且将其存储。
根据静止模式检测的结果,运动补偿和内插设备可以应用连续场F0和F1的再交织,以便达到基于逐行扫描图像格式的、改善的图像质量。
除了视频图像的局部特征,即影片模式和静止模式,本发明还建议另外计算全局影片模式指示。如果当前图像的全局影片模式指示是影片模式,则很有可能整个图像处于影片模式。如果检测到该图像的一些图像区域处于静止模式,则这些图像区域的运动寄存器没有任何检测的运动位。根据本发明,只有当检测到前一图像的全局影片模式时,才可以从全局运动寄存器通过LUT模式推导出这些图像区域的运动位。
特别地,本发明使得能够克服下面结合图8讨论的问题。当图像区域处于从静止模式到影片模式变换的时候出现问题。对影片模式检测进行延迟以增加检测可靠性。这导致不期望的严重补偿的间隙(gap),该间隙处于视频模式而该间隙相邻的模式为静止和影片模式。由于影片模式图像将被检测为影片模式,根据来自全局运动寄存器查找表LUT的运动位延续在这些静止区域的运动寄存器。
根据本发明,影片模式部分的运动模式保持不间断。在从静止模式到影片模式的变换期间有效阻止了视频模式间隙的引入。因此,可以正确再现影片模式视频图像中静止模式图像区域的边界,特别地同时提高了画面质量。此外,影片模式指示的位矩阵被绘制(render)的更均匀。
通常,全局运动位不存在于当前图像,而只在前一图像出现。根据优选实施例但不限于此,本发明从全局运动寄存器(比较图7)预测当前图像的全局运动位。根据之前检测的下拉模式延续运动相位。
为了可靠的下拉检测,对于PAL 2-2下拉转换需要检测两个运动相位,而为了检测NTSC 3-2下拉模式需要五个运动相位。因此,两种类型的同步检测需要评估7个连续的运动相位。
根据检测的下拉模式,通过增加当前运动相位值实现影片模式运动相位的预测。最好根据图7中所示的查找表LUT执行预测。图7列出了根据检测的运动模式的所有PAL和NTSC运动相位。据此,可以在下拉模式中把运动相位值包围起来。
根据图8中所示的配置,计算静止区域的相应连续的运动位。预测的运动位在当前块的运动寄存器中排队。以这种方式,通过延续以另一种模式检测的运动位,允许局部影片模式检测。
通过从两者中的切换选择局部影片模式寄存器的运动位。一个是局部确定的块运动位。另一个是从根据图7的LUT表中读出的运动位,其中从LUT中选择对应于全局运动寄存器的项。如果块处于静止模式并且指示全局影片模式,则选择后者。
以这种方式,本发明如下操作。当对当前块(包含在影片模式图像中)检测到静止模式时,对该块没有检测到运动。因此,运动寄存器只包含0。然而如果对当前图像检测到指示影片模式的全局影片模式指示,则把各个运动位插入当前块的运动寄存器中。因此,尽管当前块不允许任何运动检测,仍可以检测当前块的影片模式。
以这种方式,影片模式图像或图像部分中未组织的图像区域不会导致视频模式间隙。将在影片模式保持块。因此,对于像穿过场景的(未组织的)柱子这样轮廓尖锐的物体,可以成功地执行画面质量改善处理。
即使根据本发明把图像块设置为影片模式,模式也将是正确的确定并且被同时指示出。影片模式的额外指示不会对画面质量改善处理有不利影响。该处理可以采用例如优先权电路以优选静止模式而不是影片模式。
图9和图10中图解了应用本发明的例子。在图9图解了对影片模式图像中被设置为视频模式的静止区域的检测的同时,这些图像区域此外如图10中所示的那样被设置为影片模式。
总之,本发明允许正确将影片模式检测失败的图像区域维持于影片模式。特别地,在影片模式图像中未组织的图像区域不允许可靠的影片模式检测。因此,在画面改善处理期间,由于基于错误模式确定的不恰当的处理方案,这些静止图像区域的边界遭受画面质量下降。本发明还检测全局影片模式指示,并且采用检测的全局运动,用于对那些局部影片模式确定失败且检测到静止模式的图像区域进行局部影片模式确定。
Claims (26)
1.一种用于确定视频序列的图像的影片模式指示的方法,每个视频图像包括多个图像区域,该方法包括步骤:
根据对连续图像之间的运动的检测,为视频序列的每个图像确定全局影片模式指示,所述全局影片模式指示用来指示每个图像是处于影片模式还是处于视频模式;
根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部影片模式指示,所述影片模式指示用来指示图像区域是处于影片模式还是处于视频模式;
根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部静止模式指示,所述的静止模式指示用来指示是否检测到该图像区域的运动,
其中,如果已经对当前图像区域检测到静止模式,则根据对全局影片模式指示检测到的运动,确定当前图像区域的所述局部影片模式指示。
2.如权利要求1所述的方法,其中所述局部影片模式确定包括步骤:
检测指示在连续图像中的对应位置的图像区域之间是否存在运动的运动位;
将所检测到的运动位存储到FIFO寄存器;
比较所存储的运动位和预存储的运动模式;及
如果检测到预存储的模式,则确定影片模式。
3.如权利要求1或2所述的方法,其中所述全局影片模式确定包括步骤:
检测指示在连续的图像之间是否存在运动的运动位;
将所检测到的运动位存储到FIFO寄存器;
比较所存储的运动位和预存储的运动模式;及
如果检测到预存储的模式,则确定影片模式。
4.如权利要求3所述的方法,其中,如果已经对当前块检测到静止模式,则根据在全局运动检测期间确定的运动位确定所述局部影片模式。
5.如权利要求4所述的方法,其中,根据预定规则从对全局运动确定所确定的所述运动位中,获得关于局部影片模式确定的当前运动位。
6.如权利要求5所述的方法,其中,从查找表中获得提供给所述局部影片模式确定的所述运动位。
7.如权利要求2到6中的任一权利要求所述的方法,其中,所述预存储的运动模式反映单独的运动画面影片-隔行扫描转换模式。
8.如权利要求7所述的方法,其中所述运动画面影片-隔行转换模式包括2-2和/或3-2下拉模式。
9.如权利要求2到8中的任一权利要求所述的方法,其中检测运动位的所述步骤包括步骤:
计算所述连续图像的对应像素之间的绝对像素差;
累加所述绝对像素差;
将所述累加结果与预定的阈值比较,及
如果所述累加结果超过所述的阈值,则确定存在运动。
10.如权利要求1到9中的任一权利要求所述的方法,其中,所述影片模式指示是二进制值。
11.如权利要求1到10中的任一权利要求所述的方法,其中,如果对预定数量的连续图像没有检测到运动,则确定所述静止模式。
12.如权利要求1到11中的任一权利要求所述的方法,其中,所述视频图像包括多个以块的形式按照块光栅排列的图像区域。
13.一种用于执行视频序列的运动补偿图像处理的方法,包括步骤:
根据权利要求1到12中的任一权利要求确定关于视频序列的影片模式指示;及
根据所确定的影片模式指示,执行运动补偿图像处理。
14.一种用于确定视频序列的图像的影片模式指示的影片模式检测器,每个视频图像包括多个图像区域,该影片模式检测器包括:
全局影片模式检测器,用于根据对连续图像之间的运动的检测,为视频序列的每个图像确定全局影片模式指示,所述的全局影片模式指示用于指示每个图像是处于影片模式还是处于视频模式,
局部影片模式检测器,用于根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部影片模式指示,所述的局部影片模式指示用于指示图像区域处于影片模式还是处于视频模式,和
局部静止模式检测器,用于根据对连续图像的对应图像区域之间的运动的检测,为每个图像区域确定局部静止模式指示,所述的静止模式指示用于指示是否检测到该图像区域的运动,
其中,如果对当前图像区域检测到静止模式,则所述的局部影片模式指示器根据检测的、用于所述全局影片模式指示的运动,确定当前图像区域的局部影片模式指示。
15.如权利要求14所述的影片模式检测器,其中所述的局部影片模式检测器包括:
运动位检测器,用于检测运动位,其中该运动位指示在连续图像中的对应位置上的图像区域之间是否存在运动;
FIFO寄存器,用于存储检测的运动位;和
比较器,用于比较存储的运动位和预存储的运动模式,并且如果检测到预存储的模式,则用于确定影片模式。
16.如权利要求14或15所述的影片模式检测器,其中所述的全局影片模式检测器包括:
运动位检测器,用于检测运动位,其中该运动位指示在连续的图像之间是否存在运动;
FIFO寄存器,用于存储检测的运动位;和
比较器,用于比较存储的运动位和预存储的运动模式,并用于如果检测到预存储的模式,则确定影片模式。
17.如权利要求16所述的影片模式检测器,其中,所述的局部影片模式检测器采用由全局运动检测器确定的运动位。
18.如权利要求17所述的影片模式检测器,还包括切换设备,该切换设备用于选择当前确定的局部运动位或基于检测的全局运动的运动位。
19.如权利要求17或18所述的影片模式检测器,还包括查找表,该查找表用于根据收到的全局运动位序列输出运动位。
20.如权利要求15到19中的任一权利要求所述的影片模式检测器,其中所述的预存储的运动模式反映单独的运动画面影片-隔行转换模式。
21.如权利要求20所述的影片模式检测器,其中所述运动画面影片-隔行转换模式,包括2-2和/或3-2下拉模式。
22.如权利要求15到21中的任一权利要求所述的影片模式检测器,其中所述的运动位检测器包括:
计算器,用于计算所述连续图像的对应像素之间的绝对像素差;
累加器,用于累加所述绝对像素差;
比较器,用于将所述累加结果与预定的阈值比较,并且如果所述累加结果超出所述的阈值,则用于确定存在运动。
23.如权利要求14到22中任一权利要求所述的影片模式检测器,其中所述的影片模式指示是二进制值。
24.如权利要求14到23中任一权利要求所述的影片模式检测器,其中,如果没有检测到预定数量的连续图像的运动,则所述的静止模式检测器确定静止模式。
25.如权利要求14到24中任一权利要求所述的影片模式检测器,其中所述的视频图像包括多个以块的形式按照块光栅排列的图像区域。
26.一种用于执行视频序列的运动补偿图像处理的运动补偿器,包括:
根据权利要求14到25中任一权利要求的影片模式检测器,和
图像处理器,用于根据确定的影片模式指示执行运动补偿图像处理。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP04010294.9 | 2004-04-30 | ||
EP04010294A EP1592246A1 (en) | 2004-04-30 | 2004-04-30 | Film mode determination in video image still areas |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1694498A true CN1694498A (zh) | 2005-11-09 |
CN100433791C CN100433791C (zh) | 2008-11-12 |
Family
ID=34924799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB200510066743XA Expired - Fee Related CN100433791C (zh) | 2004-04-30 | 2005-04-30 | 在静止区域的影片模式纠正 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20050259950A1 (zh) |
EP (1) | EP1592246A1 (zh) |
JP (1) | JP4421508B2 (zh) |
KR (1) | KR20060047638A (zh) |
CN (1) | CN100433791C (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101076104B (zh) * | 2006-05-19 | 2011-06-29 | 深圳艾科创新微电子有限公司 | 电影模式的检测方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1850589A1 (en) * | 2006-03-29 | 2007-10-31 | Sony Deutschland Gmbh | Method for video mode detection |
DE602006006805D1 (de) † | 2006-04-18 | 2009-06-25 | Vestel Elekt Sanayi Ve Ticaret | Verfahren und System für die Bildseitenverhältnisumwandlung eines Videobildes |
TWI327863B (en) * | 2006-06-19 | 2010-07-21 | Realtek Semiconductor Corp | Method and apparatus for processing video data |
JP2008028507A (ja) * | 2006-07-19 | 2008-02-07 | Sony Corp | 画像補正回路、画像補正方法および画像表示装置 |
JP4157579B2 (ja) * | 2006-09-28 | 2008-10-01 | シャープ株式会社 | 画像表示装置及び方法、画像処理装置及び方法 |
WO2008081386A1 (en) * | 2007-01-03 | 2008-07-10 | Koninklijke Philips Electronics N.V. | Film cadence detection |
KR101419892B1 (ko) | 2007-12-07 | 2014-07-16 | 삼성전자주식회사 | 수신기 및 이를 포함하는 통신 시스템 |
JP4510874B2 (ja) * | 2007-12-28 | 2010-07-28 | 富士通株式会社 | 合成映像検出装置 |
JP5206313B2 (ja) | 2008-10-27 | 2013-06-12 | 富士通株式会社 | コーミングノイズ検出装置、コーミングノイズ検出方法 |
TWI500316B (zh) * | 2010-04-15 | 2015-09-11 | Himax Media Solutions Inc | 水平移動字幕的去交錯方法 |
TWI412268B (zh) * | 2010-04-15 | 2013-10-11 | Himax Media Solutions Inc | 水平移動字幕的去交錯方法 |
US9148620B2 (en) * | 2011-04-11 | 2015-09-29 | Intel Corporation | Detecting video formats |
US8520140B2 (en) * | 2011-10-12 | 2013-08-27 | Intel Corporation | Mode based film mode detection |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5010401A (en) * | 1988-08-11 | 1991-04-23 | Mitsubishi Denki Kabushiki Kaisha | Picture coding and decoding apparatus using vector quantization |
US4982280A (en) * | 1989-07-18 | 1991-01-01 | Yves C. Faroudja | Motion sequence pattern detector for video |
US5247353A (en) * | 1989-11-08 | 1993-09-21 | Samsung Co., Ltd. | Motion detection system for high definition television receiver |
US5317398A (en) * | 1992-08-17 | 1994-05-31 | Rca Thomson Licensing Corporation | Video/film-mode (3:2 pulldown) detector using patterns of two-field differences |
JP3217789B2 (ja) * | 1992-11-17 | 2001-10-15 | 富士通株式会社 | ディジタル画像通信装置 |
US5521644A (en) * | 1994-06-30 | 1996-05-28 | Eastman Kodak Company | Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields |
EP0697788A3 (en) * | 1994-08-19 | 1997-03-26 | Eastman Kodak Co | Adaptive and global motion compensated cancellation of the interlacing of successive video images with post-processing |
US5563651A (en) * | 1994-12-30 | 1996-10-08 | Thomson Consumer Electronics, Inc. | Method and apparatus for identifying video fields produced by film sources employing 2-2 and 3-2 pull down sequences |
US5602654A (en) * | 1995-01-06 | 1997-02-11 | National Science Council | Contour-sensitive, single-field deinterlacing method |
US5784115A (en) * | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
DE69836473T2 (de) * | 1997-09-23 | 2007-09-20 | Koninklijke Philips Electronics N.V. | Bewegungsschätzung und bewegungskompensierte interpolation |
EP1013089B1 (en) * | 1997-10-06 | 2005-06-22 | Silicon Image, Inc. | Digital video system and methods for providing same |
US6358245B1 (en) * | 1998-02-19 | 2002-03-19 | Curon Medical, Inc. | Graphical user interface for association with an electrode structure deployed in contact with a tissue region |
EP0951181A1 (en) * | 1998-04-14 | 1999-10-20 | THOMSON multimedia | Method for detecting static areas in a sequence of video pictures |
US6700622B2 (en) * | 1998-10-02 | 2004-03-02 | Dvdo, Inc. | Method and apparatus for detecting the source format of video images |
US6553150B1 (en) * | 2000-04-25 | 2003-04-22 | Hewlett-Packard Development Co., Lp | Image sequence compression featuring independently coded regions |
EP1352528A1 (en) * | 2001-01-11 | 2003-10-15 | Koninklijke Philips Electronics N.V. | Recognizing film and video objects occuring in parrallel in single television signal fields |
US7139019B2 (en) * | 2001-06-05 | 2006-11-21 | Sony Corporation | Image processing device |
KR100393066B1 (ko) * | 2001-06-11 | 2003-07-31 | 삼성전자주식회사 | 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법 |
US7375760B2 (en) * | 2001-12-31 | 2008-05-20 | Texas Instruments Incorporated | Content-dependent scan rate converter with adaptive noise reduction |
KR100902315B1 (ko) * | 2002-07-25 | 2009-06-12 | 삼성전자주식회사 | 디인터레이싱장치 및 방법 |
-
2004
- 2004-04-30 EP EP04010294A patent/EP1592246A1/en not_active Withdrawn
-
2005
- 2005-04-27 JP JP2005130599A patent/JP4421508B2/ja not_active Expired - Fee Related
- 2005-04-28 US US11/116,191 patent/US20050259950A1/en not_active Abandoned
- 2005-04-29 KR KR1020050036081A patent/KR20060047638A/ko not_active Application Discontinuation
- 2005-04-30 CN CNB200510066743XA patent/CN100433791C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101076104B (zh) * | 2006-05-19 | 2011-06-29 | 深圳艾科创新微电子有限公司 | 电影模式的检测方法 |
Also Published As
Publication number | Publication date |
---|---|
EP1592246A1 (en) | 2005-11-02 |
JP2005318624A (ja) | 2005-11-10 |
KR20060047638A (ko) | 2006-05-18 |
CN100433791C (zh) | 2008-11-12 |
US20050259950A1 (en) | 2005-11-24 |
JP4421508B2 (ja) | 2010-02-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1694498A (zh) | 在静止区域的影片模式纠正 | |
US6509930B1 (en) | Circuit for scan conversion of picture signal using motion compensation | |
US7170562B2 (en) | Apparatus and method for deinterlace video signal | |
CN1694503A (zh) | 在视频序列中的胶片方式检测 | |
US7612827B2 (en) | Image processing apparatus and method | |
CN1694500A (zh) | 视频序列中的文字收报机处理 | |
CN1694497A (zh) | 块模式自适应运动补偿 | |
US20030112369A1 (en) | Apparatus and method for deinterlace of video signal | |
TW200850005A (en) | Method for motion-compensated frame rate up-conversion | |
WO2008152951A1 (en) | Method of and apparatus for frame rate conversion | |
JP2006270823A (ja) | 画像レート変換方法及び画像レート変換装置 | |
JP2005045803A (ja) | 2:2プルダウンシーケンスの判別装置およびその方法 | |
US20050018767A1 (en) | Apparatus and method for detecting film mode | |
CN1265634C (zh) | 图像格式转换装置及其方法 | |
CN1694501A (zh) | 反胶片模式外插 | |
CN100477775C (zh) | 图像状态信息校正 | |
CN1694496A (zh) | 影片模式外推法 | |
JP4936857B2 (ja) | プルダウン信号検出装置、プルダウン信号検出方法及び順次走査変換装置 | |
CN100466684C (zh) | 视频序列的辅助数据的处理 | |
JP4433949B2 (ja) | 画像処理装置及び方法 | |
US8170370B2 (en) | Method and apparatus of processing interlaced video data to generate output frame by blending deinterlaced frames | |
JP4356468B2 (ja) | 映像信号処理装置 | |
Lin et al. | Motion adaptive de-interlacing with horizontal and vertical motions detection | |
JP2006041619A (ja) | 画像処理装置 | |
An et al. | Improved picture-rate conversion using classification-based LMS-filters |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20081112 Termination date: 20130430 |