CN100586151C - 检测视频图像序列中的胶片方式的方法和胶片方式检测器 - Google Patents

Abstract

本发明使得能够确定独立图像区域的胶片方式(film mode)特性，以便适当地反映局部图像特性。通过在局部基础上检测图像特性，因为避免了由于错误的全局改善处理的应用而导致的人为失真，所以画面改善处理获得更好的结果。

Description

检测视频图像序列中的胶片方式的方法和胶片方式检测器

技术领域

本发明涉及一种改进的胶片方式检测。具体上，本发明涉及用于检测在视频图像序列中的胶片方式的方法和对应的胶片方式检测器。

背景技术

本发明用于画面改进算法，其特别用于现代电视接收机的数字信号处理中。具体上，现代电视接收机执行帧速率变换——特别是以使用帧重复的上变换或运动补偿上变换的形式——以提高再现的图像的画面质量。例如对于具有50Hz到诸如60Hz、66.67Hz、75Hz、100Hz等的较高频率的场或帧频率的视频序列执行运动补偿上变换。50Hz输入信号频率主要适用于基于PAL或SECAM标准的电视信号广播，而基于NTSC的视频信号具有60Hz的输入频率。60Hz输入视频信号可以被上变换为诸如72Hz、80Hz、90Hz等的较高频率。

在上变换期间，要产生多个中间图像，它们在不由50Hz或60Hz输入视频序列表示的时间位置上反映视频内容。为此，需要考虑对象的运动以便适当地反映在由对象运动引起的随后图像之间的改变。在块基础上计算对象的运动，并且根据在在前和随后图像之间新产生的图像的相对时间位置来执行运动补偿。

对于运动向量确定，每个图像被划分为多个块。对每个块进行运动估计以便检测对象与在前图像的移位。

与诸如PAL或NTSC信号的隔行扫描视频信号相反，运动画面数据由完全帧组成。运动画面数据的最普遍的帧速率是24Hz(24p)。当将运动画面数据转换以显示在电视接收机(这个变换被称为电视电影(telecine))时，通过使用“下拉(pull down)”技术来将24Hz帧速率转换为隔行扫描的视频序列。

为了将运动画面胶片转换为具有50Hz(50i)的场速率的、符合PAL标准的隔行扫描信号，使用一种2-2下拉技术。所述2-2下拉技术从每个胶片帧产生两个场，以每秒25帧(25p)来播放运动画面胶片。因此，两个连续的场包括从同一帧产生并且表示视频内容——特别是运动对象——的相同时间位置的信息。

当将运动画面胶片转换为具有60Hz(60i)的场速率的、符合NTSC标准的隔行扫描信号时，使用一种3-2下拉技术来将24Hz的帧速率转换为60Hz场速率。这种3-2下拉技术从给定的运动画面帧产生两个视频场，并且从下一个运动画面帧产生三个视频场。

在图2中图解了按照不同的电视标准来产生隔行扫描视频序列的电视电影变换处理。所使用的多种下拉技术产生视频序列，其中包括反映相同运动相位的成对或三个一组的相邻场。仅仅可能在从不同胶片帧产生的场之间计算用于将电视电影信号与隔行扫描图像序列相区分的场差。

对于画面改善处理，如果图像内容不包括运动对象，则不必考虑由在隔行扫描视频图像的序列中的每个场反映的时间位置。但是，如果在要处理的场中存在运动对象，则需要考虑每个场的独立运动相位。因此，画面改进处理需要指示独立场的运动特性的信息、即，每个场是否反映独立的运动相位或是否已经使用了下拉技术，以便随后的场反映相同的运动相位。

图3中图解了画面改进处理的示例。在图3上部所述的示例图解了从表示相同运动相位的两个场产生逐行扫描图像数据。这样的处理基于表示相同运动相位的随后场的知识，其可以从电视电影处理中产生。只有当可以可靠地检测输入视频序列的图像是否产生自电视电影变换处理并且识别出属于同一运动相位的那两个图像时，才实现画面质量改进。

图3的底部描绘的第二示例图解了当将从电视电影处理产生并且具有给定的场频率的图像的隔行扫描序列转换为另一个图像频率的图像序列时，产生移动对象的连续运动。当识别属于同一运动相位的输入图像序列的那些图像时，可以产生反映相应的运动相位的中间输出图像。

在例如EP-A-1 198 137中描述了用于检测胶片方式的已知方法和胶片方式检测器。

发明内容

本发明旨在进一步改进胶片方式检测和提供一种胶片方式检测的改进方法和一种改进的胶片方式检测器。

按照本发明的第一方面，提供了一种用于检测在视频图像序列中的当前图像的图像区域的胶片方式的方法。所述当前图像包括多个图像区域，并且对于每个图像区域独立地进行胶片方式检测。

按照本发明的另一个方面，提供了一种胶片方式检测器，用于检测在视频图像序列中的当前图像的图像区域的胶片方式。所述当前图像包括多个图像区域，并且对于每个图像区域独立地进行胶片方式检测。

本发明的特殊手段是对于整个图像的图像区域独立地执行胶片方式检测。以这种方式，可以将图像的胶片方式特性确定为图像部分的局部特性。因此，可以准确地处理混合方式图像，其包括产生自不同来源——诸如运动画面、静止或视频插入、重叠部分等——的图像内容。虽然现有技术胶片方式检测手段仅仅确定整个场的胶片方式特性而不在不同的图像部分之间区分，但是本发明使得能够将画面改善处理适配到独立图像区域的局部特性。

最好，视频图像被划分为多个块，并且在块基础上执行胶片方式检测。因此，可以独立地对于每个块确定胶片方式特性。

最好，对于用于运动估计的同一块结构确定胶片方式。以这种方式，画面改善处理可以基于运动向量和相应的胶片方式指示，以便当考虑运动矢量和在对应位置的随后块的胶片方式检测结果时，可以合理地解释运动向量的大小。

最好，为了胶片方式检测的目的，按相邻块的预定部分放大每个块，以便增强确定精度。

最好，胶片方式检测基于运动检测。通过评估在随后图像中的对应位置的图像区域之间的运动，可以精确地检测胶片方式。

最好，运动检测基于在随后图像中的对应位置的图像区域之间的像素差的计算和组合。

最好，当所累积的像素差超过预定阈值时检测运动。最好，可变地设置阈值。以这种方式，可以使运动检测适应于图像内容或在图像中存在的噪音。

最好，按照相应图像区域位置的在前确定的累积像素差的大小来设置阈值。最好，将先前计算的像素差乘以预定的系数值。于是，可以以简单方式精确地设置阈值。

最好，确定来自多个预存运动模式的特定运动模式。通过提供一组预定的运动模式，可以检测特定的胶片方式，并且可以确定所检测的胶片方式的特定运动相位。

最好，预存的运动模式包括从诸如2-2或3-2之类的不同电视电影变换模式产生的运动模式。

为了避免从和向胶片方式检测的频繁转换，延迟转换以便仅仅在检测到预定数量的相同方式确定时，进行从和向胶片方式的转换。

最好，所确定的结果被存储在存储器中，特别是存储所确定的胶片方式指示和所检测的运动模式。以这种方式，可以以简单的方式来执行可靠的胶片方式指示。

最好，所述视频序列是隔行扫描的视频序列，并且图像在进行胶片方式检测之前进行垂直滤波。于是，避免了由在随后的顶部和底部场中的相邻行的不同位置引起的随后场之间的错误运动检测，并且对应地改善了胶片方式检测的精度。

最好，进行附加的视频方式检测。如果根据视频方式确定的胶片方式指示和胶片方式确定不对应，则使视频方式确定优先于胶片方式确定。

最好，视频方式确定基于在随后场中的对应位置的图像区域的连续运动模式的检测。

最好，胶片方式确定基于在随后图像的对应位置的图像区域的多个预存运动模式之一的检测。运动模式指示当前图像区域的运动相位以及特定的运动相位方案。以这种方式，可以确定在特定的下拉方案内的每个图像区域的独立位置。

最好，如果对于当前图像区域来说运动模式确定失败，则根据对于在前图像的对应位置的图像区域检测的运动模式来确定当前图像区域的运动相位。以这种方式，当出现胶片方式确定的个别失败时，可以防止在图像改善处理期间的画面质量变差。

附图说明

通过下面对于优选实施例的说明，本发明的其他实施例和优点将变得更清楚，其中：

图1图解了将视频图像划分为多个均匀大小的块，

图2图解了将运动画面图像转换为按照PAL和NTSC电视广播标准的图像的隔行扫描序列，

图3图解了基于产生自运动画面数据的隔行扫描图像的画面改善处理的两个示例，

图4图解了包括来自多个源的图像部分的混合方式视频图像的示例，

图5图解了按照本发明的基于块的胶片方式检测器的示例配置，

图6图解了基于块的胶片方式检测结果的示例，

图7图解了在隔行扫描视频序列的顶部和底部场中的相邻像素位置，

图8图解了隔行扫描视频序列的场的光栅中间(raster neutral)位置的产生，

图9a图解了将视频图像划分为多个块的示例分割和对于每个块确定和存储的数据，

图9b图解了块尺寸确定的示例和以预定部分来放大。

图10图解了基于运动模式分析的胶片方式检测。

图11图解了基于运动模式分析的视频方式检测，

图12图解了静止方式检测器的示例配置，

图13图解了在图4所示的输入视频图像的示例检测结果，

图14图解了预存的运动模式和胶片方式检测的对应运动相位的示例，

图15图解了逐步的胶片方式侵蚀的示例。

具体实施方式

本发明涉及数字信号处理，特别涉及在现代电视接收机中的信号处理。现代电视接收机使用上变换算法，以便提高所再现的画面质量并且提高显示频率。为此，要从两个随后的图像产生中间图像。为了产生中间图像，需要考虑对象的运动，以便将对象位置适当地适配到由补偿图像反映的时间点。

最好，本发明用于显示单元或图像增强器件。固有地需要视频信号处理来驱动逐行扫描显示器，以便使用较高的帧速率而避免隔行扫描行闪烁和减小大面积闪烁。而且，增强了显示在HDTV显示器上的SD(标准清晰度)信号的分辨率。

接收电视电影处理(还被称为胶片方式)的运动画面胶片的检测对于画面改善处理是关键的。例如，可以通过隔行扫描/逐行扫描转换(I/P)来实现图像增强。为此，通过重新交织偶数和奇数场来进行反向电视电影处理。在3-2下拉变换的情况下(如图2的底部示例所示)，可以消除单个冗余场。在图2中以灰色场来标注在3-2下拉变换期间视频场的冗余重复。

更先进的上变换算法使用运动估计和向量内插。输出帧速率可以是输入帧速率的奇数比(uneven fraction)，例如，60Hz到72Hz的上变换对应于5对6的比率。在这样的变换期间，当产生运动对象的运动的连续效果时，可以从单个输入场仅仅产生每个第六个输出帧。

虽然现有技术胶片方式检测器对于胶片方式检测仅仅评估整个图像，但是胶片方式特性可能对于在图像内的不同部分而不同。具体上，提供不同类型的图像数据的视频源组成混合方式的图像。这些混合方式序列主要包括三种图像内容：静止或不变的区域(例如徽标、背景、OSD)、视频摄像机区域(例如新闻滚动显示(new ticker)，视频插入/叠加)和胶片方式区域(例如主电影，PIP)。具体上，诸如MPEG-4的新编码方案允许以简单的方式、在例如图4所示的单个重新组装的图像内组合来自不同源的图像数据。因此，单个场可以包括来自运动画面胶片、来自摄像机源和/或来自计算机产生的场景的数据。

传统的胶片方式检测器总是检测仅仅覆盖图像的最大部分所具有的方式的“主要方式”。当运动补偿器不考虑较小图像部分的特性时，这样的传统检测器可能引起在所再现的图像中的错误。因此，施加到完整图像的反向电视电影处理将在不产生自运动画面胶片的那些图像区域中引起人为失真(artefact)。

而且，单个图像可以包含来自30Hz的计算机动画的2-2下拉和另外的3-2下拉分段的图像部分。如果两个不同类型的胶片方式出现在单个图像中，则在图像改善处理期间需要不同地处理相应的图像部分。

当在同一图像中存在来自正规的2-2下拉的图像部分和来自反向2-2下拉的其他图像部分的时候，也需要不同的处理，其中，所述反向2-2下拉图像具有反向顺序的奇数和偶数场。

本发明的特殊手段是将每个图像划分为多个块，并且在块基础上执行胶片方式检测。因此，在块基础上确定视频序列的特性，并且以其为基础的画面改善处理可以获得改善的画面质量。

对于胶片方式检测，需要三个随后的光栅中间亮度(Y)输入场。光栅中间使得能够比较相反奇偶性的相邻场。

根据每个块的像素差来计算运动值。单个运动比特指示是否已经检测到运动。根据运动比特序列，执行模式分析，以便确定下拉模式的存在和位置。

根据确定结果，运动补偿器在块基础上执行运动补偿，其中，考虑(基于运动向量的)运动、所检测的方式(胶片方式、视频方式、静止)和独立的运动相位。

图5中图解了基于块的胶片方式检测器的示例配置。输入的视频信号(即，其有效部分)被施加到RAM存储器110。存储器110具有三个场的存储容量，用于存储随后的场F0、F1和F2。场F0和F2具有相同的奇偶性和光栅位置，场F1具有相反的奇偶性和光栅位置。

输入视频信号的亮度信息Y通过预滤波器电路130以产生光栅中间的、低通滤波的图像信号N0。预滤波防止了由随后的场的不同光栅位置引起的垂直差被误解为运动。预滤波的亮度分量N0被存储在存储器141中，被场延迟装置143和145延迟两次，并且在存储器144中存储为被延迟一个场周期的图像信号N1，并且在存储器146中存储为被延迟两个场周期的图像信号N2。

按照在例如图1中图解的预定块光栅，输入图像被划分为多个块。最好，每个图像包括在水平方向上的90个块和在垂直方向上的、用于NTSC视频序列的60个块和用于PAL视频序列的72个块。

在随后图像的对应位置的块之间，计算绝对像素差SAPD的和。根据累加结果，检测在两个连续块之间存在的运动。

在分段和SAPD单元150中执行图像分段和绝对像素差的计算。对于在场N0和N1以及此外在场N1和N2的图像数据之间的相同块位置计算两个SAPD值。

对于相同块位置计算的SAPD值(S)被施加到胶片方式检测单元160。胶片方式检测单元160分别将多个累加的差与自适应阈值相比较。根据比较结果，如果阈值被超过并且检测到运动则将运动比特设置为1，否则设置为0。

将要与用于运动检测的SAPD运动值比较的阈值设置为基于图像内容的值。以这种方式，根据相对运动差来考虑和评估小SAPD运动值。

将从对应位置的随后场的块确定的运动比特与诸如101或10010的预存典型电视电影模式相比较。如果检测到电视电影模式，则对于相应的图像分段确定胶片方式。否则，将相应的图像分段确定为在视频方式中。

而且，胶片方式检测单元160分析当前的运动模式，以便确定在所确定的下拉方案内的当前图像分段的运动相位。

图6中示出了完整图像的胶片方式检测结果的示例。

对于每个块存储胶片方式检测结果。如图5所示，一方面，所确定的胶片方式指示(F)被转送到运动估计单元170，另一方面，被提供到存储器175以在随后图像的胶片方式确定期间使用。

另外，运动估计电路170从作为用于确定运动向量的时空预测器的分段和SAPD单元150接收运动值。

胶片方式检测结果F以及运动相位信息和由运动估计电路170确定的运动向量V被施加到去分段电路180。去分段电路180将来自每个图像分段的结果相关联，并且最好通过应用两步处理来执行分段侵蚀(erosion)。于是，提高的分辨率和平滑的过渡E被实现并且被施加到运动补偿电路120。

运动补偿电路120——具体上作为部分隔行扫描/逐行扫描变换单元——从存储器110选择相应的图像数据，用于提供改善的输出图像信号(O)以显示在显示器190上。

如果胶片方式检测确定图像对象的位置在两个随后的场之间不是不同并且通过输入图像位置来表示输出图像位置，则执行反向电视电影处理(即，重新交织)。但是，如果随后的场涉及不同的运动相位或输出图像位置不由输入图像位置表示，则根据对于胶片方式和视频方式图像分段的基于运动向量补偿的形式进行相应图像分段的图像处理。

被施加到本发明的胶片方式检测器——具体是运动补偿隔行扫描/逐行扫描变换器单元——的视频信号最好按照CCIR-601标准格式YUV-4:2:2。对隔行扫描的视频信号进行预滤波，以便产生光栅中间图像。如图7所示，相邻场的偶数和奇数行包括在不同垂直位置(与P2和P3相对的P1和P4)的图像信息，这可能导致运动的误检测。为了避免这样的运动误检测，提前通过向下移位半行的垂直位置内插偶数场和向上移位半行的位置内插奇数场来计算光栅中间(raster neutral)位置。

这样的垂直预滤波的优选实施例是8抽头FIR滤波器，它对于每个场类型、即，顶部和底部场具有反转的系数。图8图解了用于产生随后场的光栅中间位置的8抽头FIR滤波器的一个示例。应当注意，逐行扫描类型的图像输入序列不要求胶片方式检测的相应预处理。

m*n像素的块大小被适配到图像格式。最好，所述块是矩形，其中，在水平方向的像素数量是在垂直方向的像素数量的两倍。例如，块可以具有8*4像素的块大小。应当注意，在隔行扫描/逐行扫描变换后，矩形块大小将采用正方形格式。

如上所述，图5的图像分段和SAPD单元150通过下述方式来累加每个块的绝对像素差：即，通过减去同一空间位置P_x，y的两个相邻场的像素值，并且独立地累加每个块的绝对差。

为了消除视频噪音的影响，仅仅允许超过预定像素阈值PT的差来对所累加的绝对像素差起作用。下面的方程表达了对于在随后场N0和N1中的图像区域执行的累加：

$\mathrm{SAP}{D}_{01}=\underset{x=0}{\overset{2m}{\mathrm{\Σ}}}\underset{y=0}{\overset{2n}{\mathrm{\Σ}}}\left(\right|P_{x,y}\left(N0\right)-P_{x,y}\left(N1\right)\left|\right),$ 如果|P(N0)-P(N1)|＞PT

也在场N1/N2之间和在场N0/N2之间计算各自的SAPD值。

为了避免图像细节是相邻块的部分并且被不同的处理，最好，将块大小放大，以便对于胶片方式确定考虑相邻块的图像细节。最好，在垂直和水平方向上都加倍块尺寸，使得使用2m*2n的块大小。这在图9b中被图解。

上述方程的值SAPD₀₁表示在场N0和N1之间计算的当前块的绝对运动值。根据所计算的绝对运动值，检测电视电影特性。为此，将所计算的绝对运动值SAPD₀₁与阈值相比较。最好，所述阈值是自适应的，以便当仅仅存在很少运动时也获得可靠的结果。

所述阈值可以在外部设置，或者最好，根据在先前场N1和N2之间的预先选择的运动值SAPD₁₂来确定所述阈值。这种手段的特别优点是自动将阈值设置为适当的值。

电视电影材料的SAPD值具有重复的运动/非运动交替的特性。在不同运动相位的场之间计算的SAPD值的大小具有大于在表示相同运动相位的场之间计算的SAPD值的数量级。来自MPEG编码/解码、来自噪音和不合宜的预滤波残余(例如来自滤波器功能的过冲)的图像不利影响精确的运动/非运动确定。为了使能可靠的运动检测，将先前的运动值SAPD₁₂乘以预定的量化运算符QM。最好，在值1和2之间设置所述量化运算符QM。

通过下面的方程来表达使用自适应阈值的运动检测：

Motionbit＝(SAPD₀₁＞QM*SAPD₁₂)

因此，如果当前运动值SAPD₀₁超过前一个运动值SAPD₁₂乘以预定量化运算符QM的值，则检测运动相位。

随后计算的运动比特被施加到FIFO序列寄存器。所述序列寄存器具有至少5比特的深度。

下面，详细说明模式分析和方式确定。

在图10中图解了胶片方式检测器的示例配置。将在FIFO序列寄存器中存储的运动比特的序列200与先前存储的运动模式210相比较。预存的运动模式包括用于PAL视频数据的至少两个胶片方式模式和用于NTSC输入数据的至少5个运动模式。它们反映从电视电影下拉处理产生的所有可能运动相位。通过X-OR装置220将所检测的运动比特序列与预存的模式相比较。每个匹配比特由在中间存储器230中的0指示。

为了避免在胶片方式检测中的突变，使用胶片方式检测延迟。为此，将胶片延迟参数240与中间检测结果230相比较。

胶片延迟参数在需要匹配的中间存储器的位置产生二进制的1。最好，这些是右面的多数比特，它们具有m比特的深度。在胶片延迟参数中，左面的多数比特是零。胶片延迟通过AND 250被应用到中间结果。如果结果产生的信号TEMP和相同长度的二进制零270通过运算符260而交流为相等，则指示胶片方式290。因此，由胶片延迟掩蔽的m个比特对应于预存模式之一。否则如果TEMP是非零(通过260来指示)，则未发现电视电影运动模式，并且保持当前的方式280。

如果中断或破坏运动模式，则立即退回到视频方式将对观看者产生不稳定效果。当通过上述的胶片方式确定延迟了向胶片方式的转换时，单个干扰可能较长时间地中断特定块的胶片方式检测。

为了避免较长时间的错误视频方式检测，提供了附加的视频方式检测。在图11中图解了其配置。

视频延迟参数在需要匹配的中间存储器的位置产生二进制的1。最好，这些是右面的多数比特，它们具有m比特的深度。在视频延迟参数中，左面的多数比特是零。视频延迟通过AND320被应用到中间结果。可以通过等运算符350确定结果产生的信号TEMP与m个二进制“1”340相同。这说明了加速的视频序列的事实。还可以通过相等运算符370来确定结果产生的信号TEMP由所有的二进制“0”360来组成。这说明了具有不变运动的正常视频序列的事实。

通过OR 380组合的两种情况(其中通过逻辑1来表达“是”)设置当前块的视频方式390。

当由于要检测的连续运动模式而以较高的可靠性来执行视频方式检测时，视频方式检测优先于胶片方式检测。而且，通过运动补偿被当作视频方式的胶片方式图像分量至今带给观看者更好的印象，反之亦然。

为了使能画面改善处理，如果不可以在随后图像之间检测运动，最好另外执行静止模式确定。为此，计算静止指示符。图12中图解了静止方式检测器的示例配置。

运动值SAPD₀₂表示在场N0和N2之间的帧运动。根据在相同垂直像素位置(与直接相邻的场相反)的像素来计算这样的帧运动值。这样的差值由于隔行扫描场结构而不包括来自垂直偏移的任何影响。为了确定非运动的存在，最好将这样的差与前一个帧运动差SAPD₁₃相比较。但是，由于存储器限制，一般仅仅可以获得两个中间场运动值，即，运动值SAPD₀₁和SAPD₁₂。为了消除场结构对于运动值SAPD的影响，减去SAPD₀₁和SAPD₁₂以产生中间帧运动的等同体。

为了获得可靠和强壮的指示，将在运动值SAPD₀₁和SAPD₁₂之间计算的场差乘以预定的量化运算符QS。于是按照下述的方程来执行静止比特确定：

Stillbit＝(SAPD₀₂＜QS*|SAPD₀₁-SAPD₁₂|)

所述预定的量化操作符QS最好具有在0和2之间的值，其中，将当所述值设置为小于上述的量化运算符QM的值。如果所述帧运动值小于阈值，则确定静止图像条件，并且设置静止比特。

静止方式检测是基于通过静止方式检测器评估的上述确定的静止比特序列，静止方式检测器配置如图12所示。如果设置了静止比特，则静止比特递增计数器410。否则，递减计数器410。当计数值超过预定阈值420时，对于相应的图像区域，静止方式被检测和存储。

根据静止方式检测结果，运动补偿和内插器件可以应用随后场F0和F1的重新交织，以便根据逐行扫描图像格式来获得改善的图像质量。

在图13中图解了图4所示的输入图像的、按照本发明的示例胶片方式检测结果。背景530和外部OSD图像数据540被确定为不包括运动，并且电视电影分段550被确定为从运动画面到隔行扫描的视频变换产生，而摄像机分段520和视频叠加分段560被确定为在视频方式中。

如图9a所示，分别存储确定结果，即，每个块的特性。对于每个块，存储胶片方式指示(用于指示胶片方式或视频方式)、运动相位指示、包含运度比特200或300的序列的运动寄存器和静止方式指示。提供这些数据用于随后的画面改善处理。

当前图像区域的运动相位指示是运动补偿电路的重要信息，特别是与向输入频率的奇数倍的上变换(例如当将60Hz图像输入频率向72Hz图像输出频率变换时)相结合。虽然可以使用当前检测的运动比特来确定是否存在运动相位，但是最好，可以根据当前检测的运动模式来执行可靠的确定。于是，对于PAL的图像序列，评估最后三个比特，而在NTSC中，考虑最后四个比特。如果在图像序列中存在两种胶片方式，则最好，评估最后五个比特，以便可靠的将3-2与2-2下拉相区别。当前的运动相位(即，在下拉序列中的位置)对于运动补偿很重要，因为已经确定了是否在三个场F0、F1、F2中的二个之间补偿。

如果不能从运动寄存器检测当前的运动相位，则当前的运动相位从最后相位确定，并且按照先前确定的运动模式被绕回。

图14列出了运动模式查找表LUT，如果没有模式匹配输入项，则用于确定当前运动相位和下一个相位。

对于每个图像块，在内部存储区域中存储下列数据：运动寄存器(register)、胶片方式比特和相位值。当前的胶片方式比特和运动相位值被提供到一个运动估计电路。运动估计可以使用所述相位来例如确定仅仅在具有运动的场之间的运动向量。在例如EP-A-0 578 290中说明了运动估计电路的细节。

在计算运动向量后，将运动向量转送到如图5所示的去分段电路180。去分段电路180将运动向量与同一图像块的胶片方式比特、静止方式比特和运动相位合并。最好，通过两步骤侵蚀处理来执行去分段。为此，过滤向量分量(x，y)，以便抑制错误的估计。以对应的方式，将胶片方式比特进行过滤。

而且，应用两步骤侵蚀处理，其中，在每个步骤中，将一个块划分为四个子块以便将分辨率加倍。于是，向运动补偿电路120提供四倍增加的块分辨率和平滑的运动向量过渡。当使用NTSC SD输入分辨率的例如90×60的优选块数量时，所述侵蚀具有360×240的输出，这是720×480的SD逐行扫描输出的水平分辨率的一半和垂直分辨率的一半。

最好，使用3抽头中项(median)来在水平和垂直方向上独立地过滤运动向量。于是首先在水平方向然后在垂直方向上过滤胶片方式指示和静止方式指示。如果相邻比特具有相同值，则通过向两个相邻比特的值设置三个随后比特的中心值来进行过滤。

当向胶片方式指示应用侵蚀处理时，如果三个相邻块具有相同的胶片方式指示，则根据所有三个相邻块来确定新子块的胶片方式指示。如果相邻的块没有相同的胶片方式指示，则不修改原始的胶片方式指示。图15中图解了两步骤胶片方式指示侵蚀。相同的侵蚀处理被应用到静止方式指示。

返回由图5所示的运动补偿电路120执行的运动补偿，运动补偿器根据胶片方式指示、运动向量信息和输出块位置来选择输入图像数据。可以通过反电视电影处理——即通过使用彼此之间没有运动的那些场进行重新交织——来补偿要确定为在胶片方式中的图像区域。为此，使用场F0+F1或场F1+F2。

也可以使用彼此之间具有运动的场和对应的运动向量来补偿胶片。根据要产生的帧的输出位置，使用与时间输入位置相关联的运动向量的一部分。例如，如果帧速率变换系数是2，则使用F0的向量的1/2和F1的向量的1/2。

如果输入和输出图像与相同的时间位置相关联，则可以不改变地使用场F0，并且使用全长度运动向量来分别向前内插场F1的图像数据。

对于视频方式的图像区域，对于基于运动向量的补偿，使用在时间方面最接近的那些场，以便计算运动图像对象的适当位置。

图5所示的优选实施例处理亮度信号Y。这个亮度信号具有比按照CCIR-601推荐的彩色分量U和V更大的分辨率。或者，补充或取代评估亮度分量以便降低硬件要求，胶片方式检测可以基于彩色分量信号U和V的图像数据。为了处理RGB信号，可以预先使用本领域公知的彩色矩阵。

所述的下拉方案不限于上述的2-2和3-2方案。可以以对应的方式来检测任何其他下拉方案p-q。例如，可以同样检测具有4-4比率或很不寻常的6-4比率的manga漫画动画。为了处理这样的运动模式，因此必须适配运动模式寄存器。需要将每个图像区域的运动寄存器长度设置为至少p+q比特。另外，需要与运动补偿电路共享新的运动相位值查找表，以便能够启动相应的输入场关联性。

按照另一个替换方式，在图像分段单元中实现边缘检测器和相应的存储装置。所述边缘寄存器用于识别独立图像对象的边界线。于是，独立地针对每个图像对象将像素值提供到SAPD电路。在图像对象基础上对应地计算和处理图像特性。

总之，本发明使得能够确定独立图像区域的胶片方式特性，以便适当地反映局部图像特性。通过在局部基础上检测图像特性，因为避免由于错误的全局改善处理的应用而导致的人为失真，所以画面改善处理获得更好的结果。

Claims (62)

1.一种用于检测在视频图像序列中的当前图像的块的胶片方式的方法，其中，所述视频图像序列中的图像被划分为多个块，并且对于每个所述块独立地进行所述胶片方式检测，该方法包括应用基于块的运动估计的步骤，其中，

用于胶片方式检测的块大小是用于运动估计的块大小的两倍。

2.按照权利要求1的方法，其中，对于包括用于运动估计的当前块和相邻块的预定部分的图像块执行所述胶片方式检测。

3.按照权利要求1的方法，其中，所述视频图像序列是隔行扫描视频序列，并且每个块的像素个数在水平方向上是在垂直方向上的两倍。

4.按照权利要求1的方法，其中，所述胶片方式检测基于运动检测。

5.按照权利要求4的方法，其中，所述运动检测基于用于时间相邻的图像的胶片方式检测的块之间的像素差的计算。

6.按照权利要求5的方法，其中，当累积的像素差超过预定阈值时检测运动。

7.按照权利要求6的方法，其中，所述预定阈值是可变的。

8.按照权利要求7的方法，其中，按照先前确定的累积像素差的大小来设置所述预定阈值。

9.按照权利要求8的方法，其中，通过将所述先前确定的累积像素差乘以预定系数值来设置所述阈值。

10.按照权利要求1的方法，其中，所述胶片方式检测是基于来自当前图像和先前图像的视频图像数据。

11.按照权利要求1的方法，其中，所述胶片方式检测是基于来自当前图像和两个先前图像的视频图像数据。

12.按照权利要求1的方法，还包括步骤：作为从多个预定运动模式中的选择而检测运动模式。

13.按照权利要求12的方法，其中，所述运动模式是2:2或3:2运动画面到隔行扫描视频变换模式。

14.按照权利要求1的方法，其中，如果以预定次数检测到相同的胶片方式确定，则仅仅执行胶片方式确定的转换。

15.按照权利要求1的方法，还包括步骤：存储所确定的胶片方式的指示。

16.按照权利要求15的方法，其中，对于当前图像的每个块存储被检测的胶片方式和运动模式。

17.按照权利要求16的方法，其中，所述运动模式包括运动图像到隔行扫描变换模式的指示。

18.按照权利要求1的方法，其中，所述视频序列是隔行扫描视频序列，并且所述方法还包括步骤：在进行胶片方式检测之前，在垂直方向上将图像数据进行滤波。

19.按照权利要求1的方法，还包括步骤：

确定是否对于当前图像块检测视频方式；

如果对于所述图像块根据视频方式确定的胶片方式指示和胶片方式确定不对应，则通过对所述图像块使视频方式确定优先于胶片方式确定，来将当前图像块的方式确定为视频方式。

20.按照权利要求19的方法，其中，所述视频方式确定是基于所述图像块和在先前图像中的对应位置的预定数量的图像块的连续运动模式的检测。

21.按照权利要求19的方法，其中，所述胶片方式确定是基于所述图像块和在先前图像中的对应位置的预定数量的图像块的多个预定运动模式之一的检测。

22.按照权利要求20的方法，其中，所述运动模式指示当前图像块的运动相位以及运动相位方案。

23.按照权利要求22的方法，其中，所述运动相位方案指示特定的下拉方案。

24.按照权利要求20的方法，其中，所述运动模式是二进制值的序列。

25.按照权利要求24的方法，其中，用于检测2:2下拉的所述运动模式是三个比特值。

26.按照权利要求24的方法，其中，用于检测3:2下拉的所述运动模式是五个比特值。

27.按照权利要求20的方法，还包括步骤：

确定所述运动模式确定对于当前图像块是否失败；

如果所述运动模式确定失败，则从先前确定的对应运动模式来计算当前运动相位。

28.按照权利要求1的方法，还包括步骤：

确定是否对于当前图像块检测静止方式；

指示对于当前图像块的静止方式的检测。

29.按照权利要求28的方法，其中，如果对于当前图像块和在先前图像的预定数量的图像块来说运动检测失败，则检测到所述静止方式。

30.一种用于运动补偿的方法，包括步骤：

按照权利要求1-29的任何一个来检测当前图像块的胶片方式；

按照胶片方式检测结果来选择要执行的运动补偿方案。

31.按照权利要求30的方法，其中，所述运动补偿方案包括下述的至少一个：胶片方式图像数据的反向电视电影、胶片方式数据的基于运动向量的内插和视频方式图像数据的重新交织。

32.一种胶片方式检测器，用于检测在视频图像序列中的当前图像的块的胶片方式，其中，所述视频图像序列中的图像被划分为多个块，并且对于每个所述块独立地执行所述胶片方式检测，该胶片方式检测器包括用于基于块的运动估计的部件，其中

用于胶片方式检测的块大小是用于运动估计的块大小的两倍。

33.按照权利要求32的胶片方式检测器，其中，对于包括用于运动估计的当前块和相邻块的预定部分的图像块执行所述胶片方式检测。

34.按照权利要求32的胶片方式检测器，其中，所述视频图像序列是隔行扫描视频序列，并且每个块的像素个数在水平方向上是在垂直方向上的两倍。

35.按照权利要求32的胶片方式检测器，包括运动检测器。

36.按照权利要求35的胶片方式检测器，所述运动检测器包括累加器，用于累加用于时间相邻的图像的胶片方式检测的块之间的像素差。

37.按照权利要求36的胶片方式检测器，其中，所述运动检测器包括比较器，用于将累积的像素差与预定阈值相比较。

38.按照权利要求37的胶片方式检测器，其中，所述预定阈值是可变的。

39.按照权利要求38的胶片方式检测器，还包括阈值设置器，用于按照先前确定的累积像素差的大小来设置所述预定阈值。

40.按照权利要求39的胶片方式检测器，其中，所述阈值设置器通过将所述先前确定的累积像素差乘以预定系数值来设置所述阈值。

41.按照权利要求32的胶片方式检测器，被适配来接收来自当前图像和先前图像的视频图像数据。

42.按照权利要求32的胶片方式检测器，被适配来接收来自当前图像和两个先前图像的视频图像数据。

43.按照权利要求32的胶片方式检测器，还包括：

存储器，用于存储多个预定运动模式；和

模式检测器，用于作为从多个存储的运动模式中的选择而检测运动模式。

44.按照权利要求43的胶片方式检测器，其中，所述运动模式是2:2或3:2运动画面到隔行扫描视频变换模式。

45.按照权利要求32的胶片方式检测器，还包括：

计数器，用于对随后的相同胶片方式检测结果计数；

比较器，用于将当前计数值与预定值相比较；

胶片方式确定装置，用于如果以预定次数检测相同胶片方式确定，则转换胶片方式确定。

46.按照权利要求32的胶片方式检测器，还包括存储器，用于存储所确定的胶片方式确定。

47.按照权利要求46的胶片方式检测器，其中，所述存储器对于当前图像的每个块存储所检测的胶片方式和运动模式。

48.按照权利要求47的胶片方式检测器，其中，所述运动模式包括运动图像向行扫描变换模式的指示。

49.按照权利要求32的胶片方式检测器，其中，所述视频序列是隔行扫描视频序列，所述胶片方式检测器还包括滤波器，用于在进行胶片方式检测之前，在垂直方向上将图像数据进行滤波。

50.按照权利要求32的胶片方式检测器，还包括：

视频方式检测器，用于确定是否对于当前图像块检测视频方式；

方式检测器，用于如果对于所述图像块根据视频方式确定的胶片方式指示和胶片方式确定不对应，则通过对于所述图像块使视频方式确定优先于胶片方式确定，来将当前图像块的方式确定为视频方式。

51.按照权利要求50的胶片方式检测器，其中，所述视频方式检测器根据所述图像块和在先前图像中的对应位置的预定数量的图像块的连续运动模式的检测来确定视频方式。

52.按照权利要求50的胶片方式检测器，其中，所述胶片方式确定是基于所述图像块和在先前图像中的对应位置的预定数量的图像块的多个预定运动模式之一的检测。

53.按照权利要求51的胶片方式检测器，其中，所述运动模式指示当前图像块的运动相位以及运动相位方案。

54.按照权利要求53的胶片方式检测器，其中，所述运动相位方案指示特定的下拉方案。

55.按照权利要求51的胶片方式检测器，其中，所述运动模式是二进制值的序列。

56.按照权利要求55的胶片方式检测器，其中，用于检测2:2下拉的所述运动模式是三个比特值。

57.按照权利要求55的胶片方式检测器，其中，用于检测3:2下拉的所述运动模式是五个比特值。

58.按照权利要求51的胶片方式检测器，还包括：

运动检测失败检测器，用于确定所述运动模式确定对于当前图像块是否失败；

计算器，用于如果所述运动模式确定失败，则从先前确定的对应运动模式来计算当前运动相位。

59.按照权利要求32的胶片方式检测器，还包括：

静止方式检测器，用于确定是否对于当前图像块检测静止方式；

输出装置，用于指示对于当前图像块的静止方式的检测。

60.按照权利要求59的胶片方式检测器，其中，如果对于当前图像块和在先前图像中的预定数量的图像块来说运动检测失败，则所述静止方式检测器检测所述静止方式。

61.一种运动补偿器，包括：

按照权利要求32-60的任何一个的胶片方式检测器；

选择器，用于按照胶片方式检测结果来选择要执行的运动补偿方案。

62.按照权利要求61的运动补偿器，其中，所述运动补偿方案包括下述的至少一个：胶片方式图像数据的反向电视电影、胶片方式数据的基于运动向量的内插和视频方式图像数据的重新交织。

Images