CN1656512A - 用于锐度增强的单元和方法 - Google Patents

Abstract

一种图像处理设备(100)，包括：接收装置，用于接收代表输入图像的视频信号；胶片检测器单元(108)，用于检测所述输入图像是由胶片摄像机还是由电视摄像机拍摄的；锐度增强单元(106)，用于根据所述输入图像计算锐度增强图像。该锐度增强单元(106)是由所述胶片检测器单元(108)控制的，从而如果胶片检测器单元(108)检测到输入图像是由胶片摄像机拍摄的，则锐度增强要比胶片检测器单元(108)检测到输入图像是由电视摄像机拍摄的情况下的锐度增强大。

Description

用于锐度增强的单元和方法

本发明涉及一种包括用于根据输入图像计算锐度增强图像的锐度增强单元的图像处理设备。

本发明还涉及一种锐度增强方法。

本文起始段落中介绍的那种类型的锐度增强单元的一个实施例可以从G.de Haan所著的《用于多媒体系统的视频处理(VideoProcessing for Multimedia Systems)》(艾恩德霍芬大学出版社(University Press Eindhoven)，荷兰，2000年，ISBN90-014015-8)的第二章中得到。视频信号的锐度增强改善了所感受到的图像质量。锐度增强意味着对代表像素值的信号中的瞬变进行改进。锐度增强，一般来说是对较高频率分量的提升，这称为“峰化”，导致了具有增大陡度的边缘。

常常进行锐度增强来补偿图像的获取、存储或传送中的模糊不清。存在着多种能够造成模糊不清的原因，例如，所成像的物体相对于相机的运动，或者物体没有对焦。模糊量是与在不致使得图像看起来不自然的前提下可以进行的锐度增强量有关的因素。

公知的锐度增强的缺点在于，图像中的噪声也同样得到了增大。存在很少的图像细节的区域中的高频分量的增强引入了噪声量。在这些区域中，如果不进行边缘峰化是不理想的。

概括来说，适当的锐度增强量并不是固定的。它取决于，例如，模糊量和信噪比。

本发明的一个目的是，提供一种包括本文起始段落中介绍的那种类型的锐度增强单元的图像处理设备，这种锐度增强单元设置为用于执行与图像相对较好协调的锐度增强量。

本发明的这一目的在包括如下部分的图像处理设备中得到了实现：

-接收装置，用于接收代表输入图像的视频信号；

-胶片检测器单元，用于检测所述输入图像是由胶片摄像机还是由电视摄像机拍摄的；

-锐度增强单元，用于根据所述输入图像计算锐度增强图像，该锐度增强单元是由所述胶片检测器单元控制的，从而该锐度增强单元被设置为根据所述输入图像是由胶片摄像机还是由电视摄像机拍摄的检测结果进行调谐以用于锐度增强。

已经发现，由胶片摄像机拍摄的图像和由电视摄像机拍摄的图像之间在锐度方面会有差异。按照本发明的图像处理设备设置为用于修正这些差异。

在按照本发明的图像处理设备的实施例中，如果胶片检测器单元检测到输入图像是由胶片摄像机拍摄的，那么所进行的锐度增强要比胶片检测器单元检测到输入图像是由电视摄像机拍摄的情况进行的锐度增强大。优选地，较大的锐度增强是通过对输入图像频谱的高频分量应用增大的放大增益来实现的。

虽然由胶片摄像机拍摄的图像的图像分辨率通常高于由电视摄像机拍摄的图像的图像分辨率，但是看起来源于胶片的图像没有源于电视的图像清晰。这一锐度差别的原因是对源于胶片的图像进行了较大的模糊化，以抑制抖动。按照本发明的图像处理设备的这一实施例设置为用于修正这种差别。

电影，即胶片，通常是以每秒24个图像进行记录的，但是是以每秒48个图像在影院中进行播放的。一般来说这是通过为每个电影画面提供两个短光脉冲来实现的，导致了对于每个电影画面有两个图像的结果。在大多数国家电影是以视频信号的形式发送的，并且是以每秒50帧的速度显示的。在这些国家，原始图像要显示两次。这种显示模式称为2:2下拉(2:2 pulldown)。这种显示模式的缺点是，造成了场景中的运动部分的抖动虚像。在其它一些国家中，利用“60Hz系统”，通过以3个和2个重复图像的交替序列的方式显示电影图像，实现了24Hz到60Hz的转换。这种显示模式称为3∶2下拉，并且也会造成场景中的运动部分的抖动虚像。如果在图像中运动部分具有很多细节，这种所谓的胶片抖动会变得更加严重。抖动的结果不仅仅是“颤”动，而且抖动还具有使运动部分中的细节不清楚的模糊效果。为了避免抖动，电影导演倾向于使用摄像机跟踪主要对象/物体，并且使用曝光时间长的摄像机来造成无关紧要的图像部分模糊不清，和/或将背景物置于焦点之外。

源自电视摄像机的图像大多数通常是以隔行扫描的方式拍摄的，和/或具有较高的采集速度。对于这些图像而言，抖动并不是问题，因此不必采取防范措施，例如额外的模糊化来达到适当的图像质量。

在按照本发明的图像处理设备的实施例中，锐度增强单元设置为用于在所述胶片检测器单元检测到所述输入图像是由胶片摄像机拍摄的情况下，对所述输入图像的频谱的第一部分进行增强，而在所述胶片检测器单元检测到所述输入图像是由电视摄像机拍摄的情况下，对所述输入图像的频谱的第二部分进行增强，所述第一和第二部分是不同的。上面已经介绍了对基于胶片的素材进行的增强比较大。可替换地，根据胶片检测器单元的输出强调不同的频率分量。优选地，这是通过调整滤波器系数来实现的，例如，调整卷积核的系数。

按照本发明的图像处理设备的一个实施例包括运动估算单元，用于估算输入图像中物体的运动方向，并且该运动估算单元设置为用于控制所述锐度增强单元，使得所述锐度增强单元发展成在所述运动方向上进行锐度增强。物体相对于摄像机的运动，是模糊的一个原因：运动模糊。对运动模糊进行补偿是增强锐度的一种适当的手法。为了实现这种类型的运动补偿锐度增强，必须要确定运动的方向。在Manfred Ernst所著的文章《用于演播室应用系统的运动补偿视频处理(Motion compensated video processing for studioapplications)》(Les Assisies de Jeunes Chercheurs，1992年6月8-12日，日本东京)和G.de Haan和M.Klompenhouwer所著的文章《新兴电视显示器和矫正性视频处理中缺陷的概述(Overview offlaws in emerging television displays and remedial videoprocessing)》((IEEE Transactions on Consumer Electronics)，第326-334页，2001年8月)中，介绍了增加运动物体锐度的方法。后一篇文章公开了一种运动补偿锐度增强单元，它在按照本发明的图像处理设备中是优选的。

在按服本发明的图像处理设备的实施例中包括运动估算单元，所述运动估算单元设置为用于估算输入图像中物体的运动速度，并且使所述锐度增强单元改进为用于根据所述运动的速度进行锐度增强。除了运动方向外，还考虑了运动的速度来进行运动补偿锐度增强。这种实施例的优点是，实现了锐度增强量与运动的实际方向和速度相对较好的匹配，从而实现了与实际的运动模糊相对较好的匹配。

按照本发明的图像处理设备的一个实施例包括运动补偿图像速度转换单元，该单元设置为用于借助锐度增强图像的时间内插计算内插图像，该图像速度转换单元是由运动估算单元控制的。该实施例组合了锐度增强的两种手段：

-利用运动补偿图像速度转换来消除抖动(抖动的含义是由于两次显示具有运动物体的图像而造成的模糊)。典型的图像速度转换是从25Hz到50Hz。已有输入图像之间的新图像是借助内插计算出来的。结果是将运动物体显示在它们的正确位置上。

-借助运动补偿锐度增强单元减小单个图像中(例如由长曝光时间造成)的图像模糊。

这种结合是非常有益的，因为其造就了最佳的结果。当对视频信号进行运动模糊降低时，如果图像是源于胶片的并且没有进行运动补偿图像速度转换，那么结果可能是起相反作用的，因为这样将会增强抖动。而且，与抖动有关的模糊化效果，致使可能的锐度增强无效。另一方面，通过抖动消除方法仅仅能够部分地消除由图像重复造成的模糊化效果，因为由于相对较长的摄像机曝光时间，原始的电影素材已经是模糊的。

按照本发明的图像处理设备的另一个实施例包括运动补偿图像速度转换单元，该单元设置为用于借助所述输入图像的时间内插计算内插图像，所述图像速度转换单元是由运动估算单元控制的。该实施例包括替换的处理步骤序列：首先是运动补偿图像速度转换，而后是运动补偿锐度增强。该实施例的优点是，这些处理步骤可以共享用于存储运动估算向量的存储单元。

按照本发明的图像处理设备的一个实施例包括运动补偿图像速度转换单元，其特征在于，所述锐度增强单元设置为用于对内插图像进行比输入图像更多的锐度增强。按照本发明的该实施例设置为使得锐度增强不管图像是经过内插的还是接收到的都能够适应，例如，用来抵消由于内插造成的模糊，这种内插是双线性的。

按照本发明的图像处理设备的一个实施例设置为用于对由运动估算单元为输入图像的图像对计算的运动向量域中的边缘进行检测，并且其特征在于，锐度增强单元设置为用于对特定输入图像的一个区域的锐度增强进行限制，该区域对应于所述边缘。按照本发明的该实施例设置为用于在运动假像(例如，遮挡(occlusion)区域中的“光晕”)或场景变化之后错误估算的运动是预期的情况下，修改锐度增强使其相适应。因此假像不会得到增强。该图像处理设备优选地包括遮挡检测器，用于检测输入图像中具有覆盖或无覆盖的区域，并且设置为用于对锐度增强单元进行控制，以针对输入图像中具有覆盖或无覆盖的区域对锐度增强进行限制。

本发明的一个目的是，提供一种本文起始段落中介绍的那种类型的方法，这种方法用于执行与图像协调得相对较好的锐度增强量。

本发明的这一目的是按照包括下述步骤的方法得以实现的：

-接收代表输入图像的视频信号；

-检测所述输入图像是由胶片摄像机还是由电视摄像机拍摄的；

-根据所述输入图像计算锐度增强图像，该计算是在所述输入图像是由胶片摄像机还是由电视摄像机拍摄的检测结果的基础上进行的。

在电视机中，优选地使用这种方法来提高视频素材的质量。这种方法在与显示相关的运动模糊降低系统中也是非常有益的。所述的与显示相关的运动模糊降低系统是指用于补偿由显示系统造成的运动模糊的图像处理系统。由于摄像机曝光时间和例如LCD显示器的采样保持具有相同类型的模糊化，因此可以使用类似的算法来降低模糊化。

图像处理设备的修改及其变形与所介绍的方法的修改及其变形相对应。

参照附图，通过下文中介绍的实现方式和实施例，按照本发明的图像处理设备和方法的这些和其它的方面将会变得显而易见，并且将参照附图，借助下文中介绍的实现方式和实施例，对按照本发明的图像处理设备和方法的这些和其它的方面加以解释说明，其中：

附图1A示意性地显示按照本发明的图像处理设备的各组成部分；

附图1B示意性地显示包括遮挡检测器的按照本发明的图像处理设备的各组成部分；

附图2示意性地显示按照本发明的图像处理设备的各组成部分，其中运动补偿图像速度转换在运动补偿锐度增强之前进行；和

附图3示意性地显示包括显示装置的按照本发明的图像处理设备的一个实施例。

在全部附图中，相同的附图标记用于标注相似的组成部分。

附图1示意性地显示按照本发明的图像处理设备100的各组成部分。在输入连接器112处提供输入视频信号，并且图像处理设备在输出连接器114处提供输出视频信号。输入视频信号代表图像，该图像可能是由胶片摄像机拍摄的，或者也可能是由电视摄像机拍摄的。假设输入视频信号对应于50Hz隔行扫描，而输出视频信号对应于50Hz逐行扫描或者可选择地对应于100Hz逐行扫描。这些值仅仅是示例性的。

图像处理设备100包括：

-去隔行扫描单元102。隔行扫描是常用的视频广播手法，用于交替地发送奇数或偶数的图像行。去隔行扫描试图恢复完全垂直分辨率，即，使得奇数和偶数行对每个图像同时可用。在G.de Haan所著的《用于多媒体系统的视频处理(Video Processing for MultimediaSystems)》(艾恩德霍芬大学出版社(University Press Eindhoven)，荷兰，2000年，ISBN90-014015-8)一书的第5.3节中，公开了一种优选的去隔行扫描单元102；

-胶片检测器单元108，用于检测输入图像是由胶片摄像机还是由电视摄像机拍摄的。在美国专利US4,982,280中公开了胶片检测器单元108的一个例子。该胶片检测器单元设置为用于根据运动估算接收到的信号的域之间的差别。通过将这些实际差别与已知的差别模式进行比较，胶片检测器单元108可用于区分两种类型的视频素材：源于胶片的和源于电视的；

-锐度增强单元104，用于根据输入图像计算锐度增强图像。该锐度增强单元104是由胶片检测器单元108控制的，由此如果胶片检测器单元108检测到输入图像是由胶片摄像机拍摄的，则锐度增强要比胶片检测器单元108检测到输入图像是由电视摄像机拍摄的情况的锐度增强大。可选择地，可以将锐度增强单元104设置为用于根据胶片检测器单元108的输出，对输入图像的频谱的选定部分进行增强。例如，如果胶片检测器单元108检测到输入图像是由胶片摄像机拍摄的，那么将会对比胶片检测器单元108检测到输入图像是由电视摄像机拍摄的情况相对较低的频率分量进行增强。优选的是该锐度增强单元104是运动补偿锐度增强单元；

-运动补偿图像速度转换单元106，用于借助锐度增强图像的时间内插计算内插图像。在G.de Haan所著的《用于多媒体系统的视频处理(Video Processing for Multimedia Systems)》(艾恩德霍芬大学出版社(University Press Eindhoven)，荷兰，2000年，ISBN90-014015-8)一书的第4.3节中，公开了一种优选的运动补偿图像速度转换单元106；和

-运动估算单元110，用于估算输入图像中的运动。在G.de Haan所著的《用于多媒体系统的视频处理(Video Processing forMultimedia Systems)》(艾恩德霍芬大学出版社(University PressEindhoven)，荷兰，2000年，ISBN90-014015-8)一书的第6.3节中，公开了一种优选的运动估算单元110。运动估算单元110的输出，即运动向量，被提供给图像处理单元100的其它的介绍过的单元102-108。

如果胶片检测器单元108检测到源于胶片的素材，并且视频数据是隔行扫描的，则借助去隔行扫描单元102重构25Hz逐行扫描图像序列，其对应于原始的胶片帧。当已知视频信号源于胶片时，这实际上是相当简单的，这是因为隔行扫描的视频信号中的两个连续的域源自于同一个胶片图像，并且能够简单地对它们进行合成以形成一个图像。在去隔行扫描之后，对经过去隔行扫描的图像进行运动补偿锐度增强。因为已知视频信号源自胶片，所以通过进行相对较强的运动补偿锐度增强使得过度的运动模糊得以减小。然后将经过锐度增强的图像提供给运动补偿图像速度转换单元106，该单元106将25Hz的图像序列转换为50Hz或者甚至100Hz(隔行扫描或逐行扫描)图像序列。因此，所得结果是代表包括清晰图像的图像序列的输出视频信号，它可以“无抖动地”显示。

如果视频素材不是源自胶片的，而是源自电视的，那么去隔行扫描单元102和运动补偿图像速度转换单元106的功能变换它们的操作。去隔行扫描单元102将在不同时间点获得的域对合成为去隔行扫描图像。运动补偿图像速度转换单元106仅在所需的输出信号的图像速度高于50Hz，例如100Hz的情况下才起作用。对经过去隔行扫描的图像进行运动补偿锐度增强。不过，现在锐度增强量是较少的，因为在输入视频信号中没有抖动，并且输入图像是比较清晰的。

在附图1A中，没有示出各个单元102-110所需要的用于暂时存储图像和其它中间结果的存储装置。不过，这些存储装置的使用对图像处理设备的性能是有一定的重要意义的。最简单的方式，不过也是最昂贵的方式，是图像处理设备的每个单元102-110各自具有自己的存储装置。不过优选的是存储装置是共享的。尤其是运动估算单元110和去隔行扫描单元102，可以共用存储器。

附图1B示意性地显示按照本发明地图像处理设备101的各个组成部分，包括遮挡检测器116，该检测器116设置为用于确定运动向量的正确性的概率。在不正确运动向量的概率相对较高的图像区域中，假像的概率也相对较高。这些区域中的锐度增强甚至可能会增大这些假像的显著性，因此应当避免这样的锐度增强。在这些区域中，将不进行锐度增强，并且可选择地，不会引入另外的模糊。

在名称为《图像信号中的有问题区域的定位(Problem arealocation in an image signal)》、公开号为WO0011863的专利申请中介绍了一种根据运动向量域计算遮挡映像的方法。在该专利申请中介绍了：遮挡映像是借助对运动向量域的相邻运动向量进行比较来确定的。假设如果相邻的运动向量是基本相等的，即，如果相邻运动向量之间的绝对差低于一个预定阈值，则认为这些运动向量所对应的像素组位于无覆盖区域中。然而，如果运动向量之一显著大于相邻的运动向量，则假定向量组可能位于覆盖区域中，也可能位于无覆盖区域中。相邻运动向量的方向决定到底是哪种区域。

附图2示意性地显示按照本发明的图像处理设备200的各个组成部分，其中运动补偿图像速度转换先于运动补偿锐度增强进行。这意味着将经过去隔行扫描的图像提供给运动补偿图像速度转换单元106。运动补偿图像速度转换单元106的输出提供给运动补偿锐度增强单元104，该单元104设置为用于对原始图像和由图像速度转换单元106进行内插的图像进行不同的处理。这意味着内插图像比原始图像得到更多的增强。内插图像由于内插运算所以更加不清晰。

按照本发明的图像处理设备可以包括其它的部件：

-显示装置，用于显示增强图像，例如，电视机；

-存储装置，用于存储增强图像，例如VCR(盒式录像机)或DVD记录机(数字通用盘)；或

-传送装置，用于将增强图像提供给电视机，例如机顶盒。

附图3示意性地显示按照本发明的图像处理设备300的一个实施例，包括：

-接收单元302，用于接收代表在进行了某种处理之后所要显示的图像的信号。该信号可以是通过天线或电缆接收的广播信号，不过也可以是来自诸如VCR(盒式录像机)或数字通用盘(DVD)之类的存储装置的信号。该信号提供在输入连接器308上。接收单元302设置为用于调谐到预定的频带上，以便从所提供的视频信号中提取图像。

-结合附图1A、1B或附图2介绍的一系列处理单元304，用于进行去隔行扫描、运动补偿图像速度转换和运动补偿锐度增强。此处仅示出了胶片检测器单元108和锐度增强单元104。

-显示装置306，用于显示经过增强的图像。

应当注意到，上述的实施例是为了说明本发明而非限制本发明，并且本领域的技术人员能够设计出替换方式的实施例，而不会超出所附的权利要求书的范围。在权利要求书中，置于括号中的任何附图标记皆不应理解为是对权利要求的限定。词“包括”并不排除存在权利要求中未列出的元件或步骤的情况。置于元件之前的词“一个”或“一”并不排除存在多个此种元件的情况。本发明可以借助包括数个性质不同的元件的硬件来实现，并且可以借助适当编程的计算机来实现。在列举出数个装置的产品权利要求中，这些装置中的若干个可以通过硬件的同一个部分来实现。

Claims (11)

1.一种图像处理设备，包括：

-接收装置，用于接收代表输入图像的视频信号；

-胶片检测器单元，用于检测所述输入图像是由胶片摄像机还是由电视摄像机拍摄的；

-锐度增强单元，用于根据所述输入图像计算锐度增强图像，该锐度增强单元是由所述胶片检测器单元控制的，由此该锐度增强单元被设置为根据所述输入图像是由胶片摄像机还是由电视摄像机拍摄的检测结果进行调谐以用于锐度增强。

2.按照权利要求1所述的图像处理设备，其特征在于，如果胶片检测器单元检测到所述输入图像是由胶片摄像机拍摄的，那么所述锐度增强要比所述胶片检测器单元检测到所述输入图像是由电视摄像机拍摄的情况下的锐度增强大。

3.按照权利要求1所述的图像处理设备，其特征在于，所述锐度增强单元设置为用于在所述胶片检测器单元检测到所述输入图像是由胶片摄像机拍摄的情况下，对所述输入图像的频谱的第一部分进行增强，而在所述胶片检测器单元检测到所述输入图像是由电视摄像机拍摄的情况下，对所述输入图像的频谱的第二部分进行增强，所述第一和第二部分是不同的。

4.按照权利要求2或3所述的图像处理设备，其特征在于，包括运动估算单元，用于估算所述输入图像中物体的运动方向，并且该运动估算单元设置为用于控制所述锐度增强单元，使得所述锐度增强单元发展成在所述运动方向上进行锐度增强。

5.按照权利要求4所述的图像处理设备，其特征在于，所述运动估算单元设置为用于估算所述输入图像中物体的运动速度，并且特征还在于，所述锐度增强单元设置为用于根据所述运动的速度进行锐度增强。

6.按照权利要求4所述的图像处理设备，其特征在于，包括运动补偿图像速度转换单元，该单元设置为用于借助所述锐度增强图像的时间内插计算内插图像，所述图像速度转换单元是由运动估算单元控制的。

7.按照权利要求4所述的图像处理设备，其特征在于，包括运动补偿图像速度转换单元，该单元设置为用于借助所述输入图像的时间内插计算内插图像，所述图像速度转换单元是由运动估算单元控制的。

8.按照权利要求7所述的图像处理设备，其特征在于，所述锐度增强单元设置为用于对所述内插图像比对所述输入图像进行更多的锐度增强。

9.按照权利要求6或7所述的图像处理设备，其特征在于，设置为用于对由所述运动估算单元为所述输入图像的图像对计算的运动向量域中的边缘进行检测，并且所述锐度增强单元设置为用于对特定输入图像的一个区域的锐度增强进行限制，该区域对应于所述边缘。

10.按照权利要求1所述的图像处理设备，其特征在于，包括显示装置，用于显示锐度增强图像。

11.一种锐度增强方法，包括：

-接收代表输入图像的视频信号；

-检测所述输入图像是由胶片摄像机还是由电视摄像机拍摄的；

-根据所述输入图像计算锐度增强图像，该计算是在所述输入图像是由胶片摄像机还是由电视摄像机拍摄的检测结果的基础上进行的。

Images