CN103167259A

CN103167259A - 对内插帧的抖动的使用

Info

Publication number: CN103167259A
Application number: CN2012105556804A
Authority: CN
Inventors: 迈克尔·埃嫩克尔; 皮尔乔治·萨托
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2011-12-19
Filing date: 2012-12-19
Publication date: 2013-06-19
Also published as: US8659701B2; US20130155319A1

Abstract

本发明公开了对内插帧的抖动的使用，具体涉及一种图像处理方法，包括提供具有第一帧速率的视频图像帧，上变换所述帧速率以提供具有第二帧速率的视频图像帧，以及向具有所述第二帧速率的所述视频图像帧施加抖动。

Description

对内插帧的抖动的使用

技术领域

本发明涉及一种图像处理方法和图像处理系统。本发明还涉及一种计算机程序和计算机可读非暂时性介质。

背景技术

在数字图像处理（尤其是视频图像处理）领域中，应用所谓的抖动（dithering）方法，从而例如用有限的调色板来创建图像中颜色深度的幻象。例如，一种常见抖动应用是更精确地显示图形，该图形包括比硬件能够示出的更大范围的颜色。抖动利用人眼睛的趋向以混合两种彼此接近的颜色。例如，通过大体在LCD面板颜色空间中的两种近似颜色之间交替改变LED显示器中每个像素的颜色值，本身支持特定颜色深度的显示器面板能表示更高的颜色深度。

相同原理也可用于LCD显示器中更精确的亮度，其中，每个像素仅“认识”开启或关闭状态且没有中间值。通过使用抖动，用户能获得0（关闭）与1（开启）之间的中间亮度值的印象。

抖动经常用于电视机，特别也是具有高帧速率处理单元的电视机，高帧速率处理单元向观众提供具有例如200/240Hz的高速率的图像帧。在该系统中，抖动被施加于具有例如50/60Hz的低帧速率的视频图像帧。

这种系统的一个问题在于抖动在高帧速率处理单元中将是可见的。

发明内容

本发明的一个目的在于提供一种克服上述问题的图像处理方法。本发明的另一目的在于提供一种图像处理系统以及用于实施本发明方法的计算机程序和计算机可读非暂时性介质。

根据本发明的一个方面，提供了一种图像处理方法，包括：

提供具有第一帧速率的视频图像帧，

上变换所述帧速率以提供具有第二帧速率的视频图像帧，以及

向具有所述第二帧速率的所述视频图像帧施加抖动。

换句话说，抖动不仅被施加于具有第一帧速率的原始视频图像帧，而且还施加于所有中间视频图像帧。

该优势在于由于视频图像帧的高帧速率，所施加的抖动对用户眼睛是不可见的。该方法能改善视频图像帧的显示或信号性能。

根据本发明的另一方面，提供了一种图像处理系统，包括图像帧上变换单元，其适用于接收具有第一帧速率的视频图像帧，并输出具有比所述第一帧速率更高的第二帧速率的视频图像帧；以及抖动单元，其适用于向由所述图像帧上变换单元输出的所述图像帧施加抖动。

根据又一方面，提供了一种包括程序方法的计算机程序，当所述计算机程序在控制器上被执行时，该程序方法用于使控制器（尤其是图像控制器）执行根据本发明的方法的步骤；以及一种具有存储其上的指令的计算机可读非暂时性介质，该指令当在控制器上被执行时，使控制器执行根据本发明的方法的步骤。

本发明的优选实施方式在从属权利要求中限定。应当理解，所要求权利的系统、所要求权利的计算机程序和所要求权利的计算机可读介质具有与所要求权利的方法相似和/或相同的优选实施方式，且如从属权利要求中所限定。

本发明基于对上变换视频图像帧施加抖动，并因此也将抖动施加于在两个原始视频图像帧之间显示的任何内插帧（interpolated frame）。

应当理解，上述提及的和以下说明的特征在不背离本发明的范围的情况下，不仅可用于所指示的相应组合，而且也可用于其他组合或独立体。

附图说明

参照下文所述实施方式，根据以下更详细说明，本发明的这些和其他方面将是显而易见的。在以下附图中，

图1以非常普通的方式示出了根据本发明的图像处理系统的框图；

图2示出了根据第一实施方式的抖动单元的示意性框图；

图3示出了根据第二实施方式的抖动单元的示意性框图；以及

图4示出了用于说明本发明的视频图像帧，其上半部分涉及原始输入帧，其下半部分涉及原始帧上的矢量误差和像素误差。

具体实施方式

如本领域已知，等离子体显示器的数字等离子体像素仅具有用于显示信息的两种状态，开启或关闭。为了还实现中间强度，已采用脉冲宽度调制技术（PWM），使得单个像素可以显示出现的其他中间强度。PWM包括以使人眼合成（integrate）两种强度以感知为单一强度的这一速率在两种不同状态之间来回调制像素。

与此相反，目前的LCD显示器使用能够呈现多个亮度级别（例如6位、8位或甚至10位级别）的LCD像素。为达到足够质量，最小亮度级别应至少为10位。现今的快速LCD显示器能实现6位或8位，然而，具有10位亮度级别的LCD显示器成本昂贵，且因此未被广泛使用。因此，使用了用于实现中间强度的其他技术，如PWM。

在类似方式中，将通常被称为“抖动”的方法用于显示由单个视频图像帧PWM无法获得的强度。作为一个实例，被称为“时间抖动（temporaldithering）”的具体类型的抖动被用于显示作为通过PWM可获得的强度级别之间的强度级别。时间抖动类似于PWM来工作，除了时间抖动调制通过PWM获得的值之外。换句话说，PWM强度通过调制单个视频图像帧的时间片（time slices）之间的0%和100%的强度来获得，而时间抖动强度通过在几个数据帧上调制这些PWM强度来获得。例如，为在单个像素上显示中间像素值127.25，从PWM获得值127，并在每四帧中的三帧内显示该值，同时值128（也从PWM获得）在每四帧中的一帧内显示。因此，可实现比由PWM方案定义的更大数目的强度级别。

用于组合或作为替代的另一抖动方法通常被称为“空间抖动（spatialdithering）”。空间抖动包括合成多个像素的同步输出以获得中间强度级别。例如，若三个像素用值128示出且另一像素用值127示出，则一组四像素将显示为具有统一值127.75。类似地，若两个像素用值127示出且另两个像素用值128示出，则一组四像素将显示为具有一致的强度值127.5。

在本技术领域中，有几种设计为执行抖动的算法。最早且仍为最流行之一的一种是弗洛伊德-斯坦伯格（Floyd Steinberg）算法。这种算法的一个优势在于它通过误差分散（error-diffusion）处理来最小化视觉假象。弗洛伊德-斯坦伯格算法根据预定分布，通过将像素的量化误差分散到其相邻像素来实现抖动。

类似地，弗洛伊德-斯坦伯格抖动仅分散误差到相邻像素。

图1中，示意性示出了图像处理系统的部件，并用附图标记10来指代。图像处理系统10包括提供具有第一帧速率（例如50Hz）的视频图像帧的视频输入12。该系统还包括图像处理器14和显示器16，该显示器16优选为最好是电视机的LCD显示器17。这里应当注意，显示器16也可以是用于显示视频图像的投影仪（beamer）或任何其他装置。

图像处理器14从视频输入12接收图像帧，并将帧速率上变换为更高值，例如200Hz。

上变换帧速率的方法在本技术领域中已知，且因此这里将不再详细描述。一般地，帧速率的上变换使用运动估计（motion estimation）算法来确定运动矢量（motion vector），该运动矢量描述了从一个维度图像到另一维度图像的变换，在本情况下为从观看者输入的相邻帧。运动矢量可与整个图像（全局运动估计）或具体部分（诸如矩形框、任意形状的补丁或甚至像素）有关。运动矢量可利用平移模型或许多其他模型来表示，这些模型可接近于真实视频摄像机的运动，诸如在所有三个维度上旋转和平移以及缩放。

在帧速率的上变换中，所确定的运动矢量被用于内插在来自视频输入的两个“原始”帧之间显示的中间帧（inter-frame）。

图像处理器14随后对具有高帧速率的视频图像帧，即对原始图像帧和内插图像帧施加抖动。

经过抖动处理的具有高帧速率的图像帧随后被提供给显示器16。显示器16随后显示该图像帧。

如本技术领域已知，有几种用于施加抖动的方法。如之前已提及，它们中的一种方法是属于误差分散算法类别的弗洛伊德-斯坦伯格抖动算法。另一抖动方法是随机抖动（蓝噪声抖动），其中，图像帧的每个像素值与随机阈值相比较。

图2中示出了使用随机抖动的抖动元件的框图。二进制值由噪声发生器（优选为蓝噪声发生器）20提供。噪声发生器20的二进制值与上变换的图像帧（即内插图像帧）的二进制像素值相加。当两个值相加时，必须确保没有溢出。因此，信号必须限幅（clip，钳位）在相应范围内，例如，若二进制像素值为8位长，则所允许的范围为从0到255。所加噪声有1/2位的幅度，且因此产生具有量化的抖动。作为一个实例：若二进制像素值从8位量化至6位，则1/2位的幅度是指丢失的信号的1/2，即1位（8位–6位=2位且2位×1/2=1位）。

在本情况下，二进制像素值未被量化，但它被视为量化值。因此，必须估计1/2位幅度是多少。例如，若二进制像素值是8位值（被视为量化至8位），且假设“原始”值为例如10位，则1/2位幅度是1位。此外，若假定“原始”值为12位，则1/2位幅度是2位（12位–8位=4位且4位×1/2=2位）。

应当注意，增加噪声水平将会掩盖量化从而使图像“平滑”，但这也将使图像有噪声。因此，存在对于假设量化的限制。例如，8位二进制值和假设的16位原始值将不会产生合理结果。

总之，向内插帧施加与原始输入帧不相关的随机抖动。

如图3所示，存在向内插帧施加抖动的另一可能性，即具有与原始帧的相关性的帧间相关（inter-frame-dependent）抖动。

在图3中，示出了两个后续视频图像帧被提供给运动补偿误差估计单元24，该运动补偿误差估计单元24进而提供信号给误差分散单元26。

运动补偿误差估计单元24基于通过用于内插帧的运动估计处理获得的数据来对原始帧估计矢量误差和像素误差。如图4示意性所示，内插帧中内插的像素位置导致原始帧上的矢量误差。

关于矢量误差：内插的整数像素位置导致原始帧上的矢量误差。它将被用于对内插帧施加抖动。

关于像素误差：时间像素差导致误差。它将被用于对内插帧施加空间或时间抖动。

该矢量误差可被用于对内插帧施加抖动。

此外，还有由两个后续原始帧的时间像素差导致的像素误差。该像素误差将用于对内插帧施加空间或时间抖动。

在本实施方式中，使用弗洛伊德-斯坦伯格抖动算法。结果是具有与原始帧的相关性的帧间相关抖动具有帧间噪声被掩盖的结果。

总之，本实施方式提供了一种抖动方法，该方法也使用在帧速率上变换（尤其是运动估计处理）期间确定的运动矢量。

在附图和之前描述中已示出并详细描述了本发明，但这种示出和描述将被视为是说明性或示例性的且并非限制性的。本发明不限于所公开的实施方式。本领域技术人员可通过对附图、本公开和所附权利要求的学习，在实践要求权利的本发明中理解和实现对所公开实施方式的其他变形。

在权利要求中，词语“包括”不排除其他元件或步骤，且不定冠词“一”或“一个”不排除多个。单个元件或其他单元可实现权利要求中阐述的几个项目的功能。在相互不同的从属权利要求中阐述了特定措施的这一事实并不表示这些措施的组合不能有利使用。

计算机程序可存储/分布在合适的非暂时性介质上，诸如与其他硬件一起或作为其一部分提供的光学存储介质或固态介质，但也可以其他形式分布，诸如经由因特网或其他有线或无线通信系统。

权利要求中的任何引用符号不应被解释为限定范围。

Claims

1.一种图像处理方法，包括：

提供具有第一帧速率的视频图像帧，

向具有所述第二帧速率的所述视频图像帧施加抖动。

2.根据权利要求1所述的方法，其中，具有所述第二帧速率的所述视频图像帧包括内插图像帧，且所述施加抖动包括向内插视频图像帧施加随机抖动。

3.根据权利要求1所述的方法，其中，具有所述第二帧速率的所述视频图像帧包括内插图像帧，且所述施加抖动包括施加与视频图像帧相关的帧间相关抖动。

4.根据权利要求1所述的方法，其中，所述抖动基于误差分散算法。

5.根据权利要求4所述的方法，其中，所述误差分散算法是弗洛伊德-斯坦伯格算法。

6.根据权利要求1至5中任一项所述的方法，其中，所述抖动是在几个后续帧上施加的时间抖动。

7.根据权利要求1至6中任一项所述的方法，其中，所述抖动是在一个帧中施加的空间抖动。

8.根据权利要求1至7中任一项所述的方法，包括：

执行用于内插图像帧的运动估计，以及

将由所述运动估计获得的信息用于所述抖动。

9.一种图像处理系统，包括：

图像帧上变换单元，其适用于接收具有第一帧速率的视频图像帧，并输出具有比所述第一帧速率更高的第二帧速率的视频图像帧；以及

抖动单元，其接收具有所述第二帧速率的所述图像帧，且适用于向所述图像帧施加抖动。

10.根据权利要求9所述的系统，其中，所述抖动单元包括适用于在所述图像帧的像素的最低有效位上应用随机值的噪声发生器。

11.根据权利要求10所述的系统，其中，所述噪声发生器是蓝噪声发生器。

12.根据权利要求9所述的系统，其中，所述抖动单元包括误差分散元件。

13.根据权利要求12所述的系统，其中，所述误差分散元件是适用于执行弗洛伊德-斯坦伯格算法的弗洛伊德-斯坦伯格误差分散元件。

14.根据权利要求9至13中任一项所述的系统，其中，所述图像帧上变换单元包括用于内插图像帧的运动估计单元。

15.一种包括程序代码手段的计算机程序，当所述计算机程序在图像控制器上被执行时，所述程序代码手段用于使图像控制器执行根据权利要求1至8中任一项所述的方法的步骤。

16.一种存储有指令的计算机可读非暂时性介质，所述指令当在图像控制器上被执行时，使所述图像控制器执行根据权利要求1至8中任一项所述的方法的步骤。