CN101778298A - 视频处理装置 - Google Patents

Abstract

本发明涉及一种视频处理装置。最终校正值获取单元为每一帧执行用于减小帧之间的伽玛校正值中的差的减小处理并且由此获取帧的最终校正值。最终校正值获取单元确定观察帧被分类为第一类型、第二类型和第三类型中的哪一类型，并且根据观察帧的被确定的类型而控制观察帧的减小处理的程度，第一类型帧是从改变量计算器中获取的具有等于或小于预定阈值的改变量的帧；第二类型帧是具有比阈值大的改变量并且在观察帧即刻之前的预定时段内存在具有比阈值大的改变量的至少一个帧的帧；第三类型帧是除了第一类型帧和第二类型帧以外的帧。

Description

视频处理装置

技术领域

本发明涉及视频处理，并且具体地涉及用于视频信号的色调校正。

背景技术

用于提高视频质量的色调校正通过用于播放和显示视频信号的装置执行，并且多种技术已经被提出用于色调校正。

例如，在日本专利申请公开No.2008-134277中公开的技术是用于按照下面的步骤执行色调校正的技术。首先，检测视频信号中的场景改变。然后，为每一个场景获取每一帧的亮度直方图，以确定场景的特性(对应与在JP-A 2008-134277中描述的内容特性)。之后，计算伽玛校正值，使得色调模式(pattern)可以匹配确定的特性，由此导致色调校正。

在日本专利申请公开No.2006-270417中公开的技术中，为视频信号的每一帧获得的伽玛校正值被IIR滤波器处理，并且然后被用作最终的校正值。为了获得最终的校正值，基于视频信号的直方图和基于诸如平均亮度值的亮度特征量，获得作为场景改变的指标的变化值，并且然后执行控制使得IIR滤波器的响应速度将会随着该变化值的增加而增加。

根据在JP-A 2006-270417中公开的技术，当该变化值小时，即，当包括场景改变的概率低时，IIR滤波器的响应速度低。因此，在作为处理目标帧的观察帧和位于相同场景中上述观察帧之前的帧之间的最终校正值的差被减小，由此导致了获得如下的播放和显示效果，即，在所述效果中，与在JP-A 2008-134277中的技术相比，减轻了与场景有关的不良感觉。此外，当该变化值大时，即，当包括场景改变的概率高时，IIR滤波器的响应速度高。因此，观察帧的最终校正值不易受显示不同场景的帧的最终校正值影响。因此同样地，在包括场景改变的情形中，可以获得最佳校正结果。

如在JP-A 2008-134277和JP-A 2006-270417中所描述的，通常基于在帧的直方图中的亮度特征的改变量的程度(level)等来检测视频信号中的场景改变。例如，在JP-A 2006-270417中的技术中，通过将改变量的程度取为场景改变的概率来控制IIR滤波器的响应速度。

同时，上述的大的改变量不一定归于场景改变。例如，在高速渐显或渐隐的情形中，在帧之间的直方图的亮度特征等中存在大的改变量，虽然帧是相同的场景。在JP-A 2006-270417中的技术中，IIR滤波器的响应速度随着改变量的增加而增加。因此，当该技术被用于这样的帧的伽玛校正值时，在帧之间的伽玛校正值的差没有明显地减小，从而播放或显示的效果可能具有与帧相关的不良感觉。

发明内容

本发明的一方面是一种视频信号处理装置。视频信号处理装置包括：校正值计算器，其对于视频信号的每一帧基于帧的亮度特征的量计算用于对帧执行色调校正的伽玛校正值；改变量计算器，其为每一帧计算帧之间的亮度特征中的改变量，该改变量能够被用作用于确定场景改变的指标值；以及最终校正值获取单元，其对每一帧执行用于减小帧之间的伽玛校正值中的差的减小处理，并且由此获取帧的最终校正值。

最终校正值获取单元确定观察帧被分类为第一类型、第二类型和第三类型中的哪一类型，并且根据观察帧的被确定的类型而控制观察帧的减小处理的程度，第一类型是具有等于或小于预定阈值的改变量的帧；第二类型是具有比阈值大的改变量并且在观察帧即刻之前的预定时段内存在具有比阈值大的改变量的至少一个帧的帧；第三类型是除了第一类型和第二类型以外的帧。

注意的是，通过利用方法、系统等代替根据前述方面的装置所表达的方面也是本发明的有效方面。另外，使计算机执行由该装置或该装置的一部分执行的处理的程序也是有效的。

根据本发明的方面，可以对如下的视频信号执行适当的色调校正，在所述视频信号中，虽然帧是相同的场景，但是在帧之间的亮度特征中有大的改变量。

附图说明

图1是示出根据本发明实施例的色调校正电路100的图。

图2是示出帧的直方图的示例的图。

图3是用于说明由伽玛校正值计算器执行的处理的图。(No.1)

图4是用于说明由伽玛校正值计算器执行的处理的图。(No.2)

图5是示出由伽玛校正值计算器获得的伽玛校正值的示例的图。

具体实施方式

下面将参考附图描述本发明的实施例。为了说明，将下面的描述和附图适当地省略或简化。此外，在附图中作为各种处理的功能块示出的每一部件可以通过CPU、存储器或其他电路而被构造为硬件，或者可以通过加载到存储器等的程序而被实现为软件。因此，本领域技术人员应该理解的是，这些功能块可以被实现为各种形式，例如仅是硬件、仅是软件、以及是其组合。实现方式不被限制于这些。

图1示出了根据本发明实施例的色调校正电路100。色调校正电路100被设置在用于播放和显示视频信号的装置中，并且对视频信号执行色调校正。如在图1中所示，色调校正电路100包括：直方图获取单元110、伽玛校正值计算器120、平均图像电平(APL)计算器130、单色平面确定单元140、改变量计算器150、最终校正值获取单元160和校正执行单元170。

直方图获取单元110接收视频信号的亮度输入，并且为每一帧获取直方图。图2示出由直方图获取单元110获取的直方图的示例。

如在图2中所示，直方图的水平轴表示亮度，而垂直轴表示像素的数量。在图2中，不同图案的条被用于表示分别示出亮度值的bin(档)，并且每一个条的高度表示相应的bin的像素的数量。

直方图获取单元110顺次地为每一帧获取直方图并且然后将直方图输出到伽玛校正值计算器120、APL计算器130、单色平面确定单元140、改变量计算器150。

APL计算器130通过利用由直方图获取单元110获取的直方图而计算当前观察帧的APL，并且然后将计算结果输出到伽玛校正值计算器120。

单色平面确定单元140确定观察帧是否是诸如字幕的单色平面，并且然后将示出确定结果的信号SP输出到伽玛校正值计算器120。之后，该信号SP被称为单色平面确定信号SP。当在观察帧的直方图中的峰值和峰值附近绘制的像素的总和的百分比达到或超过观察帧的像素的总数的预定百分比(例如，3/4)时，单色平面确定单元140确定观察帧为单色平面。

改变量计算器150计算在观察帧的亮度特征中的改变量M，并且然后将改变量M输出到最终校正值获取单元160。改变量M可以被用作场景改变的指标值。在该实施例中，改变量计算器150计算在观察帧和该观察帧之前的帧的直方图之间的改变量作为改变量M。具体地，改变量是如下的绝对值的总和，其中，所述绝对值的每个都表示相对于每个bin的观察帧和该观察帧之前的帧之间的差。

伽玛校正值计算器120被提供以获得用于色调校正的伽玛校正值，以提高对比度，并且伽玛校正值计算器120包括伽玛曲线计算器122和增益控制器124。

伽玛曲线计算器122基于观察帧的直方图、APL和单色平面确定信号SP来计算观察帧的伽玛校正值gam1，并且然后将该伽玛校正值gam1输出到增益控制器124。

具体地，当与观察帧相关的单色平面确定信号SP表明观察帧是单色平面时，伽玛曲线计算器122将线性系数作为伽玛校正值gam1输出到增益控制器124。线性系数是表示“输出亮度＝输入亮度”的校正值，即，校正将不被执行。

另一方面，当与观察帧相关的单色平面确定信号SP表明观察帧不是单色平面时，伽玛曲线计算器122通过累计将在由校正执行单元170执行的色调校正中使用的每一控制点(亮度)处的像素数量，首先获得用于观察帧的直方图的累积值。然后，伽玛曲线计算器122通过利用动态范围的最大值(例如，对于10比特亮度信号而言为1023)来对如此获得的累积值进行标准化。图3示出基于被作为在图2中所示示例的直方图，通过伽玛曲线计算器122而获得的标准化的累积值(在图3中的白点)。注意的是，同样在图3中，代表bin中的相应一个bin的每一个条的高度表示像素数量，并且代表相应的bin的条的图案与在图2中的图案匹配。

接着，伽玛曲线计算器122通过利用标准化的累积值(下文中被称为Pval)和由APL计算器130获得的APL，根据下面的表达式(1)计算伽玛校正值gam1。

gam1＝((PLmax-APL)×Ppoint×Pval+APL×D)/PLmax/D  (1)

在表达式(1)中，“PLmax”是APL的最大值。例如，当APL以128级表示时，APL取从0到127的范围内的值，并且PLmax是127。

另外，“Ppoint”是在控制点处的亮度值，并且“D”是亮度的动态范围的最大值。例如，在10比特亮度信号的情形中，“D”为1023。

如从前述说明所知道的，伽玛校正值gam1代表在控制点处的亮度被取为输入亮度的情形中的输出亮度，并且因此伽玛校正值gam1包括在彼此配对的在控制点处的亮度和输出亮度。然而，为了方便说明，在控制点处的亮度和输出亮度被共同称为伽玛校正值gam1。

在图4中的曲线C1是表示通过伽玛曲线计算器122获得的伽玛校正值gam1的示例的伽玛曲线。在单色平面中，由伽玛曲线计算器122输出的伽玛校正值gam1对应于线L。

增益控制器124对由伽玛曲线计算器122获得的伽玛校正值gam1执行增益控制，从而防止过度校正。具体地，根据利用预设增益系数(增益)和系数α的表达式(2)和(3)，增益控制器124从伽玛校正值gam1获得伽玛校正值gam2。

β＝增益-(∑|gam1-L|)/α    (2)

gam2＝L+(gam1-L)×β        (3)

在表达式(2)中，“∑|gam1-L|”是在所有控制点处的绝对值的总和，每一绝对值都表示在控制点处的伽玛校正值gam1和线L上的值之间的差。如从表达式(3)所知道的，随着通过表达式(2)获得的β的减小，伽玛校正值gam2接近与线L对应的伽玛校正值。相反，随着β的增加，伽玛校正值gam2接近伽玛校正值gam1。当通过表达式(2)获得的结果等于或小于“0”时，β被设置为“0”，并且由此，伽玛校正值gam2对应于线性系数，以防止反向的校正。

在图4中的曲线C2示出如下的曲线，其中，该曲线表示在β为0.5的情况下从伽玛校正值gam1获得的伽玛校正值gam2。在β为1的情况下，基于伽玛校正值gam2的C2与基于伽玛校正值gam1的C1匹配。

图5示出由增益控制器124获得的伽玛校正值gam2(在图5中的白点)的示例。伽玛校正值gam2也是与在每一控制点处的亮度对应的输出亮度。增益控制器124将因此获得的观察帧的伽玛校正值gam2输出到最终校正值获取单元160。

最终校正值获取单元160基于伽玛校正值gam2而获取将被输出到校正执行单元170的最终校正值。最终校正值获取单元160包括：帧类型确定单元162；泄漏积分器电路(leaky integrator circuit)，即，这里使用IIR滤波器164作为示例；以及控制器166。

帧类型确定单元162基于从改变量计算器150输出的改变量M确定观察帧的类型，并且然后将确定结果输出到控制器166。在该实施例中，当确定观察帧的类型时，帧类型确定单元162参考在该观察帧之前的预定时段内存在的帧的改变量M。因为这个原因，在已经经过确定的帧当中，帧类型确定单元162存储在上述预定时段内存在的帧的改变量M。将在随后更加详细地描述该预定时段。

当观察帧具有等于或小于预定阈值的改变量M时，帧类型确定单元162确定观察帧为第一类型帧。第一类型帧对应于没有引起场景变化的帧。

当观察帧具有比阈值大的改变量M，并且同时在观察帧即刻之前的预定时段内存在具有比阈值大的改变量M的帧时，帧类型确定单元162确定观察帧为第二类型帧。

当观察帧没有被分类为第一类型帧和第二类型帧的任何之一时，帧类型确定单元162确定观察帧为第三类型帧。

具有比阈值大的改变量M，第三类型帧对应于引起场景改变的帧。

同时，第二类型帧也具有比阈值大的改变量M，但是，在该实施例中，其被确定为与第三类型帧不同类型的帧，所述第三类型帧即具有改变的场景的帧。这是因为，如上所述，在之前的预定时段内是否存在具有比阈值大的改变量M的帧已经被增加为确定条件。

控制器166对输出到校正执行单元170的最终校正值和IIR滤波器164的响应速度执行控制。最终校正值是下面的任何之一：由增益控制器124基于帧类型确定单元162的确定结果而获得的伽玛校正值gam2；和由IIR滤波器164对输出到IIR滤波器164的伽玛校正值gam2执行的处理的结果(在下面被称为伽玛校正值gam3)。

具体地，当从帧类型确定单元162输出的帧类型确定信号TYP表示观察帧是第一类型帧时，控制器166将观察帧的伽玛校正值gam2输出到IIR滤波器164。结果，通过IIR滤波器164从伽玛校正值gam2获得的伽玛校正值gam3被作为最终校正值输出到校正执行单元170。

第一类型帧是没有引起场景改变的帧。因此，当通过IIR滤波器164对第一类型帧的伽玛校正值gam2进行处理而获得的结果被用作最终校正值时，与之前的帧的校正值的差被减小。因此，可以获得其中不良感觉被减轻的播放和显示的效果。

当帧类型确定信号TYP表示观察帧是第三类型帧时，控制器166将观察帧的伽玛校正值gam2输出到校正执行单元170，而不改变该值。稍后将描述这种方式的处理的重要性。

第三类型帧是具有改变的场景的帧。关于该帧，伽玛校正值gam2在没有经过任何处理的情况下被用作最终校正值，并且因此，观察帧的最终校正值不受之前的帧的校正值影响。因此，可以获得其中场景改变被清晰地识别的播放和显示的效果。

当帧类型确定信号TYP表示观察帧是第二类型帧时，控制器166将观察帧的伽玛校正值gam2输出到IIR滤波器164，同时与第一类型帧的情形相比，降低IIR滤波器164的响应速度。

校正执行单元170通过利用从最终校正值获取单元160输出的观察帧的最终校正值(伽玛校正值gam2或伽玛校正值gam3)对观察帧执行色调校正，由此获得输出亮度。

如上所述，虽然帧是相同的场景，但是渐显或渐隐导致帧之间的亮度特征的大的改变量。在其中仅基于帧之间的改变量而确定场景改变的传统技术中，具有大的改变量的这样帧被确定为具有改变的场景的帧。为了将这样的帧与具有改变的场景的帧相区分，本专利申请的发明人已经创建了如下的技术，通过该技术，不仅基于改变量而且还基于在观察帧之前的预定时段内是否存在具有大的改变量的帧，确定帧的类型。由帧类型确定单元162确定的第二类型帧对应于其中虽然帧是相同的场景但是在帧之间具有大的改变量的帧。第三类型帧对应具有改变的场景的帧。

“预定时段”的长度基于经验值或帧速率而被设置，使得当在预定时段内存在具有比阈值大的改变量的帧时，观察帧可被确定为第二类型帧。例如，在其中帧速率为60Hz的情形中，该长度可以被设置为约20秒。

在该实施例中，当观察帧具有比阈值大的改变量M，并且同时在观察帧之前的预定时段内存在具有比阈值大的改变量的帧时，观察帧被确定为第二类型帧。替选地，例如，当观察帧具有比阈值大的改变量M，并且同时如上所述存在于预定时段内的这样帧的出现频率超过阈值时，观察帧可被确定为第二类型帧。在该情形中，预定时段的长度可被设置得更长一些。

总之，在该实施例中，对于以渐显或渐隐为特征的帧(第二类型帧)，通过IIR滤波器164对第二类型帧的伽玛校正值gam2进行处理而获得的结果被用作最终校正值。由此，在显示这样场景的帧的情形中，可以获得其中不良感觉被减轻的播放和显示的效果。

此外，因为IIR滤波器164对第二类型帧的响应速度被设置为低于对第一类型帧的响应速度，所以与第一类型的观察帧的情形相比，在第二类型帧的观察帧的情形中，与之前的帧的校正值的差被减小得更多。因此，可进一步地减轻在播放和显示中的不良感觉。

在该实施例中，例如，在直方图中的改变量被用于确定帧的类型。然而，通过使用在诸如平均亮度的其他亮度特征中的改变量、在多个亮度特征中的改变量的组合等，可以进行确定。

同时，对于第三类型帧，由伽玛校正值计算器120获得的伽玛校正值gam2在没有任何处理的情况下被用作最终校正值。例如，对于第三类型帧的伽玛校正值gam2，由具有比对于第一类型帧更高的响应速度的IIR滤波器对伽玛校正值gam2处理的结果可以被用作最终校正值。在该情形中，当第三类型帧帧被处理时，IIR滤波器的响应速度可以被设置为是恒定的。替选地，IIR滤波器的响应速度可以随着改变量M的增加而增加。

不言而喻的是，当处理第二类型帧时，IIR滤波器的响应速度可以与对于第一类型帧的相同。

虽然已经结合本发明的若干优选实施例描述了本发明，但本领域技术人员将理解的是，那些实施例只是被提供用于说明本发明，并且不应该被理解为用于限制所附权利要求。

Claims (7)

1.一种视频信号处理装置，包括：

校正值计算器，所述校正值计算器对于视频信号的每一帧基于所述帧的亮度特征的量计算用于对所述帧执行色调校正的伽玛校正值；

改变量计算器，所述改变量计算器为每一帧计算帧之间的亮度特征中的改变量，所述改变量能够被用作用于确定场景改变的指标值；以及

最终校正值获取单元，所述最终校正值获取单元为每一帧执行用于减小帧之间的所述伽玛校正值中的差的减小处理，并且由此获取所述帧的最终校正值，其中

所述最终校正值获取单元确定观察帧被分类为第一类型、第二类型和第三类型中的哪一类型，并且根据所述观察帧的被确定的类型而控制对所述观察帧的所述减小处理的程度，所述第一类型是具有等于或小于预定阈值的改变量的帧；所述第二类型是具有比所述阈值大的改变量并且在所述观察帧即刻之前的预定时段内存在具有比所述阈值大的改变量的至少一个帧的帧；所述第三类型是除了所述第一类型和所述第二类型以外的帧。

2.根据权利要求1所述的视频信号处理装置，其中，所述最终校正值获取单元在包括不执行所述减小处理的范围内对所述减小处理的所述程度进行控制。

3.根据权利要求1所述的视频信号处理装置，其中

所述最终校正值获取单元包括：

泄漏积分器电路，所述伽玛校正值被输入到所述泄漏积分器电路；

帧类型确定单元，所述帧类型确定单元确定观察帧被分类为所述第一类型、所述第二类型和所述第三类型中的哪一类型；以及

控制器，所述控制器根据由所述帧类型确定单元确定的所述观察帧的类型，通过选择来自所述泄漏积分器电路的输出值和所述伽玛校正值的任何一个，执行对所述泄漏积分器电路的响应速度的控制和对最终校正值的控制中的至少一个。

4.根据权利要求3所述的视频信号处理装置，其中，所述控制器执行对所述最终校正值的控制，使得

对于所述第一类型和所述第二类型中的任何一个的帧，将来自所述泄漏积分器电路的输出值用作所述最终校正值，以及

对于所述第三类型的帧，将所述伽玛校正值用作所述最终校正值。

5.根据权利要求4所述的视频信号处理装置，其中，所述控制器执行对所述泄漏积分器电路的所述响应速度的控制，使得对于所述第二类型的帧的响应速度低于对于所述第一类型的帧的响应速度。

6.根据权利要求3所述的视频信号处理装置，其中

所述控制器执行对所述泄漏积分器电路的所述响应速度的控制，使得

对于所述第一类型、所述第二类型和所述第三类型中的任何一个的帧，将来自所述泄漏积分器电路的输出值用作最终校正值，

对于除了所述第二类型以外的类型的帧，所述响应速度随着所述改变量的增加而增加，以及

对于所述第二类型的帧，所述响应速度被设置为低于对于除了所述第二类型以外的类型的任何一个的帧的最低响应速度。

7.根据权利要求1所述的视频信号处理装置，其中，所述亮度特征的量由亮度直方图表示。

Images