具体实施方式
将详细参考附图来解释根据本公开的各种示例性图像处理装置和图像处理方法。
图1是示出根据本公开的示例性图像处理装置的构造的示意性框图。图1中示出的示例性图像处理装置10接收相继帧的彩色图像数据,根据各帧之间的图像的变化来执行校正,并且输出校正的彩色图像数据。示例性图像处理装置包括:Y元素值生成电路(RGB至Y)12、帧存储器14、过驱动量计算块16和加法器18。
Y元素值生成电路12根据包括在彩色图像数据(RGB输入)中的当前帧中的各个像素的R元素、G元素和B元素的值(R元素值、G元素值和B元素值)生成Y元素的值(Y元素值)。可以使用用于生成Y元素值的任何方法。在该示例性实施例中,使用等式Y=0.299R+0.587G+0.114B来计算Y元素值,其中,R、G和B分别表示R元素、G元素和B元素的值。
帧存储器14是半导体存储器,该半导体存储器存储从Y元素值生成电路12接收到的组成一帧的各像素的Y元素值。在比输入当前帧的相应像素的R元素值、G元素值和B元素值晚一个帧周期的时刻,从帧存储器读取所存储的组成一帧的各个像素的Y元素值。也就是说,从帧存储器14读取前一帧的各像素的Y元素值。换言之,帧存储器14在读取Y元素值时存储前一帧的各像素的Y元素值。
OD量计算块16基于从帧存储器14读取的前一帧的各个像素的Y元素值以及当前帧的相应像素的R元素值、G元素值和B元素值,来恢复前一帧的各个像素的R元素值、G元素值和B元素值。也就是说,OD量计算块16包括恢复前一帧的各像素的R元素值、G元素值和B元素值的恢复块。然后,OD量计算块基于前一帧的各个像素的恢复的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素值,来计算当前帧的各个像素的过驱动量。
最后,加法器18将OD量计算块16所计算出的当前帧的各个像素的过驱动量与当前帧的相应像素的R元素值、G元素值和B元素值相加,以生成用于对液晶显示器进行过驱动的校正的彩色图像数据(RGB输出)。
也就是说,OD量计算块16和加法器18的组合构成示例性校正块,该示例性校正块将组成前一帧的各像素的RGB元素的值与组成当前帧的相应像素的RGB元素的值作比较,并且生成校正的图像数据。校正块可能具有各种不同的构造。例如,没有必要通过在OD量计算块16中生成过驱动量并且将所生成的量与当前帧的R元素值、G元素值和B元素值相加来生成校正的彩色图像数据。也就是说,OD量计算块16可以生成过驱动量与之相加的校正的彩色图像数据。
接下来,将解释OD量计算块16的示例性实施例。
图2是示出图1所示的OD量计算块的示例性构造的框图。示例性OD量计算块16a包括:UV元素值生成电路(RGB至UV)20、RGB元素值恢复电路(YUB至RGB)22a、以及分别提供R元素、G元素和B元素的查找表(LUT)24R、24G和24B。
UV元素值生成电路20根据当前帧的各像素的R元素值、G元素值和B元素值(当前帧RGB)生成当前帧的各像素的U元素值和V元素值。这里,可以使用各种技术来根据R元素值、G元素值和B元素值生成U元素值和V元素值。例如,可以使用与以上解释的用于Y元素值的等式类似的等式来根据R元素值、G元素值和B元素值生成U元素值和V元素值。
RGB元素值恢复电路22a基于:i)从帧存储器14读取的前一帧的各个像素的Y元素值(前一帧Y)和ii)UV元素值生成电路20生成的当前帧的相应像素的U元素值和V元素值,来恢复前一帧的各个像素的R元素值、G元素值和B元素值。
也就是说,UV元素值生成电路20和RGB元素值恢复电路22a构成示例性恢复块,该示例性恢复块恢复前一帧的R元素值、G元素值和B元素值。
查找表24R、24G和24B将RGB元素值恢复电路22a所恢复的前一帧的各个像素的R元素值、G元素值和B元素值分别与当前帧的相应像素的R元素值、G元素值和B元素值作比较。另外,查找表24R、24G和24B分别生成与当前帧的各个像素的R元素、G元素和B元素相对应的R元素、G元素和B元素的OD量(用于R的OD量、用于G的OD量、和用于B的OD量)。
这里,查找表24R、24G和24B构成输出校正的图像数据的根据本公开的示例性校正块。
图2所示的OD量计算块16a通过使用UV元素值生成电路20,根据当前帧的各像素的R元素值、G元素值和B元素值,生成当前帧的各像素的U元素值和V元素值。
接下来,RGB元素值恢复电路22a通过使用从帧存储器14读取的前一帧的各像素的Y元素值和UV元素值生成电路20生成的当前帧的各像素的U元素值和V元素值来生成前一帧的各像素的R元素值、G元素值和B元素值。
最后,查找表24R、24G和24B基于RGB元素值恢复电路22a恢复的前一帧的各个像素的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素值,分别输出当前帧的各个像素的R元素、G元素和B元素的OD量。
这里,当在前一帧的各个像素的U元素值和V元素值与当前帧的相应像素的U元素值和V元素值之间的差异非常小时,RGB元素值恢复电路可以恢复前一帧的精确的R元素值、G元素值和B元素值。因此,能够基于所恢复的前一帧的各个像素的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素值,来生成当前帧的精确的OD量。
当在前一帧的各个像素的U元素值和V元素值与当前帧的相应像素的U元素值和V元素值之间的差异非常大时,RGB元素值恢复电路22a所恢复的前一帧的各像素的R元素值、G元素值和B元素值包括了误差。因此,基于所恢复的前一帧的各个像素的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素值所生成的OD量包括了误差。
尽管如此,与包括在仅基于前一帧和当前帧的Y元素值生成的OD量中的误差相比,基于所恢复的前一帧的各个像素的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素所生成的OD量中所包含的误差更小。因此,可以改善显示质量。也就是说,例如,可以抑制在具有不同色彩的物体之间的边界处的色彩模糊。
接下来,将解释另一示例性OD量计算块16。
图3是示出另一示例性OD量计算块的构造的框图。OD量计算块16b包括:Y元素值生成电路(RGB至Y)26、RGB元素值恢复电路(YUV至RGB)22b、提供用于各个RGB元素的三个查找表(LUT)24R、24G和24B。
Y元素值生成电路26根据当前帧的像素的R元素值、G元素值和B元素值来生成当前帧的各像素的Y元素值。Y元素值生成电路26可以利用生成Y元素值的各种技术。例如,Y元素值生成电路26可以使用以上描述的计算等式。
RGB元素值恢复电路22b基于从帧存储器14读取的前一帧的各像素的Y元素值、Y元素值生成电路26所生成的当前帧的各像素的Y元素值以及当前帧的各像素的R元素值、G元素值和B元素值来恢复前一帧的各像素的R元素值、G元素值和B元素值。
这里,Y元素值生成电路26和RGB元素值恢复电路22b组成根据本公开的示例性恢复块。
查找表24R、24G和24B可以具有与图2所示的那些相同的结构。
图3中示出的OD量计算电路16b通过使用Y元素值生成电路26来生成当前帧的各像素的Y元素值。
接下来,RGB元素值恢复电路22b基于从帧存储器14读取的前一帧的各像素的Y元素值、Y元素值生成电路26所生成的当前帧的各像素的Y元素值以及当前帧的各像素的R元素值、G元素值和B元素值,来恢复前一帧的各像素的R元素值、G元素值和B元素值。
最后,查找表24R、24G和24B基于RGB元素值恢复电路22b所恢复的前一帧的各个像素的R元素值、G元素值和B元素值以及当前帧的相应像素的R元素值、G元素值和B元素值来输出当前帧的各个像素的R元素值、G元素值和B元素值的OD量。
接下来,检验在图2中示出的RGB元素值恢复电路22a中的处理与图3中的RGB元素值恢复电路22b中的处理之间的等价性。
假定A’至F’是从Y元素值、U元素值和V元素值转换为R元素值、G元素值和B元素值的适当的系数,可以通过以下等式来表达在RGB元素值恢复电路22a中的处理。
R(前一帧的)=Y(前一帧的)+A’×U+B’×V
G(前一帧的)=Y(前一帧的)+C’×U+D’×V (1)
B(前一帧的)=Y(前一帧的)+E’×U+F’×V
这里,U和V分别表示当前帧的相应像素的U元素值和V元素值。
另一方面,假定相继帧的U元素值和V元素值之间的差异很小,则可以通过以下等式来表达当前帧的各个像素的R元素值、G元素值和B元素值。
R(当前帧的)=Y(当前帧的)+A’×U+B’×V
G(当前帧的)=Y(当前帧的)+C’×U+D’×V (2)
B(当前帧的)=Y(当前帧的)+E’×U+F’×V
可以通过将“Y(当前帧的)”移动到左侧来将以上等式变换成如下各等式。
R(当前帧的)-Y(当前帧的)=+A’×U+B’×V
G(当前帧的)-Y(当前帧的)=+C’×U+D’×V (3)
B(当前帧的)-Y(当前帧的)=+E’×U+F’×V
因此,可以将以上示出的RGB元素值恢复电路22a的等式(1)变换为以下等式。
R(前一帧的)=Y(前一帧的)+R(当前帧的)-Y(当前帧的)
G(前一帧的)=Y(前一帧的)+G(当前帧的)-Y(当前帧的)(4)
B(前一帧的)=Y(前一帧的)+B(当前帧的)-Y(当前帧的)
也就是说,可以通过前一帧的各个像素的Y元素值、当前帧的相应像素的Y元素值以及当前帧的相应像素的R元素值、G元素值和B元素值来表达前一帧的各个像素的R元素值、G元素值和B元素值。根据这些等式执行RGB元素值恢复电路22b中的处理。
以上所解释的分析示出了RGB元素值恢复电路22a和22b执行了等效处理。RGB元素值恢复电路22a获取U元素值和Y元素值或者Y元素值、U元素值和V元素值中的两个的值,这些值是UV元素值生成电路20根据当前帧的各像素的R元素值、G元素值和B元素值生成的。另一方面,RGB元素值恢复电路22b获取Y元素值或者Y元素、U元素和V元素中仅一个的值,这些值是Y元素值生成电路26根据当前帧的各像素的R元素值、G元素值和B元素值生成的。另外,等式(4)所代表的RGB元素值恢复电路22b中的处理不包括乘法。因此,与OD量计算块16a的处理相比,OD量计算快16b的处理更容易,并且可以用更小的电路来实现。
如图1至图3中所示,当输入RGB格式的彩色图像数据时,将Y元素值生成电路所生成的Y元素值存储在帧存储器中。而且,通过使用从帧存储器读取的前一帧的各像素的Y元素值以及当前帧的各像素的R元素值、G元素值和B元素值来恢复前一帧的各像素的R元素值、G元素值和B元素值。
另一方面,当输入YUV格式的彩色图像数据时,可以将输入彩色图像数据的各像素的Y元素值存储在帧存储器中。而且,可以通过使用从帧存储器读取的前一帧的各像素的Y元素值以及当前帧的各像素的彩色图像数据,来恢复前一帧的各像素的R元素值、G元素值和B元素值。在这种情况下,还可以使用图2所示的RGB元素值恢复电路22a或者图3所示的RGB元素值恢复电路22b。
接下来,将解释图像处理装置10的操作。
在图像处理装置10接收一帧的彩色图像数据的周期期间,图像处理装置通过使用Y元素值生成电路12,根据当前帧的彩色图像数据(RGB输入)中的R元素值、G元素值和B元素值生成各个像素的Y元素值。另外,图像处理装置10将生成的当前帧的Y元素值存储在帧存储器14中。
接下来,在图像处理装置接收下一帧的彩色图像数据的周期期间,图像处理装置通过使用OD量计算块16,基于从帧存储器14读取的前一帧的各像素的Y元素值以及当前帧的相应像素的R元素值、G元素值和B元素值,来计算当前帧的各个像素的过驱动量。
最后,图像处理装置10通过使用加法器18将所计算出的当前帧的各个像素的过驱动量与当前帧的相应像素的R元素值、G元素值和B元素值相加,并且生成用于过驱动液晶显示器的校正的彩色图像数据(RGB输出)。
在图像处理装置10中,帧存储器14仅存储每个帧的各像素的Y元素值。因此,与将所有R元素值、G元素值和B元素值都存储在帧存储器14中的情况相比,可以将帧存储器的容量减小到约1/3。还可以通过例如对Y元素值生成电路12所生成的Y元素值进行量化或压缩,来进一步减小帧存储器的容量。
而且,在这样的情况下,OD量计算块16基于当前帧的各个像素的R元素值、G元素值和B元素值以及前一帧的相应像素的Y元素值来恢复前一帧的各像素的R元素值、G元素值和B元素值。OD量计算块16进一步将所恢复的前一帧的各个像素的R元素值、G元素值和B元素值与当前帧的相应像素的R元素值、G元素值和B元素值作比较。最后,包括OD量计算块16和加法器的校正块生成校正的图像数据。从而,可以抑制具有不同色彩的物体之间边界处的色彩模糊。
根据彩色图像数据的特性,可以提高压缩率。因此,可以将包括全部色彩元素的值的压缩图像数据存储在具有有限容量的帧存储器14中。因此,能够构造图像处理装置来:1)在可能时将包括全部色彩元素的压缩图像数据存储在帧存储器14中,并且2)当不能存储包括全部色彩元素的压缩图像数据时,将仅包括Y元素值的压缩图像数据存储在帧存储器中。
例如,可以以高压缩率将诸如单个物体以恒速在同质背景之前移动的图像的简单图像的全部色彩元素的值进行压缩,并且可以将这些值存储在帧存储器14中。在这样的简单图像中,人眼可以容易地识别出过驱动的效果。因此,不太可能通过单独使用前一帧的Y元素值计算OD量来实现足够的显示质量。
能够构造图像处理装置来将全部色彩元素的值存储在帧存储器14中,并且当通过单独使用Y元素值的过驱动处理所实现的图像质量不足时,在过驱动处理中使用这些值。通过读取包括前一帧的全部RGB元素的值的压缩图像数据,并且将它们与当前帧的RGB元素的值作比较,可以进行高准确度的过驱动处理。从而,可以实现较高的显示质量。
另一方面,例如,当图像的空间频率很高时,或者当在帧的整个部分随机布置了大量物体时,难以提高压缩率。在这种情况下,有必要单独压缩Y元素值,以存储在具有有限容量的帧存储器中。然而,在这种情况下,人眼不能容易地识别出过驱动的效果。因此,通过将Y元素值单独存储在帧存储器14中并且执行过驱动,可以实现足够的显示质量。
图4是示出包括两个压缩电路的压缩块的示例性构造的框图。两个压缩电路通过分别单独压缩Y元素值和全部色彩元素的值来生成两组压缩图像数据。
图4中示出的示例性压缩块40包括:YUV元素值生成电路(RGB至YUV)42、量化块44、第一压缩电路46a和第二压缩电路46b(YUV元素值压缩电路和Y元素值压缩电路)、图像评估块48和选择器50。示例性压缩块40可以用于例如替换在图1所示的示例性图像处理电路10中的Y元素值生成电路12。在这种情况下,可以在帧存储器14和OD量计算块16之间提供解压缩块,该解压缩块将从帧存储器14读取的前一帧的压缩图像数据展开。可以将解压缩图像数据与当前帧的图像数据作比较。
YUV元素值生成电路42根据输入图像数据的R元素值、G元素值和B元素值生成Y元素值、U元素值和V元素值。上述计算等式可以用于生成Y元素值。可以通过使用,例如,U=0.500R-0.419G-0.081B和V=-0.169R-0.332G+0.500B的计算等式来生成U元素值和V元素值。另一方面,当用Y元素值、U元素值和V元素值表示输入图像数据时,不需要YUV元素值生成电路42。
接下来,通过量化电路44对YUV元素值生成电路42所生成的Y元素值、U元素值和V元素值进行量化,以生成量化的Y元素值、U元素值和V元素值。将量化的Y元素值、U元素值和V元素值输入到第一压缩电路46a和第二压缩电路46b。
第一压缩电路46a对Y元素值、U元素值和V元素值进行压缩,并且生成包括所有Y元素值、U元素值和V元素值的压缩图像数据。第二压缩电路46b仅压缩Y元素值,并且生成仅包括Y元素值的压缩图像数据。
第一压缩电路46a和第二压缩电路46b通过,例如,将多个像素进行分组并且执行可变长度编码,来对输入图像数据进行压缩。因此,压缩数据的大小或者压缩率根据输入图像数据的特性而变化。例如,压缩率可以取决于输入图像数据的空间频率。更具体地,当空间频率较低时,压缩率变高,并且压缩图像数据的大小降低。
选择器50选择第一压缩图像数据和第二压缩图像数据中的一个,第一压缩图像数据包括第一压缩电路46a所生成的所有Y元素值、U元素值和V元素值,第二压缩图像数据仅包括第二压缩电路46b所生成的Y元素值,并且选择器50将所选择的那个图像数据作为压缩图像数据进行输出。图像评估电路48对输入图像数据或压缩图像数据进行评估,并且基于评估的结果来生成选择信号,并且将其输出到选择器50。
图像评估电路48可以通过例如对压缩图像数据的数据大小进行测量来执行评估,并且生成选择信号。特定地,例如,图像评估电路48可以对第一压缩电路46a生成的第一压缩图像数据的大小进行测量。当第一压缩图像数据的大小没有大于标准值时,图像评估电路48确定可以将一帧的第一压缩图像数据存储在帧存储器14中,并且生成选择第一压缩图像数据的选择信号。另一方面,当第一压缩图像数据的大小大于标准值时,图像评估电路48生成选择第二压缩图像数据的选择信号。
当在图像评估电路48中执行图像数据评估和选择信号生成时,尽管在图4中省略了,但是在第一压缩电路46a和第二压缩电路46b与选择器50之间可以提供缓冲器。在对图像数据进行评估并且生成选择信号时,缓冲器可以将第一压缩图像和第二压缩图像数据输入到选择器50的时刻延迟。
在压缩之前,还可以通过评估RGB或YUV图像数据来生成选择信号。例如,可以评估在特定数目的像素中,每个元素的变化的频率和幅度。当变化的频率和幅度不大于各自的标准值时,图像评估电路48可确定可以获得高压缩率,并且可以将第一压缩图像数据存储在帧存储器14中,并且生成选择第一压缩图像数据的选择信号。另一方面,当变化的频率和幅度大于各自的标准值时,图像评估电路48可以生成选择第二压缩图像数据的选择信号。
还可以生成包括所有R元素值、G元素值和B元素值的压缩图像数据而不是包括Y元素值、U元素值和V元素值的压缩图像数据,并且将这些值存储在帧存储器14中。在这种情况下,将生成包括所有R元素值、G元素值和B元素值的压缩图像数据的压缩电路提供为第一压缩电路46a,并且将包括R元素值、G元素值和B元素值的输入图像数据输入到该压缩电路。
当压缩电路的选择在一帧内变化时,图像质量的变化可能变得明显。为了防止该现象,可以在压缩块40中提供检测电路,该检测电路检测每个帧内的行和帧的开始。检测电路可以生成控制信号,该控制信号允许图像评估电路48仅在预定的第一周期期间或者在第一少量的行期间,基于图像评估的结果来更新选择信号,并且禁止图像评估电路此后在每个帧中更新选择信号。可以通过对与图像数据一同输入的垂直同步信号的电平和数据有效信号的电平进行监测来检测行和帧的开始。
可以从帧存储器读取存储在帧存储器14中的包括所有Y元素值、U元素值和V元素值的压缩图像数据,并且解压缩块可以恢复前一帧的Y元素值、U元素值和V元素值。可以将所恢复的前一帧的Y元素值、U元素值和V元素值输入到,例如,图2中所示的OD量计算块16a的RGB元素值恢复电路22a。为了可以将前一帧的Y元素值、U元素值和V元素值输入到RGB元素值恢复电路22a,可以在RGB元素值恢复电路22a的输入侧提供选择器。选择器可以选择UV元素值生成电路20所生成的U元素值和V元素值以及解压缩电路所恢复的U元素值和V元素值中的一个。
在OD量计算块16a中提供的选择器可以包括一种装置,该装置用于在禁止更新选择信号之后保持供应给图4所示的压缩块40的选择器50的选择信号。可以在下一帧周期期间将所保持的选择信号用作在OD量计算块16a中的选择器的选择信号。
当使用图3中所示的OD量计算块16b时,可以提供将解压缩块恢复的前一帧的Y元素值、U元素值和V元素值变换为前一帧的R元素值、G元素值和B元素值的变换电路。替代RGB元素值恢复电路22b所恢复的R元素值、G元素值和B元素值,可以将变换电路的输出输入到LUT 24R、24G和24B。
当将包括R元素值、G元素值和B元素值的压缩图像数据存储在帧存储器14中时,替代图3或图4所示的RGB元素值恢复电路22a或22b所恢复的前一帧的R元素值、G元素值和B元素值,可以将从帧存储器读取的并且由解压缩块解压缩的前一帧的R元素值、G元素值和B元素值输入到LUT 24R、24G和24B。
[示例性实施例1]
检验了对于图5所示的示例性自然图像的本公开的示例性实施例的效果。特定地,图5所示的原始图像以4像素/帧的速度,向右方涂写(scrawl),并且执行了过驱动。
图6示出了仅对Y元素值执行过驱动的对比性实施例。另一方面,图7示出了通过使用根据前一帧的各像素的Y元素值、当前帧的各像素的Y元素值以及当前帧的各像素的R元素值、G元素值和B元素值恢复的前一帧的各像素的R元素值、G元素值和B元素值,来执行过驱动的示例性实施例。如通过比较图6和图7可见,在图7中的梨的右边界处的红色的模糊不太明显。因此,证明示例性实施例提供了改善的显示质量。
上述示例性实施例将RGB彩色格式用作输入和输出彩色图像格式。还可以利用其他彩色格式,诸如YUV彩色格式。可以对Y元素值生成电路和OD量计算块的结构进行修改,只要可以实现它们的功能。
实践中,可以在单个的半导体集成电路芯片中集成Y元素值生成电路12、恢复块、以及校正块,其中所述恢复块可以由UV元素值生成电路20和RGB元素值恢复电路22a、或Y元素值生成电路26和RGB元素值恢复电路22b构成,所述校正块可以由LUT 24R、24G和24B以及加法器18构成。半导体集成电路芯片可以与存储各个像素的Y元素值的帧存储器一起用作处理彩色图像数据的装置。
还可以将半导体集成电路芯片与帧存储器芯片装配在单个的封装中,以构成能够用作完整的图像处理装置的器件。应当注意,当输入YUV格式的彩色图像数据时,不必将Y元素值生成电路12集成在半导体集成电路芯片中。还可以将压缩块40集成在半导体集成电路芯片中,来替代Y元素值生成电路12。