具体实施方式
[实施例1]图1是示例性示出根据本发明实施例1的图像处理装置的配置的图。在图1中,图像处理装置包括用于压缩和解压缩输入图像数据的压缩单元1和解压缩单元2、用于生成插值图像的插值图像生成单元3、以及用于分别压缩和解压缩插值图像的压缩单元4和解压缩单元5。
压缩单元1例如具有确定输入图像数据PDI的数据量中的错误率并且根据错误率(数据损失量)来自适应地压缩输入图像数据PDI的功能。压缩单元1压缩输入图像数据的比率(压缩率)是可变的并且其压缩算法根据输入图像数据PDI的图像特征(诸如其数据量)而改变(即压缩率改变)。解压缩单元2对压缩单元1压缩的图像数据进行解压缩。压缩单元1和解压缩单元2将以相同的压缩/解压缩率来压缩和解压缩输入图像数据。
插值图像生成单元3接收在当前周期中给出的输入图像数据PDI(OV)以及从解压缩单元2中生成的解压缩图像数据(DV),并且根据预定规则,通过执行插值处理来从这两个图像生成插值图像。插值图像生成单元3可以以插值处理的某一方式从时间上连续的帧中生成中间图像的帧。例如,可以使用这样的插值处理的方式:使得通过使用在运动矢量方面被视作是彼此紧密相关的块的像素的平均值来生成插值帧图像的像素。可替选地,可以简单地使用在这两个时间上连续的图像(例如帧)中的所有像素的平均值。
压缩单元4以与压缩单元1相同的方式来压缩由插值图像生成单元3生成的插值图像。解压缩单元5以与解压缩单元2相同的方式来解压缩由压缩单元4压缩的图像并生成输出图像数据PDO。
图像处理装置还包括:存储器控制器6,其用来在这些压缩单元1和4、解压缩单元2和5中的一个与帧存储器8之间传送图像数据。存储器控制器6经由存储器总线7耦合到帧存储器8。帧存储器8例如是时钟同步型DRAM(动态随机存取存储器:SDRAM)并且能够与时钟信号同步地进行高速数据传送。
存储器控制器6包括:写入端口W1,用于从压缩单元1接收压缩数据;输出端口R1,用于将从帧存储器8读取的图像数据发送给解压缩单元2;输入端口W2,用于从压缩单元4接收压缩图像数据;以及输出端口R2,用于将从帧存储器8读取的图像数据发送给解压缩单元5。
存储器控制器6经由一个存储器总线7耦合到帧存储器8并且通过存储器总线7的带宽来确定数据传送速率。
提供控制单元(MCU:微控制器单元)10来控制图像处理单元的图像处理操作。控制单元10包括压缩率设置单元11。其读取关于由压缩单元1得出的错误率(数据损失量)的信息,并根据错误率设置压缩单元1和4以及解压缩单元2和5的压缩率。在从压缩单元1提供的错误率大的情况下,控制单元10禁止在插值图像生成单元3中生成插值图像的操作。在这种情况下,使用原始未被压缩的图像数据(具有压缩率为1的图像数据)作为用于帧速率转换的插值图像。由此,即使在错误率(数据损失量)大的情况下,也可以生成具有减少噪声的插值图像,并且因此使整体的图像质量的恶化最小化。压缩率设置单元11例如具有表,基于从压缩单元1提供的错误率(数据损失量)信息来参考该表,读取对应于错误率的压缩率信息并且设置对错误率(数据损失量)而言最为优化的压缩率。
图2是示出图1所示的图像处理装置中用以生成插值图像的顺序的时序图。在以下内容中,将参考图2来描述图1所示的图像处理装置中的该操作。
现在,将帧图像假设为图像。从诸如图像处理器的预处理单元提供输入图像数据PDI。压缩单元1接收输入图像数据PDI,确定例如图像数据量,并且生成关于错误率的信息。该错误率(数据损失量)例如可以是输入图像数据PDI的数据大小、在一个帧图像中的所有像素的值的总和或者在相邻像素之间的差。确定错误率的该过程可以是用于生成可以用来评估(估计)压缩后的数据量的信息的过程。
由压缩单元1确定的错误率信息(数据损失量信息)提供给控制单元10中的压缩率设置单元11。控制单元10中的压缩率设置单元11根据错误率信息设置压缩率。根据这样设置的压缩率,压缩单元1压缩输入图像数据PDI并串行地传送压缩图像数据至存储器控制器6的输入端口W1。
图2示出在每个垂直时段(V时段)即在周期#0至#4中顺序提供的图像数据0V、1V、2V、3V、4V的阶段。这些帧图像数据通过压缩单元1顺序地压缩并且经由存储器控制器6的输入端口W1和存储器总线7被存储到帧存储器8中。
在下一周期#1中,图像数据1V被提供作为第二输入图像数据PDI。该图像数据被压缩单元1压缩并经由存储器控制器6和存储器总线7存储到帧存储器8。该图像数据1V还作为原始图像数据0V被提供给插值图像生成单元3。并且在该周期#1中,在周期#0期间存储的图像数据0V被从帧存储器8读取并从存储器控制器6的输出端口R1被提供给解压缩单元2。该压缩图像数据0V被解压缩单元2解压缩并生成解压缩图像数据DV。
插值图像生成单元3接收这些图像数据OV和DV,执行预定的插值处理,并生成插值图像01V。由插值图像生成单元3执行的插值处理可以是以下的处理,其中从时间上连续的帧图像0V和1V中生成在时间轴上处于它们之间的中间位置处的插值帧。
插值图像生成单元3生成的插值图像01V然后被压缩单元4压缩并被提供给存储器控制器6的输入端口W2。存储器控制器6经由存储器总线7将提供给输入端口W2的压缩图像数据存储到帧存储器8中。
此外,在该周期#1期间,在第一个半周期中,存储器控制器6读取在周期#0中提供的图像数据(压缩图像数据)0V并将其提供给解压缩单元5。在第二个半周期中,存储器控制器6读取由插值图像生成单元3生成的插值图像01V。这些图像数据被解压缩单元5解压缩,生成图像数据0V和01V并且图像数据0V和01V被输出为输出图像数据PDO。
从这两个图像0V和1V,生成中间插值图像01V并且帧图像的数目被加倍。因此,图像频率(例如帧速率)被设置成加倍。
随后,还是对于在周期#1至#4中提供的输入图像数据1V、2V、3V和4V,执行相同的步骤序列:压缩、解压缩、插值、压缩和解压缩。以输入图像数据1V、插值图像数据12V、输入图像数据2V等的顺序生成输出图像数据PDO,并且输出图像数据PDO被转发给没有示出的随后一级的电路。
以帧图像数据的该顺序,输出图像帧的数目变成输入帧图像数目的两倍,由此实现双倍速显示。因此,如果帧速率fps例如是60fps,则以120pfs的图像显示是可能的。这可以防止在液晶显示器上显示的图像的响应速度降低,并且还可以通过缩短保持时间来减少视觉后滞感并使图像质量的恶化最小化。
当执行压缩和解压缩时,需要在一个垂直时段T期间内通过存储器总线7传送五个帧(图像数据被视作帧图像)。即,应分别经由输入端口W1和W2以及输出端口R1传送一帧的图像数据,并且应经由读出端口R2读取两个帧(原始图像帧数据和插值帧图像数据)。因此,需要在一个垂直时段T期间总共传送五帧的图像数据。
图3示出了在由压缩单元1生成的错误率信息表示有大错误率并且随后的解压缩图像可能有大噪声的情况下的处理顺序。随后参考图3,将提供对于在预计压缩图像具有噪声(具有大量数据损失的图像)的情况下在图1的图像处理装置中的处理顺序的描述。
在周期#0中,帧图像数据0V被提供作为输入图像数据PDI。例如,压缩单元1预扫描该输入图像数据PDI并确定错误率(数据损失量)。根据从压缩单元1提供的错误率信息(数据损失量信息),控制单元10(压缩率设置单元11)预计压缩处理如果执行的话则将生成噪声图像,并为图像数据0V设置为1的压缩率。在来自控制单元10的、为1的压缩率的情况下,压缩单元1不执行压缩处理。即,其不压缩输入图像数据PDI并将输入图像数据PDI原样提供给存储器控制器6的输入端口W1。
根据为1的压缩率的指示(指示不执行压缩或者禁止压缩),插值图像生成单元3禁止生成插值图像的操作。这时,存储器控制器6根据不压缩的指示(即来自控制单元10的指定压缩率为1的压缩率信息)来禁止用于生成插值图像的对数据的写入/读取操作。因此,当帧图像数据1V在时钟周期#1中被提供为输入图像数据PDI时,存储器控制器6在T/2周期中读取帧图像数据0V两次并将这两个图像数据0V从其输出端口R2提供给解压缩单元5。因为为1的压缩率,所以解压缩单元5不解压缩数据并且只是将提供的图像数据进行转发,由此生成输出图像数据PDO。
随后,在每个周期#1、#2、#3和#4中,每个帧图像数据1V、2V、3V、4V不被压缩并且这些数据只是经由存储器总线7被传送给帧存储器8。因此,在这种情况下,在一个垂直时段T期间通过存储器总线7传送三帧的图像数据。
在错误率大的情况下,不执行压缩处理(具有压缩率为1的压缩处理)并且使用原始图像数据作为插值图像(插值帧图像数据)。这可以防止由压缩处理造成的噪声并且可以使图像质量的恶化最小化。
图4是列出与执行插值和不执行插值的情况相关的、存储器总线7的带宽、压缩率和所需存储容量的相互关系的表。
当执行插值处理时,通过存储器总线7传送五帧的图像,并因此需要5·D·(1/X)比特的带宽。这里,D表示每帧的图像数据的量并且X表示压缩率。T是一个垂直时段。插值处理所需的两帧的图像数据和生成的插值帧图像需要被存储在帧存储器8中。作为其存储容量,需要3·D·(1/X)比特的容量。
另一方面,当压缩率是1且不执行插值处理时,在一个垂直时段期间通过存储器总线7传送三帧的图像数据,且因此所需带宽是3·D比特/T。在这种情况下,只需要在帧存储器8中存储两帧的图像数据并且需要2·D比特的存储容量。因而,如果应用这样的压缩方案,可以减少所需带宽和存储容量(典型地,压缩率等于在1.5和2.0之间的值)。
图5是列出在帧图像是WXGA(宽XGA:1366×768比特)并且R(红)、G(绿)和B(蓝)分别由8比特来表示的情况下所需带宽和存储容量的示例性值的表。在这种情况下,每帧总的比特数D是25,178,112比特。假设设置压缩率为2。在这种情况下,当执行插值处理时,所需带宽(在一个垂直时段中要传送的比特数)是62,945,280比特并且帧存储器的所需存储容量是37,767,168比特。
另一方面,当压缩率是1且不执行插值处理时,所需带宽是75,534,336比特且帧存储器的所需存储容量是50,356,224比特。因此,通过选择其规格满足执行插值和不执行插值这两种情况的帧存储器,根据压缩图像数据时的错误率(数据损失量),可以使用同一帧存储器来执行处理转换。
例如,图5假设分辨率是WXGA并且屏幕高宽比是16∶9的情况。然而,屏幕高宽比可以是16∶10或5∶3。在前一种情况下在一帧中的像素是1280×800点,而在后一种情况下则是1024×768点。
图6是示例性示出图1所示的压缩单元1的配置例子的图。在图6中,压缩单元1包括:预扫描单元20,其预扫描输入图像数据PDI;压缩处理单元22a-22z,其压缩由预扫描单元20预扫描的图像数据;以及选择器24,其根据压缩率设置信息CCP来选择压缩处理单元22a-22z输出的压缩数据中的一个。
预扫描单元20串行扫描输入图像数据PDI并且导出针对所有像素的数据。压缩处理单元22a-22z根据彼此不同的压缩算法A-Z对来自预处理单元20的图像数据执行压缩处理。由这些压缩处理单元22a-22z执行的压缩算法A-Z的压缩率彼此不同。在这些压缩处理单元22a-22z中,可以具有用于压缩率为1的压缩处理的压缩处理单元。
压缩单元1还包括错误量检测器21,其接收由预扫描单元20预扫描的图像数据并且生成错误量(数据损失量)信息。错误量检测器21导出针对预扫描单元20预扫描的像素的数据大小(例如,数据比特的数目)或者指示诸如相邻像素之间差的图像特征的信息,并根据导出的数据值生成错误率信息ERR。例如,错误量检测器21将指示诸如数据大小的图像特征的导出值与预定阈值(阈值)进行比较来确定错误量水平,并根据比较结果(错误量水平)来生成指示错误率(数据损失量)的错误率信息ERR。
压缩处理单元22a-22z中的压缩算法A-Z具有不同的压缩率。作为具有不同压缩率的压缩算法,例如可以使用以下的压缩算法:具有不同量化步长的算法、使用运行长度编码的算法、使用可变长度编码的算法等。从图6中可以看出,这些压缩处理单元22a-22z并行工作并且分别对由预扫描单元20预扫描的图像数据执行它们的压缩处理。在这种情况下,压缩处理单元22a-22z可以配置为:使得根据来自控制单元的压缩率信息,执行为指定压缩率预定义的压缩算法的压缩处理单元只执行其压缩处理。借助于选择器24,通过根据压缩率信息CCP来从负责对应压缩率的压缩处理单元中选择压缩数据,可以生成需要的压缩数据并可以自适应地改变压缩率。在这种情况下,压缩处理单元22a-22z中的一个可以在为1的压缩率下执行压缩处理,并且在压缩处理被禁止时,可以通过选择器24来选择来自压缩处理单元的、用于压缩率为1的输出数据。可替选地,选择器24可以被配置成如果确定了为1的压缩率,则从预扫描单元20中选择预扫描数据。
图7是示例性示出图1所示的存储器控制器6和帧存储器8的配置例子的图。在图7中,存储器控制器6包括:地址生成电路30,其生成帧存储器8中要访问的地址;写入/读取电路32,用于与帧存储器的图像数据传送;以及写入/读取控制电路34,控制写入/读取电路32的操作。
写入/读取控制电路34与时钟信号CLK同步工作,并且根据来自图1所示的控制单元(压缩率设置单元11)的压缩率信息,来控制地址生成电路30和写入/读取电路32的操作。此外,控制电路34生成访问控制信号CE、WE和RE以便访问帧存储器。控制信号CE是芯片使能信号,以便指定执行对帧存储器的访问。控制信号WE是写入使能信号,以便指定对帧存储器的数据写入。控制信号RE是读取使能信号,以便指定从帧存储器的数据读取。这些地址信号AD和控制信号CE、WE、RE经由没有示出的存储器地址控制总线被传送到帧存储器8。
写入/读取电路32经由存储器总线7耦合到帧存储器8。在写入/读取控制电路34的控制下,写入/读取电路32在端口W1、R1、W2和R2中任意一个与存储器总线7之间执行数据传送。
帧存储器8包括第一输入图像数据存储区域36、第二输入图像数据存储区域37以及插值图像存储区域38。在输入图像存储区域36和37中,存储了压缩或未压缩的输入图像数据。在插值图像存储区域38中,存储了由插值图像生成单元生成的插值图像。
当执行插值处理时,在当前周期中的输入图像数据被写入到第一输入图像存储区域36中,并且在前一周期中的输入图像数据从第二输入图像存储区域37中被读取。使用在当前周期和前一周期中的这些图像数据来执行插值处理,并且将生成的插值图像存储到插值图像存储区域38中。
与生成插值图像并行,从第二图像数据存储区域37中读取前一周期中的图像数据,然后从插值图像存储区域38中读取所生成的插值图像数据并且生成输出图像数据。因此,在数据写入到第一图像数据存储区域36期间,执行从第二图像数据存储区域中读取数据。从完成写入的图像数据存储区域,又执行读取。
当不执行插值处理并且不生成插值图像时,使用第一和第二图像数据存储区域36和37,但是不使用插值图像存储区域38。交替执行写入到第一和第二图像数据存储区域36和37以及从第一和第二图像数据存储区域36和37中读取。为了生成输出图像数据,连续地执行从同一图像数据存储区域中读取图像数据。
当压缩率信息CCP表示不是1的压缩率时,写入/读取控制电路34控制地址生成电路30和写入/读取电路32的操作,并且生成控制信号CE、WE和RE,使得在一个垂直时段期间通过存储器总线7传送五个帧,即,将顺序地访问图像数据存储区域36、37和38。另一方面,当压缩率信息CCP表示压缩率为1时,写入/读取控制电路34控制地址生成电路30和写入/读取电路32的操作,并且生成控制信号CE、WE和RE,使得在一个垂直时段期间通过存储器总线7传送三帧的图像数据,即,将交替访问输入图像数据存储区域36和37。
也就是,当执行帧插值处理时即执行压缩处理时,写入/读取电路32以预定顺序来顺序地选择端口W1、R1、W2和R2,并且在所选端口和存储器总线7之间执行数据传送。由此,写入/读取电路32顺序地访问帧存储器8的图像数据存储区域36、37和38,并且执行图像数据的写入和读取,使得在存储器总线7中不出现图像数据的冲突。
另一方面,如果压缩率是1,则写入/读取电路32在写入端口W1和读取端口R2中的任一个与存储器总线7之间执行数据传送。由此,写入/读取电路32交替地访问帧存储器8的输入图像数据存储区域36和37。在访问端口R1和W2中任一个的时段期间,存储器控制器6禁止访问帧存储器8和生成地址。当图像数据被传送到端口R2时,触发地址生成电路30来生成地址以便从端口W1写入数据。因而,根据压缩率信息CCP,可以不同地设置生成中间插值帧图像时的帧存储器访问顺序和当不生成中间插值帧图像时的帧存储器访问顺序。
如前所述,根据本发明的实施例1,根据输入图像数据的特征(诸如数据量)来改变压缩率,并且如果确定错误率(数据损失量)由于压缩图像而变大,则禁止生成插值图像。因此,使用同一帧存储器可以执行压缩处理和不压缩处理之间的转换,并且可以实现根据图像特征的自适应压缩处理。因为在高错误率的情况下不生成插值图像,所以可以避免插值图像中的错误并提高整个图像质量。
帧数据被用作图像数据。然而,归档数据也可以用作图像数据。可以生成两个或更多插值图像。这意味着从多个图像中生成至少一个插值图像。如果在周期#0和#1期间生成多个插值图像例如两个插值图像#01aV和#01bV,则可以想到插值图像#01aV以低错误率生成而插值图像#01bV以高错误率生成。在这种情况下,如果周期#0中的输入图像被用作用于插值图像#01bV的插值源图像,则可以生成看起来向后移动的图像。为了避免生成这样的图像,可以有利地使用插值图像#01aV作为生成插值图像#01bV时的插值源图像。如果当生成插值图像#01aV时已经检测到高错误率,则无需多说的是,应使用周期#0中的输入图像来代替插值图像#01aV和#01bV。
[实施例2]图8是示例性示出根据本发明实施例2的图像处理装置的整体配置的图。在图8中,图像处理装置生成图像数据以便传送到液晶面板46。该图像处理装置包括视频处理器40、转换来自视频处理器40的图像数据的帧速率的帧速率转换单元42,以及从来自帧速率转换单元42的图像数据生成用于驱动液晶面板46的图像数据的时序控制器44。
分别为视频处理器40和时序控制器44提供帧存储器47和48。这些帧存储器47和48是分别用于视频处理器40和时序控制器44的图像数据的临时存储。
使用帧存储器47作为工作区域,视频处理器40执行用于将图像数据的交织(interlace)帧转换为渐进图像数据流的I/P转换处理、图像放大/缩小以及其它处理。视频处理器40具有运动检测器以便检测二到五帧的图像运动,并且根据这些多帧的运动来执行I/P转换处理。
与根据图1所示实施例1的图像处理装置的配置相同的帧速率转换单元42和帧存储器8根据错误率选择性地执行帧插值。
使用帧存储器48作为工作区域来存储图像数据,时序控制器44执行色温校正和边缘提升处理,以便改善液晶面板46的响应性能。时序控制器44具有检测器来检测两帧的图像运动并且根据图像运动来执行帧处理(边缘提升处理),由此使归因于液晶面板响应性能的图像恶化最小化(提升图像改变处的帧边界中的图像部分,以减少从理想响应波形的偏离)。
在图8所示的配置中,视频处理器40、帧速率转换单元42和时序控制器44可以分别形成在单独的半导体芯片中。帧速率转换单元42和视频处理器40可以形成在一个半导体芯片3上作为单个视频处理器IC,或者可以设置在同一封装中。可替选地,帧速率转换单元42和时序控制器44可以集成在一个半导体芯片上作为时序控制器IC,或者可以设置在同一封装中。在每一种情况下,通过结合帧存储器8来使用根据本发明实施例1的执行帧速率转换处理的帧速率转换单元42,可以在驱动液晶面板46时使显示在液晶显示器上的图像的恶化最小化,并且可以通过简单的电路配置来提供高质量图像。
如前所述,根据本发明的实施例2,配备有帧速率转换单元的视频处理器或者时序控制器实现在单个芯片中,并且由此可以在不使图像质量恶化的情况下显示图像。
在上述描述中,执行了帧图像的帧速率转换(帧插值)。然而,图像数据可以是其中一帧通常包括两个场的交织图像数据。即,实质上本发明允许其中通过从多个图像中生成中间图像来转换图像显示速率的任何配置。换句话说,本发明的帧速率转换单元(图像处理装置)可以应用于其中通过比较多个图像来创建新图像的任何配置。
可以有利地使用本发明的显示设备不限于液晶显示器,并且可以是任意其它的显示设备。
本发明一般地可以应用于适于执行处理以从多个图像中生成中间图像的单元。本发明还可以应用于结合在图像处理系统中的帧图像速率转换单元或者形成在单个芯片上的图像速率转换单元。