具体实施方式
将参考附图所示的优选实施例对根据本公开的示意性图像处理装置进行解释。
图1是示出根据本公开的第一示意性图像处理装置的结构的框图。示意性图像处理装置10以60Hz/50Hz输入帧速率接收构成多个帧的像素的10位输入像素数据。示意性装置10执行双速率转换处理,并且以120Hz/100Hz输出帧速率输出构成多个输出帧的像素的10位输出像素数据。示意性图像处理装置10包括存储器控制电路12、图像处理电路14、以及输出电路16。
输入帧速率不限于60Hz/50Hz,并且输出帧速率不限于120Hz/100Hz。帧速率转换不限于2倍上转换。输入和输出像素数据的位数目可以大于或小于10位。
图1中所示的示意性图像处理装置10仅包括用于对构成电视图像的帧的像素的像素数据进行处理的图像处理电路14,构成电视图像的帧的像素的像素数据在该说明书中称作″电视图像像素数据″。然而,示意性图像处理装置10还可以包括用于对构成通过对片源的影片帧的2:3/2:2下拉所形成的帧的像素的像素数据进行处理的图像处理电路,构成通过对片源的影片帧的2:3/2:2下拉所形成的帧的像素的像素数据在该说明书中称作″片源像素数据″。
虽然以下描述将限于将电视图像像素数据输入到图像处理装置10的情况,但是当输入片源像素数据时图像处理装置10可以类似地操作。
存储器控制电路12接收10位输入像素数据。也就是说,存储器控制电路12按照帧的顺序接收多个像素数据并且将所接收到的像素数据存储在帧存储器18中,所述多个像素数据每一个表示构成多个帧的每一个的多个像素的每一个的值。像素的“值”可以是例如R、G、B原色的每一个的灰度值,或者每一个像素的亮度(Y)和色度(U和V)值中的每一个。存储器控制电路12包括MSB/LSB划分电路20、LSB处理电路22、以及MSB处理电路24。
MSB/LSB划分电路20将10位像素数据划分成包括10位像素数据中从最高有效位(MSB)起的高8位的高位部分以及包括10位像素数据中从最低有效位(LSB)起的2位的低位部分。示意性图像处理装置10通过使用输入像素数据的高8位部分产生内插像素数据的高8位部分。示意性图像处理装置10进一步输出通过将内插像素数据的高8位部分和输入像素数据的低2位部分相加所产生的10位像素数据。
MSB/LSB划分电路20可以将像素数据划分成具有各种位数目的高位和低位部分。
LSB处理电路22将构成每一个帧的多个像素的像素数据的低位部分划分成两组:奇数像素的低位部分的组以及偶数像素的低位部分的组。然后,在接收两个连续帧的时段的每一个期间或者在两个连续帧时段的每一个期间,LSB处理电路22交替地将偶数和奇数像素中的一个的低位部分存储在帧存储器18中。
也就是说,如图2中所示,在每一个帧时段期间仅将帧中的一半像素的低位部分存储在帧存储器中。在图2中所示的示例中,在接收帧f0的像素的时段期间将帧f0中的例如奇数像素的一半像素的低位部分存储在帧存储器中,并且在接收帧f1的像素数据的时段期间将帧f1中的例如偶数像素的剩余像素的低位部分存储在帧存储器中。
因此,对于10位像素数据当中的低2位部分,在接收构成帧f0的像素的像素数据的帧时段期间存储帧中的一半像素的像素数据,并且在接收构成后一帧f1的像素的像素数据的帧时段期间存储帧中的剩余一半像素的像素数据。其结果是,在两个连续帧时段期间将整个帧的像素的像素数据存储在帧存储器18中。读取在两个连续帧的时段期间所存储的构成整个帧的像素的像素数据的低2位部分并且使其用于显示图像。
在图3中所示的另一示例中,每一个帧在水平和垂直方向上具有偶数个像素,例如1920x1080像素。在f0或f1的帧时段期间将每行中的奇数像素或偶数像素的像素数据的低2位部分存储在帧存储器18中。
在图3中所示的示例,在奇数行中,分别在偶数帧f0和奇数帧f1的帧时段期间将奇数像素和偶数像素的像素数据的低2位部分进行存储。另一方面,在偶数行中,分别在偶数帧f0和奇数帧f1的帧时段期间将偶数像素和奇数像素的像素数据的低2位部分进行存储。也就是说,在相应行中互换在偶数帧f0和奇数帧f1的帧时段期间存储其像素数据的低位部分的像素。
不是必需在相应行中互换存储其像素数据的低位部分的像素。例如,也能够分别在偶数帧f0和奇数帧f1的帧时段期间存储所有奇数像素和所有偶数像素的像素数据的低位部分。在相应行中互换存储其像素数据的低位部分的像素可以在显示具有很小运动的图像时提高显示质量。然而,当显示不具有运动的静止图像或具有很大运动的图像时显示质量没有明显的差异。
在任何一种情况下,在每一个帧时段期间存储其像素数据的低位部分的像素数目减半。因此,存储像素数据的低2位部分所需的帧存储器18的存储器容量减半。
当从帧f0至f1不存在运动时,帧f0中的相应像素的像素数据与帧f1中的相应像素的像素数据相同。因此,通过读取存储在帧存储器18中的帧f0和f1中的一半像素的像素数据的低2位部分可完全恢复构成帧f0和f1的所有像素的像素数据的低2位部分,而无需帧f0和f1中的另一半像素的像素数据的低2位部分。
在图3中所示的示例中,LSB处理电路22将构成帧的像素划分成奇数像素和偶数像素的两组。然而,LSB处理电路22可以将构成帧的像素划分成各种其它组。此外,LSB处理电路22可以将构成帧的像素划分成n个组,其中n是等于或大于2的整数,并且在n个连续帧时段期间将相应组中的像素的像素数据的低位部分连续地存储在帧存储器18中。在这种情况下,存储像素数据的低位部分所需的帧存储器18的存储器容量降低到1/n。
替选地,LSB处理电路22可以将低位部分的每一个划分成每一个包括至少一位的n个单元部分,其中n是等于或大于2的整数,并且在n个连续帧的帧时段期间将相应划分的单元部分连续地存储在帧存储器18中。
当低位部分包括例如包括位1和位2的2位时,LSB处理电路22可以将低位部分的每一个划分成分别包括位1和位2的两个单元部分。然后,LSB处理电路22可以在两个连续帧的帧时段期间将包括位1和位2的相应单元部分连续地存储在帧存储器18中。
LSB处理电路22可以按照各种其它方式来对低位部分进行划分。在任何情况下,通过将低位部分划分成n个划分的单元部分,可将用于存储像素数据的低位部分所需的帧存储器的存储器容量降低到1/n。
LSB处理电路22进一步包括时分电路26,该时分电路26按照时分方式输出低2位部分的位,在每一个时钟周期期间输出低2位部分的每一个位。帧存储器18连续地存储从时分电路26所接收到的低位部分的位。因此,用于将低位部分提供给帧存储器18的存储器总线的带宽可以减半。
当低位部分包括n位并且时分电路在每一个时钟周期期间输出低位部分的每一个位时,用于存储低位部分的存储器总线的带宽可以降低到1/n。当低位部分包括m×n位,其中m是等于或大于1的整数,并且时分电路在每一个时钟周期期间输出低位部分的m个位时,用于存储低位部分的存储器总线的带宽也可以降低到1/n。
通过将每一个低位部分划分成n个单元部分并且在n个连续帧的帧时段期间连续地将相应划分的单元部分存储在帧存储器中也可以将带宽降低到1/n。在这种情况下,不需要时分电路。
例如,如图4中所示,时分电路26可以包括缓冲器42。时分电路42接收像素数据的低2位部分并且按照时分方式输出低2位部分,即连续地输出低2位部分的位1和位2。可以通过改变地址信号来选择用于存储像素数据的位1和位2的帧存储器18的存储区。
MSB处理电路24包括将所划分的像素数据的高8位部分压缩成4位压缩数据的压缩电路28。MSB处理电路将压缩数据存储在帧存储器18中。
压缩电路28可以通过使用各种巳知的压缩技术来对高位部分进行压缩。压缩电路28可以将高8位部分压缩成具有各种位数目的压缩数据。
图像处理电路14包括运动矢量检测电路30、内插图像产生电路32、以及压缩/解压缩电路34。图像处理电路14使用存储在帧存储器18中的像素数据执行图像处理并且产生处理的像素数据或内插像素数据。也就是说,图像处理电路14产生每一个表示多个像素的每一个的值的像素数据,所述多个像素构成内插在相应相邻帧之间的每一个内插帧。
运动矢量检测电路30将从MSB/LSB划分电路20所输入的当前帧的像素数据的高8位部分与从压缩/解压缩电路34所输入的先前帧的像素数据的高8位部分进行比较。因此,运动矢量检测电路30对表示从先前帧至当前帧的运动的当前帧的运动矢量进行检测。
内插图像产生电路32基于从运动矢量检测电路30输入的从先前帧至当前帧的运动矢量来从当前帧像素数据的高8位部分和先前帧像素数据的高8位部分执行内插处理。内插处理产生在先前帧与当前帧之间的内插帧或内插图像的8位像素数据。
运动矢量检测电路能够按照各种已知方式对运动矢量进行检测,并且内插图像产生电路能够按照各种已知方式产生内插图像数据。
类似于MSB处理电路24中的压缩电路28,压缩/解压缩电路34将从内插图像产生电路32所输入的8位内插像素数据压缩成4位压缩像素数据并且将4位压缩像素数据存储在帧存储器中。压缩/解压缩电路34进一步将从帧存储器18所输入的先前帧的4位压缩像素数据解压缩成8位像素数据。将先前帧的解压缩的8位像素数据输入到运动矢量检测电路30和内插图像产生电路32。
输出电路16包括双速率处理电路36、解压缩电路38、以及加法器40。输出电路16输出在双速率转换处理之后的包括输入像素数据和处理的像素数据的10位像素数据。
类似于图像处理电路14中的压缩/解压缩电路34,解压缩电路38将与输入像素数据的高8位部分或者从帧存储器18所输入的8位内插像素数据相对应的4位压缩数据解压缩成8位像素数据。
双速率处理电路36按照预定顺序以输出帧速率交替地输出输入像素数据的高8位部分和从解压缩电路38所接收到的内插像素数据的高8位部分。因此,双速率处理电路36输出通过对输入像素数据的双速率转换处理所产生的输出像素数据的高8位部分。
加法器40将从双速率处理电路36所输入的每一个像素数据的高8位部分以及从帧存储器所输入的输入像素数据中的相应一个的低2位部分相加,并且输出10位输出像素数据。
也就是说,输出电路16将输入像素数据和图像处理电路14所产生的内插像素数据中的一个的高8位部分以及从帧存储器18所读取的输入像素数据的低2位部分相加。因此,输出电路16输出所产生的10位输出像素数据作为输入像素数据和内插像素数据中的一个。
接下来,将对输入电视图像像素数据与输出像素数据之间的关系进行解释。
图5是示出输入电视图像像素数据与双速率转换之后的输出像素数据之间的关系的图表。该图表的纵轴表示输入图像的运动(MV),并且该图表的横轴表示以帧时段为单位的时间(T)。也就是说,该图表示出输入图像从左下移动到右上。封闭圆和封闭矩形表示输入图像的帧,星表示内插图像的帧。图表的底部示出输出图像的帧的排列。示出以帧时段为间隔的垂直线以提高可视性。数字1、2、3……表示输入与输出帧之间的对应性。
如图表中所示,以例如60Hz的帧速率输入电视图像像素数据。也就是说,在1/60s的每一个帧时段中输入构成电视图像数据的相应帧的像素的像素数据,其通过封闭圆和封闭矩形来表示。另一方面,以120Hz的输出帧速率输出输出像素数据。在该图表中所示的示例中,图像处理装置在从开始输入输入像素数据延迟3输出帧时段之后开始输出输出像素数据。
当输入电视图像像素数据时,图像处理装置10重复连续地输出1)由封闭圆所表示的第一输入像素数据的帧、2)由开星所表示的第一内插像素数据的帧、3)由封闭矩形所表示的第二输入像素数据的帧、以及4)由开星所表示的第二内插像素数据的帧。
接下来,将对图像处理装置10的操作进行解释。
如图6中所示,图像处理装置10按照帧f0、f1、f2、f3、f4、...的顺序以输入帧速率接收构成多个帧的每一个的多个像素的每一个的多个10位像素数据。帧存储器可以包括用于存储构成偶数帧f0、f2、f4、...的像素的像素数据的第一存储区44以及用于存储构成奇数帧f1、f3、f5、...的像素的像素数据的第二存储区46。第一和第二存储区44和46的每一个可以具有用于存储每像素5位的存储容量,所述每像素5位包括用于存储通过对像素数据的高8位部分进行压缩所产生的4位压缩数据的4位以及用于存储像素数据的低2位部分的1位。如上所解释的,图像处理装置10使得用于存储像素数据的低位部分的存储器容量减半。
帧存储器18可以进一步包括第三存储区48,该第三存储区48用于存储通过对内插图像产生电路32所产生的8位内插像素数据进行压缩所产生的4位压缩数据。将假定帧存储器18具有这三个存储区,对图像处理装置的操作进行解释。
按照帧的顺序输入构成相应帧f0、f1、f2、f3、f4...的像素的10位像素数据。MSB/LSB划分电路20将每一个像素的10位像素数据划分成高8位部分和低2位部分。
LSB处理电路22将构成每一个帧中的每一个行的像素划分成两组,例如将奇数像素划分到第一组以及将偶数像素划分到第二组。在每一个帧时段期间,LSB处理电路22存储仅一个组中的像素的像素数据的低位部分。具体地,LSB处理电路按照时分方式将像素数据的低2位存储在帧存储器18的相应存储区中。
因此,在两个连续帧时段中将构成整个帧的像素的像素数据的低位部分存储在帧存储器中。
在图3中所示的示例中,例如,LSB处理电路22将在偶数帧f0的帧时段期间输入的像素数据的低位部分当中的奇数行中的奇数像素的像素数据的低位部分以及偶数行中的偶数像素的像素数据的低位部分存储在帧存储器18的第一存储区44中。所存储的低位部分保持在帧存储器18中,直至输入了帧f2的像素数据。
然后,LSB处理电路22将在紧接于偶数帧f0的奇数帧f1的帧时段期间输入的像素数据的低位部分当中的奇数行中的偶数像素的像素数据的低位部分以及偶数行中的奇数像素的像素数据的低位部分存储在帧存储器18的第二存储区46中。在帧f1的帧时段期间所存储的低位部分保持在帧存储器18中,直至输入了帧f3的像素数据。在随后的帧时段期间按照相同的方式将低位部分连续地存储在帧存储器中。
另一方面,MSB处理电路24将像素数据的高8位部分压缩成4位数据,并且将构成相应帧的像素的压缩4位数据连续地存储在帧存储器18的相应存储区中。
例如,在帧f0的帧时段期间将在相同帧时段期间输入的像素数据的高8位部分存储在帧存储器18的第一存储区44中,并且保持直至输入了帧f2的像素数据。接下来,在帧f1的帧时段期间将在相同帧时段期间输入的像素数据的高8位部分存储在帧存储器18的第二存储区46中,并且保持直至输入了帧f3的像素数据。在随后的帧时段期间按照相同方式连续地存储像素数据的高位部分。
还将高8位部分输入到运动矢量检测电路30和内插图像产生电路32。
在当前帧的帧时段期间,即在接收构成当前帧的像素数据的时段期间,运动矢量检测电路30对先前帧与当前帧之间的运动矢量进行检测。具体地,运动矢量检测电路30对构成当前帧的像素的像素数据的高8位部分与从帧存储器18所读取且通过压缩/解压缩电路34所解压缩的构成先前帧的像素的像素数据的高8位部分进行比较。由此,运动矢量检测电路30产生运动矢量。
例如,在接收帧f1的像素数据的帧时段f1期间,运动矢量检测电路30对构成帧f1的像素的像素数据的高8位部分与构成帧f0的像素的像素数据的高8位部分进行比较并且对帧f0与f1之间的运动矢量进行检测。
然后,内插图像产生电路32产生构成在先前帧与当前帧之间的内插帧的像素的像素数据的高8位部分。具体地,内插图像产生电路32根据先前帧与当前帧之间的运动矢量而从先前帧的像素数据的高8位部分和当前帧的像素数据的高8位部分产生内插帧的像素数据的高8位部分。压缩/解压缩电路34将内插像素数据的高8位部分压缩成4位压缩数据并且将压缩数据存储在帧存储器18的相应存储区中。
例如,如图6中所示,在输入帧f1的像素数据的帧时段f1期间,内插图像产生电路32根据帧f0与f1之间的运动矢量而从帧f0和f1的像素的像素数据的高8位部分产生构成帧f0与f1之间的内插帧f0/f1的像素的像素数据的高8位部分。将构成内插帧f0/f1的像素的像素数据的高8位部分压缩成4位压缩数据并将其存储在帧存储器18的第三存储区48中。
然后,在输入下一帧f2的像素的像素数据的帧时段f2期间,内插图像产生电路32根据帧f1与f2之间的运动矢量而从帧f1和f2的像素的像素数据的高8位部分产生构成帧f1与f2之间的内插帧f1/f2的像素的像素数据的高8位部分。将内插帧f1/f2的像素数据的高8位部分压缩成4位压缩数据并将其存储在帧存储器18的相应存储区中。
在图6中所示的示例中,将构成内插帧f1/f2的像素的像素数据的高8位部分存储在帧存储器18的相同第三存储区48中。也就是说,构成内插帧f1/f2的像素的像素数据的高8位部分覆写第三存储区48中的构成内插帧f0/f1的像素的像素数据的高8位部分。在随后的帧时段期间重复相同过程。
在图6中所示的示例中,在开始输入第一帧f0的像素数据之后,双速率处理电路36在延迟3个输出帧时段之后开始输出输入像素数据的高8位部分。此后,双速率处理电路36按照预定顺序以输出帧速率连续地输出从帧存储器18所读取的且通过解压缩电路38所解压缩的输入像素数据和内插像素数据的高8位部分。
加法器40将从双速率处理电路36所输出的像素的像素数据的高8位部分以及从帧存储器18所读取的相应像素的输入像素数据的低2位部分相加并且输出10位输出像素数据。因此,图像处理电路10依次输出帧f0、f0/f1、f1、f1/f2、f2、...的10位输出像素数据。
如图6中所示,例如,通过连续地覆写先前存储在帧存储器18的第一存储区44中的构成帧f-2的像素的输入像素数据来存储构成帧f0的像素的输入像素数据。类似地,通过连续地覆写先前存储在帧存储器18的第二存储区46中的构成帧f-1的像素的输入像素数据来存储构成帧f1的像素的输入像素数据。此外,通过连续地覆写先前存储在帧存储器18的第三存储区48中的构成内插帧f-1/f0的像素的像素数据来存储构成内插帧f0/f1的像素的输入像素数据。
在输出帧f0的输出像素数据的帧时段期间,例如,将构成帧f1的像素的输入像素数据写入到帧存储器18的第二存储区46中,并且同时,从帧存储器的相同第二存储区46读取构成帧f-1的一半像素的低2位部分。然后,在输出内插帧f0/f1的像素数据的帧时段期间,从帧存储器的第三存储区48读取构成内插帧f0/f1的像素的像素数据的高位部分,并且同时,将构成内插帧f1/f2的像素的像素数据的高位部分写入到相同第三存储区48中。
在输出内插帧f0/f1的像素数据的相同帧时段期间,虽然图6中未示出,但是从帧存储器的第一存储区44读取构成帧f0的一半像素的像素数据的低2位部分,并且同时,将构成帧f2的像素的输入像素数据写入到相同第一存储区44中。
由相同申请人所提交的日本特开专利No.2009-169257的图7和8所示的技术可以用于同时从帧存储器的相同存储区读取以及写入到帧存储器的相同存储区中。也就是说,可以提供读写FIFO(先进先出存储器)并且使用具有比用于输入像素数据的时钟信号的频率高两倍的频率的双速率时钟信号来执行从帧存储器读取以及写入到帧存储器中。因此,通过使用标准SDRAM可分别在接收构成当前帧的行的像素的像素数据的时段的第一半和第二半期间执行读取构成先前帧的行的像素的像素数据以及写入构成当前帧的相同行的像素的像素数据。
从图像处理装置10所输出的10位内插像素数据的低2位部分不是内插像素数据的低位部分而是先前帧和当前帧的输入像素数据的低2位部分。然而,人眼不能识别运动图像的低2位部分。因此,使用图像处理装置10所产生的10位输出数据可以令人满意的质量显示运动图像。
类似地,当显示静止图像时,从图像处理装置所输出的10位内插像素数据包括先前帧和当前帧的输入像素数据的低2位部分。然而,因为先前帧的输入像素数据与当前帧的输入像素数据相同,因此输入像素数据的低2位部分也与内插像素数据的低2位部分相同。因此,可以高准确性显示静止图像。
可以50%的压缩比率对像素数据的高8位部分进行压缩,即可压缩成4位压缩数据。此外,仅存储像素数据的低2位部分的一半。因此,所存储的像素数据的总位数是5,即实现了高达50%的总压缩比率。
虽然已参考作为示例所提议的其特定实施例对本公开的发明进行了描述,但是很显然的是许多替代、修改、以及变化对于本领域技术人员是显而易见地。因此,这里所阐述的本发明的实施例意在是说明性的而不是限制性的。在不背离本发明的范围的情况下可进行改变。