CN1764229A - 图像处理装置 - Google Patents

Abstract

本发明的课题是提供能够由更节省存储器的电路构成的图像处理装置。作为解决手段，在图像再现时，从存储卡(5)中读出的压缩图像数据在JPEG处理部(2)中被解压缩处理后，被写入到SDRAM(6)中。被写入到SDRAM(6)中的解压缩图像数据在尺寸调整处理部(3)中被读出，并进行尺寸调整处理。存储器控制部(9)根据SDRAM(6)的状态来控制从JPEG处理部(2)向SDRAM(6)的解压缩图像数据的写入和从SDRAM(6)向尺寸调整处理部(3)的解压缩图像数据的读出。

Description

图像处理装置

技术领域

本发明涉及图像处理装置，特别涉及可以对压缩图像数据进行再现显示的图像处理装置。

背景技术

在数字照相机中，一般情况下，被压缩记录的图像的视场角利能在TFT LCD等显示部中显示的图像的视场角是不同的。因此，为了再现被压缩记录的图像，需要图像的解压缩处理和将解压缩处理后的图像的视场角调整成显示用的视场角的尺寸调整处理。图10示出了这样的图像处理装置的结构。图10的图像处理装置在总线101上连接了进行JPEG解压缩和尺寸调整处理的图像处理部102、介质接口(I/F)104、存储器(SDRAM)106和Video I/F 107。

即，在图10那样的图像处理装置中进行图像再现时，通过介质I/F104从存储卡105中读出被压缩记录的图像数据并暂时存储到SDRAM 106中。之后，图像处理部102从SDRAM 106中读出压缩图像数据并进行JPEG解压缩。然后，该解压缩图像数据再次被存储到SDRAM 106中。之后，存储在SDRAM 106中的解压缩图像数据被图像处理部102再次读出并进行尺寸调整处理，之后存储到SDRAM 106中。然后，存储在SDRAM 106中的尺寸调整处理后的解压缩图像数据通过Video I/F 107被显示在未作图示的TFT LCD等显示部上。

另外，作为与能够对上述解压缩处理和尺寸调整处理这样的多个图像处理进行流水线处理的图像处理装置的提案，例如在专利文献1中，通过在进行JEPG处理(JPEG压缩和JPEG解压缩)等的图像处理部和进行图像的尺寸调整处理的尺寸调整处理部之间串联连接小容量的存储器，可以对这两个处理进行流水线处理。即，在专利文献1中，将已处理的图像数据暂时存储到存储器中，以预定的块单位读出所存储的图像数据来进行放大缩小处理。

参照图11来说明专利文献1的技术。在图11的图像处理装置中，在总线101上连接有JPEG处理部102、尺寸调整处理部103、SDRAM 106、Video I/F 107，并通过介质I/F 104连接有存储卡105。这里，JPFG处理部102由输入DMA 102a、JPEG压缩/解压缩部102b、缓冲存储器102c、输出DMA 102d构成，尺寸调整部103由输入DMA 103a、尺寸调整部103b、输出DMA 103c构成。

在这样的结构中，在再现存储卡105中存储的图像的情况下，首先通过介质I/F 104从存储卡105中读出压缩图像数据，将读出的压缩图像数据暂时存储到SDRAM 106中。接着，通过JPEG处理部102内的输入DMA 102a读出存储在SDRAM 106中的压缩图像数据。读出的压缩图像数据被输入到JPEG压缩/解压缩部102b中进行解压缩。被JPEG压缩/解压缩部102b解压缩而得到的解压缩图像数据通过缓冲存储器102c和输出DMA 102d被输出到总线101，并被存储到SDRAM 106中。

之后，通过尺寸调整处理部103内的输入DMA 103a读出存储在SDRAM106中的解压缩图像数据。读出的解压缩图像数据被输入到尺寸调整部103b中，以调整成适当的显示尺寸。尺寸调整后的解压缩图像数据通过输出DMA 103c被输出到总线101，并被存储到SDRAM 106中。

之后，通过Video I/F 107读出存储在SDRAM 106中的解压缩图像数据，在未图示的TFT LCD等显示部上进行图像显示。

在这样的处理中，如图12所示那样，1帧的解压缩图像数据被逐块依次存储到SDRAM 106中。

[专利文献1]日本特开2000-311241号公报

在上述的专利文献1的结构中，必须将解压缩图像数据的1帧的数据暂时存储到SDRAM 106中。例如在再现5M像素的图像的情况下，如果是YCbCr 4：2：2的数据，则需要具有10M字节左右的容量的SDRAM。这样，在图像再现时需要确保用于暂时存储解压缩图像数据的非常大的存储区域。然而，实际中在TFT LCD等上显示时的视场角为VGA(640×480像素)左右，这种情况下600K字节左右的容量就足够了。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于提供一种能够由更节省存储器的电路构成的图像处理装置。

为了达成上述目的，本发明的第一实施方式的图像处理装置对输入的或从记录介质读出的压缩图像数据实施用于再现的图像处理，其特征在于，具有：解压缩处理部，其对上述压缩图像数据实施解压缩处理，以得到解压缩图像数据；存储部，其具有用于写入上述解压缩图像数据的预定存储区域线数的缓存区；尺寸调整处理部，其以块为单位读出被写入到上述存储部中的上述解压缩图像数据来实施尺寸调整处理，从而得到显示用图像数据；控制部，其根据上述缓存区的缓存空余容量来控制从上述解压缩处理部到上述存储部的上述解压缩图像数据的写入，并且根据存储在上述缓存区中的解压缩图像数据中的对上述尺寸调整处理有效的有效数据量来控制从上述存储部到上述尺寸调整部的上述解压缩图像数据的读出。

根据该第1方式，因为根据缓存区的数据量来控制到缓存区的解压缩图像数据的写入和从缓存区的解压缩图像数据的读出，所以可以高效地使用存储部。

根据本发明，可以提供能由更节省存储器的电路构成的图像处理装置。

附图说明

图1是表示本发明的一个实施方式的图像处理装置的结构的方框图。

图2是JPEG解压缩处理和尺寸调整处理的时序图。

图3是示意性地示出了SDRAM的存储区域的图。

图4是表示存储器控制部的详细结构的图。

图5是按时间序列示出图像再现时的输出DMA 2d、存储器控制部9、输入DMA 3a以及增/减计数器的各自的状态的时序图。

图6是按时间序列示出图像再现时的数据处理的流程的图。

图7是示意性地示出进行解压缩图像用缓存区的解压缩图像数据写入和读出时的循环寻址的图。

图8是用于说明存储区域线数、存储区域宽度、垂直开始位置、处理线数的图。

图9是表示地址发生部的电路结构的一例的图。

图10是表示以往例的图像处理装置的第1例的结构的方框图。

图11是表示以往例的图像处理装置的第2例的结构的方框图。

图12是在以往例的第2例的图像处理装置中存储数据时的示意图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是表示本发明的一个实施方式的图像处理装置的结构的方框图。

在图1的图像处理装置中，在总线1上，连接有：作为解压缩处理部的JPEG处理部2、作为尺寸调整处理部的尺寸调整处理部3、介质I/F4、作为存储部的存储器(SDRAM)6、Video I/F 7、CPU 8、作为控制部的存储器控制部9。这里，在介质I/F 4上连接有记录介质(存储卡)。另外，在Video I/F 7上连接有未作图示的TFT LCD等显示部。

另外，在图1中，JPEG处理部2由输入DMA 2a、JPEG压缩/解压缩部2b、缓冲存储器2c、输出DMA 2d构成。并且，尺寸调整处理部3由输入DMA 3a、尺寸调整部3b、输出DMA 3c构成。

另外，在图1中，JEPG处理部2的输出DMA 2d和尺寸调整处理部3的输入DMA 3a均与存储器控制部9连接。

另外，在CPU 8的内部设置有寄存器8a，存储器控制部9可以通过总线1读出存储在寄存器8a中的寄存器设定值。这里，存储在寄存器8a中的寄存器设定值是需要空余线数、需要数据线数、以及存储区域线数。后面详细说明这些寄存器设定值。

在图1的结构中，可以如图2所示那样对JPEG处理部2中的JPEG解压缩和尺寸调整处理部3中的尺寸调整处理进行流水线处理。以下，说明具有图1所示的结构的图像处理装置的动作。

首先，当通过介质I/F 4从存储卡5中读出压缩图像数据时，读出的压缩图像数据被暂时存储到SDRAM 6中。接着，由JPEG处理部2读出存储在SDRAM 6中的压缩图像数据。读出的压缩图像数据通过输入DMA 2a被输入到JPEG压缩/解压缩部2b中进行解压缩。

在本实施方式中，被JPEG压缩/解压缩部2b解压缩而得到的解压缩图像数据依次通过缓冲存储器2c和输出DMA 2d被输出到总线1，并被存储到SDRAM 6中。并且，当预定线数的解压缩图像数据的传送结束时，从输出DMA 2d向存储器控制部9输出输出DMA 2d传送结束信号。这里，例如在对作为压缩图像数据的YC 422的JPEG图像数据进行解压缩的情况下，可以通过1次解压缩处理对8线的图像数据进行解压缩。在本实施方式中，每传送该8线的解压缩图像数据就向存储器控制部9输出输出DMA 2d传送结束信号。

之后，通过输入DMA 3a开始从SDRAM 6中读出尺寸调整所需要的解压缩图像数据，读出的解压缩图像数据被输入到尺寸调整部3b中。当从输入DMA 3a到尺寸调整部3b的尺寸调整所需的解压缩图像数据的传送结束时，从输入DMA 3a向存储器控制部9输出输入DMA 3a传送结束信号。之后，输入的解压缩图像数据在尺寸调整部3b中被调整成适当的显示尺寸，生成作为显示用图像数据的尺寸调整图像数据。

图3是示意性地示出SDRAM 6的存储区域的图。如图3所示，在本实施方式中，压缩图像数据、解压缩图像数据、尺寸调整图像数据分别被存储在SDRAM 6的不同的存储区域中。即，压缩图像数据被依次存储到压缩图像数据存储区域21中。另外，解压缩图像数据被以FIFO(先进先出)的方式存储到解压缩图像用缓存区22中。并且，尺寸调整图像数据被依次存储到SDRAM 6的尺寸调整图像数据存储区域23中。这里，这些存储区域分别只能够存储预定线数(存储区域线数)的数据，这些图像数据在各自的存储区域中循环地存储。这样的地址控制例如由JPEG处理部2的输出DMA 2d和尺寸调整处理部3的输入DMA 3a的地址发生部20、30来进行。

另外，在本实施方式中，通过JPEG处理部2的输出DMA 2d进行的向SDRAM 6写入解压缩图像数据和通过尺寸调整处理部3的输入DMA 3a进行的从SDRAM 6读出解压缩图像数据由存储器控制部9进行控制。即，在SDRAM 6的解压缩图像用缓存区22中没有空余容量的情况下，存储器控制部9向JPEG处理部2的输出DMA 2d输出输出DMA 2d等待信号，以等待通过输出DMA 2d向SDRAM 6写入解压缩图像数据。另外，如果在SDRAM6的解压缩图像用缓存区22中没有存储对于尺寸调整处理部3的尺寸调整部3b进行尺寸调整处理有效的量的解压缩图像数据(有效数据量)，则存储器控制部9向尺寸调整处理部3的输入DMA 3a输出输入DMA 3a等待信号，以等待通过输入DMA 3a从SDRAM 6中读出解压缩图像数据。

图4是表示作为本实施方式的主要部分的存储器控制部9的详细结构的图。

图4的存储器控制部9由计数器9a、比较器9b和9c构成。

计数器9a是用于计数SDRAM 6的存储器容量的计数器。在图4中，计数器9a由增/减计数器和减法器构成。这里，向增/减计数器的Up输入端子输入上述输出DMA 2d传送结束信号。另外，向增/减计数器的Down输入端子输入上述输入DMA 3a传送结束信号。

并且，分别向增/减计数器的加法运算值输入端子和减法运算值输入端子输入寄存器8a的寄存器设定值。向计数器9a的加法运算值输入端子输入寄存器设定值“UPVAL”。该UPVAL是表示计数器9a的加法运算值的设定值，设定为与寄存器设定值“需要空余线数”对应的值。这里，需要空余线数是指为了将通过解压缩处理得到的解压缩图像数据写入到解压缩图像用缓存区22中所需的解压缩图像用缓存区22侧的空余线数。例如，在为YC422的JPEG图像数据的情况下，每8线得到解压缩图像数据，每8线便从输出DMA 2d输出解压缩图像数据。因此，在本实施方式中将需要空余线数(＝UPVAL)设为8。并且，需要空余线数的值可以根据输出DMA 2d的规格等而变化。

另外，向计数器9a的减法运算值输入端子输入寄存器设定值“DNVAL”。该DNVAL是表示计数器9a的减法运算值的设定值，输入与寄存器设定值“需要数据线数”对应的值。这里，需要数据线数是指为了进行尺寸调整处理所需的数据线数。在本实施方式中，例如将尺寸调整处理部3的尺寸调整处理所需的数据线数(＝DNVAL)设为10。并且，需要数据线数可以根据输入DMA 3a的规格等而变化。

并且，在图4中，增/减计数器的输出部与减法器连接，在减法器中由解压缩图像用缓存区22的存储区域线数减去增/减计数器的输出，将减法结果输出到比较器9b的一个输入部。即，该减法运算值表示SDRAM 6的解压缩图像用缓存区22的缓存区空余容量。另外，向比较器9b的另一输入部输入需要空余线数。

并且，增/减计数器的输出部也和比较器9c的一个输入部连接。该值表示当前被写入在解压缩图像用缓存区22中的对尺寸调整处理有效的解压缩图像数据的数据线数(有效数据量)。另外，向比较器9c的另一输入部输入需要数据线数。

参照图5说明具有图4那样的结构的存储器控制部9的动作。图5是按时间序列示出图像再现时的输出DMA 2d、存储器控制部9、输入DMA3a以及增/减计数器的各自的状态的时序图。并且，在图5的例子中，例如设SDRAM 6的解压缩图像用缓存区的存储区域线数为20。

在图像再现时，读出压缩图像数据，当在JPEG处理部2的输出DMA2d中结束了8线的解压缩图像数据的传送时，从输出DMA 2d向计数器9a输出输出DMA 2d传送结束信号。接收到该信号后，在计数器9a的增/减计数器中使计数值增加UPVAL＝8。这样，增/减计数器的计数值变成“8”。这样，向比较器9b输入缓存区空余容量20-8＝“12”，向比较器9c输入计数值“8”。

之后，在比较器9b和比较器9c中，分别对来自计数器9a的输出值进行比较。在比较器9b中对缓存区空余容量“12”和需要空余线数“8”进行比较。这次缓存区空余容量＞需要空余线数，在解压缩图像用缓存区22中有用于写入解压缩图像数据的充分的空余容量，所以不输出输出DMA 2d等待信号，继续写入来自输出DMA 2d的解压缩图像数据。

另外，在比较器9c中对有效数据量“8”和需要数据线数“10”进行比较。这次有效数据量＜需要数据线数，在解压缩图像用缓存区22中没有写入尺寸调整处理所需的解压缩图像数据，所以继续输入DMA 3a等待信号的输出。

之后，当在JPEG处理部2的输出DMA 2d中再次结束了8线的解压缩图像数据的传送时，从输出DMA 2d向计数器9a输出输出DMA 2d传送结束信号。接收到该信号后，增加计数器9a的增/减计数器的计数值，增/减计数器的计数值变成“16”。这样缓存区空余容量的值变成“4”，有效数据量的值变成“16”。

之后，在比较器9b中，对缓存区空余容量“4”和需要空余线数“8”进行比较。这次缓存区空余容量＜需要空余线数，在解压缩图像用缓存区22中不存在用于写入解压缩图像数据的充分的空余，所以输出输出DMA2d等待信号，暂停写入来自输出DMA 2d的解压缩图像数据。

另外，在比较器9c中，对有效数据量“16”和需要数据线数“10”进行比较。这次有效数据量＞需要数据线数，在解压缩图像用缓存区22中存储有尺寸调整处理部3的尺寸调整处理所需的充分的解压缩图像数据，所以解除输入DMA 3a等待信号的输出，读出来自输入DMA 3a的解压缩图像数据。

当通过输入DMA 3a向尺寸调整部3b传送所读出的解压缩图像数据结束时，从输入DMA 3a向计数器9a输出输入DMA 3a传送结束信号。接收到该信号后，增计数器使计数值减少DNVAL＝10。这样，增/减计数器的计数值变成“6”。由此缓存区空余容量的值成为“14”，有效数据量的值成为“6”。

之后，在比较器9b中，对缓存区空余容量“14”和需要空余线数“8”进行比较。这次缓存区空余容量＞需要空余线数，在解压缩图像用缓存区22中存在用于写入解压缩图像数据的充分的空余，所以解除输出DMA 2d等待信号的输出，再次开始写入来自输出DMA 2d的解压缩图像数据。

另外，在比较器9c中，对有效数据量“6”和需要数据线数“10”进行比较。这次有效数据量＜需要数据线数，在解压缩图像用缓存区22中没有存储尺寸调整处理部3的尺寸调整处理所需的充分的解压缩图像数据，所以输出输入DMA 3a等待信号，暂停读出来自DMA 3a的解压缩图像数据。

以后同样，一边对缓存区空余容量和需要空余线数、有效数据量和需要数据线数进行比较一边进行输出DMA 2d等待信号和输入DMA 3a等待信号的输出控制。

图6表示本实施方式的图像再现时的时序图。如图6所示，在本实施方式中，当压缩图像数据的读出结束时，几乎同时开始JPEG解压缩处理和尺寸调整处理。并且，当对预定数据量(1块)的压缩图像数据进行了解压缩，并写入到解压缩图像用缓存区22中时，解除尺寸调整处理部3的等待，执行每块的尺寸调整处理。这样，当解压缩图像用缓存区22中能够获得空余容量时，解除JPEG处理部2的等待，写入JPEG解压缩处理所得到的解压缩图像数据。

图7是示意性地示出对解压缩图像用缓存区22写入和读出解压缩图像数据时的循环寻址的图。在本实施方式中，如图7所示，预定块线数的解压缩图像数据沿垂直方向被写入或读出。这里，在超出了存储区域线数后写入或读出解压缩图像数据时，从解压缩图像用缓存区22的首地址开始再次写入或读出该超出的部分。

以下，说明用于进行这样的寻址的地址发生部的结构的一例。

在以下的说明中，将SDRAM 6的解压缩图像用缓存区22的垂直方向的总线数称为“存储区域线数”，将水平方向的地址宽度称为“存储区域宽度”，将垂直方向的写入或读出开始线数称为“垂直开始位置”，将1次写入或读出的解压缩图像数据的线数称为“处理线数”(参照图8)。

图9是示出用于进行循环寻址的地址发生部30的一例的图。这里，图1的输出DMA 2d内部的地址发生部20也具有和图9同样的结构。

在图9的地址发生部中，水平计数器31的输出部和加法器38的一个输入部连接。并且，垂直计数器32的输出部和加法器33连接。垂直计数器32的最大值是处理线数，每次进行计数时对处理线数进行0复位。这些计数器在每次进行输入DMA 3a的解压缩图像数据的读出时进行计数。

另外，向加法器33的另一个输入部输入垂直开始位置。并且，加法器33的输出部和减法器34的+输入部、选择器35的一个输入部、比较器36的一个输入部连接。向减法器34的一输入部输入存储区域线数。另外，减法器34的输出部和选择器35的另一个输入部连接。并且，向比较器36的另一个输入部输入存储区域线数。

另外，选择器35的输出部和乘法器37的一个输入部连接。向乘法器37的另一个输入部输入存储区域宽度。并且，乘法器37的输出部与加法器38的另一个输入部连接。

在这样的电路中，当进行垂直计数器32的计数时，在垂直计数器32的计数值上加上垂直开始位置。

该加法运算值的线数被输入到比较器36中，和存储区域线数进行比较，根据该比较器36的比较结果选择选择器35的任意一个输入。

如果在比较器36中加法运算值的线数没有超过存储区域线数，则在选择器35中选择上述加法运算值的线数。这样，最终的地址作为垂直地址×存储区域宽度+水平地址而算出。

另一方面，如果在比较器36中加法运算值的线数超过了存储区域线数，则在选择器35中选择从上述加法运算值的线数减去存储区域线数后得到的值。这样，从解压缩图像用缓存区22的首地址再次读出超出的部分。

如以上所说明那样，根据本实施方式，因为在图像再现时，不需要将1帧的解压缩图像数据存储到SDRAM中，所以能够实现更节省存储器的电路结构。

另外，通过在存储器区域内使用循环的寻址，可以实现更节省存储器的电路结构。

以上虽然根据实施方式说明了本发明，但本发明并不限于上述的实施方式，当然可以在本发明的要旨的范围内进行各种变形和应用。

并且，在上述的实施方式中包含了各种阶段的发明，可以利用所公开的多个构成要件的适当组合提取出各种发明。例如，即使从实施方式所示的全部构成要件中删除几个构成要件，也能够解决在“发明内容”一段中所述的课题，在获得“发明效果”一段所述的效果的情况下，删除掉该构成要件后的结构也可以作为发明而提取出。

Claims (7)

1.一种图像处理装置，对输入的或从记录介质中读出的压缩图像数据实施用于再现的图像处理，其特征在于，具有：

解压缩处理部，其对所述压缩图像数据实施解压缩处理，得到解压缩图像数据；

存储部，其具有用于写入所述解压缩图像数据的预定存储区域线数的缓存区；

尺寸调整处理部，其以块为单位读出被写入到所述存储部中的所述解压缩图像数据来实施尺寸调整处理，从而得到显示用图像数据；

控制部，其根据所述缓存区的缓存空余容量来控制从所述解压缩处理部到所述存储部的所述解压缩图像数据的写入，并且根据存储在所述缓存区中的解压缩图像数据中所写入的有效数据量来控制从所述存储部到所述尺寸调整部的所述解压缩图像数据的读出。

2.根据权利要求1所述的图像处理装置，其特征在于，所述控制部在所述缓存区空余容量小于第1预定数据量的情况下进行控制，以停止从所述解压缩处理部向所述存储部的所述解压缩图像数据的写入，并且在所述有效数据量小于第2预定数据量的情况下进行控制，以停止从所述存储部向所述尺寸调整处理部的所述解压缩图像数据的读出。

3.根据权利要求2所述的图像处理装置，其特征在于，所述控制部在从所述解压缩处理部输出了所述第1预定数据量的解压缩图像数据时减小所述缓存区空余容量，增加所述有效数据量，并且在从所述存储部向尺寸调整处理部输入了所述第2预定数据量的解压缩图像数据时增大所述缓存区空余容量，减小所述有效数据量，由此来决定所述缓存区空余容量和所述有效数据量。

4.根据权利要求2或3所述的图像处理装置，其特征在于，

所述第1预定数据量是从所述解压缩处理部向所述存储部1次写入的解压缩图像数据的量，

所述第2预定数据量是所述尺寸调整处理部的尺寸调整处理所需的解压缩图像数据的量。

5.根据权利要求1至3中的任意一项所述的图像处理装置，其特征在于，向所述缓存区写入所述解压缩图像数据和从所述缓存区读出所述解压缩图像数据时的寻址进行循环寻址。

6.根据权利要求5所述的图像处理装置，其特征在于，

所述解压缩处理部和所述尺寸调整处理部包含用于进行所述寻址的地址发生部，

所述地址发生部根据所述缓存区的存储区域线数、所述第1预定数据量或所述第2预定数据量、预定存储区域线数、在所述缓存区中开始写入或读出的线数，来进行所述寻址。

7.根据权利要求2所述的图像处理装置，其特征在于，至少所述第1预定数据量、所述第2预定数据量以及所述预定存储区域线数是预先设定在寄存器中的值。

Images