CN1822669A - 图像处理方法和图像处理装置 - Google Patents

Abstract

图像处理方法和图像处理装置。本发明的课题是提供可以在提高图像处理的总体处理效率的情况下进行JPEG处理的图像处理方法和图像处理装置。作为解决手段，针对每1块行进行图像处理部(7)的图像处理，该1块行包括由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块。通过JPEG解压/压缩部(12)对在JPEG压缩部(9)中进行JPEG压缩、并写入到帧存储器(5)中的JPEG压缩数据进行解压，再次写入到帧存储器(5)中。然后，在读取写入到帧存储器(5)中的JPEG解压数据时，从上侧的单位块开始读取，通过JPEG解压/压缩部(12)进行再压缩。

Description

图像处理方法和图像处理装置

技术领域

本发明涉及适合于数字照相机等的图像处理方法和图像处理装置，特别涉及适合于数字照相机等的JPEG处理的图像处理方法和图像处理装置。

背景技术

在专利文献1中提出了下述的图像处理装置：可以不向帧存储器写入处理数据，而直接进行在图像数据的尺寸调节之前去除图像数据的高频带成分的低通滤波处理(LPF)或进行图像数据的缩放的尺寸调节处理等的多个空间图像处理，及其后的JPEG压缩处理。具体讲，通过小容量的存储器直接连接而构成多个图像处理部，在从帧存储器向图像处理部输入数据时，以具有固定数目的列方向数据的块为单位输入图像数据。

而且，在专利文献1的方法中，为了直接连接图像处理部和JPEG处理部，在图像处理部和JPEG处理部之间设置了两个缓存(双缓存)，通过双缓存，按照适合于JPEG处理的数据排列顺序、即以MCU(MinimumCoded Unit，最小编码单位)单位，输入从图像处理部输出的图像数据。

专利文献1日本特开2000-312327号公报

为了提高图像处理部中的空间图像处理时的图像处理效率，针对空间图像处理所使用的抽头数，增加处理的像素数，从而增加可输出的数据数即可。但是，即使提高图像处理部中的图像处理效率，一次可以输入到JPEG处理部中的列方向宽度也有限制(例如，在YC422的情况下，为8像素)，所以在JPEG处理部的输入级中，图像处理效率降低，不能提高图像处理的总体处理效率。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于，提供可以在提高图像处理的总体处理效率的情况下进行JPEG处理的图像处理方法和图像处理装置。

为了达到上述目的，本发明的第一方式的图像处理方法针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：块分割步骤，依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；JPEG压缩步骤，对于从上述块分割步骤依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，获得1块行的每个块的JPEG压缩数据；写入步骤，把在上述JPEG压缩步骤中获得的上述1块行的每个块的JPEG压缩数据写入到上述帧存储器中；以及重排步骤，针对在上述写入步骤中写入的上述1块行的每个块的JPEG压缩数据进行重排处理。

此外，为了达到上述目的，本发明的第二方式的图像处理装置针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，并进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；重排数据写入部，其在把上述JPEG解压处理部中获得的上述1块行的每个块的JPEG解压数据写入到上述帧存储器中时，在实现上述JPEG解压数据的重排的情况下进行写入；以及第2JPEG压缩部，其读取通过上述重排数据写入部写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据，并再次进行JPEG压缩处理。

此外，为了达到上述目的，本发明的第三方式的图像处理装置针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，并进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据，并且把所获得的1块行的每个块的JPEG解压数据写入到上述帧存储器中；重排数据读取部，其在从上述帧存储器读取通过上述JPEG解压部写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据时，在实现上述JPEG解压数据的重排的情况下进行读取；以及第2JPEG压缩部，其针对通过上述重排数据读取部从上述帧存储器读取的上述1块行的每个块的JPEG解压数据，再次进行JPEG压缩处理。

此外，为了达到上述目的，本发明的第四方式的图像处理装置针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；以及重排部，其针对通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据进行重排处理，上述重排部包括：JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；输出部，其只输出通过上述JPEG解压部获得的上述1块行的每个块的JPEG解压数据中、相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据；以及第2JPEG压缩部，其针对通过上述输出部输出的相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据，再次进行JPEG压缩处理，重复进行N次上述JPEG解压部、上述输出部和上述第2JPEG压缩部的处理，在每进行一次这些处理时，将上述K的值加1，由此使从上述输出部输出的各个块的单位块的位置从上起每次移动一个，从而进行上述重排。

根据这些第一～第四方式，可以把在纵方向上排列的多个单位块连续地输入到JPEG压缩部中，所以可以在从图像处理部向JPEG压缩部输入图像数据时，提高图像处理的总体处理效率。

根据本发明，可以提供在提高图像处理的总体处理效率的情况下进行JPEG处理的图像处理方法和图像处理装置。

附图说明

图1是把第1实施方式的图像处理装置例如应用于数字照相机时的方框图。

图2是表示图像处理部的结构的图。

图3(a)是在第1实施方式中向缓存写入数据时的图，图3(b)是在第1实施方式中从缓存读取数据时的图。

图4是用于说明单位块的图。

图5(a)是表示在第1实施方式中通过JPEG压缩部压缩的JPEG压缩数据的写入顺序的图，图5(b)是按图5(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图，图5(c)是表示从帧存储器读取JPEG压缩数据的顺序的图。

图6是表示在第1实施方式中JPEG解压/压缩部中的JPEG解压处理的图。

图7是用于说明第1实施方式中的JPEG压缩数据的重排的图。

图8(a)是表示在第1实施方式中最终输入到帧存储器中的JPEG压缩数据的输入顺序的图，图8(b)是按图8(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图。

图9(a)是在第2实施方式中向缓存写入数据时的图，图9(b)是在第2实施方式中从缓存读取数据时的图。

图10(a)是表示在第2实施方式中通过JPEG压缩部压缩的JPEG压缩数据的写入顺序的图，图10(b)是按图10(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图，图10(c)是表示从帧存储器读取JPEG压缩数据的顺序的图。

图11(a)是表示在第2实施方式中通过JPEG解压/压缩部解压的JPEG解压数据的写入顺序的图，图11(b)是按图11(a)的顺序写入到帧存储器中的JPEG解压数据的概念图。

图12是用于说明第2实施方式中的JPEG压缩数据的重排的图。

图13(a)是表示在第2实施方式中最终输入到帧存储器中的JPEG压缩数据的输入顺序的图，图13(b)是按图13(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图。

图14是把第3实施方式的图像处理装置例如应用于数字照相机时的方框图。

图15(a)是在第3实施方式中向缓存写入数据时的图，图15(b)是在第3实施方式中从缓存读取数据时的图。

图16(a)是表示在第3实施方式中通过JPEG压缩部压缩的JPEG压缩数据的写入顺序的图，图16(b)是按图16(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图，图16(c)是表示从帧存储器读取JPEG压缩数据的顺序的图。

图17是表示在第3实施方式中JPEG解压部中的JPEG解压处理的图。

图18是用于说明第3实施方式中的JPEG压缩数据的重排的图。

图19(a)是表示在第3实施方式中最终输入到帧存储器中的JPEG压缩数据的输入顺序的图，图19(b)是按图19(a)的顺序写入到帧存储器中的JPEG压缩数据的概念图。

图20是用于说明重新开始标记的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

(第1实施方式)

图1是把第1实施方式的图像处理装置例如应用于数字照相机时的方框图。图1所示的数字照相机由以下部分构成：摄像元件1；预处理部2；总线3；存储器控制器4；帧存储器5；输入DMA 6；图像处理部7；缓存8；JPEG压缩部9；输出DMA 10；输入DMA 11；JPEG解压/压缩部12；输出DMA 13；卡接口(I/F)14；以及存储卡15。

在图1中，在由CCD等构成的摄像元件1中获得的摄像信号输入到预处理部2中。在预处理部2中进行所输入的摄像信号的放大等的模拟处理和摄像信号的数字转换处理等的前处理。并且，在预处理部2中获得的图像数据(1帧的RGB BAYER数据)通过总线3和存储器控制器4写入到由SDRAM等构成的帧存储器5中。

对于每个块行，通过输入DMA 6，由图像处理部7读出写入到帧存储器5中的图像数据。此处，在第1实施方式中，假定进行LPF处理或尺寸调节处理等的空间图像处理，作为1块行的图像数据，读取通过图像处理部7中的空间图像处理而被削掉的图像数据(空边)和后面的JPEG压缩处理中所需要的图像数据。并且，在第1实施方式中，对于每个与在列方向上排列N个由行方向上排列M个MCU而成的单位块从而构成的块相当的图像数据，进行JPEG压缩处理。

并且，图像处理部7如图2所示，由串联连接的多个图像处理部、和设在各个图像处理部之间的小容量的缓存构成。对输入到图像处理部7中的图像数据进行YC生成处理而生成YC数据。然后，进行白平衡校正处理或灰度校正处理等的其它的图像处理。根据记录时的图像尺寸等，进行LPF处理、缩放处理等的多种空间图像处理。特别是在进行空间图像处理时，空边部分的图像数据被削除掉。由此，只把与上述块相当的量的图像数据写入到缓存8中。

缓存8例如由2个缓存构成，各个缓存至少具有能够存储与一个上述块相当的图像数据的容量。通过使用这样的结构的缓存8，由图像处理部7进行处理后的图像数据被分割为各由N个单位块构成的多个块。

关于构成缓存8的两个缓存，在向一个缓存写入与图3(a)所示的一个块相当的图像数据时，从另一个缓存，从上侧的单位块开始依次读取图3(b)所示的一个块。另外，图3(b)的示例表示N为4，即一个块由4个单位块构成的示例，但M、N的值也可以是除此以外的值。

关于从图像处理部7输出、在缓存8中进行了块分割的图像数据，对于每个块，从上侧的单位块开始输入到作为第1JPEG压缩部的JPEG压缩部9中。然后，在JPEG压缩部9中，针对每个块从上侧的单位块开始进行JPEG压缩，每个块的单位块的JPEG压缩数据依次通过输出DMA 10写入到帧存储器5中，获得1块行的JPEG压缩数据。

此处，说明构成上述块的单位块。如上所述，一个单位块由M个(例如4个)MCU构成。MCU是进行JPEG处理(JPEG压缩和解压)时的单位块数据，通常具有8×8像素或其整数倍的大小。并且，MCU由YC生成处理所生成的Y、Cb、Cr数据构成，但在帧存储器5上如何配置这些Y、Cb、Cr数据有各种方法。例如，可以如图4(a)所示，按照JPEG处理输出顺序，以构成一个MCU的Y、Cb、Cr的顺序配置在帧存储器上，也可以如图4(b)所示，把构成一个MCU的Y、Cb、Cr分别配置在帧存储器上的不同位置上。

在第1实施方式中，可以把块行的列方向宽度取得较大，所以能够针对图像处理部7中的空间图像处理时的抽头数增加可输出的数据数，从而可以提高图像处理效率。并且，可以针对由MCU构成的每个单位块，把针对每个块行读取的数据全部输入到JPEG压缩部9中。

图5(a)是表示针对每个单位块，通过输出DMA 10把JPEG压缩部9中压缩的1块行的每个块的JPEG压缩数据写入到帧存储器5中的顺序的图。如图3(b)所示那样对于每个块以光栅扫描方式从缓存8中依次读取单位块，在JPEG压缩部9中从先输入的块的上侧的单位块开始依次进行JPEG压缩。因此，在帧存储器5中按照图5(b)所示的排列顺序写入每个块的JPEG压缩数据。由于该数据排列顺序改变了JPEG压缩之前的图像数据排列顺序，所以在按该顺序直接记录到记录介质中时，在图像再生时不能再生正确的图像。

因此，在第1实施方式中，把改变了数据排列顺序的JPEG压缩数据重排为正确的顺序后进行记录。因此，针对每个块，通过输入DMA 11读取由JPEG压缩部9压缩并写入到帧存储器5中的1块行的每个块的JPEG压缩数据，并输入到作为JPEG解压部和第2JPEG压缩部的JPEG解压/压缩部12中。

图5(c)是表示通过输入DMA 11，从帧存储器5中读出帧存储器5中存储的1块行的每个块的JPEG压缩数据的顺序的图。图5(c)所示的从帧存储器5读取的顺序与图5(a)所示的写入帧存储器5的顺序相同。在JPEG解压/压缩部12中，按照与图5(c)所示的顺序一致的顺序，针对每个单位块进行JPEG解压处理，按照图6所示的顺序，针对每个单位块，通过输出DMA 13把由此获得的1块行的每个块的JPEG解压数据依次写入到帧存储器5中。这样得到的1块行的每个块的JPEG解压数据被重排成与图3(b)所示的排列顺序相同的排列顺序。

然后，通过输入DMA 11再次读取存储在帧存储器5中的1块行的每个块的JPEG解压数据，输入到JPEG解压/压缩部12中进行JPEG再压缩处理。此时的读取顺序如图7所示那样，从图像数据中的各个块的上侧的单位块开始读取，以按正确的顺序进行JPEG压缩处理。对这样读取的单位块进行JPEG压缩后，按照图8(a)所示的顺序输入到帧存储器5中。由此，把图8(b)所示的排列顺序被正确重排后的1块行的每个块的JPEG压缩数据写入到帧存储器5中。

此处，对于在JPEG解压/压缩部12中的JPEG再压缩时使用的量化表，优选使用与在JPEG压缩部9中的JPEG压缩中使用的量化表相同的量化表。由此可以抑制由于再压缩造成的画质劣化。另外，根据JPEG压缩部9中的JPEG压缩时的代码量，变更JPEG解压/压缩部12中的JPEG再压缩时使用的量化表，由此可以进一步抑制由于JPEG再压缩造成的画质劣化。

然后，对于1帧，每次1块行地重复进行以上说明的图像处理、JPEG压缩、JPEG解压、重排、JPEG再压缩的一系列处理。由此写入到帧存储器5中的1帧的JPEG压缩数据被附加了预定的标题信息，最终通过卡接口(I/F)传送到作为记录介质的存储卡15中进行记录。另外，在图1中作为记录介质示出了存储卡，但实际上也可以是USB存储器或硬盘等。

如上所述，根据第1实施方式，可读取1块行的列方向宽度得以增大的图像数据，所以能够针对图像处理部7中的图像处理时的抽头数增加可输出的数据数，能够提高图像处理部7中的图像处理效率。并且，针对由MCU构成的每个单位块，从图像处理部7向JPEG压缩部9输入图像数据，所以能够提高从图像处理部7向JPEG压缩部9输入图像数据时的图像处理的总体处理效率。

另外，在把JPEG压缩部9中压缩得到的JPEG压缩数据写入帧存储器5时，排列顺序变得不正确。但是，在第1实施方式中，在读出帧存储器5中写入的JPEG压缩数据进行解压，把由此得到的JPEG解压数据写入到帧存储器5中时，把JPEG解压数据的排列顺序重排为JPEG压缩前的排列顺序，然后按照光栅扫描顺序读取而进行JPEG再压缩，由此可以使最终记录在存储卡15中的JPEG压缩数据的排列顺序成为正确顺序。

此处，对于上述的JPEG解压、重排、JPEG再压缩的一系列的JPEG压缩数据的重排处理，优选与JPEG压缩数据对存储卡15的数据传送同步地进行。即，在通过JPEG再压缩得到的JPEG压缩数据向帧存储器5的写入结束的时刻，或者利用存储卡15的传送速度较慢这一点，与写入并行地从帧存储器5向存储卡15传送JPEG压缩数据，由此可以防止帧存储器5的总线业务量出现峰值，结果实现了到JPEG压缩处理为止的处理的高速化。

并且，在上述的说明中，JPEG压缩数据的重排是在JPEG压缩部9中对1块行的图像数据进行JPEG压缩、向帧存储器5的写入结束的时刻进行的。但是不限于此，也可以在JPEG压缩部9中对1帧的图像数据进行JPEG压缩、向帧存储器5的写入结束的时刻进行。

(第2实施方式)

下面，说明本发明的第2实施方式。第2实施方式是JPEG压缩数据的重排的另一示例。另外，结构与图1中说明的相同，所以省略说明。

下面，简单说明与第1实施方式相同的部分。从摄像元件1输入的摄像信号通过预处理部2转换为数字数据，通过总线3和存储器控制器4写入到帧存储器5中。由图像处理部7针对每个第1实施方式中说明的块行读出帧存储器5中写入的图像数据而进行图像处理。如图9(a)所示那样，针对每个块把图像处理部7中进行处理后的数据写入到缓存8中，如图9(b)所示那样，针对每个块输入到JPEG压缩部9中。在JPEG压缩部9中，从所输入的块的上侧的单位块开始依次进行JPEG压缩处理，按照图10(a)所示的顺序把由此获得的1块行的每个块的JPEG压缩数据输入到帧存储器5中，如图10(b)所示那样写入到帧存储器5中。

按照图10(c)所示的顺序，通过输入DMA 11，把图10(b)所示那样写入到帧存储器5中的1块行的JPEG压缩数据输入到JPEG解压部12中。所输入的JPEG压缩数据被依次解压后，按照图11(a)所示的顺序，通过输出DMA 13输入到帧存储器5中。由此，如图11(b)所示那样将1块行的每个块的JPEG解压数据写入到帧存储器5中。

然后，把写入到帧存储器5中的JPEG解压数据的读取顺序变更为图12所示的顺序而读出，通过输入DMA 11输入到JPEG解压/压缩部12中，进行JPEG再压缩。然后，按照图13(a)所示的顺序，通过输出DMA 13把通过JPEG再压缩得到的JPEG压缩数据输入到帧存储器5中。由此，把图13(b)所示的对排列顺序进行了正确重排的1块行的每个块的JPEG压缩数据写入到帧存储器5中。

在以上说明的第2实施方式的方法中，也可以在提高图像处理部7中的图像处理效率的同时，提高向JPEG压缩部9输入图像数据时的图像处理的总体处理效率。并且，可以使最终记录在存储卡15中的JPEG压缩数据的排列顺序变为正确的顺序。

另外，在第2实施方式中，也优选为：对于JPEG压缩部24中的JPEG再压缩时使用的量化表，使用与JPEG压缩部9中的JPEG压缩时使用的量化表相同的量化表，或者根据JPEG压缩部9中的JPEG压缩时的代码量进行变更。

并且，在第2实施方式中，也与第1实施方式一样，可以针对图像数据的每1帧进行JPEG处理。

(第3实施方式)

下面，说明本发明的第3实施方式。图14是把本发明的第3实施方式的图像处理装置例如应用于数字照相机时的方框图。图14与图1的不同之处是，设置了JPEG解压部21、缓存23和JPEG压缩部24来代替JPEG解压/压缩部12。

下面，简单说明与第1和第2实施方式相同的部分。从摄像元件1输入的摄像信号通过预处理部2转换为数字数据，通过总线3和存储器控制器4写入到帧存储器5中。由图像处理部7针对每个块行读出帧存储器5中写入的图像数据而进行图像处理。如图15(a)所示那样，针对每个块行，把图像处理部7中进行处理后的数据写入到缓存8中，如图15(b)所示那样，针对每个块输入到JPEG压缩部9中。在JPEG压缩部9中，从所输入的块的上侧的单位块开始依次进行JPEG压缩处理，如图16(a)所示那样把由此获得的1块行的每个块的JPEG压缩数据输入到帧存储器5中。由此，如图16(b)所示那样将JPEG压缩数据写入到帧存储器5中。

此后的JPEG压缩数据的重排处理与第1和第2实施方式不同。按照图16(c)所示的顺序，N次(例如4次)读出如图16(b)所示那样写入到帧存储器5中的1块行的JPEG压缩数据，通过输入DMA 11输入到JPEG解压部21中。在JPEG解压部21中，如图17所示，进行所输入的4次的1块行的JPEG解压处理。然后，把通过JPEG解压处理得到的每个块的JPEG解压数据输入到缓存23中。

所输入的块中只有从上起第K个(1≤K≤N)单位块作为重排数据从缓存23输出给JPEG压缩部24，而其余的单位块则被抛弃。对输入到JPEG压缩部24中的单位块进行JPEG再压缩，通过输出DMA 13写入到帧存储器5中。

此处，上述K的值是根据所输入的每个块的JPEG解压数据是第几次输入的数据而确定的值。在示例中，如果是第一次输入的JPEG解压数据，则K＝1，如图18所示那样，只有各个块的从上起第1个单位块的JPEG解压数据(在该示例中为1、5、9、13、…、97)被输出给JPEG压缩部24进行压缩处理。以下相同，如果是第二次输入的JPEG解压数据，只有各个块的从上起第2个单位块的JPEG解压数据(在该示例中为2、6、10、14、…、98)被输出给JPEG压缩部24进行压缩处理，如果是第三次输入的JPEG解压数据，只有各个块的从上起第3个单位块的JPEG解压数据(在该示例中为3、7、11、15、…、99)被输出给JPEG压缩部24进行压缩处理，如果是第四次输入的JPEG解压数据，只有各个块的从上起第4个单位块的JPEG解压数据(在该示例中为4、8、12、16、…、100)被输出给JPEG压缩部24进行压缩处理。按照图19(a)所示的顺序，通过输出DMA 13把JPEG压缩后的单位块的数据输入到帧存储器5中。通过进行这样的处理，最终写入到帧存储器5之后的1块行的JPEG压缩数据的排列顺序成为图19(b)所示那样，可以获得排列顺序正确的JPEG压缩数据。

另外，关于JPEG压缩部24中的JPEG再压缩时使用的量化表，也与第1实施方式一样，优选为：使用与JPEG压缩部9中的JPEG压缩时使用的量化表相同的量化表，或者根据JPEG压缩部9中的JPEG压缩时的代码量而进行变更。

此后，在1帧的范围内，对于依次输入的每1块行重复进行以上说明的图像处理、JPEG压缩、JPEG解压、重排、JPEG再压缩的一系列处理。最后通过卡I/F 14把由此写入到帧存储器5中的1帧的JPEG压缩数据传送到作为记录介质的存储卡15中进行记录。另外，与第1实施方式一样，在把JPEG压缩数据记录到存储卡15中时，也可以不把JPEG压缩数据写入到帧存储器5中，而直接记录到存储卡15中。

如上所述，根据第3实施方式，可以直接进行JPEG解压处理和JPEG再压缩处理，所以除了第1实施方式中说明的效果外，还可以消除与对帧存储器5进行非压缩的JPEG解压数据的读写相关的总线业务量。由此，可以提高处理速度。

下面，说明在第1实施方式～第3实施方式中，用于识别写入到帧存储器5中的1块行的JPEG压缩数据的接头，设定下一个进行重排的块行的JPEG压缩数据的开头地址的方法。

用于识别1块行的接头的第一种方法如下：每当在JPEG压缩部9中进行MCU×M个的一个块(单位块)的JPEG压缩时，如图20所示，插入被称为重新开始标记的标记数据，在输出DMA 10中计数该重新开始标记的数量，由此检测出块行的接头的地址并存储起来，根据所存储的地址，设定下一个进行重排的块行的JPEG压缩数据的开头地址。例如，在图20的示例中，在数到100个重新开始标记的时刻，检测出已经有1块行的JPEG压缩数据写入到了帧存储器5中，所以如果存储此时的地址，则可以从帧存储器5读出1块行的JPEG压缩数据进行重排。

并且，作为用于识别1块行的接头的第二种方法，有如下方法：在从帧存储器5通过输入DMA 11读取JPEG压缩数据时，对重新开始标记进行计数，由此检测出块行的接头的地址并存储起来，根据所存储的地址，设定下一个进行重排的块行的JPEG压缩数据的开头地址。

另外，作为用于识别1块行的接头的第三种方法，有如下方法：每次1块行的压缩处理结束时，结束压缩处理。即，把1块行作为一个图像数据，每次进行1块行的JPEG压缩时，把由此获得的JPEG压缩数据记录在存储卡15中。此时，同时存储各个JPEG压缩数据的开头地址，根据所存储的地址，设定下一个进行重排的块行的JPEG压缩数据的开头地址。当采用该第三种方法时，每次进行1块行的JPEG压缩时生成JPEG文件。

以上根据实施方式说明了本发明，但本发明不限于上述的实施方式，当然可以在本发明的要旨范围内进行各种变形和应用。

另外，在上述的实施方式中包含各种阶段的发明，可根据所公开的多个构成要素的适当组合来提出各种发明。例如，从实施方式所示的所有构成要素中删除几个构成要素，也能够解决在背景技术中叙述的课题，并获得在发明内容中叙述的效果时，删除了该构成要素后的结构也可以作为发明提出。

Claims (14)

1.一种图像处理方法，针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：

块分割步骤，依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；

JPEG压缩步骤，对于由上述块分割步骤依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，获得1块行的每个块的JPEG压缩数据；

写入步骤，把在上述JPEG压缩步骤中获得的上述1块行的每个块的JPEG压缩数据写入到上述帧存储器中；以及

重排步骤，针对在上述写入步骤中写入的上述1块行的每个块的JPEG压缩数据进行重排处理。

2.根据权利要求1所述的图像处理方法，其特征在于，

还具有下述重复步骤：对于上述图像数据的每1块行重复上述JPEG压缩步骤、上述写入步骤以及上述重排步骤，由此获得上述图像数据的1帧的JPEG压缩数据。

3.根据权利要求1所述的图像处理方法，其特征在于，

还具有下述重复步骤：针对通过对于上述图像数据的每1块行重复上述JPEG压缩步骤和上述写入步骤而获得的1帧的JPEG压缩数据，对于上述图像数据的每1块行重复上述重排步骤而获得上述图像数据的1帧的JPEG压缩数据。

4.根据权利要求1所述的图像处理方法，其特征在于，上述重排步骤包括：

读取步骤，读取在上述写入步骤中写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据；

JPEG解压步骤，针对在上述读取步骤中读取的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；

输出步骤，只输出在上述JPEG解压步骤中获得的上述1块行的每个块的JPEG解压数据中、相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据；

JPEG再压缩步骤，针对通过上述输出步骤输出的相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据，再次进行JPEG压缩处理；以及

重复步骤，对上述读取步骤、上述JPEG解压步骤、上述输出步骤以及上述JPEG再压缩步骤进行N次重复处理，每进行一次重复处理时，将上述K的值加1，由此使上述输出步骤中输出的单位块的位置从上起每次移动一个。

5.根据权利要求1所述的图像处理方法，其特征在于，上述重排步骤包括：

JPEG解压步骤，读取在上述写入步骤中写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；

重排数据写入步骤，在把上述JPEG解压步骤中获得的上述1块行的每个块的JPEG解压数据写入到上述帧存储器中时，在实现上述JPEG解压数据的重排的情况下进行写入；以及

JPEG再压缩步骤，针对通过上述重排数据写入步骤写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据，再次进行JPEG压缩处理。

6.根据权利要求1所述的图像处理方法，其特征在于，上述重排步骤包括：

JPEG解压步骤，读取在上述写入步骤中写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据，把所获得的1块行的每个块的JPEG解压数据写入到上述帧存储器中；

重排数据读取步骤，从上述帧存储器中读取通过上述JPEG解压步骤写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据时，在实现上述JPEG解压数据的重排的情况下进行读取；以及

JPEG再压缩步骤，针对通过上述重排数据读取步骤进行重排后的上述1块行的每个块的JPEG解压数据，再次进行JPEG压缩处理。

7.根据权利要求1和权利要求4～6中的任意一项所述的图像处理方法，其特征在于，

还包括：

存储传送步骤，传送在上述重排步骤中进行重排处理后的上述JPEG压缩数据，以写入到上述帧存储器中；以及

记录传送步骤，读取在上述存储传送步骤中写入到上述帧存储器中的上述JPEG压缩数据并传送，以写入到记录介质中，

在上述存储传送步骤中把上述JPEG压缩数据传送给上述帧存储器时的传送速度和在上述记录传送步骤中把上述JPEG压缩数据传送给上述记录介质时的传送速度大致相同的情况下执行上述重排处理。

8.根据权利要求1和权利要求4～6中的任意一项所述的图像处理方法，其特征在于，

还包括下述的记录传送步骤：读取在上述重排步骤中进行重排处理后写入到上述帧存储器中的上述JPEG压缩数据并传送，以写入到上述记录介质中，

上述重排处理是根据在上述记录传送步骤中把上述JPEG压缩数据传送给上述记录介质时的传送速度进行的。

9.根据权利要求1和权利要求4～6中的任意一项所述的图像处理方法，其特征在于，上述JPEG压缩步骤包括：

重新开始标记插入步骤，每次进行上述单位块的JPEG压缩处理时，针对该单位块插入重新开始标记；

第1重新开始标记计数步骤，在上述写入步骤中，对上述重新开始标记进行计数，检测向上述帧存储器写入了1块行那么多的上述多个块的JPEG压缩数据时的地址；

地址存储步骤，存储在上述第1重新开始标记计数步骤中检测出的地址；以及

地址设定步骤，根据在上述地址存储步骤中存储的地址，设定下一个进行重排处理的块行的JPEG压缩数据的开头地址。

10.根据权利要求4所述的图像处理方法，其特征在于，

上述JPEG压缩步骤包括在每次进行上述单位块的JPEG压缩处理时，针对该单位块插入重新开始标记的重新开始标记插入步骤，

上述重排步骤包括：

第2重新开始标记计数步骤，在上述读取步骤中对上述重新开始标记进行计数，检测读取了1块行那么多的上述多个块的JPEG压缩数据时的地址；

地址存储步骤，存储在上述第2重新开始标记计数步骤中检测出的地址；以及

地址设定步骤，根据在上述地址存储步骤中存储的地址，设定下一个进行重排处理的块行的JPEG压缩数据的开头地址。

11.根据权利要求1所述的图像处理方法，其特征在于，

上述JPEG压缩步骤包括下述的地址设定步骤：每当对1块行那么多的上述多个块进行了JPEG压缩处理时，结束上述JPEG压缩处理，检测此时所获得的1块行的JPEG压缩数据的地址并存储起来，根据该存储的地址，设定下一个进行重排处理的块行的JPEG压缩数据的开头地址。

12.一种图像处理装置，针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：

缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；

第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；

JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，并进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；

重排数据写入部，其在把上述JPEG解压处理部中获得的上述1块行的每个块的JPEG解压数据写入到上述帧存储器中时，在实现上述JPEG解压数据的重排的情况下进行写入；以及

第2JPEG压缩部，其读取通过上述重排数据写入部写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据，再次进行JPEG压缩处理。

13.一种图像处理装置，针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：

缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；

第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；

JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据，并且把所获得的1块行的每个块的JPEG解压数据写入到上述帧存储器中；

重排数据读取部，其在从上述帧存储器中读取通过上述JPEG解压部写入到上述帧存储器中的上述1块行的每个块的JPEG解压数据时，在实现上述JPEG解压数据的重排的情况下进行读取；以及

第2JPEG压缩部，其针对通过上述重排数据读取部从上述帧存储器中读取的上述1块行的每个块的JPEG解压数据，再次进行JPEG压缩处理。

14.一种图像处理装置，针对拍摄后存储在帧存储器中的图像数据，通过串联连接的多个图像处理部进行空间图像处理，通过JPEG压缩处理对由此获得的图像数据进行压缩并输出，其特征在于，具有：

缓存，其依次输入列方向上的像素数为压缩处理的最小单位(MCU)的N倍、行方向上的像素数相当于扫描线的长度的1块行那么多的、通过上述多个图像处理部进行图像处理后的图像数据，分别分割为由对于在行方向上排列M个MCU而成的单位块、在列方向上排列N个而成的块构成的多个块，依次输出该每个块的图像数据；

第1JPEG压缩部，其对于从上述缓存依次输出的上述每个块的图像数据，从各个块的上侧的单位块开始依次进行JPEG压缩处理，由此获得1块行的每个块的JPEG压缩数据，并且把该1块行的每个块的JPEG压缩数据写入到上述帧存储器中；以及

重排部，其针对通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据进行重排处理，

上述重排部包括：

JPEG解压部，其读取通过上述第1JPEG压缩部写入到上述帧存储器中的上述1块行的每个块的JPEG压缩数据，进行JPEG解压处理，由此获得1块行的每个块的JPEG解压数据；

输出部，其只输出通过上述JPEG解压部获得的上述1块行的每个块的JPEG解压数据中、相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据；以及

第2JPEG压缩部，其针对通过上述输出部输出的相当于各个块的从上起第K(1≤K≤N)个的单位块的JPEG解压数据，再次进行JPEG压缩处理，

重复进行N次上述JPEG解压部、上述输出部以及上述第2JPEG压缩部的处理，在每进行一次这些处理时，将上述K的值加1，由此使从上述输出部输出的各个块的单位块的位置从上起每次移动一个，从而进行上述重排。

Images