CN101309414A - 图像数据压缩装置和图像数据压缩方法 - Google Patents

Abstract

本发明提供图像数据压缩装置和图像数据压缩方法，该图像数据压缩装置具有：RAW压缩处理部，其检测图像数据的高频分量；JPEG参数设定部，其计算表示高频分量的出现频率分布的特征数据(信息熵)；JPEG参数设定部，其以特征数据为基础，对根据第1量化表来压缩图像数据时的预测代码量进行运算；JPEG参数设定部，其根据目标代码量和预测代码量来计算用于取得在RAW压缩处理部(57)中最终希望获得的目标代码量的第2量化表；以及JPEG处理部，其根据第2量化表来进行JPEG压缩处理。根据本发明可实现记录JPEG数据的高速化。

Description

图像数据压缩装置和图像数据压缩方法

技术领域

本发明涉及图像数据压缩装置和图像数据压缩方法。

背景技术

在一部分单反数字照相机等摄像装置中，设置有能够同时记录可逆压缩的RAW图像数据、以及非可逆压缩的JPEG数据的摄像模式。在该摄像模式内的图像数据的记录中需要进行RAW数据的压缩处理、以及JPEG编码处理。在JPEG编码处理耗费时间的系统中，该JPEG的处理时间很可能成为记录时的瓶颈。此外，为了在不使图像质量降低的前提下、将JPEG代码量限制在规定量以下，而需要进行多次的编码处理，由于上述这些情况，具有在记录之前的处理耗费时间这样的问题。

因此，在同时记录RAW图像数据和JPEG数据的情况下，为了解决耗费处理时间的问题，而在日本国公开特许2006-229474号(2006年8月31日公开)中，公开了这样的摄像装置，该摄像装置通过共用JPEG文件和存储在RAW数据中的JPEG图像，来减少JPEG处理次数。

根据专利文献1所述，在一次的摄影动作中不需要分别生成记录用的JPEG图像和显示用JPEG数据。但是，在JPEG编码处理中为了压缩成规定的数据大小，需要重复多次，这样不能使JPEG数据的记录高速化。

发明内容

本发明是鉴于上述状况而研发的，其提供一种可使JPEG数据的记录高速化的图像数据压缩装置和图像数据压缩方法。

本发明的图像数据压缩装置包含以下部分：RAW压缩处理部，其可逆地压缩图像数据，并且求出与图像压缩相关的压缩信息；非可逆压缩处理部，其非可逆地压缩图像数据；以及参数计算部，其根据上述压缩信息，求出构成作为目标的数据大小的参数。其中，上述非可逆压缩处理部根据上述参数进行非可逆压缩处理。

附图说明

图1是表示本发明一实施方式的数字单反照相机的电路结构的方框图。

图2是与本发明一实施方式的ASIC(专用集成电路)内的压缩处理相关的方框图。

图3是示出表示本发明一实施方式的图像压缩处理的流程的图。

图4是表示本发明一实施方式的RAW压缩的流程的图。

图5是表示本发明一实施方式的RAW压缩处理的流程的图。

图6是表示本发明一实施方式的JPEG参数设定的流程的图。

图7是表示本发明一实施方式的量化参数计算的流程的图。

图8是表示本发明一实施方式的哈夫曼表的流程的图。

图9是表示本发明一实施方式的图像处理的流程的图。

图10是表示本发明一实施方式的JPEG处理的流程的图。

图11是表示本发明一实施方式的信息熵与JPEG编码大小的相互关系的图。

图12是表示本发明一实施方式的信息熵与JPEG编码大小的相互关系的图。

图13是表示本发明一实施方式的JPEG量化表与JPEG编码大小的相互关系的图。

图14是表示本发明一实施方式的哈夫曼表的图。

具体实施方式

以下，根据附图对使用已应用了本发明的数字单反照相机的优选实施方式进行说明。涉及本实施方式的数字单反照相机，当决定被摄体的取景、并拍摄被摄体时，对图像数据进行各种图像处理，然后在图像记录介质中进行记录。此外，可选择进行基于JPEG的非可逆压缩处理和基于RAW的可逆压缩处理、并记录通过非可逆压缩以及可逆压缩这两种压缩处理压缩的图像数据的摄影模式来作为图像记录的模式。

利用图1对本实施方式中的数字单反照相机的电气结构进行说明。用于使被摄体像成像的变焦镜头系统1被安装在照相机主体上。该变焦镜头系统1的焦距是可变的，利用具有电动机等的镜头驱动部9来进行用于调节变焦镜头系统1的焦距和焦点位置的驱动。

在变焦镜头系统1的光轴上，在被摄体像的成像位置附近配置有摄像元件3。该摄像元件3对被摄体像进行光电变换并输出图像信号。摄像元件3的输出与进行图像信号的读出或放大处理等信号处理的摄像电路5连接。该摄像电路5的输出与进行图像信号的AD变换的模数(A/D)变换器7连接。

A/D变换器7与数据总线10连接，在该数据总线10上分别连接有：RAM(Random Access Memory：随机存取存储器)11、ROM(Read OnlyMemory：只读存储器)13、ASIC(Application Specific Integrated Circuit：专用集成电路)15、系统控制器20、驱动控制器31、外部I/F(接口)37、视频编码器41。

RAM11是可电改写的存储器，其进行数据的临时存储。ROM13是可电改写的非易失性存储器，其存储用于进行数字单反照相机的控制的程序或各种调整值等。

ASIC15是用于进行图像处理、JPEG压缩解压缩处理、或RAW压缩解压缩处理等各种处理的硬件，其被连接到系统控制器20上。后面，利用图2对ASIC15中的图像压缩处理的动作进行叙述。系统控制器20由CPU(Central Processing Unit：中央处理器)等构成，按照存储在ROM13中的程序，进行该数字单反照相机的整体控制。

系统控制器20与镜头驱动控制电路21、闪光灯发光部23、操作部25以及电源部27连接，并进行这些电路等的控制。镜头驱动控制电路21进行上述镜头驱动部9的驱动控制，进行变焦镜头系统1的焦距或对焦的动作。闪光灯发光部23根据来自系统控制器20的控制信号，向被摄体投射照明光。

操作部25包含有：电源开关、与快门按钮联动的第1快门释放开关及第2快门释放开关、摄影模式开关、菜单开关、以及与使光标等移动的十字键等各种操作部件联动的开关，该操作部检测由摄影者进行的各种设定或快门释放动作等。

电源部27含有电源电池或电压控制电路等，其用于供给在数字单反照相机的动作中所需的电源。此外，在电源部27中设有外部电源输入端子29，该外部电源输入端子29用于接受商用电源或电池组等外部电源的供给。

在上述数据总线10上连接有驱动控制器31，在该驱动控制器31上连接有磁盘驱动器33。在磁盘驱动器33中可填装记录介质35。该记录介质35是用于记录由ASIC15等进行过图像处理的图像数据的介质，通过驱动控制器31，进行磁盘驱动器33的记录控制。

在数据总线10上连接有外部接口37，该外部接口37与外部输入输出端子39连接。外部接口37是用于与个人计算机(PC)等外部设备进行图像数据或其它数据交换的接口。

此外，在数据总线10上连接有视频编码器41，在该视频编码器41上连接有视频输出43和LCD(Liquid Crystal Display：液晶显示器)驱动器45。该视频编码器41是用于根据存储在RAM11或记录介质35中的图像数据来转换为显示用等的图像数据的转换器，在此经转换的图像数据经由视频输出43输出到外部，并且通过LCD驱动器45，在LCD47中进行显示。

LCD47被配置在数字单反照相机的背面等上，该LCD47除了显示存储在RAM11或记录介质35中的被摄体像之外，还进行由操作部25设定的各种摄影模式或控制值等的显示。

接着，利用图2对ASIC15内的RAW压缩和JPEG压缩进行说明。从摄像元件3输出的图像信号通过A/D变换器7来变换为数字形式的RAW数据(图像数据)，并通过数据总线10输入到ASIC15。图2所示的用于压缩的模块具有：进行RAW压缩处理的路径1、以及用于进行JPEG处理的路径2。

RAW数据输入部与构成路径2的图像处理部51连接，该图像处理部51的输出与JPEG处理部53连接。此外，RAW数据输入部也与构成路径1的RAW压缩处理部57连接，RAW压缩处理部57的输出与JPEG参数设定部56连接。

在上述JPEG处理部53上连接有JPEG参数设定部56的输出。这些图像处理部51、JPEG处理部53、JPEG参数设定部56以及RAW压缩处理部57由硬件电路构成。

路径1的RAW压缩处理部57对输入的RAW图像数据进行可逆压缩处理，在压缩处理时求出其与相邻像素的差分值，由此，算出表示差分值的出现频率分布的特征数据。后面，利用图4以及图5对该RAW压缩处理部57的动作的详细内容进行叙述。

从RAW压缩处理部57的输出端输出RAW压缩数据，还将上述特征数据输出到JPEG参数设定部56。该JPEG参数设定部56使用特征数据来设定JPEG参数，并将其输出到JPEG处理部53。后面，采用图6至图8对该JPEG参数设定部56的动作的详细内容进行叙述。

路径2的图像处理部51对输入的RAW图像数据进行白平衡等校正或YC变换等图像处理。后面利用图9对图像处理部51的动作的详细内容进行叙述。JPEG处理部53是用于通过JPEG模式来对图像数据进行非可逆压缩处理的电路，在进行JPEG压缩时，利用从JPEG参数设定部56输出的压缩参数来进行压缩。后面，采用图10对该JPEG处理部53的动作的详细内容进行叙述。

从上述路径1的RAW压缩处理部57输出RAW压缩数据，还从路径2的JPEG处理部53输出JPEG压缩数据。即，通过图2所示的电路，对基于摄像元件3的输出的RAW数据进行非可逆压缩并作为JPEG压缩数据输出，另外，还进行可逆压缩并作为RAW压缩数据输出。

接着，利用图3至图10对图2所示的用于进行ASIC15内的压缩处理的电路的动作进行说明。图3表示压缩处理的整体动作，通过系统控制器20来控制该流程，并通过ASIC15内的各个电路模块来执行各个处理。

当图3所示的图像压缩处理开始时，进行是否存在RAW摄影的判定(S1)。本实施方式中的数字单反照相机将摄影后图像的图像数据经过JPEG压缩后记录在记录介质35内，不过通过摄影者操作菜单模式等也能够一起记录RAW压缩数据。在步骤S1中，检查是否进行了同时进行该RAW压缩数据记录的摄影模式的设定。

在步骤S1中的检查结果是，在作为RAW摄影模式的情况下，继续在RAW压缩处理部57中进行RAW压缩处理(S3)。在进行该步骤中的RAW压缩处理时，求出相邻图像间的图像数据的差分值，然后输出压缩信息(差分值的出现频率)。后面使用图4以及图5对该RAW压缩处理的动作进行说明。

当RAW压缩处理结束后，接着进行JPEG参数的设定(S5)。在该JPEG参数设定中，根据在RAW压缩处理中求出的压缩信息来算出量化参数，作成哈夫曼(Huffman)表，并输出压缩参数。后面利用图6至图8对该JPEG参数设定进行叙述。

当步骤S5的JPEG参数设定结束时，或者在步骤S1中判定为不进行RAW摄影的情况下，接着进行图像处理(S7)。在该步骤中，进行白平衡等校正处理，以及由于像素排列成为拜尔(Bayer)排列，所以将RGB的各像素输出在各自的像素位置上进行插值计算处理、或YC变换等处理。后面，利用图9对该图像处理进行叙述。

当步骤S7的图像处理结束时，接着进行JPEG处理(S9)。JPEG处理利用在步骤S5中设定的压缩参数进行JPEG编码。后面，利用图10对该JPEG处理的动作进行叙述。

接着，利用图4所示的流程对步骤S3的RAW压缩处理的动作进行说明。当进入图4所示的流程时，进行RAW压缩处理(S11)。该RAW压缩处理执行图5所示的步骤。首先，采用RAW数据，关于整个像素求出与相邻像素的差分(S21)。该差分值相当于图像的高频分量。然后，计算求出的差分值的出现频率(S23)。

接着根据在步骤S21中求出的差分值进行可变长编码(S25)。即、进行信息熵编码，在本实施方式中，进行以哈夫曼编码为基础的可变长编码。

利用步骤S25的可变长编码来生成RAW压缩数据。返回图4继续生成压缩信息，并将其输出到JPEG参数设定部56(S13)。在本实施方式中，将步骤S23中算出的差分值的出现频率作为压缩信息输出。

其次，返回到图3，使用图6对步骤S5的JPEG参数的设定进行说明。该JPEG参数的设定在JPEG参数设定部56中执行。首先，输入压缩信息(S31)。该压缩信息在RAW压缩时是步骤S13中输出的信息，具体来说，如上所述为差分值的出现频率。

当输入压缩信息时，以该压缩信息为基础，进行量化参数的计算(S33)。在图7中，表示该量化参数计算的流程。如图7的流程所示，首先，根据高频分量的大小、即相邻像素间的图像数据的差分值和其出现频率来计算信息熵(特征数据)(S41)。

此处，在将表示高频分量大小的参数设为i、将与该参数i对应的出现频率设为Pi时，利用如下的公式计算信息熵：

-∑Pi·LogPi    (公式1)

其次，根据JPEG编码大小的近似公式来计算与规定信息熵相对的预测代码量(S43)。即，信息熵与JPEG编码大小，如图11和图12所示存在一定的相互关系。并且，图11和图12的图表是以图像数据为基础作成的实验数据。

如图11所示，用一次方程来近似表示其相互关系时，则有，

Djpeg＝A×Eraw+B    (公式2)

此处，Eraw：RAW数据的信息熵

Djpeg：量化表1(参照图13的Q表1)中的预测代码量

A、B：常数

此外，如图12所示，当利用二次方程来近似表示信息熵与JPEG编码大小的关系时，构成：

Djpeg＝C×Eraw²+D×Eraw+E    (公式3)

其中，C、D、E为常数。

在步骤S43中，当根据如公式2或公式3那样的近似公式计算出与图像数据的信息熵对应的预测代码量时，接着进行与目标编码大小对应的量化参数的计算(S45)。

JPEG方式的压缩中，将图像分割为块，并以块为单位，通过离散余弦变换从空间区域变换到频率区域，在该变换数据经由量化而丢失信息量之后，进行基于哈夫曼代码的信息熵编码。因此，在本实施方式中，通过选择量化时的量化参数，来构成作为目标的数据大小。

量化表(Q表)公知是使除数进行了表格化之后形成的表，该除数用于将以块为单位利用离散余弦变换而得到的各DCT(Discrete CosineTransform)系数除以规定的值后进行量化。

在将图13的Q表1的值设为Q1(其中，Q1是多个值的集合)时，任意地设定N的值，在将Q表的值作为Q1×2^-N(公式4)生成任意的量化表来进行量化时，该整数N是量化参数。

在JPEG编码大小与量化表之间如图13所示存在一定的相互关系。并且，图13的Q表1～4分别与量化参数N1、N2、N3、N4对应。

当以近似公式来表示该相互关系时，成为：

Dtarg et＝Djpeg×(F×2^-N+G)    (公式5)

此处，

Dtarget：目标代码量

Djpeg：在量化表1(Q表1)中的预测JPEG代码量

N：量化参数

F、G：常数

采用上述的近似公式来计算构成作为目标的JPEG编码大小(预测代码量)的量化参数。并且，图13所示的图表是以图像数据为基础而作成的实验数据，4条线是关于4种图像分别代入量化表(或者量化参数)来求出的JPEG编码大小。虽然根据图像的差异而值不同，但可以理解其存在一定的相互关系。

当在步骤S45中计算出量化参数时，接着返回到图6，进行哈夫曼表的作成(图6的S35)。在图8中表示了该哈夫曼表的作成流程。首先，根据出现频率进行信息熵的计算(S51)。该信息熵的计算与步骤S41同样地根据公式1来进行，但直接使用步骤S41中求出的结果。

然后，利用该信息熵来选择哈夫曼表(S53)。即，哈夫曼表如图14所示，具有哈夫曼表1和哈夫曼表2这两个类型，根据由公式1算出的信息熵来选择任意一个哈夫曼表。

此处，在如自然图像那样、相邻的像素输出间相互关系强的情况下使用哈夫曼表1。另一方面，在如电视画面中被称为沙暴的人工制造图像、或在黑背景下对孔眼较细的网眼进行摄像后的图像那样像素输出急剧变化的情况下使用哈夫曼表2。

当结束哈夫曼表的选择时，接着返回到图6，将压缩参数输出到JPEG处理部53(S37)。这里，压缩参数就是在步骤S33中求出的量化参数、以及在步骤S35中所选择的哈夫曼表。

当压缩参数的输出(S37)结束时，返回图3，接着转移到步骤S7(参照图3)。利用图9对该图像处理的流程进行说明。在图像处理部51中，首先，进行图像数据的校正处理(S61)。作为校正处理进行白平衡或光学黑体(Optical black)等处理。

然后，进行同时化处理(S63)。摄像元件3由于其RGB原色滤光器以拜尔排列进行配置，因此，通过插值来求出各像素的RGB值。

当同时化处理结束时，接着进行图像校正(S65)。进行图像数据的颜色再现性或灰度表现等的校正来作为图像校正。当图像校正结束时，接着进行YC变换，以成为由亮度和颜色信息组成的YC信号(S67)。在目前为止的步骤的处理中进行了基于拜尔排列的RGB像素输出的处理，在此进行YC变换，以变换为容易进行JPEG压缩或容易在LCD47上显示的YC数据。

当步骤S67中的YC变换结束时，接着返回到图3，并转移到步骤S9的JPEG处理。利用图10对该JPEG处理的流程进行说明。在JPEG处理部53中，首先输入压缩参数(S71)。如上所述，在图6流程所示的步骤S37中输出由量化参数和被选择的哈夫曼表构成的压缩参数。

然后，利用已输入的压缩参数来进行JPEG的编码(S73)。此处，根据公式(4)由量化参数N来生成新的量化表，并利用该新生成的量化表，进行DCT系数的量化。而后，根据已选择的哈夫曼表来对该量化后的DCT系数进行哈夫曼编码，由此输出作为目标的代码量的压缩数据。

以上的RAW压缩处理和JPEG压缩处理通过图2所示的模块以硬件方式进行处理，不过也可以利用系统控制器20等的CPU以软件方式来进行处理。

如以上说明，在本实施方式中，可预测与RAW数据一起被记录的JPEG编码数据的大小，可使JPEG数据的记录高速化。即，由于可以在压缩前预测JPEG编码大小，因此，只要设定构成规定大小的量化参数既可。由于不必如现有技术那样在成为规定大小之前反复进行JPEG压缩处理，所以可使JPEG数据的记录高速化。

并且，在本实施方式中，作为图像数据的非可逆压缩处理说明了JPEG模式，不过也可以是其它非可逆压缩模式。此外，在压缩处理中利用了哈夫曼编码，但并不仅限于此，也可以使用其它信息熵代码。

此外，本实施方式在JPEG数据大小的预测中，如图11和图12所示，用一次方程或二次方程进行近似，但近似公式并不仅限于此，可以使用各种公式。此外，并不仅限于近似公式，也可以作成表格、然后通过插值计算等来求出。此外，在本实施方式中，使用了信息熵作为表示高频分量的出现频率分布的特征数据，但并不仅限于此，例如也可以采用表示分散的值。

此外，在本实施方式中，利用了差分值的出现频率作为压缩数据，但并不仅限于此，例如，也可以使用在RAW压缩处理部的可变长编码数据(图5的S25)的大小，在此情况下，可取代图11以及图12所示的信息熵和数据大小的相互关系，而根据可变长编码数据大小和JPEG编码大小的相互关系来预测JPEG编码大小。

本发明并不仅限于数字单反照相机，例如，也可以适用于袖珍式等数字照相机，此外，还可以适用于内置到移动电话或便携信息终端(PDA：Personal Digital Assist个人数字助理)等中的照相机，此外显而易见，还能够适用于可安装在专用设备内的照相机，如显微镜用照片摄影装置。总之，可适用于进行图像数据压缩的照相机、电子摄像装置、图像处理装置等。

Claims (13)

1.一种图像数据压缩装置，其特征在于，具有：

图像处理部，其检测图像数据的高频分量；

运算部，其计算表示所述高频分量的出现频率分布的特征数据；

压缩处理部，其根据量化表以及哈夫曼编码表，对所述图像数据进行压缩处理；

代码量预测部，其以所述特征数据为基础，对根据第1量化表利用所述压缩处理部来压缩所述图像数据时的预测代码量进行运算；

量化表生成部，其根据所述目标代码量和所述预测代码量来计算用于取得在所述压缩处理部中最终希望获得的目标代码量的第2量化表；以及

JPEG压缩部，其根据所述第2量化表来进行JPEG压缩处理。

2.根据权利要求1所述的图像数据压缩装置，其特征在于，

在所述图像处理部中的所述高频分量为相邻像素间的图像数据的差分值。

3.根据权利要求1所述的图像数据压缩装置，其特征在于，

在将表示高频分量大小的参数设为i、将与该参数i对应的出现频率设为Pi时，在所述运算部中运算的所述特征数据可表示为：-∑Pi·LogPi。

4.根据权利要求1所述的图像数据压缩装置，其特征在于，

在将所述特征数据设为Eraw、将以第1量化表为基础进行所述JPEG压缩处理时的预测代码量设为Dipeg、将A、B、C、D、E分别设为常数时，存在如下的相互关系：

Djpeg＝A×Eraw+B或

Djpeg＝C×Eraw²+D×Eraw+E。

5.根据权利要求1所述的图像数据压缩装置，其特征在于，

将以所述第1量化表为基础进行所述JPEG压缩处理时的预测代码量设为Djpeg、将量化参数设为N、将F、G设为常数、将以所述量化参数N为基础进行所述JPEG压缩处理时的目标代码量设为Dtarget，在此情况下可表示为：

Dt arg et＝Djpeg×(F×2^-N+G)

而且，在将所述第1量化表设为Q1、将所述第2量化表的值设为Q2、将N设为量化参数时，可表示为：

Q2＝Q1×2^-N。

6.根据权利要求1所述的图像数据压缩装置，其特征在于，

所述图像数据压缩装置还具有可变长编码部，该可变长编码部进行RAW数据的编码并生成可变长编码数据。

7.一种图像数据压缩方法，其特征在于，具有如下的步骤：

检测图像数据的高频分量的步骤；

计算表示所述高频分量的出现频率分布的特征数据的步骤；

以所述特征数据为基础，对根据第1量化表利用压缩处理部来压缩所述图像数据时的预测代码量进行运算的步骤；

根据所述目标代码量和所述预测代码量来计算用于取得在所述压缩处理部中最终希望获得的目标代码量的第2量化表的步骤；以及

根据所述第2量化表来进行JPEG压缩处理的步骤。

8.一种图像数据压缩装置，其特征在于，具有：

RAW压缩处理部，其根据相邻像素的图像数据间的差分值，利用可变长编码来进行图像数据的压缩，并且求出与图像压缩相关的压缩信息；

JPEG参数设定部，其设定量化参数以及哈夫曼表，该量化参数用于根据所述压缩信息进行量化，以成为目标数据大小，该哈夫曼表用于对利用该量化参数进行量化后的数据进行哈夫曼编码；以及

JPEG处理部，其根据所述量化参数和所述哈夫曼表，对图像数据进行JPEG压缩处理。

9.根据权利要求8所述的图像数据压缩装置，其特征在于，

所述压缩信息为以所述差分值的出现频率值为基础而算出的信息熵。

10.一种图像数据压缩装置，其特征在于，具有：

RAW压缩处理部，其可逆地压缩图像数据，并且求出与图像压缩相关的压缩信息；

非可逆压缩处理部，其非可逆地压缩图像数据；以及

参数计算部，其根据所述压缩信息来求出使数据大小成为目标数据大小的参数，

所述非可逆压缩处理部根据所述参数来进行非可逆压缩处理。

11.根据权利要求10所述的图像数据压缩装置，其特征在于，

根据所述压缩信息来计算信息熵，并由该信息熵与基于所述非可逆压缩处理的数据大小的相互关系，来求出使数据大小成为目标数据大小的所述参数。

12.根据权利要求10所述的图像数据压缩装置，其特征在于，

所述信息熵为以所述图像数据的高频分量的出现频率值为基础而算出的数据。

13.一种图像数据压缩方法，其特征在于，具有如下的步骤：

根据相邻像素的图像数据间的差分值，利用可变长编码来进行图像数据的压缩，并且求出与图像压缩相关的压缩信息的步骤；

设定量化参数以及哈夫曼表的步骤，该量化参数用于根据所述压缩信息来进行量化，以成为目标数据大小，该哈夫曼表用于对利用该量化参数进行量化后的数据进行哈夫曼编码；以及

根据所述量化参数和所述哈夫曼表，对图像数据进行JPEG压缩处理的步骤。

Images