CN1874409A - 图像信号处理设备、照相机系统及图像信号处理方法 - Google Patents

Abstract

提供了一种图像信号处理设备、方法及照相机系统，通过其可以执行非常有效的接近于单路径处理的处理，而不会降低图片质量，或者该处理不会花费太多时间，能够确保压缩率所需的容量以及最坏情况下的频带和存储器，并且压缩图像数据时随机存取特性并没有受到削弱：其中该设备具有至少一个第一信号处理单元、第二信号处理单元以及由该第一信号处理单元以及该第二信号处理单元进行存取的存储单元；其中，该第一信号处理单元在其与存储单元的接口部分处包括频带压缩扩展单元，该频带压缩扩展单元具有如下功能：根据预定的频带压缩方法对输入图像数据进行压缩，将该输入图像数据写入存储单元中，以及对从存储单元中所读取的压缩过的数据进行扩展。

Description

图像信号处理设备、照相机系统及图像信号处理方法

技术领域

本发明涉及一种图像信号处理设备、照相机(camera)系统以及图像信号处理方法，其中应用了一种图像压缩技术。

背景技术

本发明包含涉及日本专利申请No.2005-119739的主题，该日本专利申请于2005年4月18日在日本专利局提交，该申请的全部内容在此引入作为参考。

由于近来的图像处理设备(诸如数字照相机、数字摄像机(digital videocamera)以及数字电视)已达到高分辨率和高清晰度，因此由其中所安装的集成电路所处理的图像数据量也增加了。

当处理大量图像数据时，为了在集成电路中保证一频带的数据传输容量，一般需要大量昂贵的电路资源，诸如需要具有很宽的宽度、高操作频率的数据总线和大容量的记录装置。

由于容量变得更大，因此在记录装置中还出现了高速性能的障碍。特别地，在移动电话、个人数字助理(PDA)、数字照相机以及便携式AV播放器和其它需要为便携式的设备中，需要在速度性能、面积的小型化以及低功耗之间进行平衡，但是近年来很难在满足所有高级需求的同时处理以百万像素为单位的图像数据。

因此，一般地，例如在集成电路中完成了图像处理之后，当将图像数据记录到闪存或其它外部记录装置时对该图像数据执行压缩处理。

因此，能存储具有更大图像大小的图像数据或者更大量的图像数据，并且将图像数据在外部记录装置中存储更长的时间，该外部记录装置与在没有压缩的情况下的容量相比具有相同的容量。

为了实现这样的压缩处理，使用了诸如JPEG、MPEG、GIF、LHA、ZIP之类的编码方法。

发明内容

一般地，如图1中所示，当在集成电路中的多个模块之间传输图像数据时，经常会出现这种情况：处理的定时(timing)在图像数据输出侧模块1与输入侧模块2之间出现差异。很多这样的情况经常通过如图1中所示的存储器3来传输图像数据并将该图像数据临时存储在存储器3中。

但是，近年来，可用作LSI的存储器接口(I/F)的管脚数目以及对存储器的存取频率已经几乎达到峰值，并且在许多种情况下，存储器频带出现短缺。

除了外部记录装置以外，当在集成电路中的数据总线或外部记录装置上处理压缩过的数据时，出现一般编码方法无法解决的、下面所述的第一至第四个问题。

第一个问题是很难维持压缩性能和图像质量。

第二个问题是该处理花费时间并且处理速度变慢。

第三个问题是很难保证一频带。

第四个问题是很难维持随机存取特性。

下面，将进一步详细解释第一至第四个问题。

首先，第一个问题涉及维持压缩性能和压缩过的数据的质量。

当通过压缩数据设法降低频带时，如果压缩效率不好，即压缩后的数据容量并没有变得非常小，则无法充分达到频带和存储装置资源的降低。

一般地，当对图像数据执行无损压缩时，不必说这取决于各个图像，并且即使在最好的情况下，通常也难达到压缩50％之后的容量。因此，有一种使用有损压缩来获得高压缩率的方法。

然而，如容易考虑到的那样，在有损压缩的情况下就会出现质量问题。在有损压缩中，压缩后的数据变得与初始数据不同。如果差别很大，则当看到该图像数据时，就不得不观看很粗劣的图片，其中各种信息都丢失了。当使用有损压缩时，只有在视觉上几乎无法识别出这种差异的范围内变化的数据才是可忍受的。

第二个问题是关于处理速度。

无论所设计的用于给出高压缩效率的压缩方法多么优秀，如果该处理过于复杂并且需要很多的电路资源以及很长的处理时间，都无法达到降低频带的目的。

例如，在运动图片再现设备中，其中每一秒必须显示三十幅图像，当很难在1/30秒中处理一幅图片时，就无法提及该带被降低，尽管成功地进行了数据压缩，以致这个初始目的很难达到。

在一般的广播数据中，存在以下情况：只要能在有限的时间内完成对于压缩过的数据的扩展，对于压缩就可以花费相对长的时间。

在这种情况下，可以执行双路径的图像处理。即，在第一条路径上的处理中对所有图像数据进行扫描，以提取出可用于压缩处理的图像特征量(例如整个屏幕的亮度、特别地要求精细的复杂图像部分的坐标信息)。

在第二条路径中的处理中，通过利用从第一路径中获得的信息执行有效的压缩。

但是，在用于当在集成电路中处理数据时执行记录和再现的设备中，没有足够的时间用于这样的冗余检查。

因此，优选的是通过一条路径进行处理，其中只有在非常窄的范围中的数据扫描基本上被允许。

第三个问题是保证频带的最坏情况。

一般地，在用于压缩包括图像的各种数据的可变长度的编码方法中，压缩之后的数据容量没有被确定并且不可能知道压缩之后的数据容量，直到实际上执行一次压缩。

并且，这时进行的压缩利用了概率极化(probabilistic polarization)，以致当处理极值数据(例如，几何锯齿形检查模式)时，逻辑上可能的是：在压缩之前数据容量会相反地增加。

但是，在集成电路中，只有根据事先所估计的处理数据容量的有限量的电路资源能够被使用。即使在最差压缩效率的情况下，压缩之后的最小确保容量也必须被确定并且压缩之后的容量必须实现作为目标的频带降低。

最后，第四个问题是维持随机存取特性。

一般地，当压缩图像时，按照某一顺序对屏幕上的像素进行扫描并执行压缩处理。作为扫描方法的例子，经常使用“光栅扫描”，用于按照从行到列的顺序从左上方扫描到右下方。

相反地，当扩展压缩过的数据时，按照与以一般可变长度编码来从压缩过的编码数据的顶部进行压缩时相同的像素扫描顺序执行扩展。

另一方面，当从一幅图像中剪切部分图像时，并不经常需要以下情况：需要上面和下面像素的参考和相关，以及在捕获图像时在由透镜导致的图像的轮廓处执行修正偏移处理等，能够自由获得任何部分处的像素。

这时，当前的可变长度编码数据不能在编码数据的中间进行扩展以获得自由选择的部分，以致完全丧失了随机存取特性。

应该消除该缺点，并且防止频带消耗或者线性保持存储器的消耗，该频带消耗是由于当对某一部分进行检索时导致的从顶部开始的扩展而引起的。

期望提供一种图像信号处理设备、照相机系统以及图像信号处理方法，通过该图像信号处理设备、照相机系统以及图像信号处理方法，可以非常有效地执行接近于单路径处理的处理，而不会降低图像质量，该处理并不会花费太多时间，能够确保压缩率所需的容量、以及最坏情况下的频带和存储器，并且此外随机存取特性并没有被削弱。

根据本发明的实施例的第一方面，提供了一种图像信号处理设备，该图像信号处理设备包括至少一个第一信号处理单元、第二信号处理单元以及由该第一信号处理单元和该第二信号处理单元进行存取的存储单元；其中该第一信号处理单元在其与存储单元的接口部分处具有频带压缩扩展单元，该频带压缩扩展单元具有如下功能：通过预定的频带压缩方法对输入图像数据进行压缩，将该输入图像数据写入存储单元中，以及对从存储单元中所读取的压缩过的数据进行扩展。

优选地，该频带压缩扩展单元以预定数目的像素的块为单位对输入图像数据进行压缩。

优选地，该频带压缩扩展单元为达到目标压缩率而执行频带压缩处理；当通过基于无损压缩方法的压缩处理而达到目标压缩率时，该频带压缩扩展单元执行无损压缩；以及只有当通过无损压缩不满足目标压缩率时，该频带压缩扩展单元才执行基于有损压缩方法的压缩处理。

优选地，该频带压缩扩展单元为达到目标压缩率而针对每个块执行频带压缩处理；当通过基于无损压缩方法的压缩处理而达到目标压缩率时，该频带压缩扩展单元执行无损压缩；以及只有当通过无损压缩不满足目标压缩率时，该频带压缩扩展单元才执行基于有损压缩方法的压缩处理。

优选地，该频带压缩扩展单元针对每个块改变要根据图像的复杂性改变的像素的位分辨率。

优选地，该频带压缩扩展单元在降低像素的位分辨率时通过像素值确定，并且使得低像素值的位分辨率比高像素值的位分辨率更难被降低。

优选地，该频带压缩扩展单元在多个降低方案中对编码量进行试算，接着使其中一种方案满足目标，并且通过按照该降低方案来执行实际编码。

优选地，该频带压缩扩展单元在所有降低方案的结果都不好时存储原始数据的预定位。

优选地，该频带压缩扩展单元以有限数目的像素的块为单位执行压缩，并且在存储单元中针对每个块将该有限数目的像素存储在预定的存储区中。

根据本发明的实施例的第二方面，提供了一种照相机系统，该照相机系统包括图像捕获单元，用于获取对象的图像并输出图像数据；以及该照相机系统包括图像信号处理设备，用于对该图像数据执行预定的处理：其中该图像信号处理设备具有至少一个第一信号处理单元、第二信号处理单元以及存储单元：其中该存储单元能够由该第一信号处理单元以及该第二信号处理单元进行存取；以及该第一信号处理单元在其与存储单元的接口部分处具有频带压缩扩展单元，该频带压缩扩展单元具有如下功能：通过预定的频带压缩方法对输入图像数据进行压缩，将该输入图像数据写到存储单元中，以及对从存储单元中所读取的压缩过的数据进行扩展。

根据本发明的实施例的第三方面，提供了一种图像信号处理方法，用于对图像数据执行预定的压缩处理，其中：为了达到目标压缩率，针对每个具有预定数目的像素的块，对输入图像数据执行频带压缩处理；当通过基于无损压缩方法的压缩处理而达到目标压缩率时执行无损压缩；以及只有当通过无损压缩不满足目标压缩率时才执行基于有损压缩方法的压缩处理。

附图说明

本发明的这些以及其它目的和特征将根据下面参照附图给出的优选实施例的说明而变得更加清楚，其中：

图1是用于解释通用集成电路中的数据传输配置的视图；

图2是应用根据本实施例的图像信号处理设备的照相机系统的配置实例的框图；

图3是本实施例中的包括频带压缩扩展单元的图像信号处理设备的概念上的块配置视图；

图4是用于解释本实施例中所应用的频带确保压缩方法(band assuringcompression method)的视图，该视图示出了一状态，其中12-位分辨率像素图像数据(原始数据)被分为高阶侧位和低阶侧位；

图5是用于解释本实施例中所应用的频带确保压缩方法的视图，该视图示出了将要在将像素数据分为两部分之后所应用的编码算法；

图6A到6E是用于对本实施例中所高阶侧位分量(分辨率确保部分)的编码方法进行解释的视图；

图7A到7D是用于对本实施例中所低阶侧位分量(速率(rate)控制部分)的编码方法进行解释的视图；

图8是用于解释必需舍入的(rounded)低阶位省略处理(有损压缩)的原因的视图；

图9A到9D是本实施例的频带确保压缩方法的处理概述的视图；

图10是本实施例的频带压缩扩展单元的具体配置实例的框图；以及

图11是用于解释图10中的频带压缩扩展单元的操作的流程图。

具体实施方式

下面，将参照附图对本发明的实施例进行解释。

图2是应用根据本实施例的图像信号处理设备的照相机系统的配置实例的框图。

该照相机系统10包括光学系统11、由CCD或CMOS传感器所组成的图像传感器(图像拾取装置)12、模拟信号处理单元13、模拟/数字(A/D)转换器14、数字信号处理单元15、图像压缩扩展单元16、图像存储器17、显示装置接口(I/F)18、显示装置19、控制CPU 20、操作装置21、人界面22、存储接口23、以及外部图像存储器24。

在该照像机系统10中，该数字信号处理单元15、图像压缩扩展单元16、图像存储器17以及显示装置接口(I/F)18通过总线25相连。

该光学系统11、由CCD或CMOS传感器所组成的图像传感器(图像捕获装置)12、以及模拟信号处理单元13等构成了图像拾取单元。

基本上，图像信号处理设备可以由作为第一信号处理单元的数字信号处理单元15、作为第二信号处理单元的图像压缩扩展单元16、以及作为存储器单元的图像存储器17来配置。

在本实施例中，该数字信号处理单元15在与图像存储器17的接口部分处设有频带确保压缩扩展单元200，能够执行接近于单路径处理的处理而不会削弱图像质量，并且在确保存储器总线频带、压缩率所需的容量、最坏情况下的频带和存储器的同时不会花费太多的时间，并且保证随机存取特性。

首先，将对图2中的照相机系统10的每个部分的功能的概述进行解释。

该光学系统11由作为主体的至少一个透镜来配置，并且将对象的未示出图像聚焦在作为图像捕获元件的图像传感器12的光接收表面上。

该图像传感器12对通过光学系统11进行聚焦的对象图像的信息执行光电转换，并将该光电转换输出给模拟信号处理单元13。

该模拟信号处理单元13对图像传感器12的模拟输出执行相关的双采样处理(CDS)以及模拟放大处理等，并将处理过的模拟图像数据输出给A/D转换器14。

该A/D转换器14将来自模拟信号处理单元13的模拟图像数据转换为数字信号，并将该数字信号输出给数字信号处理单元15。

该数字信号处理单元15执行用于在摄影之前确定摄影的快门速度的处理、用于调整所获取的图像的亮度和色彩的处理、以及基于稍后所解释的压缩方法对所获取的图像数据进行压缩处理，该数字信号处理单元15将压缩过的图像写到作为记录介质的图像存储器17，该数字信号处理单元15执行用于从图像存储器17中读取所写入的图像数据以及扩展的处理等。

该数字信号处理单元15在与图像存储器17的接口部分处设有频带确保压缩扩展单元200，能够执行接近于单路径处理的处理而不会削弱图像质量，并且在确保存储器总线频带、压缩率所需的容量、最坏情况下的频带和存储器的同时不会花费太多的时间，并且保证随机存取特性。

稍后将对数字信号处理单元15的频带确保压缩扩展单元200的具体配置和功能进行详细解释。

该图像压缩扩展单元16具有用于读取被存储在图像存储器17中的压缩过的数据并执行扩展处理的解码功能以及具有用于通过执行压缩信号处理从多个图像数据、诸如摄像机信号中生成图像源的编码功能。

该图像压缩扩展单元16能够通过存储接口23将图像数据存储到图像存储器24中并从该存储器24中进行再现。

作为图像存储器24，如非易失性存储器的闪存、HDD以及DVD都可被应用。

该显示装置接口18将要被显示的图像数据输出给显示装置19以进行显示。

作为显示装置19，液晶显示装置(LCD)等可以被应用。

该控制CPU 20控制该数字信号处理单元15、图像压缩扩展单元16以及整个电路。

该控制CPU 20通过人界面22根据操作装置21进行控制。

该操作装置21由快门按钮、慢进刻度盘(jog dial)以及触摸面板等构成。

下面，将对数字信号处理单元15中的频带确保压缩扩展单元200的处理功能等进行详细说明。

如图3中所示，本实施例中的频带确保压缩扩展单元200总体上包括装备有数据压缩单元201a的数据传输侧块201以及装备有数据扩展单元202a的数据接收侧块202。该数据传输侧块201a以及数据接收侧块202通过总线25被连接到图像存储器(存储器单元)17，以便执行数据传输。

在本实施例中，如将在稍后所解释的那样，由于通过频带确保压缩扩展单元200进行的压缩(扩展)处理，流过总线25的数据量很小，并且构成该图像存储器17的存储器件的频带和容量能够被降低。

并且，在本实施例中，与频带确保压缩扩展单元200分离，该图像压缩扩展单元16与总线25相连。即，该图像压缩扩展单元16被设置为功能块，用于执行与数字信号处理单元15中的处理完全不同的处理(不相关处理)，该图像压缩扩展单元16从图像存储器17中读取数据并执行数据传输处理以进行写入。

即，在本实施例中，为了降低数据传输容量的频带，例如通过压缩集成电路中的容量来对处理数据进行处理。

近年来，可用作LSI的存储器接口(I/F)的管脚数以及对于存储器的存取频率已经几乎达到了峰值，并且在很多情况下，存储器频带短缺。当在集成电路中处理压缩过的图像数据时，通过数据总线的数据量降低并且能够达到频带的必需降低。此外，通过压缩数据，也能够降低集成电路中的存储器件的必需容量。

需要注意的是，在本实施例中，作为先决条件，假定包括12位分辨率的各个RGB色彩的滤色阵列中的图像数据被压缩为每个色彩中的8位等级(目标压缩率为66.7％，该目标压缩率是初始数据的2/3)。

作为构成图像数据的每个元素，那些具有8位分辨率的元素已经被用作标准。作为图像数据的分量，只有图像传感器才有的基色(R，G和B)、亮度色差(Y，Cb和Cr)以及滤色阵列(CFA)等可以被提及。

但是，近年来，与较高图像质量的要求一起，进行10至12位的较高分辨率或更高分辨率变得很重要。

在本实施例中，提供了一函数，该函数能够充分处理更高的图片质量以及更高分辨率的要求。

但是，如果图像数据的分辨率只是简单地变高，则数据量也会增加，这导致用于存储图像数据的存储区以及用于传输该图像数据的存储器总线频带的增加。

因此，本实施例的数字信号处理单元15中的频带确保压缩扩展单元200采用了一种有效的图像数据压缩方法并且具有达到以下四个目标(A)至(D)的功能，其中一般的图像压缩技术中的缺陷被消除了。

[四个目标]

(A)通过根据视觉特性的编码算法尽可能维持高图片质量；

(B)通过整个输入图像的单路径编码方法来抑制总线频带的增加；

(C)对于任何输入图像总是保证某一压缩率；以及

(D)不会削弱随机存取特性。

在本实施例的频带确保压缩扩展单元200中，采用了具有下面处理功能的图像数据压缩方法来实现这四个目标。

(1)以有限数目的像素(块)为单位来执行压缩。由于这个第一功能，能够达到上面的四个目标(A)至(D)。

(2)通过对整个图像实现单路径编码处理，防止频带的增加。由于这个第二功能，能够达到目标(B)。

(3)通过对一幅图像中的每个块进行多路径编码处理来维持高图片质量。由于这个第三功能，能够达到目标(B)。

(4)通过记录到针对每个块所确定的地址，随机存取特性没有被削弱。由于这个第四功能，能够达到目标(D)。

(5)数据被分为多个位分辨率部分：高阶位侧和低阶位侧等，并且分别单独使用适当的压缩方法。由于这个第五功能，能够达到目标(A)。

(6)为了在其中满足目标压缩率的范围中将图片质量退化抑制到最小，适当地针对每个块使用最优压缩方法。由于这个第六功能，能够达到目标(A)和(C)。

(7)当降低像素的位分辨率时，通过根据像素值的大小确定并使得低亮度(像素)值的位分辨率比高亮度(像素)值更难被降低，可以防止图片质量在视觉上的退化。由于这个第七功能，能够达到目标(A)。

(8)在高阶位侧上执行无损压缩，以确保最小图片质量。当所有降低措施的结果都不好时，按照原样存储高阶数据，以确保压缩后的最小容量。由于这个第八功能，能够达到目标(C)。

下面，将进一步对第一至第八功能进行详细解释。

[第一功能]

为了达到目标(A)、(B)、(C)和(D)，以有限数目的像素(块)为单位执行压缩。

一般地，图像数据中的邻近像素是高度相关的。因此，在以块为单位中，利用邻近相关执行高度有效的压缩处理的方法是有用的，该块由相邻的大约数十个像素构成。例如，在一种压缩方法(诸如JPEG)中，以8(宽)×8(长)的块形状为单位执行压缩处理。

在本实施例的压缩方法中，以预定的块形状为单位执行压缩。

可以为每个系统最优地选择块的形状和像素数，并且这些形状和像素数不是特别限于本实施例。优选的是，这些形状和像素数可编程为可能的扩展。

需要注意的是，在一般的图像压缩算法中，块的压缩率根据块中图案的复杂度而变化。因此，对所有复杂度的图像不能确保某一压缩率，并且很难确保存储区和总线频带。

考虑到这一点，在本实施例的方法中，重要的特征就是针对每个块达到目标压缩率而不会失败。也就是说，能确保以块为单位进行存储所需的存储器的数据量以及以块为单位进行传输所需的存储器总线频带。

可以为每个系统选择以块为单位的目标压缩率的最优值，并且并不特别限于本实施例。优选的是，可编程为可能的扩展。

在数据压缩方法中有无损压缩方法和有损压缩方法。

在无损压缩方法中，牺牲了压缩效率才使得图片质量没有发生退化，而在有损压缩方法中，为提高压缩效率使得图片质量发生了退化。

在本实施例的方法中，采用了如下的方法来将图片质量的退化抑制到最小：当通过无损压缩满足目标压缩率时执行无损压缩，并且只有当通过无损压缩不能满足目标压缩率时才执行有损压缩。

作为典型的无损压缩方法，有一种利用相邻相关的无损JPEG(JPEG附录H)。在无损JPEG中，通过对与相邻像素的差(DPCM)执行哈夫曼编码来压缩数据量。

作为典型的有损压缩方法，有一种JPEG基线。在该JPEG基线中，通过在块中执行离散余弦变换(DCT)、量化以及哈夫曼编码来压缩数据量。

作为一种在无损压缩和有损压缩中所使用的内部类型(对应于上面所解释的DPCM、DCT以及哈夫曼等)，可以针对每个系统采用最优类型并且不特别限于本实施例。

[第二功能]

为了达到目标(B)，对整个图像执行单路径的编码处理并且防止频带的增加。

一般地，作为一种实现高压缩率的方法，存在双路径编码系统和多路径编码系统。

在双路径编码系统的情况下，在第一路径的处理中收集关于图像数据中的图案复杂度的分布条件的信息，并根据在第一路径上所收集的信息在第二路径中执行位速率控制，以致维持高压缩率以及高图片质量。需要注意的是，当通过总线将图像数据放置在存储器上时，回过来，输入该图像数据所需的存储器频带(memory band)加倍。

因此，针对整个图像实现了单路径的编码处理，以防止增加本系统中的图像数据输入频带。

[第三功能]

为了达到目标(B)，对一幅图像中的每个块执行多路径的编码处理并且维持高的图片质量。

在本方法中，为一幅图像中的每个块采用多路径编码处理方法。通过从不同压缩参数中选择多条路径的最优参数，能在满足某一压缩率的范围中尽可能地防止图像质量发生退化。

压缩参数的种类和数目以及最优参数的选择算法并不是特别限于本实施例。优选的是，可编程为可能的扩展。

下面，将对实施例的具体实例进行解释。

通过并行地准备用于在阵列中对块进行压缩之后计算数据容量的多个电路，能通过第一路径上某一时间的不同压缩参数来临时地计算大量的数据量降低方案。

结果，可以通过接近于双路径处理的处理来实现对块的压缩处理。

在第二路径上，从第一路径的试算中得到的最优压缩参数被用于执行实际的压缩处理。

[第四功能]

为了达到目标(D)，通过记录到每个块的预定地址，随机存取特性没有被削弱。

确保以块为单位的恒定压缩率意味着实际压缩到对应于目标压缩率或更小压缩率的数据量。因此，可能出现如下情况：其中虽然只有少量的用于所准备的数据容量的空间被完全填满，但是用于其它数据的空间还有剩余。下一块可被放入该空间中，但是这不在本方法中。

接下来的块被记录在针对下一个块所保证的存储区中，以致不管块的实际压缩率，每个块的顶部数据地址都被固定在存储器中，并且以块为单位的随机存取成为可能。

作为以块为单位的寻址方法，最优方法可被用于每个系统，并且并不特别限于本实施例中。优选的是，可编程为可能的扩展。

[第五功能]

为了达到目标(A)，在本实施例的频带确保压缩方法中，数据被分为多个位分辨率部分，诸如高阶位侧和低阶位侧，并且对其单独使用最优压缩方法。

一般地，在图像数据中，从高阶位侧到低阶位侧，相邻相关性下降。因此，根据在8位分辨率图像数据压缩中所使用的以及被认为有效的邻近相关的压缩方法对于超过8位的高分辨率图像数据的低阶位侧不是总是有效的。

实际上，当根据8位和12位的高分辨率图像数据的邻近相关来比较压缩效率时，有一种趋势就是：随着分辨率变高，压缩效率下降。

因此，本实施例的方法就被配置为如下：高分辨率图像数据被分为多个分辨率部分，诸如分为高阶位侧和低阶位侧，并且对其单独使用最优压缩方法。

作为用于分为高阶位侧和低阶位侧的数据划分点，可以为每个系统选择最优点。数据的划分点以及划分数并不特别限于本实施例中。优选的是，可编程为可能的扩展。

下面，将对实施例的具体实例进行解释。

当处理12位分辨率的图像数据时，该图像数据被分为高阶侧8位部分和低阶侧4位部分，结合根据邻近相关的差分PCM和哈夫曼编码的无损压缩被用于高阶8位部分，并且没有被压缩的数据(PCM)按照原样被用于低阶侧4位部分。

[第六功能]

为达到目标(A)和(C)，针对每个块适当地使用最优压缩方法，以致在满足目标压缩率的范围中将图片质量退化抑制到最小。

在一般的图像压缩方法中，对于简单的图案，压缩效率高，但随着图案变得复杂，压缩效率也会下降，这是图案复杂度和压缩效率冲突的因素。

另一方面，高压缩率和维持像素的高位分辨率(维持高的图片质量)也是冲突因素，并且它们是彼此折中的关系。

需要有一种与图案复杂度无关地达到恒定目标压缩率的方法，同时通过考虑三个因素、即“图案复杂度、压缩效率以及高图片质量的维护”的关系来将图片质量的退化压缩到最小。

在本发明中，应用了一种方法，该方法根据图案的复杂度适当地降低每个块中的像素的位分辨率。

通过将位分辨率的降低度控制到最佳点以便与目标压缩率相匹配，就能够达到恒定的压缩率而与图案的复杂度无关，并且尽可能地抑制图片质量的退化。

在本实施例中，并没有特别地限制用于提取像素的位分辨率的最优降低点的算法。稍后将对该实施例的具体算法实例进行解释。

[第七功能]

为了达到目标(A)，当降低像素的位分辨率时，根据像素值的大小确定并使得低亮度(像素)值的位分辨率与高亮度(像素)值的位分辨率相比难于被降低，以便防止图片质量在视觉上的退化。

作为用于降低像素的位分辨率的指标(index)，亮度(像素)值可以被提及。

一般地，根据人眼对黑暗部分中的细微色调变化敏感的视觉特性，用于将低亮度(像素)值的位分辨率择优地持续到高亮度(像素)值的位分辨率对于维持高图片质量变得有效。

因此，在本实施例中，采用了逐步算法，其中被包括在块中的低亮度侧上的像素值的位分辨率被尽可能地保持，从高亮度侧上的像素值开始逐渐地降低低阶位，直到达到目标压缩率，并且对于每个块，将位分辨率的降低度控制到最优点上。

在本实施例中，用于提取将要针对亮度(像素)值的大小被降低的位分辨率的算法并没有被特别限制。

下面，将对该实施例的具体算法实例进行解释。

将解释用于根据像素值的高阶位侧部分的值来确定低阶位侧部分的数据的降低度的算法实例。

首先，根据该值将高阶位侧上的数据分为一些等级，并且准备转换记录，用于确定对于每个等级低阶位侧的分辨率中应该保持多少位。

由于记录是按照从低压缩率到高压缩率的压缩效率顺序进行排列，所以通过连续地修改该记录，就有可能利用目标压缩率中的最小位降低量进行高图片质量的压缩，直到达到了目标压缩率。

在本实施例中，记录中的等级以及被降低的位分辨率的数值等没有被特别地限制。优选的是根据图像数据的特性来设置这些数值，以致这些数值优选地可编程为可能的扩展。

[第八功能]

为了达到目标(C)，高阶位侧受到了无损压缩，用于确保最小图片质量，同时当所有降低方案的结果都不好时，按照原样存储高阶数据，用于确保压缩后的最小容量。

可变长度编码方法包括那些使用静态可变长度表格的方法以及那些根据数据动态地改变可变长度表格的方法。

在使用动态表格的方法中，压缩效率高，但对其需要非常复杂的处理和时间，这会削弱作为该方法的目标的实时特性。

另一方面，甚至利用很少的电路资源，使用静态表的方法就会带来接近于使用动态表的方法中的效果。

因此，在本方法中采用了使用静态可变编码表格的可变长度编码。

设置了静态可变长度编码表，以致能够根据各种图像统计信息有效地对具有平均复杂度的图像进行压缩。因此，在通过设置而具有最坏情况静态分布的图像中，与压缩之前相比，数据量反而会增加。

在那种情况下，不执行压缩处理是有利的，因为数据量与使用静态可变长度编码来执行压缩处理相比变得更小。

在本方法中，压缩前的高阶位侧上的数据由低阶位侧上的数值舍入并且被用作那种情况下压缩之后的数据。

通过不是存储而是降低低阶位侧上的数据，按照目标压缩率或更小的压缩率对数据容量进行压缩。

接下来，将参照附图对上面所解释的本实施例中所应用的频带确保压缩方法进行解释。

这里，目标压缩率为66.7％(初始数据量的2/3)，这对应于平均每一个像素将12位压缩至8位的情况。

图4是用于解释本实施例中所应用的频带确保压缩方法的视图，该视图示出一状态，其中12-位分辨率像素图像数据(原始数据)被分为两部分：高阶侧位和低阶侧位。

图5是用于解释本实施例中所应用的频带确保压缩方法的视图，该视图示出了将要在将像素数据分为两部分之后所应用的编码算法实例。

需要注意的是，为了方便，图4示出了一条像素阵列的线(水平线)，在垂直方向上对该线从左侧到右侧进行扫描。

在图4中的实例中，12位原始数据被分成作为高阶8位部分的分辨率确保部分301，以及作为低阶4位部分的速率控制部分302，对这两部分分别应用不同的编码算法。

在本实施例中，如图4中所示，关于速率控制部分302的分辨率，涉及高阶侧8位，而低阶侧速率控制部分302的分辨率择优地从具有高亮度值的数据开始降低。具有低亮度值的数据尽可能地保持速率控制部分302的分辨率。

在图4中的实例中，关于亮度值是高还是低，高阶侧分辨率确保部分301的8位被分为MSB侧4位和LSB侧4位，并且当MSB侧4位中的任何一个被设置为逻辑1时，亮度值就被确定为高；同时，当MSB侧4位中没有任何一个被设置为1时，亮度值就被确定为低。

这就是一个例子，因此可变实施例能够被采用。

为了解释编码的尝试顺序，如图5中所示，分别对作为高阶侧8位部分的分辨率确保部分301以及作为低阶侧4位部分的速率控制部分302采用不同的编码算法，并且连续应用用于确保最坏情况下的频带的(1)无损压缩、(2)第一有损压缩以及(3)第二有损压缩，直到满足目标压缩率。

首先，在无损压缩处理步骤中，对作为高阶侧8位部分的分辨率确保部分301进行结合基于邻近相关的差分PCM和哈夫曼编码的无损压缩，并且对作为低阶侧4位部分的速率控制部分302按照原样应用非压缩数据(PCM)。

接着，在第一有损压缩处理步骤中，应用结合DPCM以及哈夫曼编码的无损压缩。当编码量小于最大可容许的编码量并且并没有达到目标压缩率时，对作为高阶侧8位部分的分辨率确保部分301进行结合基于邻近相关的差分PCM和哈夫曼编码的有损压缩，并且作为低阶侧4位部分的速率控制部分302根据速率按照原样记录具有降低后的分辨率的数据而不进行编码。

在第二有损压缩处理步骤中，应用作为用于确保最坏情况下的频带的处理的、结合DPCM和哈夫曼编码的无损压缩，并且，当编码量大于最大可容许的编码量并且并没有达到目标压缩率时，作为高阶侧8位部分的分辨率确保部分301中的8位原始数据(PCM)按照原样被记录，并且不是作为低阶侧4位部分的所有速率控制部分302都被记录。

接着，将对本实施例中的高阶侧位分量(分辨率确保部分)的编码方法的实例以及低阶侧位分量(速率控制部分)的编码方法的实例进行解释。

首先，将解释高阶侧位分量(分辨率确保部分)的实例。

图6是用于解释本实施例中的高阶侧位分量(分辨率确保部分)的编码方法的视图。

作为基本压缩方法，应用了对当前像素与前一像素之前的差执行哈夫曼编码的方法。

如图6A中所示，首先，通过假设像素阵列(输入图像数据)中的一行(一个水平行)为一块，以块为单位按照扫描的顺序对压缩前的数据进行处理。

接着，如图6B中所示，由减法器(subcractor)304得到被存储在保持部分303中的前一像素(prev pxl)与当前像素(cur pxl)的差。

如图6C中所示，如在哈夫曼表305中所示的那样，对所获得的差进行编码。该哈夫曼表通常为三角形，并且随着该差变小，编码长度也变短。

接下来，如图6D中所示，为了估计高阶侧位分量的压缩率变为多少，在累加器306中对编码长度进行累加。

接着，如图6E中所示，为每个块估计高阶侧位分量的压缩率。作为估计结果，当高阶侧位分量的压缩率是目标压缩率或更低时，剩余的位被指定为低阶侧位分量。当高阶侧位分量的压缩率高于目标压缩率时，没有作为最坏情况执行处理(前一像素差+哈夫曼编码)并且只有高阶位侧分量由PCM存储。

接下来，将对低阶侧位分量(速率控制部分)的编码方法的实例进行解释。

图7A至7D是用于对本实施例的低阶侧位分量(速率控制部分)的编码方法进行解释的视图。

如上所述，在本实施例中，确定亮度值并根据该亮度值执行尽可能降低速率控制部分302的分辨率或维持分辨率的处理。

在本实施例中，当计算亮度值时，根据该值的范围可以把亮度信息分为多个范围。

举例来说，高阶侧8位数据可以被分为8个范围，其分割边界为2～0、2～1、2～2、...、2～8(“～”表示阶乘)。该范围被称为“亮度等级”。在后面的步骤中，将根据该亮度等级来确定像素数据的分辨率降低度。

当考虑有限的电路资源时，依照处理量将亮度值分为数十个范围是有利的。不必提及而只要处理负载允许，就可以被作为亮度值来处理，即，作为亮度等级，而不需要划分和输入到连续函数(图7B至图7D)，用于转换到降低度。将对图7B至图7D中的从亮度等级至降低度的转换进行解释。

在本实施例中，如图7A中所示，准备了亮度等级与压缩度的对应表(或函数)。通过输入亮度等级查阅该表，就能够得到表示低阶侧数据中应该保留多少分辨率的“降低度”。

在图7A中，表中虚线框中每行的数值序列被称为“记录”。每个记录对应于一个降低度。在图7A中，上面的记录具有较大的降低度，即，分辨率降低越多。基本地，从具有较小降低度的记录开始连续地对压缩进行检查。一个记录对应于一个降低方案。

在每个记录中，能够根据如图7B至图7D中所示的亮度值来获得降低之后的低阶数据的位数。

这里，根据人的视觉特性，对该记录进行调整，使得输入数据的亮度越低，即数据越暗，则不是通过降低降低度来保持的分辨率就会越高。

图7B至图7D示出了不同于图7A的类似图像的连续函数。如果系统允许，可以执行功能处理。降低度越高，则包括低亮度部分的整个降低位数就越大。

在任何情况下，划分亮度等级的方法以及表中降低度的确定策略都在维持图片质量方面具有重要作用。

优选地，将该表设置为可变的，并且通过需求系统的评估来良好地复查该设定值。

当获得降低度时，确定要被保留在像素的低阶侧中的位数。当降低位时，通过从低阶侧数据的LSB侧舍入来降低特定位的数量。

例如，当根据某一降低度来选择记录并且获得“3”作为基于当前被处理的高阶数据的亮度等级的降低之后的低阶位的位数时，由于低阶数据的初始分辨率在这里为4位，则压缩之后的位数从4位变成3位。

通过舍入来降低LSB侧上的一位。通过对块中的所有像素重复该操作，能够对该块中的压缩之后的低阶数据侧的容量执行试算。

这里，将参照图8对必需进行被舍入低阶位降低处理(有损压缩)的原因进行解释。

如上所述，当分辨率确保部分301为8位时，无损压缩的平均压缩率就是8位部分变为5.33位的度(66.7％)左右。但是，取决于情况，压缩率变得比这个还要低。

因此，在本实施例中，在速率控制部分302中执行用于调整目标压缩率的处理。在该例子中，在速率控制部分302中用于将平均4位压缩为2.67位(66.7％)左右的有损压缩(舍入低阶位降低)是必需的。

图9是上述本实施例的频带确保压缩方法的处理的概述的视图。

在本实施例的频带确保压缩方法中，如图9A中所示，一幅图像被分为作为处理单元的块，每个块如图9B中所示被压缩，在每个块中达到目标压缩率α％，并且每个压缩过的块的编码如图9C中所示被排列在图像存储器17中。

如果为每个块保证排列区域(容量α％)，则有可能从顶部像素开始以块为单位对图像存储器17进行随机存取。

在图像存储器17中，如图9D中所示，每个块的顶部地址被固定，并且总是能以块为单位进行随机存取。还有，压缩效率很高并且，当低于α％时，对于每个块的所有区域都没有被用光。此外，针对每个块所保证的容量就是“初始块容量”乘以α％，即压缩之后的容量由α％来确保，以致该块没有与该区域脱离。

接下来，将对本实施例的数字信号处理单元15中的频带确保压缩扩展单元200的具体配置实例以及操作进行解释。

图10为本实施例的频带压缩扩展单元200的具体配置实例的框图。

图10中的频带确保压缩扩展单元200是图3中的传输侧块201中的具体实例并且主要包括处理单元(块检索单元)211、像素数据划分单元212、像素间冗余度降低单元213、亮度值确定单元214、高阶侧试算单元215、低阶侧试算单元216、应用压缩度确定单元217、高阶侧可变长度编码执行单元218、低阶侧可变长度编码执行单元219、以及对准调整/头部增加单元220。

该处理单元检索单元211根据预先设置的处理单元比例设定值获得像素数单元，并将该像素数单元输出给像素数据划分单元212。

该所获得的单元被称为块，并且在每个块中都达到所希望的压缩率。优选地，将块数以及每个块的形状设置为可变的。

该像素数据划分单元212将所获得的块图像数据划分为作为高阶侧8位的分辨率确保部分301以及作为低阶侧4位的速率控制部分302，该像素数据划分单元212将该高阶侧位数据输出给像素间冗余度降低单元213并将低阶位数据输出给低阶侧可变长度编码执行单元219。

该像素间冗余度降低单元213通过查阅外围像素数据来执行只有该图像才有的冗余度降低处理并将结果输出给高阶侧试算单元215。

在该方法中，冗余度的降低处理方法和降低处理之后的数据格式是不规则的，但是作为例子，通过在紧紧相邻的像素之间进行相减来降低冗余的DPCM方法可被提及。

这个方法可以被用作JPEG标准中的DCT系数DC分量的冗余度降低方式。还有，在彩色滤波器阵列数据的情况下，优选的是在相同的色彩之间特别地利用冗余度的方法。

该亮度值确定单元214将来自像素数据划分单元212的高阶侧数据转换为表示亮度的值并将该结果输出给低阶侧试算单元216。

该高阶侧试算单元215查阅可变长度编码表，以估计具有被降低冗余度的数据的编码之后的容量，并将该结果输出给压缩度确定单元217。

该低阶侧试算单元216接收作为输入的亮度等级，参阅亮度等级和压缩度的对应表(或函数)，获得表示低阶侧数据中应该保留表示多少分辨率的“降低度”，并将该结果输出给压缩度确定单元217。

该压缩度确定单元217逐渐地增加压缩度，直到压缩率达到目标率，在应用程序成功地达到该目标时确定该压缩度，并将确定结果输出给高阶侧可变长度编码执行单元218以及低阶侧可变长度编码执行单元219。

该高阶侧可变长度编码执行单元218接收压缩度确定单元217的确定结果，并且实际上根据将要被应用的压缩度来对高阶侧数据执行压缩处理，以生成压缩过的编码数据。该高阶侧数据通过可变长度编码受到无损压缩。作为无损可变长度编码，哈夫曼编码可以被提及为典型的实例。

该低阶侧可变长度编码执行单元219连续地根据亮度等级与压缩度的对应表减少每个像素中低阶侧数据的位数，以执行有损压缩，并通过简单地连接因此被降低的数据来生成编码。

该对准调整/头部增加单元220将解码所需的数据作为头部增加到像素数据编码，完成最终压缩过的编码，并通过总线25将该最终压缩过的编码传输到图像存储器17。

下面，将参照图11中的流程图对具有上述配置的频带确保压缩扩展单元200的操作进行详细地解释。

需要注意的是，作为先决条件，每个色彩中的具有12位分辨率的滤色器阵列的图像数据被假设为在每个色彩中被压缩到8位。

首先，该块(处理单元)检索单元211检索以预定数目的像素为单位的一定量的图像数据(ST1)。每个块都达到所希望的压缩率。

在像素数据划分单元212中，分别将被检索块数据中的像素分为高阶位侧和低阶位侧(ST2)。

这里，假设高阶侧为8位并且低阶侧为4位。该划分方法可以简单地在位的边界划分为两部分，并且可以简单地通过将高阶侧和低阶侧连接起来就能够恢复其初始形式。该划分边界精密地涉及压缩之后的容量的最大值以及最小图像质量。

即，压缩之后的容量的最大值等于高阶侧位的容量，并且最小图像质量成为高阶侧的位数量中的分辨率。

在本实例中，每一个像素中等于8位的压缩率和图像质量就是最终的目标，以致设置了这样一个边界。为了处理各种用途和对象，优选地，可以随意地设置该边界位置。

在亮度值确定单元214中，由像素数据划分单元212所检索的高阶侧数据被转换为表示亮度的值。

在这里所假设的滤色器阵列的情况下，高阶侧数据的值按照原样被处理为亮度。为了更准确地计算亮度值，可以执行包括外围像素数据的计算。这里，亮度和色差表达(YC)的亮度分量等都是计算结果的好例子。

当计算亮度值时，根据该值的范围把亮度信息分为多个范围。

例如，如上所述，高阶侧8位数据被划分为八个范围(亮度等级)，其分割边界为2～0、2～1、2～2、...、2～8(“～”表示阶乘)。在后面的步骤中，将根据该亮度等级来确定像素数据的分辨率降低度。

当考虑有限的电路资源时，依照处理量将亮度值划分为数十个范围是有利的。不必提及但只要处理负载允许，就可以被处理为亮度值，即，作为亮度等级，而不需要划分和输入至连续函数(图7B至图7D)，用于转换至降低度。

在亮度值确定单元214中所获得的亮度等级被输入到低阶侧试算单元216。这里，准备了如图7A中所示的亮度等级和压缩度的对应表(或函数)。通过输入亮度等级查阅该表，能够获得表示低阶侧数据中应该保留多少分辨率的“降低度”(ST3)。

图7A中的表中虚线框中每行的数值序列被称为“记录”。每个记录对应于一个降低度。在图7A中，上面的记录具有更大的降低度，即，分辨率降低更多。基本地，从具有较小降低度的记录开始连续地对压缩进行检查。一个记录对应于一个降低方案。

在每个记录中，能够根据如图7B至图7D中所示的亮度获得降低之后的低阶数据的位数。

这里，根据人的视觉特性，对该记录进行调整，使得输入数据的亮度越低，即数据越暗，则不是通过降低降低度保持的分辨率就会越高。

亮度等级的划分方法以及此处表中降低度的确定策略都在维持图片质量方面具有重要作用。

优选地，将该表设置为可变的，并且通过需求系统的估计来良好地复查该设定值。

当获得降低度时，确定要被保留在像素的低阶侧中的位数。当降低位时，通过从低阶侧数据的LSB侧舍入来降低特定位的数量。

例如，当根据某一降低度来选择记录并且获得“3”作为基于当前被处理的高阶数据的亮度等级的降低之后的低阶位的位数时，由于低阶数据的初始分辨率在这里为4位，所以压缩之后的位数从4位变成3位。

通过舍入来降低LSB侧上的一位。通过对块中的所有像素重复该操作，能够对该块中压缩之后的低阶数据侧的容量执行试算。

当从算法的角度来考虑时，如图11中的流程图所示，根据具有较小降低度的方案连续地执行压缩之后的容量的试算，直到计算结果达到目标值。

但是，当考虑安装到集成电路上的专用电路的硬件时，如图10中所示，每个降低方案，即对于表中的每个记录数字，都可以并行地设置压缩之后的容量的试算装置。

在图10中的实例中，并行地准备了n个试算装置216-1至216-n。结果，能够同时及时地获得所有降低方案的结果，而被认为只执行了一次试算，以致在速度性能方面是非常有利的。

需要注意的是，该处理单元被称为“试算单元”，其可以预料到由专用电路进行的并行处理。这里，计算压缩之后的数据容量，但不执行用于获得实际被压缩数据的编码处理。

只对应用降低方案的数据执行实际的编码处理。因此，充分地将累加器(累加增加结果存储装置)并行地提供给试算单元，仅仅是用于在一个块的量中增加像素的试算，并且能通过并行处理改进速度并且同时降低电路资源。

在本方法中，试算单元并不一定是并行的，但是，这是被强烈推荐的配置。

直到现在，才能够获得压缩之后的低阶侧数据的容量。需要注意的是，迄今为止，不需要参阅该低阶侧数据。

接下来，将执行对压缩之后的高阶侧数据的容量的试算。

取决于低阶侧数据的编码试算结果，可以确定低阶侧数据中的所有位都要被降低。

在那种情况下，如果简单地省略所有低阶侧数据，则剩余的高阶侧数据就会变成一值，该值不是通过舍入而是通过简单地省略低阶侧数据获得的，这对图像质量产生影响。

因此，如流程图中所指示的那样，当出现将要被完全省略掉的低阶数据时，推荐参阅低阶侧数据的最高有效位，并使其受到舍入处理：被舍入(round off)或者上舍入(round up)到高阶侧位。舍入处理所获得的高阶侧位变成了要被编码的数据(ST4和ST5)。

通过查阅低阶侧数据而受到舍入处理之后的高阶数据被传输到像素间冗余度降低单元213。

在像素间冗余度降低单元213中，通过查阅外围像素数据来执行只有图像才有的冗余度降低处理。在该方法中，冗余度的降低处理方法和降低处理之后的数据格式是不规则的，但是作为一个例子，通过在紧紧相邻的像素之间进行相减来降低冗余度的DPCM方法可被提及。

在高阶侧试算单元215中的冗余度降低之后的数据上来估计编码之后的容量。

这里，压缩方法为无损压缩。这里仍没有执行实际编码并且只是执行了对于可变长度编码之后的数据容量的试算。

例如，在哈夫曼编码的情况下，如果给出了哈夫曼表，就能够获得假设编码的编码长度而不会产生实际编码。对于每个数据，因此所获得的编码长度被合计为一个块的量，并且其结果就是该块的高阶侧编码试算结果。

这对于使得试算装置成并行的也是很有效的，并且只需要设置累加器而不需要设置实际编码处理单元就能够获得该试算结果。

从上述情况可以看出，针对高阶侧和低阶侧都计算压缩过的编码的数据容量。

在压缩度确定单元217中对计算结果进行求和(ST9)。将该和与被确定为初始目标压缩率的数据容量进行比较(ST10)。

当作为计算结果的数据量小于(不大于)目标数据量时，也就是说，当目的被实现时，则成功地确定和应用压缩计算中的降低度。

当目的没有被实现时，单步递增降低度，以更高效地继续压缩方案。即，对于较小分辨率的压缩方案，再一次对高阶侧和低阶侧执行压缩后的容量的试算。单步增加降低度的操作对应于使用具有图7A中的表格图像中的单步更高降低度的记录。

如上所述，在压缩度确定单元217中，逐渐增加压缩度，直到压缩率达到目标值，并且达到目标值时的压缩度被确定成功并且被应用。当实际上作为逻辑电路安装时，如图10中所示，并行地设置编码量试算单元，用于计算各个压缩方案中的结果。

结果，在压缩度确定单元217中，能够同时获得各个压缩方案的试算结果，并且同时确定压缩方案的应用。

降低度是最低的情况就是：除了高阶侧上的无损压缩以外，没有一位低阶侧数据被降低的时候，并且这种情况在整体上是完全的无损编码。

另一方面，即使压缩度被增至所限定范围的最大值，也会出现没有达到目标压缩率的情况。在这种情况下，放弃压缩数据并且初始数据格式被处理为所编码的数据。详细内容将在后面被说明。

当确定了将要在压缩度确定单元217中被应用的压缩方案时，实际上就对该实际数据进行压缩处理，以根据高阶侧可变长度编码执行单元218和低阶侧可变长度编码执行单元219中的方案的压缩度生成压缩过的编码数据。

通过可变长度编码使得高阶侧数据受到无损压缩。作为无损可变长度编码，可以提及哈夫曼编码作为典型的实例(ST11)。

该低阶侧数据受到有损压缩，通过该压缩，根据图7A中的表降低每个像素中的位数，接着，简单地将被降低的数据连接，以生成编码。这时，不是简单地连接被降低的数据，而是通过执行任何压缩方式来生成编码(ST12)。

虽然通常的数据压缩步骤如上所述，但是也有一种处理用于以下情况：压缩度确定单元217中的所有压缩方案都没有达到目标值。

在这种情况下，高阶侧上的数据将按照原样被写到编码中。在本实例中，数量为8位的高阶侧数据按照原样被写到该编码中，但能够满足达到每一个像素8位的压缩率的条件。

不仅可以通过从初始数据中省略掉数量为高阶侧位数的数据，而且也可以通过考虑低阶侧数据将初始数据上舍入到高阶8位来获得因此所写入的高阶侧数据。

如上所述，当完成对于像素数据的编码时，解码所需的数据等被作为头部增加到对准调整/头部增加单元220中的像素数据编码，以便完成最终压缩过的编码。

根据将要被写入的存储装置以及数据总线宽度在对准中调整压缩过的编码，以到达存储器件并被写入到存储器件。对一幅图像中的多个块中的每个块重复执行上述步骤(ST10到ST19)。

所增加的数据的最小必需内容就是用于解码所需的信息。用于解码所需的信息首先被大致地分为两部分。一部分是整个图像数据共同的信息，而另一部分是对于每个块唯一的信息。

对于整个图像数据的共同信息例如是关于被用于编码的表格的信息。如果关于用于压缩高阶侧和低阶侧的各个表格的信息没有被记录在编码中，则当解码时将不可能进行扩展。

如果为了便于系统使用将所述表格用作固定的，只要是对编码侧和解码侧进行调整，就没必要记录关于编码的表格信息。

除了这个，用于整个图像数据的共同信息可以包括时间标记等，但这些都不是本质信息并且可以根据系统或情况来增加。

作为每个块的唯一信息，有两个本质项。首先，作为存储格式，表示是否对压缩过的数据进行编码的标志或按照其原样的原始数据被编码，而不压缩。第二项是一值，该值表示当压缩过的数据被写入被表示为第一项的块中时的压缩的降低度。在解码侧，通过在压缩时将该数值与表格进行匹配，就能够进行低阶侧数据的扩展。

最后，当将被编码的数据写入存储器件中时，从为每个块所确定的地址位置执行写(参看图9A至9D)。被指定给存储装置中的每个块的区域大小用于最坏压缩效率情况下的多个被编码数据，即，多个压缩之后的目标容量。

结果，当读取数据时，以块为单位的尾接指令(cue)就变为可能并且以块为单位的随机存取也变为可能。在读取侧，通过从顶部开始读取包括目标像素的块以及对该块进行扩展，就能够获得该像素。

如上所述，根据本实施例，由于数据信号处理单元15在与图像存储器17的接口部分处设置频带确保压缩扩展单元200，并且通过将图像数据划分为高阶侧位和低阶侧位并对每个被划分的部分改变预定的压缩方法来执行压缩处理；能够执行接近于单路径处理的处理而不会使图片质量退化或者花费太多的处理时间，同时确保存储器总线频带、压缩率所需的容量、最坏情况下的频带和存储，并且此外保证随机存取特性。

因此，在本实施例中，能够获得以下效果。

用于存储图像的存储区能够被降低至被确保的某一量或更小。

用于传输图像的总线频带能够被降低至被确保的某一量或更小。

能够维持对于图像中的任何被对准的部分区域的随机存取特性。

能够确保图像的最小质量和分辨率。

通过根据像素的亮度来改变分辨率的降低度，能够抑制图像质量在感觉上的退化。

由于分辨率是可变的，以根据由图像复杂度所确定的压缩的困难等级来进行改变，因此能够达到目标压缩率，同时维持图像质量。

利用很小的电路资源就能够实时地执行上述的处理。

对于本领域内的技术人员来说应理解的是，就所附权利要求或其等价物的范围内来说，根据设计需求或其他因素可以出现各种修改、组合、子组合以及替换方案。

Claims (16)

1.一种图像信号处理设备，其包括：

至少一个第一信号处理单元，

第二信号处理单元，以及

由该第一信号处理单元以及该第二信号处理单元进行存取的存储单元；其由

该第一信号处理单元在其与存储单元的接口部分处包括频带压缩扩展单元，该频带压缩扩展单元具有如下功能：根据预定的频带压缩方法对输入图像数据进行压缩，将该输入图像数据写入存储单元中，以及对从存储单元中所读取的压缩过的数据进行扩展。

2.如权利要求1所述的图像信号处理设备，其中，所述频带压缩扩展单元以预定数目的像素的块为单位对输入图像数据进行压缩。

3.如权利要求1所述的图像信号处理设备，其中，所述频带压缩扩展单元为达到目标压缩率而执行频带压缩处理；当通过根据无损压缩方法的压缩处理而达到目标压缩率时，所述频带压缩扩展单元执行无损压缩；以及只有当通过无损压缩不满足目标压缩率时，所述频带压缩扩展单元根据有损压缩方法执行压缩处理。

4.如权利要求2所述的图像信号处理设备，其中，所述频带压缩扩展单元为达到目标压缩率而针对每个块执行频带压缩处理；当通过根据无损压缩方法的压缩处理而达到目标压缩率时，所述频带压缩扩展单元执行无损压缩；以及只有当无损压缩不满足目标压缩率时，所述频带压缩扩展单元才根据有损压缩方法执行压缩处理。

5.如权利要求2所述的图像信号处理设备，其中，所述频带压缩扩展单元针对每个块改变要根据图像的复杂性改变的像素的位分辨率。

6.如权利要求4所述的图像信号处理设备，其中，所述频带压缩扩展单元针对每个块改变要根据图像的复杂性改变的像素的位分辨率。

7.如权利要求5所述的图像信号处理设备，其中，当降低像素的位分辨率时，所述频带压缩扩展单元通过像素值确定，并且所述频带压缩扩展单元使得低像素值的位分辨率比高像素值的位分辨率更难被降低。

8.如权利要求6所述的图像信号处理设备，其中，当降低像素的位分辨率时，所述频带压缩扩展单元通过像素值确定，并且所述频带压缩扩展单元使得低像素值的位分辨率比高像素值的位分辨率更难被降低。

9.如权利要求1所述的图像信号处理设备，其中，所述频带压缩扩展单元以多个降低方案来对编码量执行试算，接着使其中的一种适于满足目的，并且随后通过该降低方案来执行实际编码。

10.如权利要求9所述的图像信号处理设备，其中，当所有的降低方案都不好时，所述频带压缩扩展单元存储预定位的原始数据。

11.如权利要求1所述的图像信号处理设备，其中，所述频带压缩扩展单元以有限数目的像素的块为单位执行压缩，并且在存储单元中为每个块将该有限数目的像素存储在预定存储区中。

12.一种照相机系统，其包括：

图像捕获捕获单元，用于获取对象的图像并输出图像数据；以及

图像信号处理设备，用于对该图像数据执行预定的处理：

其中

该图像信号处理设备具有至少一个第一信号处理单元、第二信号处理单元以及存储单元：其中

该存储单元能够由该第一信号处理单元以及该第二信号处理单元来进行存取；以及

该第一信号处理单元在其与存储单元的接口部分处包括频带压缩扩展单元，该频带压缩扩展单元具有如下功能：通过预定的频带压缩方法对输入图像数据进行压缩，将该输入图像数据写入存储单元中，以及对从该存储单元中所读取的压缩过的数据进行扩展。

13.如权利要求12所述的照相机系统，其中，所述频带压缩扩展单元以预定数目的像素的块为单位对输入图像数据进行压缩。

14.如权利要求12所述的照相机系统，其中，所述频带压缩扩展单元为达到目标压缩率执行频带压缩处理；当通过根据无损压缩方法的压缩处理而达到目标压缩率时，所述频带压缩扩展单元执行无损压缩；以及只有当无损压缩不满足目标压缩率时，所述频带压缩扩展单元才根据有损压缩方法执行压缩处理。

15.如权利要求13所述的照相机系统，其中，所述频带压缩扩展单元为达到目标压缩率而针对每个块执行频带压缩处理；当通过无损压缩方法的压缩处理而达到目标压缩率时，所述频带压缩扩展单元执行无损压缩；以及只有当无损压缩不满足目标压缩率时，所述频带压缩扩展单元根据有损压缩方法执行压缩处理。

16.一种图像信号处理方法，用于对图像数据执行预定的压缩处理，该方法包括如下步骤：

为了达到目标压缩率，对于每个具有预定数目的像素的块，对输入图像数据执行频带压缩处理，

当通过根据无损压缩方法的压缩处理而达到目标压缩率时，执行无损压缩，以及

只有当无损压缩不满足目标压缩率时，才根据有损压缩方法执行压缩处理。

Images