CN101986690A - 图像传感器的图像数据处理方法及装置 - Google Patents

Abstract

为了解决现有图像传感器图像数据处理中存储开销较大的问题，本发明提出了一种图像传感器的图像数据处理方法及装置。所述图像数据处理方法包括：a.以行扫描采样方式获取图像信息，并以行为单位缓存所述图像信息；b.当预定条件满足时，暂停所述图像信息的所述获取，并且对已缓存的图像信息进行压缩；c.在所述压缩完成后，将已压缩的图像信息进行输出，恢复所述图像信息的所述获取；重复上述步骤a，b和c。在本发明中，执行图像数据处理的装置仅需缓存在进行压缩处理前已采样获得的图像信息，而在进行压缩处理时无需缓存新的图像信息。这大大降低了对缓存模块存储容量的要求，从而可以有效降低图像数据处理的成本。

Description

图像传感器的图像数据处理方法及装置

技术领域

本发明涉及图像传感技术领域，特别涉及一种图像传感器的图像数据处理方法及装置。

背景技术

图像传感器是一种将光信号转换成电信号的半导体器件。图像传感器通常分为两类：电荷耦合器件(Charger Coupled Device，CCD)和互补金属氧化物半导体(CMOS)图像传感器。CCD图像传感器具有读取噪声低、动态范围大、响应灵敏度高等优点，但是CCD图像传感器的功耗高、制作工艺也比较复杂，难以实现与外围电路的单芯片集成。

CMOS图像传感器采用了与信号处理电路相同的CMOS技术，可以将CMOS图像传感器与传感器外的信号处理电路集成在同一芯片上。与CCD图像传感器相比，CMOS图像传感器具有体积小、功耗低、生产成本低等优点。正因此，CMOS图像传感器被广泛应用于各种需要进行光电转换的领域，例如数码照相机、数码摄像机、手机等电子产品中。

随着图像传感器芯片制造技术的不断发展，图像传感器的分辨率也越来越高，从30万像素增加到130万像素，再到目前的300万甚至500万像素以上。图像分辨率的提升意味着数据处理量的同步增加。但受限于总线带宽，高分辨率图像传感器输出图像信息的传输存在一定难度。为了解决高分辨率图像传感器的数据输出问题，通常需要对输出的图像信息进行压缩处理，其中应用最广泛的就是JPEG(Joint Photographic Experts Group)压缩。所述JPEG压缩采用的算法可以达到10至20倍的压缩效率，这很好地解决了总线带宽的瓶颈问题。

JPEG算法可以分为基准JPEG(Baseline System)算法和扩展JPEG(Extended System)算法。其中，基准JPEG算法是基于二维离散余弦变换(Discrete Cosine Transform，DCT)的编码算法。对于所述二维离散余弦变换的压缩处理，为了进行一次压缩处理，必须同时获取一个8×8矩阵块中所有像素单元的图像信息，之后再进行所述压缩处理的编码。图1即示出了JPEG压缩逐块扫描的示意图。如图1所示，对图像信息进行压缩处理是以8×8矩阵块为单位进行的。而由于图像信息的形成与缓存是以行为单位，因此，至少需要缓存8行图像信息之后，才能开始所述压缩处理的编码。

一般而言，由于图像传感器硬件数据处理能力的限制，完成所述压缩处理的编码需要较长的处理时间，通常是获取4至8行图像信息所需的时间。另一方面，现有技术的图像传感器都采用均匀行曝光方式进行曝光，在进行所述编码时并不停止新的图像信息的获取。这使得在进行压缩处理时，图像传感器的缓存模块不仅要缓存所述压缩处理所需的图像信息，还需要至少同时缓存进行所述压缩处理时最新获取的图像信息，以避免发生图像信息的遗漏。

在这种情况下，为了配合所述压缩处理，需要在所述图像传感器的图像数据处理装置中集成足够容量的存储空间，这导致存储开销巨大。特别是目前高分辨率图像传感器的行分辨率越来越高，由此带来的图像传感器的存储成本也急剧增加。

发明内容

可见，提供一种综合成本较低的、存储开销较小的图像传感器是十分有利的，特别是在兼容现有图像传感技术的情况下，以较为简便的方式实现所需成本控制是很有必要的。

为了解决上述问题，在根据本发明的一个实施例中，提供了一种图像传感器的图像数据处理方法，其中，包括：

a.以行扫描采样方式获取图像信息，并以行为单位缓存所述图像信息；

b.当预定条件满足时，暂停所述图像信息的所述获取，并且对已缓存的图像信息进行压缩；

c.在所述压缩完成后，将已压缩的图像信息进行输出，恢复所述图像信息的所述获取；

重复上述步骤a，b和c。

相应地，在根据本发明的另一实施例中，还提供了一种图像传感器的图像数据处理装置，包括采样单元、缓存单元、数据处理单元以及控制单元，其中：

所述采样单元，用于以行扫描采样方式获取图像信息，并将所述图像信息提供给缓存单元；

所述缓存单元，用于以行为单位缓存所述采样单元提供的所述图像信息；

所述数据处理单元，用于对所述缓存单元中缓存的所述图像信息进行压缩，并将完成所述压缩的图像信息进行输出；

所述控制单元，用于判断是否满足预定条件，在预定条件满足后，向所述采样单元发出暂停所述图像信息的所述获取的指示，并向所述数据处理单元发出对所述图像信息进行压缩的指示；用于判断所述压缩是否完成，在所述压缩完成后，向所述采样单元发出恢复所述图像信息的所述获取的指示。

与现有技术相比，本发明图像传感器的图像数据处理方法与装置仅需缓存在进行压缩处理前已采样获得的图像信息，而在进行压缩处理时无需缓存新的图像信息，这大大降低了对缓存模块存储容量的要求，从而有效降低了图像数据处理的成本。

本发明的以上特性及其他特性将在下文中的实施例部分进行明确地阐述。

附图说明

通过参照附图阅读以下所作的对非限制性实施例的详细描述，能够更容易地理解本发明的特征、目的和优点。其中，相同或相似的附图标记代表相同或相似的装置。

图1是JPEG压缩处理逐块扫描的示意图；

图2示出了根据本发明的一个实施例，图像传感器图像数据处理方法的流程；

图3示出了根据本发明的另一实施例，图像传感器图像数据处理装置的模块示意图；

图4示出了根据本发明的一个优选的实施例，图像数据处理装置进行图像数据处理的时序图。

具体实施方式

以下结合附图对本发明进行详细描述。

图2示出了根据本发明的一个实施例，图像传感器的图像数据处理方法的流程。如图2所示，所述图像数据处理方法的流程包括：

执行步骤S202，以行扫描采样方式获取图像信息，并以行为单位缓存所述图像信息。

具体而言，所述图像信息由图像传感器的像素阵列感光形成。所述像素阵列由规则排列的多个像素单元构成，通常为矩形阵列结构，用于对影像感光，并将所述影像的光信号转换为电信号，从而形成图像信息。

接着，将所述像素阵列形成的图像信息以行扫描采样方式进行采集。其中，所谓行扫描采样方式，是指对所述像素阵列中影像的电信号的采样是以行为单位进行的，每行的像素单元在同一时刻被选通。而对于像素阵列的一列像素单元，在同一时刻仅有一个像素单元被选通。所述同一时刻被选通的一行像素单元的电信号会被暂存，进一步地，再对所述暂存的电信号进行采样以获得图像信息。

在获取所述图像信息之后，所述图像信息被提供给缓存模块，并由所述缓存模块进行存储。所述缓存模块可以集成于执行所述图像数据处理的装置中。由于所述图像信息的采样是以行为单位的，因此，所述缓存模块中存储的图像信息也是以行为单位。依据实施例的不同，所述缓存模块可以采用动态随机存储器、静态随机存储器或其他存储器件。

在一个优选的实施例中，所述步骤S202还包括：在以行扫描采样方式获取所述图像信息之后，对所述图像信息进行图像信号处理，之后，再缓存经过所述图像信号处理的所述图像信息。所述图像信号处理包括像素插补处理、颜色校正处理或滤波处理等。所述图像信号处理可以对由像素阵列直接获得的图像信息进行调整，以满足不同的应用需求。

执行步骤S204，当预定条件满足时，暂停所述图像信息的所述获取，并且对已缓存的图像信息进行压缩。

具体而言，在获取所述图像信息的过程中，需要对图像信息的获取情况进行检测，若达到预定条件，即可暂停所述图像信息的获取。在本实施例中，所述预定条件包括：完成获取预定数量行的所述图像信息，所述预定数量行符合对所述图像信息进行压缩的数据量要求。在不同的实施例中，所述预定条件也可以为例如进行采样的时间达到预定时限，或者缓存的图像信息达到缓存模块的存储容量上限等，不应限制其范围。

在暂停所述图像信息的获取后，缓存模块不再缓存新的图像信息，而是由执行图像数据处理的装置将缓存模块中已缓存的图像信息进行压缩。依据实施例的不同，对所述图像信息进行压缩处理可以采用不同的压缩算法，例如基准JPEG算法或扩展JPEG算法等。

在一个优选的实施例中，采用基准JPEG算法对所述图像信息进行压缩处理。所述预定条件包括：完成获取8行的图像信息。相应地，缓存模块中也缓存有8行的图像信息。

对于所述采用基准JPEG算法的压缩处理，其需要以8×8矩阵块为单位，按照从左到右、从上到下的顺序依次进行正向离散余弦变换，以及量化和熵编码处理。所述正向离散余弦变换的表达式如下：

$F(u,v)=\frac{1}{4}c\left(u\right)c\left(v\right)\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}f(x,y)\cos \left[\frac{\mathrm{\π}}{16}(2x+1)u\right]\cos \left[\frac{\mathrm{\π}}{16}(2y+1)v\right]$

$c\left(u\right),c\left(v\right)=1/\sqrt{2},u,v=0$

c(u)，c(v)＝1，u，v≠0

其中，f(x，y)是未处理的图像信息，而F(u，v)是经过处理后的图像信息，c(u)、c(v)是转换系数。

在实际应用中，对于实际执行所述图像数据处理的装置，其数据处理能力有所不同。因此，不同处理装置对所述图像信息进行压缩处理所需的时间可能有所不同。然而通常情况下，图像传感器对影像进行的采样是以固定速率进行的，即所述图像传感器以固定的时间间隔输出多帧图像。如果压缩处理的时间不稳定的话，很有可能对会影响所述图像的帧结构，进而影响压缩处理后输出图像的效果。因此，在优选的实施例中，所述步骤S204进一步包括：以预定时间完成对所述缓存的图像信息进行所述压缩。所述预定时间超过完成所述压缩处理中所有编码处理的时间。在另一优选的实施例中，所述预定时间为获取1行的图像信息所需时间的整数倍，例如获取4行或8行的图像信息所需时间。

需要说明的是，在本实施例中，所述像素阵列采用滚动曝光方式，即像素阵列不同行的像素单元在不同的时间段进行感光。在暂停所述图像信息的获取时，像素阵列中已采样行的像素单元暂时无需感光，但其下一行或多行的像素单元仍可以选择继续进行感光，以备恢复采样后时提供相应的电信号。

之后，继续执行步骤S206，在所述压缩完成后，将已压缩的图像信息进行输出，恢复所述图像信息的所述获取。

由于像素阵列形成的图像信息是不断更新的，因此，在实际应用中，需要重复执行上述步骤S202，S204和S206，以对所述不断更新的图像信息进行压缩处理。

经过所述图像数据处理后的图像信息，可以在输出后存储在存储装置，例如硬盘、快闪存储器等；也可以发送出去，例如提供给显示设备，并由所述显示设备将所述图像信息还原出来。

可以看出，在本发明的图像传感器图像数据处理方法中，缓存模块仅需缓存在进行压缩处理前已采样获得的图像信息，而在进行压缩处理时无需缓存新的图像信息。这大大降低了对缓存模块存储容量的要求，从而可以有效降低图像数据处理的成本。

图3示出了根据本发明的另一实施例，图像传感器图像数据处理装置的模块示意图。如图3所示，所述图像数据处理装置包括采样单元301、缓存单元303、数据处理单元305以及控制单元307，其中：

所述采样单元301，用于以行扫描采样方式获取图像信息，并将所述图像信息提供给缓存单元303；

所述缓存单元303，用于以行为单位缓存所述采样单元301提供的所述图像信息；

所述数据处理单元305，用于对所述缓存单元303中缓存的所述图像信息进行压缩，并将完成所述压缩的图像信息进行输出；

所述控制单元307，用于判断是否满足预定条件，在预定条件满足后，向所述采样单元301发出暂停所述图像信息的所述获取的指示，并向所述数据处理单元305发出对所述图像信息进行压缩的指示；用于判断所述压缩是否完成，在所述压缩完成后，向所述采样单元301发出恢复所述图像信息的所述获取的指示。

在本实施例中，所述采样单元301与图像传感器的像素阵列相耦接。所述像素阵列由规则排列的多个像素单元构成，通常为矩形阵列结构，用于对影像感光，并将所述影像的光信号转换为电信号，从而形成图像信息。依据具体实施例的不同，所述像素阵列可以是带有色彩滤波阵列的CMOS像素阵列，也可以是不带有色彩滤波阵列的CMOS像素阵列，或者还可以是CCD像素阵列，例如3CCD棱镜分光式像素阵列。

接下来，对所述图像数据处理装置的工作方式进行详述。

首先，采样单元301以行扫描采样方式获取由像素阵列感光形成的图像信息，并以行为单位将所述图像信息存储于缓存单元303中。

其中，所谓行扫描采样方式，是指对所述像素阵列中影像的电信号的采样是以行为单位进行的，每行的像素单元在同一时刻被选通。而对于像素阵列的一列像素单元，在同一时刻仅有一个像素单元被选通。所述同一时刻被选通的一行像素单元的电信号会被暂存，之后由采样单元逐个获取，再进一步的以行为单位进行存储。在实际应用中，所述采样单元301中可以包含有模数转换模块，用于将所述像素阵列的电信号进一步转换为适于后续数据处理的数字信号格式。作为可选的实施方式，所述采样单元301对所述像素阵列进行采样读取可以采用逐行扫描方式或隔行扫描方式。

在获取所述图像信息之后，采样单元301将所述图像信息提供给缓存单元303，并由所述缓存单元303缓存所述图像信息。由于采样单元301采样获取的图像信息是以行为单位的，因此，由所述采样单元301提供的图像信息也是以行为单位缓存的。在本实施例中，所述缓存单元303可以采用动态随机存储器、静态随机存储器或其他存储器件。

在一个优选的实施例中，所述图像数据处理装置还包括图像信号处理单元，所述图像信号处理单元用于对采样单元301获取的图像信息进行图像信号处理，并将经过所述图像信号处理的图像信息提供给缓存单元303。所述图像信号处理包括像素插补处理、颜色校正处理或滤波处理等。所述图像信号处理可以对由像素阵列直接获得的图像信息进行调整，以满足不同的应用需求。

在所述采样单元301获取图像信息的过程中，所述控制单元307会对采样单元301和/或缓存单元303进行访问，判断是否满足预定条件。在预定条件满足后，所述控制单元307向所述采样单元301发出暂停所述图像信息的获取的指示；所述采样单元301在接收到该指示后，便暂停获取图像信息，相应的，缓存单元303也不再缓存新的图像信息。所述控制单元307在向所述采样单元301发出指示的同时，还向数据处理单元305发出指示，指示其对缓存单元303中获取的图像信息进行压缩处理。

在本实施例中，所述获取的图像信息用于进行压缩处理，相应地，所述预定条件包括：所述采样单元301完成获取预定数量行的所述图像信息，且所述预定数量行符合对所述图像信息进行所述压缩的数据量要求。在不同的实施例中，所述预定条件也可以为例如采样单元301的工作时间达到预定时限，或者缓存单元303中缓存的图像信息达到其存储容量上限等，不应限制其范围。

在一个优选的实施例中，所述数据处理单元305采用基准JPEG算法对所述图像信息进行压缩。对于采用基准JPEG算法进行压缩的图像数据处理装置，所述预定条件为：采样单元301完成获取8行的图像信息，相应地，所述缓存单元303也缓存8行的图像信息。

对于所述采用基准JPEG算法的压缩处理，其需要以8×8矩阵块为单位，按照从左到右、从上到下的顺序依次进行正向离散余弦变换，以及量化和熵编码处理。所述正向离散余弦变换的表达式如下：

$F(u,v)=\frac{1}{4}c\left(u\right)c\left(v\right)\underset{x=0}{\overset{7}{\mathrm{\Σ}}}\underset{y=0}{\overset{7}{\mathrm{\Σ}}}f(x,y)\cos \left[\frac{\mathrm{\π}}{16}(2x+1)u\right]\cos \left[\frac{\mathrm{\π}}{16}(2y+1)v\right]$

$c\left(u\right),c\left(v\right)=1/\sqrt{2},u,v=0$

c(u)，c(v)＝1，u，v≠0

其中，f(x，y)是未处理的图像信息，而F(u，v)是经过处理后的图像信息，c(u)、c(v)是转换系数。

需要说明的是，在本实施例中，所述像素阵列采用滚动曝光方式，即像素阵列不同行的像素单元在不同的时间段进行感光。在所述采样单元301暂停所述图像信息的获取时，已采样行的像素单元暂时无需感光，但其下一行或多行的像素单元仍可以选择继续进行感光，以备采样单元301恢复采样后时提供相应的电信号。

仍参考图3，在实际应用中，对于不同的数据处理单元305，其数据处理能力有所不同，因此，对所述图像信息进行压缩处理所需的时间可能有所不同。然而通常情况下，图像传感器对影像进行的采样是以固定速率进行的，即所述图像传感器以固定的时间间隔输出多帧图像。如果压缩处理的时间不稳定的话，很有可能对会影响所述图像的帧结构，从而影响压缩处理后输出的图像的效果。因此，在优选的实施例中，所述数据处理单元305以预定时间完成对所述缓存的图像信息进行所述压缩。所述预定时间可以基于数据处理单元305的数据处理能力灵活设定，但在实际应用中，所述预定时间超过完成所述压缩处理中所有编码处理的时间。相应的，所述图像数据处理装置还包含有预设单元，所述预设单元与数据处理单元305相耦接，用于设定对所述图像信息进行压缩的时间。在另一优选的实施例中，所述预定时间为获取1行的图像信息所需时间的整数倍，例如获取4行或8行的图像信息所需的时间。

在所述压缩完成后，由所述数据处理单元305将经过压缩处理的图像信息进行输出。同时，控制单元307判断所述压缩已完成，向所述采样单元301发出恢复所述图像信息的获取的指示。采样单元301在接收到该指示后，恢复图像信息的所述获取，所述图像数据处理装置继续对新的图像信息进行所述压缩处理。

图4示出了根据本发明的一个优选的实施例，图像数据处理装置进行图像数据处理的时序图。其中，所述图像数据处理装置采用基准JPEG算法对图像信息进行处理。

如图4所示，采样控制信号用于控制采样单元获取图像信息，在所述采样控制信号有效时，所述采样单元以行为单位进行图像信息的获取；而在所述采样控制信号无效时，所述采样单元即暂停所述获取。与所述采样控制信号相对应，压缩控制信号用于控制数据处理单元的压缩处理，在所述压缩控制信号有效时，所述数据处理单元对图像信息进行编码。

所述采样控制信号与压缩控制信号中还包含有同步指示，具体而言，在完成8行图像信息的获取后，采样单元与数据处理单元会同时接收到一个同步指示：基于所述同步指示，采样单元停止获取图像信息，而数据处理单元准备进行压缩，在得到有效的压缩控制信号后立即开始编码。所述数据处理单元经过预定时间后，例如经过获取4行图像信息或8行图像信息相对应的时间之后，完成所述压缩处理的编码。而在所述压缩处理完成后，采样单元与数据处理单元会同时接收到另一个同步指示：基于所述同步指示，采样单元恢复获取图像信息。

可以看出，在本发明中，图像数据处理装置的缓存单元仅需缓存在进行压缩处理前已采样获得的图像信息，在进行压缩处理时无需继续缓存新的图像信息。这大大降低了对缓存单元存储容量的要求，从而可以有效降低图像数据处理的成本。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在所附权利要求的范围内做出各种变形或修改。

Claims (20)

1.一种图像传感器的图像数据处理方法，其中，包括：

a.以行扫描采样方式获取图像信息，并以行为单位缓存所述图像信息；

b.当预定条件满足时，暂停所述图像信息的所述获取，并且对已缓存的图像信息进行压缩；

c.在所述压缩完成后，将已压缩的图像信息进行输出，恢复所述图像信息的所述获取；

重复上述步骤a，b和c。

2.根据权利要求1所述的方法，其特征在于，所述预定条件包括：完成获取预定数量行的所述图像信息，所述预定数量行符合对所述图像信息进行所述压缩的数据量要求。

3.根据权利要求2所述的方法，其特征在于，采用基准JPEG算法对所述图像信息进行所述压缩，所述预定数量行为8行。

4.根据权利要求3所述的方法，其特征在于，对所述图像信息进行所述压缩包括：以8×8矩阵块为单位，依次对所述矩阵块的所述图像信息进行正向离散余弦变换、量化以及熵编码处理。

5.根据权利要求1所述的方法，其特征在于，所述步骤b还包括：以预定时间完成对所述缓存的图像信息进行所述压缩。

6.根据权利要求5所述的方法，其特征在于，所述预定时间为获取1行的所述图像信息所需时间的整数倍。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述图像信息由图像传感器的像素阵列感光形成，在暂停所述图像信息的所述获取时，不停止所述像素阵列中最新采样行的下一行或多行的感光。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述步骤a还包括：在以行扫描采样方式获取所述图像信息之后，对所述图像信息进行图像信号处理，之后，再缓存经过所述图像信号处理的所述图像信息。

9.根据权利要求8所述的方法，其特征在于，对所述图像信息进行所述图像信号处理包括：对所述图像信息进行插补处理、颜色校正处理和/或滤波处理。

10.一种图像传感器的图像数据处理装置，其特征在于，包括采样单元、缓存单元、数据处理单元以及控制单元，其中：

所述采样单元，用于以行扫描采样方式获取图像信息，并将所述图像信息提供给缓存单元；

所述缓存单元，用于以行为单位缓存所述采样单元提供的所述图像信息；

所述数据处理单元，用于对所述缓存单元中缓存的所述图像信息进行压缩，并将完成所述压缩的图像信息进行输出；

所述控制单元，用于判断是否满足预定条件，在预定条件满足后，向所述采样单元发出暂停所述图像信息的所述获取的指示，并向所述数据处理单元发出对所述图像信息进行压缩的指示；用于判断所述压缩是否完成，在所述压缩完成后，向所述采样单元发出恢复所述图像信息的所述获取的指示。

11.根据权利要求10所述的装置，其特征在于，所述预定条件包括：所述采样单元完成获取预定数量行的所述图像信息，所述预定数量行符合对所述图像信息进行所述压缩的数据量要求。

12.根据权利要求11所述的装置，其特征在于，所述数据处理单元采用基准JPEG算法对所述图像信息进行所述压缩，所述预定数量行为8行。

13.根据权利要求12所述的装置，其特征在于，所述数据处理单元对所述图像信息进行的所述压缩包括：以8×8矩阵块为单位，依次对所述矩阵块的所述图像信息进行正向离散余弦变换、量化以及熵编码处理。

14.根据权利要求10所述的装置，其特征在于，所述数据处理单元以预定时间完成对所述缓存的图像信息进行所述压缩。

15.根据权利要求14所述的装置，其特征在于，所述预定时间为所述采样单元获取1行的所述图像信息所需时间的整数倍。

16.根据权利要求14所述的装置，其特征在于，所述图像数据处理装置还包括预设单元，用于设定对所述图像信息进行所述压缩的时间。

17.根据权利要求10至16任一项所述的装置，其特征在于，所述采样单元与图像传感器的像素阵列耦接，所述像素阵列用于对影像感光，并形成图像信息。

18.根据权利要求17所述的装置，其特征在于，所述采样单元暂停所述图像信息的所述获取时，所述像素阵列不停止最新采样行的下一行或多行的感光。

19.根据权利要求10至16任一项所述的装置，其特征在于，所述图像数据处理装置还包括图像信号处理单元，用于对所述采样单元获取的所述图像信息进行图像信号处理，并将经过所述图像信号处理的所述图像信息提供给缓存单元。

20.根据权利要求19所述的装置，其特征在于，所述图像信号处理包括：插补处理、颜色校正处理和/或滤波处理。

Images