CN1604613A - 成像设备 - Google Patents

Abstract

固态成像元件包括多个光电转换元件，这些光电转换元件具有互补或Bayer滤色器阵列。固态成像元件将六行和六列的各部分中九个具有多种颜色中的一种颜色的滤色器的光电转换元件中所存储的电荷加合在一起，从而得到加合电荷，并将该加合电荷作为一个像素输出。对应多种颜色中的一种颜色的部分与对应各其它颜色的部分偏离三行和/或三列。该像素加合操作产生空间低通滤波器效应，从而减小了超过对应于目标分辨率的奈奎斯特频率的信号分量。从而与传统的分辨率降低技术相比，减小了具有目标分辨率的图像中的折叠噪声，实现了更高的图像质量。

Description

成像设备

技术领域

本发明涉及一种成像设备，特别是涉及一种产生具有比成像设备的原始分辨率低的分辨率但图像质量良好的图像的技术。

背景技术

近年来，固态成像元件具有更多的像素。即使在简单的设备例如袖珍相机和移动电话中也会使用具有超过一兆像素即一百万像素的固态成像元件。

因此，利用这种简单的设备可以得到具有很高分辨率的静态图片。另一方面，对于动态图片的单帧图片和将要作为电子邮件的附件的图像，需要使用具有比固态成像元件的原始分辨率低的分辨率的图像。因此，用于减小分辨率的工作变得必不可少。

我们知道，作为一种产生具有比固态成像元件的原始分辨率低的目标分辨率的图像技术，需要丢弃固态成像元件的某些像素。这种技术所产生的图像分辨率是该固态成像元件的原始分辨率的N分之一，其中N为整数。

如果这种丢弃像素的技术所产生的图像的分辨率并不等于目标分辨率，则还需要执行缩放操作，从而产生具有目标分辨率的图像。

例如日本未审专利申请已经公开了这种进行使图像质量损害最小化的缩放操作的技术，公开号No.2002-374407(下称为专利文件1)。

但是，这种丢弃像素并执行缩放操作的传统技术除了使所产生的图像分辨率比固态成像元件的原始分辨率低以外，并不能产生具有良好图像质量的图像。这是因为丢弃像素导致产生很大的混叠噪声。

发明内容

考虑到上述问题，本发明的一个目的是提供一种成像设备，它可以产生具有比固态成像元件的原始分辨率低的分辨率但具有良好图像质量的图像。

上述目的可以通过一种产生图像数据的成像设备来实现，该图像数据代表具有比该成像设备的原始分辨率更低的目标分辨率的图像。该成像设备包括：多个光电转换元件，它们以二维矩阵形式布置，每个元件在其光接收表面上都具有从多个颜色中选择的预定颜色的滤色器，且每个元件存储由光电转换所产生的电荷；电荷加合单元，用于将矩阵中的L行和C列的各部分中具有相同颜色的滤色器的光电转换元件中所存储的电荷加合到一起，从而获得加合电荷，其中6≤L，6≤C且L和C都为偶数自然数；读取单元，用于读取对应于矩阵中L行和C列的所有部分的加合电荷；图像数据产生单元，用于根据读取出的加合电荷，产生代表图像的图像数据，该图像的暂定分辨率低于原始分辨率；和缩放单元，用于对具有暂定分辨率的图像进行缩放从而将该暂定分辨率减小到目标分辨率并产生代表具有目标分辨率的图像的图像数据。这里多个光电转换元件的数目大于使暂定分辨率等于目标分辨率而所需的光电转换元件的数目。

根据该结构，将L行和C列的各部分中的相同颜色光电转换元件中所存储的电荷加合，从而获得加合电荷。这样做的效果相当于空间低通滤波器，从而减少了超过奈奎斯特频率的信号分量，该奈奎斯特频率对应于目标分辨率。因此，当与丢弃像素而没有产生空间低通滤波器效果的传统分辨率降低技术相比时，它可以减少具有目标分辨率的图像中的混叠噪声，从而改进图像质量。

多个光电转换元件的数目大于使暂定分辨率等于目标分辨率而所需的光电转换元件的数目。因此，通过首先产生具有比目标分辨率大的暂定分辨率的图像，然后对具有暂定分辨率的图像进行缩放从而将暂定分辨率减小到目标分辨率，从而得到代表具有目标分辨率的图像的图像数据。这里，如果使用专利文件1中所公开的技术来执行缩放操作，则可以在具有目标分辨率的图像中保留处于对应于目标分辨率奈奎斯特频率的信号分量。

为了比较的目的，考虑光电转换元件的数目等于使暂定分辨率等于目标分辨率而所需的光电转换元件的数目的情况。在这种情况下，缩放操作不能执行，因此也不可能在具有目标分辨率的图像中保留处于对应于目标分辨率奈奎斯特频率的信号分量。

这就是说，成像设备所获得的具有目标分辨率的图像在对应于目标分辨率的奈奎斯特频率附近具有更高电平的高频分量。

这里，成像设备还包括轮廓校正单元，用于校正表示具有目标分辨率的图像的图像数据，从而增强图像的轮廓部分。

根据这种结构，还可以改进高频信号分量的电平。随后，可以实现良好的图像质量。

这里，在每个部分中，电荷加合单元可以将具有多种颜色中的一种颜色的滤色器的光电转换元件中所存储的电荷加合，且对应多种颜色中的一种颜色的部分可以偏离对应剩余颜色中的每一种颜色的部分。

根据这种结构，由于电荷加合，具有不同颜色的像素彼此位置并不接近。据有全色的各像素更应当均匀排列。这样，可以实现良好的图像质量。

这里，L＝4m+2和C＝4n+2，其中m和n为自然数，对应这些颜色中的一种颜色的部分可以偏离对应剩余颜色中的每一种颜色的部分L/2行、C/2列或L/2行和C/2列。

根据这种结构，由于电荷加合，具有特定颜色的像素精确地位于具有不同颜色的两个像素之间的中间。因此，以均匀间隔排列具有所有颜色的各像素。这样，就可以实现良好的图像质量。

附图说明

根据下面结合附图的说明书，可以很明显看出本发明的这些和其他目的、优点和特征，这些附图示出了本发明的特定实施例。在附图中：

图1示例性地示出图像设备30的主要部分结构的功能性方块图；

图2示意性示出从入射光方向看到的如图1所示固态成像元件31；

图3示出作为例子的固态成像元件31的结构，该固态成像元件31由电荷耦合装置(CCD)固态成像设备来实现；

图4示出全像素图像、像素加合图像和像素丢弃图像中每一个的频率特性曲线；

图5示出缩放操作；

图6示出作为缩放操作的结果的频率特性曲线；

图7示出加合/重整图像和丢弃/重整图像种每一个的频率特性曲线；和

图8示出加合/重整/轮廓校正图像和丢弃/重整/轮廓校正图像中每一个的频率特性曲线。

具体实施方式

本发明实施例的成像设备按照下述方式产生图像数据，该图像数据表示具有目标分辨率的图像。将固态成像元件中的预定数目的像素所形成的各组中所存储的电荷加合，从而得到加合电荷。这样，固态成像元件产生表示具有暂定分辨率的图像的图像数据，该暂定分辨率低于固态成像元件的原始分辨率并高于目标分辨率。在具有暂定分辨率的图像中，各像素由加合电荷来表示。然后，固态成像元件对具有暂定分辨率的图像数据执行缩放操作和轮廓校正操作，从而产生表示具有目标分辨率的图像的图像数据。

下面的部分将参照附图来描述本发明实施例的成像设备。

成像设备30的结构

图1示例性地示出涉及本发明主题的成像设备30的主要部分的结构的功能性方块图。

固态成像元件31是这样形成的，将多个光电转换元件以二维矩阵的形式排列在半导体衬底上。每个光电转换元件在其光接收表面上具有一个滤色器，该滤色器为从多种不同颜色中选择出来的一种颜色的滤色器。而且，各光电转换元件将在一个时间周期内从一目标物接收到的大量的光转换为电荷，该时间周期由驱动单元32所发送的驱动信号来指示。

固态成像元件31读取在各光电转换元件中存储的电荷，并将对应于该读出电荷的信号输出到模拟前端33。换言之，固态成像元件31可以将从L行和C列各部分中具有相同颜色的滤色器的光电转换元件中读取的电荷加合，以得到加合电荷，然后，读取各部分加合电荷，并将对应于该加合电荷的信号输出到模拟前端33，其中所述各部分是通过对光电转换元件的矩阵进行分隔而形成的(6≤L，6≤C且L和C都为偶数自然数)。

至于固态成像元件31是读出各光电转换元件中的电荷，还是读出加合电荷，可以根据驱动单元32所发送的驱动信号而变换。

这里，假设L行和C列的各部分中具有相同颜色滤波器的像素数目为LC/4。在这种情况下读出加合电荷，相比于读取各光电转换元件中的电荷的情况，固态成像元件31具有LC/4倍的灵敏度和4/LC倍的分辨率。

固态成像元件31随后将详细描述。

模拟前端33对固态成像元件31所接收到的信号执行相关双倍取样(CDS)和自动增益控制(AGC)，然后将该信号转换为数字信号。

利用数字信号处理器(DSP)、中央处理单元(CPU)、只读存储器(ROM)等可以逐一地实现图像信息产生单元35、缩放和轮廓校正单元37、控制单元38以及同步信号产生单元34。详细地说，通过DSP和CPU执行存储在ROM中的程序，可以实现这些单元的功能。

利用存储器36，图像信息产生单元35通过处理从模拟前端33接收到的数字信号，可以产生图像数据。该图像数据代表基于亮度和色差的摄影图像。图像信息产生单元35将所产生的图像数据存储在存储器36中。该存储器36是通过例如同步动态随机存取存储器(SDRAM)而实现的。

缩放和轮廓校正单元37包括在上述专利文件1中公开的图像处理单元。在读出存储器36中所存储的图像数据之后，缩放和轮廓校正单元37使该图像处理单元对读出的图像数据执行缩放操作和已知的轮廓校正操作，从而获得图像数据，该图像数据具有目标分辨率且它的轮廓部分已经被校正。缩放和轮廓校正单元37向控制单元38输出所获得的图像数据。该轮廓校正操作是例如利用滤波器来执行的，该滤波器对发生亮度梯度变化的位置处的像素亮度进行校正，从而使亮度梯度变化增加。

控制单元38从缩放和轮廓校正单元37接收到图像数据。该控制单元38将该图像数据存储在另一存储器(图1中未示出)中，或者将该图像数据所表示的图像显示在显示单元(图1中未示出)上。

固态成像元件31

固态成像元件31基于在日本专利申请No.2003-100187(下称相关申请)中所公开的发明。下面的部分将根据在该相关申请中所公开的发明典型实施例，来描述该固态成像元件31。为了描述简便，将在不破坏本申请和相关申请中的技术内容同一性的范围内，使用与相关申请中不同的技术术语。(例如滤色器阵列图案和电荷加合部分)

图2示意性示出从入射光方向看到的固态成像元件31。图2仅示出固态成像元件31的一部分。该固态成像元件31是以这种方式形成的，即将多个光电转换元件(311、312、321、322、…)以二维矩阵的形式排列在半导体衬底上。光电转换元件311、312、321和322分别在其光接收表面上具有黄(Y)、紫(M)、青(C)和绿(G)色的滤色器。该滤色器阵列图案是互补滤色器阵列图案的典型例子。根据该阵列图案，该固态成像元件31中的每个光电转换元件都具有其中一种颜色的一滤色器。

固态成像元件31的功能在于将六行和六列的各部分中具有相同颜色滤色器的光电转换元件中所存储的由光电转换所产生的电荷加合，从而得到加合电荷。所述每个部分都是通过对多个光电转换元件矩阵进行分隔而形成的。下面的部分首先将简要说明由边界所限定，以便指定电荷已经被加合的光电转换元件的部分(下称为电荷加合部分)，然后详细解释实现电荷加合功能的结构。

在图2中，作为一个例子，对应黄、紫、青和绿色的六行和六列的电荷加合部分分别由边界Y、边界M、边界C和边界G来限定。图2示出作为一个例子，对应各颜色的各边界限定了不同电荷加合部分的情况。边界Y偏离边界M三行，偏离边界C三列，偏离边界G三行和三列。

在边界Y所限定的部分中，利用实线来标示九个光电转换元件，这九个光电转换元件具有黄色滤色器，且它们的电荷彼此加合。边界Y中的圆圈表示由通过在边界Y所限定的部分中进行电荷加合所获得的加合电荷所指示的黄色像素的位置。就是说，圆圈表示电荷彼此加合的九个像素的中心。

在电荷加合的其他部分中，仅有由通过电荷加合而得到的加合电荷所指示的像素的位置是由圆圈标示。对于电荷加合的各部分，固态成像元件31将圆圈所标示出的光电转换元件中所存储的电荷和具有与所圈的光电转换元件相同颜色的滤色器，并位于在行、列和对角线方向上靠近所圈的光电转换元件最近的位置的那些光电转换元件中的电荷加合在一起。

与原始像素相似，由电荷加合所得到的加合电荷所指示的像素在二维矩阵中以均匀间隔排列，并且也具有与原始像素一样的滤色阵列图案。固态成像元件31对固态成像元件31中除了位于半导体衬底边缘附近的不能形成完整的电荷加合部分光电转换元件以外的所有光电转换元件执行电荷加合。

应当注意图2中所示的边界、实线和圆圈仅仅用于说明目的，而并非物理形成于半导体衬底上以构成固态成像元件31的成分。

结构和操作的详细说明

下面的部分将说明根据相关申请中所公开的发明的典型实施例的固态成像元件31。

图3作为一个例子，示出在固态成像元件31中实现上述电荷加合目的的具体结构，该固态成像元件31是利用CCD固态成像元件来实现的。

在图3中，根据上述滤色器阵列图案，光电转换元件(Y11、M12、C21和G22、…)中每一个都具有一个滤色器。对应矩阵的多个列，一对一地提供多个垂直CCD(VCCD1、VCCD2、…)。每个垂直CCD都由与矩阵的多个行一一对应的多个级组成。每个垂直CCD从各对应光电转换元件中接收电荷。这里，各单个电荷按原样被转移，或在转移的同时被加合到一起。在各垂直CCD(VCCD1、VCCD2、…)的一端，按照与垂直CCD一一对应的方式提供多个连接CCD(VCCD1A、VCCD2A、…)。每个连接CCD由对应三个行的多个级组成。而且，每个连接CCD将电荷从对应的一个垂直CCD转移到一个水平CCD(HCCD)。该水平CCD由与矩阵的多个列一一对应的多个级组成。水平CCD从各垂直CCD接收电荷。这里，各单个电荷按原样转移，或在转移的同时加合在一起而获得加合电荷。输出放大器(AMP)对应于从水平CCD接收到的电荷输出电信号。

为了驱动具有这种结构的固态成像元件31，驱动单元32在同步信号产生单元34的控制下，向固态成像元件31发送存储信号、读取信号、垂直转移信号、连接转移信号、和水平转移信号。

该固态成像元件31具有可以同时将存储信号发送到所有光电转换元件中的布线。各光电转换元件将在存储信号接收期间从目标物接收到的光转换为电荷，并存储这些电荷。

读取信号包括第一读取信号、第二读取信号和第三读取信号，这三个信号被独立发送。固态成像元件31具有可以同时将第一读取信号发送到第3i行(i为自然数)中的所有光电转换元件，可以同时将第二读取信号发送到第(3i-1)行(i为自然数)中的所有光电转换元件，可以同时将第三读取信号发送到第(3i-2)行(i为自然数)中的所有光电转换元件的布线。当接收到第一到第三读取信号中的对应的一个信号时，每个光电转换元件将电荷转移到垂直CCD中的对应级中。

垂直转移信号包括第一垂直转移信号、第二垂直转移信号和第三垂直转移信号，这三个信号被独立发送。固态成像元件31具有可以同时将第一垂直转移信号发送到第3j列(j为自然数)中的所有垂直CCD，同时将第二垂直转移信号发送到第(3j-1)列(j为自然数)中的所有垂直CCD，同时将第三垂直转移信号发送到第(3j-2)行(j为自然数)中的所有垂直CCD的布线。当接收到第一到第三垂直转移信号中的对应的一个信号时，将各垂直CCD中的各级中所存储的电荷向下方向转移一个级。

下面的部分将描述怎样根据上述控制信号，在各垂直CCD中转移电荷的同时，将电荷加合在一起。

开始时，发送出第二读取信号，在第二、第五、第八行…中的光电转换元件中存储的电荷分别被转移到各垂直CCD中的对应级中。然后，将第一、第二和第三垂直转移信号均发送两次。这样，各垂直CCD中所接收到的电荷就可以在垂直方向上转移两个级。具体地说，从第八行中的光电转换元件接收到的电荷已经被转移到各垂直CCD中对应第六行的级中，从第五行中的光电转换元件接收到的电荷已经被转移到各垂直CCD中对应第三行的级中。

然后，发送第一读取信号。相应地，在第三、第六、第九行…中的光电转换元件中存储的电荷分别被转移到各垂直CCD中的对应级中。这样，从第八和第六行中的光电转换元件接收到的电荷就可以彼此加合，从而在各垂直CCD中对应第六行的级中得到两个像素的电荷。相似地，从第五和第三行中的光电转换元件接收到的电荷就可以彼此加合，从而在各垂直CCD中对应第三行的级中得到两个像素的电荷。

然后，将第一、第二和第三垂直转移信号分别发送两次。这样，就可以在向下方向将各垂直CCD中两个像素的电荷转移两个级。然后，发送第三读取信号，从而可以将第一、第四、第七行…的光电转换元件中的电荷分别转移到各垂直CCD的对应级中，这样，从第八、第六和第四行中的光电转换元件接收到的电荷就可以彼此加合，从而在各垂直CCD中对应第四行的级中得到三个像素的电荷。相似地，从第五、第三和第一行中的光电转换元件接收到的电荷就可以彼此加合，从而在各垂直CCD中对应第一行的级中得到三个像素的电荷。

下面的部分将描述其他控制信号。

连接转移信号包括第一连接转移信号、第二连接转移信号和第三连接转移信号，这三个信号被独立发送。固态成像元件31具有可以同时将第一连接转移信号发送到第3j列(j为自然数)中的所有连接CCD，同时将第二连接转移信号发送到第(3j-1)列(j为自然数)中的所有连接CCD，同时将第三连接转移信号发送到第(3j-2)行(j为自然数)中的所有连接CCD的布线。当接收到第一到第三连接转移信号中的对应一个信号时，将各连接CCD中的各级中所存储的电荷在向下方向转移一个级，将最低级中的电荷转移到水平CCD中的对应级中。

固态成像元件31具有可以将水平转移信号发送到水平CCD。当接收到水平转移信号时，可以将水平CCD的各级中的电荷向左转移一个级的布线。

下面部分将描述根据上述控制信号，当电荷在水平CCD中转移的同时，怎样将电荷加合到一起。

第一、第二和第三垂直转移信号和第一、第二和第三连接转移信号都被发送三次。因此可以将三个像素的电荷转移到各连接CCD中的最低级中。

然后，当接收到第二连接转移信号时，将第二、第五、第八列中的各连接CCD中的最低级中的对应三个像素的电荷转移到水平CCD中的对应级。然后，将水平转移信号发送两次，从而使水平CCD中所接收到的对应三个像素的电荷向左方向转移两个级。具体地说，对应第八列的级中的接收到的对应三个像素的电荷将被转移到水平CCD中对应第六列的级中。相似的，对应第五列的级中的接收到的对应三个像素的电荷将被转移到水平CCD中对应第三列的级中。

然后，当接收到第一连接转移信号时，将第三、第六、第九列中的各连接CCD中的最低级中的对应三个像素的电荷转移到水平CCD中的对应级。这样，第八和第六列中的连接CCD中对应三个像素的电荷就可以加合在一起，从而在水平CCD中对应第六列的级中可以得到对应六个像素的电荷。相似的，第五和第三列中的连接CCD中对应三个像素的电荷就可以加合在一起，从而在水平CCD中对应第三列的级中可以得到对应六个像素的电荷。

然后，再次发送两次水平转移信号。这样，就可以将水平CCD中对应六个像素的电荷向左方转移两个级。当接收到第三连接转移信号时，将第一、第四、第七列中的各连接CCD中的最低级中的对应三个像素的电荷转移到水平CCD中的对应级。这样，第八、第六和第四列中的连接CCD中对应三个像素的电荷就可以加合在一起，从而在水平CCD中对应第四列的级中可以得到对应九个像素的电荷。相似的，第五、第三和第一列中的连接CCD中对应三个像素的电荷就可以加合在一起，从而在水平CCD中对应第一列的级中可以得到对应九个像素的电荷。

将水平CCD中对应九个像素的电荷经过输出放大器(AMP)输出到模拟前端33。

如上所述，固态成像元件31具有独特的结构，可以单独地将多个行的各预定组中的光电转换元件中所存储的电荷转移到垂直CCD中，并单独地将多个列的各预定组中的垂直CCD中的电荷转移到水平CCD中。

该结构可以使固态成像元件31根据驱动单元32所发送的特别控制信号，在将电荷在各垂直CCD和水平CCD中转移的同时，将这些电荷加合在一起。因此，固态成像元件31可以将电荷加合在一起，从而获得对应九个像素的加合电荷，并将该加合电荷作为一个像素输出。

驱动单元32可以发送通用的控制信号。根据该通用控制信号，可以将所有行中的光电转换元件中的电荷同时转移到各垂直CCD中，也可以将所有列中的垂直CCD中的电荷经过连接CCD转移到水平CCD中。如果是这种情况，则固态成像元件31可以将各光电转换元件中所存储的电荷作为一个像素输出。

这样可以产生具有固态成像元件31的原始分辨率的图像。但是，这与本发明的主题并不相关，本发明是要产生具有比固态成像元件31的原始分辨率低的分辨率且同时具有良好图像质量的图像，因此对此不再详细解释。

垂直CCD、连接CCD和水平CCD的各级都可由多个门电路组成。当每个级由两个门电路组成时，第一到第三垂直转移信号中的每个信号都由两个不同相位的控制信号组成，这两个控制信号用于驱动这两个门电路，且每个垂直CCD都由六个不同相位的控制信号来驱动。而且，水平CCD由两个不同相位的控制信号来驱动。

对应各颜色的边界可以限定电荷加合的相同部分或不同部分。另外，如果没有以均匀间隔将像素排列在二维矩阵中，其中该像素由通过电荷加合而获得的加合电荷表示，则滤波器可以校正这种非均匀排列。

对应每种颜色的电荷加合部分可能具有L行和C列，其中L＝4m+2，C＝4n+2，且m和n为自然数。而且，限定对应一种颜色的电荷加合部分的边界可能与用于限定其它颜色的边界偏离L/2行、C/2列以及L/2行和C/2列。在上述对于固态成像元件31的描述中，m和n被设定为1。就是说，电荷加合的部分具有六行和六列。另外，边界Y与边界M偏离三行，与边界C偏离三列，与边界G偏离三行和三列。

可以使用Bayer滤色器阵列作为本实施例中的滤色器阵列。滤色器阵列图案的重复部分具有四行和两列。在该重复部分中，第一行和第一列与第三行和第二列的光电转换元件具有相同颜色的滤色器。第一行和第二列与第三行和第一列的光电转换元件、第二行和第一列与第四行和第二列的光电转换元件、第二行和第二列与第四行和第一列的光电转换元件也具有同样的情况。或者，滤色器阵列图案的重复部分可能具有两行和四列。在这种情况下，第一行和第一列与第二行和第三列的光电转换元件具有相同颜色的滤色器。第二行和第一列与第一行和第三列的光电转换元件、第一行和第二列与第二行和第四列的光电转换元件、第二行和第二列与第一行和第四列的光电转换元件也具有同样的情况。

驱动单元32可以单独地向固态成像元件31发送第一到第六读取信号和第一到第六连接转移信号。这里，固态成像元件31具有用于分别向六个连续行中的光电转换元件发送彼此不同的读取信号的布线，和用于分别向六个连续列中的连接CCD发送彼此不同的连接转移信号的布线。

上述修改例已经在相关申请中详细说明，这里不再对其详细解释。

日本申请No.2003-018143同样公开了一种结构，该结构可以利用金属氧化物半导体(MOS)固态成像元件将电荷加合到一起从而获得对应九个像素的加合电荷，并读出加合电荷。固态成像元件31可以利用这种结构来实现。

频率特性比较

下面的部分将解释与传统的丢弃一些像素后执行缩放操作的分辨率降低技术相比，具有上述结构的成像设备30产生具有更高图像质量的图像。该解释是基于图像的空间频率特性比较而进行的。

图4是表示三种图像的空间频率特性的曲线。沿水平轴画出空间频率，沿垂直轴画出图像中包含的信号成分的电平。以下将空间频率简称为频率。

全像素频率特性表示固态成像元件31具有原始分辨率的图像中的频率成分。在这种图像中，一个像素由固态成像元件31中的各光电转换元件中所存储的电荷来表示。

在图4中，f0表示对应于固态成像元件31原始分辨率的奈奎斯特(Nyquist)频率。固态成像元件31包括光学滤波器，用于消除取样所产生的混叠噪声。该滤波器可消除超过f0的频率成分。

像素加合频率特性表示一像素加合图像中的频率成分。在该像素加合图像中，每个像素都由对应关于固态成像元件31原始分辨率的九个像素的加合电荷来代表。对应这九个像素的加合电荷是根据上述结构将电荷加合而得到的。

相比于像素加合频率特性，像素丢弃频率特性表示一像素丢弃图像中的频率成分。在该像素丢弃图像中，每个像素都由具有相同颜色滤色器的九个光电转换元件中的一个元件中所存储的电荷来表示。在固态成像元件31中的光电转换元件的矩阵中，将该九个光电转换元件按照行方向和列方向顺序地排列为一个3×3矩阵。将剩余八个光电转换元件中存储的电荷丢弃，或者不对其进行读取。

该像素加合图像和像素丢弃图像都具有一暂定分辨率，该分辨率是固态成像元件31的原始分辨率的九分之一。在图4中，f0/3表示对应于该暂定分辨率的奈奎斯特频率。根据取样定理，超过f0/3的频率的信号成分在具有该暂定分辨率的图像中以混叠噪声的形式出现，因此会恶化图像质量。

如图4所示，该像素丢弃图像比像素加合图像具有更多的超过f0/3的信号成分，该信号成分会恶化图像质量。以下将解释其原因。为了执行电荷加合，彼此相邻的多个像素中的电荷被一个接一个地加合。该处理必然伴有空间低通滤波器(LPF)的效应。然而，丢弃像素的处理并未产生此空间低通滤波器的效应，因此不能消除超过f0/3的信号成分。

图5示出了缩放和轮廓校正单元37执行的缩放操作的示意图。在专利文件1中特别公开了一种缩放操作，因此这里仅就其特点作简要说明。

图5示出了通过再取样而产生新像素的缩放操作，例如该新像素按照相邻原始像素之间距离的四分之五倍长度的间隔而排列。在图5中，上面的白圈表示原始像素，下面的黑圈表示通过再取样而将产生的新像素。通过再取样而产生的新像素的位置(以下称为像素位置)为：(A)与原始像素的位置相同；(B)离开原始像素的位置的距离为两个相邻原始像素之间距离的四分之一，或者(C)在两个相邻原始像素的中间。

将每个像素位置附近的五个原始像素乘以一系数，该系数唯一对应情况(A)，(B)，(C)中相应的一种情况(图5中的A0到A4，B0到B4，或C0到C4)，并将乘积结果彼此加合，从而执行再取样。

专利文件1公开了一种选择系数的标准，不论像素位置如何不同，都能够实现相对平坦的频率特性，并公开了一种结构，能够在表格中预存储多个系数，以便将原始像素乘以对应特定像素位置的系数，并将乘积结果加合。

图6作为一个例子示出了通过缩放操作得到的增益的频率特性的曲线。在图6中，f表示对应于目标分辨率的奈奎斯特频率，该目标分辨率是通过再取样实现的。对应于图6所示的暂定分辨率，奈奎斯特频率f0/3作为参考。图6作为一个例子示出了分别作为上述情况(A)，(B)，(C)中的频率特性的特性A，B和C。频率f的增益按照特性A，B，C的顺序依次变小，即使对应特性C的最小的增益在频率f也不为零。

根据此缩放操作，可以减少由于像素位置差异而引起的频率特性的变化，从而实现良好的图像质量。

图7示出了各加合/重整图像和丢弃/重整图像的频率特性的曲线。该加合/重整图像和丢弃/重整图像是通过对像素加合图像和像素丢弃图像分别执行缩放操作而得到的。

加合/重整图像和丢弃/重整图像的频率特性是分别通过将图4所示的像素加合频率特性和像素丢弃频率特性乘以图6所示缩放操作结果的频率特性而得到的。如上所述，对应于不同的像素位置，作为缩放操作的结果，会有多种类型的增益的频率特性。在此乘法中，使用每个频率的最小值是为了便于更好的理解。

图8示出了各加合/重整/轮廓校正图像和丢弃/重整/轮廓校正图像的频率特性，上述图像是分别通过对加合/重整图像和丢弃/重整图像执行轮廓校正操作而得到的。

如上所述，当像素加合图像，加合/重整图像，和加合/重整/轮廓校正图像构成的一个组与像素丢弃图像，丢弃/重整图像，和丢弃/重整/轮廓校正图像构成的一个组相比较时，前一个组的图像中，超过了对应于目标分辨率的奈奎斯特频率并恶化图像质量的信号成分具有较低电平。这表明，当与传统的丢弃某些像素的分辨率减少技术相比时，本发明实施例涉及的成像设备30产生了具有较高图像质量的图像。

在通过成像设备30获得的加合/重整/轮廓校正图像中，对应于该目标分辨率的奈奎斯特频率f的信号成分永远不为零。

这个显著特性是通过使用固态成像元件而实现的，该固态成像元件通过像素的加合可产生具有比目标分辨率更高的暂定分辨率的图像。具体来说，该固态成像元件首先产生具有比目标分辨率更高的暂定分辨率的像素加合图像。然后，固态成像元件执行缩放操作，其中即使是对应于目标分辨率的频率f的最小增益也永远不为零，然后，对该像素加合图像执行轮廓校正操作，从而获得具有目标分辨率的加合/重整/轮廓校正图像。

假定一固态成像元件，能够通过像素加合而产生具有等于目标分辨率的分辨率的一图像。在这种固态成像元件中，产生具有目标分辨率的图像的缩放操作就不能执行。在此情况下，在具有目标分辨率的图像中，不可能保持对应于目标分辨率的频率f处的信号成分。

通过此固态成像元件获得的像素加合图像和通过本发明实施例涉及的成像设备30获得的加合/重整/轮廓校正图像具有相同的分辨率。然而，该加合/重整/轮廓校正图像在频率f附近的高频成分具有更高的电平。

这表示本发明实施例涉及的成像设备30能够产生具有目标分辨率的图像，并保持对应目标分辨率的频率f处的信号成分，从而具有良好的高频特性。这些效果的获得是因为成像设备30使用了一种固态成像元件，该固态成像元件通过像素的加合可产生具有高于目标分辨率的分辨率的图像。

Claims (4)

1.一种成像设备，产生代表具有比该成像设备原始分辨率低的目标分辨率的图像的图像数据，该成像设备包括：

多个光电转换元件，它们以二维矩阵形式排列，每个元件在其光接收表面上都具有从多个颜色中选择的预定颜色的滤色器，且每个元件存储由光电转换所产生的电荷；

电荷加合单元，用于将矩阵中L行和C列的各部分中具有相同颜色的滤色器的光电转换元件中所存储的电荷加合到一起，从而获得加合电荷，其中，6≤L，6≤C且L和C都为偶数自然数；

读取单元，用于读取矩阵中L行和C列的所有部分的加合电荷；

图像数据产生单元，用于根据读取出的加合电荷，产生代表暂定分辨率低于原始分辨率的图像的图像数据暂定分辨率；和

缩放单元，用于对具有暂定分辨率的图像进行缩放，从而将该暂定分辨率减小到目标分辨率并产生代表具有目标分辨率的图像的图像数据；

其特征在于，

多个光电转换元件的数目大于使暂定分辨率等于目标分辨率而所需的光电转换元件的数目。

2.如权利要求1所述的成像设备，其特征在于，还包括：

轮廓校正单元，用于校正表示具有目标分辨率的图像的图像数据，从而增强图像的轮廓部分。

3.如权利要求1所述的成像设备，其特征在于，

在每部分中，电荷加合单元可以将具有多种颜色中的一种颜色的滤色器的光电转换元件中所存储的电荷加合，且

对应多种颜色中的一种颜色的部分可以偏离对应剩余颜色中的每一种颜色的部分。

4.如权利要求3所述的成像设备，其特征在于，

L＝4m+2和C＝4n+2，其中m和n为自然数，且对应这些颜色中的一种颜色的部分可以偏离对应剩余颜色中的每一种颜色的部分L/2行、C/2列或L/2行和C/2列。

Images