CN107046625B - 图像传感器和摄像设备 - Google Patents

Abstract

本发明提供一种图像传感器和摄像设备。该图像传感器设置有包括多个光电转换器的摄像单元，所述图像传感器包括：输入单元，用于从图像传感器的外部输入图像数据；图像处理器，用于对从摄像单元所获得的图像数据和从输入单元输入的图像数据施加图像处理；以及输出单元，用于将通过图像处理器所进行的图像处理所获得的图像数据输出至外部。

Description

图像传感器和摄像设备

技术领域

本发明涉及一种图像传感器和摄像设备。

背景技术

近年来，在诸如数字静态照相机和数字摄像机等的摄像设备中所使用的图像传感器的多功能化正在推进。作为用以实现图像传感器的多功能化的方式，提出了包括摄像单元和图像处理器的图像传感器，其中，该摄像单元包括具有将光转换成电力的光电转换器的像素单元，该图像处理器用于对从摄像单元输出的摄像信号施加图像处理。

日本特开2006-49361公开了与通过将图像传感器芯片层叠在信号处理器芯片上所制成的图像传感器相关的技术。

设置日本特开2006-49361中所描述的图像传感器的信号处理器芯片，以对来自同一半导体模块中所包括的图像传感器芯片的输出施加信号处理。因此，为了对从图像传感器输出的图像数据再次施加各个类型的图像处理，需要在图像传感器的外部设置分开的图像处理器芯片，也就是说，需要额外的构件。

发明内容

考虑到上述问题而作出本发明，并且本发明使得能够通过来自图像传感器外部的图像数据的输入，来执行图像传感器内部的图像处理。

根据本发明，提供一种图像传感器，其设置有包括多个光电转换器的摄像单元，所述图像传感器的特征在于还包括：输入单元，用于从所述图像传感器的外部输入图像数据；图像处理器，用于对从所述摄像单元获得的图像数据和从所述输入单元输入的图像数据施加图像处理；以及输出单元，用于将通过所述图像处理器所进行的图像处理所获得的图像数据输出至外部。

此外，根据本发明，提供一种摄像设备，包括：图像传感器，其设置有包括多个光电转换器的摄像单元，其特征在于，所述图像传感器还包括：输入单元，用于从所述图像传感器的外部输入图像数据，图像处理器，用于对从所述摄像单元获得的图像数据和从所述输入单元输入的图像数据施加图像处理，以及输出单元，用于将通过所述图像处理器所进行的图像处理所获得的图像数据输出至外部；显示处理器，其用于从所述图像传感器输出的图像数据；以及记录处理器。

此外，根据本发明，提供一种摄像设备，包括：第一图像传感器，其设置有包括多个光电转换器的摄像单元；以及第二图像传感器，其设置有包括多个光电转换器的摄像单元，其特征在于，所述第一图像传感器还包括：输入单元，用于从外部输入图像数据，图像处理器，用于对从所述输入单元输入的图像数据施加图像处理，以及输出单元，用于将通过所述图像处理器所进行的图像处理所获得的图像数据输出至外部，其中，所述图像处理器对从所述第二图像传感器输入至所述第一图像传感器的所述输入单元的图像数据施加图像处理。

通过以下(参考附图)对典型实施例的说明，本发明的其它特征将变得明显。

附图说明

包含在说明书中并且构成说明书的一部分的附图示出本发明的实施例，并且附图与说明书一起用来解释本发明的原理。

图1是示出根据本发明的第一实施例的图像传感器的结构的框图；

图2是示出根据第一实施例的图像传感器的图像处理器的结构的框图；

图3是示出根据第一实施例的摄像设备的示意结构的框图；

图4是在根据第一实施例的正常摄像时所执行的处理的流程图；

图5是在第一实施例中的图像输入时所执行的处理的流程图；

图6是根据第一实施例的用于所拍摄图像和所输入图像的图像合成处理的流程图；

图7是示出根据第二实施例的摄像设备的示意结构的框图；

图8是示出根据第二实施例的第二图像传感器的结构的框图；

图9是根据第二实施例的在第一图像传感器对第二传感器所拍摄的图像施加图像处理的情况下所执行的摄像处理的流程图；

图10是根据第二实施例的在第一图像传感器拍摄视频并且第二图像传感器拍摄静止图像的情况下所执行的摄像处理的流程图；

图11是根据第二实施例的在第一图像传感器和第二图像传感器拍摄静止图像并且将所拍摄的静止图像进行合成的情况下所执行的摄像处理的流程图；

图12是根据第二实施例的在第一图像传感器和第二图像传感器拍摄视频并且将所拍摄的视频进行合成的情况下所执行的摄像处理的流程图；

图13是根据第二实施例的在第二图像传感器用作第一图像传感器所进行的摄像时的辅助部件的情况下所执行的摄像处理的流程图；

图14是示出根据第三实施例的图像传感器的结构的框图；

图15是示出根据第三实施例的图像传感器的第一基板的示意结构的框图；以及

图16是示出根据第三实施例的图像传感器的图像处理器的结构的框图。

具体实施方式

将根据附图来详细说明本发明的典型实施例。根据适用于本发明的设备的各种条件和结构，应当根据需要来改变本实施例中所示的构成部分的尺寸、形状和相对位置，并且本发明不限于这里所述的实施例。

第一实施例

首先，将说明根据本发明的第一实施例的图像传感器。根据第一实施例的图像传感器具有从图像传感器的外部接收图像信号、并且在图像传感器的内部对所输入的图像信号施加图像处理的功能。

以下将使用图1和2来详细说明根据第一实施例的图像传感器的结构。图1是示出根据本发明的第一实施例的图像传感器的结构的框图。

在图1中，图像传感器302以第一基板101(摄像单元)和第二基板102(处理单元)层叠在一起的方式构成。第一基板101和第二基板102通过第一基板101中所包括的连接单元106和第二基板102中所包括的连接单元107之间的微突起和通孔等而连接，并且在第一基板101和第二基板102建立电连接。尽管未示出，但是第一基板101中所包括的控制电路103和第二基板102中所包括的图像处理器108同样是以它们能够彼此通信的方式而电连接。

第一基板101具有光接收单元104、模拟/数字(AD)转换器105、连接单元106和控制电路103。在光接收单元104中，在行和列方向上以二维方式排列包括用于将光转换成电力的光电转换部的多个像素。AD转换器105将通过光接收单元104的像素所生成的模拟图像信号转换成数字信号，并且连接单元106将从AD转换器105输出的数字图像信号(图像数据)发送至第二基板102。控制电路103对光接收单元104和AD转换器105中的各个类型的驱动进行控制。

第二基板102具有连接单元107、图像处理器108、存储器单元109以及包括输出单元111和输入单元112的接口单元110。连接单元107接收从第一基板101发送来的图像信号。图像处理器108对从第一基板101、存储器单元109和输入单元112发送来的数字图像信号(图像数据)施加诸如信号放大、基准电平调节、缺陷像素校正处理和显像处理等的各个类型的图像处理。除了施加各个类型的图像处理的该功能以外，图像处理器108还具有如下功能：使用通过摄像所获得的数字图像信号(图像数据)和从输入单元112发送来的数字图像信号(图像数据)来生成诸如差异图像、相加图像和平均图像等的各种合成图像的功能；以及通过对多个图像数据进行合成来生成视频的功能。图像处理器108例如还具有基于从输入单元112发送来的图像数据来计算被摄体的亮度值的功能。稍后将使用图2来详细说明图像传感器108的结构。

存储器单元109暂时存储来自图像处理器108和输入单元112的图像数据。输入单元112接收从图像传感器302的外部输入的图像数据，并且将该图像数据发送至图像处理器108和存储器单元109，而输出单元111将从图像处理器108输出的图像数据输出至图像传感器302的外部。在第一实施例中，将假设如下：针对将图像数据从接口单元110输出至图像传感器302的外部、以及将图像数据从图像传感器302的外部输入至接口单元110，使用共同端子。在接口单元110的内部，在输入图像数据时将接口单元110的端子连接至输入单元112，并且在输出图像数据时将接口单元110的端子连接至输出单元111。在图像传感器302中，包括了其中的构件的第一基板101(摄像单元)和第二基板102(处理单元)组成一个封装体(package)。

图2是示出根据第一实施例的图像传感器302的图像处理器108的结构的框图。在图2中，信号放大器201以预定增益来对所输入的数字图像信号(图像数据)进行放大。基准电平调节单元202进行调整，以使得没有光入射在光接收单元104上的黑暗状态下的数字图像信号(图像数据)的信号水平具有预定值。校正单元203对图像数据施加诸如缺陷像素校正处理和黑暗阴影校正处理等的各个类型的校正处理。

显像处理器204对图像数据施加白平衡调节等，然后对图像数据施加显像处理。图像合成单元205利用通过光接收单元104所进行的摄像所获得的并且从AD转换器105中读出的图像数据、以及从输入单元112和存储器单元109发送来的图像数据，来生成诸如差异图像、相加图像和平均图像等的各种合成图像。

信号分析电路206对从输入单元112和存储器单元119发送来的图像数据进行分析，并且基于分析的结果，来设置信号放大器201所使用的信号放大因子并且经由控制电路103来设置光接收单元104和AD转换器105中的各个类型的驱动。

图3是示出包括以上述方式配置的图像传感器302的摄像设备的示意结构的框图。在图3中，通过驱动电路304来对包括透镜和光圈等的光学系统301进行驱动，并且图像传感器302将经由光学系统301入射的光转换成电信号。定时信号生成电路303生成用于使图像传感器302进行工作的信号。在本实施例中，定时信号生成电路303所生成的信号包括垂直和水平同步信号以及用于设置图像传感器302内的各种设置参数的设置信号等。

如使用图1所述的，图像传感器302具有如下功能：对通过转换所入射的光所获得的电信号施加诸如信号放大、基准电平调节、缺陷像素校正处理、黑暗阴影校正处理和显像处理等的各个类型的图像处理，来生成图像信号。图像传感器302还具有如下功能：接收从记录电路305输入的图像数据，并且对该图像数据施加各个类型的图像处理。记录电路305是用于记录并保持例如从图像传感器302输出的图像数据以及向图像传感器302输入的图像数据的非易失性存储器、存储卡或者类似的记录介质。

控制电路306对包括图像传感器302、定时信号生成电路303和驱动电路304的整个摄像设备进行整体驱动和控制。控制台电路307接受来自针对摄像设备所设置的控制台构件的信号，并且使控制电路306反映来自用户的命令。显示电路308例如显示所拍摄图像、实时取景图像和各种设置画面。

本实施例介绍了如下的典型结构，其中，在该典型结构中，将摄像设备的定时信号生成电路303和控制电路306与图像传感器302相独立的设置。然而，本实施例不限于该结构，并且定时信号生成电路303和控制电路306的至少一部分的功能可以内置于图像传感器302中。

以下使用图4～6来提供第一实施例中的包括图像传感器302的摄像设备所执行的各个类型的摄像处理和图像生成处理的详细描述。

图4是在第一实施例的正常摄像时所执行的处理的流程图。在图4中，首先，根据例如用户经由控制台电路307发出的指示，来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S401)。接着，对光学系统301等进行控制，以对图像传感器302的光接收单元104进行曝光(步骤S402)。在经过了预定的累积时间段之后，AD转换器105将光接收单元104所生成的电信号转换成数字图像信号(图像数据)，然后将其读入至图像处理器108中(步骤S403)。

接着，信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对输入至图像处理器108的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S404)。最后，将从图像处理器108输出的图像数据从输出单元111输出至图像传感器302外部的记录电路305或者显示电路308(步骤S405)，然后结束本摄像处理。

图5是第一实施例中的图像输入时所执行的处理的流程图。可以在例如基于所期望的显像参数、使用摄像设备中所包括的图像传感器302来对通过摄像设备在过去所进行的摄像而获得的并且已经存储在外部的RAW图像数据进行再次显像的情况下，使用图5描述的图像输入时所执行的处理。

在从图像传感器302的外部输入的图像数据在图像处理器108中经受各个类型的图像处理、并且从输出单元111输出之后，在记录至用作记录电路305的非易失性存储器、存储卡或类似的记录介质时、或者在显示电路308所进行的图像显示时，使用该图像数据。还可以在各个类型的研究和分析中使用该图像数据。例如，可以在监视照相机领域内的人物识别和面部识别中使用该图像数据。此外，可以例如在汽车等的自动驾驶所用的车载照相机领域内的行人检测、包括标志、白线、道路上的障碍物和自行车的物体识别、以及字符识别中使用该图像数据。注意，信号处理无需施加到所输入图像的整个区域，并且可以基于被摄体识别等的结果施加至所输入图像的受限区域。此外，输入单元112等可以仅切出需要的区域。

在图5中，首先，将在记录电路305中所存储的RAW图像数据经由输入单元112输入至图像传感器302(步骤S501)。接着，根据例如用户经由控制台电路307发出的指示，图像处理器108的显像处理器204对输入至图像传感器302的图像数据施加诸如白平衡调节和显像处理等的各个类型的图像处理(步骤S502)。将假设如下：被施加图像处理的所输入图像数据在摄像时、在图像处理器108的信号放大器201、基准电平调节单元202和校正单元203中经受信号放大、基准电平调节、缺陷像素校正处理和黑暗阴影校正处理等。一旦图像数据在这样的图像处理之后从图像传感器302输出并且存储至记录电路305，则在该图像数据再次输入至图像传感器302的情况下，可以省略这样的图像处理。

最后，从图像处理器108输出的图像数据在被施加了各个类型的图像处理之后、从输出单元111输出至图像传感器302外部的记录电路305或显示电路308(步骤S503)，然后，结束本处理。

优选地，使用图4的流程图所描述的处理(也就是说，图像处理器108对所拍摄图像数据施加的摄像处理和图像处理)的定时与使用图5的流程图所描述的处理(也就是说，图像处理器108对所输入图像数据施加的图像处理)的定时不同。通过如此使图像处理器108分散执行针对所拍摄图像数据的图像处理和针对所输入图像数据的图像处理，而不是同时执行这两者，可以减轻图像处理器108的处理负荷，并且可以抑制最大电力消耗。

图6是第一实施例中的用于所拍摄图像和所输入图像的图像合成处理的流程图。在例如将过去拍摄的并且已经存储在图像传感器302的外部的图像与图像传感器302新拍摄的图像进行合成时，可以使用图6描述的用于所拍摄图像和所输入图像的图像合成处理。

在图6中，首先，根据例如用户经由控制台电路307发出的指示，来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S601)。接着，将记录电路305中所存储的图像数据经由输入单元112输入至图像传感器302，然后存储至存储器单元109(步骤S602)。当所输入图像数据将与之后将拍摄并读入至图像处理器108的所拍摄图像数据一起经受合成处理时，所输入图像数据需要处于与所拍摄图像数据相同的状态。

具体地，当被读入至图像处理器108的合成前的所拍摄图像数据是尚未被施加压缩处理等的RAW图像数据时，所输入图像数据需要处于相同的状态。此外，在图像处理器108的信号放大器201、基准电平调节单元202和校正单元203对所拍摄图像数据施加了信号放大、基准电平调节、缺陷像素校正处理和黑暗阴影校正处理等之后，将所拍摄图像数据和所输入图像数据进行合成。因此，优选地，所输入图像数据在摄像时被施加了同样的处理之后被输出并存储。

之后，对光学系统301等进行控制，以对图像传感器302的光接收单元104进行曝光(步骤S603)。在经过了预定的累积时间段之后，AD转换器105将光接收单元104所生成的电信号转换成数字图像信号，然后作为所拍摄图像数据被读入至图像处理器108中(步骤S604)。

接着，图像处理器108的图像合成单元205将所拍摄图像数据和已经存储在存储器单元109中的所输入图像数据进行合成(步骤S605)。此时，例如，同时执行用于以适当增益对所输入图像数据进行放大的处理，以使所输入图像数据的诸如累积时间段和感光度设置等的摄像条件与所拍摄图像数据的摄像条件一致。

然后，图像处理器108的显像处理器204对合成图像数据施加诸如白平衡调节和显像处理等的各个类型的图像处理(步骤S606)。最后，将从图像处理器108输出的图像数据从输出单元111输出至图像传感器302外部的记录电路305或显示电路308(步骤S607)，然后结束本处理。

如上所述，根据第一实施例，图像传感器包括用于接收所输入图像数据的输入单元，并且图像传感器中包括的图像处理器可以对所输入图像数据施加各个类型的图像处理。这样，可以在不使用外部的图像处理电路的情况下，进行对从图像传感器输出的图像的再次显像，并且进行诸如对新拍摄的图像与过去拍摄的并且已存储的图像的合成等的使用多个图像的处理。

尽管到目前为止使用图1～6描述了根据第一实施例的摄像设备，但是本发明不限于这种方式，并且可以以各种方式来体现。

例如，在使用图5和6所描述的图像输入时所执行的处理中，使用本摄像设备所拍摄的图像作为所输入图像数据。然而，本发明不限于这种方式，并且可以输入其它摄像设备所拍摄并输出的图像。

在使用图6所描述的用于所拍摄图像和所输入图像的图像合成处理中，根据所拍摄图像数据和所输入图像数据来生成简单合成图像作为图像合成处理的一个示例。然而，本发明不限于这种方式，并且如在高动态范围合成处理(HDR合成处理)中那样，可以例如执行用于在以预定增益对所拍摄图像数据和所输入图像数据各自进行放大之后生成合成图像的处理。

注意，所输入图像的摄像条件和所拍摄图像的摄像条件之间的差异不限于通过例如执行用于以适当增益来对所输入图像数据进行放大的处理来进行调整；例如，可以将以不同的摄像条件的多个类型的所输入图像数据输入并存储至存储器单元109，并且每当进行摄像时，可以根据摄像时所使用的摄像条件来选择并使用适当的所输入图像数据。此外，为了降低随机噪声，可以针对所拍摄图像数据和所输入图像数据执行用于生成平均图像数据的处理。

例如，在用于所拍摄图像和所输入图像的图像合成处理中，可以生成表示所拍摄图像数据和所输入图像数据之间的差异的差异图像。在例如将该方法应用于车载照相机的情况下，可以获得两个图像之间的差异，以检测道路上的障碍物、自行车和行人。还可以在例如如下情况下使方法：图像传感器302的图像处理器108针对通过图像传感器302所进行的摄像所获得的图像数据，使用通过过去的摄像所获得的并且已经存储在图像传感器302的外部的黑色图像数据来施加黑色减少处理。例如，在针对天体摄像的黑色减少处理的情况下，可以通过从用作所拍摄图像数据的天体图像中减去用作所输入图像数据的黑色图像来生成差异图像。

尽管在前述描述中输入了与一个类型的一个图像有关的图像信号来生成差异图像，但是不期望在这方面进行限制。例如，可以将以不同摄像条件的多个黑色图像数据输入并存储至存储器单元109，并且每当进行摄像时，可以根据摄像时所使用的摄像条件来选择并使用适当的黑色图像数据。

第二实施例

现在将说明本发明的第二实施例。图7是示出根据第二实施例的摄像设备的示意结构的框图。如图7所示，通过向图3所示的摄像设备添加光学系统801和第二图像传感器802来实现根据第二实施例的摄像设备。由于其它构件与图3所示的构件相同，因此将省略其描述；在第二实施例中，将图像传感器302称为第一图像传感器302，以与第二图像传感器802相区分。

图8是示出根据第二实施例的第二图像传感器的结构的框图。在图8中，第二图像传感器802包括光接收单元702、模拟/数字(AD)转换器703、输出单元704以及控制电路701。在光接收单元702中，在行和列方向上以二维方式排列包括用于将光转换成电力的光电转换器的多个像素。AD转换器703将光接收单元702的像素所生成的模拟图像信号转换成数字信号(图像数据)，并且输出单元704将从AD转换器703输出的数字图像信号(图像数据)输出至图像传感器802的外部。控制电路701对光接收单元702和AD转换器703中的各个类型的驱动进行控制。

不像图1所示的第一图像传感器302那样，第二图像传感器802不包括图像处理器。因此，在第二实施例中，第二图像传感器802将经由包括透镜和光圈等的光学系统801入射的光转换成电信号，并且将该电信号输出至第一图像传感器302。然后，第一图像传感器302的图像处理器108对该电信号施加各个类型的图像处理。

在第二实施例中，定时信号生成电路303生成用于使第一图像传感器302和第二图像传感器进行工作的信号，并且驱动电路304对光学系统301和801进行驱动。在本实施例中，定时信号生成电路303所生成的信号包括垂直和水平同步信号以及用于设置图像传感器302和802内的各种设置参数的设置信号等。定时信号生成电路303所生成的信号还可以包括例如用于指定其发送目的地的地址信息。由此，通过在所生成的信号中包括用于指定发送目的地的地址信息，信号线可以被共同使用。在图7中，第一图像传感器302和第二图像传感器802并联连接至定时信号生成电路303和控制电路306。然而，其不限于以这种方式连接，并且可以串联连接。在这种情况下，可以将从定时信号生成电路303输入的信号等经由第一图像传感器302而供给至第二图像传感器802。该结构可以简化在连接有两个以上的图像传感器的情况下的控制专用的连接电路。

以下使用图9～13来提供在第二实施例中的摄像设备所执行的各个类型的摄像处理和图像生成处理的详细描述。在第二实施例中，仅需要第一图像传感器302的正常摄像时所执行的处理与根据使用图4所描述的第一实施例的相同，因而将省略其描述。

图9是在将从第二图像传感器802输出的图像数据输入至第一图像传感器302的情况下所执行的摄像处理的流程图，并且第一图像传感器302在其内部对所输入图像数据施加各个类型的图像处理，并且输出所得到的图像数据。

在图9中，首先，根据例如用户经由控制台电路307发出的指示，针对第二图像传感器802来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S901)。接着，对光学系统801等进行控制，以对第二图像传感器802的光接收单元702进行曝光(步骤S902)。在经过了预定的累积时间段之后，AD转换器703将光接收单元702所生成的电信号转换成数字图像信号(图像数据)，然后从输出单元704输出至第二图像传感器802的外部(步骤S903)。注意，由于第二图像传感器802不包括图像处理器，因此尚未对所输出的图像数据施加各个类型的图像校正等。

将从第二图像传感器802输出的图像数据输入至第一图像传感器302(步骤S904)。接着，图像处理器108的信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对输入至第一图像传感器302的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S905)。最后，将从图像处理器108输出的图像数据从输出单元111输出至第一图像传感器302外部的记录电路305或显示电路308(步骤S906)，然后结束本摄像处理。

图10是在第二实施例中的在第一图像传感器302拍摄静止图像并且第二图像传感器802拍摄视频的情况下所执行的摄像处理的流程图。以下描述第一图像传感器302拍摄静止图像而第二图像传感器802正拍摄实时取景图像或视频的典型情况。可选地，第二图像传感器802可以拍摄静止图像，而第一图像传感器302正拍摄实时取景图像或视频。

在图10中，首先，根据例如用户经由控制台电路307发出的指示，针对第二图像传感器802来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S1001)。接着，对光学系统801等进行控制，以对第二图像传感器802的光接收单元702进行曝光，并且开始实时取景图像拍摄或视频拍摄(步骤S1002)。

AD转换器703将光接收单元702所生成的每帧电信号转换成数字图像信号(图像数据)，然后从输出单元704输出至第二图像传感器802的外部(步骤S1003)。注意，由于第二图像传感器802没有包括图像处理器，因此尚未对所输出的图像数据施加各个类型的图像校正等。

将从第二图像传感器802输出的图像数据输入至第一图像传感器302(步骤S1004)。接着，图像处理器108的信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对输入至第一图像传感器302的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S1005)。然后，将从图像处理器108输出的图像数据从输出单元111分别在视频拍摄时和实时取景图像拍摄时输出至第一图像传感器302外部的记录电路305和显示电路308(步骤S1006)。

如果用户已经在实时取景图像拍摄或视频拍摄期间经由控制台电路307发出了用于静止图像拍摄的指示(步骤S1007中为“是”)，则第一图像传感器302开始静止图像拍摄。

首先，根据例如用户经由控制台电路307发出的指示，针对第一图像传感器302来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S1008)。接着，对光学系统301等进行控制，以对第一图像传感器302的光接收单元104进行曝光(步骤S1009)。在经过了预定的累积时间段之后，AD转换器105将光接收单元104所生成的电信号转换成数字图像信号(图像数据)，然后读入至图像处理器108中(步骤S1010)。

接着，信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对输入至图像处理器108的图像信号施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S1011)。然后，将从图像处理器108输出的图像信号从输出单元111输出至第一图像传感器302外部的记录电路305或者显示电路308(步骤S1012)。

在静止图像拍摄之后、或者在尚未发出用于静止图像拍摄的指示的情况下(步骤S1007中为“否”)，判断随后是否继续实时取景图像拍摄或视频拍摄(步骤S1013)。如果要继续实时取景图像拍摄或视频拍摄，则摄像操作的序列返回至步骤S1001，以进行针对下一帧的实时取景图像拍摄或视频拍摄；如果不继续实时取景图像拍摄或视频拍摄，则结束摄像操作的序列。

图11是在第二实施例中的在将第一图像传感器302和第二图像传感器802所拍摄的静止图像进行合成的情况下所执行的摄像处理的流程图。例如可以在使用两个图像传感器来生成3D显示用的多个视差图像时使用该摄像方法。在将该方法应用于车载照相机等的情况下，可以基于使用两个图像传感器所获得的视差图像来测量到被摄体的距离。也就是说，可以根据使用三角测量原理从两个图像传感器获得的视差图像，来测量到对象物体的距离。

在图11中，首先，根据例如用户经由控制台电路307发出的指示，针对第一图像传感器302和第二图像传感器802来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S1101)。接着，对光学系统301和801等进行控制，以对第一图像传感器302的光接收单元104和第二图像传感器802的光接收单元702进行曝光(步骤S1102)。在经过了预定的累积时间段之后，AD转换器105将第一图像传感器302的光接收单元104所生成的电信号转换成数字图像信号(图像数据)，然后读入至图像处理器108中作为所拍摄图像数据(S1103)。此外，AD转换器703将第二图像传感器802的光接收单元702所生成的电信号转换成数字图像信号(图像数据)，然后从输出单元704输出至第二图像传感器802的外部(步骤S1103)，并且输入至图像传感器302(步骤S1104)。注意，由于第二图像传感器802没有包括图像处理器，因此尚未对从第二图像传感器802输出的并且输入至图像传感器302的图像数据施加各个类型的图像校正等。

之后，图像处理器108的信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对通过第一图像传感器302所进行的摄像所获得的图像数据和通过第二图像传感器802所进行的摄像所获得的图像数据各自施加诸如信号放大、基准电平调节和缺陷像素校正处理等的各个类型的图像处理。在施加了各个类型的图像处理之后，通过图像处理器108的图像合成单元205对该图像数据对进行合成(步骤S1105)。接着，图像处理器108的显像处理器204对合成图像数据施加诸如白平衡调节和显像处理等的各个类型的图像处理(步骤S1106)。

最后，将从图像处理器108输出的图像数据从输出单元111输出至图像传感器302外部的记录电路305或显示电路308(步骤S1107)，然后结束摄像处理。

图12是在第二实施例中的在将第一图像传感器302和第二图像传感器802所拍摄的同一被摄体的视频合成在一起的情况下所执行的摄像处理的流程图。可以在例如通过交替读出从一个图像传感器输出的图像数据和从另一图像传感器输出的图像数据并且将这些图像数据合成在一起来生成高帧频的视频时使用该摄像方法。

在图12中，首先，根据例如用户经由控制台电路307发出的指示，针对第一图像传感器302和第二图像传感器802来配置诸如感光度、F值和曝光时间段等的摄像条件的初始设置(步骤S1201)。接着，对光学系统301和801等进行控制，以对第一图像传感器302的光接收单元104和第二图像传感器802的光接收单元702进行曝光，并且开始视频拍摄(步骤S1202)。注意，第一图像传感器302和第二图像传感器802以相同帧频以及与周期的一半相对应的相位偏移来进行视频拍摄。

在第一图像传感器302的光接收单元104完成了与一帧相对应的累积的情况下，AD转换器105将光接收单元104所生成的电信号转换成数字图像信号(图像数据)，然后读入至图像处理器108中作为所拍摄图像数据(步骤S1203)。接着，图像处理器108的信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对读入至图像处理器108的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S1204)。将已经施加了信号处理的图像数据存储至存储器单元109(步骤S1205)。

接着，在第二图像传感器802的光接收单元702完成了与一帧相对应的累积的情况下，AD转换器703将光接收单元702所生成的电信号转换成数字图像信号，然后从输出单元704输出至第二图像传感器802的外部(步骤S1206)。注意，由于第二图像传感器802没有包括图像处理器，因此尚未对所输出的图像数据施加各个类型的图像校正等。

将从第二图像传感器802输出的图像数据输入至第一图像传感器302(步骤S1207)。接着，图像处理器108的信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对经由输入单元112从第二图像传感器输入的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、帧间噪声降低处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S1208)。在先前所存储的第一图像传感器302的图像数据之后，将施加了信号处理的该图像数据存储至存储器单元109中(步骤S1209)。

之后，判断随后是否继续视频拍摄(步骤S1210)。如果要继续视频拍摄，则摄像操作的序列返回至步骤S1203，并且重复前述处理。如果不继续视频拍摄，则遮挡第一图像传感器302的光接收单元104和第二图像传感器802的光接收单元702以防止曝光，并且结束视频拍摄(步骤S1211)。然后，将存储器单元109中所存储的视频数据从输出单元111输出至第一图像传感器302外部的记录电路305(步骤S1212)，并且结束摄像操作的序列。

图13是在第二实施例中的在使用第二图像传感器802作为用于确定第一图像传感器302所进行的摄像的摄像条件的辅助部件的情况下所执行的摄像处理的流程图。可以在例如如下情况下使用该处理：第一图像传感器302中所包括的图像处理器108基于来自第二图像传感器802的输出信号来计算被摄体的测光值，并且基于所计算出的测光值来确定第一图像传感器302所进行的摄像的摄像条件。

在图13中，首先，针对第二图像传感器802来配置诸如感光度和曝光时间段等的测量条件的初始设置(步骤S1301)。接着，对光学系统801等进行控制，以对第二图像传感器802的光接收单元702进行曝光，并且开始摄像(步骤S1302)。AD转换器703将光接收单元702所生成的每帧电信号转换成数字图像信号(图像数据)，然后从输出单元704输出至第二图像传感器802的外部(步骤S1303)。注意，由于第二图像传感器802不包括图像处理器，因此尚未对所输出的图像数据施加各个类型的图像校正等。

将从第二图像传感器802输出的图像数据输入至第一图像传感器302(步骤S1304)。然后，图像处理器108的信号分析单元206对来自第二图像传感器802的图像数据进行分析，以计算例如被摄体的亮度值(步骤S1305)。然后，基于计算结果来设置针对第一图像传感器302所进行的摄像的诸如感光度、F值和曝光时间段等的摄像条件(步骤S1306)。接着，对光学系统301等进行控制，以对第一图像传感器302的光接收单元104进行曝光(步骤S1307)。在经过了预定的累积时间段之后，AD转换器105将光接收单元104所生成的电信号转换成数字图像信号(图像数据)，然后读入至图像处理器108中(步骤S1308)。

接着，信号放大器201、基准电平调节单元202、校正单元203和显像处理器204对输入至图像处理器108的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理、白平衡调节和显像处理等的各个类型的图像处理(步骤S1309)。最后，将从图像处理器108输出的图像数据从输出单元111输出至第一图像传感器302外部的记录电路305或显示电路308(步骤S1310)，然后结束摄像处理。

如上所述，根据第二实施例，除了第一实施例中所描述的图像传感器以外，还设置了另一图像传感器，因而可以通过使用图像传感器中所包括的图像处理电路对通过另一图像传感器所进行的摄像所生成的图像数据施加图像处理。也就是说，可以在不使用外部的图像处理电路的情况下，对来自两个图像传感器的图像数据施加图像数据。

此外，将图像处理电路设置在图像传感器内部提供在如下情况下所无法实现的优点：设置在图像传感器外部的一个图像处理电路需要从多个图像传感器接收图像数据作为输入。在从多个图像传感器输出合成图像数据的结果时，这些优点涉及高速化以及电路所需的端子的数量。

上述的本实施例已经介绍了如下典型结构，其中，在该典型结构中，第一图像传感器302包括图像处理器，而第二图像传感器802不包括图像处理器。然而，本实施例不限于这种结构；例如，第二图像传感器802也可以包括与第一图像传感器302同样的图像处理器和输入单元，并且在仅使用一个图像传感器的图像处理器来执行图像处理的情况下，可以是另一图像传感器的图像处理器不工作(也就是说，不接收电力供给，或者置于省电控制下)。

上述的本实施例已经介绍了如下的典型结构，其中，在该典型结构中，摄像设备的控制电路306与第一图像传感器302和第二图像传感器802相独立地设置。然而，本实施例不限于这种结构，并且可以将控制电路306的至少一部分构件内置于第一图像传感器302和第二图像传感器802中。例如，在第一图像传感器302包括定时信号生成电路303作为内置构件的情况下，其向第二图像传感器802供给信号，并且通过第一图像传感器302来控制第二图像传感器802。

在两个图像传感器中，一个图像传感器可以拍摄可见光的图像，而另一图像传感器可以拍摄诸如红外线等的不可见光的图像。可选地，在两个图像传感器中，一个图像传感器(例如，用于拍摄可见光的图像的图像传感器)可以拍摄彩色图像，而另一图像传感器(例如，用于拍摄不可见光的图像的图像传感器)可以拍摄黑白图像。

注意，第一图像传感器302和第二图像传感器802可以串联连接至定时信号生成电路303和控制电路306。在这种情况下，将从第二图像传感器802输出的图像数据经由第一图像传感器302记录至记录电路305等。利用这种结构，在将从第二图像传感器802输出的图像数据显示在显示电路308上的情况下，对第一图像传感器302内部的处理的执行存在显示定时延迟的风险。为了减少显示定时的这种延迟，可以控制数据，以绕开第一图像传感器302中的输入单元112和输出单元111。该结构可以在两个以上图像传感器串联连接的情况下减少记录或显示定时的延迟。

第三实施例

现在将说明本发明的第三实施例。根据第三实施例的图像传感器1400被配置成与根据第一实施例和第二实施例的图像传感器302不同。注意，除了将利用后述的图像传感器1400来替换图像传感器302以外，根据第三实施例的摄像设备与在参考图3的第一实施例中所描述的摄像设备、或者在使用图7的第二实施例中所描述的摄像设备相同。由于其它构件与第一实施例和第二实施例中所描述的构件相同，因此将省略其描述。

图14是示出根据第三实施例的图像传感器1400的结构的框图。在图14中，图像传感器1400以第一基板1401和第二基板1402层叠在一起的方式构成。第一基板1401和第二基板1402通过第一基板1401中的连接单元1404和第二基板1402中的连接单元1405之间的多个贯通电极1406而电连接；这里，连接单元1404以与像素组一一对应的方式设置，并且在数量方面与连接单元1405相等，其中该像素组各自包括一个或多个像素。这些贯通电极例如为硅通孔(TSV)。

第一基板1401包括光接收单元1411、连接单元1404和控制电路1410。在光接收单元1411中，在行和列方向上以二维方式排列包括用于将光转换成电力的光电转换器的多个像素1403，并且将光接收单元1411所生成的信号经由连接单元1404发送至第二基板1402。控制电路1410对光接收单元1411中的各个类型的驱动进行控制。在第三实施例的描述中，将假设如下：如图14所示，针对包括2×2或4个像素1403的每个像素组，设置一个连接单元1404。

第二基板1402包括连接单元1405、图像处理器1408、存储器单元109、以及包括输入单元112和输出单元111的接口单元110。由于存储器单元109以及接口单元110的构件(即输入单元112和输出单元111)与参考图1所述的这些构件相同，因此将省略其描述。连接单元1405接收从第一基板发送来的图像信号。

图像处理器1408将经由连接单元1405从第一基板1401发送来的模拟信号转换成数字信号。图像处理器1408还对通过AD转换所获得的图像数据以及从存储器单元109和输入单元112发送来的图像数据施加诸如信号放大、基准电平调节、缺陷像素校正处理和显像处理等的各个类型的图像处理。图像处理器1408包括多个部分图像处理器1407，该多个部分图像处理器1407以与各自包括2×2或4个像素1403的像素组一一对应的方式设置。稍后将使用图16来详细说明图像处理器1408的结构。

以下使用图15来提供根据第三实施例的图像传感器1400中的光接收单元1411及其周边构件的结构的详细描述。图15是示出根据第三实施例的图像传感器1400的第一基板1401的示意结构的框图。

如图15所示，图像传感器1400的第一基板1401包括光接收单元1411和驱动信号线1501，其中，在光接收单元1411中，在行和列方向上排列多个像素1403。控制电路1410经由驱动信号线1501向像素1403发送驱动脉冲。为了简化，以下针对每行或每成对的行来设置一个驱动信号线1501；然而，实际上，可以连接适用于以每个像素为单位对像素1403的驱动进行控制的多个驱动信号线。将组成像素组的2×2或4个像素1403连接至同一连接单元1404。控制电路1410进行控制，以使得共享同一连接单元1404的像素1403所生成信号彼此不混合，并且按顺序将所生成的信号输出至第二基板1402。尽管在图15中以8行和8列对组成光接收单元1411的像素1403进行排列，但是实际上这些像素可以以几千行和几千列排列。

注意，将与在使用图1和2的第一实施例中所描述的图像传感器302的构件相同的构件赋予相同的附图标记，并且将省略其详细描述。

图16是示出根据第三实施例的图像传感器1400的图像处理器1408的结构的框图。在第三实施例中，图像处理器1408包括多个部分图像处理器1407、校正单元1603、图像合成单元1605和显像处理器1604。在第三实施例所论述的示例中，以与各自包括2×2或4个像素1403的像素组一一对应的方式来设置部分图像处理器1407，并且部分图像处理器1407各自包括连接单元1405、AD转换器1600、信号放大器1601、基准电平调节单元1602和信号分析单元1606。AD转换器1600将经由连接单元1405读出的来自像素1403的模拟图像信号转换成数字信号(图像数据)。其它构件与已经在使用图2的第一实施例中所描述的图像传感器302的图像处理器108的构件相同，因而将省略其描述。

注意，在将通过多个部分图像处理器1407中的各个类型的图像处理所获得的多个图像数据合并成一个图像数据之后，执行校正单元1603中的各个类型的校正处理、图像合成单元1605中的图像合成处理以及显像处理器1604中的显像处理。

现在将详细说明根据第三实施例的摄像处理的示例。之后，将假设如下：代替根据第二实施例的具有图7所示的结构的摄像设备中的第一图像传感器302而使用图像传感器1400，并且将图像传感器1400称为第一图像传感器1400，以与第二图像传感器802相区分。以下参考图13的流程图来描述在使用第二图像传感器802作为用于确定第一图像传感器1400的摄像条件的辅助部件的情况下所执行的处理。可以在例如如下的情况下使用该处理：第一图像传感器1400中所包括的图像处理器108基于来自第二图像传感器802的输出信号来计算被摄体的测光值，并且基于所计算出的测光值来确定第一图像传感器1400的摄像条件。

注意，步骤S1301～S1304的处理与第二实施例的相同，因而将省略其描述，其中，在步骤S1301～S1304中，第二图像传感器802获得图像并且将其输出信号输入至图像传感器1400。

接着，图像处理器1408的信号分析单元1606对来自第二图像传感器802的图像数据进行分析，以例如针对像素1403中的每一个来计算被摄体的亮度值(步骤S1305)。然后，基于计算结果来设置针对第一图像传感器1400所进行的摄像的诸如感光度、F值和曝光时间段等的摄像条件(步骤S1306)。

此时，在第三实施例中，根据基于信号分析单元1606的分析结果的亮度值，通过使用在第一图像传感器1400中的诸如电荷累积时间段等的不同摄像条件，可以实现支持更宽动态范围的操作。具体地，经由控制电路103将推测产生大的被摄体亮度值的像素1403控制成在对图像传感器1400进行曝光时具有更短的电荷累积时间段。与此相对，将推测产生小的被摄体亮度值的像素1403控制成具有更长的电荷累积时间段。与正常摄像时所获得的图像相比，这种控制使得能够获得具有更宽动态范围的图像。此外，基于信号分析单元1606对被摄体亮度的分析结果，通过针对各像素1403所分别产生的被摄体亮度中的各被摄体亮度来对部分图像处理器1407的信号放大器所使用的放大因子进行控制，可以实现同样的有益效果。

从图像的获得到第一图像传感器1400的图像数据的输出的随后处理(步骤S1307～S1310)与第二实施例中其描述的相同，因而将省略其描述。

尽管到目前为止使用图14～16说明了根据第三实施例的摄像设备，但是本发明不限于这种方式，并且可以以各种方式来体现。

例如，根据使用图14和15所描述的图像传感器1400的结构，组成像素组的2×2或4个像素1403共享共同的连接单元1404、连接单元1405、贯通电极1406和部分图像处理器1406。然而，本发明不限于这种方式，并且更大数量的像素1403可以共享这些部件，或者一个像素1403可以专门使用这些部件。

例如，根据使用图16所描述的图像处理器1408的结构，各部分图像处理器1407包括对应的基准电平调节单元1602和信号分析单元1606。然而，本发明不限于这些方式，并且图像处理器1408可以包括一个基准电平调节单元和一个信号分析单元。

尽管到目前为止已经使用图1～16说明了根据第一实施例～第三实施例的摄像设备，但是本发明不限于这种方式，并且可以以各种方式来体现。

例如，使用图1所描述的图像传感器302以将两个基板层叠在一起的方式构成。然而，本发明不限于这种方式，并且包括光接收单元104和图像处理器108的全部元件可以安装在一个基板上，或者可以将三个或更多基板层叠在一起。

例如，根据使用图3和7所描述的摄像设备的结构，图像传感器302中所包括的图像传感器108对任意图像传感器所生成的图像数据专门施加各个类型的图像处理，并且没有在任何图像传感器的外部设置图像处理电路。然而，本发明不限于这种方式；图像处理电路可以与图像传感器302分开设置，并且内部的图像处理器108和外部的图像处理电路可以共享针对所拍摄图像数据的各个类型的图像处理的施加。

例如，根据使用图1所描述的图像传感器302的结构，接口单元110使用针对将图像数据从接口单元110输出至图像传感器302的外部、以及将图像数据从图像传感器302的外部输入至接口单元110的共同端子，以减少端子的数量。然而，本发明不限于这种方式，并且输入端子和输出端子可以分开设置，并且彼此独立。特别是在如第二实施例中向第一图像传感器302频繁地输入图像信号的情况下，优选分开设置输入端子和输出端子，而不是使用共同端子来进行输入和输出。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

Claims (29)

1.一种图像传感器，具有相互层叠的第一半导体基板和第二半导体基板，

其中，所述第一半导体基板包括：

多个光电转换器；以及

至少一个模拟/数字转换器，用于将所述多个光电转换器生成的模拟图像信号转换为第一图像数据，以及

其中，所述第二半导体基板包括：

输入单元，被从所述图像传感器的外部输入第二图像数据；

图像处理器，用于对所述第一图像数据或所述第二图像数据施加图像处理；以及

输出单元，用于将通过所述图像处理器施加了所述图像处理的所述第一图像数据或所述第二图像数据输出至所述图像传感器的外部。

2.根据权利要求1所述的图像传感器，其中，所述第一半导体基板和所述第二半导体基板设置在一个封装体中。

3.根据权利要求1所述的图像传感器，其中，所述多个光电转换器进行摄像的定时与将所述第二图像数据从所述图像传感器的外部输入至所述输入单元的定时不同。

4.根据权利要求1所述的图像传感器，其中，还包括供给单元，所述供给单元用于将所述第一图像数据供给至所述图像处理器，其中所述供给单元与所述输入单元是相独立的。

5.根据权利要求1所述的图像传感器，其中，在显示、记录和分析其中至少之一时使用所述第二图像数据。

6.根据权利要求1所述的图像传感器，其中，所述图像处理器对所述第二图像数据施加显像处理。

7.根据权利要求1所述的图像传感器，其中，所述图像处理器执行用于将所述第一图像数据和所述第二图像数据合成在一起的合成处理。

8.根据权利要求7所述的图像传感器，其中，在所述合成处理中，所述图像处理器以不同的增益对所述第一图像数据和所述第二图像数据进行放大。

9.根据权利要求7所述的图像传感器，其中，在所述合成处理中，所述图像处理器对所述第一图像数据和所述第二图像数据进行平均。

10.根据权利要求1所述的图像传感器，其中，所述图像处理器将所述第一图像数据减去所述第二图像数据。

11.根据权利要求1所述的图像传感器，其中，所述图像处理器被设置为多个图像处理器，该多个图像处理器与多个光电转换器组一一对应，各个光电转换器组包括多个光电转换器。

12.根据权利要求11所述的图像传感器，其中，还包括多个连接单元，所述多个连接单元以与多个光电转换器组一一对应的方式设置，各个光电转换器组包括预设数量的光电转换器，

其中，该多个图像处理器以与所述多个连接单元一一对应的方式设置。

13.根据权利要求1所述的图像传感器，其中，共同端子用作所述输入单元的构件和所述输出单元的构件这两者。

14.根据权利要求1所述的图像传感器，其中，所述第一半导体基板和所述第二半导体基板彼此电连接。

15.一种摄像设备，包括：

图像传感器，具有相互层叠的第一半导体基板和第二半导体基板，

其中，所述第一半导体基板包括：

多个光电转换器；以及

至少一个模拟/数字转换器，用于将所述多个光电转换器生成的模拟图像信号转换为第一图像数据，以及

其中，所述第二半导体基板包括：

输入单元，被从所述图像传感器的外部输入第二图像数据，

图像处理器，用于对所述第一图像数据或所述第二图像数据施加图像处理；以及

输出单元，用于将通过所述图像处理器施加了所述图像处理所述第一图像数据或所述第二图像数据输出至所述图像传感器的外部；

显示处理器，其用于从所述图像传感器输出的所述第一图像数据或所述第二图像数据；以及

记录处理器。

16.一种摄像设备，包括：

第一图像传感器；以及

第二图像传感器，

其中，所述第一图像传感器包括：

多个光电转换器，

至少一个模拟/数字转换器，用于将所述第一图像传感器的多个光电转换器生成的模拟图像信号转换为第一图像数据，

输入单元，被从外部输入第二图像数据，

图像处理器，以及

输出单元，用于将通过所述图像处理器施加了所述图像处理的所述第一图像数据或所述第二图像数据输出至外部，以及

其中，所述第二图像传感器包括：

多个光电转换器，以及

至少一个模拟/数字转换器，用于将所述第二图像传感器的多个光电转换器生成的模拟图像信号转换为第二图像数据，以及

其中，所述图像处理器至少对从所述第二图像传感器输入至所述第一图像传感器的所述输入单元的第二图像数据施加图像处理。

17.根据权利要求16所述的摄像设备，其中，还包括控制器，所述控制器用于对所述第一图像传感器和所述第二图像传感器进行控制。

18.根据权利要求16所述的摄像设备，其中，所述第一图像传感器的多个光电转换器、模拟/数字转换器、所述输入单元、所述图像处理器和所述输出单元设置在一个封装体中。

19.根据权利要求16所述的摄像设备，其中，所述第一图像传感器的多个光电转换器进行摄像的定时与将第二图像数据从所述第一图像传感器的外部输入至所述输入单元的定时不同。

20.根据权利要求16所述的摄像设备，其中，在显示、记录和分析其中至少之一时使用第二图像数据。

21.根据权利要求16所述的摄像设备，其中，所述图像处理器对第二图像数据施加显像处理。

22.根据权利要求16所述的摄像设备，其中，所述图像处理器对所述第一图像数据施加图像处理。

23.根据权利要求16所述的摄像设备，其中，所述图像处理器执行用于将所述第一图像数据和第二图像数据合成在一起的合成处理。

24.根据权利要求16所述的摄像设备，其中，所述第一图像传感器拍摄静止图像，并且所述第二图像传感器拍摄视频。

25.根据权利要求16所述的摄像设备，其中，所述第一图像传感器拍摄视频，并且所述第二图像传感器拍摄静止图像。

26.根据权利要求16所述的摄像设备，其中，所述第一图像传感器和所述第二图像传感器以预定视差来拍摄同一被摄体的图像。

27.根据权利要求16所述的摄像设备，其中，所述第一图像传感器和所述第二图像传感器来拍摄帧相位不同的视频。

28.根据权利要求16所述的摄像设备，其中，所述第一图像传感器的模拟/数字转换器和所述图像处理器配置在层叠在一起的不同基板上，并且彼此电连接。

29.根据权利要求16所述的摄像设备，其中，还包括：

图像数据所用的显示处理器；以及

记录处理器。

Images