CN112188106A - 信息处理装置和信息处理方法 - Google Patents

Abstract

提出了信息处理装置和信息处理方法，由此可以更多地缩短涉及捕捉到的图像的输出的处理时间。信息处理装置包括处理单元，处理以第一数据密度传输的第一数据和以与第一数据密度不同的第二数据密度传输的第二数据。所述第一和第二数据基于从多个像素的各个像素中输出的像素信号。处理单元执行输出基于第一数据的图像的输出处理以及对第二数据的基于第一数据的图像处理中的至少一个。

Description

信息处理装置和信息处理方法

本申请是申请日为2015年2月27日、名称为“信息处理装置和信息处理方法”、申请号为201580021836.2的发明专利申请的分案申请。

技术领域

本公开涉及信息处理装置和信息处理方法。

背景技术

在近些年，装备有图像传感器(诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)传感器)的数字静态照相机和数字摄像机已经变的十分普及。数字静态照相机捕捉静止图像，数字摄像机捕捉动态图像；但是，有可以捕捉动态图像的数字静态照相机和可以捕捉静止图像的数字摄像机。注意，当不需要在下文区分数字静态照相机和数字摄像机时，可以将每个简单地称为数字照相机。

在大多数情况下，上述的这样的数字照相机包括被配置为例如液晶显示器(LCD)的显示单元，并且被配置成在这样的显示单元上显示捕捉到的图像。另外，最近，上述的数字照相机中的一些在捕捉到的图像上自动执行图像处理，诸如从捕捉到的图像上检测人脸的区域并且调整被检测区域的色调。

引证文献列表

专利文献

专利文献1：JP 2013-055589A

发明内容

技术问题

另外，一些最近的数字照相机可以通过增加图像传感器的像素数量来捕捉具有更高分辨率的图像(高分辨率图像)。关于此，图像的数据量由于它具有更高的分辨率而趋于增长。因此，有执行涉及输出捕捉到的图像的处理(例如使得捕捉到的图像被显示在显示单元上以用于用户检查，分析捕捉到的图像，在图像上执行图像处理以及输出图像的处理)所花费的时间也增加的情况。

因此，本公开提出新的改进的信息处理装置和信息处理方法，可以进一步缩短执行涉及捕捉到的图像的输出的处理所花费的时间。

技术方案

根据本公开，设置有信息处理装置，该信息处理装置包括:处理单元，被配置成处理基于从多个像素中的每一个输出的像素信号的以第一数据密度传送的第一数据和以第二数据密度传送的第二数据中的每一个，所述第二数据密度与第一数据密度不同。所述处理单元执行以下处理中的至少一个：输出基于第一数据的图像，以及基于第一数据对第二数据进行图像处理。

根据本公开，设置有信息处理装置，该信息处理装置包括：保持单元，被配置成保持基于从多个像素中的每一个输出的像素信号的数据；以及输出单元，被配置成分别将基于从所述多个像素中的至少一些像素输出的像素信号的第一数据以及基于所述保持单元保持的像素信号的第二数据输出到处理单元。所述处理单元被配置成执行以下处理中的至少一个：基于第一数据的图像的处理，以及基于第一数据执行对于第二数据的图像的处理。。

根据本公开，设置有信息处理方法，包括：处理以第一数据密度传送的第一数据和以与第一数据密度不同的第二数据密度传送的第二数据中的每一个；以及执行以下处理中的至少一个：输出基于获取的第一数据的图像，以及基于第一数据对第二数据执行图像处理。。

有益效果

根据上述的本公开，提供可以进一步缩短执行涉及输出捕捉到的图像的处理所花费时间的信息处理装置和信息处理方法。

注意，不需要限制于上述效果。作为以上效果的补充或替代，可以实现在本说明书中描述的任何效果或可从本说明书中清楚其他效果。

附图说明

图1是用于描述根据比较例的成像装置的示意性配置的示例的例示图。

图2是用于描述根据比较例2的成像装置的处理的流程的例示图。

图3是用于描述根据比较例3的成像装置的处理的流程的例示图。

图4是用于描述根据本公开的实施例的成像装置的概述的例示图。

图5是例示出根据实施例的图像传感器的一部分的配置的示例的框图。

图6是用于描述根据实施例的图像传感器的芯片的配置的示例的例示图。

图7是例示出根据实施例的成像装置的配置的示例的框图。

图8是用于描述根据示例1的成像装置的处理的流程的示例的示意性时序图。

图9是用于描述根据示例2的成像装置的处理的流程的示例的示意性时序图。

图10是用于描述根据示例3的成像装置的处理的流程的示例的示意性时序图。

图11是用于描述根据示例的成像装置的处理的流程的另一个示例的示意性时序图。

图12是用于描述根据实施例的计算机的硬件配置的示例的例示图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。在本说明书和附图中，用相同的参考标号表示基本具有相同功能和结构的结构性元件，并且省略这些结构性元件的重复说明。

注意，将按照以下顺序提供描述。

1.实施例

1.1.问题总结

1.2.概述

1.3.图像传感器的配置

1.4.成像装置的配置

2.示例

2.1.示例1:按照时间序列方式输出具有不同分辨率的图像的示例

2.2.示例2:并行输出具有不同分辨率的图像的示例

2.3.示例3:执行连续拍摄的示例

3.硬件配置

4.结论

<1.实施例>

[1.1.问题总结]

在描述根据本公开的实施例的成像装置之前，将通过参照图1到3描述在比较例中的相关技术的成像装置的示例来总结根据本实施例的成像装置的问题。首先，将参照图1描述根据比较例的成像装置的概述。图1是用于描述根据比较例的成像装置的示意性配置的示例的例示图。注意，以下可以将在图1中例示出的示例称为比较例1。

在图1中，参考标号100a示意性地代表根据比较例1的成像装置中设置的图像传感器。图像传感器100a是捕捉被摄体并且然后获得捕捉到的图像的数字数据的图像传感器，例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。图像传感器100a被配置成包括像素阵列单元111，其中的多个像素被安排成矩阵(阵列)形状。注意，虽然一般也可以包括除了像素阵列单元111以外的电路，但在图1中例示出的示例中省略了除了像素阵列单元111以外的电路的例示以便于理解描述。

另外，参考标号200a示意性地代表在基于来自像素阵列单元111的像素的像素信号供应的图像信号上执行所谓的图像处理的图像处理大规模集成电路(LSI)。例举了例如，黑色电平校正、颜色混合校正、缺陷校正、去马赛克处理、矩阵处理、伽玛(gamma)校正、YC转换等作为图像处理的示例。图像处理单元210示意性地代表由图像处理LSI 200a实现的图像处理功能。注意，虽然图像处理LSI 200a可以包括用于执行除了图像处理以外的其它功能的配置，但除了图像处理单元210以外的其它配置没有在图1中例示出的示例中例示出以便于理解描述。

另外，参考标号n0示意性地代表在图像传感器100a和图像处理LSI 200a之间传送的信号的流动(信号流)。

即，在图1中例示出的根据比较例1的成像装置中，图像传感器100a光电地转换经由未例示出的光学系统元件入射的光，对各个像素的值执行A-D转换，并由此产生指示被摄体的拍摄图像的图像信号。然后，图像传感器100a把产生的图像信号作为流n0输出到图像处理LSI 200a的图像处理单元210。

图像处理LSI 200a获取从图像传感器100a作为流n0输出的图像信号，在获取到的图像信号上执行图像处理，并且使得已经历图像处理的图像信号作为例如预览图像(所谓的直通图像)被显示在没有例示出的显示单元上。因此，用户可以通过显示单元检查拍摄图像。

接下来，将参照图2描述由在图1例示出的成像装置执行的处理的流程的示例，该成像装置中的图像传感器100a曝光被摄体的图像(执行捕捉)并且图像处理LSI 200a读取指示已曝光图像的图像信号。图2是用于描述根据另一个比较例的成像装置的处理的流程的例示图，并且展示了当使用机械的前帘和后帘的所谓的焦平面快门被应用时的示意性时序图的示例。注意，以下可以把在图2中例示出的情况称为比较例2。

在图2中，水平轴代表时间，垂直轴代表像素阵列单元111的行方向。另外，参考标号d910和d911示意性地指示像素阵列单元111的像素的曝光时段。注意，假设由参考标号d910指示的曝光时段代表在由参考标号d911指示的曝光时段之前的被捕捉到的图像的曝光时段。

这里，将聚焦曝光时段d911描述在被摄体的图像被捕捉时执行的一系列处理的流程。首先，在由参考标号d901指示的定时，将所有像素中蓄积的像素信号复位。当完成所有像素的复位时，阻拦光入射到像素上的前帘按照行方向移动，被前帘阻拦的光因此入射到像素上，由此如参考标号d921指示的开始曝光。然后，因为后帘按照行方向移动来追随前面的前帘，后帘阻拦了光入射到像素上，由此曝光结束，如参考标号d931所指示。即，在图2例示出的示例中，关于像素，参考标号d921和参考标号d931之间指示的时段T93对应于像素的曝光时间，并且以行作为单位的像素的曝光开始和结束的定时是不同。

另外，图2中的参考标号d941示意性地指示从像素中的每个读取像素信号的处理。即，在图2中例示出的比较例2中，在完成一系列像素的曝光之后，以行作为单位从像素中的每一个依次地读取像素信号。参考标号T95指示从一系列的像素中读取像素信号的处理时段。

即，在图2例示出的比较例2的情况下，在完成一系列的像素的曝光并且从该系列的像素中读取像素信号之后，产生拍摄图像。换句话说，在图2例示出的比较例2的情况下，在从复位所有像素到完成从一系列的像素中读取像素信号的时段T91a期间，难以输出在曝光时段d911中捕捉到的图像。

注意，可以在时段T91a期间显示在曝光时段d910中捕捉到的图像。但是，当之前捕捉到的图像，例如作为监测图像被显示时，比用户正实际观看的被摄体更早的被摄体图像被输出。缺乏实时特性。

接下来，将参照图3描述由在图1例示出的成像装置执行的处理的流程的另一个示例，该成像装置中的图像传感器100a曝光被摄体的图像(执行捕捉)并且图像处理LSI 200a读指示已曝光图像的图像信号。图3是用于描述根据另一个比较例的成像装置的处理的流程的例示图，并且展示了电子地控制像素的曝光时段，而没有使用机械的前帘和后帘时的示意性时序图的示例。注意，以下可以将在图3中例示出的示例称为比较例3。

在图3中，水平轴代表时间，垂直轴代表像素阵列单元111的行方向。另外，与图2中一样，参考标号d910和d911示意性地指示像素阵列单元111的像素的曝光时段。假设由参考标号d910指示的曝光时段代表在由参考标号d911指示的曝光时间之前的被捕捉到的图像的曝光时间。

在图3例示出的比较例3中，蓄积在像素中的像素信号的复位与像素的曝光的开始同步。即，当以行作为单位依次实行像素的复位并且然后完成像素的复位时，如参考标号d901所指示的迅速开始像素的曝光。另外，像素的曝光的结束与从像素读取像素信号同步。即，当像素的曝光结束，如参考标号d941所指示的迅速开始从这些像素读取像素信号。

利用这个配置，在图3中例示出的比较例3中，可以不用等待所有像素的曝光的完成就开始从像素读取像素信号。因此，相比于在图2中例示出的比较例2，在图3中例示出的比较例3中可以缩短从曝光的开始到从一系列像素中读像素信号的完成的时段T91b。

在另一方面，在图3中例示出的比较例3中，扫描像素中的每个的速度取决于参考标号d941所指示的从像素读取像素信号的速度。因此，例如，当在图1中例示出的流n0的传送速度有限时，随着捕捉到的图像的分辨率增加，扫描速度变得较慢，并且有例如焦平面失真的情况出现。注意，例举了在图像传感器100a和图像处理LSI 200a之间的总线的波段有限的情况作为流n0的传送速度有限的示例。

另外，当对上述的比较例2和3两者中的拍摄图像执行图像处理时，在完成从一系列像素中读取像素信号并且基于像素信号分析图像之后，基于分析的结果执行图像处理。因此，在比较例2和3中，随着拍摄图像的分辨率增加，处理(包括从曝光到读取像素信号以及基于像素信号分析图像的处理)所花费的时间增加，作为结果，输出图像需要的时间增加。

所以，根据本实施例的成像装置旨在进一步缩短执行涉及拍摄图像的输出的处理(诸如使得拍摄图像被显示在显示单元上以用于用户检查以及分析拍摄图像，在图像上执行图像处理和输出图像的处理)所花费的时间。

[1.2.概述]

接下来，将参照图4描述根据本实施例的成像装置的概述。图4是用于描述根据本公开的实施例的成像装置的概述的例示图。注意，图4聚焦图像传感器100和图像处理LSI200例示出根据本实施例的成像装置的示意性配置，未例示出成像装置的其它配置。

如在图4所示，根据本实施例的图像传感器100与根据图1中例示出的比较例1的图像传感器100a不同在前者包括帧存储器190。参考标号n1和n2示意性地指示了在图像传感器100和图像处理LSI 200之间的信号的流动(信号流)。

另外，与在基于图3描述的比例3中一样，根据本实施例的成像装置对像素的曝光时段进行电子地控制，而没有使用机械的前帘和后帘。因此，根据本实施例的成像装置被配置成能够依次从已经完成曝光的像素读取像素信号，而不用等待对所有像素完成曝光。

具体地，在图4中例示出的根据本实施例的成像装置中，图像传感器100对经由未例示出的光学系统元件入射的光执行光电转换，对像素的像素值执行A-D转换，并由此产生指示被摄体的拍摄图像的图像信号。在这时，图像传感器100把基于来自组成像素阵列单元111的多个像素中的至少一些像素的像素信号的图像信号作为流n1输出到图像处理LSI200。

另外，图像传感器100把来自组成像素阵列单元111的多个像素的像素信号暂时地记录在帧存储器190中。然后，图像传感器100依次读取在帧存储器190中记录的像素的像素信号，并且将基于读取到的像素信号的图像信号作为流n2输出到图像处理LSI 200。

利用这个配置，图像传感器100可以把基于来自一些像素的像素信号的低分辨率图像(例如，细化图像)作为流n1以及把基于来自所有像素的像素信号的高分辨率图像作为流n2输出到图像处理LSI 200。

注意，由于图像传感器100可以把来自所有像素的像素信号暂时地储存在帧存储器190中，不需要在相同的定时把流n1和流n2并行地输出到图像处理LSI 200。即，图像传感器100可以在输出流n1之后输出流n2。当然，不必说，图像传感器100可以把流n1和流n2并行地输出到图像处理LSI 200。

因此，图像处理LSI 200也可以，例如，使得作为流n1(低分辨率图像)从图像传感器100先输出的图像信号作为预览图像被显示在显示单元上，并且可以把作为流n2(高分辨率图像)输出的图像信号作为图像数据记录。利用这个配置，根据本实施例的成像装置可以比上述的每个比较例缩短从完成曝光到显示预览图像所花费的时间(换句话说，在对图像成像之后不显示画面的时间)，即使当图像传感器100和图像处理LSI 200之间的传送速度有限时。

另外，作为另一个示例，图像处理LSI 200可以分析作为流n1(低分辨率图像)从图像传感器100先输出的图像信号，并且基于分析结果在作为流n2(高分辨率图像)输出的图像信号上执行图像处理。

即，图像处理LSI 200可以并行地实行分析作为流n1输出的图像信号和获取作为流n2输出的图像信号。另外，由于低分辨率图像的图像信号是作为流n1获取到的，获取将被分析的图像信号所花费的时间和它们的分析所花费的时间两者都可以比在分析所有像素的图像信号时被更多地缩短。因此，根据本实施例的成像装置可以缩短从完成曝光到分析拍摄图像，基于分析结果在拍摄图像上进行图像处理，以及输出经处理的图像所花费的时间。

此外，由于在上述的配置中图像处理LSI 200可以按照时分方式获取流n1和n2，可以使用在相同帧中捕捉到的图像的图像信号作为流n1和n2。因此，同基于在不同帧中捕捉到的图像的信号上的分析结果执行图像处理时相比，根据本实施例的成像装置可以提高图像处理的准确性。

另外，作为再一个示例，图像处理LSI 200可以依次从图像传感器100获取作为流n1的低分辨率图像的图像信号并且基于获取到的图产生动态图像。另外，在这时，图像处理LSI 200可以获取作为流n2的对应于想要的帧(例如，由用户设计的帧)的高分辨率图像的图像信号并且基于获取到的图像信号产生静止图像。

利用这个配置，根据本实施例的成像装置可以同时捕捉动态图和静止图两者并且记录具有比动态图更高分辨率的图像作为静止图像。另外，在这时，图像传感器100输出仅想要的帧的高分辨率图像的图像信号。因此，根据本实施例的成像装置可以把在图像传感器100和图像处理LSI 200之间传送的图像信号的量抑制到最小水平，并且也可以缩短输出每个图像需要的时间。

注意，不需要在同一外壳中设置图像传感器100和图像处理LSI200。在这样的情况下，设置有图像处理LSI 200的装置对应“信息处理装置”的示例。另外，流n1对应用“第一数据密度”传输的“第一数据”的示例，并且流n2对应用“第二数据密度”传输的“第二数据”的示例。此外，用于获取流n1和n2的图像处理单元210的配置对应“获取单元”的示例，用于输出每个基于流n1和n2的图像(例如，预览图像或经历了图像处理的图像)的图像处理单元210的配置对应“处理单元”的示例。

已经参照图4在以上描述了根据本实施例的成像装置的概述。接下来，以下将更多地描述根据本实施例的成像装置。

[1.3.图像传感器的配置]

首先，将参照图5描述根据本实施例的图像传感器的配置的示例，特别聚焦在对经由光学系统元件(未例示出)入射的光进行光电转换，然后各个像素的像素值经历A-D转换，并且由此产生并输出像素信号的配置。图5是例示出根据该实施例的图像传感器的部分配置的示例的框图。在图5中例示出的图像传感器100是捕捉被摄体并且然后获得捕捉到的图像的数字数据的图像传感器，例如，互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器。

如在图5中所示，图像传感器100具有控制单元101、像素阵列单元111、选择单元112、A-D转换器(模拟数字转换器(ADC))113和恒定电流电路单元114。

控制单元101控制图像传感器100的每个单元去实行涉及读取图像数据(像素信号)等的处理。

像素阵列单元111是把具有诸如光电二极管的光电变换器的像素配置安排成矩阵(阵列)形状的像素区域。像素阵列单元111被控制单元101控制，使用像素接收被摄体的光，光电转换入射光并蓄积电荷，并且在预定的定时将蓄积在像素中的电荷作为像素信号输出。

像素121和像素122代表在安排成像素阵列单元111的像素组中垂直方向彼此相邻的两个像素。像素121和像素122是在相同列的连续行中的像素。在图5的示例中，如在像素121和像素122中例示出的，光电变换器和四个晶体管被用于每个像素的电路。注意，每个像素的电路配置是任意的，可以采用除了在图5中例示出的以外的示例。

一般的像素阵列在每个列设置有像素信号的输出线。在像素阵列单元111的情况下，在每个列上设置两个(两个系列)输出线。将在一个列上的像素的电路每隔一行地连接到两个输出线。例如，将在从顶部开始的奇数标号行的像素的电路连接到一个输出线，将在偶数标号行的像素的电路连接到另一个输出线。在图5的示例中，将像素121的电路连接到第一输出线(VSL1)，将像素122的电路连接到第二输出线(VSL2)。

注意，虽然为了便于描述起见，仅在图5例示出针对一个列的输出线，但在实践中同样可以对每个列设置两个输出线。把各个输出线连接到每隔一行的列的像素的电路。

选择单元112具有将像素阵列单元111的输出线连接到ADC 113的输入的开关，并且被控制单元101控制来控制像素阵列单元111和ADC 113的连接。换句话说，将从像素阵列单元111读取的像素信号经由选择单元112供应给ADC 113。

选择单元112具有开关131、开关132和开关133。开关131(选择器SW)控制对应于相同列的两个输出线的连接。例如，当开关131是处于导通状态(ON)时，第一输出线(VSL1)和第二输出线(VSL2)是彼此连接的，当该开关是处于断开状态(OFF)时，第一输出线(VSL1)和第二输出线(VSL2)是不连接的。

虽然以下将描述细节，但图像传感器100针对每个输出线被设置有一个ADC(列ADC)。因此，当开关132和开关133两者都被假设是处于导通状态时，如果开关131是处于导通状态，相同列的两个输出线是连接的，因此一个像素的电路被连接到两个ADC。相反地，如果开关131是处于断开状态时，相同列的两个输出线是不连接的，因此一个像素的电路被连接到一个ADC。即，开关131选择作为一个像素的信号的输出目的地的ADC(列ADC)的数量。

虽然以下将描述细节，如上所述，由于开关131控制作为像素信号的输出目的地的ADC的数量，图像传感器100可以根据ADC的数量更加各种各样地输出像素信号。换句话说，图像传感器100可以实现按照更多样化的方式输出数据。

开关132控制对应于像素121的第一输出线(VSL1)和对应于该输出线的ADC的连接。当开关132是处于导通状态(ON)时，第一输出线和对应的ADC的一个比较器的输入是彼此相连的。另外，当它是处于断开状态(OFF)时，它们是不连接的。

开关133控制对应于像素122的第二输出线(VSL2)和对应于该输出线的ADC的连接。当开关133是处于导通状态(ON)时，第二输出线和对应的ADC的一个比较器的输入是彼此相连的。另外，当它是处于断开状态(OFF)时，它们是不连接的。

根据控制单元101的控制，选择单元112如上所述转换开关131到开关133的状态，因此可以控制作为一个像素的信号的输出目的地的ADC(列ADC)的数量。

注意，可以省略开关132和开关133中的一个或者两个，并且因此可以将每个输出线和对应于该输出线的ADC设置为始终是彼此相连的。但是，由于这些开关控制这些元件的连接和不连接，作为一个像素的信号的输出目的地的ADC的数量的选择范围被加宽。换句话说，通过设置这些开关，图像传感器100可以按照更多样化的方式输出像素信号。

注意，虽然仅在图5中引入了相对于针对一列的输出线的配置，但在实践中，选择单元112针对每个列具有与在图5中例示出的配置类似的配置(开关131到开关133)。即，根据控制单元101的控制，控制选择单元112按照与以上所描述的类似方法针对每个列执行连接。

ADC 113对经由每个输出线从像素阵列单元111供应的每个像素信号执行A-D转换，并且输出信号作为数字数据。ADC 113针对来自像素阵列单元111的输出线中的每个具有ADC(列ADC)。即，ADC113具有多个列ADC。对应于一个输出线的列ADC是具有比较器、D-A转换器(DAC)和计数器的单斜率型ADC。

比较器比较它的DAC的输出和像素信号的信号值。计数器增加计数值(数字值)直到像素信号变成等于DAC的输出。当DAC的输出达到信号值时，比较器停止计数器。此后，把由计数器1和2数字化的信号从DATA1和DATA2输出到图像传感器100的外面。

在对于接下来的A-D转换输出数据之后，计数器将计数值设定成返回到它的初始值(例如0)。

ADC 113针对每个列具有两个系列的列ADC。例如，针对第一输出线(VSL1)设置比较器141(COMP1)、DAC 142(DAC1)以及计数器143(计数器1)，针对第二输出线(VSL2)设置比较器151(COMP2)、DAC 152(DAC2)以及计数器153(计数器2)。虽然未例示出，但是ADC 113针对其它列的输出线具有类似的配置。

但是，这样的配置中包括的DAC可以是共享的。DAC对于每个系列是共享的。即，相同系列的DAC被列共享。在图5的示例中，对应于每个列的第一输出线(VSL1)的DAC作为DAC142被共享，对应于每个列的第二输出线(VSL2)的DAC作为DAC 152被共享.注意，比较器和计数器被提供给输出线的每个系列。

恒定电流电路单元114是连接到每个输出线的恒定电流电路，并且由控制单元101控制驱动。恒定电流电路单元114的电路用例如金属氧化物半导体(MOS)晶体管等配置。虽然电路配置是任意的，但是为了便于描述起见，在图5中，将MOS晶体管161(LOAD1)设置给第一输出线(VSL1)，将MOS晶体管162(LOAD2)设置给第二输出线(VSL2)。

控制单元101从例如外部(诸如用户)接收请求，选择读取模式，并且控制选择单元112来控制与输出线的连接。另外，控制单元101根据已选择的读取模式控制列ADC的驱动。此外，在需要时，控制单元101为了例如读取速率、读取定时等，除了列ADC以外，还控制恒定电流电路单元114的驱动，或者控制像素阵列单元111的驱动。

所以，控制单元101可以不仅控制选择单元112，而且使得除了选择单元112以外的每个单元按照更多样化的模式进行操作。因此，图像传感器100可以按照更多样化的方式输出像素信号。

注意，在图5中例示出的单元的数量可以是任意的，只要它不是不足的。例如，针对每个列可以设置三个或者更多个系列的输出线。另外，通过增加从ADC 132并行输出的像素信号的数量或者ADC 132的数量，并行地输出到外面的像素信号的数量可以增加。

接下来，将参照图6描述根据本实施例的图像传感器100的芯片的配置。如参照图5所述，如果对每个列设置多个ADC，芯片的尺寸可能增加，并且成本可能相应增加。因此，在根据本实施例的图像传感器100中，芯片可以如在图6中所示的层叠。

在图6中，图像传感器100由多个芯片组成，包括用来主要形成像素阵列单元111的像素芯片100-1，形成了输出电路、外围电路、ADC 113等的外围电路芯片100-2，以及焊盘(PAD)。将像素芯片100-1的像素阵列单元111的输出线和驱动线经由通孔(VIA)连接到外围电路芯片100-2的电路。注意，可以在例如输出电路或者外围电路中设置在图4中例示出的帧存储器190。

通过采用上述的配置，可以降低芯片的尺寸，并且可以降低成本。另外，由于布线层的空间是充足的，作为结果，使引出线更容易。此外，通过使用多个芯片，可以优化每个芯片。例如，关于像素芯片，可以利用较小的布线层实现低轮廓以防止由于布线层的光学反射而导致的量子效率的减少，关于外围电路芯片，可以实现多层布线层以使能够优化诸如线间耦合的策略。例如，可以将外围电路芯片的布线层设定成比像素芯片的布线层具有更多的多层。

注意，在背侧照明图像传感器的情况下，在布线层上引起的光学反射不会发生，但通过抑制不必要的布线层的数量的增加，可以抑制布线步骤等的数量的增加，并且可以实现降低成本。

另外，由于芯片的面积等于像素芯片面积，可以把多个ADC安装在外围电路区域而不增加层叠芯片的总面积。

注意，不必说，应用本技术的图像传感器(或成像装置)不限于上述配置，可以采用其它配置。

如上所述，根据本发明的实施例的图像传感器100对经由光学系统元件(未例示出)入射的光进行光电转换，通过对各个像素的像素值执行A-D转换产生像素信号，并从图5中例示出的DATA1和DATA2输出每一个生成的像素信号。另外，图像传感器100使用分路器等对从例如DATA1和DATA2的任何一个(这里假设DATA1)输出的像素信号分路，将像素信号的一个被分路后的组作为图3中例示出的流n1输出到图像处理LSI 200。

另外，图像传感器100暂时地把使用分路器等分路并从DATA1输出的像素信号的其它组与从DATA2输出的像素信号一起记录在帧存储器190中。然后，图像传感器100依次地读取记录在帧存储器190中的像素的像素信号并且将基于读出的像素信号的图像信号作为流n2输出到图像处理LSI 200。注意，控制像素信号关于帧存储器190的输入和输出的主要实体不受特别限制。例如，上述的控制单元101可以执行控制，或者可以设置与控制单元101不同的另一个控制单元。

此外，设置帧存储器190的位置或者帧存储器190的数量不受特别限制，只要可以暂时性地保持从组成像素阵列单元111的像素获取的像素信号即可。例如，通过设置多个帧存储器190，可以并行地实行关于多个帧存储器190中的每个的像素信号的输入和输出。因此，可以缓解由于关于帧存储器190的像素信号的输入和输出所需要的速度引起的处理速度下降。

另外，作为另一个示例，可以在组成像素阵列单元111的像素的像素电路上设置用于暂时性的保持从像素获取的像素信号的高速缓存。利用这个配置，可以更加灵活地控制涉及在像素和帧存储器190之间执行的像素信号的输入和输出的处理或涉及从帧存储器190读取像素信号的处理的执行定时。此外，由于用于将像素信号从每个像素电路写入帧存储器190的引脚的数量增加，也可以更多地加宽在像素电路和帧存储器190之间的总线的频带。

[1.4.成像装置的配置]

接下来，将参照图7描述根据本实施例的成像装置的配置的示例。图7是例示出根据本实施例的成像装置的配置的示例的框图，并且展示了在相同的外壳中设置上述的图像传感器100和图像处理LSI 200的示例。在图7中例示出的成像装置300是对被摄体成像并且将被摄体的图像作为电信号输出的装置。

在图7中例示出的成像装置300具有透镜单元311、CMOS传感器312、操作单元314、控制单元315、图像处理单元316、显示单元317、编解码器处理单元318、以及记录单元319。

透镜单元311由诸如透镜和光圈的光学系统元件组成。透镜单元311由控制单元315控制以调整聚焦于被摄体，收集来自被聚焦位置的光，并将光供应给CMOS传感器312。

CMOS传感器312是用于对被摄体成像的图像传感器，并且由控制单元315控制以对入射光执行光电转换以及对像素的像素值执行A-D转换，并由此获得被捕捉到的被摄体的图像(捕捉到的图像)的数据。控制单元315控制CMOS传感器312以将从成像获得的捕捉到的图像的数据供应给图像处理单元316。

操作单元314被配置有例如滚轮(注册商标)、键、按钮、触摸板等，并且接收来自用户的操作的输入，然后将对应于该操作的输入的信号供应给控制单元315。

控制单元315基于对应于通过操作单元314的用户的操作的输入来控制透镜单元311、CMOS传感器312、图像处理单元316、显示单元317、编解码器处理单元318、以及记录单元319的驱动，以使得单元中的每个执行涉及成像的处理。

图像处理单元316对从CMOS传感器312供应的图像信号执行各种的图像处理，例如，黑色电平校正、颜色混合校正、缺陷校正、去马赛克处理、矩阵处理、伽玛(gamma)校正、YC转换等。图像处理的内容是任意的，可以执行除了这些上述的以外的处理。图像处理单元316将经处理的图像的信号供应给显示单元317和编解码器处理单元318。

显示单元317被配置为例如液晶显示器等，并基于来自图像处理单元316的图像信号显示被摄体的图像。

编解码器处理单元318对来自图像处理单元316的图像信号执行预定方案的编码处理，并且将作为编码处理结果获得的图像数据供应给记录单元319。

记录单元319记录来自编解码器处理单元318的图像数据。图像处理单元316读取记录单元319上记录的图像数据以在需要时供应给显示单元317，然后显示对应的图像。

成像装置300的CMOS传感器312具有与以上参照图5描述的图像传感器100类似的配置。

也就是，CMOS传感器312具有用于选择作为一个像素的信号的输出目的地的ADC(列ADC)的数量的选择电路(转换器)。即，CMOS传感器312可以根据ADC的数量，按照更多样化的方式输出像素信号。因此，成像装置300可以使用这些各种各样的像素信号实现更多样化的处理。

另外，CMOS传感器312包括帧存储器190并使得来自所有像素的像素信号被暂时性的保持在帧存储器190中，并由此可以输出作为不同的流n1和n2的低分辨率图像和高分辨率图像。此外，图像处理单元316对应于以上参照图4描述的图像处理LSI 200的图像处理单元210。因此，图像处理单元316可以使得，例如，将从CMOS传感器312先输出的图像信号(低分辨率图像)作为预览图像显示在显示单元上，并将随后输出的图像信号(高分辨率图像)作为图像数据记录。换句话说，即使当CMOS传感器312和图像处理单元316之间的传送速度有限时，成像装置300可以进一步缩短从完成曝光到显示预览图像所花费的时间。

另外，作为另一个示例，图像处理单元316也可以分析从CMOS传感器312先输出的图像信号(低分辨率图像)，并基于分析的结果对随后输出的图像信号(高分辨率图像)执行图像处理。即，成像装置300可以缩短从完成曝光到分析被捕捉到的图像、基于分析结果对捕捉到的图像进行图像处理、以及输出经处理的图像所花费的时间。

此外，利用上述的配置，图像处理单元316可以使用关于相同的帧的低分辨率图像的分析结果作为对高分辨率图像的图像处理中首先输出的图像。因此，相比于在基于在不同的帧中捕捉到的图像的分析结果实行图像处理时，成像装置300可以进一步提高图像处理的准确性。

<2.示例>

接下来，作为根据本实施例的成像装置的示例，将描述成像装置捕捉被摄体的图像的模式的示例，以及在每个模式中的处理的流程的示例，即，从曝光(成像)被摄体的图像到读取指示被曝光图像的图像信号的处理。

[2.1.示例1：按照时间序列方式输出具有不同分辨率的图像的示例]

首先，将参照图8连同图4中例示出的示意性配置的示例描述根据示例1的成像装置的处理流程的示例。图8是用于描述根据示例1的成像装置的处理流程的示例的示意性时序图。

图8例示出了代表像素的曝光处理的像素控制，代表涉及像素信号关于帧存储器190的输入和输出的处理的存储器控制，以及代表涉及像素信号从图像传感器100到图像处理LSI 200的传送的处理的输出控制之间的关系。在图8中，水平轴代表时间，另外，指示像素控制、存储器控制以及输出控制的时序表的垂直轴按照行的方向代表作为目标像素信号的输出源的像素的位置。

参考标号T11和T12作为帧速率指示根据本实施例的图像传感器100的垂直同步信号的示例。例如，T11约是30帧/秒(fps)，T12约是120帧/秒。注意，如图8中所示，时段T11指示完成一系列像素的曝光所花费的时间，T12对应于扫描一系列像素所需的扫描时段。

另外，参考标号d110到d114示意性地指示像素阵列单元111的像素的曝光时段。即，曝光时段d110到d114中的每个示意性地指示当按照时间序列方式以行作为单位移动开始定时的时候，在像素阵列单元111的像素中的每个处的曝光处理的流程。另外，参考标号T13指示每个像素的曝光时间。

参考标号d210到d213指示在曝光时段d110到d113期间，图像传感器100把从像素输出的像素信号写在帧存储器190中的处理(暂时保持处理)的流程。注意，以下可以将由参考标号d210到d213指示的将像素信号写入帧存储器190的处理简单地描述为“写处理”。

另外，参考标号d310到d313指示图像传感器100把来自组成像素阵列单元111的多个像素中的至少一些像素的像素信号作为在图4中例示出的流n1输出到图像处理LSI 200的处理的流程。注意，以下可以将由参考标号d310到d313指示的图像信号从图像传感器100到图像处理LSI 200的输出处理称为“第一输出处理”。

另外，参考标号d221到d223指示图像传感器100读取在帧存储器190中写入(暂时保持)的像素信号的处理的流程。注意，以下可以将由参考标号d221到d223指示的涉及从图像传感器100读取图像信号的处理简称为“读取处理”。

此外，参考标号d321到d323指示图像传感器100把从帧存储器190读出的像素信号作为在图4中例示出的流n2输出到图像处理LSI200的处理的流程。注意，以下可以将由参考标号d321到d323指示的把从帧存储器190读出的像素信号从图像传感器100输出到图像处理LSI 200的处理称为“第二输出处理”。

如在图8中例示出的，随着曝光时段d111的结束，同步实行写处理d211和第一输出处理d311。即，当完成像素阵列单元111的每个像素处的曝光时(即，当曝光时段d111结束时)，图像处理LSI 200在由写处理d211指示的处理定时依次把像素输出的像素信号写在帧存储器190中。另外，关于来自一些像素的像素信号，图像传感器100把向着帧存储器190输出的像素信号分路，并在由第一输出处理d310指示的处理定时把像素信号中的一些直接输出到图像处理LSI 200。另外，关于其余的被分路的像素信号，图像传感器100把该像素信号写在帧存储器190中。这被类似的应用到在由d110和d112到d114指示的其它曝光时段的结束之后从像素输出的像素信号。

另外，在完成第一输出处理d311之后，图像传感器100在由读取处理d221指示的处理定时依次地读取在写处理211中写在帧存储器190中的像素信号(例如，来自所有像素的像素信号)。然后，图像传感器100在由第二输出处理d321指示的处理定时把从帧存储器190读取到的像素信号输出到图像处理LSI 200。这被类似的应用到在由d212和d213指示的其它写处理中被写在帧存储器190中的像素信号(即，曝光时段d112和d113结束之后输出的像素信号)。

基于以上配置，图像传感器100按照时分的方式将基于来自一些像素的像素信号的图像信号(低分辨率图像)和基于来自所有像素的像素信号的图像信号(高分辨率图像)输出到图像处理LSI 200作为第一输出处理d311和第二输出处理d321。因此，图像处理LSI200可以，例如，使得基于第一输出处理d311先被输出的图像信号(低分辨率图像)作为预览图像被显示在显示单元，并记录基于第二输出处理d321随后被输出的图像信号(高分辨率图像)作为图像数据。所以，即使当图像传感器100和图像处理LSI 200之间的传送速度有限时，根据本示例的成像装置可以进一步缩短从完成曝光到显示预览图像所花费的时间。

另外，图像处理LSI 200可以分析基于第一输出处理d311先被输出的图像信号(低分辨率图像)，并可以基于分析的结果，对基于第二输出处理d321随后被输出的图像信号(高分辨率图像)执行图像处理。所以，根据本示例的成像装置可以进一步缩短从完成曝光到分析被捕捉到的图像、基于分析结果对捕捉到的图像进行图像处理、以及输出经处理的图像所花费的时间。

注意，虽然以上描述了基于在曝光时段d110到d113中获取的像素信号实行第一输出处理d310到d323的示例，但是可以不在具体的曝光时段中获取的像素信号上实行第一输出处理。例如，在图8中例示出的示例中，可以不实行第一输出处理d311。在这个情况下，关于在曝光时段d111中捕捉到的像素信号，仅有高分辨率图像的信号基于第二输出处理d321被输出到图像处理LSI 200。

同样地，针对在具体的曝光时段中获取的像素信号可以不实行第二输出处理。例如，在图8中例示出的示例中，关于在曝光时段d110捕捉到的像素信号，仅有低分辨率图像的信号基于第一输出处理d310被输出到图像处理LSI 200。

另外，当仅有低分辨率图像基于第一输出处理被输出到图像处理LSI 200时，图像传感器100可以不需要执行写处理，即，涉及把信号写在帧存储器190中的处理。

[2.2.示例2:并行输出具有不同分辨率的图像的示例]

接下来，将参照图9连同图4中例示出的示意性配置的示例来描述根据示例2的成像装置的处理的流程的示例。图9是用于描述根据示例2的成像装置的处理的流程的示例的示意性时序图。

图9中的水平轴和垂直轴代表与参照图8描述的比较例1中的水平轴和垂直轴相同的值。另外，图9中的参考标号T11、T12、d110到d114、d210到d213、以及d310到d313与参照图8描述的示例1中的是相同的。

另外，参考标号d231和d233指示在根据示例2的成像装置中图像传感器100读取帧存储器190中写(暂时保持)的像素信号的处理(即读取处理)的流程。

此外，参考标号d331和d333指示在根据示例2的成像装置中图像传感器100将从帧存储器190读出的像素信号作为在图4中例示出的流n2输出到图像处理LSI 200的处理(即第二输出处理)的流程。

从图9的读取处理d231和图8的读取处理d221的比较可以理解，根据本示例的图像传感器100以不同于在图8中例示出的示例1的速度执行读取处理(即从帧存储器190读取像素信号的处理)。这被类似的应用到第二输出处理。即，根据本示例的图像传感器100以不同于在图8中例示出的示例1的速度执行第二输出处理处理(即将从帧存储器190读出的像素信号输出到图像处理LSI 200的处理)。

具体地，根据本示例的图像传感器100经过捕捉两个图像的时段(双倍的时段T11)从帧存储器190读出对于一个图像的像素信号，并将基于读出的像素信号的图像信号输出到图像处理LSI 200。换句话说，根据本示例的图像传感器100以比图8中例示出的示例1中更低的速度执行读取处理和第二输出处理。

另外，从图9中写处理d211和读取处理d231之间的比较中可以理解，根据本示例的图像传感器100依次地读取帧存储器190中写入的像素信号，而不用等待一系列的写处理的完成。然后，图像传感器100并行地执行第二输出处理d331和第一输出处理d311。即，根据本示例的图像传感器100与基于第一输出处理d311被输出到图像处理LSI 200的图像信号并行地将基于从帧存储器190读出的像素信号的图像信号输出到图像处理LSI 200。

利用这个配置，即使当图像传感器100和图像处理LSI 200之间的传送速度有限时，图像传感器100可以并行地将低分辨率图像和高分辨率图像的信号输出到图像处理LSI200。另外，在这时，基于第一输出处理d311输出的图像信号(低分辨率图像信号)在基于第二输出处理d331输出的图像信号(高分辨率图像信号)之前被图像处理LSI 200接收。

因此，图像处理LSI 200可以使得基于第一输出处理d311先被输出的图像信号(低分辨率图像信号)作为预览图像被显示在显示单元上，并将基于第二输出处理d331随后被输出的图像信号(高分辨率图像)作为图像数据记录。注意，这时通过降低第二输出处理的速度，图像传感器100可以经由频带有限的总线将高分辨率图像信号输出到图像处理LSI200。利用这个配置，即使当图像传感器100和图像处理LSI 200之间的传送速度有限时，根据本示例的成像装置可以进一步缩短从完成曝光到显示预览图像所花费的时间。

另外，图像处理LSI 200可以分析基于第一输出处理d311先被输出的图像信号(低分辨率图像)，并可以基于分析的结果在基于第二输出处理d331随后被输出的图像信号(高分辨率图像)上执行图像处理。所以，根据本示例的成像装置可以缩短从完成曝光到分析被捕捉到的图像、基于分析结果对捕捉到的图像进行图像处理、以及输出经处理的图像所花费的时间。

[2.3.示例3:执行连续拍摄的示例]

接下来，作为示例3，将参照图10连同图4中例示出的示意性配置的示例来描述当执行连续拍摄时根据本实施例的成像装置的处理的流程的示例。图10是用于描述根据示例3的成像装置的处理的流程的示例的示意性时序图。

在图10中，水平轴和垂直轴代表与参照图8描述的比较例1中的水平轴和垂直轴相同的值。同样地，在图10中，参考标号T11和T12指示与参照图8描述的比较例1中的参考标号T11和T12相同。

另外，在图10中，参考标号d130指示用于复位蓄积在像素阵列单元111的每个像素中的像素信号的处理。此外，参考标号d141到d147示意性地指示像素阵列单元111的像素的曝光时段。

另外，参考标号d241到d247指示图像传感器100在曝光时段d141到d147的每个中将从像素输出的像素信号写在帧存储器190中的处理(即写处理)的流程。

另外，参考标号d341到d347指示图像传感器100把来自组成像素阵列单元111的多个像素中的至少一些像素的像素信号输出到图像处理LSI 200的处理(即第一输出处理)的流程。

另外，参考标号d251和d252指示图像传感器100读取帧存储器190中写(暂时保持)的像素信号的处理(即读取处理)的流程。

此外，参考标号d351和d352指示图像传感器100将从帧存储器190读出的像素信号输出到图像处理LSI 200的处理(即第二输出处理)的流程。

在图10例示出的示例中，图像传感器100基于写处理d241到d247将在曝光时段d141到d147的每个中获取的像素信号写在帧存储器190中。另外，图像传感器100同步地实行第一输出处理d341到d347和写处理d241到d247。

注意，在这时，不需要图像传感器100对曝光时段d141到d147的每个中获取的所有像素信号实行第一输出处理。例如，如在图10中第一输出处理d341到d347所指示的，图像传感器100可以仅对曝光时段d141到d147的每个中获取的像素信号中的一些像素信号执行第一输出处理。

在完成将在一系列曝光时段d141到d147(即，连续拍摄时段)中获取的像素信号写在帧存储器190中之后，图像传感器100在由读取处理d251和d252指示的处理定时处依次地从帧存储器190读取像素信号。然后，图像传感器100在由第二输出处理d351和d352指示的处理定时处将从帧存储器190读出的像素信号输出到图像处理LSI200。

利用上述配置，图像处理LSI 200可以在基于第二输出处理d351的高分辨率图像之前获取基于第一输出处理d341的低分辨率图像。因此，即使当图像传感器100和图像处理LSI 200之间的传送速度有限时，根据本示例的成像装置可以同样进一步缩短从完成曝光到显示预览图像所花费的时间。

另外，图像处理LSI 200可以分析基于第一输出处理d341先被输出的图像信号(低分辨率图像)，并可以基于分析的结果，对基于第二输出处理d351随后被输出的图像信号(高分辨率图像)执行图像处理。所以，根据本示例的成像装置可以同样缩短从完成曝光到分析捕捉到的图像、基于分析结果在捕捉到的图像上进行图像处理、以及输出经处理的图像所花费的时间。

注意，在图10例示出的示例中，根据本示例的成像装置可以连续拍摄的图像的最大数量是根据用于记录一个图像的像素信号所需要的容量和帧存储器190的容量决定的。

在另一方面，在图10中例示出的示例中，图像传感器100在完成对在一系列曝光时段d141到d147(即连续拍摄时段)中获取的像素信号在帧存储器190中的写处理之后执行读取处理。但是，例如，关于在曝光时段d141中获取的像素信号，开始读取处理d251的定时不受特别地限制，只要该定时晚于写处理d241。因此，图像传感器100不用等待在一系列的曝光时段中获取的像素信号的写处理的完成，就可以开始读取帧存储器190中被写入的像素信号(即读取处理)。

图11例示出了例如图像传感器100开始读取在帧存储器190中写入的像素信号(即读取处理)，而不用等待在一系列曝光时段中获取的像素信号的写处理的完成的示例。在图11中例示出的示例展示了不同于基于图10描述的示例中的读取处理d251到d257和第二输出处理d351到d357的开始定时。

在图11例示出的示例中，例如，当来自像素的像素信号基于写处理d241被写在帧存储器190中时，图像传感器100开始读取处理d251，而不用等待一系列写处理的完成。然后，图像传感器100同步实行第二输出处理d351和读取处理d251。

利用上述的配置，基于写处理d241和d242写入帧存储器190的像素信号在由参考标号t21指示的定时已经基于读取处理d251和d252被从帧存储器190读出。换句话说，从在图11中例示出的示例中的定时t21起，图像传感器100可以在基于读取处理d251和d252读取像素信号之后再次确保帧存储器190中的区域，并且可以重新使用该被确保的区域。

因此，在图11例示出的示例中，通过重新使用在帧存储器190中的从定时t21起被再次确保的区域，例如，图像传感器100可以在曝光时段d148和d149捕捉额外的图像。注意，在这时的图像传感器100可以基于写处理d248和d249，将在曝光时段d148和d149获取的像素信号写在帧存储器190中的被再次确保的区域。

当然，图像传感器100可以通过执行基于在曝光时段d148和d149获取的像素信号的第一输出处理，将低分辨率图像信号输出到图像处理LSI 200。另外，图像传感器100可以基于读取处理d258和d259来读取基于写处理d248和d249写入帧存储器190的像素信号，并且基于第二输出处理d358和d359将像素信号输出到图像处理LSI 200。

如上所述，在图11例示出的示例中，通过根据帧存储器190的容量控制写处理、读取处理以及第二输出处理的处理定时，连续拍摄图像的最大数量可以相比于在图10中例示出的示例被进一步提高。

注意，虽然以上已经描述了连续拍摄的示例，但不必说，根据本示例的技术可以被应用到，例如，在改变的成像条件下连续地捕捉多个图像的所谓包围曝光拍摄。

已经参照图8到图11在以上描述了根据本实施例的成像装置的示例。注意，不必说，以上作为每个示例描述的内容仅是示例，根据本实施例或多个实施例的成像装置的模式不限于以上描述的内容。即，根据本实施例的成像装置的图像传感器100具有帧存储器，针对图像处理LSI 200输出具有不同密度的一段数据(具有不同分辨率的图像信号)，并暂时将其余数据段保持在帧存储器中。然后，图像传感器100从帧存储器读取其余数据段并将该数据输出到图像处理LSI 200。只要如以上描述将具有不同密度的数据段作为在图4中例示出的流n1和n2输出，根据本实施例的成像装置的模式不受特别限制。

<3.硬件配置>

可以通过硬件或者软件实行上述的一系列处理。当通过软件实行这一系列的处理时，将配置软件的程序安装在计算机中。这里，计算机可以是结合诸如在图8中的315的专用硬件的计算机，或可以利用各种各样的已安装程序实行各种各样功能的通用计算机。因此，以下将参照图12描述计算机的硬件配置的示例。图12是用于描述计算机的硬件配置的示例的例示图。

在图12中，计算机400的中央处理单元(CPU)401根据记录在只读存储器(ROM)402中的程序或者从存储单元413载入随机存取存储器(RAM)403的程序实行各种各样的处理。RAM 403也适当地储存CPU 401执行各种各样的处理所需要的数据等。

CPU 401、ROM 402以及RAM 403通过总线404相互连接。总线404也被连接到输入和输出接口410。

将输入和输出接口410连接到包括键盘、鼠标等的输入单元411，包括诸如阴极射线管(CRT)或液晶显示器(LCD)的显示器、扬声器等的输出单元412，配置为硬盘等的储存单元413，配置调制解调器的通信单元414。通信单元414经由包括互联网的网络执行通信处理。

当需要的时候，也将输入和输出接口410与驱动器415连接，诸如磁盘、光盘、磁光盘、或半导体存储器的可移除介质421被适当地安装在其中，当需要的时候，将从介质读出的计算机程序安装在储存单元413中。

当通过软件实行上述的一系列处理时，从网络或者记录介质安装配置该软件的程序。

如图11中所示，记录介质被配置，例如，不仅为在其中记录程序的与设备的主体分离地分布以将程序传递deliver给用户的包括磁盘(包括软盘)，光盘(包括光盘只读存储器(CD-ROM)或数字通用光盘(DVD))、磁光盘(包括一个迷你光盘(MD))，或半导体存储器的可移除介质421，也可以为在其中记录程序的ROM 402，或者在介质被并入装置的主体的状态下被提前传递给用户的存储单元413中包括的硬盘。

注意，由计算机实行的程序可以是按照本说明书中描述的顺序按照时间序列实施处理的程序或者并行地或在诸如当呼叫处理时的需要的定时实施处理的程序。

注意，在本说明书中，写将被记录在记录介质的程序的步骤不需要必须按照与步骤的顺序一致的时间序列执行，相反地，可以包括并行地或者分别地执行的处理。

进一步，在本说明书中，“系统”指多个装置构成的整个装置。

进一步，以上描述成单个装置(或处理单元)的元件可以被分开并配置成多个装置(或多个处理单元)。与此相反，以上描述成多个装置(或多个处理单元)的元件可以被共同地配置成单个装置(或处理单元)。进一步，除了上述的那些以外的元件可以被添加到每个装置(或处理单元)。此外，确定的装置(或处理单元)的元件的一个片段可以被包括在另一个装置(或另一个处理单元)的元件中，只要系统的配置或操作作为整体是基本相同的。换句话说，本公开的实施例不限于上述的实施例，可以在不偏离本公开的范围下，做出各种各样的改变和修正。

<4.结论>

如上所述，根据本实施例的图像传感器具有帧存储器。另外，根据本实施例的图像传感器将基于来自组成像素阵列单元的多个像素中的至少一些像素的像素信号的图像信号输出到图像处理LSI，并暂时地把来自多个像素的图像信号记录在帧存储器中。此外，图像传感器依次地读取帧存储器中记录的像素的像素信号，并且将基于读出的像素信号的图像信号输出到图像处理LSI。

利用这个配置，根据本实施例的图像传感器可以针对图像处理LSI输出例如来自像素阵列单元的低分辨率图像的图像信号，并且可以将高分辨率图像的图像信号与低分辨率图像的图像信号分别地输出给图像处理LSI。

因此，图像处理LSI可以使得从图像传感器先输出的图像信号(低分辨率图像)作为预览图像被显示在显示单元，并记录随后被输出的图像信号(高分辨率图像)作为图像数据。利用这个配置，即使当图像传感器和图像处理LSI之间的传送速度有限时，根据本实施例的成像装置可以进一步缩短从完成曝光到显示预览图像所花费的时间。

另外，作为另一个示例，图像处理LSI也可以分析从图像传感器先输出的图像信号(低分辨率图像)，并基于分析的结果在随后输出的图像信号(高分辨率图像)上执行图像处理。因此，根据本实施例的成像装置可以缩短从完成曝光到分析捕捉到的图像，基于分析结果在捕捉到的图像上进行图像处理，以及输出经处理的图像所花费的时间。

此外，利用上述的配置，图像处理LSI可以使用与在高分辨率图像上执行的图像处理中首先输出的图像相同的帧对应的低分辨率图像的分析结果。因此，根据本实施例的成像装置可以比在不同的帧中捕捉到的图像的分析结果上执行图像处理时更多地提高图像处理中的准确性。

另外，作为再另一个示例，图像处理LSI可以从图像传感器依次获取低分辨率图像的图像信号并且基于获取的图像产生动态图像。此外，在这时，图像处理LSI可以分别地获取对应于想要的帧(例如，由用户设计的帧)的高分辨率图像的图像信号并且基于获取到的图像信号产生静止图像。

利用这个配置，根据本实施例的成像装置可以在相同时间捕捉动态图和静止图两者并且记录具有比动态图更高分辨率的图像作为静止图像。另外，在这时，从图像传感器输出仅针对想要的帧的高分辨率图像的图像信号。因此，根据本实施例的成像装置可以把在图像传感器和图像处理LSI之间传送的图像信号的量抑制到最小的水平，并且可以进一步缩短输出每个图像所需要的时间。

已经参照附图在以上描述了本公开的优选实施例，然而本公开不限于以上示例。本领域的技术人员可以在权利要求范围内找到各种各样的替换实施例和修改，应当理解它们将自然地进到本公开的技术范围内。

进一步，在本说明书中描述的效果仅是例示性和示例性的效果，并不是限定的。即，作为以上效果的补充或替换，根据本公开的技术可以基于本说明书的描述实现对本领域的技术人员清晰的其它效果。

另外，还可以如下配置本技术。

(1)

一种信息处理装置，包括：

处理单元，被配置成处理基于从多个像素中的每一个输出的像素信号的以第一数据密度传送的第一数据和以第二数据密度传送的第二数据中的每一个，所述第二数据密度与第一数据密度不同；

其中所述处理单元执行以下处理中的至少一个：输出基于第一数据的图像，以及基于第一数据对第二数据进行图像处理。

(2)

根据(1)所述的信息处理装置，其中所述处理单元使得基于第一数据的图像作为直通图像被显示在显示单元上，并使得基于第二数据的图像数据被储存在预定的储存单元中。

(3)

根据(1)或(2)所述的信息处理装置，其中所述处理单元基于第一数据、基于像素信号对第二数据执行所述图像处理，该像素信号基于与作为所述第一数据的产生源的像素信号相同的帧。

(4)

根据(1)到(3)的任何一项所述的信息处理装置，其中，在获取多个第一数据的期间，所述处理单元获取多个第二数据，所述第二数据的数量小于第一数据。

(5)

根据(1)到(4)的任何一项所述的信息处理装置，其中所述处理单元获取彼此并行传送的第一数据和第二数据。

(6)

根据(1)到(4)的任何一项所述的信息处理装置，其中所述处理单元以时分的方式获取第一数据和基于像素信号的第二数据，该像素信号基于与作为所述第一数据的产生源的像素信号相同的帧。

(7)

根据(6)所述的信息处理装置，其中所述处理单元在获取第一数据之后，基于像素信号获取第二数据，该像素信号基于与作为第一数据的产生源的像素信号相同的帧。

(8)

根据(1)到(7)的任何一项所述的信息处理装置，其中所述处理单元获取表示在不同条件下捕捉到的图像的多个第一数据，以及获取表示分别对应该多个第一数据的图像中的至少一部分图像的第二数据。

(9)

根据(1)到(8)的任何一项所述的信息处理装置，其中第一数据密度低于第二数据密度。

(10)

根据(9)所述的信息处理装置，其中所述处理单元基于多个第一数据产生动态图像，并基于第二数据产生具有比所述动态图更高分辨率的静止图像。

(11)

根据(10)所述的信息处理装置，其中所述处理单元基于根据基于形成所述动态图像的多个帧中的至少一些帧的所述像素信号的第二数据产生所述静止图像。

(12)

一种信息处理装置，包括：

保持单元，被配置成保持基于从多个像素中的每一个输出的像素信号的数据；以及

输出单元，被配置成分别将基于从所述多个像素中的至少一些像素输出的像素信号的第一数据以及基于所述保持单元保持的像素信号的第二数据输出到处理单元，所述处理单元被配置成执行以下处理中的至少一个：基于第一数据的图像的处理，以及基于第一数据执行对于第二数据的图像的处理。

(13)

根据(12)所述的信息处理装置，其中所述输出单元以比基于一帧的量的所述像素信号的第二数据被保持在所述保持单元中的速度更低的速度输出保持在所述保持单元中的第二数据。

(14)

根据(12)或(13)所述的信息处理装置，其中所述输出单元基于所述多个帧的像素信号输出基于所述多个帧中的至少一些帧的像素信号的第一数据，并在输出第一数据之后输出基于所述保持单元中保持的所述多个帧的像素信号的多个第二数据。

(15)

根据(14)所述的信息处理装置，其中，只要存在基于一个或者多个帧的所述像素信号的第二数据能够被保持的空区域，所述保持单元就保持基于从所述多个图像的每一个输出的像素信号的第二数据。

(16)

一种信息处理方法，包括：

获取以第一数据密度传送的第一数据和以与第一数据密度不同的第二数据密度传送的第二数据中的每一个；以及

执行以下处理中的至少一个：输出基于获取的第一数据的图像，以及基于第一数据对第二数据执行图像处理。

参考符号列表

100：图像传感器

101：控制单元

111：像素阵列单元

112：选择单元

114：恒定电流电路单元

121、122：像素

131、132、133：开关

141,151：比较器

143,153：计数器

161,162：MOS晶体管

190：帧存储器

200：图像处理LSI

210：图像处理单元

300：成像装置

311：透镜单元

312：CMOS传感器

314：操作单元

315：控制单元

316：图像处理单元

317：显示单元

318：编解码器处理单元

319：记录单元

Claims (1)

1.一种信息处理装置，包括：

处理单元，被配置成处理基于从多个像素中的每一个输出的像素信号的以第一数据密度传送的第一数据和以第二数据密度传送的第二数据中的每一个，所述第二数据密度与第一数据密度不同；

其中所述处理单元执行以下处理中的至少一个：输出基于第一数据的图像，以及基于第一数据对第二数据进行图像处理。

Images