CN104853108B

CN104853108B - 信息处理设备、信息处理方法、信息处理系统以及成像设备

Info

Publication number: CN104853108B
Application number: CN201510070908.4A
Authority: CN
Inventors: 原彰宏
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-02-18
Filing date: 2015-02-11
Publication date: 2019-08-06
Anticipated expiration: 2035-02-11
Also published as: CN104853108A; US20150237247A1; JP2015154413A; JP6070599B2

Abstract

本公开涉及信息处理设备、信息处理方法、信息处理系统以及成像设备。根据本公开的信息处理设备包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

Description

信息处理设备、信息处理方法、信息处理系统以及成像设备

对相关申请的交叉引用

本申请要求2014年2月18日提交的日本在先专利申请JP 2014-028749的权益，该申请的全部内容以引用的方式并入本文中。

技术领域

本公开涉及具有成像功能的成像设备以及能够应用于所述成像设备的信息处理设备、信息处理方法和信息处理系统。

背景技术

在包括诸如互补金属氧化物半导体(CMOS)之类的成像传感器的成像设备中，全局快门类型和卷帘快门类型被用作电子快门类型。全局快门类型成像设备同时对全部像素执行电子快门操作。因此，在全局快门类型成像设备中，所有像素处的曝光定时相同。卷帘快门类型成像设备对于例如一条水平线执行电子快门操作。因此，在卷帘快门成像设备中，曝光定时被针对例如一条水平线移位。卷帘快门类型还被称为焦平面快门类型。

发明内容

如在日本未经审查的专利申请公报No.2013-081060中所公开的，例如使用了为扩大动态范围而在成像设备中合成具有彼此不同的曝光时段(快门速度)的多个捕获图像的方法。在此方法中，由于合成分别在时间上彼此不叠加的时间段期间捕获到的多个捕获图像，因此在例如被摄体移动的情况下，合成之后的图像质量降低。在日本未经审查的专利申请公报No.2013-081060中所公开的方法只可应用于这样的视频模式：其中，由于来自成像传感器的信号的读取线的数量减少所以读取速度高。如果通过使用在日本未经审查的专利申请公报No.2013-081060中所公开的方法来捕获静止图像，则会发生焦平面失真并且图像质量大程度地降低。

日本未经审查的专利申请公报No.2011-244309提出了这样的方法：通过在成像传感器中以彼此不同的快门速度对第一线和不同于第一线的第二线这两条线执行快门操作，生成多个捕获图像。在此方法中，在成像传感器中安排信号的累积时段中的开始时间，从而在成像开始时多个捕获图像之间的时滞不会发生。然而，由于合成空间坐标中彼此不同的两条线的图像，所以可能生成不自然的图形。合成之前的捕获图像的垂直线的数量减少一半。

希望提供快速地生成具有彼此不同的快门速度的多个捕获图像的信息处理设备、信息处理方法、信息处理系统以及成像设备。

根据本公开的一实施例的信息处理设备包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

根据本公开的一实施例的信息处理方法使图像处理部基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

根据本公开的一实施例的信息处理系统包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

根据本公开的实施例的信息处理系统可以包括成像设备，所述成像设备被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据。所述图像处理部可以基于从所述成像设备输出的所述多个捕获图像数据来生成第一图像和第二图像。

根据本公开的一实施例的成像设备包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

根据本公开的实施例的成像设备可以包括传感器部，所述传感器部被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据。图像处理部可以基于从所述传感器部输出的所述多个捕获图像数据来生成第一图像和第二图像。

根据本公开的实施例的信息处理设备、信息处理方法、信息处理系统或成像设备基于第一曝光时段生成第一图像，并且基于包括第一曝光时段的第二曝光时段生成第二图像。

根据本公开的实施例的信息处理设备、信息处理方法、信息处理系统或成像设备，由于第一图像是基于第一曝光时段生成的，第二图像是基于包括第一曝光时段的第二曝光时段生成的，所以可以快速地生成具有彼此不同的快门速度的多个捕获图像。

效果不特别限于上述效果，并可以是在本公开中所描述的效果。

附图说明

图1是示出了根据本公开的实施例的成像设备的配置示例的框图；

图2是表示图1中所示出的成像设备中的成像传感器的电路配置的示例的电路图；

图3是当利用一层来配置成像传感器的电路时的示意图；

图4是当利用分层结构来配置成像传感器的电路时的示意图；

图5是示出了成像传感器中的曝光定时的示例的图示；

图6是表示捕获图像的合成处理的示例的流程图；

图7是表示曝光处理和存储器记录处理的示例的流程图；

图8是表示从图7中的过程继续的处理的示例的流程图；

图9是示出了捕获图像的生成处理的第一示例的图示；

图10是示出了捕获图像的生成处理的第二示例的图示；

图11是示出了捕获图像的生成处理的第三示例的图示；

图12是示出了根据第一变型例的成像设备的配置示例的框图；

图13是示出了根据第二变型例的信息处理设备和信息处理系统的配置示例的框图；

图14是示出了使用机械快门来执行成像的第一比较例中的曝光定时的示例的图示；以及

图15是示出了使用电子焦平面快门方法代替使用机械快门来执行成像的第二比较例中的曝光定时的示例的图示。

具体实施方式

下面，将参考各个附图来详细描述本公开的各实施例。将按下列顺序来进行描述。

1.配置

1.1成像设备的整体配置的示例

1.2传感器部(成像传感器)的配置示例

2.操作

2.1比较例中的曝光定时的示例

2.2图像合成处理的示例

3.效果

4.变型例

4.1第一变型例

4.2第二变型例(信息处理系统的配置示例)

5.其它实施例

1.配置

1.1成像设备的整体配置的示例

图1是示出了根据本公开的实施例的成像设备1的整体配置的示例的框图。

成像设备1包括成像传感器100、照相机控制和信号处理部200以及接口116。接口116能够在照相机控制和信号处理部200和成像传感器100之间传输诸如图像数据和各种控制信号之类的信号。

成像传感器100包括像素阵列部111和外围电路部110。外围电路部110包括A/D转换部(模数转换器(ADC))113以及帧存储器115。照相机控制和信号处理部200包括合成处理部201、照相机信号处理部202以及照相机控制部203。

图1示出了分层结构，其中在彼此不同的层上形成像素阵列部111和外围电路部110。然而，可以制造在一层上形成像素阵列部111和外围电路部110的结构。另外，可以制造三层或更多层的多层结构，其中在彼此不同的层上形成外围电路部110的ADC 113和帧存储器115。像素阵列部111和外围电路部110电连接，像素阵列部111的信号(通过执行光的光电转换而获得的信号)被作为电信号传输到外围电路部110。

像素阵列部111充当包括以矩阵形式排列的多个像素的像素部。像素阵列部111可以具有向每个像素分配具有一种颜色的滤色器的拜耳阵列，或可以具有向每一个像素分配具有多种颜色的滤色器的结构。

分别为像素阵列部111中的每个像素列提供了多个ADC 113。分别为每一区域提供多个ADC 113，像素阵列部111以预定义的单位被分成多个区域，对于每一个区域执行AD转换，从而希望提高执行并行处理的能力，并且获得以高帧速率执行AD转换的能力。希望获得用于以例如240fps对全部像素执行处理的能力。最终，可以以向一个像素分配一个ADC 113的方式安装ADC 113。

帧存储器115充当存储部，其中可以通过多个帧以高速度记录从ADC 113输出的全部像素的像素数据。提供了能够在成像传感器100中以高速度记录的帧存储器115，当从成像传感器100向照相机控制和信号处理部200输出数据时，数据被慢慢地从成像传感器100传输。相应地，可以避免接口116中的传输速度极限。从而，可以提高传输路径设计中的自由度，并且在大规模集成电路(LSI)中执行信号处理的处理速度可以或可以不提高到传输速度极限。

如稍后将描述的，合成处理部201充当这样的图像处理部：被配置成基于第一曝光时段生成第一图像并基于第二曝光时段(包括第一曝光时段)生成第二图像。如稍后将描述的，成像传感器100能够通过帧存储器115，向合成处理部201输出多个捕获图像数据。多个捕获图像数据具有彼此不同的曝光开始定时。如稍后将描述的，合成处理部201基于多个捕获图像数据生成第一图像和第二图像，所述多个捕获图像数据是从成像传感器100输出的并具有彼此不同的曝光开始定时。

照相机信号处理部202执行一般的照相机显影处理，并将图像数据输出到监视器、记录设备(未示出)等等。一般的照相机显影处理可以是指诸如缺陷校正、黑电平调整、去马赛克处理、白平衡处理、伽马校正处理以及jpeg压缩之类的处理。

照相机控制部203控制整个成像设备1，并基于用户的指令执行设置成象条件等的处理。

1.2传感器部(成像传感器)的配置示例

图2表示成像传感器100的电路配置的示例。图2中所示出的成像传感器100是指互补金属氧化物半导体(CMOS)成像传感器、电荷耦合器件(CCD)成像传感器等等，并是指捕获被摄体并获得捕获图像的数字数据的成像元件。

如图2所示，成像传感器100可以包括控制部101、像素阵列部111、选择部112、ADC113以及恒流电路部114。

控制部101控制成像传感器100的相应的部分，并执行与读取图像数据(像素信号)相关的处理等等。

像素阵列部111是指这样的像素区：以矩阵(阵列)形式排列具有诸如光电二极管之类的光电转换元件的像素配置。像素阵列部111被控制部101控制，使得各像素接收来自被摄体的光，并对入射光执行光电转换以累积电荷，在各像素中累积的电荷在预定义的定时被作为像素信号输出。

像素121和像素122是布置在像素阵列部111中的像素组中彼此垂直地相邻的两个像素的示例。像素121和像素122是同一列中的一行以及随后一行中的像素。在图2中的示例的情况下，如在像素121和像素122所示，每一个像素的电路都包括一个光电转换元件和四个晶体管。每一个像素的电路都可以具有任何配置，并可以具有除图2中所示出的示例以外的配置。

一般像素阵列对于每一列包括一条用于像素信号的输出线。像素阵列部111对于每一列包括两条输出线(具有两条路线)。一列中的像素电路每隔一行地交替地连接到两条输出线。例如，从顶部开始奇数编号行中的像素的电路连接到一条输出线，从顶部开始偶数编号行中的像素的电路连接到另一条输出线。在图2的示例中，像素121的电路连接到第一输出线(VSL1)，像素122的电路连接到第二输出线(VSL2)。

为方便描述，图2只示出了一列的输出线。然而，在实践中，为每一列提供类似于图2中的两条输出线。一列中的像素的电路每隔一行地连接到与该列对应的相应的输出线。

选择部112具有被配置成将像素阵列部111的相应的输出线连接到ADC 113的输入端的开关。选择部112根据控制部101的控制，控制连接像素阵列部111和ADC 113。即，通过选择部112，将从像素阵列部111中读取的像素信号提供给ADC 113。

选择部112包括开关131、开关132以及开关133。开关131(选择SW)控制与同一列对应的两条输出线相互连接。例如，如果开关131接通，则第一输出线(VSL1)和第二输出线(VSL2)彼此连接，如果开关131断开，则第一输出线(VSL1)和第二输出线(VSL2)被切断。

稍后将进行详细描述，但是为成像传感器100中的每一输出线提供了一个ADC(列ADC)。相应地，如果开关132和开关133两者都接通，并且如果开关131接通，则同一列上的两条输出线彼此连接，从而一个像素的电路连接到两个ADC。相反，如果开关131断开，则同一列中的两条输出线被切断，从而一个像素的电路连接到一个ADC。即，开关131选择设置为一个像素的信号的输出目的地的ADC(列ADC)的数量。

稍后将进行详细描述，但是开关131控制设置为像素信号的输出目的地的ADC的数量，从而根据ADC的数量，成像传感器100可以输出比之前更多样的像素信号。即，成像传感器100可以实现输出比之前更多样的数据。

开关132控制连接与像素121对应的第一输出线(VSL1)和与第一输出线对应的ADC。如果开关132接通，则第一输出线连接到对应的ADC的比较器的一个输入端。如果开关132断开，则第一输出线和对应的ADC的比较器的一个输入端切断。

开关133控制连接与像素122对应的第二输出线(VSL2)和与第二输出线对应的ADC。如果开关133接通，则第二输出线连接到对应的ADC的比较器的一个输入端。如果开关133断开，则第二输出线和对应的ADC的比较器的一个输入端切断。

选择部112根据控制部101的控制，接通和断开开关131至开关133，由此可以控制设置为一个像素的信号的输出目的地的ADC(列ADC)的数量。

可以省略开关132和开关133(一个或两者)，并且相应的输出线和对应的ADC持续地彼此连接。可以通过开关131至开关133控制输出线和对应的ADC彼此连接或切断，从而比之前有更多的对被设置为一个像素的信号的输出目的地的ADC(列ADC)的数量的选择。即，成像传感器100通过提供开关131至开关133可以比之前输出更多样的像素信号。

图2只通过一列示出了输出线的配置，但是在实践中，选择部112对于每一列具有类似于图2中所示出的配置的配置(开关131至开关133)。即，选择部112根据控制部101的控制，每一列中执行类似于上面的描述的连接控制。

ADC 113对像素信号执行A/D转换，并输出经过转换的信号作为数字数据。从像素阵列部111通过输出线提供像素信号。ADC 113包括与来自像素阵列部111的每一条输出线对应的ADC(列ADC)。即，ADC 113包括多个列ADC。与一条输出线对应的列ADC是指包括比较器、D/A转换器(DAC)和计数器的单斜率ADC。

比较器比较对应的DAC的输出与像素信号的信号值。计数器使计数器的值(数字值)递增，直到像素信号和DAC的输出彼此相等。如果DAC的输出达到信号值，则比较器使计数器停止。此后，由计数器1和计数器2数字化的信号被通过DATA1和DATA2输出到成像传感器100的外部。

对于输出数据之后的下一AD转换，计数器使计数器的值返回到初始值(例如0)。

ADC 113包括对于每一列具有两条路线的列ADC。例如，为第一输出线(VSL1)提供了比较器141(COMP1)、DAC 142(DAC1)、以及计数器143(计数器1)。为第二输出线(VSL2)提供了比较器151(COMP2)、DAC 152(DAC2)、以及计数器153(计数器2)。省略了例图，但是对于其它列的输出线，ADC113包括类似的配置。

在上述配置中可以共同地使用DAC。对于每一条路线，执行DAC的共同使用。即，共同地使用每一列中的同一条路线的DAC。在图2的示例中，与每一列中的第一输出线(VSL1)对应的DAC被共同地用作DAC 142。与每一列中的第二输出线(VSL2)对应的DAC被共同地用作DAC 152。为输出线的每一条路线提供比较器和计数器。

恒流电路部114是指连接到相应的输出线的恒流电路。恒流电路部114由控制部101控制来驱动。由例如金属氧化物半导体(MOS)晶体管等等来配置恒流电路部114的电路。任意地配置电路。然而，在图2中，为了方便描述，为第一输出线(VSL1)提供MOS晶体管161(LOAD1)，为第二输出线(VSL2)提供MOS晶体管162(LOAD2)。

控制部101接收来自外部(例如来自用户)的请求，并选择读取模式。控制部101控制选择部112，并控制到输出线的连接。控制部101可以根据所选读取模式，控制列ADC的驱动。除列ADC的驱动之外，控制部101还根据需要控制恒流电路部114的驱动、或像素阵列部111的驱动(例如读取的速率或定时)。

即，控制部101执行选择部112的控制和除选择部112以外的部分的控制，从而成像传感器100可以在比之前更多样模式下操作。相应地，成像传感器100可以输出比之前更多样的像素信号。

图2中所示出的相应的部分的数量可以是任何数量，只要该数量不是不足的。例如，可以为每一列提供三条或更多条输出线，可以为每一列提供三个或更多个ADC。

如上所述，如果为每一列提供了多个ADC，则存在这样的顾虑：在例如图3中所示出的一层结构中芯片的尺寸增大并且成本升高。从而如图4所示，芯片可以具有分层结构。

在图4的情况下，成像传感器100由多个芯片来配置，这些芯片是像素芯片100-1、以及外围电路芯片100-2和PAD。像素阵列部111主要在像素芯片100-1中形成，而输出电路、外围电路、帧存储器115、ADC 113等等在外围电路芯片100-2中形成。像素芯片100-1中的像素阵列部111的输出线以及驱动线通过通孔(VIA)与外围电路芯片100-2的电路连接在一起。

利用这样的配置，可以缩小芯片的尺寸并降低成本。由于布线层可以具有足够的空间，所以可以容易地进行布线。图像传感器由多个芯片来配置，从而可以优化相应的芯片。例如，在像素芯片中可以通过使用比之前小的布线层，来实现具有降低了的高度的布线层，以防止由于布线层中的光学反射导致量子效率下降。在外围电路芯片中，可以通过多个层来实现布线层，以实现对用于布置的线之间的耦接的措施等等的优化。例如，外围电路芯片中的布线层可以由比像素芯片中的布线层更多的层来配置。

2.操作

图5是示出了根据实施例的成像传感器100中的曝光定时的示例的图示。在图5中，水平轴表示时间，垂直轴表示像素阵列部111的垂直方向上的像素线的位置。图5的示例示出了在曝光时段ta(例如1/60s)期间连续两次执行成像。在时间点t1至时间点t2期间第一次执行成像，在时间点t2至时间点t3期间第二次执行成像。

在根据实施例的成像传感器100中，通过增大要安装的ADC113的数量，读取像素阵列部111中的所有像素的像素数据的时间变短。从而，尽管未使用如将在稍后描述的比较例中的机械快门，但是可以实现具有小焦平面失真的高图像质量。不用机械快门防止了当机械驱动时间完成并连续地执行成像时的响应的劣化。可以缩短从第N次成像的快门操作的结束至第N+1次成像的快门操作的执行的时间。

2.1比较例中的曝光定时的示例

对于在图5中所示出的实施例中的曝光定时，将描述比较例中的曝光定时的示例。

图14示出了使用机械快门来执行成像的第一比较例中的曝光定时的示例。图15示出了未使用机械快门的第二比较例中的曝光定时的示例。在第一和第二比较例中，以例如为每一行只安装一个ADC113的方式配置像素阵列部111。在图14和图15中，水平轴表示时间，垂直轴表示像素阵列部111的垂直方向上的线的位置。图14和图15示出了这样的示例：在与图5中的成像示例对应的曝光时段ta(例如1/60s)期间连续两次执行成像。

在图14中所示出的第一比较例中，例如当对所有像素多次执行曝光时，如果一个快门操作结束，则发生时滞，直到下一快门操作开始。要安装的ADC 113的数量很小，从而在像素阵列部111中非常慢地执行所有像素的像素数据的读取。因此，通过在机械快门的闭合期间慢慢地读取像素数据来避免焦平面失真。通过保持从机械快门的前帘至尾帘的时间间隔恒定，可以使像素的垂直方向上的曝光时段均匀。可以通过增大机械快门的速度(例如将速度设置为1/240s)，减少焦平面失真。

相应地，在图14中所示出的第一比较例中，在用于获得第一捕获图像数据的曝光时段和用于获得第二捕获图像数据的曝光时段之间的时段中需要用于读取像素数据的时间，从而出现不能成像的时间。因此，尽管重叠两个捕获图像数据以获得具有例如1/30s的合成图像，但是合成图像中的移动对象具有不自然的移动，或在合成之前从成像开始到成像结束的时段实际长于1/30s。

在图15中所示出的第二比较例中，由于要安装的ADC 113的数量小并且未使用机械快门，所以在像素的垂直方向上，在曝光定时和像素数据的读取定时之间出现大差异。例如，从像素的顶部至像素的底部的曝光速度和读取速度约为1/10s至1/20s，由此出现焦平面失真。

2.2图像合成处理的示例

图6表示根据实施例的成像设备1中的捕获图像的合成处理的流程示例。首先，照相机控制部203确定诸如曝光时段和成像的次数之类的成像条件(步骤S11)。成像条件可以由成像设备1自动地设置，或可以由用户指定。在成像传感器100中，在成像条件下执行曝光处理和存储器记录处理，在存储器记录处理中，通过曝光处理获得的N个捕获图像数据被记录在帧存储器115中(步骤S12)。捕获图像数据被从帧存储器115传输到合成处理部201(步骤S13)。将存储在帧存储器115中的并是合成处理所需的多个捕获图像数据传输到合成处理部201。合成处理部201基于多个捕获图像数据，执行图像的合成处理(步骤S14)。

在图6的步骤S12中，成像设备1并行地执行例如将通过在第一曝光时段期间执行曝光获得的第一捕获图像数据记录在帧存储器115中的处理，以及稍后将描述的用于获得第二捕获图像数据的曝光处理。

因此，例如在图6的步骤S12中，执行图7和图8中所示出的处理。图8表示从图7中的过程继续的处理的示例。

首先，在成像传感器100中开始第一捕获图像的曝光(步骤S21)。如果第一捕获图像的曝光结束(步骤S22)，则第一捕获图像数据的向帧存储器115的存储器记录处理开始(步骤S23A1)，然后存储器记录处理结束(步骤S24A1)。与第一捕获图像数据的存储器记录处理并行地，开始第二捕获图像的曝光处理(步骤S23B1)，然后曝光处理结束(步骤S24B1)。

然后，如图8所示，第N-1个捕获图像数据向帧存储器115的存储器记录处理开始(步骤S23An-1)，然后存储器记录处理结束(步骤S24An-1)。与第N–1个捕获图像数据的存储器记录处理并行地，开始第N个捕获图像的曝光处理(步骤S23Bn-1)，然后曝光处理结束(步骤S24Bn-1)。

如果第N个捕获图像的曝光结束(步骤S24Bn-1)，则第N个捕获图像数据的向帧存储器115的存储器记录处理开始(步骤S23An)，然后存储器记录处理结束(步骤S24An)。以这种方式，N个捕获图像数据被记录在帧存储器115中。

(捕获图像的生成处理的具体示例)

将参考图9至图11描述希望的捕获图像的生成处理的具体示例。在图9至图11中，水平轴表示时间，垂直轴表示像素阵列部111的垂直方向的像素线的位置。

图9示出了捕获图像的生成处理的第一示例。在图9的示例中，假设由用户指定图6的步骤S11中的成像条件。例如，指定希望的曝光时段(快门速度)和成像的次数。在成像设备1中，执行曝光处理和图像处理以满足由用户所指定的成像条件。成像的次数的上限根据帧存储器115的大小变化。

N个希望的图像的曝光时段是由用户所指定的，并被设置为St1到Stn(按从最短的曝光时段开始的顺序)。为了在希望的曝光时段St1到Stn中的每一个时段期间生成图像，在成像设备1中按如下方式设置当在实践中执行成像时的曝光时段。

当在实践中执行成像时的第一次曝光时段：St1；

当在实践中执行成像时的第二次曝光时段：St2-St1；

…

当在实践中执行成像时的第N个曝光时段：Stn-Stn-1。

图9示出了这样的示例：分别在曝光时段St1，St2以及St3获得的三个图像被指定为用户希望的图像。例如，图9示出了这样的示例：在曝光时段St1期间获得的图像被设置为具有1/60s的第一图像，在曝光时段St2期间获得的图像被设置为具有1/50s的第二图像，在曝光时段St3期间获得的图像被设置为具有1/40s的第三图像。

在此情况下，在成像设备1中，在第一曝光时段St1期间执行成像，在第二曝光时段St2和第一曝光时段St1之间的差异时段(St2-St1)期间执行成像，在第三曝光时段St3和第二曝光时段St2之间的差异时段(St3-St2)期间执行成像。相应地，通过在第一曝光时段St1期间执行成像获得的第一捕获图像数据、通过在差异时段(St2-St1)期间执行成像获得的第二捕获图像数据、以及通过在差异时段(St3-St2)期间执行成像获得的第三捕获图像数据被记录在帧存储器115中。

合成处理部201基于通过在第一曝光时段St1期间执行成像获得的第一捕获图像数据，在由用户所指定的希望的第一曝光时段St1生成第一图像。合成处理部201通过合成第一捕获图像数据和第二捕获图像数据，在由用户所指定的希望的第二曝光时段St2生成第二图像。

用这种方式，最后获得多个图像。在所述多个图像中，至少曝光时段中的第一曝光时段St1被叠加在其它曝光时段上。即，当生成具有彼此不同的曝光时段的多个捕获图像时，在实施例中，成像时间可以部分地重叠。相应地，可以缩短整体成像时间。

可以在合成处理部201中生成具有扩大的动态范围的图像。可以通过例如合成第一曝光时段St1的第一图像和第二曝光时段St2的第二图像，获得具有扩大的动态范围的合成图像。

执行下列方法作为合成处理部201中的捕获图像数据的合成方法。

方法1)简单合成

在不定位的情况下，按指定的数量将捕获图像数据彼此相加。

方法2)定位

可以通过计算帧之间的运动矢量等等并匹配位置和相对于位置的效果，来精确地将捕获图像数据相加。

方法3)动态范围的扩大

当通过将捕获图像数据相加获得的图像在相加之后超出饱和水平时，在不损失与饱和水平的超出量那么多的级别对应的灰度的情况下执行合成，从而预期动态范围会扩大。

图10示出了捕获图像的生成处理的第二示例。在图10的示例中，假设由成像设备1自动地设置图6的步骤S11中的成像条件。例如，通过使用已知方法在成像设备1中确定推荐的快门速度。另外，例如最后生成具有±0.3EV的推荐的快门速度的捕获图像。EV值可以被设置为任何值，并可以由用户指定。

在第二示例中，图像的生成处理和合成处理基本上类似于第一示例中的图像的生成处理和合成处理。首先，以最快的快门速度执行成像，然后顺序地以与差异时段对应的快门速度执行成像。按照-0.3、±0以及+0.3的顺序执行成像。当帧存储器115足够时，可以精细地分配EV值。例如，可以将EV值分配为-0.3、-0.2、-0.1、±0、+0.1、+0.2以及+0.3。当在合成处理部201中执行合成时，可以在成像设备1中指定一个或多个合适的快门速度(例如，按0.1EV将-0.3EV至+0.3EV的值分配为7个值)。然而，可以由用户选择值。

在图10的示例中，当推荐的快门速度是1/100s时，如果EV值的波动使所有快门速度变化，则-0.3、-0.2、-0.1、0、+0.1、+0.2以及+0.3的EV值对应于1/130s、1/120s、1/110s、1/100s、1/90s、1/80s以及1/70s的快门速度。以从这些快门速度中的最快的速度开始的顺序执行成像。

在图10的示例中，按如下方式设置当在成像设备1中实际执行成像时的曝光时段。

实际的成像的第一曝光时段：St1＝1/130s；

实际的成像的第二曝光时段：St2-St1＝(1/130-1/120)s；

实际的成像的第三曝光时段：St3-St2＝(1/120-1/110)s；

实际的成像的第四曝光时段：St4-St3＝(1/110-1/100)s；

实际的成像的第五曝光时段：St5-St4＝(1/100-1/90)s；

实际的成像的第六曝光时段：St6-St5＝(1/90-1/80)s；以及

实际的成像的第七曝光时段：St7-St6＝(1/80-1/70)s。

图11示出了捕获图像的生成处理的第三示例。在帧存储器115中记录的多个捕获图像数据可以是通过以预定时间间隔St0执行曝光获得的图像数据。例如，以短快门速度快速多次地执行成像，并且将多个捕获图像数据记录在帧存储器115中。在合成处理部201中，适当地将多个捕获图像数据相加，以生成希望的快门速度的图像。

图11示出了这样的示例：预定时间间隔st0被设置为1/10000s，并且将1000个捕获图像数据记录在帧存储器115中。相应地，如果将10个捕获图像数据彼此相加，则获得与以1/1000s的快门速度(曝光时段St10)捕获的图像相当的图像。如果将1000个捕获图像数据彼此相加，则获得与以1/10s的快门速度(曝光时段st1000)捕获的图像相当的图像。

3.效果

如上所述，根据实施例，由于第一图像是基于第一曝光时段生成的，第二图像是基于包括第一曝光时段的第二曝光时段生成的，所以可以快速地生成具有彼此不同的快门速度的多个捕获图像。

说明书中所公开的效果只是一个示例，效果不仅限于此，并且可以获得其它效果。这被类似地应用于下列其它实施例和变型例。

4.变型例

4.1第一变型例

图12示出了根据第一变型例的成像设备1A的配置示例。类似于图12中的成像设备1A，可以在成像传感器100中提供合成处理部201。

4.2第二变型例(信息处理系统的配置示例)

图13示出了根据第二变型例的信息处理设备2和信息处理系统的配置示例。如图13所示，信息处理系统可以具有这样的配置：在与成像设备1B分离的信息处理设备2中提供合成处理部201。成像设备1B和信息处理设备2可以通过有线或无线网络彼此连接。可以以所谓的云计算方式执行合成处理部201的处理。例如，可以在诸如因特网之类的网络上的服务器中执行合成处理部201的处理。

5.其它实施例

根据本公开的技术不限于对上述实施例的描述，并且可以作出各种变型例。

例如，本技术可以具有下列配置。

(1)一种信息处理设备包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像，并基于包括第一曝光时段的第二曝光时段生成第二图像。

(2)在根据(1)所述的信息处理设备中，所述图像处理部基于具有彼此不同的曝光开始定时的多个捕获图像数据，生成第一图像和第二图像。

(3)在根据(1)或(2)所述的信息处理设备中，所述图像处理部基于通过在第一曝光时段期间执行成像获得的第一捕获图像数据生成第一图像，并且通过合成第一捕获图像数据和至少一个第二捕获图像数据中来生成第二图像，第二捕获图像数据是通过在第二曝光时段和第一曝光时段之间的差异时段期间执行成像获得的。

(4)在根据(1)到(3)中的任何一个所述的信息处理设备中，所述图像处理部还通过合成第一图像和第二图像生成第三图像。

(5)根据(2)或(3)所述的信息处理设备还包括使得多个捕获图像数据能够被记录到其中的存储部。

(6)在根据(2)所述的信息处理设备中，所述多个捕获图像数据是通过以预定时间间隔执行曝光获得的。

(7)在根据(2)所述的信息处理设备中，所述多个捕获图像数据是通过以基于第一曝光时段以及第二曝光时段和第一曝光时段之间的差异时段获得的时间间隔执行曝光获得的。

(8)一种使图像处理部基于第一曝光时段生成第一图像并基于包括第一曝光时段第二曝光时段生成第二图像的信息处理方法。

(9)一种信息处理系统包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

(10)根据(9)所述的信息处理系统还包括成像设备，所述成像设备被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据，其中所述图像处理部基于从所述成像设备输出的所述多个捕获图像数据生成第一图像和第二图像。

(11)一种成像设备包括图像处理部，所述图像处理部被配置成基于第一曝光时段生成第一图像并基于包括第一曝光时段的第二曝光时段生成第二图像。

(12)根据(11)所述的成像设备还包括传感器部，所述传感器部被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据，其中所述图像处理部基于从所述传感器部输出的所述多个捕获图像数据生成第一图像和第二图像。

(13)在根据(12)所述的成像设备中，所述传感器部包括像素部和多个A/D转换部，所述像素部具有以矩阵形式排列的多个像素，所述多个A/D转换部与所述像素部中的每一个像素列对应地设置。

(14)在根据(13)所述的成像设备中，所述传感器部还包括存储部，所述存储部被配置成通过多个帧记录从A/D转换部输出的像素数据。

(15)在根据(14)所述的成像设备中，并行地执行在所述存储部中记录第一捕获图像数据的处理和曝光处理，第一捕获图像数据是通过在所述传感器部中在第一曝光时段期间执行曝光获得的，所述曝光处理用于在所述传感器部中在第二曝光时段和第一曝光时段之间的差异时段期间获得第二捕获图像数据。

本领域技术人员应当理解，可以根据设计要求要求及其它因素作出各种变型、组合、子组合和更改，只要它们在所附的权利要求或其等同物的范围内。

Claims

1.一种信息处理设备，包括：

图像处理部，被配置成基于第一曝光时段生成第一图像并基于第二曝光时段生成第二图像，其中，第二曝光时段包括第一曝光时段并且第二曝光时段与第一曝光时段部分地重叠，第二曝光时段和第一曝光时段之间的差异时段与第一曝光时段在时间上是连续的，以及

其中，所述图像处理部基于通过在第一曝光时段期间执行成像获得的第一捕获图像数据生成第一图像，并通过合成第一捕获图像数据和至少一个第二捕获图像数据来生成第二图像，第二捕获图像数据是通过在第二曝光时段和第一曝光时段之间的所述差异时段期间执行成像获得的。

2.根据权利要求1所述的信息处理设备，其中

所述图像处理部基于具有彼此不同的曝光开始定时的多个捕获图像数据生成第一图像和第二图像。

3.根据权利要求1所述的信息处理设备，其中

所述图像处理部还通过合成第一图像和第二图像来生成第三图像。

4.根据权利要求2所述的信息处理设备，还包括：

存储部，所述存储部使得所述多个捕获图像数据能够被记录到所述存储部中。

5.根据权利要求2所述的信息处理设备，其中

所述多个捕获图像数据是通过以预定时间间隔执行曝光获得的。

6.根据权利要求2所述的信息处理设备，其中

所述多个捕获图像数据是通过以基于第一曝光时段以及第二曝光时段和第一曝光时段之间的差异时段获得的时间间隔来执行曝光获得的。

7.一种信息处理方法，包括：

使图像处理部基于第一曝光时段生成第一图像并基于第二曝光时段生成第二图像，其中，第二曝光时段包括第一曝光时段并且第二曝光时段与第一曝光时段部分地重叠，第二曝光时段和第一曝光时段之间的差异时段与第一曝光时段在时间上是连续的，以及

其中，基于通过在第一曝光时段期间执行成像获得的第一捕获图像数据生成第一图像，并通过合成第一捕获图像数据和至少一个第二捕获图像数据来生成第二图像，第二捕获图像数据是通过在第二曝光时段和第一曝光时段之间的所述差异时段期间执行成像获得的。

8.一种信息处理系统，包括：

成像设备，被配置成输出捕获图像数据，

9.根据权利要求8所述的信息处理系统，

其中，所述成像设备还被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据，

其中，所述图像处理部基于从所述成像设备输出的所述多个捕获图像数据来生成第一图像和第二图像。

10.一种成像设备，包括：

图像处理部，被配置成基于第一曝光时段生成一图像并基于第二曝光时段生成第二图像，其中，第二曝光时段包括第一曝光时段并且第二曝光时段与第一曝光时段部分地重叠，第二曝光时段和第一曝光时段之间的差异时段与第一曝光时段在时间上是连续的；和

传感器部，被配置成输出捕获图像数据，并包括像素部和多个A/D转换部，所述像素部具有以矩阵形式排列的多个像素，所述多个A/D转换部与所述像素部中的每一个像素列对应地设置，其中，所述传感器部还包括存储部，所述存储部被配置成通过多个帧记录从所述A/D转换部输出的像素数据，

其中，并行地执行在所述存储部中记录第一捕获图像数据的处理和曝光处理，第一捕获图像数据是通过在所述传感器部中在第一曝光时段期间执行曝光获得的，以及所述曝光处理用于在所述传感器部中在第二曝光时段和第一曝光时段之间的所述差异时段期间获得第二捕获图像数据，以及

其中，图像处理部基于第一捕获图像数据生成第一图像，以及通过合成第一捕获图像数据和至少一个第二捕获图像数据来生成第二图像。

11.根据权利要求10所述的成像设备，

其中，所述传感器部还被配置成输出具有彼此不同的曝光开始定时的多个捕获图像数据，

其中，所述图像处理部基于从所述传感器部输出的所述多个捕获图像数据来生成第一图像和第二图像。