CN102387291A - 成像设备、信号处理方法和程序 - Google Patents

Abstract

本发明公开了成像设备、信号处理方法和程序。一种成像设备针对正常图像生成和宽动态范围图像生成不同地控制存储器的输入/输出路径。对于正常图像生成，图像信号在图像校正之后被存储到存储器中和从存储器被读取。对于宽动态范围图像生成，图像信号在图像信号被校正之前被存储在存储器中或从存储器被读取。

Description

成像设备、信号处理方法和程序

技术领域

本发明涉及一种成像设备、信号处理方法和程序。更具体地，其涉及使得能够通过使用具有不同曝光时间的多个图像的图像合成处理来生成具有宽动态范围和高质量的图像的成像设备、信号处理方法和程序。

背景技术

固态成像器件，诸如与摄像机和数码照相机等一起使用的CCD(电荷耦合器件)图像传感器和COMS(互补金属氧化物半导体)图像传感器之类，积累与入射光量对应的电荷，并且执行光电转换，其中输出与所积累的电荷对应的电信号。然而，在光电转换器件中所积累的电荷量存在上限，并且在接收到某一数量以上的光的情况中，所积累的电荷量达到饱和级别，导致所谓的“切割白电平”(clipped white)，其中某一亮度以上的对象区域被设置为饱和辉度级别。

为了防止这样的现象，执行处理，例如通过根据外部光的变化等控制光电转换器件处的电荷积累时段来调节曝光时间，以便控制对最佳值的灵敏度。例如，针对明亮的对象，快门被高速释放以便缩短曝光时间，从而缩短光电转换器件处的电荷积累时段，并且在积累电荷量达到饱和级别之前输出电信号。这样的处理使得能够输出其中与对象相对应的梯度被准确再现的图像。

然而，当对包含明亮的和黑暗的部分的对象成像时，高速释放快门导致黑暗部分处曝光时间不充分，劣化S/N(信号与噪声)比并且图像质量受损。为了准确地再现既存在明亮部分又存在黑暗部分的对象的摄得图像中的明亮部分和黑暗部分辉度级别，在图像传感器上对几乎没有入射光的像素通过长曝光时间实现高S/N(信号与噪声)比，而在有较多光输入的像素处实现避免饱和的处理。

存在使用具有不同曝光时间的多个图像的相关技术。该技术涉及针对黑暗的图像使用长时段曝光图像，并且针对利用短曝光时段将发生切割白电平的图像区域使用短时段曝光图像，以便确定和优化像素电平。通过合成多个不同的曝光图像，可以获得具有宽动态范围并且没有切割白电平的图像。

例如，日本未审查专利申请特开2008-99158号公报和日本未审查专利申请特开2008-227697号公报公开了用于合成具有不同曝光量的多个图像来获取具有宽动态范围的图像的配置。

图1是根据相关技术的成像设备10的框图，其合成通过在每个垂直周期在长曝光和短曝光之间切换成像器件的曝光时间所获得的具有两种灵敏度的图像，并且生成宽动态范围图像。

将描述利用成像设备10来生成宽动态范围图像的处理。经过镜头11输入的光在成像器件12处经理光电转换，输出图片信号在模拟前端13处经历相关双采样处理和AGC(自动增益控制)，并且随后经历A/D(模拟转数字)转换变成数字信号。从模拟前端13输出的数字成像信号被输入信号处理单元20。

在信号处理单元20处，首先，由YRGB生成电路21生成作为辉度信号的Y信号和作为色彩信号的R信号、G信号和B信号，YRGB也称为辉度RGB。从YRGB生成电路21输出的Y信号、R信号、G信号和B信号在第一信号处理单元22处经历适当的信号处理，并且随后向存储器23的写入处理被执行。

存储器23存储在成像器件处具有不同曝光时间的低灵敏度图像和高灵敏度图像，即长曝光图像和短曝光图像。之后，长曝光图像和短曝光图像从存储器23被读出并且被输入到(执行WDR(宽动态范围合成)的)图像合成单元24中，在那儿执行通过图像合成获得宽动态范围的处理。

随后，具有宽动态范围的合成图像被输入图像校正单元25来执行γ校正处理等，例如包括用于将YRGB转换成包含色差信号的YCbCr信号的处理，还包括在第二信号处理单元26和处执行的最终信号处理并且最终输出信号被生成。

注意，通常，第一信号处理单元22执行频率校正、信号电平校正、WB(白平衡)校正等等，第一信号处理单元22和第二信号处理单元26结合对存储器23的控制，执行图像的垂直反转、慢快门/静止快门操作、人手移动补偿、电子缩放等，并且第二信号处理单元26执行峰值切割(peak clipping)、色差信号的生成、OSD(屏幕显示)、输出编码处理等等。

利用通过长曝光图像和短曝光图像的合成处理来生成宽动态范围图像的成像设备，在未被制成宽动态范围图像的正常图像和已被制成宽动态范围的图像之间，来自成像设备10的输出信号电平的额定值是相同的。因此，未被制成宽动态范围图像的正常图像和已被制成宽动态范围图像的图像中的对象的对比度和亮度将依赖于对象的状态而相互不同，并且已被制成宽动态范围图像的图像常常不是令人满意的图像，并且因此，许多布置使得既能够拍摄不构成宽动态范围图像的正常图像又能够拍摄构成宽动态范围图像的图像。许多布置被做出以使得是否制作宽动态范围图像根据对象的状态来选择。

如这里图1中所示，执行通过合成图像来制作宽动态范围图像的处理的图像合成单元24的合成处理必须在图像校正单元25的γ处理之前执行。因此，例如，利用根据相关技术生成作为输出信号的各8比特的Y、Cr和Cb的成像设备，存储器的数据读/写经历所谓422格式的数据格式的读/写，其中辉度信号(Y)和色彩信号(G)、(R)和(B)中的每一个为10比特以上，分辨率为一对色彩信号对两个像素的辉度信号，如图2A和图2B中所示。

如图2A中所示，数据读/写是以422格式执行的，其中像素的增量中的信号被用于辉度信号(Y)，而两个像素的平均值被用于色彩信号(G)、(R)和(B)。图2B图示出在执行以10比特辉度信号(Y)和12比特色彩信号(G)、(R)和(B)执行读/写的情况下为每个信号设置比特的示例。

注意，对于从成像器件读取数据的方法，相关技术包括其中所有像素作为单独的像素被读出的逐行(progressive)读取方法以及其中两个垂直相邻的像素被混合读出的隔行(interlaced)读取方法。

在从成像器件隔行读出的情况中，针对作为隔行显示格式的NTSC和PAL格式的成像器件驱动频率是13.5MHz、14MHz、18MHz等，而在逐行读取的情况中，常常使用这些频率的两倍，即27MHz、28MHz和36MHz。

在从成像器件读取的方法是逐行读取的情况中，对于一次写入必须要执行两次读出以便执行两个图像的合成处理来制作宽动态范围，所以为了具有一个存储器23，存储器必须以至少成像器件的驱动频率的三倍来进行操作，并且在频率为成像器件的驱动频率的两倍的逐行读取的情况中，则为81MHz，约86MHz和108MHz。

为了以422格式执行YRGB的读/写，每个时钟使用50÷2＝25比特的数据，所以或者使用32比特数据宽度的存储器，或者频率必须被进一步加倍为162MHz、约171MHz和216MHz来使用16比特存储器。利用与NTSC或PAL格式相兼容的成像设备，必须存储4个图像以便获取宽动态范围图像，并且尽管即使在逐行的情况下进行操作，少于64MB对于数据大小也是足够的，但是133至166MHz是用于与64MB相对应的存储器的最大频率，所以替代使用133MHz，数据宽度必须为32比特或者必须采用高速存储器。

根据前者，存在这样的问题，例如由于增多的存储器控制线或使用两个存储器装载而引起安装面积增大，由于必须使用几乎没什么需求的存储器装置品种而变得昂贵等等。此外，在将存储器的数据格式降低为16比特或更少的情况中海存在由于不充分的数据分辨率而引起图像质量的劣化的问题，具体地，该图像质量的劣化在不执行用于制作宽动态范围的WDR合成的情况下是显著的。此外，还存在这样的问题：当利用通过在宽动态范围图像和正常图像这两种数据格式之间切换而进行操作的成像设备来进行切换时，生成错误图像。

发明内容

已经发现，期望提供一种成像设备、信号处理方法和程序，从而利用能够拍摄已被制成宽动态范围图像的图像和正常图像这两种图像成像设备，可以降低存储器容量，可以防止在已被制成宽动态范围图像的图像和正常图像这两种图像的拍摄模式之间切换时发生输出错误，并且可以使能平滑的模式切换。

根据本发明一个实施例，提供一种用于图像信号的信号处理单元，包括：第一、第二和第三信号处理单元，存储图像信号的存储器以及第一、第二、第三和第四开关。第一开关连接到第二信号处理单元的输入。第一开关在存储器的输出和第一信号处理单元的输出之间切换。第二开关连接到第三信号处理单元的输入。第二开关在存储器的输出和第二信号处理单元的输出之间切换。第三开关连接到存储器的输入。第三开关在第二信号处理单元的输出和第一信号处理单元的输出之间切换。第四开关连接到存储器的输出。第四开关在第三信号处理单元的输入和第二信号处理单元的输入之间切换。

在另一实施例中，存储器的输入/输出路径被控制。对于正常图像生成，图像信号在图像校正之后被存储到存储器中和从存储器被读取。对于宽动态范围图像生成，图像信号在图像信号被校正之前被存储到存储器中和从存储器被读取。

根据另一实施例，对于正常图像生成，第一开关连接到第一信号处理电路的输出。第二开关连接到存储器的输出。第三开关连接到第二信号处理单元的输出。第四开关连接到第三信号处理单元的输入。

在另一实施例中，对于宽动态范围图像生成，第一开关连接到存储器的输出。第二开关连接到第二信号处理单元的输出。第三开关连接到第一信号处理单元的输出。第四开关连接到第二信号处理单元的输入。

根据又一实施例，第二信号处理单元包括合成单元，该合成单元从存储器中所存储的图像信号生成宽动态范围图像。该合成单元执行图像合成处理。对于正常图像生成，该图像合成处理不被执行。

在又一实施例中，第二信号处理单元包括合成单元，该合成单元从存储器中所存储的图像信号生成宽动态范围图像并且执行图像合成处理。第二信号处理单元还包括图像校正单元和信号处理装置。该图像校正单元校正图像信号。该信号处理装置将图像信号转换成色差信号。对于正常图像生成，该图像合成单元不执行图像合成处理。

在又一实施例中，一种图像处理单元响应于来自控制器的控制信号在正常图像生成操作和宽动态范围图像生成操作之间切换处理。该信号处理装置包括存储器、图像校正单元和切换装置。该存储器存储图像信号。该图像校正单元校正图像信号。所述切换装置连接到存储器和图像校正单元并且切换存储器的到该图像校正单元/从该图像校正单元的输入/输出路径。

在又一实施例中，存储器的输入/输出路径针对正常图像生成和宽动态范围图像生成被不同地控制。对于正常图像生成，图像信号在图像校正单元的图像校正之后被存储在存储器中和从存储器中被读取。对于宽动态范围图像生成，图像信号在图像信号被图像校正单元校正之前被存储在存储器中和从存储器中被读取。

在又一实施例中，一种图像信号处理系统包括存储器、控制单元、信号处理单元和切换单元。信号处理单元包括图像校正单元和图像合成单元。存储器存储图像信号。控制单元执行对存储器的输入/输出路径的信号路径控制。图像校正单元校正图像信号。图像合成单元从存储器中所存储的图像信号生成宽动态范围图像并且执行图像合成处理。切换单元连接到存储器和信号处理单元并且切换存储器的到信号处理单元/从信号处理单元的信号路径。

在又一实施例中，该图像信号处理系统针对正常图像生成和宽动态范围图像生成来控制存储器的输入/输出路径。对于正常图像生成，图像信号在图像校正单元的图像校正之后被存储到存储器中和从存储器被读取。对于宽动态范围图像生成，图像信号在图像信号被合成单元合成并被图像校正单元校正之前被存储到存储器中和从存储器被读取。

在另外的实施例中，对于正常的图像生成，图像合成单元不执行图像合成处理。

本发明的更多目的和优点将从以下对附图中所图示的本发明的优选实施例的描述而显而易见。

附图说明

图1是用于描述通过合成具有两种灵敏度的图像来生成宽动态范围图像的成像设备的配置示例的示图；

图2A和图2B是用于描述成像设备中的存储器中所存储的数据的配置示例的示图；

图3是用于描述根据一个实施例的成像设备的配置示例的示图；

图4是用于描述对于根据一个实施例的成像设备，当用于生成正常图像的正常图像模式被设置时的开关设置和处理的示图；

图5是用于描述对于根据一个实施例的成像设备，当用于生成宽动态范围图像的宽动态范围模式被设置时的开关设置和处理的示图；

图6A和图6B是用于描述根据一个实施例的成像设备的存储器中所存储的数据的格式的示例的示图；

图7是用于描述根据一个实施例的成像设备中的存储器中所存储的数据的格式的示例的示图；

图8是用于描述根据一个实施例的成像设备的利用逐行读出和逐行输出的正常图像生成序列的示图；

图9是用于描述根据一个实施例的成像设备的利用逐行读出和逐行输出的宽动态范围图像生成序列(第一示例)的示图；

图10是用于描述根据一个实施例的成像设备的利用逐行读出和逐行输出的宽动态范围图像生成序列(第二示例)的示图；

图11是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的正常图像生成序列(第一示例)的示图；

图12是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的正常图像生成序列(第二示例)的示图；

图13是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的宽动态范围图像生成序列(第一示例)的示图；

图14是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的宽动态范围图像生成序列(第二示例)的示图；

图15是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的宽动态范围图像生成序列(第三示例)的示图；

图16是用于描述根据一个实施例的成像设备的利用逐行读出和隔行输出的宽动态范围图像生成序列(第四示例)的示图；

图17是用于描述根据一个示例性实施例的成像设备的在利用逐行读出和逐行输出的正常图像的生成和宽动态范围图像的生成之间切换的序列的示图；

图18是用于描述根据一个示例性实施例的成像设备的在利用逐行读出和逐行输出的正常图像的生成和宽动态范围图像的生成之间切换的序列中的开关设置的示图；

图19是用于描述根据一个示例性实施例的成像设备的在利用逐行读出和逐行输出的正常图像的生成和宽动态范围图像的生成之间切换的序列中的开关设置的示图；以及

图20是用于描述在正常图像的生成和宽动态范围图像的生成之间切换的序列中的问题的示图。

具体实施方式

现在将参考附图来描述根据本公开的成像设备、信号处理方法和程序。描述将按以下项目进行。

1.关于成像设备的总体配置示例

2.关于当执行正常图像生成处理和宽动态范围图像生成处理时的设置

3.关于存储器中所存储的数据的格式

4.关于图像生成处理的详细序列

(4-A)利用逐行读出和逐行输出的正常图像生成处理序列

(4-B)利用逐行读出和逐行输出的宽动态范围图像生成序列(第一示例)

(4-C)利用逐行读出和逐行输出的宽动态范围图像生成序列(第二示例)

(4-D)利用逐行读出和隔行输出的正常图像生成序列(第一示例)

(4-E)利用逐行读出和隔行输出的正常图像生成序列(第二示例)

(4-F)利用逐行读出和隔行输出的宽动态范围图像生成序列(第一示例)

(4-G)利用逐行读出和隔行输出的宽动态范围图像生成序列(第二示例)

(4-H)利用逐行读出和隔行输出的宽动态范围图像生成序列(第三示例)

(4-I)利用逐行读出和隔行输出的宽动态范围图像生成序列(第四示例)

(4-J)用于在利用逐行读出和逐行输出的正常图像生成和宽动态范围图像生成之间切换的序列

1.关于成像设备的总体配置示例

图3是图示出根据本公开的成像设备的实施例的框图。尽管本公开将通过成像设备的实施例来进行描述，但是应当记住，本公开不限于成像设备，并且适用于其它形式，包括不具有用于输入成像信号和执行信号处理的成像部分的图像处理装置。

将描述图3中示出的成像设备100的配置和处理。经过镜头101输入的光在成像器件102处经历光电转换。与在成像器件102处生成的图像相对应的电信号在模拟前端103处经历相关双采样处理和AGC(自动增益控制)并且随后经历A/D(模拟转数字)转换变成与图像对应的数字信号。

此外，从模拟前端103输出的数字信号被输入信号处理单元120的YRGB生成单元121，其中作为辉度信号的Y信号和作为色彩信号的R信号、G信号和B信号在YRGB生成单元121处被生成。

从YRGB生成单元121输出的Y信号、R信号、G信号和B信号在第一信号处理单元122处经历适当的信号处理，并且随后被输入开关a(用标号151a表示；以下也称为“开关151a”)的N侧输入端子，和开关c(用标号151c表示；以下也称为“开关151c”)的W侧输入端子。

开关151a的输出被输入图像合成单元123并且在适当时经历图像合成处理，即用于制作宽动态范围图像的处理通过对短曝光图像和长曝光图像进行图像合成处理来执行。注意，当生成正常图像时，图像合成单元123不执行图像合成处理，并且来自第一信号处理单元122的对于第二信号处理单元125处所要执行的第二信号处理具有足够的分辨率的输入被不加改变地输出到图像校正单元(γ校正)124。

注意，第一信号处理单元122输出能够生成关于存储器130进行存储的正常信号(遵循稍后描述的图6A和图6B中的格式1(f1)的数据)，例如YRGB各10比特的信号。

图像校正单元(γ校正)124使各个YRGB信号经历γ校正处理并且将校正后的图像输出给第二信号处理单元125。

第二信号处理单元125执行用于例如转换成包含色差信号的信号(YCbCr)等的处理，并且将处理后的图像输出给开关b(用标号151b表示；以下也称为“开关151b”)的W侧输入端子以及开关151c的N侧输入端子。开关151b的输出被输入给第三信号处理单元126，在那儿最终信号处理被执行，从而生成和输出成像设备输出信号。

开关151c的输出是写入存储器130的数据，并且从存储器130读出的数据被输入开关d(用标号151d表示；以下也称为“开关151d”)。从开关151d的N侧输入端子输出的信号被输入开关151b的N侧输入端子，并且从开关151d的W侧输出端子输出的信号被输入开关151a的W侧输入端子。

注意，利用第一信号处理单元122，执行频率校正、信号电平校正、WB(白平衡)校正等。通常，在第二信号处理单元125处，执行峰值切割、色差信号的生成、校正等，并且在第三信号处理单元126处，执行OSD(屏幕显示)、输出编码处理等等，但是这些信号处理单元的角色在适当时可以改变。

图3中示出的成像设备100具有能够有选择地执行以下处理的配置：

(1)正常图像生成处理，用于将从成像器件102输出的一个图像生成为一个输出图像，以及

(2)WDR(宽动态范围)图像生成处理，其中通过在每个垂直周期在长曝光和短曝光之间切换成像器件102的曝光时间获得的具有两种灵敏度的图像被合成来生成具有宽动态范围的图像。

正常图像生成处理中以期望的亮度输出的对象是当被制成宽动态范围图像时是黑暗的并且具有低对比度的图像。相应地，即使可以制作宽动态范围图像的摄像机也具有其中宽动态范围图像更好的对象条件和其中正常图像更好的对象条件。

利用图3中所示的成像设备100，控制单元105例如通过输入单元106来检测用户设置，并且使能正常图像生成操作和宽动态范围图像生成操作之间的切换。

可替换地，控制可以被实行以使得例如，控制单元105分析例如通过长曝光获得的高灵敏度图像的辉度信号的直方图，并且在确定切割白电平的区域的百分比高的情况下，成像被执行以通过短曝光来执行对低灵敏度的图像的成像。例如，在执行高灵敏度成像时直方图中的切割黑电平和切割白电平的区域小的情况下，判定制作宽动态范围图像是不期望的，并且设置被切换到正常图像拍摄操作。

控制单元105执行有关存储器的访问控制，诸如对寻址设置和访问序列的控制。此外，当在正常图像生成操作和宽动态范围图像生成操作之间切换处理时，例如伴随着到存储器130的输入/输出路径的切换，控制单元105执行信号路径控制。注意控制单元105遵循存储在其本身内部的存储部分或未示出的存储单元中的程序来执行各种处理和控制。

作为控制单元105执行的一个控制的、在正常图像生成操作和宽动态范围图像之间的切换处理的具体处理的示例是如下处理。在其中图像合成单元123处的图像合成处理不被执行的正常图像生成时，信号路径控制被执行来将在图像校正单元(γ校正)124的校正之后的信号设置为用于从存储器130读出或写入其的信号，并且在图像合成单元123处的图像合成处理被执行的宽动态范围图像生成时，信号路径控制被执行来将在图像校正单元(γ校正)124之前的信号设置为用于从存储器130读出或写入其的信号。

成像设备100具有通过用户设置或由控制单元105执行的自动控制来在正常图像生成模式和宽动态范围图像生成模式之间切换的配置。控制单元105执行控制以使得，在正常图像生成模式的情况下，信号处理单元120的开关151a至151d具有N侧连接配置，并且在宽动态范围图像生成模式的情况下，信号处理单元120的开关151a至151d具有W侧连接配置。

此外，在正常图像生成模式的情况下，控制单元105执行控制来停止图像合成单元123处的图像合成处理，并且将来自第一信号处理单元122的输入直接输出给图像校正单元124。

在宽动态范围图像生成模式的情况下，图像合成单元123处的图像合成处理被执行。图像合成单元123通过在通过长曝光获得的高灵敏度图像的切割白电平区域中执行用于设置通过短曝光获得的低灵敏度图像的有效像素值的图像合成处理来生成宽动态范围图像。

2.关于当执行正常图像生成处理和宽动态范围图像生成处理时的设置

利用图3中的成像设备100的配置，当执行用于生成正常图像的正常操作时和当执行用于生成宽动态范围图像的宽动态范围操作时，开关151a至151d的设置不同并且信号的流不同。

由于这些模式中的差异引起的信号的流的差异将参考图4和图5来进行描述。图4是用粗线示出当执行用于生成正常图像的正常操作时的信号的流的示图。图5是用粗线示出当执行用于生成宽动态范围图像的宽动态范围操作时的信号的流的示图。

首先，将参考图4来描述当执行用于生成正常图像的正常操作时的信号的流。在执行用于生成正常图像的正常操作时，开关151a至151d被切换到N侧。在来自成像器件102的输入信号经由模拟前端103被转换成数字信号之后，这些被输入到信号处理单元120的YRGB生成单元121，并且辉度信号Y和色彩信号R、G和B生成。

辉度信号Y和色彩信号R、G和B生成在第一信号处理单元122处经历信号处理，并且随后经由开关151a被输入图像合成单元123。当执行正常图像生成操作时，图像合成单元123不执行图像合成处理，并且将输入信号不加改变地输出给图像校正单元124。

图像校正单元124对每个YRGB信号执行γ校正，并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，执行例如向包含色差信号的信号(YCbCr)等的转换、峰值切割和其它信号处理，并且处理后的信号经由在存储器130的输入部分处的开关151c被写入存储器130。

此外，从存储器130读出的信号经由开关151d和151b被输入第三信号处理单元126。第三信号处理单元126关于从存储器130读出的信号执行最终信号处理并且生成和输出将从成像设备输出的正常图像。

接着，将参考图5来描述当执行用于生成宽动态范围图像的宽动态范围操作的信号的流。当执行用于生成宽动态范围图像的宽动态范围操作时，开关151a至151d被切换至W侧。

来自成像器件102的输入信号通过模拟前端103被转换成数字信号，并且随后被输入信号处理单元120的YRGB生成单元121，从而生成辉度信号Y和色彩信号R、G和B。

在执行随后的信号处理之前，其辉度信号Y和色彩信号R、G和B已经经历了第一信号处理单元122处的处理的YRGB信号被临时存储在存储器130中。存储器130的写入是经由存储器130的输入部分处的开关151c来执行的。

如前所述，用于生成宽动态范围图像的图像合成处理使用长曝光图像和短曝光图像这两个图像。相应地，目前已经描述的通过存储器130中的图像的存储来利用成像器件102拍摄图像的处理是作为对以下(a)和(b)两个接连的短图像来执行的：

(a)短曝光图像(低灵敏度图像：Ln)和

(b)长曝光图像(高灵敏度图像：Hn)。

注意，随后将详细描述具体的处理序列。

存储器130中所存储的两个图像经由存储器130的输出部分处的开关151d被从存储器130读出，并且经由开关151a输入到图像合成单元123。从存储器130读出图像的处理是作为使用以下两个图像的每一个的存储器存储地址来并行地进行读取的处理来执行的：

(a)短曝光图像(低灵敏度图像：Ln)和

(b)长曝光图像(高灵敏度图像：Hn)

图像合成单元123合成从存储器130读取的短曝光图像和长曝光图像，并且生成宽动态范围图像。所生成的宽动态范围图像被输出给图像校正单元124。

图像校正单元124对各个YRGB信号执行γ校正，并且将校正后的信号输出给第二信号处理单元125。第二信号处理单元125例如执行到包含色差信号的信号(YCbCr)等的转换处理以及峰值切割和其它信号处理，并且处理后的信号经由开关151b被输入第三信号处理单元126。第三信号处理单元126关于从存储器130读出的信号执行最终信号处理，并且生成将从成像设备输出的宽动态范围图像。

参考图4描述的正常图像生成处理和参考图5描述的宽动态范围图像生成处理之间的一个主要差别在于以下的存储器读取和写入定时。

利用参考图4描述的正常图像生成处理，存储器130的读出和写入时在图像校正单元124处的图像校正(γ校正)和第二信号处理单元125处的信号处理之后执行的。随后，存储器130在第二信号处理单元125处经历最终信号处理，并且正常图像被输出。

另一方面，利用参考图5描述的宽动态范围图像生成处理，图像合成单元123处的图像合成处理、图像校正单元124处的图像校正(γ校正)以及关于存储器130的读/写处理在第二信号处理单元125处的信号处理之前被执行。

随后，从存储器130读取的信号经历图像合成单元123处的图像合成处理、图像校正单元124处的图像校正(γ校正)、第二信号处理单元125处的信号处理，以及在第二信号处理单元125处执行的最终信号处理，并且宽动态范围图像被输出。

注意，利用该宽动态范围图像生成处理，存储器130的写入被执行以使得以下两个图像随后被写入各自的存储地址指定的位置：

(a)短曝光图像(低灵敏度图像：Ln)和

(b)长曝光图像(高灵敏度图像：Hn)，

并且当读取时，它们被使用两个存储器地址来并行地读取。

注意，利用参考图4描述的正常图像生成处理，在图像校正单元124处的图像校正(γ校正)之后，信号，具体而言例如是YCbCr信号，被写入存储器130并且也从其被读取。

另一方面，利用该宽动态范围图像生成处理，存储器130的写入和读取是在图像校正单元124处的以下图像校正(γ校正)之前执行的。即，作为第一信号处理单元122的输出的YRGB信号被读取和写入。

注意，当执行参考图5描述的宽动态范围图像生成时，以下两个图像的每一个的各个YRGB的信号值被存储在存储器130中：

(a)短曝光图像(低灵敏度图像：Ln)和

(b)长曝光图像(高灵敏度图像：Hn)

3.关于存储器中所存储的数据的格式

如上所述，利用参考图4描述的正常图像生成处理，作为图像校正单元124处的图像校正(γ校正)和第二信号处理单元125处的信号处理的结果的YCbCr信号被写入存储器130，并且也从其被读出。存储器中所存储的数据的配置示例如图6(A)和图6(B)中的(1a)和(1b)所示。

数据存储是以以下数据格式(以下称为数据格式1(f1))关于存储器130来执行的，该数据格式的信号为如图6A中的所示的分辨率为一对色彩信号(Cbn，Crn)对两个像素的辉度信号(Yn)的所谓的422格式，或者，与如图6B中所示的输出信号一样，为分辨率为一对色彩信号对4像素的辉度信号的所谓的411格式的数据格式，其中辉度信号(Y)8比特并且色彩信号(Cr＝R-Y，Cb＝B-Y)8比特。

注意，图6B中示出的两个Cb1是指相同的8比特数据(例如两个像素的平均值)。这两个Cr1也是相同Cr1的8比特数据。另一方面，在参考图5所述的生成宽动态范围图像时，第一信号处理单元122的输出信号被存储在存储器130中。

此时存储器中所存储的数据的配置示例如图7中所示。如图7中所示，数据以如下数据格式(以下称为数据格式2(f2))被写入存储器130和从其读出，该数据格式为分辨率为一对色彩信号对4像素的辉度信号的所谓的411格式的数据格式，其中辉度信号(Y)9比特、色彩信号(G)10比特并且色彩信号(R)和(G)各9比特。

如上所述，控制单元105执行信号路径控制，以使得当执行其中图像合成单元123处的图像合成处理不被执行的正常图像生成时，在图像校正单元124的校正之后的信号被设置为是将要写入存储器130或被从其读出的信号，并且当执行其中图像合成单元123处的图像合成处理不被执行的宽动态范围图像生成时，在图像校正单元124处的校正之前的信号被设置为是将要写入存储器130和被从其读出的信号。

第二信号处理单元125输出遵循图6A和图6B中所示的格式(f1)的信号，其具有色彩信号(Cb，Cr)中各两个对4个辉度(Y)的比率，或具有色差信号(Cb，Cr)中各两个对4个辉度(Y)的比率，针对色差信号(Cb，Cr)，设置辉度信号(Y)8比特和(Cb)、(Cr)各8比特，并且当是其中图像合成单元123处的图像合成处理不被执行的正常图像生成时，控制单元105执行信号路径控制以使得遵循图6A和图6B中示出的格式(f1)的信号被设置为是将被写入存储器130和被从其读出的信号。

第一信号处理单元122输出遵循图7中所示的格式的信号，其具有色彩信号(R，G，B)的各一个对4个辉度信号，针对色差信号(R，G，B)，设置辉度信号(Y)9比特、(G)10比特以及(R)和(B)各9比特，并且当是其中图像合成单元123处的图像合成处理被执行的宽动态范围图像生成时，控制单元105执行信号路径控制以使得遵循格式(f2)的信号被设置为是将要写入存储器130的或被从其读出的信号。

4.关于图像生成处理的详细序列

如参考图3至图5所述，根据本公开的成像设备在参考图4描述的正常图像模式中执行的正常图像生成处理模式和在参考图5描述的宽动态范围模式中执行的宽动态范围图像生成处理者两个模式中生成不同的图像。

根据本公开的成像设备执行处理，其中针对这些不同的图像生成处理，关于存储器130的数据存储被改变或存储器写入和读取定时被使得不同。以下，将关于根据本公开的成像设备执行的各种图像生成处理序列的细节进行描述。

注意，作为从成像设备读出的像素的形式，存在其中构成图像的像素的像素值利用单次扫描被读出的逐行读出，以及其中偶数行扫描和奇数行扫描被独立地执行来进行读出的隔行读出。此外，对于作为关于显示装置输出的来自成像设备的输出的形式，存在其中构成图像的像素值利用单次扫描被输出的逐行输出以及其中偶数行扫描和奇数行扫描被独立地执行来进行输出的隔行输出。

以下，将单独描述与这些读出和输出形式的各种组合相对应的具体图像生成处理序列的细节。以下顺次描述以下各个处理。

(4-A)利用逐行读出和逐行输出的正常图像生成处理序列(图8)

(4-B)利用逐行读出和逐行输出的宽动态范围图像生成序列(第一示例)(图9)

(4-C)利用逐行读出和逐行输出的宽动态范围图像生成序列(第二示例)(图10)

(4-D)利用逐行读出和隔行输出的正常图像生成序列(第一示例)(图11)

(4-E)利用逐行读出和隔行输出的正常图像生成序列(第二示例)(图12)

(4-F)利用逐行读出和隔行输出的宽动态范围图像生成序列(第一示例)(图13)

(4-G)利用逐行读出和隔行输出的宽动态范围图像生成序列(第二示例)(图14)

(4-H)利用逐行读出和隔行输出的宽动态范围图像生成序列(第三示例)(图15)

(4-I)利用逐行读出和隔行输出的宽动态范围图像生成序列(第四示例)(图16)

(4-J)用于在利用逐行读出和逐行输出的正常图像生成和宽动态范围图像生成之间切换的序列(图17)

(4-A)利用逐行读出和逐行输出的正常图像生成处理序列

首先，将参考图8来描述利用逐行读出和逐行输出的正常图像生成序列。图8是图示出当利用根据本公开的成像设备通过利用逐行读出来操作成像器件以及对成像设备输出的逐行操作，来执行用于生成正常图像的正常操作(图4)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

t0到t1、t1到t2等的时间间隔等于作为成像器件102的信号读取周期的垂直周期。如图8中的(1)中所示，作为每个垂直周期(t0到t1、t1到t2等)被曝光的结果，成像器件102输出(VI1)、(VI2)、(VI3)、(VI4)等作为成像器件102输出。数字值1、2等是指示从成像器件输出的次序的标号。

如图8中的(2)中所示，在以上参考图4描述的正常图像生成模式中，开关151a和151c的设置全被设置到端子N侧。注意，这些设置是由控制单元105执行的。

第二信号处理单元125的处理结果按照这些开关设置被存储在存储器130中。如图8中的(3)中所示，两个存储器地址AD1和AD2被交替使用来顺次存储作为第二信号处理单元125的处理结果的数据(f1_1)、(f1_2)、(f1_3)等。注意，f1是指存储器中的存储是按照存储器存储格式1来执行的。

格式1(f1)对应于之前参考图6A和图6B描述的格式，并且以图6A或图6B的第一格式存储作为第二信号处理单元125的处理结果的YCbCr信号。

在正常图像生成模式中，作为第三信号处理单元126的处理结果输出的YCbCr信号以图6A或图6B中所示出的第一格式(f1)记录在存储器130中。即，写入存储器130的信号是如图6A中所示的分辨率为一对色差信号(Cbn，Crn)对两个像素的辉度信号(Yn)的所谓的422格式的，或为如图6B中所示的分辨率为一对色彩信号对4个像素的辉度信号的所谓的411格式的，其中辉度信号(Y)8比特并且色差信号(Cr，Cb)8比特。

注意，用作针对图8中的(1)中的成像器件输出(VI1)的、第二信号处理单元125的处理结果的数据对应于图8中的(3)中示出的、存储器中所存储的数据(f1_1)。从自成像器件102输出到存储到存储器130中的处理在时间t0到t1的时段中被执行。

在该时间t0到t1中执行的是直到将数据(f1_1)以格式1(f1)存储在用存储器地址AD1指定的位置处为止的处理。

在下一时间t1到t2，利用“(1)成像器件”直到“(3)写入存储器”的处理，针对下一成像器件输出(VI2)执行与时间t0到t1中针对成像器件输出(VI1)的处理相同的处理。但是注意，数据(f1_2)被写入与在时间t0到t1中存储器已经针对其进行了存储的那个地址不同的地址AD2。

在该时间t1到t2中，图8中从“(4)从存储器读取”直到“(6)成像设备输出”的处理也被执行。这是针对在时间t0到时间t1中写入存储器的数据(f1_1)的处理。

如图8中的“(4)从存储器读取”中的栏目中所示，数据(f1_1)是从地址AD1位置读出的。图8中的(5)中的开关设置图示出开关151d和151b的设置状态。如参考图4所述，在正常图像生成处理模式中，开关151d和151b二者都被设置到N侧连接。

按照这些开关设置从存储器130读出的数据(f1_1)被提供给第三信号处理单元126，经历最终信号处理，并且作为正常图像的输出(VO1)被输出。

对于图8中所示的利用逐行读出和逐行输出的正常图像生成序列，两个地址AD1和AD2被用来以数据格式1(f1)交替地写数据。数据读出是使用与应用于写入处理的地址不同的地址、连同数据写入处理一起执行的。

在时间t1之后，从成像器件输入的数据以这种方式使用地址AD1和AD2中的一个来写入，并且对预先写入存储器中的数据的读出使用另一地址来执行。

该处理被重复、被执行，从而输出正常图像的成像器件输出VO1、VO2、VO3、VO4等。

(4-B)利用逐行读出和逐行输出的宽动态范围图像生成序列(第一示例)

接着，将参考图9来描述利用逐行读出和逐行输出的宽动态范围图像生成序列的细节。图9是图示出当根据本公开的成像设备通过利用逐行读出操作成像器件以及对成像设备输出的逐行操作来执行用于生成宽动态范围图像的宽动态范围时(参见图5)的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并且写入数据

(4a)从存储器130读取地址并且读取数据

(4b)从存储器130读取地址并且读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

利用该示例，作为将要应用于在图像合成单元123处执行的图像合成处理的长曝光图像(高灵敏度图像(Hn))和短曝光图像(低灵敏度图像(Ln))这两组图像数据的读出处理，从存储器130读出数据被执行。该并行的读出处理对应于(4a)和(4b)的处理。

t0到t1、t1到t2等的时间间隔等于成像器件102的信号读取周期的垂直周期。如图9中的(1)所示，成像器件102输出(VIL1)、(VIH1)、(VIL2)、(VIH2)等作为被曝光每个垂直周期(t0到t1、t1到t2等)的结果的成像器件输出。注意，L是指短曝光图像(低灵敏度图像)并且H是指长曝光图像(高灵敏度图像)。数字值1、2等是指示从成像器件输出的次序的标号。

如图9中的(2)中所示，在以上参考图5所描述的宽动态范围图像生成模式中，开关151a和151c的设置全被设置到端子W侧。注意，这些设置是由控制单元105执行的。

第一信号处理单元122的处理结果按照这些开关设置被存储在存储器130中。如图9中的(3)中所示，4个存储器地址AD1、AD2、AD3和AD4被反复使用以便顺次存储作为第一信号处理单元122的处理结果的数据(f2_L1)、(f2_H1)、(f2_L2)、(f2_H2)等。即，短曝光图像(低灵敏度图像(Ln))和长曝光图像(高灵敏度图像(Hn))被顺次存储。

注意，f2是指存储器中的存储将按照存储器存储格式2来执行。格式2(f2)对应于之前参考图7描述的格式并且以图7中的的第二格式存储作为第一信号处理单元122的处理结果的YRGB信号。

在宽动态范围图像生成模式中，作为第一信号处理单元122的处理结果输出的YRGB信号以图7中的(2)中示出的格式记录在存储器130中。即，写入存储器130的数据是分辨率为一对色彩信号对4个像素的辉度信号的所谓的411格式(第二格式(f2))的信号，其中辉度信号(Y)9比特、色彩信号(G)10比特、色彩信号(R)9比特并且色彩信号(B)9比特。

注意，用作针对图9中的(1)中所示的成像器件输出(VIL1)的、第一信号处理单元122的处理结果的数据对应于图9中的(3)中所示的存储器中所存储的数据(f2_L1)。从自成像器件102输出到存储在存储器130中的处理在时间t0到t1的时段中执行。

在该时间t0到t1中执行的是直到以格式2(f2)将数据(f2_L1)存储在用存储器地址AD1指定的位置处为止的处理。

在下一时间t1到t2，对于“(1)成像器件”直到“(3)写入存储器”的处理，针对下一成像器件输出(VIH1)执行与时间t0到t1中针对成像器件输出(VIL1)的处理相同的处理。但是注意，时间t0到t1中的成像器件输出(VIL1)和成像器件输出(VIH1)是将要经历用于生成宽动态范围图像的图像合成处理的两个图像。

在图9的“(3)写入存储器”中，数据(f2_H1)被写入地址AD2的存储器位置，地址AD2与在时间t0到t1中存储器已经针对其进行了存储的地址AD1不同。

在接下来的时间t2到t3中，对于“(1)成像器件”直到“(3)写入存储器”的处理，针对下一成像器件输出(VIL2)执行与时间t0到t1中针对成像器件输出(VIL1)的处理相同的处理。对于图9的“(3)写入存储器”，数据(f2_L2)被写入地址AD3的存储器位置，地址AD3与在时间t0到t1中存储器已经针对其进行了存储的地址AD1和在时间t1到t2中存储器已经针对其进行了存储的地址AD2不同。

此外，在接下来的时间t2到t3中，图9中从“(4)从存储器读出”直到“(6)成像设备输出”的处理也被执行。这是针对在时间t0到t1中写入存储器的数据(f2_L1)和在时间t1到t2中写入存储器的数据(f2_H1)的处理。

如图9中的“(4a)从存储器读取”中的栏目中所示，数据(f2_L1)从地址AD1位置读出。此外，如图9中的“(4b)从存储器读取”中所示，数据(f2_H1)从地址AD2位置读出。

但是注意，数据(f2_L1)和数据(f2_H1)的读出不限于该时间t2到t3，并且在之后的时间t3到t4也执行相同的数据读出。

如图9中针对t2到t3和t3到t4的栏目中所示，使用时间t2到t3中数据(f2_L2)被写入存储器(地址AD3)的时间和时间t3到t4中数据(f2_H2)被写入存储器(地址AD4)的时间，执行用于生成合成图像的数据的读出，即从地址AD1读出数据(f2_L1)和从地址AD2读出数据(f2_H1)。

即，结合用于生成合成图像的两个图像的写入处理时间，对预先被写入存储器的用于生成合成图像的两个图像的读取被执行。

图9中的(5)中的开关设置图示出开关151d和151b的设置状态。如参考图5所述，在宽动态范围图像生成处理模式中，开关151d和151b二者都被设置到W侧连接。

按照这些开关设置从存储器130读出的短曝光图像数据(低灵敏度图像(f2_L1))和长曝光图像数据(高灵敏度图像(f2_H1))被输出给图像合成单元123。图像合成单元123使用这两个图像来执行图像合成处理，并且生成宽动态范围图像。

之后，所生成的宽动态范围图像被输出给图像校正单元124。图像校正单元124执行γ校正并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，YRGB例如被转换成YCbCr信号，并且转换后的信号经由开关151b输入第三信号处理单元126。

第三信号处理单元126对来自存储器130的读出信号执行最终信号处理，并且生成和输出将要从该成像设备输出的宽动态范围图像。最终的输出等同于图9中的“(6)成像设备输出”(WV11)。

对于图9中示出的利用逐行读取和逐行输出的宽动态范围图像生成序列，4个存储器地址AD1、AD2、AD3和AD4利用数据格式2(f2)被顺次使用，并且短曝光图像数据(低灵敏度图像(f2_Ln)))和长曝光图像数据(高灵敏度图像(f2_Hn))以及接下来的短曝光图像数据(低灵敏度图像(f2_Ln+1))和长曝光图像数据(高灵敏度图像(f2_Hn+1))这样的图像对被顺次写入存储器中的不同位置。

如时间t2之后的处理所示，读出是使用与应用于结合数据写入处理的写入处理的地址不同的两个地址，针对用于生成合成图像的两个图像数据来执行的。

从t2开始，从成像器件输入的数据的写入使用地址AD1到AD4中的一个被执行，并且对预先使用地址AD1和AD2组合或地址AD3和AD4组合写入存储器的用于生成合成图像的两个图像的读取被执行。该处理被反复执行，以便输出宽动态范围图像的成像设备输出WV11、WV11、WV22、WV22等。

注意，WV是指宽动态范围图像，并且对于下文中的值的序列，第一数字值是长曝光图像(高灵敏度图像(H))的标号，并且后一数字值是短曝光图像(低灵敏度图像(L))的标号。

例如，时间t2到t3中的输出WV11时通过对从存储器读出的长曝光图像(高灵敏度图像(H))(f2_H1)和短曝光图像(低灵敏度图像(L))(f2_L1)的合成处理生成的宽动态范围图像。时间t3到t4的输出WV11也是相同的输出。

时间t4到t5的输出WV22时通过对从存储器读出的长曝光图像(高灵敏度图像(H))(f2_H2)和短曝光图像(低灵敏度图像(L))(f2_L2)的合成处理生成的宽动态范围图像。

注意，在该处理示例中，两个连续时间t2到t3和t3到t4之间的输出图像是相同的宽动态范围图像，并且接下来两个时间t4到t5和t5到t6之间的输出图像也是相同的宽动态范围图像。即，输出速率低于之前参考图8所描述的正常图像的输出速率。

(4-C)利用逐行读出和逐行输出的宽动态范围图像生成序列(第二示例)

接着，将参考图10来描述利用逐行读出和逐行输出的宽动态范围图像生成序列的另一示例。图10中示出的处理示例是与图9中的处理类似同样的、利用逐行读出和逐行输出的宽动态范围图像生成序列。但是注意，图10中示出的处理的不同点在于要从存储器130读出的用于生成宽动态范围图像的图像对常常被设置为最新的图像。

例如，对于图9中示出的序列，在时间t2到t3中，数据(f2_L1)从地址AD1的读出和数据(f2_H1)从地址AD2的读出被执行，并且在时间t3到t4中，数据(f2_L1)从地址AD1的读出和数据(f2_H1)从地址AD2的读出被执行。

另一方面，对于图10中示出的序列，在时间t1到t2(在图9中，其中没有读出被执行)中，数据(f2_L1)从地址AD1的读出被开始，并且在时间t2到t3中，数据(f2_L1)从地址AD1的读出和数据(f2_H1)从地址AD2的读出被执行，并且在接下来的时间t3到t4中，数据(f2_L2)从地址AD3的读出和数据(f2_H1)从地址AD2的读出被执行。

即，图10中示出的该处理示例的不同点在于数据(f2_L2)从地址AD3的读出是在时间t2到t3中被执行的。该数据(f2_L2)是在紧前的时间t2到t3中已经写入存储器130的。该处理示例是使用存储器130中所存储的数据中的最新数据的组合来生成作为合成图像的宽动态范围图像的序列。

在图10中示出的序列中，“(1)成像器件”直到“(3)写入存储器”的处理与图9的相同。(4a)和(4b)“从存储器读取”的处理的不同点在于：如上所述，存储器中所存储的数据中的最新数据即在最近的定时被写入存储器130的数据被读取。

“(5)开关设置”与图9中的序列相同，如之前参考图5所描述的那样被设置为连接到W侧。“(6)成像设备输出”时与参考图9描述的序列中的输出不同的图像。即，要应用于宽动态范围图像生成的图像的组合不同。

如图10的“(6)成像设备输出”中所示，设置使得时间t2到t3的输出是WV11，时间t3到t4的输出是WV12，时间t4到t5的输出是WV22，并且时间t5到t6的输出是WV23。注意WV是指宽动态范围图像，并且对于以下值的序列，第一数字值是长曝光图像(高灵敏度图像(H))的标号并且后一数字值是短曝光图像(低灵敏度图像(L))的标号。

例如，时间t2到t3中的输出WV11时通过对从存储器读出的长曝光图像(高灵敏度图像(H))(f2_H1)和短曝光图像(低灵敏度图像(L))(f2_L1)进行合成处理生成的宽动态范围图像。时间t3到t4中的输出WV12是通过对从存储器读出的长曝光图像(高灵敏度图像(H))(f2_H1)和短曝光图像(低灵敏度图像(L))(f2_L2)进行合成处理生成的宽动态范围图像。

因此，该处理示例是获取存储器中所存储的最新可用图像并且执行合成处理来生成宽动态范围图像的处理示例。以这种方式，利用图10中示出的处理示例，第一信号处理单元122的输出的写入以数据格式2(f2)、使用存储器130的4个地址AD1直到AD4来顺次执行。关于数据从存储器的读取，各个高灵敏度数据和低灵敏度数据中的最新的数据被读取。

图像合成单元123使用这对最新的图像来生成宽动态范围化的视频信号，并且作为成像设备输出WV11、WV12、WV22、WV23、WV33、WV34等输出。因此，该处理示例允许基于更新的摄得图像来生成要应用于宽动态范围化处理的低灵敏度图像和高灵敏度图像的组合。

(4-D)利用逐行读出和隔行输出的正常图像生成序列(第一示例)

接着，将参考图11来描述利用逐行读取和隔行输出的正常图像生成序列的细节。图11是图示出当根据本公开的成像设备通过利用逐行读取来操作成像器件以及对成像设备输出的各行操作来执行用于生成正常图像的正常操作(参见图4)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且，在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

t0到t1、t1到t2等的时间间隔等于作为成像器件102的信号读取周期的垂直周期。

如图11中的“(4)从存储器读取”中所示，对于隔行输出，在每个垂直周期，读取成像器件的奇数行输出和成像器件的偶数行输出。注意例如时间t2到t3中的存储器读出数据(f1_1o)是指存储器中所存储的数据具有格式1(f1)的第一奇数字段(o)。这里，“o”是奇数编号字段的数据，“e”是偶数编号字段的数据。

对于隔行输出，通过在每个垂直周期读取成像器件中的奇数编号行和成像器件中的偶数编号行，(6)中示出的成像设备输出按照奇偶字段输出VO1o、Vo1e、VO2o、Vo2e、VO3o、Vo3e等等的次序被输出。即，隔行输出被实现。由于此输出，通过以奇数+偶数的组合来合成输出信号，可以获得没有隔行模糊的图像。

如图11中的(1)中所示，成像器件102输出作为被曝光两倍垂直周期时段(t0到t2、t2到t4等)的结果的(VI1)、(VI2)、(VI3)等等。

如图11中的(2)中所示，在参考图4所描述的正常图像生成模式中，开关151a和151c的设置全被设置到端子N侧。注意，这些设置是由控制单元105执行的。

如图11中的(3)中所示，两个存储器地址AD1和AD2被交替使用以便顺次存储作为第二信号处理单元125的处理结果的数据(f1_1)、(f1_2)、(f1_3)等。注意，f1是指存储器中的存储遵循参考图6A和图6B所描述的格式1。数据(f1_1)在时间t2前被存储在存储器地址AD1中。数据(f1_2)在时间t4前被存储在存储器地址AD2中。数据(f1_3)在时间t6前被存储在存储器地址AD1中。

在时间t2之后的时段中，图11中从“(4)从存储器读取”直到“(6)成像设备输出”的处理也被执行。这些处理是针对被写入存储器的数据的处理。

在时间t2到t3中，如图11中“(4)从存储器读取”中的栏目所示，数据(f1_1o)从地址AD1o位置被读出。注意地址AD1o是与奇数字段相对应的数据读取地址，其构成地址AD1的一部分。

地址And具有并使用如下配置：其能够分割成与奇数字段对应的数据读取地址ADno和与偶数字段对应的数据读取地址ADne。

从地址AD1o位置读取的数据(f1_1o)仅仅是组成输出帧的全部字段中的奇数字段。

图11中的(5)中的开关设置图示出开关151d和151b的设置状态。如参考图4中所述，在正常图像生成处理模式中，开关151d和151b二者都被设置为N侧连接。

按照这些开关设置从存储器130读出的数据(f1_1o)被应用于第三信号处理单元126、经历最终信号处理，并且作为正常图像的输出(VO1o)被输出。

输出(VO1o)时基于从地址AD1o位置读出的数据(f1_1o)生成的输出并且仅仅是组成输出帧的全部字段中的奇数字段的输出。

在接下来的时间t3到t4中，与奇数字段输出(VO1o)对应的偶数字段输出(VO1e)从通过地址AD1e自存储器130读出的数据(f1_1e)中被生成并被输出。

因此，利用该处理示例，成像器件的奇数行输出和成像器件的偶数行输出在每个垂直周期被从存储器130读出，从而输出作为奇数和偶数字段输出VO1o、VO1e、VO2o、VO2e、VO3o、VO3e等的成像设备输出，并且通过以奇数+偶数的组合合成输出信号可以获得没有隔行模糊的图像。

(4-E)利用逐行读出和隔行输出的正常图像生成序列(第二示例)

接着，将参考图12来描述利用逐行读出和隔行输出的正常图像生成序列的第二示例的细节。图12是图示出当根据本公开的成像设备通过利用逐行读出来操作成像器件以及对成像设备输出的隔行操作来执行用于生成正常图像的正常操作(参见图4)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且，在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

t0到t1、t1到t2等的时间间隔等于作为成像器件102的信号读取周期的垂直周期。

图12中示出的示例是与之前描述的图11相同的、利用逐行读取和隔行输出的正常图像生成序列。图11和图12的差别在于“(6)成像设备输出”的序列。

对于参考图11描述的处理，输出的次序是VO1o、VO1e、VO2o，VO2e等，即输出的配置按照奇数字段和偶数字段的次序。

另一方面，对于参考图12描述的处理，输出的次序时VO1e、VO1o、VO2e、VO2o等等，即输出的配置按照偶数字段和奇数字段的次序。

由于输出次序的改变，“(4)从存储器读取”的次序应当在奇数字段(f1_1o)之前读取偶数字段(f1_1e)。其它方面与之前参考图11描述的处理相同。

此外对于该处理示例，以与之前参考图11描述的处理示例相同的方式，成像器件的奇数行输出和成像器件的偶数行输出被每个垂直周期地从存储器130读出，从而输出作为偶数和奇数字段输出VO1e、VO1o、VO2e、VO2o、VO3e、VO3o等的成像设备输出，并且通过以偶数+奇数的组合来合成输出信号可以获得没有隔行模糊的图像。

(4-F)利用逐行读出和隔行输出的宽动态范围图像生成序列(第一示例)

接着，将参考图13来描述利用逐行读出和隔行输出的宽动态范围图像生成序列的细节。图13是示出当根据本公开的成像设备通过利用逐行读出来操作成像器件以及对成像设备输出的隔行操作来执行用于生成宽动态范围图像的宽动态范围操作(参见图5)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且，在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4a)从存储器130读取地址并读取数据

(4b)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

利用该示例，作为将要应用于在图像合成单元123处执行的图像合成处理的长曝光图像(高灵敏度图像(Hn))和短曝光图像(低灵敏度图像(Ln))这两组图像数据的读出处理，从存储器130读出数据被执行。该并行的读出处理对应于(4a)和(4b)的处理。

t0到t1、t1到t2等的时间间隔等于成像器件102的信号读取周期的垂直周期。如图13中的(1)所示，成像器件102输出(VIL1)、(VIH1)、(VIL2)、(VIH2)等作为被曝光每个垂直周期(t0到t1、t1到t2等)的结果的成像器件输出。注意，L是指短曝光图像(低灵敏度图像)并且H是指长曝光图像(高灵敏度图像)。数字值1、2等是指示从成像器件输出的次序的标号。

如图13中的(2)中所示，在以上参考图5所描述的宽动态范围图像生成模式中，开关151a和151c的设置全被设置到端子W侧。注意，这些设置是由控制单元105执行的。第一信号处理单元122的处理结果按照这些开关设置被存储在存储器130中。

如图13中的(3)中所示，4个存储器地址AD1、AD2、AD3和AD4被反复使用以便顺次存储作为第一信号处理单元122的处理结果的数据(f2_L1)、(f2_H1)、(f2_L2)、(f2_H2)等。即，短曝光图像(低灵敏度图像(Ln))和长曝光图像(高灵敏度图像(Hn))被顺次存储。

格式2(f2)对应于之前参考图7描述的格式并且以图7的第二格式存储作为第一信号处理单元122的处理结果的YRGB信号。

注意，用作针对图13中的(1)中所示的成像器件输出(VIL1)的、第一信号处理单元122的处理结果的数据对应于图13中的(3)中所示的存储器中所存储的数据(f2_L1)。

从自成像器件102输出到存储在存储器130中的处理在时间t0到t1的时段中执行。在该时间t0到t1中执行的是直到以格式2(f2)将数据(f2_L1)存储在用存储器地址AD1指定的位置处为止的处理。

在下一时间t1到t2，对于“(1)成像器件”直到“(3)写入存储器”的处理，针对下一成像器件输出(VIH1)执行与时间t0到t1中针对成像器件输出(VIL1)的处理相同的处理。但是注意，时间t0到t1中的成像器件输出(VIL1)和成像器件输出(VIH1)是将要经历用于生成宽动态范围图像的图像合成处理的两个图像。

在图13的“(3)写入存储器”中，数据(f2_H1)被写入地址AD2的存储器位置，地址AD2与在时间t0到t1中存储器已经针对其进行了存储的地址AD1不同。

在接下来的时间t2到t3中，对于“(1)成像器件”直到“(3)写入存储器”的处理，针对下一成像器件输出(VIL2)执行与时间t0到t1中针对成像器件输出(VIL1)的处理相同的处理。

对于图13的“(3)写入存储器”，数据(f2_L2)被写入地址AD3的存储器位置，地址AD3与在时间t0到t1中用于存储器写入的地址AD1和在时间t1到t2中用于存储器写入的地址AD2不同。

此外，在接下来的时间t2到t3中，图13中从“(4)从存储器读出”直到“(6)成像设备输出”的处理也被执行。这是针对在时间t0到t1中写入存储器的数据(f2_L1)和在时间t1到t2中写入存储器的数据(f2_H1)的处理。

如图13中的“(4a)从存储器读取”中的栏目中所示，数据(f2_L1o)从地址AD1o位置读出。此外，如图13中的“(4b)从存储器读取”中所示，数据(f2_H1o)从地址AD2o位置读出。

注意地址AD1o是与奇数字段相对应的数据读取地址，其构成地址AD1的一部分。地址And具有并使用如下配置：其能够分割成与奇数字段对应的数据读取地址ADno和与偶数字段对应的数据读取地址ADne。

在时间t2到t3中，从地址AD1o位置读取的数据(f2_L1o)是短曝光图像(低灵敏度图像(L))的奇数字段数据。从地址AD2o位置读取的数据(f2_H1o)是长曝光图像(高灵敏度图像(H))的奇数字段数据。

图13中的(5)中的开关设置图示出开关151d和151b的设置状态。如参考图5所述，在宽动态范围图像生成处理模式中，开关151d和151b二者都被设置为W侧连接。

按照这些开关设置从存储器130读出的短曝光图像(低灵敏度图像(L))的奇数字段数据(f2_L1o)和长曝光图像(高灵敏度图像(H))的奇数字段数据(f2_H1o)被输出给图像合成单元123。图像合成单元123使用这两个图像来执行图像合成处理，并且生成与宽动态范围图像的奇数字段相对应的合成图像。

以下，所生成的与奇数字段对应的宽动态范围图像被输出给图像校正单元124。图像校正单元124执行γ校正并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，YRGB例如被转换成YCbCr信号，并且转换后的信号经由开关151b输入第三信号处理单元126。

第三信号处理单元126对来自存储器130的读出信号执行最终信号处理，并且生成和输出将要从该成像设备输出的宽动态范围图像。最终的输出等同于图13中的“(6)成像设备输出”(WV11o)。

注意，WV是指宽动态范围图像，并且对于下文中的值的序列，第一数字值是长曝光图像(高灵敏度图像(H))的标号，并且后一数字值是短曝光图像(低灵敏度图像(L))的标号。其中“o”指示奇数编号字段图像，并且“e”指示偶数编号字段图像。该成像设备输出(WV11o)仅仅是奇数字段的图像。

在随后的时间(t3到t4)中，与成像设备输出(WV11o)对应的偶数字段图像(WV11e)被生成并被输出。在时间t3到t4中，数据(f2_L1e)从地址AD1e位置被读出。此外，如在图13中的“(4b)从存储器读取”的栏目中所述，数据(f2_H1e)从地址AD2e位置被读出。注意，地址AD1e是与偶数字段相对应的数据读取地址，其构成地址AD1的一部分。

在时间t2到t3中，从地址AD1e位置读取的数据(f2_L1e)是短曝光图像(低灵敏度图像(L))的偶数字段数据。从地址AD2e位置读取的数据(f2_H1e)是长曝光图像(高灵敏度图像(H))的偶数字段数据。

图13中的(5)中的开关设置图示出开关151d和151b的设置。如参考图5所述，在宽动态范围图像生成处理模式中，开关151d和151b二者都被设置为W侧连接。

按照这些开关设置从存储器130读出的短曝光图像(低灵敏度图像(L))的奇数字段数据(f2_L1e)和长曝光图像(高灵敏度图像(H))的奇数字段数据(f2_H1e)被输出给图像合成单元123。图像合成单元123使用这两个图像来执行图像合成处理，并且生成与宽动态范围图像的偶数字段相对应的合成图像。

之后，所生成的与偶数字段对应的宽动态范围图像被输出给图像校正单元124。图像校正单元124执行γ校正并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，YRGB例如被转换成YCbCr信号，并且转换后的信号经由开关151b输入第三信号处理单元126。

第三信号处理单元126对来自存储器130的读出信号执行最终信号处理，并且生成和输出将要从该成像设备输出的宽动态范围图像。最终的输出等同于图13中的“(6)成像设备输出”(WV11e)。

该成像设备输出(WV11e)仅仅是奇数字段的图像。这连同在前一时间(t2到t3)中的成像设备输出(WV11o)被输出，并且完整帧图像被显示。

对于该处理示例，通过每个垂直周期交替两种曝光时间而获得的具有高灵敏度和低灵敏度的成像器件输出VIL1、VIH1、VIL2、VIH2、VIL3、VIH3等经历第一信号处理单元122处的信号处理，随后应用4个不同的地址AD1至AD4被顺次存储在存储器130中。

此外，地址AD1直到AD4的奇数行输出和偶数行输出在每个垂直周期被读出，经历图像合成校正处理和信号处理，并且成像设备输出以单独的奇数和偶数字段被输出。由于该处理，如图13中的(6)中所示，输出信号作为奇数+偶数的组合被合成为WV11o、WV11e、WV22o、WV22e等，并且隔行输出被执行。利用该处理示例，实现几乎不具有隔行模糊的宽动态范围图像的输出。

(4-G)利用逐行读出和隔行输出的宽动态范围图像生成序列(第二示例)

接着，将参考图14来描述利用逐行读出和隔行输出的宽动态范围图像生成序列的细节。图14是示出当根据本公开的成像设备通过利用逐行读出来操作成像器件以及对成像设备输出的隔行操作来执行用于生成宽动态范围图像的宽动态范围操作(参见图5)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且，在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4a)从存储器130读取地址并读取数据

(4b)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

利用该示例，作为将要应用于在图像合成单元123处执行的图像合成处理的长曝光图像(高灵敏度图像(Hn))和短曝光图像(低灵敏度图像(Ln))这两组图像数据的读出处理，从存储器130读出数据被执行。该并行的读出处理对应于(4a)和(4b)的处理。

t0到t1、t1到t2等的时间间隔等于成像器件102的信号读取周期的垂直周期。

图14中示出的示例是与上述图13中的示例相同的、利用逐行读出和隔行输出的宽动态范围图像生成序列。图13和图14之间的不同在于“(6)成像设备输出”。

对于参考图13描述的处理，输出的次序是WV11o、WV11e、WV22o、WV22e等等，即输出的配置按照奇数和偶数字段的次序。

另一方面，对于参考图14描述的处理，输出的次序是WV11e、WV11o、WV22e、WV22o等，即输出的配置是偶数和奇数字段的次序。

由于输出次序中的改变，“(4)从存储器读取”的次序应当在奇数字段(f2_H1o)之前读取偶数字段(f2_H1e)。其它方面与之前参考图13描述的处理相同。

此外对于该处理示例，成像器件的奇数行输出和成像器件的偶数行输出被每个垂直周期地从存储器130读出，从而输出作为偶数和奇数字段输出WV11e、WV11o、WV22e、WV22o等的成像设备输出，并且通过以偶数+奇数的组合来合成输出信号可以获得没有隔行模糊的图像。

(4-H)利用逐行读出和隔行输出的宽动态范围图像生成序列(第三示例)

接着，将参考图15来描述利用逐行读出和隔行输出的宽动态范围图像生成序列的第三示例的细节。

图15中示出的示例是与上述图13中的示例相同的、利用逐行读出和隔行输出的宽动态范围图像生成序列。但是注意，图15中示出的处理的不同点在于：将从存储器130读出的用来生成宽动态范围图像的这对图像常常被设置为最新的图像。

例如，对于图13中所示的序列，在时间t2到t3中，数据(f2_L1o)从地址AD1o的读出(4a)和数据(f2_H1o)从地址AD2o的读出(4b)被执行，并且在时间t3到t4中，数据(f2_L1e)从地址AD1e(4a)的读出和数据(f2_H1e)从地址AD2e的读出(4b)被执行。

另一方面，对于图15中示出的序列，在时间t1到t2中，数据(f2_L1e)从地址AD1e的读出(4a)被执行，并且在时间t2到t3中，数据(f2_L1o)从地址AD1o的读出(4a)以及数据(f2_H1o)从地址AD1o的读出(4b)被执行，并且在接下来的时间t3到t4中，数据(f2_L2e)从地址AD3e的读出(4a)和数据(f2_H1e)从地址AD2e的读出(4b)被执行。

即，图15中示出的该处理示例不同点在于：最新的数据被用于所读取的数据。利用该处理示例，在每个读出定时处的读出可用的数据中，最新的数据被获得。该处理示例是用于使用存储器130中所存储的数据中的最新数据的组合来生成作为合成图像的宽动态范围图像的序列。

在图15中示出的序列中，“(1)成像器件”直到“(3)写入存储器”的处理与图13的相同。在时间t1从存储器读出数据之后与图13的不同在于，进行了设置使得从存储器中已经存储的数据中读取最新的数据。

图13中的“(5)开关设置”示出开关151d和151b的状态。如参考图5所述，在宽动态范围图像生成处理模式中，开关151d和151b二者都被设置为W侧连接。

按照这些开关设置从存储器130读出的数据被输入图像合成单元123，并且通过图像合成进行的宽动态范围图像生成处理被执行。但是注意，在时间t1到t2中，仅短曝光图像数据(低灵敏度图像(L))(f2_L1e)已经从地址AD1e被读出(4a)，而长曝光图像数据(高灵敏度图像(H))的读出还未被执行，因此在时间t1到t2处，没有图像合成处理被执行。

在时间t2到t3中，分别在(4a)和(4b)处从存储器130读出的短曝光图像(低灵敏度图像(L))数据(f2_L1o)和长曝光图像(高灵敏度图像(H))数据(f2_H1o)经历图像合成处理，并且仅奇数字段的宽动态范围图像被生成。

之后，所生成的宽动态范围图像被输出给图像校正单元124。图像校正单元124执行γ校正并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，YRGB例如被转换成YCbCr信号，并且转换后的信号经由开关151b输入第三信号处理单元126。

第三信号处理单元126对来自存储器130的读出信号执行最终信号处理，并且生成和输出将要从该成像设备输出的宽动态范围图像。最终的输出等同于图13中的“(6)成像设备输出”(WV11o)。

该成像设备输出(WV11o)仅仅是奇数字段的图像。这连同接下来的时间(t3到t4)中成像设备输出(WV11e)被输出，并且完整帧图像被显示。

如图15中的“(4a)从存储器读取”的栏目中所示，在时间t3到t4，数据(f2_H1e)从地址AD3e位置被读取。

在时间t2到t3，从地址AD3e位置读出的数据(f2_L2e)是短曝光图像(低灵敏度图像(L))的偶数字段数据。从地址AD2e位置读出的数据(f2_H1e)是长曝光图像(高灵敏度图像(H))的偶数字段数据。

图15中的“(5)开关设置”图示出开关151d和151b的设置。如参考图5所述，在宽动态范围图像生成处理模式中，开关151d和151b二者都被设置为W侧连接。

按照这些开关设置读出的短曝光图像(低灵敏度图像(L))的偶数字段数据(f2_L2e)和长曝光图像(高灵敏度图像(H))的偶数字段数据(f2_H1e)被输出给图像合成单元123。图像合成单元123使用这两个图像来执行图像合成处理，并且生成与宽动态范围图像的偶数字段相对应的合成图像。

之后，所生成的宽动态范围图像被输出给图像校正单元124。图像校正单元124执行γ校正并且将校正后的信号输出给第二信号处理单元125。在第二信号处理单元125处，YRGB例如被转换成YCbCr信号，并且转换后的信号经由开关151b输入第三信号处理单元126。

第三信号处理单元126对来自存储器130的读出信号执行最终信号处理，并且生成和输出将要从该成像设备输出的宽动态范围图像。最终的输出等同于图15中的“(6)成像设备输出”(WV12e)。该成像设备输出(WV12e)仅仅是偶数字段的图像。这连同前一时间(t2到t3)中的成像设备输出(WV11o)一起被输出，并且完整帧图像被显示。

利用该处理示例，通过每个垂直周期交替两种曝光时间获得的具有高灵敏度和低灵敏度的成像器件输出VIL1，VIH1，VIL2，VIH2，VIL3，VIH3等经历第一信号处理单元122处的信号处理，随后应用4个不同的地址AD1直到AD4被顺次存储在存储器130中。

此外，地址AD1直到AD4的奇数行输出和偶数行输出在每个垂直周期被读出，经历图像合成校正处理和信号处理，并且成像设备输出以单独的奇数和偶数字段被输出。

由于该处理，如图15中的(6)中所示，隔行输出作为WV11o、WV12e、WV22o、WV23e等被执行。利用该处理示例，可以基于更新的摄得图像来生成要应用于宽动态范围处理的高灵敏度图像和低灵敏度图像的组合。

(4-I)利用逐行读出和隔行输出的宽动态范围图像生成序列(第四示例)

接着，将参考图16来描述利用逐行读出和隔行输出的宽动态范围图像生成序列的第四示例的细节。图16是示出当根据本公开的成像设备通过利用逐行读出来操作成像器件以及对成像设备输出的隔行操作来执行用于生成宽动态范围图像的宽动态范围操作(参见图5)时的详细序列的示图。

从左向右示出经过的时间(时间t0到t6)，并且，在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并写入数据

(4a)从存储器130读取地址并读取数据

(4b)从存储器130读取地址并读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

利用该示例，作为将要应用于在图像合成单元123处执行的图像合成处理的长曝光图像(高灵敏度图像(Hn))和短曝光图像(低灵敏度图像(Ln))这两组图像数据的读出处理，从存储器130读出数据被执行。该并行的读出处理对应于(4a)和(4b)的处理。

t0到t1、t1到t2等的时间间隔等于成像器件102的信号读取周期的垂直周期。

图16中示出的示例是与上述图15中的示例相同的、利用逐行读出和隔行输出的宽动态范围图像生成序列。图15和图16之间的不同在于“(6)成像设备输出”的序列。

对于参考图15描述的处理，输出的次序是WV11o，WV12e，WV22o，WV23e等等，即输出的配置按照奇数和偶数字段的次序。另一方面，对于参考图16描述的处理，输出的次序是WV11e，WV12o，WV22e，WV23o等，即输出的配置是偶数和奇数字段的次序。

由于输出次序中的改变，(4)的也改变。即，偶数字段数据和奇数字段数据的读出的次序在图15和图16之间切换。其它方面与之前参考图15描述的处理相同。

此外对于该处理示例，成像器件的奇数行输出和成像器件的偶数行输出被每个垂直周期地从存储器130读出，从而执行作为偶数和奇数字段输出WV11e、WV12o、WV22e、WV23o等的成像设备输出的隔行输出。利用该处理示例，可以基于更新的摄得图像来生成将要应用于宽动态范围处理的低灵敏度图像和高灵敏度图像的组合。

(4-J)用于在利用逐行读出和逐行输出的正常图像生成和宽动态范围图像生成之间切换的序列

接着将参考图17来描述用于在利用逐行读出和逐行输出的正常图像生成和宽动态范围图像生成之间切换的序列。图17中示出的处理是用于中途在先前参图8描述的处理和参考图9描述的处理之间切换的处理序列。即，这是用于在以下两者之间进行切换的处理：

(4-A)利用逐行读出和逐行输出的正常图像生成序列(图8)

(4-B)利用逐行读出和逐行输出的宽动态范围图像生成序列(图9)。

图17是图示出在利用逐行读出来操作成像器件并且对成像设备输出进行逐行操作的设置下，执行在用于生成正常图像的正常模式(参见图4)和宽动态范围模式(参见图5)之间的切换控制的情况中的详细序列的示图。

注意，在切换模式时，控制被执行来将开关151a到151d的所有连接设置，从N连接切换到W连接，或全部反相地从W连接切换到N连接。该切换由控制单元105执行。

图17从左向右示出经过的时间(时间t0到t17)，并且在每个时间处示出以下数据和设置。

(1)成像器件102的曝光和输出

(2)开关151a和151c的设置

(3)将地址写入存储器130并且写入数据

(4a)从存储器130读取地址并且读取数据

(4b)从存储器130读取地址并且读取数据

(5)开关151d和151b的设置

(6)成像设备100的输出

直到时间Ta(t6)，处理以正常模式操作执行，正常模式操作是正常图像生成处理。时间t0到t6的处理是之前参考图8描述的处理，即与(4-A)利用逐行读出和逐行输出的正常图像生成序列相同的处理被执行。图17中的“(1)成像器件的曝光/输出”直到“(6)成像设备输出”中所示的设置与针对图8中示出的时间t0到t6的处理的设置相同。

在时间Ta(t6)，控制单元105开始从正常图像生成处理转变为宽动态范围图像生成处理。注意，如前所述，该模式切换处理是在例如控制单元105的基于对摄得图像的分析结果的自动控制下执行的，或者是基于通过输入单元106得到的用户指令执行的。

在时间Ta(t6)，在成像器件处，短曝光图像(低灵敏度图像(L))和长曝光图像(高灵敏度图像(H))被交替拍摄。

在从正常操作切换为宽动态范围操作的切换处理时，控制单元105执行以下开关控制。首先，仅作为存储器130的输入部分处的开关的开关151c被切换到W侧。这是针对时间Ta(t6)到Tb(t8)的时段的开关设置。

该开关设置在图18中示出。如图18中所示，仅作为存储器130的输入部分处的开关的开关151c被切换到W侧。其它开关151a、151b和151d还是N侧连接设置。

在时间Ta(t6)到Tb(t8)中，对于从存储器130读取数据的地址，保持相同的地址AD2。由于应用相同读取地址的数据读取处理，该时段的输出保持为用“(6)成像设备输出”表示的输出(VO6)，其是正常示出。

此外，在时间Ta(t6)到Tb(t8)中，在成像器件102处被成像并且经历了第一信号处理单元122处的信号处理的短曝光图像(低灵敏度图像(L))和长曝光图像(高灵敏度图像(H))使用除了该读取地址AD2之外的地址、经由开关151c被记录在存储器130中。

即，如图17中所示，在时间t6到t7中，短曝光图像(低灵敏度图像(L))数据(f2_L1)被写入随后的地址AD3。在时间t7到t8中，长曝光图像(高灵敏度图像(H))数据(f2_H1)被写入随后的地址AD4。

在时间Ta(t6)到Tb(t8)中，在写入将要应用于合成处理以用于生成宽动态范围图像的两个图像之后，开关151a、151b和151d被切换到W侧，即，参考图5所述的宽动态范围模式设置。此时，从正常模式到宽动态范围模式的Tb(t8)切换完成。

即，在从正常模式切换为宽动态范围模式时，仅存储器130的输入数据被预先切换为宽动态范围图像的数据，并且存储器130的输出和其它处理部分的连接保持为正常模式的设置(N侧设置)。

在用于生成宽动态范围图像的图像被存储在存储器130中时，即在时间Tb(t8)，存储器130的输出和其它处理部分的连接被改为宽动态范围模式设置(W侧连接)。

在图17中，时间Tb(t8)到Tc(t14)的处理是之前参考图9描述的处理，即与(4-B)利用逐行读出和逐行输出的宽动态范围图像生成序列(第一示例)相同的处理被执行。图17中针对时间Tb(t8)到Tc(t14)的“(1)成像器件的曝光/输出”直到“(6)成像设备输出”中所示出的设置与图8中示出的针对时间t0到t6的处理的设置相同。

注意，在图17中的时间t6到t8中，AD3和AD4先前被用作存储器写入地址，因此，图9和图17之间存在地址和数据标识符的偏移。然而，对于任一者，处理仍然是相同的处理。

在时间Tc(t14)，控制单元105开始从宽动态范围图像生成处理转变为正常图像生成处理。注意，如上所述，该模式切换处理是在例如控制单元105的基于对摄得图像的分析结果的自动控制下执行的，或者是基于通过输入单元106得到的用户指令执行的。

从时间Tc(t14)开始，正常图像在成像器件处被顺次成像。在执行从宽动态范围范围操作到正常操作的切换处理时，控制单元105执行以下切换控制。

首先，仅作为存储器130的输入部分处的开关的开关151c被切换到N侧。这是针对时间Tc(t14)到Td(t15)的时段的开关设置。

该开关设置在图19中示出。如图19中所示，仅作为存储器130的输入部分处的开关的开关151c被切换到N侧。其它开关151a、151b和151d还是W侧连接设置。

在时间Tc(t14)到Td(t15)中，对于从存储器130读取数据的地址，从紧前的时段t13到t14，保持相同的地址AD3和AD4。由于应用相同读取地址的数据读取处理，该时段的输出保持为用“(6)成像设备输出”表示的输出(WV33)，其是宽动态范围图像输出。

此外，在时间Tc(t14)到Td(t15)中，在成像器件102处被成像并且经历了第二信号处理单元125处的信号处理的正常图像使用除了该读取地址之外的地址、经由开关151c被记录在存储器130中。

即，如图17中所示，在时间Tc(t14)到Td(t15)中，对于存储器130的数据读取地址，地址AD1被使得保持与用于紧前时间t13到t14的读取地址AD3和AD4相同的地址。由于该应用相同读取地址的数据读取处理，该时段的输出被保持在“(6)成像设备输出”处示出的宽动态范围图像的输出(WV33)。开关151a在W侧，宽动态范围图像(WV33)在图像合成单元123处被生成，并且作为图像校正单元124和第二信号处理单元125处的处理的结果的格式1的宽动态范围图像的数据(f1_WV33)经由开关151c被写入存储器130。

在时间Tc(t14)到Td(t15)中，在将正常图像写入存储器130之后，开关151a、151b和151d被切换到N侧，即参考图4所描述的正常图像模式设置。在时间Tc(t14)到Td(t15)，宽动态范围图像被输出，并且在Te(16)，从宽动态范围模式到正常模式的切换完成。

该切换控制是在控制单元105的控制下执行的。控制单元105，当在正常图像生成处理模式和宽动态范围图像生成处理模式之间切换时，执行控制以便提供转变时段，该转变时段被设置以便将与数据切换之后的模式对应的数据作为输入数据输入存储器130，并且将与切换之前的模式对应的数据作为输出数据从存储器130输出，并且在转变时段过去之后，将与切换之后的模式对应的数据作为输出数据从存储器130输出。

具体地，控制单元105执行控制以使得，在切换之后的模式为宽动态范围图像生成处理模式的情况下，转变时段是直到用于生成宽动态范围图像的长曝光图像(高灵敏度图像)和短曝光图像(低灵敏度图像)的存储结束为止的时段，并且在切换之后的模式为正常图像生成处理模式的情况下，转变时段是直到用于生成正常图像的图像的存储结束为止的时段。

因此，利用根据本公开的模式切换处理，进行了配置以使得仅存储器输入数据被预先切换，并且在用于生成正常图像的一个图像数据的存储或用于生成宽动态范围图像的两个图像的存储已经在存储器处被完成时，对存储器输出数据以及其它处理电路的切换被切换。

由于该控制，在每个切换定时来自成像设备的输出使得正常图像或宽动态范围图像中的一个以确定的方式被输出，实现了在模式切换时没有任何图像中断的平滑的模式切换和图像输出。

现在，图20图示出其中开关151a到151d在相同的定时被切换的情况的处理序列作为参考序列。如图20中所示，执行这样的控制导致在模式切换后的某一时段发生的存储器读取错误或成像设备输出错误。

例如，在图20中的时间Ta，如果在从正常模式切换到宽动态范围模式时，开关151a到151d全部从N连接切换到W连接，则宽动态范围图像输出将以这样的状态开始，其中存储器中没有存储用于生成宽动态范围图像的图像，从而导致没有图像可被输出的状态(图20中的“ERR”)。

在图20中的时间Tb也一样，如果在从宽动态范围模式切换到正常模式时，开关151a到151d全部从W连接切换到N连接，则正常图像输出将以这样的状态开始，其中存储器中没有存储用于生成正常图像的图像，从而导致没有图像可以被输出(ERR)。

于此相对，通过执行控制使得仅存储器输入数据预先被切换，如参考图17所描述的那样，则可以在不引起成像设备输出中的错误的情况下实现平滑的模式切换和成像输出切换。

此外，例如可以对存储器中所存储的数据诸如垂直反转之类的处理，并且在执行这样的处理的情况中，对存储器130的读/写可以通过如下方式来执行：执行控制，例如将在仅存储器130的输入部分的开关151c被切换时的存储器写入地址与垂直反转关联，或将紧接在切换其余开关151a、151b和151d之后的存储器读取地址与在某一时段不被垂直反转等相关联等等。即，控制单元105控制对存储器的数据读/写以便没有错误地保持地址和数据之间的关联。

利用根据本公开的成像设备，当处于生成正常图像的正常操作中时，以之前参考图6A和图6B描述的YCrCb各8比特的422格式进行的记录可以针对存储器中所存储的数据来执行。

此外，在宽动态范围操作时，合成图像是基于长曝光图像(高灵敏度图像)和短曝光图像(低灵敏度图像)在合成单元处生成的。在该图像合成时，执行根据像素值设置的合成图像，其中两个图像的像素值乘以比1小的值并且随后相加。该合成处理补偿每个图像不充分的分辨率，并且生成已被宽动态范围化的图像。

此外，如之前参考图6A至图7所述，在正常图像生成模式和宽动态范围图像生成模式中，利用根据本公开的成像设备进行的对存储器130的数据存储是以不同的数据格式执行的。

在正常图像生成模式中，存储是以以下数据格式(数据格式1(f1))执行的，其中该数据格式的信号为图6A中所示的一对8比特色差信号(Cb，Cr)对两个像素的8比特辉度信号(Y)的422格式，或为图6B中所示的一对色差信号(Cr，Cb)对4个像素的辉度信号(Y)的411格式。

此外，在宽动态范围图像生成模式中，存储是以如下数据格式(数据格式2(f2))执行的，其中该数据格式的信号是分辨率为有一对色彩信号对4像素的辉度信号的所谓的411格式，其中辉度信号(Y)9比特、色彩信号(G)10比特，并且色彩信号(R)和(B)各9比特。

通过以这种方式根据情况使用存储器存储格式，实现了一种成像设备，该成像设备使用一个存储器装置的配置，使能与NTSC和PAL格式相兼容的正常图像和宽动态范围图像二者的图像的输出的成像设备，其中该存储器装置例如具有16比特数据宽度、133MHz存取速度和64MB的存储器容量，并且可以实现存储器使用的降低、安装面积的减少和成本的节约。

此外，如参考图17所述，通过执行控制来在模式转变时预先切换存储器输入数据，即使正常操作时和宽动态范围操作时的存储器数据格式不同，也可以防止由于不同的数据格式引起的输出和错误图像，并且可以显示平滑的模式转变。

目前已经参考具体实施例描述了本公开。但是，不言而喻，本领域技术人员可以在不偏离本公开的实质的情况下做出该实施例的修改例和替换例。即，公开已经以示例形式做出，并且不应被限制性地解读。对本公开的实质的任何解读应当参考权利要求书。

此外，本说明书中所描述的处理序列可以通过硬件、软件或二者的组合配置来执行。在通过软件执行处理的情况下，记录处理序列的程序可以安装在专用硬件中内置的计算机中的存储器中并且被执行，或者该程序可以安装在能够执行各种处理的通用计算机中并被执行。例如，该程序可以预先记录在记录介质中。除了从记录介质安装到计算机以外，该程序可以经由诸如LAN(局域网)、因特网之类的网络被接收并被安装在诸如内置硬盘之类的存储介质中。

注意，本说明书中所描述的各种处理不限于以所描述的时间顺序执行，并且可以根据执行处理的装置的处理容量或在适当时并行地或单独地执行。此外，在本说明书中，“系统”是指多个装置的逻辑组配置，并且不限于在相同机壳内的每个配置的装置。

本公开包含与2010年8月31日于日本专利局提交的日本在先专利申请JP 2010-193692中所公开的主题有关的主题，该申请的全部内容通过引用结合于此。

本领域技术人员应当理解，根据设计要求和其它因素可以进行各种修改、组合、子组合和更改，只要它们在所附权利要求及其等同物的范围内即可。

Claims (20)

1.一种用于图像信号的信号处理单元，包括：

第一信号处理单元、第二信号处理单元和第三信号处理单元；

存储图像信号的存储器；

第一开关、第二开关、第三开关和第四开关；

其中，所述第一开关连接到所述第二信号处理单元的输入，所述第一开关在所述存储器的输出和所述第一信号处理单元的输出之间切换，

其中，所述第二开关连接到所述第三信号处理单元的输入，所述第二开关在所述存储器的输出和所述第二信号处理单元的输出之间切换，

其中，所述第三开关连接到所述存储器的输入，所述第三开关在所述第二信号处理单元的输出和所述第一信号处理单元的输出之间切换，并且

其中，所述第四开关连接到所述存储器的输出，所述第四开关在所述第三信号处理单元的输入和所述第二信号处理单元的输入之间切换。

2.根据权利要求1所述的信号处理单元，

其中，所述存储器的输入/输出路径被控制使得(a)对于正常图像生成，图像信号仅在通过所述第二信号处理单元的图像校正之后被存储在所述存储器中和/或从所述存储器中被读取，并且(b)对于宽动态范围图像生成，图像信号在所述图像信号被所述第二信号处理单元校正之前被存储在所述存储器中和/或从所述存储器中被读取。

3.根据权利要求1所述的信号处理单元，

其中，对于正常图像生成，所述第一开关连接到所述第一信号处理单元的输出，所述第二开关连接到所述存储器的输出，所述第三开关连接到所述第二信号处理单元的输出，所述第四开关连接到所述第三信号处理单元的输入。

4.根据权利要求1所述的信号处理单元，

其中，对于宽动态范围图像生成，所述第一开关连接到所述存储器的输出，所述第二开关连接到所述第二信号处理单元的输出，所述第三开关连接到所述第一信号处理单元的输出，所述第四开关连接到所述第二信号处理单元的输入。

5.根据权利要求1所述的信号处理单元，

其中，所述第二信号处理单元包括合成单元，所述合成单元从存储在所述存储器中的图像信号生成宽动态范围图像并且执行图像合成处理，

其中，对于正常图像生成，所述合成单元不执行所述图像合成处理。

6.根据权利要求1所述的信号处理单元，

其中，所述第二信号处理单元包括

图像合成单元，所述图像合成单元生成从存储在所述存储器中的图像信号生成宽动态范围信号并且执行图像合成处理，

图像校正单元，所述图像校正单元校正所述图像信号，以及

信号处理装置，所述信号处理装置将图像信号转换成色差信号，

其中，对于正常图像生成，所述图像合成单元不执行所述图像合成处理。

7.一种信号处理单元，其响应于来自控制器的控制信号在正常图像生成操作和宽动态范围图像生成操作之间切换处理，所述信号处理单元包括：

存储图像信号的存储器；

校正所述图像信号的图像校正单元；以及

连接到所述存储器和所述图像校正单元的切换装置，所述切换装置切换所述存储器的到所述图像校正单元/从所述图像校正单元的输入/输出路径。

8.根据权利要求7所述的信号处理单元，

其中，所述输入/输出路径被控制以使得(a)对于正常图像生成，图像信号仅在通过所述图像校正单元的图像校正之后被存储在所述存储器中和/或从所述存储器被读取，并且(b)对于宽动态范围图像生成，图像信号在所述图像信号被所述图像校正单元校正之前被存储在所述存储器中和/或从所述存储器被读取。

9.根据权利要求7所述的信号处理单元，

其中，所述切换装置包括第一开关、第二开关、第三开关和第四开关，

其中，所述第一开关连接到所述图像校正单元的输入，所述第一开关在所述存储器的输出和输入图像信号之间切换，

其中，所述第二开关连接到所述信号处理单元的输出，所述第二开关在所述存储器的输出和所述图像校正单元的输出之间切换，

其中，所述第三开关连接到所述存储器的输入，所述第三开关在所述图像校正单元的输出和所述输入图像信号之间切换，并且

其中，所述第四开关连接到所述存储器的输出，所述第四开关在所述信号处理单元的输出和所述图像校正单元的输入之间切换。

10.根据权利要求9所述的信号处理单元，

其中，对于正常图像生成，所述第一开关连接到所述输入图像信号，所述第二开关连接到所述存储器的输出，所述第三开关连接到所述图像校正单元的输出，并且所述第四开关连接到所述信号处理单元的输出。

11.根据权利要求9所述的信号处理单元，

其中，对于宽动态范围图像生成，所述第一开关连接到所述存储器的输出，所述第二开关连接到所述图像校正单元的输出，所述第三开关连接到所述输入图像信号，并且所述第四开关连接到所述图像校正单元的输入。

12.根据权利要求7所述的信号处理单元，

还包括图像合成单元，所述图像合成单元从存储在所述存储器中的图像信号生成宽动态范围图像并且执行图像合成处理，

其中，对于正常图像生成，所述图像合成单元不执行所述图像合成处理。

13.根据权利要求7所述的信号处理单元，

还包括信号处理装置和图像合成单元，所述信号处理装置将图像信号转换成色差信号，所述图像合成单元从存储在所述存储器中的图像信号生成宽动态范围图像并且执行图像合成处理，

其中，对于正常图像生成，所述图像合成单元不执行所述图像合成处理。

14.一种图像信号处理系统，包括：

存储器，用于存储图像信号；

控制单元，所述控制单元执行对所述存储器的输入/输出路径的信号路径控制；

信号处理单元，所述信号处理单元包括：

校正所述图像信号的图像校正单元，和

图像合成单元，所述图像合成单元从存储在所述存储器中的图像信号生成宽动态范围图像并且执行图像合成处理；

切换单元，所述切换单元连接到所述存储器和所述信号处理单元，切换所述存储器的到所述信号处理单元/从所述信号处理单元的信号路径。

15.根据权利要求14所述的图像信号处理系统，

其中，所述存储器的输入/输出路径被控制使得(a)对于正常图像生成，图像信号仅在提供所述图像校正单元的图像校正之后被存储在所述存储器中和/或从所述存储器被读取，并且(b)对于宽动态范围图像生成，图像信号在所述图像信号(1)被所述合成单元合成和(2)被所述图像校正单元校正之前被存储在所述存储器中和/或从所述存储器被读取。

16.根据权利要求14所述的图像信号处理系统，

其中，对于正常图像生成，所述合成单元不执行所述图像合成处理。

17.根据权利要求14所述的图像信号处理系统，

其中，所述切换单元包括第一开关、第二开关、第三开关和第四开关，

其中，所述第一开关连接到所述信号处理单元的输入，所述第一开关在所述存储器的输出和输入图像信号之间切换，

其中，所述第二开关连接到所述图像信号处理系统的输出，所述第二开关在所述存储器的输出和所述信号处理单元的输出之间切换，

其中，所述第三开关连接到所述存储器的输入，所述第三开关在所述信号处理单元的输出和所述输入图像信号之间切换，并且

其中，所述第四开关连接到所述存储器的输出，所述第四开关在所述信号处理系统的输出和所述信号处理单元的输入之间切换。

18.根据权利要求17所述的图像信号处理系统，

其中，对于正常图像生成，所述第一开关连接到所述输入图像信号，所述第二开关连接到所述存储器的输出，所述第三开关连接到所述信号处理单元的输出，所述第四开关连接到所述处理系统的输出。

19.根据权利要求17所述的图像信号处理系统，

其中，对于宽动态范围图像生成，所述第一开关连接到所述存储器的输出，所述第二开关连接到所述信号处理单元的输出，所述第三开关连接到所述输入图像信号，所述第四开关连接到所述信号处理单元的输入。

20.根据权利要求14所述的图像信号处理系统，

其中，所述信号处理单元还包括信号处理装置，所述信号处理装置将图像信号转换成色差信号。

Images