CN101072303A

CN101072303A - 摄像元件及摄像装置

Info

Publication number: CN101072303A
Application number: CN 200710107422
Authority: CN
Inventors: 仓根治久
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2006-05-11
Filing date: 2007-05-11
Publication date: 2007-11-14
Anticipated expiration: 2027-05-11
Also published as: CN100539648C

Abstract

本发明提供一种摄像元件及摄像装置，其可根据在比标准曝光时间短的曝光时间(非标准曝光时间)内所曝光的各像素的像素数据，预测在标准曝光时间的曝光时该各像素是否饱和，还可根据上述预测结果将标准曝光时间的像素数据和非标准曝光时间的像素数据进行合成来生成HDR图像。摄像装置(1)包含：摄像处理系统(10)，其在1次标准曝光期间内，通过对于传感器单元阵列(56)的曝光区域的标准曝光时间的曝光来拍摄图像，同时通过非标准曝光时间的曝光来拍摄图像；和影像处理系统(12)，其根据非标准曝光时间的图像数据来预测各像素在标准曝光时间的曝光下是否饱和，并根据预测结果来合成标准曝光时间和非标准曝光时间的摄像图像数据以生成HDR图像数据。

Description

摄像元件及摄像装置

技术领域

本发明涉及可使用破坏读取方式和非破坏读取方式从光电转换元件中读取电荷的摄像元件及摄像装置。

背景技术

作为使用以数码相机为代表的固体摄像元件的摄像装置的问题点之一，可举出动态范围狭小的问题。因此，在拍摄对比度非常大的场景所得到的图像中，会产生高亮度区域中的白闪(白とび)(像素的饱和)和低亮度区域中的黑斑(つぶれ)。

当前，为了解决上述问题而提出有多种手法。作为其一，具有合成曝光量不同的2张(或多张)图像的手法，作为使用该手法的公知例子，例如可以举出专利文献1所述的摄像装置等。

该摄像装置为利用能够通过改变曝光量进行摄影的曝光量可变单元来得到适当的曝光量的标准图像信号和曝光量少于标准图像信号的非标准图像信号的摄像装置，其以如下的两个单元为特征，即：制作表示所输出的标准图像信号的值是否超过阈值(判断像素的饱和)的饱和判断信号(在本发明中为遮罩(mask)图像信号)的单元和根据该饱和判断信号来切换2个图像信号的单元(用非标准图像信号的值来置换标准图像信号中饱和了的像素)。由此得到宽动态范围的图像。

【专利文献1】：日本特开2004-32583号公报

但是，在上述专利文献1的现有技术中，在根据施加了噪音的标准图像信号来制作饱和判断信号(设饱和像素为1、非饱和像素为0)时，如果根据该判断信号进行图像的合成则可能导致合成图像的画质降低。具体而言，摄像元件的暗电流噪音随时间经过而增加，受到噪声的影响。而且，每个像素的灵敏度的差异、饱和量的差异等也都是错误判定的原因。这是因为：例如，如图15所示，原本应该所有的像素都成为白像素，但由于上述像素的差异，产生了些许黑像素。如果使用这种饱和判断信号合成图像，则不正常地混合有标准图像信号和非标准图像信号(原本全是非标准图像信号)。虽然通过根据各像素的特性差异来改变阈值可以解决该问题，但需要按照各像素来设定阈值这样十分繁杂的处理。

另一方面，还有通过把标准图像信号和非标准图像信号相加起来得到宽动态范围的图像的方法(图16)。此处将该单纯的相加算法称为联合(Knee)方式。由于联合方式不进行像素值的电平判定，所以不产生上述专利文献1的现有技术那样的问题。而且，联合方式由于对高亮度区域进行电平压缩，所以在能显示宽动态范围的装置(例如能进行10000∶1等的对比度显示的装置)中，将产生有损高亮度区域的灰度性的问题，以及由于线性消失，所以无法忠实再现色彩(安装了彩色滤光器的传感器的情况)的问题。

而且，作为其他的课题，具有用分别的定时来2次拍摄标准曝光图像和非标准曝光图像，将它们合成后成为了模糊图像这样的课题。

发明内容

于是，本发明是着眼于这种现有技术具有的未解决的课题而完成的，其目的在于提供一种可以根据由比标准曝光时间短的曝光时间所曝光的各像素的像素数据，预测在标准曝光时间的曝光时该各像素是否饱和的摄像元件及摄像装置，而且还提供一种可以根据上述预测结果将标准曝光时间的像素数据和比标准曝光时间短的曝光时间的像素数据进行合成来生成宽动态范围图像的摄像装置。

[方式1]

为了达成上述目的，方式1的摄像元件具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像元件具有：第1读取单元，其从上述光电转换部的曝光区域的上述光电转换元件构成的各像素中以破坏读取方式读取在标准曝光时间所曝光的电荷；第2读取单元，其在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式读取在比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷；以及饱和预测单元，其根据由上述第2读取单元所读取的在上述短曝光时间曝光时的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和。

根据这种结构，可以使用第1读取单元从上述光电转换部的上述光电转换元件构成的各像素中，以破坏读取方式读取在标准曝光时间所曝光的电荷，可以使用第2读取单元在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中，以非破坏读取方式读取比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷，还可以通过饱和预测单元根据由上述第2读取单元所读取的上述短曝光时间的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和。

因此，例如对于由关注被摄体及其背景所构成的摄像对象，由于可以对该摄像对象中的关注被摄体设定作为适当曝光的标准的曝光时间(标准曝光时间)，使用第1读取单元读取在该标准曝光时间所曝光的光电转换部的各像素的电荷，因此可以得到在标准曝光时间所曝光的摄像对象像素数据(标准曝光像素数据)。另一方面，在上述标准曝光时间的曝光期间中，由于使用第2读取单元以非破坏读取方式读取在比上述标准曝光时间短的曝光时间(短曝光时间)所曝光的上述各像素的电荷，所以可以得到比在标准曝光时间曝光时的曝光量(信号振幅)少的曝光量(较小的信号振幅)的像素数据(非标准曝光像素数据)。即，在标准曝光时间的1次曝光中，可以得到在标准曝光时间曝光时的像素数据(标准曝光像素数据)和在非标准曝光时间曝光时的像素数据(非标准曝光像素数据)。进而，由于根据上述读取出的非标准曝光像素数据来预测与该非标准曝光像素数据对应的像素在标准曝光时间曝光时的蓄积电荷量是否饱和，所以由此可以判断在暗电流噪音较少、噪声影响被抑制的状态下(短曝光时间的电荷蓄积量)是否饱和，因而在判断标准曝光时间曝光时的各像素的蓄积电荷量是否饱和时，可以得到能抑制噪声造成的饱和/非饱和的判断结果的差异的效果。

下面说明抑制饱和/非饱和的判断结果的差异的原理。直觉上，短曝光时间的像素数据几乎都成为黑斑区域，仅在特定的高亮度区域(照射光量较大的区域)显现亮度信号。宽动态范围拍摄例如在光量比为暗部和亮部之比为1∶500以上、曝光时间相同的情况下，暗部和亮部的信号电平比也为1∶500，暗部成为黑斑。而且，如上所述，抑制了随时间经过而增加的暗电流噪音等的噪声的影响，可以抑制错误判定。进而对于每个像素的饱和电平、灵敏度的差异也可以抑制错误判定。即，由于用短曝光图像进行判定，所以能够使判定电平成为饱和电平的例如1/10，难以受到饱和电平的差异的影响。关于灵敏度差异，由于通过电荷/电压转换增益(灵敏度)和受光量的乘积来确定信号电平，在受光量较少且信号电平较低的状态下进行判定，所以难以受到灵敏度差异的影响。如上所述，通过在像素的特性的差异和噪声的影响都较小的期间内仅检测(判定)具有该信号输出的区域，从而可以抑制判定的差异。下面，在关于摄像装置、摄像系统、摄像方法的方式中也相同。

此处，上述“光电转换部”例如使用CMOS技术构成，作为使用CMOS技术的可进行非破坏读取的摄像元件，具有阈值调制型摄像元件(例如VMIS(Threshold Voltage Modulation Image Sensor：电压调制图像传感器))等。下面，在关于摄像装置、摄像系统、摄像方法的方式中也相同。

而且，上述“破坏读取方式”是在从光电转换元件中读取电荷(像素信号)时，伴随使蓄积在该光电转换元件中的电荷为空的复位处理的方式。下面，在关于摄像装置、摄像系统、摄像方法的方式中也相同。

另外，上述“非破坏读取方式”是在从光电转换元件中读取电荷(像素信号)时，不使蓄积在该光电转换元件中的电荷为空而维持蓄积状态进行读取的方式。即，由于在电荷读取时不进行复位处理，所以在电荷的蓄积途中，直到所设定的曝光时间为止，对于不同的曝光时间可以进行任意次的电荷读取。下面，在关于摄像装置、摄像系统、摄像方法的方式中也相同。

而且，上述“饱和”是指输入到光电转换元件中的光超过该光电转换元件可以蓄积的最大电荷量(下面称为最大蓄积电荷量)的状态，包含成为该饱和的亮度值(下面称为饱和值)的像素数据的图像产生该部分的灰度消失而被称为白闪的现象。例如在以雪景色为背景拍摄房屋的情况下，如果按照曝光对作为关注被摄体的房屋进行拍摄，则雪景色部分的像素数据的大部分成为饱和值而产生白闪。下面，在关于摄像装置、摄像系统、摄像方法的方式中也相同。

[方式2]

另一方面，为了达成上述目的，方式2的摄像装置具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像装置具有：第1读取单元，其从上述光电转换部的曝光区域的上述光电转换元件构成的各像素中以破坏读取方式读取在标准曝光时间所曝光的电荷；第2读取单元，其在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式读取在比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷；饱和预测单元，其根据由上述第2读取单元所读取的上述短曝光时间的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和；以及HDR图像数据生成单元，其根据上述饱和预测单元的预测结果，合成由上述第1读取单元所读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR(High Dynamic Range)图像数据。

进而，通过HDR图像数据生成单元，根据上述饱和预测单元的预测结果，可以合成由上述第1读取单元所读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，以生成HDR图像数据。

因此，例如对于由关注被摄体及其背景所构成的摄像对象，由于可以对该摄像对象中的关注被摄体设定作为适当曝光的标准的曝光时间(标准曝光时间)，使用第1读取单元读取在该标准曝光时间所曝光的光电转换部的各像素的电荷，因此可以得到在标准曝光时间所曝光的摄像对象像素数据(标准曝光像素数据)。另一方面，在上述标准曝光时间的曝光期间中，由于使用第2读取单元以非破坏读取方式读取在比上述标准曝光时间短的曝光时间(短曝光时间)所曝光的上述各像素的电荷，所以可以得到比在标准曝光时间曝光时的曝光量(信号振幅)少的曝光量(较小的信号振幅)的像素数据(非标准曝光像素数据)。即，在基于标准曝光时间的1次曝光中，可以得到在标准曝光时间曝光时的像素数据(标准曝光像素数据)和在非标准曝光时间曝光时的像素数据(非标准曝光像素数据)。因此，在合成2个图像时可以生成抑制了模糊的图像。进而，例如在预测(判断)为饱和时选择非标准曝光像素数据，在预测(判断)为不饱和时选择标准曝光像素数据，合成这些所选择的非标准曝光像素数据和标准曝光像素数据，可以生成宽动态范围的图像数据(HDR图像数据)，所以可以获得能得到画质比以往稳定的宽动态范围图像的效果。

[方式3]

接着，方式3的摄像装置的特征在于，在方式2的摄像装置中，上述第2读取单元在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式来依次读取在比上述标准曝光时间短的多种短曝光时间所曝光的电荷，

上述饱和预测单元根据由上述第2读取单元所读取的上述多种短曝光时间的电荷构成的非标准曝光元素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和。

根据这种结构，例如对于由关注被摄体及其背景所构成的摄像对象，对该摄像对象中的关注被摄体设定了作为适当曝光的标准的曝光时间(标准曝光时间)的情况下，在基于该标准曝光时间的曝光期间中，由于可以使用第2读取单元以非破坏读取方式读取在比上述标准曝光时间短的多种短曝光时间(例如2种)所曝光的上述各像素的电荷，所以可以得到比在标准曝光时间曝光时的曝光量少的多种的曝光量的像素数据(非标准曝光像素数据)。进而，根据该多种曝光量的非标准曝光像素数据来预测在与该非标准曝光像素数据对应的像素的标准曝光时间曝光时的蓄积电荷量是否饱和，所以由此可以得到更准确地预测在各像素的差异造成的噪声影响较小的状态(短曝光时间的电荷蓄积量)下是否饱和的效果。而且，例如在短曝光时间t2下不饱和，在短曝光时间t1(t2＜t1)下饱和时，由于可以使用短曝光时间t2的非标准曝光像素数据来生成宽动态范围的图像数据(HDR图像数据)，所以可以得到能获得进行了更准确的灰度表现的宽动态范围图像的效果。

[方式4]

另外，方式4的摄像装置的特征在于，在方式2或3的摄像装置中，该摄像装置具有运算处理单元，该运算处理单元对由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据进行规定的运算处理，

上述饱和预测单元根据上述运算处理后的非标准曝光像素数据，预测上述标准曝光像素数据表示的亮度值是否为饱和值，

上述HDR图像数据生成单元根据上述饱和预测单元的预测结果，合成上述运算处理后的非标准曝光像素数据和上述标准曝光像素数据，生成上述HDR图像数据。

根据这种结构，可以使用运算单元来对由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据进行规定的运算处理，上述饱和预测单元根据上述运算处理后的非标准曝光像素数据，可以预测上述标准曝光像素数据表示的亮度值是否为饱和值，上述HDR图像数据生成单元根据上述饱和预测单元的预测结果，可以合成上述运算处理后的非标准曝光像素数据和上述标准曝光像素数据，生成HDR图像数据。

因此，可以对非标准曝光像素数据进行例如亮度电平的校正处理、噪声除去处理等的适于合成像素数据的运算处理，还可以使用进行了这种运算处理的非标准曝光像素数据来生成宽动态范围的图像数据(HDR图像数据)，所以可以得到提高宽动态范围的图像的画质的效果。

[方式5]

另外，方式5的摄像装置的特征在于，在方式4的摄像装置中，该摄像装置具有第3读取单元，该第3读取单元从上述光电转换元件构成的各像素中读取刚刚复位之后的电荷，上述运算处理单元进行如下的运算处理：从由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据中减去与该非标准曝光像素数据对应的、由上述第3读取单元所读取的刚刚复位之后的电荷构成的基准像素数据。

根据这种结构，可以使用第3读取单元从上述光电转换元件构成的各像素中读取刚刚复位之后的电荷，上述运算处理单元可以进行如下的运算处理：从由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据中减去与该非标准曝光像素数据对应的、由上述第3读取单元所读取的刚刚复位之后的电荷构成的基准像素数据。

因此，由于可以进行从第2读取单元所读取的非标准曝光像素数据表示的亮度值中减去刚刚复位(使像素的蓄积电荷为空的动作)之后的像素数据表示的亮度值的运算处理，所以可以从非标准曝光像素数据中去除因构成光电转换部的各光电转换元件(像素)的各自的特性差异而产生的固定模式噪声。即，在非破坏读取方式中，由于在读取出的电荷所构成的非标准曝光像素数据中混入了很多的噪音，所以通过进行上述差分运算处理可以去除混入非标准曝光像素数据中的噪音分量，因而可以得到根据更正确的亮度电平的非标准曝光像素数据来进行饱和/非饱和的预测的效果。进而，由于可以使用更正确的亮度电平的非标准曝光像素数据来生成宽动态范围的图像数据(HDR图像数据)，所以可以得到提高宽动态范围的图像的画质的效果。

此处，在“固定模式噪声”中，例如具有因为在长时间曝光时成为问题的暗电流黑斑和每个像素的传感器灵敏度的不同而产生的各种噪声等。

[方式6]

另外，方式6的摄像装置的特征在于，在方式2至5的任一个摄像装置中，上述HDR图像数据生成单元从上述第2读取单元所读取的非标准曝光像素数据中选择与被上述饱和预测单元预测为饱和的像素对应的非标准曝光像素数据，从上述第1读取单元所读取的标准曝光像素数据中选择与被上述饱和预测单元预测为不饱和的像素对应的标准曝光像素数据，将这些所选择的标准曝光像素数据和非标准曝光像素数据进行合成，生成上述HDR图像数据。

根据这种结构，由于可以在预测(判断)为饱和时不使用成为最大亮度值的标准曝光像素数据而使用非标准曝光像素数据，在预测(判断)为未饱和时使用标准曝光像素数据来生成宽动态范围的图像数据(HDR图像数据)，所以可以得到能获取画质比以往要稳定的宽动态范围的图像的效果。

[方式7]

另外，方式7的摄像装置的特征在于，在方式6的摄像装置中，当不存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，上述HDR图像数据生成单元根据上述所选择的非标准曝光像素数据和与该非标准曝光像素数据对应的标准曝光像素数据，生成与上述所选择的非标准曝光像素数据对应的HDR像素数据；当存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，上述HDR图像数据生成单元根据上述所选择的非标准曝光像素数据和与该非标准曝光像素数据对应的上述较短的曝光时间的非标准曝光像素数据及标准曝光像素数据，生成与上述所选择的非标准曝光像素数据对应的HDR像素数据，并合成上述HDR像素数据和上述所选择的标准曝光像素数据来生成上述HDR图像数据。

例如，在单纯地增加校正非标准曝光像素数据的亮度电平，使用该增加校正后的非标准曝光像素数据来生成摄像图像数据时，由于通过增加校正而使得像素的差异引起的噪声也随之增加，所以有可能成为在增加校正后的非标准曝光像素数据中混入放大的噪声的状态。当然，这种噪声会成为画质降低的原因。

根据上述结构，由于在不存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，在亮度电平的校正中，可以使用该所选择的非标准曝光像素数据和与之对应的标准曝光像素数据，所以例如通过进行使非标准曝光像素数据和标准曝光像素数据相加的处理，可以降低增加校正时的噪声。而且，当存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，在亮度电平的校正中，可以使用该所选择的非标准曝光像素数据和与之对应的上述较短的曝光时间的非标准曝光像素数据及标准曝光像素数据，所以例如通过进行使曝光时间不同的2种非标准曝光像素数据和标准曝光像素数据相加，可以进一步降低增加校正时的噪声。

而且，由于如上所述可以使用降低了噪声的非标准曝光像素数据来生成HDR图像数据，所以可以得到能获取画质比以往要稳定的宽动态范围的图像的效果。

[方式8]

另外，方式8的摄像装置的特征在于，在方式7的摄像装置中，上述饱和预测单元比较根据上述非标准曝光像素数据预测的在标准曝光时间曝光时的各像素的蓄积电荷量所表示的亮度值和按照上述曝光时间的种类而设定的饱和预测用亮度值，根据该比较结果来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和，

当不存在比与上述所选择的非标准曝光像素数据即第1非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据即第2非标准曝光像素数据时，上述HDR图像数据生成单元从上述第1非标准曝光像素数据所表示的亮度值中减去用该第1非标准曝光像素数据用的上述饱和预测用亮度值即第1饱和预测用亮度值除以第1标准化系数得到的结果，再使该相减结果与上述第1标准化系数相乘，然后使该相乘结果加上与该第1非标准曝光像素数据对应的标准曝光像素数据来生成上述HDR像素数据。

根据这种结构，当不存在比与上述所选择的非标准曝光像素数据即第1非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据即第2非标准曝光像素数据时，在上述第1非标准曝光像素数据的亮度电平的校正中，可以使从第1非标准曝光像素数据中减去了第1饱和预测用亮度值的值乘以第1标准化系数，然后使该结果与标准曝光像素数据的亮度值进行相加处理，通过该相加处理能够降低增加校正时的噪声。即，比起仅使第1非标准曝光像素数据的亮度值乘以第1标准化系数，可以降低相乘时放大的噪声量，另外，由于也进行与标准曝光像素数据的相加处理，因而能进一步降低噪声。

而且，由于可以使用这种降低了噪声的第1非标准曝光像素数据来生成HDR像素数据，所以可以得到能获取画质比以往要稳定的宽动态范围的图像的效果。

而且，本方式中的HDR图像生成与上述的联合方式不同，是维持图像信号的线性来进行动态范围扩大的处理，由此可以实现忠实的色彩再现性。下面在方式10的摄像装置中也相同。

[方式9]

另外，方式9的摄像装置的特征在于，在方式8的摄像装置中，当上述标准曝光时间和与用于生成上述摄像元件的非标准曝光像素数据对应的短曝光时间之比为“a∶b”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“a/b”的结果作为上述饱和预测用亮度值，

使用上述“a/b”作为用于生成上述摄像元件的非标准曝光像素数据用的标准化系数。

根据这种结构，在第1非标准曝光像素数据的亮度电平的校正中，可以使第1非标准曝光像素数据的亮度值乘以与短曝光时间和标准曝光时间之比对应的第1标准化系数，所以可以更适当地进行亮度电平校正。

[方式10]

另外，方式10的摄像装置的特征在于，在方式8的摄像装置中，在具有比上述第1非标准曝光像素数据更短的曝光时间的上述第2非标准曝光像素数据时，上述HDR图像数据生成单元从上述第2非标准曝光像素数据所表示的亮度值中减去用该第2非标准曝光像素数据用的上述饱和预测用亮度值即第2饱和预测用亮度值除以第2标准化系数得到的结果，再使该相减结果与上述第2标准化系数相乘，然后使该相乘结果与上述第1非标准曝光像素数据表示的亮度值相加，从该相加的结果中减去上述第1饱和预测用亮度值，使该相减结果乘以上述第1标准化系数，使该相乘结果和与上述第1非标准曝光像素数据对应的标准曝光像素数据所表示的亮度值相加来生成上述HDR像素数据。

根据这种结构，在具有比与上述所选择的非标准曝光像素数据即第1非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据即第2非标准曝光像素数据时，在上述第1非标准曝光像素数据的亮度电平的校正中，可以使从第2非标准曝光像素数据中减去第2饱和预测用亮度值所得到的值与第2标准化系数相乘，并使该相乘结果与第1非标准曝光像素数据表示的亮度值相加，进行使该相加结果乘以第1标准化系数的乘法结果与标准曝光像素数据的亮度值相加的处理，能够通过这种相加处理来进一步降低增加校正时的噪声。即，比起仅使第1非标准曝光像素数据的亮度值乘以第1标准化系数，可以降低相乘时放大的噪声量，另外，由于也进行与第2非标准曝光像素数据和标准曝光像素数据的相加处理，因而能进一步降低噪声。

[方式11]

另外，方式11的摄像装置的特征在于，在方式10的摄像装置中，当上述标准曝光时间和与上述第1非标准曝光像素数据对应的短曝光时间之比为“a∶b”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“a/b”的结果作为上述第1饱和预测用亮度值；当上述标准曝光时间和与上述第2非标准曝光像素数据对应的短曝光时间之比为“a∶c”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“(a·b)/(a·c)”的结果作为上述第1饱和预测用亮度值，

使用上述“a/b”作为上述第1标准化系数，使用上述“(a·b)/(a·c)”作为上述第2标准化系数。

根据这种结构，在第1非标准曝光像素数据的亮度电平的校正中，可以使第1非标准曝光像素数据的亮度值乘以与该短曝光时间和标准曝光时间之比对应的第1标准化系数，同时可以使第2非标准曝光像素数据的亮度值乘以与该短曝光时间和标准曝光时间之比对应的第2标准化系数，因而能够得到更适当地进行亮度电平校正的效果。

[方式12]

另一方面，为了达成上述目的，方式12的摄像装系统具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像系统具有：

第1读取单元，其从上述光电转换部的曝光区域的上述光电转换元件构成的各像素中以破坏读取方式读取在标准曝光时间所曝光的电荷；

第2读取单元，其在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式读取在比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷；

饱和预测单元，其根据由上述第2读取单元所读取的上述短曝光时间的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和；以及

HDR图像数据生成单元，其根据上述饱和预测单元的预测结果，合成上述第1读取单元所读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR(High DynamicRange)图像数据。

由此可以得到与方式2的摄像装置同等的作用和效果。

此处，本系统可以实现为单一的装置、终端和其他设备(此时与方式2的摄像装置同等)，还可以实现可通信地与多个装置、终端和其他设备连接的网络系统。在后者的情况下，各构成要素只要分别可通信地进行连接，就可以属于多个设备等中的任意一种。

[方式13]

另外，为了达成上述目的，方式13的摄像方法用于具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能的摄像装置，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像方法具有：

第1读取步骤，其从上述光电转换部的曝光区域的上述光电转换元件构成的各像素中以破坏读取方式读取在标准曝光时间所曝光的电荷；

第2读取步骤，其在与上述第1读取步骤中的曝光期间相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式读取在比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷；

饱和预测步骤，其根据由在上述第2读取步骤中读取的上述短曝光时间的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和；以及

HDR图像数据生成步骤，其根据上述饱和预测步骤的预测结果，合成由在上述第1读取步骤中读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR(HighDynamic Range)图像数据。

由此可以得到与方式2的摄像装置同等的作用和效果。

附图说明

图1是表示本发明的摄像装置1的概要结构的框图。

图2是表示摄像处理系统10的内部结构和主机系统2的内部结构的框图。

图3是表示第1AFE(Analog Front End：模拟前端)102的内部结构的图。

图4是表示非破坏扫描对应型摄像元件100的内部结构的框图。

图5是表示扫描线扫描仪54的内部结构的图。

图6是表示传感器单元阵列56的详细结构的图。

图7是表示摄像元件100的传感器单元阵列56中的各像素的每条线的曝光和像素信号的读取动作的一个例子的图。

图8是表示影像处理系统12的内部结构的框图。

图9是表示非标准图像数据生成部/饱和预测部12c的内部结构的图。

图10(a)是表示第1非标准图像生成部70的内部结构的图，(b)是表示第1饱和预测部72的内部结构的图，(c)是表示第1合成图像生成部73的内部结构的图。

图11是表示破坏读取方式下的像素的蓄积电荷量的变化的图。

图12是表示传感器单元阵列56的各像素相对于不同的照射光量的曝光时间与信号电平(亮度电平)的变化的一个例子的图。

图13是表示第1实施方式的HDR图像生成部12d的内部结构的图。

图14是表示第2实施方式的HDR图像生成部12d的内部结构的图。

图15是表示以往的像素值的差异引起的饱和/非饱和的错误判断的一个例子的图。

图16是表示以往的合成方式被摄体的照明度和输出值的关系的图。

具体实施方式

[第1实施方式]

下面，根据附图说明本发明的摄像元件、摄像装置、摄像系统和摄像方法的第1实施方式。图1至图13是表示本发明的摄像元件、摄像装置、摄像系统和摄像方法的第1实施方式的图。

下面，根据图1说明本发明的摄像装置1的概要结构。此处，图1是表示本发明的摄像系统3的概要结构的框图。

如图1所示，摄像系统3构成为包含摄像装置1和主机系统2。

摄像装置1构成为包含非破坏扫描对应摄像处理系统10(下面称为摄像处理系统10)，该摄像处理系统10在标准曝光时间的曝光期间(1帧期间)内，用破坏读取方式从传感器单元阵列56(后述)的曝光区域中的标准曝光时间内所曝光的各像素的线中读取出像素信号，同时在相同的1帧期间内，用非破坏读取方式从上述曝光区域中的短曝光时间(比上述标准曝光时间短的曝光时间)和超短曝光时间(比上述短曝光时间短的曝光时间)内分别依次曝光的各像素的线中读取出像素信号，依次输出这些读取出的像素的每条线的像素信号的像素数据(数字数据)。

进而，如图1所示，摄像装置1构成为包括：影像处理系统(DSP)12，其根据摄像处理系统10输出的与短曝光时间的曝光相对应的像素数据(下面称为短曝光像素数据)和与超短曝光时间的曝光相对应的像素数据(下面称为超短曝光像素数据)，预测与短曝光像素数据和超短曝光像素数据对应的像素在标准曝光时间的曝光时是否饱和，根据该预测结果合成与标准曝光时间的曝光对应的像素数据(下面称为标准曝光像素数据)、上述短曝光像素数据和超短曝光像素数据来生成宽动态范围图像数据(下面称为HDR图像数据)；以及帧存储器14，其存储基准图像数据(后述)、由上述超短曝光像素数据构成的超短曝光图像数据、由上述短曝光像素数据构成的短曝光图像数据、HDR图像数据等的各种图像数据。

主机系统2具有向摄像装置1赋予各种控制信号和各种数据，控制其动作或是显示从摄像装置1获得的HDR图像数据的图像的功能。

进而，根据图2至图6说明摄像处理系统10的内部结构。此处，图2是表示摄像处理系统10的内部结构和主机系统2的内部结构的框图。图3是表示第1AFE(Analog Front End)102的内部结构的图。图4是表示非破坏扫描对应型摄像元件100的内部结构的框图。图5是表示扫描线扫描仪54的内部结构的图。图6是表示传感器单元阵列56的详细结构的图。

如图2所示，摄像处理系统10构成为包含非破坏扫描对应型摄像元件100、第1AFE 102、第2AFE 104、第3AFE 106和第4AFE 108。

非破坏扫描对应型摄像元件100(下面称为摄像元件100)用摄像镜头(未图示)在传感器单元阵列56(后述)上集中来自被摄体的光，将与该集光量对应的电荷蓄积在传感器单元阵列56的各像素上。而且，摄像元件100根据影像处理系统12的定时控制器12b(后述)所输出的驱动信号(像素时钟、水平同步信号和垂直同步信号0)将在标准曝光时间的曝光中蓄积在传感器单元阵列56的各像素列上的电荷组依次转换为电压组，同时将刚刚复位之后的各像素列的电荷组依次转换为电压组。而且，摄像元件100根据后述的扫描线扫描仪54所生成的垂直同步信号1将在超短曝光时间的曝光中蓄积在传感器单元阵列56的各像素列上的电荷组依次转换为电压组，根据后述的扫描线扫描仪54所生成的垂直同步信号2将在短曝光时间的曝光中蓄积在传感器单元阵列56的各像素列上的电荷组依次转换为电压组。并且，摄像元件100通过从主机系统2(后述)给予驱动控制信号，可以控制像素信号的读取处理，除了上述曝光时间的组合之外，还可以用标准曝光时间与短曝光时间或者超短曝光时间中的某一方的组合来进行像素信号的读取处理。即，除了上述标准曝光时间、超短曝光时间和短曝光时间的组合之外，还可以选择标准曝光时间和超短曝光时间、标准曝光时间和短曝光时间的组合。

摄像元件100将对即将复位的标准曝光时间内曝光的电荷组进行转换而成的电压组(像素信号)经由水平传输部58(后述)具有的、构成为包含第1线存储器的第1输出信道58a(下面称为CH1)依次输出给第1AFE 102；将对刚刚复位之后的电荷组进行转换而成的电压组(像素信号)经由水平传输部58(后述)具有的、构成为包含第2线存储器的第2输出信道58b(下面称为CH2)依次输出给第2AFE 102。另外，摄像元件100将对短曝光时间内曝光的电荷组进行转换而成的电压组经由水平传输部58(后述)具有的、构成为包含第3线存储器的第3输出信道58c(下面称为CH3)依次输出给第3AFE 106；将对超短曝光时间内曝光的电荷组进行转换而成的电压组经由水平传输部58(后述)具有的、构成为包含第4线存储器的第4输出信道58d(下面称为CH4)依次输出给第4AFE 108。

在本实施方式中，摄像元件100对于传感器单元阵列56的曝光区域，以破坏读取方式经由CH1和CH2分别独立进行来自各像素的复位前后的电荷的读取，以非破坏读取方式经由CH3和CH4分别独立进行短曝光时间的电荷的读取和超短曝光时间的电荷的读取，从而在使用电子快门功能的1次的曝光期间(标准曝光时间)内，分别独立读取标准曝光时间内的曝光时的电荷组、刚刚复位之后的电荷组、短曝光时间和超短曝光时间内的曝光时的电荷组。

此处说明破坏读取和非破坏读取的动作的不同。破坏读取是在读取后马上进行复位处理(使蓄积在传感器单元内的电荷为空的处理)，再进行读取动作。复位前的读取信号(模拟数据)保存在第1线存储器内，复位后的读取信号保存在第2线存储器内。然后在差动放大器60(后述)中，进行对应的像素信号的减法处理来进行信号电平的检测和噪声的去除。另一方面，非破坏读取是在读取后不进行复位处理。读取后的信号(模拟数据)分别保存在第3线存储器和第4线存储器内。分别保存在第1～第4线存储器内的像素信号与像素时钟同步地分别被输出到第1～第4AFE 102～108。

第1～第4AFE 102～108将与经由水平传输部58的CH1～CH4输出的各自不同的曝光时间对应的像素信号(模拟数据)转换为数字数据(下面称为像素数据)。然后，第1～第4AFE 102～108将该生成的像素数据分别输出给影像处理系统12的非标准图像数据生成部/饱和预测部12c(后述)和HDR图像生成部12d(后述)。

然后，根据图3说明第1AFE 102的内部结构。

如图3所示，第1AFE 102构成为包含箝位电路102a、放大电路102b和A/D转换电路102c。

箝位电路102a接收来自摄像元件100的像素信号，检测其是否为遮光区域的信号，在检测为是遮光区域时，以使该信号电平为黑(基准)电平的方式对所有的输入信号进行钳位处理，将该钳位处理之后的像素信号输出给放大电路102b。

放大电路102b使钳位后的像素信号以与A/D转换电路102c的输入范围相匹配的方式进行放大，将该放大后的像素信号输出给A/D转换电路102c。

A/D转换电路102c将来自放大电路102b的像素信号(模拟数据)转换为像素数据(数字数据)后输出给影像处理系统12。

并且由于第1～第4AFE 102～108具有相同的内部结构，所以省略对第2～第4AFE 104～108的内部结构的说明。

进而，根据图4说明摄像元件100的内部结构。

如图4所示，摄像元件100构成为包含基准定时产生器50、驱动脉冲产生器52、扫描线扫描仪54、传感器单元阵列56和水平传输部58。

基准定时产生器50根据来自影像处理系统12的定时控制器12b(后述)的垂直同步信号0和水平同步信号来产生基准定时信号。

驱动脉冲产生器52根据来自基准定时产生器50的基准定时信号和来自扫描线扫描仪54的复位线选择信号和读取线选择信号来产生驱动脉冲，并提供给传感器单元阵列56。

扫描线扫描仪54根据指定来自影像处理系统12的通信器/DSP动作控制部12a(后述)的开始线号码的驱动控制信号，选择对于曝光区域的复位线的位置来生成复位线选择信号，分别选择对于曝光区域的读取线的位置来生成读取线选择信号，将这些生成的选择信号输出给驱动脉冲产生器52。

传感器单元阵列56使用CMOS技术构成各像素，根据驱动脉冲产生器52提供的驱动脉冲，在标准曝光时间内对曝光区域中的各像素进行曝光，并且按照各像素的每条线用破坏读取方式读取通过该曝光而蓄积在各像素中的电荷，并依次输出给水平传输部58。另一方面，在该标准曝光时间的曝光期间内，按照各像素的每条线以及各曝光时间的每个种类依次以非破坏读取方式读取通过短曝光时间和超短曝光时间的曝光而蓄积在各像素中的电荷，并依次输出给水平传输部58。

水平传输部58按照各像素的每条线将与传感器单元阵列56的曝光区域的标准曝光时间对应的像素信号数据和刚刚复位之后的像素信号数据分别存储在CH1的第1线存储器和CH2的第2线存储器N中，将该所存储的标准曝光时间和刚刚复位之后的像素信号数据输出给差动放大器60(后述)。

水平传输部58还按照各像素的每条线将分别与传感器单元阵列56的曝光区域中的短曝光时间和超短曝光时间相对应的像素信号数据(根据所选择的组合内容成为某一方)分别存储在CH3的第3线存储器和CH4的第4线存储器中，将该所存储的短曝光时间和超短曝光时间的像素信号数据分别输出给第3AFE 106和第4AFE 108。

下面根据图5说明扫描线扫描仪54的内部结构。

如图5所示，扫描线扫描仪54构成为包含通常扫描计数器54a、通常扫描地址解码器54b、第1非破坏扫描计数器54c、第1非破坏扫描地址解码器54d、第2非破坏扫描计数器54e、第2非破坏扫描地址解码器54f、以及OR逻辑器54g。

通常扫描计数器54a根据来自基准定时产生器50的垂直同步信号0和水平同步信号重复递增计数动作。此处，计数器的值与曝光区域的像素的线号码对应，该线号码被输出给通常扫描地址解码器54b。

通常扫描地址解码器54b使来自通常扫描计数器54a的线号码的线作为“读取线”而有效，除此以外的线为无效。进而，将表示为有效的线位置(地址)的读取线控制信号输出给OR逻辑器54g，并且将该读取线控制信号作为复位线选择信号输出给驱动脉冲产生器52。

第1非破坏扫描计数器54c根据表示来自通信器/DSP动作控制部12a的开始线号码的信息与通常扫描计数器54a不同步地重复递增计数动作。此处，计数器的值与曝光区域的像素的线号码对应，该线号码被输出给第1非破坏扫描地址解码器54d。另外，第1非破坏扫描计数器54c生成用于通过短曝光时间的曝光来进行非破坏读取的垂直同步信号即垂直同步信号1，并将该生成的垂直同步信号1输出给影像处理系统12的定时控制器12b。

第1非破坏扫描地址解码器54d使来自第1非破坏扫描计数器54c的线号码的线作为“读取线”而有效，除此以外的线为无效。进而，将表示为有效的线位置(地址)的读取线控制信号输出给OR逻辑器54g。

第2非破坏扫描计数器54e与第1非破坏扫描计数器54c具有相同结构，与通常扫描计数器54a不同步地重复递增计数动作，将计数值表示的线号码输出给第2非破坏扫描地址解码器54d。另外，第2非破坏扫描计数器54e生成用于通过超短曝光时间的曝光来进行非破坏读取的垂直同步信号即垂直同步信号2，将该生成的垂直同步信号2输出给影像处理系统12的定时控制器12b。

第2非破坏扫描地址解码器54f与第1非破坏扫描地址解码器54d具有相同结构，使来自第2非破坏扫描计数器54e的线号码的线作为“读取线”而有效，除此以外的线为无效。进而，将表示为有效的线位置(地址)的读取线控制信号输出给OR逻辑器54g。

OR逻辑器54g根据来自通常扫描地址解码器54b的读取线控制信号、来自第1和第2非破坏扫描地址解码器54d和54f读取线控制信号，对每条线进行OR运算，生成相对于曝光区域的每个曝光时间的最终的读取线选择信号。将这些生成的读取线选择信号输出给驱动脉冲产生器52。

然后根据图6说明传感器单元阵列56的详细结构。

如图6所示，传感器单元阵列56将使用CMOS而构成的多个传感器单元(像素)56a配置成矩阵状，按照每个像素列，将地址线、复位线和读取线共同地连接在构成各像素列的传感器单元56a上，经由这3根控制线将各种驱动信号发送给构成各像素列的传感器单元56a。然后，构成为当地址线和读取线有效时，经由图6所示的信号线将蓄积电荷传输给第1～第4输出信道58a～58d中的某一个上。通过该结构，凭借地址线使进行复位动作或者读取动作的像素列(选择)为有效，对于由该选择信号选择的像素列的各传感器单元56a，在进行复位动作的情况下经由复位线输入指示复位动作的信号，在进行像素信号的读取的情况下，经由读取线输入指示蓄积电荷的传输的信号。

进而，根据图7对摄像元件100的曝光时间的控制方法和来自传感器单元阵列56的像素信号的读取方法进行说明。此处，图7是表示摄像元件100的传感器单元阵列56中的各像素的每条线的曝光和像素信号的读取动作的一个例子的图。

此处，本发明的曝光时间的控制是设定对于传感器单元阵列56的曝光区域，进行各像素的线的蓄积电荷的复位和标准曝光时间的像素信号的读取的通常扫描线(读取线)L1，并且设定对于传感器单元阵列56的曝光区域，进行短曝光时间的像素信号的非破坏读取的高速扫描线(读取线)L2和进行超短曝光时间的像素信号的非破坏读取的高速扫描线(读取线)L3。然后，在1次的曝光期间(标准曝光时间)中，分别独立执行在标准曝光时间内曝光时的像素信号的读取和复位以及在短曝光时间和超短曝光时间内曝光时的像素信号的非破坏读取。即，通常扫描线L1和高速扫描线L2、L3如图7所示，当标准曝光时间量的电荷依次蓄积到曝光区域的像素的线上时，通常扫描线L1被设定为依次读取各像素的线的像素信号，并且依次使该蓄积电荷复位。另一方面，在曝光区域的复位后的各像素的线上，在蓄积标准曝光时间量的电荷的期间内，高速扫描线L2、L3分别被设定为在超短曝光时间和短曝光时间中以非破坏来依次读取各像素的线的像素信号。

而且，在本实施方式中，如图7所示，在标准曝光时间内，曝光时的像素信号(模拟数据)被读取到CH1的第1线存储器上，另一方面，刚刚复位之后的像素信号被读取到CH2的第2线存储器上。然后，如图7所示，这些所读取的像素信号被输出给设置于水平传输部58的输出侧的差动放大器60，在该差动放大器60中，进行复位前和复位后的分别对应的像素信号之间的减法处理来进行信号电平的检测和噪声去除。然后，经过减法处理后的像素信号被输出给第1AFE 102而在此转换为数字数据(像素数据)。另一方面，被读取到CH2的第2线存储器中的刚刚复位之后的像素信号原样输出给第2AFE，并在此转换为数字数据(像素数据)。

另外，在短曝光时间内曝光时的像素信号被读取到CH3的第3线存储器中，输出给第3AFE 106，并在此转换为数字数据(像素数据)；在超短曝光时间内曝光时的像素信号被读取到CH4的第4线存储器中，输出给第4AFE 108，并在此转换为数字数据(像素数据)。

另外，如图7所示，上述通常扫描线L1和高速扫描线L2、L3的像素信号的读取定时的控制是按照各像素的每条线依次扫描通常扫描线L1(图7中的上方向)，在该通常扫描线L1上，进行蓄积电荷的复位，同时在蓄积电荷的复位前后读取进行了标准曝光时间的曝光的像素的像素信号和刚刚复位之后的像素信号。然后例如在第1线上进行像素信号的读取和复位，在从线存储器中将所有像素信号都读取到外部之后，依次进行通常扫描线L1的扫描，当通常扫描线L1再次到达第1线时，在正好标准曝光时间所经过的定时进行通常扫描线L1的扫描。以这样的步骤对传感器单元阵列56的曝光区域的像素的线，按照各像素的每条线，依次进行通常曝光时的像素信号的读取和蓄积电荷的复位。另一方面，在通过通常扫描线L1而使蓄积电荷复位时，对该复位后的像素的线，在高速扫描线L3上对进行了超短曝光时间的曝光的像素的像素信号进行非破坏读取，接着，在高速扫描线L2上对进行了短曝光时间的曝光的像素的像素信号进行非破坏读取。以这样的步骤对传感器单元阵列56的各像素的线，按照每条线，在超短曝光时间和短曝光时间内依次进行曝光时的像素信号的非破坏读取。

接着，根据图8～图11说明影像处理系统12的内部结构。此处，图8是表示影像处理系统12的内部结构的框图。图9是表示非标准图像数据生成部/饱和预测部12c的内部结构的图。图10(a)是表示第1非标准图像生成部70的内部结构的图，(b)是表示第1饱和预测部72的内部结构的图，(c)是表示第1合成图像生成部73的内部结构的图。图11是表示破坏读取方式下的像素的蓄积电荷量的变化的图。图12是表示传感器单元阵列56的各像素相对于不同的照射光量的曝光时间与信号电平(亮度电平)的变化的一个例子的图。图13是表示第1实施方式的HDR图像生成部12d的内部结构的图。

如图8所示，影像处理系统12构成为包含通信器/DSP动作控制部12a、定时控制器12b、非标准图像数据生成部/饱和预测部12c、HDR图像生成部12d、存储器存取调停器12e、以及输出读取器12f。

通信器/DSP动作控制部12a从系统控制器2a(后述)获得相对于传感器单元阵列56的非破坏读取的开始线号码的相关信息，将表示该获得的开始线号码的驱动控制信号输出给摄像处理系统10的扫描线扫描仪54。

定时控制器12b生成摄像元件100的驱动信号(像素时钟、水平同步信号、垂直同步信号0)，并将其输出给摄像元件100的基准定时产生器50。而且，定时控制器12b由于根据水平同步信号、垂直同步信号0而得知与摄像处理系统10的CH1所输出的在整个曝光区域的标准曝光时间内曝光时的像素信号相对应的、摄像元件100在传感器单元阵列56上的像素位置(像素列(线)号码、像素号码)，所以生成该像素列(线)号码(下面称为“地址信息”)，将该地址信息输出给HDR图像生成部12d。另外，定时控制器12b由于根据来自摄像处理系统10的垂直同步信号1、垂直同步信号2而得知与摄像处理系统10的CH3和CH4所分别输出的在短曝光时间和超短曝光时间内曝光时的像素信号对应的、摄像元件100在传感器单元阵列56上的像素位置，所以生成该地址信息，并将该地址信息输出给非标准图像数据生成部/饱和预测部12c。

如图9所示，非标准图像数据生成部/饱和预测部12c构成为包含第1非标准图像生成部70、第1饱和预测部72、第1合成图像生成部73、饱和预测结果保存存储器74、第2非标准图像生成部75、第2饱和预测部76、以及第2合成图像生成部77。

如图10(a)所示，第1非标准图像生成部70构成为包含减法器70a。此处将与标准曝光时间之外的曝光时间对应的像素数据称为非标准曝光像素数据。即，分别与超短曝光时间和短曝光时间对应的超短曝光像素数据和短曝光像素数据成为非标准曝光像素数据。

减法器70a从摄像处理系统10所输入的非标准曝光像素数据之一即短曝光图像数据(线单位的短曝光像素数据)表示的各像素值中，减去与该各短曝光像素数据相同的像素位置的、经由存储器存取调停器12e而从帧存储器14读取出的刚刚复位之后的像素数据即基准像素数据表示的像素值。然后，第1非标准图像生成部70将由该差值构成的短曝光图像数据分别输出给第1饱和预测部72和第1合成图像生成部73。

此处，非标准图像数据生成部/饱和预测部12c根据定时控制器12b所输入的地址信息，将由摄像处理系统10所输入的基准像素数据经由存储器存取调停器12e而存储在帧存储器14中，之后读取该存储的基准像素数据进行使用。因此，基准图像数据仅在最开始的1次(标准曝光时间)被取得即可。

而且为了说明第1非标准图像生成部70的动作，根据图11说明传感器单元阵列56的各像素的蓄积电荷量的变化。

如图11所示，在1帧(标准曝光时间)的曝光中，蓄积在传感器单元阵列56的各像素中的电荷量随时间经过而增加。在超短曝光时间(图中T2)和短曝光时间(图中T1)中，由于以非破坏读取方式从各像素中读取电荷，所以在曝光中进行任意次的电荷的读取都能够维持各像素的蓄积电荷量。

而且，图11中的复位定时是使蓄积在传感器单元阵列56中的电荷为空的定时，该定时确定标准曝光时间。而且例如以图11所示的(1)～(3)的定时来非破坏地读取电荷，然后如上所述，根据差生成图像。即，根据在(1)的定时读取出的刚刚复位之后的电荷量与在(2)和(3)的各定时中分别读取出的电荷量的各自的差生成图像。

另外，从摄像处理系统10中获得的非破坏读取出的像素数据混入有各像素的差异所引起的固定模式噪声。因此通过计算差值可以去除固定模式噪声。

返回图9，第1饱和预测部72如图10(b)所示，构成为包含比较器72a。

比较器72a比较由第1非标准图像生成部70输入的短曝光像素数据表示的亮度值V1和从系统控制器2a经由通信器/DSP动作控制部12a输入的短曝光时间用的饱和预测用的亮度值即饱和预测电平THR1，如果“ V1＞THR1”则作为饱和预测结果输出“1”，如果为“V1≤THR1”则作为饱和预测结果输出“0”。即，当饱和预测结果为“1”时，与该短曝光像素数据对应的像素的蓄积电荷量被预测为在标准曝光时间的经过时饱和，另一方面，当饱和预测结果为“0”时，与该短曝光像素数据对应的像素的蓄积电荷量被预测为在标准曝光时间的经过时未饱和。然后，第1饱和预测部72将该饱和预测结果输出给第1合成图像生成部73，并且将该饱和预测结果输出给饱和预测结果保存存储器74。

此处，为了说明第1饱和预测部72的动作，根据图12说明传感器单元阵列56的各像素相对于不同的照射光量的曝光时间和信号电平(亮度电平)的变化。

如图12所示，设超短曝光时间为T2、设短曝光时间为T1、设标准曝光时间为T0，考虑在T0中以正好到达饱和电平V_max(超过该值即饱和的亮度值)的倾斜度来增加蓄积电荷量的情况。当设此时的每单位时间的照射光量为S0时，如果根据T2、T1的蓄积电荷量求出这些每单位时间的照射光量S1、S2，则可以预测该像素在T0是否饱和。此处，事先可以预测传感器单元阵列56的饱和电平V_max，而且如果照射光量恒定，则在曝光时间和输出亮度电平上具有相关关系(大致比例关系)。即，在标准曝光时间的曝光期间中，只要摄像对象上不存在较激烈的亮度变化，则蓄积电荷量大致呈线性增加(以大致恒定的增加量来增加)。

因此，比较T0时刻成为V_max的每单位时间的增加量(照射光量)S0和T2、T1时刻的每单位时间的照射光量，当它们在S0以下时可以预测为该像素在T2时刻不饱和。反之，T2、T1时刻的照射光量中的至少一方超过S0的情况下，可以预测为该像素在T0时刻饱和。例如如图1 2所示，进行在T1时刻使蓄积电荷量到达V_max的变化时，T2、T1时刻的照射光量由于都超过S0，所以第1饱和预测部72预测为对象的像素在标准曝光时间T0饱和。而且，在使用超短曝光像素数据和短曝光像素数据两方进行预测时，如图12所示，T2的照射光量超过T1时刻成为V_max的每单位时间的增加量(照射光量)S1时，可以预测该像素在T1时刻饱和。即，在短曝光时间下饱和的情况下，可以使用超短曝光像素数据生成HDR像素数据。

返回图9，第1合成图像生成部73如图10(c)所示，构成为包含选择输出器73a。

选择输出器73a根据第1饱和预测部72输入的饱和预测结果，选择第1非标准图像生成部70输入的短曝光像素数据和从系统控制器2a经由通信器/DSP动作控制部12a而输入的饱和预测电平THR1中的某一方，并输出该选择的数据。具体而言，如果饱和预测结果为“1”则输出短曝光像素数据，如果饱和预测结果为“0”则输出饱和预测电平THR1。然后，第1合成图像生成部73将所选择输出的短曝光像素数据或者饱和预测电平THR1作为合成输出用的短曝光像素数据经由存储器存取调停器12e而存储在帧存储器14内。

饱和预测结果保存存储器74是保存第1饱和预测部72和第2饱和预测部76所输入的饱和预测结果的存储器。它是为了在根据超短曝光像素数据和短曝光像素数据而进行饱和预测时，吸收各个线号码不同时的时间(相位)差而设置的。即，首先进行基于超短曝光像素数据的饱和预测，在该规定时间后进行基于短曝光像素数据的饱和预测，所以吸收其时间差。具体而言，将基于超短曝光像素数据的饱和预测结果保存在饱和预测结果保存存储器74中，除了基于上述超短曝光像素数据的预测结果以外，还保存接下来的基于短曝光像素数据的饱和预测结果(这2个预测结果成为最终的预测结果)。其中，饱和预测结果保存存储器74如上所述，在读取处理中，在选择了利用标准曝光时间、超短曝光时间和短曝光时间这3种曝光时间进行读取的组合的情况下可以发挥吸收上述时间差的功能。

第2非标准图像生成部75仅在处理的数据是超短曝光图像数据这一点上不同，其余与第1非标准图像生成部70结构相同，从构成超短曝光图像数据(线单位的短曝光像素数据)的各超短曝光像素数据表示的各像素值减去与该各超短曝光像素数据相同像素位置的、存储在帧存储器14中的刚刚复位之后的像素数据即基准像素数据表示的像素值。然后，第2非标准图像生成部75将由该差值构成的超短曝光图像数据分别输出给第2饱和预测部76和第2合成图像生成部77。

第2饱和预测部76与第1饱和预测部72结构相同，在内部的比较器76a中，比较第2非标准图像生成部75所输入的超短曝光像素数据表示的亮度值V2和来自系统控制器2a所输入的超短曝光时间用的饱和预测电平THR2，如果“V2＞THR2”则作为饱和预测结果输出“1”，如果为“V2≤THR2”则作为饱和预测结果输出“0”。此处的饱和预测考虑到2种模式，即在T2时刻预测T1时是否饱和的模式和预测T0时是否饱和的模式。在本实施方式中，通过从系统控制器2a赋予控制信号，从而可以切换这2个模式。然后，第2饱和预测部76将超短曝光像素数据和饱和预测电平THR2中任意被选择的一方输出给第2合成图像生成部77。

第2合成图像生成部77与第1合成图像生成部73结构相同，在内部的选择输出器77a中，根据第2饱和预测部76输入的饱和预测结果，如果饱和预测结果为“1”则输出超短曝光像素数据，如果饱和预测结果为“ 0”则输出饱和预测电平THR2。然后，第2合成图像生成部77将超短曝光像素数据和饱和预测电平THR2中任意被选择输出的一方作为合成输出用的超短曝光像素数据经由存储器存取调停器12e而存储在帧存储器14内。

接着，根据图13说明HDR图像生成部12d的内部结构。

此处，在说明内部结构之前，说明本实施方式的HDR图像生成部12d的动作原理。

设上述短曝光时间T1为标准曝光时间T0的1/K1(T1＝T0/K1)。另外在T1中，被S0照射的像素的信号输出电平可被预测为V_max/K1(将其作为上述THR1)。即，复位后在经过时间T1后将所有像素取样(从所有像素中进行像素信号的读取)，各像素的信号输出电平超过判定阈值THR1的像素被预测(判定)为在经过时间T0后饱和。而且，被预测(判定)为THR1以下的像素在经过时间T0后不饱和(非饱和)。

以上述情况为前提，下面说明本实施方式的HDR图像的生成方法。

此处，在本实施方式中，在摄像处理系统10中，作为非标准曝光像素数据，设仅获得在短曝光时间内所曝光的短曝光像素数据。另外，在本实施方式中，以可以在宽动态范围内输出的显示装置为前提，通过曝光时间的标准化、具体而言是通过在标准曝光时间T0时标准化的线性合成来生成HDR图像。因此，在预测为T0的标准曝光像素数据的值为非饱和的情况下，使用该标准曝光像素数据，除此之外的情况下，使用对在T1时获得的短曝光像素数据进行了标准化的数据来求出合成输出。

具体而言，对于短曝光像素数据，在假想地把曝光时间延长到T0时，预测其成为多大值，将短曝光像素数据校正为该预测的值进行使用。即，合成T0处非饱和时的标准曝光像素数据和T0处饱和时的亮度校正后的短曝光像素数据来生成HDR图像数据。另外，在本实施方式中，可以将校正后的短曝光像素数据作为单纯的线性合成(K1×V1)来处理，但为了进一步抑制噪声引起的判定差异，进行对通常的线性合成采用了联合方式的考虑方法的合成。即，根据下式(1)进行使用了T1时的短曝光像素数据值V1和T0时的标准曝光像素数据值V0的线性合成。

合成输出＝K1×V1

＝K1×(V1-V_max/K1+V_max/K1)

＝K1×(V1-V_max/K1)+V_max

＝K1×(V1-THR1)+(T0时的信号输出)...(1)

在上式(1)中，标准曝光时间T0和短曝光时间T1之比(标准化系数)为K1(＝T0/T1)。

根据上述情况，说明HDR图像生成部12d的内部结构。

如图13所示，HDR图像生成部12d构成为包含减法器80、乘法器81、加法器82。

减法器80经由存储器存取调停器12e从帧存储器14中读取合成用的短曝光图像数据，从构成该短曝光图像数据的各短曝光像素数据(V1)或者饱和预测电平(THR1)中减去从系统控制器2a经由通信器/DSP动作控制部12a所输入的饱和预测电平(THR1)，将该相减的结果输出给乘法器81。即，由于预测为标准曝光时间T0时饱和的像素的情况下输入短曝光像素数据，所以上式(2)中的(V1-THR1)为0以外的值；预测为标准曝光时间T0时不饱和的像素的情况下输入饱和预测电平(THR1)作为V1，所以上式(1)中的(V1-THR1)为0。

乘法器81将从系统控制器2a经由通信器/DSP动作控制部12a所输入的标准化系数K1与从减法器80输入的(V1-THR1)的值相乘，将该相乘的结果输出给加法器82。此时，在预测为标准曝光时间T0时不饱和的情况下，由于如上所述，(V1-THR1)的值为0，所以与标准化系数K1相乘的结果也为0。

加法器82将乘法器81输入的乘法结果和与构成摄像处理系统10所输入的标准图像数据(线单位)的上述乘法结果相对应的标准曝光像素数据相加，将该相加结果作为合成输出进行输出。然后，HDR图像生成部12d将上述合成输出作为HDR图像数据，经由存储器存取调停器12e存储在帧存储器14中。

返回图8，存储器存取调停器12e根据来自非标准图像数据生成部/饱和预测部12c、HDR图像生成部12d和输出读取器12f这3个系统的对于帧存储器14的读取/写入命令，调停这3个系统对于帧存储器14的图像数据的存取请求，进行存取。

输出读取器12f与来自系统控制器2a的输出定时信号同步地，经由存储器存取调停器12e读取帧存储器14内的HDR图像数据，将该读取出的HDR图像数据输出给系统控制器2a。

如图8所示，帧存储器14是存储基准图像数据、超短曝光图像数据、短曝光图像数据、HDR图像数据等的各种图像数据的存储器，当从存储器存取调停器12e具有读取请求时，读取出该请求表示的像素数据。而且，当从存储器存取调停器12e具有写入请求时，帧存储器14写入该写入请求表示的像素数据。

进而返回图2，说明主机系统2的内部结构。

主机系统2构成为包含系统控制器2a和显示装置2b。

系统控制器2a从影像处理系统(DSP)12中获得HDR图像数据，根据该获得的HDR图像数据在显示装置2b上显示宽动态范围图像，或者向摄像装置1赋予各种控制信号和各种数据来控制其动作。

显示装置2b由液晶显示器等的显示设备构成，具有能够显示宽动态范围图像的功能。而且，根据来自系统控制器2a的指示，显示从影像处理系统12获得的HDR图像数据的图像。

接着说明本实施方式的实际上的动作。

下面说明仅读取短曝光像素数据来作为非标准曝光像素数据的情况下的动作。另外，在本实施方式中，设非破坏读取的采样时间(短曝光时间)为标准曝光时间的1/10。

摄像装置1被接通电源，在影像处理系统12中，一旦从主机系统2中获得了关于曝光时间的信息和对于非破坏读取的开始线号码的相关信息，则通过通信器/DSP动作控制部12a向摄像处理系统10发送用于指定非破坏读取的开始线号码的驱动控制信号。进而，在定时控制器12b中，向摄像处理系统10输出用于驱动摄像元件100的驱动信号(像素时钟、垂直同步信号0和水平同步信号)，以得到针对曝光区域的标准曝光时间的像素信号。

当摄像处理系统10接收到驱动控制信号时，在扫描线扫描仪54中，与垂直同步信号0和水平同步信号同步地生成复位线选择信号和相对于标准曝光时间的破坏读取的读取线控制信号。另外，根据开始线号码和水平同步信号，生成相对于短曝光时间的非破坏读取的读取线控制信号。进而，将这些生成的读取控制信号输入给OR逻辑器54g，分别生成相对于各曝光时间的读取线选择信号。然后，将这些生成的复位线选择信号、读取线选择信号(2种)输出给驱动脉冲产生器52。驱动脉冲产生器52根据来自基准定时产生器50的基准定时信号和来自扫描线扫描仪54的各种选择信号，产生驱动脉冲来提供给传感器单元阵列56。

传感器单元阵列56根据来自驱动脉冲产生器52的驱动脉冲，扫描通常扫描线L1和高速扫描线L2，从曝光区域的各像素的线上对通过标准曝光时间的曝光而蓄积的电荷进行破坏读取(读取后进行蓄积电荷的复位)，与该破坏读取动作相独立地，从曝光区域的各像素的线上对通过短曝光时间的曝光而蓄积的电荷进行非破坏读取(读取后不进行蓄积电荷的复位)。然后，经由水平传输部58的CH1和CH2向差动放大器60输出由通常扫描线L1的扫描读取出的电荷所构成的复位前后的像素信号，在差动放大器60中计算这些差值，将该计算结果输出给第1AFE 102。另外，经由水平传输部58的CH2向第2AFE 104输出刚刚复位之后的像素信号。另一方面，经由水平传输部58的CH3向第3AFE 106输出由高速扫描线L2的扫描读取出的电荷所构成的像素信号。

第1AFE 102生成将与经由差动放大器60而依次输出的标准曝光时间的曝光对应的像素信号(模拟数据)转换为数字数据而成的标准曝光像素数据并输出给影像处理系统12。另一方面，第2AFE 104生成将经由CH2而依次输出的刚刚复位之后的像素信号(模拟数据)转换为数字数据而成的基准像素数据并输出给影像处理系统12。另外，第3AFE 106生成将与短曝光时间的曝光对应的像素信号(模拟数据)转换为数字数据而成的短曝光像素数据并输出给影像处理系统12。

在影像处理系统12中，将第1AFE 102所输出的标准曝光图像数据输入给HDR图像生成部12d，将第2AFE 104所输出的基准图像数据以及第3AFE 106所输出的短曝光图像数据输入给非标准图像数据生成部/饱和预测部12c。

非标准图像数据生成部/饱和预测部12c在从摄像处理系统10输入了基准图像数据，而且从定时控制器12b输入了地址信息时，根据该地址信息经由存储器存取调停器12e将基准图像数据存储在帧存储器14中。接着，非标准图像数据生成部/饱和预测部12c在接下来从摄像处理系统10输入了短曝光图像数据时，在第1非标准图像生成部70的减法器70a中，从构成短曝光图像数据的各短曝光像素数据的像素值中减去存储在帧存储器14中的与该短曝光像素数据相同像素位置的基准像素数据的像素值，生成去除了固定模式噪声的短曝光像素数据。第1非标准图像生成部70在生成了短曝光图像数据(线单位)时，将其分别输出给第1饱和预测部72和第1合成图像生成部73。

第1饱和预测部72在从第1非标准图像生成部70输入了短曝光图像数据，从通信器/DSP动作控制部12a输入了饱和预测电平THR1时，在比较器72a中，比较构成短曝光图像数据的各短曝光像素数据表示的亮度值V1和THR1。如上所述，由于设短曝光时间T1为标准曝光时间T0的1/10，所以如图13所示，在T1时，根据上述S0所照射的像素的信号输出电平可以被预测为V_max/10。因此，此处设标准化系数K1为10，设THR1为“V_max/10”。因此，比较器72a在“V1＞V_max/10”的情况下，将对象的像素预测为在标准曝光时间下饱和而输出“1”作为饱和预测结果。另一方面，如果“V1≤V_max/10”，则将对象的像素预测为在标准曝光时间下不饱和而输出“0”作为饱和预测结果。第1饱和预测部72将该饱和预测结果输出给第1合成图像生成部73，并且将该饱和预测结果输出给饱和预测结果保存存储器74。

由于这样根据短曝光像素数据进行饱和/非饱和的预测(判定)，而且通过与基准像素数据的差值来构成短曝光像素数据，所以可以根据混入的噪声电平较低的像素数据来进行饱和/非饱和的预测(判定)，所以可以进行高精度的饱和/非饱和的预测(判定)。

当从第1非标准图像生成部70输入了短曝光图像数据，从第1饱和预测部72输入了饱和预测结果时，第1合成图像生成部73在选择输出器73a中，关于各短曝光像素数据，如果饱和预测结果为“1”则选择短曝光像素数据(V1)输出，如果为“0”则选择从系统控制器2a经由通信器/DSP动作控制部12a所输入的饱和预测电平THR1进行输出。该选择输出作为合成用的短曝光像素数据，经由存储器存取调停器12e存储在帧存储器14中。

另一方面，当在非标准图像数据生成部/饱和预测部12c中，生成了短曝光图像数据，而且从摄像处理系统10中输入了标准曝光图像数据时，HDR图像生成部12d通过综合了通常的线性合成和联合方式的线性合成，来生成HDR图像数据。

HDR图像生成部12d使用减法器80、乘法器81和加法器82进行按照上式(1)的处理来生成HDR图像数据。

此处，由于短曝光像素数据的亮度值(差分处理后)＝V1、K1＝10、THR1＝V_max/10、标准曝光像素数据的值(T0时的信号输出)＝V0V_max，所以上式(1)成为下式(2)。

合成输出＝10×(V1-V_max/10)+V0...(2)

即，HDR图像生成部12d首先经由存储器存取调停器12e从帧存储器14读取合成用的短曝光图像数据，将其输入到减法器80中，并且将从系统控制器2a经由通信器/DSP动作控制部12a输入的饱和预测电平THR1输入到减法器80中。接着，在减法器80中，从构成所输入的短曝光图像数据的各短曝光像素数据表示的亮度值V1或者THR1(V_max/10)中减去THR1(V_max/10)，将该相减的结果输出给乘法器81。即，在标准曝光时间内饱和的像素的情况下，输出V1和THR1的差值“V1-V_max/10”，在标准曝光时间内不饱和的像素的情况下，输出“0”。

乘法器81使从系统控制器2a经由通信器/DSP动作控制部12a输入的标准化系数K1(10)和乘法器81所输入的减法结果相乘，将该相乘结果“10×(V1-V_max/10)”或者“0”输出给加法器82。

加法器82使构成从摄像处理系统10输入的标准曝光图像数据的标准曝光像素数据表示的亮度值V0和从乘法器81输入的乘法结果相加，将该相加的结果“10×(V1-V_max/10)+V0”或者“V0”作为HDR合成输出进行输出。即，对于被预测为在标准曝光时间T0时饱和的像素，将对该短曝光像素数据进行了标准化的“10×(V1-V_max/10)+V0”作为HDR像素数据输出，另一方面，对于被预测为在标准曝光时间T0时不饱和的像素，将该标准曝光像素数据“V0”本身作为HDR像素数据输出。即，HDR图像数据如上所述成为把根据被高精度地预测了饱和/非饱和的预测结果而选择的、将短曝光像素数据进行了标准化的像素数据和标准曝光像素数据合成起来的数据。然后将该HDR图像数据经由存储器存取调停器12e存储在帧存储器14中。

另一方面，系统控制器2a向摄像装置1输出各种同步信号并进行HDR图像数据的读取请求。

输出读取器12f与来自系统控制器2a的各种同步信号同步地，经由存储器存取调停器12e读取出存储在帧存储器14内的HDR图像数据，将该读取出的HDR图像数据输出给系统控制器2a。系统控制器2a获得从输出读取器12f输出的HDR图像数据，在显示装置2b上显示该获得的HDR图像数据。

这样，本实施方式的摄像系统3在1个摄像元件(传感器单元阵列56)中，在标准曝光时间的曝光下通过破坏读取来对摄像对象进行摄像，并且在该标准曝光时间的曝光期间内，由于可以在短曝光时间的曝光下通过非破坏读取来进行拍摄，所以可以同时获得用于HDR图像的生成的标准曝光图像数据以及用于饱和/非饱和的判定和HDR图像的生成的非标准曝光(短曝光)图像数据。

另外，摄像系统3根据短曝光图像数据可以预测与短曝光图像数据对应的像素在标准曝光时间内是否饱和，所以可以精度良好地根据随时间经过而增加的暗电流噪音等的噪声的影响较小的像素数据来判定饱和/非饱和。而且，相比用标准曝光图像来进行饱和判定的情况，即使对于每个像素的饱和电平、灵敏度的差异，也可以抑制错误判定。即，在用短曝光图像进行判定的情况下，由于判定电平被设定得较低，所以难以受到饱和电平的差异、灵敏度的差异的影响。而且，由于可以根据该预测结果来从标准曝光像素数据和短曝光像素数据中的某一方中选择用于生成HDR图像数据的像素数据，所以可以正确选择在标准曝光时间内不饱和的标准曝光像素数据，由此可以生成画质稳定的(错误选择极少的)HDR图像数据。

并且，摄像系统3通过综合了通常的线性合成和联合方式的手法，使用标准曝光像素数据和短曝光像素数据，可以合成在T0时饱和的情况下的短曝光像素数据，所以相比通常的线性合成可以通过积分效果(低通滤波器)来降低合成用的短曝光像素数据(HDR像素数据)中所含的噪声分量。而且，即使万一具有错误判定，式(1)的(V1-THR1)的值也只是变得比V1小，可以抑制放大K1倍时的影响。

在上述第1实施方式中，传感器单元阵列56对应于方式1、2、12和13中的某1个光电转换部；通过摄像处理系统10的非破坏扫描对应型摄像元件100中的基准定时产生器50、扫描线扫描仪54、驱动脉冲产生器52、水平传输部58从传感器单元阵列56的曝光区域进行的在标准曝光时间下的电荷的破坏读取处理对应于方式1、2、3、6和12中的某1个第1读取单元或者方式13的第1读取步骤；通过摄像处理系统10的非破坏扫描对应型摄像元件100中的基准定时产生器50、扫描线扫描仪54、驱动脉冲产生器52、水平传输部58从传感器单元阵列56的曝光区域进行的在超短曝光时间和短曝光时间下的电荷的非破坏读取处理对应于方式1～6和12中的某1个第2读取单元或者方式13的第2读取步骤。

而且，在上述第1实施方式中，非标准图像数据生成部/饱和预测部12c中的饱和/非饱和的预测处理对应于方式1、2、3、4、6和12中的某1个饱和预测单元或者方式13的饱和预测步骤；HDR图像生成部12d对应于方式2、4、6、7、8和12中的某1个HDR图像数据生成单元或者方式13的HDR图像数据生成步骤。

[第2实施方式]

下面根据附图说明本发明的摄像元件、摄像装置、摄像系统和摄像方法的第2实施方式。图14是表示本发明的摄像元件、摄像装置、摄像系统和摄像方法的第2实施方式的图。

本实施方式获得超短曝光像素数据和短曝光像素数据双方来作为非标准像素数据，根据超短曝光像素数据和短曝光像素数据进行饱和/非饱和的预测，并且在预测为对象的像素在短曝光时间T1时饱和的情况下，使用由基准图像数据进行了差分处理的所有超短曝光像素数据、短曝光像素数据和标准曝光像素数据来生成合成输出(HDR像素数据)，在这一点上与上述第1实施方式不同。因此，本实施方式仅在上述第1实施方式的图8的HDR图像生成部12d的结构上局部不同，除此之外的结构和动作与上述第1实施方式的摄像系统3相同。下面仅说明与上述第1实施方式不同的部分。

下面根据图14说明本实施方式的摄像装置1的HDR图像生成部12d的内部结构。此处，图14(a)是表示本实施方式的HDR图像生成部12d的内部结构的框图，(b)是表示超短曝光合成部91的内部结构的框图。

首先，在说明内部结构之前，说明本实施方式的HDR图像生成部12d的动作原理。

与上述第1实施方式相同地，设短曝光时间T1为标准曝光时间T0的1/K1(T1＝T0/K1)，另一方面，在本实施方式中，设超短曝光时间T2为短曝光时间T1的1/K2。还有，与上述第1实施方式相同地，通过S0照射的像素在T1时的信号输出电平为V_max/K1(THR1)，另一方面，在本实施方式中，通过S1照射的像素在T2时的信号输出电平为V_max/K2

(将其作为超短曝光时间用的饱和预测电平THR2)。即，复位后在经过时间T2后将所有像素取样，各像素的信号输出电平超过判定阈值THR2的像素被预测为在经过时间T1后饱和。而且，THR2以下的像素被预测为在经过时间T1后不饱和(非饱和)。另一方面，与上述第1实施方式相同地，复位后在经过时间T1后将所有像素取样，各像素的信号输出电平超过判定阈值THR1的像素被预测(判定)为在经过时间T0后饱和。而且，THR1以下的像素被预测(判定)为在经过时间T0后不饱和(非饱和)。

此处，在本实施方式中，在摄像处理系统10中，作为非标准曝光像素数据，设获得在超短曝光时间和短曝光时间内所曝光的所有像素的超短曝光像素数据和短曝光像素数据。另外，在本实施方式中，对于超短曝光像素数据和短曝光像素数据，在假想地将曝光时间延长到T0时，预测其成为多大值，将超短曝光像素数据和短曝光像素数据校正为该预测后的值来使用。

即，合成T0处成为非饱和时的标准曝光像素数据和T2处不饱和而T1处饱和时的亮度校正后的超短曝光像素数据以及T1处不饱和而T0处饱和时的亮度校正后的短曝光像素数据来生成HDR图像数据。另外，在本实施方式中，与上述第1实施方式相同地，进行对通常的线性合成采用了联合方式的考虑方法的合成。即，当预测为T1处不饱和而T0处饱和时，根据上式(1)进行使用了T1时的短曝光像素数据值V1和T0时的标准曝光像素数据值V0的线性合成。进而，当预测为T2处不饱和而T1处饱和时，根据下式(4)和(5)，进行使用T0时的超短曝光像素数据值V2、T1时的短曝光像素数据值V1和T0时的标准曝光像素数据值V0的线性合成。

“T1时的预测值”＝K2×V2

＝K2×(V2-V_max/K1+V_max/K1)

＝K2×(V2-V_max/K1)+V_max

＝K2×(V2-THR2)+(T1的信号输出)...(4)

其中，设标准化系数K2＝T1/T2。

另外，根据上式(1)和(4)，T1时饱和的情况的合成输出成为下式(5)。

合成输出＝K1×(T1时的预测值)

＝K1×(K2(V2-THR2)+(T1的信号输出)-THR1)+(T0的信号输出)

＝K1×K2×(V2-THR2)+K1×((T1的信号输出)-THR1))+(T0的信号输出)...(5)

根据上述情况，说明本实施方式的HDR图像生成部12d的内部结构。

如图14(a)所示，HDR图像生成部12d构成为包含短曝光合成部90和超短曝光合成部91。

短曝光合成部90具有与上述第1实施方式的图13所示的结构相同的结构，仅在把加法器82的相加结果(下面称为高亮度图像数据)输出给超短曝光合成部91的点上不同。因此省略其详细说明。

超短曝光合成部91构成为包含减法器83、乘法器84和加法器85。

减法器83经由存储器存取调停器12e从帧存储器14中读取合成用的超短曝光图像数据，从构成该超短曝光图像数据的各超短曝光像素数据(V2)或者饱和预测电平(THR2)中减去从系统控制器2a经由通信器/DSP动作控制部12a所输入的饱和预测电平(THR2)，将该相减的结果输出给乘法器84。即，由于预测为短曝光时间T1内饱和的像素的情况下输入超短曝光像素数据，所以上式(5)中的(V2-THR2)为0以外的值；预测为短曝光时间T1时不饱和的像素的情况下输入饱和预测电平(THR2)作为V2，所以上式(5)中的(V2-THR2)为0。

乘法器84将从系统控制器2a经由通信器/DSP动作控制部12a所输入的标准化系数K1和K2与从减法器83输入的(V2-THR2)的值相乘(K1×K2×(V2-THR2))，将该相乘的结果输出给加法器85。此时，在预测为短曝光时间T1时不饱和的情况下，由于如上所述，(V2-THR2)的值为0，所以与标准化系数K1和K2相乘的结果也为0(K1×K2×0＝0)。

加法器85将从乘法器84输入的乘法结果和与构成从短曝光合成部90所输入的高亮度图像数据的上述乘法结果相对应的高亮度像素数据(K1×(V1-THR1)+(T0的信号输出))相加，将该相加结果作为合成输出进行输出。然后，HDR图像生成部12d将上述合成输出作为HDR图像数据，经由存储器存取调停器12e存储在帧存储器14中。

接着说明本实施方式的实际的动作。

此处，在本实施方式中，设非破坏读取的采样时间为T2、T1，设T2为短曝光时间T1的1/10(T2＝T1/10＝T0/100)，设T1为标准曝光时间T0的1/10(T1＝T0/10)。

摄像装置1被接通电源，在影像处理系统12中，一旦从主机系统2获得了关于曝光时间的信息和对于非破坏读取(超短曝光时间和短曝光时间)的开始线号码的相关信息，则通过通信器/DSP动作控制部12a向摄像处理系统10发送用于指定非破坏读取的开始线号码的驱动控制信号。进而，在定时控制器12b中，向摄像处理系统10输出用于驱动摄像元件100的驱动信号(像素时钟、垂直同步信号0和水平同步信号)，以得到对于曝光区域的标准曝光时间的像素信号。

当摄像处理系统10接收到驱动控制信号时，在扫描线扫描仪54中，与垂直同步信号0和水平同步信号同步地生成复位线选择信号和相对于标准曝光时间的破坏读取的读取线控制信号。另外，根据开始线号码和水平同步信号，生成相对于超短曝光时间和短曝光时间的非破坏读取的读取线控制信号(2种)。进而，将这些生成的读取控制信号输入给OR逻辑器54g，分别生成相对于各曝光时间的读取线选择信号。然后，将这些生成的复位线选择信号、读取线选择信号(3种)输出给驱动脉冲产生器52。驱动脉冲产生器52根据来自基准定时产生器50的基准定时信号和来自扫描线扫描仪54的各种选择信号，产生驱动脉冲来提供给传感器单元阵列56。

传感器单元阵列56根据来自驱动脉冲产生器52的驱动脉冲，扫描通常扫描线L1、高速扫描线L2和高速扫描线L3，从曝光区域的各像素的线中对通过标准曝光时间的曝光而蓄积的电荷进行破坏读取(读取后进行蓄积电荷的复位)，与该破坏读取动作独立地，从曝光区域的各像素的线中对通过超短曝光时间和的短曝光时间的曝光而蓄积的电荷进行非破坏读取(读取后不进行蓄积电荷的复位)。然后，经由水平传输部58的CH1和CH2向差动放大器60输出由通常扫描线L1的扫描读取出的电荷所构成的复位前后的像素信号，在差动放大器60中计算这些差值，将该计算结果输出给第1AFE 102。另外，经由水平传输部58的CH2向第2AFE 104输出刚刚复位之后的像素信号。另一方面，经由水平传输部58的CH3向第3AFE 106输出由高速扫描线L2的扫描读取出的电荷所构成的像素信号，经由水平传输部58的CH4向第4AFE 108输出由高速扫描线L3的扫描读取出的电荷所构成的像素信号。

第1AFE 102生成将与经由差动放大器60而依次输出的标准曝光时间的曝光相对应的像素信号(模拟数据)转换为数字数据而成的标准曝光像素数据并输出给影像处理系统12。另一方面，第2AFE 104生成将经由CH2而依次输出的刚刚复位之后的像素信号(模拟数据)转换为数字数据而成的基准像素数据并输出给影像处理系统12。另外，第4AFE108生成将与超短曝光时间的曝光相对应的像素信号(模拟数据)转换为数字数据而成的超短曝光像素数据并输出给影像处理系统12，第3AFE106生成将与短曝光时间的曝光相对应的像素信号(模拟数据)转换为数字数据而成的短曝光像素数据并输出给影像处理系统12。

在影像处理系统12中，将第1AFE 102输出的标准曝光图像数据输入到HDR图像生成部12d中，将第2AFE 104输出的基准图像数据、第3AFE 106输出的短曝光图像数据和第4AFE 108输出的超短曝光图像数据输入到非标准图像数据生成部/饱和预测部12c中。

当从摄像处理系统10输入了基准图像数据，而且从定时控制器12b输入了地址信息时，非标准图像数据生成部/饱和预测部12c根据该地址信息经由存储器存取调停器12e将基准图像数据存储在帧存储器14中。

接着，当接下来从摄像处理系统10输入了超短曝光图像数据时，非标准图像数据生成部/饱和预测部12c在第2非标准图像生成部75的减法器75a中，从构成超短曝光图像数据的各超短曝光像素数据的像素值中减去存储在帧存储器14中的与该超短曝光像素数据相同像素位置的基准像素数据的像素值，生成去除了固定模式噪声的合成用的超短曝光像素数据。当生成了超短曝光图像数据(线单位)时，第2非标准图像生成部75将该超短曝光图像数据分别输出给第2饱和预测部76和第2合成图像生成部77。

另外，当接着超短曝光图像数据从摄像处理系统10输入了短曝光图像数据时，在第1非标准图像生成部70的减法器70a中，从构成短曝光图像数据的各短曝光像素数据的像素值中减去存储在帧存储器14中的与该短曝光像素数据相同像素位置的基准像素数据的像素值，生成去除了固定模式噪声的合成用的短曝光像素数据。当生成了短曝光图像数据(线单位)时，第1非标准图像生成部70将该短曝光图像数据分别输出给第1饱和预测部72和第1合成图像生成部73。下面由于第1饱和预测部72和第1合成图像生成部73的动作与上述第1实施方式相同，所以省略其描述。

当从第2非标准图像生成部75中输入了超短曝光图像数据，从通信器/DSP动作控制部12a中输入了饱和预测电平THR2时，第2饱和预测部76在比较器76a中，比较构成超短曝光图像数据的各超短曝光像素数据表示的亮度值V2和THR2。如上所述，由于设超短曝光时间T2为短曝光时间T1的1/10，所以如图13所示，在T2时，通过上述S1所照射的像素的信号输出电平可以被预测为V_max/10。因此，此处设标准化系数K2为10，THR2为“V_max/10”。因此，比较器76a在“V2＞V_max/10”的情况下，将对象的像素预测为在短曝光时间时饱和而输出“1”作为饱和预测结果。另一方面，如果“V2≤V_max/10”，则将对象的像素预测为在短曝光时间时不饱和而输出“0”作为饱和预测结果。然后，第2饱和预测部76将该饱和预测结果输出给第2合成图像生成部77，并且将该饱和预测结果输出给饱和预测结果保存存储器74。

由于这样根据超短曝光像素数据进行饱和/非饱和的预测(判定)，而且通过与基准像素数据的差值来构成合成用的超短曝光像素数据，所以可以根据混入的噪声电平较低的像素数据来进行饱和/非饱和的预测(判定)，所以可以进行高精度的饱和/非饱和的预测(判定)。

当从第2非标准图像生成部75输入短曝光图像数据，从第2饱和预测部76输入饱和预测结果时，第2合成图像生成部77在选择输出器77a中，关于各超短曝光像素数据，如果饱和预测结果为“1”则选择超短曝光像素数据(V2)进行输出，如果为“0”则选择从系统控制器2a经由通信器/DSP动作控制部12a输入的饱和预测电平THR2进行输出。该选择输出作为合成用的超短曝光像素数据，经由存储器存取调停器12e存储在帧存储器14中。

另一方面，当在非标准图像数据生成部/饱和预测部12c中生成了超短曝光图像数据和短曝光图像数据，而且从摄像处理系统10中输入了标准曝光图像数据时，HDR图像生成部12d通过综合了通常的线性合成和联合方式的线性合成，来生成HDR图像数据。

HDR图像生成部12d首先使用短曝光合成部90的减法器80、乘法器81和加法器82进行按照上式(1)的处理来生成高亮度图像数据。

此处，由于短曝光像素数据的亮度值(差处理后)＝V1、K1＝10、THR1＝V_max/10、标准曝光像素数据的值(T0时的信号输出)＝V0V_max，所以上式(1)与上述第1实施方式同样地成为上式(2)。

而且，短曝光合成部90的减法器80、乘法器81和加法器82的动作由于与上述第1实施方式的减法器80、乘法器81和加法器82的动作相同，所以省略其说明。其中，加法器82的相加结果(高亮度图像数据(10×(V1-V_max/10)+V0)或者标准曝光图像数据(V0))被输出给超短曝光合成部91。

下面说明超短曝光合成部91的动作。

此处，由于超短曝光像素数据的亮度值(差分处理后)＝V2、标准化系数K2＝10、饱和预测电平THR2＝V_max/10，所以上式(5)成为下式(6)。

合成输出＝10×10×(V2-V_max/10)+10×(V1-V_max/10)+V0...(6)

HDR图像生成部12d经由存储器存取调停器12e从帧存储器14读取合成用的超短曝光图像数据，将其输入到减法器83中，并且将从系统控制器2a经由通信器/DSP动作控制部12a输入的饱和预测电平THR2输入到减法器83中。接着，在减法器83中，从构成所输入的超短曝光图像数据的各超短曝光像素数据表示的亮度值V2或者THR2(V_max/10)中减去THR2(V_max/10)，将该相减的结果输出给乘法器84。即，在短曝光时间T1时饱和的像素的情况下，输出V2和THR2的差值“V2-V_max/10”，在短曝光时间T1时不饱和的像素的情况下，输出“0”。

乘法器84使从系统控制器2a经由通信器/DSP动作控制部12a输入的标准化系数K1(10)和K2(10)以及乘法器83输入的减法结果相乘，将该相乘结果“10×10×(V2-V_max/10)”或者“0”输出给加法器85。

加法器85使构成从短曝光合成部90输入的高亮度图像数据的高亮度像素数据表示的亮度值(10×(V1-V_max/10)+V0)和从乘法器81输入的乘法结果相加，将该相加的结果“10×10×(V2-V_max/10)+10×(V1-V_max/10)+V0”、“10×(V1-V_max/10)+V0”以及“V0”的任意一个作为HDR合成输出进行输出。即，对于被预测为在短曝光时间T1时饱和的像素，将对该超短曝光像素数据进行了标准化的“10×10×(V2-V_max/10)+10×(V1-V_max/10)+V0”作为HDR像素数据输出。而且，对于被预测为在标准曝光时间T0时饱和的像素，将对该短曝光像素数据进行了标准化的“10×(V1-V_max/10)+V0”作为HDR像素数据输出。另外，对于被预测为在标准曝光时间T0时不饱和的像素，将该标准曝光像素数据“V0”本身作为HDR像素数据输出。即，HDR图像数据如上所述成为把根据被高精度地预测了饱和/非饱和的预测结果而选择的、将超短曝光像素数据进行了标准化的像素数据、将短曝光像素数据进行了标准化的像素数据和标准曝光像素数据“V0”合成起来的数据。然后将该HDR图像数据经由存储器存取调停器12e存储在帧存储器14中。

而且，在理想的传感器(每个像素间不存在特性差异，噪声为0)的情况下，被预测为在短曝光时间T1时饱和的像素成为V1＝V_max、V0＝V_max，输出“10×10×(V2-V_max/10)+10×(V_max-V_max/10)+V_max”＝“100×V2”。而且，被预测为在短曝光时间T0时饱和的像素的V2被取消输出，成为V1＝V_max、V0＝V_max，输出“10×(V_max-V_max/10)+V_max”＝“10×V1”。另一方面，通常的传感器虽然具有每个像素的特性差异和噪声，但由于根据3个像素信号值来确定最终的信号电平，所以可以通过积分效果来得到噪声抑制效果。并且，本发明的HDR图像生成(维持了线性的动态范围扩大)不直接放大像素信号，而是放大信号的差值，所以可以抑制错误判定导致的画质恶化。

这样，本实施方式的摄像系统3由于可以根据超短曝光图像数据和短曝光图像数据来预测对应于这些图像数据的像素在标准曝光时间内是否饱和，所以可以精度良好地根据噪声的影响较小的像素数据来预测(判定)饱和/非饱和。而且，根据该预测结果可以从标准曝光像素数据、短曝光像素数据和超短曝光像素数据中的某一方中选择用于生成HDR图像数据的像素数据，所以可以正确选择在标准曝光时间内不饱和的标准曝光像素数据，由此可以生成画质稳定的(错误选择极少的)HDR图像数据。

并且，摄像系统3通过综合了通常的线性合成和联合方式的手法，使用标准曝光像素数据和短曝光像素数据，可以合成在T0时饱和的情况下的短曝光像素数据，并且由于可以使用标准曝光像素数据、短曝光像素数据和超短曝光像素数据来合成T1时饱和的情况下的超短曝光像素数据，所以相比通常的线性合成可以降低合成用的短曝光像素数据(HDR像素数据)和超短曝光像素数据(HDR像素数据)中所含的噪声分量。

在上述第2实施方式中，传感器单元阵列56对应于方式1、2、12和13中某1个光电转换部；通过摄像处理系统10的非破坏扫描对应型摄像元件100中的基准定时产生器50、扫描线扫描仪54、驱动脉冲产生器52、水平传输部58从传感器单元阵列56的曝光区域进行的标准曝光时间内的电荷的破坏读取处理对应于方式1、2、3、6和12中的某1个第1读取单元或者方式13的第1读取步骤；通过摄像处理系统10的非破坏扫描对应型摄像元件100中的基准定时产生器50、扫描线扫描仪54、驱动脉冲产生器52、水平传输部58从传感器单元阵列56的曝光区域进行的超短曝光时间和短曝光时间内的电荷的非破坏读取处理对应于方式1～6和12中的某1个第2读取单元或者方式13的第2读取步骤。

而且，在上述第2实施方式中，非标准图像数据生成部/饱和预测部12c中的饱和/非饱和的预测处理对应于方式1、2、3、4、6和12中的某1个饱和预测单元或者方式13的饱和预测步骤；HDR图像生成部12d对应于方式2、4、6、9、10和12中的某1个HDR图像数据生成单元或者方式13的HDR图像数据生成步骤。

而且在上述第1实施方式中，作为非标准曝光像素数据说明了仅获得短曝光像素数据的例子，但不限于此，还可以取代短曝光像素数据来获得超短曝光像素数据，根据该超短曝光像素数据(V2)来预测饱和/非饱和。此时，T0与T2之比例如为100∶1，T2用的标准化系数K2为100。因此，上式(2)成为下式(3)这样。

合成输出＝10×(V2-V_max/100)+V0...(3)

即，在预测为标准曝光时间内饱和的情况下，根据超短曝光像素数据(V2)和标准曝光像素数据(V0)来生成合成输出(HDR像素数据)。

而且，还可以除了短曝光像素数据之外，获得超短曝光像素数据，根据它们来预测饱和/非饱和。此时，预测超短曝光时间T2的每单位时间的照射光量是否超过了在短曝光时间T1的时刻成为V_max的照射光量S1，在超过的情况下，判定为该像素在标准曝光时间T0时饱和，并且使用超短曝光像素数据和标准曝光像素数据来生成合成输出(HDR像素数据)。由此，即使在T1时刻饱和的情况下，也能使用应用了上述的联合方式的线性合成方法对非饱和的T2时刻的像素数据进行线性合成，可以生成画质稳定的HDR图像数据。

而且，在上述实施方式中，由摄像装置1和主机系统2构成了摄像系统3，但不限于此，也可以构成为使摄像装置1完全具有主机系统2的功能，还可以构成为使主机系统2具有摄像装置1的影像处理系统的功能，还可以构成为分离摄像装置1的各构成要素，例如经由网络连接各构成要素之间的结构等。例如可以设想分离摄像处理系统和影像处理系统来经由网络连接，拍摄远处的影像并对其进行处理的结构等。

Claims

1.一种摄像元件，该摄像元件具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像元件具有：

第2读取单元，其在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式读取在比上述标准曝光时间短的曝光时间即短曝光时间所曝光的电荷；以及

饱和预测单元，其根据由上述第2读取单元所读取的在上述短曝光时间曝光时的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和。

2.一种摄像装置，该摄像装置具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像装置具有：

HDR(High Dynamic Range)图像数据生成单元，其根据上述饱和预测单元的预测结果，合成由上述第1读取单元所读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR图像数据。

3.根据权利要求2所述的摄像装置，其特征在于，上述第2读取单元在与上述第1读取单元相同的曝光期间内，从上述光电转换元件构成的各像素中以非破坏读取方式来依次读取在比上述标准曝光时间短的多种短曝光时间所曝光的电荷，

上述饱和预测单元根据由上述第2读取单元所读取的上述多种短曝光时间的电荷构成的非标准曝光像素数据，来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和。

4.根据权利要求2或3所述的摄像装置，其特征在于，该摄像装置具有运算处理单元，该运算处理单元对由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据进行规定的运算处理，

5.根据权利要求4所述的摄像装置，其特征在于，该摄像装置具有第3读取单元，该第3读取单元从上述光电转换元件构成的各像素中读取刚刚复位之后的电荷，

上述运算处理单元进行如下的运算处理：从由上述第2读取单元所读取的电荷构成的上述非标准曝光像素数据中减去与该非标准曝光像素数据对应的、由上述第3读取单元所读取的刚刚复位之后的电荷构成的基准像素数据。

6.根据权利要求2至5中任一项所述的摄像装置，其特征在于，上述HDR图像数据生成单元从上述第2读取单元所读取的非标准曝光像素数据中选择与被上述饱和预测单元预测为饱和的像素对应的非标准曝光像素数据，从上述第1读取单元所读取的标准曝光像素数据中选择与被上述饱和预测单元预测为不饱和的像素对应的标准曝光像素数据，将这些所选择的标准曝光像素数据和非标准曝光像素数据进行合成，生成上述HDR图像数据。

7.根据权利要求6所述的摄像装置，其特征在于，当不存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，上述HDR图像数据生成单元根据上述所选择的非标准曝光像素数据和与该非标准曝光像素数据对应的标准曝光像素数据，生成与上述所选择的非标准曝光像素数据对应的HDR像素数据；当存在比与上述所选择的非标准曝光像素数据对应的短曝光时间更短的曝光时间的非标准曝光像素数据时，上述HDR图像数据生成单元根据上述所选择的非标准曝光像素数据和与该非标准曝光像素数据对应的上述较短的曝光时间的非标准曝光像素数据及标准曝光像素数据，生成与上述所选择的非标准曝光像素数据对应的HDR像素数据，并合成上述HDR像素数据和上述所选择的标准曝光像素数据来生成上述HDR图像数据。

8.根据权利要求7所述的摄像装置，其特征在于，上述饱和预测单元比较根据上述非标准曝光像素数据预测的在标准曝光时间曝光时的各像素的蓄积电荷量所表示的亮度值和按照上述曝光时间的种类而设定的饱和预测用亮度值，根据该比较结果来预测在上述标准曝光时间曝光时的各像素的蓄积电荷量是否饱和，

9.根据权利要求8所述的摄像装置，其特征在于，当上述标准曝光时间和与上述第1非标准曝光像素数据对应的短曝光时间之比为“a∶b”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“a/b”的结果作为上述第1饱和预测用亮度值，

使用上述“a/b”作为上述第1标准化系数。

10.根据权利要求8所述的摄像装置，其特征在于，在具有比上述第1非标准曝光像素数据更短的曝光时间的上述第2非标准曝光像素数据时，上述HDR图像数据生成单元从上述第2非标准曝光像素数据所表示的亮度值中减去用该第2非标准曝光像素数据用的上述饱和预测用亮度值即第2饱和预测用亮度值除以第2标准化系数得到的结果，再使该相减结果与上述第2标准化系数相乘，然后使该相乘结果与上述第1非标准曝光像素数据表示的亮度值相加，从该相加的结果中减去上述第1饱和预测用亮度值，使该相减结果乘以上述第1标准化系数，使该相乘结果和与上述第1非标准曝光像素数据对应的标准曝光像素数据所表示的亮度值相加来生成上述HDR像素数据。

11.根据权利要求10所述的摄像装置，其特征在于，当上述标准曝光时间和与上述第1非标准曝光像素数据对应的短曝光时间之比为“a∶b”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“a/b”的结果作为上述第1饱和预测用亮度值；当上述标准曝光时间和与上述第2非标准曝光像素数据对应的短曝光时间之比为“a∶c”时，将把上述未饱和的最大蓄积电荷量表示的亮度值除以“(a·b)/(a·c)”的结果作为上述第1饱和预测用亮度值，

12.一种摄像系统，该摄像系统具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像系统具有：

HDR(High Dynamic Range)图像数据生成单元，其根据上述饱和预测单元的预测结果，合成上述第1读取单元所读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR图像数据。

13.一种摄像方法，该摄像方法用于具有将光电转换元件设置成多矩阵状的光电转换部和控制每帧的曝光时间的电子快门功能的摄像装置，所述光电转换元件将所曝光的光转换为电荷来进行蓄积，其特征在于，该摄像方法具有：

HDR(High Dynamic Range)图像数据生成步骤，其根据上述饱和预测步骤的预测结果，合成由在上述第1读取步骤中读取的在上述标准曝光时间曝光时的电荷构成的标准曝光像素数据和上述非标准曝光像素数据，生成HDR图像数据。