JP2007329896A - 撮像素子及び撮像装置 - Google Patents

Abstract

【課題】標準露光時間よりも短い露光時間（非標準露光時間）で露光された各画素の画素データに基づき、当該各画素が標準露光時間の露光時に飽和するか否かを予測することが可能な撮像素子及び撮像装置、並びに前記予測結果に基づき標準露光時間の画素データと非標準露光時間の画素データとを合成してＨＤＲ画像を生成することが可能な撮像装置を提供する。
【解決手段】撮像装置１を、１回の標準露光期間に、センサセルアレイ５６の露光領域に対する標準露光時間の露光による画像を撮像すると共に非標準露光時間の露光による画像を撮像する撮像処理系１０と、非標準露光時間の画像データに基づき各画素が標準露光時間の露光で飽和するか否かを予測すると共に予測結果に基づき標準露光時間及び非標準露光時間の撮像画像データとを合成してＨＤＲ画像データを生成する映像処理系１２とを含んだ構成とした。
【選択図】図１

Description

本発明は、光電変換素子からの電荷の読み出しを、破壊読み出し方式及び非破壊読み出し方式を用いて行うことが可能な撮像素子及び撮像装置に関する。

デジタルスチルカメラに代表される固体撮像素子を用いた撮像装置の問題点の１つとして、ダイナミックレンジの狭さが挙げられる。このため、非常にコントラストの大きいシーンを撮影して得た画像には、高輝度領域での白とび（画素の飽和）や低輝度領域での黒つぶれが発生する。
現在、上記問題を解決するために多くの手法が提案されている。その１つとして、露光量が異なった２枚（あるいは複数枚）の画像を合成する手法があり、この手法を用いた公知例として、例えば、特許文献１に記載の撮像装置などが挙げられる。

この撮像装置は、露光量を変えて撮影できる露光量可変手段により適正な露光量の標準画像信号と標準画像信号より露光量が少ない非標準画像信号を得られる撮像装置であって、出力された標準画像信号の値が閾値（画素の飽和を判断）を超えたか否かを示す飽和判断信号（本発明では，マスク画像信号）を作成する手段と、この飽和判断信号をもとに２つの画像信号を切り替える手段（標準画像信号において飽和した画素を非標準画像信号の値で置換する）を特徴とするものである。これにより広ダイナミックレンジの画像を得る。
特開２００４―３２５８３号公報

しかしながら、上記特許文献１の従来技術においては、雑音が加わった標準画像信号から飽和判断信号（飽和画素を１、非飽和画素を０とする）を作成した場合に、この判断信号に基づき画像の合成を行うと合成画像の画質が低下する恐れがある。具体的には、撮像素子は時間経過とともに暗電流雑音が増加し、ノイズの影響を受ける。また、画素毎の感度ばらつき、飽和量ばらつきなども誤判定の原因である。例えば、図１５に示すように、本来は、全ての画素が白画素になるはずのところ、前記画素のばらつきにより、所々黒画素が発生するためである。このような飽和判断信号を用いて画像を合成すると、標準画像信号と非標準画像信号とが不正に混在してしまう（本来は全て非標準画像信号）。この問題は、各画素の特性のばらつきに応じて閾値を変更することで解決できるが、各画素毎に閾値を設定するという大変な手間が必要となる。

一方、標準画像信号と非標準画像信号とを加算することで広ダイナミックレンジの画像を得る方法もある(図１６)。この単純加算法を、ここではニー(Ｋｎｅｅ)方式と呼ぶ。ニー方式は、画素値のレベル判定を行わないので、上記特許文献１の従来技術のような問題は発生しない。また、ニー方式は、高輝度領域をレベル圧縮するため、広ダイナミックレンジが表示できる装置（例えば、１００００：１等のコントラスト表示ができる装置）においては、高輝度領域の階調性が損なわれる、また線形性が無くなることから、忠実な色の再現ができない（カラーフィルタを搭載したセンサの場合）、といった問題が生じる。

また、別の課題として、標準露光画像と非標準露光画像とを別々のタイミングで２回撮影し、それを合成すると、ブレた画像になってしまう、という課題がある。
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、標準露光時間よりも短い露光時間で露光された各画素の画素データに基づき、当該各画素が標準露光時間の露光時に飽和するか否かを予測することが可能な撮像素子及び撮像装置、並びに前記予測結果に基づき標準露光時間の画素データと標準露光時間より短い露光時間の画素データとを合成して広ダイナミックレンジ画像を生成することが可能な撮像装置を提供することを目的とする。

〔形態１〕 上記目的を達成するために、形態１の撮像素子は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第２読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換部の前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出すことが可能であり、飽和予測手段によって、前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することが可能となる。

従って、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間（標準露光時間）を設定し、この標準露光時間で露光された光電変換部の各画素の電荷を第１読出手段によって読み出すことができるので、これにより、標準露光時間で露光された撮像対象画素データ（標準露光画素データ）を得ることができる。一方、前記標準露光時間による露光期間中において、前記標準露光時間よりも短い露光時間（短露光時間）で露光された、前記各画素の電荷を第２読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量（信号振幅）よりも少ない露光量（小さい信号振幅）の画素データ（非標準露光画素データ）を得ることができる。つまり、標準露光時間による１回の露光において、標準露光時間で露光時の画素データ（標準露光画素データ）と、非標準露光時間で露光時の画素データ（非標準露光画素データ）とを得ることが可能である。更に、前記読み出した非標準露光画素データに基づき、当該非標準露光画素データに対応する画素の標準露光時間で露光時の蓄積電荷量が飽和するか否かを予測するようにしたので、これにより、暗電流雑音が少なく、ノイズの影響を抑えた状態（短露光時間の電荷蓄積量）で飽和するか否かを判断することができるので、標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを判定する際に、ノイズによる飽和／非飽和の判断結果のばらつきを抑えることができるという効果が得られる。

以下、飽和／非飽和の判断結果のばらつきを抑える原理について説明する。直感的には、短露光時間の画素データの殆どは黒つぶれ領域となり、特定の高輝度領域（照射光量が大きい領域）のみ輝度信号が現れる。広ダイナミックレンジ撮影は、例えば光量比が暗部と明部で１：５００以上あり、露光時間が同じ場合、暗部と明部の信号レベル比も１：５００になり、暗部は黒つぶれする。また、前述の如く、時間の経過とともに増加する暗電流雑音等のノイズの影響を抑えられ、誤判定が抑えられる。更に、画素毎の飽和レベル、感度のばらつきに対しても、誤判定が抑えられる。すなわち、短露光画像で判定するので、判定レベルを飽和レベルの例えば１／１０にすることが出来、飽和レベルのばらつきの影響を受け難い。感度ばらつきに関しては、信号レベルは電荷・電圧変換ゲイン（感度）と受光量の積で決まり、受光量が少なく信号レベルが低い状態で判定するので、感度ばらつきの影響を受け難い。以上のように、画素の特性のばらつきとノイズの影響とが小さいうちに、その信号出力のある領域のみを検出（判定）することで、判定のばらつきを抑えることができる。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。

ここで、上記「光電変換部」は、例えば、ＣＭＯＳ技術を用いて構成されており、ＣＭＯＳ技術を利用した非破壊読み出し可能な撮像素子としては、閾値変調型撮像素子（例えば、ＶＭＩＳ（Threshold Voltage Modulation Image Sensor））などがある。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。
また、上記「破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にするリセット処理を伴うものである。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。

また、上記「非破壊読み出し方式」は、光電変換素子から電荷（画素信号）を読み出すときに、当該光電変換素子に蓄積された電荷を空にせず蓄積状態を維持したままで読み出すものである。つまり、電荷読み出し時にリセット処理を行わないため、設定された露光時間に至るまで、電荷の蓄積途中において、異なる露光時間に対して何度でも電荷の読み出しを行うことができる。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。

また、上記「飽和」とは、光電変換素子に入力される光が、当該光電変換素子が蓄積できる最大電荷量（以下、最大蓄積電荷量と称す）を超える状態であり、この飽和となる輝度値（以下、飽和値と称す）の画素データを含む画像は、その部分の階調が無くなり白とびと呼ばれる現象が発生する。例えば、雪景色を背景に家屋を撮像するような場合に、注目被写体である家屋に露出を合わせて撮像を行うと、雪景色の部分の画素データの大部分が飽和値となり白とびが発生する。以下、撮像装置、撮像システム、撮像方法に関する形態においても同様である。

〔形態２〕 一方、上記目的を達成するために、形態２の撮像装置は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第１読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ画像データ（High Dynamic Range）を生成するＨＤＲ画像データ生成手段と、を備えることを特徴としている。

このような構成であれば、第１読出手段によって、前記光電変換部の前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出すことが可能であり、第２読出手段によって、前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出すことが可能であり、飽和予測手段によって、前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することが可能となる。

更に、ＨＤＲ画像データ生成手段によって、前記飽和予測手段の予測結果に基づき、前記第１読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ画像データを生成することが可能である。
従って、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間（標準露光時間）を設定し、この標準露光時間で露光された光電変換部の各画素の電荷を第１読出手段によって読み出すことができるので、これにより、標準露光時間で露光された撮像対象画素データ（標準露光画素データ）を得ることができる。一方、前記標準露光時間による露光期間中において、前記標準露光時間よりも短い露光時間（短露光時間）で露光された、前記各画素の電荷を第２読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量（信号振幅）よりも少ない露光量（小さい信号振幅）の画素データ（非標準露光画素データ）を得ることができる。つまり、標準露光時間による１回の露光において、標準露光時間で露光時の画素データ（標準露光画素データ）と、非標準露光時間で露光時の画素データ（非標準露光画素データ）とを得ることが可能である。よって、２つの画像を合成するときにブレを抑えた画像を生成できる。更に、例えば、飽和すると予測（判断）されたときは非標準露光画素データを選択し、飽和しないと予測（判断）されたときは標準露光画素データを選択し、これら選択した非標準露光画素データ及び標準露光画素データを合成して広ダイナミックレンジの画像データ（ＨＤＲ画像データ）を生成することができるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。

〔形態３〕 更に、形態３の撮像装置は、形態２の撮像装置において、
前記第２読出手段は、前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
前記飽和予測手段は、前記第２読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴としている。

このような構成であれば、例えば、注目被写体とその背景とからなる撮像対象に対して、当該撮像対象中の注目被写体に対して適正露出となる標準の露光時間（標準露光時間）を設定した場合に、当該標準露光時間による露光期間中において、前記標準露光時間よりも短い複数種類の短露光時間（例えば、２種類）で露光された、前記各画素の電荷を第２読出手段において非破壊読み出し方式で読み出すことができるので、これにより、標準露光時間で露光時の露光量よりも少ない複数種類の露光量の画素データ（非標準露光画素データ）を得ることができる。更に、この複数種類の露光量の非標準露光画素データに基づき、当該非標準露光画素データに対応する画素の標準露光時間で露光時の蓄積電荷量が飽和するか否かを予測するようにしたので、これにより、各画素のばらつきによるノイズの影響が少ない状態（短露光時間の電荷蓄積量）で飽和するか否かをより正確に予測することができるという効果が得られる。更に、例えば、短露光時間ｔ２では飽和せず、短露光時間ｔ１（ｔ２＜ｔ１）で飽和してしまうようなときに、短露光時間ｔ２の非標準露光画素データを用いて広ダイナミックレンジの画像データ（ＨＤＲ画像データ）を生成することができるので、より正確な階調表現のされた広ダイナミックレンジ画像を得ることができるという効果が得られる。

〔形態４〕 更に、形態４の撮像装置は、形態２又は３の撮像装置において、
前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
前記ＨＤＲ画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記ＨＤＲ画像データを生成することを特徴としている。

このような構成であれば、演算手段によって、前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行うことが可能であり、前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測することが可能であり、前記ＨＤＲ画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成してＨＤＲ画像データを生成することが可能である。

従って、非標準露光画素データに対して、例えば、輝度レベルの補正処理、ノイズ除去処理等の画素データを合成するのに適した演算処理を行うことが可能となり、更に、このような演算処理の施された非標準露光画素データを用いて広ダイナミックレンジの画像データ（ＨＤＲ画像データ）を生成することが可能となるので、広ダイナミックレンジ画像の画質を向上することができるという効果が得られる。

〔形態５〕 更に、形態５の撮像装置は、形態４の撮像装置において、
前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第３読出手段を備え、
前記演算処理手段は、前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第３読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴としている。

このような構成であれば、第３読出手段によって、前記光電変換素子の構成する各画素からリセット直後の電荷を読み出すことが可能であり、前記演算処理手段は、前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第３読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことが可能である。

従って、第２読出手段で読み出された非標準露光画素データの示す輝度値からリセット（画素の蓄積電荷を空にする動作）直後の画素データの示す輝度値を減じる演算処理を行うことが可能となるので、非標準露光画素データから、光電変換部を構成する各光電変換素子（画素）の個々の特性のばらつきに起因して発生する固定パターンノイズを除去することが可能である。つまり、非破壊読み出し方式では、読み出した電荷から構成される非標準露光画素データに、雑音が多く混入されるので、前記差分演算処理を行うことによって、非標準露光画素データに混入された雑音成分を除去することができるので、より正確な輝度レベルの非標準露光画素データに基づき、飽和／非飽和の予測を行うことができるという効果が得られる。更に、より正確な輝度レベルの非標準露光画素データを用いて広ダイナミックレンジの画像データ（ＨＤＲ画像データ）を生成することが可能となるので、広ダイナミックレンジ画像の画質を向上することができるという効果が得られる。
ここで、「固定パターンノイズ」には、例えば、長時間露光時に問題になる暗電流シェーディングや、画素ごとのセンサ感度の違いによって発生するものなどがある。

〔形態６〕 更に、形態６の撮像装置は、形態２乃至５のいずれか１の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第２読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第１読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記ＨＤＲ画像データを生成することを特徴としている。

このような構成であれば、飽和すると予測（判断）されたときは最大輝度値となる標準露光画素データを用いずに非標準露光画素データを用い、飽和しないと予測（判断）されたときは標準露光画素データを用いて広ダイナミックレンジの画像データ（ＨＤＲ画像データ）を生成することができるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。

〔形態７〕 更に、形態７の撮像装置は、形態６の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するＨＤＲ画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するＨＤＲ画素データを生成し、前記ＨＤＲ画素データと前記選択した標準露光画素データとを合成して前記ＨＤＲ画像データを生成することを特徴としている。

例えば、非標準露光画素データの輝度レベルを単純に増加補正し、この増加補正された非標準露光画素データを用いて撮像画像データを生成するようなときに、増加補正によって、画素のばらつきによるノイズもそのままに増加されるため、増加補正後の非標準露光画素データに増幅されたノイズが混入した状態となる恐れがある。当然ながら、このようなノイズは画質低下の要因となる。

上記構成であれば、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、輝度レベルの補正において、当該選択された非標準露光画素データと、これに対応する標準露光画素データとを用いることが可能となるので、例えば、非標準露光画素データと標準露光画素データとを加算する処理を行うことで、増加補正時のノイズを低減することが可能である。また、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、輝度レベルの補正において、当該選択された非標準露光画素データと、これに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとを用いることが可能となるので、例えば、露光時間の異なる２種類の非標準露光画素データと標準露光画素データとを加算する処理を行うことで、増加補正時のノイズをより低減することが可能である。
そして、上記のようにノイズの低減された非標準露光画素データを用いてＨＤＲ画像データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。

〔形態８〕 更に、形態８の撮像装置は、形態７の撮像装置において、
前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
前記ＨＤＲ画像データ生成手段は、前記選択された非標準露光画素データである第１非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第２非標準露光画素データが無いときに、前記第１非標準露光画素データの示す輝度値から当該第１非標準露光画素データ用の前記飽和予測用輝度値である第１飽和予測用輝度値を第１正規化係数で除算した結果を減算し、当該減算結果に前記第１正規化係数を乗算し、当該乗算結果に、当該第１非標準露光画素データに対応する標準露光画素データを加算して前記ＨＤＲ画素データを生成することを特徴としている。

このような構成であれば、前記選択された非標準露光画素データである第１非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第２非標準露光画素データが無いときに、前記第１非標準露光画素データの輝度レベルの補正において、第１非標準露光画素データから第１飽和予測用輝度値を減算した値に第１正規化係数を乗算した結果と、標準露光画素データの輝度値とを加算する処理を行うことが可能であり、この加算処理によって増加補正時のノイズを低減することが可能である。つまり、第１非標準露光画素データの輝度値を単に第１正規化係数で乗算するよりも、乗算時に増幅するノイズ量を低減でき、また、標準露光画素データとの加算処理も行うため更にノイズを低減することが可能である。

そして、このようなノイズの低減された第１非標準露光画素データを用いてＨＤＲ画素データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。
なお、本形態におけるＨＤＲ画像生成は、前述のニー方式と異なり、画像信号の線形性を維持してダイナミックレンジ拡大を行う処理であり、これにより忠実な色の再現性を実現できる。以下、形態１０の撮像装置において同じである。

〔形態９〕 更に、形態９の撮像装置は、形態８の撮像装置において、
前記標準露光時間と、前記撮像素子の生成に用いる非標準露光画素データに対応する短露光時間との比が「ａ：ｂ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「ａ／ｂ」で除算した結果を、前記飽和予測用輝度値とし、
前記「ａ／ｂ」を、前記撮像素子の生成に用いる非標準露光画素データ用の正規化係数としたことを特徴としている。
このような構成であれば、第１非標準露光画素データの輝度レベルの補正において、第１非標準露光画素データの輝度値を短露光時間と標準露光時間との比に応じた第１正規化係数で乗算することが可能となるので、より適切に輝度レベル補正を行うことができるという効果が得られる。

〔形態１０〕 更に、形態１０の撮像装置は、形態８の撮像装置において、
前記ＨＤＲ画像データ生成手段は、前記第１非標準露光画素データよりも短い露光時間の前記第２非標準露光画素データがあるときに、前記第２非標準露光画素データの示す輝度値から当該第２非標準露光画素データ用の前記飽和予測用輝度値である第２飽和予測用輝度値を第２正規化係数で除算した結果を減算し、当該減算結果に前記第２正規化係数を乗算し、当該乗算結果と前記第１非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第１飽和予測用輝度値を減算し、当該減算結果に前記第１正規化係数を乗算し、当該乗算結果と前記第１非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記ＨＤＲ画素データを生成することを特徴としている。

このような構成であれば、前記選択された非標準露光画素データである第１非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第２非標準露光画素データがあるときに、前記第１非標準露光画素データの輝度レベルの補正において、第２非標準露光画素データから第２飽和予測用輝度値を減算した値に第２正規化係数を乗算した結果と、第１標準露光画素データの示す輝度値とを加算し、当該加算結果に第１正規化係数を乗算した乗算結果と、標準露光画素データの輝度値とを加算する処理を行うことが可能であり、この加算処理によって増加補正時のノイズをより低減することが可能である。つまり、第１非標準露光画素データの輝度値を単に第１正規化係数で乗算するよりも、乗算時に増幅するノイズ量を低減でき、また、第２非標準露光画素データ及び標準露光画素データとの加算処理も行うため更にノイズを低減することが可能である。
そして、このようなノイズの低減された第１非標準露光画素データを用いてＨＤＲ画素データを生成することが可能となるので、従来よりも画質の安定した広ダイナミックレンジ画像を得ることができるという効果が得られる。

〔形態１１〕 更に、形態１１の撮像装置は、形態１０の撮像装置において、
前記標準露光時間と、前記第１非標準露光画素データに対応する短露光時間との比が「ａ：ｂ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「ａ／ｂ」で除算した結果を、前記第１飽和予測用輝度値とし、前記標準露光時間と、前記第２非標準露光画素データに対応する短露光時間との比が「ａ：ｃ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「（ａ・ｂ）／（ａ・ｃ）」で除算した結果を、前記第１飽和予測用輝度値とし、
前記「ａ／ｂ」を前記第１正規化係数とし、前記「（ａ・ｂ）／（ａ・ｃ）」を前記第２正規化係数としたことを特徴としている。

このような構成であれば、第１非標準露光画素データの輝度レベルの補正において、第１非標準露光画素データの輝度値をその短露光時間と標準露光時間との比に応じた第１正規化係数で乗算することが可能となると共に、第２非標準露光画素データの輝度値をその短露光時間と標準露光時間との比に応じた第２正規化係数で乗算することが可能となるので、より適切に輝度レベル補正を行うことができるという効果が得られる。

〔形態１２〕 一方、上記目的を達成するために、形態１２の撮像システムは、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
前記飽和予測手段の予測結果に基づき、前記第１読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴としている。

これにより、形態２の撮像装置と同等の作用及び効果が得られる。
ここで、本システムは、単一の装置、端末その他の機器（この場合は、形態２の撮像装置と同等）として実現するようにしてもよいし、複数の装置、端末その他の機器を通信可能に接続したネットワークシステムとして実現するようにしてもよい。後者の場合、各構成要素は、それぞれ通信可能に接続されていれば、複数の機器等のうちいずれに属していてもよい。

〔形態１３〕 また、上記目的を達成するために、形態１３の撮像方法は、
露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
前記第１読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出ステップと、
前記第２読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
前記飽和予測ステップの予測結果に基づき、前記第１読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、を含むことを特徴とする。
これにより、形態２の撮像装置と同等の作用及び効果が得られる。

〔第１の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第１の実施の形態を、図面に基づいて説明する。図１〜図１３は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第１の実施の形態を示す図である。
以下、図１に基づき、本発明に係る撮像装置１の概略構成を説明する。ここで、図１は、本発明に係る撮像システム３の概略構成を示すブロック図である。

撮像システム３は、図１に示すように、撮像装置１と、ホストシステム２とを含んで構成される。
撮像装置１は、標準露光時間の露光期間（１フレーム期間）において、センサセルアレイ５６（後述）の露光領域における標準露光時間で露光された各画素のラインから破壊読み出し方式で画素信号を読み出すと共に、同じ１フレーム期間において、前記露光領域における短露光時間（前記標準露光時間よりも短い露光時間）及び超短露光時間（前記短露光時間よりも短い露光時間）でそれぞれ順次露光される各画素のラインから非破壊読み出し方式によって画素信号を読み出し、これら読み出した画素のライン毎の画素信号の画素データ（デジタルデータ）を順次出力する非破壊走査対応撮像処理系１０（以下、撮像処理系１０と称す）を含んで構成される。

更に、撮像装置１は、図１に示すように、撮像処理系１０から出力された、短露光時間の露光に対応する画素データ（以下、短露光画素データと称す）と、超短露光時間の露光に対応する画素データ（以下、超短露光画素データと称す）とに基づき、短露光画素データ及び超短露光画素データに対応する画素が標準露光時間の露光時に飽和するか否かを予測し、当該予測結果に基づき標準露光時間の露光に対応する画素データ（以下、標準露光画素データと称す）と、前記短露光画素データ及び超短露光画素データとを合成して広ダイナミックレンジ画像データ（以下、ＨＤＲ画像データと称す）を生成する映像処理系（ＤＳＰ）１２と、基準画像データ（後述）、前記超短露光画素データから構成される超短露光画像データ、前記短露光画素データから構成される短露光画像データ、ＨＤＲ画像データなどの各種画像データを記憶するフレームメモリ１４とを含んで構成される。

ホストシステム２は、撮像装置１に各種制御信号や各種データを与えて、その動作を制御したり、撮像装置１から取得したＨＤＲ画像データの画像を表示したりする機能を有している。
更に、図２〜図６に基づき、撮像処理系１０の内部構成を説明する。ここで、図２は、撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。また、図３は、第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。また、図４は、非破壊走査対応型撮像素子１００の内部構成を示すブロック図である。また、図５は、走査ラインスキャナ５４の内部構成を示す図である。また、図６は、センサセルアレイ５６の詳細構成を示す図である。

図２に示すように、撮像処理系１０は、非破壊走査対応型撮像素子１００と、第１のＡＦＥ１０２と、第２のＡＦＥ１０４と、第３のＡＦＥ１０６と、第４のＡＦＥ１０８とを含んで構成される。
非破壊走査対応型撮像素子１００（以下、撮像素子１００と称す）は、被写体からの光を撮像レンズ（不図示）でセンサセルアレイ５６（後述）に集光し、その集光量に応じた電荷をセンサセルアレイ５６の各画素に蓄積させる。また、撮像素子１００は、映像処理系１２のタイミング制御器１２ｂ（後述）から出力される駆動信号（ピクセルクロック、水平同期信号及び垂直同期信号０）に基づいて、センサセルアレイ５６の各画素列に標準露光時間の露光で蓄積されている電荷群を電圧群に順次変換すると共に、リセット直後の各画素列の電荷群を電圧群に順次変換する。また、撮像素子１００は、後述する走査ラインスキャナ５４の生成する垂直同期信号１に基づいて、センサセルアレイ５６の各画素列に超短露光時間の露光で蓄積されている電荷群を電圧群に順次変換し、後述する走査ラインスキャナ５４の生成する垂直同期信号２に基づいて、センサセルアレイ５６の各画素列に短露光時間の露光で蓄積されている電荷群を電圧群に順次変換する。なお、撮像素子１００は、ホストシステム２（後述）から駆動制御信号を与えることによって、画素信号の読み出し処理を制御することが可能であり、上記露光時間の組み合わせの他に、標準露光時間と、短露光時間又は超短露光時間のいずれか一方との組み合わせで画素信号の読み出し処理を行わせることが可能となっている。つまり、前述した標準露光時間、超短露光時間及び短露光時間の組み合わせの他に、標準露光時間及び超短露光時間、並びに標準露光時間及び短露光時間の組み合わせも選択可能となっている。

撮像素子１００は、リセット直前の標準露光時間で露光された電荷群を変換してなる電圧群（画素信号）は、水平転送部５８（後述）の有する、第１ラインメモリを含んで構成される第１出力チャンネル５８ａ（以下、ＣＨ１と称す）を介して第１のＡＦＥ１０２に順次出力させ、リセット直後の電荷群を変換してなる電圧群（画素信号）は、水平転送部５８（後述）の有する、第２ラインメモリを含んで構成される第２出力チャンネル５８ｂ（以下、ＣＨ２と称す）を介して第２のＡＦＥ１０２に順次出力させる。また、撮像素子１００は、短露光時間で露光された電荷群を変換してなる電圧群は、水平転送部５８（後述）の有する、第３ラインメモリを含んで構成される第３出力チャンネル５８ｃ（以下、ＣＨ３と称す）を介して第３のＡＦＥ１０６に出力させ、超短露光時間で露光された電荷群を変換してなる電圧群は、水平転送部５８（後述）の有する、第４ラインメモリを含んで構成される第４出力チャンネル５８ｄ（以下、ＣＨ４と称す）を介して第４のＡＦＥ１０８に出力させる。

本実施の形態において、撮像素子１００は、センサセルアレイ５６の露光領域に対して、ＣＨ１及びＣＨ２を介して破壊読み出し方式で各画素からのリセット前後の電荷の読み出しをそれぞれ独立に行い、ＣＨ３及びＣＨ４を介して非破壊読み出し方式で、短露光時間での電荷の読み出し及び超短露光時間での電荷の読み出しをそれぞれ独立に行うことによって、電子シャッタ機能による１回の露光期間（標準露光時間）において、標準露光時間での露光時の電荷群と、リセット直後の電荷群と、短露光時間及び超短露光時間での露光時の電荷群とをそれぞれ独立に読み出すようになっている。

ここで、破壊読み出しと非破壊読み出しの動作の違いを説明する。破壊読み出しは、読み出し後、直ちにリセット処理（センサセル内に蓄積された電荷を空にする処理）を行い、再び読み出し動作を行う。リセット前の読み出し信号（アナログデータ）は第１ラインメモリに、リセット後の読み出し信号は第２ラインメモリに格納される。そして、差動増幅器６０（後述）において、対応する画素信号の減算処理を行って信号レベルの検出及びノイズの除去を行う。一方、非破壊読み出しは、読み出し後にリセット処理は行わない。読み出し後の信号（アナログデータ）は各々第３ラインメモリ及び第４ラインメモリにそれぞれ別々に格納される。第１〜第４ラインメモリにそれぞれ格納された画素信号はピクセルクロックに同期して、第１〜第４のＡＦＥ１０２〜１０８にそれぞれ出力される。

第１〜第４のＡＦＥ１０２〜１０８は、水平転送部５８のＣＨ１〜ＣＨ４を介して出力されるそれぞれ異なる露光時間に対応する画素信号（アナログデータ）を、デジタルデータ（以下、画素データと称す）に変換する。そして、第１〜第４のＡＦＥ１０２〜１０８は、その生成された画素データを映像処理系１２の非標準画像データ生成部・飽和予測部１２ｃ（後述）及びＨＤＲ画像生成部１２ｄ（後述）にそれぞれ出力する。

更に、図３に基づき、第１のＡＦＥ１０２の内部構成を説明する。
第１のＡＦＥ１０２は、図３に示すように、クランプ回路１０２ａと、増幅回路１０２ｂと、Ａ／Ｄ変換回路１０２ｃとを含んで構成される。
クランプ回路１０２ａは、撮像素子１００からの画素信号を受信し、それが遮光領域の信号かを検出し、遮光領域と検出された場合はその信号レベルが黒（基準）レベルになるように、入力信号全てに対してクランプ処理を行い、このクランプ処理後の画素信号を増幅回路１０２ｂに出力する。

増幅回路１０２ｂは、クランプ後の画素信号を、Ａ／Ｄ変換回路１０２ｃの入力レンジと整合するように増幅し、この増幅後の画素信号をＡ／Ｄ変換回路１０２ｃに出力する。
Ａ／Ｄ変換回路１０２ｃは、増幅回路１０２ｂからの画素信号（アナログデータ）を、画素データ（デジタルデータ）に変換して映像処理系１２へと出力する。
なお、第１〜第４のＡＦＥ１０２〜１０８は、同一の内部構成となるので、第２〜第４のＡＦＥ１０４〜１０８に対する内部構成の説明は省略する。

更に、図４に基づき、撮像素子１００の内部構成を説明する。
撮像素子１００は、図４に示すように、基準タイミング発生器５０と、駆動パルス発生器５２と、走査ラインスキャナ５４と、センサセルアレイ５６と、水平転送部５８とを含んで構成される。
基準タイミング発生器５０は、映像処理系１２のタイミング制御器１２ｂ（後述）からの垂直同期信号０及び水平同期信号に基づき、基準タイミング信号を発生する。

駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号と、走査ラインスキャナ５４からのリセットライン選択信号及び読出しライン選択信号とに基づき駆動パルスを発生してセンサセルアレイ５６に供給する。
走査ラインスキャナ５４は、映像処理系１２の通信器・ＤＳＰ動作制御部１２ａ（後述）からの開始ライン番号を指定する駆動制御信号に基づき、露光領域に対するリセットラインの位置を選択してリセットライン選択信号を生成し、露光領域に対する読み出しラインの位置をそれぞれ選択して読み出しライン選択信号を生成し、これら生成した選択信号を駆動パルス発生器５２に出力する。

センサセルアレイ５６は、ＣＭＯＳ技術を用いて各画素が構成されており、駆動パルス発生器５２から供給される駆動パルスに基づき、露光領域における各画素を標準露光時間で露光すると共に、当該露光により各画素に蓄積された電荷を、各画素のライン毎に破壊読み出し方式で読み出して水平転送部５８に順次出力する。一方、この標準露光時間の露光期間において、短露光時間及び超短露光時間の露光によって各画素に蓄積された電荷を、各画素のライン毎且つ各露光時間の種類毎に順次非破壊読み出し方式で読み出して水平転送部５８に順次出力する。

水平転送部５８は、センサセルアレイ５６の露光領域における標準露光時間に対応する画素信号データ及びリセット直後の画素信号データを、各画素のライン毎にＣＨ１の第１ラインメモリ及びＣＨ２の第２ラインメモリＮにそれぞれ記憶し、当該記憶した標準露光時間及びリセット直後の画素信号データを、差動増幅器６０（後述）に出力する。
水平転送部５８は、更に、センサセルアレイ５６の露光領域における短露光時間及び超短露光時間にそれぞれ対応する画素信号データ（選択した組み合わせ内容によっては、いずれか一方になる）を、各画素のライン毎にＣＨ３の第３ラインメモリ及びＣＨ４の第４ラインメモリにそれぞれ記憶し、当該記憶した短露光時間及び超短露光時間の画素信号データを第３のＡＦＥ１０６及び第４のＡＦＥ１０８にそれぞれ出力する。

更に、図５に基づき、走査ラインスキャナ５４の内部構成を説明する。
走査ラインスキャナ５４は、図５に示すように、通常走査カウンタ５４ａと、通常走査アドレスデコーダ５４ｂと、第１非破壊走査カウンタ５４ｃと、第１非破壊走査アドレスデコーダ５４ｄと、第２非破壊走査カウンタ５４ｅと、第２非破壊走査アドレスデコーダ５４ｆと、ＯＲロジック５４ｇとを含んで構成される。

通常走査カウンタ５４ａは、基準タイミング発生器５０からの垂直同期信号０及び水平同期信号に基づいて、カウントアップ動作を繰り返す。ここで、カウンタの値は、露光領域の画素のライン番号に対応しており、このライン番号は、通常走査アドレスデコーダ５４ｂに出力される。
通常走査アドレスデコーダ５４ｂは、通常走査カウンタ５４ａからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力すると共に、この読み出しライン制御信号をリセットライン選択信号として駆動パルス発生器５２に出力する。

第１非破壊走査カウンタ５４ｃは、通信器・ＤＳＰ動作制御部１２ａからの開始ライン番号を示す情報に基づき、通常走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返す。ここで、カウンタの値は、露光領域の画素のライン番号に対応しており、このライン番号は、第１非破壊走査アドレスデコーダ５４ｄに出力される。また、第１非破壊走査カウンタ５４ｃは、短露光時間の露光による非破壊読み出しのための垂直同期信号である垂直同期信号１を生成し、当該生成した垂直同期信号１を映像処理系１２のタイミング制御器１２ｂに出力する。

第１非破壊走査アドレスデコーダ５４ｄは、第１非破壊走査カウンタ５４ｃからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力する。
第２非破壊走査カウンタ５４ｅは、第１非破壊走査カウンタ５４ｃと同様の構成となっており、通常走査カウンタ５４ａとは非同期にカウントアップ動作を繰り返し、カウンタ値の示すライン番号を、第２非破壊走査アドレスデコーダ５４ｄに出力する。また、第２非破壊走査カウンタ５４ｅは、超短露光時間の露光による非破壊読み出しのための垂直同期信号である垂直同期信号２を生成し、当該生成した垂直同期信号２を映像処理系１２のタイミング制御器１２ｂに出力する。

第２非破壊走査アドレスデコーダ５４ｆは、第１非破壊走査アドレスデコーダ５４ｄと同様の構成となっており、第２非破壊走査カウンタ５４ｅからのライン番号のラインを「読み出しライン」として有効にし、それ以外のラインを無効にする。更に、有効としたライン位置（アドレス）を示す読み出しライン制御信号をＯＲロジック５４ｇに出力する。
ＯＲロジック５４ｇは、通常走査アドレスデコーダ５４ｂからの読み出しライン制御信号と、第１及び第２非破壊走査アドレスデコーダ５４ｄ及び５４ｆからの読み出しライン制御信号とに基づき、各ライン毎にＯＲ演算を行い、露光領域に対する各露光時間毎の最終的な読み出しライン選択信号を生成する。これら生成した読み出しライン選択信号は駆動パルス発生器５２に出力される。

更に、図６に基づき、センサセルアレイ５６の詳細構成を説明する。
図６に示すように、センサセルアレイ５６は、ＣＭＯＳを用いて構成された複数のセンサセル（画素）５６ａをマトリクス状に配設し、各画素列毎に、各画素列を構成するセンサセル５６ａに対して、アドレス線、リセット線及び読出し線が共通に接続され、この３本の制御線を介して各種駆動信号が各画素列を構成するセンサセル５６ａに送信される。そして、アドレス線及び読出し線が有効になると、図６に示す信号線を介して蓄積電荷を第１〜第４出力チャンネル５８ａ〜５８ｄのいずれかに転送する構成となっている。このような構成によって、アドレス線により、リセット動作又は読出し動作を行わせる画素列を有効に（選択）し、当該選択信号で選択した画素列の各センサセル５６ａに対して、リセット動作を行わせる場合はリセット線を介してリセット動作を指示する信号を入力し、画素信号の読出しを行わせる場合は、読出し線を介して蓄積電荷の転送を指示する信号を入力する。

更に、図７に基づき、撮像素子１００の露光時間の制御方法、及びセンサセルアレイ５６からの画素信号の読み出し方法について説明する。ここで、図７は、撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。
ここで、本発明の露光時間の制御は、センサセルアレイ５６の露光領域に対して、各画素のラインの蓄積電荷のリセット及び標準露光時間の画素信号の読み出しを行う通常走査ライン（読み出しライン）Ｌ１を設定すると共に、センサセルアレイ５６の露光領域に対して、短露光時間の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライン）Ｌ２及び超短露光時間の画素信号の非破壊読み出しを行う高速走査ライン（読み出しライン）Ｌ３を設定する。そして、１回の露光期間（標準露光時間）において、標準露光時間で露光時の画素信号の読み出し及びリセット並びに短露光時間及び超短露光時間で露光時の画素信号の非破壊読み出しがそれぞれ独立に実行されるように行われる。つまり、通常走査ラインＬ１及び高速走査ラインＬ２及びＬ３は、図７に示すように、露光領域における画素のラインに順次標準露光時間分の電荷が蓄積されると、通常走査ラインＬ１が各画素のラインの画素信号を順次読み出すと共に、その蓄積電荷を順次リセットするように設定される。一方、露光領域のリセット後の各画素のラインにおいては、標準露光時間分の電荷が蓄積される期間中、超短露光時間及び短露光時間において各画素のラインの画素信号を非破壊で順次読み出すように高速走査ラインＬ２及びＬ３がそれぞれ設定される。

なお、本実施の形態においては、図７に示すように、標準露光時間で露光時の画素信号（アナログデータ）は、ＣＨ１の第１ラインメモリに読み出され、一方、リセット直後の画素信号は、ＣＨ２の第２ラインメモリに読み出される。そして、これら読み出された画素信号は、図７に示すように、水平転送部５８の出力側に設けられた差動増幅器６０に出力され、当該差動増幅器６０において、リセット前及びリセット後のそれぞれ対応する画素信号同士の減算処理を行って信号レベルの検出及びノイズ除去を行う。そして減算処理後の画素信号は、第１のＡＦＥ１０２に出力されそこでデジタルデータ（画素データ）に変換される。一方、ＣＨ２の第２ラインメモリに読み出されたリセット直後の画素信号は、そのまま第２のＡＦＥに出力されそこでデジタルデータ（画素データ）に変換される。

また、短露光時間で露光時の画素信号は、ＣＨ３の第３ラインメモリに読み出されて第３のＡＦＥ１０６に出力されそこでデジタルデータ（画素データ）に変換され、超短露光時間で露光時の画素信号は、ＣＨ４の第４ラインメモリに読み出されて第４のＡＦＥ１０８に出力されそこでデジタルデータ（画素データ）に変換される。
また、上記通常走査ラインＬ１並びに高速走査ラインＬ２及びＬ３の画素信号の読み出しタイミングの制御は、図７に示すように、各画素のライン毎に、通常走査ラインＬ１を順次走査し（図７では上方向）、当該通常走査ラインＬ１においては、蓄積電荷のリセットを行うとともに、蓄積電荷のリセット前後に標準露光時間の露光が行われた画素の画素信号及びリセット直後の画素信号の読み出しを行う。そして、例えば、第１ラインにおいて画素信号の読み出し及びリセットを行い、画素信号がラインメモリから全て外部に読み出された後に、通常走査ラインＬ１の走査が順次行われ、通常走査ラインＬ１が再び第１ラインに到達したときに、丁度標準露光時間が経過するタイミングで通常走査ラインＬ１の走査が行われる。このような手順で、センサセルアレイ５６の露光領域の画素のラインに対して、各画素のライン毎に、通常露光時の画素信号の読み出し及び蓄積電荷のリセットを順次行う。一方、通常走査ラインＬ１によって蓄積電荷がリセットされると、当該リセット後の画素のラインに対して、高速走査ラインＬ３において超短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行い、引き続き、高速走査ラインＬ２において短露光時間の露光が行われた画素の画素信号の非破壊読み出しを行う。このような手順で、センサセルアレイ５６の各画素のラインに対して、ライン毎に、超短露光時間及び短露光時間で露光時の画素信号の非破壊読み出しを順次行う。

更に、図８〜図１１に基づき、映像処理系１２の内部構成を説明する。ここで、図８は、映像処理系１２の内部構成を示すブロック図である。また、図９は、非標準画像データ生成部・飽和予測部１２ｃの内部構成を示す図である。また、図１０（ａ）は、第１非標準画像生成部７０の内部構成を示す図であり、（ｂ）は、第１飽和予測部７２の内部構成を示す図であり、（ｃ）は、第１合成画像生成部７３の内部構成を示す図である。また、図１１は、破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。また、図１２は、センサセルアレイ５６の各画素の異なる照射光量に対する露光時間と信号レベル（輝度レベル）との推移の一例を示す図である。また、図１３は、第１の実施の形態におけるＨＤＲ画像生成部１２ｄの内部構成を示す図である。

映像処理系１２は、図８に示すように、通信器・ＤＳＰ動作制御部１２ａと、タイミング制御器１２ｂと、非標準画像データ生成部・飽和予測部１２ｃと、ＨＤＲ画像生成部１２ｄと、メモリアクセス調停器１２ｅと、出力読出器１２ｆとを含んで構成される。
通信器・ＤＳＰ動作制御部１２ａは、システムコントローラ２ａ（後述）から、センサセルアレイ５６の非破壊読み出しに対する開始ライン番号に関する情報を取得し、当該取得した開始ライン番号を示す駆動制御信号を、撮像処理系１０の走査ラインスキャナ５４に出力する。

タイミング制御器１２ｂは、撮像素子１００の駆動信号（ピクセルクロック、水平同期信号、垂直同期信号０）を生成し、それを撮像素子１００の基準タイミング発生器５０に出力する。また、タイミング制御器１２ｂは、水平同期信号、垂直同期信号０から、撮像処理系１０のＣＨ１から出力される全露光領域の標準露光時間で露光時の画素信号に対応する、撮像素子１００のセンサセルアレイ５６における画素位置（画素列（ライン）番号、画素番号）が分かるので、その画素列(ライン)番号（以下、「アドレス情報」とも呼ぶ。）を生成し、そのアドレス情報をＨＤＲ画像生成部１２ｄに出力する。また、タイミング制御器１２ｂは、撮像処理系１０からの垂直同期信号１及び垂直同期信号２から、撮像処理系１０のＣＨ３及びＣＨ４からそれぞれ出力される短露光時間及び超短露光時間で露光時の画素信号に対応する、撮像素子１００のセンサセルアレイ５６における画素位置が分かるので、そのアドレス情報を生成し、当該アドレス情報を非標準画像データ生成部・飽和予測部１２ｃに出力する。

非標準画像データ生成部・飽和予測部１２ｃは、図９に示すように、第１非標準画像生成部７０と、第１飽和予測部７２と、第１合成画像生成部７３と、飽和予測結果格納メモリ７４と、第２非標準画像生成部７５と、第２飽和予測部７６と、第２合成画像生成部７７とを含んで構成される。
第１非標準画像生成部７０は、図１０（ａ）に示すように、減算器７０ａを含んで構成される。ここで、標準露光時間以外の露光時間に対応する画素データを非標準露光画素データと称す。つまり、超短露光時間及び短露光時間にそれぞれ対応する超短露光画素データ及び短露光画素データは非標準露光画素データとなる。

減算器７０ａは、撮像処理系１０から入力された非標準露光画素データの一つである短露光画像データ（ライン単位の短露光画素データ）の示す各画素値から、当該各短露光画素データと同じ画素位置の、メモリアクセス調停器１２ｅを介してフレームメモリ１４から読み出したリセット直後の画素データである基準画素データの示す画素値を減算するようになっている。そして、第１非標準画像生成部７０は、この差分値からなる短露光画像データを、第１飽和予測部７２及び第１合成画像生成部７３にそれぞれ出力する。

ここで、非標準画像データ生成部・飽和予測部１２ｃは、撮像処理系１０から入力される基準画素データを、タイミング制御器１２ｂから入力されるアドレス情報に基づき、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶し、以降はこの記憶された基準画素データを読み出して用いる。従って、基準画像データは、最初の１回（標準露光期間）のみ取得すれば良いことになる。

また、第１非標準画像生成部７０の動作説明の為、図１１に基づき、センサセルアレイ５６の各画素における蓄積電荷量の推移について説明する。
図１１に示すように、１フレーム（標準露光時間）の露光において、センサセルアレイ５６の各画素に蓄積される電荷量は時間の経過と共に増加する。超短露光時間（図中Ｔ２）及び短露光時間（図中Ｔ１）においては、非破壊読み出し方式で各画素から電荷を読み出すので、露光中に電荷の読み出しを何度行っても各画素の蓄積電荷量が維持される。

なお、図１１中のリセットタイミングは、センサセルアレイ５６に蓄積された電荷を空にするタイミングであり、このタイミングが標準露光時間を決定する。また、例えば、図１１に示す（１）〜（３）のタイミングで電荷を非破壊で読み出し、そして前述の如く、差分から画像を生成する。すなわち、（１）のタイミングで読み出したリセット直後の電荷量と、（２）及び（３）の各タイミングでそれぞれ読み出した電荷量とのそれぞれの差分から画像を生成する。

また、撮像処理系１０から取得した非破壊読み出しされた画素データは、各画素のばらつきが要因の固定パターンノイズが混合してしまう。そのため、差分値を算出することで固定パターンノイズを除去する。
図９に戻って、第１飽和予測部７２は、図１０（ｂ）に示すように、比較器７２ａを含んで構成される。

比較器７２ａは、第１非標準画像生成部７０から入力された短露光画素データの示す輝度値Ｖ１と、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された短露光時間用の飽和予測用の輝度値である飽和予測レベルＴＨＲ１とを比較し、「Ｖ１＞ＴＨＲ１」であれば飽和予測結果として「１」を出力し、「Ｖ１≦ＴＨＲ１」であれば飽和予測結果として「０」を出力するようになっている。つまり、飽和予測結果が「１」である場合は、その短露光画素データに対応する画素の蓄積電荷量は、標準露光時間の経過時において飽和すると予測されたこととなり、一方、飽和予測結果が「０」である場合は、その短露光画素データに対応する画素の蓄積電荷量は、標準露光時間の経過時において飽和しないと予測されたこととなる。そして、第１飽和予測部７２は、この飽和予測結果を第１合成画像生成部７３に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ７４に出力する。

ここで、第１飽和予測部７２の動作説明の為、図１２に基づき、センサセルアレイ５６の各画素の異なる照射光量に対する露光時間と信号レベル（輝度レベル）との推移について説明する。
図１２に示すように、超短露光時間をＴ２、短露光時間をＴ１、標準露光時間をＴ０とし、Ｔ０において丁度飽和レベルＶ_max（これを越えると飽和する輝度値）に到達するような傾きで蓄積電荷量が増加する場合を考える。この場合の単位時間あたりの照射光量をＳ０とすると、Ｔ２、Ｔ１における蓄積電荷量から、これらの単位時間あたりの照射光量Ｓ２、Ｓ１が解れば、その画素がＴ０で飽和するか否かを予測することが可能である。ここで、センサセルアレイ５６の飽和レベルＶ_maxは、予め測定可能であり、また、照射光量が一定であれば、露光時間と、出力輝度レベルとには相関関係（ほぼ比例関係）がある。つまり、標準露光時間の露光期間中に、撮像対象に急激な輝度変化が無い限りは、蓄積電荷量はほぼ線形に増加（ほぼ一定の増加量で増加）する。

従って、Ｔ０の時点でＶ_maxとなる単位時間当たりの増加量（照射光量）Ｓ０と、Ｔ２、Ｔ１の時点における単位時間あたりの照射光量とを比較して、これらがＳ０以下となる場合は、その画素はＴ２の時点で飽和しないと予測することができる。逆に、Ｔ２、Ｔ１の時点における照射光量の少なくとも一方がＳ０を越えるような場合は、その画素はＴ０の時点で飽和すると予測することができる。例えば、図１２に示すように、Ｔ１の時点で蓄積電荷量がＶ_maxに到達するような推移をする場合は、Ｔ２、Ｔ１の時点における照射光量は両者ともＳ０を越えるので、第１飽和予測部７２は、対象の画素が標準露光時間Ｔ０で飽和すると予測する。また、超短露光画素データ及び短露光画素データの両方を用いて予測を行う場合は、図１２に示すように、Ｔ２における照射光量が、Ｔ１の時点でＶ_maxとなる単位時間当たりの増加量（照射光量）Ｓ１を越えるような場合に、その画素はＴ１の時点で飽和すると予測することができる。つまり、短露光時間で飽和してしまうような場合に、超短露光画素データを用いてＨＤＲ画素データを生成することができる。

図９に戻って、第１合成画像生成部７３は、図１０（ｃ）に示すように、選択出力器７３ａを含んで構成される。
選択出力器７３ａは、第１飽和予測部７２から入力された飽和予測結果に基づき、第１非標準画像生成部７０から入力された短露光画素データと、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された飽和予測レベルＴＨＲ１とのいずれか一方を選択し、当該選択したデータを出力する。具体的には、飽和予測結果が「１」であれば短露光画素データを出力し、飽和予測結果が「０」であれば飽和予測レベルＴＨＲ１を出力する。そして、第１合成画像生成部７３は、選択出力された短露光画素データ又は飽和予測レベルＴＨＲ１を、合成出力用の短露光画素データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。

飽和予測結果格納メモリ７４は、第１飽和予測部７２及び第２飽和予測部７６から入力される飽和予測結果を格納するメモリである。これは、超短露光画素データと、短露光画素データとに基づき飽和予測を行う際に、それぞれライン番号が異なる際の時間（位相）差を吸収する為に設けられたものである。つまり、先に超短露光画素データに基づく飽和予測が行われ、その所定時間後に短露光画素データに基づく飽和予測が行われるので、その時間差を吸収する。具体的には、超短露光画素データに基づく飽和予測結果を飽和予測結果格納メモリ７４に格納し、次の短露光画素データに基づく飽和予測結果を、前記超短露光画素データによる予測結果に加えて格納する（この２つの予測結果が、最終的な予測結果となる）。但し、飽和予測結果格納メモリ７４は、前述したように、読み出し処理において、標準露光時間、超短露光時間及び短露光時間の３種類の露光時間による読み出しを行う組み合わせが選択されている場合に上記時間差を吸収する機能を発揮する。

第２非標準画像生成部７５は、取り扱うデータが超短露光画像データである点が異なるだけで、第１非標準画像生成部７０と同様の構成となっており、超短露光画像データ（ライン単位の短露光画素データ）を構成する各超短露光画素データの示す各画素値から、当該各超短露光画素データと同じ画素位置の、フレームメモリ１４に記憶されたリセット直後の画素データである基準画素データの示す画素値を減算するようになっている。そして、第２非標準画像生成部７５は、この差分値からなる超短露光画像データを、第２飽和予測部７６及び第２合成画像生成部７７にそれぞれ出力する。

第２飽和予測部７６は、第１の飽和予測部７２と同様の構成となっており、内部の比較器７６ａにおいて、第２非標準画像生成部７５から入力された超短露光画素データの示す輝度値Ｖ２と、システムコントローラ２ａからの入力された超短露光時間用の飽和予測レベルＴＨＲ２とを比較し、「Ｖ２＞ＴＨＲ２」であれば飽和予測結果として「１」を出力し、「Ｖ２≦ＴＨＲ２」であれば飽和予測結果として「０」を出力するようになっている。ここでの飽和予測は２つのパターンが考えられ、Ｔ２の時点で、Ｔ１において飽和となるか否かを予測するパターンと、Ｔ０において飽和となるか否かを予測するパターンとがある。本実施の形態においては、システムコントローラ２ａから制御信号を与えることによって、これら２つのパターンを切り替えることができる。そして、第２飽和予測部７６は、超短露光画素データ及び飽和予測レベルＴＨＲ２のいずれか選択された方を、第２合成画像生成部７７に出力する。

第２合成画像生成部７７は、第１合成画像生成部７３と同様の構成となっており、内部の選択出力器７７ａにおいて、第２飽和予測部７６から入力された飽和予測結果に基づき、飽和予測結果が「１」であれば超短露光画素データを出力し、飽和予測結果が「０」であれば飽和予測レベルＴＨＲ２を出力する。そして、第２合成画像生成部７７は、超短露光画素データ及び飽和予測レベルＴＨＲ２のいずれか選択出力された方を、合成出力用の超短露光画素データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。

次に、図１３に基づき、ＨＤＲ画像生成部１２ｄの内部構成を説明する。
ここで、内部構成を説明する前に、本実施の形態におけるＨＤＲ画像生成部１２ｄの動作原理について説明する。
前述した短露光時間Ｔ１を標準露光時間Ｔ０の１／Ｋ１とする（Ｔ１＝Ｔ０／Ｋ１）。また、Ｔ１において、Ｓ０で照射されている画素の信号出力レベルは、Ｖ_max／Ｋ１（これを、上記ＴＨＲ１とする）と予測できる。つまり、リセット後、時間Ｔ１を経過後に全ての画素をサンプリングし（全ての画素から画素信号の読出しを行い）、各画素の信号出力レベルが判定閾値ＴＨＲ１を越える画素は、時間Ｔ０を経過後に飽和すると予測（判定）する。また、ＴＨＲ１以下の画素は時間Ｔ０を経過後に飽和しない（非飽和である）と予測（判定）する。

上記のことを前提として、以下、本実施の形態におけるＨＤＲ画像の生成方法について説明する。
ここで、本実施の形態においては、撮像処理系１０において、非標準露光画素データとして、短露光時間で露光された短露光画素データのみを取得することとする。また、本実施の形態においては、広ダイナミックレンジで出力できる表示装置を前提とし、露光時間の正規化、具体的には標準露光時間Ｔ０で正規化する線形合成によってＨＤＲ画像を生成する。従って、Ｔ０の標準露光画素データの値が非飽和であると予測された場合は、当該標準露光画素データを使い、それ以外の場合は、Ｔ１で取得した短露光画素データを正規化したデータを使って合成出力を求める。

具体的には、短露光画素データに対して、これを仮想的にＴ０まで露光時間を伸ばしたときに、それが幾つになるかを予測し、短露光画素データをその予測した値に補正して用いる。つまり、Ｔ０で非飽和のときの標準露光画素データと、Ｔ０で飽和のときの輝度補正後の短露光画素データとを合成してＨＤＲ画像データを生成する。また、本実施の形態においては、補正後の短露光画素データを、単純な線形合成（Ｋ１×Ｖ１）として扱うことも可能だが、ノイズによる判定のばらつきをより抑えるために、通常の線形合成にニー方式の考え方を取り入れた合成を行う。つまり、下式（１）に従って、Ｔ１での短露光画素データの値Ｖ１と、Ｔ０での標準露光画素データの値Ｖ０とを用いた線形合成を行う。

合成出力＝Ｋ１×Ｖ１
＝Ｋ１×（Ｖ１−Ｖ_max／Ｋ１＋Ｖ_max／Ｋ１）
＝Ｋ１×（Ｖ１−Ｖ_max／Ｋ１）＋Ｖ_max
＝Ｋ１×（Ｖ１−ＴＨＲ１）＋（Ｔ０における信号出力）・・・（１）

上式（１）において、標準露光時間Ｔ０と短露光時間Ｔ１との比（正規化係数）がＫ１（＝Ｔ０／Ｔ１）となる。

以上のことを踏まえて、ＨＤＲ画像生成部１２ｄの内部構成を説明する。
ＨＤＲ画像生成部１２ｄは、図１３に示すように、減算器８０と、乗算器８１と、加算器８２とを含んで構成される。
減算器８０は、メモリアクセス調停器１２ｅを介してフレームメモリ１４から、合成用の短露光画像データを読み出し、当該短露光画像データを構成する各短露光画素データ（Ｖ１）、又は飽和予測レベル（ＴＨＲ１）から、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力される飽和予測レベル（ＴＨＲ１）を減算し、当該減算結果を乗算器８１に出力する。つまり、標準露光時間Ｔ０において飽和すると予測された画素の場合は短露光画素データが入力されるので、上式（２）における（Ｖ１−ＴＨＲ１）が０以外の値となり、標準露光時間Ｔ０において飽和しないと予測された画素の場合はＶ１として飽和予測レベル（ＴＨＲ１）が入力されるので、上式（１）における（Ｖ１−ＴＨＲ１）が０となる。

乗算器８１は、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力される正規化係数Ｋ１と、減算器８０から入力される（Ｖ１−ＴＨＲ１）の値とを乗算し、当該乗算結果を加算器８２に出力する。このとき、標準露光時間Ｔ０において飽和しないと予測された場合は、前述したように（Ｖ１−ＴＨＲ１）の値は０となるので、正規化係数Ｋ１を乗算した結果も０となる。

加算器８２は、乗算器８１から入力される乗算結果と、撮像処理系１０から入力される標準画像データ（ライン単位）を構成する前記乗算結果に対応する標準露光画素データとを加算し、当該加算結果を合成出力として出力する。そして、ＨＤＲ画像生成部１２ｄは、前記合成出力をＨＤＲ画像データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。

図８に戻って、メモリアクセス調停器１２ｅは、非標準画像データ生成部・飽和予測部１２ｃ、ＨＤＲ画像生成部１２ｄ及び出力読出器１２ｆの３系統からのフレームメモリ１４に対する読み込み・書き込み命令に応じて、これら３系統のフレームメモリ１４の画像データへのアクセス要求を調停しアクセスを行う。
出力読出器１２ｆは、システムコントローラ２ａからの出力タイミング信号に同期して、メモリアクセス調停器１２ｅを介してフレームメモリ１４内のＨＤＲ画像データを読み出し、この読み出したＨＤＲ画像データをシステムコントローラ２ａに出力する。

フレームメモリ１４は、図８に示すように、基準画像データ、超短露光画像データ、短露光画像データ、ＨＤＲ画像データ等の各種画像データを記憶するメモリであり、メモリアクセス調停器１２ｅから読み出し要求があると、その要求が示す画素データを読み出させる。また、フレームメモリ１４は、メモリアクセス調停器１２ｅから書き込み要求があると、その書き込み要求が示す画素データを書き込ませる。

更に、図２に戻って、ホストシステム２の内部構成を説明する。
ホストシステム２は、システムコントローラ２ａと、表示装置２ｂとを含んで構成される。
システムコントローラ２ａは、映像処理系（ＤＳＰ）１２からＨＤＲ画像データを取得し、当該取得したＨＤＲ画像データに基づき表示装置２ｂに広ダイナミックレンジ画像を表示させたり、撮像装置１に各種制御信号や各種データを与えて、その動作を制御したりする。

表示装置２ｂは、液晶ディスプレイ等の表示デバイスから構成されており、広ダイナミックレンジ画像を表示できる機能を有している。そして、システムコントローラ２ａからの指示に応じて、映像処理系１２から取得したＨＤＲ画像データの画像を表示する。
次に、本実施の形態の実際の動作を説明する。
以下、非標準露光画素データとして短露光画素データの読み出しのみを行う場合の動作を説明する。また、本実施の形態においては、非破壊読み出しにおけるサンプリング時間（短露光時間）を、標準露光時間の１／１０の時間とする。

撮像装置１は、電源が投入され、映像処理系１２において、ホストシステム２から露光時間に関する情報と、非破壊読み出しに対する開始ライン番号に関する情報とを取得すると、通信器・ＤＳＰ動作制御部１２ａによって、非破壊読み出しの開始ライン番号を指定する駆動制御信号を撮像処理系１０に送信する。更に、タイミング制御器１２ｂにおいて、露光領域に対する標準露光時間の画素信号が得られるように撮像素子１００を駆動する駆動信号（ピクセルクロック、垂直同期信号０及び水平同期信号）を撮像処理系１０に出力する。

撮像処理系１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂直同期信号０及び水平同期信号に同期してリセットライン選択信号と、標準露光時間の破壊読み出しに対する読み出しライン制御信号を生成する。また、開始ライン番号及び水平同期信号に基づき、短露光時間の非破壊読み出しに対する読み出しライン制御信号を生成する。更に、これら生成した読み出し制御信号をＯＲロジック５４ｇに入力し、各露光時間に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号（２種類）を駆動パルス発生器５２に出力する。駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に供給する。

センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常走査ラインＬ１及び高速走査ラインＬ２を走査して、露光領域の各画素のラインから標準露光時間の露光により蓄積した電荷の破壊読み出しを行い（読み出し後に蓄積電荷のリセットを行う）、この破壊読み出し動作とは独立に、露光領域の各画素のラインから短露光時間の露光により蓄積した電荷の非破壊読み出しを行う（読み出し後に蓄積電荷のリセットを行わない）。そして、通常走査ラインＬ１の走査によって読み出した電荷から構成されるリセット前後の画素信号を水平転送部５８のＣＨ１及びＣＨ２を介して差動増幅器６０に出力し、差動増幅器６０においてこれらの差分値を算出しその算出結果を第１のＡＦＥ１０２に出力する。また、リセット直後の画素信号を水平転送部５８のＣＨ２を介して第２のＡＦＥ１０４に出力する。一方、高速走査ラインＬ２の走査によって読み出した電荷から構成される画素信号を水平転送部５８のＣＨ３を介して第３のＡＦＥ１０６に出力する。

第１のＡＦＥ１０２は、差動増幅器６０を介して順次出力される標準露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる標準露光画素データを生成し映像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力されるリセット直後の画素信号（アナログデータ）をデジタルデータに変換してなる基準画素データを生成し映像処理系１２に出力する。また、第３のＡＦＥ１０６は、短露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる短露光画素データを生成し映像処理系１２に出力する。

映像処理系１２では、第１のＡＦＥ１０２から出力された標準露光画像データをＨＤＲ画像生成部１２ｄに入力し、第２のＡＦＥ１０４から出力された基準画像データ及び第３のＡＦＥ１０６から出力された短露光画像データを非標準画像データ生成部・飽和予測部１２ｃに入力する。
非標準画像データ生成部・飽和予測部１２ｃは、撮像処理系１０から基準画像データが入力され、且つタイミング制御器１２ｂからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。次に、非標準画像データ生成部・飽和予測部１２ｃは、撮像処理系１０から引き続き短露光画像データが入力されると、第１非標準画像生成部７０の減算器７０ａにおいて、短露光画像データを構成する各短露光画素データの画素値から、フレームメモリ１４に記憶された、当該短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した短露光画素データを生成する。第１非標準画像生成部７０は、短露光画像データ（ライン単位）が生成されると、これを、第１飽和予測部７２及び第１合成画像生成部７３にそれぞれ出力する。

第１飽和予測部７２は、第１非標準画像生成部７０から短露光画像データが入力され、通信器・ＤＳＰ動作制御部１２ａから飽和予測レベルＴＨＲ１が入力されると、比較器７２ａにおいて、短露光画像データを構成する各短露光画素データの示す輝度値Ｖ１と、ＴＨＲ１とを比較する。前述したように、短露光時間Ｔ１を標準露光時間Ｔ０の１／１０としたので、図１３に示すように、Ｔ１において、前述したＳ０で照射されている画素の信号出力レベルは、Ｖ_max／１０になると予測できる。従って、ここでは、正規化係数Ｋ１を１０とし、ＴＨＲ１を「Ｖ_max／１０」とする。従って、比較器７２ａは、「Ｖ１＞Ｖ_max／１０」であれば、対象の画素は標準露光時間において飽和すると予測して飽和予測結果として「１」を出力する。一方、「Ｖ１≦Ｖ_max／１０」であれば、対象の画素は標準露光時間において飽和しないと予測して飽和予測結果として「０」を出力する。第１飽和予測部７２は、この飽和予測結果を第１合成画像生成部７３に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ７４に出力する。

このように、短露光画素データに基づき飽和／非飽和の予測（判定）を行うようにし、且つ短露光画素データを基準画素データとの差分値により構成したので、混入するノイズレベルの低い画素データに基づき飽和／非飽和の予測（判定）を行うことができるので、精度の高い飽和／非飽和の予測（判定）を行うことが可能である。
第１合成画像生成部７３は、第１非標準画像生成部７０から短露光画像データが入力され、第１飽和予測部７２から飽和予測結果が入力されると、選択出力器７３ａにおいて、各短露光画素データについて、飽和予測結果が「１」であれば短露光画素データ（Ｖ１）を、「０」であれば、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された飽和予測レベルＴＨＲ１を選択して出力する。この選択出力は、合成用の短露光画素データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶される。

一方、ＨＤＲ画像生成部１２ｄは、非標準画像データ生成部・飽和予測部１２ｃにおいて、短露光画像データが生成され、且つ撮像処理系１０から標準露光画像データが入力されると、通常の線形合成とニー方式とを合わせた線形合成により、ＨＤＲ画像データを生成する。
ＨＤＲ画像生成部１２ｄは、減算器８０、乗算器８１及び加算器８２を用いて、上式（１）に従った処理を行いＨＤＲ画像データを生成する。

ここでは、短露光画素データの輝度値（差分処理後）＝Ｖ１、Ｋ１＝１０、ＴＨＲ１＝Ｖ_max／１０、標準露光画素データの値（Ｔ０における信号出力）＝Ｖ０≒Ｖ_maxとなるので、上式（１）は、下式（２）となる。

合成出力＝１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０ ・・・・・・・・・・（２）

つまり、ＨＤＲ画像生成部１２ｄは、まず、メモリアクセス調停器１２ｅを介してフレームメモリ１４から、合成用の短露光画像データを読み出し、これを減算器８０に入力すると共に、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された飽和予測レベルＴＨＲ１を減算器８０に入力する。次に、減算器８０において、入力された短露光画像データを構成する各短露光画素データの示す輝度値Ｖ１又はＴＨＲ１（Ｖ_max／１０）から、ＴＨＲ１（Ｖ_max／１０）を減算し、この減算結果を乗算器８１に出力する。つまり、標準露光時間において飽和する画素の場合はＶ１とＴＨＲ１との差分値「Ｖ１−Ｖ_max／１０」が出力され、標準露光時間において飽和しない画素の場合は「０」が出力される。

乗算器８１は、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された正規化係数Ｋ１（１０）と、減算器８０から入力された減算結果とを乗算し、当該乗算結果「１０×（Ｖ１−Ｖ_max／１０）」又は「０」を、加算器８２に出力する。
加算器８２は、撮像処理系１０から入力された標準露光画像データを構成する標準露光画素データの示す輝度値Ｖ０と、乗算器８１から入力された乗算結果とを加算し、当該加算結果「１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」又は「Ｖ０」をＨＤＲ合成出力として出力する。つまり、標準露光時間Ｔ０において、飽和すると予測された画素については、その短露光画素データを正規化した「１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」がＨＤＲ画素データとして出力され、一方、標準露光時間Ｔ０において、飽和しないと予測された画素については、その標準露光画素データ「Ｖ０」そのものがＨＤＲ画素データとして出力される。つまり、ＨＤＲ画像データは、前述したように精度良く飽和／非飽和が予測された予測結果に基づき選択された、短露光画素データを正規化した画素データと、標準露光画素データとが合成されたものとなる。そして、このＨＤＲ画像データは、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶される。

一方、システムコントローラ２ａは、撮像装置１に対して各種同期信号を出力してＨＤＲ画像データの読み出し要求を行う。
出力読出器１２ｆは、システムコントローラ２ａからの各種同期信号に同期して、フレームメモリ１４内に記憶されたＨＤＲ画像データを、メモリアクセス調停器１２ｅを介して読み出し、この読み出したＨＤＲ画像データをシステムコントローラ２ａに出力する。システムコントローラ２ａは、出力読出器１２ｆから出力されたＨＤＲ画像データを取得し、当該取得したＨＤＲ画像データを表示装置２ｂに表示させる。

このように、本実施の形態の撮像システム３は、撮像対象を、１つの撮像素子（センサセルアレイ５６）において、標準露光時間の露光で破壊読み出しにより撮像すると共に、この標準露光時間の露光期間において、短露光時間の露光で非破壊読み出しにより撮像することが可能であるので、ＨＤＲ画像の生成に用いる標準露光画像データと、飽和／非飽和の判定及びＨＤＲ画像の生成に用いる非標準露光（短露光）画像データとを同時に取得することができる。

また、撮像システム３は、短露光画像データに基づき、短露光画像データに対応する画素が標準露光時間において飽和するか否かを予測することが可能であるので、時間経過とともに増加する暗電流雑音等のノイズの影響が少ない画素データから精度良く飽和／非飽和を判定することができる。また、標準露光画像で飽和判定する場合に比べ、画素毎の飽和レベル、感度のばらつきに対しても、誤判定が抑えられる。すなわち、短露光画像で判定する場合、判定レベルが低く設定されるので、飽和レベルのばらつき、感度のばらつきの影響を受け難い。また、この予測結果に基づき、ＨＤＲ画像データの生成に用いる画素データを、標準露光画素データ及び短露光画素データのいずれかから選択することが可能であるので、標準露光時間において飽和しない標準露光画素データを正確に選択することができ、これにより、画質の安定した（誤選択の極めて少ない）ＨＤＲ画像データを生成することができる。

また、撮像システム３は、通常の線形合成とニー方式とを合わせた手法によって、標準露光画素データ及び短露光画素データを用いて、Ｔ０で飽和する場合の短露光画素データを合成することが可能であるので、通常の線形合成と比較して合成用の短露光画素データ（ＨＤＲ画素データ）に含まれるノイズ成分を積分効果（ローパスフィルタ）により低減することができる。また、万が一誤判定があっても、式（１）の（Ｖ１−ＴＨＲ１）の値が、単なるＶ１よりも小さくなり、Ｋ１倍増幅したときの影響を抑えることができる。

上記第１の実施の形態において、センサセルアレイ５６は、形態１、２、１２及び１３のいずれか１の光電変換部に対応し、撮像処理系１０の非破壊走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、水平転送部５８によるセンサセルアレイ５６の露光領域からの標準露光時間での電荷の破壊読み出し処理は、形態１、２、３、６及び１２のいずれか１の第１読出手段又は形態１３の第１読出ステップに対応し、撮像処理系１０の非破壊走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、水平転送部５８によるセンサセルアレイ５６の露光領域からの超短露光時間及び短露光時間での電荷の非破壊読み出し処理は、形態１〜６及び１２のいずれか１の第２読出手段又は形態１３の第２読出ステップに対応する。

また、上記第１の実施の形態において、非標準画像データ生成部・飽和予測部１２ｃにおける、飽和／非飽和の予測処理は、形態１、２、３、４、６及び１２のいずれか１の飽和予測手段又は形態１３の飽和予測ステップに対応し、ＨＤＲ画像生成部１２ｄは、形態２、４、６、７、８及び１２のいずれか１のＨＤＲ画像データ生成手段又は形態１３のＨＤＲ画像データ生成ステップに対応する。
〔第２の実施の形態〕
以下、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第２の実施の形態を、図面に基づいて説明する。図１４は、本発明に係る撮像素子、撮像装置、撮像システム及び撮像方法の第２の実施の形態を示す図である。

本実施の形態は、非標準画素データとして、超短露光画素データ及び短露光画素データの両方を取得し、超短露光画素データ及び短露光画素データに基づき、飽和／非飽和の予測を行うと共に、対象の画素が短露光時間Ｔ１で飽和すると予測された場合は、基準画像データによって差分処理の施された、超短露光画素データ、短露光画素データ及び標準露光画素データの全てを用いて合成出力（ＨＤＲ画素データ）を生成する点が上記第１の実施の形態と異なる。従って、本実施の形態は、上記第１の実施の形態における図８のＨＤＲ画像生成部１２ｄの構成が一部異なるだけで、それ以外の構成及び動作は上記第１の実施の形態の撮像システム３と同じとなる。以下、上記第１の実施の形態と異なる部分のみ説明を行うこととする。

以下、図１４に基づき、本実施の形態の撮像装置１におけるＨＤＲ画像生成部１２ｄの内部構成を説明する。ここで、図１４（ａ）は、本実施の形態のＨＤＲ画像生成部１２ｄの内部構成を示すブロック図であり、（ｂ）は、超短露光合成部９１の内部構成を示すブロック図である。
まず、内部構成を説明する前に、本実施の形態におけるＨＤＲ画像生成部１２ｄの動作原理について説明する。

上記第１の実施の形態と同様に、短露光時間Ｔ１を標準露光時間Ｔ０の１／Ｋ１（Ｔ１＝Ｔ０／Ｋ１）とし、一方、本実施の形態において、超短露光時間Ｔ２を短露光時間Ｔ１の１／Ｋ２とする。また、上記第１の実施の形態と同様に、Ｓ０で照射されている画素のＴ１での信号出力レベルをＶ_max／Ｋ１（ＴＨＲ１）とし、一方、本実施の形態において、Ｓ１で照射されている画素のＴ２での信号出力レベルを、Ｖ_max／Ｋ２（これを、超短露光時間用の飽和予測レベルＴＨＲ２とする）。つまり、リセット後、時間Ｔ２経過後に全ての画素をサンプリングし、各画素の信号出力レベルが判定閾値ＴＨＲ２を越える画素は、時間Ｔ１を経過後に飽和すると予測する。また、ＴＨＲ２以下の画素は時間Ｔ１を経過後に飽和しない（非飽和である）と予測する。一方、上記第１の実施の形態と同様に、リセット後、時間Ｔ１を経過後に全ての画素をサンプリングし、各画素の信号出力レベルが判定閾値ＴＨＲ１を越える画素は、時間Ｔ０を経過後に飽和すると予測（判定）する。また、ＴＨＲ１以下の画素は時間Ｔ０を経過後に飽和しない（非飽和である）と予測（判定）する。

上記のことを前提として、以下、本実施の形態におけるＨＤＲ画像の生成方法について説明する。
ここで、本実施の形態においては、撮像処理系１０において、非標準露光画素データとして、超短露光時間及び短露光時間で露光された全画素の超短露光画素データ及び短露光画素データを取得することとする。また、本実施の形態においては、超短露光画素データ及び短露光画素データに対して、これを仮想的にＴ０まで露光時間を伸ばしたときに、それが幾つになるかを予測し、超短露光画素データ及び短露光画素データをその予測した値に補正して用いる。

つまり、Ｔ０で非飽和となるときの標準露光画素データと、Ｔ２で飽和せずＴ１で飽和するときの輝度補正後の超短露光画素データと、Ｔ１で飽和せずＴ０で飽和するときの輝度補正後の短露光画素データとを合成してＨＤＲ画像データを生成する。また、本実施の形態においても、上記第１の実施の形態と同様に、通常の線形合成にニー方式の考え方を取り入れた合成を行う。つまり、Ｔ１で飽和せずにＴ０で飽和すると予測された場合は、上式（１）に従って、Ｔ１での短露光画素データの値Ｖ１と、Ｔ０での標準露光画素データの値Ｖ０とを用いた線形合成を行う。更に、Ｔ２で飽和せずにＴ１で飽和すると予測された場合は、下式（４）及び（５）に従って、Ｔ０での超短露光画素データの値Ｖ２と、Ｔ１での短露光画素データの値Ｖ１と、Ｔ０での標準露光画素データの値Ｖ０とを用いた線形合成を行う。

「Ｔ１での予測値」＝Ｋ２×Ｖ２
＝Ｋ２×（Ｖ２−Ｖ_max／Ｋ１＋Ｖ_max／Ｋ１）
＝Ｋ２×（Ｖ２−Ｖ_max／Ｋ１）＋Ｖ_max
＝Ｋ２×（Ｖ２−ＴＨＲ２）＋（Ｔ１の信号出力）・・（４）

但し、正規化係数Ｋ２＝Ｔ１／Ｔ２とする。

また、上式（１）及び（４）より、Ｔ１で飽和する場合の合成出力は、下式（５）となる。

合成出力＝Ｋ１×（Ｔ１での予測値）
＝Ｋ１×（Ｋ２（Ｖ２−ＴＨＲ２）＋（Ｔ１の信号出力）−ＴＨＲ１）＋（Ｔ０の信号出力）
＝Ｋ１×Ｋ２×（Ｖ２−ＴＨＲ２）＋Ｋ１×（（Ｔ１の信号出力）−ＴＨＲ１））＋（Ｔ０の信号出力）・・・・・・・・・・・・・・・・・・・・・・（５）

以上のことを踏まえて、本実施の形態におけるＨＤＲ画像生成部１２ｄの内部構成を説明する。
ＨＤＲ画像生成部１２ｄは、図１４（ａ）に示すように、短露光合成部９０と、超短露光合成部９１とを含んで構成される。
短露光合成部９０は、上記第１の実施の形態における図１３に示す構成と同様の構成となっており、加算器８２の加算結果（以下、高輝度画像データと称す）を、超短露光合成部９１に出力する点のみが異なる。従って、詳細な説明を省略する。

超短露光合成部９１は、減算器８３と、乗算器８４と、加算器８５とを含んで構成される。
減算器８３は、メモリアクセス調停器１２ｅを介してフレームメモリ１４から、合成用の超短露光画像データを読み出し、当該超短露光画像データを構成する各超短露光画素データ（Ｖ２）、又は飽和予測レベル（ＴＨＲ２）から、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力される飽和予測レベル（ＴＨＲ２）を減算し、当該減算結果を乗算器８４に出力する。つまり、短露光時間Ｔ１において飽和すると予測された画素の場合は超短露光画素データが入力されるので、上式（５）における（Ｖ２−ＴＨＲ２）が「０」以外の値となり、短露光時間Ｔ１において飽和しないと予測された画素の場合はＶ２として飽和予測レベル（ＴＨＲ２）が入力されるので、上式（５）における（Ｖ２−ＴＨＲ２）が「０」となる。

乗算器８４は、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力される正規化係数Ｋ１及びＫ２と、減算器８３から入力される（Ｖ２−ＴＨＲ２）の値とを乗算し（Ｋ１×Ｋ２×（Ｖ２−ＴＨＲ２））、当該乗算結果を加算器８５に出力する。このとき、短露光時間Ｔ１において飽和しないと予測された場合は、前述したように（Ｖ２−ＴＨＲ２）の値は「０」となるので、正規化係数Ｋ１及びＫ２を乗算した結果も「０」となる（Ｋ１×Ｋ２×０＝０）。

加算器８５は、乗算器８４から入力される乗算結果と、短露光合成部９０から入力される高輝度画像データを構成する前記乗算結果に対応する高輝度画素データ（Ｋ１×（Ｖ１−ＴＨＲ１）＋（Ｔ０の信号出力））とを加算し、当該加算結果を合成出力として出力する。そして、ＨＤＲ画像生成部１２ｄは、前記合成出力をＨＤＲ画像データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。

次に、本実施の形態の実際の動作を説明する。
ここで、本実施の形態においては、非破壊読み出しにおけるサンプリング時間Ｔ２、Ｔ１を、Ｔ２は、短露光時間Ｔ１の１／１０（Ｔ２＝Ｔ１／１０＝Ｔ０／１００）とし、Ｔ１は、標準露光時間Ｔ０の１／１０（Ｔ１＝Ｔ０／１０）とする。
撮像装置１は、電源が投入され、映像処理系１２において、ホストシステム２から露光時間に関する情報と、非破壊読み出し（超短露光時間及び短露光時間）に対する開始ライン番号に関する情報とを取得すると、通信器・ＤＳＰ動作制御部１２ａによって、非破壊読み出しの開始ライン番号を指定する駆動制御信号を撮像処理系１０に送信する。更に、タイミング制御器１２ｂにおいて、露光領域に対する標準露光時間の画素信号が得られるように撮像素子１００を駆動する駆動信号（ピクセルクロック、垂直同期信号０及び水平同期信号）を撮像処理系１０に出力する。

撮像処理系１０は、駆動制御信号を受信すると、走査ラインスキャナ５４において、垂直同期信号０及び水平同期信号に同期してリセットライン選択信号と、標準露光時間の破壊読み出しに対する読み出しライン制御信号を生成する。また、開始ライン番号及び水平同期信号に基づき、超短露光時間及び短露光時間の非破壊読み出しに対する読み出しライン制御信号（２種類）を生成する。更に、これら生成した読み出し制御信号をＯＲロジック５４ｇに入力し、各露光時間に対する読み出しライン選択信号をそれぞれ生成する。そして、これら生成したリセットライン選択信号、読み出しライン選択信号（３種類）を駆動パルス発生器５２に出力する。駆動パルス発生器５２は、基準タイミング発生器５０からの基準タイミング信号及び走査ラインスキャナ５４からの各種選択信号に基づき、駆動パルスを発生してセンサセルアレイ５６に供給する。

センサセルアレイ５６は、駆動パルス発生器５２からの駆動パルスに基づき、通常走査ラインＬ１、高速走査ラインＬ２及び高速走査ラインＬ３を走査して、露光領域の各画素のラインから標準露光時間の露光により蓄積した電荷の破壊読み出しを行い（読み出し後に蓄積電荷のリセットを行う）、この破壊読み出し動作とは独立に、露光領域の各画素のラインから超短露光時間及び短露光時間の露光により蓄積した電荷の非破壊読み出しを行う（読み出し後に蓄積電荷のリセットを行わない）。そして、通常走査ラインＬ１の走査によって読み出した電荷から構成されるリセット前後の画素信号を水平転送部５８のＣＨ１及びＣＨ２を介して差動増幅器６０に出力し、差動増幅器６０においてこれらの差分値を算出しその算出結果を第１のＡＦＥ１０２に出力する。また、リセット直後の画素信号を水平転送部５８のＣＨ２を介して第２のＡＦＥ１０４に出力する。一方、高速走査ラインＬ２の走査によって読み出した電荷から構成される画素信号を水平転送部５８のＣＨ３を介して第３のＡＦＥ１０６に出力し、高速走査ラインＬ３の走査によって読み出した電荷から構成される画素信号を水平転送部５８のＣＨ４を介して第４のＡＦＥ１０８に出力する。

第１のＡＦＥ１０２は、差動増幅器６０を介して順次出力される標準露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる標準露光画素データを生成し映像処理系１２に出力する。一方、第２のＡＦＥ１０４は、ＣＨ２を介して順次出力されるリセット直後の画素信号（アナログデータ）をデジタルデータに変換してなる基準画素データを生成し映像処理系１２に出力する。また、第４のＡＦＥ１０８は、超短露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる超短露光画素データを生成し映像処理系１２に出力し、第３のＡＦＥ１０６は、短露光時間の露光に対する画素信号（アナログデータ）をデジタルデータに変換してなる短露光画素データを生成し映像処理系１２に出力する。

映像処理系１２では、第１のＡＦＥ１０２から出力された標準露光画像データをＨＤＲ画像生成部１２ｄに入力し、第２のＡＦＥ１０４から出力された基準画像データ、第３のＡＦＥ１０６から出力された短露光画像データ及び第４のＡＦＥ１０８から出力された超短露光画像データを非標準画像データ生成部・飽和予測部１２ｃに入力する。
非標準画像データ生成部・飽和予測部１２ｃは、撮像処理系１０から基準画像データが入力され、且つタイミング制御器１２ｂからアドレス情報が入力されると、当該アドレス情報に基づき、基準画像データを、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶する。

次に、非標準画像データ生成部・飽和予測部１２ｃは、撮像処理系１０から引き続き超短露光画像データが入力されると、第２非標準画像生成部７５の減算器７５ａにおいて、超短露光画像データを構成する各超短露光画素データの画素値から、フレームメモリ１４に記憶された、当該超短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した合成用の超短露光画素データを生成する。第２非標準画像生成部７５は、超短露光画像データ（ライン単位）が生成されると、当該超短露光画像データを、第２飽和予測部７６及び第２合成画像生成部７７にそれぞれ出力する。

また、撮像処理系１０から超短露光画像データに引き続き短露光画像データが入力されると、第１非標準画像生成部７０の減算器７０ａにおいて、短露光画像データを構成する各短露光画素データの画素値から、フレームメモリ１４に記憶された、当該短露光画素データと同じ画素位置の基準画素データの画素値を減算して、固定パターンノイズを除去した合成用の短露光画素データを生成する。第１非標準画像生成部７０は、短露光画像データ（ライン単位）が生成されると、当該短露光画像データを、第１飽和予測部７２及び第１合成画像生成部７３にそれぞれ出力する。以下、第１飽和予測部７２及び第１合成画像生成部７３の動作は、上記第１の実施の形態と同様となるので記載を省略する。

第２飽和予測部７６は、第２非標準画像生成部７５から超短露光画像データが入力され、通信器・ＤＳＰ動作制御部１２ａから飽和予測レベルＴＨＲ２が入力されると、比較器７６ａにおいて、超短露光画像データを構成する各超短露光画素データの示す輝度値Ｖ２と、ＴＨＲ２とを比較する。前述したように、超短露光時間Ｔ２を短露光時間Ｔ１の１／１０としたので、図１３に示すように、Ｔ２において、前述したＳ１で照射されている画素の信号出力レベルは、Ｖ_max／１０になると予測できる。従って、ここでは、正規化係数Ｋ２を１０とし、ＴＨＲ２を「Ｖ_max／１０」とする。従って、比較器７６ａは、「Ｖ２＞Ｖ_max／１０」であれば、対象の画素は短露光時間において飽和すると予測して飽和予測結果として「１」を出力する。一方、「Ｖ２≦Ｖ_max／１０」であれば、対象の画素は短露光時間において飽和しないと予測して飽和予測結果として「０」を出力する。そして、第２飽和予測部７６は、この飽和予測結果を第２合成画像生成部７７に出力すると共に、当該飽和予測結果を飽和予測結果格納メモリ７４に出力する。

このように、超短露光画素データに基づき飽和／非飽和の予測（判定）を行うようにし、且つ合成用の超短露光画素データを基準画素データとの差分値により構成したので、混入するノイズレベルの低い画素データに基づき飽和／非飽和の予測（判定）を行うことができるので、精度の高い飽和／非飽和の予測（判定）を行うことが可能である。
第２合成画像生成部７７は、第２非標準画像生成部７５から短露光画像データが入力され、第２飽和予測部７６から飽和予測結果が入力されると、選択出力器７７ａにおいて、各超短露光画素データについて、飽和予測結果が「１」であれば超短露光画素データ（Ｖ２）を、「０」であれば、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された飽和予測レベルＴＨＲ２を選択して出力する。この選択出力は、合成用の超短露光画素データとして、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶される。

一方、ＨＤＲ画像生成部１２ｄは、非標準画像データ生成部・飽和予測部１２ｃにおいて、超短露光画像データ及び短露光画像データが生成され、且つ撮像処理系１０から標準露光画像データが入力されると、通常の線形合成とニー方式とを合わせた線形合成により、ＨＤＲ画像データを生成する。
ＨＤＲ画像生成部１２ｄは、まず、短露光合成部９０の、減算器８０、乗算器８１及び加算器８２を用いて、上式（１）に従った処理を行い高輝度画像データを生成する。

ここで、短露光画素データの輝度値（差分処理後）＝Ｖ１、Ｋ１＝１０、ＴＨＲ１＝Ｖ_max／１０、標準露光画素データの値（Ｔ０における信号出力）＝Ｖ０≒Ｖ_maxとなるので、上式（１）は、上記第１の実施の形態と同様に、上式（２）となる。
また、短露光合成部９０の、減算器８０、乗算器８１及び加算器８２の動作は、上記第１の実施の形態の減算器８０、乗算器８１及び加算器８２の動作と同様となるので説明を省略する。但し、加算器８２の加算結果（高輝度画像データ（１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０）又は標準露光画像データ（Ｖ０））は、超短露光合成部９１に出力される。

以下、超短露光合成部９１の動作を説明する。
ここで、超短露光画素データの輝度値（差分処理後）はＶ２、正規化係数はＫ２＝１０、飽和予測レベルはＴＨＲ２＝Ｖ_max／１０となるので、上式（５）は、下式（６）となる。

合成出力＝１０×１０×（Ｖ２−Ｖ_max／１０）＋１０×（Ｖ１−Ｖ_max／１０））＋Ｖ０ ・・・・・（６）

ＨＤＲ画像生成部１２ｄは、メモリアクセス調停器１２ｅを介してフレームメモリ１４から、合成用の超短露光画像データを読み出し、これを減算器８３に入力すると共に、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された飽和予測レベルＴＨＲ２を減算器８３に入力する。次に、減算器８３において、入力された超短露光画像データを構成する各超短露光画素データの示す輝度値Ｖ２又はＴＨＲ２（Ｖ_max／１０）から、ＴＨＲ２（Ｖ_max／１０）を減算し、この減算結果を乗算器８４に出力する。つまり、短露光時間Ｔ１において飽和する画素の場合はＶ２とＴＨＲ２との差分値「Ｖ２−Ｖ_max／１０」が出力され、短露光時間Ｔ１において飽和しない画素の場合は「０」が出力される。

乗算器８４は、システムコントローラ２ａから通信器・ＤＳＰ動作制御部１２ａを介して入力された正規化係数Ｋ１（１０）及びＫ２（１０）と、減算器８３から入力された減算結果とを乗算し、当該乗算結果「１０×１０×（Ｖ２−Ｖ_max／１０）」又は「０」を、加算器８５に出力する。

加算器８５は、短露光合成部９０から入力された高輝度画像データを構成する高輝度画素データの示す輝度値（１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０）と、乗算器８１から入力された乗算結果とを加算し、当該加算結果「１０×１０×（Ｖ２−Ｖ_max／１０）＋１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」、「１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」及び「Ｖ０」のいずれか１つをＨＤＲ合成出力として出力する。つまり、短露光時間Ｔ１において飽和すると予測された画素については、その超短露光画素データを正規化した「１０×１０×（Ｖ２−Ｖ_max／１０）＋１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」がＨＤＲ画素データとして出力される。また、標準露光時間Ｔ０において飽和すると予測された画素については、その短露光画素データを正規化した「１０×（Ｖ１−Ｖ_max／１０）＋Ｖ０」がＨＤＲ画素データとして出力される。また、標準露光時間Ｔ０において飽和しないと予測された画素については、その標準露光画素データ「Ｖ０」そのものがＨＤＲ画素データとして出力される。つまり、ＨＤＲ画像データは、前述したように精度良く飽和／非飽和が予測された予測結果に基づき選択された、超短露光画素データを正規化した画素データと、短露光画素データを正規化した画素データと、標準露光画素データ「Ｖ０」とが合成されたものとなる。そして、このＨＤＲ画像データは、メモリアクセス調停器１２ｅを介してフレームメモリ１４に記憶される。

なお、理想的なセンサ（画素毎に特性ばらつきが無く、ノイズが０）の場合、短露光時間Ｔ１において飽和すると予測された画素は、Ｖ１＝Ｖ_max、Ｖ０＝Ｖ_maxとなり、「１０×１０×（Ｖ２−Ｖ_max／１０）＋１０×（Ｖ_max−Ｖ_max／１０）＋Ｖ_max」＝「１００×Ｖ２」が出力される。また、短露光時間Ｔ０において飽和すると予測された画素は、Ｖ２出力はキャンセル、Ｖ１＝Ｖ_max、Ｖ０＝Ｖ_maxとなり、「１０×（Ｖ_max−Ｖ_max／１０）＋Ｖ_max」＝「１０×Ｖ１」が出力される。一方、通常のセンサは画素毎の特性ばらつきとノイズがあるが、３つの画素信号値から最終的な信号レベルを決めるので、積分効果によりノイズ抑圧効果が得られる。また、本発明のＨＤＲ画像生成（線形性を維持したダイナミック拡大）は、画素信号を直接増幅する事無く、信号の差分値を増幅することから、誤判定による画質劣化を抑圧することが出来る。

このように、本実施の形態の撮像システム３は、超短露光画像データ及び短露光画像データに基づき、これら画像データに対応する画素が標準露光時間において飽和するか否かを予測することが可能であるので、ノイズの影響が少ない画素データから精度良く飽和／非飽和を予測（判定）することができる。また、この予測結果に基づき、ＨＤＲ画像データの生成に用いる画素データを、標準露光画素データ、短露光画素データ及び超短露光画素データのいずれかから選択することが可能であるので、標準露光時間において飽和しない標準露光画素データを正確に選択することができ、画質の安定した（誤選択の極めて少ない）ＨＤＲ画像データを生成することができる。

また、撮像システム３は、通常の線形合成とニー方式とを合わせた手法によって、標準露光画素データ及び短露光画素データを用いて、Ｔ０で飽和する場合の短露光画素データを合成することが可能であると共に、標準露光画素データ、短露光画素データ及び超短露光画素データを用いて、Ｔ１で飽和する場合の超短露光画素データを合成することが可能であるので、通常の線形合成と比較して合成用の短露光画素データ（ＨＤＲ画素データ）及び超短露光画素データ（ＨＤＲ画素データ）に含まれるノイズ成分を低減することができる。

上記第２の実施の形態において、センサセルアレイ５６は、形態１、２、１２及び１３のいずれか１の光電変換部に対応し、撮像処理系１０の非破壊走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、水平転送部５８によるセンサセルアレイ５６の露光領域からの標準露光時間での電荷の破壊読み出し処理は、形態１、２、３、６及び１２のいずれか１の第１読出手段又は形態１３の第１読出ステップに対応し、撮像処理系１０の非破壊走査対応型撮像素子１００における基準タイミング発生器５０、走査ラインスキャナ５４、駆動パルス発生器５２、水平転送部５８によるセンサセルアレイ５６の露光領域からの超短露光時間及び短露光時間での電荷の非破壊読み出し処理は、形態１〜６及び１２のいずれか１の第２読出手段又は形態１３の第２読出ステップに対応する。

また、上記第２の実施の形態において、非標準画像データ生成部・飽和予測部１２ｃにおける、飽和／非飽和の予測処理は、形態１、２、３、４、６及び１２のいずれか１の飽和予測手段又は形態１３の飽和予測ステップに対応し、ＨＤＲ画像生成部１２ｄは、形態２、４、６、９、１０及び１２のいずれか１のＨＤＲ画像データ生成手段又は形態１３のＨＤＲ画像データ生成ステップに対応する。

なお、上記第１の実施の形態において、非標準露光画素データとして、短露光画素データのみを取得する例を説明したが、これに限らず、短露光画素データに代えて超短露光画素データを取得して、当該超短露光画素データ（Ｖ２）に基づき飽和／非飽和を予測するようにしても良い。この場合は、Ｔ０とＴ２との比が、例えば１００：１となり、Ｔ２用の正規化係数Ｋ２が１００となる。従って、上式（２）は、下式（３）のようになる。

合成出力＝１０×（Ｖ２−Ｖ_max／１００）＋Ｖ０・・・・・・・・・・・・（３）

つまり、標準露光時間で飽和すると予測された場合は、超短露光画素データ（Ｖ２）と、標準露光画素データ（Ｖ０）とから合成出力（ＨＤＲ画素データ）が生成される。

また、短露光画素データに加えて、超短露光画素データを取得し、これらに基づき飽和／非飽和を予測するようにしても良い。この場合は、超短露光時間Ｔ２における単位時間あたりの照射光量が、短露光時間Ｔ１の時点でＶ_maxとなる照射光量Ｓ１を越えるか否かを予測し、越える場合は、その画素は標準露光時間Ｔ０で飽和すると判定すると共に、超短露光画素データ及び標準露光画素データを用いて合成出力（ＨＤＲ画素データ）を生成する。これにより、Ｔ１の時点で飽和してしまうような場合でも、非飽和のＴ２の時点の画素データを前述したニー方式を応用した線形合成方法を用いて線形合成して、画質の安定したＨＤＲ画像データを生成することが可能である。

また、上記実施の形態においては、撮像装置１と、ホストシステム２とから撮像システム３を構成したが、これに限らず、ホストシステム２の機能を撮像装置１に全て持たせた構成としても良いし、撮像装置１の映像処理系の機能をホストシステム２に持たせる構成としても良いし、撮像装置１の各構成要素を分離して、各構成要素間を、例えば、ネットワークを介して接続する構成など他の構成としても良い。例えば、撮像処理系と映像処理系とを分離してネットワークを介して接続し、遠隔地の映像を撮像し、それを処理する構成などが考えられる。

本発明に係る撮像装置１の概略構成を示すブロック図である。 撮像処理系１０の内部構成及びホストシステム２の内部構成を示すブロック図である。 第１のＡＦＥ(Analog Front End)１０２の内部構成を示す図である。 非破壊走査対応型撮像素子１００の内部構成を示すブロック図である。 走査ラインスキャナ５４の内部構成を示す図である。 センサセルアレイ５６の詳細構成を示す図である。 撮像素子１００のセンサセルアレイ５６における各画素のライン毎の露光及び画素信号の読み出し動作の一例を示す図である。 映像処理系１２の内部構成を示すブロック図である。 非標準画像データ生成部・飽和予測部１２ｃの内部構成を示す図である。 （ａ）は、第１非標準画像生成部７０の内部構成を示す図であり、（ｂ）は、第１飽和予測部７２の内部構成を示す図であり、（ｃ）は、第１合成画像生成部７３の内部構成を示す図である。 破壊読み出し方式における画素の蓄積電荷量の推移を示す図である。 センサセルアレイ５６の各画素の異なる照射光量に対する露光時間と信号レベル（輝度レベル）との推移の一例を示す図である。 第１の実施の形態におけるＨＤＲ画像生成部１２ｄの内部構成を示す図である。 第２の実施の形態におけるＨＤＲ画像生成部１２ｄの内部構成を示す図である。 従来の画素値のバラツキによる飽和／非飽和の誤判断の一例を示す図である。 従来の合成方式被写体の照度と出力値との関係を示す図である。

符号の説明

１は撮像装置、２はホストシステム、３は撮像システム、２ａはシステムコントローラ、２ｂは表示装置、２ｃは記録装置、３は撮像システム、１０は撮像処理系、１２は映像処理系（ＤＳＰ）、１４はフレームメモリ、１００は領域別走査対応型撮像素子、１０２〜１０８は第１〜第４のＡＦＥ、５０は基準タイミング発生器、５２は駆動パルス発生器、５４は走査ラインスキャナ、５６はセンサセルアレイ、５８は水平転送部、６０は差動増幅器、５４ａは通常走査カウンタ、５４ｂは通常走査アドレスデコーダ、５４ｃは第１非破壊走査カウンタ、５４ｄは第１非破壊走査アドレスデコーダ、５４ｅは第２非破壊走査カウンタ、５４ｆは第２非破壊走査アドレスデコーダ、５４ｇはＯＲロジック、１２ａは通信器、１２ｂはタイミング制御器、１２ｃは非標準画像データ生成部・飽和予測部、１２ｄはＨＤＲ画像生成部、１２ｅはメモリアクセス調停器、１２ｆは出力読出器、７０，７５は第１，第２非標準画像生成部、７２，７６は第１，第２飽和予測部、７３，７７は第１，第２合成画像生成部、８０，８３は減算器、８１，８４は乗算器、８２，８５は加算器、９０は短露光合成部、９１は超短露光合成部

Claims (13)

1. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像素子であって、
   前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第２読出手段で読み出された前記短露光時間で露光時の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、を備えることを特徴とする撮像素子。
2. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置であって、
   前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
   前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
   前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
   前記飽和予測手段の予測結果に基づき、前記第１読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴とする撮像装置。
3. 前記第２読出手段は、前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い複数種類の短露光時間で露光された電荷を非破壊読み出し方式で順次読み出し、
   前記飽和予測手段は、前記第２読出手段で読み出された前記複数種類の短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測することを特徴とする請求項２記載の撮像装置。
4. 前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データに対して、所定の演算処理を行う演算処理手段を備え、
   前記飽和予測手段は、前記演算処理後の非標準露光画素データに基づき、前記標準露光画素データの示す輝度値が飽和値となるか否かを予測し、
   前記ＨＤＲ画像データ生成手段は、前記飽和予測手段の予測結果に基づき、前記演算処理後の非標準露光画素データと、前記標準露光画素データとを合成して前記ＨＤＲ画像データを生成することを特徴とする請求項２又は請求項３記載の撮像装置。
5. 前記光電変換素子の構成する各画素からリセット直後の電荷を読み出す第３読出手段を備え、
   前記演算処理手段は、前記第２読出手段で読み出された電荷から構成される前記非標準露光画素データから、当該非標準露光画素データに対応する、前記第３読出手段で読み出されたリセット直後の電荷から構成される基準画素データを減算する演算処理を行うことを特徴とする請求項４記載の撮像装置。
6. 前記ＨＤＲ画像データ生成手段は、前記第２読出手段で読み出された非標準露光画素データから、前記飽和予測手段で飽和すると予測された画素に対応する非標準露光画素データを選択し、前記第１読出手段で読み出された標準露光画素データから、前記飽和予測手段で飽和しないと予測された画素に対応する標準露光画素データを選択し、これら選択した標準露光画素データ及び非標準露光画素データを合成して前記ＨＤＲ画像データを生成することを特徴とする請求項２乃至請求項５のいずれか１項に記載の撮像装置。
7. 前記ＨＤＲ画像データ生成手段は、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データが無いときに、前記選択した非標準露光画素データと当該非標準露光画素データに対応する標準露光画素データとに基づき前記選択された非標準露光画素データに対応するＨＤＲ画素データを生成し、前記選択された非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データがあるときに、前記選択した非標準露光画素データと、当該非標準露光画素データに対応する、前記短い露光時間の非標準露光画素データ及び標準露光画素データとに基づき前記選択された非標準露光画素データに対応するＨＤＲ画素データを生成し、前記ＨＤＲ画素データと前記選択した標準露光画素データとを合成して前記ＨＤＲ画像データを生成することを特徴とする請求項６記載の撮像装置。
8. 前記飽和予測手段は、前記非標準露光画素データに基づき予測した標準露光時間で露光時の各画素の蓄積電荷量の示す輝度値と、前記露光時間の種類毎に設定される飽和予測用輝度値とを比較し、当該比較結果に基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測し、
   前記ＨＤＲ画像データ生成手段は、前記選択された非標準露光画素データである第１非標準露光画素データに対応する短露光時間よりも短い露光時間の非標準露光画素データである第２非標準露光画素データが無いときに、前記第１非標準露光画素データの示す輝度値から当該第１非標準露光画素データ用の前記飽和予測用輝度値である第１飽和予測用輝度値を第１正規化係数で除算した結果を減算し、当該減算結果に前記第１正規化係数を乗算し、当該乗算結果に、当該第１非標準露光画素データに対応する標準露光画素データを加算して前記ＨＤＲ画素データを生成することを特徴とする請求項７記載の撮像装置。
9. 前記標準露光時間と、前記第１非標準露光画素データに対応する短露光時間との比が「ａ：ｂ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「ａ／ｂ」で除算した結果を、前記第１飽和予測用輝度値とし、
   前記「ａ／ｂ」を、前記第１正規化係数としたことを特徴とする請求項８又は請求項９記載の撮像装置。
10. 前記ＨＤＲ画像データ生成手段は、前記第１非標準露光画素データよりも短い露光時間の前記第２非標準露光画素データがあるときに、前記第２非標準露光画素データの示す輝度値から当該第２非標準露光画素データ用の前記飽和予測用輝度値である第２飽和予測用輝度値を第２正規化係数で除算した結果を減算し、当該減算結果に前記第２正規化係数を乗算し、当該乗算結果と前記第１非標準露光画素データの示す輝度値とを加算し、当該加算結果から前記第１飽和予測用輝度値を減算し、当該減算結果に前記第１正規化係数を乗算し、当該乗算結果と前記第１非標準露光画素データに対応する標準露光画素データの示す輝度値とを加算して前記ＨＤＲ画素データを生成することを特徴とする請求項８記載の撮像装置。
11. 前記標準露光時間と、前記第１非標準露光画素データに対応する短露光時間との比が「ａ：ｂ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「ａ／ｂ」で除算した結果を、前記第１飽和予測用輝度値とし、前記標準露光時間と、前記第２非標準露光画素データに対応する短露光時間との比が「ａ：ｃ」であるときに、前記飽和とならない最大蓄積電荷量の示す輝度値を「（ａ・ｂ）／（ａ・ｃ）」で除算した結果を、前記第１飽和予測用輝度値とし、
    前記「ａ／ｂ」を前記第１正規化係数とし、前記「（ａ・ｂ）／（ａ・ｃ）」を前記第２正規化係数としたことを特徴とする請求項１０記載の撮像装置。
12. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像システムであって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出手段と、
    前記第１読出手段と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出手段と、
    前記第２読出手段で読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測手段と、
    前記飽和予測手段の予測結果に基づき、前記第１読出手段で読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成手段と、を備えることを特徴とする撮像システム。
13. 露光した光を電荷に変換して蓄積する光電変換素子が複数マトリクス状に配設された光電変換部と、フレーム毎の露光時間を制御する電子シャッタ機能とを備えた撮像装置に用いられる撮像方法であって、
    前記光電変換部の露光領域における前記光電変換素子の構成する各画素から、標準露光時間で露光された電荷を破壊読み出し方式で読み出す第１読出ステップと、
    前記第１読出ステップでの露光期間と同じ露光期間において、前記光電変換素子の構成する各画素から、前記標準露光時間よりも短い露光時間である短露光時間で露光された電荷を非破壊読み出し方式で読み出す第２読出ステップと、
    前記第２読出ステップで読み出された前記短露光時間の電荷から構成される非標準露光画素データに基づき、前記標準露光時間で露光時の各画素の蓄積電荷量が飽和するか否かを予測する飽和予測ステップと、
    前記飽和予測ステップの予測結果に基づき、前記第１読出ステップで読み出された前記標準露光時間で露光時の電荷から構成される標準露光画素データと、前記非標準露光画素データとを合成してＨＤＲ（High Dynamic Range）画像データを生成するＨＤＲ画像データ生成ステップと、を含むことを特徴とする撮像方法。

Images