JP2016192707A - 撮像素子、撮像方法、並びにプログラム - Google Patents

Abstract

【課題】広ダイナミックレンジを実現する。
【解決手段】同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で画素が撮像面上に配置され、１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、１回の撮像で、異なる露光時間毎に撮像された複数の画像を取得する。１ブロック内の画素の露光は、設定している露光時間に応じて異なるタイミングで開始し、１ブロック内の全ての画素でほぼ同一のタイミングで終了するように制御する。本技術は、撮像装置に適用できる。
【選択図】図７

Description

本技術は、撮像素子、撮像方法、並びにプログラムに関する。詳しくは、複数の露光時間で撮像を行い、露光時間の異なる複数の画像を得ることができる撮像素子、撮像方法、並びにプログラムに関する。

近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にＣＣＤイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。

ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、電子シャッタを高速に切ることで露光時間を調整する方法や、高速に複数のフレームを撮影し重ね合わせる方法や、受光部の光電変換特性を対数応答にする方法などが知られている。

異なる露光時間またはアナログゲインや異なる感度を有する１枚の画像データを処理する際、所定サイズの局所領域において、異なる露光時間や異なる感度を有する画素を、もう一方の露光時間や感度を有する画素と合成処理によって、ダイナミックレンジの拡大を図ることが提案されている（例えば、特許文献１参照）。ダイナミックレンジを拡大するために、設定された露光時間の比やあらかじめ算出された感度比から決定したゲイン倍を信号量の低い画素信号へ適応し、この値と信号量の高い画素信号を一定の比率で合成することが提案されている。

通常、複数回に露光＆シャッタを経て得られた複数枚の異露光画像を上記の方法で合成することで、HDR画像を得ることができる。しかしながら、この手法では動物体の領域においては、画像が崩壊してしまう可能性がある。

特許文献１で提案されている方法で、周期的に異なる露光時間や異なる感度を有する画素を２次元的に、周期的に配置した画素を用いて、異露光の画素間で読み出しのタイミングを揃えて、各画素位置において、合成比率をその領域に沿った最適な比率を選択することで、動物体のボケ抑制などを図ることが特許文献２で提案されている。

HDR画像は、その帯域の広さゆえに、諧調が大きな画像データとなる。しかしながら、一般的なディスプレイの表示可能な諧調は、この画像の諧調に比べ、小さい諧調しか有していないときがある。そこで、特許文献３では、HDR画像の圧縮技術について提案している。

特開2013-66145号公報 特開2013-66142号公報 特願2007-105540号公報

上記したような技術により、ダイナミックレンジが拡張された画像を得ることでき、高画質化に寄与することができる。

このような高画質な画像が得られても、上記したように、ディスプレイの階調に合わせて圧縮するなどしなくてはならない場合もあり、得られた高画質な画像を生かし切れていない場合がある。また、例えば、ユーザが注目している領域を、他の領域よりも鮮明な画像として提供するなど、ユーザが所望している形で画像を提供することができるようにすることも望まれている。

本技術は、このような状況に鑑みてなされたものであり、ユーザが所望する画像を提供できるようにするものである。

本技術の一側面の撮像素子は、同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置され、前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する。

前記１ブロック内の画素の露光は、設定している露光時間に応じて異なるタイミングで開始し、前記１ブロック内の全ての画素でほぼ同一のタイミングで終了するように制御するようにすることができる。

前記Ｍ×Ｎ個は２×２個であり、前記２×２個の画素毎に異なる露光時間を設定するようにすることができる。

前記１ブロック内の画素は、１つのフローティングディフュージョンを共有するようにすることができる。

前記撮像面上に配置されているブロックには、全整色性である分光感度のＭ×Ｎ個の画素から構成されるブロックを含むようにすることができる。

異なるブロック内の同一露光時間が設定されている画素は、同一の制御信号線に接続されているようにすることができる。

取得された前記複数の画像を合成することで、１枚の画像を生成するようにすることができる。

前記１枚の画像内のユーザが注視している領域内の画像が、適切な明るさになるように処理するようにすることができる。

本技術の一側面の撮像方法は、同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子の撮像方法において、前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得するステップを含む。

本技術の一側面のプログラムは、同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子を制御するコンピュータに、前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得するステップを含む処理をコンピュータに実行させる。

本技術の一側面の撮像素子、撮像方法、並びにプログラムにおいては、同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で画素が撮像面上に配置されている。１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間が設定され、１回の撮像で、異なる露光時間毎に撮像された複数の画像が取得される。

本技術の一側面によれば、ユーザが所望する画像を提供できるようになる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した撮像装置の一実施の形態の構成を示す図である。 ＣＭＯＳイメージセンサの構成について説明するための図である。 画素の配置について説明するための図である。 画素の配置について説明するための図である。 露光時間の異なる画素の配置について説明するための図である。 読み出しタイミングについて説明するための図である。 画素配置の配線について説明するための図である。 転送制御線の配線について説明するための図である。 画像提供装置の構成例を示す図である。 ＨＤＲ合成部の構成例を示す図である。 使用例について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．撮像装置の構成
２．画素の配置について
３．読み出しについて
４．画素配置配線について
５．転送制御線の配線について
６．画像提供装置について
７．使用例について
８．記録媒体について

＜撮像装置の構成＞
図１は、本技術を適用した撮像装置の一実施の形態の構成を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図１に示されるように撮像装置１００は、光学部１１１、CMOS(Complementary Metal Oxide Semiconductor)センサ１１２、A/D（Analog/Digital）変換器１１３、操作部１１４、制御部１１５、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９を有する。

光学部１１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部１１１は、被写体からの光（入射光）を透過し、CMOSイメージセンサ１１２に供給する。

CMOSイメージセンサ１１２は、入射光を光電変換して画素毎の信号（画素信号）をA/D変換器１１３に供給する。A/D変換器１１３は、CMOSイメージセンサ１１２から、所定のタイミングで供給された画素信号を、デジタルデータ（画像データ）に変換し、所定のタイミングで順次、画像処理部１１６に供給する。

操作部１１４は、例えば、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号を制御部１１５に供給する。

制御部１１５は、操作部１１４により入力されたユーザの操作入力に対応する信号に基づいて、光学部１１１、CMOSイメージセンサ１１２、A/D変換器１１３、画像処理部１１６、表示部１１７、コーデック処理部１１８、および記録部１１９の駆動を制御し、各部に撮像に関する処理を行わせる。

画像処理部１１６は、A/D変換器１１３から供給された画像データに対して、例えば、混色補正や、黒レベル補正、ホワイトバランス調整、デモザイク処理、マトリックス処理、ガンマ補正、およびYC変換等の各種画像処理を施す。画像処理部１１６は、画像処理を施した画像データを表示部１１７およびコーデック処理部１１８に供給する。

表示部１１７は、例えば、液晶ディスプレイ等として構成され、画像処理部１１６から供給された画像データに基づいて、被写体の画像を表示する。

コーデック処理部１１８は、画像処理部１１６から供給された画像データに対して、所定の方式の符号化処理を施し、得られた符号化データを記録部１１９に供給する。記録部１１９は、コーデック処理部１１８からの符号化データを記録する。記録部１１９に記録された符号化データは、必要に応じて画像処理部１１６に読み出されて復号される。復号処理により得られた画像データは、表示部１１７に供給され、対応する画像が表示される。

以上のような撮像装置１００のCMOSイメージセンサ１１２を含む処理部として、以下に説明する本技術を適用することが可能である。すなわち、CMOSイメージセンサ１１２を含む処理部として、以下に説明するCMOSイメージセンサ１１２が用いられる。これにより、CMOSイメージセンサ１１２を含む処理部は、広いダイナミックレンジを有したより高画質な画像を得ることができる。

なお、本技術が適用される撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、CMOSイメージセンサ１１２の代わりに、本技術を適用したCCDイメージセンサを用いるようにしてもよい。また、例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置などの電子機器であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。

＜CMOSイメージセンサの構成＞
図２は、CMOSイメージセンサ１１２の構成を示す図である。ここで、CMOSイメージセンサとは、CMOSプロセスを応用して、または、部分的に使用して作成されたイメージセンサである。

図２のCMOSイメージセンサ１１２は、図示せぬ半導体基板上に形成された画素アレイ部１５１と、当該画素アレイ部１５１と同じ半導体基板上に集積された周辺回路部とを有する構成となっている。周辺回路部は、例えば、垂直駆動部１５２、カラム処理部１５３、水平駆動部１５４およびシステム制御部１５５から構成されている。

CMOSイメージセンサ１１２はさらに、信号処理部１５８およびデータ格納部１５９を備えている。信号処理部１５８およびデータ格納部１５９については、CMOSイメージセンサ１１２と同じ基板上に搭載しても構わないし、CMOSイメージセンサ１１２とは別の基板上に配置するようにしても構わない。また、信号処理部１５８およびデータ格納部１５９の各処理については、CMOSイメージセンサ１１２とは別の基板に設けられる外部信号処理部、例えば、ＤＳＰ（Digital Signal Processor）回路やソフトウエアによる処理でも構わない。

画素アレイ部１５１は、受光した光量に応じた光電荷を生成しかつ蓄積する光電変換部を有する単位画素（以下、単に「画素」と記述する場合もある）が行方向および列方向に、即ち、行列状に２次元配置された構成となっている。ここで、行方向とは画素行の画素の配列方向（即ち、水平方向）を言い、列方向とは画素列の画素の配列方向（即ち、垂直方向）を言う。

画素アレイ部１５１において、行列状の画素配列に対して、画素行毎に画素駆動線１５６が行方向に沿って配線され、画素列毎に垂直信号線１５７が列方向に沿って配線されている。画素駆動線１５６は、画素から信号を読み出す際の駆動を行うための駆動信号を伝送する。図１では、画素駆動線１５６について１本の配線として示しているが、１本に限られるものではない。画素駆動線１５６の一端は、垂直駆動部１５２の各行に対応した出力端に接続されている。

垂直駆動部１５２は、シフトレジスタやアドレスデコーダなどによって構成され、画素アレイ部１５１の各画素を全画素同時あるいは行単位等で駆動する。すなわち、垂直駆動部１５２は、当該垂直駆動部１５２を制御するシステム制御部１５５と共に、画素アレイ部１５１の各画素を駆動する駆動部を構成している。この垂直駆動部１５２はその具体的な構成については図示を省略するが、一般的に、読出し走査系と掃き出し走査系の２つの走査系を有する構成となっている。

読出し走査系は、単位画素から信号を読み出すために、画素アレイ部１５１の単位画素を行単位で順に選択走査する。単位画素から読み出される信号はアナログ信号である。掃き出し走査系は、読出し走査系によって読出し走査が行われる読出し行に対して、その読出し走査よりもシャッタスピードの時間分だけ先行して掃き出し走査を行う。

この掃き出し走査系による掃き出し走査により、読出し行の単位画素の光電変換部から不要な電荷が掃き出されることによって当該光電変換部がリセットされる。そして、この掃き出し走査系が不要電荷を掃き出す（リセットする）ことにより、所謂電子シャッタ動作が行われる。ここで、電子シャッタ動作とは、光電変換部の光電荷を捨てて、新たに露光を開始する（光電荷の蓄積を開始する）動作のことを言う。

読出し走査系による読出し動作によって読み出される信号は、その直前の読出し動作または電子シャッタ動作以降に受光した光量に対応するものである。そして、直前の読出し動作による読出しタイミングまたは電子シャッタ動作による掃き出しタイミングから、今回の読出し動作による読出しタイミングまでの期間が、単位画素における光電荷の露光期間となる。

垂直駆動部１５２によって選択走査された画素行の各単位画素から出力される信号は、画素列毎に垂直信号線１５７の各々を通してカラム処理部１３に入力される。カラム処理部１５３は、画素アレイ部１５１の画素列毎に、選択行の各画素から垂直信号線１５７を通して出力される信号に対して所定の信号処理を行うとともに、信号処理後の画素信号を一時的に保持する。

具体的には、カラム処理部１５３は、信号処理として少なくとも、ノイズ除去処理、例えばＣＤＳ（Correlated Double Sampling;相関二重サンプリング）処理を行う。このカラム処理部１５３によるＣＤＳ処理により、リセットノイズや画素内の増幅トランジスタの閾値ばらつき等の画素固有の固定パターンノイズが除去される。カラム処理部１５３にノイズ除去処理以外に、例えば、ＡＤ（アナログ−デジタル）変換機能を持たせ、アナログの画素信号をデジタル信号に変換して出力することも可能である。

水平駆動部１５４は、シフトレジスタやアドレスデコーダなどによって構成され、カラム処理部１５３の画素列に対応する単位回路を順番に選択する。この水平駆動部１５４による選択走査により、カラム処理部１５３において単位回路毎に信号処理された画素信号が順番に出力される。

システム制御部１５５は、各種のタイミング信号を生成するタイミングジェネレータなどによって構成され、当該タイミングジェネレータで生成された各種のタイミングを基に、垂直駆動部１５２、カラム処理部１５３、および、水平駆動部１５４などの駆動制御を行う。

信号処理部１５８は、少なくとも演算処理機能を有し、カラム処理部１５３から出力される画素信号に対して演算処理等の種々の信号処理を行う。データ格納部１５９は、信号処理部１５８での信号処理に当たって、その処理に必要なデータを一時的に格納する。

＜画素の配置について＞
以下に本技術を適用したイメージセンサにおける画素の配置について説明するが、比較のため図３を参照して一般的な画素の配置について説明する。図３に示した配置は、ベイヤー-配列などと称される配置である。図３において、各矩形は画素を模式的に表す。また、各矩形の内部には、カラーフィルタの種類（各画素が出力する色光）を示す記号を示す。例えば、Ｒ（Red）画素には「Ｒ」を付し、Ｇ（Green）画素には「Ｇ」を付し、Ｂ（Blue）画素には「Ｂ」を付す。以下の説明においても、同様に記載する。

図３に示したように、縦×横の２×２単位で、Ｒ、Ｇ、Ｂの配置が繰り返される。図３に示した例では、左上がＲ画素、そのＲ画素の右隣がＧ画素、Ｒ画素の下側がＧ画素、Ｒ画素の右斜め下側がＢ画素となる配置とされている。

このように、Ｒ画素、Ｇ画素、およびＢ画素が配置され、それぞれの画素にフォトダイオード（不図示）が配置されている。Ｒ画素に配置されているフォトダイオードは、赤色のカラーフィルタを透過した光を受光し、Ｇ画素に配置されているフォトダイオードは、緑色のカラーフィルタを透過した光を受光し、Ｂ画素に配置されているフォトダイオードは、青色のカラーフィルタを透過した光を受光する。

このように配置された画素は、被写体の明るさに応じて露光時間が制御されることで撮影が行われる。

図４は、本技術を適用したイメージセンサの画素の配置を説明する図である。図４に示した画素配置においては、縦×横の４×４単位で、Ｒ画素、Ｇ画素、およびＢ画素の配置が繰り返される。図４に示した例では、左上の２×２の４画素が全てＲ画素とされている。この２×２の４個のＲ画素を、Ｒブロックとする。この４画素のＲブロックの右隣の２×２の４画素は、全てＧ画素（Ｇブロックとする）とされている。

Ｒブロックの下側の２×２の４画素は、全てＧ画素（Ｇブロック）とされている。Ｒブロックの右斜め下側の２×２の４画素は、全てＢ画素（Ｂブロックとする）とされている。このように、２×２の４画素は、全て同色とされ、４画素単位のＲブロック、Ｇブロック、Ｇブロック、Ｂブロックが、４×４の画素領域内に配置されている。

このように、図３に示したベイヤー配列では、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素が、１画素ずつ含まれる２×２単位であったが、図４に示した配列では、Ｒ画素、Ｇ画素、Ｇ画素、Ｂ画素が、４画素ずつ含まれる４×４単位で構成されている。

なおここでは、ＲＧＢの画素が配置されている例を挙げて説明を続けるが、Ｗ（White）画素を含む構成とすることも可能である。また、ＲＧＢではなく、シアン、マゼンタ、イエローの組み合わせに対しても本技術を適用することはできる。

Ｗ画素が含まれるようにした場合、Ｗ画素は、全整色性である分光感度の画素として機能し、Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。本技術は、全整色性である分光感度を含む４種類の分光感度の画素が、撮像面上に配置されている撮像素子（イメージセンサ）にも適用できる。

本技術を適用した画素配置では、４×４で構成される１単位内に、４つのブロックが含まれるが、そのうちの２つのブロックはＧブロックである。この２つのＧブロックのうちの一方をＷ画素が配置されるＷブロックとしても良い。

図４に示した画素配置に基づく配置がなされたイメージセンサにおいて、１ブロックに含まれる４画素は、同色とされているが、それぞれ異なる露光時間とされている。１ブロックに含まれる４画素は、それぞれ最長時間露光画素Ｌ、長時間露光画素ｌ、短時間露光画素ｓ、最短時間露光画素Ｓとされる。露光時間の関係は、以下に示すとおりである。
最長時間露光Ｌ≧長時間露光l≧短時間露光s≧最短時間露光Ｓ

最長時間露光Ｌ、長時間露光l、短時間露光s、最短時間露光Ｓは、それぞれ固定の露光時間とされ、被写体の明るさに応じて制御される露光時間ではない。例えば、最短時間露光Ｓの時間を基準としたとき、短時間露光sの時間は、その２倍、長時間露光lの時間は、その３倍、最長時間露光Ｌの時間は、その４倍といったように設定しておくことができる。この場合、各露光時間の比は固定比とされる。

ここでは、固定の露光時間であるとして説明を続けるが、勿論、可変の露光時間とすることも可能である。可変の露光時間とした場合、最短時間露光Ｓの時間を基準として、上記したように、所定の固定比で、それぞれ最長時間露光Ｌ、長時間露光l、短時間露光sとして設定されるようにすることができる。また、例えば、最短時間露光Ｓの時間を基準とした場合、この最短時間露光Ｓの露光時間は、被写体の明るさに応じて設定されるようにしても良い。

図５に、最長時間露光画素Ｌ、長時間露光画素ｌ、短時間露光画素ｓ、最短時間露光画素Ｓの配置例を示す。左上に位置するＲブロックの４画素に注目する。Ｒブロック内の左上に位置するＲ画素は、最長時間露光画素Ｌである。Ｒブロック内の右上に位置するＲ画素は、長時間露光画素ｌである。Ｒブロック内の左下に位置するＲ画素は、短時間露光画素ｓである。Ｒブロック内の右下に位置するＲ画素は、最短時間露光画素Ｓである。

このような配置は、他の色のブロックでも同様である。例えば、Ｇブロック内の左上に位置するＧ画素は、最長時間露光画素Ｌであり、右上に位置するＧ画素は、長時間露光画素ｌであり、左下に位置するＧ画素は、短時間露光画素ｓであり、右下に位置するＧ画素は、最短時間露光画素Ｓである。同様に、Ｂブロック内の左上に位置するＢ画素は、最長時間露光画素Ｌであり、右上に位置するＢ画素は、長時間露光画素ｌであり、左下に位置するＢ画素は、短時間露光画素ｓであり、右下に位置するＢ画素は、最短時間露光画素Ｓである。

このように、本技術を適用した画素の配置は、同色の画素が２×２の４画素を１ブロックとして配置され、１ブロック内の同色の４画素は、それぞれ異なる露光時間で撮影を行うように設定されている。

なおここでは、２×２を１ブロックとして説明を続けるが、１ブロック内の画素数は、４個に限定されることを示す記載ではなく、複数個であれば、本技術の適用範囲内である。例えば、３×３を１ブロックとし、１ブロックに９個の画素が含まれるようにしても良い。

またここでは、１ブロックは、縦×横がＭ×Ｍであり、縦方向と横方向の画素数が同数である場合を例に挙げて説明するが、縦×横がＭ×Ｎであり、縦方向と横方向の画素数が異なる場合であっても、本技術を適用することはできる。

また、１ブロック内の画素数に合わせて、露光時間も複数設定される。上記した例では、１ブロック内の画素数は４画素であるため、４つの露光時間が、それぞれの画素に割り当てられているとして説明したが、１ブロック内の画素数が９画素である場合、９つの露光時間が、それぞれの画素に割り当てられるようにしても良い。

また、１ブロック内の画素の全てが異なる露光時間であっても勿論良いが、同一の露光時間で撮影を行う画素も含まれる構成とすることも可能である。例えば、１ブロックが９個の画素から構成されるようにした場合、そのうちの３個の画素を、最長時間露光画素Ｌとし、残り６個の画素のうちの３個の画素を、長時間露光画素ｌとし、残りの３個の画素を最短露光画素Ｓとするといった構成にしても良い。

また、図５に示した異なる露光時間の画素の配置は一例であり、他の配置であっても良い。例えば、図５では、左上に最長時間露光画素Ｌが配置されるようにしたが、右下に最長時間露光画素Ｌが配置されるなど、他の配置であっても良い。

また、Ｒブロック、Ｇブロック、およびＢブロックで、異なる露光時間の画素の配置は同一であるとして説明したが、色毎に異なる配置としても良い。例えば、Ｒブロックの最長時間露光画素Ｌと右隣に位置するＧブロックの最長時間露光画素Ｌとが隣り合うように配置するといったように、Ｒブロック、Ｇブロック、およびＢブロック内での異なる露光時間の画素の配置は、同一であっても、異なっていても良い。

このように、異なる露光時間で撮影を行うために、１回の撮影において、複数の露光時間で撮影された複数の画像を得ることができる。１回の撮影とは、静止画像の撮影の場合、１画像を取得するために行われる撮影であり、動画像の撮影の場合、１フレームを取得するために行われる撮影であるとする。

１回の撮影において得られた、露光時間が異なる複数の画像は、後述するように、例えば、合成され、１枚の画像として提供されたり、所定の条件に合致する画像が、複数の画像から選択され、提供されたりする。

＜読み出しについて＞
図４、図５を参照して説明したように、同色の複数の画素を１ブロックとし、１ブロック内の複数の画素は、それぞれ異なる露光時間が設定されている。そして、１回の撮影で複数の露光時間での画像が取得される。このような撮影が行われるとき、図６に示すように１フレームでの読み出しが行われる。

図６に示したタイミング図において、横軸は、時間を表し、縦軸は、Ｖ（垂直）方向のアドレスを示す。ローリングシャッターの場合、図６に示すように、１ラインまたは複数ライン毎に露光開始時刻が異なり、露光終了時刻が異なる。図中、斜め方向の点線は、読み出しのタイミングを表す。

１フレームを構成する複数のラインのうちの１ラインに注目したときの読み出しのタイミングを拡大した図を、図６の下図に示す。最長時間露光画素Ｌの露光が開始され、所定の時間が経過すると、長時間露光画素ｌの露光が開始される。長時間露光画素ｌの露光が開始され、所定の時間が経過すると、短時間露光画素ｓの露光が開始される。そして短時間露光画素ｓの露光が開始され、所定の時間が経過すると、最短時間露光画素Ｓの露光が開始される。

このように露光の開始のタイミングは各画素で異なるが、露光終了のタイミングは、最長時間露光画素Ｌ、長時間露光画素ｌ、短時間露光画素ｓ、最短時間露光画素Ｓでほぼ同じになるように制御される。このように、露光を終える時間が、異露光画素間で揃うように制御される。

このように、露光終了のタイミングがほぼ同じタイミングとすることで、動被写体に対してもロバスト性を有する撮影を行うことが可能となる。

＜画素配置配線について＞
このように露光時間を制御するために、１ブロック内の４画素は、図７に示すような配線とされている。図７に示した配線は、４画素（４個のフォトダイオード）で１個のフローティングディフュージョンを共有するときの配線図である。なお、本技術は、フローティングディフュージョンを共有しない場合で有っても適用できる。

フォトダイオード２０１−１乃至２０１−４は、１ブロック内の画素に対応するフォトダイオードであり、受光素子として機能する。以下の説明において、フォトダイオード２０１−１乃至２０１−４を個々に区別する必要がない場合、単にフォトダイオード２０１と記述する。他の部分においても、同様に記載する。

フォトダイオード２０１−１乃至２０１−４の一方は、接地され、他方は、転送トランジスタ２０２−１乃至２０２−４にそれぞれ接続されている。転送トランジスタ２０２−１乃至２０２−４は、リセットトランジスタ２０３、増幅トランジスタ２０４に接続されている。また増幅トランジスタ２０４は、選択トランジスタ（ＳＥＬ）２０５に接続されている。

図７においては、転送トランジスタ２０２、リセットトランジスタ２０３、および選択トランジスタ２０５は、スイッチとして図示してあり、これらのトランジスタをスイッチとして構成することも可能である。

ここでは、フォトダイオード２０１−１は、最長時間露光画素Ｌであり、フォトダイオード２０１−２は、長時間露光画素ｌであり、フォトダイオード２０１−３は、短時間露光画素ｓであり、フォトダイオード２０１−４は、最短時間露光画素Ｓであるとして説明する。

このような構成を有する１ブロック内の画素において、選択トランジスタ２０５を、開いておき、リセットトランジスタ２０３を、閉じておくことで、フォトダイオード２０１内の電子を、電位Ｖ_ＤＤ側に引き込み、フォトダイオード２０１内をリセットすることができる。

シャッタが切られるときは、転送トランジスタ２０２が閉じられ、フォトダイオード２０１→転送トランジスタ２０２→リセットトランジスタ２０３→電位Ｖ_ＤＤのパスが作られ、フォトダイオード２０１内の電子が、電位Ｖ_ＤＤ側に引き込まれる。

露光開始時には、露光を開始させるフォトダイオード２０１に接続されている転送トランジスタ２０２が開かれ、フォトダイオード２０１内に励起される電子が蓄積される状態にされる。例えば、最長時間露光画素Ｌの露光開始時には、フォトダイオード２０１−１に接続されている転送トランジスタ２０２−１が開かれる。このとき、フォトダイオード２０１−２乃至２０１−４に接続されている転送トランジスタ２０２−２乃至２０２−４は、閉じられたままである。

図６を参照して説明したように、最長時間露光画素Ｌ、長時間露光画素ｌ、短時間露光画素ｓ、最短露光画素Ｓの順で、順次露光が開始されるため、この場合、転送トランジスタ２０２−１、転送トランジスタ２０２−２、転送トランジスタ２０２−３、転送トランジスタ２０２−４の順で、順次、露光開始のタイミングで開けられる。

読み出しは、図６を参照して説明したように、１ブロック内の４画素は、同時に読み出しが行われる。読み出し時は、転送トランジスタ２０２が閉じられ、選択トランジスタ２０５が閉じられることで、フォトダイオード２０１→転送トランジスタ２０２→増幅トランジスタ２０４→選択トランジスタ２０５のパスが作られ、フォトダイオード２０１内に露光時間内に蓄積された電子が読み出される。

このように、１ブロック内の各画素で露光時間に応じて露光が開始され、読み出しは、フォトダイオード２０１−１からフォトダイオード２０１−４まで連続的に行うことで、読み出しタイミングがほぼ揃った状態で、異露光時間の信号を取り出すことができる。

＜転送制御線の配線について＞
図８に、図６、図７を参照して説明した露光時間の制御を実現する制御信号線の配線を模式的に示す。ここで説明する制御信号線は、転送トランジスタ２０２の開閉を制御する信号線である。

図８において水平方向（図中左右方向）にのびる実線は、それぞれが画素の露光を制御するための画素転送制御信号線を示す。また画素転送制御信号線上の黒丸はその位置の画素との接続を示す。図８では、図５に示した上側の８ブロック（縦２ブロック、横４ブロック）分の画素を示す。

図８に示すように、１行あたり２本の画素転送制御信号線が配線される。１行目には、画素転送制御信号線３０１−１，３０１−２が配線され、２行目には、画素転送制御信号線３０２−１，３０２−２が配線され、３行目には、画素転送制御信号線３０３−１，３０３−２が配線され、４行目には、画素転送制御信号線３０４−１，３０４−２が配線されている。

１行目に配線されている画素転送制御信号線３０１−１は、Ｒブロックの最長時間露光画素Ｌ（以下、画素ＲＬと記述する）、Ｇブロックの最長時間露光画素Ｌ（以下、画素ＧＬと記述する）に接続されている。すなわち、画素転送制御信号線３０１−１は、Ｒブロック内とＧブロック内の最長時間露光画素Ｌを接続する信号線とされている。

１行目に配線されている画素転送制御信号線３０１−２は、Ｒブロックの長時間露光画素ｌ（以下、画素Ｒｌと記述する）、Ｇブロックの長時間露光画素ｌ（以下、画素Ｇｌと記述する）に接続されている。すなわち、画素転送制御信号線３０１−２は、Ｒブロック内とＧブロック内の長時間露光画素ｌを接続する信号線とされている。

２行目に配線されている画素転送制御信号線３０２−１は、Ｒブロックの短時間露光画素ｓ（以下、画素Ｒｓと記述する）、Ｇブロックの短時間露光画素ｓ（以下、画素Ｇｓと記述する）に接続されている。すなわち、画素転送制御信号線３０２−１は、Ｒブロック内とＧブロック内の短時間露光画素ｓを接続する信号線とされている。

２行目に配線されている画素転送制御信号線３０２−２は、Ｒブロックの最短時間露光画素Ｓ（以下、画素ＲＳと記述する）、Ｇブロックの最短時間露光画素Ｓ（以下、画素ＧＳと記述する）に接続されている。すなわち、画素転送制御信号線３０２−２は、Ｒブロック内とＧブロック内の最短時間露光画素Ｓを接続する信号線とされている。

３行目に配線されている画素転送制御信号線３０３−１は、Ｇブロック内の画素ＧＬ、Ｂブロックの最長時間露光画素Ｌ（以下、画素ＢＬと記述する）に接続されている。すなわち、画素転送制御信号線３０３−１は、Ｇブロック内とＢブロック内の最長時間露光画素Ｌを接続する信号線とされている。

３行目に配線されている画素転送制御信号線３０３−２は、Ｇブロック内の画素Ｇｌ、Ｂブロックの長時間露光画素ｌ（以下、画素Ｂｌと記述する）に接続されている。すなわち、画素転送制御信号線３０３−２は、Ｇブロック内とＢブロック内の長時間露光画素ｌを接続する信号線とされている。

４行目に配線されている画素転送制御信号線３０４−１は、Ｇブロック内の画素Ｇｓ、Ｂブロックの短時間露光画素ｓ（以下、画素Ｂｓと記述する）に接続されている。すなわち、画素転送制御信号線３０４−１は、Ｇブロック内とＢブロック内の短時間露光画素ｓを接続する信号線とされている。

４行目に配線されている画素転送制御信号線３０４−２は、Ｇブロック内の画素ＧＳ、Ｂブロックの最短時間露光画素Ｓ（以下、画素ＢＳと記述する）に接続されている。すなわち、画素転送制御信号線３０４−２は、Ｇブロック内とＢブロック内の最短時間露光画素Ｓを接続する信号線とされている。

このように、同じ露光時間の画素を同一の信号線に接続することで、異なる露光時間の画素が混在していても、露光時間毎に制御することが可能となる。換言すれば、このように１行あたり複数（この場合、２本）の画素転送制御信号線を配置することによって、同一行中に、例えば長時間露光の画素と短時間露光の画素といったように、露光時間が異なる画素が混在しても、制御し分けることが可能となる。

図示はしないが、１行あたり４本の画素転送制御信号線を配線すると、露光時間だけでなく、色毎の独立制御も可能となる。例えば、図８に示した画素配置において、１行目の画素ＲＬを接続する画素転送制御信号線、１行目の画素Ｒｌを接続する画素転送制御信号線、１行目の画素ＧＬを接続する画素転送制御信号線、および１行目の画素Ｇｌを接続する画素転送制御信号線の４本の信号線を配線することで、画素ＲＬ、画素Ｒｌ、画素ＧＬ、画素Ｇｌを、それぞれ独立して制御することが可能となる。他の行も同様に、４本の信号線を設けることで、色毎の独立制御が可能となる。

色毎の独立制御が可能となることで、例えば、ホワイト画素（Ｗ画素）を設けた場合も、適切にＷ画素の露光時間を制御することが可能となる。Ｗ画素は可視光の全波長帯にわたって感度を持つためにＲ，Ｇ，Ｂ画素と比べて２倍近い感度を持つ場合がある。そのためＷ画素だけ飽和しやすい。

色毎の露光制御ができるように構成することで、例えば、Ｗ画素だけ、Ｒ，Ｇ，Ｂ画素よりも露光時間を短くするといったような制御を行うことが可能となり、Ｗ画素が飽和しないように制御することが可能となる。このように、１ブロック内の画素毎に露光時間が異なるように構成するだけでなく、色毎にも、露光時間が異なるように構成することも可能である。

＜画像提供装置について＞
上記した異なる露光時間で撮像された複数の画像を、１回の撮影で取得することができる撮像装置１００（図１）の適用例について説明する。

適用例として、ユーザが注視している領域を判定し、その判定結果に基づき、ユーザが注視している領域を、適切な明るさで撮影された画像で提供する画像提供装置について説明する。図９は、画像提供装置の構成を示す図である。

図９に示した画像提供装置４００は、撮像部４０１、ＨＤＲ合成処理部４０２、視線検出処理部４０３、適応的圧縮処理部４０４、表示部４０５を含む構成とされている。

撮像部４０１は、上記した１回の撮影において複数の露光時間で撮影された複数の画像を取得できる構成を有する。ＨＤＲ合成処理部４０２は、撮像部４０１で撮像された複数の画像を合成し、広いダイナミックレンジを有する画像を生成する。ここで、図１０を参照し、ＨＤＲ合成処理部４０２の構成について説明する。

ＨＤＲ合成処理部４０２は、混色補正重心補正部４５１、ノイズ低減処理部４５２、ノイズ低減処理部４５３、ノイズ低減処理部４５４、合成処理部４５５、合成処理部４５６、および合成処理部４５７を含む構成とされている。

混色補正重心補正部４５１には、最長時間露光画素Ｌで撮像された最長時間露光画像Ｌ、長時間露光画素ｌで撮像された長時間露光画像ｌ、短時間露光画素ｓで撮像された最長時間露光画像Ｓ、および最短時間露光画素Ｓで撮像された最短時間露光画像Ｓが入力される。

混色補正重心補正部４５１は、入力された各露光画素に応じた混色成分の抑制、並びに重心補正を行う。混色補正重心補正部４５１は、最長時間露光画像Ｌの最長時間露光信号Ｌを生成し、合成処理部４５５に出力する。また混色補正重心補正部４５１は、長時間露光画像ｌの長時間露光信号ｌを生成し、ノイズ低減処理部４５２に出力する。

また混色補正重心補正部４５１は、短時間露光画像ｓの短時間露光信号ｓを生成し、ノイズ低減処理部４５３に出力する。また混色補正重心補正部４５１は、最短時間露光画像Ｓの最短時間露光信号Ｓを生成し、ノイズ低減処理部４５４に出力する。

ノイズ低減処理部４５２は、入力された長時間露光信号ｌに対して、ノイズ低減処理を施し、露光比補正された際のノイズ強調を抑制した長時間露光信号ｌを生成し、合成処理部４５５に出力する。同様に、ノイズ低減処理部４５３は、入力された短時間露光信号ｓに対して、ノイズ低減処理を施し、露光比補正された際のノイズ強調を抑制した短時間露光信号ｓを生成し、合成処理部４５６に出力する。

さらに同様に、ノイズ低減処理部４５４は、入力された最短時間露光信号Ｓに対して、ノイズ低減処理を施し、露光比補正された際のノイズ強調を抑制した最短時間露光信号Ｓを生成し、合成処理部４５７に出力する。

なお、ここでは、最長時間露光信号Ｌに対しては、ノイズ低減処理が施されない構成を示したが、最長時間露光信号Ｌに対しても、ノイズ低減処理が施されるように構成してもよい。一般的に、露光時間が長くなると、ノイズによる影響は少なくなるため、ここでは、最も露光時間が長い最長時間露光信号Ｌに対しては、ノイズ低減処理が施されない例を示して説明した。

合成処理部４５５には、最長時間露光信号Ｌと長時間露光信号ｌが供給される。合成処理部４５５は、動被写体が撮像されることで生じるぼけを抑制するための最長時間露光信号Ｌと長時間露光信号ｌとの合成比率を算出し、その合成比率に基づき、最長時間露光信号Ｌと長時間露光信号ｌを合成する。最長時間露光信号Ｌと長時間露光信号ｌが合成された信号（信号Ｌｌとする）は、合成処理部４５６に供給される。

合成処理部４５６には、信号Ｌｌと、短時間露光信号ｓが供給される。合成処理部４５６は、動被写体が撮像されることで生じるぼけを抑制するための信号Ｌｌと短時間露光信号ｓの合成比率を算出し、その合成比率に基づき、信号Ｌｌと短時間露光信号ｓを合成する。信号Ｌｌと短時間露光信号ｓが合成された信号（信号Ｌｌｓとする）は、合成処理部４５６に供給される。

合成処理部４５７には、信号Ｌｌｓと、最短時間露光信号Ｓが供給される。合成処理部４５７は、動被写体が撮像されることで生じるぼけを抑制するための信号Ｌｌｓと最短時間露光信号Ｓの合成比率を算出し、その合成比率に基づき、信号Ｌｌｓと最短時間露光信号Ｓを合成する。信号Ｌｌｓと最短時間露光信号Ｓが合成された信号は、ＨＤＲ画像の信号として、適応的圧縮処理部４０４(図９)に供給される。

なおここでは、合成処理部４５５乃至４５７を設け、最長時間露光信号Ｌ、長時間露光信号ｌ、短時間露光信号ｓ、および最短時間露光信号Ｓが順次合成されるとして説明したが、合成処理部４５５乃至４５７を１つの合成処理部として、これらの信号を一括して合成するような構成とすることも可能である。

このような処理が施されることで、動被写体による影響で画像がぼけてしまうようなことを防ぐことができ、動被写体によるぼけ抑制がなされたＨＤＲ画像を生成することが可能となる。

図９に示した画像提供装置４００の説明に戻る。視線検出処理部４０３は、ユーザが注視している領域を検出する。適応的圧縮処理部４０４は、ＨＤＲ合成処理部４０２からのＨＤＲ画像と、視線検出処理部４０３からの視線検出情報を取得し、ＨＤＲ画像の内、ユーザが注視している領域が他の領域よりも鮮明となるような画像を生成する。生成された画像は、表示部４０５により表示されることで、ユーザに提供される。

画像提供装置４００は、例えば、図１に示した撮像装置１００にも適用でき、撮像装置１００に適用した場合、表示部１１７に表示される画像のうち、ユーザが注視している領域内の画像の明るさが最適な明るさとなる画像を提供する。

表示部４０５をメガネ型のディスプレイで構成し、表示部４０５に表示される画像のうち、ユーザが注視している領域の画像の露光が最適な露光となる画像を提供するように構成することもできる。

視線検出処理部４０３は、ユーザが注している領域を検出するために、例えば、電磁波を用いた測量システムを含む構成とされる。または、ユーザの顔、特に目を撮像する撮像部を有し、その撮像部により撮像された画像を解析することで、ユーザの視線の方向を解析し、ユーザが注視している画像内の領域を特定する。

適応的圧縮処理部４０４は、ＨＤＲ合成処理部４０２からのＨＤＲ画像内で、ユーザが注視している領域を、視線検出処理部４０３から取得される視線検出情報に基づき特定する。この特定は、HDR画像を取得するセンサと、視線検出を行うセンサの相対的な位置関係を考慮して行われる。

適応的圧縮処理部４０４は、特定したユーザが注視しているＨＤＲ画像内の領域、その領域周辺の明るさが、最も自然に見えるように、諧調圧縮、もしくは諧調を抽出し、最適露光制御されたこととほぼ等価の画像を生成する。

このような処理がなされた画像が提供されることで、例えば、暗い領域と明るい領域が混在しているような画像が撮像されているときであっても、ユーザが注視している領域の画像は、適切な明るさとされた鮮明な画像を提供することができる。

ここでは、ＨＤＲ画像が生成され、そのＨＤＲ画像に対して所定の処理が施されることで、ユーザに提供される画像が生成されるとして説明したが、それ以外の処理を経て、ユーザに提供される画像が生成されるようにしても良い。

例えば、上記した実施の形態においては、適応的圧縮処理部４０４でユーザが注視している領域が鮮明になるような処理が施されるとして説明したが、例えば、ＨＤＲ合成処理部４０２での信号の合成比率を変えることで、ユーザに提供される画像が生成されるようにしても良い。図１０を再度参照するに、合成処理部４５５乃至４５７では、入力された信号の合成比率を算出し、合成するという処理を実行している。

例えば、暗い領域と明るい領域が混在しているような画像が撮像されている場合であり、ユーザが注視している領域が明るい領域であると判定されるときには、露光時間が短い画像(例えば、最短時間露光信号Ｓ)が多く合成されるように合成処理部４５５乃至４５７で合成比率が算出されるようにしても良い。

また例えば、ユーザが注視している画像内の領域の明るさに応じ、異なる露光時間で撮像された画像のうちの一枚の画像が選択され、ユーザに提供されるようにしても良い。

例えば、暗い領域と明るい領域が混在しているような画像が撮像されている場合であり、ユーザが注視している領域が明るい領域であると判定されるときには、露光時間が短い画像が選択され、ユーザに提供され、暗い領域であるときには、露光時間が長い画像が選択され、ユーザに提供されるように構成することも可能である。このように構成した場合、ＨＤＲ合成処理部４０２を省略した構成とすることも可能である。

しかしながら、このように構成した場合、例えば、ユーザの視点が暗い領域から明るい領域に移動した場合、例えば、最短時間露光画像Ｓから最長時間露光画像Ｌに切り換えられる可能性がある。このような画像の切り替えが行われると、暗い画像から急に明るい画像に切り換えられ、そのような画像がユーザに提供されることになり、ユーザに対して好ましい画像の提供方法ではないと考えられる。

そこで、このように、露光時間が異なる画像への切り替えが行われるときには、徐々に明るさが変化するように画像を加工して、ユーザに提供されるような仕組みを設けても良い。

＜撮像装置の使用例＞
図１１は、上述の撮像素子（異露光画像を一度に取得できる撮像素子）や撮像素子を含む電子機器を使用する使用例を示す図である。

上述した撮像装置は、例えば、以下のように、可視光や、赤外光、紫外光、Ｘ線等の光をセンシングする様々なケースに使用することができる。

・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）６０１、ＲＯＭ（Read Only Memory）６０２、ＲＡＭ（Random Access Memory）６０３は、バス６０４により相互に接続されている。バス６０４には、さらに、入出力インタフェース６０５が接続されている。入出力インタフェース６０５には、入力部６０６、出力部６０７、記憶部６０８、通信部６０９、及びドライブ６１０が接続されている。

入力部６０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部６０７は、ディスプレイ、スピーカなどよりなる。記憶部６０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部６０９は、ネットワークインタフェースなどよりなる。ドライブ６１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア６１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ６０１が、例えば、記憶部６０８に記憶されているプログラムを、入出力インタフェース６０５及びバス６０４を介して、ＲＡＭ６０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ６０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア６１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア６１１をドライブ６１０に装着することにより、入出力インタフェース６０５を介して、記憶部６０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部６０９で受信し、記憶部６０８にインストールすることができる。その他、プログラムは、ＲＯＭ６０２や記憶部６０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。
（１）
同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置され、
前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
撮像素子。
（２）
前記１ブロック内の画素の露光は、設定している露光時間に応じて異なるタイミングで開始し、前記１ブロック内の全ての画素でほぼ同一のタイミングで終了するように制御する
前記（１）に記載の撮像素子。
（３）
前記Ｍ×Ｎ個は２×２個であり、前記２×２個の画素毎に異なる露光時間を設定する
前記（１）または（２）に記載の撮像素子。
（４）
前記１ブロック内の画素は、１つのフローティングディフュージョンを共有する
前記（１）乃至（３）のいずれかに記載の撮像素子。
（５）
前記撮像面上に配置されているブロックには、全整色性である分光感度のＭ×Ｎ個の画素から構成されるブロックを含む
前記（１）乃至（４）のいずれかに記載の撮像素子。
（６）
異なるブロック内の同一露光時間が設定されている画素は、同一の制御信号線に接続されている
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
取得された前記複数の画像を合成することで、１枚の画像を生成する
前記（１）乃至（６）のいずれかに記載の撮像素子。
（８）
前記１枚の画像内のユーザが注視している領域内の画像が、適切な明るさになるように処理する
前記（７）に記載の撮像素子。
（９）
同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子の撮像方法において、
前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
ステップを含む撮像方法。
（１０）
同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子を制御するコンピュータに、
前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
１回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
ステップを含む処理をコンピュータに実行させるためのプログラム。

１００ 撮像装置，１１１ 光学部， １１２ CMOSイメージセンサ， １１３ A/D変換部， １１４ 操作部， １１５ 制御部， １１６ 画像処理部， １１７ 表示部， １１８ コーデック処理部， １１９ 記録部， １５１ 画素アレイ部， ３０１，３０２，３０３，３０４ 画素転送制御信号線， ４００ 画像提供装置， ４０１ 撮像部， ４０２ ＨＤＲ合成処理部， ４０３ 視線検出処理部， ４５１ 混色補正重心補正部， ４５２乃至４５４ ノイズ低減部， ４５５乃至４５７ 合成処理部

Claims (10)

1. 同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置され、
   前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
   １回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
   撮像素子。
2. 前記１ブロック内の画素の露光は、設定している露光時間に応じて異なるタイミングで開始し、前記１ブロック内の全ての画素でほぼ同一のタイミングで終了するように制御する
   請求項１に記載の撮像素子。
3. 前記Ｍ×Ｎ個は２×２個であり、前記２×２個の画素毎に異なる露光時間を設定する
   請求項１に記載の撮像素子。
4. 前記１ブロック内の画素は、１つのフローティングディフュージョンを共有する
   請求項１に記載の撮像素子。
5. 前記撮像面上に配置されているブロックには、全整色性である分光感度のＭ×Ｎ個の画素から構成されるブロックを含む
   請求項１に記載の撮像素子。
6. 異なるブロック内の同一露光時間が設定されている画素は、同一の制御信号線に接続されている
   請求項１に記載の撮像素子。
7. 取得された前記複数の画像を合成することで、１枚の画像を生成する
   請求項１に記載の撮像素子。
8. 前記１枚の画像内のユーザが注視している領域内の画像が、適切な明るさになるように処理する
   請求項７に記載の撮像素子。
9. 同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子の撮像方法において、
   前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
   １回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
   ステップを含む撮像方法。
10. 同一の分光感度を有するＭ×Ｎ個の画素を１ブロックとしたとき、ブロック単位で前記画素が撮像面上に配置されている撮像素子を制御するコンピュータに、
    前記１ブロック内のＭ×Ｎ個の画素のそれぞれに異なる露光時間を設定し、
    １回の撮像で、前記異なる露光時間毎に撮像された複数の画像を取得する
    ステップを含む処理をコンピュータに実行させるためのプログラム。

Images