JP2022051134A - 撮像装置及び撮像システム - Google Patents

Abstract

【課題】フレームレートを損なうことなく高品質のハイダイナミックレンジ画像を取得しうる撮像装置を提供する。【解決手段】複数の画素が複数の行及び複数の列に渡って配された画素部と、複数の画素の各々から、第１の露光期間の間に生じた電荷に基づく第１の信号と、第２の露光期間の間に生じた電荷に基づく第２の信号と、を出力するように構成された画素制御部と、第１の信号に基づいて第２の露光期間の長さを判定する露光時間判定処理部と、を有する。画素部は、各々が少なくとも１つの画素を含む複数のエリアを有し、露光時間判定処理部は、複数のエリアの各々における第２の露光期間の長さを、複数のエリアの各々における第１の信号に基づいて判定し、画素制御部は、第１のエリアの画素から第１の信号を出力した後、第２のエリアの画素から第１の信号を出力する前に、第１のエリアの画素における第２の露光期間を開始する。【選択図】図５

Description

本発明は、撮像装置及び撮像システムに関する。

画素部に設定された複数のエリア毎に露光時間を設定して撮影を行い、取得したデータに画像処理を施して画像を復元することにより、ダイナミックレンジの広い画像を取得する技術が知られている。特許文献１には、予備撮影を行って露光マップを作成し、作成した露光マップに基づいて各エリアの露光時間を制御する技術が記載されている。

特開２０１１－００４０８９号公報

しかしながら、特許文献１に記載の撮像装置では、露光時間の判定と実際の画像撮影との間にタイムラグが生じるため、動画像を撮影する場合はフレームレートの低下を避けることができなかった。また、動きのある被写体を撮影する場合、予備撮影時の撮影条件と本撮影時の撮影条件との間にずれが生じ、本撮影時の露光条件を最適化できないことがあった。

本発明の目的は、フレームレートを損なうことなく高品質のハイダイナミックレンジ画像を取得しうる撮像装置を提供することにある。

本発明の一観点によれば、各々が光電変換部を有する複数の画素が複数の行及び複数の列に渡って配された画素部と、前記複数の画素の各々から、第１の露光期間の間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間とは異なる長さの第２の露光期間の間に前記光電変換部で生じた電荷に基づく第２の信号と、を出力するように前記複数の画素を制御する画素制御部と、前記第１の信号に基づいて前記第２の露光期間の長さを判定する露光時間判定処理部と、を有し、前記画素部は、各々が少なくとも１つの画素を含む複数のエリアを有し、前記露光時間判定処理部は、前記複数のエリアの各々における前記第２の露光期間の長さを、前記複数のエリアの各々における前記第１の信号に基づいて判定するように構成されており、前記画素制御部は、一のフレームにおいて、前記複数のエリアのうちの第１のエリアの画素から前記第１の信号を出力した後、前記一のフレームにおいて、前記複数のエリアのうちの第２のエリアの画素から前記第１の信号を出力する前に、前記第１のエリアの前記画素における前記第２の露光期間を開始するように構成されている撮像装置が提供される。

本発明によれば、フレームレートを損なうことなく高品質のハイダイナミックレンジ画像を取得することができる。

本発明の第１実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。 本発明の第１実施形態による撮像装置において撮像素子の画素部に定義される領域を説明する図である。 本発明の第１実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。 本発明の第１実施形態による撮像装置における撮像素子の動作を示すタイミング図である。 本発明の第１実施形態による撮像装置におけるダイナミックレンジ拡大処理部の構成及び動作を説明する図である。 画素への入射光量と撮像素子からの出力値との関係を示すグラフである。 本発明の第２実施形態による撮像装置の概略構成を示すブロック図である。 本発明の第２実施形態による撮像装置を模式的に示す斜視図である。 本発明の第２実施形態による撮像装置の動作を示すタイミング図である。 本発明の第２実施形態による撮像装置におけるシャッタ制御の詳細を説明する図である。 本発明の第３実施形態による撮像システムの概略構成を示すブロック図である。 本発明の第４実施形態による撮像システム及び移動体の構成例を示す図である。

［第１実施形態］
本発明の第１実施形態による撮像装置の構成例について、図１乃至図４を用いて説明する。図１は、本実施形態による撮像装置の概略構成を示すブロック図である。図２は、本実施形態による撮像装置における撮像素子の概略構成を示すブロック図である。図３は、本実施形態による撮像装置において撮像素子の画素部に定義される領域を説明する図である。図４は、本実施形態による撮像装置における撮像素子の画素の構成例を示す回路図である。

本実施形態による撮像装置４００は、図１に示すように、撮像素子１００と、信号処理部２００と、を有する。信号処理部２００は、前段処理部２１０と、長秒信号保持部２２０と、短秒信号保持部２３０と、露光時間判定処理部２４０と、露光時間情報保持部２５０と、ダイナミックレンジ拡大処理部２６０と、により構成され得る。

撮像素子１００は、図示しない光学系を介して入射した光信号（被写体像）を電気信号に変換して出力する。撮像素子１００は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサの上にカラーフィルタ（以下、「ＣＦ」とも表記する）が配置された、いわゆる単板式のカラーセンサにより構成され得る。なお、撮像素子１００は、必ずしもカラーセンサである必要はなく、モノクロセンサであってもよい。

撮像素子１００は、各々が光電変換部を有する複数の画素を有する。複数の画素の各々は、第１の露光期間の間に生成された電荷に基づく第１の信号と、第１の露光期間とは異なる長さの第２の露光期間の間に生成された電荷に基づく第２の信号を出力する。以後の説明では、相対的に短い露光時間（第１の露光期間）の間に生成された電荷に基づく信号を「短秒信号」と呼び、相対的に長い露光時間（第２の露光期間）の間に生成された電荷に基づく信号を「長秒信号」と呼ぶことがある。

前段処理部２１０は、撮像素子１００からの出力信号に対して、信号処理の前処理を実施する。撮像素子１００からの出力信号がアナログ信号の場合には、撮像素子１００の出力信号に対するアナログデジタル変換（Ａ／Ｄ変換）処理を前段処理部２１０で実施してもよい。前段処理部２１０は、撮像素子１００の出力信号（入力信号Ｄｉｎ）に対して、オフセット（ＯＦＦＳＥＴ）補正、ゲイン（ＧＡＩＮ）補正、等の補正（前段処理）を適宜実施して、補正後の出力信号（データＤｏｕｔ）を生成する。この処理は、典型的には以下の式（１）のように表される。
Ｄｏｕｔ＝（Ｄｉｎ－ＯＦＦＳＥＴ）×ＧＡＩＮ …（１）

前段処理部２１０における補正は、さまざまな単位で行うことが可能である。例えば、画素毎に補正を行う場合、列増幅器毎に補正を行う場合、アナログデジタル変換部（ＡＤＣ）部毎に補正を行う場合、出力増幅器毎に補正を行う場合、等が挙げられる。撮像素子１００の出力信号の補正を行うことで、いわゆる固定パターンノイズを低減することができ、より高品質な画像を得ることができる。

前段処理部２１０は、撮像素子１００から出力される長秒信号及び短秒信号の各々に対して上述の前段処理を行い、処理後の長秒信号と短秒信号とを分離して後段の処理部へと送信する。具体的には、前段処理部２１０は、処理後の長秒信号を長秒信号保持部２２０に送信し、処理後の短秒信号を露光時間判定処理部２４０及び短秒信号保持部２３０に送信する。長秒信号保持部２２０は、前段処理部２１０から受信した長秒信号を保持する。また、短秒信号保持部２３０は、前段処理部２１０から受信した短秒信号を保持する。

露光時間判定処理部２４０は、前段処理部２１０から受信した短秒信号に対し、露光時間の判定処理を行い、長秒信号のための露光時間を決定するシャッタ走査のタイミングを決定する。露光時間の判定方法は、特に限定されるものではなく、例えば自動露光調整を行うための測光処理であり得る。例えば、短秒信号のための露光時間と短秒信号の信号レベルとの関係に基づき、飽和しない範囲でできるだけ高いレベルの長秒信号が得られるように、長秒信号のための露光時間を決定することができる。

露光時間の判定は、短秒信号の平均値に基づいて行ってもよいし、短秒信号の信号値の度数分布を解析することにより行ってもよい。露光時間判定処理部２４０は、短秒信号の判定によって決定された長秒信号のための露光時間に関する情報（露光時間情報）を、露光時間情報保持部２５０に送信する。露光時間情報保持部２５０は、露光時間判定処理部２４０から受信した露光時間情報を保持する。

なお、本実施形態の撮像装置４００においては、撮像素子１００の画素領域（後述する画素部１０）に複数のエリアを定義する。露光時間判定処理部２４０は、これら複数のエリアの各々について長秒信号のための露光時間に関する情報を取得する。露光時間情報保持部２５０は、これら複数のエリアの各々における長秒信号のための露光時間に関する情報を保持する。

同じ画素から長秒信号が出力されるタイミングと短秒信号が出力されるタイミングとは異なる。また、露光時間判定処理部２４０から露光時間情報が出力されるタイミングは、長秒信号が出力されるタイミング及び短秒信号が出力されるタイミングとは異なる。長秒信号保持部２２０、短秒信号保持部２３０及び露光時間情報保持部２５０は、長秒信号、短秒信号及び露光時間情報を後段の処理部に同時に出力するためにこれら信号を一時的に保持するメモリである。

長秒信号保持部２２０、短秒信号保持部２３０及び露光時間情報保持部２５０は、特に限定されるものではないが、例えばＳＲＡＭで構成される１０行分のラインメモリにより構成され得る。

ダイナミックレンジ拡大処理部２６０は、撮像素子１００により取得した長秒信号及び短秒信号と露光時間情報保持部２５０から受信した各領域の露光時間情報とを用い、ダイナミックレンジの広い画像データを得るための処理を行う。なお、ダイナミックレンジ拡大処理部２６０の具体的な構成及び動作については後述する。

撮像素子１００は、図２に示すように、画素部１０と、垂直走査回路２０と、読み出し回路部３０と、メモリ部４０と、カウンタ４６と、水平走査回路５０と、信号出力部６０と、タイミング発生回路７０と、を有する。

画素部１０には、複数の行及び複数の列に渡ってマトリクス状に配された複数の画素１２が設けられている。画素部１０には、例えば、列方向に１９２０画素、行方向に１０８０画素、合計で２０７３６００画素が配される。画素部１０に配される画素数は限定されず、より多い画素数、若しくはより少ない画素数でもよい。

画素部１０の各行には、第１の方向（図２において横方向）に延在して、制御線１４が配されている。制御線１４は、第１の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。制御線１４の延在する第１の方向は、行方向或いは水平方向と呼ぶことがある。

画素部１０の各列には、第１の方向と交差する第２の方向（図２において縦方向）に延在して、垂直信号線１６が配されている。垂直信号線１６は、第２の方向に並ぶ画素１２にそれぞれ接続され、これら画素１２に共通の信号線をなしている。垂直信号線１６の延在する第２の方向は、列方向或いは垂直方向と呼ぶことがある。

図２では、画素部１０が第１列から第ｎ列までのｎ列の画素１２を有する場合を想定し、各列の垂直信号線１６の符号に列番号を付記している。例えば、第１列の垂直信号線１６には「１６－１」の符号を付し、第ｎ列の垂直信号線１６には「１６－ｎ」の符号を付している。以後の説明において、画素部１０の列に対応して設けられた要素については、同様の表記を用いるものとする。

各行の制御線１４は、垂直走査回路２０に接続されている。垂直走査回路２０は、画素信号を読み出す際に画素１２内の読み出し回路を駆動するための制御信号を、制御線１４を介して行単位で画素１２に供給する制御部である。垂直走査回路２０から供給される制御信号によって選択された行（選択行）に属する画素１２の画素信号は、これら画素１２の各々に対応する列の垂直信号線１６に同時に出力される。本実施形態において、垂直走査回路２０は、複数の画素１２の各々から短秒信号と長秒信号とを出力するように複数の画素１２を制御する画素制御部である。

各列の垂直信号線１６は、読み出し回路部３０に接続されている。読み出し回路部３０は、増幅部３２と、比較部３４と、参照信号発生回路３６と、を有する。増幅部３２は、画素部１０の各列に対応して設けられたｎ個の増幅器３３－１～３３－ｎを有する。増幅器３３－１～３３－ｎは、各々に対応する列の垂直出力線１６－１～１６－ｎを介して画素１２から出力される画素信号を増幅する。比較部３４は、画素部１０の各列に対応して設けられたｎ個の比較器３５－１～３５－ｎを有する。比較器３５－１～３５－ｎは、各々に対応する列の増幅器３３－１～３３－ｎから出力される画素信号のレベルと、参照信号発生回路３６から出力される参照信号のレベルとを比較し、比較結果を出力する。

メモリ部４０は、画素部１０の各列に対応して設けられたｎ個のメモリ４２－１～４２－ｎを有する。メモリ４２－１～４２－ｎは、各々に対応する列の比較器３５－１～３５－ｎから出力される信号を受信し、受信した信号に応じてカウンタ４６から出力されるカウント信号をラッチし保持する。参照信号発生回路３６から出力される参照信号は、時間の経過とともに信号レベルが一定の割合で変化する信号である。メモリ４２－１～４２－ｎに保持されるカウント信号は、画素１２から出力されるアナログの画素信号をＡＤ変換したデジタル画素信号に相当する。

水平走査回路５０は、メモリ部４０の各列のメモリ４２－１～４２－ｎを順次選択するための制御信号をメモリ部４０に供給する制御部である。水平走査回路５０から制御信号を受信したメモリ４２－１～４２－ｎは、保持するデジタル画素信号を信号出力部６０へと転送する。信号出力部６０は、メモリ部４０から転送される各列のデジタル画素信号に対して、所定のデジタル信号処理を実行し、撮像素子１００の外部へと出力する。

タイミング発生回路７０は、垂直走査回路２０、読み出し回路部３０、メモリ部４０及び水平走査回路５０等に、それらの動作やタイミングを制御する制御信号を供給するための回路部である。垂直走査回路２０、読み出し回路部３０、メモリ部４０及び水平走査回路５０等に供給する制御信号の一部又は総ては、撮像素子１００の外部から供給してもよい。

画素部１０には、互いに独立した複数のエリアが定義されている。本実施形態の撮像装置４００において、これら複数のエリアは画素部１０の行によって規定されており、複数のエリアの各々が少なくとも１つの行を含む。図３には、画素部１０に３つのエリア１８ａ，１８ｂ，１８ｃが定義されている場合を示している。なお、画素部１０に定義するエリアの数は特に限定されるものではない。また、各エリアに含まれる画素行の数は特に限定されるものではない。例えば、複数のエリアの総てが同じ数の画素行を含んでいてもよいし、複数のエリアのうちの少なくとも２つのエリアが互いに異なる数の画素行を含んでいてもよい。

垂直走査回路２０は、エリア１８ａ，１８ｂ，１８ｃの各々に対して個別にシャッタ走査を行うことが可能となっている。すなわち、垂直走査回路２０は、エリア１８ａ，１８ｂ，１８ｃ毎にシャッタ走査を行い、エリア１８ａ，１８ｂ，１８ｃ毎に露光時間の調整を行うことが可能である。なお、シャッタ走査とは、画素１２の光電変換部のリセット（シャッタ動作）を行単位で順次実行する動作をいう。

各々の画素１２は、図４に示すように、フォトダイオードＰＤと、転送トランジスタＭＴＸと、リセットトランジスタＭＲＳと、増幅トランジスタＭＳＦと、選択トランジスタＭＳＥＬと、により構成され得る。フォトダイオードＰＤは、アノードが基準電圧ノードに接続され、カソードが転送トランジスタＭＴＸのソースに接続されている。転送トランジスタＭＴＸのドレインは、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートに接続されている。転送トランジスタＭＴＸのドレイン、リセットトランジスタＭＲＳのソース及び増幅トランジスタＭＳＦのゲートの接続ノードは、いわゆるフローティングディフュージョンＦＤである。フローティングディフュージョンＦＤは、容量成分を含み、電荷保持部として機能するとともに、この容量成分からなる電荷電圧変換部を構成する。リセットトランジスタＭＲＳのドレイン及び増幅トランジスタＭＳＦのドレインは、電源電圧ノード（電圧ＶＤＤ）に接続されている。増幅トランジスタＭＳＦのソースは、選択トランジスタＭＳＥＬのドレインに接続されている。画素１２の出力ノードでもある選択トランジスタＭＳＥＬのソースは、垂直信号線１６に接続されている。

フォトダイオードＰＤは、入射光の光量に応じた電荷を生じる光電変換部である。被写体の光学像が画素部１０に入射すると、各画素１２のフォトダイオードＰＤは、入射光をその光量に応じた量の電荷に変換（光電変換）するとともに、生じた電荷を蓄積する。転送トランジスタＭＴＸは、オンになることによりフォトダイオードＰＤが保持する電荷をフローティングディフュージョンＦＤに転送する。フローティングディフュージョンＦＤは、その容量成分による電荷電圧変換によって、フォトダイオードＰＤから転送された電荷の量に応じた電圧となる。増幅トランジスタＭＳＦは、ドレインに電圧ＶＤＤが供給され、ソースに選択トランジスタＭＳＥＬを介して図示しない電流源からバイアス電流が供給される構成となっており、ゲートを入力ノードとする増幅部（ソースフォロワ回路）を構成している。これにより増幅トランジスタＭＳＦは、フローティングディフュージョンＦＤの電圧に基づく信号を、選択トランジスタＭＳＥＬを介して垂直信号線１６に出力する。リセットトランジスタＭＲＳは、オンになることによりフローティングディフュージョンＦＤを電圧ＶＤＤに応じた電圧にリセットする。リセットトランジスタＭＲＳ及び転送トランジスタＭＴＸは、同時にオンになることによりフォトダイオードＰＤを電圧ＶＤＤに応じた電圧にリセットする。

図４に示す回路構成の画素１２の場合、各行の制御線１４は、転送トランジスタＭＴＸのゲートに接続された信号線と、リセットトランジスタＭＲＳのゲートに接続された信号線と、選択トランジスタＭＳＥＬのゲートに接続された信号線と、を含む。転送トランジスタＭＴＸには、制御線１４を介して垂直走査回路２０から制御信号φＴＸが供給される。リセットトランジスタＭＲＳには、制御線１４を介して垂直走査回路２０から制御信号φＲＥＳが供給される。選択トランジスタＭＳＥＬには、制御線１４を介して垂直走査回路２０から制御信号φＳＥＬが供給される。画素部１０内の複数の画素１２は、垂直走査回路２０から供給される制御信号φＴＸ，φＲＥＳ，φＳＥＬにより、行単位で制御される。画素１２の各トランジスタがＮ型トランジスタで構成される場合、これら制御信号がＨｉｇｈレベル（Ｈレベル）のときに対応するトランジスタはオン状態となり、これら制御信号がＬｏｗレベル（Ｌレベル）のときに対応するトランジスタはオフ状態となる。

次に、本実施形態による撮像装置４００における撮像素子１００の動作タイミングについて、図５を用いて説明する。図５は、本実施形態の撮像装置における撮像素子の動作を示すタイミング図である。図５には説明の簡略化のため、エリア１８ａが第１行から第４行までの４行により構成され、エリア１８ｂが第５行から第７行までの３行により構成され、エリア１８ｃが第８行から第ｍ行までの（ｍ－７）行により構成されている場合を示している。

撮像素子１００は、図５に示すように、１フレームの間に長秒信号の読み出し動作と短秒信号の読み出し動作とを行単位で交互に行うラインインターリーブ駆動を行う。

あるフレーム（第Ｎフレーム）における信号の読み出し動作は、例えば図５に示すように、時刻Ｔ４０から時刻Ｔ５０までの期間に行われる。時刻Ｔ４０は、当該フレームにおける１行目の画素１２の長秒信号の読み出し動作が開始する時刻である。２行目以降の画素１２の長秒信号の読み出し動作は、１行毎に所定の間隔を開けて順次行われる。

長秒信号の読み出し動作が終了した時刻から次に信号（短秒信号）の読み出しが行われる時刻までの期間が、短秒信号のための露光期間である。例えば、１行目の画素１２において、短秒信号のための露光時間は、時刻Ｔ４０から時刻Ｔ４１までの期間の長さに相当する時間となる。図５には、１行目の画素１２における短秒信号のための露光期間を、期間Ｔｓとして表している。

１行目の画素１２の短秒信号の読み出し動作は、所定の露光時間が経過した後、例えば３行目の画素１２の長秒信号の読み出し動作が終了した後の時刻Ｔ４１から開始される。４行目の画素１２の長秒信号の読み出し動作は、１行目の画素１２の短秒信号の読み出し動作が終了した後の時刻Ｔ４２に開始される。

このようにして、時刻Ｔ４１以降、１行目の画素１２の短秒信号の読み出し、４行目の画素１２の長秒信号の読み出し、２行目の短秒信号の読み出し、５行目の長秒信号の読み出し、の順に、長秒信号と短秒信号の読み出し動作を行単位で交互に行う。最終行であるｍ行目の画素１２の短秒信号の読み出し動作が終了することで、当該フレームの読み出し動作が完了する。時刻Ｔ４０から時刻Ｔ４８までの期間が、各行の画素１２から長秒信号の読み出しを行う読み出し走査の期間である。また、時刻Ｔ４１から時刻Ｔ５０までの期間が、各行の画素１２から短秒信号の読み出しを行う読み出し走査の期間である。図５には、１行目の画素１２における短秒信号の読み出しから長秒信号の読み出しまでの期間を、期間ＴＬとして表している。この期間ＴＬには、エリア毎に所定の露光時間が設定される。

このようにして撮像素子１００から読み出された長秒信号及び短秒信号は、信号処理部２００の前段処理部２１０に入力される。前段処理部２１０は、長秒信号及び短秒信号の各々に対して所定の前段処理を行ったのち、処理後の長秒信号を長秒信号保持部２２０へと送信し、処理後の短秒信号を露光時間判定処理部２４０及び短秒信号保持部２３０へと送信する。

エリア１８ａにおける短秒信号の読み出し走査が行われる時刻Ｔ４１から時刻Ｔ４３までの期間には、読み出し走査と並行して、エリア１８ａにおける露光時間の判定処理が行われる。露光時間判定処理部２４０は、エリア１８ａの画素１２から取得したデータを用いてエリア１８ａにおける画素１２の露光時間を判定し、エリア１８ａの露光時間情報として露光時間情報保持部２５０に保持する。

垂直走査回路２０は、露光時間情報保持部２５０に保持されているエリア１８ａの露光時間情報に基づいて、エリア１８ａのシャッタ走査を実行する。すなわち、垂直走査回路２０は、エリア１８ａの各画素１２における露光時間が露光時間情報保持部２５０に保持されている露光時間情報に合致するように、エリア１８ａのシャッタ走査を開始する。ここでは、１行目の画素１２のシャッタ動作が時刻Ｔ４５から開始されるものとする。２行目から４行目の画素１２のシャッタ動作は、読み出し走査と同様、１行毎に所定の間隔を開けて順次行われる。時刻Ｔ４５から時刻Ｔ４８までの期間が、エリア１８ａのシャッタ走査が行われる期間である。この場合、エリア１８ａの各画素１２において、長秒信号のための露光時間は、時刻Ｔ４５から時刻Ｔ５０までの期間の長さに相当する時間となる。

また、エリア１８ｂにおける短秒信号の読み出し走査が行われる時刻Ｔ４４から時刻Ｔ４６までの期間には、読み出し走査と並行して、エリア１８ｂにおける露光時間の判定処理が行われる。露光時間判定処理部２４０は、エリア１８ｂの画素１２から取得したデータを用いてエリア１８ｂにおける画素１２の露光時間を判定し、エリア１８ｂの露光時間情報として露光時間情報保持部２５０に保持する。

垂直走査回路２０は、露光時間情報保持部２５０に保持されているエリア１８ｂの露光時間情報に基づいて、エリア１８ｂのシャッタ走査を実行する。すなわち、垂直走査回路２０は、エリア１８ｂの各画素１２における露光時間が露光時間情報保持部２５０に保持されている露光時間情報に合致するように、エリア１８ｂのシャッタ走査を開始する。ここでは、５行目の画素１２のシャッタ動作が時刻Ｔ４９から開始されるものとする。６行目及び７行目の画素１２のシャッタ動作は、読み出し走査と同様、１行毎に所定の間隔を開けて順次行われる。時刻Ｔ４９から時刻Ｔ５１までの期間が、エリア１８ｂのシャッタ走査が行われる期間である。この場合、エリア１８ｂの各画素１２において、長秒信号のための露光時間は、時刻Ｔ４９から時刻Ｔ５２までの期間の長さに相当する時間となる。

また、エリア１８ｃにおける短秒信号の読み出し走査が行われる時刻Ｔ４７から時刻Ｔ５０までの期間には、読み出し走査と並行して、エリア１８ｃにおける露光時間の判定処理が行われる。露光時間判定処理部２４０は、エリア１８ｃの画素１２から取得したデータを用いてエリア１８ｃにおける画素１２の露光時間を判定し、エリア１８ｃの露光時間情報として露光時間情報保持部２５０に保持する。

垂直走査回路２０は、露光時間情報保持部２５０に保持されているエリア１８ｃの露光時間情報に基づいて、エリア１８ｃのシャッタ走査を実行する。すなわち、垂直走査回路２０は、エリア１８ｃの各画素１２における露光時間が露光時間情報保持部２５０に保持されている露光時間情報に合致するように、エリア１８ｃのシャッタ走査を開始する。ここでは、露光時間判定処理部２４０により露光時間が最大であると判定されたことに応じて、エリア１８ｃのシャッタ走査を行わない場合を想定する。この場合、エリア１８ｃの各画素１２において、長秒信号のための露光時間は、１フレームの期間から短秒信号のための露光時間を差し引いた期間の長さに相当する時間となる。

次に、本実施形態の撮像装置４００におけるダイナミックレンジ拡大処理部２６０の構成例及び動作について、図６及び図７を用いて説明する。図６は、ダイナミックレンジ拡大処理部２６０の構成及び動作を説明する図である。図７は、画素１２への入射光量と撮像素子１００からの出力値との関係を示すグラフである。

ダイナミックレンジ拡大処理部２６０は、例えば図６に示すように、飽和判定処理部２６２と、セレクタ２６４と、演算処理部２６６と、により構成され得る。セレクタ２６４は、長秒信号保持部２２０及び短秒信号保持部２３０に接続されている。飽和判定処理部２６２は、長秒信号保持部２２０及びセレクタ２６４に接続されている。演算処理部２６６は、セレクタ２６４及び露光時間情報保持部２５０に接続されている。

飽和判定処理部２６２には、長秒信号保持部２２０が保持する第Ｎフレームの長秒信号が供給される。飽和判定処理部２６２は、長秒信号保持部２２０から受信した長秒信号のデータと予め設定されている飽和閾値とを比較する。ここで、飽和閾値とは、出力信号が飽和しているかどうかを判定するための基準となる値である。比較の結果、長秒信号のデータの値が飽和閾値を超えている場合には、飽和判定処理部２６２はハイレベル（“１”）の飽和判定信号ＪＬをセレクタ２６４に出力する。比較の結果、長秒信号のデータの値が飽和閾値以下の場合には、飽和判定処理部２６２はローレベル（“０”）の飽和判定信号ＪＬをセレクタ２６４に出力する。

セレクタ２６４には、長秒信号保持部２２０が保持する第Ｎフレームの長秒信号と、短秒信号保持部２３０が保持する第（Ｎ＋１）フレームの短秒信号と、が供給される。セレクタ２６４は、飽和判定処理部２６２から受信した飽和判定信号ＪＬに応じて、長秒信号保持部２２０から受信した第Ｎフレームの長秒信号及び短秒信号保持部２３０から受信した第（Ｎ＋１）フレームの短秒信号のうちの一方を出力値Ｖｂとして出力する。具体的には、セレクタ２６４は、飽和判定信号ＪＬがハイレベル（“１”）の場合には出力値Ｖｂとして第（Ｎ＋１）フレームの短秒信号を出力し、飽和判定信号ＪＬがローレベル（“０”）の場合には出力値Ｖｂとして第Ｎフレームの長秒信号を出力する。

演算処理部２６６には、セレクタ２６４の出力値Ｖｂと、セレクタ２６４から供給される信号がどのエリアから取得された情報であるのかを示す領域情報と、が供給される。演算処理部２６６は、セレクタ２６４から受信した出力値Ｖｂ、露光時間情報保持部２５０から受信した露光時間情報Ｅｉ及び領域情報を用いて出力値Ｖｈｄｒを算出し、出力する。出力値Ｖｈｄｒは、以下の式（１）に基づいて算出される。式（１）中、変数αは、ビット拡張を行うための所定の係数である。
Ｖｈｄｒ＝α×（１／Ｅｉ）×Ｖｂ …（１）

長秒信号及び短秒信号の信号レベルは、図７に示すように、画素１２への入射光量が多いほど増加する。フォトダイオードＰＤで生成される信号電荷の量がフォトダイオードＰＤに蓄積可能な電荷量の上限（飽和電荷量）を超えると、信号レベルは飽和する。短秒信号に対して信号電荷の蓄積時間が相対的に長い長秒信号は、同一光量における信号レベルが短秒信号よりも大きいため、短秒信号と比較してより少ない光量で飽和する。

そこで、飽和判定処理部２６２において長秒信号の飽和判定を行い、長秒信号が飽和している場合には短秒信号を用いて出力値Ｖｈｄｒを算出し、長秒信号が飽和していない場合には長秒信号を用いて出力値Ｖｈｄｒを算出する。長秒信号の飽和判定に用いられる飽和閾値は、例えば図７に示すように、フォトダイオードＰＤの飽和電荷量に対応する出力信号レベルよりも若干低い信号レベルに設定することができる。

露光時間情報Ｅｉには、長秒信号のための露光時間Ｅ１，Ｅ２，Ｅ３及び短秒信号のための露光時間Ｅｓが含まれる。セレクタ２６４によってエリア１８ａに配された画素１２の長秒信号が選択された場合、式（１）における露光時間情報Ｅｉにはエリア１８ａにおける長秒信号のための露光時間Ｅ１が適用される。セレクタ２６４によってエリア１８ｂに配された画素１２の長秒信号が選択された場合、式（１）における露光時間情報Ｅｉにはエリア１８ｂにおける長秒信号のための露光時間Ｅ２が適用される。セレクタ２６４によってエリア１８ｃに配された画素１２の長秒信号が選択された場合、式（１）における露光時間情報Ｅｉにはエリア１８ｃにおける長秒信号のための露光時間Ｅ３が適用される。セレクタ２６４によって短秒信号が選択された場合、式（１）における露光時間情報Ｅｉには短秒信号のための露光時間Ｅｓが適用される。

出力値Ｖｂを露光時間情報Ｅｉで正規化することにより、セレクタ２６４により選択した信号によらず、入射光量と出力値Ｖｈｄｒとの関係を線形化することができる。ダイナミックレンジ拡大処理部２６０は、別の言い方をすると、出力値Ｖｂに対し、露光期間の長さの逆数に比例する重みで補正処理を行い出力値Ｖｈｄｒとして出力する信号処理部であると言える。

本実施形態の撮像装置４００では、ラインインターリーブ読み出しを用い、エリア１８ａ，１８ｂ，１８ｃの順に、長秒信号の読み出しと短秒信号との読み出しとを行単位で交互に行う。これにより、露光時間判定用の短秒信号の読み出しが総ての行で終了する前にエリア１８ａにおける露光時間の判定を終え、エリア１８ａにおけるシャッタ走査を開始することが可能となる。換言すると、露光時間判定用の短秒信号の読み出しが総ての行で終了する前に長秒信号の露光期間を開始することができ、長秒信号の読み出し周期、すなわちフレームレートを向上することが可能となる。また、露光時間判定用の短秒信号の露光期間と長秒信号の露光期間との間の間隔を狭めることができ、露光時間判定の精度を向上することができる。

このように、本実施形態によれば、フレームレートを損なうことなく高品質のハイダイナミックレンジ画像を取得することができる。

［第２実施形態］
本発明の第２実施形態による撮像装置について、図８乃至図１１を用いて説明する。第１実施形態による撮像装置と同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。

はじめに、本実施形態による撮像装置の構成例について、図８及び図９を用いて説明する。図８は、本実施形態による撮像装置の概略構成を示すブロック図である。図９は、本実施形態による撮像装置を模式的に示す斜視図である。

第１実施形態では、露光時間の調整領域として画素アレイの行によって規定された複数のエリア１８ａ，１８ｂ，１８ｃを定義した場合の構成例を説明した。本実施形態では、露光時間の調整領域を画素１２毎に定義した場合の構成例について、第１実施形態と異なる点を中心に説明する。

本実施形態による撮像装置４００は、図８に示すように、画素部１０と、信号処理部２００と、メモリ部３００と、により構成され得る。信号処理部２００は、前段処理部２１０と、露光時間判定処理部２４０と、露光時間情報保持部２５０と、ダイナミックレンジ拡大処理部２６０と、露光制御部２７０と、メモリコントローラ２８０と、により構成され得る。メモリ部３００は、画像信号保持部３１０と、露光時間情報保持部３２０と、により構成され得る。

画素部１０は、基本的には第１実施形態における撮像素子１００の画素部１０と同様である。図８では簡略化のため記載を省略しているが、第１実施形態における撮像素子１００の画素部１０以外の機能ブロックは、信号処理部２００等に含まれ得る。例えば、垂直走査回路２０の機能は、露光制御部２７０が備え得る。また、読み出し回路部３０、メモリ部４０、カウンタ４６、水平走査回路５０、信号出力部６０及びタイミング発生回路７０の機能のうちの少なくとも一部は、前段処理部２１０の機能の一部として捉えることもできる。

本実施形態の画素部１０が第１実施形態の画素部１０と異なる点は、画素部１０を構成する複数の画素１２が、画素行単位ではなく、画素単位で露光時間を制御できるように構成されていることである。すなわち、画素部１０の各行に配された制御線１４を構成する複数の信号線のうち、少なくとも制御信号φＴＸを供給する信号線及び制御信号φＲＥＳを供給する信号線が、各列の画素１２に対応して複数設けられている。

前段処理部２１０は、画素部１０から出力される長秒信号及び短秒信号の各々に対して第１実施形態と同様の前段処理を行い、処理後の長秒信号と短秒信号とを分離して後段の処理部へと送信する。具体的には、前段処理部２１０は、処理後の短秒信号を露光時間判定処理部２４０に送信し、処理後の長秒信号及び短秒信号をメモリ部３００の画像信号保持部３１０にメモリコントローラ２８０を介して送信する。画像信号保持部３１０は、前段処理部２１０から受信した長秒信号及び短秒信号を、画像信号として保持する。

露光時間判定処理部２４０は、前段処理部２１０から受信した短秒信号に対し、露光時間の判定処理を行い、長秒信号のための露光時間を決定するシャッタ走査のタイミングを決定する。露光時間判定処理部２４０は、短秒信号の判定によって決定された長秒信号のための露光時間に関する情報（露光時間情報）を、キャッシュメモリとしての露光時間情報保持部２５０に送信する。露光時間情報保持部２５０は、露光時間判定処理部２４０から受信した露光時間情報を一旦保持する。また、露光時間情報保持部２５０は、メモリコントローラ２８０を介してメモリ部３００の露光時間情報保持部３２０との間で露光時間情報の送受信を行う。露光時間情報保持部３２０は、露光時間情報保持部２５０から受信した露光時間情報を保持する。

露光制御部２７０は、露光時間情報保持部２５０に保持された露光時間情報及び各エリアの垂直走査情報に基づいて、画素部１０に配された画素１２のシャッタ走査及び読み出し走査の制御を行う。本実施形態において、露光制御部２７０は、複数の画素１２の各々から短秒信号と長秒信号とを出力するように複数の画素１２を制御する画素制御部である。

ダイナミックレンジ拡大処理部２６０は、メモリ部３００の画像信号保持部３１０に保持された画像信号と、露光時間情報保持部２５０に保持された露光時間情報とを用い、ダイナミックレンジの広い画像データを得るための処理を行う。なお、ダイナミックレンジ拡大処理部２６０の基本的な構成及び動作は、第１実施形態と同様である。

本実施形態による撮像装置４００は、複数の基板を積層してなる積層型のイメージセンサとして構成され得る。例えば、撮像装置４００は、図９に示すように、画素基板４１０と、メモリ基板４２０と、処理回路基板４３０と、により構成され得る。画素基板４１０には、図８に示される機能ブロックのうち、少なくとも画素部１０が配置される。メモリ基板４２０には、メモリ部３００を構成する画像信号保持部３１０及び露光時間情報保持部３２０が配置され得る。処理回路基板４３０には、信号処理部２００を構成する前段処理部２１０、露光時間判定処理部２４０、露光時間情報保持部２５０、ダイナミックレンジ拡大処理部２６０、露光制御部２７０及びメモリコントローラ２８０が配置され得る。なお、各機能ブロックの配置は上記の例に限定されるものではない。

次に、本実施形態による撮像装置４００の動作について、図１０及び図１１を用いて説明する。図１０は、本実施形態による撮像装置の動作を示すタイミング図である。図１１は、本実施形態による撮像装置におけるシャッタ制御の詳細を説明する図である。

図１０には、第１列から第ｎ列で構成される複数の画素列のうち、Ｎ列目の画素１２の動作タイミングを示している（Ｎは、１～ｎの整数）。図１０中、「Ｒｅａｄ１」は短秒信号の読み出し走査のタイミングを示し、「Ｒｅａｄ２」は長秒信号の読み出し走査のタイミングを示している。また、「Ｓｈｕｔｔｅｒ１」，「Ｓｈｕｔｔｅｒ２」，「Ｓｈｕｔｔｅｒ３」，「Ｓｈｕｔｔｅｒ４」はシャッタ走査のタイミングを示している。１行目の画素１２に着目すると、シャッタ走査Ｓｈｕｔｔｅｒ１，Ｓｈｕｔｔｅｒ２，Ｓｈｕｔｔｅｒ３，Ｓｈｕｔｔｅｒ４は、それぞれ時刻Ｔ７４，Ｔ７６，Ｔ７８，Ｔ７９に開始する。この例では、シャッタ走査のタイミングは４パターンで固定とされており、シャッタ動作の有効／非有効を含め、各画素１２の露光時間を５通りに設定することが可能となっている。なお、この例ではシャッタ走査のタイミングを４パターンとしているが、シャッタ走査のタイミングは４パターンに限定されるものではない。

まず、１行目の画素１２に着目する。
時刻Ｔ７０において、読み出し走査Ｒｅａｄ２に従い、前フレームの露光期間の間に蓄積された電荷に基づく長秒信号の読み出し動作を行う。

続く時刻Ｔ７１において、読み出し走査Ｒｅａｄ１に従い、時刻Ｔ７０から時刻Ｔ７１までの間に蓄積された電荷に基づく信号（短秒信号）の読み出し動作を行う。時刻Ｔ７０から時刻Ｔ７１までの期間の長さが、短秒信号のための露光時間である。露光時間判定処理部２４０は、１行目の画素１２から取得された短秒信号に基づき、当該画素１２における長秒信号のための露光時間を判定する。ここでは判定の結果、第１行第Ｎ列の画素１２に対し、シャッタ走査Ｓｈｕｔｔｅｒ２のタイミングでシャッタ動作を行うことが決定されたものとする。判定結果は、当該画素１２の露光時間情報として、露光時間情報保持部２５０及びメモリコントローラ２８０を介して露光時間情報保持部３２０に保持される。

続く時刻Ｔ７６において、露光制御部２７０は、露光時間情報保持部３２０に保持された情報に基づき、第１行第Ｎ列の画素１２に対してシャッタ動作（シャッタ走査Ｓｈｕｔｔｅｒ２）を行う。

続く時刻Ｔ８１において、読み出し走査Ｒｅａｄ２に従い、時刻Ｔ７６から時刻Ｔ８１までの間に蓄積された電荷に基づく信号（長秒信号）の読み出し動作を行う。時刻Ｔ７４から時刻Ｔ８０までの期間の長さが、第１行第Ｎ列の画素１２における長秒信号のための露光時間である。

次に、２行目の画素１２に着目する。
２行目の画素１２に対しては、読み出し走査Ｒｅａｄ１に従い、時刻Ｔ７１よりも後の時刻Ｔ７２において、短秒信号の読み出しを行う。露光時間判定処理部２４０は、２行目の画素１２から取得された短秒信号に基づき、当該画素１２における長秒信号のための露光時間を判定する。ここでは判定の結果、第２行第Ｎ列の画素１２に対し、シャッタ走査Ｓｈｕｔｔｅｒ４のタイミングでシャッタ動作を行うことが決定されたものとする。判定結果は、当該画素１２の露光時間情報として、露光時間情報保持部２５０及びメモリコントローラ２８０を介して露光時間情報保持部３２０に保持される。

続く時刻Ｔ８０において、露光制御部２７０は、露光時間情報保持部３２０に保持された情報に基づき、第２行第Ｎ列の画素１２に対してシャッタ動作（シャッタ走査Ｓｈｕｔｔｅｒ４）を行う。

続く時刻Ｔ８２において、読み出し走査Ｒｅａｄ２に従い、時刻Ｔ８０から時刻Ｔ８２までの間に蓄積された電荷に基づく信号（長秒信号）の読み出し動作を行う。時刻Ｔ８０から時刻Ｔ８２までの期間の長さが、第２行第Ｎ列の画素１２における長秒信号のための露光時間である。

次に、３行目の画素１２に着目する。
３行目の画素１２に対しては、読み出し走査Ｒｅａｄ１に従い、時刻Ｔ７２よりも後の時刻Ｔ７３において、短秒信号の読み出しを行う。露光時間判定処理部２４０は、３行目の画素１２から取得された短秒信号に基づき、当該画素１２における長秒信号のための露光時間を判定する。ここでは判定の結果、第３行第Ｎ列の画素１２に対し、シャッタ走査Ｓｈｕｔｔｅｒ１のタイミングでシャッタ動作を行うことが決定されたものとする。判定結果は、当該画素１２の露光時間情報として、露光時間情報保持部２５０及びメモリコントローラ２８０を介して露光時間情報保持部３２０に保持される。

続く時刻Ｔ７６において、露光制御部２７０は、露光時間情報保持部３２０に保持された情報に基づき、第３行第Ｎ列の画素１２に対してシャッタ動作（シャッタ走査Ｓｈｕｔｔｅｒ１）を行う。

続く時刻Ｔ８３において、読み出し走査Ｒｅａｄ２に従い、時刻Ｔ７６から時刻Ｔ８３までの間に蓄積された電荷に基づく信号（長秒信号）の読み出し動作を行う。時刻Ｔ７６から時刻Ｔ８３までの期間の長さが、第３行第Ｎ列の画素１２における長秒信号のための露光時間である。

次に、４行目の画素１２に着目する。
４行目の画素１２に対しては、読み出し走査Ｒｅａｄ１に従い、時刻Ｔ７３よりも後の時刻Ｔ７４において、短秒信号の読み出しを行う。露光時間判定処理部２４０は、４行目の画素１２から取得された短秒信号に基づき、当該画素１２における長秒信号のための露光時間を判定する。ここでは判定の結果、第４行第Ｎ列の画素１２に対し、シャッタ走査Ｓｈｕｔｔｅｒ３のタイミングでシャッタ動作を行うことが決定されたものとする。判定結果は、当該画素１２の露光時間情報として、露光時間情報保持部２５０及びメモリコントローラ２８０を介して露光時間情報保持部３２０に保持される。

続く時刻Ｔ８０において、露光制御部２７０は、露光時間情報保持部３２０に保持された情報に基づき、第４行第Ｎ列の画素１２に対してシャッタ動作（シャッタ走査Ｓｈｕｔｔｅｒ３）を行う。

続く時刻Ｔ８４において、読み出し走査Ｒｅａｄ２に従い、時刻Ｔ８０から時刻Ｔ８４までの間に蓄積された電荷に基づく信号（長秒信号）の読み出し動作を行う。時刻Ｔ８０から時刻Ｔ８４までの期間の長さが、第４行第Ｎ列の画素１２における長秒信号のための露光時間である。

なお、読み出し走査Ｒｅａｄ２とその次の読み出し走査Ｒｅａｄ１とにおいては、第１実施形態の撮像素子１００と同様、長秒信号の読み出し動作と短秒信号の読み出し動作とを行単位で交互に行うラインインターリーブ駆動を行う。図１０の例では、例えば、時刻Ｔ７２と時刻Ｔ７３との間に５行目の画素１２の読み出し動作（Ｒｅａｄ２）を行い、時刻Ｔ７３と時刻Ｔ７４との間に６行目の画素１２の読み出し動作（Ｒｅａｄ２）を行う。

次に、シャッタ制御の詳細について、時刻Ｔ７６から時刻Ｔ７７までの期間の動作を例に挙げ、図１１を用いて説明する。

時刻Ｔ７１において読み出し走査Ｒｅａｄ１が開始されると、露光時間判定処理部２４０は、画素部１０から出力される短秒信号に対して順次、長秒信号のための露光時間を規定するための判定処理を行う。露光時間判定処理部２４０による判定結果は、長秒信号のための露光時間を表す情報（露光時間情報）として、露光時間情報保持部２５０及びメモリコントローラ２８０を介して露光時間情報保持部３２０に保持される。例えば、１行目の画素１２の判定処理は時刻Ｔ７１から開始され、判定結果に応じた露光時間情報が露光時間情報保持部３２０に保持される。２行目の画素１２の判定処理は時刻Ｔ７２から開始され、判定結果に応じた露光時間情報が露光時間情報保持部３２０に保持される。３行目の画素１２の判定処理は時刻Ｔ７３から開始され、判定結果に応じた露光時間情報が露光時間情報保持部３２０に保持される。４行目の画素１２の判定処理は時刻Ｔ７４から開始され、判定結果に応じた露光時間情報が露光時間情報保持部３２０に保持される。

長秒信号のための露光時間を表す情報は、特に限定されるものではないが、例えばシャッタ動作のタイミングに関連付けられた数値で表すことができる。図１１には、シャッタ走査Ｓｈｕｔｔｅｒ１，Ｓｈｕｔｔｅｒ２，Ｓｈｕｔｔｅｒ３，Ｓｈｕｔｔｅｒ４のタイミングでシャッタ動作を行う場合を、それぞれ“１”，“２”，“３”，“４”で表している。また、シャッタ走査Ｓｈｕｔｔｅｒ１，Ｓｈｕｔｔｅｒ２，Ｓｈｕｔｔｅｒ３，Ｓｈｕｔｔｅｒ４のいずれのタイミングでもシャッタ動作を行わない場合を“０”で表している。ここでは、第１行の第１列が“１”、第１行の第（Ｎ－２）列及び第Ｎ列が“２”、第１行の第（Ｎ＋１）列が“３”、第１行の第（Ｎ－１）列及び第ｎ列が“０”であったものとする。また、第３行の第１列、第Ｎ列及び第ｎ列が“１”、第（Ｎ－１）列が“３”、第（Ｎ－２）列及び第（Ｎ＋１）列が“４”であったものとする。

時刻Ｔ７６には、図１０に示すように、第１行に対してシャッタ走査Ｓｈｕｔｔｅｒ２が実行され、第３行に対してシャッタ走査Ｓｈｕｔｔｅｒ１が実行される。露光時間情報保持部３２０のキャッシュメモリとしての露光時間情報保持部２５０は、露光時間情報保持部３２０から、シャッタ走査Ｓｈｕｔｔｅｒ１用の露光時間情報として、第３行目の各画素１２の露光時間情報をロードする。また、露光時間情報保持部２５０は、シャッタ走査Ｓｈｕｔｔｅｒ２用の露光時間情報として、第１行目の各画素１２の露光時間情報をロードする。露光時間情報保持部２５０は、シャッタ走査Ｓｈｕｔｔｅｒ１用にロードされた露光時間情報を参照し、露光時間情報が“１”である列に対してシャッタ走査Ｓｈｕｔｔｅｒ１を許容するイネーブル信号を生成し、露光制御部２７０に出力する。図１１の例では、第１列、第Ｎ列及び第ｎ列に対して、シャッタ走査Ｓｈｕｔｔｅｒ１のイネーブル信号が出力される。また、露光時間情報保持部２５０は、シャッタ走査Ｓｈｕｔｔｅｒ２用にロードされた露光時間情報を参照し、露光時間情報が“２”である列に対してシャッタ走査Ｓｈｕｔｔｅｒ２を許容するイネーブル信号を生成し、露光制御部２７０に出力する。図１１の例では、第（Ｎ－２）列及び第Ｎ列に対して、シャッタ走査Ｓｈｕｔｔｅｒ２のイネーブル信号が出力される。

露光制御部２７０は、露光時間情報保持部２５０から受信したイネーブル信号に基づき、対応する画素１２にシャッタパルスを供給する。図１１の例では、第１行の第（Ｎ－２）列及びＮ列、並びに、第３行の第１列、第Ｎ列及び第ｎ列の画素１２に、露光制御部２７０からシャッタパルスが供給される。これにより、画素部１０を構成する画素１２の各々の露光時間を制御することができる。

本実施形態の撮像装置４００においても第１実施形態と同様、ラインインターリーブ読み出しを用い、長秒信号の読み出しと短秒信号との読み出しとを行単位で交互に行う。これにより、露光時間判定用の短秒信号の読み出しが総ての行で終了する前に、先に読み出しが完了した行における露光時間の判定を終え、これら行に対するシャッタ走査を開始することが可能となる。換言すると、露光時間判定用の短秒信号の読み出しが総ての行で終了する前に長秒信号の露光期間を開始することができ、長秒信号の読み出し周期、すなわちフレームレートを向上することが可能となる。また、本実施形態では画素毎に露光時間を制御しているため、より細かい露光時間制御が可能となり、ひいてはダイナミックレンジの更なる拡張が可能である。

このように、本実施形態によれば、フレームレートを損なうことなく高品質のハイダイナミックレンジ画像を取得することができる。

［第３実施形態］
本発明の第３実施形態による撮像システムについて、図１２を用いて説明する。図１２は、本実施形態による撮像システムの概略構成を示すブロック図である。

上記第１及び第２実施形態で述べた撮像装置４００は、種々の撮像システムに適用可能である。適用可能な撮像システムの例としては、デジタルスチルカメラ、デジタルカムコーダ、監視カメラ、複写機、ファックス、携帯電話、車載カメラ、観測衛星などが挙げられる。また、レンズなどの光学系と撮像装置とを備えるカメラモジュールも、撮像システムに含まれる。図１２には、これらのうちの一例として、デジタルスチルカメラのブロック図を例示している。

図１２に例示した撮像システム５００は、撮像装置５０１、被写体の光学像を撮像装置５０１に結像させるレンズ５０２、レンズ５０２を通過する光量を可変にするための絞り５０４、レンズ５０２の保護のためのバリア５０６を有する。レンズ５０２及び絞り５０４は、撮像装置５０１に光を集光する光学系である。撮像装置５０１は、第１及び第２実施形態のいずれかで説明した撮像装置４００であって、レンズ５０２により結像された光学像を画像データに変換する。

撮像システム５００は、また、撮像装置５０１より出力される出力信号の処理を行う信号処理部５０８を有する。信号処理部５０８は、撮像装置５０１が出力するデジタル信号から画像データの生成を行う信号処理装置である。また、信号処理部５０８は必要に応じて各種の補正、圧縮を行って画像データを出力する動作を行う。撮像装置５０１は、信号処理部５０８で処理されるデジタル信号を生成するＡＤ変換部を備えうる。ＡＤ変換部は、撮像装置５０１の光電変換部が形成された半導体層（半導体基板）に形成されていてもよいし、撮像装置５０１の光電変換部が形成された半導体層とは別の半導体基板に形成されていてもよい。また、信号処理部５０８が撮像装置５０１と同一の半導体基板に形成されていてもよい。

撮像システム５００は、更に、画像データを一時的に記憶するためのメモリ部５１０、外部コンピュータ等と通信するための外部インターフェース部（外部Ｉ／Ｆ部）５１２を有する。更に撮像システム５００は、撮像データの記録又は読み出しを行うための半導体メモリ等の記録媒体５１４、記録媒体５１４に記録又は読み出しを行うための記録媒体制御インターフェース部（記録媒体制御Ｉ／Ｆ部）５１６を有する。なお、記録媒体５１４は、撮像システム５００に内蔵されていてもよく、着脱可能であってもよい。

更に撮像システム５００は、各種演算とデジタルスチルカメラ全体を制御する全体制御・演算部５１８、撮像装置５０１と信号処理部５０８に各種タイミング信号を出力するタイミング発生部５２０を有する。ここで、タイミング信号などは外部から入力されてもよく、撮像システム５００は少なくとも撮像装置５０１と、撮像装置５０１から出力された出力信号を処理する信号処理部５０８とを有すればよい。

撮像装置５０１は、撮像信号を信号処理部５０８に出力する。信号処理部５０８は、撮像装置５０１から出力される撮像信号に対して所定の信号処理を実施し、画像データを出力する。信号処理部５０８は、撮像信号を用いて、画像を生成する。

このように、本実施形態によれば、第１及び第２実施形態による撮像装置４００を適用した撮像システムを実現することができる。

［第４実施形態］
本発明の第４実施形態による撮像システム及び移動体について、図１３を用いて説明する。図１３は、本実施形態による撮像システム及び移動体の構成を示す図である。

図１３（ａ）は、車載カメラに関する撮像システムの一例を示したものである。撮像システム６００は、撮像装置６１０を有する。撮像装置６１０は、上記第１及び第２実施形態のいずれかに記載の撮像装置４００である。撮像システム６００は、撮像装置６１０により取得された複数の画像データに対し、画像処理を行う画像処理部６１２と、撮像システム６００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差取得部６１４を有する。また、撮像システム６００は、算出された視差に基づいて対象物までの距離を算出する距離取得部６１６と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部６１８と、を有する。ここで、視差取得部６１４や距離取得部６１６は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部６１８はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。また、ＦＰＧＡ（Field Programmable Gate Array）やＡＳＩＣ（Application Specific Integrated circuit）等によって実現されてもよいし、これらの組合せによって実現されてもよい。

撮像システム６００は車両情報取得装置６２０と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ６３０が接続されている。また、撮像システム６００は、衝突判定部６１８での判定結果に基づいて、ドライバーへ警報を発する警報装置６４０とも接続されている。例えば、衝突判定部６１８の判定結果として衝突可能性が高い場合、制御ＥＣＵ６３０はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置６４０は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。

本実施形態では、車両の周囲、例えば前方又は後方を撮像システム６００で撮像する。図１３（ｂ）に、車両前方（撮像範囲６５０）を撮像する場合の撮像システムを示した。車両情報取得装置６２０が、撮像システム６００ないしは撮像装置６１０に指示を送る。このような構成により、測距の精度をより向上させることができる。

上記では、他の車両と衝突しないように制御する例を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。更に、撮像システムは、自車両等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。

［変形実施形態］
本発明は、上記実施形態に限らず種々の変形が可能である。
例えば、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。

また、第１実施形態では行によって規定される複数のエリアを画素部１０に定義した例を示し、第２実施形態では各々が１つの画素１２によって規定される複数のエリアを画素部１０に定義した例を示したが、エリアの規定方法はこれらに限定されるものではない。例えば、列によって規定される複数のエリアを画素部１０に定義するようにしてもよいし、各々がｎ列未満の列とｍ行未満の行とからなる複数の画素ブロックを画素部１０に定義するようにしてもよい。

また、上記第１及び第２実施形態では、画像の取得を目的とした装置、すなわち撮像装置を例示したが、本発明の適用例は必ずしも撮像装置に限定されるものではない。例えば、上記第４実施形態で説明したような測距を主たる目的とする装置に適用する場合にあっては、必ずしも画像を出力する必要はない。このような場合、当該装置は、光情報を所定の電気信号に変換する光電変換装置と言うことができる。撮像装置は、光電変換装置の１つである。

また、上記第３及び第４実施形態に示した撮像システムは、本発明の撮像装置を適用しうる撮像システム例を示したものであり、本発明の光電変換装置を適用可能な撮像システムは図１２及び図１３に示した構成に限定されるものではない。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

なお、上記実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０…画素部
１２…画素
１８ａ，１８ｂ，１８ｃ…エリア
２０…垂直走査回路
１００…撮像素子
２００…信号処理部
２４０…露光時間判定処理部
２５０，３２０…露光時間情報保持部
２６０…ダイナミックレンジ拡大処理部
２７０…露光制御部
４００…撮像装置

Claims (14)

1. 各々が光電変換部を有する複数の画素が複数の行及び複数の列に渡って配された画素部と、
   前記複数の画素の各々から、第１の露光期間の間に前記光電変換部で生じた電荷に基づく第１の信号と、前記第１の露光期間とは異なる長さの第２の露光期間の間に前記光電変換部で生じた電荷に基づく第２の信号と、を出力するように前記複数の画素を制御する画素制御部と、
   前記第１の信号に基づいて前記第２の露光期間の長さを判定する露光時間判定処理部と、を有し、
   前記画素部は、各々が少なくとも１つの画素を含む複数のエリアを有し、
   前記露光時間判定処理部は、前記複数のエリアの各々における前記第２の露光期間の長さを、前記複数のエリアの各々における前記第１の信号に基づいて判定するように構成されており、
   前記画素制御部は、一のフレームにおいて、前記複数のエリアのうちの第１のエリアの画素から前記第１の信号を出力した後、前記一のフレームにおいて、前記複数のエリアのうちの第２のエリアの画素から前記第１の信号を出力する前に、前記第１のエリアの前記画素における前記第２の露光期間を開始するように構成されている
   ことを特徴とする撮像装置。
2. 前記画素制御部は、前記複数の画素の前記第１の信号及び前記第２の信号を前記画素部の行毎に出力するように構成されている
   ことを特徴とする請求項１記載の撮像装置。
3. 前記画素制御部は、前記複数の行のうちの少なくとも一部において、前記第１の信号と前記第２の信号とを行単位で交互に出力するように構成されている
   ことを特徴とする請求項２記載の撮像装置。
4. 前記画素制御部は、前記複数のエリアの各々に対し、前記露光時間判定処理部により判定された露光時間情報に応じたタイミングでシャッタ走査を実行するように構成されている
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記第２の信号に対し、前記第２の露光期間の長さの逆数に比例する重みで補正処理を行う信号処理部を更に有する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記信号処理部は、前記第２の信号が飽和している場合に、前記第１の信号に対し、前記第１の露光期間の長さの逆数に比例する重みで補正処理を行う
   ことを特徴とする請求項５記載の撮像装置。
7. 前記露光時間判定処理部により判定された露光時間情報を保持する露光時間情報保持部を更に有する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記画素部が設けられた第１基板と、前記露光時間情報保持部が設けられた第２基板と、前記画素制御部及び前記露光時間判定処理部が設けられた第３基板と、が積層されてなる
   ことを特徴とする請求項７記載の撮像装置。
9. 前記複数のエリアの各々は、前記画素部の行により規定されている
   ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
10. 前記複数のエリアの各々は、前記複数の画素の各々に対応している
    ことを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。
11. 前記複数のエリアにおける前記第１の露光期間の長さが同じである
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 前記複数のエリアの各々において、前記第２の露光期間の長さが前記第１の露光期間の長さよりも長い
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置から出力される信号を処理する信号処理装置と
    を有することを特徴とする撮像システム。
14. 移動体であって、
    請求項１乃至１２のいずれか１項に記載の撮像装置と、
    前記撮像装置の前記画素から出力される信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
    前記距離情報に基づいて前記移動体を制御する制御手段と
    を有することを特徴とする移動体。

Images