JP2018093301A - 撮像素子及び撮像素子の制御方法 - Google Patents

Abstract

【課題】 フレームレートを高く維持しながらも、飽和量を上げることで好適なＨＤＲ合成が可能な撮像装置を提供すること。
【解決手段】 入射光によって生じた電荷の蓄積を行う光電変換部と、光電変換部で蓄積された電荷を保持する保持部と、保持部に保持された電荷に基づく信号を出力する増幅部と、光電変換部から保持部へ電荷を転送する第１の転送スイッチと、保持部から増幅部へ電荷を転送する第２の転送スイッチと、光電変換部で発生した電荷をリセットするリセットスイッチとをそれぞれが有し、且つ行列状に配置された複数の画素と、複数の画素における第１の転送スイッチ、リセットスイッチを制御する制御手段と、制御手段によるリセットスイッチを制御するタイミングと第１の転送スイッチを制御するタイミングで決定される露出時間に関連する設定パラメータを設定するための設定手段と、を備える撮像素子であることを特徴とする。
【選択図】 図１

Description

本発明は、撮像素子及び撮像素子の制御方法に関し、特に撮像画像のダイナミックレンジを拡大する機能を有する撮像素子及び撮像素子の制御方法に関する。

撮像装置の機能のひとつに、ハイダイナミックレンジ（以下、ＨＤＲ）と呼ばれる、従来の映像よりも幅広いダイナミックレンジを表現する機能が知られている。ＨＤＲを実現する手法として、まずオーバー露出（明るい）画像とアンダー露出（暗い）画像を撮像する。その後、被写体が明るく白飛びしそうな部分はアンダー露出画像、被写体が暗く黒潰れしそうな部分はオーバー露出画像を用いて合成（以下、ＨＤＲ合成）する手法がある。ここで、アンダー露出画像は、被写体明部を使用することになるため、撮像素子で取り込むことのできる電子数は多いほうが好ましい。また、それぞれの画像は時間的に連続し、かつ被写体の動きが少ない状態で取得することが好ましい。そのため、ＨＤＲ合成を行う静止画であれば連写速度、動画であればフレームレートを速くすることが求められている。

また、撮像素子で取り込むことのできる電子数を増加させる技術が知られている。特許文献１では、撮像素子の、光電変換部と、電荷を保持する保持部と、光電変換部から電荷保持部へ電荷を転送する第１の転送スイッチと、電荷保持部から増幅部へ電荷を転送する第２の転送スイッチを持つ撮像装置が開示されている。さらに、当該撮像装置において第２の転送スイッチがオンする間に第１の転送スイッチを複数回オンすることで、光電変換部から電荷保持部へ複数回電荷を転送し、飽和電荷量を上げることが可能となる。

特開２０１５−１７７３４９

しかしながら、特許文献１に記載の撮像素子において、保持部で電荷を保持し光電変換部から保持部へ次の転送が行われている間は、保持部から増幅部へ電荷を転送できないため、信号を読み出すことができない。そのため、光電変換部から保持部へ電荷を転送する転送スイッチを複数回オンさせる場合に、フレームレートを上げることが難しいという問題があった。

本発明はこのような従来技術の課題に鑑みなされたものであり、フレームレートを高く維持しながらも、飽和電荷量を上げることで好適なＨＤＲ合成が可能な撮像装置を提供することを目的とする。

上述の問題点を解決するため、本発明の撮像素子は、入射光によって生じた電荷の蓄積を行う光電変換部と、前記光電変換部で蓄積された電荷を保持する保持部と、前記保持部に保持された電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、前記光電変換部で発生した電荷をリセットするリセットスイッチとをそれぞれが有し、且つ行列状に配置された複数の画素と、前記複数の画素における前記第１の転送スイッチ、前記リセットスイッチを制御する制御手段と、前記制御手段による前記リセットスイッチを制御するタイミングと前記第１の転送スイッチを制御するタイミングで決定される露出時間に関連する設定パラメータを設定するための設定手段と、を備える撮像素子であって、前記制御手段は、前記設定パラメータによって設定された第１の露出時間と前記第１の露出時間よりも長い第２の露出時間を用いて周期的に制御する場合に、前記第１の露出時間において前記第１の転送スイッチを制御する回数が前記第２の露出時間において前記第１の転送スイッチを制御する回数よりも多く制御することを特徴とする。

フレームレートを高く維持しながらも、飽和電荷量を上げることで好適なＨＤＲ合成が可能な撮像装置を提供することが可能となる。

本発明の撮像装置における代表的な構成を示す図である。 本発明の撮像素子内の詳細例を示す図である。 本発明の撮像素子の画素部の詳細例を示す図である。 本発明における、転送スイッチの動作タイミングを示す図である。 本発明のＨＤＲ撮像の際の、転送スイッチの動作タイミングを示す図である。 本発明における、転送スイッチの動作と電荷量の推移を示す図である。 第１の実施形態におけるフローチャートである。 第２の実施形態におけるフローチャートである。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成要素の寸法、材質、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更が可能であり、本発明がそれらの例示に限定されるものではない。

（第１の実施形態）
図１は、本発明の実施形態に係る撮像装置におけるブロック図である。図１の各ブロックについて下記に説明する。なお、本実施形態に係る撮像装置は一例として、デジタルカメラであるが、監視カメラ、携帯電話、車載（移動体）カメラ等においても適用可能である。

光学レンズ１０１は、被写体の光を取り込む。代表的なものとしては、ピントを合わせるためのフォーカス機構、光量や被写界深度を調節する絞り機構、焦点距離を変化させるためのズーム機構を有することを特徴とし、撮像素子に光を結像して入光するための光学レンズである。なお、光学レンズ１０１の各機構は不図示のレンズ制御部によって制御され、当該レンズ制御部は後述するシステム制御ＣＰＵによって制御される。

撮像素子１０２は光学レンズ１０１からの入射光を受け、それを電気信号へ変換し画像信号として出力する。ここで、本実施形態における撮像素子１０２の詳細の構成は図２を用いて後述する。

画像処理部１０３は、撮像素子１０２からの画像信号を１４ｂｉｔのデジタル信号として取得する。撮像素子からの出力がアナログ信号であれば、アナログ・デジタルフロントエンドを含む構成としてもよい。本実施形態において、画像信号は各画素における入射光に依存した信号に相当する。したがって、全ての画素からの画像信号を取得することによって１フレーム分の映像を生成することが可能となる。画像処理部は、画像信号に対して任意の画像処理及び解析処理を行い各ブロックへ出力する。画像処理としては光学レンズ１０１の光学収差を補正する収差補正処理、撮像素子１０２の画素等の欠陥を補正する欠陥補正処理、ランダムノイズを低減するためのノイズ低減処理等が含まれる。また、画像信号に各種の補正を行った後に、映像データに圧縮するデジタル信号処理部を含む構成としてもよい。また、画像信号に対して実行する解析処理として、対象被写体（顔等）の有無を検出する被写体検出処理、被写体の動きを検出する動き検出処理、被写体の輝度を検出する輝度検出処理等が含まれる。さらに、画像処理部１０３は、各種演算と撮像装置全体を制御するシステム制御ＣＰＵを含む。システム制御ＣＰＵは、撮像装置全体を制御するために各構成要素を統括的に制御及び各種パラメータ等の設定を行う。また、システム制御ＣＰＵは、データを電気的に書き込み・消去可能なメモリ等を含み、これに記録されたプログラムを実行する。なお、メモリは、システム制御ＣＰＵが実行するプログラム格納領域、プログラム実行中のワーク領域、データの格納領域等として使用される。

露出制御部１０４は、画像処理部１０３より出力される画像信号の解析結果に基づいて、撮像素子１０２やレンズ１０１、不図示のストロボ等、における各露出の設定値を算出する。具体的には、画像処理部１０３にて画像信号を解析した結果に含まれる被写体の輝度に基づいて、メモリに保持されたプログラム線図を用いて、撮像素子１０２に設定する露出時間、レンズ１０１に含まれる絞りのＦ値、ストロボの発光量等の露出に関連したパラメータを決定する。なお、露出制御部１０４が各設定パラメータを算出するための目標輝度はシステム制御ＣＰＵから適宜入力される。

撮像素子制御部１０５は、撮像素子１０２へ各種設定値を送信する。各種設定値には露出制御部１０４が算出した露出時間、撮像素子１０２を駆動するためのクロックや同期信号、動作モードを決定するため、各項目に関連したパラメータ等が含まれる。

画像合成部１０６は、画像処理部１０３より入力される複数の画像に基づいてＨＤＲ合成処理を行うブロックである。画像合成部１０６は主に明るい被写体の画像を取得するためのアンダー露出画像と、主に暗い被写体の画像を取得するためのオーバー露出画像が入力され、両画像を合成してＨＤＲ画像を生成する。なお、本実施形態においてはアンダー露出画像とオーバー露出画像の２枚の画像の合成に関して例示するが、これに限られるものではない。例えば、３枚以上の画像合成においても適用可能である。

フレームメモリ１０７は、時間的に異なる２枚の画像を合成するために、先に撮像素子１０２から出力された画像信号を記録しておくメモリである。

なお、画像処理部、露出制御部、撮像素子制御部、画像合成部は、ひとつのＬＳＩでまとめられていてもよく、本区分が形態を限定するものではない。また、各部の順序も本形態にとらわれるものではない。また、各ブロックの一部を撮像素子１０２に含めるように構成してもよい。この場合、光を電気信号に変換する光電変換部を備えるチップに対して上記ブロックを含む信号処理用のチップを積層構造として撮像素子１０２に盛り込む形態が想定される。

また、図１には不図示の画像を表示するための表示部、画像を保存するための保存部、各種設定を行う操作部、撮像装置外部と通信するための通信部等を設ける構成としてもよい。

次に、図２を用いて、本実施形態の撮像素子１０２と画像処理部１０３の構成を詳細に説明する。

図２の各ブロックについて下記に説明する。１０２は、図１における撮像素子１０２に相当し、並列型ＡＤ変換器を実装した撮像素子（ＣＭＯＳイメージセンサ）である。

２１は、画像処理ＬＳＩであり、撮像素子１０２が出力する画像データに対し、ホワイトバランス処理や、ガンマ処理などの現像処理を行い、最終的にモニタに出力したり、記録媒体に記録したりする。本構成は図１における画像処理部１０３に含まれる。

また、画像処理ＬＳＩは、システム制御ＣＰＵにより撮像装置の動作モードに応じて撮像素子と通信（例えばシリアル通信）し、制御を行う。なお、当該通信は撮像素子制御部１０５経由で行われるが、図２においては説明の簡略化のため省略してある。

撮像素子１０２は、タイミング制御部２００、画素部２１０、垂直走査回路２２０、列回路２３０、水平転送回路２４０、信号処理回路２５０、外部出力回路２６０、コントローラー回路２７０からなる。

タイミング制御部２００は、撮像素子制御部１０５からの制御に基づいてこの撮像素子の各ブロックに対する動作ＣＬＫを供給し、また、各ブロックにタイミング信号を供給し、動作を制御するものである。各種パラメータの設定部を含み、撮像素子１０２に含まれる各ブロックに対して制御信号を送信する。

画素部２１０は、入射光を光電変換するフォトダイオードを含み、当該フォトダイオードから入射光量に応じた電圧値として出力する光電変換素子（画素）が行列状に配置されている。光電変換素子表面には、各々にカラーフィルタとマイクロレンズが実装されている。そして、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色のカラーフィルタを用いることで、いわゆるＲＧＢ原色カラーフィルタによるベイヤー配列の周期構造をとっているが一般的であるが、必ずしもこの限りではない。また、シリコンを用いた半導体基板状に形成されるものに限定されず、例えば有機物からなる光電変換膜をフォトダイオードの代わりに用いてもよいし、これらを組み合わせた構成としてもよい。

また、画素部２１０にはグローバルシャッタ動作を実現するために、画素部の構造をローリングシャッタ形式のものから変更している。本撮像装置の構造については、図３を用いて後述する。

垂直走査回路２２０は、２次元に配置された画素部２１０が有した画素信号電圧を、１フレーム中に順次読み出しするためのタイミング制御（垂直走査）を行う。一般的に、画像信号は１フレーム中に上部の行から下部の行にかけて、行単位で順次読み出される。なお、本実施形態の垂直走査回路２２０は、画像信号の読み出し走査とシャッター動作を一致させるローリングシャッタ動作が可能である。さらに、画素信号の読み出し走査と平行して露光を行い、有効画素の全てに対して同時にシャッター動作を行うグローバルシャッタ動作も可能である。垂直走査回路２２０は画素信号電圧の読み出し制御以外にも、画素部２１０に対するリセット動作（露出時間）の制御、複数の行を同時に操作する加算制御等を行う。

列回路２３０は、列ごとに画素部２１０から列ごとに共通の垂直信号線経由で読みだされた信号を電気的に増幅するためのアンプや、信号をアナログデジタル変換する回路を備える。また、列間で信号を加算するための加算回路等を備える構成としてもよい。なお、各回路の動作タイミングはタイミング制御部２００によって制御される。

水平転送回路２４０は、列回路からの画素信号を、水平方向に送信する回路である。出力は信号処理回路２５０に入力される。信号処理回路２５０はデジタル信号処理を行う回路であり、デジタル信号処理で一定量のオフセット値を加えるほかに、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。また、画素部２１０に、意図的に遮光した画素領域を持つことで、これを利用したデジタルの黒レベルクランプ動作を行ってもよい。

信号処理回路２５０の出力は、外部出力回路２６０に渡される。外部出力回路２６０はシリアライザー機能を有し、信号処理回路２５０からの多ビットの入力パラレル信号をシリアル信号に変換する。また、このシリアル信号を、例えばＬＶＤＳ信号等に変換し、外部デバイス（画像処理ＬＳＩ２１）との画像情報の受け渡しとして出力する。

コントローラー回路２７０は、画像処理ＬＳＩ２１とのＩ／Ｆ部であり、シリアル通信手段などを用いて、撮像素子制御部を経て撮像素子１０２への制御を受ける。

次に図３を用いて、図２における画素部２１０内の１単位に相当する画素の構成を詳細に説明する。

光電変換部３１は、入射した光に基づいて生じる電荷を蓄積する。

３５は転送スイッチ１（ＴＸ１）であり、ゲート端子が操作されノード間が導通することで、光電変換部３１に蓄積した電荷を保持部３２へ転送する。なお、ＴＸ１は垂直走査回路２２０によって制御される。

３６は転送スイッチ２（ＴＸ２）であり、ゲート端子が操作されノード間が導通することで、保持部３２で保持された電荷を増幅部３３へ転送する。なお、ＴＸ２は垂直走査回路２２０によって制御される。

３７はリセットトランジスタ（ＲＥＳ）であり、ゲート端子が操作されノード間が導通することで、光電変換部３１、保持部３２、増幅部３３等の電圧を電源電位（ＶＤＤ）にリセットする。なお、ＲＥＳは垂直走査回路２２０によって制御される。

３８は画素選択トランジスタ（ＳＥＬ）であり、ゲート端子が操作されノード間が導通することで、増幅部３３に保持された電圧値に基づく信号がソースフォロア回路経由で垂直出力線３９へ出力される。なお、ＳＥＬは垂直走査回路２２０によって制御される。

３４は画素リセットスイッチ（ＯＦＤ）であり、ゲート端子が操作されノード間が導通することで、光電変換部３１で発生した電荷が破棄され、ＶＤＤにリセットされる。なお、ＯＦＤは垂直走査回路２２０によって制御される。

４０は増幅部３３に対して並列で接続される補助容量であり、接続用スイッチ（ＦＤｉｎｃ）のゲート端子が操作されノード間が導通・切断されることによって、増幅部３３の容量を可変することが可能となる。増幅部３３の容量が変化することによって、垂直出力線３９に出力する信号の増幅度を減少・増加させるとともに、増幅部３３で扱う飽和電荷量を向上させることができる。なお、ＦＤｉｎｃは垂直走査回路２２０によって制御される。

なお、本実施形態の撮像素子１０２の画素には増幅部３３に加えて保持部３２を設けている。画素毎に二つの容量を備えることで、光電変換部３１で発生した電荷に基づく信号を垂直出力線３９へ信号を出力するまで溜めておくことが可能となる。これによって、各画素から垂直出力線３９へ信号を出力するまでの間においても光電変換部３１は電荷を蓄積することが可能となる。そのため、画素部２１０に含まれる画素に対して同時に蓄積制御（グローバルシャッタ動作）が可能となる。

図４は、ＯＦＤとＴＸ１，ＴＸ２のオンするタイミングであって、垂直同期信号（ＶＤ）を基準に表したタイミングチャートである。

ＶＤに同期してＯＦＤに対してＯｎ信号が入力されることによって、同タイミングで光電変換部３１の電荷が破棄される。その後、光電変換部３１において光電変換による電荷の蓄積が再度開始される。そして、本実施形態の撮像素子１０２の制御において、ＴＸ１に対して同期期間内に１回以上のＯＮ信号が入力される。これにより、光電変換部３１において、電荷蓄積が終了する前に１回以上の保持部への電荷転送が行われることとなる。本動作を画素部２１０に含まれる複数行の画素において同時に実行することにより、グローバルシャッタ動作を実現することが可能となる。加えて、垂直走査回路２２０が撮像素子１０２の各行に対してＴＸ２を順次制御（垂直走査）し、各画素の信号を垂直出力線３９経由で順次列回路２３０に出力する。これにより、１フレーム分の画像信号を取得することとなる。

なお、図４（ａ）は、光電変換部３１の蓄積期間中に、保持部３２へ転送を２回行っている動作を示しているが、それ以上の回数であってもよい。本実施形態の撮像素子１０２は、光電変換部３１の飽和量に対して、保持部３２の飽和量が多くなるように設定されている。これにより、光電変換部３１に蓄積される電荷を同期期間内（蓄積期間中）に複数回の転送を行うことで、保持部３１の電荷飽和量いっぱいまで有効に電荷を撮り出すことが可能となる。これにより、実効的に光電変換部３１の飽和量を拡張されることとなる。

一方、図４（ｂ）は、図４（ａ）に示した動作モードに対して光電変換部３１の蓄積期間の最後に、ＴＸ１に対して１回のＯＮ信号が入力される。これにより、光電変換部３１において、電荷蓄積が終了する前に１回の保持部への電荷転送が行われることとなる。図４（ｂ）に示した動作モードの場合は、光電変換部３１の飽和量分のみが保持部３２へ転送されることとなる。

図５は、ＨＤＲ合成処理を実施するための画像信号を取得する場合の、撮像素子１０２の動作モードの例を示したタイミングチャートである。図５に示したタイミングチャートは所定の１又は２フレームに関して示したものであり、実際には図５（ａ）または図５（ｂ）に示した各動作は周期的（例えば６０ｆｐｓや１２０ｆｐｓ）に繰り返される。図５（ａ）に示す動作モードでは、暗画像（露出時間を短くしているアンダー露出画像）を取得するために、ＯＦＤをＯＮするタイミングとＴＸ１をＯＮするタイミングを近づけ、電荷が蓄積される時間である露出時間を短く設定する。また、次の同期期間（フレーム）では、明画像（本例では露出時間を長くしているオーバー露出画像）を取得するために、暗画像よりも電荷が蓄積されるように露出時間を長く設定する。しかしながら、図５（ａ）に示した動作モードにおいては、暗画像及び明画像の各フレームに対して光電変換部３１からの転送は各１回のみしか行われておらず、各フレームにおける飽和量は同量となる。

そこで、図５（ｂ）に示す動作モードでは、図５（ａ）に示す動作モードと異なり、暗画像の露出時間の間にＴＸ１を複数回ＯＮする。これにより、光電変換部３１の飽和量よりも大きく、保持部３２の飽和量まで電荷を取得することが可能となる。

ここでＴＸ１を複数回ＯＮするためには、前フレームの保持部３２の電荷を、ＴＸ２を制御して垂直出力線３９へ出力することを完了させる必要がある。前フレームの保持部３２の電荷をすべて出力した状態で、はじめて次のフレームの光電変換部３１の電荷を保持部３２へ転送することが可能となる。

ここで、ＯＦＤをできるかぎりＴＸ１に近づけることで露出時間を短くすることができ、次のフレームの撮像動作をはじめられるためのフレームレートを向上させることができる。図５（ｂ）に示す動作モードによって、暗画像に用いる画像信号において飽和量を大きくすることが可能となる。これにより、ＨＤＲ合成において暗画像からは特に被写体の明部を用いることが期待されるため、被写体の明部の画質を向上する効果を得ることができる。なお、本実施形態おいては１フレーム毎に周期的に暗画像の取得と明画像の取得を切換える動作を示したが、これに限られるものではなく、各画像を複数連続に取得するようにしてもよい。

図６は、図５に示したタイミングチャートに加え、光電変換部３１の電荷量の推移の例を示した図である。

図６（ａ）は、図５（ａ）の動作モード時（暗画像における光電変換部から保持部への転送を１回にしている場合）の電荷量の推移を示している。上段に示した被写体が暗い場合は、光電変換部３１の電荷の溜まる速度が遅く、時間経過に対して電荷量の増加が少ない。一方で、下段に示した被写体が明るい場合は、光電変換部３１の電荷の溜まる速度が速い。そして、下段に示した場合よりも被写体がさらに明るい場合には、暗画像でも光電変換部３１の飽和量まで電荷が溜まってしまう懸念がある。

図６（ｂ）は、図５（ｂ）の動作モード時（暗画像における光電変換部から保持部への転送を２回にしている場合）の電荷量の推移を示している。上段に示した被写体が暗い場合は、図６（ａ）における光電変換部３１の電荷のたまる速度と同等である。しかし、図６（ｂ）で示すように、図６（ａ）の下段に示した場合よりも被写体が明るい場合、光電変換部３１に電荷が溜まる速度が速くも、保持部３２へ一度電荷を転送するため、光電変換部３１の飽和量を超えた電荷量まで電荷を取得することが可能となる。

このようにして、暗画像では、光電変換部３１から保持部３２へ複数回転送を行うことで、暗画像の特に明るい被写体のダイナミックレンジを向上させることが可能となる。

図７は本実施形態の撮像装置におけるＨＤＲ合成を行う場合の動作をフローチャートに示したものである。なお、本フローチャートの処理はシステム制御ＣＰＵが実行する。

まず、ステップＳ１において、システム制御ＣＰＵは、ＨＤＲモードの設定を確認する。ＯＮであった場合にはステップＳ２に処理を進め、ＯＦＦであった場合にはステップＳ７に処理を進める。なお、ＨＤＲモードの設定は不図示の操作部材を用いてユーザーにより指示可能としてもよいし、被写体の輝度分布を解析した結果を用いて自動的に設定するようにしてもよい。

ステップＳ２において、システム制御ＣＰＵは、撮像素子制御部１０５を制御し、暗画像取得用の設定値を撮像素子１０２に送信する。この設定により、撮像素子１０２は図５（ｂ）に示した動作モードにて動作を開始する。そして、暗画像を取得した後にステップＳ３に処理を進める。

ステップＳ３において、システム制御ＣＰＵは、ステップＳ２にて取得した暗画像をフレームメモリ１０７に記録させる。そして、ステップＳ４に処理を進める。

ステップＳ４において、システム制御ＣＰＵは、撮像素子制御部１０５を制御し、明画像取得用の設定値を撮像素子１０２に送信する。この設定により、撮像素子１０２は図５（ｂ）に示した動作モードにて動作を開始する。そして、明画像を取得した後にステップＳ５に処理を進める。

ステップＳ５において、システム制御ＣＰＵは、明画像を取得し、所定の処理を行った明画像とフレームメモリ１０７に記録した暗画像を画像合成部１０６に出力する。そして、ステップＳ６に処理を進める。

ステップＳ６において、システム制御ＣＰＵは、画像合成部１０６を制御し、暗画像と明画像を用いてＨＤＲ合成を行う。ここでは、ＨＤＲ合成の詳細は省略する。そしてステップＳ７に処理を進める。

ステップＳ７において、システム制御ＣＰＵは、撮像動作を続行するかを判定し、続行する場合はステップＳ１まで処理を戻す。

上述したように、ＨＤＲ合成するための暗画像取得の際に、光電変換部か３１ら保持部３２への転送を複数回行うことで、被写体明部のダイナミックレンジを向上させることができる。さらには、複数回の転送は必要な露出時間内で行うために、フレームレートの低下も抑えることができる。

なお、本例では暗画像を取得してから、明画像を取得する構成になっているが、順序は逆でも良い。また、暗画像取得時及び明画像取得時の両場合においての２回以上の転送を行うようにしてもよい。この場合、明画像取得時の転送回数と比較して暗画像取得時の転送回数の方が多いことが好ましい。

なお、図７のステップＳ２において図５（ｂ）に示した動作モードで動作する例を示したが、画像信号を増幅するためのゲイン設定等を考慮して、高ゲイン時（被写体が暗い場合）には図５（ａ）に示した動作モードで動作する判定動作を行うようにしてもよい。

（第２の実施形態）
第２の実施形態においては撮像装置及び撮像素子１０２の各構成は同様であるため、その説明を省略する。本実施形態では、第１の実施形態と異なる部分である暗画像取得の際に、光電変換部３１から保持部３２への転送を複数回行ったときの、増幅部３３の動作について詳細に説明する。

図５（ｂ）で示した動作を行い、光電変換部３１の飽和量を拡大した場合に、保持部３２以降の後段の回路においても拡大した飽和量に対応する必要がある。特に、保持部３２の飽和量を最大まで出力させるためには、増幅部３３の容量値も大きくする必要がある。一方で、増幅部３３の容量を大きくすると、増幅部３３の増幅度は低下してしまう。このため、明画像を取得する場合には、増幅度を上げるために増幅部３３の容量値は小さい方が好ましい。本実施形態において、暗画像取得時と明画像取得時で増幅部３３の容量値を可変するため、ＦＤｉｎｃを制御する動作に関して詳述する。

ここで、図３で示した画素の回路においてＦＤｉｎｃがＯＮした場合、増幅部３３には補助容量４０が追加されることとなり、補助容量分の容量値が増加することとなる。そのため、暗画像取得時には、ＦＤｉｎｃをＯＮし、増幅部３３の容量値を大きくし、明画像取得時には、ＦＤｉｎｃはＯＦＦし、増幅部３３の容量値を小さくするように制御することが好ましい。

図８は本実施形態の撮像装置におけるＨＤＲ合成を行う場合の動作をフローチャートに示したものである。なお、本フローチャートの処理はシステム制御ＣＰＵが実行する。図８のフローチャートに示した処理において図７のステップＳ２に相当するステップ以外は図７の処理と同様であるため、その説明を所略する。以下では、図７のステップＳ２に相当するステップＳ８に関して説明する。

ステップＳ８において、システム制御ＣＰＵは、図７のステップＳ２で行う制御に加えて、撮像素子制御部１０５を制御し、ＦＤｉｎｃをＯＮする制御を行う。本動作により増幅部３３で利用可能な電荷量を大きくすることが可能となる。一方で、ステップＳ４において、明画像を取得する際は、図７と同様にＦＤｉｎｃをＯＦＦする。

上述したように、ＨＤＲ合成処理するための暗画像取得の際に、光電変換部３１から保持部３２への転送を複数回行い、且つ飽和量が増大した場合でも増幅部３３の電荷の容量値を変える。このことで、取得できる飽和量を向上させ、被写体明部のダイナミックレンジを向上させることができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 光学レンズ
１０２ 撮像素子
１０３ 画像処理部
１０４ 露出制御部
１０５ 撮像素子制御部
１０６ 画像合成部
１０７ フレームメモリ

Claims (8)

1. 入射光によって生じた電荷の蓄積を行う光電変換部と、前記光電変換部で蓄積された電荷を保持する保持部と、前記保持部に保持された電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、前記光電変換部で発生した電荷をリセットするリセットスイッチとをそれぞれが有し、且つ行列状に配置された複数の画素と、
   前記複数の画素における前記第１の転送スイッチ、前記リセットスイッチを制御する制御手段と、
   前記制御手段による前記リセットスイッチを制御するタイミングと前記第１の転送スイッチを制御するタイミングで決定される露出時間に関連する設定パラメータを設定するための設定手段と、
   を備える撮像素子であって、
   前記制御手段は、前記設定パラメータによって設定された第１の露出時間と前記第１の露出時間よりも長い第２の露出時間を用いて周期的に制御する場合に、前記第１の露出時間において前記第１の転送スイッチを制御する回数が前記第２の露出時間において前記第１の転送スイッチを制御する回数よりも多く制御することを特徴とする撮像素子。
2. 前記制御手段は前記設定パラメータに基づいて前記第２の転送スイッチを制御し、
   前記第１の転送スイッチ及び前記リセットスイッチはそれぞれ複数行に対して同時に制御され、且つ前記第２の転送スイッチは前記複数行に対して順次制御されることを特徴とする請求項１に記載の撮像素子。
3. 前記制御手段は前記第１の露出時間による制御と前記第２の露出時間による制御を１フレーム毎に周期的に切換えることを特徴とする請求項１又は２に記載の撮像素子。
4. 前記制御手段は、前記第１の露出時間と前記第２の露出時間を用いて周期的に制御する場合に、前記第１の露出時間において前記第１の転送スイッチの制御を２回行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. 前記増幅部は転送された電荷に基づいて出力する信号の増幅度を可変するための可変手段を含み、
   前記制御手段は、前記第１の露出時間と前記第２の露出時間を用いて周期的に制御する場合に、前記第１の露出時間において生じた電荷に基づいて出力する信号の増幅度を、前記第２の露出時間において生じた電荷に基づいて出力する信号の増幅度よりも小さく制御することを特徴とする請求項１乃至４のいずれか１項に記載の撮像素子。
6. 少なくとも前記複数の画素を含む第１のチップと、前記制御手段及び前記設定手段の少なくとも一方を含む第２のチップとが積層構造を有することを特徴とする請求項１乃至５のいずれか１項に記載の撮像素子。
7. 請求項１乃至６のいずれか１項に記載の撮像素子と、
   前記撮像素子から出力される信号に基づいて画像データを生成する生成手段と、
   前記第１の露出時間において生じた電荷に基づいて生成された暗画像に関する画像データと、前記第２の露出時間において生じた電荷に基づいて生成された明画像に関する画像データとを合成してダイナミックレンジが拡大する合成手段とを備えることを特徴とする撮像装置。
8. 入射光によって生じた電荷の蓄積を行う光電変換部と、前記光電変換部で蓄積された電荷を保持する保持部と、前記保持部に保持された電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ電荷を転送する第２の転送スイッチと、前記光電変換部で発生した電荷をリセットするリセットスイッチとをそれぞれが有し、且つ行列状に配置された複数の画素と、
   前記複数の画素における前記第１の転送スイッチ、前記リセットスイッチを制御する制御部と、
   前記制御部が前記リセットスイッチを制御するタイミングと前記第１の転送スイッチを制御するタイミングで決定される露出時間に関連する設定パラメータを設定するための設定部と、
   を備える撮像素子の制御方法であって、
   前記設定パラメータによって設定された第１の露出時間と前記第１の露出時間よりも長い第２の露出時間を用いて周期的に制御する制御ステップを含み、
   前記制御ステップにおいて、前記第１の露出時間において前記第１の転送スイッチを制御する回数は前記第２の露出時間において前記第１の転送スイッチを制御する回数よりも多いことを特徴とする撮像素子の制御方法。

Images