JP2010021745A - 固体撮像装置、固体撮像装置の駆動方法 - Google Patents

Abstract

【課題】感度や解像度を低下させず、また、駆動周波数を高速化することなくフレームレートを高速化することを目的とする。
【解決手段】被写体像を固体撮像素子の受光面に結像するための１個の撮像レンズを有し、前記撮像レンズと前記固体撮像素子の結像面の間に、入射光を３分割する手段を設けて、３個の被写体像に分割し、前記分離された被写体像を３個の固体撮像素子により撮像する手段を有し、前記固体撮像素子は、水平方向に隣接する３画素を混合して画像を出力する手段を有し、３個の前記固体撮像素子から得られる画素信号の画素重心が、互いに水平方向に１画素ピッチずつずれるように、前記固体撮像素子それぞれに異なる駆動パルスを入力することにより、感度や解像度を低下させず、また、駆動周波数を高速化することなくフレームレートを高速化することができる。
【選択図】図４

Description

本発明は、固体撮像素子を用いた固体撮像装置、固体撮像装置の駆動方法に関する。

スポーツ番組放送等で馴染みの深いスローモーションは、テレビジョン固体撮像装置のフレームレートを高速化させて被写体の素早い動きを短い蓄積時間で記録し、後でスロー再生するものである。映画制作などでも、フレームレートを高速で撮影し、編集時にフレーム間引きや合成等により映像にメリハリを与える手法が使われている。また、現行のＨＤＴＶで主流となっている方式は、走査線１１２５本、６０Ｈｚインターレース（フレームレート３０Ｈｚ）方式であるが、６０Ｈｚノンインターレース方式はフレームレートが２倍に向上するため、フリッカが少なく動きに対してより滑らかな違和感の少ない高精細な映像を得ることができるため、今後のＴＶ方式として注目されている。このようにフレームレートの高速化は映像の高画質化に有用であることから、より高速なフレームレートで撮影できる固体撮像装置が求められている。

固体撮像装置のフレームレートをｎ倍（ｎは２以上の整数）に高速化する手段としては、固体撮像装置に搭載される固体撮像素子に入力される駆動周波数をｎ倍にすることにより画像信号のデータレートをｎ倍に高速化することは容易に考えられる。しかしながら、ＣＣＤ等の固体撮像素子の駆動周波数を単純にｎ倍して、半導体内部の電荷転送速度や出力アンプの周波数帯域の限界を超えて高速化すると、転送効率の低下および出力波形の鈍りが生じて画像が水平または垂直方向にぼやけてしまい、著しく画質が低下する問題がある。また、これらの問題を解決するためには多大な開発投資を必要とする場合が多く、また、前述の課題を克服しても、消費電力が増大しバッテリーによる連続駆動時間の減少や固体撮像素子の発熱により暗電流が増大し信号のＳＮが低下するといった問題がある。

これらの問題を解決する手段として、固体撮像素子の駆動周波数は変えずにフレームレートを向上させる各種提案がなされている。
以下、従来の固体撮像素子について図１２〜図１６を用いて説明する。

図１２は従来のフレームレートを高速化できる固体撮像装置の構造を示すブロック図、図１３は従来のフレームレートを高速化できる固体撮像装置の動作を示すタイミングチャートである。図１４は従来の固体撮像素子の電極構成を例示する図、図１５は従来の固体撮像装置における電荷転送動作を説明する図、図１６は従来の固体撮像装置における３段目までの電荷を転送した状態を説明する図である。

従来の固体撮像素子は、図１２、図１３に示すように、青、緑、赤色分解プリズム光学系を用いたカラー固体撮像装置において、色毎に入射光を３分割する振幅分割プリズム等を用いた３個の分割光学系２５０を設け、３分割された光路上それぞれに３個の固体撮像素子２５５を設置する。それぞれの固体撮像素子２５５は通常のフレームレート即ち１倍速で駆動させ、電子シャッタで蓄積時間を通常の１／３とし、３個の固体撮像素子２５５の画像信号の出力タイミングの位相を１／３ずつずらして１フレーム分の画像信号を３個の固体撮像素子２５５で出力し、別々のフレームメモリーに記録する。その後、３個のフレームメモリーから画像信号を読み出す際に、１／３期間ずつ位相をずらして３倍速で順番に出力することにより、３倍のフレームレートの映像信号を得ることができる（例えば、特許文献１参照）。

また、入射光を２分割する振幅分割プリズム等を用いた分割光学系を設けて、２個の２：１インターレース動作が可能なＣＣＤ型固体撮像素子を設置し、垂直走査線の奇数ラインの信号を一方の固体撮像素子から出力し、偶数ラインの信号をもう一方の固体撮像素子から出力させて別々にラインメモリー等に記録し、それぞれの１ライン分の信号を２倍速で交互に読み出すことにより、２倍のフレームレートのノンインターレースの映像信号を得ることもできる。なお、上述の構成は２：１インターレース動作が可能なＣＣＤを用いて実現する例であるが、ｎ：１インターレース動作が可能なＣＣＤを用いた場合、ｎ倍速のフレームレートが得られることは容易に想像できる（例えば、特許文献２参照）。

さらに、２次元配列された光電変換素子から読み出された信号電荷を垂直転送した後、水平転送して画像処理を行う固体撮像装置において、垂直転送部の最終段を各列ごとに転送可能なように独立した電極と接続し、最終段の垂直転送をｎ列毎に行い、ｎ列分の画素を混合することにより、水平画素を１／ｎにすることができる。

例えば、図１４に示すように、垂直転送電極に入力するゲート電極としてφＶ１，φＶ２，φＶ３，φＶ４，φＶ５，φＶ６を設け、さらに、最終段の垂直転送電極に入力するゲート電極として、列毎に入力するφＶ３Ａ，φＶ３Ｂ，φＶ３Ｃ，φＶ５Ａ，φＶ５Ｂ，φＶ５Ｃを設ける構成とする。

このような構成の電荷転送部において、電荷転送動作の例を図１５，図１６を用いて説明する。
ここでは、図１５（ａ）に示すように、最終段第１列にデータ”１１”、最終段第２列にデータ”１２”、最終段第３列にデータ”１３”、・・・、最終段から２段目の第１列にデータ”２１”、最終段から２段目の第２列にデータ”２２”、最終段から２段目の第３列にデータ”２３”、・・・が格納された電荷を転送する場合を想定する。

まず、第３列，第６列等２列おきの垂直最終段データを水平転送部に転送する（図１５（ｂ））。次に、１列水平転送した後（図１５（ｃ））、第２列，第５列等２列おきの垂直最終段データを水平転送部に転送する（図１５（ｄ））。次に、１列水平転送した後（図１５（ｅ））、第１列，第４列等２列おきの垂直最終段データを水平転送部に転送する（図１５（ｆ））。この動作により、最終段の第１列，第２列，第３列等、３列毎のデータが１画素に混合される。以上の動作を続けることにより、３列毎のデータを混合して水平画素を１／３にしたデータを生成する。ここで、図１６は上記動作を３段分行った状態を示す（例えば、特許文献３参照）。
特開平４−１９２７８２号公報 特開平３−０１８１８６号公報 特開２００４−１８０２８４号公報

しかしながら、これらの方法を採用した場合、入射光をｎ分割する振幅分割プリズム等を用いることにより、１つの固体撮像素子に入射する光量が１／ｎに減少し、感度が１／ｎに低下する課題が存在する。

また、ＣＣＤ型固体撮像素子では、垂直方向に隣接するｎ個の画素の信号を水平ＣＣＤ内で加算することができるため、入射する光量の低下に伴う感度の低下を補うことが可能であるが、垂直画素数が１／ｎになるため、ｎを増やしていくと垂直解像度が極端に低下してしまう課題を有する。

本発明の固体撮像装置は、感度や解像度を低下させず、また、駆動周波数を高速化することなくフレームレートを高速化することを目的とする。

前記の目的を達成するため、本発明の固体撮像装置は、被写体像を集光する撮像レンズと、複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像をｎ分光（ｎは２以上の整数）する振幅分割プリズム群と、ｎ分光された前記被写体像それぞれを撮像するｎ個の固体撮像素子と、前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、前記ｎ個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路とを有し、前記固体撮像素子が垂直電荷転送時に任意のｍ列毎（ｍは２以上の整数）の画素を混合して出力することにより画素数を１／ｍにでき、前記ｎ個の固体撮像素子に入力される前記駆動パルスを制御することにより、前記各固体撮像素子で混合された前記画像信号の画素重心を分散させることを特徴とする。

また、被写体像を集光する撮像レンズと、複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像をｎ分光（ｎは２以上の整数）する振幅分割プリズム群と、ｎ分光された前記被写体像それぞれを撮像するｎ個の固体撮像素子と、前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、前記ｎ個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路とを有し、前記固体撮像素子が垂直電荷転送および水平電荷転送時にそれぞれ任意のｍ列毎（ｍは２以上の整数）の画素を混合して出力することにより画素数を１／（ｍ×ｍ）にでき、前記ｎ個の固体撮像素子に入力される前記駆動パルスを制御することにより、前記各固体撮像素子で混合された前記画像信号の画素重心を分散させることを特徴とする。

また、被写体像を集光する撮像レンズと、複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像を青色光，赤色光および２つの緑色光に４分光する振幅分割プリズム群と、４分光された前記被写体像それぞれを撮像する４個の固体撮像素子と、前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、前記４個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路とを有し、前記固体撮像素子が垂直電荷転送時に２列毎の画素を混合して出力することにより画素数を１／２にでき、前記固体撮像素子に前記駆動パルスを制御することにより、前記青色光の画素と前記赤色光の画素とを画素重心が１画素ずれるように混合し、前記２つの緑色光の画素を画素重心が１画素ずれるように混合し、前記信号処理回路にて、混合された前記青色光の画像信号と前記赤色光の画像信号とを画素重心をずらせた状態で再配置し、混合された２つの緑色光の画像信号を画素重心をずらせた状態で再配置することを特徴とする。

また、被写体像を集光する撮像レンズと、複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像を青色光，赤色光および２つの緑色光に４分光する振幅分割プリズム群と、４分光された前記被写体像それぞれを撮像する４個の固体撮像素子と、前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、前記４個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路とを有し、前記固体撮像素子が垂直電荷転送および水平電荷転送時にそれぞれ２列毎の画素を混合して出力することにより画素数を１／４にでき、前記固体撮像素子に前記駆動パルスを制御することにより、前記青色光の画素と前記赤色光の画素とを画素重心が１画素ずれるように混合し、前記２つの緑色光の画素を画素重心が１画素ずれるように混合し、前記信号処理回路にて、混合された前記青色光の画像信号と前記赤色光の画像信号とを画素重心をずらせた状態で再配置し、混合された２つの緑色光の画像信号を画素重心をずらせた状態で再配置することを特徴とする。

さらに、本発明の固体撮像装置の駆動方法は、複数に分光された被写体像から撮像画像を生成する固体撮像装置の駆動方法であって、前記分光された被写体像毎に光電変換する工程と、前記分光された被写体像毎に画素重心をずらせながら前記各分光された被写体像の画素を混合する工程と、前記画素重心をずらせた分光された被写体像を再配置して前記撮像画像を生成する工程とを有することを特徴とする。

また、前記分光された被写体像毎の混合を垂直電荷転送時に任意の列毎に行うことを特徴とする。
また、前記分光された被写体像毎の混合を、さらに、水平方向においても任意の画素毎に行うことを特徴とする。

また、前記被写体像の分光を、青色光，赤色光および２つの緑色光の４つに分光し、前記被写体像の画素を混合する工程において、前記青色光と前記赤色光を互いに画素重心がずれるように２画素ずつ混合し、前記２つの緑色光を互いに画素重心がずれるように２画素ずつ混合し、前記撮像画像を生成する工程において、混合された前記青色光と前記赤色光を再配置し、混合された前記２つの緑色光を再配置することを特徴とする。

以上により、感度や解像度を低下させず、また、駆動周波数を高速化することなくフレームレートを高速化することができる。

（第１の実施形態）
本発明の第１の実施形態について、ｎ＝３を例にとり図１〜図４を参照して説明する。
図１は第１の実施形態に係る固体撮像装置（カメラ）の光学系を示す概略図である。図２は第１の実施形態に係る固体撮像装置の構成を示すブロック図、図３は第１の実施形態に係る固体撮像装置の電荷転送の様子を示す図であり、図３（ａ）は垂直最終段の電荷転送模式図、図３（ｂ）はタイミングチャートである。図４は第１の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図である。

図１において、１は被写体、２は撮像レンズ、３は光束を約１／３ずつの振幅の光束に分割するための振幅分割プリズム群、７、１０、１１は固体撮像素子である。振幅分割プリズム群３は、第１のプリズム４と、第２のプリズム５と、第３のプリズム８と、第１の振幅分割膜６および第２の振幅分割膜９により構成される。

被写体１からの被写体像は撮像レンズ２により集光され、振幅分割プリズム群３に入射される。前記、振幅分割プリズム群３に入射した光束は、第１のプリズム４と第２のプリズム５間に形成された第１の振幅分割膜６により、光束の約１／３が反射して第１のプリズム４の入射面にて全反射し、第１の固体撮像素子７に結像される。振幅分割プリズム群３の第１の振幅分割膜６を透過した残りの光束は、第２のプリズム５と第３のプリズム８間に形成された第２の振幅分割膜９により、残りの光束の約１／２は反射して第２のプリズム５の入射面にて全反射し、第２の固体撮像素子１０に結像され、振幅分割膜９を透過した光束は、第３の固体撮像素子１１に結像される。即ち、前記被写体像が１／３ずつに３分割され、固体撮像素子７、１０、１１それぞれに結像し、電気信号に変換される。

前記固体撮像素子７、１０、１１は、垂直最終段が水平方向に隣接する３列単位の繰り返しで構成され、前記各垂直最終段は各画素の信号電荷を水平転送路へ各列独立に転送できる構造を有する。

これにより、隣接する３列単位の垂直最終段の内、まず水平転送最終段から最も遠い第３列目の垂直最終段の信号電荷を水平転送路に転送し、１画素分水平方向転送し、次に水平転送最終段から２番目に遠い第２列目の垂直最終段の信号電荷を水平転送路に転送して前記第３列目の垂直最終段の信号電荷と水平転送路内で混合し、さらに１画素分水平方向転送し、最後に残りの第１列目の垂直最終段の信号電荷を水平転送路に転送して前記第３列目および第２列目の垂直最終段の信号電荷と水平転送路内で混合することができる。この動作を繰り返すことにより、図１５，図１６に示すように、水平方向に隣接する３画素を混合することができる。このため、水平転送路によって転送すべき混合後の画素数が、水平混合しない場合の固体撮像素子の画素数１／３になり、水平混合しない場合に比べて駆動周波数を変えることなくフレームレートを３倍にできる。さらに、画素混合を行うため感度を１／３に低下させることがない。

なお、このときの垂直転送部の電極は６相（図１４におけるφＶ１，φＶ２，φＶ３，φＶ４，φＶ５，φＶ６に相当）であるが、３相、４相などでも可能である。また、垂直最終段が各画素の信号電荷を水平転送路へ各列独立に転送できる構造の例としては、図１４と同様に、φＶ３Ａ、φＶ３Ｂ、φＶ３Ｃ、φＶ５Ａ、φＶ５Ｂ、φＶ５Ｃが独立電極であればよい。

図２において、１２は固体撮像装置制御部、１３は駆動パルス発生器、１４１は第１の固体撮像素子７を駆動する駆動回路、１４２は第２の固体撮像素子１０を駆動する駆動回路、１４３は第３の固体撮像素子１１を駆動する駆動回路、１５１は第１の固体撮像素子７のＡＦＥ（アナログフロントエンド）回路、１５２は第２の固体撮像素子１０のＡＦＥ、１５３は第３の固体撮像素子１１のＡＦＥ、１６は信号処理回路、１７は画像出力である。信号処理回路１６はメモリーおよびメモリー制御回路から構成されている。

駆動パルス発生器１３により発生した、３つの駆動パルスは、それぞれ駆動回路１４１、１４２、１４３に入力され、固体撮像素子７、１０、１１を所定の電圧振幅で駆動し、前記１／３ずつに３分割された被写体像が、３つの電気信号に変換される。前記３つの電気信号は、ＡＦＥ回路１５１、１５２、１５３に入力され、雑音除去やレベル調整等のアナログ信号処理後に内蔵のＡＤ変換器によりデジタル信号に変換される。さらに前記デジタル信号は信号処理回路１６に伝送されて一旦メモリーに記録され、後述のように固体撮像装置制御部１２による制御により３分割された被写体画像の各画素が再配置されて出力される。

図３は、図１３に示す構造の固体撮像素子を駆動する場合の駆動パルスのタイミングチャートと電荷転送模式図である。前述した背景技術との相違点は、背景技術では水平転送電極（φＨ１，φＨ２）のパルス数を２として水平方向の移動を２列としているのに対し、水平転送電極（φＨ１，φＨ２）のパルス数を１として水平方向に隣接する３画素を混合する点である。図３において、ゲート電極（Ｖ１、Ｖ２，Ｖ３Ａ，Ｖ３Ｂ，Ｖ３Ｃ、Ｖ４、Ｖ５Ａ，Ｖ５Ｂ，Ｖ５Ｃ，Ｖ６）それぞれに与えられる駆動パルスが高レベルの場合に、当該電極はストレージ部となる。また、駆動パルスが低レベルの場合に、当該電極はバリア部となる。

このタイミングチャートに示すように、固体撮像素子７、１０、１１の独立電極（Ｖ３Ａ，Ｖ３Ｂ，Ｖ３Ｃ、Ｖ５Ａ，Ｖ５Ｂ，Ｖ５Ｃ）にそれぞれに異なるパルスを入力することにより、固体撮像素子７の水平方向の画素混合を、３列目、２列目、１列目の順番に水平転送路内で行い、固体撮像素子１０の水平方向の画素混合を、２列目、１列目、３列目の順番に水平転送路内で行い、固体撮像素子１１の水平方向の画素混合を、１列目、３列目、２列目の順番に水平転送路内で行う。このように、固体撮像素子毎に水平方向に隣接する３列の混合画素群を１画素ずつずらして混合するため、混合後の画素重心を各固体撮像素子間で１画素ずつずらすことができる。

図４は、図３に示すタイミングチャートに従って各固体撮像素子を駆動し、図２における信号処理回路１６により混合後の画素重心を３個の固体撮像素子間で互いに補完して再配置した場合の画素重心の説明図である。図中の×は固体撮像素子の列方向および行方向に２次元配列された画素中心を示し、○，◇，□はそれぞれ固体撮像素子７、１０、１１の画素混合後の画素重心を示し、１８は混合画素群を示す。図４に示すように、異なる駆動パルスを入力することで、固体撮像素子毎に水平方向に隣接する３画素の混合画素群を１画素ずつ水平方向にずらして混合した後、３つの固体撮像素子の混合した画素データを画素重心位置に再配置することにより、３つの固体撮像素子の画素を混合した後の画素重心が分散されて水平方向に１画素ずつずれる。そのため、信号処理回路１６により、混合後の画素重心を３個の固体撮像素子間で互いに補完し、再配置した画像の画素数が１つの固体撮像素子の画素数と同じになるように制御することができるため、３倍速のフレームレートが得られるとともに、感度の低下と水平方向の空間解像度の劣化を抑制することができる。また、駆動周波数を高速化することなくフレームレートを高速化できるため、消費電力の増大や暗電流が増大して信号のＳＮが低下することを抑制することができる。

なお、画素重心を１画素ずつずらすために、本実施形態では各固体撮像素子に異なる駆動パルスを入力する構成としたが、独立電極が異なる３つの固体撮像素子を用意し、すべての固体撮像素子に同一の駆動パルスを加えても、本実施の形態と同じの出力画像を得ることができる。しかし、本実施の形態のように異なる駆動パルスを入力する場合は、駆動パルス発生器のソフトウェア的な書き換えもしくは、プリント配線基板の変更で対応が可能であるため、より低コストに実現できるメリットがある。

また、本実施の形態では、各固体撮像素子に入力する駆動パルスを固体撮像装置制御部１２により切り替えることが可能なため、水平方向に画素混合しない通常のフレームレートの駆動パルスを入力して、ほぼ同一の３つ電気信号を信号処理回路１６に入力することができるため、得られた３つの電気信号を加算して被写体像を合成することにより、信号のダイナミックレンジを１つの固体撮像素子を使用した場合と比較して概３倍に拡大することができる。

以上、ｎ＝３を例に取り説明したが、ｎが２または４以上であっても、振幅分割膜を有する振幅分割プリズムの数を増減させ、それに対応して駆動回路および信号処理回路を適宜変更することにより、ｎ倍速のフレームレートが得られるとともに、感度の低下と水平方向の空間解像度の劣化を抑制することができる。

（第２の実施形態）
本発明の第２の実施形態について、ｎ＝３を例にとり図１〜図３，図５を参照して説明する。第２の実施形態に係る固体撮像装置の光学系は、第１の実施形態の固体撮像装置の光学系の概略図、図１と同一である。

図５は第２の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図である。
第２の実施形態に係る固体撮像素子７、１０、１１は、第１の実施形態の固体撮像素子と同様に、垂直最終段が水平方向に隣接する３列単位の繰り返しで構成され、前記各垂直最終段は各画素の信号電荷を水平転送路へ各列独立に転送できる構造を有する。さらに、前記固体撮像素子は、垂直方向に隣接する３画素を混合することができる構造を有する。この構造は、例えば、垂直転送段を３画素単位の繰り返しとし、各画素から独立に垂直転送路へ読み出しできる構成にすることで、容易に垂直方向に隣接する３画素を混合することができる。即ち、このような構成により、画素に蓄積された信号電荷を垂直転送路に読み出す際に、垂直方向に隣接する３画素の信号電荷を同じ垂直転送段に読み出すことができるため、垂直方向に隣接する３画素を混合することができる。

このため、水平方向の画素数が１／３、垂直方向の画素数も１／３になり、全体の画素数が１／９になる。従って、画素混合をしない場合に比べて駆動周波数を変えることなくフレームレートを９倍にできる。さらに画素混合を行うため感度を低下させることがない。

第２の実施形態に係る固体撮像装置のブロック図は、第１の実施形態に係る固体撮像装置のブロック図、図２と同一である。さらに、前記固体撮像素子を駆動する場合の駆動パルスのタイミングチャートと電荷転送模式図は図３と同一である。なお、図示しないが、前述のように垂直転送段を３画素単位の繰り返しとし、各画素から独立に垂直転送路へ読み出しできる構成にすることで、容易に垂直方向に隣接する３画素を混合することができるため、垂直最終段に電荷が転送された時点で垂直画素数は１／３になっている。

このタイミングチャートに示すように、固体撮像素子７、１０、１１の独立電極Ｖ３Ａ，Ｖ３Ｂ，Ｖ３Ｃ、Ｖ５Ａ，Ｖ５Ｂ，Ｖ５Ｃ）にそれぞれに異なるパルスが入力されるため、混合後の画素重心を、第１の実施形態と同様に各固体撮像素子間で１画素ずつずらすことができる。

図５は、図３に示すタイミングチャートに従って各固体撮像素子を駆動し、図２における信号処理回路１６により混合後の画素重心を３個の固体撮像素子間で互いに補完して再配置した場合の画素重心の説明図である。図中の×は画素混合しない場合の画素中心を示し、○，◇，□は固体撮像素子７、１０、１１の画素混合後の画素重心を示す。

図５に示すように、３つの固体撮像素子の画素混合後の画素重心が水平方向に１画素ずつずれるように転送・混合を行うため、固体撮像素子７の水平方向の画素重心は２列目と同一位置にあり、固体撮像素子１０の水平方向の画素重心は３列目と同一位置にあり、固体撮像素子１１の水平方向の画素重心は１列目と同一位置にある。さらに、垂直方向に隣接する３画素の組み合わせを、フレーム毎に変更し、３フレーム周期で動作を繰り返すことにより、各固体撮像素子の垂直方向の画素重心が１フレーム毎に異なるように制御することにより、第１フレームでは垂直方向の画素重心を２行目と同一位置に（図５（ａ））、第２フレームでは垂直方向の画素重心を３行目と同一位置に（図５（ｂ））、第３フレームでは垂直方向の画素重心を１行目と同一位置に（図５（ｃ））することができる。そのため、信号処理回路１６により、図５（ｄ）のように、混合後の画素重心を３個の固体撮像素子間で互いに補完し、３フレーム分の画素重心を再配置した画像の画素数が１つの固体撮像素子の画素数と同じになるように制御することができるため、９倍速のフレームレートが得られるとともに、重心をずらした画像を再配置するため、感度の低下と水平および垂直方向の空間解像度の劣化を抑制することができる。

なお、図５では各固体撮像素子の垂直駆動パルスが各フレーム内で同一の場合を例示したが、各フレーム内で各固体撮像素子に異なる駆動パルスを印加し、垂直方向に混合される画素群を各フレーム内で異なるように駆動しても良い。この場合も、前述のように３フレーム分の画素重心を再配置した画像の画素数が１つの固体撮像素子の画素数と同じになるように制御することができる。

また、本実施の形態では、各固体撮像素子に入力する駆動パルスを固体撮像装置制御部１２により切り替えることが可能なため、水平方向に画素混合しない通常のフレームレートの駆動パルスを入力して、ほぼ同一の３つ電気信号を信号処理回路１６に入力することができるため、得られた３つの電気信号を加算して被写体像を合成することにより、信号のダイナミックレンジを１つの固体撮像素子を使用した場合と比較して概３倍に拡大することができる。

以上、ｎ＝３を例に取り説明したが、ｎが２または４以上であっても、振幅分割膜を有する振幅分割プリズムの数を増減させ、それに対応して駆動回路および信号処理回路を適宜変更することにより、ｎ×ｎ倍速のフレームレートが得られるとともに、感度の低下と空間解像度の劣化を抑制することができることができる。

（第３の実施形態）
本発明の第３の実施形態について、図６〜図１１を参照して説明する。
図６は第３の実施形態に係る固体撮像装置の光学系を示す概略図である。図７は第３の実施形態に係る固体撮像装置の構成を示すブロック図、図８は第３の実施形態に係る固体撮像素子の電極構成を例示する図である。図９は第３の実施形態に係る固体撮像装置の電荷転送の様子を示す図であり、図９（ａ）は緑色光用固体撮像素子の垂直最終段の電荷転送模式図、図９（ｂ）は緑色光用固体撮像素子のタイミングチャート、図９（ｃ）は青および赤色光用固体撮像素子の垂直最終段の電荷転送模式図、図９（ｄ）は青および赤色光用固体撮像素子のタイミングチャートである。図１０は第３の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図であり、図１０（ａ）は各個体撮像素子における画素重心を示す図、図１０（ｂ）は再配置後の画素重心を示す図である。図１１は第３の実施形態に係る固体撮像素子の画素信号を垂直水平両方向に再配置した場合の画素重心を説明する図であり、図１１（ａ）は第１フレームにおける画素重心を示す図、図１１（ｂ）は第２フレームにおける画素重心を示す図である。

図６において、１は被写体、２は撮像レンズ、２０３は光束を約１／３ずつの振幅の光束に分割するための振幅分割プリズム群、２０７、２１０、２１１、２１４は固体撮像素子である。プリズム群２０３は、第１のプリズム２０４と、第２のプリズム２０５と、第３のプリズム２０８と、第４のプリズム２１２と、第１の色分割膜２０６および第２の色分割膜２０９、第１の振幅分割膜２１３により構成される。

被写体１からの被写体像は撮像レンズ２により集光され、色分割プリズム群２０３に入射する。色分割プリズム群２０３に入射した光束は、第１のプリズム２０４と第２のプリズム２０５間に形成された第１の色分割膜２０６により、光束の青色光は反射して第１のプリズム２０４の入射面にて全反射し、青色光用の固体撮像素子２０７に結像される。色分割プリズム群２０３の第１の色分割膜２０６を透過した光束は、第２のプリズム２０５と第３のプリズム２０８間に形成された第２の色分割膜２０９により、光束の赤色光は反射して第２のプリズム２０５の入射面にて全反射し、赤色光用の固体撮像素子２１０に結像される。第２の色分割膜２０９を透過した光束は、第３のプリズム２０８と第４のプリズム２１２間に形成された第１の振幅分割膜２１３により、光束の約１／２は反射して第１の緑色光用の固体撮像素子２１４に結像される。振幅分割膜２１３を透過した光束は、第２の緑色光用の固体撮像素子２１１に結像される。即ち、前記被写体像が青、赤、緑に色分解され、さらに緑色は振幅が１／２に２分割され、固体撮像素子２０７、２１０、２１１、２１４それぞれに結像し、電気信号に変換される。

図７は、第３の実施形態に係る固体撮像装置のブロック図である。２２２は固体撮像装置制御部、２２３は駆動パルス発生器、２４１は第１の固体撮像素子２０７を駆動する駆動回路、２４２は第２の固体撮像素子２１０を駆動する駆動回路、２４３は第３の固体撮像素子２１１を駆動する駆動回路、２４４は第４の固体撮像素子２１４を駆動する駆動回路、２５１は第１の固体撮像素子２０７のＡＦＥ（アナログフロントエンド）、２５２は第２の固体撮像素子２１０のＡＦＥ、２５３は第３の固体撮像素子２１１のＡＦＥ、２５４は第４の固体撮像素子２１４のＡＦＥ、２１６は信号処理回路、２１７は画像出力である。信号処理回路２１６はメモリーおよびメモリー制御回路から構成されている。

駆動パルス発生器２２３により発生した異なる駆動パルスは、駆動回路２４１〜２４４に入力され、固体撮像素子２０７、２１０、２１１、２１４を所定の電圧振幅で駆動し、固体撮像素子２０７によって青色光の被写体像が、固体撮像素子２１０によって赤色光の被写体像が、固体撮像素子２１１および２１４によって緑色光の被写体像が、４つの電気信号に変換される。前記４つの電気信号は、ＡＦＥ回路２５１〜２５４に入力され、雑音除去やレベル調整等のアナログ信号処理後に内蔵のＡＤ変換器によりデジタル信号に変換される。さらに、前記デジタル信号は信号処理回路２１６に伝送されて一旦メモリーに記録され、固体撮像装置制御部２２２による制御により被写体画像の各画素が再配置され、青、赤、緑のカラー化画像が出力される。

図８は、前記固体撮像素子２０７、２０９、２１０、２１４の電極構成図である。垂直最終段が水平方向に隣接する２列単位の繰り返しで構成され、前記各垂直最終段は各画素の信号電荷を水平転送路へ各列独立に転送するための独立電極を少なくとも２つ有する。

これにより、前記、隣接する２列単位の垂直最終段の内、まず水平転送最終段から最も遠い第２列目の垂直最終段の信号電荷を水平転送路に転送し、１画素分水平方向転送し、次に水平転送最終段から２番目に遠い第１列目の垂直最終段の信号電荷を水平転送路に転送して前記第１列目の垂直最終段の信号電荷と水平転送路内で混合することができる。この動作を繰り返すことにより、水平方向に隣接する２画素を混合することができる。このため、水平転送路によって転送すべき混合後の画素数が、水平混合しない場合の固体撮像素子の画素数が１／２になり、水平混合しない場合に比べて駆動周波数を変えることなくフレームレートを２倍にできる。さらに画素混合を行うため感度を低下させることがない。

なお、固体撮像素子の構成は図８の構成に限定されることはなく、各列の垂直最終段は他の列とは独立なストレージ電極とバリア電極を少なくとも１つずつ有する構成であれば良い。

図９は、図８に示す構成の固体撮像素子を駆動する場合の駆動パルスのタイミングチャートと電荷転送模式図の一例である。図９において、ゲート電極（Ｖ１Ａ，Ｖ１Ｂ，Ｖ２、Ｖ３Ａ、Ｖ３Ｂ、Ｖ４）それぞれに与えられる駆動パルスが高レベルの場合に、当該電極はストレージ部となる。また、駆動パルスが低レベルの場合に、当該電極はバリア部となる。

このタイミングチャートに示すように、青色用の固体撮像素子２０７と赤色用の固体撮像素子２１０の独立電極（Ｖ１Ａ，Ｖ１Ｂ，Ｖ３Ａ、Ｖ３Ｂ）にそれぞれに異なるパルスを入力することにより、混合される画素重心を青色光の被写体像と赤色光の被写体像間で１画素ずつずらすことができる。また、第１の緑色用の固体撮像素子２１４と第２の緑色用の固体撮像素子２１１の独立電極（Ｖ１Ａ，Ｖ１Ｂ，Ｖ３Ａ、Ｖ３Ｂ）にそれぞれに異なるパルスを入力することにより、混合される画素重心を２つの緑色光の被写体像間で１画素ずつずらすことができる。

なお、青および赤色用の固体撮像素子の駆動については、最初の１行分の水平混合が完了した後、図９（ｄ）の囲み部分の水平転送パルスにより水平転送路を１段分水平転送し、同じく囲み部分の垂直最終段のＶ１ＡとＶ１Ｂおよび、Ｖ３ＡとＶ３Ｂに入力する駆動パルスを入れ替えることにより、青および赤色用の固体撮像素子の水平混合後の画素重心を１行毎に入れ替えることができる。

図１０（ｂ）は、図９（ｂ），図９（ｄ）に示すタイミングチャートに従って各固体撮像素子を駆動し、図７における信号処理回路２１６により混合後の画素重心を２個の固体撮像素子間で互いに補完して再配置した場合の画素重心の説明図である。図中の×は画素混合しない場合の画素中心を示し、○（青），◇（赤），□（第１の緑），△（第２の緑）は固体撮像素子２０７、２１０、２１４、２１１の画素混合後の画素重心を示す。

固体撮像素子２１４、２１１に互いに別の駆動パルスを印加して、水平方向に隣接する２画素の混合画素群を、互いに水平方向に１画素ずつずらして混合することにより、２つの緑色光用の固体撮像素子の画素混合後の画素重心を水平方向に１画素ずつずらすことができる。そのため、信号処理回路２１６により、混合後の画素重心を２個の固体撮像素子間で互いに補完し、再配置した画像の画素数が１つの固体撮像素子の画素数と同じになるように制御することができるため、２倍速のフレームレートが得られるとともに、感度の低下と水平方向の空間解像度の劣化を抑制することができる。

なお、緑色光用の固体撮像素子の水平方向の画素重心は１行毎に１画素分ずらすことも可能である。この場合、空間解像度は変らないが、固体撮像素子の転送効率の個体差が目立たないようにする効果が期待できる。

また、同様に、固体撮像素子２０７、２１０に互いに別の駆動パルスを印加し、水平方向に隣接する２画素の混合画素群を、互いに１画素ずつ水平方向にずらして混合することにより、青色光用の固体撮像素子２０７と赤色光用の固体撮像素子２１０の画素混合後の画素重心を水平方向に１画素ずつずらすことができる。そのため、信号処理回路２１６により、混合後の画素重心を青色光用の固体撮像素子と青色光用の固体撮像素子間で交互に出力することができるため、２倍速のフレームレートが得られるとともに、感度の低下を抑制することができる。

以上の動作により得られる出力画像は、緑色の画素数は混合しない場合の固体撮像素子の画素数と同じであるが、青色および赤色の水平方向の画素数が１／２である。
ところで、現在放送局内で使用されているＨＤＴＶの伝送方式は、伝送周波数の上限があるために、人間の視覚特性を利用して１走査線当たりのサンプリング数を、緑画素に対し青および赤画素を１／２に制限し、かつ、青と赤の解像度低下を抑えるために１走査線毎に青と赤のサンプルポイントを入れ替える、いわゆるオフセットサンプリング方式が主流である。

図１０に示す再配置後の各色の画素配置は、青および赤画素の画素数が緑画素の１／２であり、かつ、青および赤画素の画素重心も１行毎に入れ替えているため、前述のオフセットサンプリング方式と同じである。そのため、出力画像をオフセットサンプリング方式で伝送する場合は、青色および赤色の大きな解像度の劣化は生じない。

また、本実施の形態では、各固体撮像素子に入力する駆動パルスを固体撮像装置制御部２２２により切り替えることが可能なため、水平方向に画素混合しない通常のフレームレートの駆動パルスを入力して、ほぼ同一の３つ電気信号を信号処理回路２１６に入力することができるため、得られた３つの電気信号を加算して被写体像を合成することにより、信号のダイナミックレンジを１つの固体撮像素子を使用した場合と比較して概３倍に拡大することができる。

図１１は、第３の実施形態の変形例における固体撮像素子の画素信号を再配置した場合の画素重心の説明図である。図１０と異なる点は、垂直方向に隣接する２フレームも混合する点と、２フレーム内の画素重心が互いの画素を補完するように再配置している点である。即ち、緑色光用の２つの固体撮像素子に関しては、１フレーム目と２フレーム目で互いに水平および垂直方向に画素重心が入れ替わる様に駆動し、青および赤色光用の２つの固体撮像素子に関しては、垂直方向の画素重心が互いに１画素ずつずれ、かつ１フレーム目と２フレーム目で水平方向に画素重心が入れ替わる様に駆動する点である。

なお、青および赤色光用の２つの固体撮像素子に関しては、水平方向の画素重心が互いに１画素ずつずれ、かつ１フレーム目と２フレーム目で垂直方向に画素重心が入れ替わる様に駆動しても良い。

このように、水平および垂直方向に４画素混合するため、１フレーム当たりの１つの固体撮像素子の出力画素数が１／４に減少し、４倍のフレームレートが得られると共に、感度の低下を抑制することができる。

さらに、各フレームにおける再配置後の画素重心は破線で示すように緑２個、青１個、赤１個の２×２画素単位の配列となり、この画素配列は単板式のデジタルスチル固体撮像装置のカラーフィルタの画素配列として主流の方式であるベイヤー方式と同じであるため、欠落している画素情報を隣接画素により補完した場合のモワレや偽色等の画像劣化を抑制することが期待できる。

本発明は、感度や解像度を低下させず、また、駆動周波数を高速化することなくフレームレートを高速化することができ、固体撮像素子を用いた固体撮像装置および固体撮像装置の駆動方法等に有用である。

第１の実施形態に係る固体撮像装置の光学系を示す概略図 第１の実施形態に係る固体撮像装置の構成を示すブロック図 第１の実施形態に係る固体撮像装置の電荷転送の様子を示す図 第１の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図 第２の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図 第３の実施形態に係る固体撮像装置の光学系を示す概略図 第３の実施形態に係る固体撮像装置の構成を示すブロック図 第３の実施形態に係る固体撮像素子の電極構成を例示する図 第３の実施形態に係る固体撮像装置の電荷転送の様子を示す図 第３の実施形態に係る固体撮像素子の画素信号を再配置した場合の画素重心を説明する図 第３の実施形態に係る固体撮像素子の画素信号を垂直水平両方向に再配置した場合の画素重心を説明する図 従来のフレームレートを高速化できる固体撮像装置の構造を示すブロック図 従来のフレームレートを高速化できる固体撮像装置の動作を示すタイミングチャート 従来の固体撮像素子の電極構成を例示する図 従来の固体撮像装置における電荷転送動作を説明する図 従来の固体撮像装置における３段目までの電荷を転送した状態を説明する図

符号の説明

１ 被写体
２ 撮像レンズ
３ 振幅分割プリズム群
４ 第１のプリズム
５ 第２のプリズム
６ 第１の振幅分割膜
８ 第３のプリズム
９ 第２の振幅分割膜
７、１０、１１ 固体撮像素子
１２ 固体撮像装置制御部
１３ 駆動パルス発生器
１６ 信号処理回路
１７ 画像出力
１８ 混合画素群
１４１〜１４３ 駆動回路
１５１〜１５３ ＡＦＥ
２０３ プリズム群
２０４ 第１のプリズム
２０５ 第２のプリズム
２０６ 第１の色分割膜
２０７、２１０、２１１、２１４ 固体撮像素子
２０８ 第３のプリズム
２０９ 第２の色分割膜
２１２ 第４のプリズム
２１３ 第１の振幅分割膜
２１６ 信号処理回路
２１７ 画像出力
２２２ 固体撮像装置制御部
２２３ 駆動パルス発生器
２４１〜２４４ 駆動回路
２５０ 分割光学系
２５１〜２５４ ＡＦＥ
２５５ 固体撮像素子

Claims (8)

1. 被写体像を集光する撮像レンズと、
   複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像をｎ分光（ｎは２以上の整数）する振幅分割プリズム群と、
   ｎ分光された前記被写体像それぞれを撮像するｎ個の固体撮像素子と、
   前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、
   前記ｎ個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路と
   を有し、前記固体撮像素子が垂直電荷転送時に任意のｍ列毎（ｍは２以上の整数）の画素を混合して出力することにより画素数を１／ｍにでき、前記ｎ個の固体撮像素子に入力される前記駆動パルスを制御することにより、前記各固体撮像素子で混合された前記画像信号の画素重心を分散させることを特徴とする固体撮像装置。
2. 被写体像を集光する撮像レンズと、
   複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像をｎ分光（ｎは２以上の整数）する振幅分割プリズム群と、
   ｎ分光された前記被写体像それぞれを撮像するｎ個の固体撮像素子と、
   前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、
   前記ｎ個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路と
   を有し、前記固体撮像素子が垂直電荷転送および水平電荷転送時にそれぞれ任意のｍ列毎（ｍは２以上の整数）の画素を混合して出力することにより画素数を１／（ｍ×ｍ）にでき、前記ｎ個の固体撮像素子に入力される前記駆動パルスを制御することにより、前記各固体撮像素子で混合された前記画像信号の画素重心を分散させることを特徴とする固体撮像装置。
3. 被写体像を集光する撮像レンズと、
   複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像を青色光，赤色光および２つの緑色光に４分光する振幅分割プリズム群と、
   ４分光された前記被写体像それぞれを撮像する４個の固体撮像素子と、
   前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、
   前記４個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路と
   を有し、前記固体撮像素子が垂直電荷転送時に２列毎の画素を混合して出力することにより画素数を１／２にでき、前記固体撮像素子に前記駆動パルスを制御することにより、前記青色光の画素と前記赤色光の画素とを画素重心が１画素ずれるように混合し、前記２つの緑色光の画素を画素重心が１画素ずれるように混合し、前記信号処理回路にて、混合された前記青色光の画像信号と前記赤色光の画像信号とを画素重心をずらせた状態で再配置し、混合された２つの緑色光の画像信号を画素重心をずらせた状態で再配置することを特徴とする固体撮像装置。
4. 被写体像を集光する撮像レンズと、
   複数の振幅分割膜およびプリズムで構成されて前記撮像レンズで集光された前記被写体像を青色光，赤色光および２つの緑色光に４分光する振幅分割プリズム群と、
   ４分光された前記被写体像それぞれを撮像する４個の固体撮像素子と、
   前記固体撮像素子の電荷転送を制御する駆動パルスを生成する駆動パルス発生器と、
   前記４個の固体撮像素子から出力する画像信号を再配置して出力画像を出力する信号処理回路と
   を有し、前記固体撮像素子が垂直電荷転送および水平電荷転送時にそれぞれ２列毎の画素を混合して出力することにより画素数を１／４にでき、前記固体撮像素子に前記駆動パルスを制御することにより、前記青色光の画素と前記赤色光の画素とを画素重心が１画素ずれるように混合し、前記２つの緑色光の画素を画素重心が１画素ずれるように混合し、前記信号処理回路にて、混合された前記青色光の画像信号と前記赤色光の画像信号とを画素重心をずらせた状態で再配置し、混合された２つの緑色光の画像信号を画素重心をずらせた状態で再配置することを特徴とする固体撮像装置。
5. 複数に分光された被写体像から撮像画像を生成する固体撮像装置の駆動方法であって、
   前記分光された被写体像毎に光電変換する工程と、
   前記分光された被写体像毎に画素重心をずらせながら前記各分光された被写体像の画素を混合する工程と、
   前記画素重心をずらせた分光された被写体像を再配置して前記撮像画像を生成する工程と
   を有することを特徴とする固体撮像装置の駆動方法。
6. 前記分光された被写体像毎の混合を垂直電荷転送時に任意の列毎に行うことを特徴とする請求項５記載の固体撮像装置の駆動方法。
7. 前記分光された被写体像毎の混合を、さらに、水平方向においても任意の画素毎に行うことを特徴とする請求項６記載の固体撮像装置の駆動方法。
8. 前記被写体像の分光を、青色光，赤色光および２つの緑色光の４つに分光し、
   前記被写体像の画素を混合する工程において、前記青色光と前記赤色光を互いに画素重心がずれるように２画素ずつ混合し、前記２つの緑色光を互いに画素重心がずれるように２画素ずつ混合し、
   前記撮像画像を生成する工程において、混合された前記青色光と前記赤色光を再配置し、混合された前記２つの緑色光を再配置することを特徴とする請求項５〜請求項７のいずれかに記載の固体撮像装置の駆動方法。

Images