JP2005303546A - 撮像装置及び撮像素子の駆動方法 - Google Patents

Abstract

【課題】 安価で、かつ、同一露光にも関わらず輝度レベルの異なる複数画像を得ることで、容易にダイナミックレンジ拡大画像を生成できるようにする。
【解決手段】 複数の光電変換要素を有する撮像素子と、撮像素子の複数の光電変換要素の信号をインターレース走査で複数のフィールドに分けて読み出すフレーム読み出し手段とを有し、前記複数のフィールドは、複数の画素の信号を加算せずに読み出すフィールドと、複数の画素の信号を加算して読み出すフィールドとを含む。
【選択図】 図１

Description

本発明は、インターライン型のＣＣＤ等の撮像素子を用いて静止画像や動画像を得る撮像装置及び撮像素子の駆動方法に関する。

近年、ＣＣＤ等の撮像素子を用いて静止画像や動画像を得るデジタルカメラが数多く開発されている。しかしながら、ＣＣＤを始めとする固体撮像素子のダイナミックレンジは銀塩等と比較して狭く、撮影条件によっては画質が著しく劣化してしまうことがある。

そのため、固体撮像素子単体のもつダイナミックレンジを超える広ダイナミックレンジの画像を得るために、複数の輝度差のある画像を用い、明るい部分と暗い部分のどちらもつぶれることなく階調を持てるように合成する方法が一般的となっている。

この方法の一つとしては、異なる露光時間にて順次撮影した複数の画面を合成する方法がある（例えば、特許文献１参照）。

また、感度特性の異なる複数のイメージセンサを用いて輝度差のある複数の画像を得て、これらを合成してダイナミックレンジ拡大画像を生成する方法がある（例えば、特許文献２参照）。

特開平５−００７３３６号公報 特開平７−２０３３２０号公報

しかしながら、例えば特許文献１に開示された撮像装置では、露光量を変えて撮影した複数画像に時間差ができてしまい正確な合成画像が得られず、また、複数回の撮影に時間がかかってしまうという問題点がある。

また、特許文献２に開示された撮像装置では、複数のイメージセンサを使用するため、撮像素子のサイズやコストにかかる負担が大きくなってしまうという問題点がある。

本発明は上記の点に鑑みてなされたものであり、その目的は、安価で、かつ、同一露光にも関わらず輝度レベルの異なる複数画像を得ることで、容易にダイナミックレンジ拡大画像を生成できるようにすることにある。

本発明の撮像装置は、複数の光電変換要素を有する撮像素子と、前記撮像素子の前記複数の光電変換要素の信号をインターレース走査で複数のフィールドに分けて読み出すフレーム読み出し手段とを有し、前記複数のフィールドは、前記複数の画素の信号を加算せずに読み出すフィールドと、前記複数の画素の信号を加算して読み出すフィールドとを含むことを特徴とする。
また、本発明の撮像素子の駆動方法は、複数の光電変換要素を有する撮像素子の駆動方法であって、前記撮像素子の前記複数の光電変換要素の信号をインターレース走査で複数のフィールドに分けて読み出すフレーム読み出し、前記複数のフィールドは、前記複数の画素の信号を加算せずに読み出すフィールドと、前記複数の画素の信号を加算して読み出すフィールドとを含むことを特徴とする。

本発明によれば、任意のｎフィールドのうち少なくとも１つのフィールドで画素加算を行う読み出しモードを実行することによって、画素加算を行うフィールドと画素加算を行わないフィールドで、同一露光における輝度レベルの異なる複数のフィールド画像を容易に得ることができる。したがって、露光量を変えたり、複数のイメージセンサを用いたりすることなく、容易にダイナミックレンジ拡大画像を生成できるようになる。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。図１は、本発明の第１の実施形態に係るデジタルカメラの概略構成を示すブロック図である。レンズ等からなる光学系１１は、被写体像をＣＣＤ１２の受光面に結像する。ＣＣＤ１２は、その受光面に結像された被写体の光信号を光電変換して電気信号を発生する撮像素子である。光学系１１とＣＣＤ１２との間にはメカシャッタ１３が配置され、このメカシャッタ１３を閉じることでＣＣＤ１２へ入射する光を遮断することができる。

ＣＣＤ駆動装置１４は、ＣＣＤ駆動のタイミングパルスを発生する。ＣＣＤ駆動装置１４によって駆動されたＣＣＤ１２の出力は、サンプルホールド（Ｓ／Ｈ）、ゲインアンプ、及びアナログデジタル変換（Ａ／Ｄ）を含むプリプロセス回路１５によってデジタル化され、デジタルプロセス回路１６に取り込まれる。デジタルプロセス回路１６では、ガンマ処理、色信号処理やダイナミックレンジ拡大画像生成処理等の各種デジタル信号処理を行う。また、デジタルプロセス回路１６の出力はＬＣＤディスプレイ１７にて出力することも可能となっている。

デジタルプロセス回路１６で画像処理が施された画像データは、画像変換回路１８を介して圧縮され、メモリカード１９に書き込まれて記録される。画像変換回路１８は、デジタルプロセス回路１６からの画像データを圧縮してメモリカード１９へ出力する機能と、メモリカード１９より読み出した画像データを伸長してデジタルプロセス回路１６へ出力する機能とを有する。

また、光学系１１、メカシャッタ１３、ＣＣＤ駆動装置１４、プリプロセス回路１５、デジタルプロセス回路１６、画像変換回路１８、及びメモリカード１９のそれぞれは、カメラ制御部２０によって制御される。カメラ制御部２０には、レリーズや出力画像サイズ切り替え、読み出しモード切り替え等の機能を有する操作部２１が接続されている。この読み出しモード切り替え機能により、画素加算を行わない通常の読み出しモードと、画素加算を行う読み出しモードとを選択することができる。このように読み出しモード切り替え機能を持たせることにより、１つの撮像装置において画素加算を行わない通常の読み出しモードと、画素加算を行う読み出しモードの両方を選択的に実行することが可能になる。

次に、図２を参照して、本実施形態のデジタルカメラに用いられるインターライン型ＣＣＤの構成について説明する。図２に示すＣＣＤ１２はインターライン型の固体撮像素子であり、マトリクス状に配列されて入射した光を電荷に変換する複数の光電変換要素（画素）１と、画素１のそれぞれに蓄積された信号電荷を読み出して垂直方向に転送する垂直転送部（ＶＣＣＤ）２と、垂直転送部２から転送されてきた１ライン分の信号電荷を水平方向に転送する水平転送部（ＨＣＣＤ）３と、水平転送部３から転送されてきた信号電荷を電気信号に変換する出力アンプ部４とを備えている。

本実施形態のデジタルカメラにおいて静止画像を撮影する際、レリーズ後、所定の露光時間を経てメカシャッタ１３が閉じられ、各画素１にその被写体の光量に応じた量の電荷が蓄積される。その後、画素１の電荷をｍ（ｍ：３以上の自然数）フィールドに分割して垂直転送部２に読み出し、垂直転送部２及び水平転送部３を経由して転送する。インターレース読み出しでは通常１ラインおきに２フィールドかけて全画素を読み出すが、近年では３フィールド、或いはそれ以上のフィールドで読み出すものが現れている。

図３は画素配列の一部を表わしており、この例では３２００（Ｈ）列×２４００（Ｖ）行の画素数、５フィールド読み出し（ｍ＝５）とする。また、色フィルタの配列は、Ｒ及びＧが水平方向に交互に並んでいるＲＧラインと、Ｇ及びＢが水平方向に交互に並んでいるＧＢラインとがある、いわゆるベイヤ配列として説明する。

ここで、図３〜６を参照して、５フィールドのうち任意のｎフィールド（ｎ：ｎ≦ｍを満たす自然数）を読み出し、そのうちの少なくとも１つのフィールドで画素加算を行う読み出しモードについて、２フィールドの読み出し（ｎ＝２）を例にして説明する。

はじめに、第１フィールドの読み出しについて説明する。この読み出し方法は全画素を読み出す場合と同じであり、画素加算を行わない通常の読み出し方法である。図４は、水平ブランキング期間（ＨＢＬＫ）中及びその後に垂直転送部（ＶＣＣＤ）２及び水平転送部（ＨＣＣＤ）３の転送ゲート電極に印加する電荷転送のための駆動電圧のタイミングパルスを模式的に示している。このタイミングパルスはＣＣＤ１２を駆動するためにＣＣＤ駆動装置１４から供給される。

メカシャッタ１３が閉じられ、高速掃き捨て期間が終了すると、はじめにＣフィールドの画素の信号電荷が垂直転送部２に読み出される（Ｉ）。

その後、水平ブランキング期間に入ると、最初に垂直転送部２の転送ゲート電極にパルス電圧を印加することにより垂直転送部２を１段或いは複数段駆動し、もっとも水平転送部３に近い部分に存在した１ラインの画素からの読み出し電荷を水平転送部３に転送する（ＩＩ）。

そして、水平ブランキング期間が終了し、有効期間に入ってから有効期間の終了までに、水平転送部３のゲート電極に多数のパルス電圧を印加することにより、水平転送部３の電荷を３２００段分転送して（ＩＩＩ）、出力アンプ４から出力する。

これと同じ動作を１フィールド期間の４８０回の水平ブランキング期間ごとに繰り返すことにより、３２００×４８０個の蓄積電荷の読み出しが完了し、第１フィールドの画素の信号電荷が全て読み出されたことになる。

次に、第２フィールドの読み出しについて説明する。図５、６は、それぞれ図３、４と同様に画素配列の一部及びタイミングパルス模式図である。また、垂直転送部２は、２列おきに蓄積領域５１を含む列と含まない列が交互に並んでいる。

メカシャッタ１３が閉じられ、高速掃き捨て期間が終了すると、はじめにＢフィールド及びＤフィールドの画素の信号電荷が垂直転送部２に読み出される（Ｉ）。

その後、水平ブランキング期間に入ると、最初に垂直転送部２の転送ゲート電極にパルス電圧を印加することにより垂直転送部２を１段或いは複数段駆動し、もっとも水平転送部３に近い部分に存在した１ラインの画素からの読み出し電荷のうち、蓄積領域５１を含まない列では水平転送部３に、含む列では蓄積領域５１に転送する（ＩＩ）。

次に、水平転送部３はそのままにした状態で、さらに垂直転送部２の転送ゲート電極にパルス電圧を印加することにより、（ＩＩ）で転送したラインに隣接する１ラインの読み出し電荷を蓄積領域５１及び水平転送部３にて混合させる（垂直加算）（ＩＩＩ）。

次に、水平転送部３の転送ゲート電極にパルス電圧を２つ印加することにより、水平転送部３にある画素を水平方向に２段転送する（ＩＶ）。

続いて、垂直転送部２の転送ゲート電極にパルス電圧を印加することにより垂直転送部２を１段駆動し、蓄積領域５１の電荷を水平転送部３の電荷と混合させる（水平加算）（Ｖ）。

次に、水平転送部３に近い部分に存在する１ラインの画素からの読み出し電荷のうち、蓄積領域５１を含まない列では水平転送部３に、含む列では蓄積領域５１に転送する（
ＶＩ）。

次に、水平転送部３はそのままにした状態で、さらに垂直転送部２の転送ゲート電極にパルス電圧を印加することにより、（ＶＩ）で転送したラインに隣接する１ラインの読み出し電荷を蓄積領域５１及び水平転送部３にて混合させる（垂直加算）（ＶＩＩ）。

次に、水平転送部３の転送ゲート電極にパルス電圧を２つ印加することにより、水平方向に２段転送する（ＶＩＩＩ）。

続いて、垂直転送部２の転送ゲート電極にパルス電圧を印加することにより垂直転送部２を１段駆動し、蓄積領域５１の電荷を水平転送部３の電荷と混合させる（水平加算）（ＩＸ）。

ここまでの処理で、都合２ライン分の信号電荷がそれぞれ水平加算された状態で１ラインに収まっていることとなる。

そして、水平ブランキング期間が終了し、有効期間に入ってから有効期間の終了までに、水平転送部３のゲート電極に多数のパルス電圧を印加することにより、水平転送部３の電荷を３２００段分転送して（Ｘ）、出力アンプ４から出力する。これにより、１水平期間内にそれぞれ垂直加算及び水平加算された２ライン分の信号電荷が読み出せる。

これと同じ動作を１フィールド期間の半分にあたる２４０回の水平ブランキング期間ごとに繰り返すことにより、１６００×２×２４０個の蓄積電荷の読み出しが完了し、Ｂフィールド＋Ｄフィールドの画素の信号電荷が水平加算により水平方向の数が半分となり、２倍の速度で読み出されたことになる。しかも、水平／垂直合わせて４画素を加算しているため、第１フィールドと比較して感度は約４倍となっている。

なお、水平加算と垂直加算のいずれかのみでもよいが、両者を併用することにより、より輝度レベルの差のある画像を得ることができる。

以上のようにして読み出された画素は、それぞれプリプロセス回路１５を経てデジタルプロセス回路１６で処理される。その際、同一露光にも関わらず輝度レベルの異なる２つのフィールドの画像は合成され、ダイナミックレンジの広い画像が得られることとなる。

このように、輝度レベルの異なる複数のフィールド画像を読み出すモードを利用することにより、得られる画素数は減少するものの、イメージセンサ単体のもつダイナミックレンジよりも広いダイナミックレンジの画像を得ることが可能となる。

図７に示すように、本実施形態の５フィールド撮像素子では、読み出し方法が１０種類考えられる。ただし、ここではベイヤ配列撮像素子の同色画素を垂直加算した場合のみを考慮している。このうち、例えば（ｇ）と（ｉ）の読み出しを比較すると、両者の重心位置＊は一致する。このように各フィールドの重心位置＊が一致する場合、画像合成の際に重心をあわせるための補間処理を必要とせず、容易に静止画を生成することが可能となる。

なお、本発明の目的は、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が上述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

デジタルカメラの概略構成を示すブロック図である。 インターライン型ＣＣＤの概略構成を示す図である。 画素配列の一部を表わす図である。 第１フィールドの読み出し動作のためのタイミングパルスを模式的に示す図である。 画素配列の一部を表わす図である。 第２フィールドの読み出し動作のためのタイミングパルスを模式的に示す図である。 本実施形態における読み出しの種類を示す概略図である。

符号の説明

１ 光電変換要素（画素）
２ 垂直転送部（ＶＣＣＤ）
３ 水平転送部（ＨＣＣＤ）
４ 出力アンプ部
１１ 光学系
１２ ＣＣＤ
１３ メカシャッタ
１４ ＣＣＤ駆動装置
１５ プリプロセス回路
１６ デジタルプロセス回路
１７ ＬＣＤディスプレイ
１８ 画像変換回路
１９ メモリカード
２０ カメラ制御部
２１ 操作部

Claims (5)

1. 複数の光電変換要素を有する撮像素子と、
   前記撮像素子の前記複数の光電変換要素の信号をインターレース走査で複数のフィールドに分けて読み出すフレーム読み出し手段とを有し、
   前記複数のフィールドは、前記複数の画素の信号を加算せずに読み出すフィールドと、前記複数の画素の信号を加算して読み出すフィールドとを含むことを特徴とする撮像装置。
2. 前記撮像素子は、前記光電変換要素からの電荷を垂直方向に転送する垂直転送部、及び前記垂直転送部からの電荷を前記垂直方向と交差する方向に転送する水平転送部を具備し、前記読み出し手段は、前記垂直転送部において垂直方向に配列された光電変換要素の信号加算を行う垂直画素加算機能、及び、前記水平転送部において水平方向に配列された光電変換要素の信号加算を行う水平画素加算機能のうち少なくともいずれか一方を有することを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し手段によって読み出した輝度レベルの異なる複数のフィールドのうち、２つ以上を合成して広いダイナミックレンジの映像信号を形成することを特徴とする請求項１に記載の撮像装置。
4. 前記読み出し手段によって読み出した輝度レベルの異なる複数のフィールドのうち、１つのフィールドの画素加算による重心位置が、他のフィールドの重心位置と一致することを特徴とする請求項１に記載の撮像装置。
5. 複数の光電変換要素を有する撮像素子の駆動方法であって、
   前記撮像素子の前記複数の光電変換要素の信号をインターレース走査で複数のフィールドに分けて読み出すフレーム読み出し、前記複数のフィールドは、前記複数の画素の信号を加算せずに読み出すフィールドと、前記複数の画素の信号を加算して読み出すフィールドとを含むことを特徴とする撮像素子の駆動方法。

Images