JP2008099329A - 固体撮像装置とその制御方法 - Google Patents

Abstract

【課題】 ホワイトバランスが取れるように各色の画素の光電変換素子の電荷蓄積時間を個別に制御して色再現性のよい画像を得ることのできる固体撮像装置とその信号処理方法を提供することを課題とする。
【解決手段】 固体撮像装置の制御方法は、所定の電荷蓄積時間、複数の光電変換素子に電荷の生成及び蓄積をさせ、各色ごとの光の強さに対応する電荷量を検出する準備試写工程と、前記準備試写工程で検出した前記各色の光の強さに対応する電荷量に応じて、ホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間を個別に演算する演算工程と、前記演算した電荷蓄積時間に基づき、少なくとも１色の光電変換素子の電荷蓄積時間を電子シャッタにより開始させるとともに、少なくとも１色の光電変換素子の電荷蓄積時間を機械式シャッタにより終了させ、前記複数の光電変換素子の電荷の生成及び蓄積をさせる本撮影工程とを有する。
【選択図】 図１

Description

本発明は、光電変換素子を有する固体撮像装置とその制御方法に関し、特に、光電変換素子の電荷蓄積時間の制御技術に関する。

従来のカラー固体撮像装置は、ＲＧＢの各画素の露光時間(電荷蓄積時間)を一律に制御している。この場合、偏った色温度を持った外光の下で撮影を行うと、撮影した映像のカラーバランスが悪くなる。たとえば、色温度が高いすなわち青みがかった風景などを撮影する場合には、Ｂ(青)画素の信号は十分得られるが、Ｇ（緑）及びＲ(赤)画素の信号は小さくなる。このようなカラー信号からホワイトバランスの取れたカラー画像信号を得ようとすると、カラー画像のダイナミックレンジは信号の一番小さいカラー信号、この場合ではＲ信号で決まってしまう。そのような例では明るい画像の領域では赤色が不足になりマゼンタがかったカラーバランスの悪い再生映像となる。また、夕方のような赤みがかった風景では上記の逆の傾向となる。

本発明の目的は、ホワイトバランスが取れるように各色の光電変換素子の電荷蓄積時間（露光時間）を個別に制御して色再現性のよい画像を得ることのできる固体撮像装置とその制御方法を提供することである。

本発明の一観点によれば、複数の色の光を電荷に変換する複数の光電変換素子と、前記複数の光電変換素子への入射光路を開閉する機械式シャッタと、前記複数の光電変換素子内の電荷をクリアするための電子シャッタとを有する固体撮像装置の制御方法であって、所定の電荷蓄積時間、前記複数の光電変換素子に電荷の生成及び蓄積をさせ、各色ごとの光の強さに対応する電荷量を検出する準備試写工程と、前記準備試写工程で検出した前記各色の光の強さに対応する電荷量に応じて、ホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間を個別に演算する演算工程と、前記演算した電荷蓄積時間に基づき、少なくとも１色の光電変換素子の電荷蓄積時間を電子シャッタにより開始させるとともに、少なくとも１色の光電変換素子の電荷蓄積時間を機械式シャッタにより終了させ、前記複数の光電変換素子の電荷の生成及び蓄積をさせる本撮影工程とを有する固体撮像装置の制御方法が提供される。

撮影の最初の準備試写で、まずホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間が個別に決定される。そして、その個別の電荷蓄積時間に基づいて各色の光電変換素子の電荷蓄積時間を制御して本撮影を行う。

本発明によれば、撮影の最初にまずホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間が個別に決定され、その個別の電荷蓄積時間に基づいて各色の光電変換素子の電荷蓄積時間を制御するので、色再現性のよいカラー画像信号が得られる。しかも機械式シャッタと電子シャッタとを併用したことによって大きなダイナミックレンジの映像を得ることができる。

図５に本発明の実施例によるカラー固体撮像装置の平面図を示す。固体撮像装置は、例えばシリコンのような半導体基板１の上に形成されている。半導体基板１上には、複数のフォトダイオード（光電変換素子）２、垂直電荷転送路（ＶＣＣＤ）３、トランスファーゲート（読出ゲート）４、水平電荷転送路（ＨＣＣＤ）６、出力アンプ７、ドレイン１０及び制御部８が形成され、全体として一つの半導体チップに構成される。

複数のフォトダイオード２は、二次元行列状に配置され、受光した光を電荷に変換して蓄積する。フォトダイオード２の受光部の上には、カラーフィルタが配置される。Ｒは赤フィルタのフォトダイオード（画素）、Ｇは緑フィルタの画素、Ｂは青フィルタの画素を示している。図示の色画素配列を原色ベイヤ配列という。なお、図５では理解を容易にするために、画素の数を便宜上２４個で描いているが、本実施例はこれに限ることは意図してないし、実際の固体撮像装置では画素数はこれよりもはるかに多い。

基板１上に配置される機械式シャッタが開くと全てのフォトダイオード２に外光が照射され、閉じるとフォトダイオード２へ照射される外光が遮られる。機械式シャッタを開くことにより、フォトダイオード２の露光時間（電荷蓄積時間）を開始させ、機械式シャッタを閉じることにより、フォトダイオード２の露光時間を終了させることができる。

また、制御部８は、電子シャッタ信号をフォトダイオード２のｐ型領域に印加することにより、フォトダイオード２内の電荷を基板１（コレクタ領域）に捨てることができる。電子シャッタ信号によっても、フォトダイオード２の露光時間を開始させることができる。

各フォトダイオード２の左隣には、トランスファーゲート４を介して垂直電荷転送路３が設けられる。トランスファーゲート４は、フォトダイオード２内の電荷を垂直電荷転送路３に読み出す。

垂直電荷転送路３は、電荷結合素子（ＣＣＤ）により構成され、フォトダイオード２から読み出された電荷を図５の紙面の上から下方向（垂直方向）に転送する。水平電荷転送路６は、ＣＣＤにより構成され、垂直電荷転送路３から転送された電荷を1行単位で受け取り、紙面の左から右方向(水平方向)に転送する。

出力アンプ７は、水平電荷転送路６から転送された電荷量に対応する電圧を出力する。この電圧値は、画素値に相当する。各フォトダイオード２は、画素に相当する。フォトダイオード２を二次元に配列することにより、二次元画像の信号を得ることができる。

制御部８は、フォトダイオード２から垂直電荷転送路３に電荷を読み出すためのトランスファーゲート４の制御、垂直電荷転送路３の制御、水平電荷転送路６の制御、及び／又はフォトダイオード２内の電荷をクリアするための制御などを行う。

なお、垂直電荷転送路３上の不要電荷は、下から上方向に転送することにより、垂直電荷転送路３の上端部に設けられたドレイン１０に捨てられる。

ユーザがシャッタボタンを半押しすると、固体撮像装置は仮撮影を行う。出力アンプ７は、仮撮影によるＲＧＢ信号を出力する。演算部９は、そのＲＧＢ信号に応じてホワイトバランス演算及び自動露光演算等を行い、その結果に応じて露光時間を決定する。具体的には、Ｒ画素、Ｇ画素及びＢ画素の各露光時間を個別に設定する。ユーザがシャッタボタンを全押しすると、上記で決定された露光時間で、本撮影を行う。以下、仮撮影、本撮影の詳細を説明する。

図１は、本実施例による固体撮像装置での撮影方法のタイミングチャートを示す。

まず、準備試写（仮撮影）段階として、機械式シャッタ１１を開き、その後に時刻ｔ₁で電子シャッタパルスを供給し、フォトダイオード２内の電荷をクリアする。この時刻ｔ₁における電子シャッタパルスにより全フォトダイオード２が初期化され、露光時間（電荷蓄積時間）が開始される。そして、時刻ｔ₂で全色のフォトダイオード（画素）２に対応するトランスファーゲート４に電荷読出しパルスが印加される。すると、ＲＧＢ各フォトダイオード２の蓄積電荷がそれぞれ垂直電荷転送路３に読み出される。垂直電荷転送路３は、電荷を垂直下方向に転送する。水平電荷転送路６は、垂直電荷転送路３から電荷を受け取り、水平右方向に転送する。出力アンプ７は、仮撮影によるＲＧＢ信号を出力する。

次に、演算段階として、演算部９は、上記の仮撮影段階で得たＲＧＢ信号の値に基づき、再生画像のホワイトバランスをとるための電荷蓄積時間を各ＲＧＢ画素毎に演算する。演算の方法を、図２を参照して説明する。

図２は横軸が電荷蓄積時間(露光時間)であり、縦軸がフォトダイオードが受光する光強度（蓄積電荷量）を示す。露光時間をＴ_SO（ｔ₂−ｔ₁）として上記の仮撮影を行い、フォトダイオードに蓄積された電荷量を色毎に加算することにより、色毎の光強度Ｉ_RO、Ｉ_GO、Ｉ_BOが得られる。

色毎の最適電荷蓄積時間Ｔｒ、Ｔｇ、Ｔｂは以下の式で演算される。

（数１）
Ｔｒ＝Ｔ_SO×（Ｉ_SO／Ｉ_RO）×ｋＴｇ＝Ｔ_SO×（Ｉ_SO／Ｉ_GO）×ｋＴｂ＝Ｔ_SO×（Ｉ_SO／Ｉ_BO）×ｋ
ここで、Ｔｒ、Ｔｇ、Ｔｂは、それぞれ赤、緑及び青の画素の最適電荷蓄積時間を示し、Ｉ_SOは飽和光強度であり、Ｉ_RO、Ｉ_GOおよびＩ_BOはそれぞれ赤、緑及び青の画素の検出光強度(蓄積電荷)であり、ｋは適当なゲインである。

次に、本撮影の段階に入る。まず、時刻ｔ₃で電子シャッタパルスを基板１に印加し、全てのフォトダイオード２内の電荷をクリアする。このクリアにより、フォトダイオードの第１の露光時間が開始する。

上記の演算の結果、Ｔｒ＜Ｔｇ＜Ｔｂの場合には、約Ｔｂ−Ｔｇの時間経過後の時刻ｔ₄にＢ信号の電荷読み出しパルスをトランスファーゲート４に供給する。逆に、Ｔｒ＞Ｔｇ＞Ｔｂの場合には、約Ｔｒ−Ｔｇの時間経過後にＲ信号の電荷読み出しパルスをトランスファーゲート４に供給する。図１は、前者の場合を示し、時刻ｔ₄でＢ信号が垂直電荷転送路３に読み出される。この読み出しにより、Ｂのフォトダイオードの第１の露光時間Ｔｂ１が終了する。第１の露光時間Ｔｂ１は、時刻ｔ₃から時刻ｔ₄までの時間である。

Ｂ信号を読み出した後、時刻ｔ₅で電子シャッタパルスを供給し、すべてのフォトダイオードの蓄積電荷を基板１に排出してリセットする。このリセットにより、Ｂ画素の第２の露光時間Ｔｂ２、Ｇ画素の露光時間Ｔｇ及びＲ画素の露光時間Ｔｒが開始する。

時刻ｔ₅から露光時間Ｔｒが経過したらＲの電荷読み出しパルスを供給し、Ｒ信号をフォトダイオード２から垂直電荷転送路３に読み出す。この読み出しにより、露光時間Ｔｒが終了する。

次に、時刻ｔ_５のリセットタイミングから露光時間Ｔｇ（＝Ｔｂ２）が経過した時刻ｔ₆で機械式シャッタを閉じ、フォトダイオード２への入射光を遮光する。時刻ｔ₆で露光時間Ｔｇ、Ｔｂ２が終了する。露光時間Ｔｇ及びＴｂ２は、時刻ｔ₅から時刻ｔ₆までである。

Ｂ画素の露光時間Ｔｂは、第１の露光時間Ｔｂ１と第２の露光時間Ｔｂ２との合計である。Ｇ画素の露光時間はＴｇであり、Ｒ画素の露光時間はＴｒである。

時刻ｔ₆の時点で、第２の露光時間Ｔｂ２によるＢの蓄積電荷はフォトダイオード内に留まっており、第１の露光時間Ｔｂ１によるＢの蓄積電荷は垂直電荷転送路３内の留まっている。露光時間ＴｇによるＧの蓄積電荷は、フォトダイオード２内に留まっている。露光時間ＴｒによるＲの蓄積電荷は、垂直電荷転送路３内に留まっている。

次に、Ｂの電荷読み出しパルスを供給し、Ｂ信号をフォトダイオード２から垂直電荷転送路３に読み出す。垂直電荷転送路３には元々第１の露光時間Ｔｂ１による電荷が蓄積されていたので、この読み出しにより、第１の露光時間Ｔｂ１による電荷と第２の露光時間Ｔｂ２による電荷とが垂直電荷転送路３上で加算（混合）されることになる。露光時間ＴｒによるＲの電荷は、既に垂直電荷転送路３上に読み出されている。

次に、垂直電荷転送路３上のＲおよびＢ電荷（信号）を図５の垂直下方向に転送する。水平電荷転送路６は、垂直電荷転送路３から受けたＲ及びＢ信号を水平方向に転送する。出力アンプ７は、転送された電荷を外部に電圧信号として出力する。

次に、時刻ｔ₇でＧの電荷読み出しパルスを供給し、Ｇ信号をフォトダイオード２から垂直電荷転送路３に読み出す。その後、垂直電荷転送路３上のＧ信号を図５の垂直下方向に転送する。水平電荷転送路６は、そのＧ信号を水平方向に転送し、出力アンプ７はそのＧ信号を電圧信号として外部に出力する。

以上の工程により、Ｒ，Ｇ，Ｂ画素の露光時間Ｔｒ，Ｔｇ及びＴｂが個別に制御され、ホワイトバランスがとれたＲＧＢ画素信号が得られることになる。

次に、図３に示す本発明の別の実施例による固体撮像装置での撮影方法のタイミングチャートを参照して、その実施例を説明する。

まず、準備試写（仮撮影）段階として、機械式シャッタを開き、その後の時刻ｔ₁に電子シャッタパルスを供給し、フォトダイオード２をリセットする。このリセットにより、全画素のフォトダイオードで電荷の蓄積が開始される。そして、時刻ｔ₂で全画素の電荷読出しパルスが発生してＲＧＢ各画素の蓄積電荷がそれぞれフォトダイオード２から垂直電荷転送路３へ読み出される。

次に、演算段階として、上記の準備試写段階で得たＲＧＢ各画素の蓄積電荷の値に基づき、再生画像のホワイトバランスがとれるように電荷蓄積時間を各ＲＧＢ画素毎に演算する。以上は最初の実施例と同様である。

次に、本撮影の段階に入る。上記の演算の結果、Ｔｒ＜Ｔｇ＜Ｔｂの場合になった場合を例に説明する。まず、時刻ｔ₃で電子シャッタパルスを供給し、全てのフォトダイオード２をリセットする。このリセットにより、Ｂ画素の露光時間Ｔｂが開始する。

次に、時刻ｔ₃からＴｂ−Ｔｇの時間経過後にＧ信号読み出しパルスを供給し、Ｇのフォトダイオード２内から不要なＧ信号を垂直電荷転送路３に読み出す。この読み出しにより、Ｇのフォトダイオード２がリセットされ、露光時間Ｔｇが開始する。垂直電荷転送路３に読み出された不要なＧ信号は、図５の垂直上方向に転送され、ドレイン１０に排出される。

さらに、時刻ｔ₃からＴｂ−Ｔｒ経過したら、Ｒ信号読み出しパルスを供給し、Ｒのフォトダイオード２内の不要なＲ信号を垂直電荷転送路３に読み出す。この読み出しにより、Ｒのフォトダイオード２がリセットされ、露光時間Ｔｒが開始する。垂直電荷転送路３に読み出された不要なＲ信号は、図５の垂直上方向に転送され、ドレイン１０に排出される。

次に、時刻ｔ₃から露光時間Ｔｂ経過後の時刻ｔ₄で機械式シャッタを閉じる。時刻ｔ₄で露光時間Ｔｂ、Ｔｇ、Ｔｒが終了する。垂直電荷転送路３上の上記の不要なＧ信号及びＲ信号を全てドレイン１０に排出した後、Ｂ信号及びＲ信号の読み出しパルスを供給し、Ｂ信号及びＲ信号をフォトダイオード２から垂直電荷転送路３へ読み出す。

次に、垂直電荷転送路３は、そのＢ信号及びＲ信号を図５の垂直下方向に転送する。水平電荷転送路６は、そのＢ信号及びＲ信号を水平方向に転送し、出力アンプ７は、そのＢ信号及びＲ信号に応じた電圧信号を外部に出力する。

次に、Ｇ信号読み出しパルスを供給し、Ｇ信号をフォトダイオード２から垂直電荷転送路３へ読み出す。垂直電荷転送路３は、そのＧ信号を図５の垂直下方向に転送する。水平電荷転送路６は、そのＧ信号を水平方向に転送し、出力アンプ７は、そのＧ信号に応じた電圧信号を外部に出力する。

以上の工程により、色毎の露光時間Ｔｒ，Ｔｇ及びＴｂを個別に制御し、ホワイトバランスがとれたＲＧＢ画素信号が得られることになる。

なお、上記の２つの実施例では、Ｔｂ＞Ｔｇ＞Ｔｒの場合を例に説明したが、Ｔｂ＜Ｔｇ＜Ｔｒの場合にも適用できる。その場合は、Ｂ及びＲの制御を逆にすればよい。

図４は、図５のＩＶ−ＩＶ線に沿ったドレイン１０の断面構造を示す。ｐ型半導体領域２１内に、ｎ型半導体領域（垂直電荷転送路）３及びｎ⁺型半導体領域（ドレイン）１０が形成される。ｎ⁺型半導体領域１０には、正電位Ｖｄｒが印加される。ｎ型半導体領域３の上には、絶縁膜２２を介して導電膜（ポリシリコン膜）２３が形成される。導電膜２３には、ゲート電圧Ｖｇが印加される。ゲート電圧Ｖｇとして正電位を印加すると、垂直電荷転送路３上の電荷は正電位Ｖｄｒのドレイン１０に排出される。

以上説明した実施例は単なる例示であって、当業者であれば、本願明細書の開示に基づき、様々な変形や応用が可能であろう。

本発明の実施例による固体撮像装置の信号タイミングチャートである。 各画素の電荷蓄積時間を説明するための特性図である。 本発明の別の実施例による固体撮像装置の信号タイミングチャートである。 垂直電荷転送路から電荷を外部に排出するためのドレインの構造を示す断面図である。 一般的な固体撮像装置の平面図である。

符号の説明

１ 半導体基板
２ フォトダイオード
３ 垂直電荷転送路
４ トランスファゲート
５ 制御電極
６ 水平電荷転送路
７ アンプ
８ 制御部
９ 演算部
１０ ドレイン
１１ 機械式シャッタ
２１ ｐ型半導体領域
２２ 絶縁膜
２３ 電極

Claims (4)

1. 複数の色の光を電荷に変換する複数の光電変換素子と、前記複数の光電変換素子への入射光路を開閉する機械式シャッタと、前記複数の光電変換素子内の電荷をクリアするための電子シャッタとを有する固体撮像装置の制御方法であって、
   所定の電荷蓄積時間、前記複数の光電変換素子に電荷の生成及び蓄積をさせ、各色ごとの光の強さに対応する電荷量を検出する準備試写工程と、
   前記準備試写工程で検出した前記各色の光の強さに対応する電荷量に応じて、ホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間を個別に演算する演算工程と、
   前記演算した電荷蓄積時間に基づき、少なくとも１色の光電変換素子の電荷蓄積時間を電子シャッタにより開始させるとともに、少なくとも１色の光電変換素子の電荷蓄積時間を機械式シャッタにより終了させ、前記複数の光電変換素子の電荷の生成及び蓄積をさせる本撮影工程と
   を有する固体撮像装置の制御方法。
2. 前記固体撮像装置はさらに前記光電変換素子内の電荷を転送するための電荷転送路を有し、前記複数の光電変換素子は少なくとも第１、第２及び第３の３色の光を電荷に変換することができ、
   前記本撮影工程は、
   （ａ）前記電子シャッタにより前記第１の色の電荷蓄積時間を開始させる工程と、
   （ｂ）前記第２の色の光電変換素子から前記電荷転送路に不要電荷を読み出すことにより前記第２の色の電荷蓄積時間を開始させる工程と、
   （ｃ）前記第３の色の光電変換素子から前記電荷転送路に不要電荷を読み出すことにより前記第３の色の電荷蓄積時間を開始させる工程と、
   （ｄ）前記機械式シャッタを閉じることにより、前記第１、第２及び第３の色の電荷蓄積時間を終了させる工程とを有する請求項１記載の固体撮像装置の制御方法。
3. さらに、（ｅ）前記電荷転送路に読み出された前記第２及び第３の色の不要電荷を排出する工程と、
   （ｆ）前記第１及び第３の色の光電変換素子から前記電荷転送路に電荷を読み出す工程と、
   （ｇ）前記第１及び第３の色の電荷を前記電荷転送路上で転送する工程と、
   （ｈ）前記第２の色の光電変換素子から前記電荷転送路へ電荷を読み出す工程と、
   （ｉ）前記第２の色の電荷を前記電荷転送路上で転送する工程とを有する請求項２記載の固体撮像装置の制御方法。
4. 二次元平面上で垂直方向と水平方向にそれぞれ配置され、赤と緑と青の光を電荷に変換する複数の光電変換素子と、
   前記垂直方向に電荷を転送する垂直電荷転送路と、
   前記光電変換素子から前記垂直電荷転送路に電荷を読み出す読出しゲートと、
   前記垂直電荷転送路により転送された電荷を前記水平方向に転送する水平電荷転送路と、
   すべての光電変換素子への入射光路を開閉する機械式シャッタと、
   前記複数の光電変換素子内の電荷をクリアする電子シャッタと、
   所定の電荷蓄積時間、前記複数の光電変換素子に電荷の生成及び蓄積をさせ、各色ごとの光の強さに対応する電荷量を検出する準備試写手段と、
   前記準備試写手段で検出した前記各色の光の強さに対応する電荷量に応じて、ホワイトバランスがとれるように各色の光電変換素子の電荷蓄積時間を各色毎に個別に演算する演算手段と、
   前記演算した電荷蓄積時間に基づき、少なくとも１色の光電変換素子の電荷蓄積時間を電子シャッタにより開始させるとともに、少なくとも１色の光電変換素子の電荷蓄積時間を機械式シャッタにより終了させ、前記複数の光電変換素子の電荷の生成及び蓄積をさせる本撮影手段と
   を有する固体撮像装置。

Images