JP2011049892A - 撮像装置 - Google Patents

Abstract

【課題】被写体の明るさが変化した場合でも、ノイズを迅速に抑圧する。
【解決手段】撮像装置は、ＣＭＯＳ等の撮像素子とＡＥ／ＡＦ制御部を備える。被写体の明るさが減少した場合に（ｂ）、ＡＥ／ＡＦ制御部は次のフレームにおいて画像信号を増幅する増幅器のゲインを増大させる（ｃ）。同時に、このゲインの増大を補償するように、露光時間を減少させる（ｄ）。露光時間は、その後、段階的に元の露光時間まで戻す。
【選択図】図４

Description

本発明は撮像装置に関し、特に動画読み出し時のノイズ低減技術に関する。

デジタルカメラやビデオカメラ等の撮像装置は、通常、ＡＥという自動露光量調整機能がある。これは、被写体及びその環境の明るさに応じて、ゲイン及び露光時間、絞りの少なくともいずれかを調整するものである。急激に明るさが変わった場合、その明るさにそのまま合わせてゲインや露光量を変更するように設定されていると、映像に違和感が生じる。特に、被写体の輝度が急激に変化する画面、例えば窓のある室内で、室内から窓、あるいはその逆に窓から室内にパンニングする場合において、ＡＥの反応があまりに早いと、フレーム毎に明るさが変わってしまうため、非常に不安定な映像になる。このため、通常は明るさが変わっても、徐々に所定のゲインや露光量となるように調整している。

近年、撮像装置の撮像素子として、高速性及び低消費電力を考慮して、ＣＩＳ（ＣＭＯＳイメージセンサ）を用いることが多くなっている。多くのＣＩＳは、その内部にノイズ抑圧機能を有する。代表的なノイズ抑圧方法は、画素部にＰＤ（フォトディテクタ）部とＦＤ（フローティングディフュージョン）部を有し、最初にＦＤ部をリセットしＦＤ部に接続されている画素アンプから画素信号を読み出す（暗時基準信号）。次に、ＰＤ部からＦＤ部に光電荷を転送し、画素アンプを介して光信号を含んだ画素信号（明時信号）を読み出し、両信号の差をとることによりノイズを抑圧するものである。

この方法では、個々の画素毎に発生するリセットレベルのばらつきを起因とするノイズを抑圧することはできるが、列（カラム）アンプのばらつきを起因とする線状の行（ロー）及び列（カラム）ノイズは抑圧できない。

行（ロー）及び列（カラム）ノイズを抑圧する方法としては、有効画素信号外に、遮光画素またはＰＤ部とＦＤ部が接続されていない画素で構成された、暗時基準信号出力画素部を有し、その信号を画素毎のノイズを抑圧した信号からさらに行及び列毎に差をとることによりノイズ抑圧する方法がある。この暗時基準信号は、安定化のため複数フレームからとることが多い。ゲインを変更した場合、一度この基準信号はリセットされる。このため、最初の複数フレームは安定しない基準信号のため、ノイズが多い場合がある。

ＡＥ動作時には、一般にはまずゲインを調整する。そして、被写体の明るさが変更された場合、通常はゲインを段階的に変化させて対応する。

図６に、ＡＥ動作時の従来の動作タイミングチャートを示す。図６（ａ）はフレーム番号を示し、図６（ｂ）は被写体あるいはその周囲環境の明るさ（輝度）の変化を示す。フレーム番号１〜１０まではある一定の明るさであり、フレーム番号１１を境にして急激に明るさが１／２に低下する場合を示す。図６（ｃ）はゲインの変化を示す。明るさが急激に変化しても、これに迅速に追従するのではなく、段階的に増大していく。すなわち、フレーム番号１〜１０におけるゲインを１×であるとし、フレーム番号１１で明るさが急激に低下しても、フレーム番号１２まではゲインを１×のまま維持し、かつ、フレーム番号１３〜１６においてゲインを１×から順次、１．１９×、１．４１×、１．６８×、２×と増大させていく。そして、フレーム番号１６以降は、フレーム番号１１以降の明るさに対応するゲインである２×で光信号を増幅する。図６（ｄ）は露光時間Ｔｉｎｔの変化を示す。ここでは露光時間は１／３０ｓで一定のままとしている。図６（ｅ）は行（ロー）／列（カラム）ノイズの変化を示す。ゲインを増大させると、上記のように基準信号がリセットされるためにノイズが生じてしまう。ゲインはフレーム番号１３〜１６において段階的に増大するため、この期間においてノイズが生じる。フレーム番号１６以降は、ゲインが２×で一定となるため、ノイズは低減していく。

なお、下記の特許文献１には、感度調整用のアンプのゲインを上げることにより撮影感度を相対的に上げるとともに、相対的に速いシャッタ速度を設定することで近距離撮影時における平行ぶれの影響を取り除くことが開示されている。

特開２００７−２５１２３６号公報

ところで、被写体あるいはその周囲環境の明るさが急激に変化した場合にゲインを徐々に変更する方法では、最終的に目標とするゲインに設定してからノイズレベルが通常レベルに安定するために複数フレームを要することになる。例えば、図６では、フレーム番号１６〜フレーム１９においてノイズレベルが徐々に低下し、フレーム番号２０において通常レベルまで低下する。この期間においては、得られた映像にノイズが含まれてしまうことになる。これを避けるためには、暗時基準信号出力部の画素数を増大させることが考えられるが、これでは１フレームの読み出し時間が増大し、フレームレートが低下してしまう。

本発明の目的は、被写体（あるいはその周囲環境）の明るさが急激に変化した場合においても、ノイズを迅速に抑圧する装置を提供することにある。

本発明は、撮像装置であって、撮像素子と、前記撮像素子から出力された画像信号を増幅する増幅手段と、前記画像信号に基づいて被写体の明るさを測定する測光手段と、前記測光手段で測定された前記明るさに基づいて前記増幅手段のゲイン及び露光量を制御する制御手段であって、前記明るさの変化に応じて前記ゲインを変化させるとともに、前記ゲインの変化を補償すべく前記露光量を変化させ、その後に変化前の露光量に戻す制御手段とを有することを特徴とする。

本発明の１つの実施形態では、前記制御手段は、前記明るさが減少した場合に、前記ゲインを増大させるとともに、前記ゲインの増大を補償すべく前記露光量を減少させる。

また、本発明の他の実施形態では、前記制御手段は、前記明るさが減少した場合に、前記ゲインを増大させるとともに、前記ゲインの増大を補償すべく露光時間または絞り値を減少させる。

また、本発明は、撮像装置であって、撮像素子と、前記撮像素子から出力された画像信号を増幅する増幅手段と、前記画像信号に基づいて被写体の明るさを測定する測光手段と、前記測光手段で測定された前記明るさがあるフレームにおいて減少した場合に、当該フレームの次のフレームにおいて前記増幅手段のゲインを目標となる信号レベルが得られるように増大制御し、かつ、露光時間または絞り値を減少制御し、さらに次のフレーム以後において前記露光時間または絞り値を減少制御前の元の露光時間または絞り値に段階的に戻す制御手段とを有することを特徴とする。

本発明によれば、被写体の明るさが変化した場合でも、ノイズを迅速に抑圧できる。

実施形態の構成ブロック図である。 他の実施形態の構成ブロック図である。 実施形態の処理フローチャートである。 実施形態のタイミングチャートである。 他の実施形態のタイミングチャートである。 従来のタイミングチャートである。

以下、図面に基づき本発明の実施形態について説明する。

図１に、本実施形態における撮像装置としての動画撮影機能付きデジタルカメラの構成ブロック図を示す。フォーカスレンズやズームレンズ、シャッタ、絞りを含む光学系１０は、被写体像をＣＩＳ（ＣＭＯＳイメージセンサ）撮像素子に結像する。

ＣＩＳ撮像素子は、受光部１１、アナログゲイン１５、Ａ／Ｄ変換器１８、タイミングジェネレータ１６が一つのチップ内に集積されて構成される。光学系１０とＣＩＳ撮像素子との間には、赤外カットフィルタや光学ローパスフィルタが配置されるが、図ではこれらを省略する。またＣＩＳ撮像素子には、マイクロレンズアレイ及びベイヤー配列のカラーフィルタが設けられる。ＣＩＳ撮像素子では、行列状に配置された画素のうち、選択回路で行と列を指定することにより、１画素ずつ蓄積電荷を読み出す。なお、パッシブ型ではＰＤ（フォトダイオード）に蓄積した信号電荷をそのまま出力回路に取り出す。アクティブ型では、ＰＤ（フォトダイオード）に生じた電位の変化を出力する。すなわち、埋め込みＰＤ（フォトダイオード）に蓄積した信号電荷をＦＤ（フローティングディフュージョン）に完全転送し、アンプによって電圧信号に変換して出力する。

アナログゲイン１５は、ＡＧＣ（オートゲインコントローラ）を含み、画像信号を増幅して出力する。ＡＧＣのゲインは、タイミングジェネレータ（ＴＧ）１６で制御される。

ＡＤ変換器１８は、アナログ電圧信号をデジタル信号に変換して出力する。

画像処理回路２０は、ゲイン補正（ホワイトバランス感度設定）、ガンマ補正、同時化処理、ＲＧＢ−ＹＣ変換処理、ノイズ低減処理、輪郭補正、ＪＰＥＧ圧縮の各処理を実行する。ゲイン補正では、ＲＧＢ各信号から算出されたゲイン補正係数でゲインを補正するものである。ゲイン補正係数の算出方法としては、タングステン、蛍光灯、晴天等のゲイン補正係数を予め設定しておき、ユーザが手動で切り替える方法、ＲＧＢ信号各々の平均値を算出し、各平均値が等しくなるようにゲイン補正係数を算出する方法、ＲＧＢ信号各々のヒストグラムを算出し、ヒストグラムより照明光源色を予測してゲイン補正係数を算出する方法等がある。ガンマ補正では、ＣＩＳ出力をディスプレイの入出力特性に合わせる。同時化処理では、ベイヤー配列のＣＩＳ撮像素子から出力された画像信号をＲ信号、Ｇ信号、Ｂ信号に分離し、それぞれの色信号において周囲画素信号を用いて空いている画素信号を補間する。同時化処理では、隣接画素値の加算平均で空いている画素を補間する。画像のエッジ部分は一般に連続しているため、この特徴を用いて隣接画素の相関方向の画素値の平均で空いている画素を補間してもよい。ＲＧＢ−ＹＣ変換処理では、ＲＧＢ信号からＹ、Ｃｒ、Ｃｂ信号を生成する。具体的には、Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ、Ｃｒ＝Ｒ−Ｙ、Ｃｂ＝Ｂ−Ｙにより生成する。輪郭補正では、光学ローパスフィルタ等によるＭＴＦ低下やＣＣＤの開口の影響によるＭＴＦの低下を修正し、あるいは画像のシャープネスを上げて濃淡にメリハリをつける。ノイズ低減処理では、平滑化処理やメディアンフィルタによる孤立点除去を行う。ＪＰＥＧ圧縮では、画像データを８×８のブロックに分割し、ＤＣＴ、量子化、ハフマン符号化を順次行って画像データを圧縮する。画像処理回路２０で画像処理して得られた画像信号は、ディスプレイ（ＬＣＤ）２２に出力されて表示され、あるいはメモリカード２６に出力されて記憶される。メモリカードはＳＤカードその他のフラッシュメモリを用いることができる。

ＡＥ／ＡＦ制御回路２４は、ＡＥ及びＡＦを実行する。ＡＥに関しては、画像信号の加重平均値（平均輝度レベル）を算出し、信号平均値と基準値を比較して露光値を決定する。測光方法（平均輝度レベルを求めるアルゴリズム）には、中央重点測光やスポット測光、多分割測光等がある。ＡＦに関しては、コントラスト検出方法やＴＴＬ位相差検出方法等がある。ＡＥ／ＡＦ制御回路２４は、決定した露光値に基づいてタイミングジェネレータ（ＴＧ）に制御信号を出力し、タイミングジェネレータ（ＴＧ）は制御信号に基づいてアナログフロントエンド（ＡＦＥ）のゲインを制御し、露光時間を制御する。また、光学系１０のフォーカスや絞りを制御する。

図１では、撮像素子としてＣＭＯＳイメージセンサを用いているが、撮像素子としてＣＣＤを用いてもよい。図２に、ＣＣＤを用いた場合の構成ブロック図を示す。ＣＣＤ撮像素子１２は、被写体像の光信号を蓄積電荷に変換して出力する。なお、光学系１０とＣＣＤ撮像素子１２との間には、赤外カットフィルタや光学ローパスフィルタが配置されるが、図ではこれらを省略する。またＣＣＤ撮像素子１２には、マイクロレンズアレイ及びベイヤー配列のカラーフィルタが設けられる。ＣＣＤは、ＰＤ（フォトダイオード）で発生した信号電荷をＣＣＤレジスタで列方向行方向に電荷転送し、最終段のＦＤ（フローティングディフュージョンアンプ）で電圧信号に変換して出力する。ＣＣＤ撮像素子１２としては、フルフレーム型、フレームトランスファ型、インターライン型、フレームインターライン型のいずれでもよい。

このような構成において、本実施形態では、被写体あるいはその周囲環境の明るさが急激に変化した場合に、従来のようにゲインを徐々に、あるいは段階的に変化させるのではなく、ゲインを明るさに応じて急激に、あるいは早急に変化させてしまう。そして、ゲインを変化させるとともに、露光量も同時に変化させることでゲインの変化を補償するようにする。ゲインを急激に変化させると、既述したように非常に不安定な映像となってユーザは映像に違和感を感じることになるが、ゲインの変化を補償するように露光量を変化させることで、違和感を抑えることができる。

すなわち、明るさが急減に低下した場合、これに応じてゲインを目標値まで急激に増大させ、これと共に、このゲインの増大を補償するために、同時に露光量を減少させる。露光量を減少させることで、フレーム毎に急激に明るさが変化する事態を抑えて違和感を防止する。ゲインを増大させた分だけ露光量を減少させればよいので、元のゲインをＧ、元の露光量をＬ、変化後のゲインをＧ’、変化後の露光量をＬ’とすると、Ｌ’＝Ｇ／Ｇ’×Ｌで変化後の露光量を決定することができる。もちろん、露光量の決定方法はこれに限定されるものではなく、ゲインが増大した量に応じて露光量を減少させるように、ゲインに対して負の相関を持つように露光量を決定すればよい。露光量を変化させるためには露光時間を変化させればよく、ゲインが増大した量に応じて露光時間を短くすればよい。

ゲインの増大に応じて露光量を減少させた後、ゲインはそのままで露光量を本来の露光量（減少させる前の元の露光量）まで段階的に増大させていく。ノイズはゲインに大きく依存するものの露光量にはあまり依存しない。したがって、露光量を段階的に増大させてもノイズがこれに応じて増大することはない。

本実施形態では、ゲインを段階的に変化させるのではなく、ゲインは急激に（一時に）変化させ、その代わりに露光量（露光時間）を段階的に変化させることで、ノイズを素早く抑制することができる。

図３に、本実施形態におけるＡＥ動作時の処理フローチャートを示す。ある輝度に対するゲインがＧｃ、露光時間がＴｏｒｇであるとする。ＡＥ／ＡＦ制御部２４は、画像の平均輝度レベルを検出する（Ｓ１０１）。この平均輝度レベルをＬａｖｅとする。次に、この平均輝度レベルと目標輝度レベルとを比較し、目標輝度レベルか否かを判定する（Ｓ１０２）。目標輝度レベルであれば現在のゲイン及び露光時間をそのまま維持する。一方、平均輝度レベルが目標輝度レベルと相違する場合には、目標輝度レベルに達するために、目標ゲイン及び暫定の露光時間を算出する（Ｓ１０３）。目標輝度レベルをＬｔ、目標ゲインをＧｔとすると、目標ゲインＧｔ＝Ｌｔ／Ｌａｖｅである。また、暫定露光時間をＴｔｅｍｐとすると、暫定露光時間Ｔｔｅｍｐ＝Ｇｃ／Ｇｔ×Ｔｏｒｇである。暫定の露光時間としたのは、既述したように、露光量はゲインの増大を補償するように低下させるが、その後、徐々に元の露光量まで戻すからである。

目標ゲインＧｔ及び暫定露光時間Ｔｔｅｍｐを算出した後、ＡＥ／ＡＦ制御部２４は、ゲインを目標ゲインＧｔに制御すると共に、露光時間を暫定露光時間Ｔｔｅｍｐに制御する（Ｓ１０４）。その後、フレーム毎に段階的に暫定露光時間から元の露光時間Ｔｏｒｇに制御する（Ｓ１０５）。

図４に、本実施形態のタイミングチャートを示す。従来のタイミングチャートを示す図６と比較すると、本実施形態の特徴が明確に理解されよう。図４（ａ）はフレーム番号であり、図４（ｂ）は被写体あるいは周囲環境の明るさ（輝度）の変化を示す。フレーム番号１１で急激に明るさが１／２に低下する。図４（ｃ）はゲインの変化を示す。フレーム番号１１で明るさが急激に低下したことに応じて、フレーム番号１２においてゲインを１×から２×に増大する。図４（ｄ）は露光時間の変化を示す。フレーム番号１２でゲインを１×から２×に急激に増大させたことに伴い、この増大を補償すべく、露光時間を１／３０秒から１／６０秒に減少させる。そして、フレーム番号１３〜１５において露光時間を１／６０秒から１．１９／６０秒、１．４１／６０秒、１．６８／６０秒、１／３０秒と段階的に増大させていく。フレーム番号１６では元の露光時間１／３０秒に戻る。図４（ｅ）は行（ロー）／列（カラム）のノイズレベルの変化を示す。ノイズレベルは、露光時間にほとんど依存せず、ゲインの影響を強く受ける。従って、フレーム番号１２でゲインを１×から２×に増大させることでノイズレベルも増大する。その後、ノイズレベルは徐々に低下していく。この間は、ゲインは一定である。図６のタイミングチャートでは、フレーム番号１６でゲインは２×で一定となるため、ノイズレベルはこの時点から低下していくが、図４のタイミングチャートでは、フレーム番号１２でゲインは２×で一定となるため、ノイズレベルはこの時点から低下していく。すなわち、図４のタイミングチャートでは、図６のタイミングチャートに比べて、ノイズレベルはより早いタイミングで低下するため、より早いタイミングで元のレベルまで抑制される。従って、ユーザは、より早いタイミングでノイズのない（あるいはノイズの抑圧された）映像信号を得ることができる。

なお、本実施形態において、ノイズが目立つのは、高いゲインが必要な場合、すなわち暗い環境である。したがって、明るさが暗→明と変化する場合には従来と同様の制御を行い、明るさが明→暗と変化する場合に本実施形態のようにゲインと露光時間を制御するのが好適である。

また、本実施形態では、明るさが明→暗と変化した場合に、ゲインを次のフレームで急激に増大させているが、従来と同様に段階的に増大させるものの従来よりも急激に増大させ、ゲインを急激に増大させたタイミングでこれを補償すべく露光時間を減少させることもできる。

図５に、この場合のタイミングチャートを示す。図５（ｂ）に示すように、フレーム番号１１で明るさが急激に低下すると、図５（ｃ）に示すように、次のフレームからゲインを段階的に１．１９×、１．４１×と増大させる。そして、フレーム番号１４において、ゲインを１．４１×から２×まで急激に増大させる。図５（ｄ）に示すように、ゲインが１×から１．４１×まで段階的に増大している期間では露光時間は１／３０秒のまま維持し、ゲインが急激に増大するタイミングにおいて、これを補償すべく露光時間を１／３０秒から１．４１／６０秒まで減少させる。それ以後は、露光時間を段階的に増大させていき、フレーム番号１６で元の１／３０秒に達する。図５（ｅ）に、この実施形態のノイズレベルの変化を示す。この実施形態でも、ゲインが一定になるフレーム番号１４からノイズレベルは低下していくから、図６の場合と比べて、より早いタイミングでノイズのない映像信号を得ることができる。

本発明は、図４のフレーム１２〜１５の期間に相当する段階的明るさ調整期間にゲインを目的ゲインにいち早くあげることにより、ゲインの変化に伴う一時的なノイズの増加を早い段階で収束させるものであるが、一方で段階的明るさ調整期間のノイズを増加させる可能性はある。但し、この期間は明るさが段階的に変わっている動的な期間であり、明るさが安定している期間よりはノイズが目立たず通常は問題とならない。多少気になる場合は、図５のようにゲインの変化と露光量の変化を最適化して、あまり大きなゲインの変化がないようにする、または明るさ調整期間のみ画像処理においてノイズフィルタを一時的に強くかける等の対策をとることができる。

なお、以上の実施形態では露光量を段階的に変化させる手段として露光時間を用いたが、その代わりに絞り値を変化させるか、あるいはその両方を変化させてもよい。

１０ 光学系、１２ ＣＣＤ撮像素子、１４ アナログフロントエンド（ＡＦＥ）、１６ タイミングジェネレータ（ＴＧ）、１８ ＡＤ変換器、２０ 画像処理回路、２２ ディスプレイ（ＬＣＤ）、２４ ＡＥ／ＡＦ制御部、２６ メモリカード。

Claims (5)

1. 撮像装置であって、
   撮像素子と、
   前記撮像素子から出力された画像信号を増幅する増幅手段と、
   前記画像信号に基づいて被写体の明るさを測定する測光手段と、
   前記測光手段で測定された前記明るさに基づいて前記増幅手段のゲイン及び露光量を制御する制御手段であって、前記明るさの変化に応じて前記ゲインを変化させるとともに、前記ゲインの変化を補償すべく前記露光量を変化させ、その後に変化前の露光量に戻す制御手段と、
   を有することを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記制御手段は、前記明るさが減少した場合に、前記ゲインを増大させるとともに、前記ゲインの増大を補償すべく前記露光量を減少させることを特徴とする撮像装置。
3. 請求項２記載の撮像装置において、
   前記制御手段は、前記明るさが減少した場合に、前記ゲインを増大させるとともに、前記ゲインの増大を補償すべく露光時間または絞り値を減少させることを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記制御手段は、前記明るさが減少した場合に、前記ゲインを第１ゲインＧ１から第２ゲインＧ２に増大させるとともに、前記ゲインの増大を補償すべく前記露光時間を第１露光時間Ｔ１から第２露光時間Ｔ２に減少させ、Ｔ２＝Ｇ１／Ｇ２×Ｔ１の関係にあることを特徴とする撮像装置。
5. 撮像装置であって、
   撮像素子と、
   前記撮像素子から出力された画像信号を増幅する増幅手段と、
   前記画像信号に基づいて被写体の明るさを測定する測光手段と、
   前記測光手段で測定された前記明るさがあるフレームにおいて減少した場合に、当該フレームの次のフレームにおいて前記増幅手段のゲインを目標となる明るさが得られるように増大制御し、かつ、露光時間または絞り値を減少制御し、さらに次のフレーム以後において前記露光時間または絞り値を減少制御前の元の露光時間または絞り値に段階的に戻す制御手段と、
   を有することを特徴とする撮像装置。

Images