JP2007110486A

JP2007110486A - 撮像装置

Info

Publication number: JP2007110486A
Application number: JP2005299892A
Authority: JP
Inventors: Hirokazu Kobayashi; 寛和小林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-10-14
Filing date: 2005-10-14
Publication date: 2007-04-26
Anticipated expiration: 2025-10-14
Also published as: US7692699B2; US20070085917A1; JP4773179B2

Abstract

【課題】高感度モード等の撮影時におけるリニアリティ不良を防止する撮像装置を提供。
【解決手段】固体撮像素子12から出力される画像信号を信号処理する際に、超高感度撮影時、高温時撮影時さらには長時間露光時等の所定条件の撮影時には、信号処理回路140は、画像信号をクランプする際のクランプレベルを大きくし、画像信号に対する基本黒レベル補正処理を行う前に、ノイズリダクション部142にて画像信号のランダム性ノイズを除去するノイズリダクション処理を行い、その後黒レベル補正処理を行う。
【選択図】図１

Description

本発明は、たとえば高感度撮影時に撮像素子出力を処理するノイズクリップ処理の際に、リニアリティ不良を防止するに撮像装置に関するものである。

高感度設定時における撮影や長時間撮影時、さらには高温時などで、デジタルクランプから信号処理によるクランプに切り換ることによって固体撮像素子の有効感光領域の撮像信号の沈み込みを防止することがたとえば特許技術文献１に開示されている。

近年、ＣＣＤイメージセンサなどの固体撮像素子の微細画素化により発生電荷数が少なくなり、使用する信号レベルが低くなっているにもかかわらず、市場では手ぶれが少なく撮影を行うことができる高感度モードの充実したカメラが求められている。
特開２００３−３１９２６７号公報

しかしながら、高感度モードの充実したカメラを実現するためには、撮像素子出力後段での大きなゲインアップが必要となって、少しの黒レベルのずれが非常に目立つようになるという問題があった。特許技術文献１に記載の発明は、クランプがそのノイズに着目しているものの、引き込まれた有効領域のノイズには注目しておらず、実際の効果には限界があるものと考えられる。

高感度モード（高ISOモード）などノイズが多い信号をクランプする際の真の課題には次の場合がある。たとえばISO3200やISO6400などの超高ISOモードで予測されるノイズ量は信号に対し無視できない。このような場合、クランプレベル、黒レベル補正（オフセット補正）およびノイズリダクションの処理順を的確に制御しないとノイズリダクション後の信号がリニアリティ不良を起こし、たとえば色が回ってしまう。

本発明はこのような従来技術の欠点を解消し、高感度(ISO)モードにて顕著に発生するノイズクリップによるリニアリティ不良を未然に防止する撮像装置を提供することを目的とする。

本発明は上述の課題を解決するために、被写界を撮像して画像信号を生成する撮像装置において、この装置は、画像信号を生成する撮像手段と、画像信号を処理する信号処理手段とを含み、この信号処理手段は、所定露光条件下にて撮像して生成される画像信号を処理する際に、画像信号をクランプする際のクランプレベルを大きくし、画像信号に対する基本黒レベル補正処理を行う前に画像信号のランダム性ノイズを除去するノイズリダクション処理を行い、その後黒レベル補正処理を行うことを特徴とする。

本発明によれば、撮像手段から出力される画像信号を信号処理手段にて処理する際に、超高感度撮影時、高温時撮影時さらには長時間露光時のような場合であっても、基本黒レベル補正を各処理の後に実行することにより、アナログ系、デジタル系双方でのノイズクリップを防止し、リニアリティ不良を防止することができる。また、固定パターンキズが多い場合にもノイズクリップの防止が可能である。また、積算データを取得する際にも積算系でのノイズクリップを防止することができる。

次に添付図面を参照して本発明による撮像装置の実施例を詳細に説明する。図１を参照すると、本発明による撮像装置の実施例が示されている。図示するように、撮像装置１は、撮像レンズ（図示せず）およびメカニカルシャッタ10を介して入射する光学像を受光して光電変換する固体撮像素子12を備えている。

固体撮像素子12は、撮像レンズの焦点面に配置され、焦点面に結像する光電変換するカラーイメージセンサである。本実施例における固体撮像素子12は、撮像面の水平および垂直走査方向に配置される複数の受光部100にて生成する信号電荷をそれぞれ垂直転送路に読み出し、垂直駆動回路110から供給される垂直転送パルス(V1〜V4)により垂直転送してそれぞれ水平転送路102に転送する。水平転送路102は、水平駆動回路112から供給される水平転送パルス(H1,H2)により駆動されて、それぞれ垂直転送路からの信号電荷を出力アンプ106の方向に水平転送する。

出力アンプ106は、出力アンプ駆動回路104から供給されるリセットパルス等により信号電荷を順次検出し、検出した信号電荷に応じた画素信号を固体撮像素子12の出力を構成する出力108に出力する。このようにして固体撮像素子12にて露光した光学像に応じた画素信号が生成される。なお、固体撮像素子12への露光を与えるメカニカルシャッタ10は、シャッタ駆動回路120から供給される駆動信号によってその開放時間が制御される。

これら垂直駆動回路110、水平転送路102、出力アンプ駆動回路104およびシャッタ駆動回路120は、それぞれタイミングジェネレータ(TG) 122から与えられるタイミング信号に応動してそれぞれ生成される。

出力アンプ106の出力は不図示の相関二重サンプリング回路(CDS)を介してアナログゲイン回路に130に接続される。アナログゲイン回路130は、固体撮像素子12の出力を利得可変に増幅する利得可変増幅回路であり、アナログゲイン回路130の入力には、クランプ回路132の出力がフィードバックされて、所定レベルにてクランプした画素信号が入力される。アナログゲイン回路130利得は制御回路(CPU) 134の制御出力により制御される。

アナログゲイン回路130の出力はアナログ・ディジタル変換回路(A/D) 136に接続され、ディジタル信号に変換した画像信号は、画像メモリ138に一旦格納した後、信号処理回路(DSP) 140に供給される。またアナログ・ディジタル変換回路136は、クランプ回路132へ帰還信号を出力し、クランプ回路132は、ISO感度に応じた設定値を格納する設定レジスタ142による設定値に応じて帰還信号を生成してアナログゲイン回路130の入力に出力する。この設定レジスタ142にて設定する値は、図示するように本実施例ではたとえばISO100〜ISO800の感度設定の場合では値128であり、ISO1600の感度設定の場合では値256である。

アナログゲイン回路130における利得制御は、別の設定レジスタ144に格納された値によって設定される。本実施例における設定レジスタ144は、図示するようにISO100、ISO200、ISO400、ISO800およびISO1600を設定する設定情報を格納しており、これらを制御回路134から供給される指示に応じてアナログゲイン回路130に設定する。なお、これら複数の感度設定値は一例であり、ISO64やISO3200等他の感度を設定する構成でもよい。

画像メモリ138に接続された信号処理回路(DSP)140は、信号のノイズを除去するノイズリダクション部142と、信号のオフセットを補正するオフセット補正部144と、ホワイトバランス(WB)を補正するWB補正部146と、γ補正を行うγ補正部148と、同時化処理を行う同時化処理部150と、輪郭補正を行う輪郭強調部152と、彩度補正を行う彩度強調部154と、画像データを圧縮符号化する圧縮処理部156とを含み、これらはそれぞれ共通のバス160を介してそれぞれ制御回路(CPU)134および画像メモリ138に接続されている。画像メモリ138にはさらに、メモリカード162をインタフェースするカードI/F 164が接続されている。

制御部(CPU) 134は、不図示の操作部へ入力される操作情報にしたがって撮像装置１を制御する制御回路であり、たとえば、撮影に必要な露出値算出や焦点調節制御の開始を制御し、さらにレリーズ開始をタイミングジェネレータ(TG) 122等の各部に指示して露出時間を制御する。また制御回路134は、操作部への操作情報に応じてISO感度を設定する機能を有している。

ここで、図２を参照すると、低ISO感度設定の場合の固体撮像素子12への入射光量とデジタル信号量との関係が示されている。図示するように、横軸はそれぞれのISO感度で規格化した入射光量を示し、縦軸はノイズリダクションを行わずに黒レベル補正およびWB補正を行った後の信号レベルおよびノイズ量（σ）を示す。また図３には、高ISO感度設定の場合の固体撮像素子12への入射光量とデジタル信号量との関係を示している。

図３に示すグラフにおける低輝度側がＭｇ傾向になり、高輝度側がＧ傾向になることについていかに説明する。

固体撮像素子のノイズは一般的に次式(1)でモデル化することができる。
Total_Noise＝SQRT(a×Sig＋（a×Noise）^2）・・・(1)
ここでaはゲイン、a＝ISO感度ゲイン×WBゲイン＝iso×wbであり、Sigはデジタル画像（WB後のデジタル画像）の信号レベルであり、Noiseは暗時ノイズである。

このように、トータルノイズは信号レベルSigと、ゲインa＝iso×wbに依存して増加する。図３に示すグラフでは、ホワイトバランス(WB)調整後の状態を示しているので、各プロットでSigは色に依存せず、A＝iso×wbが色に依存する。そのため、一つの相対露光量に対し各色チャネルは同じプロットでありながら、当該信号レベルでのノイズを表すエラーバーの長さが各色で異なる。

たとえばSig＝1000となる明るさでのトータルノイズは、Noise＝10とすると、
Total_Noise(R)＝SQRT(100a(R^2＋1000a(R)) ・・・(2)
Total_Noise(G)＝SQRT(100a(R^2＋1000a(G)) ・・・(3)
Total_Noise(B)＝SQRT(100a(R^2＋1000a(B)) ・・・(4)
となる。

太陽光下でホワイトバランス(WB)をかける場合、通常a(G)がa(R)、a(B)よりも大きくなる。正確には撮像レンズ、IRカットフィルタ、CCDカラーフィルタ、CCDの埋め込みフォトダイオードなどの分光特性によって異なるが、たとえば、a(G)が1.2×isoに対し、a(R)は1.8×iso、a(B)は2.0×isoなどの比率で与えられるので、
Total_Noise(G)＜Total_Noise(R) ・・・(5)
Total_Noise(G)＜Total_Noise(B) ・・・(6)
が成り立つ。

ISO感度ゲインisoが小さいうちは、Total_Noiseの増加によるノイズクリップと、Total_Noiseの色による違いとが無視できるほど小さいので問題はないが、ISO感度ゲインisoが大きくなると、
第１に、低輝度での真のSigよりもマイナス側に発生したノイズを含む画素により０にクリップされて本来の黒レベルが上昇してきたり、高輝度での真のSigよりもプラス側に発生したノイズを含む画素による4096（12bit系の場合）にクリップされて本来の白レベルが下降してしまったりする。

第２に、上記の傾向がＧチャネルよりもノイズの大きいＲ，Ｂチャネルで比較的顕著に起こるため、低輝度でＧチャネルよりもＲ、Ｂチャネルの黒レベルが上昇してＲ、Ｂ＞ＧとなってＭｇ化したり、高輝度でＲ、ＢチャネルよりもＧチャネルの白レベルが下降してＲ、Ｂ＜ＧとなってＧ化したりする。

上記の弊害については、白レベル付近はガンマによって信号差が抑圧される一方、黒レベル付近はガンマによって強調されるので、一般に後者の方が弊害が顕著である。また、ＷＢポジションが変わった場合、上記第２の場合の弊害は変化する。たとえば低色温度下でa(R)が小さく、a(G)、a(B)が大きくなった場合、上記第２の場合のの弊害は、低輝度でRチャネルよりもG,Bチャネルの黒レベルが上昇してきてG,B>RとなってＲ化したりするようにと変化する。つまり上記第２の場合の弊害は、黒レベル付近でノイズの多いチャネルの着色が、白レベル付近でノイズの少ないチャネルの着色が起こる、と一般化することができる。

これら図２および図３はランダム性ノイズの発生をモデル化して算出した例である。図３に示すように、低輝度で平均値よりも低くなるノイズ画素が０にクリップされてしまう。したがって、その後にお平滑処理等のノイズリダクションをかけてもノイズの多い色信号が浮き上がったように見えることになる。つまりWBポジションによってゲインの大きくかかる色に回ってしまうという特性劣化が発生する。高輝度にクリップされるケースはその反対色に色が回る。

この様な事態を発生するための撮像装置１の動作を図４を参照して説明する。まず不図示の操作部に備えられるレリーズボタンの押下を受け付けて撮影を開始する。露光フィールドが開始されて所定時間露光後メカニカルシャッタ10が閉じられる。固体撮像素子12の垂直転送路(VCCD)をリセットするためのスミア掃き出し動作後、シフトゲートを開いて各画の信号電荷を垂直転送路に読み出す。各信号電荷について垂直転送路上を４相転送水平転送路(HCCD)上を２相転送し、さらに出力アンプ106のFDAへ信号電荷を転送する。出力アンプ106では、隣接信号と混色しないように毎画素リセット動作が行われる。なお本実施例における撮影は、たとえば暗黒の画像データ、つまり遮光データを得るために撮影する場合を含み、遮光データはたとえば信号処理にて処理され、また信号処理等に使用されるとよい。

アナログディジタル変換部136では毎行OBクランプ動作を行い、黒レベルをオフセット付の一定値（たとえば12bit中値”128”など）に引き込む。アナログゲイン回路130ではISO感度設定に応じたゲインをかけて信号を増幅しアナログディジタルA/D変換部に出力してA/D変換が実行される。変換された画像データは画像メモリに書き込まれる。

本実施例では、ISO感度設定、温度、長時間露光時などにクランプレベルをたとえば128から256にするように大きくして、低輝度ノイズ画素のうち平均値よりも低くなる画素のクリップを防止する。具体的には図４に示すステップ400において、ISO感度がISO1600以上であるかは判定され、ISO1600以上の感度設定がされている場合にはステップ402に進み、そうでない場合にはステップ404に進む。

ステップ404ではさらに所定温度以上の高温であるか否かが判定されて、高温である場合にはステップ402に進み、そうではない場合にはステップ406に進む。ステップ406に進みと、さらにシャッタ速度S、つまりメカニカルシャッタの開放時間がたとえば30秒以上の長時間露出であるか否かが判定されて、30秒以上の場合にはステップ402に進み、そうでない場合にはステップ408に進む。ステップ408では、クランプ回路132におけるクランプレベルが128に設定される。

一方、ステップ400〜406に続くステップ402では、ステップ400〜406の条件判断結果に応じてノイズ量（σ）の予測が実行される。次いでステップ410に進むと、ステップ402にて予測されたノイズ量（σ）の３倍程度クランプ量が確保されるか否かが判定されて、確保される場合にはステップ412に進んでクランプレベルが256に設定される。その後ステップ414に進む。この場合、ノイズ分布が正規分布に従う場合、予測されるノイズ量の３倍程度クランプレベルを確保できればクリップされる画素は、0.3/2 ％となり、後述のノイズリダクションと併せて良好な効果が期待できる。また、ステップ410にてノイズ量（σ）の３倍程度クランプ量が確保されない場合にはステップ408に進み、クランプレベルが128に設定される。その後ステップ414に進む。

ステップ414では、ノイズリダクションが実行される。この場合、黒レベルを保持したままノイズリダクション部142にてノイズリダクションが行われる。ノイズリダクションは、平滑化、メディアン型などランダムノイズ性ノイズを除去する。ここではアンプノイズ、光ショットノイズなどのような回避することができないランダムノイズによる画素クリップを防止する。その後、WB調整を実行する前に、ステップ416にて黒レベル補正（オフセット補正）を行い、ステップ418にてガンマ変換を行い、ステップ420にて同時化処理を実行する。これらの処理の後ＷＢ調整が行われる。

このようにして処理された画像データは圧縮処理部156にて圧縮符号化されて、たとえばカードI/F 164に接続されるメモリカード162に記録される。

以上説明したように、超高感度モード、高温時、長時間露光時等の所定露光条件下にて撮像する際に、クランプレベルを大きく制御し、黒レベル補正を行う前にランダムノイズを除去するノイズリダクション処理を行い、その後黒レベル補正を行う構成により、アナログ系およびディジタル系でのノイズクリップを防止することができる。この場合、クランプレベルを大きくしない場合であってもディジタル系でのノイズクリップ防止に効果がある。

次に図５を参照して撮像装置の第２の実施例を説明する。本実施例における撮像装置は、ステップ414（図４）におけるノイズリダクションを実行する前にキズ補正処理を実行する信号処理部を備える点で図１に示した撮像装置１と異なり、その他の構成については撮像装置１と同様の構成でよい。本実施例における信号処理部500を図５に示す。この信号処理部500は図１に示した撮像装置１内の信号処理部140の構成に加えてキズ補正部510を備えるようにした点で、信号処理部140とは異なるが、その他の構成については図１の信号処理部140と同様の構成でよいのでその説明を省略する。

本実施例におけるキズ補正部510は、画像データに対するキズ補正、縦線キズ補正、フィールド段差（横線キズ）補正などの黒レベルに付随する高周波固定パターンノイズを除去する機能を有する補正回路である。本実施例では、高周波固定パターンノイズ除去は、基本黒レベルデータからのずれ分のみを補正するとよい。

次に図６には、本実施例における撮像装置の動作フローが示されている。図４で説明した動作と異なる部分は、ステップ412の次にノイズリダクション処理が実行されて、その後のステップ414にて黒レベル補正が実行される点であり、図４に示した動作と同様の処理動作については同じ参照符号を付してあるのでその説明を省略する。

ステップ500では、デジタル信号処理部140において、まず、キズ補正、縦線キズ補正、フィールド段差（横線キズ）補正などの黒レベルに付随する高周波ノイズを除去する。長時間露光時に見られる制御として、遮光データを減算することがあるが、このような場合も基本黒レベル（たとえば128または256）を保持したまま、たとえば基本黒レベルからの差分だけを減算する処理を実行する。

具体的には、遮光データをDark(x,y)、基本黒レベルを128、露光データをData(x,y)とすると、キズ補正後Data(x、y)は次式(1)にて与えられる処理を実行する。
キズ補正後Data(x、y)＝Data(x、y)−(Dark(x,y)−128) ・・・(7)
このような暗時に見られる固定パターンノイズのうち特に高周波ノイズを除去した後で、図１に示した第１の実施例と同様にランダム性ノイズ除去を目的とするノイズリダクション処理を行い、さらにその後、基本黒レベル補正を行う。キズは一般的には「白キズ」と称される通り、浮き上がる方向に発生するものなのでこれらを除去せずに平滑化するとノイズクリップ同様に黒浮きが生じる。一方、暗時シェーディングなどの低周波ノイズは基本黒レベル補正の後に除去しても問題ない。

次に本発明が適用された撮像装置の第３の実施例を説明する。通常デジタルカメラは、得られた画像から分割積算データを取得し、そこから被写界の光源を予測して最適なＷＢゲインを割り出す自動信号処理系として自動ホワイトバランス調整(AWB)機能を備えている。このような分割積算データを取得する自動信号処理系は、たとえば自動焦点調節の際にも必要とされるとされる。

図１および図５に示した撮像装置内の信号処理回路140,500には、そのためのＷＢ補正部146を備えている。本実施例は、分割積算データ取得時に、上記各実施例における手法にて黒レベルを保持したまま積分して分割積算データを算出し、その後で、基本黒レベルをは画像データから減算する。

すなわち、
R[i,j]＝ΣData_R(x,y)−128 ・・・(8)
G[i,j]＝ΣData_G(x,y)−128 ・・・(9)
B[i,j]＝ΣData_B(x,y)−128 ・・・(10)
R/G[i,j]＝R[i,j]/G[i,j] ・・・(11)
B/G[i,j]＝B[i,j]/G[i,j] ・・・(12)
たとえば、0＜i、j＜８としてＷＢ補正部146にて64分割積算する。オートホワイトバランス等の際に使用するエリア分割積算データを、ノイズリダクションを行う前に黒レベル補正した後に取得すると、上昇した黒レベルを元にＷＢ係数を求めることになるので、最適なＷＢ係数が得られなくなる。一方、積算データ取得は同一エリア内の画素を色別に積算していく。この結果平均化処理と同様のノイズ低減効果がある。そこで、本実施例のように黒レベル補正を行わない状態で積算データを取得し、積算データに対して黒レベル補正を行うことで、最適なＷＢ係数を求めることができる。また、同様の原理により測光動作中の積算データ取得も行うことができ、黒レベル上昇が発生することを防止することができ、このため、露出を低下させる露出制御を行わずにすむ。

本発明が適用された撮像装置の実施例を示すブロック図である。低ISO感度設定の場合の固体撮像素子への入射光量とデジタル信号量との関係を示す図である。高ISO感度設定の場合の固体撮像素子への入射光量とデジタル信号量との関係を示す図である。撮像装置の動作を示すフローチャートである。信号処理回路の他の実施例を示すブロック図である。図５に示す実施例における撮像装置の動作を示すフローチャートである。

符号の説明

12 固体撮像素子
134 制御回路(CPU)
140 信号処理回路

Claims

被写界を撮像して画像信号を生成する撮像装置において、該装置は、
前記画像信号を生成する撮像手段と、
前記画像信号を処理する信号処理手段とを含み、該信号処理手段は、
所定露光条件下にて撮像して生成される前記画像信号を処理する際に、前記画像信号をクランプする際のクランプレベルを大きくし、前記画像信号に対する基本黒レベル補正処理を行う前に前記画像信号のランダム性ノイズを除去するノイズリダクション処理を行い、その後黒レベル補正処理を行うことを特徴とする撮像装置。
被写界を撮像して画像信号を生成する撮像装置において、該装置は、
前記画像信号を生成する撮像手段と、
前記画像信号を処理する信号処理手段とを含み、該信号処理手段は、所定露光条件下にて撮像する際に、少なくとも基本黒レベル補正処理を行う前に、ランダム性ノイズ除去を行うノイズリダクション処理を実行し、その後、前記基本黒レベル補正処理を行うことを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、前記所定露光条件は、超高感度モードであることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、前記所定露光条件は、高温時であることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、前記所定露光条件は、長時間露光時であることを特徴とする撮像装置。
請求項１または２に記載の撮像装置において、前記信号処理手段は、黒レベル補正に付随する高周波パターンノイズを除去し、その後、基本黒レベルを保持したまま前記ノイズリダクション処理を行い、その後に前記基本黒レベル補正を行うこと特徴とする撮像装置。
請求項１に記載の撮像装置において、前記信号処理手段は、遮光データによる黒レベル補正を行う前に前記ノイズリダクション処理を行うことを特徴とする撮像装置。
請求項６に記載の撮像装置において、前記高周波固定パターンノイズは、点キズ、縦線キズ、フィールド段差（横線キズ）補正の少なくともいずれかであることを特徴とする撮像装置。
請求項６に記載の撮像装置において、前記高周波固定パターンノイズは、点キズ、縦線キズ、フィールド段差（横線キズ）補正の全部であること特徴とする撮像装置。
請求項６に記載の撮像装置において、前記高周波固定パターンノイズ除去は、基本黒レベルデータからのずれ分のみを補正すること特徴とする撮像装置。
請求項１に記載の撮像装置において、前記画像に基づいて信号自動処理を実行するための積算データを取得する際に、前記基本黒レベル補正を行わずに積算処理を行って、その後に前記基本黒レベル補正を実行することを特徴とする撮像装置。