JP2009188461A - 撮像装置 - Google Patents

Abstract

【課題】混色補正を行なう際に、複雑な補正式を使用することなく、簡易な補正式を用いて混色補正を実現する撮像装置を提供する。
【解決手段】被写体を結像する撮影光学系（101等）と、該撮影光学系による結像を電気信号に変換し出力するカラー固体撮像素子（104）と、該カラー固体撮像素子出力を処理する画像処理部(110)とを備えた撮像装置において、前記カラー固体撮像素子の受光面上にて発生する画素間の混色を、前記画像処理部にて前記カラー固体撮像素子の輝度成分に支配的な出力について補正処理する際に、撮影時の絞り値または撮影時のズーム位置または撮影感度設定のいずれかによって、補正量を変える。
【選択図】図５

Description

本発明は、撮像装置に関し、特に、混色補正を行なう際に、複雑な補正式を使用することなく、簡易な補正式を用いて混色補正を実現する撮像装置に関する。

デジタルカメラ等の撮像装置に使用されるＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の固体撮像素子は、被写体像からの光をレンズを通して受光し、光電変換により画像信号を電気信号として出力する。この固体撮像素子の光学的な問題点として「混色」がある。

この「混色」の原理を簡単に説明する。
例えば、ＣＭＯＳイメージセンサは、Ｐ型基板に、画素部がｎＭＯＳで構成されるとともに、周辺回路部がＣＭＯＳで構成されているものが主である。
ＣＭＯＳイメージセンサには、信号線とゲート選択線とオプティカルブラック用の遮光用金属膜の３層が必要になる。これらは層間絶縁膜によって分離されていて、その最上面は平坦化され、その面上にカラーフィルタ（原色フィルタ）が形成されている。そのため、カラーフィルタは受光面より３μｍ〜８μｍの高さに形成されている。

上記構成のＣＭＯＳイメージセンサでは、カラーフィルタの高さが５μｍ程度またはそれ以下の場合には、シリコン基板内部で発生した光電子が隣の画素に拡散して混入する確率が増加する。このような基板内部での光電子の混入によるクロストークが、混色の原因の一つである。また、隣の画素に混入する成分はＲＧＢの各色ごとに光電変換を起こす深さが異なるので、混入確率は各色ごとに異なる。

一方、カラーフィルタの高さが水平画素ピッチの１／２以上になると、隣の画素位置のカラーフィルタを通過した光が混入して生じるクロストークが問題となる。このような基板上でのクロストークは、入射光、特に斜め入射光がカラーフィルタを通過した後に隣のセンサで光電変換を起こすことにより発生し、これも混色の原因となる。上記斜め入射光の混入する成分はセルサイズとカラーフィルタの高さとレンズのＦ値とに依存する。画素ピッチ、上層膜の構造等により混入量の絶対値は異なるが、一般にＦ値が小さくなるにしたがって、斜め入射光の混入量は増大する傾向にある（図２を用いて後述する）。
上記に説明したような混色が発生すると、色の表現性が低下して、固体撮像素子から出力される画像信号の画質が劣化する。（例えば、特許文献１）。

この混色の現象は、配線層の厚いＣＭＯＳイメージセンサの方がＣＣＤイメージセンサより発生し易く、短波長側の青色光より、長波長側の赤色光の方が減衰しないため混色量が多い。
また、前述のように固体撮像素子面への光線入射角および画素中心に対するフォトダイオードの開口位置およびフォトダイオード開口とマイクロレンズのズレに対する漏れ量の依存性があるために、光学中心からの距離や固体撮像素子の縦横方向によって混色量は変化する場合がある。

混色による具体的な画像への影響としては、例えばポストのような一面が赤く均一な被写体を、原色ベイヤー配列の固体撮像素子で撮影したときには、Gr(赤の列にある緑フィルタ)とGb(青の列にある緑フィルタ)に出力差が生じるために、輝度差による格子縞のノイズパターンが現れる(図３を用いて後述する)。
このような混色を防止する技術として、特許文献１や特許文献２に記載のものが提案されている。
特許文献１に開示された技術は、混色成分を補正するための補正係数を記憶するデータ記憶手段と、この補正係数に基づいて混色成分を補正する混色補正手段とを備えた固体撮像装置である。
また、特許文献２に開示された技術は、固体撮像素子の注目画素に隣接する周囲画素の各信号と、各信号に対して独立した補正パラメータを用いて注目画素の信号に対して補正処理を行なう補正処理手段を備えた信号処理装置である。

特開平１０−２７１５１９号公報 特開２００７−１４２６９７号公報

ところで、上記のような混色の要因系を考慮すると、緻密に混色補正を行なうためには、下記の数式（１）のように、レンズを通して受光する画面内の座標（x,y,z）依存性がある行列式Ａによってリニアマトリックス変換処理を行う必要がある。
しかしながら、この手法では演算量が多く、実際にはこのように複雑な補正を必要としないことが一般的であることもあり、より簡易な補正方法が期待されている。
（R’G’B’）＝Ａ（x,y,z）×（RGB）・・・（１）

本発明は上記の問題を解決すべくなされたものであり、混色補正を行なう際に、複雑な補正式を使用することなく、簡易な補正式を用いて混色補正を実現する撮像装置の提供を目的とする。

この目的を達成するために請求項1記載の発明は、被写体を結像する撮影光学系（図１の101等）と、該撮影光学系による結像を電気信号に変換し出力するカラー固体撮像素子（104）と、該カラー固体撮像素子出力を処理する画像処理部(110)とを備えた撮像装置において、
前記カラー固体撮像素子の受光面上にて発生する画素間の混色を、前記画像処理部にて前記カラー固体撮像素子の輝度成分に支配的な出力について補正処理する際に、撮影時の絞り値または撮影時のズーム位置または撮影感度設定のいずれかによって、補正量を変えることを特徴とする。

また、請求項２記載の発明は、請求項１記載の撮像装置において、
前記画像処理部は、画像の輪郭補正を行うエッジ強調ブロックを備え、
該エッジ強調ブロックは、ハイパスフィルタによる処理後にコアリング処理を行い、微小な混色をノイズと判断することを特徴とする（図４（Ａ），（Ｂ）参照）。
また、請求項３記載の発明は、請求項1記載の撮像装置において、
画像信号中の混色成分を補正するための補正係数である混色補正係数と、絞り値による補正関数と、ズーム位置による補正関数とを予め記憶手段に保持し、前記混色補正係数に対して、撮影感度設定または絞り値またはズーム位置のいずれかの撮影条件と前記補正関数から算出される値を乗じることで混色補正を行なうことを特徴とする。
なお、前記記憶手段は、画像処理部110に備えておけばよい。

また、請求項４記載の発明は、請求項３記載の撮像装置において、
前記絞り値が第１の絞り値より開放側では絞り値の補正関数を「１」とし、前記第１の絞り値に対して所定の絞り幅を持つ第２の絞り値より小絞り側では前記絞り値の補正関数を「０」とし、前記第１の絞り値と第２の絞り値との間での前記絞り値の補正関数を、一次式とすることを特徴とする（図５参照）。

また、請求項５記載の発明は、請求項３記載の撮像装置において、
前記ズーム位置が第１のズーム位置より広角側ではズーム位置の補正関数を「１」とし、前記第１のズーム位置に対して所定のズーム幅を持つ第２のズーム位置より望遠側では、前記ズーム位置の補正関数を「０」とし、前記第１のズーム位置と第２のズーム位置との間の前記ズーム位置の補正関数を、一次式とすることを特徴とする（図６参照）。
また、請求項６記載の発明は、請求項３記載の撮像装置において、
前記撮影感度設定の感度上昇と共に、前記撮影感度設定の補正関数を上昇させることを特徴とする（図７参照）。

請求項１記載の発明によれば、簡易な補正式によって、撮影感度やズーム位置や絞り位置によって変化する固体撮像素子の混色補正を実現することができる。
請求項２記載の発明によれば、混色補正の簡易化を図ることができる。
請求項３記載の発明によれば、簡易な補正式によって、撮影感度やズーム位置や絞り位置によって変化する固体撮像素子の混色補正を実現することができる。
請求項４〜６記載の発明によれば、混色補正の簡易化を図ることができる。

先ず、本発明の原理を説明する。
＜本発明の原理＞
本発明では補正の対象とする信号としては、輝度の主成分となる色信号に限定する。原色フィルタを用いた固体撮像素子においては、Gr、Gbのみを補正する。RとBも混色の影響は受けているが、色信号の強弱は人間の視覚では認識しにくいために補正を省略する。
また、補正は画面内の座標に依存しない一律の補正式で行なう。固体撮像素子の出力、すなわちRaw出力で確認すると混色量は座標に依存しているが、デジタルカメラでの画像処理においては、エッジ強調処理の場合、小さな出力の凹凸はノイズリダクション処理によって均一化の処理を行なうことが一般的である(図４を用いて後述する)。
また、最終的には8bitのJPEG画像として出力するため、ある一定以下の混色は画像処理によってリダクション処理される。

以上より、原色ベイヤー配列の固体撮像素子においては、下式（２），（３）での混色補正を行なうべく、補正係数であるk1〜k4を撮像装置の記憶部に保持しておけばよい。
Gr’＝Gr−k1×R−k2×B・・・（２）
Gb’＝Gb−k3×R−k4×B・・・（３）
ここに、Gr,Gb,R,Bは固体撮像素子Raw出力であり、knは混色補正係数である。

但し、上記補正式は、光線入射角による影響と撮影感度設定の影響は加味しておらず、この要因への考慮が必要である。ここに、光線の入射角については、絞りの開口系と焦点距離によって変化する。絞りが開口しているほど固体撮像素子の端の画素には斜め光が入射しやすく、混色は発生しやすくなる傾向にある。
また、焦点距離が広角側であるほど斜め光が入射しやすく、混色は発生しやすくなる傾向にある。
更に、本発明においては補正を簡単化しているために、固体撮像素子の端部などの混色が発生しやすい領域においては補正残りが発生している場合があり、撮影感度を上げることにより、目視により認識可能となるケースが考えられる。

以上のことから最終的には下式による混色補正を行なえばよい。
Gr’＝Gr−K1×R−K2×B・・・（４）
Gb’＝Gb−K3×R−K4×B・・・（５）
ここに、各記号は次の通りである。
Kn＝kn×F×Z×S
Gr,Gb,R,B:固体撮像素子Raw出力、kn：混色補正係数（画像信号中の混色成分を補正するための補正係数）、
F：絞り値による補正関数、Z：焦点距離による補正関数、
S：撮影感度による補正関数

＜実施の形態＞
以下、本発明を図示の実施形態に基づいて説明する。
図1は、本発明を適用する実施形態の撮像装置の構成図、図２は、混色発生のメカニズムを説明する図、図３は、原色ベイヤー配列の固体撮像素子における混色補正の補正対象画素と隣接画素の関係を示す図、図４は、輪郭補正によるノイズリダクションの例を示す図、図５は、絞り値と補正関数Fとの関係を示す図、図６は、焦点距離と補正関数Zとの関係を示す図、図７は、撮影感度と補正関数Sとの関係を示す図である。

先ず、図１を参照しつつ、実施形態の撮像装置（例えば、デジタルカメラ）の構成を説明する。
図１に示すように、光学ユニット100は、レンズ101と、絞り・シャッタ102と、光学ローパスフィルタ103と、CMOSイメージセンサ104と、フォーカス・ズーム機構105で構成される。
レンズ101は、フォーカス時、ズーム時、起動・停止時にフォーカス・ズーム機構105によってメカニズム的に位置を変える。また、絞り・シャッタ102は、撮影時に適切な絞り径に切換えたり、静止画撮影時にはシャッタの閉じ・開き動作を行なう。

これらレンズ101、絞り・シャッタ102、光学ローパスフィルタ103、CMOSイメージセンサ104、フォーカス・ズーム機構105を駆動するのが光学系駆動部106であり、光学系駆動部106に駆動指示を与えるのが制御・演算部120である。CMOSイメージセンサ104では２次元に配列した受光素子部で結像した光学像を電荷子に変換し、光学系駆動部106から送信される読出しタイミングによって、外部に電気信号として出力される。
CMOSイメージセンサ104から出力した信号は、後段の画像処理部110で所定のフォーマットで画像処理され、画像処理された記録画像は、圧縮・伸張処理部124と画像記録I/F部125を介して、最終的にはSDカードやコンパクトフラッシュ（登録商標）カードやXDピクチャーカードといったメディア（図示せず）にJPEG画像として保存される。

記録前のモニタ状態で使用しているときは、画像処理部110で表示用画像として処理され、LCDパネル123に随時更新表示される。本発明の請求項に記載の混色補正は画像処理部110内の混色補正ブロックにおいて処理される。
121は、ＲＯＭ等からなるプログラム用メモリ、122は、シャッターボタン等の操作部である。

次に、図２を参照しつつ、混色発生のメカニズムについて説明する。
図２（Ａ）は、対物レンズと固体撮像素子の関係を示したものである。固体撮像素子は複数の画素で構成されるが、図中に実線と点線で記載したように、固体撮像素子の中央部と端部では光線の入射角に違いが発生する。
図２（Ｂ）は、中央部の拡大図であり、図２（Ｃ）は、端部の拡大図である。
図２（Ｂ）と図２（Ｃ）ともに一番下に「PD」と記載した領域がフォトダイオードであり、受光部に相当する。フォトダイオード上の「M1〜M3」は３層構造を表しており、各フォトダイオードで光電変換された電気信号を読み出す配線層や各画素間を分離するための遮光層で構成されている。更に、その上の「ML」はマイクロレンズであり、対物レンズで結像した光学像を更にフォトダイオードに集光するための構造である。

また、図２（Ｂ）に示すように、固体撮像素子の中央部に入射した光線がフォトダイオードまで無駄なく集光されているのに対し、図２（Ｃ）に示すように、固体撮像素子の端部では光線の一部が集光できず、M1層とM2層を反射しながら隣接画素へ漏れていることを模式的に表している。この図２（Ｃ）から、斜めの入射光によって混色が発生すやすいことがわかる。

次に、図３を参照しつつ、原色ベイヤー配列の固体撮像素子における混色補正の補正対象画素と隣接画素の関係を説明する。
図３に示すように、中心のGrとGbを補正対象の画素とし（太枠で示す）、その縦・横のR・B信号の出力値によって補正を行なう。図中の矢印は、光の盛り込みが発生していることを示したものである。
ここで、混色量が固体撮像素子の縦横方向に対する依存性がない場合は、Gr＝Gとなるため格子状のパターンの発生は起こらない。混色量が縦横方向に対して依存性を有していれば、GrとGbとが等しくないので、格子状のパターンの発生が起こり、本発明による補正が必要になってくる。

次に、図４を参照しつつ、画像処理のノイズリダクションにより微小な凹凸が消されることについて説明する。
画像処理部110のエッジ強調ブロック内にて輪郭補正を行なうが、これはHPF（ハイパスフィルタ）処理後にコアリング処理を施し元信号に重畳する（図４（Ａ）参照）。コアリング処理において、HPF処理後の微小な凹凸はノイズ成分であるとして、所定の出力以内であると出力は「0」として処理する。よって、微小な混色はこのエッジ強調ブロックではノイズと判断されることになる。このような特性を活かして、混色補正の簡易化を図っている（図４（Ｂ）参照）。

次に、図５を参照しつつ、絞り値と補正関数Fとの関係を説明する。
図５において、横軸が絞りのFナンバー、縦軸が補正値である。絞り径が開くほど、斜め光成分が増えるため混色が発生しやすくなる。一例としてF4より開放側では補正値をF=１とし、F5.6より小絞りのときは補正値をF=0、すなわち混色補正をしないこととした。F4とF5.6の間については一次式で補正を行なう。

次に、図６を参照しつつ、焦点距離と補正関数Zとの関係を説明する。
図６において、横軸がズーム位置、縦軸が補正値である。広角側ほど、斜め光成分が増えるため混色が発生しやすくなる。一例として35mmフォーマット換算でf35mmより広角側のときは補正値をZ=１とし、f50mmより望遠側のときは補正値をZ＝0、すなわち混色補正をしないこととした。f35mmとf50mmの間については一次式で補正を行なう。
次に、図７を参照しつつ、撮影感度と補正関数Sとの関係を説明する。
図７において、横軸が撮影感度設定、縦軸が補正値である。感度上昇とともに混色補正残り成分の影響が発生するため補正値Sを上げる。

本発明を適用する実施形態の撮像装置の構成図である。 混色発生のメカニズムを説明する図である。 原色ベイヤー配列の固体撮像素子における混色補正の補正対象画素と隣接画素の関係を示す図である。 輪郭補正によるノイズリダクションの例を示す図である。 絞り値と補正関数Fとの関係を示す図である。 焦点距離と補正関数Zとの関係を示す図である。 撮影感度と補正関数Sとの関係を示す図である。

符号の説明

100…光学ユニット
101…レンズ
102…絞り・シャッタ
103…光学ローパスフィルタ
104…CMOSイメージセンサ
105…フォーカス・ズーム機構
106…光学系駆動部
110…画像処理部
120…制御・演算部
121…プログラム用メモリ
122…操作部
123…LCDパネル
124…圧縮・伸張処理部
125…画像記録I/F部
126…画像バッファ用メモリ

Claims (6)

1. 被写体を結像する撮影光学系と、該撮影光学系による結像を電気信号に変換し出力するカラー固体撮像素子と、該カラー固体撮像素子出力を処理する画像処理部とを備えた撮像装置において、
   前記カラー固体撮像素子の受光面上にて発生する画素間の混色を、前記画像処理部にて前記カラー固体撮像素子の輝度成分に支配的な出力について補正処理する際に、撮影時の絞り値または撮影時のズーム位置または撮影感度設定のいずれかによって、補正量を変えることを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記画像処理部は、画像の輪郭補正を行うエッジ強調ブロックを備え、
   該エッジ強調ブロックは、ハイパスフィルタによる処理後にコアリング処理を行い、微小な混色をノイズと判断することを特徴とする請求項１記載の撮像装置。
3. 請求項1記載の撮像装置において、
   画像信号中の混色成分を補正するための補正係数である混色補正係数と、絞り値による補正関数と、ズーム位置による補正関数とを予め記憶手段に保持し、前記混色補正係数に対して、絞り値またはズーム位置または撮影感度設定のいずれかの撮影条件と前記補正関数から算出される値を乗じることで混色補正を行なうことを特徴とする請求項１記載の撮像装置。
4. 請求項３記載の撮像装置において、
   前記絞り値が第１の絞り値より開放側では絞り値の補正関数を「１」とし、前記第１の絞り値に対して所定の絞り幅を持つ第２の絞り値より小絞り側では、前記絞り値の補正関数を「０」とし、前記第１の絞り値と第２の絞り値との間での前記絞り値の補正関数を、一次式とすることを特徴とする請求項３記載の撮像装置。
5. 請求項３記載の撮像装置において、
   前記ズーム位置が第１のズーム位置より広角側ではズーム位置の補正関数を「１」とし、前記第１のズーム位置に対して所定のズーム幅を持つ第２のズーム位置より望遠側では前記ズーム位置の補正関数を「０」とし、前記第１のズーム位置と第２のズーム位置との間の前記ズーム位置の補正関数を、一次式とすることを特徴とする請求項３記載の撮像装置。
6. 請求項３記載の撮像装置において、
   前記撮影感度設定の感度上昇と共に、前記撮影感度設定の補正関数を上昇させることを特徴とする請求項３記載の撮像装置。

Images