JP2008113236A - 撮像装置におけるシェーディング補正方法と装置 - Google Patents

Abstract

【課題】ベイヤ配列におけるクロストークや、画素とマイクロレンズの光軸とのミスマッチ等が原因で生じ、同心円状の特性とならない（非同心円状）色シェーディングを、色バランスを崩すようなことなく正確に補正することができる、撮像装置におけるシェーディング補正方法と装置を提供することが課題である。
【解決手段】撮像光学系と、撮像素子を有する光電変換手段と、シェーディング補正量を算出する演算手段を有する制御部とを有し、撮像光学系によって撮像素子上に結像された被写体像から得られた画像データに対し、前記演算手段によって補正係数を乗じてシェーディングを補正するシェーディング補正方法において、前記補正係数のうち、最も小さな補正係数を１とする調整係数を前記補正係数に乗じて調整有り補正係数とし、この調整有り補正係数を画像データに乗じてシェーディングを補正するようにした。
【選択図】図１

Description

本発明は撮像装置におけるシェーディング補正方法と装置に関し、特に、撮像素子上に光学レンズ系によって被写体像を結像させ、画像データとして取り出してメモリなどに記憶させる撮像装置において、光学レンズに起因して生じる画像の中心部と周辺部との明るさが異なる現象や、撮像素子や赤外（ＩＲ）カットフィルタの特性に起因して生じる画像の中心部と周辺部とにおける明るさや色に対する感度の違い、撮像素子に光を集光するマイクロレンズの開口位置の偏倚による色感度特性の変化などにより生じるシェーディングを、適切に補正できるようにした撮像装置と該撮像装置を備えた携帯機器に関するものである。

一般的なカメラに用いられるレンズには図５（Ａ）に一例を示したように、シェーディングと呼ばれて撮像光学系における周辺部の光量が光軸の中心近傍より減少してしまう現象がある。この図５（Ａ）において、横軸は結像面における光軸中心（０の位置）を通る直線上の位置、縦軸は光量、点線の「入力」として示した線は後記する色シェーディングが無いときのシェーディングによりレンズ周辺で光量が減少した入力光量値で、光軸中心画面位置に比較して周辺の光量が少なくなっているのがわかる。

このシェーディングは、撮影光学系の焦点距離や焦点位置、絞り値によって影響を受け、一般的に、望遠（長焦点）側より広角（短焦点）側の方が、焦点位置が遠距離側より近距離側の方が程度が大きくなる。また、絞りの径が小さい場合より開放絞り側の方が周辺における光量減少率は大きくなり、一般的なカメラでは、このシェーディングを極力抑えるような光学設計がなされている。

他方、撮像素子上に光学レンズ系によって被写体像を結像させ、画像データとして取り出すようにしたデジタルカメラやビデオカメラ、または携帯電話などのカメラにおいては、撮像レンズにより撮像素子へ入射する光の角度により、撮像素子が受光できる光量に大きな影響を与える。例えば図６に示したように、５０を撮像素子の１画素に相当するフォトダイオード部、５１を撮像素子の遮光部、５２を遮光部に開けた開口部、５３をフォトダイオード５０に垂直に入射する光の径、５４を同じく斜めに入射したときの光の径とすると、個々の撮像素子の受光面に対して垂直に光が入射する場合は図６（Ａ）に５３で示したように効率良く光束を受けることができるが、図６（Ｂ）に示したように、入射光が垂直から傾くほど５４で示したように光束が細くなって損失が増え、受光量が少なくなる。

そのため、デジタルカメラやビデオカメラ、または携帯電話などのカメラのように撮像素子を用いるカメラにおいて、こういった光学系や撮像素子に起因すると共に色シェーディングが無いときのシェーディングに対しては、例えば図５（Ｂ）に示したように、結像面における光軸中心位置を１とし、その光軸中心位置からの距離に応じた補正係数、または予め光量減少程度を測定することによって求めた補正係数を定め、光軸中心からの距離に対応させて入射光量に乗じてやることで、図５（Ａ）に実線で「出力」として示したように、周辺部においても光量を略フラットな状態にすることができる。

また、撮像素子（光電変換手段）はカラー画像を撮影できるようにするため、一例を図７（Ａ）に示したようなベイヤ配列と呼ばれるモザイク状のカラーフィルタを用い、入射した光を各画素単位でＲ（赤）、Ｇ（緑）、Ｂ（青）に振り分けて色毎に分離した撮像データを得るために用いるが、撮像素子におけるフォトダイオードには、図８に示したように光の波長によって内部への光の到達距離が異なるという特性があり、そのため色によって同じ光量が入射しても、光の入射角度が垂直から大きく傾く周辺部では、中心部に比較して光量が少なくなるという現象も生じる。なお、ベイヤ配列は、図７（Ａ）に示した３種類の色別だけでなく、図７（Ｂ）に示したように、更に細分化してＲ（赤）画素の列にあるＧｒ画素、、Ｂ（青）画素の列にあるＧｂ画素という様に、同じＧ（緑）でも並びの違いで種類分けが必要な場合もある。

図８において７０は撮像素子の１画素に相当するフォトダイオード部、７１は遮光部、７２の実線は赤（Ｒ）色の光のフォトダイオード部７０への入射光束、７３の点線は緑（Ｇ）色の光のフォトダイオード部７０への入射光束、７４の破線は青（Ｂ）色の光のフォトダイオード部７０への入射光束を示しており、表における上段はフォトダイオード部７０に垂直に入射する光束を、下段は周辺部でフォトダイオード７０への光の入射角度が垂直から大きく傾いた場合のそれぞれの色の光束を表している。

このうち、青（Ｂ）色７４と緑（Ｇ）色７３のように、赤（Ｒ）色７２に対して波長が短い光は、フォトダイオード７０における深部まで侵入することがないため、表の下段に示したように例え光の入射角度が垂直から大きく傾いても光量に大きな変化は生じない。それに対し赤（Ｒ）色７２の波長の長い光は、フォトダイオード７０における深部まで侵入するため光の入射角度が垂直から大きく傾くと、表の下段の右端の「赤色・赤外の場合」に７５で示したように、光束の一部がフォトダイオード７０の側壁を通過してしまって光量に寄与しない光が生じる。従って、本来あるべき光量よりＲ成分の光を少なめに検知してしまうこととなり、垂直に入射した場合を示した上段とは光量が異なってしまう。そのため、光の色（波長）の違いによってシェーディング特性に差が生じるから、色成分の構成比率が変化し、画面内に色むらが生じてしまう。

さらに、撮像素子を構成するフォトダイオード７０は、図９に示したように入射してくる光を効率良く捉えるためにマイクロレンズ７７を備えているが、このマイクロレンズ７７による屈折角度は光の波長、すなわち色によって異なっている。そのため、フォトダイオード７０に斜めに光が入射した場合、赤（Ｒ）色７２、緑（Ｇ）色７３、青（Ｂ）色７４で示したように色によって入射角に違いが生じ、フォトダイオード７０に達する光量が異なることになり、これによってもシェーディング特性に違いが生じる。

また、色温度を検知するホワイトバランス制御において、画像周辺部のデータを用いた場合、この実際より赤（Ｒ）成分が少ない誤ったデータも加味されてホワイトバランス処理が行われる結果、本来正常なはずの中心部の赤（Ｒ）成分のデータまで修正が行われ、画面中心部が赤みを帯びて色むらが発生してしまう。

また、撮像装置に用いる一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた撮像素子は、人間には見えない赤外線領域まで感度があるため、そのままでは得られる画像が人間に見えるものとは異なった色調となる。それを防止するため、一般的に赤外（ＩＲ）カットフィルタを用いて赤外線を遮断することが行われている。

このＩＲカットフィルタには吸収タイプや反射（蒸着）タイプなどがあり、それぞれ異なった特性を有するが、光学系の条件の違いによって、このうち吸収型は光透過特性が変化することで色むらが発生し易く、反射型は光の入射する角度によってカットオフ周波数の特性が変化することで色むらが発生する。このように、それぞれのタイプや素材などによって赤外光のカット特性がまちまちであるため、レンズやセンサの構成に合ったＩＲカットフィルタを選択する必要がある。

さらにＩＲカットフィルタには、図１０に示したように完全に赤外線をカットできないものもあり、前記したように撮像装置の小型化・薄型化が進められる中で、画面周辺方向におけるＩＲカットフィルタや撮像素子への光の入射角度が垂直からより傾いていく傾向にあるため、画像の中心部と周辺部とで画像の赤みが異なって、自然な色調の画像を撮影することが難しい場合があり、このような問題が生じないＩＲカットフィルタを使用するとコストアップにつながることが多い。

このような問題点を解決するため従来では、撮像素子に対する入射光が極力垂直に入射するよう像側テレセントリックな光学系が良いとされてきたが、この像側テレセントリックな光学系はある程度の光路長を必要とするため小型化・薄型化が難しく、小型化・薄型化をめざす場合は周辺部に入射する光の或る程度の入射角は受け入れざるを得ない。そこで、撮像素子における画面周辺部の画素に対応させて設けるマイクロレンズの形状を、傾きのある入射光を効率よく集光できる形状にした撮像素子等も提案されている。

しかし、このようにマイクロレンズの形状を変えたものは、特定の傾きで入射する光に対しては有効であっても異なる傾きをもった入射光には対応できないから、ズームレンズのように光学系の焦点距離が変化することで撮像素子周辺に対する入射角が変化するものでは効果が得られなくなってしまう。

しかも、撮像装置は様々な分野・製品への組み込みが行なわれ、特に携帯電話等のモバイル機器への搭載にあたっては撮像装置の小型化・薄型化が求められる結果、必然的に光学系も小型化・薄型化し、撮像素子に入射する光の角度は周辺ほど垂直から大きく傾く事になって光軸の中心近傍と周辺との光量差がより大きくなる傾向にあり、対策の必要性が高くなっている。

そのため本願出願人は、現在は非公知である特許文献１において、光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲカットフィルタに起因するシェーディングなど、複数存在するシェーディング要因でトータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを、適切に補正できるようにした撮像装置を提案した。

それを簡単に説明すると、撮像光学系によって結像された被写体像を電気信号に変換するイメージセンサと、撮像光学系とイメージセンサとの間に設けられた赤外カットフィルタと、イメージセンサによって得られた画像データに対して演算処理を施すＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とを備えた撮像装置において、イメージセンサとＤＳＰはそれぞれシェーディング補正機能を持ち、かつ、撮像光学系における焦点距離及び焦点位置の違いと絞り値との組み合わせと、撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせとにより、シェーディング補正データをマトリックス状として配したシェーディング補正テーブルを作成し、光学系データ値と色温度とによって最適な組み合わせをこのシェーディング補正テーブルから選択できるようにすると共に、前記イメージセンサとＤＳＰに設けた一のシェーディング補正機能で撮像光学系によって生じるシェーディングの補正を、他のシェーディング補正機能でイメージセンサおよび前記赤外カットフィルタによって生じるシェーディングの補正を行なうようにしたものである。

しかしながら、このようにして光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲカットフィルタに起因するシェーディングなど、複数存在するシェーディング要因でトータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを補正したにもかかわらず、なお、予期しない色シェーディングが発生することが判明した。

すなわち前記したデジタルカメラやビデオカメラ、または携帯電話などのカメラに用いられるＣＣＤやＣＭＯＳ等の撮像素子は、撮像した画像の高精細化を求めて画素数が飛躍的に増大している。一方、こういったデジタルカメラやビデオカメラ、または携帯電話などのカメラは小型化・薄型化が更に進み、撮像素子の周辺に入力する光線の焦点面に対する角度が更に大きくなる傾向にある。

そして前記した予期しない色シェーディングは、このように小型化・薄型化により、撮像素子の周辺に入力する光線の焦点面に対する角度が更に大きくなったことが一因となっている。これは、図１１（Ａ）に示したように、各撮像素子に入射する光の角度が大きくなることで、ベイヤ配列した別の色に対応した画素にまで光が入り込み、クロストークが発生することによる。

この図１１において、８０は前記した細分化したベイヤ配列であり、それぞれ対応するカラーフィルタを備えたＧｂ画素、Ｂ画素、Ｒ画素、Ｇｒ画素が、例えばアルミ遮光膜８１の中に納められて画素単位となり、この画素単位が多数配列されて撮像素子を形成している。８２は光軸中心方向、８３、８４はクロストークを示す矢印で、図１１（Ｂ）に示したように、光軸中心８２からの入射光８５が遮光部８６から入ったとき、その入射角が大きいと、それぞれの画素の境界を越え、例えば図上最も左のＧｒ画素（この図１１（Ａ）に示した画素単位の隣の画素単位になる）に入射した光は間にアルミ遮光膜８１が有るため隣のＲ画素に入り込む光は少ないが、Ｒ画素に入射した光が隣のＧｒ画素にも入射し、クロストークが生じることを示している。

このクロストークは、光軸中心８２から外周方向に向かって生じるから、図１１（Ｃ）に示したように、画面右側はＢ画素とＧｒ画素の影響が、画面左側は側はＧｂ画素とＲ画素の影響が大きく出ることになり、前記した光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲカットフィルタに起因するシェーディングなどとは異なったシェーディングになる。

また他の要因として、撮像素子の画素数が飛躍的に増大したことで、例えばＣＭＯＳにおける電荷検出部（ＦＤ：Ｆｌｏａｔｉｎｇ Ｄｉｆｆｕｓｉｏｎ）９１を２画素に１つ、または図１２（Ａ）に示したように４画素に１つと複数の画素で共有することが行われている。この図１２において、９０は前記した細分化したベイヤ配列、９１は各ベイヤ配列毎、すなわち４画素毎に設けられた電荷検出部（ＦＤ）、９２は各画素毎の光の入射する開口である。

そしてこの場合、各画素の開口部９２が画素の境界部分に配置されることとなり、開口部９２とマイクロレンズの光軸との位置関係が、図１２（Ｂ）のように色フィルタ毎に異なってしまう（ミスマッチ）結果になる。そのため、同じ傾きを持った入射光に対し、色フィルタの種類によって入射光量に差が生じてしまい、カラーフィルタの配列の構造上、画面の右と左、上と下とでそれぞれ特性が逆転することになって、これらの要因により、色シェーディングは左右、上下で非対称な形状の特性を持つことになる。

そのためこの場合のシェーディングは、図１３（Ａ）に点線で示したように同心円状の特性とならず、前記図５に示した場合のように、画面中心からの距離を変数とした式による補正ができない。なお、この図１３において横軸は前記図５の場合と同様、結像面における光軸中心（０の位置）を通る直線上の位置、縦軸は光量で、点線で示した「入力」は補正前の入力光量値、実線で示した「出力」は補正後の光量値であり、また図１３（Ｂ）は、この（Ａ）に示したシェーディングを補正するための補正係数で、図１３（Ａ）に点線で示した入射光量にこの図１３（Ｂ）の補正係数を乗じてやることで、図１３（Ａ）に実線で「出力」として示したように光量が略フラットとなる状態にすることができる。

ところがこの図１３（Ａ）のように、同心円状の特性とならないシェーディングにおいては、前記したクロストークや、マイクロレンズ位置のミスマッチにより、Ｇｂ画素、Ｂ画素、Ｒ画素、Ｇｒ画素の各色の違いにより、例えば図１３（Ａ）の画角−３度の位置の入力値のように、画面中心、すなわち０度における入力値より出力値が高くなってしまう現象が発生する場合がある。この場合、予め出力値が最大となる位置が分かっているわけではないので、前記と同様画面中心の定点（０度の位置）を例えば基準補正係数＝１として補正係数を算出すると、画面中心より出力が大きい値となるこの−３度の位置の補正係数は、図１３（Ｂ）における−３度の位置に示したように１未満となってしまう。

従って、例えば図１４に示したように、横軸に画角、縦軸に入／出力値を取り、簡単化のため撮像素子からの画像データに対する補正後の出力データが図のようにサインカーブであるとした場合、例えば入／出力値２５６を色の飽和値とすると、点線で示した「入力」値における画角−３度の値がこの飽和値２５６であると、色シェーディングがない場合は前記図５（Ｂ）に示した補正係数を乗じてやることでこの図１４（Ａ）に実線で示した「出力」値のようになって特に問題はない。しかし、色シェーディングがある場合は、図１４（Ｂ）の入力１のように、センサの飽和値より大きな値が本来の画像にあると、図１３（Ｂ）のような１より小さな補正係数を掛け合わせることにより、図１４（Ａ）の出力のようになるべきところが、図１４（Ｂ）における入力１が飽和値を越えているため、実際は、入力２のような値しか入力されてこなくなる。そのため、この図１４（Ｂ）に実線で示した出力値のように、画角−３度では出力値が飽和値のままでなければいけないところがそれ以下となってしまい、本来色ムラを補正するはずの処理で、逆に色バランスを崩して色ムラを生じさせてしまう事になる。

色シェーディングの補正については、例えば特許文献２に、画像のシェーディング補正を高速に行うため、撮像素子により撮像された画像のシェーディング補正をベイヤーデータの段階で行ない、各画素Ｐについて光軸に相当するベイヤー画像の補正中心Ｏとの間の水平距離Ｈと垂直距離Ｖとを取得し、それらを二次関数に当てはめることにより、各画素Ｐにおける補正中心Ｏとの距離Ｌに応じたシェーディング係数を算出し、算出した画素毎のシェーディング係数に応じて各画素の明るさを調整するようにした撮像装置が示されている。

特願２００６−２０７２２２号（現在非公開） 特開２００５−２７７６１８号公報

しかしながらこの特許文献２に示された方法では、色シェーディングの補正を行うため、各画素Ｐについて光軸に相当するベイヤー画像の補正中心Ｏとの間の水平距離Ｈと垂直距離Ｖとを取得し、それらを二次関数に当てはめ、各画素Ｐにおける補正中心Ｏとの距離Ｌに応じたシェーディング係数を算出しているが、前記したように図１３（Ａ）のように同心円状の特性とならないシェーディングでは、その特性は性質の特定が困難であり、このように二次関数で算出するなどのことはできない。

そのため本発明においては、ベイヤ配列した別の色の画素に光が入り込むことで生じるクロストークや、画素とマイクロレンズの光軸との位置関係が色フィルタ毎に異なってしまうミスマッチ等が原因で生じ、同心円状の特性とならない（非同心円状）色シェーディングを、色バランスを崩すようなことなく正確に補正することができる、撮像装置におけるシェーディング補正方法と装置を提供することが課題である。

上記課題を解決するため本発明になる撮像装置におけるシェーディング補正方法は、
撮像光学系と、撮像素子を有する光電変換部と、制御部を有する信号処理部とを有し、前記光電変換部と前記信号処理部の少なくとも一方にシェーディング補正の演算手段を備え、前記撮像光学系によって前記撮像素子上に結像された画像データに対し、前記撮像光学系と撮像素子に起因するシェーディングを前記演算手段によって補正係数を乗じて補正する、撮像装置におけるシェーディング補正方法であって、
前記シェーディングはその特性が非同心円状であり、前記補正係数は、最も小さな補正係数が１となるような調整係数を前記演算手段によって乗じられて調整有り補正係数とされ、該調整有り補正係数を前記演算手段によって画像データに乗じてシェーディングを補正することを特徴とする。

そして、このシェーディング補正方法を実施するシェーディング補正装置は、
撮像光学系と、撮像素子を有する光電変換部と、制御部を有する信号処理部とを備え、前記撮像光学系と撮像素子とに起因するシェーディングの補正係数を記憶し、前記撮像光学系によって前記撮像素子上に結像された画像データに対して前記補正係数を乗じて補正するシェーディング補正の演算手段を有する撮像装置におけるシェーディング補正装置において、
前記シェーディングはその特性が非同心円状であり、前記シェーディング補正手段は、前記補正係数のうち最も小さな補正係数を１とする調整係数を前記演算手段によって乗じて調整した調整有り補正係数を前記補正係数として記憶し、該調整有り補正係数を前記演算手段によって画像データに乗じてシェーディングを補正することを特徴とする。

このように特性が非同心円状のシェーディングを、補正係数のうち、最も小さな補正係数を１とする調整係数を補正係数に乗じて調整有り補正係数とし、該調整有り補正係数によって非同心円状のシェーディングを補正することで、ベイヤ配列した別の色の画素に光が入り込むことで生じるクロストークや、画素とマイクロレンズの光軸との位置関係が色フィルタ毎に異なってしまうミスマッチ等が原因で生じた色シェーディングも、前記したように補正係数が１以下になることによって本来飽和するはずの色が飽和せずに色バランスを崩すようなことがなくなり、正確に補正する撮像装置におけるシェーディング補正方法と装置を提供することができる。

そして、前記調整有り補正係数は、前記撮像素子上に設定した複数の定点に対応させて前記制御部に記憶させておくことで、容易に上記したシェーディング補正を実施することができ、さらに、前記調整有り補正係数を用いてシェーディング補正を行なう際に、前記撮像装置の露光量の目標値を前記調整係数の逆数を乗じた値に置き換えて露光制御を行なうことで、単純に調整有り補正係数を乗じると、前記補正係数に調整係数を乗じることで補正係数は調整係数分大きくなり、画像データは露出オーバーとなるが、このように画像データに予め調整係数の逆数を乗じることで、そういったことを防止することもできる。

また、前記光電変換部と信号処理部の両方がシェーディング補正の演算手段を有する場合は、前記シェーディング補正は前記光電変換部と信号処理部のうち、色に関するシェーディング補正を司る方で実施することにより、例えば従来用いられていた、光電変換手段または制御部のいずれかに備わったシェーディング補正機能単独では、レンズの焦点位置や焦点距離、絞り値などの光学系自体に起因するシェーディング、撮像素子へ入射する光の角度に起因するシェーディング、波長の長い光における撮像素子内部への侵入深さに起因するシェーディング、ＩＲカットフィルタを用いた場合にフィルタ自体の特性に起因するシェーディング、特性が非同心円状のシェーディングなど、要因が複数存在してこれらの特性の組み合わせにより複合曲線となるシェーディングの総てを補正することが困難であったが、光電変換手段と制御部のそれぞれにシェーディング補正機能を持たせ、色に関するシェーディング補正機能を司る方で実施することで、シェーディングを適切に補正できる撮像装置を提供することができる。

本発明によれば、ベイヤ配列におけるクロストークやマイクロレンズの光軸がミスマッチすることで生じる同心円状の特性とならない色シェーディングを、色バランスを崩すようなことなく正確に補正することができ、撮像装置の色再現性を最大限引き出せるシェーディング補正方法と装置を提供することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は本発明になる撮像装置における制御部分のブロック図、図２は前記した同心円状の特性とならない（非同心円状）シェーディングを補正する、本発明になるシェーディング補正方法を実施するために補正係数を持たせる定点を示した図、図３は同心円状の特性とならないシェーディングを補正する補正係数が１以下になる点を持つ場合、（Ａ）は全ての点の補正係数が１以上となるよう調整することを説明するためのグラフで、（Ｂ）はそれによって露出オーバーにならないよう撮像素子からの画像データを調整した場合（調整有）と、（調整無）の場合を示したグラフ、図４は同心円状の特性とならないシェーディングを補正する補正係数が１以下になる点を持つ場合、全ての点の補正係数が１以上となるよう調整し、かつ、露出オーバーにならないよう撮像素子からの画像データに補正係数の逆数を予め乗じた場合（調整有）と、補正係数が１以下のまま撮像素子からの画像データに補正係数を乗じた場合（調整無）のグラフである。

最初に図２乃至図４を用い、本発明になるシェーディング補正方法を簡単に説明する。まず図２は、前記した同心円状の特性とならないシェーディングを補正するため、補正係数を持たせる定点を示した図である。図中４０は撮像画像を示し、４１の小さな□で示したのが補正係数を持たせる定点である。

前記した図１３（Ａ）に示したように同心円状の特性とならない（非同心円状）シェーディングでは、その特性は性質の特定が困難であるため、補正係数は実測値に基づいて設定する必要がある。この場合、その補正係数を画素毎に持たせるのが理想であるが、そうするとデータ量が非常に大きくなってしまうため、例えばこの図２に示したように、画面上の格子状にした交点を定点として設定し、その定点毎に補正係数を持たせ、定点間については周辺の定点からの距離などに基づいて補正係数を導き出し、補間することで色シェーディングの補正を行なうようにする方法を取る。なお、この図２に示した定点の位置はあくまでも一例であり、この数、位置に限定されないことは明かである。

この補正係数は、まずホワイトバランスを合わせた状態で、面光源などの均一な画像を撮影し、画面の定点毎における各画素の出力値を求める。そして、定点毎のベイヤ配列を形成する４つの画素の平均値と各画素の平均値に対する割合を算出し、定点の一つを基準点として、基準点とそれ以外の定点の画素について割合を掛け合わせ、補正係数とする。

この図２において、例えば画面中心の画素４１Ｃを基準定点とし、周辺の４１Ａの位置の定点の補正係数を算出する場合、画面中心の画素４１Ｃの出力値をＧｒ＿Ｃ、Ｒ＿Ｃ、Ｂ＿Ｃ、Ｇｂ＿Ｃとし、周辺の４１Ａの位置の定点の出力値をＧｒ＿０、Ｒ＿０、Ｂ＿０、Ｇｂ＿０とする。前記した色シェーディングがある場合、各画素の出力バランスが崩れているため、画面中心４１Ｃの平均値（Ａｖｅ＿Ｃ）と周辺４１Ａの平均値（Ａｖｅ＿０）をそれぞれ算出すると、下記（１）式のようになる。
（Ａｖｅ＿Ｃ）＝（Ｇｒ＿Ｃ＋Ｒ＿Ｃ＋Ｂ＿Ｃ＋Ｇｂ＿Ｃ）／４
（Ａｖｅ＿０）＝（Ｇｒ＿０＋Ｒ＿０＋Ｂ＿０＋Ｇｂ＿０）／４ ……（１）

そのため、周辺４１Ａの位置における各画素のシェーディング補正係数Ｃｏｅｆ＿Ｇｒ＿０、Ｃｏｅｆ＿Ｒ＿０、Ｃｏｅｆ＿Ｂ＿０、Ｃｏｅｆ＿Ｇｂ＿０を算出すると、下記（２）式のようになる（なお、（１）式、（２）式はそれぞれ２つの式と４つの式を纏めて指すものとする）。
Ｃｏｅｆ＿Ｇｒ＿０＝（Ａｖｅ＿０／Ｇｒ＿０）＊（Ｇｒ＿Ｃ／Ａｖｅ＿Ｃ）
Ｃｏｅｆ＿Ｒ＿０ ＝（Ａｖｅ＿０／ Ｒ＿０）＊（ Ｒ＿Ｃ／Ａｖｅ＿Ｃ）
Ｃｏｅｆ＿Ｂ＿０ ＝（Ａｖｅ＿０／ Ｂ＿０）＊（ Ｂ＿Ｃ／Ａｖｅ＿Ｃ）
Ｃｏｅｆ＿Ｇｂ＿０＝（Ａｖｅ＿０／Ｇｂ＿０）＊（Ｇｂ＿Ｃ／Ａｖｅ＿Ｃ） ……（２）

このようにして算出した補正係数をプロットしたのが、図３（Ａ）に点線で「調整前」として示した線である。この図３（Ａ）は前記図１３（Ｂ）と同様、横軸が撮像素子の結像面における光軸中心（０の位置）を通る直線上の位置、縦軸は補正係数（補正値）で、点線で示した「調整前」は上記（２）式で算出した補正係数である。

しかしこうして算出した係数は、前記図１３（Ｂ）と同様、１未満となることがあるから、そのままでは使えない。そのため本発明においては、前記（２）式によって図２の全ての定点について算出した補正係数の中から最小値を抽出し、その値の逆数を調整係数として各定点の補正係数に乗じたものを各定点の新しい補正係数とすることにしたものである。このようにすることにより、図３（Ａ）に実線で「調整後」として示したように、全ての補正係数が１以上となり、前記図１４（Ｂ）に示したように飽和値がシェーディング補正によって飽和値でなくなり、本来色ムラを補正するはずの処理で、逆に色バランスを崩して色ムラを生じさせてしまう、といったことを防ぐことができる。

しかしこのようにした場合、この値で色シェーディング補正を行なうと、全体のレベルが最小の補正係数の逆数、すなわち調整係数の割合でアップしてしまうことになり、それだけ露出オーバーになってしまう。そのため本発明においては、予め露光量の目標自体を前記抽出した最小の補正係数の割合（調整係数）分下げておくようにした。

このようにして撮像素子からの入力値を調整した場合を示したのが図３（Ｂ）のグラフである。この図３（Ｂ）において横軸は画角、縦軸は入／出力値であり、前記図１４の場合と同様簡単化のために撮像素子からの画像データをサインカーブであるとしてある。この図３（Ｂ）において点線の「調整無入力」は、露光量の目標を下げていない状態の撮像素子からの画像データであり、実線の「調整有入力」は予め露光量の目標値を最小の補正係数の割合分下げた状態の撮像素子からの画像データである。

このように、露光量の目標値を最小の補正係数の割合分下げた状態の撮像素子からの画像データに前記図３（Ａ）に「調整後」として示した補正係数を乗じてやることで、図４に「調整有」として示した実線のグラフのように、飽和値がシェーディング補正によっても飽和値のままとなり、色バランスを崩して色ムラを生じさせてしまう、といったことを防いだ撮像装置におけるシェーディング補正方法を提供することができる。

以下、図１を用い、本発明になるシェーディング補正方法を実施する撮像装置について説明する。図１において、１０は撮像装置における光学系を構成するズームレンズ、１１はオートフォーカス用レンズであり、この図１では簡単化のためにそれぞれ単レンズで示したが、一般的に用いられるズームレンズやオートフォーカス用レンズのように複数のレンズにより構成される。１２は光学系の絞り、１３はＩＲ（赤外）カットフィルタ、１４は、撮像素子１５におけるアンプ雑音とリセット雑音を除去するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路１６、増幅率をコントロールするＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１７、撮像素子からのアナログ信号をデジタル信号に変換するＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路１８、そしてイメージセンサ側のシェーディング補正回路（１）１９などが一体となった光電変換手段たるイメージセンサである。

２０は、イメージセンサ１４で得られた画像信号を処理する演算手段たるＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）である。このＤＳＰ２０の中には、イメージセンサ１４で得られた画像信号を受けるセンサインターフェイス２１、ＤＳＰ２０側でシェーディングの補正を行うシェーディング補正回路（２）２２、シェーディング補正を行った画像信号を表示や記録が行なえる形に処理を施す信号処理部２３、画像表示部・画像記録部３３へ処理が済んだ画像信号を送り出す出力インターフェイス回路２４が含まれる。また、信号処理部２３からの信号によって露出値を取得する露出値取得回路２６と、その露出値取得回路２６が取得した露出値によって露出設定値を算出する露出設定値算出回路２７と、この露出設定値算出回路２７が算出した設定値を、前記した露光量の目標自体を前記抽出した最小の補正係数の割合分下げるため、前記（２）式によって図２の全ての定点について算出した補正係数の中から抽出した最小値の逆数を調整係数とし、その調整係数で除して結果をＡＧＣ回路１７、駆動部インターフェイス（Ｉ／Ｏ）回路３０に送り出す調整係数除算回路２８と、同じく前記（２）式によって図２の全ての定点について算出した補正係数にこの調整係数を乗じてシェーディング補正回路（１）、シェーディング補正回路（２）に送る調整係数乗算回路２９とで構成され、図示していないＣＰＵを含む制御部２５も含まれている。

またこの制御部２５からは、調整係数除算回路２８から送られる設定値を調整係数で除した値が駆動部インターフェイス（Ｉ／Ｏ）回路３０に送られ、ズームレンズ１０やオートフォーカス用レンズ１１、絞り１２等を動作させるモータ３２_１、３２_２、３２_３を駆動する、モータドライバ３１_１、３１_２、３１_３への信号となる。さらにこの駆動部インターフェイス（Ｉ／Ｏ）回路３０は、逆にモータドライバ３１_１、３１_２、３１_３からの信号を受け、ズームレンズ１０やオートフォーカス用レンズ１１における焦点距離、焦点位置、絞り１２の状態を受け、図示していないＣＰＵが、必要な情報をシェーディング補正回路（１）１９、シェーディング補正回路（２）２２に送る。

次にこの図１を用い、本発明になる撮像装置の動作について説明する。図示していない電源が投入されると、ズームレンズ１０、オートフォーカス用レンズ１１、絞り１２、ＩＲカットフィルタ１３を通してイメージセンサ１４内の撮像素子１５に結像して得られた画像データは、ＣＤＳ回路１６によって撮像素子１５におけるアンプ雑音とリセット雑音が除去され、ＡＧＣ回路１７で適正な信号レベルに増幅されてＡＤ変換回路１８でアナログ／デジタル変換が行われる。また、シェーディング補正回路（１）１９では後記するように制御部２５からの指示によってシェーディング補正処理（１）がなされ、ＤＳＰ２０に送り込まれる。

ＤＳＰ２０内では、センサインターフェイス２１を介して送り込まれた画像信号が、シェーディング補正回路（２）２２で、後記するように制御部２５の指示に従うシェーディング補正処理（２）がなされ、信号処理部２３でさらにカラー調整、ガンマ補正、輝度信号生成等の演算が施される。そして、出力インターフェイス回路２４から画像表示部・画像記録部３２に送られて画像表示や外部記憶装置などへの記録が行われる。

また、制御部２５では、信号処理部２３で処理された画像データから露出値取得回路２６によって露出値が取得され、その取得した露出値によって露出設定値算出回路２７が露出設定値を算出する。そしてこの露出設定値算出回路２７が算出した設定値は、調整係数除算回路２８により、前記した露光量の目標自体を前記抽出した最小の補正係数の割合分下げるため、前記（２）式によって図２の全ての定点について算出した補正係数の中から抽出した最小値の逆数を調整係数として、その調整係数によって除される。そして結果がＡＧＣ回路１７、駆動部インターフェイス（Ｉ／Ｏ）回路３０に送り出される。

ＡＧＣ回路１７はこの送られてきた結果を受け、ＣＤＳ回路１６によって撮像素子１５におけるアンプ雑音とリセット雑音が除去されて送られてきた画像データの信号レベルを、前記図３（Ｂ）に「調整有入力」として示したように調整してＡＤ変換回路１８に送る。

一方、この制御部２５を構成する調整係数乗算回路２９では、前記図３（Ａ）に点線で「調整前」として記した補正係数に上記した調整係数を乗じ、結果をシェーディング補正回路（１）、シェーディング補正回路（２）に送る。

また制御部２５は、図示していないＣＰＵにより駆動部インターフェイス（Ｉ／Ｏ）３０を介し、レンズ駆動や絞りを制御すると共に、その時点のズームレンズ１０とオートフォーカス用レンズ１１の焦点位置、焦点距離等のレンズ状態、及び絞り１２などの光学系データ値を、それぞれを駆動するモータ３１_１、３１_２、３１_３のモータドライバ３０_１、３０_２、３０_３から駆動部インターフェイス３０を介して受け、例えばシェーディング補正回路（１）１９に送る。

そしてシェーディング補正回路（１）１９は、送られてきた現在のレンズ状態と絞り径に対応させ、ＡＤ変換回路１８を介して送られてくる画像データ中の各画素における出力値に対し、前記調整係数乗算回路２９で算出された調整済み補正係数を乗じ、現在のレンズ状態と絞り径に対応したシェーディング補正を実施する。

またシェーディング補正回路（２）２２は、例えば制御部２５により検出された色温度の情報や、先に取得したズームレンズ１０とオートフォーカス用レンズ１１の焦点位置、焦点距離等のレンズ状態、及び絞り１２などを参照しながら、センサインターフェイス２１を介して送られてくる画像データ中の各画素に対し、前記調整係数乗算回路２９で算出された調整済み補正係数を乗じ、現在の色温度に応じたシェーディング補正を実施する。

このように、イメージセンサ１４側とＤＳＰ２０側の両方で別個にシェーディング補正を行うのは、一般的にイメージセンサ１４側のシェーディング補正機能は自由度が少なく、複雑なシェーディング補正をすることが難しいのに対し、ＤＳＰ２０側のシェーディング補正機能は自由度が大きく、前記したような複合曲線に対しても対応可能であるからであり、このようにシェーディングが発生する要因によってシェーディングを補正する手段を分けることで、確実にシェーディング補正できる撮像装置を提供することができる。なお、光学レンズに起因して生じる画像の中心部と周辺部との明るさが異なる現象や、撮像素子や赤外（ＩＲ）カットフィルタの特性に起因して生じる画像の中心部と周辺部とにおける明るさや色に対する感度の違い、などによるシェーディングの補正については、前記特許文献１に詳述されているので省略する。

このようにしてシェーディング補正を行うことにより、前記したようにベイヤ配列した別の色の画素に光が入り込むことで生じるクロストークや、画素とマイクロレンズの光軸との位置関係が色フィルタ毎に異なってしまうミスマッチ等が原因で生じ、同心円状の特性とならない色シェーディングを、飽和値をシェーディング補正によっても飽和値のままとして、かつ、露光オーバーをも補正して、色バランスを崩して色ムラを生じさせてしまう、といったことを防いだシェーディング補正方法を実施する撮像装置を提供することができる。

なお、以上の説明では、絞り値を含むレンズ状態によるシェーディングの補正をシェーディング補正回路（１）１９で、色温度によるシェーディングの補正をシェーディング補正回路（２）２２で行うよう説明したが、これは逆であっても構わない。

本発明によれば、クロストークや撮像素子における画素とマイクロレンズの光軸とのミスマッチ等が原因で生じ、同心円状の特性とならない色シェーディングを、色バランスを崩すようなことなく正確に補正することができるから、小型化、薄型化したデジタルカメラ、または携帯電話などのカメラなどに用いて好適な撮像装置とシェーディング補正方法を提供することができる。

本発明になる撮像装置における制御部分のブロック図である。 同心円状の特性とならないシェーディングを補正する、本発明になるシェーディング補正方法を実施するために補正係数を持たせる定点を示した図である。 同心円状の特性とならないシェーディングを補正する補正係数が１以下になる点を持つ場合、（Ａ）は全ての点の補正係数が１以上となるよう調整することを説明するためのグラフで、（Ｂ）はそれによって露出オーバーにならないよう撮像素子からの画像データを調整した場合「調整有」と、「調整無」の場合を示したグラフである。 同心円状の特性とならないシェーディングを補正する補正係数が１以下になる点を持つ場合、全ての点の補正係数が１以上となるよう調整し、かつ、露出オーバーにならないよう撮像素子からの画像データに補正係数の逆数を予め乗じた場合（調整有）と、補正係数が１以下のまま撮像素子からの画像データに補正係数を乗じた場合（調整無）のグラフである。 （Ａ）は一般的なカメラに用いられるレンズにより生じる、色シェーディングが無いときのシェーディング例（点線）とその補正例（実線）、（Ｂ）は（Ａ）に点線で示した色シェーディングが無いときのシェーディングを補正する係数の例である。 撮像素子へ入射する光の角度により受光できる光量が影響される状態を説明するための図で、（Ａ）は撮像素子の受光面に対して光が垂直に入射する場合、（Ｂ）は入射光が垂直から傾いた状態では受光量が少なくなることを示した図である。 撮像素子によりカラー画像を撮影できるようにするために用いられる、ベイヤ配列と呼ばれるモザイク状のカラーフィルタの一例を示した図である。 波長によって撮像素子内部への光の到達距離が異なる事を説明するための図である。 マイクロレンズを備えたフォトダイオードにおける光の波長によってシェーディング特性が変化することを説明するための図である。 ＩＲカットフィルタによる波長と透過特性との関係を示したグラフである。 各撮像素子に入射する光がベイヤ配列した別の色に対応した画素にまで入り込み、クロストークが発生することを説明する図である。 ベイヤ配列した各撮像素子に対してマイクロレンズがミスマッチした場合に、受講光量の変化が起こることを説明するための図である。 クロストークやマイクロレンズのミスマッチにより、同心円状の特性とならないシェーディング（Ａ）と、それを補正する補正係数を示したグラフ（Ｂ）である。 撮像素子からの画像データをサインカーブであるとし、色シェーディング無しの時のシェーディング補正を示したグラフ（Ａ）と、色シェーディング有りの時の従来の補正状態を示したグラフ（Ｂ）である。

符号の説明

１０ ズームレンズ
１１ オートフォーカス用レンズ
１２ 絞り
１３ ＩＲ（赤外）カットフィルタ
１４ イメージセンサ
１５ 撮像素子
１６ ＣＤＳ回路
１７ ＡＧＣ回路
１８ ＡＤ変換回路
１９ イメージセンサ側のシェーディング補正回路（１）
２０ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２１ センサインターフェイス
２２ シェーディング補正回路（２）
２３ 信号処理部
２４ 出力インターフェイス回路
２５ 制御部
２６ 露出値取得回路
２７ 露出設定値算出回路
２８ 調整係数除算回路
２９ 調整係数乗算回路
３０ 駆動部インターフェイス（Ｉ／Ｏ）回路
３１_１、３１_２、３１_３ モータドライバ
３２_１、３２_２、３２_３ モータ
３３ 画像表示部・画像記録部

Claims (5)

1. 撮像光学系と、撮像素子を有する光電変換部と、制御部を有する信号処理部とを有し、前記光電変換部と前記信号処理部の少なくとも一方にシェーディング補正の演算手段を備え、前記撮像光学系によって前記撮像素子上に結像された画像データに対し、前記撮像光学系と撮像素子に起因するシェーディングを前記演算手段によって補正係数を乗じて補正する、撮像装置におけるシェーディング補正方法であって、
   前記シェーディングはその特性が非同心円状であり、前記補正係数は、最も小さな補正係数が１となるような調整係数を前記演算手段によって乗じられて調整有り補正係数とされ、該調整有り補正係数を前記演算手段によって画像データに乗じてシェーディングを補正することを特徴とする撮像装置におけるシェーディング補正方法。
2. 前記調整有り補正係数は、前記撮像素子上に設定した複数の定点に対応させて前記制御部に記憶させていることを特徴とする請求項１に記載した撮像装置におけるシェーディング補正方法。
3. 前記調整有り補正係数を用いてシェーディング補正を行なう際に、前記撮像装置の露光量の目標値を前記調整係数の逆数を乗じた値に置き換えて露光制御を行なうことを特徴とする請求項１または２に記載した撮像装置におけるシェーディング補正方法。
4. 前記光電変換部と信号処理部の両方がシェーディング補正の演算手段を有する場合は、前記シェーディング補正は前記光電変換部と信号処理部のうち、色に関するシェーディング補正を司る方で実施することを特徴とする請求項１乃至３のいずれかに記載した撮像装置におけるシェーディング補正方法。
5. 撮像光学系と、撮像素子を有する光電変換部と、制御部を有する信号処理部とを備え、前記撮像光学系と撮像素子とに起因するシェーディングの補正係数を記憶し、前記撮像光学系によって前記撮像素子上に結像された画像データに対して前記補正係数を乗じて補正するシェーディング補正の演算手段を有する撮像装置におけるシェーディング補正装置において、
   前記シェーディングはその特性が非同心円状であり、前記シェーディング補正手段は、前記補正係数のうち最も小さな補正係数を１とする調整係数を前記演算手段によって乗じて調整した調整有り補正係数を前記補正係数として記憶し、該調整有り補正係数を前記演算手段によって画像データに乗じてシェーディングを補正することを特徴とする撮像装置におけるシェーディング補正装置。

Images