JP2008035282A - 撮像装置と該撮像装置を備えた携帯機器 - Google Patents

Abstract

【課題】光学レンズや撮像素子の特性、及びＩＲフィルタに起因して複数存在する要因でトータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを、適切に補正できるようにした撮像装置と該撮像装置を備えた携帯機器を提供する。
【解決手段】イメージセンサ１４と、撮像光学系とイメージセンサ１４の間に設けられた赤外カットフィルタと、イメージセンサ１４によって得られた画像データに対して演算処理を施すＤＳＰ２０とを備え、イメージセンサ１４とＤＳＰ２０はそれぞれシェーディング補正機能を持ち、一のシェーディング補正機能で撮像光学系によって生じるシェーディングの補正を、他のシェーディング補正機能で前記イメージセンサ１４および前記赤外カットフィルタによって生じるシェーディングの補正を行なうようにした。
【選択図】図１

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）で構成される撮像素子上に光学レンズ系によって被写体像を結像させ、画像データとして取り出してメモリなどに記憶させる撮像装置と該撮像装置を備えた携帯機器に関し、特に、光学レンズに起因して生じる画像の中心部と周辺部との明るさが異なる現象や、撮像素子や赤外（ＩＲ）カットフィルタの特性に起因して生じる画像の中心部と周辺部とにおける明るさや色に対する感度の違いなどを、適切に補正できるようにした撮像装置と該撮像装置を備えた携帯機器に関するものである。

一般的なカメラに用いられるレンズには図４に一例を示したように、シェーディングと呼ばれて撮像光学系における周辺部の光量が光軸の中心近傍より減少してしまう現象がある。この図４に於いて横軸は、結像面における光軸中心を通る直線上の位置を示している。また、縦軸は光量を示していて、光軸中心画面位置に比較して周辺の光量が少なくなっているのがわかる。

このシェーディングは、撮影光学系の焦点距離や焦点位置、絞り値によって影響を受け、一般的に、望遠（長焦点）側より広角（短焦点）側の方が、焦点位置が遠距離側より近距離側の方が、程度が大きくなる。また、絞りの径が小さい場合より開放絞り側の方が周辺における光量減少率は大きくなり、一般的なカメラではこのシェーディングを極力抑えるような光学設計がなされている。

他方、撮像レンズにより撮像素子へ入射する光の角度は撮像素子が受光できる光量にも大きな影響を与える。例えば図５に示したように、５０を撮像素子の１画素に相当するフォトダイオード部、５１を撮像素子の遮光部、５２を遮光部に開けた開口部、５３をフォトダイオード５０に垂直に入射する光の径、５４を同じく斜めに入射したときの光の径とすると、個々の撮像素子の受光面に対して垂直に光が入射する場合は図５（Ａ）に５３で示したように効率良く光束を受けることができるが、図５（Ｂ）に示したように、入射光が垂直から傾くほど５４で示したように光束が細くなって損失が増え、受光量が少なくなる。

また、撮像素子（光電変換手段）はカラー画像を撮影できるようにするため、一例を図６（Ａ）に示したようなベイヤ配列と呼ばれるモザイク状のカラーフィルタを用い、入射した光を各画素単位でＲ（赤）、Ｇ（緑）、Ｂ（青）に振り分けて色毎に分離した撮像データを得るために用いるが、撮像素子におけるフォトダイオードには、図７に示したように光の波長によって内部への光の到達距離が異なるという特性があり、そのため色によって同じ光量が入射しても、光の入射角度が垂直から大きく傾く周辺部では、中心部に比較して光量が少なくなるという現象も生じる。なお、ベイヤ配列は、図６（Ａ）に示した３種類の色別だけでなく、図６（Ｂ）に示したように、更に細分化してＲ（赤）画素の列にあるＧｒ画素、、Ｂ（青）画素の列にあるＧｂ画素という様に、同じＧ（緑）でも並びの違いで種類分けが必要な場合もある。

すなわちこの図７に於いて７０は撮像素子の１画素に相当するフォトダイオード部、７１は遮光部、７２の実線は赤（Ｒ）色の光のフォトダイオード部７０への入射光束、７３の点線は緑（Ｇ）色の光のフォトダイオード部７０への入射光束、７４の破線は青（Ｂ）色の光のフォトダイオード部７０への入射光束を示しており、表における上段はフォトダイオード部７０に垂直に入射する光束を、下段は周辺部でフォトダイオード７０への光の入射角度が垂直から大きく傾いた場合のそれぞれの色の光束を表している。

このうち、青（Ｂ）色７４と緑（Ｇ）色７３のように、赤（Ｒ）色７２に対して波長が短い光は、フォトダイオード７０における深部まで侵入することがないため、表の下段に示したように例え光の入射角度が垂直から大きく傾いても光量に大きな変化は生じない。それに対し赤（Ｒ）色７２の波長の長い光は、フォトダイオード７０における深部まで侵入するため光の入射角度が垂直から大きく傾くと、表の下段の右端の「赤色・赤外の場合」に７５で示したように、光束の一部がフォトダイオード７０の側壁を通過してしまって光量に寄与しない光が生じる。従って、本来あるべき光量よりＲ成分の光を少なめに検知してしまうこととなり、垂直に入射した場合を示した上段とは光量が異なってしまう。そのため、光の色（波長）の違いによってシェーディング特性に差が生じるから、色温度が変化すると色成分の構成比率が変化し、画面内に色むらが生じてしまう。

さらに、撮像素子を構成するフォトダイオード７０は、図８に示したように入射してくる光を効率良く捉えるためにマイクロレンズ７７を備えているが、このマイクロレンズ７７による屈折角度は光の波長、すなわち色によって異なっている。そのため、フォトダイオード７０に斜めに光が入射した場合、赤（Ｒ）色７２、緑（Ｇ）色７３、青（Ｂ）色７４で示したように色によってフォトダイオード７０に達する光量が異なることになり、これによってもシェーディング特性に違いが生じる。

また、色温度を検知するホワイトバランス制御に於いて、画像周辺部のデータを用いた場合、この実際より赤（Ｒ）成分が少ない誤ったデータも加味されてホワイトバランス処理が行われる結果、本来正常なはずの中心部の赤（Ｒ）成分のデータまで修正が行われ、画面中心部が赤みを帯びて色むらが発生してしまう。

また、撮像装置に用いる一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた撮像素子は、人間には見えない赤外線領域まで感度があるため、そのままでは得られる画像が人間に見えるものとは異なった色調となる。それを防止するため、一般的に赤外（ＩＲ）カットフィルタを用いて赤外線を遮断することがおこなわれている。

このＩＲカットフィルタには吸収タイプや反射（蒸着）タイプなどがあり、それぞれ異なった特性を有するが、光学系の条件の違いによって、このうち吸収型は光透過特性が変化することで色むらが発生し易く、反射型は光の入射する角度によってカットオフ周波数の特性が変化することで色むらが発生する。このように、それぞれのタイプや素材などによって赤外光のカット特性がまちまちであるため、レンズやセンサの構成に合ったＩＲカットフィルタを選択する必要がある。

さらにＩＲカットフィルタには、図９に示したように完全に赤外線をカットできないものもあり、前記したように撮像装置の小型化・薄型化が進められる中で、画面周辺方向におけるＩＲカットフィルタや撮像素子への光の入射角度が垂直からより傾いていく傾向にあるため、画像の中心部と周辺部とで画像の赤みが異なって自然な色調の画像を撮影することが難しい場合があり、このような問題が生じないＩＲカットフィルタを使用するとコストアップにつながることが多い。

このような問題点を解決するため従来では、撮像素子に対する入射光が極力垂直に入射するよう像側テレセントリックな光学系が良いとされてきたが、この像側テレセントリックな光学系はある程度の光路長を必要とするため小型化・薄型化が難しく、小型化・薄型化をめざす場合は周辺部に入射する光の或る程度の入射角は受け入れざるを得ない。そこで、撮像素子における画面周辺部の画素に対応させて設けるマイクロレンズの形状を、傾きのある入射光を効率よく集光できる形状にした撮像素子等も提案されている。

しかし、このようにマイクロレンズの形状を変えたものは、特定の傾きで入射する光に対しては有効であっても異なる傾きをもった入射光には対応できないから、ズームレンズのように光学系の焦点距離が変化することで撮像素子周辺に対する入射角が変化するものでは効果が得られなくなってしまう。

しかも、撮像装置は様々な分野・製品への組み込みが行なわれ、特に携帯電話等のモバイル機器への搭載にあたっては撮像装置の小型化・薄型化が求められる結果、必然的に光学系も小型化・薄型化し、撮像素子に入射する光の角度は周辺ほど垂直から大きく傾く事になって光軸の中心近傍と周辺との光量差がより大きくなる傾向にあり、対策の必要性が高くなっている。

こういった問題に対しては例えば特許文献１に、光源で照明された原稿の反射光を縮小結合させる結像レンズと、結像された原稿像を光電変換するＣＣＤラインセンサとを有するデジタル複写機やファクシミリ等の画像形成装置に関するものではあるが、ＣＣＤラインセンサがＩＲ（赤外線）に感度を有することで読み取った画像の色調が実際の原稿と異なったように見えるのを防止するため、ＩＲカット用に多層膜干渉フィルタを用いることが示され、さらにその多層膜干渉フィルタが、フィルタへの入射角度によって分光反射率特性が異なる特性を有するため、特定部材を読み取らせることで多層膜干渉フィルタの主走査位置による分光特性を識別し、補正する分光特性補正手段を備えた画像形成装置が示されている。

特開２００６−４９９９５号公報

しかしながらこの特許文献１に示された方法では、前記したようにレンズの焦点位置や焦点距離、絞り値などの光学系自体に起因するシェーディング、撮像素子へ入射する光の角度に起因するシェーディング、波長の長い光における撮像素子内部への侵入深さに起因するシェーディング、ＩＲカットフィルタを用いた場合にフィルタ自体の特性に起因するシェーディングなど、要因が複数存在してこれらの特性の組み合わせにより複合曲線となるシェーディングの総てを補正することはできない。また、特許文献１の方法では、多層膜干渉フィルタの主走査位置による分光特性を識別してそれに応じた補正を行っているが、カメラ等に用いられる撮像装置ではこういった特定部材を読み取らせることもできないから、ここに示された方法を撮像装置に適用することも難しい。

そのため本発明においては、以上説明してきたように、光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲフィルタに起因するシェーディングなど、複数存在してそれぞれ異なるシェーディング要因により、トータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを、適切に補正できるようにした撮像装置と該撮像装置を備えた携帯機器を提供することが課題である。

上記課題を解決するため本発明になる撮像装置は、
撮像光学系と、
該撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、
前記撮像光学系と前記光電変換手段の間に設けられた赤外カットフィルタと、
前記光電変換手段によって得られた画像データに対して演算処理を施す演算手段とを備えた撮像装置であって、
前記光電変換手段と前記演算手段はそれぞれシェーディング補正機能を持ち、一のシェーディング補正機能で前記撮像光学系によって生じるシェーディングの補正を、他のシェーディング補正機能で前記光電変換手段および前記赤外カットフィルタによって生じるシェーディングの補正を行なうことを特徴とする。

撮像装置をこのように構成することで、従来用いられていた、光電変換手段または演算手段のいずれかに備わったシェーディング補正機能単独では、レンズの焦点位置や焦点距離、絞り値などの光学系自体に起因するシェーディング、撮像素子へ入射する光の角度に起因するシェーディング、波長の長い光における撮像素子内部への侵入深さに起因するシェーディング、ＩＲカットフィルタを用いた場合にフィルタ自体の特性に起因するシェーディングなど、要因が複数存在してこれらの特性の組み合わせにより複合曲線となるシェーディングの総てを補正することが困難であったが、光電変換手段と演算手段のそれぞれにシェーディング補正機能を持たせ、シェーディングが発生する要因によってシェーディングを補正する手段を分けることで、シェーディングが適切に補正できる撮像装置を提供することができる。

そして、前記光電変換手段または前記演算手段におけるシェーディング補正機能は、前記撮像光学系における焦点距離、焦点位置、前記撮像光学系に設けられた絞りの径、のいずれかもしくは組み合わせからなる光学系条件値によって変化する、前記光電変換手段および前記赤外カットフィルタへの光束の入射角度の違いに合わせてシェーディング補正機能の特性を変更する機能を含むことで、光学系データ値が示す焦点距離及び焦点位置と絞り値との状態による光電変換手段および赤外カットフィルタへの光束の入射角度の違いに応じたシェーディング補正ができるから、シェーディングが適切に補正できる撮像装置を提供することができる。

また、前記光電変換手段または前記演算手段におけるシェーディング補正機能は、被写体における色温度データ値の違いによって変化する前記光電変換手段の受光特性及びもしくは、前記赤外カットフィルタの分光透過特性に合わせてシェーディング補正機能の特性を変更する機能を含むことで、被写体の照明条件が種々変化しても、シェーディングが適切に補正できる撮像装置を提供することができる。

さらに、前記光電変換手段または前記演算手段は、前記撮像光学系における焦点距離及び焦点位置の違いと前記絞り値との組み合わせと、前記撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせとにより、シェーディング補正データをマトリックス状として配したシェーディング補正テーブルを有し、前記光学系データ値と色温度とによって最適な組み合わせを前記シェーディング補正テーブルから選択してシェーディング補正する機能を有することで、光学系データ値と色温度がわかればシェーディングを簡単に、適切に補正できる撮像装置を提供することができる。

そして、前記撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせからなる前記シェーディング補正データのテーブルを、前記光電変換手段に用いられるカラーフィルタの色別に備えることで、さらに色温度に起因するシェーディング補正がきめ細かく行える。

また、前記光電変換手段に前記撮像光学系における焦点距離及び焦点位置の違いと前記撮像光学系に設けられた絞り機構の絞り値の状態とからなる光学系データ値によって変化するシェーディングの補正機能を、前記演算手段に前記被写体における色温度データ値の違いによって変化する前記光電変換手段の受光特性及びもしくは、前記赤外カットフィルタの分光透過特性に合わせたシェーディング補正機能を持たせたことにより、一般的に光電変換手段側のシェーディング補正機能は自由度が少なく、複雑なシェーディング補正をすることが難しいのに対し、演算手段側のシェーディング補正機能は自由度が大きく、上記したような複合曲線に対しても対応可能であるから、このようにそれぞれのシェーディング補正手段に適した要因を振り分けることで、確実にシェーディング補正できる撮像装置を提供することができる。

また、このように構成した撮像装置を携帯機器に搭載すれば、撮像装置の小型化・薄型化が求められる携帯電話等の携帯機器への搭載にあたっても、光学系の小型化・薄型化により、撮像素子に入射する光の角度が周辺ほど垂直から大きく傾く事になる撮像装置を用いることが可能となり、より、小型・薄型な携帯機器とすることができる。

本発明によれば、複数の要因によって発生し、複合曲線を成すシェーディング特性も、シェーディングが発生する要因によってシェーディングを補正する手段を分けたから、適切に、確実にシェーディングが補正できる撮像装置と該撮像装置を備えた携帯機器を提供することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の寸法、材質、形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は本発明になる撮像装置における制御部分のブロック図であり、図２は前記した種々の要因で生じるシェーディングを補正するための補正用データテーブルの例で、（Ａ）はレンズの焦点位置や焦点距離、絞り径などに起因するシェーディング補正用テーブル、（Ｂ）は色温度とレンズの焦点位置や焦点距離、絞り径などとにより生じるシェーディングを補正するためのテーブル、図３は本発明になる撮像装置におけるシェーディング補正処理のフロー図である。

図１において、１０は撮像装置における光学系を構成するズームレンズ、１１はオートフォーカス用レンズであり、この図１では簡単化のためにそれぞれ単レンズで示したが、一般的に用いられるズームレンズやオートフォーカス用レンズのように複数のレンズにより構成される。１２は光学系の絞り、１３はＩＲ（赤外）カットフィルタ、１４は、撮像素子１５におけるアンプ雑音とリセット雑音を除去するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路１６、増幅率をコントロールするＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１７、撮像素子からのアナログ信号をデジタル信号に変換するＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路１８、そしてイメージセンサ側のシェーディング補正回路（１）１９などが一体となった光電変換手段たるイメージセンサである。

２０は、イメージセンサ１４で得られた画像信号を処理する演算手段たるＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で、その中にはイメージセンサ１４で得られた画像信号を受けるセンサインターフェイス２１、ＤＳＰ２０側でシェーディングの補正を行うシェーディング補正回路（２）２２、シェーディング補正を行った画像信号を表示や記録が行なえる形に処理を施す信号処理部２３、画像表示部・画像記録部３２へ処理が済んだ画像信号を送り出す出力インターフェイス回路２４、信号処理部２３からの信号によって被写体の色温度を検出する色温度検出回路２５、ズームレンズ１０やオートフォーカス用レンズ１１、絞り１２等を動作させるモータ３１_１、３１_２、３１_３を駆動する、モータドライバ３０_１、３０_２、３０_３への信号を駆動部インターフェイス（Ｉ／Ｏ）回路２７を介して送り出したり、逆に駆動部インターフェイス（Ｉ／Ｏ）回路２７を介して受け、ズームレンズ１０やオートフォーカス用レンズ１１における焦点距離、焦点位置、絞り１２の状態や、色温度検出回路２５からの信号により、予めこれらレンズ位置や絞りの状態、色温度などによって必要なシェーディング補正量をテーブルとしたシェーディング補正用データテーブル（１）２８、シェーディング補正用データテーブル（２）２９を参照し、シェーディング補正回路（１）１９、シェーディング補正回路（２）２２に必要なシェーディング補正を行わせ、得られた画像信号を画像表示部・画像記録部３２によって表示したり記憶させたりする制御を行う、制御部２６などで構成されている。

図２は、前記したように種々の要因で生じるシェーディングを補正するための補正用データテーブルの例で、（Ａ）はレンズの焦点位置や焦点距離、絞り径などのレンズ自体に起因するシェーディング補正用テーブル、（Ｂ）は色温度とレンズの焦点位置や焦点距離、絞り径などとにより生じるシェーディングを補正するためのテーブルである。これらのテーブルは、予め、均一な輝度で一様な無地の被写体をいろいろな焦点距離、焦点位置、絞り値、色温度で撮影し、撮像素子画面上での各画素の光軸中心からの距離に対する出力の減衰率の特性を求め、下記計算式（１）によって補正値を求めて作成する。
補正値 ＝ 画面中心の出力値 ／ 対象画素の出力値 ……（１）
なお、光軸中心からの距離は代表点を選び、間の画素のデータは補間計算するようにしても良く、上記シェーディング補正テーブルには、上記（１）式により求めた補正値を元に光軸中心画素からの距離を変数とする計算式としたり、あるいは各画素の補正値を示すマップとして、それら計算式やマップを読み出せるようにする。

前記したように一般的なレンズは、周辺部の光量が光軸の中心近傍の光量より減少する。この現象は、ズームレンズであれば望遠（長焦点）側より広角（短焦点）側の方が程度が大きく、フォーカスレンズであるならば遠距離側より近距離側の方が程度が大きい。また、絞りに関しては絞りの径が小さい場合より開放絞り側の方が周辺における光量減少率は大きい。また、撮像素子側における前記図５で説明した入射光の角度も、これらの要因によって変化し、光量データに影響を与える。そのため、レンズ自体に起因するシェーディング補正用データテーブル２８は、図２（Ａ）に示したように、例えば横方向に絞り径（Ａ、Ｂ、Ｃ、……ｍ）、縦方向にレンズの焦点距離、フォーカスレンズの位置（１、２、３、……ｎ）などの光学系データをそれぞれ配し、それぞれの交点に於いてどのようなシェーディング補正を行うかが、それぞれ、Ｓ_Ａ１、Ｓ_Ａ２、Ｓ_Ａ３、……Ｓ_Ａｎ、Ｓ_Ｂ１、Ｓ_Ｂ２、Ｓ_Ｂ３、……Ｓ_Ｂｎ、……Ｓ_ｍ１、Ｓ_ｍ２、Ｓ_ｍ３、……Ｓ_ｍｎ、として前記（１）式で求めた補正値を元に定めた計算式、あるいはマップと対応されている。

一方、撮像素子側における図７、図８で説明した、色による素子内部への侵入量の違い、及び赤外カットフィルタの分光透過特性によるシェーディングは色温度による影響を受ける。そのため図２（Ｂ）に示した各色の光線が撮像素子へ入射する角度に起因したシェーディングを補正するためのテーブルは、Ｒ（赤）用、Ｇ（緑）用、Ｂ（青）用とそれぞれの色用のテーブルを用意し、例えば横方向に色温度（Ａ、Ｂ、Ｃ、……ｍ）、縦方向にレンズの焦点距離、フォーカスレンズの位置（１、２、３、……ｎ）等の光学系データを配し、それぞれの交点に於いてどのようなシェーディング補正を行うかが、それぞれ、Ｒ_Ａ１、Ｒ_Ａ２、Ｒ_Ａ３、……Ｒ_Ａｎ、Ｒ_Ｂ１、Ｒ_Ｂ２、Ｒ_Ｂ３、……Ｒ_Ｂｎ、……Ｒ_ｍ１、Ｒ_ｍ２、Ｒ_ｍ３、……Ｒ_ｍｎ、Ｇ_Ａ１、Ｇ_Ａ２、Ｇ_Ａ３、……Ｇ_Ａｎ、Ｇ_Ｂ１、Ｇ_Ｂ２、Ｇ_Ｂ３、……Ｇ_Ｂｎ、……Ｇ_ｍ１、Ｇ_ｍ２、Ｇ_ｍ３、……Ｇ_ｍｎ、Ｂ_Ａ１、Ｂ_Ａ２、Ｂ_Ａ３、……Ｂ_Ａｎ、Ｂ_Ｂ１、Ｂ_Ｂ２、Ｂ_Ｂ３、……Ｂ_Ｂｎ、……Ｂ_ｍ１、Ｂ_ｍ２、Ｂ_ｍ３、……Ｂ_ｍｎ、として前記（１）式で求めた補正値を元に定めた計算式、あるいはマップと対応されている。

なお、前記図６（Ｂ）に示したようなＲ（赤）、Ｇ（緑）、Ｂ（青）から更に細分化したフィルタを用いる場合、図２（Ｂ）に示した撮像部への入射角によるシェーディング補正データテーブル（図１では２９）をその種別数に応じて増やし、また、図２（Ａ）に示したレンズ光量低下シェーディング補正用データテーブル（図１では２８）も、この図２（Ｂ）のテーブルと同様、Ｒ（赤）、Ｇ（緑）、Ｂ（青）によるテーブル、更には前記図６（Ｂ）に示した細分化したベイヤ配列を用いる場合はその色数に対応させたテーブルを持たせても良い。

次に以上説明してきた図１、図２と図３に示したシェーディング補正処理のフロー図を用い、本発明になる撮像装置の動作について説明する。

まず、ステップＳ３０でシステムが起動すると、ズームレンズ１０、オートフォーカス用レンズ１１、絞り１２、ＩＲカットフィルタ１３を通してイメージセンサ１４内の撮像素子１５に結像して得られた画像データは、ＣＤＳ回路１６によって撮像素子１５におけるアンプ雑音とリセット雑音が除去され、ＡＧＣ回路１７で適正な信号レベルに増幅されてＡＤ変換回路１８でアナログ／デジタル変換が行われる。また、シェーディング補正回路（１）１９では後記するように制御部２６の指示によってシェーディング補正処理（１）がなされ、ＤＳＰ２０に送り込まれる。

ＤＳＰ２０内では、センサインターフェイス２１を介して送り込まれた画像信号が、シェーディング補正回路（２）２２で、後記するように制御部２６の指示に従うシェーディング補正処理（２）がなされ、信号処理部２３でさらにカラー調整、ガンマ補正、輝度信号生成等の演算が施される。そして、出力インターフェイス回路２４から画像表示部・画像記録部３２に送られて画像表示や外部記憶装置などへの記録が行われ、また、色温度検出回路２５では、信号処理部２３で処理された画像データ中の例えば白部分（高輝度部分）が抽出され、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の割合から色温度が検出されて制御部２６に送られる。

一方制御部２６は、駆動部インターフェイス（Ｉ／Ｏ）２７を介してレンズ駆動や絞りを制御すると共に、その時点のズームレンズ１０とオートフォーカス用レンズ１１の焦点位置、焦点距離等のレンズ状態、及び絞り１２などの光学系データ値を、それぞれを駆動するモータ３１_１、３１_２、３１_３のモータドライバ３０_１、３０_２、３０_３から駆動部インターフェイス２７を介して受ける。そしてステップＳ３１で、レンズ状態と絞り径を元に、図２（Ａ）に示したレンズ周辺光量低下シェーディング補正用データテーブル（図１では２８）を参照し、Ｓ_Ａ１、Ｓ_Ａ２、Ｓ_Ａ３、……Ｓ_Ａｎ、Ｓ_Ｂ１、Ｓ_Ｂ２、Ｓ_Ｂ３、……Ｓ_Ｂｎ、……Ｓ_ｍ１、Ｓ_ｍ２、Ｓ_ｍ３、……Ｓ_ｍｎの中から現在のレンズ状態と絞り径に対応する計算式、あるいはマップを示す値を取得し、シェーディング補正回路（１）１９に送る。

そしてシェーディング補正回路（１）１９は、送られてきた現在のレンズ状態と絞り径に対応する計算式、あるいはマップを示す値を元に、ＡＤ変換回路１８を介して送られてくる画像データ中の各画素における出力値に対し、前記（１）式で算出される補正値を乗じて例えば前記図４に示したようなシェーディングを補正する値を算出し、ＤＳＰ２０に送る。

また制御部２６は、色温度検出回路２５から送られてきた色温度の情報と、先に取得したズームレンズ１０とオートフォーカス用レンズ１１の焦点位置、焦点距離等のレンズ状態、及び絞り１２などの値を元に、ステップＳ３２で、図２（Ｂ）に示した撮像素子１５への入射角によるシェーディング補正用データテーブル（図１では２９）を参照し、Ｒ（赤）用、Ｇ（緑）用、Ｂ（青）用の３つのテーブルにおけるＲ_Ａ１、Ｒ_Ａ２、Ｒ_Ａ３、……Ｒ_Ａｎ、Ｒ_Ｂ１、Ｒ_Ｂ２、Ｒ_Ｂ３、……Ｒ_Ｂｎ、……Ｒ_ｍ１、Ｒ_ｍ２、Ｒ_ｍ３、……Ｒ_ｍｎ、Ｇ_Ａ１、Ｇ_Ａ２、Ｇ_Ａ３、……Ｇ_Ａｎ、Ｇ_Ｂ１、Ｇ_Ｂ２、Ｇ_Ｂ３、……Ｇ_Ｂｎ、……Ｇ_ｍ１、Ｇ_ｍ２、Ｇ_ｍ３、……Ｇ_ｍｎ、Ｂ_Ａ１、Ｂ_Ａ２、Ｂ_Ａ３、……Ｂ_Ａｎ、Ｂ_Ｂ１、Ｂ_Ｂ２、Ｂ_Ｂ３、……Ｂ_Ｂｎ、……Ｂ_ｍ１、Ｂ_ｍ２、Ｂ_ｍ３、……Ｂ_ｍｎ、の中から現在の色温度とレンズの焦点距離、フォーカスレンズの位置などのレンズ状態に対応する計算式、あるいはマップを示す値を取得し、シェーディング補正回路（２）２２に送る。

そのためシェーディング補正回路（２）２２は、送られてきた現在の色温度とレンズ状態に対応する計算式、あるいはマップを示す値を元に、センサインターフェイス２１を介して送られてくる画像データ中の各画素における出力値に対し、前記（１）式で算出される補正値を乗じて例えば前記図５、図７で説明したような撮像素子に対する光の入射角により生じるシェーディングを補正する値を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）それぞれの色に対応する撮像素子の信号に対して算出し、信号処理部２３に送る。

このように、イメージセンサ１４側とＤＳＰ２０側の両方で別個にシェーディング補正を行うのは、一般的にイメージセンサ１４側のシェーディング補正機能は自由度が少なく、複雑なシェーディング補正をすることが難しいのに対し、ＤＳＰ２０側のシェーディング補正機能は自由度が大きく、前記したような複合曲線に対しても対応可能であるからであり、このようにシェーディングが発生する要因によってシェーディングを補正する手段を分けることで、確実にシェーディング補正できる撮像装置を提供することができる。

そして制御部２６は、次のステップＳ３３で、駆動部インターフェイス２７を介して送られてくる信号により、ズームレンズ１０、オートフォーカス用レンズ１１による焦点距離、焦点位置、及び絞り１２の絞り径の状態、すなわちステータスをチェックし、ステップＳ３４で先にステップＳ３１で実施したシェーディング補正（１）の状態に変化があったかどうか、すなわち上記した焦点距離、焦点位置、及び絞り１２の絞り径に変化があったかどうかが判定され、無い場合はステップＳ３７へ、ある場合はステップＳ３５に処理が進む。

ステップＳ３５に処理が進んだ場合制御部２６は、前記と同様レンズ状態と絞り径を元に、図２（Ａ）に示したレンズ周辺光量低下シェーディング補正用データテーブル（図１では２８）を参照し、Ｓ_Ａ１、Ｓ_Ａ２、Ｓ_Ａ３、……Ｓ_Ａｎ、Ｓ_Ｂ１、Ｓ_Ｂ２、Ｓ_Ｂ３、……Ｓ_Ｂｎ、……Ｓ_ｍ１、Ｓ_ｍ２、Ｓ_ｍ３、……Ｓ_ｍｎの中から現在のレンズ状態と絞り径に対応する計算式、あるいはマップを示す値を取得し、シェーディング補正回路（１）１９に送る。

そしてシェーディング補正回路（１）１９は、送られてきた現在のレンズ状態と絞り径に対応する計算式、あるいはマップを示す値を元に、ステップＳ３６において前記図４に示したようなレンズ状態に応じたシェーディング補正をＡＤ変換回路１８を介して送られてくる画像データに施す。

そして、次のステップＳ３７で制御部２６は、色温度検出回路２５から送られてきた色温度の情報、及びズームレンズ１０、オートフォーカス用レンズ１１による焦点距離、焦点位置、及び絞り１２の絞り径の状態、すなわちステータスをチェックし、ステップＳ３８で先にステップＳ３２で実施したシェーディング補正（２）の状態に変化があったかどうか、すなわち上記した撮像している被写体の照明光源が変化し、色温度検出回路２５が画像データ中の例えば白部分における、Ｒ（赤）・Ｇ（緑）・Ｂ（青）の割合から検出した色温度に変化があったかどうかと、ズームレンズ１０、オートフォーカス用レンズ１１による焦点距離、焦点位置、及び絞り１２の絞り径に変化があったかどうかをチェックし、このいずれにも変化がない場合はステップＳ４１に、変化があった場合はステップＳ３９に進む。

ステップＳ３９に進んだ場合、制御部２６は、前記と同様色温度とレンズ状態を元に、図２（Ｂ）に示した撮像素子１５への入射角によるシェーディング補正用データテーブル（図１では２９）を参照し、Ｒ（赤）用、Ｇ（緑）用、Ｂ（青）用の３つのテーブルにおけるＲ_Ａ１、Ｒ_Ａ２、Ｒ_Ａ３、……Ｒ_Ａｎ、Ｒ_Ｂ１、Ｒ_Ｂ２、Ｒ_Ｂ３、……Ｒ_Ｂｎ、……Ｒ_ｍ１、Ｒ_ｍ２、Ｒ_ｍ３、……Ｒ_ｍｎ、Ｇ_Ａ１、Ｇ_Ａ２、Ｇ_Ａ３、……Ｇ_Ａｎ、Ｇ_Ｂ１、Ｇ_Ｂ２、Ｇ_Ｂ３、……Ｇ_Ｂｎ、……Ｇ_ｍ１、Ｇ_ｍ２、Ｇ_ｍ３、……Ｇ_ｍｎ、Ｂ_Ａ１、Ｂ_Ａ２、Ｂ_Ａ３、……Ｂ_Ａｎ、Ｂ_Ｂ１、Ｂ_Ｂ２、Ｂ_Ｂ３、……Ｂ_Ｂｎ、……Ｂ_ｍ１、Ｂ_ｍ２、Ｂ_ｍ３、……Ｂ_ｍｎ、の中から現在の色温度とレンズの焦点距離、フォーカスレンズの位置などのレンズ状態に対応する計算式、あるいはマップを示す値を取得し、シェーディング補正回路（２）２２に送る。

そのためシェーディング補正回路（２）２２は、送られてきた現在の色温度とレンズ状態に対応する計算式、あるいはマップを示す値を元に、例えば前記図５、図７で説明したような撮像素子に対する光の入射角により生じるシェーディングの補正を、Ｒ（赤）、Ｇ（緑）、Ｂ（青）それぞれの色に対応する撮像素子の信号に対して施す。

そして次のステップＳ４１で処理が終了か否かがチェックされ、Ｎｏの場合は処理がステップＳ３３に戻って同じ事が繰り返され、Ｙｅｓの場合はステップＳ４２に進んで終了する。

このようにしてシェーディング補正を行うことにより、従来用いられていた、イメージセンサ１４またはＤＳＰ２０のいずれかに備わったシェーディング補正機能単独では、レンズの焦点位置や焦点距離、絞り値などの光学系自体に起因するシェーディング、撮像素子へ入射する光の角度に起因するシェーディング、波長の長い光における撮像素子内部への侵入深さに起因するシェーディング、ＩＲカットフィルタを用いた場合にフィルタ自体の特性に起因するシェーディングなど、要因が複数存在してこれらの特性の組み合わせにより複合曲線となるシェーディングの総てを補正することが困難であったが、イメージセンサ１４とＤＳＰ２０のそれぞれにシェーディング補正機能を持たせ、シェーディングが発生する要因によってシェーディングを補正する手段を分けることで、シェーディングが適切に補正できる撮像装置を提供することができる。

また、前記したように一般的にイメージセンサ１４側のシェーディング補正機能は自由度が少なく、複雑なシェーディング補正をすることが難しいのに対し、ＤＳＰ２０側のシェーディング補正機能は自由度が大きく、上記したような複合曲線に対しても対応可能であるから、このようにシェーディングが発生する要因によってシェーディングを補正する手段を分けることで、確実にシェーディング補正できる撮像装置を提供することができる。

図１０は、以上説明してきた撮像装置を組み込んだ携帯機器の一例である。この図１０に示した携帯機器は、一例として携帯電話機８０の場合を示している。図中８１は操作部（操作部材）、８２はディスプレイ（表示部材）で、この図１０はこれら操作部（操作部材）８１、ディスプレイ（表示部材）８２が見える状態（開状態）で示した平面図であり、図示の携帯電話機８０は、操作部８１が搭載された第１のケース部８３とディスプレイ８２が搭載された第２のケース部８４とがヒンジ機構８５によって連結され、第１及び第２のケース部８３及び８４は、ヒンジ機構８５の回りに回動可能となっている。なお、第１及び第２のケース部８３及び８４はケース体を構成する。

第２のケース部８４の外側には、図中破線二重丸で示す位置に、以上説明してきた撮像装置における、例えばズームレンズ１０の被写体側レンズを露出させる開口部が形成されている。そして、操作部８１の所定のボタンを操作すると、以上説明してきた撮像装置によって撮像が行われて、撮像された画像は、例えば、ディスプレイ８２上に表示される。なお、図示はしないが、第１のケース部８３にはバッテリー及び通信部等が収納されており、さらに、第２のケース部８４の厚さ寸法は、略撮像装置の高さに規制されている。

なお、以上の説明では、絞り値を含むレンズ状態によるシェーディングの補正をシェーディング補正回路（１）１９で、色温度によるシェーディングの補正をシェーディング補正回路（２）２２で行うよう説明したが、これは逆であっても構わない。

本発明によれば、複数の要因によって発生して複合曲線を成すシェーディング特性も適切に補正でき、常にきれいな画像を提供できる撮像装置と該撮像装置を備えた携帯機器とすることができる。

本発明になる撮像装置における制御部分のブロック図である。 種々の要因で生じるシェーディングを補正するための補正用データテーブルの例で、（Ａ）はレンズの焦点位置や焦点距離、絞り径などのレンズ自体に起因するシェーディング補正用テーブル、（Ｂ）は色温度とレンズの焦点位置や焦点距離、絞り径などとにより生じるシェーディングを補正するためのテーブルである。 本発明になる撮像装置におけるシェーディング補正処理のフロー図である。 一般的なカメラに用いられるレンズにおけるシェーディングの一例である。 撮像素子へ入射する光の角度により受光できる光量が影響される状態を説明するための図で、（Ａ）は撮像素子の受光面に対して光が垂直に入射する場合、（Ｂ）は入射光が垂直から傾いた状態では受光量が少なくなることを示した図である。 撮像素子によりカラー画像を撮影できるようにするために用いられる、ベイヤ配列と呼ばれるモザイク状のカラーフィルタの一例を示した図である。 波長によって撮像素子内部への光の到達距離が異なる事を説明するための図である。 マイクロレンズを備えたフォトダイオードにおける光の波長によってシェーディング特性が変化することを説明するための図である。 ＩＲカットフィルタによる波長と透過特性との関係を示したグラフである。 実施形態の撮像装置が組み込まれた携帯電話機の一例を概略的に示す図である。

符号の説明

１０ ズームレンズ
１１ オートフォーカス用レンズ
１２ 絞り
１３ ＩＲカットフィルタ
１４ イメージセンサ
１５ 撮像素子
１６ ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路
１７ ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路
１８ ＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路
１９ シェーディング補正回路（１）
２０ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２１ センサインターフェイス
２２ シェーディング補正回路（２）
２３ 信号処理部
２４ 出力インターフェイス回路
２５ 色温度検出回路
２６ 制御部
２７ 駆動部インターフェイス
２８ シェーディング補正用データテーブル（１）
２９ シェーディング補正用データテーブル（２）
３０_１、３０_２、３０_３ モータドライバ
３１_１、３１_２、３１_３ モータ
３２ 画像表示部・画像記録部

Claims (7)

1. 撮像光学系と、
   該撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、
   前記撮像光学系と前記光電変換手段の間に設けられた赤外カットフィルタと、
   前記光電変換手段によって得られた画像データに対して演算処理を施す演算手段とを備えた撮像装置であって、
   前記光電変換手段と前記演算手段はそれぞれシェーディング補正機能を持ち、一のシェーディング補正機能で前記撮像光学系によって生じるシェーディングの補正を、他のシェーディング補正機能で前記光電変換手段および前記赤外カットフィルタによって生じるシェーディングの補正を行なうことを特徴とする撮像装置。
2. 前記光電変換手段または前記演算手段におけるシェーディング補正機能は、前記撮像光学系における焦点距離、焦点位置、前記撮像光学系に設けられた絞りの径、のいずれかもしくは組み合わせからなる光学系条件値によって変化する、前記光電変換手段および前記赤外カットフィルタへの光束の入射角度の違いに合わせてシェーディング補正機能の特性を変更する機能を含むことを特徴とする請求項１に記載した撮像装置。
3. 前記光電変換手段または前記演算手段におけるシェーディング補正機能は、被写体における色温度データ値の違いによって変化する前記光電変換手段の受光特性及びもしくは、前記赤外カットフィルタの分光透過特性に合わせてシェーディング補正機能の特性を変更する機能を含むことを特徴とする請求項１または２に記載した撮像装置。
4. 前記光電変換手段または前記演算手段は、前記撮像光学系における焦点距離及び焦点位置の違いと前記絞り値との組み合わせと、前記撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせとにより、シェーディング補正データをマトリックス状として配したシェーディング補正テーブルを有し、前記光学系データ値と色温度とによって最適な組み合わせを前記シェーディング補正テーブルから選択してシェーディング補正する機能を有することを特徴とする請求項３に記載した撮像装置。
5. 前記撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせからなる前記シェーディング補正データのテーブルを、前記光電変換手段に用いられるカラーフィルタの色別に備えたことを特徴とする請求項４に記載した撮像装置。
6. 前記光電変換手段に前記撮像光学系における焦点距離及び焦点位置の違いと前記撮像光学系に設けられた絞り機構の絞り値の状態とからなる光学系データ値によって変化するシェーディングの補正機能を、前記演算手段に前記被写体における色温度データ値の違いによって変化する前記光電変換手段の受光特性及びもしくは、前記赤外カットフィルタの分光透過特性に合わせたシェーディング補正機能を持たせたことを特徴とする請求項１乃至５に記載した撮像装置。
7. 請求項１乃至６に記載した撮像装置を搭載したことを特徴とする携帯機器。

Images