JP2008277926A - 画像データ処理方法と該方法を用いた撮像装置 - Google Patents

Abstract

【課題】光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なる場合や、複数の色温度が異なる光源によって被写体が照明されている場合など、複雑な照明状態における色シェーディングをも正確に補正することができる画像データ処理方法と該方法を用いた撮像装置を提供することが課題である。
【解決手段】予めシェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける色成分情報から光源毎の色成分情報と、各光源により生じるシェーディングの補正用係数とを光源毎に算出しておき、被写体像の画像データにおける色成分情報から被写体を照明している撮影光源の種類を特定し、その光源に対応したシェーディングの補正用係数を用いて画像データのシェーディングを補正するようにした。
【選択図】図１

Description

本発明は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）で構成される撮像素子上に光学レンズ系によって被写体像を結像させ、得られた被写体像の画像データを処理する方法及び装置に関し、特に、光学レンズや被写体を照明する光源の色温度、撮像素子の構造などに起因して生じる、画像の中心部と周辺部とにおける明るさや色に対する感度の違いにより生じるシェーディングを、適切に補正できるようにした画像データ処理方法と該方法を用いた撮像装置に関するものである。

一般的なカメラに用いられるレンズには図６に一例を示したように、シェーディングと呼ばれて撮像光学系における周辺部の光量が光軸の中心近傍より減少してしまう現象がある。この図６に於いて横軸は、結像面における光軸中心を通る直線上の位置を、また縦軸は、光量をそれぞれ示していて、光軸中心画面位置に比較して周辺の光量が少なくなっているのがわかる。

このシェーディングは、撮影光学系の焦点距離や焦点位置、及び絞り値によって影響を受け、一般的に、望遠（長焦点）側より広角（短焦点）側の方が、焦点位置が遠距離側より近距離側の方が、程度が大きくなる。また、絞りの径が小さい場合より開放絞り側の方が周辺における光量減少率は大きくなり、一般的なカメラではこのシェーディングを極力抑えるような光学設計がなされている。

他方、撮像レンズにより撮像素子へ入射する光の角度は撮像素子が受光できる光量にも大きな影響を与える。例えば図７に示したように、５０を撮像素子の１画素に相当するフォトダイオード部、５１を撮像素子の遮光部、５２を遮光部に開けた開口部、５３をフォトダイオード５０に垂直に入射する光の径、５４を同じく斜めに入射したときの光の径とすると、個々の撮像素子の受光面に対して垂直に光が入射する場合は図７（Ａ）に５３で示したように効率良く光束を受けることができるが、図７（Ｂ）に示したように、入射光が垂直から傾くほど５４で示したように光束が細くなって損失が増え、受光量が少なくなる。

また、撮像素子（光電変換手段）はカラー画像を撮影できるようにするため、一例を図８に示したようなベイヤ配列と呼ばれるモザイク状のカラーフィルタを用い、例えば図８（Ａ）では、入射した光を各画素単位でＲ（赤）、Ｇ（緑）、Ｂ（青）に振り分け、また図８（Ｂ）では、更に細分化してＲ（赤）画素の列にあるＧｒ画素、Ｂ（青）画素の列にあるＧｂ画素、というように同じＧ（緑）画素でも並びの違いで種類分けして色毎に分離した撮像データを得ることが行われている。しかしながら、撮像素子におけるフォトダイオードには、図９に示したように光の波長によって内部への光の到達距離が異なるという特性があり、そのため色によって同じ光量が入射しても、光の入射角度が垂直から大きく傾く周辺部では、中心部に比較して光量が少なくなるという現象が生じる。

すなわちこの図９に於いて７０は撮像素子の１画素に相当するフォトダイオード部、７１は遮光部、７２の実線は赤（Ｒ）色の光のフォトダイオード部７０への入射光束、７３の点線は緑（Ｇ）色の光のフォトダイオード部７０への入射光束、７４の破線は青（Ｂ）色の光のフォトダイオード部７０への入射光束を示しており、表における上段はフォトダイオード部７０に垂直に入射する光束を、下段は撮像素子周辺部でフォトダイオード７０への光の入射角度が垂直から大きく傾いた場合のそれぞれの色の光束を表している。

このうち、青（Ｂ）色７４と緑（Ｇ）色７３のように、赤（Ｒ）色７２に対して波長が短い光は、フォトダイオード７０における深部まで侵入することがないため、表の下段に示したように例え光の入射角度が垂直から大きく傾いても光量に大きな変化は生じない。それに対し赤（Ｒ）色７２の波長の長い光は、フォトダイオード７０における深部まで侵入するため光の入射角度が垂直から大きく傾くと、表の下段の右端の「赤色・赤外の場合」に７５で示したように、光束の一部がフォトダイオード７０の側壁を通過してしまって光量に寄与しない光が生じる。従って、本来あるべき光量より赤（Ｒ）成分の光を少なめに検知してしまうこととなり、垂直に入射した場合を示した上段とは光量が異なり、光の色（波長）の違いによってシェーディング特性に差が生じるから、色温度が変化すると色成分の構成比率が変化して画面内に色むらが生じてしまう。

さらに、撮像素子を構成するフォトダイオード７０は、図１０に示したように入射してくる光を効率良く捉えるためにマイクロレンズ７７を備えているが、このマイクロレンズ７７による屈折角度は光の波長、すなわち色によって異なっている。そのため、フォトダイオード７０に斜めに光が入射した場合、赤（Ｒ）色７２、緑（Ｇ）色７３、青（Ｂ）色７４で示したように色によってフォトダイオード７０に達する光量が異なることになり、これによってもシェーディング特性に違いが生じる。

また、色温度を検知するホワイトバランス制御に於いて、画像周辺部のデータを用いた場合、この実際より赤（Ｒ）成分が少ない誤ったデータも加味されてホワイトバランス処理が行われる結果、本来正常なはずの中心部の赤（Ｒ）成分のデータまで修正が行われ、画面中心部が赤みを帯びて色むらが発生してしまう。

また、撮像装置に用いる一般的なＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ）を用いた撮像素子は、人間には見えない赤外線領域に至るまで感度があるため、そのままでは得られる画像が人間に見えるものとは異なった色調となる。それを防止するため、一般的に赤外（ＩＲ）カットフィルタを用いて赤外線を遮断することがおこなわれている。

このＩＲカットフィルタには吸収タイプや反射（蒸着）タイプなどがあり、それぞれ異なった特性を有するが、光学系の条件の違いによって、このうち吸収型は光透過特性が変化することで色むらが発生し易く、反射型は光の入射する角度によってカットオフ周波数の特性が変化することで色むらが発生する。このように、それぞれのタイプや素材などによって赤外光のカット特性がまちまちであるため、レンズやセンサの構成に合ったＩＲカットフィルタを選択する必要がある。

このような問題点を解決するため従来では、撮像素子に対する入射光が極力垂直に入射するよう像側テレセントリックな光学系が良いとされてきたが、この像側テレセントリックな光学系はある程度の光路長を必要とするため小型化・薄型化が難しく、例えば携帯電話などに用いるために小型化・薄型化をめざす場合、周辺部に入射する光の或る程度の入射角は受け入れざるを得ない。そこで、撮像素子における画面周辺部の画素に対応させて設けるマイクロレンズの形状を、傾きのある入射光を効率よく集光できる形状にした撮像素子等も提案されている。

しかし、このようにマイクロレンズの形状を変えたものは、特定の傾きで入射する光に対しては有効であっても異なる傾きをもった入射光には対応できないから、ズームレンズのように光学系の焦点距離が変化することで撮像素子周辺に対する入射角が変化するものでは効果が得られなくなってしまう。

しかも、撮像装置は様々な分野・製品への組み込みが行なわれ、特に携帯電話等のモバイル機器への搭載にあたっては撮像装置の小型化・薄型化が求められる結果、必然的に光学系も小型化・薄型化し、撮像素子に入射する光の角度は周辺ほど垂直から大きく傾くことになって、光軸の中心近傍と周辺との光量差がより大きくなる傾向にあり、対策の必要性が高くなっている。

そのため例えば特許文献１には、光源で照明された原稿の反射光を縮小結合させる結像レンズと、結像された原稿像を光電変換するＣＣＤラインセンサとを有するデジタル複写機やファクシミリ等の画像形成装置に関するものではあるが、ＣＣＤラインセンサがＩＲ（赤外線）に感度を有することで読み取った画像の色調が実際の原稿と異なったように見えるのを防止するため、ＩＲカット用に多層膜干渉フィルタを用いることが示され、さらにその多層膜干渉フィルタが、フィルタへの入射角度によって分光反射率特性が異なる特性を有するため、特定部材を読み取らせることで多層膜干渉フィルタの主走査位置による分光特性を識別し、補正する分光特性補正手段を備えた画像形成装置が示されている。

また本願出願人は、現在は非公知である特許文献２において、光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲカットフィルタに起因するシェーディングなど、複数存在するシェーディング要因でトータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを、適切に補正できるようにした撮像装置を提案した。

それを簡単に説明すると、撮像光学系によって結像された被写体像を電気信号に変換するイメージセンサと、撮像光学系とイメージセンサとの間に設けられた赤外カットフィルタと、イメージセンサによって得られた画像データに対して演算処理を施すＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）とを備えた撮像装置において、イメージセンサとＤＳＰはそれぞれシェーディング補正機能を持ち、かつ、撮像光学系における焦点距離及び焦点位置の違いと絞り値との組み合わせと、撮像光学系における焦点距離及び焦点位置の違いと被写体の色温度の違いとの組み合わせとにより、シェーディング補正データをマトリックス状として配したシェーディング補正用データテーブルを作成し、光学系データ値と色温度とによって最適な組み合わせをこのシェーディング補正用データテーブルから選択できるようにすると共に、前記イメージセンサとＤＳＰに設けた一のシェーディング補正機能で撮像光学系によって生じるシェーディングの補正を、他のシェーディング補正機能でイメージセンサおよび前記赤外カットフィルタによって生じるシェーディングの補正を行なうようにしたものである。

さらに特許文献３には、画像のシェーディング補正を高速に行うため、撮像素子により撮像された画像のシェーディング補正をベイヤーデータの段階で行ない、各画素Ｐについて、光軸に相当するベイヤー画像の補正中心Ｏとの間の水平距離Ｈと垂直距離Ｖとを取得し、それらを二次関数に当てはめることにより、各画素Ｐにおける補正中心Ｏとの距離Ｌに応じたシェーディング係数を算出し、算出した画素毎のシェーディング係数に応じて各画素の明るさを調整して、色シェーディングを補正するようにした撮像装置が示されている。

特開２００６−４９９９５号公報 特願２００６−２０７２２２号（現在非公開） 特開２００５−２７７６１８号公報

しかしながら、特許文献１に示された方法では、前記したようにレンズの焦点位置や焦点距離、絞り値などの光学系自体に起因するシェーディング、撮像素子へ入射する光の角度に起因するシェーディング、波長の長い光における撮像素子内部への侵入深さに起因するシェーディング、ＩＲカットフィルタを用いた場合にフィルタ自体の特性に起因するシェーディングなど、要因が複数存在してこれらの特性の組み合わせにより複合曲線となるシェーディングの総てを補正することはできない。また、特許文献１の方法では、多層膜干渉フィルタの主走査位置による分光特性を識別してそれに応じた補正を行っているが、カメラ等に用いられる撮像装置ではこういった特定部材を読み取らせることもできないから、ここに示された方法を撮像装置に適用することも難しい。

また、特許文献２の方法は、光学レンズに起因するシェーディングや撮像素子の特性に起因するシェーディング、及びＩＲカットフィルタに起因するシェーディングなど、複数存在するシェーディング要因でトータルなシェーディング特性が複合的な曲線となり、さらに、レンズの焦点位置や焦点距離、及び絞り値や色温度によって変化していくシェーディングを補正するには有効であるが、なお、予期しない色シェーディングが発生することが判明した。

すなわち前記補正テーブルにおいては、特定の色温度毎に対応する光源で被写体を照射し、それによって生じるシェーディングを補正できるようにテーブルの値を設定しているが、このように単に色温度だけで補正テーブルを作成すると、例えば色温度が５０００Ｋの太陽光と同じ色温度が５０００Ｋの蛍光灯ではスペクトルが異なり、そのために色シェーディング特性が異なって完全な補正ができなくなる。また、例えば５０００Ｋの太陽光と蛍光灯や白熱灯など、複数の光源によって被写体が照明されている場合はさらに複雑な色シェーディングとなる場合もある。

また特許文献３に示された方法では、色シェーディングの補正を行うため、各画素Ｐについて光軸に相当するベイヤー画像の補正中心Ｏとの間の水平距離Ｈと垂直距離Ｖとを取得し、それらを二次関数に当てはめ、各画素Ｐにおける補正中心Ｏとの距離Ｌに応じたシェーディング係数を算出しているが、前記したように光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なる場合や、複数の色温度が異なる光源によって被写体が照明されている場合など、複雑な照明状態における色シェーディングを補正することについての解決策は示されていない。

そのため本発明においては、光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なる場合や、複数の色温度が異なる光源によって被写体が照明されている場合など、複雑な照明状態における色シェーディングをも正確に補正することができる画像データ処理方法と該方法を用いた撮像装置を提供することが課題である。

上記課題を解決するため本発明になる画像データ処理方法は、
撮像光学系によって結像された被写体像を光電変換した画像データにおけるシェーディングを補正する画像データ処理方法であって、
各種光源毎に該光源の色成分情報と該光源に合わせたシェーディングの補正用データとを予め用意しておき、
前記画像データにおける色成分情報から撮影光源の種類を特定し、
前記撮影光源の種類に対応した１または複数の前記シェーディング補正用データを用いて前記画像データのシェーディングを補正することを特徴とする。

また、この画像データ処理方法を用いた撮像装置は、
撮像光学系と、
該撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、
該光電変換手段によって得られた画像データに対して演算処理を施す演算手段と、
予めシェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける色成分情報から算出した、前記光源毎の色成分情報とシェーディングの補正用係数とを格納した記憶手段と、
を備え、
前記被写体像の画像データにおける色成分情報を用いて前記演算手段で算出した色成分情報から被写体を照明している撮影光源の種類を特定し、該特定した光源の前記シェーディング補正用係数を前記記憶手段から読み出し、前記被写体像の画像データのシェーディングを補正するシェーディング補正回路を有することを特徴とする。

このように各種光源によって照明して撮像した、シェーディング補正データ作成用被写体の画像データにおける色成分情報から、光源毎の色成分情報と各光源により生じるシェーディングの補正用係数とを予め算出し、被写体像の画像データにおける色成分情報から被写体を照明している撮影光源の種類を特定してシェーディングを補正することで、例え光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なったり、複数の色温度が異なる光源によって被写体が照明されている場合でも、それぞれの光源に対応した正確な色シェーディング補正が可能となる。従って、常に色再現性の良い画像データを提供することができる画像データ処理方法と該方法を用いた撮像装置を提供することができる。

そして、前記各種光源毎の色成分情報は、各光源の色温度とスペクトルとに対応した値であり、前記記憶手段は、色温度とスペクトルが異なる光源の色成分情報とシェーディングの補正用係数とを記憶していることで、上記したように被写体を照明している光源のスペクトルに起因して、同じ色温度であっても色シェーディング特性が異なったり、複数の色温度が異なる光源によって被写体が照明されている場合でも、正確に色シェーディングを補正することが可能となる。

また、前記算出する光源毎の色成分情報は、前記シェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色成分情報値を加算して求めた平均値を用い、さらに、前記算出する光源毎の色成分情報は、前記求めた赤（Ｒ）と緑（Ｇ）の平均値の比と、青（Ｂ）と緑（Ｇ）の平均値の比とから定め、そして、前記算出する光源毎の色成分情報は、前記求めた赤（Ｒ）と緑（Ｇ）の平均値の比と、青（Ｂ）と緑（Ｇ）の平均値の比とに、それぞれその光源に対応した閾値を加えた値とし、さらに、前記光源毎の色成分情報を算出するための緑（Ｇ）の色成分情報値は、ベイヤ配列における赤（Ｒ）列の緑（Ｇｒ）と青（Ｂ）列の緑（Ｇｂ）の色成分情報値を用いることが、本発明の好適な実施形態である。

そして、前記色成分情報は、前記光電変換手段における撮像画像周辺部を除いた色成分情報とすることで、撮像素子周辺の色成分情報は色シェーディングの影響を強く受けているからそれを除くことで、撮影光源の種類を特定するための正確な色成分情報とすることができる。

また、前記記憶手段が記憶している色成分情報とシェーディングの補正用係数とは、太陽光を含む複数の光源のそれぞれに対して用意されていることで、種々の光源に対する色シェーディングを正確に補正することができる。

また、前記被写体像の画像データにおける色成分情報から特定した光源が複数ある場合、該複数の光源それぞれの関与度合いを加味しながら前記シェーディングの補正用係数を算出して前記画像データのシェーディングを補正し、そのため、前記シェーディング補正回路は、前記被写体像の画像データの色成分情報が複数の光源に対応した状態で、前記複数の光源のそれぞれのシェーディングの補正用係数を、各光源の関与度合いを加味しながら前記演算回路に算出させるよう構成されていることで、色温度やスペクトルが異なる複数の光源が存在する場合でも、正確に色シェーディングを補正できる画像データ処理方法と該方法を用いた撮像装置とすることができる。

さらに、例えば全体に同一色で構成される被写体や、非常に暗い被写体などの場合、正確に光源が特定できない場合があるが、前記被写体像の画像データにおける色成分情報から光源が特定できない場合、標準の光源に対応した前記シェーディングの補正用係数を用いて前記画像データのシェーディングを補正することで、こういった場合でも色シェーディングを補正できる画像データ処理方法と該方法を用いた撮像装置とすることができる。

そして、前記シェーディングの補正用係数は、前記シェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける、中心部の色成分情報値と前記シェーディングの補正用係数を算出する位置における色成分情報値との比として算出することが、本発明の好適な実施形態である。

本発明によれば、光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なる場合や、複数の色温度が異なる光源によって被写体が照明されている場合など、複雑な照明状態により生じる色シェーディングであっても、常に正確に補正して色再現性の良い画像データを提供することができる、画像データ処理方法と該方法を用いた撮像装置を提供することができる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成部品の形状、その相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は、本発明になる画像データ処理方法を実施する撮像装置のブロック図である。図中、１０は撮像装置における光学系を構成するレンズであり、この図１では簡単化のために単レンズのみ示したが、一般的なレンズのように複数のレンズで構成されるものであり、また、ズームレンズのように焦点距離を変化できるレンズで構成しても良い。１２は光学系の絞り、１３はＩＲ（赤外）カットフィルタ、１４は、撮像素子１５と、撮像素子と１５におけるアンプ雑音とリセット雑音を除去するＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路１６、増幅率をコントロールするＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路１７、撮像素子からのアナログ信号をデジタル信号に変換するＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路１８などが一体となった光電変換手段たるイメージセンサである。

２０は、イメージセンサ１４で得られた画像データを処理する演算手段たるＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）で、その中にはイメージセンサ１４で得られた画像データを受けるセンサインターフェイス２１、送られてきた画像データを表示や記録が行なえる形に処理する信号処理部２２、この信号処理部２２からの信号を受けて画像データから周辺を除く部分のＲＧＢ情報を収集する色成分情報収集部２５、同じく信号処理部２２からの画像データを受け、演算部２６に、色成分情報収集部２５から送られてくる色成分情報から被写体を照明している撮影光源の種類を特定するための色成分情報を算出させ、さらに、レンズ１０における焦点距離、絞り１２の状態、及び、必要なシェーディング補正量をテーブルとして記憶したシェーディング補正用データテーブル２７、２８、……２９の参照結果により、シェーディング補正量を算出させてシェーディング補正を行わせるシェーディング補正回路２３、画像表示部・画像記録部３０へ処理が済んだ画像データを送り出す出力インターフェイス回路２４などが含まれている。

図４は、本発明になる画像データ処理方法に用いるシェーディング補正用データテーブルの例であり、図５は、図１のイメージセンサ１４の出力画像をイメージしたものである。図４に示したテーブルは、前記した色温度やスペクトルが異なるいろいろな光源別に、図５に示した画像上の定点毎の補正係数をテーブルとして記憶している。

すなわち図５は、図１のイメージセンサ１４の出力画像における横を１、２、３、……、ｍに、縦を１、２、３、……、ｎに分け、格子状の交点、（１，１）、（１，２）、（１，３）、……、（１，ｍ）、（２，１）、（２，２）、（２，３）、……、（２，ｍ）、……、（ｎ，ｍ）をシェーディングのための補正係数を記憶する定点とすることを示したもので、定点間については、周辺の定点からの距離などに基づいて補正係数を導き出し、補間することで色シェーディングの補正を行なうようにする。

図中、Ａ（１，１）で示した点は、一例としてイメージセンサ１４の出力画像の図上左上の点を示し、Ｃ（ｍ／２，ｎ／２）は出力画像の中央を示している。Ａ（１，１）の座標におけるＧｒ１１、Ｒ１１、Ｂ１１、Ｇｂ１１は、それぞれＡ（１，１）の座標におけるＲラインの緑（Ｇｒ）、赤（Ｒ）、青（Ｂ）、Ｂラインの緑（Ｇｂ）を示し、Ｃ（ｍ／２，ｎ／２）の座標におけるＧｒＣ、ＲＣ、ＢＣ、ＧｂＣも、それぞれＣ（ｍ／２，ｎ／２）の座標におけるＲラインの緑（Ｇｒ）、赤（Ｒ）、青（Ｂ）、Ｂラインの緑（Ｇｂ）を示している。なお、この図５に示した定点の位置はあくまでも一例であり、この数、位置に限定されないことは明らかである。

そして図４に示したテーブルは、（ａ）が赤（Ｒ）用、（ｂ）は赤（Ｒ）ラインの緑（Ｇｒ）用、（ｃ）は青（Ｂ）用、（ｄ）は青（Ｂ）ラインの緑（Ｇｂ）用であり、それぞれのテーブルは、図５に示した横を１〜ｍに、縦を１〜ｎに分け、それぞれシェーディング補正係数を記憶している。また、［］中のIIは、後記する光源の種類（例えばIIは一例として６５００Ｋの昼光色を表す）、Ｒ１１、Ｒ１２、Ｒ１３、……、Ｒ１ｍ、Ｒ２１、Ｒ２２、Ｒ２３、……、Ｒ２ｍ、……、Ｒｎｍは、図５に示した各定点における補正係数をを示している。なお、ここに示したテーブルは、一例として６５００Ｋの昼光色の場合を示したが、後記する、Ｄ７５、Ｄ６５、Ｄ５０、蛍光灯１、蛍光灯２、白熱灯、夕焼けなど、色温度や、同じ色温度の場合はスペクトルの違いなどにより、シェーディング特性が異なる光源毎に設けるものである。

このデーブルの作成方法は、まず光学の分野で色調補正などに一般的に用いられるグレイの標準反射板などをシェーディング補正データ作成用被写体として用意し、例えば蛍光灯などのテーブルを作成する特定の光源で、このグレイの画像を均一に照明して撮影する。そして、その画像データにおける図５のような格子状の交点毎に各画素の出力値を色成分情報として求め、それぞれの値と、Ｃ（ｍ／２，ｎ／２）で示した中心座標における画素の出力値との比を求めて、それを補正係数としたテーブルとして記憶する。

これは、例えば、座標Ａ（１，１）における赤Ｒ１１の補正値をＣｏｅｆＲ１１、赤ラインの緑Ｇｒ１１の補正値をＣｏｅｆＧｒ１１、青Ｂ１１の補正値をＣｏｅｆＢ１１、青ラインの緑Ｇｂ１１の補正値をＣｏｅｆＧｂ１１とすると、それぞれ下記の（１）〜（４）式のようになるから、この補正係数を各定点毎に作成し、さらに、同様にして前記した色温度やスペクトルが異なるいろいろな光源毎にも作成する。それが図１のシェーディング補正用データテーブル２７、２８、……２９である。

ＣｏｅｆＲ１１ ＝ＲＣ／Ｒ１１ ………（１）
ＣｏｅｆＧｒ１１＝ＧｒＣ／Ｇｒ１１ ………（２）
ＣｏｅｆＢ１１ ＝ＢＣ／Ｂ１１ ………（３）
ＣｏｅｆＧｂ１１＝ＧｂＣ／Ｇｂ１１ ………（４）

なお、このシェーディング補正用データテーブルは、以下の説明では光源の色成分情報としての色温度やスペクトルを考慮したテーブルの場合のみを例に説明してゆくが、前記特許文献２で本願出願人が提案しているように、レンズの焦点位置や焦点距離、絞り径などのレンズ自体に起因するシェーディング補正用データテーブルや、以上説明してきた色温度と、レンズの焦点位置や焦点距離、絞り径などを含めたシェーディングを補正するためのテーブルなど、各種要因で生じるシェーディングを補正するためのテーブルを絡めて用いることは勿論である。

次に、色成分情報を用意する。これは、前記した色温度やスペクトルが異なるいろいろな光源により前記したグレーの標準反射板などのシェーディング補正データ作成用被写体を照明し、得られた画像データのうち、撮像素子の周辺部を除く部分のＲＧＢ情報の平均を取り、各光源毎に、赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と、青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）を算出して色成分情報とするもので、このデータは、被写体が各色温度の光源によって照明されたとき、赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と、青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値がどのような値になるかを予め算出しておき、前記したシェーディング補正用データテーブルに記憶しておくことで、画像データに含まれるＲＧＢ情報から、現在被写体がどのような光源で照明されているかを特定するためのものである。

なお、この計算において撮像素子周辺の色成分情報を除くのは、周辺では色シェーディングの影響を強く受け、それぞれの光源における正確なＲＧＢ情報とならない可能性があるからで、また、緑（Ｇ）はベイヤー配列におけるＧｒとＧｂを平均したものを用いる。そしてその算出結果を、赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）を横軸に、青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）を縦軸としたグラフにプロットしたのが図３である。

この図３のグラフにおいて、IからVIIまでの数字を付した点（ポイント）は、このようにして赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値を算出した、色温度や同じ色温度の場合はシェーディング特性が異なる光源を表しており、「I」のＤ７５は約７５００Ｋ（ケルビン）の日中における曇り空の場合や日陰を、「II」のＤ６５は約６５００Ｋ（ケルビン）の、「III」のＤ５０は約５０００Ｋ（ケルビン）の太陽光に照らされた被写体の色温度を表している。また、「IV」の蛍光灯１、「V」の蛍光灯２は、それぞれ色温度はほぼ同じだが、スペクトルが異なってシェーディング特性が異なる蛍光灯を示しており、「VI」の白熱灯は約３０００Ｋ、「VII」の夕焼けは約２０００Ｋを表している。また、それぞれの黒点を中心とした円は、それぞれの光源と認定できる赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の閾値の範囲を示している。

このようにして、シェーディング補正用データテーブル、各光源の色成分情報を用意し、被写体像の画像データにおける色成分情報から被写体を照明している撮影光源の種類を特定し、それによって特定した光源に対応するシェーディング補正用データテーブルに記憶された補正用係数を用い、画像データのシェーディングを補正するわけであるが、次に図１のブロック図と図２に示した本発明になる画像データ処理方法のフロー図とを用い、本発明をさらに詳細に説明する。

図２のフロー図におけるステップＳ１０で画像取得の指示が来ると、イメージセンサ１４を構成する撮像素子１５によってレンズ１０で結像された被写体像が撮像され、画像データがＣＤＳ回路１６に送られる。するとＣＤＳ回路１６は、この画像データから撮像素子１５におけるアンプ雑音とリセット雑音を除去し、処理後の信号はＡＧＣ回路１７に送られて増幅率のコントロールが行われた後、アナログ信号がＡＤ変換回路１８によってデジタル信号に変換され、ＤＳＰ２０に送られる。

ＤＳＰ２０では、センサインターフェイス２１がこのイメージセンサ１４からの画像データを受けとり、信号処理部２２が送られてきた画像データを表示や記録が行なえる形に処理する。そして処理後の画像データは、色成分情報収集部２５、シェーディング補正回路２３に送られる。

色成分情報収集部２５は、図２のステップＳ１１でこの送られてきた画像データにより、撮像素子１５の周辺を除く部分のＲＧＢ情報を取得し、ステップＳ１２でこの取得したＲＧＢ情報を演算部２６に送って画像データにおける、赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値を算出する。そしてその値がシェーディング補正回路２３に送られ、このシェーディング補正回路２３で、前記図３のグラフに示したI〜VIIのどの光源に最も近いかが探される。

なお、この計算において撮像素子周辺の色成分情報を除くのは、前記と同様、周辺では色シェーディングの影響を強く受け、正確なＲＧＢ情報とならない、即ち光源を正確に推定できない可能性があるからで、また、緑（Ｇ）はベイヤー配列におけるＧｒとＧｂを平均したものを用いる。

そしてステップＳ１３で、このステップＳ１２における探索の結果、算出した赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値が、図３に示した各光源の範囲（閾値）を示す円のいずれかに含まれるか否か、すなわち、算出結果が示す位置が、何れかの光源の閾値以内であるか否か、が判断され、いずれの円内にも入らない場合（すなわち、いずれの光源にも対応していない）は処理がステップＳ１４に進み、いずれかの光源の円内に入った場合は処理がステップＳ１５に進む。

ここで、図３に示したいずれの光源の円内にも入らない、ということは、例えば被写体の色が殆ど赤だけの単色だけであったり、非常に暗い被写体などの場合であり、この場合は撮影した画像における光源を示す色成分情報の信頼性が低く、被写体がどのような光源で照明されているかを判断することは困難である、として、ステップＳ１４で、シェーディング補正に使うテーブルを、図３に「III：Ｄ５０」として示した約５０００Ｋ（ケルビン）の昼間の太陽光に対応したシェーディング補正用データテーブルを設定する。

これは、図３に「III：Ｄ５０」として示した約５０００Ｋ（ケルビン）の昼間の太陽光が、晴天の太陽光に近い色温度であり、且つ、図３に示した各光源の色成分情報の中心部に近いため、大きく色シェーディングが外れてしまう可能性が低いためであり、これは、被写体の色成分情報に応じて変更するようにしても良い。

一方、ステップＳ１３で算出した赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値が、図３に示した各光源の範囲（閾値）を示す円のいずれかに含まれ、処理がステップＳ１５に進んだ場合、このステップＳ１５で算出結果が示す値（位置）が、複数の光源の閾値に含まれた位置か否かが判断される。

これは、例えば「III：Ｄ５０」の太陽光に照らされていると共に、「IV：蛍光灯１」、「V：蛍光灯２」でも照らされていたり、または太陽光に照らされているだけであるが、被写体の色が、「IV：蛍光灯１」、「V：蛍光灯２」の色成分情報の方に偏っているため、算出した赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値が、図３のグラフ上に☆マークを付けた位置に位置するような場合があるからである。

そしてこのステップＳ１５で、算出結果を閾値以内に含む光源が例えば「III：Ｄ５０」で示した太陽光の単数であると判断された場合、処理がステップＳ１７に進み、図１のシェーディング補正回路２３により、この「III：Ｄ５０」に対応した図４に示したようなシェーディング補正用データテーブルが参照されて、シェーディング補正が行われる。

この補正は前記図５に示した画像データ上の定点においては、シェーディング補正用データテーブルに記憶されたシェーディング補正係数が読み出され、画像データに直接乗じられて算出される。また定点と定点の間の画像データでは、その画像データ周囲の定点からの距離に応じ、補間した補正係数を演算部２６で算出して乗じることで行われる。

一方、ステップＳ１５で閾値以内の光源が複数あると判断された場合、処理がステップＳ１６に進む。このステップＳ１６では、ステップＳ１２で算出した図３の座標軸上の位置が、複数の閾値以内のそれぞれの光源の中心点とどの程度の距離離れているかを算出し、その値を用いて、複数の光源のそれぞれに対応した色シェーディング補正用データテーブルから、最適なシェーディング補正係数を算出して前記した画像データのそれぞれに乗じて補正を行う。

今例えば、ステップＳ１３で算出した赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）の値が、図３に☆マークを付けたように、「III：Ｄ５０」で示した太陽光と、「IV：蛍光灯１」、「V：蛍光灯２」のいずれをも含む距離にあるとする。この場合、図３のグラフの下に☆マーク周辺を拡大して示したように、☆マークの位置が、「III：Ｄ５０」で示した太陽光の位置からは図３のグラフ上においてａの距離、「IV：蛍光灯１」で示した蛍光灯１の位置からは同じくｂの距離、「V：蛍光灯２」で示した蛍光灯２の位置からは同じくｃの距離である場合、各定点のシェーディング補正係数を、これらの距離に応じた値となるよう、下記（５）〜（８）式で計算する。

Ｒ１１ ＝（［III］Ｒ１１×１／ａ＋［IV］Ｒ１１×１／ｂ＋
［V］Ｒ１１×１／ｃ）／（１／ａ＋１／ｂ＋１／ｃ）……（５）
Ｇｒ１１＝（［III］Ｇｒ１１×１／ａ＋［IV］Ｇｒ１１×１／ｂ＋
［V］Ｇｒ１１×１／ｃ）／（１／ａ＋１／ｂ＋１／ｃ）…（６）
Ｂ１１ ＝（［III］Ｂ１１×１／ａ＋［IV］Ｂ１１×１／ｂ＋
［V］Ｂ１１×１／ｃ）／（１／ａ＋１／ｂ＋１／ｃ）……（７）
Ｇｂ１１＝（［III］Ｇｂ１１×１／ａ＋［IV］Ｇｂ１１×１／ｂ＋
［V］Ｇｂ１１×１／ｃ）／（１／ａ＋１／ｂ＋１／ｃ）…（８）

なお、定点と定点の間の画像データでは、その画像データの定点からの距離に応じ、補間した補正係数を演算部２６で算出して乗じることは前記と同様である。

このようにして、被写体がどのような光源の照明下にあるかを考慮してシェーディングの補正を行うことにより、光源のスペクトルに起因して同じ色温度であっても色シェーディング特性が異なる場合や、複数の色温度が異なる光源によって被写体が照明されている場合など、複雑な照明状態における色シェーディングを正確に補正することができる画像データ処理方法と該方法を用いた撮像装置を提供することができる。

本発明を用いることで、どのような照明状態においてもシェーディングを適切に補正して、常にきれいな画像データを提供することができる撮像装置を提供することができる。

本発明になる画像データ処理方法を実施する撮像装置のブロック図である。 本発明になる画像データ処理方法のフロー図である。 撮像画像のうち周辺部を除く部分のＲＧＢ情報の平均を取って赤（Ｒｅｄ）／緑（Ｇｒｅｅｎ）と青（Ｂｌｕｅ）／緑（Ｇｒｅｅｎ）を算出し、プロットしたグラフである。 本発明になる画像データ処理方法に用いる色温度毎のシェーディング補正用データテーブルの例である。 本発明になる画像データ処理方法を実施するため、画像上の補正係数を持たせる定点を示した図である。 一般的なカメラに用いられるレンズにおけるシェーディングの一例である。 撮像素子へ入射する光の角度により受光できる光量が影響される状態を説明するための図で、（Ａ）は撮像素子の受光面に対して光が垂直に入射する場合、（Ｂ）は入射光が垂直から傾いた状態では受光量が少なくなることを示した図である。 撮像素子によりカラー画像を撮影できるようにするために用いられる、ベイヤ配列と呼ばれるモザイク状のカラーフィルタの例を示した図である。 波長によって撮像素子内部への光の到達距離が異なることを説明するための図である。 マイクロレンズを備えたフォトダイオードにおける光の波長によってシェーディング特性が変化することを説明するための図である。

符号の説明

１０ レンズ
１２ 絞り
１３ ＩＲカットフィルタ
１４ イメージセンサ
１５ 撮像素子
１６ ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路
１７ ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路
１８ ＡＤ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路
２０ ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）
２１ センサインターフェイス
２２ 信号処理部
２３ シェーディング補正回路
２４ 出力インターフェイス回路
２５ 色成分情報収集部
２６ 演算部
２７ シェーディング補正用データテーブル（Ｄ６５）
２８ シェーディング補正用データテーブル（蛍光灯１）
２９ シェーディング補正用データテーブル（白熱灯）
３０ 画像表示部・画像記録部

Claims (14)

1. 撮像光学系によって結像された被写体像を光電変換した画像データにおけるシェーディングを補正する画像データ処理方法であって、
   各種光源毎に該光源の色成分情報と該光源に合わせたシェーディングの補正用データとを予め用意しておき、
   前記画像データにおける色成分情報から撮影光源の種類を特定し、
   前記撮影光源の種類に対応した１または複数の前記シェーディング補正用データを用いて前記画像データのシェーディングを補正することを特徴とする画像データ処理方法。
2. 前記各種光源毎の色成分情報は、各光源の色温度とスペクトルとに対応した値であることを特徴とする請求項１に記載した画像データ処理方法。
3. 前記算出する光源毎の色成分情報は、前記シェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれの色成分情報値を加算して求めた平均値により算出することを特徴とする請求項１または２に記載した画像データ処理方法。
4. 前記算出する光源毎の色成分情報は、前記求めた赤（Ｒ）と緑（Ｇ）の平均値の比と、青（Ｂ）と緑（Ｇ）の平均値の比とから定めることを特徴とする請求項３に記載した画像データ処理方法。
5. 前記算出する光源毎の色成分情報は、前記求めた赤（Ｒ）と緑（Ｇ）の平均値の比と、青（Ｂ）と緑（Ｇ）の平均値の比とに、それぞれその光源に対応した閾値を加えた値とすることを特徴とする請求項４に記載した画像データ処理方法。
6. 前記光源毎の色成分情報を算出するための緑（Ｇ）の色成分情報値は、ベイヤ配列における赤（Ｒ）列の緑（Ｇｒ）と青（Ｂ）列の緑（Ｇｂ）の色成分情報値を用いることを特徴とする請求項１乃至５のいずれかに記載した画像データ処理方法。
7. 前記色成分情報は、前記光電変換手段における撮像画像周辺部を除いた色成分情報であることを特徴とする請求項１乃至６のいずれかに記載した画像データ処理方法。
8. 前記被写体像の画像データにおける色成分情報から特定した光源が複数ある場合、該複数の光源それぞれの関与度合いを加味しながら前記シェーディングの補正用係数を算出して前記画像データのシェーディングを補正することを特徴とする請求項１乃至７のいずれかに記載した画像データ処理方法。
9. 前記被写体像の画像データにおける色成分情報から光源が特定できない場合、標準の光源に対応した前記シェーディングの補正用係数を用いて前記画像データのシェーディングを補正することを特徴とする請求項１乃至８のいずれかに記載した画像データ処理方法。
10. 前記シェーディングの補正用係数は、前記シェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける、中心部の色成分情報値と前記シェーディングの補正用係数を算出する位置における色成分情報値との比として算出することを特徴とする請求項１乃至９のいずれかに記載した画像データ処理方法。
11. 撮像光学系と、
    該撮像光学系によって結像された被写体像を電気信号に変換する光電変換手段と、
    該光電変換手段によって得られた画像データに対して演算処理を施す演算手段と、
    予めシェーディング補正データ作成用被写体を各種光源によって照明し、撮像した画像データにおける色成分情報から算出した、前記光源毎の色成分情報とシェーディングの補正用係数とを格納した記憶手段と、
    を備え、
    前記被写体像の画像データにおける色成分情報を用いて前記演算手段で算出した色成分情報から被写体を照明している撮影光源の種類を特定し、該特定した光源の前記シェーディング補正用係数を前記記憶手段から読み出し、前記被写体像の画像データのシェーディングを補正するシェーディング補正回路を有することを特徴とする撮像装置。
12. 前記記憶手段は、色温度とスペクトルが異なる光源の色成分情報とシェーディングの補正用係数とを記憶していることを特徴とする請求項１１に記載した撮像装置。
13. 前記記憶手段が記憶している色成分情報とシェーディングの補正用係数とは、太陽光を含む複数の光源のそれぞれに対して用意されていることを特徴とする請求項１１または１２に記載した撮像装置。
14. 前記シェーディング補正回路は、前記被写体像の画像データの色成分情報が複数の光源に対応した状態で、前記複数の光源のそれぞれのシェーディングの補正用係数を、各光源の関与度合いを加味しながら前記演算回路に算出させることを特徴とする請求項１１乃至１３のいずれかに記載した撮像装置。

Images