JP2008252397A - 撮像データの処理方法及び撮像装置 - Google Patents

Abstract

【課題】カラー撮像素子とカラーフィルタアレイとを使用した撮像装置において、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することにある。
【解決手段】光電変換素子からの撮像データにおける補正対象画素とその周囲の画素をパターン判定用画素とし、このパターン判定用画素のそれぞれにおける輝度データを用いてパターン判定用画素に存在する画像パターンを判定して、該画像パターンにおける補正対象画素の位置と補正対象画素周囲の画素における輝度データにより、光電変換素子間に発生するクロストークを補正するようにした。
【選択図】図１

Description

本発明は撮像データの処理方法及び撮像装置に係り、特に、相補型金属酸化物半導体イメージセンサからなる撮像素子と、原色ベイヤー配列などのカラーフィルタとを用いた場合に生じる、混色による縦、横の縞模様（ラインクロール）の発生を押さえることができるようにした、撮像データの処理方法及び撮像装置に関するものである。

デジタルカメラなどに用いられる撮像素子（光電変換手段）としては、電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：以下、ＣＣＤと略称する）イメージセンサ、および相補型金属酸化物半導体（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｅｒ：以下、ＣＭＯＳと略称する）イメージセンサが主に使用されている。

このうち、ＣＣＤイメージセンサは図８の構造概略断面図に示したように、入射する光８５をフォトダイオード８４に結像させるためのマイクロレンズ８０、所定の色の光だけを通過させるためのカラーフィルタ８１、転送路を遮光するための遮光膜８２、入射した光量に対応して生じた電荷を転送するための垂直ＣＣＤ転送電極８３等で構成されている。一方、ＣＭＯＳイメージセンサは図９の構造概略断面図に示したように、フォトダイオード９２、９３のそれぞれに入射する光を分離するための遮光アルミ層９０、配線アルミ層９１などで構成されている。

こういったＣＣＤやＣＭＯＳを用いたイメージセンサは、カラー画像を撮影できるようにするため、一例を図１０（Ａ）に示したようなベイヤ配列と呼ばれるモザイク状のカラーフィルタ８１（図８参照）を用い、入射した光を各画素単位でＲ（赤）、Ｇ（緑）、Ｂ（青）に振り分けて色毎に分離した撮像データを得るようにしている。なお、ベイヤ配列は、図１０（Ａ）に示した３種類の色別だけでなく、図１０（Ｂ）に示したように、更に細分化してＲ（赤）画素の列にあるＧｒ画素、、Ｂ（青）画素の列にあるＧｂ画素というように、同じＧ（緑）でも並びの違いで区分けして処理する場合もある。

しかしながら、こういったＣＣＤやＣＭＯＳを用いたイメージセンサを構成するフォトダイオード８４、９２は、図１１に模式的に示したように、入射する光の波長によって内部への光の到達距離が異なるという特性があり、そのため色によって同じ光量が入射しても、光の入射角度が垂直から大きく傾く周辺部では、中心部に比較して光量が少なくなったり混色が生じるという問題がある。

すなわちこの図１１に於いて、７０は撮像素子の１画素に相当するフォトダイオード部、７１は遮光部、７２の実線は赤（Ｒ）色の光のフォトダイオード部７０への入射光束、７３の点線は緑（Ｇ）色の光のフォトダイオード部７０への入射光束、７４の破線は青（Ｂ）色の光のフォトダイオード部７０への入射光束を示しており、表における上段はフォトダイオード部７０に垂直に入射する光束を、下段は周辺部でフォトダイオード７０への光の入射角度が垂直から大きく傾いた場合のそれぞれの色の光束を表している。

このうち、青（Ｂ）色７４と緑（Ｇ）色７３のように、赤（Ｒ）色７２に対して波長が短い光は、フォトダイオード７０における深部まで侵入することがないため、表の下段に示したように例え光の入射角度が垂直から大きく傾いても光量に大きな変化は生じない。それに対して赤（Ｒ）色７２の波長の長い光は、フォトダイオード７０における深部まで侵入するため、光の入射角度が垂直から大きく傾くと、表の下段の右端の「赤色・赤外の場合」に７５で示したように、光束の一部がフォトダイオード７０の側壁を通過してしまって光量に寄与しない光が生じる。従って、本来あるべき光量よりＲ成分の光を少なめに検知してしまうこととなり、垂直に入射した場合を示した上段とは光量が異なってしまう。

また、図８に示したＣＣＤイメージセンサは、Ｎ型基板をオーバーフロードレインとするフォトダイオード８４の電気特性が、隣接するフォトダイオード８４からの電荷の漏れ込みをよく抑えていることと、遮光アルミ薄膜８２の遮光構造が各画素に入る光をよく分離していること、さらにＣＣＤの電荷転送の動作が回路的な結合をもたないことなどから、隣接するフォトダイオードからの電荷の漏れ込みをよく抑え、混色（クロストーク）はほとんど問題にはならない。

それに対し、ＣＭＯＳイメージセンサは図９に示したように、画素構造や回路的な結合から混色の問題が発生しやすい。つまりフォトダイオード９２、９３に対して垂直に入射する光は問題とならないが、９５のように斜めに入射する光線は、隣接するフォトダイオード９２、９３の間に設けられた配線アルミ層９１、遮光アルミ層９０などで乱反射され、本来フォトダイオード９３に対する光量となるべき光が、隣のフォトダイオード９２への入射光となってしまう場合がある。また、フォトダイオード９２、９３の間に絶縁層がなく、また前記したように、赤（Ｒ）色７２の波長の長い光はフォトダイオード７０における深部まで侵入するため、その深部で発生した９４で示した電子が隣のフォトダイオード９３に移動し、フォトダイオード９３の光量として検出されてしまう場合もある。

現在、例えば携帯電話に搭載するカメラモジュール等では小型化が要請されており、それに伴って使用されるレンズも短焦点となっているが、この場合、イメージセンサ周辺部への入射光は必然的に入射角度が大きくなり、それによって以上説明してきた縞模様（ラインクロール）の発生が顕著となっている。

こういったことに対処するため例えば特許文献１には、撮像素子における感光特性のほぼ等しい受光ピクセル毎に区分化（分類化）し、区分化された受光ピクセル同士の信号の加算平均値の比をラインクロール補正係数ＬＣとして、撮像データから得られる輝度データにこのラインクロール補正係数ＬＣを乗じ、受光ピクセルの感光特性が均一な場合に得られるのと実質的に等価な輝度データＶを形成して出力するようにした、撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置が示されている。

また特許文献２には、Ｒ画素とＧ画素が水平方向に交互に配列されたＲＧライン（ＲＧラインのＧ画素をＧｒ画素と称する）と、Ｇ画素とＢ画素が水平方向に交互に配列されたＧＢライン（ＧＢラインのＧ画素をＧｂ画素と称する）とからなる２次元配列の構造を有し、デジタル信号処理回路でカラー撮像素子の全Ｇｒ画素データ、および全Ｇｂ画素データを夫々積算したＧｒ積算値およびＧｂ積算値を算出した後、Ｇｒ積算値とＧｂ積算値との差分値を算出し、Ｇｒ画素とＧｂ画素のうち、積算値が小さい方の全画素データに対して差分値を加算し、または、積算値が大きい方の全画素データに対して差分値を減算して、ラインクロールの影響を軽減して高画質な画像を得ることが可能な撮像装置が示されている。

特開平９−２３８３５５号公報 特開２００２−２３８０５７号公報

一般的にＧｒとＧｂの画素における混色による信号レベル差は、受光エリアの位置や被写体輝度、被写体色によって変動する。しかしながら、特許文献１に示された撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置では、撮像素子における受光ピクセルを感光特性のほぼ等しい毎に区分化（分類化）してはいるものの、区分化された受光ピクセル同士の信号の加算平均値の比をラインクロール補正係数ＬＣとし、それを画面全体一律に乗算する方法をとっているが、この方法では、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することはむずかしい。

また特許文献２に示された撮像装置では、カラー撮像素子の全Ｇｒ画素データ、および全Ｇｂ画素データを夫々積算したＧｒ積算値およびＧｂ積算値を算出した後、Ｇｒ積算値とＧｂ積算値との差分値を算出し、Ｇｒ画素とＧｂ画素のうち、積算値が小さい方の全画素データに対して差分値を加算し、または、積算値が大きい方の全画素データに対して差分値を減算しているが、この方法も前記特許文献１の場合と同様、カラー撮像素子の全Ｇｒ画素データ、および全Ｇｂ画素データを夫々積算したＧｒ積算値およびＧｂ積算値を元に実施しているため、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することはむずかしい。

また、こういった特許文献１や特許文献２に示された方法以外にも、ローパスフィルタ等の平滑化処理によってラインクロールを低減するなどのことが可能であるが、この場合は画像の鮮鋭感を大きく損なうことになる。

そのため本発明においては、カラー撮像素子を使用した撮像装置において、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することにある。

上記課題を解決するため本発明における撮像データの処理方法は、
光電変換素子が２次元に配列され、該配列に対応してカラーフィルタアレイが設けられた撮像センサからの撮像データにおける補正対象画素とその周囲の画素の輝度データを用いて画像パターンを判定し、
該判定結果に基づき、前記光電変換素子間に発生するクロストークを補正することを特徴とする。

また、この撮像データの処理方法を実施する撮像装置は、
光電変換素子を２次元に配列した撮像素子と、
前記光電変換素子の配列に対応して設けられたカラーフィルタアレイとを備えた撮像手段と、
該撮像手段における前記光電変換素子からの撮像データを記憶する記憶手段と、
該記憶手段に記憶された補正対象画素とその周囲に位置する画素とをパターン判定用画素群とし、該パターン判定用画素群のそれぞれの画素における輝度データから前記パターン判定用画素群に存在する画像パターンを判定するパターン判定部と、
該パターン判定部の判定結果に基づき、前記補正対象画素の輝度値を補正する補正部とからなり、
前記撮像手段における光電変換素子間に発生するクロストークを前記補正部で補正して出力することを特徴とする。

このように、撮像データにおける補正対象画素とその周囲の画素で構成した、パターン判定用画素のそれぞれにおける輝度データで画像パターンを判定し、それによってクロストークを補正することで、従来技術のように画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。

そして、前記画像パターンの判定を、前記補正対象画素とその周囲の画素それぞれにおける輝度データの分布状態からおこない、さらにそれを実施するため、前記パターン判定部は、前記パターン判定用画素群を構成するそれぞれの画素における輝度データの分布状態から、前記画像パターンを判定しておこなうことで、補正対象画素の位置する場所に対応した補正ができるから、従来技術のように画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。

また、前記画像パターンの判定を、前記補正対象画素とその周囲における異色と同色の画素でパターン判定用画素群を構成しておこない、そして、前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とを用い、また、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによって、補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながらおこなうことで、さらに正確に、効果的にラインクロールの影響を軽減して高画質な画像を得ることが可能となる。

また、前記画像パターンは、少なくとも、略直線（Ｓｔｒｉｐｅ）及び若しくは略角部（Ｃｏｒｎｅｒ）とを含むエッジ部と、該エッジ部を含まないフラット（Ｆｌａｔ）部とであり、さらに、前記補正対象画素の輝度値の補正を、前記画像パターンに対する前記補正対象画素の位置と、前記補正対象画素周囲の画素における輝度データを用いておこない、そして、前記補正対象画素の輝度値の補正を、前記補正対象画素が前記エッジ部の明領域、または暗領域のいずれに属するかを判定して行うことで、より正確に、効果的にラインクロールの影響を軽減して高画質な画像を得ることが可能となる。

そして、前記クロストークの補正を、前記補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながら行うことで、元の画像の明暗を大きく崩すことなく正確に、効果的にラインクロールの影響を軽減することができる。

また、前記クロストークの補正を、前記撮像センサにおける光軸からの距離に応じて実施することで、クロストークは焦点距離の短いレンズでは多く、また、中心部より周辺部の方が多いから、そういった場合もクロストークの多さに対応させた処理が可能となり、処理時間を短くすることもできる。

本発明によれば、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。

以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成要素の相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。

図１は本発明になる撮像データの処理方法を実施する撮像装置のブロック図である。図中１０は撮像部であり、被写体は絞り１２を有した撮影レンズ１１で撮像されて、その被写体像を光電変換する例えばＣＭＯＳ等で構成される撮像素子１３で画像信号とされる。そして、ＣＤＳ回路１４で画像信号のノイズ成分が除去され、出力信号を増幅するゲインアンプ１５で増幅された後、Ａ／Ｄ変換回路（コンバータ）１６でそのアナログ画像信号がデジタル画像信号に変換されて、ＲＡＷ信号としてラインクロール補正部１７に送られる。

ラインクロール補正部１７は、パターン判定部と補正処理部とを有し、撮像部１０から送られてくるＲＡＷデータに対してラインクロールの補正を実施する。１８はこのラインクロールの補正を実施するために撮像データを記憶する画像メモリで、これは１フレーム分を記憶するものでも、後記する本発明になる撮像データの処理方法により、例えば５×５の画素を参照する場合は５ライン分のラインメモリでも良い。１９はメモリの制御回路、２０はメモリバス、２１はカラーインターポーレーション、カラー調整、ガンマ補正、輝度信号生成等の演算を行う信号処理部であり、ラインクロール補正部１７でラインクロールが補正されてこの信号処理部２１で処理された画像信号は、撮像データを記憶する画像記録部２２に記録されるが、この画像記録部２２は、例えばデジタルカメラなどでは外部メモリであってもよい。

図２は、本発明になる撮像データの処理方法のフロー図であるが、このフロー図による説明をする前に、本発明の概略を説明する。本発明になる撮像装置においては、前記したようにラインクロール補正部１７により、撮像部１０から送られてくるＲＡＷデータに対してラインクロールの補正を実施する。この補正は、例えば図７に示したように、ラインクロールを発生させる主原因であるＧｒ画素（Ｇｂ画素でも同様）を対象に、画素毎に周囲の画素の輝度情報を参照して、対象画素が画像群の中でエッジパターンの一部となっているか否かを判定し、判定されたパターン毎に、対象となる画素の輝度の補正をどの画素を参照して行うかを決めて行うものである。

なお、以下の説明では、本発明を図１０（Ｂ）に示したような原色ベイヤー配列のカラーフィルタを用いた場合を例に説明するが、本発明は、他の配列のカラーフィルタにおいても応用できることは当業者なら自明である。

いま、例えば図７における補正対象画素ＧｒをＴとし、その補正対象画素Ｔの周囲のＧｒ画素（図７ではＧｒ０、Ｇｒ１、Ｇｒ２、Ｇｒ３で、Ｇｂ画素が補正対象の場合は周囲のＧｂ画素となる）をＡ０、Ａ１、Ａ２、Ａ３として同色画素と称し、補正対象画素Ｔの周囲のＧｂ画素（図７ではＧｂ０、Ｇｂ１、Ｇｂ２、Ｇｂ３で、Ｇｂ画素が補正対象の場合は周囲のＧｒ画素となる）をＢ０、Ｂ１、Ｂ２、Ｂ３として異色の画素と称して、これらをパターン判定用画素グループとして補正対象画素Ｔ（Ｇｒ画素）を補正するためのデータを得る。そのため、これらＡ０〜Ａ３（同色画素）、及びＢ０〜Ｂ３（異色画素）からなる画素グループのそれぞれにおける、輝度の最大値と最小値、及び異色画素Ｂ０〜Ｂ３の画素の輝度の平均値をそれぞれ次のように置く。なお、この図７では補正対象画素ＴをＧｒ画素としたが、Ｇｂ画素も全く同様にして処理を行う。

Ａ０〜Ａ３の最大値 ： ＡＭａｘ
Ａ０〜Ａ３の最小値 ： ＡＭｉｎ
Ｂ０〜Ｂ３の最大値 ： ＢＭａｘ
Ｂ０〜Ｂ３の最小値 ： ＢＭｉｎ
Ｂ０〜Ｂ３の平均値 ： ＢＡｖｅ

次に、求めたＡ０〜Ａ３（同色画素）、及びＢ０〜Ｂ３（異色画素）の画素の輝度の最大値と最小値、及びＢ０〜Ｂ３（異色画素）の画素の輝度の平均値から、これらの画素グループの中に図３〜図６に実線で示したように、略直線（Ｓｔｒｉｐｅ）、略角部（Ｃｏｒｎｅｒ）からなるエッジ部が有るか否かを判断し、どちらもない場合はエッジ部が存在しないフラット（Ｆｌａｔ）部として補正対象画素Ｔの輝度の重みを大きく、周辺画素の輝度の重みを小さくして補正し、存在すると判定された場合はそのエッジ部の存在を加味して補正対象画素Ｔの補正を行うものである。

なお、ラインクロールは、焦点距離の短いレンズにおける周辺部で多く、光軸近傍、すなわちイメージセンサにおける中心部分付近では少なくなるから、補正を光学系を含めたシステムの特性に合わせ、例えば光束がほぼ垂直にフォトダイオードに入射する、撮像部１０の撮影レンズ１１における光軸近傍では実施しないようにして、処理の負荷軽減を図るようにしてもよい。

前記した、図３〜図６に実線で示した略直線（Ｓｔｒｉｐｅ）、略角部（Ｃｏｒｎｅｒ）からなるエッジ部が有るか否かの判断は、次のようにして行う。まず、前記したＡ０〜Ａ３、及びＢ０〜Ｂ３の画素の輝度の最大値と最小値、及びＢ０〜Ｂ３の画素の輝度の平均値から、これら９つの画素の中に、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによってエッジ部の有無を判定する。

例えば図３、図４に示したように、Ａ０〜Ａ３の画素の輝度が、Ａ０とＡ３のグループとＡ１とＡ２のグループのように２：２に別れ、かつ、Ｂ０〜Ｂ３の画素の輝度が、Ｂ０とＢ１のグループとＢ２とＢ３のグループに別れたり（図３（Ａ）、（Ｂ）の場合）、Ｂ０とＢ３のグループとＢ１とＢ２のグループのように２：２に別れた（図３（Ｃ）、（Ｄ）の場合）場合、この図３に実線で示したような略角部（Ｃｏｒｎｅｒ）からなるエッジ部が存在するとして、補正対象画素Ｔがエッジ部のどちら（明領域か暗領域か）に存在するかで補正量を決定する。

また、図４に示したように、Ａ０〜Ａ３の画素の輝度がＡ０とＡ３のグループとＡ１とＡ２のグループのように２：２に別れてはいるが、Ｂ０〜Ｂ３の画素の輝度が、Ｂ０、Ｂ１、Ｂ２のグループとＢ３のように３：１に別れた場合は、この図４に実線で示したような略直線（Ｓｔｒｉｐｅ）からなるエッジ部（Ａ）と、略角部（Ｃｏｒｎｅｒ）からなるエッジ部（Ｂ）が存在するとして、補正対象画素ＴがＢ０、Ｂ１、Ｂ２のグループとＢ３のグループのどちらに存在するかでエッジ部パターンが決まるので、それに応じて補正量を決定する。

さらに図５、図６に示したように、Ａ０〜Ａ３の画素の輝度が、Ａ０、Ａ１、Ａ２のグループとＡ３のように３：１に別れ、かつ、Ｂ０〜Ｂ３の画素の輝度が、Ｂ０とＢ１のグループとＢ２とＢ３のグループのように２：２に別れたり（図５の場合）、Ｂ０、Ｂ１、Ｂ２のグループとＢ３、あるいは、Ｂ０、Ｂ１、Ｂ３のグループとＢ２のように３：１に別れた（図６の場合）場合、この図５（Ａ）に実線で示したような略直線（Ｓｔｒｉｐｅ）からなるエッジ部と、図５（Ｂ）、図６に実線で示したような略角部（Ｃｏｒｎｅｒ）からなるエッジ部が存在するとして、補正対象画素Ｔがエッジ部のどちらに存在するかで補正量を決定する。

このように、補正対象画素Ｔと異色（Ｇｂ）の画素Ｂ０、Ｂ１、Ｂ２、Ｂ３、さらにその外側の同色（Ｇｒ）の画素をＡ０、Ａ１、Ａ２、Ａ３とからなる画素グループに、エッジ部が存在するか否かによって補正対象画素Ｔの補正量を決め、さらに、補正対象画素がエッジ部における明かるい方の領域（明瞭域）、または暗い方の領域（暗領域）のいずれに属するかを判定してこの補正を行うことで、画像の鮮鋭感を大きく損なうことなく、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することができる撮像データの処理方法及び撮像装置を提供することができる。

以上が本発明になる撮像データの処理方法の概略であるが、次に図２のフロー図を用い、本発明を詳細に説明する。

前記したように、図１に示した撮像部１０を構成する撮影レンズ１１で撮像された被写体像は、例えばＣＭＯＳ等で構成される撮像素子１３で画像信号とされ、ＣＤＳ回路１４で画像信号のノイズ成分が除去されて、出力信号を増幅するゲインアンプ１５で増幅された後、Ａ／Ｄ変換回路（コンバータ）１６でそのアナログ画像信号がデジタル画像信号に変換されて、ＲＡＷ信号としてラインクロール補正部１７に送られる。

ラインクロール補正部１７は、この撮像部１０から送られてくるＲＡＷデータを画像メモリ１８に記憶し、前記図７に示したような補正対象の画素Ｇｒ、Ｇｂにおける周囲の画素を読み出し、パターン判定部で前記図３〜図６に実線で示したようなエッジ部が存在するか否かを判定し、それによって補正処理部が補正対象画素Ｔの輝度データを補正する。そして補正結果が信号処理部２１に送られて、カラーインターポーレーション、カラー調整、ガンマ補正、輝度信号生成等の演算が行われ、撮像データを記憶する画像記録部２２に記録される。なお、前記したように、画像メモリ１８は、１フレーム分を記憶するものでも図７に示した５ライン分のデータを記憶するラインメモリでも良い。

ラインクロール補正部１７では、まずステップＳ１０で前記したように、例えば光束がほぼ垂直にフォトダイオードに入射するイメージセンサーにおける中心近傍など、光軸からの距離に応じて光学系を含めたシステムの特性を加味し、ラインクロールが発生する可能性が多い領域か少ない領域かの判断がなされる。そしてラインクロールが発生する可能性が少ない領域では、ステップＳ２８に行って処理を終了し、ラインクロールが発生する可能性がある領域の画素である場合はステップＳ１１に進むが、この判断を省き、全ての画素について以下に述べる処理を実施するようにしても良いことは勿論である。

ステップＳ１１では、ＡＭｉｎ（Ａ０〜Ａ３の最小値）がＢＭａｘ（Ｂ０〜Ｂ３の最大値）より大きいか（ＡＭｉｎ＞ＢＭａｘ）、ＡＭａｘ（Ａ０〜Ａ３の最大値）がＢＭｉｎ（Ｂ０〜Ｂ３の最小値）より小さいか（ＡＭａｘ＜ＢＭin）が判定される。これは、この条件を満たす場合、ラインクロールの発生によって同色画素と異色画素の種類の違いで明らかな輝度差が表れ、かつ、この部分にエッジ部が存在しないことを示しているから（Ｆｌａｔ）、ステップＳ１９に行って下記式（１）により補正対象画素Ｔの補正後の輝度Ｔ’が計算される。

Ｔ’＝Ｔ×１／２＋Ｂ０×１／８＋Ｂ１×１／８＋Ｂ２×１／８＋Ｂ３×１／８
…………………（１）

この式（１）では、前記したように補正対象画素Ｔの輝度の重みを大きく、周辺画素の輝度の重みを小さくして補正するもので、補正対象画素Ｔの輝度の１／２にＢ０〜Ｂ３の輝度値のそれぞれ１／８を加えて補正後の輝度値Ｔ’としている。

一方、ステップＳ１１で、ＡＭｉｎ（Ａ０〜Ａ３の最小値）がＢＭａｘ（Ｂ０〜Ｂ３の最大値）より大きくなく（ＡＭｉｎ≦ＢＭａｘ）、かつ、ＡＭａｘ（Ａ０〜Ａ３の最大値）がＢＭｉｎ（Ｂ０〜Ｂ３の最小値）より小さくない（ＡＭａｘ≧ＢＭin）場合、処理がステップＳ１２に進み、今度はＡＭｉｎ（Ａ０〜Ａ３の最小値）が補正対象画素Ｔの輝度より大きい（ＡＭｉｎ＞Ｔ）か、ＡＭａｘ（Ａ０〜Ａ３の最大値）が補正対象画素Ｔの輝度より小さい（ＡＭａｘ＜Ｔ）かが判断され、何れかの条件が満足される場合は、Ａ０〜Ａ３の輝度値に対して補正対象画素Ｔの輝度値が一番小さいか大きい場合であり、エッジ部は存在しないと判断されて、ステップＳ１９で前記した式（１）による計算が行われる。

また、このステップＳ１２で、Ａ０〜Ａ３の輝度値に対して補正対象画素の輝度値Ｔが一番小さくなく、また一番大きくもなかった場合、補正対象画素Ｔの輝度値はＡ０〜Ａ３の輝度値の間にあることになるから処理がステップＳ１３に進み、補正対象画素Ｔの輝度値が、Ａ０〜Ａ３の輝度値に対して２対２に別れた間にあるか、３対１に別れた間にあるかが判断される。そして、２対２に別れた間にある場合はステップＳ１４に、３対１に別れた間にある場合はステップＳ２２に進む。

そしてステップＳ１４で、２対２に別れたＡ０〜Ａ３の画素が、どの画素とどの画素がグループになっているかが判断される。これは、Ａ０とＡ２、及びＡ１とＡ３が補正対象画素Ｔを挟んでグループとなっている場合、これらの画素は補正対象画素Ｔに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップＳ１９に進み、前記した式（１）による計算が行われる。

一方、ステップＳ１４で、２対２に別れたＡ０〜Ａ３の画素が対角位置にないと判断された場合は、図３、図４に示したように、Ａ０とＡ３、Ａ１〜Ａ２がグループとなるから、ステップＳ１５に進んでＢ０〜Ｂ３の平均値ＢＡｖｅがＢ０〜Ｂ３の間の何処に位置するか、すなわち平均値ＢＡｖｅがＢ０〜Ｂ３の輝度値に対して２対２に別れた間にあるか、３対１に別れた間にあるかが判断されて２対２に別れた間にある場合はステップＳ１６に、３対１に別れた間にある場合はステップＳ２０に進む。

そしてステップＳ１６で、２対２に別れたＢ０〜Ｂ３の画素が、どの画素とどの画素がグループになっているかが判断される。これは、Ｂ０とＢ２、及びＢ１とＢ３が補正対象画素Ｔを挟んでグループとなっている場合、これらの画素は補正対象画素Ｔに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップＳ１９に進み、前記した式（１）による計算が行われる。

一方、ステップＳ１６で、２対２に別れたＢ０〜Ｂ３の画素が対角位置にないと判断された場合はステップＳ１７に進み、２：２に分かれたＡ０〜Ａ３の画素と、２：２に分かれたＢ０〜Ｂ３の画素のそれぞれの値における、小さい（大きい）グループ同士が隣接しているか否かを判定する。これは、Ａ０〜Ａ３の画素とＢ０〜Ｂ３の画素における、値が小さいグループと大きいグループが隣接している場合、前記Ａ０とＡ２、及びＡ１とＡ３が補正対象画素Ｔを挟んでグループとなっている場合や、Ｂ０とＢ２、及びＢ１とＢ３が補正対象画素Ｔを挟んでグループとなっている場合と同様、このグループにエッジ部は存在せずにＦｌａｔであると考えられるから、処理はステップＳ１９に進み、前記した式（１）による計算が行われ、そうでない場合は処理がステップＳ１８進む。

このようにすることで、Ｂ０〜Ｂ３の画素における、２対２に別れたＢ０とＢ１、Ｂ２とＢ３とがそれぞれグループなら図３（Ａ）、（Ｂ）の場合であり、Ｂ０とＢ３、Ｂ１とＢ２とがそれぞれグループなら図３（Ｃ）、（Ｄ）の場合となり、略角部（Ｃｏｒｎｅｒ）からなるエッジ部（Ｂ）が存在することになる。

そして、ステップＳ１８では、Ｂ０〜Ｂ３の画素における２：２に分かれたグループのそれぞれの平均値のうち、補正対象画素Ｔの輝度値に近い方の値をＢａ２としたとき、このＢａ２がＢ０とＢ１からなるグループであれば図３（Ａ）の場合であり、Ｂ２とＢ３からなるグループであれば図３（Ｂ）の場合、Ｂ０とＢ３からなるグループであれば図３（Ｃ）の場合、Ｂ１とＢ２からなるグループであれば図３（Ｄ）の場合であるから、下記（２）式によって補正対象画素Ｔの補正後の輝度Ｔ’が計算される。

Ｔ’＝Ｔ×１／２＋Ｂａ２×１／２ ………………………………（２）

但しこの時、Ｂ０〜Ｂ３の画素における、２：２に分かれたグループのそれぞれの平均値の補正対象画素Ｔとの輝度値の差に、明かな相関がない場合はエッジ部の存在が疑わしくなるため、Ｂ０〜Ｂ３の画素における２：２に分かれたグループのそれぞれの平均値のうち、補正対象画素Ｔの輝度値に遠い方の値をＢａ１とし、撮像部１０の出力撮像データにおける全体の輝度の平均値Ｐで定まる閾値をＳ１としたとき、下記式（３）を満足しない場合は相関がないとして処理をステップＳ１９に進め、前記した式（１）による計算が行われる。なお、このＳ１の値は出力撮像データにおける全体の輝度の平均値Ｐが大きい場合は大きく、小さい場合はそれに比例して小さくなる値である。

｜Ｂａ１−Ｔ｜＞Ｓ１ ………………………………………………（３）

またこの時、Ｂａ１とＢａ２の差が、式（３）と同様、撮像部１０の出力撮像データにおける全体の輝度の平均値Ｐで定まる閾値をＳ２としたとき、下記式（４）を満足しない場合はエッジ部が存在するとは考えられないから、上記と同様処理はステップＳ１９に進み、前記した式（１）による計算が行われる。なお、このＳ２の値はＰが大きい場合は大きく、小さい場合はそれに比例して小さくなる値であり、Ｂａ１とＴとの差が大きく、且つ、それに較べてＢａ２とＴとの差が相対的に小さい状態である。

（｜Ｂａ１−Ｔ｜／｜Ｂａ２−Ｔ｜）＞Ｓ２ ……………………（４）

一方、ステップＳ１５で、Ｂ０〜Ｂ３の平均値ＢＡｖｅが３対１に別れた間にあると判断されてステップＳ２０に進んだ場合、このステップＳ２０で２：２に分かれたＡ０〜Ａ３と、３：１に分かれたＢ０〜Ｂ３のそれぞれの値が小さい（大きい）グループが隣接しているかを判定する。これは、前記したステップＳ１７の場合と同様、Ａ０〜Ａ３の画素とＢ０〜Ｂ３の画素における、値が小さいグループと大きいグループが隣接している場合、このグループにエッジ部は存在せずにＦｌａｔであると考えられるからであり、処理はステップＳ１９に進み、前記した式（１）による計算が行われ、そうでない場合は処理がステップＳ２１に進む。

処理がステップＳ２１に進んだ場合、これは図４に示したように、Ｂ０〜Ｂ３の画素における３：１に分かれたグループのそれぞれの平均値のうち、補正対象画素Ｔの輝度値に近い方の値をＢａ３（但し、１画素のグループではその値）としたとき、このＢａ３がＢ０、Ｂ１、Ｂ２からなるグループであれば図４（Ａ）の略直線（Ｓｔｒｉｐｅ）からなるエッジ部が存在する場合であり、Ｂ３に近ければ図４（Ｂ）の略角部（Ｃｏｒｎｅｒ）からなるエッジ部（Ｂ）が存在する場合であるから、下記（５）式によって補正対象画素Ｔの補正後の輝度Ｔ’が計算される。なお、前記式（３）、式（４）と同様、撮像部１０の出力撮像データにおける全体の輝度の平均値Ｐで定まる閾値をＳ１、Ｓ２としてＢａ３との相関、エッジ部が存在することの確認することは同じである。

Ｔ’＝Ｔ×１／２＋Ｂａ３×１／２ ………………………………（５）

一方、ステップＳ１３で補正対象画素Ｔの輝度値が、Ａ０〜Ａ３の輝度値に対して３対１に別れたと判断されてステップＳ２２に進んだ場合、前記ステップＳ１５の場合と同様、ＢＡｖｅがＢ０〜Ｂ３の輝度値に対して２対２に別れた間にあるか、３対１に別れた間にあるかが判断される。そして、２対２に別れた間にある場合はステップＳ２３に、３対１に別れた間にある場合はステップＳ２６に進む。

ステップＳ２３では、前記ステップＳ１６の場合と同様、２対２に別れたＢ０〜Ｂ３の画素が、どの画素とどの画素がグループになっているかが判断される。これは、Ｂ０とＢ２、及びＢ１とＢ３が補正対象画素Ｔを挟んでグループとなっている場合、これらの画素は補正対象画素Ｔに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップＳ１９に進み、前記した式（１）による計算が行われる。

一方、ステップＳ２３で、２対２に別れたＢ０〜Ｂ３の画素が対角位置にないと判断された場合はステップＳ２４に進み、３：１に分かれたＡ０〜Ａ３の画素と、２：２に分かれたＢ０〜Ｂ３の画素のそれぞれの値における、小さい値（大きい値）のグループ同士が隣接しているか否かを判定する。

これは、Ａ０〜Ａ３の画素とＢ０〜Ｂ３の画素における、値が小さいグループと大きいグループとが隣接している場合、前記Ａ０とＡ２、及びＡ１とＡ３が補正対象画素Ｔを挟んでグループとなっている場合や、Ｂ０とＢ２、及びＢ１とＢ３が補正対象画素Ｔを挟んでグループとなっている場合と同様、このグループにエッジ部は存在せずにＦｌａｔであると考えられるから、処理はステップＳ１９に進み、前記した式（１）による計算が行われ、そうでない場合は処理がステップＳ２５進む。

このようにして、Ｂ０〜Ｂ３の画素における、２対２に別れたＢ０とＢ１、Ｂ２とＢ３とがそれぞれグループなって図５のようになり、そして、ステップＳ２５では、Ｂ０〜Ｂ３の画素における２：２に分かれたグループのそれぞれの平均値のうち、補正対象画素Ｔの輝度値に近い方の値をＢａ４としたとき、このＢａ４がＢ０とＢ１からなるグループであれば図５（Ａ）のように略直線（Ｓｔｒｉｐｅ）からなるエッジ部となり、Ｂ２とＢ３側のグループであれば図５（Ｂ）の略角部（Ｃｏｒｎｅｒ）からなるエッジ部となって、下記（６）式によって補正対象画素Ｔの補正後の輝度Ｔ’が計算される。

Ｔ’＝Ｔ×１／２＋Ｂａ４×１／２ ………………………………（６）

なお、前記式（３）、式（４）と同様、撮像部１０の出力撮像データにおける全体の輝度の平均値Ｐで定まる閾値をＳ１、Ｓ２としてＢａ３との相関、エッジ部が存在することの確認することは同じである。

また、ステップＳ２２で、ＢＡｖｅがＢ０〜Ｂ３の輝度値に対して３対１に別れた間にある、と判断されてステップＳ２６に進んだ場合、このステップＳ２６で前記ステップＳ２４と同様、３：１に分かれたＡ０〜Ａ３の画素と、３：１に分かれたＢ０〜Ｂ３の画素のそれぞれの値における、小さい値（大きい値）のグループ同士が隣接しているか否か、すなわち、Ａ０〜Ａ３の画素とＢ０〜Ｂ３の画素における、値が小さいグループと大きいグループとが隣接しているかどうかを判定し、値が小さいグループと大きいグループとが隣接している場合は、このグループにエッジ部は存在せずにＦｌａｔであると考えられるから、処理はステップＳ１９に進み、前記した式（１）による計算が行われ、そうでない場合は処理がステップＳ２７進む。

この場合、図６（Ａ）のように、それぞれ３対１となったＡ０〜Ａ３の画素とＢ０〜Ｂ３の画素におけるＡ３とＢ３がグループになった場合、図６（Ｂ）のように、Ａ３とＢ２がグループになった場合とがあり、この場合、いずれも略角部（Ｃｏｒｎｅｒ）からなるエッジ部となって、補正対象画素Ｔの輝度値がＢ０、Ｂ１、Ｂ２、またはＢ０、Ｂ１、Ｂ３における平均値をＢａ５としたとき、下記（７）式によって補正対象画素Ｔの補正後の輝度Ｔ’が計算される。

Ｔ’＝Ｔ×１／２＋Ｂａ５×１／２ ………………………………（７）

なお、前記式（３）、式（４）と同様、撮像部１０の出力撮像データにおける全体の輝度の平均値Ｐで定まる閾値をＳ１、Ｓ２としてＢａ５との相関、エッジ部が存在することの確認することは同じである。また、以上説明してきた図３〜図６では、エッジ部の位置を１方向から算出した場合を例に説明してきたが、９０度回転した向きでも同様な略直線（Ｓｔｒｉｐｅ）からなるエッジ部と、略角部（Ｃｏｒｎｅｒ）からなるエッジ部が生じるから、全く同様にして判定を行うことにより、全ての方向のエッジ部を検出してそのパターンに対応した補正対象画素Ｔの補正量を決定することができる。。

このようにして、図７に示したようなグループ毎にエッジ部を判定し、検出されたエッジ部のパターンによって補正対象画素Ｔの補正量を決定することで、画像の鮮鋭感が損なわれることがなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することができる。

本発明によれば、携帯電話など、焦点距離の短いレンズを用いねばならない撮像装置などでも、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることができる。

本発明になる撮像データの処理方法を実施する撮像装置のブロック図である。 本発明になる撮像データの処理方法のフロー図である。 本発明になる撮像データの処理方法により検出する、略角部（Ｃｏｒｎｅｒ）からなるエッジ部の検出方法を説明するための図である。 本発明になる撮像データの処理方法により検出する、略直線（Ｓｔｒｉｐｅ）からなるエッジ部（Ａ）と、略角部（Ｃｏｒｎｅｒ）からなるエッジ部（Ｂ）の検出方法を説明するための図である。 本発明になる撮像データの処理方法により検出する、略直線（Ｓｔｒｉｐｅ）からなるエッジ部（Ａ）と、略角部（Ｃｏｒｎｅｒ）からなるエッジ部（Ｂ）の検出方法を説明するための図である。 本発明になる撮像データの処理方法により検出する、略角部（Ｃｏｒｎｅｒ）からなるエッジ部の検出方法を説明するための図である。 本発明になる撮像データの処理方法において用いる画素グループを説明するための図である。 ＣＣＤイメージセンサの構造概略を示す断面図である。 ＣＭＯＳイメージセンサの構造概略を示す断面図である。 撮像素子によりカラー画像を撮影できるようにするために用いられる、ベイヤ配列と呼ばれるモザイク状のカラーフィルタの一例を示した図である。 波長によって撮像素子内部への光の到達距離が異なる事を説明するための図である。

符号の説明

１０ 撮像部
１１ 撮影レンズ
１２ 絞り
１３ 撮像素子
１４ ＣＤＳ回路
１５ ゲインアンプ
１６ Ａ／Ｄ変換回路
１７ ラインクロール補正部（パターン判定部／補正処理部）
１８ 画像メモリ
１９ メモリ制御回路
２０ メモリバス
２１ 信号処理部
２２ 画像記録部

Claims (12)

1. 光電変換素子が２次元に配列され、該配列に対応してカラーフィルタアレイが設けられた撮像センサからの撮像データにおける補正対象画素とその周囲の画素の輝度データを用いて画像パターンを判定し、
   該判定結果に基づき、前記光電変換素子間に発生するクロストークを補正することを特徴とする撮像データの処理方法。
2. 前記画像パターンの判定を、前記補正対象画素とその周囲の画素それぞれにおける輝度データの分布状態からおこなうことを特徴とする請求項１に記載した撮像データの処理方法。
3. 前記画像パターンの判定を、前記補正対象画素とその周囲における異色と同色の画素でパターン判定用画素群を構成して行うことを特徴とする請求項１または２に記載した撮像データの処理方法。
4. 前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とを用いておこなうことを特徴とする請求項３に記載した撮像データの処理方法。
5. 前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とから、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによっておこなうことを特徴とする請求項３または４に記載した撮像データの処理方法。
6. 前記画像パターンは、少なくとも、略直線（Ｓｔｒｉｐｅ）及び若しくは略角部（Ｃｏｒｎｅｒ）とを含むエッジ部と、該エッジ部を含まないフラット（Ｆｌａｔ）部とであることを特徴とする請求項１乃至５のいずれかに記載した撮像データの処理方法。
7. 前記補正対象画素の輝度値の補正を、前記画像パターンに対する前記補正対象画素の位置と、前記補正対象画素周囲の画素における輝度データを用いておこなうことを特徴とする請求項１乃至６のいずれかに記載した撮像データの処理方法。
8. 前記補正対象画素の輝度値の補正を、前記補正対象画素が前記エッジ部の明領域、または暗領域のいずれに属するかを判定して行うことを特徴とする請求項６に記載した撮像データの処理方法。
9. 前記クロストークの補正を、前記補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながら行うことを特徴とする請求項１乃至８のいずれかに記載した撮像データの処理方法。
10. 前記クロストークの補正を、前記撮像センサにおける光軸からの距離に応じて実施することを特徴とする請求項１乃至９のいずれかに記載した撮像データの処理方法。
11. 光電変換素子を２次元に配列した撮像素子と、
    前記光電変換素子の配列に対応して設けられたカラーフィルタアレイとを備えた撮像手段と、
    該撮像手段における前記光電変換素子からの撮像データを記憶する記憶手段と、
    該記憶手段に記憶された補正対象画素とその周囲に位置する画素とをパターン判定用画素群とし、該パターン判定用画素群のそれぞれの画素における輝度データから前記パターン判定用画素群に存在する画像パターンを判定するパターン判定部と、
    該パターン判定部の判定結果に基づき、前記補正対象画素の輝度値を補正する補正部とからなり、
    前記撮像手段における光電変換素子間に発生するクロストークを前記補正部で補正して出力することを特徴とする撮像装置。
12. 前記パターン判定部は、前記パターン判定用画素群を構成するそれぞれの画素における輝度データの分布状態から、前記画像パターンを判定することを特徴とする請求項１１に記載した撮像装置。

Images