JP2008252397A - 撮像データの処理方法及び撮像装置 - Google Patents
撮像データの処理方法及び撮像装置 Download PDFInfo
- Publication number
- JP2008252397A JP2008252397A JP2007089779A JP2007089779A JP2008252397A JP 2008252397 A JP2008252397 A JP 2008252397A JP 2007089779 A JP2007089779 A JP 2007089779A JP 2007089779 A JP2007089779 A JP 2007089779A JP 2008252397 A JP2008252397 A JP 2008252397A
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixels
- luminance
- correction target
- target pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
【課題】カラー撮像素子とカラーフィルタアレイとを使用した撮像装置において、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することにある。
【解決手段】光電変換素子からの撮像データにおける補正対象画素とその周囲の画素をパターン判定用画素とし、このパターン判定用画素のそれぞれにおける輝度データを用いてパターン判定用画素に存在する画像パターンを判定して、該画像パターンにおける補正対象画素の位置と補正対象画素周囲の画素における輝度データにより、光電変換素子間に発生するクロストークを補正するようにした。
【選択図】図1
【解決手段】光電変換素子からの撮像データにおける補正対象画素とその周囲の画素をパターン判定用画素とし、このパターン判定用画素のそれぞれにおける輝度データを用いてパターン判定用画素に存在する画像パターンを判定して、該画像パターンにおける補正対象画素の位置と補正対象画素周囲の画素における輝度データにより、光電変換素子間に発生するクロストークを補正するようにした。
【選択図】図1
Description
本発明は撮像データの処理方法及び撮像装置に係り、特に、相補型金属酸化物半導体イメージセンサからなる撮像素子と、原色ベイヤー配列などのカラーフィルタとを用いた場合に生じる、混色による縦、横の縞模様(ラインクロール)の発生を押さえることができるようにした、撮像データの処理方法及び撮像装置に関するものである。
デジタルカメラなどに用いられる撮像素子(光電変換手段)としては、電荷結合素子(Charge Coupled Device:以下、CCDと略称する)イメージセンサ、および相補型金属酸化物半導体(Complementary Metal Oxide Semiconducter:以下、CMOSと略称する)イメージセンサが主に使用されている。
このうち、CCDイメージセンサは図8の構造概略断面図に示したように、入射する光85をフォトダイオード84に結像させるためのマイクロレンズ80、所定の色の光だけを通過させるためのカラーフィルタ81、転送路を遮光するための遮光膜82、入射した光量に対応して生じた電荷を転送するための垂直CCD転送電極83等で構成されている。一方、CMOSイメージセンサは図9の構造概略断面図に示したように、フォトダイオード92、93のそれぞれに入射する光を分離するための遮光アルミ層90、配線アルミ層91などで構成されている。
こういったCCDやCMOSを用いたイメージセンサは、カラー画像を撮影できるようにするため、一例を図10(A)に示したようなベイヤ配列と呼ばれるモザイク状のカラーフィルタ81(図8参照)を用い、入射した光を各画素単位でR(赤)、G(緑)、B(青)に振り分けて色毎に分離した撮像データを得るようにしている。なお、ベイヤ配列は、図10(A)に示した3種類の色別だけでなく、図10(B)に示したように、更に細分化してR(赤)画素の列にあるGr画素、、B(青)画素の列にあるGb画素というように、同じG(緑)でも並びの違いで区分けして処理する場合もある。
しかしながら、こういったCCDやCMOSを用いたイメージセンサを構成するフォトダイオード84、92は、図11に模式的に示したように、入射する光の波長によって内部への光の到達距離が異なるという特性があり、そのため色によって同じ光量が入射しても、光の入射角度が垂直から大きく傾く周辺部では、中心部に比較して光量が少なくなったり混色が生じるという問題がある。
すなわちこの図11に於いて、70は撮像素子の1画素に相当するフォトダイオード部、71は遮光部、72の実線は赤(R)色の光のフォトダイオード部70への入射光束、73の点線は緑(G)色の光のフォトダイオード部70への入射光束、74の破線は青(B)色の光のフォトダイオード部70への入射光束を示しており、表における上段はフォトダイオード部70に垂直に入射する光束を、下段は周辺部でフォトダイオード70への光の入射角度が垂直から大きく傾いた場合のそれぞれの色の光束を表している。
このうち、青(B)色74と緑(G)色73のように、赤(R)色72に対して波長が短い光は、フォトダイオード70における深部まで侵入することがないため、表の下段に示したように例え光の入射角度が垂直から大きく傾いても光量に大きな変化は生じない。それに対して赤(R)色72の波長の長い光は、フォトダイオード70における深部まで侵入するため、光の入射角度が垂直から大きく傾くと、表の下段の右端の「赤色・赤外の場合」に75で示したように、光束の一部がフォトダイオード70の側壁を通過してしまって光量に寄与しない光が生じる。従って、本来あるべき光量よりR成分の光を少なめに検知してしまうこととなり、垂直に入射した場合を示した上段とは光量が異なってしまう。
また、図8に示したCCDイメージセンサは、N型基板をオーバーフロードレインとするフォトダイオード84の電気特性が、隣接するフォトダイオード84からの電荷の漏れ込みをよく抑えていることと、遮光アルミ薄膜82の遮光構造が各画素に入る光をよく分離していること、さらにCCDの電荷転送の動作が回路的な結合をもたないことなどから、隣接するフォトダイオードからの電荷の漏れ込みをよく抑え、混色(クロストーク)はほとんど問題にはならない。
それに対し、CMOSイメージセンサは図9に示したように、画素構造や回路的な結合から混色の問題が発生しやすい。つまりフォトダイオード92、93に対して垂直に入射する光は問題とならないが、95のように斜めに入射する光線は、隣接するフォトダイオード92、93の間に設けられた配線アルミ層91、遮光アルミ層90などで乱反射され、本来フォトダイオード93に対する光量となるべき光が、隣のフォトダイオード92への入射光となってしまう場合がある。また、フォトダイオード92、93の間に絶縁層がなく、また前記したように、赤(R)色72の波長の長い光はフォトダイオード70における深部まで侵入するため、その深部で発生した94で示した電子が隣のフォトダイオード93に移動し、フォトダイオード93の光量として検出されてしまう場合もある。
現在、例えば携帯電話に搭載するカメラモジュール等では小型化が要請されており、それに伴って使用されるレンズも短焦点となっているが、この場合、イメージセンサ周辺部への入射光は必然的に入射角度が大きくなり、それによって以上説明してきた縞模様(ラインクロール)の発生が顕著となっている。
こういったことに対処するため例えば特許文献1には、撮像素子における感光特性のほぼ等しい受光ピクセル毎に区分化(分類化)し、区分化された受光ピクセル同士の信号の加算平均値の比をラインクロール補正係数LCとして、撮像データから得られる輝度データにこのラインクロール補正係数LCを乗じ、受光ピクセルの感光特性が均一な場合に得られるのと実質的に等価な輝度データVを形成して出力するようにした、撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置が示されている。
また特許文献2には、R画素とG画素が水平方向に交互に配列されたRGライン(RGラインのG画素をGr画素と称する)と、G画素とB画素が水平方向に交互に配列されたGBライン(GBラインのG画素をGb画素と称する)とからなる2次元配列の構造を有し、デジタル信号処理回路でカラー撮像素子の全Gr画素データ、および全Gb画素データを夫々積算したGr積算値およびGb積算値を算出した後、Gr積算値とGb積算値との差分値を算出し、Gr画素とGb画素のうち、積算値が小さい方の全画素データに対して差分値を加算し、または、積算値が大きい方の全画素データに対して差分値を減算して、ラインクロールの影響を軽減して高画質な画像を得ることが可能な撮像装置が示されている。
一般的にGrとGbの画素における混色による信号レベル差は、受光エリアの位置や被写体輝度、被写体色によって変動する。しかしながら、特許文献1に示された撮像デバイスのラインノイズ除去方法及びそれを用いたラインノイズ除去装置では、撮像素子における受光ピクセルを感光特性のほぼ等しい毎に区分化(分類化)してはいるものの、区分化された受光ピクセル同士の信号の加算平均値の比をラインクロール補正係数LCとし、それを画面全体一律に乗算する方法をとっているが、この方法では、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することはむずかしい。
また特許文献2に示された撮像装置では、カラー撮像素子の全Gr画素データ、および全Gb画素データを夫々積算したGr積算値およびGb積算値を算出した後、Gr積算値とGb積算値との差分値を算出し、Gr画素とGb画素のうち、積算値が小さい方の全画素データに対して差分値を加算し、または、積算値が大きい方の全画素データに対して差分値を減算しているが、この方法も前記特許文献1の場合と同様、カラー撮像素子の全Gr画素データ、および全Gb画素データを夫々積算したGr積算値およびGb積算値を元に実施しているため、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することはむずかしい。
また、こういった特許文献1や特許文献2に示された方法以外にも、ローパスフィルタ等の平滑化処理によってラインクロールを低減するなどのことが可能であるが、この場合は画像の鮮鋭感を大きく損なうことになる。
そのため本発明においては、カラー撮像素子を使用した撮像装置において、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することにある。
上記課題を解決するため本発明における撮像データの処理方法は、
光電変換素子が2次元に配列され、該配列に対応してカラーフィルタアレイが設けられた撮像センサからの撮像データにおける補正対象画素とその周囲の画素の輝度データを用いて画像パターンを判定し、
該判定結果に基づき、前記光電変換素子間に発生するクロストークを補正することを特徴とする。
光電変換素子が2次元に配列され、該配列に対応してカラーフィルタアレイが設けられた撮像センサからの撮像データにおける補正対象画素とその周囲の画素の輝度データを用いて画像パターンを判定し、
該判定結果に基づき、前記光電変換素子間に発生するクロストークを補正することを特徴とする。
また、この撮像データの処理方法を実施する撮像装置は、
光電変換素子を2次元に配列した撮像素子と、
前記光電変換素子の配列に対応して設けられたカラーフィルタアレイとを備えた撮像手段と、
該撮像手段における前記光電変換素子からの撮像データを記憶する記憶手段と、
該記憶手段に記憶された補正対象画素とその周囲に位置する画素とをパターン判定用画素群とし、該パターン判定用画素群のそれぞれの画素における輝度データから前記パターン判定用画素群に存在する画像パターンを判定するパターン判定部と、
該パターン判定部の判定結果に基づき、前記補正対象画素の輝度値を補正する補正部とからなり、
前記撮像手段における光電変換素子間に発生するクロストークを前記補正部で補正して出力することを特徴とする。
光電変換素子を2次元に配列した撮像素子と、
前記光電変換素子の配列に対応して設けられたカラーフィルタアレイとを備えた撮像手段と、
該撮像手段における前記光電変換素子からの撮像データを記憶する記憶手段と、
該記憶手段に記憶された補正対象画素とその周囲に位置する画素とをパターン判定用画素群とし、該パターン判定用画素群のそれぞれの画素における輝度データから前記パターン判定用画素群に存在する画像パターンを判定するパターン判定部と、
該パターン判定部の判定結果に基づき、前記補正対象画素の輝度値を補正する補正部とからなり、
前記撮像手段における光電変換素子間に発生するクロストークを前記補正部で補正して出力することを特徴とする。
このように、撮像データにおける補正対象画素とその周囲の画素で構成した、パターン判定用画素のそれぞれにおける輝度データで画像パターンを判定し、それによってクロストークを補正することで、従来技術のように画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。
そして、前記画像パターンの判定を、前記補正対象画素とその周囲の画素それぞれにおける輝度データの分布状態からおこない、さらにそれを実施するため、前記パターン判定部は、前記パターン判定用画素群を構成するそれぞれの画素における輝度データの分布状態から、前記画像パターンを判定しておこなうことで、補正対象画素の位置する場所に対応した補正ができるから、従来技術のように画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。
また、前記画像パターンの判定を、前記補正対象画素とその周囲における異色と同色の画素でパターン判定用画素群を構成しておこない、そして、前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とを用い、また、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによって、補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながらおこなうことで、さらに正確に、効果的にラインクロールの影響を軽減して高画質な画像を得ることが可能となる。
また、前記画像パターンは、少なくとも、略直線(Stripe)及び若しくは略角部(Corner)とを含むエッジ部と、該エッジ部を含まないフラット(Flat)部とであり、さらに、前記補正対象画素の輝度値の補正を、前記画像パターンに対する前記補正対象画素の位置と、前記補正対象画素周囲の画素における輝度データを用いておこない、そして、前記補正対象画素の輝度値の補正を、前記補正対象画素が前記エッジ部の明領域、または暗領域のいずれに属するかを判定して行うことで、より正確に、効果的にラインクロールの影響を軽減して高画質な画像を得ることが可能となる。
そして、前記クロストークの補正を、前記補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながら行うことで、元の画像の明暗を大きく崩すことなく正確に、効果的にラインクロールの影響を軽減することができる。
また、前記クロストークの補正を、前記撮像センサにおける光軸からの距離に応じて実施することで、クロストークは焦点距離の短いレンズでは多く、また、中心部より周辺部の方が多いから、そういった場合もクロストークの多さに対応させた処理が可能となり、処理時間を短くすることもできる。
本発明によれば、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能となる。
以下、図面を参照して本発明の好適な実施例を例示的に詳しく説明する。但しこの実施例に記載されている構成要素の相対的配置等は、この発明の範囲をそれに限定する趣旨ではなく、単なる説明例に過ぎない。
図1は本発明になる撮像データの処理方法を実施する撮像装置のブロック図である。図中10は撮像部であり、被写体は絞り12を有した撮影レンズ11で撮像されて、その被写体像を光電変換する例えばCMOS等で構成される撮像素子13で画像信号とされる。そして、CDS回路14で画像信号のノイズ成分が除去され、出力信号を増幅するゲインアンプ15で増幅された後、A/D変換回路(コンバータ)16でそのアナログ画像信号がデジタル画像信号に変換されて、RAW信号としてラインクロール補正部17に送られる。
ラインクロール補正部17は、パターン判定部と補正処理部とを有し、撮像部10から送られてくるRAWデータに対してラインクロールの補正を実施する。18はこのラインクロールの補正を実施するために撮像データを記憶する画像メモリで、これは1フレーム分を記憶するものでも、後記する本発明になる撮像データの処理方法により、例えば5×5の画素を参照する場合は5ライン分のラインメモリでも良い。19はメモリの制御回路、20はメモリバス、21はカラーインターポーレーション、カラー調整、ガンマ補正、輝度信号生成等の演算を行う信号処理部であり、ラインクロール補正部17でラインクロールが補正されてこの信号処理部21で処理された画像信号は、撮像データを記憶する画像記録部22に記録されるが、この画像記録部22は、例えばデジタルカメラなどでは外部メモリであってもよい。
図2は、本発明になる撮像データの処理方法のフロー図であるが、このフロー図による説明をする前に、本発明の概略を説明する。本発明になる撮像装置においては、前記したようにラインクロール補正部17により、撮像部10から送られてくるRAWデータに対してラインクロールの補正を実施する。この補正は、例えば図7に示したように、ラインクロールを発生させる主原因であるGr画素(Gb画素でも同様)を対象に、画素毎に周囲の画素の輝度情報を参照して、対象画素が画像群の中でエッジパターンの一部となっているか否かを判定し、判定されたパターン毎に、対象となる画素の輝度の補正をどの画素を参照して行うかを決めて行うものである。
なお、以下の説明では、本発明を図10(B)に示したような原色ベイヤー配列のカラーフィルタを用いた場合を例に説明するが、本発明は、他の配列のカラーフィルタにおいても応用できることは当業者なら自明である。
いま、例えば図7における補正対象画素GrをTとし、その補正対象画素Tの周囲のGr画素(図7ではGr0、Gr1、Gr2、Gr3で、Gb画素が補正対象の場合は周囲のGb画素となる)をA0、A1、A2、A3として同色画素と称し、補正対象画素Tの周囲のGb画素(図7ではGb0、Gb1、Gb2、Gb3で、Gb画素が補正対象の場合は周囲のGr画素となる)をB0、B1、B2、B3として異色の画素と称して、これらをパターン判定用画素グループとして補正対象画素T(Gr画素)を補正するためのデータを得る。そのため、これらA0〜A3(同色画素)、及びB0〜B3(異色画素)からなる画素グループのそれぞれにおける、輝度の最大値と最小値、及び異色画素B0〜B3の画素の輝度の平均値をそれぞれ次のように置く。なお、この図7では補正対象画素TをGr画素としたが、Gb画素も全く同様にして処理を行う。
A0〜A3の最大値 : AMax
A0〜A3の最小値 : AMin
B0〜B3の最大値 : BMax
B0〜B3の最小値 : BMin
B0〜B3の平均値 : BAve
A0〜A3の最小値 : AMin
B0〜B3の最大値 : BMax
B0〜B3の最小値 : BMin
B0〜B3の平均値 : BAve
次に、求めたA0〜A3(同色画素)、及びB0〜B3(異色画素)の画素の輝度の最大値と最小値、及びB0〜B3(異色画素)の画素の輝度の平均値から、これらの画素グループの中に図3〜図6に実線で示したように、略直線(Stripe)、略角部(Corner)からなるエッジ部が有るか否かを判断し、どちらもない場合はエッジ部が存在しないフラット(Flat)部として補正対象画素Tの輝度の重みを大きく、周辺画素の輝度の重みを小さくして補正し、存在すると判定された場合はそのエッジ部の存在を加味して補正対象画素Tの補正を行うものである。
なお、ラインクロールは、焦点距離の短いレンズにおける周辺部で多く、光軸近傍、すなわちイメージセンサにおける中心部分付近では少なくなるから、補正を光学系を含めたシステムの特性に合わせ、例えば光束がほぼ垂直にフォトダイオードに入射する、撮像部10の撮影レンズ11における光軸近傍では実施しないようにして、処理の負荷軽減を図るようにしてもよい。
前記した、図3〜図6に実線で示した略直線(Stripe)、略角部(Corner)からなるエッジ部が有るか否かの判断は、次のようにして行う。まず、前記したA0〜A3、及びB0〜B3の画素の輝度の最大値と最小値、及びB0〜B3の画素の輝度の平均値から、これら9つの画素の中に、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによってエッジ部の有無を判定する。
例えば図3、図4に示したように、A0〜A3の画素の輝度が、A0とA3のグループとA1とA2のグループのように2:2に別れ、かつ、B0〜B3の画素の輝度が、B0とB1のグループとB2とB3のグループに別れたり(図3(A)、(B)の場合)、B0とB3のグループとB1とB2のグループのように2:2に別れた(図3(C)、(D)の場合)場合、この図3に実線で示したような略角部(Corner)からなるエッジ部が存在するとして、補正対象画素Tがエッジ部のどちら(明領域か暗領域か)に存在するかで補正量を決定する。
また、図4に示したように、A0〜A3の画素の輝度がA0とA3のグループとA1とA2のグループのように2:2に別れてはいるが、B0〜B3の画素の輝度が、B0、B1、B2のグループとB3のように3:1に別れた場合は、この図4に実線で示したような略直線(Stripe)からなるエッジ部(A)と、略角部(Corner)からなるエッジ部(B)が存在するとして、補正対象画素TがB0、B1、B2のグループとB3のグループのどちらに存在するかでエッジ部パターンが決まるので、それに応じて補正量を決定する。
さらに図5、図6に示したように、A0〜A3の画素の輝度が、A0、A1、A2のグループとA3のように3:1に別れ、かつ、B0〜B3の画素の輝度が、B0とB1のグループとB2とB3のグループのように2:2に別れたり(図5の場合)、B0、B1、B2のグループとB3、あるいは、B0、B1、B3のグループとB2のように3:1に別れた(図6の場合)場合、この図5(A)に実線で示したような略直線(Stripe)からなるエッジ部と、図5(B)、図6に実線で示したような略角部(Corner)からなるエッジ部が存在するとして、補正対象画素Tがエッジ部のどちらに存在するかで補正量を決定する。
このように、補正対象画素Tと異色(Gb)の画素B0、B1、B2、B3、さらにその外側の同色(Gr)の画素をA0、A1、A2、A3とからなる画素グループに、エッジ部が存在するか否かによって補正対象画素Tの補正量を決め、さらに、補正対象画素がエッジ部における明かるい方の領域(明瞭域)、または暗い方の領域(暗領域)のいずれに属するかを判定してこの補正を行うことで、画像の鮮鋭感を大きく損なうことなく、受光エリアの位置や被写体輝度、被写体色によって変動する信号レベル差によるラインクロールを、効果的に除去することができる撮像データの処理方法及び撮像装置を提供することができる。
以上が本発明になる撮像データの処理方法の概略であるが、次に図2のフロー図を用い、本発明を詳細に説明する。
前記したように、図1に示した撮像部10を構成する撮影レンズ11で撮像された被写体像は、例えばCMOS等で構成される撮像素子13で画像信号とされ、CDS回路14で画像信号のノイズ成分が除去されて、出力信号を増幅するゲインアンプ15で増幅された後、A/D変換回路(コンバータ)16でそのアナログ画像信号がデジタル画像信号に変換されて、RAW信号としてラインクロール補正部17に送られる。
ラインクロール補正部17は、この撮像部10から送られてくるRAWデータを画像メモリ18に記憶し、前記図7に示したような補正対象の画素Gr、Gbにおける周囲の画素を読み出し、パターン判定部で前記図3〜図6に実線で示したようなエッジ部が存在するか否かを判定し、それによって補正処理部が補正対象画素Tの輝度データを補正する。そして補正結果が信号処理部21に送られて、カラーインターポーレーション、カラー調整、ガンマ補正、輝度信号生成等の演算が行われ、撮像データを記憶する画像記録部22に記録される。なお、前記したように、画像メモリ18は、1フレーム分を記憶するものでも図7に示した5ライン分のデータを記憶するラインメモリでも良い。
ラインクロール補正部17では、まずステップS10で前記したように、例えば光束がほぼ垂直にフォトダイオードに入射するイメージセンサーにおける中心近傍など、光軸からの距離に応じて光学系を含めたシステムの特性を加味し、ラインクロールが発生する可能性が多い領域か少ない領域かの判断がなされる。そしてラインクロールが発生する可能性が少ない領域では、ステップS28に行って処理を終了し、ラインクロールが発生する可能性がある領域の画素である場合はステップS11に進むが、この判断を省き、全ての画素について以下に述べる処理を実施するようにしても良いことは勿論である。
ステップS11では、AMin(A0〜A3の最小値)がBMax(B0〜B3の最大値)より大きいか(AMin>BMax)、AMax(A0〜A3の最大値)がBMin(B0〜B3の最小値)より小さいか(AMax<BMin)が判定される。これは、この条件を満たす場合、ラインクロールの発生によって同色画素と異色画素の種類の違いで明らかな輝度差が表れ、かつ、この部分にエッジ部が存在しないことを示しているから(Flat)、ステップS19に行って下記式(1)により補正対象画素Tの補正後の輝度T’が計算される。
T’=T×1/2+B0×1/8+B1×1/8+B2×1/8+B3×1/8
…………………(1)
…………………(1)
この式(1)では、前記したように補正対象画素Tの輝度の重みを大きく、周辺画素の輝度の重みを小さくして補正するもので、補正対象画素Tの輝度の1/2にB0〜B3の輝度値のそれぞれ1/8を加えて補正後の輝度値T’としている。
一方、ステップS11で、AMin(A0〜A3の最小値)がBMax(B0〜B3の最大値)より大きくなく(AMin≦BMax)、かつ、AMax(A0〜A3の最大値)がBMin(B0〜B3の最小値)より小さくない(AMax≧BMin)場合、処理がステップS12に進み、今度はAMin(A0〜A3の最小値)が補正対象画素Tの輝度より大きい(AMin>T)か、AMax(A0〜A3の最大値)が補正対象画素Tの輝度より小さい(AMax<T)かが判断され、何れかの条件が満足される場合は、A0〜A3の輝度値に対して補正対象画素Tの輝度値が一番小さいか大きい場合であり、エッジ部は存在しないと判断されて、ステップS19で前記した式(1)による計算が行われる。
また、このステップS12で、A0〜A3の輝度値に対して補正対象画素の輝度値Tが一番小さくなく、また一番大きくもなかった場合、補正対象画素Tの輝度値はA0〜A3の輝度値の間にあることになるから処理がステップS13に進み、補正対象画素Tの輝度値が、A0〜A3の輝度値に対して2対2に別れた間にあるか、3対1に別れた間にあるかが判断される。そして、2対2に別れた間にある場合はステップS14に、3対1に別れた間にある場合はステップS22に進む。
そしてステップS14で、2対2に別れたA0〜A3の画素が、どの画素とどの画素がグループになっているかが判断される。これは、A0とA2、及びA1とA3が補正対象画素Tを挟んでグループとなっている場合、これらの画素は補正対象画素Tに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップS19に進み、前記した式(1)による計算が行われる。
一方、ステップS14で、2対2に別れたA0〜A3の画素が対角位置にないと判断された場合は、図3、図4に示したように、A0とA3、A1〜A2がグループとなるから、ステップS15に進んでB0〜B3の平均値BAveがB0〜B3の間の何処に位置するか、すなわち平均値BAveがB0〜B3の輝度値に対して2対2に別れた間にあるか、3対1に別れた間にあるかが判断されて2対2に別れた間にある場合はステップS16に、3対1に別れた間にある場合はステップS20に進む。
そしてステップS16で、2対2に別れたB0〜B3の画素が、どの画素とどの画素がグループになっているかが判断される。これは、B0とB2、及びB1とB3が補正対象画素Tを挟んでグループとなっている場合、これらの画素は補正対象画素Tに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップS19に進み、前記した式(1)による計算が行われる。
一方、ステップS16で、2対2に別れたB0〜B3の画素が対角位置にないと判断された場合はステップS17に進み、2:2に分かれたA0〜A3の画素と、2:2に分かれたB0〜B3の画素のそれぞれの値における、小さい(大きい)グループ同士が隣接しているか否かを判定する。これは、A0〜A3の画素とB0〜B3の画素における、値が小さいグループと大きいグループが隣接している場合、前記A0とA2、及びA1とA3が補正対象画素Tを挟んでグループとなっている場合や、B0とB2、及びB1とB3が補正対象画素Tを挟んでグループとなっている場合と同様、このグループにエッジ部は存在せずにFlatであると考えられるから、処理はステップS19に進み、前記した式(1)による計算が行われ、そうでない場合は処理がステップS18進む。
このようにすることで、B0〜B3の画素における、2対2に別れたB0とB1、B2とB3とがそれぞれグループなら図3(A)、(B)の場合であり、B0とB3、B1とB2とがそれぞれグループなら図3(C)、(D)の場合となり、略角部(Corner)からなるエッジ部(B)が存在することになる。
そして、ステップS18では、B0〜B3の画素における2:2に分かれたグループのそれぞれの平均値のうち、補正対象画素Tの輝度値に近い方の値をBa2としたとき、このBa2がB0とB1からなるグループであれば図3(A)の場合であり、B2とB3からなるグループであれば図3(B)の場合、B0とB3からなるグループであれば図3(C)の場合、B1とB2からなるグループであれば図3(D)の場合であるから、下記(2)式によって補正対象画素Tの補正後の輝度T’が計算される。
T’=T×1/2+Ba2×1/2 ………………………………(2)
但しこの時、B0〜B3の画素における、2:2に分かれたグループのそれぞれの平均値の補正対象画素Tとの輝度値の差に、明かな相関がない場合はエッジ部の存在が疑わしくなるため、B0〜B3の画素における2:2に分かれたグループのそれぞれの平均値のうち、補正対象画素Tの輝度値に遠い方の値をBa1とし、撮像部10の出力撮像データにおける全体の輝度の平均値Pで定まる閾値をS1としたとき、下記式(3)を満足しない場合は相関がないとして処理をステップS19に進め、前記した式(1)による計算が行われる。なお、このS1の値は出力撮像データにおける全体の輝度の平均値Pが大きい場合は大きく、小さい場合はそれに比例して小さくなる値である。
|Ba1−T|>S1 ………………………………………………(3)
またこの時、Ba1とBa2の差が、式(3)と同様、撮像部10の出力撮像データにおける全体の輝度の平均値Pで定まる閾値をS2としたとき、下記式(4)を満足しない場合はエッジ部が存在するとは考えられないから、上記と同様処理はステップS19に進み、前記した式(1)による計算が行われる。なお、このS2の値はPが大きい場合は大きく、小さい場合はそれに比例して小さくなる値であり、Ba1とTとの差が大きく、且つ、それに較べてBa2とTとの差が相対的に小さい状態である。
(|Ba1−T|/|Ba2−T|)>S2 ……………………(4)
一方、ステップS15で、B0〜B3の平均値BAveが3対1に別れた間にあると判断されてステップS20に進んだ場合、このステップS20で2:2に分かれたA0〜A3と、3:1に分かれたB0〜B3のそれぞれの値が小さい(大きい)グループが隣接しているかを判定する。これは、前記したステップS17の場合と同様、A0〜A3の画素とB0〜B3の画素における、値が小さいグループと大きいグループが隣接している場合、このグループにエッジ部は存在せずにFlatであると考えられるからであり、処理はステップS19に進み、前記した式(1)による計算が行われ、そうでない場合は処理がステップS21に進む。
処理がステップS21に進んだ場合、これは図4に示したように、B0〜B3の画素における3:1に分かれたグループのそれぞれの平均値のうち、補正対象画素Tの輝度値に近い方の値をBa3(但し、1画素のグループではその値)としたとき、このBa3がB0、B1、B2からなるグループであれば図4(A)の略直線(Stripe)からなるエッジ部が存在する場合であり、B3に近ければ図4(B)の略角部(Corner)からなるエッジ部(B)が存在する場合であるから、下記(5)式によって補正対象画素Tの補正後の輝度T’が計算される。なお、前記式(3)、式(4)と同様、撮像部10の出力撮像データにおける全体の輝度の平均値Pで定まる閾値をS1、S2としてBa3との相関、エッジ部が存在することの確認することは同じである。
T’=T×1/2+Ba3×1/2 ………………………………(5)
一方、ステップS13で補正対象画素Tの輝度値が、A0〜A3の輝度値に対して3対1に別れたと判断されてステップS22に進んだ場合、前記ステップS15の場合と同様、BAveがB0〜B3の輝度値に対して2対2に別れた間にあるか、3対1に別れた間にあるかが判断される。そして、2対2に別れた間にある場合はステップS23に、3対1に別れた間にある場合はステップS26に進む。
ステップS23では、前記ステップS16の場合と同様、2対2に別れたB0〜B3の画素が、どの画素とどの画素がグループになっているかが判断される。これは、B0とB2、及びB1とB3が補正対象画素Tを挟んでグループとなっている場合、これらの画素は補正対象画素Tに対して対角位置にあるわけで、この場合はエッジ部は存在しないと考えられるから処理はステップS19に進み、前記した式(1)による計算が行われる。
一方、ステップS23で、2対2に別れたB0〜B3の画素が対角位置にないと判断された場合はステップS24に進み、3:1に分かれたA0〜A3の画素と、2:2に分かれたB0〜B3の画素のそれぞれの値における、小さい値(大きい値)のグループ同士が隣接しているか否かを判定する。
これは、A0〜A3の画素とB0〜B3の画素における、値が小さいグループと大きいグループとが隣接している場合、前記A0とA2、及びA1とA3が補正対象画素Tを挟んでグループとなっている場合や、B0とB2、及びB1とB3が補正対象画素Tを挟んでグループとなっている場合と同様、このグループにエッジ部は存在せずにFlatであると考えられるから、処理はステップS19に進み、前記した式(1)による計算が行われ、そうでない場合は処理がステップS25進む。
このようにして、B0〜B3の画素における、2対2に別れたB0とB1、B2とB3とがそれぞれグループなって図5のようになり、そして、ステップS25では、B0〜B3の画素における2:2に分かれたグループのそれぞれの平均値のうち、補正対象画素Tの輝度値に近い方の値をBa4としたとき、このBa4がB0とB1からなるグループであれば図5(A)のように略直線(Stripe)からなるエッジ部となり、B2とB3側のグループであれば図5(B)の略角部(Corner)からなるエッジ部となって、下記(6)式によって補正対象画素Tの補正後の輝度T’が計算される。
T’=T×1/2+Ba4×1/2 ………………………………(6)
なお、前記式(3)、式(4)と同様、撮像部10の出力撮像データにおける全体の輝度の平均値Pで定まる閾値をS1、S2としてBa3との相関、エッジ部が存在することの確認することは同じである。
また、ステップS22で、BAveがB0〜B3の輝度値に対して3対1に別れた間にある、と判断されてステップS26に進んだ場合、このステップS26で前記ステップS24と同様、3:1に分かれたA0〜A3の画素と、3:1に分かれたB0〜B3の画素のそれぞれの値における、小さい値(大きい値)のグループ同士が隣接しているか否か、すなわち、A0〜A3の画素とB0〜B3の画素における、値が小さいグループと大きいグループとが隣接しているかどうかを判定し、値が小さいグループと大きいグループとが隣接している場合は、このグループにエッジ部は存在せずにFlatであると考えられるから、処理はステップS19に進み、前記した式(1)による計算が行われ、そうでない場合は処理がステップS27進む。
この場合、図6(A)のように、それぞれ3対1となったA0〜A3の画素とB0〜B3の画素におけるA3とB3がグループになった場合、図6(B)のように、A3とB2がグループになった場合とがあり、この場合、いずれも略角部(Corner)からなるエッジ部となって、補正対象画素Tの輝度値がB0、B1、B2、またはB0、B1、B3における平均値をBa5としたとき、下記(7)式によって補正対象画素Tの補正後の輝度T’が計算される。
T’=T×1/2+Ba5×1/2 ………………………………(7)
なお、前記式(3)、式(4)と同様、撮像部10の出力撮像データにおける全体の輝度の平均値Pで定まる閾値をS1、S2としてBa5との相関、エッジ部が存在することの確認することは同じである。また、以上説明してきた図3〜図6では、エッジ部の位置を1方向から算出した場合を例に説明してきたが、90度回転した向きでも同様な略直線(Stripe)からなるエッジ部と、略角部(Corner)からなるエッジ部が生じるから、全く同様にして判定を行うことにより、全ての方向のエッジ部を検出してそのパターンに対応した補正対象画素Tの補正量を決定することができる。。
このようにして、図7に示したようなグループ毎にエッジ部を判定し、検出されたエッジ部のパターンによって補正対象画素Tの補正量を決定することで、画像の鮮鋭感が損なわれることがなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることが可能な、撮像データの処理方法及び撮像装置を提供することができる。
本発明によれば、携帯電話など、焦点距離の短いレンズを用いねばならない撮像装置などでも、画像の鮮鋭感を損なうことなく、ラインクロールの影響を効果的に軽減して高画質な画像を得ることができる。
10 撮像部
11 撮影レンズ
12 絞り
13 撮像素子
14 CDS回路
15 ゲインアンプ
16 A/D変換回路
17 ラインクロール補正部(パターン判定部/補正処理部)
18 画像メモリ
19 メモリ制御回路
20 メモリバス
21 信号処理部
22 画像記録部
11 撮影レンズ
12 絞り
13 撮像素子
14 CDS回路
15 ゲインアンプ
16 A/D変換回路
17 ラインクロール補正部(パターン判定部/補正処理部)
18 画像メモリ
19 メモリ制御回路
20 メモリバス
21 信号処理部
22 画像記録部
Claims (12)
- 光電変換素子が2次元に配列され、該配列に対応してカラーフィルタアレイが設けられた撮像センサからの撮像データにおける補正対象画素とその周囲の画素の輝度データを用いて画像パターンを判定し、
該判定結果に基づき、前記光電変換素子間に発生するクロストークを補正することを特徴とする撮像データの処理方法。 - 前記画像パターンの判定を、前記補正対象画素とその周囲の画素それぞれにおける輝度データの分布状態からおこなうことを特徴とする請求項1に記載した撮像データの処理方法。
- 前記画像パターンの判定を、前記補正対象画素とその周囲における異色と同色の画素でパターン判定用画素群を構成して行うことを特徴とする請求項1または2に記載した撮像データの処理方法。
- 前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とを用いておこなうことを特徴とする請求項3に記載した撮像データの処理方法。
- 前記画像パターンの判定を、前記パターン判定用画素群における輝度の最大値と最小値、及び前記異色の画素における輝度の平均値とから、画像の明るさで定まる閾値を超えた有意な輝度差が有るか否かを調べ、その差がどのような状態で存在するかによっておこなうことを特徴とする請求項3または4に記載した撮像データの処理方法。
- 前記画像パターンは、少なくとも、略直線(Stripe)及び若しくは略角部(Corner)とを含むエッジ部と、該エッジ部を含まないフラット(Flat)部とであることを特徴とする請求項1乃至5のいずれかに記載した撮像データの処理方法。
- 前記補正対象画素の輝度値の補正を、前記画像パターンに対する前記補正対象画素の位置と、前記補正対象画素周囲の画素における輝度データを用いておこなうことを特徴とする請求項1乃至6のいずれかに記載した撮像データの処理方法。
- 前記補正対象画素の輝度値の補正を、前記補正対象画素が前記エッジ部の明領域、または暗領域のいずれに属するかを判定して行うことを特徴とする請求項6に記載した撮像データの処理方法。
- 前記クロストークの補正を、前記補正対象画素の比重を重く、周囲の画素の比重を軽くして重み付けしながら行うことを特徴とする請求項1乃至8のいずれかに記載した撮像データの処理方法。
- 前記クロストークの補正を、前記撮像センサにおける光軸からの距離に応じて実施することを特徴とする請求項1乃至9のいずれかに記載した撮像データの処理方法。
- 光電変換素子を2次元に配列した撮像素子と、
前記光電変換素子の配列に対応して設けられたカラーフィルタアレイとを備えた撮像手段と、
該撮像手段における前記光電変換素子からの撮像データを記憶する記憶手段と、
該記憶手段に記憶された補正対象画素とその周囲に位置する画素とをパターン判定用画素群とし、該パターン判定用画素群のそれぞれの画素における輝度データから前記パターン判定用画素群に存在する画像パターンを判定するパターン判定部と、
該パターン判定部の判定結果に基づき、前記補正対象画素の輝度値を補正する補正部とからなり、
前記撮像手段における光電変換素子間に発生するクロストークを前記補正部で補正して出力することを特徴とする撮像装置。 - 前記パターン判定部は、前記パターン判定用画素群を構成するそれぞれの画素における輝度データの分布状態から、前記画像パターンを判定することを特徴とする請求項11に記載した撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007089779A JP2008252397A (ja) | 2007-03-29 | 2007-03-29 | 撮像データの処理方法及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007089779A JP2008252397A (ja) | 2007-03-29 | 2007-03-29 | 撮像データの処理方法及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008252397A true JP2008252397A (ja) | 2008-10-16 |
Family
ID=39976850
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007089779A Pending JP2008252397A (ja) | 2007-03-29 | 2007-03-29 | 撮像データの処理方法及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008252397A (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011152174A1 (ja) * | 2010-06-02 | 2011-12-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012199700A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像処理装置、及び画像処理方法 |
EP2557798A2 (en) * | 2010-04-07 | 2013-02-13 | Samsung Electronics Co., Ltd. | Apparatus and method for removing noise generated from image sensor |
WO2013105501A1 (ja) * | 2012-01-12 | 2013-07-18 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
CN104197339A (zh) * | 2014-09-11 | 2014-12-10 | 陆骏 | 复合型旋转污泥焚烧窑与往复式污泥焚烧窑炉的联合体 |
-
2007
- 2007-03-29 JP JP2007089779A patent/JP2008252397A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2557798A2 (en) * | 2010-04-07 | 2013-02-13 | Samsung Electronics Co., Ltd. | Apparatus and method for removing noise generated from image sensor |
EP2557798A4 (en) * | 2010-04-07 | 2014-01-22 | Samsung Electronics Co Ltd | DEVICE AND METHOD FOR REDUCING THE NOISE GENERATED BY A PICTOR SENSOR |
US9088685B2 (en) | 2010-04-07 | 2015-07-21 | Samsung Electronics Co., Ltd. | Apparatus and method for removing noise generated from image sensor |
WO2011152174A1 (ja) * | 2010-06-02 | 2011-12-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2011254321A (ja) * | 2010-06-02 | 2011-12-15 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US8804012B2 (en) | 2010-06-02 | 2014-08-12 | Sony Corporation | Image processing apparatus, image processing method, and program for executing sensitivity difference correction processing |
JP2012199700A (ja) * | 2011-03-18 | 2012-10-18 | Ricoh Co Ltd | 画像処理装置、及び画像処理方法 |
WO2013105501A1 (ja) * | 2012-01-12 | 2013-07-18 | 株式会社ニコン | 画像処理装置、撮像装置および画像処理プログラム |
JP2013143727A (ja) * | 2012-01-12 | 2013-07-22 | Nikon Corp | 画像処理装置、撮像装置および画像処理プログラム |
CN104197339A (zh) * | 2014-09-11 | 2014-12-10 | 陆骏 | 复合型旋转污泥焚烧窑与往复式污泥焚烧窑炉的联合体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3824237B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
JP5398346B2 (ja) | 撮像装置及び信号処理装置 | |
KR101353778B1 (ko) | 고체 촬상 장치 및 카메라 모듈 | |
US11637975B2 (en) | Solid state image sensor and electronic equipment | |
JP2018196083A (ja) | 画像処理装置 | |
JP2018093257A (ja) | 撮像装置 | |
JP2008113236A (ja) | 撮像装置におけるシェーディング補正方法と装置 | |
US9813687B1 (en) | Image-capturing device, image-processing device, image-processing method, and image-processing program | |
JP5680797B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP2008252397A (ja) | 撮像データの処理方法及び撮像装置 | |
US9106785B2 (en) | Solid state image pickup device having received light correction unit, camera module, and digital camera | |
JP2007174032A (ja) | 撮像装置 | |
JP6364259B2 (ja) | 撮像装置、画像処理方法、及び画像処理プログラム | |
JP2012191378A (ja) | 撮像装置 | |
JP2009049524A (ja) | 撮像装置及び信号処理方法 | |
JP4993275B2 (ja) | 画像処理装置 | |
JP7442990B2 (ja) | 信号処理装置及び信号処理方法 | |
JP7381067B2 (ja) | 撮像素子及び撮像装置 | |
KR102649298B1 (ko) | 신호 처리 장치 및 신호 처리 방법 | |
JP2010178384A (ja) | 画像信号処理回路、カメラ、及び画像信号処理方法 | |
JP6837652B2 (ja) | 撮像装置及び信号処理方法 | |
JP2009303020A (ja) | 撮像装置及び欠陥画素補正方法 | |
KR20150060502A (ko) | 디지털 카메라 및 고체 촬상 장치 | |
JP2004357135A (ja) | 電子カメラの暗電流補正回路 | |
JP5267290B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム |