JP2010532960A - イメージセンサユニットの異常画素値を修正する処理装置、その処理装置を有するイメージセンサユニット及び方法 - Google Patents

Abstract

ＣＭＯＳイメージセンサは、一定のパターンノイズ及びランダム異常画素に通常悩まされる。しかしながら、経済的理由から、また製造量を増加させるために一部のランダムな異常画素はプロの装置用でさえ通常受け入れられる。この場合に、異常画素は信号処理によって通常修正される。少なくとも第１の画素アレイ及び第２の画素アレイを備えるイメージセンサユニットの少なくとも１つの異常画素値を修正する処理装置が提案され、イメージセンサユニットは各画素アレイ（１，２，３）に同一のイメージを投影するように実施され、処理装置（１５）は第１の画素アレイ及び第２の画素アレイの画素値を各々受け入れる少なくとも第１のチャンネル及び第２のチャンネル（１１，１２，１３）を備え、処理装置は（１５）は異常画素を修正画素値によって置き換えるように動作可能であり、その修正画素値は同一の画素アレイの異常画素の近隣の画素の値を評価することにより推定され、その修正画素値は、投影されたイメージについて第１の画素アレイの異常画素と同一位置で第２の画素アレイの対応する画素及びその近隣の画素の値を評価することにより推定される。

Description

本発明は、イメージセンサユニットの異常画素値を修正する処理装置、イメージセンサユニット及びそれぞれの方法に関し、特に、イメージセンサの少なくとも１つの異常画素値を修正する処理装置、イメージセンサ及び方法に関する。

イメージセンサは少なくとも第１の画素アレイ及び第２の画素アレイを備えている。イメージセンサユニットは同一のイメージを各画素アレイに投影するように実施され、処理装置は第１の画素アレイ及び第２の画素アレイの画素値を各々受け入れる第１の入力チャンネル及び第２の入力チャンネルを少なくとも備え、異常画素値を修正した画素値と取り替えるように動作する。修正した画素値は同一の画素アレイの異常画素の近くの画素の値を求めることにより推定される。

イメージセンサは、イメージが投影される１以上の画素アレイを備えている。階調イメージセンサ（白黒イメージセンサ）のためには１つの画素アレイで十分である。カラーイメージセンサには１より多い画素アレイが通常必要であり、更に正確には、３つの画素アレイが通常必要である。各画素アレイはイメージのカラー成分の情報を受信することに関与する。この関係において、色毎に１チップを有する３チップイメージセンサが知られ、それらの３チップに向かう元の入力イメージの広がりはプリズム及びカラーフィルタによってされる。

イメージセンサの１つの可能な実現はいわゆるＣＭＯＳセンサであり、それについては通常のＣＭＯＳ工程で製造することができる。その工程ではアナログディジタルコンバータ（ＡＤＣ）、ＣＭＯＳセンサからの読み出しのためのディジタルコントローラ、及び時として信号後処理のためのディジタル信号プロセッシングコア等の他の回路が単一チップで集積される。

ＣＭＯＳイメージセンサの利点は、低い供給電圧であり、１つの単一チップで他の回路の集積が可能なために低コストで製造することができることである。

しかしながら、ＣＭＯＳイメージセンサは、しばしば一定のパターンノイズ及びランダムな異常画素に悩まされ、それによってイメージにおいて異常画素はスポットノイズとして表れる。例えば、イメージの暗い部分に白いスポットは、過度の漏れ電流を有する画素のためであり、イメージの白い部分の暗いスポットは画素を覆う粒子のため、又は画素電子部品の異常で画素を無反応にさせるためである。異常画素は主に製造過程で生じ、一部は経時的に起きる。このスポットノイズは画質を大きく低下させる。しかしながら、経済的な理由で、また製造量を増加させるために、一部のランダムな異常画素がプロ装置用でさえ通常受け入れられる。この場合には、異常画素は単一の処理によって修正される。

この技術分野において画質を高めるために、イメージセンサの異常画素値の修正を改善することが一般に望まれている。

本発明の目的は、請求項１の特徴を有する処理装置によって、請求項１５の特徴を有するイメージセンサユニットによって、また、請求項２１の特徴を有する方法によって達成される。本発明の都合のよい又は好ましい実施形態は従属項、詳細な説明及び図面によって開示されている。

本発明によれば、イメージセンサユニットの少なくとも１つの異常画素値を修正することができる処理装置が提供される。通常、その処理装置は異常画素の特に結合した領域又は群がった領域の値を修正させるが、異常画素がより大きく群がった領域を有するセンサユニットが製造中に好ましくは選別されるように処理装置が１つの単一異常画素だけを有する結合した領域を修正するように実現される。

イメージセンサユニットはＣＭＯＳ又はＣＣＤのような技術に基づいており、作用する光を検知する少なくとも２つの二次元画素アレイを備え、その画素アレイは１以上のチップに配置されている。そのイメージセンサユニットは、入力イメージがその少なくとも２つの画素アレイに同時に投影させるように達成され、その少なくとも２つの画素領域は同一の空間イメージ部分を受け入れる。表現「イメージ」はここでは二次元アレイの光強度として用いられるが、現実のイメージに限定されなくても良い。

処理装置は、少なくとも２つの画素アレイに対応してその少なくとも２つの画素アレイからの読み出し値を受け入れる各入力チャンネルを示す。

通常、処理装置は、異常画素値を修正するために少なくとも１つの異常画素を修正した値によって取り替えるように構成される。修正した画素値は、異常画素と同一の画素アレイの近隣の画素の値を評価する、本発明によれば、第２の画素の近隣の画素（及び第３の画素アレイがあるならばその第３の画素アレイの対応する画素及びその近隣の画素）の各値を評価することにより発生され、その対応する画素は投影されるイメージについて異常画素と同一の位置に配置されている。表現の近隣の画素は、その異常画素に又は対応する画素に対して隣接して配置されている画素及び／又はその周囲に配置されている画素及び／又は直接隣り合う画素として配置されている画素を表している。

本発明の１つの発見は、他のアレイ又は複数の他のアレイの同一の位置で画素の情報と組み合わされた１つの画素アレイにおいて異常画素の近隣の情報を使用することが、非常に少ない又はできるだけ少ない動作（アーチファクト）だけで異常画素の失われた情報を再作成することを可能にする。特に、実際のイメージを見ると、様々な画素アレイからの情報間に多数の類似が通常あり、それにより構造上又は統計上の特徴は、様々な画素アレイの同一位置で少なくとも類似している。よって、他のアレイの対応する画素の情報を用いることは修正画素値の質を改善する１つの方法である。

好ましい実施形態においては、処理装置は、イメージセンサの第３の画素フィールドの画素値を受け入れる第３の入力チャンネルを備えている。この実施形態は、処理装置が３つの画素アレイを有するイメージセンサユニットと協働することを可能にし、それにより画素アレイの各々が入力イメージの１つのカラー成分を受け入れるように実施される。幅広いカラー分布、ひいては好ましい実現はＲＧＢカラースキームである。しかしながら、本発明はＲＧＢ分布に一般に制限されず、多くの画素フィールドを有するあらゆる種類のイメージセンサユニットを扱うことができる。

本発明の更に好ましい実施形態においては、処理装置は方向補間動作、すなわち方向最適化がされた補間動作によって異常画素の近隣の画素の値を評価するように構成される。方向補間動作は、異常画素の近隣の画素値の値の構造上の特徴のために様々な方向補間動作が様々な補間値を結果として生じることにおいて特徴付けられる。１つの可能な実施において、補間動作はラインに沿って行われ、そのラインは垂直（列）方向、水平（行）方向、第１の斜め方向、及び／又は第２の斜め方向に配置される。非常に簡単、ひいては都合の良い実施においては、方向補間は異常画素の隣に正反対に存在する画素の値の平均動作として行われる。方向補間動作を用いる１つの起こりうる利点は、イメージの細かな構成及びその他が低下されないことである。

本発明の可能な展開においては、処理装置が方向補間動作結果毎に信頼値を得るために第２の画素アレイ（及び第３の画素アレイがあるならばその第３の画素アレイ）の対応する画素及びその近隣の画素の値を用いるように構成され、信頼値は各方向補間動作の質についての数値である。更に、処理装置は異常画素の近隣の画素の値及び／又は重み付け方法の方向補間動作の結果を評価するように動作可能である。

信頼値の有意性を改善するために、信頼値が対応する画素及びその近隣の画素の値のライン毎の評価によって得られることが好ましい。特に、信頼値がライン方向の評価によって得られ、ラインは対応する又は各方向補間動作のラインに平行又は一致する。

可能な実際の実施において、信頼値は、対応する画素の２つの隣の画素間の平均値を計算することによって得られ、その２つの隣の画素は方向補間動作のラインに平行又は一致したライン上に正反対に存在する。次のステップにおいて、その平均値は対応する画素の値から差し引かれる。更に任意のステップにおいて、各方向補間動作の結果は加算される。

修正画素値を推定するために、処理装置は好ましくは対応する信頼値に応じて例えば、重み付け方法で様々な方向補間結果を組み合わせるように構成される。

本発明の更なる構成は、請求項１０の特徴を有するイメージセンサユニットである。そのイメージセンサユニットは、好ましくは３つのチップに区分されている３つの画素アレイを備え、それによりイメージセンサユニットは１つのカラー当たり１チップを有する３チップカメラである。そのイメージセンサユニットは元の入力イメージを３つの部分イメージに分散する手段を備え又はと接続され、各々は元のイメージの１つのカラー成分、赤緑青（ＲＧＢ）を表す。その分散する手段は好ましくはプリズム及びカラーフィルタの組み合わせとして実現される。結果として、同一のイメージ領域が各画素アレイに投影される。

本発明によれば、イメージセンサユニットは前述の請求項に記載したように及び／又は上記したように処理装置を備えている。

好ましい実施形態において、イメージセンサユニットはＣＭＯＳ技術に基づいており、それにより各画素アレイはＣＭＯＳ技術で製造された基本的な画素セルのアレイであり、各々が例えば、フォトダイオード及び３つのトランジスタを備えている。選択的に、処理ユニットもＣＭＯＳ技術で製造されたり、及び／又は画素アレイチップのいずれか１に及び／又は他のチップに追加の回路として配置される。

構造上の観点から、処理装置及び／又はイメージセンサユニットは、異常画素値を補間する複数の方向補間器を備える。これに関連して、方向補間器は信頼値を計算する手段も備えることが好ましい。

任意の実施において、処理装置及び／又はイメージセンサユニットはソフトスイッチブロックを備える。ソフトスイッチブロックは各信頼値に応じて補間動作の結果を混合して修正画素値を算出するように動作可能である。

置換スイッチブロックは任意に備えられ、置換スイッチブロックは異常画素値を修正画素値によって変換又は置き換えるように動作可能である。

更に、異常画素及び／又は異常画素値を検出する手段が処理装置及び／又はイメージセンサユニットに実装される。

本発明の更なる構成は請求項１６の特徴を有する異常画素値を修正する方法である。その方法は好ましくは前述の請求項又は説明の処理装置及び／又はイメージセンサユニットで実行される。その方法は、同一の第１の画素アレイで異常画素の周囲に配置された近隣の画素値を評価することにより異常画素値の方向補間値を計算するステップと、第２の画素アレイの同一イメージ位置に配置されている対応する画素及びその近隣の画素の値を評価することにより補間値毎に信頼値を計算するステップと、信頼値に応じて補間値を混合して修正画素値を発生するステップと、異常画素値を修正画素値で置き換えるステップとを備える。

本発明の特徴、利点及び／又は効果は、本発明の好ましい実施形態の次の詳細な説明及び図面によって開示される。

本発明による方法の実施形態としてフロー図を示す図である。 図１における方法と関連して特定の表現を定義するための３チップカメラの３つの画素アレイの概略図である。 図１の補間ステップと信頼値の計算ステップとを説明するための概略図である。 図１の補間ステップと信頼値の計算ステップとを説明するための概略図である。 図１の補間ステップと信頼値の計算ステップとを説明するための概略図である。 図１の補間ステップと信頼値の計算ステップとを説明するための概略図である。 本発明の実施形態として、図１の方法と関連して用いることができる処理装置の概略ブロック図である。 図７の異常画素修正ブロックの１つを更に詳細に示した概略ブロック図である。 図８の補間ブロックの１つを更に詳細に示した概略ブロック図である。 図８のソフトスイッチブロックを更に詳細に示した概略ブロック図である。 図１０の単一スイッチブロックを更に詳細に示した概略ブロック図である。 図８の置換スイッチブロックを更に詳細に示した概略ブロック図である。

次の説明において、同一の又は同様の参照符号は同一の又は同様の部品を示している。

図１は、本発明の第１の実施形態としてイメージセンサの異常画素値を修正するための方法を示すフロー図である。その方法は、３チップＣＭＯＳカメラ（図示せず）と関連して実行され、それにより入力イメージのカラー成分が例えば、プリズム及びカラーフィルタによって３つのチップに分配される。３つのチップ各々は複数の基本画素セルの二次元フィールドを有する画素アレイを担い、基本画素セル各々はフォトダイオードのような光検出素子と、例えば、３つのトランジスタを有する基本読み出し回路とを備えている。

製造処理のため又は耐用期間内に基本画素セルの一部は異常であるか又は異常になり、３チップＣＭＯＳカメラの出力イメージ上にスポットノイズを作り出す。概略で言うと、２つの異なる種類のスポットノイズが度々生じ、それは画素を覆う粒子又は画素電子部品の異常のために故障した／暗い画素であり、その画素を無反応にさせ、また、過剰の漏れ電流を有する画素のためにイメージの暗い部分に白いスポットである漏れ画素となる。

図１に示された如き方法の目的は、３チップＣＭＯＳカメラから視覚的異常を排除した出力イメージを配布するためにそのような異常画素を補間することである。これは、異常画素の失われた情報を再作成するために同一位置で他の複数のカラーの画素の情報と組み合わせられた１つのカラーについての異常画素の近隣の情報を用いることにより達成される。

ここで、各々が３チップＣＭＯＳカメラのチップのうちの１つを表す第１の画素アレイ１、第２の画素アレイ２、及び第３の画素アレイ３を概略的に示す図２が参照される。入力の元のイメージから、第１の画素アレイ１は赤成分を受け入れるように構成され、第２の画素アレイ２は緑成分を受け入れるように構成され、第３の画素アレイ３は青成分を受け入れるように構成される。元のイメージがＲＧＢ成分に分割される。ここ以降、第１の画素アレイ１の位置Ｒ（ｘ，ｙ）の画素が異常画素４と仮定される。しかしながら、各他の画素アレイの各他の画素については類似の方法で使用することができる。

定義のために同じ第１の画素アレイ１の異常画素４の周囲の画素は近隣の画素５と名付けられ、Ｒ（ｘ−１，ｙ−１）からＲ（ｘ＋１，ｙ＋１）までの位置によって参照される。同一位置の他の２つの画素アレイ２，３の画素は、対応する画素６，７と名付けられ、位置Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）によって各々参照される。対応する画素６，７の周囲の画素は近隣の画素８，９と各々名付けられ、近隣の画素５と類似の方法で定義される。

様々な画素アレイの画素が同一位置にあるという表現はそれらの画素が出力イメージのＲＧＢイメージポイントを共に形成することを意味する。

ここで図１を参照すると、方法の第１のステップ１００は近隣の画素５を評価することにより異常画素４についての方向補間値の計算である。その方向補間値の計算については４つの主方向、図３による垂直補間、図４による水平補間、図５による第１の斜め補間及び図６による第２の斜め補間が評価される。各方向補間は近隣の画素５の２つの画素の値の平均値を計算することにより実行され、前記２つの画素は各主方向のライン上にあり、異常画素５を囲む。垂直方向については位置Ｒ（ｘ，ｙ−１）及びＲ（ｘ，ｙ＋１）の画素の平均値が方向補間値として計算される。

第２のステップ２００においては、方向補間値毎の信頼値は第２及び第３の画素アレイ２，３の対応する画素６，７及び近隣の画素８，９の値を評価することにより推定される。例として、垂直補間値についての信頼値は次の式によって推定される。
vert_confidence = abs(G(x,y)-(G(x,y-1)+G(x,y+1))/2)+abs(B(x,y)
-(B(x,y-1)+B(x,y+1))/2)+abs(R(x,y-1)-R(x,y+1))/2))

他の主方向に関する信頼値は類似の方法で計算される。vert_confidenceの値が小さいほど、この方向の補間された値における信頼が大きくなる。

第３のステップ３００においては、方向補間動作の結果が信頼値に応じて重み付け方法で混合される。この動作はブランキング画素を避けるために行われる。混合動作はステップ単位で行われ、第１のステップにおいて２つの方向補間値が各々混合され、第２のステップにおいてその結果の２つの中間値が混合される。混合動作の結果として修正画素値が出力される。混合動作の詳細については図１０及び図１１が参照される。

第４のステップ４００においては、異常画素値が修正画素値によって置き換えられ、それにより出力イメージは異常画素値に代わって推定した修正画素値を備え、よって出力イメージの質を著しく改善する。

図７は、処理装置１０の第１の実施形態を概略ブロック図として示している。処理装置は例えば、ＣＭＯＳ技術において実現され、上記の３チップカメラの一部である。処理装置１０は、３つの入力チャンネル１１，１２，１３を備え、第１の入力チャンネルは第１の画素アレイ１の赤画素値を受け入れるように構成され、第２の入力チャンネルは第２の画素アレイ２の緑画素値を受け入れるように構成され、第３の入力チャンネルは第３の画素アレイ３の青画素値を受け入れるように構成される。チャンネルの各々は、異常画素についての１ビット値（この信号は対応する画素が異常であるとき１に等しく、それ以外のとき０に等しい）を受け入れるために情報セクション、例えば、Red_in[11:0]に分割される。

入力信号が基本的にメモリからなる画素配分ブロック１４に供給される。次に、画素値は異常画素修正ブロック１５，１６，１７のいずれか１に導かれ、各ブロックは修正画素値を発生するために２６の画素値を受け入れる。赤異常画素修正ブロック１５は例えば、図２及び図８の状況において近隣の画素５，８，９各々の８値（すなわち、２４値）と対応する画素６，７の２値（すなわち、２値）を受け入れる。図１と関連して既に説明したように、異常画素値、例えば、異常画素４は修正画素値によって置き換えられ、処理装置１０の出力チャンネル１８，１９，２０に供給され、出力チャンネル１８，１９，２０の信号は異常画素値に代わってその置き換えられた修正画素値を示す。

図８は更に詳細な概略ブロック図において赤異常画素修正ブロック１５を示している。緑異常画素修正ブロック１６及び青異常画素修正ブロック１７は同様に構成される。

赤異常画素修正ブロック１５は４つの同一の方向補間器ブロック２１，２２，２３，２４によって構成され、それらの方向補間器ブロック２１，２２，２３，２４は各方向について補間値と、図３〜図６と関連して説明したように補間値に対する信頼に応じた信頼値とを発生する。ソフトスイッチ２５は特にブランキング画素を避けるために信頼値に応じて異なる補間値を混合する。置換スイッチブロック２６は、Red_defect(x,y)ビットに応じて入力値と修正値との間を切り換えるだけである。

図９は、垂直補間器ブロック２１を更に詳細にブロック図として示している。他の補間器２２，２３，２４は、入力を除いて同一又は類似であり、例として垂直補間器ブロック２１だけが説明される。垂直補間器ブロック２１は、補間方向の２つの近隣の画素（図３も参照）間の平均である補間値vert_interpolation[11:0]を発生する。vert_confidence[13:0]値は上記した式によって計算される。一部の動作を省くために、異なる方向補間器ブロック２１，２２，２３，２４によって一部の結果を共有することができる。例えば、赤補間器ブロック、緑補間器ブロック及び青補間器ブロックの補間値が計算されるならば、それらの値を赤垂直信頼値Red_vertical_confidenceの計算のために用いることができる。また、値abs(G(x,y)-(G(x,y-1)+G(x,y+1))/2)を赤垂直信頼値Red_vertical_confidenceの計算及び青垂直信頼値Blue_vertical_confidenceの計算のために用いることができる。それで、値abs(G(x,y)-(G(x,y-1)+G(x,y+1))/2)及びabs(B(x,y)-(B(x,y-1)+B(x,y+1))/2)のいずれか一方だけをこのブロックで計算しても良い。例えば、abs(G(x,y)-(G(x,y-1)+G(x,y+1))/2)が計算されるべきならば（それは、abs(G(x,y)-Green_vertical_interpolation)に等しい）、緑垂直補間器において計算されるabs(B(x,y)-(B(x,y-1)+B(x,y+1))/2)の値を用いることができる。垂直補間器ブロック２１及び他の補間器２２，２３，２４の出力値は、図１０に詳細に示されるソフトスイッチ２５に供給される。

図１０のソフトスイッチ２５は、信頼値に応じて補間器２１，２２，２３，２４からの補間値を併合又は混合する。その混合動作はステップ単位で行われ、第１のステップでは、第１の単一スイッチブロック２７において垂直補間器２１及び第１の斜め補間器２２からの補間値が混合される。第１の単一スイッチブロック２７に並列な第２の単一スイッチブロック２８においては水平補間器２１及び第２の斜め補間器２２からの補間値が混合される。単一スイッチブロック２７及び２８の各々は中間補間値及び中間信頼値を発生し、それらは第３の単一スイッチブロック２９に導かれる。第３の単一スイッチブロック２９はその中間補間値を混合して修正画素値interpolated_pixel[11:0]とし、それを置換スイッチブロック２６に供給する。その単一スイッチブロック２７，２８，２９の混合動作は図１１と関連して第１の単一スイッチブロック２７の例によって説明される。

図１１の概略ブロック図に示されたように、第１の単一スイッチブロック２７は、入力値として、垂直補間器２１からの値vert_interpolation[11:0]、各信頼値vert_confidence[13:0]、第１の斜め補間器２２からの値diag1_interpolation[11:0]、各信頼値diag1_confidence[13:0]を受け入れる。出力値として、第１の単一スイッチブロックは中間補間値vert_diag1_interpolated_pixel[11:0]及び各信頼値vert_diag1_confidence[13:0]を発生する。

中間補間値vert_diag1_interpolated_pixelは、vert_interpolation, diag1_interpolation and (Vert_interpolation+diag1_interpolation)/2 - sign(vert_interpolation - diag1_interpolation)*(vert_confidence-diag1_confidence)の中央値に等しい（３値の中央値は他の２つの間の値である）。

これは、中間補間値vert_diag1_interpolated_pixelが２つの入力値（vert_interpolation及び diag1_interpolation）間にあることを意味する。２つの信頼値が等しいならば、この中間補間値はそれらの２つの入力値の平均に等しく、それ以外ならば、中間補間値はより小さい信頼値を有する入力値により接近する（又は等しい）。

vert_diag1_confidenceは２つの信頼値の最小値に等しい（この値が使用されないので第３の単一スイッチブロック２９はこの計算を必要としない）。

置換スイッチブロック２６は入力値として修正画素値interpolated_pixel[11:0]又は記述した例におけるred_interpolated_pixel[11:0]を受け入れる。更に、問題となっている画素の読み出し値と、入力チャンネル１１のエラー部分red_defect(x,y)とが入力値として定められる。そのエラー信号red_defect(x,y)に応じて置換スイッチブロック２６は未修正画素値（red_defect(x,y)=0ならば、すなわち異常画素なし）又は修正画素値red_interpolated_pixel[11:0]（red_defect(x,y)=01ならば、すなわち異常画素）を発する。

Claims (21)

1. イメージセンサユニットの少なくとも１つの異常画素値を修正する装置（１５）であって、
   前記イメージセンサユニットは少なくとも第１の画素アレイ及び第２の画素アレイ（１，２，３）を有し、各画素アレイ（１，２，３）にほぼ同一のイメージの描写を投影するように構成され、
   前記装置（１５）は、前記第１の画素アレイ及び前記第２の画素アレイの画素値を各々受け入れる少なくとも第１の入力チャンネル及び第２の入力チャンネル（１１，１２，１３）を備え、
   前記装置（１５）は、前記第１の画素アレイの異常画素値を修正画素値で置換するように動作可能であり、前記修正画素値は前記第１の画素アレイの異常画素の近隣の画素の値から決定され、
   前記修正画素値は投影されたイメージについて前記第１の画素アレイの前記異常画素と同一位置の前記第２の画素アレイの対応する画素及びその近隣の画素の値から決定され、
   前記対応する画素（６，７）の値及び／又はその近隣の画素（８，９）の値は前記異常画素（４）の近隣の画素（５）の値を重み付け方法で評価するための信頼値を得るために用いられることを特徴とする装置。
2. 前記イメージセンサユニットの第３の画素アレイの画素値を受け入れる第３の入力チャンネル（１３）を更に備えることを特徴とする請求項１に記載の装置（１５）。
3. 前記装置は、方向補間によって前記異常画素の近隣の画素の値を評価するように構成され、前記方向補間の動作はラインに沿って行われ、前記ラインは垂直方向、水平方向、第１の斜め方向及び／又は第２の斜め方向に配置され、前記異常画素値について様々な方向補間動作結果が得られることを特徴とする請求項１又は２のいずれか1項に記載の装置（１５）。
4. 前記対応する画素（６，７）の値及び／又はその近隣の画素（８，９）の値は前記方向補間動作結果毎に前記信頼値を得るために用いられ、前記信頼値は各方向補間の質についての数値であることを特徴とする請求項３記載の装置（１５）。
5. 前記信頼値はライン方向の評価によって得られ、前記ラインは対応する又は各方向の補間動作のラインに平行又は一致することを特徴とする請求項３又は４のいずれか1項に記載の装置（１５）。
6. 前記信頼値は前記対応する画素の２つの隣接画素間の平均値を算出し、前記対応する画素の値から前記平均値を差し引くことによって得られ、前記２つの隣接画素は前記方向補間動作のラインに平行又は一致したライン上に正反対に位置していることを特徴とする請求項３乃至５のいずれか１項に記載の装置（１５）。
7. 前記信頼値は前記近隣の画素（５）の値、ひいては前記重み付け方法で前記異常画素（４）の前記様々な方向補間動作結果を評価するために用いられることを特徴とする請求項３乃至６のいずれか１項に記載の装置（１５）。
8. 前記方向補間動作結果は、前記修正画素値を生成するために、前記信頼値に応じて混合されることを特徴とする請求項３乃至７のいずれか１項に記載の装置（１５）。
9. 前記第１、第２及び第３の入力チャンネル（１１，１２，１３）は、好ましくはイメージの赤成分、緑成分及び青成分に対応する画素値を受け入れる３つのカラーチャンネルであることを特徴とする請求項２乃至８のいずれか１項に記載の装置（１５）。
10. 前記異常画素（４）の前記近隣の画素（５）から修正画素を決定することは、方向最適化される補間動作を含むことを特徴とする請求項１乃至９のいずれか１項に記載の装置（１５）。
11. 前記補間動作は、垂直方向、水平方向、第１の斜め方向、及び／又は第２の斜め方向の補間を含むことを特徴とする請求項３乃至１０のいずれか１項に記載の装置（１５）。
12. 前記信頼値は、前記補間方向に応じて得られることを特徴とする請求項３乃至１１のいずれか１項に記載の装置（１５）。
13. 補間方向毎に前記信頼値のいずれか１が得られ、前記信頼値の各々は前記対応する画素の値と補間方向における前記対応する画素の前記近隣の画素の値との差を表すことを特徴とする請求項３乃至１２のいずれか１項に記載の装置（１５）。
14. 前記様々な補間方向における前記補間動作の結果は、前記信頼値の各々に応じて組み合わされることを特徴とする請求項３乃至１３のいずれか１項に記載の装置（１５）。
15. 第１の画素アレイ、第２の画素アレイ及び第３の画素アレイ（１，２，３）を有するイメージセンサユニットであって、
    当該イメージセンサは前記第１ないし第３の画素アレイの各々に同一のイメージ領域を投影するように構成され、
    請求項１乃至１４のいずれか１項に応じた装置を備えることを特徴とするイメージセンサユニット。
16. 前記画素アレイはＣＭＯＳセンサ型であること特徴とする請求項１５に記載のイメージセンサユニット。
17. 前記異常画素値を補間する複数の方向補間器（２１，２２，２３，２４）を更に備えること特徴とする請求項１５又は１６のいずれか1項に記載のイメージセンサユニット。
18. 前記方向補間器（２１，２２，２３，２４）は前記信頼値を算出するように動作可能であることを特徴とする請求項１７に記載のイメージセンサユニット。
19. 前記修正画素値を生成するために、前記信頼値の各々に応じて前記方向補間器（２１，２２，２３，２４）の結果を混合するように動作可能なソフトスイッチブロック（２５）を更に備えることを特徴とする請求項１７又は１８のいずれか１項に記載のイメージセンサユニット。
20. 前記異常画素値を前記修正画素値で置き換えるように動作可能な置換スイッチブロック（２６）を更に備えることを特徴とする請求項１５乃至１９のいずれか１項に記載のイメージセンサユニット。
21. イメージセンサユニットの第１の画素アレイの異常画素値を修正する方法であって、
    前記第１の画素アレイの異常画素の近隣の画素から様々な補間方向の前記異常画素についての値を補間するステップと、
    少なくとも第２の画素アレイのうちの、前記画素アレイに投影されたイメージについての前記異常画素と同一位置に配置された対応する画素とその近隣の画素とを評価することにより補間方向毎に信頼値を決定するステップと、
    前記信頼値各々に応じて重み付け方法で様々な方向の補間の結果を混合して修正画素値を生成するステップと、
    前記異常画素値を前記修正画素値で置き換えるステップと、を備える方法。

Images