JP2009516256A - モザイクドメインにおける画像向上 - Google Patents

Abstract

画像処理装置が、各々のモザイク画像センサに入射されるような異なるそれぞれの色の光に応答する複数の入力サブ画像に属する入力ピクセル値のストリームを生成するように構成されるモザイク画像センサ（２４）を備える。画像回復回路（２６）は、各々の入力サブ画像中の入力ピクセル値を受信し、ディジタルフィルタリングを行って対応する複数の向上した出力サブ画像を生成するように接続されている。画像信号プロセッサ（ＩＳＰ）（２８）は、複数の出力サブ画像を受信し結合させてカラービデオ出力画像を生成するように接続されている。

Description

本発明は、一般にディジタル画像処理に関し、特に、ディジタルカメラにおける画像品質を向上させるための方法および装置に関する。

関連出願の相互参照
本願は、本願の特許出願と同じ譲受人に譲受され、かつ、その開示内容が引用によって本願明細書に取り込まれている２００５年１１月１０日出願の米国仮特許出願第６０／７３５，５２０号の優先権の利益を主張する。

ディジタルカメラで使用される対物光学装置は、通常、サイズ、コスト、アパーチャサイズ、およびカメラ製造業者が課す他の要因の制限のため、光学点広がり関数（ＰＳＦ（optical point spread function））を最小化し変調伝達関数（ＭＴＦ（modulation transfer function））を最大化するように設計される。この結果として得られる光学系のＰＳＦは、焦点変化および収差のために、依然として理想状態から離れていることがある。ディジタル画像処理によって上記のようなＰＳＦの偏差を補償するためのいくつかの方法が、当業技術分野で知られている。例えば、その開示内容が引用によって本願明細書に取り込まれている米国特許第６，１５４，５７４号公報は、画像処理システムで、焦点のずれた画像の焦点をディジタル的に合わせる方法を説明している。焦点のずれた画像をサブ画像に分割し、各々のサブ画像中のエッジ方向についてステップ応答を計算することによって平均ステップ応答が得られる。この平均ステップ応答を使用してＰＳＦ係数を計算し、このようにして計算されたＰＳＦ係数を適用して画像回復伝達関数を決定する。周波数ドメインでこの画像回復伝達関数に焦点のずれた画像を乗算することによって、焦点の合った画像が得られる。

その開示内容が引用によって本願明細書に取り込まれているＰＣＴ国際出願ＷＯ２００４／０６３９８９ Ａ２号公報は、画像感知アレイと、（通常デコンボリューションフィルタ（ＤＣＦ）の形態の）ボケ除去関数をアレイが出力する信号に適用して、ボケを低減させた出力画像を生成する画像プロセッサとを備える電子画像処理カメラを記述している。このようなボケの低減は、固有のＰＳＦが良好でないカメラ光学装置の設計および使用を可能にする一方で、画像感知アレイにより生成された電子画像を回復して許容可能な出力画像が得られるようにするものである。

低コストのカラービデオカメラは、通常、多色モザイクフィルタオーバレイを具備する単一のソリッドステート画像センサを使用する。モザイクフィルタは、フィルタ素子が画像センサの各々の検出素子の前に配置された小型カラーフィルタ素子のマスクである。例えば、その開示内容が引用によって本願明細書に取り込まれている米国特許第４，６９７，２０８号公報は、ソリッドステート画像感知素子と相補的なカラータイプモザイクフィルタとを有するカラー撮像装置を記述している。モザイク中の色の選択および配置に関係なく、カラーモザイクフィルタを有する何らかの種類の画像センサを以下「モザイク画像センサ（mosaic image sensor）」と呼ぶこととする。

モザイクフィルタ中のフィルタ素子は一般に、ＲＧＢ三原色または相補的な色であるシアン、マゼンタ、イエローが交互に並ぶ。１つの一般的な種類のカラーモザイクフィルタは「バイエルセンサ（Bayer sensor）」または「バイエルモザイク（Bayer mosaic）」と呼ばれるもので、下記の〔表１〕に示すような一般的な形態（文字は色を表し、Ｒは赤、Ｇは緑、Ｂは青である）を有する。

異なる色のフィルタはそれぞれの通過帯域を有し、それらは重なり合うことがある。バイエルモザイクフィルタは、その開示内容が引用によって本願明細書に取り込まれている米国特許第３，９７１，０６５号公報に記載されている。

モザイク画像センサが生成した画像の処理は、通常、センサ出力から３つの色信号（赤、緑および青）を抽出してフルカラー画像を復元することを伴う。画像信号プロセッサ（ＩＳＰ（image signal processor））は画像センサ出力を処理し、出力画像の各ピクセルについてルミナンス（Ｔ）およびクロミナンス（Ｃ）値を計算する。そして、ＩＳＰは、標準ビデオフォーマットでこれらの値（または対応するＲ、ＧおよびＢの色値）を出力する。

本発明の実施形態に係る画像処理装置および画像処理を行う方法は、電子画像、特にモザイク画像センサが生成した画像を処理および向上させる装置および方法を提供する。センサは、複数の入力サブ画像に属する入力ピクセル値のストリームを出力するが、この入力サブ画像は各々、モザイク画像センサに入射されるような異なるそれぞれの色の光によるものである。画像回復回路は、各々の入力サブ画像中のピクセル値に対するフィルタリングを行って、ボケの低減等により品質が向上した対応する出力サブ画像を生成する。そして、画像信号プロセッサ（ＩＳＰ）は、出力サブ画像を結合させてカラービデオ出力画像を生成する。

このような手法は、ボケ除去の前にまずモザイクサブ画像を結合させてカラー出力画像を復元する従来の方法と比較して、より優秀な結果が得られることが判明している。さらに、いくつかの実施形態では、画像回復回路が生成する出力サブ画像のフォーマットは、モザイク画像センサが生成する入力サブ画像と同一なので、画像回復回路は、センサまたはＩＳＰの設計をわずかに変更するかまたは全く変更せずに、センサとＩＳＰとの間で、既存のセンサ／ＩＳＰの組み合わせと一体化することもできる。

したがって、本発明の実施形態によれば、各々のモザイク画像センサに入射されるような異なるそれぞれの色の光に応答する複数の入力サブ画像に属する入力ピクセル値のストリームを生成するように構成されるモザイク画像センサと、各々の入力サブ画像中の入力ピクセル値を受信し、ディジタルフィルタリングを行って対応する複数の向上した出力サブ画像を生成するように接続されている画像回復回路と、複数の出力サブ画像を受信し結合させてカラービデオ出力画像を生成するように接続されている画像信号プロセッサ（ＩＳＰ）とを備える画像処理装置が提供される。

好ましくは、本発明の実施形態では、入力サブ画像と出力サブ画像とは同一のフォーマットを有しており、それゆえに、ＩＳＰは、出力サブ画像または入力サブ画像のいずれかを受信し結合させるように接続されることが可能である。通常、複数の入力サブ画像中の入力ピクセル値は、所定のインタリーブパターンで、モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、出力サブ画像は、画像回復回路が所定のインタリーブパターンに従って出力ピクセルストリームにインタリーブされる出力ピクセル値を含む。

いくつかの実施形態では、各々の入力サブ画像は入力ボケを有し、出力サブ画像は、画像回復回路によるフィルタリングの後、入力ボケより小さい出力ボケを有する。１つの実施形態では、画像処理装置は、入力ボケを生じる光学点広がり関数（ＰＳＦ）を有する対物光学装置を有し、画像回復回路は、ＰＳＦに従って決定されたフィルタカーネルを有するデコンボリューションフィルタ（ＤＣＦ）を含む。ＰＳＦは画像センサの平面にわたって変化することがあり、画像回復回路は、画像センサの平面にわたるＰＳＦの変化に応じて画像センサの異なる範囲からの入力ピクセル値に異なるフィルタカーネルを適用するように配置してもよい。追加的または代替的に、画像回復回路は、入力サブ画像の特性に応じて入力ピクセル値に異なるフィルタカーネルを適用するように配置してもよい。

いくつかの実施形態では、モザイク画像センサは、バイエルモザイクパターンに配置されるフィルタのアレイを含む。１つの実施形態では、入力ピクセル値は、緑と青のピクセルが交互になった第１の行と、緑と赤のピクセルが交互になった第２の行とを含み、画像回復回路は、第１の行と第２の行との間の緑ピクセルの感度の変化を補償するように接続される緑バランスユニットを含む。感度の変化はモザイク画像センサの範囲にわたって不均一なことがあり、緑バランスユニットは、感度の不均一な変化に応じて不均一な補償を適用するように配置してもよい。

開示される実施形態では、画像処理装置は、所定のボケを伴って光の焦点をモザイク画像センサに合わせるように構成される対物光学装置を含み、画像回復回路は、各々の入力サブ画像中の隣接ピクセルの入力ピクセル値から、ボケに従って決定された最大差を越える値だけ異なる入力ピクセル値を有する不良ピクセルを識別して不良ピクセルの入力ピクセル値を補正するスパイク除去ユニットを備える。

いくつかの実施形態では、画像回復回路は、各々の入力サブ画像に対するディジタルフィルタリングを行ってサブ画像中のノイズを低減させるように配置されるノイズフィルタを備える。１つの実施形態では、ノイズフィルタは、入力サブ画像中の局所勾配の方向および大きさを決定し、その方向および大きさに応じてノイズを低減させる際に適用されるフィルタカーネルを選択するように配置される。

追加的または代替的に、画像回復回路は、ノイズフィルタによるノイズ低減を行った後に、入力サブ画像に対するフィルタリングを行うように配置されるデコンボリューションフィルタ（ＤＣＦ）を備える。１つの実施形態では、画像回復回路は、入力画像中のエッジ領域を識別して、ＤＣＦがエッジ領域内ではノイズフィルタリングなしに入力ピクセル値を受信し、エッジ領域外ではノイズフィルタからノイズを低減させた入力ピクセル値を受信するようにＤＣＦへの入力を制御するように配置されるエッジ検出器を備える。エッジ検出器は、エッジピクセルを検出するように配置してもよく、画像回復回路は、エッジピクセルの周囲のエッジ領域にピクセルを追加することによってエッジ領域を拡大するように配置される拡大ユニットを備えてもよい。通常、拡大ユニットは、エッジ検出器から入力サブ画像の中で第１のものにおけるエッジピクセルの識別情報を受信して、エッジ領域に入力サブ画像の中で少なくとも第２のものにおけるエッジピクセルの付近のピクセルを追加するように配置される。

開示される実施形態では、画像回復回路は、入力サブ画像を所定のサイズのカーネルとコンボリューションするように配置されるディジタルフィルタと、入力サブ画像の周囲のピクセル値の、フィルタカーネルのサイズに応じて選択された幅を有するマージンを追加するように配置されるフレーミング拡張ユニットとを備える。

いくつかの実施形態では、複数の入力サブ画像中の入力ピクセル値は所定のインタリーブパターンで、モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、画像回復回路は、各々の入力サブ画像を、インタリーブパターンに応じてマスクされたそれぞれのカーネルとコンボリューションし、各々の入力サブ画像を他の入力サブ画像と別個にフィルタリングするように配置されるディジタルフィルタを備える。

また一方で、本発明の実施形態によれば、モザイク画像センサから、各々のモザイク画像センサに入射されるような異なるそれぞれの色の光に応答する複数の入力サブ画像に属する入力ピクセル値のストリームを受信するステップと、各々の入力サブ画像中の入力ピクセル値に対するディジタルフィルタリングを行って対応する複数の向上した出力サブ画像を生成するステップと、画像信号プロセッサ（ＩＳＰ）において出力サブ画像を結合させてカラービデオ出力画像を生成するステップとを有する、画像処理を行う方法が提供される。

本発明は、図面に基づいてなされる実施形態の以下の詳細な説明から、より完全に理解されるであろう。

概要
図１は、本発明の実施形態に係る電子画像処理カメラ２０を概略的に例示するブロック図である。この特定の、単純化されたカメラの設計は、本発明の原理を明確かつ具体的にするために、一例として示すものである。しかしながら、本発明の原理はこの設計に制限されるものではなく、センサが異なる色の多数のサブ画像を生成した後に、これらのサブ画像を結合させて向上したカラー出力画像を生成するような異なる種類の画像処理システムにおける画像のボケを低減させる際にも適用されてもよい。

カメラ２０では、対物光学装置２２は、被写体からの光の焦点をモザイク画像センサ２４に合わせる。このカメラでは、ＣＣＤまたはＣＭＯＳ画像センサといったような、何らかの適切な種類の画像センサを使用してよい。この例および以下の記載では、センサはバイエル型モザイクフィルタであり、センサが出力する画像信号中の各々のピクセル３２が赤、緑または青のいずれかの光に応答する。すなわち、モザイクセンサの出力は、対応するセンサ素子のピクセル値から構成される赤、緑および青のサブ画像を備えるものとして見ることができる。異なるサブ画像に属するピクセル値は、通常、モザイクフィルタの色要素の順序に従って出力信号でインタリーブされる。すなわち、センサはＲＧＲＧＲＧ．．．の１つの行（赤および緑の交互のフィルタ）、それに続くＧＢＧＢＧＢ．．．の次の行、および以下同様に続く交互の行を出力する。代替的には、以下に説明する方法および回路は、他の種類のモザイクセンサパターンに準用してもよい。

画像センサ２４が出力するピクセル値のストリームは、ディジタルの回復回路２６が受信して処理する。以下の図を参照してこの回路を詳細に説明する。ピクセル値は、回路２６による処理の前にアナログディジタル変換器（図示せず）でディジタル化するが、このアナログディジタル変換器は、センサ２４または回路２６と一体でもよく、また独立した構成要素でもよい。いずれにしても、以下説明するように、回路２６は、センサ２４が生成した赤、緑および青の入力サブ画像を処理して、画像のボケを低減させる。そして、回路２６はボケを低減させた赤、緑および青のサブ画像を出力する。

通常、回路２６は、センサ２４からサブ画像を受信したのと同じフォーマットでサブ画像を出力する。例えば、回路２６は出力サブ画像中のピクセル値をインタリーブして、ピクセル値がセンサ２４からの入力ピクセル値と同じインタリービングを有する単一の出力ストリームを生成してもよい。代替的には、回路２６は、各々のサブ画像に対するデマルチプレクス処理を行って、別個のデータブロックまたはデータストリームとして出力してもよい。

ＩＳＰ２８は、回復回路２６からボケを除去した赤、緑および青の出力サブ画像を受信し、サブ画像を結合させて標準ビデオフォーマットのカラービデオ出力画像（または画像シーケンス）を生成する。この出力画像はビデオ画面３０上に表示されてもよく、また通信リンク上で伝送されてもよく、および／またはメモリに格納されてもよい。回路２６がセンサ２４からサブ画像を受信したのと同じフォーマットでサブ画像を出力する実施形態では、ＩＳＰ２８を互換的に使用して回路２６からの出力またはセンサ２４からの出力を直接処理してもよい。このような回復回路（回路）２６の特徴は、とりわけ、センサまたはＩＳＰの修正なしに既存のセンサおよびＩＳＰと共に回復回路を使用できる点で有利である。また、センサとＩＳＰとの間のバイパスリンク（図示せず）を有効化または無効化することによって、回路２６の回復機能を簡単にオンオフ切り換えすることも可能になる。

ＩＳＰ２８が生成したカラービデオ出力画像は、通常、画像中の各々のピクセルについてのルミナンスおよび色の両方の情報を含む。この情報は、ルミナンスおよびクロミナンス（例えばＹ／Ｃ、または他の色座標）または個々の色値（ＲＧＢ等）について符号化してもよい。これとは対照的に、回復回路２６が処理および出力するサブ画像は、それらが表す特定の色についての輝度情報のみを含む単色画像である。各々のサブ画像は、カラービデオ出力画像中に現れるピクセルの部分集合、すなわち、対応するカラーフィルタに覆われた画像センサの素子が生成するピクセルのみを含む。換言すれば、図１に示すバイエルマトリックスの例では、ＲおよびＢのサブ画像は各々の出力画像中のピクセルの４分の１を含み、Ｇのサブ画像は残りの２分の１を含む。

通常、回復回路２６およびＩＳＰ２８は、１つまたはそれより多い集積回路チップにおいて具現化されており、カスタムまたはセミカスタム素子のいずれかを備えてもよい。図１では、回復回路２６およびＩＳＰ２８を別個の機能ブロックとして図示しているが、回復回路およびＩＳＰの機能は単一の集積回路素子として実現してもよい。オプションで、画像センサ２４は、回路２６および場合によってはＩＳＰ２８とも、システムオンチップ（ＳｏＣ）またはカメラオンチップ設計の同じ半導体基板上で、結合させてもよい。代替的には、回復回路２６およびＩＳＰ２８の機能の一部または全部は、ディジタル信号プロセッサのようなプログラム可能プロセッサ上のソフトウェアにおいて実現してもよい。このソフトウェアは電子形式でプロセッサにダウンロードしてもよく、また、代替的には光学、磁気または電子メモリ媒体のような有形媒体上で提供してもよい。

図２は、本発明の実施形態に係る回復回路２６の機能要素を概略的に示すブロック図である。通常、このような機能要素は、単一のカスタムまたはセミカスタム集積回路素子において一緒に具体化される。代替的には、図２に示す機能をいくつかの素子に分割してもよく、これらの素子は、その機能をハードウェアまたはソフトウェアにおいて実行することができる。図２に示す例示実施形態では、回路２６はデコンボリューションフィルタリングによって画像回復を実行し、サブ画像がＩＳＰ２８によって単一のカラー出力画像に結合される前にそのボケを低減させる。サブ画像に対して回路２６が実行する他の画像回復機能は、スパイク除去およびノイズフィルタリングを含む。代替的または追加的に、回路２６は、これらの機能のうちの１つまたは２つのみを実行するように構成してもよく、またモザイクサブ画像の空間中で追加のディジタルフィルタリング機能を実行するように構成してもよい。

緑バランスユニット４０は起こり得る振幅変化について緑−赤（Ｇｒ）および緑−青（Ｇｂ）のピクセル値のバランスを取る。ＧｒおよびＧｂは、それぞれＲＧＲＧＲＧ．．．行およびＧＢＧＢＧＢ．．．行に現れる緑ピクセルを指す。ユニット４０の動作の詳細は、以下「緑バランス」と題した節で説明する。

緑バランスを取った画像データは、入力ボケ付きバイエル（ＩＢＢ）バッファ４２に保持される。フレーミング拡張ユニット４４は、ダミーピクセルの行および列をバッファに追加して、実際の画像のマージンで正しい処理が行えるようにする。バッファ４２の編成およびコンテンツとユニット４４の動作は、以下図３を参照して説明する。

スパイク除去ユニット４６は、不良ピクセルの値を識別および修正して、これらのピクセルから処理後の画像にノイズが伝播するのを防止する。スパイク除去動作は、以下図４を参照して説明する。

エッジ検出ユニット４８は、適応しきい値５０に基づいて、各々のサブ画像中のエッジピクセルの位置を決定する。そして、拡大ユニット５２は、モルフォロジー演算（morphological operation）を適用してエッジ領域を含む出力エッジマスク（ＯＥＭ）を生成する。このマスクは、例えば、エッジ領域のピクセルで「１」の値を有し、それ以外では「０」の値を有するものでよい。回路２６は、上記のようなエッジ領域にノイズ抑圧を適用するのを差し控えてエッジ情報の損失を回避する。このようなエッジ識別機能は、以下図５を参照して説明する。

擬似動的ノイズフィルタ５４を適用して各々のサブ画像中のノイズを低減させ、ＩＢＢ修正（ＩＢＢＭ）ピクセル値を生成する。フィルタ５４の動作は、以下図６を参照して説明する。そして、セレクタ５６は、ユニット５２が提供するＯＥＭの対応する値に基づいて、各々のピクセルの適切な値を選択し、デコンボリューションフィルタ６０に伝達する。セレクタは、非エッジピクセルのＩＢＢＭ値と、エッジ領域においてＩＢＢバッファ４２から直接取得したピクセルの非修正ＩＢＢオリジナル（ＩＢＢＯ）値とを選択する。ＩＢＢＯ値は遅延線路５８によって遅延され、ＩＢＢＯおよびＩＢＢＭピクセルストリームの適切な同期を維持する。

デコンボリューションフィルタ（ＤＣＦ）６０は、各々のサブ画像に対するボケ除去動作を個別に実行する。光学装置２２の収差の影響を解除（undo）するために、フィルタ６０は、通常、光学装置２３の光学点広がり関数（ＰＳＦ）のほぼ逆であるカーネルを使用する。この種のデコンボリューションカーネルを計算する方法は、例えば、前述のＰＣＴ国際出願ＷＯ２００４／０６３９８９ Ａ２号公報、および、その開示内容が引用によって本願明細書に取り込まれている米国特許出願第１１／２７８，２５５号公報（２００６年３月３１日出願）にて説明されている。代替的には、ボケ除去または当業技術分野で周知の他の画像処理機能のために、他の種類のフィルタカーネルをフィルタ６０によって適用してもよい。カーネルは通常、入力ピクセルストリーム中のサブ画像のインタリービングに関係なく、各々のサブ画像が他のサブ画像と別個にフィルタリングされるようにマスクされる。マスクパターンの例を図８Ａおよび図８Ｂに示す。

多くのカメラでは、光学装置のＰＳＦはカメラの視野全体にわたって均一ではない。すなわち、カメラ２０では、例えば、画像センサ２４の異なる範囲は、異なるＰＳＦプロファイルの影響下にあることがある。したがって、最適なボケ除去のためには、ＤＣＦセレクタ６２は、画像中の異なる部分のピクセルに異なるフィルタカーネルを適用する。このようなフィルカーネルの配列例は、以下図７を参照して説明する。フィルタ６０による処理の後、ボケが除去されたサブ画像をＩＳＰ２８に出力する。

緑バランス
このセクションは、緑バランスユニット４０の動作をより詳細に説明する。理論的には、ＧｒおよびＧｂ形の緑ピクセルに対応するセンサ要素の光感度は同一のはずであるが、実際には、この感度は、設計および製造上の公差により異なることがある。感度の差を補正できない場合、出力画像中に固定パターンアーティファクト（fixed-pattern artifact）を生じることがある。したがって、回路４０は、ＧｒまたはＧｂのいずれか（または両方）のピクセル値に補正係数を乗じる。

補正係数を決定するために、緑のサブ画像の連続する行のピクセル値の平均（ひいては合計）は等しいと想定する。回路４０によって、Ｇｒのピクセル値の合計とＧｂのピクセル値の合計を計算し、それぞれ、ｓｕｍＧｒｅｅｎＲｅｄおよびｓｕｍＧｒｅｅｎＢｌｕｅとして表す。次の式（１）および式（２）に示すように、それぞれのピクセル値の合計の商から補正係数ｆが得られる。
ｆ＝ｓｕｍＧｒｅｅｎＲｅｄ／ｓｕｍＧｒｅｅｎＢｌｕｅ＝１＋ε （１）
ε＝（ｓｕｍＧｒｅｅｎＲｅｄ−ｓｕｍＧｒｅｅｎＢｌｕｅ）／ｓｕｍＧｒｅｅｎＢｌｕｅ （２）
（関与する値がゼロに近い）低照度状態でアーティファクトを生じるのを回避するために、回路４０は、ｓｕｍＧｒｅｅｎＲｅｄおよびｓｕｍＧｒｅｅｎＢｌｕｅがある最小しきい値を越えるときだけｆを計算する。さらに、εは、−１／３２≦ε≦１／３２といったように、緑インバランスのある予想される範囲に制限される。Ｇｂのピクセルの値は、次の式（３）のようにｆを乗じることによって補正される。
Ｇｂ＿ｏｕｔｐｕｔ＝Ｇｂ＊ｆ （３）
次の計算では、このような補正値を元のＧｂのピクセル値に代入する。代替的には、補正係数を計算してＧｒのピクセル値の代わりに適用してもよく、またＧｂおよびＧｒ両方を補正するために分割してもよい。

ＧｒおよびＧｂピクセルの感度の変化は、センサ２４の範囲にわたって不均一なことがある。この場合、回路４０は、感度の不均一な変化に応答して、画像の範囲にわたって値の変化するｆを適用してもよい。

フレーミングおよびバッファリング
緑バランスの後、ピクセルを入力ボケ付きバイエル（ＩＢＢ）バッファ４２に挿入する。回路２６が「オンザフライ（on the fly）」で動作し、ピクセル値の処理がセンサ２４によって出力され、フィルタ６０がＬ行の値（例えば、Ｌ＝１５）を含むカーネルを使用すると想定すると、バッファ４２は入力ピクセル値のＬ個の完全な行を保持するように設計してよい。新しい各行がバッファに読み出されると、最も古い行がバッファから廃棄される。画像のマージンの近くのフィルタリングによるアーティファクトの生成を回避するために、実際の画像フレームの上、下、右および左にダミーピクセルの追加の行および列を追加する。

図３は、本発明の実施形態に係る画像のフレーミングのために使用される方法を例示する概略詳細図であって、センサ２４が取り込んだ画像の上部マージンの近くのバッファ４２のコンテンツの一部の概略詳細図である。バッファ中の行７２は、ＧＢＧＢ．．．およびＲＧＲＧ．．．の交互の行中の実際のピクセル値を含む。下付き文字１、２、３、４、．．．は、入力画像の上端の縁の行１から始まる行番号を示す。７つの追加の行のフレーミングマージン７６が、入力画像中の最初の行の上に追加される。これらの追加の行は、実際の入力フレームの最初の２行のピクセル値を反映する。２つのマージンの行および列を反映する同等のマージンが、入力画像の下、左および右に追加される。

フレーミング拡張ユニット４４は、マージン７６を追加して、ＤＣＦ６０がスプリアスデータ（spurious data）をＩＳＰ２８に伝えられる出力ピクセル値に導入することがないようにする。フレーミングマージンの範囲はＤＣＦカーネルのサイズに依存する。すなわち、Ｌ＝１５の場合、図３に示すように、この目的のために７つのフレーミング行および列が必要である。代替的には、異なるサイズのカーネルおよびフレーミングマージンを使用してもよい。エッジ検出ユニット４８は、フレーミングマージン７６の行中のスプリアスエッジ（spurious edge）を発見することができ、フィルタ６０は、フレーミングマージンのコンテンツを以前のフレームの低いフレーミングマージン中のピクセルとコンボリューションすることができるが、行７２中の実際のピクセルデータは、このような操作によって影響されない（ＯＥＭ中のスプリアスエッジが、フレーミングマージンから実際のピクセルデータのフレームに伝播するのを回避するために、エッジ検出ユニット４８および拡大ユニット５２が使用するカーネルに応じて、必要な場合追加のフレーミング行および／または列を使用してもよい）。

フレーミングマージンの行および列中のピクセル値は、回路２６の内部でのみ使用される。これらのピクセル値は、フィルタ６０がその動作を完了した後に削除され、ＩＳＰ２８には伝えられない。

スパイク除去
回路２６のいくつかの適用分野では、前述のＰＣＴ国際出願ＷＯ２００４／０６３９８９ Ａ２号公報および米国特許出願第１１／２７８，２５５号公報（２００６年３月３１日出願）にて説明されているように、光学装置２２は比較的低品質で、画像センサ２４上にボケのある画像を生成する。換言すれば、光学装置のＰＳＦはいくつかの隣接ピクセルにわたって拡張し、光学装置は一種のローパス空間フィルタとして機能する。この結果、画像センサ２４中の各々の検出素子は、隣接する検出素子の感知範囲と重なり合う画像被写体の範囲から収集された光を感知する。したがって、入力画像中のエッジおよび他の局所変化は平滑化されるので、あるピクセル値が同じ色の隣接ピクセルの値から大きく異なるということは物理的に不可能である。光学装置のＰＳＦを使用して、あるピクセルの値と同じ色の隣接ピクセルとの間の差がしきい値より大きい場合に上記の差は確実に画像センサのノイズまたは欠陥に起因するものであるというようなしきい値を決定することができる。

図４は、本発明の実施形態に係る、不良ピクセルを識別および補正するためにスパイク除去ユニット４６が使用するマスク９０の概略図である。図示するように、ピクセルｐ（ｉ，ｊ）について、スパイク除去ユニットは、同じ色の隣接ピクセル９２、すなわち、当該ピクセルの２行上または下および２列右または左のピクセルを検討する（すなわち、ＧｒおよびＧｂピクセルは通常別個に検討されるが、代替的には２つの種類の緑ピクセルをスパイク除去の目的で結合させてもよい。上記で説明したように、画像ピクセルのマージンにあるピクセルについては、スパイク除去ユニットは、マスク９０の範囲内にある実際のピクセルの値だけを検討し、マージン７６中のミラーされた値は検討しないようにしてもよい）。各々の入力ピクセル値（ｉ，ｊ）について、スパイク除去ユニットは、次の式（４）（〔数１〕）のように出力ピクセル値を決定する。

換言すれば、ｐ（ｉ，ｊ）の値が（マスク９０が提供する）同じ色の隣接ピクセルの最大値よりｔｈｒｅｓｈｏｌｄ₊を越える値だけ大きい場合、その値は上記の最大値にｔｈｒｅｓｈｏｌｄ₊を加算した値に置き換えられる。同様に、ｐ（ｉ，ｊ）の値が同じ色の隣接ピクセルの最小値よりｔｈｒｅｓｈｏｌｄ_-を越える値だけ小さい場合、その値は上記の隣接ピクセルの最小値からｔｈｒｅｓｈｏｌｄ_-を減算した値に置き換えられる。しきい値は、カメラの光学特性および／または（ピクセル値の非常に局所的な偏差が予想されるか否かを含む）画像の種類に基づいて計算してもよく、また他の基準に従って発見的に決定してもよい。ユニット４６の動作の結果、隣接ピクセル中の他のピクセルより相当明るいかまたは暗いピクセルは、隣接ピクセルから許容される以上に偏差が大きくならないように平滑化される。

エッジ検出および拡大
エッジ検出ユニット４８は何らかの適切なカーネルを使用して入力画像中のエッジの位置を検出してもよい。本願の発明者は、計算を簡素化するために、エッジ計算の際に当該ピクセルと同じ列または行のピクセルだけをエッジ検出カーネルに含めることが有利であることを発見した。代替的には、カーネルは対角線方向の要素を含んでもよい。いくつかのカーネルの例とエッジ検出手順を以下説明する。カーネルの最適な選択は、画像のコンテンツに依存すると共に、エッジの鮮明度と、ＯＥＭのエッジ範囲に残り得る残余ノイズとの間のトレードオフを図る際のユーザの好みに依存する。代替的には、ユニット４８は当業技術分野で周知の他のエッジ検出方法を利用してもよい。

上記のように、ユニット４８が適用するエッジ検出方法は、以下の説明でＥｄｇｅ＿ｔｈｒｅｓｈｏｌｄ＿ｖａｌｕｅとして表示される適応しきい値を使用する。このしきい値の値は、通常、処理対象の画像の光条件に基づいて計算する。このような光条件は、平均ピクセル値に基づいて回路２６の内部で測定してもよい。代替的には、ＩＳＰ２８が自動的に計算して出力する色ゲインパラメータに基づいて、しきい値を計算してもよい。例えば、色ゲインまたは他の輝度パラメータの加重和としてしきい値を計算してもよい。重み係数は、エッジの鮮明度と残余ノイズとの望ましいトレードオフが得られるように選択してもよい。

モード１−単純勾配エッジ検出器
このエッジ検出器は、ピクセルｐ（ｉ，ｊ）の付近のエッジを高い解像度で検出する。次の式（５）中のピクセルは、図４に示す方式に従って表示されており、勾配の値（ｄ_x-1、ｄ_x+1、ｄ_y-1、およびｄ_y+1）は以下のように計算される。
ｄ_x-1＝｜ｐ（ｉ，ｊ）−ｐ（ｉ−２，ｊ）｜
ｄ_x+1＝｜ｐ（ｉ，ｊ）−ｐ（ｉ＋２，ｊ）｜ （５）
ｄ_y-1＝｜ｐ（ｉ，ｊ）−ｐ（ｉ，ｊ−２）｜
ｄ_y+1＝｜ｐ（ｉ，ｊ）−ｐ（ｉ，ｊ＋２）｜
拡大ユニット５２に出力されるエッジ値ｅ（ｉ，ｊ）は、ピクセルｐ（ｉ，ｊ）がエッジにある場合には１であり、他の場合には０であるので、勾配の値のいずれかがしきい値より大きい場合、すなわち、以下の式（６）に示す不等式のいずれかが真と評価される場合、ｅ（ｉ，ｊ）＝１である。
ｄ_x-1＞Ｅｄｇｅ＿ｔｈｒｅｓｈｏｌｄ＿ｖａｌｕｅ
ｄ_x+1＞Ｅｄｇｅ＿ｔｈｒｅｓｈｏｌｄ＿ｖａｌｕｅ （６）
ｄ_y-1＞Ｅｄｇｅ＿ｔｈｒｅｓｈｏｌｄ＿ｖａｌｕｅ
ｄ_y+1＞Ｅｄｇｅ＿ｔｈｒｅｓｈｏｌｄ＿ｖａｌｕｅ

モード２−高度な勾配エッジ検出器
このエッジ検出器は、高い解像度と誤検出を最小にした良好なステップ検出との間の折衷案を呈示するものである。この場合、勾配の値は次の式（７）によって与えられる。
ｄ_x-1＝ｐ（ｉ−２，ｊ）−ｐ（ｉ，ｊ） ｇ_x-1＝ｐ（ｉ−４，ｊ）−ｐ（ｉ−２，ｊ）
ｄ_x+1＝ｐ（ｉ＋２，ｊ）−ｐ（ｉ，ｊ） ｇ_x+1＝ｐ（ｉ＋４，ｊ）−ｐ（ｉ＋２，ｊ）
ｄ_y-1＝ｐ（ｉ，ｊ−２）−ｐ（ｉ，ｊ） ｇ_y-1＝ｐ（ｉ，ｊ−４）−ｐ（ｉ，ｊ−２）
ｄ_y+1＝ｐ（ｉ，ｊ＋２）−ｐ（ｉ，ｊ） ｇ_y+1＝ｐ（ｉ，ｊ＋４）−ｐ（ｉ，ｊ−２）
（７）

次の式（８）（〔数２〕）に示すような不等式のいずれかが真と評価される場合、エッジ値ｅ（ｉ，ｊ）は１に設定される。

モード３−ステップエッジ検出器
このエッジ検出方法はステップエッジを検出する。これは，通常値２に設定されるエッジステップパラメータｅｄｇｅ＿ｓｔｅｐを使用する。この方法の手順は以下の通りである。
●ｄｅｌｔａ＿ｍｉｎｕｓ１＿ｘ＝｜ｐ（ｉ−３＊ｅｄｇｅ＿ｓｔｅｐ，ｊ）−ｐ（ｉ−ｅｄｇｅ＿ｓｔｅｐ，ｊ）｜を計算する。
●ｄｅｌｔａ＿ｎｕｌｌ＿ｘ＝｜ｐ（ｉ−ｅｄｇｅ＿ｓｔｅｐ，ｊ）−ｐ（ｉ＋ｅｄｇｅ＿ｓｔｅｐ，ｊ）｜を計算する。
●ｄｅｌｔａ＿ｐｌｕｓ１＿ｘ＝｜ｐ（ｉ＋３＊ｅｄｇｅ＿ｓｔｅｐ，ｊ）−ｐ（ｉ＋ｅｄｇｅ＿ｓｔｅｐ，ｊ）｜を計算する。
●ｄｅｌｔａ＿ｍｉｎｕｓ１＿ｙ＝｜ｐ（ｉ，ｊ−３＊ｅｄｇｅ＿ｓｔｅｐ）−ｐ（ｉ，ｊ−ｅｄｇｅ＿ｓｔｅｐ）｜を計算する。
●ｄｅｌｔａ＿ｎｕｌｌ＿ｙ＝｜ｐ（ｉ，ｊ−ｅｄｇｅ＿ｓｔｅｐ）−ｐ（ｉ，ｊ＋ｅｄｇｅ＿ｓｔｅｐ）｜を計算する。
●ｄｅｌｔａ＿ｐｌｕｓ１＿ｙ＝｜ｐ（ｉ，ｊ−３＊ｅｄｇｅ＿ｓｔｅｐ）−ｐ（ｉ，ｊ＋ｅｄｇｅ＿ｓｔｅｐ）｜を計算する。
次のいずれかの条件が満たされる場合、エッジ値ｅ（ｉ，ｊ）は１に設定される。
ｄｅｌｔａ＿ｎｕｌｌ＿ｙ−ｍａｘ（ｄｅｌｔａ＿ｍｉｎｕｓ１＿ｙ，ｄｅｌｔａ＿ｐｌｕｓ１＿ｙ）＞Ｅｄｇｅ＿Ｔｈｒｅｓｈｏｌｄ＿Ｖａｌｕｅ または
ｄｅｌｔａ＿ｎｕｌｌ＿ｘ−ｍａｘ）ｄｅｌｔａ＿ｍｉｎｕｓ１＿ｘ，ｄｅｌｔａ＿ｐｌｕｓ１＿ｘ）＞Ｅｄｇｅ＿Ｔｈｒｅｓｈｏｌｄ＿Ｖａｌｕｅ

この場合、ｅ（ｉ，ｊ）の値はピクセルｐ（ｉ，ｊ）の実際の強度には依存しないことに注意されたい。

エッジ拡大
図５は、本発明の実施形態に係る拡大ユニット５２により使用されるマスク１００の概略図である。エッジ検出ユニット４８は、各ピクセルについて決定されたエッジ値ｅ（ｉ，ｊ）を含むエッジマップＥ（ｘ，ｙ）を出力する。拡大ユニット４８は、マップ１００を使用するエッジマップに対して形態学的膨張を適用し、これをＷ（ｘ，ｙ）と呼ぶこととする。この拡大ステップの出力は、次の式（９）に示すように、ＯＥＭ（ｘ，ｙ）である。
ＯＥＭ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）＋Ｗ（ｘ，ｙ） （９）
上記で説明したように、このＯＥＭは、スイッチング入力としてセレクタ５６に印加される。

エッジに適用される拡大の度合は、マスクパラメータＷ１に依存する。図５に示す例では、Ｗ１＝３である。換言すれば、マスク１００の中央部のあるピクセル１０２が、エッジ検出ユニット４８によってエッジ位置（ｅ（ｉ，ｊ）＝１）として識別されると、当該ピクセルとマスク範囲内の周囲のピクセル１０４は、ＯＥＭにおいて「１」という値を受け取る。このエッジ拡大は、異なる色のピクセル、すなわち、（特定の色を対象とする、回路２６で実行される他のディジタルフィルタリング処理と異なって）異なるサブ画像に属するピクセルにも拡大されるのが有利であることが判明した。Ｗ１の値は、ローパスノイズフィルタリングから保護すべきエッジ領域の望ましい幅に応じて、適用分野の要求とユーザの好みに従って選択してもよい。

ノイズフィルタ
ノイズフィルタ５４は、当該ピクセル値を、図４のピクセル９２のような、同じ色の隣接ピクセルの値と平均するカーネルを使用する。フィルタは、次の式（１０）（〔数３〕）のように出力ピクセル値を決定する。

ここで、ｖ（ｉ，ｊ）は（ｉ，ｊ）フィルタカーネル係数の値であり、ｐ（ｉ，ｊ）は入力ピクセル値である。以下の説明では、フィルタカーネルｖ（ｉ，ｊ）の中央部の要素をｖ_cとし、フィルタｖ（ｉ±２，ｊ）およびｖ（ｉ，ｊ±２）の周辺の要素をｖ_pとし、フィルタｖ（ｉ±２，ｊ±２）の角の要素をｖ_fとする。

図６は、本発明の実施形態に係るフィルタ５４により適用される擬似動的ノイズフィルタリングの方法を概略的に例示するフローチャートである。この方法の目的は、ピクセル値間の変化の勾配が存在する画像の領域に対してフィルタが無差別に動作する場合に生じ得る画像解像度とコントラストの劣化を回避することである。この目的で、フィルタ５４は、差分計算ステップ１１０で、各々のピクセルの局所方向性差分を計算する。この差分は、次の式（１１）のように計算してもよい。
Δｖ＝｜ｐ（ｉ，ｊ−２）−ｐ（ｉ，ｊ＋２）｜
Δｈ＝｜ｐ（ｉ−２，ｊ）−ｐ（ｉ＋２，ｊ）｜ （１１）
Δｄ₁＝｜ｐ（ｉ−２，ｊ−２）−ｐ（ｉ＋２，ｊ＋２）｜
Δｄ₂＝｜ｐ（ｉ−２，ｊ＋２）−ｐ（ｉ＋２，ｊ−２）｜
（垂直差分の項Δｖをカーネル係数ｖ（ｉ，ｊ）と混同しないこと）。

そして、カーネル選択ステップ１１２で、フィルタ５４は、方向性差分の大きさに基づいて適切なカーネルを選択する。この目的で、計算した値Δｖ、Δｈを垂直／水平しきい値ｔｈ_vhと比較し、Δｄ１、Δｄ２の値を対角線方向のしきい値ｔｈ_dと比較する。
●Δｖ＞ｔｈ_vhであれば、ｖ（ｉ，ｊ±２）はノイズの除去に関係せず、対応するｖ_pの値は０である。
●Δｈ＞ｔｈ_vhであれば、ｖ（ｉ±２，ｊ）はノイズの除去に関係せず、対応するｖ_pの値は０である。
●Δｄ₁＞ｔｈ_vhであれば、ｖ（ｉ＋２，ｊ＋２）およびｖ（ｉ−２，ｊ−２）はノイズの除去に関係せず、対応するｖ_fの値は０である。
●Δｄ₂＞ｔｈ_dであれば、ｖ（ｉ−２，ｊ＋２）およびｖ（ｉ＋２，ｊ−２）はノイズの除去に関係せず、対応するｖ_fの値は０である。
フィルタ５４は上記の条件を満たすような、各々のピクセルで使用されるカーネルを選択する。この目的で使用され得る９つのフィルタカーネルの組み合わせの例を以下の付録Ａに記載する。当業者にとって明らかなように、他のノイズ除去フィルタカーネル（動的または静的）を同様に使用してもよい。

フィルタ５４は、選択されたカーネルを各々のピクセル付近の入力ピクセル値に適用し、フィルタリングステップ１１４で、各々のピクセルについての出力ピクセル値／ｐ（ｉ，ｊ）（前述の式１０（〔数３〕）を参照のこと）を生成する。

デコンボリューションフィルタリング
図７は、本発明の実施形態に係るセレクタ５６によりＤＣＦ６０に入力されるピクセル値に適用されるＤＣＦカーネル１２２の集合１２０の概略図である。この例では、１６００×１２００ピクセルの入力画像を各々の１００×１００ピクセルの１９２のセグメントに分割するものと想定する。ＤＣＦ６０は、画像中の対応する位置での局所的なＰＳＦに応じて、（Ｋ０、Ｋ１、．．．、Ｋ３２として識別される）異なるカーネル１２２を適用する。光学装置２２は円対称なので、ＰＳＦの変化も画像平面にわたって対称的であると想定され、この構成で記憶して使用される必要がある異なるカーネルは３３のみである。中央領域１２４は、すべて２１カーネルの同じ集合を使用し、周辺領域１２６は、１２カーネルの別の集合を使用する。代替的には、カーネルを割り当てる目的で、画像範囲はより多数またはより少数のセグメントに分割してもよく、また単一のＤＣＦカーネルを画像全体に適用してもよい。

追加的または代替的に、ＤＣＦセレクタ６２は、カメラ２０が取り込んだ画像（および、ひいては入力サブ画像）の特性に応じて、オンザフライでフィルタカーネルの集合を変更してもよい。例えば、ＤＣＦセレクタは、画像照度レベル、画像コンテンツの種類、または他の要因に応じて、異なるフィルタカーネルを選択してもよい。

図８Ａおよび図８Ｂは、本発明の実施形態に係るＤＣＦ６０により適用されるカーネルマスク１３０および１４０のそれぞれのレイアウトを示す概略図である。各々のマスクは、それぞれの色のピクセル、すなわち、１５×１５ピクセルのマスク範囲中の個々のサブ画像に属するピクセルを示す。マスク１３０は緑のピクセルに適用され、マスク１４０は赤および青のピクセルに適用される。すなわち、マスク１３０が覆う中央部のピクセル１３２が緑のとき、影付きのピクセル１３４は、中央部のピクセルの周囲の１５×１５の隣接ピクセル中の他の緑のピクセルを示す。マスク１４０が覆う中央部のピクセル１３２が赤または青のとき、影付きのピクセル１３４は、隣接ピクセル中の他の赤または青のピクセルを示す。

入力画像の各々のピクセルについて、ＤＣＦ６０は、ピクセルが位置する領域１２２について適切な１５×１５のカーネルを選択し、当該ピクセルの色に応じて、マスク１３０または１４０を使用してカーネルをマスクする。場合ごとに適切なマスクの影付きピクセル１３４だけがＤＣＦの動作に参加する。影のないピクセルの係数はゼロに設定される。したがって、各々のピクセル値は、同じサブ画像に属するピクセル値（すなわち、同じ色のピクセル）とだけコンボリューションされる。コンボリューションすべきピクセル値は、上記のように、セレクタ５６が選択するが、このセレクタ５６は、エッジ領域での遅延線路５８が出力するＩＢＢＯ値および非エッジ領域でのノイズを低減させたＩＢＢＭ値を選択する。

前述のように、ＤＣＦ６０が適用するカーネル係数は、光学装置２２の不完全なＰＳＦに応答して出力画像のボケを除去するように選択してもよい。カーネルは、画像平面中の当該ピクセルの位置、および、画像距離といったような他の要因の両方に応じて変化してもよい。光学装置およびＤＣＦカーネルは、カメラ２０の有効被写界深度を増大させるといったような、特定の画像向上機能を提供するように選択してもよい。代替的には、ＤＣＦ６０の構成は、異なる色のサブ画像に交互に適用されるような異なるフィルタリング操作と共に、モザイク色空間における広範な他の画像向上機能を実行するために使用してもよい。

上記で説明した実施形態は例として記載したものであって、本発明は、上記で特に図示および説明されたものに制限されないことが認識されるであろう。むしろ、本発明の範囲は、上記で説明した様々な特徴の組み合わせおよび下位概念の組み合わせの両方、ならびに、上記の説明を読んだ当業者により想起されるような、先行技術で開示されていない変形および変更を含む。

付録Ａ−ノイズ除去フィルタカーネル
以下の〔表２〕および〔表３〕は、異なるエッジ条件での例示的なノイズフィルタ係数値を示す。各々のフィルタ中の全ての係数の合計は１であるので、平均ピクセル値はフィルタリングの後でも変化しない。以下の〔表２〕および〔表３〕の例では、フィルタ５４中にあり得るカーネルについての全ての係数値を明確に記載する。代替的には、係数の一部のみを暗黙的に付与するだけでもよく、残りは合計が１であるという条件によって推論される。簡素化のために、中心係数ｖ_cは、個々のカーネルで使用される他の全ての係数の合計を１から減算したものであると想定してもよい。

本発明の実施形態に係る電子画像処理カメラを概略的に例示するブロック図である。 本発明の実施形態に係る画像回復回路の詳細を概略的に示すブロック図である。 本発明の実施形態に係る画像回復回路で使用される画像フレーミング技術を例示するために、入力バッファの一部のコンテンツを概略的に示す詳細図である。 本発明の実施形態に係る画像回復回路においてスパイク除去のために使用されるマスクの概略図である。 本発明の実施形態に係る画像回復回路においてエッジ強調のために使用されるマスクの概略図である。 本発明の実施形態に係るノイズフィルタリングのための方法を概略的に例示するフローチャートである。 本発明の実施形態に係る、回復中の画像の異なる部分に適用されるデコンボリューションフィルタの集合の概略図である。 本発明の実施形態に係る、モザイク画像センサが出力するサブ画像に適用されるデコンボリューションカーネルマスクの概略図（その１）である。 本発明の実施形態に係る、モザイク画像センサが出力するサブ画像に適用されるデコンボリューションカーネルマスクの概略図（その２）である。

Claims (38)

1. 各々のモザイク画像センサに入射されるような異なるそれぞれの色の光に応答する複数の入力サブ画像に属する入力ピクセル値のストリームを生成するように構成されるモザイク画像センサと、
   各々の前記入力サブ画像中の入力ピクセル値を受信し、ディジタルフィルタリングを行って対応する複数の向上した出力サブ画像を生成するように接続されている画像回復回路と、
   複数の前記出力サブ画像を受信し結合させてカラービデオ出力画像を生成するように接続されている画像信号プロセッサ（ＩＳＰ）とを備えることを特徴とする画像処理装置。
2. 前記入力サブ画像と前記出力サブ画像とが同一のフォーマットを有しており、それゆえに、前記ＩＳＰは、前記出力サブ画像または前記入力サブ画像のいずれかを受信し結合させるように接続されることが可能である、請求項１に記載の画像処理装置。
3. 複数の前記入力サブ画像中の入力ピクセル値が、所定のインタリーブパターンで、前記モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、前記出力サブ画像が、前記画像回復回路が前記所定のインタリーブパターンに従って出力ピクセルストリームにインタリーブされる出力ピクセル値を備える、請求項２に記載の画像処理装置。
4. 各々の前記入力サブ画像が入力ボケを有し、前記出力サブ画像が、前記画像回復回路によるフィルタリングの後、入力ボケより小さい出力ボケを有する、請求項１に記載の画像処理装置。
5. さらに、入力ボケを生じる光学点広がり関数（ＰＳＦ）を有する対物光学装置を有し、前記画像回復回路が、ＰＳＦに従って決定されたフィルタカーネルを有するデコンボリューションフィルタ（ＤＣＦ）を備える、請求項４に記載の画像処理装置。
6. ＰＳＦが前記モザイク画像センサの平面にわたって変化し、前記画像回復回路が、前記モザイク画像センサの平面にわたるＰＳＦの変化に応じて前記モザイク画像センサの異なる範囲からの入力ピクセル値に異なるフィルタカーネルを適用するように配置される、請求項５に記載の画像処理装置。
7. 前記画像回復回路が、前記入力サブ画像の特性に応じて入力ピクセル値に異なるフィルタカーネルを適用するように配置される、請求項５に記載の画像処理装置。
8. 前記モザイク画像センサが、バイエルモザイクパターンに配置されるフィルタのアレイを備える、請求項１〜７のいずれか一項に記載の画像処理装置。
9. 入力ピクセル値が緑と青のピクセルが交互になった第１の行と、緑と赤のピクセルが交互になった第２の行とを備え、前記画像回復回路が、前記第１の行と前記第２の行との間の緑ピクセルの感度の変化を補償するように接続される緑バランスユニットを備える、請求項８に記載の画像処理装置。
10. 感度の変化が前記モザイク画像センサの範囲にわたって不均一であり、前記緑バランスユニットが感度の不均一な変化に応じて不均一な補償を適用するように配置される、請求項９に記載の画像処理装置。
11. さらに、所定のボケを伴って光の焦点を前記モザイク画像センサに合わせるように構成される対物光学装置を備え、前記画像回復回路が、各々の前記入力サブ画像中の隣接ピクセルの入力ピクセル値から、ボケに従って決定された最大差を越える値だけ異なる入力ピクセル値を有する不良ピクセルを識別して不良ピクセルの入力ピクセル値を補正するスパイク除去ユニットを備える、請求項１〜７のいずれか一項に記載の画像処理装置。
12. 前記画像回復回路が、各々の前記入力サブ画像に対するディジタルフィルタリングを行って前記入力サブ画像中のノイズを低減させるように配置されるノイズフィルタを備える、請求項１〜７のいずれか一項に記載の画像処理装置。
13. 前記ノイズフィルタが、前記入力サブ画像中の局所勾配の方向および大きさを決定し、その方向および大きさに応じてノイズを低減させる際に適用されるフィルタカーネルを選択するように配置される、請求項１２に記載の画像処理装置。
14. 前記画像回復回路が、前記ノイズフィルタによるノイズ低減を行った後に、前記入力サブ画像に対するフィルタリングを行うように配置されるデコンボリューションフィルタ（ＤＣＦ）を備える、請求項１２に記載の画像処理装置。
15. 前記画像回復回路が、前記入力サブ画像中のエッジ領域を識別して、前記ＤＣＦがエッジ領域内ではノイズフィルタリングなしに入力ピクセル値を受信し、エッジ領域外では前記ノイズフィルタからノイズを低減させた入力ピクセル値を受信するように前記ＤＣＦへの入力を制御するように配置されるエッジ検出器を備える、請求項１４に記載の画像処理装置。
16. 前記エッジ検出器がエッジピクセルを検出するように配置され、前記画像回復回路が、エッジピクセルの周囲のエッジ領域にピクセルを追加することによってエッジ領域を拡大するように配置される拡大ユニットを備える、請求項１５に記載の画像処理装置。
17. 前記拡大ユニットが、前記エッジ検出器から前記入力サブ画像の中で第１のものにおけるエッジピクセルの識別情報を受信して、エッジ領域に前記入力サブ画像の中で少なくとも第２のものにおけるエッジピクセルの付近のピクセルを追加するように配置される、請求項１６に記載の画像処理装置。
18. 前記画像回復回路が、前記入力サブ画像を所定のサイズのカーネルとコンボリューションするように配置されるディジタルフィルタと、前記入力サブ画像の周囲のピクセル値の、フィルタカーネルのサイズに応じて選択された幅を有するマージンを追加するように配置されるフレーミング拡張ユニットとを備える、請求項１〜７のいずれか一項に記載の画像処理装置。
19. 複数の前記入力サブ画像中の入力ピクセル値が所定のインタリーブパターンで、前記モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、前記画像回復回路が、各々の前記入力サブ画像を、インタリーブパターンに応じてマスクされたそれぞれのカーネルとコンボリューションし、各々の前記入力サブ画像を他の入力サブ画像と別個にフィルタリングするように配置されるディジタルフィルタを備える、請求項１〜７のいずれか一項に記載の画像処理装置。
20. モザイク画像センサから、各々の前記モザイク画像センサに入射されるような異なるそれぞれの色の光に応答する複数の入力サブ画像に属する入力ピクセル値のストリームを受信するステップと、
    各々の前記入力サブ画像中の入力ピクセル値に対するディジタルフィルタリングを行って対応する複数の向上した出力サブ画像を生成するステップと、
    画像信号プロセッサ（ＩＳＰ）において前記出力サブ画像を結合させてカラービデオ出力画像を生成するステップとを有することを特徴とする、画像処理を行う方法。
21. 前記入力サブ画像と前記出力サブ画像とが同一のフォーマットを有しており、それゆえに、前記ＩＳＰは、前記出力サブ画像または前記入力サブ画像のいずれかを受信し結合させるように接続されることが可能である、請求項２０に記載の方法。
22. 複数の前記入力サブ画像中の入力ピクセル値が、所定のインタリーブパターンで、前記モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、前記入力ピクセル値に対するディジタルフィルタリングを行う前記ステップが、前記所定のインタリーブパターンに従って出力ピクセルストリーム中の前記出力サブ画像の出力ピクセル値をインタリーブするステップを含む、請求項２１に記載の方法。
23. 各々の前記入力サブ画像が入力ボケを有し、前記入力ピクセル値に対するディジタルフィルタリングを行う前記ステップが、前記出力サブ画像が入力ボケより小さい出力ボケを有するように各々の前記入力サブ画像中の入力ピクセル値を処理するステップを含む、請求項２０に記載の方法。
24. 入力ボケを生じる光学点広がり関数（ＰＳＦ）を有する対物光学装置によって光の焦点が前記モザイク画像センサに合わせられ、前記入力ピクセル値を処理する前記ステップが、ＰＳＦに従って決定されたフィルタカーネルを有するデコンボリューションフィルタ（ＤＣＦ）を各々の前記入力サブ画像中の入力ピクセル値に適用するステップを含む、請求項２３に記載の方法。
25. ＰＳＦが前記画像センサの平面にわたって変化し、前記ＤＣＦを適用する前記ステップが、前記モザイク画像センサの平面にわたるＰＳＦの変化に応じて前記モザイク画像センサの異なる範囲からの入力ピクセル値に異なるフィルタカーネルを適用するステップを含む、請求項２４に記載の方法。
26. 前記ＤＣＦを適用する前記ステップが、前記入力サブ画像の特性に応じて入力ピクセル値に異なるフィルタカーネルを適用するステップを含む、請求項２４に記載の方法。
27. 前記モザイク画像センサが、バイエルモザイクパターンに配置されるフィルタのアレイを有する、請求項２０〜２６のいずれか一項に記載の方法。
28. 入力ピクセル値が緑と青のピクセルが交互になった第１の行と、緑と赤のピクセルが交互になった第２の行とを備え、さらに、入力ピクセル値に対するディジタルフィルタリングを行う前に、入力ピクセル値を処理して前記第１の行と前記第２の行との間の緑ピクセルの感度の変化を補償するステップを有する、請求項２７に記載の方法。
29. 感度の変化が前記モザイク画像センサの範囲にわたって不均一であり、前記入力ピクセル値を処理する前記ステップが、感度の不均一な変化に応じて不均一な補償を適用するステップを含む、請求項２７に記載の方法。
30. 所定のボケを伴う対物光学装置によって光の焦点が前記モザイク画像センサに合わせられ、さらに、各々の前記入力サブ画像中の隣接ピクセルの入力ピクセル値から、ボケに従って決定された最大差を越える値だけ異なる入力ピクセル値を有する不良ピクセルを識別するステップと、不良ピクセルの入力ピクセル値を補正するステップとを有する、請求項２０〜２６のいずれか一項に記載の方法。
31. 前記入力ピクセル値に対するディジタルフィルタリングを行う前記ステップが、各々の前記入力サブ画像を処理して前記入力サブ画像中のノイズを低減させるステップを含む、請求項２０〜２６のいずれか一項に記載の方法。
32. 各々の前記入力サブ画像を処理する前記ステップが、前記入力サブ画像中の局所勾配の方向および大きさを決定するステップと、その方向および大きさに応じてノイズを低減させる際に適用されるフィルタカーネルを選択するステップとを含む、請求項３１に記載の方法。
33. 前記入力ピクセル値に対するディジタルフィルタリングを行う前記ステップが、各々の前記入力サブ画像を処理してノイズを低減させた後に、デコンボリューションフィルタ（ＤＣＦ）を適用して前記入力サブ画像に対するフィルタリングを行うステップを含む、請求項３１に記載の方法。
34. 前記ＤＣＦを適用する前記ステップが、前記入力サブ画像中のエッジ領域を識別するステップと、前記ＤＣＦが、エッジ領域内では、ノイズを低減させる処理なしに入力ピクセル値を受信し、エッジ領域外では、ノイズを低減させる処理を行った後に、ノイズを低減させた入力ピクセル値を受信するように前記ＤＣＦへの入力を制御するステップとを含む、請求項３３に記載の方法。
35. 前記エッジ領域を識別する前記ステップが、エッジピクセルを検出するステップと、エッジピクセルの周囲のエッジ領域にピクセルを追加することによってエッジ領域を拡大するステップとを含む、請求項３４に記載の方法。
36. 前記エッジ領域を拡大する前記ステップが、前記入力サブ画像の中で第１のものにおけるエッジピクセルを検出するステップと、エッジ領域に前記入力サブ画像の中で少なくとも第２のものにおけるエッジピクセルの付近のピクセルを追加するステップとを含む、請求項３５に記載の方法。
37. 前記入力ピクセル値に対するディジタルフィルタリングを行う前記ステップが、前記入力サブ画像を所定のサイズのカーネルとコンボリューションするステップを含み、さらに、入力ピクセル値に対するディジタルフィルタリングを行う前に、前記入力サブ画像の周囲のピクセル値の、フィルタカーネルのサイズに応じて選択された幅を有するマージンを追加するステップを含む、請求項２０〜２６のいずれか一項に記載の方法。
38. 複数の前記入力サブ画像中の入力ピクセル値が所定のインタリーブパターンで、前記モザイク画像センサが出力する単一の入力ピクセルストリームにインタリーブされ、前記入力ピクセル値をインタリーブする前記ステップが、各々の前記入力サブ画像を、インタリーブパターンに応じてマスクされたそれぞれのカーネルとコンボリューションし、各々の前記入力サブ画像を他の入力サブ画像と別個にフィルタリングするステップを含む、請求項２０〜２６のいずれか一項に記載の方法。

Images