JP2016134661A - 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 - Google Patents

Abstract

【課題】画像のノイズリダクションを高精度に実行可能な画像処理方法を提供する。
【解決手段】画像処理方法は、入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップＳ１０２と、注目画素に応じて参照画素取得領域を決定するステップＳ１０３と、参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップＳ１０４と、複数の第二のデータのそれぞれに対して、第一のデータとの相関に基づいて重みを決定するステップＳ１０６と、複数の参照画素及び重みに基づいて、注目画素に対応する出力画素を生成するステップＳ１０７とを有する。参照画素取得領域又は重みの少なくとも一つは、入力画像における距離情報又は色分布情報の少なくとも一つに基づいて決定される。
【選択図】図４

Description

本発明は、画像のノイズリダクションを実行する画像処理方法に関する。

近年、表示装置の高精細化に伴い、画像の高画質化が望まれている。画像の高画質化を図るには、画像からノイズを低減することが重要である。

特許文献１には、ＮＬＭ（ｎｏｎ−ｌｏｃａｌ ｍｅａｎｓ）フィルタと呼ばれる被写体空間の自己相似性を利用してノイズを除去する方法が開示されている。ＮＬＭフィルタは、注目画素の信号値を、注目画素の周辺に配置された複数の画素の加重平均信号値で置換することにより、ノイズを低減することができる。加重平均で用いられる重みは、注目画素の近傍の部分領域における各信号値を成分としたベクトルと、注目画素の周辺にある画素から同様に生成されたベクトルとの距離に応じて決定される。これにより、エッジの解像感を保ちつつ、画像からノイズを除去することが可能となる。

米国特許第８４２７５５９号

しかしながら、特許文献１の方法では、注目画素の近傍と異なる構造を持つ画素も加重平均に用いられる。それらの画素は、重みが小さく設定されるが、非常に多く存在するため、加重平均への影響を無視することができない。このため、高周波成分が比較的弱い画像のテクスチャ成分は、ノイズと共に消失しやすい。このように、画像のノイズリダクションを高精度に実行することは困難である。

そこで本発明は、画像のノイズリダクションを高精度に実行可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供する。

本発明の一側面としての画像処理方法は、入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップと、前記注目画素に応じて参照画素取得領域を決定するステップと、前記参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップと、前記複数の第二のデータのそれぞれに対して、前記第一のデータとの相関に基づいて重みを決定するステップと、前記複数の参照画素および前記重みに基づいて、前記注目画素に対応する出力画素を生成するステップとを有し、前記参照画素取得領域または前記重みの少なくとも一つは、前記入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定される。

本発明の他の側面としての画像処理装置は、入力画像を記憶する記憶手段と、入力画像から出力画像を生成する画像処理手段とを有し、前記画像処理手段は、前記画像処理方法を実行するように構成されている。

本発明の他の側面としての撮像装置は、光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、画像データに基づく入力画像から出力画像を生成する画像処理手段とを有し、前記画像処理手段は、前記画像処理方法を実行するように構成されている。

本発明の他の側面としてのプログラムは、前記画像処理方法をコンピュータに実行させるように構成されている。

本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、画像のノイズリダクションを高精度に実行可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

実施例１における撮像装置のブロック図である。 実施例１における撮像装置の外観図である。 実施例１における視差画像取得部の模式図である。 実施例１、３におけるノイズ低減処理のフローチャートである。 実施例１〜３における入力画像の説明図である。 実施例１、３におけるデプスマップの説明図である。 実施例１〜３における撮像装置および被写体空間の模式図である。 実施例１〜３における点像強度分布である。 実施例１〜３における変調伝達関数である。 実施例１〜３における参照データの周波数特性である。 実施例２における画像処理システムのブロック図である。 実施例２における画像処理システムの外観図である。 実施例２における視差画像取得部の模式図である。 実施例２、３におけるノイズ低減処理のフローチャートである。 実施例２、３におけるデプスマップの説明図である。 実施例３における撮像システムのブロック図である。 実施例３における撮像システムの外観図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

具体的な説明の前に、本実施形態のノイズリダクション（ノイズ低減処理）に関し、簡単な概要を述べる。ここで、説明を分かりやすくするため、画像の信号値は、１次元（すなわちモノクロ）であるとする。入力画像が多次元の信号値を持つカラー画像の場合、ある次元の成分のみで以下の処理を行い、他の次元に関しても同様に繰り返せばよい。なお本実施形態において、ある画像に関して画素と表現した場合、画素における位置、信号値、または、デプス情報（距離情報）を示す。

まず、入力画像からノイズリダクションの対象となる注目画素を含む部分領域を、注目データ（第一のデータ）として抽出する。次に、注目画素に応じて、入力画像内に参照画素取得領域を設定し、その中から複数の参照画素を選択する。また、複数の参照画素のそれぞれを含む部分領域である参照データ（第二のデータ）を取得し、それぞれの参照データに関して、注目データとの相関値を算出する。その相関値に応じて、各参照データの重みが決定される。重みは、相関が高いほど、すなわち参照データが注目データと類似しているほど大きくなるように決定される。最後に、重みを用いて、参照データ内の参照画素について加重平均信号値を算出し、その加重平均信号値により注目画素の信号値を置換することで、ノイズリダクション（ノイズ低減処理）は終了する。本実施形態では、入力画像のデプスマップまたは色分布の少なくとも一方に応じて、参照画素取得領域または重みの少なくとも一方を変化させる。なお、色分布は、入力画像の多次元信号値を使用して取得可能である。

これは、注目データと相似な構造を持つ参照データは、注目データを抽出した被写体内に存在している可能性が高いことを利用している。すなわち、入力画像のデプスマップまたは色分布を用いることにより、注目データと同一被写体の可能性が高い領域を取得し、その領域内の参照データを重視することで、注目データと相似性の低い参照データの影響を低減することができる。これにより、テクスチャの損失が少ない、すなわち高精度のノイズリダクション効果を得ることができる。

まず、図１および図２を参照して、本発明の実施例１における画像処理方法を実行可能な撮像装置について説明する。図１は、本実施例における撮像装置１００のブロック図である。図２は、撮像装置１００の外観図である。

視差画像取得部１０１（画像取得手段）は、複数の結像光学系１０２ａ〜１０２ｃおよび複数の撮像素子１０３ａ〜１０３ｃを有する。なお本実施例において、実際には、１６個の結像光学系および撮像素子の組が４×４の二次元状に配列されているが、図１中では４つ目以降の結像光学系および撮像素子をそれぞれ省略している。撮像素子１０３ａ〜１０３ｃは、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などを備えて構成されている。撮影の際において、視差画像取得部１０１へ入射した光は、結像光学系１０２ａ〜１０２ｃにより集光され、撮像素子１０３ａ〜１０３ｃによりアナログ電気信号へ変換される。すなわち撮像素子１０３ａ〜１０３ｃは、光学系（対応する結像光学系１０２ａ〜１０２ｃ）を介して形成された光学像を光電変換して画像データを出力する。Ａ／Ｄコンバータ１０４は、撮像素子１０３ａ〜１０３ｃから出力されたアナログ電気信号（画像データ）をデジタル信号（画像データに基づく入力画像）へ変換し、画像処理部１０５へ出力する。

画像処理部１０５（画像処理手段）は、所定の処理に加えて、被写体空間のデプスマップ（距離情報）の取得およびノイズリダクション処理（ノイズ低減処理）を行うことにより、入力画像から出力画像を生成する。なお、ノイズリダクション処理の詳細については後述する。画像処理部１０５により取得されたデプスマップや、撮像装置１００の光学情報は、記憶部１０６に記憶される。ここで光学情報とは、撮影の際における視差画像取得部１０１の状態に関する情報であり、例えば、絞りの状態、フォーカス位置、または、焦点距離などの撮影条件情報である。状態検知部１１１は、システムコントローラ１０９または制御部１１０から光学情報を取得することができる。画像処理部１０５による画像処理後の画像は、画像記録媒体１０８（記憶手段）に所定のフォーマットで保存される。この際、同時にデプスマップや光学情報を保存してもよい。また、画像記録媒体１０８に保存されている画像を入力画像として読み出し、画像処理部１０５がその入力画像に対して本実施例のノイズリダクション処理を行うように構成することもできる。

画像記録媒体１０８に保存された画像を鑑賞する際には、この画像が液晶ディスプレイなどの表示部１０７へ出力される。

以上の一連の制御は、システムコントローラ１０９の指示に基づいて実行される。また、視差画像取得部１０１の機械的な駆動は、システムコントローラ１０９の指示に基づいて、制御部１１０により実行される。

次に、図３を参照して、視差画像取得部１０１の構成について詳述する。図３は、視差画像取得部１０１（結像光学系１０２ａ〜１０２ｐ）の模式図である。視差画像取得部１０１は、図３に示されるような多眼構成を有する。結像光学系１０２ａ〜１０２ｐは、二次元状に配置されており、結像光学系１０２ａ〜１０２ｐのそれぞれの後方には、対応する不図示の１６個の撮像素子が配置されている。ただし撮像素子は、結像光学系１０２ａ〜１０２ｐにより形成される像（光学像）を受光可能であれば、単数であってもよい。また、結像光学系１０２ａ〜１０２ｐのそれぞれに対応する撮像素子は、互いに異なる画素数を有するものであってもよい。

結像光学系１０２ａ〜１０２ｐは、互いに異なる焦点距離を有する複数の種類に分類される。本実施例において、結像光学系１０２ａ〜１０２ｄは広角レンズ、結像光学系１０２ｅ〜１０２ｈは標準レンズ、結像光学系１０２ｉ〜１０２ｌは中望遠レンズ、結像光学系１０２ｍ〜１０２ｐは望遠レンズである。ただし本実施例において、結像光学系の種類、数、および、配置は、これに限定されるものではない。また、視差画像取得部１０１は、多眼構成に限定されるものではなく、例えば後述の実施例２に示されるようなＰｌｅｎｏｐｔｉｃカメラの構成を採用してもよい。また、撮像装置１００が視差画像以外から被写体空間のデプスマップを取得可能であれば、単視点の画像取得部であってもよい。視差画像以外から被写体空間のデプスマップを取得する例としては、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）法や構造化照明の利用が挙げられる。

次に、図４乃至図６を参照して、本実施例におけるノイズ低減処理に関して詳述する。図４は、ノイズ低減処理のフローチャートである。図５は、入力画像の説明図である。図６は、デプスマップの説明図である。図４の各ステップは、主にシステムコントローラ１０９の指示に基づいて、画像処理部１０５により実行される。

まず、ステップＳ１０１において、画像処理部１０５は、入力画像（撮影画像）と、その入力画像に関するデプスマップ（被写体空間の距離情報）を取得する。ここで入力画像は、ノイズリダクションの対象となる画像である。入力画像は、視差画像取得部１０１により取得された、ある単一視点の画像、複数の視差画像、または、それらを合成した画像のいずれでもよい。本実施例では、視差画像取得部１０１により被写体空間の視差情報が取得されているため、ステレオ法などを用いてデプスマップを取得する。この場合、デプスマップが推定できるのは、特徴点が存在する画像のエッジ部分などに限られるが、グラデーションのような非エッジ領域のデプスは、エッジ部のデプスから補間により取得することが可能である。

続いて、ステップＳ１０２において、画像処理部１０５は、入力画像からノイズリダクションを行う画素（注目画素）と、入力画像のうち注目画素を含む部分領域に関する注目データ（第一のデータ）とを取得する。図５に示されるように、入力画像２００の中から、注目画素２０１ａおよび注目データ２０３ａが取得される。ただし、注目画素２０１ａおよび注目データ２０３ａのそれぞれの位置、サイズ、および、形状は、これに限定されるものではない。また、一度に取得する注目画素２０１ａは、単数の画素または複数の画素のいずれもよい。一方、注目データ２０３ａは、構造に関する情報（すなわち信号値の分布）を有する必要があるため、複数の画素を含む部分領域に関するデータである。なお、注目画素２０１ａが複数の画素を含む場合、注目データ２０３ａは注目画素２０１ａと一致していてもよい。

続いて、ステップＳ１０３において、画像処理部１０５は、ステップＳ１０１にて取得したデプスマップに基づいて、参照画素取得領域を決定する。そして画像処理部１０５は、後述のように、参照画素取得領域から複数の参照画素を抽出し、抽出した複数の参照画素の信号値の加重平均を算出することにより、注目画素のノイズを低減する。この際、複数の参照画素のうち、その近傍の構造が注目データと類似しているものが多いほど、注目画素の構造を保ちつつ高精度なノイズリダクションを行うことができる。注目データと類似する構造（特に、テクスチャ成分）は、注目画素が存在する被写体内に存在している可能性が高い。また、デプス情報（被写体空間のデプスマップすなわち距離情報）を用いれば、入力画像内から同一被写体の領域をおおよそ特定することができる。このため、デプスマップを用いて参照画素取得領域を制限することにより、より効率的に注目データと類似する構造を有する参照データ（第二のデータ）を取得することが可能である。

ここで参照データとは、参照画素を含む部分領域であり、図６（Ａ）では参照データ２０５ａ、２０５ｂがこれに相当する。参照データに関しては、図４のステップＳ１０４の説明の際に詳述する。なお、ここではデプスマップに基づいて参照画素取得領域を決定するが、これに限定されるものではない。例えば、入力画像の色分布（色分布情報）に基づいて、同様に、同一の被写体領域を大まかに取得することができる。これに関しては、実施例２において詳述する。

次に、デプスマップに基づく参照画素取得領域の制限方法（決定方法）について説明する。第一の方法は、デプスに関するしきい値である、デプスしきい値（第一のしきい値）を設定し、注目データのデプスからデプスしきい値以上離れている領域を参照画素取得領域から除外する方法である。図６を参照して、これを説明する。図６は、図５に示される入力画像２００のデプスマップ（距離情報）であり、濃淡がデプスの値を示している（デプスの値が大きいほど、すなわち距離が遠いほど濃い色で示される）。図６では、説明を分かりやすくするため、被写体（円、三角形、および、四角形の３つの被写体）の輪郭を実線で示しているが、実際のデプスマップではこのような輪郭線は存在しない。それは、同一の奥行き位置に存在する被写体（図６では、３つの被写体と床）を区別することができないためである。ただし、入力画像の色分布などを用いれば、輪郭線を得ることは可能である。

ここで、図６（Ａ）中の注目画素２０１ａが選択された場合を考える。図６（Ａ）では、注目データ２０３ａのデプスからデプスしきい値よりも離れている領域を除外して、破線で示される参照画素取得領域２０４ａを設定する。ただし、参照画素取得領域２０４ａの形状やサイズは、これに限定されるものではない。例えば、デプスや色に関する情報から被写体の切り出しを行い、その被写体の全てを参照画素取得領域として設定してもよい。デプスしきい値は、例えば、入力画像のデプスに対するヒストグラムを作成し、モード法やＧＭＭ（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ）の誤差最小化などを用いて決定することができる。またデプスしきい値は、撮像装置１００の光学情報に基づいて決定することもできるが、この詳細に関しては後述する。

続いて、デプスマップに基づく参照画素取得領域の制限方法（決定方法）としての第二の方法について説明する。ここでは、注目データ内のデプスが不連続（例えば、エッジ領域）の場合について考える。デプスが不連続か否かの判定は、例えばデプスの微分に関するしきい値である、デプス微分しきい値を設定し、注目データ内におけるデプスの微分の絶対値が、デプス微分しきい値を超えているか否かにより判定することができる。デプスが不連続と判定された場合、注目データはエッジ構造を有する。このため、参照画素取得領域も同様にエッジが存在する領域に限定される。例えば図６（Ｂ）に示されるように、デプスが不連続なエッジ領域を注目画素２０１ｂおよび注目データ２０３ｂとして選択したとする。このとき、注目画素２０１ｂの近傍と同様の構造を持つのはエッジ領域に限られる。このため、同様にデプスが不連続となる領域を参照画素取得領域２０４ｂとして指定する。ここで、図６（Ａ）を参照して説明したようにデプスしきい値に基づく参照画素取得領域の制限方法（第一の方法）を併用してもよい。なお本実施例において、デプスマップに基づく参照画素取得領域の制限方法（決定方法）としての２つの方法を説明したが、これらに限定されるものではない。

注目データおよび参照データのデプスの値は、それぞれ、注目画素および参照画素のデプスの値（注目画素および参照画素がそれぞれ複数の画素を含む場合には各画素のデプス平均値）としてもよい。または、注目データや参照データ内の全画素のデプスに対する平均値を採用してもよい。特に、デプスマップの精度（デプス信頼度）が高くない場合、精度を向上させるため、各データ内における全画素のデプス平均値を用いることが好ましい。ただし、注目データまたは参照データがデプスの不連続なエッジ領域である場合、そのデータ内で全画素の平均値を取ると、異なるデプスとなる可能性が高い。このため、その影響を低減するため、注目画素または参照画素のみでデプスを決定することが好ましい。例えば、図６（Ｂ）に示される参照画素２０２ｄのデプスは、参照データ２０５ｄ内の全画素におけるデプス平均値とすると、背景のデプスの値が混合され、被写体（四角形）からずれた値となる可能性が高い。

続いて、図４のステップＳ１０４において、画像処理部１０５は、参照画素取得領域から、複数の参照画素と参照データ（第二のデータ）とを取得する。例えば、図６（Ａ）に示される参照画素２０２ａ、２０２ｂ、および、参照データ２０５ａ、２０５ｂ、または、図６（Ｂ）に示される参照画素２０２ｃ、２０２ｄ、および、参照データ２０５ｃ、２０５ｄ（各々、３つ目以降については省略）を取得する。なお本実施例において、参照画素および参照データのそれぞれのサイズや形状はこれに限定されるものではない。また、参照画素および参照データは、注目画素および注目データとそれぞれ一致していなくてもよい。これは、後述のサイズ変換により、両者の画素数を一致させることができるためである。ただし、参照データは、信号の分布に関する情報を有する必要があるため、複数の画素に関するデータである。ここで、注目画素を入力画像のある色成分（例えば、Ｇｒｅｅｎ）から選択する場合、他の色成分（ＲｅｄやＢｌｕｅ）から参照画素および参照データを取得してもよい。

続いて、ステップＳ１０５において、画像処理部１０５は、注目データと参照データとの相関値を算出する。相関値の算出には、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ−Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの特徴ベースの手法、または、後述する領域ベースの手法を用いることができる。特徴ベースの手法は、特徴量に着目するため、注目データおよび参照データの画素数が互いに異なる場合でも相関値を算出可能である。一方、領域ベースの手法は、互いの信号値の差に着目するため、正しく相関を算出するには両者の画素数を合わせる必要がある。ただし、領域ベースの相関算出は、特徴ベースの相関算出と比較して、相似性を高精度に判定することができるため、領域ベースの手法を用いることが好ましい。

ここで、領域ベースの相関算出式に関し、２つの例を示す。ただし、本実施例はこれに限定されるものではない。また、以下の説明に際しては、説明を簡単にするため、色成分（ＲＧＢ）を考慮せず、単信号の場合で式を記述するが、複数の色成分を持つ場合にも同様に適用可能である。

第一の相関算出式では、注目データと参照データとの信号差の二乗平均平方根を利用する。注目データおよび参照データを画像の部分領域として、すなわち行列で扱う場合、相関算出式ｇ_１（第一の相関算出式）は以下の式（１）のように表される。

式（１）において、Ｔは注目データにおける各画素の信号値を成分Ｔ_ｉｊとする行列、ＮはＴの行数、ＭはＴの列数、Ｒ_ｋはｋ番目の参照データの各信号値を成分とする行列である。Ρは以下の式（２）を満たし、Ρ_ｉｊはその成分を表す。

式（２）において、Ｎ_ＲｋはＲ_ｋの行数、Ｍ_ＲｋはＲ_ｋの列数である。またσ（Ｒ_ｋ，Ｎ／Ｎ_Ｒｋ，Ｍ／Ｍ_Ｒｋ）は、行列Ｒ_ｋの行数をＮ／Ｎ_Ｒｋ倍、列数をＭ／Ｍ_Ｒｋ倍にする変換（画像の拡大または縮小）を表す。σの変換には、バイリニア補間やバイキュービック補間などを用いるとよい。

また注目データおよび参照データをそれぞれ、各信号値が成分のベクトルとして扱う場合、式（１）は以下の式（３）のように書き換えられる。

式（３）において、ｔは注目データの各信号値を成分ｔ_ｉとしたベクトル、ｒ_ｋはｋ番目の参照データの各信号値を成分としたベクトル、ρは行列Ρの各成分を１次元に並び換えたベクトルで、ρの成分がρ_ｉである。

式（１）、（３）で表される相関算出式は、注目データと参照データとの差分に関する式であるため、値が０に近いほど両者の相似性が高いことを意味する。

ここで、注目データおよび参照データの信号から直流成分（平均値を指し、画像の明るさに相当する）を減算してもよい。相関算出は、注目データおよび参照データの持つ構造がどの程度類似しているかを判定するため、その明るさ（直流成分）は無関係である。また、両者の相関が最も高くなるように、参照データのコントラストを調整してもよい。これは、参照データの交流成分をスカラー倍することに相当する。このとき、式（１）は、以下の式（４）のように書き換えられる。

式（４）において、Ｔ_ａｖｅとΡ_ａｖｅはそれぞれ行列ＴとΡにおける各信号値の平均値であり、これらの平均値は均一の重みで算出してもよいし、加重平均としてもよい。ｃはコントラストを調整する係数であり、最小二乗法から、以下の式（５）のように表される。

式（４）を用いて相関値を算出した場合、図４のステップＳ１０７で加重平均を算出する際、参照画素にも同様に明るさとコントラストの調整を施す必要がある。

続いて、領域ベースの相関算出式としての第二の相関算出式について説明する。第二の相関算出式は、ＳＳＩＭ（Ｓｔｒｕｃｔｕｒｅ Ｓｉｍｉｌａｒｉｔｙ）を利用し、以下の式（６）のように表される。

式（６）において、Ｌ、Ｃ、Ｓはそれぞれ明るさ、コントラスト、その他の構造に関する評価関数であり、０〜１の値をとる。各々の値が１に近いほど、比較する２つの信号が近いことを意味する。α、β、γは、各評価項目の重みを調整するパラメタである。ここでα＝０とすれば直流成分（明るさ）の差し引かれた相関算出が行われ、β＝０とすれば交流成分のスカラー倍（コントラストの調整）を相関算出時に加味する必要がなくなるため、式（４）と同様の評価を行うことができる。

本実施例において、相関値の算出の際には、複数の相関算出式を組み合わせて使用してもよい。また、領域ベースの相関算出、例えば第一の相関算出式または第二の相関算出式を用いる際、参照データに等長変換を施して注目データとの相関値が最も高くなるようにしてもよい。等長変換とは、恒等変換、回転変換、または、反転変換などである。この際、最も相関値が高くなった変換を、図４中のステップＳ１０７で参照画素にも施すことになる。より相似性の高い参照データを見つけることにより、ノイズリダクションの効果を向上させることができる。特に、注目データおよび参照データが共にエッジ情報を含む場合、等長変換を施すことにより、相似性が高まりやすくなる。ただしこの場合、計算量が増大するため、ノイズリダクションの効果と計算量とを比較して等長変換を施すか否かを決定することが好ましい。

続いて、図４のステップＳ１０６において、画像処理部１０５は、ステップＳ１０５にて算出された相関値に基づいて、複数の参照データのそれぞれに対する重み（重み係数）を決定する。相関が高いほど、その参照データが注目データと類似しているため、重みが大きくなるように設定する。例えば、式（３）を用いて、以下の式（７）のように重みを決定する。

式（７）において、ｗ_ｋはｋ番目の参照データに対応する重み、ｈはフィルタの強さを表す。Ｚは、重みｗ_ｋの規格化因子であり、以下の式（８）を満たす。

ただし本実施例において、重みを決定する方法はこれに限定されるものではない。例えば、相関値と対応する重みのテーブルを予め保持しておき、このテーブルを参照して重みを決定してもよい。

続いて、ステップＳ１０７において、画像処理部１０５は、ステップＳ１０６にて決定された重みを用いて、参照画素の信号値の加重平均を算出する。そして画像処理部１０５は、注目画素の信号値を、算出した加重平均（加重平均信号値）で置換する。これにより、注目画素のノイズリダクションが完了する。加重平均信号値ｓ_ａｖｅは、例えば、以下の式（９）のように算出される。

式（９）において、ｓ_ｋは、ｋ番目の参照データにおける参照画素の信号値である。注目画素および参照画素がそれぞれ複数の画素を有する場合、信号値ｓ_ｋおよび加重平均信号値ｓ_ａｖｅはベクトル量となる。ただし、加重平均の算出方法はこれに限定されるものではなく、非線型結合などの他の方法を用いてもよい。

また、ステップＳ１０５での相関算出において、直流成分の減算とコントラストの調整を行っている場合、参照画素に対応する明るさとコントラストの調節を行ってから加重平均を取る必要がある。これは、式（２）のサイズ変換や等長変換に関しても同様である。なお、ここではノイズ低減のために置換処理を用いているが、加重平均信号値を用いて学習型のノイズ低減処理を実行してもよい。

続いて、ステップＳ１０８において、画像処理部１０５は、入力画像の所定の領域を処理し終えたかを否かを判定する。ノイズリダクションの対象の全ての画素に関する処理がまだ完了していない場合、ステップＳ１０２へ戻り、画像処理部１０５は新たな注目画素を選択する。一方、ノイズリダクションの対象の全ての画素に関する処理が完了した場合、本フローを終了する。以上の処理により、画像のノイズリダクションに伴うテクスチャ成分の消失を低減して、高精度なノイズリダクションが可能となる。

次に、本実施例の効果を高めるための好ましい条件について説明する。本実施例は、入力画像を撮影した撮像装置１００の光学情報を取得する工程を有し、ステップＳ１０３で用いるデプスしきい値を、光学情報に基づいて決定することが好ましい。図７乃至図９を参照して、これについて説明する。図７は、撮像装置１００および被写体空間の模式図である。図８は、点像強度分布（ＰＳＦ）である。図９は、変調伝達関数（ＭＴＦ：Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）である。

図７において、ｘ、ｙ、ｚは３次元座標中のｘ軸、ｙ軸、ｚ軸をそれぞれ表し、ｚ軸がデプス方向である。撮像装置１００は、合焦面２１１にピントを合わせている。ここで、非合焦面２１２について考える。非合焦面２１２に対応する撮像装置１００の点像強度分布は、図８（Ａ）のように表される。ここで説明を簡易にするため、点像強度分布はｙ＝０における断面の成分のみを描画している。図９（Ａ）は、図８（Ａ）の点像強度分布に対応するＭＴＦである。ｆ_ｘはｘ軸方向の空間周波数であり、ここでは簡単のため正の象限のみを示している。ｆ_ｍａｘは、図９（Ａ）でＭＴＦの値が０になる空間周波数を示している。

撮像装置１００にはデフォーカスによるぼけが存在するため、合焦面２１１からｚ方向に離れた面では、取得可能な最大周波数が低下する。例えば、図７中の非合焦面２１３上の点像は、図８（Ｂ）に示されるように、図８（Ａ）よりもぼけて撮像される。図９（Ｂ）は、図８（Ｂ）の点像強度分布に対応するＭＴＦである。図９（Ｂ）からわかるように、取得可能な最大周波数は、図９（Ａ）の場合よりも低下している。図７中の非合焦面２１４は、非合焦面２１３よりも更に合焦面２１１から離れた面である。図８（Ｃ）は非合焦面２１３での点像強度分布、図９（Ｃ）はそのＭＴＦである。

このように、撮像装置１００においては、デプスに応じて取得可能な情報（周波数成分）が異なる。すなわち、非合焦面２１２および非合焦面２１４において類似構造を有する被写体が存在している場合でも、実際の撮影画像は、その類似構造にそれぞれ図８（Ａ）、（Ｃ）の点像強度分布が重畳された画像となる。このように、取得可能な周波数帯域が異なるため、両者は入力画像上では異なる構造を有することになる。

以上のことを考慮すると、取得可能な周波数帯域が大きく異なるデプス間で注目データおよび参照データを取得しても、それらが類似構造となる可能性は低い。また、各デプスにおける取得可能な周波数成分は、撮像装置１００の光学情報に基づいて算出可能である。このため本実施例では、参照画素取得領域を光学情報に応じて決定することが好ましい。ここで光学情報とは、合焦距離、焦点距離、Ｆ値、光学伝達関数（ＯＴＦ）、点像強度分布（ＰＳＦ）、収差、回折、デフォーカスによる像の拡がり量などである。取得可能な周波数成分は、各デプスでのＯＴＦ、ＭＴＦ、または、ＰＳＦが既知であれば正確に取得可能であるが、焦点距離およびＦ値から近似的に求めることもできる。ただし、入力画像が複数の視差画像を合成した画像である場合、例えばＦ値は各視差画像を取得した結像光学系の開口を合成した合成開口から決定され、その他の光学情報も画像の合成に対応して決定される。

次に、光学情報を用いたデプスしきい値の決定方法について説明する。第一の決定方法では、例えば、注目データのデプスに対して周波数のしきい値ｆ_ｔｈｒを定めておき、しきい値ｆ_ｔｈｒでのＭＴＦが所定の値ｒ_ｔｈｒ以上になるデプスの端をデプスしきい値とする。この方法を用いて参照画素取得領域を決定した例が、図７中の参照画素取得デプス範囲２１５である。デフォーカスによる点像の拡がりが同一となるデプスは、合焦面２１１の前後で異なるため、図７のように非合焦面２１２の前後でもデプスしきい値は異なる。ここでは、注目データが非合焦面２１２に存在する場合を示しているが、合焦面２１１に存在する場合でも同様である。このデプスしきい値の決定方法では、注目データのデプスより高周波が充分に取得できないデプスを、参照画素取得領域から除外することができる。このため、特に注目データが合焦面に近いデプスから取得されているほど、この決定方法は効果的である。

続いて、デプスしきい値の決定方法としての第二の方法では、注目データのデプスと点像強度分布（または、ＭＴＦなど）の形状が類似となるか否かに応じてデプスしきい値を決定する。点像強度分布の類似度判定は、例えば式（１）と同様の式を用いて算出すればよい。点像の強度を画素の信号値に置き換えれば、同様の計算が可能である。類似度が所定の条件を満たすデプスの端をデプスしきい値とすればよい。第二の決定方法では、注目データのデプスと取得可能な周波数帯域が異なる（すなわち、高周波が不足または過剰になる）デプスを、参照画素取得領域から除外することができる。

より好ましくは、ステップＳ１０３で用いるデプスしきい値は、撮像装置１００の光学情報に加えて、注目データの周波数特性を考慮して決定される。注目データの構造は、注目データのデプスにおける点像強度分布だけでなく、被写体の構造にも依存する。ここで、図７の非合焦面２１２上から注目データを取得した場合を考える。

図１０は、この際の注目データにおける周波数特性である。図１０（Ａ）は注目データ内の被写体が細かい構造を有する場合、図１０（Ｂ）は被写体が粗い（低周波のみの）構造を有する場合の周波数特性をそれぞれ示している。図１０（Ａ）の周波数特性を有する注目データに類似する構造は、高周波成分まで取得可能なデプス（合焦面２１１や非合焦面２１２の近傍）にしか存在しない。一方、図１０（Ｂ）の注目データと類似の構造は、広い範囲のデプスに存在している可能性がある。このため、注目データの周波数特性に応じてデプスしきい値を変化させることが好ましい。例えば、注目データのスペクトル強度が所定の値ｒ_ｔｈｒ以下となる周波数をしきい値ｆ_ｔｈｒとして、前述のように、光学情報を用いたデプスしきい値の第一の決定方法を用いればよい。これにより、注目データの周波数特性に応じて周波数のしきい値ｆ_ｔｈｒが変化するため、デプスしきい値も変化することとなる。

また本実施例は、入力画像のデプスマップの精度を表すデプス信頼度のマップを取得する工程を有し、このデプス信頼度に応じて、ステップＳ１０３における参照画素取得領域の決定の際に処理を切り換えることが好ましい。本実施例では、デプスマップを視差画像から算出しているため、例えば視差画像間で対応点が少ないと、デプスの推定精度は低下する。同様に、ＴＯＦ法や構造化照明を用いたデプス取得方法でも、外乱や物体表面の特性によって取得精度が低下することがある。これらの低精度なデプスを処理に用いると、本実施例の効果が低下する。このため、デプス信頼度に応じて処理を切り換えることが好ましい。例えば、デプス信頼度に関するしきい値（第二のしきい値）を設定し、デプス信頼度が第二のしきい値よりも低い領域は、参照画素取得領域から除外する。これにより、注目画素の近傍と異なる構造の参照画素がステップＳ１０７で合成される可能性を低減することができる。

また本実施例は、前述とは異なるデプス信頼度に関するしきい値（第三のしきい値）を設定し、注目データのデプス信頼度が第三のしきい値よりも低い場合、ステップＳ１０３でデプスマップを用いることなく参照画素取得領域を決定することが好ましい。注目データのデプス信頼度が低い場合にデプスを用いて参照画素取得領域を決定すると、注目データとは異なる被写体からのみの参照データを取得する可能性がある。このため、第三のしきい値よりも信頼度が低い場合、デプス情報とは独立に参照画素取得領域を決定することにより、注目データと相似性の低い参照データだけが取得されることを回避することができる。

ここでデプス信頼度は、視差画像からデプスを算出する場合、視差画像間の対応点の多い部分や強い強度のエッジがある領域で信頼度が高くなるような定義を用いるとよい。これは、対応点が多い部分や強いエッジ部でデプスの算出精度が上がるためである。以上の構成により、本実施例によれば、画像のノイズリダクションを高精度に実行可能な撮像装置を提供することができる。

次に、図１１および図１２を参照して、本発明の実施例２における画像処理方法を実行可能な画像処理システムについて説明する。図１１は、本実施例における画像処理システム３００のブロック図である。図１２は、画像処理システム３００の外観図である。本実施例は、撮像装置と本実施例のノイズ低減処理を行う画像処理装置とが個別に設けられており、ノイズ低減処理の際の参照画素取得領域の制限に色情報を用い、参照データの重み算出の際にデプス情報を用いる。

撮像装置３０１により取得された入力画像は、通信部３０３を介して画像処理装置３０２へ出力される。撮像装置３０１は、視差画像を取得可能に構成されており、視差情報から得られたデプスマップと入力画像の撮影時の光学情報が記憶部３０４（記憶手段）に記憶される。ノイズリダクション部３０５（画像処理手段）は、入力画像に対してノイズ低減処理（画像処理方法）を実行して、入力画像から出力画像を生成する。ノイズリダクション部３０５による処理後の出力画像は、通信部３０３を介して、表示装置３０６、記録媒体３０７、および、出力装置３０８のいずれか一つまたは複数に出力される。表示装置３０６は、例えば液晶ディスプレイやプロジェクタなどである。ユーザは、表示装置３０６を介して、処理途中の画像を確認しながら作業を行うことができる。記録媒体３０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバなどである。出力装置３０８は、プリンタなどである。画像処理装置３０２は、必要に応じて、現像処理やその他の画像処理を行う機能を有する。

次に、図１３を参照して、撮像装置３０１における視差画像取得部の構成について説明する。図１３は、撮像装置３０１の視差画像取得部の模式図である。視差画像取得部は、結像光学系３０１ａ、レンズアレイ３０１ｂ、および、撮像素子３０１ｃを有する。

レンズアレイ３０１ｂは、結像光学系３０１ａを介して合焦面３１１と共役な面に配置されている。またレンズアレイ３０１ｂは、結像光学系３０１ａの射出瞳と撮像素子３０１ｃとが、略共役関係となるように構成されている。被写体空間からの光線は、結像光学系３０１ａおよびレンズアレイ３０１ｂを通過し、その光線が通過する結像光学系３０１ａの瞳領域（すなわち視点）に応じて、撮像素子３０１ｃの互いに異なる画素へ入射する。これにより、視差画像が取得される。図１３では、１次元方向に５つの視点に分割されているため、２次元的には２５の視差画像が得られることとなる。ただし、視点の数はこれに限定されるものではない。

図１３の構成は、Ｐｌｅｎｏｐｔｉｃ１．０カメラと呼ばれ、特許第４７５２０３１号に詳しく説明されている。また、視差画像が得られるＰｌｅｎｏｐｔｉｃカメラとして、例えばＵＳ７９６２０３３号に開示されているような他の構成もある。なお、合焦面３１１には、必ずしも被写体が存在している必要はない（すなわち、何もない空中に合焦していてもよい）。これは、視差画像を合成することにより、リフォーカスと呼ばれる撮影後のピント位置制御が可能なためである。

次に、図１４および図１５を参照して、図１１のノイズリダクション部３０５で実行されるノイズ低減処理に関して詳述する。図１４は、本実施例におけるノイズ低減処理のフローチャートである。図１５は、本実施例におけるデプスマップの説明図である。図１４の各ステップは、主に、画像処理装置３０２に含まれるシステムコントローラ（不図示）の指示に基づいて、ノイズリダクション部３０５により実行される。なお図１４において、図４を参照して説明した実施例１と同様の箇所についての説明は省略する。

ステップＳ２０１、Ｓ２０２は、図４のステップＳ１０１、１０２とそれぞれ同様である。続いて、ステップＳ２０３において、ノイズリダクション部３０５は、入力画像の色分布（色分布情報）に基づいて参照画素取得領域を決定する。

図１５のデプスマップにおいて、破線で示される参照画素取得領域４０４を、注目画素４０１から水平方向および垂直方向に一定画素数の範囲内で、かつ注目データ４０３内と色情報が類似している領域とする（ここでは、円と三角形が類似色の被写体である）。ただし、参照画素取得領域４０４の決定方法は、これに限定されるものではない。参照画素取得領域４０４を、色の近い領域に制限することにより、異なる構造を有する被写体からの参照画素の取得を回避することができる。色による領域分割には、例えばＫ平均法などを用いることができる。また、予め色空間をいくつかのグループに分けておき、入力画像の各画素がいずれのグループに属するかに応じて決定してもよい。

続いて、図１４のステップＳ２０４、Ｓ２０５は、図４のステップＳ１０４、Ｓ１０５とそれぞれ同様である。例えば図１５に示されるように、ノイズリダクション部３０５は、参照画素４０２ａ、４０２ｂ、および、参照データ４０５ａ、４０５ｂ（各々、３つ目以降は省略）を取得し、注目データ４０３との相関値を算出する。

続いて、ステップＳ２０６において、ノイズリダクション部３０５は、デプスマップとステップＳ２０５にて算出された相関値とを用いて、参照データの重みを決定する。注目データと同一被写体内に存在する参照データは相似構造を有する可能性が高い。このため、注目データおよび参照データのデプスが近いほど重みを大きくする。例えば図１５では、注目画素４０１と同程度のデプスに存在する参照画素４０２ａの重みを大きくし、デプスが離れている参照画素４０２ｂの重みを小さくする。

本実施例において、重みは、例えば以下の式（１０）のように表される。

式（１０）において、ｖ_ｋはｋ番目の参照データに対応した重み、Ｄ_０は注目データのデプス、Ｄ_ｋはｋ番目の参照データのデプス、ｄはデプスのスケーリングパラメタである。Ω_１は、重みｖ_ｋの規格化因子であり、以下の式（１１）を満たす。

ただし本実施例において、重みを決定する方法はこれに限定されるものではない。また、デプスだけでなく、色情報をも利用して、重みを決定してもよい。この場合、式（１０）は、以下の式（１２）のように書き換えられる。

式（１２）において、ｕ_ｋはｋ番目の参照データに対応した重み、Γ_０ｋは色空間における注目データとｋ番目の参照データそれぞれの平均画素信号値の距離、γはそのスケーリングパラメタである。Ω_２は、規格化因子であり、以下の式（１３）を満たす。

ステップＳ２０７、Ｓ２０８は、図４のステップＳ１０７、Ｓ１０８とそれぞれ同様である。以上の処理により、画像のノイズリダクションに伴うテクスチャ成分の消失を低減して、高精度なノイズリダクションが可能となる。

次に、本実施例の効果を更に高めるために好ましい条件について説明する。まず、ステップＳ２０６において、ノイズリダクション部３０５は、入力画像を撮影した撮像装置３０１の光学情報とデプスマップとから、参照データにおける解像限界に関する情報を取得する。そしてノイズリダクション部３０５は、取得した解像限界に関する情報と、参照データの周波数特性とに応じて、重みを変化させることが好ましい。実施例１で説明したように、入力画像には、収差、回折、または、デフォーカスにより、ぼけが生じており、それ以上は解像できない空間周波数（解像限界）が存在する。このため、その解像限界よりも高い周波数成分が存在している場合、それはノイズ成分である。

撮像装置３０１の光学特性と、被写体空間のデプスマップとが既知であれば、入力画像の各領域において解像限界を算出することが可能である。このため、参照データの解像限界を算出し、参照データの周波数特性との対応を見ることにより、発生しているノイズ量の一部を評価することができる。解像限界よりも高い周波数においてＭＴＦが大きい参照データは、大きなノイズが発生していると考えられるため、重みを小さくすることが好ましい。これにより、よりノイズ低減の効果を増大させることができる。

また、実施例１と同様に、デプス信頼度のマップを取得し、デプス信頼度が低い参照データほど重みが小さくなるようにすることが好ましい。これにより、本実施例のノイズリダクション効果を更に高精度に取得可能となる。また実施例１と同様に、注目データのデプス信頼度が低い場合、重みをデプスと独立に決定することが好ましい。以上の構成により、画像のノイズリダクションを高精度に実行可能な画像処理システムを提供することができる。

次に、図１６および図１７を参照して、本発明の実施例３における画像処理方法を実行可能な撮像システムについて説明する。図１６は、本実施例における撮像システム５００のブロック図である。図１７は、撮像システム５００の外観図である。本実施例は、撮像装置が無線または有線のネットワークを介してサーバと接続されており、サーバの画像処理部は、撮像装置からサーバへ転送された画像に対してノイズリダクション処理を実行可能に構成されている。

撮像装置５０１は、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式の撮像素子を有し、撮影により入力画像および入力画像のデプスマップ（距離情報）を取得することができる。サーバ５０３（画像処理装置）は、通信部５０４を有し、無線または有線のネットワーク５０２を介して撮像装置５０１と接続されている。撮像装置５０１で撮影が行われると、入力画像（撮影画像）およびデプスマップが自動的または手動でサーバ５０３へ入力され、入力画像およびデプスマップが記憶部５０５（記憶手段）に記憶される。このとき、必要に応じて、撮像装置５０１の光学情報も記憶される。画像処理部５０６（画像処理手段）は、入力画像に対してノイズ低減処理（画像処理方法）を実行することにより、入力画像から出力画像を生成する。処理後の出力画像は、撮像装置５０１へ出力されるか、または、記憶部５０５に記憶される。なお本実施例における画像処理方法（ノイズ低減処理）は、図４または図１４を参照して説明した実施例１または実施例２と同様であるため、それらの説明は省略する。

このように、各実施例の画像処理方法では、入力画像から注目画素を含む部分領域に関する第一のデータ（注目データ）を取得し（Ｓ１０２、Ｓ２０２）、注目画素に応じて参照画素取得領域を決定する（Ｓ１０３、Ｓ２０３）。続いて、参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータ（複数の参照データ）を取得する（Ｓ１０４、Ｓ２０４）。そして、複数の第二のデータのそれぞれに対して、第一のデータとの相関に基づいて重みを決定し（Ｓ１０６、Ｓ２０６）、複数の参照画素および重みに基づいて、注目画素に対応する出力画素（出力画素を含む出力画像）を生成する（Ｓ１０７、Ｓ２０７）。この際に、参照画素取得領域または重みの少なくとも一つは、入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定される。例えば、各実施例の一部の工程を除外することや、実施例１、２の少なくとも一部の工程を組み合わせることも可能である。

好ましくは、出力画素を生成する際に、注目画素の信号値を、複数の参照画素の信号値と重みとに基づいて算出された信号値に置き換えることにより、出力画素を生成する。また好ましくは、入力画像における距離情報は、入力画像における被写体空間のデプスマップである。

好ましくは、参照画素取得領域を決定する際に（Ｓ１０３）、参照画素取得領域は、第一のデータにおけるデプスに対して、第一のしきい値以上異なるデプスを有する領域を含まないように決定される。より好ましくは、第一のしきい値は、入力画像を撮影した撮像装置の光学情報に応じて決定される。より好ましくは、光学情報は、撮像装置の変調伝達関数（ＭＴＦ）または点像強度分布（ＰＳＦ）を含む。また好ましくは、第一のしきい値は、第一のデータの周波数特性に応じて決定される。また好ましくは、参照画素取得領域を決定する際に（Ｓ１０３）、参照画素取得領域は、第一のデータにおけるデプスの微分値（エッジ領域）に応じて変更される。

好ましくは、重みを決定する際に（Ｓ２０６）、第二のデータにおけるデプスと第一のデータにおけるデプスが離れているほど重みを小さくする。また好ましくは、重みを決定する際に（Ｓ２０６）、デプスマップおよび入力画像を撮影した撮像装置の光学情報に基づいて、第二のデータの解像限界に関する情報を取得し、解像限界に関する情報および第二のデータの周波数特性に応じて、重みを変更する。

好ましくは、デプスマップの精度に関するデプス信頼度に応じて、参照画素取得領域または重みの少なくとも一つを決定する際にデプスマップを考慮するか否かを判定する。より好ましくは、参照画素取得領域を決定する際に（Ｓ１０３）、参照画素取得領域は、デプス信頼度が第二のしきい値よりも低い領域を含まないように決定される。より好ましくは、重みを決定する際に（Ｓ２０６）、第二のデータにおけるデプス信頼度が低いほど重みを小さくする。また好ましくは、第一のデータにおけるデプス信頼度が第三のしきい値よりも低い場合、デプスマップに依存せずに参照画素取得領域または重みの少なくとも一つを決定する。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、画像のノイズリダクションを高精度に実行可能な画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体を提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２００ 入力画像
２０１ａ、２０１ｂ 注目画素
２０２ａ、２０２ｄ 参照画素
２０３ａ、２０３ｂ 注目データ（第一のデータ）
２０４ａ、２０４ｂ 参照画素取得領域
２０５ａ、２０５ｄ 参照データ（第二のデータ）

Claims (18)

1. 入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップと、
   前記注目画素に応じて参照画素取得領域を決定するステップと、
   前記参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップと、
   前記複数の第二のデータのそれぞれに対して、前記第一のデータとの相関に基づいて重みを決定するステップと、
   前記複数の参照画素および前記重みに基づいて、前記注目画素に対応する出力画素を生成するステップと、を有し、
   前記参照画素取得領域または前記重みの少なくとも一つは、前記入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定される、ことを特徴とする画像処理方法。
2. 前記出力画素を生成するステップにおいて、前記注目画素の信号値を、前記複数の参照画素の信号値と前記重みとに基づいて算出された信号値に置き換えることにより、前記出力画素を生成することを特徴とする請求項１に記載の画像処理方法。
3. 前記入力画像における距離情報は、該入力画像における被写体空間のデプスマップであることを特徴とする請求項１または２に記載の画像処理方法。
4. 前記参照画素取得領域を決定するステップにおいて、該参照画素取得領域は、前記第一のデータにおけるデプスに対して、第一のしきい値以上異なるデプスを有する領域を含まないように決定されることを特徴とする請求項３に記載の画像処理方法。
5. 前記第一のしきい値は、前記入力画像を撮影した撮像装置の光学情報に応じて決定されることを特徴とする請求項４に記載の画像処理方法。
6. 前記光学情報は、前記撮像装置の変調伝達関数または点像強度分布を含むことを特徴とする請求項５に記載の画像処理方法。
7. 前記第一のしきい値は、前記第一のデータの周波数特性に応じて決定されることを特徴とする請求項４乃至６のいずれか１項に記載の画像処理方法。
8. 前記参照画素取得領域を決定するステップにおいて、該参照画素取得領域は、前記第一のデータにおけるデプスの微分値に応じて変更されることを特徴とする請求項３乃至７のいずれか１項に記載の画像処理方法。
9. 前記重みを決定するステップにおいて、前記第二のデータにおけるデプスと前記第一のデータにおけるデプスが離れているほど前記重みを小さくすることを特徴とする請求項３乃至８のいずれか１項に記載の画像処理方法。
10. 前記重みを決定するステップにおいて、
    前記デプスマップおよび前記入力画像を撮影した撮像装置の光学情報に基づいて、前記第二のデータの解像限界に関する情報を取得し、
    前記解像限界に関する情報および前記第二のデータの周波数特性に応じて、前記重みを変更することを特徴する請求項３乃至９のいずれか１項に記載の画像処理方法。
11. 前記デプスマップの精度に関するデプス信頼度に応じて、前記参照画素取得領域または前記重みの少なくとも一つを決定する際に該デプスマップを考慮するか否かを判定することを特徴とする請求項３乃至１０のいずれか１項に記載の画像処理方法。
12. 前記参照画素取得領域を決定するステップにおいて、該参照画素取得領域は、前記デプス信頼度が第二のしきい値よりも低い領域を含まないように決定されることを特徴とする請求項１１に記載の画像処理方法。
13. 前記重みを決定するステップにおいて、前記第二のデータにおける前記デプス信頼度が低いほど前記重みを小さくすることを特徴とする請求項１１または１２に記載の画像処理方法。
14. 前記第一のデータにおける前記デプス信頼度が第三のしきい値よりも低い場合、前記デプスマップに依存せずに前記参照画素取得領域または前記重みの少なくとも一つを決定することを特徴とする請求項１１乃至１３のいずれか１項に記載の画像処理方法。
15. 入力画像を記憶する記憶手段と、
    前記入力画像から出力画像を生成する画像処理手段と、を有し、
    前記画像処理手段は、
    前記入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップと、
    前記注目画素に応じて参照画素取得領域を決定するステップと、
    前記参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップと、
    前記複数の第二のデータのそれぞれに対して、前記第一のデータとの相関に基づいて重みを決定するステップと、
    前記複数の参照画素および前記重みに基づいて、前記注目画素に対応する出力画素を含む前記出力画像を生成するステップと、を実行するように構成されており、
    前記画像処理手段は、前記参照画素取得領域または前記重みの少なくとも一つを、前記入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定する、ことを特徴とする画像処理装置。
16. 光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
    前記画像データに基づく入力画像から出力画像を生成する画像処理手段と、を有し、
    前記画像処理手段は、
    前記入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップと、
    前記注目画素に応じて参照画素取得領域を決定するステップと、
    前記参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップと、
    前記複数の第二のデータのそれぞれに対して、前記第一のデータとの相関に基づいて重みを決定するステップと、
    前記複数の参照画素および前記重みに基づいて、前記注目画素に対応する出力画素を含む前記出力画像を生成するステップと、を実行するように構成されており、
    前記画像処理手段は、前記参照画素取得領域または前記重みの少なくとも一つを、前記入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定する、ことを特徴とする撮像装置。
17. 入力画像から注目画素を含む部分領域に関する第一のデータを取得するステップと、
    前記注目画素に応じて参照画素取得領域を決定するステップと、
    前記参照画素取得領域から選択された複数の参照画素をそれぞれ含む複数の部分領域に関する複数の第二のデータを取得するステップと、
    前記複数の第二のデータのそれぞれに対して、前記第一のデータとの相関に基づいて重みを決定するステップと、
    前記複数の参照画素および前記重みに基づいて、前記注目画素に対応する出力画素を生成するステップと、をコンピュータに実行させるように構成されたプログラムであって、
    前記参照画素取得領域または前記重みの少なくとも一つは、前記入力画像における距離情報または色分布情報の少なくとも一つに基づいて決定される、ことを特徴とするプログラム。
18. 請求項１７に記載のプログラムを記憶していることを特徴とする記憶媒体。