JP2016119542A - 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 - Google Patents

Abstract

【課題】撮像により生成された画像に対して良好なノイズリダクションを行うことができるようにする。【解決手段】画像処理装置１０４は、撮像系１０１，１０２を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行う処理手段と、撮像系の光学特性に関する第１の情報を取得する取得手段とを有する。処理手段は、第１の情報に応じて、ノイズリダクションの処理を変更する。また、撮像系の標本化に関する第２の情報を取得し、第１の情報と第２の情報に応じてノイズリダクションの処理を変更するようにしてもよい。【選択図】図１

Description

本発明は、画像に対するノイズリダクションを行う画像処理技術に関する。

被写体空間を撮像することで生成された画像を高画質化するためには、該画像からノイズを低減することが重要である。一般に、画像に含まれる被写体空間の情報は高周波になるほど強度が小さくなるが、これに対して画像中のノイズは周波数に依らずほぼ一定の強度を有する。このため、周波数が高い領域ほど画像の本来の信号に含まれるノイズの割合が増す。したがって、画像の高周波成分を弱めることで該画像のノイズを低減する処理としてのノイズリダクションが多く行われる。

このようなノイズリダクションとして、画像の信号が有する局所的な特徴を用いることで、被写体空間のエッジ情報を保ちつつ画像からノイズを低減する手法が提案されている。特許文献１には、画像の局所領域をエッジ部、平坦部およびグラデーション部に分類し、その分類に応じてノイズリダクションのパラメタを変化させる方法が開示されている。この方法は、エッジ部ではノイズリダクション効果を弱くし、ノイズが目立ちやすい平坦部ではノイズリダクション効果を強くすることで、エッジの鮮鋭感を保ったまま画像からノイズを低減することを目的としている。

特開２０１０−１０９８３４号公報

しかしながら、特許文献１にて開示された方法では、ノイズリダクションの対象となる画像を生成した撮像系（撮像光学系や撮像素子等を含む）の光学特性が考慮されていない。

撮像系には、Ｆ値やフォーカス位置、さらに撮像光学系がズームレンズである場合は焦点距離等について自由度があり、それらによって決まる光学特性に応じて生成される画像の性質が異なる。したがって、撮像系の光学特性を考慮したノイズリダクションを行わなければ、効率的にノイズを低減することができないばかりか、被写体空間の情報のロスを増加させる等の不都合が生じる可能性がある。

本発明は、撮像により生成された画像に対して良好なノイズリダクションを行うことができるようにした画像処理装置等を提供する。

本発明の一側面としての画像処理装置は、撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行う処理手段と、撮像系の光学特性に関する第１の情報を取得する取得手段とを有する。処理手段は、第１の情報に応じて、ノイズリダクションの処理を変更することを特徴とする。

なお、上記画像処理装置と、撮像系のうち少なくとも一部とを有する撮像装置も、本発明の他の一側面を構成する。

また、本発明の他の一側面としての画像処理方法は、撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行う。該画像処理方法は、撮像系の光学特性に関する第１の情報を用意し、第１の情報に応じて、ノイズリダクションの処理を変更することを特徴とする。

さらに、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行わせるコンピュータプログラムである。該画像処理方プログラムは、コンピュータに、撮像系の光学特性に関する第１の情報を取得させ、第１の情報に応じて、ノイズリダクションの処理を変更させることを特徴とする。

本発明によれば、撮像により生成された入力画像に対するノイズリダクションの処理を、撮像系の光学特性に関する情報に応じて変更するので、該入力画像に対する高精度なノイズリダクションを行うことができる。

本発明の実施例１である撮像装置の構成を示すブロック図。 実施例１の撮像装置の外観図。 実施例１におけるノイズリダクション処理の流れを示すフローチャート。 実施例１〜３における光学特性の説明図。 本発明の実施例２である画像処理システムの構成を示すブロック図。 実施例２の画像処理システムの外観図。 実施例２における結像光学系の配置図。 実施例２，３におけるノイズリダクション処理の流れを示すフローチャート。 実施例２，３におけるデフォーカス量とその像の拡がりとの関係を示す図。 実施例２，３における撮像シーンの例を示す図。 実施例２，３において撮像により生成された画像の例を示す図。 実施例２，３におけるデフォーカス特性領域を示す図。 実施例３の撮像システムの構成を示すブロック図。 実施例３の撮像システムの外観図。

以下、本発明の実施例について図面を参照しながら説明する。

撮像に用いられる結像光学系には、Ｆ値やフォーカス位置、さらに該光学系がズームレンズである場合は焦点距離等について自由度があり、それらによって決まる光学特性に応じて生成される画像の性質が異なる。例えば、Ｆ値を大きくすると、それに応じて回折の影響が増し、撮像により生成される画像で取得できる被写体空間の周波数情報は低周波成分のみとなる。このため、該画像に対して、Ｆ値が小さい場合に比べて強いノイズリダクションを行っても、該画像に含まれる被写体空間の情報は失われない。このように、撮像に用いられる結像光学系の光学特性を考慮したノイズリダクションを行えば、被写体空間の情報のロスを抑制しつつ、ノイズのみを効率的に低減することが可能となる。後述する実施例では、このような高精度のノイズリダクションを実現するための構成や方法について説明する。

また、具体的な実施例の説明に先だって、実施例にいう撮像系の光学特性について説明する。まず、実施例にいう撮像系は、主として結像光学系（撮像光学系）と撮像素子により構成され、被写体空間からの光によって光学像を形成させ、該光学像の光電変換によりアナログ電気信号を生成する（標本化する）系をいう。

被写体空間の情報を劣化させる要因は、結像光学系による回折、収差、デフォーカスに加え、撮像素子の露光中に発生する撮像系の変位または被写体の移動によるぶれがある。これらの要因のうち、実施例では、結像光学系の設計値または計測によって事前に知ることができる回折、収差およびデフォーカスを取り上げ、これらの特性をまとめて光学特性という。そして、後述するノイズリダクションにおいて、該光学特性に関する情報を考慮する。ただし、光学特性の要素は回折、収差およびデフォーカスの全てでもよいし一部のみでもよい。これは、回折、収差およびデフォーカスはそれぞれ発生原因が異なり、撮像シーンによってその影響の大きさが変化するためである。

また、実施例では、撮像素子での標本化に関する情報である撮像素子の画素ピッチやナイキスト周波数もノイズリダクションにおいて考慮する。

実施例１では、撮像系（結像光学系）の光学特性の要素を回折と収差とする場合について説明する。図１には、実施例１の撮像装置１００の基本構成を示し、図２には、該撮像装置１００の外観を示している。

不図示の被写体空間から結像光学系１０１に入射した光は該結像光学系１０１の結像作用によって光学像を撮像素子１０２上に形成する。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等により構成される光電変換素子である。撮像素子１０２は、光学像を光電変換してアナログ電気信号を生成する。このアナログ信号は、Ａ／Ｄコンバータ１０３によってデジタル信号に変換され、デジタル信号は画像処理部１０４に入力される。

なお、結像光学系１０１は、撮像素子１０２を含む撮像装置１００に対して交換可能であってもよい。つまり、撮像装置１００は、撮像系の少なくとも一部（撮像素子１０２）を有すればよい。

画像処理装置としての画像処理部１０４は、入力されたデジタル信号に対して一般的な画像処理を行うことで画像データとしての入力画像を生成する。また、画像処理部１０４は、該入力画像に対してノイズを低減するための処理であるノイズリダクションを行う。ノイズリダクションには、詳しくは後述するが、記憶部１０５に保存された結像光学系１０１の光学特性に関する情報（第１の情報：以下、光学特性情報という）が用いられる。

画像処理部１０４で上記処理を受けた結果として得られる出力画像は、画像記録媒体１０６に所定のフォーマットで保存される。この際、出力画像とともに撮像条件に関する情報（以下、撮像条件情報という）を保存してもよい。撮像条件情報とは、入力画像を生成するための撮像時における結像光学系１０１の絞りやフォーカスの状態、また結像光学系１０１がズームレンズである場合にはその焦点距離等を含む。状態検知部１０７は、撮像条件情報をシステムコントローラ１０８から得てもよいし、光学系制御部１０９から得てもよい。

また、既に画像記録媒体１０６に保存された画像を入力画像として読み出し、該入力画像に対する撮像条件情報を参照して記憶部１０５から光学特性情報を取得し、該光学特性情報を用いて入力画像に対して画像処理部１０４でノイズリダクションを行ってもよい。

画像記録媒体１０６に保存された画像は、液晶ディスプレイ等により構成される表示部１１０にて表示される。

システムコントローラ１０８は、以上説明した撮像装置１００の各構成要素を制御する。結像光学系１０１のフォーカスレンズ、絞りおよび変倍レンズ等の機械的な駆動は、システムコントローラ１０８からの指示に応じて光学制御部１０９が制御する。

次に、図３のフローチャートと図４を用いて、画像処理部１０４で行われるノイズリダクション処理（画像処理方法）について詳しく説明する。画像処理コンピュータとしての画像処理部１０４は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。なお、画像処理部１０４は、取得手段および処理手段として機能する。

ステップＳ１０１では、画像処理部１０４は、入力画像を取得する。入力画像には、被写体空間の情報のほか、撮像素子１０２で発生したショットノイズ等が含まれている。

ステップＳ１０２では、画像処理部１０４は、撮像系（撮像素子１０２）の標本化に関する情報（第２の情報：以下、標本化情報という）を取得する。標本化情報は、前述したように、撮像素子１０２における標本化の間隔を表す画素ピッチや、標本化の周波数（サンプリング周波数）の１／２の周波数であるナイキスト周波数等の標本化の条件を示す情報である。撮像素子１０２が、異なる色や偏光を取得するために複数の色チャンネル有している場合は、各色チャンネルに対応した標本化情報を取得する。例えば、撮像素子１０２の画素配列がＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）のベイヤー配列である場合には、ＧとＲ，Ｂとでは標本化情報が異なる。

ステップＳ１０３では、画像処理部１０４は、入力画像におけるノイズリダクション対象領域（入力画像の少なくとも一部）から、今回のルーチンでノイズリダクションを行う部分領域を取得する。

ステップＳ１０４では、画像処理部１０４は、ステップＳ１０３で取得した部分領域の入力画像内での位置に対応する光学特性情報を取得（用意）する。光学特性情報は、入力画像を生成するための撮像時における結像光学系１０１の光学特性を示し、光学伝達関数（ＯＴＦ）や点像強度分布（ＰＳＦ）等が挙げられる。また、光学特性情報として、簡易的に点像の拡がり量であるスポット径等でもよい。しかし、より高精度なノイズリダクションを求める場合には、光学伝達関数や点像強度分布を取得することが望ましい。

ここで、光学特性情報がどのようなパラメタにより決定されるかについて説明する。前述したように、本実施例では、光学特性情報として回折と収差の情報を扱う。デフォーカスについては後に説明する実施例２で扱う。

回折は像高に依らずほぼ一定である。このため、回折のみを考慮する場合には、光学特性情報は、結像光学系１０１の瞳の状態（形状や大きさ）によって決まり、ステップＳ１０３で取得した部分領域の位置には依存しない。したがって、この場合には、ステップＳ１０３で部分領域を取得して該部分領域に対してノイズリダクションを行うのではなく、入力画像の全体に対して一括でノイズリダクションを行ってもよい。

一方、収差は像高に応じて変化する。このため、像高に応じて取得できる被写体空間の限界周波数も変化する。したがって、ステップＳ１０３で取得した部分領域の位置、つまりは像高によって光学特性情報が変化する。また、収差は、結像光学系１０１のＦ値、フォーカス位置および焦点距離（ズームレンズの場合）等によっても変化する。このため、これらも部分領域に対応する光学特性情報を決める上で必要な情報となる。

さらに、収差は波長に応じても変化する。このため、撮像素子１０２が複数の複数の色チャンネルを有する場合には、波長も光学特性情報の決定に必要となる。より望ましくは、部分領域のデフォーカス量、すなわち結像光学系１０１のフォーカス位置と部分領域のデプスとの差に応じても収差が変化する。このため、部分領域のデプスも光学特性情報を決定する情報とするとよい。

本実施例では、回折と収差の両方を光学特性の要素とするが、必要に応じてどちらか一方だけに絞ってもよい。例えば大口径レンズでは、回折より収差による性能劣化が支配的になるため、収差のみを光学特性の要素としてもよい。また、絞りを絞ってＦ値を非常に大きくした状態では、収差が非常に小さくなるが、回折の影響が大きくなるため、回折のみを光学特性の要素としてもよい。

ただし、回折のみを要素とする場合でも、結像光学系１０１におけるヴィネッティングの影響が大きい場合は、像高に応じて回折限界が変化するため、光学特性情報を決定する際に部分領域の位置がパラメタとして必要となる。一方、収差のみを要素とする場合でも、フォーカス位置や像高等の全てのパラメタを必ずしも考慮する必要はない。例えば、望遠レンズのように性能劣化に軸外収差よりも球面収差の方が支配的である場合は、像高による性能変化を無視してもよく、収差の変化に大きく関係しているパラメタのみを用いてもよい。

ステップＳ１０５では、画像処理部１０４は、取得した光学特性情報と標本化情報とからノイズリダクションの処理を決定する。言い換えれば、光学特性情報と標本化情報とに応じてノイズリダクションの処理を変更する。「ノイズリダクションの処理」を決定または変更するとは、ノイズリダクションの強度を変化させる（調節する）パラメタを決定または変更したり、ノイズリダクションの方法自体を選択または変更したりすることを含む。本実施例では、結像光学系１０１で取得可能な周波数成分が小さいほど、ノイズリダクションの強度（ノイズリダクション効果）を強めるようにノイズリダクションの処理を決定または変更する。これについて、図４を用いて説明する。

図４には、光学特性情報から得られた結像光学系１０１のＭＴＦ（Modulation Transfer Function）を示している。横軸ｑは周波数を示し、ｑ_Ｎは標本化情報から得た撮像素子１０２のナイキスト周波数を示す。ここでは説明を簡易にするためにＭＴＦを１次元で表し、また負の周波数成分は省略している。ただし、以下に述べる内容は２次元の場合に関しても同様である。

図４（Ａ）と図４（Ｂ）には２種類のＭＴＦを示している。図４（Ｂ）のＭＴＦは、図４（Ａ）のＭＴＦに対して取得可能な周波数成分が小さい。このＭＴＦの差は、例えば、回折に関してはＦ値の違いにより、収差に関しては像高の違い等で生ずる。図４（Ｂ）の光学特性で取得された画像は、図４（Ａ）で取得した画像よりも低い周波数域までしか被写体空間の情報が存在しない。図４（Ｂ）中のｑ_０はＭＴＦの値がゼロとなる周波数を示す。つまり、画像中でこの周波数ｑ_０よりも高い周波数成分は全てノイズということである。以上のことから、図４（Ｂ）のＭＴＦに対応する光学特性に対しては、図４（Ａ）より強いノイズリダクションの処理を選べばよい。

ここで、ノイズリダクションの処理を決定する基準の例として、ＭＴＦが既定値以下となる周波数を用いる方法を挙げる。ＭＴＦが所定の閾値ｒ_ｔｈｒ以下になる周波数をｑ_ｄｎとすると、図４（Ａ）ではｑ_ｄｎ＝ｑ_ｄｎ１となり、図４（Ｂ）ではｑ_ｄｎ＝ｑ_ｄｎ２となる。この周波数を基準として、ノイズリダクションの処理を決定する。その最も単純な具体例として、ノイズリダクションにステップ関数を用い、そのパラメタを決定する場合を考える。この場合、入力画像から取得した部分領域のフーリエ変換に、以下の式（１）の値を乗じ、その結果を逆フーリエ変換する。

また、ｑ_ｄｎがｑ_Ｎより大きい場合には、被写体空間の信号とノイズを区別することができなくなる。このため、ｑ_ｄｎとｑ_Ｎ、つまりは光学特性情報と標本化情報に応じて（光学特性情報と標本化情報との関係に応じて）ノイズリダクションの処理を変更してもよい。なお、ここでは画像のフーリエ変換を用いて説明したが、離散コサイン変換やウェーブレット変換などを用いてもよい。

ステップＳ１０６では、画像処理部１０４は、ステップＳ１０５で決定した処理によるノイズリダクションを、ステップＳ１０３で取得した部分領域に対して行う。ノイズリダクションの方法としては、バイラテラルフィルタ等の平滑化フィルタや、ＮＬＭ（Non-Local Means）フィルタや、式（１）のステップ関数等が挙げられる。

ステップＳ１０７では、画像処理部１０４は、入力画像内のノイズリダクション対象領域の全域から取得した部分領域に対するノイズリダクションを終了したか否かを判定する。終了した場合は本処理を終了し、まだである場合はステップＳ１０３に戻って新たな部分領域をノイズリダクション対象領域から取得してステップＳ１０３〜Ｓ１０７の処理を繰り返す。

本実施例によれば、撮像系の光学特性（回折および収差）と標本化の条件（画素ピッチやナイキスト周波数）を考慮した高精度なノイズリダクションが可能な画像処理部１０４を備えた撮像装置１００を実現することができる。

次に、上述した画像処理方法を画像処理システムに適用した実施例２について説明する。本実施例では、撮像系の光学特性の要素としてデフォーカスを取り上げる。実施例１では撮像装置１００に画像処理装置（画像処理部１０４）が内蔵されている場合について説明した。これに対して、本実施例では、図５のシステム構成図および図６のシステム外観図に示すように、撮像装置２０１とノイズリダクションを行う画像処理装置２０２とが別装置となっている。

撮像装置２０１による撮像により生成された入力画像は、画像処理装置２０２の通信部２０３を介して該画像処理装置２０２に入力される。撮像装置２０１は互いに視差を有する複数の視差画像の取得が可能な構成を有する（詳しくは後述する）。画像処理装置２０２は、該視差情報から、入力画像における位置（座標）ごとの被写体空間のデプスに関する情報、言い換えれば入力画像におけるデプスの分布に関する情報であるデプスマップを取得（生成）して記憶部２０４に保存する。また、画像処理装置２０２は、入力画像を生成するための撮影に用いられた撮像装置（撮像系）２０１の光学特性情報を、撮像装置２０１または入力画像に付随した情報群から取得して記憶部２０４に保存する。

画像処理装置２０２のノイズリダクション部（取得手段および処理手段）２０５は、通信部２０３を介して取得した入力画像に対してノイズリダクションを行う。ノイズリダクション後の出力画像は、通信部２０３を介して表示装置２０６、記録媒体２０７および出力装置２０８の少なくとも１つに出力される。表示装置２０６は、液晶ディスプレイやプロジェクタ等により構成され、出力画像を表示する。記録媒体２０７は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等であり、出力画像を保存する。出力装置２０８は、プリンタ等により構成され、出力画像を印刷等する。画像処理装置２０２は、必要に応じて現像処理やその他の画像処理を行う機能を有していてよい。

図７には、撮像装置２０１の構成を示している。撮像装置２０１は多眼結像光学系を有する。結像光学系２１１ａ〜２１１ｐは２次元に配置され、それぞれの像面側には不図示の撮像素子が結像光学系ごとに配されている。これにより、撮像装置２０１は複数の視点からの撮像により互いに視差を有する複数の視差画像を生成することができ、これら視差画像から被写体空間の視差情報を得ることができる。ただし、撮像素子は結像光学系２１１ａ〜２１１ｐがそれぞれ形成する光学像を受光できれば単一のものでもよい。また、各結像光学系に対応する撮像素子の画素数がそれぞれ異なっていてもよい。

結像光学系２１１ａ〜２１１ｐには焦点距離が互いに異なる複数種の結像光学系を含む。結像光学系２１１ａ〜２１１ｄが広角レンズであり、結像光学系２１１ｅ〜２１１ｈが標準レンズである。また、結像光学系２１１ｉ〜２１１ｌが中望遠レンズであり、結像光学系２１１ｍ〜２１１ｐが望遠レンズである。ただし、結像光学系の種類や種類ごとの数や配置は図７に示すものに限定されない。また、撮像装置２０１は多眼結像光学系を有するものに限らず、Plenopticカメラ等でもよい。さらに、視差画像以外から被写体空間のデプスの分布に関する情報を取得可能であれば、撮像装置２０１は単眼結像光学系を有していてもよい。デプスの分布に関する情報は、ＴＯＦ（Time of Flight）法や構造化照明の利用等によって取得してもよい。

次に、図８のフローチャートと図９〜図１１を用いて、画像処理装置２０２（ノイズリダクション部２０５）で行われるノイズリダクション処理（画像処理方法）について詳しく説明する。画像処理コンピュータとしての画像処理装置２０２は、コンピュータプログラムである画像処理プログラムに従ってこの処理を実行する。

ステップＳ２０１では、ノイズリダクション部２０５は、撮像装置２０１から通信部２０３を介して入力画像を取得する。入力画像は、上述したように撮像装置２０１で得られた複数の視差画像であってもよいし、該視差画像のうちの１つの視点の画像でもよい。また、それらを合成した画像でもよい。ただし、複数の視差画像を合成して得られた合成画像を入力画像とする場合において各視差画像に対応する結像光学系の光学特性がそれぞれ異なる（例えば、結像光学系２１１ａ〜２１１ｄのＦ値が異なる状態で撮像が行われた）ときには、以下の問題がある。すなわち、そのような合成画像のノイズを低減するためには、該合成画像の位置ごとの光学特性を算出しなければならないが、これは容易ではない。したがって、対応する結像光学系の光学特性がそれぞれ異なる複数の視差画像を合成して得られた合成画像を入力画像とする場合には、合成前の各視差画像に対して以下に説明するノイズリダクションを行うことが望ましい。以下の説明では、複数の視差画像が入力画像である場合について説明する。

ステップＳ２０２では、ノイズリダクション部２０５は、入力画像に対するデプスマップを取得（生成）する。本実施例では入力画像である複数の視差画像から被写体空間の視差情報を取得できるため、ステレオ法等を用いてデプスマップを取得する。この場合にデプスが推定できるのは特徴点が存在する画像のエッジ部分などに限られるが、グラデーション領域のような非エッジ領域のデプスは、エッジ部のデプスから補間して求めることができる。

ステップＳ２０３では、ノイズリダクション部２０５は、撮像装置２０１に設けられた複数の撮像素子のうち入力画像である各視差画像に対応する撮像素子の標本化情報を取得する。

ステップＳ２０４では、ノイズリダクション部２０５は、入力画像におけるノイズリダクション対象領域（入力画像の全部または一部）から、今回のルーチンでノイズリダクションを行う部分領域を取得する。

ステップＳ２０５では、ノイズリダクション部２０５は、ステップＳ２０４で取得した部分領域の視差画像内での位置に対応する光学特性情報を取得する。本実施例における光学特性情報は、視差画像に対応する結像光学系のデフォーカス特性を指す。デフォーカスによる性能劣化は、結像光学系のフォーカス位置（合焦面）に対してステップＳ２０４で取得した部分領域のデプスが離れているほど、つまりはデフォーカス量が大きいほど大きくなる。また、同じデフォーカス量でも、結像光学系の焦点距離やＦ値によって性能劣化の度合いが変化する。このため、光学特性情報を決定するためには、結像光学系のＦ値、フォーカス位置、焦点距離（結像光学系がズームレンズの場合）および部分領域の位置（つまりはデプス）が必要となる。また、波長ごとにデフォーカス特性が異なるが、デフォーカス量の絶対値が大きくなると波長による差異は小さくなるので、デフォーカス量に応じて波長ごとのデフォーカス特性を考慮するか否かを決定してもよい。

このように光学特性としてデフォーカスを考慮するためには、被写体空間のデプスの情報が必要となる。しかし、一般に被写体は様々な奥行き位置に存在するため、デフォーカスによる取得可能な周波数の変化は、実施例１で取り上げた収差や回折よりも大きい。このため、本実施例のようにデフォーカスを光学特性として考慮したノイズリダクションを行うことで、実施例１よりも高精度なノイズリダクション効果が得られる。

ステップＳ２０６〜Ｓ２０８での処理は、実施例１（図３）のステップＳ１０５〜Ｓ１０７での処理と同様である。すなわち、ノイズリダクション部２０５は、ステップＳ２０６で光学特性情報と標本化情報に応じてノイズリダクションの処理を決定し、ステップＳ２０７で部分領域に対して決定した処理によるノイズリダクションを行う。そして、ステップＳ２０８で入力画像（視差画像）におけるノイズリダクション対象領域の全域についてノイズリダクションが終了したと判定されるまで、ステップＳ２０４〜ステップＳ２０７の処理を繰り返す。

本実施例によれば、撮像系の光学特性（デフォーカス）と標本化の条件を考慮した高精度なノイズリダクションが可能な画像処理装置２０２、さらには画像処理システムを実現することができる。

次に、本実施例においてノイズリダクションのより高精度化を図るために望ましい条件について説明する。

ステップＳ２０４において入力画像から取得される部分領域は、以下のように取得（抽出）されることが望ましい。まず、デプスマップを撮像系（撮像装置２０１）からデプスに対応する奥行き方向（デプス方向）に離れるほど分割ピッチが大きくなるように分割することにより、デフォーカス特性が互いに異なる複数のデフォーカス特性領域を設ける。言い換えれば、それぞれデフォーカス特性が同一とみなせる範囲内にあり、かつその範囲が互いに異なる複数のデフォーカス特性領域を設ける。そして、部分領域を、該複数のデフォーカス特性領域のうち１つ（単一）のデフォーカス特性領域から取得する。

仮に部分領域内に複数の被写体の境界に生じるデプスが不連続な複数の領域が存在すると、該部分領域内に全く異なるデフォーカス特性が存在することになり、本実施例の効果が低減する。このため、デフォーカス特性が同一とみなせる範囲にある単一のデフォーカス特性領域から部分領域を取得することが望ましい。

デフォーカス特性領域の分割ピッチが、撮像装置２０１から離れるほど大きくなる理由について説明する。説明を簡単にするため、ここでは結像光学系を薄肉系に近似する。このときの結像式は、以下の式（２）で与えられる。

ただし、ｆは結像光学系の焦点距離であり、σは結像光学系から撮像素子までの距離であり、ｓは結像光学系から合焦面（撮像素子と結像光学系を介して共役な被写体側の面）までの距離である。距離座標の原点は結像光学系の位置である。このため、結像光学系が実像を結ぶ場合には、ｓとσとが異符号となる。

撮像素子上でのデフォーカスによる像の拡がりがδになる結像距離は２通りあり、以下の式（３）で表される。

ただし、Ｆは結像光学系のＦ値である。σ＋Δσ_ｉは撮像素子上でデフォーカスによる像の拡がりがδになる２種類の結像距離で、ｉは１または２である。式（３）で表される結像距離に対応する物体距離ｓ＋Δｓ_ｉは、式（２）から以下の式（４）で表される。

式（３）は、ｆがＦδより十分に大きい場合は、近似的に以下の式（５）に書き換えられる。

式（４）に式（５）を代入することで、以下の式（６）が得られる。

式（６）を変形すると、以下の式（７）が得られ、デフォーカスによる像の拡がりδと被写体空間側のデフォーカス量Δｓ_ｉとの関係が求まる。

図９には、式（７）により得られるデフォーカス量と像の拡がりδとの関係を示す。図９では、ｆ＝５０（ｍｍ）およびｓ＝−２５００（ｍｍ）で、Ｆ値が１．４の場合（実線）と２．８の場合（破線）における上記関係を示している。横軸は被写体空間上でのデフォーカス量Δｓ_ｉ（原点がｓ＝−２５００で−側から＋側に向かうほど撮像装置２０１に近付く）を示し、縦軸はデフォーカス量に対応する撮像素子上でのデフォーカスによる像の拡がり（デフォーカスぼけの拡がり）δを示す。δは絶対値を付けてもよいが、ここではグラフの形状が分かりやすいように符号付きで表している。

図９から分かるように、撮像装置２０１から被写体までの距離が大きくなるほどデフォーカスぼけの拡がりの変化は小さくなる。このため、デフォーカスぼけの拡がりの範囲が互いにほぼ等しくなるように被写体空間を分割すると、撮像装置２０１から離れるほど大きくなる間隔（ピッチ）でデプスを区切ることとなる。

その具体例を、図１０〜図１２を用いて示す。図１０は、撮像装置２０１によって撮像されるシーン（撮像シーン）の例を示している。該撮像シーン内には、撮像装置２０１側から順に、第１被写体３０１と、第２被写体３０２と、第３被写体３０３と、第４被写体３０４とが存在している。図１１には、図１０に示した撮像シーンを撮像することで生成された複数の視差画像のうちの１つを示している。実際には、図１１の視差画像内のいずれかの被写体に対して撮像装置２０１の結像光学系が合焦しており、その合焦面から離れるほど像のデフォーカスぼけが大きくなるが、図１１ではこのデフォーカスによる像劣化を無視している。図１０中の破線は、各被写体のデプスと図１１の視差画像を生成するための撮像に用いられた結像光学系の撮像画角を示している。

図１０において、被写体空間におけるデフォーカスぼけの拡がりが等間隔になるようデプスを区切ると一点鎖線の位置で区切られる。２本の一点鎖線で挟まれた各領域はデフォーカス特性が同一とみなせる範囲にある領域、言い換えればデフォーカス特性が同一の範囲である領域を示し、これが１つ１つのデフォーカス特性領域である。図１０には、例として、４つのデフォーカス特性領域３１１〜３１４を示している。ただし、デフォーカス特性領域３１１より手前側（近い）やデフォーカス特性領域３１４より奥側（遠い側）にさらにデフォーカス特性領域が存在してもよい。

図１２では、デフォーカス特性領域３１１〜３１４を入力画像上に重ねて示している。濃度がデプスの違いを表し、同一濃度で描かれた領域が１つのデフォーカス特性領域である。図１２には、図１０には示していない、デフォーカス特性領域３１４よりも遠い側のデフォーカス特性領域３１５も示している。単一のデフォーカス特性領域から部分領域を取得することで、ノイズリダクションの精度の低下を抑制することができる。

また、ステップＳ２０４で取得した部分領域に対応する光学特性情報は、該部分領域内におけるデプスの平均値に対して決定することが望ましい。これにより、部分領域内にてばらつきのあるデプスに対して適切な（誤差の小さい）光学特性情報が与えられることになり、該部分領域に対するノイズリダクションを精度良く行うことができる。

さらに、入力画像に対するデプスマップの精度を表すデプス信頼度のマップを取得し、該デプス信頼度に応じてノイズリダクションの処理を決定（変更）することが望ましい。本実施例では、デプスマップを視差画像から算出しているため、例えば視差画像間で対応点が少ないとデプスの推定精度が低下する。同様に、ＴＯＦ法や構造化照明を用いたデプス取得方法でも、外乱や物体表面の特性によって取得精度が低下することがある。これらの低い精度のデプスを処理に用いると、ノイズリダクションの精度も低下する。例えば、本来は被写体空間の情報が高周波域まで取得されているデプスであるにもかかわらず、デプス精度が低いことから低周波域しか取得されていないと判定され、過剰なノイズリダクションがかけられて被写体空間の情報まで喪失する可能性が考えられる。このため、デプス信頼度に応じてノイズリダクションの処理を変更することが望ましい。

例えば、デプス信頼度に関する閾値を設け、デプス信頼度が該閾値より低い領域は、同じデプス値を持ち、かつデプス信頼度が閾値より高い領域に比べてノイズリダクションの強度（ノイズリダクション効果）を弱めるようなノイズリダクションの処理を選択する。これにより、上述したような過剰なノイズリダクションによって被写体空間の情報を喪失させるおそれを低減することができる。ノイズリダクションの強度を弱めるには、同一のノイズリダクションの方法にてパラメタを調節してもよいし、ノイズリダクションの方法自体を変更してもよい。

また、デプス信頼度は、視差画像からデプスを算出する場合には、視差画像間の対応点が多い部分や強度が強いエッジ部でデプス信頼度が高くなるように定義するとよい。これは、対応点が多い部分や強度が強いエッジ部でデプスの算出精度が高まるためである。

また、視差画像からデプスを算出する場合には、各視差画像のデフォーカスの影響により、視差画像間で抽出されるべき特徴点（被写体）が合焦面から離れるほどその特徴点が抽出されにくくなり、この結果、特徴点のデプス信頼度が低下しやすくなる。このような場合には、予め特徴点の抽出精度が所定値以下となる特定デプスを取得しておき、デプス信頼度が低いデプスを有する部分領域に対しては、その特定デプスを用いて（つまり、該特定デプスの光学特性を用いて）ノイズリダクションを行ってもよい。この場合、部分領域の本来のデプスよりも合焦面側に近づいたデプスとなるため、ノイズリダクションの強度は弱まることとなる。

また、本実施例における光学特性情報として、光学伝達関数に基づく情報を用いる代わりに、結像光学系の焦点距離とＦ値を用いて式（７）等から簡易的にデフォーカス特性を得てもよい。ただし、より高精度な処理を求めるならば、光学伝達関数に基づく光学特性情報を用いた方がよい。

次に、実施例３としての撮像システムについて説明する。本実施例では、図１３のシステム構成図および図１４のシステム外観図に示すように、撮像装置４０１が、撮像により生成した画像（入力画像）とデプスマップを無線通信によって画像処理装置としてのサーバー（コンピュータ）４０３に送信する。そして、サーバー４０３は、受信した入力画像に対して受信したデプスマップを用いてノイズリダクションを行う。本実施例では、撮像装置（撮像系）４０１の光学特性の要素として、実施例２と同様にデフォーカスを用いる。

撮像装置４０１は、ＴＯＦ（Time of Flight）方式の撮像素子を有し、撮像によって入力画像と該入力画像のデプスマップを生成する。サーバー４０３は、通信部４０４を有し、ネットワーク４０２を介して撮像装置４０１と通信可能に接続されている。撮像装置４０１で撮像が行われると、それにより生成された入力画像とデプスマップが自動的にまたは撮像装置４０１のユーザーの指示に応じてサーバー４０３に送信され、それら入力画像とデプスマップがサーバー４０３内の記憶部４０５に保存される。この際、撮像装置４０１の光学特性情報と標本化情報も撮像装置４０１からサーバー４０３に送信され、記憶部４０５に保存される。

サーバー４０３内の画像処理部４０６は、入力画像に対して実施例２（図８）にて説明したノイズリダクションを行う。サーバー４０６は、ノイズリダクションが行われた結果として得られた出力画像を、撮像装置４０１に送信したり記憶部４０５に保存したりする。

同様の撮像システムにおいて、撮像装置（撮像系）の光学特性の要素として、収差や回折を用いてもよい。

本実施例によれば、撮像装置４０１の光学特性と標本化の条件を考慮した高精度なノイズリダクションが可能なサーバー４０３、さらには撮像システムを実現することができる。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

１０１ 結像光学系
１０２ 撮像素子
１０４ 画像処理部
２０２ 画像処理装置
４０３ サーバー

Claims (14)

1. 撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行う処理手段と、
   前記撮像系の光学特性に関する第１の情報を取得する取得手段とを有し、
   前記処理手段は、前記第１の情報に応じて、前記ノイズリダクションの処理を変更することを特徴とする画像処理装置。
2. 前記取得手段は、前記撮像系の標本化に関する第２の情報を取得し、
   前記処理手段は、前記第１の情報と前記第２の情報に応じて前記ノイズリダクションの処理を変更することを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の情報は、前記入力画像における位置に応じて変化する情報であり、
   前記処理手段は、前記入力画像における部分領域に対して、該部分領域の位置に対応する前記第１の情報に応じた処理の前記ノイズリダクションを行うことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記第１の情報は、前記入力画像におけるデプスに応じて変化する情報であり、
   前記取得手段は、前記入力画像における前記デプスの分布に関する情報を取得し、
   前記処理手段は、前記入力画像における部分領域に対して、該部分領域の位置での前記デプスに対応する前記第１の情報に応じた処理の前記ノイズリダクションを行うことを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
5. 前記第１の情報は、前記撮像系のデフォーカス量に応じて変化する情報であることを特徴とする請求項４に記載の画像処理装置。
6. 前記処理手段は、前記デプスの分布に関する情報を前記撮像系から前記デプスに対応する方向に離れるほど分割ピッチが大きくなるように分割することにより、デフォーカス特性が互いに異なる複数のデフォーカス特性領域を設け、
   前記部分領域は、単一の前記デフォーカス特性領域から取得されることを特徴とする請求項４または５に記載の画像処理装置。
7. 前記部分領域の位置における前記デプスは、該部分領域内での前記デプスの平均値であることを特徴とする請求項４から６のいずれか一項に記載の画像処理装置。
8. 前記処理手段は、前記デプスの分布に関する情報の信頼度に応じて前記ノイズリダクションの処理を変更することを特徴とする請求項４から７のいずれか一項に記載の画像処理装置。
9. 前記処理手段は、前記信頼度が低いほど、前記ノイズリダクションの処理を前記ノイズリダクションの強度が弱い処理に変更することを特徴とする請求項８に記載の画像処理装置。
10. 前記第１の情報とは、前記撮像系の光学伝達関数に基づく情報であることを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記ノイズリダクションの処理の変更は、該ノイズリダクションの強度を変化させるパラメタの変更または該ノイズリダクションの方法の変更であることを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置と、
    前記撮像系のうち少なくとも一部とを有することを特徴とする撮像装置。
13. 撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行う画像処理方法であって、
    前記撮像系の光学特性に関する第１の情報を用意し、
    前記第１の情報に応じて、前記ノイズリダクションの処理を変更することを特徴とする画像処理方法。
14. コンピュータに、撮像系を用いた撮像により生成された入力画像のうち少なくとも一部に対してノイズリダクションを行わせるコンピュータプログラムとしての画像処理プログラムであって、
    前記コンピュータに、
    前記撮像系の光学特性に関する第１の情報を取得させ、
    前記第１の情報に応じて、前記ノイズリダクションの処理を変更させることを特徴とする画像処理プログラム。