JP2015177269A - 画像処理装置、画像処理システムおよび画像処理方法 - Google Patents

Abstract

【課題】適切な強度でノイズ除去を行うことができる画像処理装置、画像処理システムおよび画像処理方法を提供する。
【解決手段】撮像装置で被写体を撮影して得られた第１の画像に対してノイズ除去処理を行う画像処理装置であって、前記被写体を撮影した際の前記撮像装置のフォーカス位置と、前記撮像装置と前記被写体との距離である被写体距離と、に基づいてノイズ除去の強度を設定する強度設定部と、設定された前記ノイズ除去の強度で、前記第１の画像に対してノイズ除去処理を行うノイズ除去部と、を備える、画像処理装置が提供される。
【選択図】図１

Description

本発明の実施形態は、画像処理装置、画像処理システムおよび画像処理方法に関する。

カメラで被写体を撮影した際に、ノイズが撮影画像に発生することがある。そのため、撮影画像に対してノイズ除去を行うのが望ましい。特に、フォーカスが合っていない画素にノイズがあると目立つため、そのような画素には強い強度でノイズ除去を行う必要がある。一方で、フォーカスが合っている画素に対して強い強度でノイズ除去を行うと、画像がぼやけてしまうおそれがある。

特開２００３−５８８８５号公報 特開２００３−８３７２９号公報 特開２００１−１４８０２０号公報

適切な強度でノイズ除去を行うことができる画像処理装置、画像処理システムおよび画像処理方法を提供する。

実施形態によれば、撮像装置で被写体を撮影して得られた第１の画像に対してノイズ除去処理を行う画像処理装置であって、前記被写体を撮影した際の前記撮像装置のフォーカス位置と、前記撮像装置と前記被写体との距離である被写体距離と、に基づいてノイズ除去の強度を設定する強度設定部と、設定された前記ノイズ除去の強度で、前記第１の画像に対してノイズ除去処理を行うノイズ除去部と、を備える、画像処理装置が提供される。

第１の実施形態に係る画像処理装置１００の概略構成を示すブロック図。 画像処理装置１００を含む画像処理システムの一例を示すブロック図。 メディアンフィルタを用いたノイズ除去を説明する図。 第２の実施形態に係る画像処理システムの概略構成を示すブロック図。 被写体距離算出部３の処理を説明する図。 第３の実施形態に係る画像処理装置１００ｂの概略構成を示すブロック図。

以下、実施形態について、図面を参照しながら具体的に説明する。
（第１の実施形態）
図１は、第１の実施形態に係る画像処理装置１００のブロック図である。画像処理装置１００には、入力画像と、フォーカス位置ｆと、奥行きマップｄ（ｘ，ｙ）とが入力される。画像処理装置１００は、フォーカス位置ｆと被写体距離との差に応じた強度で、入力画像に対してノイズ除去を行うものである。

入力画像はカメラ（不図示）により被写体を撮影した画像であり、ｘ（水平）方向およびｙ（垂直）方向に並ぶ複数の画素から構成される。フォーカス位置ｆは撮影時のカメラのフォーカス位置、すなわち、カメラとフォーカス点との距離である。

奥行きマップｄ（ｘ，ｙ）は距離画像とも呼ばれるものである。そして、奥行きマップｄ（ｘ，ｙ）は、位置（ｘ，ｙ）の画素（以下、単に画素（ｘ，ｙ）ともいう）の奥行き値、すなわち、画素（ｘ，ｙ）における被写体とカメラとの距離（以下、単に被写体距離ともいう）を表す。具体例として、奥行きマップｄ（ｘ，ｙ）の各値は０〜２５５のいずれかの値をとり、値が小さいほど被写体距離が小さいことを示す。

なお、本実施形態では、入力画像、フォーカス位置ｆおよび奥行きマップｄ（ｘ，ｙ）が外部から画像処理装置１００に入力されるとしている。一例として、図２に示す画像処理システムのように、カメラ２１から入力画像およびフォーカス位置ｆが画像処理装置１００に入力されてもよい。そして、赤外線などを用いた距離センサ２２から奥行きマップｄ（ｘ，ｙ）が画像処理装置１００に入力されてもよい。

画像処理装置１００は、強度設定部１と、ノイズ除去部２とを備えている。強度設定部１は、各画素（ｘ，ｙ）について、フォーカス位置ｆと被写体距離との差、すなわち、フォーカス位置ｆと奥行きマップｄ（ｘ，ｙ）との差を算出する。この差の絶対値が小さければフォーカスが合っており、差の絶対値が大きければフォーカスが合っていないことを意味する。強度設定部１は、算出された差に基づいて、画素（ｘ，ｙ）に対するノイズ除去の強度を設定する。より具体的には、強度設定部１は、差の絶対値が大きいほど、強度を強く設定する。ノイズ除去部２は、設定された強度で、画素ごとにノイズ除去を行う。ノイズ除去処理は、例えば輝度や色に対して行う。一例として、ノイズ除去部２はメディアンフィルタを用いたノイズ除去を行う。

図３は、メディアンフィルタを用いたノイズ除去を説明する図である。まず、強度設定部１はノイズ除去対象の画素に対してタップ数を設定する。そして、ノイズ除去部２は、対象画素を中心とし、設定されたタップ数に応じた範囲の画素値を取り出す。さらに、ノイズ除去部２は取り出された画素値を昇順に並べ替える。そして、ノイズ除去部２は並べ替えられた画素値のうちの中央値を、対象画素のノイズ除去後の値として出力する。

図３はタップ数が３である例を示している。ノイズ除去部２は、ノイズ除去対象の画素を中心とする３ｘ３＝９画素の値を取り出し、昇順に並べ替える。そして、ノイズ除去部２はこのうち５番目に位置する値「４」を中央値として選択する。この処理をすべての画素に対しラスタースキャン順に行う。

ノイズ除去部２はこのような処理を複数回繰り返してもよい。処理回数が多いほど、ノイズ除去の強度が強くなる。そこで、強度設定部１は、フォーカス位置ｆと奥行きマップｄ（ｘ，ｙ）との差の絶対値が大きいほど、回数を大きく設定してもよい。これにより、差の絶対値が大きいほど、言い換えると、フォーカスが合っていない画素ほどノイズ除去の強度を強くできる。

また、タップ数が大きいほどノイズ除去の強度が強くなる。よって、強度設定部１は画素毎にタップ数を可変設定してもよい。タップ数設定の例を説明する。まず、強度設定部１は、下記（１）式に基づいて、画素（ｘ，ｙ）に対するタップ半径ｒ（ｘ，ｙ）を算出する。
ｒ（ｘ，ｙ）＝｜ｆ−ｄ（ｘ，ｙ）｜／ｋ ・・・（１）
ｋは予め定めた定数である。続いて、強度設定部１は、下記（２）式に基づいて、画素（ｘ，ｙ）に対するタップ数Ｒ（ｘ，ｙ）を設定する。
Ｒ（ｘ，ｙ）＝２＊ｒ（ｘ，ｙ）＋１ ・・・（２）
フォーカス位置ｆと被写体距離ｄ（ｘ，ｙ）との差の絶対値が大きいほど、タップ数は大きく設定される。

なお、差の絶対値と、タップ数との関係が予め設定されたルックアップテーブルを用いるなど、他の手法によりタップ数を設定してもよい。

また、メディアンフィルタを用いたノイズ除去以外でも、ノイズ除去部２は強度を調整可能な任意の手法でノイズ除去を行うことができる。また、入力画像が輝度成分および色成分により構成される場合、処理量を削減するために、ノイズ除去部２は輝度成分にのみノイズ除去を行ってもよい。輝度成分のノイズの方が目立つためである。

このように、第１の実施形態では、フォーカス位置ｆと被写体距離との差の絶対値が大きいほど、ノイズ除去の強度を強く設定する。よって、フォーカスが合っていない画素に対しては強い強度で、合っている画素に対しては弱い強度でノイズ除去を行うこととなり、適切な強度でノイズ除去を行うことができる。

（第２の実施形態）
上述した第１の実施形態は、外部から奥行きマップｄ（ｘ，ｙ）が画像処理装置１００に入力される例を示した。これに対し、以下に説明する第２の実施形態は、画像処理装置自身で奥行きマップｄ（ｘ，ｙ）を生成するものである。

図４は、第２の実施形態に係る画像処理システムのブロック図である。図４では、図２と共通する構成部分には同一の符号を付しており、以下では相違点を中心に説明する。

画像処理システムは、カメラ２１ａ，２１ｂを備えている。カメラ２１ａは被写体を撮影し、メイン画像（第１の画像）を生成する。カメラ２１ｂは、カメラ２１ａとは異なる位置から被写体を撮影し、サブ画像（第２の画像）を生成する。すなわち、メイン画像とサブ画像とでは、視点が互いに異なっている。なお、サブ画像の画素数は、メイン画像の画素数と同じでもよいし、メイン画像の画素数より少なくてもよい。

図４の画像処理システムにおける画像処理装置１００ａは、さらに被写体距離算出部３を備えている。被写体距離算出部３は、メイン画像およびサブ画像に対して対応点探索を行って、奥行きマップｄ（ｘ，ｙ）を生成する。より具体的には、被写体距離算出部３は、メイン画像における特定の画素（ｘ０，ｙ０）と、当該特定の画素（ｘ０，ｙ０）に対応するサブ画像における画素（ｘ０’，ｙ０’）との距離ｄ（視差ピクセル）に基づいて、被写体距離ｚ（＝ｋ／ｄ）を算出する。

図５は、被写体距離算出部３の処理を説明する図である。例えば、被写体距離算出部３が対応点探索を行った結果、メイン画像における画素（ｘ０，ｙ０）と、サブ画像における（ｘ０＋ａ，ｙ０）とが対応していたとする。この場合、対応する画素間の距離はａである。よって、被写体距離算出部３は、距離ａに基づいて、奥行きマップｄ（ｘ０，ｙ０）を決定する。

ここで、対応する画素間の距離ｄから被写体距離ｚが一意に定まり、この距離ｄが大きいほど、被写体距離ｚは小さくなる。よって、被写体距離算出部３は、対応する画素間の距離に対して所定の変換を行って奥行きマップｄ（ｘ０，ｙ０）を決定してもよいし、対応する画素間の距離そのものを奥行きマップｄ（ｘ０，ｙ０）としてもよい。

なお、対応点探索は公知の手法でよい。例えば、被写体距離算出部３はメイン画像における探索対象の画素（ｘ０，ｙ０）を中心とするブロックを設定する。そして、被写体距離算出部３は、設定されたブロックにおける各画素と、サブ画像における同画素数のブロックにおける各画素と、の差分絶対値和を算出する。被写体距離算出部３は、差分絶対値和が最小となるサブ画像におけるブロックを探索する。差分絶対値和が最小となるブロックの中心画素が、画素（ｘ０，ｙ０）に対応する点（ｘ０’，ｙ０’）とされる。

このように、第２の実施形態では、画像処理装置１００ａ自身で奥行きマップｄ（ｘ，ｙ）を生成する。そのため、外部から奥行きマップｄ（ｘ，ｙ）が入力されない場合でも、適切な強度でノイズ除去を行うことができる。

なお、上述の実施形態では、画素間の距離が水平方向に離れている場合について説明したが、垂直方向について考慮して奥行きマップｄ（ｘ０、ｙ０）を決定することができる。

（第３の実施形態）
第３の実施形態は、ノイズ除去後にボケ除去を行うものである。以下、第１の実施形態との相違点を中心に説明する。

図６は、第３の実施形態に係る画像処理装置１００ｂのブロック図である。画像処理装置１００ｂはボケ除去部４をさらに備えている。

ボケ除去部４は、ノイズ除去された画像に対して、ボケ除去（エッジ強調あるいは解像度復元）を行う。仮にノイズを除去する前にボケ除去を行うと、ノイズも強調されてリンギングが発生してしまう。そこで、本実施形態では、ノイズ除去部２の後段にボケ除去部４を設けている。そして、本実施形態におけるノイズ除去部２は、フォーカス位置ｆと被写体距離との差に応じて適切な強度でノイズを除去できる。そのため、ボケ除去部４はノイズが除去された画像に対してボケ除去を行うことができる。結果として、画像処理装置１００ｂは、ノイズが少なく、かつ、解像感がある高品位な画像を出力できる。

なお、第２の実施形態の画像処理装置１００ａにボケ除去部４を設けてもよい。

上述した実施形態で説明した画像処理システムの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像処理システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像処理システムの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 強度設定部
２ ノイズ除去部
３ 被写体距離算出部
４ ボケ除去部
２１ａ，２１ｂ カメラ
２２ 距離センサ
１００，１００ａ，１００ｂ 画像処理装置

Claims (6)

1. 撮像装置で被写体を撮影して得られた第１の画像に対してノイズ除去処理を行う画像処理装置であって、
   前記被写体を撮影した際の前記撮像装置のフォーカス位置と、前記撮像装置と前記被写体との距離である被写体距離と、に基づいてノイズ除去の強度を設定する強度設定部と、
   設定された前記ノイズ除去の強度で、前記第１の画像に対してノイズ除去処理を行うノイズ除去部と、を備える、画像処理装置。
2. 前記強度設定部は、前記フォーカス位置と、前記被写体距離と、の差に基づいて前記ノイズ除去の強度を設定する、請求項１に記載の画像処理装置。
3. 前記強度設定部は、前記フォーカス位置と、前記被写体距離と、の差の絶対値が大きいほど、メディアンフィルタのタップ数を大きく設定し、
   前記ノイズ除去部は、設定されたタップ数のメディアンフィルタを用いてノイズ除去処理を行う、請求項１に記載の画像処理装置。
4. 前記第１の画像と、前記第１の画像とは異なる視点から撮影された第２の画像と、から、前記被写体距離を算出する被写体距離算出部を備える、請求項１に記載の画像処理装置。
5. 被写体を撮影して第１の画像を得る第１の撮像装置と、
   前記第１の撮像装置とは異なる視点から前記被写体を撮影して第２の画像を得る第２の撮像装置と、
   前記第１の画像および前記第２の画像から、前記第１の撮像装置と前記被写体との距離である被写体距離を算出する被写体距離算出部と、
   前記被写体を撮影した際の前記第１の撮像装置のフォーカス位置と、前記被写体距離と、に基づいてノイズ除去の強度を設定する強度設定部と、
   設定された前記ノイズ除去の強度で、前記第１の画像に対してノイズ除去処理を行うノイズ除去部と、を備える、画像処理システム。
6. 撮像装置で被写体を撮影して得られた第１の画像に対してノイズ除去処理を行う画像処理方法であって、
   前記被写体を撮影した際の前記撮像装置のフォーカス位置と、前記撮像装置と前記被写体との距離である被写体距離と、に基づいてノイズ除去の強度を設定するステップと、
   設定された前記ノイズ除去の強度で、前記第１の画像に対してノイズ除去処理を行うステップと、を備える、画像処理方法。

Images