JP2015046678A

JP2015046678A - 画像処理装置、画像処理方法、および撮像装置

Info

Publication number: JP2015046678A
Application number: JP2013175555A
Authority: JP
Inventors: 隆弘高橋; Takahiro Takahashi; 伸田中; Shin Tanaka
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2013-08-27
Filing date: 2013-08-27
Publication date: 2015-03-12

Abstract

【課題】距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得可能な画像処理技術を提供する。
【解決手段】画像処理装置は、画像および当該画像の距離マップを取得する取得手段と、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、前記画像のノイズを推定する推定手段と、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、を備え、前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。
【選択図】図１

Description

本発明は、画像処理技術に関し、距離マップに応じたローパスフィルタを適用する画像処理技術に関する。

浅い被写界深度の表現には、本来、大口径レンズが必要である。近年、小口径レンズを有するデジタルカメラによって撮影された画像に対して画像処理を施して、浅い被写界深度を再現する技術がある（特許文献１）。特許文献１で開示されている画像処理装置は、撮影画像を撮影する撮像系と、撮影シーンの奥行きを表す距離マップを取得する三次元計測手段を有している。そして、撮像系と三次元計測手段から、撮影画像と距離マップを取得する。続いて、距離マップから、ぼけの点像分布に関するパラメータを生成する。そのパラメータを用いて撮影画像にローパス特性を有するフィルタ処理を施すことで被写界深度を浅くした立体感を有する画像を生成している。

一方、特許文献２では、前述のようにローパス特性を有するフィルタ処理でぼけを付与した際、画像の違和感を低減する画像処理方法が開示されている。特許文献２で開示されている画像処理方法を簡単に説明する。まず、主被写体に合焦させた画像と、背景に合焦させた画像、計２画像を取得する。それぞれの画像の同じ場所の鮮鋭度を比較し、鮮鋭度が高い方の画像に合焦されていると判断し、主被写体か背景かを示す２層の距離マップを取得する。その距離マップを用いて、主被写体に合焦した画像の背景領域にローパス特性を有するフィルタ処理によりぼけを付与する。この際、主被写体領域のノイズ感とフィルタ処理を施した背景領域のノイズ感の違いによる違和感を低減させるため、背景領域に適用するフィルタ特性と撮影感度情報に基づいて正規乱数によりノイズを生成し、背景領域にノイズを重畳させる。

特開平０７−２１３６５号公報特開２０１１−４１０８９号公報

しかし、先行文献２のようにノイズとしてフィルタ特性と撮影感度情報に基づいた正規乱数を加えるのみでは、本来画像に含まれているノイズを再現しているとは言えない。具体的には、画像中に含まれるノイズを支配しているのは、光／電子のショットノイズである。そのため、正確にノイズを再現するには、フィルタ特性と撮影感度情報のみに決定される乱数ではなく、被写体も含む画像全体に依存したノイズを考慮する必要がある。

さらには先行文献２では、重畳するノイズの大きさ、即ち振幅成分は考慮されているが、ノイズの周波数成分を考慮していない。すなわち、ぼかし処理に用いるローパス特性を有するフィルタの周波数特性を考慮していないため、ノイズの空間的な発生の仕方も再現することができない。結果として、ぼかし処理を適用した領域にノイズを重畳しても、本来あるノイズ感とは異なるものが重畳されていることになり、結果として違和感は残ってしまうという課題がある。

本発明は、上記課題を考慮し、距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得可能な画像処理技術を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理装置は、画像および当該画像の距離マップを取得する取得手段と、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、前記画像のノイズを推定する推定手段と、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、を備え、前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。

また、本発明に係る画像処理方法は、画像処理装置が実施する画像処理方法であって、画像および当該画像の距離マップを取得する取得ステップと、前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタステップと、前記画像のノイズを推定する推定ステップと、前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記推定ステップにおいて推定されたノイズとを合成する合成ステップと、を含み、前記推定ステップでは、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する。

本発明によれば、距離マップに応じたぼかし処理を施した後でも違和感のない画像を取得できる。

実施例に係る撮像装置の構成を示すブロック図実施例に係る撮像装置の動作を示すフローチャート実施例に係る撮像装置のノイズ画像生成の動作を示すフローチャート実施例に係る撮像装置のぼけ付与画像生成の動作を示すフローチャート実施例に係る撮影シーンおよびぼけ付与画像生成の流れを模式的に表す図光量とノイズ分散の関係を表すグラフ

以下、本発明の具体的な実施形態について図面を参照しながら説明する。ただし、発明の範囲は実施形態の説明で図示した例に限定されるものではない。

＜構成＞
図１（Ａ）は、本実施形態に係る撮像装置の構成を模式的に示している。

撮影レンズ１００は、撮像素子１０２に被写体光を導く。露光制御部材１０１は絞りやシャッタ等を含む。撮影レンズ１００を介して入射された被写体光は、露光制御部材１０１を介して撮像素子１０２へ入射される。撮像素子１０２は被写体光を電気信号に変換して出力する撮像素子であり、典型的にはＣＣＤやＣＭＯＳなどのイメージセンサで構成される。画像形成回路１０３は、撮像素子１０２から出力されたアナログ信号をデジタル化して画像化するための画像形成回路である。画像形成回路１０３は、不図示のアナログ／デジタル変換回路、オートゲイン制御回路、オートホワイトバランス回路、画素補間処理回路、色変換回路などによって構成される。露光制御部１０４は、露光制御部材１０１を制御する機能部である。また、フォーカス制御部１０５は撮影レンズ１００のフォーカシングを制御する機能部である。露光制御部１０４およびフォーカス制御部１０５は、例えば、ＴＴＬ方式（ＴｈｒｏｕｇｈＴｈｅＬｅｎｓ：撮影用のレンズを実際に通った光を測定することで露出やフォーカスを制御する方式）を用いて制御される。

三次元計測部（距離マップ生成部）１０６は、被写体の撮像装置からの距離情報を取得
する。その方式は、ＴＯＦ（ＴｉｍｅＯｆＦｌｉｇｈｔ）方式やステレオやＤＦＤ（ＤｅｐｔｈＦｒｏｍＤｅｆｏｃｕｓ）方式など特に制限は無い。距離マップ記憶部１０７は、三次元計測部１０６で計測された距離を２次元的に表現した距離マップを記憶する。

システム制御回路１０８は、撮像装置１全体の動作を司る制御回路であり、撮影のための光学系の制御と、撮影した画像にデジタル処理デジタル処理を施すための制御を行う。メモリ１０９は、システム制御回路１０８で用いる動作制御用のデータ、および処理プログラムなどを記録するフラッシュＲＯＭ等を用いたメモリである。また、不揮発性メモリ１１０は各種調整値などの情報を記憶する、電気的に消去および記録可能なＥＥＰＲＯＭ等の不揮発性のメモリである。フレームメモリ１１５は、画像形成回路１０３で生成された画像を数フレーム分記憶する。また、メモリ制御回路１１１は、フレームメモリ１１５に入出力される画像信号を制御する。

ぼかし処理回路１１２は、取得された距離マップを用いて、撮影画像にぼけを付与する回路である。画像出力部１１３は、ぼかし処理回路でぼかし処理を適用した画像を不図示の画像出力装置に表示するための画像出力部である。入力部１１４は、測距範囲マップが合成された表示画像を確認しながら、測距範囲の調整ユーザーからの操作を入力する入力部で、ボタンやタッチパネルなどである。

次に、ぼかし処理回路１１２の構成について、図１（Ｂ）を参照しつつ説明する。ぼかし処理回路１１２は、撮影画像取得部１１２１、距離マップ取得部１１２２、ノイズ推定部１１２３、ぼけ量決定部１１２４、ローパスフィルタ１１２５、ハイパスフィルタ１１２６、合成部１１２７を含む。撮影画像取得部１１２１は、フレームメモリ１１５から撮影画像を取得する。距離マップ取得部１１２２は、距離マップ記憶部１０７から距離マップを取得する。ノイズ推定部１１２３は、撮影画像に対して付与するノイズを推定する。撮影画像に付与するノイズは、ぼかし処理（ローパスフィルタ処理）によって失われるノイズ成分なので、元の撮影画像に含まれているノイズを精度良く推定する必要がある。ノイズ推定部１１２３は、撮影条件（撮影感度等）に加えて画像の輝度値にも基づいてノイズを推定する。ぼけ量決定部１１２４は、距離マップにおける距離に応じてぼかし処理におけるぼけ量を決定する。ぼけ量の決定においては、ローパスフィルタ処理において用いられるフィルタパラメータが決定される。ローパスフィルタ１１２５は、ぼけ量決定部１１２４によって決定されたフィルタ特性のローパスフィルタ処理を施す。ハイパスフィルタ１１２６は、ローパスフィルタ１１２５と逆の周波数特性を有するハイパスフィルタ処理を施す。合成部１１２７は、撮影画像のローパスフィルタ結果と、ノイズのハイパスフィルタ結果とを合成する。

（処理フロー）
次に、図２〜図４のフローチャートを用いて、本実施形態の撮影開始から画像処理（ぼかし処理）終了までの処理の流れを説明する。

まず、図２のステップＳ２０１では、撮影者が撮影したいシーンに対して、ズームを行い、構図を決め、同時に撮影感度（ＩＳＯ感度）、シャッタ速度、Ｆナンバーなど撮影条件を設定し、フォーカス調整を行う。さらに、三次元計測部１０６も同様な構図調整を行う。なお、撮影条件の一部を撮像装置１が自動的に決定しても良い。

次に、シャッターボタンが押されると、ステップＳ２０２で、画像形成回路１０３が画像を取得しフレームメモリ１０９に記録し、さらに、三次元計測部１０６が距離マップを取得し距離マップ記憶部１０７に記録する。

ステップＳ２０３以降が、ぼかし処理回路１１２によるぼかし処理である。ぼかし処理を開始する際には、撮影画像取得部１１２１および距離マップ取得部１１２２がステップＳ２０２において撮影された撮影画像および距離マップをそれぞれ取得する。

次に、ステップＳ２０３では、撮影画像からノイズ成分を推定した画像の生成を行う。この説明を行う前に、一般的な画像に含まれるノイズについて簡単に説明する。

画像に含まれるノイズとして、光／電子ショットノイズ、暗電流ノイズ、読み出しノイズ、量子化ノイズが主に考えられる。光／電子ショットノイズは、光あるいは電子の粒子性に伴い発生するノイズである。暗電流ノイズは、光が全くない状態でも熱によりフォトダイオード内の電子が励起されることにより発生するノイズである。読み出しノイズは、アンプや信号読み出し部で発生するノイズである。量子化ノイズは、アナログ信号をデジタル信号に変換する際に、ある区間の連続量を１つの値に集約してしまうことによって生じるノイズである。光／電子ショットノイズはポアソン分布に従うと仮定され、平均と分散に線形な関係がある。すなわち、図６のグラフに示すように、値（光の量や電子の量）が大きくなればノイズ量も大きくなるという特性を有する。暗電流ノイズは温度や露光時間に依存し、読み出しノイズは正規分布で仮定され、量子化誤差は一様分布で仮定される。
これらを考慮すると、撮像された画像Ｏは以下の式１で表される。

ここで、Ｉはノイズを含まない画像であり、露光時間ｔ、光子に対する電荷の変換効率Ｋ、単位時間当たりの光子数Ｐの積、即ち、Ｉ＝ｔＫＰで表される。Ｎ_Ｓ、Ｎ_ＤＣ、Ｎ_Ｒ、Ｎ_Ｑはそれぞれ光／電子ショットノイズ、暗電流ノイズ、読み出しノイズ、量子化ノイズに起因する項である。ただし、光／電子ショットノイズは平均が０になるよう調整されてある。また、Ａはアンプのゲインを表す。

今、出力Ｏの平均をＥ（Ｏ）、分散をＶ（Ｏ）と表すと、それぞれ以下の式で表現できる。

ただし、Ｅ_ＤＣ／ｔは単位時間あたりの暗電流ノイズの平均、σ_ＤＣ／t ^２、σ_Ｒ ^２、
σ_Ｑ ^２はそれぞれ単位時間あたりの暗電流ノイズの分散、読み出しノイズの分散、量子化ノイズの分散である。

これらの関係を考慮し、実際に撮像装置固有のノイズ特性を事前に計測したり、撮影された撮影画像からその画像の有するノイズ特性を推定したりすることで、撮影後に違和感のないノイズ特性を再現することが可能となる。

ここで、まず、事前にノイズ特性を計測する場合について説明する。事前にノイズ特性を計測するためには、光源、カメラ位置、撮影パラメータも含めて静的な環境を構築し、撮影を複数回行う。それぞれの撮影においてノイズがなければ画素値は同一の値をとるが、実際にはノイズの影響により画素値にばらつきが生じる。すなわち、観測される画素値のばらつきがノイズに相当する。ある撮影条件での複数の撮影に基づいて、図６に示すような光量（輝度値）とノイズの分散の関係が求められる。これにより、１つの環境における光量とノイズの関係が求められる。そして、撮影条件を変えて上記の処理を繰り返し、
各撮影条件における光量とノイズの分散の関係を求める。この際、撮影パラメータのうち撮影感度や露光時間を変化させると良い。このようにして、複数の撮影条件に対して、光量とノイズの関係が求められる。ノイズ推定部１１２３は、これらの関係をノイズ特性テーブルとしてあらかじめ記憶しておく。

次に、撮影した単一画像からノイズ特性を推定する場合について説明する。この場合は、画像中の画素値の一様な部分は同一信号の計測結果であるとみなし、色による領域分割手法と組み合わせて推定することが可能である。このとき、固定パターンノイズは無視できるものと仮定する。また、ノイズによるばらつきと、被写体の有するテクスチャによるばらつきの区別は難しい。そのため、ノイズ低減処理に適用されているＮｏｎ−Ｌｏｃａｌフィルタ処理などを利用して、ノイズらしい成分にのみ着目する処理を用いる。このような処理により、撮影された画像における輝度値とノイズの分散の関係を取得できる。

以上、述べたように、撮像装置固有のノイズの性質を事前に取得して輝度値とノイズの分散の関係表を保持したり、単一画像がもともと持っているノイズ成分を推定することでノイズ特性を取得したりすることが可能である。

ここで、図２のステップＳ２０３のノイズ画像生成処理（ノイズ推定処理）の説明に戻る。この処理の内容を図３のフローチャートを用いて説明する。

ステップＳ３０１では、ノイズ推定部１１２３は、ノイズ画像を生成するために必要な撮影条件を取得する。具体的には、撮影感度、露光時間、センサ温度などノイズに関連する条件を取得する。

次に、ステップＳ３０２で、ノイズ推定部１１２３は、撮影した画像を用いて、画像全体におけるノイズ画像ＮＩを推定する。具体的には、以下の式４に基づいて行う。

ここで、ＲＡＮＤ（・）は所定の分散を有する乱数を発生する関数、Ｏは撮影された画像、ＳＮ（・）は図６に示すような輝度に対してノイズの分散量を返す関数である。ここで、ＳＮ（・）は、あらかじめ求められた複数の撮影条件における輝度とノイズの分散の関係を表したノイズ特性テーブルのうち、ステップＳ３０１において取得された撮影条件に対応する関係を表す関数である。ノイズ推定部１１２３は、撮影画像Ｏを領域分割して、領域毎に上記手法によってノイズを推定する。領域分割の単位は任意であって良く、画素単位であっても良い。

上記の手法では、あらかじめ求められたノイズ特性テーブルを用いてノイズを決定したが、撮影画像からノイズを推定する場合には、ＳＮ（・）を、撮影画像Ｏを領域分割し、その領域内のノイズ成分を抽出し、その分散を求める関数とすればよい。

以上のステップにより、ステップＳ２０２で取得された撮影画像に対して含まれるノイズを全画素について推定するノイズ推定処理が可能となる。

次に、ステップＳ２０４では、ステップＳ２０２において取得された撮影画像および距離マップを用いて、被写界深度を浅くしたぼけ付与画像を生成する。この処理の流れを図４のフローチャート及び図５の模式図を用いて説明する。

まず、撮影対象としているシーンの概要を説明する。図５（ａ）は、撮影シーンを上から見た模式図である。この例では、カメラ５０１の光軸を基準に、被写体５０２、５０３
が被写体５０４上に配置されており、最遠方に被写体５０５が配置されている。また、図５（ｂ）は、実際に撮影された画像を示す図である。図５（ｃ）は、三次元計測部１０６によって取得された距離マップを表しており、明るい個所ほどカメラからの距離が近いことを表している。

ステップＳ２０４のぼけ付与画像生成処理では、被写界深度を浅くすると共に、画像がもともと持っていたノイズ感に関しても違和感のないぼけを付与する。以降、図４のフローチャートを用いて、ステップＳ２０４のぼけ付与画像生成処理の流れについて詳細に説明する。

まず、ステップＳ４０１おいて、対象とする距離階層を表すｄを、最遠景を表すＮに設定する。図５を用いて距離階層の分割について詳細に説明する。ぼかし処理回路１１２は、三次元計測部１０６において取得される距離マップ（図５（ｃ））を、奥行き方向に分割を行う。この例では、図５（ａ）に示すように、奥行き方向にＡ、Ｂ、Ｃ、Ｄの４階層に再分割する。また、各階層のカメラからの距離をｄａ、ｄｂ、ｄｃ、ｄｄとする。なお、奥行き方向の分割は任意の手法によって行えばよい。例えば、あらかじめ決められた分割数（階層数）で分割しても良い。また、あらかじめ決められた１階層あたりの奥行き距離を用いて分割しても良い。また、距離マップにおける距離の分布に基づいて、階層数や各階層の範囲を決定して分割しても良い。

次に、ステップＳ４０２において、ぼけ量決定部１１２４が、距離階層ｄのぼけ量を決定する。ここで、距離階層ｄのぼけ量を決定する。具体的には、距離階層ｄにある領域のぼかし処理を行うフィルタのフィルタ特性（フィルタサイズおよび係数）を決定する。これは、距離階層ｄの距離に対して、事前に決定した表を参照することで実現される。図５の例の場合、図５（ｄ）〜（ｇ）に示す黒く塗りつぶした領域に対して、ぼかし処理を適用する。図５（ｄ）が、奥行き方向の領域Ｄを示し、図５（ｅ）が領域Ｃ、図５（ｆ）が領域Ｂ、図５（ｇ）が領域Ａにそれぞれ対応している。また、フィルタの係数は、円形形状やガウス型形状など、ぼかし処理結果として所望の形状が事前に設定されている。しかし、フィルタサイズおよび係数は、距離に対する所定の関係式を用いて算出するようにしてもよいし、その実現方法に関して制限は無い。

次にステップＳ４０３において、ローパスフィルタ１１２５によって、距離階層ｄの階層画像に対してぼかし処理を行う。具体的には、ステップＳ４０２で決定したフィルタを用いて、式５に示すような積和演算によるローパスフィルタ処理を行う。

ただし、Ｇ（・）はぼかし処理後の画素値、Ｏ（・）は撮影画像（階層画像）、ｈ（・）はフィルタの係数を表し、Ｍ、Ｎはフィルタの大きさを表している。また、フィルタ係数はΣｈ＝１となるよう正規化されているものとする。以上により、距離階層ｄに対応したローパス特性を有するフィルタ処理を実行する。

ステップＳ４０４において、ステップＳ４０２で生成したノイズ画像に対して適用するハイパスフィルタｈｎを決定する。具体的には、ステップＳ４０２で決定したローパスフィルタのフィルタ特性と逆の周波数特性を持つハイパスフィルタを設定する。

ただし、Ｆ（・）はフーリエ変換、Ｆ^−１（・）は逆フーリエ変換を表す。このように、距離に応じたローパス特性のフィルタの逆の周波数特性、即ち、ハイパス特性を有するフィルタを設定する。ここでは、フーリエ変換を用いてフィルタを作成するものとして記載したが、事前に作成した表を参照する形で実装されてもよく、その方法に制限は無い。

次に、ステップＳ４０５において、ハイパスフィルタ１１２６をノイズ画像に適用する。具体的には、ステップＳ４０４で決定したフィルタを用いて、式７に示すような積和演算によるハイパスフィルタ処理を行う。

ただし、ＮＩ（・）はステップＳ２０３で生成したノイズ画像、ｈｎ（・）はステップＳ４０４で生成したノイズレベル画像用フィルタ、Ｎｆはフィルタ処理を行ったノイズレベル画像を表す。

これらのステップＳ４０４、Ｓ４０５の処理によって、ステップＳ４０３で所定の距離に応じて設定されたローパス特性で遮断されたノイズの周波数特性を再現したノイズ画像を算出することが可能となる。

次に、ステップＳ４０６において、合成部１１２７は、ぼかし処理を行った結果にステップＳ４０５で生成したノイズ画像Ｎｆをぼかし処理結果Ｇに重畳し、さらに、先に処理を施した結果と合成を行う。具体的には、まず合成部１１２７は、式８のように、ぼかし処理を施した結果にフィルタ処理を施したノイズを重畳する。

ただし、Ｍｄはノイズレベルを合成した結果、αはノイズレベルを重畳する定数で、０≦α≦１．０の範囲を表す。この値で、付与するノイズレベルを調整する。

次に合成部１１２７は、式９に基づいて、ノイズレベルを付与したＭｄを、先に処理した距離階層のものと合成する。

次に、ステップＳ４０７に移り、現在処理をしている距離階層ｄが１より大きいか否かを判定し、大きい場合は、ステップＳ４０８に移り、ｄを１減算して、ステップＳ４０２から処理を再開する。ｄが１になったらぼけ付与画像の生成を終了し、ステップＳ２０５へ移る。この繰り返し処理によって、ぼかし処理回路１１２は、距離マップにおける距離に応じて画像を複数の領域に分割し、領域毎に、ぼかし処理をした撮影画像とノイズとを合成することができる。より具体的には、領域毎に、撮影画像に対して距離階層に応じたローパスフィルタ処理と、ノイズ画像に対して逆特性のハイパスフィルタ処理を施し、ローパスフィルタ処理後の画像とハイパスフィルタ処理後のノイズ画像との合成処理を行う。そして、各領域の画像を合成して、最終的な画像処理結果が得られる。

ステップＳ２０５では、生成したぼけ付与画像を画像出力部１１３に転送し、不図示の画像出力装置へ表示すると同時に、不図示の記録装置に所定の圧縮処理などを施して記録
する。

以上の処理により、距離階層毎にぼかし処理を行うと同時に、本来、撮影時に有したノイズレベルを適切に重畳することで、どの領域においても違和感のないぼかし処理結果を得ることが可能となる。

撮影画像におけるノイズは、撮影感度のみによって決まるものではなく、光量（輝度値）によっても変化する。本実施例では、撮影画像の輝度を考慮してノイズを決定しているので、ぼかし処理によって失われるノイズをより忠実に再現できる。これにより、ぼかし処理を行った領域とぼかし処理を行っていない領域との間で、ノイズの違いがなくなり、違和感のないぼかし処理が実現できる。

さらに、ノイズに対して、ぼかし処理に用いるローパスフィルタと逆特性のハイパスフィルタを適用してから、ぼけ付与画像と重畳している。ノイズの低周波成分はローパスフィルタを適用しても残るので、生成したノイズを単純に重畳するとぼかし処理前の撮影画像とは異なったノイズ感となる。ハイパスフィルタを用いて、ぼかし処理によって失われたノイズのみを重畳することで、撮影画像における本来のノイズ感の再現が可能となる。

（その他の実施例）
上記の実施例では、撮影画像から推定されたノイズ画像にハイパスフィルタ処理を施してから撮影画像に重畳しているが、これは必ずしも必須ではない。上述したようにハイパスフィルタ処理後のノイズ画像を重畳した方がノイズの違和感がより減少する。しかし、撮影画像に輝度に基づいてノイズ画像を推定しているので、ノイズ画像にハイパスフィルタ処理を適用せずに重畳しても従来技術より違和感を低減させることは可能である。

上記の実施例では、撮影画像と距離マップを撮影する撮像装置を例に説明したが、本発明では画像と距離マップが取得可能であればその方法は任意であり、必ずしも撮影により取得しなくても良い。例えば、本発明の一実施例は、撮影画像と距離マップとを、記憶媒体やネットワーク経由で取得し、取得された撮影画像と距離マップとに上記で説明した処理を施す画像処理装置である。この画像処理装置は、実施例１に係る撮像装置から撮像系や画像形成回路、距離マップ算出回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。また、視差のある２画像や撮影条件の異なる２画像を記憶媒体やネットワーク経由で取得し、これら２画像に基づいて画像処理装置において距離マップを算出しても良い。この画像処理装置は、実施例１に係る撮像装置から撮像系や画像形成回路を除き、データ読み取り装置やネットワークインタフェースを加えたものとして構成することができる。

さらに、ぼけ付与の対象となる画像は必ずしも実際に撮影された画像である必要もない。例えば、画像は３次元コンピュータグラフィックスにより生成されたものであっても良い。３ＤＣＧによって生成された画像がノイズ成分を含むものであれば、本発明が好適に適用できる。この場合、距離マップは仮想カメラから被写体までの距離を表すものである。

なお、上記装置への具体的な実装は、ソフトウェア（プログラム）による実装と、ハードウェアにより実装のいずれも可能である。例えば、撮像装置や画像処理装置に内蔵されたコンピュータ（マイコン、ＣＰＵ、ＭＰＵ、ＦＰＧＡ等）のメモリにコンピュータプログラムを格納し、当該コンピュータプログラムをコンピュータに実行させることで、本発明の目的を達成するための各処理を実現してもよい。また、本発明の全部または一部の処理を論理回路により実現するＡＳＩＣ等の専用プロセッサを設けることも好ましい。また、本発明は、クラウド環境におけるサーバーにも適用可能である。

また、例えば、記憶装置に記録されたプログラムを読み込み実行することで前述した実施形態の機能を実現するシステムや装置のコンピュータによって実行されるステップからなる方法によっても、本発明を実施することができる。この目的のために、上記プログラムは、例えば、ネットワークを通じて、又は、上記記憶装置となり得る様々なタイプの記録媒体（つまり、非一時的にデータを保持するコンピュータ読取可能な記録媒体）から、上記コンピュータに提供される。したがって、上記コンピュータ（ＣＰＵ、ＭＰＵ等のデバイスを含む）、上記方法、上記プログラム（プログラムコード、プログラムプロダクトを含む）、上記プログラムを非一時的に保持するコンピュータ読取可能な記録媒体は、いずれも本発明の範疇に含まれる。

１撮像装置
１１２ぼかし処理回路
１１２１撮影画像取得部
１１２２距離マップ取得部
１１２３ノイズ推定部
１１２５ローパスフィルタ
１１２７合成部

Claims

画像および当該画像の距離マップを取得する取得手段と、
前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタ手段と、
前記画像のノイズを推定する推定手段と、
前記第１のフィルタ手段によるフィルタ処理後の画像と、前記推定手段が推定したノイズとを合成する合成手段と、
を備え、
前記推定手段は、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する、
画像処理装置。
前記推定手段は、
複数の撮影条件において撮影された画像から求められる、各撮影条件における輝度値とノイズの分散の関係を格納したノイズ特性テーブルを更に含み、
前記取得手段によって取得された画像の撮影条件を取得し、
前記ノイズ特性テーブルに格納された当該撮影条件における輝度値とノイズの分散の関係に基づいて、前記画像の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定する、
請求項１に記載の画像処理装置。
前記推定手段は、
前記取得手段が取得した画像から、当該画像における輝度値とノイズの分散の関係を算出し、
算出された輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定する、
請求項１に記載の画像処理装置。
前記画像を前記距離マップに応じて複数の領域に分割し、分割された領域毎に、前記第１のフィルタ手段によるフィルタ処理および前記合成手段による合成処理を実施する、
請求項１から３のいずれか１項に記載の画像処理装置。
前記推定手段が推定したノイズに対して、前記ローパスフィルタ処理に対応するフィルタ特性を有するハイパスフィルタ処理を施す第２のフィルタ手段を更に備え、
前記合成手段は、前記第１のフィルタ手段によるフィルタ処理後の画像と、前記第２のフィルタ手段によるフィルタ処理後のノイズとを合成する、
請求項１から４のいずれか１項に記載の画像処理装置。
前記画像を前記距離マップに応じて複数の領域に分割し、分割された領域毎に、前記第１のフィルタ手段によるフィルタ処理、前記第２のフィルタ手段によるフィルタ処理、および前記合成手段による合成処理を実施する、
請求項５に記載の画像処理装置。
被写体からの光を電気信号に変換し出力する撮像手段と、
請求項１から６のいずれか１項に記載の画像処理装置と、
を備え、
前記電気信号に基づき前記取得手段により画像および当該画像の距離マップを取得する、
撮像装置。
画像処理装置が実施する画像処理方法であって、
画像および当該画像の距離マップを取得する取得ステップと、
前記画像に対して、前記距離マップに応じたフィルタ特性を有するローパスフィルタ処理を施す第１のフィルタステップと、
前記画像のノイズを推定する推定ステップと、
前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記推定ステップにおいて推定されたノイズとを合成する合成ステップと、
を含み、
前記推定ステップでは、前記画像の輝度値と、輝度値に対するノイズの分散を表す関係とに基づいてノイズを推定する、
画像処理方法。
前記画像処理装置は、複数の撮影条件において撮影された画像から求められる、各撮影条件における輝度値とノイズの分散の関係を格納したノイズ特性テーブルを備えており、
前記推定ステップは、
前記取得ステップにおいて取得された画像の撮影条件を取得するステップと、
前記ノイズ特性テーブルに格納された当該撮影条件における輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定するステップと、
を含む、請求項８に記載の画像処理方法。
前記推定ステップは、
前記取得ステップにおいて取得した画像から、当該画像における輝度値とノイズの分散の関係を算出するステップと、
算出された輝度値とノイズの分散の関係に基づいて、前記画像中の領域毎に、当該領域の輝度値に対応する分散を有する乱数によりノイズを推定するステップと、
を含む、請求項８に記載の画像処理方法。
前記画像を前記距離マップに応じて複数の領域に分割する分割ステップを更に含み、
分割された領域毎に、前記第１のフィルタステップおよび前記合成ステップを実施する、
請求項８から１０のいずれか１項に記載の画像処理方法。
前記推定ステップにおいて推定されたノイズに対して、前記ローパスフィルタ処理に対応するフィルタ特性を有するハイパスフィルタ処理を施す第２のフィルタステップを更に含み、
前記合成ステップでは、前記第１のフィルタステップにおけるフィルタ処理後の画像と、前記第２のフィルタステップにおけるフィルタ処理後のノイズとを合成する、
請求項８から１１のいずれか１項に記載の画像処理方法。
前記画像を前記距離マップに応じて複数の領域に分割する分割ステップを更に含み、
分割された領域毎に、前記第１のフィルタステップ、前記第２のフィルタステップ、および前記合成ステップを実施する、
請求項１２に記載の画像処理方法。
請求項８から１３のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。
請求項１４に記載のコンピュータプログラムを非一時的に保持するコンピュータ読み取
り可能な記録媒体。