JP2017021467A - 画像処理装置、その制御方法、および制御プログラム - Google Patents

Abstract

【課題】演算負荷を軽減して、かつ折り返りひずみを抑制しつつ輝点の明るさが良好なボカシ画像を生成する。
【解決手段】第１のフィルタ処理部２０２は背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力し、縮小処理部２０３は第１の画像を所定の縮小率で縮小して第１の縮小画像を得る。輝点検出部２０４は背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出し、第２のフィルタ処理手段は第１の縮小画像に対して第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、検出された輝点の位置に応じて第１の縮小画像又は第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する。
【選択図】図２

Description

本発明は、画像処理装置、その制御方法、および制御プログラムに関し、特に、鑑賞上良好なボカシ画像を得ることができる画像処理装置に関する。

撮像装置などの画像処理装置において写真撮影を行う際、被写界深度を浅くしてピントの合う範囲を狭くし、ピントが合っている被写体以外の背景をボカして撮影することがある。被写界深度を浅くして写真撮影を行う際には、撮像装置の絞りを開放して焦点距離を長くする必要がある。一般に、撮影レンズが大口径であって、絞りとシャッタ速度との組み合わせを選択することが可能な一眼レフカメラにおいては、上記のようなボカシ撮影を行うことができる。

一方、所謂コンパクトサイズのデジタルスチルカメラ又はカメラ付き携帯電話機においては、小型化のためレンズ口径が小さく、焦点距離が非常に短い撮影レンズが採用されている。このため、これらの機器では被写界深度が非常に深くなっている。よって、これらの機器において、上述のようなボカシ撮影を行うことが困難である。

そこで、コンパクトサイズのカメラなどにおいては、画像処理によってボカシを強調することが行われている（例えば、特許文献１又は２参照）。なお、以下の説明では、画像処理によってボカシ（又はボケ）を強調した画像を生成する手法を背景ボカシ処理と呼ぶ。

背景ボカシ処理においては、入力画像から主要被写体の領域を抽出して、当該主要被写体領域以外の領域に空間フィルタ処理を行って、背景をボカした背景画像を生成する。

空間フィルタ処理では、次の式（１）で示すように、入力画像Ｉｎ（ｘ，ｙ）に平滑化フィルタｋ（ｉｘ，ｉｙ）を適用して出力画像Ｏｕｔ（ｘ，ｙ）を得る。

ここで、入力画像Ｉｎ（ｘ，ｙ）において、ｘおよびｙは、それぞれ着目画素の座標値（水平座標ｘ、垂直座標ｙ）を表す。また、平滑化フィルタにおけるフィルタ係数ｋ（ｉｘ，ｉｙ）において、ｉｘおよびｉｙは、フィルタ係数の位置（水平座標ｉｘ、垂直座標ｉｙ）を表す。

上記の式（１）よって、着目画素値は、その周辺画素（例えば、１辺がサイズｆｓの正方形）の平均値に置き換わる。サイズｆｓが大きくなると、平均化する領域のサイズが大きくなって、強いボカシ効果が得られる。つまり、強いボカシ効果を得るためには、サイズｆｓを大きくする必要があるが、サイズｆｓを大きくする程、演算負荷が増大する。

なお、フィルタ処理における演算負荷の増大は背景ボカシに限らず、空間フィルタを用いる処理について言えることである。

フィルタ処理における演算負荷を低減するため、例えば、入力画像を縮小して得られた低解像度の画像に対してフィルタ処理する手法が知られている（特許文献３参照）。ここでは、縮小後の折り返りを防ぐため、入力画像に対してローパスフィルタ処理を行った後、入力画像を縮小して得られた低解像度の画像に対してフィルタ処理を行う。そして、フィルタ処理の後、拡大して入力画像と同一の解像度に戻して広い範囲にフィルタ処理をした効果を得る。なお、以下の説明では、縮小後の折り返りを防ぐために入力画像について行われるローパスフィルタ処理をプレフィルタ処理と呼ぶ。

特開２００９−２０６５８５号公報 特開２００９−２１８７０８号公報 特開２００８−１５７４１号公報

ところで、演算負荷を軽減するため、特許文献３に記載の手法を背景ボカシ処理に用いると、鑑賞上良好なボカシ画像を得ることが難しい。

図１４は、プレフィルタ処理の後、輝点の一例を説明するための図である。そして、図１４（ａ）はプレフィルタ処理前の画像における輝点の信号値を示す図であり、図１４（ｂ）はプレフィルタ処理後の輝点の信号値を示す図である。

図１４において、縦軸は信号値を示し、横軸は画素（ラインデータ）を示す。図１４（ａ）に示す輝点を含む画像に対してプレフィルタ処理を行うと、図１４（ｂ）に示すように、プレフィルタ処理の影響によって入力画像における輝点の信号値が低くなる。この結果、輝点が暗くなって、その輪郭が不明瞭となる。そして、図１４（ａ）に示す状態で、背景ボカシ処理を行ったとしても、鑑賞上良好なボカシ画像を得ることができない。なお、輝点とは、例えば人物を夜景ポートレート撮影した場合の背景の街灯である。

そこで、本発明の目的は、演算負荷を軽減して、かつ折り返りひずみを抑制しつつ輝点の明るさが良好なボカシ画像を生成することのできる画像処理装置、その制御方法、および制御プログラムを提供することにある。

上記の目的を達成するために、本発明による画像処理装置は、撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置であって、前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理手段と、前記第１の画像を所定の縮小率で縮小して第１の縮小画像を得る縮小手段と、背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出手段と、前記第１の縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出手段で検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理手段と、を有することを特徴とする。

本発明による制御方法は、撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置の制御方法であって、前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理ステップと、前記第１の画像を所定の縮小率で縮小して縮小画像を得る縮小ステップと、背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出ステップと、前記縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出ステップで検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理ステップと、を有することを特徴とする。

本発明による制御プログラムは、撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置で用いられる制御プログラムであって、前記画像処理装置に備えられたコンピュータに、前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理ステップと、前記第１の画像を所定の縮小率で縮小して縮小画像を得る縮小ステップと、背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出ステップと、前記縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出ステップで検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理ステップと、を実行させることを特徴とする。

本発明によれば、検出された輝点の位置に応じて縮小画像又は第２のフィルタ係数にゲインを乗算する。これによって、演算負荷を軽減して、かつ折り返りひずみを抑制しつつ輝点の明るさが良好なボカシ画像を生成することができる。
背景ボカシ技術に関して、強いボカシ効果を得る場合でも多大な演算負荷を要することなく、さらに折り返りを抑制しつつ、輝点の明るさが良好なボカシ画像を生成することができる。

本発明の実施の形態による画像処理装置の一例を示すブロック図である。 図１に示す画像処理部において行われる背景ボカシ処理に係る構成の一例を示すブロック図である。 図２に示す画像処理部で行われる背景ボカシ処理を説明するためのフローチャートである。 図２に示す領域抽出部に入力される入力画像の一例を示す図である。 図２に示す領域抽出部で行われる背景領域の抽出の一例を示す図である。 図２に示す領域抽出部で抽出された背景領域の輝度信号値を示す図である。 図２に示す第１のフィルタ処理部で行われるプレフィルタ処理で用いられるフィルタ係数の一例を示す図である。 図６に示す背景領域に対して図７に示すプレフィルタ係数でプレフィルタ処理を行った結果の一例を示す図である。 図８に示すプレフィルタ処理済みの背景領域について縮小処理を行った後の縮小画像の輝度信号値を示す図である。 図２に示す輝点検出部による縮小処理の結果得られた縮小画像の輝度信号値を示す図である。 図２に示す輝点検出部で行われるハイパスフィルタ処理で用いられるハイパスフィルタの係数を示す図である。 図２に示す輝点検出部で行われるハイパスフィルタ処理によって得られた輝点検出結果を示す図である。 図２に示す第２のフィルタ処理部で行われるフィルタ処理の一例を示す図であり、（ａ）は第２のフィルタ係数を示す図、（ｂ）はゲイン補正後の第２のフィルタ係数を示す図である。 プレフィルタ処理の後、輝点の一例を説明するための図であり、（ａ）はプレフィルタ処理前の画像における輝点の信号値を示す図、（ｂ）はプレフィルタ処理後の輝点の信号値を示す図である。

以下に、本発明の実施の形態による画像処理装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による画像処理装置の一例を示すブロック図である。

図示の画像処理装置は、入力部１０１、記録部１０２、画像処理部１０３、および表示部１０４を有しており、これらブロックは相互にシステムバス１１１によって接続されている。入力部１０１は、ユーザからの指示およびデータを入力するためのブロックであり、例えば、キーボードおよびポインティングデバイスを含む。なお、ポインティングデバイスとして、例えば、マウス、トラックボール、又はタブレットが備えられている。また、図１に示す画像処理装置がデジタルカメラに備えられている場合には、入力部１０１は各種ボタンおよびモードダイヤルなどを有している。

記録部１０２には、撮影によって得られた画像データが記録される。記録部１０２は、例えば、ハードディスク、ＣＤ−ＲＯＭ又はＣＤ―Ｒ、メモリーカード、ＣＦカード、スマートメディア、ＳＤカード、又はメモリスティックを有している。さらに、記録部１０２には、プログラムおよびその他のデータを保存するようにしてもよい。

画像処理部１０３は、後述するようにして、画像処理装置に入力された画像に対して背景ボカシ処理を行う。

表示部１０４は、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイを有している。表示部１０４には、画像処理部１０３による画像処理前の画像が表示されるとともに、画像処理後の画像が表示される。さらには、表示部１０４には、ＧＵＩ（グラフィックユーザインタフェース）が表示される。なお、表示部１０４は画像処理装置とケーブルなどで接続された外部ディスプレイ装置であってもよい。

図示はしないが、画像処理装置がＣＣＤなどの有する撮像部を備えて、当該撮像部で得られた画像を記録部１０２に記録するようにしてもよい。なお、図１に示す画像処理装置では、画像処理装置全体の制御を司るＣＰＵなどは省略されている。

図２は、図１に示す画像処理部１０３において行われる背景ボカシ処理に係る構成の一例を示すブロック図である。

画像処理部１０３は、領域抽出部２０１、第１のフィルタ処理部２０２、縮小処理部２０３、輝点検出部２０４、第２のフィルタ処理部２０５、および拡大処理部２０６を有している。

図３は、図２に示す画像処理部１０３で行われる背景ボカシ処理を説明するためのフローチャートである。

図２および図３を参照して、背景ボカシ処理を開始すると、記録部１０２から撮影によって得られた画像（以下入力画像と呼ぶ）が画像処理部１０３に送られる。領域抽出部２０１は入力画像において主要被写体以外の背景領域を抽出する（ステップＳ３０１）。

図４は、図２に示す領域抽出部２０１に入力される入力画像の一例を示す図である。

図４に示す例では、入力画像は人物を夜景ポートレート撮影した結果得られた画像であり、背景領域に輝点となる街灯が含まれるシーンが撮影されている。

なお、背景領域を抽出する手法として、例えば、特開２０１０−１１８８５０号公報に記載の手法が用いられる。

この手法においては、フォーカスレンズの合焦位置を変化させて複数枚の画像を撮影する。そして、これら複数枚の画像が入力画像として領域抽出部２０１に入力される。つまり、入力画像として、主要被写体の人物に合焦させた画像と主要被写体以外の背景に合焦させた画像とが領域抽出部２０１に入力される。そして、領域抽出部２０１は複数枚の画像間におけるエッジ量の変化に応じて主要被写体の領域と背景領域を分離して、背景領域を抽出する。

図５は、図２に示す領域抽出部２０１で行われる背景領域の抽出の一例を示す図である。

領域抽出部２０１は、図５に白（無地）で示す領域を主要被写体（黒で示す）以外の領域である背景領域とする。

図６は、図２に示す領域抽出部２０１で抽出された背景領域の輝度信号値を示す図である。

図６に示す例では、背景領域は複数の画素を有し、これら画素の各々は座標（ｘ，ｙ）が規定される。ここでは、輝点の座標（ｘ，ｙ）＝（５，５）であり、画素の各々には、座標（ｘ，ｙ）として、（ｘ．ｙ）＝（１，１）から（９，９）が割り振られている。そして、これら座標に対応づけて、画素の輝度信号値が８ビット（０から２５５）の輝度信号値で示されている。例えば、座標（ｘ，ｙ）＝（１，１）の画素の輝度信号値は”８０”である。

領域抽出部２０１は、画素毎の輝度信号値の算出する際には、既知の色空間変換方法を用いて輝度信号値を算出する。例えば、入力された画像がＲＧＢ画像であるとすると、領域抽出部２０１は、次の式（２）によって輝度信号値（輝度値）Ｙを算出する。

続いて、第１のフィルタ処理部２０２は、領域抽出部２０１から入力された背景領域（図６参照）に対してプレフィルタ処理を行って、プレフィルタ処理済みの背景領域を出力する（ステップＳ３０２）。

図７は、図２に示す第１のフィルタ処理部で行われるプレフィルタ処理で用いられるフィルタ係数の一例を示す図である。

ここでは、プレフィルタとして、３行×３列の係数（第１のフィルタ係数）を有する平滑化フィルタ（ローパスフィルタ）が用いられる。なお、プレフィルタ処理を行うことによって、予め高周波成分を除去して（つまり、所定の周波数帯域の通過を制限して）、後述する縮小処理の際の高周波成分による折り返しひずみと呼ばれる画像劣化が発生しないようにする。

図８は、図６に示す背景領域に対して図７に示すプレフィルタ係数でプレフィルタ処理を行った結果の一例を示す図である。

図８に示すように、輝点（ｘ，ｙ）＝（５，５）の輝度信号値は、プレフィルタ処理によって平滑化されて、プレフィルタ処理前の輝度信号値”２５３”よりも低下して、輝度信号値が”２１４”となっていることが分かる。

なお、記録部１０２には周波数特性の異なるローパスフィルタに関するフィルタ係数が保存されている。そして、第１のフィルタ処理部２０２は、後述する縮小処理における縮小率に応じて、記録部１０２から高周波成分を除去するために最適なフィルタ係数を記録部１０２より読み出してフィルタ処理を行う。つまり、第１のフィルタ処理部２０２は縮小率に応じてフィルタ係数を変更する。

次に、縮小処理部２０３は、プレフィルタ処理済みの背景領域に対して指定された縮小率で縮小処理を行う（ステップＳ３０３）。縮小処理を行う際には、例えば、縮小処理部２０３は、プレフィルタ処理済みの画像について、水平方向（行）において偶数番の画素を間引くとともに、垂直方向（列）において偶数番の画素を間引いて、縮小画像（第１の縮小画像）を生成する。

図９は、図８に示すプレフィルタ処理済みの背景領域について縮小処理を行った後の縮小画像の輝度信号値を示す図である。

図９においては、プレフィルタ処理済みの背景領域（背景画像）において、座標（ｘ，ｙ）＝（２ｍ，２ｎ）に位置する画素が間引かれている。なお、ｍおよびｎは８までの偶数である。

次に。輝点検出部２０４は、領域抽出部２０１から図６に示す背景領域を受けて、ステップＳ３０３で行われた縮小処理と同一の縮小率で、背景領域に対して縮小処理を行う。ここでは、輝点検出部２０４は、縮小処理前にプレフィルタ処理を行わない。つまり、輝点検出部２０４における縮小処理の結果得られた縮小画像（第２の縮小画像）には高周波成分に起因する折り返しひずみが生じていることになる。一方、輝点検出部２０４で得られた第２の縮小画像においては、プレフィルタ処理が行われていないので、輝点の輝度信号値がプレフィルタ処理によって低下することがない。

図１０は、図２に示す輝点検出部２０４による縮小処理の結果得られた縮小画像の輝度信号値を示す図である。

図１０に示す縮小画像では、図６に示す背景領域（背景画像）において、座標（ｘ，ｙ）＝（２ｍ，２ｎ）に位置する画素が間引かれている。

続いて、輝点検出部２０４は、輝点を検出するため、縮小画像に対してハイパスフィルタ処理を行う。

図１１は、図２に示す輝点検出部２０４で行われるハイパスフィルタ処理で用いられるフィルタの係数を示す図である。

ここでは、ハイパスフィルタとして、３行×３列のフィルタ係数（第３のフィルタ係数）を有するハイパスフィルタが用いられる。

図１２は、図２に示す輝点検出部２０４で行われるハイパスフィルタ処理によって得られた結果（ハイパス処理済み画像）を示す図である。

図１２に示すように、輝点（ｘ，ｙ）＝（５，５）の輝度信号値（つまり、輝度値）は、ハイパスフィルタ処理によって、ハイパスフィルタ処理前の輝度信号値”２５３”よりも低下して、輝度信号値が”９０”となっていることが分かる。

次に、輝点検出部２０４は予め設定された輝度閾値以上の輝度信号値を有する画素を輝点として検出する（ステップＳ３０４）。ここでは、輝度閾値は、例えば、８５とされる。よって、図１２に示すハイパスフィルタ処理済み画像において、輝度信号値が”９０”である座標（ｘ，ｙ）＝（５，５）の画素が輝点として検出されることになる。

このようにして、背景領域（画像）を縮小処理した縮小画像における全ての画素について上述の輝点検出処理を行って、輝点検出部２０４は検出された輝点の座標を輝点検出結果として記憶する。

なお、ステップＳ３０４の輝点検出処理においては、ステップＳ３０３の縮小処理と同一の縮小率で背景領域（背景画像）を縮小して、縮小画像を生成するようにしたが、別の手法を用いるようにしてもよい。例えば、間引き処理した状態に相当する相対座標に位置する画素の輝度信号値を用いて輝点を検出するようにしてもよい。

続いて、第２のフィルタ処理部２０５は、縮小処理部２０３で得られた縮小画像と輝点検出部２０４で得られた輝点検出結果とに基づいて、背景領域（背景画像）に対してボカシ処理を行う（ステップＳ３０５）。

ステップＳ３０５の処理では、まず、第２のフィルタ処理部２０５は、ステップＳ３０４で求めた輝点検出結果を参照して、ステップＳ３０３で求めた縮小画像において、輝点として検出された画素と相対的に同一の位置の画素にゲインを乗算する。これによって、第２のフィルタ処理部２０５は、プレフィルタ処理によって低下した輝点における画素値（つまり、輝度信号値）を増加させる。以下この縮小画像をゲイン補正縮小画像と呼ぶ。

ここで、図９および図１２を参照して、第２のフィルタ処理部２０５は、図９に示す縮小画像において、図１２において輝点として検出された画素と同一の位置にある画素（ｘ，ｙ）＝（５，５）にゲインを乗算する。ここでは、例えば、第２のフィルタ処理部２０５はゲイン＝１．１８として、図９に示す画素（ｘ，ｙ）＝（５，５）の輝度信号値を１．１８倍する。これによって、図９に示す画素（ｘ，ｙ）＝（５，５）の輝度信号値は２１４×１．１８＝２５２．５となる。そして、第２のフィルタ処理部２０５は、輝度信号値−２５２．５を四捨五入して２５３とする。

このようにして、第２のフィルタ処理部２０５は、ステップＳ３０４において求められた輝点検出結果を参照して、ステップＳ３０３で求めた縮小画像における全ての輝点画素に対して、上述のようにしてゲインを乗算する。

次に、第２のフィルタ処理部２０５は、ゲイン補正縮小画像に対して第２のフィルタ処理によってボカシ処理を行う。

なお、ボカシ処理の手法については、特許文献１および２に記載されているので、ここでは説明を省略する。また、ボカシ処理の前後において輝度信号値が略同一になる増幅率で増幅することが好ましい。さらに、第２のフィルタ処理で用いられる第２のフィルタは、例えば、平滑化フィルタであるが、第１のフィルタとはその形状が異なる。例えば、第２のフィルタの形状を円柱形状とすれば、一眼レフカメラにおける丸絞りのようにボケを再現することができる。

上述の処理によって、折り返りを抑制するためのプレフィルタ処理の影響で輝度信号値が低下した縮小画像の輝点の明るさを、プレフィルタ処理前の状態に戻すことができる。そして、輝点の明るさをプレフィルタ処理前の状態に戻した後ボカシ処理を行うことによって、輝点の明るさが見た目において良好なボカシ画像を生成することができる。

なお、プレフィルタ処理を行わない縮小画像を輝点検出に用いている結果、高周波成分に起因する折り返しひずみがプレフィルタ処理を行った縮小画像に生じるものの、その後ボカシ処理を行うので折り返しひずみによる画質劣化を許容範囲とすることができる。

また、輝点以外領域（画素）については、プレフィルタ処理が行われているので折り返しひずみの発生を抑えることができる。そして、縮小画像に対してボカシ処理を行うので、強いボカシ効果を得るため第２のフィルタのサイズが大きくなっても演算負荷を抑制することができる。

ところで、ボカシ処理を行う際に、第２のフィルタで参照する範囲が背景領域の外側である場合には、参照する画素の輝度信号値を”０”として式（１）で示す演算を行う。これによって、輝度信号値を”０”とした画素数分だけ式（１）に示す分子の項が低くなる。よって、式（１）を用いた演算後、輝度信号値に所定のゲインを乗算して明るさを戻すことが望ましい。

特に、主要被写体の領域における画素の輝度信号値を参照して、式（１）を用いて演算を行うと、背景領域以外の画素の輝度信号値も取り込むことになる。これによって、見た目において良好なボカシ画像を生成することができなくなるので、上述の手法を用いることが望ましい。

なお、上述の説明では、プレフィルタ処理済みの縮小画像において、輝点検出結果において輝点として検出された画素と相対的に同一の位置にある画素の輝度信号値に対してゲインを乗算するようにしたが、他の手法を用いるようにしてもよい。例えば、第２のフィルタ処理において、輝点として検出された画素の処理に用いる第２のフィルタ係数にゲインを乗算するようにしてもよい。

図１３は、図２に示す第２のフィルタ処理部２０５で行われるフィルタ処理の一例を示す図である。そして、図１３（ａ）は第２のフィルタ係数を示す図であり、図１３（ｂ）はゲイン補正後の第２のフィルタ係数を示す図である。

ここで、第２のフィルタ処理部２０５は、図１３（ａ）に示す第２のフィルタ係数に対して、輝点検出結果で輝点として検出された画素（ｘ，ｙ）＝（５，５）と相対的に同一の位置にある係数にゲインを乗算する。これによって、第２のフィルタ処理部２０５は、図１３（ｂ）に示すゲイン補正後の第２のフィルタ係数を得る。なお、ここでは、ゲイン＝１．２とした。そして、第２のフィルタ処理部２０５は、ゲイン補正後の第２のフィルタ係数を用いてボカシ処理を行う。

さらに、上述の説明では、縮小画像において輝点検出を行ったが、輝点検出は別の手法で行うようにしてもよい。例えば、ステップＳ３０１の処理で抽出した背景領域において輝点検出を行う。そして、背景領域において輝点として検出された画素に対してゲインを乗算した後、プレフィルタ処理、縮小処理、およびボカシ処理を行うようにしてもよい。このような処理によってもプレフィルタ処理による輝度信号値の低下を抑制することができる。

なお、上述の説明においては、ステップＳ３０３の縮小処理において、縮小率を水平方向に１／２、垂直方向に１／２としたが、別の手法を用いるようにしてもよい。例えば、ステップＳ３０２およびＳ３０３の処理を繰り返えして、縮小率を水平方向に１／４、垂直に１／４とするようにしてもよい。さらに、縮小率を水平方向に１／８、垂直方向に１／８とするようにしてもよい。この際には、ステップＳ３０２およびＳ３０３の処理を１回行う毎に輝点検出と輝点として検出された画素に対するゲイン補正を行うことが望ましい。

再び図３を参照して、ステップＳ３０５のボカシ処理の後、拡大処理部２０６は、ボカシ処理後の縮小画像を拡大処理して縮小処理前の画像サイズに戻して（ステップＳ３０６）、出力画像（補正画像）として出力する。そして、画像処理部１０３は背景ボカシ処理を終了する。

このようにして、本発明の第１の実施形態では、ボカシ効果を強くした場合においても、演算負荷が増大することなく、折り返りひずみを抑制しして、輝点の明るさが良好なボカシ画像を生成することができる。

上述の説明から明らかなように、図２に示す例においては、領域抽出部２０１および第１のフィルタ処理部２０２が第１のフィルタ処理手段として機能し、縮小処理部２０３および輝点検出部２０４がそれぞれ縮小手段および検出手段として機能する。また、第２のフィルタ処理部２０５および拡大処理部２０６はそれぞれ第２のフィルタ処理手段および拡大処理手段として機能する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

また、上記の実施の形態の機能を制御方法として、この制御方法を画像処理装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像処理装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 入力部
１０２ 記録部
１０３ 画像処理部
１０４ 表示部
１１１ システムバス
２０１ 領域抽出部
２０２ 第１のフィルタ処理部
２０３ 縮小処理部
２０４ 輝点検出部
２０５ 第２のフィルタ処理部
２０６ 拡大処理部

Claims (8)

1. 撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置であって、
   前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理手段と、
   前記第１の画像を所定の縮小率で縮小して第１の縮小画像を得る縮小手段と、
   背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出手段と、
   前記第１の縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出手段で検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理手段と、
   を有することを特徴とする画像処理装置。
2. 前記第１のフィルタ処理では所定の周波数帯域の通過を制限するローパスフィルタが用いられることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１のフィルタ処理手段は、前記縮小率に応じて前記第１のフィルタ処理で用いられるフィルタの係数を変更することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記検出手段は、前記所定の縮小率で前記背景画像を縮小して得られた縮小画像において前記輝点の検出を行うことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２のフィルタ処理手段は、前記ボカシ処理を行う際に、前記第２のフィルタ処理で用いる第２のフィルタによって参照する範囲が前記背景領域の外側である場合、前記参照する範囲における画素の輝度値を０として前記ボカシ処理を行って、前記ボカシ処理が施された領域の輝度値が前記ボカシ処理の前後において略同一となるようにゲインを乗算することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記第２のフィルタ処理手段によってボカシ処理が施された第１の縮小画像を前記背景画像と同一のサイズに拡大する拡大処理手段を有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置の制御方法であって、
   前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理ステップと、
   前記第１の画像を所定の縮小率で縮小して縮小画像を得る縮小ステップと、
   背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出ステップと、
   前記縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出ステップで検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理ステップと、
   を有することを特徴とする制御方法。
8. 撮影の結果得られた画像を入力画像として受け、当該入力画像において主要被写体以外の背景領域にボカシ処理を施して補正画像を生成する画像処理装置で用いられる制御プログラムであって、
   前記画像処理装置に備えられたコンピュータに、
   前記背景領域を示す背景画像に対して予め定められた第１のフィルタ処理を施して第１の画像を出力する第１のフィルタ処理ステップと、
   前記第１の画像を所定の縮小率で縮小して縮小画像を得る縮小ステップと、
   背景画像において予め設定された輝度値を超える輝度値を有する輝点を検出する検出ステップと、
   前記縮小画像に対して前記第１のフィルタ処理と異なる第２のフィルタ処理を施してボカシ処理を行う際、前記検出ステップで検出された輝点の位置に応じて前記第１の縮小画像又は前記第２のフィルタ処理で用いられる第２のフィルタ係数にゲインを乗算する第２のフィルタ処理ステップと、
   を実行させることを特徴とする制御プログラム。