JP2016192755A - 画像信号処理装置、画像信号処理方法、及びプログラム - Google Patents

Abstract

【課題】少ない時間遅延でぼかし処理を施した画像信号を生成することを課題とする。【解決手段】フィルタ処理部（４）は、入力される画像信号に対して、第１のタップ数のフィルタの第１のフィルタ係数を各回で制御した複数回の第１のフィルタ処理を施して複数の中間画像を生成し、合成部（７）は、それら複数の中間画像を合成することで、第１のタップ数より多い第２のタップ数のフィルタで第２のフィルタ係数による第２のフィルタ処理を画像信号に施したのと等価なぼかし画像を生成する。簡易ぼかし部（９）は、入力される画像信号に対して、フィルタ処理部（４）によるフィルタ処理よりも簡易な簡易ぼかし処理を施して簡易ぼかし画像を生成する。【選択図】図１

Description

本発明は、画像信号等を処理する画像信号処理装置、画像信号処理方法、及びプログラムに関する。

従来より、被写界深度を浅くして撮影することで、背景だけをぼかし、被写体をより目立たせる撮影方法がある。被写界深度は、例えば、Ｆ値を小さく、焦点距離を長く、撮影距離を近くなどすることで浅くできるが、口径の大きなレンズや焦点距離の長い光学系は高価であるため、従来の安価な撮像装置では、被写界深度を浅くしにくいものが多い。

そこで、安価な撮像装置は、撮影画像から主要画像部分（例えば被写体画像部分）と背景画像部分とを分離し、フィルタ処理で背景画像部分をぼかして主要画像部分と合成することで、被写界深度を浅くした撮影と同等の効果を得る技術を採用しているものがある。このような技術は、特許文献１等に記載されている。特許文献１に記載の画像処理装置は、焦点条件の異なる２枚の同画像の画像情報を取得し、画像内の主要部（被写体）と背景のうち何れか一方（例えば背景）の画像に対してぼかし処理を施して合成することで、主要部が鮮鋭で背景がぼけた画像を形成する。

ぼかし処理を行うためのフィルタ処理回路は、少ないぼかし量でよい場合には比較的小さい回路規模で実現できるが、ぼかし量を多くする場合には回路規模が大きくなる。回路規模を大きくせずにぼかし量が多い画像を形成する技術の一つに、フィルタの畳み込み演算を時分割で行う処理(以下、分割フィルタ処理と呼ぶ。）が知られている。

特開平１０−２３３９１９号公報

しかしながら、分割フィルタ処理は、１枚の画像に対し、フィルタ係数を変えながら、複数回フィルタ処理を行い、それらの結果を加算して所望のフィルタ処理された画像を得るため、最終結果を得るまでの処理時間が長くなる。したがって、分割フィルタ処理により例えば背景部分をぼかした画像を表示するような場合、画像の撮影から表示までに時間遅延が発生してしまう。

本発明はこのような問題点に鑑みてなされたものであり、少ない時間遅延でぼかし処理を施した画像信号を生成可能な画像信号処理装置、画像信号処理方法、及びプログラムを提供することを目的とする。

本発明の画像信号処理装置は、入力される画像信号に対して、第１のタップ数のフィルタの第１のフィルタ係数を各回で制御した複数回の第１のフィルタ処理を施して、複数の中間画像を生成し、前記複数の中間画像を合成することで、前記第１のタップ数より多い第２のタップ数のフィルタで第２のフィルタ係数による第２のフィルタ処理を前記画像信号に施したのと等価な、第１のぼかし画像を生成するフィルタ合成手段と、前記第１のぼかし画像を用いて生成される画像を記録媒体に記録する記録手段と、入力される画像信号に対して、前記第１のぼかし画像を生成するための処理よりも簡易な所定の簡易ぼかし処理を施して第２のぼかし画像を生成するぼかし手段と、前記第２のぼかし画像を用いて生成される画像を表示媒体に表示する表示手段とを有することを特徴とする。

本発明によれば、少ない時間遅延でぼかし処理を施した画像信号を生成可能となる。

本実施形態の撮像装置の概略構成を示す図である。 分割フィルタのタップ数とフィルタ係数の説明に用いる図である。 水平，垂直９タップの空間フィルタの参照範囲の説明に用いる図である。 フィルタ処理と合成処理のフローチャートである。 分割フィルタ処理と合成（加算)処理の説明に用いる図である。 比較例の撮像装置の概略構成を示す図である。 本実施形態と比較例の構成における入出力タイミングチャートである。 記録画像と表示画像のずれの説明に用いる図である。 第１の実施形態における簡易ぼかし部の一構成例を示す図である。 ぼかし率決定の際に使用するテーブルの一例を示す図である。 簡易ぼかし処理のフローチャートである。 第２の実施形態における簡易ぼかし部の一構成例を示す図である。 第３の実施形態における簡易ぼかし部の一構成例を示す図である。

＜第１の実施形態＞
図１は、画像信号処理装置の一例である第１の実施形態の撮像装置の概略構成を示す図である。図１において、システム制御部１２は、本実施形態の撮像装置全体を制御する。なお、図１では図示を省略しているが、撮像装置は、シャッターボタンなどのような一般的なカメラに設けられている各種操作部も有している。

光学系１は、ズームレンズ、フォーカスレンズ、絞り等を有して構成されており、システム制御部１２からの制御信号により、絞りとレンズを駆動して、適切な明るさに設定された被写体像を撮像素子２上に結像させる。撮像素子２は、システム制御部１２により制御される駆動パルスで駆動され、被写体像を光電変換により電気信号に変換して撮像信号として出力する。現像処理部３は、撮像素子２からの撮像信号を輝度と色差の信号に変換する現像処理を行い、その現像処理後の輝度と色差の画像信号を、分割フィルタ処理画像選択部１３へ出力する。また、現像処理部３は、画像信号をメモリ６へも出力する。したがって、メモリ６は、後述する中間画像の信号の他、この現像処理部３からの画像信号も保持する。

分割フィルタ処理画像選択部１３は、システム制御部１２による制御の下、垂直同期信号の１周期内で、現像処理部３からの画像信号とメモリ６からの画像信号の何れかを選択して、フィルタ処理部４へ入力させる。

フィルタ処理部４は、フィルタ係数制御部５から供給されるフィルタ係数を用い、分割フィルタ処理画像選択部１３からの画像信号に対してフィルタ処理を行う。フィルタ係数制御部５は、システム制御部１２による制御の下、フィルタ処理の際に使用されるフィルタ係数をフィルタ処理部４へ出力する。

ここで、本実施形態のフィルタ処理部４は、畳み込み演算を時分割で複数回行うような分割フィルタ処理を実行可能となされている。具体的には、フィルタ処理部４は、一例として、後述するように１垂直同期期間内に１〜９回のフィルタ処理を行うような分割フィルタ処理を行う。フィルタ処理部４が１〜９回のフィルタ処理でそれぞれ生成した各画像信号（後述する各中間画像の信号）は、メモリ６に保持された後、読み出されて合成部７へ出力される。

合成部７は、システム制御部１２による制御の下、メモリ６から読み出す各中間画像の画素位置を制御して、そのメモリ６からそれぞれ対応した位置の画素を読み出して加算することにより、各中間画像を合成する。この加算による合成で形成された画像信号は、フィルタ処理部４での分割フィルタ処理によるぼかし処理後の画像信号（以下、フィルタ処理ぼかし画像信号とする。）となる。

本実施形態によれば、フィルタ合成手段の一例として、分割フィルタ処理を行うフィルタ処理部４と、分割フィルタ処理による各中間画像を保持するメモリ６と、メモリ６に保持された各中間画像を合成する合成部７とを有している。そして、本実施形態では、これらの構成により、タップ数の少ない小さい回路規模のフィルタで、タップ数の多い大規模なフィルタと等価なぼかし量が多い画像を生成可能となっている。

以下、フィルタ処理部４において行われる分割フィルタ処理と合成部７による合成処理の詳細を説明する。本実施形態では、図２、図３を用い、水平方向９タップ、垂直方向９タップの空間フィルタの場合の分割フィルタ処理を例に挙げて説明する。なお、フィルタ処理部４のタップ数は一例であり、９タップに限定されるものではない。

図２は、水平方向９タップ、垂直方向９タップの空間フィルタのフィルタ係数の一例を示す図である。図２中のｋ０〜ｋ８はフィルタ係数を示し、空間フィルタの水平方向と垂直方向をそれぞれ３タップずつに分離したときのそれぞれの位置のフィルタ係数を示している。図３は、画像内において（ｘ，ｙ）座標が（ｉ，ｊ）で表される、或る着目画素位置（ｉ，ｊ）における水平方向９タップ、垂直方向９タップの空間フィルタの参照範囲を示す図である。そして、フィルタ処理は、例えば式（１）に示すような演算式を用いて行われる。

ここで、式（１）及び後述の各式中の「ｘ」，「ｙ」は図３に示す画像の各画素の座標、「ｉ」は画像内の注目画素の水平アドレス（ｘ座標）、「ｊ」は画像内の注目画素の垂直アドレス（ｙ座標）、「ａ」はフィルタ係数、「Ｉ」は画素値を示している。そして、式（１）の「ｐ」は、図３に示すように着目画素位置（ｉ，ｊ）に対してフィルタをかけた結果（中間画像）となる。

図４は、フィルタ処理部４において、畳み込み演算を水平方向３タップ、垂直方向３タップずつに分割した分割フィルタ処理が行われ、さらに合成部７により合成処理がなされるまでの基本的なフローチャートを示す。図４のフローチャートは、システム制御部１２が、分割フィルタ処理画像選択部１３の制御、フィルタ係数制御部５からフィルタ係数の出力制御によるフィルタ処理部４の制御、メモリ６の書き込みと読み出しの制御を行うことにより実行される。

図４において、システム制御部１２は、先ずステップＳ１００の処理として、変数ｎに初期値の「０」をセットする。変数ｎは、分割フィルタの分割数に対応しており、これは言い換えると１垂直同期期間内にフィルタ処理部４で行われるフィルタ処理の回数に対応している。本実施形態の場合、畳み込み演算を水平方向３タップ、垂直方向３タップずつに分割しており、フィルタ分割数が９分割で１〜９回のフィルタ処理が行われるため、変数ｎは「０」〜「８」の値となる。ステップＳ１００の後、システム制御部１２は、処理をステップＳ１０１へ進める。

ステップＳ１０１では、システム制御部１２は、１回目のフィルタ処理の際には、分割フィルタ処理画像選択部１３を制御して現像処理部３からの画像信号をフィルタ処理部４へ入力させる。このステップＳ１０１の後、システム制御部１２は、処理をステップＳ１０２へ進める。

ステップＳ１０２では、システム制御部１２は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させる。このときのフィルタ処理部４は、１回目のフィルタ処理として、例えば式（２）に示すようなフィルタ演算を行って第１の中間画像ｐ０を生成する。ここで、式（２）の演算は、画像信号の画像全体に対して行われるものであり、したがって第１の中間画像ｐ０は、図２における左上のフィルタ係数ｋ０を用いて画像全体にフィルタを掛けた画像信号ということになる。

ステップＳ１０２の後、システム制御部１２は、処理をステップＳ１０３へ進める。ステップＳ１０３では、システム制御部１２は、第１の中間画像ｐ０の信号をメモリ６に保持させる。ステップＳ１０３の後、システム制御部１２は、処理をステップＳ１０４へ進める。

ステップＳ１０４では、システム制御部１２は、全分割数のフィルタ演算が完了したか否かを判断する。具体的には、本実施形態では、フィルタ処理部４で１〜９回のフィルタ処理が行われ、変数ｎが「０」〜「８」の値を取り得るため、システム制御部１２は、変数ｎが「８」になっている場合に全分割数の演算が完了したと判断する。ステップＳ１０４において、システム制御部１２は、全分割数のフィルタ演算が完了していないと判断した場合には処理をステップＳ１０５へ進め、一方、完了したと判断した場合には処理をステップＳ１０６へ進める。

ステップＳ１０５では、システム制御部１２は、次の分割位置のフィルタ演算に移るために、変数ｎに「ｎ＋１」をセットする。このときの変数ｎはステップＳ１００で設定された初期値の「０」であるため、ステップＳ１０５では変数ｎが「１」に設定されることになる。ステップＳ１０５の後、システム制御部１２は、ステップＳ１０１へ処理を戻す。

ステップＳ１０１に戻ると、システム制御部１２は、次は２回目のフィルタ処理が行われるため、メモリ６と分割フィルタ処理画像選択部１３を制御し、メモリ６から読み出させた画像信号をフィルタ処理部４へ入力させる。次のステップＳ１０２の処理に進むと、システム制御部１２は、フィルタ係数制御部５を制御してフィルタ処理部４へフィルタ係数を出力させる。このときのフィルタ処理部４は、２回目のフィルタ処理として、例えば式（３）に示すようなフィルタ演算を行って第２の中間画像ｐ１を生成する。式（３）の演算は、画像信号の画像全体に対して行われるものであり、したがって第２の中間画像ｐ１は、図２における中央上のフィルタ係数ｋ１を用いて画像全体にフィルタを掛けた画像信号ということになる。

次のステップＳ１０３の処理に進むと、システム制御部１２は、第２の中間画像ｐ１の信号をメモリ６に保持させる。次のステップＳ１０４において、システム制御部１２は、全分割数のフィルタ演算が完了したか否かを判断する。ステップＳ１０４において、システム制御部１２は、全分割数のフィルタ演算が完了していないと判断した場合には処理をステップＳ１０５へ進め、一方、完了したと判断した場合には処理をステップＳ１０６へ進める。このときのフィルタ処理は２回目であるため、システム制御部１２は、ステップＳ１０５へ処理を進め、変数ｎを「２」に設定して、ステップＳ１０１へ処理を戻す。

以下同様に、システム制御部１２は、ステップＳ１０１からＳ１０４、さらにステップＳ１０４からステップＳ１０５を経てステップＳ１０１へ戻る処理を、ステップＳ１０４で全分割数のフィルタ演算が完了したと判断されるまで繰り返す。本実施形態では、前述のようにフィルタ分割数が９分割で１〜９回のフィルタ処理が行われるため、変数の「ｎ」は「０」から「８」までインクリメントされていくことになる。ステップＳ１０５で変数ｎが「２」に設定された後、前述の処理が繰り返されて順次変数ｎがインクリメントされた場合、ステップＳ１０２では、式（４）〜式（１０）に示す演算がフィルタ処理部４で行われることになる。これら式（４）〜式（１０）に示すフィルタ演算により、フィルタ処理部４からは、第３の中間画像ｐ２〜第９の中間画像ｐ８の信号が出力されることになる。また、ステップＳ１０３では、それら第３の中間画像ｐ２〜第９の中間画像ｐ８の信号がメモリ６に保持される。

そして、ステップＳ１０４にて全分割数の演算が完了したと判断して処理をステップＳ１０６へ進めると、システム制御部１２は、合成部７を制御して、ここまでで計算されてメモリ６に保持された第１の中間画像ｐ０〜第９の中間画像ｐ８の信号を読み出させる。このときの合成部７は、システム制御部１２による制御の下、メモリ６から読み出す各中間画像の画素位置を制御して、そのメモリ６からそれぞれ対応した各画素を読み出す。ステップＳ１０６の後、システム制御部１２は、処理をステップＳ１０７へ進める。

ステップＳ１０７では、システム制御部１２は、合成部７を制御して、第１の中間画像ｐ０〜第９の中間画像ｐ８を加算して合成させる。このときの合成部７は、システム制御部１２による制御の下、メモリ６から読み出された中間画像の各画素を加算により合成する。合成部７での加算による合成で形成された画像信号は、フィルタ処理部４での分割フィルタ処理によるぼかし処理後の画像信号（フィルタ処理ぼかし画像信号）となる。このフィルタ処理ぼかし画像信号は、第１の背景被写体合成部１５へ送られる。

図５（ａ）〜図５（ｉ）を用いて、フィルタ処理部４による分割フィルタ処理と合成部７で行われる各第１の中間画像ｐ０〜第９の中間画像ｐ８の合成動作について説明する。図５（ａ）〜図５（ｉ）において、位置（ｉ，ｊ）の画素が着目画素であり、領域１０００は着目画素に対して水平方向９タップで垂直方向９タップの空間フィルタが参照する範囲を示し、領域１００１は着目画素に対する中間画像上の参照位置を示している。図５（ａ）は第１の中間画像ｐ０が求められる際の着目画素及び空間フィルタの参照範囲と着目画素に対する中間画像上の参照位置を示した図である。以下同様に、図５（ｂ）は第２の中間画像ｐ１、図５（ｃ）は第３の中間画像ｐ２、図５（ｄ）は第４の中間画像ｐ３、図５（ｅ）は第５の中間画像ｐ４についての図である。図５（ｆ）は第６の中間画像ｐ５、図５（ｇ）は第７の中間画像ｐ６、図５（ｈ）は第８の中間画像ｐ７、図５（ｉ）は第９の中間画像ｐ８についての図である。

ここで、水平方向及び垂直方向が９タップの空間フィルタと等価な効果を得るためには、着目画素位置（ｉ，ｊ）に対し、第１の中間画像ｐ０からは位置（ｉ−３，ｊ−３）を中心とした水平方向及び垂直方向が３タップの空間フィルタをかけた画素が必要となる。また、第２の中間画像ｐ１からは位置（ｉ，ｊ−３）、第３の中間画像ｐ２からは位置（ｉ＋３，ｊ−３）、第４の中間画像ｐ３からは位置（ｉ−３，ｊ）をそれぞれ中心とした水平方向３タップ、垂直方向３タップの空間フィルタをかけた画素が必要となる。さらに、第５の中間画像ｐ４からは位置（ｉ，ｊ）、第６の中間画像ｐ５からは位置（ｉ＋３，ｊ）、第７の中間画像ｐ６からは位置（ｉ−３，ｊ＋３）をそれぞれ中心とした水平方向３タップ、垂直方向３タップの空間フィルタをかけた画素が必要となる。同様に、第８の中間画像ｐ７からは位置（ｉ，ｊ＋３）、第９の中間画像ｐ８からは位置（ｉ＋３，ｊ＋３）をそれぞれ中心とした水平方向３タップ、垂直方向３タップの空間フィルタをかけた画素が必要となる。合成部７は、それら第１の中間画像ｐ０〜第９の中間画像ｐ８の各位置の画素値を取得して合成する。

以上のように、フィルタ処理部４は、畳み込み演算を水平方向３タップ、垂直方向３タップずつに分割して１〜９回のフィルタ処理により第１〜第９の中間画像ｐ０〜ｐ９を生成し、合成部７は、それら第１〜第９の中間画像ｐ０〜ｐ９を合成する。これにより、回路規模は小さいながらも水平方向９タップ、垂直方向９タップの空間フィルタをかけた場合と同じ画像信号が得られることになる。

図１の説明に戻り、第１の主被写体判別部１４は、現像処理部３から出力されてメモリ６に保持されている画像信号より、主被写体の画像部分（以下、主被写体画像とする。）を検出する。画像信号から主被写体画像を検出する手法については種々の手法が知られており、本実施形態ではそれらの何れを用いてもよい。そして、第１の主被写体判別部１４は、例えば、その画像信号における画像の中央に近く、サイズが大きい被写体画像部分を、主被写体画像と判別して、その主被写体画像のサイズと画像信号の画像内における位置情報とを第１の背景被写体合成部１５へ出力する。なお、ここでは、現像処理部３から出力されてメモリ６に保持されている画像信号より主被写体画像のサイズと位置情報を求める例を挙げたが、第１の主被写体判別部１４は、メモリ６に保持されている中間画像からそれらの情報を求めてもよい。

第１の背景被写体合成部１５は、第１の主被写体判別部１４により検出された主被写体画像のサイズと位置情報に基づき、現像処理部３から出力されてメモリ６に保持された画像信号と合成部７からのフィルタ処理ぼかし画像信号とを合成する。具体的には、第１の背景被写体合成部１５は、主被写体画像のサイズと位置情報に基づいて、メモリ６から読み出された画像信号より、主被写体画像を抜き出す。そして、第１の背景被写体合成部１５は、その抜き出した主被写体画像を、合成部７から供給されるフィルタ処理ぼかし画像信号の同位置、すなわち主被写体画像の位置情報に応じた位置へ、上書きにより合成する。

ここで、合成部７からのフィルタ処理ぼかし画像信号は、画像全体にぼかし処理が施された画像信号である。一方、第１の背景被写体合成部１５への入力画像信号は、現像処理部３の出力画像であり、ぼかし処理されていない鮮鋭な画像の信号である。そして、第１の背景被写体合成部１５は、その画像信号から被写体画像を抜き出してフィルタ処理ぼかし画像信号に合成する。これにより、第１の背景被写体合成部１５から出力される画像信号は、背景がぼけている一方で被写体画像が鮮鋭で目立った画像の信号となる。

第１の背景被写体合成部１５による背景と被写体画像の合成処理後の画像信号は、記録部８へ送られる。記録部８は、一例としてＳＤカードに代表される記録媒体等に対する信号の書き込みと読み出しを行う書き込み／読み出し部を有して構成されており、第１の背景被写体合成部１５から入力された画像信号を記録媒体に記録する。

また、本実施形態の撮像装置は、フィルタ処理部４で１回目のフィルタ処理がなされたとき、そのフィルタ処理による第１の中間画像ｐ０の信号が、メモリ６を介さず、所定のぼかし手段の一例である簡易ぼかし部９へと入力される。また、このとき、第２の背景被写体合成部１７には、現像処理部３から出力されてメモリ６に保持されていた画像信号が入力される。第２の主被写体判別部１６へ入力される画像信号は、フィルタ処理部４でのフィルタ処理による第１の中間画像ｐ０の信号（メモリ６を介していない信号）である。なお、簡易ぼかし部９へ入力される信号と、第２の主被写体判定部１６へ入力される信号は、現像処理部３から出力されてメモリ６に保持されていた画像信号であってもよい。

簡易ぼかし部９は、システム制御部１２による制御の下、フィルタ処理部４から出力された第１の中間画像ｐ０の画像信号に対し、例えば後述するような縮小処理と拡大処理による簡易ぼかし処理を行う。すなわち、簡易ぼかし部９は、フィルタ処理部４にて行われる複数回のフィルタ処理のうち、最初に行われる１回目のフィルタ処理による第１の中間画像ｐ０の画像信号に対して簡易ぼかし処理を行う。言い換えると、簡易ぼかし部９は、フィルタ処理部４での複数回のフィルタ処理が完了してフィルタ処理ぼかし画像信号が得られる前、例えば垂直同期信号の略々１周期分早く、簡易ぼかし処理による画像信号を出力可能となされている。そして、簡易ぼかし部９は、その簡易ぼかし処理による画像信号（以下、簡易ぼかし画像信号とする。）を、第２の背景被写体合成部１７へ出力する。縮小処理と拡大処理による簡易ぼかし処理の詳細については後述する。

第２の主被写体判別部１６は、第１の中間画像ｐ０の画像信号から、主被写体の画像部分（主被写体画像）を検出する。なお、第２の主被写体判別部１６における主被写体画像の検出処理は、前述の第１の主被写体判別部１４における処理と同じでよい。第２の主被写体判別部１６は、画像信号の画像の中央に近く、サイズが大きい被写体画像部分を、主被写体画像と判別して、その主被写体画像のサイズと画像信号の画像内における位置情報とを第２の背景被写体合成部１７へ出力する。

第２の背景被写体合成部１５は、第１の主被写体判別部１４により検出された主被写体画像のサイズと位置情報に基づき、現像処理部３から出力されてメモリ６に保持されている画像信号と、簡易ぼかし部９からの簡易ぼかし画像信号とを合成する。具体的には、第２の背景被写体合成部１７は、画像信号より主被写体画像を抜き出す。そして、第２の背景被写体合成部１７は、その抜き出した主被写体画像を、簡易ぼかし部９による簡易ぼかし画像信号の同位置、すなわち主被写体画像の位置情報に応じた位置へ、上書きにより合成する。

ここで、簡易ぼかし部９から出力された画像信号は、第１の中間画像の画像信号に対して、簡易ぼかし処理が施された信号である。一方、第２の背景被写体合成部１７への入力画像信号は、現像処理部３から出力されてメモリ６に保持された画像信号であり、非常に鮮鋭な画像の信号である。そして、第２の背景被写体合成部１７は、その画像信号から被写体画像を抜き出し、その主被写体画像を、簡易ぼかし画像信号に合成する。これにより、第２の背景被写体合成部１７から出力される画像信号は、背景がぼけている一方で被写体画像が鮮鋭で目立った画像の信号となる。この第２の背景被写体合成部１７による合成処理後の画像信号は、ＶＲＡＭ１０へ送られる。

ＶＲＡＭ１０は、第２の背景被写体合成部１７からの画像信号を保持した後、その画像信号を表示部１１へ出力する。表示部１１は、表示媒体の一例であるＬＣＤ（液晶ディスプレイ）に代表される表示デバイスにより構成されており、ＶＲＡＭ１０から供給された画像信号より画像を形成してその画像を画面上に表示する。

前述したように、本実施形態の場合、記録媒体へ記録される画像信号は、メモリ６に記憶された第１〜第９の中間画像ｐ０〜ｐ８を用いたフィルタ処理ぼかし画像信号に、被写体画像が合成された画像信号となされている。一方、表示部１１への表示用の画像信号は、メモリ６を介さず、フィルタ処理部４が１回目のフィルタ処理を行って出力した第１の中間画像ｐ０に簡易ぼかし処理を行った画像に被写体画像を合成した画像信号となされている。

次に、図１に示した本実施形態の撮像装置に対する比較例として、図６には、図１に示した簡易ぼかし部９と第２の主被写体判別部１６と第２の背景被写体合成部１７を設けず、第１の背景被写体合成部１５の出力が表示部１１へ送られる構成例を挙げる。なお、図６において、図１と同じ構成要素についての説明は省略する。

図６の構成で図１と異なる部分は、図１の簡易ぼかし部９と第２の主被写体判別部１６と第２の背景被写体合成部１７が無く、第１の背景被写体合成部１５の出力画像信号が、ＶＲＡＭ１０を介して表示部１１へ送られる表示用の画像信号になっている点である。すなわち図６の構成の場合、表示部１１に画面表示される画像は、第１の背景被写体合成部１５の出力画像信号が、ＶＲＡＭ１０に一旦保持された後に読み出された画像となっている。言い換えると、表示部１１に入力される表示用の画像信号は、記録媒体へ入力される画像信号に対して、ＶＲＡＭ１０を介することによる少なくとも１垂直同期期間分の遅延が発生している。これに対して、図１の構成では、以下に説明するように、記録媒体へ記録される画像信号に対する表示画像の遅延は無い。

次に、図７（ａ）と図７（ｂ）を用い、図６と図１の構成における信号入出力のタイミングを説明する。図７（ａ）は、図６の撮像装置の撮像素子２、現像処理部３、フィルタ処理部４、合成部７、記録部８、表示部１１の信号出力又は入力のタイミングチャートである。図７（ｂ）は、図１の撮像装置の撮像素子２、現像処理部３、フィルタ処理部４、合成部７、簡易ぼかし部９、記録部８、表示部１１の信号出力又は入力のタイミングチャートである。図７（ａ）、図７（ｂ）中の１Ｖ，２Ｖ，・・・，７Ｖはそれぞれ垂直同期信号の１周期を表している。図７（ａ）と図７（ｂ）の「撮像素子出力」は、撮像素子２から撮像信号が出力されるタイミングを垂直同期信号の周期に対応させて表している。同様に、図７（ａ）と図７（ｂ）の「現像処理部出力」は、現像処理部３から画像信号が出力されるタイミングを表している。図７（ａ）の「フィルタ処理部出力」は１〜９回のフィルタ処理が完了した際のフィルタ処理部４の出力、一方、図７（ｂ）の「フィルタ処理部出力」は１回目のフィルタ処理がなされた際のフィルタ処理部４の出力タイミングをそれぞれ示している。図７（ａ）と図７（ｂ）の「合成部出力」は合成部７の出力、「記録部入力」は記録部８への画像信号の入力、「表示部入力」は表示部１１への画像信号の入力のタイミングをそれぞれ表している。図７（ｂ）の「簡易ぼかし部出力」は簡易ぼかし部９の出力タイミングを表している。そして、現像処理部出力〜表示部入力における１Ｖ〜７Ｖの各周期の画像信号は、撮像素子出力の１Ｖ〜７Ｖの各周期の画像信号にそれぞれ対応している。

先ず、図６に示した撮像装置のタイミングチャートである図７（ａ）について説明し、さらに図６に示した構成の問題点を図８を用いて説明した後に、図１に示した本実施形態の撮像装置の図７（ｂ）のタイミングチャートについて説明する。

図７（ａ）において、現像処理部出力は、撮像素子出力に対して、現像処理部３での現像処理に要する１周期分の時間だけ遅延している。フィルタ処理部出力は、現像処理部出力に対して、フィルタ処理部４による１〜９回のフィルタ処理に要した、１周期分（垂直同期信号の１周期分）だけ遅延している。また、合成部出力は、フィルタ処理部４でのフィルタ処理による第１〜第９の中間画像ｐ０〜ｐ８を合成した信号であり、フィルタ処理部出力に対しては垂直同期信号単位では遅延が発生していない。そして、記録部入力は、合成部出力に主被写体画像が合成された画像信号であり、フィルタ処理部出力に対しては垂直同期信号単位では遅延が発生していない。これに対し、表示部入力は、合成部出力に主被写体画像を合成した画像信号が更にＶＲＡＭ１０で一旦保持された信号であるため、記録部出力に対しては垂直同期信号の１周期分だけ遅延している。

このように、表示部入力が記録部出力に対して垂直同期信号の１周期分も遅延した場合、以下の図８に示すようなことが発生する虞がある。図８の例において、１Ｖ，２Ｖ，３Ｖ，・・・，５Ｖはそれぞれ垂直同期信号の周期を表している。図８の例では、それら各１Ｖ，２Ｖ，３Ｖ，・・・，５Ｖについて、図６の現像処理部３から画像信号が出力されるタイミングを基準として説明する。図８は、被写体４０１が撮像装置に対して右方向に移動している際に撮影された画像例を示している。この図８の場合、画像垂直同期信号の１Ｖ目には現像処理部３の出力画像に背景４０２と被写体４０１が写っており、周期が１Ｖ→２Ｖ→３Ｖ→・・・の順に遷移するにつれて、被写体４０１の画像は徐々に右方向に移動している。そして、３Ｖ目以降の現像処理部３の出力画像には、背景４０２のみが写っている。なお、図８では、図示を簡略にするため、被写体の指示符号（４０１）と背景の指示符号（４０２）は現像処理部３の１Ｖ目の出力画像についてのみ付けている。このようなタイミングで現像処理部３から画像信号が出力される場合、記録部８へ入力されて記録媒体に記録される画像信号は、前述の図７（ａ）で説明したように、現像処理部３から画像信号が出力されるタイミングに対して１周期分だけ遅延している。一方、表示部１１へ入力されて画面表示される画像は、前述の図７（ａ）で説明したように、記録部８へ画像信号が入力されるタイミングに対して１周期分だけ遅延している。

ここで、撮影ユーザが写したい画像、言い換えると記録媒体へ記録させたい画像が例えばタイミングＴｒの画像Ｒ１であるとする。一方、撮影ユーザは、表示部１１の画面に表示されている画像を見ながら、シャッターボタンを押すタイミングを図っており、画面上に撮影ユーザが写したいと思った画像が表示されたタイミングでシャッターボタンを押すことになる。この例の場合、撮影ユーザは、表示部１１の画面上に画像Ｆ１が表示されたタイミングＴｓでシャッターボタンを押すことになる。しかしながら、前述したように、表示部１１へ入力されて画面表示される画像は、記録部８へ入力されて記録される画像に対して１周期分だけ遅延した画像となっている。したがって、表示部１１の画面上に画像Ｆ１が表示されたタイミングＴｓで撮影ユーザがシャッターボタンを押したとき、記録部８には画像Ｒ１から１周期後の画像Ｒ２の画像信号が入力されている。このため、記録部８の記録媒体には、画像Ｒ２の画像信号が記録されてしまうことになる。

これに対し、図１に示した本実施形態の撮像装置では、図７（ｂ）に示すタイミングで各部の入出力が行われるため、図８で説明したような記録画像と表示画像のずれが発生することはない。図７（ｂ）のタイミングチャートにおいて、現像処理部出力は、図７（ａ）と同様、撮像素子出力に対して現像処理部３での現像処理に要する１周期分の時間だけ遅延している。これに対し、図７（ｂ）に示すように、フィルタ処理部出力は、１回目のフィルタ処理がなされて第１の中間画像ｐ０の信号が出力されるタイミングを表しているため、現像処理部出力に対しては垂直同期信号単位では遅延が発生していない。また、合成部出力は、フィルタ処理部４でのフィルタ処理による第１〜第９の中間画像ｐ０〜ｐ８を合成した信号であるため、フィルタ処理部出力に対しては垂直同期信号の１周期分だけ遅延している。したがって、合成部出力に被写体画像が合成された信号である記録部入力は、フィルタ処理部出力に対しては垂直同期信号の１周期分だけ遅延している。一方で、簡易ぼかし部出力は、フィルタ処理部４の１回目のフィルタ処理による第１の中間画像ｐ０に対して簡易ぼかし処理を行った信号であるため、フィルタ処理部出力に対しては垂直同期信号単位では遅延が発生していない。そして、表示部入力は、簡易ぼかし部出力に主被写体画像が合成された画像信号であり、その画像信号がＶＲＡＭ１０に保持されて１周期分だけ遅延した信号であるため、合成部出力に対しては、垂直同期信号単位では遅延が発生していない。すなわち図１に示した本実施形態の撮像装置においては、表示部１１に画面表示される画像信号は、記録媒体へ記録される画像信号に対して垂直同期信号単位で遅延が発生していない信号となっている。したがって本実施形態の撮像装置によれば、図８で説明したような記録画像と表示画像のずれが発生することはない。

次に、本実施形態の撮像装置の簡易ぼかし部９の詳細な構成例を図９に示す。図９において、簡易ぼかし部９は、画像を縮小処理する縮小部５０１と、画像を拡大処理する拡大部５０２と、画像の縮小率と拡大率を決定するぼかし率決定部５０３とを有して構成されている。

縮小部５０１は、前述したフィルタ処理部４から出力されてきた第１の中間画像ｐ０の画像信号を、ぼかし率決定部５０３にて決定された縮小率に応じて縮小する。具体的には、縮小部５０１は、入力された画像に対し、縮小率に応じた間引き処理を行うことにより、画像のサイズを縮小する。縮小部５０１にて縮小された画像信号は、拡大部５０２へ出力される。

拡大部５０２は、縮小部５０１から出力されてきた画像信号を、ぼかし率決定部５０３にて決定された拡大率に応じて拡大する。具体的には、拡大部５０２は、入力された画像に対し、拡大率に応じた補間処理を行うことにより、画像のサイズを拡大する。なお、本実施形態において、拡大処理は、縮小処理により縮小された画像のサイズを元に戻すリサイズ処理となっている。拡大部５０２にて拡大された画像信号は、簡易ぼかし部９による簡易ぼかし画像信号として、図１の第２の背景被写体合成部１７へ出力される。

ぼかし率決定部５０３は、システム制御部１２から、フィルタ処理部４で使用されるフィルタ係数の情報と、フィルタ処理部４における空間フィルタのタップ数の情報を受け取り、それらの情報に基づいて、縮小率と拡大率を決定する。そして、ぼかし率決定部５０３は、縮小率の情報を縮小部５０１へ出力し、拡大率の情報を拡大部５０２へ出力する。

ぼかし率決定部５０３は、フィルタ係数と空間フィルタのタップ数の情報に基づく縮小率と拡大率を決定、言い換えると画像のぼかし度合いを決めるために、図１０に示すようなテーブルデータを備えている。図１０に示すテーブルは、フィルタ処理部４の分割フィルタにおける空間フィルタのタップ数とフィルタ係数の組み合わせと、縮小率と拡大率を対応させたデータである。ほかし率決定部５０３は、図１０に示すテーブルを参照し、空間フィルタの各タップ数に対するフィルタ係数の組み合わせパターンから、縮小率と拡大率を決定している。

図１０に示すテーブル内の「Ａタップ」，「Ｂタップ」，・・・，「Ｚタップ」は、それぞれ空間フィルタのタップ数を表している。また、テーブル内の「１パターン」，「２パターン」，「３パターン」，・・・，「ｍパターン」は、それぞれフィルタ係数の組み合わせパターンを表している。例えば、空間フィルタのタップ数が９タップの場合のフィルタ係数がｋ０〜ｋ８まで存在する場合、例えば、１パターンにはｋ０〜ｋ８、２パターンにはｋ０〜ｋ３，ｋ５〜ｋ８＝１，ｋ４＝２のように、ｍパターンまでテーブルに用意されている。

また、テーブル内の縮小率と拡大率は、空間フィルタのタップ数とフィルタ係数の組み合わせパターンにおいて、フィルタ処理部４の分割フィルタ処理で発生するぼかし量に対して、縮小及び拡大処理で発生する背景ぼかし量が近似するような値が設定される。また本実施形態において、１パターン〜ｍパターンでは、フィルタ処理部４での分割フィルタ処理による画像のぼけ度合いが小さい場合には、縮小率及び拡大率については変化させていない。図１０のテーブルでは、例えば、空間フィルタのタップ数がＡタップでフィルタ係数の組み合わせが１パターン等である例が、分割フィルタ処理による画像のぼけ度合いが小さい場合を表しており、このときの縮小率と拡大率はそれぞれ１／１倍に設定されている。縮小率と拡大率がそれぞれ１／１倍に設定されるのは、撮像装置の表示部１１の解像度が、記録媒体に記録される画像の解像度よりも粗く、ぼかし度合いが小さい場合である。このように、表示部１１の解像度が粗く、ぼかし度合いが小さい場合、表示部１１の画面上では、そのぼかし度合いが判り難い。すなわち、フィルタ処理部４の１回目のフィルタ処理による第１の中間画像ｐ０に対して縮小，拡大処理を行わなくても、表示部１１の画面上では差がでないと考えられるため、縮小率と拡大率をそれぞれ１／１倍に設定している。一方、縮小率及び拡大率を１／１倍とは異なる倍率に設定するのは、例えばタップ数がＡタップでフィルタ係数が５パターンなどの場合であり、この例の縮小率はｂ１５／ａ１５倍、拡大率はａ１５／ｂ１５倍に設定されている。

以上のように、表示画像は、記録媒体に記録される画像に比べて解像度が粗くてもよく、その一方で、リアルタイム性が重視される場合が多いため、簡易ぼかし部９は、分割フィルタによるぼかし処理のように時間遅延が発生しない簡易的なぼかし処理を行う。したがって、本実施形態によれば、表示遅延の発生を防ぐことができ、記録画像と表示画像の時間的なズレを無くすことを可能としている。また、本実施形態によれば、フィルタ処理部４でのフィルタ処理による中間画像に対して簡易ぼかし部９による簡易ぼかし処理を行うことで、分割フィルタ処理によるぼかし度合いに近似した簡易的なぼかし画像を生成可能となっている。

次に、図１１には、簡易ぼかし部９による簡易ぼかし処理のフローチャートを示す。図４のフローチャートは、システム制御部１２が、簡易ぼかし部９を制御することで実行される。図１１において、システム制御部１２は、先ずステップＳ２００の処理として、変数ｑに０をセットする。なお、変数ｑの値は、フィルタ処理部４で行われるフィルタ処理の回数のうち、例えば垂直同期信号の１周期に対して十分に短い時間内で実行可能なフィルタ処理の回数に対応した値に設定される。一例として３回目までのフィルタ処理に要する時間が十分に短く、簡易ぼかし部９で第３の中間画像ｐ２に簡易ぼかし処理を行ったとしても、表示部１１の表示画像に違和感が生じないような場合には、変数ｑの値に「３」を設定可能である。本実施形態では、前述したように、簡易ぼかし処理が１回目のフィルタ処理による第１の中間画像ｐ０だけに施されているため、変数ｑの値は「１」に設定される。ステップＳ２００の後、システム制御部１２は、処理をステップＳ２０１へ進める。

ステップＳ２０１では、システム制御部１２は、フィルタ処理部４における空間フィルタのタップ数及びフィルタ係数を、ぼかし率決定部５０３へ出力する。これにより、ぼかし率決定部５０３は、前述したように、それらタップ数とフィルタ係数に基づいて縮小率と拡大率を決定する。ステップＳ２０１の後、システム制御部１２は、処理をステップＳ２０２へ進める。

ステップＳ２０２では、システム制御部１２は、簡易ぼかし部９を制御して、フィルタ処理部４から第１の中間画像ｐ０の信号を取得させる。これにより、簡易ぼかし部９は、第１の中間画像ｐ０の画像出力に対して、ぼかし率決定部５０３で決定された縮小率による縮小処理と拡大率による拡大処理を行う。ステップＳ２０２の後、システム制御部１２は、処理をステップＳ２０３へ進める。

ステップＳ２０３では、システム制御部１２は、簡易ぼかし部９による簡易ぼかし処理が終了したか否か判断する。システム制御部１２は、簡易ぼかし部９により第１の中間画像ｐ０に対する簡易ぼかし処理が完了し、変数ｑが設定された値になっていると判断した場合、簡易ぼかし処理は終了したと判断して、図１１のフローチャートの処理を終了する。なお、例えば変数ｑが「２」以上に設定されている場合、システム制御部１２は、簡易ぼかし処理は終了していないと判断して、処理をステップＳ２０４へ進める。ステップＳ２０４では、システム制御部１２は、変数ｑをインクリメントして、処理をステップＳ２０１へ戻す。そして、システム制御部１２は、ステップＳ２０３で変数ｑになったと判断できるまで、ステップＳ２０１〜ステップＳ２０３、更にステップＳ２０３からステップＳ２０４を経てステップＳ２０１へ戻る処理を繰り返す。なお、この際のステップＳ２０２では、変数ｑの値に対応した中間画像が入力される。

＜第２の実施形態＞
次に、第２の実施形態として、第１の実施形態とは異なる簡易ぼかし部の構成例について説明する。図１２は、第２の実施形態の簡易ぼかし部の一構成例を示す図である。なお、図１２において、図９と同じ構成要素には同一の参照番号を付し、それらの説明は省略する。

図１２に示す第２の実施形態の簡易ぼかし部９は、縮小部５０１及び拡大部５０２と、フィルタ部７０１と、ぼかし率決定部７０２とを有して構成されている。縮小部５０１と拡大部５０２は図９で説明したものと同様である。

フィルタ部７０１は、縮小部５０１による縮小処理と拡大部５０２による拡大処理で発生する折り返し歪を軽減するフィルタである。ぼかし率決定部７０２は、図９で説明したのと同様の縮小率及び拡大率を決定する処理と、フィルタ部７０２のフィルタ係数を決定する処理とを行う。

フィルタ部７０１は、フィルタ処理部４から入力された画像信号に対して、ぼかし率決定部７０２にて決定されたフィルタ係数を用いたフィルタ処理を施し、そのフィルタ処理後の信号を縮小部５０１へ出力する。ぼかし率決定部７０２は、前述の図１０で説明したテーブルに加えて、それぞれのパターンにおけるフィルタ部７０１のフィルタ係数のテーブルを備えている。各テーブルの縮小率及び拡大率に応じて、フィルタ係数のパターンが用意されている。具体的には、縮小率が大きくなるほど、画像の空間周波数の高い成分が遮断されるフィルタになるようなフィルタ係数が設定される。縮小率及び拡大率が１／１倍である場合には、フィルタ係数は全て「０」に設定されている。

第２の実施形態の簡易ぼかし部９によれば、縮小処理と拡大処理により発生する画像の折り返し歪を軽減することが可能となる。

＜第３の実施形態＞
次に、第３の実施形態の簡易ぼかし部の構成例について説明する。図１３は、第３の実施形態の簡易ぼかし部の一構成例を示す図である。図１３に示す第３の実施形態の簡易ぼかし部９は、ぼかしフィルタ部８０１とぼかし率決定部８０２とを有して構成されている。

ぼかしフィルタ部８０１は、フィルタ処理部４より入力された画像信号から、ぼかし率決定部８０２で決定されたフィルタ係数を用いたフィルタ処理を行う。すなわち、第３の実施形態の場合、図９の例のような縮小処理と拡大処理による簡易ぼかし処理に代えて、フィルタによるぼかし処理を行う。一例として、ぼかしフィルタ部８０１は、フィルタ処理部４の空間フィルタのタップ数（水平、垂直方向９タップ）よりも十分に少ないタップ数で回路規模が小さいフィルタとなされ、短時間で処理が終了するように例えば１回のみのフィルタ処理を行う。なお、ぼかしフィルタ部８０１のタップ数は、例えば水平、垂直方向でそれぞれ３タップであってもよい。

ぼかし率決定部８０２は、前述の図１０に示すテーブルから縮小率と拡大率の各値を無くして、各パターンに対応したフィルタ処理（ぼかし処理）を行うための各フィルタ係数のテーブルを有している。すなわち、フィルタ処理部４の分割フィルタ処理で生成されるぼかし画像に近似した画像を生成できるフィルタ係数が設定されている。

第３の実施形態においても前述の第１の実施形態の場合と同様に、記録画像に比べて解像度が粗く、尚且つリアルタイム性が重視される表示画像に対し、分割フィルタによるぼかし処理のような時間遅延が発生しない簡易的なぼかし処理を実現可能である。また、第３の実施形態の場合、縮小処理の後に拡大処理を行うようなリサイズ処理のための構成が不要であるため、回路規模を削減することができる。すなわち、第３の実施形態の簡易ぼかし部９によれば、リサイズ処理のための構成を不要とすることによる回路規模の削減と、記録画像により近いぼかし処理が施された画像の表示と、表示遅延の発生を防ぐことが可能である。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１ 光学系、２ 撮像素子、３ 現像処理部、４ フィルタ処理部、５ フィルタ係数制御部、６ メモリ、７ 合成部、８ 記録部、９ 簡易ぼかし部、１０ ＶＲＡＭ、１１ 表示部、１２ システム制御部、１３ 分割フィルタ処理画像選択部、１４ 第１の主被写体判別部、１５ 第１の背景被写体合成部、１６ 第２の主被写体判別部、１７ 第２の背景被写体合成部、５０１ 縮小部、５０２ 拡大部、５０３，７０２，８０２ ぼかし率決定部、７０１ フィルタ部、８０１ ぼかしフィルタ部

Claims (9)

1. 入力される画像信号に対して、第１のタップ数のフィルタの第１のフィルタ係数を各回で制御した複数回の第１のフィルタ処理を施して、複数の中間画像を生成し、前記複数の中間画像を合成することで、前記第１のタップ数より多い第２のタップ数のフィルタで第２のフィルタ係数による第２のフィルタ処理を前記画像信号に施したのと等価な、第１のぼかし画像を生成するフィルタ合成手段と、
   前記第１のぼかし画像を用いて生成される画像を記録媒体に記録する記録手段と、
   入力される画像信号に対して、前記第１のぼかし画像を生成するための処理よりも簡易な所定の簡易ぼかし処理を施して第２のぼかし画像を生成するぼかし手段と、
   前記第２のぼかし画像を用いて生成される画像を表示媒体に表示する表示手段と、
   を有することを特徴とする画像信号処理装置。
2. 前記ぼかし手段は、入力される画像信号に前記第１のタップ数のフィルタによるフィルタ処理が施された第１の中間画像に対して、前記所定の簡易ぼかし処理を施して前記第２のぼかし画像を生成することを特徴とする請求項１に記載の画像信号処理装置。
3. 前記ぼかし手段は、前記第２のタップ数と第２のフィルタ係数に対応したぼかし度合いの値を示すテーブルを参照して、前記所定の簡易ぼかし処理を施す際のぼかし度合いを決定することを特徴とする請求項１又は２に記載の画像信号処理装置。
4. 前記ぼかし手段は、前記所定の簡易ぼかし処理として、前記第２のタップ数と第２のフィルタ係数に応じた縮小処理と拡大処理を行って前記第２のぼかし画像を生成することを特徴とする請求項１又は２に記載の画像信号処理装置。
5. 前記ぼかし手段は、前記縮小処理の縮小率と前記拡大処理の拡大率に応じた第３のフィルタ係数により、前記画像信号に第３のフィルタ処理を施すフィルタ手段を有することを特徴とする請求項４に記載の画像信号処理装置。
6. 前記ぼかし手段は、前記第２のタップ数と第２のフィルタ係数に対応したぼかし度合いに基づく第４のフィルタ係数を用いて、少なくとも第２のタップ数より少ないタップ数による、第４のフィルタ処理を行って、前記第２のぼかし画像を生成することを特徴とする請求項１又は２に記載の画像信号処理装置。
7. 入力される画像信号から主被写体画像を抜き出して、当該入力される画像から生成された前記第１のぼかし画像と前記第２のぼかし画像にそれぞれ合成する被写体合成手段を有することを特徴とする請求項１乃至６の何れか１項に記載の画像信号処理装置。
8. 入力される画像信号にフィルタ処理を施してぼかし画像を生成する画像信号処理装置が実行する画像信号処理方法であって、
   入力される画像信号に対して、第１のタップ数のフィルタの第１のフィルタ係数を各回で制御した複数回の第１のフィルタ処理を施して、複数の中間画像を生成し、前記複数の中間画像を合成することで、前記第１のタップ数より多い第２のタップ数のフィルタで第２のフィルタ係数による第２のフィルタ処理を前記画像信号に施したのと等価な、第１のぼかし画像を生成するフィルタ合成ステップと、
   入力される画像信号に対して、前記第１のぼかし画像を生成するための処理よりも簡易な所定の簡易ぼかし処理を施して第２のぼかし画像を生成するぼかしステップと、
   前記第２のぼかし画像を用いて生成される画像を表示媒体に表示する表示ステップと、
   を含むことを特徴とする画像信号処理方法。
9. コンピュータを、
   入力される画像信号に対して、第１のタップ数のフィルタの第１のフィルタ係数を各回で制御した複数回の第１のフィルタ処理を施して、複数の中間画像を生成し、前記複数の中間画像を合成することで、前記第１のタップ数より多い第２のタップ数のフィルタで第２のフィルタ係数による第２のフィルタ処理を前記画像信号に施したのと等価な、第１のぼかし画像を生成するフィルタ合成手段と、
   前記第１のぼかし画像を用いて生成される画像を記録媒体に記録する記録手段と、
   入力される画像信号に対して、前記第１のぼかし画像を生成するための処理よりも簡易な所定の簡易ぼかし処理を施して第２のぼかし画像を生成するぼかし手段と、
   前記第２のぼかし画像を用いて生成される画像を表示媒体に表示する表示手段と
   として機能させるプログラム。

Images