JP2009054130A - 画像処理装置、画像処理方法およびデジタルスチルカメラ - Google Patents

Abstract

【課題】デジタルスチルカメラ等の画像処理装置において、少ない処理で大きなぼかし処理を可能にする。
【解決手段】ぼかし量が所定量以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理を行い、更に拡大処理を行う（ｓｔｅｐ０３−００４〜００６）。拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像サイズは元の大きさとなる。これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。縮小処理を伴うぼかし処理のフィルタは、ぼけの大きさの直径の画素数が、（ぼかし量パラメータの値）×（縮小率）の値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。
【選択図】図５

Description

本発明は、ぼかし処理機能を備えた画像処理装置、画像処理方法およびデジタルスチルカメラに関する。

コンパクトデジタルカメラで用いられる撮像素子の面積は、一眼レフカメラで用いられる撮像素子の面積や銀塩フィルムよりも小さく、そのため同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は短い。焦点距離が短いと、撮影光学系のＦナンバーを同じにしても、被写界深度が深くなる。焦点距離が短くなることに比例させてＦナンバーを小さくする（明るくする）ことができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大する。このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合うことになる。これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景を大きくぼかすような撮影は困難となる。

上記の課題に対して、画像処理により背景をぼかすカメラが特許文献１〜４として提案されている。これらのカメラでは、距離や画角内の位置に応じてフィルタの特性を変え、遠近感のあるぼけを再現している。

特開平１１−２６６３８８号公報 特開２００３−３７７６７号公報 特開２００３−１０１８５８号公報 特開平９−３１８８７０号公報

しかしながら、上記のようなフィルタによる画像処理だけで大きなぼかし処理を行うためには、多数のタップ数を備えたフィルタ処理が必要であり、処理回路の大規模化によるコストアップや、処理速度の低下を避けられないという問題がある。
そこで、本発明は、以上のような状況を鑑みてなされたもので、少ない処理で大きなぼかし処理を実現する画像処理装置、画像処理方法およびデジタルスチルカメラを提案することを目的としている。

上記課題を解決するために、請求項１の画像処理装置は、ぼかし処理手段を有し与えられた背景画像データを前記ぼかし処理手段によりぼかし処理をする画像処理装置において、前記ぼかし処理手段は、与えられた画像データを画素数を減らすように縮小する画像データ縮小手段と、該画像データ縮小手段により縮小された画像データに空間フィルタ処理を行う空間フィルタ処理手段と、該空間フィルタ処理手段により処理された画像データを前記画像データ縮小手段の縮小率の逆数分、画素数を増やすように拡大する画像データ拡大手段とからなることを特徴とする。

請求項２の画像処理装置は、請求項１の画像処理装置において、画像データ縮小手段における縮小処理の縮小率の分母を、処理する画像の水平サイズと垂直サイズとの公約数に設定する手段を具備することを特徴とする。

請求項３の画像処理装置は、請求項１の画像処理装置において、前記ぼかし処理手段におけるぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上である場合は、画像データを画素数を減らすように縮小処理してから空間フィルタ処理を行い、その後に画素数を増やすように拡大処理する手段と、前記ぼかし処理手段におけるぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上でないと判別された場合は、空間フィルタ処理のみを行う手段とを具備することを特徴とする。

請求項４の画像処理装置は、請求項１の画像処理装置において、画像データ縮小手段における縮小率に応じて、空間フィルタ処理手段の空間フィルタの特性を変化させる手段を具備することを特徴とする。

請求項５の画像処理方法は、与えられた背景画像データに対してぼかし処理を行なう画像処理方法において、前記ぼかし処理は、画像データを画素数を減らすように縮小し、該縮小された画像データに空間フィルタ処理を施し、該空間フィルタ処理された画像データを前記縮小処理の縮小率の逆数分、画素数を増やすように拡大することを特徴とする。

請求項６の画像処理方法は、請求項５の画像処理方法において、画像データ縮小処理における縮小率の分母を、処理する画像の水平サイズと垂直サイズとの公約数に設定することを特徴とする。

請求項７の画像処理方法は、請求項５の画像処理方法において、前記ぼかし処理のぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上であると判別された場合には画像データを画素数を減らすように縮小処理してから空間フィルタ処理を行いその後に画素数を増やすように拡大処理し、ぼかし量が所定値以上でないと判別された場合には空間フィルタ処理のみを行うことを特徴とする。

請求項８の画像処理方法は、請求項５の画像処理方法において、画像データ縮小処理における縮小率に応じて、空間フィルタ処理の空間フィルタの特性を変化させることを特徴とする。

請求項９のデジタルスチルカメラは、請求項１乃至４のいずれかの画像処理装置を備えたことを特徴とする。

以上述べた本発明によれば、次のような効果がある。
（１）請求項１の画像処理装置および請求項５の画像処理方法の発明では、ぼかし処理を縮小、空間フィルタ、拡大の処理で構成しているので、装置のコストアップや処理速度の低下を招くことなく、大きなぼかし処理を行うことができる。
（２）請求項２の画像処理装置および請求項６の画像処理方法の発明では、縮小率の分母を処理する画像の水平サイズと垂直サイズの公約数とするように構成しているので、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後段の合成など処理の処理結果の画像品位を向上することができる。
（３）請求項３の画像処理装置および請求項７の画像処理方法の発明では、ぼかし量に応じて、空間フィルタのみの処理を行うように構成されているので、細かいぼけ表現を実現しつつ、大きなぼかし処理を行うことができる。

（４）請求項４の画像処理装置および請求項８の画像処理方法の発明では、縮小処理の縮小率に応じて空間フィルタの特性を変化させるように構成しているので、縮小拡大に伴うぼかし特性の変化を補正することができ、ひいては高品位の大きなぼかし処理を行うことができる。
（５）請求項９のデジタルスチルカメラでは、限られたリソース上でぼかし処理を行うことが可能になり、少ない処理で大きなぼかし処理を実現することができる。

以下、図に基づいて本発明の実施形態を説明する。図１に装置及び接続機器の構成を示す。図１において、０１は、デジタルスチルカメラ装置である。０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマ−等からなるシステム制御部である。０３は、撮像のために設けられた光学系部品を駆動するためのモータや、ＣＣＤを駆動するためのＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部である。

０４は、撮像部で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる画像処理部である。０５は、画像処理部０４で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。

０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤである。０７は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な記録メディアである。

０９は、キー、ダイアル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなるハードキーインターフェイス部である。１０は、ＵＳＢ接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。１１は、デジタルスチルカメラ装置０１とＵＳＢ接続して、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣ（パーソナルコンピュータ）である。

１２は、撮影モードを設定するための、モードダイヤル、１３は、撮影を指示するための、レリーズキー、１４は、撮像を行うためのＣＣＤ、１５は、光学像をＣＣＤ１４上に結像させるための、レンズである。

図２は本発明のデジタルスチルカメラの一実施の形態の外観を示す上面図である。図３は図２のデジタルカメラの外観を示す正面図である。図４は図２のデジタルスチルカメラの外観を示す背面図である。
図２〜４において、デジタルスチルカメラ本体１の上面には、レリーズシャッタ（ＳＷ１）６２、モードダイヤル（ＳＷ２）６３、およびサブＬＣＤ６４が配置されている。デジタルスチルカメラ本体１の正面には、ＳＤカード／電池蓋６５、ストロボ発光部６６、光学ファインダ６７、測距ユニット６８、リモコン受光部６９、鏡胴ユニット７０が配置されている。デジタルスチルカメラ本体１の背面には、ＡＦＬＥＤ７１、ストロボＬＥＤ７２、ズームスイッチ（ワイド）（ＳＷ３）７３、ズームスイッチ（遠隔）（ＳＷ４）７４、セルフタイマ／削除スイッチ（ＳＷ５）７５、メニュースイッチ（ＳＷ６）７６、上／ストロボスイッチ（ＳＷ７）７７が配置されている。さらに、デジタルスチルカメラ本体１の背面には、右スイッチ（ＳＷ８）７８、ディスプレイスイッチ（ＳＷ９）７９、下／ストロボスイッチ（ＳＷ１０）８０、左／画像確認スイッチ（ＳＷ１１）８１、オーケースイッチ（ＳＷ１２）８２、ＬＣＤモニタ８３および電源スイッチ（ＳＷ１３）８４が配置されている。またさらに、デジタルスチルカメラ本体１の背面には、光学ファインダ６７が正面と同様の位置に配置されている。この光学ファインダ６７は、装置の正面から背面まで挿通した状態で固定されている。

まず、従来の起動動作について説明する。利用者が電源ボタン８４を押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与えることで行う。また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。利用者は撮影に先立ち、図２〜４に示されている種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部０４へ設定する。

あるいはまた、利用者はズームスイッチ７３，７４を操作し、画角（構図）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。

撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。レリーズボタン１３が押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。

撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディア０８へ書き込む。以上で一連の撮影動作を完了する。

続いて、本発明の実施例１として、利用者の操作に応じて、背景部分のぼかし量を変える例について説明する。動作フローを図５（Ａ）に示す。本フローはモニタリング中の動作に関わる動作を示している。モニタリング動作を開始すると、システム制御部０２は、後述するぼかし量パラメータを初期値（＝５）に設定する（ｓｔｅｐ０１−００１）。システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００２）。続いてシステム制御部０２は、各画像の位置毎の距離の判定を行う（ｓｔｅｐ０１−００３）。

ここで、ＣＣＤＡＦの概要ついて説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。
ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。

以下、図６を参照しながら説明する。図６（Ａ）において、１００はモニタリング画像の撮影領域、１０１は１つのＡＦ評価値エリアを示している。図のように、ＡＦ評価値エリアは、撮影領域内を均等に分割した小領域となっており、ＣＣＤＡＦにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの位置を判定する。さらにシステム制御部０２は、各領域毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。

このＣＣＤＡＦにおけるレンズ位置（合焦距離）とＡＦ評価値との関係の一例を図７に示す。
図７において、横軸はレンズ位置及び、レンズ位置に対応した合焦する距離、縦軸はＡＦ評価値を示している。また、９０１は遠距離にある被写体（例えば図６（Ｄ）の１０５の背景の山部分）のスキャンに伴うＡＦ評価値の変化を示した波形、９０２は同じく中距離にある被写体（例えば図６（Ｄ）の１０５の背景の縁石部分１１１）のスキャンに伴うＡＦ評価値の変化を示した波形、９０３は同じく近距離にある被写体（例えば図６（Ｄ）の人物部分）のスキャンに伴うＡＦ評価値の変化を示した波形である。

ここで、ＡＦ評価値はエリア内の各画素に対し、水平方向の画素間のＨＰＦ（ハイパスフィルター）演算を行い、得られた高周波成分を加算したものである。ＨＰＦの係数は、例えば、ｋｉ={−１,−２,６,−２,−１}といった値が用いられる。ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。

このＡＦ評価値の演算を、図８に示すＡＦ評価値エリア内の５画素を抜き出したものを例に挙げて具体的に説明する。
図８において、１００１は、注目画素の水平方向−２の座標の画素、１００２は、注目画素の水平方向−１の座標の画素、１００３は、注目画素、１００４は、注目画素の水平方向＋１の座標の画素、１００５は、注目画素の水平方向＋２の座標の画素を示している。ＡＦ評価値は、下記式（１）で求められる。

（ＡＦ評価値） ＝ ｋ０×（１００１の画素の値） ＋ ｋ１×（１００２の画素の値） ＋ ｋ２×（１００３の画素の値） ＋ ｋ３×（１００４の画素の値） ＋ ｋ４×（１００５の画素の値） ・・・式（１）

ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式、１/ａ+１/ｂ=１/ｆ、から、ａ=ｂｆ/(ｂ−ｆ)、として求められる。ここで、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離、である。レンズから被写体までの距離ａが求める距離情報である。レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの位置から一意に求められる。以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。

また、図６（Ａ）において、１０２はオートフォーカスでフォーカスを合わせるエリアであるＡＦエリアを示している。システム制御部０２は、ＡＦエリアの被写体までの距離と、所定範囲内の距離にあるＡＦ評価値エリアをまとめて主要被写体ブロックとして判定する（ｓｔｅｐ０１−００４）。図６（Ｂ）において、１０３は主要被写体ブロックを示している。なお、主要被写体ブロック１０３はＡＦエリア１０２を含む。

ＡＦエリアの被写体までの距離と、主要被写体ブロックを決定するための所定範囲を、図９を参照しながら説明する。
図９において、横軸は無限遠から近距離に向けた距離、１１０１から１１０５は、図６（Ｄ）の１０５の様な被写体を、ｓｔｅｐ０１−００２，００３で測距した、各部の距離を示している。１１０１は、背景の山部分までの距離、１１０２は、１０５の背景の縁石部分１１１までの距離、１１０３は、人物の頭部までの距離、１１０４は、人物の顔部までの距離、１１０５は、人物の胸部までの距離である。ＡＦエリアは、図６（Ａ）に示す様に、人物の顔部に設定されており、ＡＦエリアの被写体までの距離は１１０４と等しい。１１０６，１１０７は、主要被写体ブロックを決定するための所定範囲を示しており、１１０６は近距離側の範囲、１１０７は遠距離側の範囲である。図の例では、１１０３，１１０４，１１０５が所定範囲に含まれる。以上の様な判定に基づき、図６（Ｂ）の１０３で示したエリアを、主要被写体ブロックとして判定する。なお、この所定範囲１１０６，１１０７は、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき、あらかじめシステム制御部０２内に記憶されているテーブルを参照することで設定される。設定は、レンズの焦点距離が長い場合には所定範囲は短く、レンズの焦点距離が短い場合には所定範囲は長く設定され、また、ＡＦエリアの被写体までの距離が長い場合には所定範囲は長く、ＡＦエリアの被写体までの距離が短い場合には所定範囲は短く、設定される。

このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する（ｓｔｅｐ０１−００５）。また、システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を元に主要被写体領域を判定する（ｓｔｅｐ０１−００６）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

図６（Ｃ）において、１０４は主要被写体領域を示している。画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００７〜００９）。図６（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。

主要被写体の抽出処理（ｓｔｅｐ０１−００７）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。背景画像のぼかし処理（ｓｔｅｐ０１−００８）では、背景画像１０８にぼかし量パラメータに基づくぼかし処理を行い、ぼかした背景画像１０９を生成する。

ここで、ぼかし処理の詳細について図５（Ｃ）のフローに基づいて説明する。システム制御装置０２は、ぼかし量パラメータに基づき、表１に示すような処理内容を決定する（ｓｔｅｐ０３−００１）。

表１において、ぼかし量はぼけの大きさを決定するぼかし量パラメータの値（値の大きい方が大きなぼけを生ずる）、縮小処理はぼかし量パラメータの値により決定する縮小処理の縮小率（画像の一辺の長さの比）、フィルタタイプは後述する空間フィルタのタイプＡもしくはタイプＢを示している。なお、縮小処理は、バイリニア法により、画像の画素数を減らすようにサンプリングを行う。
ぼかし量パラメータは、２〜１１２の範囲で変化する整数値であり、１画素からなる点像をぼかし処理を行った結果の、ぼけの大きさの直径の画素数に等しい。
なお、縮小処理の縮小率の分母の値１６は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に整数以下の端数を生じない。これにより、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後述する合成処理の処理結果の画像品位を向上することができる。

ぼかし量パラメータの値が、所定値以下の場合には、縮小処理を行わずに空間フィルタの処理のみを行う（ｓｔｅｐ０３−００２，００３）。空間フィルタの処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。空間フィルタ処理では、下式（２）のように入力画像(Ｉｎ(ｘ,ｙ))にフィルタ係数(ｋ(ｉｘ,ｉｙ)）を演算し、出力画像(Ｏｕｔ(ｘ,ｙ)）を得る。

ここで、Ｉｎ：入力画像、Ｏｕｔ：出力画像、ｋ：フィルタ係数、ｆｓ：フィルタサイズ(本実施例では７)、である。

フィルタ係数の例を図１０に示す。図１０（Ａ）は、ぼかし量パラメータの値が２の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数が２相当のぼけ画像を生成する。ぼけの大きさの直径の画素数は、画像の見た目のぼけの強さと同義であり、ぼかし量パラメータの値が大きいほど、ぼかした画像が生成される。
図において波線で示した円がぼけの大きさを示している。同様にして図１０（Ｂ）は、ぼかし量パラメータの値が７の場合のフィルタ係数を示している。このように、システム制御部０２は、ぼけの大きさの直径の画素数が、ぼかし量パラメータの値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。

ぼかし量が所定量以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理を行い、拡大処理を行うことで元の大きさに戻す（ｓｔｅｐ０３−００４〜００６）。拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像サイズは元の大きさとなる。なお、拡大処理は、バイリニア法により、画像の画素数を増やすようにサンプリングを行う。これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。縮小処理を伴うぼかし処理のフィルタは、ぼけの大きさの直径の画素数が、（ぼかし量パラメータの値）×（縮小率）の値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。図１０（Ｃ）は、ぼかし量パラメータの値が２８の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（２８）×（４／１６）＝７、となる。

ここでフィルタタイプＡ、Ｂについて説明する。これまで説明した図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）はフィルタタイプＡに分類され、図１０（Ｄ）はフィルタタイプＢに分類される。図１０（Ｄ）は、ぼかし量パラメータの値が５６の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（５６）×（２／１６）＝７、となり、大きさはぼかし量パラメータの値が２８の場合のフィルタ係数と等しい。しかしながら図１０（Ｄ）の係数では、波線で示した２重の円で囲まれるドーナツ状の部分の係数を大きな値に設定しており、これにより、縮小に伴うぼけ形状の視認性の劣化を防いでいる。画像の見た目では、ぼけ形状の視認性があることによって、ぼかす前の被写体の概観が残り、光学的にぼかした場合と同等なぼけ画像にすることができる。

以下、図５（Ａ）のフローに戻り説明する。合成処理（ｓｔｅｐ０１−００９）では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−０１０）。以上で１コマのモニタリング画像の処理が完了する。このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出し（ｓｔｅｐ０１−０１１）、ｓｔｅｐ０１−００５で算出して記憶した値と比較し、所定量以上の差があった場合には、再度ＣＣＤＡＦのスキャン動作へ移行する（ｓｔｅｐ０１−０１２）。

また、ぼかし量の変更の操作が行われた場合には、操作に応じてぼかし量パラメータを変更し（ｓｔｅｐ０１−０１３，０１４）、以上の動作をモニタリング終了まで繰り返し実行する（ｓｔｅｐ０１−０１５）。なお、１コマ毎のモニタリング画像の処理は、ｓｔｅｐ０１−００６から繰り返し行われる。また、レリーズボタン１３が押された場合には、取り込んだ撮影画像に対してｓｔｅｐ０１−００６〜００９と同様のぼかし処理を行い、背景をぼかした画像を記録する。その場合のぼかし量パラメータ（撮影時のぼかし量パラメータ）は、下記式（３）に示すように、撮影画像の水平画像サイズ（画素数）とモニタリング画像の水平画像サイズの比率で補正することで得られる。

（撮影時のぼかし量パラメータ） ＝ （モニタリング時のぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（モニタリング画像の水平画像サイズ） ・・・式（３）

上式では、モニタリング時のぼかし量パラメータを、撮影時のぼかし量パラメータとして適切な量に補正する為に、撮影画像とモニタリング画像との画像サイズの比を乗算している。この補正の結果、画像サイズの異なるモニタリング画像に好適に用いられるモニタリング時ぼかし量パラメータを補正して、撮影時のぼかし量パラメータを算出し、好適なぼかし効果を有する撮影画像が得られる。

続いて、本発明の実施例２として、被写体及び背景部分の各領域における距離情報を取得し、各領域の距離に応じてぼかし量を変える例について説明する。動作フローを図５（Ｂ）に示す。ｓｔｅｐ０２−００１〜００７は、ｓｔｅｐ０１−００１〜００７と同じである。
ｓｔｅｐ０２−００８において、画像処理部０４は、距離情報に基づいて背景画像を複数に分割する。

この様子を図１１に示す。図１１において、２００は撮影画像、２０１は主要被写体、２０２は抽出した主要被写体画像、２０３は遠距離にある背景画像、２０４は近距離にある背景画像、２０５、２０６はぼかした背景画像、２０７は合成画像を示している。画像処理部０４は、距離に応じたぼかし量をもって、背景画像２０３、２０４を各々ぼかし処理を行う（ｓｔｅｐ０２−００８）。

ここで距離に応じたぼかし量パラメータＢｐは、次式（４）で決定する。

Ｂｐ=Ｋ×ｆ×|(ａ'−ａ)| / (ａ'ａ) ・・・式（４）；（小数点以下切り上げ）

ここで、ａ'：ぼかし処理を行う背景までの距離、ａ：合焦している被写体までの距離、ｆ：レンズの焦点距離、Ｋ：撮像素子や絞りにより決定する係数（例えば１.２Ｅ３)、である。なお、Ｂｐの値が２未満の場合には、ぼかし処理は行わない。

合成処理（ｓｔｅｐ０２−０１０）では、ぼかした背景画像２０５に、ぼかした背景画像２０６を重ね合わせ、さらに主要被写体画像２０２を重ね合わせて合成を行い、合成画像２０７を生成する。なお、ｓｔｅｐ０２−０１１〜０１３は、ｓｔｅｐ０１−０１０〜０１２と同じである。

本実施例においては、モニタリング画像を基準としたぼかし量パラメータを設定し、撮影した画像にぼかし処理を行う際には、撮影画像の水平画像サイズとモニタリング画像の水平画像サイズの比率で補正する例について示したが、逆に、撮影画像を基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（５）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （撮影時のぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（撮影画像の水平画像サイズ） ・・・式（５）

更に、複数の画像サイズの撮影モードを備える場合には、最大撮影画像サイズを基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（６）で求め、撮影画像に適用するぼかし量パラメータを下記式（７）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（６）

（撮影時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（７）

なお、この場合においても、図５（Ｃ）のｓｔｅｐ０３−００２〜００６に示した処理フローと同様にして、補正後のぼかし量パラメータの値に基づいて、縮小処理を行わずに空間フィルタの処理のみを行う場合と、縮小してから空間フィルタの処理を行う場合とを、切り換えることが可能であることは言うまでもない。

また、本実施例においては、主要被写体ブロックを決定するための所定範囲を、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき設定する例について示したが、さらには、ぼかし量パラメータの値に応じて補正を行っても良い。この場合、ぼかし量パラメータの値により、ぼかし量パラメータの値が大きい場合には所定範囲は短く、ぼかし量パラメータの値が小さい場合には所定範囲を長く設定する。

本発明の実施形態の構成を示すブロック図である。 本発明の撮像装置の１例である、デジタルカメラの外観を示す上面図である。 図２デジタルカメラの外観を示す正面図である。 図２のデジタルカメラの外観を示す背面図である。 本発明の実施例１および実施例２の動作フローである。 本発明の実施例１の画像処理を示す図である。 本発明の実施例１のＡＦ評価値の変化を示す図である。 本発明の実施例１のＡＦ評価値のＨＰＦで演算対象となる画素を示す図である。 本発明の実施例１のＡＦエリアの被写体までの距離と所定範囲を示す図である。 本発明の実施例１のフィルタ係数の分布を示す図である。 本発明の実施例２の画像処理を示す図である。

符号の説明

０１ デジタルスチルカメラ装置
０２ システム制御部
０３ 撮像部
０４ 画像処理部
０５ 表示制御部
０６ ＬＣＤ
０７ 記録メディアインターフェイス部
０８ 記録メディア
０９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ ＰＣ
１２ モードダイヤル
１３ レリーズ
１４ ＣＣＤ
１５ レンズ

Claims (9)

1. ぼかし処理手段を有し与えられた背景画像データを前記ぼかし処理手段によりぼかし処理をする画像処理装置において、
   前記ぼかし処理手段は、
   与えられた画像データを縮小する画像データ縮小手段と、
   該画像データ縮小手段により縮小された画像データに空間フィルタ処理を行う空間フィルタ処理手段と、
   該空間フィルタ処理手段により処理された画像データを前記画像データ縮小手段の縮小率の逆数分拡大する画像データ拡大手段と、
   からなることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   画像データ縮小手段における縮小処理の縮小率の分母を、処理する画像の水平サイズと垂直サイズとの公約数に設定する手段を具備することを特徴とする画像処理装置。
3. 請求項１に記載の画像処理装置において、
   前記ぼかし処理手段におけるぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上である場合は、画像データを縮小処理してから空間フィルタ処理を行い、その後に拡大処理する手段と、
   前記ぼかし処理手段におけるぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上でないと判別された場合は、空間フィルタ処理のみを行う手段と、
   を具備することを特徴とする画像処理装置。
4. 請求項１に記載の画像処理装置において、
   画像データ縮小手段における縮小率に応じて、空間フィルタ処理手段の空間フィルタの特性を変化させる手段を具備することを特徴とする画像処理装置。
5. 与えられた背景画像データに対してぼかし処理を行なう画像処理方法において、
   前記ぼかし処理は、画像データを縮小し、該縮小された画像データに空間フィルタ処理を施し、該空間フィルタ処理された画像データを前記縮小処理の縮小率の逆数分拡大することを特徴とする画像処理方法。
6. 請求項５に記載の画像処理方法において、
   画像データ縮小処理における縮小率の分母を、処理する画像の水平サイズと垂直サイズとの公約数に設定することを特徴とする画像処理方法。
7. 請求項５に記載の画像処理方法において、
   前記ぼかし処理のぼかし量が所定値以上か否かを判別し、ぼかし量が所定値以上であると判別された場合には画像データを縮小処理してから空間フィルタ処理を行いその後に拡大処理し、ぼかし量が所定値以上でないと判別された場合には空間フィルタ処理のみを行うことを特徴とする画像処理方法。
8. 請求項５に記載の画像処理方法において、
   画像データ縮小処理における縮小率に応じて、空間フィルタ処理の空間フィルタの特性を変化させることを特徴とする画像処理方法。
9. 請求項１乃至４のいずれかに記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラ。