JP2010021753A - 画像処理装置、画像処理方法およびデジタルスチルカメラ - Google Patents

Abstract

【課題】少ない処理で大きなぼかし処理を実現する画像処理装置、画像処理方法およびデジタルスチルカメラを提供すること。
【解決手段】入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、前記背景画像データは、レンズから入射した光より生成され、前記ぼかし処理手段は、前記背景画像データを取得した際の前記レンズの焦点位置に基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする。
【選択図】図５

Description

本発明は、ぼかし処理機能を備えた画像処理装置、画像処理方法およびデジタルスチルカメラに関する。

コンパクトデジタルカメラで用いられる撮像素子の面積は、一眼レフカメラで用いられる撮像素子の面積や銀塩フィルムよりも小さい。このため、コンパクトデジタルカメラでは同じ画角の画像を撮影するために必要な撮影光学系の焦点距離は一眼レフカメラよりも短い。焦点距離が短いと、撮影光学系のＦナンバーを同じにしても、被写界深度が深くなってしまう。ここで、焦点距離が短くなることに比例させてＦナンバーを小さくする（明るくする）ことができれば被写界深度を浅くすることができるが、撮影光学系を大口径化する必要があり、サイズおよびコストが増大してしまう。このため、コンパクトデジタルカメラで撮影すると、相対的に広い距離範囲に対して焦点が合ってしまう。これは、同じ明るさの画像を撮影したときにぼけの少ない画像が得られるという点では長所ともなるが、ポートレートのように背景を大きくぼかすような撮影は困難となり問題である。

上記した問題に対して、画像処理により背景をぼかすカメラが特許文献１〜４として提案されている。これらのカメラでは、距離や画角内の位置に応じてフィルタの特性を変え、遠近感のあるぼけを再現している。

特開平１１−２６６３８８号公報 特開２００３−３７７６７号公報 特開２００３−１０１８５８号公報 特開平９−３１８８７０号公報

しかしながら、上記のようなフィルタによる画像処理だけで大きなぼかし処理を行うためには、次数の多いフィルタを多数備えたフィルタ処理が必要であり、処理回路の大規模化によるコストアップや、処理速度の低下を避けられないという問題がある。
本発明は、以上のような状況を鑑みてなされたものであり、少ない処理で大きなぼかし処理を実現する画像処理装置、画像処理方法およびデジタルスチルカメラを提供することを目的としている。

本発明者らは鋭意検討を重ねた結果、下記（１）〜（９）に記載の技術的特徴を有することで上記課題が解決されることを見出し、本発明を完成するに至った。

（１）：入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、前記背景画像データは、レンズから入射した光より生成され、前記ぼかし処理手段は、前記背景画像データを取得した際の前記レンズの焦点位置に基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。

（２）：入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、前記背景画像データは、主要被写体と背景被写体とを有する被写体の画像データの中の前記背景被写体の画像データであり、前記ぼかし処理手段は、前記主要被写体までの距離と前記背景被写体までの距離との差に基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。

（３）：入力された背景画像データに入力されたぼかし強度でぼかし処理を行うぼかし処理手段を備える画像処理装置であって、前記ぼかし処理手段は、当該入力されたぼかし強度に基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。

（４）：入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、前記ぼかし処理手段は、前記背景画像データの画像サイズに基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。

（５）：入力された背景画像データにぼかし処理を行う画像処理方法であって、前記背景画像データは、レンズから入射した光より生成され、前記ぼかし処理は、前記背景画像データを取得した際の前記レンズの焦点位置に基づいて縮小率を決定し、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。

（６）：入力された背景画像データにぼかし処理を行う画像処理方法であって、前記背景画像データは、主要被写体と背景被写体とを有する被写体の画像データの中の前記背景被写体の画像データであり、前記ぼかし処理は、前記主要被写体までの距離と前記背景被写体までの距離との差に基づいて縮小率を決定し、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。

（７）：入力された背景画像データに入力されたぼかし強度でぼかし処理を行う画像処理方法であって、前記ぼかし処理は、当該入力されたぼかし強度に基づいて縮小率を決定し、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。

（８）：入力された背景画像データにぼかし処理を行う画像処理方法であって、前記ぼかし処理は、前記背景画像データの画像サイズに基づいて縮小率を決定する縮小率決定手段と、前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。

（９）：上記（１）乃至（４）のいずれか１項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラ。

上記（１）または（６）に記載の発明によれば、ぼかし処理を縮小、空間フィルタ、拡大の処理で構成し、その縮小率を、背景画像データを取得した際のレンズの焦点距離に基づいて決定するように構成しているので、装置のコストアップや処理速度の低下を招くことなく、実際のレンズでのぼけ方に近い、大きなぼかし処理を行うことができるという効果がある。

上記（２）または（６）に記載の発明によれば、ぼかし処理を縮小、空間フィルタ、拡大の処理で構成し、その縮小率を、主要被写体までの距離と背景被写体までの距離の差に基づいて決定するように構成しているので、装置のコストアップや処理速度の低下を招くことなく、実際のレンズでのぼけ方に近い、大きなぼかし処理を行うことができるという効果がある。

上記（３）または（７）に記載の発明によれば、ぼかし処理を縮小、空間フィルタ、拡大の処理で構成し、その縮小率を、利用者が選択するような入力されたぼかし強度に基づいて決定するように構成しているので、装置のコストアップや処理速度の低下を招くことなく、利用者の意図したままの、大きなぼかし処理を行うことができるという効果がある。

上記（４）または（８）に記載の発明によれば、ぼかし処理を縮小、空間フィルタ、拡大の処理で構成し、その縮小率を、画像サイズ（画素数）に基づいて決定するように構成しているので、装置のコストアップや処理速度の低下を招くことなく、画像サイズにより制限されること無く、大きなぼかし処理を行うことができるという効果がある。

上記（９）に記載のデジタルスチルカメラによれば、限られたリソース上でぼかし処理を行うことが可能になり、少ない処理で大きなぼかし処理を実現することができるという効果がある。

本発明に係る画像処理装置、画像処理方法およびデジタルスチルカメラによれば、少ない処理で大きなぼかし処理を実現することができる。

以下、図面を参照しながら本発明の実施形態について具体的に説明する。
図１に本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示す。図１において、０１は、デジタルスチルカメラ装置である。０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマー等からなるシステム制御部である。０３は、撮像のために設けられた、光学系部品を駆動するためのモータや、ＣＣＤを駆動するためのＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部である。

０４は、撮像部で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御してズーミング、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる画像処理部である。０５は、画像処理部０４で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成しＬＣＤへ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。

０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤである。０７は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。０８は、圧縮された画像信号や画像に纏わる種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な記録メディアである。

０９は、ダイアル等のユーザーインターフェイスの状態検出を行い、またメインＣＰＵへの主電源制御を行うために設けられた、サブＣＰＵ等からなるハードキーインターフェイス部である。１０は、ＵＳＢ接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。１１は、デジタルスチルカメラ装置０１とＵＳＢ接続して、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣ（パーソナルコンピュータ）である。

１２は、撮影モードを設定するための、モードダイヤルである。１３は、撮影を指示するための、レリーズキーである。１４は、撮像を行うためのＣＣＤである。１５は、光学像をＣＣＤ１４上に結像させるための、レンズである。

図２は本発明のデジタルスチルカメラの一実施の形態の外観を示す上面図である。図３は図２のデジタルスチルカメラの外観を示す正面図である。図４は図２のデジタルスチルカメラの外観を示す背面図である。
図２〜４において、デジタルスチルカメラ本体１の上面には、レリーズシャッタ（ＳＷ１）６２、モードダイヤル（ＳＷ２）６３、およびサブＬＣＤ６４が配置されている。デジタルスチルカメラ本体１の正面には、ＳＤカード／電池蓋６５、ストロボ発光部６６、光学ファインダ６７、測距ユニット６８、リモコン受光部６９、鏡胴ユニット７０が配置されている。デジタルスチルカメラ本体１の背面には、ＡＦＬＥＤ７１、ストロボＬＥＤ７２、ズームスイッチ（ワイド）（ＳＷ３）７３、ズームスイッチ（遠隔）（ＳＷ４）７４、セルフタイマ／削除スイッチ（ＳＷ５）７５、メニュースイッチ（ＳＷ６）７６、上／ストロボスイッチ（ＳＷ７）７７が配置されている。さらに、デジタルスチルカメラ本体１の背面には、右スイッチ（ＳＷ８）７８、ディスプレイスイッチ（ＳＷ９）７９、下／ストロボスイッチ（ＳＷ１０）８０、左／画像確認スイッチ（ＳＷ１１）８１、オーケースイッチ（ＳＷ１２）８２、ＬＣＤモニタ８３および電源スイッチ（ＳＷ１３）８４が配置されている。またさらに、デジタルスチルカメラ本体１の背面には、光学ファインダ６７が正面と同様の位置に配置されている。この光学ファインダ６７は、装置の正面から背面まで挿通した状態で固定されている。

まず、従来の起動動作について説明する。利用者が電源ボタン８４を押下すると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化や鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔（２ｍＳ）毎にパルス信号を与えることで行う。また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを１０ｍＳ間隔でポーリングする。

続いて撮影時の動作について説明する。利用者は撮影に先立ち、図２〜４に示されている種々のキー、ダイヤルを操作し、撮影モード（高画質モード、低画質モード等）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部０４へ設定する。

あるいはまた、利用者はズームスイッチ７３，７４を操作し、画角（構図）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像を表示するための撮像動作を開始する。

撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。レリーズボタン１３が押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。

撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディア０８へ書き込む。以上で一連の撮影動作を完了する。

続いて、本発明の実施例１として、利用者の操作に応じて入力されたぼかし強度で、背景部分のぼかし量を変える例について説明する。動作フローを図５（Ａ）に示す。本フローはモニタリング中の動作に関わる動作を示している。モニタリング動作を開始すると、システム制御部０２は、後述するぼかし量パラメータを初期値（＝５）に設定する（ｓｔｅｐ０１−００１）。システム制御部０２は画像処理部０４及び撮像部０３を制御し、ＣＣＤＡＦのスキャン動作を行う（ｓｔｅｐ０１−００２）。続いてシステム制御部０２は、各画像の位置毎の距離の判定を行う（ｓｔｅｐ０１−００３）。

ここで、ＣＣＤＡＦの概要ついて説明する。
一般に、デジタルカメラやビデオカメラのように二次元撮像素子を有する電子撮像装置では、撮像素子で光電変換された映像信号によって画面の鮮鋭度を検出し、この鮮鋭度が最大になるようにフォーカシングレンズの位置を制御して焦点調節を行う。通常、この鮮鋭度は、ピントがぼけている状態では小さく、ピントが合うにつれて大きくなり、ピントが完全に合った状態で最大値に達する。
ＣＣＤＡＦは、無限端から近端までフォーカスレンズを徐々に動かすとともに、複数の位置で被写体を撮像し、撮像された複数の画像データのうち、もっとも鮮鋭度が高い画像が得られたフォーカスレンズの位置を合焦位置とする方法である。

以下、図６を参照しながら説明する。図６（Ａ）において、１００はモニタリング画像の撮影領域、１０１は１つのＡＦ評価値エリアを示している。図６（Ａ）に示すように、ＡＦ評価値エリアは、撮影領域内を均等に分割した小領域となっており、ＣＣＤＡＦにより各領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。システム制御部０２は、各領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの位置を判定する。さらにシステム制御部０２は、各領域毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。

このＣＣＤＡＦにおけるレンズ位置（合焦距離）とＡＦ評価値との関係の一例を図７に示す。
図７において、横軸はレンズ位置及び、レンズ位置に対応した合焦する距離、縦軸はＡＦ評価値を示している。また、９０１は遠距離にある被写体（例えば図６（Ｄ）の１０５の背景の山部分）のスキャンに伴うＡＦ評価値の変化を示した波形、９０２は同じく中距離にある被写体（例えば図６（Ｄ）の１０５の背景の縁石部分１１１）のスキャンに伴うＡＦ評価値の変化を示した波形、９０３は同じく近距離にある被写体（例えば図６（Ｄ）の人物部分）のスキャンに伴うＡＦ評価値の変化を示した波形である。

ここで、ＡＦ評価値はＡＦ評価値エリア内の各画素に対し、水平方向の画素間でＨＰＦ（ハイパスフィルター）演算を行い、得られた高周波成分を加算したものである。ＨＰＦの係数は、例えば、ｋｉ＝{−１,−２,６,−２,−１}といった値が用いられる。ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ２は注目画素に乗算される係数、ｋ３は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ４は注目画素の水平方向＋２の座標の画素に乗算される係数である。

このＡＦ評価値の演算を、図８に示すＡＦ評価値エリア内の５画素を抜き出したものを例に挙げて具体的に説明する。
図８において、１００１は、注目画素の水平方向−２の座標の画素、１００２は、注目画素の水平方向−１の座標の画素、１００３は、注目画素、１００４は、注目画素の水平方向＋１の座標の画素、１００５は、注目画素の水平方向＋２の座標の画素を示している。ＡＦ評価値は、下記式（１）で求められる。

（ＡＦ評価値） ＝ ｋ０×（１００１の画素の値） ＋ ｋ１×（１００２の画素の値） ＋ ｋ２×（１００３の画素の値） ＋ ｋ３×（１００４の画素の値） ＋ ｋ４×（１００５の画素の値） ・・・式（１）

ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式、
１／ａ＋１／ｂ＝１／ｆ
から、
ａ＝ｂｆ／（ｂ−ｆ）
として求められる。

ここで、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離、である。レンズから被写体までの距離ａが求める距離情報である。レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの位置から一意に求められる。以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。

また、図６（Ａ）において、１０２はオートフォーカスでフォーカスを合わせるエリアであるＡＦエリアを示している。システム制御部０２は、ＡＦエリアの被写体までの距離と、所定範囲内の距離にあるＡＦ評価値エリアをまとめて主要被写体ブロックとして判定する（ｓｔｅｐ０１−００４）。図６（Ｂ）において、１０３は主要被写体ブロックを示している。なお、主要被写体ブロック１０３はＡＦエリア１０２を含む。

ＡＦエリアの被写体までの距離と、主要被写体ブロックを決定するための所定範囲を、図９を参照しながら説明する。
図９において、横軸は無限遠から近距離に向けた距離、１１０１から１１０５は、図６（Ｄ）の１０５の様な被写体を、ｓｔｅｐ０１−００２，００３で測距した、各部の距離を示している。１１０１は、背景の山部分までの距離、１１０２は、１０５の背景の縁石部分１１１までの距離、１１０３は、人物の頭部までの距離、１１０４は、人物の顔部までの距離、１１０５は、人物の胸部までの距離である。ＡＦエリアは、図６（Ａ）に示す様に、人物の顔部に設定されており、ＡＦエリアの被写体までの距離は１１０４と等しい。１１０６，１１０７は、主要被写体ブロックを決定するための所定範囲を示しており、１１０６は近距離側の範囲、１１０７は遠距離側の範囲である。図９の例では、１１０３，１１０４，１１０５が所定範囲に含まれる。

以上の様な判定に基づき、図６（Ｂ）の１０３で示したエリアを、主要被写体ブロックとして判定する。なお、この所定範囲１１０６，１１０７は、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき、あらかじめシステム制御部０２内に記憶されているテーブルを参照することで設定される。設定は、レンズの焦点距離が長い場合には所定範囲は短く、レンズの焦点距離が短い場合には所定範囲は長く設定され、また、ＡＦエリアの被写体までの距離が長い場合には所定範囲は長く、ＡＦエリアの被写体までの距離が短い場合には所定範囲は短く、設定される。

このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する（ｓｔｅｐ０１−００５）。また、システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を元に主要被写体領域を判定する（ｓｔｅｐ０１−００６）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

図６（Ｃ）において、１０４は主要被写体領域を示している。画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００７〜００９）。図６（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。

主要被写体の抽出処理（ｓｔｅｐ０１−００７）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。背景画像のぼかし処理（ｓｔｅｐ０１−００８；ぼかし処理手段）では、背景画像１０８にぼかし量パラメータに基づくぼかし処理を行い、ぼかした背景画像１０９を生成する。

ここで、ぼかし処理の詳細について図５（Ｃ）のフローに基づいて説明する。システム制御装置０２は、ぼかし量パラメータに基づき、表１に示すような処理内容を決定する（ｓｔｅｐ０３−００１）。

表１において、ぼかし量Ｂｐはぼけの大きさを決定するぼかし量パラメータの値（値が大きい方が大きなぼけを生ずる）、縮小処理はぼかし量パラメータの値により決定する縮小処理の縮小率（画像の一辺の長さの比）、フィルタタイプは後述する空間フィルタのタイプＡもしくはタイプＢを示している。即ち、大きなぼけを得る場合には、画像をより小さく縮小してから空間処理を行う。なお、縮小処理は、バイリニア法により、画像の画素数を減らすようにサンプリングを行う。また、本実施例では、表１に示すような処理内容で縮小率決定手段が決定されていることから、システム制御装置０２が縮小率決定手段に対応する。

ぼかし量パラメータは、２〜１１２の範囲で変化する整数値であり、１画素からなる点像をぼかし処理を行った結果の、ぼけの大きさの直径の画素数に等しい。
なお、縮小処理の縮小率の分母の値１６は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に整数以下の端数を生じない。これにより、縮小処理や拡大処理における丸めによる誤差を排除することができ、縮小拡大後の画像サイズを正確に元画像に合わせることができ、ひいては、後述する合成処理の処理結果の画像品位を向上することができるため好ましい。

ぼかし量パラメータの値が、所定値以下の場合には、縮小処理を行わずに空間フィルタの処理のみを行う（ｓｔｅｐ０３−００２，００３）。空間フィルタの処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。空間フィルタ処理では、下式（２）のように入力画像（Ｉｎ（ｘ,ｙ））にフィルタ係数（ｋ（ｉｘ,ｉｙ））を演算し、出力画像（Ｏｕｔ（ｘ,ｙ））を得る。

ここで、Ｉｎ：入力画像、Ｏｕｔ：出力画像、ｋ：フィルタ係数、ｆｓ：フィルタサイズ（本実施例では７）、である。
また、上記式２におけるｆｓがぼかし量パラメータ（ぼかし強度）に相当し、後述するｓｔｅｐ０１−０１４において、利用者の操作に応じて１ずつ値が変化する。ぼかし量パラメータは、利用者の操作により変更されるパラメータで、ぼかし量の大小を制御する。
さらに、上記式２において、座標の演算結果（ｘ＋ｉｘ―ｆｓ／２、及びｙ＋ｉｙ−ｆｓ／２）は、整数に切り捨て、かつ、入力画像内を指し示す様にクリップされる。

フィルタ係数の例を図１０に示す。図１０（Ａ）は、ぼかし量パラメータの値が２の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数が２相当のぼけ画像を生成する。ぼけの大きさの直径の画素数は、画像の見た目のぼけの強さと同義であり、ぼかし量パラメータの値が大きいほど、大きなぼけが生じた画像が生成される。
図において波線で示した円がぼけの大きさを示している。同様にして図１０（Ｂ）は、ぼかし量パラメータの値が７の場合のフィルタ係数を示している。
このように、システム制御部０２は、ぼけの大きさの直径の画素数が、ぼかし量パラメータの値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。

ぼかし量が所定量以上の場合には、画像データ縮小手段により一旦画像を縮小処理して縮小画増データを作成した後、空間フィルタ処理手段により空間フィルタの処理を行ってフィルタ処理画像データを作成し、次いで画像データ拡大手段により拡大処理を行うことで拡大画像データを作成して元の大きさに戻す（ｓｔｅｐ０３−００４〜００６）。拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像サイズは元の大きさとなる。なお、拡大処理は、バイリニア法により、画像の画素数を増やすようにサンプリングを行う。ここで、得られた拡大画像データは、即ちぼかし処理が行われた背景画像データである。
これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。縮小処理を伴うぼかし処理のフィルタは、ぼけの大きさの直径の画素数が、（ぼかし量パラメータの値）×（縮小率）の値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。図１０（Ｃ）は、ぼかし量パラメータの値が２８の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（２８）×（４／１６）＝７、となる。

ここでフィルタタイプＡ、Ｂについて説明する。これまで説明した図１０（Ａ）、図１０（Ｂ）、図１０（Ｃ）はフィルタタイプＡに分類され、図１０（Ｄ）はフィルタタイプＢに分類される。図１０（Ｄ）は、ぼかし量パラメータの値が５６の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（５６）×（２／１６）＝７、となり、大きさはぼかし量パラメータの値が２８の場合のフィルタ係数と等しい。しかしながら図１０（Ｄ）の係数では、波線で示した２重の円で囲まれるドーナツ状の部分の係数を大きな値に設定しており、これにより、縮小に伴うぼけ形状の視認性の劣化を防いでいる。画像の見た目では、ぼけ形状の視認性があることによって、ぼかす前の被写体の概観が残り、光学的にぼかした場合と同等なぼけ画像にすることができる。

以下、図５（Ａ）のフローに戻り説明する。合成処理（ｓｔｅｐ０１−００９）では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−０１０）。以上で１コマのモニタリング画像の処理が完了する。このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出し（ｓｔｅｐ０１−０１１）、ｓｔｅｐ０１−００５で算出して記憶した値と比較し、所定量以上の差があった場合には、再度ＣＣＤＡＦのスキャン動作へ移行する（ｓｔｅｐ０１−０１２）。

また、ぼかし量の変更の操作が行われた場合には、操作に応じてぼかし量パラメータ（ぼかし強度）を変更し（ｓｔｅｐ０１−０１３，０１４）、以上の動作をモニタリング終了まで繰り返し実行する（ｓｔｅｐ０１−０１５）。なお、１コマ毎のモニタリング画像の処理は、ｓｔｅｐ０１−００６から繰り返し行われる。また、レリーズボタン１３が押された場合には、取り込んだ撮影画像に対してｓｔｅｐ０１−００６〜００９と同様のぼかし処理を行い、背景をぼかした画像を記録する。その場合のぼかし量パラメータ（撮影時のぼかし量パラメータ）は、下記式（３）に示すように、撮影画像の水平画像サイズ（画素数）とモニタリング画像の水平画像サイズの比率で補正することで得られる。

（撮影時のぼかし量パラメータ） ＝ （モニタリング時のぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（モニタリング画像の水平画像サイズ） ・・・式（３）

上式では、モニタリング時のぼかし量パラメータを、撮影時のぼかし量パラメータとして適切な量に補正する為に、撮影画像とモニタリング画像との画像サイズの比を乗算している。この補正の結果、画像サイズの異なるモニタリング画像に好適に用いられるモニタリング時ぼかし量パラメータを補正して、撮影時のぼかし量パラメータを算出し、好適なぼかし効果を有する撮影画像が得られる。

続いて、本発明の実施例２として、レンズの焦点距離、及び／または被写体及び背景部分の各領域における距離情報を取得して算出された各領域の距離の差、及び／または画像サイズ（画素数）に応じてぼかし量（ぼかし強度）を変える例について説明する。動作フローを図５（Ｂ）に示す。ｓｔｅｐ０２−００１〜００７は、ｓｔｅｐ０１−００１〜００７と同じである。
ｓｔｅｐ０２−００８において、画像処理部０４は、距離情報に基づいて背景画像を複数に分割する。

この様子を図１１に示す。図１１において、２００は撮影画像、２０１は主要被写体、２０２は抽出した主要被写体画像、２０３は遠距離にある背景画像、２０４は近距離にある背景画像、２０５、２０６はぼかした背景画像、２０７は合成画像を示している。画像処理部０４は、距離に応じたぼかし量をもって、背景画像２０３、２０４を各々ぼかし処理を行う（ｓｔｅｐ０２−００８）。

ここで距離に応じたぼかし量パラメータＢｐは、次式（４）で決定する。

Ｂｐ＝Ｋ×ｆ×|（ａ'−ａ）|／（ａ'×ａ） ・・・式（４）；（小数点以下切り上げ）

ここで、ａ'：ぼかし処理を行う背景までの距離（背景被写体までの距離）、ａ：合焦している被写体までの距離（主要被写体までの距離）、ｆ：レンズの焦点距離、Ｋ：画素数により決定する係数である。ここで、Ｋについて具体的な例を挙げると、６４０×４８０ピクセルの場合１．２×１０^３、１２８０×９６０ピクセルの場合２．４×１０^３を適用することができるが、この数値に限られるものではない。

即ち、レンズの焦点距離が長ければ長いほど、より大きなぼけが生じる。また、合焦している被写体までの距離と、ぼかし処理を行う背景までの距離との差が大きければ大きいほど、より大きなぼけが生じる。このような大きなぼけを生じさせる方法によって、光学的にぼかした場合と同等なぼけ画像を得ることができる。なお、Ｂｐの値が２未満の場合には、ぼかし処理は行わない。

システム制御装置０２は、実施例１と同様にしてぼかし量パラメータＢｐの値に基づき、上記表１から縮小率とフィルタタイプを決定する。（前記縮小率決定手段による。）

合成処理（ｓｔｅｐ０２−０１０）では、ぼかした背景画像２０５に、ぼかした背景画像２０６を重ね合わせ、さらに主要被写体画像２０２を重ね合わせて合成を行い、合成画像２０７を生成する。なお、ｓｔｅｐ０２−０１１〜０１３は、ｓｔｅｐ０１−０１０〜０１２と同じである。

本実施例においては、モニタリング画像を基準としたぼかし量パラメータを設定し、撮影した画像にぼかし処理を行う際には、撮影画像の水平画像サイズとモニタリング画像の水平画像サイズの比率で補正する例について示したが、逆に、撮影画像を基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（５）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （撮影時のぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（撮影画像の水平画像サイズ） ・・・式（５）

更に、複数の画像サイズの撮影モードを備える場合には、最大撮影画像サイズを基準としたぼかし量パラメータを設定し、モニタリング画像に適用するぼかし量パラメータを、下記式（６）で求め、撮影画像に適用するぼかし量パラメータを下記式（７）で求めても良い。

（モニタリング時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（モニタリング画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（６）

（撮影時のぼかし量パラメータ） ＝ （最大撮影画像サイズのぼかし量パラメータ）×（撮影画像の水平画像サイズ）／（最大撮影画像の水平画像サイズ） ・・・式（７）

なお、この場合においても、図５（Ｃ）のｓｔｅｐ０３−００２〜００６に示した処理フローと同様にして、補正後のぼかし量パラメータの値に基づいて、縮小処理を行わずに空間フィルタの処理のみを行う場合と、縮小してから空間フィルタの処理を行う場合とを、切り換えることが可能であることは言うまでもない。

また、本実施例においては、主要被写体ブロックを決定するための所定範囲を、レンズの焦点距離とＡＦエリアの被写体までの距離に基づき設定する例について示したが、さらには、ぼかし量パラメータの値に応じて補正を行っても良い。この場合、ぼかし量パラメータの値により、ぼかし量パラメータの値が大きい場合には所定範囲は短く、ぼかし量パラメータの値が小さい場合には所定範囲を長く設定する。

本発明に係るデジタルスチルカメラ装置及び接続機器の構成を示すブロック図である。 本発明に係るデジタルスチルカメラにおける一実施の形態の外観を示す上面図である。 図２のデジタルスチルカメラの外観を示す正面図である。 図２のデジタルスチルカメラの外観を示す背面図である。 本発明に係るデジタルスチルカメラにおける実施例１および実施例２の動作フローである。 本発明に係るデジタルスチルカメラにおける実施例１の画像処理を示す図である。 本発明に係るデジタルスチルカメラにおける実施例１のＡＦ評価値の変化を示す図である。 本発明に係るデジタルスチルカメラにおける実施例１のＡＦ評価値のＨＰＦで演算対象となる画素を示す図である。 本発明に係るデジタルスチルカメラにおける実施例１のＡＦエリアの被写体までの距離と所定範囲を示す図である。 本発明に係るデジタルスチルカメラにおける実施例１のフィルタ係数の分布を示す図である。 本発明に係るデジタルスチルカメラにおける実施例２の画像処理を示す図である。

符号の説明

０１ デジタルスチルカメラ装置
０２ システム制御部
０３ 撮像部
０４ 画像処理部
０５ 表示制御部
０６ ＬＣＤ
０７ 記録メディアインターフェイス部
０８ 記録メディア
０９ ハードキーインターフェイス部
１０ 通信インターフェイス部
１１ ＰＣ
１２ モードダイヤル
１３ レリーズ
１４ ＣＣＤ
１５ レンズ

Claims (9)

1. 入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、
   前記背景画像データは、レンズから入射した光より生成され、
   前記ぼかし処理手段は、
   前記背景画像データを取得した際の前記レンズの焦点位置に基づいて縮小率を決定する縮小率決定手段と、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。
2. 入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、
   前記背景画像データは、主要被写体と背景被写体とを有する被写体の画像データの中の前記背景被写体の画像データであり、
   前記ぼかし処理手段は、
   前記主要被写体までの距離と前記背景被写体までの距離との差に基づいて縮小率を決定する縮小率決定手段と、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。
3. 入力された背景画像データに入力されたぼかし強度でぼかし処理を行うぼかし処理手段を備える画像処理装置であって、
   前記ぼかし処理手段は、
   当該入力されたぼかし強度に基づいて縮小率を決定する縮小率決定手段と、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。
4. 入力された背景画像データにぼかし処理を行うぼかし処理手段を備える画像処理装置であって、
   前記ぼかし処理手段は、
   前記背景画像データの画像サイズに基づいて縮小率を決定する縮小率決定手段と、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成する画像データ縮小手段と、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成する空間フィルタ処理手段と、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成する画像データ拡大手段と、を有することを特徴とする画像処理装置。
5. 入力された背景画像データにぼかし処理を行う画像処理方法であって、
   前記背景画像データは、レンズから入射した光より生成され、
   前記ぼかし処理は、
   前記背景画像データを取得した際の前記レンズの焦点位置に基づいて縮小率を決定し、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。
6. 入力された背景画像データにぼかし処理を行う画像処理方法であって、
   前記背景画像データは、主要被写体と背景被写体とを有する被写体の画像データの中の前記背景被写体の画像データであり、
   前記ぼかし処理は、
   前記主要被写体までの距離と前記背景被写体までの距離との差に基づいて縮小率を決定し、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。
7. 入力された背景画像データに入力されたぼかし強度でぼかし処理を行う画像処理方法であって、
   前記ぼかし処理は、
   当該入力されたぼかし強度に基づいて縮小率を決定し、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。
8. 入力された背景画像データにぼかし処理を行う画像処理方法であって、
   前記ぼかし処理は、
   前記背景画像データの画像サイズに基づいて縮小率を決定する縮小率決定手段と、
   前記背景画像データを当該決定された縮小率で縮小して縮小画像データ作成し、
   前記縮小画像データに空間フィルタ処理を行ってフィルタ処理画像データを作成し、
   前記フィルタ処理画像データを、当該決定された縮小率の逆数分拡大して拡大画像データを作成することを特徴とする画像処理方法。
9. 請求項１乃至４のいずれか１項に記載の画像処理装置を備えたことを特徴とするデジタルスチルカメラ。