JP2009212899A - 撮像装置 - Google Patents

Abstract

【課題】ズームレンズの焦点距離やズーム位置、デジタルズームの拡大倍率や擬似焦点距離に応じて、ぼけの量を変更し、被写界深度を擬似的に可変することで、銀塩カメラのような望遠効果を得たり、銀塩カメラではありえなかった撮影効果を得ることが可能な撮像装置を提供する。
【解決手段】ズームレンズと、ズーム制御部、撮像部、撮像画像分離部とを有し、撮像した被写体画像を主要被写体と、それ以外の領域に分離する。分離した主要被写体以外の領域についてはズームレンズの焦点距離またはズーム位置に応じて、ぼかし量を変更することで、望遠効果を強調したり、銀塩カメラでは実施し得なかった撮影効果を付加する。また、ズームレンズを持たず、デジタルズーム機能を持つ構成の場合は、デジタルズームの拡大倍率または、擬似焦点距離に応じて、ぼかし量を変更して、同様の効果を得る。
【選択図】図４

Description

本発明は、撮像装置に関し、特に、ズームレンズの焦点距離やズーム位置、デジタルズームの拡大倍率や擬似焦点距離に応じて、ぼけの量を変更し、被写界深度を擬似的に可変することで、銀塩カメラのような望遠効果を得たり、銀塩カメラではありえなかった撮影効果を得ることが可能な撮像装置に関する。

ポートレート撮影や花などのマクロ撮影では、意図的に前景や背景をぼかすことによって主要被写体を浮かび上がらせる写真表現が効果的である。このような写真表現を行う場合、主要被写体にピントを合わせ、被写界深度を浅くした状態で撮影を行うが、この場合の被写界深度は、レンズの口径や焦点距離などの光学要素により決定されることになる。

一方、デジタルカメラ、特にコンパクトタイプのデジタルカメラにおいて、撮像素子の露光面は、銀塩カメラの露光面（フイルム面）比べて著しく狭い。このため、銀塩カメラと同じ画角を得ようとすると、銀塩カメラの撮像レンズの焦点距離に比べてデジタルカメラの撮像レンズの焦点距離は短くなる。また、口径の大きな撮影レンズは大型、高価となるため、コンパクトタイプのデジタルカメラでは口径の小さな撮影レンズが用いられていることが多い。
被写界深度は、焦点距離が小さく、口径が小さくなると深くなり、あまりぼけなくなることは周知である。したがって、デジタルカメラ、特にコンパクトタイプのデジタルカメラでは被写界深度が銀塩カメラよりも深くなり、上記のような被写界深度を浅くしてぼけ量を大きくした写真表現を苦手とすることが多い。

デジタルカメラの上記苦手を解決するための技術としては、例えば特許文献１がある。
特許文献１には、焦点調節用レンズと、撮影部と、制御部と、ボケ検出部と、画像分割部と、ボケ強調部とを備え、制御部が、主要被写体が被写界深度の範囲内に収まり、ジャストピントでない位置にフォーカス位置を調整し、撮影する。その後ボケ検出部が、画像データを主要被写体と、背景に分離し、背景のぼけ量に応じて、さらに背景のぼけ量を強調し、できるだけ自然なぼけの写真表現を得るものである（第１の実施形態）。さらに第２の実施形態として、演算量を減らす方法、第３の実施形態として、背景だけでなく前景のぼけを自然にさせるための技術が提案されている。

特開２００７−１２４３９８号公報

ところで、上記特許文献１のカメラシステムでは、できるだけ自然なぼけを得ることが目的であり、そのために、主要被写体が被写界深度内のぎりぎりの部分にくるようにあえてフォーカスレンズをジャストピント位置からずらしてセットし、背景部を光学的にできるだけぼかしておき、さらにそのぼけ量に応じて、画像処理で付加・強調するぼかし量を変化させることで、元々のぼけ量が大きい場合はより大きくぼかし、小さい場合には小さくぼかすという処理を行う。
元々のぼけ量に応じた自然なぼけは得られるものの、ズームレンズの焦点距離やズーム位置に応じてぼけを強調したり、ましてやデジタルズームの拡大率や擬似焦点距離に応じて、ぼけを付加し望遠効果を変更・強調したり、銀塩カメラではありえなかった写真表現（望遠側より、広角側で大きくぼかすなど）という効果はない。更には、ズームレンズや、デジタルズームの望遠効果を変更・強調する、従来ありえなかった写真表現を実現するという課題に対しては、解決方法が提示されているわけではない。

本発明は上記従来技術の課題を解決するためのものであって、その目的は、ズームレンズの焦点距離やズーム位置、デジタルズームの拡大倍率や擬似焦点距離に応じて、ぼけの量を変更し、被写界深度を擬似的に可変することで、銀塩カメラのような望遠効果を得たり、銀塩カメラではありえなかった撮影効果を得ることが可能な撮像装置を提供することである。

この目的を達成するために請求項1記載の発明は、焦点距離を変更可能なズームレンズと、
該ズームレンズの焦点距離を制御するズームレンズ制御手段と、
前記ズームレンズとズームレンズ制御手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、
該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、
前記ズームレンズの焦点距離またはズームレンズ位置を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段と
を有することを特徴とする撮像装置である。

また、請求項２記載の発明は、撮像レンズと、
該撮像レンズにより撮像された被写体画像を電気的に処理して擬似的に焦点距離を変更したかのような画像を得るデジタルズーム処理手段と、
前記撮像レンズとデジタルズーム処理手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、
該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、
前記デジタルズーム処理手段によるデジタルズームの拡大倍率または擬似焦点距離を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段と
を有することを特徴とする撮像装置である。

また、請求項３記載の発明は、前記ズームレンズ位置の最も広角側、または最短焦点距離の場合のぼかし量に比べて、前記ズームレンズ位置の最も望遠側、または最長焦点距離の場合のぼかし量が大きくなるように制御することを特徴とする請求項１記載の撮像装置である。
また、請求項４記載の発明は、前記ズームレンズの焦点距離が大きくなるか、または前記ズームレンズ位置が望遠位置に近づくことに応じて、ぼかし量を大きくするか、または小さくするように制御することを特徴とする請求項１記載の撮像装置である。
また、請求項５記載の発明は、前記デジタルズーム処理手段を使用しない場合のぼかし量に比べて、該デジタルズーム処理手段を使用した場合のぼかし量が大きくなるように制御することを特徴とする請求項２記載の撮像装置である。

また、請求項６記載の発明は、前記デジタルズーム処理手段によるデジタルズームの拡大倍率、または擬似焦点距離が最も小さい場合のぼかし量に比べて、前記デジタルズームの拡大倍率、または擬似焦点距離が最も大きい場合のぼかし量が大きくなるように制御することを特徴とする請求項２記載の撮像装置である。
また、請求項７記載の発明は、前記デジタルズーム処理手段によるデジタルズームの拡大倍率が大きくなるか、または擬似焦点距離が大きくなることに応じて、ぼかし量を大きくするか、または小さくするように制御することを特徴とする請求項２記載の撮像装置である。

また、請求項８記載の発明は、さらに、各種撮影モードを設定する撮影モード設定手段と、前記被写体画像を表示する表示手段とを備え、
前記ぼかし量制御手段によるぼかし制御を行う撮影モード設定時において、撮影前にぼかし処理状況を確認する際に、ぼかし制御を一時的に付加、解除可能なぼかし制御一時解除手段を有することを特徴とする請求項１または請求項２の撮像装置である。
また、請求項９記載の発明は、前記ぼかし制御一時解除手段を操作した状態で、撮影を行うことにより、ぼかし処理を行わない撮影を行う手段を有することを特徴とする請求項８記載の撮像装置である。

ここで、本発明の「課題」と「解決手段」を明確にしておく。
「課題」
光学ズームを持っているデジタルカメラ、特にコンパクトタイプのデジタルカメラの場合、銀塩カメラに比べて、撮像面が小さいため光学系の焦点距離が小さいので、被写界深度が小さく、銀塩カメラのような撮影効果（一例として、ポートレート撮影などで人物だけが浮き上がってくるような撮影効果）が得られない。
また、光学ズームを持っていないコンパクトタイプのデジタルカメラの場合、いわゆるデジタルズーム機能を持っている機種が存在する。デジタルズーム機能では、元々の画像の一部を切り出して拡大している。そのため、元々の画像がぼけていない場合、拡大することによるぼけ量の拡大を除くと、ぼけ量はそのままであり、同様に、銀塩カメラのような撮影効果（一例として、ポートレート撮影などで人物だけが浮き上がってくるような撮影効果）は得られない。

「解決手段」
本発明の撮像装置は、ズームレンズと、ズーム制御部、撮像部（撮像装置なので当然備えている）、撮像画像分離部とを有し、撮像した被写体画像を主要被写体と、それ以外の領域に分離する。分離した主要被写体以外の領域部についてはズームレンズの焦点距離またはズーム位置に応じて、ぼかし量を変更することで、望遠効果を強調したり、銀塩カメラでは実施し得なかった撮影効果を付加するものである。また、ズームレンズを持たず、デジタルズーム機能を持つ構成の場合は、デジタルズームの拡大倍率または、擬似焦点距離に応じて、ぼかし量を変更して、同様の効果を得るものである。
なお、前記特許文献１は、主として被写体像を主要被写体と背景に分離して、背景領域に対し、所定の画像処理を行って、ぼけ量を変化させる点は本発明と似ている。しかし、本発明は、何に基づいて、ぼけ量を変化させているかが異なり、その目的、効果も異なる。

請求項１記載の発明によれば、焦点距離を変更可能なズームレンズと、該ズームレンズの焦点距離を制御するズームレンズ制御手段と、前記ズームレンズとズームレンズ制御手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、前記ズームレンズの焦点距離またはズームレンズ位置を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段とを有するので、ズームレンズの焦点距離またはズーム位置を変更した時に、ぼかし制御するぼかし量を変更できる。

請求項２記載の発明によれば、撮像レンズと、該撮像レンズにより撮像された被写体画像を電気的に処理して擬似的に焦点距離を変更したかのような画像を得るデジタルズーム処理手段と、前記撮像レンズとデジタルズーム処理手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、前記デジタルズーム処理手段によるデジタルズームの拡大倍率または擬似焦点距離を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段とを有するので、デジタルズームの拡大倍率、または擬似焦点距離を変更すると、ぼかし制御するぼかし量を変更できる。

請求項３記載の発明によれば、請求項１記載の撮像装置において、前記ズームレンズ位置の最も広角側、または最短焦点距離の場合のぼかし量に比べて、前記ズームレンズ位置の最も望遠側、または最長焦点距離の場合のぼかし量が大きくなるように制御するので、望遠端でぼかし制御するぼかし量を、広角端でのぼかし量より大きく設定できる。
請求項４記載の発明によれば、請求項１記載の撮像装置において、前記ズームレンズの焦点距離が大きくなるか、または前記ズームレンズ位置が望遠位置に近づくことに応じて、ぼかし量を大きくするか、または小さくするように制御するので、ズーム位置の変更に比例してぼかし制御するぼかし量を増減することができる。

請求項５記載の発明によれば、請求項２記載の撮像装置において、前記デジタルズーム処理手段を使用しない場合のぼかし量に比べて、該デジタルズーム処理手段を使用した場合のぼかし量が大きくなるように制御するので、デジタルズームを使用した時のぼかし制御するぼかし量をデジタルズームの使用しない場合のぼかし量より大きく設定できる。
請求項６記載の発明によれば、請求項２記載の撮像装置において、前記デジタルズーム処理手段によるデジタルズームの拡大倍率、または擬似焦点距離が最も小さい場合のぼかし量に比べて、前記デジタルズームの拡大倍率、または擬似焦点距離が最も大きい場合のぼかし量が大きくなるように制御するので、デジタルズームで最大に拡大した場合のぼかし制御するぼかし量を、デジタルズームで最小に拡大した場合のぼかし量より大きく設定できる。

請求項７記載の発明によれば、請求項２記載の撮像装置において、前記デジタルズーム処理手段によるデジタルズームの拡大倍率が大きくなるか、または擬似焦点距離が大きくなることに応じて、ぼかし量を大きくするか、または小さくするように制御するので、デジタルズームの拡大倍率に比例してぼかし制御するぼかし量を増減することができる。
請求項８記載の発明によれば、請求項１または請求項２の撮像装置において、さらに、各種撮影モードを設定する撮影モード設定手段と、前記被写体画像を表示する表示手段とを備え、前記ぼかし量制御手段によるぼかし制御を行う撮影モード設定時において、撮影前にぼかし処理状況を確認する際に、ぼかし制御を一時的に付加、解除可能なぼかし制御一時解除手段を有するので、撮影前のぼかし制御するぼかし量の有無を切り替えながら、撮影結果を予測できる。

請求項９記載の発明によれば、請求項８記載の撮像装置において、前記ぼかし制御一時解除手段を操作した状態で、撮影を行うことにより、ぼかし処理を行わない撮影を行う手段を有するので、ぼかし制御するぼかし量切り替えを使用する撮影モードかどうかを、撮影直前に簡単に切り替えることができる。

効果のまとめとして、以上述べてきた構成により、ズームレンズ搭載の有無に関わらず、望遠効果の強調や、銀塩カメラでは、実施できなかった撮影を行うことができるとともに、使い勝手のよい、撮像装置を実現することができる。

以下、本発明を図示の実施形態に基づいて説明する。
＜＜第１の実施形態＞＞
＜構成＞
図１に、デジタルスチルカメラ装置および接続機器の構成を示す。
図１において、０１は、デジタルスチルカメラ装置である。０２は、デジタルスチルカメラ装置０１全体の制御を行うために設けられた、ＣＰＵ、ＮＡＮＤフラッシュメモリ、ＳＤＲＡＭ、タイマ−等からなるシステム制御部である。
０３は、撮像のために設けられた光学系部品（レンズおよびレンズ駆動モータ）、ＣＣＤ、ＣＣＤ駆動回路、Ａ／Ｄ変換器等からなる、撮像部である。

０４は、撮像部０３で得られた画像信号に種々の画像処理を施すと共に、撮像部０３のＣＣＤ駆動タイミング、レンズ駆動モータを制御して焦点距離やズーム位置の切り替え、フォーカシング、露出調整等を行い、また、画像の圧縮伸長を行うために設けられた画像処理用ＤＳＰ（デジタルシグナルプロセッサ）、ＲＡＭ等からなる画像処理部である。
０５は、画像処理部０４で処理された画像信号をＬＣＤへ表示するための信号処理を行い、また、ユーザーインターフェイスのための種々のグラフィック画像を生成し、次に説明するＬＣＤ０６へ表示するために設けられたＤ／Ａ変換器、オンスクリーンディスプレイコントローラ等からなる表示制御部である。

０６は、画像を表示し、また、ユーザーインターフェイスのためのグラフィックを表示するために設けられたＬＣＤである。０７は、記録メディアとのインターフェイスのために設けられたメモリカードコントローラ等からなる記録メディアインターフェイス部である。
０８は、圧縮された画像信号や画像に関する種々の情報を記憶するために設けられたフラッシュメモリ等からなる、デジタルスチルカメラ装置０１から着脱可能な記録メディアである。

０９は、図示されていないキー、ダイアル等のユーザーインターフェイス（例えば電源ＳＷ、レリーズのためのレリーズＳＷや、撮影モード設定のための撮影モードダイヤル、各種設定のためのメニューＳＷ、更には後述するぼけ量制御の一時解除や、ぼけ量制御使用撮影モードの有無を切り替えるや、ぼかし制御一時解除釦などからなる）を行い、またメインＣＰＵ（図示省略）への主電源制御を行うために設けられた、サブＣＰＵ等からなるハードキーインターフェイス部である。
１０は、ＵＳＢを接続してデータ通信を行うために設けられた、通信コントローラからなる通信インターフェイス部である。１１は、デジタルスチルカメラ装置０１をＵＳＢで接続し、デジタルスチルカメラ装置０１からの画像を転送して再生したり、デジタルスチルカメラ装置０１へ各種設定を行うためのＰＣ（パソコン）である。

＜概略動作＞
まず、「従来の起動動作」について説明する。
利用者が図示されていない電源ＳＷを入れると、ハードキーインターフェイス部０９はメインＣＰＵへの電源供給をオンする。システム制御部０２内のメインＣＰＵは、まずＮＡＮＤフラッシュメモリのブート部からアクセス（プログラム実行）を開始し、ブートプログラムによってプログラム・データをＳＤＲＡＭへ転送する。ＳＤＲＡＭへの転送が完了すると、プログラムの実行ポインタ（プログラムカウンタ）を、転送したＳＤＲＡＭ上のプログラムに移し、以降はＳＤＲＡＭ上のプログラムにより起動処理を開始する。

起動処理には、ＯＳ（オペレーティングシステム）の初期化やレンズ鏡胴の繰りだし処理、記録メディアの初期化処理などが含まれる。鏡胴の繰り出し処理は、画像処理部０４を介して撮像部０３のレンズ駆動モータに所定の間隔毎にパルス信号を与えることにより行う。
また、記録メディアの初期化処理は、記録メディアインターフェイス部０７を介して記録メディア０８への電源とクロックを供給した後、記録メディア０８へ初期化コマンドを発行する。実際の初期化処理は記録メディア０８内で行われ、システム制御部０２はその完了を検知するために記録メディア０８のステータスを所定の間隔でチェックしている。

次に、「撮影時の動作」について説明する。
利用者は撮影に先立ち、図示されていない種々のキーＳＷや、ダイヤルＳＷを操作し、撮影モード（後述するノーマルモード、ぼけ量制御モード等）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて表示制御部０５へガイダンスグラフィックを生成して、利用者に次操作を促す。システム制御部０２は、撮影モードが決定されると、モードに応じた処理パラメータを画像処理部０４へ設定する。

また、利用者は図示されていないズームレバーＳＷを操作し、画角（撮影範囲）を決定する。利用者の操作内容はハードキーインターフェイス部０９を通じてシステム制御部０２で判別され、システム制御部０２は、操作に応じて撮像部０３を制御しレンズを駆動する。撮像部０３は画像処理部０４からの制御に従い、実際の撮影に先だって、モニタリング画像（被写体画像を撮像手段で撮像し、表示手段の解像度にあわせて加工したスルー画像）を表示するための撮像動作を開始する。

撮像されたデータは連続的に画像処理部０４へ送られ、画像処理部０４では色空間変換、ガンマ補正、ホワイトバランス調整などの処理を施した後、画像データを表示制御部０５へ送る。表示制御部０５では、画像データを信号処理してＬＣＤ０６へ表示し、利用者へ撮像状態を提示する。図示されていないレリーズボタンが押されると、その操作はモード設定と同様にしてハードキーインターフェイス部０９を通じてシステム制御部０２で判別される。

撮像部０３は画像処理部０４からの制御に従い、フォーカス合わせを行った後、取り込んだ画像を画像処理部０４へ送り、画像処理部０４は、撮影モードに応じた画像処理、圧縮処理を行う。システム制御部０２は、圧縮された画像データを読み出し、さらにヘッダー情報を付加した後、記録メディアインターフェイス部０７を通じて記録メディア０８へ書き込む。以上で一連の撮影動作を完了する。

＜詳細動作＞
次に、第１の実施形態の要部である、「利用者の操作に応じて、背景部分のぼかし量を変える例」について説明する。
動作フローを図４（Ａ）に示す。本フローはモニタリング中の動作に関わる動作を示している。モニタリング動作を開始すると、システム制御部０２は、後述するぼかし量パラメータを初期値（＝５）に設定する（ｓｔｅｐ０１−００１）。システム制御部０２は画像処理部０４および撮像部０３を制御し、ＣＣＤＡＦ（ＣＣＤのオートフォーカス）のスキャン動作を行う（ｓｔｅｐ０１−００２）。続いてシステム制御部０２は、各画像の小領域毎の距離または、距離に関連するパラメータの判定を行う（ｓｔｅｐ０１−００３）。

以下、図２（Ａ）〜（Ｄ）を参照しながら説明する。図２（Ａ）において、１００はモニタリング画像の画角、１０１は１つのＡＦ評価値エリアを示している。図のように、ＡＦ評価値エリアは、画角内を均等に分割した小領域となっており、ＣＣＤＡＦにより小領域毎のＡＦ評価値（領域内の画像のコントラストの積算値）が得られる。システム制御部０２は、小領域毎に、ＣＣＤＡＦのスキャンにより得られたレンズ位置毎のＡＦ評価値を、所定のアルゴリズムに基づき解析し、ＡＦ評価値のピーク位置に相当するレンズの駆動位置を判定する。さらにシステム制御部０２は、小領域毎に、現在のズーム位置からレンズの駆動位置を距離情報に変換する。

ここで、ＡＦ評価値はエリア内の各画素に対し、水平方向のＨＰＦ（ハイパス・フィルタ）の演算を行い、得られた結果を加算して得られるものである。ＨＰＦの係数は、例えば、ｋｉ={−１,−２,６,−２,−１}といった値が用いられる。ｋ０は注目画素の水平方向−２の座標の画素に乗算される係数、ｋ１は注目画素の水平方向−１の座標の画素に乗算される係数、ｋ３は注目画素に乗算される係数、ｋ４は注目画素の水平方向＋１の座標の画素に乗算される係数、ｋ５は注目画素の水平方向＋２の座標の画素に乗算される係数である。

ＡＦ評価値から距離情報を取得するには、ガウスの結像方程式、１/ａ+１/ｂ=１/ｆ、から、ａ=ｂｆ/(ｂ−ｆ)、として求められる。ここで、ａ：レンズから被写体までの距離、ｂ：レンズから撮像素子間の距離、ｆ：レンズの焦点距離、である。レンズから被写体までの距離ａが求める距離情報である。レンズの焦点距離ｆは、撮影時のズーム位置により一意に求められる。レンズから撮像素子間の距離ｂは、ＡＦ評価値のピークの得られたフォーカスレンズの駆動位置から一意に求められる。
以上により、画角１００内の全領域のＡＦ評価値エリア１０１毎の距離情報を得ることができる。全領域の距離情報が得られない場合は、周辺データにて補間処理を行ったり、ＡＦ評価値取得時のフィルタを変更して、再スキャンするなどして、対応する。

また、図２（Ａ）において、１０２はＡＦでフォーカスを合わせるエリアに設定されたＡＦエリアを示している。システム制御部０２は、画面中央部分のＡＦ評価値エリアのうち、最も近距離にあるエリアをＡＦエリアとして判定し（ｓｔｅｐ０１−００４）、さらにＡＦエリアと等距離にあるブロックを主要被写体ブロックとして判定する（ｓｔｅｐ０１−００５）。図２（Ｂ）において、１０３は主要被写体ブロックを示している。なお、主要被写体ブロック１０３はＡＦエリア１０２を含む。

このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出して記憶する（ｓｔｅｐ０１−００６）。また、システム制御部０２は、得られた主要被写体ブロック１０３の情報と、撮像した画像を元に主要被写体領域を判定する（ｓｔｅｐ０１−００７）。この処理は、従来の画像処理（輪郭抽出）により、主要被写体ブロック１０３を含む任意形状の領域の判定を行う。

図２（Ｃ）において、１０４は主要被写体領域を示している。画像処理部０４は、主要被写体領域１０４の情報を基に、主要被写体画像の抽出処理、背景画像のぼかし処理、合成処理を順次行う（ｓｔｅｐ０１−００８〜０１０）。図２（Ｄ）において、１０５は撮影画像、１０６は主要被写体、１０７は抽出した主要被写体画像、１０８は背景画像、１０９はぼかした背景画像、１１０は合成画像を示している。

主要被写体の抽出処理（ｓｔｅｐ０１−００８）では、主要被写体領域１０４に沿って画像を分離することで、主要被写体の抽出を行う。結果として、撮影画像１０５は主要被写体画像１０７と背景画像１０８に分離される。背景画像のぼかし処理（ｓｔｅｐ０１−００９）では、背景画像１０８にぼかし量パラメータに基づくぼかし処理を行い、ぼかした背景画像１０９を生成する。

ここで、ぼかし処理（ｓｔｅｐ０１−００９）の詳細について、図４（Ｃ）のフローに基づいて説明する。システム制御装置０２は、ぼかし量パラメータに基づき、表１に示すような処理内容を決定する（ｓｔｅｐ０３−００１）。

表１において、ぼかし量はぼけの大きさを決定するぼかし量パラメータの値、縮小処理はぼかし量パラメータの値により決定する縮小処理の縮小率、フィルタタイプは後述する空間フィルタのタイプＡもしくはタイプＢを示している。ぼかし量パラメータは、２〜１１２の範囲で変化する整数値である。
なお、縮小処理の縮小率の分母の値１６は、画像の水平サイズと垂直サイズの公約数となる値が設定されており、縮小後の画像サイズは水平方向、垂直方向共に整数以下の端数を生じない。

ぼかし量パラメータの値が、所定値以下の場合には、縮小処理を行わずに空間フィルタの処理のみを行う（ｓｔｅｐ０３−００２、００３）。空間フィルタの処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。空間フィルタ処理では、下式のように入力画像(Ｉｎ(ｘ,ｙ))にフィルタ係数(ｋ(ｉｘ,ｉｙ)）を演算し、出力画像(Ｏｕｔ(ｘ,ｙ)）を得る。

フィルタ係数の例を図３に示す。図３（Ａ）は、ぼかし量パラメータの値が２の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数が２相当のぼけ画像を生成する。
図において波線で示した円がぼけの大きさを示している。同様にして図３（Ｂ）は、ぼかし量パラメータの値が７の場合のフィルタ係数を示している。このように、システム制御部０２は、ぼけの大きさの直径の画素数が、ぼかし量パラメータの値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。

ぼかし量が所定量以上の場合には、一旦画像を縮小処理した後、空間フィルタの処理を行い、更に拡大処理を行う（ｓｔｅｐ０３−００４〜００６）。拡大処理では、ｓｔｅｐ０３−００４で行われる縮小率の逆数分の拡大処理を行い、結果、画像サイズは元の大きさとなる。
これらの縮小、空間フィルタ、拡大の処理は、システム制御部０２からの設定に基づき画像処理部０４で実行される。縮小処理を伴うぼかし処理のフィルタは、ぼけの大きさの直径の画素数が、（ぼかし量パラメータの値）×（縮小率）の値に等しくなるようなフィルタ係数を設定してぼかし処理を行う。
図３（Ｃ）は、ぼかし量パラメータの値が２８の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（２８）×（４／１６）＝７、となる。

ここでフィルタタイプＡ、Ｂについて説明する。これまで説明した図３（Ａ）、図３（Ｂ）、図３（Ｃ）はフィルタタイプＡに分類され、図３（Ｄ）はフィルタタイプＢに分類される。図３（Ｄ）は、ぼかし量パラメータの値が５６の場合のフィルタ係数を示しており、ぼけの大きさの直径の画素数は、（５６）×（２／１６）＝７、となり、大きさはぼかし量パラメータの値が２８の場合のフィルタ係数と等しい。
しかしながら図３（Ｄ）の係数では、波線で示した２重の円で囲まれるドーナツ状の部分の係数を大きな値に設定しており、これにより、縮小に伴うぼけ形状の視認性の劣化を防いでいる。

以下、図４（Ａ）のフローに戻り説明する。合成処理（ｓｔｅｐ０１−０１０）では、ぼかした背景画像１０９に主要被写体画像１０７を重ね合わせて合成を行い、合成画像１１０を生成する。生成した合成画像は、表示制御部０５を介してＬＣＤ０６へ表示される（ｓｔｅｐ０１−０１１）。以上で１コマのモニタリング画像の処理が完了する。
このときシステム制御部０２は、主要被写体ブロック１０３に相当する位置の画像データの平均輝度を算出し（ｓｔｅｐ０１−０１２）、ｓｔｅｐ０１−００６で算出して記憶した値と比較し、所定量以上の差があった場合には、再度ＣＣＤＡＦのスキャン動作へ移行する（ｓｔｅｐ０１−０１３）。

また、ぼかし量の変更の操作が行われた場合には、操作に応じてぼかし量パラメータを変更し（ｓｔｅｐ０１−０１４、０１５）、以上の動作をモニタリング終了まで繰り返し実行する（ｓｔｅｐ０１−０１６）。
なお、１コマ毎のモニタリング画像の処理は、ｓｔｅｐ０１−００７から繰り返し行われる。また、レリーズボタンが押された場合には、取り込んだ画像に対してｓｔｅｐ０１−００７〜０１０と同様のぼかし処理を行い、背景をぼかした画像を記録する。その場合、ぼかし量パラメータは、（モニタリング時のぼかし量パラメータ）×（記録画像サイズ）／（モニタリング画像サイズ）、を適用する。

次に、ズームレンズの焦点距離またはズーム位置を変更した時に、ぼかし量を変更する手順について説明する。動作フローを図４（Ｂ）に示す。ｓｔｅｐ０２−００１〜００８は、ｓｔｅｐ０１−００１〜００８と同じである。ｓｔｅｐ０２−０１０に入る前段階において、制御部は現在の焦点距離位置の情報を取得し、メモリに保管しておく。
（通常はズームレバーにより、ズーム位置を変更した時に行われるが、この時点にて再取得してもよい）。

画像処理部０４は、ズーム位置（焦点距離）に応じたぼかし量をもって、背景画像のぼかし処理を行う（ｓｔｅｐ０２−０１０）。ｓｔｅｐ０２−０１０における内部処理を図５の動作フローに示す。
ここでズーム位置に応じたぼかし量のパラメータは、適宜テーブル化するなどして、対応を決めておく。本発明では、ズーム位置が、ワイド（広角端）、ワイドミーン（広角端と中間位置の間）、ミーン（中間位置）、ミーンテレ（中間位置と望遠端の中間）、テレ（望遠端）と変化する場合に前記、表１におけるぼかし量を順次５段階に切り替える構成となっている。
また、撮影モードダイヤルや、メニュー設定による事前設定に応じ、その逆（焦点距離が長くなるとぼかし量を減らす構成）も可能な構成としておく。（請求項１、３、４のサポート）。この場合は、銀塩カメラではありえない、広角にいくほどぼけ量が大きくなる構成となり、デジタルカメラならではの不自然ながらも幅の広い写真表現を行うことができる。

また、モニタリング時に、ぼかし制御一時解除キーが押下されていれば、ｓｔｅｐ０２−０１０の処理をスキップする構成にしておくことで（図５参照）、ぼかし制御をモニタリングでの確認結果により容易に付加、解除できる構成とすることができる。
また、ぼかし制御一時解除キーが押下されている場合に、そのままレリーズキーを押下した場合は、モニタリング処理状態の処理を引きついて、ぼかし制御を行わない状態での撮影を行う構成とすることができ、ぼかし制御撮影を行うモードであってもモニタリング時のぼかし状態（有り、無し）を簡単に確認し、ぼかし制御を行わない方がよいと使用者が判断した場合には、ぼかし制御を行わない状態での撮影を行うことが可能である。

合成処理（ｓｔｅｐ０２−０１１）では、ぼかした背景画像２０５に、ぼかした背景画像２０６を重ね合わせ、さらに主要被写体画像２０２を重ね合わせて合成を行い、合成画像２０７を生成する。なお、ｓｔｅｐ０２−０１２〜０１４は、ｓｔｅｐ０１−０１１〜０１３と同じである。

＜＜第２の実施形態＞＞
本説明では、第１の実施形態を変更した部分のみ（ｓｔｅｐ０２−０１０）を述べる。
画像処理部０４は、デジタルズームの使用有無とデジタルズームの拡大倍率（擬似焦点距離）に応じたぼかし量をもって、背景画像のぼかし処理を行う（ｓｔｅｐ０２−０１０）。ここでデジタルズームの使用有無、デジタルズームの拡大倍率（擬似焦点距離）に応じたぼかし量のパラメータは、適宜テーブル化するなどして、対応を決めておくものとする。

例えば、図１のレンズ（不図示）が単焦点レンズとして、デジタルズーム機能を有する場合、ｓｔｅｐ０２−０１０処理にて、デジタルズームの使用有無を判定し、使用してない場合は、ぼかし制御を行わずに、ｓｔｅｐ０２−０１０処理を抜ける。また、デジタルズームを使用している場合は、拡大倍率に応じて、前記の表１におけるぼかし量を図５の動作フローに示したように、順次５段階に切り替える構成にしておく。
撮影モードダイヤルや、メニュー設定による事前設定に応じ、逆の場合（拡大倍率に応じて、ぼかし量を小さくしていく）設定（図６に示す表２に設定例を示した）を可能としてもよい。（請求項２、５〜７のサポート）。この場合は、拡大倍率が上がるほど、ぼかし量が大きくなる構成となり、不自然ながらも幅の広い写真表現を行うことができる。

＜＜第３の実施形態＞＞
本説明では、第１，第２の実施形態に追加・変更した部分のみを述べる。
さらに自然なボケ味とするために、図４（Ａ）のフローチャートにおける事前取得したＡＦ評価値にもとづく主要被写体の距離と、本実施形態を組み合わせ、第１の実施形態における焦点距離位置と、主要被写体までの距離をパラメータとして、ぼかし量を変更する構成としてもよい。
この場合は、焦点距離が長いほど、また主要被写体までの距離が近いほど、ぼかし量を大きくしたほうが自然な画像となることはいうまでもない。また、この場合は、前記の表１における５段階パラメータを表２（図６参照）に図示したように、組み合わせてさらに細かく段階わけして処理すれば、さらに効果的となる。

また、同じく、表２（図６参照）に示したように、主要被写体と前景、背景が分離でき、それぞれの距離が把握できる場合には、本発明の趣旨に則り、自然なぼけ量を目的として、前景観、主要被写体、背景の距離関係によって、ぼかし量を制御し、光学レンズの被写界深度計算に適合するように、（すなわち同じ距離関係の時前景のぼけ量が、背景のぼけ量より大きくなるように等）ぼかすことも可能であり、逆に、前景だけぼかして、主要被写体と背景はぼかさない制御や、前景のぼけ量を背景より小さく設定するなどの制御方式とすることが可能である。

以上述べてきたように、本発明によれば、簡便な構成で、ズームレンズの望遠効果を強調したり、銀塩カメラでは実現不可能だったぼかし効果のある写真表現を容易に行うことができ、ぼかし制御の付加の有無を簡単に選択した撮影を行うことができる。また、本明細書において、主要被写体とそれ以外の領域の分離方法、距離情報取得方法、ぼかし処理、とその後の合成方法などは、１つの実施形態として述べただけであるので、本発明の趣旨を逸脱しない範囲に置いて、他の方法で実現してもよい。

本発明の実施形態の構成を示すブロック図である。 同第１の実施形態の画像処理を示す図である。 同第１の実施形態のフィルタ係数の分布を示す図である。 本発明の各実施形態の動作フローチャートである。 図４（Ｂ）における、ｓｔｅｐ−０２−０１０の内部処理例を示す動作フローチャートである。 同第２の実施形態における、５段階パラメータを表２として表した図である。

符号の説明

０１…デジタルスチルカメラ装置
０２…システム制御部
０３…撮像部
０４…画像処理部
０５…表示制御部
０６…ＬＣＤ
０７…記録メディアインターフェース部
０８…記録メディア
０９…ハードキーインターフェース部
１０…通信インターフェース部
１１…ＰＣ

Claims (9)

1. 焦点距離を変更可能なズームレンズと、
   該ズームレンズの焦点距離を制御するズームレンズ制御手段と、
   前記ズームレンズとズームレンズ制御手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、
   該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、
   前記ズームレンズの焦点距離またはズームレンズ位置を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段と
   を有することを特徴とする撮像装置。
2. 撮像レンズと、
   該撮像レンズにより撮像された被写体画像を電気的に処理して擬似的に焦点距離を変更したかのような画像を得るデジタルズーム処理手段と、
   前記撮像レンズとデジタルズーム処理手段とを介して撮像された被写体画像の主要被写体部の領域と該主要被写体部以外の領域を分離する被写体像分離手段と、
   該被写体像分離手段により分離された前記主要被写体部以外の領域をぼかし、かつ、ぼかし量を変更可能なぼかし量制御手段と、
   前記デジタルズーム処理手段によるデジタルズームの拡大倍率または擬似焦点距離を変更した場合に、前記ぼかし量制御手段からの出力であるぼかし量を変更するぼかし量変更手段と
   を有することを特徴とする撮像装置。
3. 前記ズームレンズ位置の最も広角側、または最短焦点距離の場合のぼかし量に比べて、前記ズームレンズ位置の最も望遠側、または最長焦点距離の場合のぼかし量が大きくなるように制御することを特徴とする請求項１記載の撮像装置。
4. 前記ズームレンズの焦点距離が大きくなるか、または前記ズームレンズ位置が望遠位置に近づくことに応じて、ぼかし量を大きくするか、または小さくするように制御することを特徴とする請求項１記載の撮像装置。
5. 前記デジタルズーム処理手段を使用しない場合のぼかし量に比べて、該デジタルズーム処理手段を使用した場合のぼかし量が大きくなるように制御することを特徴とする請求項２記載の撮像装置。
6. 前記デジタルズーム処理手段によるデジタルズームの拡大倍率、または擬似焦点距離が最も小さい場合のぼかし量に比べて、前記デジタルズームの拡大倍率、または擬似焦点距離が最も大きい場合のぼかし量が大きくなるように制御することを特徴とする請求項２記載の撮像装置。
7. 前記デジタルズーム処理手段によるデジタルズームの拡大倍率が大きくなるか、または擬似焦点距離が大きくなることに応じて、ぼかし量を大きくするか、または小さくするように制御することを特徴とする請求項２記載の撮像装置。
8. さらに、各種撮影モードを設定する撮影モード設定手段と、前記被写体画像を表示する表示手段とを備え、
   前記ぼかし量制御手段によるぼかし制御を行う撮影モード設定時において、撮影前にぼかし処理状況を確認する際に、ぼかし制御を一時的に付加、解除可能なぼかし制御一時解除手段を有することを特徴とする請求項１または請求項２の撮像装置。
9. 前記ぼかし制御一時解除手段を操作した状態で、撮影を行うことにより、ぼかし処理を行わない撮影を行う手段を有することを特徴とする請求項８記載の撮像装置。