JP2016127492A - 撮像装置、操作支援方法及び操作支援プログラム - Google Patents

Abstract

【課題】 ユーザが深度合成機能を簡単に利用することができるという効果を有する。【解決手段】 撮像装置は、ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部と、上記撮像画像中の各部の被写体距離を求める被写体距離判定部と、上記被写体距離及び上記撮像画像の連続性を判定する連続性判定部と、上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる表示制御部とを具備する。【選択図】図１

Description

本発明は、深度合成撮影が可能な撮像装置、操作支援方法及び操作支援プログラムに関する。

近年、デジタルカメラなどの撮影機能付き携帯機器（撮像装置）が普及している。この種の撮像装置においては表示部を備えて、撮影画像を表示する機能を有するものもある。更に、表示部にメニュー画面を表示して、撮像装置の操作を容易にしたものもある。

また、撮像装置においては、ピント合わせを自動化したオートフォーカス機能や露出を自動化した自動露出調整機能を備えたものもある。ユーザはピント合わせや露出調整を殆ど意識することなく、自動的なピント調整や露出調整が可能である。

オートフォーカス機能は、例えば、画面の中央の被写体やユーザが指定した被写体に合焦させたり、画面各部の被写体までの距離を求めて、最も近い被写体に合焦させる等の手法が採用される。しかし、オートフォーカス機能だけでは、必ずしもユーザが希望するピント合わせが行われるとは限らない。例えば、被写界深度によっては、ユーザが希望する合焦状態で撮影が行われないこともある。

そこで、特許文献１においては、煩雑な操作を行うことなく、背景をぼかした画像を撮影することができるようにした技術が開示されている。この技術では、被写界深度に応じて領域の判別が可能であるか否かを判定し、領域の判別が不可である場合には、焦点距離を領域の判別が可能である焦点距離に変更して、当該変更後の焦点距離によって第１の画像および第２の画像を得るようになっている。

また、オートフォーカス機能を利用したとしても、被写体全体にピントが合うとは限らない。例えば、被写体の全てにピントを合わせたい場合でも、被写界深度によっては、その一部のみにピントが合って、他の部分はぼけた画像が撮影されてしまうことがある。そこで、近年、ピント位置を変化させながら複数回の撮影を行って得た複数の撮像画像を合成する深度合成が可能な撮像装置が商品化されている。深度合成機能を有する撮像装置を利用することで、ユーザがピントを合わせたい被写体の全体にピントが合った画像を得ることも可能である。

特開２０１４−１３１１８８号公報

しかしながら、装置の背面に設けた表示画面に表示される画像では、合焦状態は確認しづらく、ユーザにとって深度合成モードを採用した方が良いか否かの判断は容易ではない。また、オートフォーカスを多用する一般的なユーザは、深度合成機能の存在すら知らず、操作方法も熟知していないことが多い。しかも、深度合成では自動的に複数回の撮影が行われ撮影完了までに長時間を要するので、他の撮影が比較的長時間妨げられる。このため、ユーザにとって、深度合成は利用しにくい機能になっている。

本発明は、ユーザが深度合成機能を簡単に利用することができる撮像装置、操作支援方法及び操作支援プログラムを提供することを目的とする。

本発明に係る撮像装置は、ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部と、上記撮像画像中の各部の被写体距離を求める被写体距離判定部と、上記被写体距離及び上記撮像画像の連続性を判定する連続性判定部と、上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる表示制御部とを具備する。

本発明に係る操作支援方法は、ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部からの上記撮像画像中の各部の被写体距離を求め、上記被写体距離及び上記撮像画像の連続性を判定し、上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる。

また、本発明に係る操作支援プログラムは、コンピュータに、ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部からの上記撮像画像中の各部の被写体距離を求め、上記被写体距離及び上記撮像画像の連続性を判定し、上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させるステップを実行させる。

本発明によれば、ユーザが深度合成機能を簡単に利用することができるという効果を有する。

本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図。 ピント情報取得位置として設定する特徴部の情報を説明するための説明図。 実施の形態の動作を説明するためのフローチャート。 物撮りにおける撮影の様子を示す説明図。 図３中のステップＳ７の具体的な処理の一例を示すフローチャート。 ピント設定表示の表示例を示す説明図。 深度合成による撮像画像のコントラストの変化を示す説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

図１は本発明の一実施の形態に係る撮像装置の回路構成を示すブロック図である。本実施の形態における撮像装置は、撮像部に対して深度合成のための撮像制御を行うと共に、表示部に対して深度合成操作をガイドするためのガイド表示（操作支援表示）を表示させることができるようになっている。

図１において、撮像装置１には撮像部２が設けられている。撮像部２は、ＣＣＤやＣＭＯＳセンサ等の図示しない撮像素子と、被写体の光学像を撮像素子の撮像面に導く図示しない光学系とを備える。光学系は、ズームやフォーカシングのためのレンズ等を備えており、これらのレンズは、レンズ制御部３によって駆動制御されるようになっている。レンズ制御部３のピント変更部３ａは、後述する制御部１１のピント制御部１１ｃからの制御信号に基づいて、フォーカシングのためのレンズを駆動して、ピント位置を変更することができるようになっている。なお、撮像部２において採用する撮像素子としては、像面位相差法においてデフォーカス量を求めるためのフォーカス制御用の画素（以下、ＡＦ画素という）を有するものであってもよい。

また、光学系特性取得部４は、光学系の特性に関する情報を取得して、制御部１１に出力するようになっている。なお、光学系の特性に関する情報としては、後述する深度合成及びガイド表示に必要な情報、例えば、ピント合わせ時の距離とピント位置の関係を示す情報、被写界深度情報、ピント合わせ可能範囲の情報等を含む。また、光学系特性取得部４は、光学系の特性に関する情報として、焦点距離及び絞りの状態を反映させた情報を取得することができるようになっている。

制御部１１は、例えば、図示しないメモリに記憶されたプログラムに従ってカメラ制御を行う図示しないＣＰＵ等のプロセッサによって構成することができる。制御部１１は、撮像部２に撮像素子の駆動信号を出力してシャッタースピード、露光時間等を制御すると共に、撮像部２からの撮影画像を読み出す。制御部１１は、読み出した撮影画像に対して、所定の信号処理、例えば、色調整処理、マトリックス変換処理、ノイズ除去処理、その他各種の信号処理を行う。

制御部１１には、操作判定部１１ｇが設けられている。操作判定部１１ｇは、図示しないシャッターボタン、ファンクションボタン、撮影モード設定等の各種スイッチ等を含む操作部１８に対するユーザ操作を受け付けるようになっている。制御部１１は操作判定部１１ｇの判定結果に基づいて各部を制御する。記録制御部１１ｄは、各種信号処理後の撮像画像を圧縮処理し、圧縮後の画像を記録部１５に与えて記録させることができる。

制御部１１の表示制御部１１ｅは、表示に関する各種処理を実行する。表示制御部１１ｅは、信号処理後の撮影画像を表示部１６に与えることができる。表示部１６は、ＬＣＤ等の表示画面を有しており、表示制御部１１ｅから与えられた画像を表示する。また、表示制御部１１ｅは、各種メニュー表示等を表示部１６の表示画面に表示させることもできるようになっている。

表示部１６の表示画面上には、タッチパネル１６ａが設けられている。タッチパネル１６ａは、ユーザが指で指し示した表示画面上の位置に応じた操作信号を発生することができる。この操作信号は、制御部１１に供給される。これにより、制御部１１は、ユーザがタッチした表示画面上の位置やユーザが表示画面上を指でスライドさせるスライド操作を検出することができ、ユーザ操作に対応した処理を実行することができるようになっている。

なお、表示部１６の表示画面は本体部１０の背面に沿って設けられており、撮影者は、撮影時に表示部１６の表示画面上に表示されたスルー画を確認することができ、スルー画を確認しながら撮影操作を行うこともできる。

本実施の形態においては、深度合成モードにおける使い勝手を向上させるために、表示部１６の表示画面に表示されたスルー画上に、ガイド表示（操作支援表示）として、例えば深度合成モードによるピントの調整の仕方及び調整可否等を示す表示を表示させるようになっている。このような操作支援表示のために、制御部１１には、画像判定部１１ａ、距離分布判定部１１ｂ、連続性及びピント状態判定部１１ｆ並びに深度合成部１１ｉが設けられている。

画像判定部１１ａは、撮像部２からの撮像画像に対する画像解析を行い、解析結果を連続性及びピント状態判定部１１ｆに出力する。また、距離分布判定部１１ｂは、ＡＦ画素を用いることで、撮像画像の各部における被写体距離を算出することができる。なお、距離分布判定部１１ｂは、撮像素子においてＡＦ画素が構成されていない場合には、撮像画像からコントラストを判定する山登り方式によって、各部における被写体距離を算出するようにしてもよい。距離分布判定部１１ｂは距離判定結果を連続性及びピント状態判定部１１ｆに与える。

連続性及びピント状態判定部１１ｆは、撮像画像に対する画像解析結果及び距離判定結果に基づいて、同一物体又は輪郭が連続する被写体（以下、合成対象被写体という）の画像部分を検出する。なお、連続性及びピント状態判定部１１ｆは、輪郭線を判定すると共に、輪郭線上の被写体距離の変化に基づいて、合成対象被写体を判定してもよい。例えば、連続性及びピント状態判定部１１ｆは、被写体距離の変化が所定の閾値よりも大きい場合には、輪郭が不連続であると判定してもよい。

また、連続性及びピント状態判定部１１ｆは、被写体に対する特徴量を用いて、合成対象被写体を検出してもよい。例えば、被写体の特徴量の情報を記録部１５の特徴データベース（ＤＢ）１５ａに記録させてもよい。連続性及びピント状態判定部１１ｆは、特徴ＤＢ１５ａから特徴量を読出し、特徴量を用いて合成対象被写体を検出してもよい。更に、連続性及びピント状態判定部１１ｆは、ユーザによる被写体の指定操作によって、合成対象被写体を決定するようにしてもよい。

連続性及びピント状態判定部１１ｆは、距離分布判定部１１ｂ及び光学系特性取得部４からの情報に基づいて、画像の各部について、ピントのずれ量を求める。連続性及びピント状態判定部１１ｆは、合成対象被写体上のピントのずれ量が所定の範囲内の画像部分についてはピントが合っているものと判定して、当該部分の画像上の位置については合焦していることを示すピント情報を表示制御部１１ｅに出力する。また、連続性及びピント状態判定部１１ｆは、合成対象被写体上のピントがあっていないと判定した画像部分の画像上の位置については非合焦情報であることを示すピント情報を表示制御部１１ｅに出力する。

例えば、連続性及びピント状態判定部１１ｆは、予め合成対象被写体上にピント情報を求める位置（以下、ピント情報取得位置という）を設定し、ピント情報取得位置においてピントが合っていると判定した場合には当該位置について合焦していることを示すピント情報を出力し、ピントが合っていないと判定した場合には当該位置について非合焦であることを示すピント情報を出力するようにしてもよい。例えば、合焦対象被写体の両端及び中央の３箇所をピント情報取得位置に設定し、これらの３箇所のピントが合っているか否かについてのピント情報を表示制御部１１ｅに出力するようにしてもよい。

なお、ピント情報取得位置はユーザの設定操作によって設定することも可能である。また、連続性及びピント状態判定部１１ｆは、合成対象被写体の所定の特徴を有する画像部分（特徴部）をピント情報取得位置に設定してもよい。例えば、記録部１５の特徴データベース（ＤＢ）１５ａがピント情報取得位置として設定する特徴部の情報を保持しておくようにしてもよい。連続性及びピント状態判定部１１ｆは、特徴ＤＢ１５ａから特徴部の情報を読出し、特徴部の情報によって指定された合成対象被写体中の画像特徴の部分を特徴部として検出して、ピント情報取得位置を求めてもよい。なお、特徴ＤＢ１５ａの内容は、ユーザ操作によって変更可能に構成してもよい。

図２はピント情報取得位置として設定する特徴部の情報を説明するための説明図である。図２の例は合成対象被写体の種類毎に、特徴部の情報が設定されている例を示している。図２では、合成対象被写体として、衣料品、酒瓶、ＬＰレコード、壺、人形の例が示してある。例えば、合成対象被写体が酒瓶の場合には、ラベル部分及び瓶の先端が特徴部として設定されていることを示している。例えば、連続性及びピント状態判定部１１ｆは、特徴ＤＢ１５ａから読出した特徴量に基づいて合成対象被写体が酒瓶であるものと判定すると、酒瓶について指定されている特徴部の情報を特徴ＤＢ１５から読出して、酒瓶のラベル部分及び瓶の先端部分をピント情報取得位置に設定する。

なお、特徴部の情報としては、合成対象被写体の種類に拘わらず、ピンぼけ部分、文字部分、色に変化がある部分、濃淡に変化がある部分等のように、画像中のユーザが見たいと考えられる部分を指定するものであってもよい。

表示制御部１１ｅは、ピント情報取得位置についてのピント情報が与えられ、深度合成モード時には、スルー画上のピント情報取得位置に対応する画像部分にピント情報に応じた表示（以下、ピント設定表示という）を操作支援表示として表示するようになっている。このピント設定表示は、ピント情報取得位置におけるピントの状態を示すものであると共に、深度合成モードにおいてユーザがピントを合わせたい位置を指定するためにも用いられる。

即ち、本実施の形態における深度合成モードでは、ピント位置を変更しながら複数回の撮影を行う深度合成処理において、ユーザがピント位置を指定することができる。例えば、ユーザは、タッチパネル１６ａ上からピント設定表示上をタッチすることで、当該ピント設定表示に対応するピント情報取得位置についてピントを合わせるよう指定することができる。タッチパネル１６ａはユーザが指定したピント情報取得位置を合焦指定位置として連続性及びピント状態判定部１１ｆに出力することができるようになっている。連続性及びピント状態判定部１１ｆは、タッチパネル１６ａからユーザの指定操作に基づく合焦指定位置の情報が与えられると、合焦指定位置の距離に対応するピント位置をピント制御部１１ｃに設定することができる。

ピント制御部１１ｃは、撮像部２の光学系に対する合焦制御のための制御信号を発生してレンズ制御部３に出力する。ピント制御部１１ｃは、深度合成のためのピント制御を行うことができるようになっている。例えば、ピント制御部１１ｃは、連続性及びピント状態判定部１１ｆから合焦指定位置に対応するピント位置の情報が与えられると、深度合成時のピント位置として、合焦指定位置に対応するピント位置を設定する。これにより、深度合成に際して合焦指定位置に対応したピント位置での撮影が行われる。制御部１１は深度合成モード時における複数回の撮影によって取得した撮像画像を記録制御部１１ｄによって、記録部１５に記録することができる。

深度合成部１１ｉは、記録部１５から深度合成モード時に得られた複数枚の撮像画像を読出し、読出した複数枚の撮像画像を用いた深度合成を行い、合成結果の合成画像を記録制御部１１ｄに与えて記録部１５に記録させるようになっている。

なお、図１の例では、制御部１１が深度合成部１１ｉを有する例を説明したが、深度合成モード時に得られた複数枚の撮像画像を記録部１５から読出し、通信制御部１１ｈによって、通信部１７を介して図示しない外部機器に送信し、外部機器において深度合成による合成画像を取得するようにしてもよい。通信制御部１１ｈは、通信部１７を介して外部機器から深度合成による合成画像を受信すると、受信した合成画像を記録制御部１１ｄに与えて記録部１５に記録させるようになっている。

次に、このように構成された実施の形態の動作について図３乃至図７を参照して説明する。図３は実施の形態の動作を説明するためのフローチャートである。

インターネット等を介して物品を販売するネット販売では、販売する商品等の写真をサイト上に掲載することがある。この場合の商品写真については、通常細部まで鮮明な画像であった方がよい。しかしながら、商品が奥行き方向に長い部分を有する商品を撮影する場合には、商品の各部の被写体距離が比較的大きく異なる場合がある。このため、絞りを絞れなかったり、被写体距離が小さすぎたりする場合には、撮影機器の焦点深度が浅くなり、商品の一部にしかピントが合っていない画像が撮影されてしまうことがある。表示部１６の表示画面上に表示された画像ではピント状態を確認しづらいことから、撮影者は、ピントが合っていないことに気付かずに、撮影画像をそのままアップロードしてしまうことがある。本実施の形態では、撮影者が深度合成モードに詳しくない場合でも、このようなユースシーンにおいて、細部までピントが合った画像の撮影を容易にする。

図３では、このような物品の撮影、所謂物撮りモードでは、自動的に深度合成モードに移行して、商品の細部まで鮮明な画像を得るための撮影支援を行う例を示している。なお、物撮り時だけでなく、各種撮影シーンを判定して、深度合成モードに移行するようにしてよく、また、ユーザ操作によって、深度合成モードに移行するようにしてもよいことは明らかである。

図３のステップＳ１において、制御部１１は、撮影モードが指示されたか否かを判定する。撮影モードが指示されていない場合には、制御部１１は、再生モード等の他のモードに移行する。

撮影モードが指示されると、ステップＳ２において、制御部１１は撮像部２からの撮像画像を取込む。制御部１１は、撮像画像に対して所定の信号処理を施した後、表示制御部１１ｅに与える。表示制御部１１ｅは、信号処理後の撮像画像を表示部１６に与えて表示させる。こうして、表示部１６の表示画面上において、スルー画が表示される（ステップＳ３）。

図４は物撮りにおける撮影の様子を示す説明図である。テーブル２４上には物品（商品）である瓶２３が載置されている。ユーザ２１は、瓶２３が視野範囲に入るように、右手２２で撮像装置１の筐体１ａを把持して構える。撮影モード時には、この状態で撮像装置１の背面に設けた表示部１６の表示画面１６ｂ上に、スルー画が表示される。ユーザ２１はこのスルー画を確認しながら、瓶２３の撮影を行う。

制御部１１の画像判定部１１ａは、ステップＳ４において、撮像画像の画像判定を行う。例えば、画像判定部１１ａは、特徴ＤＢ１５等に記憶された特徴量を利用することで、スルー画中に含まれる画像が、物品の画像であることを判定することができる。制御部１１は、撮像画像の画像判定によって、物撮りが行われようとしているか否かを判定する（ステップＳ５）。

制御部１１は、画像判定の結果、物撮りが行われるものと判定した場合には物撮りモードを設定して処理をステップＳ６に移行し、物撮りが行われないものと判定した場合には処理をステップＳ９に移行する。ステップＳ９ではレリーズ操作が判定される。制御部１１は、ステップＳ９において、例えばユーザによるシャッタボタンの押下操作等の撮影操作が行われたことを検出すると、ステップＳ１０において撮影を行う。この場合には、通常の撮影モードで被写体が撮影されて、撮像画像の記録が行われる。

物撮りモードでは、ステップＳ６において距離分布が検出される。距離分布判定部１１ｂは、撮像画像の各部についての被写体距離を求める。次に、制御部１１は、深度合成モードにおける操作支援表示の表示を行う位置に対応するピント情報取得位置を検出する（ステップＳ７）。

図５は図３中のステップＳ７の具体的な処理の一例を示すフローチャートである。

制御部１１の連続性及びピント状態判定部１１ｆは、ステップＳ３１において現在のピント位置を判定し、ステップＳ３２においてレンズ性能を判定する。次に、連続性及びピント状態判定部１１ｆは、合焦対象被写体を判定する。なお、図５のステップＳ３３は、特徴ＤＢ１５ａに記憶された特徴量と画像解析結果との比較によって、合焦対象被写体を判定可能であるか否かを判定することを示している。例えば、特徴ＤＢ１５ａに図２に示す特徴部の情報が保持されており、図４に示す撮影が行われた場合には、連続性及びピント状態判定部１１ｆは、撮像画像中の瓶２３に対応する画像を、合焦対象被写体として判定することができる。この場合には、連続性及びピント状態判定部１１ｆは、ステップＳ３４において、特徴ＤＢ１５ａから特徴部に関する情報を読み出す。

なお、連続性及びピント状態判定部１１ｆは、輪郭線及び画像の連続性の判定によって、特徴ＤＢ１５ａを利用することなく、合焦対象被写体を検出可能である。連続性及びピント状態判定部１１ｆは、ステップＳ３４において読出した特徴部に関する情報に加えて、共通特徴部の情報を用いてピント情報取得位置を決定する（ステップＳ３５）。共通特徴部としては、例えば、ピントが合っていると判定される範囲内の輪郭線、合焦対象被写体内に含まれる文字、繰り返しパターン模様、鮮やかな色彩パターン等が考えられる。これらの共通特徴部の情報についても具体的な閾値等を含めて特徴ＤＢ１５ａに格納しておくことができる。連続性及びピント状態判定部１１ｆは、ステップＳ３４において読出した特徴部及びステップＳ３５において取得した共通特徴部の情報に基づいて、合焦対象被写体上のピント情報取得位置を決定する。

制御部１１は、上述した各ステップにおいてピント情報取得位置が決定されたか否かを判定する（図３のステップＳ８）。撮影された被写体によっては、特徴部が存在しない等の理由によりピント情報取得位置が決定しない場合もある。この場合には、制御部１１は、処理をステップＳ９に移行してレリーズ操作の有無を判定する。

ピント情報取得位置が決定された場合には、連続性及びピント状態判定部１１ｆは、ステップＳ８からステップＳ１１に移行して、各ピント情報取得位置おけるピント状態を検出する。次に、連続性及びピント状態判定部１１ｆは、ピント情報取得位置おけるピント状態の情報（ピント情報）を表示制御部１１ｅに与えて、表示部１６にピント設定表示を表示させる（ステップＳ１２，Ｓ１３）。

図６はこのようなピント設定表示の表示例を示す説明図である。図６は図４の瓶２３の撮影に対応したものであり、図６（ａ）は最初のピント設定表示を示しており、図６（ｂ）は深度合成後のピント設定表示を示している。

図６（ａ）に示すように、表示部１６の表示画面１６ｂ上には、合焦対象被写体である瓶２３の画像２３ａが表示されている。なお、画像２３ａ中の破線部３３はピントが十分に合っていない部分を示している。図６の例は、ピント情報取得位置として、瓶２３の上端、中央及び底部近傍のラベル（図示せず）部分が設定された例を示しており、これらのピント情報取得位置にそれぞれ対応したピント設定表示３１ａ〜３１ｃが表示されている。図６（ａ）の丸印を含むピント設定表示３１ｂはステップＳ１２によって合焦のピント設定表示が表示されたことを示しており、図６（ａ）の三角印を含むピント設定表示３１ａ，３１ｃはステップＳ１３によって非合焦のピント設定表示が表示されたことを示している。なお、三角印のピント設定表示は、現在のピント位置ではピントは合っていないが、ピント位置を変化させることによってピントを合わせることが可能であることを示している。また、ステップＳ１３では、現在のピント位置ではピントは合っておらず、また、ピント位置を変化させたとしてもピントを合わせることができないことを示す×印を含むピント設定表示を表示させることもできる。

物撮りモード時には、スルー画上に、このようなピント設定表示３１ａ〜３１ｃが自動的に表示される。従って、ユーザは物品の撮影に際して、簡単にピント状態を確認することができる。更に、本実施の形態においては、深度合成時におけるピント位置をユーザが設定可能であり、ピント設定表示上をタッチすることで、タッチしたピント設定表示に対応するピント情報取得位置に応じたピント位置での撮像が行われる。例えば、表示制御部１１ｅは、図６（ａ）に示す表示画面１６ｂ上に、「ピントを合わせたい部分をタッチしてください」等のメッセージを表示させるようにしてもよい。

即ち、連続性及びピント状態判定部１１ｆは、ステップＳ１４において、このようなユーザによるピント設定表示のタッチ操作があったか否かを判定する。例えば、ユーザが指３２によって、ピント設定表示３１ｃ上をタッチするものとする。タッチパネル１６ａによってこのタッチ操作が検出され、連続性及びピント状態判定部１１ｆは、タッチされたピント設定表示３１ｃに対応するピント情報取得位置が合焦指定位置として与えられる。連続性及びピント状態判定部１１ｆは、合焦指定位置に対応する距離に基づくピント位置を含むピント位置をピント制御部１１ｃに設定する。ピント制御部１１ｃは、合焦指定位置におけるピント合わせが可能となるように、ピント変更部３ａにピント位置を変更させるための制御信号を出力する。こうして、指定された合焦指定位置についてはピントが合った撮像が行われる。

記録制御部１１ｄは、ピント位置を変更する前の撮像画像を記録部１５に与えて記録し（ステップＳ１５）、次に、ピント位置変更後の撮像画像を記録部１５に与えて記録する。深度合成部１１ｉは、記録部１５からピント位置変更前後の撮像画像を読出して深度合成する（ステップＳ１７）。深度合成により生成された撮像画像は表示制御部１１ｅによって、表示部１６に表示される（ステップＳ１８）。

制御部１１はステップＳ１９においてレリーズ操作があったか否かを判定しており、レリーズ操作がない場合には処理をステップＳ１１に戻して、深度合成による合成画像に対するピント状態を検出して、ピント設定表示を行う。

図６（ｂ）はこの場合の表示例を示している。また、図７は深度合成による撮像画像のコントラストの変化を示す説明図である。図７の縦軸は瓶２３の画像の縦方向の位置に対応し、横軸はコントラストを示しており、左側の曲線は図６（ａ）に対応した深度合成前のコントラストを示し、中央の曲線はピント位置を変更して得た撮像画像のコントラストを示し、右側の曲線は図６（ｂ）に対応した深度合成画像のコントラストを示している。

図７の左側の特性は、図６（ａ）に対応する撮像画像では瓶２３の中央に対応する画像部分にピントが合っており、この部分でコントラストが高いことを示している。また、図７の中央の特性は、ユーザのピント設定表示３１ｃのタッチによりピント位置が変更されたことによって、瓶２３の底部側においてピントが合い、この部分のコントラストが高い撮像画像が得られたことを示している。図７の右側の特性は、図７の左側の特性及び中央の特性を合成して得られるものであり、深度合成によって瓶２３の中央部及び底部に対応する画像部分はコントラストが高くピントが合っていることを示している。このように、ピント状態の変化は、ピント位置を変えた場合のコントラストの変化等によって判定することができる。

このようなピント状態の変化に応じて、図６（ｂ）に示すように、ピント設定表示３１ｃは、ピントが合っていない状態を示す三角印からピントが合っていることを示す丸印に変化する。また、ピント設定表示３１ｃに対応する部分等において、深度合成によるピント状態の修正が行われたことを示す表示３４も表示されており、ユーザは、表示画面１６ｂ上の表示によって、深度合成が行われたこと及び深度合成による効果を簡単に認識することができる。

ユーザが更に他のピント設定表示上をタッチすると、処理はステップＳ１４からステップＳ１５に移行して、深度合成が繰り返される。ステップＳ１４の判定時に、ピント設定表示上がタッチされていない場合には、処理がステップＳ２１に移行して、深度合成が１回でも行われたか否かが判定される。制御部１１は、深度合成が１回も行われていない場合及び次のステップＳ２２においてリセット操作が行われない場合には、処理をステップＳ１９に移行して深度合成処理に対するユーザのタッチ操作の待機状態となる。

１回以上の深度合成が既に行われている場合には、制御部１１は、ステップＳ２１からステップＳ２２に移行してリセット操作が行われたか否かを判定する。表示制御部１１ｅによって表示画面１６ｂ上には、やり直しのためのリセット表示３５が表示されており、ユーザがこのリセット表示３５上をタッチすると、制御部１１はステップＳ２３において、合成画像を消去する。

制御部１１は、ステップＳ１９においてユーザがレリーズ操作を行ったことを検出すると、ステップＳ２０において、記録部１５に格納された撮像画像を記録画像として記録部１５に記録する。即ち、ユーザがピント設定表示上をタッチ操作することなくレリーズ操作した場合には深度合成が行われていない撮像画像が記録され、ユーザがピント設定表示上を１回以上タッチ操作した後レリーズ操作した場合には、深度合成が行われた撮像画像が記録される。

なお、図３の例では、ピント設定表示がタッチされると、ステップＳ１５〜Ｓ１８において、深度合成処理が行われて合焦状態が得られるように制御されているが、深度合成処理に変えて被写界深度の設定によって合焦状態を得るようにしてもよい。例えば、制御部１１は、ステップＳ１４においてタッチ判定された場合には、被写界深度の設定によって合焦状態が得られるか否かを判定し、得られと判定した場合には絞りを絞るようにレンズ制御部３を制御して、ステップＳ１９に移行すればよい。

このように本実施の形態においては、深度合成モードでは、深度合成の対象となる合成対象被写体を検出して、合成対象被写体の各部の現在のピント状態をガイド表示するようになっており、ユーザはピント状態を簡単に認識することができる。更に、ユーザがピントを合わせたい位置を、画面上のタッチ操作によって簡単に指定することができるようになっており、深度合成のための有効な指定が可能である。また、ピント状態を表示する位置やピントを合わせたい位置を、特徴部として登録することで、ユーザがピントを合わせたいであろうと考えられる画像部分を自動的に検出して、ピント状態を表示させると共に深度合成におけるピント位置として指定することが可能である。これにより、極めて簡単な操作で、ピントを合わせたい部分において確実な合焦動作が可能となる。また、被写体の撮像画像に基づいて撮影シーンを判定して自動的に深度合成モードに移行するようになっており、深度合成を行った方がよいと考えられるシーンでは、ユーザが意識することなく、確実な合焦動作が可能となる。こうして、深度合成について熟知していないユーザであっても、比較的簡単に深度合成を利用しその恩恵を得ることができる。

さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、レンズ型カメラでも、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話やスマートフォンなど携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。また、内視鏡、顕微鏡のような産業用、医療用の光学機器でもよく、監視カメラや車載用カメラ、据え置き型のカメラ、例えば、テレビジョン受信機やパーソナルコンピュータ等に取り付けられているカメラであってもよい。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

なお、特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。また、これらの動作フローを構成する各ステップは、発明の本質に影響しない部分については、適宜省略も可能であることは言うまでもない。

また、ここで説明した技術のうち、主にフローチャートで説明した制御や機能は、多くがプログラムにより設定可能であり、そのプログラムをコンピュータが読み取り実行することで上述した制御や機能を実現することができる。そのプログラムは、コンピュータプログラム製品として、フレキシブルディスク、ＣＤ−ＲＯＭ等、不揮発性メモリ等の可搬媒体や、ハードディスク、揮発性メモリ等の記憶媒体に、その全体あるいは一部を記録又は記憶することができ、製品出荷時又は可搬媒体或いは通信回線を介して流通又は提供可能である。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に本実施の形態の画像処理装置を実現することができる。

［付記］
（付記項１）
ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部と、
上記撮像画像を表示部に表示させる表示制御部と、
上記撮像画像中の各部のピント状態を判定し、上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記深度合成の前後における上記ピント状態の判定結果に基づくガイド表示を、上記表示制御部に表示させるピント状態判定部と
を具備したことを特徴する撮像装置。
（付記項２）
上記光学系のピント位置を制御するピント制御部を具備し、
上記ピント制御部は、上記深度合成モードにおいて、上記ガイド表示に対するユーザ操作に基づいて上記光学系のピント位置を決定する
ことを特徴する付記項１に記載の撮像装置。

１…撮像装置、２…撮像部、３…レンズ制御部、４…光学特性取得部、１１…制御部、１１ａ…画像判定部、１１ｂ…距離分布判定部、１１ｃ…ピント制御部、１１ｄ…記録制御部、１１ｅ…表示制御部、１１ｆ…連続性及びピント状態判定部、１１ｈ…通信制御部、１１ｉ…深度合成部、１５…記録部、１５ａ…特徴データベース、１６…表示部、１６ａ…タッチパネル、１７…通信部、１８…操作部。

Claims (8)

1. ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部と、
   上記撮像画像中の各部の被写体距離を求める被写体距離判定部と、
   上記被写体距離及び上記撮像画像の連続性を判定する連続性判定部と、
   上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる表示制御部と
   を具備したことを特徴する撮像装置。
2. 上記連続性判定部によって連続性を有すると判定された画像部分について、ピント状態を判定するピント状態判定部を具備し、
   上記表示制御部は、上記撮像画像の表示上に、上記ピント状態の判定結果に基づく表示を上記ガイド表示として表示させる
   ことを特徴とする請求項１に記載の撮像装置。
3. 上記ピント状態判定部は、上記深度合成により得られる合成画像について上記連続性判定部によって連続性を有すると判定された画像部分のピント状態を判定し、
   上記表示制御部は、上記深度合成により得られる合成画像の表示上に、上記ピント状態の判定結果に基づく表示を上記ガイド表示として表示させる
   ことを特徴とする請求項２に記載の撮像装置。
4. 上記ピント状態判定部は、上記連続性判定部によって連続性を有すると判定された画像部分のうち特徴データベースに記録されている情報に基づく特徴部を検出し、検出した特徴部についてのピント状態を判定する
   ことを特徴とする請求項２又は３に記載の撮像装置。
5. 上記光学系のピント位置を制御するピント制御部を具備し、
   上記ピント制御部は、上記深度合成モードにおいて、上記ガイド表示に対するユーザ操作に基づいて上記光学系のピント位置を決定する
   ことを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
6. 上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成部
   を具備したことを特徴する請求項１乃至５のいずれか１つに記載の撮像装置。
7. ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部からの上記撮像画像中の各部の被写体距離を求め、
   上記被写体距離及び上記撮像画像の連続性を判定し、
   上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる
   操作支援方法。
8. コンピュータに、
   ピント位置を可変の光学系による被写体光学像に基づく撮像画像を得る撮像部からの上記撮像画像中の各部の被写体距離を求め、
   上記被写体距離及び上記撮像画像の連続性を判定し、
   上記光学系のピント位置を変化させながら得られる複数の撮像画像を深度合成する深度合成モードにおいて、上記連続性の判定結果に基づいて、上記深度合成操作を支援するためのガイド表示を表示部に表示させる
   ステップを実行させるための操作支援プログラム。