JP2018046542A - 画像処理装置及び撮像装置 - Google Patents

Abstract

【課題】複数の画像を合成してより深い被写界深度の画像を生成する際の合成範囲の指定におけるユーザの利便性を向上した撮像装置を提供する。【解決手段】撮像装置は、撮像部により生成された複数の画像データを用いて深度合成して静止画データを生成する画像処理部と、ユーザが深度合成する範囲を指定するための画面であって、撮像部により生成された画像データが示す画像を表示する範囲指定画面４０を表示する表示部と、画像処理部及び表示部を制御する制御部とを備える。制御部は、範囲指定画面４０上でユーザにより第１及び第２の画像領域が指定された場合に、第１の画像領域における被写体の合焦位置と、第２の画像領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定する。表示部は、範囲指定画面４０上で、第１及び第２の画像領域と、特定された他の画像領域とを深度合成範囲として強調表示５１を行う。【選択図】図１２Ｃ

Description

本開示は、複数の画像を合成し、深い被写界深度の画像を生成する機能を有する画像処理装置及び撮像装置に関する。

特許文献１は、フォーカスを変えた複数の画像を撮像し、撮像した画像より被写界深度を拡大した画像を複数の画像から生成する撮像装置を開示する。特許文献１の撮像装置では、操作者は合焦したい被写体を複数選択し、操作者により選択された被写体のフォーカス位置に基づいて画像が撮像される。これにより、操作者の意図に沿ったフォーカス位置で合焦した合成画像が得られる。

特開２０１４−２０７５０２号公報

複数の画像を合成し、より深い被写界深度の画像を生成する場合、ユーザは合焦させたい被写体の範囲（合成範囲）を特定する必要がある。

本開示は、複数の画像を合成してより深い被写界深度の画像を生成する際の合成範囲の指定におけるユーザの利便性を向上した画像処理装置及び撮像装置を提供する。

本開示の一態様において画像処理装置及び撮像装置が提供される。画像処理装置及び撮像装置は、合焦位置を変化させながら被写体像を撮像することにより生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、ユーザが所望の合焦範囲を指定するための画面であって、画像データが示す画像を複数の画像領域とともに表示する範囲指定画面を表示する表示部と、範囲指定画面に対するユーザによる画像領域の指定を受け付ける操作部と、画像処理部及び前記表示部を制御する制御部と、を備える。制御部は、範囲指定画面上でユーザにより第１及び第２の画像領域が指定された場合に、第１及び第２の画像領域をそれぞれ始点領域及び終点領域として設定し、始点領域における被写体の合焦位置と、終点領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定し、始点領域及び終点領域と、特定された他の画像領域とを合成範囲として設定する。表示部は範囲指定画面上で合成範囲として設定された画像領域に対して第１の強調表示を施す。

本開示の画像処理装置及び撮像装置によれば、ユーザにより２つの画像領域が指定されたときに、深度合成のために合成される画像領域、すなわち、合焦される被写体の範囲が強調表示される。これにより、ユーザは、被写体において合焦される範囲を容易に認識することができる。また、ユーザは、合焦させたい被写体の範囲の始点と終点を指定するだけで合焦範囲を指定できる。よって、深度合成において合焦させたい被写体の範囲を設定する際のユーザの利便性を向上できる。

実施の形態に係るデジタルカメラの構成を示す図 デジタルカメラの背面図 深度合成処理を行うとき処理の流れを示すフローチャート マルチフォーカス動画の記録時におけるフォーカスレンズの移動を説明した図 マルチフォーカス動画のフレーム画像を用いた深度合成の概念を説明した図 （Ａ）画像領域に設定された複数のＡＦ領域を説明した図、（Ｂ）一つのＡＦ領域における、フォーカスレンズの移動に伴うコントラスト値の変化を説明した図 合焦情報テーブルの例を示した図 フォーカスセレクト動画の記録処理を示すフローチャート マルチフォーカス動画の記録時のフォーカスレンズの移動範囲を説明した図 深度合成処理を示すフローチャート プレビュー画像の例を示した図 深度合成を実施するか否かをユーザに確認するための画面の例を示した図 深度合成範囲を指定するための範囲指定画面の表示例を示した図 深度合成範囲を指定するための範囲指定画面の表示例を示した図 深度合成範囲を指定するための範囲指定画面の表示例を示した図 深度合成範囲を指定するための範囲指定画面の表示例を示した図 ユーザによる領域の指定に応じて設定される深度合成範囲の変化を説明した図 深度合成範囲の設定処理を示すフローチャート 警告領域の強調表示処理を示すフローチャート 深度合成範囲の強調表示処理を示すフローチャート

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるものであって、これらによって特許請求の範囲に記載の主題を限定することは意図されていない。

以下、図面を用いて本開示に係る撮像装置の実施の形態を説明する。

（実施の形態１）
［１．構成］
実施の形態１に係るデジタルカメラ（撮像装置の一例）の電気的構成について図１を用いて説明する。図１は、デジタルカメラ１００の構成を示すブロック図である。デジタルカメラ１００は、１又は複数のレンズからなる光学系１１０により形成された被写体像をＣＣＤ１４０で撮像する撮像装置である。ＣＣＤ１４０で生成された画像データは、画像処理部１６０で各種処理が施され、メモリカード２００に格納される。以下、デジタルカメラ１００の構成を詳細に説明する。

光学系１１０は、フォーカスレンズ１１１及びズームレンズ１１２を含む。ズームレンズ１１２を光軸に沿って移動させることにより、被写体像の拡大又は縮小をすることができる。また、フォーカスレンズ１１１を光軸に沿って移動させることにより、被写体像のピント（合焦状態）を調整することができる。また、光学系１１０は、デジタルカメラ１００のブレによる画像のブレを補正するための手振れ補正レンズ１１３を含む。

レンズ駆動部１２０は、光学系１１０に含まれる各種レンズを駆動させる。レンズ駆動部１２０は、例えばズームレンズ１１２を駆動するズームモータや、フォーカスレンズ１１１を駆動するフォーカスモータを含む。

絞り部３００は、ユーザの設定に応じて又は自動で開口部の大きさを調整し、開口部を透過する光の量を調整する。

シャッタ部１３０は、ＣＣＤ１４０に透過させる光を遮光するための手段である。シャッタ部１３０は、光学系１１０及び絞り部３００とともに、被写体像を示す光学情報を制御する。また、光学系１１０及び絞り部３００はレンズ鏡筒（図示せず）内に収納される。

ＣＣＤ１４０は、光学系１１０で形成された被写体像を撮像して、画像データを生成する。ＣＣＤ１４０は、カラーフィルタと、受光素子と、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌｌｅｒ）とを含む。受光素子は、光学系１１０によって集光された光学的信号を電気信号に変換し、画像情報を生成する。ＡＧＣは、受光素子から出力された電気信号を増幅する。ＣＣＤ１４０は撮像部の一例である。

ＡＤＣ（Ａ／Ｄコンバータ：アナログ−デジタル変換器）１５０は、ＣＣＤ１４０で生成されたアナログ画像データをデジタル画像データに変換する。

画像処理部１６０は、ＣＣＤ１４０で生成され、変換されたデジタル画像データに対して、コントローラ１８０の制御を受け、各種処理を施す。画像処理部１６０は、表示モニタ２２０に表示するための画像データを生成したり、メモリカード２００に格納するための画像データを生成したりする。例えば、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに対して、ガンマ補正、ホワイトバランス補正、傷補正などの各種処理を行う。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データを、Ｈ．２６４規格やＭＰＥＧ２規格に準拠した圧縮形式等により圧縮する。また、画像処理部１６０は、ＣＣＤ１４０で生成された画像データに基づいて、例えば、画素数４０００×２０００前後の動画の画像データ（４Ｋ動画データ）を生成することができる。画像処理部１６０は、生成した４Ｋ動画データに対して後述する種々の処理を行うことができる。例えば、画像処理部１６０は、生成した４Ｋ動画データを構成するフレーム画像を用いて深度合成（焦点合成）処理を行う（詳細は後述）。

コントローラ１８０は、デジタルカメラ１００の全体を制御する制御手段である。コントローラ１８０は、半導体素子などで実現可能である。コントローラ１８０は制御部の一例である。

画像処理部１６０やコントローラ１８０は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラ１８０は、マイコン、ＣＰＵ、ＭＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ、ＦＰＧＡなどで実現できる。

バッファ１７０は、画像処理部１６０及びコントローラ１８０のワークメモリとして機能する。バッファ１７０は、例えば、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、強誘電体メモリなどで実現できる。

カードスロット１９０は、メモリカード２００をデジタルカメラ１００に装着するための手段である。カードスロット１９０は、機械的及び電気的にメモリカード２００とデジタルカメラ１００を接続可能である。

メモリカード２００は、フラッシュメモリや強誘電体メモリなどを内部に含み、画像処理部１６０で生成された画像ファイル等のデータを格納可能である。

内蔵メモリ２４０は、フラッシュメモリや強誘電体メモリなどで構成される。内蔵メモリ２４０は、デジタルカメラ１００全体を制御するための制御プログラムやデータ等を記憶している。

操作部材２１０は、ユーザからの操作を受け付けるユーザーインターフェースの総称である。操作部材２１０は、ユーザからの操作を受け付けるボタン、レバー、ダイヤル、タッチパネル、スイッチ等を含む。また、操作部材２１０は、レンズ鏡筒の外周に設けられたフォーカスリングを含む。フォーカスリングは、フォーカスレンズ１１１を移動させるためにユーザにより回転操作される部材である。

表示モニタ２２０は、ＣＣＤ１４０で生成した画像データが示す画像（スルー画像）や、メモリカード２００から読み出した画像データが示す画像を表示可能である。また、表示モニタ２２０は、デジタルカメラ１００の各種設定を行うための各種メニュー画面等も表示可能である。表示モニタ２２０は、液晶表示デバイスや有機ＥＬ表示デバイスで構成される。表示モニタ２２０は表示部の一例である。

図２は、デジタルカメラ１００の背面を示した図である。図２では、操作部材２１０の例として、レリーズボタン２１１、選択ボタン２１３、決定ボタン２１４、タッチパネル２２２が示されている。操作部材２１０は、ユーザによる操作を受け付けると、コントローラ１８０に種々の指示信号を送信する。

レリーズボタン２１１は、二段押下式の押下式ボタンである。レリーズボタン２１１がユーザにより半押し操作されると、コントローラ１８０はオートフォーカス制御（ＡＦ制御）やオート露出制御（ＡＥ制御）などを実行する。また、レリーズボタン２１１がユーザにより全押し操作されると、コントローラ１８０は、押下操作のタイミングに撮像された画像データを記録画像としてメモリカード２００等に記録する。

選択ボタン２１３は、上下左右方向に設けられた押下式ボタンである。ユーザは、上下左右方向のいずれかの選択ボタン２１３を押下することにより、カーソルや後述する枠を移動したり、表示モニタ２２０に表示される各種条件項目を選択したりすることができる。

決定ボタン２１４は、押下式ボタンである。デジタルカメラ１００が撮影モードあるいは再生モードにあるときに、決定ボタン２１４がユーザにより押下されると、コントローラ１８０は表示モニタ２２０にメニュー画面を表示する。メニュー画面は、撮影/再生のための各種条件を設定するための画面である。決定ボタン２１４が各種条件の設定項目が選択されているときに押下されると、コントローラ１８０は、選択された項目の設定を確定する。

タッチパネル２２２は、表示モニタ２２０の表示画面と重畳して配置され、ユーザの指による表示画面上へのタッチ操作を検出する。これにより、ユーザは、表示モニタ２２０に表示された画像に対する領域の指定等の操作を行える。タッチパネル２２２は、操作部の一例である。

［２．動作］
以上のような構成を有するデジタルカメラ１００の動作を説明する。デジタルカメラ１００は、それぞれ異なる合焦位置（フォーカスレンズ位置）で撮影された複数の画像を合成して擬似的に深い被写界深度を有する１つの静止画を生成する深度合成（焦点合成）機能を有する。深度合成機能を有する点でデジタルカメラ１００は画像処理装置の一例である。以下、デジタルカメラ１００の深度合成機能に関する動作について説明する。

［２−１．深度合成］
図３は、デジタルカメラ１００の深度合成機能を実行する時の処理の流れを説明した図である。デジタルカメラ１００は、深度合成に使用するための複数の静止画を得るために、合焦位置（焦点位置）を変更しながら動画を記録する処理を行う（Ｓ１）。その後、デジタルカメラ１００は、記録した動画に含まれるフレーム画像（静止画）を用いて深度合成処理（Ｓ２）を実行し、深い被写界深度の静止画を生成する。なお、深度合成処理（Ｓ２）は、動画の記録処理（Ｓ１）に続いて連続して実行されてもよいし、動画の記録処理（Ｓ１）の完了後の任意のタイミングで実行されてもよい。

［２−１−１．深度合成のための動画の記録］
図４〜図７を参照して、深度合成に使用するための動画の記録処理（Ｓ１）について説明する。この処理では、異なる合焦位置を有する複数の静止画（フレーム画像）を得るために、合焦位置を連続的に変化させながら動画を記録する。以下このようにして記録される動画を「マルチフォーカス動画」という。デジタルカメラ１００においては、このマルチフォーカス動画を記録するための特定の撮影モードを有している。ユーザは、例えばメニューや操作ダイヤルを操作することにより、デジタルカメラ１００をその特定の撮影モードに設定できる。

マルチフォーカス動画は、合焦位置を連続的に変化させながら記録される動画である。マルチフォーカス動画として、例えば、画素数４０００×２０００前後の高解像度の４Ｋ動画が記録される。この４Ｋ動画を構成するフレーム画像においてユーザ指定に基づき選択された複数のフレーム画像を用いて、深度合成処理が実行される。このようにして深度合成された画像は４Ｋ動画に基づいているため高い画質を有している。

マルチフォーカス動画の記録では、図４に示すように至近端側から無限端側（またはその逆）に向かってフォーカスレンズ１１１を移動させながら、すなわち、合焦位置を変化させながら動画撮影を行う。このようにして記録されたマルチフォーカス動画は、図５に示すように、それぞれ異なる合焦位置で記録された複数フレーム画像Ｐｎを含む。深度合成処理において、このようにして撮影された複数フレーム画像Ｐｎの中から、ユーザにより指定された被写体の範囲に該当するフレーム画像（図５中、ハッチングされた画像）が選択され、合成される（詳細は後述）。

本実施の形態のデジタルカメラ１００では、オートフォーカス動作に関して、図６の（Ａ）に示すように画像領域４００において複数のＡＦ領域が設定されている。本実施の形態では４９個（７行×７列）のＡＦ領域が設定されている。ＡＦ領域毎に、そのＡＦ領域内の被写体に合焦しているフレーム（以下「合焦フレーム」という）が求められ、求められた合焦フレームに関する情報が合焦情報テーブルに記録される。デジタルカメラ１００は、マルチフォーカス動画を記録（撮影）する前にフォーカスサーチ動作を行い、各ＡＦ領域の合焦フレームを検出して合焦情報テーブルを生成する。

図７は、合焦情報テーブルのデータ構造を示した図である。合焦情報テーブル６０は、図７の（Ａ）に示すように、フォーカスサーチ動作及び動画記録動作におけるフォーカスレンズ１１１の駆動範囲を示す情報を含む。具体的には、合焦情報テーブル６０は、フォーカスレンズ１１１の駆動範囲を示す情報として、最も至近端側のフォーカスレンズ位置（Pnear）を示す情報（最近合焦レンズ位置）と、最も無限端側のフォーカスレンズ位置（Pfar）を示す情報（最遠合焦レンズ位置）とを格納する。さらに、合焦情報テーブル６０は、図７の（Ｂ）に示すように、各ＡＦ領域に対して、各ＡＦ領域に対するフォーカスレンズ位置（各ＡＦ領域にて合焦するときのフォーカスレンズ１１１の位置：合焦位置）と、各ＡＦ領域において合焦状態を有するフレームのフレーム番号とを対応づけて管理する。

例えば、フォーカスレンズ１１１を移動させながらＡＦ領域毎にコントラスト値を求める。このとき、図６の（Ａ）に示す第１９ＡＦ領域４１について、図６の（Ｂ）に示すように、フォーカスレンズ位置Ｐにおいてコントラスト値のピークが検出された場合、そのフォーカスレンズ位置Ｐのときに撮影されたフレーム（この例では、第５０フレーム）を、第１９ＡＦ領域４１に対する合焦フレームとする。そして、合焦情報テーブル６０において、第１９ＡＦ領域に対して、合焦フレームのフレーム番号として「５０」が、フォーカスレンズ１１１の位置として「Ｐ」が記録される。合焦情報テーブル６０は、例えば動画撮影により得られた動画データのヘッダ部に格納される。

図８のフローチャートを参照し、深度合成に使用するための動画の記録処理（Ｓ１）の詳細を説明する。

デジタルカメラ１００において、マルチフォーカス動画を記録するための特定の撮影モードに設定された状態で、ズームレンズ１１２の操作等により所望の画角を設定した後、ユーザによりレリーズボタン２１１が半押しされると（Ｓ１１でＹＥＳ）、コントローラ１８０は、画像のＡＦ領域のそれぞれについて合焦位置を検出して合焦情報テーブル６０を作成するためのフォーカスサーチを行う（Ｓ１２）。

フォーカスサーチでは、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に（またはその逆に）移動させながら、ＡＦ領域毎にコントラスト値を検出する（図６参照）。

そして、コントローラ１８０は、検出したコントラスト値に基づき合焦情報テーブル６０を作成する。具体的には、コントローラ１８０は、フォーカスレンズ１１１を至近端から無限端に移動させたときに、ＡＦ領域毎に、複数の画像の中でコントラスト値が最大となる（図６の（Ｂ）参照）ときのフォーカスレンズ１１１の位置を求め、そのフォーカスレンズ１１１の位置を合焦情報テーブル６０（図７の（Ｂ）のｃ欄参照）に記録する。一のＡＦ領域について、いずれの画像のコントラスト値も所定の閾値よりも低い場合、当該ＡＦ領域については、合焦位置が定まらないとし、合焦情報テーブル６０には合焦位置が不明であることを示す所定の値が記録される。

コントローラ１８０は全ＡＦ領域のサーチ後、さらに、フォーカスレンズ１１１を至近端から無限端に移動させたときに求まった合焦位置において、最も至近端に近い合焦位置（Pnear）と、最も無限端に近い合焦位置（Pfar）とを合焦情報テーブル６０に記録する（図７の（Ａ）のａ欄参照）。以上によりフォーカスサーチは終了する。なお、この状態では、合焦情報テーブル６０において未だフレーム番号（図７の（Ｂ）のｂ欄参照）の情報は含まれていない。

図８に戻り、フォーカスサーチ終了後、コントローラ１８０は、ユーザによりレリーズボタン２１１の半押しが継続されているか否かを判断する（Ｓ１３）。

フォーカスサーチ終了後、ユーザによるレリーズボタン２１１の半押しがなされていない場合（Ｓ１３でＮＯ）、コントローラ１８０は、処理をステップＳ１１に戻す。これにより、ユーザがフォーカスサーチをやり直すことができるようになる。

フォーカスサーチ終了後も、ユーザによりレリーズボタン２１１の半押しが継続されている場合（Ｓ１３でＹＥＳ）、コントローラ１８０は引き続きレリーズボタン２１１が全押しされたか否かを判断する（Ｓ１４）。

その後、ユーザによりレリーズボタン２１１が全押しされると（Ｓ１４でＹＥＳ）、マルチフォーカス動画を記録する画像撮影動作が開始される（Ｓ１５）。

すなわち、コントローラ１８０は、フォーカスレンズ１１１を最近合焦レンズ位置（Pnear）に戻し、図９に示すように、最遠合焦レンズ位置（Pfar）まで移動させながら動画（マルチフォーカス動画）を記録する（Ｓ１５）。動画記録時のフォーカスレンズ１１１の移動範囲をこのような範囲（Pnear〜Pfar）に制限することにより、合焦が得られない範囲においての動画記録が行われなくなり、動画記録にかかる時間を短縮できる。なお、動画記録は、動画データ用の所定のフォーマットに従い動画が記録される。例えば、ＭＰ４規格（H.264/MPEG-4 AVC方式）に従い動画が記録される。動画記録実行中、表示モニタ２２０には、例えば、動画記録中であることを示すアイコンやメッセージ等を表示してもよい。

また、コントローラ１８０は、動画記録中、フォーカスレンズ１１１の位置と、動画を構成する各フレームのフレーム番号との対応づけを行う。これにより、合焦情報テーブル６０において各ＡＦ領域に対してフレーム番号の対応づけがなされる（図７の（Ｂ）のｂ欄参照）。

動画記録実行中、表示モニタ２２０には記録中の画像が表示されるが、その際、画像における合焦領域に対して、合焦領域をユーザに認識させるための強調表示を行ってもよい。この強調表示を行うことで、ユーザは画像において合焦された領域を容易に把握することが可能になる。

図８に戻り、動画記録（Ｓ１５）が終了すると、ヘッダ部に合焦情報テーブル６０が記録された動画データをメモリカード２００に記録する（Ｓ１６）。これにより動画（マルチフォーカス動画）の記録処理（図３のＳ１）が終了する。

動画記録（Ｓ１）の終了後、ユーザの指示にしたがい深度合成処理（Ｓ２）が実行される。

［２−１−２．深度合成処理］
以下、深度合成処理（Ｓ２）を説明する。図１０は、深度合成処理を示すフローチャートである。深度合成処理では、コントローラ１８０はまず、ユーザ指定に基づいて深度合成範囲を設定し（Ｓ２１）、その後、設定された範囲に基づき合成処理を行う（Ｓ２２）。以下、各処理（Ｓ２１、Ｓ２２）について説明する。

［２−１−２−１．深度合成範囲の設定］
最初に、ユーザによる深度合成範囲の指定のための操作について説明する。

マルチフォーカス動画の記録が完了すると、その直後に、図１１Ａに示すように、記録した画像を確認するためのプレビュー画像３０（静止画）が表示モニタ２２０に表示される。プレビュー画像３０は、記録したマルチフォーカス動画を構成する複数のフレーム画像の中の１つの画像である。このプレビュー画像３０が表示された状態で、ユーザにより所定の操作（例えば、タッチパネルへのタッチ操作、所定のボタンの操作）が実施されると、図１１Ｂに示すように、プレビュー画像３０上に、深度合成を行うか否かをユーザに確認するためのダイアログボックス３５が表示される。なお、ダイアログボックス３５は、記録済みの画像を選択して再生するための再生画面上で、マルチフォーカス動画を代表する静止画（一つのフレーム画像）が表示されているときにユーザにより所定の操作が実施されたときにも表示されてもよい。

このダイアログボックス３５において「ＹＥＳ」が選択されると、コントローラ１８０は、ユーザが合焦させたい被写体の範囲（領域）を指定するための範囲指定画面を表示モニタ２２０に表示する。

図１２Ａは範囲指定画面の例を示した図である。範囲指定画面４０上には、プレビュー画像３０、すなわち、マルチフォーカス動画を構成するフレーム画像の中の１つのフレーム画像（被写体の画像）と、それに重畳して複数の画像領域（以下単に「領域」という）を示す領域枠４５とが表示される。領域枠４５は４９個（７行×７列）の領域を定義する。領域枠４５が示す各領域は図６の（Ａ）に示す各ＡＦ領域に対応している。ユーザは、範囲指定画面４０上でタッチ操作により２つの領域（合成範囲の始点及び終点）を指定することにより、合焦させたい被写体の範囲（換言すれば、深度合成範囲）を指定することができる。なお、領域枠４５は表示モニタ２２０上に表示されなくてもよい。

図１２Ａに示す範囲指定画面４０は、カブトムシを撮影した画像を表示し、カブトムシの角の先端を含む領域（１）（図６の（Ａ）に示す第２ＡＦ領域に対応）が、ユーザにより合焦させたい範囲すなわち深度合成範囲の始点として指定されている。その後、図１２Ｂに示すように、カブトムシの左後足を含む領域（２）（図６の（Ａ）に示す第４２ＡＦ領域に対応）が合焦させたい範囲（深度合成範囲）の終点としてユーザにより指定される。このように、ユーザにより２つの領域（１）、（２）が指定されると、コントローラ１８０は、指定された２つの領域（１）、（２）に基づき深度合成範囲を設定する。

具体的には、コントローラ１８０は、領域（１）及び領域（２）（即ち、第２ＡＦ領域及び第４２ＡＦ領域）に対応するフレーム画像と、領域（１）の合焦位置と領域（２）の合焦位置との間に合焦位置を有するＡＦ領域に対応するフレーム画像群とを、深度合成範囲として設定する（図１３の（Ｂ）参照）。なお、ユーザにより領域が指定された場合、指定された領域を示す情報がバッファ１７０に記憶され、ユーザ指定領域として管理される。

範囲指定画面４０上でユーザにより２つの領域が指定されると、深度合成範囲に対応する領域に対して強調表示５１がなされる。例えば、図１２Ｂに示す範囲指定画面４０上において、指定された領域（１）と、指定された領域（２）と、領域（１）の合焦位置と領域（２）の合焦位置との間に合焦位置を有する領域群とに対して、深度合成範囲（すなわち、ユーザが合焦させたい範囲）を示す強調表示５１が施される。このような強調表示５１によりユーザは、自身が設定した合焦したい範囲（深度合成範囲）を容易に認識することができる。

さらに、図１２Ａ及び図１２Ｂに示すように、範囲指定画面４０において、深度合成に使用される領域として不適切であると判断される領域（以下「警告領域」という）に対して警告を示す強調表示５３がなされる（図１３の（Ａ）、（Ｂ）参照）。警告領域はユーザにより指定された領域に基づき設定される（詳細は後述）。このような強調表示５３によりユーザは、合焦させたい範囲（深度合成範囲）として指定するのに適していない領域を認識することができる。

図１２Ｂに示すように２つの領域が指定された状態でさらにユーザにより３番目の領域が指定された場合の動作を説明する。

図１２Ｂに示す例では、ユーザが指定した深度合成範囲にカブトムシの左前足が含まれていない。このような状況において、カブトムシの左前足を深度合成範囲に含めたい場合、本実施の形態では、カブトムシの左前足を含む領域（３）をさらにタッチすることにより、深度合成範囲を変更できるようになっている（図１２Ｃ参照）。新たな領域（３）の指定により、ユーザにより指定された全領域（１）〜（３）において、最も至近端側にある被写体を含む領域（３）から最も無限端側にある被写体を含む領域（２）までが新たに合焦範囲（深度合成範囲）として設定される（図１３の（Ｃ）参照）。合焦範囲（深度合成範囲）の再設定にともない強調表示５１が施される範囲も変更される（図１２Ｃ参照）。

さらに、図１２Ｃに示す状態において、ユーザにより領域（２）がタッチ操作により再度指定された場合、ユーザにより指定された領域群から領域（２）が削除され、領域（１）と領域（３）に基づき深度合成範囲が再設定される（図１３の（Ｄ）参照）。すなわち、カブトムシの角の先端からカブトムシの左前足までに合焦した画像が得られるように深度合成範囲が再設定される。この深度合成範囲の再設定にともない図１２Ｄに示すように強調表示５１が変更される。このように一旦指定した領域を再度タッチすることで、その領域の指定をキャンセルすることができる。

図１４は、深度合成範囲の設定処理（Ｓ２１）を示すフローチャートである。図１４のフローチャートを用いて、コントローラ１８０により実行される深度合成範囲の設定処理について説明する。

コントローラ１８０は、表示モニタ２２０上に、図１２Ａに示すような、ユーザが合焦させたい被写体の範囲（領域）を指定するための範囲指定画面４０を表示する（Ｓ３１）。範囲指定画面４０は、事前に記録されたマルチフォーカス動画を構成する複数のフレーム画像の中の１つの画像を表示する。例えば、範囲指定画面４０には、マルチフォーカス動画に含まれるフレーム画像において最初に記録されたフレーム画像もしくは最後に記録されたフレーム画像または中間のフレーム画像が表示される。

次に、コントローラ１８０はユーザによる操作を待つ（Ｓ３２）。コントローラ１８０は範囲指定画面４０上でユーザによる合成領域の指定を受け付けると（Ｓ３３で合成領域の指定）、その指定された領域がすでに設定済か否かを判断する（Ｓ３５）。設定済である場合（Ｓ３５でＹＥＳ）、コントローラ１８０は、その指定された領域を、ユーザ指定領域として管理している領域から削除する（Ｓ３９）。例えば、図１２Ｃに示す場合、コントローラ１８０は、領域（１）、（２）、（３）をユーザ指定領域として管理しているが、この状態において再度領域（２）が指定された場合、領域（２）を、ユーザ指定領域として管理している領域から削除する。その指定された領域が設定済でない場合（Ｓ３５でＮＯ）、その指定された領域を、ユーザ指定領域として管理する領域に設定する（Ｓ３６）。

その後、ユーザ指定領域として管理している領域に基づき警告領域（深度合成に使用される領域として不適切であると判断される領域）を設定し、設定した警告領域に対して、警告領域であることを示す強調表示５３を施す（Ｓ３７）。

さらに、ユーザ指定領域として管理している領域に基づき深度合成範囲を設定し、設定した深度合成範囲に対応する領域に対して強調表示５１を施す（Ｓ３８）。

一方、受け付けたユーザ操作の内容が、合成処理の実行を指示するものであった場合（Ｓ３３で合成実行）、コントローラ１８０は、指定された領域の数が２以上か否かを判断する（Ｓ３４）。ここで、範囲指定画面４０上の「ＳＥＴ」ボタン６１がタッチされること、及び、デジタルカメラ背面の決定ボタン２１４が押下されることのいずれかが行われたときに、合成処理の実行を指示する操作がなされたと判断する。指定された領域の数が２未満の場合（Ｓ３４でＮＯ）、コントローラ１８０は、ステップＳ３２に戻り、ユーザによる次の領域の指定を待つ。指定された領域の数が２以上の場合（Ｓ３４でＹＥＳ）、処理を終了する。

次に、警告領域の強調表示処理（Ｓ３７）の詳細について説明する。前述のようにユーザにより少なくとも１つの領域が指定されると、その指定された領域に基づき、深度合成範囲として次に指定する領域として不適切であると考えられる領域について強調表示５３を施す。これにより、深度合成範囲として次に指定するのに不適切な領域（警告領域）をユーザに通知することができる。

図１５は、警告領域の強調表示処理（Ｓ３７）を示すフローチャートである。図１５において、コントローラ１８０は、範囲指定画面４０上でユーザにより指定された領域の数が１以上か否を判断する（Ｓ１３１）。指定された領域の数が１以上の場合（Ｓ１３１でＹＥＳ）、コントローラ１８０は、全ての指定された領域の中で至近端に最も近い合焦位置を持つ領域を特定する（Ｓ１３２）。コントローラ１８０は、合焦情報テーブル６０（図７の（Ｂ））を参照することにより、指定された全ての領域の中で至近端に最も近い合焦位置（すなわち、合焦時のフォーカスレンズ位置）を持つ領域を特定することができる。

コントローラ１８０は、各領域と、至近端に最も近い合焦位置を有する領域との間の、合焦位置の差分（換言すれば、フォーカス距離の差分）を算出する（Ｓ１３３）。コントローラ１８０は、算出した差分が所定値以上となる領域を警告領域として特定し、警告領域に強調表示５３を施す（Ｓ１３４）。このように、指定された領域のうち最も至近端に近い合焦位置（フォーカスレンズ位置）を有する領域の合焦位置から所定値以上離された位置に合焦位置を有する領域を警告領域に設定する。なお、警告領域を、至近端に最も近い合焦位置を有する領域との距離に基づき設定したが、無限端に最も近い合焦位置を有する領域との距離に基づき設定してもよい。これは、深度合成に用いる画像の領域間で合焦位置の差が大きい場合、良好な画質の合成画像が得られないからである。また、至近端に最も近い合焦位置を有する領域との距離に基づき設定した警告領域と、無限端に最も近い合焦位置を有する領域との距離に基づき設定した警告領域とを同時に表示してもよい。

一方、ステップＳ１３１において、指定された領域の数が１未満の場合（Ｓ１３１でＮＯ）、すなわち領域が指定されていない場合、コントローラ１８０は、範囲指定画面４０上で警告領域の強調表示５３があるか否かを判断する（Ｓ１３５）。警告領域の強調表示５３がある場合（Ｓ１３５でＹＥＳ）、コントローラ１８０は、警告領域の強調表示５３を消去する（Ｓ１３６）。

以上のようにして警告領域が特定され、警告領域に対する強調表示５３がなされる。これによりユーザは警告領域を認識することができる。

次に、深度合成範囲の強調表示処理（図１４のＳ３８）の詳細について説明する。図１６は、深度合成範囲の強調表示処理を示すフローチャートである。

図１６において、コントローラ１８０は、範囲指定画面４０上でユーザにより指定された領域の数が２以上か否を判断する（Ｓ１４１）。

指定された領域の数が２以上の場合（Ｓ１４１でＹＥＳ）、コントローラ１８０は、指定された全ての領域の中で、至近端に最も近い合焦位置を持つ領域（以下「始点領域」という）と、至近端から最も遠い合焦位置を持つ領域（以下「終点領域」という）とを特定する（Ｓ１４２）。コントローラ１８０は、合焦情報テーブル６０（図７の（Ｂ））を参照して、指定された全ての領域において、至近端に最も近い合焦位置（すなわち、合焦時のフォーカスレンズ位置）を持つＡＦ領域と、至近端から最も遠い合焦位置を持つＡＦ領域とを特定することで、始点領域と終点領域を特定することができる。至近端から最も遠い合焦位置を持つ領域を「始点領域」、至近端に最も近い合焦位置を持つ領域を「終点領域」としてもよい。

次に、コントローラ１８０は、始点領域の合焦位置と、終点領域の合焦位置との間に合焦位置を有するＡＦ領域群を特定する（Ｓ１４３）。コントローラ１８０は、合焦情報テーブル６０（図７の（Ｂ））を参照することで、始点領域の合焦位置と、終点領域の合焦位置との間に合焦位置を有するＡＦ領域群を特定することができる。

コントローラ１８０は、範囲指定画面４０上で、指定された全ての領域と、ステップＳ１４３で特定したＡＦ領域に対応する領域とに対して、深度合成範囲であることを示す強調表示５１を施す（Ｓ１４４）。

一方、ステップＳ１４１において、指定された領域の数が２未満の場合（Ｓ１４１でＮＯ）、コントローラ１８０は、範囲指定画面４０上で深度合成範囲を示す強調表示があるか否かを判断する（Ｓ１４５）。深度合成範囲を示す強調表示５１がある場合（Ｓ１４５でＹＥＳ）、コントローラ１８０は、深度合成範囲を示す強調表示５１を消去する（Ｓ１４６）。

以上のようにして、ユーザ指定に基づき深度合成範囲が特定されるとともに、深度合成範囲に対する強調表示５１が施される。強調表示５１が施された画面を参照することにより、ユーザは深度合成処理において合成させる被写体の領域を容易に確認することができる。なお、上記の制御では、警告領域の強調表示５３は単にユーザへの注意喚起のためになされており、ユーザにより指定された範囲内に警告領域が含まれる場合、警告領域も含めて深度合成範囲が設定される。しかしながら、ユーザにより指定された範囲において警告領域が含まれる場合に、警告領域を除いて深度合成範囲を設定するようにしてもよい。

［２−１−２−２．合成処理］
図１０のフローチャートにおける合成処理（Ｓ２２）について説明する。コントローラ１８０は、前述のステップＳ１４４（図１６）で深度合成範囲として特定された領域について、合焦情報テーブル６０を参照して、各領域に合焦位置を有するフレームのフレーム番号を特定する。そして、コントローラ１８０は、特定したフレーム番号に対応するフレーム画像を用いて深度合成処理を実行するように画像処理部１６０を制御する。画像処理部１６０はコントローラ１８０からの指示を受けて深度合成処理を実行する。

［３．効果、等］
本実施の形態のデジタルカメラ１００は、合焦位置を変化させながら被写体像を撮像して複数の画像データ（マルチフォーカス動画）を生成するＣＣＤ１４０と、ＣＣＤ１４０により生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部１６０と、ユーザが所望の合焦範囲を指定するための画面であって、画像データが示す画像を複数の画像領域とともに表示する範囲指定画面４０を表示する表示モニタ２２０と、範囲指定画面４０に対するユーザによる画像領域の指定を受け付けるタッチパネル２２２と、画像処理部１６０及び表示モニタ２２０を制御するコントローラ１８０と、を備える。コントローラ１８０は、範囲指定画面４０上でユーザにより第１及び第２の画像領域が指定された場合に、第１の画像領域における被写体の合焦位置と、第２の画像領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定し（Ｓ１４３）、第１及び第２の画像領域と、特定された他の画像領域とを合成範囲として設定する（Ｓ１４４）。表示モニタ２２０は、範囲指定画面４０上で合成範囲として設定された領域に対して強調表示５１を施す（図１２Ｂ〜図１２Ｄ参照）。

以上のように、デジタルカメラ１００によれば、ユーザにより２つの画像領域が指定されたときに、深度合成のために合成される画像領域、すなわち、合焦される被写体の範囲が強調表示される。これにより、ユーザは、被写体において合焦される範囲を容易に認識することができる。また、ユーザは、合焦させたい被写体の範囲の始点と終点を指定するだけで合焦範囲を指定できる。よって、深度合成において合焦させたい被写体の範囲を設定する際のユーザの利便性を向上できる。

また、デジタルカメラ１００は、各画像領域と、各画像領域に含まれる被写体の合焦位置とを対応づけた合焦情報テーブル６０をさらに備える。合焦情報テーブル６０を参照することで各画像領域における合焦位置を認識できる。

また、範囲指定画面４０上でユーザによりさらに第３の画像領域が指定された場合、コントローラ１８０は、第１から第３の画像領域の合焦位置の中で最も至近端に近い合焦位置を有する始点領域と、最も至近端から遠い合焦位置を有する終点領域とを特定する（図１６のＳ１４２）。次に、コントローラ１８０は、始点領域における被写体の合焦位置と、終点領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定し（Ｓ１４３）、始点領域と、終点領域と、特定された他の画像領域とを合成範囲として再設定する（Ｓ１４４）。このとき、表示モニタ２２０は、範囲指定画面４０上で合成範囲として再設定された画像領域を強調表示する（Ｓ１４４）。このように、既に合成範囲が設定された状態でも、ユーザはさらに画像領域（第３の画像領域）を指定することにより合成範囲を変更することができる。

また、第３の画像領域が指定された後、第１から第３の画像領域のいずれかがユーザにより再度指定された場合、コントローラ１８０は、第１から第３の画像領域の中から再度指定された画像領域を除いた２つの画像領域に基づいて合成範囲を再設定する。このように、すでに指定されている画像領域が再度指定された場合、その画像領域の指定はキャンセルされる。

また、コントローラ１８０は、ユーザにより少なくとも１つの画像領域が指定された場合に、指定された画像領域に基づき、警告領域（次に指定される画像領域として不適切な画像領域）の範囲を特定する（図１５のＳ１３４）。表示モニタ２２０は、範囲指定画面４０における警告領域の範囲に対して強調表示５３を施す。これにより、ユーザは、深度合成の結果低い品位の合成画像が得られる可能性がある領域を認識することができ、事前にそのような領域を合成対象に選択しないようにすることができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

上記の実施の形態で説明した強調表示の態様は、図１２Ａ〜図１２Ｄに示すものに限定されない。ユーザに対して、深度合成範囲や警告領域を視覚的に認識させる形態であれば、他の方法（例えば、枠表示や被写体のエッジを強調する表示）で表示してもよい。

上記の実施の形態では、タッチパネル２２２に対するユーザによる少なくとも２回のタッチ操作により合成範囲の指定を行った。しかし、合成範囲の指定を行うための操作はタッチ操作に限定されず、他のジェスチャ操作でもよい。例えば、ピンチイン、ピンチアウト操作でもよい。また、タッチ操作は、タッチパネル２２２に対する非接触のジェスチャ操作でもよい。

上記の実施の形態では、撮像部であるＣＣＤ１４０で生成されたフレーム画像を用いて、撮像装置であるデジタルカメラ１００の画像処理部１６０において深度合成処理を行ったが、深度合成処理はデジタルカメラ１００の内部で行わなくてもよい。たとえば、撮像装置の撮像部で生成されたフレーム画像の画像データを、画像処理部を備えるサーバやＰＣ（パーソナルコンピュータ）に送信し、その画像処理部で深度合成処理を行ってもよい。この場合、サーバやＰＣは画像処理装置として機能する。

上記の実施の形態では、マルチフォーカス動画を構成するフレーム画像を用いて深度合成を行ったが、動画を構成するフレーム画像ではなく、連写撮影により生成された複数の静止画を用いて深度合成を行ってもよい。

上記の実施の形態に開示した思想は、レンズ交換式カメラ及びレンズ一体型カメラの双方の種類のデジタルカメラに対して適用できる。

上記の実施の形態では、撮像装置の一例としてデジタルカメラを用いて説明したが、撮像装置はこれに限定されない。本開示の思想は、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。

上記の実施の形態では、撮像素子をＣＣＤで構成したが、撮像素子はこれに限定されない。撮像素子はＮＭＯＳイメージセンサやＣＭＯＳイメージセンサで構成してもよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、動画を撮影できる撮像装置に対して適用可能である。具体的には、デジタルカメラ、デジタルビデオカメラ、スマートフォン、ウェアラブルカメラ等の動画が撮影できる種々の撮像装置に対して適用することができる。

４０ 範囲指定画面
４５ 領域枠
５１ 強調表示（深度合成範囲）
５３ 強調表示（警告領域）
６０ 合焦情報テーブル
１００ デジタルカメラ
１１０ 光学系
１１１ フォーカスレンズ
１１２ ズームレンズ
１１３ 手振れ補正レンズ
１２０ レンズ駆動部
１３０ シャッタ部
１４０ ＣＣＤ
１５０ Ａ／Ｄコンバータ
１６０ 画像処理部
１７０ バッファ
１８０ コントローラ
１９０ カードスロット
２００ メモリカード
２１０ 操作部材
２２０ 表示モニタ
２４０ 内蔵メモリ
３００ 絞り部

Claims (9)

1. 合焦位置を変化させながら被写体像を撮像することにより生成された複数の画像データを合成して被写界深度のより深い静止画データを生成する画像処理部と、
   ユーザが所望の合焦範囲を指定するための画面であって、前記画像データが示す画像を複数の画像領域とともに表示する範囲指定画面を表示する表示部と、
   前記範囲指定画面に対するユーザによる画像領域の指定を受け付ける操作部と、
   前記画像処理部及び前記表示部を制御する制御部と、
   を備え、
   前記制御部は、前記範囲指定画面上でユーザにより第１及び第２の画像領域が指定された場合に、前記第１及び第２の画像領域をそれぞれ始点領域及び終点領域として設定し、前記始点領域における被写体の合焦位置と、前記終点領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定し、前記始点領域及び前記終点領域と、前記特定された他の画像領域とを合成範囲として設定し、
   前記表示部は、前記範囲指定画面上で前記合成範囲として設定された画像領域に対して第１の強調表示を施す、
   画像処理装置。
2. 各画像領域は各画像領域に含まれる被写体の合焦位置と対応づけられている、請求項１記載の画像処理装置。
3. 前記範囲指定画面上でユーザによりさらに第３の画像領域が指定された場合に、
   前記制御部は、
   前記第１から第３の画像領域のそれぞれに対応する合焦位置の中で最も至近端に近い合焦位置に対応する画像領域を前記始点領域と、最も至近端から遠い合焦位置に対応する画像領域を前記終点領域として設定し、
   前記始点領域における被写体の合焦位置と、前記終点領域における被写体の合焦位置との間に合焦位置を有する他の画像領域を特定し、前記始点領域と、前記終点領域と、前記特定された他の画像領域とを合成範囲として再設定し、
   前記表示部は、前記範囲指定画面上で前記合成範囲として再設定された画像領域に対して前記第１の強調表示を施す、
   請求項１記載の画像処理装置。
4. 前記第３の画像領域が指定された後、前記第１から第３の画像領域のいずれかがユーザにより再度指定された場合、前記制御部は、前記第１から第３の画像領域の中から再度指定された画像領域を除いた２つの画像領域をそれぞれ前記始点領域及び前記終点領域として設定して前記合成範囲を再設定し、
   前記表示部は、前記範囲指定画面上で前記再設定された合成範囲に対応する画像領域に対して前記第１の強調表示を施す、
   請求項３記載の画像処理装置。
5. 前記制御部は、ユーザにより少なくとも１つの画像領域が指定された場合に、前記指定された画像領域に基づき、次に指定される画像領域として不適切な画像領域の範囲を特定し、
   前記表示部は、前記範囲指定画面における前記不適切な画像領域の範囲に対して第２の強調表示を施す、請求項１記載の画像処理装置。
6. 前記制御部は、ユーザにより指定された画像領域に対応する合焦位置のうち最も至近端または望遠端に近い合焦位置から所定値以上離れた合焦位置に対応する画像領域を、前記不適切な画像領域として設定する、請求項５記載の画像処理装置。
7. 前記不適切な画像領域の範囲に対する前記第２の強調表示は、前記合成範囲に対する前記第１の強調表示と異なる、請求項５又は６記載の画像処理装置。
8. 前記操作部はユーザによるタッチ操作またはジェスチャ操作を受け付けるタッチパネルである、請求項１から７のいずれかに記載の画像処理装置。
9. 合焦位置を変化させながら被写体像を撮像して複数の画像データを生成する撮像部と、
   請求項１から８のいずれかに記載の画像処理装置と、を備え、
   前記画像処理部により合成される前記複数の画像データは、前記撮像部により生成される前記複数の画像データである、撮像装置。