JP2021005168A - 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】撮影画像の再生表示時に画像送りと合わせて表示画像の評価値の表示を可能にする画像処理装置を提供することである。【解決手段】デジタルカメラは、画像又は画像の複数の領域に対応する評価値の分布情報を出力する出力手段と、第１のアクション及び第１のアクションとは異なる第２のアクションを受け付ける操作手段と、出力手段が第１の画像を出力しているときに、操作手段が第１のアクションを受け付けた場合は出力手段が第２の画像を出力し、操作手段が第２のアクションを受け付けた場合は出力手段が第１の画像に対応する評価値の分布情報を出力する出力制御を実行する制御手段と、を有する。【選択図】図３

Description

本発明は、画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラムに関する。

従来、画像処理装置の例として、装置内のメモリあるいは装置に装着された記録媒体に記憶された複数の撮影画像を再生するときに、ユーザからの操作に基づいて画像送りができる撮像装置が知られている。例えば、スマートフォンやデジタルカメラではディスプレイの表示面を横スワイプすることで画像送りができる。特許文献１には、撮影画像の再生時に、横スワイプによる画像送りに加えて、所定のタッチ操作で表示画像の保護、消去などのアクションが行える技術の開示がある。

特開２０１１−４０００８号公報

しかしながら特許文献１に記載の従来技術は、撮影画像の再生表示時に、画像送りと合わせて各表示画像に対応する評価値を表示させる操作を受け付けることについては何ら考慮されていなかった。
上記課題に鑑み、本発明は、撮影画像の再生表示時に画像送りと合わせて表示画像の評価値の表示を可能にする画像処理装置を提供することを目的とする。

本発明の一実施形態の画像処理装置は、画像、又は前記画像の複数の領域に対応する評価値の分布情報を出力する出力手段と、第１のアクション、及び前記第１のアクションとは異なる第２のアクションを受け付ける操作手段と、前記出力手段が第１の画像を出力しているときに、前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が第２の画像を出力し、前記操作手段が前記第２のアクションを受け付けた場合は前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力する出力制御を実行する制御手段と、を有することを特徴とする。

本発明によれば、撮影画像の再生表示時に画像送りと合わせて表示画像の評価値の表示を可能にする。

本発明の実施例１における画像表示装置の機能構成を示すブロック図である。 本発明の実施例１に係る撮像部の構成を説明するための図である。 本発明の実施例１に係る画像再生処理を説明するためのフローチャートである。 （Ａ）、（Ｂ）及び（Ｃ）は、横構図画像における画像送り機能を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、本発明の実施例１による横構図画像におけるピントマップを表示する方法を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、縦構図画像における画像送り機能を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、本発明の第１実施形態による縦構図画像におけるピントマップを表示する方法を示す図である。 本発明の実施例２に係る画像再生処理を説明するためのフローチャートである。 本発明の実施例２に係る画像再生処理を説明するためのフローチャートである。 （Ａ）及び（Ｂ）は、横構図画像における表示部の姿勢に応じて画像の表示方法を変える方法を示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）及び（Ｆ）は、本発明の実施例２による横構図画像における表示部の姿勢に応じて画像とピントマップとの表示方法を変える方法を示す図である。 （Ａ）及び（Ｂ）は、縦構図画像における表示部の姿勢に応じて画像の表示方法を変える方法を示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）、（Ｅ）及び（Ｆ）は、本発明の実施例２による縦構図画像における表示部の姿勢に応じて画像とピントマップとの表示方法を変える方法を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、本発明の実施例３によるピントマップから次の画像を表示する方法を示す図である。 （Ａ）、（Ｂ）及び（Ｃ）は、本発明の実施例４によるピントマップから次のピントマップを表示する方法を示す図である。 （Ａ）、（Ｂ）、（Ｃ）、（Ｄ）及び（Ｅ）は、本発明の実施例５による連写グループに応じてピントマップおよび画像を表示する方法を示す図である。 本発明の実施例１による横構図画像におけるピントマップを表示する方法の変形例を示す図である。

以下、本発明の好適な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する実施形態は画像処理装置であり、画像処理装置の一例としてのデジタルカメラ（撮像装置）に本発明を適用した例を説明する。

（実施例１）
図１は、本発明の実施例１に係るデジタルカメラの機能構成を示すブロック図である。
図１では、撮像装置であるデジタルカメラを画像処理装置の一例として示すが、本発明の適用範囲は、図１に示す撮像装置に限定されない。すなわち、本発明は、画像又は後述するピントマップを表示する画像処理装置の他、当該画像又はピントマップを外部装置に出力して、外部装置に表示させる画像処理装置にも適用できる。なお、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。
デジタルカメラ１００は、制御部１０１乃至バス１１２を備える。制御部１０１、ＲＯＭ１０２、ＲＡＭ１０３、撮像部１０５、Ａ／Ｄ変換部１０６、画像処理部１０７、記録媒体１０８、姿勢取得部１０９、表示部１１０及び操作部１１１は、それぞれバス１１２に接続されている。

制御部１０１は、デジタルカメラ１００全体を制御するものであり、例えばＣＰＵである。制御部１０１は、デジタルカメラ１００が備える各構成の動作プログラムをＲＯＭ１０２から読み出し、ＲＡＭ１０３に展開して実行することによりデジタルカメラ１００が備える各構成の動作を制御する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。また、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、デジタルカメラ１００が備える各構成の動作プログラムに加え、各構成の動作に必要なパラメータ等を記憶する。ＲＯＭ１０２としては、例えばフラッシュＲＯＭ等が用いられる。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各構成の動作において出力されたデータの一時的な記憶領域として用いられる。制御部１０１及び画像処理部１０７は、ＲＡＭ１０３をワークメモリとして使用する。

光学系１０４は、被写体像を撮像部１０５に結像する。光学系１０４には、例えば、固定レンズ、焦点距離を変更する変倍レンズ、焦点調節を行うフォーカスレンズ等が含まれている。光学系１０４には絞りも含まれており、絞りにより光学系の開口径を調節することで撮影時の光量調節を行う。
撮像部１０５は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を含む。撮像部１０５は、光学系１０４により撮像素子に結像された光学像を光電変換してアナログ画像信号を得る。撮像部１０５は、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。
Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にＡ／Ｄ変換処理を適用してデジタル画像データを得る。Ａ／Ｄ変換部１０６は、得られたデジタル画像データをＲＡＭ１０３に出力して記憶させる。このとき、制御部１０１は、画像が縦構図であるか横構図であるかを示す縦横情報も、画像とともにＲＡＭ１０３に記憶させる。制御部１０１は、ＲＡＭ１０３の縦横情報を読み出すことで、各画像が縦構図であるか横構図であるかを判定することができる。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して画像処理を行う。具体的には、画像処理部１０７は、例えば、ホワイトバランス調整、色補間、縮小／拡大等の処理や、さらに、評価値マップ（評価値の分布情報）の生成や、フィルタ処理等の様々な画像処理を行う。画像処理部１０７は、画像処理後の画像を記録媒体１０８に記録する。
記録媒体１０８は、例えば、デジタルカメラ１００に対して着脱可能なメモリカード等である。記録媒体１０８には、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像等が、記録画像として記録される。
姿勢取得部１０９は、例えば、加速度センサである。姿勢取得部１０９は、デジタルカメラ１００の姿勢すなわち表示部１１０の姿勢を取得する。

表示部１１０は、例えば、液晶モニタである。表示部１１０は、ユーザの操作に応じて、ＲＡＭ１０３に記憶されている画像処理部１０７で処理された画像やＡ／Ｄ変換部１０６でＡ／Ｄ変換された画像や記録媒体１０８に記録された画像等を表示する。
なお、本発明に係る画像処理装置としては、表示部１１０を有しない構成であってもよい。この場合、表示部１１０の機能に相当する機能を有する表示装置を画像処理装置の外部に備え、画像処理装置は、表示データを表示装置に出力する出力手段を有するようにしてもよい。また、この場合、画像処理装置と表示装置とを有して撮像装置を構成してもよい。表示部１１０は、画像を出力する出力手段の一例である。デジタルカメラ１００が、出力手段の一例として、画像を外部装置に送信する送信部を有していてもよい。そして、制御部１０１が、送信部を制御して、画像を外部装置に送信させ、外部装置に表示させる出力制御を実行するようにしてもよい。

操作部１１１は、キーボードなどの文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイス、ボタン、ダイヤル、ジョイスティック、タッチセンサ、タッチパッドなどを含む、ユーザ操作を受け付けるための入力デバイスである。タッチパネルは、表示部１１０の液晶モニタに重ね合わせて平面的に構成され、接触された位置に応じた座標情報、タッチオン、タッチオフが出力されるようにした入力デバイスである。操作部１１１は、ユーザのアクションを受け付ける。これにより、ユーザはデジタルカメラ１００の各種設定や各種情報を入力する。また上述したような、表示装置を外部に備えた構成の場合、操作部１１１あるいは制御部１０１は、外部の表示装置に備えられたタッチパネルから接触された位置に応じた座標情報、タッチオン、タッチオフなどの情報を受け取ることで入力を受け付ける。
なお操作部１１１にタッチパネルが含まれる場合、制御部１０１はタッチパネルへの以下の操作。あるいは状態を検出できる。
・タッチパネルにタッチしていなかった指やペンが新たにタッチパネルにタッチしたこと。すなわち、タッチの開始（以下、タッチダウン（Ｔｏｕｃｈ−Ｄｏｗｎ）と称する）。
・タッチパネルを指やペンでタッチしている状態であること（以下、タッチオン（Ｔｏｕｃｈ−Ｏｎ）と称する）。
・タッチパネルを指やペンでタッチしたまま移動していること（以下、タッチムーブ（Ｔｏｕｃｈ−Ｍｏｖｅ）と称する）。
・タッチパネルへタッチしていた指やペンを離したこと。すなわち、タッチの終了（以下、タッチアップ（Ｔｏｕｃｈ−Ｕｐ）と称する）。
・タッチパネルに何もタッチしていない状態（以下、タッチオフ（Ｔｏｕｃｈ−Ｏｆｆ）と称する）。
タッチダウンが検出されると、同時にタッチオンであることも検出される。タッチダウンの後、タッチアップが検出されない限りは、通常はタッチオンが検出され続ける。タッチムーブが検出されるのもタッチオンが検出されている状態である。タッチオンが検出されていても、タッチ位置が移動していなければタッチムーブは検出されない。タッチしていた全ての指やペンがタッチアップしたことが検出された後は、タッチオフとなる。
これらの操作・状態や、タッチパネル上に指やペンがタッチしている位置座標は内部バスを通じて制御部１０１に通知され、制御部１０１は通知された情報に基づいてタッチパネル上にどのような操作が行なわれたかを判定する。タッチムーブについてはタッチパネル上で移動する指やペンの移動方向についても、位置座標の変化に基づいて、タッチパネル上の垂直成分・水平成分毎に判定できる。またタッチパネル上をタッチダウンから一定のタッチムーブを経てタッチアップをしたとき、ストロークを描いたこととする。素早くストロークを描く操作をフリックと呼ぶ。フリックは、タッチパネル上に指をタッチしたままある程度の距離だけ素早く動かして、そのまま離すといった操作であり、言い換えればタッチパネル上を指ではじくように素早くなぞる操作である。所定距離以上を、所定速度以上でタッチムーブしたことが検出され、そのままタッチアップが検出されるとフリックが行なわれたと判定できる。また、所定距離以上を、所定速度未満でタッチムーブしたことが検出された場合はドラッグが行なわれたと判定するものとする。タッチパネルは、抵抗膜方式や静電容量方式、表面弾性波方式、赤外線方式、電磁誘導方式、画像認識方式、光センサ方式等、様々な方式のタッチパネルのうちいずれの方式のものを用いても良い。方式によって、タッチパネルに対する接触があったことでタッチがあったと検出する方式や、タッチパネルに対する指やペンの接近があったことでタッチがあったと検出する方式ものがあるが、いずれの方式でもよい。
バス１１２は、デジタルカメラ１００が備える各構成を接続する。デジタルカメラ１００が備える各構成は、バス１１２を介して各種信号及び各種データの送受信を行う。
画像処理部１０７は、撮像部１０５が取得した画像信号を解析することで、当該画像信号に係る画像に対応する評価値の分布情報として、ピントマップを取得する。ピントマップは、被写体のピント分布に関連する情報（ピントの分布情報）である。ピントマップは、画像処理部１０７が取得する画像である。画像処理部１０７は、取得したピントマップをＲＡＭ１０３に記憶する。

図２は、撮像部１０５の構成を説明するための図である。
撮像部１０５は、図２に示す撮像素子を有する。図２に示す撮像素子は、１つのマイクロレンズ２０１に対して複数（図２では、２つ）の光電変換部２０３、２０４を有する画素２０２を複数備える。複数の画素２０２は、二次元的に規則的に配列されている。画素２０２が有する光電変換部２０３、２０４は、それぞれ、光学系１０４の異なる射出瞳を通過した光を光電変換する。これにより、画素２０２から一対の画像（２像）としてＡ像とＢ像が出力される。すなわち、撮像素子は、異なる瞳領域をそれぞれ通過する光に対応する２像を出力する。

デジタルカメラ１００が備える画像処理部１０７は、制御部１０１の制御にしたがって、さらにＡ像とＢ像の位相差に関する分布（位相差分布）をピントマップとして出力する。画像処理部１０７は、例えば、特許文献２が開示する技術を適用して、デフォーカス量分布を検出し、ピントマップとして出力してもよい。画像処理部１０７が、ピントマップとして、Ａ像とＢ像のずれ量であるシフト量の分布を取得するようにしてもよい。また、シフト量は、検出ピッチ（同一種類の画素の配置ピッチ）を乗算することで、マイクロメートルなどの長さの単位で表してもよい。また、画像処理部１０７が、ピントマップとして、デフォーカス量を焦点深度（２Ｆδ、又は１Ｆδ。Ｆは絞り値、δは許容錯乱円径）で正規化した値の分布を取得するようにしてもよい。

図３は、表示部１１０に画像を表示する画像再生処理を説明するためのフローチャートである。図４（Ａ）、図４（Ｂ）及び図４（Ｃ）は、表示部１１０が表示画面内の横長のアスペクト比の表示領域（横長画面）に横長のアスペクト比（横構図）の撮影画像を表示する画像再生処理における、画像送り機能について説明する図である。図５（Ａ）、図５（Ｂ）及び図５（Ｃ）は、表示部１１０が横長画面のときに横構図の撮影画像を表示する画像再生処理における、ピントマップ表示機能について説明する図である。図６（Ａ）、図６（Ｂ）及び図６（Ｃ）は、表示部１１０が表示画面内の縦長のアスペクト比の表示領域（縦長画面）に縦長のアスペクト比（縦構図）の撮影画像を表示する画像再生処理における、画像送り機能について説明する図である。図７（Ａ）、図７（Ｂ）及び図７（Ｃ）は、表示部１１０が縦長画面のときに縦構図の撮影画像を表示する画像再生処理における、ピントマップ表示機能について説明する図である。図６、７のように、撮影画像の表示と対応するピントマップの表示は画像の各領域と各領域に対応するピント状態の評価値の位置が同期している形で行われるので、ユーザはピントマップを見たときに画像のどの領域のピント状態を示しているかをすぐに認識できる。また、ピント情報を輝度や色の画素信号に換算するなどして可視化することでユーザが直感的に各領域のピント状態を認識することができる。すなわち、各評価値の対応する画像の領域の位置に各評価値が可視化された評価値の分布情報としてのピントマップが表示される。なお、制御部１０１は、ＲＡＭ１０３に画像とともに記憶した縦横情報によって、画像が縦構図であるか横構図であるかを判定可能である。制御部１０１は、表示部１１０が横長画面に撮影画像を表示させようとしているか縦長画面に撮影画像を表示させようとしているかは既知の如何なる手法で検知してもよい。また、横長画面、縦長画面は必ずしも表示部１１０の表示画面の表示領域全域を用いていなくてもよく、表示領域の一部に横長あるいは縦長に撮影画像あるいはピントマップ表示用の表示領域が設定されていてもよい。

まず、図４（Ａ）、図４（Ｂ）及び図４（Ｃ）を用いて画像送り機能について説明する。画像送り機能とは、制御部１０１に制御されて実現される機能であって、画像再生中に、操作部１１１がユーザのアクションを受け付けることで、表示部１１０に表示する画像を第１の画像から第２の画像に切り替える機能である。

図４（Ａ）は、表示部１１０に、第１の画像４０１を表示している図である。ここでは、表示部１１０に第１の画像４０１を表示している状態から、第２の画像４０２を表示する状態に切り替える過程を説明する。図４（Ａ）に示すように、表示部１１０に第１の画像４０１が表示された状態で、ユーザは、表示部１１０と一体のタッチパネルである操作部１１１の操作面に対してアクション４０３を行う。本実施例では、第１のアクションとしてのアクション４０３は、操作部１１１の操作面に対する横方向スワイプ動作である。本発明において、第１のアクションは、これに限られるものではなく、デジタルカメラ１００に対する如何なる操作であってもよい。第１のアクションは、例えば、第１の方向へのアクションである。

アクション４０３は、図４（Ａ）の矢印が指す方向へのスワイプ動作であるが、図４（Ａ）の矢印が指す方向へのフリック動作であってもよい。制御部１０１は、操作部１１１がアクション４０３を受け付けたことに応じて、表示部１１０に第２の画像４０２を表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、第１の画像４０１から第２の画像４０２へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。図４（Ｃ）は、表示部１１０に、第２の画像４０２を表示している図である。

但し、本実施例では、表示部１１０の表示を、第１の画像４０１から第２の画像４０２へと切り替える際に、間にコンテンツ４０４の表示を挟む。図４（Ｂ）は、コンテンツ４０４を表示している表示部１１０を示す図である。コンテンツ４０４は、第１の画像４０１の一部である部分画像４０１ａと、第２の画像４０２の一部である部分画像４０２ａと、部分画像４０１ａと部分画像４０２ａとの境界を示す境界線４０４ａと、を表示するコンテンツである。境界線４０４ａは、縦方向に延びる線であり、その左側に部分画像４０１ａが表示され、その右側に部分画像４０２ａが表示される。コンテンツ４０４は、境界線４０４ａの表示位置を右から左へと移動させることで、表示部１１０における部分画像４０１ａの表示割合を徐々に減少させ、部分画像４０２ａの表示割合を徐々に増加させるコンテンツである。部分画像４０１ａと部分画像４０２ａの表示割合を徐々に変更する表示は、アクション４０３のスワイプ動作のスワイプの操作量に応じて変化してもよい。ユーザがスワイプ動作の途中でタッチオンのまま静止させた場合には、対応する表示割合で部分画像４０１ａと部分画像４０２ａを表示させたままにしてもよい。このように画像送りの際にコンテンツ４０４の表示を挿入することで、操作部１１１に対して左右方向の操作を行うことで表示される画像が切替わることをよりユーザに直感的に知らしめることができる。

制御部１０１は、表示部１１０に第１の画像４０１を表示（図４（Ａ））させる出力制御を実行し、操作部１１１がアクション４０３を受け付けたことに応じて、表示部１１０にコンテンツ４０４を表示（図４（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に第２の画像４０２を表示（図４（Ｃ））させる出力制御を実行する。

次に、図５（Ａ）、図５（Ｂ）及び図５（Ｃ）を用いてピントマップ表示機能について説明する。ピントマップ表示機能とは、制御部１０１に制御されて実現される機能であって、画像再生中に、操作部１１１がユーザのアクションを受け付けることで、表示部１１０に表示する画像を第１の画像からピントマップに切り替える機能である。なお、本実施例では、ピントマップはデフォーカス量の分布情報であり、図面においては、デフォーカス量をグレースケールの濃淡で表すが、本発明はこの限りではない。

図５（Ａ）は、表示部１１０に、第１の画像５０１を表示している図である。ここでは、表示部１１０に第１の画像５０１を表示している状態から、ピントマップ５０２を表示する状態に切り替える過程を説明する。図５（Ａ）に示すように、表示部１１０に第１の画像５０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション５０３を行う。本実施例では、第２のアクションとしてのアクション５０３は、操作部１１１の操作面に対する縦方向スワイプ動作である。本発明において、第２のアクションは、これに限られるものではなく、第１のアクションと異なる操作であれば、デジタルカメラ１００に対する如何なる操作であってもよい。第２のアクションは、例えば、第１の方向と異なる第２の方向へのアクションである。第２の方向は、例えば、第１の方向と直交する方向である。

アクション５０３は、図５（Ａ）の矢印が指す方向へのスワイプ動作であるが、図５（Ａ）の矢印が指す方向へのフリック動作であってもよい。制御部１０１は、操作部１１１がアクション５０３を受け付けたことに応じて、表示部１１０にピントマップ５０２を表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、第１の画像５０１からピントマップ５０２へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。図５（Ｃ）は、表示部１１０に、ピントマップ５０２を表示している図である。ピントマップ５０２は、画像処理部１０７によって取得された、第１の画像５０１に対応する評価値の分布情報としてのピントマップである。

但し、本実施例では、表示部１１０の表示を、第１の画像５０１からピントマップ５０２へと切り替える際に、間にコンテンツ５０４の表示を挟む。図５（Ｂ）は、コンテンツ５０４を表示している表示部１１０を示す図である。コンテンツ５０４は、第１の画像５０１の一部である部分画像５０１ａと、ピントマップ５０２の一部である部分ピントマップ５０２ａと、部分画像５０１ａと部分ピントマップ５０２ａとの境界を示す境界線５０４ａと、を表示するコンテンツである。境界線５０４ａは、横方向に延びる線であり、その上側に部分画像５０１ａが表示され、その下側に部分ピントマップ５０２ａが表示される。コンテンツ５０４は、境界線５０４ａの表示位置を下から上へと移動させることで、表示部１１０における部分画像５０１ａの表示割合を徐々に減少させ、部分ピントマップ５０２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ５０４の表示も、コンテンツ４０４の表示と同様、アクション５０３のスワイプ動作のスワイプの操作量に応じて部分画像５０１ａと部分ピントマップ５０２ａの表示割合を制御してもよい。このように、ここでは第１の画像５０１からピントマップ５０２への表示切り替えの際にコンテンツ５０４の表示を挿入する。このようにすることで、操作部１１１に対して上下方向の操作を行うことで互いに対応関係にある撮影画像とピントマップとの表示が切替わることをよりユーザに直感的に知らしめることができる。また制御部１０１は、ピントマップ５０２が表示された状態でさらにアクション５０３を受け付けると、ピントマップ５０２以外のその他の付加情報を表示する表示に切り替わるよう出力制御が行われてもよい。ピントマップ５０２以外のその他の付加情報は、ピントマップと同様に第１の画像５０１に対応している。その他の付加情報とは、例えば撮影日時、絞り、シャッター速度、焦点距離、撮影モードなどの撮影条件、シェーディング補正の有無、ホワイトバランス補正の有無などの画像処理パラメータなどである。

制御部１０１は、表示部１１０に第１の画像５０１を表示（図５（Ａ））させる出力制御を実行し、操作部１１１がアクション５０３を受け付けたことに応じて、表示部１１０にコンテンツ５０４を表示（図５（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０にピントマップ５０２を表示（図５（Ｃ））させる出力制御を実行する。本実施例のピントマップ表示機能によれば、画像再生中に画像送り機能の操作感を損なうことなく、画像に対応するピントマップを表示することができる。

図４（Ａ）乃至図４（Ｃ）及び図５（Ａ）乃至図５（Ｃ）では、第１の画像が横構図の場合について説明した。以下では、表示部１１０の縦長画面に縦構図の第１の画像が表示される場合について説明する。

図６（Ａ）は、表示部１１０に、縦構図の画像である第１の画像６０１を表示している図である。図６（Ａ）に示すように、表示部１１０に第１の画像６０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション６０３を行う。本実施例では、第１のアクションとしてのアクション６０３は、操作部１１１の操作面に対する、図６（Ａ）の矢印が指す方向へのスワイプ動作である。

制御部１０１は、操作部１１１がアクション６０３を受け付けたことに応じて、表示部１１０に第２の画像６０２を表示させる出力制御を実行する。図６（Ｃ）は、表示部１１０に、第２の画像６０２を表示している図である。本実施例では、表示部１１０の表示を、第１の画像６０１から第２の画像６０２へと切り替える際に、間にコンテンツ６０４の表示を挟む。図６（Ｂ）は、コンテンツ６０４を表示している表示部１１０を示す図である。コンテンツ６０４は、第１の画像６０１の一部である部分画像６０１ａと、第２の画像６０２の一部である部分画像６０２ａと、部分画像６０１ａと部分画像６０２ａとの境界を示す境界線６０４ａと、を表示するコンテンツである。境界線６０４ａは、縦方向に延びる線であり、その左側に部分画像６０１ａが表示され、その右側に部分画像６０２ａが表示される。コンテンツ６０４は、境界線６０４ａの表示位置を右から左へと移動させることで、表示部１１０における部分画像６０１ａの表示割合を徐々に減少させ、部分画像６０２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ６０４の表示も、コンテンツ４０４の表示と同様、アクション６０３のスワイプ動作のスワイプの操作量に応じて部分画像６０１ａと部分画像６０２ａの表示割合を制御してもよい。このように画像送りの際にコンテンツ６０４の表示を挿入することで、操作部１１１に対して左右方向の操作を行うことで表示される画像が切替わることをよりユーザに直感的に知らしめることができる。

制御部１０１は、表示部１１０に第１の画像６０１を表示（図６（Ａ））させる出力制御を実行し、操作部１１１がアクション６０３を受け付けたことに応じて、表示部１１０にコンテンツ６０４を表示（図６（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に第２の画像６０２を表示（図６（Ｃ））させる出力制御を実行する。

図７（Ａ）は、表示部１１０に、縦構図の画像である第１の画像７０１を表示している図である。図７（Ａ）に示すように、表示部１１０に第１の画像７０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション７０３を行う。本実施例では、第２のアクションとしてのアクション７０３は、操作部１１１の操作面に対する、図７（Ａ）の矢印が指す方向へのスワイプ動作である。

制御部１０１は、操作部１１１がアクション７０３を受け付けたことに応じて、表示部１１０にピントマップ７０２を表示させる出力制御を実行する。図７（Ｃ）は、表示部１１０に、ピントマップ７０２を表示している図である。ピントマップ７０２は、画像処理部１０７によって取得された、第１の画像７０１に対応する評価値の分布情報としてのピントマップである。

本実施例では、表示部１１０の表示を、第１の画像７０１からピントマップ７０２へと切り替える際に、間にコンテンツ７０４の表示を挟む。図７（Ｂ）は、コンテンツ７０４を表示している表示部１１０を示す図である。コンテンツ７０４は、第１の画像７０１の一部である部分画像７０１ａと、ピントマップ７０２の一部である部分ピントマップ７０２ａと、部分画像７０１ａと部分ピントマップ７０２ａとの境界を示す境界線７０４ａと、を表示するコンテンツである。境界線７０４ａは、横方向に延びる線であり、その上側に部分画像７０１ａが表示され、その下側に部分ピントマップ７０２ａが表示される。コンテンツ７０４は、境界線７０４ａの表示位置を下から上へと移動させることで、表示部１１０における部分画像７０１ａの表示割合を徐々に減少させ、部分ピントマップ７０２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ７０４の表示も、コンテンツ４０４の表示と同様、アクション７０３のスワイプ動作のスワイプの操作量に応じて部分画像７０１ａと部分ピントマップ７０２ａの表示割合を制御してもよい。このように、ここでは第１の画像７０１からピントマップ７０２への表示切り替えの際にコンテンツ７０４の表示を挿入する。このようにすることで、操作部１１１に対して上下方向の操作を行うことで互いに対応関係にある撮影画像とピントマップとの表示が切替わることをよりユーザに直感的に知らしめることができる。また制御部１０１は、ピントマップ７０２が表示された状態でさらにアクション７０３を受け付けると、第１の画像７０１に対応するピントマップ７０２以外のその他の情報を表示する表示に切り替わるよう出力制御が行われてもよい。第１の画像７０１に対応するピントマップ７０２以外のその他の情報は、例えば撮影日時、絞り、シャッター速度、焦点距離などの撮影条件、撮影モードなどの付加情報である。

制御部１０１は、表示部１１０に第１の画像７０１を表示（図７（Ａ））させる出力制御を実行し、操作部１１１がアクション７０３を受け付けたことに応じて、表示部１１０にコンテンツ７０４を表示（図７（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０にピントマップ７０２を表示（図７（Ｃ））させる出力制御を実行する。

制御部１０１は、画像再生処理の実行を指示するユーザの操作を受け付けることで、表示部１１０に画像を表示する画像再生処理（図３の処理）を実行する。以下、図３のフローチャートを参照して説明する。まず、制御部１０１は、画像再生処理の実行を指示するユーザの操作に応じた第１の画像を、表示部１１０に表示（図４（Ａ）、図５（Ａ）、図６（Ａ）、図７（Ａ））させる出力制御を実行する（ステップＳ３０１）。

続いて、制御部１０１は、操作部１１１が第１のアクション（アクション４０３、アクション６０３）を受け付けたかを判定する（ステップＳ３０２）。操作部１１１が第１のアクションを受け付けた場合（ステップＳ３０２：Ｙｅｓ）、処理はステップＳ３０３へ進む。制御部１０１は、第１の画像に続く画像である第２の画像を、表示部１１０に表示（図４（Ｂ）、図４（Ｃ）、図６（Ｂ）、図６（Ｃ））させる出力制御を実行する（ステップＳ３０３）。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図３の処理）を終了する（ステップＳ３０６：Ｙｅｓ）。制御部１０１は、ステップＳ３０６において再生が終了するまでは、ステップＳ３０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ３０６：Ｎｏ）。

操作部１１１が第１のアクションを受け付けていない場合（ステップＳ３０２：Ｎｏ）、制御部１０１は、操作部１１１が第２のアクション（アクション５０３、アクション７０３）を受け付けたかを判定する（ステップＳ３０４）。操作部１１１が第２のアクションを受け付けた場合（ステップＳ３０４：Ｙｅｓ）、処理はステップＳ３０５へ進む。制御部１０１は、第１の画像に対応したピントマップを、表示部１１０に表示（図５（Ｂ）、図５（Ｃ）、図７（Ｂ）、図７（Ｃ））させる出力制御を実行する（ステップＳ３０５）。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図３の処理）を終了する（ステップＳ３０６：Ｙｅｓ）。制御部１０１は、ステップＳ３０６において再生が終了するまでは、ステップＳ３０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ３０６：Ｎｏ）。
以上のように、本実施例では、撮影画像の再生表示時に画像送りと合わせて表示画像の評価値の表示を可能にする。さらに本実施例に係る画像送り機能とピントマップ表示機能によれば、画像再生中に画像送り機能の操作感を損なうことなく、画像に対応するピントマップ表示への切替わり操作を直感的に行うことができる。

本実施例では、評価値の分布情報として、ピントマップを表示する構成としたが、本発明はこれに限定されるものではなく、評価値の分布情報として、ピント以外の評価値をマップにしたものを表示する場合にも適用可能である。評価値の分布情報は、例えば、画像データより得られた動きベクトルなどに基づく画像一面のブレ度合いの分布情報であってもよい。また、評価値の分布情報は、例えば、画像信号のレベルを判定することによって得られる画像一面の白飛び・黒潰れ度合いの分布情報であってもよい。また、評価値の分布情報は、例えば、ピントマップをさらにレンズ情報、撮影条件に基づいて被写体距離に変換するなどして得られる画像一面の距離情報の分布情報であってもよい。また、評価値の分布情報は、例えば、画像解析によって得られる画像一面の法線方向分布の情報であってもよい。また、評価値の分布情報は、例えば、画像解析によって被写体検出、動き検出などが行われて得られる画像一面の意味的領域分割の確率分布情報（例えば、人物や植物、行動検知等の認識スコア分布情報）であってもよい。またこれらの評価値の分布情報の少なくともいずれか１つを表示する実施形態であればよい。複数種類の評価値の分布情報をもって、切替わり操作のたびに順に表示させる態様としてもよい。

本実施例では、２つの画素データ間のずらし量に基づいて算出されたデフォーカス量を、ピント情報としているが、本発明はこれに限定されるものではない。ピント情報は、例えば、ピントや絞り値が異なる２枚の画像の相関からデフォーカス量を取得するＤＦＤ（Ｄｅｐｔｈ Ｆｒｏｍ Ｄｅｆｏｃｕｓ）方式を用いたデフォーカス量でもよい。また、ピント情報は、例えば、ＴＯＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）方式等の測距センサモジュールから得た距離情報を用いてもよい。この距離情報は、画像内の被写体の奥行き方向の深さを示す深度情報である。このように構成すれば、ユーザは、ピントの合い具合を把握したうえで、ピントマップを光学系の焦点距離を決定することにも活用することができる。また、距離を前方被写界深度及び後方被写界深度で正規化すれば、ピントの合い具合を把握するのにさらに都合が良い。また、制御部１０１は、距離情報の分布情報を、ＴＯＦ方式のほか、レンズを複数並べた多眼光学系の視差を利用して取得しても良いし、デフォーカス量を距離に変換することで取得しても良い。

本実施例では、第２のアクション（図５のアクション５０３）に応じてピントマップ５０２を表示しているが、本発明はこれに限定されるものではない。例えば、制御部１０１は、操作部１１１がアクション５０３を受け付けたことに応じて、表示部１１０にコンテンツ５０４ｂ（図１７参照）を表示させる出力制御を実行してもよい。コンテンツ５０４ｂは、横構図の第１の画像５０１を縮小した画像５０１ｂと、ピントマップ５０２を縮小したピントマップ５０２ｂと、を縦に並べて一画面に配置して表示するコンテンツである。コンテンツ５０４ｂのような表示形態をとることにより、ユーザは元の撮影画像を確認しながら対応する被写体（領域）のピント情報（評価値情報）を一覧して確認することが出来る。さらに制御部１０１は、コンテンツ５０４ｂが表示された状態で第２のアクション（アクション５０３）を受け付けると、ピントマップ５０２を一面に表示させる出力制御を実行してもよい。
また例えば、制御部１０１は、操作部１１１がアクション５０３を受け付けたことに応じて、第１の画像５０１に対して、透過するピントマップ５０２を重畳させた画像及びピントマップを、表示部１１０に表示させる出力制御を実行してもよい。このようにピントマップ５０２を透過させ重畳した画像およびピントマップを表示する表示形態をとることにより、ユーザは元の撮影画像の被写体（領域）とピントマップにおけるピント情報（評価値情報）との対応を容易に確認することが出来る。また、このような透過表示の実施形態において、スワイプ動作の始点と同じ側の画像端からスワイプの操作方向へ徐々に重畳領域を増やしてピントマップ５０２が重畳されるように表示させる出力制御を行ってもよい。ピントマップ５０２が重畳される表示は、アクション５０３のスワイプ動作のスワイプの操作量に応じて、徐々に重畳領域を増やしてもよい。

本実施例では、デフォーカス量をグレースケールの濃淡で表すこととしたが、本発明はこれに限定されるものではない。例えば、制御部１０１は、デフォーカス量の分布情報をカラーコンターマップで表示部１１０に表示させる出力制御を実行してもよい。また、例えば、制御部１０１は、ピント情報の分布情報において、ピントの合っている箇所を任意の色で塗りつぶして表示部１１０に表示させる出力制御を実行してもよい。また、例えば、制御部１０１は、ピント情報の分布情報において、ピントの合っている箇所に任意の色を重畳して表示部１１０に表示させる出力制御を実行してもよい。また、例えば、制御部１０１は、ピント情報の分布情報を、三次元グラフ状にして表示部１１０に表示させる出力制御を実行してもよい。

本実施例では、第１のアクション（アクション４０３）を操作部１１１の操作面に対する横方向スワイプ動作とし、第２のアクション（アクション５０３）を操作部１１１の操作面に対する縦方向スワイプ動作としたが、本発明はこれに限定されるものではない。例えば、第１のアクションを操作部１１１の操作面に対する縦方向スワイプ動作とし、第２のアクションを操作部１１１の操作面に対する横方向スワイプ動作としてもよい。また例えば、第１のアクション及び第２のアクションは、操作部１１１の操作面のうち、表示部１１０に第１の画像が表示されている位置に対するアクションに限定してもよい。
本実施例では、表示部１１０の表示において、横長画面に横構図の撮影画像が表示されている場合に横方向のアクション４０３で画像送り、縦方向のアクション５０３でピントマップ５０２への切り替えとする例を示した。ただ本実施例では、横長画面に左右の領域をブラックアウトさせて縦構図の撮影画像が表示されている場合でも、同様に横方向のアクション４０３で画像送り、縦方向のアクション５０３でピントマップ５０２への切り替えとする。また本実施例では、縦長画面に縦構図の撮影画像が表示されている場合に、横方向のアクション６０３で画像送り、縦方向のアクション７０３でピントマップ７０２への切り替えとする例を示した。ただ本実施例では、縦長画面に上下の領域をブラックアウトさせて横構図の撮影画像が表示されている場合でも、同様に横方向のアクション６０３で画像送り、縦方向のアクション７０３でピントマップ７０２への切り替えとする。

本実施例では、タッチパネルをユーザの操作を受け付ける操作部とすることで、ユーザは表示されている画像に直接触れているように感じ、直感的でわかりやすい。また、本実施例では、画像送りあるいは画像と評価値の分布情報との表示の切り替えに係るユーザのアクションを、タッチパネルを操作部としたスワイプ動作としたが、本発明はこれに限定されるものではない。例えば、第１のアクションをタッチパネルの四辺のうち短辺側をタップする（短辺タップ）動作とし、第２のアクションをタッチパネルの四辺のうち長辺側をタップする（長辺タップ）動作とするなど、制御部１０１が識別可能な動作であればよい。

また、操作部１１１に含まれるタッチパネル以外の操作手段を用いても本発明は適用可能である。例えば、デジタルカメラが操作部として十字キー状の操作部を有する場合において、十字キーの左右入力と上下入力の一方を第１のアクションとし、他方を第２のアクションとしてもよい。例えば、デジタルカメラがスティック状の操作部を有する場合において、この操作部の左右入力と上下入力の一方を第１のアクションとし、他方を第２のアクションとしてもよい。このようなユーザが直接動かす操作部を用いることで、ユーザは確実な操作感を得ることができる。

また、本発明は、ＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ Ｖｉｅｗ Ｆｉｎｄｅｒ）を表示部としてもよい。このとき、例えば、ユーザの視線を検出する視線センサを操作部とし、視線の左右移動と上下移動の一方を第１のアクションとし、他方を第２のアクションとしてもよい。これにより、ＥＶＦ上で画像を再生しているときに手を使わずに簡単に操作できる。

また、本発明は、テレビのような大型モニタを表示部としてもよい。このとき、例えば、ユーザのジェスチャーを検出するジェスチャー検出部を操作部とし、左右方向のジェスチャーと上下方向のジェスチャーの一方を第１のアクションとし、他方を第２のアクションとしてもよい。これにより、表示部から離れて画像を鑑賞していても画像表示を操作できる。

また、本発明は、小型端末装置が有する画像表示装置で表示するときに、画像表示装置の画面をタッチせずに小型端末装置を動かすだけで操作できるようにしてもよい。例えば、加速度センサを操作部とし、画像表示装置の左右移動と上下移動の一方を第１のアクションとし、他方を第２のアクションとしてもよい。これにより、ボタンの配置やタッチ操作が困難な小さな端末でも、画像表示を操作できる。

また、本発明は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上での操作を考慮した操作部を用いてもよい。例えば、マウスを操作部とし、マウスの左右方向のドラッグと上下方向のドラッグの一方を第１のアクションとし、他方を第２のアクションとしてもよい。このようにすることで、タッチパネル等の専用の操作デバイスがなくても操作することができる。また、例えば、タッチパッドを操作部とし、タッチパッドの左右方向の動作と上下方向の動作の一方を第１のアクションとし、他方を第２のアクションとしてもよい。また、例えば、トラックボールを操作部とし、トラックボールの左右方向の回転と上下方向の回転の一方を第１のアクションとし、他方を第２のアクションとしてもよい。すなわち、第１のアクション及び第２のアクションは、操作部に対する左右操作及び上下操作であってもよい。さらに本発明では、上記に説明したこれらの各種操作部からの操作の少なくとも１つからの操作入力によって第１のアクションおよび第２のアクションを受け付けてもよい。すなわち、上記複数種類の操作部からの操作入力を同時にあるいは優先順位をつけて受付可能に実装されていてもよいものとする。

（実施例２）
以下、本発明の実施例２について、図面を参照して詳細に説明する。なお、以下に説明する本実施例でも、画像処理装置の一例であるデジタルカメラを例に説明する。実施例２に係るデジタルカメラの機能構成は、図１に示した実施例１と同様であるので、ここでは、図１を参照して説明する。本実施例では、制御部１０１が、表示部１１０の姿勢あるいは表示の設定に応じた、画像及びピントマップを表示部１１０に表示させる出力制御を実行する例について説明する。具体的に本実施例では、表示部１１０の姿勢あるいは表示部の設定によって、例えば縦長画面に対して上下をブラックアウトさせて横構図の画像が表示されている場合には、上下方向に画像およびピントマップを並べて表示する。この場合、ピントマップ画像の表示（切り替え）指示に応じてピントマップだけを表示させることはしない。また、例えば横長画面に対して左右をブラックアウトさせて縦構図の画像が表示されている場合には、ピントマップ画像の表示（切り替え）指示に応じてピントマップだけを表示させるのではなく、左右方向に画像およびピントマップを並べて表示する。これにより、ブラックアウトされて情報の表示に使われていない領域を有効利用してピントマップを表示することで、画像およびピントマップを一覧させることができ、利便性が向上する。

図８及び図９は、本発明の実施例２に係る画像再生処理を説明するためのフローチャートである。図１０（Ａ）及び図１０（Ｂ）は、横構図画像における表示部の姿勢あるいは表示の設定に応じて画像の表示方法を変える方法を示す図である。図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ）、図１１（Ｄ）、図１１（Ｅ）及び図１１（Ｆ）は、本発明の実施例２による横構図画像における表示部の姿勢に応じて画像とピントマップとの表示方法を変える方法を示す図である。図１２（Ａ）及び図１２（Ｂ）は、縦構図画像における表示部の姿勢あるいは表示の設定に応じて画像の表示方法を変える方法を示す図である。図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）、図１３（Ｄ）、図１３（Ｅ）及び図１３（Ｆ）は、本発明の実施例２による縦構図画像における表示部の姿勢あるいは表示の設定に応じて画像とピントマップとの表示方法を変える方法を示す図である。

まず、図１０（Ａ）及び図１０（Ｂ）を用いて表示部１１０の姿勢に応じた画像を表示する姿勢対応画像表示機能について説明する。姿勢対応画像表示機能とは、制御部１０１に制御されて実現される機能であって、画像再生中に、姿勢取得部１０９によって取得した表示部１１０の姿勢に応じて、表示部１１０に表示する画像を第１の画像から第２の画像に切り替える機能である。

図１０（Ａ）は、表示部１１０を横長画面の向きにしたときに、表示部１１０に、横構図の画像である第１の画像１００１を表示している図である。このとき、制御部１０１は、継続して、姿勢取得部１０９により表示部１１０の姿勢を取得する。制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が横長画面の向きから縦長画面の向きへと変更したことに応じて、表示部１１０の表示を図１０（Ａ）の表示から図１０（Ｂ）の表示へと切り替える出力制御を行う。図１０（Ｂ）は、表示部１１０を縦長画面の向きにしたときに、表示部１１０に、横構図の画像である画像１０１１を表示している図である。画像１０１１は、第１の画像１００１を縮小した画像である。画像１０１１の横の長さは、表示部１１０を縦長画面にしたときの表示領域の横の長さ以下である。表示部１１０の表示画面において、画像１０１１の上部には余白１０１５が配置され、画像１０１１の下部には余白１０１６が配置される。制御部１０１は、表示部１１０に余白１０１５及び余白１０１６を白色で表示する出力制御を行ってもよいし、表示部１１０に余白１０１５及び余白１０１６を白色以外の色で表示する出力制御を行ってもよい。図１０（Ｂ）では、余白１０１５及び余白１０１６を黒色で塗りつぶして表示している。このような姿勢対応画像表示機能によれば、ユーザが表示部１１０の姿勢を変更しても、表示部１１０において、横構図の第１の画像１００１を横構図のまま画像１０１１として表示することができる。制御部１０１は、表示部１１０が図１０（Ｂ）の表示をしているときに、姿勢取得部１０９により取得した表示部１１０の姿勢が横長画面の向きへと変更したことに応じて、表示部１１０の表示を図１０（Ａ）の表示へと切り替える出力制御を行う。

次に、図１１（Ａ）、図１１（Ｂ）、図１１（Ｃ）、図１１（Ｄ）、図１１（Ｅ）及び図１１（Ｆ）を用いてピントマップ表示機能について説明する。ピントマップ表示機能とは、制御部１０１に制御されて実現される機能であって、画像再生中に、操作部１１１がユーザのアクションを受け付けることで、表示部１１０に表示する画像を第１の画像からピントマップに切り替える機能である。なお、本実施例では、ピントマップはデフォーカス量の分布情報であり、図面においては、デフォーカス量をグレースケールの濃淡で表すが、本発明はこの限りではない。

図１１（Ａ）乃至図１１（Ｃ）は、図５（Ａ）乃至図５（Ｃ）に対応する。図１１（Ａ）の第１の画像１１０１は、図５（Ａ）の第１の画像５０１に対応する。図１１（Ａ）のアクション１１０３は、図５（Ａ）のアクション５０３に対応する。図１１（Ｂ）の部分画像１１０１ａは、図５（Ｂ）の部分画像５０１ａに対応する。図１１（Ｂ）の部分ピントマップ１１０２ａは、図５（Ｂ）の部分ピントマップ５０２ａに対応する。図１１（Ｂ）のコンテンツ１１０４は、図５（Ｂ）のコンテンツ５０４に対応する。図１１（Ｂ）の境界線１１０４ａは、図５（Ｂ）の境界線５０４ａに対応する。図１１（Ｃ）のピントマップ１１０２は、図５（Ｃ）のピントマップ５０２に対応する。図１１（Ａ）乃至図１１（Ｃ）に示す動作は、図５（Ａ）乃至図５（Ｃ）を参照して上述した動作と同様であるので、ここでは説明を省略する。

図１１（Ｄ）は、図１０（Ｂ）に対応し、横構図である第１の画像１１０１を縮小した画像１１１１を、縦長画面の表示部１１０に表示している図である。図１０（Ｂ）と同様に、表示部１１０において、画像１１１１の上部には余白１１１５が表示され、画像１１１１の下部には余白１１１６が表示される。本実施例では、この余白１１１５及び余白１１１６の表示領域を有効に活用する。制御部１０１は、第１の画像１１０１を縮小した画像１１１１と、第１の画像１１０１に対応するピントマップ１１０２を縮小したピントマップ１１１２とを並べた画像１１１７（図１１（Ｆ））を、表示部１１０に表示する出力制御を実行する。

図１１（Ｄ）に示すように、表示部１１０に画像１１１１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１１１３を行う。アクション１１１３は、例えば操作部１１１の操作面に対する縦方向スワイプ動作である。制御部１０１は、操作部１１１がアクション１１１３を受け付けたことに応じて、表示部１１０に画像１１１７を表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、画像１１１１から画像１１１７へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。

但し、本実施例では、表示部１１０の表示を、画像１１１１から画像１１１７へと切り替える際に、間にコンテンツ１１１４の表示を挟む。図１１（Ｅ）は、コンテンツ１１１４を表示している表示部１１０を示す図である。コンテンツ１１１４は、画像１１１１と、ピントマップ１１１２の一部である部分ピントマップ１１１２ａと、余白１１１５と、を表示するコンテンツである。コンテンツ１１１４は、画像１１１１の表示位置を下から上へと移動させることで、表示部１１０における余白１１１５の表示割合を徐々に減少させ、部分ピントマップ１１１２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ１１１４の表示も、コンテンツ７０４の表示と同様、アクション１１１３のスワイプ動作のスワイプの操作量に応じて余白１１１５と部分ピントマップ１１１２ａの表示割合を制御してもよい。本実施例では、画像１１１１から画像１１１７への表示切り替えの際にコンテンツ１１１４の表示を挿入する。このようにすることで、操作部１１１に対して上下方向の操作を行うことで互いに対応関係にある撮影画像と撮影画像及びピントマップとで表示が切替わることをよりユーザに直感的に知らしめることができる。
図１１（Ｄ）から図１１（Ｅ）に遷移する際は、図１１（Ｄ）の余白１１１６の位置に部分ピントマップ１１１２ａを表示させた後、画像１１１１の表示位置を下から上へと移動させてもよい。図１１（Ｄ）から図１１（Ｅ）に遷移する際は、画像１１１１を余白１１１６の位置に下げた後、画像１１１１の表示位置を下から上へと移動させてもよい。

制御部１０１は、表示部１１０に画像１１１１を表示（図１１（Ｄ））させる出力制御を実行し、操作部１１１がアクション１１１３を受け付けたことに応じて、表示部１１０にコンテンツ１１１４を表示（図１１（Ｅ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に画像１１１７を表示（図１１（Ｆ））させる出力制御を実行する。第１の画像１１０１が横構図の画像の場合、表示部１１０を縦長画面にしたとき、画像１１１１とピントマップ１１１２とを縦に並べて配置することで、これらを表示領域に無駄なく敷き詰めることができる。また、図１１（Ｃ）の状態のときに表示部１１０を縦長画面にすると、制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が縦長画面の向きへと変更したことに応じて、表示部１１０の表示を図１１（Ｆ）の表示へと切り替える出力制御を行う。また、図１１（Ｆ）の状態のときに表示部１１０を横長画面にすると、制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が横長画面の向きへと変更したことに応じて、表示部１１０の表示を図１１（Ｃ）の表示へと切り替える出力制御を行う。また、図１１（Ａ）の状態のときに表示部１１０を縦長画面にすると、制御部１０１は、この姿勢の変更を姿勢取得部１０９により取得し、それに応じて表示部１１０の表示を図１１（Ｆ）の表示へと切り替える出力制御を行ってもよい。本実施例によれば、このように表示部１１０の姿勢に応じて画像とピントマップとの表示方法を切り替えることで、表示部１１０の表示領域の面積を有効に活用することができる。

図１０（Ａ）、図１０（Ｂ）及び図１１（Ａ）乃至図１１（Ｆ）では画像が横構図の場合について説明したが、図１２（Ａ）、図１２（Ｂ）及び図１３（Ａ）乃至図１３（Ｆ）では画像が縦構図の場合について示す。
図１２（Ａ）は、表示部１１０を縦長画面の向きにしたときに、表示部１１０に、縦構図の画像である第１の画像１２０１を表示している図である。このとき、制御部１０１は、継続して、姿勢取得部１０９により表示部１１０の姿勢を取得する。制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が縦長画面の向きから横長画面の向きへと変更したことに応じて、表示部１１０の表示を図１２（Ａ）の表示から図１２（Ｂ）の表示へと切り替える出力制御を行う。図１２（Ｂ）は、表示部１１０を横長画面の向きにしたときに、表示部１１０に、縦構図の画像である画像１２１１を表示している図である。画像１２１１は、第１の画像１２０１を縮小した画像である。画像１２１１の縦の長さは、表示部１１０を横長画面にしたとき表示領域の縦の長さ以下である。表示部１１０の表示画面において、画像１２１１の左部には余白１２１５が配置され、画像１２１１の右部には余白１２１６が配置される。制御部１０１は、表示部１１０が図１２（Ｂ）の表示をしているときに、姿勢取得部１０９により取得した表示部１１０の姿勢が縦長画面の向きへと変更したことに応じて、表示部１１０の表示を図１２（Ａ）の表示へと切り替える出力制御を行う。

次に、図１３（Ａ）、図１３（Ｂ）、図１３（Ｃ）、図１３（Ｄ）、図１３（Ｅ）及び図１３（Ｆ）を用いてピントマップ表示機能について説明する。図１３（Ａ）乃至図１３（Ｃ）は、図７（Ａ）乃至図７（Ｃ）に対応する。図１３（Ａ）の第１の画像１３０１は、図７（Ａ）の第１の画像７０１に対応する。図１３（Ａ）のアクション１３０３は、図７（Ａ）のアクション７０３に対応する。図１３（Ｂ）の部分画像１３０１ａは、図７（Ｂ）の部分画像７０１ａに対応する。図１３（Ｂ）の部分ピントマップ１３０２ａは、図７（Ｂ）の部分ピントマップ７０２ａに対応する。図１３（Ｂ）のコンテンツ１３０４は、図７（Ｂ）のコンテンツ７０４に対応する。図１３（Ｂ）の境界線１３０４ａは、図７（Ｂ）の境界線７０４ａに対応する。図１３（Ｃ）のピントマップ１３０２は、図７（Ｃ）のピントマップ７０２に対応する。図１３（Ａ）乃至図１３（Ｃ）に示す動作は、図７（Ａ）乃至図７（Ｃ）を参照して上述した動作と同様であるので、ここでは説明を省略する。

図１３（Ｄ）は、図１２（Ｂ）に対応し、縦構図である第１の画像１３０１を縮小した画像１３１１を、横長画面の表示部１１０に表示している図である。図１２（Ｂ）と同様に、表示部１１０において、画像１３１１の左部には余白１３１５が表示され、画像１３１１の右部には余白１３１６が表示される。制御部１０１は、第１の画像１３０１を縮小した画像１３１１と、第１の画像１３０１に対応するピントマップ１３０２を縮小したピントマップ１３１２とを並べた画像１３１７（図１３（Ｆ））を、表示部１１０に表示する出力制御を実行する。

図１３（Ｄ）に示すように、表示部１１０に画像１３１１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１３１３を行う。アクション１３１３は、例えば操作部１１１の操作面に対する縦方向スワイプ動作である。制御部１０１は、操作部１１１がアクション１３１３を受け付けたことに応じて、表示部１１０に画像１３１７を表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、画像１３１１から画像１３１７へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。

但し、本実施例では、表示部１１０の表示を、画像１３１１から画像１３１７へと切り替える際に、間にコンテンツ１３１４の表示を挟む。図１３（Ｅ）は、コンテンツ１３１４を表示している表示部１１０を示す図である。コンテンツ１３１４は、画像１３１１と、ピントマップ１３１２の一部である部分ピントマップ１３１２ａと、余白１３１５と、を表示するコンテンツである。コンテンツ１３１４は、画像１３１１の表示位置を右から左へと移動させることで、表示部１１０における余白１３１５の表示割合を徐々に減少させ、部分ピントマップ１３１２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ１３１４の表示は、アクション１３１３のスワイプ動作のスワイプの操作量に応じて余白１３１５と部分ピントマップ１３１２ａの表示割合を制御してもよい。本実施例では、画像１３１１から画像１３１７への表示切り替えの際にコンテンツ１３１４の表示を挿入する。このようにすることで、操作部１１１に対して上下方向の操作を行うことで互いに対応関係にある撮影画像と撮影画像及びピントマップとで表示が切替わることをよりユーザに直感的に知らしめることができる。
図１３（Ｄ）から図１３（Ｅ）に遷移する際は、図１３（Ｄ）の余白１３１６の位置に部分ピントマップ１３１２ａを表示させた後、画像１３１１の表示位置を右から左へと移動させてもよい。図１３（Ｄ）から図１３（Ｅ）に遷移する際は、画像１３１１を余白１３１６の位置に右寄せした後、画像１３１１の表示位置を右から左へと移動させてもよい。

制御部１０１は、表示部１１０に画像１３１１を表示（図１３（Ｄ））させる出力制御を実行し、操作部１１１がアクション１３１３を受け付けたことに応じて、表示部１１０にコンテンツ１３１４を表示（図１３（Ｅ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に画像１３１７を表示（図１３（Ｆ））させる出力制御を実行する。第１の画像１３０１が縦構図の画像の場合、表示部１１０を横長画面にしたとき、画像１３１１とピントマップ１３１２とを横に並べて配置することで、これらを表示領域に無駄なく敷き詰めることができる。また、図１３（Ｃ）の状態のときに表示部１１０を横長画面にすると、制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が横長画面の向きへと変更したことに応じて、表示部１１０の表示を図１３（Ｆ）の表示へと切り替える出力制御を行う。また、図１３（Ｆ）の状態のときに表示部１１０を縦長画面にすると、制御部１０１は、姿勢取得部１０９により取得した表示部１１０の姿勢が縦長画面の向きへと変更したことに応じて、表示部１１０の表示を図１３（Ｃ）の表示へと切り替える出力制御を行う。また、図１３（Ａ）の状態のときに表示部１１０を横長画面にすると、制御部１０１は、この姿勢の変更を姿勢取得部１０９により取得し、それに応じて表示部１１０の表示を図１３（Ｆ）の表示へと切り替える出力制御を行ってもよい。本実施例によれば、このように表示部１１０の姿勢に応じて画像とピントマップとの表示方法を切り替えることで、表示部１１０の表示領域の面積を有効に活用することができる。

制御部１０１は、画像再生処理の実行を指示するユーザの操作を受け付けることで、表示部１１０に画像を表示する画像再生処理（図８及び図９の処理）を実行する。以下、図８及び図９のフローチャートを参照して説明する。まず、制御部１０１は、画像再生処理の実行を指示するユーザの操作に応じた第１の画像を、表示部１１０に表示（図１０（Ａ）、図１１（Ａ）、図１２（Ａ）、図１３（Ａ））させる出力制御を実行する（ステップＳ８０１）。

続いて、制御部１０１は、姿勢取得部１０９で取得した表示部１１０の姿勢が変更されたかを判定する（ステップＳ８０２）。表示部１１０の姿勢が変更された場合（ステップＳ８０２：Ｙｅｓ）、制御部１０１は、図９のステップＳ９０１へと処理を進める。表示部１１０の姿勢が変更されていない場合（ステップＳ８０２：Ｎｏ）、制御部１０１は、ステップＳ８０４へと処理を進める。

ステップＳ８０４において、制御部１０１は、操作部１１１が第１のアクションを受け付けたかを判定する。操作部１１１が第１のアクションを受け付けた場合（ステップＳ８０４：Ｙｅｓ）、制御部１０１は、第１の画像に続く画像である第２の画像を、表示部１１０に表示させる出力制御を実行する（ステップＳ８０５）。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図８及び図９の処理）を終了する（ステップＳ８０８：Ｙｅｓ）。制御部１０１は、ステップＳ８０８において再生が終了するまでは、ステップＳ８０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ８０８：Ｎｏ）。

操作部１１１が第１のアクションを受け付けていない場合（ステップＳ８０４：Ｎｏ）、制御部１０１は、操作部１１１が第２のアクション（アクション１１０３、アクション１３０３）を受け付けたかを判定する（ステップＳ８０６）。操作部１１１が第２のアクションを受け付けた場合（ステップＳ８０６：Ｙｅｓ）、処理はステップＳ８０７へ進む。制御部１０１は、第１の画像に対応したピントマップを、表示部１１０に表示（図１１（Ｂ）、図１１（Ｃ）、図１３（Ｂ）、図１３（Ｃ））させる出力制御を実行する（ステップＳ８０７）。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図８及び図９の処理）を終了する（ステップＳ８０８：Ｙｅｓ）。制御部１０１は、ステップＳ８０８において再生が終了するまでは、ステップＳ８０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ８０８：Ｎｏ）。

ステップＳ８０２において、表示部１１０の姿勢が変更された場合（ステップＳ８０２：Ｙｅｓ）、制御部１０１は、図９のステップＳ９０１へと処理を進める。ステップＳ９０１において、制御部１０１は、第１の画像を縮小した画像を、表示部１１０に表示（（図１０（Ｂ）、図１１（Ｄ）、図１２（Ｂ）、図１３（Ｄ）））させる出力制御を実行する。

続いて、制御部１０１は、姿勢取得部１０９で取得した表示部１１０の姿勢が変更されたかを判定する（ステップＳ９０２）。表示部１１０の姿勢が変更された場合（ステップＳ９０２：Ｙｅｓ）、制御部１０１は、図８のステップＳ８０３へと処理を進める。図８のステップＳ８０３において、制御部１０１は、縮小していない第１の画像を、表示部１１０に表示（（図１０（Ａ）、図１１（Ａ）、図１２（Ａ）、図１３（Ａ）））させる出力制御を実行する。その後、制御部１０１は、上述したステップＳ８０４以降の処理を実行する。

図９のステップＳ９０２において、表示部１１０の姿勢が変更されていない場合（ステップＳ９０２：Ｎｏ）、制御部１０１は、図９のステップＳ９０３へと処理を進める。ステップＳ９０３において、制御部１０１は、操作部１１１が第１のアクションを受け付けたかを判定する。操作部１１１が第１のアクションを受け付けた場合（ステップＳ９０３：Ｙｅｓ）、制御部１０１は、第１の画像に続く画像である第２の画像を、表示部１１０に表示させる出力制御を実行する（ステップＳ９０４）。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図８及び図９の処理）を終了する（ステップＳ９０７：Ｙｅｓ）。制御部１０１は、ステップＳ９０７において再生が終了するまでは、ステップＳ９０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ９０７：Ｎｏ）。

操作部１１１が第１のアクションを受け付けていない場合（ステップＳ９０３：Ｎｏ）、制御部１０１は、操作部１１１が第２のアクション（アクション１１１３、アクション１３１３）を受け付けたかを判定する（ステップＳ９０５）。操作部１１１が第２のアクションを受け付けた場合（ステップＳ９０５：Ｙｅｓ）、制御部１０１は、画像及びピントマップを、表示部１１０に表示（図１１（Ｆ）、図１３（Ｆ））する出力制御を実行する（ステップＳ９０６）。ステップＳ９０６において表示する画像及びピントマップは、第１の画像を縮小した画像と、第１の画像に対応するピントマップを縮小したピントマップとを並べた画像である。制御部１０１は、画像再生処理の終了を指示するユーザの操作を受け付けることで、画像再生処理（図８及び図９の処理）を終了する（ステップＳ９０７：Ｙｅｓ）。制御部１０１は、ステップＳ９０７において再生が終了するまでは、ステップＳ９０２に戻り、ユーザの操作に応じた処理を繰り返す（ステップＳ９０７：Ｎｏ）。

（実施例３）
以下、本発明の実施例３について、図面を参照して詳細に説明する。なお、以下に説明する本実施例でも、画像処理装置の一例であるデジタルカメラを例に説明する。実施例３に係るデジタルカメラの機能構成は、図１に示した実施例１と同様であるので、ここでは、図１を参照して説明する。本実施例では、制御部１０１が、例えば実施例１に準じて第１の画像に対応したピントマップを表示部１１０に表示させているときに、さらに画像送りに相当するアクションを起こした場合の出力制御の例について説明する。本実施例では、この場合に、次の撮影画像へ画像送りする出力制御を実行する。本実施例では複数の撮影画像のピントマップ（評価値）を確認しながら順次チェックしていく場合にまず画像が確認できる。これにより、被写体の表情、姿勢などであまり良くなく、ピント（評価値）以外の理由で評価が下がる画像の評価値まで無駄に確認するという作業を割愛することができる。

図１４（Ａ）は、図５（Ｃ）に対応し、表示部１１０に第１の画像に対応したピントマップ１４０１を表示している。図１４（Ａ）のピントマップ１４０１は、図５（Ｃ）のピントマップ５０２に対応する。図１４（Ａ）のアクション１４０３は、図４（Ａ）のアクション４０３に対応する。本実施例では、実施例１の動作に従って表示部１１０にピントマップ１４０１を表示しているときに、第１のアクションとしてのアクション１４０３を受け付けた場合の処理について説明する。

図１４（Ａ）に示すように、表示部１１０にピントマップ１４０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１４０３を行う。制御部１０１は、操作部１１１がアクション１４０３を受け付けたことに応じて、表示部１１０に第２の画像１４０２を表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、ピントマップ１４０１から第２の画像１４０２へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。図１４（Ｃ）は、表示部１１０に、第２の画像１４０２を表示している図である。

但し、本実施例では、表示部１１０の表示を、ピントマップ１４０１から第２の画像１４０２へと切り替える際に、間にコンテンツ１４０４の表示を挟む。図１４（Ｂ）は、コンテンツ１４０４を表示している表示部１１０を示す図である。コンテンツ１４０４は、ピントマップ１４０１の一部である部分ピントマップ１４０１ａと、第２の画像１４０２の一部である部分画像１４０２ａと、を表示するコンテンツである。また、コンテンツ１４０４は、部分ピントマップ１４０１ａと部分画像１４０２ａとの境界を示す境界線１４０４ａを表示するコンテンツである。境界線１４０４ａは、縦方向に延びる線であり、その左側に部分ピントマップ１４０１ａが表示され、その右側に部分画像１４０２ａが表示される。コンテンツ１４０４は、境界線１４０４ａの表示位置を右から左へと移動させることで、表示部１１０における部分ピントマップ１４０１ａの表示割合を徐々に減少させ、部分画像１４０２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ１４０４の表示は、アクション１４０３のスワイプ動作のスワイプの操作量に応じて部分ピントマップ１４０１ａと部分画像１４０２ａの表示割合を制御してもよい。このように本実施例では、ピントマップから次の画像へ表示を切り替える際にコンテンツ１４０４の表示を挿入する。このようにすることで、操作部１１１に対して左右方向の操作を行うことで表示される画像が切替わることをよりユーザに直感的に知らしめることができる。

制御部１０１は、表示部１１０にピントマップ１４０１を表示（図１４（Ａ））させる出力制御を実行し、操作部１１１がアクション１４０３を受け付けたことに応じて、表示部１１０にコンテンツ１４０４を表示（図１４（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に第２の画像１４０２を表示（図１４（Ｃ））させる出力制御を実行する。これにより、ユーザは、第１の画像に対応するピントマップを確認しているとき、画像送りをして、まず第２の画像を確認することができる。

（実施例４）
以下、本発明の実施例４について、図面を参照して詳細に説明する。なお、以下に説明する本実施例でも、画像処理装置の一例であるデジタルカメラを例に説明する。実施例４に係るデジタルカメラの機能構成は、図１に示した実施例１と同様であるので、ここでは、図１を参照して説明する。本実施例では、制御部１０１が、例えば実施例１に準じて第１の画像に対応したピントマップを表示部１１０に表示させているときにさらに画像送りに対応するアクションを行った場合の出力制御の例について説明する。本実施例では、この場合に、表示されるものが次の撮影画像のピントマップに送られる出力制御を実行する。本実施例では例えば略同一の被写体を連写等で複数撮像して得られた複数の画像において、ピント状態の良好な画像を特定するに当たって、ピントマップ間で直接表示を送ることが可能であるためにより素早くピント評価の高い画像を特定することができる。

図１５（Ａ）は、図５（Ｃ）に対応し、表示部１１０に第１の画像に対応したピントマップ１５０１を表示している。図１５（Ａ）のピントマップ１５０１は、図５（Ｃ）のピントマップ５０２に対応する。図１５（Ａ）のアクション１５０３は、図４（Ａ）のアクション４０３に対応する。本実施例では、実施例１の動作に従って表示部１１０にピントマップ１５０１を表示しているときに、第１のアクションとしてのアクション１５０３を受け付けた場合の処理について説明する。

図１５（Ａ）に示すように、表示部１１０にピントマップ１５０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１５０３を行う。制御部１０１は、操作部１１１がアクション１５０３を受け付けたことに応じて、第２の画像に対応したピントマップ１５０２を表示部１１０に表示させる出力制御を実行する。この制御部１０１による出力制御では、表示部１１０の表示を、ピントマップ１５０１からピントマップ１５０２へと、他の如何なるコンテンツの表示も挟まずに切り替えてもよい。図１５（Ｃ）は、表示部１１０に、ピントマップ１５０２を表示している図である。

但し、本実施例では、表示部１１０の表示を、ピントマップ１５０１からピントマップ１５０２へと切り替える際に、間にコンテンツ１５０４の表示を挟む。図１５（Ｂ）は、コンテンツ１５０４を表示している表示部１１０を示す図である。コンテンツ１５０４は、ピントマップ１５０１の一部である部分ピントマップ１５０１ａと、ピントマップ１５０２の一部である部分ピントマップ１５０２ａと、を表示するコンテンツである。また、コンテンツ１５０４は、部分ピントマップ１５０１ａと部分ピントマップ１５０２ａとの境界を示す境界線１５０４ａを表示するコンテンツである。境界線１５０４ａは、縦方向に延びる線であり、その左側に部分ピントマップ１５０１ａが表示され、その右側に部分ピントマップ１５０２ａが表示される。コンテンツ１５０４は、境界線１５０４ａの表示位置を右から左へと移動させることで、表示部１１０における部分ピントマップ１５０１ａの表示割合を徐々に減少させ、部分ピントマップ１５０２ａの表示割合を徐々に増加させるコンテンツである。コンテンツ１５０４の表示は、アクション１５０３のスワイプ動作のスワイプの操作量に応じて部分ピントマップ１５０１ａと部分ピントマップ１５０２ａの表示割合を制御してもよい。このように本実施例では、ピントマップから次のピントマップへと表示を切り替える際にコンテンツ１５０４の表示を挿入する。このようにすることで、操作部１１１に対して左右方向の操作を行うことで表示されるピントマップが切替わることをよりユーザに直感的に知らしめることができる。

制御部１０１は、表示部１１０にピントマップ１５０１を表示（図１５（Ａ））させる出力制御を実行し、操作部１１１がアクション１５０３を受け付けたことに応じて、表示部１１０にコンテンツ１５０４を表示（図１５（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０にピントマップ１５０２を表示（図１５（Ｃ））させる出力制御を実行する。これにより、ユーザは、第１の画像に対応するピントマップを確認しているとき、続けて第２の画像に対応するピントマップを確認することができる。

なお、制御部１０１は、操作部１１１が第１のアクションを受け付けた後、所定時間経過前に再度第１のアクションを受け付けた場合には、図１５（Ｃ）に示した第２の画像に対応したピントマップを表示する出力制御を実行するようにしてもよい。すなわち制御部１０１は、操作部１１１が前回の第１のアクションから所定時間経過前に次の第１のアクションを受け付けた場合には、第２の画像に対応したピントマップを表示する出力制御を実行する。
また、制御部１０１は、操作部１１１が第１のアクションを受け付けた後、所定時間経過後に再度第１のアクションを受け付けた場合には、図１４（Ｃ）に示した第２の画像を表示する出力制御を実行するようにしてもよい。すなわち制御部１０１は、操作部１１１が前回の第１のアクションから所定時間経過後に次の第１のアクションを受け付けた場合には、第２の画像を表示する出力制御を実行する。
このようにすることで、ユーザは、ピント情報だけを確認したい場合は、連続して第１のアクションを行うことで即座にピントマップを確認できる。また、ユーザは、長時間ピントマップを確認した後は、第１のアクションで次の画像が表示されることで、次の画像がどのようなシーンであったかを思い出しやすい。
また、制御部１０１は、表示部１１０にピントマップ１５０１を表示しているときに、第１のアクションとしてのアクション１５０３を受け付けた場合に、次の第２の画像に対応するピントマップが生成されていない場合も考えられる。この場合、アクション１５０３を受け付けたことに応じて、画像処理部１０７にて第２の画像に対応するピントマップを生成させてから表示部１１０に生成されたピントマップを表示するよう制御してもよい。あるいは制御部１０１は、アクション１５０３を受け付けたことに応じて、画面一面をブラックアウトして表示するなど、第２の画像に対応するピントマップが存在しないことを示す表示を行ってもよい。あるいは制御部１０１は、アクション１５０３を受け付けたことに応じて、実施例３と同様に第２の画像の表示に切り替えるように出力制御を実行してもよい。

（実施例５）
以下、本発明の実施例５について、図面を参照して詳細に説明する。なお、以下に説明する本実施例でも、画像処理装置の一例であるデジタルカメラを例に説明する。実施例５に係るデジタルカメラの機能構成は、図１に示した実施例１と同様であるので、ここでは、図１を参照して説明する。本実施例では、制御部１０１が、連写画像を再生する場合において、同一連写グループに属する画像を再生するときと、異なる連写グループに属する画像を再生するときとで処理を異ならせる。なお、同一連写グループに属する画像とは、例えば、同一のレリーズアクションで得られた連写画像のことである。異なる連写グループに属する画像とは、例えば、異なるレリーズアクションで得られた画像のことである。制御部１０１は、この各画像がどの連写グループに属するかを示す連写グループ情報を、画像とともにＲＡＭ１０３に記憶させる。制御部１０１は、ＲＡＭ１０３の連写グループ情報を読み出すことで、各画像がどの連写グループに属するかを判定することができる。

本実施例では、第１の連写グループに属する第１の画像と、第１の連写グループに属する第２の画像と、第２の連写グループに属する第３の画像と、が記録媒体１０８に記録されている場合を例に説明する。ユーザが第１の画像のピントマップを確認しているとき、画像送りで次に表示される第２の画像は第１の画像と同一連写グループであって構図が大きく変化しないため、画像送りで第２の画像のピントマップを表示することでユーザは確認しやすく利便性が高い。ユーザが第２の画像のピントマップを確認しているとき、画像送りで次に表示される第３の画像は第２の画像と異なる連写グループであって構図が大きく変化するため、画像送りで第３の画像を表示することで、ユーザは、まず画像を確認できて利便性が高い。

図１６（Ａ）は、図５（Ｃ）に対応し、表示部１１０に第１の画像に対応したピントマップ１６０１を表示している。図１６（Ａ）のピントマップ１６０１は、図５（Ｃ）のピントマップ５０２に対応する。図１６（Ａ）のアクション１６０３ａは、図４（Ａ）のアクション４０３に対応する。本実施例では、まず、表示部１１０にピントマップ１６０１を表示しているときに、第１のアクションとしてのアクション１６０３ａを受け付けた場合の処理について説明する。

図１６（Ａ）に示すように、表示部１１０にピントマップ１６０１が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１６０３ａを行う。制御部１０１は、画像送りで第１の画像の次に表示すべき画像が、第１の画像と同一連写グループであるかを判定する。ここでは、画像送りで第１の画像の次に表示すべき画像は第２の画像であって、この第２の画像は第１の画像と同一連写グループである。このため、制御部１０１は、操作部１１１がアクション１６０３ａを受け付けたことに応じて、第２の画像に対応したピントマップ１６０２を表示部１１０に表示させる出力制御を実行する。制御部１０１は、表示部１１０の表示を、ピントマップ１６０１からピントマップ１６０２へと切り替える際に、図１５（Ｂ）と同様に、図１６（Ｂ）のコンテンツ１６０４の表示を間に挟んでもよい。図１６（Ｂ）のコンテンツ１６０４は、図１５（Ｂ）のコンテンツ１５０４に対応する。図１６（Ｂ）の部分ピントマップ１６０１ａは、図１５（Ｂ）の部分ピントマップ１５０１ａに対応する。図１６（Ｂ）の部分ピントマップ１６０２ａは、図１５（Ｂ）の部分ピントマップ１５０２ａに対応する。図１６（Ｂ）の境界線１６０４ａは、図１５（Ｂ）の境界線１５０４ａに対応する。

制御部１０１は、表示部１１０にピントマップ１６０１を表示（図１６（Ａ））させる出力制御を実行し、操作部１１１がアクション１６０３ａを受け付けたことに応じて、表示部１１０にコンテンツ１６０４を表示（図１６（Ｂ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０にピントマップ１６０２を表示（図１６（Ｃ））させる出力制御を実行する。これにより、ユーザは、第１の画像に対応するピントマップを確認しているとき、続けて同一連写グループの画像である第２の画像に対応するピントマップを確認することができる。

図１６（Ｃ）のアクション１６０３ｂは、図４（Ａ）のアクション４０３に対応する。なお、アクション１６０３ｂは、アクション１６０３ａと同じアクションである。図１６（Ｃ）に示すように、表示部１１０にピントマップ１６０２が表示された状態で、ユーザは、操作部１１１の操作面に対してアクション１６０３ｂを行う。制御部１０１は、画像送りで第２の画像の次に表示すべき画像が、第２の画像と同一連写グループであるかを判定する。ここでは、画像送りで第２の画像の次に表示すべき画像は第３の画像であって、この第３の画像は第２の画像と異なる連写グループである。このため、制御部１０１は、操作部１１１がアクション１６０３ｂを受け付けたことに応じて、第３の画像１６０８を表示部１１０に表示させる出力制御を実行する。制御部１０１は、表示部１１０の表示を、ピントマップ１６０２から第３の画像１６０８へと切り替える際に、図１４（Ｂ）と同様に、図１６（Ｄ）のコンテンツ１６０９の表示を間に挟んでもよい。図１６（Ｄ）のコンテンツ１６０９は、図１４（Ｂ）のコンテンツ１４０４に対応する。図１６（Ｄ）の部分ピントマップ１６０２ａは、図１４（Ｂ）の部分ピントマップ１４０１ａに対応する。図１６（Ｄ）の部分画像１６０８ａは、図１４（Ｂ）の部分画像１４０２ａに対応する。図１６（Ｄ）の境界線１６０９ａは、図１４（Ｂ）の境界線１４０４ａに対応する。

制御部１０１は、表示部１１０にピントマップ１６０２を表示（図１６（Ｃ））させる出力制御を実行し、操作部１１１がアクション１６０３ｂを受け付けたことに応じて、表示部１１０にコンテンツ１６０９を表示（図１６（Ｄ））させる出力制御を実行する。制御部１０１は、その後、表示部１１０に第３の画像１６０８を表示（図１６（Ｅ））させる出力制御を実行する。これにより、ユーザは、第２の画像に対応するピントマップを確認しているとき、異なる連写グループの第３の画像に対しては、第３の画像に対応するピントマップではなく、まず第３の画像を確認することができる。

なお、本実施例では、図１１（Ｃ）及び図１３（Ｃ）のように表示部１１０にピントマップのみが表示されている状態で説明を行った。しかしながら、本発明は、図１１（Ｆ）及び図１３（Ｆ）のように表示部１１０に画像とピントマップとが縮小されて同時に表示されている状態であっても、同様の機能が実現できるのは勿論である。例えば、制御部１０１は、表示部１１０に画像及びピントマップが表示された状態で第１のアクションで画像送りされた場合、次の画像及び次の画像に対応するピントマップを表示する出力制御を実行してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ デジタルカメラ
１０１ 制御部
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ 光学系
１０５ 撮像部
１０６ Ａ／Ｄ変換部
１０７ 画像処理部
１０８ 記録媒体
１０９ 姿勢取得部
１１０ 表示部
１１１ 操作部
１１２ バス

Claims (18)

1. 画像、又は前記画像の複数の領域に対応する評価値の分布情報を出力する出力手段と、
   第１のアクション、及び前記第１のアクションとは異なる第２のアクションを受け付ける操作手段と、
   前記出力手段が第１の画像を出力しているときに、前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が第２の画像を出力し、前記操作手段が前記第２のアクションを受け付けた場合は前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力する出力制御を実行する制御手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記制御手段は、前記出力手段により出力される画像および評価値の分布情報が表示手段により表示されるよう前記出力制御を実行することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、各評価値の対応する画像の領域の位置に各評価値が可視化された評価値の分布情報を表示手段に表示させるよう前記出力制御を実行することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記制御手段は、前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力しているときに、前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像を出力する出力制御を実行する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力しているときに、前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像に対応する前記評価値の分布情報を出力する出力制御を実行する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力しているときに、
   前記操作手段が、前回の前記第１のアクションから所定時間経過前に前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像に対応する前記評価値の分布情報を出力し、
   前記操作手段が、前回の前記第１のアクションから所定時間経過後に前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像を出力する出力制御を実行する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記出力手段が前記第１の画像に対応する前記評価値の分布情報を出力しているときに、
   前記第２の画像が前記第１の画像と同一の連写グループに属する画像であって前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像に対応する前記評価値の分布情報を出力し、
   前記第２の画像が前記第１の画像と異なる連写グループに属する画像であって前記操作手段が前記第１のアクションを受け付けた場合は前記出力手段が前記第２の画像を出力する出力制御を実行する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記評価値の分布情報は、ピント情報の分布情報を含むことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 前記評価値の分布情報は、ブレ度合いの分布情報、白飛び・黒潰れ度合いの分布情報、距離情報の分布情報、法線方向分布の情報、又は意味的領域分割の確率分布情報のうちの少なくともいずれか１つを含む
   ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 前記操作手段は、タッチパネルからの操作入力を受け付け、
    前記第１のアクション及び前記第２のアクションは、前記タッチパネルに対するスワイプ動作、又は短辺タップ及び長辺タップである
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記操作手段は、十字キー状、又はスティック状の操作部からの入力を受け付け、
    前記第１のアクション及び前記第２のアクションは、前記操作部に対する左右入力及び上下入力である
    ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
12. 前記操作手段は、ユーザの視線を検出する視線センサ、ユーザのジェスチャーを検出するジェスチャー検出部、加速度センサおよびマウスの少なくとも１つからの操作入力を受け付け、前記第１のアクションおよび前記第２のアクションを受け付けることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
13. 前記画像処理装置の姿勢を取得する姿勢取得部を有し、
    前記制御手段は、前記画像処理装置の姿勢に応じて前記出力手段の出力を異ならせる出力制御を実行する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 前記制御手段は、前記画像の縦横情報に応じて前記出力手段の出力を異ならせる出力制御を実行する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記制御手段は、前記画像の縦横情報及び前記画像処理装置の姿勢に応じて前記出力手段の出力を異ならせる出力制御を実行する
    ことを特徴とする請求項１４に記載の画像処理装置。
16. 請求項１乃至１５のいずれか１項に記載の画像処理装置と、前記出力手段が出力する画像又は前記評価値の分布情報を表示する表示手段と、を有する
    ことを特徴とする撮像装置。
17. 第１のアクション、及び前記第１のアクションとは異なる第２のアクションを受け付ける操作手段を有する画像処理装置の制御方法であって、
    画像、又は前記画像の複数の領域に対応する評価値の分布情報を出力する出力工程と、
    前記出力工程で第１の画像を出力しているときに、前記操作手段が前記第１のアクションを受け付けた場合は前記出力工程で第２の画像を出力し、前記操作手段が前記第２のアクションを受け付けた場合は前記出力工程で前記第１の画像に対応する前記評価値の分布情報を出力する出力制御を実行する制御工程と、を有する
    ことを特徴とする画像処理装置の制御方法。
18. コンピュータを請求項１乃至１５のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。

Images