JP2009017121A - 画像表示制御装置及び画像表示制御方法及びプログラム及び記録媒体 - Google Patents

Abstract

【課題】 画像によって異なるユーザの注目したい領域を容易に確認することができる表示制御装置を提供することを目的とする。
【解決手段】 被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定手段（ステップＳ９０６、Ｓ９０９）と
前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定手段（ステップＳ９０４、Ｓ９１１）と、
前記第１の範囲決定手段と前記第２の範囲決定手段とのどちらの範囲決定手段によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定手段（ステップＳ９０３、Ｓ９０８）と、
前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御する表示制御手段（ステップＳ９０５、Ｓ９０７、Ｓ９１０、Ｓ９１２）と
を有する。
【選択図】 図９

Description

本発明は、画像を表示する画像表示装置及び画素表示方法及びプログラム及び記録媒体に関する。

近年、画像を表示する表示装置を備えた電子機器（デジタルカメラ等の撮像装置や携帯電話、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）など）の小型化が進んでいる。これらの機器の小型化に伴い軽量化や携帯性など利便性が向上しているが、一方、小型化によって表示される画像の確認が困難になるという問題点もある。

従来、このような問題点を解決するために例えば以下のような提案がなされている。画面に表示される画像の中から人の顔などの注目被写体を検出し、検出された注目被写体の位置や大きさ等に従って、この注目被写体を拡大表示するための表示領域や拡大率を決定する。そして、決定された表示領域や拡大率に従って画面に拡大表示を行う。複数の注目被写体が画像中に存在する場合には、注目被写体を複数の集合として分類し、集合毎に拡大表示を行う（特許文献１）。

一方、画像を撮像装置で撮像した際に焦点調節を行った領域を拡大表示することにより、撮像した画像がピントのあったものか否かを確認する撮像装置も提案されている。
特開２００５−３１１８８８

上記従来例では、顔などの検出可能な特定の被写体のみを注目被写体として表示したり、焦点調節を行った領域のみを拡大表示するものである。しかしながら画像の中でユーザが注目したい領域は焦点調節した領域であったり人物の顔であったりと画像によって異なっており、従来の方法による注目被写体のみの表示や焦点調節した領域のみの表示は必ずしもユーザが注目したい領域とは限らなかった。

そこで本発明では上記課題を解決し、画像によって異なるユーザの注目したい領域を容易に確認することができる表示制御装置を提供することを目的とする。

上記目的を達成するため、本願発明は
被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定手段と
前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定手段と、
前記第１の範囲決定手段と前記第２の範囲決定手段とのどちらの範囲決定手段によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定手段と、
前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御する表示制御手段と
を有する事を特徴とする。

本発明によれば、ユーザが画像ごとに異なる注目したい領域を容易に確認可能な表示をする事ができる。

（実施例１）
［デジタルカメラの構成について］
（ａ）外観図
図１（ａ）は本願発明の画像表示制御装置の一実施例としてのデジタルカメラの外観図である。図１（ａ）において、２８は表示部であり、画像や各種情報を表示する。７２は電源スイッチであり、電源オン、電源オフを切り替える。６１はシャッターボタンである。また、シャッターボタン６１の外側にはズームレバーが設けられている。６０はモード切替スイッチであり、デジタルカメラ１００における各種モードを切り替える。より具体的には、静止画記録モード、動画記録モード、再生モード等のモードの切り替えが可能である。１１１は接続ケーブルであり、デジタルカメラ１００と外部機器を接続する。１１２はコネクタであり、接続ケーブル１１１とデジタルカメラ１００とを接続する。

７０は操作部であり、ユーザからの各種操作を受け付ける。操作部７０は図示の各種ボタンや、画像表示部２８の画面上に設けられたタッチパネル等の操作部材を有する。操作部７０の各種ボタンとは、具体的に例示すると、消去ボタン、メニューボタン、ＳＥＴボタン、十字に配置された４方向ボタン（上ボタン、下ボタン、右ボタン、左ボタン）、ホイール７３等である。２００はメモリカードやハードディスク等の記録媒体である。２０１は記録媒体スロットであり、記録媒体２００を格納する。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。２０２は記録媒体スロット２０１の蓋である。

（ｂ）ブロック図
図１（ｂ）は、本実施例によるデジタルカメラ１００の構成例を示すブロック図である。図１（ｂ）において、１０３は撮影レンズ、１０１は絞り機能を備えるシャッター、２２は光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等で構成される撮像部である。２３はＡ／Ｄ変換器であり、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する場合や、音声制御部１１から出力されるアナログ信号をデジタル信号に変換する場合に用いられる。１０２はバリアであり、デジタルカメラ１００の、撮影レンズ１０３を含む撮像部を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

１２はタイミング発生部であり、撮像部２２、音声制御部１１、Ａ／Ｄ変換器２３、Ｄ／Ａ変換器１３にクロック信号や制御信号を供給する。タイミング発生部１２は、メモリ制御部１５及びシステム制御部５０により制御される。２４は画像処理部であり、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部５０が露光制御、焦点調節を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＦＥ（フラッシュプリ発光）処理が行われる。画像処理部２４では更に、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス調整）処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、直接メモリ制御部１５を介して、メモリ３２に書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、画像表示部２８に表示するための画像データを格納する。尚、メモリ３２は、マイク１０において録音された音声データ、静止画像、動画像および画像ファイルを構成する場合のファイルヘッダを格納するのにも用いられる。従って、メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

圧縮／伸張部１６は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮、伸張する。圧縮／伸張部１６は、シャッター１０１をトリガにしてメモリ３２に格納された撮影画像を読み込んで圧縮処理を行い、処理を終えたデータをメモリ３２に書き込む。また、記録媒体２００の記録部１９などからメモリ３２に読み込まれた圧縮画像に対して伸張処理を行い、処理を終えたデータをメモリ３２に書き込む。圧縮／伸張部１６によりメモリ３２に書き込まれた画像データは、システム制御部５０のファイル部においてファイル化され、インターフェース１８を介して記録媒体２００に記録される。また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。１３はＤ／Ａ変換器であり、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して画像表示部２８に供給する。２８は画像表示部であり、ＬＣＤ等の表示器上に、Ａ／Ｄ変換器２３からのアナログ信号に応じた表示を行う。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して画像表示部２８により表示される。

１０はマイクである。マイク１０から出力された音声信号は、アンプ等で構成される音声制御部１１を介してＡ／Ｄ変換器２３に供給され、Ａ／Ｄ変換器２３においてデジタル信号に変換された後、メモリ制御部１５によってメモリ３２に格納される。一方、記録媒体２００に記録されている音声データは、メモリ３２に読み込まれた後、Ｄ／Ａ変換器１３によりアナログ信号に変換される。音声制御部１１は、このアナログ信号によりスピーカ３９を駆動し、音声出力する。

不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施例にて後述する各種フローチャートを実行するためのプログラムのことである。

５０はシステム制御部であり、デジタルカメラ１００全体を制御する。システム制御部５０は、上述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施例の各処理を実現する。また、メモリ３２やメモリ制御部１５等を制御することにより画像表示部２８の表示制御も行う。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。

モード切替スイッチ６０、第１シャッタースイッチ６２、第２シャッタースイッチ６４、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録モード、動画記録モード、再生モード等のいずれかに切り替えることができる。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中（半押し）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。システム制御部５０は、第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＦＥ（フラッシュプリ発光）処理等の動作を開始する。

第２シャッタースイッチ６４は、シャッターボタン６１の操作完了（全押し）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作を開始する。

操作部７０の各操作部材は、画像表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種設定が可能なメニュー画面が画像表示部２８に表示される。利用者は、画像表示部２８に表示されたメニュー画面と、４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。電源スイッチ７２は、電源オン、電源オフを切り替える。

８０は電源制御部であり、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部８０は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

３０は電源部であり、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。３３及び３４はコネクタであり、電源部３０と電源制御部８０とを接続する。

４０はＲＴＣ（Ｒｅａｌ Ｔｉｍｅ Ｃｌｏｃｋ）であり、日付及び時刻を計時する。ＲＴＣ４０は、電源制御部８０とは別に内部に電源部を保持しており、電源部３０が落ちた状態であっても、計時状態を続ける。システム制御部５０は起動時にＲＴＣ４０より取得した日時を用いてシステムタイマを設定し、タイマ制御を実行する。

１８はメモリカードやハードディスク等の記録媒体２００とのインターフェースである。３５は該記録媒体２００とインターフェース１８との接続のためのコネクタである。９８は記録媒体着脱検知部であり、コネクタ３５に記録媒体２００が装着されているか否かを検知する。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部１９、デジタルカメラ１００とのインターフェース３７、及び、記録媒体２００とデジタルカメラ１００とを接続するためのコネクタ３６を備えている。

通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信処理を行う。コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介してデジタルカメラ１００を他の機器と接続する。

［デジタルカメラ１００の全体的な動作］
図２は、本実施例のデジタルカメラ１００の全体的な動作を説明するフローチャートである。

電源スイッチ７２が操作され電源がオンに切り替わると、ステップＳ２０１においてシステム制御部５０はフラグや制御変数等を初期化する。続いて、ステップＳ２０２において、記録媒体２００に記録されているファイルに関する管理処理を開始する。

次に、ステップＳ２０３、Ｓ２０５、Ｓ２０７において、システム制御部５０は、モード切替スイッチ６０の設定位置を判断する。静止画記録モードに設定されていたならば処理はステップＳ２０３からステップＳ２０４へ進み、静止画記録モード処理を実行する。ステップＳ２０４の静止画記録モード処理の詳細は図３を用いて後述する。モード切替スイッチ６０が動画記録モードに設定されていたならば、処理はステップＳ２０３、Ｓ２０５を経てステップＳ２０６へ進み、動画記録モード処理を実行する。また、モード切替スイッチ６０が再生モードに設定されていた場合、処理はステップＳ２０３、Ｓ２０５、Ｓ２０７を経てステップＳ２０８へ進み、再生モード処理を実行する。ステップＳ２０８の再生モード処理は図６を用いて後述する。

また、その他のモードに設定されていた場合、処理はステップＳ２０９へ進み、システム制御部５０は選択されたモードに応じた処理を実行する。その他のモードとしては例えば記録媒体２００に格納されたファイルの送信を行う送信モード処理、外部機器からファイルを受信して記録媒体２００に格納する受信モード処理が含まれる。

ステップＳ２０４、Ｓ２０６、Ｓ２０８、Ｓ２０９のうちのモード切替スイッチ６０によって設定されたモードに対応した処理を実行した後、処理はステップＳ２１０へ進む。ステップＳ２１０において、システム制御部５０は電源スイッチ７２の設定位置を判断する。電源スイッチ７２が電源オンに設定されていれば、ステップＳ２０３に処理を戻す。一方、電源スイッチ７２が電源オフに設定されていたならば、処理はステップＳ２１０からステップＳ２１１へ進み、システム制御部５０は終了処理を行う。終了処理には、例えば以下の処理が含まれる。すなわち、画像表示部２８の表示を終了状態に変更し、レンズバリア１０２を閉じて撮像部を保護し、フラグや制御変数等を含むパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源供給が不要な部分への電源を遮断する。ステップＳ３１１の終了処理が完了すると、本処理を終了し、電源をＯＦＦ状態へ移行する。

［静止画記録モード］
図３は図２のステップＳ２０４における静止画記録モード処理を示すフローチャートである。尚、図３に示される静止画記録モード処理は、モード切替スイッチ６０により他のモードへの切替が行われた場合や電源スイッチ７２がＯＦＦにセットされた場合に、割り込み処理等により終了するものとする。

システム制御部５０は、静止画記録モードを開始すると、ステップＳ３０１において撮影モードを確定する。撮影モードの確定は、
（１）不揮発性メモリ５６より前回の静止画記録モード終了時における撮影モードを取得してシステムメモリ５２に格納する、或は、
（２）ユーザにより操作部７０が操作されて撮影モードの設定入力があった場合に、その設定入力された撮影モードをシステムメモリ５２に格納する、ことでなされる。ここで、撮影モードとは撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等を組み合わせて実現されるモードのことである。

本実施例のデジタルカメラ１００は以下のような撮影モードを有する。
・オートモード：カメラの各種パラメータが、計測された露出値に基づいてデジタルカメラ１００に組み込まれたプログラムにより自動的に決定されるモード、
・マニュアルモード：カメラの各種パラメータをユーザが自由に変更可能なモード、
・シーンモード：撮影シーンに適したシャッター速度や絞り値、ストロボ発光状態、感度設定等の組み合わせが自動で設定される。

尚、シーンモードには以下のようなモードが含まれる。
・ポートレートモード：背景をぼかして人物を浮き立たせるようにして人物撮影に特化したモード、
・夜景モード：人物にストロボ光をあて背景を遅いシャッター速度で記録する、夜景シーンに特化したモード、
・風景モード：広がりのある風景シーンに特化したモード、
・ナイト＆スナップモード：三脚なしで夜景と人物をきれいに撮るのに適したモード、
・キッズ＆ペットモード：よく動き回る子供やペットをシャッターチャンスを逃さず撮影可能にしたモード、
・新緑＆紅葉モード：新緑等の木々や葉を色鮮やかに撮影するのに適したモード、
・パーティーモード：蛍光灯や電球のもとで、手振れを抑えて被写体に忠実な色味で撮影するモード、
・スノーモード：雪景色をバックにしても人物が暗くならず、青みも残さず撮影するモード、
・ビーチモード：太陽光の反射の強い海面や砂浜でも、人物などが暗くならずに撮影可能なモード、
・花火モード：打ち上げ花火を最適な露出で鮮やかに撮影するためのモード
・水族館モード：屋内の水槽内の魚などを撮影するのに適した感度、ホワイトバランス、色味を設定するモード、
・水中モード：水中に最適なホワイトバランスに設定し、青みを押さえた色合いで撮影するモード。

ステップＳ４０２において、システム制御部５０は、ステップＳ３０１において撮影モードが確定すると、続いて撮像部２２からの画像データを表示するスルー表示を行う。続いて、ステップＳ３０３において、システム制御部５０は，電源制御部８０を用いて電池等により構成される残容量や、記録媒体２００の有無や残容量がデジタルカメラ１００の動作に問題があるか否かを判定する。問題があるならば、ステップＳ３０４において、画像表示部２８を用いて画像や音声により所定の警告表示を行い、処理をステップＳ３０１に戻す。

記録媒体２００の状態に問題が無いならば、ステップＳ３０５において、システム制御部５０は、必要に応じて分類情報の自動付与入／切設定を行う。自動付与入／切設定は、操作部７０に含まれるメニューボタンを押すことで画像表示部２８に表示されるメニュー画面（不図示）によりユーザが任意に設定可能である。分類情報の自動付与入／切設定は、シーンモードならびに被写体条件により分類情報を自動付与するか否かのフラグであり、設定値（フラグのＯＮ／ＯＦＦ値）はシステムメモリ５２において保持される。このように分類情報の自動付与入／切設定を持たせることで、ユーザによって意図しない分類情報が付与されることを時々に応じて防止することが可能となる。尚、分類情報については後述する。

続いて、ステップＳ３０６において、システム制御部５０は、スルー表示される画像信号中に人の顔が存在するか否かを検知する顔検出を行う。この顔検出処理については図４を用いて後述する。システム制御部５０は、顔検出処理において人の顔が検出された場合、画像信号中において検出した顔の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等を顔情報としてシステムメモリ５２に記憶する。顔検出処理において顔が検出されなかった場合はシステムメモリ５２内の位置座標、サイズ（幅、高さ）、検出個数、信頼性係数等の領域に０を設定する。

続いてステップＳ３０７において、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１がＯＮしているか否かを判定する。第１シャッタースイッチ信号ＳＷ１がＯＦＦの場合は、処理はステップＳ３０５に戻り、上記ステップＳ３０５、Ｓ３０６を繰り返す。一方、第１シャッタースイッチ信号ＳＷ１がＯＮの場合は、ステップＳ３０８に進む。ステップＳ３０８において、システム制御部５０は、測距処理を行って撮影レンズ１０３の焦点を被写体に合わせる焦点調節を行うとともに、測光処理を行って絞り値及びシャッター時間（シャッタースピード）の決定等の露出制御をする。尚、測光処理において、必要であればフラッシュの設定（調光）も行われる。また、検出した顔の範囲で測距を行う顔優先ＡＦが事前に設定されている場合、ステップＳ３０６において顔が検出されていれば検出した顔の範囲で焦点調節を行う。

次に、ステップＳ３０９、Ｓ３１０では、第１シャッタースイッチ信号ＳＷ１と第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する。第１シャッタースイッチ信号ＳＷ１がＯＮした状態で第２シャッタースイッチ信号ＳＷ２がＯＮになると、処理はステップＳ３０９からステップＳ３１１へ進む。第１シャッタースイッチ信号ＳＷ１がＯＦＦになると（第２シャッタースイッチ信号ＳＷ２がＯＮせずに、更に第１シャッタースイッチ信号ＳＷ１も解除された場合）、処理はステップＳ３１０からステップＳ３０５へ戻る。また、第１シャッタースイッチ信号ＳＷ１がＯＮ、第２シャッタースイッチ信号ＳＷ２がＯＦＦの間は、ステップＳ３０９，Ｓ３１０の処理が繰り返される。

第２シャッタースイッチＳＷ２が押されると、ステップＳ３１１において、システム制御部５０は、画像表示部２８の表示状態をスルー表示から固定色表示状態に設定する。そして、ステップＳ３１２において、システム制御部５０は、露光処理や現像処理を含む撮影処理を実行する。尚、露光処理では、Ａ／Ｄ変換器２３を経て得られた画像データ、或いはＡ／Ｄ変換器２３から直接メモリ３２に書き込まれる。また、現像処理では、システム制御部５０が、必要に応じてメモリ３２に書き込まれた画像データを読み出して各種処理を行う。この撮影処理の詳細は図５を用いて後述する。

次に、システム制御部５０は、ステップＳ３１３において、画像表示部２８に対し撮影処理で得られた画像データのレックレビュー表示を行う。レックレビューとは、撮影画像の確認のために、被写体の撮影後記録媒体への記録前に、予め決められた時間（レビュー時間）だけ画像データを画像表示部２８に表示する処理である。このレックレビュー処理の詳細は図７を用いて後述する。レックレビュー表示後、ステップＳ３１４において、システム制御部５０は撮影処理で得られた画像データを画像ファイルとして記録媒体２００に対して書き込む記録処理を実行する。

ステップＳ３１４の記録処理が終了すると、ステップＳ３１５において、システム制御部５０は、第２シャッタースイッチ信号ＳＷ２のＯＮ／ＯＦＦ状態を判定する。第２シャッタースイッチ信号ＳＷ２がＯＮの場合は、ステップＳ３１５の判定を繰り返し、第２シャッタースイッチ信号ＳＷ２がＯＦＦになるのを待つ。この間、上記レックレビューの表示を継続させる。即ち、ステップＳ４１４の記録処理が終了した際に、第２シャッタースイッチ信号ＳＷ２が放されるまで画像表示部２８におけるレックレビュー表示を継続させる。このように構成することにより、ユーザは、シャッターボタン６１の全押し状態を継続することで、レックレビューを用いた撮影画像データの確認を入念に行うことが可能となる。

ユーザがシャッターボタン６１を全押し状態にして撮影を行った後、シャッターボタン６１から手を放すなどして全押し状態が解除されると、処理はステップＳ３１５からステップＳ３１６へ進む。ステップＳ３１６において、システム制御部５０は、予め定められたレビュー時間が経過したか否かを判断し、レビュー時間が経過していればステップＳ３１７に進む。ステップＳ３１７において、システム制御部５０は、画像表示部２８の表示状態をレックレビュー表示からスルー表示状態に戻す。この処理により、レックレビュー表示によって撮影画像データを確認した後、画像表示部２８の表示状態は次の撮影のために撮像部２２からの画像データを逐次表示するスルー表示状態に自動的に切り替わることになる。

そして、ステップＳ３１８において、システム制御部５０は、第１シャッタースイッチ信号ＳＷ１のＯＮ／ＯＦＦを判定し、第１シャッタースイッチ信号ＳＷ１がＯＮの場合はステップＳ３０９へ、ＯＦＦの場合はステップＳ３０５へ処理を戻す。即ち、シャッターボタン６１の半押し状態が継続している（第１シャッタースイッチ信号ＳＷ１がＯＮ）場合は、システム制御部５０は次の撮影に備える（ステップＳ３０９）。一方、シャッターボタン６１が放された状態（第１シャッタースイッチ信号ＳＷ１がＯＦＦ）であったならば、システム制御部５０は、一連の撮影動作を終えて撮影待機状態に戻る（ステップＳ３０５）。

［顔検出］
次に、図３のステップＳ３０６の顔検出処理の一例を、図４を用いて説明する。ステップＳ４０１において、システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。ステップＳ４０２において、システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、ステップＳ４０３において、システム制御部５０の制御下で画像処理部２４は、ステップＳ４０２で処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、ステップＳ４０４において、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、ステップＳ４０５において、システム制御部５０は、ステップＳ４０４で抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ステップＳ４０６において、システム制御部５０は、ステップＳ４０５で絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ステップＳ４０７において、システム制御部５０は、ステップＳ４０６による顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量をシステムメモリ５２に記憶する。

以上のようにスルー表示で表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定等の様々な情報がある。

［撮影］
図５は図３のステップＳ３１２における撮影処理を示すフローチャートである。

ステップＳ５０１において、システム制御部５０は、撮影開始時にその日時をシステムタイマより取得し、システムメモリ５２に記憶する。続いて、ステップＳ５０２において、システムメモリ５２に記憶されている露出制御データに従い、絞り機能を有するシャッター１０１を絞り値に応じて開放する。こうして、露光が開始される（ステップＳ５０３）。

ステップＳ５０４において、システム制御部５０は、露出制御データに従って撮像部２２の露光終了を待つ。露光終了時刻に到達すると、ステップＳ５０５において、システム制御部５０はシャッター１０１を閉じる。そして、ステップＳ５０６において、撮像部２２から電荷信号を読み出し、Ａ／Ｄ変換器２３、或いはＡ／Ｄ変換器２３から直接メモリ３２に画像データを書き込む。以上、ステップＳ５０１〜Ｓ５０６が露光処理に対応する。

続いて、ステップＳ５０７において、システム制御部５０は必要に応じて、メモリ３２に書き込まれた画像データを読み出して画像処理を順次施す。この画像処理は、例えば、ホワイトバランス処理や、圧縮／伸張部１６を用いた圧縮処理等が含まれる。処理を終えた画像データはメモリ３２に書き込まれる。そして、ステップＳ５０８において、システム制御部５０は、メモリ３２から画像データを読み出し、これを圧縮／伸張部１６を用いて伸張し、画像表示部２８の表示用にリサイズする。そして、リサイズされた画像データを画像表示部２８に表示するべくＤ／Ａ変換器１３に転送する。一連の処理を終えたならば、撮影処理を終了する。

［再生モードの動作］
図６は、本実施例のデジタルカメラ１００の再生モードの動作を説明するフローチャートである。図６のフローチャートは、図２のステップＳ２０８の詳細を示している。

ステップＳ６０１において、システム制御部５０は、記録媒体２００から最新画像情報を取得する。最新画像情報の取得を総枚数計算や検索リスト作成よりも先に行うことで、再生モードに入るとすばやくそれらの処理の画像表示ができるというメリットがある。ステップＳ６０２において、システム制御部５０は、ステップＳ６０１における最新画像情報の取得が正しく行われたかどうかをチェックする。最新画像情報を取得できなかった場合、処理はステップＳ６０９に進む。ステップＳ６０９において、システム制御部５０は、画像なし時の入力待ち状態となる。尚、最新画像情報を取得できない場合とは、画像が一枚もないような状態や、メディア不良によって画像情報が取得できなかったような状態等が考えられる。最新画像情報が取得できれば、少なくとも画像が１枚は存在すると判断され、処理はステップＳ６０３へ進む。

ステップＳ６０３において、システム制御部５０は、ステップＳ６０１で取得した最新画像情報を元に記録媒体２００から最新画像データを読み込む。そして、ステップＳ６０４において、システム制御部５０は、ファイル解析処理を行い、読み込んだ最新画像データにおける画像の撮影情報や属性情報等を取得する。ステップＳ６０５において、システム制御部５０は、読み込んだ最新画像データを表示する。さらに、このとき、ステップＳ６０４で取得された撮影情報や属性情報等も表示する。また、ステップＳ６０４のファイル解析結果に応じて、ファイルの一部が壊れているなど不正なデータということがわかればエラー表示も合わせて行われる。

ステップＳ６０６において、システム制御部５０は、記録媒体２００に記録されている画像の総枚数取得処理を開始する。このステップＳ６０６の処理はバックグランドで稼動し、その完了を待たずに次の処理に進むことができる。このようにすることで、多くの画像データが記録媒体２００に納められており、総枚数計算に時間がかかるような場合でも、総枚数の計算の完了を待たずに画像を閲覧することが可能になる。この処理は、記録モードから再生モードに移行した際に、記録モードで新たに画像データが記録、或いは削除され、総枚数に違いが発生した場合に特に有効な処理である。記録モードで新たに画像データが記録或いは削除されていない場合には、既に計算済みの総枚数を利用するため、総枚数計算の処理は行わなくても良い。

次に、ステップＳ６０７において、システム制御部５０は、検索リストの作成を開始する。検索リストとは画像データに付与された属性情報を予め取得し管理するリストである。予め検索リストを作っておくことで属性ごとの再生や消去といった処理を迅速に行うことが可能となる。検索リスト作成処理も総枚数計算同様にバックグランドで実行されるので、その完了を待たずに次の処理を実行させることができる。ステップＳ６０８において、システム制御部５０は、入力待ち状態に入る。この入力待ち状態における処理は図１０のフローチャートにより後述する。

［レックレビュー表示］
図７は図３のステップＳ３１３におけるレックレビュー表示処理を示すフローチャートである。

システム制御部５０は、ステップＳ７０１においてシステムメモリ５２に一時記憶されているレビュー時間を取得する。レビュー時間が０秒の場合は、レックレビュー表示処理を終了する（ステップＳ７０２）。

ステップＳ７０３において、システム制御部５０は、システムメモリ５２に一時記憶されているレビューモードを取得する。レビューモードが通常表示の場合（ステップＳ７０４）は、システム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像のみを画像表示部２８に表示する（ステップＳ７０８）。

レビューモードが詳細表示の場合（ステップＳ７０５）は、システム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像と撮影画像に付帯する撮影情報を画像表示部２８に表示する（ステップＳ７０７）。

通常表示及び詳細表示でない場合は、ピント確認表示を画像表示部２８に表示する（ステップＳ７０６）。このピント確認処理については図９を用いて後述する。

ステップＳ７０９において、レビュー表示中に撮影画像全体を表示する全体
表示領域を大きく表示する状態と、撮影画像の一部を表示する拡大表示領域を大きく表示する状態が切り替え可能である。このレビューモード切替処理については図８を用いて後述する。

ステップＳ７１０において、レビュー時間を監視しレビュー時間が経過したらレビューを停止する（ステップＳ７１２）。レビュー時間が経過しない場合でもＳＷ１または、ＳＷ２が押下場合は、レビューを終了し次の撮影準備を開始する。

［レビューモード切替え］
図８は、図７のステップＳ７０９におけるレビューモード切替処理を示すフローチャートである。

まず、画像表示部２８は、図１４の１４−（ａ）に示す表示状態となる（ステップＳ８０１）。具体的には、撮影画像全体を表示する全体表示領域を画面の左上に表示し、画面の右下には、撮影画像の一部を表示する拡大表示領域を、画面の左上に表示される全体表示領域よりも小さく表示する。

次に、ズームレバーがテレ側に押されたとき（ステップＳ８０２）は、図１４の１４−（ｂ）に示すように、画面の左上に表示される全体表示領域を小さく、右下に表示される拡大表示領域が大きく表示される（ステップＳ８０４）。尚、拡大表示領域に表示される画像が人の顔、登録済みのオブジェクト等、領域を特定できるものに関しては、倍率を記憶せず特定領域で拡大することも可能である。また、再生モードにおいて、ズームレバーがワイド側に押されたときに（ステップＳ８０３）、画像表示部２８に複数の画像を表示する（ステップＳ８０５）。

画面の右下に表示される拡大表示領域が大きく表示されている状態で、ズームレバーがテレ側に押されたとき（ステップＳ８０６）、当該領域に表示される画像の表示倍率を上げる（ステップＳ８１１）。このときの画像表示部２８の表示例を図１４の１４−（ｃ）に示す。

また、画面の右下に表示される拡大表示領域が大きく表示されている状態で、ズームレバーがワイド側に押されたとき（ステップＳ８０７）、表示倍率が最低倍率か確認する（ステップＳ８０９）。最低倍率のときは、表示倍率を記憶し（ステップＳ８１２）、ステップＳ８０１の処理に戻る。最低倍率でないときは、画像の表示倍率を下げる（ステップＳ８１０）。

画面の右下に表示される拡大表示領域が大きく表示されている状態で、ＭＥＮＵ釦が押された場合（ステップＳ８０８）、現在の表示倍率を記憶し、ステップＳ８０１の処理に戻る。尚、表示倍率の記憶は、システムメモリ５２でカメラ起動中のみの一時記憶としても良いし、不揮発性メモリ５６に記憶し次回起動時にも表示倍率を有効にしても良い。

以上説明したように、ズームレバーとＭＥＮＵ釦のみで、撮影画像とその一部の拡大画像の表示倍率の切り替え、および拡大表示の倍率変更、表示倍率の記憶を簡便に行うことが可能となる。

また、ＭＥＮＵ釦等の所定の操作部材が操作されたときにのみ、画像の表示倍率を記憶し、次の再生の際に、その表示倍率から表示することができるので、操作者にとって使い勝手の良いレビューモードを提供することができる。

また、操作部材はズームレバー、ＭＥＮＵ釦に限らない。ＭＥＮＵ釦は、ＤＩＳＰ釦等の他の釦でも良い。

また、画面の右下に表示される画像が大きく表示されている状態で画像送りを行った場合、左上の撮影画像を大きくする表示状態（図１４の１４−（ａ））に戻っても良いし、その状態を維持して画像送りをしても良い。その状態を維持して画像送りをした場合は、最初の表示する枠で拡大しても良いし、拡大座標位置を固定したままで画像送りしても良い。連写モードで撮影した画像等の撮影条件に応じて、この切り替えを行うことも可能である。

［ピント確認］
図９は図７のステップＳ７０６におけるピント確認処理を示すフローチャートである。

ステップＳ９０１ではまず、システムメモリ５２から画像に関連する合焦枠情報と顔情報を取得し、取得した合焦枠情報と顔情報に基づいて、合焦枠の総数を合焦枠数Ｉ、顔の総数を顔枠数Ｊとする。この時点において、Ｉ個の合焦枠とＪ個の顔枠について、それぞれ合焦枠１＞合焦枠２＞・・・＞合焦枠Ｉ、顔枠１＞顔枠２＞・・・＞顔枠Ｊの順に順位付けがなされているものとする。順位付けの指標としては例えば、合焦枠についてはＡＦ評価値の高い順、顔枠については大きくかつ中央に近い順などが挙げられる。もちろん、順位付けの指標についてはこれに限定するものではない。

ステップＳ９０２では、合焦枠数Ｉが０より大きいか、すなわち画像に合焦した場所があるか否かを判定する。合焦した場所がある（合焦枠数Ｉ＞０）と判定されるとＳ９０３に進み、合焦した場所がないと判定されるとＳ９０８に進む。

ステップＳ９０３では顔優先ＡＦを実行したか否かを判定する。顔優先ＡＦを実行していないと判定された場合はステップＳ９０４に進み、顔優先ＡＦを実行したと判定されるとステップＳ９０６に進む。

ステップＳ９０４ではレックレビュー中の画像のうち拡大すべき範囲を決定する。ここでは合焦枠の中心を中心としてレックレビュー中の画像全体の大きさに対して一定の割合の大きさとなる範囲を拡大すべき範囲として決定する（被写体情報とは異なる情報に基づいて範囲決定）。合焦枠が複数存在する場合は、ステップＳ９０１で設定した順位付けにもとづいて、順位の一番高い合焦枠１について拡大すべき範囲を決定する。なお拡大すべき範囲としては、ここで述べた例以外にユーザが予め任意に設定している範囲や、ピクセル等倍にして合焦枠の中心から後述する拡大表示領域に収まる範囲などでも良い。ユーザが予め任意に設定する範囲としては、画像全体の大きさに対する相対的な割合の範囲でもよいし、ピクセルに対する倍率で示される範囲でも良い。顔優先ＡＦ以外のＡＦ方法によって撮影された画像は、撮影者が人物の顔以外の被写体に注目して焦点調節を行った画像であるが、合焦枠の大きさは固定であり、撮影者が注目した被写体の領域全体を示すものではない。そのため合焦枠の大きさ自体には撮影者の意図は反映されていないと考え、合焦枠の示す範囲全体に限らず、合焦枠中央部分から一定範囲を拡大すべき範囲と決定する。これによって合焦枠内の被写体が合焦しているか否かを詳細に確認可能に表示する。

ステップＳ９０５では画像全体と共に、ステップＳ９０４で決まったレックレビュー中の画像のうち拡大すべき範囲を拡大表示領域に収まるように拡大して表示する。

図１５（ａ）にステップＳ９０５での表示例を示す。全体表示領域１５０１にはレックレビュー中の画像の全体を認識可能に表示する。全体表示領域１５０１に表示された全体画像に重畳して表示されている合焦枠１５０２はレックレビュー中の画像のうち図３のステップＳ３０８で焦点調節した際に合焦した領域を示している。合焦枠が複数存在する場合は、合焦枠１のみを表示したり、複数の合焦枠を全て表示して合焦枠１の色を他の合焦枠と変えるなどして表示してもよい。同じく全体画像に重畳表示されている部分拡大枠１５０３は、ステップＳ９０４で決定した範囲の枠であり、全体画像のうち拡大表示領域１５０５に表示されている部分の範囲を示している。顔枠１５０４はシステムメモリ５２に記録されている撮影時の顔検出で検出された顔情報にもとづいて得られる顔枠１〜Ｊを示している。拡大表示領域１５０５では全体表示領域１５０１に表示された画像のうち、部分拡大枠１５０３で示された範囲が拡大表示領域１５０５に収まるように拡大して表示している。合焦枠１５０２、部分拡大枠１５０３、顔枠１５０４は、それぞれ異なる色で表示することにより各枠の意味が識別可能な表示となっている。このような表示をすることで、ユーザはレックレビュー中の画像の全体と、レックレビュー中の画像のどの部分で焦点調節したか、焦点調節した位置でどの程度合焦しているのかを素早く確認することができる。

ステップＳ９０６では、レックレビュー中の画像のうち拡大すべき範囲として、合焦枠１に含まれる顔の全体が含まれる範囲を決定する（被写体情報に基づいて範囲決定）。顔優先ＡＦによって撮影された画像はユーザが人物の顔に特に注目して撮影した可能性の高い画像である。そのため、注目被写体である人物の顔の確認が詳細に行えるよう、合焦枠１に含まれる顔の全体が含まれる範囲を拡大すべき範囲と決定する。

具体的には、合焦枠１あるいは合焦枠１で顔優先ＡＦ時に焦点調節を行った部分の顔についての顔情報で示される顔の領域を拡大／縮小した範囲を拡大すべき範囲として決定する。ここでの合焦枠１は顔優先ＡＦした合焦枠であるため、ほとんどの場合は合焦枠内に顔が含まれている。そこで、合焦枠１に含まれる顔の全体が確認できるように拡大すべき範囲を決定する。図４で説明した顔検出処理では顔の目及び鼻、口、耳の候補群の抽出を元に顔領域を判定している。したがって判定に用いられないその他の顔部分（例えば輪郭や髪の毛の部分など）を含む実際の顔全体を表す領域は必ずしも顔情報によって示される顔の領域に含まれるものではない。そこで、顔情報で示される顔の領域を顔の全体を含むように特定の倍率で拡大した範囲を拡大すべき範囲として決定するという処理を行っている。

図１５（ｃ）にその例を示す。顔検出処理で得られる顔情報で示される顔の領域１５０６は、顔検出処理の判定に用いられる部分のみを示しているため、実際の顔の全体より狭くなっている。このため、顔情報で示される顔の領域１５０６を顔の全体を含むように特定の倍率で拡大した範囲を拡大すべき範囲として決定する。この拡大すべき範囲は後述するステップＳ９０７で部分拡大枠１５０３として表示される。なお、顔優先ＡＦによる合焦枠である合焦枠１５０２も顔情報で示される顔の領域１５０６を基に大きさを決定しているため、顔情報で示される顔の領域１５０６に変えて合焦枠１５０２から拡大すべき範囲を決定してもよい。拡大すべき範囲を決定するための拡大／縮小率は、顔検出処理が顔のどの部分を基に顔領域を判定しているかによるので、顔検出のアルゴリズム依存の値である。

ステップＳ９０７では画像全体と共に、ステップＳ９０６で決まったレックレビュー中の画像のうち合焦枠１に含まれる顔の全体が含まれる領域を拡大表示領域に収まるように拡大／縮小して表示する。

図１５（ｂ）にステップＳ９０７での表示例を示す。全体表示領域１５０１、合焦枠１５０２、顔枠１５０４は図１５（ａ）と同様である。なお、本実施例では顔ＡＦした合焦枠は顔枠１の範囲と一致するので、顔枠１の表示については合焦枠１５０２の表示で代用する。部分拡大枠１５０３は、ステップＳ９０６で決定した範囲の枠であり、全体画像のうち拡大表示領域１５０５に表示されている部分の範囲を示している。図１５（ａ）と異なり、この部分拡大枠１５０３は前述したように合焦枠１に含まれる顔の全体が含まれる範囲である。拡大表示領域１５０５では全体表示領域１５０１に表示された画像のうち、部分拡大枠１５０３で示された範囲が収まるように拡大して表示している。なおこの例では拡大表示となっているが、全体表示領域１５０１で表示された画像の合焦枠１に含まれる顔の全体の領域が拡大表示領域１５０５より大きい場合は縮小して表示されることとなる。このような表示をすることにより、ユーザはレックレビュー中の画像の全体と、レックレビュー中の画像のどの人物が合焦したか、また合焦した人物の表情などを素早く確認することができる。すなわち、撮影の際にユーザが注目した被写体である「人物」に特化した確認が可能となっている。なお、ここでは拡大表示領域１５０５または全体表示領域１５０１のうち部分拡大枠１５０３で示される範囲がステップＳ９０５での表示とは異なることが枠の色やアイコン、文字などを用いて認識可能に表示することが望ましい。

ステップＳ９０８では顔枠数Ｊが０より大きいか、すなわち画像に顔が存在するか否かを判定する。顔が存在する（顔枠数Ｊ＞０）と判定されるとステップＳ９０９に進み、顔が存在しないと判定されるとステップＳ９１１に進む。

ステップＳ９０９ではステップＳ９０１で設定した顔枠１について、顔情報で示される顔の領域を拡大／縮小して求めた範囲を拡大すべき範囲として決定する（被写体情報に基づいて範囲決定）。顔情報で示される顔の領域を拡大／縮小して拡大すべき範囲を決定する方法は図１５（ｃ）を用いて前述したとおりである。ここでは合焦枠が存在しないため、顔が検出されれば、詳細確認して意味がある被写体として検出された顔の全体が含まれる範囲を拡大すべき範囲と決定する。

ステップＳ９１０では顔枠１〜Ｊを示す顔枠とステップＳ９０９で決定した拡大すべき範囲を部分拡大枠として全体表示領域に重畳表示する。また、部分拡大枠が示す領域を拡大表示領域に収まる倍率で拡大／縮小して画像全体と共に表示する。

ステップＳ９１１では画像の中央から画像全体の大きさに対して一定の割合の大きさとなる範囲を拡大すべき範囲として決定する（被写体情報とは異なる情報に基づいて範囲決定）。

ステップＳ９１２ではステップＳ９１１で決定した拡大すべき範囲を部分拡大枠として全体表示領域に重畳表示する。また、部分拡大枠が示す領域を拡大表示領域に収まる倍率で拡大／縮小して画像全体と共に表示する。この場合は合焦枠も顔枠も存在しないため、全体表示領域には部分拡大枠のみが重畳表示される。

ステップＳ９０５、ステップＳ９０７、ステップＳ９１０、ステップＳ９１２の表示を終えると、ステップＳ９１３でレックレビュー中に可能なその他の操作を受け付けた後、ピント確認処理を終了する。

なお本実施例では、ステップＳ９０３で顔ＡＦを行って撮影した画像か否かを判定したうえで拡大すべき範囲を決定したが、撮影の際に撮影者が注目した被写体に特化した確認をできる範囲を拡大すべき範囲として決定できれば他の方法でもよい。例えば顔ＡＦにかえて撮影の際に検出した顔に限らない被写体に対して露出制御、ホワイトバランス制御、調光等を行った画像であることがわかる場合には、撮影者が検出された被写体に注目して撮影した画像だと考えられる。このような場合も露出制御、ホワイトバランス制御、調光等を行った被写体の全体が含まれる範囲を拡大すべき範囲として決定することが可能である。撮影の際に検出できる被写体としては例えば赤目がある。

さらに、ステップＳ９０８での判定も顔の有無の判定に限らず、赤目などの顔以外の被写体を検出したか否かを判定し、判定に応じて検出した被写体の全体が含まれる範囲を拡大すべき範囲としてもよい。

本実施例によれば、ユーザが特定の被写体ではなく特定の部分に対して注目して焦点調節をした画像なのか、顔などの検出した特定の被写体に注目して撮影した画像なのかを判別したうえで、適切な確認用表示を行うことができる。また、合焦した領域を有する画像か、顔などの特定の被写体が検出されたかなどに応じた適切な確認用表示を行うことができる。このように、ユーザが画像ごとに異なる注目したい領域を容易に確認可能な表示をする事ができる。

［再生モード処理における入力待ち］
図１０は、再生モード処理における入力待ち状態の処理を説明するフローチャートである。

ステップＳ１００１において、システム制御部５０は、ユーザによる操作入力があるかどうかをチェックする。ここでいう操作入力とは、ユーザによるボタン、電池蓋に対する操作や、電源の低下などを知らせるイベントなどが含まれる。何も入力がなければ入力があるまで待つ。何らかの操作入力があった場合、処理はステップＳ１００２へ進む。

ステップＳ１００２において、システム制御部５０は、当該操作入力が操作部７０に含まれる画像送りボタンの入力かどうかを判定する。操作入力が画像送りボタンであった場合、処理はステップＳ１００３へ進み、システム制御部５０は次の表示画像を読み込む。画像送りのボタンは送り方向に応じた一対のボタンで構成されており、操作されたボタンに対応する送り方向に応じて次の表示画像が読み込まれることになる。次に、ステップＳ１００４において、システム制御部５０は、ステップＳ１００３で読み込まれた画像データに対して撮影情報や属性情報などのファイル解析処理を行う。そして、ステップＳ１００５において、システム制御部５０は、ステップＳ１００３で読み込んだ画像データの表示を行う。このとき、ステップＳ１００４におけるファイル解析処理の結果を用いて、撮影情報や属性情報等を表示する。また、ステップＳ１００４のファイル解析結果に応じて、ファイルの一部が壊れているなど不正なデータと判別された場合は、エラー表示も合わせて行う。表示が完了するとステップＳ１００１の入力待ち状態へ戻る。

ステップＳ１００２において入力が画像送りボタンではないと判定された場合、ステップＳ１００６において、システム制御部５０は、当該操作入力が終了ボタンかどうかを判定する。終了ボタンであると判定された場合、処理はステップＳ１００７へ進み、システム制御部５０は、検索リスト作成処理を終了する。ここでは、検索リストが作成途中ならばその作成処理を中断させ、既に作成が完了していれば何も行わない。次にステップＳ１００８において、システム制御部５０は、総画像枚数計算の終了処理を行う。この処理もステップＳ１００７の処理同様、総枚数計算がまだ途中だったならばその計算処理を中断し、既に完了していれば何も行わない。そして、再生モード処理を終了し、図２のステップＳ２１０へ進む。

ステップＳ１００６で操作入力が終了ボタンではないと判定された場合、処理はステップＳ１００９へ進む。ステップＳ１００９において、システム制御部５０は、ステップＳ６０６（図６）で開始した総画像枚数計算の処理が完了しているかチェックする。そして、まだ完了していない場合はステップＳ１００１の操作入力待ち状態へ戻る。このとき、まだ完了していない旨を伝えるメッセージやアイコン表示を行うことも考えられる。以上の処理により、画像送りボタンによる画像送り操作と終了ボタンによる終了操作は画像枚数計算の完了を待たずに実行されるが、他の操作入力理は総画像枚数計算処理が完了するまでは無視されることになる。

ステップＳ１００９で総画像枚数が終了していると判定された場合、処理はステップＳ１０１０へ進む。ステップＳ１０１０において、システム制御部５０は、操作部７０の操作により分類情報設定メニューが選択されたかどうかを判定する。分類情報設定メニューが選択されたと判断された場合、処理はステップＳ１０１１へ進み、システム制御部５０は分類情報設定モードの処理を実行する。ステップＳ１０１０において、分類情報設定メニューの選択ではなかった場合、処理はステップＳ１０１２へ進む。

ステップＳ１０１２において、システム制御部５０は、当該操作入力が操作部７０に含まれる消去ボタンの操作であるかどうかを調べる。消去ボタンの操作入力であると判定された場合、処理はステップＳ１０１３へ進む。ステップＳ１０１３において、システム制御部５０は、現在画像表示部２８に表示されている画像データの消去を実行する。画像データの消去が完了するとステップＳ１０１４において消去後の総枚数をチェックする。総枚数が０になっていた場合はステップＳ１０１５へ進み、画像なし時入力待ち状態へ移る。

一方、消去後に画像データが残っている場合はステップＳ１０１６へ進み、システム制御部５０は、次の画像データを表示するべく、次の表示対象の画像データを読み込む。ここで表示対象となる画像データは、消去された画像データのファイル番号の次のファイル番号の画像データとする。尚、最新の画像データが消去された場合は、消去された画像データのファイル番号よりも１つ前のファイル番号の画像データを表示対象とする。ステップＳ１０１７において、システム制御部５０は、ステップＳ１０１６で表示対象として読み込んだ画像データに対してファイル解析処理を行い、撮影情報や属性情報などを得る。そして、ステップＳ１０１８において、システム制御部５０は、ステップＳ１０１６で読み込んだ画像データを画像表示部２８に表示する。このとき、ステップＳ１０１７で取得された撮影情報や属性情報なども表示する。また、ステップＳ１０１７のファイル解析結果に応じて、ファイルの一部が壊れているなど不正なデータであると判定されたならば、その旨のエラー表示も行う。表示が完了するとステップＳ１００１の操作入力待ち状態へ戻る。

ステップＳ１０１２において当該操作入力が消去ボタンでない場合、処理はステップＳ１０１９に進む。ステップＳ１０１９において、システム制御部５０は、ステップＳ６０７（図６）で開始された検索リスト作成処理が完了しているかどうかをチェックする。まだ検索リスト作成処理が完了していない場合は、ステップＳ１００１の操作入力待ち状態へ戻る。このとき、上述した総枚数計算が完了していないときと同様に、まだ検索リスト作成処理が完了していない旨を伝えるメッセージやアイコン表示を行うようにしてもよい。以上の処理により、上述した処理以外の操作入力理は総画像枚数計算処理が完了するまでは無視されることになる。ここで、上述した処理とは、画像送り操作（Ｓ１００２〜Ｓ１００５）、終了操作（Ｓ１００６〜Ｓ１００８）、分類情報設定モードの実行（Ｓ１０１０、Ｓ１０１１））及び画像消去操作（Ｓ１０１２〜Ｓ１０１８）である。

ステップＳ１０１９で検索リスト作成が完了していると判定された場合、処理はステップＳ１０２０へ進む。ステップＳ１０２０において、システム制御部５０は、当該操作入力がジャンプ指示かどうかを判定する。操作入力がジャンプ指示であると判断された場合はステップＳ１０２１のジャンプモードへ遷移する。

操作入力がジャンプ指示でない場合、処理はステップＳ１０２２に進み、システム制御部５０は、当該操作入力が選択操作か否かを判定する。操作入力が選択操作と判断された場合はステップＳ１０２３の選択操作へ遷移する。

操作入力が選択操作指示でない場合、処理はステップＳ１０２４に進み、システム制御部５０は、当該操作入力が表示切替指示か否かを判定する。操作入力が表示切替指示と判断された場合はステップＳ１０２５の表示切替へ遷移する。この表示切替処理については図１１を用いて後述する。

操作入力が表示切替指示でない場合、処理はステップＳ１０２６に進み、システム制御部５０は、当該操作入力が顔確認指示か否かを判定する。操作入力が顔確認操作と判断された場合はステップＳ１０２７の顔確認処理へ遷移する。この顔確認処理については図１３を用いて後述する。

ステップＳ１０２６で操作入力が顔確認指示ではないと判断された場合、処理はステップＳ１０２８へ進む。なお、顔ボタンのような顔確認指示用の操作部材が無い場合も同様にステップＳ１０２８に進む。ステップＳ１０２８ではそれ上記以外の操作入力に応じた処理を行う。たとえば、画像の編集処理や、マルチ再生への切り替えや、メニューボタンによるメニュー表示などである。尚、マルチ再生とは、画像データの縮小画像を画像表示部２８の一画面に複数枚並べて表示する再生モードである。

［表示切替］
図１１は、図１０のステップＳ１０２５における表示切替処理を示すフローチャートである。

システム制御部５０は、ステップＳ１１０１においてシステムメモリ５２に一時記憶されている現在の表示モードを参照し、現在の表示モードが通常表示の場合は簡易表示処理を行う（ステップＳ１１０２）。簡易表示処理ではシステム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像に加えてファイル番号、日付などの一部の情報も画像表示部２８に表示する。また、システムメモリ５２に一時記憶されている現在の表示モードを簡易表示に更新する。通常表示中でない場合は（ステップＳ１１０２）、ステップＳ１１０３に進む。

ステップＳ１１０３において、システム制御部５０は、システムメモリ５２に一時記憶されている現在の表示モードを参照し、現在の表示モードが簡易表示の場合は詳細表示処理を行う（ステップＳ１１０４）。詳細表示処理ではシステム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像、ステップＳ１１０２の簡易表示処理で表示する簡易情報に加えて、露出やヒストグラムなど詳細な撮影情報も合わせて画像表示部２８に表示する。また、システムメモリ５２に一時記憶されている現在の表示モードを詳細表示に更新する。簡易表示中でない場合は（ステップＳ１１０３）、ステップＳ１１０５に進む。

ステップＳ１１０５において、システム制御部５０は、システムメモリ５２に一時記憶されている現在の表示モードを参照し、現在の表示モードが詳細表示の場合は現在再生している画像がピント確認処理に対応しているか否かを判断する（ステップＳ１１０６）。ピント確認処理に対応していない画像としては、認識できない画像、動画などが挙げられる。ステップＳ１１０６において再生画像がピント確認処理に対応していると判断された場合は再生ピント確認処理に進む（ステップＳ１１０７）。この再生ピント確認処理については図１２を用いて後述する。

ステップＳ１１０５において現在の表示モードが詳細表示でなかった場合、およびステップＳ１１０６において再生画像がピント確認処理に対応していないと判断された場合には、システム制御部５０は通常表示処理を行う（ステップＳ１１０８）。通常表示処理では、システム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像のみを画像表示部２８に表示する。また、システムメモリ５２に一時記憶されている現在の表示モードを通常表示に更新する。

［再生ピント確認］
図１２は、図１１のステップＳ１１０７における再生ピント確認処理を示すフローチャートである。

ステップＳ１２０１ではまず、メモリ３２に格納されている再生中の画像に対して画像解析して図４で前述した顔検出処理を行う。

ステップＳ１２０２では、検出された顔の領域と合焦枠の領域の関連度を計算する。計算結果に基づいて、関連度が高い場合はジャンプ対象を変更する。この領域関連度の計算処理については図１８を用いて後述する。なおこの際、ステップＳ１２０１において検出された顔の総数を顔枠数Ｊ、再生中の撮影画像の付加情報を参照して得られる合焦枠の総数を合焦枠数Ｉとする。この時点において、Ｉ個の合焦枠とＪ個の顔枠について、それぞれ合焦枠１＞合焦枠２＞・・・＞合焦枠Ｉ、顔枠１＞顔枠２＞・・・＞顔枠Ｊの順に順位付けがなされているものとする。

ステップＳ１２０３では、枠のインデックスを初期化する。ｉは合焦枠の中の次の拡大表示候補を示すインデックス、ｊは顔枠の中の次の拡大表示候補を示すインデックスであり、ステップＳ１２０３においてともに１に初期化する。

ステップＳ１２０４では、初めに部分拡大対象とする枠を合焦枠とするか、顔枠とするかを決定し、初期表示を行う。この初期選択枠決定および表示処理は図１６を用いて後述する。

ステップＳ１２０５では、操作部７０に含まれる枠ジャンプボタンが操作されたか否かを判定する。枠ジャンプボタンが操作されていればステップＳ１２０６に進み、枠ジャンプボタンが操作されていなければステップＳ１２３０に進む。

ステップＳ１２０６では、合焦枠数Ｉおよび顔枠数Ｊがともに０か否かを判定する。合焦枠数Ｉと顔枠数Ｊがともに０の場合はステップＳ１２０５に戻り、合焦枠数Ｉもしくは顔枠数Ｊの少なくとも一方が０ではない場合は、ステップＳ１２０７へ進む。

ステップＳ１２０７では、現在の選択枠が合焦枠か顔枠かを判定する。合焦枠が選択されていればステップＳ１２０８に進み、顔枠が選択されていればステップＳ１２１９へ進む。

ステップＳ１２０８では、合焦枠の次の表示候補のインデックスｉが合焦枠数Ｉを超えていないかどうかを判定する。インデックスｉが合焦枠数Ｉを超えていなければ（ｉ≦Ｉ）ステップＳ１２０９へ進み、インデックスｉが合焦枠数Ｉを超えていれば（ｉ＞Ｉ）ステップＳ１２１３へ進む。

ステップＳ１２０９では、システムメモリ５２に記録された合焦枠情報リストを参照し、ｉ番目の合焦枠がジャンプ対象であるか否かを判定する。合焦枠情報リストについては図１８、図１９を用いて後述する。ｉ番目の合焦枠がジャンプ対象でなかった場合はステップＳ１２１０に進んでインデックスｉをインクリメントしてステップＳ１２０８に戻る。ｉ番目の合焦枠がジャンプ対象であった場合はステップＳ１２１１に進む。

ステップＳ１２１１ではｉ番目の合焦枠へジャンプする。具体的には、直前までの選択枠を合焦枠ｉに変更し、再生中の画像のうち直前まで拡大表示していた範囲を合焦枠ｉをもとに決定した範囲に変更する。合焦枠ｉをもとに決定した範囲については図９で前述したものと同様である。このときも、再生中の画像が顔ＡＦを実行して撮影された画像であれば合焦枠をもとにして顔の全体を含む領域を拡大範囲とすることが可能である。

ステップＳ１２１１での表示例を図１７に示す。

図１７（ａ）〜（ｄ）は画像表示部２８に表示される表示例を示しており、全体表示領域１７１０には再生中の画像の全体が認識可能に表示されている。全体表示領域１７１０には合焦枠１７１１（合焦枠１）、合焦枠１７１２（合焦枠２）、顔枠１７１３（顔枠１）、顔枠１７１４（顔枠２）、及び部分拡大枠１７１５が重畳表示されている。

拡大表示領域１７２０には全体表示領域１７１０に表示された再生中の画像のうち、部分拡大枠１７１５で示される範囲が拡大して表示されている。ステップＳ１２１１の時点でインデックスｉ＝２であるとすると、ステップＳ１２１１の時点では図１７（ｂ）のような表示となる。直前の表示は図１７（ａ）のようになる。図１７（ａ）と比べると合焦枠１（合焦枠１７１１）を選択して表示していた部分拡大枠１７１５が図１７（ｂ）では合焦枠２（合焦枠１７１２）にジャンプしており、拡大表示領域１７２０の表示も部分拡大枠１７１５の示す範囲に応じて変更されている。

ステップＳ１２１２では合焦枠のインデックスｉをインクリメントし、次の合焦枠に合焦枠表示候補を更新する。その後Ｓ１２０５に戻る。

ステップＳ１２０８でインデックスｉが合焦枠数Ｉを超えていれば（ｉ＞Ｉ）、ステップＳ１２１３に進み、ステップＳ１２１３では顔枠のインデックスｊが顔枠数Ｊを超えているか否か（ｊ≦Ｊ）を判定する。インデックスｊが顔枠数Ｊを超えていなければ（ｊ≦Ｊ）ステップＳ１２１４へ進み、インデックスｊが顔枠数Ｊを超えていれば（ｊ＞Ｊ）ステップＳ１２１８へ進む。

ステップＳ１２１４ではシステムメモリ５２に記録された顔枠情報リストを参照し、ｊ番目の顔枠がジャンプ対象であるか否かを判定する。顔枠情報リストについては図１８、図１９を用いて後述する。ｊ番目の顔枠がジャンプ対象でなかった場合はステップＳ１２１５に進んでインデックスｊをインクリメントしてステップＳ１２１３に戻る。ｊ番目の顔枠がジャンプ対象であった場合はステップＳ１２１６に進む。

ステップＳ１２１６ではｊ番目の顔枠へジャンプする。具体的には、直前までの選択枠を顔枠ｊに変更し、再生中の画像のうち直前まで拡大表示していた範囲を顔枠ｊをもとに決定した範囲に変更する。顔枠ｊをもとに決定した範囲については図９で前述したものと同様である。このときも、再生中の画像の顔情報をもとにして顔の全体を含む領域を拡大範囲とすることが可能である。

ステップＳ１２１６での表示例を図１７に示す。

ステップＳ１２１６の時点でインデックスｊ＝１であるとすると、ステップＳ１２１６の時点では図１７（ｃ）のような表示となる。直前の表示は図１７（ｂ）のようになる。図１７（ｂ）と比べると合焦枠２（合焦枠１７１２）を選択して表示していた部分拡大枠１７１５が図１７（ｃ）では顔枠１（顔枠１７１３）にジャンプしており、拡大表示領域１７２０の表示も部分拡大枠１７１５の示す範囲に応じて変更されている。

ステップＳ１２１７では顔枠のインデックスｊをインクリメントし、次の顔枠に顔枠表示候補を更新する。その後Ｓ１２０５に戻る。

ステップＳ１２１８では、ステップＳ１２１３において顔枠のインデックスｊが顔枠数Ｊを超えており、すべての合焦枠および顔枠の選択、拡大表示が一巡したことになる。そのため、インデックスｉおよびｊをともに１に設定し、現在選択枠を顔枠に設定した後Ｓ１２０６に戻る。これにより、合焦枠および顔枠を繰り返し拡大表示できる。

ステップＳ１２０７で現在の選択枠が顔枠であれば、ステップＳ１２１９に進み、ステップＳ１２１９では顔枠の次の表示候補のインデックスｊが顔枠数Ｊを超えていないかどうかを判定する。インデックスｊが顔枠数Ｊを超えていなければ（ｊ≦Ｊ）ステップＳ１２２０へ進み、インデックスｊが顔枠数Ｊを超えていれば（ｊ＞Ｊ）ステップＳ１２２４へ進む。

ステップＳ１２２０では、システムメモリ５２に記録された顔枠情報リストを参照し、ｊ番目の顔枠がジャンプ対象であるか否かを判定する。顔枠情報リストについては図１８、図１９を用いて後述する。ｊ番目の顔枠がジャンプ対象でなかった場合はステップＳ１２２１に進んでインデックスｊをインクリメントしてステップＳ１２１９に戻る。ｊ番目の顔枠がジャンプ対象であった場合はステップＳ１２２２に進む。

ステップＳ１２２２ではｊ番目の顔枠へジャンプする。具体的には、直前までの選択枠を顔枠ｊに変更し、再生中の画像のうち直前まで拡大表示していた範囲を顔枠ｊをもとに決定した範囲に変更する。顔枠ｊをもとに決定した範囲については図９で前述したものと同様である。このときも、再生中の画像の顔情報をもとにして顔の全体を含む領域を拡大範囲とすることが可能である。

ステップＳ１２２２での表示例を図１７に示す。

ステップＳ１２２２の時点でインデックスｊ＝２であるとすると、ステップＳ１２２２の時点では図１７（ｄ）のような表示となる。直前の表示は図１７（ｃ）のようになる。図１７（ｃ）と比べると顔枠１（顔枠１７１３）を選択して表示していた部分拡大枠１７１５が図１７（ｄ）では顔枠２（顔枠１７１４）にジャンプしており、拡大表示領域１７２０の表示も部分拡大枠１７１５の示す範囲に応じて変更されている。

ステップＳ１２２３では顔枠のインデックスｊをインクリメントし、次の顔枠に顔枠表示候補を更新する。その後Ｓ１２０５に戻る。

ステップＳ１２１９でインデックスｊが顔枠数Ｊを超えていれば（ｊ＞Ｊ）、ステップＳ１２２４に進み、ステップＳ１２２４では合焦枠のインデックスｉが合焦枠数Ｉを超えているか否か（ｉ≦Ｉ）を判定する。インデックスｉが合焦枠数Ｉを超えていなければ（ｉ≦Ｉ）ステップＳ１２２５へ進み、インデックスｉが合焦枠数Ｉを超えていれば（ｉ＞Ｉ）ステップＳ１２２９へ進む。

ステップＳ１２２５ではシステムメモリ５２に記録された合焦枠情報リストを参照し、ｉ番目の合焦枠がジャンプ対象であるか否かを判定する。合焦枠情報リストについては図１８、図１９を用いて後述する。ｉ番目の合焦枠がジャンプ対象でなかった場合はステップＳ１２２６に進んでインデックスｉをインクリメントしてステップＳ１２２４に戻る。ｉ番目の合焦枠がジャンプ対象であった場合はステップＳ１２２７に進む。

ステップＳ１２２７ではｉ番目の合焦枠へジャンプする。具体的には、直前までの選択枠を合焦枠ｉに変更し、再生中の画像のうち直前まで拡大表示していた範囲を合焦枠ｉをもとに決定した範囲に変更する。合焦枠ｉをもとに決定した範囲については図９で前述したものと同様である。このときも、再生中の画像が顔ＡＦを実行して撮影された画像であれば合焦枠をもとにして顔の全体を含む領域を拡大範囲とすることが可能である。

ステップＳ１２２７での表示例を図１７に示す。

ステップＳ１２２７の時点でインデックスｉ＝１であるとすると、ステップＳ１２２７の時点では図１７（ａ）のような表示となる。直前の表示は図１７（ｄ）のようになる。図１７（ｄ）と比べると顔枠２（顔枠１７１４）を選択して表示していた部分拡大枠１７１５が図１７（ａ）では合焦枠１（合焦枠１７１１）にジャンプしており、拡大表示領域１７２０の表示も部分拡大枠１７１５の示す範囲に応じて変更されている。

ステップＳ１２２８では合焦枠のインデックスｉをインクリメントし、次の合焦枠に合焦枠表示候補を更新する。その後Ｓ１２０５に戻る。

ステップＳ１２２９では、ステップＳ１２２４において合焦枠のインデックスｉが合焦枠数Ｉを超えており、すべての合焦枠および顔枠の選択、拡大表示が一巡したことになる。そのため、インデックスｉおよびｊをともに１に設定し、現在選択枠を合焦枠に設定した後Ｓ１２０６に戻る。これにより、合焦枠および顔枠を繰り返し拡大表示できる。

ステップＳ１２３０では、操作部７０に含まれる顔ボタンが操作されたか否かを判定する。顔ボタンが操作されたと判定されるとステップＳ１２３１に進み、顔ボタンが操作されていないと判定されるとステップＳ１２４０へ進む。

ステップＳ１２３１では、顔枠数Ｊが０であるか、すなわち検出された顔の数が０か否かを判定、Ｊが０である場合はステップＳ１２０５へ戻る。Ｊが０で無い場合はステップＳ１２３２へ進む。

ステップＳ１２３２では、顔枠の表示候補のインデックスｊがＪを超えていないかどうかを判定。インデックスｊが顔枠数Ｊを超えている場合は顔枠の拡大表示が一巡したことになるためステップＳ１２３６へ進んでインデックスｊを１に設定し、Ｓ１２３１に戻る。インデックスｊがＪを超えていない場合はステップＳ１２３３へ進む。

ステップＳ１２３３では、システムメモリ５２に記録された顔枠情報リストを参照し、ｊ番目の顔枠がジャンプ対象であるか否かを判定する。顔枠情報リストについては図１８、図１９を用いて後述する。ｊ番目の顔枠がジャンプ対象でなかった場合はステップＳ１２３７に進んでインデックスｊをインクリメントしてステップＳ１２３２に戻る。ｊ番目の顔枠がジャンプ対象であった場合はステップＳ１２３４に進む。なお、ここでの処理は顔ボタンが操作された場合の処理であって、合焦枠にジャンプすることはない。したがッて枠ボタンでのジャンプのように同じ被写体に対して２度ジャンプする恐れはないため、このステップＳ１２３３でのジャンプ対象であるか否かの判定をせず、全ての顔枠にジャンプするようにしてもよい。

ステップＳ１２３４ではｊ番目の顔枠へジャンプする。具体的には、直前までの選択枠を顔枠ｊに変更し、再生中の画像のうち直前まで拡大表示していた範囲を顔枠ｊをもとに決定した範囲に変更する。顔枠ｊをもとに決定した範囲については図９で前述したものと同様である。このときも、再生中の画像の顔情報をもとにして顔の全体を含む領域を拡大範囲とすることが可能である。このときの表示は前述した図１７（ｃ）や図１７（ｄ）のようになる。

ステップＳ１２３５では顔枠のインデックスｊをインクリメントし、次の顔枠に顔枠表示候補を更新する。その後Ｓ１２０５に戻る。

ステップＳ１２４０では操作部７０に含まれるズームレバーが操作されたか否かを判定する。ズームレバーが操作された場合はステップＳ１２４１に進み、レビューモード切替処理を行う。レビューモード切替処理は図８で前述した処理を行う。ズームレバーが操作されていないと判定された場合はステップＳ１２５０に進む。

ステップＳ１２５０では操作部７０に含まれる表示切替ボタンが操作されたか否かを判定する。表示切替ボタンが操作されたと判定された場合はピント確認表示を終了し、ステップＳ１２５１に進み通常表示処理を行う。通常表示処理では、システム制御部５０はメモリ制御部１５を介し、メモリ３２に格納されている撮影画像のみを画像表示部２８に表示する。また、システムメモリ５２に一時記憶されている現在の表示モードを通常表示に更新する。表示を通常表示に切り替えたら図１０の再生入力待ち処理に戻る。ステップＳ１２５０で表示切替ボタンが操作されていないと判定された場合はステップＳ１２６０へ進む。

ステップＳ１２６０ではその他の入力があったか否かを判定する。その他の入力があった場合はステップＳ１２６１に進み操作入力に応じた処理を行う。その他の入力が無い場合はＳ１２０５に戻る。

図１７は、図１２の再生ピント確認処理中の画像表示部２８の表示例である。
再生画像の全体表示領域１７１０と、部分拡大枠１７１５の領域の拡大表示領域１７２０、合焦枠１７１１（合焦枠１）、合焦枠１７１２（合焦枠２）、顔枠１７１３（顔枠１）、顔枠１７１４（顔枠２）が表示される。

図１７（ａ）、は合焦枠１７１１（合焦枠１）の拡大表示、図１７（ｂ）は合焦枠１７１２（合焦枠２）の拡大表示、図１７（ｃ）は顔枠１７１３（顔枠１）の拡大表示、図１７（ｄ）は顔枠１７１４（顔枠２）の拡大表示を行っている。
図１２の再生ピント確認処理において、ステップＳ１２０５で決定される初期選択枠が合焦枠であった場合、枠ジャンプボタンを繰り返し押下した場合、下記のように画面が遷移する。具体的には、図１７（ａ）→図１７（ｂ）→図１７（ｃ）→図１７（ｄ）→図１７（ａ）→・・・となり、初めに合焦枠を部分拡大し、合焦枠をジャンプし終わったら顔枠の部分拡大表示に移る。

逆に、ステップＳ１２０５で決定される初期選択枠が顔枠であった場合、枠ジャンプボタンを繰り返し押下した場合、下記のように画面が遷移する。具体的には、図１７（ｃ）→図１７（ｄ）→図１７（ａ）→図１７（ｂ）→図１７（ｃ）→・・・となり、初めに顔枠を部分拡大し、顔枠をジャンプし終わったら合焦枠の部分拡大表示に移る。

なお、枠ジャンプボタンで合焦枠を拡大表示した後に顔ボタンで顔枠を拡大表示し、再び枠ジャンプボタンで合焦枠にジャンプしたとき、図１２では直前に拡大表示していた合焦枠の次の合焦枠を拡大表示することになる。しかしこれに限られるものではなく、インデックスｉを操作することで１つ目の合焦枠に戻るようにしてもよいし、直前に表示されていた合焦枠に戻るようにしてもよい。

また、一度枠ジャンプボタンで部分拡大枠を別の枠にジャンプさせた後、ピント確認モードを抜け、再びピント確認モードに入ったときに前回拡大していた枠を拡大表示できるように、前回の情報を例えばシステムメモリ５２に一時記憶しておいてもよい。

さらに、合焦枠の中でも顔優先ＡＦモードで合焦した合焦枠については顔枠と同じ扱いとして顔ボタンでジャンプできるようにしてもよいし、合焦枠および顔枠よりも高い優先度を与えて最優先で拡大表示できるようにしてもよい。

また、合焦枠専用の操作部材がある場合には、図１２の顔ボタンと同様に合焦枠のみをジャンプできるようにしてもよい。

また、顔ボタンがない場合においても、再生時の顔認識情報を優先して表示する方法として合焦枠数Ｉを０として扱うことで人物の顔枠のみをジャンプできるようにしてもよい。

［顔確認］
図１３は、図１０のステップＳ１０２７における顔確認処理を示すフローチャートである。

システム制御部５０は、メモリ３２に格納されている再生中の撮影画像に対して顔検出処理を行う（ステップＳ１３０１）。顔検出処理については図４のような処理を行う。

ステップＳ１３０１において検出された顔の総数を顔枠数Ｊとする（ステップＳ１３０２）。この時点において、Ｊ個の顔枠について、顔枠１＞顔枠２＞・・・＞顔枠Ｊの順に順位付けがなされているものとする。順位付けの指標としては例えば、大きくかつ中央に近い順などが挙げられる。もちろん、順位付けの指標についてはこれに限定するものではない。

ステップＳ１３０３において、Ｊが０か否かを判断し、Ｊが０すなわちステップＳ１３０１において再生画像から顔が検出されなかった場合は、図１０の再生入力待ち処理（ステップＳ１００１）に戻る。

Ｊが０でない場合はステップＳ１３０４に進み、システム制御部５０はメモリ制御部１５を介し、顔確認用の初期表示を画像表示部２８を用いて行う。ここではメモリ３２に格納されている撮影画像の全体表示および部分拡大表示、Ｊ個の顔枠などを表示する。合焦枠の表示は行わない。

図１２の再生ピント確認時の表示例（図１７）と比べて、１７１１、１７１２の合焦枠が非表示となり、合焦枠にはジャンプできなくなる。撮影画像全体の内、顔枠に対応する部分のみを部分拡大表示することによって、顔部分のみ連続してピント確認することが可能となる。

ステップＳ１３０５において拡大表示する顔枠のインデックスを初期化する。ｊは顔枠の次の拡大表示候補を示すインデックスであり、ステップＳ１３０５において１に初期化する。

ステップＳ１３０６において顔枠表示候補のインデックスｊが顔枠数Ｊを超えている場合は、すべての顔枠の拡大表示が一巡したことになり、システム制御部５０はメモリ制御部１５を介し、画像表示部２８の表示を顔確認表示前の表示に戻す（ステップＳ１３０９）。この際、システムメモリ５２に一時記憶されている表示モードを参照し、表示を更新したら図１０の再生入力待ち処理（ステップＳ１００１）に戻る。顔確認時には、すべての顔の拡大表示が一巡した時点で部分拡大表示による確認処理を終了する。

ステップＳ１３０６において、顔枠の次の表示候補のインデックスｊが顔枠数Ｊを超えていないかどうかを判断し、ｊがＪを超えていなければｊ番目の顔枠を部分拡大表示領域とし（Ｓ１３０７）、Ｓ１３０８へ進む。このとき、全体表示中の部分拡大表示領域に相当する位置を示す部分拡大表示枠を併せて表示する。ステップＳ１３０８ではインデックスｊをインクリメントし、次の顔枠に顔枠表示候補を更新する。

ステップＳ１３１０において、システム制御部５０は、ユーザによる操作入力があるかどうかをチェックする。何も入力がなければ入力があるまで待つ。何らかの操作入力があった場合、システム制御部５０は、操作入力を識別し、当該操作入力が操作部７０に含まれる顔ボタンであった場合はＳ１３０６に戻る。

当該操作入力が操作部７０に含まれるズームレバーであった場合は（ステップＳ１３１０）、レビューモード切替処理を行う（ステップＳ１３１１）。レビューモード切替処理では図８のような処理を行う。

当該操作入力がその他の入力であった場合は（ステップＳ１３１０）、操作入力に応じた処理を行う（ステップＳ１３１２）。ここでは枠ジャンプボタンによる合焦枠ジャンプや、表示切替ボタンによる表示切替処理は行わない。

図２３は、図１３の顔確認処理中の画像表示部２８の表示例である。

再生画像の全体表示領域２３１０と部分拡大枠２３１５の領域の拡大表示領域２３２０、顔枠１２３１３、顔枠２２３１４が表示される。合焦枠は表示されない。

また、初期状態で全体表示領域２３１０より拡大表示領域２３２０のほうが大きく表示される。図２３−（ａ）は顔枠１２３１３の拡大表示、図２３−（ｂ）は顔枠２２３１４の拡大表示を行っている。

図１３の顔確認処理において、顔ボタンを繰り返し押下した場合の画面遷移は、図２３−（ａ）→図２３−（ｂ）→顔確認処理終了となる。

［初期選択枠決定および表示］
図１６は、図１２のステップＳ１２０４における初期選択枠決定および表示処理を示すフローチャートである。

ステップＳ１６０１ではまず、再生中の画像に付加されている分類情報を参照し、人物が移っている画像であることを意味する分類情報である人物タグが付加されているか否かを判定する。人物タグが付加されている場合はステップＳ１６０７に進み、初期選択枠として顔枠を優先する枠とする。ここで初期選択枠として顔枠を優先するのは、人物タグが付加されている場合は主被写体が人物である可能性が高いためである。人物タグが付加されていない場合はステップＳ１６０２に進む。

ステップＳ１６０２では、再生中の画像に付加されている撮影時の撮影モードを参照し、撮影モードがポートレートモードであるか否かを判定する。撮影モードがポートレートモードの場合はステップＳ１６０７に進み、初期選択枠として顔枠を優先する枠とする。ここでも初期選択枠として顔枠を優先するのは、ポートレートモードで撮影した場合は主被写体が人物である可能性が高いためである。なお、ポートレートモード以外の、被写体が人物であることが予想される撮影モードにおいても同様の判定を行うことが好ましい。再生中の画像がポートレートモードで撮影されたものでないと判断した場合はステップＳ１６０３へ進む。

ステップＳ１６０３では、再生中の画像に付加されている撮影時の設定情報を参照し、再生中の画像が顔優先ＡＦを実行して撮影された画像であるか否かを判定する。顔優先ＡＦを実行して撮影された画像であればステップＳ１６０５に進み、顔優先ＡＦを実行して撮影された画像でなければステップＳ１６０４へ進む。

ステップＳ１６０４では、ＡＦ時と撮影時の画角に変化があるか否かを判定する。画角の変化の検出には、加速度センサや角速度センサの出力を利用したり、画像に付加された合焦枠などの座標情報および色、輝度などを用いる。ステップＳ１６０４で画角変化があると判定された場合はステップＳ１６０７へ進み、初期選択枠として顔枠を優先する枠とする。顔優先ＡＦ以外でＡＦが行われた場合でも、撮影までの間に画角変化があった場合には、合焦枠が実際にＡＦした位置に表示されないことや、人物にピントを合わせた後画角を変えて撮影する可能性があることを考慮し、人物の顔を優先する。ステップＳ１６０４でＡＦ時と撮影時の画角に変化がないと判定された場合はステップＳ１６０６へ進み、合焦枠を優先する枠とする。顔優先ＡＦ以外で焦点調節されている場合はユーザが意図的に合焦枠を指定して撮影した可能性が高いこと、画角変化がないため実際に合焦した部分を正しく表示できることを考慮し、合焦枠を優先する。

ステップＳ１６０５では、再生中の画像に付加されている撮影時の設定情報を参照してその画像が顔指定モードで撮影された画像か否かを判定する。顔指定モードとは顔優先ＡＦにおいて、ユーザが指定した特定の顔に追従してＡＦを行う特殊モードである。顔指定モードで撮影されたものではないと判定された場合は、ステップＳ１６０７に進み顔枠を優先選択枠とする。逆に、顔指定モードで撮影されたものと判定された場合はステップＳ１６０６に進み、合焦枠を優先選択枠とする。顔指定モードではユーザが任意の顔を合焦対象として選択でき、画面端の小さい顔でも主被写体としてピントを合わせることができる。そのため、画面中央に近い大きい顔が表示されていても、顔指定モードでユーザが画面端の小さい顔を指定していればそちらにより注目して撮影した画像と考えられる。しかし初期表示として顔枠を選択してしまうと大きくかつ画像中央近い顔である顔枠１が選択されてしまい、所望の被写体とは異なる顔が拡大表示されてしまう。このことを考慮し、顔優先ＡＦを実行して撮影した画像でも顔指定モードで顔を指定して撮影された画像に対しては初期選択枠として顔枠ではなく合焦枠を優先する枠とする。

ステップＳ１６０６では、初期選択枠として合焦枠を優先する枠に決定し、システムメモリ５２に一時記憶するなどして後段の処理で参照可能とする。一方ステップＳ１６０７では、初期選択枠として顔枠を優先する枠に決定し、同様にシステムメモリ５２に一時記憶などするなどして後段の処理で参照可能とする。

ステップＳ１６１０では、合焦枠数Ｉが０より大きいか、すなわち画像に合焦した場所があるか否かを判定する。合焦した場所がある（合焦枠数Ｉ＞０）と判定されるとステップＳ１６１１に進み、合焦した場所がないと判定されるとステップＳ１６２０に進む。

ステップＳ１６１１では再生中の画像が顔優先ＡＦを実行して撮影された画像であるか否かを判定する。顔優先ＡＦを実行していないと判定された場合はステップＳ１６１２に進み、顔優先ＡＦを実行したと判定されるとステップＳ１６１５に進む。

ステップＳ１６１２では初期選択枠を合焦枠に決定し、再生中の画像のうち拡大すべき範囲を決定する。ここでは合焦枠の中心を中心として再生中の画像全体の大きさに対して一定の割合の大きさとなる範囲を拡大すべき範囲として決定する。合焦枠が複数存在する場合は、図１２のステップＳ１２０２で設定した順位付けにもとづいて、順位の一番高い合焦枠１について拡大すべき範囲を決定する。なお拡大すべき範囲としては、ここで述べた例以外にユーザが予め任意に設定している範囲や、ピクセル等倍にして合焦枠の中心から後述する拡大表示領域に収まる範囲などでも良い。

ステップＳ１６１３では画像全体と共に、ステップＳ１６１２で決まったレックレビュー中の画像のうち拡大すべき範囲を拡大表示領域に収まるように拡大して表示する。この表示は、図１５（ａ）を用いて前述したものとほぼ同様であるので詳述は省略する。ただし、表示される顔枠を取得するための顔検出処理のタイミングが画像の再生時である図１２のステップＳ１２０１である点と、図１２のステップＳ１２０２での領域関連度の計算が反映されている点は異なる。この点については図１９、図２０を用いて後述する。

ステップＳ１６１４では、図１２のステップＳ１２０３で初期化したインデックスｉをインクリメントし、次の合焦枠に合焦枠表示候補を更新して初期選択枠決定および表示の処理を終了する。

ステップＳ１６１５では初期選択枠を合焦枠に決定し、再生中の画像のうち拡大すべき範囲として、合焦枠１に含まれる顔の全体が含まれる範囲を決定する。ここでは初期選択枠として合焦枠を優先するため、再生時の顔検出で得られる顔の領域を拡大／縮小した範囲を拡大すべき範囲として決定するのではなく、合焦枠１を拡大／縮小した範囲を拡大すべき範囲として決定する。図１５（ｃ）で前述したとおり、顔ＡＦで撮影された画像の合焦枠の大きさは、撮影時に検出された顔の領域をもとに決定されている。そのため、顔検出のアルゴリズム依存の特定の値で顔ＡＦの合焦枠の範囲を拡大／縮小すれば合焦枠に含まれる顔の全体が含まれる範囲を決定することができる。

ステップＳ１６１６では画像全体と共に、ステップＳ１６１５で決まった再生中の画像のうち合焦枠１に含まれる顔の全体が含まれる領域を拡大表示領域に収まるように拡大／縮小して表示する。この表示は、図１５（ｂ）を用いて前述したものとほぼ同様であるので詳述は省略する。ただし、表示される顔枠を取得するための顔検出処理のタイミングが画像の再生時である図１２のステップＳ１２０１である点と、図１２のステップＳ１２０２での領域関連度の計算が反映されている点は異なる。この点については図１９、図２０を用いて後述する。

ステップＳ１６１７では、図１２のステップＳ１２０３で初期化したインデックスｉをインクリメントし、次の合焦枠に合焦枠表示候補を更新して初期選択枠決定および表示の処理を終了する。

ステップＳ１６２０では図１２のステップＳ１２０２で取得した再生時に検出された顔枠数Ｊが０より大きいか、すなわち画像に顔が存在するか否かを判定する。顔が存在する（顔枠数Ｊ＞０）と判定されるとステップＳ１６２１に進み、顔が存在しないと判定されるとステップＳ１６２４に進む。

ステップＳ１６２１では初期選択枠を顔枠に決定し、図１２のステップＳ１２０２で設定した顔枠１についての顔情報で示される顔の領域を拡大／縮小して求めた範囲を拡大すべき範囲として決定する。再生時の顔情報で示される顔の領域を拡大／縮小して拡大すべき範囲を決定する方法は図１５（ｃ）を用いて前述したとおりである。

ステップＳ１６２２では再生時に検出された顔枠１〜Ｊを示す顔枠とステップＳ１６２１で決定した拡大すべき範囲を部分拡大枠として全体表示領域に重畳表示する。また、部分拡大枠が示す領域を拡大表示領域に収まる倍率で拡大／縮小して画像全体と共に表示する。

ステップＳ１６２３では図１２のステップＳ１２０３で初期化したインデックスｊをインクリメントし、次の顔枠に顔枠表示候補を更新する。

ステップＳ１６２４では合焦枠も顔枠も存在しないため初期選択枠は決定せず、画像の中央から画像全体の大きさに対して一定の割合の大きさとなる範囲を拡大すべき範囲として決定する。

ステップＳ１６２５ではステップＳ１６２４で決定した拡大すべき範囲を部分拡大枠として全体表示領域に重畳表示する。また、部分拡大枠が示す領域を拡大表示領域に収まる倍率で拡大／縮小して画像全体と共に表示する。この場合は合焦枠も顔枠も存在しないため、全体表示領域には部分拡大枠のみが重畳表示される。

ステップＳ１６３０では図１２のステップＳ１２０２で取得した再生時に検出された顔枠数Ｊが０より大きいか、すなわち画像に顔が存在するか否かを判定する。顔が存在する（顔枠数Ｊ＞０）と判定されるとステップＳ１６３１に進み、顔が存在しないと判定されるとステップＳ１６４０に進む。ここでは、Ｓ１６０７で初期選択枠として顔枠が優先されているため、ステップＳ１６０６で初期選択枠として合焦枠が優先された場合と異なり、まず顔が存在するか否かを判定する。したがって以降の処理では、顔が存在すれば合焦枠よりも再生時に検出した顔を示す顔枠を優先して拡大表示する。

ステップＳ１６３１、ステップＳ１６３２、ステップＳ１６３３の処理はそれぞれ前述したステップＳ１６２１、ステップＳ１６２２、ステップＳ１６２３の処理と同様なので詳述は省略する。

ステップＳ１６４０では、合焦枠数Ｉが０より大きいか、すなわち画像に合焦した場所があるか否かを判定する。合焦した場所がある（合焦枠数Ｉ＞０）と判定されるとステップＳ１６４１に進み、合焦した場所がないと判定されるとステップＳ１６５０に進む。

ステップＳ１６４１、ステップＳ１６４２、ステップＳ１６４３、ステップＳ１６４４の処理はそれぞれ、前述したステップＳ１６１１、ステップＳ１６１２、ステップＳ１６１３、ステップＳ１６１４の処理と同様なので詳述は省略する。また、ステップＳ１６５０、ステップＳ１６５１の処理はそれぞれ前述したステップＳ１６２４、ステップＳ１６２５の処理と同様なので詳述は省略する。

ステップＳ１６４１で顔ＡＦを実行して撮影された画像であると判定されるとＳ１６４５に進む。ステップＳ１６４５、ステップＳ１６４６、ステップＳ１６４７の処理はそれぞれ前述したステップＳ１６１５、ステップＳ１６１６、ステップＳ１６１７の処理と同様なので詳述は省略する。なお、ステップＳ１６４５においては、ステップＳ１６１５と同様に合焦枠１を拡大／縮小した範囲を拡大すべき範囲として決定するが、理由はステップＳ１６１５と異なり、再生時の顔検出で画像に顔が存在しないと判定されたためである。

なお本実施例では、ステップＳ１６１１、ステップＳ１６４１で顔ＡＦを行って撮影した画像か否かを判定した上で拡大すべき範囲を決定したが、撮影の際にユーザが注目した被写体に特化した確認をできる範囲を拡大すべき範囲として決定できれば他の方法でもよい。例えば顔ＡＦにかえて撮影の際に検出した顔に限らない被写体に対して露出制御、ホワイトバランス制御、調光等を行った画像であることがわかる場合には、撮影者が検出された被写体に注目して撮影した画像だと考えられる。このような場合も露出制御、ホワイトバランス制御、調光等を行った被写体の全体が含まれる範囲を拡大すべき範囲として決定することが可能である。撮影の際に検出できる被写体としては例えば赤目がある。

さらに、ステップＳ１６２０での判定も顔の有無の判定に限らず、赤目などの顔以外の被写体を検出したか否かを判定し、判定に応じて検出した被写体の全体が含まれる範囲を拡大すべき範囲としてもよい。またステップＳ１６３０での判定も、初期選択枠として優先されている枠が顔以外を示す枠で、その枠が示す被写体を検出できれば該被写体の全体が含まれる範囲を拡大すべき範囲としてもよい。

［領域関連度の計算］
図１８は図１２のステップＳ１２０２における領域関連度の計算処理を示すフローチャートである。

ステップＳ１８０１ではまず、再生中の画像の付加情報を参照して得られる合焦枠情報を取得する。

ステップＳ１８０２ではシステムメモリ５２を参照して図１２のステップＳ１２０１での再生時の顔検出で検出された顔情報をもとに、検出された顔の総数と各顔の領域を含む再生時顔枠情報を取得する。

ステップＳ１８０３では、ステップＳ１８０１で取得した合焦枠の総数を合焦枠数Ｉ、ステップＳ１８０２で取得した顔の総数を顔枠数Ｊとする。この時点において、Ｉ個の合焦枠とＪ個の顔枠について、それぞれ合焦枠１＞合焦枠２＞・・・＞合焦枠Ｉ、顔枠１＞顔枠２＞・・・＞顔枠Ｊの順に順位付けがなされているものとする。順位付けの指標としては例えば、合焦枠についてはＡＦ評価値の高い順、顔枠については大きくかつ中央に近い順などが挙げられる。もちろん、順位付けの指標についてはこれに限定するものではない。

ステップＳ１８０４では、ステップＳ１８０２で取得した各顔の領域の中心座標を計算し、システムメモリ５２に一時記憶する。

ステップＳ１８０５では、ステップＳ１８０１で取得した合焦枠の範囲を計算し、システムメモリ５２に一時記憶する。

ステップＳ１８０６では、合焦枠数と顔枠数のインデックスを初期化する。ｉは合焦枠を示すインデックス、ｊは顔枠を示すインデックスであり、ステップＳ１８０６においてともに０に初期化する。

ステップＳ１８０７では、ステップＳ１８０３で設定した合焦枠数Ｉが０または顔枠数Ｊが０か否か、すなわち合焦枠と顔枠の双方ともが存在しているか否かを判定する。合焦枠と顔枠の両方が存在していると判定された場合はステップＳ１８０８へ進み、合焦枠と顔枠のどちらか一方が存在しない（Ｉ＝０またはＪ＝０）と判定された場合は本処理を終了する。

ステップＳ１８０８で、合焦枠のインデックスｉをインクリメントする。

ステップＳ１８０９で、顔枠のインデックスｊをインクリメントする。

ステップＳ１８１０では、合焦枠と顔枠の関連度を判定する。ここでは合焦枠と顔枠の関連度の判定は、画像における合焦枠と顔枠の距離にもとづいて判定すする。本実施例では、システムメモリ５２を参照し、ステップＳ１８０４で求めた各顔の領域の中心座標が、ステップＳ１８０５で求めた合焦枠の範囲内に存在するのか否かで合焦枠と顔枠の距離が近いか否かを判別する。もちろん距離の判別の方法はこれに限定されるものではなく、合焦枠と顔枠の中心座標の距離から判別しても良いし、合焦枠と顔枠の範囲の重なりの割合等から距離を判別することなどが考えられる。合焦枠と顔枠の距離が近いと判別できる、すなわち各顔の中心座標が合焦枠内に存在する場合は、当該顔の顔枠と、当該合焦枠は関連度有りと判定し、ステップＳ１８１１に進む。顔の中心座標が合焦枠内に存在しない場合は、当該顔の顔枠と当該合焦枠は関連度無しと判定し、ステップＳ１８１２に進む。

ステップＳ１８１１では、ステップＳ１８１０で関連度有りと判定された顔枠と合焦枠について、合焦枠情報リストあるいは再生時顔枠情報リストを更新する。このリストはシステムメモリ５２に記録されているものとし、図１９を用いて後述する。

ステップＳ１８１２では、顔枠のインデックスｊが顔枠の総数Ｊに達した（ｊ＝Ｊ）か否かを判定する。顔枠のインデックスｊが顔枠の総数Ｊに達していなければステップＳ１８０９で顔枠のインデックスｊをインクリメントし、次の顔枠と合焦枠との関連度を判定する。顔枠のインデックスｊが顔枠の総数Ｊに達していた（ｊ＝Ｊ）ならばステップＳ１８１３に進む。

ステップＳ１８１３では顔枠のインデックスｊを０に初期化する。

ステップＳ１８１４では、合焦枠のインデックスｉが合焦枠の総数Ｉに達した（ｉ＝Ｉ）か否かを判定する。合焦枠のインデックスｉが合焦枠の総数Ｉに達していなければステップＳ１８０８で合焦枠のインデックスｉをインクリメントし、次の合焦枠を全ての顔枠と比較して関連度を判定する。合焦枠のインデックスｉが合焦枠の総数Ｉに達していれば全ての合焦枠と全ての顔枠の組み合わせについて関連度を比較したことになるので、処理を終了する。

図１９にシステムメモリ５２に記録される合焦枠情報リストと再生時顔枠情報リストの例を示す。

図１９（ｃ）の画像１９４０は顔優先ＡＦを実行して撮影された画像であり、合焦枠１９２１、合焦枠１９２２、合焦枠１９２３が存在するものとする。ステップＳ１８０３における順位付けでこの合焦枠１９２１、合焦枠１９２２、合焦枠１９２３はそれぞれ合焦枠１、合焦枠２、合焦枠３に順位付けされたものとする。本実施例においては図１、図３で前述したとおり、第１シャッタースイッチ信号ＳＷ１で測距・測光を行い、その後第２シャッタースイッチ信号ＳＷ２よって実際に露光し、撮影する。そのため、第１シャッタースイッチ信号ＳＷ１によって合焦枠が決定してから第２シャッタースイッチ信号ＳＷ２があるまでに、撮影者がデジタルカメラ１００を動かした場合や被写体が動いた場合は合焦枠は実際に焦点調節を行った被写体からずれる。このため、画像１９４０においては合焦枠と顔優先ＡＦを実際に行った被写体（顔）とがずれている。この画像１９４０を図１２のステップＳ１２０１で顔検出すると、画像１９４０に写っている顔が検出され、顔枠１９３１、顔枠１９３２、顔枠１９３３が得られる。ステップＳ１８０３における順位付けでこの顔枠１９３１、顔枠１９３２、顔枠１９３３はそれぞれ顔枠１、顔枠２、顔枠３に順位付けされたものとする。

図１９（ａ）は図１９（ｃ）に示す画像１９４０を例とした合焦枠情報リストの例である。合焦枠情報リストは
・各合焦枠のインデックス１９０１、
・各合焦枠の中心位置１９０２、
・各合焦枠の大きさ、範囲を含むその他の合焦枠情報１９０３、
・各合焦枠がジャンプ対象であるか否かを示すジャンプ対象情報１９０４、
・各合焦枠が表示すべき枠であるか否かを示す表示対象情報１９０５
から構成される。

図１９（ｂ）は図１９（ｃ）に示す画像１９４０を例とした再生時顔枠情報リストの例である。再生時顔枠情報リストは
・各顔枠のインデックス１９１１、
・各顔枠の中心位置１９１２、
・各顔枠の大きさ、範囲を含むその他の顔情報１９１３、
・各顔枠がジャンプ対象であるか否かを示すジャンプ対象情報１９１４、
・各顔枠が表示すべき枠であるか否かを示す表示対象情報１９１５
から構成される。本実施例では、合焦枠と顔枠に関連度があると判定されると、再生時顔枠情報リストのジャンプ対象情報１９１４と表示対象情報１９１５を更新し、関連度があると判定された顔枠については表示対象と図１２等で前述したジャンプ対象から外す。このように、関連度があると判定された合焦枠と顔枠は双方ほぼ同じ被写体を示す枠であると考え、片方はジャンプ対象とせず、枠表示もしない。このようにすることで、同じ被写体に対して２度ジャンプするといった工程を省略し、２種類の枠が表示されるという煩雑な表示を避けることができる。図１９（ｃ）の画像１９４０では、合焦枠１９２２と顔枠１９３２、合焦枠１９２３と顔枠１９３３が距離が近く関連度があると判定されるため、顔枠１９３２（顔枠２）と顔枠１９３３（顔枠３）はジャンプ対象と表示対象では無くなっている。

このようにして更新された合焦枠情報リストと再生時顔枠情報リストを反映して画像１９４０と合焦枠、顔枠を表示した例を図２０に示す。図２０においては再生時顔枠情報リストの表示対象情報１９１５を反映して顔枠２と顔枠３は表示していない。合焦枠と顔枠をすべて表示すると図１９（ｃ）のようになるが、これに比べて不必要な枠の表示を省略し、簡明な枠表示となっている。また、顔枠２と顔枠３はジャンプ対象からも外れるため、ジャンプの回数を減らして合焦位置と顔の確認が効率良く行える。

なお、本実施例では関連度のある合焦枠と顔枠については顔枠の方をジャンプ対象、表示対象から外すことによって合焦枠についての確認を優先としたが、逆に顔枠についての確認を優先とすることもできる。図１２のステップＳ１２０１において再生時の画像から検出された顔枠を優先して表示するとで、再生中の画像から検出された人物の表情等を効率良く確認することができる。この場合は、図１８のステップＳ１８１０で合焦枠と顔枠に関連度があると判定された場合に、合焦枠情報リストの方のジャンプ対象情報１９０４と表示対象情報１９０５を更新すれば良い。

関連度があると判定された場合に合焦枠の確認を優先とするか顔枠の確認を優先とするかは、ユーザが事前に任意に設定できるようにしても良いし、場合に応じてデジタルカメラ１００が自動で設定するようにしてもよい。例えば、撮影時に顔優先ＡＦを実行して撮影された画像である場合は、人物中心の撮影を行っていることから、デジタルカメラ１００が自動で顔枠の確認を優先するよう設定することなどが考えられる。また、撮影時に中央１点ＡＦを実行して撮影された画像の場合は、撮影者が合焦枠で示される被写体に注目して撮影したか、合焦枠にユーザの意図が強く反映されていると考え、デジタルカメラ１００が自動で合焦枠を優先するように設定してもよい。

また、図２０では合焦枠と関連のある顔枠２と顔枠３を非表示にしているが、非表示ではなく色／形のみを変更しジャンプ対象から除外することも可能である。枠位置を確認しつつ、ジャンプ回数が減るので、正確で効率の良い確認が可能となる。

他の表示方法として、関連度が高い場合は、一度のジャンプでの表示の際に顔枠と合焦枠の双方を含む範囲で拡大表示することも可能である。その場合の表示画面を図２１（ａ）に示す。また、関連度が高い顔枠と合焦枠をそれぞれ同時に拡大表示することも可能である。その場合の表示画面を図２１（ｂ）に示す。このような表示を行っても、ほぼ同じ被写体に対して２度ジャンプするといった工程を省略して効率の良い確認を行うことができる。なお、図２１（ａ）、図２１（ｂ）においては、関連度のある顔枠と合焦枠の両方とも表示した上でジャンプ工程を統一しているため、どの枠について関連度があるのかも識別することが可能である。

図１８のステップＳ１８１０の関連度の判定においては、合焦枠と再生時に検出した顔枠との距離が近いものを関連度ありとしたが、距離が遠いものについても関連度の判定をすることができる。

顔ＡＦを実行して撮影された画像で、合焦枠の付近で再生時に顔が検出できなかった画像の例を図２２（ａ）に示す。この図に示す画像は、測距して焦点調節を行った時点から実際に撮影を行った時点までに、撮影者によるフレーミングの変化か被写体自身の移動のために、合焦枠の位置に被写体が存在しない。しかし再生時に検出された顔枠のうち合焦枠と同じ大きさの顔枠は、顔ＡＦした時点から実際の撮影までに同一被写界深度内で移動した被写体である可能性が高く、合焦している可能性も高い。この場合、合焦枠と検出された顔枠の大きさを比較し、大きさが近い顔枠が存在すれば距離が離れていても関連度ありと判定してもよい。付近に顔が検出されなかった合焦枠については、合焦している被写体がいる可能性が低く確認する必要性が低いと考えられるため、ジャンプ対象や表示対象から外すように合焦枠情報リストを変更する。この合焦枠情報リストを変更して表示した例を図２２（ｂ）に示す。あるいは、再生時に検出した顔枠が実際に合焦している被写体を示している可能性が高いことを考慮し、再生時に検出した顔枠を合焦枠としてジャンプや枠表示を行うようにしてもよい。このようにした表示例を図２２（ｃ）に示す。逆に、顔ＡＦでの合焦枠の付近に、顔が検出できた場合でも、枠の大きさが大きく異なれば合称している被写体では無いと考えられるため、関連度なしと判定しても良い。

なお、関連度には係らず、顔ＡＦでの合焦枠付近に再生時に顔が検出できなかった場合は、合焦枠の確認の必要性が低いと考えて合焦枠の色や形を変えて警告表をしたり、合焦枠を単にジャンプ対象や枠表示対象から外しても良い。付近に顔枠が検出できなかった合焦枠を、色を変えることで警告表示している例を図２２（ｄ）に示す。

また、再生中の画像が顔ＡＦを実行した画像であった場合、撮影の際の顔ＡＦ時に検出した顔の特徴量が記録されていれば、顔ＡＦ時の顔の特徴量と再生時に検出した顔の特徴を比較することによっても関連度の判定が可能である。顔ＡＦ時に検出した顔と再生時に検出された顔で同一人物の顔であると判定されれば、関連度が有りと判定できる。さらに上述した合焦枠と顔枠の距離や大きさの条件を組み合わせて判定すれば、より制度の高い関連度の判定が可能となる。

上述した関連度の判定は合焦枠と再生時に検出した顔枠を例に挙げたが、これに限られるものでなく、本発明は異なるタイミングで同一の被写体について重複した情報を抽出してしまうようなものに適用可能である。例えば撮影時に顔の情報を検出し、再生時に赤目の情報を検出するようなものであれば、同じ被写体について重複した情報を抽出している可能性がある。このような場合も本発明のような関連度の判定を反映した表示をすることで簡明な表示となり、効率のよい画像の確認が可能となる。

本発明の目的は上述した実施の形態における各機能を具現化したソフトウェアのプログラムコードを記録した記録媒体をシステム或いは装置に提供して達成される。そして、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによって、前述した実施形態の機能を実現することができる。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。このようなプログラムコードを供給するための記録媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスクなどを用いることができる。或いは、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることもできる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけではない。そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれてもよい。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

ａは本発明の一実施例の撮像装置のデジタルカメラの外観図である。ｂは本発明の一実施例の撮像装置のデジタルカメラのブロック図である。 本発明の一実施例のカメラモード遷移のフローチャートである 本発明の一実施例の撮影モードのフローチャートである 本発明の一実施例の顔検出のフローチャートである 本発明の一実施例の撮影のフローチャートである 本発明の一実施例の再生のフローチャートである 本発明の一実施例のレックレビュー表示のフローチャートである 本発明の一実施例のレビューモード切替のフローチャートである 本発明の一実施例のピント確認のフローチャートである 本発明の一実施例の再生入力待ち処理のフローチャートである 本発明の一実施例の表示切替処理のフローチャートである 本発明の一実施例の再生ピント確認処理のフローチャートである 本発明の一実施例の顔確認処理のフローチャートである 本発明の一実施例のレビューモード切替画面の画面遷移説明である 本発明の一実施例のピント確認画面の表示例である 本発明の一実施例の初期選択枠決定および表示処理のフローチャートである 本発明の一実施例の再生ピント確認画面の表示例である 本発明の一実施例の領域関連度の計算処理のフローチャートである ａは本発明の一実施例の合焦枠情報リストの例である。ｂは本発明の一実施例の再生時顔枠情報リストの例である。ｃは本発明の一実施例の合焦枠情報リストと再生時顔枠情報リストに係る画像の例である。 本発明の一実施例の合焦枠情報リストと再生時顔枠情報リストを反映した表示例である 本発明の一実施例の合焦枠情報リストと再生時顔枠情報リストを反映した第２の表示例である 本発明の一実施例の合焦枠情報リストと再生時顔枠情報リストを反映した第３の表示例である 本発明の一実施例の顔確認処理の表示例である

符号の説明

２２ 撮像部
２８ 表示部
３２ メモリ
５０ システム制御部
５２ システムメモリ
７０ 操作部
１００ デジタルカメラ

Claims (28)

1. 被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定手段と
   前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定手段と、
   前記第１の範囲決定手段と前記第２の範囲決定手段とのどちらの範囲決定手段によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定手段と、
   前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御する表示制御手段と
   を有する事を特徴とする画像表示制御装置。
2. 前記判定手段は前記特定の情報として、前記画像が画像解析して検出された特定の被写体に対して焦点調節、露出制御、ホワイトバランス調整、調光の少なくとも１つを実行して撮影した画像であるという情報が得られる場合は前記第１の範囲決定手段によって画像の一部の範囲を決定すると判定し、
   前記第１の範囲決定手段は前記被写体情報として前記特定の被写体の情報、あるいは当該特定の被写体に対して焦点調節、露出制御、ホワイトバランス調整、調光の少なくとも１つを実行した範囲の情報に基づいて前記画像の一部の範囲を決定する
   ことを特徴とする請求項１記載の画像表示制御装置。
3. 前記判定手段は前記特定の情報として、前記画像が画像解析して検出された特定の被写体に対して焦点調節をして撮影し、合焦した画像であるという情報が得られる場合は前記第１の範囲決定手段によって画像の一部の範囲を決定すると判定し、
   前記第１の範囲決定手段は前記被写体情報として前記特定の被写体の情報、あるいは当該特定の被写体に対して焦点調節を実行した範囲の情報に基づいて前記画像の一部の範囲を決定する
   ことを特徴とする請求項１記載の画像表示制御装置。
4. 前記判定手段は前記特定の情報として、前記画像を画像解析して特定の被写体が検出されたという情報が得られる場合に前記第１の範囲決定手段によって画像の一部の範囲を決定すると判定し、
   前記第１の範囲決定手段は前記被写体情報として前記特定の被写体の情報に基づいて前記画像の一部の範囲を決定する
   ことを特徴とする請求項１記載の画像表示制御装置。
5. 前記判定手段は前記特定の情報として、前記画像を画像解析して特定の被写体が検出され、かつ合焦していないという情報が得られる場合に前記第１の範囲決定手段によって画像の一部の範囲を決定すると判定し、
   前記第１の範囲決定手段は前記被写体情報として前記特定の被写体の情報に基づいて前記画像の一部の範囲を決定する
   ことを特徴とする請求項１記載の画像表示制御装置。
6. 前記被写体は人物の顔、赤目の少なくとも一方であることを特徴とする請求項１〜５記載の画像表示制御装置。
7. 前記判定手段は前記特定の情報として、前記画像に人物に関する画像であるという分類情報が付加されていて、かつ前記画像を解析して顔あるいは赤目が検出された場合に前記第１の範囲決定手段によって画像の一部の範囲を決定すると判定し、
   前記第１の範囲決定手段は前記被写体情報として前記解析して検出された顔あるいは赤目の情報に基づいて前記画像の一部の範囲を決定する
   ことを特徴とする請求項１記載の画像表示制御装置。
8. 前記第２の範囲決定手段は、画像の一部の範囲として当該画像の中央部分あるいは合焦枠の中心から予め定められた特定の範囲を決定することを特徴とする請求項１記載の画像表示制御装置。
9. 前記第１の範囲決定手段は、画像の一部の範囲として前記被写体の全体が認識可能な範囲を決定することを特徴とする請求項１記載の画像表示制御装置。
10. 前記表示制御手段はさらに、前記第１の範囲決定手段によって決定された範囲か、前記第２の範囲決定手段によって決定された範囲かを識別可能に表示するよう制御することを特徴とする請求項１記載の画像表示制御装置。
11. 前記表示制御手段は更に、第１の表示領域に画像の全体を表示するよう制御し、前記第１の表示領域と同時に表示される第２の表示領域に前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御することを特徴とする請求項１記載の画像表示制御装置。
12. 前記表示制御手段は、前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を、表示領域に収まるように拡大または縮小して表示するよう制御することを特徴とする請求項１記載の画像表示制御装置。
13. 画像から得られる前記特定の情報は、前記画像を解析して得られる情報と前記画像に付加された属性情報との少なくとも一方であることを特徴とする請求項１記載の画像表示制御装置。
14. 被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定工程と
    前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定工程と、
    前記第１の範囲決定工程と前記第２の範囲決定工程とのどちらの範囲決定工程によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定工程と、
    前記判定工程によって判定された範囲決定工程により決定される前記画像の一部の範囲を表示するよう制御する表示制御工程と
    を有する事を特徴とする画像表示制御方法。
15. 前記判定工程は前記特定の情報として、前記画像が画像解析して検出された特定の被写体に対して焦点調節、露出制御、ホワイトバランス調整、調光の少なくとも１つを実行して撮影した画像であるという情報が得られる場合は前記第１の範囲決定工程によって画像の一部の範囲を決定すると判定し、
    前記第１の範囲決定工程は前記被写体情報として前記特定の被写体の情報、あるいは当該特定の被写体に対して焦点調節、露出制御、ホワイトバランス調整、調光の少なくとも１つを実行した範囲の情報に基づいて前記画像の一部の範囲を決定する
    ことを特徴とする請求項１４記載の画像表示制御方法。
16. 前記判定工程は前記特定の情報として、前記画像が画像解析して検出された特定の被写体に対して焦点調節をして撮影し、合焦した画像であるという情報が得られる場合は前記第１の範囲決定工程によって画像の一部の範囲を決定すると判定し、
    前記第１の範囲決定工程は前記被写体情報として前記特定の被写体の情報、あるいは当該特定の被写体に対して焦点調節を実行した範囲の情報に基づいて前記画像の一部の範囲を決定する
    ことを特徴とする請求項１４記載の画像表示制御方法。
17. 前記判定工程は前記特定の情報として、前記画像を画像解析して特定の被写体が検出されたという情報が得られる場合に前記第１の範囲決定工程によって画像の一部の範囲を決定すると判定し、
    前記第１の範囲決定工程は前記被写体情報として前記特定の被写体の情報に基づいて前記画像の一部の範囲を決定する
    ことを特徴とする請求項１４記載の画像表示制御方法。
18. 前記判定工程は前記特定の情報として、前記画像を画像解析して特定の被写体が検出され、かつ合焦していないという情報が得られる場合に前記第１の範囲決定工程によって画像の一部の範囲を決定すると判定し、
    前記第１の範囲決定工程は前記被写体情報として前記特定の被写体の情報に基づいて前記画像の一部の範囲を決定する
    ことを特徴とする請求項１４記載の画像表示制御方法。
19. 前記被写体は人物の顔、赤目の少なくとも一方であることを特徴とする請求項１４〜１８記載の画像表示制御方法。
20. 前記判定工程は前記特定の情報として、前記画像に人物に関する画像であるという分類情報が付加されていて、かつ前記画像を解析して顔あるいは赤目が検出された場合に前記第１の範囲決定工程によって画像の一部の範囲を決定すると判定し、
    前記第１の範囲決定工程は前記被写体情報として前記解析して検出された顔あるいは赤目の情報に基づいて前記画像の一部の範囲を決定する
    ことを特徴とする請求項１４記載の画像表示制御方法。
21. 前記第２の範囲決定工程は、画像の一部の範囲として当該画像の中央部分あるいは合焦枠の中心から予め定められた特定の範囲を決定することを特徴とする請求項１４記載の画像表示制御方法。
22. 前記第１の範囲決定工程は、画像の一部の範囲として前記被写体の全体が認識可能な範囲を決定することを特徴とする請求項１４記載の画像表示制御方法。
23. 前記表示制御工程はさらに、前記第１の範囲決定工程によって決定された範囲か、前記第２の範囲決定工程によって決定された範囲かを識別可能に表示するよう制御することを特徴とする請求項１４記載の画像表示制御方法。
24. 前記表示制御工程は更に、第１の表示領域に画像の全体を表示するよう制御し、前記第１の表示領域と同時に表示される第２の表示領域に前記判定工程によって判定された範囲決定工程により決定される前記画像の一部の範囲を表示するよう制御することを特徴とする請求項１４記載の画像表示制御方法。
25. 前記表示制御工程は、前記判定工程によって判定された範囲決定工程により決定される前記画像の一部の範囲を、表示領域に収まるように拡大または縮小して表示するよう制御することを特徴とする請求項１４記載の画像表示制御方法。
26. 画像から得られる前記特定の情報は、前記画像を解析して得られる情報と前記画像に付加された属性情報との少なくとも一方であることを特徴とする請求項１４記載の画像表示制御方法。
27. コンピュータを、
    被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定手段、
    前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定手段、
    前記第１の範囲決定手段と前記第２の範囲決定手段とのどちらの範囲決定手段によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定手段、
    前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御する表示制御手段
    として機能させるためのプログラム。
28. コンピュータを、
    被写体に関する被写体情報に基づいて画像の一部の範囲を決定する第１の範囲決定手段、
    前記被写体情報とは異なる情報に基づいて画像の一部の範囲を決定する第２の範囲決定手段、
    前記第１の範囲決定手段と前記第２の範囲決定手段とのどちらの範囲決定手段によって画像の一部の範囲を決定するかを、画像から得られる特定の情報に基づいて判定する判定手段、
    前記判定手段によって判定された範囲決定手段により決定される前記画像の一部の範囲を表示するよう制御する表示制御手段
    として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images