JP2018007082A - 画像再生装置およびその制御方法およびプログラム - Google Patents

Abstract

【課題】 撮影者がレンズの合焦位置を固定してから撮像装置のアングルを変え、構図を変更して撮影を行うことがある。この場合、上述の従来技術によれば、合焦位置を固定するのに用いられた主被写体の位置が測距枠の表示されていた位置からずれてしまう。このため、画像の再生時に主被写体の位置と測距枠が一致せず、主被写体に合焦されているかどうかを判断するのが困難という課題がある。【解決手段】 画像再生装置が、画像データおよび、合焦面距離、主被写体および距離マップを示す付帯情報を含む画像ファイルを撮像装置から読み込む。画像データを解析し、距離マップにしたがってその撮像素子からの距離と合焦面距離との差が所定値より小さな被写体を検出する。主被写体の位置と検出された被写体の位置の重なりの割合を算出し、重なりの割合に応じて選択的に所定の枠を検出された被写体の位置に重畳して画像を表示するよう制御する。【選択図】 図７

Description

本発明は、撮像装置の撮影により得られた画像データに基づく画像を再生するための画像再生装置およびその制御方法およびプログラムに関する。

従来、測距枠を用いて被写体を合焦させて撮像を行い、合焦に用いられた測距枠も記録し、画像の再生時に測距枠に対応する領域を拡大表示する撮像装置がある（特許文献１参照）。

特開２００３−１４３４４４号公報

撮影者がレンズの合焦位置を固定してから撮像装置のアングルを変え、構図を変更して撮影を行うことがある。この場合、上述の従来技術によれば、合焦位置を固定するのに用いられた主被写体の位置が測距枠の表示されていた位置からずれてしまう。このため、画像の再生時に主被写体の位置と測距枠が一致せず、主被写体に合焦されているかどうかを判断するのが困難であるという問題があった。

上述の課題を解決するために本願に係る発明の一つは、画像再生装置であって、画像データおよび、合焦面距離、主被写体および距離マップを示す付帯情報を含む画像ファイルを撮像装置から読み込む読み込み手段と、画像データを解析し、前記距離マップにしたがってその撮像素子からの距離と前記合焦面距離との差が所定値より小さな被写体を検出する検出手段と、前記主被写体の位置と前記検出手段により検出された被写体の位置の重なりの割合を算出する算出手段と、前記画像データに基づく画像を、前記重なりの割合に応じて選択的に所定の枠を前記検出手段により検出された被写体の位置に重畳して表示するよう制御する表示制御手段を備えたことを特徴とする。

本発明によれば、撮影者が合焦位置を固定した後、撮像装置のアングルを変え、構図を変更して撮影された画像であっても、再生時に、合焦位置が固定されるのに用いられた主被写体に合焦されているかどうかを容易に識別可能になるという効果が得られる。

本発明の一実施形態に係る撮像装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る撮像装置の背面モニタの表示の一例を示す図である。 本発明の一実施形態に係る撮像装置の画像撮影時の動作の一例を示すフローチャート図である。 本発明の一実施形態に係る画像再生装置の構成の一例を示すブロック図である。 本発明の一実施形態に係る画像再生装置の表示部に表示されるユーザーインターフェイスの一例を示す図である。 本発明の一実施形態に係る画像再生装置の画像再生時の動作の一例を示すフローチャート図である。 本発明の一実施形態に係る画像再生装置の合焦枠の位置を算出する動作の一例を示すフローチャート図である。 本発明の一実施形態に係る合焦範囲判定結果の概念図である。 本発明の一実施形態に係る画像再生装置の合焦枠の位置を算出する動作の一例を示すフローチャート図である。 本発明の一実施形態に係る主被写体候補リストの一例を示す図である。

（第１の実施形態）
以下に、図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、この発明の範囲をそれらのみに限定する趣旨のものではない。

本実施形態では、撮像装置が撮影時に、レンズの合焦位置を固定した時の主被写体情報を記録し、情報処理装置が画像の再生時に、主被写体情報に基づき、合焦面付近に主被写体が存在すれば主被写体の位置に合焦したことを示す枠を表示する場合について説明する。

図１は本実施形態に係る撮像装置の構成の一例を示すブロック図である。図１において、１００は撮像部であり、固体撮像素子を用いて光学像を電気的な画像データに変換して画像データを生成する。撮像部１００はＣＰＵ１０１の制御の元、レンズ位置や絞りといった光学系部材を駆動する。１０１は撮像装置全体の制御を司るＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵ１０１が所定の制御プログラムを実行することにより、以下に説明する撮像処理を実現し、撮像装置として機能する。１０２はＣＰＵ１０１の動作処理手順（例えば撮像装置の電源をＯＮした時の処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。

１０３はＲＡＭであり、ＣＰＵ１０１のメインメモリとして機能する。ＲＡＭ１０３には後述の処理を実現するための制御プログラムを含む各種プログラムがＲＯＭ１０２等からロードされＣＰＵ１０１によって実行される。また、ＲＡＭ１０３はＣＰＵ１０１が各種処理を実行する際のワークエリアを提供する。１０４は表示装置でありＣＰＵ１０１の制御下で各種表示を行なう。撮像部１００にて生成しＲＡＭ１０３に保持している画像データの表示や記憶媒体に記憶されたデータの表示を行う。１０５は各種操作を行うためのボタン等の入力装置である。たとえば、撮像装置の上部に位置するレリーズボタン等である。１０６は記憶媒体装着ユニット（メディアドライブ）であり、着脱可能な記憶媒体を装着し、データを記憶したり、記憶されたデータを読み出したりすることを可能とする。１０７はネットワークインターフェイスであり、通信回線１０９を介してコンピュータネットワーク１１０と接続される。このネットワークインターフェイスによりサーバコンピュータやパーソナルコンピュータからデータを送受信する。１０８は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。１１１は測距部であり、ＣＰＵ１０１の制御の元、ＣＰＵ１０１が主被写体と判定した被写体と撮像素子の間の物理的な距離を測るものである。

図２は本実施形態の撮像装置の表示装置１０４の表示の様子の一例を示す図である。撮像装置には３種類の動作モードがあり、各モードに応じた動作をする。第一に撮影を行う「撮影モード」、第二に記憶媒体内の画像データを表示する「再生モード」、第三に各種設定を行う「設定モード」である。本実施形態で主に説明するモードは「撮影モード」である。電源ボタン２０２以外の全てのボタンに関しては、撮像装置に電源が入っているときの動作を説明する。

２００はレリーズボタンである。ＣＰＵ１０１は、ユーザーによるレリーズボタン２００の押下の深さに応じて、ピントを合わせる主被写体の指定操作か撮像画像の記録を指示する操作か判定する。撮像装置のこれらの撮影時の動作については図３にて後述する。

２０１は表示装置であり、表示装置１０４と対応する。表示装置２０１は表示機能だけでなく、タッチパネルを備え、入力装置１０５の機能も果たす。ユーザーが指で画面上の任意の点を押下した時、ＣＰＵ１０１はユーザーからの入力指示があったと判定して、押下された位置から操作の内容を判定して、表示更新などの各種処理を行う。２０２は電源のＯＮ／ＯＦＦを切り替える電源ボタンである。撮像装置の電源が入っていない状態で、ユーザーが電源ボタン２０２を押下するとＣＰＵ１０１は電源を入れる（電源ＯＮ）。電源が入っている状態で、ユーザーが電源ボタン２０２を押下するとＣＰＵ１０１は電源を切る（電源ＯＦＦ）。２０３は撮影モードボタンである。ユーザーが撮影モードボタン２０３を押下すると、ＣＰＵ１０１は撮像部１００による撮影準備をすると共に、図２に示すように結像した画像のライブビューを表示装置２０１に表示する。２０４は再生ボタンである。ユーザーが再生ボタン２０４を押下すると、ＣＰＵ１０１は記憶媒体から画像データを読み込み表示装置２０１に画像を表示する。２０５は設定ボタンである。設定ボタン２０５をユーザーが押下すると、ＣＰＵ１０１は設定画面を表示装置２０１に表示する。２０６は測距枠である。ＣＰＵ１０１は、結像した画像において測距枠内の被写体から撮像素子までの距離を測り、測距枠内の被写体に合焦するように撮像部１００を制御する。図２は、測距枠２０６を結像した画像に重畳して表示している状態を示す。

図３は、本実施形態に係る撮像装置の撮影時の動作の一例を示すフローチャート図である。尚、本処理は、ＣＰＵ１０１がＲＡＭ１０３に格納された制御プログラムを実行することにより実行される。

ＣＰＵ１０１は、撮像部１００において結像した画像のライブビューを表示装置２０１に表示する（Ｓ３０１）。ＣＰＵ１０１は、レリーズボタン２００が半押しされた状態が所定時間（本実施形態では０．５秒）を超えたかどうかを判定する（Ｓ３０２）。半押しの状態が０．５秒を超えた場合には（Ｓ３０２でＹｅｓ）、ＣＰＵ１０１は、像面中央の被写体が主被写体として指定されたと判定する（Ｓ３０３）。例えば、ユーザーは上述の図２（ａ）に示すように主被写体としたい人物の顔が表示装置２０１の中央に表示され、測距枠２０６ａと重なるようにして撮像装置を構えるものとする。

ＣＰＵ１０１は、ステップＳ３０３にて主被写体と判定した被写体から撮像素子までの物理的な距離を測距部１１１により測距する（Ｓ３０４）。本実施形態では、測距した結果１０００ｍｍだったものとする。ＣＰＵ１０１は、Ｓ３０４にて測距した位置に合焦するように撮像部１００を制御する（Ｓ３０５）。ＣＰＵ１０１は、像面中央に位置する主被写体に関する主被写体情報をＲＡＭ１０３に記憶する（Ｓ３０６）。ここで、例えば主被写体が像面中央に位置する人物の顔であれば、顔の特徴を数値化した顔特徴量を主被写体に関する情報として記憶するものとする。以降、ステップＳ３０６にて記憶した主被写体に関する情報を主被写体情報と記す。

ＣＰＵ１０１は、Ｓ３０４において測距に用いた画面上の領域を示す赤色の矩形２０６ｂをライブビューに重畳して表示する（Ｓ３０７）。以降、当該枠のことを撮影時合焦枠と記す。図２（ｂ）に示すように撮影時合焦枠２０６ｂはライブビューに重畳して表示装置２０１に表示される。

ステップＳ３０８にて、ＣＰＵ１０１はレリーズボタン２００の半押しが継続しているか否かを判定する。継続している場合（Ｓ３０８でＹｅｓ）、ＣＰＵ１０１はユーザーが撮像素子から合焦面までの距離を固定する指示を続けていると判定し、ステップＳ３０７へ戻り、Ｓ３０７からＳ３０８までの処理を繰り返す。そして、撮像装置の姿勢に応じて結像した画像が変わっても、撮像素子から合焦面までの距離を変更しないものとする。以降、撮像素子から合焦面までの距離を変更しない状態のことをフォーカスロックと記す。ユーザーがレリーズボタン２００を半押しした状態で、撮像装置のアングルを変更した場合、ＣＰＵ１０１はユーザーが合焦面距離を固定する指示を続けていると判定し、像面中央に存在する被写体が変わっても合焦面距離を変更しないものとする。例えば、像面中央に存在する被写体が図２（ａ）の人物の顔から図２（ｂ）の朝顔へ変わっても合焦面距離は変化しない。

一方、継続していない場合（Ｓ３０８でＮｏ）、ＣＰＵ１０１はユーザーがフォーカスロックを中断したと判定し、ＣＰＵ１０１は、レリーズボタン２００が全押しされたか否かを判定する（Ｓ３０９）。全押しされたと判定した場合には（Ｓ３０９でＹｅｓ）、ＣＰＵ１０１はユーザーから撮像画像の記録指示があったものと判定してステップＳ３１０へと進む。全押しされていないと判定した場合には（Ｓ３０９でＮｏ）、ステップＳ３１３へと進む。

ステップＳ３１０にて、ＣＰＵ１０１は、撮像部１００において撮像処理を実行し、結像した画像から画像データを生成し、ＲＡＭ１０３に記憶する。ＣＰＵ１０１はステップＳ３１０にて生成した画像データを用いて距離マップを作成し、ＲＡＭ１０３に記憶する（Ｓ３１１）。距離マップとは、被写体像の各画素に対して撮像素子から被写体までの物理的な距離を数値化した画像データである。距離マップの作成は例えば特開２０１３−２３９１１９号公報に開示されているような公知技術の方法を用いるものとする。

ステップＳ３１２にて、ＣＰＵ１０１はＲＡＭ１０３に保持された画像データおよび、距離マップ、合焦面距離、絞り値、主被写体情報、撮影時合焦枠の座標情報等の付帯情報を含む画像ファイルを記憶媒体装着ユニット１０６を介して記録媒体に記録する。なお、主被写体情報としては前述の主被写体の人物の顔の特徴量を記録することとなる。また、撮影時合焦枠の座標情報としては像面中央の測距枠の座標が記録されることとなる。

なお、フォーカスロックされずにＳ３１１にて撮影が行われた場合には、主被写体情報はＲＡＭ１０３に保持されない。そのため、ステップＳ３１３においてＣＰＵ１０１は画像ファイル生成時に主被写体情報を記録しないこととなる。

ステップＳ３１４にて、ＣＰＵ１０１はレリーズボタン２００を押されていない状態と判定すれば、ＲＡＭ１０３内に主被写体情報が記憶されている場合には、当該主被写体情報を破棄する。そして、ステップＳ３０１へと戻る。

図４は本実施形態に係る画像再生装置の構成の一例を示すブロック図である。画像再生装置はパーソナルコンピュータ等の情報処理装置により実現され、画像再生装置において所定の制御プログラムを実行することにより以下に説明する画像再生処理を実現し、画像再生装置として機能する。

図４において、４０１は画像再生装置全体の制御を司るＣＰＵである。４０２はＣＰＵ４０１の動作処理手順（例えば画像再生装置の起動処理や基本入出力処理等のプログラム）を記憶しているＲＯＭである。４０３はＲＡＭであり、ＣＰＵ４０１のメインメモリとして機能する。ＲＡＭ４０３には後述の処理を実現するための制御プログラムを含む各種プログラムがハードディスクドライブ４０５等からロードされ、ＣＰＵ４０１によって実行される。また、ＲＡＭ４０３はＣＰＵ４０１が各種処理を実行する際のワークエリアを提供する。４０４は表示装置でありＣＰＵ４０１の制御下で各種表示を行なう。４０５はハードディスクドライブ（以下、ＨＤＤ）を示し、アプリケーションプログラムやデータ、ライブラリなどの保存及び読み込み用に用いられる。４０６はポインティングデバイスやキーボード等の入力装置である。４０７は記憶媒体装着ユニット（メディアドライブ）であり、着脱可能な記憶媒体を装着し、撮像装置で撮影され記憶されたデータを読み出すことを可能とする。４０８はネットワークインターフェイスであり、通信回線４１０を介してコンピュータネットワーク４１１と接続される。このネットワークインターフェイス４０８により通信可能な機器からデータを送受信する。４０９は上述した各ユニット間を接続するシステムバス（アドレスバス、データバスおよび制御バスからなる）である。本実施形態の画像再生装置において、処理対象とする画像データはＨＤＤ４０５に保存されているものとする。

図５は本実施形態に係る画像再生装置のユーザーインターフェイスの一例である。図５を用いて、ＣＰＵ４０１が再生時に算出した合焦位置を示す枠を表示する方法について説明する。以降、当該枠のことを再生時合焦枠と記す。

５０１はファイル読み込みメニューである。ユーザーが入力装置４０６を用いてファイル読み込みメニュー５０１を選択すると、ＣＰＵ４０１はファイル読み込み指示があったと判定して、ファイルオープンダイアログを表示装置４０４に表示する。そして、ユーザーがファイルオープンダイアログで画像ファイルを選択した場合、ＣＰＵ４０１はＨＤＤ４０５から画像ファイルを取得し、ＲＡＭ４０３に読み込み、画像データを表示装置４０４に画像を表示する。

５０２は画像データ表示領域であり、前述のファイルオープンダイアログでユーザーが選択した画像データに基づく画像が表示される領域である。

５０３は合焦枠表示チェックボックスである。再生時合焦枠と撮影時合焦枠の表示／非表示の切り替えの指示に用いられる。ユーザーが入力装置４０６を用いて合焦枠表示チェックボックス５０３を押下すると、ＣＰＵ４０１は合焦枠表示チェックボックス５０３をチェックがついている状態で表示し、再生時合焦枠と撮影時合焦枠を表示するための指示があったと判定する。そして、後述する再生時合焦枠と撮影時合焦枠の表示処理を行う。一方、合焦枠表示チェックボックス５０３のチェックがついている状態の時に、再びユーザーが合焦枠表示チェックボックス５０３を押下した場合、ＣＰＵ４０１は合焦枠表示チェックボックス５０３をチェックがついていない状態で表示する。そして、再生時合焦枠と撮影時合焦枠を非表示にする指示があったと判定する。

５０４は終了ボタンであり、ユーザーが入力装置４０６を用いて終了ボタン５０４を押下すると、ＣＰＵ４０１は終了指示があったと判定し、当該ユーザーインターフェイスの表示を終了する。

５０５は撮影時合焦枠である。ＣＰＵ４０１がＲＡＭ４０３から画像ファイル内の撮影時合焦枠の情報を読み込み、それに基づいて図５に示すように撮影時合焦枠５０５を画像に重畳して描画する。５０６は再生時合焦枠である。ＣＰＵ４０１が後述する再生時合焦枠算出処理により位置を算出し、算出結果に基づいて図５に示す通り再生時合焦枠５０６を画像に重畳して描画する。

図６は本実施形態に係る画像再生装置における画像再生処理の工程を示すフローチャート図である。ユーザーは画像再生装置を起動して図５に示すユーザーインターフェイスを表示装置４０４に表示させ、入力装置４０６を用いてファイル読み込みメニュー５０１を選択し、表示されたファイルオープンダイアログ上で所望の画像ファイルを選択しているものとする。

まず、ＣＰＵ４０１はユーザーにより選択された画像ファイルをＲＡＭ４０３へ読み込む。この時、画像データと共に、画像ファイルに含まれる属性情報もＲＡＭ４０３へ読み込まれる（Ｓ６０１）。属性情報は、例えば、距離マップ、合焦面距離、絞り値、主被写体情報および撮影時合焦枠位置のうち少なくとも１つに関するデータである。ＣＰＵ４０１はＲＡＭ４０３内の画像ファイルから画像データ部分を読み込み、それに基づく画像を画像データ表示領域５０２に表示する（Ｓ６０２）。

ＣＰＵ４０１は合焦枠表示チェックボックス５０３がチェックのついている状態で表示されているか否か判定する（Ｓ６０３）。合焦枠表示チェックボックス５０３にチェックがついていると判定した場合には（Ｓ６０３でＹｅｓ）、ステップＳ６０４へと進む。チェックがついていないと判定した場合には（Ｓ６０３でＮｏ）、ステップＳ６１１へと進む。

ステップＳ６０４において、ＣＰＵ４０１はＲＡＭ４０３に記憶されている画像ファイルの画像データが、撮像装置により、フォーカスロックをされた状態での撮像処理により得られたものであるか否かを判定する。この判定は、ＲＡＭ４０３に記憶されている画像ファイルに主被写体情報が存在するか否かによって行われ、主被写体情報が存在すれば、フォーカスロックをされた状態での撮像処理により得られたものであると判定する。フォーカスロックをされた状態であったと判定した場合（Ｓ６０４でＹｅｓ）には、ＣＰＵ４０１は対象画像データと関連付けられた再生時合焦枠の情報が記録されているか否かを判定する（Ｓ６０５）。再生時合焦枠の情報が記録されている場合には（Ｓ６０５でＹｅｓ）、再生時合焦枠の位置を算出済みと判定し、ステップＳ６０７へと進む。一方、再生時合焦枠の情報が記録されていない場合には（Ｓ６０５でＮｏ）、ＣＰＵ４０１は後述する再生時合焦枠位置算出処理（図７）を実行して再生時合焦枠の位置を算出し、記録する（Ｓ６０６）。

そして、ステップＳ６０７において、ＣＰＵ４０１は再生時合焦枠の信頼度が“１”であるか否か判定をする。再生時合焦枠の信頼度については後述する。再生時合焦枠の信頼度が“１”の場合には（Ｓ６０７でＹｅｓ）、ＣＰＵ４０１は再生時合焦枠の位置を示す黄色の矩形を画像に重畳して表示する（Ｓ６０８）。一方、再生時合焦枠の信頼度が“１”でない場合には（Ｓ６０７でＮｏ）、ＣＰＵ４０１は再生時合焦枠を描画しない。そして、ＣＰＵ４０１は画像ファイルのヘッダから取得された撮影時合焦枠の情報に基づき、撮影時合焦枠の位置を示す白色の矩形を画像に重畳して表示するよう表示制御する（Ｓ６０９）。このようにして、再生時合焦枠と撮影時合焦枠を選択的に表示することで、フォーカスロックをした時に指定された主被写体に合焦せずに、他の被写体に合焦して撮影された画像であることをユーザーは一目で認識することができる。

また、フォーカスロックをされない状態であったと判定した場合（Ｓ６０４でＮｏ）には、ＣＰＵ４０１は、画像ファイルのヘッダから読み出された撮影時合焦枠の情報に基づき、撮影時合焦枠の位置を示す赤い矩形を画像に重畳して表示する（Ｓ６１１）。

そして、ステップＳ６１１にて、ＣＰＵ４０１は、ユーザーが入力装置４０６を用いて終了ボタン５０４を押下したか否かを判定する（Ｓ６１０）。終了ボタン５０４を押下した場合には（Ｓ６１０でＹｅｓ）、ＣＰＵ４０１は本処理を終了する。一方、終了ボタン５０４を押下していない場合には（Ｓ６１０でＮｏ）、ＣＰＵ４０１は本処理の実行を継続し、ステップＳ６０２へ戻る。

図７は、上述のＳ６０５で実施される、本実施形態に係る画像再生装置の再生時合焦枠位置算出処理の工程を示すフローチャート図である。本処理は、ＣＰＵ４０１がＲＡＭ４０３に格納された制御プログラムを実行することにより実現される。

まず、ＣＰＵ４０１はＲＡＭ４０３に記憶している主被写体情報を用いて画像データ内の主被写体を検索し、主被写体が存在するかどうか判定する（Ｓ７０１）。なお、本実施形態では、主被写体情報として顔特徴量が記録されていたものとして説明する。具体的には、ＣＰＵ４０１は、画像データから人物の顔を検索し、検索された顔ごとに顔特徴量を算出する。そして、算出した各顔特徴量と主被写体情報として記録されている顔特徴量を比較し、同一人物である可能性の高さを算出する。同一人物である可能性の高さを、以降、顔一致度と記す。顔一致度は、同一人物である可能性が高いほど高い数値になり、同一人物である可能性が低いほど低い数値になるものとする。検索された顔全ての顔特徴量の中から、顔一致度が所定値以上で且つ、顔一致度が最も高いものを主被写体とする（Ｓ７０１でＹｅｓ）。そして、ＣＰＵ４０１は、検索された主被写体の位置を示す座標情報をＲＡＭ４０３に保持する。本実施形態では顔一致度“９０”の人物の顔が（ｘ０，ｙ０）＝（２８００，１４００）、（ｘ１，ｙ１）＝（３６００，２０００）の位置に見つかったものとする。なお、顔一致度が所定値以上で且つ、顔一致度が同じ人物の顔が複数存在した場合には、顔領域の大きさが最も大きいもの主被写体として検索する。一方、画像データから人物の顔を１つも検索できなかった場合、または、顔一致度が所定値未満のものしか無かった場合は、主被写体の人物の顔が存在しないと判定し（Ｓ７０１でＮｏ）、本処理を終了する。

主被写体が検索されれば（Ｓ７０１でＹｅｓ）、ＣＰＵ４０１はＲＡＭ４０３に記憶している合焦面距離情報を用いて合焦範囲判定用の閾値を算出する（Ｓ７０２）。まず、所定の距離の被写体に合焦したとき無限縁が被写界深度の後端ぎりぎりに入る距離Ｈを計算する。前記距離のことを過焦点距離と記す。レンズ焦点距離ｆ、レンズの絞り値Ｎ、許容錯乱円直径ｃ、合焦面距離ｆｏｃｕｓＤｉｓ、合焦面距離の前方側の閾値Ｄｎを式（１）に、後方側の閾値Ｄｆを式（２）に示す。

レンズ焦点距離ｆ＝５５、レンズの絞り値Ｎ＝２．８、許容錯乱円直径ｃ＝０．００７４、合焦面距離ｆｏｃｕｓＤｉｓ＝１０００の場合、合焦面距離の前方側の閾値Ｄｎ≒６．８、後方側の閾値Ｄｆ≒６．９と算出される。なお、合焦面距離が近いほど閾値は小さな値になる。例えばレンズ焦点距離ｆ＝５５、レンズの絞り値Ｎ＝２．８、許容錯乱円直径ｃ＝０．００７４、合焦面距離ｆｏｃｕｓＤｉｓ＝３００の場合、合焦面距離の前方側の閾値Ｄｎ≒０．６２、後方側の閾値Ｄｆ≒０．６２と算出される。また、合焦面距離が大きいほど閾値は大きな値になる。例えばレンズ焦点距離ｆ＝５５、レンズの絞り値Ｎ＝２．８、許容錯乱円直径ｃ＝０．００７４、ｆｏｃｕｓＤｉｓ＝５０００の場合、焦面距離の前方側の閾値Ｄｎ≒１６５．６、後方側の閾値Ｄｆ≒１７７．３と算出される。また、絞り値が小さいほど、閾値は小さい値になる。例えば、レンズ焦点距離ｆ＝５５、レンズの絞り値Ｎ＝１．０、許容錯乱円直径ｃ＝０．００７４、合焦面距離ｆｏｃｕｓＤｉｓ＝１０００の場合、焦面距離の前方側の閾値Ｄｎ≒２．４４、後方側の閾値Ｄｆ≒２．４５と算出される。また、絞り値が大きいほど、閾値は大きな値になる。例えば、レンズ焦点距離ｆ＝５５、レンズの絞り値Ｎ＝８．０、許容錯乱円直径ｃ＝０．００７４、合焦面距離ｆｏｃｕｓＤｉｓ＝１０００の場合、焦面距離の前方側の閾値Ｄｎ≒１９．１９、後方側の閾値Ｄｆ≒１９．９６と算出される。

ＣＰＵ４０１は画像データを解析し、ＲＡＭ４０３に記憶している距離マップを用いて合焦面距離との差が閾値未満の被写体像の位置を算出する（Ｓ７０３）。以降、合焦面距離との差が閾値未満の領域のことを合焦範囲と記す。距離マップを構成する各画素の距離と合焦面距離が閾値未満の場合、合焦範囲内と判定する。閾値以上の場合、合焦範囲外と判定する。図８は合焦面距離との差が閾値未満の被写体像の位置の算出結果の一例を示す概念図である。合焦範囲内の画素を白、合焦範囲外の画素を黒として示す。

次に、ＣＰＵ４０１は主被写体の矩形の面積と合焦範囲の被写体像の重なりの割合を算出し（Ｓ７０４）、所定の割合以上であるか否かを判定する（Ｓ７０５）。ここで、ＣＰＵ４０１は、合焦範囲の被写体像とＲＡＭ４０３に記憶している主被写体の位置が重なっているか否か判定する。具体的には、主被写体の矩形の座標を（ｘ０，ｙ０）、右下の頂点の座標を（ｘ１，ｙ１）、その矩形に含まれる合焦範囲の被写体像の画素数をｆｏｃｕｓＰｉｘＮｕｍとして、重なっている割合ＰｅｒｃｅｎｔＯｖｅｒｌａｐの算出方法を式（３）に示す。
ＰｅｒｃｅｎｔＯｖｅｒｌａｐ＝ｆｏｃｕｓＰｉｘＮｕｍ÷（（ｘ１−ｘ０）×（ｙ１−ｙ０））×１００ …式（３）

例えば、（ｘ０，ｙ０）＝（２８００，１４００）、（ｘ１，ｙ１）＝（３６００，２０００）の矩形に含まれる合焦範囲の被写体像の画素数ｆｏｃｕｓＰｉｘＮｕｍが４０００００ｐｉｘｅｌだったとする。この場合、重なりの割合ＰｅｒｃｅｎｔＯｖｅｒｌａｐ≒８３．３（％）と算出される。

重なりの割合が所定の割合以上である場合は（Ｓ７０５でＹｅｓ）、ＣＰＵ４０１は、フォーカスロック時の主被写体が合焦範囲内に存在すると判定し、再生時合焦枠信頼度に“１”を代入する（Ｓ７０６）。そして、ＣＰＵ４０１は、ステップＳ７０１において検索された主被写体の座標を示す情報を再生時合焦枠情報としてＲＡＭ４０３に記憶する（Ｓ７０７）。例えば、所定の割合が６０％の場合、重なりの割合が上述の算出結果（８３．３％）であれば、再生時合焦枠信頼度に“１”が代入される。そして、ステップＳ７０１において検索された主被写体の座標が（ｘ０，ｙ０）＝（２８００，１４００）、（ｘ１，ｙ１）＝（３６００，２０００）であれば、それを再生時合焦枠情報としてＲＡＭ４０３に記憶する。これにより、フォーカスロックをした状態で撮影をした時のユーザーの意図を反映して再生時合焦枠を重畳して画像を表示することができる。また、合焦範囲の被写体像と主被写体情報を比較することで、フォーカスロックされた後に、主被写体が合焦範囲外に移動してしまい、主被写体に合焦せずに撮影された場合に、合焦していない主被写体に再生時合焦枠を表示してしまうのを防ぐことができる。

一方、重なりの割合が所定の割合未満である場合は（Ｓ７０５でＮｏ）、ＣＰＵ４０１は、フォーカスロック時の主被写体が合焦範囲内に存在しないと判定し、再生時合焦枠信頼度に“０”を代入する（Ｓ７０８）。主被写体が合焦範囲内に存在しないということは、フォーカスロック時の主被写体に撮影時に合焦しなかったこととなる。

そして、ＣＰＵ４０１は、画像ファイルに再生時合焦枠信頼度を付帯情報として付加して記録する（Ｓ７０９）。

なお、上述の所定の割合は高くするほど、合焦している箇所を高い精度でユーザーが把握できるようになる。

なお、本実施形態において、再生時合焦枠や撮影時合焦枠を上述の色で表示すると説明したが、枠を互いに識別可能であればよく、他の色で表示してもよい。また、枠の表示態様は色を変える代わりに、枠を点線や太線、波線等で表現するなどして識別可能にしてもよい。

また、本実施形態において、画像再生時に、画像再生装置が再生時合焦枠を算出する方法を説明したが、撮影直後に撮像装置が同様に再生時合焦枠を算出して画像ファイルに付帯情報として記録してもよい。そうすれば、各画像再生装置が、画像を再生するたびに再生時合焦枠を算出する必要がなくなる。また、撮像装置が再生モードで画像再生装置として動作するとき、記録済みの画像ファイルに基づく画像に再生時合焦枠を重畳して表示することも可能となる。

以上説明した通り、本実施形態によれば、ユーザーが所望の主被写体にフォーカスロックしてから撮像装置の角度を変更して撮影した場合であっても、撮影画像の再生時に合焦面付近に存在する主被写体の位置に再生時合焦枠を表示することができる。よって、ユーザーは撮影時に所望した主被写体に合焦していたか否かを画像の再生時に確認しやすくなる。

（第２の実施形態）
第１の実施形態では顔特徴量に基づき主被写体として人物の顔を検索する場合について説明したが、本実施形態では、色分布情報を用いて人物の顔以外の物体を検索する場合について説明する。なお、本実施形態では上記の第１の実施形態と共通の部分については説明を省略し、本実施形態の特徴となる部分について詳細に説明する。

図９は本実施形態の合焦枠位置算出処理の工程を示すフローチャート図である。本処理は、ＣＰＵ４０１がＲＡＭ４０３に格納された制御プログラムを実行することにより実現される。

まず、ＣＰＵ４０１はステップＳ７０２〜Ｓ７０５と同様の処理を実行する。そして、重なりの割合が所定の割合以上である場合は（Ｓ７０５でＹｅｓ）、ＣＰＵ４０１はＲＡＭ４０３から撮影時合焦枠情報を読み込み、画像に重畳して表示する（Ｓ９１７）。

一方、重なりの割合が所定の割合以上でない場合は（Ｓ７０５でＮｏ）、ＣＰＵ４０１はＲＡＭ４０３に記憶されている主被写体情報に基づき、画像データ内の主被写体を検索する（Ｓ９０６）。本実施形態では、主被写体情報として色分布情報が記録されているものとし、テンプレートマッチングを用いて、画像データから色分布が近似している部分を検索する。以降、テンプレートマッチングの結果の色分布の一致の度合いを色分布一致度と記す。色分布一致度は一致している度合いが高いほど“１００”に近い数値となり、一致している度合いが低いほど“０”に近い数値となるものとする。色分布一致度の中で“７５”以上の部分を主被写体候補として、その座標情報と色分布一致度を図１０に示す主被写体候補リストに記憶する。主被写体候補リストおよび主被写体候補の個数をＲＡＭ４０３に記憶する。

図１０において、１００８から１０１０は各主被写体候補のレコードに記録される値の例であり、１００１は後述する処理において注目する主被写体候補を一意に特定するための主被写体候補番号である。主被写体候補番号はテンプレートマッチングで検出した都度、“１”からカウントアップした数値を記録するものとする。１００２から１００５までは、テンプレートマッチングで検出した主被写体候補が画像データ内に存在する部分の位置を示す座標情報である。主被写体候補は座標に示される矩形内で検出されたものとし、１００２と１００３の（ｘ０，ｙ０）は矩形の左上のｘｙ座標、１００４と１００５の（ｘ１，ｙ１）は矩形の右下のｘｙ座標とする。１００６は色分布一致度の数値を記録する。１００７は個々の主被写体候補の矩形と合焦範囲との重なりの割合を記録する。重なりの割合の算出方法は後述する。

ステップＳ９０７にて、ＣＰＵ４０１は各主被写体候補についてステップＳ９０８からＳ９１１までの一連の処理を繰り返すためのカウンタ“ｉ”に０を代入して初期化する。

ステップＳ９０８にて、ＣＰＵ４０１はカウンタ“ｉ”の値とＲＡＭ４０３内に記憶された主被写体候補の個数を比較し、カウンタ“ｉ”が主被写体候補の個数より小さいか否かを判定する。カウンタ“ｉ”が主被写体候補検出数以下と判定した場合（Ｓ９０８でＹｅｓ）、ＣＰＵ４０１は“ｉ”番目の主被写体候補の矩形に対し、合焦範囲の被写体像が重なっている面積の割合を算出する（Ｓ９０９）。算出方法は上述の式（３）と同様である。ＣＰＵ４０１はステップＳ９０９で算出された割合を主被写体候補リストの合焦範囲と重なる割合１００７に記録する（Ｓ９１０）。そして、ＣＰＵ４０１はカウンタ“ｉ”をインクリメント（Ｓ９１１）、ステップＳ９０８へ戻る。ステップＳ９０８にて、カウンタ“ｉ”が主被写体候補検出数より大きいと判定した場合（Ｓ９０８でＮｏ）、ステップＳ９１２へ進む。

ステップＳ９１２にて、ＣＰＵ４０１はＲＡＭに記憶された主被写体候補リストを参照し、合焦範囲と重なる割合１００７が所定値以上（本実施形態では６０％以上とする）の主被写体候補があるか否かを判定する。存在する場合には（Ｓ９１２でＹｅｓ）、ＣＰＵ４０１は、主被写体候補リストの中で合焦範囲と重なる割合１００７が所定値以上の主被写体候補のうち、合焦範囲の重なる割合の最も大きなものを主被写体として選択する（Ｓ９１３）。ＣＰＵ４０１は、選択された主被写体の矩形の座標１００２〜１００５をＲＡＭ４０３から読み出し、それに基づく矩形を再生時合焦枠として画像に重畳して表示する（Ｓ９１４）。また、ＣＰＵ４０１は、選択された主被写体候補の矩形の座標１００２〜１００５を再生時合焦枠情報として対象の画像ファイルに付加して記録する（Ｓ９１５）。

一方、存在しない場合には（Ｓ９１２でＮｏ）、ステップＳ９１６にて、ＣＰＵ４０１はフォーカスロック時に指定された被写体での合焦を検出できなかった旨を示すメッセージを表示する（Ｓ９１６）。そして、ステップＳ９１７にて、ＣＰＵ４０１は撮影時合焦枠情報を読み込み、画像に重畳して表示する（Ｓ９１７）。

なお、ステップＳ９１３にて、合焦範囲の重なる割合が最大の主被写体候補が複数あった場合には、主被写体候補の矩形の面積が最大のものを選択するようにしてもよい。主被写体は画像上で大きな範囲を占める可能性が高いからである。あるいは、ステップＳ９１３にて、合焦範囲の重なる割合が最大の主被写体候補が複数あった場合には、色分布一致度の最も高い主被写体候補を選択するようにしてもよい。これはフォーカスロック時の主被写体に一番似ていると考えられる主被写体候補だからである。

（他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (7)

1. 画像データおよび、合焦面距離、主被写体および距離マップを示す付帯情報を含む画像ファイルを撮像装置から読み込む読み込み手段と、
   画像データを解析し、前記距離マップにしたがってその撮像素子からの距離と前記合焦面距離との差が所定値より小さな被写体を検出する検出手段と、
   前記主被写体の位置と前記検出手段により検出された被写体の位置の重なりの割合を算出する算出手段と、
   前記画像データに基づく画像を、前記重なりの割合に応じて選択的に所定の枠を前記検出手段により検出された被写体の位置に重畳して表示するよう制御する表示制御手段を備えたことを特徴とする画像再生装置。
2. 前記画像ファイルの付帯情報は、さらに撮影時の合焦枠位置を示し、
   前記表示制御手段は、前記重なりの割合が所定値より大きければ、所定の枠を前記検出手段により検出された被写体の位置に重畳して前記画像を表示し、
   前記重なりの割合が所定値より小さければ、所定の枠を前記撮影時の合焦枠位置に重畳して前記画像を表示することを特徴とする請求項１に記載の画像再生装置。
3. 前記表示制御手段は、前記検出手段により検出された被写体の位置に表示される所定の枠と、前記撮影時の合焦枠位置に表示される所定の枠を互いに異なる色で表示することを特徴とする請求項２に記載の画像再生装置。
4. 前記主被写体を示す情報は、前記撮像装置が合焦のための測距をしたときの被写体に関する情報であることを特徴とする請求項１乃至３のいずれか１項に記載の画像再生装置。
5. 前記主被写体を示す情報は、人物の顔の特徴量または色分布情報であることを特徴とする請求項１乃至４のいずれか１項に記載の画像再生装置。
6. 画像データおよび、合焦面距離、主被写体および距離マップを示す付帯情報を含む画像ファイルを撮像装置から読み込むステップと、
   画像データを解析し、前記距離マップにしたがってその撮像素子からの距離と前記合焦面距離との差が所定値より小さな被写体を検出するステップと、
   前記主被写体の位置と前記検出された被写体の位置の重なりの割合を算出するステップと、
   前記画像データに基づく画像を、前記重なりの割合に応じて選択的に所定の枠を前記検出された被写体の位置に重畳して表示するよう制御するステップを備えたことを特徴とする画像再生装置の制御方法。
7. コンピュータを請求項１乃至５のいずれか一項に記載の画像再生装置の各手段として機能させるプログラム。

Images