JP2010171849A - 画像再生装置および電子カメラ - Google Patents

Abstract

【課題】
従来の画像再生は、予め選択した画像が予め設定した所定の順番で表示装置に表示されるので、鑑賞者に応じて再生する画像や表示順序などを変更できなかった。
【解決手段】
本発明に係る画像再生装置は、外部接続または内蔵する撮影装置から画像を入力する撮影画像入力部と、記憶媒体に記憶された画像を読み出す記憶画像入力部と、前記撮影画像入力部または前記記憶画像入力部から入力する画像内の人物を判別して、前記撮影画像入力部から入力する画像内の人物を在席者情報とし、前記記憶画像入力部から入力する画像内の人物を被写体者情報とする人物判別部と、前記人物判別部が出力する前記在席者情報と前記被写体者情報とに応じて表示装置に表示する画像の再生方法を制御する再生制御部とを有することを特徴とする。
【選択図】 図２

Description

本発明は、撮影画像を再生して表示する装置に関する。

電子カメラやビデオカメラの普及に伴い、電子カメラで撮影した静止画像を順番に再生するスライドショーやビデオカメラで撮影した動画像を大画面の表示装置に表示して複数の人が鑑賞する機会が増えている。ところが、再生される画像内容は固定で、必ずしも鑑賞者側の状況に対応した画像内容にはなっていなかった。そこで、例えば、スライドショーを鑑賞している鑑賞者の反応を判別してスライドショーの再生内容を変える技術が考えられている（例えば、特許文献１参照）。

従来のスライドショーでは、予め選択した画像が予め設定した所定の順番で表示装置に表示されるので、鑑賞者に応じて予め画像や表示順序や表示時間などを設定しておくなど煩雑な準備が必要であった。或いは、動画像の場合は、鑑賞者が写っている部分の動画像だけを観ることが難しく、予め編集しておくなどの煩雑な準備が必要であった。また、鑑賞者の反応を判別する従来技術の場合でも、鑑賞者自身が画像に写っているか否かに拘わらず、表示されてしまうという問題があった。

本発明の目的は、表示装置の前に在席している鑑賞者が写っている画像を優先的に再生できる画像再生装置および電子カメラを提供することである。

本発明に係る画像再生装置は、外部接続または内蔵する撮影装置から画像を入力する撮影画像入力部と、記憶媒体に記憶された画像を読み出す記憶画像入力部と、前記撮影画像入力部または前記記憶画像入力部から入力する画像内の人物を判別して、前記撮影画像入力部から入力する画像内の人物を在席者情報とし、前記記憶画像入力部から入力する画像内の人物を被写体者情報とする人物判別部と、前記人物判別部が出力する前記在席者情報と前記被写体者情報とに応じて表示装置に表示する画像の再生方法を制御する再生制御部とを有することを特徴とする。

また、好ましくは、前記記憶媒体に記憶される画像に前記人物判別部が判別する前記被写体者情報を付加する人物情報付加部を更に設け、前記記憶画像入力部は、前記記憶媒体に記憶された画像と該画像に付加された前記被写体者情報とを読み出し、前記再生制御部は、前記記憶画像入力部が読み出した前記被写体者情報と前記人物判別部が出力する前記在席者情報とに応じて前記表示装置に表示する画像の再生方法を制御することを特徴とする。

また、好ましくは、前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報と前記被写体者情報との少なくとも一部が合致する画像を優先的に読み出して表示することを特徴とする。

また、好ましくは、前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報が前記被写体者情報に合致しない画像を先送りすることを特徴とする。

また、好ましくは、前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報が前記被写体者情報に合致する複数人物が存在する場合、人物毎の画像の表示時間が均等になるように制御することを特徴とする。

また、好ましくは、前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示中に前記在席者情報の変化をモニタし、前記在席者情報の変化に応じて前記表示装置に表示する画像の再生方法を変えることを特徴とする。

本発明に係る電子カメラは、前記画像再生装置を含むことを特徴とする。

本発明に係る画像再生装置および電子カメラは、表示装置の前に在席している鑑賞者が写っている画像を優先的に再生することができる。

本実施形態に係る画像再生装置１０１の使用形態を示す説明図である。 画像再生装置１０１の構成を示すブロック図である。 画像再生装置１０１の再生処理を示すフローチャートである。 再生予定の画像例を示す説明図である。 選択された再生画像の例を示す説明図である。 画像再生装置１０１の再生処理を示すフローチャートである。 画像再生装置１０１の再生処理を示すフローチャートである。 画像再生装置１０１ａの構成を示すブロック図である。 タグ情報を説明するための説明図である。 画像再生装置１０１ａの再生処理を示すフローチャートである。 本実施形態に係る電子カメラ２０１の使用形態を示す説明図である。 電子カメラ２０１の構成を示すブロック図である。 電子カメラ２０１の撮影処理を示すフローチャートである。 「人物登録メニュー」の一例を示す説明図である。

以下、本発明に係る画像再生装置および電子カメラに関する実施形態について説明する。

（画像再生装置の実施例）
図１は、画像再生装置１０１の使用形態を描いた図である。画像再生装置１０１は、メモリカード１０２を装着し、メモリカード１０２に記憶された静止画像や動画像を表示モニタ１０３に表示して鑑賞することができる。また、画像再生装置１０１は、動画像と共に記憶された音声をスピーカ１０４から出力したり、静止画像をスライドショー表示する際に予め設定した音楽やナレーションをスピーカ１０４から出力する。特に、本実施形態に係る画像再生装置１０１は、カメラ１０５を接続できるようになっている。カメラ１０５は、表示モニタ１０３の上などに配置され、表示モニタ１０３の前で画像を鑑賞している鑑賞者の顔を撮影する。例えば図１の場合、カメラ１０５は、鑑賞者Ａ，鑑賞者Ｂおよび鑑賞者Ｃの顔を撮影し、画像再生装置１０１に出力する。

次に、画像再生装置１０１の構成について説明する。図２は、画像再生装置１０１の構成を示すブロック図である。尚、図１と同符号のものは、同じものを示す。図２において、画像再生装置１０１は、カメラ入力部１０６と、制御部１０７と、処理バッファ１０８と、メモリカードＩＦ（インターフェース）１０９と、画像出力部１１０と、音声出力部１１１と、操作部材１１２と、メモリ１１３とで構成される。

カメラ入力部１０６は、カメラ１０５で撮影された画像をＹＵＶ形式などの所定フォーマットの画像データに変換して制御部１０７に出力する。

制御部１０７は、カメラ入力部１０６から入力する画像データを処理バッファ１０８に一時的に記憶する。また、制御部１０７は、メモリカードＩＦ１０９に接続されたメモリカード１０２から静止画像や動画像などの画像データ或いは音楽やナレーションなどの音声データを処理バッファ１０８に読み出す。

処理バッファ１０８は、揮発性の高速メモリなどで構成され、表示モニタ１０３に画像を表示するための表示用バッファやスピーカ１０４に音声を出力するための音声出力用バッファ、或いは制御部１０７が画像処理を行うための画像処理用バッファとして使用される。

画像出力部１１０は、処理バッファ１０８に一時的に記憶された静止画像や動画像のデータを表示モニタ１０３に表示可能なＲＧＢ形式のデジタル画像データやＮＴＳＣ形式のアナログ画像信号に変換して表示モニタ１０３に表示する。

音声出力部１１１は、処理バッファ１０８に一時的に記憶された音声データや動画像の音声データや音楽やナレーションなどをアナログの音声信号に変換してスピーカ１０４に出力する。

操作部材１１２は、画像再生装置１０１の動作を制御するための操作ボタンや動作状態を示すＬＥＤなどで構成される。例えば、画像再生装置１０１の電源をオンオフするための電源ボタン、メモリカード１０２に記憶された静止画像や動画像の中から再生したい画像ファイルやスライドショーで使用する音楽やナレーションなどを選択するためのカーソルボタン、画像再生装置１０１の再生モードを選択する再生モード選択ボタンなどで構成される。尚、鑑賞者がファイルの選択などを行う際は、メモリカード１０２に記憶された静止画像や動画像のリストまたはサムネイル画像或いはスライドショーで使用する音楽リストなどを表示モニタ１０３に表示してカーソルボタンで選択する。

メモリ１１３は、不揮発性のメモリで構成され、画像再生装置１０１の動作設定内容などを記憶する。

このようにして、本実施形態に係る画像再生装置１０１は、メモリカード１０２に記憶された静止画像や動画像を表示モニタ１０３に表示して鑑賞することができる。

次に、制御部１０７の人物認識処理について説明する。図２において、制御部１０７は、顔認識部１５１と、人物判別部１５２と、再生制御部１５３とを有している。

顔認識部１５１は、処理バッファ１０８に一時的に記憶されている画像に人物の顔部分が含まれているか否かを判別し、顔部分が含まれている場合は、顔の特徴量を抽出する。尚、画像に顔部分が含まれているか否かの判別処理や、顔の特徴量の抽出処理は、既に実用化されている技術である。例えば、目と口で形成される逆三角形状の特徴を見つけることで画像に顔部分が含まれているか否かを判別できる。そして、顔の輪郭に対する目と鼻と口の大きさや配置などの特徴量を抽出する。このようにして、顔認識部１５１は、カメラ１０５で撮影される在席者の顔認識や、メモリカード１０２から読み出した静止画像や動画像に撮影されている顔認識を行うことができる。尚、動画像の場合は、所定時間単位や所定フレーム単位で顔認識を行う。或いは、シーン検出してシーン単位で顔認識を行うようにしても構わない。

人物判別部１５２は、メモリカード１０２から読み出した静止画像や動画像に撮影されている人物の顔の特徴量と、カメラ１０５で撮影される在席者の顔の特徴量とを比較して、同一人物であるか否かを判別する。

再生制御部１５３は、人物判別部１５２の判別結果に応じて、静止画像や動画像を表示モニタ１０３に表示する順番を入れ替えたり、表示時間を可変したり、或いは表示しないなどの制御を行う。

次に、画像再生装置１０１の再生時の動作について説明する。図３は、画像再生装置１０１の再生処理を示すフローチャートである。尚、図３のフローチャートは、図２の制御部１０７の内部に予め記憶されたプログラムに従って動作する。

（ステップＳ１０１）鑑賞者は、画像再生装置１０１の操作部材１１２を操作して、画像再生を開始する。尚、本実施形態では、画像再生装置１０１のデフォルト設定として、メモリカード１０２に記憶されている全ての静止画像と動画像を再生対象とする。但し、メモリカード１０２に記憶されている静止画像や動画像のファイルの中から再生対象とするファイルやフォルダを選択しても構わない。この場合は、例えばイベント毎や撮影年毎にフォルダを分けてある場合などにおいて、鑑賞者は再生対象とする画像をある程度選択することができる。

（ステップＳ１０２）制御部１０７は、表示モニタ１０３の前の鑑賞者をカメラ１０５で撮影し、在席者の認識を行う。尚、在席者の認識は、先に説明したように、制御部１０７の顔認識部１５１が処理した顔の特徴量を抽出することにより行う。

（ステップＳ１０３）制御部１０７は、メモリカード１０２に記憶されている静止画像や動画像の顔認識を行う。尚、撮影済み画像の顔認識は、先に説明したように、制御部１０７の顔認識部１５１が処理した顔の特徴量を抽出することにより行う。

（ステップＳ１０４）制御部１０７は、表示モニタ１０３に表示する画像を選択する。尚、表示画像の選択は、先に説明したように、制御部１０７の再生制御部１５３により行う。

ここで、メモリカード１０２に記憶されている複数枚の静止画像をスライドショー表示する場合の例を挙げて説明する。図４は、メモリカード１０２から時系列に順番に読み出して再生する一連の静止画像を描いた図で、時間ｔの最初の画像ＩＭＧ１から最後の画像ＩＭＧ１９までの１９枚の静止画像が再生予定の画像として選択されている。尚、図４において、画像ＩＭＧ１、画像ＩＭＧ１０、画像ＩＭＧ１４、画像ＩＭＧ１５、画像ＩＭＧ１７および画像ＩＭＧ１９には、図１に描いた鑑賞者Ａが単独で撮影されている。同様に、画像ＩＭＧ３および画像ＩＭＧ８には鑑賞者Ｂが単独で撮影され、画像ＩＭＧ２、画像ＩＭＧ１１、画像ＩＭＧ１３および画像ＩＭＧ１６には鑑賞者Ｃが単独で撮影されている。また、画像ＩＭＧ７には鑑賞者Ａ，鑑賞者Ｂおよび鑑賞者Ｃが一緒に撮影され、画像ＩＭＧ１８には鑑賞者Ｂ，鑑賞者Ｄおよび鑑賞者Ｅがそれぞれ一緒に撮影されている。尚、画像ＩＭＧ６および画像ＩＭＧ１２で撮影されている鑑賞者Ｄおよび鑑賞者Ｅは、図１において鑑賞者として在席していない。また、画像ＩＭＧ５および画像ＩＭＧ９には人物は撮影されていない。

さて、図３のフローチャートに戻って説明を続ける。ステップＳ１０４では、ステップＳ１０２で認識した在席者の顔の特徴量と、ステップＳ１０３で認識した撮影画像に写っている人物の顔の特徴量とが一致するか否かを判別する。そして、在席者の特定人物に偏った再生を行わないように、表示モニタ１０３に表示する画像を選択する。例えば、図４の再生候補画像の内、在席している鑑賞者Ａが写っている写真は７枚である。同様に、鑑賞者Ｂが写っている写真は４枚で、鑑賞者Ｃが写っている写真は５枚である。この時、図４の時系列の順番に画像を表示モニタ１０３に表示すると、一番枚数の多い鑑賞者Ａに偏って画像が表示されてしまう。そこで、再生制御部１５３は、一番枚数の少ない鑑賞者Ｂを基準に、鑑賞者Ａおよび鑑賞者Ｃの表示される画像の枚数を減らすよう制御する。この結果、表示モニタ１０３に表示される一連の画像は、例えば図４の一連の画像から図５（ａ）に示す一連の画像に変更される。図５（ａ）において、鑑賞者Ａが写っている画像は、画像ＩＭＧ１，画像ＩＭＧ７，画像ＩＭＧ１４および画像ＩＭＧ１９の４枚、鑑賞者Ｂが写っている画像は、画像ＩＭＧ３，画像ＩＭＧ７，画像ＩＭＧ８および画像ＩＭＧ１８の４枚、鑑賞者Ｃが写っている画像は、画像ＩＭＧ２，画像ＩＭＧ７，画像ＩＭＧ１１および画像ＩＭＧ１６の４枚である。このように、再生制御部１５３は、在席している鑑賞者に公平に同じ枚数の画像を再生することができる。尚、図５（ａ）では、図４の時系列順序を変えずに表示モニタ１０３に表示する画像の枚数が在席者に公平になるように制御したが、時系列の順序も変えるようにして、在席者の特定鑑賞者の画像が連続して表示されないように制御しても構わない。例えば、図５（ａ）において、鑑賞者Ｂが写っている画像ＩＭＧ３，画像ＩＭＧ７および画像ＩＭＧ８の３枚の画像が連続して表示されてしまうので、画像ＩＭＧ７を画像ＩＭＧ１１の後に移動したり、画像ＩＭＧ８を画像ＩＭＧ１４の後に移動するなどの制御を行っても構わない。尚、再生制御部１５３は、動画像の場合でもシーン毎に再生順序を変えたり、同じ人物が写っている動画像の再生時間を短くして、在席している鑑賞者に応じて再生内容を制御する。

（ステップＳ１０５）制御部１０７は、ステップＳ１０４で選択した画像を画像出力部１１０を介して表示モニタ１０３に１枚ずつ順番に表示し、スライドショーを行う。尚、制御部１０７は、スライドショーで画像を表示モニタ１０３に表示中に、予め選択した音楽やナレーションを音声出力部１１１を介してスピーカ１０４から出力する。

（ステップＳ１０６）制御部１０７は、表示する画像を全て表示したか否かを判別する。例えば図５（ａ）の場合は、最後の画像ＩＭＧ１９の表示を終了した場合はステップＳ１０７に進み、最後の画像ＩＭＧ１９の表示を終了していない場合はステップＳ１０５に戻って次の画像を表示する。

（ステップＳ１０７）制御部１０７は、一連の再生処理を終了する。

このように、本実施形態に係る画像再生装置１０１は、表示モニタ１０３の前に在席している鑑賞者が写っている画像を優先的かつ公平に再生することができる。
［在席者が途中で変化した場合］
次に、在席者が途中で変化した場合の処理について図６のフローチャートを用いて説明する。尚、図６のフローチャートにおいて、図３と同符号の処理ステップは同じ処理を示す。ここでは、図３と異なる処理のみ説明する。先ず、図６において、ステップＳ１０６で再生を終了していない場合はステップＳ２０１に進む。

（ステップＳ２０１）制御部１０７は、表示モニタ１０３の前の鑑賞者をカメラ１０５で撮影し、在席者の認識を行う。尚、この在席者認識処理は、ステップＳ１０２と同じ処理である。

（ステップＳ２０２）制御部１０７は、在席者が変化したか否かを判別する。具体的には、ステップＳ１０２で認識した在席者とステップＳ２０１で認識した在席者とが異なるか否かを判別する。そして、在席者が変化した場合はステップＳ２０３に進み、在席者が変化していない場合はステップＳ１０５に戻って図３のフローチャートと同じ処理を継続する。尚、在席者が変化した場合とは、在席していた者が離席した場合や、新たな人物が着席した場合に相当する。

（ステップＳ２０３）制御部１０７は、表示モニタ１０３に表示する画像を選択する。尚、表示画像の選択は、制御部１０７の再生制御部１５３がステップＳ１０４と同様の処理を実行するが、ステップＳ１０４と異なるのは、ステップＳ２０１で認識した在席者に応じて表示する画像を選択することである。

上記のステップＳ２０１からステップＳ２０３までの処理以外は、図３のフローチャートで説明した処理と同じ処理を実行する。

このように、本実施形態に係る画像再生装置１０１は、在席者が途中で離席した場合や新たな人物が着席した場合でも、現在の在席者に応じて柔軟に表示画像を変更し、常に表示モニタ１０３の前に在席している鑑賞者が写っている画像を優先的かつ公平に再生することができる。
［途中で離席した在席者が再び着席した場合］
次に、途中で離席した在席者が再び着席した場合の処理について図７のフローチャートを用いて説明する。尚、図７のフローチャートにおいて、図３および図６のフローチャートと同符号の処理ステップは同じ処理を示す。ここでは、図３および図６のフローチャートと異なる処理についてのみ説明する。先ず、図７のフローチャートにおいて、ステップＳ２０２で在席者が変化した場合はステップＳ２０４に進む。

（ステップＳ２０４）制御部１０７は、在席者が変化した場合に、離席者があったか否かを判別する。具体的には、ステップＳ１０２で認識した在席者がステップＳ２０１で認識した在席者と同じであるか否かを判別する。そして、離席者があった場合はステップＳ２０５に進み、離席者がなかった場合はステップＳ２０６に進む。

（ステップＳ２０５）制御部１０７は、表示予定の画像の中からステップＳ２０４で検出した離席者の画像を一時的にスキップする。具体的には、表示予定の画像の中から離席者の画像を一時的に外しておく。例えば、図５（ｂ）に示すように、画像ＩＭＧ１１の表示中に鑑賞者Ａが離席した場合、本来なら画像ＩＭＧ１１の次に表示される画像は鑑賞者Ａが写っている画像ＩＭＧ１４であるが、鑑賞者Ａが離席中なので鑑賞者Ａが写っている画像ＩＭＧ１４や画像ＩＭＧ１９を表示予定の画像の中から一時的に外しておく。そして、ステップＳ１０５に戻って、次の画像ＩＭＧ１６を先に表示する。

（ステップＳ２０６）制御部１０７は、離席していた鑑賞者が戻ってきたか否かを判別する。そして、離席者が戻ってきた場合はステップＳ２０８に進み、離席者が戻ってきていない場合や過去の処理で離席者がなかった場合はステップＳ２０７に進む。

（ステップＳ２０７）制御部１０７は、表示モニタ１０３に表示する画像を選択する。尚、表示画像の選択は、制御部１０７の再生制御部１５３がステップＳ１０４と同様の処理を実行するが、ステップＳ１０４と異なるのは、ステップＳ２０１で認識した在席者に応じて表示する画像を選択することである。

（ステップＳ２０８）制御部１０７は、ステップＳ２０５で一時的に除外していた離席者の画像を表示予定の残りの再生画像リストに戻し、再び、残りの再生画像リストの中で現在の在席者に公平になるように表示モニタ１０３に表示する画像を選択する。尚、表示画像の選択は、制御部１０７の再生制御部１５３がステップＳ１０４と同様の処理を実行するが、ステップＳ１０４と異なるのは、ステップＳ２０１で認識した在席者に応じて、再生済の画像を除く残りの画像の中で表示する画像を選択することである。

例えば、先に説明した図４の一連の静止画像を再生して表示モニタ１０３に表示する場合、在席者の変化がなければ、図５（ａ）で説明した順番で画像が表示されるが、例えば、図５（ｂ）に示すように、画像ＩＭＧ１１の表示中に鑑賞者Ａが離席した場合、ステップＳ２０５で一時的に表示予定の画像リストから外していた鑑賞者Ａが写っている画像ＩＭＧ１４および画像ＩＭＧ１９を戻し、画像ＩＭＧ１８の表示後に、画像ＩＭＧ１４および画像ＩＭＧ１９を表示する。

このように、本実施形態に係る画像再生装置１０１は、在席者が途中で離席してた場合でも、在席者に応じて表示モニタ１０３に表示する画像を柔軟に変更し、さらに一旦離席した鑑賞者の画像をスキップして、再び離席者が戻ってきた場合にスキップしておいた画像を再び表示するので、離席者は自分の写っている画像を見逃すことなく再生される画像を鑑賞することができる。

［予め撮影済の画像に写っている人物を示すタグ情報を付加する例］
上記の実施形態では、再生表示する静止画像や動画像をメモリカード１０２から読み出して表示する際に、制御部１０７の顔認識部１５１によって顔の特徴量を抽出するようにしたが、次に説明する実施形態では、メモリカード１０２に記憶されている静止画像や動画像に写っている人物名などを示すタグ情報を付加するようにした実施例である。

本実施形態に係る画像再生装置１０１ａの構成を示すブロック図を図８に示す。尚、図８において、図２のブロック図と同符合のブロックは同じものを示す。図８が図２と異なるのは、制御部１０７にタグ処理部１５４が設けられていることである。また、本実施形態では「人物登録メニュー」を設け、メモリカード１０２に記憶されている撮影済みの人物画像を読み出して顔認識部１５１で顔の特徴量を抽出すると共に、人物名などを入力するユーザーインターフェースを有する。そして、タグ処理部１５４は、入力された人物名と顔認識部１５１が抽出した顔の特徴量とをタグ情報として当該画像データに付加して再びメモリカード１０２に記憶する。この一例を図９（ａ）に示す。

図９（ａ）は、例えばメモリカード１０２の表示するスライドショー画像を記憶するフォルダ１６１の様子を描いた図である。例えば、フォルダ１６１に記憶された画像ファイル「ＩＭＧ１．ｊｐｇ」には「顔の特徴量：Ａ」と「名前：Ａ太郎」のタグ情報が付加されている。同様に、画像ファイル「ＩＭＧ２．ｊｐｇ」には「顔の特徴量：Ｃ」と「名前：Ｃ子」のタグ情報が付加されている。尚、上記の例では、顔の特徴量と人物名をタグ情報としたが、顔の特徴量だけをタグ情報として付加するようにしても構わない。この場合は、人物名を入力する操作が不要になるので、メモリカード１０２に記憶されている画像を一括してタグ情報を付加する処理を行うことができる。但し、人物名のタグ情報が付加されないので、人物の成長に伴う顔の特徴量の変化がある場合は、同一人物の画像として判別できない。例えば、鑑賞者が子供の頃からの画像が記憶されたメモリカード１０２を画像再生装置１０１に装着して、画像再生を行う場合、子供の成長に応じて顔の特徴量が変化するので、先に説明した方法では鑑賞者の子供の頃の画像を判別することができない。これに対して、人物名をタグ情報として画像データに付加することにより、タグ情報の人物名で同一人物が写っている画像を判別できるので、鑑賞者の子供の頃の画像も検索して再生することができる。つまり、一旦、顔の特徴量で画像ファイルを選択後、選択された画像ファイルのタグ情報に記載されている人物名で再び検索する。例えば、図１０のステップＳ１０２で抽出した在席者の顔の特徴量と、タグ情報に付加されている顔の特徴量とを比較する場合に、子供の頃の顔の特徴量が異なるので、顔の特徴量だけで同一人物であるか否かを認識することはできない。そこで、先ず画像ファイルのタグ情報に記憶されている顔の特徴量と在席者の顔の特徴量とが一致した画像ファイルから人物名がわかるので、この同じ人物名のタグ情報が付加されている画像ファイルをさらに検索することで、顔の特徴量が異なる子供の頃の画像ファイルも表示画像として選択できる。このようにして、特定の鑑賞者に関する画像を漏れなく抽出することができる。

次に、図９に示したタグ情報が付加された画像データを再生する場合の処理について図１０のフローチャートを用いて説明する。尚、図１０のフローチャートにおいて、図６と同符号の処理ステップは同じ処理を示す。ここでは、図６と異なる処理のみ説明する。先ず、図１０において、ステップＳ１０２で在席者認識を行った後、図６のステップＳ１０３の代わりにステップＳ３０１を実行する。

（ステップＳ３０１）制御部１０７のタグ処理部１５４は、メモリカード１０２に記憶されている静止画像や動画像の画像ファイルに付加されたタグ情報を読み出し、図９で説明したように、それぞれの画像ファイルに撮影されている人物の顔の特徴量や人物名を認識する。そして、次のステップＳ１０４に進む。

（ステップＳ１０４）制御部１０７は、図６の処理と同様に、表示モニタ１０３に表示する画像を選択するが、図６と処理が異なるのは、ステップＳ１０２で認識した在席者の顔の特徴量と、ステップＳ３０１で読み出したタグ情報に記載されている顔の特徴量とを比較することである。

尚、ステップＳ１０５以降の処理は図６と全く同じなので、重複する説明は省略する。

このように、メモリカード１０２に記憶されている静止画像や動画像に撮影されている人物を示すタグ情報を付加しておくことにより、メモリカードから画像データを読み出すときに顔認識処理を実行する必要がないので処理の負荷が軽くなるという効果がある。さらに、数年前の画像など、人物の顔の特徴量が変化している場合でも、タグ情報を比較して同一人物が撮影されている画像であることを判別できる。

［電子カメラの実施例］
次に、電子カメラ２０１の実施例について説明する。図１１は、電子カメラ２０１の使用形態を描いた図である。電子カメラ２０１は、メモリカード１０２を装着し、メモリカード１０２に記憶された静止画像や動画像を表示モニタ１０３表示して鑑賞する画像再生装置１０１や画像再生装置１０１ａと同様の画像再生機能が搭載されている。また、電子カメラ２０１は、動画像と共に記憶された音声をスピーカ１０４から出力したり、静止画像を連続してスライドショー表示する際に予め設定した音楽やナレーションをスピーカ１０４から出力する。例えば、図１１に描いたように、電子カメラ２０１を表示モニタ１０３の上に載せ、図１の画像再生装置１０１に接続するカメラ１０５の代わりに在席している鑑賞者の顔を撮影する。尚、図１１において、図１の画像再生装置１０１と同符号のものは同じものを示す。

次に、電子カメラ２０１の構成について説明する。図１２は、電子カメラ２０１の構成を示すブロック図である。尚、図１１と同符号のものは、同じものを示す。図１２において、電子カメラ２０１は、撮影光学系２０２と、シャッター２０３と、撮像素子２０４と、ＡＦＥ２０５と、バッファ２０６と、制御部２０７と、表示部２０８と、メモリカードＩＦ２０９と、画像出力部２１０と、音声出力部２１１と、操作部材２１２と、メモリ２１３とで構成される。

図１２の電子カメラ２０１は、図８に示した画像再生装置１０１ａのカメラ入力部１０６の代わりに、撮影光学系２０２と、シャッター２０３と、撮像素子２０４と、ＡＦＥ２０５とで構成される撮像部が設けられたカメラである。従って、画像再生装置１０１ａの制御部１０７は電子カメラ２０１の制御部２０７に相当し、顔認識部１５１と、人物判別部１５２と、再生制御部１５３とを有している。さらに、制御部２０７は、上記の撮像部の制御を行うための撮影処理部１５５が設けられている。撮影処理部１５５は、撮影光学系２０２のズームレンズのズーム位置の可変や撮像素子２０４で撮影するプレビュー画像から求めたフォーカス位置へのフォーカスレンズの移動、或いは露出制御で求めた絞り値になるように絞り２０２ａを調整したり、シャッター２０３の開閉速度を制御する。また、撮影処理部１５５は、撮像素子２０４やＡＦＥ２０５に動作タイミングを与え、撮像素子２０４で撮像した画像信号をＡＦＥ２０５でＡ／Ｄ変換しバッファ２０６に記憶する。バッファ２０６は、撮像素子２０４で撮影された画像データだけでなく、図２の処理バッファ１０８と同様に、メモリカード１０２から読み出した画像データや音声データなども一時的に記憶され、再生時の処理バッファとしても使用される。尚、電子カメラ２０１は、再生する画像を内蔵の表示部２０８に表示するだけでなく、画像出力部２１０を介して外部に接続される表示モニタ１０３に表示できる。また、再生時の音声は音声出力部２１１を介してスピーカ１０４に出力する。

操作部材２１２は、図８の画像再生装置１０１ａと同様の操作ボタンに加えて、電子カメラ２０１のレリーズボタンやズームボタン或いは撮影モード選択ボタンなどのカメラ特有の操作ボタンを有する。また、本実施形態に係る電子カメラ２０１は、図２の画像再生装置１０１や図８の画像再生装置１０１ａと同様の画像再生機能を有する。特に、電子カメラ２０１は、撮影時に撮影した人物の顔の特徴量を抽出し、さらに人物の名前などを入力する操作インターフェースも備えている。

メモリ２１３は、不揮発性のメモリで構成され、電子カメラ２０１の動作設定などを記憶する。

次に、電子カメラ２０１の撮影処理について、図１３のフローチャートを用いて説明する。尚、ここでは人物画像を撮影するものとする。

（ステップＳ４０１）撮影者は電子カメラ２０１の電源を投入し、電子カメラ２０１の表示部２０８にはプレビュー画像が表示された状態になっている。

（ステップＳ４０２）撮影者は表示部２０８に表示されるプレビュー画像を見て撮影構図を決定し、操作部材２１２のレリーズボタンを押下する。レリーズボタンが押下されると、先に説明したように、撮像素子２０４で撮影された画像は一時的にバッファ２０６に記憶される。

（ステップＳ４０３）顔認識部１５１は、ステップＳ４０２で撮影された人物Ａの顔の特徴量を抽出する。尚、顔の特徴量の抽出方法は、画像再生装置１０１などと同じである。

（ステップＳ４０４）制御部２０７は、「人物登録メニュー」を表示し、撮影された画像の人物名を入力する画面が表示部２０８に表示される。図１４は表示部２０８に表示された「人物登録メニュー」の一例を描いた図で、表示部２０８の画面には、撮影した人物画像２６１と、人物名の入力欄２６２が表示されている。撮影者は、操作部材２１２の文字入力ボタンなどを操作して、入力欄２６２に人物名を入力する。例えば、図１４では、撮影された人物Ａの画像と、人物Ａの名前：Ａ太郎が入力されている。

（ステップＳ４０５）タグ処理部１５４は、ステップＳ４０３で抽出された顔の特徴量と、ステップＳ４０４で入力された人物名とをタグ情報として撮影された画像データに付加する。

（ステップＳ４０６）制御部２０７は、ステップＳ４０５でタグ情報が付加された画像データをメモリカードＩＦ２０９を介してメモリカード１０２に記憶する。

（ステップＳ４０７）制御部２０７は、一連の撮影処理を終了する。

ここで、ステップＳ４０４で人物名を入力するために、図１４に示したような「人物登録メニュー」を表示するようにしたが、ステップＳ４０４を省略しても構わない。この場合はステップＳ４０５において、タグ処理部１５４は、ステップＳ４０３で抽出された顔の特徴量だけをタグ情報として撮影された画像データに付加する。人物名を入力する操作を省略することで、レリーズボタンの押下から撮影された画像データにタグ情報を付加してメモリカード１０２に記憶するまでの処理を自動的に連続して行うことができるので、撮影者は通常の撮影と同じように、レリーズボタンを押下して撮影するだけで構わない。

尚、電子カメラ２０１でメモリカード１０２に記憶された静止画像や動画像を再生する時の処理は、画像再生装置１０１または画像再生装置１０１ａの再生処理と同様の処理を行う。つまり、図３、図６、図７および図１０のいずれかのフローチャートに従った再生処理を実行する。ここでは、これらの重複する処理の説明は省略する。

このように、本実施形態に係る電子カメラ２０１は、撮影された画像データにタグ情報を付加してメモリカード１０２に記憶するので、再生時にメモリカードから画像データを読み出すときにその画像に写っている人物の顔認識処理を実行する必要がなく、制御部２０７の処理負荷を軽くすることができる。さらに、人物名をタグ情報として画像データに付加されている場合は、人物の顔の特徴量が加齢などによって変化した場合でも、タグ情報の人物名を用いて同一人物の画像であるか否かを判別することができる。

また、本実施形態に係る電子カメラ２０１は、先に説明した画像再生装置１０１や画像再生装置１０１ａと同様に、電子カメラ２０１の撮像素子２０４で在席している鑑賞者の顔を撮影するので、カメラ１０５が不要になる。

このようにして、本実施形態に係る電子カメラ２０１は、表示モニタ１０３の前に在席している鑑賞者が写っている画像を優先的かつ公平に再生することができる。

１０１，１０１ａ・・・画像再生装置
１０２・・・メモリカード １０３・・・表示モニタ
１０４・・・スピーカ １０５・・・カメラ
１０６・・・カメラ入力部 １０７・・・制御部
１０８・・・処理バッファ １０９・・・メモリカードＩＦ
１１０・・・画像出力部 １１１・・・音声出力部
１１２・・・操作部材 １１３・・・メモリ
１５１・・・顔認識部 １５２・・・人物判別部
１５３・・・再生制御部 １５４・・・タグ処理部
１５５・・・撮影処理部
２０１・・・電子カメラ ２０２・・・撮影光学系
２０３・・・シャッター ２０４・・・撮像素子
２０５・・・ＡＦＥ ２０６・・・バッファ
２０７・・・制御部 ２０８・・・表示部
２０９・・・メモリカードＩＦ ２１０・・・画像出力部
２１１・・・音声出力部 ２１２・・・操作部材
２１３・・・メモリ

特開２００６−１４１４８４号公報

Claims (7)

1. 外部接続または内蔵する撮影装置から画像を入力する撮影画像入力部と、
   記憶媒体に記憶された画像を読み出す記憶画像入力部と、
   前記撮影画像入力部または前記記憶画像入力部から入力する画像内の人物を判別して、前記撮影画像入力部から入力する画像内の人物を在席者情報とし、前記記憶画像入力部から入力する画像内の人物を被写体者情報とする人物判別部と、
   前記人物判別部が出力する前記在席者情報と前記被写体者情報とに応じて表示装置に表示する画像の再生方法を制御する再生制御部と
   を有することを特徴とする画像再生装置。
2. 請求項１に記載の画像撮影再生装置において、
   前記記憶媒体に記憶される画像に前記人物判別部が判別する前記被写体者情報を付加する人物情報付加部を更に設け、
   前記記憶画像入力部は、前記記憶媒体に記憶された画像と該画像に付加された前記被写体者情報とを読み出し、
   前記再生制御部は、前記記憶画像入力部が読み出した前記被写体者情報と前記人物判別部が出力する前記在席者情報とに応じて前記表示装置に表示する画像の再生方法を制御する
   ことを特徴とする画像再生装置。
3. 請求項１または２に記載の画像再生装置において、
   前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報と前記被写体者情報との少なくとも一部が合致する画像を優先的に読み出して表示する
   ことを特徴とする画像再生装置。
4. 請求項１または２に記載の画像再生装置において、
   前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報が前記被写体者情報に合致しない画像を先送りする
   ことを特徴とする画像再生装置。
5. 請求項１または２に記載の画像再生装置において、
   前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示する際に前記在席者情報が前記被写体者情報に合致する複数人物が存在する場合、人物毎の画像の表示時間が均等になるように制御する
   ことを特徴とする画像再生装置。
6. 請求項１または２に記載の画像再生装置において、
   前記再生制御部は、前記記憶画像入力部が読み出した画像を前記表示装置に表示中に前記在席者情報の変化をモニタし、前記在席者情報の変化に応じて前記表示装置に表示する画像の再生方法を変える
   ことを特徴とする画像再生装置。
7. 請求項１から６のいずれか一項に記載の画像再生装置を含むことを特徴とする電子カメラ。

Images