JP2008009694A - ユーザ認識装置、再生装置、再生システムおよびテレビジョンセット - Google Patents

Abstract

【課題】ユーザを認識し、ユーザ認識の結果および予め入力される番組情報に応じて、ユーザ好みのジャンルの番組を選曲するテレビジョン受像機において、カメラで撮影してユーザ認識を行う場合にプライバシーに配慮する。
【解決手段】ユーザ認識装置は、ユーザＡ、Ｂ、Ｃを撮影するカメラ２０と、カメラ２０による撮影画像から顔情報を検出して認識処理を行うユーザ認識手段１０と、カメラ２０が撮影を行う場合にこれを報知する報知手段２０ａ、１０ａとを備える。
【選択図】図１

Description

本発明は、ユーザ認識装置、再生装置、再生システムおよびテレビジョンセットに関する。

ユーザを認識し、ユーザ認識の結果および予め入力される番組情報に応じて、ユーザ好みのジャンルの番組を選局するテレビジョン受像機が知られている（たとえば、特許文献１参照）。

特開２０００−１７５１１７号公報

カメラを用いてユーザ認識を行う場合、プライバシーに対する配慮が必要である。

（１）本発明によるユーザ認識装置は、ユーザを撮影するカメラと、カメラによる撮影画像から顔情報を検出して認識処理を行うユーザ認識手段と、カメラが撮影を行う場合に撮影することを報知する報知手段とを備えることを特徴とする。
（２）請求項１に記載のユーザ認識装置はさらに、撮影画像の保存を禁止するようにカメラおよびユーザ認識手段を制御する制御手段を備えてもよい。
（３）請求項１または請求項２に記載のユーザ認識装置において、カメラは、撮影を行わない場合に撮影光学系の保護部材を閉じてもよい。
（４）本発明による再生装置は、請求項１〜請求項３のいずれか一項に記載のユーザ認識装置と、複数の再生ソースの中からユーザ認識装置で認識されたユーザに関連する再生ソースの再生信号を再生手段へ供給する信号供給手段とを備えることを特徴とする。
（５）請求項４に記載の再生装置において、信号供給手段は、カメラが撮影を行うことを示す情報を再生信号に含めることもできる。
（６）請求項５に記載の再生装置において、再生信号は、カメラによる撮影画像を再生手段に再生させることもできる。
（７）請求項４〜請求項６のいずれか一項に記載の再生装置はさらに、ユーザ認識装置が予め指示されているユーザを認識した場合にユーザ認識装置による認識処理を終了させる終了指示手段を備えてもよい。
（８）請求項７に記載の再生装置において、信号供給手段は、終了指示手段が認識処理を終了させる前にこれを報知する情報を再生信号に含めることもできる。
（９）本発明による再生システムは、請求項４〜請求項８のいずれか一項に記載の再生装置と、再生ソースの再生信号を再生する再生手段とを備えることを特徴とする。
（１０）本発明によるテレビジョンセットは、請求項９に記載の再生システムと、テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とする。

本発明によれば、プライバシーに配慮してユーザ認識を行うことができる。

以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による再生装置１０を含めて構成した情報再生システムを例示する図である。情報再生システムは、再生装置１０、電子カメラ２０および表示モニタ３０を組み合わせて構成される。図１の例では、人物Ａ、人物Ｂおよび人物Ｃの３人が、当該情報再生システムによる表示映像および再生音楽を鑑賞する。

表示モニタ３０は、液晶表示パネル、プラズマ表示パネル、ＣＲＴもしくは投射型表示器などの映像表示部と音響再生部とを有し、再生装置１０が供給する映像信号による画像の再生と、再生装置１０が供給する音響信号による音楽の再生とを行う。電子カメラ２０は、たとえば表示モニタ３０の近傍に載置され、表示モニタ３０を観察する人物Ａ〜人物Ｃを撮影し、撮影画像を再生装置１０へ送信する。

再生装置１０および表示モニタ３０間、ならびに再生装置１０および電子カメラ２０間の接続は、それぞれ図１のような無線接続で行っても、ケーブルを用いた有線接続で行ってもよい。

図２は、再生装置１０の構成例を説明するブロック図である。再生装置１０は、ＣＰＵ１０１と、メモリ１０２と、リモコン制御部１０３と、操作部材１０４と、表示部１０５と、外部インターフェイス(I/F)１０６と、電源回路１０７と、通信制御部１０８と、アンテナ１０９と、ＨＤＤ(Hard Disk Drive)１１０と、メモリスロット１１１と、ディスクドライブ１１２とを有する。

コントローラであるＣＰＵ１０１は、制御プログラムに基づいて、再生装置１０を構成する各部から入力される信号を用いて所定の演算を行うなどして、再生装置１０の各部を制御する。なお、制御プログラムはＣＰＵ１０１内の不図示の不揮発性メモリに格納されている。

メモリ１０２はＣＰＵ１０１の作業用メモリとして使用される。リモコン制御部１０３は、リモコン送信機１１から送信される信号を受信し、受信信号に応じた操作信号をＣＰＵ１０１へ出力する。操作部材１０４は、再生装置１０の操作パネル上の操作スイッチなどを含み、操作されたスイッチに対応する操作信号をＣＰＵ１０１へ送出する。再生装置１０は、リモコン送信機１１および操作部材１０４のいずれからも操作可能に構成されている。

表示部１０５はＬＥＤや液晶表示器などによって構成され、ＣＰＵ１０１からの指示に応じて再生装置１０の動作状態などを示す表示を行う。外部インターフェイス１０６は、ＣＰＵ１０１からの指示により外部機器（コンピュータやビデオプレーヤー、ＴＶチューナー等）との間で不図示のケーブルを介してデータを送受信する。

電源回路１０７は、電源ケーブル１１３を介して供給される商用電源を再生装置１０内で必要な直流電源に変換し、再生装置１０の各部へ変換後の電源を供給する。ＨＤＤ１１０は、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。メモリスロット１１１にはメモリカード（不図示）が実装される。メモリカードは不揮発性メモリによって構成され、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。

ディスクドライブ１１２には、たとえば、不図示のＤＶＤ（Digital Video Disk）が実装される。ＤＶＤは、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。

通信制御部１０８は無線送受信回路を含み、ＣＰＵ１０１からの指示によって電子カメラ２０との間、および表示モニタ３０との間でそれぞれ通信を行う。電子カメラ２０との通信内容は、電子カメラ２０に対する制御情報、および電子カメラ２０で撮影された画像データなどである。表示モニタ３０との通信内容は、表示モニタ３０に対する制御情報、および表示モニタ３０で再生する映像信号および音響信号である。アンテナ１０９は通信制御部１０８の送受信アンテナである。

＜メイン処理＞
再生装置１０のＣＰＵ１０１が行うメイン処理の流れについて、図３のフローチャートを参照して説明する。図３の処理を行うプログラムは、再生装置１０のメインスイッチ（不図示）がオン操作され、電源回路１０７からＣＰＵ１０１へ電源供給が開始されると起動する。

図３のステップＳ１において、ＣＰＵ１０１は自動起動設定されているか否かを判定する。自動起動は、スタートメニュー操作を介さずに認識処理、表示モニタ３０による再生動作へ進むことを許可する動作モードである。認識処理は、表示モニタ３０が再生する情報を視聴するユーザを電子カメラ２０で撮影し、撮影画像の中から所定の人物を認識する処理である。認識処理の詳細については後述する。ＣＰＵ１０１は、自動起動フラグがオンの場合にステップＳ１を肯定判定してステップＳ２へ進み、自動起動フラグがオフの場合にはステップＳ１を否定判定し、ステップＳ９へ進む。自動起動フラグは、後述する「利用者認識」メニューによって予め設定されている。

ステップＳ９へ進む場合のＣＰＵ１０１は通常処理を行う。通常処理では、スタートメニュー操作を介して再生動作へ進む。ステップＳ９において、ＣＰＵ１０１は、スタートメニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させてステップＳ１０へ進む。図４は、表示モニタ３０に表示されるスタートメニュー画面を例示する図である。スタートメニュー画面には、「写真」アイコン、「ＭＯＶＩＥ」アイコン、「音楽」アイコン、および「利用者認識」アイコンが含まれる。

図３のステップＳ１０において、ＣＰＵ１０１はメニュー操作されたか否かを判定する。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から操作信号が入力されるとステップＳ１０を肯定判定してステップＳ１１へ進み、操作信号が入力されない場合には当該判定処理を繰り返す。

＜メニュー処理＞
ステップＳ１１において、ＣＰＵ１０１はメニュー処理を行ってステップＳ８へ進む。メニュー処理の一例を説明する。図４において、「写真」アイコン、「ＭＯＶＩＥ」アイコンおよび「音楽」アイコンは、それぞれ表示モニタ３０で再生するコンテンツを表す。ユーザ（本例の場合は人物Ａ〜人物Ｃ）は、表示モニタ３０に表示されているアイコンの中から鑑賞したいコンテンツに対応するアイコン（たとえば、写真を鑑賞したい場合は「写真」アイコン）を選択する。ユーザがリモコン送信機１１または操作部材１０４を操作することにより、操作信号がＣＰＵ１０１へ入力される。

ＣＰＵ１０１は、カーソルを移動させる操作信号がリモコン制御部１０３または操作部材１０４から入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアイコン（たとえば「写真」アイコン）を選択する。

＜写真鑑賞＞
「写真」アイコンを選択したＣＰＵ１０１は、「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図５は、表示モニタ３０に表示される「写真」メニュー画面を例示する図である。「写真」メニュー画面には、「正月」アルバムアイコン、「クリスマス」アルバムアイコン、「Ａ旅行」アルバムアイコン、「Ｂ旅行」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示には当該アルバム内の代表画像（サムネイル）を含め、アルバムに登録されていない画像ファイル名の表示はそのサムネイル画像を合わせて表示する。

ＣＰＵ１０１は、通常処理においてアルバムアイコンおよび画像ファイル名を表示させる際、作成日時が新しいものから順番に並べて表示させる。各アルバムを構成する画像ファイルおよびアルバム登録されていない画像ファイルは、通常ＨＤＤ１１０内に保存されているものを検索して表示するが、操作信号に応じてメモリスロット１１１内のメモリカードやディスクドライブ１１２内のＤＶＤからの検索も可能である。

「写真」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコンまたはファイル名上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアルバムアイコン（または画像ファイル）に対応する画像ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出す。

ＣＰＵ１０１は、読み出した内容を表示モニタ３０に再生表示させるための映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によってアルバムなどの再生が行われる。なお、ＣＰＵ１０１は、再生する画像ファイルに音楽ファイルが関連づけられている場合、当該音楽ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によって再生される映像に合わせて音楽が再生される。

以上は写真鑑賞の例を説明したが、動画を鑑賞する「ＭＯＶＩＥ」アイコン、音楽を鑑賞する「音楽」アイコンが選択された場合も同様である。

＜利用者認識＞
図４の「利用者認識」アイコンを選択したＣＰＵ１０１は、「利用者認識」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図６は、表示モニタ３０に表示される「利用者認識」メニュー画面を例示する図である。「利用者認識」メニュー画面には、「認識スタート」アイコン、「カメラセッティング」アイコン、「人物設定」アイコン、および「自動起動」アイコンが含まれる。

「利用者認識」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアイコンを選択する。

「認識スタート」アイコンを選択したＣＰＵ１０１は、認識処理を開始する。認識処理の詳細については後述する。「カメラセッティング」アイコンを選択したＣＰＵ１０１は、認識処理に用いるカメラに対して必要な設定を行う。本実施形態では、電子カメラ２０を撮影モードで起動させる制御信号と、電子カメラ２０の撮影ズームレンズを広角側へ移動させる制御信号とを通信制御部１０８から送信させる。

「自動起動」アイコンを選択したＣＰＵ１０１は、上述した自動起動フラグのオン／オフ切替を行う。ＣＰＵ１０１は、自動起動設定オン（フラグオン）の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオフにし、自動起動設定オフ（フラグオフ）の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオンにする。

「人物設定」アイコンを選択したＣＰＵ１０１は、上記認識処理を開始し、認識処理終了後に「人物設定」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図７は、表示モニタ３０に表示される「人物設定」メニュー画面を例示する図であり、「人物Ｂ」について設定が行われるメニュー画面である。「人物設定」メニュー画面には、人物の顔画像７１と、「オリジナルメニュー表示」アイコン、「画像の検索」アイコン、「マイアルバム表示」アイコン、および「操作音」アイコンが含まれる。「人物設定」メニュー画面は、認識処理によって認識、登録された人物ごとに表示の切替が可能に構成される。

「人物設定」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。「オリジナルメニュー（カスタムメニューと記してもよい）表示」は、認識された人物（たとえば、人物Ｂ）によって予め登録されているユーザごとのメニューを、通常のスタートメニュー（図４）に代えて表示することを許可する機能である。

「オリジナルメニュー表示」アイコンを選択したＣＰＵ１０１は、「オリジナルメニュー表示」機能のオン／オフ切替を行う。ＣＰＵ１０１は、オリジナルメニュー表示「オン」の選択操作が行われるとオリジナルメニュー表示を許可する。オリジナルメニューは、たとえば、通常のスタートメニューのうち所定のアイコンを非表示にしたり、通常のスタートメニューに含まれないアイコンを追加したりするものである。

ＣＰＵ１０１は、オリジナルメニュー表示「オフ」の選択操作が行われるとオリジナルメニュー表示を許可しない。ＣＰＵ１０１は、オリジナルメニュー表示「オフ」の場合は通常のスタートメニュー（図４）を表示させる。

「画像の検索」は、認識された人物（たとえば、人物Ｂ）を被写体として含むアルバムおよび画像ファイルを検索するか否かを指示する機能である。「画像の検索」アイコンを選択したＣＰＵ１０１は、「画像の検索」機能のオン／オフ切替を行う。ＣＰＵ１０１は、画像の検索「オン」の選択操作が行われると当該人物（本例では人物Ｂ）の顔画像を含むアルバム、画像ファイルの検索を許可し、画像の検索「オフ」の選択操作が行われると当該人物（人物Ｂ）の顔画像を検索対象から除外する。

「マイアルバム表示」は、認識された人物（たとえば、人物Ｂ）によって予め登録されているアルバムを、通常の「写真」メニュー（図５）に加えて表示することを許可する機能である。「マイアルバム表示」アイコンを選択したＣＰＵ１０１は、「マイアルバム表示」機能のオン／オフ切替を行う。ＣＰＵ１０１は、マイアルバム表示「オン」の選択操作が行われるとマイアルバム表示を許可する。この場合の「写真」メニューには、「マイアルバム」アイコンが含まれる。

ＣＰＵ１０１は、マイアルバム表示「オフ」の選択操作が行われるとマイアルバム表示を許可しない。ＣＰＵ１０１は、マイアルバム表示「オフ」の場合は通常の「写真」メニュー（図５）を表示する。

「操作音」は、再生装置１０が操作信号を受信した際の操作音の有無を指示する機能である。「操作音」アイコンを選択したＣＰＵ１０１は、「操作音」のオン／オフ切替を行う。ＣＰＵ１０１は、操作音「オン」の選択操作が行われると操作音の発生を許可し、操作信号を受信するごとに操作音を音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。

ＣＰＵ１０１は、操作音「オフ」の選択操作が行われると操作音の発生を禁止し、操作音を音響再生させる音響信号を通信制御部１０８から送信させない。

上述した図３のステップＳ１を肯定判定してステップＳ２へ進む場合、ＣＰＵ１０１は自動起動処理を行う。ステップＳ２において、ＣＰＵ１０１は、認識処理を行ってステップＳ３へ進む。認識処理の詳細については後述する。

ステップＳ３において、ＣＰＵ１０１は、認識処理で認識した人物（たとえば、人物Ｂ）をユーザとしてステップＳ４へ進む。人物の認識は一人に限らず、複数の人物を認識することも可能である。ステップＳ４において、ＣＰＵ１０１は、ユーザの顔についてスキャン動作を行う。具体的には、予め指定されている領域（ＨＤＤ１１０、メモリカードおよびＤＶＤ内で指定された記憶領域）に格納されているアルバム、画像ファイルのうち認識したユーザ（本例では人物Ｂ）の顔画像を含むアルバム、画像ファイルを検索する。

スキャン動作には、特開２００２−３３３６５２号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔を検出し、検出した顔のうち予め登録されている容貌情報と合致する顔を検出するものである。ステップＳ４のスキャン動作では、各アルバムおよび各画像ファイルから人物の顔を検出し、検出した顔のうちユーザの顔について予め登録されている容貌情報（本例では人物Ｂについての容貌情報）と合致する顔を検出する。ＣＰＵ１０１は、ユーザの顔（本例では人物Ｂの顔）が被写体として含まれている各アルバム、各画像ファイルの名称および格納場所を示す情報をメモリ内に保存してステップＳ５へ進む。

スキャン動作において各アルバムおよび各画像ファイルから検出した人物の顔画像のみを、参照用の顔情報ファイルとして当該アルバムおよび当該画像ファイルに関連づけてＨＤＤ１１０（メモリカードおよびＤＶＤ内でもよい）に保存するようにしてもよい。この場合には、各アルバムおよび各画像ファイルから人物の顔を検出する代わりに、参照用の顔情報ファイルから人物の顔を検出すればよいので、各アルバムおよび各画像ファイルから人物の顔を検出する場合に比べて、次回以降のスキャン速度を速めることができる。なお、各アルバムおよび各画像ファイルがＨＤＤ１１０（メモリカードおよびＤＶＤ内でもよい）に蓄積された時点で、参照用の顔情報ファイルを生成する構成にしても構わない。

ステップＳ５において、ＣＰＵ１０１は、ユーザの顔が含まれるアルバムおよび画像ファイルを表示モニタ３０にサムネイル表示させてステップＳ６へ進む。具体的には、認識した人物に関する「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図８は、表示モニタ３０に表示される人物Ｂについての「写真」メニュー画面を例示する図である。ＣＰＵ１０１は、人物Ｂの顔がより多く含まれる（登場する）順に、アルバムアイコンおよび画像ファイル名を並べて表示させる。

図８の例では、「Ａ旅行」アルバムアイコン、「Ｂ旅行」アルバムアイコン、「クリスマス」アルバムアイコン、「正月」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示にアルバム内の代表画像（サムネイル）を含める点、およびアルバムに登録されていない画像ファイル名の表示はそのサムネイル画像とともに表示する点は、図５の場合と同様である。

人物Ｂの他にも人物（人物Ａ、人物Ｃ）を認識している場合におけるステップＳ５のサムネイル表示は、最も数多くの顔が含まれる人物から順番に表示する。ＣＰＵ１０１は、ページ切替を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その次に多くの顔が含まれる人物（たとえば人物Ａ）についてのサムネイル表示を行わせる。このように、ページ切替を示す操作信号が入力されるごとに、認識しているそれぞれの人物に関するアルバムや画像ファイル等のサムネイル表示が行われる。

なお、ユーザ認識した人物の顔が含まれるアルバムおよび画像ファイルが存在しない場合や、認識処理において抽出された全ての顔が未登録である場合には、上記通常処理において行う表示（ステップＳ１１）と同様に、作成日時が新しいものから順番にアルバムアイコンおよび画像ファイル名を表示させる。この場合、当該再生装置１０の所有者が予め登録した画像（たとえば、お気に入りフォルダに格納されている画像）をサムネイル表示に含める構成にしてもよい。

図３のステップＳ６において、ＣＰＵ１０１は選択指示されたか否かを判定する。ＣＰＵ１０１は、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されるとステップＳ６を肯定判定してステップＳ７へ進み、「ＯＫ」ボタン操作を示す操作信号が入力されない場合にはステップＳ６を否定判定し、ステップＳ１２へ進む。アイコンまたはファイル名上のカーソル（不図示）は、リモコン制御部１０３または操作部材１０４からの操作信号に応じて移動するようにＣＰＵ１０１が映像信号を生成する。生成した信号は、通信制御部１０８から表示モニタ３０へ送信される。

ステップＳ７において、ＣＰＵ１０１は再生動作を開始させてステップＳ８へ進む。具体的には、表示モニタ３０の画面上でカーソルが位置するアルバムアイコン（または画像ファイル）に対応する画像ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に再生表示させるための映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によってアルバムなどの再生が行われる。

なお、再生する画像ファイルに音楽ファイルが関連づけられている場合は、当該音楽ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。選択指示後の再生は、ステップＳ１１の写真鑑賞に関して説明した内容と同様である。

ステップＳ８において、ＣＰＵ１０１は、終了指示されたか否かを判定する。ＣＰＵ１０１は、終了を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されるとステップＳ８を肯定判定し、所定の電源オフ処理を行って図３によるメイン処理を終了する。ＣＰＵ１０１は、終了を指示する操作信号が入力されない場合にはステップＳ８を否定判定し、ステップＳ１へ戻る。

ステップＳ１へ戻る場合は再び認識処理（ステップＳ２）を行うので、前回の認識処理時と異なるユーザが表示モニタ３０を観察している場合には新たなユーザが認識され、認識された人物についての「写真」メニュー画面が表示モニタ３０に表示される（ステップＳ５）。

ステップＳ６を否定判定して進むステップＳ１２において、ＣＰＵ１０１はメニュー操作されたか否かを判定する。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から操作信号が入力されるとステップＳ１２を肯定判定してステップＳ９へ戻り、操作信号が入力されない場合にはステップＳ６へ戻る。

＜認識処理＞
認識処理の詳細について、図９のフローチャートを参照して説明する。図９のステップＳ２１において、ＣＰＵ１０１はカメラ撮影を指示してステップＳ２２へ進む。具体的には、撮影を指示する制御信号と、撮影画像を再生装置１０へ送信する指示の制御信号とを通信制御部１０８から電子カメラ２０へ送信させる。これにより、撮影を行った電子カメラ２０から再生装置１０へ撮影画像が送信される。電子カメラ２０は、撮影画像を送信後に当該画像データを保存しない（消去する）ように制御される。

電子カメラ２０は、撮影を指示する制御信号を受けると作動ランプ２０ａ（図１）を点灯させ、情報再生システムが利用者を撮影して利用者認識処理を行うことを表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせる。なお、再生装置１０自身が認識処理ランプ１０ａ（図１）を点灯させ、上記人物Ａ〜人物Ｃへ電子カメラ２０が作動中であることを知らせる構成にしてもよい。さらにまた、カメラマーク３０ａ（図１）もしくは電子カメラ２０から送信された撮影画像３０ｂ（図１）を表示モニタ３０上の表示内容に含めるための映像信号を再生装置１０が生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させることにより、表示モニタ３０の表示によって上記人物Ａ〜人物Ｃへ電子カメラ２０が作動中であることを知らせる構成にしてもよい。

図９のステップＳ２２において、ＣＰＵ１０１は、通信制御部１０８で受信された撮影画像について顔抽出を行ってステップＳ２３へ進む。ステップＳ２２以降ステップＳ２５までの処理は、たとえば、特開平９−２５１５３４号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔領域を抽出し、抽出した顔領域から特徴点データ（目、鼻の位置など）を取得し、この特徴点データを用いて予め登録されている人物を識別するものである。

ＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、電子カメラ２０が撮影した画像を表示モニタ３０に行わせる。図１０は、この時点において表示モニタ３０に表示される画面を例示する図である。図１０において、人物Ａ、人物Ｂおよび人物Ｃの３人が表示されている。撮影画像の左右を反転した画像を再生表示する構成とすれば、表示画面を観察する人物Ａ、人物Ｂおよび人物Ｃの３人にとって、表示されている人物と自己との対応関係がわかりやすい。

図９のステップＳ２３において、ＣＰＵ１０１は抽出した顔領域から特徴点データを取得し、取得したデータをメモリを一時記憶してステップＳ２４へ進む。ステップＳ２４において、ＣＰＵ１０１はデータベースとの照合を行う。具体的には、一時記憶した特徴点データから生成される正規化画像と、予めデータベースに登録されている登録者の辞書画像とを比較してステップＳ２５へ進む。

ステップＳ２５において、ＣＰＵ１０１は上記照合によって算出される類似度が所定値以上か否かを判定する。ＣＰＵ１０１は、抽出した全ての顔について、上記正規化画像との間の類似度が所定値以上となる辞書画像がデータベースに登録されている場合、ステップＳ２５を肯定判定してステップＳ２６へ進む。この場合は、人物Ａ、人物Ｂおよび人物Ｃの３人がいずれも認証された場合である。抽出した顔の人物を認証したＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、表示モニタ３０に表示中の撮影画像に重ねて、抽出した各々の顔を囲む枠（人物Ａ〜Ｃの３人を認証した場合は枠Ｐ１〜Ｐ３）をオーバーレイ表示させる（図１０）。ステップＳ２６において、ＣＰＵ１０１は、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除して図９による処理を終了する。

一方、ＣＰＵ１０１は、抽出した少なくとも１つの顔について、上記正規化画像との間で類似度が所定値以上となる辞書画像がデータベースに登録されていなければ、ステップＳ２５を否定判定してステップＳ２７へ進む。たとえば、人物Ａおよび人物Ｃを認証し、人物Ｂを認証していない場合、図１０において枠Ｐ１およびＰ３がオーバーレイ表示される。

ステップＳ２７において、ＣＰＵ１０１は登録指示操作されたか否かを判定する。ＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、たとえば、「ユーザ登録しますか？」というメッセージを、表示モニタ３０に表示中の撮影画像に重ねてオーバーレイ表示させる。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から登録指示を示す操作信号が入力されるとステップＳ２７を肯定判定してステップＳ２８へ進み、登録指示を示す操作信号が入力されない場合にはステップＳ２７を否定判定してステップＳ２９へ進む。

ステップＳ２８において、ＣＰＵ１０１は、抽出されている顔であって、未登録の顔画像（たとえば人物Ｂ）を辞書画像として登録するとともに、通信制御部１０８へ指示および映像信号を送り、表示モニタ３０に表示中の撮影画像に重ねて、登録した顔を囲む二重枠（Ｐ２）をオーバーレイ表示させる。ＣＰＵ１０１はさらに、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図９による処理を終了する。

ステップＳ２９において、ＣＰＵ１０１は、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図９による処理を終了する。

以上説明した第一の実施形態によれば、次の作用効果が得られる。
＜使い勝手について＞
（１）情報再生システムは、視聴するユーザを認識し、システム内に有する再生ソースの中から認識したユーザに関連する再生ソースを自動的に選ぶ（ステップＳ４）。これにより、たとえばユーザが視聴位置に座った場合、当該ユーザが被写体として登場する画像や、この画像に関連づけられている音楽が自動的に選択される。ユーザは、再生して欲しい再生ソースの情報を予め情報再生システムに入れておかなくてもよく、使い勝手がよい情報再生システムを提供できる。

（２）情報再生システムは、認識したユーザの顔がより多く含まれる順に選んだ再生ソースのサムネイル画像を表示モニタ３０上に提示した（ステップＳ５）ので、ユーザは、再生ソースの中身を確認しなくても、自身が最もたくさん登場する再生ソースを知ることができる。

（３）情報再生システムは、サムネイル表示した再生ソースの中から選択指示されたものを再生する（ステップＳ７）ので、ユーザは、視聴したい再生ソースを簡単に視聴できる。

（４）情報再生システムは、ユーザ認識処理を行わない通常処理においてアルバムアイコンおよび画像ファイル名を表示モニタ３０上に提示する際（ステップＳ１１）、作成日時が新しいものから順番に示したので、ユーザは、再生ソースの中身を確認しなくても、最も新しい再生ソースを知ることができる。

＜プライバシー保護について＞
（５）情報再生システムは、電子カメラ２０に作動ランプ２０ａ（図１）を点灯させたり、再生装置１０に作動ランプ１０ａを点灯させたり、表示モニタ３０による表示内容にカメラマーク３０ａをオーバーレイ表示もしくは撮影画像３０ｂを重ねる（ピクチャー・イン・ピクチャー）ことによって、ユーザを認識する処理を行うことを表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせるようにしたので、利用者が知らないうちに認識処理を行うことが防止される。

（６）再生装置１０は、認識処理において抽出した未登録の顔画像のうち、登録が指示された顔画像を辞書画像として登録する（ステップＳ２８）場合を除き、ステップＳ２３において一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除する（ステップＳ２６、ステップＳ２９、ステップＳ２８後段）。また、再生装置１０へ撮影画像を送信後に当該画像データを保存しない（消去する）ように電子カメラ２０を制御したので、認識処理で撮影した画像がシステム内に残らず、ユーザのプライバシーに配慮した情報再生システムを提供できる。

（変形例１）
カメラマーク３０ａの代わりに「カメラ作動中」のようなメッセージを表示モニタ３０に表示させてもよい。

（変形例２）
上記ステップＳ１を肯定判定した以降の自動起動処理は、「人物Ｂ」についての「人物設定」メニューにおいて画像の検索が「オン」選択されている場合を例に説明した。すなわち、認識した「人物Ｂ」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ３０に表示させた（ステップＳ５）。これに対し、「人物Ｂ」についての「人物設定」メニューにおいて画像の検索が「オフ」選択されている場合には、当該人物Ｂの顔画像を検索対象から除外する。この場合のステップＳ５においては、人物Ｂを除く他の認識ユーザ（たとえば、人物Ａ）が被写体となっている画像や、この画像に関連づけられている音楽を自動的に選択でき、「人物Ａ」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ３０に表示できる。この結果、「人物Ｂ」がゲストとして「人物Ａ」を招いた場合、ゲストがより多く登場する再生ソースを優先して選ぶことができる。

（変形例３）
複数の人物を認識している場合におけるステップＳ５のサムネイル表示の例として、再生ソースに最も数多くの顔が含まれる人物から順番に表示するように説明した。この代わりに、予め登録されている人物の優先順位に基づいて表示するようにしてもよい。たとえば、人物Ａ〜人物Ｃの優先順が人物Ｃ、人物Ａ，人物Ｂの順番で登録されている場合、再生ソースに登場する数にかかわらず、人物Ｃ、人物Ａ，人物Ｂの順番でサムネイル表示を行う。ＣＰＵ１０１は、ページ切替を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その次の優先順位の人物についてのサムネイル表示を行わせる。このように、優先した人物に関するアルバムや画像ファイル等のサムネイル表示を簡単に行うことができる。

（変形例４）
複数の人物を認識した場合に認識した人物の一覧を表示モニタ３０に表示させ、その一覧の中からリモコン制御部１０３または操作部材１０４からの操作信号によって優先順位を定めたり、検索対象から除外する人物を選択するように構成してもよい。

（変形例５）
以上の説明では、抽出した少なくとも１つの顔が未登録（すなわち、類似度が所定値以上となる辞書画像がデータベースに登録されていない）である場合に登録指示操作されたか否かの判定処理（ステップＳ２７）へ進むようにしたが、その前に、たとえば「利用者認識を行いますか？」というメッセージを表示モニタ３０に表示させた上で、リモコン制御部１０３または操作部材１０４から「ＯＫ」を示す操作信号が入力された場合にステップＳ２７へ進むようにしてもよい。「ＯＫ」を示す操作信号が入力されない場合は、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を防止できる。

（変形例６）
また、ステップＳ２５を否定判定した場合、抽出した全ての顔が未登録であれば認識処理を中止する構成としてもよい。この場合には、人物Ａ、人物Ｂおよび人物Ｃの３人がいずれも認証されない場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、視聴者全員が未登録の状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。

（変形例７）
また、特定のユーザを認識した場合に通常処理へ移る構成としてもよい。この場合には、登録済みの人物のうち、予め指定されている人物が認証された場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、特定の人物が視聴する状況では、情報再生システムに通常処理を行わせることができる。この場合、当該特定の人物が認証されなくなった場合に自動起動フラグをオンに戻してもよい。

（変形例８）
電子カメラ２０が非作動中に撮影レンズのレンズバリアを閉じる構成にしてもよい。電子カメラ２０が作動ランプ２０ａを有していない場合には、レンズバリアの開鎖によってユーザを認識する処理が行われることを、レンズバリアの開鎖によってユーザを認識する処理が行われないことを、それぞれ表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせることができる。

（変形例９）
図１に例示した情報再生システムは、再生装置１０および電子カメラ２０間を無線または有線で接続するものであるが、図１１に例示するように、再生装置１０の接続部１５に外部機器である電子カメラ２０を直接ドッキングさせる構成としてもよい。

（変形例１０）
また、外部機器である電子カメラ２０をクレードル２５上に載置し、クレードル２５と再生装置１０とを有線または無線で接続する構成としてもよい。

（変形例１１）
さらに、クレードル２５にカメラ２５ａを内蔵し、電子カメラ２０を用いずにクレードル２５を介して認識処理を行う構成としてもよい。この場合の再生装置１０は、外部機器であるクレードル２５にカメラ撮影を指示する。具体的には、カメラ２５ａによる撮影を指示する制御信号と、撮影画像を再生装置１０へ送信する指示の制御信号とを外部インターフェイス１０６から送信させる。これにより、撮影を行ったクレードル２５から再生装置１０へ撮影画像が送信される。クレードル２５が撮影画像を送信後に当該画像データを保存しない点は、電子カメラ２０を用いて認識処理を行う場合と同様である。

（変形例１２）
再生装置１０の外部インターフェイス１０６にネットワークカメラ２１を接続し、外部機器としてのネットワークカメラ２１で得られる画像を用いて認識処理を行うようにしてもよい。ＬＡＮ接続の代わりにＵＳＢ接続するものでよい。

（第二の実施形態）
図１２は、本発明の第二の実施形態による認識処理の流れを説明するフローチャートである。図１２の処理は、ＣＰＵ１０１が図９の処理に代えて実行する。図９および図１２間の相違点は、図１２においてステップＳ２２およびステップＳ２３間にステップＳ３１〜ステップＳ３６が追加される点と、ステップＳ２５を否定判定後にステップＳ２５Ａが追加される点であるので、これら相違点を中心に説明する。

ステップＳ２２の次に進むステップＳ３１において、ＣＰＵ１０１は、顔領域を抽出したか否かを判定する。ＣＰＵ１０１は、人物の顔を抽出した場合にステップＳ３１を肯定判定してステップＳ２３へ進み、人物の顔を抽出しなかった場合にはステップＳ３１を否定判定してステップＳ３２へ進む。

ステップＳ３２において、ＣＰＵ１０１は、電子カメラ２０の撮影ズームレンズが広角端か否かを判定する。ＣＰＵ１０１は、通信制御部１０８で受信される電子カメラ２０の情報がズーム広角端を示す場合にステップＳ３２を肯定判定してステップＳ３４へ進み、ズーム広角端を示さない場合にはステップＳ３２を否定判定し、ステップＳ３３へ進む。

ステップＳ３３において、ＣＰＵ１０１は通信制御部１０８へ指示を送り、電子カメラ２０の撮影ズームレンズを広角側へ移動させる制御信号を送信させてステップＳ３４へ進む。ステップＳ３４において、ＣＰＵ１０１は、ステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数（たとえば６０回）繰り返したか否かを判定する。ＣＰＵ１０１は、繰り返し回数が所定回数に達した場合にステップＳ３４を肯定判定してステップＳ３５へ進み、繰り返し回数が所定回数に満たない場合にはステップＳ３４を否定判定してステップＳ３６へ進む。

ステップＳ３５において、ＣＰＵ１０１は、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、上述した自動起動フラグをオフにして図１２による処理を終了する。これにより、顔抽出できない状況では情報再生システムに通常処理を行わせる。ステップＳ３６において、ＣＰＵ１０１はウェイト（たとえば１秒間）を挿入してステップＳ２１へ戻る。これにより、１秒間隔で顔抽出が再度行われる。

ステップＳ２５を否定判定して進むステップＳ２５Ａにおいて、ＣＰＵ１０１は、利用者データと合致するか否かを判定する。利用者データは、ステップＳ２４で用いられる登録者の辞書画像とともにデータベースに含まれるデータであり、その登録者が過去に認証された曜日、時間帯および同時期に認証された人物などを示す。ＣＰＵ１０１は、正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照する。参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも１つについて利用者データと合致すれば、ステップＳ２５Ａを肯定判定してステップＳ２６へ進む。

一方、ＣＰＵ１０１は、利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物のいずれもが利用者データと合致しない場合には、ステップＳ２５Ａを否定判定してステップＳ２７へ進む。

以上説明した第二の実施形態によれば、次の作用効果が得られる。
＜ユーザを特定できない場合の対応について＞
（１）認識処理でユーザを認識できない場合、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ２０の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。

（２）ステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフ（ステップＳ３５）にする。これにより、ユーザを特定できない状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。

（３）電子カメラ２０の撮影ズームレンズが広角端になければ広角側へレンズ移動させ（ステップＳ３３）、再度認識処理を繰り返すようにしたので、たまたまユーザの顔が撮影画角内に入らないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。

（４）正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照することによってユーザを認証する（ステップＳ２５Ａ）ようにした。利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも１つが利用者データと合致すれば、正規化画像の人物が当該類似の辞書画像の登録者であると推定し、認証を行う。この結果、ユーザの顔が横向きであっても、認識する可能性を高めることができる。

（第三の実施形態）
図１３は、本発明の第三の実施形態による認識処理の流れを説明するフローチャートである。図１３の処理は、ＣＰＵ１０１が図１２の処理に代えて実行する。図１２および図１３間の相違点は、図１３においてステップＳ３２〜ステップＳ３６の代わりにステップＳ４１〜ステップＳ４７が追加される点であるので、これら相違点を中心に説明する。

ステップＳ３１を否定判定して進むステップＳ４１において、ＣＰＵ１０１は輝度がＯＫか否かを判定する。ＣＰＵ１０１は、電子カメラ２０から送信された画像データが示す明るさが所定値以上であればステップＳ４１を肯定判定してステップＳ４５へ進み、明るさが所定値未満であればステップＳ４１を否定判定してステップＳ４２へ進む。

ステップＳ４２において、ＣＰＵ１０１は電子カメラ２０の撮像感度をアップ済みか否かを判定する。ＣＰＵ１０１は、通信制御部１０８で受信される電子カメラ２０の情報が感度アップしたことを示す場合にステップＳ４２を肯定判定してステップＳ４３へ進み、感度アップしたことを示さない場合にはステップＳ４２を否定判定し、ステップＳ４４へ進む。

ステップＳ４３において、ＣＰＵ１０１は照明指示を行う。照明指示は次の４通りがあり、ＣＰＵ１０１は４通りの照明指示のうち、予め選択指示されている照明指示を行ってステップＳ４５へ進む。
（照明指示１）
カメラ撮影時（ステップＳ２１）に電子カメラ２０に照明光を発光させる。照明指示１を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、撮影時に電子カメラ２０の照明装置から照明光を発するように電子カメラ２０へ制御信号を送信させる。照明光量は、顔検出に必要な最小限の微弱な発光量でよい。

（照明指示２）
情報再生システムが置かれている室内の照明光の光量をアップさせる。照明指示２を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、不図示の室内照明装置が発する光量を増やすように制御信号を送信させる。

（照明指示３）
カメラ撮影時（ステップＳ２１）に表示モニタ３０に所定数フレーム（本例では１フレーム）分の高輝度表示（たとえば、白色表示）を行わせる。照明指示３を行うＣＰＵ１０１は、白色画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。白色画面は、表示モニタ３０に表示中のメニュー画面または再生映像などの１コマとして挿入させる。通信制御部１０８は、電子カメラ２０に対する撮影指示と表示モニタ３０に対する高輝度表示指示とが同期するように、それぞれの制御信号を送信する。

（照明指示４）
所定以上の明るさが得られる状態で電子カメラ２０にカメラ撮影（ステップＳ２１）を行わせる。照明指示４を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、所定輝度が得られるタイミングで撮影するように電子カメラ２０へ制御信号を送信させる。この制御信号を受けた電子カメラ２０は、たとえば、１秒当たり６０フレームで撮像を繰り返し、画像データが示す明るさが所定値以上であることを検出すると撮影（ステップＳ２１）を行い、この撮影画像を再生装置１０へ送信する。ＣＰＵ１０１は、送信された撮影画像を用いて顔抽出を行う（ステップＳ２２）。照明指示４を行う場合の情報再生システムは、所定値以上の明るさを検出するまで認識処理を中断することになる。

ステップＳ４４において、ＣＰＵ１０１は通信制御部１０８へ指示を送り、電子カメラ２０の撮像感度をアップさせる制御信号を送信させてステップＳ４５へ進む。ステップＳ４５〜ステップＳ４７の各処理は、図１２におけるステップＳ３４〜ステップＳ３６の各処理と同様なので説明を省略する。

以上説明した第三の実施形態によれば、次の作用効果が得られる。
＜ユーザを特定できない場合の対応について＞

（１）低輝度の場合、電子カメラ２０が撮影感度アップしていなければ感度をアップさせ（ステップＳ４４）、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。

（２）低輝度の場合、電子カメラ２０が撮影感度アップ済みであれば照明指示を行い（ステップＳ４３）、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。

（３）照明指示１を行うことにより、カメラ撮影時（ステップＳ２１）に電子カメラ２０の照明装置から顔検出に必要な最小限の微弱な光を発光させるので、表示モニタ３０を観察するユーザが眩しく感じることがない。

（４）照明指示２を行うことにより、室内照明光の光量をアップさせるので、表示モニタ３０を観察するユーザが眩しく感じることがない。

（５）照明指示３を行うことにより、カメラ撮影時（ステップＳ２１）に表示モニタ３０に１フレーム分白色表示させるので、電子カメラ２０は白色画面に照らされたユーザを撮影できる。一方、表示モニタ３０を観察するユーザは白色表示に気づかないため、白色表示を不快に感じることがない。

（６）照明表示４を行うことにより、室内が明るくなったタイミングでカメラ撮影（ステップＳ２１）が行われる。室内が明るくなるのは、室内照明光が点灯された場合や、表示モニタ３０による表示映像が明るく変化した場合が想定される。この場合にも、表示モニタ３０を観察するユーザが不快に感じることがない。

（７）第二の実施形態と同様に、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ２０の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。

（８）第二の実施形態と同様に、所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフさせたので、無駄な認識処理を繰り返すことを防止できる。

（９）第二の実施形態と同様に、ユーザの顔が横向きであっても、認識する可能性を高めることができる。

（変形例１３）
照明指示（ステップＳ４３）では、４通りの照明指示の中から予め選択指示されている照明指示を行う例を説明した。この代わりに、照明指示の内容を切替える構成にしてもよい。たとえば、照明指示の優先順位を照明指示１、照明指示２、照明指示３、照明指示４の順番と定め、ステップＳ４３の処理を行うごとに照明指示の内容を切替える。これにより、低輝度時に照明指示を行っても顔抽出できない場合、照明指示の内容を変えて認識処理を繰り返すので、再度の認識処理によってユーザを認識する可能性を高めることができる。

（変形例１４）
ステップＳ４５（ステップＳ３４）において判定する繰り返し回数を６０回としたが、画像データが示す明るさが撮影に必要な明るさに満たない場合は回数を減らしてもよい（たとえば、６０回→１０回）。これにより、低輝度時に認識処理を繰り返す頻度が下がり、認識処理を無駄に行う回数を減らすことができる。

（変形例１５）
再生装置１０による自動起動フラグのオン／オフ切替は、「利用者認識」メニュー画面（図６）における「自動起動」アイコン選択時の他に、次の各タイミングで行ってもよい。
＜自動起動フラグオフ→フラグオンへの切替＞
−オンタイミング１−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において「写真」メニュー画面（図５）を表示させるタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、図５のサムネイル表示の代わりに、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行うことができる。

−オンタイミング２−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）においてスライドショー指示された（リモコン制御部１０３または操作部材１０４からスライドショー再生させる操作信号が入力される）タイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、スライドショー表示することができる。

−オンタイミング３−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において、電子カメラ２０と再生装置１０との間の通信が成立したタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。なお、カメラとの間の通信成立判定は、上述した図１のシステム構成の他、変形例９、変形例１０、変形例１１、変形例１２のいずれの態様であっても構わない。通信成立の判定は、電子カメラ２０が通信範囲内へ持ち込まれた場合、電子カメラ２０のメインスイッチがオンされた場合、再生装置１０の接続部１５に電子カメラ２０が接続された場合、クレードル２５および再生装置１０間が接続された場合、クレードル２５および電子カメラ２０間が接続された場合などに所定のプロトコルで通信が行われ、通信が成立した場合に行われる。

−オンタイミング４−
電子カメラ２０がレンズバリアを備える場合（変形例８）、ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において電子カメラ２０のレンズバリア開鎖が再生装置１０へ報知されたタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。

＜自動起動フラグオン→フラグオフへの切替＞
−オフタイミング１−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、ステップＳ７の再生処理（アルバム再生やスライドショー再生）を開始したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、ステップＳ１へ戻った後に通常処理（ステップＳ９〜ステップＳ１１）へ進むので、再び自動起動フラグがオンされるまで認識処理（ステップＳ２）を行わなくなり、電子カメラ２０による電力消費を抑えることができる。

−オフタイミング２−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、メニュー画面（たとえば、図８）を表示させたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識したユーザがより多く登場する再生ソースを優先して選んだ後は、再び自動起動フラグがオンされるまで認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。

−オフタイミング３−
ＣＰＵ１０１は、電源オフ処理を行う場合、電源オフ処理に先立つタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電源オフ処理中に認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。

−オフタイミング４−
ＣＰＵ１０１は、スリープ動作を行う場合、スリープ動作が指示されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、スリープ動作中に認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。

−オフタイミング５−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、電子カメラ２０と再生装置１０との間の通信異常を検出したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電子カメラ２０から撮影画像が送信されないおそれがある状況で認識処理（ステップＳ２）を行わなくなり、無駄な処理を避けることができる。通信異常の判定は、電子カメラ２０が通信範囲外へ持ち出された場合、電子カメラ２０のメインスイッチがオフされた場合、再生装置１０の接続部１５から電子カメラ２０が外れた場合、クレードル２５および再生装置１０間の接続が外れた場合、クレードル２５および電子カメラ２０間の接続が外れた場合など、通信が成立しなくなった場合に行われる。

−オフタイミング６−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、電子カメラ２０のレンズバリア閉鎖が再生装置１０へ報知されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識処理（ステップＳ２）を行わなくなり、無駄な撮影処理を避けることができる。

−オフタイミング７−
ＣＰＵ１０１は、認識処理（ステップＳ２）で抽出した少なくとも１つの顔が未登録であって、「利用者認識を行いますか？」というメッセージを表示モニタ３０に表示させてもリモコン制御部１０３または操作部材１０４から「ＯＫ」を示す操作信号がされなかったタイミングで自動起動フラグオン→フラグオフへ切替える（変形例５に相当）。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を止めて通常処理を行うことができる。

−オフタイミング８−
ＣＰＵ１０１は、認識処理（ステップＳ２）で抽出した全ての顔が未登録であれば、「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える（変形例６に相当）。これにより、視聴者全員が未登録の状況では以降の認識処理を止めて通常処理を行うことができる。

−オフタイミング９−
ＣＰＵ１０１は、認識処理（ステップＳ２）で特定のユーザを認識したタイミングで自動起動フラグオン→フラグオフへ切替える（変形例７に相当）。これにより、特定の人物が視聴する状況で以降の認識処理を止めて通常処理を行うことができる。

−オフタイミング１０−
ＣＰＵ１０１は、認識処理において顔抽出できないままステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数繰り返した場合、「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える（第二実施形態、第三実施形態に相当）。これにより、ユーザを特定できない状況では無駄な処理を繰り返すことを防止できる。

（変形例１６）
上述した自動起動が許可されている処理（ステップＳ２〜ステップＳ７）では、自動起動フラグオンであれば認識処理（ステップＳ２）が自動的に行われるが、通常処理（ステップＳ９〜ステップＳ１１）においては認識処理は行われない。そこで、変形例１６においては通常処理中にも認識処理を強制的に行うようにする。この場合の再生装置１０のＣＰＵ１０１は、通常処理中に入力されるメニュー操作信号に応じて「認識スタート」アイコン（図６）を選択したタイミングで認識処理を開始する。

−強制認識処理１−
ＣＰＵ１０１は、通常処理において「写真」メニュー画面（図５）を表示させている状態で「認識スタート」アイコンの選択指示を受けると、「写真」メニュー画面（図５）を表示させたままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後、図５のサムネイル表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行うことができる。なお、各階層のメニュー画面は、互いに重ならないように並べて表示される。

−強制認識処理２−
ＣＰＵ１０１は、通常処理においてスライドショー表示させている状態で「認識スタート」アイコンの選択指示を受けると、スライドショー表示を継続したままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後にスライドショー表示を中断することなく、スライドショー表示する画像を認識したユーザがより多く登場する画像に切替えてスライドショー表示することができる。なお、スライドショー表示中のメニュー画面は、スライドショー表示されている画像の一部に重ねられる（ピクチャー・イン・ピクチャー）。

−強制認識処理３−
ＣＰＵ１０１は、通常処理においてアルバム表示させている状態で「認識スタート」アイコンの選択指示を受けると、アルバム表示を継続したままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後にアルバム表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行い、ユーザによる表示指示を待つことができる。なお、アルバム表示中のメニュー画面は、アルバム表示されている画像の一部に重ねられる（ピクチャー・イン・ピクチャー）。

−強制認識処理４−
ＣＰＵ１０１は、通常処理においてスタートメニュー画面（図４）を表示させている状態で「認識スタート」アイコンの選択指示を受けると、スタートメニュー画面（図４）を表示させたままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後、図４のスタートメニュー表示に代えて、認識したユーザのオリジナルメニュー（当該ユーザによってオリジナルメニュー表示がオン設定されている場合）を表示させることができる。なお、オリジナルメニュー表示に変更する場合、変更前後でアイコン上のカーソル位置を揃える。ただし、変更前後で共通するアイコンが存在しない場合には最寄りアイコン上にカーソルを位置させる。

（変形例１７）
表示モニタ３０にテレビ放送を受信するＴＶチューナーを備え、復調した映像および音声を再生するテレビジョンセットで構成しても構わない。

（変形例１８）
再生装置１０、電子カメラ２０および表示モニタ３０を組み合わせて情報再生システムを構成する例を説明したが、再生装置１０に電子カメラ２０を内蔵したり、電子カメラ２０に再生装置１０を内蔵したり、表示モニタ３０に電子カメラ２０を内蔵したり、テレビジョンセットに電子カメラ２０を内蔵したり、再生装置１０およびテレビジョンセットを一体に構成したり、あるいは、再生装置１０、電子カメラ２０および表示モニタ３０を一体に構成してもよい。

（変形例１９）
ユーザを認識する処理は撮影画像から得られる顔認識技術を用いたが、顔認識技術と音声認識技術とを組み合わせてもよい。音声認識を行う場合には、情報再生システムを構成する機器のいずれかに集音機能を備え、集音した音声情報をユーザ認識処理に用いればよい。

（変形例２０）
ユーザを認識する処理において顔認識技術と組み合わせる認識技術は、音声認識技術の他に、各ユーザがそれぞれリモコン送信機を使用する方式でもよい。この場合のリモコン送信機は、それぞれがユーザを示す情報を含めてリモコン操作信号を送信する。リモコン送信機には、ユーザごとに異なる組合わせに切替えられる認識用スイッチや、リモコン送信機自身にユーザを認識するための指紋認識手段が備えられる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。第一の実施形態〜第三の実施形態および変形例１〜変形例２０は、それぞれを適宜組合わせて構成しても構わない。

本発明の第一の実施形態による情報再生システムを例示する図である。 再生装置の構成例を説明するブロック図である。 再生装置のＣＰＵが行うメイン処理を説明するフローチャートである。 表示モニタに表示されるスタートメニュー画面を例示する図である。 表示モニタに表示される「写真」メニュー画面を例示する図である。 表示モニタに表示される「利用者認識」メニュー画面を例示する図である。 表示モニタに表示される「人物設定」メニュー画面を例示する図である。 人物Ｂについての「写真」メニュー画面を例示する図である。 認識処理の詳細について説明するフローチャートである。 表示モニタに表示される電子カメラによる撮影画像を例示する図である。 再生装置および電子カメラの変形例を説明する図である。 本発明の第二の実施形態による認識処理の流れを説明するフローチャートである。 本発明の第三の実施形態による認識処理の流れを説明するフローチャートである。

符号の説明

１０…再生装置
１１…リモコン送信機
２０…電子カメラ
３０…表示モニタ
１０１…ＣＰＵ
１０３…リモコン制御部
１０４…操作部材
１０６…外部インターフェイス
１０８…通信制御部
１１０…ＨＤＤ

Claims (10)

1. ユーザを撮影するカメラと、
   前記カメラによる撮影画像から顔情報を検出して認識処理を行うユーザ認識手段と、
   前記カメラが撮影を行う場合に前記撮影することを報知する報知手段とを備えることを特徴とするユーザ認識装置。
2. 請求項１に記載のユーザ認識装置において、
   前記撮影画像の保存を禁止するように前記カメラおよび前記ユーザ認識手段を制御する制御手段をさらに備えることを特徴とするユーザ認識装置。
3. 請求項１または請求項２に記載のユーザ認識装置において、
   前記カメラは、撮影を行わない場合に撮影光学系の保護部材を閉じることを特徴とするユーザ認識装置。
4. 請求項１〜請求項３のいずれか一項に記載のユーザ認識装置と、
   複数の再生ソースの中から前記ユーザ認識装置で認識されたユーザに関連する再生ソースの再生信号を再生手段へ供給する信号供給手段とを備えることを特徴とする再生装置。
5. 請求項４に記載の再生装置において、
   前記信号供給手段は、前記カメラが撮影を行うことを示す情報を前記再生信号に含めることを特徴とする再生装置。
6. 請求項５に記載の再生装置において、
   前記再生信号は、前記カメラによる撮影画像を前記再生手段に再生させることを特徴とする再生装置。
7. 請求項４〜請求項６のいずれか一項に記載の再生装置において、
   前記ユーザ認識装置が予め指示されているユーザを認識した場合に前記ユーザ認識装置による認識処理を終了させる終了指示手段をさらに備えることを特徴とする再生装置。
8. 請求項７に記載の再生装置において、
   前記信号供給手段は、前記終了指示手段が前記認識処理を終了させる前にこれを報知する情報を前記再生信号に含めることを特徴とする再生装置。
9. 請求項４〜請求項８のいずれか一項に記載の再生装置と、
   再生ソースの再生信号を再生する再生手段とを備えることを特徴とする再生システム。
10. 請求項９に記載の再生システムと、
    テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とするテレビジョンセット。
    

Images