JP2008009695A - User recognition device, reproduction device, reproduction system, and television set - Google Patents
User recognition device, reproduction device, reproduction system, and television set Download PDFInfo
- Publication number
- JP2008009695A JP2008009695A JP2006179195A JP2006179195A JP2008009695A JP 2008009695 A JP2008009695 A JP 2008009695A JP 2006179195 A JP2006179195 A JP 2006179195A JP 2006179195 A JP2006179195 A JP 2006179195A JP 2008009695 A JP2008009695 A JP 2008009695A
- Authority
- JP
- Japan
- Prior art keywords
- user
- cpu
- instruction
- user recognition
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は、ユーザ認識装置、再生装置、再生システムおよびテレビジョンセットに関する。 The present invention relates to a user recognition device, a playback device, a playback system, and a television set.
ユーザを認識し、ユーザ認識の結果および予め入力される番組情報に応じて、ユーザ好みのジャンルの番組を選局するテレビジョン受像機が知られている（たとえば、特許文献１参照）。 There is known a television receiver that recognizes a user and selects a program of a genre of a user's preference according to a result of user recognition and program information input in advance (see, for example, Patent Document 1).
認識処理を行う際に、ユーザを認識しにくい場合がある。 When performing the recognition process, it may be difficult to recognize the user.
（１）本発明によるユーザ認識装置は、ユーザを撮影するカメラと、カメラによる撮影画像から顔情報を検出して認識処理を行うユーザ認識手段と、ユーザ認識手段が顔情報を検出できなかった場合に認識処理を繰り返すようにユーザ認識手段を制御する制御手段とを備えることを特徴とする。
（２）請求項１に記載のユーザ認識装置において、制御手段は、繰り返し回数が所定回数に達した場合、ユーザ認識手段に認識処理を終了させることが好ましい。
（３）請求項１または請求項２に記載のユーザ認識装置において、制御手段は、ユーザ認識手段が顔情報を検出できなかった場合にカメラへ撮影光学系のズーム位置を広角側へ移動させる指示を送ることもできる。
（４）請求項１〜請求項３のいずれか一項に記載のユーザ認識装置において、制御手段は、ユーザ認識手段が顔情報を検出できなかった場合にカメラへ撮像感度をアップさせる指示を送ることもできる。
（５）請求項４に記載のユーザ認識装置において、制御手段は、外部機器へ照明指示を送ることもできる。
（６）請求項５に記載のユーザ認識装置において、照明指示は、カメラに対する照明光発光指示であってもよい。
（７）請求項５に記載のユーザ認識装置において、照明指示は、室内照明装置に対する照明光量アップの指示であってもよい。
（８）請求項５に記載のユーザ認識装置において、照明指示は、映像再生手段に所定フレーム分の高輝度表示を行わせる指示であってもよい。
（９）請求項５に記載のユーザ認識装置において、照明指示は、カメラに対して所定輝度が得られるタイミングで撮影させる指示であってもよい。
（１０）請求項１〜請求項９のいずれか一項に記載のユーザ認識装置において、ユーザ認識手段は、検出した顔情報からユーザを認識できない場合、当該ユーザを過去に認識した際の情報を参照して推定による認識を行うこともできる。
（１１）請求項１０に記載のユーザ認識装置において、ユーザ認識手段は、検出した顔情報からユーザを認識できない場合、または推定によってもユーザを認識できない場合、登録指示に応じて当該顔情報および当該ユーザを登録することが好ましい。
（１２）本発明による再生装置は、請求項１〜請求項１１のいずれか一項に記載のユーザ認識装置と、複数の再生ソースの中からユーザ認識装置で認識されたユーザに関連する再生ソースの再生信号を再生手段へ供給する信号供給手段とを備えることを特徴とする。
（１３）本発明による再生システムは、請求項１２に記載の再生装置と、再生ソースの再生信号を再生する再生手段とを備えることを特徴とする。
（１４）本発明によるテレビジョンセットは、請求項１３に記載の再生システムと、テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とする。
(1) A user recognition device according to the present invention includes a camera for photographing a user, user recognition means for detecting face information from an image captured by the camera and performing recognition processing, and the user recognition means cannot detect face information. And a control means for controlling the user recognition means so as to repeat the recognition process.
(2) In the user recognition device according to claim 1, it is preferable that the control means causes the user recognition means to end the recognition process when the number of repetitions reaches a predetermined number.
(3) In the user recognition apparatus according to claim 1 or 2, the control means instructs the camera to move the zoom position of the photographing optical system to the wide-angle side when the user recognition means cannot detect face information. Can also be sent.
(4) In the user recognition device according to any one of claims 1 to 3, the control unit sends an instruction to increase the imaging sensitivity to the camera when the user recognition unit cannot detect the face information. You can also
(5) In the user recognition device according to the fourth aspect, the control means can also send a lighting instruction to the external device.
(6) In the user recognition device according to
(7) In the user recognition device according to
(8) In the user recognition device according to the fifth aspect, the illumination instruction may be an instruction for causing the video reproduction means to perform high-luminance display for a predetermined frame.
(9) In the user recognition device according to the fifth aspect, the illumination instruction may be an instruction that causes the camera to take an image at a timing at which a predetermined luminance is obtained.
(10) In the user recognition device according to any one of claims 1 to 9, when the user recognition unit cannot recognize the user from the detected face information, the information when the user is recognized in the past is displayed. Recognition by estimation can also be performed by referring to it.
(11) In the user recognition device according to
(12) A playback device according to the present invention includes a user recognition device according to any one of claims 1 to 11 and a playback source related to a user recognized by the user recognition device from a plurality of playback sources. Signal supply means for supplying the reproduction signal to the reproduction means.
(13) A reproduction system according to the present invention comprises the reproduction apparatus according to claim 12 and reproduction means for reproducing a reproduction signal of a reproduction source.
(14) A television set according to the present invention comprises the reproduction system according to claim 13 and demodulation means for receiving a television broadcast and obtaining a reproduction signal.
本発明によれば、カメラを用いた認識処理でユーザを認識しやすくなる。 According to the present invention, the user can be easily recognized by the recognition process using the camera.
以下、図面を参照して本発明を実施するための最良の形態について説明する。
（第一の実施形態）
図１は、本発明の第一の実施形態による再生装置１０を含めて構成した情報再生システムを例示する図である。情報再生システムは、再生装置１０、電子カメラ２０および表示モニタ３０を組み合わせて構成される。図１の例では、人物Ａ、人物Ｂおよび人物Ｃの３人が、当該情報再生システムによる表示映像および再生音楽を鑑賞する。
The best mode for carrying out the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a diagram illustrating an information reproduction system including a
表示モニタ３０は、液晶表示パネル、プラズマ表示パネル、ＣＲＴもしくは投射型表示器などの映像表示部と音響再生部とを有し、再生装置１０が供給する映像信号による画像の再生と、再生装置１０が供給する音響信号による音楽の再生とを行う。電子カメラ２０は、たとえば表示モニタ３０の近傍に載置され、表示モニタ３０を観察する人物Ａ〜人物Ｃを撮影し、撮影画像を再生装置１０へ送信する。
The
再生装置１０および表示モニタ３０間、ならびに再生装置１０および電子カメラ２０間の接続は、それぞれ図１のような無線接続で行っても、ケーブルを用いた有線接続で行ってもよい。
The connection between the
図２は、再生装置１０の構成例を説明するブロック図である。再生装置１０は、ＣＰＵ１０１と、メモリ１０２と、リモコン制御部１０３と、操作部材１０４と、表示部１０５と、外部インターフェイス(I/F)１０６と、電源回路１０７と、通信制御部１０８と、アンテナ１０９と、ＨＤＤ(Hard Disk Drive)１１０と、メモリスロット１１１と、ディスクドライブ１１２とを有する。
FIG. 2 is a block diagram illustrating a configuration example of the
コントローラであるＣＰＵ１０１は、制御プログラムに基づいて、再生装置１０を構成する各部から入力される信号を用いて所定の演算を行うなどして、再生装置１０の各部を制御する。なお、制御プログラムはＣＰＵ１０１内の不図示の不揮発性メモリに格納されている。
The
メモリ１０２はＣＰＵ１０１の作業用メモリとして使用される。リモコン制御部１０３は、リモコン送信機１１から送信される信号を受信し、受信信号に応じた操作信号をＣＰＵ１０１へ出力する。操作部材１０４は、再生装置１０の操作パネル上の操作スイッチなどを含み、操作されたスイッチに対応する操作信号をＣＰＵ１０１へ送出する。再生装置１０は、リモコン送信機１１および操作部材１０４のいずれからも操作可能に構成されている。
The
表示部１０５はＬＥＤや液晶表示器などによって構成され、ＣＰＵ１０１からの指示に応じて再生装置１０の動作状態などを示す表示を行う。外部インターフェイス１０６は、ＣＰＵ１０１からの指示により外部機器（コンピュータやビデオプレーヤー、ＴＶチューナー等）との間で不図示のケーブルを介してデータを送受信する。
The
電源回路１０７は、電源ケーブル１１３を介して供給される商用電源を再生装置１０内で必要な直流電源に変換し、再生装置１０の各部へ変換後の電源を供給する。ＨＤＤ１１０は、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。メモリスロット１１１にはメモリカード（不図示）が実装される。メモリカードは不揮発性メモリによって構成され、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。
The
ディスクドライブ１１２には、たとえば、不図示のＤＶＤ（Digital Video Disk）が実装される。ＤＶＤは、ＣＰＵ１０１の指示により、画像データ、音声データなどのデータの書き込み、保存および読み出しが可能である。
For example, a DVD (Digital Video Disk) (not shown) is mounted in the
通信制御部１０８は無線送受信回路を含み、ＣＰＵ１０１からの指示によって電子カメラ２０との間、および表示モニタ３０との間でそれぞれ通信を行う。電子カメラ２０との通信内容は、電子カメラ２０に対する制御情報、および電子カメラ２０で撮影された画像データなどである。表示モニタ３０との通信内容は、表示モニタ３０に対する制御情報、および表示モニタ３０で再生する映像信号および音響信号である。アンテナ１０９は通信制御部１０８の送受信アンテナである。
The
＜メイン処理＞
再生装置１０のＣＰＵ１０１が行うメイン処理の流れについて、図３のフローチャートを参照して説明する。図３の処理を行うプログラムは、再生装置１０のメインスイッチ（不図示）がオン操作され、電源回路１０７からＣＰＵ１０１へ電源供給が開始されると起動する。
<Main processing>
The flow of main processing performed by the
図３のステップＳ１において、ＣＰＵ１０１は自動起動設定されているか否かを判定する。自動起動は、スタートメニュー操作を介さずに認識処理、表示モニタ３０による再生動作へ進むことを許可する動作モードである。認識処理は、表示モニタ３０が再生する情報を視聴するユーザを電子カメラ２０で撮影し、撮影画像の中から所定の人物を認識する処理である。認識処理の詳細については後述する。ＣＰＵ１０１は、自動起動フラグがオンの場合にステップＳ１を肯定判定してステップＳ２へ進み、自動起動フラグがオフの場合にはステップＳ１を否定判定し、ステップＳ９へ進む。自動起動フラグは、後述する「利用者認識」メニューによって予め設定されている。
In step S1 of FIG. 3, the
ステップＳ９へ進む場合のＣＰＵ１０１は通常処理を行う。通常処理では、スタートメニュー操作を介して再生動作へ進む。ステップＳ９において、ＣＰＵ１０１は、スタートメニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させてステップＳ１０へ進む。図４は、表示モニタ３０に表示されるスタートメニュー画面を例示する図である。スタートメニュー画面には、「写真」アイコン、「ＭＯＶＩＥ」アイコン、「音楽」アイコン、および「利用者認識」アイコンが含まれる。
When proceeding to step S9, the
図３のステップＳ１０において、ＣＰＵ１０１はメニュー操作されたか否かを判定する。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から操作信号が入力されるとステップＳ１０を肯定判定してステップＳ１１へ進み、操作信号が入力されない場合には当該判定処理を繰り返す。
In step S10 of FIG. 3, the
＜メニュー処理＞
ステップＳ１１において、ＣＰＵ１０１はメニュー処理を行ってステップＳ８へ進む。メニュー処理の一例を説明する。図４において、「写真」アイコン、「ＭＯＶＩＥ」アイコンおよび「音楽」アイコンは、それぞれ表示モニタ３０で再生するコンテンツを表す。ユーザ（本例の場合は人物Ａ〜人物Ｃ）は、表示モニタ３０に表示されているアイコンの中から鑑賞したいコンテンツに対応するアイコン（たとえば、写真を鑑賞したい場合は「写真」アイコン）を選択する。ユーザがリモコン送信機１１または操作部材１０４を操作することにより、操作信号がＣＰＵ１０１へ入力される。
<Menu processing>
In step S11, the
ＣＰＵ１０１は、カーソルを移動させる操作信号がリモコン制御部１０３または操作部材１０４から入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアイコン（たとえば「写真」アイコン）を選択する。
When an operation signal for moving the cursor is input from the
＜写真鑑賞＞
「写真」アイコンを選択したＣＰＵ１０１は、「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図５は、表示モニタ３０に表示される「写真」メニュー画面を例示する図である。「写真」メニュー画面には、「正月」アルバムアイコン、「クリスマス」アルバムアイコン、「Ａ旅行」アルバムアイコン、「Ｂ旅行」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示には当該アルバム内の代表画像（サムネイル）を含め、アルバムに登録されていない画像ファイル名の表示はそのサムネイル画像を合わせて表示する。
<Photo appreciation>
The
ＣＰＵ１０１は、通常処理においてアルバムアイコンおよび画像ファイル名を表示させる際、作成日時が新しいものから順番に並べて表示させる。各アルバムを構成する画像ファイルおよびアルバム登録されていない画像ファイルは、通常ＨＤＤ１１０内に保存されているものを検索して表示するが、操作信号に応じてメモリスロット１１１内のメモリカードやディスクドライブ１１２内のＤＶＤからの検索も可能である。
When displaying the album icon and the image file name in the normal processing, the
「写真」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコンまたはファイル名上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアルバムアイコン（または画像ファイル）に対応する画像ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出す。
When the
ＣＰＵ１０１は、読み出した内容を表示モニタ３０に再生表示させるための映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によってアルバムなどの再生が行われる。なお、ＣＰＵ１０１は、再生する画像ファイルに音楽ファイルが関連づけられている場合、当該音楽ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によって再生される映像に合わせて音楽が再生される。
The
以上は写真鑑賞の例を説明したが、動画を鑑賞する「ＭＯＶＩＥ」アイコン、音楽を鑑賞する「音楽」アイコンが選択された場合も同様である。 Although an example of viewing photos has been described above, the same applies to the case where the “MOVIE” icon for viewing moving images and the “music” icon for viewing music are selected.
＜利用者認識＞
図４の「利用者認識」アイコンを選択したＣＰＵ１０１は、「利用者認識」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図６は、表示モニタ３０に表示される「利用者認識」メニュー画面を例示する図である。「利用者認識」メニュー画面には、「認識スタート」アイコン、「カメラセッティング」アイコン、「人物設定」アイコン、および「自動起動」アイコンが含まれる。
<User recognition>
The
「利用者認識」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。ＣＰＵ１０１はさらに、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その時点で表示モニタ３０の画面上でカーソルが位置するアイコンを選択する。
When the
「認識スタート」アイコンを選択したＣＰＵ１０１は、認識処理を開始する。認識処理の詳細については後述する。「カメラセッティング」アイコンを選択したＣＰＵ１０１は、認識処理に用いるカメラに対して必要な設定を行う。本実施形態では、電子カメラ２０を撮影モードで起動させる制御信号と、電子カメラ２０の撮影ズームレンズを広角側へ移動させる制御信号とを通信制御部１０８から送信させる。
The
「自動起動」アイコンを選択したＣＰＵ１０１は、上述した自動起動フラグのオン／オフ切替を行う。ＣＰＵ１０１は、自動起動設定オン（フラグオン）の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオフにし、自動起動設定オフ（フラグオフ）の状態で「自動起動」アイコンの選択操作が行われると自動起動設定フラグをオンにする。
The
「人物設定」アイコンを選択したＣＰＵ１０１は、上記認識処理を開始し、認識処理終了後に「人物設定」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図７は、表示モニタ３０に表示される「人物設定」メニュー画面を例示する図であり、「人物Ｂ」について設定が行われるメニュー画面である。「人物設定」メニュー画面には、人物の顔画像７１と、「オリジナルメニュー表示」アイコン、「画像の検索」アイコン、「マイアルバム表示」アイコン、および「操作音」アイコンが含まれる。「人物設定」メニュー画面は、認識処理によって認識、登録された人物ごとに表示の切替が可能に構成される。
The
「人物設定」メニュー画面を表示モニタ３０に表示させたＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４からカーソルを移動させる操作信号が入力されると、操作信号に応じてアイコン上のカーソル（不図示）を移動させるように映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。「オリジナルメニュー（カスタムメニューと記してもよい）表示」は、認識された人物（たとえば、人物Ｂ）によって予め登録されているユーザごとのメニューを、通常のスタートメニュー（図４）に代えて表示することを許可する機能である。
When the
「オリジナルメニュー表示」アイコンを選択したＣＰＵ１０１は、「オリジナルメニュー表示」機能のオン／オフ切替を行う。ＣＰＵ１０１は、オリジナルメニュー表示「オン」の選択操作が行われるとオリジナルメニュー表示を許可する。オリジナルメニューは、たとえば、通常のスタートメニューのうち所定のアイコンを非表示にしたり、通常のスタートメニューに含まれないアイコンを追加したりするものである。
The
ＣＰＵ１０１は、オリジナルメニュー表示「オフ」の選択操作が行われるとオリジナルメニュー表示を許可しない。ＣＰＵ１０１は、オリジナルメニュー表示「オフ」の場合は通常のスタートメニュー（図４）を表示させる。
The
「画像の検索」は、認識された人物（たとえば、人物Ｂ）を被写体として含むアルバムおよび画像ファイルを検索するか否かを指示する機能である。「画像の検索」アイコンを選択したＣＰＵ１０１は、「画像の検索」機能のオン／オフ切替を行う。ＣＰＵ１０１は、画像の検索「オン」の選択操作が行われると当該人物（本例では人物Ｂ）の顔画像を含むアルバム、画像ファイルの検索を許可し、画像の検索「オフ」の選択操作が行われると当該人物（人物Ｂ）の顔画像を検索対象から除外する。
“Image search” is a function for instructing whether or not to search for albums and image files that include a recognized person (for example, person B) as a subject. The
「マイアルバム表示」は、認識された人物（たとえば、人物Ｂ）によって予め登録されているアルバムを、通常の「写真」メニュー（図５）に加えて表示することを許可する機能である。「マイアルバム表示」アイコンを選択したＣＰＵ１０１は、「マイアルバム表示」機能のオン／オフ切替を行う。ＣＰＵ１０１は、マイアルバム表示「オン」の選択操作が行われるとマイアルバム表示を許可する。この場合の「写真」メニューには、「マイアルバム」アイコンが含まれる。
“My album display” is a function that allows an album registered in advance by a recognized person (for example, person B) to be displayed in addition to the normal “photo” menu (FIG. 5). The
ＣＰＵ１０１は、マイアルバム表示「オフ」の選択操作が行われるとマイアルバム表示を許可しない。ＣＰＵ１０１は、マイアルバム表示「オフ」の場合は通常の「写真」メニュー（図５）を表示する。
The
「操作音」は、再生装置１０が操作信号を受信した際の操作音の有無を指示する機能である。「操作音」アイコンを選択したＣＰＵ１０１は、「操作音」のオン／オフ切替を行う。ＣＰＵ１０１は、操作音「オン」の選択操作が行われると操作音の発生を許可し、操作信号を受信するごとに操作音を音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。
The “operation sound” is a function for instructing whether or not there is an operation sound when the
ＣＰＵ１０１は、操作音「オフ」の選択操作が行われると操作音の発生を禁止し、操作音を音響再生させる音響信号を通信制御部１０８から送信させない。
When the operation sound “OFF” is selected, the
上述した図３のステップＳ１を肯定判定してステップＳ２へ進む場合、ＣＰＵ１０１は自動起動処理を行う。ステップＳ２において、ＣＰＵ１０１は、認識処理を行ってステップＳ３へ進む。認識処理の詳細については後述する。
When making a positive determination in step S1 in FIG. 3 described above and proceeding to step S2, the
ステップＳ３において、ＣＰＵ１０１は、認識処理で認識した人物（たとえば、人物Ｂ）をユーザとしてステップＳ４へ進む。人物の認識は一人に限らず、複数の人物を認識することも可能である。ステップＳ４において、ＣＰＵ１０１は、ユーザの顔についてスキャン動作を行う。具体的には、予め指定されている領域（ＨＤＤ１１０、メモリカードおよびＤＶＤ内で指定された記憶領域）に格納されているアルバム、画像ファイルのうち認識したユーザ（本例では人物Ｂ）の顔画像を含むアルバム、画像ファイルを検索する。
In step S3, the
スキャン動作には、特開２００２−３３３６５２号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔を検出し、検出した顔のうち予め登録されている容貌情報と合致する顔を検出するものである。ステップＳ４のスキャン動作では、各アルバムおよび各画像ファイルから人物の顔を検出し、検出した顔のうちユーザの顔について予め登録されている容貌情報（本例では人物Ｂについての容貌情報）と合致する顔を検出する。ＣＰＵ１０１は、ユーザの顔（本例では人物Ｂの顔）が被写体として含まれている各アルバム、各画像ファイルの名称および格納場所を示す情報をメモリ内に保存してステップＳ５へ進む。
For the scanning operation, a technique disclosed in Japanese Patent Application Laid-Open No. 2002-333651 is used. The technique disclosed in the above publication detects a human face from a photographed image, and detects a face that matches face information registered in advance among the detected faces. In the scanning operation of step S4, the face of a person is detected from each album and each image file, and matches the appearance information registered in advance for the user's face among the detected faces (appearance information about person B in this example). Detect the face you want. The
スキャン動作において各アルバムおよび各画像ファイルから検出した人物の顔画像のみを、参照用の顔情報ファイルとして当該アルバムおよび当該画像ファイルに関連づけてＨＤＤ１１０（メモリカードおよびＤＶＤ内でもよい）に保存するようにしてもよい。この場合には、各アルバムおよび各画像ファイルから人物の顔を検出する代わりに、参照用の顔情報ファイルから人物の顔を検出すればよいので、各アルバムおよび各画像ファイルから人物の顔を検出する場合に比べて、次回以降のスキャン速度を速めることができる。なお、各アルバムおよび各画像ファイルがＨＤＤ１１０（メモリカードおよびＤＶＤ内でもよい）に蓄積された時点で、参照用の顔情報ファイルを生成する構成にしても構わない。 Only the face image of the person detected from each album and each image file in the scanning operation is stored in the HDD 110 (may be in a memory card or DVD) as a reference face information file in association with the album and the image file. May be. In this case, instead of detecting the person's face from each album and each image file, the person's face may be detected from the reference face information file, so the person's face is detected from each album and each image file. Compared to the case, the scanning speed from the next time onward can be increased. Note that a reference face information file may be generated when each album and each image file is stored in the HDD 110 (may be in a memory card or a DVD).
ステップＳ５において、ＣＰＵ１０１は、ユーザの顔が含まれるアルバムおよび画像ファイルを表示モニタ３０にサムネイル表示させてステップＳ６へ進む。具体的には、認識した人物に関する「写真」メニュー画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。図８は、表示モニタ３０に表示される人物Ｂについての「写真」メニュー画面を例示する図である。ＣＰＵ１０１は、人物Ｂの顔がより多く含まれる（登場する）順に、アルバムアイコンおよび画像ファイル名を並べて表示させる。
In step S5, the
図８の例では、「Ａ旅行」アルバムアイコン、「Ｂ旅行」アルバムアイコン、「クリスマス」アルバムアイコン、「正月」アルバムアイコン、アルバムに登録されていない画像ファイル名が含まれる。アルバムアイコンの表示にアルバム内の代表画像（サムネイル）を含める点、およびアルバムに登録されていない画像ファイル名の表示はそのサムネイル画像とともに表示する点は、図５の場合と同様である。 In the example of FIG. 8, an “A trip” album icon, a “B trip” album icon, a “Christmas” album icon, a “New Year” album icon, and an image file name not registered in the album are included. The point that the representative image (thumbnail) in the album is included in the display of the album icon, and the display of the image file name that is not registered in the album is displayed together with the thumbnail image, as in FIG.
人物Ｂの他にも人物（人物Ａ、人物Ｃ）を認識している場合におけるステップＳ５のサムネイル表示は、最も数多くの顔が含まれる人物から順番に表示する。ＣＰＵ１０１は、ページ切替を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その次に多くの顔が含まれる人物（たとえば人物Ａ）についてのサムネイル表示を行わせる。このように、ページ切替を示す操作信号が入力されるごとに、認識しているそれぞれの人物に関するアルバムや画像ファイル等のサムネイル表示が行われる。
When the person (person A, person C) is recognized in addition to the person B, the thumbnail display in step S5 is displayed in order from the person including the most faces. When an operation signal instructing page switching is input from the remote
なお、ユーザ認識した人物の顔が含まれるアルバムおよび画像ファイルが存在しない場合や、認識処理において抽出された全ての顔が未登録である場合には、上記通常処理において行う表示（ステップＳ１１）と同様に、作成日時が新しいものから順番にアルバムアイコンおよび画像ファイル名を表示させる。この場合、当該再生装置１０の所有者が予め登録した画像（たとえば、お気に入りフォルダに格納されている画像）をサムネイル表示に含める構成にしてもよい。 If there is no album or image file that includes the face of the user recognized by the user, or if all faces extracted in the recognition process are unregistered, the display performed in the normal process (step S11) Similarly, album icons and image file names are displayed in order from the latest creation date. In this case, an image registered in advance by the owner of the playback device 10 (for example, an image stored in a favorite folder) may be included in the thumbnail display.
図３のステップＳ６において、ＣＰＵ１０１は選択指示されたか否かを判定する。ＣＰＵ１０１は、「ＯＫ」ボタン操作を示す操作信号がリモコン制御部１０３または操作部材１０４から入力されるとステップＳ６を肯定判定してステップＳ７へ進み、「ＯＫ」ボタン操作を示す操作信号が入力されない場合にはステップＳ６を否定判定し、ステップＳ１２へ進む。アイコンまたはファイル名上のカーソル（不図示）は、リモコン制御部１０３または操作部材１０４からの操作信号に応じて移動するようにＣＰＵ１０１が映像信号を生成する。生成した信号は、通信制御部１０８から表示モニタ３０へ送信される。
In step S6 of FIG. 3, the
ステップＳ７において、ＣＰＵ１０１は再生動作を開始させてステップＳ８へ進む。具体的には、表示モニタ３０の画面上でカーソルが位置するアルバムアイコン（または画像ファイル）に対応する画像ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に再生表示させるための映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。これにより、表示モニタ３０によってアルバムなどの再生が行われる。
In step S7, the
なお、再生する画像ファイルに音楽ファイルが関連づけられている場合は、当該音楽ファイルをＨＤＤ１１０（またはメモリカード、もしくはＤＶＤ）から読み出し、読み出した内容を表示モニタ３０に音響再生させるための音響信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。選択指示後の再生は、ステップＳ１１の写真鑑賞に関して説明した内容と同様である。
If a music file is associated with the image file to be played back, the music file is read from the HDD 110 (or memory card or DVD), and an audio signal for causing the display monitor 30 to play back the sound is generated. Then, the generated signal is transmitted from the
ステップＳ８において、ＣＰＵ１０１は、終了指示されたか否かを判定する。ＣＰＵ１０１は、終了を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されるとステップＳ８を肯定判定し、所定の電源オフ処理を行って図３によるメイン処理を終了する。ＣＰＵ１０１は、終了を指示する操作信号が入力されない場合にはステップＳ８を否定判定し、ステップＳ１へ戻る。
In step S8, the
ステップＳ１へ戻る場合は再び認識処理（ステップＳ２）を行うので、前回の認識処理時と異なるユーザが表示モニタ３０を観察している場合には新たなユーザが認識され、認識された人物についての「写真」メニュー画面が表示モニタ３０に表示される（ステップＳ５）。
When returning to step S1, the recognition process (step S2) is performed again. Therefore, when a user different from the previous recognition process is observing the
ステップＳ６を否定判定して進むステップＳ１２において、ＣＰＵ１０１はメニュー操作されたか否かを判定する。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から操作信号が入力されるとステップＳ１２を肯定判定してステップＳ９へ戻り、操作信号が入力されない場合にはステップＳ６へ戻る。
In step S12, which proceeds with a negative determination in step S6, the
＜認識処理＞
認識処理の詳細について、図９のフローチャートを参照して説明する。図９のステップＳ２１において、ＣＰＵ１０１はカメラ撮影を指示してステップＳ２２へ進む。具体的には、撮影を指示する制御信号と、撮影画像を再生装置１０へ送信する指示の制御信号とを通信制御部１０８から電子カメラ２０へ送信させる。これにより、撮影を行った電子カメラ２０から再生装置１０へ撮影画像が送信される。電子カメラ２０は、撮影画像を送信後に当該画像データを保存しない（消去する）ように制御される。
<Recognition process>
Details of the recognition processing will be described with reference to the flowchart of FIG. In step S21 of FIG. 9, the
電子カメラ２０は、撮影を指示する制御信号を受けると作動ランプ２０ａ（図１）を点灯させ、情報再生システムが利用者を撮影して利用者認識処理を行うことを表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせる。なお、再生装置１０自身が認識処理ランプ１０ａ（図１）を点灯させ、上記人物Ａ〜人物Ｃへ電子カメラ２０が作動中であることを知らせる構成にしてもよい。さらにまた、カメラマーク３０ａ（図１）もしくは電子カメラ２０から送信された撮影画像３０ｂ（図１）を表示モニタ３０上の表示内容に含めるための映像信号を再生装置１０が生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させることにより、表示モニタ３０の表示によって上記人物Ａ〜人物Ｃへ電子カメラ２０が作動中であることを知らせる構成にしてもよい。
When the
図９のステップＳ２２において、ＣＰＵ１０１は、通信制御部１０８で受信された撮影画像について顔抽出を行ってステップＳ２３へ進む。ステップＳ２２以降ステップＳ２５までの処理は、たとえば、特開平９−２５１５３４号公報に開示されている技術を用いる。上記公報に開示される技術は、撮影画像から人物の顔領域を抽出し、抽出した顔領域から特徴点データ（目、鼻の位置など）を取得し、この特徴点データを用いて予め登録されている人物を識別するものである。
In step S22 of FIG. 9, the
ＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、電子カメラ２０が撮影した画像を表示モニタ３０に行わせる。図１０は、この時点において表示モニタ３０に表示される画面を例示する図である。図１０において、人物Ａ、人物Ｂおよび人物Ｃの３人が表示されている。撮影画像の左右を反転した画像を再生表示する構成とすれば、表示画面を観察する人物Ａ、人物Ｂおよび人物Ｃの３人にとって、表示されている人物と自己との対応関係がわかりやすい。
The
図９のステップＳ２３において、ＣＰＵ１０１は抽出した顔領域から特徴点データを取得し、取得したデータをメモリを一時記憶してステップＳ２４へ進む。ステップＳ２４において、ＣＰＵ１０１はデータベースとの照合を行う。具体的には、一時記憶した特徴点データから生成される正規化画像と、予めデータベースに登録されている登録者の辞書画像とを比較してステップＳ２５へ進む。
In step S23 of FIG. 9, the
ステップＳ２５において、ＣＰＵ１０１は上記照合によって算出される類似度が所定値以上か否かを判定する。ＣＰＵ１０１は、抽出した全ての顔について、上記正規化画像との間の類似度が所定値以上となる辞書画像がデータベースに登録されている場合、ステップＳ２５を肯定判定してステップＳ２６へ進む。この場合は、人物Ａ、人物Ｂおよび人物Ｃの３人がいずれも認証された場合である。抽出した顔の人物を認証したＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、表示モニタ３０に表示中の撮影画像に重ねて、抽出した各々の顔を囲む枠（人物Ａ〜Ｃの３人を認証した場合は枠Ｐ１〜Ｐ３）をオーバーレイ表示させる（図１０）。ステップＳ２６において、ＣＰＵ１０１は、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除して図９による処理を終了する。
In step S25, the
一方、ＣＰＵ１０１は、抽出した少なくとも１つの顔について、上記正規化画像との間で類似度が所定値以上となる辞書画像がデータベースに登録されていなければ、ステップＳ２５を否定判定してステップＳ２７へ進む。たとえば、人物Ａおよび人物Ｃを認証し、人物Ｂを認証していない場合、図１０において枠Ｐ１およびＰ３がオーバーレイ表示される。
On the other hand, the
ステップＳ２７において、ＣＰＵ１０１は登録指示操作されたか否かを判定する。ＣＰＵ１０１は、通信制御部１０８へ指示および映像信号を送り、たとえば、「ユーザ登録しますか？」というメッセージを、表示モニタ３０に表示中の撮影画像に重ねてオーバーレイ表示させる。ＣＰＵ１０１は、リモコン制御部１０３または操作部材１０４から登録指示を示す操作信号が入力されるとステップＳ２７を肯定判定してステップＳ２８へ進み、登録指示を示す操作信号が入力されない場合にはステップＳ２７を否定判定してステップＳ２９へ進む。
In step S27, the
ステップＳ２８において、ＣＰＵ１０１は、抽出されている顔であって、未登録の顔画像（たとえば人物Ｂ）を辞書画像として登録するとともに、通信制御部１０８へ指示および映像信号を送り、表示モニタ３０に表示中の撮影画像に重ねて、登録した顔を囲む二重枠（Ｐ２）をオーバーレイ表示させる。ＣＰＵ１０１はさらに、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図９による処理を終了する。
In step S <b> 28, the
ステップＳ２９において、ＣＰＵ１０１は、電子カメラ２０から受信した撮影画像、一時記憶した特徴点データおよびこのデータから生成した正規化画像をメモリから削除し、図９による処理を終了する。
In step S29, the
以上説明した第一の実施形態によれば、次の作用効果が得られる。
＜使い勝手について＞
（１）情報再生システムは、視聴するユーザを認識し、システム内に有する再生ソースの中から認識したユーザに関連する再生ソースを自動的に選ぶ（ステップＳ４）。これにより、たとえばユーザが視聴位置に座った場合、当該ユーザが被写体として登場する画像や、この画像に関連づけられている音楽が自動的に選択される。ユーザは、再生して欲しい再生ソースの情報を予め情報再生システムに入れておかなくてもよく、使い勝手がよい情報再生システムを提供できる。
According to the first embodiment described above, the following operational effects can be obtained.
<About usability>
(1) The information reproduction system recognizes the user to view and automatically selects a reproduction source related to the recognized user from the reproduction sources included in the system (step S4). Thereby, for example, when a user sits at the viewing position, an image in which the user appears as a subject and music associated with the image are automatically selected. The user does not need to store information on a reproduction source desired to be reproduced in advance in the information reproduction system, and can provide an information reproduction system that is easy to use.
（２）情報再生システムは、認識したユーザの顔がより多く含まれる順に選んだ再生ソースのサムネイル画像を表示モニタ３０上に提示した（ステップＳ５）ので、ユーザは、再生ソースの中身を確認しなくても、自身が最もたくさん登場する再生ソースを知ることができる。 (2) Since the information reproduction system presented on the display monitor 30 thumbnail images of reproduction sources selected in the order in which more recognized user faces are included (step S5), the user confirms the contents of the reproduction source. Even without it, you can know the playback source that appears the most.
（３）情報再生システムは、サムネイル表示した再生ソースの中から選択指示されたものを再生する（ステップＳ７）ので、ユーザは、視聴したい再生ソースを簡単に視聴できる。 (3) Since the information reproduction system reproduces the reproduction source selected from the thumbnail-displayed reproduction sources (step S7), the user can easily view the reproduction source desired to view.
（４）情報再生システムは、ユーザ認識処理を行わない通常処理においてアルバムアイコンおよび画像ファイル名を表示モニタ３０上に提示する際（ステップＳ１１）、作成日時が新しいものから順番に示したので、ユーザは、再生ソースの中身を確認しなくても、最も新しい再生ソースを知ることができる。 (4) When the information reproduction system presents the album icon and the image file name on the display monitor 30 in the normal process in which the user recognition process is not performed (step S11), since the creation date and time are shown in order from the newest, the user Can know the newest playback source without checking the contents of the playback source.
＜プライバシー保護について＞
（５）情報再生システムは、電子カメラ２０に作動ランプ２０ａ（図１）を点灯させたり、再生装置１０に作動ランプ１０ａを点灯させたり、表示モニタ３０による表示内容にカメラマーク３０ａをオーバーレイ表示もしくは撮影画像３０ｂを重ねる（ピクチャー・イン・ピクチャー）ことによって、ユーザを認識する処理を行うことを表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせるようにしたので、利用者が知らないうちに認識処理を行うことが防止される。
<Privacy protection>
(5) In the information reproduction system, the
（６）再生装置１０は、認識処理において抽出した未登録の顔画像のうち、登録が指示された顔画像を辞書画像として登録する（ステップＳ２８）場合を除き、ステップＳ２３において一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除する（ステップＳ２６、ステップＳ２９、ステップＳ２８後段）。また、再生装置１０へ撮影画像を送信後に当該画像データを保存しない（消去する）ように電子カメラ２０を制御したので、認識処理で撮影した画像がシステム内に残らず、ユーザのプライバシーに配慮した情報再生システムを提供できる。
(6) The
（変形例１）
カメラマーク３０ａの代わりに「カメラ作動中」のようなメッセージを表示モニタ３０に表示させてもよい。
(Modification 1)
A message such as “camera operating” may be displayed on the display monitor 30 instead of the
（変形例２）
上記ステップＳ１を肯定判定した以降の自動起動処理は、「人物Ｂ」についての「人物設定」メニューにおいて画像の検索が「オン」選択されている場合を例に説明した。すなわち、認識した「人物Ｂ」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ３０に表示させた（ステップＳ５）。これに対し、「人物Ｂ」についての「人物設定」メニューにおいて画像の検索が「オフ」選択されている場合には、当該人物Ｂの顔画像を検索対象から除外する。この場合のステップＳ５においては、人物Ｂを除く他の認識ユーザ（たとえば、人物Ａ）が被写体となっている画像や、この画像に関連づけられている音楽を自動的に選択でき、「人物Ａ」の顔がより多く含まれる再生ソースのサムネイル画像を表示モニタ３０に表示できる。この結果、「人物Ｂ」がゲストとして「人物Ａ」を招いた場合、ゲストがより多く登場する再生ソースを優先して選ぶことができる。
(Modification 2)
The automatic activation process after the affirmative determination in step S1 has been described by taking as an example a case where “ON” is selected for image search in the “person setting” menu for “person B”. That is, a thumbnail image of a reproduction source including more recognized faces of “person B” is displayed on the display monitor 30 (step S5). On the other hand, when “OFF” is selected as the image search in the “person setting” menu for “person B”, the face image of the person B is excluded from the search target. In this case, in step S5, an image in which another recognized user other than the person B (for example, the person A) is the subject and music associated with the image can be automatically selected. Can be displayed on the
（変形例３）
複数の人物を認識している場合におけるステップＳ５のサムネイル表示の例として、再生ソースに最も数多くの顔が含まれる人物から順番に表示するように説明した。この代わりに、予め登録されている人物の優先順位に基づいて表示するようにしてもよい。たとえば、人物Ａ〜人物Ｃの優先順が人物Ｃ、人物Ａ，人物Ｂの順番で登録されている場合、再生ソースに登場する数にかかわらず、人物Ｃ、人物Ａ，人物Ｂの順番でサムネイル表示を行う。ＣＰＵ１０１は、ページ切替を指示する操作信号がリモコン制御部１０３または操作部材１０４から入力されると、その次の優先順位の人物についてのサムネイル表示を行わせる。このように、優先した人物に関するアルバムや画像ファイル等のサムネイル表示を簡単に行うことができる。
(Modification 3)
As an example of the thumbnail display in step S5 in the case where a plurality of persons are recognized, the description has been made so that the playback source is displayed in order from the person including the largest number of faces. Instead, it may be displayed based on the priority order of the persons registered in advance. For example, if the priority order of person A to person C is registered in the order of person C, person A, person B, thumbnails in the order of person C, person A, person B, regardless of the number appearing in the playback source. Display. When an operation signal instructing page switching is input from the remote
（変形例４）
複数の人物を認識した場合に認識した人物の一覧を表示モニタ３０に表示させ、その一覧の中からリモコン制御部１０３または操作部材１０４からの操作信号によって優先順位を定めたり、検索対象から除外する人物を選択するように構成してもよい。
(Modification 4)
When a plurality of persons are recognized, a list of recognized persons is displayed on the
（変形例５）
以上の説明では、抽出した少なくとも１つの顔が未登録（すなわち、類似度が所定値以上となる辞書画像がデータベースに登録されていない）である場合に登録指示操作されたか否かの判定処理（ステップＳ２７）へ進むようにしたが、その前に、たとえば「利用者認識を行いますか？」というメッセージを表示モニタ３０に表示させた上で、リモコン制御部１０３または操作部材１０４から「ＯＫ」を示す操作信号が入力された場合にステップＳ２７へ進むようにしてもよい。「ＯＫ」を示す操作信号が入力されない場合は、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を防止できる。
(Modification 5)
In the above description, it is determined whether or not a registration instruction operation has been performed when the extracted at least one face is unregistered (that is, a dictionary image having a similarity greater than or equal to a predetermined value is not registered in the database). Before proceeding to step S27), for example, a message “Do you want to recognize the user?” Is displayed on the
（変形例６）
また、ステップＳ２５を否定判定した場合、抽出した全ての顔が未登録であれば認識処理を中止する構成としてもよい。この場合には、人物Ａ、人物Ｂおよび人物Ｃの３人がいずれも認証されない場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、視聴者全員が未登録の状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。
(Modification 6)
Moreover, when negative determination is made in step S25, the recognition process may be stopped if all the extracted faces are not registered. In this case, when none of the three persons, person A, person B, and person C, is authenticated, for example, the message “Release automatic start setting” is displayed on the
（変形例７）
また、特定のユーザを認識した場合に通常処理へ移る構成としてもよい。この場合には、登録済みの人物のうち、予め指定されている人物が認証された場合に、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、一時記憶した特徴点データおよびこのデータから生成した正規化画像、ならびに電子カメラ２０から受信した撮影画像をメモリから削除し、上述した自動起動フラグをオフにして図９による処理を終了する。これにより、特定の人物が視聴する状況では、情報再生システムに通常処理を行わせることができる。この場合、当該特定の人物が認証されなくなった場合に自動起動フラグをオンに戻してもよい。
(Modification 7)
Moreover, it is good also as a structure which transfers to a normal process, when a specific user is recognized. In this case, when a predesignated person is authenticated among registered persons, for example, a message “Release automatic start setting” is displayed on the
（変形例８）
電子カメラ２０が非作動中に撮影レンズのレンズバリアを閉じる構成にしてもよい。電子カメラ２０が作動ランプ２０ａを有していない場合には、レンズバリアの開鎖によってユーザを認識する処理が行われることを、レンズバリアの開鎖によってユーザを認識する処理が行われないことを、それぞれ表示モニタ３０を観察する人物Ａ〜人物Ｃに知らせることができる。
(Modification 8)
The lens barrier of the photographing lens may be closed while the
（変形例９）
図１に例示した情報再生システムは、再生装置１０および電子カメラ２０間を無線または有線で接続するものであるが、図１１に例示するように、再生装置１０の接続部１５に外部機器である電子カメラ２０を直接ドッキングさせる構成としてもよい。
(Modification 9)
The information reproduction system illustrated in FIG. 1 connects the
（変形例１０）
また、外部機器である電子カメラ２０をクレードル２５上に載置し、クレードル２５と再生装置１０とを有線または無線で接続する構成としてもよい。
(Modification 10)
Alternatively, the
（変形例１１）
さらに、クレードル２５にカメラ２５ａを内蔵し、電子カメラ２０を用いずにクレードル２５を介して認識処理を行う構成としてもよい。この場合の再生装置１０は、外部機器であるクレードル２５にカメラ撮影を指示する。具体的には、カメラ２５ａによる撮影を指示する制御信号と、撮影画像を再生装置１０へ送信する指示の制御信号とを外部インターフェイス１０６から送信させる。これにより、撮影を行ったクレードル２５から再生装置１０へ撮影画像が送信される。クレードル２５が撮影画像を送信後に当該画像データを保存しない点は、電子カメラ２０を用いて認識処理を行う場合と同様である。
(Modification 11)
Furthermore, the
（変形例１２）
再生装置１０の外部インターフェイス１０６にネットワークカメラ２１を接続し、外部機器としてのネットワークカメラ２１で得られる画像を用いて認識処理を行うようにしてもよい。ＬＡＮ接続の代わりにＵＳＢ接続するものでよい。
(Modification 12)
The
（第二の実施形態）
図１２は、本発明の第二の実施形態による認識処理の流れを説明するフローチャートである。図１２の処理は、ＣＰＵ１０１が図９の処理に代えて実行する。図９および図１２間の相違点は、図１２においてステップＳ２２およびステップＳ２３間にステップＳ３１〜ステップＳ３６が追加される点と、ステップＳ２５を否定判定後にステップＳ２５Ａが追加される点であるので、これら相違点を中心に説明する。
(Second embodiment)
FIG. 12 is a flowchart illustrating the flow of recognition processing according to the second embodiment of the present invention. The
ステップＳ２２の次に進むステップＳ３１において、ＣＰＵ１０１は、顔領域を抽出したか否かを判定する。ＣＰＵ１０１は、人物の顔を抽出した場合にステップＳ３１を肯定判定してステップＳ２３へ進み、人物の顔を抽出しなかった場合にはステップＳ３１を否定判定してステップＳ３２へ進む。
In step S31 that follows step S22, the
ステップＳ３２において、ＣＰＵ１０１は、電子カメラ２０の撮影ズームレンズが広角端か否かを判定する。ＣＰＵ１０１は、通信制御部１０８で受信される電子カメラ２０の情報がズーム広角端を示す場合にステップＳ３２を肯定判定してステップＳ３４へ進み、ズーム広角端を示さない場合にはステップＳ３２を否定判定し、ステップＳ３３へ進む。
In step S32, the
ステップＳ３３において、ＣＰＵ１０１は通信制御部１０８へ指示を送り、電子カメラ２０の撮影ズームレンズを広角側へ移動させる制御信号を送信させてステップＳ３４へ進む。ステップＳ３４において、ＣＰＵ１０１は、ステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数（たとえば６０回）繰り返したか否かを判定する。ＣＰＵ１０１は、繰り返し回数が所定回数に達した場合にステップＳ３４を肯定判定してステップＳ３５へ進み、繰り返し回数が所定回数に満たない場合にはステップＳ３４を否定判定してステップＳ３６へ進む。
In step S33, the
ステップＳ３５において、ＣＰＵ１０１は、たとえば「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた上で、上述した自動起動フラグをオフにして図１２による処理を終了する。これにより、顔抽出できない状況では情報再生システムに通常処理を行わせる。ステップＳ３６において、ＣＰＵ１０１はウェイト（たとえば１秒間）を挿入してステップＳ２１へ戻る。これにより、１秒間隔で顔抽出が再度行われる。
In step S <b> 35, the
ステップＳ２５を否定判定して進むステップＳ２５Ａにおいて、ＣＰＵ１０１は、利用者データと合致するか否かを判定する。利用者データは、ステップＳ２４で用いられる登録者の辞書画像とともにデータベースに含まれるデータであり、その登録者が過去に認証された曜日、時間帯および同時期に認証された人物などを示す。ＣＰＵ１０１は、正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照する。参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも１つについて利用者データと合致すれば、ステップＳ２５Ａを肯定判定してステップＳ２６へ進む。
In step S25A, which proceeds after making a negative determination in step S25, the
一方、ＣＰＵ１０１は、利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物のいずれもが利用者データと合致しない場合には、ステップＳ２５Ａを否定判定してステップＳ２７へ進む。
On the other hand, as a result of referring to the user data, if none of the day of the week, the time zone, and the authenticated person matches the user data, the
以上説明した第二の実施形態によれば、次の作用効果が得られる。
＜ユーザを特定できない場合の対応について＞
（１）認識処理でユーザを認識できない場合、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ２０の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
According to the second embodiment described above, the following operational effects can be obtained.
<Actions when the user cannot be identified>
(1) If the user cannot be recognized by the recognition process, the recognition process is repeated until the predetermined number of times is reached. Therefore, even if the user's face does not face the direction of the
（２）ステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフ（ステップＳ３５）にする。これにより、ユーザを特定できない状況では情報再生システムに通常処理を行わせて、無駄な認識処理を繰り返すことを防止できる。 (2) If the user cannot be specified even after repeating step S21 (camera shooting) and step S22 (face extraction) a predetermined number of times, the automatic activation flag is turned off (step S35). As a result, in a situation where the user cannot be specified, it is possible to prevent the information reproduction system from performing normal processing and to repeat useless recognition processing.
（３）電子カメラ２０の撮影ズームレンズが広角端になければ広角側へレンズ移動させ（ステップＳ３３）、再度認識処理を繰り返すようにしたので、たまたまユーザの顔が撮影画角内に入らないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
(3) If the photographing zoom lens of the
（４）正規化画像との間で類似度が所定値以上とならないものの、類似の辞書画像がデータベースに登録されている場合は当該辞書画像に関連づけられている利用者データを参照することによってユーザを認証する（ステップＳ２５Ａ）ようにした。利用者データを参照した結果、曜日、時間帯、およびいっしょに認証された人物の少なくとも１つが利用者データと合致すれば、正規化画像の人物が当該類似の辞書画像の登録者であると推定し、認証を行う。この結果、ユーザの顔が横向きであっても、認識する可能性を高めることができる。 (4) If the similarity between the normalized image and the normalized image does not exceed a predetermined value, but a similar dictionary image is registered in the database, the user is referred to by referring to user data associated with the dictionary image. Is authenticated (step S25A). As a result of referring to the user data, if at least one of the day of the week, the time zone, and the person authenticated together matches the user data, the person of the normalized image is estimated to be the registrant of the similar dictionary image. And authenticate. As a result, it is possible to increase the possibility of recognition even if the user's face is sideways.
（第三の実施形態）
図１３は、本発明の第三の実施形態による認識処理の流れを説明するフローチャートである。図１３の処理は、ＣＰＵ１０１が図１２の処理に代えて実行する。図１２および図１３間の相違点は、図１３においてステップＳ３２〜ステップＳ３６の代わりにステップＳ４１〜ステップＳ４７が追加される点であるので、これら相違点を中心に説明する。
(Third embodiment)
FIG. 13 is a flowchart for explaining the flow of recognition processing according to the third embodiment of the present invention. The
ステップＳ３１を否定判定して進むステップＳ４１において、ＣＰＵ１０１は輝度がＯＫか否かを判定する。ＣＰＵ１０１は、電子カメラ２０から送信された画像データが示す明るさが所定値以上であればステップＳ４１を肯定判定してステップＳ４５へ進み、明るさが所定値未満であればステップＳ４１を否定判定してステップＳ４２へ進む。
In step S41, which proceeds after making a negative determination in step S31, the
ステップＳ４２において、ＣＰＵ１０１は電子カメラ２０の撮像感度をアップ済みか否かを判定する。ＣＰＵ１０１は、通信制御部１０８で受信される電子カメラ２０の情報が感度アップしたことを示す場合にステップＳ４２を肯定判定してステップＳ４３へ進み、感度アップしたことを示さない場合にはステップＳ４２を否定判定し、ステップＳ４４へ進む。
In step S42, the
ステップＳ４３において、ＣＰＵ１０１は照明指示を行う。照明指示は次の４通りがあり、ＣＰＵ１０１は４通りの照明指示のうち、予め選択指示されている照明指示を行ってステップＳ４５へ進む。
（照明指示１）
カメラ撮影時（ステップＳ２１）に電子カメラ２０に照明光を発光させる。照明指示１を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、撮影時に電子カメラ２０の照明装置から照明光を発するように電子カメラ２０へ制御信号を送信させる。照明光量は、顔検出に必要な最小限の微弱な発光量でよい。
In step S43, the
(Lighting instructions 1)
At the time of camera shooting (step S21), the
（照明指示２）
情報再生システムが置かれている室内の照明光の光量をアップさせる。照明指示２を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、不図示の室内照明装置が発する光量を増やすように制御信号を送信させる。
(Lighting instruction 2)
Increase the amount of illumination light in the room where the information reproduction system is located. The
（照明指示３）
カメラ撮影時（ステップＳ２１）に表示モニタ３０に所定数フレーム（本例では１フレーム）分の高輝度表示（たとえば、白色表示）を行わせる。照明指示３を行うＣＰＵ１０１は、白色画面の表示に必要な映像信号を生成し、生成した信号を通信制御部１０８から表示モニタ３０へ送信させる。白色画面は、表示モニタ３０に表示中のメニュー画面または再生映像などの１コマとして挿入させる。通信制御部１０８は、電子カメラ２０に対する撮影指示と表示モニタ３０に対する高輝度表示指示とが同期するように、それぞれの制御信号を送信する。
(Lighting instructions 3)
At the time of camera photographing (step S21), the display monitor 30 is made to display a high-luminance display (for example, white display) for a predetermined number of frames (one frame in this example). The
（照明指示４）
所定以上の明るさが得られる状態で電子カメラ２０にカメラ撮影（ステップＳ２１）を行わせる。照明指示４を行うＣＰＵ１０１は、通信制御部１０８へ指示を送り、所定輝度が得られるタイミングで撮影するように電子カメラ２０へ制御信号を送信させる。この制御信号を受けた電子カメラ２０は、たとえば、１秒当たり６０フレームで撮像を繰り返し、画像データが示す明るさが所定値以上であることを検出すると撮影（ステップＳ２１）を行い、この撮影画像を再生装置１０へ送信する。ＣＰＵ１０１は、送信された撮影画像を用いて顔抽出を行う（ステップＳ２２）。照明指示４を行う場合の情報再生システムは、所定値以上の明るさを検出するまで認識処理を中断することになる。
(Lighting instructions 4)
The
ステップＳ４４において、ＣＰＵ１０１は通信制御部１０８へ指示を送り、電子カメラ２０の撮像感度をアップさせる制御信号を送信させてステップＳ４５へ進む。ステップＳ４５〜ステップＳ４７の各処理は、図１２におけるステップＳ３４〜ステップＳ３６の各処理と同様なので説明を省略する。
In step S44, the
以上説明した第三の実施形態によれば、次の作用効果が得られる。
＜ユーザを特定できない場合の対応について＞
According to the third embodiment described above, the following operational effects can be obtained.
<Actions when the user cannot be identified>
（１）低輝度の場合、電子カメラ２０が撮影感度アップしていなければ感度をアップさせ（ステップＳ４４）、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。
(1) In the case of low brightness, if the
（２）低輝度の場合、電子カメラ２０が撮影感度アップ済みであれば照明指示を行い（ステップＳ４３）、再度認識処理を繰り返すようにしたので、再度の認識処理によってユーザを認識する可能性を高められる。
(2) In the case of low brightness, if the
（３）照明指示１を行うことにより、カメラ撮影時（ステップＳ２１）に電子カメラ２０の照明装置から顔検出に必要な最小限の微弱な光を発光させるので、表示モニタ３０を観察するユーザが眩しく感じることがない。
(3) By performing the illumination instruction 1, the minimum feeble light necessary for face detection is emitted from the illumination device of the
（４）照明指示２を行うことにより、室内照明光の光量をアップさせるので、表示モニタ３０を観察するユーザが眩しく感じることがない。 (4) Since the amount of room illumination light is increased by performing the illumination instruction 2, the user who observes the display monitor 30 does not feel dazzling.
（５）照明指示３を行うことにより、カメラ撮影時（ステップＳ２１）に表示モニタ３０に１フレーム分白色表示させるので、電子カメラ２０は白色画面に照らされたユーザを撮影できる。一方、表示モニタ３０を観察するユーザは白色表示に気づかないため、白色表示を不快に感じることがない。
(5) By performing the illumination instruction 3, white display is performed for one frame on the display monitor 30 at the time of camera photographing (step S21), so that the
（６）照明表示４を行うことにより、室内が明るくなったタイミングでカメラ撮影（ステップＳ２１）が行われる。室内が明るくなるのは、室内照明光が点灯された場合や、表示モニタ３０による表示映像が明るく変化した場合が想定される。この場合にも、表示モニタ３０を観察するユーザが不快に感じることがない。
(6) By performing the
（７）第二の実施形態と同様に、所定回数に達するまで認識処理を繰り返すようにしたので、たまたまユーザの顔が電子カメラ２０の方向を向いていないことがあっても、再度の認識処理によってユーザを認識する可能性を高められる。
(7) Similar to the second embodiment, since the recognition process is repeated until the predetermined number of times is reached, the recognition process is performed again even if the user's face does not face the direction of the
（８）第二の実施形態と同様に、所定回数繰り返してもユーザを特定できない場合には、自動起動フラグをオフさせたので、無駄な認識処理を繰り返すことを防止できる。 (8) Similar to the second embodiment, when the user cannot be specified even after repeating a predetermined number of times, the automatic activation flag is turned off, so that it is possible to prevent unnecessary recognition processing from being repeated.
（９）第二の実施形態と同様に、ユーザの顔が横向きであっても、認識する可能性を高めることができる。 (9) Similar to the second embodiment, it is possible to increase the possibility of recognition even if the user's face is sideways.
（変形例１３）
照明指示（ステップＳ４３）では、４通りの照明指示の中から予め選択指示されている照明指示を行う例を説明した。この代わりに、照明指示の内容を切替える構成にしてもよい。たとえば、照明指示の優先順位を照明指示１、照明指示２、照明指示３、照明指示４の順番と定め、ステップＳ４３の処理を行うごとに照明指示の内容を切替える。これにより、低輝度時に照明指示を行っても顔抽出できない場合、照明指示の内容を変えて認識処理を繰り返すので、再度の認識処理によってユーザを認識する可能性を高めることができる。
(Modification 13)
In the illumination instruction (step S43), the example in which the illumination instruction that has been instructed in advance from the four illumination instructions has been described. Instead of this, the content of the illumination instruction may be switched. For example, the priority order of the illumination instructions is determined as the order of the illumination instruction 1, the illumination instruction 2, the illumination instruction 3, and the
（変形例１４）
ステップＳ４５（ステップＳ３４）において判定する繰り返し回数を６０回としたが、画像データが示す明るさが撮影に必要な明るさに満たない場合は回数を減らしてもよい（たとえば、６０回→１０回）。これにより、低輝度時に認識処理を繰り返す頻度が下がり、認識処理を無駄に行う回数を減らすことができる。
(Modification 14)
Although the number of repetitions determined in step S45 (step S34) is 60, the number may be reduced if the brightness indicated by the image data is less than the brightness required for shooting (for example, 60 times → 10 times). ). As a result, the frequency of repeating the recognition process at the time of low luminance decreases, and the number of times the recognition process is wasted can be reduced.
（変形例１５）
再生装置１０による自動起動フラグのオン／オフ切替は、「利用者認識」メニュー画面（図６）における「自動起動」アイコン選択時の他に、次の各タイミングで行ってもよい。
＜自動起動フラグオフ→フラグオンへの切替＞
−オンタイミング１−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において「写真」メニュー画面（図５）を表示させるタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、図５のサムネイル表示の代わりに、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行うことができる。
(Modification 15)
The on / off switching of the automatic activation flag by the
<Switching from auto start flag off to flag on>
-ON timing 1
The
−オンタイミング２−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）においてスライドショー指示された（リモコン制御部１０３または操作部材１０４からスライドショー再生させる操作信号が入力される）タイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、スライドショー表示することができる。
-ON timing 2-
The
−オンタイミング３−
ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において、電子カメラ２０と再生装置１０との間の通信が成立したタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。なお、カメラとの間の通信成立判定は、上述した図１のシステム構成の他、変形例９、変形例１０、変形例１１、変形例１２のいずれの態様であっても構わない。通信成立の判定は、電子カメラ２０が通信範囲内へ持ち込まれた場合、電子カメラ２０のメインスイッチがオンされた場合、再生装置１０の接続部１５に電子カメラ２０が接続された場合、クレードル２５および再生装置１０間が接続された場合、クレードル２５および電子カメラ２０間が接続された場合などに所定のプロトコルで通信が行われ、通信が成立した場合に行われる。
-ON timing 3-
In the normal processing (steps S9 to S11), the
−オンタイミング４−
電子カメラ２０がレンズバリアを備える場合（変形例８）、ＣＰＵ１０１は、通常処理（ステップＳ９〜ステップＳ１１）において電子カメラ２０のレンズバリア開鎖が再生装置１０へ報知されたタイミングで自動起動フラグオフ→フラグオンへ切替える。これにより、ステップＳ１へ戻った後に認識処理（ステップＳ２）へ進むことができるので、認識したユーザがより多く登場する再生ソースを優先して選び、サムネイル表示したり、スライドショー表示したりすることができる。
-ON timing 4-
When the
＜自動起動フラグオン→フラグオフへの切替＞
−オフタイミング１−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、ステップＳ７の再生処理（アルバム再生やスライドショー再生）を開始したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、ステップＳ１へ戻った後に通常処理（ステップＳ９〜ステップＳ１１）へ進むので、再び自動起動フラグがオンされるまで認識処理（ステップＳ２）を行わなくなり、電子カメラ２０による電力消費を抑えることができる。
<Switching from auto start flag on to flag off>
−Off timing 1−
In the process in which automatic activation is permitted (steps S2 to S7), the
−オフタイミング２−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、メニュー画面（たとえば、図８）を表示させたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識したユーザがより多く登場する再生ソースを優先して選んだ後は、再び自動起動フラグがオンされるまで認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。
-Off timing 2-
In the process in which automatic activation is permitted (steps S2 to S7), the
−オフタイミング３−
ＣＰＵ１０１は、電源オフ処理を行う場合、電源オフ処理に先立つタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電源オフ処理中に認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。
-Off timing 3-
When performing the power-off process, the
−オフタイミング４−
ＣＰＵ１０１は、スリープ動作を行う場合、スリープ動作が指示されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、スリープ動作中に認識処理（ステップＳ２）を行わないので、電子カメラ２０による電力消費を抑えることができる。
-Off timing 4-
When performing the sleep operation, the
−オフタイミング５−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、電子カメラ２０と再生装置１０との間の通信異常を検出したタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、電子カメラ２０から撮影画像が送信されないおそれがある状況で認識処理（ステップＳ２）を行わなくなり、無駄な処理を避けることができる。通信異常の判定は、電子カメラ２０が通信範囲外へ持ち出された場合、電子カメラ２０のメインスイッチがオフされた場合、再生装置１０の接続部１５から電子カメラ２０が外れた場合、クレードル２５および再生装置１０間の接続が外れた場合、クレードル２５および電子カメラ２０間の接続が外れた場合など、通信が成立しなくなった場合に行われる。
-Off timing 5-
In the process in which automatic activation is permitted (steps S2 to S7), the
−オフタイミング６−
ＣＰＵ１０１は、自動起動が許可されている処理（ステップＳ２〜ステップＳ７）において、電子カメラ２０のレンズバリア閉鎖が再生装置１０へ報知されたタイミングで自動起動フラグオン→フラグオフへ切替える。これにより、認識処理（ステップＳ２）を行わなくなり、無駄な撮影処理を避けることができる。
-Off timing 6-
In the process in which automatic activation is permitted (steps S2 to S7), the
−オフタイミング７−
ＣＰＵ１０１は、認識処理（ステップＳ２）で抽出した少なくとも１つの顔が未登録であって、「利用者認識を行いますか？」というメッセージを表示モニタ３０に表示させてもリモコン制御部１０３または操作部材１０４から「ＯＫ」を示す操作信号がされなかったタイミングで自動起動フラグオン→フラグオフへ切替える（変形例５に相当）。これにより、登録を望まない視聴者が存在する場合に以降の認識処理を止めて通常処理を行うことができる。
-Off timing 7-
Even if the
−オフタイミング８−
ＣＰＵ１０１は、認識処理（ステップＳ２）で抽出した全ての顔が未登録であれば、「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える（変形例６に相当）。これにより、視聴者全員が未登録の状況では以降の認識処理を止めて通常処理を行うことができる。
-Off timing 8-
If all the faces extracted in the recognition process (step S2) are not registered, the
−オフタイミング９−
ＣＰＵ１０１は、認識処理（ステップＳ２）で特定のユーザを認識したタイミングで自動起動フラグオン→フラグオフへ切替える（変形例７に相当）。これにより、特定の人物が視聴する状況で以降の認識処理を止めて通常処理を行うことができる。
-Off timing 9-
The
−オフタイミング１０−
ＣＰＵ１０１は、認識処理において顔抽出できないままステップＳ２１（カメラ撮影）およびステップＳ２２（顔抽出）を所定回数繰り返した場合、「自動起動設定を解除します」というメッセージを表示モニタ３０に表示させた後のタイミングで自動起動フラグオン→フラグオフへ切替える（第二実施形態、第三実施形態に相当）。これにより、ユーザを特定できない状況では無駄な処理を繰り返すことを防止できる。
-Off timing 10-
When the
（変形例１６）
上述した自動起動が許可されている処理（ステップＳ２〜ステップＳ７）では、自動起動フラグオンであれば認識処理（ステップＳ２）が自動的に行われるが、通常処理（ステップＳ９〜ステップＳ１１）においては認識処理は行われない。そこで、変形例１６においては通常処理中にも認識処理を強制的に行うようにする。この場合の再生装置１０のＣＰＵ１０１は、通常処理中に入力されるメニュー操作信号に応じて「認識スタート」アイコン（図６）を選択したタイミングで認識処理を開始する。
(Modification 16)
In the above-described processing in which automatic activation is permitted (steps S2 to S7), the recognition processing (step S2) is automatically performed if the automatic activation flag is on, but in the normal processing (steps S9 to S11). Recognition processing is not performed. Therefore, in the modified example 16, the recognition process is forcibly performed even during the normal process. In this case, the
−強制認識処理１−
ＣＰＵ１０１は、通常処理において「写真」メニュー画面（図５）を表示させている状態で「認識スタート」アイコンの選択指示を受けると、「写真」メニュー画面（図５）を表示させたままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後、図５のサムネイル表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行うことができる。なお、各階層のメニュー画面は、互いに重ならないように並べて表示される。
-Forced recognition process 1-
When the
−強制認識処理２−
ＣＰＵ１０１は、通常処理においてスライドショー表示させている状態で「認識スタート」アイコンの選択指示を受けると、スライドショー表示を継続したままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後にスライドショー表示を中断することなく、スライドショー表示する画像を認識したユーザがより多く登場する画像に切替えてスライドショー表示することができる。なお、スライドショー表示中のメニュー画面は、スライドショー表示されている画像の一部に重ねられる（ピクチャー・イン・ピクチャー）。
-Compulsory recognition process 2-
When receiving the instruction to select the “recognition start” icon in a state where the slide show is displayed in the normal process, the
−強制認識処理３−
ＣＰＵ１０１は、通常処理においてアルバム表示させている状態で「認識スタート」アイコンの選択指示を受けると、アルバム表示を継続したままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後にアルバム表示に代えて、認識したユーザがより多く登場する再生ソースを優先して選んだ図８のサムネイル表示を行い、ユーザによる表示指示を待つことができる。なお、アルバム表示中のメニュー画面は、アルバム表示されている画像の一部に重ねられる（ピクチャー・イン・ピクチャー）。
-Forced recognition process 3-
When the
−強制認識処理４−
ＣＰＵ１０１は、通常処理においてスタートメニュー画面（図４）を表示させている状態で「認識スタート」アイコンの選択指示を受けると、スタートメニュー画面（図４）を表示させたままバックグラウンドで認識処理（図９、図１２または図１３）を開始する。これにより、認識処理後、図４のスタートメニュー表示に代えて、認識したユーザのオリジナルメニュー（当該ユーザによってオリジナルメニュー表示がオン設定されている場合）を表示させることができる。なお、オリジナルメニュー表示に変更する場合、変更前後でアイコン上のカーソル位置を揃える。ただし、変更前後で共通するアイコンが存在しない場合には最寄りアイコン上にカーソルを位置させる。
-Forced recognition process 4-
When the
（変形例１７）
表示モニタ３０にテレビ放送を受信するＴＶチューナーを備え、復調した映像および音声を再生するテレビジョンセットで構成しても構わない。
(Modification 17)
The display monitor 30 may be provided with a TV tuner that receives television broadcasts, and may be configured with a television set that reproduces demodulated video and audio.
（変形例１８）
再生装置１０、電子カメラ２０および表示モニタ３０を組み合わせて情報再生システムを構成する例を説明したが、再生装置１０に電子カメラ２０を内蔵したり、電子カメラ２０に再生装置１０を内蔵したり、表示モニタ３０に電子カメラ２０を内蔵したり、テレビジョンセットに電子カメラ２０を内蔵したり、再生装置１０およびテレビジョンセットを一体に構成したり、あるいは、再生装置１０、電子カメラ２０および表示モニタ３０を一体に構成してもよい。
(Modification 18)
The example in which the information playback system is configured by combining the
（変形例１９）
ユーザを認識する処理は撮影画像から得られる顔認識技術を用いたが、顔認識技術と音声認識技術とを組み合わせてもよい。音声認識を行う場合には、情報再生システムを構成する機器のいずれかに集音機能を備え、集音した音声情報をユーザ認識処理に用いればよい。
(Modification 19)
The process for recognizing the user uses the face recognition technique obtained from the captured image, but the face recognition technique and the voice recognition technique may be combined. When performing voice recognition, any of the devices constituting the information reproduction system may be provided with a sound collection function, and the collected sound information may be used for user recognition processing.
（変形例２０）
ユーザを認識する処理において顔認識技術と組み合わせる認識技術は、音声認識技術の他に、各ユーザがそれぞれリモコン送信機を使用する方式でもよい。この場合のリモコン送信機は、それぞれがユーザを示す情報を含めてリモコン操作信号を送信する。リモコン送信機には、ユーザごとに異なる組合わせに切替えられる認識用スイッチや、リモコン送信機自身にユーザを認識するための指紋認識手段が備えられる。
(Modification 20)
The recognition technique combined with the face recognition technique in the process of recognizing the user may be a system in which each user uses a remote control transmitter in addition to the voice recognition technique. In this case, each remote control transmitter transmits a remote control operation signal including information indicating the user. The remote control transmitter is provided with a recognition switch that can be switched to a different combination for each user, and a fingerprint recognition means for recognizing the user by the remote control transmitter itself.
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。第一の実施形態〜第三の実施形態および変形例１〜変形例２０は、それぞれを適宜組合わせて構成しても構わない。 The above description is merely an example, and is not limited to the configuration of the above embodiment. The first embodiment to the third embodiment and the modifications 1 to 20 may be configured by appropriately combining them.
１０…再生装置
１１…リモコン送信機
２０…電子カメラ
３０…表示モニタ
１０１…ＣＰＵ
１０３…リモコン制御部
１０４…操作部材
１０６…外部インターフェイス
１０８…通信制御部
１１０…ＨＤＤ
DESCRIPTION OF
103 ...
Claims (14)
前記カメラによる撮影画像から顔情報を検出して認識処理を行うユーザ認識手段と、
前記ユーザ認識手段が前記顔情報を検出できなかった場合に認識処理を繰り返すように前記ユーザ認識手段を制御する制御手段とを備えることを特徴とするユーザ認識装置。 A camera that captures the user;
User recognition means for detecting face information from a photographed image by the camera and performing recognition processing;
And a control means for controlling the user recognition means so as to repeat the recognition process when the face recognition information cannot be detected by the user recognition means.
前記制御手段は、前記繰り返し回数が所定回数に達した場合、前記ユーザ認識手段に前記認識処理を終了させることを特徴とするユーザ認識装置。 The user recognition device according to claim 1,
The control means causes the user recognition means to end the recognition process when the number of repetitions reaches a predetermined number.
前記制御手段は、前記ユーザ認識手段が前記顔情報を検出できなかった場合に前記カメラへ撮影光学系のズーム位置を広角側へ移動させる指示を送ることを特徴とすることを特徴とするユーザ認識装置。 In the user recognition device according to claim 1 or 2,
The control means sends an instruction to the camera to move the zoom position of the photographing optical system to the wide angle side when the user recognition means cannot detect the face information. apparatus.
前記制御手段は、前記ユーザ認識手段が前記顔情報を検出できなかった場合に前記カメラへ撮像感度をアップさせる指示を送ることを特徴とすることを特徴とするユーザ認識装置。 In the user recognition device according to any one of claims 1 to 3,
The control means sends an instruction to increase the imaging sensitivity to the camera when the user recognition means cannot detect the face information.
前記制御手段は、外部機器へ照明指示を送ることを特徴とするユーザ認識装置。 The user recognition device according to claim 4.
The control unit sends a lighting instruction to an external device.
前記照明指示は、前記カメラに対する照明光発光指示であることを特徴とするユーザ認識装置。 The user recognition device according to claim 5, wherein
The user recognition device, wherein the illumination instruction is an illumination light emission instruction to the camera.
前記照明指示は、室内照明装置に対する照明光量アップの指示であることを特徴とするユーザ認識装置。 The user recognition device according to claim 5, wherein
The illumination instruction is an instruction to increase the amount of illumination light with respect to the indoor lighting device.
前記照明指示は、映像再生手段に所定フレーム分の高輝度表示を行わせる指示であることを特徴とするユーザ認識装置。 The user recognition device according to claim 5, wherein
The illumination instruction is an instruction for causing the video reproduction means to perform high-luminance display for a predetermined frame.
前記照明指示は、前記カメラに対して所定輝度が得られるタイミングで撮影させる指示であることを特徴とするユーザ認識装置。 The user recognition device according to claim 5, wherein
The illumination instruction is an instruction to cause the camera to take an image at a timing at which a predetermined luminance is obtained.
前記ユーザ認識手段は、検出した顔情報からユーザを認識できない場合、当該ユーザを過去に認識した際の情報を参照して推定による認識を行うことを特徴とするユーザ認識装置。 In the user recognition device according to any one of claims 1 to 9,
The user recognition device according to claim 1, wherein when the user cannot be recognized from the detected face information, the user recognition unit performs recognition by estimation with reference to information when the user is recognized in the past.
前記ユーザ認識手段は、検出した顔情報からユーザを認識できない場合、または前記推定によってもユーザを認識できない場合、登録指示に応じて当該顔情報および当該ユーザを登録することを特徴とするユーザ認識装置。 The user recognition device according to claim 10.
The user recognition unit registers the face information and the user according to a registration instruction when the user cannot be recognized from the detected face information or when the user cannot be recognized by the estimation. .
複数の再生ソースの中から前記ユーザ認識装置で認識されたユーザに関連する再生ソースの再生信号を再生手段へ供給する信号供給手段とを備えることを特徴とする再生装置。 The user recognition device according to any one of claims 1 to 11,
A reproduction apparatus comprising: a signal supply unit that supplies a reproduction signal of a reproduction source related to a user recognized by the user recognition device from a plurality of reproduction sources to a reproduction unit.
再生ソースの再生信号を再生する再生手段とを備えることを特徴とする再生システム。 A playback device according to claim 12,
A reproduction system comprising reproduction means for reproducing a reproduction signal of a reproduction source.
テレビ放送を受信して再生信号を得る復調手段とを備えることを特徴とするテレビジョンセット。 A playback system according to claim 13,
A television set comprising: demodulation means for receiving a television broadcast and obtaining a reproduction signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006179195A JP2008009695A (en) | 2006-06-29 | 2006-06-29 | User recognition device, reproduction device, reproduction system, and television set |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006179195A JP2008009695A (en) | 2006-06-29 | 2006-06-29 | User recognition device, reproduction device, reproduction system, and television set |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008009695A true JP2008009695A (en) | 2008-01-17 |
Family
ID=39067859
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006179195A Pending JP2008009695A (en) | 2006-06-29 | 2006-06-29 | User recognition device, reproduction device, reproduction system, and television set |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008009695A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011030674A1 (en) * | 2009-09-11 | 2011-03-17 | ソニー株式会社 | Displaying method and displaying device |
| JP2019060921A (en) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | Information processor and program |
| JP2021170404A (en) * | 2014-04-28 | 2021-10-28 | キヤノン株式会社 | Image processing method and imaging device |
-
2006
- 2006-06-29 JP JP2006179195A patent/JP2008009695A/en active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011030674A1 (en) * | 2009-09-11 | 2011-03-17 | ソニー株式会社 | Displaying method and displaying device |
| JP2011061631A (en) * | 2009-09-11 | 2011-03-24 | Sony Corp | Displaying method and displaying device |
| US20120206340A1 (en) * | 2009-09-11 | 2012-08-16 | Sony Corporation | Display method and display apparatus |
| US9286850B2 (en) | 2009-09-11 | 2016-03-15 | Sony Corporation | Display method and display apparatus |
| JP2021170404A (en) * | 2014-04-28 | 2021-10-28 | キヤノン株式会社 | Image processing method and imaging device |
| JP2019060921A (en) * | 2017-09-25 | 2019-04-18 | 富士ゼロックス株式会社 | Information processor and program |
| JP7021488B2 (en) | 2017-09-25 | 2022-02-17 | 富士フイルムビジネスイノベーション株式会社 | Information processing equipment and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5088321B2 (en) | Playback device, playback system, and television set | |
| JP5056061B2 (en) | Imaging device | |
| JP5273998B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP5321060B2 (en) | Display control device, display system, and television set | |
| JP5617603B2 (en) | Display control apparatus, display control method, and program | |
| US20070217650A1 (en) | Remote controller, remote control system, and method for displaying detailed information | |
| JP2005260960A (en) | Camera apparatus for displaying osd menu and display method thereof | |
| JP4830670B2 (en) | Playback device | |
| JP7094815B2 (en) | Display control device, control method of display control device, program, storage medium | |
| US8817174B2 (en) | Information recording apparatus and power-saving method therefor | |
| US9042704B2 (en) | Reproduction apparatus and control method thereof | |
| JP2007318431A (en) | Display control system and method for controlling display | |
| JP5124994B2 (en) | Image reproduction system, digital camera, and image reproduction apparatus | |
| JP4862519B2 (en) | User recognition device, playback system, and television set | |
| JP4500431B2 (en) | Image display device, image display method, and storage medium | |
| JP2007150544A (en) | Content reproducing apparatus | |
| JP2008009695A (en) | User recognition device, reproduction device, reproduction system, and television set | |
| JP2005033682A (en) | Video display system | |
| JP2011129033A (en) | Digital photograph frame and image display method | |
| JP6146162B2 (en) | Image processing apparatus, imaging apparatus, image processing method, imaging method, and image processing program | |
| CN113261302B (en) | Electronic device | |
| JP2011259232A (en) | Display device, control method therefor, program, and recording medium | |
| JP2007329520A (en) | Image reproducing system, digital camera and image reproducing apparatus | |
| JP2014128008A (en) | Electronic apparatus and control method thereof | |
| US9311963B2 (en) | Recording apparatus and control method thereof |