JP2010016432A - デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 - Google Patents

デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JP2010016432A
JP2010016432A JP2008171978A JP2008171978A JP2010016432A JP 2010016432 A JP2010016432 A JP 2010016432A JP 2008171978 A JP2008171978 A JP 2008171978A JP 2008171978 A JP2008171978 A JP 2008171978A JP 2010016432 A JP2010016432 A JP 2010016432A
Authority
JP
Japan
Prior art keywords
user
display
unit
mode
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008171978A
Other languages
English (en)
Inventor
Ryohei Sugihara
良平 杉原
Seiji Tatsuta
成示 龍田
Yoichi Iba
陽一 井場
Miho Kameyama
未帆 亀山
Isato Fujigaki
勇人 藤垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2008171978A priority Critical patent/JP2010016432A/ja
Publication of JP2010016432A publication Critical patent/JP2010016432A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ユーザ認識結果を反映させた表示制御を実現できるデジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体の提供。
【解決手段】デジタルフォトフレームは、表示部と、表示制御部と、ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、取得された検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部を含む。表示制御部は、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、表示部に表示される画像の表示態様を変化させる表示制御を行う。
【選択図】図9

Description

本発明は、デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体等に関する。
近年、デジタルスチルカメラなどのデジタルカメラで撮影した画像を手軽に再生できる装置として、デジタルフォトフレームが脚光を浴びている。このデジタルフォトフレームは、フォトスタンドの写真を入れる部分が液晶ディスプレイに置き換えられた形態の装置であり、メモリカードや通信装置を介して読み込まれたデジタルの画像データ(電子写真)の再生処理を行う。
デジタルフォトフレームの従来技術としては例えば特許文献1に開示される技術がある。この従来技術では、電話回線接続装置を、デジタルフォトフレームであるデジタルフォトスタンドに具備させて、フォトスタンドと有線又は無線の電話回線との間の伝送路の形成を実現している。
しかしながら、これまでのデジタルフォトフレームでは、デジタルカメラ等で撮影された画像を単に再生する機能しか有しておらず、ユーザの認識結果を反映させた表示制御は行われていなかった。このため再生画像が単調であり、ユーザに対して多様な画像を表示することができなかった。
特開2000−324473号公報
本発明の幾つかの態様によれば、ユーザ認識結果を反映させた表示制御を実現できるデジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体を提供できる。
本発明は、画像が表示される表示部と、前記表示部の表示制御を行う表示制御部と、ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部とを含み、前記表示制御部は、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うデジタルフォトフレームに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
本発明によれば、ユーザ検知センサにより検知された検知情報が取得され、検知情報に基づいて、ユーザ認識が行われる。そしてユーザの人数やユーザの人物認証結果などに応じて、表示部に表示される画像の表示態様が変化する。このようにすればユーザの人数、人物認証結果等のユーザ認識結果が反映された画像がデジタルフォトフレームの表示部に表示されるようになり、これまでにないタイプのデジタルフォトフレームを提供できる。
また本発明では、前記ユーザ認識部は、検知されたユーザの人数を認識し、前記表示制御部は、検知されたユーザの人数が一人であると判断された場合と複数人であると判断された場合とで、前記表示部に表示される画像の表示態様を異ならせる表示制御を行ってもよい。
このようにすれば、検知されたユーザの人数に応じて、表示画像の表示態様が変化するようになり、ユーザの人数を反映させた多様な画像表現が可能になる。
また本発明では、前記表示制御部は、検知されたユーザの人数が一人であると判断された場合には、検知された一人のユーザに対応する個人モード用の表示制御を行ってもよい。
このようにすれば、ユーザが一人である場合には、そのユーザに対応した個人モード用の表示制御が行われるため、ユーザは、プライベートな画像を個人的に楽しんだり、プライベートな設定で表示画像を鑑賞することなどが可能になる。
また本発明では、前記表示制御部は、検知されたユーザの人数が複数人であると判断された場合には、検知された複数人のユーザに対応する共有モード用の表示制御を行ってもよい。
このようにすれば、ユーザが複数人である場合には、複数のユーザに対応する共有モード用の表示制御が行われるため、複数のユーザに共通の話題を提供したり、共通の思い出を思い起こさせたり、複数のユーザに共有の設定で表示画像を鑑賞することなどが可能になり、これまでにないタイプのデジタルフォトフレームを提供できる。
また本発明では、ユーザの登録処理を行う登録処理部を含み、前記ユーザ認識部は、検知されたユーザが登録ユーザであるか否かの人物認証を行い、前記表示制御部は、検知されたユーザが登録ユーザであると判断された場合には、検知されたユーザに対応する個人モード用の表示制御を行ってもよい。
このようにすれば、検知されたユーザが登録ユーザである場合には、ユーザの登録処理を反映させた個人モード用の表示制御が可能になり、各登録ユーザに応じた画像や情報の提示等が可能になる。
また本発明では、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部の表示モードを切り替える表示モード切り替え部を含んでもよい。
このようにすれば、表示モードを切り替えるという簡素な処理で、ユーザの人数や人物認証結果に応じて表示画像の表示態様を変化させることが可能になる。
また本発明では、前記表示モード切り替え部は、検知されたユーザの人数が複数人であると判断された場合に、個人モード用の表示制御を行う個人モードへの切り替えをディスエーブルにしてもよい。
このようにすれば、ユーザの個人的な画像が他のユーザに見られてしまう事態等を防止でき、ユーザの個人情報を保護することが可能になる。
また本発明では、前記ユーザ認識部は、検知されたユーザが登録ユーザであるか否かの人物認証を行い、前記表示制御部は、検知されたユーザが登録ユーザであると判断された場合と未登録ユーザであると判断された場合とで、前記表示部に表示される画像の表示態様を異ならせる表示制御を行ってもよい。
このようにすれば、登録ユーザか否かに応じて表示画像の表示態様を異ならせることができ、よりパーソンライズされたデジタルフォトフレームの提供が可能になる。
また本発明では、前記表示制御部は、検知されたユーザが登録ユーザであると判断された場合には、検知されたユーザに関連づけられた登録ユーザ用の表示制御を行い、検知されたユーザが未登録ユーザであると判断された場合には、未登録ユーザ用の表示制御を行ってもよい。
このようにすれば、例えばユーザ登録に応じた表示制御で画像を登録ユーザに表示できると共に、未登録ユーザに対しても一般的な画像等を表示する制御を行うことで、これに対応できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザが登録ユーザであると判断された場合には、検知された一人のユーザに対応する個人モード用の表示制御を行ってもよい。
このようにすれば、一人の登録ユーザが検知された場合には、その登録ユーザに対応する個人モード用の表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザが未登録ユーザであると判断された場合には、来客モード用の表示制御を行ってもよい。
このようにすれば、検知された一人のユーザが未登録ユーザである場合には、来客用に用意された表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行ってもよい。
このようにすれば、人物認証に失敗した場合にも、通常モード用の表示制御で画像が表示部に表示されるようになり、表示部に何も表示されない状態になるのを防止できる。
また本発明では、前記表示制御部は、検知されたユーザの人数が複数人であると判断され、且つ、検知された複数人のユーザが登録ユーザであると判断された場合には、検知された複数人のユーザに対応する共有モード用の表示制御を行ってもよい。
このようにすれば、複数人の登録ユーザが検知された場合には、これらの複数人の登録ユーザに対応する共有モード用の表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの人数が複数人であると判断され、且つ、検知された複数人のユーザの少なくとも一人が未登録ユーザであると判断された場合には、来客モード用の表示制御を行ってもよい。
このようにすれば、複数人のユーザの少なくとも一人が未登録ユーザである場合には、来客用に用意された表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの人数が複数人であると判断され、且つ、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行ってもよい。
このようにすれば、人物認証に失敗した場合にも、通常モード用の表示制御で画像が表示部に表示されるようになり、表示部に何も表示されない状態になるのを防止できる。
また本発明では、取得された前記検知情報に基づいて、ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザが検知範囲内に存在するか否かの少なくとも1つを判断するユーザ状態判断部とを含み、前記表示制御部は、ユーザと前記表示部との前記位置関係、ユーザの前記視認状態、及びユーザが前記検知範囲内に存在するか否かの少なくとも1つに応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
このようにすればユーザの位置関係等のユーザ状態が反映された画像がデジタルフォトフレームの表示部に表示されるようになり、これまでにないタイプのデジタルフォトフレームを提供できる。
また本発明では、前記ユーザ状態判断部は、ユーザが前記検知範囲内に存在するか否かを判断し、前記表示制御部は、ユーザが前記検知範囲内に存在すると判断された場合に、前記表示部の表示をオンにする表示制御を行ってもよい。
このようにすれば、ユーザが検知範囲内に存在する場合に初めて表示部がオンになるため、省電力等を実現できる。
また本発明では、前記ユーザ状態判断部は、ユーザと前記表示部との前記位置関係、及び前記表示部に対するユーザの前記視認状態の少なくとも一方を判断し、前記表示制御部は、検知されたユーザの人数が複数人であると判断され、前記位置関係及び前記視認状態の少なくとも一方に基づいて、複数人のユーザのいずれかのユーザを優先すると判断された場合に、優先モード用の表示制御を行ってもよい。
このようにすれば、複数人のユーザが検知された場合に、それらの複数人のユーザのいずれかのユーザを優先するモードに設定されて、そのユーザに対して優先モード用の表示制御で画像を表示できるようになる。
また本発明では、ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザの操作履歴の少なくとも1つを判断するユーザ状態判断部と、前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、前記ユーザ状態判断部は、前記表示モードが、一人のユーザの個人モード用の表示制御を行う個人モードである場合に、前記位置関係、前記視認状態、及び前記操作履歴の少なくとも1つについての情報を、ユーザの個人情報として個人情報記憶部に書き込むようにしてもよい。
このようにすれば、個人モード時におけるユーザの位置関係、視認状態、或いは操作履歴の情報等が、ユーザの個人情報として個人情報記憶部に記憶されるようになるため、この個人情報を、その後に、ユーザに関連する各種処理に利用できるようになる。
また本発明では、ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザの操作履歴の少なくとも1つを判断するユーザ状態判断部と、前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、前記ユーザ状態判断部は、前記表示モードが、複数人のユーザの共有モード用の表示制御を行う共有モードである場合に、前記位置関係、前記視認状態、及び前記操作履歴の少なくとも1つについての情報を、複数人のユーザの共有情報としてユーザ共有情報記憶部に書き込むようにしてもよい。
このようにすれば、共有モード時におけるユーザの位置関係、視認状態、或いは操作履歴の情報等が、複数人のユーザの共有情報としてユーザ共有情報記憶部に記憶されるようになるため、この共有ユーザ情報を、複数人のユーザに関連する各種処理に利用できるようになる。
また本発明では、複数人のユーザ間の相互の位置関係を判断するユーザ状態判断部と、前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、前記表示制御部は、前記表示モードが、複数人のユーザの共有モード用の表示制御を行う共有モードである場合に、複数人のユーザ間の前記位置関係に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行ってもよい。
このようにすれば、共有モード時に複数人のユーザ間の位置関係に応じて、表示画像の表示態様を変化させることができるため、更に多様な画像表現を実現できる。
また本発明では、前記ユーザ状態判断部は、複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、前記表示制御部は、第1のユーザと第2のユーザとが接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有モード用の表示制御を行ってもよい。
このようにすれば、第1、第2のユーザの距離が近づいた場合に、第1、第2のユーザに共有の共有モード用の表示制御で画像が表示されるようになるため、第1、第2のユーザのコミュニケーション等の向上を図れる。
また本発明では、前記ユーザ状態判断部は、複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、前記表示制御部は、第1のユーザと第2のユーザとが接近状態ではないと判断された場合には、第1のユーザの個人モード用画像と第2のユーザの個人モード用画像を、時分割で前記表示部に表示する制御を行ってもよい。
このようにすれば、共有モードであっても、第1、第2のユーザの距離が離れている場合には、各ユーザの個人モード用画像が時分割に表示されるようになるため、各ユーザに対応した個別的な画像の提示が可能になる。
また本発明では、前記ユーザ状態判断部は、複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、前記表示制御部は、第1のユーザと第2のユーザとが接近状態ではないと判断された場合には、第1のユーザの個人モード用画像を第1の分割画面に表示し、第2のユーザの個人モード用画像を第2の分割画面に表示する制御を行ってもよい。
このようにすれば、共有モードであっても、第1、第2のユーザの距離が離れている場合には、各ユーザの個人モード用画像が各分割画面に表示されるようになるため、各ユーザに対応した個別的な画像の提示が可能になる。
また本発明では、前記ユーザ状態判断部は、複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、前記表示制御部は、第1のユーザと第2のユーザとが第1の接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有モード用の表示制御を行い、第1のユーザと第2のユーザとが前記第1の接近状態よりも近い第2の接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有接近モード用の表示制御を行ってもよい。
このようにすれば、第1のユーザと第2のユーザが第1の接近状態から更に近づいて第2の接近状態になった場合に、共有モードとは異なる共有接近モードの表示制御で画像を表示できるようになるため、更に多様な画像表現が可能になる。
また本発明では、前記ユーザ認識部は、検知されたユーザの年齢認識を行い、前記表示制御部は、検知されたユーザの年齢認識結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うようにしてもよい。
このようにすればユーザの年齢の認識結果が反映された画像がデジタルフォトフレームの表示部に表示されるようになり、これまでにないタイプのデジタルフォトフレームを提供できる。
また本発明では、前記表示制御部は、検知されたユーザの年齢認識結果に基づいて、ユーザの年齢層が所定年齢層であると判断された場合には、前記所定年齢層用表示制御を行うようにしてもよい。
このようにすれば、所定年齢層のユーザの各々に対して、そのユーザに適した所定年齢層用の表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、検知されたユーザの年齢認識結果に基づいて、ユーザの年齢層が、コンテンツ表示の制限対象となる年齢層であると判断された場合には、コンテンツ表示を制限する年齢フィルタ処理を行うようにしてもよい。
このようにすれば、制限対象となる年齢層に属するユーザに対して、不適切なコンテンツが表示されてしまう事態を防止できる。
また本発明では、前記ユーザ認識部は、検知されたユーザの人数を認識し、前記表示制御部は、検知されたユーザの人数が複数人であると判断され、且つ、ユーザの年齢認識結果に基づいて、複数人のユーザの中に優先年齢層に属するユーザが存在すると判断された場合には、優先年齢層用の表示制御を行うようにしてもよい。
このようにすれば、複数人のユーザが検知され、その複数人のユーザの中に優先年齢層のユーザが存在する場合に、そのユーザに適した優先年齢層用の表示制御で画像を表示できるようになる。
また本発明では、前記表示制御部は、前記表示態様を変化させる前記表示制御として、表示画像を変化させる制御、画面分割数を変化させる制御、表示時間を変化させる制御、表示方法を変化させる制御、文字フォントを変化させる制御、文字サイズを変化させる制御、及び使用言語を変化させる制御の少なくとも1つの制御を行ってもよい。
また本発明は、デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部と、 ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部とを含み、前記表示指示部は、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部に表示される画像の表示態様を変化させる表示指示を行う情報処理システムに関係する。
また本発明は、デジタフフォトフレームの制御方法であって、ユーザ検知センサにより検知された検知情報を取得し、取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行い、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記デジタルフォトフレームの表示部に表示される画像の表示態様を変化させる表示制御を行う制御方法に関係する。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.構成
図1(A)に本実施形態のデジタルフォトフレーム300(デジタルフォトプレーヤ、画像再生装置)の例を示す。図1(A)は、いわゆるフォトスタンドタイプのデジタルフォトフレームの例である。このデジタルフォトフレーム300は、家の中などの任意の場所にユーザにより設置される。そして、デジタルの画像データや音データなどのコンテンツ情報の再生処理(画像再生、音再生)を実行する。デジタルフォトフレーム300は、例えばユーザの明示的な再生指示がなくても、画像等のコンテンツ情報(メディア情報)を自動的に再生することができる。例えば写真のスライドショーを自動的に実行したり、映像の自動再生を行う。
なお図1(A)はフォトスタンドタイプのデジタルフォトフレームの例であるが、例えば図1(B)に示すように、壁掛けタイプのものであってもよい。この壁掛けタイプのデジタルフォトフレームとしては、例えば電気泳動型ディスプレイ等により実現される電子ペーパなどを用いることができる。また、デジタルフォトフレーム300に、コンテンツ情報の再生指示ボタンなどを設けたり、リモコンを用いて再生指示ができるようにしてもよい。
デジタルフォトフレーム300は、例えばSDカード等のメモリカードのインターフェースを備えることができる。或いは、無線LAN、ブルートゥースなどの無線通信のインターフェースや、USB等の有線の通信インターフェースを備えることができる。例えばユーザが、メモリカードにコンテンツ情報を保存して、デジタルフォトフレーム300のメモリカードインターフェースに装着すると、デジタルフォトフレーム300は、メモリカードに保存されたコンテンツ情報の自動再生(スライドショー等)を実行する。或いは、デジタルフォトフレーム300は、無線通信や有線通信によりに外部からコンテンツ情報を受信すると、このコンテンツ情報の再生処理(自動再生処理)を実行する。例えば、ユーザが所持するデジタルカメラや携帯電話機などの携帯型電子機器がブルートゥース等の無線機能を有する場合には、この無線機能を利用して、携帯型電子機器からデジタルフォトフレーム300にコンテンツ情報を転送する。すると、デジタルフォトフレーム300は、転送されたコンテンツ情報の再生処理を実行する。
図2にデジタルフォトフレーム300の構成例を示す。このデジタルフォトフレーム300は、処理部302、記憶部320、通信部338、表示部340、ユーザ検知センサ350、操作部360を含む。なおこれらの一部の構成要素(例えば通信部、操作部、ユーザ検知センサ)を省略したり、他の構成要素(例えばスピーカ)を追加するなどの種々の変形実施が可能である。
処理部302は、各種の制御処理や演算処理を行う。例えばデジタルフォトフレーム300の各部の制御を行ったり全体的な制御を行う。この処理部302の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、情報記憶媒体330に記憶されたプログラムなどにより実現できる。
記憶部320は、処理部302、通信部338などのワーク領域となるものであり、その機能はRAMなどのメモリやHDD(ハードディスクドライブ)などにより実現できる。この記憶部320は、画像や音などのコンテンツ情報を記憶するコンテンツ情報記憶部322、取得された検知情報を記憶する検知情報記憶部324、ユーザ登録情報を記憶するユーザ登録情報記憶部325、特定されたユーザ状態を記憶するユーザ状態記憶部326、ユーザの認識処理の結果(ユーザの人数、人物認証結果等)を記憶する認識結果記憶部327、表示モードの切り替えフラグを記憶する切り替えフラグ記憶部328、ユーザの注視回数情報を記憶する注視回数情報記憶部329、ユーザの個人情報を記憶する個人情報記憶部(感性モデル記憶部)332、複数のユーザに共有(共通)の情報を記憶するユーザ共有情報記憶部(共有感性モデル記憶部)334を含む。
情報記憶媒体330(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、メモリカードや光ディスクなどにより実現できる。処理部302は、情報記憶媒体330に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体330には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。
通信部338(通信インターフェース)は、無線や有線の通信などにより外部デバイス(例えばサーバ、携帯型電子機器)との間で情報のやり取りを行うものであり、その機能は、通信用ASIC又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
表示部340は、コンテンツ情報である画像を表示するためのものであり、例えば液晶ディスプレイや、有機ELなどの発光素子を用いたディスプレイや、電気泳動型ディスプレイなどにより実現できる。
ユーザ検知センサ350(人体検知センサ)は、ユーザ(ユーザの人数・人物認証、ユーザ状態等)を検知するためのセンサであり、検知結果に基づいて検知情報を出力する。本実施形態では、このユーザ検知センサ350を、ユーザ(人物)の人数の認識やユーザの人物認証(例えば年齢認識)のためのセンサとして用いる。或いは、ユーザと表示部340(表示画面、デジタルフォトフレーム)との位置関係や、表示部340に対するユーザの視認状態や、ユーザが検知範囲内に存在するか否かなどを判断するためのセンサとして用いる。
ユーザ検知センサ350としては、例えば焦電センサなどの人感センサを用いることができる。焦電センサは、人等が発生する赤外線を受光し、赤外線を熱に変換し、その熱を素子の焦電効果で電荷に変えるセンサである。この焦電センサを用いることで、検知範囲(検知エリア)にユーザ(人)が存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。
またユーザ検知センサ350としては、例えばCCDやCMOSセンサなどの撮像センサを用いるとことができる。撮像センサ(イメージセンサ)は、1次元又は2次元の光学情報を、時系列の電気信号に変換する光センサである。この撮像センサを用いることで、検知範囲にユーザが存在するか否かや、検知範囲に存在するユーザの動きや、検知範囲内に存在するユーザの人数などを検知できる。また撮像センサを用いた顔画像認識により、ユーザの人物認証(年齢認識等)を実現できる。また撮像センサを用いた顔検出により、ユーザと表示部340との距離や表示部340に対するユーザの視線の角度などの位置関係を検出できる。或いは、ユーザの視野範囲内に表示部340が入っている状態か否かや、ユーザが表示部340を注視している状態か否かなどのユーザの視認状態を検出できる。或いはユーザが接近中なのか否かなども検出できる。
またユーザ検知センサ350としては、例えば超音波センサなどの距離センサを用いることができる。超音波距離センサは、超音波パルスを射出し、人等により反射した超音波パルスを受信することで、その時間から距離を測定するセンサである。
なおユーザ検知センサ350などのセンサは、センサデバイス自体であってもよいし、センサデバイスの他に制御部や通信部等を含むセンサ機器であってもよい。また検知情報は、センサから直接得られる1次情報であってもよいし、1次情報を加工処理(情報処理)することで得られる2次情報であってもよい。
またユーザ検知センサ350は、デジタルフォトフレーム300に直接に取り付けてもよいし、ホームセンサなどをユーザ検知センサ350として利用してもよい。ユーザ検知センサ350をデジタルフォトフレーム300に取り付ける場合には、図1(A)に示すように、ユーザ検知センサ350をデジタルフォトフレーム300の例えば枠の部分に取り付けることができる。或いは有線のケーブル等を用いてユーザ検知センサ350とデジタルフォトフレーム300を接続する形態にしてもよい。
操作部360は、ユーザが各種情報を入力するためのものであり、例えば操作ボタンやリモコン装置などにより実現できる。ユーザは、この操作部360を用いて、ユーザ登録を行ったり、自身が所望する再生コンテンツ(お気に入り画像)の登録などを行うことができる。例えばユーザは、操作部360を用いて、ユーザ登録情報を入力することができる。
処理部302は、検知情報取得部304、ユーザ状態判断部306、登録処理部310、ユーザ認識部312、表示モード切り替え部316、表示制御部318を含む。なお、これらの一部の構成要素(例えばユーザ状態判断部、ユーザ認識部、表示モード切り替え部)を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
検知情報取得部304は、ユーザ検知センサ350により検知された検知情報を取得する処理を行う。例えばユーザ検知センサ350によりユーザの状態等が検知されて、検知情報(撮像情報)が出力されると、検知情報取得部304は、その検知情報を取り込む。そして取り込まれた検知情報は記憶部320の検知情報記憶部324に記憶される。なおユーザ検知センサ350として、ホームセンサ等の外部のセンサを用いる場合には、通信部338がその検知情報を受信し、検知情報取得部304は、受信した検知情報を取得することになる。
ユーザ状態判断部306は、検知情報取得部304により取得された検知情報に基づいてユーザ状態等を判断する。例えば、取得された検知情報に基づいて、ユーザ(人物)と表示部340との位置関係、表示部340に対するユーザの視認状態、及びユーザが検知範囲内に存在するか否かの少なくとも1つを判断する。そして、ユーザの位置関係や視認状態や存在の有無を表すユーザ状態の情報は、ユーザ状態記憶部326に記憶される。またユーザ状態判断部306は、ユーザの操作履歴や、複数のユーザ間の位置関係(距離等)についても検出して判断する。
ここで位置関係は、ユーザと表示部340との距離や、表示部340に対するユーザの視線方向などであり、ユーザと表示部340との位置関係は、位置関係判断部307が判断する。例えば、ユーザと表示部340との位置関係として、ユーザと表示部340との間の距離(距離情報、距離パラメータ)を判断する。
また視認状態は、ユーザの視野範囲の状態や注視状態などであり、具体的には、ユーザの視野範囲(ビューボリューム)に表示部340が入っているか否かや、ユーザが表示部340を注視しているか否かなどである。このユーザの視認状態は視認状態判断部308が判断する。例えばユーザの視認状態として、ユーザが表示部340を注視している状態か否かを判断する。また、ユーザが検知範囲内に存在するか否かはユーザ存在判断部309が判断する。
また操作履歴は、ユーザが行った各種操作の履歴であり、例えばユーザの画像の閲覧操作、画像のスキップ操作、或いは前の画像に戻る操作等の履歴である。この操作は、例えばプレーヤが操作部360を用いて行う。或いは、ユーザの注視等の視認状態を検出することで、ユーザの各種操作を判別してもよい。例えばユーザが表示画像を注視した場合には、ユーザがその画像を閲覧、選択していると判別してもよい。
なおユーザ検知センサ350として、ユーザを撮像する撮像センサが設けられたとする。この場合には、ユーザ状態判断部306(位置関係判断部)は、撮像センサからの撮像情報に基づいて、ユーザの顔領域(矩形の枠領域)を検出する。そして検出された顔領域のサイズに基づいて、ユーザと表示部340との間の距離を判断(推定)する。またユーザ状態判断部306は、検出された顔領域を内包し顔領域よりもサイズが大きな計測領域を設定する。即ち顔領域にオーバーラップする計測領域を設定する。そして計測領域内に顔領域が存在する時間を計測し、計測された時間に基づいて、ユーザが表示部340を注視しているか否かを判断する。例えば計測領域内への存在時間が所定時間以上であった場合に、ユーザが注視していたと判断する。
或いは、ユーザ状態判断部は306は、後述するように、ユーザに対する自動焦点合わせ処理(オートフォーカス機能)により、ユーザと表示部340との間の距離を判断してもよい。例えばアクティブ方式を採用した場合には、デジタルフォトフレーム300等に赤外線や超音波を射出するデバイスを設けると共に、ユーザ検知センサ350として赤外線や超音波の受光センサを設ける。そしてユーザからの反射光を受光センサにより検知することで、ユーザとの距離等を検出すればよい。またパッシブ方式を採用した場合には、ユーザ検知センサ350として撮像センサを設け、撮像画像に対して、位相差検出方式やコントラスト検出方式による画像処理を行うことで、ユーザとの距離等を検出すればよい。
登録処理部310はユーザの登録処理を行う。例えばユーザ登録情報の設定処理を行う。具体的には、ユーザ登録画面等においてユーザが、操作部360等を用いてユーザ登録情報を入力した場合に、入力されたユーザ登録情報をユーザに関連づけてユーザ登録情報記憶部325に記憶する。ここでユーザ登録情報は、例えばユーザのID、パスワードや、表示部340に表示される画像のカスタマイズ情報などを含むことができる。そして表示部340にはユーザ登録情報を反映させた画像が表示されることになる。
ユーザ認識部312はユーザの認識処理を行う。例えば検知情報取得部304により取得された検知情報に基づいて、検知されたユーザ(人物)の人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行う。
ここで、ユーザの人数は、例えばユーザ検知センサ350である焦電センサ(人感センサ)を用いて認識(特定)したり、ユーザ検知センサ350である撮像センサを用いて認識できる。このユーザの人数の認識はユーザ人数認識部313により行われる。
一方、ユーザの人物認証は、例えば撮像センサを用いた顔認識処理により実現できる。このユーザの人物認証は人物認証部314により行われる。なお、目の網膜にある毛細血管の模様である網膜を用いたり、黒目の中の放射状の紋様である虹彩を用いて人物認証を行ってもよい。
なおユーザ認識部312は、ユーザの人物認証として年齢認識を行ってもよい。例えば大人用の顔パターンや子供用の顔パターンというように年齢層毎の顔パターンを用意し、これらの顔パターンの照合処理により年齢認識を行う。或いは顔認識処理によりユーザのしわを認識し、認識されたしわの数等に基づいてユーザの年齢を判断する。
そして、ユーザ認識部312での認識結果は、認識結果記憶部327に記憶される。例えば検知範囲内でのユーザの人数が認識された場合には、ユーザの人数が、認識結果として認識結果記憶部327に記憶される。また例えば撮像センサによりユーザの顔認識処理が行われた場合には、画像認識の結果(例えばユーザの顔画像等の特徴点情報)が、認識結果として認識結果記憶部327に記憶される。この場合に、認識結果は、例えばユーザ登録情報に関連づけて記憶される。
表示モード切り替え部316は、表示モードの切り替え処理を行う。例えば、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、表示部340の表示モードを切り替える。具体的には、ユーザの人数や人物認証結果に基づいて、表示部340の表示モードを、個人モードや共有モードや通常モードに切り替える。ここで、個人モードは、一人のユーザに関連づけられた個人モード用の表示制御を行うモードである。共有モードは、複数人のユーザに関連づけられた共有モード用の表示制御を行うモードであり、例えば複数人のユーザに共有の画像等を表示するモードである。通常モードは、通常モード用で表示制御を行うモードであり、例えば一般的な画像である通常モード用画像等を表示するモードであり、例えば個人モードや共有モードではない場合には通常モードに設定される。
また表示モード切り替え部316は、検知されたユーザの人数が複数人である場合には、個人モード用の表示制御を行う個人モードへの切り替えをディスエーブル(禁止)にする。即ち、検知されたユーザの人数が一人である場合には、個人モードへの切り替えをイネーブルにし、複数人である場合にはディスエーブルにする。このようにすることで、ユーザの個人的な画像や表示設定等が他の人に見られてしまう事態を防止できる。
また表示モード切り替え部316は、例えばユーザと表示部340との位置関係やユーザの視認状態などのユーザ状態に応じて表示モードを切り替える。具体的には表示モード切り替え部316は、ユーザと表示部340との間の距離に応じて、表示部の表示モードを切り替える。例えばユーザと表示部340との間の距離が近づいた場合(接近したと判断された場合)に、表示モードを、簡略表示モードから詳細表示モードに切り替える。またユーザが表示部340を注視しているか否かに応じて、表示部の表示モードを切り替える。
また表示モード切り替え部316は、表示モードが切り替わった後、切り替わった後の表示モードが解除されるのを、所定時間の間、ウェイトする処理を行う。例えば表示モードが簡略表示モードから詳細表示モードに切り替わった後、所定期間の間、詳細表示モードが解除されて他の表示モードに切り替わるのをウェイトする。或いは、表示モードが、通常表示モード等から注視モードに切り替わった後、所定時間の間、注視モードが解除されて他の表示モードに切り替わるのをウェイトする。
なお表示モードの切り替えは、切り替えフラグ記憶部328に記憶される切り替えフラグを用いて行われる。具体的には、ユーザ認識部312によりユーザの人数が認識されたり、人物認証が行われると、その認識結果に応じて表示モードの切り替えフラグが設定され、設定された切り替えフラグが切り替えフラグ記憶部328に記憶される。またユーザ状態判断部306によりユーザ状態が判断されると、そのユーザ状態に応じて表示モードの切り替えフラグが設定され、設定された切り替えフラグが切り替えフラグ記憶部328に記憶される。
またコンテンツ情報記憶部322に記憶される画像には、タグが付与されている。具体的には、各画像には、個人モード用タグ、共有モード用タグ、詳細表示モード用タグ、簡略表示モード用タグ、注視モード用タグ、来客モード用タグ等の各種の表示モード用のタグや、コンテンツのジャンルのタグ等が付与されている。このように各画像に付与されているタグを用いることで、表示モードの切り替え時等において、各種の表示モードに対応した表示制御を行い、その表示制御に応じた画像をコンテンツ情報記憶部322から読み出して、表示部340に表示できるようになる。
表示制御部318は、表示部340の表示制御を行う。例えばコンテンツ情報記憶部322に記憶されたコンテンツ情報に基づいて、表示部340に画像を表示するための制御を行う。具体的には、表示制御部318は、ユーザの認識結果やユーザ状態により設定された表示モード切り替えフラグを、切り替えフラグ記憶部328から読み出す。そして読み出された切り替えフラグに関連づけられた画像、音等のコンテンツ情報をコンテンツ情報記憶部322から読み出す。そして読み出されたコンテンツ情報の画像を表示部340に表示するための制御(描画バッファへの書き込み処理等)を行う。
なお表示制御部318により行われる表示態様を変化させる表示制御としては、表示画像(コンテンツ画像)を変化させる制御、画面分割数を変化させる制御、表示時間(スライドの表示時間間隔等)を変化させる制御、表示方法(スライド表示方法等)を変化させる制御、文字フォントを変化させる制御、文字サイズを変化させる制御、或いは使用言語(表示される文字の言語等)を変化させる制御などを想定できる。また表示態様を変化させるとは、画像の内容そのものを変化させることのみならず、画像を表示するタイミングや表示時間や表示方法等を変化させる場合も含む。
そして本実施形態では表示制御部318は、ユーザ認識結果に応じて表示部340に表示される画像の表示態様を変化させる表示制御を行う。例えば検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、表示画像の表示態様を変化させる。
例えばユーザ認識部312が、ユーザの人数を認識(特定)したとする。この場合には、表示制御部318は、検知されたユーザの人数が一人であると判断された場合と複数人であると判断された場合とで、表示部340に表示される画像の表示態様を異ならせる。具体的には、検知されたユーザの人数が一人であると判断された場合には、検知された一人のユーザに対応する(関連づけられた)個人モード用の表示制御を行う。例えばその一人のユーザに対して登録されたユーザ登録情報などに基づいて、個人モード(プライベートモード)で表示動作を行い、個人モード用画像等を表示する。一方、検知されたユーザの人数が複数人であると判断された場合には、検知された複数人のユーザに対応する(関連づけられた)共有モード用の表示制御を行う。例えばその複数人のユーザに対して登録されたユーザ登録情報(グループ登録情報)等に基づいて、共有モード(グループモード、家族モード)で表示動作を行い、共有モード用画像等を表示する。
またユーザ認識部312が、検知されたユーザが登録ユーザであるか否かの人物認証を行ったとする。即ち登録処理部310により登録されたユーザであるか否かの認証を行ったとする。そして、検知されたユーザが登録ユーザであると判断された場合には、表示制御部318は、検知されたユーザに対応する個人モード用の表示制御(登録ユーザ用の表示制御)を行う。ここで個人モード用の表示制御は、ユーザの個人画像等を表示する制御や、ユーザの個人情報にしたがって表示する制御である。例えば表示制御部318は、ユーザ登録情報記憶部325に記憶されたユーザ登録情報にしたがって、そのユーザに対応する個人モードで表示動作を行い、個人モード用画像等を表示する。
また表示制御部318は、検知されたユーザが登録ユーザであると判断された場合と未登録ユーザであると判断された場合とで、表示部340に表示される画像の表示態様を異ならせる。例えば、登録ユーザであると判断された場合には、検知されたユーザに対応する登録ユーザ用の表示制御を行う。一方、検知されたユーザが未登録ユーザであると判断された場合には、未登録ユーザ用の表示制御を行う。ここで登録ユーザ用の表示制御は、個人モード用画像や共有モード用画像やユーザの登録画像を表示する制御や、ユーザ登録情報にしたがって表示する制御である。また未登録ユーザ用の表示制御は、このような個人モード用画像や共有モード用画像ではない画像を表示する制御であり、例えば来客モード用の表示制御や、ユーザ登録の有無に依らずに表示される通常モード用の表示制御である。
表示制御部318は、検知されたユーザの人数が一人である場合には、以下のような表示制御を行う。即ち、検知されたユーザが登録ユーザである場合には、その一人のユーザに対応する個人モード用の表示制御を行い、検知されたユーザが未登録ユーザである場合には、来客モード用の表示制御を行い、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行う。このようにすれば、登録ユーザに対しては、そのユーザのプライベートな画像やパーソナライズされた画像を含む個人モード用画像等を表示できる。また未登録ユーザには、個人や家族等のプライベートな画像を含まない来客モード用画像(来客用に予め用意された画像)等を表示し、人物認証が失敗したユーザに対しても、プライベートな画像を含まない通常モード用画像等を表示できる。
一方、表示制御部318は、検知されたユーザの人数が複数人である場合には、以下のような表示制御を行う。即ち、検知された複数人のユーザが登録ユーザである場合には、その複数人のユーザに対応する共有モード用の表示制御を行い、検知された複数人のユーザの少なくとも一人が未登録ユーザである場合には、来客モード用の表示制御を行い、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行う。このようにすれば、複数人の登録ユーザに対しては、複数人のユーザ(例えば家族)に共通の共有モード用の表示制御で画像を表示できる。また少なくとも一人が未登録ユーザである場合や人物認証が失敗したユーザには、プライベートな画像を含まない通常モード用の表示制御で画像を表示できる。
また例えばユーザ状態判断部306が、ユーザとの位置関係、ユーザの視認状態、或いはユーザの操作履歴を判断したとする。そして表示モード切り替え部316により、表示モードが、一人のユーザの個人モード用の表示制御を行う個人モードに切り替わったとする。この場合には、ユーザ状態判断部306は、個人モード時の位置関係、視認状態、及び操作履歴の少なくとも1つについての情報を、ユーザの個人情報として個人情報記憶部332に書き込む。そして例えば個人情報記憶部332のユーザ感性モデル等を更新する。これにより、ユーザがそれほど意識することなく、ユーザ毎の感性モデルを構築できる。
一方、表示モードが、複数人のユーザの共有モード用の表示制御を行う共有モードである場合には、ユーザ状態判断部306は、共有モード時の位置関係、視認状態、及び操作履歴の少なくとも1つについての情報を、複数人のユーザの共有情報としてユーザ共有情報記憶部334に書き込む。そして例えばユーザ共有情報記憶部334の共有感性モデル等を更新する。これにより、複数人のユーザに共有の感性モデルを構築できる。
また例えばユーザ状態判断部306が、複数人のユーザ間の相互の位置関係を判断したとする。そして表示モード切り替え部316により、表示モードが共有モードに切り替わったとする。この場合には表示制御部318は、複数人のユーザ間の位置関係に基づいて、表示部340に表示される画像の表示態様を変化させる。具体的には、ユーザ状態判断部306が、複数人のユーザのうちの第1、第2のユーザの間の距離(位置関係、接近関係)を判断する。そして表示制御部318は、第1、第2のユーザが接近状態であると判断された場合に、第1、第2のユーザに関連づけられた共有モード用の表示制御を行う。一方、第1、第2のユーザが接近状態ではないと判断された場合には、第1のユーザの個人モード用画像と、第2のユーザの個人モード用画像を、時分割で例えば交互に表示部340に表示したり、第1のユーザの個人モード用画像を第1の分割画面に表示し、第2のユーザの個人モード用画像を第2の分割画面に表示する制御を行う。
なお、第1、第2のユーザが第1の接近状態である場合に、第1、第2のユーザに対応する共有モード用の表示制御を行い、第1、第2のユーザとが第1の接近状態よりも近い第2の接近状態(ユーザ間の距離が第1の接近状態よりも近い状態)である場合に、第1、第2のユーザに対応する共有接近モード用の表示制御を行ってもよい。例えば共有モードよりも更に接近した状態のためのモードとして用意された共有接近モードで表示制御を行い、共有モード用画像とは異なる共有接近モード用画像等を表示する。
またユーザ認識部312が、ユーザの年齢認識を行った場合には、表示制御部318は、ユーザの年齢認識結果(年齢層の認識結果)に基づき、表示部340に表示される画像の表示態様を変化させる。具体的には、検知されたユーザの年齢認識結果に基づいて、ユーザの年齢層が所定年齢層であると判断された場合には、所定年齢層用の表示制御を行う。例えば、ユーザの年齢層が第1の年齢層(例えば子供の年齢層)であると判断された場合には、第1の年齢層用の表示制御(例えば子供用の表示制御)を行い、ユーザの年齢層が第2の年齢層(例えば老人や大人の年齢層)であると判断された場合には、第2の年齢層用の表示制御(例えば老人用や大人用の表示制御)を行う。或いはユーザに表示する選択項目や、スライド表示される画像等を、年齢認識結果(年齢層)に基づいて変化させてもよい。
また表示制御部318は、ユーザの年齢認識結果に基づいて、ユーザの年齢層が、コンテンツ表示の制限対象となる年齢層(例えば子供、未成年)であると判断された場合には、コンテンツ表示を制限する年齢フィルタ処理を行う。例えばそのコンテンツの表示を禁止したり、他のユーザ(親等)の許諾を条件にそのコンテンツの表示を許可する。
また表示制御部318は、ユーザ認識部312により、ユーザの人数が複数人であると判断され、且つ、ユーザの年齢認識結果に基づいて、複数人のユーザの中に優先年齢層(例えば子供や老人の年齢層)に属するユーザが存在すると判断された場合には、そのユーザに対応する優先年齢層用の表示制御(例えば子供用や老人用の表示制御)を行う。
また表示制御部318は、ユーザと表示部340との位置関係、ユーザの視認状態、及びユーザが検知範囲内に存在するか否かの少なくとも1つに応じて、表示部340に表示される画像の表示態様を変化させる表示制御を行う。
例えばユーザ状態判断部306が、ユーザと表示部340との位置関係として、ユーザと表示部340との間の距離を判断したとする。この場合には、表示制御部318は、ユーザと表示部340との間の距離に応じて、表示部340に表示される画像の表示態様を変化させる。例えば、ユーザと表示部340との間の距離が近いほど、表示部340に表示される画像の詳細度を高くしたり、表示部340に表示される画像の画面分割数を多くしたり、表示部340に表示される文字のサイズ(フォントサイズ)を小さくする。
なお、表示制御部318は、距離そのものに基づいて表示部340の画像の表示態様を変化させる必要はなく、距離と等価なパラメータ(例えば顔領域のサイズ等)に基づいて表示態様を変化させてもよい。また表示態様を変化させるとは、第1の表示態様の第1の画像を第2の表示態様の第2の画像に変化させることである。例えば第1の画像から、第1の画像の詳細画像である第2の画像に変化させたり、第1の画像の簡略画像である第2の画像に変化させたり、複数画面に分割された第2の画像に変化させる。
またユーザ状態判断部306が、ユーザの視認状態として、ユーザが表示部340を注視しているか否かを判断したとする。この場合には表示制御部318は、ユーザが表示部340を注視しているか否かに応じて、表示部340に表示される画像の表示態様を変化させる。具体的には、ユーザが第1の画像を注視していると判断された場合には、第1の画像に対応する注視用画像への切り替え制御を行う。例えばユーザが表示部340を注視していないと判断された場合には、第1の画像から第1の画像の関連画像又は詳細画像である注視用画像への切り替え制御を行わない。一方、注視していると判断された場合には、第1の画像から注視用画像への切り替え制御を行う。或いは、ユーザが注視していないと判断された場合には、第1〜第N(Nは2以上の整数)の画像を表示部340にスライド表示する(シーケンシャルに表示する)。例えばここでは、第1〜第Nの画像とは、それぞれ異なるジャンル又は異なるカテゴリの画像である。一方、第1〜第Nの画像のうちの第K(1≦K≦N)の画像が表示されている時にユーザが表示部340(第Kの画像)を注視していると判断された場合には、第Kの画像の関連画像又は詳細画像である注視用画像を表示部340に表示する。そして表示制御部318は、この注視用画像が表示されている時に、ユーザが表示部340に近づいたと判断された場合には、注視用画像の詳細画像を表示する。例えばユーザが表示部340に近づいていないと判断された場合には、注視用画像として、第1〜第M(Mは2以上の整数)の注視用画像を表示部340にスライド表示する。一方、第1〜第Mの注視用画像のうちの第L(1≦L≦M)の注視用画像が表示されている時にユーザが表示部340に近づいたと判断された場合には、その時に表示されている第Lの注視用画像の詳細画像を表示する。
なお関連画像は、第1の画像や第Kの画像の表示内容に関連する画像として予め対応づけられた画像である。また詳細画像は、第1の画像や第Kの画像の表示内容を更に詳細に表す画像として予め対応づけられた画像である。これらの関連画像や詳細画像は、例えばコンテンツ情報記憶部322において第1の画像や第Kの画像に予め対応づけられる。
また表示制御部318は、ユーザが表示部340を注視した注視回数情報(注視回数そのもの、或いは注視回数に応じて変化するパラメータ)に基づいて、表示部340に表示される画像の表示態様を変化させてよい。例えばユーザ状態判断部306が、ユーザの注視回数をカウントして、注視回数情報として注視回数情報記憶部329に記憶する。そして表示制御部318は、所定時間内での第1の画像に対するユーザの注視回数が所定回数以上である場合に、第1の画像に対応する注視用画像への切り替え制御を行う。例えばユーザの注視回数が所定回数よりも少ない場合には、第1の画像からの第1の画像の関連画像又は詳細画像である注視用画像への切り替え制御を行わない。一方、注視回数が所定回数以上である場合には、第1の画像注視用画像への切り替え制御を行う。或いは、所定時間内での第1の画像に対する注視回数情報に基づいて、第1の画像又はその関連画像の表示頻度を変化させてもよい。例えば注視回数が所定回数以上である場合に表示頻度を高くする。
またユーザ状態判断部306が、ユーザがユーザ検知センサ350の検知範囲内に存在するか否かを判断したとする。例えば、より広範囲な検知が可能な焦電センサを用いてユーザの存在の有無が検知されたとする。すると、表示制御部318は、ユーザが検知範囲内に存在すると判断された場合に、表示部340の表示をオンにする。例えば液晶ディスプレイのバックライトをオンにして、表示部340の画像がユーザに可視可能になるようにする。なお表示制御部318は、ユーザが検知範囲内に存在しないと判断された場合には、表示部340の表示をオフにする。例えば通常モードから省電力モードに切り替えて、消費電力を節約する。
なお例えばユーザ状態判断部306が、表示部340の表示がオンになった後、ユーザの視認状態として、ユーザの視野範囲内に表示部340が入っている状態か否かを判断したとする。すると、表示制御部318は、ユーザの視野範囲内に表示部340を入っていると判断された場合には、第1〜第Nの画像を表示部340にスライド表示する。ここで第1〜第Nの画像は、例えばその表示内容のテーマが互いに異なる画像である。
またユーザ状態判断部306が、ユーザと表示部340との位置関係、及び表示部340に対するユーザの視認状態の少なくとも一方を判断したとする。そして検知されたユーザの人数が複数人であると判断された場合には、表示制御部318は、位置関係及び視認状態の少なくとも一方に基づいて、複数人のユーザのいずれかのユーザを優先するかを判断する。そして優先すると判断されたユーザに対して優先モード用画像を表示する制御を行う。例えばそのユーザに対応する個人モード用画像を表示する。
具体的には、ユーザが表示部340を注視しているか否かを判断する。そして複数人のユーザのうちの第1のユーザが注視していた場合には、その第1のユーザに対応する優先モード用の表示制御(個人モード用の表示制御)を行い、複数人のユーザのうちの第2のユーザが注視していた場合には、その第2のユーザに対応する優先モード用の表示制御(個人モード用の表示制御)を行う。また複数人のユーザの全てのユーザが注視していた場合や全てのユーザが注視していなかった場合には、複数人のユーザに対応する画像(共有モード用画像)を表示する。この優先モードによれば、ユーザの人数のみならず、ユーザの視認状態やユーザと表示部340との位置関係も反映させた表示制御が可能になり、よりインテリジェントな表示制御を実現できる。
2.ユーザの人数に応じた表示態様の変化
本実施形態では、ユーザ認識結果に応じて表示画像の表示態様を変化させている。具体的には例えば検知されたユーザの人数に応じて表示態様を変化させている。
例えば図3(A)、図3(B)では、検知されたユーザの人数が一人である場合と複数人である場合とで、デジタルフォトフレーム300の表示部340に表示される画像を異ならせている。具体的には図3(A)では、一人のユーザUAのみがデジタルフォトフレーム300の近く(周囲)にいることが検知されている。この場合には図3(A)に示すように、ユーザUAに対応する画像が表示部340に表示される。例えばユーザUAの趣味である釣りの情報や、ユーザUAが興味を持っている株価の情報などが表示される。ユーザUAの趣味や興味を持っている情報については、後述するように例えばユーザ登録情報として記憶される。そしてこのユーザ登録情報によりユーザUAに関連づけられた個人モード用情報が図3(A)では表示される。なおユーザの人数の検知は、例えば焦電センサや撮像センサ等のユーザ検知センサ350により行われる。
一方、図3(B)では、二人(複数人)のユーザUA、UBがデジタルフォトフレーム300の近くにいることが検知されている。この場合には図3(B)に示すようにユーザUA、UBに共通(共有)の情報を知らせる画像が表示部340に表示される。具体的には、ユーザUA、UBに共通の関心ごとである週末のイベント情報が表示される。ユーザUA、UBに共有(共通)の情報については、ユーザ登録情報として記憶される。そしてこのユーザ登録情報によりユーザUA、UBに関連づけられた共有モード用情報が図3(B)では表示される。例えば、ユーザUA、UBが共に、興味を持っている情報として週末のイベント情報をユーザ登録情報として登録していたとする。この時には、図3(B)のようにユーザUA、UBの二人が検知された場合に、週末のイベント情報が表示されるようになる。
例えばユーザUA、UBが家族であったとする。この場合に、一人のユーザUAだけが検知された時には、ユーザUAが個人的に撮影した画像が、個人モード用画像として表示される。これによりユーザUAは、プライベートな画像を個人的に楽しむことができる。一方、家族である二人のユーザUA、UBが検知された場合には、家族写真として撮影した画像が共有モード用画像として表示される。
このようにすれば、ユーザUA、UBは、例えば家族旅行の時の出来事などを、デジタルフォトフレーム300に表示された家族写真を介して思い出すことができ、これまでにないタイプのデジタルフォトフレーム300を提供できる。なお個人的な撮影画像と家族写真画像は、画像にタグ等を関連づけることで判別することができる。
3.人物認証結果に応じた表示態様の変化
本実施形態では、ユーザの人物認証の結果に応じて表示態様を変化させている。具体的には、ユーザ登録を行い、検知されたユーザが登録ユーザであるか否かの人物認証を行って、表示画像の表示態様を変化させる。
図4(A)にユーザ登録情報の入力画面の一例を示す。ユーザは、図4(A)のようにデジタルフォトフレーム300の表示部340に表示されたユーザ登録画面を見ながら、操作部等を用いてユーザ登録情報を入力する。これによりユーザ登録処理が実現される。なお、ユーザ登録情報をPC(パーソナルコンピュータ)等を用いて設定し、設定されたユーザ登録情報を、直接に或いはホームサーバ等を介してデジタルフォトフレーム300に転送するようにしてもよい。
図4(A)では、ユーザ登録情報として、ユーザのID、パスワード、ユーザの趣味、お気に入りの情報、画面モードの設定、画面分割数、距離制限感度、注視制御のオン・オフ、表示時間(表示時間間隔、表示速度)、スライド表示方法(広義には表示方法)、文字フォント、文字サイズ、言語等が入力される。例えば図4(A)では、ユーザの趣味が釣りであり、お気に入り情報が株価の情報であり、画面モードがデジタル調であり、画面分割数が4であり、距離制御感度が中ぐらいであり、注視制御がオンであり、表示時間が中ぐらいであり、スライド表示方法がフェードであり、文字フォントがフォントCであり、文字サイズが中ぐらいであり、言語が日本語であることが入力されている。なお距離制御感度は、後述するようにユーザと表示部340との距離に応じて画像の詳細度等の表示態様を変化させる場合に、距離に対する表示態様の変化の度合いを表す感度である。また注視制御は、後述するようにユーザが表示部340を注視した時に表示態様を変化させる制御である。また表示時間は、スライド表示等における画像の表示時間間隔であり、スライド表示方法は、スライド表示時におけるフェード、ワイプ、スクロール、ランダムなどの表示方式である。また文字フォントや文字サイズは、表示される文字のフォントの種類やサイズであり、言語は、表示される文字の言語指定である。
このようなユーザ登録情報を入力した後に、図4(B)に示すように、ユーザの顔画像の認識結果を登録する。具体的には後述するような顔検出を行い、顔領域FARを検出する。次に顔領域FARに映ったユーザの画像に対する画像認識処理を行い、ユーザの顔画像の特徴点データを抽出する。そして、抽出された特徴点データを顔画像の認識結果として、例えば図4(A)で説明したユーザ登録情報と関連づけて登録する。このようにして、登録処理部310によりユーザの登録処理が実現される。
次に図5(A)に示すように、ユーザUAがデジタルフォトフレーム300に近づくと、ユーザ検知センサ350により検知されたユーザUAが登録ユーザであるか否かの人物認証が行われる。そして、検知されたユーザUAは、図4(A)、図4(B)のようなユーザ登録を行っているため、登録ユーザであると判断される。従って図5(A)に示すように、検知されたユーザUAに関連づけられた個人モード用画像がデジタルフォトフレーム300の表示部340に表示される。即ち個人モードで表示動作が行われて画像が表示される。
この時、図4(A)に示すように、ユーザUAの趣味は釣りであり、お気に入り情報は株価であり、画面モードはデジタルモードであり、画面分割数は4に設定されている。従って図5(A)のユーザUAの個人モード用画像では、ユーザUAの趣味である釣りに関する情報や、ユーザUAのお気に入り情報である株価情報が表示される。また、画面モードがデジタルモードに設定されているため、カレンダの時計はデジタル表示になり、画面分割数は4であるため、4分割の画面が表示される。
一方、図5(B)では、ユーザUBがデジタルフォトフレーム300に近づいており、ユーザ検知センサ350により検知されたユーザUBが登録ユーザであるか否かの人物認証が行われる。このユーザUBは、ユーザ登録画面において、趣味が音楽であり、お気に入り情報が動物情報であり、画面モードがアナログモードに設定され、画面分割数は4に設定されている。従って、図5(B)のユーザUBの個人モード用画像では、ユーザUBの趣味である音楽のコンサートに関する情報や、ユーザUBのお気に入り情報である動物情報が表示される。また、画面モードがアナログモードに設定されているため、カレンダの時計はアナログ表示になり、画面分割数は4であるため、4分割の画面が表示される。
このように図5(A)、図5(B)では、検知されたユーザの人物認証が行われ、人物認証の結果に応じた個人モード用画像が表示される。従って、デジタルフォトフレーム300が、各登録ユーザ毎に異なる画像表示を行うようになり、これまでにない多様な画像表現が可能なデジタルフォトフレーム300を提供できる。
4.表示モードの切り替え
本実施形態では、検知されたユーザの人数や人物認証結果などに応じて、表示部340の表示モードを切り替え、切り替えられた表示モードに応じた画像を表示している。
例えば一人のユーザだけが検知された場合には、表示モードが個人モードに切り替えられ、図5(A)、図5(B)で説明したように、そのユーザに対して設定された個人モード用の表示制御で画像が表示される。この個人モードでは、パーソナライズされた情報が表示され、プライベート情報なども表示される。また、後述するようなユーザ検知センサ350を用いて検知されたユーザ状態に応じた表示制御も、パーソナライズできるようになる。
具体的には個人モードでは、例えば個人の撮影画像、健康情報(運動量・体重推移)、趣味情報、カスタマイズされたニュース情報、感性モデルに基づき外部データベースからダウンロードされた写真画像等が表示される。また画面レイアウトや画面のスキン表示や表示時間やスライド表示方法や文字フォント・サイズや言語等も、個人に設定された内容で行われる。また注視状態や距離に応じた表示制御も、個人に対して設定された内容で行われる。更に、例えば個人モード時には、未整理の画像・情報が表示され、ユーザは、個人用、共有用(家族用)、公開用(来客モード用)に分類することが可能になる。
一方、複数人のユーザが検知された場合には、表示モードが共有モードに切り替えられ、その複数人のユーザに対して設定された共有モード用の表示制御で画像が表示される。この共有モード(グループモード)では、その場にいるユーザ(登録ユーザ)に共通の情報が表示される。例えば、家族写真等の共通の写真や、週末のイベント情報などの共通の関心事の情報や、共通の地域情報や、感性モデルにより選択され複数のユーザが共通に関心のある写真画像等が、外部データベースからダウンロードされて表示される。また、共有モードでは、その場にいるユーザのそれぞれの趣味・嗜好・関心情報が、同じ割合の頻度で表示される。
また未登録ユーザが検知された場合には、例えば表示モードが来客モードに切り替えられ、来客モード用の表示制御で画像が表示される。この来客モードでは、プライベートな情報が無く、風景画像等の一般的な画像・情報が表示される。或いは、来客との記念写真などの、来客用に予め設定された画像が表示される。また来客者が自ら準備した画像を、デジタルフォトフレーム300に転送して、表示するようにしてもよい。
なお、通常時には、プライベート情報が無く一般的な画像・情報のみが表示される通常モードに設定され、通常モード用の表示制御で画像が表示される。例えば外部データベース等からダウンロードされた風景画像・動物画像や天気情報・ニュース等が表示され、表示制御についてもデフォルトの設定で行われる。
また個人モード、共有モード、来客モード、通常モード以外にも、優先モードを設けてもよい。この優先モードでは、複数人のユーザが検知された場合にも、特に注目しているユーザを検出し、表示内容を、その注目しているユーザの趣味・嗜好・関心を優先した内容に設定する。例えば複数人のユーザのうち表示部340(表示画面)の最も近くにいるユーザを検出し、そのユーザの優先モードで表示動作を行う。また複数人のユーザのうち表示部340を注視しているユーザを検出し、そのユーザの優先モードで表示動作を行う。
さて、図6(A)では、ユーザ検知センサ350の検知範囲である部屋の中には、ユーザUAのみが存在し、一人のユーザUAのみが検知されている。従って、この場合には、個人モードがイネーブルにされるため、表示モードが個人モードに切り替えられ、図5(A)、図5(B)に示すような個人モード用の表示制御で画像が表示される。
一方、図6(B)では、部屋の中に他のユーザUCが入ってきており、検知されたユーザの人数が複数人であると判断されている。このように複数人が検知された場合には、個人モード用で表示制御が行われる個人モードへの切り替えをディスエーブルに設定し、個人モード用画像等が表示されないようにする。
このようにすれば、ユーザUAのプライベートな情報等が表示された個人モード用画像を、部屋に入ってきた他のユーザUCに見られてしまう事態を防止できる。従って、ユーザUAが一人でいる場合にはプライベートな情報を楽しむことが可能になると共に、他のユーザUCが入ってきた場合にはユーザUAの個人情報を保護することが可能になる。
また図7(A)、図7(B)では、検知されたユーザが登録ユーザであるか否かの人物認証が行われ、登録ユーザであると判断された場合と未登録ユーザであると判断された場合とで、デジタルフォトフレーム300の表示部340に表示される画像が異なるように表示制御が行われる。
例えば図7(A)では、ユーザUAが登録ユーザであると判断されたため、ユーザUAに関連づけられた登録ユーザ用の表示制御で画像が表示される。即ち個人モード用画像や共有モード用画像等の登録ユーザ用画像が表示される。一方、図7(B)では、ユーザUCが未登録ユーザであると判断されたため、未登録ユーザ用の表示制御で画像が表示部340に表示される。即ち来客モード用画像等が表示される。
このように登録ユーザであるか否かに応じて表示態様を切り替えれば、ユーザにカスタマイズされた画像などのユーザ登録に応じた画像を登録ユーザに表示できると共に、未登録ユーザに対しても一般的な画像を表示することで、これに対応することができるようになる。
5.本実施形態の詳細な詳細例
次に本実施形態の詳細な処理例について図8〜図11のフローチャートを用いて説明する。
図8はユーザ登録処理のフローチャートである。まず図4(A)に示すようなユーザ登録画面を表示する(ステップS31)。これによりユーザはユーザ登録情報の入力が可能になる。そしてユーザ登録情報の入力が完了したか否かを判断し(ステップS32)、完了した場合には、図4(B)で説明したように、ユーザ検知センサである撮像センサ(カメラ)を用いてユーザの顔領域の検出を行う(ステップ33)。そして撮像センサを用いてユーザの顔画像認識を行い(ステップS34)、認識された顔画像をユーザ登録情報に関連づけて記憶する(ステップS35)。
図9は、ユーザ認識結果に基づく表示制御の詳細な処理例である。まずユーザ検知センサである焦電センサを用いて、検知範囲内にユーザ(人物)が存在するか否かを判断する(ステップS41)。即ち、デジタルフォトフレームの周辺にユーザが存在するか否かを広範囲に大雑把に検知するために、焦電センサを使用する。このようにユーザ検知センサとして、焦電センサと撮像センサを使い分けることで、ユーザ状態の効率的な検出が可能になる。
そして、ユーザが存在しないと判断された場合には(ステップS42)、表示部の表示をオフにして省電力モードに設定する(ステップS43)。一方、ユーザが存在すると判断された場合には、表示部の表示をオンにして、通常モードで表示動作を行う(ステップS44)。このようにすることで、デジタルフォトフレームの近くにユーザがいないのに、表示部に画像が表示されて電力が無駄に消費されてしまう事態を防止できる。そしてこの通常モードでは、風景・動物画像や天気予報・ニュースの情報の画像などの一般的な画像が表示される。
次に、ユーザ検知センサである焦電センサ又は撮像センサを用いて、ユーザ(人物)の人数を認識する(ステップS45)。そして、人数が一人である場合には(ステップS46)、図6(A)で説明したように、個人モードの表示動作許可フラグをイネーブルに設定する(ステップS47)
次に、撮像センサを用いた顔画像認識によりユーザの人物認証を行う(ステップS48)。
そして人物認証に成功した場合には(ステップS49)、人物認証されたユーザが登録ユーザであるか否かを判断する(ステップS50)。そして登録ユーザであると判断された場合には、認識されたユーザのユーザ登録情報を用いて個人モードで表示動作を行う(ステップS51)。即ちユーザ登録処理で設定されたユーザ登録情報にしたがって画像を表示する。一方、登録ユーザではないと判断された場合には、来客モードで表示動作を行う(ステップS52)。即ち来客用に用意された一般的な画像を表示する。なお人物認証に失敗した場合には、表示モードを切り替えずに、通常モードで表示動作を行う(ステップS53)。
ステップS46でユーザの人数が複数人であると判断された場合には、図6(B)で説明したように個人モードの表示動作許可フラグをディスエーブルに設定する(ステップS61)。
次に、撮像センサを用いた顔画像認識によりユーザの人物認証を行う(ステップS62)。そして人物認証に成功した場合には(ステップS63)、人物認証された複数人のユーザが登録ユーザであるか否かを判断する(ステップS64)。そして登録ユーザであると判断された場合には、認識された複数人のユーザの共有モードで表示動作を行う(ステップS65)。一方、例えば複数人のユーザの少なくとも一人が登録ユーザではないと判断された場合には、来客モードで表示動作を行う(ステップS66)。なお人物認証に成功しなかった場合には、表示モードを切り替えずに、通常モードで表示する(ステップS67)。
図11は、共有モード時の詳細な処理の一例である。図11では、優先モードへの切り替え処理が行われている。この優先モードでは、複数人のユーザから、表示部を注視しているユーザや表示部に近いユーザを検出し、検出されたユーザの優先モードに設定して表示動作を行う。
具体的には、共有モード時に、撮像センサを用いた注視検出により、表示部を注視しているユーザを検出する(ステップS71)。そして複数人のユーザのうちの一人のユーザのみが表示部を注視しているか否かを判断する(ステップS72)。そして、一人のユーザのみが注視している場合には、注視しているユーザを優先するモードに設定し、そのユーザ用の画像(個人モード用画像)を表示する(ステップS73)。一方、全てのユーザが注視している場合や全てのユーザが注視していない場合には、複数人のユーザ用の画像(共有モード用画像)を表示する(ステップS74)。
6.位置関係に応じた表示態様の変化
本実施形態では、ユーザと表示部340との位置関係に応じて表示画像の表示態様を変化させることもできる。
例えば図12(A)、図12(B)では、ユーザと表示部340(デジタルフォトフレーム)との間の距離(広義には位置関係)に応じて表示画像の詳細度を変化させている。具体的には図12(A)では、ユーザと表示部340との間の距離が遠くなっており、所定距離以上になっている。この場合には、例えば天気予報の画像として、簡略画像(通常画像)が表示される。即ち、大きなサイズ(フォント)の文字や、大きなサイズのアイコンを用いて、天気予報の画像が表示される。なお、距離の検知はユーザ検知センサ350を用いて実現される。
一方、図12(B)では、ユーザと表示部340との間の距離が近くなっており、所定距離よりも小さくなっている。即ちユーザが表示部340の表示内容に興味を持って近づいている。この場合には、天気予報の画像として、詳細画像が表示される。即ち図12(A)に比べて図12(B)では、小さなサイズの文字等を用いて、詳細な天気予報を知らせる画像が表示される。
例えば図12(A)では、遠くにいるユーザに対して見やすい天気予報を知らせるために、天気予報がアイコン化された簡略画像が表示される。即ち図2の切り替えフラグ記憶部328の表示モードの切り替えフラグが、簡略表示モードに設定されて、簡略画像が表示される。一方、図12(B)では、今日の天気に関心を持って近づいたと思われるユーザに対して、時間毎の詳しい天気予報を知らせる詳細画像が表示される。即ち切り替えフラグ記憶部328の表示モードの切り替えフラグが、詳細表示モードに切り替えられて、詳細画像が表示される。
以上のようにユーザと表示部340との距離に応じて表示画像の詳細度を変化させることで、ユーザとの距離に応じた適切な画像表示を実現できる。なお図12(A)、図12(B)では、ユーザとの距離に応じて表示画像の詳細度を2段階で変化させているが、詳細度の変化は3段階以上であってもよい。
図13(A)、図13(B)では、ユーザと表示部340との間の距離(位置関係)に応じて表示画像の画面分割数を変化させている。具体的には図13(A)では、ユーザと表示部340との間の距離が遠くなっており、所定距離以上になっている。この場合には、画面分割数が例えば1である画像(画面分割されていない画像)が表示される。
一方、図13(B)では、ユーザと表示部340との間の距離が近くなっており、所定距離よりも小さくなっている。この場合には、画面分割数が例えば4である画像が表示される。即ち図13(A)に比べて図13(B)では、画面分割数が多い画像が表示される。また図13(A)では、天気情報の画像が表示されているが、図13(B)では、第1、第2、第3、第4の分割画面に、各々、天気情報、株価情報、交通情報、カレンダ情報の画像が表示されている。また図13(B)では、図13(A)に比べて、天気情報等について詳細な内容を知らせる画像が表示されると共に、文字のサイズも小さくなっている。
例えば図13(A)では、遠くにいるユーザに対して見やすいように、表示部340の全画面を用いて天気予報の画像が表示される。即ち切り替えフラグ記憶部328の表示モードの切り替えフラグが、1画面モードに設定されて、画面分割数が1である画像が表示される。一方、図13(B)では、ユーザが近づいたため、表示部340の画面を分割して、天気予報の画像のみならず、株価情報、交通情報、カレンダの画像も表示される。即ち切り替えフラグ記憶部328の表示モードの切り替えフラグが、4画面モードに切り替えられて、画面分割数が4である画像が表示される。
以上のようにユーザと表示部340との距離に応じて表示画像の画面分割数を変化させることで、ユーザとの距離に応じた適切な画像表示を実現できる。なお図13(A)、図13(B)では、画面分割数を2段階で切り替えているが、画面分割数の切り替えは3段階以上であってもよい。また画面の分割数も任意である。
また、ユーザとの距離に応じて表示態様を切り替える場合、この距離は、ユーザと表示部340との直線距離であってもよいし、奥行き方向での距離(Z方向の距離)であってもよい。またこの場合の距離は、距離と数学的な等価なパラメータ(例えば後述する顔領域の面積等)も含み、例えば距離の変化に応じて変化するパラメータであればよい。
またユーザとの位置関係は、距離に限定されず、例えばユーザの視線方向と表示部340の表示画面とのなす角度などであってもよい。
また図12(A)〜図13(B)では、表示態様の変化として、詳細度や画面分割数や文字サイズを変化させる場合について例示したが、本実施形態の表示態様の変化はこれに限定されない。例えばユーザとの位置関係に応じて関連画像を表示したり、表示部340の表示をオン・オフすることで、表示態様を変化させてもよい。
次に図14(A)、図14(B)を用いて、ユーザと表示部340の間の距離(位置関係)の検出手法の一例について説明する。図14(A)、図14(B)では、ユーザ検知センサ350として、CCD、CMOSセンサなどの撮像センサ(カメラ)を用いる。そして撮像センサからの撮像情報に基づいて、矩形の枠領域である顔領域FARを検出し、検出された顔領域FARのサイズを求める。そして求められたサイズに基づいて、ユーザと表示部340との間の距離を判断する。
例えば図14(A)では、顔領域FARのサイズが小さいため(所定サイズ以下であるため)、ユーザとの距離は遠いと判断される。従って、この場合には図12(A)、図13(A)に示すような画像を表示部340に表示する。一方、図14(B)では、顔領域FARのサイズが大きいため(所定サイズよりも大きいため)、ユーザとの距離は近いと判断される。従って、この場合には図12(B)、図13(B)に示すような画像を表示部340に表示する。
ここで顔領域の検出手法としては種々の手法が考えられる。例えば、顔検出を行うためには、撮像センサで撮影された撮像画像において、顔がある場所と他の物体とを区別して、顔領域を切り出す必要がある。顔は、目、鼻、口等から構成され、これらの形状・位置関係は個人差はあるものの、ほぼ共通した特徴を有する。そこで、この共通な特徴を用いて、顔を他の物体から識別して画面の中から切り出す。このための手がかりとしては、肌の色、顔の動き、形、大きさ等がある。肌の色を用いる場合には、RGBデータを色相・輝度・彩度からなるHSVデータに変換し、人の肌の色相を抽出する手法を採用する。
或いは、多数の人の顔パターンから生成した平均顔パターンを顔テンプレートとして作成してもよい。そして、この顔テンプレートを撮像画像の画面上で走査して、撮像画像との相関を求め、最も相関値が高い領域を顔領域として検出する。
なお検出精度を高めるため、複数の顔テンプレートを辞書データとして用意し、これらの複数の顔テンプレートを用いて顔領域を検出してもよい。或いは目、鼻、口の特徴や、これらの位置関係や、顔の中のコントラストなどの情報も考慮して、顔領域を検出してもよい。或いは、ニューラルネットワークモデルを用いた統計的なパターン認識により顔領域を検出することも可能である。
図14(A)、図14(B)の検出手法によれば、顔領域FARのサイズによりユーザと表示部340の距離を検出できるのみならず、ユーザが表示部340を見ているか否かも同時に検出できるという利点がある。即ち、ユーザの視線が表示部340の方に向いていなかった場合には、顔テンプレートとの相関値が低くなるため、顔領域FARは非検出になる。従って、顔領域FARが検出されたということは、ユーザの視線が表示部340の方に向いており、ユーザの視野範囲内に表示部340が入っていることと等価になる。そして、この状態で、顔領域FARのサイズを検出して、図12(A)〜図13(B)に示すように画像の表示態様を変化させれば、表示部340の画像を見ているユーザに対して、距離に応じた適正な画像を表示できるようになる。これにより、これまでにないデジタルフォトフレーム300を提供できる。
なおユーザの検知手法は、図14(A)、図14(B)の手法に限定されない。例えば一般的なカメラや携帯電話機のカメラ等に実装されているオートフォーカス機能を有効活用してユーザを検知してもよい。このオートフォーカス機能を用いれば、デジタルフォトフレーム300の前にユーザ(人物)が存在するか否かや、そのユーザと表示部340との距離などの位置関係を判断できる。
例えば部屋の中に誰も居ない状態では、オートフォーカスの焦点はほとんど固定されるが、デジタルフォトフレーム300の表示部340の前をユーザが横切った場合等には、オートフォーカス機能が働き、これによりユーザが存在するか否かを判断できる。またデジタルフォトフレーム300の表示部340をユーザが見ている場合には、そのユーザに反応してオートフォーカスが作動して、焦点をそのユーザに自動的に合わせるため、ユーザと表示部340とのだいたいの距離を検出できる。
なおオートフォーカスの方式としては、アクティブ方式やパッシブ方式がある。アクティブ方式では、赤外線や超音波などを射出して、ユーザ等の被写体との距離を測定する。即ち反射波が戻ってくるまでの時間等を測定することで、被写体との距離を測定する。このアクティブ方式によれば、暗い場所でも焦点を簡単に合わせることができるという利点がある。
一方、パッシブ方式では、被写体の輝度情報をCCDセンサ等の撮像センサで受光して、電気処理により被写体との距離(焦点位置)を検出する。即ち撮影された画像を用いて距離を測定する。このパッシブ方式には、輝度信号の横ずれを検出する位相差検出方式や、輝度信号のコントラストを検出するコントラスト検出方式などがある。
7.視認状態に応じた表示態様の変化
本実施形態では、ユーザの視認状態に応じて表示画像の表示態様を変化させている。具体的には、ユーザが表示部340を注視しているか否かや、ユーザの視野範囲内に表示部340が入っているか否かなどに応じて表示態様を変化させる。
例えば図15(A)、図15(B)では、ユーザが表示部340を注視しているか否かに応じて、表示画像の表示態様を変化させている。具体的には図15(A)では、ユーザの視線方向は表示部340の方向に向いておらず、表示部340を注視していない。この場合には、例えば天気予報の画像として、通常画像(第1の画像)が表示される。なお、ユーザが注視しているか否かはユーザ検知センサ350を用いて検出できる。
一方、図15(B)では、ユーザが表示部340を注視している。例えば表示部340がユーザの視野範囲内に一定時間以上入っている。この場合には、図15(A)の画像の関連画像(第1の画像の関連画像である注視用画像)が表示される。即ち図15(A)では天気予報の画像が表示されているが、図15(B)では、天気予報に関連する画像として、花粉情報を知らせる画像が表示される。
例えば図15(A)の状態から図15(B)のようにユーザが表示部340を一定時間注視する状態になった場合に、図15(A)の画像を表示し続けると、表示画像が単調になってしまい、変化に乏しい。
この点、図15(B)では、ユーザが一定時間注視していることを条件に、図15(A)の関連画像である花粉情報の画像を表示している。このようにすれば、ユーザが注視したことで、画像の表示態様が変化し、変化に富んだ画像をユーザに表示できるようになる。またユーザに対して様々な情報を効率的に提供できる。
また図16(A)、図16(B)では、ユーザが注視していることを条件に、簡略画像から詳細画像に表示画像を切り替えている。具体的には図16(A)では、ユーザが表示部340を注視していないため、株情報の画像として、簡略画像(第1の画像)を表示している。即ち、平均的な株価や為替の動きを簡略的に表示している。
一方、図16(B)では、ユーザが表示部340を一定時間注視していると判断されたため、詳細画像(第1の画像の詳細画像である注視用画像)に切り替えている。具体的には、個別銘柄の株価の変化を知らせる詳細画像が表示される。こうすることで、ユーザは、表示部340を注視することで、株価の動きの詳細を知ることが可能になる。なお、複数の銘柄のうちのどの銘柄を表示するのかを(複数の表示項目のうちのどの表示項目を表示するのかを)、操作部360等を用いてユーザが予め登録できるようにしてもよい。このようにすれば、株情報の簡略画像が表示されている時にユーザが表示部340を注視することで、ユーザがお気に入りとして登録された銘柄の株価の詳細を知らせる画像が表示されるようになり、ユーザの利便性を向上できる。
なお、ユーザの注視状態(広義には視認状態)に基づく表示態様の変化は、図15(A)〜図16(B)に限定されず、文字のサイズを変化させたり、画面分割数を変化させるなどの種々の変形実施が可能である。
例えば図17(A)では、第1、第2、第3、第4の分割画面に、各々、天気情報、株価情報、交通情報、カレンダ情報の画像が表示されている。この状態で、例えば天気情報が表示される第1の分割画面をユーザが注視していることが検出されると、図17(B)に示すように、天気情報が選択されてその画像が表示される。このようにすれば、ユーザが分割画面のいずれかを注視することで、その分割画面を選択できるようになる。なお、例えばユーザが図17(B)の画像を更に一定時間注視すると、天気情報の詳細を知らせる詳細画像を表示したり、天気の関連情報を知らせる関連画像を表示するようにしてもよい。
以上の本実施形態の手法によれば、ユーザの注視等の視認状態が検出されると、それに応じて表示画像の表示態様が変化する。従って、ユーザに提供する表示画像のバラエティを増すと共に効率的な情報伝達が可能になり、これまでにないタイプのデジタルフォトフレームの提供が可能になる。
次に図18(A)を用いて、ユーザの注視状態の検出手法の一例について説明する。図18(A)では、ユーザ検知センサ350として撮像センサを用いる。そして図14(A)、図14(B)で説明したように、撮像センサからの撮像情報に基づいて、ユーザの顔領域FARを検出する。
次に検出された顔領域FARに対応する計測領域SARを設定する。この計測領域SARは、顔領域FARを内包し、顔領域FARよりもサイズが大きな領域である。この計測領域SARは、例えば顔領域FARをオーバーサイジングすることで設定できる。そして、この計測領域SAR内に顔領域FARが存在する時間を計測し、計測された時間に基づいて、ユーザが表示部340を注視しているか否かを判断する。例えば顔領域FARが計測領域SAR内に一定時間以上位置していた場合には、ユーザが表示部340を注視していると判断する。そして図15(A)〜図17(B)に示すように表示画像の表示態様を変化させる。
図18(A)の検出手法によれば、図14(A)、図14(B)の手法によるユーザとの距離の検出と、注視状態の検出の両方を、撮像センサを用いて実現できるようになる。これにより、センサの部品点数を減らしたり、効率的な処理が可能になる。
なお注視状態の検出手法は図18(A)の手法に限定されない。例えば図18(B)では、赤外光を照射し、ユーザの赤目を検出することで注視状態を検出している。具体的には赤外線デバイス354により照射された赤外線は、ハーフミラー353により反射されてユーザの目に到達する。そしてユーザの赤目状態を、撮像センサが設けられたカメラ352により撮影して検出することで、ユーザの目の瞳孔の位置を検出して、ユーザの視線方向を検出し、ユーザが注視状態か否かを判断する。また図18(C)では、2台のカメラ356、357(ステレオカメラ)で撮影されたユーザの顔画像の目周辺の画像領域の明暗から、瞳孔の位置を検出する。そして、検出された瞳孔の中心位置と眼球の中心位置から、ユーザの視線方向を検出し、ユーザが注視状態か否かを判断する。このようにユーザの注視状態の検出手法としては種々の手法を採用できる。
また以上では、ユーザとの距離やユーザの注視状態を検出して表示画像の表示態様を変化させる場合について説明したが、本実施形態はこれに限定されない。例えば検知範囲内でのユーザの接近の度合いを検出して、表示画像の表示態様を変化させてもよい。例えば図14(A)の顔領域FARのサイズの時間に対する変化率を求める。そしてサイズの変化率が一定値以上である場合には、ユーザの接近の度合いが高いと判断して、図12(A)〜図13(B)、図15(A)〜図17(B)と同様の手法で表示画像の表示態様を変化させる。こうすることで、デジタルフォトフレームに興味を持って近づいてきたユーザに対して、様々な画像を表示できるようになる。
またユーザが検知範囲内に存在したか否かをユーザ検知センサ350により検知し、ユーザが存在すると判断された場合に、表示部340の表示をオフからオンに切り替えてもよい。例えば省電力モードから通常モードに切り替えて、表示部340に画像を表示する。また表示部340の表示がオンの状態で、ユーザが検知範囲内から出て、ユーザが存在しないと判断された場合には、表示部340の表示をオンからオフに切り替える。このようにすれば、ユーザが近くにいない時にデジタルフォトフレームに画像が表示されて、無駄に電力が消費されてしまう事態を防止できる。
またユーザが表示部340を注視していることを検知した場合に、1回の注視が検知されたことを条件に、表示モードを切り替えてもよいし、複数回の注視が検知されたことを条件に、表示モードを切り替えてもよい。例えばユーザが表示部340を注視した回数に基づいて、表示画像の表示態様を変化させる。
具体的には、所定時間内にユーザが表示部340を注視した回数である注視回数をカウントして記録する。そして、所定時間内での注視回数が、しきい値となる所定回数(例えば2〜5回)を超えるまでは、表示モードを切り替えずに、元の画像(第1の画像)を表示したままの状態にする。一方、所定時間内での注視回数が所定回数を超えると、表示モードを例えば注視モード等に切り替える。そして、元の画像の関連画像を表示したり、元の画像の詳細画像を表示する。或いは、注視回数が多かった場合には、その画像の詳細画像や関連画像の表示頻度等を上昇させる。例えば、あるコンテンツの画像の表示中に、ユーザが、30秒(所定時間)の間に2回(所定回数)以上、注視したことが検出されると、そのコンテンツの詳細コンテンツや関連コンテンツの画像を表示する。或いは、あるコンテンツの画像を、1日(所定時間)に5回(所定回数)以上、ユーザが注視したことが検出されると、そのコンテンツの関連コンテンツの画像の表示頻度を上昇させる。例えば、前の日における第1の画像(例えばプロ野球の試合結果の画像)の注視回数が所定回数以上である場合には、次の日における第1の画像又はその関連画像(例えばプロ野球又は大リーグの試合結果の画像)の表示頻度を高くする。
また本実施形態のように表示モードの切り替えを行う場合に、ユーザの存在が検知されなくなったり、ユーザの視認状態が検知されなくなったとたんに、表示モードが切り替わって、元の表示モードに戻ってしまうと、ユーザの利便性を損ねるおそれがある。例えばユーザの顔が検知されたり、ユーザの注視が検知されて、表示モードが詳細表示モードや注視モードに切り替わった場合に、ユーザが一瞬だけよそ見をしたとたんに、その詳細表示モードや注視モードが解除されて、元の表示モードに戻ってしまうと、表示のスムーズさが損なわれてしまい、使いにくいデジタルフォトフレームになってしまう。
このような事態を防止するために、切り替わった後の表示モードを解除する場合には、一定時間(例えば30秒)は、ウェイトして、その表示モードを維持し続けるようにする。具体的には、簡略表示モードから詳細表示モードに切り替わった場合に、所定時間の間、その詳細表示モードの解除をウェイトし、詳細表示モードの表示を維持し続ける。或いは、表示モードが注視モードに切り替わった場合に、所定時間の間、その注視モードの解除をウェイトする。そして所定時間が経過した後も、ユーザの存在を検知できなかった場合やユーザの注視状態を検知できなかった場合には、詳細表示モードから簡略表示モードに戻したり、注視モードから通常表示モードに戻す。このようにすれば、表示モードが不用意に頻繁に切り替わって、ユーザにとって見づらいが表示画像になってしまう事態を効果的に防止できる。
8.表示態様の切り替え手法の具体例
次に本実施形態の表示態様の切り替え手法の具体例について、図19を用いて説明する。
図19に示すように、ユーザが表示部340を注視していないと判断されて、注視モードがオフに設定された場合には、画像IM1〜IM5(広義には第1〜第Nの画像)のスライド表示が行われる。即ち、画像IM1〜IM5の各画像が所定時間毎にシーケンシャルに表示される。ここで画像IM1〜IM5は、そのコンテンツ内容(テーマ)が異なっている。具体的には、画像IM1、IM2、IM3、IM4、IM5は、各々、ニュース、天気、株価、風景の写真、動物の写真を表すコンテンツとなっている。
このように画像IM1〜IM5がスライド表示され、例えば画像IM2(広義には第Kの画像)が表示されている時にユーザが表示部340を注視したとする。この場合には、注視モードがオフからオンに切り替わって、画像IM2の関連画像(或いは詳細画像)である注視用画像IM21A、IM22A、IM23Aが表示部340に表示される。例えば天気の画像IM2が表示されている時にユーザがこの画像を注視すると、降水確率や花粉情報などを知らせる関連画像が表示される。
そして、例えばこのような注視用画像IM21A〜IM23A(広義には第1〜第Mの注視用画像)が表示(スライド表示)されている時に、ユーザが表示部340に近づくと、注視用画像IM21A、IM22A、IM23Aの詳細画像(広義には第Lの注視用画像の詳細画像)であるIM21B、IM22B、IM23Bが表示される。即ち、ユーザと表示部340との距離が所定距離よりも近くなると、表示モードが簡略表示モードから詳細表示モードに切り替わって、詳細画像が表示される。例えば画像IM21Bでは時間毎の天気の詳細が表示され、画像IM22Bでは時間毎の降水確率の詳細が表示され、画像IM23Bでは花粉情報の詳細が表示される。ユーザが、画像IM1、IM3、IM4、IM5が表示されている時にこれらの各画像を注視した場合にも、上記と同様に表示モードが切り替わり、表示画像の表示態様が変化する。
図19の表示態様の切り替え手法によれば、画像IM1〜IM5がスライド表示されている時に、ユーザが興味を持つ画像を注視すると、その画像の関連画像や詳細画像が表示される。従って、ユーザの興味に応じた画像を効率的に表示できると共に、ユーザの注視やユーザの接近に応じて画像の表示態様を多様に変化させることが可能になり、これまでにないタイプのデジタルフォトフレームを提供できる。
なお図20に図19の手法の実現に使用される画像のデータ構造例を示す。例えば図20では、注視モードオフのフラグに対して画像IM1〜IM5が対応づけられている。これにより、ユーザが注視していない時に画像IM1〜IM5が表示されるようになる。また注視モードオフ及び簡略表示モードオンのフラグに対して、画像IM11A〜IM53Aが対応づけられ、注視モードオフ及び詳細表示モードオンのフラグに対して、画像IM11B〜IM53Bが対応づけられている。更に画像IM1には画像IM11A〜IM13B、IM2にはIM21A〜IM23B、IM3にはIM31A〜IM33B、IM4にはIM41A〜IM43B、IM5にはIM51A〜IM53Bが対応づけられている。このようなデータ構造にすることで、図19に示すように、画像IM2が注視された時には、画像IM21A〜IM23Aを表示し、この状態でユーザが表示部340に近づいた時には画像IM21B〜IM23Bを表示できるようになる。
9.ユーザ状態に基づく表示制御の詳細例
次にユーザ状態に基づく表示制御の詳細な処理例について図21のフローチャートを用いて説明する。
まずユーザ検知センサである焦電センサを用いて、検知範囲内にユーザ(人物)が存在するか否かを判断する(ステップS1)。そして、ユーザが存在しないと判断された場合には(ステップS2)、表示部の表示をオフにして省電力モードに設定する(ステップS3)。一方、ユーザが存在すると判断された場合には、表示部の表示をオンにして、壁紙・時計・カレンダ等の背景画像を表示する(ステップS4)。このようにすることで、デジタルフォトフレームの近くにユーザがいないのに、表示部に画像が表示されて電力が無駄に消費されてしまう事態を防止できる。
次に、ユーザ検知センサである撮像センサ(カメラ)を用いた顔検出により、ユーザの視野範囲内に表示部が入っているか否かを判断する(ステップS5)。そして視野範囲内に入っていると判断された場合には(ステップS6)、ユーザと表示部(表示画面)との距離を、顔領域(枠領域)のサイズから判断する(ステップS7)。例えば図14(A)、図14(B)に示すように顔領域が検出された場合には、ユーザの視野範囲内に表示部が入っていると判断される。そして顔領域のサイズを検出して、ユーザと表示部との距離を判断(推定)する。
ユーザと表示部との距離が所定距離以内であると判断された場合には(ステップS8)、詳細表示モードをオンにする(ステップS9)。一方、所定距離以内ではないと判断された場合には、簡略表示モードをオンにする(ステップS10)。これにより、図12(A)、図12(B)で説明したように、距離に応じた簡略画像と詳細画像の切り替えが可能になる。
次に撮像センサを用いた注視検出により、ユーザが表示部を注視しているか否かを判断する(ステップS11)。そして注視していると判断された場合には(ステップS12)、注視モードをオンにする(ステップS13)。一方、注視していないと判断された場合には、注視モードをオフにする(ステップS14)。これにより、図15(A)、図15(B)で説明したように、ユーザが注視したか否かに応じた表示態様の切り替えを実現できる。
次に、図12を用いて、図18(A)で説明した注視状態の検出処理の詳細について説明する。
まず、撮像センサ(カメラ)を用いた顔検出により、顔領域(枠領域)を検出する(ステップS21)。即ち図14(A)、図14(B)で説明した手法により顔領域を検出する。次に、検出された顔領域を内包し、顔領域よりもサイズが大きな計測領域を設定する(ステップS22)。即ち図18(A)に示すように、顔領域をオーバーサイジングした計測領域を設定する。そして計測領域内に顔領域が存在する時間をタイマを用いて計測する(ステップS23)。即ち計測領域の設定後、タイマの計測を開始し、顔領域が計測領域内に位置する時間を計測する。そして所定時間以上、経過したか否かを判断し(ステップS24)、経過した場合には注視モードをオンにする(ステップS25)。一方、経過しなかった場合には、注視モードをオフのままにする(ステップS26)。このようにすることでユーザの注視状態の検出と、それに応じた注視モードの設定が可能になる。
10.感性モデルの構築
さて、ユーザの嗜好や行動の傾向等を反映させた表示制御を行うためには、そのユーザの感性モデルの構築が効果的である。このような感性モデルの構築等のためには、表示モードが個人モードや共有モードである場合に、ユーザの各種状態を記録しておくことが望ましい。
例えば図23において、表示モード切り替え部316により、表示モードが個人モードに切り替わったとする。この場合には、ユーザ状態判断部306は、個人モード時でのユーザの位置関係、視認状態、操作履歴等を、個人情報として個人情報記憶部332に記憶する。
具体的には、個人モード時における、距離等の位置関係や、注視状態等の視認状態を、そのユーザの個人情報として記憶する。例えば個人モード時に表示されている画像(コンテンツ)に関連づけて、ユーザと表示部340との位置関係やユーザの視認状態の情報を記憶する。具体的には、その画像のタグ情報として関連づける。
或いは、個人モード時において、ユーザが、画像の閲覧操作、画像のスキップ操作、前の画像へ戻る操作等の各種操作を行った場合には、その操作履歴を、そのユーザの個人情報として記憶する。例えば、個人モード時に表示されている画像(コンテンツ)に関連づけて、ユーザの操作履歴の情報を記憶する。
そして、このようにして記憶されたユーザの個人情報に基づいて、そのユーザの感性モデル(個人モデル)を更新する。このようにすれば、ユーザが意識することなく、各ユーザ毎の感性モデルを構築することが可能になる。そして、このようにして更新された感性モデルを用いて、その後の表示制御を行えば、ユーザの感性に適合した表示制御を実現でき、これまでにないタイプのデジタルフォトフレームを提供できる。例えばユーザが、その個人モード時に頻繁に見るコンテンツの画像や、そのコンテンツのジャンルに属する画像を、優先的に表示部340に表示したり、ユーザがそのコンテンツを選択し易くなるような表示制御を実現できる。
或いは、図23において、表示モード切り替え部316により、表示モードが共有モードに切り替わったとする。この場合には、ユーザ状態判断部306は、共有モード時でのユーザの位置関係、視認状態、操作履歴等を、ユーザ共有情報としてユーザ共有情報記憶部334に記憶する。
具体的には、共有モード時における距離等の位置関係や注視状態等の視認状態を、複数のユーザの共有情報として記憶する。或いは、共有モード時において、画像閲覧操作等の各種操作が行われた場合には、その操作履歴を、複数のユーザの共有情報として記憶する。
そして、このようにして記憶されたユーザ共有情報に基づいて、複数のユーザの共有感性モデルを更新する。このようにすれば、複数のユーザの共有モード時に行った操作等が反映された共有感性モデルを構築できる。これにより、共有モード時にだけ特徴的に見られるような使い方が反映されるようになり、これまでにないタイプのデジタルフォトフレームを提供できる。例えば、2人のユーザが一緒に居る時にだけ見るコンテンツの画像や、そのコンテンツのジャンルに属する画像を、優先的に表示部340に表示したり、そのコンテンツが選び易くなるような表示制御を実現できる。
なお、感性モデルとしては確率モデルを用いることができ、このような確率モデルとしては例えば隠れマルコフモデル(Hidden Markov Model)がある。この隠れマルコフモデル(HMM)では、システムが、パラメータが未知のマルコフ過程であると仮定して、観測可能な情報からその未知のパラメータを推定する。即ち、HMMは、あるシステムがマルコフ過程に従って遷移する内部状態を持ち、各状態に応じた記号を確率的に出力すると考えた場合に、記号の出現確率分布からシステム内部の状態遷移を推定する確率モデルである。外部から観測できるのは記号の系列だけであり、内部の状態遷移が直接観測できないところから「隠れ」と呼ばれる。
11.共有モード時の位置関係に応じた表示制御
本実施形態では、共有モード時に。複数のユーザの位置関係に応じた表示制御を行うようにしてもよい。
具体的には、複数人のユーザ間の相互の位置関係を判断し、共有モード時には、複数人のユーザ間の位置関係に基づいて、表示画像の表示態様を変化させる。
例えば図24では、第1のユーザUAと第2のユーザUBの間の距離が近く、接近状態であると判断されている。具体的には、ユーザUA、UB間の距離が所定距離以内である場合に、接近状態であると判断される。例えば顔検出機能や顔認識機能を利用して、二人のユーザUA、UBの位置関係を判断できる。具体的には、ユーザUA、UBの顔領域の枠の大きさに基づいて、二人の前後の位置関係(前後の距離)を判断でき、2つの枠の間の距離に基づいて、二人の左右の位置関係(左右の距離)を判断できる。これにより二人のユーザUA、UBの距離を判断できる。
そして図24のように、共有モード時にユーザUA、UBが接近状態であると判断された場合には、ユーザUA、UBの共有モード用画像を表示する。例えばユーザUA、UBの共通の関心事の情報等を表示する。即ち、二人が一緒に表示画面に注目していると判断し、二人のユーザに共通したコンテンツの画像を表示する。このようにすれば、二人のユーザが接近した場合に、その二人にとって共通の話題となるような情報を提示でき、コミュニケーションの向上等を図れ、特に二人のユーザが男女である場合に効果的となる。
一方、図25では、ユーザUAとUBは、接近状態ではないと判断されている。具体的には、ユーザUA、UB間の距離が所定距離を超えている場合に、接近状態ではないと判断される。
そして、このように共有モード時にユーザUA、UBが接近状態ではないと判断された場合に、図25では、ユーザUAの個人モード用画像と、ユーザUBの個人モード用画像を時分割で表示している。具体的には、ユーザUA、UBは、別の行動を行っていると判断して、それぞれのユーザを対象としたコンテンツの画像を時分割に交互に表示する共有シーケンシャルモードに、表示モードを設定する。
また図26では、このようなユーザの非接近状態時に、ユーザUAの個人モード用画像とユーザUBの個人モード用画像を、異なる分割画面に表示している。例えばユーザUAの興味は釣りであるため、ユーザUAの個人モード用画像である釣り情報の画像を、第1の分割画面に表示する。一方、ユーザUBの興味は音楽であるため、ユーザUBの個人モード用画像である音楽情報の画像を、第2の分割画面に表示する。更にユーザUAが興味を持っている株価情報の画像を、第3の分割画面に表示し、ユーザUBが興味を持っている動物情報の画像を、第4の分割画面に表示する。
このようにすれば、二人のユーザが検知された場合にも、二人のユーザが離れて別々の行動を行っている場合には、それぞれのユーザが興味等を持っている画像が表示されるようになるため、ユーザの利便性を向上できる。
なお共有モードとは別に共有接近モードという表示モードを設けてもよい。例えば図27(A)では、ユーザUAとUFの間の距離は所定距離以上となっており、第1の接近状態になっている。この場合には、共有モード用の表示制御で画像を表示する。具体的には、撮像センサ等の視野範囲内に二人のユーザUA、UFが存在するが、二人の距離が所定距離以上離れている場合には、共有モードで動作して、共通の関心情報等の共有モード用画像を表示する。
一方、図27(B)では、ユーザUAとUFの距離は所定距離よりも小さくなっており、第1の接近状態よりも二人の距離が近づいた第2の接近状態になっている。この場合には、共有接近モード用の表示制御で画像を表示する。具体的には、撮像センサ等の視野範囲内に存在する二人のユーザUA、UFの距離が所定距離よりも小さい場合には、共有接近モードで動作して、その二人の思い出写真等の特定のコンテンツ画像である共有接近モード用画像が表示される。即ち二人の距離が近づいたことから、二人はより親密な関係であると判断し、共有モード用画像よりも更に親密度が高い画像として用意された共有接近モード用画像を表示する。このようにすれば、二人の距離に応じて、共有モード用画像から共有接近モード用画像に変化するようになり、二人の親密度に応じた画像を提供できるようになる。
12.年齢認識
本実施形態では、ユーザの年齢認識を行って、その年齢認識結果に基づいて表示画像の表示態様を変化させてもよい。
例えば図28(A)では、ユーザ検知センサ350を用いた年齢認識処理により、ユーザUDの年齢層が子供(広義には第1の年齢層)であると判断されている。この場合には、子供用画像(広義には第1の年齢層用画像)を表示する。具体的には、難しい漢字をひらがなで表示したり、ひらがなのみを用いて情報を提示する。或いは子供用の背景画像を使用したり、子供が好む色やフォントを使用する。
一方、図28(B)では、ユーザ検知センサ350を用いた年齢認識処理により、ユーザUEの年齢層が老人(広義には第2の年齢層)であると判断されている。この場合には、老人用画像(広義には第2の年齢層用画像)を表示する。具体的には、大きく見やすい文字を使用したり、太字の文字を使用する。或いは、老人用の背景画像を使用したり、老人が好む色やフォントを使用する。
またユーザ登録の際などに表示される選択項目(選択肢)の画像を、ユーザの年齢の認識結果に基づいて変化させてもよい。
例えば図29(A)のユーザ登録画面において、ユーザUDは自身の趣味・嗜好のジャンル選択を行って、ユーザ登録を行っている。この場合に、ユーザ検知センサ350を用いた年齢認識処理により、ユーザUDは子供であると判断されている。従って、ジャンル選択のためのデフォルトの選択項目として、昆虫、動物、アニメ、ゲーム等の子供用に用意された選択項目を表示する。
一方、図29(B)では、ユーザ登録を行っているユーザUEは老人であると判断されている。従って、デフォルトの選択項目として、旅行、園芸、グルメ、投資等の老人用に用意された選択項目を表示する。
また図30(A)、図30(B)は、図19で説明した注視モードオフ時にスライド表示されるコンテンツの例である。例えば図30(A)では、年齢認識により子供のユーザが検知されたため、昆虫、動物、アニメ、ゲーム等の子供用のコンテンツをスライド表示する。そして、このスライド表示においてユーザの注視が検出されると、そのタイミングで表示されていたコンテンツ画像の関連画像や詳細画像が表示される。
一方、図30(B)では、年齢認識により老人のユーザが検知されたため、旅行、園芸、グルメ、投資等の老人用のコンテンツをスライド表示する。そして、このスライド表示においてユーザの注視が検出されると、そのタイミングで表示されていたコンテンツ画像の関連画像や詳細画像が表示される。
またユーザの年齢認識結果を、年齢フィルタ機能(コンテンツフィルタ機能)に利用してもよい。即ち、子供に有害情報が表示されるのは好ましくなく、プッシュで情報提示するデジタルフォトフレームにおいても、年齢によるコンテンツフィルタ機能を設けることが望ましい。そこで、年齢認識結果に基づいて、ユーザの年齢層がコンテンツ制限対象の年齢層である子供と判断された場合には、そのユーザに対するコンテンツ表示を制限する年齢フィルタ処理を行う。即ち、子供にとって有害又は好ましくないコンテンツについては、その表示を禁止したり、親の許諾を条件に表示することで、有害情報をブロックする。
この場合には図30(C)に示すように、各コンテンツに対して年齢フィルタ用のタグを関連づける。そして、認識されたユーザの年齢と、タグの年齢層情報を照合することで、当該タグが関連づけられたコンテンツを表示するか否かを判断する。このようにすれば、簡素な制御で、子供に対する有害情報のブロックが可能になる。
また図31のように複数のユーザが検知された場合において、子供優先モードを用意してもよい。例えば図3(B)で説明したような共有モードにおいて、子供のユーザUDがデジタルフォトフレーム300を見ている場合には、大人のユーザUA、UBよりも子供の方を優先したいというニーズがあると考えられる。そこで、視認範囲に複数のユーザの存在が確認され、共有モードに切り替えら、その時に、子供のユーザUDが検知された場合には、子供優先モードに設定する。即ち、年齢認識結果に基づき、複数人のユーザの中に、優先年齢層である子供のユーザUDが存在すると判断された場合には、優先年齢層用画像である子供用画像を表示する。
なお優先年齢層は子供には限定されない。例えば子供よりも大人の方を優先したり、父親又は母親を優先するようにしてもよい。また優先年齢層の設定は、デジタルフォトフレーム300のモード設定画面において行ってもよい。このようにすれば、各デジタルフォトフレーム毎に、優先する年齢層の設定を異ならせることが可能になる。
またユーザの年齢認識処理としては種々の処理が考えられる。例えば多数の子供の顔パターンから生成した平均顔パターンを子供用顔テンプレートとして作成し、多数の大人(或いは老人)の顔パターンから生成した平均顔パターンを大人用顔テンプレートとして作成する。そして、子供用テンプレートを撮像画像の画面上で走査して、撮像画像との相関を求め、その相関値に基づいて子供を検知し、大人用テンプレートを撮像画像の画面上で走査して、撮像画像との相関を求め、その相関値に基づいて大人を検知する。或いは、顔画像認識によりしわの数を特定し、しわの数が少ない場合には子供であると判断し、しわの数が多い場合には大人であると判断し、しわの数が更に多い場合には老人であると判断してもよい。
13.変形例
次に本実施形態の変形例について説明する。図32に本実施形態の第1の変形例を示す。この第1の変形例のシステムでは、ホームサーバ200(広義には情報処理システム)が設けられている。このホームサーバ200は、処理部202、記憶部220、通信部238、操作部260を含む。なおこれらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。なお、図2と同様の構成要素については、同様の符号を付してその説明を省略する。
処理部202は、管理処理などの各種の処理を行うものであり、CPU等のプロセッサやASICなどにより実現できる。記憶部220は、処理部202や通信部238のワーク領域となるものであり、例えばRAMやHDD等により実現できる。通信部238は、デジタルフォトフレーム300や外部サーバ600と有線又は無線で通信を行うためのものであり、通信用ASIC又は通信用プロセッサなどにより実現できる。操作部260は、サーバの管理者が各種情報を入力するためのものである。
図32では、デジタルフォトフレーム300とホームサーバ200は、例えば無線LAN等のネットワークで通信接続される。また図32では、ユーザ検知センサ250として、家の各場所に設置されるホームセンサが用いられる。そして、ホームサーバ200の検知情報取得部204が、ホームセンサであるユーザ検知センサ250からの検知情報を取得し、取得された検知情報は検知情報記憶部224に記憶される。
またホームサーバ200で取得された検知情報は、転送部205により、通信部238、338を介して、デジタルフォトフレーム300に転送される。すると、デジタルフォトフレーム300の検知情報取得部304は、転送された検知情報を取得し、取得された検知情報は検知情報記憶部324に記憶される。
ユーザ状況判断部306は、取得された検知情報に基づいてユーザ状態を判断し、表示モード切り替え部316は、ユーザ状態に応じて表示モードを切り替える。例えばユーザとの位置関係や視認状態などに応じて、表示モードを切り替える。
また登録処理部310は、ユーザの登録処理を行う。例えば操作部360によりユーザが入力したユーザ登録情報の設定処理を行ったり、ユーザの顔画像の登録処理などを行う。
またユーザ認識部312は、取得された検知情報に基づいてユーザの認識処理を行う。例えばユーザの人数の認識やユーザの人物認証を行う。そして表示モード切り替え部316は、ユーザ認識結果に応じて表示モードを切り替える。例えばユーザの人数や人物認証の結果などに応じて、表示モードを切り替える。
表示制御部318は、表示モードに応じた画像を表示部340に表示する制御を行う。例えば通常モード、個人モード、共有モード、来客モードがオンである場合には、それに応じて通常モード用画像、個人モード用画像、共有モード用画像、来客モード用画像を表示する。また例えば簡略表示モード、詳細表示モード、注視モードの各々がオンである場合には、それに応じて簡略画像、詳細画像、注視用画像(関連画像)を表示する。
なお、これらの画像等のコンテンツ情報は、ホームサーバ200のコンテンツ情報記憶部222からデジタルフォトフレーム300のコンテンツ情報記憶部322にダウンロードされる。或いは外部サーバ600のコンテンツ情報記憶部622からダウンロードしてもよい。またデジタルフォトフレーム300の処理部302を実現するためのプログラムも、外部サーバ600やホームサーバ200から、デジタルフォトフレーム300にダウンロードするようにしてもよい。
図33に、ユーザ検知センサ250であるホームセンサの設置例を示す。図33では、ホームセンサとして、撮像センサを有するカメラ251、252、253、254が、例えば部屋の天井の四隅に設置されている。そして、これらのカメラ251〜254を用いてユーザ10やデジタルフォトフレーム300を撮影することで、ユーザ10の人数の特定や、ユーザ10の人物認証が行われる。またユーザ10とデジタルフォトフレーム300の表示部340との位置関係や、表示部340に対するユーザ10の視認状態や、ユーザ10が検知範囲である部屋内に存在するか否かなどを判断するための検知情報が取得される。そして取得された検知情報が、ホームサーバ200からデジタルフォトフレーム300に転送され、デジタルフォトフレーム300が、検知情報に基づいて、ユーザ認識を行ったり、ユーザ状態を判断して、ユーザ認識結果やユーザ状態に応じた画像を表示部340に表示する。なお、ホームセンサは、カメラ251〜254の撮像センサに限定されず、焦電センサや超音波センサなどの種々のセンサを用いることができる。
図32の第1の変形例を用いれば、例えばホームセキュリティ等のために設けられたホームセンサを有効活用して、検知情報を取得し、この検知情報に基づいて、ユーザ認識を行ったり、ユーザ状態を判断し、ユーザ認識結果やユーザ状態に応じた画像をデジタルフォトフレーム300の表示部340に表示できるようになる。
図34に本実施形態の第2の変形例を示す。図34では、ホームサーバ200の処理部202が、検知情報取得部204、転送部205に加えて、ユーザ状態判断部206、登録処理部210、ユーザ認識部212、表示モード切り替え部216を含む。また、デジタルフォトフレーム300に対して表示の指示を行う表示指示部218を含む。またホームサーバ200の記憶部220は、コンテンツ情報記憶部222、検知情報記憶部224に加えて、ユーザ登録情報記憶部225、ユーザ状態記憶部226、認識結果記憶部227、切り替えフラグ記憶部228、注視回数情報記憶部229、個人情報(感性モデル)記憶部332、ユーザ共有情報(共有感性モデル)記憶部334を含む。
図34では、ユーザ検知センサ250であるホームセンサからの検知情報に基づいて、ホームサーバ200のユーザ認識部212が、ユーザの人数の認識や人物認証などのユーザ認識処理を行う。なおユーザの登録処理もホームサーバ200の登録処理部210が行う。また、ホームセンサからの検知情報に基づいて、ホームサーバ200のユーザ状態判断部206が、位置関係や視認状態等のユーザ状態を判断する。
そして表示モード切り替え部216は、ユーザ認識結果やユーザ状態に応じて表示モードを切り替える処理を行う。例えばユーザの人数や人物認証の結果等に応じて表示モードを切り替える。或いは、ユーザとの位置関係や視認状態等に応じて、表示モードを切り替える。
表示指示部218は、表示モードに応じた画像を表示するように、デジタルフォトフレーム300に指示する処理を行う。即ち、検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、デジタルフォトフレーム300の表示部340に表示される画像の表示態様を変化させる表示指示を行う。或いは、ユーザと表示部340との位置関係や、ユーザの視認状態や、ユーザが検知範囲内に存在するか否かの少なくとも1つに応じて、表示部340に表示される画像の表示態様を変化させる表示指示を行う。
デジタルフォトフレーム300の表示制御部318は、表示指示部218からの指示にしたがって、表示部340の表示制御を行う。これにより、ユーザの人数、人物認証結果、ユーザとの位置関係、ユーザの視認状態、ユーザが検知範囲内に存在するか否かなどに応じて、表示部340の表示態様が変化する。
図34の第2の変形例によれば、ユーザの認識処理やユーザ状態の判断処理や表示モードの切り替え処理をホームサーバ200が行うため、デジタルフォトフレーム300の処理負荷を軽減できる。従って、デジタルフォトフレーム300の処理部302(CPU)の処理能力が低い場合も、本実施形態の処理を実現できるようになる。なお、これらの処理を、ホームサーバ200とデジタルフォトフレーム300の分散処理により実現してもよい。
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(位置関係、視認状態等)と共に記載された用語(距離、注視状態等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。またデジタルフォトフレーム、情報処理システムの構成、動作や、ユーザの認識手法、ユーザ状態の判断手法、位置関係の検出手法、視認状態の検出手法等も本実施形態で説明したものに限定に限定されず、種々の変形実施が可能である。
図1(A)、図1(B)はデジタルフォトフレームの例を示す図。 本実施形態のデジタルフォトフレームの構成例。 図3(A)、図3(B)はユーザの人数に応じて表示画像の表示態様を変化させる手法の説明図。 図4(A)、図4(B)はユーザ登録処理の説明図。 図5(A)、図5(B)はユーザの人物認証結果に応じて表示画像の表示態様を変化させる手法の説明図。 図6(A)、図6(B)は個人モードをイネーブル又はディスエーブルにする手法の説明図。 図7(A)、図7(B)はユーザが登録ユーザか否かに応じて表示画像の表示態様を変化させる手法の説明図。 ユーザ登録処理を説明するためのフローチャート。 本実施形態の詳細な処理例を説明するためのフローチャート。 本実施形態の詳細な処理例を説明するためのフローチャート。 優先モードについて説明するためのフローチャート。 図12(A)、図12(B)は距離に応じて表示画像の詳細度を変化させる手法の説明図。 図13(A)、図13(B)は距離に応じて表示画像の画面分割数を変化させる手法の説明図。 図14(A)、図14(B)はユーザと表示部との距離の検出手法の説明図。 図15(A)、図15(B)はユーザが表示部を注視しているか否かに応じて表示画像の表示態様を変化させる手法の説明図。 図16(A)、図16(B)はユーザが表示部を注視しているか否かに応じて表示画像の表示態様を変化させる手法の説明図。 図17(A)、図17(B)はユーザが表示部を注視しているか否かに応じて表示画像の表示態様を変化させる手法の説明図。 図18(A)〜図18(C)はユーザの注視状態の検出手法の説明図。 本実施形態の表示態様の切り替え手法の具体例。 本実施形態の表示態様の切り替え手法を実現するためのデータ構造の例。 ユーザ状態に応じて表示態様を変化させる処理を説明するためのフローチャート。 注視状態の検出処理を説明するためのフローチャート。 個人モード時や共有モード時に個人情報やユーザ共有情報を記憶する手法の説明図。 共有モード時に複数のユーザ間の位置関係に応じて表示態様を変化させる手法の説明図。 共有モード時に複数のユーザ間の位置関係に応じて表示態様を変化させる手法の説明図。 共有モード時に複数のユーザ間の位置関係に応じて表示態様を変化させる手法の説明図。 図27(A)、図27(B)は共有接近モードの表示制御手法の説明図。 図28(A)、図28(B)は年齢認証結果に基づき表示態様を変化させる手法の説明図。 図29(A)、図29(B)は年齢認証結果に基づき表示態様を変化させる手法の説明図。 図30(A)〜図30(C)は年齢認証結果に基づき表示態様を変化させる手法の説明図。 優先年齢層のユーザを検知して優先年齢層用画像を表示する手法の説明図。 本実施形態の第1の変形例。 ホームセンサの設置例。 本実施形態の第2の変形例。
符号の説明
200 サーバ、202 処理部、204 検知情報取得部、205 転送部、
206 ユーザ状態判断部、210 登録処理部、212 ユーザ認識部、
216 表示モード切り替え部、218 表示指示部、220 記憶部、
222 コンテンツ情報記憶部、224 検知情報記憶部、
225 ユーザ登録情報記憶部、226 ユーザ状態記憶部、227 認識結果記憶部、
228 切り替えフラグ記憶部、238 通信部、
250 ユーザ検知センサ(ホームセンサ)、260 操作部、
300 デジタルフォトフレーム、302 処理部、304 検知情報取得部、
306 ユーザ状態判断部、307 位置関係判断部、308 視認状態判断部、
309 ユーザ存在判断部、312 ユーザ認識部、313 ユーザ人数認識部、
314 人物認証部、316 表示モード切り替え部、318 表示制御部、
320 記憶部、322 コンテンツ情報記憶部、324 検知情報記憶部、
325 ユーザ登録情報記憶部、326 ユーザ状態記憶部、
327 認識結果記憶部、328 切り替えフラグ記憶部、330 情報記憶媒体、
338 通信部、340 表示部、350 ユーザ検知センサ、360 操作部

Claims (34)

  1. 画像が表示される表示部と、
    前記表示部の表示制御を行う表示制御部と、
    ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、
    取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部とを含み、
    前記表示制御部は、
    検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
  2. 請求項1において、
    前記ユーザ認識部は、
    検知されたユーザの人数を認識し、
    前記表示制御部は、
    検知されたユーザの人数が一人であると判断された場合と複数人であると判断された場合とで、前記表示部に表示される画像の表示態様を異ならせる表示制御を行うことを特徴とするデジタルフォトフレーム。
  3. 請求項1又は2において、
    前記表示制御部は、
    検知されたユーザの人数が一人であると判断された場合には、検知された一人のユーザに対応する個人モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  4. 請求項1乃至3のいずれかにおいて、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断された場合には、検知された複数人のユーザに対応する共有モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  5. 請求項1乃至4のいずれかにおいて、
    ユーザの登録処理を行う登録処理部を含み、
    前記ユーザ認識部は、
    検知されたユーザが登録ユーザであるか否かの人物認証を行い、
    前記表示制御部は、
    検知されたユーザが登録ユーザであると判断された場合には、検知されたユーザに対応する個人モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  6. 請求項1乃至5のいずれかにおいて、
    検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部の表示モードを切り替える表示モード切り替え部を含むことを特徴とするデジタルフォトフレーム。
  7. 請求項6において、
    前記表示モード切り替え部は、
    検知されたユーザの人数が複数人であると判断された場合に、個人モード用の表示制御を行う個人モードへの切り替えをディスエーブルにすることを特徴とするデジタルフォトフレーム。
  8. 請求項1乃至7のいずれかにおいて、
    前記ユーザ認識部は、
    検知されたユーザが登録ユーザであるか否かの人物認証を行い、
    前記表示制御部は、
    検知されたユーザが登録ユーザであると判断された場合と未登録ユーザであると判断された場合とで、前記表示部に表示される画像の表示態様を異ならせる表示制御を行うことを特徴とするデジタルフォトフレーム。
  9. 請求項8において、
    前記表示制御部は、
    検知されたユーザが登録ユーザであると判断された場合には、検知されたユーザに対応する登録ユーザ用の表示制御を行い、検知されたユーザが未登録ユーザであると判断された場合には、未登録ユーザ用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  10. 請求項1乃至9のいずれかにおいて、
    前記表示制御部は、
    検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザが登録ユーザであると判断された場合には、検知された一人のユーザに対応する個人モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  11. 請求項10において、
    前記表示制御部は、
    検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザが未登録ユーザであると判断された場合には、来客モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  12. 請求項10又は11において、
    前記表示制御部は、
    検知されたユーザの人数が一人であると判断され、且つ、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  13. 請求項1乃至12のいずれかにおいて、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断され、且つ、検知された複数人のユーザが登録ユーザであると判断された場合には、検知された複数人のユーザに対応する共有モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  14. 請求項13において、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断され、且つ、検知された複数人のユーザの少なくとも一人が未登録ユーザであると判断された場合には、来客モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  15. 請求項13又は14において、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断され、且つ、検知されたユーザの人物認証に失敗した場合には、通常モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  16. 請求項1乃至15のいずれかにおいて、
    取得された前記検知情報に基づいて、ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザが検知範囲内に存在するか否かの少なくとも1つを判断するユーザ状態判断部とを含み、
    前記表示制御部は、
    ユーザと前記表示部との前記位置関係、ユーザの前記視認状態、及びユーザが前記検知範囲内に存在するか否かの少なくとも1つに応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
  17. 請求項16において、
    前記ユーザ状態判断部は、
    ユーザが前記検知範囲内に存在するか否かを判断し、
    前記表示制御部は、
    ユーザが前記検知範囲内に存在すると判断された場合に、前記表示部の表示をオンにする表示制御を行うことを特徴とするデジタルフォトフレーム。
  18. 請求項16又は17において、
    前記ユーザ状態判断部は、
    ユーザと前記表示部との前記位置関係、及び前記表示部に対するユーザの前記視認状態の少なくとも一方を判断し、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断され、前記位置関係及び前記視認状態の少なくとも一方に基づいて、複数人のユーザのいずれかのユーザを優先すると判断された場合に、優先モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  19. 請求項1において、
    ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザの操作履歴の少なくとも1つを判断するユーザ状態判断部と、
    前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、
    前記ユーザ状態判断部は、
    前記表示モードが、一人のユーザの個人モード用の表示制御を行う個人モードである場合に、前記位置関係、前記視認状態、及び前記操作履歴の少なくとも1つについての情報を、ユーザの個人情報として個人情報記憶部に書き込むことを特徴とするデジタルフォトフレーム。
  20. 請求項1において、
    ユーザと前記表示部との位置関係、前記表示部に対するユーザの視認状態、及びユーザの操作履歴の少なくとも1つを判断するユーザ状態判断部と、
    前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、
    前記ユーザ状態判断部は、
    前記表示モードが、複数人のユーザの共有モード用の表示制御を行う共有モードである場合に、前記位置関係、前記視認状態、及び前記操作履歴の少なくとも1つについての情報を、複数人のユーザの共有情報としてユーザ共有情報記憶部に書き込むことを特徴とするデジタルフォトフレーム。
  21. 請求項1において、
    複数人のユーザ間の相互の位置関係を判断するユーザ状態判断部と、
    前記表示部の表示モードの切り替えを行う表示モード切り替え部とを含み、
    前記表示制御部は、
    前記表示モードが、複数人のユーザの共有モード用の表示制御を行う共有モードである場合に、複数人のユーザ間の前記位置関係に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うデジタルフォトフレーム。
  22. 請求項21において、
    前記ユーザ状態判断部は、
    複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、
    前記表示制御部は、
    第1のユーザと第2のユーザとが接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  23. 請求項21において、
    前記ユーザ状態判断部は、
    複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、
    前記表示制御部は、
    第1のユーザと第2のユーザとが接近状態ではないと判断された場合には、第1のユーザの個人モード用画像と第2のユーザの個人モード用画像を、時分割で前記表示部に表示する制御を行うことを特徴とするデジタルフォトフレーム。
  24. 請求項21において、
    前記ユーザ状態判断部は、
    複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、
    前記表示制御部は、
    第1のユーザと第2のユーザとが接近状態ではないと判断された場合には、第1のユーザの個人モード用画像を第1の分割画面に表示し、第2のユーザの個人モード用画像を第2の分割画面に表示する制御を行うことを特徴とするデジタルフォトフレーム。
  25. 請求項21において、
    前記ユーザ状態判断部は、
    複数人のユーザのうちの第1のユーザと第2のユーザとの間の距離を判断し、
    前記表示制御部は、
    第1のユーザと第2のユーザとが第1の接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有モード用の表示制御を行い、第1のユーザと第2のユーザとが前記第1の接近状態よりも近い第2の接近状態であると判断された場合に、第1のユーザ及び第2のユーザに対応する共有接近モード用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  26. 請求項1において、
    前記ユーザ認識部は、
    検知されたユーザの年齢認識を行い、
    前記表示制御部は、
    検知されたユーザの年齢認識結果に基づいて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするデジタルフォトフレーム。
  27. 請求項26において、
    前記表示制御部は、
    検知されたユーザの年齢認識結果に基づいて、ユーザの年齢層が所定年齢層であると判断された場合には、前記所定年齢層用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  28. 請求項26又は27において、
    前記表示制御部は、
    検知されたユーザの年齢認識結果に基づいて、ユーザの年齢層が、コンテンツ表示の制限対象となる年齢層であると判断された場合には、コンテンツ表示を制限する年齢フィルタ処理を行うことを特徴とするデジタルフォトフレーム。
  29. 請求項26乃至28のいずれかにおいて、
    前記ユーザ認識部は、
    検知されたユーザの人数を認識し、
    前記表示制御部は、
    検知されたユーザの人数が複数人であると判断され、且つ、ユーザの年齢認識結果に基づいて、複数人のユーザの中に優先年齢層に属するユーザが存在すると判断された場合には、優先年齢層用の表示制御を行うことを特徴とするデジタルフォトフレーム。
  30. 請求項1乃至29のいずれかにおいて、
    前記表示制御部は、
    前記表示態様を変化させる前記表示制御として、表示画像を変化させる制御、画面分割数を変化させる制御、表示時間を変化させる制御、表示方法を変化させる制御、文字フォントを変化させる制御、文字サイズを変化させる制御、及び使用言語を変化させる制御の少なくとも1つの制御を行うことを特徴とするデジタルフォトフレーム。
  31. デジタルフォトフレームの表示部に表示される画像の表示指示を行う表示指示部と、
    ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、
    取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部とを含み、
    前記表示指示部は、
    検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部に表示される画像の表示態様を変化させる表示指示を行うことを特徴とする情報処理システム。
  32. デジタフフォトフレームの制御方法であって、
    ユーザ検知センサにより検知された検知情報を取得し、
    取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行い、
    検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記デジタフフォトフレームの表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とする制御方法。
  33. 画像が表示される表示部の表示制御を行う表示制御部と、
    ユーザ検知センサにより検知された検知情報を取得する検知情報取得部と、
    取得された前記検知情報に基づいて、検知されたユーザの人数の認識、及び検知されたユーザの人物認証の少なくとも一方を行うユーザ認識部として、
    コンピュータを機能させ、
    前記表示制御部は、
    検知されたユーザの人数及び人物認証結果の少なくとも一方に応じて、前記表示部に表示される画像の表示態様を変化させる表示制御を行うことを特徴とするプログラム。
  34. コンピュータ読み取り可能な情報記憶媒体であって、請求項33に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
JP2008171978A 2008-07-01 2008-07-01 デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体 Pending JP2010016432A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008171978A JP2010016432A (ja) 2008-07-01 2008-07-01 デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008171978A JP2010016432A (ja) 2008-07-01 2008-07-01 デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体

Publications (1)

Publication Number Publication Date
JP2010016432A true JP2010016432A (ja) 2010-01-21

Family

ID=41702151

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008171978A Pending JP2010016432A (ja) 2008-07-01 2008-07-01 デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体

Country Status (1)

Country Link
JP (1) JP2010016432A (ja)

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010169954A (ja) * 2009-01-23 2010-08-05 Nikon Corp 表示装置及び撮像装置
WO2011114959A1 (ja) * 2010-03-19 2011-09-22 ブラザー工業株式会社 端末装置、画像通信システムおよび処理プログラム
JP2011193325A (ja) * 2010-03-16 2011-09-29 Kddi Corp ディスプレイを有するデジタル写真表示装置、システム及びプログラム
WO2011118837A1 (ja) * 2010-03-26 2011-09-29 シャープ株式会社 表示装置及びその制御方法、テレビジョン受像機、プログラム、並びに記録媒体
JP2011203975A (ja) * 2010-03-25 2011-10-13 Fujitsu Ltd 表示装置、表示方法及びプログラム
JP2011217379A (ja) * 2011-04-11 2011-10-27 Toshiba Corp 情報再生方法及び情報再生装置
JP2012060332A (ja) * 2010-09-07 2012-03-22 Iix Inc 表示装置
JP2012089983A (ja) * 2010-10-18 2012-05-10 Casio Comput Co Ltd 画像表示装置及びプログラム
JP2012156823A (ja) * 2011-01-27 2012-08-16 Casio Comput Co Ltd 画像出力装置、画像出力方法及びプログラム
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
KR101292055B1 (ko) * 2011-02-14 2013-08-01 조수호 감지영역 설정 시스템 및 방법
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2014089595A (ja) * 2012-10-30 2014-05-15 Canon Inc 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
US8744142B2 (en) 2009-05-25 2014-06-03 Kabushiki Kaisha Toshiba Presenting information based on whether a viewer corresponding to information is stored is present in an image
JP2014165806A (ja) * 2013-02-27 2014-09-08 Oki Electric Ind Co Ltd コンテンツ制御装置
JP2014207572A (ja) * 2013-04-12 2014-10-30 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP2014535082A (ja) * 2011-08-31 2014-12-25 マイクロソフト コーポレーション センティエント環境
US8928583B2 (en) 2011-03-08 2015-01-06 Casio Computer Co., Ltd. Image display control apparatus including image shooting unit
JP5717306B1 (ja) * 2014-12-04 2015-05-13 株式会社gloops ゲームサーバ、ゲーム制御方法、ゲームプログラム、ゲームプログラム記録媒体及び端末装置
JP2016177845A (ja) * 2016-06-22 2016-10-06 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2017023792A (ja) * 2011-03-28 2017-02-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. モニタリング機器にファミリーモードを提供するためのシステム及び方法
JP2018147455A (ja) * 2017-03-07 2018-09-20 シャープ株式会社 表示装置、テレビジョン受像機、表示制御方法、表示制御プログラム、制御装置、制御方法、制御プログラム、および記録媒体
JP2019533830A (ja) * 2016-11-04 2019-11-21 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
JP2020053764A (ja) * 2018-09-25 2020-04-02 シャープ株式会社 端末装置、情報処理システム、表示方法、及びプログラム
JP2020144774A (ja) * 2019-03-08 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報出力方法、情報出力装置及びプログラム
WO2021053936A1 (ja) * 2019-09-19 2021-03-25 ソニー株式会社 情報処理装置及び情報処理方法、並びに人工知能機能搭載表示装置
JP2022079067A (ja) * 2020-11-16 2022-05-26 Kddi株式会社 スマートグラス、プログラム及び表示制御方法
CN116028002A (zh) * 2023-03-30 2023-04-28 中国联合网络通信有限公司湖南省分公司 一种基于物联网的显示屏数据展示方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083146A (ja) * 1996-09-05 1998-03-31 Seiko Epson Corp 電子式写真立て
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
JP2001326928A (ja) * 2000-05-18 2001-11-22 Sony Corp 大型映像装置
JP2004185139A (ja) * 2002-11-29 2004-07-02 Fuji Photo Film Co Ltd 表示システム及び表示装置の制御方法
JP2005208788A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 場所サービス制御システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1083146A (ja) * 1996-09-05 1998-03-31 Seiko Epson Corp 電子式写真立て
JP2001319217A (ja) * 2000-05-09 2001-11-16 Fuji Photo Film Co Ltd 画像表示方法
JP2001326928A (ja) * 2000-05-18 2001-11-22 Sony Corp 大型映像装置
JP2004185139A (ja) * 2002-11-29 2004-07-02 Fuji Photo Film Co Ltd 表示システム及び表示装置の制御方法
JP2005208788A (ja) * 2004-01-21 2005-08-04 Fuji Xerox Co Ltd 場所サービス制御システム

Cited By (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010169954A (ja) * 2009-01-23 2010-08-05 Nikon Corp 表示装置及び撮像装置
US8744142B2 (en) 2009-05-25 2014-06-03 Kabushiki Kaisha Toshiba Presenting information based on whether a viewer corresponding to information is stored is present in an image
JP2011193325A (ja) * 2010-03-16 2011-09-29 Kddi Corp ディスプレイを有するデジタル写真表示装置、システム及びプログラム
WO2011114959A1 (ja) * 2010-03-19 2011-09-22 ブラザー工業株式会社 端末装置、画像通信システムおよび処理プログラム
JP2011203975A (ja) * 2010-03-25 2011-10-13 Fujitsu Ltd 表示装置、表示方法及びプログラム
WO2011118837A1 (ja) * 2010-03-26 2011-09-29 シャープ株式会社 表示装置及びその制御方法、テレビジョン受像機、プログラム、並びに記録媒体
JP2012060332A (ja) * 2010-09-07 2012-03-22 Iix Inc 表示装置
JP2012089983A (ja) * 2010-10-18 2012-05-10 Casio Comput Co Ltd 画像表示装置及びプログラム
JP2012156823A (ja) * 2011-01-27 2012-08-16 Casio Comput Co Ltd 画像出力装置、画像出力方法及びプログラム
KR101292055B1 (ko) * 2011-02-14 2013-08-01 조수호 감지영역 설정 시스템 및 방법
US8928583B2 (en) 2011-03-08 2015-01-06 Casio Computer Co., Ltd. Image display control apparatus including image shooting unit
JP2017023792A (ja) * 2011-03-28 2017-02-02 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. モニタリング機器にファミリーモードを提供するためのシステム及び方法
JP2011217379A (ja) * 2011-04-11 2011-10-27 Toshiba Corp 情報再生方法及び情報再生装置
JP2014535082A (ja) * 2011-08-31 2014-12-25 マイクロソフト コーポレーション センティエント環境
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
US10261589B2 (en) 2012-01-13 2019-04-16 Saturn Licensing Llc Information processing apparatus, information processing method, and computer program
JP2014071811A (ja) * 2012-10-01 2014-04-21 Sony Corp 情報処理装置、表示制御方法及びプログラム
JP2014089595A (ja) * 2012-10-30 2014-05-15 Canon Inc 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム
US9760274B2 (en) 2012-10-30 2017-09-12 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and computer-readable storage medium
JP2014165806A (ja) * 2013-02-27 2014-09-08 Oki Electric Ind Co Ltd コンテンツ制御装置
JP2014207572A (ja) * 2013-04-12 2014-10-30 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP5717306B1 (ja) * 2014-12-04 2015-05-13 株式会社gloops ゲームサーバ、ゲーム制御方法、ゲームプログラム、ゲームプログラム記録媒体及び端末装置
JP2016106783A (ja) * 2014-12-04 2016-06-20 株式会社gloops ゲームサーバ、ゲーム制御方法、ゲームプログラム、ゲームプログラム記録媒体及び端末装置
JP2016177845A (ja) * 2016-06-22 2016-10-06 ソニー株式会社 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2019533830A (ja) * 2016-11-04 2019-11-21 サムスン エレクトロニクス カンパニー リミテッド ディスプレイ装置及びその制御方法
JP2018147455A (ja) * 2017-03-07 2018-09-20 シャープ株式会社 表示装置、テレビジョン受像機、表示制御方法、表示制御プログラム、制御装置、制御方法、制御プログラム、および記録媒体
JP2020053764A (ja) * 2018-09-25 2020-04-02 シャープ株式会社 端末装置、情報処理システム、表示方法、及びプログラム
JP7440211B2 (ja) 2019-03-08 2024-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報出力方法、情報出力装置及びプログラム
JP2020144774A (ja) * 2019-03-08 2020-09-10 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報出力方法、情報出力装置及びプログラム
WO2020183785A1 (ja) * 2019-03-08 2020-09-17 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報出力方法、情報出力装置及びプログラム
CN112005297A (zh) * 2019-03-08 2020-11-27 松下电器(美国)知识产权公司 信息输出方法、信息输出装置以及程序
US12026983B2 (en) 2019-03-08 2024-07-02 Panasonic Intellectual Property Corporation Of America Information output method, information output device, and program
US11393259B2 (en) 2019-03-08 2022-07-19 Panasonic Intellectual Property Corporation Of America Information output method, information output device, and program
CN112005297B (zh) * 2019-03-08 2024-06-07 松下电器(美国)知识产权公司 信息输出方法、信息输出装置以及存储了程序的存储介质
WO2021053936A1 (ja) * 2019-09-19 2021-03-25 ソニー株式会社 情報処理装置及び情報処理方法、並びに人工知能機能搭載表示装置
JP7360775B2 (ja) 2020-11-16 2023-10-13 Kddi株式会社 スマートグラス、プログラム及び表示制御方法
JP2022079067A (ja) * 2020-11-16 2022-05-26 Kddi株式会社 スマートグラス、プログラム及び表示制御方法
CN116028002A (zh) * 2023-03-30 2023-04-28 中国联合网络通信有限公司湖南省分公司 一种基于物联网的显示屏数据展示方法及系统

Similar Documents

Publication Publication Date Title
JP2010016432A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
JP2010004118A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
KR102707075B1 (ko) 사진 촬영과 관련된 추천 정보를 제공하는 방법 및 시스템
JP6966443B2 (ja) 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム
JP2010067104A (ja) デジタルフォトフレーム、情報処理システム、制御方法、プログラム及び情報記憶媒体
US10057485B2 (en) Imaging apparatus and methods for generating a guide display using imaging height posture information
US10614921B2 (en) Personalized skin diagnosis and skincare
US11809479B2 (en) Content push method and apparatus, and device
US7742625B2 (en) Autonomous camera having exchangable behaviours
AU2015201759B2 (en) Electronic apparatus for providing health status information, method of controlling the same, and computer readable storage medium
CN107635095A (zh) 拍摄照片的方法、装置、存储介质及拍摄设备
US9900498B2 (en) Glass-type terminal and method for controlling the same
JP6329634B2 (ja) 表示設備の制御方法、装置及びインテリジェントパッド
JP2022111133A (ja) 画像処理装置およびその制御方法
US8509497B2 (en) Person recognition method and apparatus
CN106464806B (zh) 自适应低光识别
JP6374986B2 (ja) 顔認識方法、装置及び端末
US20160006941A1 (en) Electronic apparatus for providing health status information, method of controlling the same, and computer-readable storage
JP5854280B2 (ja) 情報処理装置、情報処理方法、およびプログラム
KR102415552B1 (ko) 디스플레이 장치
KR101987748B1 (ko) 이모티콘 서비스 시스템 및 그의 이모티콘 서비스 제공 방법
JP2009294740A (ja) データ処理装置及びプログラム
WO2018098860A1 (zh) 照片合成方法及装置
JP2011107899A (ja) 情報処理装置、設定変更方法及び設定変更プログラム
JP2010224715A (ja) 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121225

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130423