JP2004185139A - 表示システム及び表示装置の制御方法 - Google Patents

Abstract

【課題】表示装置に利用者の注意を引かせる。
【解決手段】表示装置３２０の前方にいる利用者を撮像する撮像部３１０ａ及び３１０ｂを備える。表示制御装置２００は、撮像部３１０ａ及び３１０ｂが撮像した画像を解析し、利用者が表示装置３２０を目視しているか否かを判断する目視判断部と、利用者が表示装置３２０を目視していると判断したときに、表示装置３２０に表示データを更新させる。ここで、表示制御装置２００は、利用者を特定し、特定した利用者に対応する表示データに更新してもよい。また、利用者が未だ見ていない表示データに更新してもよい。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、表示システム及び表示装置の制御方法に関する。特に本発明は、利用者の視線に併せて表示装置の表示を制御する表示システム及び表示装置の制御方法に関する。
【０００２】
【従来の技術】
人が近づくと表示を開始又は更新し、人の注意を引く表示装置がある。人が近づいたことは、赤外線センサなどを用いて検出される。現時点で先行技術文献の存在を認識していないので、先行技術文献に関する記載を省略する。
【０００３】
【発明が解決しようとする課題】
人は、表示装置に近づいた場合でも、必ずしも表示装置を見ているわけではない。人が見ていない場合に表示装置が表示を開始又は更新しても、人の注意を引くことはできない。
【０００４】
そこで本発明は、上記の課題を解決することのできる表示システム及び表示装置の制御方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【０００５】
【課題を解決するための手段】
即ち、本発明の第１の形態によると、表示装置を制御する表示システムであって、表示装置の前方にいる利用者を撮像する撮像部と、撮像部が撮像した画像を解析し、利用者が表示装置を目視しているか否かを判断する目視判断部と、利用者が表示装置を目視していると目視判断部が判断したときに、表示装置に表示データを更新させる表示制御部とを備えることを特徴とする表示システムを提供する。
【０００６】
第１の形態の表示システムにおいて、表示データを見せるべき登録利用者の顔を特定する顔情報を予め保持する顔情報保持部と、撮像部が撮像した画像を解析し、顔情報保持部が保持する顔情報を用いて、表示装置の前方にいる利用者が、登録利用者であるか否かを判断する利用者判断部とを更に備え、表示制御部は、更に、利用者判断部が表示装置の前方にいる利用者を登録利用者であると判断した場合に、表示装置に表示データを更新させてもよい。
この場合、顔情報保持部は、複数の登録利用者の顔情報を予め保持し、複数の登録利用者のそれぞれに、当該利用者に見せるべき表示データを対応付ける表示データ対応部を更に備え、利用者判断部は、更に、表示装置の前方にいる登録利用者を特定し、表示制御部は、更に、利用者判断部が特定した登録利用者を用いて、更新後に表示すべき表示データを表示データ対応部から選択し、表示装置に表示させてもよい。
また、登録利用者に対する表示データの表示履歴を保持する表示履歴保持部を更に備え、表示制御部は、表示履歴に基づいて、未だ登録利用者に対して表示していない表示データを、更新後に表示すべき表示データとして選択し、表示装置に表示させてもよい。
【０００７】
また、目視判断部は、利用者が表示装置を目視している目視時間を判断し、表示制御部は、更に、目視時間に基づいて、表示装置が表示している表示データを更に更新してもよい。
また、撮像部が撮像した画像を解析し、表示装置に対する利用者の角度を判断する角度判断部を更に備え、表示制御部は、表示装置に対する利用者の角度に基づいて、表示装置における表示データのアスペクト比を設定してもよい。
【０００８】
また、撮像部が撮像した画像を解析し、表示装置に対する利用者の距離を判断する距離判断部を更に備え、表示制御部は、表示装置に対する利用者の距離に基づいて、表示装置のコントラスト、表示データのシャープネス、または表示データの表示サイズを設定してもよい。
【０００９】
また、外光のホワイトバランスを判断するホワイトバランス判断部と、ホワイトバランス判断部が判断したホワイトバランスに基づいて、表示装置のホワイトバランスを設定するホワイトバランス設定部を更に備えてもよい。
【００１０】
本発明の第２の形態は、表示装置の制御方法であって、表示装置の前方にいる利用者を撮像してコンピュータに解析させ、当該コンピュータに利用者が表示装置を目視しているか否かを判断させ、コンピュータが利用者が表示装置を目視していると判断したときに、当該コンピュータに、表示装置に表示データを変更させることを特徴とする表示装置の制御方法を提供する。
【００１１】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【００１２】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１３】
図１は、本発明の一実施形態である表示システム１００の構成を示す。表示システム１００は、コンピュータであり、表示データを保持する表示制御装置２００、及び表示ユニット３００を備える。表示制御装置２００は、例えば広告データを表示データとして保持する。表示ユニット３００は、例えば街や車両に設置される広告掲示板であり、複数の撮像部３１０ａ及び３１０ｂ（以下撮像部３１０と総括する）、並びに表示装置３２０を有する。
【００１４】
表示ユニット３００は、撮像部３１０を用いて、表示ユニット３００の前方にいる利用者を撮像する。表示制御装置２００は、撮像部３１０が撮像した画像を解析し、表示ユニット３００の前方にいる利用者が表示装置３２０を目視しているか否かを判断する。また、利用者が、表示システム１００の利用を許可されている登録利用者であるか否かを判断する。そして、利用者が、表示装置３２０を目視しており、且つ登録利用者であると判断したときに、表示装置３２０が表示する表示データを、表示制御装置２００が予め保持する表示データに更新させる。
従って、表示システム１００によれば、利用者が表示装置３２０を見ているときに表示装置３２０の表示を更新することができる。このため、利用者に表示ユニット３００を注視させることができる。
【００１５】
なお、表示制御装置２００は、家庭内に設置されるサーバであってもよく、表示ユニット３００は電子フォトスタンドやテレビであってもよい。この場合、表示制御装置２００は、テレビ番組や映画等の動画音声データ、及び電子写真を表示データとして保持する。そして、表示ユニット３００は、利用者の嗜好に合った動画音声データや電子写真を表示する。
【００１６】
図２は、表示制御装置２００の構成を示す。表示制御装置２００は、距離角度判断部２１０、目視判断部２２０、顔情報保持部２３０、利用者判断部２４０、表示データ保持部２５０、及び表示制御部２６０を有する。
【００１７】
距離角度判断部２１０は、撮像部３１０ａ及び３１０ｂが同時に撮像した２枚の画像を三角測量の原理に基づいて処理し、表示ユニット３００と利用者の距離を判断する。この時、距離角度判断部２１０は、画像内の利用者の位置に基づいて、表示ユニット３００に対する利用者の角度も判断する。
目視判断部２２０は、表示ユニット３００の撮像部３１０が撮像した利用者の画像を解析し、利用者が表示ユニット３００の表示装置３２０を見ているか否かを判断する。
【００１８】
顔情報保持部２３０は、それぞれの登録利用者の顔を特定する顔情報を予め保持する。顔情報は、例えば両目、鼻及び口の相対位置を示す情報である。
利用者判断部２４０は、撮像部３１０が撮像した画像を解析し、顔情報保持部２３０が保持する顔情報と照合する。そして、表示ユニット３００の前方にいる利用者が登録利用者であるか否かを判断するとともに、いずれの登録利用者であるかを特定する。
【００１９】
表示データ保持部２５０は、表示システム１００の複数の登録利用者のそれぞれに、この登録利用者に見せるべき表示データを対応付けて保持する。
【００２０】
表示制御部２６０は、表示ユニット３００の前方にいる登録利用者に見せるべき表示データを、表示データ保持部２５０から選択し、表示ユニット３００に送信する。
このとき、表示制御部２６０は、表示ユニット３００から利用者までの距離に基づいて、表示装置３２０のコントラストを設定する。また、表示ユニット３００から利用者までの距離、及び表示装置３２０に対する利用者の角度、すなわち利用者が表示装置をどの方向から見ているかに基づいて、送信すべき表示データを処理する。この処理の詳細は、フローチャートを用いて後述する。
【００２１】
従って、表示制御装置２００は、登録利用者のそれぞれに対応した表示データを表示ユニット３００に送信することができる。
【００２２】
図３は、表示データ保持部２５０のデータ構成を示すテーブルである。表示データ保持部２５０は、表示すべき表示データを保持する。そして、図３に示すように、表示データ保持部２５０は、表示履歴を保持するために、表示済みの表示データを特定する情報を、登録利用者に対応付けて保持する。
従って、表示制御装置２００は、登録利用者が未だ見ていない表示データを選択し、表示ユニット３００に表示させることができる。
【００２３】
なお、表示ユニット３００が電子フォトスタンドやテレビの場合、表示データ保持部２５０は、この登録利用者に既に見せている表示データと、未だ見せていない表示データを分けて保持してもよい。
また、表示データ保持部２５０は、表示データそのものを保持する代わりに、表示データの格納先を特定する情報を保持してもよい。この場合、表示データ保持部２５０又は表示制御部２６０は、表示データを保持している装置等と通信し、表示データを取得する。
【００２４】
図４は、表示ユニット３００の構成を示す。表示ユニット３００は、撮像部３１０ａ及び撮像部３１０ｂ、並びに表示装置３２０の他に、外光センサ３３０、ホワイトバランス設定部３４０、及び表示条件設定部３５０を有する。
【００２５】
外光センサ３３０は、外光のホワイトバランスを測定する。ホワイトバランス設定部３４０は、外光センサ３３０が測定した外光のホワイトバランスに基づいて、表示装置３２０のホワイトバランスを設定する。ホワイトバランス設定部３４０は、例えば外光において、赤、緑、青の各成分のうち赤成分が他より強い場合、表示装置３２０において赤が強く表示されるようにホワイトバランスを設定する。すなわち、外光において他の成分より強い色成分が強く表示されるように表示装置３２０のホワイトバランスを設定する。
従って、利用者は、外光のホワイトバランスが変化しても、表示データの色調を的確に認識することができる。
【００２６】
表示条件設定部３５０は、表示制御装置２００からコントラストの設定を受信する。そして、表示装置３２０のコントラストの設定を、受信したコントラストの設定に合わせる。
従って、利用者は、表示ユニット３００から離れていても、表示装置３２０の表示を容易に確認することができる。
【００２７】
図５は、表示制御装置２００の動作を示すフローチャートである。撮像部３１０が撮像した画像を表示制御装置２００が受信する（Ｓ２０）と、目視判断部２２０は、利用者が表示ユニット３００を目視しているか否かを判断する（Ｓ２２）。
利用者が表示ユニット３００の表示装置３２０を目視していない場合（Ｓ２４：Ｎｏ）、動作を終了する。
【００２８】
利用者が表示装置３２０を目視している場合（Ｓ２４：Ｙｅｓ）、表示制御部２６０は、利用者に見せるべき表示データを選択する（Ｓ２６）。そして、距離角度判断部２１０は、受信した画像を処理し、利用者の表示ユニット３００に対する角度、及び利用者から表示ユニット３００までの距離を判断する（Ｓ２８）。そして、表示制御部２６０は、利用者の角度及び利用者までの距離に基づいて、表示すべき表示データを処理する（Ｓ３０）とともに、利用者までの距離に基づいて、表示ユニット３００のコントラストの設定を決定する（Ｓ３２）。ここで、表示制御部２６０は、利用者までの距離が長くなるとコントラストが大きくなるようにする。このため、利用者は、表示ユニット３００から離れていても、表示データの内容を確認することができる。
そして、表示制御部２６０は、処理後の表示データを、コントラストの設定と共に表示ユニット３００に送信する（Ｓ３４）。
【００２９】
そして、表示制御装置２００は、Ｓ２０〜Ｓ３４の動作を繰り返し、利用者が表示装置３２０を継続して目視していると判断したときに表示装置３２０の表示を更新する。
このため、利用者は、表示装置３２０を継続して目視していると、次々と新たな表示データを見ることができる。
【００３０】
図６は、図５のＳ２２の詳細、すなわち利用者が表示ユニット３００を目視しているか否かを判断するときの表示制御装置２００の処理を説明するフローチャートである。目視判断部２２０は、利用者の目の位置を判断するとともに（Ｓ５０）、利用者の顔の向きを判断する（Ｓ５２）。目視判断部２２０は、例えば、利用者の両目及び口の３次元空間上の位置をそれぞれ判断し、これらを含む面を、利用者の顔の向きと判断する。
【００３１】
そして、視線は顔の向きに対して垂直であると仮定した上で、目視判断部２２０は、目の位置、顔の向き、及び表示ユニット３００から利用者までの距離に基づいて、利用者の視線と表示ユニット３００が交わるか否か、すなわち利用者が表示ユニット３００を目視しているか否かを判断する（Ｓ５４）。
従って、表示制御装置２００は、撮像部３１０が撮像した画像に基づいて、利用者が表示ユニット３００を目視しているか否かを判断することができる。
【００３２】
図７は、図５のＳ２６の詳細、すなわち表示データの選択処理を説明するフローチャートである。利用者判断部２４０は、撮像部３１０が撮像した画像に含まれる利用者の顔情報を算出する。そして、算出した顔情報を顔情報保持部２３０が保持する顔情報に照合し、表示ユニット３００の前方にいる利用者が登録利用者であるか否かを判断すると共に、いずれの登録利用者であるかを判断する（Ｓ６０）。
【００３３】
利用者判断部２４０が登録利用者である場合、表示制御部２６０は、この登録利用者が表示装置３２０を目視している時間が、基準値以上であるか否かを判断する（Ｓ６２）。基準値以上である場合、表示制御部２６０は、表示データ保持部２５０に基づいて、表示ユニット３００の前方にいる登録利用者に未だ見せていない表示データを選択する（Ｓ６４）。そして、選択した表示データが表示済みと扱われるように、表示データ保持部２５０を更新する（Ｓ６６）。
また、登録利用者が表示装置３２０を目視している時間が基準値以下である場合、表示制御部２６０は、同一の表示データを再度選択する（Ｓ６８）。
【００３４】
従って、表示制御装置２００は、登録利用者毎に異なる表示データを表示ユニット３００に表示させることができる。
また、表示制御装置２００は、表示ユニット３００の前方にいる登録利用者が未だ見ていない表示データを表示ユニット３００に表示させることができる。
【００３５】
なお、表示データを更新するための目視継続時間の基準値、すなわちＳ６２における基準値は、表示ユニット３００が表示した表示データを利用者が認識するのに必要な時間に基づいて定められるため、送信した表示データにより異なる。
【００３６】
図８は、図５のＳ３０の詳細、すなわち表示制御部２６０が行う表示データの処理の詳細を説明するフローチャートである。
表示ユニット３００から離れるに従って、利用者は表示データを確認しにくくなる。また、表示装置３２０に対する角度が小さくなるに従って、すなわち、利用者の位置が表示装置３２０の正面からずれるに従って、表示ユニット３００の画角が小さくなるため、利用者は表示データを確認しにくくなる。
【００３７】
そこで、表示制御部２６０は、利用者の角度が小さくなるにつれて表示データが横長に表示されるように、表示データの縦横比すなわちアスペクト比を設定する（Ｓ８０）。また、表示制御部２６０は、表示ユニット３００から利用者までの距離が遠くなるにつれて表示データがシャープに表示されるように、シャープネスを設定する（Ｓ８２）。また、表示制御部２６０は、表示ユニット３００から利用者までの距離が遠くなるにつれて表示データの表示サイズを大きくする（Ｓ８４）。
そして、表示制御部２６０は、表示データを、設定したアスペクト比、シャープネス及び表示サイズに合うように表示データを処理する（Ｓ８６）。
【００３８】
従って、利用者は、表示ユニット３００から離れていても、表示データを容易に確認することができる。また、表示ユニット３００に対する角度が小さい位置にいても、利用者は表示データを容易に確認することができる。
【００３９】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更または改良を加えることができる。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００４０】
例えば、表示データに音声データが含まれており、かつ、表示ユニット３００が音声をステレオサウンドで出力する場合、表示制御装置２００は、表示ユニット３００に対する利用者の角度に基づいて、左右のスピーカの音量比を設定したり、音声出力タイミングを左右のスピーカの間でずらしてもよい。例えば利用者が一方のスピーカに近い場合、他方のスピーカの音量を上げたり、或いは他方のスピーカの音声出力タイミングを早めたりする。このようにすると、利用者は、表示ユニット３００の正面からずれた位置にいても、自然な音声を聞くことができる。
【００４１】
【発明の効果】
上記説明から明らかなように、本発明によれば、利用者が見ているときに、表示装置の表示を更新することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である表示システム１００の構成を示す図である。
【図２】表示制御装置２００の構成を示すブロック図である。
【図３】表示データ保持部２５０のデータ構成を示すテーブルである。
【図４】表示ユニット３００の構成を示すブロック図である。
【図５】表示制御装置２００の動作を示すフローチャートである。
【図６】図５のＳ２２の詳細を説明するフローチャートである。
【図７】図５のＳ２６の詳細を説明するフローチャートである。
【図８】図５のＳ３０の詳細を説明するフローチャートである。
【符号の説明】
１００ 表示システム
２００ 表示制御装置
２１０ 距離角度判断部
２２０ 目視判断部
２３０ 顔情報保持部
２４０ 利用者判断部
２５０ 表示データ保持部（表示データ対応部）
２６０ 表示制御部
３００ 表示ユニット
３１０ａ、３１０ｂ 撮像部
３２０ 表示装置
３３０ 外光センサ
３４０ ホワイトバランス設定部

Claims (11)

1. 表示装置を制御する表示システムであって、
   表示装置の前方にいる利用者を撮像する撮像部と、
   前記撮像部が撮像した画像を解析し、前記利用者が前記表示装置を目視しているか否かを判断する目視判断部と、
   前記利用者が前記表示装置を目視していると前記目視判断部が判断したときに、前記表示装置に表示データを更新させる表示制御部と
   を備えることを特徴とする表示システム。
2. 前記表示データを見せるべき登録利用者の顔を特定する顔情報を予め保持する顔情報保持部と、
   前記撮像部が撮像した画像を解析し、前記顔情報保持部が保持する顔情報を用いて、前記表示装置の前方にいる利用者が、前記登録利用者であるか否かを判断する利用者判断部と
   を更に備え、
   前記表示制御部は、更に、前記利用者判断部が前記表示装置の前方にいる利用者を前記登録利用者であると判断した場合に、前記表示装置に表示データを更新させることを特徴とする請求項１に記載の表示システム。
3. 前記顔情報保持部は、複数の前記登録利用者の顔情報を予め保持し、
   前記複数の登録利用者のそれぞれに、当該利用者に見せるべき表示データを対応付ける表示データ対応部を更に備え、
   前記利用者判断部は、更に、前記表示装置の前方にいる前記登録利用者を特定し、
   前記表示制御部は、更に、前記利用者判断部が特定した前記登録利用者を用いて、更新後に表示すべき表示データを前記表示データ対応部から選択し、前記表示装置に表示させることを特徴とする請求項２に記載の表示システム。
4. 前記登録利用者に対する前記表示データの表示履歴を保持する表示履歴保持部を更に備え、
   前記表示制御部は、前記表示履歴に基づいて、未だ前記登録利用者に対して表示していない表示データを、更新後に表示すべき表示データとして選択し、前記表示装置に表示させることを特徴とする請求項２記載の表示システム。
5. 前記目視判断部は、更に、前記利用者が前記表示装置を目視している目視時間を判断し、
   前記表示制御部は、更に、前記目視時間に基づいて、前記表示装置が表示している表示データを更に更新することを特徴とする請求項１に記載の表示システム。
6. 前記撮像部が撮像した画像を解析し、前記表示装置に対する前記利用者の角度を判断する角度判断部を更に備え、
   前記表示制御部は、前記表示装置に対する前記利用者の角度に基づいて、前記表示装置における前記表示データのアスペクト比を設定することを特徴とする請求項１に記載の表示システム。
7. 前記撮像部が撮像した画像を解析し、前記表示装置に対する前記利用者の距離を判断する距離判断部を更に備え、
   前記表示制御部は、前記表示装置に対する前記利用者の距離に基づいて、前記表示装置のコントラストを設定することを特徴とする請求項１に記載の表示システム。
8. 前記撮像部が撮像した画像を解析し、前記表示装置に対する前記利用者の距離を判断する距離判断部を更に備え、
   前記表示制御部は、前記表示装置に対する前記利用者の距離に基づいて、前記表示データのシャープネスを設定することを特徴とする請求項１に記載の表示システム。
9. 前記撮像部が撮像した画像を解析し、前記表示装置に対する前記利用者の距離を判断する距離判断部を更に備え、
   前記表示制御部は、前記表示装置に対する前記利用者の距離に基づいて、前記予め定められた表示データの表示サイズを設定することを特徴とする請求項１に記載の表示システム。
10. 外光のホワイトバランスを判断するホワイトバランス判断部と、
    前記ホワイトバランス判断部が判断したホワイトバランスに基づいて、前記表示装置のホワイトバランスを設定するホワイトバランス設定部を更に備えることを特徴とする請求項１に記載の表示システム。
11. 表示装置の制御方法であって、
    表示装置の前方にいる利用者を撮像してコンピュータに解析させ、当該コンピュータに前記利用者が前記表示装置を目視しているか否かを判断させ、
    前記コンピュータが前記利用者が前記表示装置を目視していると判断したときに、当該コンピュータに、前記表示装置に表示データを変更させることを特徴とする表示装置の制御方法。

Images