JP2007086545A - 情報提示システム - Google Patents

Abstract

【課題】 ユーザにとって有用な情報を適切な場所、適切なタイミングで提示する。
【解決手段】 情報提示空間内の複数の投影領域から人感センサ１２によって検出された情報提示空間内でのユーザの位置に基づき、固定ミラー１７_ｎによって選択的に切り換えられる投影領域に、撮像カメラ１１で撮像された画像データから特定された人物に対応する所定の情報を情報提供部１４から取得して映像として投影するようプロジェクタ１６を制御することで実現する。
【選択図】 図１

Description

本発明は、ユーザに情報を提示する情報提示システムに関し、詳しくは、ユーザにとって有用な情報を適切な場所、適切なタイミングで提示する情報提示システムに関する。

高度に発達した情報化社会へと発展した現代において、膨大な数の情報から自身にとって有用な情報を取捨選択することは非常に重要である。しかしながら、普段の日常生活においてすら様々な情報が氾濫しているため、それらの情報から有用な情報を適宜選択することは非常に困難となっている。また、取得した有用な情報をより有効に活用するために、適切なタイミングでの情報取得が望まれる。

このような要請に伴い、液晶ディスプレイといった画像表示装置や、プロジェクタといった投写型の画像表示装置を用いて、ユーザの位置に応じて、ユーザに所定の情報を提示する手法が考案されている。

例えば、視聴可能エリア内に入った人物の存在を検出し、人物の存在が検出されたことに応じて、複数の表示装置の中から対応する表示装置の表示画面に人物に対応する情報を提示する手法（特許文献１参照。）や、移動するユーザに追従してテキスト情報や映像情報を表示させる手法（特許文献２参照。）などが開示されている。
特開２００３−１９５８４５号公報 特開２００５−１１５２７０号公報

しかしながら、上述した特許文献１で開示されている手法は、テレビジョン放送をユーザが別な場所に移動した場合であっても継続的に視聴可能としているだけであり、上述した特許文献２で開示されている手法は、ユーザにとって有用であるかどうかに関わらず、企業が提供する広告などを半強制的に提示しているだけである。

そこで、本発明は、上述した事実に基づき提案されたものであり、ユーザにとって有用な情報をユーザの現在位置に応じた、適切な場所、適切なタイミングで提示することができる情報提示システムを提供することを目的とする。

本発明の情報提示システムは、上述した課題を解決するために、情報を提示する情報提示空間内での人物の位置を検出する位置検出手段と、情報提示空間内にいる人物を特定する人物特定手段と、情報を映像として投影するプロジェクタと、情報提示空間内の複数の投影領域から、位置検出手段によって検出された情報提示空間内での人物の位置に基づき、プロジェクタからの映像を投影させる投影領域を選択的に切り換える投影領域切換手段と、あらかじめ登録された人物に対応した所定の情報を提供する情報提供手段と、投影領域切換手段によって選択的に切り換えられた投影領域に、人物特定手段によって特定された人物に対応する所定の情報を情報提供手段から取得して映像として投影するようプロジェクタを制御する制御手段とを備える。

このように、本発明の情報提示システムは、情報提示空間内の様々な場所に容易に、人物特定を経て取得された提示情報をプロジェクタを介して提示させることができる。これにより、情報提示システムは、ユーザ毎に異なる有用な情報をユーザの現在位置に応じた、適切な場所、適切なタイミングで提示することを可能とする。

以下、本発明の実施の形態について図面を参照して説明する。

［第１の実施形態］
まず、図１を用いて、本発明の第１の実施の形態として示す情報提示システム１について説明をする。図１に示すように情報提示システム１は、撮像カメラ１１と、人感センサ１２と、制御部１３と、情報提供部１４と、プロジェクタ１６、複数の固定ミラー１７_ｎ（ｎは、自然数）を有する照明装置１５Ａとを備えている。

このような情報提示システム１は、例えば、図２に示すような情報提示空間である居住空間内の玄関などに設置され、撮像カメラ１１、人感センサ１２によって検出されるユーザの位置、ユーザの動線などに応じて、照明装置１５Ａのプロジェクタ１６、固定ミラー１７_ｎを介して、所定の投影領域にユーザにとって有用な情報を提示する。

撮像カメラ１１、人感センサ１２は、連動して機能することで、ユーザの位置、ユーザの向き、ユーザの動線、ユーザの人物特定などをするための情報を取得する。撮像カメラ１１、人感センサ１２は、情報提示をする空間内に出入するユーザを捉え易い位置、例えば、図２に示すような天井などに複数設けられる。

撮像カメラ１１は、例えば、ＣＣＤ（Charge Coupled Devices ）を撮像素子とする広角カメラなどであり、人感センサ１２と連動している。例えば、図２に示すように居住空間内の天井に取り付けられた複数の撮像カメラ１１は、人感センサ１２によってユーザが検知されたことに応じて、制御部１３の制御により撮像を開始する。撮像された画像データは、制御部１３に出力される。

人感センサ１２は、対象物であるユーザの動きを検知し、検知結果をユーザの位置情報として制御部１３に出力する。例えば、図２に示すように、人感センサ１２を居住空間内の天井に複数設けることで、ユーザの存在する位置を正確に特定することができる。

制御部１３は、当該情報提示システム１を統括的に制御する制御手段である。制御部１３は、撮像カメラ１１、人感センサ１２から出力される情報に基づき、情報提示システム１において、ユーザに情報を提示する対象となる空間内、例えば、図２に示すようよな居住空間内におけるユーザの位置、ユーザの向き、ユーザの動線などをそれぞれ求め、さらにユーザの人物特定を行う。ユーザの動線は、例えば、所定の時間間隔で求められるユーザの位置を特定する位置情報の履歴を用いる。

制御部１３は、例えば、撮像カメラ１１で撮像されたユーザの顔の画像データをパターンマッチングによる認証処理によりユーザの人物特定をする。なお、ユーザの人物特定は、撮像カメラ１１で撮像された画像データに基づいてなされる以外にも、例えば、ユーザに与えたＩＣカードを用いて、ＩＣカードを一意に特定するカードＩＤを被認証情報とする認証処理や、被認証情報として指紋情報、虹彩情報といった生体情報を用い、生体認証処理を実行することで行うようにしてもよい。

ユーザの位置は、人感センサ１２により検知する以外にも、ユーザに情報を提示する対象となる空間の床面に敷き詰めた圧力センサにより検知するようにしてもよい。

また、制御部１３は、ユーザの位置を特定する位置情報、ユーザの動線を示す動線情報、ユーザを一意に特定する人物情報に基づき、情報提示システム１でユーザに提示する提示情報を情報提供部１４から取得し、取得した提示情報を位置情報で特定される提示領域に提示するよう、照明装置１５Ａのプロジェクタ１６を制御する。

例えば、制御部１３は、取得された位置情報に基づき、提示領域である図２に示すような投影領域ＦＤ１〜ＦＤ３から、ユーザの最も近くにある投影領域を選択する。そして、制御部１３は、情報提供部１４から取得した提示情報を、プロジェクタ１６で扱うことのできる信号形態に変換してプロジェクタ１６に出力する。このとき、制御部１３は、プロジェクタ１６、固定ミラー１７_ｎを介して映像を投影する投影領域の状態に応じて、投影する映像に補正処理を施す。

情報提供部１４は、例えば、家庭内に設けられた家庭内サーバ、ネットワーク上に構築されたメールサーバ、各種情報を提供する情報提供サーバなどである。

プロジェクタ１６、複数の固定ミラー１７_ｎは、照明装置１５Ａ内に構成されており、例えば、図２に示すように、情報提示する空間内の天井などに設けられる。図３に照明装置１５Ａの概略構成を示す。

このように、プロジェクタ１６、固定ミラー１７_ｎを照明装置１５Ａ内に設けるのは、情報提示システム１において、プロジェクタ１６、固定ミラー１７_ｎを、居住空間内に設置した際に、居住空間の景観を損なうことがないようにするためである。つまり、図３に示すようにプロジェクタ１６、固定ミラー１７_ｎは、照明装置１５Ａのランプシェード１５Ｓに内に内包されるため居住空間の景観が保たれる。

また、このようにプロジェクタ１６を照明装置１５Ａ内に設けることで、プロジェクタ１６から出射される光を照明光の一部として利用することができるという利点もある。

プロジェクタ１６は、例えば、空間変調素子として透過形の液晶表示素子を用い、光源ランプから出射される光を液晶表示素子により空間変調して、さらに光学系で所望の倍率とした光を投影領域に投影することで映像情報や文字情報を映像としてユーザに提示する。プロジェクタ１６は、固定設置されるため、図２に示すような投影領域ＦＤ１乃至ＦＤ３に対して、提示情報を投影するには、固定ミラー１７_ｎを介することになる。プロジェクタ１６は、制御部１３からの投影指示命令情報を受け取ると、制御部１３から出力される提示情報を固定ミラー１７_ｎに投影する。

固定ミラー１７_ｎは、プロジェクタ１６から出射された提示情報により空間変調された光を、あらかじめ定められた投影領域に反射投影するように反射面の角度が調整され、天井などに固定設置されている。

例えば、図２に示すように、玄関扉に設けられた投影領域ＦＤ１、床面に設けられた投影領域ＦＤ２、収納キャビネットに設けられた投影領域ＦＤ３毎に、３つの固定ミラー１７_１、１７_２、１７_３が用意され、それぞれの反射面が投影領域に応じた角度となるようにセッティングされる。この固定ミラー１７_ｎの反射面の角度などの設置情報は、情報提供部１４に記憶されている。

図４に、プロジェクタ１６から出射される１フレーム分の画像の一例を示す。図４に示すように、プロジェクタ１６から出射される１フレーム分の画像は、図２に示す投影領域ＦＤ１乃至ＦＤ３に反射投影する固定ミラー１７_ｎの位置と反射面の角度とに応じて決定される画像領域ＧＦ１乃至ＧＦ３を有している。

つまり、図４に示す画像領域ＧＦ１乃至ＧＦ３には、それぞれ投影領域ＦＤ１乃至ＦＤ３に投影させる提示情報が記載されており、プロジェクタ１６から出射された空間変調された光のうち、画像領域ＧＦ１乃至ＧＦ３のみが、固定ミラー１７_１、１７_２、１７_３にそれぞれ投影され、各固定ミラー１７_１、１７_２、１７_３で反射されることで、投影領域ＦＤ１乃至ＦＤ３に提示情報が投影される。

このとき、固定ミラー１７_１、１７_２、１７_３に投影されない光、例えば、図４に示す領域ＬＦ１は、照明装置１５Ａのランプシェード１５Ｓへと照射されることになる。このとき、ランプシェード１５Ｓの表面に光を拡散させるような処理を施しておくことで、プロジェクタ１６から照射された光を照明装置１５Ａの照明光の一部として利用することができる。当然、固定ミラー１７_１、１７_２、１７_３で反射される光は、透過するようにランプシェード１５Ｓの表面を透明にしておく。

また、投影領域ＦＤ１乃至ＦＤ３は、ユーザの位置に応じて選択されるため、図４に示す画像領域ＧＦ１乃至ＧＦ３のうち、提示情報を投影させない投影領域に対応する画像領域は、輝度がゼロとなるように、例えば、黒色を示す画像を形成するようにする。例えば、投影領域としてＦＤ１が選択された場合には、画像領域ＧＦ１以外の画像領域ＧＦ２、ＧＦ３を黒色を示す画像が形成されるようにする。

情報提供部１４は、上述したような 固定ミラー１７_ｎの反射面の角度といった設置情報の他に、プロジェクタ１６と投影領域との距離情報や方向情報、投影領域の表面の状態を示した表面情報（表面の色彩や凹凸形状を示す情報）を、当該投影領域に情報提示する際のユーザの位置情報と対応づけて記憶する。また、各投影領域ＦＤ１乃至ＦＤ３に対応する画像領域ＧＦ１乃至ＧＦ３との関係も情報提供部１４に記憶させておく。

これらの情報は、ユーザの位置情報が取得され、投影される投影領域が決定された際に、決定された投影領域に投影された提示情報が、ユーザの位置に応じて歪んだり視認しにくくなった場合の補正用として制御部１３に用いられる。制御部１３は、これらの情報に基づく画像処理により補正を行う。

例えば、図２において、投影領域ＦＤ１が設けられた玄関扉が少し開いていたり、外部からの光が投影領域ＦＤ１の投影面に差し込んでいたり、投影面の凹凸形状や色彩などが情報提供部１４に記憶されたデフォルトの設定値と異なる状態に変化していることが、撮像カメラ１１からの画像データなどより判別できる場合には、この情報に基づき投影領域に投影する映像に補正を施す。これにより、ユーザの位置から適切に提示情報を視認することができる。

上述したように撮像カメラ１１で撮像された画像から投影領域の投影面の形状の変化を認識する手法としては、例えば、プロジェクタ１６からの投影光に可視領域外の光である近赤外光によるグリットパターンを重畳させておき、投影面に投影されたグリットパターンの形状の変化を観測することで実現できる。

続いて、図５に示すフローチャートを用いて、情報提示システム１の制御部１３の処理動作について説明をする。なお、制御部１３の処理動作を説明するにあたり、情報提示システム１は、図２に示すような居住空間内の玄関で用いられるものとする。

ステップＳ１において、制御部１３は、人感センサ１２でユーザの動きを検知したことに応じて、撮像カメラ１１による撮像を開始させ、画像データを取得する。制御部１３は、取得した画像データから玄関にいるユーザの人物特定を行い、ユーザの位置情報の履歴から動線情報を取得する。

ステップＳ２において、制御部１３は、求めたユーザの動線情報よりユーザが帰宅したのかどうか判断をする。例えば、制御部１３は、取得したユーザの動線情報から、玄関の扉を開けて住宅内の廊下に向かって動いていると判断できる場合には、ユーザが帰宅したと判断し、廊下から玄関に向かって動いていると判断できる場合には、ユーザが帰宅ではなく外出する状態であると判断する。ユーザが帰宅した状態であると判断できる場合には、ステップＳ３へと進み、ユーザが外出する状態であると判断できる場合には、ステップＳ４へと進む。

ステップＳ３において、制御部１３は、ユーザが帰宅したと判断したことに応じて、特定した人物の人物情報に基づき、帰宅時に有用な情報を情報提供部１４から取得する。

制御部１３は、情報提供部１４からユーザにとって有用な情報を取得するにあたり、図６に示すような、ユーザを一意に特定するユーザＩＤ毎に、動線情報で判断される外出時と帰宅時のそれぞれに取得すべき情報をあらかじめ定めたテーブルを保持している。

制御部１３は、動線情報から判断されるユーザの現在の状態と、人物特定されたことで分かるユーザＩＤといった人物情報に基づき、図６に示すようなテーブルを参照し、情報提供部１４から該当するユーザにとって有用な情報を取得する。

例えば、人物特定により、ユーザＩＤが“ｍａ”というユーザが特定されたとすると、制御部は１３は、図６に示すテーブルを参照して、訪問者の画像を取得することを把握する。訪問者の画像は、ユーザの外出中に、図示しないインターフォンカメラで撮像され家庭内サーバに記憶されるため、制御部１３は、情報提供部１４である家庭内サーバから訪問者の画像データを取得する。

また、人物特定により、ユーザＩＤが“ｆａ”というユーザが特定されたとすると、制御部１３は、図６に示すテーブルを参照して、ユーザに届いているメールを取得することを把握する。制御部１３は、情報提供部１４であるメールサーバからユーザＩＤ“ｆａ”に届いているメールを取得する。

ステップＳ４において、制御部１３は、ユーザが外出する状態であると判断したことに応じて、特定した人物の人物情報に基づき、外出時に有用な情報を情報提供部１４から取得する。

制御部１３は、動線情報から判断されるユーザの現在の状態と、人物特定されたことで分かるユーザＩＤといった人物情報に基づき、図６に示すようなテーブルを参照し、情報提供部１４から該当するユーザにとって有用な情報を取得する。

例えば、人物特定により、ユーザＩＤが“ｍａ”というユーザが特定されたとすると、制御部は１３は、図６に示すテーブルを参照して、天気予報、戸締まり情報を取得することを把握する。

制御部１３は、あらかじめユーザ毎に登録されているユーザの地域情報に基づき、インターネット上から天気予報情報を取得する。戸締まり情報は、住宅内において戸締まりが必要とされる箇所を戸締まりする度に、その旨が家庭内サーバに記憶されるため、制御部１３は、情報提供部１４である家庭内サーバから戸締まり情報を取得する。

なお、情報提示システム１を設置した空間が、ユーザの動線とユーザの部屋内での行動との対応付けが困難である、例えば、リビングなどの空間である場合は、動線情報によるユーザの行動推測を実行せず、人物特定結果に基づいて情報を取得する。

ステップＳ５において、制御部１３は、ユーザの位置情報に基づき、ユーザの現在の位置が投影領域ＦＤ１乃至ＦＤ３のいずれかの近傍であるかどうかを判断する。制御部１３は、ユーザの現在の位置が投影領域ＦＤ１乃至ＦＤ３のいずれかの近傍である場合は、ステップＳ６へと進み、投影領域ＦＤ１乃至ＦＤ３の近傍でない場合には、ユーザが、撮像カメラ１１、人感センサ１２の検出範囲からすぐ立ち去ってしまったと判断して処理を終了する。

ステップＳ６において、制御部１３は、ユーザに提示する提示情報を投影する投影領域を投影領域ＦＤ１乃至ＦＤ３の中から決定し、決定された投影領域に、プロジェクタ１６から良好に投影可能なように、ステップＳ３又はステップＳ４で取得した提示情報に対して補正処理を行う。

そして、制御部１３は、プロジェクタ１６から投影可能なように補正処理を施された提示情報と、提示情報の投影を指示する投影指示命令情報とをプロジェクタ１６に送信する。

これにより、プロジェクタ１６から映像として投影された提示情報は、固定ミラー１７_ｎで反射され、ユーザの現在位置の近傍に存在する投影領域に提示される。

このように、本発明の第１の実施の形態として示す情報提示システム１は、プロジェクタ１６から投影された提示情報を投影領域に反射投影する複数の固定ミラー１７_ｎを用いることで、情報提示空間内の様々な場所に容易に、人物特定を経て取得された提示情報を映像として提示することができる。これにより、情報提示システム１は、ユーザ毎に異なる有用な情報をユーザの現在位置に応じた、適切な場所、適切なタイミングで提示することができる。

また、固定ミラー１７_ｎを用いているため、非常に低コストでありながら、容易に複数の投影領域の中からユーザの位置に応じた適切な投影領域を選択することができる。

さらに、ランプシェード１５Ｓに施した拡散効果により、固定ミラー１７_ｎに投影されない光を照明光の一部として利用することができるため、照明器具の数を減らすことができ低コスト化を図ることができる。

［第２の実施の形態］
続いて、図７を用いて、本発明の第２の実施の形態として示す情報提示システム２について説明をする。情報提示システム２は、図１を用いて説明した第１の実施の形態として示す情報提示システム１の複数の固定ミラー１７_ｎに換えて、可動ミラー１８を用いた構成となっている。したがって、本発明の第２の実施の形態として示す情報提示システム２の構成について説明するにあたり、上述した第１の実施の形態として示す情報提示システム１と重複する箇所については、同一符号を付して説明を一部省略する。

このような可動ミラー１８を備えた情報提示システム２は、例えば、図８に示すような情報提示空間である居住空間内の玄関などに設置され、撮像カメラ１１、人感センサ１２によって検出されるユーザの位置、ユーザの動線などに応じて、照明装置１５Ｂのプロジェクタ１６、可動ミラー１８を介して、所定の投影領域にユーザにとって有用な情報を提示する。図９に、照明装置１５Ｂの概略構成を示す。

図９に示すように、可動ミラー１８は、可動反射面１８ａが上下方向、左右方向への回転が自在となるような駆動モータを備えており天井などに設置される。このとき、可動ミラー１８は、プロジェクタ１６から出射される提示情報により空間変調された光を、駆動された可動反射面１８ａにより投影領域に反射投影した際に、ユーザの視認性が損なわれることがないように設置される。

可動ミラー１８の可動反射面１８ａは、制御部１３から出力される投影方向指示情報に応じて、投影方向指示情報で指定される投影領域へプロジェクタ１６からの光を反射投影するように駆動モータによって駆動される。このように、可動ミラー１８の可動反射面１８ａは、制御部１３によって駆動制御される。

制御部１３は、人感センサ１２などによって検知されるユーザの位置を示す位置情報に基づき、提示領域である図８に示すような投影領域ＦＤ１乃至ＦＤ３から、ユーザの最も近くにある投影領域を選択する。制御部１３は、この選択された投影領域に、可動ミラー１８によってプロジェクタ１６から投影される提示情報を反射投影されるように、可動反射面１８ａを駆動制御する投影方向指示情報を生成して可動ミラー１８に出力する。

図１０に、プロジェクタ１６から出射される１フレーム分の画像の一例を示す。図１０に示すように、プロジェクタ１６から出射される１フレーム分の画像は、可動ミラー１８の可動反射面１８ａの向きに応じて決定される画像領域ＧＦ４を有している。

つまり、図１０に示す画像領域ＧＦ４には、投影領域に投影させる提示情報が記載されており、プロジェクタ１６から出射された空間変調された光のうち、画像領域ＧＦ４のみが可動ミラー１８の可動反射面１８ａにて反射されることで投影領域に提示情報が映像として投影される。

このとき、可動ミラー１８の可動反射面１８ａに投影されない光、例えば、図１０に示す領域ＬＦ２は、照明装置１５Ｂのランプシェード１５Ｓへと照射されることになる。このとき、ランプシェード１５Ｓの表面に光を拡散させるような処理を施しておくことで、プロジェクタ１６から照射された光を照明装置１５Ａの照明光の一部として利用することができる。当然、可動ミラー１８の可動反射面１８ａで反射される光は、透過するようにランプシェード１５Ｓの表面を透明にしておく。

画像領域ＧＦ４は、可動ミラー１８の可動反射面１８ａの向き（角度）によって決まるため、可動反射面１８ａが駆動された際には、随時、制御部１３によりプロジェクタ１６へ出力される提示情報の補正処理がなされる。

制御部１３は、補正処理を実行するにあたり、以下に示すような情報を情報提供部１４にあらかじめ記憶させておき、上述した可動反射面１８ａの角度情報と共に適宜参照して補正処理を行う。例えば、情報提供部１４は、プロジェクタ１６と投影領域との距離情報や方向情報、投影領域の表面の状態を示した表面情報（表面の色や形状を示す情報）を、当該投影領域に情報提示する際のユーザの位置情報と対応づけて記憶している。

これらの情報は、ユーザの位置情報が取得され、投影される投影領域が決定された際に、決定された投影領域に投影された提示情報が、ユーザの位置に応じて歪んだり視認しにくくなった場合の補正用として用いられる。制御部１３は、これらの情報に基づく画像処理により補正を行う。

例えば、図８において、投影領域ＦＤ１が設けられた玄関扉が少し開いていたり、外部からの光が投影領域ＦＤ１の投影面に差し込んでいたり、投影面の形状や色などが情報提供部１４に記憶されたデフォルトの設定値と異なる状態に変化していることが、撮像カメラ１１からの画像データなどより判別できる場合には、この情報に基づき投影領域に投影する映像に補正を施す。これにより、ユーザの位置から適切に提示情報を視認することができる。

上述したように撮像カメラ１１で撮像された画像から投影領域の投影面の形状の変化を認識する手法としては、例えば、プロジェクタ１６からの投影光に可視領域外の光である近赤外光によるグリットパターンを重畳させておき、投影面に投影されたグリットパターンの形状の変化を観測することで実現できる。

続いて、図１１に示すフローチャートを用いて、情報提示システム２の制御部１３の処理動作について説明をする。なお、制御部１３の処理動作を説明するにあたり、情報提示システム２は、図８に示すような居住空間内の玄関で用いられるものとする。

また、情報提示システム２の制御部１３の処理動作は、図５に示すフローチャートを用いて説明した情報提示システム１の制御部１３の処理動作のステップＳ１乃至ステップＳ５までの動作が全く同じであり、ステップＳ６に換えてステップＳ６Ａとなっただけであるので変更のあったステップのみ説明をする。

ステップＳ６Ａにおいて、制御部１３は、ユーザに提示する提示情報を投影する投影領域を投影領域ＦＤ１乃至ＦＤ３の中から決定し、決定された投影領域に、プロジェクタ１６から良好に投影可能なように、ステップＳ３又はステップＳ４で取得した提示情報に対して補正処理を行う。

そして、制御部１３は、プロジェクタ１６から投影可能なように補正処理を施された提示情報と、提示情報の投影を指示する投影指示命令情報とをプロジェクタ１６に送信する。

また、制御部１３は、決定された投影領域にプロジェクタ１６から投影された提示情報を反射投影するように、可動ミラー１８に対して投影方向指示情報を送信する。

これにより、プロジェクタ１６から映像として投影された提示情報は、可動ミラー１８で反射され、ユーザの現在位置の近傍に存在する投影領域に提示される。

このように、本発明の第２の実施の形態として示す情報提示システム２は、プロジェクタ１６から投影された提示情報を投影領域に反射投影する可動ミラー１８を用いることで、情報提示空間内の様々な場所に容易に、人物特定を経て取得された提示情報を映像として提示することができる。これにより、情報提示システム２は、ユーザ毎に異なる有用な情報をユーザの現在位置に応じた、適切な場所、適切なタイミングで提示することができる。

また、可動ミラー１８を用いているため、上述した複数の固定ミラー１７_ｎを用いる場合と較べて、映像を投影させる投影領域の選択の自由度が増すことができるという利点がある。

［第３の実施の形態］
続いて、図１２を用いて、本発明の第３の実施の形態として示す情報提示システム３について説明をする。情報提示システム３は、図１を用いて説明した本発明の第１の実施の形態として示す情報提示システム１の複数の固定ミラー１７_ｎを取り除き、プロジェクタ１６に換えて、投影方向を自在に動かすことができる可動式のプロジェクタ１９を用いた構成となっている。したがって、本発明の第３の実施の形態として示す情報提示システム３の構成について説明するにあたり、上述した本発明の第１の実施の形態として示す情報提示システム１と重複する箇所については、同一符号を付して説明を一部省略する。

このような可動式のプロジェクタ１９とした情報提示システム３は、例えば、図１３に示すような情報提示空間である居住空間内の玄関などに設置され、撮像カメラ１１、人感センサ１２によって検出されるユーザの位置、ユーザの動線などに応じて、照明装置１５Ｃのプロジェクタ１９を介して、所定の投影領域にユーザとって有用な情報を提示する。

図１４に、照明装置１５Ｃの概略構成を示す。図１４に示すように、プロジェクタ１９は、天井などに取り付けられ、上下方向、左右方向の回転移動が自在となる駆動モータによる駆動によって、投影光を出射する投影部１９Ｌの投影方向を自在に変えることができる。

プロジェクタ１９は、制御部１３から出力される投影方向指示情報に応じて、投影方向指示情報で指定される投影領域へ投影部１９Ｌから出射される投影光が投影されるように駆動モータにより駆動される。

制御部１３は、人感センサ１２などによって検知されるユーザの位置を示す位置情報に基づき、提示領域である図１３に示すような投影領域ＦＤ１乃至ＦＤ３から、ユーザの最も近くにある投影領域を選択する。制御部１３は、この選択された投影領域に、プロジェクタ１９から投影される提示情報を投影するように、プロジェクタ１９を駆動制御する投影方向指示情報を生成してプロジェクタ１９に出力する。

図１５に、プロジェクタ１９から出射される１フレーム分の画像の一例を示す。図１５に示すように、プロジェクタ１９から出射される１フレーム分の画像は、投影部１９Ｌの向きに応じて決定される画像領域ＧＦ５を有している。

画像領域ＧＦ５は、投影部１９Ｌの向き（角度）によって決まるため、プロジェクタ１９が駆動された際には、随時、制御部１３によりプロジェクタ１９へ出力される提示情報の補正処理がなされる。

制御部１３は、補正処理を実行するにあたり、以下に示すような情報を情報提供部１４にあらかじめ記憶させておき、上述した投影部１９Ｌの角度情報と共に適宜参照して補正処理を行う。例えば、情報提供部１４は、プロジェクタ１９と投影領域との距離情報や方向情報、投影領域の表面の状態を示した表面情報（表面の色彩や凹凸形状を示す情報）を、当該投影領域に情報提示する際のユーザの位置情報と対応づけて記憶している。

これらの情報は、ユーザの位置情報が取得され、投影される投影領域が決定された際に、決定された投影領域に映像として投影された提示情報が、ユーザの位置に応じて歪んだり視認しにくくなった場合の補正用として用いられる。制御部１３は、これらの情報に基づく画像処理により補正を行う。

例えば、図１３において、投影領域ＦＤ１が設けられた玄関扉が少し開いていたり、外部からの光が投影領域ＦＤ１の投影面に差し込んでいたり、投影面の凹凸形状や色彩などが情報提供部１４に記憶されたデフォルトの設定値と異なる状態に変化していることが、撮像カメラ１１からの画像データなどより判別できる場合には、この情報に基づき投影領域に投影する映像に補正を施す。これにより、ユーザの位置から適切に提示情報を視認することができる。

上述したように撮像カメラ１１で撮像された画像から投影領域の投影面の形状の変化を認識する手法としては、例えば、プロジェクタ１９からの投影光に可視領域外の光である近赤外光によるグリットパターンを重畳させておき、投影面に投影されたグリットパターンの形状の変化を観測することで実現できる。

本発明の第３の実施の形態として示す情報提示システム３は、図１２に示すようにプロジェクタ１９に付属カメラ１９Ｃを備えているため、プロジェクタ１９の投影方向、つまり、投影領域の投影面の状態を撮像することができる。また、付属カメラ１９Ｃは、オートフォーカス機能を有しており、このオートフォーカス機能により被写体である投影領域の投影面までの距離を測定することができる。

制御部１３は、この付属カメラ１９Ｃによって撮像された投影領域の投影面の状態に応じて、ユーザの位置情報に応じて決定された投影領域を変更したり、プロジェクタ１９から投影させる提示情報の映像補正をしたり、さらにオートフォーカス機能により測定された投影面までの距離に応じて歪み補正などを行う。

付属カメラ１９Ｃで撮像される投影領域の投影面の画像は、人物特定用に設けられている撮像カメラ１１で撮像される画像よりも投影面を的確に撮像することができるため、精度の高い補正処理を実現できる。

続いて、図１６に示すフローチャートを用いて、情報提示システム３の制御部１３の処理動作について説明をする。なお、制御部１３の処理動作を説明するにあたり、情報提示システム３は、図１３に示すような居住空間内の玄関で用いられるものとする。

ステップＳ１１において、制御部１３は、人感センサ１２でユーザの動きを検知したことに応じて、撮像カメラ１１による撮像を開始させ、画像データを取得する。制御部１３は、取得した画像データから玄関にいるユーザの人物特定を行い、ユーザの位置情報の履歴から動線情報を取得する。

そして、制御部１３は、取得した動線情報、特定した人物の人物情報に基づき、情報提供部１４からユーザにとって有用な情報を取得する。

また、制御部１３は、ユーザの位置情報に基づき、ユーザに提示する提示情報を投影する投影領域を投影領域ＦＤ１乃至ＦＤ３の中から決定する。

ステップＳ１２において、制御部１３は、決定された投影領域にプロジェクタ１９から投影された提示情報を投影するように、プロジェクタ１９に対して投影方向指示情報を送信する。制御部１３から送信された投影方向指示情報に基づき、プロジェクタ１９の図示しない駆動モータが駆動し、決定された投影領域を向くように、プロジェクタ１９の角度調整がなされる。このとき、プロジェクタ１９が備える付属カメラ１９Ｃによる撮像が開始される。

ステップＳ１３において、制御部１３は、決定された投影領域へと向けられたプロジェクタ１９が備える付属カメラ１９Ｃによって撮像された撮像画像より、投影領域の投影面の凹凸や色彩状態を示した投影面状態情報を取得する。

ステップＳ１４において、制御部１３は、取得した投影面状態情報より、ステップＳ１１で決定された投影領域を変更するかどうか判断をする。制御部１３は、投影領域を変更する場合はステップＳ１５へと進み、投影領域の変更をしない場合はステップＳ１７へと進む。

ここで、制御部１３による投影領域の変更判断処理について具体的に説明する。例えば、投影領域の通常時における投影面、つまり、提示情報を投影するのに最良の状態の投影面の状態を撮像した画像データをあらかじめ登録しておき、付属カメラ１９Ｃで撮像された撮像画像との差分を取ることで、投影領域の投影面の凹凸の違い、色彩の違い、障害物の存在の有無を把握して投影領域を変更するかどうかを判断する。

例えば、ステップＳ１３において、付属カメラ１９Ｃで居住空間内の床面である投影領域Ｆ１を撮像した画像が、図１７（ａ）に示すような画像であったとする。また、システム設定時に、あらかじめ登録された投影領域Ｆ１を付属カメラ１９Ｃで撮像した画像が、図１７（ｂ）に示すような画像であったとする。制御部１３は、図１７（ａ）、（ｂ）の画像の差分をとることで、図１７（ａ）に示す投影領域Ｆ１に存在する提示情報を提示する投影面には相応しくない障害物ＨＺ１、ＨＺ２の存在を把握する。

なお、比較基準となる画像データの登録は、システム設定時ばかりではなく、通常時における投影領域の投影面の状態に変化があった場合に随時行うことができる。

ステップＳ１５において、制御部１３は、ステップＳ１１で決定された投影領域の変更が必要なことに応じて、新たな投影領域を決定する。例えば、図１７（ｃ）に示すように、元の投影領域Ｆ１の近傍にあり、投影面の状態が通常時と変わらない投影領域Ｆ２を新たな投影領域とする。

ステップＳ１６において、制御部１３は、投影方向指示情報をプロジェクタ１９に送信して、ステップＳ１５で決定された投影領域の中心が、付属カメラ１９Ｃで撮像した際に撮像画面の中心となるようにプロジェクタ１９の角度調整を行う。

このとき、ステップＳ１１で取得された提示情報を投影させる所望の投影画像サイズの領域を確保することができなかった場合、制御部１３は、投影方向指示情報をプロジェクタ１９に送信して、プロジェクタ１９を上下左右に動かすことで、所望の投影画像サイズとなる投影領域を確保する。

そして、制御部１３は、決定された投影領域へと向けられたプロジェクタ１９が備える付属カメラ１９Ｃによって撮像された撮像画像より、再び投影領域の投影面の凹凸や色彩状態を示した投影面状態情報を取得する。

また、制御部１３は、付属カメラ１９Ｃのオートフォーカス機能により測定される投影領域の投影面までの距離情報を取得する。

ステップＳ１７において、制御部１３は、ステップＳ１３で取得された投影領域の投影面状態情報からＲＧＢ信号情報などを取得して、この投影面に映像として投影させる提示情報に色調調整などの映像補正が必要かどうか判断をする。制御部１３は、映像補正が必要な場合はステップＳ１８へと進め、映像補正が必要でない場合はステップＳ１９へと進める。

ステップＳ１８において、制御部１３は、投影面状態情報に基づき、映像として提示する提示情報に対し映像補正処理を実行する。

ステップＳ１９において、制御部１３は、プロジェクタ１９の投影方向（投影角度）を示す投影方向情報と、投影面までの距離情報とから、この投影面に映像として投影させる提示情報に歪み補正が必要かどうかを判断する。制御部１３は、歪み補正が必要な場合はステップＳ２０へと進め、歪み補正が必要でない場合はステップＳ２１へと進める。

ステップＳ２０において、制御部１３は、映像として提示する提示情報に対し歪み補正処理を実行する。

ステップＳ２１において、制御部１３は、プロジェクタ１９から投影可能なように補正処理を施された提示情報と、提示情報の投影を指示する投影指示命令情報とをプロジェクタ１９に送信する。

ステップＳ２２において、プロジェクタ１９は、投影指示命令情報に応じて、提示情報を決定された投影領域に投影する。

このように、本発明の第３の実施の形態として示す情報提示システム３は、投影方向を自在に調整することができるプロジェクタ１９を用いて、情報提示空間内の様々な場所に容易に、人物特定を経て取得された提示情報を提示させることができる。これにより、情報提示システム３は、ユーザ毎に異なる有用な情報をユーザの現在位置に応じた、適切な場所、適切なタイミングで提示することができる。

また、付属カメラ１９Ｃにより撮像した投影領域の投影面の状態に応じて、投影領域の再選択、投影させる映像の補正処理を高い精度で行うことができるため、ユーザに対して提示情報を高い視認性の映像として提示することができる。

さらに、オートフォーカス機能により取得することができる投影領域の投影面までの距離情報とプロジェクタ１９の投影角度を示した投影方向情報とにより、投影領域に投影する映像の歪み補正を行うことができるため、ユーザに対して高い視認性で提示情報を映像として提示することができる。

なお、付属カメラ１９Ｃ及びオートフォーカス機能は、第３の実施の形態として示す情報提示システム３ばかりではなく、本発明の第２の実施の形態として示す情報提示システム２にも備えることができ、これにより同様の手法を適用することで映像補正、歪み補正などを高い精度で実行することができる。

この場合、付属カメラ１９Ｃは、プロジェクタ１６に映像を投影された可動ミラー１８の映像反射方向と連動して動くようにすることで、投影領域の投影面の状態を撮像することができ、オートフォーカス機能による投影面までの距離計測を実行することができる。また、歪み補正に用いる投影領域の投影面までの投影方向情報としては、可動ミラー１８の可動反射面１８ａの投影面に対する投影角度を用いる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明の第１の実施の形態として示す情報提示システムの構成について説明するための図である。 本発明の第１の実施の形態として示す情報提示システムの適用例について示した図である。 本発明の第１の実施の形態として示す情報提示システムが備える照明装置の構成について示した図である。 プロジェクタから出射される１フレーム分の画像の様子を示した図である。 本発明の第１の実施の形態として示す情報提示システムの動作について説明するためのフローチャートである。 情報提示システムに登録されたユーザ毎に提示させる情報の一例を記述したテーブルを示した図である。 本発明の第２の実施の形態として示す情報提示システムの構成について説明するための図である。 本発明の第２の実施の形態として示す情報提示システムの適用例について示した図である。 本発明の第２の実施の形態として示す情報提示システムが備える照明装置の構成について示した図である。 プロジェクタから出射される１フレーム分の画像の様子を示した図である。 本発明の第２の実施の形態として示す情報提示システムの動作について説明するためのフローチャートである。 本発明の第３の実施の形態として示す情報提示システムの構成について説明するための図である。 本発明の第３の実施の形態として示す情報提示システムの適用例について示した図である。 本発明の第３の実施の形態として示す情報提示システムが備える照明装置の構成について示した図である。 プロジェクタから出射される１フレーム分の画像の様子を示した図である。 本発明の第３の実施の形態として示す情報提示システムの動作について説明するためのフローチャートである。 投影領域を選択し直す手法について説明するための図である。

符号の説明

１ 情報提示システム
２ 情報提示システム
３ 情報提示システム
１１ 撮像カメラ
１２ 人感センサ
１３ 制御部
１４ 情報提供部
１５Ａ 照明装置
１５Ｂ 照明装置
１５Ｃ 照明装置
１５Ｓ ランプシェード
１６ プロジェクタ
１７_ｎ 固定ミラー
１８ 可動ミラー
１８ａ 可動反射面
１９ プロジェクタ
１９Ｃ 付属カメラ

Claims (8)

1. 情報を提示する情報提示空間内での人物の位置を検出する位置検出手段と、
   前記情報提示空間内にいる人物を特定する人物特定手段と、
   情報を映像として投影するプロジェクタと、
   前記情報提示空間内の複数の投影領域から、前記位置検出手段によって検出された前記情報提示空間内での人物の位置に基づき、前記プロジェクタからの映像を投影させる投影領域を選択的に切り換える投影領域切換手段と、
   あらかじめ登録された人物に対応した所定の情報を提供する情報提供手段と、
   前記投影領域切換手段によって選択的に切り換えられた投影領域に、前記人物特定手段によって特定された人物に対応する所定の情報を前記情報提供手段から取得して映像として投影するよう前記プロジェクタを制御する制御手段とを備えること、
   を特徴とする情報提示システム。
2. 前記投影領域の投影面の状態を検出する投影面状態検出手段を備え、
   前記制御手段は、前記投影面状態検出手段によって検出された前記投影領域の投影面の状態に基づき、前記プロジェクタから前記投影領域に投影させる映像を補正処理すること
   を特徴とする請求項１記載の情報提示システム。
3. 前記投影領域の投影面の状態を検出する投影面状態検出手段を備え、
   前記制御手段は、前記投影面状態検出手段によって検出された前記投影領域の投影面の状態に基づき、前記プロジェクタからの映像を投影させる投影領域を、前記投影領域切換手段によって選択的に切り換えられた投影領域とは異なる他の投影領域へと切り換えるよう制御すること
   を特徴とする請求項１記載の情報提示システム。
4. 前記投影領域切換手段は、前記情報提示空間内の複数の投影領域と対応する複数の固定ミラーからなり、
   前記プロジェクタから投影される映像を、前記複数の固定ミラーのうち前記情報提示空間内での人物の位置に基づく投影領域に対応する固定ミラーで前記投影領域に反射して、前記投影領域を選択的に切り換えること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提示システム。
5. 前記投影領域切換手段は、前記情報提示空間内の複数の投影領域に対応するよう反射面が自在に動く可動ミラーからなり、
   前記プロジェクタから投影される映像を、前記可動ミラーで前記情報空間内での人物位置に基づく投影領域に反射して、前記投影領域を選択的に切り換えること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提示システム。
6. 前記投影領域切換手段は、前記プロジェクタの投影方向を任意に調整可能な、前記プロジェクタを動かす可動機構であり、
   前記可動機構により前記プロジェクタの投影方向が、前記情報空間内での人物位置に基づく投影領域となるように調整することで、前記投影領域を選択的に切り換えること
   を特徴とする請求項１乃至請求項３のいずれか１項に記載の情報提示システム。
7. 前記投影領域切換手段によって選択的に切り換えられた前記投影領域の投影面までの距離を測定する距離測定手段と、
   前記距離測定手段によって測定される前記投影領域の投影面までの距離を示す距離情報と前記投影領域の投影面までの投影方向を示す投影方向情報とから、前記プロジェクタから投影される映像の歪みを補正する歪み補正手段とを備えること
   を特徴とする請求項５又は請求項６記載の情報提示システム。
8. 前記プロジェクタから投影される映像のうち、前記投影領域切換手段によって選択的に切り換えられた前記投影領域に投影される映像以外の映像光を前記情報提示空間内に拡散させる拡散照明手段を備えること
   を特徴とする請求項１記載の情報提示システム。

Images