JP2006236013A - 環境的情報提示装置、環境的情報提示方法およびこの方法のプログラム - Google Patents

Abstract

【課題】ユーザが、気づきやすく、視認しやすい形態で永続的に情報を提示、さらに鏡本来の機能を阻害することなく情報を提示する。
【解決手段】ディスプレイ１０の正面領域を撮像するイメージセンサ２０の映像から、顔検出手段３１が人の顔領域を検出し、提示情報制御手段３２が検出された顔領域の位置と形状に基づいてディスプレイに表示する提示情報を変更する。
ユーザとディスプレイ間の距離に応じて視認に適した情報を提示すること、ユーザの距離の遠／近によって早いスピード／遅いスピードもしくは動作をとめたアニメーションを提示すること、ユーザとの距離の変化に応じて情報の拡大率を変更することを含む。
【選択図】 図１

Description

本発明は、壁面などに設置され環境的かつ永続的に情報を提示する環境的情報提示装置および環境的情報提示方法に関する。

ユビキタスコンピューティングの研究分野においては、屋内の壁や家具などに埋め込まれたディスプレイがユーザに情報を提供するシステムが提案されている。このようなシステムは、日常生活の中で、ユーザが情報に気づく機会を、自然に増やすことを目的とするものである。ここでは、このようなシステムを環境的情報提示装置と呼ぶものとする。

環境的情報提示装置のもっとも基本的な構成例として壁掛けディスプレイがある。薄型のディスプレイにコンピュータとネットワーク通信機能が内蔵されたものであり、屋内の壁につけて利用する。壁掛けディスプレイは、ネットワーク上の所定のサーバから情報を逐次取得し提示する。例えば、天気予報情報を提供するサーバに定期的にアクセスしその情報を提示する。

壁掛けディスプレイは、単に情報を提示するだけでなくインタラクションのための機能を有することもできる。壁掛けディスプレイは、基本的に通常のコンピュータと変わらないものである。ボタンやタッチパネルなどのインプットデバイスを装備すれば、ユーザはこれを用いて表示情報を操作することができる。

また、近年、普及が進んでいるＴＶ電話は一種の環境的情報提示装置として利用できる。ＶＯＩＰ（Ｖｏｉｃｅ−Ｏｖｅｒ−ＩＰ）ベースのＴＶ電話は、インターネットから情報を取得する機能を有する。したがって、通話中以外の間、ＴＶ電話のディスプレイが環境的な情報提示を行うことができる。

一方、既存の日用品の機能をコンピュータにより拡張し、環境的情報提示装置とするシステムも開発されている。特に、鏡は、日常生活の中でしばしばユーザの注視の対象となり、情報の提示に適した面積を有することから、鏡に壁掛けディスプレイとしての機能を付加したシステムが開発されている。

例えば、[非特許文献１]には、ハーフミラーの背後に配置したディスプレイより情報を提示するシステムが記載されている。このシステムはイメージセンサを有し、携帯端末からの光信号を受信して、信号内容に応じた情報操作を実施する機能も有している。

また、[非特許文献２]では、鏡内に仮想的に提示した画像情報を鏡内の自己像の手でポインティングすることにより情報操作を行うシステムが提案されている。このシステムでは、鏡内に提示された画像情報と自己像の位置関係の計算を可能にするため、システム前面を撮影するカメラ映像をディスプレイに表示したビデオミラーを用いている。
宮奥健人，東野豪，外村佳伸，"infoMirror：携帯電話と連携する鏡型情報アプライアンス"，FIT2004，第３回情報科学技術フォーラム講演論文集（ＣＤ−ＲＯＭ），2004 細谷英一，北端美紀，佐藤秀則，原田育夫，野島久雄，森澤文晴，武藤伸一郎，"実世界インタラクションのためのミラーインタフェース，"インタラクション２００３論文集，pp.95-96,2003

環境的情報提示装置は、永続的に情報を提示し続けるシステムである。ユーザが情報利用のために能動的に利用するシステムと異なり、情報利用意思のないユーザに対して情報を提示するものであるので、通常のＷｅｂブラウザなどと異なる情報提示手法が求められる。

特に、ユーザと環境的情報提示装置の距離が固定的ではないので、ユーザとの距離を考慮した情報の提示が必要である。例えば、装置から離れた位置にいるユーザへ、小さいフォントの多量のテキストの含む詳細情報を提示しても、ユーザが読めないため意味がない。環境的情報提示装置では、ユーザが装置に偶然目を向けた際、提示情報の内容を視認できてこそ意味がある。したがって、距離に応じてユーザに視認しやすい形態の情報を提示できる必要がある。

一方、鏡型の環境的情報提示装置では、鏡本来の機能と、情報提示機能を両立させることが重要である。本来、鏡は、そこに映ったユーザの姿を確認するための道具である。ユーザの姿が映った位置に、何らかの情報が重畳して提示されると、鏡本来の機能を阻害することになる。鏡型の環境的情報提示装置では、この問題へ配慮した情報提示の仕組みを有する必要がある。

さらに、環境的情報提示装置を低コストに構成することが、その普及に向けた重要な課題である。特にＴＶ電話や、[非特許文献１]のシステムはイメージセンサを具備する。したがって、上述の課題をイメージセンサの利用により解決できれば、コスト面での負担が少ない。

このような観点より、本発明では、イメージセンサを利用したシステムを用いて、上記要求を満たす環境的情報提示装置、環境的情報提示方法、およびこの方法のプログラムを提供することを目的とする。

装置側に具備されたイメージセンサを用いてユーザの顔を検出すると、その位置や領域サイズから、装置とユーザとの位置関係が推定できる。そして、推定された位置関係も基づいて適切な情報提示を行うことが可能となる。

そこで、本発明による環境的情報提示装置は、ディスプレイ、イメージセンサ、顔検出手段、提示情報制御手段より構成され、ディスプレイの正面領域を撮像するイメージセンサの映像から、顔検出手段が人の顔領域を検出し、提示情報制御手段が検出された顔領域の位置と形状に基づいてディスプレイに表示する提示情報を変更することを特徴とする。

特に、検出された顔領域のサイズがユーザと装置間の距離に関係する。そこで、前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが小さい場合に遠距離からの視認に適した情報を提示し、前記提示情報制御手段は前記顔検出手段の検出した顔領域のサイズが大きい場合に近距離からの視認に適した情報を提示する。

環境的情報提示装置から遠い位置にいるユーザは、ディスプレイ画面中の細かいテキストなどを視認することはできない。遠い位置にいるユーザにわかり易い情報表現として、アニメーションの利用が考えられる。画面上に表示されたオブジェクトが、回転、移動などを組み合わせた特徴的な動き（ゼスチャー）をすることにより、情報の簡単な属性をユーザに伝えることができる。また、アニメーションは離れた位置にいるユーザに情報の存在に気づかせるのに有効である。

一方、近隣のユーザは、テキストなどを読んで、より具体的な情報を取得することができる。この場合、テキストを含むオブジェクトが動き回るアニメーションの適用は、ユーザのテキスト視認を阻害することになるので良くない。つまり、アニメーションを利用する場合には、ユーザとの距離に応じた動作制御が必要である。

そこで、本発明の環境的情報提示装置では、前記提示情報制御手段がアニメーションを用いた情報提示を行う場合、前記顔検出手段の検出した顔領域のサイズが小さい場合に、早いスピードで動くアニメーションを用い、前記顔検出手段の検出した顔領域のサイズが大きい場合に、遅いスピードで動くアニメーションを用いる、もしくは、アニメーション動作をとめるという手段を有する。

さらに、本発明の環境的情報提示装置は、提示情報の視認性を向上するための工夫として、装置に近づこうとするユーザに対して装置側から能動的に情報を拡大かつ詳細化して提示する仕組みを有する。

すわなち、本発明の環境的情報提示装置の前記提示情報制御手段は、前記顔検出手段の検出する顔領域の時系列的なサイズ変化を検出し、顔領域サイズが大きくなる変化が検出された場合に、提示情報を変更することを特徴とする。

さらに、鏡型環境的情報提示装置において、ユーザの鏡を見る行為を阻害しないために以下の仕組みを有する。

すなわち、本発明の環境的情報提示装置において、前記提示情報制御手段は、前記顔検出手段の検出した顔領域から、ディスプレイ表示領域中の顔提示領域および胴体提示領域を算出し、前記顔提示領域および胴体提示領域以外の表示領域に情報を提示することを特徴とする。

また、本発明の環境的情報提示方法は、ディスプレイ、イメージセンサ、顔検出手段、提示情報制御手段を具備した装置に適用され、上述の処理手段における各処理ステップを有して環境的情報を提示することを特徴とする。

また、本発明のプログラムは、上述の環境的情報提示方法をコンピュータで実行可能に構成したことを特徴とする。

本発明によれば、ユーザと装置との位置関係に応じて、提示情報をユーザに視認し易いように変更する環境的情報提示装置、環境的情報提示方法、およびこの方法のプログラムを実現することができる。

また、イメージセンサを利用するため、既存のＴＶ電話などイメージセンサを予め具備する装置に対して低コストに実装できる。

本発明の環境的情報提示装置の基本的な構成例を図１に示す。同図は、少なくともディスプレイ１０、該ディスプレイを視認できるエリア（一般的にディスプレイ正面のエリア）を撮像するイメージセンサ２０、イメージセンサからの入力映像を処理し、ディスプレイへの提示情報を制御するコンピュータ３０から構成される。ここで、コンピュータ３０内部には、イメージセンサ２０の映像から顔領域を検出する顔検出手段３１、および検出された顔領域の位置、形状に基づいて提示情報を制御する提示情報制御手段３２が具備される。

顔検出手段３１、提示情報制御手段３２は、コンピュータ３０のＯＳ上で動作するソフトウェアとして実装されても良い。この際、コンピュータ１０は、ソフトウェアである各手段が、イメージセンサ２０の撮像映像を処理したり、ディスプレイ１０への出力を制御したりするための入出力インタフェース手段（例えば、ディスプレイへ画像を出力するためのインタフェースデバイスである画像処理手段３３など）やメモリー３４を具備する。一方、特に、顔検出手段３１については、処理速度向上のために映像処理専用のハードウェアを用いて実装することも可能である。

提示情報制御手段３２によって、ディスプレイ１０に表示される情報は、コンピュータ３０内のメモリー３４に予め蓄積されているものでも良い。また、特に、新着情報をユーザに知らせることが、環境的情報提示装置の重要な役割であるため、ネットワークを介して情報を受信し、これを提示するようにしても良い。このために、コンピュータ３０は、ＬＡＮ、インターネットとの通信のための通信手段３５を具備する。この際、提示情報制御手段３２は、基本的に、所定のサーバから逐次情報をダウンロードし、環境情報提示に適する所定の形態に変換して、ディスプレイ１０に表示する動作を永続的に行う。

次に、本発明の環境的情報提示装置の動作について説明する。イメージセンサ２０は、前述したようにディスプレイ１０の正面エリアを撮像している。顔検出手段３１は、イメージセンサ２０の撮像映像を実時間に処理する。まず、人の顔の存在を検出し、顔が検出された場合、映像中に占める顔の領域（顔領域）を検出する。これらの処理には、例えば、下記の[非特許文献３]に記載の手法を用いることができる。さらに、顔検出手段３１は、顔領域の位置、形状に関する情報を提示情報制御手段３２へ送信する。

［非特許文献３］赤松“コンピュータによる顔の認識の研究動向”，電子情報通信学会誌，Ｖｏｌ．８０，Ｎｏ３．ｐｐ．２５７−２６６（１９９７）。

図２には、イメージセンサ２０の撮像映像中から顔検出手段３１が検出する顔領域の例を示している。この例では、顔領域を、矩形領域として検出している。このような矩形状の顔領域が検出された場合、顔検出手段３１は、映像中に占める該矩形領域の右上隅座標（Ｆｘ，Ｆｙ）と矩形の幅Ｆｗと高さＦｈを顔領域位置形状情報として提示情報制御手段３２に送信する。

提示情報制御手段３２は、顔検出手段３１より受信した顔領域位置形状情報に基づいて、提示情報を変更する。以下、提示情報制御の実施形態を説明する。

（実施形態１）顔領域サイズに基づく制御
提示情報制御手段３２は、予め顔領域サイズに関する閾値Ｚを設定しておく。また、提示情報制御手段３２は、初期段階では、遠くからの視認に適した形態の情報提示を行う。遠くからの視認に適した形態とは、例えば、大きな文字を主体とし、見出し程度の少ない情報のみを提示する表示形態などである。画像、映像に関しては、遠くからでも被写体が何か判別できる程度に拡大して表示する形態などである。

提示情報制御手段３２は、顔検出手段３１より、顔領域位置形状情報[（Ｆｘ，Ｆｙ），Ｆｗ，Ｆｈ]が受信されると顔領域サイズ（矩形顔領域の面積）Ｆｗ*Ｆｈを算出する。そして、Ｆｗ*Ｆｈ≧Ｚである場合には、近くからの視認に適した形態へ提示情報を変更する。近くからの視認に適した形態とは、例えば、比較的小さな文字で、詳細な情報を提示する形態などである。画像、映像に関しては、近くから視認に適したサイズで表示し、さらにテロップなどの文字情報も表示する形態などである。

一方、Ｆｗ*Ｆｈ＜Ｚである場合、提示情報制御手段３２は、遠くからの視認に適した形態の情報提示を継続する。既に、Ｆｗ*Ｆｈ≧Ｚとなったために、近くからの視認に適した形態の情報提示へ変更していた場合には、Ｆｗ*Ｆｈ＜Ｚとなった時点で、再度、遠くからの視認に適した形態の情報提示へ変更する。

図３は、文字情報を提示する場合の提示情報制御手段３２による情報提示例を示す。

この例では、提示情報制御手段３２は、ディスプレイ表示領域中に提示されるサムネイル画像内の文字表示を制御する。

また、この例では、各情報コンテンツは、ＲＤＦ（Resource Description Framework）形式のテキストとしてネットワークより受信されるものとする。ＲＤＦ形式のテキスト情報は、記事タイトルや情報内容を記載している部分が、それぞれ所定のＸＭＬタグによってマークアップされている。図４に情報コンテンツのテキスト記述の一例を示す。ＸＭＬタグを参照して、システムは、ＲＤＦ形式の情報コンテンツから、記事タイトル部分や、記事内容部分に相当するテキストを抽出できる。

提示情報制御手段３２は、予め定義された、Ｆｗ*Ｆｈ＜Ｚである場合の文字表示仕様Ｄ０と、Ｆｗ*Ｆｈ≧Ｚである場合の文字表示仕様Ｄ１を、該手段がアクセス可能な記憶手段上に管理している。ここで、文字表示仕様とは、サムネイル内に表示する文字のサイズ、フォント、色、および、記事タイトル表示位置、記事内容表示の有無、記事内容表示位置、最大文字数などの情報を含む。下記の表１には文字表示仕様の例を示す。

図３に示す例では、Ｆｗ*Ｆｈ≧Ｚである場合の文字表示仕様Ｄ１において、文字サイズが小さく設定されている。

提示情報制御手段３２は、Ｆｗ*Ｆｈ＜Ｚである場合は、情報コンテンツ中から記事タイトルのみを抽出し、この場合の文字表示仕様Ｄ０に従う形で、これを提示する（図３の（ａ））。一方、Ｆｗ*Ｆｈ≧Ｚとなった場合に、情報コンテンツ中から記事タイトルおよび記事内容を抽出し、Ｆｗ*Ｆｈ≧Ｚである場合の文字表示仕様Ｄ１にしたがって、小さい文字でこれらを表示する（図３の（ｂ））。

これらの制御は、顔領域サイズが小さいほど、ユーザと装置の間の距離が遠く、顔領域サイズが大きいほど、ユーザと装置の距離が近いとみなせることを利用したものである。上述の例では、一つの閾値Ｚを用いて、遠くからの視認に適した文字表示仕様と、近くからの視認に適した文字表示仕様の二つを切り替えるようにしている。

なお、提示情報制御手段３２は、複数の閾値Ｚ（０），…，Ｚ（ｎ−１）、（ただし、Ｚ（０）＜Ｚ（１）＜…＜Ｚ（ｎ−１））を用いてｎ＋１種類の提示形態を段階的に切り替えるように制御しても良い。この複数の提示形態の段階的制御を、上述した文字表示制御を例に説明する。

提示情報制御手段３２は、予め定義されたｎ個の顔画像サイズに関する閾値Ｚ（０），…，Ｚ（ｎ−１）を保持している。また、顔画像サイズＦｗ*Ｆｈが、Ｆｗ*Ｆｈ＜Ｚ（０）である場合、および、Ｚ（ｋ−１）≦Ｆｗ*Ｆｈ＜Ｚ（ｋ）、（ただし、ｋ＝１，２，…，ｎ−１）である場合、および、Ｚ（ｎ−１）≦Ｆｗ*Ｆｈである場合に対応するｎ＋１個の文字表示仕様Ｄｎ（ｎ＝０，１，…，ｎ）を保持している。すなわち、下記表２に示すようなテーブルを保持し、検出された顔画像サイズと、各文字表示仕様Ｄ０，…，Ｄｎの対応関係を管理している。

ここで、文字表示仕様Ｄ０が最も遠距離からの視認に適した形態で、文字表示仕様Ｄｎが最も近距離からの視認に適した提示形態であるとすると、文字表示仕様Ｄ０が、最も大きな文字で少ない文字数を提示する文字表示仕様であり、文字表示仕様Ｄｎは最も小さな文字で多数の文字を表示する文字表示仕様であることが考えられる。

提示情報制御手段３２は、顔検出手段３１より、顔領域位置形状情報［（Ｆｘ，Ｆｙ），Ｆｗ，Ｆｈ］が受信されると顔領域サイズ（矩形顔領域の面積）Ｆｗ*Ｆｈを算出する。そして、Ｆｗ*Ｆｈ＜Ｚ（０）であれば、文字表示仕様Ｄ０に基づいたテキスト提示を行う。また、Ｚ（ｋ−１）≦Ｆｗ*Ｆｈ＜Ｚ（ｋ）であれば、文字表示仕様Ｄｋに基づいたテキスト提示を行い、Ｚ（ｎ−１）≦Ｆｗ*Ｆｈであれば、文字表示仕様Ｄｎを適用する。

上述の実施形態ではテキスト情報の表示について述べた。なお、本発明では、テキスト以外にも、画像や動画、あるいは、テキストと画像、動画を組み合わせたマルチメディアコンテンツ、３Ｄグラフィックスなどのメディアの提示を制御することも可能である。これらの場合には、提示情報制御手段３２は、それぞれのメディアに応じて、前記文字表示仕様に相当するメディア表示仕様を、Ｆｗ*Ｆｈの値の範囲ごとに予め定義しておく。そして、検出されたＦｗ*Ｆｈに値に基づいて対応するメディア表示仕様を選択し、これに従うように所定のメディアの表示形態を変更する。

（実施形態２）顔領域サイズに基づく制御・アニメーションへの適用
提示情報制御手段３２は、情報提示に際してアニメーションを利用する場合がある。人間の視覚は、動くものに対して敏感である。視野内に存在する動体を本能的に注視してしまう特性がある。したがって、アニメーションは、環境的情報提示装置近隣のユーザの注意を引くのに有用な手段である。

そこで、提示情報制御手段３２は、例えば、複数のサムネイル画像を提示し、それぞれのサムネイルがディスプレイ１０の表示領域中を移動するアニメーションを適用する場合がある。図５にサムネイルを移動するアニメーションの例を示す。また、テキスト、画像その他のオブジェクトを拡大縮小するアニメーションを繰り返したり、表示非表示を繰り返したりするなど様々なアニメーションの利用が考えられる。

さらに、ディスプレイ１０の表示領域中のオブジェクトのアニメーション動作は、遠くからでも視認しやすい。例えば、上下移動、左右移動などの特徴的な移動パターンや、拡大縮小動作、表示非表示（点滅）などの動作は、オブジェクト内に提示される画像や文字情報が視認できない距離からでも識別できる。アニメーション動作に情報を含めることは、遠くからの視認に提起した情報提示形態の一つと言える。

アニメーション動作に情報を含めるとは、例えば、移動速度や点滅速度によって、情報の重要性を表現することがあげられる。また、特定の移動パターンを特定の意味、例えば、情報の種類に対応させることなどが考えられる。

このように、アニメーションは、ユーザの注意を喚起し、遠くのユーザに情報の属性を認識させる手段として活用できる。また、サムネイル画像の代わりに魚の絵を提示し、各魚の画像に泳ぐようなアニメーションをさせることで、水槽のような鑑賞するものとしての付加価値を環境的情報提示装置に付与できる。この場合も、魚の色や動きによって、情報の属性を認識させることも可能である。

一方で、近隣のユーザがディスプレイ１０に提示された詳細情報を視認しようとする際には、邪魔になる場合がある。例えば、文字情報を含むサムネイル画像が上下左右に動き回ると、文字を読むのが大変困難である。

そこで、本実施形態では、環境的情報提示において、アニメーションを効果的に利用できるようにするために、以下のような処理を行う。

まず、提示情報制御手段３２は、予め顔領域サイズに関する閾値Ｚを設定しておく。さらに、提示情報制御手段３２は、予め定義された、Ｆｗ*Ｆｈ＜Ｚである場合のアニメーション仕様Ａ０と、Ｆｗ*Ｆｈ≧Ｚである場合のアニメーション仕様Ａ１を、該手段がアクセス可能なメモリーに管理している。なお、アニメーション仕様とは、ディスプレイ表示領域中に表示するアニメーションの仕様を記述したものである。

図５に示したようなサムネイル画像が動くアニメーションを用いる場合であれば、アニメーション仕様は、画像表示サイズ、画像点滅パターン、画像点滅スピード、画像動作パターン、画像動作範囲、画像動作スピード、などの情報を含む。提示情報制御手段３２は、このアニメーション仕様に従って各サムネイル画像のアニメーションを実行する。

提示情報制御手段３２は、顔検出手段３１より、顔領域位置形状情報［（Ｆｘ，Ｆｙ），Ｆｗ，Ｆｈ］が受信されると顔領域サイズ（矩形顔領域の面積）Ｆｗ*Ｆｈを算出する。Ｆｗ*Ｆｈ＜Ｚである場合、提示情報制御手段３２は、アニメーション仕様Ａ０に従ってサムネイル画像の提示制御を行う。一方、Ｆｗ*Ｆｈ≧Ｚである場合には、アニメーション仕様Ａ１に従ってサムネイル画像の提示制御を行う。

移動スピードの速いアニメーションは、遠方への情報提示に適し、移動スピードの遅いアニメーションは、近隣への情報提示に適する。したがって、本実施形態では、上記処理において、Ｆｗ*Ｆｈ＜Ｚである場合（すなわち、顔画像サイズが小さい場合）のアニメーション仕様Ａ０で、画像点滅スピード、画像動作スピードを速くし、Ｆｗ*Ｆｈ≧Ｚである場合（すなわち、顔画像サイズが大きい場合）のアニメーション仕様Ａ０では、画像点滅スピード、画像動作スピードを遅く設定する場合がある。これにより、ユーザと装置の距離に、アニメーションのスピードを適応させることができる。

なお、アニメーションの制御においても、前記の実施形態１で述べたのと同様の手順で段階的な動作制御を実施しても良い。この場合、提示情報制御手段３２は、予め定義されたｎ個の顔画像サイズに関する閾値Ｚ（０），…，Ｚ（ｎ−１）を保持する。また、顔画像サイズＦｗ*Ｆｈが、Ｆｗ*Ｆｈ＜Ｚ（０）である場合、および、Ｚ（ｋ−１）≦Ｆｗ*Ｆｈ＜Ｚ（ｋ）、（ただし、ｋ＝１，２，…，ｎ−１）である場合、および、Ｚ（ｎ−１）≦Ｆｗ*Ｆｈである場合に対応するｎ＋１個のアニメーション仕様Ａｎ（ｎ＝０，１，…，ｎ）を保持する。

処理の内容は、前記文字表示仕様の代わりに、下記の表３に例を示すように、アニメーション仕様を用い、テキスト表示の代わりにアニメーションの制御をする点を除いて、実施形態１で説明した手順と同様である。

これにより、例えば、顔領域サイズＦｗ*Ｆｈが大きくなるにつれて、徐々にアニメーションの動作速度が遅くするような制御が実現できる。

なお、提示情報制御手段３２は、複数の文字表示仕様Ｄｎ（ｎ＝０，１，…，ｎ）とアニメーション仕様Ａｎ（ｎ＝０，１，…，ｎ）を同時に管理し、実施形態１，２で説明したテキスト表示制御とアニメーション制御を同時に行うよう実装してもよい。

（実施形態３）顔領域サイズ変動に基づく制御
提示情報制御手段３２は、予め顔領域サイズ変動に関する閾値Ｖを設定しておく。顔検出手段３１より逐次受信される顔領域位置形状情報[（Ｆｘ（ｉ），Ｆｙ（ｉ），Ｆｗ（ｉ），Ｆｈ（ｉ）]をメモリー３４に保持する。顔領域位置形状情報が受信される度に、顔領域サイズ変動値、
（（Ｆｗ（ｉ）*Ｆｈ（ｉ））／（Ｆｗ（ｉ−１）*Ｆｈ（ｉ−１）））
を算出する。

顔領域サイズ変動値は、最近に検出された顔領域サイズＦｗ（ｉ）*Ｆｈ（ｉ）の一つ前に検出された顔領域サイズＦｗ（ｉ−１）*Ｆｈ（ｉ−１）に対する比率である。１より大きいならば、顔領域サイズは大きくなっている。１未満ならば顔領域サイズは、小さくなっている。

顔領域サイズの変動から、ユーザの移動方向が推定できる。すなわち、顔領域サイズが大きくなっている場合、ユーザは環境的情報提示装置に近づいてきていると判断できる。顔領域サイズ変動に関する閾値Ｖは、ユーザの移動が意図的なものかどうかを判断するための一つの指標として用いる。顔領域サイズ変動値が１以上のある程度大きい値をとるならば、ユーザは比較的早いスピードで環境的情報提示装置に近づいてきていると判断できる。すなわち、意図的に環境的情報提示装置に向かって移動していると判断される。

そこで、提示情報制御手段は、
（（Ｆｗ（ｉ）*Ｆｈ（ｉ））／（Ｆｗ（ｉ−１）*Ｆｈ（ｉ−１）））≧Ｖ
となる場合に、ユーザが提示情報に興味を持って近づいてきていると判断し、提示情報を拡大するなどの提示情報変更処理を行う。

なお、上記は本実施形態の一例である。提示情報制御手段３２は、１未満の閾値Ｖ’を設定し、
（（Ｆｗ（ｉ）*Ｆｈ（ｉ））／（Ｆｗ（ｉ−１）*Ｆｈ（ｉ−１）））＜Ｖ’
となる場合に、すなわち、ユーザが環境的情報提示装置から離れていく方向に移動している場合に、ユーザの興味を引くためのメッセージを提示するといった処理を行っても良い。

（実施形態４）鏡型環境的情報提示装置における顔領域位置に基づく制御
図６には、鏡型環境的情報提示装置の一つの構成例を示す。同図に示す構成例はディスプレイ１０Ａとしてビデオミラーを用いたものである。コンピュータ３０Ａは、イメージセンサ２０により撮像される映像を左右反転し、ディスプレイサイズに合うようサイズ変換した上、ディスプレイ１０Ａに提示する。こうすることにより仮想的に鏡としての機能を実現している。提示情報制御手段３２が提示するサムネイル画像などの情報は、イメージセンサ２０の映像に重畳して提示される。このために、本鏡型環境的情報提示装置は図１の環境的情報提示装置を構成する各手段に加えて画像左右反転手段３６と、画像重畳手段３７を備える。

鏡型環境的情報提示装置における情報提示では、ユーザが鏡に映る自身の姿を見る際に、提示情報が邪魔にならないことが求められる。そこで、提示情報制御手段３２は次のような処理を行う。

まず、顔検出手段３１から顔領域位置形状情報[（Ｆｘ，Ｆｙ），Ｆｗ，Ｆｈ]が受信されると、これに基づいて、ディスプレイ１０Ａの表示領域中の顔提示領域を算出する。例えば、イメージセンサ２０の撮像映像の解像度が、５００×４００であり、ディスプレイ表示領域の解像度が１０００×８００であるとする。この際、顔領域位置形状情報[（Ｆｘ，Ｆｙ），Ｆｗ，Ｆｈ]に対応するディスプレイ表示領域の顔提示領域は、右上隅座標が（Ｆｘ*２，Ｆｙ*２）で幅Ｆｗ*２，高さＦｈ*２の矩形領域となる。

顔提示領域に、画像などの情報が提示されてしまうと、ユーザは鏡に映る自身の顔を確認できなくなってしまう。そこで、提示情報制御手段３２は、顔提示領域には、情報を提示しないようにする。また、顔提示領域に既に情報が提示されていた場合、顔提示領域外にその情報の提示位置を移動する。

さらに、提示情報制御手段３２は、顔検出手段３１により検出された顔領域に基づいてディスプレイ表示領域中の胴体提示領域を推定し、顔提示領域並びに胴体提示領域以外の領域に情報を提示するように制御しても良い。この際の情報提示の一例を図７に示す。また、提示情報制御手段３２の処理内容の一例を以下に示す。

ディスプレイ１０Ａの表示領域の解像度がＷ×Ｈであるとする。また、提示情報制御手段３２が算出した顔提示領域がディスプレイ表示領域中の右上隅座標が（ｆｘ，ｆｙ）で幅ｆｗ、高さｆｈの矩形領域であったとする。胴体は顔領域の下部に位置する。また、顔領域より幅が広い領域である。

そこで、提示情報制御手段３２は、規定値Ｂ（（胴体提示領域の幅／顔提示領域の幅）を示す値）を用いて、胴体提示領域を右上隅座標が、（（ｆｘ＋（ｆｗ／２）−（ｆｗ*Ｂ／２）），ｆｙ＋ｆｈ），幅がｆｗ*Ｂ，高さがＨ−（ｆｙ＋ｆｈ）となる矩形領域であると推定する。

提示情報制御手段３２は、上述の手順で、算出された顔提示領域および胴体提示領域には、情報を提示しないようにする。また、顔提示領域または胴体提示領域に既に情報が提示されていた場合、顔提示領域外にその情報の提示位置を移動する。

図８には、鏡型環境的情報提示装置の別の構成例を示す。この鏡型環境的情報提示装置は、図１に示す環境的情報提示装置の基本的な構成において、ディスプレイ１０の表面にハーフミラー４０を貼り付けた構成となっている。

ユーザの視点から見て、鏡面のどこにユーザ自身の姿が映っているかを算出するのは技術的に極めて難しい。しかしながら、上述のビデオミラーを用いた鏡型環境的情報提示装置における提示情報制御手段３２の手順を、図８の構成においてもそのまま適用することによって、装置正面に位置するユーザに対しては、概ね、鏡上のユーザの姿に重畳しない領域に情報を提示することができる。すなわち、図８に示した鏡型環境的情報提示装置の提示情報制御手段３２においても、図６，図７を用いて説明した手順で提示情報の位置を制御することが可能である。

以上、本発明の環境的情報提示装置の実施形態について述べた。本発明の環境的情報提示方法は、上述の環境的情報提示装置における提示情報制御手段の各提示情報制御手順がこれに相当する。本発明の環境的情報提示方法は、図１、図６、図８を用いて説明した装置に限らず、イメージセンサと、ディスプレイ、コンピュータを具備するような装置であれば、いずれにも適用可能である。例えば、イメージセンサを具備する携帯端末に対して、顔検出手段３１、提示情報制御手段３２をソフトウェアなどにより具備させ、上述した手順により、端末とユーザの顔の距離に応じた情報提示を行うこともできる。

また、本発明の環境的情報提示方法の一部又は全部の処理機能をプログラムとして構成してコンピュータで実行可能にすることができる。

本発明の環境的情報提示装置の基本的な構成例を示す図。 イメージセンサの撮像映像と顔領域の例を示す図。 提示情報制御手段によるディスプレイへの情報提示例。 情報コンテンツのテキスト記述の一例。 提示情報制御手段によるディスプレイへのアニメーション提示例。 鏡型環境的情報提示装置の構成例。 鏡内への情報提示例。 鏡型環境的情報提示装置の別の構成例。

符号の説明

１０、１０Ａ ディスプレイ
２０ イメージセンサ
３０、３０Ａ コンピュータ
４０ ハーフミラー
３１ 顔検出手段
３２ 提示情報制御手段
３３ 画像出力手段
３４ メモリー
３５ 通信手段
３６ 画像左右反転手段
３７ 画像重畳手段

Claims (13)

1. ディスプレイと、イメージセンサと、顔検出手段および提示情報制御手段より構成され、
   前記イメージセンサは前記ディスプレイの正面領域を撮像する手段を有し、
   前記顔検出手段は前記イメージセンサの撮像映像中から人の顔領域を検出する手段を有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域の位置と形状に基づいて、前記ディスプレイに表示する提示情報を変更する手段を有する、
   ことを特徴とする環境的情報提示装置。
2. 請求項１に記載の環境的情報提示装置において、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが小さい場合に遠距離からの視聴に適した情報を提示する手段を有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが大きい場合に近距離からの視聴に適した情報を提示する手段を有する、
   ことを特徴とする環境的情報提示装置。
3. 請求項１または２に記載の環境的情報提示装置において、
   前記提示情報制御手段は、アニメーションを用いた情報提示を行う手段を有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが小さい場合に、早いスピードで動くアニメーションを用いる手段を有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが大きい場合に、遅いスピードで動くアニメーションを用いる、もしくは、アニメーション動作をとめる手段を有する、
   ことを特徴とする環境的情報提示装置。
4. 請求項１に記載の環境的情報提示装置において、
   前記提示情報制御手段は、前記顔検出手段の検出する顔領域の時系列的なサイズ変化を検出し、顔領域サイズに所定の変化が検出された場合に提示情報を変更する手段を有する、
   ことを特徴とする環境的情報提示装置。
5. 請求項１〜４のいずれか１項に記載の環境的情報提示装置において、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域から、前記ディスプレイの表示領域中の顔提示領域を算出し、該顔提示領域以外の表示領域に情報を提示する手段を有する、
   ことを特徴とする環境的情報提示装置。
6. 請求項５に記載の環境的情報提示装置において、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域から、前記ディスプレイの表示領域中の顔提示領域および胴体提示領域を算出し、該顔提示領域と胴体提示領域以外の表示領域に情報を提示する手段を有する、
   ことを特徴とする環境的情報提示装置。
7. ディスプレイと、イメージセンサと、顔検出手段および提示情報制御手段を備え、
   前記イメージセンサは前記ディスプレイの正面領域を撮像するステップを有し、
   前記顔検出手段は前記イメージセンサの撮像映像中から人の顔領域を検出するステップを有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域の位置と形状に基づいて、前記ディスプレイに表示する提示情報を変更するステップを有する、
   ことを特徴とする環境的情報提示方法。
8. 請求項７に記載の環境的情報提示方法において、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが小さい場合に遠距離からの視聴に適した情報を提示するステップを有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが大きい場合に近距離からの視聴に適した情報を提示するステップを有する、
   ことを特徴とする環境的情報提示方法。
9. 請求項７または８に記載の環境的情報提示方法において、
   前記提示情報制御手段は、アニメーションを用いた情報提示を行うステップを有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが小さい場合に、早いスピードで動くアニメーションを用いるステップを有し、
   前記提示情報制御手段は、前記顔検出手段の検出した顔領域のサイズが大きい場合に、遅いスピードで動くアニメーションを用いる、もしくは、アニメーション動作をとめるステップを有する、
   ことを特徴とする環境的情報提示方法。
10. 請求項７に記載の環境的情報提示方法において、
    前記提示情報制御手段は、前記顔検出手段の検出する顔領域の時系列的なサイズ変化を検出し、顔領域サイズに所定の変化が検出された場合に提示情報を変更するステップを有する、
    ことを特徴とする環境的情報提示方法。
11. 請求項７〜１０のいずれか１項に記載の環境的情報提示方法において、
    前記提示情報制御手段は、前記顔検出手段の検出した顔領域から、前記ディスプレイの表示領域中の顔提示領域を算出し、該顔提示領域以外の表示領域に情報を提示するステップを有する、
    ことを特徴とする環境的情報提示方法。
12. 請求項１１に記載の環境的情報提示方法において、
    前記提示情報制御手段は、前記顔検出手段の検出した顔領域から、前記ディスプレイの表示領域中の顔提示領域および胴体提示領域を算出し、該顔提示領域と胴体提示領域以外の表示領域に情報を提示するステップを有する、
    ことを特徴とする環境的情報提示方法。
13. 請求項７〜１２のいずれか１項に記載の環境的情報提示方法における各ステップを、コンピュータで実行可能に構成したことを特徴とするプログラム。
    

Images