JP2009151380A - 情報提示制御装置及び情報提示制御方法 - Google Patents

Abstract

【課題】ユーザにとってより直感的で分かりやすい操作を実現する。
【解決手段】情報提示媒体としてのユーザ４の手の平５に対しプロジェクタ２により映像データを投影させ、この映像データの投影中に、カメラ１の撮像データをもとに上記手の平５の変位を検出する。そして、この検出された手の平５の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に上記検出された手の平５の変位を上記投影中の映像データに反映させた映像データを生成し、この生成した映像データを上記投影中の映像データに代えて上記プロジェクタ２から上記手の平５に投影させるようにしたものである。
【選択図】 図２

Description

この発明は、映像を用いてユーザに情報を提示する情報提示制御装置及び情報提示制御方法に関する。

従来、情報を映像により提示する装置としては、テレビジョン受像機やパーソナル・コンピュータ、携帯電話機、ＰＤＡ（Personal Digital Assistant）が普及している。これらの装置は、一般に液晶ディスプレイ等の表示デバイスとキーボード等の入力デバイスを備え、表示デバイスに映像情報を表示すると共に、ユーザが入力デバイスを操作することにより上記表示された映像情報を任意に変化させるように構成されている。

しかしこのような従来の装置は、ユーザに映像情報を提示するために表示専用のデバイスを必要とする。また、提示された映像情報に変化を加えようとする場合には、表示デバイスに表示された操作メニュー等を頼りに入力デバイスを操作しなければならない。すなわち、入力デバイスを介した間接的な操作が必要となり、ユーザは入力デバイスの操作に習熟する必要がある。

一方、プロジェクタを使用することにより、表示専用のデバイスを用いずに映像情報を提示可能にしたシステムも提案されている（例えば、特許文献１又は非特許文献１を参照。）。この種のシステムによれば、液晶ディスプレイ等の表示専用のデバイスを用意することなく、ユーザの手の平や壁等を利用して映像情報を表示することが可能となり、またキーボードやマウス等の入力専用のデバイスを用いずに情報を入力することが可能となる。

特開２００６−２１５８６３号公報

R.Lopez-Gulliver, H.Tochigi, T.Sato and M.Suzuki, "SenseWeb: Collaborative Image Classification in a Multi-User Interaction Environment" In Proc of ACM Multimedia 2004 pp.456-459, New York, USA, October 10-16, 2004

ところが、プロジェクタを使用した上記従来のシステムでは、映像情報が提示された表示面に対しユーザが操作を加えても、この操作が表示されている映像情報に反映されない。このため、実物体に操作を加える場合のような、ユーザにとって直感的で分かりやすい操作を実現できない。また、複数のユーザが同時に操作することができない。
この発明は上記事情に着目してなされたもので、その目的とするところは、ユーザにとってより直感的で分かりやすい操作を実現できるようにした情報提示制御装置及び情報提示制御方法を提供することにある。

上記目的を達成するためにこの発明の一観点は、ユーザの身体の一部又はユーザが把持する物体を利用した擬似的な情報提示媒体に映像情報を投影するための投影ユニットと、少なくとも上記情報提示媒体を撮像する撮像ユニットにそれぞれ接続される情報提示制御装置にあって、上記情報提示媒体に対し上記投影ユニットから第１の映像情報を投影させ、この第１の映像情報の投影中に、上記撮像ユニットの撮像データをもとに上記ユーザ操作による上記情報提示媒体の変位を検出する。そして、この検出された情報提示媒体の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に上記検出された情報提示媒体の変位を上記投影中の第１の映像情報に反映させた第２の映像情報を生成し、この生成した第２の映像情報を上記第１の映像情報に代えて上記投影ユニットから上記情報提示媒体に投影させるように構成したものである。

したがってこの発明によれば、投影ユニットを用いて、ユーザの身体の一部又はユーザが把持する物体に映像情報が表示される。そして、この映像情報が表示された状態でユーザが情報提示媒体を操作すると、この操作による情報提示媒体の変位が検出され、この変位が予め設定された変位条件を満たすと、上記情報提示媒体の変位を上記投影中の第１の映像情報に反映させた第２の映像情報が生成され、この第２の映像情報が上記第１の映像情報に代えて上記情報提示媒体に投影される。このため、ユーザの手の平や紙、布等の身の回りの物を利用して映像情報を提示することが可能となり、かつこれらユーザの手の平や紙、布等をそのまま操作デバイスとして使用することが可能となる。この結果、液晶ディスプレイ等の表示専用のデバイスや、キーボードやマウス等の操作専用のデバイスを使用することなく、情報の提示及び当該提示情報を変化させるための操作を行うことが可能となる。また、情報提示媒体に対しユーザが操作を加えると、この操作が提示中の第１の映像情報に反映されて、この反映後の第２の映像情報が提示される。このため、実物体に操作を加える場合のような、ユーザにとって直感的で分かりやすい操作を実現できる。

この発明の一観点は、さらに以下のような各種機能を備えることも特徴とする。
第１の機能は、上記撮像ユニットの撮像データをもとに情報提示媒体の位置を検出する。そして、この検出された情報提示媒体の位置に応じて、上記投影ユニットによる上記第１及び第２の映像情報の投影位置を制御するものである。
このように構成すると、情報提示媒体をどこに配置してもその位置が自動的に検出されて映像情報が提示される。このため、情報提示媒体を予め決められた位置に配置しなくても情報を提示することができる。すなわち、ユーザはどこにいても情報の提示を受けることが可能となる。また、複数の情報提示媒体が存在する場合でも、これらの情報提示媒体の位置がそれぞれ検出されて情報提示が行われる。このため、複数のユーザに対し同時に情報を提示することが可能となる。

第２の機能は、上記第１の映像情報の投影に先立ち、上記撮像ユニットの撮像データをもとに上記情報提示媒体の種類を識別する。そして、情報操作コマンドを生成する際に、上記識別された情報提示媒体の種類に対応する変位条件を記憶手段から読み出し、上記検出された情報提示媒体の変位が上記読み出された変位条件を満たすか否かを判定する。この判定の結果、変位条件を満たすと判定された場合に、上記検出された情報提示媒体の変位を上記投影中の第１の映像情報に反映させた第２の映像情報を生成するものである。
このように構成すると、情報提示媒体の種類に応じて、それ専用の変位条件に基づいて情報提示媒体の変位が判定される。したがって、ユーザは複数種類の情報提示媒体を任意に選択して使用することが可能となり、かついずれも情報提示媒体を使用してもユーザの操作を正確に検出することが可能となる。

第３の機能は、上記撮像ユニットの撮像データをもとにユーザと情報提示媒体との相対位置を検出する。そして、この検出された相対位置に基づいて上前記情報提示媒体に対する上記第１及び第２の映像情報の表示向きを制御するものである。
このように構成すると、情報提示媒体に対するユーザの相対位置に応じて、例えばユーザに対する映像情報の向きが常に正対するように、見やすい状態に投影することが可能となる。

要するにこの発明によれば、情報提示媒体に対しユーザが操作を加えると、この操作が提示中の第１の映像情報に反映された第２の映像データが提示される。このため、実物体に操作を加える場合のようなユーザにとってより直感的で分かりやすい操作を、一人のユーザにはもとより複数のユーザに同時に提供できる情報提示制御装置及び情報提示制御方法を提供することができる。

以下、図面を参照してこの発明に係わる実施形態を説明する。
（第１の実施形態）
図１は、この発明の第１の実施形態に係わる情報提示制御装置を含む情報提示システムの概略構成図である。このシステムは、天井等のユーザ４の上方位置にカメラ１及びプロジェクタ２を設置し、これらのカメラ１及びプロジェクタ２を情報提示制御装置（以後単に制御装置と呼称する）３に接続したものとなっている。カメラ１は、下方に存在するユーザ４とその手の平５を含む所定の範囲を撮像し、その撮像信号を制御装置３へ出力する。プロジェクタ２は、制御装置３から出力される映像信号を光学像に変換し、この光学像を情報提示媒体としての上記ユーザの手の平５に投影する。

制御装置３は、例えばパーソナル・コンピュータからなり、以下のように構成される。図２はそのハードウエア及びソフトウエアの構成を示すブロック図である。すなわち、制御装置３は、中央処理ユニット（ＣＰＵ；Central Processing Unit）を備える。そしてこのＣＰＵ１１に、バス１２を介して、プログラムメモリ１３、データベース１４、カメラインタフェース（カメラＩ／Ｆ）１５、プロジェクタインタフェース（プロジェクタＩ／Ｆ）１６および入出力インタフェース（入出力Ｉ／Ｆ）１７を接続したものとなっている。

カメラＩ／Ｆ１５は、上記カメラ１から出力された撮像信号を受信し、ディジタル化された撮像データに変換してＣＰＵ１１へ出力する。プロジェクタＩ／Ｆ１６は、ＣＰＵ１１において生成された提示対象の映像データをアナログ映像信号に変換し、このアナログ映像信号を上記プロジェクタ２へ出力する。

入出力Ｉ／Ｆ１７には、入力デバイス１８及び表示デバイス１９が接続されている。これらの入力デバイス１８及び表示デバイス１９は、システムの保守管理を行うために使用される。例えば、入力デバイス１８はキーボード及びマウスからなり、ユーザ又はシステムオペレータが制御装置３に対し制御コマンド等を入力するために使用される。表示デバイス１９は例えば液晶表示器からなり、制御装置３の動作状態を表す情報等を表示するために使用される。

データベース１４には、映像データ記憶領域と、コマンド情報記憶領域が設けられている。映像データ記憶領域には、ユーザに提示すべき映像データと、ユーザ操作を反映した映像データが記憶される。コマンド情報記憶領域には、ユーザ４の手の平５に加えられると予想される複数種類の変位を認識するために使用する複数の変位条件と、これらの変位条件に対応付けて上記変位の種類に対応するコマンド情報が記憶されている。コマンド情報は、映像データに形状や大きさ、色等の変化を加えるための指示データを含んでいる。

プログラムメモリ１３には、この発明を実施するためのアプリケーション・プログラムとして、映像表示位置検出プログラム１３１と、変位検出プログラム１３２と、映像生成プログラム１３３と、映像提示制御プログラム１３４が格納されている。
映像表示位置検出プログラム１３１は、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して撮像データとして取り込み、この撮像データに対し例えばパターン認識処理を行うことでユーザ４の手の平５の位置を検出する。そして、この検出した手の平５の位置を表す情報を図示しない作業用メモリに保存させる処理を、上記ＣＰＵ１１に実行させる。

変位検出プログラム１３２は、ユーザ４の手の平５に映像データの光学像を投影している状態で、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して一定の周期で取り込み、この取り込んだ撮像データに含まれる手の平５の画像からその形状、大きさ、向き及び色のうちの少なくとも１つを検出する。そして、この検出した手の平５の形状、大きさ、向きまたは色を、上記データベース１４のコマンド情報記憶領域に記憶されている複数の変位条件と比較し、これらの変位条件の中に条件を満たすものがあるか否かを判定する。そして、条件を満たす変位条件がある場合に上記手の平５が変位したと判断する処理を、上記ＣＰＵ１１に実行させる。

映像提示制御プログラム１３４は、上記変位検出プログラム１３２により手の平５が変位したと判断された場合に、その変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出す。そして、このコマンド情報に従い後述する映像生成プログラム１３３により生成される再構成後の映像データを、それまで提示していた映像データに代えてユーザ４の手の平５に投影させるための処理を、上記ＣＰＵ１１に実行させる。

映像生成プログラム１３３は、上記映像提示制御プログラム１３４によりデータベース１４から読み出されたコマンド情報に従い、ユーザ４の手の平５に投影中の映像データに対し上記検出された手の平５の変位を反映させるための映像再構成処理を、上記ＣＰＵ１１に実行させる。

次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。なお、情報提示媒体の種類はユーザ４の手の平５とし、その形状、大きさ及び色を表す情報がデータベース１４に予め記憶されているものとして説明を行う。図３は制御装置３の制御手順と制御内容を示すフローチャートである。

（１）映像データの初期提示
制御装置１のＣＰＵ１１は、先ずステップＳ３１により映像表示位置検出プログラム１３１を起動して、情報提示対象であるユーザ４の手の平５の位置を検出する処理を以下のように実行する。

すなわち、先ずカメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して撮像データとして取り込み、この取り込んだ撮像データと、予めデータベース１４に記憶しておいたユーザ４が存在しないときの撮像データとの差分処理を行う。そして、その差分情報から、撮像データ内に存在するユーザ４の人体領域を検出する。このとき、ユーザ４の人体領域のサイズがしきい値を超えている場合には、当該人体領域に対し縮小処理を行う。なお、この縮小処理の結果、人体領域を分割できる場合には、複数のユーザ４の人体の重なり合いが起きていると認識し、その領域の数を撮像データ内に存在するユーザ４の人数として認識する。次にＣＰＵ１１は、上記検出された人体領域の重心点を検出し、さらに上記縮小処理前の人体領域について肌色抽出処理を行う。そして、この抽出された肌色領域の中から、手の平の大きさに当てはまる大きさの領域を抽出し、これを手の平候補領域とする。続いて、先に求めた人体領域の重心点に近い肌色領域を上記手の平候補領域から選択し、この選択した手の平候補領域を手の平５の領域と認識する。

次にＣＰＵ１１は、図示しない初期映像提示処理ステップにおいて、上記認識された手の平４の領域に映像データを投影中か否かを判定する。そして、まだ投影していなければ、データベース１４の映像データ記憶領域から提示対象の映像データを読み出し、この映像データを上記手の平４の領域の位置を表す座標情報と共にプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像データと、上記検出された手の平４の領域の位置を表す座標情報がプロジェクタ２に送られ、これによりプロジェクタ２によりユーザ４の手の平５上に上記映像データに対応する光学像が投影される。かくして、ユーザ４は自身の手の平５において映像情報を確認することができる。

なお、提示対象の映像データは、データベース１４に記憶されている複数の映像データの中から、ランダムまたは手の平５の領域のサイズに対応するものを少なくとも１つ選択すればよい。その他、図示しないウエブサイトから通信ネットワークを介して上記手の平のサイズに対応する映像データをダウンロードし、この映像データを投影させるようにしてもよい。また、複数の映像データを提示する場合には、これらの映像データをＣＰＵ１１において二次元平面上に並ぶように編集してプロジェクタ２に送ったり、複数の映像データを一定の時間間隔で順次プロジェクタ２に送信するようにすればよい。

（２）手の平の操作に応じた映像データの再構成
（２−１）手の平を傾けた場合
手の平５に映像データが投影された状態で、ユーザ４が自身の手の平５を傾けたとする。そうすると、ＣＰＵ１１は先に述べたようにステップＳ３１により上記手の平５の領域を検出した後、ステップＳ３２により変位検出プログラム１３２を起動して、上記検出された手の平５の領域の大きさ（サイズ）を検出する。そして、ステップＳ３３において、上記検出された手の平５のサイズを上記データベース１４のコマンド情報記憶領域に記憶されている変位条件と比較し、この変位条件を満たすか否かを判定する。そして、上記検出された手の平５のサイズが変位条件を満たした場合に、上記手の平５が変位したと判断する。

例えば、ＣＰＵ１１は検出された手の平５の領域からバインディングボックスのサイズを検出し、その長辺と短辺の長さを、コマンド情報記憶領域に傾斜検出用の変位条件として記憶されているしきい値と比較する。そして、上記長辺と短辺の長さのうちのいずれか一方がしきい値より小さくなった場合に、手の平５が傾けられたと判断する。

次にＣＰＵ１１は、ステップＳ３７により映像提示制御プログラム１３４を起動し、上記変位検出プログラム１３２により判断された変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出す。そして、該当するコマンド情報が読み出された場合には、ステップＳ３８からステップＳ３９に移行して映像生成プログラム１３３を起動し、上記読み出されたコマンド情報に従い、ユーザ４の手の平５に投影中の映像データに対し上記検出された手の平５の変位を反映させるための映像再構成処理を行う。例えば、手の平５が傾いた場合には、この傾いた方向に映像データの表示位置を移動させるべく映像データを再構成する。

そしてＣＰＵ１１は、ステップＳ３６により映像提示制御プログラム１３４を起動し、上記加工再構成された映像データをそれまで提示していた映像データに代えてユーザ４の手の平５に投影させるべく、プロジェクタＩ／Ｆ１６からプロジェクタ２へ送信させる。したがって、手の平５における映像データの投影位置は傾斜方向に移動する。

例えば、手の平５を図４（ａ）に示す状態から図４（ｂ）に示すように手前側に傾けた場合には、手の平５上における映像の表示位置は同図（ｂ）のＶ１ｂに示すようにユーザの手前方向へ移動する。また、手の平５を図４（ａ）に示す状態から図４（ｃ）に示すように左側に傾けた場合には、手の平５上における映像の表示位置は同図（ｃ）のＶ１ｃに示すようにユーザの左方向へ移動する。

（２−２）手の平を握った場合
手の平５に映像データが投影された状態で、ユーザ４が自身の手の平５を握ったとする。そうすると、ＣＰＵ１１は前記（２−１）の場合と同様に、ステップＳ３１で手の平５の領域を検出した後、ステップＳ３２によりそのサイズを検出し、この検出された手の平５のサイズをデータベース１４のコマンド情報記憶領域に記憶されている変位条件と比較して、この変位条件を満たすか否かを判定する。そして、この判定結果をもとに上記手の平５の変位の種類を判断する。

例えば、ＣＰＵ１１は検出された手の平５の領域の長辺と短辺の長さを、コマンド情報記憶領域に握り検出用の変位条件として記憶されているしきい値と比較する。そして、上記長辺と短辺の長さが両方ともしきい値より小さくなった場合に、手の平５が握られたと判断する。

次にＣＰＵ１１は、ステップＳ３７により、上記手の平５の変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出し、この読み出されたコマンド情報に従い、手の平５に投影中の映像データに対し上記検出された手の平５の変位を反映させるための映像再構成処理を行う。例えば、上記のように手の平５が握られた場合には、映像データの表示サイズを徐々に小さくするか、又は壊れたような状態を表現するべく映像データを再構成する。

そしてＣＰＵ１１は、上記加工再構成された映像データをそれまで提示していた映像データに代えてユーザ４の手の平５に投影させるべく、プロジェクタＩ／Ｆ１６からプロジェクタ２へ送信させる。したがって、手の平５には上記再構成された映像が投影される。例えば、手の平５を図５（ａ）に示す状態から図５（ｂ）に示すように握った場合、手の平５には同図（ａ）のＶ２ａに示すような通常サイズの映像に代わって、同図（ｂ）のＶ２ｂ１に示すようにサイズが徐々に小さくなるような映像が投影されるか、または同図（ｂ）のＶ２ｂ２に示すように破裂したような映像が投影される。

（２−３）左右の手の平を重ねる場合
左右の手の平５Ｌ，５Ｒにそれぞれ異なる映像データが投影された状態で、ユーザ４が自身の左右の手の平を近づけて重ねたとする。なお、上記左右の手の平５Ｌ，５Ｒに対する異なる映像の提示は、映像生成プログラム１３３により提示対象の２つの映像データをそれぞれ上記左右の手の平５Ｌ，５Ｒの領域の位置に対応付けて合成することにより１つの映像データを生成し、この合成された映像データをプロジェクタ２から上記左右の手の平５Ｌ，５Ｒに対し投影することにより行い得る。

ＣＰＵ１１は、前記（２−１）の場合と同様に、ステップＳ３１で左右の手の平５Ｌ，５Ｒの領域を検出した後、ステップＳ３２によりそのサイズを検出し、この検出された左右の手の平５Ｌ，５Ｒのサイズと手の平の数をデータベース１４のコマンド情報記憶領域に記憶されている変位条件と比較して、この変位条件を満たすか否かを判定する。そして、この判定結果をもとに上記手の平５の変位の種類を判断する。

例えば、ＣＰＵ１１は、左右の手の平５Ｌ，５Ｒのバインディングボックスのサイズを検出すると共に、手の平の数を検出する。そして、手の平５Ｌ，５Ｒのバインディングボックスのサイズが手の平１つ分のサイズより大きな値に設定したしきい値より大きくなり、かつ手の平の総数が減少すると、左右の手の平５Ｌ，５Ｒを重ね合わせたものと判断する。

次にＣＰＵ１１は、ステップＳ３７により、上記手の平５Ｌ，５Ｒの変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出し、この読み出されたコマンド情報に従い、手の平５Ｌ，５Ｒに投影中の映像データに対し上記検出された左右の手の平５Ｌ，５Ｒの変位を反映させるための映像再構成処理を行う。例えば、上記のように左右の手の平５Ｌ，５Ｒが互いに重ね合わされた場合には、それまで左右の手の平５Ｌ，５Ｒに提示していた２つの映像データを合成して１つの映像データに再構成する。

そしてＣＰＵ１１は、上記再構成された映像データをそれまで提示していた２つの映像データに代えて上記重ね合わされた手の平５Ｌ，５Ｒに投影させるべく、プロジェクタＩ／Ｆ１６からプロジェクタ２へ送信させる。したがって、上記重ね合わされた手の平５Ｌ，５Ｒには、上記合成された映像データが投影される。例えば、左右の手の平５Ｌ，５Ｒを図６（ａ）に示すように離れた状態から図６（ｂ）に示すように重ね合わせた場合、この重ね合わされた手の平５Ｌ，５Ｒには、同図（ａ）のＶ３Ｌ，Ｖ３Ｒに示すような別々に提示されていた映像に代わって、同図（ｂ）のＶ３ＬＲに示すように上記各映像を１つに合成した映像が投影される。

なお、以上述べた各場合（２−１），（２−２），（２−３）において、上記ステップ３３により手の平５の変位が検出されなかった場合や、ステップＳ３７により変位に対応するコマンド情報がデータベース１４に記憶されていなかった場合には、ＣＰＵ１１はステップＳ３４により変位情報がないと判断する。そして、ステップＳ３５により映像生成プログラム１３３を起動して、現在提示中の映像データと同一の映像データを再度生成し、この生成された映像データを引き続きプロジェクタ２から手の平５に投影させる。

以上述べたように第１の実施形態では、情報提示媒体としてのユーザ４の手の平５に対しプロジェクタ２により映像データを投影させ、この映像データの投影中に、カメラ１の撮像データをもとに上記手の平５の変位を検出する。そして、この検出された手の平５の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に上記検出された手の平５の変位を上記投影中の映像データに反映させた映像データを生成し、この生成した映像データを上記投影中の映像データに代えて上記プロジェクタ２から上記手の平５に投影させるようにしている。

したがって、ユーザ４の手の平５を利用して映像により情報を提示することが可能となり、しかもユーザ４の手の平５をそのまま操作デバイスとして使用することが可能となる。この結果、液晶ディスプレイ等の表示専用のデバイスや、キーボードやマウス等の操作専用のデバイスを使用することなく、情報の提示及び当該提示情報を変化させるための操作を行うことが可能となる。また、ユーザ４が自身の手の平５を傾けたり、握ったり、また重ね合わせるといった簡単な操作を行うだけで、これらの操作による手の平５の変位が提示中の映像データに反映され、この反映後の映像データがリアルタイムで提示される。このため、あたかも実物体を直接操作するかのような、ユーザにとって直感的で分かりやすい操作を実現できる。

また第１の実施形態では、上記カメラ１の撮像データをもとに手の平５の位置を検出し、この検出された手の平５の位置に応じてプロジェクタ２による映像データの投影位置を制御している。このため、プロジェクタ２の投影可能エリア内であれば、ユーザ４が手の平５をどこに置いてもその位置が自動的に検出されて映像データが投影される。このため、ユーザは手の平５を予め決められた投影位置に移動させて位置合わせしなくても、映像情報の提示を受けることができる。また、複数の手の平が存在する場合でも、これらの手の平５の位置がそれぞれ検出されて情報提示が行われる。このため、複数のユーザに対し同時に情報を提示することができる。

（第２の実施形態）
この発明の第２の実施形態は、ユーザ４の位置とその手の平５の位置との相対位置関係をもとに手の平５に対するユーザの視線方向を検出し、その検出結果に基づいて上記手の平５に対する映像データの投影向きを制御する機能をさらに備えたものである。

図７は、この第２の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。なお、同図において前記図２と同一部分には同一符号を付して詳しい説明は省略する。
制御装置３０のプログラムメモリ１３０には、この発明を実施するために必要なアプリケーション・プログラムとして、映像表示位置検出プログラム１３１と、変位検出プログラム１３２と、映像生成プログラム１３３に加え、視線方向検出プログラム１３５と、この視線方向検出プログラム１３５による検出結果を考慮して提示映像データを生成する映像生成プログラム１３６をさらに備えている。

視線方向検出プログラム１３５は、カメラ１の撮像データからユーザ４と手の平５との相対位置を検出し、この相対位置の検出結果をもとにユーザ４の位置から手の平５の位置に向かうベクトル方向を手の平５に対するユーザ４の視線方向として検出する処理を、ＣＰＵ１１に実行させる。

映像生成プログラム１３６は、上記視線方向検出プログラム１３５により検出された視線方向を表す情報に従い、映像データを手の平５に投影したときにその投影映像が常にユーザの方向に向くように提示対象の映像データを回転させる処理を、ＣＰＵ１１に実行させる。

次に、以上のような機能を備えた制御装置３０による映像データ提示動作を説明する。図８はその制御手順及び制御内容を示すフローチャートである。制御装置３０のＣＰＵ１１は、先ずステップＳ８１により映像表示位置検出プログラム１３１を起動して、カメラ１の撮像データからユーザ４の手の平５の位置を検出し、さらにステップＳ８２によりユーザの位置を検出する。続いて、ステップＳ８３により視線方向検出プログラム１３５を起動し、上記検出されたユーザの位置と手の平５の位置とをもとに手の平５に対するユーザ４の視線方向を検出する。

この視線方向の検出は以下のように行われる。すなわち、第１の実施形態の手の平５の位置を検出する過程Ｓ３１で述べたように、撮像データ中から人体領域及び手の平５の領域をそれぞれ検出して、この検出した人体領域の重心点及び手の平５の重心点をそれぞれ検出する。そして、上記検出された人体領域の重心点から上記検出された手の平５の重心点に向かう直線方向をユーザ４の視線方向として検出する。

次にＣＰＵ１１は、ステップＳ８４により映像生成プログラム１３６を起動し、上記視線方向検出プログラム１３５により検出された視線方向を表す情報に従い、映像データを手の平５に投影したときにその投影映像が常にユーザの方向に向くように提示対象の映像データを例えば回転させる。
例えば、ユーザ４が自身の手の平５を右方向から眺めたときには、手の平５に投影される映像も右方向から眺めたときの映像となるように映像データの向きを９０°回転し、一方ユーザ４が自身の手の平５を左方向から眺めたときには、手の平５に投影される映像も左方向から眺めたときの映像となるように映像データの向きを反対方向に９０°回転する。

そして、ＣＰＵ１１は、ステップＳ８５により映像提示制御プログラム１３４を起動して、上記映像生成プログラム１３６により表示向きが制御された映像データをプロジェクタＩ／Ｆ１６からプロジェクタ２に送り、プロジェクタ２からユーザ４の手の平５に対し投影させる。

したがって、手の平５に投影される映像は、例えば図９に示すようにユーザが手の平５を正面方向から見ているときには正面を向いた映像Ｖ４ａとなる。一方、ユーザが手の平５を右方向から眺めたときには左側面の映像Ｖ４Ｒとなり、反対にユーザが手の平５を左方向から眺めたときには右側面の映像Ｖ４Ｌとなる。
すなわち、手の平５に表示される映像が、あたかも３Ｄ映像であるかのように表示される。したがって、ユーザ４は提示された映像からそのオブジェクトの形状を立体的に把握することが可能となる。

なお、上記擬似的な３Ｄ映像を形成する手法としては、映像を回転処理する以外に以下のような手法を用いることもできる。すなわち、複数の視線方向に対応付けてその回転映像データを予めデータベース１４に記憶しておく。そして、検出された視線方向に対応する回転映像データを上記データベース１４から読み出し、この読み出した回転映像データをプロジェクタ２に送って手の平５に投影させる。このような手法を用いると、視線方向が変化するごとに映像データを回転させるための画像処理を行う必要がなくなるので、ＣＰＵ１１の負荷を軽減できるという利点がある。

（第３の実施形態）
この発明の第３の実施形態は、情報提示媒体として紙を使用してこの紙に映像データを投影させると共に、上記紙をユーザが手に持って任意に操作したときにその変位を検出して、この検出された紙の変位を上記提示されている映像データに反映させるようにしたものである。

図１０はこの発明の第３の実施形態に係わる情報提示制御装置を含む情報提示システムの概略構成図であり、前記図１と同一部分には同一符号を付してある。また、この実施形態に係わる情報提示制御装置の基本構成は、前記第１の実施形態で説明したものと同一であるため、ここでは前記図２を援用して説明を行う。

ユーザ４は、自身の手で情報提示媒体としての紙６を把持する。この紙６には二次元バーコード７が印刷されている。この二次元バーコード７は撮像データから紙６を検出するために使用される。なお、二次元バーコードの代わりに、一次元バーコードやその他の識別コードを使用することも可能である。

制御装置３のデータベース１４には、情報提示媒体としての紙６に加えられると予想される、折り畳みや握りつぶし、切断等の操作に応じた紙６の変位を認識するために使用する複数の変位条件と、これらの変位条件に対応付けて上記変位の種類に対応するコマンド情報が記憶されている。

映像表示位置検出プログラム１３１は、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して撮像データとして取り込み、この撮像データから二次元バーコード７を検出することで、ユーザ４が把持している紙６の位置を検出する。そして、この検出した紙６の位置を表す情報を図示しない作業用メモリに保存させる処理を、上記ＣＰＵ１１に実行させる。

変位検出プログラム１３２は、ユーザ４が把持する紙６に映像データの光学像を投影している状態で、カメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して一定の周期で取り込み、この取り込んだ撮像データに含まれる紙６の画像からその数とサイズを検出する。そして、この検出した紙６の数とサイズを上記データベース１４のコマンド情報記憶領域に記憶されている複数の変位条件と比較し、これらの変位条件の中に条件を満たすものがあるか否かを判定する。この判定の結果、条件を満たす変位条件がある場合に上記紙６が変位したと判断する処理を、上記ＣＰＵ１１に実行させる。

映像提示制御プログラム１３４は、上記変位検出プログラム１３２により紙６が変位したと判断された場合に、その変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出す。そして、このコマンド情報に従い後述する映像生成プログラム１３３により生成される再構成後の映像データを、それまで提示していた映像データに代えてユーザ４が把持する紙６に投影させるための処理を、上記ＣＰＵ１１に実行させる。

映像生成プログラム１３３は、上記映像提示制御プログラム１３４によりデータベース１４から読み出されたコマンド情報に従い、ユーザ４が把持する紙６に投影中の映像データに対し上記検出された紙６の変位を反映させるための映像再構成処理を、上記ＣＰＵ１１に実行させる。

次に、以上のように構成された情報提示システムの動作を、制御装置３の制御手順に従い説明する。図１１は制御装置３の制御手順と制御内容を示すフローチャートである。
（１）映像データの初期提示
制御装置１のＣＰＵ１１は、先ずステップＳ１１１により映像表示位置検出プログラム１３１を起動して、情報提示対象であるユーザ４が把持する紙６の位置を検出する処理を以下のように実行する。
すなわち、先ずカメラ１から出力された撮像信号をカメラＩ／Ｆ１５を介して撮像データとして取り込み、この取り込んだ撮像データから二次元バーコード７を検出する。そして、この二次元バーコード７の検出位置から紙６の領域を特定してそのサイズを保存する。なお、この二次元バーコード７を利用した紙６の位置の検出手法は、例えばMotoki Kobayashi, Hideki Koike, “Enhanced Desk: Integrated Paper Documents and Digital Documents” Proc. of APCHI 98 Japan July 15-17,1998の発表論文に詳しく記載されている。

次にＣＰＵ１１は、図示しない初期映像提示処理ステップにおいて、上記位置が検出された紙６に映像データを投影中か否かを判定する。そして、まだ投影していなければ、データベース１４の映像データ記憶領域から提示対象の映像データを読み出し、この映像データを上記紙６の位置を表す情報と共にプロジェクタＩ／Ｆ１６に送る。この結果、プロジェクタＩ／Ｆ１６から上記映像データと、上記検出された紙６の位置を表す情報がプロジェクタ２に送られ、これによりプロジェクタ２によりユーザ４が把持する紙６上に上記映像データに対応する光学像が投影される。かくして、ユーザ４は自身が把持する紙６において映像情報を確認することができる。

なお、提示対象の映像データは、データベース１４に記憶されている複数の映像データの中から、ランダムまたは紙６のサイズに対応するものを少なくとも１つ選択すればよい。その他、図示しないウエブサイトから通信ネットワークを介して上記紙６のサイズに対応する映像データをダウンロードし、この映像データを投影させるようにしてもよい。また、複数の映像データを提示する場合には、これらの映像データをＣＰＵ１１において二次元平面上に並ぶように編集してプロジェクタ２に転送したり、複数の映像データを一定の時間間隔で順次プロジェクタ２に送信するようにすればよい。

（２）手の平の操作に応じた映像データの再構成
（２−１）紙６を握りつぶした場合
映像データが投影された状態で、ユーザ４が紙６を握りつぶしたとする。そうすると、ＣＰＵ１１は、先に述べたようにステップＳ１１１により上記紙６の位置を検出した後、ステップＳ１１２により変位検出プログラム１３２を起動して、上記検出された紙６の領域のサイズ及び二次元バーコード７を検出する。そして、ステップＳ１１３において、上記検出された紙６のサイズ又は二次元バーコード７の検出結果を上記データベース１４のコマンド情報記憶領域に記憶されている変位条件と比較し、この変位条件を満たすか否かを判定する。そして、上記検出された紙６のサイズ又は二次元バーコード７の検出結果が変位条件を満たした場合に、上記紙６が変位したと判断する。
例えば、検出された紙６のサイズをしきい値と比較してしきい値より小さくなったことが検出されると、上記紙６は握りつぶされたと判断する。又は、二次元バーコード７が検出できない場合に、上記紙６は握りつぶされたと判断する。

次にＣＰＵ１１は、ステップＳ１１７により、上記紙６の変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出し、この読み出されたコマンド情報に従い、紙６に投影中の映像データに対し上記検出された紙６の変位を反映させるための映像再構成処理を行う。例えば、上記のように紙６が握りつぶされた場合には、映像データの表示サイズを徐々に小さくするか、又は壊れたような状態を表現するべく映像データを再構成する。

そしてＣＰＵ１１は、上記再構成された映像データをそれまで提示していた映像データに代えてユーザ４が把持している紙６に投影させるべく、プロジェクタＩ／Ｆ１６からプロジェクタ２へ送信させる。したがって、紙６には上記再構成された映像が投影される。例えば、紙６を図１２（ａ）に示す状態から図１２（ｂ）に示すように握りつぶした場合、紙６には同図（ａ）のＶ５ａに示すような通常サイズの映像に代わって、同図（ｂ）のＶ５ｂ１に示すようにサイズが徐々に小さくなるような映像が投影されるか、または同図（ｂ）のＶ５ｂ２に示すように破壊されたような映像が投影される。

（２−２）紙６を２つに切断した場合
映像データが投影された状態で、ユーザ４が１枚の紙６を２枚に切り離したとする。そうするとＣＰＵ１１は、ステップＳ１１１で紙６の数とその位置を検出する。続いて、ステップＳ１１２により検出された紙６のサイズを検出し、この検出された紙６Ｌ，６Ｒの検出数とそのサイズをデータベース１４のコマンド情報記憶領域に記憶されている変位条件と比較して、この変位条件を満たすか否かを判定する。そして、この判定結果をもとに上記紙６の変位の種類を判断する。例えば、検出された紙６Ｌ，６Ｒの数が２つで、かつこれらの紙６Ｌ，６Ｒのサイズがいずれもしきい値以下であれば、ＣＰＵ１１は紙６が２つの切り離されたと判断する。

次にＣＰＵ１１は、ステップＳ１１７により、上記紙６の変位の種類に対応するコマンド情報をデータベース１４のコマンド情報記憶領域から読み出し、この読み出されたコマンド情報に従い、紙６に投影中の映像データに対し上記検出された変位を反映させるための映像再構成処理を行う。例えば、上記のように１枚の紙６が２枚に切り離された場合には、それまで１枚の紙６に提示していた一つの映像データを分割した２つの映像データを生成するか、又は上記１枚の紙６に提示していた一つの映像データを２つ生成する。

そしてＣＰＵ１１は、上記生成された映像データをそれまで提示していた映像データに代えて上記切り離された２枚の紙６Ｌ，６Ｒにそれぞれ投影させるべく、プロジェクタＩ／Ｆ１６からプロジェクタ２へ転送させる。したがって、上記切り離された２枚の紙６Ｌ，６Ｒには、上記分割された２つの映像データか或いは同一の２つの映像データが投影される。例えば、図１３（ａ）に示す１枚の紙６を図１３（ｂ）に示すように２枚に切り離した場合、この切り離された紙の２枚の紙６Ｌ，６Ｒには、同図（ａ）のＶ６に示すような１つの映像に代わって、同図（ｂ）のＶ６Ｌ１，Ｖ６Ｒ１に示すように上記映像Ｖ６ａを２つに分割した映像が投影される。或いは、切り離された紙の２枚の紙６Ｌ，６Ｒに、上記映像Ｖ６ａの複写映像Ｖ６Ｌ２，Ｖ６Ｒ２がそれぞれ投影される。

なお、以上述べた各場合（２−１），（２−２）において、上記ステップ１１３により紙６の変位が検出されなかった場合や、ステップＳ１１７により変位に対応するコマンド情報がデータベース１４に記憶されていなかった場合には、ＣＰＵ１１はステップＳ１１４により変位情報がないと判断する。そして、ステップＳ１１５により映像生成プログラム１３３を起動して、現在提示中の映像データと同一の映像データを再度生成し、この生成された映像データを引き続きプロジェクタ２から紙６に投影させる。

以上述べたように第３の実施形態では、情報提示媒体として紙６を使用し、ユーザ４が把持する紙６の位置をカメラ１の撮像データから検出して、この検出した紙６にプロジェクタ２から映像データを投影させるようにしている。またそれと共に、ユーザ４が紙６を握りつぶしたり２つに切り離す等の操作を加えた場合に、この操作による紙６の変位を検出し、この変位を上記映像に反映させた映像を生成してこの映像を上記変位後の紙６にプロジェクタ２から投影させるようにしている。

したがって、身近にある紙６を利用して映像情報を提示することが可能となり、しかも当該紙６をそのまま操作デバイスとして使用することが可能となる。このため、液晶ディスプレイ等の表示専用のデバイスや、キーボードやマウス等の操作専用のデバイスを使用することなく、情報の提示及び当該提示情報を変化させるための操作を行うことが可能となる。また、ユーザ４が紙６を握りつぶしたり２つに切り離すといった簡単な操作を行うだけで、これらの操作による紙６の変位が提示中の映像データに反映され、この反映後の映像データがリアルタイムで上記変位後の紙６に提示される。このため、あたかも実物体を直接操作するかのような、ユーザにとって直感的で分かりやすい操作を実現できる。

また、上記カメラ１の撮像データをもとに紙６の位置を検出し、この検出された紙６の位置に応じてプロジェクタ２による映像データの投影位置を制御している。このため、プロジェクタ２の投影可能エリア内であれば、ユーザ４が紙６をどこに置いてもその位置が自動的に検出されて映像データが投影される。このため、ユーザは紙を予め決められた投影位置に移動させて位置合わせしなくても、映像情報の提示を受けることができる。また、複数の紙６，６，…を配置した場合でも、これらの紙６，６，…の位置がそれぞれ検出されて情報提示が行われる。このため、複数のユーザがそれぞれ把持する紙６，６，…に同時に情報を提示することができる。

（その他の実施形態）
前記各実施形態では、ユーザ４の手の平５または紙６を情報提示媒体として使用する場合を例にとって説明した。しかし、カメラ１の撮像データから情報提示媒体の種類を制御装置で自動識別し、情報提示媒体の種類に応じて異なる映像提示制御を行うようにしてもよい。上記情報提示媒体の種類の識別は、使用が想定される情報提示媒体の特徴データ及び認識アルゴリズムをデータベース１４に予め記憶しておき、ＣＰＵ１１が映像表示位置検出プログラム１３１を実行して情報提示媒体の位置を検出する際に、上記データベース１４に記憶された特徴データを参照することにより実現できる。
このようにすると、情報提示媒体の種類に応じて、それ専用の変位条件に基づいて情報提示媒体の変位が判定される。したがって、ユーザは複数種類の情報提示媒体を任意に選択して使用することが可能となり、かついずれも情報提示媒体を使用してもユーザの操作を正確に検出することが可能となる。

また、情報提示媒体としては手の平や紙以外に、布やビニールシート、プラスチックボードなどの柔軟物体を使用することができる。その他、制御装置の構成とその制御手順及び制御内容、情報提示媒体の種類等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できる。

要するにこの発明は、上記各実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、各実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

この発明の第１の実施形態に係わる情報提示制御装置を備えた情報提示システムの概略構成図である。 図１に示したシステムの情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図２に示した情報提示制御装置による制御手順と制御内容を示すフローチャートである。 図２に示した情報提示制御装置による情報提示動作の第１の例を示す図である。 図２に示した情報提示制御装置による情報提示動作の第２の例を示す図である。 図２に示した情報提示制御装置による情報提示動作の第３の例を示す図である。 この発明の第２の実施形態に係わる情報提示制御装置のハードウエア及びソフトウエアの構成を示すブロック図である。 図７に示した情報提示制御装置による制御手順と制御内容の要部を示すフローチャートである。 図７に示した情報提示制御装置による情報提示動作の第１の例を示す図である。 この発明の第３の実施形態に係わる情報提示制御装置を備えた情報提示システムの概略構成図である。 図１１に示した情報提示制御装置による制御手順と制御内容を示すフローチャートである。 図１１に示した情報提示制御装置による情報提示動作の第１の例を示す図である。 図１１に示した情報提示制御装置による情報提示動作の第２の例を示す図である。

符号の説明

１…カメラ、２…プロジェクタ、３…制御装置、４…ユーザ、５…手の平、６…紙、７…二次元バーコード、１１…ＣＰＵ、１２…バス、１３…プログラムメモリ、１４…データベース、１５…カメラＩ／Ｆ、１６…プロジェクタＩ／Ｆ、１７…入出力Ｉ／Ｆ、１８…入力デバイス、１９…表示デバイス、１３１…映像表示位置検出プログラム、１３２…変化検出プログラム、１３３…映像生成プログラム、１３４，１３６…映像提示制御プログラム、１３５…視線方向検出プログラム。

Claims (8)

1. ユーザの身体の一部又はユーザが把持する物体を利用した擬似的な情報提示媒体に映像情報を投影するための投影ユニットと、少なくとも前記情報提示媒体を撮像する撮像ユニットにそれぞれ接続される情報提示制御装置であって、
   前記情報提示媒体に対し前記投影ユニットにより第１の映像情報を投影させる手段と、
   前記第１の映像情報の投影中に、前記撮像ユニットの撮像データをもとに前記ユーザ操作による前記情報提示媒体の変位を検出する手段と、
   前記検出された情報提示媒体の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に前記検出された情報提示媒体の変位を前記投影中の第１の映像情報に反映させた第２の映像情報を生成する手段と、
   前記生成された第２の映像情報を前記第１の映像情報に代えて前記投影ユニットにより前記情報提示媒体に投影させる手段と
   を具備することを特徴とする情報提示制御装置。
2. 前記撮像ユニットの撮像データをもとに情報提示媒体の位置を検出する手段と、
   前記検出された情報提示媒体の位置に応じて、前記投影ユニットによる前記第１及び第２の映像情報の投影位置を制御する手段と
   を、さらに具備することを特徴とする請求項１記載の情報提示制御装置。
3. 前記第１の映像情報の投影に先立ち、前記撮像ユニットの撮像データをもとに前記情報提示媒体の種類を識別する識別手段を、さらに具備し、
   前記第２の映像情報を生成する手段は、
   前記情報提示媒体の種類に応じて予め設定された変位条件を記憶した記憶手段と、
   前記識別手段により識別された情報提示媒体の種類に対応する変位条件を前記記憶手段から読み出す手段と、
   前記検出された情報提示媒体の変位が、前記記憶手段から読み出された変位条件を満たすか否かを判定する手段と、
   前記変位条件を満たすと判定された場合に、前記検出された情報提示媒体の変位を前記投影中の第１の映像情報に反映させた第２の映像情報を生成する手段と
   を備えることを特徴とする請求項１又は２記載の情報提示制御装置。
4. 前記撮像ユニットの撮像データをもとに、前記ユーザと前記情報提示媒体との相対位置を検出する手段と、
   前記検出された相対位置に基づいて、前記情報提示媒体に対する前記第１及び第２の映像情報の表示向きを制御する手段と
   を、さらに具備することを特徴とする請求項１乃至３のいずれかに記載の情報提示制御装置。
5. ユーザの身体の一部又はユーザが把持する物体を利用した擬似的な情報提示媒体に映像情報を投影するための投影ユニットと、少なくとも前記情報提示媒体を撮像する撮像ユニットにそれぞれ接続される情報提示制御装置に用いられる情報提示制御方法であって、
   前記情報提示媒体に対し前記投影ユニットから第１の映像情報を投影させる過程と、
   前記第１の映像情報の投影中に、前記撮像ユニットの撮像データをもとに前記ユーザ操作による前記情報提示媒体の変位を検出する過程と、
   前記検出された情報提示媒体の変位が予め設定した変位条件を満たすか否かを判定し、変位条件を満たすと判定された場合に前記検出された情報提示媒体の変位を前記投影中の第１の映像情報に反映させた第２の映像情報を生成する過程と、
   前記生成された第２の映像情報を、前記第１の映像情報に代えて前記投影ユニットから前記情報提示媒体に投影させる過程と
   を具備することを特徴とする情報提示制御方法。
6. 前記撮像ユニットの撮像データをもとに情報提示媒体の位置を検出する過程と、
   前記検出された情報提示媒体の位置に応じて、前記投影ユニットによる前記第１及び第２の映像情報の投影位置を制御する過程と
   を、さらに具備することを特徴とする請求項５記載の情報提示制御方法。
7. 前記第１の映像情報の投影に先立ち、前記撮像ユニットの撮像データをもとに前記情報提示媒体の種類を識別する過程を、さらに具備し、
   前記第２の映像情報を生成する過程は、
   前記識別する過程により識別された情報提示媒体の種類に対応する変位条件を記憶手段から読み出す過程と、
   前記検出された情報提示媒体の変位が、前記記憶手段から読み出された変位条件を満たすか否かを判定する過程と、
   前記変位条件を満たすと判定された場合に、前記検出された情報提示媒体の変位を前記投影中の第１の映像情報に反映させた第２の映像情報を生成する過程と
   を備えることを特徴とする請求項５又は６記載の情報提示制御方法。
8. 前記撮像ユニットの撮像データをもとに、前記ユーザと前記情報提示媒体との相対位置を検出する過程と、
   前記検出された相対位置に基づいて、前記情報提示媒体に対する前記第１及び第２の映像情報の表示向きを制御する過程と
   を、さらに具備することを特徴とする請求項５乃至７のいずれかに記載の情報提示制御方法。

Images