JP2001216527A - マルチメディア情報空間入出力装置およびその方法、ならびにそのプログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】複数の利用者が同時に入ることが可能な空間
に、複数の利用者の位置や動き、動作を指示入力できる
マルチメディア情報空間入出力装置を実現する。 【解決手段】情報空間に存在する複数の利用者の状態を
検出する利用者状態検出手段１１と、検出された複数の
利用者の状態を指示命令に変換する指示命令変換手段１
２と、変換された指示命令を処理する空間管理手段１３
と、マルチメディア情報空間に情報を出力する空間出力
手段１４とを設ける。また、利用者の指示対象となる特
定の領域を管理し、その領域が選択された際の処理を管
理する指示対象管理手段２３と、指示命令変換手段によ
り変換された指示命令を統合する指示命令統合手段３３
とを追加することもできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人間の存在位置や
動きやジェスチャを検出して、その情報の変化に応じて
画面に表示すべき映像を随時変更したり、出力する音声
を随時変更したりするマルチメディア情報空間入出力装
置およびインタラクティブ映像情報提供プログラムに関
し、特に、ドームや立方体建造物内の壁に大きな多面の
映像を表示して、映像表示画面に取り囲まれた空間内部
に利用者を配置し、利用者の存在位置や動きやジェスチ
ャに応じて表示映像を変更する景観シミュレータプログ
ラムやウォークスルー映像提供装置およびその方法、な
らびにそのプログラムを記録した記録媒体に関する。

【０００２】

【従来の技術】従来、このようなマルチメディア情報空
間入出力装置または方法に関する技術としては、下記４
つがある。 （技術１）例えば、電子情報通信学会技術報告ＭＶＥ９
８−４４「３次元インタフェース」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
並んだ大きな３つ画面に景観映像を表示して、その映像
表示画面の正面に利用者が立ってその映像を見たり、音
楽を聞いたりすることが可能な仮想空間を提供する環境
において、利用者の立つ位置に応じて仮想空間を表現す
るビデオ映像やコンピュータグラフィックス映像を随時
変更したり音声ガイダンス出力を変更することにより、
より実世界に近い直感的なマンマシンインタフェースを
実現することを可能にする。

【０００３】（技術２）例えば、ヒューマンインタフェ
ース学会研究会報告集Ｖｏｌ．１，ＮＯ．２「手振りを
インタフェースとした仮想空間の移動」には、従来のウ
ォークスルー映像提供装置の技術が示されている。これ
は、大きな画面に映像を表示し、その映像表示画面の正
面に利用者が立ってその映像を見ることが可能な仮想空
間を提供する環境において、利用者が歩行を模倣して腕
を振り、その腕を振る周期から模倣している歩行速度を
導出し、その歩行速度に応じて仮想空間を表現するコン
ピュータグラフィックス映像を随時変更することによ
り、より実世界に近い直感的なマンマシンインタフェー
スを実現することを可能にしている。

【０００４】（技術３）例えば、特開平１０−３０４３
３９号公報に記載の「乗物映像提供システム及び仮想乗
物旅行システム」には、従来の景観シミュレータ装置の
技術が示されている。これは、遠隔地に存在する乗物か
ら見た景観の現在もしくは過去に撮影された映像を表示
することが可能な乗物映像を提供する環境において、利
用者が見たいと希望する乗物映像を利用者が入力する位
置および日時の情報に応じて適切に選択し、選択した映
像を利用者に提供することにより、仮想乗物旅行システ
ムを実現することを可能にする。

【０００５】（技術４）例ば、特開平１０−２１４０６
９号公報に記載の「映像統合装置」には、従来のウォー
クスルー映像提供装置の技術が示されている。これは、
ビデオ映像もしくはコンピュータグラフィックス映像を
画面に表示することにより仮想空間を提供する環境にお
いて、利用者の要望に応じてビデオ映像を用いた仮想空
間の表現とコンピュータグラフィックス映像を用いた仮
想空間の表現を随時切り替えて利用者に提供し、なおか
つ、その切り替えを行う際に、仮想空間上での存在位置
および視野について利用者に違和感を感じさせないよう
に切り替えを行うことにより、より実世界に近い臨場感
を実現することを可能にする。

【０００６】

【発明が解決しようとする課題】前述の技術１および技
術２のウォークスルー映像技術は、利用者の動作に応じ
て仮想空間を表現する映像情報や音情報であるマルチメ
ディア情報の出力制御を随時行うことにより、利用者の
直感的なマンマシンインタフェースを実現しているが、
複数の利用者の動作により同時にマルチメディア情報の
出力制御を行うことはできず、また仮想空間の概観を示
す情報を利用者が見て、その利用者が仮想空間内で現在
どの位置に存在して、どの方向を正面として移動してい
るかを認知することができず、さらに、利用者がその概
観を示す情報を入力インタフェースとして仮想空間内の
任意位置および任意方向での仮想空間を表現する別のマ
ルチメディア情報を選択し、その情報に切り替えて仮想
空間を表現する出力を行うようなことはできない。

【０００７】また、前述の技術３の景観シミュレータ技
術は、景観シュミレーションを表現する複数の景観マル
チメディア情報が各々実世界でどの位置に存在するかを
表現する概観地図情報も同時に利用者に表示し、また、
利用者がその概観地図情報を入力インタフェースとして
指示した位置情報および時間情報より出力すべき景観マ
ルチメディア情報を適切に選択して、その景観マルチメ
ディア情報に切り替えて提供することにより、仮想乗物
旅行システムを実現しているが、複数の利用者により同
時に概観地図情報を入力インタフェースとして景観マル
チメディア情報を切り替えることができず、また、利用
者の存在位置や動きに応じて景観マルチメディア情報の
出力制御を随時行うということはできない。

【０００８】また、前述の技術４のウォークスルー映像
提供技術は、ビデオ映像を用いた仮想空間の表現とコン
ピュータグラフィックス映像を用いた仮想空間の表現を
利用者の要求により随時切り替えて提供し、その切り替
えをする際に、利用者が仮想空間上での存在位置および
視野について違和感を感じさせないように切り替えを
し、また、仮想空間の概観地図情報も同時に利用者に表
示し、さらに、利用者がその概観地図情報を入力インタ
フェースとして指示した位置情報および方向情報より出
力すべきマルチメディア情報を適切に選択して、そのマ
ルチメディア情報に切り替えて提供することにより、実
世界に近い臨場表現を実現しているが、複数の利用者に
より同時に概観地図情報を入力インタフェースとしてマ
ルチメディア情報を切り替えることができず、また、利
用者の存在位置や動きに応じてマルチメディア情報の出
力制御を随時行う、ということはできない。このよう
に、従来の技術においては、各々で実現されていない機
能が存在するため、利用者にとって不満足なウォークス
ルー映像提供技術や景観シミュレータ技術となってい
る、という問題があった。

【０００９】そこで、本発明の目的は、これら従来の問
題を解決し、複数の利用者が同時に入ることが可能な空
間において、その空間に出力されているマルチメディア
情報に対応した複数の利用者の位置や動き、動作を指示
入力として用いることを可能にすることにより、複数の
利用者の協調や競争、連携を反映した入力を可能とする
マルチメディア情報空間入出力装置およびその方法、な
らびにそのプログラムを記録した記録媒体を提供するこ
とにある。

【００１０】

【課題を解決するための手段】上記目的を達成するた
め、本発明のマルチメディア情報空間入出力装置では、 大きな複数の画面に映像または静止画等マルチメディ
ア情報を提示し、その映像表示画面に取り囲まれた空間
内部で、利用者が映像あるいは音楽を視聴することが可
能なマルチメディア情報空間において、マルチメディア
情報空間に存在する利用者の状態を検出する利用者状態
検出手段と、前記利用者情報検出手段により検出された
複数の利用者情報をマルチメディア情報空間における指
示命令に変換する指示命令変換手段と、マルチメディア
情報空間に出力すべき情報を管理する空間管理手段と、
マルチメディア情報空間にマルチメディア情報を出力す
る空間出力手段とを具備することを特徴としている。こ
れにより、大きな複数の画面に提示したマルチメディア
情報に対して、空間内部に存在する複数の利用者の位置
あるいは動きあるいは動作等を入力として取得し、複数
の利用者からの入力を統合して条項に応じた指示命令に
変換し、指示命令に応じてマルチメディア情報を空間に
出力することが可能になる。

【００１１】また、大きな複数の画面に映像あるいは
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、マルチメディア情
報内の利用者の指示対象となる特定の領域を管理し、そ
の領域が選択された際の処理を管理する指示対象管理手
段と、前記指示命令変換手段により変換された指示命令
を処理する空間管理手段と、マルチメディア情報空間に
マルチメディア情報を出力する空間出力手段とを具備す
ることも特徴としている。これにより、予め複数のマル
チメディア情報に対して、マルチメディア情報の特定の
領域に、その特定の領域が選択された際の処理を関連付
けておき、マルチメディア情報が空間に出力されている
際に、複数の利用者からの入力を統合してマルチメディ
ア情報中の特定の領域が選択されているか否かを判断
し、選択された領域に応じた処理を状況に応じて行い、
マルチメディア情報を空間に出力することが可能にな
る。

【００１２】また、大きな複数の画面に映像あるいは
静止画等マルチメディア情報を提示し、その映像表示画
面に取り囲まれた空間内部で、利用者が映像あるいは音
楽を視聴することが可能なマルチメディア情報空間にお
いて、マルチメディア情報空間に存在する複数の利用者
の状態を検出する利用者状態検出手段と、前記利用者状
態検出手段により検出された複数の利用者の状態を指示
命令に変換する指示命令変換手段と、前記指示命令変換
手段により変換された指示命令を統合する指示命令統合
手段と、マルチメディア情報内の利用者の指示対象とな
る特定の領域を管理し、その領域が選択された際の処理
を管理する指示対象管理手段と、マルチメディア情報空
間に出力するマルチメディア情報を管理する空間管理手
段と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段とを具備することも特徴としてい
る。これにより、利用者の状態より導出した複数の異な
る領域を指示する命令を、状況に応じて統合して処理す
るため、指示命令の組み合わせにより多様性のある指示
が可能になる。

【００１３】また、本発明のマルチメディア情報空間入
出力方法では、映像あるいは静止画等のマルチメディ
ア情報を提示した複数の画面に囲まれた空間内部で、利
用者が映像あるいは音楽を視聴するマルチメディア情報
空間に情報を入出力する方法において、予め前記マルチ
メディア情報空間に出力すべきマルチメディア情報を用
意し、該マルチメディア情報空間に映像が撮影されたな
らば、空間管理手段は、最初に出力すべき情報の再生位
置をもとに、マルチメディア情報と再生位置と表示位置
を空間出力手段に与え、該空間出力手段は、空間の指示
された表示位置にマルチメディア情報の再生位置を出力
し、利用者状態検出手段は、該マルチメディア情報空間
から各利用者の動作、形態、空間座標位置または移動距
離、動きベクトル等を連続的に取得し、かつ、利用者の
状態を利用者単位のデータ列に変換して、指示命令変換
手段に与え、該指示命令変換手段は、利用者状態を指示
命令変換ルールを参照して、状況に応じた指示命令に変
換し、空間管理手段に与え、該空間管理手段は、受取っ
た指示命令に応じて該マルチメディア情報空間に出力す
べきマルチメディア情報を更新し、該マルチメディア情
報を空間出力手段に与え、該空間出力手段は、指示を受
取り、指定されたスクリーンに指定されたマルチメディ
ア情報の指定されたフレームを該マルチメディア情報空
間に出力することを特徴としている。

【００１４】また、前記空間管理手段は、複数のマル
チメディア情報、指示対象となるアンカー領域名、およ
び対応する指示命令が用意されたならば、最初に出力す
べき情報の再生位置をもとに、マルチメディア情報と再
生位置と表示位置を空間出力手段に与え、指示対象管理
手段は、予め用意された、および該空間管理手段が管理
するアンカー情報を指示命令変換手段に与え、該指示命
令管理手段は、利用者状態と前記アンカー情報を指示命
令変換ルールを参照して、状態に応じた指示命令に変換
して、該空間管理手段に与えることも特徴としている。 また、前記空間管理手段は、特定スクリーンに質問文
と回答選択肢のボタン画像のデータを空間出力手段に与
え、該空間出力手段は、指定されたスクリーンに指定さ
れた質問文とボタン絵の画像を出力し、指示命令統合手
段は、指示命令変換手段より複数の指示命令を受けたと
き、予め用意した複数の指示命令統合ルールを参照し
て、状況に応じて統合した指示命令に変換し、該空間管
理手段に与えることも特徴としている。さらに、本発明
のプログラム記録媒体は、前記，，に記載した
マルチメディア情報空間入出力方法の各ステップをプロ
グラムに変換し、変換されたプログラムを記録したこと
を特徴としている。

【００１５】

【発明の実施の形態】以下、本発明の実施例を、図面に
より詳細に説明する。 （第１の実施例）図１は、本発明の第１の実施例を示す
マルチメディア情報空間のイメージ図である。マルチメ
ディア情報空間１８は、複数の利用者が中に入れるよう
に、例えば一辺がＮメートルの正方形のスクリーンを床
面および前後左右面に組み合わせ、各スクリーンにコン
ピュータから出力される画像をプロジェクターで投影で
きるようにする。ここで、１６は左面のスクリーンと後
面のスクリーンとで家の模形の映像が、１７は右面のス
クリーンと後面のスクリーンとでやはり家の模形の映像
がそれぞれ映されている。前面のスクリーンは省略され
ている。

【００１６】図２は、本発明の第１の実施例を示すマル
チメディア情報空間入出力装置のブロック構成図であ
る。図２に示すマルチメディア情報空間入出力装置は、
マルチメディア情報空間１９に存在する複数の利用者の
状態を検出する利用者状態検出手段１１と、前記利用者
状態検出手段１１により検出された複数の利用者の状態
を指示命令に変換する指示命令変換手段１２と、指示命
令変換手段１２により変換された指示命令を処理する空
間管理手段１３と、マルチメディア情報空間にマルチメ
ディア情報を出力する空間出力手段１４とから構成され
ている。このような構成のマルチメディア情報空間入出
力装置の作用について、詳述する。予め、マルチメディ
ア情報空間に出力すべきマルチメディア情報を用意し、
例えば、ファイルとして蓄積しておく。出力すべきマル
チメディア情報としては、例えば街路を等速かつ直線的
に移動しながら前方や左右後方等の複数の方向を同時に
撮影した映像等が考えられる。

【００１７】図２０は、図２におけるマルチメディア情
報空間入出力装置の動作フローチャートである。空間管
理手段１３は、マルチメディア情報空間に出力すべきマ
ルチメディア情報を管理し、例えば街路を等速かつ直線
的に移動しながら前方や左右後方等、複数の方向を同時
に撮影した映像等をマルチメディア空間に出力する場合
に、マルチメディア情報空間のＹ軸を街路の前後方向、
正の方向を前、負の方向を後ろと仮定し、前後左右の方
向を撮影した映像とスクリーンを対応付けして管理する
（ステップ１０２）。空間管理手段１３は、例えば、予
め定義された利用者に対して最初に出力すべきマルチメ
ディア情報の再生位置等の情報をもとに、空間出力手段
１４に再生すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および表示位置を与える（ステ
ップ１０３）。

【００１８】空間出力手段１４は、前記空間管理手段１
３より受け取った情報をもとに、マルチメディア情報空
間の指定された表示位置に、指定されたマルチメディア
情報の指定された再生位置を出力する（ステップ１０
４）。利用者状態検出手段１１は、マルチメディア情報
空間内の利用者の動作、形状、空間座標位置または移動
距離、動きベクトル等を連続的に取得する（ステップ１
０５）。利用者状態検出手段１１は、利用者状態を利用
者単位のデータ列に変換し、指示命令変換手段１２に与
える（ステップ１０６）。指示命令変換手段１２は、利
用者状態を指示命令変換ルールを参照して、状況に応じ
た指示命令に変換し、空間管理手段１３に与える（ステ
ップ１０７）。空間管理手段１３は、受取った指示命令
に応じてマルチメディア情報空間に出力すべきマルチメ
ディア情報を更新し、空間出力手段１４に与える（ステ
ップ１０８）。空間出力手段１４は、空間管理手段１３
から指示を受取り、指定されたスクリーンに指定された
マルチメディア情報の指定されたフレームを出力する
（ステップ１０９）。ここで、連続して出力する場合に
は（ステップ１１０）、ステップ１０５にジャンプして
動作を続行し、ルールを参照して動作を切り替えながら
出力を続ける。また、終了指示があったならば（ステッ
プ１１０）、そこで動作終了となる。

【００１９】図３は、図２における利用者部分の形状を
表す例を示す図である。利用者状態検出手段１１は、例
えばマルチメディア情報空間上部に設置したビデオカメ
ラ２８より連続する各フレームの輝度値をもとに利用者
部分２７を認識し、各フレーム内における位置あるいは
過去のフレームにおける位置との位置関係あるいは形態
等をもとに、マルチメディア情報空間に存在する複数の
利用者２９の状態として、例えば動作、形状、空間座標
位置あるいは一定時間前の位置と比較した移動距離、動
きベクトル等を連続的に取得する。このとき、形状は、
例えば図３に示すように、利用者部分の重心座標３８お
よび最端点座標３０等の座標で表わされる。

【００２０】図４は、本発明において、利用者が指し示
している方向を取得する例の図である。利用者の視線方
向（太線）と、重心３８−最端点３０間ベクトル（破
線）に生じるずれを補正するため、この例では、重心３
８と最端点３０および重心３８と２番目に遠い端点３９
間のベクトルの成す角より利用者の向いている方向を推
測し、前記端点間の成す角が鋭角である側に、重心３８
−最端点３０間のベクトルを角度θ分補正したベクトル
を利用者が示す方向として用いている。図５は、マルチ
メディア情報空間上部に設置したビデオカメラより利用
者の位置を検出する例を示す図である。利用者状態検出
手段１１は、連続的に得た利用者状態を、例えば利用者
単位のデータ列に変換し、指示命令変換手段１２に与え
る。図５（ａ）は、情報に設置したカメラから見た映像
であり、（ｂ）は矩形の当てはめを行って矩形を利用者
位置とする例を示しており、（ｃ）は重心を利用者位置
とする例を示している。

【００２１】図６は、マルチメディア情報空間より得た
利用者状態をデータに変換する例を示す図である。デー
タ列は、例えばＣＳＶ形式であり、画像より得た利用者
の形状のうち最端点座標を腕の先と仮定し、重心座標お
よび最端点座標の長さより、腕が延びているか否かを検
出している。この例では、最端点の腕が延びている状態
を状態Ｓｎ＝１、延びていない状態をＳｎ＝０と表示し
ている。また、ベクトルＶおよび変量Ｎ、および加速度
Ａｎは、時刻Ｔｎ−２あるいはＴｎ−１時の利用者状態
を参照して求める。図６の場合、利用者４１に対しては
座標Ｕ２（ＰＸ２，ＰＹ２）と腕の先の座標（ＶＸ２，
ＶＹ２）が、利用者４２に対しては座標Ｕ３（ＰＸ３，
ＰＹ３）が、利用者４３に対しては座標Ｕ４（ＰＸ４，
ＰＹ４）および腕の先（ＶＸ４，ＶＹ４）が、利用者４
４に対しては、座標Ｕ１（ＰＸ１，ＰＹ１）および腕の
先（ＶＸ１，ＶＹ１）が、それぞれ求められている。

【００２２】図７は、本発明の第１の実施例を示す指示
命令変換に係わる構成図である。指示命令変換手段１２
は、利用者状態検出手段１１から受け取った、例えば利
用者単位のデータ列等利用者状態を、例えばスクリプト
等により用意された複数の指示命令変換ルール４６を参
照して、状況に応じた指示命令に変換し、空間管理手段
１４に与える。指示命令変換ルール４６は、予め、例え
ばインタプリタ言語のスクリプト等で記述される。スク
リプトには、例えば一定の時間間隔毎に利用者状態をも
とにマルチメディア情報空間で一番多く移動している利
用者のＹ軸方向の動き等を演算し、演算して得た結果を
反映させた、例えば「特定のスクリーンに特定の映像を
特定のフレームから利用者状態を演算し得た値フレーム
数再生する」等の指示命令に変換し、空間管理手段１４
に送信する等の内容が記述される。

【００２３】空間管理手段１３は、指示命令変換手段１
２より指示命令を受け取った際に、指示命令に応じてマ
ルチメディア情報空間に出力すべきマルチメディア情報
を更新する。例えば、指示命令変換手段１２よりＮフレ
ーム分マルチメディア情報の再生を進める等の指示命令
を受け取った場合には、空間管理手段１３は、マルチメ
ディア情報空間出力手段１４に再生すべきマルチメディ
ア情報名および再生フレーム位置および再生フレーム数
および出力スクリーン番号等を与え、現在管理している
再生フレーム位置と再生フレーム数を加減して、現在の
再生位置を更新する。マルチメディア情報空間出力手段
１４は、空間管理手段１３の指示を受け取り、指定され
たスクリーンに指定されたマルチメディア情報の例えば
指定されたフレーム等を出力する。

【００２４】第１の実施例の指示命令変換手段１２で
は、一例として一定の時間間隔毎に指示命令に変換する
指示命令変換ルール４６を示しているが、例えば利用者
の動きベクトルの分散が一定値以下の場合等、別の条件
であってもよい。また、同じように、最大の変量を示し
た利用者の動きベクトルおよび変量より指示命令を求め
ているが、前記指示命令は、例えば利用者全員あるいは
特定あるいは任意の複数の利用者の動きベクトルおよび
変量を平均したものであってもよく、また利用者全員あ
るいは特定あるいは任意の複数の利用者の動きベクトル
を平均したベクトルおよび最大の変量を示した利用者の
変量、あるいは最大の変量を示した利用者の動きベクト
ルおよび利用者全員あるいは特定あるいは任意の複数の
利用者の変量を平均した値等を用いて求めてもよい。こ
の際に、特定の利用者は、例えば変量等が一定値以上で
ある、あるいはマルチメディア情報空間上の特定の領域
に存在している、あるいは一定距離以内に他の利用者が
存在する等の条件で選別される。

【００２５】また、図７の指示命令変換ルール４６は、
他に例えば各利用者の状態より代表となる値を導き出
し、導き出した値あるいはその値をもとに、さらに演算
し得た値のフレーム数分、現在出力中のマルチメディア
情報の再生を進める、あるいは、各利用者の状態より代
表となる座標値を導き出し、その座標値あるいはその座
標値を写像あるいは移動等の変換を行って得た座標値を
マルチメディア情報空間における表示位置として、別に
定めたマルチメディア情報を出力する等が考えられる。
この場合、導き出した値をもとに、さらに演算して値を
求める例としては、例えば、代表となる変量を整数に変
換する、あるいは代表となる座標とマルチメディア空間
における床面の中心座標との距離を求める等が考えられ
る。

【００２６】図８は、各利用者の状態より代表となる値
を導く例を示す図である。同じように、指示命令変換ル
ール４６は、最大の変量を示した利用者の動きベクトル
および変量より代表値を導出しているが、例えば最小の
変量を示した利用者の動きベクトルであってもよく、最
大あるいは最小の加速度を示した利用者の動きベクトル
等であってもよく、利用者の形状の重心点と最端点の距
離が最大の利用者の重心点と最端点間の長さおよび重心
点を始点とし最端点を終点とするベクトル等であっても
よく、マルチメディア情報空間の例えば中央等、特定の
位置に一番近い位置にいる利用者の動きベクトル等であ
ってもよく、例えば前面スクリーン等マルチメディア情
報空間の特定の面から一番遠い地点にいる利用者の動き
ベクトル等であってもよく、例えば前面スクリーン等マ
ルチメディア情報空間の特定の面に近く、かつ動いてい
る利用者の動きベクトル等であってもよい。（ａ）は全
利用者の位置の重心位置および利用者を頂点とする多角
形の面積を算出して代表入力としており、（ｂ）は全利
用者の位置の重心位置を算出してベクトル平均により補
正して代表点としており、（ｃ）は動いている利用者の
位置だけを用いて重心位置を算出して代表点としてお
り、（ｄ）は動いている利用者の位置だけを用いて重心
位置を算出し、ベクトル平均により補正を行って代表点
としている。

【００２７】図９は、本発明において、代表となる利用
者を選択する例を示す図である。指示命令変換手段１２
は、前述のような複数の指示命令変換ルール４６を参照
し、例えば状況に応じてマルチメディア情報空間に出力
すべき情報の切り替え、あるいは切り替えに用いる利用
者の状態を切り替えながら指示命令への変換を行う。ま
た、本実施例の利用者状態検出手段１１において、利用
者の形状を求める際に、例としてマルチメディア情報空
間上部に設置したビデオカメラより得た映像を用いてい
るが、例えば側部等、他の角度より複数のビデオカメラ
から撮影した映像も合わせて解析することにより、利用
者部分の重心座標および最端点座標を３次元で取得し、
利用者が指し示す方向を３次元ベクトルで取得すること
が可能である。（ａ）は、最も大きく移動した利用者を
代表としており、（ｂ）は特定の位置に最も近い位置の
利用者を代表としており、（ｃ）は前面スクリーンから
最も遠い地点の利用者を代表としており、（ｄ）は前面
スクリーンから近く、かつ動いている利用者を代表とし
ている。以上の方法により、大きな複数の画面に提示し
たマルチメディア情報に対して、空間内部に存在する複
数の利用者の位置あるいは動きあるいは動作等を入力と
して取得し、複数の利用者からの入力を統合して状況に
応じた指示命令に変換し、マルチメディア情報を空間に
出力することが可能となる。

【００２８】（第２の実施例）図１０は、本発明の第２
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。第２の実施例では、利用者の指示対象
となる特定の点もしくは領域の指示命令を予め用意して
おくものである。図１０では、マルチメディア情報４７
として、壁面スクリーン４８、床面スクリーン４９が配
置されている上に、利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、アンカー領域
の領域名と、特定のスクリーンに特定のマルチメディア
情報を出力する等の指示命令を、複数関連付けた情報で
あるアンカー情報を各アンカー領域について用意してお
く。ここでは、矢印１０とその先に特定領域（斜線の円
領域）が示されている。

【００２９】図１１は、本発明の第２の実施例を示すマ
ルチメディア情報空間入出力装置のブロック構成図であ
る。マルチメディア情報空間入出力装置は、マルチメデ
ィア情報空間５１に存在する複数の利用者の状態を検出
する利用者状態検出手段２１と、利用者状態検出手段２
１により検出された複数の利用者の状態を指示命令に変
換する指示命令変換手段２２と、マルチメディア情報内
の利用者の指示対象となる特定の領域であるアンカー領
域を管理し、そのアンカー領域が選択された際の処理を
管理する指示対象管理手段２３と、指示命令変換手段２
２により変換された指示命令を処理する空間管理手段２
４と、マルチメディア情報空間にマルチメディア情報を
出力する空間出力手段２５とを具備している。

【００３０】図１１のように構成されたマルチメディア
情報空間入出力装置の作用について、さらに詳細に説明
する。予め複数のマルチメディア情報を用意し、さらに
各マルチメディア情報において、利用者の指示対象とな
る特定の点もしくは領域であるアンカー領域の座標と、
そのアンカー領域の領域名と、例えば特定のスクリーン
に特定のマルチメディア情報を出力する等の指示命令
を、複数関連付けた情報であるアンカー情報を各アンカ
ー領域について用意しておく。例えば、地図画像と、そ
の地図上のある地点から複数の方向を撮影した風景映像
等、地図上の地点と関連のあるマルチメディア情報を用
意して、地図画像の座標値あるいは建物等の領域の座標
値と、その座標値が選択された際に再生すべきマルチメ
ディア情報および再生位置を関連付けた情報を用意す
る。

【００３１】図２１は、図１１におけるマルチメディア
情報空間入出力装置の動作フローチャートである。複数
のマルチメディア情報、特定の領域であるアンカー領域
名、対応する指示命令等が用意できたとき（ステップ２
０１）、映像が撮影されたならば（ステップ２０２）、
空間管理手段２４は、最初に出力すべき情報の再生位置
をもとにマルチメディア情報と再生位置と表示位置を空
間出力手段２５に与える（ステップ２０３）。空間出力
手段２５、利用者状態検出手段２１の動作ステップ２０
４，２０５，２０６は、図２０のステップ１０４，１０
５，１０６と同じである。次に、指示対象管理手段２３
は、予め用意された、および空間管理手段２４の管理す
るアンカー情報を指示命令変換手段２２に与える（ステ
ップ２０７）。指示命令変換手段２２は、利用者状態と
アンカー情報を指示命令変換ルールを参照して、状況に
応じて指示命令に変換し、これを空間管理手段２４に与
える（ステップ２０８）。次の空間管理手段２４および
空間出力手段２５の動作ステップ２０９，２１０は、図
２０のステップ１０８と１０９に同じである。そこで、
連続して出力する場合には（ステップ２１１）、ステッ
プ２０５にジャンプして動作を続行し、ルールを参照し
て動作を切り替えながら出力を続ける。また、終了指示
が出されていれば、その時点で動作を終了する。

【００３２】空間管理手段２４は、マルチメディア情報
空間に出力すべきマルチメディア情報とマルチメディア
情報空間の出力面を対応付けて管理する。例えば、床面
スクリーンに地図画像を選択の対象として出力する場
合、マルチメディア情報空間のＹ軸を地図の南北方向、
正の方向を北、負の方向を南と定義することにより、地
図画像の座標と床面の座標を対応付ける。空間管理手段
２４は、例えば予め利用者に対して最初に出力すべきマ
ルチメディア情報およびそのマルチメディア情報の再生
位置等の情報が定義されていた場合には、空間出力手段
２５に出力すべきマルチメディア情報およびそのマルチ
メディア情報の再生位置および出力位置を与え、マルチ
メディア情報の出力を管理する。空間出力手段２５は、
空間管理手段２４のデータを受け取り、指定された位置
に指定されたマルチメディア情報を出力する。

【００３３】指示対象管理手段２３は、予め用意したア
ンカー情報、および空間管理手段２４の管理する、例え
ば現在出力中のマルチメディア情報名および出力中のマ
ルチメディア情報が動画像であった場合には、そのマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段２２にこれを与える。指示命令変換手段
２２は、利用者状態検出手段２１の検出した複数の利用
者の状態および指示対象管理手段２３の取得した現在マ
ルチメディア情報空間において、利用者に提示されてい
るマルチメディア情報中のアンカーに関する情報を取得
し、予め用意した複数の指示命令変換ルールを参照し
て、状況に応じた指示命令に変換し、その指示命令を空
間管理手段２４に与える。

【００３４】図１２は、本発明の第２の実施例を示す指
示命令変換に関する構成図である。指示命令変換ルール
５４は、例えばインタプリタ言語のスクリプト等で記述
される。指示命令変換ルール５４には、例えば各利用者
の座標を頂点とする多角形の重心座標Ｇおよび面積Ｓを
演算し、面積Ｓが一定値以下であれば、重心座標Ｇをも
とにアンカーに関する情報５５を検索し、一番近い位置
にあるアンカーと関連付けられた指示命令を空間管理手
段２４に送信する、あるいは一番最初に停止した利用者
の指し示している方向にあるアンカーと関連付けられた
指示命令を空間管理手段２４に送信する等の内容が定義
される。

【００３５】空間管理手段２４は、現在管理しているマ
ルチメディア情報空間の各スクリーンに出力しているマ
ルチメディア情報の出力スクリーンや出力位置、再生フ
レーム番号等の状態を管理する。また、指示命令変換手
段２２より指示命令を受け取った際に、指示命令に応じ
てマルチメディア情報空間に出力すべきマルチメディア
情報を更新する。例えば、指示命令変換手段２２より特
定スクリーンの特定位置に特定のマルチメディア情報の
再生を進める等の指示命令を受け取った場合、空間管理
手段２４は、マルチメディア情報空間出力手段２５に再
生すべきマルチメディア情報名および再生フレーム番号
および出力スクリーン番号および出力位置等を与え、現
在管理しているマルチメディア情報空間の各スクリーン
に出力しているマルチメディア情報の出力スクリーンや
出力位置、再生フレーム番号等の状態を更新する。マル
チメディア情報空間出力手段２５は、空間管理手段２４
の指示を受け取り、指定されたスクリーンに指定された
マルチメディア情報を出力する。

【００３６】本実施例の指示命令変換手段２２において
は、利用者全員の座標より重心座標と面積を求め、アン
カー領域を選択しているが、利用者全員ではなく、例え
ば特定の利用者あるいは任意の複数の利用者の座標の重
心点および面積を用いてもよい。この際に、特定の利用
者は、例えば変量等が一定値以上である、あるいはマル
チメディア情報空間上の特定の領域に存在している、あ
るいは一定距離以内に他の利用者が存在する等の条件で
選別される。また、本実施例の指示命令変換手段２２に
おいては、利用者全員の座標より求めた重心以外座標あ
るいは重心座標を他の値によって補正した座標であって
もよく、例えば重心座標の代りに重心座標より利用者全
員あるいは特定あるいは任意の利用者の動きベクトルを
加算した方向に利用者の変量分移動した座標を用いても
よく、あるいは利用者全員の座標ではなく、一定値以上
移動した利用者だけを用いた重心、あるいは一定値以上
移動した利用者だけを用いた重心を動きベクトル平均に
より補正した値等であってもよい。

【００３７】また、本実施例においては、マルチメディ
ア情報空間において選択の対象となる面として、床面を
例に挙げているが、選択の対象となる面は壁面等であっ
てもよい。この場合、代表となる座標値は、例えば選択
の対象となる面に写像あるいは移動した後に領域に内包
されているか否かの処理を行う。例えば、前面スクリー
ンに選択の対象となる地図を出力する場合、空間管理手
段２３はその面の上下軸を地図の南北方向、上の方向を
北、下の方向を南と仮定し、その面に出力している地図
等のマルチメディア情報の座標と、マルチメディア情報
空間の面の座標を対応付けして管理し、指示命令変換手
段２２は、例えば図６または図８に示すように、前述の
床面を例に説明した方法で求めた座標値をその面に写像
し導出した座標値を指示命令における座標値として用い
る。

【００３８】図１３は、座標値を壁面に写像して得た位
置を代表点とする例を示す図である。本実施例におい
て、指示命令変換手段２２は、代表となる座標値をもと
に選択の対象となる領域を求めているが、選択の対象と
なる面が壁面であった場合、代表となる利用者の重心点
と最端点を結ぶ直線方向等と選択の対象となる面との接
点を代表とする。なお、（ａ）は前面壁に最も近い利用
者の位置を用いており、（ｂ）は前面壁に最も近い動い
ている利用者の位置を用いている。あるいは、全利用者
もしくは特定あるいは任意の利用者各々の重心と最端点
とを結ぶ直線方向を例えば平均等の方法で演算して代表
化し、この直線方向と選択の対象となる面との接点を代
表としてもよい。（ｃ）は前面壁の一定距離内に存在す
る利用者の重心位置を算出しており、（ｄ）は（ｃ）で
算出した重心位置をベクトル平均により補正を行ってお
り、（ｅ）は同じく動いている利用者位置を用いて重心
位置を算出しており、（ｆ）は同じく動いている利用者
位置を用いて重心位置を求め、ベクトル平均により補正
を行っている。

【００３９】図１４は、座標値を壁面に移動して得た位
置を代表点とする例を示す図である。例えば、図１４に
示すように、床面におけるベクトルと代表座標を用い、
代表座標よりベクトル方向に結んだ線と壁面との交点を
代表となる座標値に用いてもよい。ただし、床面におけ
るベクトルは２次元ベクトルであるため、壁面との交点
において高さを確定する必要がある場合には、例えば代
表座標と壁面との交点間の最短距離等、他の値を用意
し、これを高さの座標値として用いる。図１４では、全
利用者の位置の重心位置座標よりベクトル平均方向に引
いた線分と壁面との接点に近い領域を選択している。

【００４０】本実施例における予め用意した指示命令変
換ルール５４は、他にも例えば、各利用者の状態より代
表となる座標値を導出し、その座標値あるいはその座標
値を写像あるいは移動等の変換を行って得た座標値が、
前記アンカー領域のいずれかに、例えば内包されている
か、あるいは一定の距離以内にあるか等を算出し、該当
するアンカー領域が存在した場合には、そのアンカー領
域が選択されたものとする、あるいは各利用者の状態よ
り代表となる値および座標値を導き出し、その代表とな
る値が一定値以上の場合には、その代表となる座標値を
もとにアンカー領域が選択されているか否かを導き出
し、該当するアンカー領域が存在した場合には、そのア
ンカー領域が決定されたとする、あるいは各アンカー領
域に関して、利用者の位置座標あるいはアンカー領域の
出力されている面に写像あるいは移動等の変換を行って
得た座標値がアンカー領域に内包あるいは一定の距離に
存在している数を数え、一番多数の値を示したアンカー
領域を選択されたものとする、等が考えられる。また、
領域に内包される利用者の数を数える際には、利用者の
動きベクトルおよび変量等を用いて利用者の座標を補正
してもよい。

【００４１】図１５は、アンカー領域を選択する例を示
す図である。図１５（ａ）では、内包している利用者の
数が一番多い領域を選択する場合を示している。すなわ
ち、左側よりも右側の円内の方が利用者数が多いので、
こちらを選択する。（ｂ）では、動きも見越して内包し
ている利用者数の最も多い領域を選択する場合を示して
いる。すなわち、左側も右側も利用者は１人であるが、
右側は２人になる予測がなされるため、右側の円内の領
域を選択する。

【００４２】（第３の実施例）図１６は、本発明の第３
の実施例を示すマルチメディア情報空間入出力装置のイ
メージ図である。本実施例では、複数の指示命令を得た
ときには、指示命令統合ルールを参照する方法が示され
ている。壁面スクリーン５７には、興味ある観光地はど
こであるかを問い合わせる質問５８が表示される。床面
スクリーン５９には、海、スポーツ、温泉、テーマパー
ク、山、等の領域が内包している。また、床面スクリー
ン５９の奥中央には、興味ある観光地を選択するための
ボタンが出力されている。

【００４３】図１７は、本発明の第３の実施例を示すマ
ルチメディア情報空間入出力装置のブロック構成図であ
る。本実施例のマルチメディア情報空間入出力装置は、
マルチメディア情報空間６０に存在する複数の利用者の
状態を検出する利用者状態検出手段３１と、利用者状態
検出手段３１により検出された複数の利用者の状態を指
示命令に変換する指示命令変換手段３２と、指示命令変
換手段３２により変換された指示命令を統合する指示命
令統合手段３３と、指示対象管理手段３４と、マルチメ
ディア情報内の利用者の指示対象となる特定の領域を管
理し、その領域が選択された際の処理を管理する指示対
象管理手段３４と、マルチメディア情報空間に出力する
マルチメディア情報を管理する空間管理手段３５と、マ
ルチメディア情報空間にマルチメディア情報を出力する
空間出力手段３６とを具備している。

【００４４】図２２は、図１７におけるマルチメディア
情報空間入出力装置の動作フローチャートである。予め
複数のマルチメディア情報を用意し、さらに各マルチメ
ディア情報において利用者の指示対象となる特定の点も
しくは領域であるアンカー領域の座標と、そのアンカー
領域の領域名と、例えば領域に対応したキーワード等
を、複数関連付けた情報であるアンカー情報を用意して
おく（ステップ３０１）。例えば、日本各地の観光地を
キーワードで分類し、各観光地のＰＲビデオ名等マルチ
メディア情報と関連付けた観光地データベースおよび観
光地のＰＲビデオ等の情報および利用者にキーワードを
選択してもらうための質問文を表示する画面、および選
択肢となるキーワードが記載されているボタンの絵が配
置された画像等を用意し、さらに選択肢となるキーワー
ドが記載されているボタンの絵が配置された画像のボタ
ン領域の例えば各頂点の座標値と、その領域の領域名、
およびキーワードを関連付けたアンカー情報等を用意す
る。

【００４５】空間管理手段３５は、マルチメディア情報
空間の前面等、特定のスクリーンに、例えば「興味のあ
る観光地のキーワードを選択して下さい。」という質問
文等、前記利用者にキーワードを選んでもらうための質
問文を表示する画像等、利用者に複数の選択肢の中から
候補を選ぶことを促す質問を出力するためのマルチメデ
ィア情報、および例えば床面スクリーンに、前記選択肢
となるキーワードが記載されているボタンの絵が配置さ
れた画像等、質問文の回答となる選択肢と対応付けられ
たボタン画像等を出力するためのデータを空間出力手段
３６に受け渡し、指示命令を受け取るまで待機する（ス
テップ３０２，３０３）。

【００４６】空間出力手段３６は、空間管理手段３５の
データを受け取り、指定されたスクリーンに指定された
質問文等を出力し、床面スクリーンに、例えば選択肢と
なるキーワードが記載されているボタンの絵が配置され
た画像を投影する（ステップ３０４）。利用者状態検出
手段３１は、第１の実施例における利用者状態検出手段
１１と同様の機能を持っている（ステップ３０５，３０
６）。指示対象管理手段３４は、予め用意したアンカー
情報、および空間管理手段３５の管理する、例えば現在
出力中のマルチメディア情報名および出力中のマルチメ
ディア情報が動画像であった場合にはそのマルチメディ
ア情報の再生フレーム番号等を参照して、現在マルチメ
ディア情報空間において、利用者に提示されているマル
チメディア情報中のアンカーに関する情報を取得し、指
示命令変換手段３２に与える（ステップ３０７）。

【００４７】指示命令変換手段３２は、利用者状態検出
手段３１の検出した複数の利用者の状態および指示対象
管理手段３４の取得した現在マルチメディア情報空間に
おいて利用者に提示されているマルチメディア情報中の
アンカーに関する情報を取得し、予め用意した複数の指
示命令変換ルールを参照して、状況に応じた指示命令に
変換し、その指示命令を指示命令統合手段３３に与える
処理を行う（ステップ３０８）。指示命令変換ルール
は、例えばインタプリタ言語のスクリプト等で記述され
る。例えば、指示命令処理ルールは、各アンカーに関し
て利用者の位置座標がアンカー領域に内包している数を
数え、一定数以上の値を示したアンカーに関して「関連
付けられたキーワードを検索キーとして用い、観光地デ
ータベースを検索して関連付けたマルチメディア情報名
を取得し、そのマルチメディア情報を出力する」という
指示命令を指示命令統合手段３３に送信する等の内容を
定義する。指示命令統合手段３３は、指示命令変換手段
３２より複数の指示命令を得た場合、予め用意した複数
の指示命令統合ルールを参照して、複数の指示命令を状
況に応じて統合した指示命令に変換する（ステップ３０
９）。空間管理手段３５および空間出力手段３６の動作
ステップ３１０，３１１は、図２０，図２１のステップ
１０８（２０９），１０９（２１０）と同じである。そ
して、さらに連続して出力する場合には（ステップ３１
２）、ステップ３０５にジャンプして動作を続行し、ル
ールを参照して指示を切り替えながら出力を続ける。終
了の指示が出された時点で動作は終了する。

【００４８】図１８は、本発明の第３の実施例を示すマ
ルチメディア情報空間入出力装置の指示命令変換に関す
る構成図である。指示命令統合ルール６６は、例えばイ
ンタプリタ言語のスクリプト等で記述される。例えば、
指示命令変換ルール６５は、「領域Ａに関連付けられた
キーワードを検索キーとして用い、観光地データベース
を検索して関連付けたマルチメディア情報名を取得し、
そのマルチメディア情報を出力する」という指示命令
と、「領域Ｂに関連付けられたキーワードを検索キーと
して用い、観光地データベースを検索して関連付けたマ
ルチメディア情報名を取得し、そのマルチメディア情報
を出力する」という指示命令を受け取った場合、「領域
Ａに関連付けられたキーワードと領域Ｂに関連付けられ
たキーワードを検索キーとして、観光地データベースを
ＡＮＤ検索して関連付けたマルチメディア情報名を取得
し、そのマルチメディア情報を出力する」という指示命
令に変換し、その指示命令を処理して、空間管理手段３
５に送る。この例では、例えば床面に表示された「海」
という領域と「温泉」という領域が、それぞれ一定数の
利用者の位置座標を内包していた場合、温泉および海を
キーワードに持つ観光地を検索し、該当する観光地のＰ
Ｒビデオの映像名を取得し、その映像を出力する指示命
令を空間管理手段３５に与える。

【００４９】図１９は、複数の領域を選択する例を示す
図である。図１９（ａ）は、領域Ｂを処理した後に、領
域Ａを処理する場合を示し、（ｂ）は、領域Ａと領域Ｂ
とを並行して処理する場合を示している。空間管理手段
３５は、現在管理しているマルチメディア情報空間の各
スクリーンに出力しているマルチメディア情報の出力ス
クリーンや出力位置、再生フレーム番号等の状態を管理
する。また、指示命令変換手段３２より指示命令を受け
取った際に、指示命令に応じてマルチメディア情報空間
に出力すべきマルチメディア情報を更新する。例えば、
指示命令変換手段３２より特定スクリーンの特定位置に
特定のマルチメディア情報の再生を進める等の指示命令
を受け取った場合、空間管理手段３５は、マルチメディ
ア情報空間出力手段３６に再生すべきマルチメディア情
報名および再生フレーム番号および出力スクリーン番号
および出力位置等を与え、現在管理しているマルチメデ
ィア情報空間の各スクリーンに出力しているマルチメデ
ィア情報の出力スクリーンや出力位置、再生フレーム番
号等の状態を更新する。マルチメディア情報空間出力手
段３６は、空間管理手段３５の指示を受け取り、指定さ
れたスクリーンに指定されたマルチメディア情報を出力
する。

【００５０】本実施例では、例えば質問文の回答となる
選択肢と対応付けられたボタン映像が床面に出力されて
いるが、出力される位置は、例えば前面スクリーン等、
他の壁面スクリーンであってもよい。この場合、指示命
令変換手段３２は、予め例えば前面スクリーン等、前記
選択肢と対応付けられたボタン映像の出力されている位
置と対応付けて壁面スクリーンに設定した複数の領域を
参照し、前述の第１の実施例あるいは第２の実施例にお
いて説明した他の代表となる値を求める方法、例えば利
用者の動きベクトル方向あるいは利用者の重心点と最端
点と結ぶ直線方向等とスクリーン面との接点が、内包し
ているか否かで判断し算出してもよく、また各利用者の
座標値および動きベクトル等を出力される面に写像し得
た値等を用いて、指示命令を導出してもよい。

【００５１】また、本実施例では、指示命令統合ルール
において、一定数以上利用者を内包していた領域と関連
付けられたキーワードを検索キーに用いてＡＮＤ検索す
る例を示しているが、例えば別々に検索を行い、内包し
ている数の多い順に、領域と関連付けられたマルチメデ
ィア情報を出力するような指示であってもよく、例え
ば、ＡＮＤ検索やＯＲ検索等を行い得られた結果の出力
の候補をいくつかマルチメディア情報空間に例示し、前
記第２の実施例で説明した方法等を用いて、例示した出
力の候補を選択するように利用者に指示を促し、得た結
果に従ってマルチメディア情報の出力を行うような指示
命令であってもよく、またマルチメディア情報が出力さ
れている状況に応じて、前記第２の実施例で示したよう
に特定の領域を選択し関連するマルチメディア情報を出
力するような指示命令であってもよく、状況に応じて指
示命令変換手段３２あるいは指示命令統合手段３３は指
示命令変換ルール６５を使い分ける。

【００５２】前述のように、本実施例では、空間管理手
段３５において、例えばボタン画像等のマルチメディア
情報と、選択の対象となるマルチメディア情報空間上の
領域を対応付けて管理することで、マルチメディア情報
空間における利用者の状態をもとに、出力されているマ
ルチメディア情報の特定の領域を選択、指示することを
実現している。また、本実施例では、指示命令変換手段
３２において導出した代表値と選択の対象となる領域を
１対１に対応付けて、選択されているか否かを判断する
のではなく、選択の対象となる領域毎に各利用者の状態
との関係を求め、選択の判断基準に用いているため、複
数の領域が選択候補として与えられたとき、各々の領域
に対してどの程度の利用者が選択の意志を示しているの
か、という程度を考慮した上で、結果を出力に反映させ
ることを実現している。

【００５３】なお、図２０、図２１および図２２の各フ
ローチャートのステップをプログラムに変換し、変換さ
れたプログラムをＣＤ−ＲＯＭやハードディスク等の記
録媒体に記録することで、その記録媒体を任意のプロセ
ッサにロードまたはネットワークを介してダウンロード
すれば、本発明の各実施例のマルチメディア情報空間入
出力装置およびその方法を実現することができる。

【００５４】

【発明の効果】以上説明したように、本発明によれば、
大きな複数の画面に提示したマルチメディア情報に対し
て、空間内部に存在する複数の利用者の位置あるいは動
きあるいは動作等を入力として取得し、複数の利用者か
らの入力を統合して状況に応じた指示命令に変換し、マ
ルチメディア情報を空間に出力することができる。ま
た、予め複数のマルチメディア情報に対して、マルチメ
ディア情報の特定の領域に、その特定の領域が選択され
た際の処理を関連付けておき、マルチメディア情報が空
間に出力されている際に、複数の利用者からの入力を統
合してマルチメディア情報中の特定の領域が選択されて
いるか否かを判断して、選択された領域に応じた処理を
状況に応じて行い、マルチメディア情報を空間に出力す
ることができる。さらに、利用者の状態より導出した複
数の異なる領域を指示する命令を、状況に応じて統合し
て処理するので、指示命令の組み合わせにより多様性の
ある指示を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例を示すマルチメディア情
報空間入出力装置のイメージ図である。

【図２】本発明の第１の実施例を示すマルチメディア情
報空間入出力装置のブロック構成図である。

【図３】本発明による利用者部分の形状を表す例を示す
図である。

【図４】本発明により、利用者が指し示している方向を
取得する例の図である。

【図５】本発明により利用者の位置を検出する例を示す
図である。

【図６】本発明による利用者状態のデータ列の例を示す
図である。

【図７】本発明の第１の実施例を示す指示命令変換に関
連する部分の構成図である。

【図８】本発明の各利用者の状態より代表となる値を導
く例を示す図である。

【図９】本発明において、代表となる利用者を選択する
例を示す図である。

【図１０】本発明の第２の実施例を示すマルチメディア
情報空間入出力装置のイメージ図である。

【図１１】本発明の第２の実施例を示すマルチメディア
情報空間入出力装置のブロック構成図である。

【図１２】本発明の第２の実施例を示す指示命令変換に
関する構成図である。

【図１３】本発明において、座標値を壁面に写像して得
た位置を代表点とする例を示す図である。

【図１４】本発明において、座標値を壁面に移動して得
た位置を代表点とする例を示す図である。

【図１５】本発明において、アンカー領域を選択する例
を示す図である。

【図１６】本発明の第３の実施例を示すマルチメディア
情報空間入出力装置のイメージ図である。

【図１７】本発明の第３の実施例を示すマルチメディア
情報空間入出力装置のブロック構成図である。

【図１８】本発明の第３の実施例を示す指示命令変換に
関する構成図である。

【図１９】本発明における複数の領域を選択する例を示
す図である。

【図２０】本発明の第１の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。

【図２１】本発明の第２の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。

【図２２】本発明の第３の実施例を示すマルチメディア
情報空間入出力方法の動作フローチャートである。

【符号の説明】

１１…利用者状態検出手段、１２…指示命令変換手段、
１３…空間管理手段、１４…空間出力手段、１９…マル
チメディア情報空間、１６，１７…壁面スクリーン、１
８…床面、３０…最端点、３８…重心、２８…ビデオカ
メラ、２９…利用者、３９…２番目に遠い端点、４１〜
４４…利用者、４６…指示命令変換ルール、４７…マル
チメディア情報、４８…壁面スクリーン、４９…床面ス
クリーン、５０…矢印、２１…利用者状態検出手段、２
２…指示命令変換手段、２３…指示対象管理手段、２４
…空間管理手段、２５…空間出力手段、５４…指示命令
変換ルール、５５…アンカー情報、５７…壁面スクリー
ン、５８…興味のある観光地は、の質問文、５９…床面
スクリーン、６０…マルチメディア情報空間、３１…利
用者状態検出手段、３２…指示対象管理手段、３３…指
示命令統合手段、３４…指示対象管理手段、３５…空間
管理手段、３６…空間出力手段、６５…指示命令変換ル
ール、６６…指示命令統合ルール、６４…アンカー情
報。

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｆ 15/70 ４１０ (72)発明者 大竹 孝幸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 上坂 剛 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B050 AA09 BA08 BA09 BA11 BA12 DA02 EA05 EA06 EA19 EA24 EA27 FA02 FA08 FA12 FA13 5B075 ND16 PP22 PQ02 QS05 5E501 AA17 AA30 AC15 AC16 AC37 BA05 BA13 CA02 CA08 CC14 EA01 EA11 EB05 FA03 FA04 FA06 FA14 FA15 FA36 FA45 FB34 5L096 AA06 CA04 DA02 FA05 FA14 FA18 FA60 FA66 FA69 FA72 HA03 HA04 9A001 DZ12 JJ19

Claims (7)

【特許請求の範囲】
1. 【請求項１】 映像あるいは静止画等のマルチメディア
   情報を提示した複数の画面に囲まれた空間内部で、利用
   者が映像あるいは音楽を視聴するマルチメディア情報空
   間に情報を入出力する装置において、 前記マルチメディア情報空間に存在する複数の利用者の
   状態を検出する利用者状態検出手段と、 前記利用者情報検出手段により検出された複数の利用者
   の状態を指示命令に変換する指示命令変換手段と、 前記指示命令変換手段により変換された指示命令を処理
   し、該指示命令に応じて前記マルチメディア情報間に出
   力すべきマルチメディア情報を更新する空間管理手段
   と、 前記空間管理手段から受け取ったマルチメディア情報を
   前記マルチメディア情報空間に出力する空間出力手段と
   を具備することを特徴とするマルチメディア情報空間入
   出力装置。
2. 【請求項２】 請求項１に記載のマルチメディア情報空
   間入出力装置において、 前記指示命令変換手段と前記空間管理手段との間に、マ
   ルチメディア情報内の利用者の指示対象となる特定の領
   域を管理し、該領域が選択された際の処理を管理する指
   示対象管理手段を具備することを特徴とするマルチメデ
   ィア情報空間入出力装置。
3. 【請求項３】 請求項１または２に記載のマルチメディ
   ア情報空間入出力装置において、 前記指示命令変換手段と前記指示対象管理手段との間
   に、該指示命令変換手段により変換された指示命令を統
   合する指示命令統合手段を具備することを特徴とするマ
   ルチメディア情報空間入出力装置。
4. 【請求項４】 映像あるいは静止画等のマルチメディア
   情報を提示した複数の画面に囲まれた空間内部で、利用
   者が映像あるいは音楽を視聴するマルチメディア情報空
   間に情報を入出力する方法において、 予め前記マルチメディア情報空間に出力すべきマルチメ
   ディア情報を用意し、 該マルチメディア情報空間に映像が撮影されたならば、
   空間管理手段は、最初に出力すべき情報の再生位置をも
   とに、マルチメディア情報と再生位置と表示位置を空間
   出力手段に与え、 該空間出力手段は、空間の指示された表示位置にマルチ
   メディア情報の再生位置を出力し、 利用者状態検出手段は、該マルチメディア情報空間から
   各利用者の動作、形態、空間座標位置または移動距離、
   動きベクトル等を連続的に取得し、 かつ、利用者の状態を利用者単位のデータ列に変換し
   て、指示命令変換手段に与え、 該指示命令変換手段は、利用者状態を指示命令変換ルー
   ルを参照して、状況に応じた指示命令に変換し、空間管
   理手段に与え、 該空間管理手段は、受取った指示命令に応じて該マルチ
   メディア情報空間に出力すべきマルチメディア情報を更
   新し、該マルチメディア情報を空間出力手段に与え、 該空間出力手段は、指示を受取り、指定されたスクリー
   ンに指定されたマルチメディア情報の指定されたフレー
   ムを該マルチメディア情報空間に出力することを特徴と
   するマルチメディア情報空間入出力方法。
5. 【請求項５】 請求項４に記載のマルチメディア情報空
   間入出力方法において、 前記空間管理手段は、複数のマルチメディア情報、指示
   対象となるアンカー領域名、および対応する指示命令が
   用意されたならば、最初に出力すべき情報の再生位置を
   もとに、マルチメディア情報と再生位置と表示位置を空
   間出力手段に与え、 指示対象管理手段は、予め用意された、および該空間管
   理手段が管理するアンカー情報を指示命令変換手段に与
   え、 該指示命令管理手段は、利用者状態と前記アンカー情報
   を指示命令変換ルールを参照して、状態に応じた指示命
   令に変換して、該空間管理手段に与えることを特徴とす
   るマルチメディア情報空間入出力方法。
6. 【請求項６】 請求項４または５に記載のマルチメディ
   ア情報空間入出力方法において、 前記空間管理手段は、特定スクリーンに質問文と回答選
   択肢のボタン画像のデータを空間出力手段に与え、 該空間出力手段は、指定されたスクリーンに指定された
   質問文とボタン絵の画像を出力し、 指示命令統合手段は、指示命令変換手段より複数の指示
   命令を受けたとき、予め用意した複数の指示命令統合ル
   ールを参照して、状況に応じて統合した指示命令に変換
   し、該空間管理手段に与えることを特徴とするマルチメ
   ディア情報空間入出力方法。
7. 【請求項７】 請求項４，５または６のいずれかに記載
   のマルチメディア情報空間入出力方法の各ステップをプ
   ログラムに変換し、変換されたプログラムを記録したこ
   とを特徴とする記録媒体。