JP2004355308A

JP2004355308A - 体験表示装置、体験表示方法及び体験表示プログラム

Info

Publication number: JP2004355308A
Application number: JP2003151804A
Authority: JP
Inventors: Atsushi Nakahara; 淳中原; Yasuyuki Sumi; 康之角; Kenji Mase; 健二間瀬
Original assignee: ATR Advanced Telecommunications Research Institute International
Current assignee: ATR Advanced Telecommunications Research Institute International
Priority date: 2003-05-29
Filing date: 2003-05-29
Publication date: 2004-12-16
Anticipated expiration: 2023-05-29
Also published as: JP4027267B2

Abstract

【課題】複数の人間のインタラクションに対する多視点的な理解を容易にしてユーザ間のコミュニケーションを充分に促進することができる体験表示装置を提供する。
【解決手段】体験履歴データ取得部１１は、メインユーザ及びサブユーザの体験履歴データを取得し、シリンダ作成部１２は、メインユーザの体験履歴データを中心軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとにメインユーザの体験履歴データの回りに時系列的に一列に配置し、表示部１４は、配置されたメインユーザ及びサブユーザの体験履歴データを表示する。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、表示対象となるユーザ（人間）が体験したインタラクション（人間と人間又は人間と人工物との相互作用）を表す体験履歴データを可視的に表示する体験表示装置、体験表示方法及び体験表示プログラムに関するものである。
【０００２】
【従来の技術】
従来、人間の体験履歴データを表現する方法として、学会参加や博物館見学などの体験履歴データをカジュアルな漫画形式の日記として表現することが行われている（例えば、非特許文献１参照）。
【０００３】
また、他の表現方法としては、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）でのファイル管理において、時系列に注目したアイコンの配置と、デスクトップの空間的なアイコンの配置とを折衷して情報を可視化しているものがある（例えば、非特許文献１参照）
【０００４】
【非特許文献１】
坂本竜基他４名、コミックダイアリ：漫画表現を利用した経験や興味の伝達支援、情報処理学会論文誌、Ｖｏｌ．４３、Ｎｏ．１２、２００２年、ｐｐ．３５８２−３５９６
【非特許文献２】
暦本純一、Ｔｉｍｅ−ＭａｃｈｉｎｅＣｏｍｐｕｔｉｎｇ：時間指向ユーザインターフェースの提案、インタラクティブシステムとソフトウェアＶＩＩ、近代科学社、１９９９年
【０００５】
【発明が解決しようとする課題】
しかしながら、前者の表現方法は、一人のユーザの視点に基づいた体験を表現することには適しているが、複数の他のユーザとのインタラクションによって体験が構成されていることを明示的に表現することができないため、複数の人間のインタラクションに対する多視点的な理解が困難であり、ユーザ間のコミュニケーションを充分に促進することができない。
【０００６】
また、後者の表現方法では、複数ビューによる表示の切り替えを行っているため、視点の切り替えが不連続となり、上記と同様に、複数の人間のインタラクションに対する多視点的な理解が困難となり、ユーザ間のコミュニケーションを充分に促進することができない。
【０００７】
本発明の目的は、複数の人間のインタラクションに対する多視点的な理解を容易にしてユーザ間のコミュニケーションを充分に促進することができる体験表示装置、体験表示方法及び体験表示プログラムを提供することである。
【０００８】
【課題を解決するための手段および発明の効果】
本発明に係る体験表示装置は、メインユーザが体験したインタラクションを表す体験履歴データを可視的に表示する体験表示装置であって、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得手段と、仮想三次元空間内に第１の軸を規定するとともに、第１の軸を中心軸とする円筒の周面に沿って且つ第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置する配置手段と、配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示手段とを備えるものである。
【０００９】
本発明に係る体験表示装置においては、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとが取得され、仮想三次元空間内に第１の軸が規定されるとともに、第１の軸を中心軸とする円筒の周面に沿って且つ第１の軸と平行な複数の第２の軸が規定され、取得されたメインユーザの体験履歴データが第１の軸に沿って時系列的に一列に配置されるとともに、取得されたサブユーザの体験履歴データがユーザごとに第２の軸に沿って時系列的に一列に配置され、配置されたメインユーザ及びサブユーザの体験履歴データが表示される。
【００１０】
したがって、メインユーザの体験履歴データが時間軸に沿って一列に配置され、メインユーザの体験履歴データを中心軸として、メインユーザとインタラクションを行ったサブユーザの体験履歴データが円筒状に且つ時間軸に沿って一列に配置されるので、メインユーザ及びサブユーザの体験履歴データの時間的な遷移及びメインユーザとサブユーザとのインタラクションの関係を一目で理解することができ、複数の人間のインタラクションに対する多視点的な理解を容易にしてユーザ間のコミュニケーションを充分に促進することができる。
【００１１】
体験履歴データは、メインユーザ又はサブユーザがインタラクションを行った時刻を特定するための時刻情報を含み、配置手段は、各体験履歴データの時刻情報に応じて、第１の軸を時間軸としてメインユーザの体験履歴データを時系列的に一列に配置するとともに、サブユーザの体験履歴データを時系列的に一列に配置することが好ましい。
【００１２】
この場合、各体験履歴データの時刻情報に応じてメインユーザ及びサブユーザの体験履歴データがそれぞれ時系列的に一列に配置されるので、メインユーザ及びサブユーザの体験履歴データの時間的な流れを一目で理解することができる。
【００１３】
体験履歴データは、メインユーザ又はサブユーザがインタラクションを行っている継続時間を特定するための継続時間情報と、メインユーザ又はサブユーザが体験したインタラクションを表す静止画像データとを含み、配置手段は、継続時間情報により特定される継続時間の長さに応じた透明度を静止画像データごとに決定し、表示手段は、配置手段により決定された透明度で静止画像データを体験履歴データとして表示することが好ましい。
【００１４】
この場合、メインユーザ及びサブユーザの静止画像データがインタラクションが行われている継続時間の長さに応じた透明度で表示されるので、各静止画像の透明度によりインタラクションの継続時間の長短を一目で理解することができる。
【００１５】
メインユーザの体験履歴データは、メインユーザがインタラクションを行ったサブユーザを特定するためのインタラクション対象特定情報をさらに含み、配置手段は、メインユーザの体験履歴データと、当該メインユーザの体験履歴データのインタラクション対象特定情報により特定されるサブユーザの体験履歴データの中から当該メインユーザの体験履歴データの時刻情報により特定される時刻に対して所定時間内のサブユーザの体験履歴データとを連結するためのリンク標識を作成し、表示手段は、配置手段により作成されたリンク標識とともにメインユーザ及びサブユーザの体験履歴データを表示することが好ましい。
【００１６】
この場合、メインユーザの体験履歴データと、当該メインユーザの体験履歴データのインタラクション対象特定情報により特定されるサブユーザの体験履歴データの中から当該メインユーザの体験履歴データの時刻情報により特定される時刻に対して所定時間内のサブユーザの体験履歴データとを連結するためのリンク標識が作成され、作成されたリンク標識とともにメインユーザ及びサブユーザの体験履歴データが表示されるので、インタラクションを共有したメインユーザ及びサブユーザの体験履歴データ間をリンク標識により連結して表示することができ、インタラクションを共有したメインユーザ及びサブユーザの体験履歴データを一目で識別することができる。
【００１７】
体験履歴データは、メインユーザ又はサブユーザが体験したインタラクションを表す静止画像データを含み、配置手段は、リンク標識の数に応じた透明度を静止画像データごとに決定し、表示手段は、配置手段により決定された透明度で静止画像データを体験履歴データとして表示することが好ましい。
【００１８】
この場合、メインユーザ及びサブユーザの静止画像データがリンク標識の数に応じた透明度で表示されるので、各静止画像の透明度によりユーザ間のインタラクションが頻繁に行われた経験を一目で理解することができる。
【００１９】
表示手段により表示されているメインユーザ及びサブユーザの体験履歴データを第１の軸に沿った方向に移動するための操作者の移動指示を受け付ける移動受付手段と、表示手段により表示されているメインユーザ及びサブユーザの体験履歴データを第１の軸を回転軸として回転するための操作者の回転指示を受け付ける回転受付手段とをさらに備え、表示手段は、移動受付手段によって受け付けられた移動指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸に沿った方向に移動させて表示し、回転受付手段によって受け付けられた回転指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸を回転軸として回転させて表示することが好ましい。
【００２０】
この場合、メインユーザ及びサブユーザの体験履歴データを操作者の移動指示に応じて時間軸に沿って移動させたり、回転指示に応じて回転させて表示することができるので、マウス等の移動受付手段及び回転受付手段を用いた簡略な操作でメインユーザ及びサブユーザの体験履歴データの表示状態を変更することができる。
【００２１】
表示手段により体験履歴データが表示されているサブユーザの中から操作者が選択したサブユーザをメインユーザとして受け付けるユーザ受付手段をさらに備え、取得手段は、ユーザ受付手段によって受け付けられたサブユーザとインタラクションを行った他のユーザの体験履歴データを取得し、配置手段は、ユーザ受付手段によって受け付けられたサブユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、取得手段により取得された他のユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置することが好ましい。
【００２２】
この場合、操作者が選択したサブユーザをメインユーザに切り替えて体験履歴データを表示することができるので、表示主体となるメインユーザの切り替えを容易に行うことができる。
【００２３】
本発明に係る体験表示方法は、メインユーザが体験したインタラクションを表す体験履歴データを可視的に表示する体験表示方法であって、コンピュータが、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得ステップと、コンピュータが、仮想三次元空間内に第１の軸を規定するとともに、第１の軸を中心軸とする円筒の周面に沿って且つ第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置する配置ステップと、コンピュータが、配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示ステップとを含むものである。
【００２４】
本発明に係る体験表示プログラムは、メインユーザが体験したインタラクションを表す体験履歴データを可視的に表示するための体験表示プログラムであって、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得手段と、仮想三次元空間内に第１の軸を規定するとともに、第１の軸を中心軸とする円筒の周面に沿って且つ第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置する配置手段と、配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示手段としてコンピュータを機能させるものである。
【００２５】
【発明の実施の形態】
以下、本発明の一実施の形態による体験表示装置について図面を参照しながら説明する。図１は、本発明の一の実施の形態による体験表示装置を用いた体験表示システムの構成を示すブロック図である。本実施の形態では、展示会場において説明員及び訪問者が体験したインタラクションを表す体験履歴データを蓄積し、この体験履歴データを取得して可視的に表示する場合について説明するが、この例に特に限定されず、ラウンドテーブルを囲んだ自由討論等の打合せ、ある物体や書類を囲んで複数人が作業を行う共同作業等の種々のイベントにおける、人間と人間、人間と人工物、人間と環境等の間の種々のインタラクションを表す体験履歴データに同様に適用することができる。
【００２６】
図１に示す体験表示システムは、体験表示装置１及び体験履歴データ蓄積サーバ２を備え、体験表示装置１及び体験履歴データ蓄積サーバ２は、ネットワーク３を介して相互に通信可能に接続される。体験履歴データ蓄積サーバ２は、展示会場において説明員が訪問者に展示内容を説明しているときに説明員及び訪問者が体験したインタラクションを表す体験履歴データを収集及び蓄積する。また、体験履歴データ蓄積サーバ２は、体験表示装置１の要求に応じて、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとをネットワーク３を介して体験表示装置１へ送信する。
【００２７】
ネットワーク３としては、例えば、インターネットが使用され、ＴＣＰ／ＩＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ／ＩｎｔｅｒｎｅｔＰｒｏｔｏｃｏｌ）に従い体験表示装置１及び体験履歴データ蓄積サーバ２間で相互にデータ等が送受信される。なお、ネットワーク３としては、インターネットに特に限定されず、イントラネット等の他のネットワーク、または、インターネット、イントラネット等の種々のネットワークを組み合わせたネットワーク等を用いてもよい。また、ネットワークではなく、専用線等により体験表示装置１及び体験履歴データ蓄積サーバ２を相互に接続してもよい。
【００２８】
体験表示装置１は、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、記録媒体駆動装置、入力部、通信部及び表示装置等を備える通常のコンピュータ等から構成され、表示対象となるメインユーザが体験したインタラクションを表す体験履歴データを可視的に表示する。
【００２９】
入力部はキーボード、マウス等から構成され、通信部はモデム又はルーター等から構成され、表示装置はＣＲＴ（陰極線管）又は液晶表示装置等から構成される。また、ＲＯＭにはＢＩＯＳ（ＢａｓｉｃＩｎｐｕｔ／ＯｕｔｐｕｔＳｙｓｔｅｍ）等が予め記憶され、ＲＡＭはＣＰＵの作業領域等として用いられ、ハードディスクドライブ等から構成される外部記憶装置にはＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）及び体験表示プログラム等が予め記憶され、ＣＰＵがこれらのプログラムを実行することにより、体験履歴データ取得部１１、シリンダ作成部１２、体験履歴データ記憶部１３、表示部１４及び操作部１５として機能する。
【００３０】
なお、ＣＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に体験表示プログラムが記録されている場合、ＣＤ−ＲＯＭドライブ、フレキシブルディスクドライブ等から構成される記録媒体駆動装置を用いて外部記憶装置に体験表示プログラムをインストールするようにしてもよい。また、体験表示プログラムがネットワーク３に接続された他のコンピュータ等に記憶されている場合、当該コンピュータからネットワーク３を介して体験表示プログラムをダウンロードするようにしてもよい。
【００３１】
体験履歴データ取得部１１は、通信部等から構成され、ネットワーク３を介して体験履歴データ蓄積サーバ２に、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを要求し、体験履歴データ蓄積サーバ２から送信されたメインユーザの体験履歴データ及びサブユーザの体験履歴データを取得してシリンダ作成部１２へ出力する。体験履歴データ記憶部１３は、外部記憶装置又はＲＡＭ等から構成され、体験履歴データ取得部１１により取得されたメインユーザの体験履歴データ及びサブユーザの体験履歴データをシリンダ作成部１２を経由して記憶する。
【００３２】
シリンダ作成部１２は、ＣＰＵ等から構成され、仮想三次元空間内に第１の軸を規定するとともに、第１の軸を中心軸とする円筒の周面に沿って且つ第１の軸と平行な複数の第２の軸を規定し、体験履歴データ取得部１１により取得されたメインユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、体験履歴データ取得部１１により取得されたサブユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置した体験シリンダを作成する。表示部１４は、表示装置等から構成され、メインユーザ及びサブユーザの体験履歴データが配置された後述する体験シリンダを三次元的に表示する。
【００３３】
ここで、体験履歴データは、メインユーザ又はサブユーザがインタラクションを行った時刻を特定するための時刻情報としてインタラクションが開始された時刻を特定するための開始時間情報を含み、シリンダ作成部１２は、各体験履歴データの開始時間情報に応じて、第１の軸を時間軸としてメインユーザの体験履歴データを時系列的に一列に配置するとともに、サブユーザの体験履歴データを時系列的に一列に配置する。
【００３４】
また、体験履歴データは、メインユーザ又はサブユーザがインタラクションを行っている継続時間を特定するための継続時間情報と、メインユーザ又はサブユーザが体験したインタラクションを表す静止画像データとを含み、シリンダ作成部１２は、継続時間情報により特定される継続時間の長さに応じた透明度の静止画像データを作成し、表示部１４は、継続時間の長さに応じた透明度の静止画像データを体験履歴データとして表示する。
【００３５】
さらに、メインユーザの体験履歴データは、メインユーザがインタラクションを行ったサブユーザを特定するためのインタラクション対象特定情報を含み、シリンダ作成部１２は、メインユーザの体験履歴データと、当該メインユーザの体験履歴データのインタラクション対象特定情報により特定されるサブユーザの体験履歴データの中から当該メインユーザの体験履歴データの時刻情報により特定される時刻に対して所定時間内のサブユーザの体験履歴データとを連結するためのリンク標識を作成し、表示部１４は、作成されたリンク標識とともにメインユーザ及びサブユーザの体験履歴データを三次元的に表示する。このとき、シリンダ作成部１２は、リンク標識の数に応じた透明度の静止画像データを作成し、表示部１４は、リンク標識の数に応じた透明度で静止画像データを体験履歴データとして表示する。
【００３６】
操作部１５は、マウス等から構成され、表示部１４に表示されているメインユーザ及びサブユーザの体験履歴データを第１の軸に沿った方向に移動するための操作者（メインユーザ、サブユーザ又は他のユーザ）の移動指示を受け付け、また、メインユーザ及びサブユーザの体験履歴データを第１の軸を回転軸として回転するための操作者の回転指示を受け付ける。シリンダ作成部１２は、受け付けられた移動指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸に沿った方向に移動させ、また、受け付けられた回転指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸を回転軸として回転させる。表示部１４は、受け付けられた移動指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸に沿った方向に移動させて表示し、また、受け付けられた回転指示に応じてメインユーザ及びサブユーザの体験履歴データを第１の軸を回転軸として回転させて表示する。
【００３７】
また、操作部１５は、表示部１４に体験履歴データが表示されているサブユーザの中から操作者が選択したサブユーザをメインユーザとして受け付ける。シリンダ作成部１２は、メインユーザとして受け付けたサブユーザとインタラクションを行った他のユーザの体験履歴データが体験履歴データ記憶部１３に記憶されていない場合、体験履歴データ取得部１１を用いて、記憶されていない他のユーザの体験履歴データを体験履歴データ蓄積サーバ２に要求し、体験履歴データ蓄積サーバ２から送信された他のユーザの体験履歴データを取得する。シリンダ作成部１２は、操作部１５によって受け付けられたサブユーザの体験履歴データを第１の軸に沿って時系列的に一列に配置するとともに、他のユーザの体験履歴データをユーザごとに第２の軸に沿って時系列的に一列に配置する。表示部１４は、操作者が選択したサブユーザをメインユーザとする新たな体験シリンダを三次元的に表示する。
【００３８】
本実施の形態では、体験履歴データ取得部１１が取得手段の一例に相当し、シリンダ作成部１２が配置手段の一例に相当し、表示部１４が表示手段の一例に相当し、操作部１５が移動受付手段、回転受付手段及びユーザ受付手段の一例に相当する。
【００３９】
次に、図１に示す体験履歴データ蓄積サーバについて詳細に説明する。図２は、図１に示す体験履歴データ蓄積サーバの構成を示すブロック図である。図２に示す体験履歴データ蓄積サーバは、赤外線タグ１０１、人間用観測装置２１、携帯型コンピュータ２２、周囲状況観測装置２３、据置型コンピュータ２４、ロボット型観測装置２５、ぬいぐるみ型観測装置２６、データ取得用サーバ２７、ＳＱＬ（ＳｔｒｕｃｔｕｒｅｄＱｕｅｒｙＬａｎｇｕａｇｅ）サーバ２８、ＡＶ（オーディオ・ビデオ）データ用サーバ２９、ＸＭＬ（ｅＸｔｅｎｄｅｄＭａｒｋｕｐＬａｎｇｕａｇｅ）データ作成サーバ３０及びＷｅｂサーバ３１を備える。
【００４０】
なお、図２では、図示を容易にするために赤外線タグ１０１、人間用観測装置２１、携帯型コンピュータ２２、周囲状況観測装置２３、据置型コンピュータ２４、ロボット型観測装置２５及びぬいぐるみ型観測装置２６をそれぞれ１個のみ図示しているが、人間用観測装置２１及び携帯型コンピュータ２２は説明員及び訪問者ごとに設けられ、周囲状況観測装置２３及び据置型コンピュータ２４は複数の観測位置に設けられ、ロボット型観測装置２５及びぬいぐるみ型観測装置２６は必要数だけ設けられ、赤外線タグ１０１は説明員及び訪問者のインタラクションに使用される対象物ごとに設けられている。
【００４１】
赤外線タグ１０１は、対象物となる展示物自体又はその近傍若しくは展示会場の壁又は天井等の人工物に取り付けられ、人工物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。
【００４２】
人間用観測装置２１は、説明員又は訪問者に装着され、装着している説明員又は訪問者のＩＤ番号を赤外線の点滅により送信する。また、人間用観測装置２１は、説明員等の視界内に位置する赤外線タグ１０１から送信される対象物のＩＤ番号及び赤外線タグ１０１の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ１０１を含む可視光画像をそのときの音声とともに撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像データ等を携帯型コンピュータ２２へ出力する。また、人間用観測装置２１は、装着している説明員又は訪問者の生体データを検出して携帯型コンピュータ２２へ出力する。
【００４３】
携帯型コンピュータ２２は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりデータ取得用サーバ２７へ送信する。このように、上記の可視光画像データ及び音声データからなるビデオデータのインデックスとして、記録開始時刻情報、記録時間情報といった基本的な時間情報の他に、インタラクション対象特定情報となるＩＤ番号等が刻一刻とデータ取得用サーバ２７送信される。
【００４４】
周囲状況観測装置２３は、説明員及び訪問者が位置する空間を構成する構造物すなわち展示会場の天井及び壁等に固定され、撮影範囲内に位置する人間用観測装置２１及び赤外線タグ１０１から送信されるＩＤ番号並びに人間用観測装置２１及び赤外線タグ１０１の赤外線画像内のＸＹ座標を検出して据置型コンピュータ２４へ出力する。また、周囲状況観測装置２３は、撮影範囲内に位置する人間用観測装置２１及び赤外線タグ１０１を含む可視光画像をそのときの音声とともに撮影し、撮影した可視光画像データ等を据置型コンピュータ２４へ出力する。据置型コンピュータ２４は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報をデータ取得用サーバ２７へ送信する。
【００４５】
ロボット型観測装置２５は、例えば、視覚、聴覚及び触覚を有するヒューマノイド型自律移動ロボット等から構成され、ロボット自身の視点から展示会場の状況、説明員及び訪問者の状況等を撮影、録音及び測定等して観測し、観測した映像データ、音声データ、視線方向データ、モーションデータ、触覚データ、位置データ等に時間情報を付加してデータ取得用サーバ２７へ送信する。
【００４６】
ぬいぐるみ型観測装置２６は、例えば、視覚、聴覚、触覚及び体勢感覚を有するぬいぐるみ型観測装置等から構成され、説明員及び訪問者は通常のぬいぐるみで遊ぶ感覚でぬいぐるみを保持する。ぬいぐるみ型観測装置２６は、ぬいぐるみ自身の視点から説明員及び訪問者の状況等を撮影、録音及び測定等して観測し、観測した映像データ、音声データ、視線方向データ、触覚データ、体勢データ等に時間情報を付加してデータ取得用サーバ２７へ送信する。
【００４７】
データ取得用サーバ２７は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。データ取得用サーバ２７は、入力される各データのうち、記録開始時刻情報、記録時間情報、ＩＤ番号、ＸＹ座標及び生体データ等をＳＱＬサーバ２８に蓄積させ、映像データ及び音声データをＡＶデータ用サーバ２９に蓄積させる。
【００４８】
ＳＱＬサーバ２８は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。ＳＱＬサーバ２８は、時間情報が付与されたＩＤ番号、ＸＹ座標及び生体データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。
【００４９】
ＡＶデータ用サーバ２９は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。ＡＶデータ用サーバ２９は、映像データ及び音声データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。なお、一度のセッションをひとつの膨大なビデオファイルにするのは現実的ではないので、ＡＶデータ用サーバ２９は、例えば、ビデオデータを１分ごとに別々のファイルとして記憶し、コーパスを利用する際にファイルが１分ごとにわかれていることを意識しなくてすむように、各ビデオデータのインデックスデータをＳＱＬサーバ２８により管理している。
【００５０】
ＸＭＬデータ作成サーバ３０は、入力装置、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置及び表示装置等を備えるサーバ装置から構成される。ＸＭＬデータ作成サーバ３０は、後述するＸＭＬデータ作成処理を実行してＸＭＬデータの形式で体験履歴データを作成する。
【００５１】
Ｗｅｂサーバ３１は、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置、通信部等を備えるサーバ装置から構成される。Ｗｅｂサーバ３１は、体験表示装置１からの要求に応じてＸＭＬデータ作成サーバ３０から体験履歴データを読み出し、体験履歴データをネットワーク３を介して体験表示装置１へ送信する。
【００５２】
図３は、図２に示す赤外線タグ及び人間用観測装置の構成を示すブロック図である。人間用観測装置２１は、赤外線検出部１０２、画像撮影部１０３、赤外線タグ１０４、マイク部１０５及び生体検出部１０６を備える。人間用観測装置２１は、耳かけ式ネックバンド方式ヘッドセットとして構成され、説明員又は訪問者の頭部に装着される。赤外線検出部１０２及び画像撮影部１０３は直方体形状の筺体に一体に内蔵され、赤外線タグ１０４は筺体の側面に一体に固定され、マイク部１０５はユーザの口元付近に配置され、生体検出部１０６は、説明員又は訪問者の指に装着され、携帯型コンピュータ２２は、説明員又は訪問者に背負われて使用される。
【００５３】
赤外線タグ１０１は、ＬＥＤ１１１及び駆動回路１１２を備える。ＬＥＤ１１１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００５４】
駆動回路１１２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ１０１が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ１１１を点滅制御する。なお、ＬＥＤ１１１及び駆動回路１１２は、内部電池（図示省略）から電源を供給されている。
【００５５】
具体的には、駆動回路１１２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット（偶数１０、奇数０１）、エンドビット（１１１１））となる。
【００５６】
赤外線検出部１０２は、赤外線フィルタ１２１、レンズ１２２、ＣＭＯＳイメージセンサ１２３及び画像処理装置１２４を備える。赤外線フィルタ１２１は、赤外線タグ１０１のＬＥＤ１１１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ１２２に近赤外線を導く。赤外線フィルタ１２１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。
【００５７】
レンズ１２２は、赤外線フィルタ１２１を透過した近赤外線をＣＭＯＳイメージセンサ１２３上に結像させる。レンズ１２２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【００５８】
ＣＭＯＳイメージセンサ１２３は、レンズ１２２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置１２４へ出力する。ＣＭＯＳイメージセンサ１２３としては、例えば、三菱電機社製人口網膜ＬＳＩ（Ｍ６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。
【００５９】
画像処理装置１２４は、ＣＭＯＳイメージセンサ１２３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ１２３に撮影された近赤外線画像から赤外線タグ１０１を検出し、検出した赤外線タグ１０１の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ１０１のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ２２へ出力する。画像処理装置１２４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０２１Ｆ１２４を用いることができる。
【００６０】
この場合、ＣＭＯＳイメージセンサ１２３を１１５２００Ｈｚのクロックで駆動させ、撮像（シャッター開放）後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高速化することができる。このように、赤外線タグ１０１の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤ１１１を用いて非同期通信を行うことができる。なお、画角９０度のレンズ１２２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。
【００６１】
画像撮影部１０３は、レンズ１３１及びＣＣＤカメラ１３２を備える。レンズ１３１は、説明員又は訪問者の視線方向に位置する、赤外線タグ１０１が取り付けられた対象物を含む可視光像をＣＣＤカメラ１３２上に結像させる。ＣＣＤカメラ１３２は、可視光画像を撮影して映像信号を携帯型コンピュータ２２へ出力する。レンズ１３１及びＣＣＤカメラ１３２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ（水平画角４４度）を用いることができる。ここで、レンズ１３１の光軸は、赤外線検出部１０２のレンズ１２２の光軸に合わせられており、説明員又は訪問者の視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００６２】
赤外線タグ１０４は、ＬＥＤ１４１及び駆動回路１４２を備える。赤外線タグ１０４は、人間用観測装置２１に一体に構成され、人間用観測装置２１を装着する説明員又は訪問者のＩＤ番号を送信する点を除き、赤外線タグ１０１と同様のハードウエアから構成され、同様に動作する。
【００６３】
マイク部１０５は、音声処理回路１５１及びマイクロホン１５２を備える。マイクロホン１５２は、説明員又は訪問者の発話又は周囲音を集音して音声処理回路１５１へ出力し、音声処理回路１５１は録音された音声信号を携帯型コンピュータ２２へ出力する。
【００６４】
生体検出部１０６は、生体データ処理回路１６１及び生体センサ１６２を備え、例えば、人間の脈拍、手の表面の伝導性（発汗）、温度の３個のセンサを備える生体データ記録用モジュール（Ｐｒｏｃｏｍｐ＋）等から構成される。生体センサ１６２は、説明員又は訪問者の脈拍、発汗状態及び体温を検出し、生体データ処理回路１６１は、検出された各データの平均値を数秒ごとに計算し、リアルタイムに生体データをＡＤ変換して携帯型コンピュータ２２へ送信する。
【００６５】
図４は、図２に示す周囲状況観測装置の構成を示すブロック図である。図４に示す周囲状況観測装置２３は、固定検出部２０２、画像撮影部２０３及びマイク部２０５を備える。固定検出部２０２は、赤外線フィルタ２２１、レンズ２２２、ＣＭＯＳイメージセンサ２２３及び画像処理装置２２４を備える。画像撮影部２０３は、レンズ２３１及びＣＣＤカメラ２３２を備える。マイク部２０５は、音声処理回路２５１及びマイクロホン２５２を備える。固定検出部２０２、画像撮影部２０３及びマイク部２０５は、上記の赤外線検出部１０２、画像撮影部１０３及びマイク部１０５と同様に構成され、同様に動作する。但し、周囲状況観測装置２３のレンズ２２２の画角は６０度であり、人間用観測装置２１のレンズ１２２の画角より狭く設定され、マイクロホン２５２には無指向性のマイクロホンを用いている。
【００６６】
この場合、ＣＭＯＳイメージセンサ２２３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ１０１，１０４を容易に発見することができる。また、説明員又は訪問者の頭部に装着された人間用観測装置２１だけでなく、説明員及び訪問者が位置する空間を構成する構造物に固定された周囲状況観測装置２３により、説明員、訪問者並びに説明員及び訪問者の視線方向の対象物を検出することができるので、異なる視点から説明員及び訪問者の周囲の状況を観測することができる。
【００６７】
次に、人間用観測装置２１の赤外線タグ検出処理について説明する。この赤外線タグ検出処理は、画像処理装置１２４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、周囲状況観測装置２３でも同様の処理が行われる。
【００６８】
まず、画像処理装置１２４は、ＣＭＯＳイメージセンサ１２３等を初期化し、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する。次に、画像処理装置１２４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ１０１（ＬＥＤ１１１）として抽出し、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ１０１を検出することができるので、画像処理装置１２４による赤外線タグ検出処理を高速化することができる。
【００６９】
次に、画像処理装置１２４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し、ＣＭＯＳイメージセンサ１２３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み、読み込んだ赤外線画像から赤外線タグ１０１の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う。
【００７０】
このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ１０１の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置１２４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。ここで、パリティチェックが正しければ、画像処理装置１２４は、赤外線タグ１０１のＩＤ番号及びＸＹ座標を出力し、パリティチェックが正しくなければ、検出領域の読み込みを再度行い、上記の赤外線検出処理を検出されたすべての光点に対して行う。
【００７１】
このようにして、赤外線タグ１０１が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ１１１の点滅により送信し、説明員又は訪問者に装着された人間用観測装置２１により、説明員又は訪問者の視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ１０１のＩＤ番号が検出されるので、説明員又は訪問者の視線方向に位置する対象物を識別することができる。
【００７２】
図５は、図２に示す人間用観測装置、携帯型コンピュータ、周囲状況観測装置、ロボット型観測装置及びぬいぐるみ型観測装置の一例を説明するための模式図である。図５に示すように、説明員Ｐ１及び訪問者Ｐ３等が人間用観測装置２１を頭部に装着するとともに、携帯型コンピュータ２２を背負っている。赤外線タグ１０１は、訪問者Ｐ２等の胸部に装着されるとともに、環境側の対象物として、展示説明用のコンピュータＭ１及び展示説明用ボードＢ１、展示説明の補助用のロボット型観測装置２５及びぬいぐるみ型観測装置２６等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示会場の天井又は壁には、周囲状況観測装置２３が取り付けられている。
【００７３】
上記のように各装置が配置されることにより、例えば、人間用観測装置２１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、周囲状況観測装置２３により説明員Ｐ１が対象物として識別されるとともに、周囲状況観測装置２３の周囲の対象物として訪問者Ｐ２、ロボット型観測装置２５等が識別される。
【００７４】
このようにして、展示会場内に遍在する周囲状況観測装置２３等に加えて、インタラクションの主体となる説明員及び訪問者が身につけた人間用観測装置２１を利用することにより、同一イベントを複数の観測装置により多角的に記録することができる。また、人間用観測装置２１及び周囲状況観測装置２３の視野に入った人や物体のＩＤ番号を自動認識することにより、蓄積されるビデオデータに実時間でインデックスをつけることができる。したがって、説明員及び訪問者は「見ること」で無意識のうちに他人や物体とのインタラクションにインデックスを付与することができる。
【００７５】
また、ロボット型観測装置２５及びぬいぐるみ型観測装置２６等の多くのセンサが埋め込まれた擬人的インタフェースを、説明員及び訪問者とインタラクションを共に作り上げる協創パートナーとして利用することにより、これらの協創パートナーは、説明員及び訪問者とのインタラクションの身体的接触をセンシング・記録できるだけでなく、説明員及び訪問者に対して自発的にコミュニケーションを開始することができる。したがって、単に受動的に説明員及び訪問者のインタラクションを収集するだけでなく、説明員及び訪問者に対してインタラクションを仕掛けることができ、正確にインタラクションをセグメンテーションすることができる。
【００７６】
上記の構成により、人間用観測装置２１の赤外線検出部１０２及び周囲状況観測装置２３の固定検出部２０２により検出された人間及び対象物のＩＤ番号と、人間用観測装置２１の画像撮影部１０３及び周囲状況観測装置２３の画像撮影部２０３により撮影されたビデオデータとがそれぞれの観測時刻を特定可能な状態で記憶されているので、各ビデオデータ内の人間及び対象物を識別して人間のインタラクションを人間及び／又は対象物との関係から解析することができ、人が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができる。
【００７７】
この結果、展示会場における人と人のインタラクションにおける社会的プロトコルを分析・モデル化し、開放的な空間における複数人のインタラクションを様々なセンサ群で記録し、蓄積された大量のデータに緩い構造を与えて知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００７８】
次に、上記のように構成された体験履歴データ蓄積サーバによるＸＭＬデータ作成処理について説明する。図６は、図２に示す体験履歴データ蓄積サーバのＸＭＬデータ作成処理を説明するためのフローチャートである。なお、図６に示すＸＭＬデータ作成処理は、ＸＭＬデータ作成サーバ３０等が予め記憶されているＸＭＬデータ作成プログラムを実行することにより行われる処理である。
【００７９】
まず、ステップＳ１１において、ＸＭＬデータ作成サーバ３０は、ＳＱＬサーバ２８に蓄積されているＩＤ番号を取得する。例えば、説明員Ｐ１の人間用観測装置２１により観測されたＩＤ番号を取得する。このＩＤ番号は、ＳＱＬサーバ２８に蓄積される際に時間方向の塊にまとめられ、何が何時何分何秒に視界に入って何時何分何秒に視界からはずれたかといった情報すなわち断続的なＩＤ検出列にまとめられている。
【００８０】
次に、ステップＳ１２において、ＸＭＬデータ作成サーバ３０は、取得したＩＤ番号が予め定めた最小検出時間以上検出されているか否かを判断し、最小検出時間以上検出されている場合はステップＳ１３へ移行し、最小検出時間以上検出されていない場合はステップＳ１１へ戻り、次のＩＤ番号を取得する。
【００８１】
最小検出時間以上検出されている場合、ステップＳ１３において、ＸＭＬデータ作成サーバ３０は、取得したＩＤ番号が予め定めた最大間隔以上検出されていない場合があるか否かを判断し、最大間隔以上検出されていない場合がないときはステップＳ１４へ移行し、最大間隔以上検出されていない場合があるときはステップＳ１１へ戻り、次のＩＤ番号を取得する。
【００８２】
最大間隔以上検出されていない場合がないとき、ステップＳ１４において、ＸＭＬデータ作成サーバ３０は、取得されたＩＤ番号が検出されている期間のビデオデータを一つのイベントとして決定する。ここで、イベントとは、同一の人間用観測装置２１等により記録されたビデオデータから、特定の赤外線タグ１０１等が視界に入り続けている部分を切り出したクリップをいうものとし、インタラクションの最小単位すなわちインタラクションのプリミティブと捉えることができるものである。
【００８３】
このように、最大間隔以上の間隔を空けずに且つ最小検出時間以上連続して検出されたＩＤ番号に対応するビデオデータを一つのイベントデータとして抽出しているので、人間のインタラクションの最小単位となるビデオデータをイベントデータとして抽出することができる。
【００８４】
次に、ステップＳ１５において、ＸＭＬデータ作成サーバ３０は、ＳＱＬサーバ２８に蓄積されているすべてのＩＤ番号を取得したか否かを判断し、すべてのＩＤ番号を取得した場合はステップＳ１６へ移行し、すべてのＩＤ番号を取得していない場合はステップＳ１１へ戻り、次のＩＤ番号を取得する。
【００８５】
このように、断続的なＩＤ検出列からイベントを判定するにあたっては、ある人間用観測装置２１等に、最大間隔以上の間隔を空けずに、特定の赤外線タグ１０１等が最小検出時間以上検出され続けた場合をイベントとして採用し、例えば、最小検出時間が５秒、人間用観測装置２１により観測されたＩＤ検出列の最大間隔が２０秒、周囲状況観測装置２３により観測されたＩＤ検出列の最大間隔が１０秒に設定されている。したがって、イベントの最小単位は５秒となり、また、同一の赤外線タグ１０１が検出されてもその間が人間用観測装置２１により２０秒以上（周囲状況観測装置２３の場合は１０秒以上）空いてしまった場合は、別のイベントに切り替わったものと判定する。例えば、誰かと会話していたときや何かを注視していたときに、少しの間だけ視線をはずした程度なら、イベントの切り替えには反映されない。
【００８６】
なお、最小検出時間及び最大間隔は、上記の例に特に限定されず、最小検出時間及び最大間隔をともに５秒に設定したり、認知科学的な対話分析において、会話中のちょっとした視線の変化も個別のインタラクションのプリミティブとして分節したい場合に最大間隔の値をもっと小さくする等の種々の変更が可能である。
【００８７】
すべてのＩＤ番号を取得した場合、ステップＳ１６において、ＸＭＬデータ作成サーバ３０は、決定したイベントのうち時間軸上で所定時間以上重なっているイベントがあるか否かを判断し、所定時間以上重なっているイベントがある場合はステップＳ１７へ移行し、所定時間以上重なっているイベントがない場合はステップＳ１８へ移行する。
【００８８】
所定時間以上重なっているイベントがある場合、ステップＳ１７において、ＸＭＬデータ作成サーバ３０は、所定時間以上重なっているイベントを連結し、連結したイベントを一つのシーンとして決定する。シーンの判断基準となる所定時間として、例えば、最小検出時間の２分の１すなわち２．５秒を用いることができるが、この例に特に限定されず、他の期間を用いてもよい。
【００８９】
ここで、シーンとは、ある意味を有する単位であり、複数のイベントを組み合わせて生成されるビデオストリームをいうものとする。例えば、説明員Ｐ１のためのシーンを構成しようとしている場合を考えると、説明員Ｐ１の人間用観測装置２１がある赤外線タグ１０１を認識しているイベント、又は、説明員Ｐ１の赤外線タグ１０４が他人の人間用観測装置２１や展示会場に設置した周囲状況観測装置２３に捕えられているイベントが、所定時間以上連続しているのであれば、それらを連結させたシーンは、説明員Ｐ１にとって意味のあるシーンと解釈することができ、展示ブースの滞在シーンとか、会話シーンとかを決定することができる。
【００９０】
このように、観測時間が所定時間以上重なっているイベントデータを一つのシーンデータとして連結しているので、人間のインタラクションとして意味のある適度な長さのビデオデータをシーンデータとして抽出することができる。
【００９１】
次に、ステップＳ１８において、ＸＭＬデータ作成サーバ３０は、決定したイベントのうち同一空間内のイベントがあるか否かを判断し、同一空間内のイベントがある場合はステップＳ１９へ移行し、同一空間内のイベントがない場合はステップＳ２０へ移行する。
【００９２】
同一空間内のイベントがある場合、ステップＳ１９において、ＸＭＬデータ作成サーバ３０は、同一空間内のイベントを連結し、連結したイベントを一つのシーンとして決定する。ここで、同一空間には、例えば、説明員Ｐ１と訪問者Ｐ２とが会話している空間が該当する。このように、説明員Ｐ１と訪問者Ｐ２とが会話している状態であると判定されるイベントがみつかったとき、説明員Ｐ１の赤外線タグ１０４が認識されていなかったとしても、訪問者Ｐ２の赤外線タグ１０４が周囲状況観測装置２３に捉えられていた場合には、周囲状況観測装置２３に訪問者Ｐ２と一緒に説明員Ｐ１も撮影されている可能性が高く、このビデオデータが説明員Ｐ１のシーンを構成するリソースとして採用される。
【００９３】
これは、開放的な空間において複数人の任意のインタラクションを捕えようとするとき、通常オクルージョンの問題が起きるため、単一の観測装置が同時に全員の赤外線タグ１０４を捕えることは稀であるが、空間共有性を利用した複数の周囲状況観測装置２３のリソースの連結を許すことにより、あるインタラクションの塊全体を捕えることができるためである。また、空間共有性による連結を多段階繰り返すと、展示会場全体のすべての人間がひとつのインタラクションに属すると解釈することになるので、本例では、空間共有性によるイベントの連結を１段階のみ許すこととしている。なお、空間共有性によるイベントの連結数は、この例に特に限定されず、どのようなサイズのインタラクションを観測したいのか等の目的に合わせて種々の変更が可能である。
【００９４】
このように、観測場所が共通するイベントデータを一つのシーンデータとして連結しているので、空間的な位置関係から人間のインタラクションとして一塊とすべき映像データをシーンデータとして抽出することができる。
【００９５】
次に、ステップＳ２０において、ＸＭＬデータ作成サーバ３０は、上記のようにして決定した複数のシーンを時間順に並べて連結する。次に、ステップＳ２１において、ＸＭＬデータ作成サーバ３０は、連結した各シーンに対して注釈を付加する。注釈としては、シーンの開始時間、シーンの説明、シーンの継続時間の各情報を付与する。
【００９６】
ここで、シーンの説明を付加するため、ＸＭＬデータ作成サーバ３０は、人及び対象物のＩＤ番号及びＸＹ座標等を用いて、人と人、人と対象物等の位置関係を特定し、特定した位置関係を基に、予め設定している複数のイベントの種類の中からイベントの状態を判定する。
【００９７】
図７は、イベントの種類を示す模式図である。すべてのイベントは、人間用観測装置２１及び周囲状況観測装置２３等が赤外線タグ１０１，１０４等を捕えるという意味では、これ以上単純化できないくらい単純な要素であるが、人間用観測装置２１及び周囲状況観測装置２３と赤外線タグ１０１，１０４を付与された対象物の組合わせにより様々な意味を解釈することが可能となる。
【００９８】
例えば、図７の（ａ）に示すように、ある人Ａが身につけている人間用観測装置２１（図中の白丸）により他の人Ｂの赤外線タグ１０４（図中の黒丸）が観測され、同時に、人Ｂが身につけている人間用観測装置２１により人Ａの赤外線タグ１０４が観測されている場合、人Ａと人Ｂとが対話している状態を意味する。
【００９９】
また、環境側に設置された周囲状況観測装置２３により人に付与された赤外線タグ１０４が観測された場合、その人があるエリアに滞在していることを意味し、図７の（ｂ）に示すように、同一の周囲状況観測装置２３（図中の白丸）により複数の人Ａ，Ｂの赤外線タグ１０４が同時に観測された場合、それらの人々Ａ，Ｂが同じエリアに共在する状態を意味する。
【０１００】
また、図７の（ｃ）に示すように、人Ａが身につけている人間用観測装置２１によりある対象物Ｃに付与された赤外線タグ１０１（図中の黒丸）が観測されている場合、その人Ａがその対象物Ｃを注視している状態を意味する。また、複数の人の人間用観測装置２１により同一の対象物の赤外線タグ１０１が同時に観測された場合、それらの人々が同じものに対して共同注意を向けている状態であると考えられる。さらに、共同注意に参加している人の人数が増えた場合、注意を向けられている対象物は重要な社会的イベントを担っている状態と考えられる。
【０１０１】
本例では、ＸＭＬデータ作成サーバ３０は、上記の対話状態、共存状態及び注視状態の中からイベントの状態を決定する。なお、イベントの状態は、上記の例に特に限定されず、種々の変更及び付加が可能であり、以下のようにイベントの状態を決定してもよい。
【０１０２】
例えば、図７の（ｄ）に示すように、環境側に設置された周囲状況観測装置２３によりある対象物Ｃに付与された赤外線タグ１０１及びある人Ａの赤外線タグ１０４が同時に観測されている場合、その人Ａがその対象物Ｃのある場所を訪問している状態を意味するものと解釈してもよい。
【０１０３】
また、図７の（ｅ）に示すように、ある人Ａが身につけている人間用観測装置２１により他の人Ｂの赤外線タグ１０４が観測され、且つそのイベントが最小検出時間の２倍以上継続されている場合、人Ａが人Ｂを凝視している状態を意味するものと解釈してもよい。若しくは、図７の（ｃ）に示すように、人Ａが身につけている人間用観測装置２１によりある対象物Ｃに付与された赤外線タグ１０１が観測され、且つそのイベントが最小検出時間の２倍以上継続されている場合、人が対象物を凝視している状態を意味するものと解釈してもよい。
【０１０４】
また、図７の（ｆ）に示すように、人Ａが身につけている人間用観測装置２１によりある対象物Ｃに付与された赤外線タグ１０１が観測され、同時に、その対象物Ｃに設置された周囲状況観測装置２３により人Ａの赤外線タグ１０４が観測されている場合、その人Ａがその対象物Ｃを注視している状態を意味するものと解釈してもよい。
【０１０５】
シーンの説明の生成には、上記のイベントの解釈に基づき、（１）図７の（ａ）に示す対話状態に対するＴＡＬＫＥＤＷＩＴＨ（Ｉｔａｌｋｅｄｗｉｔｈ（ｓｏｍｅｏｎｅ）．）、（２）図７の（ｂ）に示す共存状態に対するＷＡＳＷＩＴＨ（Ｉｗａｓｗｉｔｈ（ｓｏｍｅｏｎｅ）．）、（３）図７の（ｃ）に示す注視状態に対するＬＯＯＫＥＤＡＴ（Ｉｌｏｏｋｅｄａｔ（ｓｏｍｅｔｈｉｎｇ）．）の３種類のテンプレートを用いている。これらは、ＴＡＬＫＥＤＷＩＴＨ＞ＷＡＳＷＩＴＨ＞ＬＯＯＫＥＤＡＴの順に優先順位を設定しており、シーンの中に対話イベントが認識されれば、シーン全体の注釈としてはＴＡＬＫＥＤＷＩＴＨが採用される。なお、優先順位は上記の例に特に限定されず、種々の変更が可能であり、ＴＡＬＫＥＤＷＩＴＨ＞ＷＡＳＷＩＴＨ＞ＬＯＯＫＥＤＡＴ＞ＶＩＳＩＴＥＤ（図７の（ｄ）の状態）＞ＳＴＡＲＥＤＡＴ（図７の（ｅ）等の状態）の順に優先順位を設定してもよい。
【０１０６】
このようして、ＸＭＬデータ作成サーバ３０は、予め設定した複数のイベントの種類の中からイベントの状態を判定し、判定した状態の優先順位に応じてシーンの状態を決定し、決定した状態に対応するテンプレートを用いてシーンの説明を自動的に作成する。したがって、シーンデータのインタラクション状態に応じた説明を自動的に付与することができる。
【０１０７】
最後に、ステップＳ２２において、ＸＭＬデータ作成サーバ３０は、決定した各シーンから構成される体験履歴データをＸＭＬフォーマットで作成する。図８は、ＸＭＬフォーマットで作成された体験履歴データの構成の一例を示す図である。図８に示す例では、ＩＤ番号「１８」及びユーザの名前「ｎａｋａｈａｒａ」のユーザの体験履歴データがＸＭＬフォーマットで作成され、体験履歴データは上記の処理により抽出されたシーンを単位として構成されている。また、各シーンの開始時間情報及び継続時間情報が「ｊｉｋａｎ」に格納されるとともに、各シーンにおいて当該ユーザとインタラクションを行った他のユーザ及び人工物のＩＤ番号がインタラクション対象特定情報として格納されている。また、図示を省略しているが、各シーンの開始時間等における静止画像データもシーンごとに格納されている。
【０１０８】
上記のようにして作成された体験履歴データが体験表示装置１へ送信され、体験表示装置１は、この体験履歴データを用いて体験シリンダを作成して３次元的に表示する。図９は、図１に示す体験表示装置により表示される体験シリンダの生成過程を説明するための模式図である。
【０１０９】
まず、図９の（ａ）に示すように、すべてのユーザの体験履歴データの中からメインユーザの体験履歴データのみをメインユーザのＩＤ番号を用いて抽出し、抽出したメインユーザの体験履歴データから複数のシーンのサムネイル画像Ｓ１〜Ｓ４，…が作成される。各サムネイル画像は、メッセージ追記用のテキストレイヤと、各シーンの静止画像を表示するための画像レイヤとを有しており、２つのレイヤは、基本的に半透明で表示され、後述するハイライト機能によってその透明度を変化させる。
【０１１０】
次に、図９の（ｂ）に示すように、各サムネイル画像Ｓ１〜Ｓ５が時系列的に上から下へ一列に並べられ、帯状のスレッドであるメインスレッドＴ１が作成される。次に、図９の（ｃ）に示すように、作成されたメインスレッドＴ１が、メインユーザのスレッドとして体験シリンダの中心軸である第１の軸ＣＬに沿って配置される。
【０１１１】
次に、メインユーザの場合と同様に、すべてのユーザの体験履歴データの中からメインユーザとインタラクションを行ったサブユーザの体験履歴データのみをメインユーザのインタラクション対象特定情報（ＩＤ番号）を用いて抽出し、抽出したサブユーザの体験履歴データからサムネイル画像が作成される。次に、ユーザごとにサブユーザのスレッドとなるサブスレッドＴ２〜Ｔ７が作成され、各サブスレッドＴ２〜Ｔ７が第２の軸ＣＣに沿って且つ第１の軸ＣＬを時間軸として順次配置される。
【０１１２】
このように、メインユーザの視点を中心として、すべてのユーザの体験履歴データの中からメインユーザと関連のあった他のユーザの体験履歴データのみを各ユーザのＩＤ番号を用いてフィルタリングし、メインユーザのサムネイル画像を時系列的に並べたメインスレッドを中心としてサブユーザのサムネイル画像を時系列的に並べたサブスレッドを円筒状に並べた体験シリンダが作成される。
【０１１３】
次に、上記の体験シリンダを表示するための体験表示処理について説明する。図１０は、図１に示す体験表示装置の体験表示処理を説明するためのフローチャートである。
【０１１４】
例えば、操作者が展示会での体験を上記の体験シリンダを用いて表示させるため、自身のＩＤ番号を操作部１５を用いて入力すると、ステップＳ３１において、シリンダ作成部１２は、操作部１５から入力されたＩＤ番号をメインユーザのＩＤ番号として受け付け、体験履歴データ取得部１１を用いて当該ＩＤ番号を有するユーザの体験履歴データを体験履歴データ蓄積サーバ２に要求する。このとき、体験履歴データ蓄積サーバ２からメインユーザの体験履歴データとして各シーンの静止画像データ、インタラクション対象特定情報、開始時間情報及び継続時間情報等が送信されると、体験履歴データ取得部１１は、各データを取得してシリンダ作成部１２へ出力し、シリンダ作成部１２は、メインユーザの体験履歴データとして取得した各データを体験履歴データ記憶部１３に記憶させる。
【０１１５】
次に、ステップＳ３２において、シリンダ作成部１２は、入力されたシーンの体験履歴データに他のユーザのインタラクション対象特定情報があるか否かを判断し、インタラクション対象特定情報がない場合はステップＳ３４へ処理を移行し、インタラクション対象特定情報がある場合はステップＳ３３へ処理を移行する。
【０１１６】
インタラクション対象特定情報がある場合、ステップＳ３３において、シリンダ作成部１２は、インタラクション対象特定情報により特定されるＩＤ番号をサブユーザのＩＤ番号として受け付け、体験履歴データ取得部１１を用いて当該ＩＤ番号を有するユーザの体験履歴データを体験履歴データ蓄積サーバ２に要求する。このとき、体験履歴データ蓄積サーバ２からサブユーザの体験履歴データとして各シーンの静止画像データ、インタラクション対象特定情報、開始時間情報及び継続時間情報等が送信されると、体験履歴データ取得部１１は、各データを取得してシリンダ作成部１２へ出力し、シリンダ作成部１２は、サブユーザの体験履歴データとして取得した各データを体験履歴データ記憶部１３に記憶させる。
【０１１７】
次に、ステップＳ３４において、シリンダ作成部１２は、メインユーザのすべてのシーンの体験履歴データに対してステップＳ３２の判定処理を行ったか否かを判断し、すべてのシーンの体験履歴データに対して判定処理が終了していない場合はステップＳ３２へ戻って以降の処理を継続して他のサブユーザの体験履歴データを順次取得し、すべてのシーンの体験履歴データに対して判定処理が終了した場合にステップＳ３５へ処理を移行する。
【０１１８】
次に、ステップＳ３５において、シリンダ作成部１２は、取得したシーン間にリンクが存在するか否かを判断し、リンクが存在しない場合はステップＳ３７へ処理を移行し、リンクが存在する場合はステップＳ３６へ処理を移行する。具体的には、シリンダ作成部１２は、メインユーザ及びサブユーザの各シーンの体験履歴データ内にインタラクション対象特定情報があるか否かを判断し、インタラクション対象特定情報がある場合に当該インタラクション対象特定情報により特定されるＩＤ番号を有するユーザがメインユーザ又はサブユーザに該当するか否かを判断し、該当するユーザがある場合にシーン間にリンクが存在すると判断し、その他の場合はシーン間にリンクが存在しないと判断する。
【０１１９】
取得したシーン間にリンクが存在する場合、ステップＳ３６において、シリンダ作成部１２は、インタラクション対象特定情報により特定されるＩＤ番号を有するユーザの各シーンの開始時間情報を参照して、インタラクション対象特定情報を含むシーンの開始時間情報により特定される時刻に対して所定時間内、例えば、±５秒以内のシーンを抽出し、インタラクション対象特定情報を含むシーンの体験履歴データと抽出されたシーンの体験履歴データとを連結するリンク標識を作成して体験履歴データ記憶部１３に保存する。
【０１２０】
次に、ステップＳ３７において、シリンダ作成部１２は、メインユーザ及びサブユーザのすべてのシーンの体験履歴データに対してステップＳ３５の判定処理を行ったか否かを判断し、すべてのシーンの体験履歴データに対して判定処理が終了していない場合はステップＳ３５へ戻って以降の処理を継続して他のリンク標識を順次作成し、すべてのシーンの体験履歴データに対して判定処理が終了した場合にステップＳ３８へ処理を移行する。
【０１２１】
次に、ステップＳ３８において、シリンダ作成部１２は、操作者が指定している表示モードがハイライト変更機能のうちのノーマルモードであるか否かを判断し、ノーマルモードである場合はステップＳ３９へ処理を移行し、ノーマルモードでない場合はステップＳ４０へ処理を移行する。ここで、ハイライト変更機能とは、サムネイル画像の画像レイヤ及びテキストレイヤの透明度を変化させることにより、強調して表示する情報を変化させる機能であり、上記のノーマルモード以外に社会的ハイライトモードとテキストモードとがあり、後述する操作画面を用いてユーザが任意のモードを選択することができる。また、ノーマルモードは個人の体験のハイライトに注目した表示モードであり、各ユーザのサムネイル画像の透明度がユーザごとに決定される。
【０１２２】
ノーマルモードの場合、ステップＳ３９において、シリンダ作成部１２は、体験履歴データの継続時間情報により特定される各シーンの継続時間に応じた透明度を各ユーザのサムネイル画像に決定し、決定した透明度をサムネイル画像に対応付けて体験履歴データ記憶部１３に保存する。例えば、展示会で個人の見学体験のハイライトは滞在時間や社会的インタラクションの継続時間で測ることができるため、シリンダ作成部１２は、シーンの時系列の長さから透明度を計算し、各ユーザのサムネイル画像の透明度として、当該サムネイル画像のシーンの継続時間を当該ユーザのすべてのシーンの最大継続時間で除算した値が算出される。この場合、後述する描画処理により、メインユーザ及びサブユーザのサムネイル画像がインタラクションが行われているシーンの継続時間の長さに応じた透明度で表示されるので、各サムネイル画像の透明度によりインタラクションの継続時間の長短を一目で理解することができる。
【０１２３】
次に、ステップＳ４０において、シリンダ作成部１２は、操作者が指定している表示モードが社会的ハイライトモードであるか否かを判断し、社会的ハイライトモードである場合はステップＳ４１へ処理を移行し、社会的ハイライトモードでない場合はステップＳ４２へ処理を移行する。ここで、社会的ハイライトモードとは、あるユーザの視点でフィルタリングした複数のユーザのシーン群から社会的なハイライトを表示するモードであり、社会的なハイライトとは、ユーザ間のインタラクションが頻繁に発生したシーン群である。
【０１２４】
社会的ハイライトモードの場合、ステップＳ４１において、シリンダ作成部１２は、体験履歴データのリンク標識の数に応じた透明度を各ユーザのサムネイル画像に対して決定し、決定した透明度をサムネイル画像に対応付けて体験履歴データ記憶部１３に保存する。具体的には、シリンダ作成部１２は、体験シリンダに含まれる連結したリンク標識をグループ化し、グループ内に含まれるリンク標識の数を計数し、各サムネイル画像の透明度として、当該サムネイル画像が有するリンク標識のグループの連結数を体験シリンダ全体の最大連結数で除算した値を算出する。
【０１２５】
図１１は、リンク標識の計数例を示す模式図である。図１１の（ａ）に示す例は４個のサムネイル画像Ｓに対してリンク標識が０の場合すなわちリンク標識による連結数が０の場合を示し、（ｂ）に示す例は４個のサムネイル画像Ｓに対して１本のリンク標識Ｌがある場合すなわちリンク標識による連結数が１の場合を示し、（ｃ）に示す例は４個のサムネイル画像Ｓに対して３本のリンク標識Ｌがある場合すなわちリンク標識による連結数が３の場合を示し、（ｄ）に示す例は４個のサムネイル画像Ｓに対して５本のリンク標識Ｌがある場合すなわちリンク標識による連結数が５の場合を示している。このようにして計数された連結数に応じて各サムネイル画像の透明度が決定される。
【０１２６】
このように、メインユーザ及びサブユーザのサムネイル画像がリンク標識の数に応じた透明度で表示されるので、各サムネイル画像の透明度によりユーザ間のインタラクションが頻繁に行われた経験を一目で理解することができる。
【０１２７】
次に、ステップＳ４２において、シリンダ作成部１２は、操作者が指定している表示モードがテキストモードであるか否かを判断し、テキストモードである場合はステップＳ４３へ処理を移行し、テキストモードでない場合はステップＳ４４へ処理を移行する。ここで、テキストモードとは、体験履歴データ蓄積サーバ２においてユーザの体験が取得された後に、操作者が操作部１５を用いて追記したメッセージテキストを強調表示するモードである。
【０１２８】
テキストモードの場合、ステップＳ４３において、シリンダ作成部１２は、各サムネイル画像の画像レイヤを通常より薄い所定の透明度に設定するとともに、メッセージテキストが追記されたテキストレイヤの透明度を不透明に設定し、設定した透明度をサムネイル画像に対応付けて体験履歴データ記憶部１３に保存する。
【０１２９】
次に、ステップＳ４４において、シリンダ作成部１２は、メインユーザの体験履歴データを体験履歴データ記憶部１３から読み出して体験シリンダの中心位置にメインスレッドを配置し、上記の表示モードに応じた透明度でメインスレッドを表示部１４に描画する。
【０１３０】
次に、シリンダ作成部１２は、ステップＳ４５において、サブユーザの体験履歴データを体験履歴データ記憶部１３から読み出し、サブユーザの数に応じてサブスレッド間の距離を算出し、ステップＳ４６において、算出した距離を隔てて体験シリンダの円筒側面に各サブスレッドを配置し、上記の表示モードに応じた透明度で各サブスレッドを表示部１４に描画する。ここで、サブスレッド間の距離としては、例えば、サブスレッド間が等間隔になる距離を用いることができる。
【０１３１】
次に、ステップＳ４７において、シリンダ作成部１２は、メインスレッド及びサブスレッドのリンク標識を体験履歴データ記憶部１３から読み出して該当するサムネイル画像を連結するように各リンク標識を配置し、配置したリンク標識を表示部１４に描画し、最終的に、メインユーザ及びサブユーザの体験履歴データを可視化した体験シリンダが表示部１４に表示される。なお、上記の各描画処理には、公知のＷｅｂ３Ｄ技術を用いることができる。
【０１３２】
図１２は、上記の体験表示処理により図１に示す体験表示装置の表示部に表示される操作画面の一例を示す図である。図１２に示す操作画面Ｇ１は、メイン表示部Ｄ１、スレッド表示部Ｄ２、シーン表示部Ｄ３、データ表示部Ｄ４、検索部Ｄ５、テキスト操作部Ｄ６及び画面切り替え部Ｄ７から構成される。
【０１３３】
メイン表示部Ｄ１には、メインスレッドＴ１、複数のサブスレッドＴ２〜Ｔ４…及びリンク標識Ｌ１等から構成される体験シリンダが３次元的に表示され、例えば、メインスレッドＴ１のサムネイル画像Ｓ１とサブスレッドＴ２のサムネイル画像Ｓ２とがリンク標識Ｌ１により連結されて表示されている。操作者は、後述する体験シリンダ操作処理によりマウス等の操作部１５を用いて体験シリンダを移動及び回転させることができ、体験シリンダを回転させることによって注目するユーザを変更したり、上下に移動することによって注目する時間を変更することができる。このように立体構造を用いて情報を可視化する際、３次元ナビゲーションが問題となるが、体験表示装置１では回転シリンダへの操作を回転及び上下方向の移動のみに制限することにより、操作者の負担を軽減している。
【０１３４】
スレッド表示部Ｄ２には、メイン表示部Ｄ１に表示されているメインスレッドＴ１及び複数のサブスレッドＴ２〜Ｔ４のユーザの名前が表示される。このとき、体験シリンダを構成する各ユーザのスレッドＴ１〜Ｔ４の座標に従ってユーザの名前が配置され、例えば、メインスレッドＴ１に対してメインユーザの名前として「ｎａｋａｈａｒａ」が配置される。シーン表示部Ｄ３には、各シーンの時間的位置が表示され、３つの表示領域のうち左側のラインは全体のシーンの位置を示し、中央のラインはメインユーザのシーンの位置を示し、右側のラインは後述するリンク検索及びテキスト検索の結果を表示する。
【０１３５】
データ表示部Ｄ４には、メイン表示部Ｄ１内で操作者が選択したサムネイル画像のシーンの詳細な情報が表示される。例えば、シーンの主体となるユーザの名前、シーンの日時、場所、インタラクションの相手となったユーザの名前等が表示される。検索部Ｄ５は、操作者が操作部１５を用いて体験シリンダ全体から特定のユーザ間のリンク標識及び追記されたメッセージテキストを検索するために使用される。
【０１３６】
テキスト操作部Ｄ６は、操作者が操作部１５を用いてメイン表示部Ｄ１において選択したサムネイル画像にメッセージテキストを記入するために使用される。例えば、サブスレッドＴ２のサムネイル画像Ｓ２に対して「ＡＡＡ」のメッセージが追記されている。このようにメッセージを残すことにより、操作者は同じシーンに興味を持つ他のユーザと非同期的にコミュニケーションを図ることができる。
【０１３７】
画面切り替え部Ｄ７は、操作者がメイン表示部Ｄ１の表示方法を変更するために使用される。メイン表示部Ｄ１の表示方法としては、カメラ視点の変更、後述する体験シリンダの乗り換え、及び上記のノーマルモード、社会的ハイライトモード及びテキストモードの中から操作者が一つのモードを指定する強調表示情報の変更がある。カメラ視点の変更では、体験シリンダを外部から眺めた視点と、内部から透視した視点とを切り替えることができる。
【０１３８】
このように、本実施の形態では、メインユーザの各シーンのサムネイル画像を時間軸に沿って一列に配置したメインスレッドが表示され、メインユーザとインタラクションを行ったサブユーザの各シーンのサムネイル画像を時間軸に沿って一列に配置したサブスレッドが、メインスレッドを中心軸として円筒状に配置されて表示されるので、メインユーザ及びサブユーザのサムネイル画像の時間的な遷移及びメインユーザとサブユーザとのインタラクションの関係を一目で理解することができ、複数の人間のインタラクションに対する多視点的な理解を容易にしてユーザ間のコミュニケーションを充分に促進することができる。また、リンク標識とともにメインユーザ及びサブユーザのサムネイル画像が三次元的に表示されるので、インタラクションを共有したメインユーザ及びサブユーザのサムネイル画像間をリンク標識により連結して表示することができ、インタラクションを共有したメインユーザ及びサブユーザのシーンを一目で識別することができる。この結果、操作者は、見学体験後、自宅等においてＷｅｂブラウザを経由して自身の体験と他のユーザとの関わりを確認及び再発見することができる。
【０１３９】
次に、操作者の操作に応じて上記の体験シリンダを回転及び移動等させるための体験シリンダ操作処理について説明する。図１３は、図１に示す体験表示装置の体験シリンダ操作処理を説明するためのフローチャートである。なお、以下では、操作部１５としてマウスが使用されている場合を例に説明する。
【０１４０】
まず、ステップＳ５１において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のメイン表示部の中央より右側にマウスカーソルが位置しているか否かを判断する。マウスカーソルが中央より右側に位置している場合、シリンダ作成部１２は、ステップＳ５２において、体験シリンダを左回りに回転させて表示部１４に表示させ、マウスカーソルが中央より右側に位置していない場合は処理をステップＳ５３へ移行する。
【０１４１】
次に、ステップＳ５３において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のメイン表示部の中央より左側にマウスカーソルが位置しているか否かを判断する。マウスカーソルが中央より左側に位置している場合、シリンダ作成部１２は、ステップＳ５４において、体験シリンダを右回りに回転させて表示部１４に表示させ、マウスカーソルが中央より左側に位置していない場合は処理をステップＳ５５へ移行する。
【０１４２】
次に、ステップＳ５５において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のメイン表示部の中央より上側にマウスカーソルが位置しているか否かを判断する。マウスカーソルが中央より上側に位置している場合、シリンダ作成部１２は、ステップＳ５６において、体験シリンダを下方向へ移動させて表示部１４に表示させ、マウスカーソルが中央より上側に位置していない場合は処理をステップＳ５７へ移行する。
【０１４３】
次に、ステップＳ５７において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のメイン表示部の中央より下側にマウスカーソルが位置しているか否かを判断する。マウスカーソルが中央より下側に位置している場合、シリンダ作成部１２は、ステップＳ５８において、体験シリンダを上方向へ移動させて表示部１４に表示させ、マウスカーソルが中央より下側に位置していない場合は処理をステップＳ５９へ移行する。
【０１４４】
次に、ステップＳ５９において、シリンダ作成部１２は、操作者がマウスを操作することによりメイン表示部のサムネイル画像を左クリックしたか否かを判断する。サムネイル画像が左クリックされた場合、シリンダ作成部１２は、ステップＳ６０において、左クリックされたサムネイル画像の詳細情報を表示部１４のデータ表示部に表示させ、サムネイル画像が左クリックされていない場合は処理をステップＳ６１へ移行する。
【０１４５】
次に、ステップＳ６１において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のメイン表示部上でマウスを右クリックしたか否かを判断する。マウスが右クリックされた場合、シリンダ作成部１２は、ステップＳ６２において、体験シリンダの回転及び移動を停止させて表示部１４に表示させ、マウスが右クリックされていない場合は処理をステップＳ６３へ移行する。
【０１４６】
次に、ステップＳ６３において、シリンダ作成部１２は、操作者がマウスを操作することにより操作画面のシーン表示部を左クリックしたか否かを判断する。シーン表示部が左クリックされた場合、シリンダ作成部１２は、ステップＳ６４において、左クリックされた位置に対応する時間に体験シリンダの表示位置を移動して表示部１４に表示させ、ステップＳ６４の処理後、又はシーン表示部が左クリックされていない場合、ステップＳ５１へ戻って以降の処理を継続する。
【０１４７】
なお、各判断ステップの順序は、上記の例に特に限定されず、種々の変更が可能であり、また、割り込み処理により上記の処理を実行するようにしてよい。また、マウス等の操作部の各操作状態に対する回転、移動等の動作の組み合わせも上記の例に特に限定されず、種々の変更が可能であり、操作部もマウスに特に限定されず、ジョイステック等を用いてもよい。
【０１４８】
次に、体験シリンダの中から操作者が選択したサブユーザをメインユーザとして新たな体験シリンダを作成する体験シリンダ乗り換え処理について説明する。図１４は、図１に示す体験表示装置の体験シリンダ乗り換え処理を説明するためのフローチャートである。
【０１４９】
図１０に示す体験表示処理により、あるユーザをメインユーザとする体験シリンダが作成された後、操作者が画面切り替え部のユーザ切り替え欄に表示したいサブユーザの名前を入力すると、ステップＳ７１において、シリンダ作成部１２は、入力されたサブユーザのサブスレッドをメインスレッドに置き換える。次に、ステップＳ７２において、シリンダ作成部１２は、体験シリンダを構成する他のスレッドがメインスレッドに対するリンク標識を有しているか否かを判断し、メインスレッドとのリンク標識がない場合はステップＳ７３において、当該スレッドを削除し、メインスレッドとのリンク標識がある場合はステップＳ７４へ処理を移行する。
【０１５０】
次に、ステップＳ７４において、シリンダ作成部１２は、体験シリンダを構成する他の全てのスレッドに対してステップＳ７２の判定処理が終了したか否かを判断し、判定処理が終了していないスレッドがある場合はステップＳ７２へ移行して処理を継続し、全てのスレッドに対して判定処理が終了している場合はステップＳ７５へ処理を移行する。
【０１５１】
全てのスレッドに対して判定処理が終了している場合、ステップＳ７５において、シリンダ作成部１２は、削除されていないスレッドの各シーンの体験履歴データに他のユーザのインタラクション対象特定情報があるか否かを判断し、インタラクション対象特定情報がない場合はステップＳ７８へ処理を移行し、インタラクション対象特定情報がある場合はステップＳ７６へ処理を移行する。
【０１５２】
インタラクション対象特定情報がある場合、ステップＳ７６において、シリンダ作成部１２は、インタラクション対象特定情報により特定されるＩＤ番号を有するユーザのスレッドが既存のサブスレッド内にあるか否かを判断し、既存のサブスレッド内にある場合はステップＳ７８へ処理を移行し、既存のサブスレッド内にない場合はステップＳ７７へ処理を移行する。
【０１５３】
既存のサブスレッド内にない場合、ステップＳ７７において、シリンダ作成部１２は、インタラクション対象特定情報により特定されるＩＤ番号をサブユーザのＩＤ番号として受け付け、体験履歴データ取得部１１を用いて当該ＩＤ番号を有するユーザの体験履歴データを体験履歴データ蓄積サーバ２に要求する。このとき、体験履歴データ蓄積サーバ２からサブユーザの体験履歴データが送信されると、体験履歴データ取得部１１は、送信されたサブユーザの体験履歴データを取得してシリンダ作成部１２へ出力し、シリンダ作成部１２は、サブユーザの体験履歴データを体験履歴データ記憶部１３に記憶させる。
【０１５４】
次に、ステップＳ７８において、シリンダ作成部１２は、メインユーザのすべてのシーンの体験履歴データに対してステップＳ７５，Ｓ７６の判定処理を行ったか否かを判断し、すべての体験履歴データに対して判定処理が終了していない場合はステップＳ７５へ戻って以降の処理を継続して他のサブユーザの体験履歴データを順次取得し、すべての体験履歴データに対して判定処理が終了した場合にステップＳ７９へ処理を移行する。
【０１５５】
すべての体験履歴データに対して判定処理が終了した場合、ステップＳ７９において、図１０に示すステップＳ３５〜Ｓ３７のリンク作成処理が実行され、さらに、ステップＳ８０において、図１０に示すステップＳ３８〜Ｓ４７の３次元描画処理が実行される。このようにして、体験シリンダの中から操作者が選択したサブユーザをメインユーザとして新たな体験シリンダを作成して表示することができるので、表示主体となるメインユーザの切り替えを容易に行うことができる。
【０１５６】
なお、上記の説明では、体験履歴データとして静止画像を表示したが、表示されている静止画像の選択により動画像を表示したり、動画像を体験履歴データとして表示する等の種々の変更が可能である。
【０１５７】
また、体験履歴データとして人間の体験履歴データを表示したが、人間の体験履歴データに代えて又は付加してロボット型観測装置等の人工物の体験履歴データを表示するようにしてもよい。
【０１５８】
また、体験表示装置が体験履歴データを取得する体験履歴データ蓄積サーバの構成は、上記の例に特に限定されず、他の装置により取得された体験履歴データを単に記憶し、体験表示装置の要求に応じた体験履歴データを送信してもよく、種々の変更が可能である。
【図面の簡単な説明】
【図１】本発明の一の実施の形態による体験表示装置を用いた体験表示システムの構成を示すブロック図である。
【図２】図１に示す体験履歴データ蓄積サーバの構成を示すブロック図である。
【図３】図２に示す赤外線タグ及び人間用観測装置の構成を示すブロック図である。
【図４】図２に示す周囲状況観測装置の構成を示すブロック図である。
【図５】図２に示す人間用観測装置、携帯型コンピュータ、周囲状況観測装置、ロボット型観測装置及びぬいぐるみ型観測装置の一例を説明するための模式図である。
【図６】図２に示す体験履歴データ蓄積サーバのＸＭＬデータ作成処理を説明するためのフローチャートである。
【図７】イベントの種類を示す模式図である。
【図８】ＸＭＬフォーマットで作成された体験履歴データの構成の一例を示す図である。
【図９】図１に示す体験表示装置により表示される体験シリンダの生成過程を説明するための模式図である。
【図１０】図１に示す体験表示装置の体験表示処理を説明するためのフローチャートである。
【図１１】リンク標識の計数例を示す模式図である。
【図１２】図１に示す体験表示装置の表示部に表示される操作画面の一例を示す図である。
【図１３】図１に示す体験表示装置の体験シリンダ操作処理を説明するためのフローチャートである。
【図１４】図１に示す体験表示装置の体験シリンダ乗り換え処理を説明するためのフローチャートである。
【符号の説明】
１体験表示装置
２体験履歴データ蓄積サーバ
１１体験履歴データ取得部
１２シリンダ作成部
１３体験履歴データ記憶部
１４表示部
１５操作部

Claims

ユーザが体験したインタラクションを表す体験履歴データを可視的に表示する体験表示装置であって、
メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得手段と、
仮想三次元空間内に第１の軸を規定するとともに、前記第１の軸を中心軸とする円筒の周面に沿って且つ前記第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを前記第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに前記第２の軸に沿って時系列的に一列に配置する配置手段と、
前記配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示手段とを備えることを特徴とする体験表示装置。
前記体験履歴データは、メインユーザ又はサブユーザがインタラクションを行った時刻を特定するための時刻情報を含み、
前記配置手段は、各体験履歴データの時刻情報に応じて、前記第１の軸を時間軸としてメインユーザの体験履歴データを時系列的に一列に配置するとともに、サブユーザの体験履歴データを時系列的に一列に配置することを特徴とする請求項１に記載の体験表示装置。
前記体験履歴データは、メインユーザ又はサブユーザがインタラクションを行っている継続時間を特定するための継続時間情報と、メインユーザ又はサブユーザが体験したインタラクションを表す静止画像データとを含み、
前記配置手段は、前記継続時間情報により特定される継続時間の長さに応じた透明度を前記静止画像データごとに決定し、
前記表示手段は、前記配置手段により決定された透明度で前記静止画像データを前記体験履歴データとして表示することを特徴とする請求項１又は２記載の体験表示装置。
前記メインユーザの体験履歴データは、メインユーザがインタラクションを行ったサブユーザを特定するためのインタラクション対象特定情報をさらに含み、
前記配置手段は、前記メインユーザの体験履歴データと、当該メインユーザの体験履歴データのインタラクション対象特定情報により特定されるサブユーザの体験履歴データの中から当該メインユーザの体験履歴データの時刻情報により特定される時刻に対して所定時間内のサブユーザの体験履歴データとを連結するためのリンク標識を作成し、
前記表示手段は、前記配置手段により作成されたリンク標識とともに前記メインユーザ及びサブユーザの体験履歴データを表示することを特徴とする請求項２記載の体験表示装置。
前記体験履歴データは、メインユーザ又はサブユーザが体験したインタラクションを表す静止画像データを含み、
前記配置手段は、前記リンク標識の数に応じた透明度を前記静止画像データごとに決定し、
前記表示手段は、前記配置手段により決定された透明度で前記静止画像データを前記体験履歴データとして表示することを特徴とする請求項４に記載の体験表示装置。
前記表示手段により表示されているメインユーザ及びサブユーザの体験履歴データを前記第１の軸に沿った方向に移動するための操作者の移動指示を受け付ける移動受付手段と、
前記表示手段により表示されているメインユーザ及びサブユーザの体験履歴データを前記第１の軸を回転軸として回転するための操作者の回転指示を受け付ける回転受付手段とをさらに備え、
前記表示手段は、前記移動受付手段によって受け付けられた移動指示に応じて前記メインユーザ及びサブユーザの体験履歴データを前記第１の軸に沿った方向に移動させて表示し、前記回転受付手段によって受け付けられた回転指示に応じて前記メインユーザ及びサブユーザの体験履歴データを前記第１の軸を回転軸として回転させて表示することを特徴とする請求項１〜５のいずれかに記載の体験表示装置。
前記表示手段により体験履歴データが表示されているサブユーザの中から操作者が選択したサブユーザをメインユーザとして受け付けるユーザ受付手段をさらに備え、
前記取得手段は、前記ユーザ受付手段によって受け付けられたサブユーザとインタラクションを行った他のユーザの体験履歴データを取得し、
前記配置手段は、前記ユーザ受付手段によって受け付けられたサブユーザの体験履歴データを前記第１の軸に沿って時系列的に一列に配置するとともに、前記取得手段により取得された他のユーザの体験履歴データをユーザごとに前記第２の軸に沿って時系列的に一列に配置することを特徴とする請求項１〜６のいずれかに記載の体験表示装置。
メインユーザが体験したインタラクションを表す体験履歴データを可視的に表示する体験表示方法であって、
コンピュータが、メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得ステップと、
前記コンピュータが、仮想三次元空間内に第１の軸を規定するとともに、前記第１の軸を中心軸とする円筒の周面に沿って且つ前記第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを前記第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに前記第２の軸に沿って時系列的に一列に配置する配置ステップと、
前記コンピュータが、前記配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示ステップとを含むことを特徴とする体験表示方法。
メインユーザが体験したインタラクションを表す体験履歴データを可視的に表示するための体験表示プログラムであって、
メインユーザの体験履歴データと、メインユーザとインタラクションを行った複数のサブユーザの体験履歴データとを取得する取得手段と、
仮想三次元空間内に第１の軸を規定するとともに、前記第１の軸を中心軸とする円筒の周面に沿って且つ前記第１の軸と平行な複数の第２の軸を規定し、メインユーザの体験履歴データを前記第１の軸に沿って時系列的に一列に配置するとともに、サブユーザの体験履歴データをユーザごとに前記第２の軸に沿って時系列的に一列に配置する配置手段と、
前記配置手段により配置されたメインユーザ及びサブユーザの体験履歴データを表示する表示手段としてコンピュータを機能させることを特徴とする体験表示プログラム。