JP2004054886A - データベース作成装置 - Google Patents

Abstract

【課題】言語化されていない日常常識を自動的にデータベース化することができるデータベース作成装置を提供する。
【解決手段】周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅは、講演会における講演者及び聴講者のインタラクションを異なる視点から観測し、時間情報付加部２は、観測されたインタラクションデータに時間情報を付加し、インタラクション・コーパス３に蓄積してデータベースを作成する。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、人間のインタラクション（相互作用）に関するインタラクションデータを蓄積したデータベースを作成するデータベース作成装置に関するものである。
【０００２】
【従来の技術】
近年、人工知能研究の一分野としてオントロジー研究が行われ、例えば、大阪大学の溝口らはオントロジー工学を提唱し（例えば、非特許文献１参照）、東京大学やＳｔａｎｆｏｒｄ大学でもオントロジーを中心に据えた人工物設計の理論構築が試みられている。また、日常常識を辞書化する試みとして、ＣＹＣ、ＷｏｒｄＮｅｔ、ＥＤＲ等のプロジェクトが行われている（例えば、非特許文献２参照）。
【０００３】
【非特許文献１】
溝口理一郎、オントロジー研究の基礎と応用、人工知能学会誌、Ｖｏｌ．１４、Ｎｏ．６、１９９９年、ｐｐ．９７７−９８８
【非特許文献２】
Ｃｏｍｍｕｎｉｃａｔｉｏｎ　ｏｆ　ｔｈｅ　ＡＣＭ、Ｖｏｌ．３８、Ｎｏ．１１、１９９５年
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の試みは、人間の専門家が行う設計問題を機械化したエキスパートシステムの構築を動機としているため、対象となるデータが自ずと教科書的な専門知識に限られる傾向があり、人間が何気なく扱っている言語化されていない日常常識を取り扱うことができない。また、上記のＣＹＣ、ＷｏｒｄＮｅｔ、ＥＤＲ等のプロジェクトにおける試みは人手によって行われ、扱われるデータも恣意的なものであるため、種々の日常常識を自動的にデータベース化することはできない。
【０００５】
本発明の目的は、言語化されていない日常常識を自動的にデータベース化することができるデータベース作成装置を提供することである。
【０００６】
【課題を解決するための手段および発明の効果】
（１）第１の発明
第１の発明に係るデータベース作成装置は、人間のインタラクションに関するインタラクションデータを蓄積したデータベースを作成するデータベース作成装置であって、人間のインタラクションを第１の視点から観測したインタラクションデータを出力する第１の観測手段と、第１の観測手段による観測時に、人間のインタラクションを第１の視点と異なる第２の視点から観測したインタラクションデータを出力する第２の観測手段と、第１及び第２の観測手段により観測されたインタラクションデータをデータベースとして蓄積する蓄積手段とを備えるものである。
【０００７】
本発明に係るデータベース作成装置においては、人間のインタラクションが複数の異なる視点から観測され、観測されたインタラクションデータがデータベースとして蓄積され、人間のインタラクションに関するインタラクションデータを蓄積したデータベースが作成される。このようにして、一つの人間のインタラクションに対して視点の異なる複数のインタラクションデータを収集することにより、人が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができ、日常常識を自動的にデータベース化することができる。
【０００８】
（２）第２の発明
第２の発明に係るデータベース作成装置は、第１の発明に係るデータベース作成装置の構成において、第１及び第２の観測手段のうちの少なくとも一方は、人間のインタラクションを観測するときに、人間のインタラクションを能動的に演出するものである。
【０００９】
この場合、人間のインタラクションを能動的に演出しながら、人間のインタラクションを観測することができるので、人間のインタラクションを誘発させてインタラクションデータを容易に収集することができる。
【００１０】
（３）第３の発明
第３の発明に係るデータベース作成装置は、第１又は第２の発明に係るデータベース作成装置の構成において、第１及び第２の観測手段のうちの一方は、インタラクションを行う人間の視点から観測したインタラクションデータを出力し、他方は、インタラクションを行う人間を含む周囲状況を観測したインタラクションデータを出力するものである。
【００１１】
この場合、インタラクションを行う人間の視点から観測したインタラクションデータと、インタラクションを行う人間を含む周囲状況を観測したインタラクションデータとを収集することができるので、一つのインタラクションに対して局所的な視点及び全体的な視点からみた種々のインタラクションデータを容易に収集することができる。
【００１２】
（４）第４の発明
第４の発明に係るデータベース作成装置は、第１又は第２の発明に係るデータベース作成装置の構成において、第１及び第２の観測手段のうちの少なくとも一方は、観測される人間とインタラクションを行う人工物を含み、人工物は、人工物自身の視点から人間のインタラクションを観測するものである。
【００１３】
この場合、人間とインタラクションを行う人工物の視点から観測したインタラクションデータを収集することができるので、人間のインタラクションを客観的に且つ局所的に観測したインタラクションデータを容易に収集することができる。
【００１４】
（５）第５の発明
第５の発明に係るデータベース作成装置は、第１〜第４のいずれかの発明に係るデータベース作成装置の構成において、蓄積手段は、観測時刻を特定可能な状態でインタラクションデータを蓄積する。
【００１５】
この場合、複数のインタラクションデータの観測時刻を特定することができるので、一つのインタラクションデータの観測時刻における他のインタラクションデータを容易に特定することができる。
【００１６】
（６）第６の発明
第６の発明に係るデータベース作成装置は、第１〜第５のいずれかの発明に係るデータベース作成装置の構成において、蓄積手段は、インタラクションデータの変化を基にインタラクションデータにインデックスを付与するものである。
【００１７】
この場合、インタラクションデータが変化する部分にインデックスを付与することができるので、このインデックスを用いて人間のインタラクションのうち特定部分のインタラクションデータを自動的に抽出することができる。
【００１８】
（７）第７の発明
第７の発明に係るデータベース作成装置は、第１〜第６のいずかの発明に係るデータベース作成装置の構成において、第１の観測手段は、インタラクションを行う人間に装着され、且つ、当該人間の視点から撮影した所定の撮影範囲内の映像情報を出力するとともに、当該撮影範囲内に位置する、人間のインタラクションに使用される対象物及び／又は他の人間を識別するための識別情報を出力する人間用観測装置を含み、第２の観測手段は、インタラクションを行う人間が位置する空間を構成する構造物に固定され、インタラクションを行う人間を含む周囲状況を撮影した所定の撮影範囲内の映像情報を出力するとともに、当該撮影範囲内に位置する、人間のインタラクションに使用される対象物及び／又は人間を識別するための識別情報を出力する周囲状況観測装置を含むものである。
【００１９】
この場合、人間用観測装置及び周囲状況観測装置から出力される人間及び／又は対象物の識別情報を用いて、人間用観測装置及び周囲状況観測装置により撮影された映像情報に含まれる人間及び／又は対象物を識別することができるので、各映像内の人間及び／又は対象物を識別して人間のインタラクションを人間及び／又は対象物との関係から解析することができ、人が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができる。
【００２０】
（８）第８の発明
第８の発明に係るデータベース作成装置は、第１〜第６のいずかの発明に係るデータベース作成装置の構成において、人間のインタラクションに使用される対象物に取り付けられ、対象物に対して一意的に割り付けられた識別情報に応じて赤外線を発光する発光装置をさらに備え、第１の観測手段は、人間に装着される人間用観測装置を含み、人間用観測装置は、当該人間用観測装置を装着する人間の視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段と、撮影手段の光軸に合わせた光軸を有し、当該人間用観測装置を装着する人間の視線方向の可視光画像を撮影する可視光撮影手段と、当該人間用観測装置を装着する人間に対して一意的に割り付けられた識別情報に応じて赤外線を発光する発光手段とを備え、第２の観測手段は、インタラクションを行う人間が位置する空間を構成する構造物に固定され、インタラクションを行う人間を含む周囲状況を観測する周囲状況観測装置を含み、周囲状況観測装置は、所定方向に設定された光軸を有し、インタラクションを行う人間を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、撮影手段により撮影された赤外線画像を用いて発光装置及び／又は人間用観測装置の発光手段を検出する発光装置検出手段と、発光装置検出手段により検出された発光装置及び／又は人間用観測装置の発光手段の点滅状態を検出して発光装置及び／又は人間用観測装置の発光手段の識別情報を検出する識別情報検出手段と、撮影手段の光軸に合わせた光軸を有し、インタラクションを行う人間を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、蓄積手段は、人間用観測装置の識別情報検出手段及び周囲状況観測装置の識別情報検出手段により検出された識別情報と、人間用観測装置の可視光撮影手段及び周囲状況観測装置の可視光撮影手段により撮影された可視光画像データとをそれぞれの観測時刻を特定可能な状態で記憶するものである。
【００２１】
この場合、人間用観測装置の識別情報検出手段及び周囲状況観測装置の識別情報検出手段により検出された人間及び／又は対象物の識別情報と、人間用観測装置の可視光撮影手段及び周囲状況観測装置の可視光撮影手段により撮影された可視光画像データとがそれぞれの観測時刻を特定可能な状態で記憶されているので、各可視光画像内の人間及び／又は対象物を識別して人間のインタラクションを人間及び／又は対象物との関係から解析することができ、人が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができる。
【００２２】
（９）第９の発明
第９の発明に係るデータベース作成装置は、第８の発明に係るデータベース作成装置の構成において、蓄積手段に蓄積されている識別情報のうち第１の時間以上の間隔を空けずに且つ第２の時間以上連続して検出された識別情報とともに撮影された可視光画像データを一つのイベントデータとして抽出する抽出手段をさらに備えるものである。
【００２３】
この場合、第１の時間以上の間隔を空けずに且つ第２の時間以上連続して検出された識別情報とともに撮影された可視光画像データを一つのイベントデータとして抽出しているので、人間のインタラクションの最小単位となる映像データをイベントデータとして抽出することができる。
【００２４】
（１０）第１０の発明
第１０の発明に係るデータベース作成装置は、第９の発明に係るデータベース作成装置の構成において、抽出手段により抽出されたイベントデータのうち観測時間が所定時間以上重なっているイベントデータを一つのシーンデータとして連結する第１の連結手段をさらに備えるものである。
【００２５】
この場合、観測時間が所定時間以上重なっているイベントデータを一つのシーンデータとして連結しているので、人間のインタラクションとして意味のある適度な長さの映像データをシーンデータとして抽出することができる。
【００２６】
（１１）第１１の発明
第１１の発明に係るデータベース作成装置は、第９又は１０の発明に係るデータベース作成装置の構成において、抽出手段により抽出されたイベントデータのうち観測場所が共通するイベントデータを一つのシーンデータとして連結する第２の連結手段をさらに備えるものである。
【００２７】
この場合、観測場所が共通するイベントデータを一つのシーンデータとして連結しているので、空間的な位置関係から人間のインタラクションとして一塊とすべき映像データをシーンデータとして抽出することができる。
【００２８】
（１２）第１２の発明
第１２の発明に係るデータベース作成装置は、第１１の発明に係るデータベース作成装置の構成において、人間用観測装置及び周囲状況観測装置により検出された識別情報に基づいて、予め設定されている複数のインタラクション状態の中から第２の連結手段により連結されたシーンデータのインタラクション状態を決定する決定手段と、決定手段により決定されたインタラクション状態に応じた注釈をシーンデータに付加する付加手段とをさらに備えるものである。
【００２９】
この場合、予め設定されている複数のインタラクション状態の中から識別情報に基づいてシーンデータのインタラクション状態を決定し、決定されたインタラクション状態に応じた注釈をシーンデータに付加しているので、シーンデータのインタラクション状態に応じた注釈を自動的に付与することができ、このシーンデータを観測時間順に並べることにより、特定の人間のインタラクションに関するビデオサマリを自動的に作成することができる。
【００３０】
【発明の実施の形態】
以下、本発明の各実施の形態によるデータベース作成装置について図面を参照しながら説明する。図１は、本発明の第１の実施の形態によるデータベース作成装置の構成を示すブロック図である。なお、本実施の形態では、講演会場において講演者が講演を行っている様子を複数の聴講者が聴講しているときに、講演者及び聴講者のインタラクションに関するインタラクションデータを蓄積した知識ベースを作成する場合について説明するが、本発明はこの例に特に限定されず、ラウンドテーブルを囲んだ自由討論等の打合せ、ある物体や書類を囲んで複数人が作業を行う共同作業等の種々のイベントにおける、人間と人間、人間と人工物、人間と環境等の間の種々のインタラクションに同様に適用することができる。
【００３１】
図１に示すデータベース作成装置は、周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ、ぬいぐるみ型観測装置１ｅ、時間情報付与部２、インタラクション・コーパス３、インデックス付与部４及びデータ表示部５を備える。なお、図１では、図示を容易にするために１個の聴講者用観測装置１ｃのみを図示しているが、聴講者用観測装置１ｃは聴講者ごとに設けられている。
【００３２】
周囲状況観測装置１ａは、例えば、講演会場に設置された一つ又は複数のビデオカメラ及びマイクロホン等から構成され、講演者及び聴講者を含む講演会場の全体状況等を撮影及び録音等して観測し、インタラクションデータとして映像データ及び音声データ等を時間情報付与部２へ出力する。なお、周囲状況観測装置１ａの構成は、観測するインタラクションが行われる状況等に応じて種々の変更が可能であり、複数のビデオカメラやマイクロホンを部屋の壁や天井等に埋め込んだり、家具、机及び椅子等に各種センサを埋め込むようにしてもよい。
【００３３】
講演者用観測装置１ｂは、例えば、講演者が身に付けたビデオカメラ、マイクロホン、アイトラッカー、モーションキャプチャー用マーカ、脳波計測器、脈拍センサ、及びＬＥＤ（発光ダイオード）付バッジ等から構成され、講演者の視点から講演会場の状況及び講演者自身の状況等を撮影、録音及び測定等して観測し、インタラクションデータとして映像データ、音声データ、視線方向データ、モーションデータ、脳波データ、脈拍データ、位置データ等を時間情報付与部２へ出力する。なお、講演者用観測装置１ｂの構成は、観測するインタラクション等に応じて種々の変更が可能であり、加速度センサやコンパスを利用して動き検出等を行うようにしてもよい。
【００３４】
聴講者用観測装置１ｃは、例えば、聴講者が身に付けたビデオカメラ、マイクロホン、アイトラッカー、モーションキャプチャー用マーカ、脳波計測器、脈拍センサ、及びＬＥＤ付バッジ等から構成され、聴講者の視点から講演会場の状況及び聴講者自身の状況等を撮影、録音及び測定等して観測し、インタラクションデータとして映像データ、音声データ、視線方向データ、モーションデータ、脳波データ、脈拍データ、位置データ等を時間情報付与部２へ出力する。
【００３５】
ロボット型観測装置１ｄは、例えば、視覚、聴覚及び触覚を有するヒューマノイド型自律移動ロボット等から構成され、ロボット自身の視点から講演会場の状況、講演者及び聴講者の状況等を撮影、録音及び測定等して観測し、インタラクションデータとして映像データ、音声データ、視線方向データ、モーションデータ、触覚データ、位置データ等を時間情報付与部２へ出力する。
【００３６】
また、ロボット型観測装置１ｄは、観測時に講演者又は聴講者のインタラクションを能動的に演出しながら、講演者又は聴講者のインタラクションを観測する。このように、講演者又は聴講者のインタラクションを能動的に演出しながら、講演者又は聴講者のインタラクションを観測することができるので、講演者又は聴講者のインタラクションを誘発させてインタラクションデータを容易に収集することができる。
【００３７】
例えば、講演終了後に記念写真を撮影する場合、被写体の目線をカメラ方向に向けてリラックスした笑顔を演出して撮影することが望まれるが、ロボット型観測装置１ｄに指差しの動作を行わせることにより、被写体である講演者及び聴講者の目線を誘導して「はい笑って」というようなきっかけを与えることができる。また、ロボット型観測装置１ｄは、限られた観測装置群で講演者及び聴講者のインタラクションを的確に観測するために、観測に都合の良い場所や配置に講演者及び聴講者を導くようにジェスチャーや対話等を能動的に行ってインタラクションを演出するようにしてもよい。また、ロボット型観測装置１ｄと聴講者用観測装置１ｃ等とを連動させ、聴講者用観測装置１ｃ等が観測しているときに、ロボット型観測装置１ｄが所定のアクションを起して聴講者用観測装置１ｃ等が観測しやすい状況を誘発させるようにしてもよい。なお、上記のようなインタラクションの能動的な演出は、他の観測装置を用いて行ってもよい。
【００３８】
ぬいぐるみ型観測装置１ｅは、例えば、視覚、聴覚、触覚及び体勢感覚を有するぬいぐるみ型観測装置等から構成され、聴講者は通常のぬいぐるみで遊ぶ感覚でぬいぐるみを保持する。ぬいぐるみ型観測装置１ｅは、ぬいぐるみ自身の視点から聴講者の状況等を撮影、録音及び測定等して観測し、インタラクションデータとして映像データ、音声データ、視線方向データ、触覚データ、体勢データ等を時間情報付与部２へ出力する。なお、ぬいぐるみ型観測装置１ｅは、上記のようにインタラクションデータを取得するだけでなく、ロボット型観測装置１ｄと同様に聴講者等のインタラクションを能動的に演出するようにしてもよく、例えば、聴講者等にコメントを求めてインタラクションデータにアノテーションを付加するようにしてもよい。
【００３９】
上記のように、講演者用観測装置１ｂ及び聴講者用観測装置１ｃにより観測される講演者及び聴講者の視点から観測したインタラクションデータと、周囲状況観測装置１ａにより観測される講演者及び聴講者を含む周囲状況を観測したインタラクションデータとを収集することができるので、講演会における講演者及び聴講者のインタラクションに対して局所的な視点及び全体的な視点からみた種々のインタラクションデータを容易に収集することができる。
【００４０】
また、講演者及び聴講者とインタラクションを行う人工物であるロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅの視点から観測したインタラクションデータを収集することができるので、講演会における講演者及び聴講者のインタラクションに対して客観的に且つ局所的に観測されたインタラクションデータを容易に収集することができる。なお、各観測装置の種類及び数は、上記の例に特に限定されず、種々の変更が可能である。
【００４１】
図２は、図１に示す周囲状況観測装置１ａ、ロボット型観測装置１ｄ、ぬいぐるみ型観測装置１ｅの一例を説明するための模式図であり、図３は、図１に示す講演者用観測装置１ｂの一例を説明するための模式図である。図２に示す例は、講演会場である部屋において、講演者ＳＰがプロジェクタＰＯにより所定のスライド画面をスクリーンＳＣに写して講演を行い、この講演を２人の聴講者Ａ１，Ａ２が椅子にかけて聴講している例である。
【００４２】
上記の状態で、周囲状況観測装置１ａとして、ビデオカメラ１１ａが講演会場となる部屋全体を撮影したビデオデータ（基本的に動かず静的なデータ）を出力し、ロボット型観測装置１ｄとして、ロボット１１ｄが聴講者Ａ１のインタラクションを能動的に演出しながらロボット１１ｄの視線により聴講者Ａ１のインタラクションを観測したビデオデータ（ロボット自身のタスクに応じた視野の映像データ及び音声データ）を出力し、ぬいぐるみ型観測装置１ｅとして、ぬいぐるみ１１ｅが聴講者Ａ２に抱きかかえられた状態でぬいぐるみ１１ｅの視線により聴講者Ａ２のインタラクションを観測したビデオデータ（聴講者等の持ち主の意図を反映した視線に応じた映像データ及び音声データ）を出力する。
【００４３】
なお、図２では図示を省略しているが、講演者ＳＰには、講演者用観測装置１ｂとして、図３に示すように、脳波計測器１４ｂ、ビデオカメラ１５ｂ、アイトラッカー１６ｂ、脈拍センサ１７ｂ、複数のモーションキャプチャー用マーカ１８ｂ、ＬＥＤバッジ１９ｂ及びマイクロホン２０ｂが装着されている。なお、各聴講者Ａ１，Ａ２にも、聴講者用観測装置１ｃとして、同様に脳波計測器等が装着され、同様のインタラクションデータが取得されている。
【００４４】
複数のマーカ１８ｂが講演者ＳＰの体の各部位に機械的に取り付けられるとともに、図２に示す複数のモーションキャプチャー用ビデオカメラ１１ｂ〜１３ｂが複数のマーカ１８ｂを撮影可能なように部屋の所定位置に設置され、モーションキャプチャシステムが構成される。ビデオカメラ１１ｂ〜１３ｂは、複数のマーカ１８ｂを撮影し、この撮影データから３次元空間における各マーカ１８ｂの動きが検出され、講演者ＳＰの手足の動きや手の曲げ角度等が数値的に検出される。
【００４５】
ビデオカメラ１５ｂは、講演者ＳＰの両眼の略中心上部に装着され、講演者ＳＰの視線方向の映像を撮影し、マイクロホン２０ｂは、講演者ＳＰの胸部に装着され、講演者ＳＰの発話を採取する。脳波計測器１４ｂは、講演者ＳＰの脳波を測定し、脈拍センサ１７ｂは、講演者ＳＰの脈拍を測定し、アイトラッカー１６ｂは、講演者ＳＰの両眼の眼球運動を捉えて眼の向きと両眼視差とから視点を検出する。なお、視点は、ビデオカメラ１５ｂの映像を用いて検出するようにしてもよい。
【００４６】
また、図２に示すように複数のＬＥＤマーカ１２ａがスクリーンＳＣに格子状に取り付けられており、ビデオカメラ１５ｂは、複数のＬＥＤマーカ１２ａを含む映像を撮影する。各ＬＥＤマーカ１２ａは、所定周期で高速に点滅を繰り返し、撮影された映像データの時間軸に０，１のパターンでマーカ自身のＩＤ及び関連情報等が埋め込まれる。これらの情報を用いて、講演者ＳＰの視野が測定される。
【００４７】
ＬＥＤバッジ１９ｂは、小型のバッジ形状を有し、上記のＬＥＤマーカ１２ａと同様に動作する。ＬＥＤバッジ１９ｂは、図２に示すビデオカメラ１１ａによって撮影され、この撮影データから講演者ＳＰの位置が検出される。
【００４８】
上記のようにして観測される各インタラクションデータは、そのモダリティにより、例えば、ビデオデータ、動きデータ、生体データ、情報データに分類される。まず、ビデオデータとしては、映像データ及び音声データが含まれ、周囲状況観測装置１ａによって観測される講演会場となる部屋全体を撮影したビデオデータ、講演者用観測装置１ｂ及び聴講者用観測装置１ｃによって観測される講演者及び聴講者ごとの各個人の視線によるビデオデータ、ロボット型観測装置１ｄによって観測されるロボット１１ｄの視線によるビデオデータ、ぬいぐるみ型観測装置１ｅによって観測されるぬいぐるみ１１ｅの視線によるビデオデータが該当する。
【００４９】
次に、動きデータとしては、人間の動きデータ、ロボットの動きデータ、ぬいぐるみの動きデータが含まれ、講演者用観測装置１ｂ及び聴講者用観測装置１ｃによって観測される講演者ＳＰ及び聴講者Ａ１，Ａ２の動きデータが該当する。なお、ロボット１１ｄの動きデータとしては、ロボット自身のタスクに応じた移動履歴を利用したり、上記のモーションキャプチャシステムを利用することにより、ロボット自身が自らプランニングした動作意図と実際の動作結果との相違を把握するようにしてもよい。また、ぬいぐるみ１１ｅの動きデータとしては、ぬいぐるみ自体が自律的に動くわけではないが、持ち主である聴講者Ａ２がぬいぐるみ１１ｅに対して意識的又は無意識的に行う動作を蓄積するようにしてもよい。
【００５０】
次に、生体データとしては、人間の脈拍データ、脳波データ、体温データ、発汗データ、視線（視点）データ等が含まれ、講演者用観測装置１ｂ及び聴講者用観測装置１ｃによって観測される講演者ＳＰ及び聴講者Ａ１，Ａ２の脈拍データ及び脳波データが該当する。
【００５１】
次に、情報データとして、観測されるイベントに先駆けて予め用意された電子的な情報もインタラクションデータの一部として取り扱うようにしてもよく、例えば、上記の講演会の場合、発表スライドの電子データ等が該当する。また、印刷物上に書いた手書きメモ、ノート型パソコンを用いて入力されたタイピングメモ等の観測されるイベント中に人間が残したメモや、胸に取り付けたマイクロホンを用いて録音された音声等の音声メモも、情報データに含まれ、これらのデータをインタラクションデータの一部として蓄積するようにしてもよい。
【００５２】
再び、図１を参照して、時間情報付与部２、インタラクション・コーパス３、インデックス付与部４及びデータ表示部５は、例えば、入力装置、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、表示装置等を備える単数又は複数のコンピュータ等から構成される。この場合、ＣＰＵ等が所定のプログラムを実行することにより、時間情報付与部２、インタラクション・コーパス３、インデックス付与部４及びデータ表示部５として機能する。なお、時間情報付与部２、インタラクション・コーパス３、インデックス付与部４及びデータ表示部５の構成例は、この例に特に限定されず、全てのブロック又は一部のブロックを専用のハードウエアにより実現するようにしてもよい。
【００５３】
時間情報付与部２は、ＣＰＵ等から構成され、周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅから出力される各インタラクションデータに、観測時刻を特定するための時間情報を付加し、各インタラクションデータをインタラクション・コーパス３に蓄積する。
【００５４】
すなわち、周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅは分散的に同一イベントを観測するため、観測された各インタラクションデータを統合利用するためには、時間的な同期を取る必要がある。このため、時間情報付与部２は、各インタラクションデータをインタラクション・コーパス３に蓄積する前に、リアルタイムで入力される各インタラクションデータに時間情報を付与して時間的な同期を取っている。このようにして、各インタラクションデータの観測時刻を特定することができるので、一つのインタラクションデータの観測時刻における他のインタラクションデータを容易に特定することができ、各インタラクションデータを容易に統合利用することができる。
【００５５】
なお、時間的な同期を取る方法は、上記の例に特に限定されず、全ての観測装置１ａ〜１ｅがワールドクロック（世界に時計が一つだけしかないことを仮定した時刻）に合わせて観測動作を行ったり、また、各観測装置１ａ〜１ｅが独立に内部クロックを持ち、所定の同期信号を基準にオフセットを調整するようにしてもよい。例えば、観測開始時に部屋全体を照らすストロボをたき、このストロボの発光状態を各観測装置１ａ〜１ｅの映像データに記録するようにしてもよいし、ＬＥＤマーカを各人の視野に必ず入り易い位置に設置して時間情報を発信し続け、各観測装置１ａ〜１ｅの映像データに記録するようにしてもよい。なお、脈拍センサ等の生体データを観測する観測装置は、映像データを入力としないため、人間に装着されたビデオカメラと統合したウェアラブルシステムとして構成されることが好ましい。
【００５６】
インタラクション・コーパス３は、外部記憶装置等から構成され、時間情報が付与された各インタラクションデータを機械可読な状態でデータベース化して記憶する。
【００５７】
インデックス付与部４は、ＣＰＵ等から構成され、インタラクション・コーパス３から所望のインタラクションデータを読み出し、読み出したインタラクションデータを解析してインタラクションデータの特定部分にインデックスを付与して再度インタラクション・コーパス３に記憶させる。
【００５８】
例えば、インデックス付与部４は、各聴講者の視線データから複数の聴講者の視線がスクリーンの特定箇所に集中する瞬間等を特定したり、脈拍データ及び脳波データの生体データから講演者及び聴講者の気分の高まりを特定すること等により、多くの聴講者の関心が高まったタイミングを特定し、特定した箇所にインデックスを付与してもよい。また、聴講者が質問のために立ち上がった場合、脈拍や発汗が高まるので、これらの生体データを用いてインデックスを付与するようにしてもよい。このようにして、インタラクションデータが変化する部分にインデックスを付与することができるので、このインデックスを用いて聴講者等のインタラクションのうち特定部分のインタラクションデータを自動的に抽出することができる。
【００５９】
なお、インデックスの付与例は、上記の例に特に限定されず、種々のインデックスを付与することができる。例えば、脈拍データ及び脳波データ等の生体データやメモを書く行為を表すデータ等を統計的に処理して講演会の評判を定量化し、複数の講演会のインタラクションデータがインタラクション・コーパス３に蓄積されたときに、評判の高い講演会のインタラクションデータにインデックスを付与するようにしてもよい。このとき、全ての聴講者のインタラクションデータを合計したデータだけでなく、自身の好みに近い聴講者のインタラクションデータを基にインデックスを付与するようにしてもよい。また、上述した情報データ等から複数の聴講者がメモを取るタイミングを特定して講演の内容上で重要なタイミングにインデックスを付与するようにしてもよい。
【００６０】
データ表示部５は、表示装置等から構成され、時間情報又はインデックスを参照して聴講者等のユーザが選択した所定部分のインタラクションデータをインタラクション・コーパス３から読み出し、所定の表示画面に映像及び生体信号等を表示する。図４は、図１に示すデータ表示部５により表示される表示画面の一例を示す図である。図４に示す表示画面は、ぬいぐるみ型観測装置１ｅにより観測されたインタラクションデータを表示する日記ビューアであり、映像表示部ＶＷに二つの映像Ｖ１〜Ｖ４，Ｂ１〜Ｂ４がそれぞれ時系列的に順次表示され、センサ信号表示部ＳＷに視線方向データ、触覚データ、体勢データ等のデータＳ１〜Ｓ３が映像Ｖ１〜Ｖ４，Ｂ１〜Ｂ４と同期した状態で表示される。このようにして、ユーザは、所定日時の自身の状況等を容易に知ることができる。
【００６１】
本実施の形態では、周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅが第１及び第２の観測手段の一例に相当し、時間情報付与部２、インタラクション・コーパス３及びインデックス付与部４が蓄積手段の一例に相当する。
【００６２】
上記のように、本実施の形態では、周囲状況観測装置１ａ、講演者用観測装置１ｂ、聴講者用観測装置１ｃ、ロボット型観測装置１ｄ及びぬいぐるみ型観測装置１ｅにより講演会における講演者及び聴講者のインタラクションが講演者、聴講者、ロボット、ぬいぐるみ等の異なる視点から観測され、観測されたインタラクションデータがインタラクション・コーパス３にデータベースとして蓄積され、講演者及び聴講者のインタラクションに関するインタラクションデータを蓄積したデータベースが作成される。このようにして、講演会という一つのイベントにおける講演者及び聴講者のインタラクションに対して視点の異なる複数のインタラクションデータを収集することにより、人間が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができ、講演会における日常常識を自動的にデータベース化することができる。
【００６３】
また、講演中の手書きメモ、タイピングメモ及び発言等を、これらの実行タイミングや実行状況等を表す周辺状況データとともに、インタラクション・コーパス３に記録するようにしてもよく、この場合、インタラクションデータを検索又は再利用する際の精度を高めることができる。
【００６４】
例えば、ノートに単に書かれた手書きメモ等は、書かれたタイミングやどのような周辺情報（例えば、講演中のスライド、他の人の発言等）によって喚起されて書かれたものなのか等がはっきりしない場合があるが、上記の周辺状況データをもインタラクション・コーパス３に蓄積する場合、誰がどのようなタイミングで又は他のどのような事象に関連して書いたものなのか等を判別することができる。
【００６５】
このような属性からインデックスを作成してインタラクションデータに付加することにより、種々のインタラクションデータを容易に検索及び再利用することが可能となる。例えば、ある聴講者がノートに書いた手書きメモが講演中のどのスライドに対してのコメントであるかを特定した上で、この手書きメモを講演者に対してフィードバックすること等が可能となる。
【００６６】
さらに、上記のようにして、社会的インタラクションにおける非言語的データをインタラクション・コーパス３に機械可読な状態で辞書化することができるので、ロボット、電子機器、家庭電気機器等の人間の社会的行為に参加する人工物に人間の社会的プロトコルを理解させることができる。例えば、質疑応答時や発言者交代時の身振り、手振り、声の抑揚等に埋め込まれた社会的インタラクションのプロトコルを定量化することができる。また、複数の人間の脈拍や体温の変化パターン等から同期性を検出することにより、複数の人間の生体データ間に存在する同期性等を見出すことができる。
【００６７】
なお、上記の説明では、非言語的な日常常識をインタラクション・コーパス３にデータベース化して蓄積する場合について説明したが、インタラクション・コーパス３に蓄積されるデータは、上記の例に特に限定されず、非言語的な特定の専門技能や暗黙知と呼ばれる知識、言語化された日常常識及び専門知識等をも蓄積するようにしてもよい。
【００６８】
また、上記のようにして作成されたインタラクション・コーパス３をインターネット等のネットワークを介して他のコンピュータ等と接続して、当該コンピュータによりインタラクションデータを検索及び再利用できるようにしてもよい。
【００６９】
次に、本発明の第２の実施の形態によるデータベース作成装置について説明する。図５は、本発明の第２の実施の形態によるデータベース作成装置の構成を示すブロック図である。本実施の形態では、展示会場において説明員が訪問者に展示内容を説明しているときに、説明員及び訪問者のインタラクションに関するインタラクションデータを蓄積した知識ベースを作成する場合について説明する。
【００７０】
図５に示すデータベース作成装置は、人間用観測装置５１、携帯型コンピュータ５２、周囲状況観測装置６１、据置型コンピュータ６２、ロボット型観測装置７１、ぬいぐるみ型観測装置７２、データ取得用サーバ８１、ＳＱＬ（Ｓｔｒｕｃｔｕｒｅｄ　Ｑｕｅｒｙ　Ｌａｎｇｕａｇｅ）サーバ９１、ＡＶ（オーディオ・ビデオ）データ用サーバ９２、アプリケーションサーバ９３及び赤外線タグ１０１を備える。なお、図５では、図示を容易にするために人間用観測装置５１、携帯型コンピュータ５２、周囲状況観測装置６１、据置型コンピュータ６２、ロボット型観測装置７１、ぬいぐるみ型観測装置７２及び赤外線タグをそれぞれ１個のみ図示しているが、人間用観測装置５１及び携帯型コンピュータ５２は説明員及び訪問者ごとに設けられ、周囲状況観測装置６１及び据置型コンピュータ６２は複数の観測位置に設けられ、ロボット型観測装置７１及びぬいぐるみ型観測装置７２は必要数だけ設けられ、赤外線タグ１０１は説明員及び訪問者のインタラクションに使用される対象物ごとに設けられている。
【００７１】
赤外線タグ１０１は、対象物となる展示物自体又はその近傍若しくは展示会場の壁又は天井等に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。
【００７２】
人間用観測装置５１は、説明員又は訪問者に装着され、装着している説明員又は訪問者のＩＤ番号を赤外線の点滅により送信する。また、人間用観測装置５１は、説明員等の視界内に位置する赤外線タグ１０１から送信される対象物のＩＤ番号及び赤外線タグ１０１の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ１０１を含む可視光画像をそのときの音声とともに撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像データ等を携帯型コンピュータ５２へ出力する。また、人間用観測装置５１は、装着している説明員又は訪問者の生体データを検出して携帯型コンピュータ５２へ出力する。
【００７３】
携帯型コンピュータ５２は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりデータ取得用サーバ８１へ送信する。このように、上記の可視光画像データ及び音声データからなるビデオデータのインデックスとして、記録開始時刻、記録時間といった基本的データの他に、ＩＤ番号及び生体データが刻一刻とデータ取得用サーバ８１送信される。
【００７４】
周囲状況観測装置６１は、説明員及び訪問者が位置する空間を構成する構造物すなわち展示会場の天井及び壁等に固定され、撮影範囲内に位置する人間用観測装置５１及び赤外線タグ１０１から送信されるＩＤ番号並びに人間用観測装置５１及び赤外線タグ１０１の赤外線画像内のＸＹ座標を検出して据置型コンピュータ６２へ出力する。また、周囲状況観測装置６１は、撮影範囲内に位置する人間用観測装置５１及び赤外線タグ１０１を含む可視光画像をそのときの音声とともに撮影し、撮影した可視光画像データ等を据置型コンピュータ６２へ出力する。据置型コンピュータ６２は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報をデータ取得用サーバ８１へ送信する。
【００７５】
ロボット型観測装置７１は、例えば、視覚、聴覚及び触覚を有するヒューマノイド型自律移動ロボット等から構成され、ロボット自身の視点から展示会場の状況、説明員及び訪問者の状況等を撮影、録音及び測定等して観測し、観測した映像データ、音声データ、視線方向データ、モーションデータ、触覚データ、位置データ等に時間情報を付加してデータ取得用サーバ８１へ送信する。
【００７６】
ぬいぐるみ型観測装置７２は、例えば、視覚、聴覚、触覚及び体勢感覚を有するぬいぐるみ型観測装置等から構成され、説明員及び訪問者は通常のぬいぐるみで遊ぶ感覚でぬいぐるみを保持する。ぬいぐるみ型観測装置７２は、ぬいぐるみ自身の視点から説明員及び訪問者の状況等を撮影、録音及び測定等して観測し、観測した映像データ、音声データ、視線方向データ、触覚データ、体勢データ等に時間情報を付加してデータ取得用サーバ８１へ送信する。
【００７７】
データ取得用サーバ８１は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。データ取得用サーバ８１は、入力される各データのうち、ＩＤ番号、ＸＹ座標及び生体データ等をＳＱＬサーバ９１に蓄積させ、映像データ及び音声データをＡＶデータ用サーバ９２に蓄積させる。
【００７８】
ＳＱＬサーバ９１は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。ＳＱＬサーバ９１は、時間情報が付与されたＩＤ番号、ＸＹ座標及び生体データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。
【００７９】
ＡＶデータ用サーバ９２は、ＲＯＭ、ＣＰＵ、ＲＡＭ及び外部記憶装置等を備えるサーバ装置から構成される。ＡＶデータ用サーバ９２は、映像データ及び音声データ等のインタラクションデータを機械可読な状態でデータベース化して記憶する。なお、一度のセッションをひとつの膨大なビデオファイルにするのは現実的ではないので、ＡＶデータ用サーバ９２は、例えば、ビデオデータを１分ごとに別々のファイルとして記憶し、コーパスを利用する際にファイルが１分ごとにわかれていることを意識しなくてすむように、各ビデオデータのインデックスデータをＳＱＬサーバ９１により管理している。
【００８０】
アプリケーションサーバ９３は、入力装置、ＲＯＭ、ＣＰＵ、ＲＡＭ、外部記憶装置及び表示装置等を備えるサーバ装置から構成される。アプリケーションサーバ９３は、後述するビデオサマリ作成処理を実行してビデオサマリを自動的に作成する。
【００８１】
図６は、図５に示す赤外線タグ１０１及び人間用観測装置５１の構成を示すブロック図である。人間用観測装置５１は、赤外線検出部１０２、画像撮影部１０３、赤外線タグ１０４、マイク部１０５及び生体検出部１０６を備える。人間用観測装置５１は、耳かけ式ネックバンド方式ヘッドセットとして構成され、説明員又は訪問者の頭部に装着される。赤外線検出部１０２及び画像撮影部１０３は直方体形状の筺体に一体に内蔵され、赤外線タグ１０４は筺体の側面に一体に固定され、マイク部１０５はユーザの口元付近に配置され、生体検出部１０６は、説明員又は訪問者の指に装着され、携帯型コンピュータ５２は、説明員又は訪問者に背負われて使用される。
【００８２】
赤外線タグ１０１は、ＬＥＤ１１１及び駆動回路１１２を備える。ＬＥＤ１１１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００８３】
駆動回路１１２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ１０１が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ１１１を点滅制御する。なお、ＬＥＤ１１１及び駆動回路１１２は、内部電池（図示省略）から電源を供給されている。
【００８４】
具体的には、駆動回路１１２は、マンチェスタ符号化方式によりエンコードしたＩＤ番号（６ｂｉｔ）及びパリティビットと、スタートビット（１ｂｉｔ）及びエンドビット（２ｂｉｔ）とを２００Ｈｚ周期の点滅により繰り返し送信する。例えば、ＩＤ番号６２の場合、ＩＤ：６２→“０１１００１０１０１０１０１１０１１１１”（ここで、スタートビット（０１）、ＩＤ番号６ビット、パリティビット（偶数１０、奇数０１）、エンドビット（１１１１））となる。
【００８５】
赤外線検出部１０２は、赤外線フィルタ１２１、レンズ１２２、ＣＭＯＳイメージセンサ１２３及び画像処理装置１２４を備える。赤外線フィルタ１２１は、赤外線タグ１０１のＬＥＤ１１１から発光される赤外線のうち主に近赤外線のみ透過させてレンズ１２２に近赤外線を導く。赤外線フィルタ１２１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。
【００８６】
レンズ１２２は、赤外線フィルタ１２１を透過した近赤外線をＣＭＯＳイメージセンサ１２３上に結像させる。レンズ１２２の画角は９０度である。この場合、対面での会話状態等において比較的近距離で広範囲に位置する赤外線タグを容易に検出することができる。
【００８７】
ＣＭＯＳイメージセンサ１２３は、レンズ１２２により結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置１２４へ出力する。ＣＭＯＳイメージセンサ１２３としては、例えば、三菱電機社製人口網膜ＬＳＩ（Ｍ６４２８３ＦＰ）等を用いることができ、この場合の解像度は１２８×１２８ｐｉｘｅｌである。
【００８８】
画像処理装置１２４は、ＣＭＯＳイメージセンサ１２３の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ１２３に撮影された近赤外線画像から赤外線タグ１０１を検出し、検出した赤外線タグ１０１の点滅状態からＩＤ番号を検出するとともに、赤外線画像上の赤外線タグ１０１のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ５２へ出力する。画像処理装置１２４としては、例えば、Ｃｙｇｎａｌ社製４９ＭＨｚ駆動マイコンＣ８０５１Ｆ１２４を用いることができる。
【００８９】
この場合、ＣＭＯＳイメージセンサ１２３を１１５２００Ｈｚのクロックで駆動させ、撮像（シャッター開放）後、１クロック毎に１ｐｉｘｅｌの明るさがアナログ値でシリアル出力される。このため、全画素撮影時の最短フレームレートは、（シャッタースピード）＋（１２８×１２８×クロックスピード）となるが、１２８×１２８ｐｉｘｅｌのうち８×８ｐｉｘｅｌを検出領域に設定して５００Ｈｚのシャッタースピードで撮像した場合、４００Ｈｚのフレームレートを実現することができ、読み出し速度を高速化することができる。このように、赤外線タグ１０１の点滅周期（２００Ｈｚ）の２倍のフレームレート（４００Ｈｚ）で読み込むため、単一ＬＥＤ６１を用いて非同期通信を行うことができる。なお、画角９０度のレンズ１２２を使用したときに２ｍの距離で１ｐｉｘｅｌは、２．２ｃｍ×２．２ｃｍの範囲に相当する。
【００９０】
画像撮影部１０３は、レンズ１３１及びＣＣＤカメラ１３２を備える。レンズ１３１は、説明員又は訪問者の視線方向に位置する、赤外線タグ１０１が取り付けられた対象物を含む可視光像をＣＣＤカメラ１３２上に結像させる。ＣＣＤカメラ１３２は、可視光画像を撮影して映像信号を携帯型コンピュータ５２へ出力する。レンズ１３１及びＣＣＤカメラ１３２としては、例えば、アナログビデオ出力を有するキーエンス社製小型ＣＣＤカメラ（水平画角４４度）を用いることができる。ここで、レンズ１３１の光軸は、赤外線検出部１０２のレンズ１２２の光軸に合わせられており、説明員又は訪問者の視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができる。
【００９１】
赤外線タグ１０４は、ＬＥＤ１４１及び駆動回路１４２を備える。赤外線タグ１０４は、人間用観測装置５１に一体に構成され、人間用観測装置５１を装着する説明員又は訪問者のＩＤ番号を送信する点を除き、赤外線タグ１０１と同様のハードウエアから構成され、同様に動作する。
【００９２】
マイク部１０５は、音声処理回路１５１及びマイクロホン１５２を備える。マイクロホン１５２は、説明員又は訪問者の発話又は周囲音を集音して音声処理回路１５１へ出力し、音声処理回路１５１は録音された音声信号を携帯型コンピュータ５２へ出力する。
【００９３】
生体検出部１０６は、生体データ処理回路１６１及び生体センサ１６２を備え、例えば、人間の脈拍、手の表面の伝導性（発汗）、温度の３個のセンサを備える生体データ記録用モジュール（Ｐｒｏｃｏｍｐ＋）等から構成される。生体センサ１６２は、説明員又は訪問者の脈拍、発汗状態及び体温を検出し、生体データ処理回路１６１は、検出された各データの平均値を数秒ごとに計算し、リアルタイムに生体データをＡＤ変換して携帯型コンピュータ５２へ送信する。
【００９４】
図７は、図５に示す周囲状況観測装置６１の構成を示すブロック図である。図７に示す周囲状況観測装置６１は、固定検出部２０２、画像撮影部２０３及びマイク部２０５を備える。固定検出部２０２は、赤外線フィルタ２２１、レンズ２２２、ＣＭＯＳイメージセンサ２２３及び画像処理装置２２４を備える。画像撮影部２０３は、レンズ２３１及びＣＣＤカメラ２３２を備える。マイク部２０５は、音声処理回路２５１及びマイクロホン２５２を備える。固定検出部２０２、画像撮影部２０３及びマイク部２０５は、上記の赤外線検出部１０２、画像撮影部１０３及びマイク部１０５と同様に構成され、同様に動作する。但し、周囲状況観測装置６１のレンズ２２２の画角は６０度であり、人間用観測装置５１のレンズ１２２の画角より狭く設定され、マイクロホン２５２には無指向性のマイクロホンを用いている。
【００９５】
この場合、ＣＭＯＳイメージセンサ２２３のピクセル当りの集光率が高くなり、遠距離に位置する赤外線タグ１０１，１０４を容易に発見することができる。また、説明員又は訪問者の頭部に装着された人間用観測装置５１だけでなく、説明員及び訪問者が位置する空間を構成する構造物に固定された周囲状況観測装置６１により、説明員、訪問者並びに説明員及び訪問者の視線方向の対象物を検出することができるので、異なる視点から説明員及び訪問者の周囲の状況を観測することができる。
【００９６】
次に、人間用観測装置５１の赤外線タグ検出処理について説明する。この赤外線タグ検出処理は、画像処理装置１２４が予め記憶されている検出処理プログラムを実行することにより行われる処理であり、周囲状況観測装置６１でも同様の処理が行われる。
【００９７】
まず、画像処理装置１２４は、ＣＭＯＳイメージセンサ１２３等を初期化し、全画面（１２８×１２８ｐｉｘｅｌ）の赤外線画像を撮影する。次に、画像処理装置１２４は、赤外線画像の中から所定サイズの光点、例えば１ｐｉｘｅｌの光点を赤外線タグ１０１（ＬＥＤ１１１）として抽出し、所定サイズより大きな光点を排除する。このように、赤外線画像の中から所定サイズの光点を検出するという簡便な処理により赤外線タグ１０１を検出することができるので、画像処理装置１２４による赤外線タグ検出処理を高速化することができる。
【００９８】
次に、画像処理装置１２４は、抽出した光点を中心とする８×８ｐｉｘｅｌの領域を検出領域として決定し、ＣＭＯＳイメージセンサ１２３により検出領域を既定回数、例えば、（（送信ビット数＋スタートビット数＋エンドビット数）×２×２）回読み込み、読み込んだ赤外線画像から赤外線タグ１０１の点滅状態を検出してＩＤ番号を検出するとともに、パリティチェックを行い、読み込みデータの判定処理を行う。
【００９９】
このように、赤外線画像から光点を含む検出領域を決定し、この検出領域の赤外線画像のみを用いて赤外線タグ１０１の点滅状態を検出しているので、処理対象となる赤外線画像を必要最小限に限定することができ、画像処理装置１２４による赤外線タグ検出処理を高速化することができる。この赤外線タグ検出処理の高速化により、人の動きに充分に追従することができ、動き予測等の演算コストの高い処理を省略することができる。ここで、パリティチェックが正しければ、画像処理装置１２４は、赤外線タグ１０１のＩＤ番号及びＸＹ座標を出力し、パリティチェックが正しくなければ、検出領域の読み込みを再度行い、上記の赤外線検出処理を検出されたすべての光点に対して行う。
【０１００】
このようにして、赤外線タグ１０１が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ１１１の点滅により送信し、説明員又は訪問者に装着された人間用観測装置５１により、説明員又は訪問者の視線方向に位置する対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて赤外線タグ１０１のＩＤ番号が検出されるので、説明員又は訪問者の視線方向に位置する対象物を識別することができる。
【０１０１】
図８は、図５に示す人間用観測装置５１、携帯型コンピュータ５２、周囲状況観測装置６１、ロボット型観測装置７１及びぬいぐるみ型観測装置７２の一例を説明するための模式図である。
【０１０２】
図８に示すように、説明員Ｐ１及び訪問者Ｐ３等が人間用観測装置５１を頭部に装着するとともに、携帯型コンピュータ５２を背負っている。赤外線タグ１０１は、訪問者Ｐ２等の胸部に装着されるとともに、環境側の対象物として、展示説明用のコンピュータＭ１及び展示説明用ボードＢ１、展示説明の補助用のロボット型観測装置７１及びぬいぐるみ型観測装置７２等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示会場の天井又は壁には、周囲状況観測装置６１が取り付けられている。
【０１０３】
上記のように各装置が配置されることにより、例えば、人間用観測装置５１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、周囲状況観測装置６１により説明員Ｐ１が対象物として識別されるとともに、周囲状況観測装置６１の周囲の対象物として訪問者Ｐ２、ロボット型観測装置７１等が識別される。なお、ロボット型観測装置７１及びぬいぐるみ型観測装置７２により収集されるインタラクションデータは、図２に示すロボット１１ｄ及びぬいぐるみ１１ｅと同様である。
【０１０４】
このようにして、展示会場内に遍在する周囲状況観測装置６１等に加えて、インタラクションの主体となる説明員及び訪問者が身につけた人間用観測装置５１を利用することにより、同一イベントを複数の観測装置により多角的に記録することができる。また、人間用観測装置５１及び周囲状況観測装置６１の視野に入った人や物体のＩＤ番号を自動認識することにより、蓄積されるビデオデータに実時間でインデックスをつけることができる。したがって、説明員及び訪問者は「見ること」で無意識のうちに他人や物体とのインタラクションにインデックスを付与することができる。
【０１０５】
また、ロボット型観測装置７１及びぬいぐるみ型観測装置７２等の多くのセンサが埋め込まれた擬人的インタフェースを、説明員及び訪問者とインタラクションを共に作り上げる協創パートナーとして利用することにより、これらの協創パートナーは、説明員及び訪問者とのインタラクションの身体的接触をセンシング・記録できるだけでなく、説明員及び訪問者に対して自発的にコミュニケーションを開始することができる。したがって、単に受動的に説明員及び訪問者のインタラクションを収集するだけでなく、説明員及び訪問者に対してインタラクションを仕掛けることができ、正確にインタラクションをセグメンテーションすることができる。
【０１０６】
上記の構成により、本実施の形態では、人間用観測装置５１の赤外線検出部１０２及び周囲状況観測装置６１の固定検出部２０２により検出された人間及び対象物のＩＤ番号と、人間用観測装置５１の画像撮影部１０３及び周囲状況観測装置６１の画像撮影部２０３により撮影されたビデオデータとがそれぞれの観測時刻を特定可能な状態で記憶されているので、各ビデオデータ内の人間及び対象物を識別して人間のインタラクションを人間及び／又は対象物との関係から解析することができ、人が何気なく扱っている言語化されていない日常常識を体系的に蓄積して機械可読な状態に辞書化することができる。
【０１０７】
この結果、展示会場における人と人のインタラクションにおける社会的プロトコルを分析・モデル化し、開放的な空間における複数人のインタラクションを様々なセンサ群で記録し、蓄積された大量のデータに緩い構造を与えて知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【０１０８】
本実施の形態では、人間用観測装置５１、周囲状況観測装置６１、ロボット型観測装置７１、ぬいぐるみ型観測装置７２が第１及び第２の観測手段の一例に相当し、携帯型コンピュータ５２、据置型コンピュータ６２、ロボット型観測装置７１、ぬいぐるみ型観測装置７２、データ取得用サーバ８１、ＳＱＬサーバ９１、ＡＶデータ用サーバ９２、アプリケーションサーバ９３が蓄積手段の一例に相当する。
【０１０９】
また、赤外線タグ１０１が発光装置の一例に相当し、人間用観測装置５１が第１の観測手段及び人間用観測装置の一例に相当し、赤外線フィルタ１２１、レンズ１２２及びＣＭＯＳイメージセンサ１２３が撮影手段の一例に相当し、画像処理装置１２４が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部１０３が可視光撮影手段の一例に相当し、赤外線タグ１０４が発光手段の一例に相当する。また、周囲状況観測装置６１が第２の観測手段及び周囲状況観測装置の一例に相当し、赤外線フィルタ２２１、レンズ２２２及びＣＭＯＳイメージセンサ２２３が撮影手段の一例に相当し、画像処理装置２２４が発光装置検出手段及び識別情報検出手段の一例に相当し、画像撮影部２０３が可視光撮影手段の一例に相当する。
【０１１０】
次に、上記のように構成されたデータベース作成装置によるビデオサマリ作成処理について説明する。図９は、図５に示すデータベース作成装置のビデオサマリ作成処理を説明するためのフローチャートである。なお、図９に示すビデオサマリ作成処理は、アプリケーションサーバ９３等が予め記憶されているビデオサマリ作成プログラムを実行することにより行われる処理である。
【０１１１】
まず、ステップＳ１１において、アプリケーションサーバ９３は、ＳＱＬサーバ９１に蓄積されているＩＤ番号を取得する。例えば、説明員Ｐ１の人間用観測装置５１により観測されたＩＤ番号を取得する。このＩＤ番号は、ＳＱＬサーバ９１に蓄積される際に時間方向の塊にまとめられ、何が何時何分何秒に視界に入って何時何分何秒に視界からはずれたかといった情報すなわち断続的なＩＤ検出列にまとめられている。
【０１１２】
次に、ステップＳ１２において、アプリケーションサーバ９３は、取得したＩＤ番号が予め定めた最小検出時間以上検出されているか否かを判断し、最小検出時間以上検出されている場合はステップＳ１３へ移行し、最小検出時間以上検出されていない場合はステップＳ１１へ戻り、次のＩＤ番号を取得する。
【０１１３】
最小検出時間以上検出されている場合、ステップＳ１３において、アプリケーションサーバ９３は、取得したＩＤ番号が予め定めた最大間隔以上検出されていない場合があるか否かを判断し、最大間隔以上検出されていない場合がないときはステップＳ１４へ移行し、最大間隔以上検出されていない場合があるときはステップＳ１１へ戻り、次のＩＤ番号を取得する。
【０１１４】
最大間隔以上検出されていない場合がないとき、ステップＳ１４において、アプリケーションサーバ９３は、取得されたＩＤ番号が検出されている期間のビデオデータを一つのイベントとして決定する。ここで、イベントとは、同一の人間用観測装置５１等により記録されたビデオデータから、特定の赤外線タグ１０１等が視界に入り続けている部分を切り出したクリップをいうものとし、インタラクションの最小単位すなわちインタラクションのプリミティブと捉えることができるものである。
【０１１５】
このように、最大間隔以上の間隔を空けずに且つ最小検出時間以上連続して検出されたＩＤ番号に対応するビデオデータを一つのイベントデータとして抽出しているので、人間のインタラクションの最小単位となるビデオデータをイベントデータとして抽出することができる。
【０１１６】
次に、ステップＳ１５において、アプリケーションサーバ９３は、ＳＱＬサーバ９１に蓄積されているすべてのＩＤ番号を取得したか否かを判断し、すべてのＩＤ番号を取得した場合はステップＳ１６へ移行し、すべてのＩＤ番号を取得していない場合はステップＳ１１へ戻り、次のＩＤ番号を取得する。
【０１１７】
このように、断続的なＩＤ検出列からイベントを判定するにあたっては、ある人間用観測装置５１等に、最大間隔以上の間隔を空けずに、特定の赤外線タグ１０１等が最小検出時間以上検出され続けた場合をイベントとして採用し、本実施の形態では、最小検出時間を５秒、人間用観測装置５１により観測されたＩＤ検出列の最大間隔を２０秒、周囲状況観測装置６１により観測されたＩＤ検出列の最大間隔を１０秒に設定している。したがって、イベントの最小単位は５秒となり、また、同一の赤外線タグ１０１が検出されてもその間が人間用観測装置５１により２０秒以上（周囲状況観測装置６１の場合は１０秒以上）空いてしまった場合は、別のイベントに切り替わったものと判定する。例えば、誰かと会話していたときや何かを注視していたときに、少しの間だけ視線をはずした程度なら、イベントの切り替えには反映されない。
【０１１８】
なお、最小検出時間及び最大間隔は、上記の例に特に限定されず、最小検出時間及び最大間隔をともに５秒に設定したり、認知科学的な対話分析において、会話中のちょっとした視線の変化も個別のインタラクションのプリミティブとして分節したい場合に最大間隔の値をもっと小さくする等の種々の変更が可能である。
【０１１９】
すべてのＩＤ番号を取得した場合、ステップＳ１６において、アプリケーションサーバ９３は、決定したイベントのうち時間軸上で所定時間以上重なっているイベントがあるか否かを判断し、所定時間以上重なっているイベントがある場合はステップＳ１７へ移行し、所定時間以上重なっているイベントがない場合はステップＳ１８へ移行する。
【０１２０】
所定時間以上重なっているイベントがある場合、ステップＳ１７において、アプリケーションサーバ９３は、所定時間以上重なっているイベントを連結し、連結したイベントを一つのシーンとして決定する。シーンの判断基準となる所定時間として、本実施の形態では、最小検出時間の２分の１すなわち２．５秒を用いているが、この例に特に限定されず、他の期間を用いてもよい。
【０１２１】
ここで、シーンとは、ある意味を有する単位であり、複数のイベントを組み合わせて生成されるビデオストリームをいうものとする。例えば、説明員Ｐ１のためのシーンを構成しようとしている場合を考えると、説明員Ｐ１の人間用観測装置５１がある赤外線タグ１０１を認識しているイベント、又は、説明員Ｐ１の赤外線タグ１０４が他人の人間用観測装置５１や展示会場に設置した周囲状況観測装置６１に捕えられているイベントが、所定時間以上連続しているのであれば、それらを連結させたシーンは、説明員Ｐ１にとって意味のあるシーンと解釈することができ、展示ブースの滞在シーンとか、会話シーンとかを決定することができる。
【０１２２】
このように、観測時間が所定時間以上重なっているイベントデータを一つのシーンデータとして連結しているので、人間のインタラクションとして意味のある適度な長さのビデオデータをシーンデータとして抽出することができる。
【０１２３】
次に、ステップＳ１７において、アプリケーションサーバ９３は、決定したイベントのうち同一空間内のイベントがあるか否かを判断し、同一空間内のイベントがある場合はステップＳ１９へ移行し、同一空間内のイベントがない場合はステップＳ２０へ移行する。
【０１２４】
同一空間内のイベントがある場合、ステップＳ１９において、アプリケーションサーバ９３は、同一空間内のイベントを連結し、連結したイベントを一つのシーンとして決定する。ここで、同一空間には、例えば、説明員Ｐ１と訪問者Ｐ２とが会話している空間が該当する。このように、説明員Ｐ１と訪問者Ｐ２とが会話している状態であると判定されるイベントがみつかったとき、説明員Ｐ１の赤外線タグ１０４が認識されていなかったとしても、訪問者Ｐ２の赤外線タグ１０４が周囲状況観測装置６１に捉えられていた場合には、周囲状況観測装置６１に訪問者Ｐ２と一緒に説明員Ｐ１も撮影されている可能性が高く、このビデオデータが説明員Ｐ１のシーンを構成するリソースとして採用される。
【０１２５】
これは、開放的な空間において複数人の任意のインタラクションを捕えようとするとき、通常オクルージョンの問題が起きるため、単一の観測装置が同時に全員の赤外線タグ１０４を捕えることは稀であるが、空間共有性を利用した複数の周囲状況観測装置６１のリソースの連結を許すことにより、あるインタラクションの塊全体を捕えることができるためである。また、空間共有性による連結を多段階繰り返すと、展示会場全体のすべての人間がひとつのインタラクションに属すると解釈することになるので、本実施の形態では、空間共有性によるイベントの連結を１段階のみ許すこととしている。なお、空間共有性によるイベントの連結数は、この例に特に限定されず、どのようなサイズのインタラクションを観測したいのか等の目的に合わせて種々の変更が可能である。
【０１２６】
このように、観測場所が共通するイベントデータを一つのシーンデータとして連結しているので、空間的な位置関係から人間のインタラクションとして一塊とすべき映像データをシーンデータとして抽出することができる。
【０１２７】
次に、ステップＳ２０において、アプリケーションサーバ９３は、上記のようにして決定した複数のシーンを時間順に並べて連結する。次に、ステップＳ２１において、アプリケーションサーバ９３は、連結した各シーンに対して注釈を付加する。注釈としては、シーンの開始時刻、シーンの説明、シーンの時間を付与する。
【０１２８】
ここで、シーンの説明を付加するため、アプリケーションサーバ９３は、人及び対象物のＩＤ番号及びＸＹ座標等を用いて、人と人、人と対象物等の位置関係を特定し、特定した位置関係を基に、予め設定している複数のイベントの種類の中からイベントの状態を判定する。
【０１２９】
図１０は、イベントの種類を示す模式図である。すべてのイベントは、人間用観測装置５１及び周囲状況観測装置６１等が赤外線タグ１０１，１０４等を捕えるという意味では、これ以上単純化できないくらい単純な要素であるが、人間用観測装置５１及び周囲状況観測装置６１と赤外線タグ１０１，１０４を付与された対象物の組合わせにより様々な意味を解釈することが可能となる。
【０１３０】
例えば、図１０の（ａ）に示すように、ある人Ａが身につけている人間用観測装置５１（図中の白丸）により他の人Ｂの赤外線タグ１０４（図中の黒丸）が観測され、同時に、人Ｂが身につけている人間用観測装置５１により人Ａの赤外線タグ１０４が観測されている場合、人Ａと人Ｂとが対話している状態を意味する。
【０１３１】
また、環境側に設置された周囲状況観測装置６１により人に付与された赤外線タグ１０４が観測された場合、その人があるエリアに滞在していることを意味し、図１０の（ｂ）に示すように、同一の周囲状況観測装置６１（図中の白丸）により複数の人Ａ，Ｂの赤外線タグ１０４が同時に観測された場合、それらの人々Ａ，Ｂが同じエリアに共在する状態を意味する。
【０１３２】
また、図１０の（ｃ）に示すように、人Ａが身につけている人間用観測装置５１によりある対象物Ｃに付与された赤外線タグ１０１（図中の黒丸）が観測されている場合、その人Ａがその対象物Ｃを注視している状態を意味する。また、複数の人の人間用観測装置５１により同一の対象物の赤外線タグ１０１が同時に観測された場合、それらの人々が同じものに対して共同注意を向けている状態であると考えられる。さらに、共同注意に参加している人の人数が増えた場合、注意を向けられている対象物は重要な社会的イベントを担っている状態と考えられる。
【０１３３】
本実施の形態では、アプリケーションサーバ９３は、上記の対話状態、共存状態及び注視状態の中からイベントの状態を決定する。なお、イベントの状態は、上記の例に特に限定されず、種々の変更及び付加が可能であり、以下のようにイベントの状態を決定してもよい。
【０１３４】
例えば、図１０の（ｄ）に示すように、環境側に設置された周囲状況観測装置６１によりある対象物Ｃに付与された赤外線タグ１０１及びある人Ａの赤外線タグ１０４が同時に観測されている場合、その人Ａがその対象物Ｃのある場所を訪問している状態を意味するものと解釈してもよい。
【０１３５】
また、図１０の（ｅ）に示すように、ある人Ａが身につけている人間用観測装置５１により他の人Ｂの赤外線タグ１０４が観測され、且つそのイベントが最小検出時間の２倍以上継続されている場合、人Ａが人Ｂを凝視している状態を意味するものと解釈してもよい。若しくは、図１０の（ｃ）に示すように、人Ａが身につけている人間用観測装置５１によりある対象物Ｃに付与された赤外線タグ１０１が観測され、且つそのイベントが最小検出時間の２倍以上継続されている場合、人が対象物を凝視している状態を意味するものと解釈してもよい。
【０１３６】
また、図１０の（ｆ）に示すように、人Ａが身につけている人間用観測装置５１によりある対象物Ｃに付与された赤外線タグ１０１が観測され、同時に、その対象物Ｃに設置された周囲状況観測装置６１により人Ａの赤外線タグ１０４が観測されたている場合、その人Ａがその対象物Ｃを注視している状態を意味するものと解釈してもよい。
【０１３７】
シーンの説明の生成には、上記のイベントの解釈に基づき、（１）図１０の（ａ）に示す対話状態に対するＴＡＬＫＥＤ　ＷＩＴＨ（Ｉ　ｔａｌｋｅｄ　ｗｉｔｈ　（ｓｏｍｅｏｎｅ）．）、（２）図１０の（ｂ）に示す共存状態に対するＷＡＳ　ＷＩＴＨ（Ｉ　ｗａｓ　ｗｉｔｈ　（ｓｏｍｅｏｎｅ）．）、（３）図１０の（ｃ）に示す注視状態に対するＬＯＯＫＥＤ　ＡＴ（Ｉ　ｌｏｏｋｅｄ　ａｔ　（ｓｏｍｅｔｈｉｎｇ）．）の３種類のテンプレートを用いている。これらは、ＴＡＬＫＥＤ　ＷＩＴＨ＞ＷＡＳ　ＷＩＴＨ＞ＬＯＯＫＥＤ　ＡＴの順に優先順位を設定しており、シーンの中に対話イベントが認識されれば、シーン全体の注釈としてはＴＡＬＫＥＤ　ＷＩＴＨが採用される。なお、優先順位は上記の例に特に限定されず、種々の変更が可能であり、ＴＡＬＫＥＤ　ＷＩＴＨ＞ＷＡＳ　ＷＩＴＨ＞ＬＯＯＫＥＤ　ＡＴ＞ＶＩＳＩＴＥＤ（図１０の（ｄ）の状態）＞ＳＴＡＲＥＤ　ＡＴ（図１０の（ｅ）等の状態）の順に優先順位を設定してもよい。
【０１３８】
このようして、アプリケーションサーバ９３は、予め設定した複数のイベントの種類の中からイベントの状態を判定し、判定した状態の優先順位に応じてシーンの状態を決定し、決定した状態に対応するテンプレートを用いてシーンの説明を自動的に作成する。したがって、シーンデータのインタラクション状態に応じた説明を自動的に付与することができ、このシーンデータを観測時間順に並べて特定の人間のインタラクションに関するビデオサマリを自動的に作成することができる。
【０１３９】
最後に、ステップＳ２２において、アプリケーションサーバ９３は、作成したビデオサマリを表示する。図１１は、ある訪問者が展示会場を見学した場合のビデオサマリの一例を示す図である。図１１に示す例では、ある訪問者のために集められたシーンが時間順に並べてビデオサマリとして表示されている。
【０１４０】
ここで、シーンのアイコンとして、各シーンのサムネイル画像が用いられ、このアイコンをクリックすると所定の動画像表示プログラムが起動し、対応するシーンのビデオクリップが表示される。各シーンには、自動付与したシーンの開始時刻、シーンの説明、及びシーンの時間が表示される。また、展示会場での滞在時間が長くなるとシーンの数が多くなってくるので、クイックレビューが可能なように、シーンの時間的長さに応じてアイコンの濃淡を変えて表示している（図示省略）。この場合、長い時間のシーンは、訪問者にとってハイライトシーンとなる可能性が高く、このシーンの色を濃く表示することにより、全体を見渡したときに目にとまりやすくなる。
【０１４１】
このようにして作成されたビデオサマリでは、シーンを構成するイベントは、単一の観測装置により撮影されたものだけには限らないため、会話シーンであれば、自分の人間用観測装置５１だけでなく相手の人間用観測装置５１で記録された映像、さらには、二人を撮影している環境側の周囲状況観測装置６１の映像が順々に表示される場合がある。
【０１４２】
また、シーンは時間の共有性と空間の共有性によって複数のイベントを集めて形成されるので、同じ時刻に複数のビデオデータが存在する場合があり、この場合、映像の切替を所定のルールに基づいて行っている。例えば、会話シーンの場合は、マイクロホン１５２のボリュームの大きい方の映像を優先し、どちらのボリュームも小さいとき（会話に沈黙があったとき）は周囲状況観測装置６１の映像に切り替わるようにして、発話しているユーザの顔（実際は赤外線タグ１０４）が写っている映像が採用されるようにする。また、音声に関しては、会話シーンにおいて映像は切り替わっても、常に会話者２人のマイクの音をミックスしたものを利用してもよい。
【０１４３】
なお、ビデオサマリの表示例は、この例に特に限定されず、種々の変更が可能である。例えば、一つ一つのシーンを見ることすら面倒なユーザのために、各シーンを最大１５秒ずつ切り出し、それらをフェードイン及びフェードアウト処理により連結して１本のクリップにまとめたサマリビデオを作り、そのアイコンをページの先頭に表示してもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態によるデータベース作成装置の構成を示すブロック図である。
【図２】図１に示す周囲状況観測装置、ロボット型観測装置、ぬいぐるみ型観測装置の一例を説明するための模式図である。
【図３】図１に示す講演者用観測装置の一例を説明するための模式図である。
【図４】図１に示すデータ表示部により表示される表示画面の一例を示す図である。
【図５】本発明の第２の実施の形態によるデータベース作成装置の構成を示すブロック図である。
【図６】図５に示す赤外線タグ及び人間用観測装置の構成を示すブロック図である。
【図７】図５に示す周囲状況観測装置の構成を示すブロック図である。
【図８】図５に示す人間用観測装置、携帯型コンピュータ、周囲状況観測装置、ロボット型観測装置及びぬいぐるみ型観測装置の一例を説明するための模式図である。
【図９】図５に示すデータベース作成装置のビデオサマリ作成処理を説明するためのフローチャートである。
【図１０】イベントの種類を示す模式図である。
【図１１】ある訪問者が展示会場を見学した場合のビデオサマリの一例を示す図である。
【符号の説明】
１ａ　周囲状況観測装置
１ｂ　講演者用観測装置
１ｃ　聴講者用観測装置
１ｄ　ロボット型観測装置
１ｅ　ぬいぐるみ型観測装置
２　時間情報付与部
３　インタラクション・コーパス
４　インデックス付与部
５　データ表示部
５１　人間用観測装置
５２　携帯型コンピュータ
６１　周囲状況観測装置
６２　据置型コンピュータ
７１　ロボット型観測装置
７２　ぬいぐるみ型観測装置
８１　データ取得用サーバ
９１　ＳＱＬサーバ
９２　ＡＶデータ用サーバ
９３　アプリケーションサーバ
１０１　赤外線タグ
１０２　赤外線検出部
１０３　画像撮影部
１０４　赤外線タグ
１０５　マイク部
１０６　生体検出部
１１１　ＬＥＤ
１１２　駆動回路
１２１　赤外線フィルタ
１２２　レンズ
１２３　ＣＭＯＳイメージセンサ
１２４　画像処理装置
１３１　レンズ
１３２　ＣＣＤカメラ
１４１　ＬＥＤ
１４２　駆動回路
１５１　音声処理回路
１５２　マイクロホン
１６１　生体データ処理回路
１６２　生体センサ
２０２　固定検出部
２０３　画像撮影部
２０５　マイク部
２２１　赤外線フィルタ
２２２　レンズ
２２３　ＣＭＯＳイメージセンサ
２２４　画像処理装置
２３１　レンズ
２３２　ＣＣＤカメラ
２５１　音声処理回路
２５２　マイクロホン

Claims (12)

1. 人間のインタラクションに関するインタラクションデータを蓄積したデータベースを作成するデータベース作成装置であって、
   前記人間のインタラクションを第１の視点から観測したインタラクションデータを出力する第１の観測手段と、
   前記第１の観測手段による観測時に、前記人間のインタラクションを前記第１の視点と異なる第２の視点から観測したインタラクションデータを出力する第２の観測手段と、
   前記第１及び第２の観測手段により観測されたインタラクションデータをデータベースとして蓄積する蓄積手段とを備えることを特徴とするデータベース作成装置。
2. 前記第１及び第２の観測手段のうちの少なくとも一方は、前記人間のインタラクションを観測するときに、前記人間のインタラクションを能動的に演出することを特徴とする請求項１記載のデータベース作成装置。
3. 前記第１及び第２の観測手段のうちの一方は、インタラクションを行う人間の視点から観測したインタラクションデータを出力し、他方は、インタラクションを行う人間を含む周囲状況を観測したインタラクションデータを出力することを特徴とする請求項１又は２記載のデータベース作成装置。
4. 前記第１及び第２の観測手段のうちの少なくとも一方は、観測される人間とインタラクションを行う人工物を含み、
   前記人工物は、人工物自身の視点から前記人間のインタラクションを観測することを特徴とする請求項１又は２記載のデータベース作成装置。
5. 前記蓄積手段は、観測時刻を特定可能な状態で前記インタラクションデータを蓄積することを特徴とする請求項１〜４のいずれかに記載のデータベース作成装置。
6. 前記蓄積手段は、前記インタラクションデータの変化を基に前記インタラクションデータにインデックスを付与することを特徴とする請求項１〜５のいずれかに記載のデータベース作成装置。
7. 前記第１の観測手段は、インタラクションを行う人間に装着され、且つ、当該人間の視点から撮影した所定の撮影範囲内の映像情報を出力するとともに、当該撮影範囲内に位置する、人間のインタラクションに使用される対象物及び／又は他の人間を識別するための識別情報を出力する人間用観測装置を含み、
   前記第２の観測手段は、インタラクションを行う人間が位置する空間を構成する構造物に固定され、インタラクションを行う人間を含む周囲状況を撮影した所定の撮影範囲内の映像情報を出力するとともに、当該撮影範囲内に位置する、人間のインタラクションに使用される対象物及び／又は人間を識別するための識別情報を出力する周囲状況観測装置を含むことを特徴とする請求項１〜６のいずれかに記載のデータベース作成装置。
8. 人間のインタラクションに使用される対象物に取り付けられ、前記対象物に対して一意的に割り付けられた識別情報に応じて赤外線を発光する発光装置をさらに備え、
   前記第１の観測手段は、人間に装着される人間用観測装置を含み、
   前記人間用観測装置は、
   当該人間用観測装置を装着する人間の視線方向に略一致させた光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
   前記撮影手段により撮影された赤外線画像を用いて前記発光装置を検出する発光装置検出手段と、
   前記発光装置検出手段により検出された発光装置の点滅状態を検出して当該発光装置の識別情報を検出する識別情報検出手段と、
   前記撮影手段の光軸に合わせた光軸を有し、当該人間用観測装置を装着する人間の視線方向の可視光画像を撮影する可視光撮影手段と、
   当該人間用観測装置を装着する人間に対して一意的に割り付けられた識別情報に応じて赤外線を発光する発光手段とを備え、
   前記第２の観測手段は、インタラクションを行う人間が位置する空間を構成する構造物に固定され、インタラクションを行う人間を含む周囲状況を観測する周囲状況観測装置を含み、
   前記周囲状況観測装置は、
   所定方向に設定された光軸を有し、インタラクションを行う人間を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
   前記撮影手段により撮影された赤外線画像を用いて前記発光装置及び／又は前記人間用観測装置の発光手段を検出する発光装置検出手段と、
   前記発光装置検出手段により検出された前記発光装置及び／又は前記人間用観測装置の発光手段の点滅状態を検出して前記発光装置及び／又は前記人間用観測装置の発光手段の識別情報を検出する識別情報検出手段と、
   前記撮影手段の光軸に合わせた光軸を有し、インタラクションを行う人間を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、
   前記蓄積手段は、前記人間用観測装置の識別情報検出手段及び前記周囲状況観測装置の識別情報検出手段により検出された識別情報と、前記人間用観測装置の可視光撮影手段及び前記周囲状況観測装置の可視光撮影手段により撮影された可視光画像データとをそれぞれの観測時刻を特定可能な状態で記憶することを特徴とする請求項１〜６のいずれかに記載のデータベース作成装置。
9. 前記蓄積手段に蓄積されている識別情報のうち第１の時間以上の間隔を空けずに且つ第２の時間以上連続して検出された識別情報とともに撮影された可視光画像データを一つのイベントデータとして抽出する抽出手段をさらに備えることを特徴とする請求項８記載のデータベース作成装置。
10. 前記抽出手段により抽出されたイベントデータのうち観測時間が所定時間以上重なっているイベントデータを一つのシーンデータとして連結する第１の連結手段をさらに備えることを特徴とする請求項９記載のデータベース作成装置。
11. 前記抽出手段により抽出されたイベントデータのうち観測場所が共通するイベントデータを一つのシーンデータとして連結する第２の連結手段をさらに備えることを特徴とする請求項９又は１０記載のデータベース作成装置。
12. 前記人間用観測装置及び前記周囲状況観測装置により検出された識別情報に基づいて、予め設定されている複数のインタラクション状態の中から第２の連結手段により連結されたシーンデータのインタラクション状態を決定する決定手段と、
    前記決定手段により決定されたインタラクション状態に応じた注釈をシーンデータに付加する付加手段とをさらに備えることを特徴とする請求項１１記載のデータベース作成装置。

Images