JP2008046802A - インタラクション情報出力装置、インタラクション情報出力方法、及びプログラム - Google Patents

Abstract

【課題】情報提供者と情報受領者のインタラクションに関するインタラクション情報を生成し、出力するインタラクション情報出力装置を提供する。
【解決手段】情報受領者に対面して情報を提供している情報提供者の動きを示す提供者モーション情報を受け付ける提供者モーション情報受付部１１と、情報受領者の動きを示す受領者モーション情報を受け付ける受領者モーション情報受付部１５と、提供者音声情報を受け付ける提供者音声情報受付部１３と、受領者音声情報を受け付ける受領者音声情報受付部１７と、提供者モーション情報と受領者モーション情報と提供者音声情報と受領者音声情報とから、情報提供者と情報受領者のインタラクションに関するインタラクション情報を生成するインタラクション情報生成部１９と、インタラクション情報を出力するインタラクション情報出力部２０とを備える。
【選択図】図１

Description

本発明は、情報提供者と情報の提供を受ける者（情報受領者）とのインタラクションに関する情報であるインタラクション情報を出力するインタラクション情報出力装置等に関する。

従来、人々の興味関心の傾向を判別するための研究がなされている。例えば、ウェブのブックマーク履歴からユーザの興味傾向を判別する研究が行われている。また、実世界環境では、非言語行動としてのユーザの滞在位置を分析したり、ミーティング等の特定環境での定型的行動を検出したりすることによって、行為識別や興味対象の推察等がなされている（例えば、非特許文献１〜４参照）。
Ｃｈｉｕ，Ｐ．，Ｋａｐｕｓｋａｒ，Ａ．，Ｗｉｌｃｏｘ，Ｌ．，「Ｍｅｅｔｉｎｇ Ｃａｐｔｕｒｅ ｉｎ ａ Ｍｅｄｉａ Ｅｎｒｉｃｈｅｄ Ｃｏｎｆｅｒｅｎｃｅ Ｒｏｏｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＣｏＢｕｉｌｄ １９９９、Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ ＬＮＣＳ １６７０、１９９９年、ｐ．７９−８８ Ｃｕｔｌｅｒ，Ｒ．，Ｒｕｉ，Ｙ．，Ｇｕｐｔａ，Ａ．，Ｃａｄｉｚ，ＪＪ，Ｔａｓｈｅｖ，Ｉ．，Ｈｅ，Ｌ．，Ｃｏｌｂｕｒｎ，Ａ．，Ｚｈａｎｇ，Ｚ．，Ｌｉｕ，Ｚ．，Ｓｉｌｖｅｒｂｅｒｇ，Ｓ．，「Ｄｉｓｔｒｉｂｕｔｅｄ ｍｅｅｔｉｎｇｓ： ａ ｍｅｅｔｉｎｇ ｃａｐｔｕｒｅ ａｎｄ ｂｒｏａｄｃａｓｔｉｎｇ ｓｙｓｔｅｍ」、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ｔｅｎｔｈ ＡＣＭ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ（ＭＵＬＴＩＭＥＤＩＡ２００２）、ＡＣＭ Ｐｒｅｓｓ、２００２年、ｐ．５０３−５１２ 中西泰人、辻貴孝、大山実、箱崎勝也、「Ｃｏｎｔｅｘｔ Ａｗａｒｅ Ｍｅｓｓａｇｉｎｇ Ｓｅｒｖｉｃｅ：位置情報とスケジュール情報を用いたコミュニケーションシステムの構築および運用実験」、情報処理学会論文誌、Ｖｏｌ．４２、Ｎｏ．７、２００１年、ｐ．１８４７−１８５７ 角康之、江谷為之、Ｓｉｄｎｅｙ Ｆｅｌｓ、Ｎｉｃｏｌａｓ Ｓｉｍｏｎｅｔ、小林薫、間瀬健二「Ｃ−ＭＡＰ：Ｃｏｎｔｅｘｔ−ａｗａｒｅな展示ガイドシステムの試作」、情報処理学会論文誌、Ｖｏｌ．３９、Ｎｏ．１０、１９９８年１０月、ｐ．２８６６−２８７８

一方、情報提供者が、情報受領者に対面して情報を提供している状況において、情報提供者と情報受領者とのインタラクションについて分析したいという要請がある。情報提供者と情報受領者との間のインタラクションについて分析した結果、例えば、情報提供者である店員と、情報受領者である顧客とのインタラクションがうまくいっていない（不活性である）ことがわかった場合には、店員の顧客への販売活動を早々に切り上げることによって、より売り上げの伸びる販売活動を行うことができる。また、そのインタラクションがうまくいっていない原因を探ることによって、今後の販売活動の改善に役立つこととなる。

そのような情報提供者と情報受領者とのインタラクションの分析を人が行っていたのでは、経験の浅い人は適切な分析を行うことができないという問題がある。また、人が分析する場合には、分析対象者が分析者の友人である等の要因によって、恣意的なインタラクションの分析が行われる可能性もある。

本発明は、上記の問題点を考慮してなされたものであり、情報提供者と情報受領者とのインタラクションに関するインタラクション情報を生成し、出力するインタラクション情報出力装置等を提供することを目的とする。

上記目的を達成するため、本発明によるインタラクション情報出力装置は、情報受領者に対面して情報を提供している情報提供者の動きを示す情報である提供者モーション情報を受け付ける提供者モーション情報受付部と、前記情報受領者の動きを示す情報である受領者モーション情報を受け付ける受領者モーション情報受付部と、前記提供者モーション情報受付部が受け付けた提供者モーション情報と、前記受領者モーション情報受付部が受け付けた受領者モーション情報とから、前記情報提供者と前記情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成部と、前記インタラクション情報生成部が生成したインタラクション情報を出力するインタラクション情報出力部と、を備えたものである。

このような構成により、情報提供者と情報受領者とのインタラクションに関するインタラクション情報を生成して出力することができ、そのインタラクション情報を用いることによって、例えば、情報を提供する活動の方針の決定や、その活動の改善等に役立てることができる。また、インタラクションの分析を人が行うのではないため、恣意的な分析を回避することができ、さらに、経験に依存しない分析を実現することができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報生成部は、人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、前記条件情報記憶手段で記憶されている条件情報を用いて、前記提供者モーション情報及び前記受領者モーション情報から、情報提供者及び情報受領者のコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成手段と、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成手段と、を備えていてもよい。

このような構成により、提供者モーション情報及び受領者モーション情報からコミュニケーション行動というコミュニケーション時に行われる定型の行動を検出し、その検出されたコミュニケーション行動を用いてインタラクション情報を生成することができる。コミュニケーション行動の種類や条件情報を適切に設定することにより、より適切なインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報生成部は、コミュニケーション行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段をさらに具備し、前記インタラクション情報生成手段は、前記関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成してもよい。

このような構成により、関数情報を用いることによって、検出されたコミュニケーション行動からインタラクション情報を生成することができる。関数情報を適切に設定することにより、より適切なインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記情報提供者の発した音声に関する情報である提供者音声情報を受け付ける提供者音声情報受付部をさらに備え、前記インタラクション情報生成部は、前記提供者音声情報受付部が受け付けた提供者音声情報をも用いて前記インタラクション情報を生成してもよい。

このような構成により、提供者モーション情報や受領者モーション情報のみではなく、提供者音声情報も用いてインタラクション情報の生成を行うことができ、より精度の高いインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記情報受領者の発した音声に関する情報である受領者音声情報を受け付ける受領者音声情報受付部をさらに備え、前記インタラクション情報生成部は、前記受領者音声情報受付部が受け付けた受領者音声情報をも用いて前記インタラクション情報を生成してもよい。

このような構成により、提供者モーション情報や受領者モーション情報のみではなく、受領者音声情報も用いてインタラクション情報の生成を行うことができ、より精度の高いインタラクション情報の生成を行うことができる。

また、本発明によるインタラクション情報出力装置では、前記提供者モーション情報は、前記情報提供者の視線に関する情報を含み、前記受領者モーション情報は、前記情報受領者の視線に関する情報を含んでいてもよい。

このような構成により、提供者モーション情報や受領者モーション情報に含まれる視線に関する情報を用いてインタラクション情報の生成を行うことができ、より精度の高いインタラクション情報の生成を行うことができる。例えば、その視線に関する情報を用いてコミュニケーション行動「注視」等を検出することができ、そのコミュニケーション情報を用いてインタラクション情報を生成することができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報は、前記情報提供者と前記情報受領者とのインタラクションの種類を示す情報を含んでいてもよい。

このような構成により、出力されたインタラクション情報によって、情報提供者と情報受領者とのインタラクションの種類がどのようなものであるのかについて知ることができる。

また、本発明によるインタラクション情報出力装置では、前記インタラクション情報は、前記情報提供者と前記情報受領者との所定の種類のインタラクションの程度を示す情報を含んでいてもよい。

このような構成により、出力されたインタラクション情報によって、情報提供者と情報受領者との所定の種類のインタラクションの程度がどれぐらいであるのかについて知ることができる。

本発明によるインタラクション情報出力装置等によれば、情報提供者と情報受領者とのインタラクションに関するインタラクション情報を生成して出力することができる。例えば、そのインタラクション情報を用いることにより、販売活動の方針の決定や、改善等を行うことができる。また、インタラクションの分析を人が行うのではないため、恣意的な分析を回避することができ、さらに、経験に依存しない分析を実現することができる。

以下、本発明によるインタラクション情報出力装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。

（実施の形態１）
本発明の実施の形態１によるインタラクション情報出力装置について、図面を参照しながら説明する。
図１は、本実施の形態によるインタラクション情報出力装置１の構成を示すブロック図である。図１において、本実施の形態によるインタラクション情報出力装置１は、提供者モーション情報受付部１１と、提供者モーション情報蓄積部１２と、提供者音声情報受付部１３と、提供者音声情報蓄積部１４と、受領者モーション情報受付部１５と、受領者モーション情報蓄積部１６と、受領者音声情報受付部１７と、受領者音声情報蓄積部１８と、インタラクション情報生成部１９と、インタラクション情報出力部２０とを備える。

提供者モーション情報受付部１１は、提供者モーション情報を受け付ける。ここで、提供者モーション情報とは、情報受領者に対面して情報を提供している情報提供者の動きを示す情報である。情報提供者は、例えば、顧客に商品やサービス等について説明する販売員、生徒を教える教師、患者に症状や治療方針等について説明する医師、広報活動を行う広報担当者等である。情報提供者から情報を提供される情報受領者は、例えば、顧客、生徒、患者、広報を聞く人等である。その情報の提供は、説明対象物に関連する情報の提供であってもよい。ここで、説明対象物は、例えば、販売員が顧客に説明している商品（例えば、家電製品や自動車、衣服等）であってもよく、販売員が顧客に説明しているサービス（例えば、旅行や保険、教育等）について記載されているパンフレットや書類であってもよく、医者が患者への説明で用いている検査結果（例えば、Ｘ線写真や内視鏡写真、血液検査の結果等）や治療方針を示す図表等であってもよく、講師が聞き手へのプレゼンや授業で用いている資料（例えば、板書や図画、配付資料等）であってもかまわない。また、情報受領者は、その説明対象物に直接アクセス可能な状況であってもよい。情報取得者が説明対象物に直接アクセス可能であるとは、例えば、情報取得者が、その説明対象物に直接触れることができることでもよく、その説明対象物を直接見ることができることでもよく、その説明対象物の音等を直接聞くことができることでもよく、その説明対象物の臭いを直接嗅ぐことができることでもかまわない。

提供者モーション情報は、例えば、情報提供者の行動に関する情報（以下、「提供者行動情報」と呼ぶこともある）を含んでいてもよく、情報提供者の視線の動きに関する情報（以下、「提供者視線情報」と呼ぶこともある）を含んでいてもよい。

提供者行動情報は、情報提供者の手の動きを示す情報を含んでいてもよく、情報提供者の頭の動きを示す情報を含んでいてもよく、情報提供者の胴体の動きを示す情報を含んでいてもよく、情報提供者のその他の部分の動きを示す情報を含んでいてもかまわない。提供者行動情報は、例えば、モーションキャプチャシステムによって取得されてもよく、環境側に設置したカメラで情報提供者を撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。モーションキャプチャシステムとは、被験者の体に光を反射する所定のマーカを付け、１以上のカメラを用いることによって被験者を撮影し、そのマーカの位置を算出することによって被験者の体の動きを検出するものである。なお、反射式のマーカではなく、自ら発光するアクティブ式のマーカを用いてもよい。また、光学式のマーカではなく、磁気マーカを用いてもよい。このように、モーションキャプチャシステムは、被験者の動きを検出することができるものであれば、その種類を問わない。提供者行動情報がモーションキャプチャシステムによって取得される場合には、提供者行動情報は、例えば、各マーカの３次元座標系における位置を示す時系列のデータである。情報提供者を撮影して動画を解析するとは、情報提供者の動画を撮影し、その撮影した動画から、肌色検出、差分抽出、またはパターンマッチング等の技術を用いて情報提供者の画像領域を特定し、その特定した画像領域から情報提供者の手の動きや頭の動き等を抽出することである。また、提供者行動情報を取得するその他の方法としては、例えば、被験者の体の１以上の部分に加速度センサを付け、その加速度センサによって被験者の体の動きを検出する方法等がある。また、提供者行動情報を取得する上記の２以上の方法を組み合わせてもよい。提供者行動情報を取得する方法については従来から知られており、その詳細な説明は省略する。また、提供者行動情報には、情報提供者の位置を示す情報が含まれてもよい。情報提供者の位置を示す情報は、例えば、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、ＬＰＳ（Ｌｏｃａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）によって取得されてもよく、非接触方式のサーモセンサを用いて取得されてもよく、レーザレンジファインダを用いて取得されてもよく、その他の技術を用いて取得されてもかまわない。ＬＰＳとは、例えば、アクティブＲＦＩＤを用いたり、地磁気センサと加速度センサとを有する自律航法型の位置測位センサを用いたりすることによって、基準点からの座標値を算出することができる装置である。非接触方式のサーモセンサとは、赤外線等を用いることにより物体の温度を検出することができる装置である。したがって、その装置によって人の存在を検出することができ、２以上のサーモセンサを用いることにより、人の高精度な位置検出が可能となる。レーザレンジファインダとは、出射したレーザ光の反射光から、三角測量の原理を利用して距離を検出する装置である。

提供者視線情報は、情報提供者の視線の向きを示す情報を含んでいてもよく、情報提供者の視線の向きを情報提供者の頭の向きで近似する場合には、情報提供者の頭の向きを示す情報を含んでいてもよく、情報提供者の視線が遮られたこと、すなわち情報提供者が瞬きをしたことを示す情報を含んでいてもよく、情報提供者のその他の視線に関する情報を含んでいてもかまわない。ここで、被験者が立位である場合には、一般に顔の正面の向きの９０度の範囲内に視線があることが知られているため、情報提供者の視線の向きを情報提供者の頭の向きで近似することも可能である。提供者視線情報は、例えば、アイカメラによって取得されてもよく、情報提供者を環境側に設置したカメラで撮影した動画を解析することによって取得されてもよく、その他の方法によって取得されてもかまわない。アイカメラとは、被験者の眼球運動を測定する装置である。アイカメラは、例えば、リンバストラッキング法（強膜反射法）、角膜反射法、画像処理法等を用いて被験者の眼球運動を測定する。画像処理法とは、瞳孔中心を検出して視線方向を抽出する方法であり、被験者への負担がほとんどない。情報提供者を撮影した動画を解析するとは、情報提供者の目の位置をパターンマッチング等の技術を用いて特定し、上記の画像処理法と同様の方法や、白目と黒目の領域を比較する方法等によって視線方向を抽出することである。また、視線情報を取得するその他の方法としては、垂直眼電図（ｖｅｒｔｉｃａｌ ＥＯＧ：ｅｌｅｃｔｒｏｃｕｌｏｇｒａｐｈ）を用いて瞬目を検出する方法や、被験者の頭部に加速度センサを付け、その加速度センサによって被験者の頭の動きを検出する方法、被験者の頭部に指向性と収束性を有する光線を出力する発光部を付け、その発光部からの光を環境側に設置した検出部で検出することによって被験者の頭の動きを検出する方法、被験者の頭部にヘッドマウントカメラをつけて被験者の視線方向等の画像を撮影し、その画像を解析することによって被験者の頭の動きを検出する方法等がある。また、提供者視線情報を取得する上記の２以上の方法を組み合わせてもよい。また、提供者視線情報が被験者の視線の方向を示す情報である場合に、局所座標系（被験者の頭部に設定される視野座標系）の情報を視線情報として用いてもよく、あるいは、局所座標系の値をモーションキャプチャシステム等のデータと同じ座標系である世界座標系に変換した情報を視線情報として用いてもよい。提供者視線情報を取得する方法については従来から知られており、その詳細な説明は省略する。

提供者モーション情報受付部１１は、例えば、入力デバイス（例えば、キーボードやマウス、タッチパネル等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、提供者モーション情報受付部１１は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、提供者モーション情報受付部１１は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、提供者モーション情報受付部１１は、図１で示されるように、アイカメラによって取得された提供者視線情報と、モーションキャプチャシステムによって取得された提供者行動情報とを受け付けるものとする。

提供者モーション情報蓄積部１２は、提供者モーション情報受付部１１が受け付けた提供者モーション情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、提供者モーション情報蓄積部１２が有していてもよく、あるいは提供者モーション情報蓄積部１２の外部に存在してもよい。本実施の形態では、提供者モーション情報蓄積部１２がその記録媒体を有するものとする。また、この記録媒体は、提供者モーション情報を一時的に記憶するものであってもよく、そうでなくてもよい。

提供者音声情報受付部１３は、提供者音声情報を受け付ける。ここで、提供者音声情報とは、情報提供者の発した音声に関する情報である。この提供者音声情報は、情報提供者の発した言葉を識別可能なものであってもよく、あるいは、情報提供者の発した音声の強弱のみを識別可能なものであってもよい。後者の場合には、情報提供者がどのような言葉を発したのかについては、音声の強弱から推測することはできても、明確にはわからないことになる。提供者音声情報は、例えば、情報提供者の発した音声のみを含んでいてもよく、あるいは、情報提供者の音声以外の環境音を含んでいてもよい。後者の場合には、情報提供者の環境音を除去することによって情報提供者の音声のみを抽出してもよい。提供者音声情報は、例えば、通常のマイクロフォンによって取得されてもよく、骨伝導マイクによって取得されてもよく、スロート（咽喉）マイクによって取得されてもかまわない。骨伝導マイクやスロートマイクを用いて提供者音声情報を取得する場合には、環境音を含まない音声情報の取得が可能となる。提供者音声情報受付部１３は、例えば、音声デバイス（例えば、マイクロフォン等）から入力された情報を受け付けてもよく、有線もしくは無線の通信回線を介して送信された情報を受信してもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリ等）から読み出された情報を受け付けてもかまわない。なお、提供者音声情報受付部１３は、受け付けを行うためのデバイス（例えば、モデムやネットワークカード等）を含んでいてもよく、あるいは含んでいなくてもよい。また、提供者音声情報受付部１３は、ハードウェアによって実現されてもよく、あるいは所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、提供者音声情報受付部１３は、図１で示されるように、マイクロフォンによって取得された情報提供者のみの音声を示す提供者音声情報を受け付けるものとする。

提供者音声情報蓄積部１４は、提供者音声情報受付部１３が受け付けた提供者音声情報を所定の記録媒体に蓄積する。この記録媒体は、例えば、半導体メモリや、光ディスク、磁気ディスク等であり、提供者音声情報蓄積部１４が有していてもよく、あるいは提供者音声情報蓄積部１４の外部に存在してもよい。本実施の形態では、提供者音声情報蓄積部１４がその記録媒体を有するものとする。また、この記録媒体は、提供者音声情報を一時的に記憶するものであってもよく、そうでなくてもよい。

受領者モーション情報受付部１５は、受領者モーション情報を受け付ける。ここで、受領者モーション情報とは、情報提供者から対面で情報の提供を受けている情報受領者の動きを示す情報である。受領者モーション情報は、例えば、情報受領者の行動に関する情報（以下、「受領者行動情報」と呼ぶこともある）を含んでいてもよく、情報受領者の視線の動きに関する情報（以下、「受領者視線情報」と呼ぶこともある）を含んでいてもよい。受領者行動情報、及び受領者視線情報は、情報受領者の行動情報、及び視線情報である以外は、それぞれ提供者行動情報、及び提供者視線情報と同様のものであり、その詳細な説明は省略する。また、受領者モーション情報受付部１５は、提供者モーション情報に代えて受領者モーション情報を受け付ける以外、提供者モーション情報受付部１１と同様のものであり、その詳細な説明は省略する。

受領者モーション情報蓄積部１６は、受領者モーション情報受付部１５が受け付けた受領者モーション情報を所定の記録媒体に蓄積する。受領者モーション情報蓄積部１６は、提供者モーション情報に代えて受領者モーション情報を蓄積する以外、提供者モーション情報蓄積部１２と同様のものであり、その詳細な説明は省略する。

受領者音声情報受付部１７は、受領者音声情報を受け付ける。ここで、受領者音声情報とは、情報受領者の発した音声に関する情報である。受領者音声情報は、情報受領者の音声情報である以外は、提供者音声情報と同様のものであり、その詳細な説明は省略する。また、受領者音声情報受付部１７は、提供者音声情報に代えて受領者音声情報を受け付ける以外、提供者音声情報受付部１３と同様のものであり、その詳細な説明は省略する。

受領者音声情報蓄積部１８は、受領者音声情報受付部１７が受け付けた受領者音声情報を所定の記録媒体に蓄積する。受領者音声情報蓄積部１８は、提供者音声情報に代えて受領者音声情報を蓄積する以外、提供者音声情報蓄積部１４と同様のものであり、その詳細な説明は省略する。

インタラクション情報生成部１９は、提供者モーション情報受付部１１が受け付けた提供者モーション情報と、提供者音声情報受付部１３が受け付けた提供者音声情報と、受領者モーション情報受付部１５が受け付けた受領者モーション情報と、受領者音声情報受付部１７が受け付けた受領者音声情報とから、インタラクション情報を生成する。ここで、インタラクション情報とは、情報提供者と情報受領者とのインタラクションに関する情報である。インタラクション情報は、例えば、情報提供者と情報受領者とのインタラクションの種類を示す情報を含んでいてもよく、情報提供者と情報受領者との所定の種類のインタラクションの程度を示す情報を含んでいてもよく、情報提供者と情報受領者とのインタラクションの種類を示す情報と、そのインタラクションの程度を示す情報とを含んでいてもかまわない。インタラクションの種類や、その程度については後述する。

図２で示されるように、インタラクション情報生成部１９は、条件情報記憶手段２１と、コミュニケーション行動情報生成手段２２と、関数情報記憶手段２３と、インタラクション情報生成手段２４とを備える。

条件情報記憶手段２１では、条件情報が記憶される。ここで、条件情報とは、コミュニケーション行動の発生の条件を示す情報である。コミュニケーション行動とは、人が他人とのコミュニケーション時に行う行動である。したがって、条件情報によって、コミュニケーション行動という定型の行動の発生条件が示されることになる。

まず、コミュニケーション行動について説明する。コミュニケーション行動は、例えば、発話、注視、視線移動、瞬目、うなずき、指差し、覗き込み等のコミュニケーション時の行動である。これら以外の行動がコミュニケーション行動に含まれてもよい。「発話」とは、被験者が言葉を発することであり、被験者による自発的な音声の発生だけでなく、被験者による相づちや応答も含まれる。発話には、回数と時間がある。すなわち、沈黙と沈黙とで区切られる連続した音声が１つの発話であり、その連続した音声の時間が１つの発話の時間である。「注視」とは、被験者が所定の時間以上、一点あるいはその付近を見ていることである。注視にも、回数と時間がある。すなわち、注視の状態が開始されてから終了するまでが１つの注視であり、その注視の状態が連続している時間が注視の時間である。「視線移動」とは、注視と注視との間の被験者の視線が移動していることである。「瞬目」とは、被験者が瞬きをすることである。「うなずき」とは、被験者が頭部を前後に振ることによって相手に了解や承諾等の意思表示をすることである。「指差し」とは、被験者が情報の説明等のために、手を用いることによって所定の物を指し示すことである。「覗き込み」とは、所定の物に顔を近づけてよく見ることである。なお、上述のコミュニケーション行動のうち、発話以外のコミュニケーション行動は、いわゆる「非言語行動」と呼ばれるコミュニケーション行動である。

上述のコミュニケーション行動は、被験者が単独で行うコミュニケーション行動である。そのコミュニケーション行動のことを単独コミュニケーション行動と呼ぶことにする。一方、被験者が、他の被験者と共に行うコミュニケーション行動がある。そのコミュニケーション行動のことを共同コミュニケーション行動と呼ぶことにする。共同コミュニケーション行動には、大きく分けて、複数の被験者が同時に何らかの単独コミュニケーション行動を行う「同時」と、第１の被験者がある単独コミュニケーション行動を行っている途中に、あるいはその単独コミュニケーション行動が終了してから一定時間以内に、第２の被験者が引き続いて単独コミュニケーション行動を行う「追従」とがある。「同時」の場合も、「追従」の場合も、複数の被験者がそれぞれ行う複数の単独コミュニケーション行動は、同じであってもよく、異なっていてもよい。また、「追従」の場合には、情報提供者の単独コミュニケーション行動に情報受領者の単独コミュニケーション行動が追従したことと、情報受領者の単独コミュニケーション行動に情報提供者の単独コミュニケーション行動が追従したこととを区別してもよく、区別しなくてもよい。

共同コミュニケーション行動は、例えば、発話割り込み、発話追従、同時注視、注視追従、同時うなずき、うなずき追従、同時指差し、指差し追従、同時覗き込み、覗き込み追従、発話に応じたうなずき追従、指差しに応じたうなずき追従等の行動である。これら以外の行動が共同コミュニケーション行動に含まれてもよい。「発話割り込み」とは、第１の被験者が発話している状況において、第２の被験者が発話を開始することによって、第１及び第２の被験者による所定の時間以上の同時の発話が引き起こされることである。発話割り込みには、回数と時間がある。「発話追従」とは、第１の被験者が発話している途中、あるいは、その発話が終了してから所定の時間以内に第２の被験者が発話を開始することである。これらの説明からわかるように、同じ共同コミュニケーション行動が、発話割り込みであり、かつ、発話追従である場合もある。「同時注視」とは、第１の被験者と第２の被験者とが所定の時間以上、同じもの、あるいは同様の範囲を注視することである。同時注視には、回数と時間がある。複数の被験者が同じもの、あるいは同様の範囲を同時に注視している時間が同時注視の時間となる。「注視追従」とは、第１の被験者があるもの、もしくはある範囲を注視しているときに、または、その注視が終了してから所定の時間以内に、第２の被験者がその同じもの、もしくはその同じ範囲の注視を開始することである。「同時うなずき」とは、第１の被験者と第２の被験者とが同時にうなずきを行うことである。同時にうなずくとは、例えば、単独コミュニケーション行動「うなずき」が開始されてから終了するまでの第１の被験者の時間帯と、第２の被験者の時間帯とに所定の時間以上の重なりがあることであってもよい。「うなずき追従」とは、第１の被験者がうなずいている途中、あるいはうなずきが終了してから所定の時間以内に、第２の被験者がうなずきを行うことである。「同時指差し」とは、第１の被験者と第２の被験者とが同じもの、あるいは同様の範囲を同時に指差すことである。「同時」については、同時うなずきの場合と同様である。「指差し追従」とは、第１の被験者があるもの、もしくはある範囲を指差しているときに、または、その指差しが終了してから所定の時間以内に、第２の被験者がその同じもの、もしくはその同じ範囲の指差しをすることである。「同時覗き込み」とは、第１の被験者と第２の被験者とが同じもの、あるいは同様の範囲を同時に覗き込むことである。「同時」については、同時うなずきの場合と同様である。「覗き込み追従」とは、第１の被験者があるもの、もしくはある範囲を覗き込んでいるときに、または、その覗き込みが終了してから所定の時間以内に、第２の被験者がその同じもの、もしくはその同じ範囲を覗き込むことである。「発話に応じたうなずき追従」とは、第１の被験者が発話している途中、あるいは、発話が終了してから所定の時間以内に、第２の被験者がうなずきを行うことである。「指差しに応じたうなずき追従」とは、第１の被験者が指差しをしている途中、あるいは、指差しが終了してから所定の時間以内に、第２の被験者がうなずきを行うことである。

次に、上述の各コミュニケーション行動の発生の条件の一例について説明する。
［発話］
被験者の発した音声情報のレベル、すなわち、音声情報の示す音声の大きさが所定のしきい値以上であることが、発話の発生条件となる。ここで、音声情報のレベルが所定のしきい値以上となってからしきい値以下となるまでが１つの発話であり、その間の時間が１つの発話の時間である。

［注視］
視線情報や行動情報によって示される、被験者の視線方向の変化や被験者の頭の向きの変化が所定の時間以上、ある一定の範囲内であることが、被験者が何かに注視している条件となる。例えば、被験者の視線方向の変化が５度未満である状態が０．５秒以上継続したことが、注視の発生条件となる。ここで、被験者の視線方向の変化や頭の向きの変化の変化が、所定の時間以上、ある一定の範囲内であることが継続している一続きの状態が１つの注視であり、その状態の時間が１つの注視の時間である。

また、注視の検出においては、何を注視しているのかを検出してもよい。被験者が何を注視しているのかについては、例えば、被験者による注視が検出された時点における、被験者が見ている画像よって判断してもよく、被験者の位置によって判断してもよく、被験者の姿勢によって判断してもかまわない。被験者が見ている画像によって被験者が何を注視しているのかについて判断する場合には、例えば、被験者がウェアラブルカメラを装着しているのであれば、そのウェアラブルカメラによって撮影された画像を解析し、肌色検出やパターンマッチング等の技術を用いて、その画像から人の顔が検出できたときには、人を注視していることを検出し、それ以外のときには人以外のものを注視していることを検出してもよい。また、説明対象物等の環境側に光を反射するマーカや自ら発光するマーカを配置しておき、被験者の装着しているウェアラブルカメラによって撮影された画像を解析することによって、環境側のマーカが検出された場合に、そのマーカに応じて、注視している物等を検出してもよい。また、被験者の位置によって被験者が何を注視しているのかについて判断する場合には、例えば、その位置があらかじめ設定されている物（例えば、商品やパネル等）の近くに被験者が存在し、また、被験者がその物の方を向いていることが検出されたときには、物を注視していることを検出し、それ以外のときには人を注視していることを検出してもよい。また、被験者の姿勢によって被験者が何を注視しているのかについて判断する場合には、例えば、物やパネルが下の方に置かれているのであれば、被験者の姿勢が直立していることが検出されたときには、人を注視していることを検出し、被験者の姿勢が前かがみであることが検出されたときには、人以外のものを注視していることを検出してもよい。また、被験者が非接触方式のサーモセンサを装着している場合には、その非接触方式のサーモセンサによって被験者の注視している方向に人間の体温程度の温度が検知された場合には、被験者が人を注視していることを検出し、それ以外の温度が検知された場合には、被験者が人以外を注視していることを検出してもよい。なお、被験者が人を注視していると判断された場合には、その被験者が情報提供者であれば情報受領者を注視していると推定し、その被験者が情報受領者であれば情報提供者を注視していると推定してもよい。

［視線移動］
前述のように、検出された被験者の注視と注視との間が、視線移動となる。したがって、被験者の注視の回数が増えるごとに、被験者の視線移動の回数も増えることになる。

［瞬目］
被験者の視線情報をアイカメラによって取得している場合には、一定時間以内（例えば、０．４秒以内等）の瞳孔径の未検出のあることが、瞬目の発生条件となる。また、被験者の垂直眼電図を測定している場合には、従来から知られている方法を用いることにより、瞬目の発生を検出できる。被験者の目の領域をカメラによって撮影している場合には、一定時間以内の白目と黒目の領域の未検出のあることが、瞬目の発生条件となる。

［うなずき］
被験者の姿勢をモーションキャプチャシステム等によって取得している場合には、被験者の頭部の前後方向の角度が、一定時間以内に所定の角度以上変化したことが、うなずきの発生条件となる。また、被験者がヘッドマウントカメラを装着している場合には、そのヘッドマウントカメラによって撮影された画像の変化を解析し、一定時間以内に、被験者が頭を前方に倒す方向に画像が変化したことが、うなずきの発生条件となる。

［指差し］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の腕が一定以上伸びたことが、指差しの発生条件となる。また、被験者が手首の付近に加速度センサを付けている場合には、その加速度センサによって腕が伸びる方向に手首が移動したことが検出されたことが、指差しの発生条件となる。

［覗き込み］
被験者の体の各位置をモーションキャプチャシステム等によって取得している場合には、被験者の顔の位置が、あらかじめ設定されている物等の位置からの一定の距離以内となったことが、覗き込みの発生条件となる。また、腰を曲げて前かがみで下方を見ている姿勢によって覗き込みが発生したと見なす場合には、被験者が腰を曲げて前かがみで下方を見ている姿勢を一定の時間以上していることを、覗き込みの発生条件としてもよい。

［発話割り込み］
第１の被験者に前述の発話が発生している状況において、第２の被験者に発話が発生することが、発話割り込みの発生条件となる。ここで、両被験者の発話の重なりが始まってから終了するまでが１つの発話割り込みであり、その間の時間が発話割り込みの時間である。

［発話追従］
第１の被験者に前述の発話が発生している状況において、第２の被験者に発話が発生すること、あるいは、第１の被験者が発話を終了してから所定の時間以内（例えば、０．５秒以内等）に、第２の被験者に発話が発生することが、発話追従の発生条件となる。
なお、発話割り込み、発話追従以外の共同コミュニケーション行動の発生条件も同様であり、それらの詳細な説明は省略する。

また、上述のコミュニケーション行動の発生の条件は一例であって、コミュニケーション行動の発生を適切に検出することができるのであれば、上記以外の条件を設定してもよい。また、上記以外のコミュニケーション行動の発生も検出する場合には、そのコミュニケーション行動の発生を適切に検出することができる条件が設定されているものとする。

また、条件情報記憶手段２１は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。条件情報記憶手段２１に条件情報が記憶される過程は問わない。例えば、記録媒体を介して条件情報が条件情報記憶手段２１で記憶されるようになってもよく、通信回線等を介して送信された条件情報が条件情報記憶手段２１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された条件情報が条件情報記憶手段２１で記憶されるようになってもよい。条件情報記憶手段２１での記憶は、外部のストレージデバイス等から読み出した条件情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている条件情報を用いて、提供者モーション情報、提供者音声情報、受領者モーション情報、及び受領者音声情報からコミュニケーション行動の発生を検出する。そして、コミュニケーション行動情報生成手段２２は、その検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成する。コミュニケーション行動情報は、例えば、コミュニケーション行動ごとに、そのコミュニケーション行動の発生回数と、発生時間とを示す情報である。コミュニケーション行動情報の発生回数や発生時間は、累計の情報であってもよく、単位時間あたりの情報であってもよい。また、コミュニケーション行動情報生成手段２２が生成するコミュニケーション行動情報は、そのコミュニケーション行動が単独コミュニケーション行動である場合に、情報提供者のコミュニケーション行動と、情報受領者のコミュニケーション行動とに分かれていてもよく、そうでなくてもよい。また、コミュニケーション行動情報生成手段２２が生成するコミュニケーション行動は、単独コミュニケーション行動と、共同コミュニケーション行動とに分かれていてもよく、そうでなくてもよい。また、コミュニケーション行動情報生成手段２２が生成するコミュニケーション行動情報は、そのコミュニケーション行動が共同コミュニケーション行動の「追従」である場合に、情報提供者が情報受領者の行動に追従したのか、あるいは、情報受領者が情報提供者の行動に追従したのかに応じて分かれていてもよく、そうでなくてもよい。コミュニケーション行動の発生を検出する具体的な方法については後述する。

関数情報記憶手段２３では、関数情報が１以上記憶される。関数情報とは、コミュニケーション行動情報の示す値を引数とする関数を示す情報である。関数情報は、インタラクションの種類ごとに設定される。したがって、関数情報記憶手段２３では、通常、インタラクションの種類の数だけの関数情報が記憶されることになる。この関数情報の示す関数にコミュニケーション行動情報の示す値を代入した関数の値がインタラクションの程度を示す情報となる。

なお、関数情報記憶手段２３は、所定の記録媒体（例えば、半導体メモリや磁気ディスク、光ディスク等）によって実現される。関数情報記憶手段２３に関数情報が記憶される過程は問わない。例えば、記録媒体を介して関数情報が関数情報記憶手段２３で記憶されるようになってもよく、通信回線等を介して送信された関数情報が関数情報記憶手段２３で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された関数情報が関数情報記憶手段２３で記憶されるようになってもかまわない。関数情報記憶手段２３での記憶は、外部のストレージデバイス等から読み出した関数情報のＲＡＭ等における一時的な記憶でもよく、あるいは、そうでなくてもよい。

インタラクション情報生成手段２４は、コミュニケーション行動情報生成手段２２で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成する。すなわち、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている１以上の関数情報の示す関数に、コミュニケーション行動情報生成手段２２で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成する。

なお、提供者モーション情報蓄積部１２が有する記録媒体と、提供者音声情報蓄積部１４が有する記録媒体と、条件情報記憶手段２１と、関数情報記憶手段２３とのうち、任意の２以上の記録媒体は、同一の記録媒体によって実現されてもよく、異なる記録媒体によって実現されてもよい。前者の場合には、例えば、その記録媒体のうち、条件情報を記憶している領域が条件情報記憶手段２１となる。

インタラクション情報出力部２０は、インタラクション情報生成部１９が生成したインタラクション情報を出力する。ここで、この出力は、例えば、表示デバイス（例えば、ＣＲＴや液晶ディスプレイ等）への表示でもよく、所定の機器への通信回線を介した送信でもよく、プリンタによる印刷でもよく、スピーカによる音声出力でもよく、記録媒体への蓄積でもかまわない。なお、インタラクション情報出力部２０は、出力を行うデバイス（例えば、表示デバイスやプリンタ等）を含んでいてもよく、あるいは含んでいなくてもよい。また、インタラクション情報出力部２０は、ハードウェアによって実現されてもよく、あるいは、それらのデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。本実施の形態では、インタラクション情報出力部２０は、インタラクション情報をディスプレイに表示するものとする。

次に、本実施の形態によるインタラクション情報出力装置１の動作について、フローチャートを用いて説明する。図３は、本実施の形態によるインタラクション情報出力装置１の全体動作を示すフローチャートである。

（ステップＳ１０１）インタラクション情報生成部１９は、インタラクション情報を生成するかどうか判断する。そして、インタラクション情報を生成する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０５に進む。ここで、インタラクション情報生成部１９は、所定のイベント（例えば、提供者モーション情報と提供者音声情報と受領者モーション情報と受領者音声情報との一連の蓄積が終了したことや、インタラクション情報を生成する旨の指示が受け付けられたこと等）をトリガーとしてインタラクション情報を生成すると判断してもよく、所定の期間ごとにインタラクション情報を生成すると判断してもよく、その他のタイミングでインタラクション情報を生成すると判断してもかまわない。

（ステップＳ１０２）インタラクション情報生成部１９は、提供者モーション情報と提供者音声情報と受領者モーション情報と受領者音声情報とに基づいて、コミュニケーション行動情報を生成する。このコミュニケーション行動情報を生成する処理の詳細については、図４のフローチャートを用いて後述する。

（ステップＳ１０３）インタラクション情報生成部１９は、ステップＳ１０２で生成したコミュニケーション行動情報に基づいて、インタラクション情報を生成する。このインタラクション情報を生成する処理の詳細については、図５のフローチャートを用いて後述する。

（ステップＳ１０４）インタラクション情報出力部２０は、インタラクション情報生成部１９が生成したインタラクション情報を出力する。そして、ステップＳ１０１に戻る。

（ステップＳ１０５）提供者モーション情報受付部１１は、提供者モーション情報を受け付けたかどうか判断する。なお、提供者モーション情報が提供者行動情報と提供者視線情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、提供者モーション情報を受け付けたと判断してもよい。そして、受け付けた場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０７に進む。

（ステップＳ１０６）提供者モーション情報蓄積部１２は、提供者モーション情報受付部１１が受け付けた提供者モーション情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０７）提供者音声情報受付部１３は、提供者音声情報を受け付けたかどうか判断する。そして、提供者音声情報を受け付けた場合には、ステップＳ１０８に進み、そうでない場合には、ステップＳ１０９に進む。

（ステップＳ１０８）提供者音声情報蓄積部１４は、提供者音声情報受付部１３が受け付けた提供者音声情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１０９）受領者モーション情報受付部１５は、受領者モーション情報を受け付けたかどうか判断する。なお、受領者モーション情報が受領者行動情報と受領者視線情報とを含む場合には、そのいずれか一方を少なくとも受け付けた場合に、受領者モーション情報を受け付けたと判断してもよい。そして、受け付けた場合には、ステップＳ１１０に進み、そうでない場合には、ステップＳ１１１に進む。

（ステップＳ１１０）受領者モーション情報蓄積部１６は、受領者モーション情報受付部１５が受け付けた受領者モーション情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。

（ステップＳ１１１）受領者音声情報受付部１７は、受領者音声情報を受け付けたかどうか判断する。そして、受領者音声情報を受け付けた場合には、ステップＳ１１２に進み、そうでない場合には、ステップＳ１０１に戻る。

（ステップＳ１１２）受領者音声情報蓄積部１８は、受領者音声情報受付部１７が受け付けた受領者音声情報を所定の記録媒体に蓄積する。そして、ステップＳ１０１に戻る。
なお、図３のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

図４は、図３のフローチャートにおけるコミュニケーション行動情報の生成処理（ステップＳ１０２）の詳細を示すフローチャートである。
（ステップＳ２０１）コミュニケーション行動情報生成手段２２は、カウンタｉを１に設定する。

（ステップＳ２０２）コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１から、ｉ番目の条件情報を読み出す。
（ステップＳ２０３）コミュニケーション行動情報生成手段２２は、提供者モーション情報蓄積部１２が蓄積した提供者モーション情報と、提供者音声情報蓄積部１４が蓄積した提供者音声情報と、受領者モーション情報蓄積部１６が蓄積した受領者モーション情報と、受領者音声情報蓄積部１８が蓄積した受領者音声情報とを適宜参照し、ステップＳ２０２で読み出した条件情報が満たされるかどうか判断する。そして、満たされる場合にはステップＳ２０４に進み、そうでない場合には、ステップＳ２０６に進む。

（ステップＳ２０４）コミュニケーション行動情報生成手段２２は、ｉ番目の条件情報に対応するコミュニケーション行動情報を生成する。
（ステップＳ２０５）コミュニケーション行動情報生成手段２２は、生成したコミュニケーション行動情報を図示しない記録媒体に一時記憶する。

（ステップＳ２０６）コミュニケーション行動情報生成手段２２は、カウンタｉを１だけインクリメントする。
（ステップＳ２０７）コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１にｉ番目の条件情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ２０２に戻り、存在しない場合には、コミュニケーション行動情報を生成する一連の処理は終了となり、図３のフローチャートのステップＳ１０３に進む。

なお、図４の一連の処理が終了した後に、ステップＳ２０５で言及した図示しない記録媒体で一時記憶されているコミュニケーション行動情報を用いて、後述するインタラクション情報生成手段２４によるインタラクション情報の生成処理が行われる。

図５は、図３のフローチャートにおけるインタラクション情報の生成処理（ステップＳ１０３）の詳細を示すフローチャートである。
（ステップＳ３０１）インタラクション情報生成手段２４は、カウンタｉを１に設定する。

（ステップＳ３０２）インタラクション情報生成手段２４は、関数情報記憶手段２３から、ｉ番目の種類のインタラクションに対応する関数情報を読み出す。
（ステップＳ３０３）インタラクション情報生成手段２４は、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報の示す値を、ステップＳ３０２で読み出した関数情報の示す関数に代入することにより、その関数の値を算出する。

（ステップＳ３０４）インタラクション情報生成手段２４は、その算出した関数の値を図示しない記録媒体に一時記憶する。この場合に、インタラクションのｉ番目の種類を識別する情報に対応付けて一時記憶することが好ましい。
（ステップＳ３０５）インタラクション情報生成手段２４は、カウンタｉを１だけインクリメントする。

（ステップＳ３０６）インタラクション情報生成手段２４は、ｉ番目の種類のインタラクションが存在するかどうか、すなわち、関数情報記憶手段２３にｉ番目の種類のインタラクションに対応する関数情報が存在するかどうか判断する。そして、存在する場合には、ステップＳ３０２に戻り、存在しない場合には、ステップＳ３０７に進む。

（ステップＳ３０７）インタラクション情報生成手段２４は、ステップＳ３０４で言及した図示しない記録媒体で一時記憶されている関数の値を用いてインタラクション情報を構成する。そして、インタラクション情報を生成する一連の処理は終了となり、図３のフローチャートのステップＳ１０４に進む。なお、その関数の値をそのままインタラクション情報とする場合には、このステップＳ３０７の処理がなくてもよい。

次に、本実施の形態によるインタラクション情報出力装置１の動作について、具体例を用いて説明する。この具体例では、情報提供者が店員であり、情報提供者から情報の提供を受ける情報受領者が、店の顧客であるとする。また、この具体例では、コミュニケーション行動として、発話、注視、瞬目、うなずき、指差し、同時注視、うなずき追従のみを検出するものとする。

また、この具体例では、提供者行動情報と受領者行動情報とをモーションキャプチャシステムによって取得し、提供者視線情報と提供者視線情報とをアイカメラによって取得し、提供者行動情報と提供者視線情報とを含む提供者モーション情報と、受領者行動情報と受領者視線情報とを含む受領者モーション情報と、提供者音声情報と、受領者音声情報とから、発話、注視、瞬目、うなずき、指差し、同時注視、うなずき追従のコミュニケーション行動を検出して、インタラクション情報を生成する場合について説明する。モーションキャプチャシステムとしては、例えば、Ｖｉｃｏｎ Ｐｅａｋ社製Ｖ６１２を用いてもよい。そのモーションキャプチャシステムでは、１２台の赤外線ストロボ付き赤外線カメラと、直径２５ｍｍの再帰性反射素材の表面を持つ球形パッシブマーカとが用いられ、各マーカの位置を６０Ｈｚの時間分解能と、約１ｍｍの空間分解能で記録できる。アイカメラとしては、ナックイメージテクノロジー社製のＥＭＲ−８Ｂを用いてもよい。そのアイカメラでは、瞳孔角膜反射方式により、眼球運動を３０Ｈｚの時間分解能と、約０．１度の精度で記録できる。

図６は、情報提供者が装着している装置等について説明するための図である。図６で示されるように、情報提供者は、マイクロフォンを装着しており、そのマイクロフォンによって情報提供者の発した音声が取得される。また、情報提供者は、アイカメラを装着しており、そのアイカメラによって情報提供者の視線方向が取得される。また、情報提供者は、体の複数の部分にモーションキャプチャシステムで位置を検出するためのマーカが取り付けられている。なお、情報受領者も、図６で示される情報提供者と同様の装置を装着しているものとする。

マイクロフォンによって取得された音声情報、アイカメラによって取得された視線情報、モーションキャプチャシステムによって取得された行動情報は、それぞれ、有線または無線の通信によってインタラクション情報出力装置１に渡される。そして、提供者視線情報と、提供者行動情報とは提供者モーション情報受付部１１で受け付けられ（ステップＳ１０５）、提供者モーション情報蓄積部１２によって蓄積される（ステップＳ１０６）。また、提供者音声情報は提供者音声情報受付部１３で受け付けられ（ステップＳ１０７）、提供者音声情報蓄積部１４によって蓄積される（ステップＳ１０８）。また、受領者視線情報と、受領者行動情報とは受領者モーション情報受付部１５で受け付けられ（ステップＳ１０９）、受領者モーション情報蓄積部１６によって蓄積される（ステップＳ１１０）。また、受領者音声情報は受領者音声情報受付部１７で受け付けられ（ステップＳ１１１）、受領者音声情報蓄積部１８によって蓄積される（ステップＳ１１２）。この具体例では、情報提供者である店員が、情報受領者である顧客への対応をしている１０分間の提供者モーション情報と提供者音声情報と受領者モーション情報と受領者音声情報とが提供者モーション情報蓄積部１２と、提供者音声情報蓄積部１４と、受領者モーション情報蓄積部１６と、受領者音声情報蓄積部１８とにおいてそれぞれ蓄積されたとする。

図７は、提供者モーション情報蓄積部１２が蓄積した提供者モーション情報と、提供者音声情報蓄積部１４が蓄積した提供者音声情報との一例を示す図である。図７で示されるように、時系列の提供者音声情報と、提供者モーション情報とが所定の記録媒体（図示せず）において記憶されている。提供者音声情報は、前述のように、少なくとも音声レベルを知ることができる情報であればよく、情報提供者の発した言葉の内容までわからない情報であってもよい。提供者視線情報は、情報提供者の視野における画素位置を示す情報であるとする。提供者行動情報は、モーションキャプチャシステムによって取得された、各マーカの３次元直交座標系における位置を示す情報である。なお、受領者モーション情報蓄積部１６が蓄積した受領者モーション情報と、受領者音声情報蓄積部１８が蓄積した受領者音声情報も、図７で示される情報と同様のものであるとする。

図８は、条件情報記憶手段２１で記憶されている条件情報の一例を示す図である。図８で示されるように、条件情報では、コミュニケーション行動と、そのコミュニケーション行動の発生の条件とが対応付けられている。例えば、コミュニケーション行動「発話」については、音声情報のレベルがしきい値Ｓ１以上であることが、発生の条件として設定されている。その他のコミュニケーション行動についても同様である。

モーション情報と、音声情報とが蓄積された後に、ユーザが図示しない入力デバイスを操作することにより、インタラクション情報を出力する指示がインタラクション情報出力装置１で受け付けられたとする。すると、インタラクション情報生成部１９は、インタラクション情報を生成するタイミングであると判断し（ステップＳ１０１）、コミュニケーション行動情報を生成し（ステップＳ１０２）、インタラクション情報を生成する（ステップＳ１０３）。以下、コミュニケーション行動情報の生成処理と、インタラクション情報の生成処理について詳細に説明する。

まず、コミュニケーション行動情報の生成処理について説明する。コミュニケーション行動情報生成手段２２は、まず、条件情報記憶手段２１で記憶されている図８で示される条件情報から、１番目の条件情報、すなわちコミュニケーション行動「発話」に関する条件情報を読み出す（ステップＳ２０１，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、提供者音声情報蓄積部１４が有する図示しない記録媒体から提供者音声情報を読み出し、受領者音声情報蓄積部１８が有する図示しない記録媒体から受領者音声情報を読み出す。その提供者音声情報の一部が図９で示されるものであったとする。すると、コミュニケーション行動情報生成手段２２は、読み出した提供者音声情報と、条件情報の示すしきい値Ｓ１とを比較し、提供者音声情報が条件情報を満たすかどうか判断する（ステップＳ２０３）。この場合には、図９で示されるように、条件情報を満たす提供者音声情報の領域が存在するため、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、図９で示されるように、提供者音声情報の示す音声レベルがしきい値Ｓ１となる時間ｔ１，ｔ２，ｔ３，ｔ４等を取得する。そして、図８では、時間ｔ１から時間ｔ２までが１つの発話であり、その発話の時間は、時間（ｔ２−ｔ１）となる。このようにして、コミュニケーション行動情報生成手段２２は、提供者音声情報から発話の回数と、発話の合計時間とを算出する。この具体例では、発話の回数が４７回であり、発話の合計時間が４８２秒であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの発話の回数と、発話の合計時間とを音声情報の時間６００秒（＝１０分）で割った値、すなわち、単位時間（１秒）あたりの情報提供者の発話の回数「０．０７８」と、単位時間あたりの情報提供者の発話の時間「０．８０３」とを算出する。どのようの処理を、受領者音声情報に対しても行い、単位時間あたりの情報受領者の発話の回数と、単位時間あたりの情報受領者の発話の時間とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の１番目と２番目のレコード、並びに、８番目と９番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、２番目の条件情報、すなわちコミュニケーション行動「注視」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、提供者モーション情報蓄積部１２が有する図示しない記録媒体から提供者モーション情報に含まれる提供者視線情報を読み出し、受領者モーション情報蓄積部１６が有する図示しない記録媒体から受領者モーション情報に含まれる受領者視線情報を読み出す。それらの視線情報は、図６で示されるように、視線の位置に対応するピクセルの座標を示す情報である。コミュニケーション行動情報生成手段２２は、その視線の位置に対応するピクセルの座標値のうち、時間的に隣接する２個の座標値の距離を求めることにより、視線の位置の変化量を算出する。例えば、あるサンプリング点での座標値が（１０，２０）であり、次のサンプリング点での座標値が（１４，２３）である場合には、視線の位置の変化量は「５」ピクセルとなる。

図１１は、そのようにして算出された視線の位置の変化量の時間変化の一部を示す図である。図１１において、しきい値Ｓ２は、条件情報で設定されている視線方向の変化量「５度」に対応するピクセルの変化量である。また、図１１において、時間ｔ３から時間ｔ４までの間の変化量の値が記載されていないが、これは、その間において視線情報を取得することができなかったこと、すなわち、瞳孔径を検出することができなかったことが原因である。

コミュニケーション行動情報生成手段２２は、算出した視線の位置の変化量と、しきい値Ｓ２とを比較し、視線の位置の変化量がしきい値Ｓ２未満である状態が０．５秒以上継続している箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ２−ｔ１）が０．５秒以上であり、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、注視の回数と、その条件を満たす箇所の合計時間、すなわち、注視の合計時間とを算出する。この具体例では、情報提供者の注視の回数が２８９回であり、注視の合計時間が４６６秒であったとする。また、情報受領者の注視の回数が２７４回であり、注視の合計時間が４３０秒であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの注視の回数と、注視の合計時間とを、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの情報提供者の注視の回数「０．４８２」と、単位時間あたりの情報提供者の注視の時間「０．７７７」と、単位時間あたりの情報受領者の注視の回数「０．４５７」と、単位時間あたりの情報受領者の注視の時間「０．７１７」とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の３番目と４番目のレコード、並びに、１０番目と１１番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、３番目の条件情報、すなわちコミュニケーション行動「瞬目」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、注視に関する条件判断のときと同様に、提供者視線情報及び受領者視線情報から視線の位置の変化量を算出する。この視線の位置の変化量は、注視に関する条件判断で用いた情報を保持しておき、それを用いてもよく、あるいは、再度算出してもよい。

前述のように、図１１において、時間ｔ３から時間ｔ４までが瞳孔径を検出することができなかった時間である。コミュニケーション行動情報生成手段２２は、瞳孔径を検出することができなかった時間が０．４秒以内である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、時間（ｔ４−ｔ３）が０．４秒以内であり、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、瞬目の回数を算出する。この具体例では、情報提供者の瞬目の回数が２１５回であり、情報受領者の瞬目の回数が２４５回であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの瞬目の回数を、視線情報の時間６００秒で割った値、すなわち、単位時間あたりの情報提供者の瞬目の回数「０．３５８」と、単位時間あたりの情報受領者の瞬目の回数「０．４０８」とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の５番目のレコード、並びに、１２番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、４番目の条件情報、すなわちコミュニケーション行動「うなずき」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、提供者モーション情報蓄積部１２が有する図示しない記録媒体から提供者モーション情報に含まれる提供者行動情報と、受領者モーション情報蓄積部１６が有する図示しない記録媒体から受領者モーション情報に含まれる受領者行動情報とを読み出す。それらの行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。コミュニケーション行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、情報提供者及び情報受領者の頭部の前後方向の角度を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１２は、そのようにして算出された頭部の角度の時間変化の一部を示す図である。図１２において、おじぎをするときには頭部の角度がゆっくりと大きく変化しているのに対し、うなずきのときには頭部の角度が速く小さく変化していることがわかる。

コミュニケーション行動情報生成手段２２は、算出した情報提供者及び情報受領者の頭部の角度の時間変化に基づいて、頭部の前後方向の角度が０．３秒以内に５度以上変化した箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１２で示されるように、情報提供者及び情報受領者がうなずいた時点において、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、うなずきの回数を算出する。この具体例では、情報提供者のうなずきの回数が２１３回であり、情報受領者のうなずきの回数が２７１回であったとする。すると、コミュニケーション行動情報生成手段２２は、そのうなずきの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりの情報提供者のうなずきの回数「０．３５５」と、単位時間あたりの情報受領者のうなずきの回数「０．４５２」を算出する。これがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の６番目のレコード、並びに、１３番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、５番目の条件情報、すなわちコミュニケーション行動「指差し」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、提供者モーション情報蓄積部１２が有する図示しない記録媒体から提供者モーション情報に含まれる提供者行動情報と、受領者モーション情報蓄積部１６が有する図示しない記録媒体から受領者モーション情報に含まれる受領者行動情報とを読み出す。それらの行動情報は、図６で示されるように、各マーカの位置に対応する座標を示す情報である。コミュニケーション行動情報生成手段２２は、その各マーカの位置に対応する座標値を用いて、情報提供者及び情報受領者の肩のマーカから手首のマーカまでの距離を算出する。この方法は従来から知られているため、その詳細な説明は省略する。

図１３は、そのようにして算出された肩と手首の距離の時間変化の一部を示す図である。図１３において、ｍａｘは、肩と手首の距離の最大値である。この最大値ｍａｘは、算出された肩と手首の距離の最大値であってもよく、あらかじめ情報提供者及び情報受領者の肩のマーカから手首のマーカまでの実際に測定した最大値であってもよい。

コミュニケーション行動情報生成手段２２は、算出した肩と手首の距離の時間変化と、その最大値ｍａｘに０．９を掛けたしきい値とを比較し、肩と手首の距離が最大値ｍａｘに０．９を掛けたしきい値以上である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、図１３で示されるように、その条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たしていると判断し、その条件を満たす箇所の個数、すなわち、指差しの回数を算出する。この具体例では、情報提供者の指差しの回数が５１回であり、情報受領者の指差しの回数が３４回であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの指差しの回数を行動情報の時間６００秒で割った値、すなわち、単位時間あたりの情報提供者の指差しの回数「０．０８５」と、単位時間あたりの情報受領者の指差しの回数「０．０５７」を算出する。これがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の７番目のレコード、並びに、１４番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、６番目の条件情報、すなわちコミュニケーション行動「同時注視」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、提供者モーション情報蓄積部１２が有する図示しない記録媒体から提供者モーション情報に含まれる提供者行動情報及び提供者視線情報と、受領者モーション情報蓄積部１６が有する図示しない記録媒体から受領者モーション情報に含まれる受領者行動情報及び受領者視線情報とを読み出す。コミュニケーション行動情報生成手段２２は、行動情報と、視線情報とを用いて、情報提供者及び情報受領者の視線方向の世界座標系での直線を算出し、両直線の距離を算出する。例えば、両者が同じ一点を注視している場合には、両直線の距離は０となる。なお、その算出において、情報提供者及び情報受領者の視線方向の世界座標系での直線のうち、両者の後方の部分については用いないものとする。情報提供者及び情報受領者が見ていない後方の領域で、注視の領域が重なることはあり得ないからである。この場合は、図１４で示されるように、時間ｔ１から時間ｔ２の間と、時間ｔ３から時間ｔ４の間とにおいて、情報提供者及び情報受領者の視線方向の世界座標系での直線間の距離が５０センチメートル以下となっている。また、コミュニケーション行動情報生成手段２２は、注視に関する条件判断のときと同様に、情報提供者及び情報受領者の注視の検出を行う。なお、注視に関する条件判断のときの結果を保持しておき、その結果を用いてもよい。そして、コミュニケーション行動情報生成手段２２は、時間ｔ１から時間ｔ２の間と、時間ｔ３から時間ｔ４の間とにおいて、情報提供者及び情報受領者が共に０．５秒以上注視している状態が存在するかどうか判断する（ステップＳ２０３）。この場合には、そのような状態が存在するとする。すると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その同時注視の回数と、合計時間とを算出する。この具体例では、同時注視の回数が３４回であり、同時注視の合計時間が４７秒であったとする。すると、コミュニケーション行動情報生成手段２２は、それらの同時注視の回数と、同時注視の合計時間とを、時間６００秒で割った値、すなわち、単位時間あたりの同時注視の回数「０．０５７」と、単位時間あたりの同時注視の時間「０．０７８」とを算出する。これらがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の１５番目と１６番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

次に、コミュニケーション行動情報生成手段２２は、条件情報記憶手段２１で記憶されている図８で示される条件情報から、７番目の条件情報、すなわちコミュニケーション行動「うなずき追従」に関する条件情報を読み出す（ステップＳ２０６，Ｓ２０７，Ｓ２０２）。

また、コミュニケーション行動情報生成手段２２は、うなずきに関する条件判断のときと同様に、提供者行動情報及び受領者行動情報から情報提供者及び情報受領者の頭部の前後方向の角度を算出する。この角度は、うなずきに関する条件判断で用いた情報を保持しておき、それを用いてもよく、あるいは、再度計算してもよい。

コミュニケーション行動情報生成手段２２は、うなずきに関する条件判断と同様に、情報提供者及び情報受領者のうなずきを検出すると共に、そのうなずきにおける頭部の角度の最大値における時間をそれぞれ取得する。そして、情報提供者のうなずきにおける頭部の角度の最大値における時点と、情報受領者のうなずきにおける頭部の角度の最大値における時点との時間間隔が１秒以下である箇所があるかどうか判断する（ステップＳ２０３）。ここでは、そのような箇所が存在し、うなずき追従の条件を満たしていたとすると、コミュニケーション行動情報生成手段２２は、条件を満たすと判断し、その条件を満たす箇所の個数、すなわち、うなずき追従の回数を算出する。この具体例では、うなずき追従の回数が３８回であったとする。すると、コミュニケーション行動情報生成手段２２は、そのうなずき追従の回数を、時間６００秒で割った値、すなわち、単位時間あたりのうなずき追従の回数「０．０６３」を算出する。これがコミュニケーション行動情報となる（ステップＳ２０４）。コミュニケーション行動情報生成手段２２は、その生成したコミュニケーション行動情報をコミュニケーション行動情報生成手段２２が有する図示しない記録媒体において一時的に記憶する（ステップＳ２０５）。図１０の１７番目のレコードによって、そのようにして一時記憶されたコミュニケーション行動情報が示される。

このようにして、コミュニケーション行動情報生成手段２２は、すべての条件情報を用いてコミュニケーション行動情報を作成すると、コミュニケーション行動情報の作成は終了となる（ステップＳ２０６，Ｓ２０７）。この具体例において、コミュニケーション行動情報生成手段２２が生成し、図示しない記録媒体において一時的に記憶されたコミュニケーション行動情報は、図１０で示されるものである。

図１５は、関数情報記憶手段２３で記憶されている関数情報の一例を示す図である。図１５で示されるように、関数情報記憶手段２３では、インタラクションの種類に対応付けられて、４個の関数情報が記憶されている。関数情報における係数ａＮ，ｂＮ，ｃＮ，ｄＮ，ｅＮ，ｆＮ，ｇＮ（Ｎは１から８までの整数），ｈＭ，ｊＭ，ｋＭ（Ｍは１から４までの整数）は、あらかじめ値が決定されているものとする。なお、いずれかの係数の値は、０であってもよい。
ここで、図１５で示されるインタラクションの種類について説明する。

顧客主導型インタラクションとは、情報受領者（顧客）が積極的に働きかけているインタラクションである。顧客主導型インタラクションにおいては、情報受領者（顧客）からの発話・注視・うなずきと言った積極的な行為の因子負荷量が高く、また、情報提供者からの指差しの因子負荷量も高いことが発明者らの分析によりわかっている。なお、上記具体例では用いていないが、情報受領者の視線移動回数の因子負荷量も高いこともわかっている。なお、因子負荷量については後述する。

協調型インタラクションとは、情報受領者（顧客）と情報提供者とが協調的に行っているインタラクションである。協調型インタラクションにおいては、情報提供者の発話回数の因子負荷量が負の方向に極めて高く、情報提供者のうなずきの因子負荷量も高いことが発明者らの分析によりわかっている。なお、上記具体例では用いていないが、情報受領者から情報提供者への注視、及び情報提供者から情報受領者への注視の両方において因子負荷量が高いこともわかっている。

不活性型インタラクションとは、顧客が情報提供者とのインタラクションを重視しておらず、両者間のコミュニケーションが適切に行われていないインタラクションである。不活性型インタラクションにおいては、情報受領者の指差しの因子負荷量が負の方向に高いことが発明者らの分析によりわかっている。なお、上記具体例では用いていないが、情報受領者の説明対象物への注視時間の因子負荷量が極めて高く、情報提供者と情報受領者の間の両方向の注視追従回数に関しても因子負荷量が高く、特に情報提供者が情報受領者に注視追従する回数の因子負荷量が顕著に高いことがわかっている。

ガイド主導型インタラクションとは、情報提供者が顧客に強く働きかけているインタラクションである。ガイド主導型インタラクションにおいては、上記具体例では用いていないが、情報提供者の説明対象物への注視回数、情報提供者の情報受領者への注視回数、情報提供者による説明対象物への覗き込み、情報提供者の視線移動回数について因子負荷量が高いことが発明者らの分析によりわかっている。

また、図１５で示される関数情報で用いられるＡ１，Ｂ１，Ｃ１，Ｄ１，Ｅ１，Ｆ１，Ｇ１，Ａ２，Ｂ２，Ｃ２，Ｄ２，Ｅ２，Ｆ２，Ｇ２，Ｈ，Ｊ，Ｋは、コミュニケーション行動情報の示す値であり、それぞれ次のようになっている。

Ａ１は、単位時間あたりの情報提供者の発話の回数である。Ｂ１は、単位時間あたりの情報提供者の発話の時間である。Ｃ１は、単位時間あたりの情報提供者の注視の回数である。Ｄ１は、単位時間あたりの情報提供者の注視の時間である。Ｅ１は、単位時間あたりの情報提供者の瞬目の回数である。Ｆ１は、単位時間あたりの情報提供者のうなずきの回数である。Ｇ１は、単位時間あたりの情報提供者の指差しの回数である。

Ａ２は、単位時間あたりの情報受領者の発話の回数である。Ｂ２は、単位時間あたりの情報受領者の発話の時間である。Ｃ２は、単位時間あたりの情報受領者の注視の回数である。Ｄ２は、単位時間あたりの情報受領者の注視の時間である。Ｅ２は、単位時間あたりの情報受領者の瞬目の回数である。Ｆ２は、単位時間あたりの情報受領者のうなずきの回数である。Ｇ２は、単位時間あたりの情報受領者の指差しの回数である。
Ｈは、単位時間あたりの同時注視の回数である。Ｊは、単位時間あたりの同時注視の時間である。Ｋは、単位時間あたりのうなずき追従の回数である。

次に、インタラクション情報の生成処理について説明する。インタラクション情報生成手段２４は、まず、関数情報記憶手段２３で記憶されている図１５で示される関数情報から、１番目の種類のインタラクション、すなわち、顧客主導型インタラクションに対応する関数情報を読み出す（ステップＳ３０１，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図１０で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．７５」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１６の１番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１５で示される関数情報から、２番目の種類のインタラクション、すなわち、協調型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図１０で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．６３」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１６の２番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１５で示される関数情報から、３番目の種類のインタラクション、すなわち、不活性型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図１０で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．２４」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１６の３番目のレコードによって、そのようにして一時記憶された関数の値が示される。

次に、インタラクション情報生成手段２４は、関数情報記憶手段２３で記憶されている図１５で示される関数情報から、４番目の種類のインタラクション、すなわち、ガイド主導型インタラクションに対応する関数情報を読み出す（ステップＳ３０５，Ｓ３０６，Ｓ３０２）。そして、インタラクション情報生成手段２４は、図１０で示されるコミュニケーション行動情報から、各コミュニケーション行動情報の示す値を読み出し、その値を読み出した関数情報の示す関数に代入することによって、関数の値を算出する（ステップＳ３０３）。ここでは、関数の値が「０．５４」であったとする。インタラクション情報生成手段２４は、その算出した関数の値をインタラクション情報生成手段２４が有する図示しない記録媒体において一時的に記憶する（ステップＳ３０４）。図１６の４番目のレコードによって、そのようにして一時記憶された関数の値が示される。

このようにして、インタラクション情報生成手段２４は、すべての種類のインタラクションに対応する関数情報を用いて関数の値を算出すると（ステップＳ３０５，Ｓ３０６）、それらを用いて、インタラクション情報を生成する（ステップＳ３０７）。この具体例では、インタラクション情報生成手段２４は、図１６で示されるインタラクションの種類を示す情報と、その程度を示す情報（ここでは、関数の値をパーセント表示した情報）とを対応付けた情報をインタラクション情報として構成する。図１７は、インタラクション情報生成手段２４が構成したインタラクション情報を示す図である。

インタラクション情報出力部２０は、インタラクション情報生成手段２４が構成した図１７で示されるインタラクション情報をディスプレイに出力する。その結果、ディスプレイに図１７で示されるインタラクション情報が表示され、ユーザは、そのインタラクション情報を見ることによって、情報提供者である店員と、情報受領者である顧客とのインタラクションが主に顧客主導型インタラクションであることを知ることができる。

ここで、図１５で示されるように、インタラクションの種類と、対応する関数情報とを決定する方法について説明する。まず、情報提供者と情報受領者との複数の組に対して、情報提供者が情報受領者に情報を提供する複数の実験を行い、提供者モーション情報等を取得し、すでに説明した方法等を用いることによってコミュニケーション行動情報を生成する。なお、提供者モーション情報等を取得する情報提供者と情報受領者との組の数は、後述する因子負荷量を適切に算出することができる程度に多いことが好ましい。発明者らは、２２組から提供者モーション情報等を取得して、以下の因子分析を行った。また、発明者らは、その情報提供者と情報受領者との組において、情報提供者をすべて同一人物とした。

そのようにして生成されたコミュニケーション行動情報について因子分析手法を用いることによって、多変量データであるコミュニケーション行動情報から共通因子を探り出す。その結果、その因子を用いることにより、インタラクションを複数の因子ごとのグループに分けることができる。そのグループに名称を付けたものが、上述の顧客主導型インタラクション等である。

次に、その求めた因子（例えば、顧客主導性因子、協調性因子等のインタラクションの各種類に対応する因子）ごとの、コミュニケーション行動情報の因子負荷量を算出する。その因子負荷量の算出において、バリマックス回転による因子分析等を行ってもよい。例えば、顧客主導性因子の場合、コミュニケーション行動情報「情報提供者の指差しの回数」の因子負荷量が高いと言う実験結果が得られている。次に、その因子ごとに因子負荷量の平均や負荷量の標準偏差等の統計量を算出し、その統計量を用いて関数情報の示す関数の各係数値を設定する。この方法は、従来からすでに知られており、その詳細な説明は省略する。このような因子ごとの各コミュニケーション行動情報の因子負荷量を用いることによって、因子負荷量の大きいコミュニケーション行動情報が関数値により大きく寄与するように関数情報の示す関数の各係数値を設定することができる。このようにして、関数情報を決定することができる。

なお、この具体例では、インタラクションの種類と、その程度とを示す情報であるインタラクション情報を出力する場合について説明したが、前述のように、出力されるインタラクション情報は、最も程度の高いインタラクションの種類を示す情報であってもよい。上記具体例の場合には、インタラクション情報「顧客主導型インタラクション」が出力されることになる。このような出力がなされることにより、ユーザは、どの種類のインタラクションが最も支配的であったのかについて知ることができる。また、出力されるインタラクション情報は、ある種類のインタラクションに対応する程度を示す情報であってもよい。上記具体例の場合には、顧客主導型インタラクションに対応する関数情報のみが関数情報記憶手段２３で記憶されており、その関数情報を用いて算出された顧客主導型インタラクションの程度「７５％」が出力されることになる。このような出力がなされることにより、ユーザは、情報提供者である店員と、情報受領者である顧客との間のインタラクションが顧客主導型インタラクションである程度を知ることができる。

また、この具体例では、一連の提供者モーション情報と提供者音声情報と受領者モーション情報と受領者音声情報を蓄積した後に、インタラクション情報を生成する場合について説明したが、提供者モーション情報等の蓄積と、インタラクション情報の生成とをリアルタイムで並行して行ってもよい。その場合には、例えば、所定の時間区切り（例えば、１分等）ごとに、インタラクション情報を生成してもよい。その生成されたインタラクション情報を情報提供者が装着しているヘッドマウントディスプレイや、イヤホン等に出力し、情報提供者がリアルタイムでインタラクション情報のフィードバックを受けることによって、情報提供者による情報の提供行為にインタラクション情報を活用するようにしてもよい。例えば、店員である情報提供者に示されたインタラクション情報の種類が「不活性型インタラクション」である場合には、顧客が商品やサービスを購入する見込みがないと判断し、その顧客に対する商品説明等を早期に切り上げるようにしてもよい。

また、この具体例では、コミュニケーション行動情報が単位時間あたりの情報である場合について説明したが、それは一例であって、コミュニケーション行動情報は、単位時間あたりの情報でなくてもよい。例えば、図１０で示される測定値をそのままコミュニケーション行動情報として用いてもよい。

また、この具体例では、関数情報の示す関数が、コミュニケーション行動情報の示す値の１次の多項式である場合について説明したが、関数情報の示す関数は、インタラクションの種類に対応する値を適切に算出できるものであれば、この具体例で説明した関数に限定されず、その他の関数であってもよい。また、対応するインタラクションの種類ごとに、関数の形が異なってもよい。

また、この具体例では、コミュニケーション行動として、単に「注視」を検出する場合について説明したが、前述のように、コミュニケーション行動として、「情報提供者への注視」や「情報受領者への注視」、「説明対象物への注視」等を検出するようにしてもよい。その場合には、情報提供者や情報受領者は、例えば、ウェアラブルカメラを装着しており、そのウェアラブルカメラによって視線方向の画像を撮影していてもよい。また、コミュニケーション行動「情報提供者への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像によって、人物の顔領域が特定されており、かつ、眼球運動の変化が５度未満である状態が０．５秒以上継続することであってもよい。ここで、人物の顔領域の特定は、前述のように、例えば、肌色検出や、パターンマッチング等の技術を用いることにより行うことができる。また、コミュニケーション行動「説明対象物への注視」に対応する条件は、例えば、ウェアラブルカメラによって撮影された画像に説明対象物の画像が含まれており、かつ、眼球運動の変化が５度未満である状態が０．５秒以上継続することであってもよい。ここで、撮影された画像に説明対象物の画像が含まれているかどうかの判断は、前述のように、例えば、説明対象物に所定のマーカが付いている場合には、そのマーカが撮影された画像に含まれているかどうかで判断してもよく、パターンマッチング等の技術を用いることによって判断してもよい。このように、単に「注視」を検出するだけでなく、「情報提供者への注視」や「情報受領者への注視」、「説明対象物への注視」を検出することによって、精度の高いインタラクションの分析を行うことができることは言うまでもない。

また、上述のようにして出力されたインタラクション情報を用いて、情報提供者と情報受領者のインタラクションを複数のクラスタに分類してもよい。例えば、情報提供者と情報受領者の複数の組から提供者モーション情報等を取得して因子分析を行った場合と同様に、情報提供者と情報受領者の複数の組に関する各インタラクションの種類と、その程度を示す情報とを用いて、情報提供者と情報受領者の複数の組に関するインタラクション情報を、複数のクラスタに分類する。その分類したクラスタのインタラクション情報の傾向をパターンとして保持し、ある情報提供者と情報受領者の組に関するインタラクション情報を生成し、出力した後に、そのインタラクション情報がどのクラスタのパターンにマッチするのかを判断することによって、その情報提供者と情報受領者のインタラクションのクラスタ分けを行ってもよい。

また、この具体例では、情報提供者が店員であり、情報受領者が顧客である場合について説明したため、インタラクションの種類の名称を、顧客主導型インタラクション、協調型インタラクション、不活性型インタラクション、ガイド主導型インタラクションとしたが、インタラクションの種類の名称はこれに限定されるものではない。インタラクションの種類の名称は、例えば、情報受領者主導型インタラクション、協調型インタラクション、不活性型インタラクション、情報提供者主導型インタラクションであってもよく、あるいは、まったく異なる名称であってもよい。

また、この具体例で用いた図７、図９〜図１４、図１６、図１７の具体的なデータは、本実施の形態によるインタラクション情報出力装置１の動作の詳細を説明するために示したものであり、実際に被験者から取得したデータではない。なお、上記説明の具体例とは異なるが、発明者らが実験によって算出した因子負荷量は、図１８で示されるとおりである。これらの因子負荷量を用いて、上述の関数を決定することができ、各インタラクションの程度を示す情報を算出することができるようになる。

以上のように、本実施の形態によるインタラクション情報出力装置１では、情報提供者に関する提供者モーション情報、及び提供者音声情報、並びに、情報受領者に関する受領者モーション情報、及び受領者音声情報を用いることにより、インタラクション情報を生成することができる。したがって、そのインタラクション情報を用いることにより、情報提供者と、情報受領者との間のインタラクションがどのようなものであるのかについて知ることができ、それを用いることにより、過去のインタラクションの分析を行うことができ、また、将来の接客等に活用することができ、よりよい情報の提供を実現することができる。

なお、上記実施の形態では、インタラクション情報生成部１９が関数情報記憶手段２３を備え、関数情報を用いてインタラクション情報を生成する場合について説明したが、インタラクション情報生成部１９は、関数情報を用いないでインタラクション情報を生成してもよい。例えば、インタラクション情報生成手段２４は、各インタラクションの種類が支配的であるための条件を示す情報（例えば、コミュニケーション行動情報のしきい値に関する条件を示す情報等）を用いて、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報から支配的であるインタラクションの種類を特定してもよい。インタラクション情報生成部１９が関数情報を用いないでインタラクション情報を生成する場合には、インタラクション情報生成部１９は、関数情報記憶手段２３を備えなくてもよい。

また、上記実施の形態では、インタラクション情報生成部１９が、まずコミュニケーション行動情報を生成し、その生成したコミュニケーション行動情報を用いてインタラクション情報を生成する場合について説明したが、インタラクション情報生成部１９は、コミュニケーション行動情報を生成しないでインタラクション情報を生成してもよい。例えば、インタラクション情報生成部１９は、各インタラクションの種類が支配的であるための条件を示す情報（例えば、顧客主導型インタラクションが支配的である条件は、１分に５回以上の割合で指差しが行われること等）を用いて、コミュニケーション行動情報生成手段２２が生成したコミュニケーション行動情報から支配的であるインタラクションの種類を特定してもよい。インタラクション情報生成部１９が関数情報を用いないでインタラクション情報を生成する場合には、インタラクション情報生成部１９は、条件情報記憶手段２１、コミュニケーション行動情報生成手段２２、関数情報記憶手段２３を備えなくてもよい。

また、上記実施の形態では、提供者モーション情報及び受領者モーション情報にそれぞれ提供者視線情報及び受領者視線情報が含まれる場合について説明したが、提供者モーション情報は提供者視線情報を含んでいなくてもよく、受領者モーション情報は受領者視線情報を含んでいなくてもよい。

また、上記実施の形態では、提供者音声情報及び受領者音声情報を用いてインタラクション情報の生成を行う場合について説明したが、提供者音声情報及び受領者音声情報の一方あるいは両方を用いずにインタラクション情報を生成してもよい。その場合には、インタラクション情報出力装置１は、提供者音声情報受付部１３や提供者音声情報蓄積部１４、あるいは、受領者音声情報受付部１７や受領者音声情報蓄積部１８を備えなくてもよい。

また、上記実施の形態において、情報提供者と情報受領者の種類に応じて、用いる関数情報を変更するようにしてもよい。ここで、情報提供者と情報受領者の種類とは、例えば、販売員と店の客、先生と生徒、医者と患者等である。例えば、販売員と店の客用の関数情報と、先生と生徒用の関数情報と、医者と患者用の関数情報とが関数情報記憶手段２３で記憶されており、インタラクション情報生成手段２４は、情報提供者と情報受領者の種類に応じた関数情報を読み出して使用してもよい。なお、情報提供者と情報受領者の種類は、ユーザの手入力等によってインタラクション情報出力装置１に入力されてもよく、あるいは、提供者音声情報や受領者音声情報、提供者モーション情報、受領者モーション情報等から抽出されてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、あるいは、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、あるいは、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現される。なお、上記実施の形態におけるインタラクション情報出力装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、コンピュータに、情報受領者に対面して情報を提供している情報提供者の動きを示す情報である提供者モーション情報を受け付ける提供者モーション情報受付ステップと、前記情報受領者の動きを示す情報である受領者モーション情報を受け付ける受領者モーション情報受付ステップと、前記提供者モーション情報受付ステップで受け付けた提供者モーション情報と、前記受領者モーション情報受付ステップで受け付けた受領者モーション情報とから、前記情報提供者と前記情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を実行させるためのものである。

また、このプログラムでは、前記インタラクション情報生成ステップは、条件情報記憶手段で記憶されている、人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報を用いて、前記提供者モーション情報及び前記受領者モーション情報から、情報提供者及び情報受領者のコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成ステップと、前記コミュニケーション行動情報生成ステップで生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成ステップと、を備えていてもよい。

また、このプログラムでは、前記インタラクション情報生成ステップにおいて、関数情報記憶手段で記憶されている、コミュニケーション行動情報の示す値を引数とする関数を示す情報である１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成ステップで生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成してもよい。

また、このプログラムでは、前記情報提供者の発した音声に関する情報である提供者音声情報を受け付ける提供者音声情報受付ステップをさらにコンピュータに実行させ、前記インタラクション情報生成ステップでは、前記提供者音声情報受付ステップで受け付けた提供者音声情報をも用いて前記インタラクション情報を生成してもよい。

また、このプログラムでは、前記情報受領者の発した音声に関する情報である受領者音声情報を受け付ける受領者音声情報受付ステップをさらにコンピュータに実行させ、前記インタラクション情報生成ステップでは、前記受領者音声情報受付ステップで受け付けた受領者音声情報をも用いて前記インタラクション情報を生成してもよい。

なお、上記プログラムにおいて、情報を出力する出力ステップや、情報を受け付ける受付ステップ等では、ハードウェアでしか行われない処理、例えば、出力ステップにおけるモデムやインターフェースカード等で行われる処理は少なくとも含まれない。

また、このプログラムは、サーバ等からダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、ＣＤ−ＲＯＭ等の光ディスクや磁気ディスク、半導体メモリ等）に記録されたプログラムが読み出されることによって実行されてもよい。

また、このプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。

図１９は、上記プログラムを実行して、上記実施の形態によるインタラクション情報出力装置１を実現するコンピュータの外観の一例を示す模式図である。上記実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムによって実現される。

図１９において、コンピュータシステム１００は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）ドライブ１０５、ＦＤ（Ｆｌｅｘｉｂｌｅ Ｄｉｓｋ）ドライブ１０６を含むコンピュータ１０１と、キーボード１０２と、マウス１０３と、モニタ１０４とを備える。

図２０は、コンピュータシステムを示す図である。図２０において、コンピュータ１０１は、ＣＤ−ＲＯＭドライブ１０５、ＦＤドライブ１０６に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１１と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１２と、ＣＰＵ１１１に接続され、アプリケーションプログラムの命令を一時的に記憶すると共に、一時記憶空間を提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１３と、アプリケーションプログラム、システムプログラム、及びデータを記憶するハードディスク１１４と、ＣＰＵ１１１、ＲＯＭ１１２等を相互に接続するバス１１５とを備える。なお、コンピュータ１０１は、ＬＡＮへの接続を提供する図示しないネットワークカードを含んでいてもよい。

コンピュータシステム１００に、上記実施の形態によるインタラクション情報出力装置１の機能を実行させるプログラムは、ＣＤ−ＲＯＭ１２１、またはＦＤ１２２に記憶されて、ＣＤ−ＲＯＭドライブ１０５、またはＦＤドライブ１０６に挿入され、ハードディスク１１４に転送されてもよい。これに代えて、そのプログラムは、図示しないネットワークを介してコンピュータ１０１に送信され、ハードディスク１１４に記憶されてもよい。プログラムは実行の際にＲＡＭ１１３にロードされる。なお、プログラムは、ＣＤ−ＲＯＭ１２１やＦＤ１２２、またはネットワークから直接、ロードされてもよい。

プログラムは、コンピュータ１０１に、上記実施の形態によるインタラクション情報出力装置１の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティプログラム等を必ずしも含んでいなくてもよい。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいてもよい。コンピュータシステム１００がどのように動作するのかについては周知であり、詳細な説明は省略する。
また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

以上より、本発明によるインタラクション情報出力装置等によれば、情報提供者の提供者モーション情報や情報受領者の受領者モーション情報等を用いることによりインタラクション情報を生成して出力することができ、インタラクション情報を生成して出力するシステム等として有用である。

本発明の実施の形態１によるインタラクション情報出力装置の構成を示すブロック図 同実施の形態によるインタラクション情報出力装置のインタラクション情報生成部の構成を示すブロック図 同実施の形態によるインタラクション情報出力装置の全体動作を示すフローチャート 同実施の形態によるインタラクション情報出力装置のコミュニケーション行動情報の生成処理の詳細を示すフローチャート 同実施の形態によるインタラクション情報出力装置のインタラクション情報の生成処理の詳細を示すフローチャート 同実施の形態によるアイカメラ等を装着した情報提供者の一例を示す図 同実施の形態における提供者音声情報及び提供者モーション情報の一例を示す図 同実施の形態における条件情報の一例を示す図 同実施の形態におけるコミュニケーション行動「発話」の検出について説明するための図 同実施の形態におけるコミュニケーション行動情報の一例を示す図 同実施の形態におけるコミュニケーション行動「注視」の検出について説明するための図 同実施の形態におけるコミュニケーション行動「うなずき」の検出について説明するための図 同実施の形態におけるコミュニケーション行動「指差し」の検出について説明するための図 同実施の形態におけるコミュニケーション行動「同時注視」の検出について説明するための図 同実施の形態における関数情報の一例を示す図 同実施の形態における算出された関数の値の一例を示す図 同実施の形態におけるインタラクション情報の一例を示す図 同実施の形態における因子負荷量の一例を示す図 同実施の形態におけるコンピュータシステムの外観一例を示す模式図 同実施の形態におけるコンピュータシステムの構成の一例を示す図

符号の説明

１ インタラクション情報出力装置
１１ 提供者モーション情報受付部
１２ 提供者モーション情報蓄積部
１３ 提供者音声情報受付部
１４ 提供者音声情報蓄積部
１５ 受領者モーション情報受付部
１６ 受領者モーション情報蓄積部
１７ 受領者音声情報受付部
１８ 受領者音声情報蓄積部
１９ インタラクション情報生成部
２０ インタラクション情報出力部
２１ 条件情報記憶手段
２２ コミュニケーション行動情報生成手段
２３ 関数情報記憶手段
２４ インタラクション情報生成手段

Claims (8)

1. 情報受領者に対面して情報を提供している情報提供者の動きを示す情報である提供者モーション情報を受け付ける提供者モーション情報受付部と、
   前記情報受領者の動きを示す情報である受領者モーション情報を受け付ける受領者モーション情報受付部と、
   前記提供者モーション情報受付部が受け付けた提供者モーション情報と、前記受領者モーション情報受付部が受け付けた受領者モーション情報とから、前記情報提供者と前記情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成部と、
   前記インタラクション情報生成部が生成したインタラクション情報を出力するインタラクション情報出力部と、を具備するインタラクション情報出力装置。
2. 前記インタラクション情報生成部は、
   人が他人とのコミュニケーション時に行う行動であるコミュニケーション行動の発生の条件を示す情報である条件情報が記憶される条件情報記憶手段と、
   前記条件情報記憶手段で記憶されている条件情報を用いて、前記提供者モーション情報及び前記受領者モーション情報から、情報提供者及び情報受領者のコミュニケーション行動の発生を検出し、検出したコミュニケーション行動に関する情報であるコミュニケーション行動情報を生成するコミュニケーション行動情報生成手段と、
   前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報を用いてインタラクション情報を生成するインタラクション情報生成手段と、を具備する、請求項１記載のインタラクション情報出力装置。
3. 前記インタラクション情報生成部は、
   コミュニケーション行動情報の示す値を引数とする関数を示す情報である関数情報が１以上記憶される関数情報記憶手段をさらに具備し、
   前記インタラクション情報生成手段は、前記関数情報記憶手段で記憶されている１以上の関数情報の示す関数に、前記コミュニケーション行動情報生成手段で生成されたコミュニケーション行動情報の示す値を代入することによりインタラクション情報を生成する、請求項２記載のインタラクション情報出力装置。
4. 前記情報提供者の発した音声に関する情報である提供者音声情報を受け付ける提供者音声情報受付部をさらに備え、
   前記インタラクション情報生成部は、前記提供者音声情報受付部が受け付けた提供者音声情報をも用いて前記インタラクション情報を生成する、請求項１から請求項３のいずれか記載のインタラクション情報出力装置。
5. 前記情報受領者の発した音声に関する情報である受領者音声情報を受け付ける受領者音声情報受付部をさらに備え、
   前記インタラクション情報生成部は、前記受領者音声情報受付部が受け付けた受領者音声情報をも用いて前記インタラクション情報を生成する、請求項１から請求項４のいずれか記載のインタラクション情報出力装置。
6. 前記提供者モーション情報は、前記情報提供者の視線に関する情報を含み、
   前記受領者モーション情報は、前記情報受領者の視線に関する情報を含む、請求項１から請求項５のいずれか記載のインタラクション情報出力装置。
7. 情報受領者に対面して情報を提供している情報提供者の動きを示す情報である提供者モーション情報を受け付ける提供者モーション情報受付ステップと、
   前記情報受領者の動きを示す情報である受領者モーション情報を受け付ける受領者モーション情報受付ステップと、
   前記提供者モーション情報受付ステップで受け付けた提供者モーション情報と、前記受領者モーション情報受付ステップで受け付けた受領者モーション情報とから、前記情報提供者と前記情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、
   前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を具備するインタラクション情報出力方法。
8. コンピュータに、
   情報受領者に対面して情報を提供している情報提供者の動きを示す情報である提供者モーション情報を受け付ける提供者モーション情報受付ステップと、
   前記情報受領者の動きを示す情報である受領者モーション情報を受け付ける受領者モーション情報受付ステップと、
   前記提供者モーション情報受付ステップで受け付けた提供者モーション情報と、前記受領者モーション情報受付ステップで受け付けた受領者モーション情報とから、前記情報提供者と前記情報受領者とのインタラクションに関する情報であるインタラクション情報を生成するインタラクション情報生成ステップと、
   前記インタラクション情報生成ステップで生成したインタラクション情報を出力するインタラクション情報出力ステップと、を実行させるためのプログラム。

Images