JP2015191591A - 情報処理装置、行動タイミング検出方法、およびプログラム - Google Patents

Abstract

【課題】ロボットなどによるユーザに対するインタラクションにおいて、ユーザの意思を遅滞なく反映した適切な行動タイミングを検出する。
【解決手段】タイミング情報生成部は、対象者へ働きかけを行う行動タイミングを示すタイミング情報を生成する。タイミング情報は、第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、第２の時間に検出された対象者の働きかけの種類毎の種別回数とに基づき算出される。第１の時間は、第１の時刻からの時間である。第２の時間は、第１の時刻より後の第２の時刻からの、第１の時刻より短い時間である。出力部は、タイミング情報を出力する。
【選択図】図１

Description

本発明は、情報処理装置、行動タイミング検出方法、およびプログラムに関する。

従来、人間と、ロボットや、ディスプレイに表示される人間や動物等との間で、コミュニケーションを行う技術が知られている。このような技術においては、人間の視線、発話、ロボットやディスプレイなどの装置との距離等に基づき、装置側から人間への働きかけの内容やタイミングを決定する方法が提案されている。
（例えば、特許文献１〜３参照）。

特開２００４−１１８８５６号公報 国際公開ＷＯ２００４／０６８３９９号公報 特開２００６−２６０１０２号公報

例えば、ロボットやエージェントの対人インタラクションにおいて、ユーザが快適なインタラクションを実現するために、ユーザの状況にあったインタラクションを行いたいという要求がある。

しかしながら、上記のような従来の技術では、例えば、働きかけではないユーザの動作が、働きかけと誤認された結果、インタラクションの意志のないユーザに対し不要な働きかけをすることになる場合がある。このように、ユーザの状態にかかわらずロボットが積極的にインタラクションを仕掛けた結果、ユーザに、不自然な、あるいは不快な印象を与えてしまうことがある。逆に、インタラクションをしたユーザに対する反応としての働きかけがなかなか行われないと、やはり、不自然、あるいは不快な印象となる場合がある。

ひとつの側面によれば、本発明の目的は、ロボットなどによるユーザに対するインタラクションにおいて、ユーザの意思を遅滞なく反映した適切な行動タイミングを検出できるようにすることである。

ひとつの態様である情報処理装置は、タイミング情報生成部と、出力部とを有する。タイミング情報生成部は、対象者へ働きかけを行う行動タイミングを示すタイミング情報を生成する。タイミング情報は、第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、第２の時間に検出された対象者の働きかけの種類毎の種別回数とに基づき算出される。第１の時間は、第１の時刻からの時間である。第２の時間は、第１の時刻より後の第２の時刻からの、第１の時刻より短い時間である。出力部は、タイミング情報を出力する。

ひとつの実施形態によれば、ロボットなどによるユーザに対するインタラクションにおいて、ユーザの意思を遅滞なく反映した適切な行動タイミングを検出することが可能になる。

第１の実施の形態による情報処理装置の機能的な構成の一例を示すブロック図である。 第１の実施の形態による情報処理装置を備えたインタラクションシステムの構成の一例を示す図である。 第１の実施の形態による動作情報量変化の一例を示す図である。 第１の実施の形態による情報量テーブルの一例を示す図である。 第１の実施の形態による情報処理装置による行動タイミング検出の動作の一例を示すフローチャートである。 第２の実施の形態による情報処理装置の機能的な構成の一例を示すブロック図である。 第２の実施の形態による動作情報量変化の一例を示す図である。 第２の実施の形態による動作情報量変化の別の例を示す図である。 第２の実施の形態による情報量テーブルの一例を示す図である。 第２の実施の形態による情報処理装置の動作の一例を示すフローチャートである。 第３の実施の形態による情報処理装置の機能的な構成の一例を示すブロック図である。 第３の実施の形態による情報処理装置を含むインタラクションシステムの構成の一例を示す図である。 第３の実施の形態による情報量テーブルの一例を示す図である。 第３の実施の形態による情報処理装置を備えたインタラクションシステムの動作の一例を示すフローチャートである。 標準的なコンピュータのハードウエア構成の一例を示す図である。

以下、実施の形態について図面を参照しながら説明する。実施の形態による情報処理装置は、対象者への働きかけを行う行動タイミングを示すタイミング情報を出力する。情報処理装置では、第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量が用いられる。また、第１の時刻より後の第２の時刻からの第１の時間よりも短い第２の時間に検出された対象者の働きかけの種類毎の種別回数が用いられる。タイミング情報は、情報量と種別回数とに基づき生成され、出力される。ここで、対象者とは、情報処理装置との間でインタラクションを行うユーザになり得るとして、挙動検出の対象となる者をいう。

なお、情報処理装置は、例えば、ロボット、エージェント、広告等様々なものの動作を行うタイミング、動作の種類などを制御するための制御装置に備えられる。また、情報処理装置は、データ通信網を介して、ロボット、エージェント、広告などから取得された情報を受付けて処理し、出力結果を、データ通信網を介して出力する装置であってもよい。

以下、制御対象となるロボット、エージェント、広告等を総称して「ロボット」と称する。ロボットが対象者に働きかけを行う時機（タイミング）を、「行動タイミング」という。対象者の挙動を、「イベント」ともいう。「働きかけ」とは、例えば、顔を向ける、アイコンタクトをする、手を振る、触る、声をかけるなど、ロボットまたは対象者に対して行う行動をいう。「インタラクション」とは、対象者またはロボットによる働きかけである。

第１の時間、第２の時間は、それぞれ現時点になるべく近い過去のそれぞれの時間をいう。第１の時間は、第１の時刻からの所定時間である。第２の時間は、第１の時刻より後の第２の時刻からの第１の時間より短い所定時間である。

対象者の働きかけの意志の強さとは、例えば、対象者がロボットにどれほど興味を持っているか、インタラクションを行っている、あるいは行おうとしているかの、数値的指標、段階的指標、または遷移状態を示す指標である。

（第１の実施の形態）
以下、図面を参照しながら、第１の実施の形態による情報処理装置１について説明する。第１の実施の形態は、動作情報量として、種別情報量を用いる例である。種別情報量は、働きかけの種類毎の動作情報量である。第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量としては、選択情報量が用いられる。

図１は、第１の実施の形態による情報処理装置１の機能的な構成を示すブロック図である。情報処理装置１は、センサなどにより検出された対象者の挙動をイベントとして入力されると、対象者へのインタラクションの行動タイミングを示すタイミング情報を出力する装置である。以下、行動タイミングを検出するとは、行動タイミングを決定するために参照可能な情報などを含む、タイミング情報を出力することを含む。

図１に示すように、情報処理装置１は、選択情報量算出部３、回数計数部５、動作情報量算出部７、タイミング情報生成部９、出力部１１、記憶部１３を有している。情報処理装置１の各機能は、例えば、予め記憶部１３に記憶された動作プログラムを後述する演算処理装置が読み込んで実行することにより実現される。

図２は、第１の実施の形態による情報処理装置１を備えたインタラクションシステム２０の構成の一例を示す図である。図２に示すように、インタラクションシステム２０は、情報処理装置１の利用形態の一例であり、情報処理装置１に加え、カメラ２２、イベント検出部２４、出力装置２６を有している。インタラクションシステム２０では、情報処理装置１は、対象者３０の挙動を検出した結果イベント検出部２４から出力されるイベントを受付け、出力装置２６に結果を出力する。なおインタラクションシステム２０は、一つの装置として構成される形態でもよい。

カメラ２２は、動画、または静止画を撮像する装置である。カメラ２２は、例えば、出力装置２６に対向する領域を撮影することで画像を生成し、生成した画像を、イベント検出部２４に出力する。カメラ２２は、例えば、毎秒数コマから数十コマのフレームレートで撮影可能な性能を有する装置としてもよい。

イベント検出部２４は、カメラ２２で生成された画像から、対象者３０の、例えば出力装置２６への働きかけを検出する。例えば、イベント検出部２４は、取得された画像から、輝度の不連続な変化を示すエッジ等特徴点を抽出し、抽出した特徴点の分布に基づいて対象者３０の顔、腕、胴体等の輪郭を特定する。イベント検出部２４は、特定した輪郭に基づいて対象者３０を検出する。イベント検出部２４は、例えば、特定した対象者３０の顔、目、鼻、耳、あるいは口等の輪郭の形状や互いの位置の関係に基づいて、対象者３０の顔の向き、視線の方向、表情等を、対象者３０によるイベントとして検出する。

なお、イベント検出部２４が検出する対象者３０のイベントは、上記に限定されない。逆に、上記の各種イベントを全種類検出する必要はなく、特定の少なくとも１種類以上のイベントを検出すればよい。イベントの検出は、特許文献１のユーザの表情を検出するために用いられる方法など、公知の技術を利用して行われるようにしてもよい。また、イベントの検出は、所定の処理または判定の規則を予め決め、カメラ２２で取得された画像に適用することにより行われるようにしてもよい。

情報処理装置１は、イベント検出部２４からイベントを受付ける。このとき、情報処理装置１は、例えば、イベントの種別を時刻とともに記憶部１３に記憶するようにしてもよい。図１に示すように、選択情報量算出部３は、受付けたイベントに基づき、選択情報量Ｉｓｅｌ（Ｔ）を算出する。選択情報量Ｉｓｅｌ（Ｔ）は、ある事象（ここでは、あるイベント）が起こった際の情報量の一例を表す。選択情報量算出部３は、第１の時間Ｔに検出された全種類のイベント数Ｎｔ（Ｔ）と、第１の時間Ｔに検出されたイベントの種類毎の検出回数Ｎｅ（Ｔ）とを算出する。ここで、第１の時間Ｔとは、直近の所定時間とすることが好ましい。

選択情報量Ｉｓｅｌ（Ｔ）は、第１の時間Ｔに検出された全種類のイベント数Ｎｔ（Ｔ）に対する種類毎の検出回数Ｎｅ（Ｔ）の検出割合Ｐｅに基づき、下記式１により算出される。

なお、検出回数Ｎｉは、直近の過去の第１の時間Ｔに、いずれかのイベントｉが検出された検出回数である。識別子ｉ（ｉは、整数）は、イベントの種類に対応する識別子である。イベントとしては、例えば、顔左向き、顔右向き、アイコンタクト、表情、タッチ、声などが考えられる。なお、夫々のイベントの種類には、識別子ｉを割り当てて区別する。

上記のように、選択情報量Ｉｓｅｌ（Ｔ）は、検出された全イベントの中の、ある種類のイベントが起こったという事象に対応する数値的指標の一例を表す。例えば、あまり起こらない種類のイベントが起こった場合は、起こったことの意味は大きくなると考えられる。逆に、継続して起こっている種類のイベントがさらに起こった場合は、起こったことの意味はあまり大きくないと考えられる。これを数値化した例が選択情報量Ｉｓｅｌ（Ｔ）である。この概念の範囲において、式１の変形は可能である。

回数計数部５は、第１の時間Ｔより短い第２の時間Ｔ２に検出された、種類毎のイベントの回数を、種別回数Ｎｅ（Ｔ２）として計数する。第２の時間Ｔ２は、第１の時間Ｔ内の直近の所定時間とすることが好ましい。種別回数Ｎｅ（Ｔ２）は、直近の時間に起きた働きかけの状態の変化を表す数値的指標の一例である。働きかけの状態の変化を表すという概念の範囲において、種別回数Ｎｅ（Ｔ２）に代えて別な値を用いることもできる。例えば、種別回数Ｎｅ（Ｔ２）を、第２の時間Ｔ２における特定種類のイベントが検出される単位時間当たりの平均回数等に変形することは可能である。

動作情報量算出部７は、動作情報量を算出する。動作情報量とは、第１の時間に検出された対象者の働きかけの回数と種類とに応じた選択情報量と、第１の時間よりも短い第２の時間に検出された対象者の働きかけの種類毎の種別回数とに基づき、算出される。本実施の形態において、動作情報量は、イベントの種類毎の種別情報量Ｉｅである。種別情報量Ｉｅは、下記式２により算出される。
Ｉｅ＝Ｎｅ（Ｔ２）×Ｉｓｅｌ（Ｔ）・・・（式２）

種別情報量Ｉｅは、種類毎のイベントに関する、対象者の意志の強さの数値的指標の一例であり、第１の実施の形態においては、上述のように動作情報量として、この種別情報量Ｉｅを用いている。種別情報量Ｉｅが大きい場合は、対応する特定の種類のイベントの働きかけに対応する対象者の意志は、相対的に大きいことを表している。なお、このとき、動作情報量算出部７は、算出した種別情報量Ｉｅを、時刻を表す情報とともに記憶部１３に記憶させるようにしてもよい。なお、識別子ｉに対応するイベントの種別情報量Ｉｅは、種別情報量Ｉｉと記載される。

タイミング情報生成部９は、種別情報量Ｉｅが、対象者の働きかけの意志の強さが一定以上であることを示しているか否かを判定し、判定結果に基づいてタイミング情報を生成する。情報処理装置１は、例えば、対象者の働きかけの意志の強さが一定以上であるための条件を予め定めて、記憶部１３に記憶させておく。条件として、例えば、対象者の働きかけの意志の強さが一定以上であることを示す種別情報量Ｉｅの閾値が、予め定められる。タイミング情報生成部９は、種別情報量Ｉｅと閾値とを比較し、種別情報量Ｉｅが閾値を超えていると、タイミング情報を生成し、出力部１１に出力する。このとき、タイミング情報生成部９は、記憶部１３に記憶された種別情報量Ｉｅを参照して判定を行うようにしてもよい。

なお、タイミング情報生成部９は、種別情報量Ｉｅが、複数種類のイベントに対して算出される場合は、その中のいずれか少なくとも一つが閾値を超えている場合に、タイミング情報を生成するようにしてもよい。

出力部１１は、タイミング情報生成部９によりタイミング情報が入力された場合に、出力を行う。出力は、タイミング情報が出力されたことを知らせる情報であればよい。タイミング情報は、判定結果を示す情報や、閾値を超えたイベントの種類を示す情報を含むようにしてもよい。

このタイミング情報は、例えば、出力されたタイミングが行動タイミングであることを示す情報として利用することができる。また、例えば、当該タイミング情報が出力された時刻以降に検出された対象者のイベントには働きかけを返す、といったように利用することもできる。すなわち、タイミング情報の出力が行われることは、出力のタイミングが、行動タイミングであるための必要条件を満たしていることを示す。対象者への働きかけは、例えば出力装置２６に備えられた機能を用いて行うことができる動作である。例えば、ロボットや表示されたキャラクタの表情を変える、音声を発する、特定の動きをする、特定の表示を行うなどが考えられる。

記憶部１３は、例えば、随時読み出し書き込み可能な記憶装置、読み出し可能な記憶装置等である。記憶部１３は、上述のように、例えば、算出された種別情報量Ｉｅ等を、時刻を表す情報とともに記憶する。また、記憶部１３は、情報処理装置１の動作を行うためのプログラムを記憶するようにしてもよい。

出力装置２６は、情報処理装置１からの制御に応じて、対象者３０に対して働きかけを行う。出力装置２６は、例えば、サーボモータにより動く顔および腕等の部材やスピーカ等を有し、対象者３０に対して、身振り等の働きかけや発話を行うロボットである。あるいは、出力装置２６は、液晶表示装置等のディスプレイであり、情報処理装置１からの制御に応じて、対象者３０に対して、発話や身振り等の働きかけを行う人物や動物等のキャラクタを表示してもよい。

図３は、第１の実施の形態による動作情報量変化の一例を示す図である。動作情報量変化例４０において、横軸は時間を示す。縦軸は、エントロピＨおよび動作情報量（ここでは、上述のように種別情報量Ｉｅ）を示す。エントロピＨは、第１の時間Ｔにおける平均的な情報量を示す。エントロピＨは、比較の対象として記載している。なお、エントロピＨは、式１に示した検出割合Ｐｅを用いて、下記式３で表される。

図３に示すように、イベント種別４２では、イベントＡ〜Ｃが検出されたタイミングを、それぞれ「×」、「○」、「＋」で表している。エントロピ４４は、式３により算出されたイベントＡ〜Ｃに対応するエントロピＨである。動作情報量４６は、ここでは、イベントＢに対応する種別情報量Ｉｅである。閾値４８は、種別情報量Ｉｅに対して定められた閾値の一例を示している。

このように、イベントＢが時刻ｔ１以降に検出されている場合、イベントＢに対応する種別情報量Ｉｅを示す種別情報量４６は、閾値４８を超える値となるような変化を示している。一方、エントロピ４４は、時刻ｔ１より後の時刻ｔ２まで、緩やかな上昇をするにとどまっている。特に、イベントＢ検出開始後のエントロピ４４と種別情報量４６とのピークとなる時刻を見ると、明らかに種別情報量４６のほうが早く、また、イベントＢが検出されない時間帯には値が減少しており、対象者の働きかけに対し鋭敏に反応する指標であることが分かる。

図４は、第１の実施の形態による情報量テーブル５０の一例を示す図である。情報量テーブル５０は、例えば記憶部１３に記憶される。情報量テーブル５０は、相対的な時刻を示すタイムスタンプと種別情報量Ｉｅ（Ｉ１、・・・、Ｉｉ、・・・）が関連付けられた情報である。種別情報Ｉｅは、１種類以上が記憶される。今、例えば選択情報量の閾値が「０．５」と定められているとする。タイミング情報生成部９は、各時刻に算出される種別情報量Ｉｅを閾値と比較し、閾値よりも大きくなった場合、タイミング情報５２を出力する。タイミング情報５２は、例えば、比較結果を示す情報など、判定の結果、タイミング情報が出力されたことを示す情報であればよい。

図５は、第１の実施の形態による情報処理装置１による行動タイミング検出の動作を示すフローチャートである。ここで、行動タイミング検出とは、少なくとも行動タイミングであるための必要条件を満たしていることを検出することを意味する。図５に示すように、情報処理装置１ではまず、選択情報量算出部３が、過去の第１の時間Ｔに検出されたイベントを集計する（Ｓ６１）。選択情報量算出部３は、過去の第１の時間Ｔでのイベントの種類毎の検出回数Ｎｅ（Ｔ）を計測する（Ｓ６２）。選択情報量算出部３は、さらに、検出回数Ｎｅ（Ｔ）およびイベントの総検出回数を用いて、イベントの種類毎の検出割合Ｐｅを算出する（Ｓ６３）。選択情報量算出部３は、算出された検出割合Ｐｅに基づき、選択情報量Ｉｓｅｌ（Ｔ）を算出する（Ｓ６４）。

一方、回数計数部５は、第１の時間Ｔよりも短い過去の第２の時間Ｔ２において検出されたイベントを種類毎に集計する（Ｓ６５）。回数計数部５は、集計に基づき、種別回数Ｎｅ（Ｔ２）を計測する（Ｓ６６）。動作情報量算出部７は、算出された選択情報量Ｉｓｅｌ（Ｔ）と、種別回数Ｎｅ（Ｔ２）とに基づき、種別情報量Ｉｅを算出する（Ｓ６７）。

タイミング情報生成部９は、例えば情報量テーブル５０を参照して、種別情報量Ｉｅが、出力を行う条件に合致しているか否かを判定する（Ｓ６８）。条件は、上述したように、動作情報量（ここでは種別情報量Ｉｅ）が、閾値よりも大きいこと、閾値よりも大きく、かつ、複数の種別情報量Ｉｅの中で最も大きいこと、など、適宜定めることができる。ここで定められる条件は、少なくとも、行動タイミングであると判定するための必要条件となる。

判定の結果、条件を満たしていると判定された場合は（Ｓ６８：ＹＥＳ）、タイミング判定部９は、出力部１１にタイミング情報を出力する。出力部１１は、タイミング情報を出力し（Ｓ６９）、処理を終了する。タイミング情報が出力されない場合には（Ｓ６８：ＮＯ）、処理が終了される。なお、タイミング情報が出力されるタイミングは、少なくとも行動タイミングであるための必要条件を満たしていることを示す。タイミング情報の出力が行われるタイミングは、行動タイミングの候補として参照されるタイミングであるともいえる。

以上詳細に説明したように、第１の実施の形態による情報処理装置１においては、検出されたイベントの回数と種類とに基づき、動作情報量が算出される。動作情報量は、対象者の働きかけの意志の強さを表す。本実施の形態において、動作情報量として、種別情報量Ｉｅが用いられる。種別情報量Ｉｅは、第１の時間Ｔにおける、ある種類のイベントが検出されたという事象の意味の大きさと、第１の時間より短い第２の時間におけるその種類のイベントの検出回数とに応じた情報量である。タイミング情報生成部９は、種別情報量Ｉｅに基づき、対象者に対して働きかけを行う行動タイミングである条件に当てはまるか否かを判定する。行動タイミングは、例えば、タイミング情報生成部９によるタイミング情報が出力部１１から出力されたタイミングとすることができる。

以上のように、情報処理装置１によれば、対象者に対し、顔検出、動き検出等の画像または接触センサ等の様々なセンサによるセンシングを行い、対象者の挙動をイベントとして検出することができる。情報処理装置１は、第１の時間に検出したイベントの回数および種類と、第２の時間に検出した種別回数とに基づきタイミング情報を生成し、出力する。例えば、動作情報量を算出することにより、対象者の働きかけに関する意志の強さを数値的に表すことができる。これにより、情報処理装置１は、行動タイミングとして参照されるタイミング情報を出力することができる。すなわち、情報処理装置１は、少なくとも、対象者への働きかけを行うタイミングであるための予め定められた条件を満たすか否かを判定することができる。タイミング情報の出力のタイミングは、行動タイミングとして用いることも可能である。

このように動作情報量に基づく行動タイミング判定を行うことで、インタラクションを行う対象者の意思を遅滞なく反映した適切な行動タイミングを検出することができる。例えば、平均情報量（エントロピ）では検出が困難であった、イベントの頻度や発生パターンの急な変化なども、種別回数Ｎｅ（Ｔ２）が反映されて感度よく検出可能になる。一方、選択情報量Ｉｓｅｌ（Ｔ）により、１回のイベントの意味の重みが加味されることになり、対象者のイベントにおける働きかけの意志の強さの度合いが反映される。よって、働きかけの意志のない継続した動作を働きかけと誤認したり、働きかけになかなか反応が返されなかったり、といった不都合が防止される。これにより、対象者の意志の強さの推定精度を低下させることなく、適切な行動タイミングを検出することが可能となる。特に、種別情報量Ｉｅを監視することで、短い遅延で対象者の行動の変化、およびイベントの種類を検出することができ、反応時間の短縮が可能となる。さらに、対象者とのインタラクションが実現可能な時間内で、ロボットに反応を返させることが可能となる。

この際、頻度高く検出されているイベントに対しては、対象者が惰性で行っている可能性が高いため、情報処理装置１では、イベント一回ごとの情報量は低いと見積もることができる。逆に、観測量の少ないイベントに関しては、対象者が何か意志を持って変化した結果、またはロボットの行動に対して状態を変化させながら追従した結果であると見なして、イベント一回ごとの情報量が高く見積もられる。

現時点以前でのインタラクション状態で観測されていたイベントであっても、イベントの観測量の大きな変動があったタイミングを検出可能である。例えば、情報処理装置１は、今までちらちらとロボットを見ていただけの対象者が急にロボットに興味を示して観察を始めたタイミングを検出可能である。逆に、情報処理装置１は、接触を伴うインタラクションを行っていたにも関わらず、急にやめてしまった等、対象者とのインタラクションに変化が起こったタイミングを検出可能である。情報処理装置１によれば、対象者への働きかけを行う行動タイミングを示す情報として、上記のようにタイミング情報を出力することができる。

なお、閾値を定める場合は、例えば、予めインタラクションシステム２０において計測を行い、結果を解析して定めるようにしてもよい。閾値は、例えば、特にある種類のイベントを重視したい場合や、イベントの種類により重み付けを行いたい場合には、イベントの種類に応じた値にすることもできる。また、ある複数の種類のイベントに応じた種別情報量Ｉｅが、全て閾値を超えている場合に、最大の閾値のイベントの種類を出力するなど、変形は可能である。また、上述した選択情報量Ｉｓｅｌ（Ｔ）、種別情報量Ｉｅ等の算出方法は一例であり、上述した概念の範囲で変形が可能である。

（第２の実施の形態）
以下、図面を参照しながら、第２の実施の形態による情報処理装置８０について説明する。第２の実施の形態において、第１の実施の形態と同様の構成および動作については、同一番号を付し、重複説明を省略する。

図６は、第２の実施の形態による情報処理装置８０の機能的な構成を示すブロック図である。情報処理装置８０は、センサなどにより検出された対象者の挙動をイベントとして入力されると、対象者へのインタラクションの行動タイミングに応じた情報を出力する装置である。情報処理装置１と同様にインタラクションシステム２０に適用することもできる。情報処理装置８０では、動作情報量として総情報量Ｉを用いる。総情報量Ｉとは、算出された種別情報量Ｉｅを加算した情報である。

図６に示すように、情報処理装置８０は、選択情報量算出部３、回数計数部５、動作情報量算出部８２、タイミング情報生成部９、出力部１１、記憶部１３を有している。情報処理装置８０の各機能は、例えば、予め記憶部１３に記憶された動作プログラムを後述する演算処理装置が読み込んで実行することにより実現される。

情報処理装置８０では、情報処理装置１の動作情報量算出部７に代えて、動作情報量算出部８２が備えられている。動作情報量算出部８２は、種別情報量算出部８４、および総情報量算出部８６を有している。

種別情報量算出部８４は、種別情報量Ｉｅを算出する。種別情報量Ｉｅとしては、例えば、第１の実施の形態による動作情報量算出部７で算出される種別情報量Ｉｅと同様の算出方法を用いることができるが、これに限定されない。

動作情報量算出部８２において、種別情報量算出部８４は、イベントの種類毎の種別情報量Ｉｅを算出する。種別情報量Ｉｅは、選択情報量Ｉｓｅｌ（Ｔ）と種別回数Ｎｅ（Ｔ２）とに基づき、例えば、上記式２により算出される。

総情報量算出部８６は、算出された種別情報量Ｉｅに基づき、総情報量Ｉを算出する。総情報量Ｉは、全ての種類のイベントの種別情報量Ｉｅの和とすることができる。例えば、総情報量Ｉは、下記式４で算出される。

総情報量Ｉは、イベントの種類にかかわらない対象者の働きかけの意志を総合的に表す数値的指標の一例である。総情報量Ｉが大きい場合は、検出された様々な種類のイベントに対応する対象者の意志は、相対的に大きいことを表している。なお、このとき、動作情報量算出部８２は、算出した総情報量Ｉを、時刻を表す情報とともに記憶部１３に記憶させるようにしてもよい。

タイミング情報生成部９は、総情報量Ｉが、予め決められた条件に合致しているか否かを判定し、条件に合致している場合にタイミング情報を生成する。例えば、タイミング情報生成部９は、対象者の働きかけの意志の強さが一定以上であることを示しているか否かを判定する。一例として、対象者の働きかけの意志の強さが一定以上であることを示す総情報量Ｉに対応する閾値が、予め定められる。タイミング情報生成部９は、総情報量Ｉと対応する閾値とを比較し、総情報量Ｉが対応する閾値を超えていると、タイミング情報を出力部１１に出力する。このとき、タイミング情報生成部９は、記憶部１３に記憶された総情報量Ｉを参照して判定を行うようにしてもよい。

出力部１１は、タイミング情報生成部９によりタイミング情報が入力された場合に、出力を行う。出力は、タイミング情報が出力されたことを知らせる情報であればよい。このタイミング情報は、出力されたタイミングを、行動タイミングであるとして利用することができる。また、例えば、当該タイミング情報が出力された時刻以降に検出された対象者のイベントには働きかけを返す、といったように利用することができる。

図７は、第２の実施の形態による動作情報量変化の一例を示す図である。動作情報量変化例９０において、横軸は時間を示す。縦軸は、エントロピＨおよび動作情報量を示す。図７に示すように、イベント種別９２では、イベントＡ、Ｂが検出されたタイミングを、それぞれ「×」、「○」で表している。エントロピ９４は、上記式３により算出されたイベントＡ、Ｂに対応するエントロピＨである。動作情報量９６は、ここでは、イベントＡ、イベントＢにそれぞれ対応する種別情報量Ｉｅを加算した総情報量Ｉである。閾値９８は、総情報量Ｉに対応して予め決められた閾値である。

このように、イベントＢが、時刻ｔ４以降、それ以前よりも頻繁に検出されている場合、動作情報量９６は、時刻ｔ４付近で明らかに変化し、閾値９８を超える値となっている。一方、エントロピ６４は、時刻ｔ４より前の時刻ｔ３付近で既に大きな変化をしている。この時刻ｔ３は、イベントＢが検出され始めた時刻である。しかしながら、イベントＢ、イベントＡがそれ以前より頻繁に検出されるようになったタイミングでは、エントロピ６４は目立った変化を示していない。このように、動作情報量９６は、エントロピ６４では検出が困難なイベントの検出頻度の変化などに敏感に反応する値とすることができる。

図８は、第２の実施の形態による動作情報量変化の別の例を示す図である。動作情報量変化例１００において、横軸は、時間を示す。縦軸は、エントロピＨおよび動作情報量を示す。図８に示すように、イベント種別１０２では、イベント（ジェスチャ）、（顔検出）、（アイコンタクト）が検出されたタイミングを、それぞれ「＊」、「○」、「×」で表している。エントロピ１０４は、式３により算出されたイベント種別１０２に対応するエントロピＨである。動作情報量１０６は、ここでは、イベント種別１０２の３種類のイベントに対応する総情報量Ｉである。閾値１０８は、総情報量Ｉに対応して予め決められた閾値である。

このように、イベント（ジェスチャ）が、時刻ｔ５以降に検出され始めた場合、総情報量Ｉは、明らかに大きく変化し、閾値１０８を超える値となっている。また、動作情報量１０６は、イベント（ジェスチャ）が検出されなくなった時刻ｔ６付近では、顕著に減少している。一方、エントロピ１０４の時刻ｔ５付近における変化は、顕著ではないとともに、時刻ｔ６付近での減少も見られない。このように、動作情報量１０６は、エントロピ１０４では検出が困難な、新しいイベントの出現や消失などに敏感に反応する値とすることができる。よって、例えば、種別情報量Ｉｅの時間変化が、予め定められた閾値以上になったか否かを判定するといった方法を用いることで、イベントの増加、減少などの判別が可能になる。

図９は、第２の実施の形態による情報量テーブル１１０の一例を示す図である。情報量テーブル１１０は、例えば記憶部１３に記憶される。情報量テーブル１１０は、相対的な時刻を示すタイムスタンプと総情報量Ｉとが関連付けられた情報である。今、例えば総情報量の閾値が「０．５」と定められているとする。タイミング情報生成部９は、各時刻に算出される総情報量Ｉを閾値と比較し、閾値よりも大きくなった場合、タイミング情報１１２のように、例えば比較結果など、行動タイミングを示す情報を出力する。

図１０は、第２の実施の形態による情報処理装置８０の動作を示すフローチャートである。図１０のフローチャートでは、Ｓ１２１に選択情報量算出部３、回数計数部５での算出が含まれるとして処理を記載している。図１０に示すように、動作情報量算出部８２の種別情報量算出部８４は、選択情報量Ｉｓｅｌ（Ｔ）、種別回数Ｎｅ（Ｔ２）に基づき、式２を用いて種別情報量Ｉｅを算出する（Ｓ１２１）。総情報量算出部８６は、算出された種別情報量Ｉｅに基づき、式４を用いて総情報量Ｉを算出する（Ｓ１２２）。

タイミング情報生成部９は、例えば情報量テーブル１１０を参照して、総情報量Ｉが、出力を行う条件に合致しているか否かを判定する（Ｓ１２３）。条件は、上述したように、動作情報量（ここでは総情報量Ｉ）が、対応する閾値よりも大きいこと、時間的変化量が対応する閾値よりも大きいこと、相対的な変化量が対応する閾値より大きいこと、など、適宜定めることができる。

タイミング情報生成部９が、判定の結果タイミング情報を出力すると（Ｓ１２３：ＹＥＳ）、出力部１１は、タイミング情報を出力し（Ｓ１２４）、処理を終了する。出力が行われない場合には（Ｓ１２３：ＮＯ）、処理を終了する。

以上のように、第２の実施の形態による情報処理装置８０によれば、第１の実施の形態による情報処理装置１と同様に、適切な行動タイミングの検出を行うことができる。さらに、種別情報量Ｉｅを加算した総情報量Ｉに基づく判定を行うことにより、対象者の挙動を総合的に判定することが可能になる。

このように動作情報量に基づく行動タイミング判定を行うことで、例えば、平均情報量（エントロピ）では検出が困難であった、イベントの頻度や発生パターンの急な変化なども、種別回数Ｎｅ（Ｔ２）が反映されて感度よく検出可能になる。一方、選択情報量Ｉｓｅｌ（Ｔ）により、１回のイベントの意味の重みも加味されることになり、対象者のイベントにおける働きかけの意志の強さの度合いが反映される。よって、働きかけの意志のない継続した動作を働きかけと誤認したり、働きかけになかなか反応が返されなかったり、といった不都合が防止され、適切な行動タイミングを検出することが可能となる。なお、上記総情報量Ｉの算出方法は、上述した概念の範囲で変形が可能である。

（第３の実施の形態）
以下、第３の実施の形態による情報処理装置１５０について説明する。第３の実施の形態において、第１または第２の実施の形態と同様の構成および動作については、同一番号を付し、重複説明を省略する。

第３の実施の形態による情報処理装置１５０は、例えばインタラクションシステム２００に備えられる。図１１は、第３の実施の形態による情報処理装置１５０の機能的な構成の一例を示すブロック図である。図１２は、第３の実施の形態による情報処理装置１５０を含むインタラクションシステム２００の構成の一例を示す図である。

情報処理装置１５０は、センサなどにより検出された対象者の挙動をイベントとして入力されると、対象者へのインタラクションの行動タイミングに応じた情報を出力する装置である。情報処理装置１、情報処理装置８０と同様にインタラクションシステム２０に適用することもできる。情報処理装置１５０では、動作情報量として総情報量Ｉを用いる。

図１１に示すように、情報処理装置１５０は、第２の実施の形態による情報処理装置８０と同様に、選択情報量算出部３、回数計数部５、動作情報量算出部８２、タイミング情報生成部９、出力部１１、記憶部１３を有している。情報処理装置１５０は、タイミング情報生成部９に代えて、タイミング情報生成部１５３を有している。情報処理装置１５０は、さらに最大種別検出部１５１を有している。情報処理装置１５０の各機能は、例えば、予め記憶部１３に記憶された動作プログラムを後述する演算処理装置が読み込んで実行することにより実現される。

最大種別検出部１５１は、種別情報量算出部８４で算出された種別情報量Ｉｅの中で、最も大きい値を有するイベント種別である最大種別を検出する。この検出は、例えば、種別情報量Ｉｅが算出されるたびに行われるようにしてもよい。また、この検出は、例えば、動作情報量算出部８２で算出された動作情報量が予め対応して定められた閾値より大きい場合に、行われるようにしてもよい。

タイミング情報生成部１５３は、動作情報量が、予め定められた条件に合致している場合に、動作タイミングであるための条件を満たしていると判定する。このとき、タイミング情報生成部１５３は、例えば、総情報量が閾値を超えたと判定されたタイミングで、検出された最大種別を含むタイミング情報を出力するようにしてもよい。タイミング情報生成部１５３は、総情報量Ｉが、閾値を上回っており、しかも、最大種別が変化した場合に、変化後の最大種別を出力するようにしてもよい。あるいは、タイミング情報生成部１５３は、総情報量Ｉが閾値を上回っている間、所定時間毎に検出された最大種別を含むタイミング情報を出力するようにしてもよい。出力部１１は、タイミング情報生成部１５３から入力された結果を出力する。

図１２に示すように、インタラクションシステム２００は、ロボット制御装置２１０およびロボット２３０を有している。インタラクションシステム２００は、対象者とロボット２３０とのインタラクションを行うシステムの一例である。ロボット制御装置２１０は、ロボット２３０の動作を制御する装置である。ロボット制御装置２１０は、ロボット２３０で検出されたイベントに基づき行動タイミングを判定し、タイミング情報に基づきロボット２３０の動作を制御する。なお、インタラクションシステム２００は、一体化された装置でもよい。

ロボット制御装置２１０は、タッチセンサ検出部２１１、音声検出部２１３、顔画像検出部２１５、情報処理装置１５０、動作管理部２１７、および動作制御部２１９を有している。ロボット２３０は、タッチセンサ２３１、マイク２３３、カメラ２３５、サーボモータ２３７などを有している。

タッチセンサ検出部２１１は、ロボット２３０のタッチセンサ２３１で検出された信号に所定の処理を行い、検出結果として動作管理部２１７および情報処理装置１５０に出力する。音声検出部２１３は、ロボット２３０のマイク２３３で検出された信号に所定の処理を行い、検出結果として動作管理部２１７および情報処理装置１５０に出力する。顔画像検出部２１５は、カメラ２３５で検出された信号に所定の処理を行い、検出結果として動作管理部２１７および情報処理装置１５０に出力する。これにより、顔検出、表情検出、動作検出などの結果が情報処理装置１５０に出力される。

情報処理装置１５０は、タッチセンサ検出部２１１、音声検出部２１３、顔画像検出部２１５から受付けた検出結果に基づき、動作情報量、および最大種別を算出する。動作情報量および最大種別が所定の条件に当てはまる場合、情報処理装置１５０は、出力部１１から行動タイミング検出結果を出力する。このとき、出力結果には、対象者の状態を示す情報として、最大の種別情報量Ｉｅを有するイベントの種類を含むことができる。

動作管理部２１７は、情報処理装置１５０から入力された対象者の状態を示す情報、および行動タイミング検出結果を解析し、動作指示を動作制御部２１９に出力する。動作制御部２１９は、入力された動作指示に基づき、動作命令をロボット２３０に出力するとともに、ロボット２３０から動作結果のフィードバックを入力される。

ロボット２３０は、対象者の挙動をイベントとして検出するとともに、動作制御部２１９からの動作指示に従い、対象者への働きかけを行う。タッチセンサ２３１は、接触を検出する検出装置である。マイク２３３は、音声を検出する検出装置である。カメラ２３５は、画像を取得する装置である。サーボモータ２３７は、ロボット２３０の一部を動かすための駆動装置である。ロボット２３０は、例えば、動作制御部２１９による指示に基づき、本体の一部をサーボモータ２３７により動かすなどの反応を行うようにすることができる。

図１３は、第３の実施の形態による情報量テーブル２６０の一例を示す図である。情報量テーブル２６０は、例えば記憶部１３に記憶させるようにしてもよい。図１３に示すように、情報量テーブル２６０は、タイムスタンプ、総情報量Ｉ、および最大種別が、互いに関連付けられた情報である。タイムスタンプは、相対的な時刻を示す。最大種別とは、タイムスタンプに対応する時刻に対応して算出された種別情報Ｉｅの中で最大の値を持つイベントの種類をいう。なお、このとき、例えば総情報量Ｉの閾値を「０．５」としているとする。情報量テーブル２６０は、タイミング情報生成部１５３が、総情報量Ｉが閾値を上回ったことを検出したタイミング、および総情報量が閾値を上回り、かつ、最大種別がそれ以前と変化したタイミングで、最大種別がタイミング情報として出力される例である。

図１３に示すように、タイムスタンプが０．１〜０．１５では、最大種別は「顔」であり、「顔」で表されるイベントに関して算出された種別情報量Ｉｅが、その時点に算出された種別情報量Ｉｅの中で最大の値であることを示している。なお、「顔」とは、例えば対象者の顔が検出された、といったイベントである。

タイムスタンプが０．６〜０．９では、最大種別が「ジェスチャ」になっている。タイムスタンプが０．６のときには、総情報量Ｉが「０．７」となり、タイミング情報２６２が出力される。タイミング情報２６２は、総情報量Ｉが閾値を超え、かつ最大種別が「ジェスチャ」に変わったときに出力される情報である。

タイムスタンプが１．０〜１．２では、最大種別が「タッチ」になっている。タイムスタンプが１．０のときには、総情報量が「０．８」であり、タイミング情報２６４が出力される。タイミング情報２６４は、総情報量Ｉが閾値を超え、かつ最大種別が「タッチ」に変わったことを表す情報である。

タイムスタンプが１．３のときに、最大種別が再び「顔」になっている。このとき、総情報量Ｉは「０．３」であり、閾値以下であるので、出力はない。

図１４は、第３の実施の形態による情報処理装置１５０を備えたインタラクションシステム２００の動作の一例を示すフローチャートである。図１４に示すように、情報処理装置１５０は、タッチセンサ検出部２１１、音声検出部２１３、顔画像検出部２１５から得られる情報に基づき、検出範囲内に対象者がいるか否か判定する（Ｓ２７１）。すなわち、イベントが検出されない場合には、対象者はいないと判定され（Ｓ２７１：ＮＯ）、処理はＳ２８２に進められる。イベントが検出された場合、対象者がいると判定され（Ｓ２７１：ＹＥＳ）、行動タイミングの検出が行われる。

行動タイミングの検出では、例えば、図１０を参照しながら説明した処理と同様に、動作情報量算出部８２は、種別情報量Ｉｅと、総情報量Ｉとを算出する。さらに、最大種別検出部１５１は、種別情報量Ｉｅが最大の種別を検出する。タイミング情報生成部１５３は、例えば、総情報量Ｉが閾値を超えたタイミング、および総情報量Ｉが閾値を超えている場合であって、最大種別が変化した場合に、タイミング情報の出力を行うと判定する。出力部１１は、タイミング情報生成部１５３で出力を行うと判定された場合に、タイミング情報を行動タイミング検出結果として動作管理部２１７へ出力する。図１４の例では、タイミング情報には、対象者状態として、最大種別が含まれる（Ｓ２７２）。

動作管理部２１７は、情報処理装置１５０の出力に応じて行動タイミングであるか否かを判定し（Ｓ２７３）、行動タイミングでないと判定した場合には（Ｓ２７３：ＮＯ）、処理をＳ２８２に進める。行動タイミングであると判定した場合には（Ｓ２７３：ＹＥＳ）、既に指示した動作に対する対象者の反応待ちであるか否かを判定する（Ｓ２７９）。ここで、動作管理部２１７は、情報処理装置１５０から出力があり、さらに予め定められた所定の条件を満たすときに、情報処理装置１５０からの出力のタイミングを行動タイミングであると判定してもよい。

既に指示した動作に対する反応待ちである場合（Ｓ２７４：ＹＥＳ）、動作管理部２１７は、タイムアウトか否か判別する（Ｓ２７５）。タイムアウトであると判別された場合（Ｓ２７５：ＹＥＳ）、動作管理部２１７は、反応待ち状態を解除してフォロー行動を行い（Ｓ２７６）、処理をＳ２８２に進める。フォロー行動とは、例えば、がっかりした様子を見せる、文句を言うなど、期待した反応が得られなかったことを表現する行動などが考えられる。このとき、情報処理装置１５０から出力された最大種別に応じた対応をするようにしてもよい。

タイムアウトであると判定されていない場合（Ｓ２７５：ＮＯ）、動作管理部２１７は、タッチセンサ検出部２１１、音声検出部２１３、および顔画像検出部２１５から、対象者の反応が検出されたか否かを判定する（Ｓ２７７）。反応が検出されない場合には（Ｓ２７７：ＮＯ）、動作管理部２１７は、Ｓ２７５から処理を繰り返す。反応が検出された場合（Ｓ２７７：ＹＥＳ）、動作管理部２１７は、反応待ち状態を解除し、対象者の反応に対する返答行動を行う指示を動作制御部２１９に出力する。返答行動とは、例えば、「ありがとう」という音声を発するなど、対象者の反応として検出されたイベントに対応する行動である。このとき、動作管理部２１７は、動作制御部２１９は、指示に従い、所定の信号をロボット２３０に出力し、ロボット２３０からのフィードバック信号を用いてロボット２３０を制御する（Ｓ２７８）。その後、処理はＳ２８２に進められる。

Ｓ２７９で、反応待ち状態でない場合（Ｓ２７４：ＮＯ）、動作管理部２１７は、インタラクションシステム２００と対象者とが活性化に適したインタラクション状態であるか否かを判別する（Ｓ２７９）。活性化に適したインタラクション状態とは、例えば、イベントの検出頻度が疎である場合に、総情報量Ｉと閾値との比較結果、最大種別などの情報処理装置１５０の出力を検出した場合である。活性化に適したインタラクション状態の別の例は、例えば、インタラクションが成立していない状態の対象者へ、独り言をいう等のさりげない働きかけを行った後、総情報量Ｉが閾値を超えたことを示す出力や、最大種別が変化したことを示す出力が検出された場合である。このような場合、動作管理部２１７は、活性化に適したインタラクション状態であると判定し（Ｓ２７９：ＹＥＳ）、活性化行動を行う指示を動作制御部２１９に出力する（Ｓ２８０）。活性化行動とは、例えば、それ以前より明確に、あるいは頻繁にインタラクションを行う、行っていなかったインタラクションを行うなど、インタラクションを密にするような行動をいう。動作制御部２１９は、指示に応じた信号をロボット２３０に出力し、ロボット２３０の動作を制御する。

動作管理部２１７は、活性化に適したインタラクション状態でないと判定した場合（Ｓ２７９：ＮＯ）、反応待ち状態を継続するとともに、動作制御部２１９に、要求行動を行う指示を出力し（Ｓ２８１）、処理をＳ２８２に進める。要求行動とは、対象者に何かの行動を促す音声を発するなど、インタラクションを対象者に要求する行動である。

インタラクションシステム２００は、システム終了が入力されたと判定すると（Ｓ２８２：ＹＥＳ）、処理を終了し、入力がないと判定した場合は、Ｓ２７１に戻って処理を繰り返す（Ｓ２８２：ＮＯ）。

以上説明したように、第３の実施の形態による情報処理装置１５０によれば、第１の実施の形態による情報処理装置１および第２の実施の形態による情報処理装置８０と同様の効果を奏することができる。さらに、情報処理装置１５０によれば、行動タイミングであるための条件を満たすと判定されると、種別情報量Ｉｅが最大のイベントの種類が出力される。これにより、適切なタイミングで行動タイミングを検出できるとともに、インタラクションシステム２００で検出結果を反映させた行動を行う際に有用な情報とすることができる。

インタラクションシステム２００においてロボット制御装置２１０は、上記の情報を用いて、対象者に対する働きかけをより精密に制御することが可能になり、より適切なインタラクションを行うことが可能になる。インタラクション密度の変化を遅滞なく検出可能であるため、例えば、インタラクション密度が上がった場合、ロボット２３０から対象者へのインタラクションをより親密な状態へ遷移させる等の戦略をとることができる。

第３の実施の形態による１５０では、種別情報量Ｉｅをイベントの種類毎に算出し、例えば最大種別を一定周期ごとに算出する。また、情報処理装置１５０は、総情報量Ｉが閾値を超えたタイミングを、対象者がロボットに興味を持ち、インタラクションを開始した、または興味を失ってインタラクションを打ち切ろうとした行動タイミングの一つの指標とする。さらに、ある閾値以上の総情報量Ｉであって、最大種別が変わったタイミングを行動タイミングの別の指標とする。

ロボット制御装置２１０は、情報処理装置１５０から入力される指標に基づき、ロボット２３０に出力する指示を変更することができる。例えば、情報処理装置１５０の出力に基づき、動作管理部２１７が、ロボット２３０がどのように行動するべきかの戦略を算出する。例えば、対象者へ伝えるべき情報がある場合に、インタラクションが親密にされている状態であれば、ロボット制御装置２１０は、ロボット２３０に即座に情報を伝達する。対象者があまりロボット２３０に興味を抱いていない場合には、ロボット制御装置２１０は、まず対象者に働きかけてから、対象者とロボット２３０とがインタラクションを開始した段階で情報を伝えるなどの戦略である。

さらに、ロボット制御装置２１０では、算出した戦略に関して、さらに変形をしてもよい。例えば、「インタラクション要求行動」であれば、ロボット制御装置２１０は、毎回同じ行動を指示するのではなく、様々な行動を指示することが好ましい。例えば、対象者に向かい手を振る、軽く声をかけてみる等、同じ効果を得るためにグループ化された行動の中から一つを選び、実際にロボット２３０を稼動させることが好ましい。このように、ロボット２３０の反応に関する様々な変形例と組み合わせることで、多彩なインタラクション戦略を立てることが可能となる。

なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、タイミング情報生成部９、タイミング情報生成部１５３では、総情報量の値に対応する閾値を用いて判定を行う例を説明したが、別の方法でもよい。例えば、行動情報量が、急激に上昇または下降した場合に出力が行われるようにしてもよい。このとき、判断時間および情報量が変化したとみなすための閾値は、検出されているイベントの種類など、インタラクション状態によって変化してもよい。別の方法として、ロボットが対象者に働きかけを行った後、一定時間（タイムアウト時間）以内に、行動情報量が変化した場合、あるいは、行動情報量が変化しないままタイムアウト時間が経過した場合に出力が行われるようにしてもよい。

ここで、上記第１から第３の実施の形態による行動タイミング検出方法の動作をコンピュータに行わせるために共通に適用されるコンピュータの例について説明する。図１５は、標準的なコンピュータのハードウエア構成の一例を示すブロック図である。図１５に示すように、コンピュータ３００は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）３０２、メモリ３０４、入力装置３０６、出力装置３０８、外部記憶装置３１２、媒体駆動装置３１４、ネットワーク接続装置３１８等がバス３１０を介して接続されている。

ＣＰＵ３０２は、コンピュータ３００全体の動作を制御する演算処理装置である。メモリ３０４は、コンピュータ３００の動作を制御するプログラムを予め記憶したり、プログラムを実行する際に必要に応じて作業領域として使用したりするための記憶部である。メモリ３０４は、例えばＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）等である。入力装置３０６は、コンピュータの使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＣＰＵ３０２に送付する装置であり、例えばキーボード装置、マウス装置などである。出力装置３０８は、コンピュータ３００による処理結果を出力する装置であり、表示装置などが含まれる。例えば表示装置は、ＣＰＵ３０２により送付される表示データに応じてテキストや画像を表示する。

外部記憶装置３１２は、例えば、ハードディスクなどの記憶装置であり、ＣＰＵ３０２により実行される各種制御プログラムや、取得したデータ等を記憶しておく装置である。媒体駆動装置３１４は、可搬記録媒体３１６に書き込みおよび読み出しを行うための装置である。ＣＰＵ３０２は、可搬記録媒体３１６に記録されている所定の制御プログラムを、媒体駆動装置３１４を介して読み出して実行することによって、各種の制御処理を行うようにすることもできる。可搬記録媒体３１６は、例えばＣｏｍｐａｃｔ Ｄｉｓｃ（ＣＤ）−ＲＯＭ、Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ（ＤＶＤ）、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ（ＵＳＢ）メモリ等である。ネットワーク接続装置３１８は、有線または無線により外部との間で行われる各種データの授受の管理を行うインタフェース装置である。バス３１０は、上記各装置等を互いに接続し、データのやり取りを行う通信経路である。

上記第１から第３の実施の形態による行動タイミング検出方法をコンピュータに実行させるプログラムは、例えば外部記憶装置３１２に記憶させる。ＣＰＵ３０２は、外部記憶装置３１２からプログラムを読み出し、メモリ３０４を利用してプログラムを実行することで、行動タイミング検出の動作を行なう。このとき、まず、行動タイミング検出の処理をＣＰＵ３０２に行わせるための制御プログラムを作成して外部記憶装置３１２に記憶させておく。そして、入力装置３０６から所定の指示をＣＰＵ３０２に与えて、この制御プログラムを外部記憶装置３１２から読み出させて実行させるようにする。また、このプログラムは、可搬記録媒体３１６に記憶するようにしてもよい。

以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者への働きかけを行う行動タイミングを示すタイミング情報を生成するタイミング情報生成部と、
前記タイミング情報を出力する出力部と、
を有することを特徴とする情報処理装置。
（付記２）
前記情報量と、前記種別回数とに基づき、前記対象者の働きかけの意志の強さを示す動作情報量を算出する動作情報量算出部、
をさらに有し、
前記タイミング情報生成部は、前記動作情報量に基づき、前記対象者への働きかけを行う行動タイミングであるための予め定められた条件を満たすと判定された場合に前記タイミング情報を生成する
ことを特徴とする付記１に記載の情報処理装置。
（付記３）
前記第１の時間に検出された前記対象者の働きかけに応じて、前記対象者の働きかけの全回数に対する前記種類毎の働きかけの回数を示す相対回数に基づき前記種類毎に選択情報量を算出することにより前記情報量を算出する選択情報量算出部と、
前記第２の時間に検出された前記対象者の働きかけに応じて、前記種類毎の働きかけの種別回数を計数する回数計数部と、
をさらに有し、
前記動作情報量算出部は、前記選択情報量と前記種別回数とを掛け合わせることにより前記種類毎に前記動作情報量を算出する
ことを特徴とする付記２に記載の情報処理装置。
（付記４）
前記動作情報量算出部は、前記選択情報量と前記種別回数とを掛け合わせた前記種類毎の前記動作情報量を、さらに前記第１の時間に検出された働きかけの全種類について加算して前記動作情報量を算出する
ことを特徴とする付記２または付記３に記載の情報処理装置。
（付記５）
前記タイミング情報生成部は、前記動作情報量が予め決められた閾値より大きい場合に、前記条件を満たすと判定し、判定結果に応じたタイミング情報を生成する
ことを特徴とする付記２から付記４のいずれかに記載の情報処理装置。
（付記６）
前記種別情報量が最大の最大種別を検出する最大種別検出部、
をさらに有し、
前記タイミング情報生成部は、前記総情報量が予め決められた閾値より大きい場合であって前記最大種別の変化があった場合に、前記条件を満たすと判定し、前記最大種別を含むタイミング情報を生成する
ことを特徴とする付記５に記載の情報処理装置。
（付記７）
コンピュータによる行動タイミング検出方法であって、
第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者の働きかけを行う行動タイミングを示すタイミング情報を生成し、
前記タイミング情報を出力する
を有することを特徴とする行動タイミング検出方法。
（付記８）
前記情報量と、前記種別回数とに基づき、前記対象者の働きかけの意志の強さを示す動作情報量を算出し、
前記動作情報量に基づき、前記対象者への働きかけを行う行動タイミングであるための予め定められた条件を満たすと判定された場合に前記タイミング情報を生成する
ことを特徴とする付記７に記載の行動タイミング検出方法。
（付記９）
さらに、
前記第１の時間に検出された前記対象者の働きかけに応じて、前記対象者の働きかけの全回数に対する前記種類毎の働きかけの回数を示す相対回数に基づき前記種類毎に選択情報量を算出することにより前記情報量を算出し、
前記第２の時間に検出された前記対象者の働きかけに応じて、前記種類毎の働きかけの種別回数を計数し、
前記選択情報量と前記種別回数とを掛け合わせることにより前記種類毎に前記動作情報量を算出する
ことを特徴とする付記８に記載の行動タイミング検出方法。
（付記１０）
前記選択情報量と前記種別回数とを掛け合わせた前記種類毎の前記動作情報量を、さらに前記第１の時間に検出された働きかけの全種類について加算して前記動作情報量を算出する
ことを特徴とする付記７または付記８に記載の行動タイミング検出方法。
（付記１１）
さらに、
前記動作情報量が予め決められた閾値より大きい場合に、前記行動タイミングであるための条件を満たすと判定する
ことを特徴とする付記８から付記１０のいずれかに記載の行動タイミング検出方法。
（付記１２）
前記種別情報量が最大の最大種別を検出し、
前記総情報量が予め決められた閾値より大きい場合であって前記最大種別の変化があった場合に、前記条件を満たすと判定し、
前記最大種別を含む前記タイミング情報を出力する
ことを特徴とする付記９に記載の行動タイミング検出方法。
（付記１３）
第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者の働きかけを行う行動タイミングを示すタイミング情報を生成し、
前記タイミング情報を出力する
処理をコンピュータに実行させるプログラム。
（付記１４）
さらに、
前記情報量と、前記種別回数とに基づき、前記対象者の働きかけの意志の強さを示す動作情報量を算出し、
前記動作情報量に基づき、前記対象者への働きかけを行う行動タイミングであるための予め定められた条件を満たすと判定された場合に前記タイミング情報を生成する
ことを特徴とする付記１３に記載のプログラム。
（付記１５）
前記第１の時間に検出された前記対象者の働きかけに応じて、前記対象者の働きかけの全回数に対する前記種類毎の働きかけの回数を示す相対回数に基づき前記種類毎に選択情報量を算出することにより前記情報量を算出し、
前記第２の時間に検出された前記対象者の働きかけに応じて、前記種類毎の働きかけの種別回数を計数し、
前記選択情報量と前記種別回数とを掛け合わせることにより前記種類毎に前記動作情報量を算出する
ことを特徴とする付記１４に記載のプログラム。

１ 情報処理装置
３ 選択情報量算出部
５ 回数計数部
７ 動作情報量算出部
９ タイミング情報生成部
１１ 出力部
１３ 記憶部
２０ インタラクションシステム
２２ カメラ
２４ イベント検出部
２６ 出力装置
３０ 対象者
４０ 動作情報量変化例
４２ イベント種別
４４ エントロピ
４６ 動作情報量
４８ 閾値
４９ 動作タイミング
５０ 情報量テーブル
５２ タイミング情報

Claims (8)

1. 第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者への働きかけを行う行動タイミングを示すタイミング情報を生成するタイミング情報生成部と、
   前記タイミング情報を出力する出力部と、
   を有することを特徴とする情報処理装置。
2. 前記情報量と、前記種別回数とに基づき、前記対象者の働きかけの意志の強さを示す動作情報量を算出する動作情報量算出部、
   をさらに有し、
   前記タイミング情報生成部は、前記動作情報量に基づき、前記対象者への働きかけを行う行動タイミングであるための予め定められた条件を満たすと判定された場合に前記タイミング情報を生成する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の時間に検出された前記対象者の働きかけに応じて、前記対象者の働きかけの全回数に対する前記種類毎の働きかけの回数を示す相対回数に基づき前記種類毎に選択情報量を算出することにより前記情報量を算出する選択情報量算出部と、
   前記第２の時間に検出された前記対象者の働きかけに応じて、前記種類毎の働きかけの種別回数を計数する回数計数部と、
   をさらに有し、
   前記動作情報量算出部は、前記選択情報量と前記種別回数とを掛け合わせることにより前記種類毎に前記動作情報量を算出する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記動作情報量算出部は、前記選択情報量と前記種別回数とを掛け合わせた前記種類毎の前記動作情報量を、さらに前記第１の時間に検出された働きかけの全種類について加算して前記動作情報量を算出する
   ことを特徴とする請求項２または請求項３に記載の情報処理装置。
5. 前記タイミング情報生成部は、前記動作情報量が予め決められた閾値より大きい場合に、前記条件を満たすと判定し、判定結果に応じたタイミング情報を生成する
   ことを特徴とする請求項２から請求項４のいずれかに記載の情報処理装置。
6. 前記種別情報量が最大の最大種別を検出する最大種別検出部、
   をさらに有し、
   前記タイミング情報生成部は、前記総情報量が予め決められた閾値より大きい場合であって前記最大種別の変化があった場合に、前記条件を満たすと判定し、前記最大種別を含むタイミング情報を生成する
   ことを特徴とする請求項５に記載の情報処理装置。
7. コンピュータによる行動タイミング検出方法であって、
   第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者の働きかけを行う行動タイミングを示すタイミング情報を生成し、
   前記タイミング情報を出力する
   を有することを特徴とする行動タイミング検出方法。
8. 第１の時刻からの第１の時間に検出された対象者の働きかけの回数と種類とに応じた情報量と、前記第１の時刻より後の第２の時刻からの前記第１の時間よりも短い第２の時間に検出された前記対象者の働きかけの種類毎の種別回数とに基づき、前記対象者の働きかけを行う行動タイミングを示すタイミング情報を生成し、
   前記タイミング情報を出力する
   処理をコンピュータに実行させるプログラム。

Images