JP2014030865A - 視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置 - Google Patents

Abstract

【課題】人との円滑な対話を実現するために、ロボットを含む端末装置が主体的に対象を注視している印象を与えるように視線を制御する。
【解決手段】視線を表現する表現部を有する端末装置に設けられたセンサにより検出される端末装置への刺激を示す刺激情報を収集する収集部と、視線に対応する視界に含まれる対象それぞれに対して端末装置が興味を持っている度合いを示す注目度を、端末装置により当該対象を認識している時間が長いほど減少し、収集部で刺激情報が収集されるほど増加する算出部と、算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、表現部の視線を向けさせる制御を行う制御部とを備える。
【選択図】 図１

Description

本件開示は、ロボット及びＣＧ(Computer Graphics)エージェントを含む端末装置の視線を制御する技術に関する。

ロボット及びＣＧエージェントなどの、人との対話が可能な端末装置と人との間で円滑なコミュニケーションを実現することを目的として、個々の端末装置の行動を当該端末装置の主体的な行動として人に見せるための様々な技術が研究されている。ここで、ＣＧエージェントとは、表示装置などによって表現されたＣＧキャラクタを媒介として、人との対話を進めつつ、対話から収集した情報に基づいて、複雑な検索処理などを代行する機能を持つ端末装置である。

例えば、ロボットに搭載された複数の動作モジュールを駆動するコマンドを、コマンドに設定された開始時刻と優先順位とに基づいて調停することで、ロボットより、人から見て自然に見える振る舞いを実行させる技術が提案されている(特許文献１参照)。

また、コミュニケーションの対象となる人物を検出したときに、検出した人物に視線を向ける制御や、複数の人物に順に視線を向ける制御を行うロボットも提案されている（特許文献２参照）。更に、人物の視線を検出することで、人物と視線を合わせる制御を行うロボットも提案されている(特許文献３参照)。

一方、人間の性格や感情を表す内部状態パラメータと、外部に表れる表情や態度など示す公開状態パラメータとを用いた人物モデルにより、人間のコミュニケーションに基づく行動決定のしくみをシミュレーションする技法も提案されている(特許文献４参照)。この技法では、他の人物モデルの公開状態パラメータに応じて、注目する人物モデルの内部状態パラメータを更新し、更新した内部状態パラメータに基づいて人物モデルの行動を決定することで、人物モデル間のコミュニケーションをシミュレートしている。また、内部状態パラメータの更新の際に適用する変化分を、個々の人物モデルごとに定義することで、個々の人物モデルの行動に、それぞれの個性を反映している。

特開２０１１−２３３０７１号公報 特開２００８−０１８５２９号公報 特開２００７−１８１８８８号公報 特開平８−５５１０４号公報

上述した特許文献２及び特許文献３の技法は、人の行動や周囲の環境に基づいて、予め決定された規則に従ってロボットの視線方向を制御することで、検出した人物と目を合わせる制御や、人物の視線方向にロボット自身の視線を向ける制御などを実現している。しかし、複数の人物が対話の相手として検出された場合などに、予め決定した規則に従って視線方向を決定する制御では、人物がロボットに何らかの働きかけをしている途中で、ロボットが他の人物へと機械的に視線を逸らしてしまう可能性がある。このように、予め決定された規則に従ってロボットの視線方向を制御する方法では、対話の相手となる人物に、ロボットが主体的に対象を注視しているように見せるには至らない。

一方、特許文献４の技法では、個々の人物モデルの内部状態パラメータに従って、各人物モデルが、例えば、「興味」を持つ対象に近づくといった行動をするか否かを決定する仕組みがシミュレートされている。しかしながら、この技法では、内部状態パラメータの更新に用いる変化分として、個々の人物モデルに固有の値を設定することで、「飽きやすさ」あるいは「好奇心の強さ」といった傾向を、当該人物モデルの行動に反映させるに留まっている。このため、この技法を用いてロボットの視線方向を制御したとしても、ロボットが主体的に対象を注視しているように、対話の相手となる人物に見せることは困難である。

本件開示は、人との円滑な対話を実現するために、ロボット等が主体的に対象を注視しているという印象を人に与えるようにロボット等の視線を制御可能な視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置を提供することを目的とする。

一つの観点による視線制御装置は、視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集する収集部と、前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部とを備える。

また、別の観点による視線制御方法は、視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う。

更に別の観点による視線制御プログラムは、視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う処理をコンピュータに実行させる。

また、別の観点による端末装置は、視線を表現する表現部と、前記表現部への刺激を検出するセンサと、前記センサで検出された刺激を示す刺激情報を収集する収集部と、前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部とを備える。

本件開示の視線制御装置、視線制御方法及び視線制御プログラム並びに端末装置によれば、ロボット等が主体的に対象を注視しているという印象を人に与えるようにロボット等の視線を制御することが可能である。

視線制御装置の一実施形態を示す図である。 注目度の変動の例を示す図である。 視線制御装置の別実施形態を示す図である。 対象テーブルの例を示す図である。 刺激テーブルの例を示す図である。 視線制御装置の別実施形態を示す図である。 注目度の変動の別例を示す図である。 人物とロボットとがふれあいを持っている場面の例を示す図である。 注目度の変動の別例を示す図である。 端末装置の一実施形態を示す図である。 端末装置のハードウェア構成例を示す図である。 視線制御処理のフローチャートの例を示す図である。 注目度を算出する処理のフローチャートの例を示す図である。 注目度を抑制する処理のフローチャートの例を示す図である。 注視対象を選択する処理のフローチャートの例を示す図である。

以下、図面に基づいて、本発明の実施形態について詳細に説明する。

図１は、視線制御装置の一実施形態を示している。図１に示した視線制御装置１０は、ロボットＲ１を含む端末装置１に含まれている。

図１に示したロボットＲ１は、例えば、子熊の形態を模したコミュニケーションロボットであり、何らかの対象を注視している視線を表現する表現部の一例である。また、人物ｈ１，ｈ２及び人物ｈ１が持っているボールなどの物体Ｂ１は、いずれも、上述したロボットＲ１の視界に捉えられている対象の一例である。

上述したロボットＲ１は、子熊の視線方向を撮影するカメラを含むセンサＳ１を含んでいる。なお、センサＳ１は、上述したカメラの他に、例えば、人物ｈ１，ｈ２を含む対象からロボットＲ１への刺激として、ロボットＲ１への物理的な接触を検出する接触センサや、音声を検出するマイクロホンを含んでいてもよい。

図１に示した視線制御装置１０は、収集部１１と、算出部１２と、制御部１３とを含んでいる。収集部１１は、上述したセンサＳ１によって検出された、各対象からロボットＲ１への刺激を示す刺激情報を収集する。算出部１２は、各対象に対してロボットＲ１が興味を持っている度合いを示す注目度を、所定のモデルを用いて算出する。制御部１３は、算出部１２によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、ロボットＲ１の視線を向けさせる制御を行う。

ここで、算出部１２において、ロボットＲ１の各対象に対する注目度を算出するためのモデルについて説明する。

本出願の発明者は、人が他の人物や物体及び動きなどを含む様々な対象に対して注目する度合い、即ち注目度が、対象からの新規の刺激によって増大し、一方、対象を認識している時間が長くなるにつれて減少する特性を持つことに着目した。対象が継続して認識されている時間である認識時間に応じた注目度の減少分は、当該対象に対する慣れを示す馴化度に対応している。更に、本出願の発明者は、対象に対する馴化度は、対象が継続して認識されている間は、馴化作用により、時間の経過に応じて増大する一方、当該対象を意識しなくなった後は、脱馴化作用によって馴化度が減少することにも着目した。なお、馴化作用とは、対象に慣れていくために、対象に対して新鮮味が感じられなくなる作用であり、脱馴化作用とは、逆に、対象を慣れていたことを忘れることにより、対象に対して新鮮味が感じられるようになる作用である。

上述した馴化作用は、対象との関わりが密であるほど、即ち、対象に対する注目度が高いほど強く働き、一方、脱馴化作用は、対象に対する注目度が低下した場合に働き始める可能性が高い。したがって、例えば、単位時間当たりの馴化度の変化量を、注目度と関連付けて制御するモデルを用いることで、人間の対象に対する注目度の変化についての上述した特徴を再現することができる。

例えば、時刻ｔにおける注目度Ａ(ｔ)を、時刻ｔより単位時間前の時刻ｔ−１における注目度Ａ(ｔ−１)と、対象からの刺激による増分Ｓと、時刻ｔにおける馴化度Ｄ(ｔ)とを用いて、式(１)のようにモデル化してもよい。なお、時刻０における注目度Ａ(０)、即ち、注目度初期値としては、例えば、対象ごとに固有の値を設定してもよいし、対象が人であるか物体あるいは動きであるかなどに応じて、対象の種類に応じた値を設定してもよい。
Ａ(ｔ)＝Ａ(ｔ−１)＋Ｓ−Ｄ(ｔ) ・・・（１）
なお、対象からの刺激による増分Ｓは、例えば、対象からの様々な刺激それぞれについて予め設定した刺激値を足し合わせることで求めることができる。例えば、ｎ種類の刺激が対象から与えられた場合に、刺激による増分Ｓは、式(２)に示すように、各種類の刺激に対応する刺激値Ｋｊ(ｊ＝１〜ｎ)の総和として得ることができる。

また、馴化度Ｄ(ｔ)は、馴化作用および脱馴化作用による馴化度の時間的な変化を示す減衰量ｄ(ｔ)と、対象が注視対象であるか否かに応じて異なる値が設定される注視係数γとを用いて、式(３)のようにモデル化してもよい。
Ｄ(ｔ)＝ｄ(ｔ)・γ ・・・（３）
なお、注視係数γは、注視対象となっている対象については、他の対象に対応する注視係数γに比べて大きい値を設定することが望ましい。このように、注視対象となっている対象について他の対象よりも大きな値を持つ注視係数γを適用することで、注視対象との関わりが密であるが故に、飽きやすくなる傾向を注目度の変化に反映することができる。つまり、注視対象に対応する馴化度Ｄ(ｔ)を、他の対象に対応する馴化度Ｄ(ｔ)に比べて速く増大させることで、注目度Ａ(ｔ)の単位時間当たりの減衰量を大きくし、注目度Ａ(ｔ)を速く低下させることで、速く飽きていく傾向を再現することができる。

また、上述した減衰量ｄ(ｔ)は、例えば、馴化作用が働く期間に相当する馴化フェーズと、脱馴化作用が働く期間に相当する脱馴化フェーズとに分けて定義してもよい。なお、注目度への初期値の設定に応じてこの減衰量ｄ(ｔ)の初期化を行うための初期化フェーズにおいて、時刻０における減衰量ｄ(０)として、初期値０が設定される。

馴化フェーズに含まれる時刻ｔにおける減衰量ｄ(ｔ)は、例えば、時刻ｔより単位時間前の時刻ｔ−１における減衰量ｄ(ｔ−１)の値と、減衰量の最大値ｄｍａｘとを用いて、式(４)に示すように定義してもよい。なお、式(４)において、係数αは、対象に対する慣れやすさを示す馴化率を示している。
ｄ(ｔ)＝ｄ(ｔ−１)＋(ｄｍａｘ−ｄ(ｔ−１))・α ・・・(４)
このように定義された減衰量ｄ(ｔ)を用いれば、馴化フェーズにおいて、式(１)に示した馴化度Ｄ(ｔ)を時間の経過に応じて増大させ、対象からの刺激による増分Ｓを打ち消すことにより、対象に対する馴化の進展により注目度Ａ(ｔ)が減少する傾向を再現できる。

一方、脱馴化フェーズに含まれる時刻ｔにおける減衰量ｄ(ｔ)は、例えば、時刻ｔより単位時間前の時刻ｔ−１における減衰量ｄ(ｔ−１)の値と、減衰量の最大値ｄｍａｘとを用いて、式(５)に示すように定義してもよい。なお、式(５)において、係数ｒは、対象に対する慣れの解消されやすさを示す脱馴化率を示している。
ｄ(ｔ)＝ｄ(ｔ−１)−ｄｍａｘ・ｒ ・・・(５)
このように定義された減衰量ｄ(ｔ)によれば、脱馴化フェーズにおいて、式(１)に示した馴化度Ｄ(ｔ)を時間の経過に応じて減少させ、対象からの刺激による増分Ｓを注目度Ａ(ｔ)に反映させることで、脱馴化の進展により注目度Ａ(ｔ)が増大する傾向を再現できる。

図２は、上述したモデルに基づいて算出される注目度の変動の例を示している。図２において、横軸は、時間ｔを示している。また、図２に示した符号Ｓｔ−１，Ｓｔ−３は、上述した馴化フェーズを示し、符号Ｓｔ−２は、脱馴化フェーズを示している。

図２の例は、注目度Ａ(ｔ)が所定の第１閾値Ｔｈ１以下となったことを契機として、式(４)で定義された馴化フェーズの減衰量ｄ(ｔ)から、式(５)で定義された脱馴化フェーズの減衰量ｄ(ｔ)に切り替えた場合の注目度Ａ(ｔ)及び減衰量ｄ(ｔ)の変化を示している。

図２(Ａ)は、注目度Ａ(ｔ)の時間に応じた変動の例を示している。図２(Ａ)の縦軸は、注目度の大きさを示している。図２(Ａ)の例は、注目度の範囲を数値「０」〜数値「１００」の範囲に制限した場合を示している。また、図２(Ａ)に示した符号Ａ０は、上述した初期化フェーズにおいて設定された注目度の初期値を示し、符号Ｔ１は、注目度Ａ(ｔ)が第１閾値まで低下した時刻を示している。つまり、図２(Ａ)の例では、馴化フェーズＳｔ−１は、時刻０から上述した時刻Ｔ１までの期間に相当する。

また、図２(Ｂ)は、上述した減衰量ｄ(ｔ)の時間に応じた変動の例を示している。図２(Ｂ)の縦軸は、減衰量ｄ(ｔ)の値の大きさを示している。図２(Ｂ)の例は、上述した減衰量ｄ(ｔ)の変域を数値「０」〜減衰量の最大値ｄｍａｘの範囲に制限した場合を示している。

馴化フェーズＳｔ−１において、図２(Ｂ)に示したように、時間の経過に応じて単調に増加する減衰量ｄ(ｔ)に対応して得られる馴化度Ｄ(ｔ)の影響を受けて、注目度Ａ(ｔ)は、図２(Ａ)に示したように減少する。なお、図２(Ａ)の例は、対象からの刺激により、当該対象に対する関心が喚起されている場合の注目度Ａ(ｔ)の変化を示している。つまり、対象からの刺激がない場合は、図２(Ａ)に示した例よりも、急激に注目度Ａ(ｔ)は減少する。

一方、脱馴化フェーズＳｔ−２において、馴化度Ｄ(ｔ)を示す減衰量ｄ(ｔ)は、時間の経過に応じて減少し、この減衰量ｄ(ｔ)の変化に応じて、馴化度Ｄ(ｔ)も減少する。これに応じて、注目度Ａ(ｔ)は、対象からの刺激による増分に応じて、図２(Ａ)に示したように増大していく。

このように、上述したモデルによれば、対象を継続して認識している時間に応じた慣れによって、次第に対象に対する注目度が低下する過程とともに、時間の経過に伴って、再び注目度が回復する過程を再現することができる。

また、図１に示した算出部１２で用いるモデルは、図２の例のように、更に、注目度Ａ(ｔ)が所定の回復閾値Ｔｈｒ以上となったことを契機として、上述した脱馴化フェーズの減衰量ｄ(ｔ)から、馴化フェーズの減衰量ｄ(ｔ)に切り替える制御を含んでいてもよい。

脱馴化フェーズから馴化フェーズへの切り替えを含むモデルによれば、馴化フェーズにおける注目度の低下と脱馴化フェーズにおける注目度の回復とが交互に繰り返される過程を再現することができる。

なお、図２(Ａ)の例において、符号Ｔ２は、注目度Ａ(ｔ)が上述した回復閾値Ｔｈｒまで増加した時刻を示している。また、図２(Ａ)の例は、上述した時刻Ｔ１から時刻Ｔ２までの期間に相当する脱馴化フェーズＳｔ−２に続いて、時刻Ｔ２から再び馴化フェーズＳｔ−３が開始する例を示している。

このように、新規に受け取る刺激による増加分と、対象を認識している時間に応じた慣れを示す馴化度による減少分とを含んだモデルを用いれば、人間が様々な対象に対して示す注目度の変化の特徴を再現することができる。つまり、図１に示した算出部１２において、各対象に対するロボットＲ１の注目度の算出に、上述した式(１)〜(５)で示されるモデルを適用すれば、ロボットＲ１の各対象に対する注目度の変化を、人間が各対象に対して示す注目度の変化に近づけることができる。

この場合に、算出部１２によって得られる注目度は、ロボットＲ１の立場に人間がおかれた場合に、当該人間が注目する可能性の高い対象については大きな値となり、逆に、当該人間が注目する可能性の低い対象については小さい値となる。

したがって、図１に示した制御部１３が、例えば、最も大きな値を持つ注目度に対応する対象を注視対象として選択することで、ロボットＲ１の立場におかれた人物が注目する可能性の高い対象を注視対象として選択することができる。

例えば、図１に示した人物ｈ１，ｈ２及びボール１について、上述したモデルによって、算出部１２が注目度を算出する場合を考える。

人物ｈ１がロボットＲ１に対して様々な働きかけをしており、人物ｈ２はただ見ている場合に、上述したモデルによって、人物ｈ１に対応して算出される注目度は、人物ｈ２に対応して算出される注目度に比べて高く保たれる可能性が高い。したがって、制御部１３が、大きな注目度が得られた対象を注視対象として選択すれば、何も働きかけをしていない人物ｈ２ではなく、様々な働きかけをしている人物ｈ１を注視対象として選択することができる。

一方、人物ｈ１が漫然とロボットＲ１を撫でている場面に、人物ｈ２が新たに現れた場合などには、人物ｈ２に対する注目度が人物ｈ１に対する注目度を上回る可能性が高くなる。この場合に、制御部１３が、各対象について得られた注目度の大きさに基づいて、同様にして注視対象を選択すれば、既に新鮮味が感じられなくなった人物ｈ１の代わりに、新たに現れた人物ｈ２を注視対象として選択することができる。

このようにして選択された注視対象は、それぞれの状況において人間が主体的に選択する注視対象と一致している可能性が高い。したがって、上述したようにして選択された注視対象をロボットＲ１が注視するように制御することで、ロボットＲ１の視線制御の特性を、人の注視行動の特性に近づけることができる。つまり、上述したようにして求めた注目度に基づいて、ロボットＲ１の視線を向けさせる注視対象を選択することにより、人にとって自然に感じられるように、ロボットＲ１の視線の方向を制御することが可能である。

つまり、本件開示の視線制御装置１０によれば、上述した手法で算出した注目度に基づいてロボットＲ１の視線を制御することにより、ロボットＲ１が人のような主体性を持って注視対象を決定しているかのような印象を、対話の相手の人物に与えることができる。

このようにロボットＲ１の視線方向を制御することにより、ロボットＲ１の生き物らしさを演出することができるので、ロボットＲ１を、人にとっての対話の相手として認められやすくすることができる。このように、生き物らしい印象を人に与えることは、コミュニケーションロボットやＣＧエージェントのように、人との対話が成立することが重要な分野においては有用な特徴の一つである。

なお、上述した式(１)〜(５)に示したモデルは、図１に示した算出部１２において注目度の算出に用いるモデルの一例であり、算出部１２は、上述したモデルを変形したモデルを用いて、注目度の算出を行ってもよい。

図３は、視線制御装置１０の別実施形態を示している。なお、図３に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図３に示した算出部１２は、対象テーブル１２１と、刺激テーブル１２２と、テーブル管理部１２３と、算出処理部１２４とを含んでいる。

対象テーブル１２１は、センサＳ１によって検出された各対象について、図４に示すように、注目度の初期値や馴化率および脱馴化率を含む当該対象に固有のパラメータと、当該対象について得られる注目度及び減衰量とを含む情報を保持している。

図４は、対象テーブル１２１の例を示している。図４に示した例では、対象テーブル１２１は、各対象を示す対象名に対応するインスタンスの集合である。また、各インスタンスは、各対象について、算出部１２の処理の過程で得られる値として、注目度と、減衰量と、対象とロボットＲ１との距離とを含んでいる。また、各インスタンスは、対応する対象に固有のパラメータとして、上述した注目度初期値と、減衰量の上限を示す最大減衰量と、上述した馴化率および脱馴化率と、後述するモデルにおいて用いる第１距離とを含んでいる。なお、第１距離としては、例えば、対象とロボットＲ１との関わりにおいて適切な距離を示す値を設定することが望ましい。

図４の例では、対象名「人物ｈ１」に対応するインスタンスは、注目度Ａ(ｈ１)と、減衰量ｄ(ｈ１)と、距離Ｗｈ１と、注目度初期値Ａ０＿ｈ１と、最大減衰量ｄｍａｘ＿ｈ１と、馴化率αｈと、脱馴化率ｒｈと、第１距離Ｌｈとを含んでいる。同様に、対象名「人物ｈ２」に対応するインスタンスは、注目度Ａ(ｈ２)と、減衰量ｄ(ｈ２)と、距離Ｗｈ２と、注目度初期値Ａ０＿ｈ２と、最大減衰量ｄｍａｘ＿ｈ２と、馴化率αｈと、脱馴化率ｒｈと、第１距離Ｌｈとを含んでいる。また、対象名「物体Ｂ１」に対応するインスタンスは、注目度Ａ(ｂ１)と、減衰量ｄ(ｂ１)と、距離Ｗｂ１と、注目度初期値Ａ０＿ｂ１と、最大減衰量ｄｍａｘ＿ｂ１と、馴化率αｂと、脱馴化率ｒｂと、第１距離Ｌｂとを含んでいる。一方、対象名「動き１」に対応するインスタンスは、注目度Ａ(ｍ１)と、減衰量ｄ(ｍ１)と、距離Ｗｍ１と、注目度初期値Ａ０＿ｍ１と、最大減衰量ｄｍａｘ＿ｍ１と、馴化率αｍと、脱馴化率ｒｍと、第１距離Ｌｍとを含んでいる。なお、図４の例は、馴化率と、脱馴化率と、第１距離とについて、個々の対象に固有な値を設定する代わりに、対象の種類ごとに共通な値を設定した場合を示している。

また、図３に示した刺激テーブル１２２は、図５に示すように、各対象からの刺激それぞれについて、初期刺激値、馴化率及び脱馴化率を含む当該刺激に固有のパラメータと、当該刺激の入力に応じた注目度の算出に用いる刺激値とを含む情報を保持している。ここで、刺激値とは、上述した式(１)において、注目度の増分Ｓへの当該刺激の入力に応じた寄与分である。また、初期刺激値は、上述した刺激値を算出する際に用いる初期値であり、また、馴化率及び脱馴化率は、上述した刺激値を算出する際に用いるパラメータである。

図５は、図３に示した刺激テーブル１２２の例を示している。図５に示した刺激テーブル１２２は、対象ごとに、当該対象から受ける各種類の刺激を示す刺激名に対応して、刺激値と、初期刺激値と、馴化率と、脱馴化率とを含むインスタンスを保持している。

図５の例では、人物ｈ１からの刺激の一つであるアイコンタクトに対応するインスタンスは、刺激値Ｋｅ＿１と、初期刺激値Ｋｅ０と、馴化率αｅと、脱馴化率ｒｅとを含んでいる。同様に、人物ｈ１からの刺激の一つである微笑みに対応するインスタンスは、刺激値Ｋｓ＿１と、初期刺激値Ｋｓ０と、馴化率αｓと、脱馴化率ｒｓとを含んでいる。また、人物ｈ１からの刺激の一つであるタッチに対応するインスタンスは、刺激値Ｋｔ＿１と、初期刺激値Ｋｔ０と、馴化率αｔと、脱馴化率ｒｔとを含んでいる。また、人物ｈ１からの刺激の一つである声かけに対応するインスタンスは、刺激値Ｋｖ＿１と、初期刺激値Ｋｖ０と、馴化率αｖと、脱馴化率ｒｖとを含んでいる。更に、人物ｈ１からの刺激の一つであるジェスチャーに対応するインスタンスは、刺激値Ｋｇ＿１と、初期刺激値Ｋｇ０と、馴化率αｇと、脱馴化率ｒｇとを含んでいる。

また、図５の例では、物体Ｂ１からの刺激の一つである色に対応するインスタンスは、刺激値Ｋｃ＿１と、初期刺激値Ｋｃ０と、馴化率αｃと、脱馴化率ｒｃとを含んでいる。同様に、物体Ｂ１からの刺激の一つである形に対応するインスタンスは、刺激値Ｋｆ＿１と、初期刺激値Ｋｆ０と、馴化率αｆと、脱馴化率ｒｆとを含んでいる。また、物体Ｂ１からの刺激の一つであるテクスチャに対応するインスタンスは、刺激値Ｋｘ＿１と、初期刺激値Ｋｘ０と、馴化率αｘと、脱馴化率ｒｘとを含んでいる。

なお、図５に示した刺激の種類は、人物からの刺激及び物体からの刺激の組み合わせの一例であり、刺激テーブル１２２は、図５に例示した刺激以外の刺激に対応するインスタンスを含んでもよい。例えば、テレビジョン受像機のように、表示される画像や出力される音声が変化する物体を対象の一つとして検出された場合に、刺激テーブル１２２は、テレビジョン受像機自体の形や色とともに、出力される音声や映像にかかわるインスタンスを含んでもよい。刺激テーブル１２２は、例えば、音声や映像にかかわるインスタンスの例として、音の大きさや音の高さ、映像の明るさや映像で表されるコンテンツなど、それぞれに対応するインスタンスを含んでもよい。

図３に示したテーブル管理部１２３は、収集部１１によって収集された刺激情報に基づいて、上述した対象テーブル１２１及び刺激テーブル１２２を更新する。テーブル管理部１２３は、受け取った刺激情報と、上述した刺激テーブル１２２に保持された各種類の刺激に固有のパラメータとに基づいて、式(１)に示した刺激による増分Ｓへの寄与分を示す刺激値を求める。また、テーブル管理部１２３は、刺激情報に基づいて求めた各刺激値を、当該刺激をロボットＲ１に与えた対象に対応して、上述した刺激テーブル１２２に保持させる。また、テーブル管理部１２３は、上述した刺激情報から、新たな対象を検出したことを示す刺激情報を抽出し、抽出した刺激情報に基づいて、対象テーブル１２１に、新たな対象に対応するパラメータを含む新規のインスタンスを登録する。なお、対象テーブル１２１に登録する新たな対象は、センサＳ１で捉えられる対象であれば、図１に示した人物ｈ１，ｈ２などの人物や符号Ｂ１で示したボールなどの物体に限らず、例えば、ミラーボールの回転に応じて移動する光や影などの動きを含んでもよい。

また、図３に示した算出処理部１２４は、対象テーブル１２１及び刺激テーブル１２２に保持された情報と上述したモデルとに基づいて、各対象に対応する注目度を算出し、算出した注目度を対象テーブル１２１に保持させる。また、算出処理部１２４は、各対象に対応する注目度を算出する過程で得られる減衰量も、対象テーブル１２１に保持させてもよい。

次に、上述した対象テーブル１２１および刺激テーブル１２２に保持された情報に基づいて、式(１)〜式(５)に示したモデルを調整することで、更に好ましい特性を持つようにしたモデルを用いて、注目度を算出する手法について説明する。

本出願の発明者は、人が対象に慣れていく過程において、対象との距離が近いほど馴化作用が強く働くことに着目し、馴化フェーズにおける減衰量ｄ(ｔ)を、上述した式(４)に代えて、距離に対応する重みδを適用して調整した式(６)によって定義した。
ｄ(ｔ)＝ｄ(ｔ−１)＋(ｄｍａｘ−ｄ(ｔ−１))・α・δ ・・・(６)
なお、式(６)において、重みδは、図１に示したロボットＲ１と対象との適切な距離を示す第１距離Ｌと、対象とロボットＲ１との実際の距離Ｗと、所定の距離係数ｘとを用いて、式(７)に示すように表される値である。上述した第１距離Ｌは、例えば、ロボットＲ１に固有の値を予め設定してもよいし、図４に示したように、対象の種類に応じて、それぞれ設定してもよい。

式(７)に示した重みδは、距離Ｗが第１距離よりも小さい場合に、大きな値となり、逆に、距離Ｗが第１距離Ｌに比べて大きい場合に小さい値になる。また、距離係数ｘは、重みδが式(６)で表される減衰量ｄ(ｔ)の値に及ぼす影響の大きさを調整するためのパラメータであり、１以上の所望の値を設定することができる。距離係数ｘとして、大きな値を設定するほど、距離Ｗが第１距離よりも小さい場合に対応する重みδと、距離Ｗが第１距離に比べて大きい場合に対応する重みδとの差異を大きくすることができる。

式(７)に示した重みδを用いて、馴化フェーズにおける減衰量ｄ(ｔ)を式(６)のように定義することにより、対象との距離が第１距離と比べて小さいか否かに応じて、増分の大きさを調整することができる。つまり、上述した減衰量ｄ(ｔ)を式(６)、(７)のように定義することで、人が対象に慣れていく過程における馴化度の変化量に、対象との距離による影響を反映することができる。これにより、対象との距離が近いほど馴化作用が強く働くという、人が対象に慣れていく過程における特徴を、注目度を算出するモデルにおいて再現することができる。

更に、対象からの刺激に応じた注目度の増分Ｓに、上述した重みδを適用することにより、対象との距離に応じて、当該対象からの刺激による注目度への寄与分を調整してもよい。例えば、上述した式(１)に代えて、式(８)に示すようなモデルを用いて、注目度Ａ(ｔ)を算出することにより、対象との距離が上述した第１距離よりも小さいか否かに応じて、対象からの刺激による注目度への寄与分を調整してもよい。
Ａ(ｔ)＝Ａ(ｔ−１)＋Ｓ・δ−Ｄ(ｔ) ・・・（８）
このように、対象からの刺激に応じた注目度の増分Ｓに上述した重みδを乗じることにより、対象との距離が近いほど、当該対象からの刺激によって注目度が増大するという、人の注視行動の特徴を反映したモデルを作成することができる。

ここで、式(６)によって表される減衰量ｄ(ｔ)は、上述した重みδが大きいほど急激に増大する。つまり、対象との距離が近いほど、単位時間当たりの馴化度Ｄ(ｔ)の増大量が大きくなり、これに伴って、式(８)で示したように、対象に対する慣れによる注目度Ａ(ｔ)の減少量が大きくなる。即ち、対象とロボットＲ１との距離が近い場合には、馴化度Ｄ(ｔ)の増大に伴って、当該対象に対してロボットＲ１が持つ注目度Ａ(ｔ)は比較的早く減少する。これにより、他の人物などが適切な距離よりも近づいてきた場合に人が気詰まりさを感じる傾向を上述したモデルに反映し、ロボットＲ１に近づきすぎた対象に対してロボットＲ１が忌避を表現する方向に注目度を調整することができる。

また、対象からの刺激に応じた注目度の増分Ｓを算出する際に、個々の刺激に対する馴化作用を考慮して、個々の刺激値Ｋｊの値を調整してもよい。例えば、同じ種類の刺激が繰り返し検出される場合に、刺激を受けた回数ｎに対応する刺激値Ｋｊ(ｎ)を、刺激を受けた回数がｎ−１であるときの刺激値Ｋｊ(ｎ−１)と、上述した馴化率αとを用いて、式(９)のように定義してもよい。
Ｋｊ(ｎ)＝Ｋｊ(ｎ−１)−Ｋｊ(ｎ−１)・α ・・・(９)
なお、各種類の刺激に対応する刺激値Ｋｊの初期値Ｋｊ(０)の値は、例えば、各対象が検出されたときに、予め設定した初期刺激値を設定すればよい。また、各刺激に対応する初期刺激値は、例えば、図５に示したように、刺激テーブル１２２に予め設定しておくことができる。

一方、脱馴化作用を考慮して、個々の刺激値Ｋｊを算出することもできる。例えば、刺激の種類ごとに、刺激の入力間隔を監視し、所定の単位時間にわたって当該刺激が入力されない場合に、時刻ｔにおける刺激値Ｋｊ(ｔ)を、単位時間前の時刻ｔ−１における刺激値Ｋｊ(ｔ−１)と、上述した脱馴化率ｒとを用いて、式(１０)のように定義してもよい。
Ｋｊ(ｔ)＝Ｋｊ(ｔ−１)＋Ｋｊ(０)・ｒ ・・・(１０)
式(６)〜式(１０)によれば、各対象に対する馴化度及び当該対象からの刺激による増分への距離の影響とともに、個々の刺激に対する馴化作用・脱馴化作用を含めて、人が対象に対して持つ注目度の変化の特徴をモデル化することができる。

したがって、式(６)〜式(１０)で示されるモデルを用いることにより、図３に示した算出処理部１２４は、式(１)〜式(５)で示したモデルを用いた場合に比べて、より精密に、人が対象に対して持つ注目度の変化を再現することができる。つまり、式(６)〜式(１０)で示されるモデルを用いることにより、算出処理部１２４は、人が対象に対して持つ注目度の変化と類似した特徴を持って変化するように、ロボットＲ１の各対象への注目度を求めることができる。

なお、算出処理部１２４は、式(７)に示した重みδの算出に、対象テーブル１２１に個々の対象に対応して保持された距離Ｗおよび第１距離Ｌを用いることができる。例えば、人物ｈ１に対する注目度Ａ(ｈ１)の算出過程において、算出処理部１２４は、人物ｈ１のインスタンスに含まれる距離Ｗｈ１と第１距離Ｌｈとを、それぞれ距離Ｗ，第１距離Ｌとして上述した式(７)に代入すればよい。また、算出処理部１２４は、他の対象についても、同様にして、それぞれとの距離に対応する重みδを算出することができる。

また、算出処理部１２４は、式(６)及び式(５)に基づいて減衰量ｄ(ｔ)を求める処理を、例えば、単位時間ごとに実行してもよい。また、減衰量ｄ(ｔ)を求める際に、対象テーブル１２１に個々の対象に対応して保持された最大減衰量ｄｍａｘ，馴化率α及び脱馴化率ｒを用いる。また、単位時間前の減衰量ｄ(ｔ−１)として、対象テーブル１２１に保持された減衰量の値を用いてもよい。

例えば、算出処理部１２４は、人物ｈ１への注目度Ａ(ｈ１)の算出過程において、図４において人物ｈ１に対応して示した馴化率αｈ及び減衰量ｄ(ｈ１)と、上述した重みδとを、式(６)に代入することで、馴化フェーズにおける減衰量ｄ(ｔ)を求める。また、算出処理部１２４は、図４において人物ｈ１に対応して示した最大減衰量ｄｍａｘ＿ｈ１及び脱馴化率ｒｈと、減衰量ｄ(ｈ１)とを、上述した式(５)に代入することで、脱馴化フェーズにおける減衰量ｄ(ｔ)を求める。

同様に、算出処理部１２４は、他の対象についての注目度を算出する過程で、式(６)及び式(５)に対象テーブル１２１に個々の対象に対応して保持されたパラメータを代入することで、各対象に対する減衰量を算出することができる。なお、算出処理部１２４は、式(６)を用いて馴化フェーズにおける減衰量ｄ(ｔ)を求める際に、減衰量ｄ(ｔ)の値を減衰量の最大値ｄｍａｘによって制限することが望ましい。また、算出処理部１２４は、式(５)を用いて脱馴化フェーズにおける減衰量ｄ(ｔ)を求める際に、減衰量ｄ(ｔ)の値を減衰量の最小値０によって制限することが望ましい。

また、テーブル管理部１２３は、図３に示した収集部１１を介して受け取った刺激情報に含まれる刺激それぞれについて、式(９)により、対応する刺激値Ｋｊ(ｎ)を算出し、算出した刺激値Ｋｊ(ｎ)を刺激テーブル１２２に保持させる。テーブル管理部１２３は、例えば、単位時間ごとに、収集部１１から刺激情報を受け取り、受け取った刺激情報に含まれる刺激について、対応する刺激値Ｋｊ(ｎ)を算出してもよい。テーブル管理部１２３は、入力された各刺激に対応する最新の刺激値Ｋｊ(ｎ)を算出する際に、刺激テーブル１２２に刺激の種類に対応して保持された馴化率αを用いる。また、このとき、テーブル管理部１２３は、新たな刺激を受ける前の刺激値Ｋｊ(ｎ−１)として、刺激テーブル１２２に保持された刺激値を用いてもよい。

例えば、人物ｈ１からの声かけに応じた刺激値Ｋｖ＿１を算出する際に、テーブル管理部１２３は、図５において人物ｈ１に対応して示した馴化率αｖを式(９)に代入することで、声かけへの馴化を考慮した刺激値Ｋｖ＿１を求めることができる。

同様に、テーブル管理部１２３は、各対象から入力された刺激それぞれに応じて、当該刺激に対応して刺激テーブル１２２に保持されたパラメータを、式(９)に代入することで、各刺激に対する馴化を考慮した刺激値を算出する。なお、テーブル管理部１２３は、式(９)を用いて、馴化作用を考慮した刺激値を算出する際に、刺激値Ｋｊ(ｎ)の値が対応する刺激値の下限である数値０以下にならないように制限することが望ましい。

算出処理部１２４は、刺激テーブル１２２を介して、上述したテーブル処理部１２３が入力された刺激に対応して算出した刺激値を受け取り、これらの刺激値と上述した式(２)とに基づいて、刺激による増分Ｓを算出する。

算出処理部１２４は、上述した式(２)に示したように、入力された刺激それぞれに対応して刺激テーブル１２２に保持された刺激値を積算することにより、刺激の入力による注目度の増分Ｓを算出する。次いで、算出処理部１２４は、得られた増分Ｓと、上述した重みδ及び式(３)に基づいて減衰量ｄ(ｔ)より算出した馴化度Ｄ(ｔ)と、各対象に対応して対象テーブル１２１に保持された単位時間前の注目度Ａ(ｔ−１)とを、式(８)に代入することで、時刻ｔにおける各対象の注目度Ａ(ｔ)を算出する。更に、算出処理部１２４は、算出した注目度Ａ(ｔ)を対象テーブル１２１に保持させ、次に、各対象への注目度を算出する際に利用してもよい。また、算出処理部１２４は、式(８)によって各対象への注目度Ａ(ｔ)を算出する際に、注目度Ａ(ｔ)の値が所定の上限値を超えないように制限することが望ましい。

一方、テーブル管理部１２３は、上述した刺激情報に含まれていなかった刺激については、次のようにして、脱馴化作用を考慮した刺激値を算出してもよい。また、テーブル管理部１２３は、算出した刺激値を、以降に受け取る刺激情報に応じた刺激値の算出処理に利用できるように、刺激テーブル１２２に保持してもよい。

テーブル管理部１２３は、所定の単位時間にわたって入力されていない刺激について、上述した刺激テーブル１２２に保持された脱馴化率ｒと式(１０)とに基づいて、時刻ｔにおける刺激値Ｋｊ(ｔ)を算出する。このとき、テーブル管理部１２３は、単位時間前の刺激値Ｋｊ(ｔ−１)として、当該刺激に対応して刺激テーブル１２２に保持された刺激値を用いてもよい。

例えば、人物ｈ１からロボットＲ１に微笑みかける刺激が一定時間にわたって得られなかった場合に、テーブル管理部１２３は、図５において人物ｈ１に対応して示した脱馴化率ｒｈ及び微笑みに対応する刺激値Ｋｓ＿１を式(１０)に代入して刺激値の計算を行う。この計算により、微笑に対する脱馴化作用を考慮した刺激値Ｋｓ＿１を求めることができる。

同様に、テーブル管理部１２３は、各対象から入力されなかった刺激それぞれに応じて、当該刺激に対応して刺激テーブル１２２に保持されたパラメータを、式(１０)に代入することで、各刺激に対する脱馴化を考慮した刺激値を算出する。なお、テーブル管理部１２３は、式(１０)を用いて、脱馴化作用を考慮した刺激値を算出する際に、刺激値Ｋｊ(ｔ)の値が対応する初期刺激値を超えないように制限することが望ましい。

このように、刺激情報に含まれていなかった刺激について、脱馴化作用を考慮した刺激値を算出しておくことで、当該刺激が次に入力された際に、刺激が入力されていなかった期間に応じた脱馴化作用が反映された刺激値を求めることが可能となる。

図３に示した算出部１２によれば、個々の対象の固有のパラメータと個々の刺激に固有のパラメータとをそれぞれ対象テーブル１２１と刺激テーブル１２２とを用いて管理することで、算出処理部１２４による注目度の算出処理を簡易化できる。また、算出処理部１２４及びテーブル管理部１２３により、式(５)〜式(１０)で示されるモデルに基づく算出処理を行うことにより、人が対象に対して持つ注目度の変化と類似した特徴を持って変化するように、ロボットＲ１の各対象への注目度を求めることができる。

また、図３に示した視線制御装置１０では、制御部１３は、対象テーブル１２１を参照することにより、各対象に対する注目度を取得し、取得した各対象に対する注目度に基づいて、注視対象を選択することができる。また、制御部１３は、選択した注視対象を示す情報を、例えば、ロボットＲ１に含まれるモータ制御部２に渡すことにより、ロボットＲ１の頭部を、注視対象を追跡するように回転させる制御を行ってもよい。なお、図３に示したモータＭ１は、ロボットＲ１の頭部を回転させる機能を持っている。

次に、ロボットＲ１の周囲に複数の対象が存在する場合に、制御部１３が、ロボットＲ１の視線を向ける対象を選択する際に、好適な手法について説明する。

図６は、視線制御装置１０の別実施形態を示している。なお、図６に示した構成要素のうち、図１及び図３に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図６に示した視線制御装置１０において、制御部１３は、検出部１３１と、切替部１３２とを含んでいる。

検出部１３１は、算出部１２によって注目度が算出された対象の中から、最大の注目度に対応する対象を第１対象として検出する。例えば、算出部１２が、図３に示した対象テーブル１２１を含んでいる場合に、検出部１３１は、対象テーブル１２１に各対象に対応して保持された注目度を互いに比較することで、第１対象の検出を行ってもよい。

また、切替部１３２は、検出部１３１で検出された第１対象と、以前に選択された注視対象とが異なり、第１対象に対応する注目度と注視対象に対応する注目度との差分が所定の第１差分以上である場合に、注視対象を第１対象に切り替える。例えば、算出部１２が、図３に示した対象テーブル１２１を含んでいる場合に、切替部１３２は、第１対象と注視対象とに対応して対象テーブル１２１に保持された注目度を比較することで、注視対象を切り替えるか否かを判定してもよい。なお、切替部１３２は、上述した第１差分として、例えば、注目度の上限値の数パーセントに当たる値を設定することが望ましい。

また、切替部１３２は、上述したようにして、注視対象を第１対象に切り替えた場合に、第１対象を示す情報をモータ制御部２に通知することにより、ロボットＲ１の視線方向を第１対象に向けさせる。一方、上述した差分が第１差分よりも小さいとされた場合に、切替部１３２は、注視対象の切り替えを行わず、前に選択された注視対象を示す情報をモータ制御部２に通知する。

制御部１３において、第１対象の注目度と現在の注視対象に対応する注目度との差分に基づく制御を行うことで、例えば、最大の注目度が得られた対象が次々に入れ替わるような場合にも、ロボットＲ１の注視対象が頻繁に交代する現象を防ぐことができる。このような制御は、図１に示したように、複数の人物ｈ１、ｈ２がロボットＲ１と関わりを持っている場合であって、人物ｈ１、ｈ２の双方に対する注目度が拮抗する場合などに有用である。

図７は、注目度の変動の別例を示している。図７の横軸は、時間ｔを示し、縦軸は、０〜１００までの範囲で規格化された注目度を示している。また、図７において、符号Ｄｆ１は、上述した第１差分の大きさを示している。

図７において、グラフＡ(ｈ１)は、例えば、図１に示した人物ｈ１に対して得られた注目度の変化を示している。同様に、グラフＡ(ｈ２)は、人物ｈ２に対応して得られた注目度の変化を示している。

図７の例は、時刻Ｔ１において人物ｈ２が検出され、この検出に応じて求められた人物ｈ２に対する注目度が、それまでの注視対象であった人物ｈ１の注目度を上回っていた場合を示している。図７の例では、時刻Ｔ１における人物ｈ１に対する注目度と人物ｈ２に対する注目度との差分は、第１差分Ｄｆ１以上であるので、図６に示した切替部１３２は、注視対象を、それまでの人物ｈ１から新たに検出された人物ｈ２に切り替える。

ところで、図７に示した人物ｈ１に対する注目度Ａ(ｈ１)は、符号ｔｍで示した期間において複雑に変動しているため、この期間において、注目度Ａ(ｈ１)の値が人物ｈ２に対する注目度Ａ(ｈ２)の値より大きくなる期間と、逆に小さくなる期間とが混在している。このため、この期間ｔｍにおいて、図６に示した検出部１３１が第１対象として検出する対象は、人物ｈ１と人物ｈ２との間で目まぐるしく入れ替わる可能性がある。

しかしながら、図７の例では、期間ｔｍにおいて、注目度Ａ(ｈ１)と注目度Ａ(ｈ２)との差が上述した第１差分Ｄｆ１よりも小さい。したがって、図６に示した切替部１３２は、この期間ｔｍにおいては、注視対象の切り替えを行わず、注視対象は人物ｈ２のまま維持される。

図７の例では、時刻Ｔ２において、第１対象として検出された人物ｈ１への注目度Ａ(ｈ１)と、それまでの注視対象である人物ｈ２への注目度Ａ(ｈ２)との差が上述した第１差分Ｄｆ１以上になったことが示されている。この場合に、切替部１３２は、注視対象を、それまでの注視対象であった人物ｈ２から、第１対象として検出された人物ｈ１に切り替える。

このように、図６に示した制御部１３を有する視線制御装置１０によれば、図７に示した期間ｔｍのような場面において、注視対象を変更せずに、それまでの注視対象にロボットＲ１の視線を向けさせておくことができる。これにより、複数の対象がロボットＲ１と関わりを持っている場合においても、ロボットＲ１の視線を不自然にふらつかせることなく、人から見て自然な印象を与えるように、ロボットＲ１が視線を向ける対象の切り替えを制御することができる。

ところで、図６に示した制御部１３を有する視線制御装置１０は、上述した利点を持つ反面、注視対象に対する注目度が高く維持されている場合に、注視対象の切り替えが起こらなくなる可能性がある。例えば、注視対象に対する注目度が上限値に近い値である場合には、他の対象に対する注目度がたとえ上限値まで上昇したとしても、注視対象に対する注目度との差分が上述した第１差分よりも小さい場合がある。そして、このような場合に、図６に示した切替部１３２は、注視対象の切り替えを行わない。

ここで、図１に示した人物ｈ１とロボットＲ１とが互いに働きかけを行っている過程において、注視対象となっている人物ｈ１への注目度よりも、他の対象への注目度が高くなるような場面の例としては、図８に示すような場面が考えられる。

図８は、人物ｈ１とロボットＲ１とがふれあいを持っている場面の例を示している。 なお、図８に示した要素のうち、図１に示した要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図８の例は、人物ｈ１が、ロボットＲ１に対して働きかけを続けている過程で、持っている物体Ｂ１をロボットＲ１の間近に差し出した場面を示している。このような場面において、図６に示した算出部１２が、人物ｈ１及び物体Ｂ１について算出する注目度は、例えば、図９に示すように変動する。

図９は、注目度の変動の別例を示している。図９の横軸は、時間ｔを示し、縦軸は、注目度を示している。また、図９において、符号Ｄｆ１は、上述した第１差分の大きさを示している。

図９において、符号Ａ(ｈ１)で示したグラフは、図８に示した場面において、人物ｈ１に対応して得られた注目度の変動を示している。また、符号Ａ(Ｂ１)で示したグラフは、同じく、上述した場面において、物体Ｂ１について得られた注目度の変動を示している。

図９の例では、グラフＡ(ｈ１)で示したように、人物ｈ１に対する注目度が高く維持されている。一方、物体Ｂ１に対する注目度は、グラフＡ(Ｂ１)に示したように、物体Ｂ１がロボットＲ１の目の前に差し出された動作に応じて上昇し、グラフＡ(Ｂ１)のピークにおいては、人物ｈ１への注目度よりも大きな値になっている。

図９に示した例では、物体Ｂ１に対する注目度は、時刻Ｔｐにおいて、注目度について設定した最大値である数値「１００」まで上昇している。しかし、図９に示したように、時刻Ｔｐでの物体Ｂ１への注目度と人物ｈ１への注目度との差分Ｄｆｐが、上述した第１差分Ｄｆ１より小さい場合は、図６に示した制御部１３の切替部１３２は、注視対象の切り替えを行わない。つまり、図９に示したように、人物ｈ１に対する注目度よりも、物体Ｂ１への注目度のほうが大きい期間がある場合でも、注視対象は、人物ｈ１となったまま維持されてしまう場合がある。

しかしながら、図８に示したような場面では、物体Ｂ１が目の前に差し出されたときに、ロボットＲ１の注視対象が一時的に物体Ｂ１に切り替えられた方が、人物ｈ１から見て自然な印象となる可能性が高い。

このような注視対象の切り替え制御を実現するために、図６に示すように、視線制御装置１０に、抑制部１４を更に設けてもよい。

抑制部１４は、各対象について算出部１２によって得られる注目度に対して、所定の第２閾値Ｔｈ２を上限とする抑制を施す。抑制部１４は、第２閾値Ｔｈ２として、上述した算出部１２による注目度の算出処理で注目度について設定される上限値から第１差分を差し引いた値よりも小さい値を設定することが望ましい。

例えば、抑制部１４により、制御部１３によって選択された注視対象に対する注目度について上述した抑制を適用すれば、他の対象への注目度が注目度の上限値近くまで上昇した場合に、注視対象を当該他の対象に切り替えることができる。

また、抑制部１４は、対象ごとに算出部１２によって得られる注目度を監視し、注目度が第２閾値Ｔｈ２を超えた後に第２閾値Ｔｈ２以下になった場合に、上述した抑制を適用することが望ましい。また、抑制部１４は、対象ごとに注目度を監視する過程で、注目度が上述した第１閾値Ｔｈ１よりも小さくなった場合に、上述した抑制の適用を解除することが望ましい。

第２閾値Ｔｈ２と注目度の値とに関する上述した条件に基づいて、抑制部１４が、抑制の適用及び解除を制御することにより、図８で説明した場面における個々の対象への注目度の変動の特徴に基づいて、抑制を適用するか否かを制御することができる。

例えば、図８に示した場面のように、人物ｈ１からロボットＲ１への働きかけが継続している場合には、人物ｈ１への注目度は、図９のグラフＡ(ｈ１)のように、一旦、減少した後でも再び増大していく場合がある。

上述した条件に基づいて抑制の適用を制御する抑制部１４によれば、図９に示したグラフＡ(ｈ１)で示される注目度が再び増大に転じた時点から、第２閾値Ｔｈ２を上限とする抑制を適用することができる。

例えば、図９において、グラフＡ(ｈ１)で示した人物ｈ１に対する注目度が、一旦、低下した後に増大していく際に、図６に示した抑制部１４は、符号Ａ’(ｈ１)で示したグラフのように、人物ｈ１に対する注目度を第２閾値Ｔｈ２以下の値になるように抑制する。

一方、図９のグラフＡ(Ｂ１)で示した物体Ｂ１に対する注目度は、上述した条件を満たしていないので、抑制部１４による抑制は適用されず、閾値Ｔｈ２以上の値にまで増大し、これにより、人物ｈ１から物体Ｂ１への注視対象の切り替えが促される。

なお、図９の例では、時刻Ｔ１において、グラフＡ(Ｂ１)で示した物体Ｂ１に対する注目度と閾値Ｔｈ２との差分が第１差分以上となり、この時点で、制御部１３は、注視対象を人物ｈ１から物体Ｂ１に切り替える。その後、時刻Ｔ２において、グラフＡ(Ｂ１)で示した物体Ｂ１に対する注目度が、閾値Ｔｈ２よりも第１差分以上下回る値にまで減少したときに、制御部１３は、注視対象を物体Ｂ１から再び人物ｈ１に切り替える。

つまり、図９に示した例では、上述した物体Ｂ１がロボットＲ１の目の前に差し出された瞬間を含む、時刻Ｔ１から時刻Ｔ２までの期間において、一時的に、ロボットＲ１の注視対象を人物ｈ１から物体Ｂ１に切り替える制御を実現することができる。

このように、図６に示した制御部１３と抑制部１４とを有する視線制御装置１０によれば、図８に示したような場面において、人から見て自然なタイミングで注視対象を切り替える制御を実現することができる。

以上に説明した視線制御装置１０は、例えば、図１０に示すような端末装置１に搭載することができる。

図１０は、端末装置１の一実施形態を示している。なお、図１０に示した構成要素のうち、図１に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

図１０に示した端末装置１は、センサＳ１と、振る舞い管理部３と、動作調停情報管理部４と、コマンド受信部５と、モータ駆動部６と、ロボットＲ１とを含んでいる。また、端末装置１は、更に、顔検知部１１１と、物体検知部１１２と、接触検知部１１３と、音声処理部１１４と、パブ／サブ(pub/Sub: publish/subscribe)メッセージサービス部１１５と、イベントキュー１１６と、図３に示した算出部１２と、図６に示した制御部１３及び抑制部１４とを含んでいる。

振る舞い管理部３、動作調停情報管理部４、コマンド受信部５、モータ駆動部６、顔検知部１１１、物体検知部１１２、接触検知部１１３および音声処理部１１４は、パブ／サブメッセージサービス部１１５を介してメッセージを授受可能なモジュールである。以下、振る舞い管理部３、動作調停情報管理部４、コマンド受信部５、モータ駆動部６、顔検知部１１１、物体検知部１１２、接触検知部１１３および音声処理部１１４を総称する際は、単にモジュールと称する。また、図１０に示したセンサＳ１は、ロボットＲ１の頭部に搭載されたカメラＣＡＭと、ロボットＲ１の頭部や手足などに設けられたタッチセンサＴＳＲと、ロボットＲ１の内部に組み込まれたマイクロホンＭＩＣとを含んでいる。

顔検知部１１１は、上述したカメラＣＡＭで得た画像に基づいて、人の検出や認証を行うとともに、人の動きを分析し、得られた結果を含むメッセージを送信する。また、顔検知部１１１は、検出した顔の位置情報に基づいて、カメラＣＡＭの視野を検出した人の顔の位置に合わせて追従させるためのコマンドをモータ駆動部６に送信する。

物体検知部１１２は、上述したカメラＣＡＭで得た画像から、例えば、予め登録された物体の色や形などの特徴が一致する部分及び検出した部分の動きを検出し、検出結果を示すメッセージ送信する。また、物体検知部１１２は、検出した物体の位置や物体の動きを示す位置情報を含むコマンドを、モータ駆動部６に送信する。

接触検知部１１３は、上述したタッチセンサＴＳＲの出力に基づいて、タッチセンサＴＳＲへの物理的な接触を検知し、検知結果として、例えば、接触を検知したタッチセンサＴＳＲの位置や接触の強さなどを示す情報を含むメッセージを送信する。

音声処理部１１４は、上述したマイクロホンＭＩＣから入力された音声信号に基づいて、発話音声の検知や発話音声についての音声認識処理を行い、得られた結果を含むメッセージを送信する。また、音声処理部１１４は、他のモジュールからの受け取った指示に従って、指定された音声をロボットＲ１内部に設けられたスピーカ(図示せず)を介して出力する。

イベントキュー１１６は、顔検知部１１１、物体検知部１１２、接触検知部１１３及び音声処理部１１４によって送出されたロボットＲ１への刺激イベントを示すメッセージを、パブ／サブメッセージサービス部１１５を介して受け取る。例えば、イベントキュー１１６は、人物や物体を含む対象の出現あるいは消失を示すイベントや、図５に例示した刺激名に対応するイベントに関するメッセージを、刺激イベントを示すメッセージとして取得すればよい。なお、パブ／サブメッセージサービス部１１５を介して取得するメッセージは、予め登録しておくことができる。また、イベントキュー１１６は、受け取ったメッセージに含まれる刺激イベントを示す情報を、例えば、所定時間ごとに算出部１２に渡し、対象ごとの注目度の算出処理に供する。つまり、パブ／サブメッセージサービス部１１５を介してイベントキュー１１６が受け取るメッセージは、図１に示したセンサＳ１から収集部１１が収集する刺激情報に相当する。また、図１０に示した端末装置１においては、顔検知部１１１、物体検知部１１２、接触検知部１１３、音声処理部１１４、パブ／サブメッセージサービス部１１５及びイベントキュー１１６により、図１に示した収集部１１１の機能が果たされている。

図１０に示した振る舞い管理部３は、ロボットＲ１の頭部や手足の動作と発話音声との少なくとも一つを含む振る舞いを表す複数の振る舞いパターンを保持している。また、振る舞い管理部３は、顔検知部１１１、物体検知部１１２、接触検知部１１３及び音声処理部１１４からロボットＲ１への刺激を示す情報を取得し、取得した情報に基づいて、ロボットＲ１の感情を示す感情パラメータを調整する。また、振る舞い管理部３は、上述した感情パラメータや他のモジュールからの指示に応じて、上述した複数の振る舞いパターンの中から、ロボットＲ１に実行させる振る舞いパターンを選択する。更に、振る舞い管理部３は、選択した振る舞いパターンに基づいて、モータ駆動部６や音声処理部１１４に対して動作や発話音声の出力を指示するコマンドを送信する。

コマンド受信部５は、それぞれのモジュールから発信されたモータ制御を要求するコマンドを受け付け、受け付けたコマンドを順次にモータ駆動部６に渡す。

動作調停情報管理部４は、コマンド受信部５が各モジュールから受信したコマンドそれぞれに対応する開始時刻及び優先度に基づいて、各コマンドに優先順位を与え、モータ駆動部６でのコマンドの実行順序を調停する。動作調停情報管理部４は、例えば、コマンドの送信元のモジュールに与えられた優先順位や、コマンドによって実行させようとする動作の開始時刻などに基づいて、それぞれのコマンドに優先順位を与えてもよい。なお、動作調停情報管理部４が各コマンドに優先順位を与える処理の詳細については、例えば、本出願人によって先に出願された特開２０１１−２３３０７１号公報を参照されたい。

モータ駆動部６は、動作調停情報管理部４によって設定された優先順位に従ってコマンドを実行し、図６に示したモータＭ１を含む、ロボットＲ１に内蔵された各モータ駆動する。

また、図１０に示した制御部１３は、上述したようにして選択した注視対象を示す情報を含むメッセージとともに、注視対象への追従をモータに指示するコマンドを送信することで、注視対象にロボットＲ１の視線を向けさせる制御を行ってもよい。

また、上述した動作調停情報管理部４は、制御部１３によって送信されたメッセージ及びコマンドを、他のモジュールからのメッセージ及びコマンドの一つとして受け取り、上述した調停動作を実行する。

これにより、本件開示の視線制御装置１０を、各モジュールからの制御コマンドの優先度を調停するための動作調停情報管理部４を含む包摂アーキテクチャ(Subsumption Architecture)を採用した端末装置１の一部として位置づけることができる。

なお、図１０に示した端末装置１において、コマンド受信部５、動作調停情報管理部４及びモータ駆動部６は、図６に示したモータ制御部２の実現例の一つである。

また、端末装置１において採用するアーキテクチャは、上述した包摂アーキテクチャに限らず、端末装置１に含まれるロボットＲ1に自然な動作を表現させるためのアーキテクチャであればどのようなアーキテクチャでもよい。

以上に説明した本件開示の視線制御装置１０及び端末装置１は、例えば、パーソナルコンピュータなどのコンピュータ装置を用いて実現することができる。

図１１は、視線制御装置１０を含む端末装置１のハードウェア構成の一例を示している。なお、図１１に示した構成要素のうち、図１又は図６に示した構成要素と同等のものについては、同一の符号を付して示し、その説明は省略する。

コンピュータ装置２０は、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とを含んでいる。図１１に例示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、表示装置２４と、入力装置２５と、光学ドライブ装置２６と、ロボットインタフェース２８とは、バスを介して互いに接続されている。また、コンピュータ装置２０は、ロボットインタフェース２８を介して、ロボットＲ１に接続されており、ロボットＲ１に内蔵されたセンサＳ１からの刺激情報の取得及びモータＭ１の駆動などの制御が可能である。

図１１に示したプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ロボットインタフェース２８とは、視線制御装置１０に含まれている。また、プロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ロボットインタフェース２８と、ロボットＲ１とは、端末装置１に含まれている。

上述した光学ドライブ装置２６は、光ディスクなどのリムーバブルディスク２７を装着可能であり、装着したリムーバブルディスク２７に記録された情報の読出および記録を行う。

図１１に例示した入力装置２５は、例えば、キーボードやマウスなどである。端末装置１の操作者は、入力装置２５を操作することにより、端末装置１に含まれるロボットＲ１に対して、例えば、周囲の人物に挨拶させるなどふるまいを実行させるための指示などを入力することができる。

図１１に例示したメモリ２２は、コンピュータ装置２０のオペレーティングシステムとともに、プロセッサ２１が上述した視線制御処理を実行するためのアプリケーションプログラムを格納している。なお、上述した視線制御処理を実行するためのアプリケーションプログラムは、例えば、光ディスクなどのリムーバブルディスク２７に記録して頒布することができる。そして、このリムーバブルディスク２７を光学ドライブ装置２６に装着して読み込み処理を行うことにより、視線制御処理を実行するためのアプリケーションプログラムを、メモリ２２およびハードディスク装置２３に格納させてもよい。また、インターネットなどのネットワークに接続する通信装置(図示せず)を介して、視線制御処理を実行するためのアプリケーションプログラムをメモリ２２およびハードディスク装置２３に読み込ませることもできる。

また、メモリ２２あるいはハードディスク装置２３の記憶容量の一部を利用して、図３に示した対象テーブル１２１及び刺激テーブル１２２を設けることもできる。更に、メモリ２２あるいはハードディスク装置２３の記憶容量の一部を、図１０に示したイベントキュー１１６として利用してもよい。

つまり、本件開示の視線制御装置１０は、例えば、上述したコンピュータ装置２０に含まれるプロセッサ２１と、メモリ２２と、ハードディスク装置２３と、ロボットインタフェース２８との協働によって実現することができる。

以下、ロボットＲ１についての視線制御処理について説明する。プロセッサ２１は、例えば、単位時間ごとに、図１２に示す視線制御処理を実行してもよい。なお、上述した単位時間としては、例えば、１秒程度の時間を設定してもよい。

図１２は、視線制御処理のフローチャートの一例を示している。図１２に示したステップＳ３０１〜ステップＳ３０９の各処理は、視線制御処理のためのアプリケーションプログラムに含まれる処理の一例である。また、これらのステップＳ３０１〜ステップＳ３０９の各処理は、プロセッサ２１によって実行される。

プロセッサ２１は、メモリ２２あるいはハードディスク装置２３に設けられたイベントキュー１１６を参照し、上述した単位時間にイベントキュー１１６に蓄積された刺激イベントを取得する(ステップ３０１)。

次にプロセッサ２１は、取得した刺激イベントの中に、新たな対象が出現した旨を示す刺激イベントあるいは対象がロボットＲ１の視野から消失したことを示す刺激イベントが含まれているか否かを判定する(ステップ３０２)。

対象の出現あるいは消失を示す刺激イベントが含まれていた場合に、プロセッサ２１は、ステップ３０２の肯定判定ルートに従ってステップ３０３の処理に進み、メモリ２２あるいはハードディスク装置２３に設けられた対象テーブル１２１を更新する。新たな対象が出現した旨の刺激イベントの取得に応じて、プロセッサ２１は、更新処理として、当該対象に対応するインスタンスを対象テーブル１２１に追加する処理を行う。また、対象がロボットＲ１の視野から消失した旨の刺激イベントの取得に応じて、プロセッサ２１は、更新処理として、対象テーブル１２１から当該対象に対応するインスタンスを削除する処理を行う。

一方、ステップ３０１で取得した刺激イベントの中に対象の出現あるいは消失を示す刺激イベントが含まれていない場合に、プロセッサ２１は、ステップ３０２の否定判定ルートに従って、ステップ３０３の処理をスキップする。

ステップ３０２の肯定判定ルートの処理と、否定判定ルートの処理とは、次のステップ３０４において合流する。ステップ３０４において、プロセッサ２１は、対象テーブル１２１を参照し、対象に対応するインスタンスが登録されているか否かを判定する。

対象テーブル１２１に登録されているインスタンスがない場合に、プロセッサ２１は、ステップ３０４の否定判定ルートに従って、視線制御処理を終了する。一方、ステップ３０４の肯定判定の場合に、プロセッサ２１は、対象テーブル１２１で示される対象ごとに、ステップ３０５からステップ３０７の処理を実行することで、個々の対象への注目度を求める。

ステップ３０４の肯定判定ルートにおいて、プロセッサ２１は、まず、対象ごとに、当該対象からロボットＲ１への刺激を示す刺激イベントを、イベントキュー１１６から読み出す(ステップ３０５)。次いで、プロセッサ２１は、図１３に示すようにして、各対象に対する注目度を上述したモデルに基づいて算出する(ステップ３０６)。

図１３は、注目度を算出する処理のフローチャートの一例を示している。図１３に示したステップＳ３２１〜ステップＳ３２６の各処理は、図１２に示したステップ３０６の処理の一例である。また、これらのステップＳ３２１〜ステップＳ３２６の各処理は、プロセッサ２１によって実行される。

まず、プロセッサ２１は、上述した式(５)又は式(６)を用いて、注目度の算出処理のターゲットとなっている対象に対する減衰量を算出し、得られた減衰量と式(３)とに基づき時刻ｔにおける馴化度Ｄ(ｔ)を算出する(ステップ３２１)。プロセッサ２１は、図２を用いて説明したようにして、馴化フェーズにおける減衰量の変動を示す式(６)と、脱馴化フェーズにおける減衰量の変動を示す式(５)とのいずれかを選択し、選択した式を用いて算出した減衰量により、対象に対する馴化度を算出する。プロセッサ２１は、例えば、対象テーブル１２１に保持された注目度に基づいて、ロボットＲ１の対象に対する注目度の変化が、馴化フェーズであるか脱馴化フェーズであるかを判定してもよい。

次に、プロセッサ２１は、図１２のステップ３０５で読み出した刺激イベントそれぞれに基づいて、刺激テーブル１２２に保持された対応する刺激値を更新する（ステップ３２２）。プロセッサ２１は、上述した式(９)を用いて、注目度の算出処理のターゲットとなっている対象からの個々の刺激に対する慣れを考慮した刺激値を算出し、算出した刺激値を用いて、刺激テーブル１２２に当該対象に対応して保持された刺激値を更新する。例えば、プロセッサ２１は、人物ｈ１からのアイコンタクトと微笑みとをそれぞれ示す刺激イベントを取得した場合に、上述した式(９)を用いて算出した刺激値により、図５に示した刺激テーブル１２２に保持された刺激値Ｋｅ＿１，Ｋｓ＿１を更新する。

また、ステップ３２２の処理の過程で、プロセッサ２１は、ステップ３０５で読み出した刺激イベントに含まれていなかった刺激について、上述した式(１０)を用いて、個々の刺激に対する慣れの解除を考慮した刺激値を算出してもよい。また、プロセッサ２１は、算出した刺激値を用いて、刺激テーブル１２２に保持されたそれぞれの刺激値を更新することにより、次に、注目度を算出する際に、更新された刺激値を利用できるようにしてもよい。

次に、プロセッサ２１は、ステップ３０５で読み出した刺激イベントそれぞれについてステップ３２２の処理で算出された刺激値を積算することで、式(８)で表されるモデルにおいて、対象からの刺激による増分を示す積算値Ｓを算出する(ステップ３２３)。

次いで、プロセッサ２１は、対象への注目度をモデル化した式(８)に、ステップ３２１で算出した馴化度Ｄ(ｔ)及びステップ３２３で算出した積算値Ｓを代入し、上述した距離に応じた重みδを適用することで、対象に対する注目度を計算する(ステップ３２４)。

このように、プロセッサ２１が、ステップ３２１〜ステップ３２４の処理を実行することにより、図１に示した算出部１２の機能を実現することができる。

次いで、プロセッサ２１は、ステップ３０６において、図１４に示すようにして、図８および図９を用いて説明した注目度を抑制する処理を行う。

図１４は、注目度を抑制する処理のフローチャートの一例を示している。図１４に示したステップＳ３３１〜ステップＳ３３９の各処理は、図１３に示したステップ３２５の処理の一例である。また、これらのステップＳ３３１〜ステップＳ３３９の各処理は、プロセッサ２１によって実行される。

図１４に示したフローチャートは、注目度を抑制する処理を、後述する抑制フラグ及び履歴フラグを用いて制御する場合を示している。抑制フラグは、注目度を抑制する処理の適用を有効にするフラグであり、履歴フラグは、注目度が上述した第２閾値Ｔｈ２以上になった履歴を持つことを示すフラグである。抑制フラグ及び履歴フラグは、例えば、各対象に対応するインスタンスの一部として、上述した対象テーブル１２１に保持してもよい。なお、各対象に対応する抑制フラグおよび履歴フラグは、例えば、個々の対象に対応するインスタンスが対象テーブル１２１に登録される際に、いずれも初期値「偽」が設定されている。

まず、プロセッサ２１は、図１３のステップ３２４で算出された注目度が第２閾値Ｔｈ２以上であるか否かを判定する(ステップ３３１)。ステップ３３１の肯定判定の場合に、プロセッサ２１は、対象テーブル１２１を参照し、注目度の算出のターゲットとなっている対象に対応する抑制フラグに「真」が設定されているか否かを判定する(ステップ３３２)。

ステップ３３２で参照した抑制フラグに「偽」が設定されていた場合に、プロセッサ２１は、ステップ３３２の否定判定ルートに従って、ステップ３３３及びステップ３３４の処理を実行する。

ステップ３３３において、プロセッサ２１は、上述した対象に対応する履歴フラグに「真」を設定し、当該対象に対する注目度が第２閾値Ｔｈ２を超えた履歴を持つことを示す。次いで、プロセッサ２１は、ステップ３２４で算出された注目度を、注目度について設定された上限値で抑制する処理を行う(ステップ３３４)。つまり、プロセッサ２１は、ステップ３２４で算出された注目度が注目度の上限値(例えば、数値１００)よりも大きい場合に限って、算出された注目度を上限値で置き換える。したがって、ステップ３３２の否定判定ルートの処理では、プロセッサ２１は、上述した上限値によって抑制された注目度を、注目度を抑制する処理の処理結果として出力し、図１３のステップ３２６の処理に戻る。

一方、ステップ３３２で参照した抑制フラグに「真」が設定されていた場合に、プロセッサ２１は、ステップ３３２の肯定判定ルートに従って、ステップ３３５の処理を実行する。ステップ３３５において、プロセッサ２１は、ステップ３２４で算出された注目度を、上述した第２閾値で置き換えることで、注目度を第２閾値Ｔｈ２で抑制する。したがって、ステップ３３２の肯定判定ルートの処理では、プロセッサ２１は、上述した第２閾値Ｔｈ２によって抑制された注目度を、注目度を抑制する処理の処理結果として出力し、図１３のステップ３２６の処理に戻る。

また一方、図１３のステップ３２４で算出された注目度が第２閾値Ｔｈ２よりも小さい場合に、プロセッサ２１は、ステップ３３１の否定判定ルートの処理を実行する。

ステップ３３１の否定判定ルートにおいて、プロセッサ２１は、まず、ステップ３２４で算出された注目度が、上述した第１閾値Ｔｈ１以上であるか否かを判定する（ステップ３３６）。

ステップ３３６の肯定判定ルートにおいて、プロセッサ２１は、更に、対象テーブル１２１の上述したターゲットに対応するインスタンスの履歴フラグに「真」が設定されているか否かを判定する(ステップ３３７)。ステップ３３７の肯定判定の場合に、プロセッサ２１は、対応する抑制フラグに「真」を設定する(ステップ３３８)。このステップ３３８の処理により、注目度が一旦上述した第２閾値Ｔｈ２以上の値となった後に、第２閾値Ｔｈ２を下回るように変化したこと、つまり、第２閾値Ｔｈ２による抑制を適用する条件を満たしたことを、抑制フラグの値によって示す。一方、ステップ３３７の否定判定の場合に、プロセッサ２１は、ステップ３３８の処理をスキップし、抑制フラグの値をそのまま維持する。

一方、ステップ３３６の否定判定ルートにおいて、プロセッサ２１は、対象テーブル１２１の上述したターゲットに対応するインスタンスの履歴フラグ及び抑制フラグに再び「偽」を設定し、注目度に対する抑制制御を解除する(ステップ３３９)。

このように設定される抑制フラグ及び履歴フラグに基づいて、注目度に対する抑制処理を制御することで、プロセッサ２１は、第２閾値Ｔｈ２による抑制を適用する条件を満たした場合に限って、第２閾値Ｔｈ２による抑制処理を実行することができる。つまり、プロセッサ２１が、図１４に示したステップ３３１〜ステップ３３９の処理を実行することにより、図６に示した抑制部１４の機能を実現することができる。

図１４に例示したフローチャートでは、プロセッサ２１は、ステップ３３２の肯定判定ルートの処理に限って、上述した第２閾値Ｔｈ２によって抑制された注目度を、注目度を抑制する処理の処理結果として出力し、図１３のステップ３２６の処理に戻る。

一方、プロセッサ２１は、ステップ３３２の否定判定ルートの処理では、注目度について設定された上限値(例えば、数値１００)によって抑制された注目度を、注目度を抑制する処理の処理結果として出力し、図１３のステップ３２６の処理に戻る。

また一方、プロセッサ２１は、ステップ３３１の否定判定ルートに含まれる各ルートの処理では、図１３のステップ３２４で算出された注目度をそのまま出力し、図１３のステップ３２６の処理に戻る。

ステップ３２６において、プロセッサ２１は、上述したようにして抑制処理が適用された注目度を用いて、対象テーブル１２１に含まれる上述した対象に対応する注目度を更新し、図１２のステップ３０７の処理に戻る。

ステップ３０７において、プロセッサ２１は、全ての対象について注目度の算出を実行したか否かを判定する。まだ注目度の算出が完了していない対象がある場合に(ステップ３０７の否定判定)、プロセッサ２１は、ステップ３０５の処理に戻って、新たな対象について注目度を算出する処理を開始する。

ステップ３０５からステップ３０７の処理を繰り返すことで、対象テーブル１２１に登録された全ての対象についての注目度を算出する処理が完了した場合に（ステップ３０７の肯定判定）、プロセッサ２１は、ステップ３０８の処理に進む。

ステップ３０８において、プロセッサ２１は、図１５に示すようにして、図７を用いて説明した注視対象を選択する処理を行う。

図１５は、注視対象を選択する処理のフローチャートの一例を示している。図１５に示したステップＳ３４１〜ステップＳ３４６の各処理は、図１２に示したステップ３０８の処理の一例である。また、これらのステップＳ３４１〜ステップＳ３４６の各処理は、プロセッサ２１によって実行される。

プロセッサ２１は、まず、対象テーブル１２１を参照し、対象テーブル１２１に各対象に対応して保持された注目度の中から、最大値を検出する(ステップ３４１)。この場合に、プロセッサ２１は、最大の注目度を含むインスタンスに対応する対象として、上述した第１対象を検出することができる。つまり、プロセッサ２１が、ステップ３４１の処理を実行することで、図６に示した検出部１３１の機能を実現することができる。

次いで、プロセッサ２１は、ステップ３４１で検出した注目度の最大値が、前回に図１２のステップ３０８の処理を実行した際に選択した注視対象の注目度であるか否かを判定する(ステップ３４２)。

前回に選択された注視対象に対応して算出された注目度がステップ３４１の処理で検出された場合に(ステップ３４２の肯定判定)、プロセッサ２１は、注視対象を変更せずに、前回の選択結果で示される注視対象を維持する(ステップ３４３)。この場合に、プロセッサ２１は、前回の処理で選択された注視対象を示す情報を、注視対象を選択する処理の結果として出力し、図１２のステップ３０９の処理に戻る。

一方、前回に選択された注視対象とは異なる対象について算出された注目度がステップ３４１の処理で検出された場合に、プロセッサ２１は、ステップ３４４〜ステップ３４６の処理を実行することで、図６に示した切替部１３２の機能を実現する。

ステップ３４２の否定判定ルートにおいて、プロセッサ２１は、まず、前回に選択された注視対象に対応して算出された注目度と、ステップ３４１の処理で検出された注目度の最大値との差分を算出する(ステップ３４４)。

次いで、プロセッサ２１は、ステップ３４４で算出した差分が図７に示した第１差分Ｄｆ１以上であるか否かを判定する(ステップ３４５)。

上述した差分が第１差分Ｄｆ１よりも小さい場合に(ステップ３４５の否定判定)、プロセッサ２１は、注視対象の切り替えを行わないと判断し、上述したステップ３４３の処理を実行する。つまり、プロセッサ２１は、注視対象を変更せずに、前回の選択結果で示される注視対象を示す情報を、注視対象を選択する処理の結果として出力し、図１２のステップ３０９の処理に進む。

一方、上述した差分が第１差分Ｄｆ１以上である場合に(図１５のステップ３４５の肯定判定)、プロセッサ２１は、注視対象の切り替えを行うと判断し、ステップ３４６の処理に進む。ステップ３４６において、プロセッサ２１は、ステップ３４１で検出した注目度の最大値に対応する対象を新しい注視対象として選択する。また、プロセッサ２１は、新たな注視対象を示す情報を、注視対象を選択する処理の結果として出力し、図１２のステップ３０９の処理に進む。

ステップ３０９において、プロセッサ２１は、選択された注視対象に応じてロボットＲ１の視線を制御する処理を実行する。例えば、プロセッサ２１は、注視対象に対応してセンサＳ１で得られる位置情報などに基づいて、ロボットＲ１の内部のモータＭ１を駆動するためのコマンドを作成し、図１１に示したロボットインタフェース２８を介して、作成したコマンドを送信すればよい。

このように、プロセッサ２１が、ステップ３０８及びステップ３０９の処理を実行することにより、図１に示した制御部１３の機能を実現し、上述したモデルを用いて算出された注目度に基づいて選択された注視対象にロボットＲ１の視線を向けさせることができる。

このように、図１１に示したコンピュータ装置２０に含まれるプロセッサ２１などのハードウェアと視線制御処理のためのアプリケーションプログラムを含むソフトウェアとの協働により、本件開示の視線制御装置１０を実現することができる。

なお、プロセッサ２１に上述した視線制御処理を実行させるためのアプリケーションプログラムは、図１０を用いて説明した包摂アーキテクチャのためのアプリケーションプログラムの一部としてメモリ２２あるいはハードディスク装置２３に格納されてもよい。

例えば、プロセッサ２１は、図１０に示した各モジュールの機能を実現するためのプログラムとともに、上述した視線制御処理のためのアプリケーションプログラムを、包摂アーキテクチャを採用した端末装置１の一つのモジュールとして実行してもよい。このような端末装置１によれば、人の注視行動の特徴を反映したモデルによる視線制御処理と、図１０に示した振る舞い管理部３などの処理とによって夫々生成されるロボットＲ１への動作コマンドを調停し、ロボットＲ１に自然な動作を表現させることができる。

以上の説明に関して、更に、以下の各項を開示する。
(付記１)
視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集する収集部と、
前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、
前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部と
を備えたことを特徴とする視線制御装置。
(付記２)
付記１に記載の視線制御装置において、
前記算出部は、
前記注目度を減少する減少分を、前記端末装置により当該対象を認識している時間に応じた慣れを示す馴化度に基づき決定し、
前記注目度が所定の第１閾値よりも大きい場合に、前記馴化度を、前記対象を認識している時間の増大に応じて増大させ、
前記注目度が前記第１閾値まで減少した以降に、前記馴化度を、前記対象を認識している時間の増大に応じて減少させる
ことを特徴とする視線制御装置。
(付記３)
付記２に記載の視線制御装置において、
前記算出部は、
前記各対象に対応する前記馴化度を求める際に、前記各対象と前記端末装置との距離が当該対象について予め設定された第１距離よりも近い場合に大きくなり、前記第１距離よりも遠い場合に小さくなるように設定される重みを、前記対象を認識している時間の増大に応じた前記馴化度の増分の算出に適用する
ことを特徴とする視線制御装置。
(付記４)
付記２に記載の視線制御装置において、
前記算出部は、
前記対象が複数である場合に、前記制御部によって選択された前記注視対象に対する馴化度を求める際に適用する単位時間当たりの増加率を、他の対象に対する馴化度の単位時間当たりの増加率よりも大きく設定する
ことを特徴とする視線制御装置。
(付記５)
付記１乃至付記４のいずれか一に記載の視線制御装置において、
前記算出部は、
前記収集部で前記各対象について収集された刺激情報に対応する前記注目度の増分を求める際に、
前記刺激情報で示される刺激それぞれによる前記注目度の増分への寄与分に対して、前記各対象との距離と当該対象について予め設定された第１距離よりも近い場合に大きくなり、前記第１距離よりも遠い場合に小さくなるように設定される重みを適用する
ことを特徴とする視線制御装置。
(付記６)
付記５に記載の視線制御装置において、
前記算出部は、
前記各刺激による前記寄与分として、当該刺激が継続して検知されている時間に応じて小さくなる値を積算し、
前記積算部による積算結果に対して、前記重みを適用する
ことを特徴とする視線制御装置。
(付記７)
付記１乃至付記５のいずれか一に記載の視線制御装置において、
前記制御部は、
前記算出部により最大の注目度が得られた対象を第１対象として検出する検出部と、
前記検出部で検出された前記第１対象と、以前に選択された注視対象とが異なり、前記第１対象に対応する注目度と前記注視対象に対応する注目度との差分が所定の第１差分以上である場合に、前記第１対象に注視対象を切り替える切替部とを有する
ことを特徴とする視線制御装置。
(付記８)
付記７に記載の視線制御装置において、
更に、
前記各対象について前記算出部によって得られる注目度に対して、所定の第２閾値を上限とする抑制を施す抑制部を有し、
前記第２閾値は、前記注目度について設定される上限値から前記第１差分を差し引いた値よりも小さい値に設定される
ことを特徴とする視線制御装置。
(付記８)
付記７に記載の視線制御装置において、
前記抑制部は、
前記算出部によって得られる注目度を前記対象ごとに監視し、前記注目度が前記第２閾値を超えた後に前記第２閾値以下になったことを検出した場合に、前記抑制を適用し、
前記対象ごとに前記注目度を監視する過程で、前記注目度が前記第１閾値よりも小さくなったことを検出した場合に、前記抑制の適用を解除する
ことを特徴とする視線制御装置。
(付記９)
視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、
前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、
前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う
ことを特徴とする視線制御方法。
(付記１０)
視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、
前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、
前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う
処理をコンピュータに実行させることを特徴とする視線制御プログラム。
(付記１１)
視線を表現する表現部と、
前記表現部への刺激を検出するセンサと、
前記センサで検出された刺激を示す刺激情報を収集する収集部と、
前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、
前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部と
を備えたことを特徴とする端末装置。

１…端末装置；２…モータ制御部；３…振る舞い管理部；４…動作調停情報管理部；５…コマンド受信部；６…モータ駆動部；１１…収集部；１２…算出部；１３…制御部；１４…抑制部；２１…プロセッサ；２２…メモリ；２３…ハードディスク装置；２４…表示装置；２５…入力装置；２６…光学ドライブ装置；２７…リムーバブルディスク；２８…ロボットインタフェース；１１１…顔検知部；１１２…物体検知部；１１３…接触検知部；１１４…音声処理部；１１５…パブ／サブ(Publish/Subscribe)メッセージサービス部；１１６…イベントキュー；１２１…対象テーブル；１２２…刺激テーブル；１２３…テーブル管理部；１２４…算出処理部；１３１…検出部；１３２…切替部；Ｓ１…センサ；Ｍ１…モータ；Ｒ１…ロボット；ｈ１、ｈ２…人物；Ｂ１…物体；ＣＡＭ…カメラ；ＴＳＲ…タッチセンサ；ＭＩＣ…マイクロホン

Claims (9)

1. 視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集する収集部と、
   前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、
   前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部と
   を備えたことを特徴とする視線制御装置。
2. 請求項１に記載の視線制御装置において、
   前記算出部は、
   前記各対象に対する注目度を減少する減少分を、前記端末装置により当該対象を認識している時間である認識時間に応じた慣れを示す馴化度に基づき決定し、
   前記注目度が所定の第１閾値よりも大きい場合に、前記馴化度を、前記認識時間の増大に応じて増大させ、
   前記注目度が前記第１閾値まで減少した以降に、前記馴化度を、前記認識時間の増大に応じて減少させる
   ことを特徴とする視線制御装置。
3. 請求項２に記載の視線制御装置において、
   前記算出部は、
   前記各対象に対応する前記馴化度を求める際に、前記各対象と前記端末装置との距離が当該対象について予め設定された第１距離よりも近い場合に大きくなり、前記第１距離よりも遠い場合に小さくなるように設定される重みを、前記認識時間の増大に応じた前記馴化度の増分の算出に適用する
   ことを特徴とする視線制御装置。
4. 請求項１乃至請求項３のいずれか一項に記載の視線制御装置において、
   前記算出部は、
   前記収集部で前記各対象について収集された刺激情報に対応する前記注目度の増分を求める際に、
   前記刺激情報で示される刺激それぞれによる前記注目度の増分への寄与分に対して、前記各対象との距離と当該対象について予め設定された第１距離よりも近い場合に大きくなり、前記第１距離よりも遠い場合に小さくなるように設定される重みを適用する
   ことを特徴とする視線制御装置。
5. 請求項１乃至請求項４のいずれか一項に記載の視線制御装置において、
   前記制御部は、
   前記算出部により最大の注目度が得られた対象を第１対象として検出する検出部と、
   前記検出部で検出された前記第１対象と、以前に選択された注視対象とが異なり、前記第１対象に対応する注目度と前記注視対象に対応する注目度との差分が所定の第１差分以上である場合に、前記第１対象に注視対象を切り替える切替部とを有する
   ことを特徴とする視線制御装置。
6. 請求項５に記載の視線制御装置において、
   更に、
   前記各対象について前記算出部によって得られる注目度に対して、所定の第２閾値を上限とする抑制を施す抑制部を有し、
   前記第２閾値は、前記注目度について設定される上限値から前記第１差分を差し引いた値よりも小さい値に設定される
   ことを特徴とする視線制御装置。
7. 視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、
   前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、
   得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う
   ことを特徴とする視線制御方法。
8. 視線を表現する表現部を有する端末装置に設けられたセンサにより検出される前記端末装置への刺激を示す刺激情報を収集し、
   前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少するとともに、前記収集部で刺激情報が収集されるほど増加し、
   得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う
   処理をコンピュータに実行させることを特徴とする視線制御プログラム。
9. 視線を表現する表現部と、
   前記表現部への刺激を検出するセンサと、
   前記センサで検出された刺激を示す刺激情報を収集する収集部と、
   前記視線に対応する視界に含まれる対象それぞれに対して前記端末装置が興味を持っている度合いを示す注目度を、前記端末装置により当該対象を認識している時間が長いほど減少し、前記収集部で刺激情報が収集されるほど増加する算出部と、
   前記算出部によって得られた注目度が他の対象について得られた注目度よりも大きい対象の中から選択した注視対象に、前記表現部の視線を向けさせる制御を行う制御部と
   を備えたことを特徴とする端末装置。
   

Images