JP2014502566A - ロボットとユーザーの相互作用のためのマルチ状態モデル - Google Patents

Abstract

本開示は、タスクを実行するためのロボットのタスク関連オペレーションと、前記ロボットと相互作用するためのユーザー関与オペレーションをコントロールするモデルを含むロボット装置に関する。モデルは、例えば、ロボットのセンサーを介して受け取った情報及び／又は学習したデータ、といった種々の刺激から判断された現在の状況に基づいて自律タスク状態から関与状態に移行することを含む、オペレーション状態をコントロールする。ロボットはユーザーに関与しようとし、ユーザーはロボットに関与しようとする。もしくは、ユーザーとロボットは偶然に出会い、どちらも関与を始めようと試みる。

Description

ここにおいて記述される種々の態様は、ロボットデバイスの技術に関する。ロボットのタスク関連のオペレーションおよびロボットと相互作用するためのユーザー関与オペレーションをコントロールするマルチ状態から成る相互作用モデルを含むロボットデバイスの技術である。

電気製品、自動車、コンピューター、電話、ハンドヘルドデバイスといったような人間のためにデザインされたデバイスと相互作用を始めることは、一つまたはそれ以上の明確なユーザーの物理的な行為に依存している。最初に触ること、または手による接触である。例えば、電子レンジは誰かがキーパッドを押すのを待っており、コンピューターは誰かがマウスを動かすかキーを押すのを待っており、携帯電話は誰かが画面かボタンに触れるのを待っている、といったことである。こうしたデバイスは、ユーザーが明確で物理的な行動を（直接的にまたはリモコンを通じて間接的に）とる場合にユーザーと関与し、ユーザーの物理的な行為が相互作用を支配する。

対照的に、消費者用ロボット（感覚覚醒、コンピューター知能、および移動性の組み合わせから構成されている）は、人間との相互作用について全く異なる様子を示している。一つの例として、明確で物理的な接触は、一般的には、ロボットとの関与を始めるための最善の方法ではない。代わりに、例えば、言葉またはジェスチャーを含むコミュニケーションを介して、どちらの当事者も他方の当事者との関与を始めるか、または関与しないことができる。例として、ロボットは、メッセージを伝えたり、質問をしたり、または情報を提供するために、特定の人間を捜し、認識し、物理的に近づいて関与することができる。関与するための直接的な相互作用は必ずしも必要ではないことに留意すべきである。例えば、ユーザーはロボットからの支援を必要として、それを別の部屋から命じることができる。

従来の電気デバイスとの別の重要な違いは、ロボットは、しばしば固定された位置で待ってはいないことである。ロボットは、むしろ、空間（例えば、家の中）を移動してまわり、ユーザー、所有者、家族、訪問者、またはお客様のためにタスクをこなしたり、空間を自律的に探検したり、通常でない出来事を記録して報告したり、ロボット自身で「楽しんだり」さえもする。ロボットと人間との間の単なる接近は、必ずしも関与に対応するものではない。両当事者（ロボットと人間）は、いつでも独立したタスクに従事しているからである。例えば、両者は、関連のない分離したタスクに互いに集中して、廊下をお互いに通り過ぎることもある。両当事者が関与することができるとしても、関与は必要とされない。しかしながら、偶然にすれ違う際に（例えば、廊下で）、一方の当事者が、他方に対して依頼するかもしれない。

さらに、人間とロボットが関与する場合に、どちらの当事者も状況に応じて様々な理由によって関与しないこともできる。例えば、ロボットは以前に計画されたタスクを開始することの許可を求めるかもしれないし、人間は別の会話によって邪魔されるかもしれない。

本概要は、以降の詳細な説明でより詳しく記述される本発明の概念について、簡素化された形式において代表的な概念の選択を紹介するものである。本概要は、特許請求された技術的事項の主要な特徴または本質的な特徴を特定することを意図するものではない。また、特許請求された技術的事項の範囲を限定するいかなる方法においても使用されることを意図するものではない。簡潔には、ここにおいて記述される種々の態様は、ロボットデバイスの技術に関する。ロボットのタスク関連オペレーションおよびロボットと相互作用するためのユーザーとの関与オペレーションをコントロールするマルチ状態（例えば、関与、ユーザー指向、自分指向、休憩）から成る相互作用モデルを含むロボットデバイスの技術である。

モデルは、オペレーション状態に関してロボットデバイスのオペレーションをコントロールする。それは、ロボットがタスクを実行する自律タスク状態から、ロボットがユーザーと相互作用する関与状態へ移行することを含んでおり、その逆もまた同様である。モデルは、ロボットのセンサーを介して受け取った情報を含む現在の状況に基づいて、いつ移行するかを判断する。ロボットはユーザーと関与しようとし、ユーザーがロボットと関与しようとし、または、ユーザーとロボットが偶然に出会い、いずれかが関与を始めようと試みるかもしれない。

一つの態様では、ロボットは、モデルを介して自律タスク状態において動作する。自律タスク状態は、ユーザー入力に基づいてユーザータスクを実行するユーザー指向モードと、ロボットがユーザー入力に基づかないタスクを実行する自分指向モードを含んでいる。ロボットは、休憩モードに居ることもあり、タスク関連のトリガーイベントが生じるか、またはユーザーとの関与の必要性を検知すると、休憩モードを抜け出す。オーダーの優先度レベルは、関与状態にいるロボットを自律状態の上に位置付け（ユーザー指向モード）、次に、自律状態の上であり（自分指向モード）、次に、休憩モードの上に位置付ける。

別の態様では、ロボットは、関与状態に入り、異なるオペレーションをする。複数の刺激に基づいて関与モードへの移行が生じている。刺激の例としては、リモートプロキシー（ｐｒｏｘｙ）コミュニケーション、音響データ（例えば、ロボットの名前に関するスピーチ）、または、ユーザーに対応する動作の検知、がある。

ロボットは、ユーザーに向かって動くこと、または、ユーザーに向けた音響的及び／又は視覚的なデータを出力することによって関与を開始することができる。ユーザーと関与する試みは、ユーザーとの以前の関与履歴に基づいて適用され得る。例えば、関与の試みのために決められた頻度に達するまで待つことによって、あまりに頻繁には関与の試みを行わない。

他の有利な点は、図面と併せて、以降の詳細な記述から明らかになるだろう。

本発明は、例示として説明されるものであり、添付の図面に限定されるものではない。図面での類似の参照番号は、類似のエレメントを示している。
図１は、ロボットデバイスの実施例を表すブロックダイヤグラムである。ロボットデバイスのコンピューター知能システムは、ロボットデバイスのオペレーション状態を決定するモデルを含んでいる。 図２は、ロボットデバイスの入力様式、出力様式、およびオペレーション状態に係る実施例を表している。 図３は、ロボットデバイスの状態および状態間の移行を表す状態図である。 図４は、ここにおいて説明される種々の実施例に係る一つまたはそれ以上の態様が実行される典型的な制限のないコンピューターシステムまたはオペレーション環境を表すブロックダイヤグラムである。

ここにおいて説明される技術の種々の態様は、一般的には人間（または「ユーザー」）とロボットの相互作用モデルを含むロボットデバイスに関する。モデルは、自然で、適切で、役に立ち、そして楽しい相互作用を促進する方法でロボットの相互作用の振る舞いをコントロールするマルチ状態（例えば、関与、ユーザー指向、自分指向、休憩）から成る。一つの態様において、モデルは、非関与状態と関与状態との間の移行、ロボットまたは人間による開始の方法、そして、状況の意識及びこれらの移行を管理するセンサー能力の使用、を支配する。モデルは、ロボットがどのように感覚覚醒を利用して関与能力を調停するのかといった、他のロボットの振る舞いを定めることもできる。

ここにおけるあらゆる実施例は本発明を限定するものではないことが理解されるべきである。例えば、ここにおいて種々のモデル及びそうしたものが例として使用されるが、例示されたもの以外の他のモデルも使用することができる。このように、本発明は、ここにおいて説明される、あらゆる特定の実施、態様、概念、構成、機能、または例示に限定されるものではない。むしろ、ここにおいて説明される、あらゆる特定の実施、態様、概念、構成、機能、または例示は、非限定的なものであり、本発明は、全般的にロボット技術において利益と利点を提供する種々の手段で利用され得る。

図１は、移動（駆動）メカニズム１０４によって移動性を有するように構成されたロボット装置１０２の実施例に係るブロックを示している。コンピューター知能システム１０６が、好適なインストラクションによって移動メカニズム１０４を駆動する。このことはロボット装置１０２に対して移動性を提供し、それによりコンピューター知能システム１０６からのインストラクションに基づいて、コンピューター知能システム１０６が移動することができる。

一般的に、ロボット１０２は、現在状態データまたは類似のものを示すための一つまたはそれ以上の信号をコンピューター知能システム１０６に提供する一つまたはそれ以上のセンサーを含むセンサーセットを含んでいる。環境データ、時刻、曜日、現在位置、充電残量、認識された近くの人々、といったようなデータである。この状態データは、ロボットのスケジュール、履歴データ（例えば、適合され学習された知識）というような他の維持されるデータと一緒に現在状況を構成する。

センサーセット１０８は、あらゆる機械的、電気的、光学的、及び／又は、磁気的なセンサーを含み、それぞれがロボット１０２上でセンサーのために好適な場所に配置される。例えば、所定の視野角を得るために高い場所に取り付けられる。センサーセット１０８は、一つまたはそれ以上のカメラを含み、コンピューター知能システム１０６は、それによって所定の人の物理的な存在、注視方向、手のジェスチャー、といったものを検知することができる。ロボット１０２は、また、装置バッテリー１０９（または、他の好適なポータブル電源）を含んでいる。

コンピューター知能システム１０６は、プロセッサ１１０、メモリー１１２、そしてインターフェイス１１４を含んでいる。以下に述べるように、インターフェイス１１４は、ロボット１０２が、種々のタイプの入力と出力を介して通信できるように構成されている。同様に、以下に述べるように、コンピューター知能システム１０６は、ユーザー（人間）との相互作用モデル１２０も含んでいる。

図２は、ロボットと通信するためのメカニズムの実施例を示しており、一つまたはそれ以上のロボット入力メカニズム２２０とロボット出力メカニズム２２２を含んでいる。図２に示されるように、リモートコントロール受信器２２４を含んでいる。特には、他の部屋といった離れた場所から、リモートコントロールのプロキシー（ｐｒｏｘｙ）ユーザーコマンドを受け取るためのものである。リモートコントロール入力の一つのタイプは、「ペンダント（“ｐｅｎｄａｎｔ）」入力として言及されることに留意すべきである。ユーザーは、リモートコントロールの一つの実施例において、そうしたリモートコントロールを身に付け得るからである。ロボットも、また、あらゆる有線（物理的に接続される場合）または無線装置からのリモートコントロールコマンドを受け取ることができる。例えば、ユーザーは、インターネット上で、パーソナルコンピューターを介して、というようにロボットと通信することができる。

別のタイプの入力はスピーチ（ｓｐｅｅｃｈ）であり、ロボットはスピーチ認識器２２５によって処理を行う。ビデオカメラまたは深さセンサーによって獲得されるような画像入力は、他のタイプの入力である。顔認識技術、位置検知、注視検知、視線軌跡、姿勢検知／認識技術、スケルタルトラック（ｓｋｅｌｅｔａｌ ｔｒａｃｋｉｎｇ）といったものであり、図２で画像認識器（ブロック２２６）によって示されている。画像／獲得された画像のシーケンスは例示に過ぎず、従来の画像またはビデオである必要はないことに留意すべきである。例えば、赤外線、動作、深さセンサーといったものは、好適なカメラまたは類似のセンサーによって全て獲得され、検知される。

図２には、また、ブロック２２７によって検知された画像とスピーチ入力が示されている。これはジェスチャーと結合したスピーチを示しており、異なる意味をもつものである（例えば、適切な手のジェスチャーを伴なった「動け」という話し言葉は、ロボットに対して動くのと同様に、左または右といった、どちらの方向に動くのかを命令するために利用され得る）。他のタイプの入力も結合され得る。例えば、ロボットに話しかける際にロボットを見ているユーザーは、ロボットから視線をそらしているユーザー（例えば、ロボットに対して全く話しかけていないユーザー）とは異なった理解をされ得る。

他のタイプの入力は、好適なセンサーによって感知されたものとして受け取られる。例えば、接触、匂い、温度、湿度、ユーザーの生体データ、といったものである。ブロック２２８は、あらゆるこうした他の入力メカニズム、及び／又は、センサーを表している。

ロボットは、一つまたはそれ以上の種々の出力メカニズム２２２を介して情報を出力することができ、図２に示されたいくつか、または全てを含んでいる。体の動作２３０、姿勢／注視２３１、視覚的表現２３２（例えば、「目」のまばたきのような動画）、音響２３０、そして表示２３４（スクリーンまたはプロジェクターといった表示装置を介して表すことのできる、グラフィカルユーザーインターフェイス、画像、といったようなもの）を介するものを含んでいる。振動や匂いといった他の出力は、ブロック２３５によって表されている。ロボットは、一つまたはそれ以上の出力メカニズム２２２を使用して、あらゆる状態において、気分、一般的な状況、タスク状況、といったものを示すことができる。

示された出力メカニズム２２は、一般的には人間のユーザーと通信することを目指していることに留意すべきである。しかしながら、別のタイプの出力は、別のロボット、コンピューター、電話、家電、といったような電子デバイスに対して向けられ得る。これらのデバイスは、例えば、有線または無線のラジオ信号、もしくは音響サンプルを介して、通信することができる。さらに、ロボットは、ペット、無生物（例えば、ゲームコンソール）等といった他のエンティティー（ｅｎｔｉｔｙ）と同様に、他のロボットと相互作用することもできる。このように、人間（ｈｕｍａｎ）は、こうした他のエンティティーと同様に、ここにおいては「ユーザー」として参照される（しかし、人間は最も典型的なユーザーであるため、ここにおいて「人間」は「ユーザー」と互いに交換可能なものとして使用される）。

図２は、また、いくつかのオペレーティング状態２４０−２４４の例を示している。ロボットは、いつでもそうした状態に居り、入力と出力メカニズム２２０と２２２がロボット−ユーザーの相互作用のために使用されている関与状態２４２を含んでいる。代表的な状態２４０−２４０が以下に説明されるが、一つまたはそれ以上の他の状態もあり得ること、および、こうした状態は結合され得ることが理解されるべきである（例えば、別の実施例では、ロボットは、一方で休憩状態に居ながら、ユーザー指向のタスクのある部分を実行している）。以下の表は、状態の例をまとめたものである。

以下に説明されるように、ロボットには、上記の表に示された状態の明確な優先順位がある。より高い優先順位の状態は、より低い優先順位の状態をインターラプト（ｉｎｔｅｒｒｕｐｔ）することができ、関与（関与状態への移行）は、あらゆる自分指向またはユーザー指向状態をインターラプトできる。

図３は、ロボットの自律オペレーションモード３６０（図２のユーザー指向状態または自分指向状態に対応している）からアプリケーション相互作用モード３６２（図２の関与状態２４２に対応している）への移行を表している。一般的に、また図３に表されるように、ユーザーとの関与を検知（ブロック３６４）して、ロボットは、自律モード３６０からアプリケーション相互作用モード３６２（関与状態）へ移行し、非関与を検知（ブロック３６６）して、ロボットは、アプリケーション相互作用モード３６２から自律モード３６０からへ戻る。図２におけるオフ／使用不可状態２４０および休憩状態２４１といった他の状態は、こうした他の状態に関して以下に説明されることに留意すべきである。例えば、ロボットは、一日の時刻または他のトリガーイベントに基づいて、人間と関与することなく休憩状態２４１から自律モード３６０に移行することができる。

こうした移行からわかるように、ロボットに関して、ユーザーの関与状態と非関与状態を区別する必要がある。区別を付けるために、一般的には状況が重要であることが理解されよう。

ここまで、ユーザープリファレンス、状態データ、位置、エチケット、社会規範、等といった状況ファクターに基づいて非構造環境の中に関与／非関与モデルを含む動的で、マルチ状態の、ユーザー−ロボットの相互作用モデル１２０が説明されてきた。モデルは、関与状態と非関与状態との間の移行、ロボットまたはユーザーのいずれかによる関与および非関与の開始、そして、こうした移行を処理するための状況認識と感覚認識の使用を管理する。モデルは、ロボットの関与有用性を調停するために感覚覚醒をどのように使用するのかを定めている。

より特定的には、どちらの当事者（ユーザーまたはロボット）も、状況に基づいて種々の方法（典型的には、非接触方法）で他の者との関与または非関与を適切に開始できることが必要である。これは、一日の時刻、位置、ユーザーの個性、そして、その時にそれぞれの当事者に必要だと予想されるもの、といったファクターを含んでいる。ロボットは、典型的な集合時間や場所というような、観察／学習された家事のパターンに基づいて、その有用性を最大化することができる。

図２について上述したように、関与を促進するために、ロボットはマルチ状態（例えば、関与、ユーザー指向、自分指向、休憩）を有し、それぞれの状態および状態間の移行における相互作用の範囲を定めている。ロボットがユーザーに関与する場合に、ユーザーは入力を待ち、入力を受け取り、または、入力に対して反応する。関与は、状況の合図に基づいて維持され得る。例えば、ユーザーとロボットが近接していること、ユーザーとロボット間の注視／アイコンタクト（ｅｙｅ ｃｏｎｔａｃｔ）、スピーチのローカル化、及び／又は、継続した相互作用は、非関与に対する関与をコントロールし得る。ユーザーが、スピーチ、動作、または顔認識を使用してロボットと関与している場合に、ユーザーとロボットは、お互いに相互作用領域の中に位置していること（一般的に、音響に対する領域の方向検知ユニットは、動作／顔認識に比べて大きい）に留意すべきである。ユーザーがリモートコントロール（プロキシー）デバイスを使用してロボットと関与している場合には、ユーザーとロボットは、お互いの送信／受信領域の中のどこにでも位置することができる。

以下の実施例は、例えば、スケジュールされたタスクを破棄するといった、ユーザーを巻き込む意思決定のポイントに達したときにはいつでもそのユーザーがロボットの担当をしているというシナリオに向けたものであることに留意すべきである。あるシナリオにおいては、異なるユーザーがロボットと相互作用し、指示（命令）できることに留意する。例えば、最後の命令が有効であるといった、あらゆるコンフリクトがモデル１２０によって解決されるように同位のユーザーが存在し得る。もしくは、ユーザーの階層性が存在し得る。例えば、ユーザーＢは、ユーザーＡのタスク設定をくつがえすことはできないが、タスクをスケジュールしたり、いつロボットがユーザーＢのタスク設定のために利用可能かといった、ステータス（ｓｔａｔｕｓ）情報を見つけ出すように、ロボットと簡潔に関与することができる。別のタイプのユーザーは、非認定／非認証ユーザーであり、ロボットは彼らからの命令を受け入れない。（例えば、認定ユーザーが、ロボットにそうではないと教えるまでは）認識されていない人である。これはアプリケーションに依存するものであり、例えば、パトロールタスクにおいて、ロボットは最高レベルのユーザーとしかコミュニケーションをとることが許されない。さらに、実施例は、モデルの一つの実施に対応している。モデルの代替的な実施は、ロボットの振る舞いを制御する他のルールといったものを有し得る。例示されたモデルのいくつかの態様は、ユーザープレファレンスに従ってユーザーが定義できる（例えば、ルールを破棄する）ものであり得る。

ルールの一つの例として、モデル１２０は、以下を規定する。関与状態にあるとき、ユーザーがロボットにそうさせるという同意がなければ、ロボットは自分指向状態２４４に入れないし、ロボットは、ユーザーからの明確な命令によって休憩状態２４１にだけ入ることができる。低バッテリー状況といった、極限の場合でさえも、関与状態の最中にロボットはユーザーに対して再充電させるように依頼する（または、信号を発する）。

ユーザー指向状態２３４において、ロボットは非関与となり（ブロック３６６）、図３に示されるように、ユーザーのためにタスクを実行するオペレーションの自律モードに入る。この状態には、ユーザーからの明確な命令に応じて、関与状態を介して、または、所定の時間に発生する明確なタスク設定によって、入るものである。ロボットが引き受ける他のタスクで、関与状態にいる最中に（直接的に、またはユーザー定義のスケジュールもしくは他のクライテリアを介して）明確に得られたのではないものは、自分指向状態２４４において実行されるものとして認識される。

ユーザー指向状態２４３の最中に、ロボットは、リクエストされればユーザーと関与するが、ユーザー指向タスクが完了するまではいかなる自分指向タスクにも入らない。結果として、ロボットのメートル地図を改良するように探索するといった、与えられた時間において一般的に発生する自分指向タスクは、ユーザー指向タスク（またはタスク設定）が完了するまで待っている。

一旦ユーザー指向タスク設定が完了すると、ロボットは自分指向状態２４４に移行する。パトロールといった、ユーザーによって実行がスケジュールされたタスクは、ユーザー指向タスクとして実行される。緊急のユーザー指向タスクは、スケジュールされたタスクより優先する。

ロボットが、ユーザー指向状態２４３にいるときに、ユーザーによって関与された場合は、ロボットは、タスク中でビジーであることを示す情報（例えば、会話）を出力する。会話はユーザーに対して、会話を止めて（従って、関与リクエストをキャンセルして）ロボットにタスクを続けさせるか、または、ユーザーが関与を継続できるように現行のユーザー指向タスクもしくはアプリケーションをキャンセルするか（または止めるか）、いずれかを強いる。

自分指向状態において、ロボットは完全に自律的に行動する。この状態において、ロボットは、ロボットが行うことを決めたタスクを実行する。例えば、ロボット内部の家の地図を改良／更新したり、学習した履歴に基づいてユーザーの必要性を見込んでバッテリーを充電したり、といったことを行う。

休憩状態２４１において、ロボットは関与リクエストを待っており、動かない（例えば、ユーザーを捜すために時々回転するといった、関与リクエストの可能な促進を除いて）。ロボットは、休憩状態において再充電しても、しなくてもよい。一般的に、ロボットは、エネルギーを節約し、パーツの消耗を防ぎながら、コミュニケーションのために「聞いている」。例えば、スピーチ、リモートコントロール信号、ビデオ入力というようなものを介してである。休憩状態２４１にいる最中、ユーザーによるあらゆる新たな相互作用が無ければ、ロボットは自分指向状態２４４に移行することができ、ユーザーがスケジュールしたタスクを通じてユーザー指向状態２４３に移行できる。

関与とアトラクション（ａｔｔｒａｃｔｉｏｎ）に話を移すと、関与のタイプがロボットの振る舞いを決定し得る。例えば、ユーザーは、ロボットと関与するためにリモートコントロール（プロキシー）デバイスを使用することができる。リモートコントロールデバイスは、マイクロフォン及び／又はスピーカーを介して音響（例えば、スピーチ）を伝え、カメラ及び／又はディスプレイ装置を通じて視覚的情報を伝える、等を行う。ロボットは、こうして、スピーチを受け取って反応し、命令を示してキーワードのショートカットダイアログ（ｓｈｏｒｔｃｕｔ ｄｉａｌｏｇ）を表示することができる。ロボットは、非活動の持続時間の後で、こうしたリモートでの関与を止める。

キーワードだけの関与においては、その時にロボットが関与していないか、関与のオファーをされていなくても、（例えば、スピーチ認識によって）ロボットは名前をキーワードとして認識する。キーワードだけの関与において、ロボットは、キーワードショートカットダイアログを表示し、キーワードショートカットに対して反応する。ロボットは、また、近接した顔面をスキャンする。以下のことに留意すべきである。一般的に、顔面をスキャンするために、ロボットは、ロボットの視野の全面を効率的にカバーするようなパターンで、全動作範囲において回転し、頭を傾ける。しかしながら、近接した顔面をスキャンするためには、ロボットは、代わって、例えば、音源位置特定を使用して、音源（声）の方向に中心が合わされた視野のある範囲を効率的にカバーするようなパターンで、限定された動作範囲を通じて回転し、頭を傾ければよい。ロボットは、お役ご免になるか、タイムアウト（例えば、３０秒間）して非動作になるまで、キーワードだけの関与に留まる。

ロボットの名前認識に関して、ロボットは、現在の状況に基づいて、異なる認識反応を示し得る。例えば、関与が利用可能な最中、関与をオファーしている最中、関与の最中である。例えば、関与が利用可能な最中、ロボットは、停止し、頭を音源に向かって回転し、近接した顔面をスキャンする。顔面が検知できない場合には、ロボットはスピーチ関与に入り、キーワードショートカットダイアログを表示する。ロボットは、認識イベントを「次に聞こえた音声」ステップとして取り扱い、アトラクション（ａｔｔｒａｃｔｉｏｎ）オペレーションを続ける。例えば、音源に向かって移動し、停止して顔面をスキャンする。顔面が検知されない場合には、タイムアウトになるまで、以前のタスクに戻る。顔面が検知された場合、または、ロボットが関与をオファーしている場合には、ロボットは、以下に説明するように、「近くの」関与オファーとオペレーションの受け容れを進める。

関与をオファーしている最中、ロボットが名前を認識した場合に、ロボットは関与モードに移行する。関与の最中に、ロボットが名前を認識した場合には、アプリケーションの状態にかかわらず、状況に好適なキーワードショートカットダイアログを表示する。

近接関与（ｎｅａｒｂｙ ｅｎｇａｇｅｍｅｎｔ）として参照される関与のタイプにおいて、ロボットとユーザーは相互作用領域（例えば、視認できる領域）に居り、ユーザーはロボットの関与のオファーを受け入れる（または、おそらくその逆も同様である）。ロボットは、お役ご免になるか、タイムアウトして非動作になるまで、近接関与に留まる。ロボットは、同時に、リモートプロキシーデバイス関与およびユーザーとの近さを介した近接関与でもあり得ることに留意すべきである。複数のユーザーが検知されることもあり、その場合、現在の近接のユーザーは、顔面が相互作用領域の中で深度カメラに最も近いと検知されたユーザーであると判断される（任意的に顔面が認識され、及び／又は、任意的に認証される）。ロボットは、相互作用平面、トラック（ｔｒａｃｋ）を創生し、現在のユーザーからのジェスチャーを認識する。

ロボットとユーザーが近接関与である場合には、ロボットは、例えば、ユーザーの手を検知して追跡し、ジェスチャー入力に対して反応する。ロボットは、メニューを表示し、ユーザーの顔面を認識した場合にはユーザー表記（例えば、ユーザーのアバター）を表示する、といったことを行う。ユーザーの顔面が認識されない場合に、ロボットは「わかりません」表記を表示し、関与の全体にわたり顔面認識を試みる。

関与の開始に関して、ロボットが休憩状態に居る場合、ロボットは無差別に関与を捜索するが、創作の範囲とタイプはバッテリーのレベルによる。自分指向状態において、ロボットは、頻繁に、そして定期的に（おそらく、ある程度のランダム性をもって）停止して、無差別に関与を捜索する。ユーザー指向状態において、ロボットは、関与の捜索はしないが、例えば、スピーチ、顔認識、またはリモートプロキシーデバイスを使用して、ユーザーが直接的にリクエストする場合には関与する。

追加的な詳細について話を移すと、近接関与において、ロボットは音響と動作に惹かれ、検知した顔面を認識できるように顔面認識を実行する。ロボットは関与をオファーし、ユーザーは、その関与のオファーを慎重に受け入れ得る。ユーザーが、関与が望まれることを明らかにした場合には、オファーは、余分であり、従って、必要ないものであり得る。しかしながら、以下の説明目的のためには、ロボットが関与をオファーすることが必要であり、ロボットが、検知した全ての顔面と（うっとうしくも）関与することがなく、関与を止めないように、ユーザーはそのオファーを慎重に受け入れる必要がある。

関与を受け入れる例には、注視が含まれている。ユーザーは、しばらくの期間、例えば２秒間、ロボットのカメラを直接的に（例えば、１５度以内）注視するのである。ユーザーが、ロボット越しに見たり、または、横を見たりする場合は、関与が受け入れられたとは捉えられない。ユーザーがロボットを見る、ユーザー焦点注意状態（ｕｓｅｒ−ｆｏｃｕｓｅｄ ａｔｔｅｎｔｉｏｎ ｓｔａｔｅ）に居る場合に、ロボットは、周囲注意状態（ａｍｂｉｅｎｔ ａｔｔｅｎｔｉｏｎ ｓｔａｔｅ）と比べて異なって動作し得る。別の例としては、ユーザーがロボットの名前を話す（そして、ロボットがそれを認識する）場合である。ジェスチャーも、また、関与の受け入れとして検知され、使用される。例えば、ユーザーは「エアータッチ（ａｉｒ ｔｏｕｃｈ）」平面を通じて手を前に伸ばすか、ユーザーは別の所定のジェスチャーを行う。ユーザーの顎とロボットとの間で前後に手を揺らすといったようなものである。

ロボット上で実行されるいくつかのアプリケーションは、あらゆるユーザー、または所定のユーザーとの関与を先読み的に開始し得る。そうした場合、アプリケーションは無差別に人々を捜し、顔面をスキャンする。顔面が検知された場合に、アプリケーションは関与のオファーを行う。

関与プロセスは、望ましくない振る舞いを結果として生じることがある。ユーザーの気分を害するといったことである。関与の問題を軽減するために、ロボットは、他の判断を適合させ、または成すことができる。例えば、ロボットが、人間でないもの（頭の形状を有していない音源）からの継続的な音声、及び／又は、ＲＧＢ動作を検知した場合に、ロボットは、音源の位置を「メディアプレーヤー」としてマーク（ｍａｒｋ）し、その位置における音声、動作、そして顔面を無視する。ロボットは、関与を後退させることもできる。例えば、ロボットがある位置で頻繁に関与のオファーを行い、どれも受け入れられない場合には、ロボットは、その場所での、または所定のユーザーに対するオファーの頻度を一時的に減少させる。ロボットは、こうした要因を、頻度を調整するために伝えられるべき緊急なメッセージであると捉えることができる。ロボットは、別の人を検知して、代わりに、その人との関与を試みることもあり得る。ロボットは、ときどき他のユーザーの前に一人のユーザーに行って、適合することがある。その逆も、同様である。

別の態様について話を移す。ロボットに対してユーザーの顔面が失われた場合であって、ユーザーがロボットの視野領域（フレーム）を出て行き、ユーザーが関与の継続を望む場合にしばらくして戻ってくることを仮定している。しかしながら、ユーザーは不注意でフレームを出て行ったものの、いまだに相互作用を望むことがある。ロボットは、関与の場合には追跡行為ができ、従って、このことはユーザーが相互作用領域の外側に行くか、ロボットが追跡できないほど早く動く場合にだけ起こり得るものである。このように、ユーザーが出て行ってしまったものと捉える前に、持続時間（例えば、３秒間）が使用される。例えば、ユーザーが戻るのを助けるためにカメラを同じ場所に置いておき、その後ロボットは標準的な関与以前の状態へ戻る。類似の状況は、ユーザーがロボットから歩いて離れて行き、これ以上の相互作用を望まない場合である。この場合、ロボットは、例えば、数秒後に、タスクを再開する。

従って、ロボットがユーザー顔面の視界を失った場合に、ロボットは、多くのユーザーが容易に見つけられるようにカメラの角度をリセットする。そして、ロボットは、関与状態をスイッチアウトする前に、非動作のタイムアウトになるまで待つ。

自律的な関与の振る舞いは、ロボットが役に立ち、相互作用できる必要があることに基づいており、部分的にユーザーを捜して近づいて行くことによって部分的に達成される。ロボットが自分指向状態または休憩状態に居る場合には、ロボットは、周囲を観察し、人々を捜す。例えば、ロボットは、検知を最適化するために関連するセンサーを回転させ得る。ロボットが人を検知した場合に、ロボットは関与をオファーする。ユーザーが関与領域の外側に居る場合には、ロボットはユーザーに向かって進み、関与領域の中に来た場合に、関与をオファーする。

典型的なコンピューターデバイス

上述のように、ここにおいて説明された技術は、有利なことに、あらゆるデバイスに適用することができる。従って、ハンドヘルド、ポータブル、そして他の全ての種類のコンピューターデバイスやコンピューターオブジェクトが、種々の実施例と関連して使用できるように熟考されることが理解できるだろう。例えば、以降の図４に記載される汎用のリモートコンピューターは、むしろ、ロボット装置のためのハードウェアや基本的なソフトウェアのプラットフォームの大部分を形成し得るコンピューターデバイスの一つの例である。

実施例は、デバイスまたはオブジェクトのためのサービスの開発者による使用のために、オペレーティングシステムによって部分的に実施され得るし、及び／又は、ここにおいて説明される種々の実施例に係る一つまたはそれ以上の機能的な態様を実行するように動作するアプリケーションソフトウェアの中に含まれている。ソフトウェアは、クライアントワークステーション、サーバー、または他のデバイスといった、一つまたはそれ以上のコンピューターによって実行されるプログラムモジュールのような、コンピューターで実行可能なインストラクションの一般的な文脈において記載され得る。当業者であれば、コンピューターシステムは、データ通信のために使用することができる種々の構成およびプロトコルを有すること、そして、従って、いずれの特定の構成やプロトコルも限定的であると捉えられるものではないことが理解されよう。

図４は、このように、好適なコンピューターシステム環境４００の実施例を説明しており、ここにおいて記載された実施例の一つの態様が実施され得る。上記で明らかにされたのだが、コンピューターシステム環境４００は、好適なコンピューター環境の単なる一つの実施例に過ぎず、利用性または機能性の範囲に関していなかる限定を示唆することも意図していない。加えて、コンピューターシステム環境４００は、典型的なコンピューターシステム環境４００において説明された一つのコンポーネントまたはその組み合わせに関して、いかなる依存性も有さないように説明されることを意図している。

図４に関して、一つまたはそれ以上の実施例を実行するための典型的なリモートデバイスは、コンピューター４１０の形式における汎用コンピューターデバイスを含んでいる。コンピューター４１０のコンポーネントは、これらに限定されるわけではないが、処理ユニット４２０、システムメモリー４１０、そしてシステムメモリーを含む種々のシステムコンポーネントを処理ユニット４２０に接続するシステムバス４２２、を含み得る。

コンピューター４１０は、典型的には、種々のコンピューターで読み取り可能な媒体を含み、コンピューター４１０によってアクセスできるあらゆる利用可能な媒体を使用できる。システムメモリー４３０は、リードオンリーメモリー（ＲＯＭ）、及び／又は、ランダムアクセスメモリー（ＲＡＭ）といった、揮発性、及び／又は、不揮発性メモリーの形式でのコンピューター記録媒体を含み得る。例として、限定ではなく、システムメモリー４３０は、また、オペレーティングシステム、アプリケーションプログラム、他のプログラムモジュール、そしてプログラムデータを含み得る。

ユーザーは、入力デバイス４４０を通じて、コンピューター４１０の中に命令や情報を入れることができる。モニターまたは他のタイプの表示装置が、また、出力インターフェイス４５０といった、インターフェイスを介してシステムバス４２２に接続されている。モニターに加えて、コンピューターは、また、スピーカーまたはプリンターといった他の周辺出力デバイスも含み、出力インターフェイス４５０を通じて接続され得る。

コンピューター４１０は、ネットワークにおいて、または、リモートコンピューター４７０といった、一つまたはそれ以上の他のリモートコンピューターとのロジカルな接続を利用した分散環境において、動作し得る。リモートコンピューター４７０は、パーソナルコンピューター、サーバー、ルーター、ネットワークＰＣ、ピア（ｐｅｅｒ）デバイス、または、他の共通ネットワークノード、または、他のあらゆるリモートメディアコンサンプション（ｍｅｄｉａ ｃｏｎｓｕｍｐｔｉｏｎ）または伝送デバイスであり得るし、コンピューター４１０に関して上述されたいくつか又は全てのエレメントを含んでもよい。図４に示されたロジカルコネクションは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）といったネットワーク４７２を含み、また、他のネットワーク／バスを含んでもよい。こうしたネットワーク環境は、家庭、オフィス、エンタープライズワイドのコンピューターネットワーク、イントラネット、および、インターネットにおいてはありふれたものである。

上述のように、典型的な実施例が種々のコンピューターデバイスやネットワークアーキテクチャーに関連して説明されてきたが、基本的なコンセプトは、あらゆるネットワークシステムやコンピューターシステム、または、リソース利用効率改善が望ましいシステムに適用することができる。

同様に、同一または類似の機能を実施例るためには多様な方法がある。例えば、好適なＡＰＩ、ツールキット、ドライバーコード、オペレーティグシステム、コントロール、スタンドアロンまたはダウンロード可能なソフトウェアオブジェクト、等で、ここにおいて提供される技術をアプリケーションおよびサービスに利用させるものである。従って、ここにおける実施例は、ＡＰＩ（または他のソフトウェアオブジェクト）の観点から熟考され、ここにおいて説明されるように一つまたはそれ以上の実施例を実行するソフトウェアまたはハードウェアオブジェクトの観点からも同様に熟考される。このように、ここにおいて説明される種々の実施例は、全てがハードウェア、部分的にハードウェアであり部分的にソフトウェアの態様であり得る。全てがソフトウェアである態様も同様である。

ここにおいて使用される用語「典型的な（ｅｘｅｍｐｌａｒｙ）」は、例、事例、または説明としての役割を果たすことを意味する。疑義を避けるためであるが、ここにおいて開示された発明の技術的事項は、こうした実施に限定されるものではない。加えて、ここにおいて「典型的」として説明されたあらゆる態様またはデザインは、他の態様またはデザインよりも望ましい、または有利なものとして解釈される必要はないし、当業者に知られている同等の典型的な構成または技術を排除するものでもない。さらに、用語「含む、有する（ｉｎｃｌｕｄｅ、ｈａｖｅ、ｃｏｎｔａｉｎ）」および他の類似の言葉が使用される限りにおいては、疑義を避けるためであるが、こうした用語は、包括的であることが意図されている。請求項で使用される場合にあらゆる追加的または他のエレメントを排除することのないオープントランジションワード（ｏｐｅｎ ｔｒａｎｓｉｔｉｏｎ ｗｏｒｄ）としての「含む（ｃｏｍｐｒｉｓｉｎｇ）」と類似のやり方である。

述べたように、ここにおいて説明された種々の技術は、ハードウェア、またはソフトウェア、または、適切な場合は両方の組み合わせに関連して実施される。ここにおいて使用されるように、用語「コンポーネント（ｃｏｍｐｏｎｅｎｔ）」、「モジュール（ｍｏｄｕｌｅ）」、「システム（ｓｙｓｔｅｍ）」といったものは、同様に、コンピューター関連エンティティーとして、ハードウェア、ハードウェアとソフトウェアの組み合わせ、ソフトウェア、いずれかとして、または実施におけるソフトウェアとして参照されることを意図するものである。例えば、コンポーネントは、これに限定されるわけではないが、プロセッサ上で実行されるプロセス、プロセッサ、オブジェクト、実行可能、実行スレッド、プログラム、及び／又は、コンピューター、であり得る。説明として、コンピューター上で実行されるアプリケーションとコンピューターの両方が、コンポーネントであり得る。一つまたはそれ以上のコンポーネントが一つのプロセス、及び／又は、実行スレッドの中に存在し得るし、一つのコンポーネントが一つのコンピューターに配置され、及び／又は、２つまたはそれ以上のコンピューター間に配布されてもよい。

上述のシステムは、いくつかのコンポーネント間の相互作用に関して説明されてきた。こうしたシステムおよびコンポーネントは、それらのコンポーネントまたは所定のサブコンポーネント、所定のコンポーネントまたはサブコンポーネントのいくつか、及び／又は、追加的なコンポーネント、を含むことができ、前出のものの種々の置換や組み合わせに従うことが理解されよう。サブコンポーネントは、また、親コンポーネントの中に（階層的に）含まれるよりも、むしろ他のコンポーネントと通信可能に接続されたコンポーネントとして実施され得る。加えて、一つまたはそれ以上のコンポーネントは、一体化した機能を提供するように単一のコンポーネントに組み込まれるか、いくつかの分離されたサブコンポーネントに分割され得ること、および、マネージメント層といった、あらゆる一つまたはそれ以上の中間層は、統合された機能性を提供するために、そうしたサブコンポーネントと通信可能な接続を備え得ること、に留意すべきである。ここにおいて説明されたあらゆるコンポーネントは、また、ここにおいて特定的には記述されていないが当業者には一般的に知られている、一つまたはそれ以上の他のコンポーネントと相互作用することができる。

ここにおいて説明された典型的なシステムの観点においては、説明された発明の技術事項に従って実施され得る方法論は、また、種々の図に係るフローチャートに関しても理解され得る。説明を簡単にする目的のために、方法論が一連のブロックとして示され、説明されている一方で、種々の実施例は、そのブロックの順番に限定されるものではないことが正しく理解されるべきである。いくつかのブロックは、ここにおいて示され説明されたのと、異なる順番で起こり得るし、及び／又は、他のブロックと同時に起こり得る。非連続的な、または、枝分かれしたフローが、フローチャートによって説明されているが、種々の他の枝分かれ、フローパス（ｐａｔｈ）、そして、ブロックの順番が実施され、同一または類似の結果に達し得ることが理解されよう。さらに、いくつかの図示されたブロックは、以降に説明される方法論の実施においては任意的なものである。

結論
本発明は、種々の変形と代替的な構成がされやすいが、特定の図示された実施例が図面で示され、その詳細が上述されてきた。しかしながら、本発明を開示された特定の形態に限定する意図は無く、反対に、本発明の趣旨および範囲内にある全ての変形、代替的な構成、そして、均等物をカバーする意図であることが、理解されるべきである。

ここにおいて説明された種々の実施例に加えて、本発明の趣旨から逸脱することなく実施例に対応する同一または均等の機能を実行するために、他の類似の実施例が利用され、または、説明された実施例に対して変形や追加をすることができることが理解されるべきである。さらに、マルチプロセッサチップ、または、マルチデバイスは、ここにおいて説明された一つまたはそれ以上の機能に係る性能をシェア（ｓｈａｒｅ）することができる。そして、同様に、データ記憶も、複数のデバイスに渡って有効であり得る。従って、本発明は、あらゆる一つの実施例に限定されるものではなく、むしろ、添付の請求項に関する広さ、趣旨、そして範囲にあるものと解釈されるべきである。

Claims (10)

1. コンピューター環境におけるロボット装置であって：
   前記ロボット装置に対して情報を入力するセンサーセットと；
   ユーザーとコミュニケーションをとるための一つまたはそれ以上の出力様式を有する出力メカニズムと；
   オペレーション状態に関して前記ロボット装置のオペレーションを制御するように構成されたモデルと、を含み、
   前記状態は、前記ロボットが、直接的なユーザー入力から独立したタスクを実行する自律タスク状態と、前記ロボットが、前記センサーセットと前記出力メカニズムを介して、前記ユーザーと相互作用する関与状態と、を含み、
   前記モデルは、前記センサーセットを介して受け取った情報を含む、現在の状況に基づいて、前記自律タスク状態から前記関与状態へいつ移行するか、および、前記関与状態から前記自律タスク状態へいつ移行するか、を判断するように構成されている、
   ことを特徴とするロボット装置。
2. 前記自律タスク状態は、前記ロボットがユーザー入力に基づいた一つまたはそれ以上のユーザータスクを含むタスクセットを実行するユーザー指向モードと、前記ロボットがユーザー入力に基づかない一つまたはそれ以上のタスクを実行する自分指向モードと、
   を含む請求項１に記載のロボット装置。
3. 前記ロボット装置は、さらに、
   休憩状態を含み、
   前記モデルは、前記自律タスク状態においては、
   前記関与状態が前記ユーザー指向モードよりも高い優先度レベルを有し、
   前記ユーザー指向モードが前記自分指向モードよりも高い優先度レベルを有し、かつ、
   前記自分指向モードが前記休憩状態よりも高い優先度レベルを有する、
   という優先度レベルの順番に従って、前記ロボット装置の前記オペレーションをコントロールする、
   請求項２に記載のロボット装置。
4. 前記モデルは、
   前記ロボットが、前記ユーザーと関与する試みを開始して成功した場合に、
   前記ロボットを、前記自律タスク状態から前記関与状態に移行する、
   請求項１に記載のロボット装置。
5. 前記モデルは、
   前記ロボットが、前記ユーザーを偶然の出会いによって検知し、前記ロボットが、さらに、前記ユーザーはロボットと相互作用することにおそらく興味があるものと検知した場合に、
   前記ロボットを、前記自律タスク状態から前記関与状態に移行する、
   請求項１に記載のロボット装置。
6. 前記モデルは、
   前記ロボットがタスクを実行している最中に、前記ユーザーが前記ロボットとの関与の試みを開始した場合に、
   前記ロボットを、前記自律タスク状態から前記関与状態に移行し、
   前記関与状態において、前記ロボットは、前記ユーザーとコミュニケーションをとって、前記タスクを再開するか、前記関与状態に留まるかどうかを判断する、
   請求項１に記載のロボット装置。
7. コンピューター環境において、少なくとも一つのプロセッサ上で、少なくとも部分的に実行される方法であって：
   ロボットを自律的にオペレーションさせる一つまたはそれ以上のプログラムを前記ロボットの中で実行するステップと、
   自律タスク状態に居る最中にタスクセットを実行するステップと、
   ユーザーを検知するステップと、
   前記ユーザーとの関与を試みるステップと、を含み、
   前記関与の試みが成功した場合には、前記ユーザーと相互作用するために関与状態に入る、
   ことを特徴とする方法。
8. 前記方法は、さらに、
   関与状態に入るステップと、
   前記ユーザーと相互作用するステップと、
   現在の状態データの変化に基づいて、前記関与状態から離れるステップと、を含む、
   請求項７に記載の方法。
9. コンピューターで実行可能なインストラクションを含む一つまたはそれ以上のコンピューターで読み取り可能な媒体であって：
   前記ロボットが独立してタスクを実行する自律タスク状態に係る自分指向モードにおけるオペレーションを含んで、前記ロボットを自律的にオペレーションさせるように、ロボットの中で一つまたはそれ以上のプログラムを実行するステップと；
   ユーザーからの以前の入力およびトリガーイベントの検知に基づいて前記ロボットがユーザータスクを実行する自律タスク状態に係るユーザー指向モードにおいて、オペレーションするステップと；
   ユーザータスクを完了するステップと；および
   前記自律タスク状態から関与状態への移行、前記関与状態における他のユーザータスクに対応する情報の受け取り、そして、前記他のユーザータスクを実行するための前記自律タスク状態への移行、を含み、前記ロボットが別のユーザータスクを実行する前記ユーザー指向モードの別の事例において、オペレーションするステップと；
   を、実行することを特徴とするコンピューターで読み取り可能な媒体。
10. 前記一つまたはそれ以上のコンピューターで読み取り可能な媒体は、さらに、
    現在の状況を判断するために入力データを検知するステップを含み、
    前記トリガーイベントは、前記現在の状況に対応する情報に基づいている、
    請求項９に記載のコンピューターで読み取り可能な媒体。

Images