JP2020049648A - 社会的合図をプログラム的に解釈するように構成された対話型自律ロボット - Google Patents

Abstract

【課題】テーマパーク等の社会環境における展開に適するように、より効果的に設計された自律ロボットを提供する。【解決手段】対話型自律ロボットが、社会環境における展開に適するように構成されている。開示されたロボットは、ロボットの状況に応じて、キャラクターとしての様々な行動を選択するショーサブシステムを備え、それによって、技術的な故障が発生しても、ロボットをキャラクターとして見せることができる。開示したロボットは、セーフティプロトコルを実行する必要があるとき、キャラクターとしての行動に介入するように構成されたセーフティサブシステムを更に備えている。開示したロボットは、人間の社会的行動を解釈し、それに応じて特定の行動シーケンスを開始する、ソーシャルサブシステムも備えて構成されている。【選択図】 図１９

Description

関連技術の相互参照

本願は、「Ｉｎｔｅｒａｃｔｉｖｅ Ａｕｔｏｎｏｍｏｕｓ Ｒｏｂｏｔ Ｃｏｎｆｉｇｕｒｅｄ ｆｏｒ Ｄｅｐｌｏｙｍｅｎｔ Ｗｉｔｈｉｎ ａ Ｓｏｃｉａｌ Ｅｎｖｉｒｏｎｍｅｎｔ」と題する、２０１８年９月２６日出願の米国仮特許出願第６２／７３７，０６７号の優先権を主張するものである。本関連出願の主題が、参照により本明細書に組み込まれる。

様々な実施形態は、概して、ロボット工学に関し、より具体的には、社会的合図をプログラム的に解釈するように構成された、対話型自律ロボットに関するものである。

一般的なテーマパークは、来場者に対し様々な種類のアトラクションを提供する。例えば、所与のテーマパークは、乗り物、定期公演、テーマパークキャラクターとの相互作用体験、水遊び場、ビデオゲームアーケード等を含むことができる。これ等の様々なアトラクションのそれぞれには、一般に、パーク全体に関連する１つ以上の包括的なテーマに何らかの形で関連するテーマ要素を含んでいる。例えば、映画の特定のグループに関連付けられたテーマパークは、それ等の映画の１つ以上において見られるキャラクターに由来する、テーマパークキャラクターを採用することができる。

テーマパークキャラクターは、例えば、事前にプログラムされた固定式アニマトロニクスや遠隔制御される移動ロボット等、幾つかの異なる手法を用いて実現することができる。これ等のいずれの手法においても、テーマパークキャラクターの基本的な目標は、キャラクターと来場者との個人向けの相互作用的な体験を来場者に提供することである。キャラクターと来場者との体験は、テーマパークの包括的なテーマへの没入感を高めるため、かかる経験は来場者の満足度の観点から重要である。例えば、ほとんどの子供は、非常に喜んで、お気に入りのアニメ映画に由来するテーマパークキャラクターと関わり合うであろう。

自律ロボットによって、テーマパークキャラクターを実現する試みが幾つかなされている。これらの自律ロボットは、理想的な状況下において、テーマパーク内を自由に散策し、来場者と自律的に相互作用する必要がある。加えて、かかるロボットは、理想的には、ロボットが表現しようとしている、キャラクターの行動を忠実に示す方法で動作する必要がある。しかし、実際には、様々な技術的な理由によって、この手法は従来の自律ロボットでは実現することができない。

第１に、従来の自律ロボットは、しばしば「キャラクターとして」動作することができず、従って、これ等のロボットが表現しようとしているキャラクターの期待される行動を忠実に再現することができない。その結果、これ等のロボットのキャラクターと来場者との経験は、ぎこちなく不満足なものになり得る。この特別な問題は、所与のロボットに技術的な問題がある場合深刻になる、何故なら、技術的な問題によってロボットがキャラクターのすべての行動を突然中止することが多く、来場者を動揺させる可能性があるためである。第２に、従来の自律ロボットは、通常、産業用に構築され、社会的展開を目的としたものではないため、来場者との安全な相互作用を確保するために必要な、必須のセーフティプロトコルがない。例えば、一般的な産業用の自律ロボットの重量は３００ポンド（約１３６キログラム）以上である。かかるロボットが、誤って来場者と衝突した場合、来場者が重傷を負う可能性がある。このため、従来の自律ロボットは、一般に、テーマパークの環境内における展開には適していない。第３に、従来の自律ロボットは、人間に関連する様々な社会的行動を認識するように設計されていないため、テーマパークの来場者と完全に非現実的な方法でやり取りする可能性がある。例えば、従来の自律ロボットは、ロボットの隣を歩いている人が、ロボットと社会的に関わりたいと望んでいる可能性が高いことを理解することはできない。かかる状況において、従来の自律ロボットは、障害物回避プロトコルを開始し、人から離れて移動するため、その人にとって満足が得られると思われるキャラクターと来場者との経験を台無しにする可能性がある。

一般的な問題として、従来の自律ロボットは、テーマパーク環境における展開には適していない、何故なら、かかるロボットは、キャラクターを正確に表現することができず、かかる環境に対して十分に安全に設計されておらず、有意義な社会的相互作用を可能にする人間の行動を十分に理解することができないからである。

前述のように、当技術分野において必要とされているのは、テーマパーク等の社会環境における展開に適するように、より効果的に設計された自律ロボットである。

様々な実施形態は、動作中、ロボットを社会的相互作用にうまく対応させるコンピュータ実装方法を含み、本方法は、ロボットが演技に関連する第１の動作セットに含まれている１つ以上の動作を実行している間に、センサーデータを分析するステップと、センサーデータに基づいて、ロボットに対する第１の社会的相互作用の発生を示す、第１の社会的合図を識別するステップと、及び第１の社会的合図の識別に応答して、第１の社会的相互作用に対応する、第２の動作セットに含まれている第２の動作をロボットに実行させるステップとを含んでいる。

開示した技術の少なくとも１つの利点は、ロボットがキャラクターに留まりながら、多くの潜在的に困難な社会的状況を識別してそれに応答することができ、ロボットが所与のキャラクターをどれだけうまく表現できるかということに関し、更に向上させることができることである。

様々な実施形態の前述の特徴を詳細に理解できるように、前述において簡単に要約した、本発明の概念のより具体的な説明は、その一部を添付図面に示す様々な実施形態を参照することによって得ることができる。しかし、添付図面は、本発明の概念の代表的な実施形態のみを示しており、範囲を限定するものと見なされるべきではなく、他の同等に有効な実施形態があることに留意されたい。
様々な実施形態の１つ以上の態様を実現するように構成されたシステムを示す図。 様々な実施形態による、図１の自律ロボットを更に詳細に示す図。 様々な実施形態による、図１の自律ロボットの本体及びアームに含まれている様々なサブシステムを更に詳細に示す図。 様々な実施形態による、図１の自律ロボットのコア及びベースに含まれている様々なサブシステムを更に詳細に示す図 様々な実施形態による、図１の自律ロボットが、ショー要素との相互作用をどのように実行するかを示す図。 様々な実施形態による、ロボットにショー要素と相互作用させる方法ステップのフローチャート。 様々な実施形態による、様々なロボットの行動が、ロボットシステムの状態にどのように依存するかを示す図。 様々な実施形態による、図１の自律ロボットが、サブシステムの故障中に、キャラクターとしての行動をどのように維持するかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、複数のサブシステムの故障中に、キャラクターとしての行動をどのように維持するかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、サブシステムの故障中に、キャラクターとしての行動をどのように縮小するかについての例を示す図。 様々な実施形態による、使用可能なロボットサブシステムに基づいて、ロボットにキャラクターとしての行動を選択的に実行させる方法ステップのフローチャート。 様々な実施形態による、図１の自律ロボットが、衝突を防止しながら、どのようにしてキャラクターに留まるかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、衝突を防止しながら、どのようにしてキャラクターに留まるかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、衝突を防止するために、どのようにしてキャラクターを一時的に中止するかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、衝突を防止するために、どのようにしてキャラクターを一時的に中止するかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、サブシステムの障害に応じて、どのようにしてキャラクターを中止するかについての例を示す図。 様々な実施形態による、図１の自律ロボットが、サブシステムの障害に応答して、どのようにしてキャラクターを中止するかについての例を示す図。 様々な実施形態による、安全に関わる状況に応じ、自律ロボットの演技活動を調整する方法ステップのフローチャート。 様々な実施形態による、図２の社会的サブシステムをより詳細に示す図。 様々な実施形態による、１人以上のテーマパークの来場者と交流する際に、図１の自律ロボットによって実行される例示的なロジックを示す図。 様々な実施形態による、１人以上のテーマパークの来場者と交流する際に、図１の自律ロボットによって実行される例示的なロジックを示す図。 様々な実施形態による、テーマパークの来場者と交流する際に、図１の自律ロボットによって実行される例示的なロジックを示す図。 様々な実施形態による、ロボットを社会的相互作用に参加させる方法ステップのフローチャート。 様々な実施形態による、図１の自律ロボットが有することができるコンピューティング装置のブロック図。

以下の説明において、様々な実施形態に対してより完全な理解が得られるように、多数の具体的な詳細が記載されている。しかし、本発明の概念は、これらの特定の詳細の１つ以上がなくても実施できることは当業者には明らかであろう。

前述のように、テーマパークキャラクターを自律ロボットで実現して、テーマパーク等の社会環境において展開することは幾つかの理由により不適切である。第１に、従来の自律ロボットは、特に障害状況下において、キャラクターを正確に表現することができない。第２に、従来の自律ロボットには、観衆の近くに配置するのに必要な安全システムがない。第３に、従来の自律ロボットは、一般的な社会行動を理解しないため、ぎこちなく、非現実的に見えることなく、社会的に人々と関わることができない。

これ等の具体的な問題に対処するために、一部の実施形態は、社会環境に展開するように構成された対話型自律ロボットを含んでいる。開示されたロボットは、ロボットの状態に応じ、キャラクターとしての種々の行動から選択されるように構成されたショーサブシステムを備え、それによってロボットに技術的な障害があっても、キャラクターとして見せることができる。開示されたロボットは、セーフティプロトコルを実施する必要がある場合、キャラクターとしての行動に介入するように構成されたセーフティサブシステムを更に備えている。また、開示されたロボットは、人間の社会的行動を解釈し、それに応じて特定の行動シーケンスを開始する社会的サブシステムも備えている。

開示した技術の少なくとも１つの利点は、１つ以上のロボットサブシステムが故障した場合でも、ロボットがキャラクターとして振る舞っているように見せることができることである。従って、キャラクターと来場者との相互作用は、部分的なロボットの故障中に中止する必要がない。もう１つの利点は、ロボットが、キャラクターを中止することなく、多数の安全に関わる状況に対応するように構成され、更にどうしても必要な場合には、キャラクターを中止する能力を保持していることである。更に別の利点は、ロボットがキャラクターに留まりながら、多くの潜在的に困難な社会的状況を識別して対応することができ、ロボットが所与のキャラクターをどれだけうまく表現することができるかということに関し、更に向上させることができることである。本明細書に開示のロボットは、幾つかの具体的な技術的課題に対処しているため、開示した技術は、従来の技術を超える複数の技術的進歩をもたらす。

システム概要
図１は、様々な実施形態の１つ以上の態様を実施するように構成されたシステムを示す図である。図示のように、システム１００は、ネットワーク１４０を介して結合された、ロボット１１０、バックオフィス１２０、及びカメラ１３０を備えている。システム１００は、来場者１５０によって占められるテーマパーク環境に展開されるように構成されている。来場者１５０は、通常、娯楽目標でテーマパークを訪れる個人や家族を含んでいる。ロボット１１０は、社会的な方法で来場者１５０と相互作用するように構成されている。例えば、ロボット１１０は、来場者１５０に近づき、来場者に対し「ご機嫌如何が？」を出力することができる。ロボット１１０は、概して、映画又はテレビシリーズで見られるキャラクター等、物語に由来するキャラクターを表現するために、特定の特性に従って行動する。この様に行動することによって、ロボット１１０は、来場者１５０とのキャラクター−来場者間体験を促進することができる。ロボット１１０は、更にショー要素１６０又は別の自律ロボット１７０と相互作用することによって、様々なルーチンを実行することができる。例えば、ロボット１１０は、ロボット１７０に近づき、ロボット１７０に対し「あなたの身分は？」を出力することができる。かかるルーチンは、一般に、娯楽目標の来場者１５０の前で行われる。

ロボット１１０の動作は、概して、ロボット１１０に内蔵され、以下でより詳細に説明するサブシステムを介して自律的に管理される。加えて、バックオフィス１２０も、ロボット１１０を制御又は指示することができる幾つかのインターフェースを有している。図示のように、バックオフィス１２０は、ロボットインターフェース１２２、ショーインターフェース１２４、及び操作インターフェース１２６を有している。ロボットインターフェース１２２は、ユーザーが、ロボット１１０を遠隔操作することができる制御要素を含んでいる。ショーインターフェース１２４は、ショーのディレクターが、ロボット１１０の様々な演技指向の行動を指示することができる制御要素を含んでいる。操作インターフェース１２６は、特にショー要素１６０を含む、システム１００の他の動作機構を遠隔操作することができる制御要素を含んでいる。前述のインターフェースは、いずれもカメラ１３０を介し、ロボット１１０を監視することができる。

テーマパーク内で展開される場合、ロボット１１０は自律的に機能する。ロボット１１０は、テーマパークを自由に散策し、明示的な指示を受けずに、様々な種類の相互作用に参加することができる。ロボット１１０は、テーマパークを移動する間及び来場者と相互作用する間、キャラクターに留まるように構成されている。本開示において、「キャラクターとして」というフレーズは、ロボッ１１０が実行することができる、既存の架空又は架空ではないキャラクターの行動に概ね一致する行動及び／又は動作の特定のパターンに関して使用される。かかる行動又は動作を「キャラクターとしての行動」又は「キャラクターとしての動作」と呼ぶことができる。

例えば、ロボット１１０が、スターウォーズ映画の有名なプロトコルドロイドであるＣ−３ＰＯを表現するように設計されていると仮定する。「キャラクターとして」行動するためには、ロボット１１０は、英国アクセントで、Ｃ−３ＰＯに関連するフレーズを話すことができなければならない。１つの実施形態において、ロボット１１０は、１つ以上のテーマ別パフォーマンス又は「ショー」に関連する、一連のスクリプト化された動作を実行する場合「キャラクターとして」行動し、例えば、セーフティプロトコルを実行する等のために、スクリプト化された動作から逸脱する場合「キャラクターを離脱した」又は「キャラクターを中止した」行動を取る。

ロボット１１０は、外部環境の検知、自律ナビゲーション及び移動の実行、演技に関連する特定の行為の実行、来場者１５０との社会的な相互作用の実行、ショー要素１６０及び／又は他のロボット１７０とのスクリプト化された相互作用の実行、及び他のロボット動作の実行に関連する、様々な機能を実行するように構成された、様々な内部システム（又はサブシステム）を備えている。様々なサブシステム及び関連機能について、図２に関連して以下に詳述する。

図２は、様々な実施形態による、図１の自律ロボットをより詳細に示す図である。図示のように、ロボット１１０は、頭２００、胴体２１０、コア２５０、ベース２７０、及びホイール２８０を含んでいる。頭２００は、頭２００の位置及び向きを移動するように構成されたモーター２０２を有している。

胴体２１０は、モーションコントロール２１２、接触感知２１４、アニメーション２１６、照明コントロール２１８、深度カメラ２２０、ショーサブシステム２２２、パペッターコントロール２２４、オーディオ２２６、停止ボタン２２８、Ｗｉ−Ｆｉ２３０、ネットワーキング２３２、パワーサブシステム２３４、セットピース入出力（Ｉ／Ｏ）２３６、スーパーバイザー２３８、及びバッテリーマネジメント２４０を有している。胴体２１０は、各々が３次元（３Ｄ）ＬＩＤＡＲ２４４を有するアーム２４２に結合されている。前述のサブシステムの一部については、図３に関連して以下に詳述する。

コア２５０は、ローカリゼーション２５２、人感センサー２５４、衝突回避２５６、ナビゲーション２５８、セーフティサブシステム２６０、モーションコントロール２６２、及びソーシャルサブシステム２６４を有している。ベース２７０は、エンコーダー２７２、二次元（２Ｄ）ＬＩＤＡＲ２７４、クリフセンサー２７６、バンパー２７８を有している。これ等の様々なサブシステムの各々は、ロボット１１０内の他のサブシステムのいずれかに結合されるように構成されている。１つの実施形態において、ロボット１１０は、通信を目標として、前述の様々なサブシステムを結合することができる１つ以上の通信バスを含んでいる。前述のサブシステムの一部については、図４に関連して以下に詳述する。

動作において、ロボット１１０内の様々なサブシステムが相互運用して、特定のキャラクターとしての行動、システム／サブシステムの故障を軽減することを目標とした行動、及び衝突や他の事故を防止するように設計された安全行動を含む、キャラクターを中止する特定の行動を実行する。公称動作状況下において、ロボット１１０は、状況が許すとき、ロボット１１０が従うべき特定の行動シーケンスを含む一連のスクリプトに従って動作する。例えば、所与の行動シーケンスは、ロボット１１０が特定の目的地に向かってナビゲートし、到着時にスクリプト化された対話の一部を出力する必要があることを示すことができる。所与の行動シーケンスは、ロボット１１０に一連の動作を実行させる特定の合図によって調整することができる。例えば、「うなずき」の合図によって、ロボットに頭２００を作動させて、うなずき動作を実行させることができる。ショーサブシステム２２２は、これ等の合図を生成し、概して、キャラクターとしてのロボットの行動を調整する責任を負っている。逆に、セーフティサブシステム２６０は、必要に応じ、キャラクターとしての行動に介入し、セーフティプロトコルを実施する責任を負っている。これ等の特定のサブシステム、及び図３に示す他のサブシステムの一部について、以下に詳述する。

図３は、様々な実施形態による、図１の自律ロボットの胴体及びアームに含まれている様々なサブシステムをより詳細示に示す図である。図示の様々なサブシステムには、公称動作に必要な特定の入力及び出力に関する詳細が記載されている。図示のように、モーションコントロール２１２は、モーター速度要求を受信し、次いで、３自由度（ＤＯＦ）の頭と首のモーター速度及び対応するトルクを出力する。接触感知２１４は、来場者１５０によって入力された可能性がある静電容量式タッチイベントを受信して、セーフティ信号及びタッチイベントが発生したゾーンを示す１つ以上のフラグを出力する。

アニメーション２１６は、合図名、凝視ターゲット、及び１つ以上のアニメーションファイルを受信する。合図名は、前述の行動シーケンスに対応している。凝視ターゲットは、アニメーション中に、頭２００の向きを指示する現実世界の座標セットを示す。アニメーションファイルには、アニメーション中に、ロボット１１０の他の部分が、どのように動くべきであるかが記述されている。アニメーション２１６は、ロボット１１０の全体を動かすベースモーター速度と共に、３自由度（ＤＯＦ）の頭／首の速度及びトルクを出力する。照明コントロール２１８は、アニメーション２１６と連動して、受信した合図に応じて動作する。照明コントロール２１８は、電光シーケンスを示すシーケンスファイルも受信し、次いで赤緑青（ＲＧＢ）発光ダイオード（ＬＥＤ）を照らす信号を出力する。深度カメラ２２０は、光信号を捕捉し、ナビゲーション２５８及びセーフティサブシステム２６０に対し、データを出力する複数のＲＧＢ深度カメラを含んでいる。

ショーサブシステム２２２は、セーフティサブシステム２６０、操作インターフェース１２６、スーパーバイザー２３８、ローカリゼーション２５２、人感センサー２５４、ナビゲーション２５８、および衝突回避２５６から入力を受信する。前述のように、ショーサブシステム２２２は、概して、キャラクターとしての行動を調整する。ショーサブシステム２２２は、キャラクターフロー定義も受信する。キャラクターフロー定義は、１つ以上の行動合図定義を含むことができ、所与の行動合図定義は、コンピュータが知覚できる一連の入力である。かかる入力は、とりわけ、例えば、ジェスチャー、ポーズ、アイコンタクト、及び物理的接触等を含むことができる。概して、一連の行動合図は、例えば、会話をしたり、手をつないだり、興味を示したり、よく聞いたり、写真を撮ったりする等、明確な行動状態を定義する。所定のキャラクターフロー定義は、かかる動作合図のシーケンスを含んでいる。ショーサブシステム２２２は、様々な動作を実行するために、オーディオ２２６、アニメーション２１６、ナビゲーション２５８、および照明コントロール２１８に制御信号を出力する。パペッターコントロール２２４は、無線受信機を介し、ロボットインターフェース１２２から入力を受信し、次いで、ショーサブシステム２２２及びナビゲーション２５８に制御信号を出力する。パペッターコントロール２２４によって、遠隔地のユーザーが、ロボット１１０を制御することができる。オーディオ２２６は、アニメーション２１６及び照明コントロール２１８と一緒に動作して、様々なロボットの行動を実行する。オーディオ２２６は、合図及びオーディオアセットファイルを受信し、アセットファイルに基づいて、合図に応答してオーディオを出力する。

セットピースＩ／Ｏ２３６は、図５〜６と併せて以下にも説明するように、ロボット１１０とテーマパーク内に分散しているショー要素、又は「セットピース」との相互作用を調整するように構成されている。スーパーバイザー２３８は、セーフティサブシステム２６０及び操作インターフェース１２６から入力を受信し、必要に応じ、ロボット１１０の包括的なシステムの状態を修正する。バッテリーマネジメント２４０は、内部バッテリーから入力を受信し、充電レベル、バッテリー状態等に関するデータをスーパーバイザー２３８、操作インターフェース１２６、及びショーサブシステム２２２に出力する。３Ｄ ＬＩＤＡＲ２４４は、ロボット１１０の周囲環境の三次元空間マップを生成し、このデータをローカリゼーション２５２、ナビゲーション２５８、及び人感センサー２５４に出力するように構成されたレーザーベースの深度センサーである。

図４は、様々な実施形態による、図１の自律ロボットのコア及びベースに含まれている様々なサブシステムをより詳細に示す図である。図３と同様に、図示の様々なサブシステムには、公称動作に必要な特定の入力及び出力に関する詳細が記載されている。図示のように、ローカリゼーション２５２は、３Ｄ ＬＩＤＡＲ２４４及び２Ｄ ＬＩＤＡＲ２７４から入力を受信して、ロボット１１０の位置を示すローカリゼーションデータをナビゲーション２５８、ショーサブシステム２２２、及びスーパーバイザー２３８に出力する。人感センサー２５４は、ローカリゼーション２５２と同様の入力を受信し、これ等の入力を処理して来場者１５０の存在を検出する。人感センサー２５４は、検出した来場者を記述するデータをナビゲーション２５８、ショーサブシステム２２２、及びスーパーバイザー２３８に出力する。衝突回避２５６は、３Ｄ ＬＩＤＡＲ２４４及び２Ｄ ＬＩＤＡＲ２７４からのデータを処理して接近する物体を識別し、関連するデータをナビゲーション２５８、ショーサブシステム２２２、及びスーパーバイザー２３８に出力する。ナビゲーション２５８は、概して、テーマパーク内のロボット１１０の移動を調整する。ナビゲーション２５８は、セーフティサブシステム２６０、ショーサブシステム２２２、ローカリゼーション２５２、衝突回避２５６、およびモーションコントロール２１２から入力を受信して、ベース内のモーションコントロール２６２に制御信号を出力してロボット１１０を移動させる。

セーフティサブシステム２６０は、ショーサブシステム２２２と相互運用して、来場者１５０の安全を保持するように構成されている。セーフティサブシステム２６０は、ショーサブシステム２２２に介入し、必要に応じ、ロボット１１０にキャラクターを中止させ、セーフティプロトコルを実行することができる。セーフティサブシステム２６０は、ロボット１１０に含まれているサブシステムのいずれからも入力を受信して、セーフティプロトコルを実行すべきであるかを判定することができる。例えば、セーフティサブシステム２６０は、来場者１５０の存在を示す人感センサー２５４から入力を受信し、それに応じて適切なセーフティプロトコルを実行することができる。セーフティサブシステム２６０は、モーションコントロール２１２、２６２、及びナビゲーション２５８に制御信号を発する。

エンコーダー２７２は、車輪２８０の回転を監視し、コード化した車輪回転データをナビゲーション２５８、セーフティサブシステム２６０、及びモーションコントロール２６２に出力する。２Ｄ ＬＩＤＡＲ２７４は、ナビゲーション２５８、衝突回避２５６、及びセーフティサブシステム２６０に、深度情報を出力するレーザーベースの距離測定装置である。クリッフセンサー２７６は、ロボット１１０が転倒する可能性がある急斜面を検知するように構成されている。クリッフセンサー２７６は、超音波及びレーザーセンシングを実行し、クリッフデータをナビゲーション２５８、セーフティサブシステム２６０、及びモーションコントロール２６２に出力する。バンパー２７８は、ロボット１１０の下部付近における、物体との軽度の衝突を検出する接触検知装置である。バンパー２７８は、接触データをナビゲーション２５８、セーフティサブシステム２６０、及びモーションコントロール２６２に出力する。

概して図１〜４において、前述のロボット１１０の特定の実施形態は例示的なものであり、ロボット１１０を実現することができる方法の範囲を限定することを意図したものではない。これまでに説明したサブシステムはいずれも、専用ハードウェア、コンピューターシステムで実行される１つ以上のソフトウェアモジュール、又は２つの組み合わせによって実現することができる。図５〜６に関連して以下に詳述するように、ロボット１１０は、前述のサブシステムを介し、テーマパーク内に配置されたショー要素１６０と事前にプログラムされた相互作用を実行するように構成されている。ロボット１１０は、図７〜１１に関連して以下に詳述するように、使用可能なサブシステムに基づいてキャラクターとしての行動を修正するようにも構成されている。ロボット１１０は、図１２〜１５に関連して以下に詳述するように、キャラクターとしての行動を選択的に維持しつつ、セーフティプロトコルを実行するように更に構成されている。最後に、ロボット１１０は、図１６〜１９に関連して以下に詳述するように、来場者からの社会的合図を解釈して、キャラクターと来場者との相互作用を促進するように構成されている。

プログラム可能なロボットの相互作用
図５は、様々な実施形態による、図１の自律ロボットが、ショー要素との相互作用をどのように実行するかを示す図である。図示のように、ロボット１１０は、コンピューティングデバイス５００、センサー５１０、及び放射体５２０を有するショー要素１６０と相互作用するように構成されている。ロボット１１０及びショー要素１６０は、ネットワーク１４０を介して間接的に結合され、互いに直接通信して、来場者１５０のために調整された演技又は「ショー」を協調的に実行するように構成されている。

動作において、ロボット１１０は、前述した方法でテーマパークを自由に散策することによって、ショー要素１６０に出合うことができる。ロボット１１０が、ショー要素１６０に近接すると、センサー５１０が、ロボット１１０によって生成された様々な信号を検出し、次いで、コンピューティングデバイス５００が、放射体５２０を介して、ロボット１１０にハンドシェイク信号を送信することによって、ロボット１１０とのハンドシェイク５２２を開始する。ハンドシェイク信号は、例えば、光信号、超音波信号、又は無線信号であってよい。セットピースＩ／Ｏ２３６は、ハンドシェイク信号を受信し、次いで、確認応答（ａｃｋ）信号を返す。センサー５１０は、ａｃｋ信号を受信し、次いで、コンピューティングデバイス５００が、ロボット１１０との直接通信を確立する。

次に、ロボット１１０及びコンピューティングデバイス５００は、スクリプトネゴシエーション５２４を交換して、特定のスクリプトに記述されている、一連の特定の動作を実行することに相互に同意する。１つの実施形態において、ロボット１１０及びショー要素１６０は、相互に使用可能な資源、サブシステムの状態、環境パラメータ、他の既存の目標等に基づいて、特定のスクリプトを選択する。スクリプトが合意されると、ロボット１１０及びショー要素１６０は相互作用シーケンス５２６を実行する。

１つの実施形態において、所与の相互作用シーケンスに参加するために、ロボット１１０は、まずベースターゲット及び凝視ターゲットを設定する。ベースターゲットは、ロボット１１０が相互作用シーケンス中に移動すべき一連の座標である。凝視ターゲットは、相互作用シーケンス中に、ロボット１１０が見ているように見せる必要がある場所の一連の座標である。次に、ロボット１１０は、相互作用シーケンスに使用できる特定の相互作用方法を決定する。これ等の方法には、照明システム、オーディオ出力システム、又はその他のメカニズムを始動させることが含まれる。ロボット１１０は、相互作用シーケンスの優先順位も決定して、他のより優先順位の高い動作が無視されないようにする。場合により、ロボット１１０は、既存の目標がショー要素１６０との相互作用より優先すると判定して、ショー要素１６０との相互作用を終了することができる。

例示的な相互作用において、演技を行う予定の遠方の目標に向かって、ロボット１１０がテーマパークを移動すると仮定する。ロボット１１０は、本例では蒸気排出口である、ショー要素１６０に危険を冒して接近する。ショー要素は、ロボット１１０を検出して、ハンドシェイク５２２を開始する。次に、ロボット１１０及びショー要素１６０は、スクリプトネゴシエーション５２４を行う。ショー要素１６０は、「蒸気噴射」ルーチンを行うのに十分な蒸気資源が蓄えられていると判定する。ロボット１１０は、最初の目標に関連する演技終了後１５分間開始されないと判定、従って、蒸気噴射ルーチンを行うのに十分な時間があったと判定する。ロボット１１０及びショー要素１６０は、蒸気噴射ルーチンを行うことに合意して、相互作用シーケンス５２６を開始する。ロボット１１０は、ショー要素１６０の近くのベースターゲットに近づいて、頭２００をショー要素１６０上の蒸気ポータルに向ける。ショー要素１６０は、蒸気ポータルを開いてロボット１１０に蒸気を噴射する。近くの来場者１５０は、この相互作用を目撃して、（理想的には）ロボット１１０の見かけの好奇心が、裏目にでる様子に面白がる。蒸気噴射ルーチンが終了すると、ロボット１１０引き続き遠方の目標に移動する。

前述の手法は、機構、照明システム、ロボット要素、表示システム等の任意のセットを有する任意の技術的に実行可能なショー要素に適用することができる。更に、この手法は、ロボット１１０と他のロボット１７０との間で実行することができる。あらゆる種類の相互作用シーケンスも生じ得る。図６は、前述のような相互作用シーケンスを実行するための一般的な手順を示している。

図６は、様々な実施形態による、ロボットにショー要素と相互作用させる方法ステップのフローチャートである。方法のステップは、図１〜５のシステムに関連して説明してあるが、当業者は、方法ステップを任意の順序で実行するように、任意のシステムを構成することができることを理解するであろう。

図示のように、方法６００は、ステップ６０２において開始し、ロボット１１０が、近くのすべてのショー要素にディスカバリー信号を同報送信する。ディスカバリー信号は、例えば、超音波信号、無線信号、光信号等であってよい。１つの実施形態において、ロボット１１０が移動目標のために同報送信する任意のＬＩＤＡＲ信号が、ディスカバリー信号の追加の目標を果たすことができる。ステップ６０４において、ロボット１１０及びショー要素１６０が互いにハンドシェイクする。ハンドシェイクには、通常、直接通信を確立するための伝送交換が含まれる。ステップ６０６において、ロボット１１０は、スクリプトネゴシエーションプロセスを実行して、ショー要素１６０と実行する相互作用シーケンスを決定する。

ステップ６０８において、ステップ６０６において決定した相互作用シーケンスに基づいて、ベースターゲットを設定する。ベースターゲットは、相互作用シーケンスが開始されたとき、ロボット１１０が常に存在している必要がある一連の座標である。ベースターゲットは、概して、ショー要素１６０に関連して定義される。ステップ６１０において、相互作用シーケンスが開始されると、ロボット１１０が見ているように見せる必要がある、凝視ターゲットを設定する。ロボット１１０は、ロボット１１０が特定の方向を向いているように見せるようにするために、異なる方向に向けることができる１つ以上の機能しない「目」を有することができる。ステップ６１２において、ロボット１１０は、相互作用シーケンスに関連する１つ以上の相互作用方法を識別する。これ等の方法は、すべてのロボットシステム又はサブシステムを含むことができる。

ステップ６１４において、ロボット１１０は、相互作用シーケンスの優先順位を決定する。ロボット１１０は、競合する優先順位を有する複数の目標と関わることができ、概して、これ等の優先順位を動的に評価する。ステップ６１６において、ロボット１１０は、現在の行動が相互作用シーケンスに優先するか否かを判定する。例えば、ロボット１１０は、バッテリーの電力が完全に使い果たされる前に、充電ステーションに戻る等、他のすべての行動に取って代わる優先順位の高い目標に既に関わっている場合がある。あるいは、ロボット１１０は、特定の状況下で無効にすることができる優先順位の低い目標にのみ関わることができる。現在の行動が相互作用シーケンスよりも優先されない場合、方法６００はステップ６１８に進み、ロボット１１０はショー要素１６０との相互作用シーケンスを開始する。そうでなければ、方法はステップ６２０に進み、ロボット１１０は、優先順位のより高いこれまでの行動を継続する。１つの実施形態において、前述の優先順位付けステップは、スクリプトネゴシエーションの前に行われる。

ロボット１１０は、セットピース（ショー要素１６０及び他のロボット１７０等）とのスクリプト化された相互作用を行うときに前述の手法を実行する。ロボット１１０は、来場者１５０との大まかにスクリプト化された相互作用も実行することができる。いずれの場合も、ロボット１１０は、概して、所与のキャラクターに関連する具体的な行動特性を示すことによって、キャラクターとして動作する。しかし、特定の状況下において、ロボット１１０内の１つ以上のサブシステムが部分的又は完全に故障することによって、ロボット１１０が、キャラクターとしての具体的な相互作用及び／又は特定の相互作用を実行する能力が完全に妨げられる可能性がある。サブシステムの故障中、ロボット１１０がキャラクターを中止する程度を軽減するため、ショーサブシステム２２２は、図７〜１１に関連して以下に詳述する技術を使用して、特定のサブシステムの故障に応じて、ロボット１１０の行動を修正するように構成されている。

キャラクターとしての行動のグレイスフルデグラデーション
図７〜１０の各々に示すように、キャラクターロジック７００は、ロボット１１０が、所与の演技中に実行することができる、様々な例示的な行動を含んでいる。キャラクターロジック７００は、概して、図２のショーサブシステム２２２内に常駐している。ロボットの通常の動作中及び演技中（スクリプト化された相互作用等）、ショーサブシステム２２２は、特定のサブシステムの可用性に応じ、異なるキャラクターの行動を選択的に抑制するように構成されている。ロボットサブシステム、キャラクターの行動、及び演技出力間の依存関係について、図７に関連して以下に説明する。

図７は、様々な実施形態による、様々なロボットの行動が、ロボットシステムの状態にどのように依存しているかを示している。図示のように、キャラクターロジック７００は、輪になって踊る７１０、船で会う７２０、ランダムルック７３０、幸せな気分７４０、退出ステージ７５０、及び助けを求める７５２を含む一連の行動シーケンスを有している。ショーサブシステム２２２は、演技中、キャラクターと来場者との相互作用中、セットピースとの相互作用中、及びその他の場合に、これらの様々な動作を実行する。図示の各々の行動シーケンスは、特定のサブシステム、サブモジュール、及び／又は対応する動作の実行に関わるデータを指定する。

図示のように、輪になって踊る７１０は、特定の照明アセット７１２、サウンドアセット７１４、頭アニメーション７１６、及び胴体アニメーション７１８の調整に関与している。船で会う７２０は、船舶が目的地であることを反映するデータ、及び船舶が関係する演技ルーチンの実行に必要なショーデータ７２４を含んでいる。ランダムルック７３０には、必要な要素が示されていないが、概して、ロボット１１０の頭２００内のモーター２０２の調整に関与している。幸せな気分７４０は、幸福の表示に使用される行動シーケンスであって、照明アセット７４２、サウンドアセット７４４、頭アニメーション７４６、及び胴体アニメーション７４８を含んでいる。これ等の特定の照明及びサウンドアセット、並びにアニメーションモジュールは、輪になって踊る７１０に示したものと同じであってよいが、通常、異なる動作を実行するためには、異なる構成のサブモジュールが必要である。例えば、輪になって踊る７１０に必要な特定の照明アセットは、幸せな気分７４０に必要なアセットと異なるであろう。退出ステージ７５０、及び助けを求める７５２は、フェイルセーフ行動であって、キャラクターとして又はキャラクターを離脱して実行することができる。

各々の行動シーケンスは、１つ以上の基礎となるロボットサブシステムの状態に、ある程度依存する。従って、行動依存関係７６０は、様々な状態表示器とキャラクターロジック７００内の対応する行動シーケンスとの間のマッピングを示す。図示の状態表示器は、バッテリー充電レベル７６２、場外観衆感知７６４、頭接触感知７６６、肩接触感知７６８、ナビゲーション７７０、衝突感知７７２、侵入感知７７４、ＷｉＦｉ７７６、及び人検出７７８を含んでいる。各々の状態表示器は、図２〜４に示すものを含む、特定のサブシステムの可用性を表示することができる。例えば、バッテリー充電レベル７６２は、バッテリーマネジメント２４０に結合して、バッテリーマネジメント２４０によって測定されたバッテリー充電レベルを報告するように構成し得る。同様に、衝突感知７７２は、人感センサー２５４及び／又は衝突回避２５６に結合して、衝突感知が利用できる程度を示すように構成し得る。前述のいずれの状態表示器も、対応するサブシステム又は複数のサブシステムが使用可能若しくは使用不可であることを示すバイナリ信号、又は可用性の割合を示すアナログ信号を出力する。

また、図示のように、ショー依存関係７８０は、特定の行動シーケンスと関連するショー出力とのマッピングを示す。「ショー出力」は、概して、照明、身振り、音声、移動方向等を含む、ロボット１１０が演技をする際に生成するすべての出力を含んでいる。照明７８２、頭アニメーション７８４、ベースモーション７８６、サウンド７８８、ショーゾーン７９０、及びショーターゲット７９２は、すべて例示的なショー出力である。

動作において、図示のショーサブシステム２２２は、ロボット１１０がスクリプト化、半スクリプト化、及びスクリプト化されていない動作を実行する際の公称動作を調整する。前述のように、これ等の行動は、予定された演技、及び図５に関連して説明した予定外の自発的な相互作用を含むことができる。かかる動作中、ショーサブシステム２２２は、ロボット１１０内の基礎となる多数のサブシステムの状態を動的に監視する。その後、行動依存関係７６０に基づいて、ショーサブシステム２２２は、故障しつつある又は故障したサブシステムに依存する行動を部分的又は完全に抑制する。従って、抑制された行動及び利用できないサブシステムに応じ、特定のショー出力も利用できなくなる。

ショーサブシステム２２２が、特定の行動を選択的に抑制する一方、他の行動を使用可能にするため、多数のサブシステムが故障しても、ロボットは様々なキャラクターとして行動を取ることができる。概念的には、ショーサブシステム２２２は、従来技術の手法に見られるサブシステムの故障に応じて単にシャットダウンするのではなく、キャラクターとしての行動の「グレイスフル」デグラデーションを実行する。この手法の利点の１つは、故障シナリオでキャラクターを突然中止する可能性がある従来のロボットと比較して、ロボット１１０は、特定のキャラクターをより現実的に表現することができることである。ショーサブシステム２２２によって、ロボット１１０が徐々にキャラクターから外れ、必要に応じてのみ遷移するため、ロボット１１０に技術的な問題が生じても、実際には来場者１５０が気付かない場合があり得る。図８〜１０に関連して、幾つかについての例示的な故障シナリオを以下に説明する。

図８は、様々な実施形態による、図１の自律ロボットが、サブシステムの故障中に、キャラクターとしての行動をどのように維持するかにつての例を示す図である。図示の例示的なシナリオにおいて、ナビゲーション７７０は、ロボット１１０が１つの場所から別の場所に移動できないことを意味する、すべてのローカリゼーション及びナビゲーション機能が、現在オフラインであることを示している。行動依存関係７６０に基づいて、ショーサブシステム２２２は、ローカリゼーション及びナビゲーション機能に依存する特定の行動を抑制する必要があると判定する。次に、ロボット１１０が船に移動することができないため、ショーサブシステム２２２は、全体として船で会う７２０を抑制する。ショーサブシステム２２２は、輪になって踊る７１０に関連する胴体アニメーション７１８、及び幸せな気分７４０に関連する胴体アニメーション７４８も抑制する。しかし、輪になって踊る７１０及び幸せな気分７４０は、ローカリゼーション及びナビゲーションを必要としないので、これらの行動は創造的に受け入れられる方法で変更され、品質を僅かに低下させた形態で依然として利用することができる。この手法では、ロボット１１０は、主要なサブシステムの故障が生じているにも関わらず、キャラクターに留まり、残りの行動のいずれかをキャラクターとして実行することができる。

図９は、様々な実施形態による、図１の自律ロボットが、複数のサブシステム故障中にキャラクターとしての行動をどのように維持するかについての例を示す図である。図示の例示的なシナリオにおいて、バッテリー、様々なセンサー、及び人検出を含む、多くのサブシステムに故障が発生している。それ故、ショーサブシステム２２２は、輪になって踊る７１０、船で会う７２０、及びランダムルック７３０を含む、多くの行動シーケンスを完全に抑制する。幸せな気分７４０の多くは抑制されるが、サウンドアセット７４４は依然として使用可能である。退出ステージ７５０、及び助けを求める７５２も使用可能である。非常に多くの行動が利用できないことを考慮して、ロボット１１０は退出ステージ７５０を実行すると同時にサウンドアセット７４４を実行して幸せな音を発する。ロボット１１０は、助けを求める７５２も実行する。従って、ロボット１１０は、キャラクターを劇的に中止することなく複数のサブシステムの故障に対処する。

図１０は、様々な実施形態による、図１の自律ロボットが、サブシステムの故障中に、キャラクターとしての行動をどのように縮小するかについての例を示す図である。図示の例示的なシナリオにおいて、バッテリー充電レベル７６２が、ロボット１１０が船で会う７２０を実行するのに十分なバッテリー電力がないことを示し、その理由はロボット１１０を再充電することができる充電ステーションから船が遠過ぎる可能性があるためである。これ等の制限があるため、ショーターゲット７９２の一部又はすべてが利用不可である。従って、ロボット１１０のキャラクターとしての行動は縮小されるが、輪になって踊る７１０及び幸せな気分７４０を含む、幾つかの別のキャラクターとしての行動が依然として使用可能である。

概して、図７〜１０において、ロボット１１０は、サブシステム、行動シーケンス、及びショー出力間に、本明細書で説明するものを超える多数の依存関係を含み得る。例えば、行動依存関係７６０は、図２〜４に関連して前述したサブシステムのいずれかと、本明細書で説明するロボット行動のいずれかとの間の関係を記述することができるであろう。

一部の実施形態において、ショーサブシステム２２２は、所与の行動シーケンスに関するメトリックを生成して、ロボット１１０がそのシーケンスを実行することができる程度を示すことができる。ショーサブシステム２２２は、所与の行動シーケンスのメトリックを、シーケンスが依存するサブシステムの可用性に基づいて生成することができる。ショーサブシステム２２２は、次いで、関連するメトリックを閾値と比較することによって、特定の行動シーケンスを抑制することができる。所与のメトリックが閾値を超えた場合、関連する行動が引き続き使用可能である。そうでなければ、ショーサブシステム２２２は、そのシーケンスを抑制する。また、ショーサブシステム２２２は、様々な要因に基づいて、行動シーケンスに優先順位を付けることができる。例えば、ショーサブシステム２２２は、特定の行動が、既に１回以上実行されていることを判定し、その行動の優先順位を下げることができる。図１１は、前述の手法の段階的な実行を示す図である。

図１１は、様々な実施形態による、使用可能なロボットサブシステムに基づいて、ロボットにキャラクターとしての行動を選択的に実行させる方法ステップのフローチャートである。この方法ステップは、図１〜４及び７〜１０のシステムに関連して説明されているが、当業者は、任意の順序で方法ステップを実行するように、任意のシステムを構成することができることを理解するであろう。

図示のように、方法１１００は、ステップ１１０２において開始し、ショーサブシステム２２２が、ロボットサブシステムの評価に基づいて、システム全体の状態を判定する。ショーサブシステム２２２は、図７〜１０に関連して説明した方法で、様々な表示器を分析してシステムの状態を判定することができる。ステップ１１０４において、ショーサブシステム２２２が、基礎となるサブシステムに関する行動依存関係、及びシステムの状態に基づいて、各々の行動シーケンスのケイパビリティスコアを生成する。単純な場合には、ケイパビリティスコアは０又は１である。ステップ１１０６において、ショーサブシステム２２２は、閾値を超えるケイパビリティスコアを有する行動シーケンスを識別する。かかる行動シーケンスは、基礎となるサブシステムが十分に整っているため実行可能である。ショーサブシステム２２２は、ゼロでないケイパビリティスコアを有する行動シーケンスを識別する場合がある。

ステップ１１０８において、ショーサブシステム２２２は、識別された各々の行動シーケンスの優先順位レベルを生成する。ショーサブシステム２２２は、行動シーケンスの新規性、他のショー要素の行動との一貫性、シーケンスの実行に必要なリソース等を含む、多くの異なる要因に基づいて、特定の行動シーケンスに対する所与の優先順位レベルを生成することができる。ステップ１１１０において、ショーサブシステム２２２は、最も高い優先順位レベルを有する行動シーケンスを決定する。ステップ１１１２において、ショーサブシステム２２２は、行動シーケンスの実行に使用可能な特定のサブシステムを決定する。場合により、所与の行動シーケンスが使用可能になり、優先順位も高いが、その行動の実行に必要な特定のサブシステムが使用できない場合もあり得る。かかる場合、ショーサブシステム２２２は、縮小された方法ではあるが、とにかく行動シーケンスを開始することができる。ステップ１１１４において、ショーサブシステム２２２は、ステップ１１１２において決定した使用可能なサブシステムを用いて行動シーケンスを開始する。

サブシステムの可用性に基づいて、キャラクターとしての行動を縮小することの利点の１つは、ロボット１１０が、技術的な問題を抱えているにも関わらず、ロボット１１０に関係する演技が継続できることである。従って、キャラクターとして実際に表現されたロボット１１０の錯覚を維持することができ、来場者の満足度を高める可能性につながる。ロボット１１０は、図１２〜１５に関連して以下に詳述するように、状況に応じ、キャラクターとして及び／又はキャラクターから離脱して、セーフティプロトコルを実行するようにも構成されている。

キャラクターとしてのセーフティプロトコル
図１２Ａ〜１２Ｂ、１３Ａ〜１３Ｂ、及び１４Ａ〜１４Ｂの各々の対は、ショーサブシステム２２２とセーフティサブシステム２６０が相互運用して、セーフティプロトコルを実行する異なる例示的なシナリオを示している。所与の対における第１の図は、特定のイベントの発生及び／又は特定の例示的なシナリオの間、様々な状況が満足されているか否かを示すタイミングチャートである。これ等の状況は、概して、ロボットの動作中に発生し得る安全上のリスクに対応している。所与の対における第２の図は、手順決定ロジックであって、それに従って、ショーサブシステム２２２及びセーフティサブシステム２６０が、例示的なシナリオの間、決定を下すロジックを示している。以下で説明する様々なセーフティプロトコルは、ロボットに関連する既存の安全基準に由来するものである。１つの実施形態において、ロボット１１０は、ＡＮＳＩ／ＩＴＳＤＦ Ｂ５６．５−２０１２標準に由来するセーフティプロトコルを実行する。

図１２Ａ〜１２Ｂは、様々な実施形態による、図１の自律ロボットが、衝突を防止しながら、どのようにしてキャラクターに留まるかについての例を示す図である。本明細書に記載の例において、ロボット１１０は、障害物との衝突の可能性を検出し、キャラクターとして対応することができる。

図１２Ａに示すように、タイミングチャート１２００、１２０２、１２０４、１２０６、１２０８、１２１０、１２１２、１２１４、１２１６、１２１８、及び１２２０は、対応するイベント又は状況に関連する真理値を時間の関数として示している。所与のイベント又は状況は、多くの可能性の中でも特に、衝突の危険性等、安全上のリスクに対応することができる。所与のタイミングチャートが高の場合、関連するイベントが発生しているか、又は対応する状況が満足されている。所与のタイミングチャートが低の場合、関連するイベントが発生していないか、又は対応する状況が満足されていない。

タイミングチャート１２００は、ロボット１１０が、期間中、キャラクターとして動作するか又はキャラクターを離脱して動作するかを示している。タイミングチャート１２００によれば、ロボット１１０は、当初、短期間キャラクターを離脱して動作し、次いで、残りのすべての時間にわたりキャラクターとして動作する。タイミングチャート１２０２は、ロボット１１０と障害物との距離が７メートル（Ｍ）より大きいか否かを示している。タイミングチャート１２０２によれば、ロボット１１０は、当初、障害物から７Ｍ以上離れて存在しているが、その後、障害物の７Ｍ以内に接近する。同様に、タイミングチャート１２０４は、ロボット１１０と障害物との距離が３Ｍより大きいか否かを示している。タイミングチャート１２０４によれば、ロボット１１０は、当初、障害物から３Ｍ以上離れて存在しているが、その後、障害物の３Ｍ以内に接近する。タイミングチャート１２０６は、ロボット１１０と障害物との距離が１Ｍより大きいか否かを示している。タイミングチャート１２０６によれば、ロボット１１０は、当初、障害物から１Ｍ以上離れて存在しているが、その後、障害物の１Ｍ以内に接近する。タイミングチャート１２０２、１２０４、及び１２０６に関連する様々な状況が、３Ｄ ＬＩＤＡＲ２４４、２Ｄ ＬＩＤＡＲ２７４、及び他の空間センサーに関連するものを含む、ロボット１１０によって捕捉されたセンサーデータに基づいて評価することができる。タイミングチャート１２０２、１２０４、及び１２０６に基づいて、ロボット１１０が、障害物に接近していることを認識することができる。

タイミングチャート１２０８は、ショーサブシステム２２２が、障害物を回避するためにロボットの進路を調整する特定の時間範囲を示している。しかし、この調整は失敗する。タイミングチャート１２１０は、セーフティサブシステム２６０が、その後、障害物との衝突の可能性を検出することを示している。タイミングチャート１２１２は、ショーサブシステム２２２が回避行動を実施して（キャラクターとして）障害を回避する時間範囲を示している。ショーサブシステム２２２は、タイミングチャート１２１４に示すように、セーフティサブシステム２６０が、ショーサブシステム２２２に計画介入を通知することに応じて、この回避行動を実施する。この計画介入に応じ、タイミングチャート１２１６に示すように、サブシステム２２２はセーフティサブシステム２６０に追加の応答時間を要求する。セーフティサブシステム２６０は、タイミングチャート１２１８に示すように、２秒の追加を許可する。この追加の２秒の間、ショーサブシステム２２２は、前述し、かつタイミングチャート１２１２に示す回避行動を実施する。タイミングチャート１２２０によれば、セーフティサブシステム２６０が介入せずに衝突が回避される。

要約すれば、セーフティサブシステム２６０が、時刻ｔ１において衝突の危険性を検出し、ショーサブシステム２２２に通知する。ショーサブシステム２２２が、回避行動を実行して、時刻ｔ２までに安全に関わる状況を解決する。それ故、セーフティサブシステム２６０は、時刻ｔ３において計画介入を実行する必要はなく、ロボット１１０はその時刻まで、及びその時刻を超えてキャラクターに留まる。図１２Ａに示す様々なタイミングチャートは、図１２Ｂに示す手順決定ロジックに対応している。

ここで、図１２Ｂにおいて、前述の例示的なシナリオの処理において、ショーサブシステム２２２は、ショーサブシステムロジック１２３０を実行し、セーフティサブシステム２６０はセーフティサブシステムロジック１２４０を実行する。本明細書に記載の例示的な衝突シナリオの間、ショーサブシステム２２２が、概して、ロボット１１０の制御を続行することを示すために、ショーサブシステムロジック１２３０の特定の部分が強調されている。

まず、タイミングチャート１２０４、１２０６、及び１２０８にも示すように、セーフティサブシステムロジック１２４０が障害物を検出する。次に、セーフティサブシステムロジック１２４０は、タイミングチャート１２１４に示すように、ショーサブシステムロジック１２３０に対し警告を発する。これに応じ、ショーサブシステムロジック１２３０は、様々な軽減策を評価する。所与の軽減策には、例えば、障害物を避けるためにロボット１１０を逸らせることが含まれる。ショーサブシステムロジック１２３０は軽減策を選択し、タイミングチャート１２１６に示すように、セーフティサブシステムロジック１２４０に追加の時間を要求する。セーフティサブシステムロジック１２４０は、タイミングチャート１２１８にも示す追加時間を許可する。ショーサブシステム１２３０は、タイミングチャート１２００及び１２１２に示すように、キャラクターとして回避行動を行うことによって軽減策を実行する。

前述の相互運用ロジックを実行することによって、ロボット１１０が、特定の安全基準を順守しつつ、キャラクターとしての行動を最大限維持することができる。図１３Ａ〜１３Ｂに関連して以下に詳述するように、ロボット１１０は、キャラクターの一時的な中断に値する安全に関わる状況に応じ、同様のロジックを実行することができる。

図１３Ａ〜１３Ｂは、様々な実施形態による、図１の自律ロボットが、衝突を防止するために、どのようにしてキャラクターを一時的に中止するかについての例を示す図である。本明細書に記載の例において、ロボット１１０が、ロボット１１０に向かって不意に走り寄る人を検出したため、ロボット１１０がセーフティプロトコルを実施する。

図１３Ａに示すように、タイミングチャート１３００、１３０２、１３０４、１３０６、１３０８、１３１０、１３１２、１３１４、１３１６、１３１８、及び１３２０は、図１２Ａに関連して前述したものと同じイベント及び状況に関連付けられている。しかし、ロボット１１０が、本明細書に記載のシナリオに対して異なる応答を示すため、これらのタイミングチャートの実際の真理値は、図１２Ａに示すものと異なる。

タイミングチャート１３００は、当初、ロボット１１０がキャラクターとして動作していることを示している。タイミングチャート１３０２、１３０４、及び１３０６は、ロボット１１０が、この場合には、ロボット１１０に向かって積極的に移動している人である、障害物に接近していることを示している。ショーサブシステム２２２は、タイミングチャート１３０８に示すように、人を避けるために進路を調整するが、タイミングチャート１３１０に示すように、衝突の危険性が依然として検出されている。セーフティサブシステム２６０は、タイミングチャート１３１４に示すように、ショーサブシステム２２２に対し、近々の介入を通知する。ショーサブシステム２２２は、タイミングチャート１３１６に示すように、追加の時間を要求する。セーフティサブシステム２６０は、タイミングチャート１３１８に示すように、この時間を許可する。ショーサブシステム２２２は、タイミングチャート１３１２に示すように、回避行動を取って障害物を避けようとするが、タイミングチャート１３１０に示すように、衝突の危険性は差し迫ったままである。ショーサブシステム２２２が、安全に関わる状況を軽減することができなかったため、タイミングチャート１３００及び１３２０に示すように、セーフティサブシステム２６０が介入し、ロボット１１０は一時的にキャラクターを中止し、一時的に動きを停止する。その後、ショーサブシステム２２２に対し、キャラクターとしての動作に復帰するのが許可される。

要約すれば、セーフティサブシステム２６０が、時間ｔ４におい衝突の危険性を検出し、ショーサブシステム２２２に通知する。表示サブシステム２２２による回避が成功しないため、セーフティサブシステム２６０は、時間ｔ５において介入する必要がある。時間ｔ６において、安全に関わる状況が解消される。この様に、ロボット１１０は、一時的にキャラクターを中止するが、安全に関わる状況が解消された後に演技を続行することができる。これ等の様々なタイミングチャートに対応する手順決定ロジックについて、以下図１３Ｂに関連して説明する。

ここで、図１３Ｂにおいて、前述のシナリオにおいて、ショーサブシステム２２２は、ショーサブシステムロジック１３３０を実行し、セーフティサブシステム２６０はセーフティサブシステムロジック１３４０を実行する。ショーサブシステム２２２が安全に関わる状況の解消を試みるが、ショーサブシステムロジック１３３０が、ロボット１１０の制御を一時的に放棄する必要があることを示すために、ショーサブシステムロジック１３３０の特定の部分が強調されている。

セーフティサブシステムロジック１３４０が、まず、タイミングチャート１３０４、１３０６、及び１３０８にも示すように、障害物検出によって予想外の人物を検出する。セーフティサブシステムロジック１３４０は、タイミングチャート１３１４に示すように、ショーサブシステムロジック１３３０に通知する。ショーサブシステムロジック１３３０は、様々な軽減策を評価し、タイミングチャート１３１６に示すように、軽減策を実行するための追加時間を要求する。セーフティサブシステムロジック１３４０は、タイミングチャート１３１８に示すように、追加時間を許可するが、タイミングチャート１３１０及び１３１２に示すように、ショーサブシステム２２２による軽減回避行動が失敗する。それ故、タイミングチャート１３２０に示すように、セーフティサブシステムロジック１３４０が介入し、キャラクターコンティンジェンシー対策を実施して一時的にキャラクターを中止する。この文脈において、キャラクターコンティンジェンシー対策は、通常のキャラクターとしての行動から一時的に逸脱することである。安全に関わる状況が解消された後、ショーサブシステム２２２は、キャラクターとしての行動に復帰することが許可される。

前述のロジックによって、ロボット１１０は、安全基準を順守する一方、これ等の基準に違反するであろうと思われる時点まで、キャラクターとして動作することができる。その時点において、キャラクターとしての行動が一時中断される。ロボット１１０は、図１４Ａ〜１４Ｂに関連して以下に詳述するように、必要がある場合には、キャラクターを永続的に中止して、演技を終了することもできる。

図１４Ａ〜１４Ｂは、様々な実施形態による、図１の自律ロボットが、サブシステムの障害に応じて、どのようにしてキャラクターを中止するかについての例を示す図である。本例において、ロボット１１０が、ホイールエンコーダーが故障してキャラクターとしての動作を中止する必要があると判定する。

図１４Ａに示すように、タイミングチャート１４００、１４０２、１４０４、１４０６、１４０８、１４１０、１４１２、１４１４、１４１６、１４１８、及び１４２０は、図１２Ａ及び１３Ａに関連して前述したものと同じイベント及び状況の一部に関連する真理値を示している。しかし、タイミングチャート１４０２は、キャラクターとしての演技中に、時刻ｔ７において、エンコーダーに故障が発生したことを示している。ホイールエンコーダーは、人との衝突を回避するのに不可欠な安全に関わる重要なセンサーであるため、セーフティサブシステム２６０が即座に介入し、時刻ｔ８においてロボットを停止させる。ロボット１１０がキャラクターを中止し、演技が終了し、安全に関わる問題が潜在的に回避される。

ここで、図１４Ｂにおいて、ショーサブシステム２２２及びセーフティサブシステム２６０が、セーフティサブシステムロジック１４４０実行し、ホイールエンコーダーに故障が発生したとき、セーフティサブシステム２６０が、セーフティサブシステムロジック１４４０を実行して、セーフティコンティンジェンシー対策を実施する。ショーサブシステムロジック１４４０には、関連する安全基準に準拠するであろうと思われる使用可能な安全に関わる軽減策がないため、問題を軽減するためのオプションは用意されていない。

概して、図１２Ａ〜１４Ｂにおいて、前述のシナリオは、ショーサブシステム２２２及びセーフティサブシステム２６０が相互運用して、安全基準の順守を犠牲にすることなく、キャラクターとしての行動を最大限に発揮させる幾つかの可能な方法を示している。特定の安全に関わる状況は変化し得るが、ショーサブシステム２２２及びセーフティサブシステム２６０の基本的な相互運用によって、安全に関わるリスクを軽減する間、ロボット１１０がキャラクターを中止する必要の程度が限定される。

図１５は、様々な実施形態による、安全に関わる状況に応じ、自律ロボットの演技活動を調整する方法ステップのフローチャートである。この方法ステップは、図１〜４及び１２Ａ〜１４Ｂのシステムに関連して説明されているが、当業者は、方法ステップを任意の順序で実行するように、任意のシステムを構成することができることを理解するであろう。

図示のように、方法１５００は、ロボット１１０がキャラクターとしての行動を開始するステップ１５０２において開始する。キャラクターとしての行動は、ロボット１１０が参加する演技、又はロボット１１０がテーマパーク内を自由に散策する際に生じる演技に関連付けることができる。ステップ１５０４において、ロボット１１０は、安全に関わる潜在的な問題の識別を開始する。そうすることによって、ロボット１１０は、周囲の環境を反映したセンサーデータを分析すると共に、内部サブシステムを監視して故障状態を検出する。ステップ１５０６において、ロボット１１０は第１の安全に関わる状況が満足されていると判定する。

第１の安全に関わる状況は、図１２Ａ〜１２Ｂに関連して説明した、静止障害物との衝突の危険性であり得る。あるいは、図１３Ａ〜１３Ｂに関連して前述したように、来場者１５０が、不意にロボット１１０に走り寄るとき、第１の安全に関わる状況が発生し得る。また、第１の安全に関わる状況は、図１４Ａ〜１４Ｂに関連して前述したように、ロボットシステムに故障が発生したときにも生じ得る。これ等の安全に関わる状況はいずれも、軽減する必要がある潜在的な安全に関わるリスクに対応している。ロボット１１０は、ステップ１５０６において、別の安全に関わる状況が発生したことを知ることもできる。例えば、ロボット１１０は、バッテリーの充電レベルが臨界レベルまで低下し、潜在的に回避行動が阻止されていることを特定することができるであろう。ロボット１１０は、悪天候によってセンサーデータの正確な収集が脅かされ、衝突の検出が妨げられるであろうことも認識できるであろう。

ステップ１５０８において、ロボット１１０は、キャラクターとして、安全に関わる状況を軽減することができるか否かを判定する。安全に関わる状況が、図１４Ａ〜１４Ｂに関連して説明したホイールエンコーダーの故障等、特定の安全に関わる基準に該当する場合には、方法１５００が、ステップ１５１４に進み、ロボット１１０がキャラクターを中止してセーフティコンティンジェンシー対策を実施する。さもなければ、方法１５００はステップ１５１０に進む。ステップ１５１０において、ロボット１１０内のサブシステム２２２が、ロボット１１０内のセーフティサブシステム２６０に、軽減するための時間を要求する。軽減するための時間によって、ロボット１１０は、キャラクターを維持しつつ、安全に関わる状況の軽減策を試みる時間が得られる。ステップ１５１２において、ロボット１１０は、キャラクターとしての軽減策を実行する。例えば、ロボット１１０は、幸せな音を発し続けながら、障害物を迂回することができ、それによってロボット１１０が幸せであるという外見を保持することができる。

ステップ１５１６において、ロボット１１０は、第１の安全に関わる状況が存続しているか否かを判定する。第１の安全に関わる状況が存続していなければ、つまり軽減策が成功した場合には、方法はステップ１５１８に進み、演技又は他のキャラクターとしての行動が継続される。あるいは、安全に関わる状況が存続していれば、つまり軽減策が失敗した場合には、方法１５００はステップ１５２０に進み、そこでロボット１１０がキャラクターコンティンジェンシー対策を実施する。そうすることで、ロボット１１０は、一時的にキャラクターを中止して第１の安全に関わる状況を解消し、その後キャラクターに戻ることができる。

概して、図１２Ａ〜１４Ｂにおいて、ロボット１１０内の様々なサブシステムが、説明した方法で相互運用するように構成され、ロボット１１０が、安全性とキャラクターとしての行動を同時に維持できるという有利な特徴が付与される。従って、ロボット１１０は、とりわけテーマパーク等、多数の人々が存在し得る環境における展開に適することができる。従って、ロボット１１０は、継続してキャラクターとしての行動を維持せず、付近の人々に安全上の脅威を与える可能性がある、従来の産業用ロボットと比較して大幅な改善を示している。

ロボット１１０に組み込まれた様々な安全機能に加え、ロボット１１０は、従来のロボットでは成し遂げるのが困難又は不可能であろうと思われる、複雑な社会的シナリオに対処するようにも構成されている。来場者１５０と社会的に相互作用するためにロボット１１０によって実行される様々な技術について、図１６〜１９に関連して以下に詳述する。

社会的合図のプログラム的解釈
図１６は、様々な実施形態による、図２のソーシャルサブシステムをより詳細に示す図である。ソーシャルサブシステム２６４は、概して、ロボット１１０が動作する社会環境を分析し、一般に受け入れられている社会規範に適合し得る、ロボットの特定の行動を調整する役割を担っている。

図示のように、ソーシャルサブシステム２６４は、複数のシーケンサー１６００を有している。所与の行動シーケンサー１６００は、特定の社会的状況の発生を識別し、その社会的状況に相応しい、１つ以上の行動をロボット１１０に実行させるように構成されている。簡単な例において、所与のシーケンサー１６００は、来場者１５０がロボット１１０を抱きしめたいと願っていると判定して、ロボット１１０に抱擁動作を実行させることができる。ロボット１１０は、状況に応じて、これ等の行動をキャラクターとして、又はキャラクターを離脱して実行することができる。

各々のシーケンサー１６００は、合図評価器１６１０、及び一連の行動シーケンサー１６２０を有している。所与のシーケンサー１６００内の合図評価器１６１０は、１つ以上の関連する社会的合図を検出するように構成されている。行動シーケンス１６２０は、潜在的に特定のシーケンスで、これ等の合図に応じて実行され得る様々な行動を含んでいる。ソーシャルサブシステム２６４が、多くの異なるシーケンサー１６００を有しているので、ロボット１１０は、多数の検出された合図に適切に応答することによって、多種多様な社会的状況をうまく切り抜けるように構成することができる。

シーケンサー１６００は、ロボット１１０のリアルタイム動作中、環境データ１６３０を処理して、社会的合図を検出するように構成されている。環境データ１６３０は、生のセンサーデータ、及びセンサーデータに基づいて生成されたメタデータを含むことができる。例えば、環境データは、３Ｄ ＬＩＤＡＲポイントクラウドデータ、及び来場者が占有する三次元空間の特定の領域を示すデータを含み得る。シーケンサー１６００の一部又は全部は、常時環境データを能動的に処理して、様々な社会的合図を検出することができる。

例えば、シーケンサー１６００（０）が、合図評価器１６１０（０）を実行して、近くにいる来場者の集団が写真を撮りたいと思っているか否かの判定を下し、シーケンサー１６００（１）が、合図評価器１６１０（１）を実行して、近くにいる子供がダンスをしたいと思っているか否かの判定を下すことができるであろう。所定のシーケンサー１６００が、対応する社会的合図を検出した場合、当該シーケンサー１６００は、ロボット１１０に関連する行動シーケンス１６２０を実行させることができる。前述の例において、合図評価器１６１０（０）が近くにいる来場者の集団が写真を撮りたいと思っていると判定した場合、シーケンサー１６１０（０）は、ロボット１１０に、その人々の集団と一緒にポーズを取らせることができる。

動作において、所与のシーケンサー１６００は、特定の合図の検出、その合図に関連する行動の実行、次いで、環境データ１６３０の最評価を通した、更なる潜在的に関連する合図の識別を含む、密接に結合したフィードバックループにおいて、合図評価器１６１０及び行動シーケンス１６２０を実行する。関連する合図が検出された場合には、シーケンサー１６００は、行動シーケンス１６２０内の別の行動を実施することができる。図１７Ａ〜１７Ｂ、及び１８は、ソーシャルサブシステム２６４が、特定の社会的状況に関連する社会的合図をどのように検出して応答するかを示す、２つの異なる例を示す図である。

図１７Ａ〜１７Ｂは、様々な実施形態による、１人以上のテーマパークの来場者と相互作用するときに、図１の自律ロボットが実行する例示的なロジックを示す図である。この例において、ロボット１１０は、ロボット１１０を遮りたいと思っている来場者１５０に関わる社会的状況に直面している。ソーシャルロジック１７００は、ソーシャルサブシステム２６４が、この状況に対するキャラクターとして、及びキャラクターを離脱した様々な応答の調整方法を説明している。特に、ソーシャルロジック１７００は、ロボット１１０が置かれるであろうと思われる様々な状態、及びその状況に対応する際に、ロボット１１０が実行し得る様々な行動を含んでいる。

図示のように、当初、ロボット１１０は、ロボット１１０が幸せな気分に関連するキャラクターとしての行動を醸し出す、状態１７０２にある。環境データ１６３０に基づいて、ロボット１１０は、ロボット１１０の真正面に、身長が低く、従って子供である可能性が高い来場者１５０の存在を検出する。検出された来場者１５０は、構成可能な半径を有するロボット１１０を囲む「個人空間」の境界内に存在している可能性がある。これに応じ、ロボット１１０は、新しい移動の通過点を生成し、それに向かって移動するために、アクション１７０４を実行する。

しかし、環境データ１６３０に基づいて、ロボット１１０は依然としてロボット１１０の真正面にいる来場者１５０の存在を検出する。従って、ロボット１１０は、アクション１７０６を実行し、新しい移動通過点の生成及びそれに向けて移動するプロセスを繰り返す。環境データ１６３０の分析は、依然として来場者１５０が存在していることを示しているため、ロボット１１０は、アクション１７０８を介して、最後に来場者を迂回しようと試みる。ロボット１１０の試みは失敗し、環境データ１６３０は、引き続きロボット１１０の真正面に来場者１５０の存在を示している。

この時点において、ロボット１１０は、来場者１５０がロボット１１０の進路を妨害し、恐らく遊びたいと思っていることを示す、特定の社会的合図を識別する。所与の合図評価器１６１０は、この特定の状況を検出するように構成することができ、例えば、人がロボット１１０を妨害する可能性が非常に高いことを示すことができるであろう。１つの実施形態において、所与の合図評価器１６１０は、ロボット１１０の真正面にいる人を繰り返し検出する等、１つ以上の状況に基づいて、この特定の社会的合図を検出するように、環境データに基づいて訓練された機械学習モデルを含んでいる。

この社会的合図に応じ、ロボット１１０は、対応する行動シーケンス１６２０を実行開始して、アクション１７１０を実行し、これによって、ロボットは、キャラクターとして踊る動作を実行して、来場者１５０と社会的に関わろうとする。その後、合図評価器１６１０は、アクション１７１２を介して、進路が空き、来場者１５０が立ち去ったか否かを判定することができる。進路が空いた場合、ロボット１１０は状態１７１４に移行し、幸せな気分に戻る。

そうでなければ、ロボット１１０は状態１７１６に移行し、ここでも、来場者１５０がロボット１１０を妨害し続けていると判定する。この時点において、合図評価器１６１０は、来場者１５０が遊び心ではなく、意図的にロボット１１０を妨害していることを示す、関連する社会的合図を識別することができる。かかる行動は、概して、他の来場者１５０に対するロボット１１０の娯楽的価値が低下する恐れがあるため、受け入れられない。また、他者の意図的な妨害は好ましくない行動であり、テーマパーク等、家族に優しい環境において奨励されるべきではない。

ここで、図１７Ｂにおいて、ロボット１１０は、状態１７１８に入り、「どきなさい！」と言うことによって、はっきりと忠告して継続的な妨害を止めさせようと試みる。次いで、アクション１７２０を介して、ロボット１１０は、来場者１５０の存在が継続しているか否か判定する。来場者が引き続きロボット１１０を妨害している場合には、ロボット１１０は、状態１７２２に入り、再び説得を試み、次いで、アクション１７２６を実行して、（合図評価器１６１０を介して）状況を再評価する。前述の行動によって、所定の時間内に妨害者を排除することができない状況下において、合図評価器１６１０は、関連する動作シーケンス１６２０における追加の行動を実施するか、又は、別法として、ロボット１１０の行動に対する制御を放棄し、別の状況判定器に異なる行動シーケンスを調整させることができる。

この例において、ロボット１１０は戦術を変更し、ロボット１１０が来場者１５０の同情に訴えるために悲しみを醸し出す、状態１７３０に移行する。前の行動と同様に、ロボット１１０は、その後、状況を再評価し、行動が成功した場合には幸せな気分に戻る。来場者１５０が悲しみに反応しない場合には、ロボット１１０は更なる社会的相互作用に関わることを拒絶する。概して、悲しみに対する無感覚は反社会的行動とみなされ、来場者１５０との更なる関わりは、この容認できない行動を助長する。ロボット１１０は、状態１７３６に入り、関連する合図評価器１６１０が、来場者１５０が去ったと判定するまで何もしない。来場者が最終的に去ったとき、ロボット１１０は状態１７４０〜１７４２に進む。

前述の例は、この特定のシナリオが無視できない頻度で発生するため、ロボット１１０のテーマパーク展開に特に適している。これ等の種類の状況に対処するために、ソーシャルサブシステム２６４は、前述の行動のいずれかを実行するのに十分な数の合図評価器１６１０及び行動シーケンス１６２０で事前にプログラムされている。一部の実施形態において、ソーシャルサブシステム２６４は、所与の行動シーケンス１６２０内のすべての行動を使い果たした後、別のシーケンサー１６００に移行する。別の実施形態において、各々のシーケンサー１６００は、社会的相互作用のクラス全体を調整するようにプログラムされている。ソーシャルサブシステム２６４が処理するように構成さている、別の例示的な社会的状況について、図１８に関連して以下に説明する。

図１８は、様々な実施形態による、図１の自律ロボットが、テーマパークの来場者と相互作用するときに実行する例示的なロジックを示す図である。この例において、ロボット１１０は、友好的にロボット１１０と一緒に歩きたいと望む来場者１５０を含む社会的状況を認識してそれに参加する。ソーシャルロジック１８００は、ソーシャルサブシステム２６４が、この状況に対するキャラクターとしての様々な対応をどのように調整するかについて記述している。ソーシャルロジック１７００と同様に、ソーシャルロジック１８００は、ロボット１１０が置かれるであろうと思われる様々な状態、及びその状況に対応する際に、ロボット１１０が実行し得る様々な行動を含んでいる。

図示のように、当初、ロボット１１０は、ロボット１１０が幸せな気分に関連するキャラクターとしての行動を醸し出す、状態１８０２にある。環境データ１６３０に基づいて、ロボット１１０は、ロボット１１０の左側、かつロボット１１０を囲む個人空間内の来場者１５０の存在を検出する。関連する合図検出器１６１０を介して、ロボット１１０は、来場者１５０が近接していることを、来場者の個人空間を尊重するために、ロボット１１０が邪魔にならないように移動すべきであるという社会的合図として解釈する。それに応じ、ロボット１１０は、新しい移動の通過点を生成し、それに向かって移動することによって、来場者の個人空間とロボット１１０の個人空間との競合を回避するために、アクション１８０４を実行する。

次いで、ロボット１１０は、左腕２４２（１）に持続した接触を検出する。合図評価器１６１０は、この相互作用は、来場者１５０が愛情を表明したいことを意味していると解釈することができる。従って、ロボット１１０は状態１８０６に入り、関連する行動シーケンス１６２０内の適切な行動を実施する。例えば、ロボット１１０は幸せな気分を醸し出し、ゲスト１５０と社会的に関わり合うことができる。ロボット１１０は、状態１８０８を継続して、来場者１５０を見ることを含む、シーケンス内の更なる行動を実施することもできる。

前述のように、ソーシャルサブシステム２６４は、予想される様々な社会的状況に対処し、キャラクターとしての行動を介してこれ等の状況に加わるように、事前にプログラムすることができる。加えて、ソーシャルサブシステム２６４は、互いに相互運用するように構成された多数のシーケンサー１６００を含むことによって、様々な社会的状況間をシームレスに移行することができる。図１９は、社会的状況を管理する一般的な手法を示す図である。

図１９は、様々な実施形態による、ロボットを社会的相互作用に参加させる方法ステップのフローチャートである。この方法ステップは、図１〜４及び１６〜１８に関連して説明されているが、当業者は、任意の順序で方法ステップを実行するように、任意のシステムを構成することができることを理解するであろう。

図示のように、ステップ１９０２において開始し、ロボット１１０内のソーシャルサブシステム２６４が、環境データの分析に基づいて、第１の状況が満足されていると判定する。例えば、図１７Ａ〜１７Ｂに関連して前述したように、ソーシャルサブシステム２６４は、現在、来場者１５０が、ロボット１１０の真正面に存在していると判定することができるであろう。ソーシャルサブシステム２６４は、合図評価器１６１０を実行して、特定の合図に関連する状況が満足されているか否かを識別する。ステップ１９０４において、ソーシャルサブシステム２６４は、第１の状況が持続しているか否かを判定する。

第１の状況が存続していない場合には、ソーシャルサブシステム２６４は、ロボット１１０が現在の行動を継続することを許可する。しかし、第１の状況が存続又は繰り返されている場合には、方法１９００はステップ１９０８に進む。例えば、図１７Ａ〜１７Ｂに関連して説明した例を参照すると、ソーシャルサブシステム２６４は、来場者１５０がロボット１１０の真正面の位置を占有し続けていると判定することができる。１つの実施形態において、ソーシャルサブシステム２６４は、第１の状況を軽減するための１つ以上の行動を実施した後、ステップ１９０４を実行する。

ステップ１９０８において、ソーシャルサブシステム２６４は、社会的相互作用の発生を示す第１の状況に関連する社会的合図を識別する。ソーシャルサブシステム２６４は、例えば、１つ以上の合図評価器１６１０を実行して、第１の状況の存続が、１人以上の来場者１５０が、ロボット１１０を特定の社会的相互作用に参加させたいことを示唆していると判定することができるであろう。ステップ１９１０において、ソーシャルサブシステム２６４は、ロボット１１０に、社会的相互作用に関連する社会的行動を実行させる。例えば、図１７Ａ〜１７Ｂに関連して前述したように、ソーシャルサブシステム２６４は、来場者１５０が社会的に関わることを望んでいると判定すると、ロボット１１０にキャラクターとして踊る行動を実行させることができるであろう。

ステップ１９１２において、ソーシャルサブシステム２６４は、社会的相互作用が一連の継続基準を満足しているか否かを判定する。概念的には、所与の継続基準は、ロボット１１０が、行動シーケンス１６２０の同じセットを介して社会的相互作用を継続すべきか、又は行動シーケンスの別のセットに移行すべきかを示す。例えば、図１７Ａ〜１７Ｂの例において、ソーシャルサブシステム２６４は、来場者１５０を迂回する試みを続行すべきか、「幸せな気分」に移行すべきかを決定する前に、来場者１５０が去ったか否かを判定する。継続基準は、ソーシャルサブシステム２６４が参加するように構成されていることが、関連する合図評価器１６１０を介して評価することができる、各々の社会的相互作用に対して個別に定義することができる。

ステップ１９１２において、ソーシャルサブシステム２６４が、社会的相互作用が継続基準を満足していると判定した場合には、方法１９００はステップ１９１０に戻り、ソーシャルサブシステム２６４は、社会的相互作用に関連する別の社会的行動を実行する。１つの実施形態において、ソーシャルサブシステム２６４は、所与の行動シーケンス１６２０内の行動を、すべての行動が使い果たされるまで実行する。

ステップ１９１２において、ソーシャルサブシステム２６４が、社会的相互作用が継続基準を満足していないと判定した場合には、方法１９００は、ソーシャルサブシステム２６４が別の行動を開始するステップ１９１４に進む。そうすることによって、ソーシャルサブシステム２６４が、別のシーケンサー１６００を実行して、社会的相互作用の戦術を変更することも、ソーシャルサブシステム２６４が、ロボット１１０に対する制御を完全に別のサブシステムに戻すこともできる。例えば、ソーシャルサブシステム２６４は、社会的相互作用が完了したと判定して、所与の目的地に向けた移動に戻ることができるであろう。

方法１９００は、ソーシャルサブシステム２６４に含まれている１つ以上のシーケンサー１６００のいずれかによって実行され、多くの異なる社会的状況に社会的に正しい方法で対応する。これ等のシーケンサーの各々は、異なる一連の状況、関連する合図、及び継続基準を検出するようにプログラムすることができる。加えて、任意の所与のシーケンサー１６００は、例えば、現在の社会的相互作用戦略を調整するために、方法１９００を実行して、ロボット１１０の制御を異なるシーケンサー１６００に移行することができる。

概して、図１〜１９において、これ等の図は、図１〜４に関連して詳述したロボット１１０に関連して説明した図であるが、当業者は、ロボット１１０の動作を実行するように構成された任意のシステムが本実施形態の範囲内に属することを理解するであろう。ロボット１１０及びロボットに含まれている任意の構成要素は、図２０に関連して以下に説明する汎用コンピューティング装置の１つ以上のインスタンスを介して実行することができる。

図２０は、様々な実施形態による、図１の自律ロボットが備えることができるコンピューティング装置のブロック図である。図示のように、コンピューティング装置２０００は、プロセッサ２０１０、入出力（Ｉ／Ｏ）装置２０２０、及びメモリ２０３０を備えている。メモリ２０３０は、ソフトウェアアプリケーション２０３２、及びデータベース２０３４を含んでいる。プロセッサ２０１０は、データを処理し、ソフトウェアアプリケーションを実行するように構成された任意のハードウェアであってよい。Ｉ／Ｏ装置２０２０は、入力を受信するように構成された装置、出力を与えるように構成された装置、及び入力を受信して出力を与えるように構成された装置を有することができる。メモリ２０３０は、技術的に実現可能な任意の記憶媒体によって実現することができる。ソフトウェアアプリケーション２０３２は、プロセッサによって実行されると、本明細書に記載の動作及び／又は機能のいずれかを遂行するプログラムコードを含んでいる。ソフトウェアアプリケーション２０３２は、データベース２０３４に保存されているデータにアクセスすることができる。当業者は、コンピューティング装置２０００が例示のみを目標として示してあり、本実施形態の範囲を限定することを意味するものではないことを理解するであろう。

様々な実施形態は、ロボットに、第１の動作セットを実行させながら、安全に関わるリスクを軽減させる技術に関している。これ等の技術には、ロボットに、第１の動作セットに含まれている第１の動作を実行させ、分析したセンサーデータに基づいて、安全に関わるリスクの存在を判定し、安全に関わるリスクを軽減する必要がある第１の時間間隔を決定し、安全に関わるリスクが第１の時間間隔内に軽減されない場合、セーフティサブシステムが、第１の動作セットに含まれていない第２の動作を実行し、ロボットに、安全に関わるリスクを軽減するために、第１の動作セットに含まれている第３の動作を実行させ、安全にかかわるリスクが第１の時間間隔内に軽減された場合、セーフティサブシステムが、第２の動作を中止することが含まれるが、これに限定されるものではない。

様々な別の実施形態は、ロボットに、演技に関連する一連の動作を実行させながら、社会的相互作用にうまく対応させる技術に関している。これ等の技術には、ロボットに、一連の動作に含まれている第１の動作を実行させ、分析したセンサーデータに基づいて、第１の社会的相互作用の発生を示す第１の社会的合図を識別し、ロボットに、一連の動作に含まれ、かつ第１の社会的相互作用に対応する第２の動作を実行させ、第１の社会的相互作用が存続していることを判定し、ロボットに、第１の社会的相互作用を回避するために、一連の動作に含まれていない第３の動作を実行させることが含まれるが、これに限定されるものではない。

要約すれば、対話型自律ロボットが、社会環境における展開に相応しいように構成されている。開示したロボットは、ロボットの状況に応じて、キャラクターとしての様々な行動を選択するように構成されたショーサブシステムを備え、それによって、技術的な故障が発生しても、ロボットをキャラクターとして見せることができる。開示したロボットは、セーフティプロトコルを実行する必要があるとき、キャラクターとしての行動に介入するように構成されたセーフティサブシステムを更に備えている。開示したロボットは、人間の社会的行動を解釈し、それに応じて特定の行動シーケンスを開始する、ソーシャルサブシステムも含んで構成されている。

開示した技術の少なくとも１つの利点は、１つ以上のロボットのサブシステムが故障しても、ロボットをキャラクターとして行動しているように見せることができることである。従って、ロボットの部分的故障の間、キャラクターと来場者との相互作用を中断する必要がない。もう１つの利点は、ロボットがキャラクターを中止することなく、多数の安全に関わる状況に対応するように構成され、更に、どうしても必要な場合には、キャラクターを中止する能力を保持していることである。更に別の利点は、ロボットがキャラクターに留まりながら、潜在的に困難な多くの社会的状況を識別し対応することができ、これによって、ロボットが所与のキャラクターをどれだけうまく表現できるかということに関し、更に向上させることができることである。本明細書に開示のロボットは、幾つかの特定の技術的課題に対処しているため、開示した技術は、先行技術を超える複数の技術的進歩を提供する。

１．一部の実施形態は、動作中、ロボットに社会的相互作用に対応させるコンピュータ実装方法を含み、本方法は、前記ロボットが、演技に関連する第１の動作セットに含まれている１つ以上の動作を実行している間、センサーデータを分析するステップと、センサーデータに基づいて、前記ロボットとの第１の社会的相互作用の発生を示す、第１の社会的合図を識別するステップと、前記第１の社会的合図の識別に応じ、前記ロボットに、前記第１の社会的相互作用に対応する、第２の動作セットに含まれている第２の動作を実行させるステップとを含んでいる。

２．前記センサーデータを更に分析して、前記第１の社会的合図が繰り返されたと判定するステップと、前記第１の社会的合図が繰り返されたとの判定に応じ、前記ロボットに、前記第１の社会的相互作用への参加を中止させるために、前記第２の動作セットに含まれていない第３の動作を実行させるステップとを更に含む、１項記載のコンピュータ実装方法。

３．前記センサーデータを更に分析して、前記第１の社会的合図が、再度繰り返されたと判定するステップと、前記第１の社会的合図が再度繰り返されたとの判定に応じ、前記ロボットに、動作を停止させるステップとを更に含む、１項又は２項記載のコンピュータ実装方法。

４．前記センサーデータを更に分析して、前記第１の社会的合図が停止したと判定するステップと、前記ロボットに、動作を再開させるステップとを更に含む、１〜３項いずれか１項記載のコンピュータ実装方法。

５．前記センサーデータが、前記社会的合図が、時間間隔内に、少なくとも１回繰り返されたことを示す、１〜４項いずれか１項記載のコンピュータ実装方法。

６．前記センサーデータが、障害物が前記ロボットに対応する現在の進路と交差することを示す、１〜５項いずれか１項記載のコンピュータ実装方法。

７．前記センサーデータが、障害物が前記ロボットを囲む境界内に存在していることを示す、１〜６項いずれか１項記載のコンピュータ実装方法。

８．前記第１の動作セットが、実行されると、ロボットが、起点から演技に関連する目的地まで移動する、少なくとも１つの移動動作を含む、１〜７項いずれか１項記載のコンピュータ実装方法。

９．一部の実施形態が、ロボットシステムを含み、本システムは、少なくとも１つのソフトウェアモジュールを記憶するメモリと、プロセッサであって、前記少なくとも１つのソフトウェアモジュールを実行すると、演技に関連する第１の動作セットに含まれている１つ以上の動作を実行している間、センサーデータを分析するステップと、センサーデータに基づいて、第１のエンティティとの第１の社会的相互作用の発生を示す、第１の社会的合図を識別するステップと、前記第１の社会的合図の識別に応じ、前記第１の社会的相互作用に対応する、第２の動作セットに含まれている第２の動作を実行するステップと、を実行するように構成されたプロセッサとを備えている。

１０．前記プロセッサが、前記センサーデータを更に分析して、前記第１の社会的合図が繰り返されたと判定するステップと、前記第１の社会的合図が繰り返されたとの判定に応じ、前記第１の社会的相互作用への参加を中止するために、前記第２の動作セットに含まれていない第３の動作を実行するステップを実行するように更に構成された、９項記載のロボットシステム。

１１．前記プロセッサが、前記センサーデータを更に分析して、前記第１の社会的合図が、再度繰り返されたと判定するステップと、前記第１の社会的合図が再度繰り返されたとの判定に応じ、前記１つ以上の動作を停止するステップと、前記センサーデータを更に分析して、前記第１の社会的合図が停止したと判定するステップと、前記ロボットに動作を再開させるステップと、を実行するように更に構成された、９項又は１０項記載のロボットシステム。

１２．前記センサーデータが、前記社会的合図が、時間間隔内に、少なくとも１回繰り返されたことを示している、９〜１１項いずれか１項記載のロボットシステム。

１３．前記センサーデータが、障害物が前記１つ以上の動作に対応する現在の進路と交差することを示している、９〜１２項いずれか１項記載のロボットシステム。

１４．前記センサーデータが、前記第１のエンティティが、前記１つ以上の動作が行われる第１の領域内に存在していることを示している、９〜１３項いずれか１項記載のロボットシステム。

１５．前記第１の動作セットが、起点から演技に関連する目的地まで移動するために実行される、少なくとも１つのナビゲーション動作を含む、９〜１４項いずれか１項記載のロボットシステム。

１６．前記第１の動作セットが、前記第１のエンティティとの衝突を回避するために実行される、少なくとも１つのナビゲーション動作を含む、９〜１５項いずれか１項記載のロボットシステム。

１７．前記第２の動作セットが、前記第１の社会的相互作用への参加を中止するために実行される、少なくとも１つの動作を含む、９〜１６項いずれか１項記載のロボットシステム。

１８．一部の実施形態が、プロセッサによって実行されると、ロボットの動作中、前記プロセッサに、前記ロボットが、演技に関連する第１の動作セットに含まれている１つ以上の動作を実行している間、センサーデータを分析するステップ、センサーデータに基づいて、前記ロボットとの第１の社会的相互作用の発生を示す、第１の社会的合図を識別するステップ、前記第１の社会的合図の識別に応じ、前記ロボットに、前記第１の社会的相互作用に対応する、第２の動作セットに含まれている第２の動作を実行させるステップを実行させることによって、社会的相互作用に対応させるプログラム命令を記憶する非一時的コンピュータ可読媒体を含んでいる。

１９．前記センサーデータを更に分析して、前記第１の社会的合図が繰り返されたと判定するステップと、前記第１の社会的合図が繰り返されたとの判定に応じ、前記ロボットに、前記第１の社会的相互作用への参加を中止させるために、前記第２の動作セットに含まれていない第３の動作を実行させるステップとを更に含む、１８項記載の非一時的コンピュータ可読媒体。

２０．前記センサーデータを更に分析して、前記第１の社会的合図が、再度繰り返されたと判定するステップと、前記第１の社会的合図が再度繰り返されたとの判定に応じ、前記ロボットに、動作を停止させるステップとを更に含む、１８項又は１９項記載の非一時的コンピュータ可読媒体。

いずれかの請求項に列挙された、いずれかの請求項要素、及び／又は本願に記載のいずれか要素のあらゆる組み合わせは、如何なる形態であっても、意図される本実施形態及び保護の範囲に属する。

様々な実施形態の説明は、例示を目標として示したものであって、すべてを網羅するものでも、開示した実施形態を限定することを意図するものでもない。記載された実施形態の範囲及び精神から逸脱することなく、多くの改良及び変形が当業者には明らかであろう。

本実施形態の態様は、システム、方法、又はコンピュータプログラム製品として具現化することができる。従って、本開示の態様は、完全にハードウェアの実施形態、（ファームウェア、常駐ソフトウェア、マイクロコード等を含む）完全にソフトウェアの実施形態、又は本明細書において、概して、「モジュール」、「システム」、又は「コンピュータ」と呼ぶことができる、ソフトウェアとハードウェアの態様を組み合わせた実施形態を取り得る。更に、本開示の態様は、内部に具現化されたコンピュータ可読プログラムコードを有する、１つ以上のコンピュータ可読媒体に具現化された、コンピュータプログラム製品の形態を取ることができる。

１つ以上のコンピュータ可読媒体の任意の組み合わせを使用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であってよい。コンピュータ可読記憶媒体は、例えば、電子、磁気、光学、電磁、赤外線、又は半導体システム、装置、又はデバイス、あるいはこれ等の任意の適切な組み合わせであってよいが、これに限定されるものではない。コンピュータ可読記憶媒体の更に具体的な例（非包括リスト）には、１つ以上のワイヤを有する電気接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去プログラム可能読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバー、ポータブルコンパクトディスク読み取り専用メモリ（ＣＤ‐ＲＯＭ）、光学記憶装置、磁気記憶装置、又はこれ等の適切な組み合わせが含まれているであろう。本ドキュメントの文脈において、コンピュータ可読記憶媒体は、命令を実行するシステム、装置、又はデバイスによって、あるいはそれに関連して使用される、プログラムを包含又は記憶することができる任意の有形媒体であってよい。

本開示の態様は、本開示の実施形態による方法、装置（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照して前述されている。フローチャート及び／又はブロック図の各ブロック、及びフローチャート及び／又はブロック図におけるブロックの組み合わせは、コンピュータプログラム命令によって実現できることが理解されるであろう。これ等のコンピュータプログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能なデータ処理装置のプロセッサに与えて、マシンを生成することができる。コンピュータのプロセッサ又は別のプログラム可能なデータ処理装置によって命令が実行されると、フローチャート及び／又はブロック図若しくはブロックで示される機能／行動の実行が可能になる。かかるプロセッサは、汎用プロセッサ、専用プロセッサ、特定用途向けプロセッサ、又はフィールドプログラマブルゲートアレイであってよいが、これに限定されるものではない。

図のフローチャート及びブロック図は、本開示の様々な実施形態による実現可能なシステム、方法、及びコンピュータプログラム製品のアーキテクチャ、機能、及び動作を示している。これに関し、フローチャート又はブロック図の各ブロックは、指定された論理機能を実行する１つ以上の実行可能な命令を含むモジュール、セグメント、又はコードの一部を表すことができる。また、一部の代替実装形態において、ブロックに記載された機能が、図に記載された順序と異なる順序で発生し得ることに留意されたい。例えば、連続して示された２つのブロックは、実際には、実質的に同時に実行されるか、又は含まれている機能に応じ、ブロックが逆の順序で実行される場合があり得る。また、ブロック図及び／又はフローチャートの各々ブロック、及びブロック図及び／又はフローチャートのブロックの組み合わせは、指定された機能又は動作を実行する専用ハードウェアベースシステム、又は専用ハードウェアとコンピュータ命令の組み合わせによって実現することができることにも留意されたい。

前述は本開示の実施形態に関するものであるが、その基本的な範囲から逸脱することなく、本開示の別の更なる実施形態が考案可能であり、その範囲はこれに続く特許請求の範囲によって決定される。

１００ システム
１１０ 自律ロボット
１２０ バックオフィス
１２２ ロボットインターフェース
１２４ ショーインターフェース
１２６ 操作インターフェース
１３０ カメラ
１４０ ネットワーク
１５０ 来場者
１６０ ショー要素
１７０ 別の自律ロボット
２２２ ショーサブシステム
２３６ セットピースＩ／Ｏ
２６０ セーフティサブシステム
２６４ ソーシャルサブシステム
５００、２０００ コンピューティングデバイス
５１０ センサー
５２０ 放射体
２０１０ プロセッサ
２０２０ Ｉ／Ｏデバイス
２０３０ メモリ
２０３２ ソフトウェアアプリケーション
２０３４ データベース

Claims (9)

1. ロボットシステムであって、
   少なくとも１つのソフトウェアモジュールを記憶するメモリと、
   プロセッサであって、前記少なくとも１つのソフトウェアモジュールを実行すると、
   演技に関連する第１の動作セットに含まれている１つ以上の動作を実行している間、センサーデータを分析するステップと、
   センサーデータに基づいて、第１のエンティティとの第１の社会的相互作用の発生を示す、第１の社会的合図を識別するステップと、
   前記第１の社会的合図の識別に応じ、前記第１の社会的相互作用に対応する、第２の動作セットに含まれている第２の動作を実行するステップと、
   を実行するように構成されたプロセッサと、
   を備えたことを特徴とするロボットシステム。
2. 前記プロセッサが、
   前記センサーデータを更に分析して、前記第１の社会的合図が繰り返されたと判定するステップと、
   前記第１の社会的合図が繰り返されたとの判定に応じ、前記第１の社会的相互作用への参加を中止するために、前記第２の動作セットに含まれていない第３の動作を実行するステップと、
   を実行するように更に構成されたことを特徴とする、請求項１記載のロボットシステム。
3. 前記プロセッサが、
   前記センサーデータを更に分析して、前記第１の社会的合図が、再度繰り返されたと判定するステップと、
   前記第１の社会的合図が再度繰り返されたとの判定に応じ、前記１つ以上の動作を停止するステップと、
   前記センサーデータを更に分析して、前記第１の社会的合図が停止したと判定するステップと、
   前記ロボットに動作を再開させるステップと、
   を実行するように更に構成されたことを特徴とする、請求項２記載のロボットシステム。
4. 前記センサーデータが、前記社会的合図が、時間間隔内に、少なくとも１回繰り返されたことを示していることを特徴とする、請求項１記載のロボットシステム。
5. 前記センサーデータが、障害物が前記１つ以上の動作に対応する現在の進路と交差することを示していることを特徴とする、請求項１記載のロボットシステム。
6. 前記センサーデータが、前記第１のエンティティが、前記１つ以上の動作が行われる第１の領域内に存在していることを示していることを特徴とする、請求項１記載のロボットシステム。
7. 前記第１の動作セットが、起点から演技に関連する目的地まで移動するために実行される、少なくとも１つのナビゲーション動作を含むことを特徴とする、請求項１記載のロボットシステム。
8. 前記第１の動作セットが、前記第１のエンティティとの衝突を回避するために実行される、少なくとも１つのナビゲーション動作を含むことを特徴とする、請求項１記載のロボットシステム。
9. 前記第２の動作セットが、前記第１の社会的相互作用への参加を中止するために実行される、少なくとも１つの動作を含むことを特徴とする、請求項１記載のロボットシステム。

Images