JP2022520075A - 物体方向検出システム - Google Patents

Abstract

乗り物の顔方向システムは、１以上のセンサと、コントローラと、を含む。コントローラは、１以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取り、乗り物カートデータに基づいて乗り物カート方向を判定し、１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示すゲストの位置データを受け取り、乗り物カート方向および位置データに基づいて、ゲストの顔方向、顔回転またはこれらの組み合わせを判定し、判定された顔方向、顔回転またはこれらの組み合わせに基づいて、判定された顔方向、顔回転またはこれらの組み合わせを示すデータをその後の制御のために下流コントローラに送信する。【選択図】図１

Description

本開示は、一般にカメラベースの物体検出の分野に関する。具体的には、本開示の実施形態は、カメラを使用して物体方向を識別するシステムおよび方法に関する。

多くの事例では、物体の方向を理解することが有用な場合がある。従来は、物体の方向検出を容易にするのに役立つように、ウェアラブル装置またはその他の既知の物体特徴が使用されてきた。しかしながら、ウェアラブル装置の提供および利用はコストが高く面倒な場合がある。さらに、既知の特徴は物体によって異なることがあり、従って検出して基準として使用するのが難しい場合もある。

たとえば、多くの遊園地型乗り物は、たとえば軌道によって定められた乗り物経路に沿って乗客を運ぶ乗り物車両を含む。乗り物経路は、乗り物のコースを通じて、トンネル、旋回部、上り坂、下り坂およびループなどを含む複数の特徴を含むことができる。乗り物経路は、補足コンテンツの提供および／またはゲストの没入的体験の向上を図ることができる、照明効果、アニメフィギュアまたはロボットフィギュアなどのショーシーン特徴を含むこともできる。しかしながら、娯楽用乗り物の中には複雑なものもあるため、ゲストが乗り物経路沿いのショーシーン特徴を見ている時に特徴を作動または停止させることなどのために乗り物内のゲストの身体および／または顔の向きを判定することは、ゲスト用ウェアラブルライドギアを使用しなければ困難な場合がある。とはいえ、ウェアラブルライドギアの提供はコストが高く、このようなギアを使用しない遊園地型乗り物とは対照的に実装にさらなる時間を必要とする場合がある。

以下、当初の特許請求の範囲の主題と同一範囲のいくつかの実施形態を要約する。これらの実施形態は、本開示の範囲を限定するものではなく、むしろいくつかの開示する実施形態の概要を示すものにすぎない。実際には、本開示は、以下に示す実施形態と類似し得るまたは異なり得る様々な形態を含むことができる。

本明細書で説明する実施形態は、遊園地乗り物上のゲストの顔方向および将来的な顔回転を追跡できるシステムに関する。本明細書で使用する「顔方向（ｆａｃｅ ｏｒｉｅｎｔａｔｉｏｎ）」という用語は、特定の回転角に関するゲストの頭部位置を意味する。「顔回転（ｆａｃｅ ｒｏｔａｔｉｏｎ）」という用語は、特定の回転角に到達するための頭部の実際の動きまたは動きの範囲を意味する。いくつかの実施形態では、システムが、乗り物上の乗り物カート方向と骨格追跡とを併用して顔方向および顔回転を判定することができる。他の実施形態では、システムが、顔および／または身体画像検出を使用して顔方向および顔回転と共に顔特徴を判定することができる。さらに、繰り返しの判定に基づいて顔方向を判定する際には、機械学習を使用することができる。

以下の説明は主に遊園地型乗り物に焦点を当てているが、このことに本発明の範囲を限定する意図はない。実際に、この物体方向検出システムは、遊園地型乗り物とは完全に異なる複数の異なる用途で使用することができる。

ある実施形態において、乗り物の顔方向システムは、１以上のセンサおよびコントローラを含む。コントローラは、１以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取り、乗り物カートデータに基づいて乗り物カート方向を判定し、１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示すゲストの位置データを受け取り、乗り物カート方向および位置データに基づいて、ゲストの顔方向、顔回転またはこれらの組み合わせを判定し、判定された顔方向、顔回転またはこれらの組み合わせに基づいて、判定された顔方向、顔回転またはこれらの組み合わせを示すデータをその後の制御のために下流コントローラに送信する。

ある実施形態において、方法は、１以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取ることと、乗り物カートデータに基づいて乗り物カート方向を判定することと、１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示すゲストの位置データを受け取ることと、乗り物カート方向および位置データに基づいて、ゲストの顔方向、顔回転またはこれらの組み合わせを判定することと、判定された顔方向、顔回転またはこれらの組み合わせに基づいて、判定された顔方向、顔回転または前記これらの組み合わせを示すデータをその後の制御のために下流コントローラに送信することと、を含む。

ある実施形態において、有形の非一時的な機械可読媒体は、機械可読命令を含み、この機械可読命令は、機械の１以上のプロセッサによって実行された時に、１以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取り、乗り物カートデータに基づいて乗り物カート方向を判定し、１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示すゲストの位置データを受け取り、乗り物カート方向および位置データに基づいて、ゲストの顔方向、顔回転またはこれらの組み合わせを判定し、判定された顔方向、顔回転またはこれらの組み合わせに基づいて、判定された顔方向、顔回転またはこれらの組み合わせを示すデータをその後の制御のために下流コントローラに送信する、ことを機械に行わせる。

全体を通じて同じ要素を同じ記号で示す添付図面を参照しながら以下の詳細な説明を読めば、本開示のこれらのおよびその他の特徴、態様および利点がより良く理解されるであろう。

本開示の実施形態による、乗り物経路沿いにショーシーンを有するアトラクションを含む遊園地乗り物のブロック図である。

ある実施形態による、ショーシーン特徴を制御するために使用されるショーシーンコントローラを含む顔方向システムの概略図である。

ある実施形態による、骨格追跡を使用して顔方向を判定し、その後にこの判定を使用してアニメフィギュアを制御する図２の顔方向システムのブロック図である。

ある実施形態による、ゲストの顔方向を判定するプロセスフロー図である。

以下、本開示の１以上の具体的な実施形態について説明する。これらの実施形態を簡潔に説明するために、本明細書では実施の特徴を全て説明していない場合もある。あらゆる工学または設計プロジェクトにおいて見られるようなあらゆるこのような実施の開発においては、実施によって異なり得るシステム関連およびビジネス関連の制約の順守などの開発者の個別の目的を達成するために、数多くの実施固有の決定を行わなければならないと理解されたい。さらに、このような開発努力は複雑で時間が掛かる場合もあるが、本開示の恩恵を受ける当業者にとっては設計、製作および製造という日常的な取り組みであると理解されたい。

本開示の様々な実施形態の要素を紹介する場合、「ａ」、「ａｎ」および「ｔｈｅ」といった冠詞は、これらの要素が１つまたは２つ以上存在することを意味するものとする。「備える（ｃｏｍｐｒｉｓｉｎｇ）」、「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語は、包括的なものとして意図されており、列記する要素以外のさらなる要素が存在できることを意味する。また、本開示の「ある実施形態」または「ある実施形態」についての言及は、記載する特徴も含むさらなる実施形態の存在を排除するものとして解釈されるように意図するものではないと理解されたい。

遊園地は、遊園地乗り物、実演ショーおよびゲームなどの幅広い娯楽を呼び物としている。異なるタイプの娯楽は、遊園地におけるゲストの体験を向上させる、乗り物経路沿いのテーマ別シーンなどのショーシーン特徴を含むことができる。ショーシーン特徴は、ゲストが特定のショーシーンを見ている間に作動する乗り物経路沿いの効果、物体または設備を含むことができる。たとえば、乗り物経路沿いのロボットフィギュアは、乗り物経路に沿ったカートおよび／またはゲストの存在が検出されたことに基づいて変化または作動する要素または物体を含むことができる。ショーシーンの変化は、アニメーション設備（ａｎｉｍａｔｅｄ ｅｑｕｉｐｍｅｎｔ）の変動、および照明、乗り物カートの位置の変化などを含むことができる。

典型的なショーシーン特徴（たとえば、照明、アニメーション）の作動は、アトラクションに関する、および／または乗り物経路沿いのショーシーン物体を見ているゲストに関する限られた情報によってトリガすることができる。たとえば、このトリガは、乗り物カートおよび／またはゲストの位置に基づくことができる。従って、乗り物経路上で提供されるショーシーン特徴は、乗り物カート内のゲスト位置にかかわらずオンになることができる。この結果、アトラクションの反復毎に一般的に実現される体験がそれほど個別化されないようにすることができる。

しかしながら、アトラクションゲストの特定の特徴に基づいてさらにカスタマイズされたアトラクション変化をもたらす、より粒度の高いトリガを提供することが望ましいと考えられる。本明細書では、乗り物に乗っている間にゲスト用フェイスギアまたはヘッドギアを使用することなく、乗り物に乗っている間のゲストの顔方向および顔旋回（ｆａｃｅ ｔｕｒｎｉｎｇ）の判定を容易にする技術を提供する。このゲストの顔方向および顔旋回の判定を使用して、ショーシーン特徴をトリガまたは初期化することができる。たとえば、ゲストの顔が乗り物経路上のショーシーン特徴を提供する特定の物体または設備の観察範囲内に存在するように向けられたことに応答して、アニメーションまたは特殊効果などのショーシーン特徴を提供することができる。一般に、乗り物カートは、ゲストの身体または頭が乗り物経路沿いの特徴を見るために動いて旋回している状態で乗り物経路に沿って移動する。効果およびアニメーションは、乗り物上のアクティブな乗り物カートの検出に応答して初期化するようにトリガすることができる。しかしながら、乗り物上で特殊効果またはアニメーションを提供する物体または設備の観察範囲内などの乗り物経路上の特定の位置における正確なゲストの顔方向および顔旋回を提供することは複雑なものとなり得る。

なお、本明細書で提供する実施例は、本ゲスト顔方向判定技術を使用して乗り物経路上のショーシーンにおける特徴の作動を容易にすることなどのように、一般に遊園地および乗り物アトラクションの文脈で示すことができるが、本開示における技術は、他の非遊園地関連の条件および／または文脈にも適用することができる。従って、本実施例は、説明に役立つ文脈を提供するために乗り物上の顔方向システムの実例を反映させたものにすぎないと理解すべきであり、本手法の適用可能性を限定するものとみなすべきではない。むしろ、本手法は、事業、娯楽などを目的として環境内で動いている（たとえば、顔の向きを変えている）人々または物体の正確な方向を判定できるあらゆる状況に適用可能であると理解されたい。

これらを踏まえて、図１は、本実施形態による、開示する顔方向システムと共に動作できる遊園地乗り物１００のブロック図である。具体的には、遊園地乗り物１００は、ゲストを含むまたは含まない１以上の乗り物カート１１２と、アニメフィギュア１０２、照明効果１０４およびディスプレイ１０６を含む、乗り物経路１０８沿いのショーシーン特徴と、を含むことができる。ショーシーン特徴は、乗り物カート１１２の方向と乗車ゲストの顔方向および／または頭部旋回とが検出されたことに基づいて変化するように作動することができる。

図示のように、アニメフィギュア１０２、照明効果１０４およびディスプレイ１０６などのショーシーン特徴は、ショーシーンコントローラ１１０を介して反応するように制御することができる。ある実施形態では、顔方向システムのショーシーンコントローラ１１０を、１以上のショーシーン特徴を制御するように集中化して、遊園地乗り物１００の乗り物経路１０８全体を通じて配置された少なくとも１つまたは２つ以上のショーシーン特徴に同期させることができる。ショーシーンコントローラ１１０は、ショーシーン特徴、乗り物カート１１２および／または乗り物経路１０８上またはその周囲に配置された１以上のセンサおよび／またはプロセッサを介して文脈的位置情報（たとえば、乗り物カート１１２の位置データ、並びにゲストの身体および／または頭部位置データ）を受け取る。顔方向システムは、この情報を使用して、図２で詳細に説明するように顔方向を判定することができる。

顔方向が判定されると、ショーシーン特徴を制御する１以上のシステムに、顔方向に基づいてショーシーン特徴のうちの１つまたは２つ以上をトリガするための制御信号を送信することができる。文脈的位置情報（たとえば、乗り物軌道１１６上の乗り物カート１１２の位置、並びにゲスト身体および／または頭部位置を示す感知データ）は、モニタリングシステム１１１にも送信することができる。モニタリングシステム１１１は、乗り物カート１１２の方向および顔方向に応答してショーシーンコントローラ１１０から送信されるアニメーションまたは照明制御信号などのショーシーン変化をモニタするだけでなく、ショーシーンコントローラ１１０を制御または再構成することもできる管理システムとすることができる。このように、モニタリングシステム１１１は、ショーシーン特徴の変化をリセットし、またはショーシーンコントローラ１１０によって決定されたアニメーションおよび効果を無効にすることができる。たとえば、図２で詳細に説明するように、ショーシーンコントローラ１１０は、ゲストがアニメフィギュア１０２の方を向いていることに応答して、アニメフィギュア１０２に自動的にアニメーションを送信することができる。同様に、乗り物オペレータ１２２がアニメフィギュア１０２にいずれかの問題点を発見した場合には、乗り物オペレータ１２２が、ショーシーンコントローラ１１０による決定の域を越えて、アニメーションを無効にする停止機構（たとえば、ボタン）を介して手動でアニメーションを停止することもできる。モニタリングシステム１１１は、ショーシーン上またはその周囲のセンサを再調整するために使用することもできる。さらに、モニタリングシステム１１１は、ショーシーンコントローラ１１０の顔方向判定アルゴリズムをリセットするために使用することもできる。いくつかの実施形態では、モニタリングシステム１１１およびショーシーンコントローラ１１０を単一のコントローラとして実装することができる。

上述したように、顔方向システムのショーシーンコントローラ１１０は、ショーシーン特徴上またはその付近のセンサによって受け取られたセンサデータ、乗り物カート１１２および／または乗り物経路１０８からのデータの組み合わせを利用して乗り物カート１１２およびゲストの身体／頭部の位置を検出し、顔方向、整列をさらに判定し、および／または顔回転を推定することができる。この判定を使用して、ショーシーン全体を通じて生成されるアニメーションおよび効果を相応に制御することができる。乗り物カート１１２の方向に基づいて、乗り物上のゲストの３Ｄマップを生成することができる。３Ｄマップ生成は、既知の乗り物軌道１１６の位置および方向、並びに乗り物１００内の既知の特徴（たとえば、乗り物１００上の中間点において乗り物軌道１１６がショーシーン特徴に向かって旋回すること）に基づくことができる。たとえば、３Ｄマップは、乗り物軌道１１６の位置に基づいて乗り物カート１１２の方向を生成することができる。さらに、３Ｄマップ内のゲスト位置データは、乗り物カート１１２の方向および既知の乗り物カート１１２の構造（たとえば、乗り物カート１１２が乗り物経路１０８に沿って移動する際には座席が前方を向いていること）に基づくことができる。この３Ｄマップを使用してゲストの３Ｄ位置を再現した後に、特に乗り物経路１０８内の既知のショーシーン特徴に対する顔方向を正確に判定することができる。３Ｄマップは、判定された顔方向に基づいてゲストが眺めると予想されるショーシーン特徴の方に顔を向けることなどのためにどこで頭部が旋回する可能性があるかを判定することもできる。さらに、機械学習を使用して、センサデータを使用して行われる繰り返しの判定に基づいて顔位置を正確に予測することもできる。機械学習をさらに使用して、乗り物経路１０８上の特定の地点の最中の学習したゲストの顔方向（たとえば、特定のショーシーン特徴に顔が向けられることが多いこと）に基づいて顔方向を予測することもできる。

図示のように、乗り物カート１１２は、乗り物カート１１２またはゲストウェアラブル装置に組み込まれた無線周波数識別（ＲＦＩＤ）タグ１１８、乗り物軌道１１６沿いの重量センサ１２０、および／または乗り物カート１１２上に配置された赤外線（ＩＲ）マーカ１１９を使用して検出することができる。ＲＦＩＤタグ１１８は、乗り物軌道１１６上などの乗り物１００上の異なる場所に組み込まれた電子リーダ１２３と通信してタグの存在を示すことができる。従って、乗り物経路１０８に配置された電子リーダ１２３は、乗り物カート１１２が電子リーダ１２３を通り過ぎる際に乗り物カート１１２上のＲＦＩＤタグ１１８をスキャンすることができる。さらに、ＲＦＩＤタグ１１８は、乗り物カート１１２の特定の領域に配置することも、および／または異なるタイプのＲＦＩＤタグ１１８とすることもできる。このように、ＲＦＩＤタグ１１８の配置および／またはタイプを使用して、乗り物カート１１２の前方および後方を判定することができる。この情報を使用して、乗り物カート１１２の前方に顔が向いていると予測できるように、より正確に乗り物カート１１２内のゲストの位置を予測することができる。同様に、乗り物カート１１２上にＩＲマーカ１１９を配置することもできる。ＩＲマーカ１１９は、光学的には見えないが１以上のカメラ１１４によって検出できるＩＲ反射面を含むことができる。カメラ１１４は、マーカから反射されたＩＲ放射線を検出するように装備することができる。さらに、ＲＦＩＤタグまたはＩＲマーカは、乗り物軌道１１６または乗り物経路１０８上に特定の間隔でまたは軌道上の特定の関心地点に周期的に配置することもできる。カート１１２および／またはゲストの身体および／または頭部位置を検出するために使用できるカメラ１１４は、乗り物カート１１２が特定のカメラの観察範囲に近づいた後に作動することによって電力を節約するように構成することができる。同様に、乗り物軌道１１６上の特定の地点における乗り物カート１１２の追跡を使用して、乗り物経路１０８沿いのショーシーン特徴を作動または停止させることができる。一例として、ＲＦＩＤタグ１１８は、乗り物カート１１２がその行程の初めに存在する旨を示すことができ、従って行程の終わりの方に位置するショーシーン特徴をオフにすることができる。乗り物カート１１２が、近接センサ１２１又を使用してまたは３Ｄマップに基づいて判定できる特定のショーシーン特徴までの所定の距離（たとえば、３メートル）などの乗り物１００上の関心地点に近づくと、これに従ってショーシーンコントローラ１１０がこのような特徴を作動させることができる。これに加えてまたはこれに代えて、軌道（たとえば、直線軌道または旋回部）上の乗り物カート１１２の位置を特定できるようにＲＦＩＤタグ１１８またはＩＲマーカ１１９を配置することもできる。

さらに、ゲストウェアラブル装置も、乗り物カート１１２内のゲストの存在を示して顔方向判定をさらにトリガするために使用できるＲＦＩＤタグ１１８またはＩＲマーカ１１９を含むことができる。一例として、乗り物カート１１２の座席上にゲストウェアラブル装置のための電子リーダ１２３を配置して、スキャン時にゲストの存在を示すようにすることができる。これに加えてまたはこれに代えて、上述した技術を使用して、カメラによってゲストウェアラブル装置上のＩＲマーカ１１９を検出することもできる。

乗り物軌道１１６上に、所定の重量閾値を越えたことに基づいて乗り物軌道１１６上の乗り物カート１１２の存在を示す重量センサ１２０を取り付けることもできる。上述した技術（たとえば、ＲＦＩＤタグ１１８、ＩＲマーカ１１９）を使用して乗り物カート１１２の位置を特定して３Ｄマップを生成した後に、カメラ１１４は、乗り物経路１０８内の乗り物カート１１２の位置および／または場所などの関心領域を観察することができる。従って、ゲストの身体および／または頭部位置データの取り込みを乗り物カート１１２上のゲストに限定することができる。さらに、乗り物オペレータ１２２には乗り物カート１１２の座席位置が分かっているので、カメラ１１４は、観察範囲を狭めて座席周辺の特定の領域に焦点を当てるように構成することができる。従って、乗り物カート１１２の位置および本明細書で説明したその他のセンサ機構によってゲスト位置を特定して正確に顔方向を判定することができる。さらに、顔方向を使用して乗り物経路１０８内の観察方向を決定することもできる。

図示のように、乗り物経路１０８に沿って遊園地乗り物１００全体を通じて１つまたは一連のカメラ１１４を設置して、１以上のゲストの身体および／または頭部方向を判定することができる。本明細書では、ゲスト方向を検出する一連のカメラ１１４について図示し説明するが、単一のカメラ１１４を使用することもできる。さらに、いくつかの実施形態では、上述した技術に加えてまたはこれに代えて、単一のカメラ１１４を使用して、３Ｄマップを生成するために使用される乗り物カート１１２の位置および方向を特定することもできる。

カメラ１１４は、アニメフィギュア１０２、照明効果１０４およびディスプレイ１０６などのショーシーン特徴から所定の距離に設定することができる。所定の距離は、ショーシーン特徴に応じて、頭部方向（たとえば、ショーシーン特徴の方を向いた前頭部、後頭部）の正確な判定などを可能にするためにゲストの頭部および少なくとも上半身の取り込みを可能にすることができる距離とすることができる。たとえば、カメラ１１４は、アニメフィギュア１０２の３メートル周辺を観察することができる。このようにして、アニメフィギュア１０２に近い乗り物カート１１２上のいずれかのゲストを容易に検出することができる。これに加えてまたはこれに代えて、アニメフィギュア１０２の身体などのショーシーン特徴にカメラ１１４を組み込むこともできる。この組み込みは、ゲストが乗り物カート１１２内でアニメフィギュア１０２の正面に位置するか、それともアニメフィギュア１０２を通り過ぎてしまったかにかかわらず、１以上のゲストの明快な視野を感知できるように位置付けることができる。たとえば、アニメフィギュア１０２の目にカメラ１１４を組み込むことで、アニメフィギュア１０２の正面のゲストを検出することができる。これに加えてまたはこれに代えて、所定の距離は、ゲストに対する所望の効果に応じて全てのショーシーン特徴について一様でないこともできる。一例として、乗り物経路１０８沿いの照明効果１０４は、乗り物カート１１２および／またはゲストがその正面に来る前にオンに切り替わることができる。従って、１以上のカメラ１１４は、アニメフィギュア１０２の距離よりも離れた距離でゲスト存在を判定することができる。さらに、カメラ１１４は、関心ゲストを含まない可能性がある視野を排除できるように位置付けることができる。たとえば、図示のように、乗り物オペレータ１２２は、乗り物１００の待ち行列１０７で待っているゲストが乗り物カート１１２に乗り込む合図を受けるように乗り物を動作させることができる。待ち行列１０７内の乗り物オペレータ１２２およびゲストは乗り物１００上または乗り物カート１１２内に存在しないので、ショーシーンに対するこれらの顔方向は関心対象ではなく、従ってカメラ１１４の観察範囲から除外することができる。

カメラ１１４は、本明細書に示す顔方向システムの１以上のプロセスへの入力として使用されるデータを取り込むために使用することもできる。１つの例では、ショーシーンコントローラ１１０がカメラ１１４のデータを使用して人体を検出することができる。すなわち、乗り物カート１１２の３Ｄマップを生成することに加えてまたはこれに代えて、取り込み画像の存在を使用して乗り物カート１１２上のいずれかのゲストの存在および位置を判定し、さらに顔方向を判定することができる。乗り物カート１１２上のゲストの身体および／または顔の位置をさらに判定するために、少なくとも部分的に骨格追跡が使用される。骨格追跡は、カメラ１１４による乗り物カート１１２上のゲストのリアルタイム画像または取り込み画像を使用して、これらの画像と人体骨格検出を示す認識された骨格モデルとを比較することを含むことができる。たとえば、骨格モデルは、人体骨格の重要な関節、骨および四肢の相対的位置を含むことができる。骨格モデル上で互いに近接して位置する関節は、身体および／または顔が特定の方向に向けられていることを示すことができる。さらに、骨格モデルを使用して、現在の顔および身体位置に基づいてゲストの将来の顔方向を予測することもできる。たとえば、骨格モデルが、身体および顔の関節位置に基づいて、顔方向は前方を向いているが身体はわずかに右に曲がっている（たとえば、肩関節が互いに骨格体の右端の方に近い）ことを示す場合には、顔方向も右を向いていると予測することができる。さらに、乗り物経路１０８沿いの複数地点における特定のショーシーン特徴を示す乗り物カート１１２のデータを骨格追跡と共に使用して（たとえば、顔が既知のショーシーン特徴の方に向きを変える可能性が高いとの）将来的な顔回転予測を行うこともできる。従って、ゲストの取り込み画像と骨格モデルとの比較をゲスト検出および身体／顔方向のために使用することができる。いくつかの実施形態では、乗り物カート１１２の方向および／または身体方向に基づいて顔回転の範囲を定めることができる。たとえば、典型的なゲストは、自身の頭部を既知の基本方向に対していずれかの方向に最大頭部回転（たとえば、９０度）だけ回転させることができる。ユーザが乗り物カート１１２内で前方を向いていると仮定すると、乗り物カート１１２の方向を既知の基本方向として使用して顔回転の範囲を定めることができる。これに加えてまたはこれに代えて、ゲストの身体方向が既知である場合には、これを既知の基本方向として使用して顔方向の範囲を定めることもできる。一例として、乗り物カート１１２の方向を既知の基本方向として使用し、乗り物カート１１２の方向が４５度である場合、ゲストの顔回転の範囲は、既知の基本方向プラスまたはマイナス最大頭部回転として定めることができる。ここでは、ゲストの顔回転の範囲が４５度プラスまたはマイナス９０度であり、従って－４５～１３５度の範囲になる。ゲストの身体方向を既知の基本方向として使用して同様の計算を行うこともできる。

いくつかの実施形態では、速いペースの乗り物１００は粒度の低い顔方向分析を使用することができ、骨格追跡および乗り物カート１１２のデータを使用して顔方向を判定することができる。一例として、上述した技術（たとえば、乗り物カート１１２の既知の前方および後方、乗り物経路１０８、乗り物軌道１１６、乗り物経路１０８上のショーシーン特徴１１０）を使用する乗り物カート１１２の方向判定は、乗り物カート１１２の方向、およびゲストが見ることができる乗り物経路１０８沿いのいずれかのショーシーン特徴に基づいて、ゲストの推定身体位置を示すことができる。従って、乗り物カート１１２のデータは、乗り物カート１１２内のゲストの一般的位置、および乗り物経路１０８沿いに位置することができるショーシーン特徴との相対的位置を示すことができる。さらに、骨格追跡からの骨格モデルは、ゲストの正確な身体および顔方向をさらに提供することができる。互いに骨格モデルの一端の方に近い関節の位置は、ゲストが乗り物経路１０８沿いのショーシーン特徴と同じ方向を向いていることを示すことができる。従って、乗り物カート１１２のデータと骨格追跡とを併用して顔方向判定を行うことができる。

一方で、遅いペースの乗り物１００は、顔特徴分析などを含む粒度の高い顔方向分析を使用することができる。しかしながら、骨格追跡によって提供される骨格画像は、正確な顔特徴を示さないこともある。従って、骨格画像データをさらに処理して、顔認識を使用して顔を識別し、および／または身体認識を使用して体形を識別することができる。

遅いペースの乗り物１００などのいくつかの実施形態では、顔画像検出が、複数の顔特徴をまとめて検討して、顔が正確に検出されたと判定することができる。検討される特徴は、顔の関心点（ｐｏｉｎｔｓ ｏｆ ｆａｃｉａｌ ｉｎｔｅｒｅｓｔ）およびその交点（たとえば、水平線に沿って整列した２つの目が両目間の地点またはその付近で検出される垂直線に沿って鼻に非常に近いこと）とすることができる。さらに、カメラ１１４は、身体特徴を使用してゲスト方向（たとえば、ゲストが前方を向いていること）を正確に識別できるように、カメラ１１４の観察範囲に応じて全身検出または上半身検出に使用することができる。たとえば、身体検出特徴は、顔、腕および脚などの身体特徴およびその交点を考慮することができる。身体検出は、ゲストの身体の向きをさらに示して、ゲストの顔方向および／または将来的な顔方向を予測することができる。一例として、ゲストの顔は前方を向いていると検出されたが、身体はわずかに右に曲がっていると検出された場合には、顔方向も右を向いていると予測することができる。これに加えてまたはこれに代えて、乗り物経路１０８上の乗り物カート１１２の位置およびショーシーン特徴との相対的位置を示す乗り物カート１１２のデータを身体および／または顔画像検出と併用して、将来的な顔回転の方向を予測することもできる。さらに、体温を検出する温度認識（ｔｈｅｒｍａｌ ｒｅｃｏｇｎｉｔｉｏｎ）にカメラ１１４を使用し、これを使用してゲストの存在および向きをさらに正確に予測することもできる。さらに、カメラ１１４は、暗視能力を提供することによって日中および夜間のゲストを検出できるように、赤外線（ＩＲ）能力を含むこともできる。上述したように、ＩＲ能力は、乗り物カート１１２を検出するＩＲマーカ１１９のために使用もされうる。

乗り物１００内の乗り物カート１１２の位置を検出して３Ｄマップを生成するために使用されるＲＦＩＤタグ１１８などの異なるタイプのセンサの一部、ＩＲマーカ１１９および／またはカメラ１１４の入力は、骨格追跡などによってゲストの身体および／または顔を判定するために使用されるさらなるカメラ１１４の入力と併用することができる。従って、乗り物１００内の特定の位置に存在する乗り物カート１１２の検出に基づいて、顔方向を判定する骨格追跡、身体検出および／または顔検出のためにカメラ１１４を初期化することができる。いくつかの実施形態では、ゲストの顔方向を判定した後に、所定の範囲内の特徴の方を向いているゲストに娯楽を提供するようにショーシーン特徴を初期化することができる。すなわち、感知された距離が閾値未満である場合、および／またはゲストがショーシーン特徴の仮想視野内に存在して特徴の方を向いていると判定された場合に、アニメーションまたは効果をトリガすることができる。

上述したように、ゲストの顔方向（たとえば、顔が身体に対して右に回転したこと）を判定するために使用されるゲストの身体および／または頭部位置と共に乗り物カート１１２の位置を判定した後に、顔方向システムのアルゴリズムを機械学習に基づいて修正することができる。具体的に言えば、顔方向判定アルゴリズムは、進行中のまたは定期的な判定に応答して変更することができる。一例として、ゲストの顔方向が乗り物経路１０８上の特定の地点のショーシーン特徴に向かって位置付けられていると判定された場合、ショーシーンコントローラ１１０は、機械学習を介して同じ位置の顔方向を予測するように学習することができる。同様に、乗り物経路１０８上の特定の地点で顔方向が前方を向いていると判定された場合、ショーシーンコントローラ１１０は、機械学習を使用して同様の予測を行うことができる。さらに、乗り物経路１０８上の特定の地点で顔が回転したと判定された時にも、機械学習を使用して顔回転を予測することができる。従って、ショーシーンコントローラ１１０が正確な顔方向の判定および予測を行うように、機械学習を使用して顔方向および将来的な回転のパターンを識別することができる。本明細書で説明したいくつかの態様によれば、予想される顔の旋回などの顔の検出および方向に関する予測を行うために使用できる機械学習法をさらに使用して、ショーシーンアニメーションまたは実行される効果に対応することができる。機械学習は、検出機構（たとえば、乗り物カート１１２を検出するためのＩＲマーカ１１９、骨格追跡、および／または顔を検出するための顔認識）を使用した顔方向判定に基づいて、検出および構成変更の実行または他の好適な手法を通じて最新データに基づいて顔方向アルゴリズムを更新または修正することができる。

上述したように、顔方向システムのショーシーンコントローラ１１０には、乗り物１００の３Ｄマップ内の乗り物カート１１２の方向および／またはゲストの位置を示す検出されたセンサデータの組み合わせを送信することができる。この結果、顔方向システムは、これらのセンサデータを使用して顔方向を判定した後に、ショーシーン特徴のいずれかの変化を判定することができる。説明すると、図２は、ディスプレイ１０６、照明効果１０４およびアニメフィギュア１０２を含むことができるショーシーン特徴１６０を制御するために使用されるショーシーンコントローラ１１０を有する顔方向システム１５０のブロック図である。ショーシーンコントローラ１１０（たとえば、電子コントローラ）は、メモリ１５６、プロセッサ１５４、通信回路１５８、および入力装置１５２を含むことができる。いくつかの実施形態では、メモリ１５６が、ショーシーン特徴のための画像、アニメーションまたは効果のデータベースなどの命令、データおよび／または情報を記憶するように構成される。これに加えてまたはこれに代えて、メモリ１５６は、乗り物内の乗り物カートの３Ｄマップを生成するためのユーザ定義アルゴリズムと、顔方向を判定するためのアルゴリズムと、を含むこともできる。なお、本明細書で提供する例には、ショーシーン特徴をディスプレイ１０６、照明効果１０４および／またはアニメフィギュア１０２に限定されるものとして明示的に図示し説明していることがあるが、開示する手法は、乗り物軌道１１６の経路、水を噴霧するフィギュアなどを変更することなどの、顔方向を使用して乗り物経路１０８上の他のショーシーン特徴または効果を制御することを含むこともできる。

以下でさらに詳細に説明するように、いくつかの実施形態では、プロセッサ１５４が、上述した１以上のセンサから乗り物カート１１２の位置および／またはゲストの方向を検出したことに関連する入力信号を入力装置１５２から受け取り、これらを使用して、本明細書で説明する技術を使用して顔方向を判定できるように構成される。その後、乗り物カート１１２の位置に従って判定された乗り物内の顔方向およびゲスト位置に基づいて、データベースからの画像、効果またはアニメーションを提供することができる。このようにして、ショーシーンコントローラ１１０は顔方向を判定し、これに従って、ゲストが特定のショーシーン特徴の所定の範囲内に存在する場合、および／またはゲストの顔が特定のショーシーン特徴の方に向けられていると判定された場合にショーシーン特徴をさらに制御することができる。上述したように、センサデータは、（単複の）カメラ１１４、（単複の）重量センサ１２０、ＩＲマーカ１１９、ＲＦＩＤタグ１１８、および／または（単複の）近接センサ１２１によって入力装置１５２に提供することができる。なお、図示のシステムは例示を意図するものにすぎず、開示する実施形態に従って、実行を容易にするためにいくつかの特徴およびコンポーネントを除外して他の様々な特徴およびコンポーネントを追加することもできると理解されたい。

ショーシーンコントローラ１１０は、入力装置１５２への受け取られたセンサデータに基づいて、プロセッサ１５４を使用して、表示すべき画像、実行すべきアニメーション、およびメモリ１５６のデータベースに記憶できる特殊効果を選択するショーシーン特徴１６０の制御を容易にすることができる。データベースは、たとえば乗り物のテーマに関する画像などの利用可能な画像のリストを含むことができる。一例として、図１の乗り物１００はサーカスのテーマを表現しており、従ってゲストの顔がディスプレイ１０６の方を向いている時にディスプレイ１０６上にサーカスの画像を表示することができる。データベースは、アニメフィギュア１０２（たとえば、道化師）が実行すべきアニメーションを含むこともできる。サーカスのテーマ例を続けると、アニメーションは、以下に限定するわけではないが、ジャグリング、笑って手を振ること、挨拶などを含むことができる。さらに、照明効果１０４のオプションは、色付き照明（ｃｏｌｏｒｅｄ ｌｉｇｈｔｉｎｇ）、ストロボ照明（ｓｔｒｏｂｅ ｌｉｇｈｔｉｎｇ）、陰影照明（ｓｈａｄｏｗ ｌｉｇｈｔｉｎｇ）、および／または乗り物経路１０８全体（たとえば、乗り物経路１０８上のトンネル壁）を通じて表示されるサーカス関連画像を生成する照明を含むことができる。

図示の実施形態では、ショーシーンコントローラ１１０のプロセッサ１５４が、３Ｄマップの生成、入力装置１５２において受け取られたセンサデータに基づく顔方向の判定、およびショーシーン特徴１６０の選択または変更（たとえば、検出された顔がアニメフィギュア１０２の方に向けられている時にアニメフィギュア１０２にジャグリングさせる）などの動作を実行するための、メモリ１５６に記憶された命令を実行することができる。従って、いくつかの実施形態では、プロセッサ１５４を、１以上の汎用マイクロプロセッサ、１以上の特定用途向けプロセッサ（ＡＳＩＣ）、１以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはこれらのいずれかの組み合わせとすることができる。また、メモリ１５６は、プロセッサ１５４によって実行可能な命令およびプロセッサ１５４によって処理すべきセンサデータを記憶した有形の非一時的コンピュータ可読媒体とすることができる。従って、いくつかの実施形態では、メモリ１５６が、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、書換可能な不揮発性メモリ、フラッシュメモリ、ハードドライブおよび光学ディスクなどを含むことができる。

さらに、ショーシーンコントローラ１１０は、通信回路１５８がモニタリングシステム１１１などの他の様々な電子装置と連動することを可能にすることができる。モニタリングシステム１１１は、生成された３Ｄマップおよび／または顔方向判定をさらなる分析（たとえば、３Ｄマップアルゴリズムの更新）のために使用することができる。これに加えてまたはこれに代えて、ショーシーンコントローラは、通信回路１５８がショーシーン特徴１６０のコンポーネントと連動することを可能にすることもできる。たとえば、通信回路１５８は、ショーシーンコントローラ１１０がパーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）および／またはワイドエリアネットワーク（ＷＡＮ）などのネットワークに通信可能に結合することを可能にすることができる。従って、いくつかの実施形態では、ショーシーンコントローラ１１０が、入力装置１５２からのデータを処理し、３Ｄマップ内のゲストの顔方向および位置を判定し、実装すべき変更（たとえば、アニメーションまたは効果）を判定し、通信回路１５８を介してショーシーン特徴１６０に変更を伝えることができる。たとえば、プロセッサ１５４は、入力装置１５２からのセンサデータ入力を処理した後に、通信回路１５８が変更の作動を可能にする制御データをショーシーン特徴１６０に無線で送信することを可能にする制御信号を決定することができる。他の実施形態では、通信回路１５８を有線接続経由でショーシーン特徴１６０に接続することができる。

いくつかの実施形態では、ショーシーンコントローラ１１０からショーシーン特徴１６０に制御信号が送信されると、ショーシーン特徴１６０は、アニメフィギュア１０２によって実行されるアニメーション、ディスプレイ１０６上に表示すべき画像、または照明効果１０４を使用した視覚的効果の生成などの対応する変更を実行することができる。また、明示してはいないが、ディスプレイ１０６、照明効果１０４および／またはアニメフィギュア１０２の変更を実行するために使用されるコンポーネントは、それぞれのプロセッサ、それぞれのメモリ、それぞれの通信装置、および１以上のアクチュエータを含むことができる。

図３は、本開示の態様による、骨格追跡および顔認識を使用して顔方向を検出するために使用され、その後にアニメフィギュア１０２を制御するために使用される顔方向システム１５０の使用の実施形態のブロック図２００である。図示の実施形態は、ゲストが顔を向けている時または見ている時に変化するまたはゲストと相互作用するアニメフィギュア１０２を含むことができる。図示のように、カメラ１１４は、ゲストがアニメフィギュア１０２の方を向いている時にアニメフィギュア１０２のアニメーションをトリガすることができるショーシーン内のアニメフィギュア１０２の特定の範囲または距離２０２内に入る可能性がある（たとえば、近接センサ１２１または３Ｄマップによって推定される）乗り物カート１１２およびゲストの両方を観察するように配置される。カメラ１１４および／または図示のＲＦＩＤタグ１１８などのセンサによって提供された感知データ２０３は、ショーシーンコントローラ１１０に伝えることができる。電子リーダ１２３によるＲＦＩＤの読み取りに基づいて、１以上のカメラ１１４を初期化またはオンにして乗り物カート１１２の方向および顔方向を検出することができる。上述したように、電力を節約するために、乗り物１００全体を通じて戦略的に配置された一連の乗り物カート１１２の存在センサ（たとえば、ＲＦＩＤタグ１１８）を使用して、順にまたは乗り物１００沿いの特定の追跡地点（ｔｒａｃｋｅｄ ｐｏｉｎｔｓ）においてカメラ１１４を作動させることができる。

本実施形態では、乗り物カート１１２に関連するＲＦＩＤタグ１１８が電子リーダ１２３を通り過ぎたことを示す感知データ２０３をショーシーンコントローラ１１０に送信することによって、乗り物軌道１１６上の乗り物カート１１２の予想位置を示すことができる。この判定は、既知の乗り物軌道１１６構成に基づいて、乗り物カート１１２がわずかに左に位置することなどの、乗り物軌道１１６上の乗り物カート１１２の位置を示すことができる。この判定は、各電子リーダ１２３が乗り物軌道１１６上のそれぞれの地点を示すように乗り物軌道１１６全体を通じて配置された複数の電子リーダ１２３に基づくことができる。一例として、特定の電子リーダ１２３が乗り物軌道１１６上の中間点を示すことができ、この中間点が旋回する乗り物軌道１１６を含むことによって、旋回軌道１１６上の乗り物カート１１２も旋回している可能性があることを示すことができる。さらに、乗り物１００および乗り物軌道１１６内の乗り物カート１１２の位置は、アニメフィギュア１０２などのショーシーン特徴１６０に隣接する現在位置または予想位置を示すことができる。乗り物カート１１２の位置は、ゲストが顔を向ける可能性がある方向を判定するためのコンテキストを提供することができる。たとえば、乗り物カート１１２は前方を向いており、または乗り物方向に従っており、従ってゲストは前方を向いている可能性が高い。これに加えてまたはこれに代えて、カメラ１１４による取り込み画像および／または乗り物１００の既知のレイアウト（たとえば、乗り物経路１０８、乗り物軌道１１６、ショーシーン特徴１６０など）を使用して３Ｄマップを生成することによって乗り物カート１１２の位置を判定することもできる。

乗り物カート１１２の位置が判定されてカメラ１１４が作動すると、カメラ１１４は、ゲストの身体および／または頭の位置を検出して顔の方向を判定するために乗り物カート１１２のビューに焦点を合わせることができる。ショーシーンコントローラは、限定するわけではないが、上述したような骨格追跡および／または顔認識などの異なる認識技術を使用して顔方向を判定することができる。図示のように、乗り物カート１１２内には複数のゲストが存在することができ、カメラ１１４は、各ゲストを同時にまたは個別に観察することができる。従って、ショーシーンコントローラ１１０は、骨格追跡を使用して複数のゲストの存在を検出、追跡して、頭部骨格および／または身体骨格などの骨格的身体特徴を検出することができる。いくつかの実施形態では、ショーシーンコントローラ１１０に送信された骨格読み取り値（ｓｋｅｌｅｔａｌ ｒｅａｄｉｎｇ）２０４が、その後に顔の検出をトリガすることができる。顔認識技術は、骨格追跡読み取り値を使用して骨格画像に焦点を合わせ、腕、胸、目、鼻などを発見して顔画像２０６を生成することができる。このように、ショーシーンコントローラは、乗り物１００内の乗り物カート１１２の方向と、上述したような身体／顔方向技術とを併用して顔方向画像２０８を決定して生成することができる。これに加えてまたはこれに代えて、顔方向画像２０８は、予測される顔の旋回または位置を示すさらなる画像を含むこともできる。さらに、ショーシーンコントローラ１１０は、機械学習を使用して、繰り返し生じる身体および顔の位置、並びに結果としての顔方向判定に基づいて、その顔方向検出の判定および乗り物１００内の特定の位置のゲストに関する予測を更新することができる。

さらに、乗り物カート１１２内の１以上のゲストの顔方向判定を使用して、図示の実施形態におけるアニメフィギュア１０２および照明効果１０４などのショーシーン特徴１６０を初期化または変更することもできる。図示のように、第１のゲスト２１０および第２のゲスト２１２がアニメフィギュア１０２の最も近くに位置することができる。ショーシーンコントローラ１１０の所定の設定（たとえば、設計者またはオペレータが定めた設定）に基づいて、アニメフィギュア１０２に、特定の距離２０２（たとえば、３メートル）内に存在してアニメフィギュア１０２の方向を向いているゲストに反応するように命令することができる。ここでは、第１のゲスト２１０および第２のゲスト２１２の両方の顔がアニメフィギュア１０２の方を向いているが、第１のゲストは、アニメフィギュア１０２が第１のゲスト２１０と相互作用する特定の距離２０２内に存在するのに対し、第２のゲスト２１２は範囲外である。具体的には、第１のゲスト２１０はアニメフィギュア１０２から３メートルの距離２０３Ａ内に存在し、これは３メートルの特定の距離２０２内である。一方で、第２のゲスト２１２はアニメフィギュア１０２から２６メートルの距離２０３Ｂ内に存在し、従って特定の距離２０２内ではない。さらに、第３のゲスト２１４は２メートルの距離２０３Ｃ内に存在し、これはサーカステントの特徴を取り囲む照明効果１０４から３メートルの特定の距離２０２内である。第３のゲスト２１４は特定の距離２０２内に存在するが、ゲストの顔が照明効果１０４から離れて左を向いていると判定される。従って、ゲストが特定の距離２０２内に存在してショーシーン特徴の方を向いていると判定されたことに応答してショーシーン特徴をトリガすることができる。照明効果１０４などのショーシーン特徴は、本明細書で説明する顔方向技術を使用して電力を節約することができ、特定の距離２０２内のショーシーン特徴の方を向いていると判定されたゲストがいないことに応答して電源オフを継続することができる。

さらに、いくつかの事例では、（たとえば、乗り物カート内にゲストが存在しない）空の乗り物カート、または最大ゲスト数未満の乗り物カートが存在することもある。この実施形態に示すように、乗り物１００内でカートが前進し続けている時に、乗り物カート１１２の後に空の後続の乗り物カート２１８が続く。後続のカート２１８も、後続の乗り物カート２１８の存在を示すために使用できるＲＦＩＤタグ１１８を含むことができる。いくつかの実施形態では、後続の乗り物カート２１８が検出されると、カメラ１１４が乗り物カート１１２の３Ｄマップを生成して骨格追跡をさらに初期化できるようになる。しかしながら、骨格追跡は、人体骨格が検出されないことを示す結果を生成する。ゲストが検出されないので、アニメフィギュア１０２および照明効果１０４などのショーシーン特徴は、電源オフの状態を保つことによって電力を節約することができる。

図４は、図２および図３の顔方向システム１５０のショーシーンコントローラ１１０を使用して顔方向判定を生成する方法２５０のプロセスフロー図である。なお、方法２５０は、ショーシーンコントローラ１１０および／またはショーシーン特徴１６０を含む顔方向システム１５０などのシステムによって自動手順として実行することができる。また、方法２５０に関して説明する動作については特定の順序で示しているが、図示し説明するものとは異なる順序で実行することもでき、実際には方法２５０のこのような置換も本開示に含まれる。さらに、方法２５０のいくつかのステップまたは部分を省略して他のステップを追加することもできる。方法２５０は、乗り物上のゲストに応答して実行することができる。

いくつかの実施形態では、ショーシーンコントローラが、乗り物カート１１２が関心位置に存在する旨の指示を受け取ることができる（ブロック２５２）。関心位置は、アニメフィギュア１０２などのショーシーン特徴１６０の正面、背後または近傍の特定の範囲とすることができる。これに加えてまたはこれに代えて、この位置は、乗り物経路１０８のデータに基づくこともできる。図２のメモリ１５６は、乗り物カート１１２が関心位置に存在するかどうかを判定するために使用できる、時間および／またはその他の要因の関数としての乗り物経路１０８に沿った乗り物カート１１２の位置に関する情報を含む乗り物経路１０８のデータを記憶することができる。ある実施形態では、乗り物カート１１２が乗り物経路１０８を往来する際に、乗り物カート１１２に関連する電子リーダ１２３をスキャンすることができる。乗り物経路１０８に沿って観察されるＲＦＩＤ信号は、乗り物カート１１２の位置を示すことができる。さらに、いくつかの実施形態では、経過時間および／またはその他の要因を使用して乗り物カート１１２の位置を識別し、乗り物カート１１２がいつ関心位置に到達するかをショーシーンコントローラ１１０が判定することを可能にすることができる。いくつかの実施形態では、（たとえば、カメラ１１４、重量センサ１２０、ＩＲマーカ１１９および／またはＲＦＩＤタグ１１８を介した）センサデータ入力などを使用して、乗り物カート１１２の位置、従って乗り物カート１１２が関心位置に存在するかどうかを識別することができる。

さらに、ショーシーンコントローラ１１０は、センサデータ入力を使用して、上述した技術を使用して乗り物カート１１２の位置の３Ｄマップを生成することによって、乗り物１００（たとえば、乗り物経路１０８または乗り物軌道１１６）内の乗り物カート１１２の位置を判定することができる（ブロック２５４）。上述したように、３Ｄマップの生成は、既知の乗り物軌道１１６の位置および方向、並びに乗り物１００内の既知の特徴（たとえば、乗り物上の中間点において乗り物軌道１１６がショーシーン特徴に向かって旋回すること）に基づくことができる。たとえば、３Ｄマップは、乗り物軌道１１６の位置に基づいて、旋回または傾斜度合いなどの乗り物カート１１２の方向を生成することができる。さらに、３Ｄマップ内のゲスト位置データは、乗り物カート１１２の方向および既知の乗り物カート１１２（たとえば、乗り物カート１１２が乗り物経路１０８に沿って移動している時に座席が前方を向いていること）に基づくことができる。従って、乗り物カート１１２の位置は、乗り物１００内のゲスト位置を示すこともできる。

ショーシーンコントローラ１１０は、乗り物カート１１２が関心領域内に位置する旨の指示を受け取って乗り物カート１１２の位置を判定した後に、センサを初期化して乗り物カート１１２内の１以上のゲストを検出することができる（ブロック２５６）。たとえば、ショーシーンコントローラ１１０は、骨格追跡、顔認識および／または身体認識に使用されるカメラ１１４を作動させて乗り物カート１１２内のゲストの顔の位置を検出し始めるための１以上の信号を出力することができる。たとえば、ゲストの存在は、カメラ１１４によって取り込まれた画像内の乗り物カート１１２の座席の背もたれ上の識別パターン（たとえば、連続する無地の色または図柄）によって検出することができる。このパターンは、座席内のゲストに応答して見えなくなって（たとえば、ゲストがパターンの一部を覆い隠すことによる連続する無地の色または図柄の途切れ）ゲストの存在を示すことができる。一方で、座席が見えてパターンが検出可能である場合、ショーシーンコントローラ１１０は、乗り物カート１１２内にゲストが存在しないと判定することができる。このことは、座席内に誰も存在しないことを示す。さらに、骨格追跡を使用して、人体骨格の重要な関節、骨および四肢の交点が特定された時には乗り物カート１１２内にゲストが存在する可能性があるようにゲストの存在を判定することもできる。一方で、骨格追跡によって骨格関節の交点が特定されない場合、ゲストは存在しない可能性がある。

ショーシーンコントローラ１１０は、カメラ１１４から受け取られた入力が観察範囲内の乗り物カート１１２におけるゲストの存在を示すかどうかを判定することができる（判定ブロック２５８）。座席上のパターン認識または骨格認識のためにカメラ１１４を使用して判定されるゲストの存在に加えて、ゲストが乗り物カート１１２内で着座している時にゲストウェアラブル内のＲＦＩＤタグ１１８をスキャンしてゲストの存在を示すこともできる。

ショーシーンコントローラ１１０がゲスト欠員（ｇｕｅｓｔ ｖａｃａｎｃｙ）の指示を受け取った（たとえば、骨格認識の実行時にカメラ１１４が空のカートの画像を取り込んだ）場合には、少なくとも乗り物カート内の特定の座席のさらなる顔方向検出は不要である。従って、ショーシーンコントローラ１１０は、欠員が示された乗り物カート１１２の部分のゲストをゲスト検出センサが検出および／または処理するのを停止させることができる（ブロック２６０）。

一方で、乗り物カート１１２の座席内にゲストが存在することが信号によって示される場合、ショーシーンコントローラ１１０は、骨格追跡認識または追跡を実行し続けてゲストの身体および／または頭を検出することができる（ブロック２６２）。たとえば、骨格追跡は、人体骨格の重要な関節、骨および四肢の相対的位置を考慮して骨格モデルを生成することができる。上述したように、骨格モデル上の互いに近くに位置する関節は、身体および／または頭部が特定の方向を向いていることを示すことができる。さらに、乗り物軌道１１６上の特定の地点および乗り物経路１０８沿いのショーシーン特徴を考慮することができる乗り物カート１１２のデータと骨格追跡とを併用して顔方向を判定し、将来的な顔回転予測を行うことができる。

ゲストの骨格画像を生成するために使用される骨格追跡に加えてまたはこれに代えて、より粒度の高い顔方向の分析を使用する乗り物などでは、（破線によって示すように）任意に顔および／または身体認識を実行してゲストの顔特徴を検出することもできる（ブロック２６４）。上述したように、顔認識は、顔の関心点およびその交点（たとえば、水平線に沿って整列した２つの目が両目間の地点またはその付近で検出される垂直線に沿って鼻に非常に近いこと）を考慮することを含むことができる。同様に、身体検出は、顔、腕および脚または上半身などの身体特徴およびその交点を考慮することができる。顔認識および身体認識は、いずれも顔方向および将来的な回転の判定に使用できるさらに正確な顔特徴および／または身体判定を可能にすることができる。一例として、ゲストが乗り物カート１１２内で立っているスローペースの起立式乗り物（ｓｔａｎｄ－ｕｐ ｒｉｄｅ）は、身体認識技術および顔認識技術の両方を利用することができる。

たとえば、いくつかの実施形態では、骨格画像アルゴリズムが、骨格関節の相対的近接度を観察することによって乗り物カート１１２内のゲストの身体方向を示すことができる。この情報は、予想される身体方向、従って顔方向の指示を提供することができる。一例として、互いに近くに存在して乗り物カート１１２の特定の側（たとえば、左側）の方を向いた膝関節は、ゲストの身体および頭部がその方向（たとえば、左）に向いていることを示すことができる。

同様に、顔認識アルゴリズムは、検出された顔特徴の近接度に基づいて顔の方向を示すことができる。たとえば、顔特徴（たとえば、目）が顔の片側方向で検出された場合、このことは、その顔の側に対応する方向に顔が向けられていることを示すことができる（たとえば、顔の左側方向で検出された目は、ゲストが左を向いていることを示すことができる）。

ショーシーンコントローラ１１０は、骨格追跡、並びに顔および／または身体認識の両方と、以前に判定された乗り物カート１１２の存在および乗り物１００内の位置とを併用することによって、ゲストの顔方向を判定することができる（ブロック２６６）。具体的には、乗り物カート方向をゲストの身体の基準方向として使用し、これを骨格および／または顔および身体データと組み合わせて正確な顔の方向を発見することができる。

さらに、いくつかの実施形態では、機械学習を使用して、乗り物１００内の特定の位置のゲストについて行われる繰り返しの顔方向判定に基づいて、顔がどちらの方向に旋回できるかを判定することができる（ブロック２６７）。一例として、乗り物経路１０８上の特定の地点でゲストの顔方向が左に（たとえば、ショーシーン特徴の方に）位置すると判定された場合、ショーシーンコントローラ１１０は、機械学習を介して、この乗り物経路１０８上の位置と同じ方向として顔方向を予測するように学習することができる。さらに、ショーシーンコントローラ１１０の顔方向アルゴリズムは、以前に判定された骨格追跡、並びに顔および／または身体認識データ、並びに以前に判定された骨格追跡、並びに顔および／または身体認識データに関連するゲストの実際の顔方向の確認された指示についての機械学習を使用して更新することができる。顔方向アルゴリズムは、より正確な顔方向を予測または判定するために、および乗り物１００内のゲストの位置を考慮して顔方向が変化している可能性がある場合に更新することができる。

次に、顔方向判定を使用して、乗り物経路１０８沿いのショーシーン特徴１６０を制御することができる。ショーシーンコントローラ１１０は、ゲストの顔方向がショーシーン特徴１６０から特定の距離内に存在するかどうかを判定することができる（判定ブロック２６８）。換言すれば、ショーシーンコントローラ１１０は、ゲストの顔がショーシーン特徴の特定の距離内に存在し、かつゲストの顔がショーシーン特徴の観察範囲に向けられていると判定された時に、ゲストの顔がショーシーン特徴の特定の距離内で向けられていると判定することができる。

上述したように、顔方向が特定の距離内（たとえば、アニメフィギュア１０２から３メートル周辺内）に存在してユーザの顔がショーシーン特徴の観察範囲内に向けられている場合、ショーシーン特徴を作動させ（ブロック２７０）、または変更を反映するように更新することができる。一例として、ゲストの顔方向がゲストの特定の範囲内に存在するアニメフィギュア１０２に向いている可能性がある場合、ショーシーンコントローラ１１０は、アニメフィギュア１０２にアニメーション制御信号を送信することができる。上述したように、アニメーション制御信号は、アニメフィギュア１０２のプロセッサによって処理されて、アクチュエータを使用して笑いまたは手を振ることなどによってアニメフィギュア１０２を変更することができる。

一方で、ゲストの顔方向がショーシーン特徴１６０の特定の距離内に存在せず、またはショーシーン特徴１６０の観察範囲内に向けられていない場合、ショーシーン特徴は作動しない。これにより、より個別化された体験が提供されてショーシーン特徴の電力使用量および／または摩耗を低減することができる。

いくつかの状況では、ゲストの方向がショーシーン特徴の所定の距離内に存在しないことを最初に検出した後にゲストがショーシーン特徴の方を向くことがある。従って、さらなる方向判定を実行することができる。このような場合、ショーシーンコントローラ１１０は、乗り物カート１１２が乗り物経路１０８に沿って移動している時に依然として関心位置に存在するかどうかを判定することができる（判定ブロック２７２）。アニメフィギュア１０２の例を続けると、アニメフィギュア１０２の方を向いているゲストから特定の距離２０２内にもはやアニメフィギュア１０２が存在しない場合、ショーシーンコントローラ１１０は、センサ（たとえば、カメラ１１４）に乗り物カート１１２上のゲストの検出を停止させることができる（ブロック２６０）。

一方で、乗り物カート１１２が関心地点に位置し続ける場合、ショーシーンコントローラ１１０は、乗り物カート１１２が関心地点に存在する旨の指示を受け取り（ブロック２５２）、乗り物カート１１２の位置を判定する後続の措置を講じ、センサを初期化して乗り物カート１１２上のゲストを検出することなどを行うことができる。

理解できるように、乗り物および／またはゲストの身体に関する文脈データに基づく顔方向検出に関する最新技術は、著しい利益を提供することができる。１つに、粒度の低い顔方向の分析は方向処理の効率を高めることができ、これはペースの速い娯楽用乗り物において特に役立つことができる。さらに、検出された顔方向に基づいてショーシーン特徴をトリガすることで、電力利用効率を高め、ショーシーン特徴の摩耗を低減し、および／またはより個別化された乗り物体験を提供することができる。

本明細書では、本開示のいくつかの特徴のみを図示し説明したが、当業者には多くの修正および変更が思い浮かぶであろう。従って、添付の特許請求の範囲は、本開示の真の趣旨に従う全てのこのような修正および変更を含むように意図されていると理解されたい。なお、上述した図に関して図示または説明した特徴は、いずれもあらゆる好適な形で組み合わせることができると理解されたい。

本明細書に示して特許請求する技術は、本技術分野を確実に改善する、従って抽象的なもの、無形のものまたは純粋に理論的なものではない実際的性質の有形物および具体例を参照し、これらに適用される。さらに、本明細書の最後に添付するいずれかの請求項が、「…［機能］を［実行］する手段」または「…［機能］を［実行］するステップ」として指定されている１以上の要素を含む場合、このような要素は米国特許法１１２条（ｆ）に従って解釈すべきである。一方で、他のいずれかの形で指定された要素を含むあらゆる請求項については、このような要素を米国特許法１１２条（ｆ）に従って解釈すべきではない。

Claims (21)

1. 乗り物の顔方向システムであって、
   １以上のセンサと、
   コントローラと、
   を備え、
   前記コントローラは、
   前記１以上のセンサから、前記乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取り、
   前記乗り物カートデータに基づいて乗り物カート方向を判定し、
   前記１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示す前記ゲストの位置データを受け取り、
   前記乗り物カート方向および前記位置データに少なくとも部分的に基づいて、前記ゲストの顔方向、顔回転またはこれらの組み合わせを判定し、
   前記判定された顔方向、顔回転またはこれらの組み合わせに基づいて、前記判定された顔方向、顔回転または前記これらの組み合わせを示すデータをその後の制御のために下流コントローラに送信する、
   ように構成される、顔方向システム。
2. 前記位置データは、骨格追跡によって決定された骨格画像を含む、
   請求項１に記載の顔方向システム。
3. 骨格追跡によって前記骨格画像を決定することは、前記ゲストの重要な関節、骨および四肢の位置を特定して前記骨格画像を生成することを含む、
   請求項２に記載の顔方向システム。
4. 前記顔方向、顔回転またはこれらの組み合わせは、前記乗り物カート方向、前記骨格画像、観察範囲内のショーシーン特徴またはこれらの組み合わせに基づいて予測される、
   請求項２に記載の顔方向システム。
5. 前記コントローラは、前記１以上のセンサが前記乗り物カート内の前記ゲストの不在を検出したことに応答して、乗り物カートデータまたは顔位置データを無視するように構成される、
   請求項２に記載の顔方向システム。
6. 前記乗り物カート内の前記ゲストの前記不在の前記検出は、前記骨格画像、パターン認識、無線周波数識別（ＲＦＩＤ）タグまたはこれらの組み合わせに基づく、
   請求項５に記載の顔方向システム。
7. 前記乗り物カート内の前記ゲストの前記不在の検出は、乗り物カート座席上の連続する無地の色、図柄またはこれらの組み合わせの認識パターンに基づく、
   請求項５に記載の顔方向システム。
8. 前記下流コントローラは、前記判定された顔方向、顔回転または前記これらの組み合わせに基づいて１以上のシーン特徴を制御するショーシーンコントローラを含み、
   前記ショーシーンコントローラ、前記コントローラ、または前記ショーシーンコントローラと前記コントローラとの組み合わせは、
   前記ゲストが前記乗り物の１以上のショーシーン特徴の特定の距離内に存在するかどうかを判定し、
   前記ゲストが前記特定の距離内に存在すると判定したことに応答して、前記顔方向に基づいて前記１以上のショーシーン特徴の変更を決定し、
   前記１以上のショーシーン特徴に変更をトリガする制御信号を送信する、
   ように構成される、請求項１に記載の顔方向システム。
9. 前記１以上のショーシーン特徴は、アニメフィギュア、ディスプレイ、照明効果、またはこれらの組み合わせを含む、
   請求項８に記載の顔方向システム。
10. 前記変更は、前記アニメフィギュアのアニメーション、前記ディスプレイ上の表示画像、前記照明効果の照明、またはこれらの組み合わせを含む、
    請求項９に記載の顔方向システム。
11. 前記変更は、前記ゲストの前記顔方向が観察範囲内の前記１以上のショーシーン特徴の方を向いていることに応答して決定される、
    請求項１０に記載の顔方向システム。
12. １以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取ることと、
    前記乗り物カートデータに基づいて乗り物カート方向を判定することと、
    前記１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示す前記ゲストの位置データを受け取ることと、
    前記乗り物カート方向および位置データに少なくとも部分的に基づいて、前記ゲストの顔方向、顔回転またはこれらの組み合わせを判定することと、
    前記判定された顔方向、顔回転またはこれらの組み合わせに基づいて、前記判定された顔方向、顔回転または前記これらの組み合わせを示すデータをその後の制御のために下流コントローラに送信することと、
    を備える、方法。
13. 前記位置データは、骨格追跡画像、顔認識画像、身体認識画像、またはこれらの組み合わせを含む、
    請求項１２に記載の方法。
14. 前記１以上のセンサは、無線周波数識別（ＲＦＩＤ）タグ、近接センサ、赤外線（ＩＲ）マーカ、重量センサ、カメラ、またはこれらの組み合わせを含む、
    請求項１２に記載の方法。
15. 前記ＲＦＩＤタグ、前記ＩＲマーカまたはこれらの組み合わせは、前記乗り物の乗り物経路上の、前記乗り物経路内の前記乗り物カートの前記位置を追跡または予測するために関心のある１以上の地点に配置される、
    請求項１４に記載の方法。
16. 機械可読命令を含む有形の非一時的な機械可読媒体であって、前記機械可読命令は、機械の１以上のプロセッサによって実行された時に、
    １以上のセンサから、乗り物上の乗り物カートの存在および位置を示す乗り物カートデータを受け取り、
    前記乗り物カートデータに基づいて乗り物カート方向を判定し、
    前記１以上のセンサから、ゲストの身体、顔またはこれらの組み合わせの位置を示す前記ゲストの位置データを受け取り、
    前記乗り物カート方向および前記位置データに少なくとも部分的に基づいて前記ゲストの顔回転を判定し、
    前記判定された顔方向、顔回転またはこれらの組み合わせに基づいて、前記判定された顔方向、顔回転または前記これらの組み合わせを示すデータをその後の制御のために下流コントローラに送信する、
    ことを前記機械に行わせる、機械可読媒体。
17. 前記位置データは、骨格追跡画像、顔認識画像、身体認識画像、またはこれらの組み合わせを含む、
    請求項１６に記載の機械可読媒体。
18. 前記ゲストの前記判定される顔回転は、
    前記乗り物の速いペースの部分のための、顔認識分析を含む相対的に粒度の低い分析と、
    前記乗り物の遅いペースの部分のための、前記乗り物カート方向、前記ゲストの前記位置データまたはこれらの両方を既知の基本方向として使用する相対的に粒度の高い分析と、
    に基づく、請求項１６に記載の機械可読媒体。
19. 前記乗り物カートデータ、ゲスト位置データおよび前記乗り物カートの位置データに基づいて前記乗り物上の前記ゲストの３Ｄマップが生成され、該３Ｄマップは、前記乗り物のショーシーン特徴に対する前記ゲストの前記判定された顔方向を示す、
    請求項１６に記載の機械可読媒体。
20. 前記３Ｄマップは、顔特徴、顔位置、顔旋回またはこれらの組み合わせを正確に判定するために使用され、前記判定された顔方向は、機械学習を使用して、前記３Ｄマップ内の前記乗り物の特定の部分について行われる繰り返しの顔方向判定に基づいて顔位置を正確に予測する、
    請求項１９に記載の機械可読媒体。
21. 前記乗り物内の既知の乗り物軌道位置および既知の乗り物軌道方向に基づいて前記乗り物カート方向を判定するために３Ｄマップが使用される、
    請求項１６に記載の機械可読媒体。

Images