JP2022531161A - 拡張現実デバイスにおける社会的関連ユーザエンゲージメントインジケータのためのシステムおよび方法 - Google Patents

Abstract

本発明は、拡張現実（ＡＲ）におけるユーザアクティビティのインジケータデバイスに関する。このインジケータデバイスは、少なくとも１人のユーザの傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を生成するように構成されかつ動作可能なインジケータモジュールと、インジケータモジュールに接続可能な監視モジュールであって、ユーザアクティビティに関連するデータを受信および処理して、ユーザが特定の社会的関連パラメータに対応する特定の状態にあるか否かを判定し、特定のユーザの状態を識別したときにインジケータモジュールを作動させるように構成されかつ動作可能な監視モジュールとを備える。【選択図】図１

Description

本発明は、拡張現実または仮想現実の体験をユーザに提供するために、ユーザの一方または両方の目に画像を投影するように適合されたウェアラブル／ヘッドマウント型画像投影システムの分野にある。より具体的には、拡張現実（ＡＲ）のためのユーザエンゲージメントインジケータの技術に関する。

本開示の主題の背景技術として関連性があると考えられる文献を以下に示す。
・米国特許第８，５３１，５９０号
本明細書における上記文献の記載は、それが本開示の主題の特許性に何らかの形で関連していることを意味するものとして推論されるべきではない。

仮想現実および／または拡張仮想現実をユーザの一方または両方の目に投影するための、ヘッドマウント型または他のウェアラブル画像投影システムがますます普及している。そのようなシステムは、多くの場合、ユーザの頭部に装着可能なメガネとして構成され、ユーザの目に画像を投影して、ユーザに仮想現実画像／映像を提供するように動作可能である。この目的のために、既知のシステムのいくつかは、純粋な仮想現実画像の投影をユーザの目に提供することを目的としており、外部の風景からの光が一方または両方の目に届かないようになっている。他のシステムは、外部の風景からの光が目に届くようにしながらも、画像投影システムにより目に投影された画像／映像フレームによって拡張／重ね合わされる、拡張された仮想現実知覚を提供することを目的としている。

拡張現実（ＡＲ）は、デジタルコンテンツに瞬時に、ユビキタスに、そして目立たずにアクセスでき、また、簡単で直感的なコラボレーションを提供する。そのため、ウェアラブルＡＲデバイスが広く採用されるようになっている。しかしながら、公共または社会的環境で、人（または複数の人）が他の人には見えない仮想コンテンツと相互作用することは、社会的に落ち着かない状況を生み出す可能性がある。これは、相互作用するオブジェクト（例えば、本、ラップトップ、スマートフォン、ヘッドフォン）の共通の視認性と、それらに対する目に見えるユーザの焦点（画面に向けられた注視、ヘッドフォンにより遮られた耳など）により、ユーザが何と相互作用しているのかを傍観者に明確に示すことができる、現在の一般的な状況とは対照的である。

当技術分野では、そのような落ち着かない状況を回避することができる技術を提供することが求められている。そこで、本発明は、ＡＲユーザエンゲージメントインジケータの新しい技術を提供する。これは、ＡＲでのユーザアクティビティに関する社会的関連情報を１または複数の傍観者に示す（すなわち、明確に通知する）ように構成されかつ動作可能な１または複数の外部インジケータを使用することで実現することができる。以下の説明では、「傍観者」（onlooker）という用語が単一の形式で使用されているが、ユーザの環境にいる人の数は本発明の一部ではなく、本発明は如何なる数の傍観者にも限定されるものではない。したがって、エンゲージメントインジケータデバイスは、ＡＲシステムを介してユーザに提供される実在コンテンツまたは仮想コンテンツのどちらにユーザのエンゲージメント／注意が向けられているかを周囲に示すように動作可能である。

すなわち、本発明の広範な態様によれば、拡張現実（ＡＲ）におけるユーザアクティビティのインジケータデバイスが提供される。このインジケータデバイスは、少なくとも１人のユーザの傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を生成するように構成されかつ動作可能なインジケータモジュールと、インジケータモジュールに接続可能な監視モジュールであって、ユーザアクティビティに関連するデータを受信して処理し、ユーザが特定の社会的関連パラメータに対応する特定の状態にあるか否かを判定し、特定のユーザの状態を識別したときにインジケータモジュールを作動させるように構成されかつ動作可能な監視モジュールとを備える。ユーザアクティビティに関連するデータは、現在のユーザアクティビティを示すデータ、および／または、少なくとも１のユーザアクティビティを示す基準データパターン、および／または、ユーザに提示される仮想コンテンツを示すデータ、および／または、ユーザの現在の実世界環境に関連するデータ、および／または、時間の経過に伴うユーザの注視方向を示すデータを含むことができる。インジケータデバイスは、スタンドアロンデバイスであってもよいし、任意のウェアラブルな拡張／仮想現実システムに統合されるように構成されたものであってもよい。例えば、インジケータデバイスは、傍観者に情報を提供することを目的とした完全で独立したサブシステムであってもよい。本発明の新規のインジケータデバイスとともに、仮想および／または拡張仮想現実をユーザの一方または両方の目に投影するヘッドマウント型または他のウェアラブル画像投影システムを使用することができる。そのようなシステムは、ユーザの頭部に装着可能なメガネとして構成されたものであってもよい。本発明は、外部の風景からの光が一方または両方の目に到達するのを遮断する、ユーザの目に対する純粋な仮想現実画像投影の使用に限定されるものではない。また、本発明は、画像投影システムによって目に投影される画像／ビデオフレームによって拡張／重ね合わされながら、外部の風景からの光が目に到達することが許容される、拡張仮想現実知覚の使用にも限定されるものではない。

社会的関連パラメータは、記録アクティビティおよび／または没入状態および／または集中状態および／または空間アクティビティであってもよい。インジケータモジュールは、視覚的インジケータモジュールおよび／または聴覚的インジケータモジュールであってもよい。

いくつかの実施形態では、インジケータモジュールが、オン／オフ、段階的な動作モード、および特定の社会的パラメータを示す動作モードのうちの少なくとも１つで動作可能である。段階的な動作モードは、ユーザの状態のレベルを示すものであってもよい。

いくつかの実施形態では、監視モジュールが、ユーザアクティビティに関連するデータを処理して、特定のユーザ状態を判定するように構成されかつ動作可能である。

いくつかの実施形態では、監視モジュールが、現在のユーザアクティビティを示すデータを処理して、ユーザの記録アクティビティを判定するように構成されかつ動作可能である。

いくつかの実施形態では、監視モジュールが、ユーザの注視方向の時間的パターンを示すデータを受信し、当該データを処理して特定のパターンを識別し、識別したパターンを少なくとも１のユーザアクティビティを示す１または複数の基準パターンと比較して、一致するパターンを特定し、一致するパターンを特定したときに、それに応じてインジケータモジュールを作動させるように構成されかつ動作可能である。

いくつかの実施形態では、監視モジュールが、仮想コンテンツの３Ｄ位置とユーザの注視方向との間の対応関係を識別するように構成されかつ動作可能である。

いくつかの実施形態では、インジケータモジュールが、異なるタイプのユーザアクティビティをそれぞれ示す複数の信号を生成するように構成されかつ動作可能である。

本発明の別の広範な態様によれば、ＡＲユーザアクティビティを示す方法が提供される。この方法は、ユーザアクティビティに関連するデータを受信して処理するステップと、ユーザが特定の社会的関連パラメータに対応する特定のユーザ状態にあるか否かを識別するステップと、傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を生成するステップとを含む。信号を生成する手順は、オン／オフ、段階的、および特定の社会的パラメータを示す動作モードのうち、少なくとも１の動作モードを起動することを含むことができる。これは、１または複数の視覚的または聴覚的な信号を生成することによって実行することができる。

いくつかの実施形態では、本方法が、特定のユーザの状態を識別したときにインジケータデバイスを作動させるステップをさらに含む。

いくつかの実施形態では、本方法が、ユーザアクティビティのタイプを特定するステップをさらに含む。

いくつかの実施形態では、本方法が、ユーザアクティビティのタイプを示す少なくとも１の信号を生成するステップをさらに含む。

いくつかの実施形態では、ユーザに提示された仮想コンテンツを示すデータを処理することが、仮想コンテンツによって遮られたユーザの視野の量を特定するステップを含む。

いくつかの実施形態では、処理手順が、データにおいて特定のパターンを識別することと、識別したパターンを、少なくとも１のユーザアクティビティを示す１または複数の基準パターンと比較して、一致するパターンを特定すること、並びに、一致するパターンを特定した際に、特定の社会的パラメータに対応する少なくとも１の信号を生成することとを含む。

いくつかの実施形態では、処理手順が、ユーザが周囲の状況を意識せずに突然動き出すようなアクティビティに関連する空間状態（以下、「空間アクティビティ」という）を判定するために、ユーザに提示された仮想コンテンツを示すデータと、少なくとも１のユーザアクティビティを示す基準データパターンとに基づいて、ユーザの動きの程度を予測することを含む。

いくつかの実施形態では、処理手順が、仮想コンテンツの３Ｄ位置とユーザの視線方向との対応関係を特定することを含む。

本明細書に開示の主題をよりよく理解し、それが実際にどのように実施され得るのかを例示するために、単なる非限定的な例として、添付の図面を参照しながら、実施形態について説明する。
図１は、本発明のデバイスの主な機能要素を示す概略ブロック図である。 図２は、本発明の方法の主な手順を示す概略フローチャートである。 図３は、本発明のいくつかの実施形態に係るデバイスの特定の構成の可能性のある図である。

本発明は、ＡＲアクティビティの使用に関連する社会的に恥ずかしい状況を防止することを目的とする。以下は、はっきりしないＡＲアクティビティが社会的不作法につながるユースケースの例である（これらすべてにおいて、アリスはＡＲグラスを装着しているが、ボブは装着していない）。
●アリスとボブはパーティに参加しているが、アリスはボブを見ながら、同時に友人とオンラインでチャットをしている。ボブは、アリスが自分の写真を撮ってオンラインに投稿しているのではないかと思って心配するが、相手に気を使って尋ねることができない。
●ボブがアリスに挨拶をすると、アリスはボブをまっすぐ見ているにもかかわらず、反応しない。ボブは戸惑うが、実際、アリスはＡＲでコンサートを見ていて、視界が完全に遮られているため、アリスはボブを全く見ておらず、聞いてもいない。
●電車の中で、アリスがボブの胸元をじっと見ているので、ボブは戸惑い、少し不安になる。実際は、アリスはメールをチェックしていて、メールのウィジェットがたまたまボブの胸元の視線上にある。
●アリスとボブが話しているときに、アリスが時々ドアをちらりと見る。彼女がそれをするたびに、ボブも自動的にそこを見て、誰かが入ってくるのを期待する。実際には、アリスは姉妹から受け取ったメッセージを読んでいる。

ＡＲデバイスの快適なフォームファクタにより、（例えば、最近のヘッドフォンとは対照的に）アクティブに使用していなくても装着することができる。そのため、ヘッドフォンを使用しているときに関連する「私は、見ての通りヘッドフォンを付けているため、あなたの声が聞こえません」という社会的メッセージは、「私はＡＲグラスをかけているため、あなたが見えません」に変換することはできない。さらに、最小限のＡＲヘッドアップディスプレイ（例えば、誰かの視界の端にある時計）の社会的な意味合いは、ユーザが本質的に外の世界を見えなくする完全没入型のサラウンド体験とは大きく異なる。本発明は、それら両方の必要性を解決するものである。上記の例で説明した不快な状況を回避するために、本発明は、ＡＲデバイスが、ユーザのＡＲアクティビティに関する社会的関連情報を、ユーザのプライバシを損なうことなく、傍観者に明確に知らせることを可能にする。

図１を参照すると、拡張／仮想現実（ＡＲ）におけるユーザアクティビティを示すインジケータデバイスがブロック図で示されている。このインジケータデバイスは、ユーザのＡＲデバイスにおけるユーザアクティビティを反映するように構成されている。「ＡＲデバイス」とは、一般に、スマートグラスなど、ユーザのみに見える視覚的コンテンツを表示することができるデバイスを指している。インジケータデバイス１００は、少なくとも１人のユーザの傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号（例えば、視覚的または聴覚的信号）を生成するように構成されかつ動作可能な１または複数のインジケータモジュール１０２と、インジケータモジュール１０２に接続可能な監視モジュールであって、ユーザアクティビティに関連するデータを受信および処理し、ユーザが特定の社会的関連パラメータに対応する特定の状態にあるか否かを判定し、特定のユーザの状態を識別したときにインジケータモジュールを作動させるように構成されかつ動作可能な監視モジュール１０４とを備える。ユーザアクティビティに関連するデータは、現在のユーザアクティビティを示すデータ、および／または、少なくとも１のユーザアクティビティを示す基準データパターン、および／または、ユーザに提示された仮想コンテンツを示すデータ、および／または、ユーザの現在の実世界環境に関連するデータ、および／または、時間の経過に伴うユーザの視線方向を示すデータを含むことができる。ユーザの状態とは、ユーザがＡＲコンテンツと相互作用し（例えば、ＡＲコンテンツの存在、タイプおよび３Ｄ位置の識別）、周囲の環境と相互作用できない状況、および／または、ユーザが特定のアクティビティを行う状況、および／または、ユーザが特定のエンゲージメントレベルでＡＲコンテンツと相互作用する状況を指している。特定のアクティビティには、記録アクティビティおよび「空間アクティビティ」へのエンゲージメントが含まれる。特定のエンゲージメントレベルには、任意のＡＲコンテンツと相互作用する際の特定レベルの閾値（例えば、期間、ボリュームまたは視野）が含まれる。

これに関連して、監視モジュール１０４は、様々な問題のある社会的関連パラメータを識別するために、特定のデータを受け取り、このデータを様々な方法で処理することを理解されたい。社会的関連パラメータとは、様々な信号を介して傍観者に伝達される様々なタイプの情報を指している。それらは、記録アクティビティおよび／または没入状態および／または集中状態および／または空間アクティビティを示すものであってもよい。インジケータモジュール１０２は、社会的関連パラメータを示す少なくとも１の通知信号を生成する。

より具体的には、記録アクティビティは、通常のデバイス機能（音声コマンドのリッスン、視覚的な位置合わせなど）によって行われる連続的な進行中の記録を無視して、ユーザが個人的な使用のために音声、映像または画像を記録していることを周囲に知らせる。このようにして、記録信号がアクティブであるときに、傍観者は、自分がユーザの視野に入っていれば、ユーザが自分の映っているデータを記録していることを認識する。必要に応じて、傍観者はユーザの視野から移動してフレームに映らないようにしたり、ユーザと話をしたりする必要がある。逆に、記録信号がオフの場合（つまりオンではない場合）、傍観者は自分が記録されていないと合理的に考えることができる。監視モジュール１０４およびインジケータモジュール１０２の各々は、通知データを送信および受信するための通信ユーティリティをそれぞれ備えることができる。より具体的には、監視モジュール１０４は、オペレーティングシステムで利用可能な現在実行中のアプリケーションに関連するデータ（例えば、それらの許可）を処理し、記録状態が識別されているか否か（すなわち、「個人使用のための記録」が行われているか否か）を判定する。いくつかの実施形態では、記録信号は、ユーザ側の自発的なプライバシ侵害を伝えるものであるため、周辺からも見える最も強い信号である。例えば、視認性が高く、注意を引く赤色の光の点滅が使用される。

没入状態は、ユーザの感覚がデジタルコンテンツに取り込まれていることを周囲の環境に知らせるものである。没入信号は、重要度の高い順において、記録信号の次に来る場合がある。没入信号は、ユーザとコミュニケーションを取りたいと思っている１または複数の傍観者から見えるようにする必要がある。例えば、没入状態を起動するために、監視モジュールは、ＡＲコンテンツデータおよびユーザの位置データを受信および処理し、ユーザの視野がＡＲコンテンツによってどれだけ遮られているかを判定し、遮られているユーザの視野のうち特定の閾値（例えば、５０％）を識別したときに、インジケータモジュールを作動させる、という手順を踏むことができる。いくつかの実施形態では、ユーザの感覚が（視覚と聴覚がそれぞれ）どれだけデジタルコンテンツに占められているのか、あるいはユーザがどれだけＡＲに没入しているのか、あるいは逆に、ユーザがどれだけ現実の環境を認識しているのかを示す尺度で没入状態が表示される場合もある。このようにして、没入状態信号がアクティブになると、ユーザが自分を取り巻く現実世界を部分的に認識しているか、あるいは全く認識していないことを、傍観者は認識することができる。例えば、段階的な尺度によって、「ＡＲなし」、「少しのＡＲ」、「ほぼ完全な没入」および「完全なＶＲ」を区別することができる。複数の光モジュールは、ユーザの視界が遮られている異なる量に対応して連続的に作動させることができる。

集中状態は、ユーザが現在、仮想コンテンツに焦点を合わせているか、または仮想コンテンツと相互作用していることを周囲に知らせる。このようにして、集中状態信号がアクティブになると、傍観者は、たとえ視野が仮想コンテンツによって遮られていなくても、ユーザが手一杯であるか、あるいは周囲との如何なる相互作用にも注意を払わないであろうことを認識する。集中状態は、記録アクティビティや没入状態よりも捕え難い場合がある。集中状態は、ユーザと傍観者が既にコミュニケーションをとっている場合、あるいは両者間の誤解を防ぐために使用することができる。例えば、集中状態信号をアクティブにするために、監視モジュールは、視線追跡データを受信および処理して視線方向と３Ｄ注視点を判定し、ＡＲコンテンツデータと併せてワールドマッピングからのデータを受信および処理して、ユーザが何を見ているかを特定し、ユーザがＡＲコンテンツを見ている場合に、眼球運動パターン分析を実行して、ユーザのアクティビティのタイプおよびコンテキストを推測し、ユーザが見ているＡＲコンテンツに現在積極的に関与しているか否かを判定し、ユーザのＡＲコンテンツへの現在の積極的な関与を識別した場合に、インジケータモジュール作動させる、という手順を踏むことができる。

空間アクティビティは、ユーザが周囲を意識せずに急に動く原因となる可能性のあるアクティビティをしていることを、傍観者に知らせるものである。このようにして、空間アクティビティ信号がアクティブになると、傍観者は、ユーザが突然動く可能性があることについて警告を受ける。いくつかの実施形態では、空間信号は、ユーザから傍観者への物理的な危害の可能性を伝えるものであるため、周辺からでも知覚できる最も強い信号である。

インジケータモジュール１０２は、特別な機器を必要とせずに、ユーザとは異なる１または複数の人が知覚可能な（例えば、可視または可聴の）少なくとも１の信号を生成する。より具体的には、インジケータモジュール１０２は、様々な信号を生成する複数の様々な光モジュール、または様々な光信号を生成する単一の光モジュール（例えば、１または複数の小型ＬＥＤ）を備えることができる。信号は、様々な色であってもよく、かつ／または、様々な意匠（例えば、形状）を有するユニットによって表示されるものであってもよく、かつ／または、２値（オン／オフ）であってもよく、かつ／または、様々な強度（例えば、明るさ）であってもよい。信号が２値である場合、それらが異なる周波数（すなわち、異なるオン／オフ期間）を有するものであってもよい。追加的または代替的には、インジケータモジュール１０２は、可聴の音信号を生成するスピーカを含むことができる。デバイスの異なる要素は互いに通信し、同じ環境に置かれていなくてもよい。各信号は、傍観者によって識別可能な異なる社会的パラメータを示している。さらに、信号は、様々なタイプのアクティビティ（例えば、音楽を聴くこと、ビデオを見ること、誰かと話すこと）を示すことができる。例えば、特定の色は、特定のタイプのアクティビティに関連付けることができる。様々な信号は、ユーザの状態のレベルに応じて段階的になるようにしてもよい。そのために、監視モジュール１０４は、受信したデータを処理して、仮想アクティビティによって占有される視野の割合を特定する。例えば、没入状態または集中状態では、没入または集中のレベルが識別され、傍観者によって気付かれるようにしてもよい。

通常、監視モジュール１０４は、プロセッサ、コントローラ、マイクロコントローラまたは任意の種類の集積回路であってもよい。監視モジュール１０４は、通常、データ入出力モジュール／ユーティリティ１０４Ａおよび１０４Ｄ、メモリ１０４Ｃ（すなわち、不揮発性のコンピュータ可読媒体）および分析器／データ処理ユーティリティ１０４Ｂなどのユーティリティを特に含むコンピューティング／電子ユーティリティとして構成されている。このため、監視モジュール１０４のユーティリティは、適切な回路によって、かつ／またはユーザ状態の識別を実行するように構成されたコンピュータ可読コードを含むソフトウェアおよび／またはハードウェアコンポーネントによって、実行することができる。本発明の特徴は、様々なコンピュータハードウェアコンポーネントを含む、汎用または専用のコンピュータシステムを含むことができる。また、本発明の範囲内の特徴は、コンピュータ実行可能命令、コンピュータ可読命令、またはそれに格納されたデータ構造を実行するための、またはそれを有するコンピュータ可読媒体を含む。そのようなコンピュータ可読媒体は、汎用または専用のコンピュータシステムによってアクセス可能な、任意の利用可能な媒体であってもよい。非限定的な例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＰＲＯＭ、フラッシュディスク、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージまたは他の磁気ストレージデバイスなどの物理的な記憶媒体、または、コンピュータ実行可能命令、コンピュータ可読命令またはデータ構造の形式で所望のプログラムコード手段を保持または格納するために使用することができ、汎用または専用のコンピュータシステムによってアクセスすることができる他の媒体を含むことができる。コンピュータ可読媒体は、ワイドエリアネットワーク（ＷＡＮ）、例えばインターネットなどのネットワークを介してコンピュータシステムにダウンロード可能なコンピュータプログラムまたはコンピュータアプリケーションを含むことができる。本明細書および以下の特許請求の範囲において、「監視モジュール」は、１または複数のソフトウェアモジュール、１または複数のハードウェアモジュールまたはそれらの組合せであり、それらが協働して電子データに対する操作を実行するものと定義される。例えば、処理ユーティリティの定義には、パーソナルコンピュータのハードウェアコンポーネントのほか、パーソナルコンピュータのオペレーティングシステムなどのソフトウェアモジュールも含まれる。モジュールの物理的レイアウトは無関係である。コンピュータシステムは、コンピュータネットワークを介して結合された１または複数のコンピュータを含むことができる。同様に、コンピュータシステムは、内部モジュール（メモリやプロセッサなど）が協働して電子データに対する操作を実行する単一の物理デバイスを含むことができる。監視モジュール１０４は、コンピュータプログラムを実行するプロセッサを内蔵しているか、またはプロセッサが取り付けられている。コンピュータプログラム製品は、１または複数のコンピュータ可読媒体に組み込まれ、それに組み込まれたコンピュータ可読プログラムコードを有するものであってもよい。コンピュータ可読媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよい。本発明の態様に関する操作を実行するためのコンピュータプログラムコードは、１または複数のプログラミング言語の任意の組合せで記述されるものであってもよい。プログラムコードは、完全にユーザのコンピュータ上で実行されるか、スタンドアローンのソフトウェアパッケージとしてユーザのコンピュータ上で一部が実行されるか、一部がユーザのコンピュータ上で一部がリモートコンピュータ上で実行されるか、または完全にリモートコンピュータまたはサーバ上で実行されるものであってもよい。後者の場合、リモートコンピュータが、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されるようにしても、あるいは外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続されるようにしてもよい。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータまたは他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図の１または複数のブロックで指定された機能／動作を実行するための手段を作成するようなマシンをもたらすことができる。プロセッサの指定された機能は、指定された機能または動作を実行する専用ハードウェアベースのシステム、または専用ハードウェアとコンピュータ命令の組合せによって実装することができる。

様々な信号と様々な社会的関連パラメータとの間の対応関係は、本発明のインジケータデバイスとともに使用されるＡＲシステムの構成に応じて予め設定されるものであってもよい。そのような対応関係のいくつかの例を、例えば図３に示すように、以下に詳述する。例えば、様々な信号と様々な社会的関連パラメータとの間の対応表を、データベースに格納することができる。そのような表は、メモリ１０４Ｃに格納されるものであってもよい。代替的には、ストレージを、１または複数のサーバと分離することができる（例えば、ＳＡＮストレージ）。別々の場合、ストレージの１または複数の場所は、１つの物理的な場所であるか、あるいは複数の場所であって、任意のタイプの有線または無線の通信インフラを介して接続されるようにしてもよい。データベースは、デジタルデータを格納する種類の方法またはプラットフォームに依存し得る。データベースは、例えば、ＯｒａｃｌｅやＭＳ ＳＱＬ Ｓｅｒｖｅｒなどの従来のＳＱＬデータベース、ファイルシステム、ビッグデータ、ＮｏＳＱＬ、インメモリデータベースアプライアンス、並列コンピューティング（例えば、Ｈａｄｏｏｐクラスタ）などを含むことができる。メモリ１０４Ｃがデータベースの記憶媒体として構成されている場合、磁気ディスクやテープ、光ストレージ、半導体ストレージなど、任意の標準的または独自の記憶媒体を含むことができる。

監視モジュール１０４は、周囲に配置することができ（例えば、任意の所望のデバイスに組み込むことができ）、代替的には、環境の近くに配置されていないサーバが、データを受信し、かつ／またはデータで特定の状態を識別して通知を送信することを実行することができる。サーバは、デバイスの様々な部分とデータ通信を行うことができる。

例えば、記録アクティビティを識別するために、監視モジュール１０４は、ユーザの周囲の記録データを受信および処理して、ユーザが周囲の環境を記録しているか否かを判定することができる。監視モジュール１０４は、このデータを記録する許可が存在するか否かを制御するように構成され、そのような許可を識別すると、監視モジュール１０４は、傍観者に対する記録信号を生成し、この記録データのアクセスおよび記憶を制御する。監視モジュール１０４は、オペレーティングシステム使用のためのデータと個人使用のためのデータとを区別し、ユーザが個人使用のために記録していることを周囲に示すとともに、個人データを記録する許可をアプリケーションに提供するように構成されている。例えば、ユーザの没入状態を識別するために、監視モジュール１０４は、ユーザに提示された仮想コンテンツを示すデータを受信および処理して、仮想コンテンツによって遮られたユーザの視野の量を特定（例えば、計算）することができる。仮想コンテンツによって遮られたユーザの視野の量が特定の量の閾値を超える場合、監視モジュール１０４は、ユーザが没入状態にあると判定する。

例えば、集中状態を識別するために、監視モジュール１０４は、注視データに加えて、現在ユーザに提示されている仮想コンテンツ（例えば、何がどこに表示されているか）、およびユーザの現在の現実世界の環境（例えば、ユーザに対して何があり、どこに位置しているか）に関するデータを受信して処理することができる。監視モジュール１０４は、受信したデータを処理して、ユーザが何を見ているか（例えば、実在の人物、または同じ注視方向にある仮想ウィンドウ）を判定する。

例えば、空間アクティビティ状態を識別するために、監視モジュール１０４は、現在の仮想アクティビティに関するデータを受信および処理して、ユーザの動きを予測することができる。

より具体的には、監視モジュール１０４は、ユーザの注視方向のデータ時系列パターンを処理して特定のパターンを識別し、識別したパターンを、様々なそれぞれのユーザアクティビティ（例えば、読書、凝視、ゲームなど）を示す１または複数の基準パターンと比較して、一致するパターンを特定することができる。一致するパターンを特定すると、ユーザエンゲージメント監視モジュールは、識別したパターンが、自分に提示された仮想コンテンツとのユーザエンゲージメントに対応するか否かを判定し、それに応じてモジュールをアクティブにする。

特定の処理ステップを説明し、処理ステップの特定の順序を開示しているが、ステップの順序はここに記載されたものに限定されるものではなく、必然的に特定の順序で発生するステップまたは行為を除いて、当技術分野で知られているように変更することができる。図２を参照すると、ＡＲユーザアクティビティを示す方法のフローチャートが示されている。フローチャート、または他の方法で本明細書に記載の任意のプロセスまたは方法は、指定された１または複数の論理機能を実装するための１または複数の実行可能な命令を含む、または進行のステップの１または複数の実行可能な命令を含む、コードのモジュール、セグメントまたは部分を示すことができる。フローチャートは特定の実行順序を示しているが、実行順序は記載されているものとは異なる場合があることを理解されたい。例えば、２以上のボックスの実行順序は、記載の順序に対してスクランブルされるようにしてもよい。本方法２００は、２０２において、ユーザアクティビティに関連するデータを受信して処理するステップと、２０４において、ユーザが特定の社会的関連パラメータに対応する特定のユーザ状態にあるかどうかを識別するステップと、２０６において、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を傍観者に対して生成するステップとを含む。この信号は、２０８において、この信号の受信時に起動されるインジケータデバイスに送信することができる。２０２でユーザアクティビティに関連するデータを受信して処理することは、２１０でユーザアクティビティのタイプ（例えば、音楽を聴くこと、ビデオを見ること、誰かと話すこと）を判定することを含むことができる。

例えば、ユーザの没入状態を識別するために、２０２においてユーザアクティビティに関連するデータを受信して処理することは、ユーザに提示された仮想コンテンツを示すデータを処理して、２１２において仮想コンテンツによって遮られたユーザの視野の量を特定すること、および／または２１６において仮想コンテンツの３Ｄ位置とユーザの注視方向との対応関係を特定することを含むことができる。

例えば、ユーザの空間状態を識別するために、２０２においてユーザアクティビティに関連するデータを受信して処理することは、２１０において、アクティビティのタイプ（例えば、ゲーム）を判定して、２１４において、空間状態を特定するために、ユーザに提示された仮想コンテンツを示すデータと、少なくとも１のユーザアクティビティを示す基準データパターンとに基づいて、ユーザの動きの程度を予測することも含むことができる。

図３を参照すると、本発明３００のインジケータデバイスの可能性のある構成が示されている。３つの挿入図は、インジケータモジュール３０２の可能性のある異なる動作モードを示している。しかしながら、本発明は、そのような動作モードに限定されるものではない。図面では、監視モジュール３０４が、ＡＲウェアラブルシステム（スマートグラス）に組み込まれているように図示されているが、本発明はそのような構成に限定されるものではなく、監視モジュール３０４は、インジケータモジュール３０２から離れた環境に配置されるものであってもよい。インジケータモジュール３０２および監視モジュール３０４は、有線または無線で通信する。この具体的な非限定的な例では、インジケータモジュール３０２が、異なる数のシンボルを有する複数のユニットを含み、各シンボルが、異なる形状（１つの円形、３つの長方形、４つの曲線）を有している。各シンボルは、異なる色を生成することができる。図示のように、例えば、記録アクティビティを示すために、丸い赤い光が点滅するようにしてもよい。例えば、没入状態を示すために、青色の長方形は、ユーザがどの程度没入しているかを示すようにしてもよい（例えば、無し－目に見えるＡＲコンテンツがない；１つの長方形－いくつか；２つ－ユーザの視野の半分以上がＡＲコンテンツで隠されている；３－ユーザが完全なＶＲモードにある）。また、同じ青色の長方形は、一時的に明るくなることで（オンであるもの）、ユーザがＡＲと相互作用しているか否かを示すこともできる。例えば、ヘッドフォンのアクティビティのような集中状態を示すために、緑の曲線状のライトが、より大きな音を意味する、より明るい光でヘッドフォンのアクティビティを示すようにしてもよい。

Claims (26)

1. 拡張現実（ＡＲ）におけるユーザアクティビティのインジケータデバイスであって、
   少なくとも１人のユーザの傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を生成するように構成されかつ動作可能なインジケータモジュールと、
   前記インジケータモジュールに接続可能な監視モジュールであって、ユーザアクティビティに関連するデータを受信して処理し、ユーザが特定の社会的関連パラメータに対応する特定の状態にあるか否かを判定し、特定のユーザの状態を識別したときに前記インジケータモジュールを作動させるように構成されかつ動作可能な監視モジュールとを備えることを特徴とするインジケータデバイス。
2. 請求項１に記載のインジケータデバイスにおいて、
   ユーザアクティビティに関連するデータが、現在のユーザアクティビティを示すデータ、少なくとも１のユーザアクティビティを示す基準データパターン、ユーザに提示された仮想コンテンツを示すデータ、ユーザの現在の実世界環境に関連するデータ、またはユーザの経時的な注視方向を示すデータのうち、少なくとも１つを含むことを特徴とするインジケータデバイス。
3. 請求項１または２に記載のインジケータデバイスにおいて、
   前記少なくとも１の社会的関連パラメータが、記録アクティビティ、没入状態、集中状態および空間アクティビティのうちの少なくとも１つを含むことを特徴とするインジケータデバイス。
4. 請求項１乃至３の何れか一項に記載のインジケータデバイスにおいて、
   前記インジケータモジュールが、オン／オフ、段階的動作モード、および特定の社会的パラメータを示す動作モードのうちの少なくとも１つで動作可能であることを特徴とするインジケータデバイス。
5. 請求項４に記載のインジケータデバイスにおいて、
   前記段階的動作モードが、ユーザの状態のレベルを示すことを特徴とするインジケータデバイス。
6. 請求項１乃至５の何れか一項に記載のインジケータデバイスにおいて、
   前記インジケータモジュールが、視覚的インジケータモジュールであることを特徴とするインジケータデバイス。
7. 請求項１乃至６の何れか一項に記載のインジケータデバイスにおいて、
   前記インジケータモジュールが、聴覚的インジケータモジュールであることを特徴とするインジケータデバイス。
8. 請求項１乃至７の何れか一項に記載のインジケータデバイスにおいて、
   前記監視モジュールが、ユーザアクティビティに関連するデータを処理して、特定のユーザの状態を判定するように構成されかつ動作可能であることを特徴とするインジケータデバイス。
9. 請求項８に記載のインジケータデバイスにおいて、
   前記監視モジュールが、現在のユーザアクティビティを示すデータを処理して、ユーザの記録アクティビティを判定するように構成されかつ動作可能であることを特徴とするインジケータデバイス。
10. 請求項８または９に記載のインジケータデバイスにおいて、
    前記監視モジュールが、ユーザに提示された仮想コンテンツを示すデータを処理して、仮想コンテンツによって遮られたユーザの視野の量を特定するように構成されかつ動作可能であることを特徴とするインジケータデバイス。
11. 請求項１乃至１０の何れか一項に記載のインジケータデバイスにおいて、
    前記監視モジュールが、ユーザの注視方向の時間的パターンを示すデータを受信し、当該データを処理して特定のパターンを識別し、識別したパターンを、少なくとも１のユーザアクティビティを示す１または複数の基準パターンと比較して、一致するパターンを特定し、一致するパターンを特定したときに、それに応じて前記インジケータモジュールを作動させるように構成されかつ動作可能であることを特徴とするインジケータデバイス。
12. 請求項２乃至１１の何れか一項に記載のインジケータデバイスにおいて、
    前記監視モジュールが、仮想コンテンツの３Ｄ位置とユーザの注視方向との間の対応関係を識別するように構成されかつ動作可能であることを特徴とするインジケータデバイス。
13. 請求項１乃至１２の何れか一項に記載のインジケータデバイスにおいて、
    前記インジケータモジュールが、異なるタイプのユーザアクティビティをそれぞれ示す複数の信号を生成するように構成されかつ動作可能であることを特徴とするインジケータデバイス。
14. 請求項１乃至１３の何れか一項に記載のインジケータデバイスにおいて、
    ウェアラブル拡張現実システムに組み込まれるように構成されていることを特徴とするインジケータデバイス。
15. ＡＲユーザアクティビティを示す方法であって、
    ユーザアクティビティに関連するデータを受信して処理するステップと、
    ユーザが特定の社会的関連パラメータに対応する特定のユーザ状態にあるか否かを識別するステップと、
    傍観者に対して、ユーザアクティビティに関連する少なくとも１の社会的関連パラメータを示す少なくとも１の信号を生成するステップとを含むことを特徴とする方法。
16. 請求項１５に記載の方法において、
    特定のユーザ状態を識別したときにインジケータデバイスを作動させるステップをさらに含むことを特徴とする方法。
17. 請求項１５または１６に記載の方法において、
    少なくとも１の社会的関連パラメータが、記録アクティビティ、没入状態、集中状態および空間アクティビティのうちの少なくとも１つを含むことを特徴とする方法。
18. 請求項１５または１６に記載の方法において、
    ユーザアクティビティのタイプを判定するステップをさらに含むことを特徴とする方法。
19. 請求項１８に記載の方法において、
    前記ユーザアクティビティのタイプを示す少なくとも１の信号を生成するステップをさらに含むことを特徴とする方法。
20. 請求項１５乃至１９の何れか一項に記載の方法において、
    前記少なくとも１の信号を生成することが、オン／オフ、段階的、および特定の社会的パラメータを示す動作モードのうちの少なくとも１つの動作モードを起動することを含むことを特徴とする方法。
21. 請求項２０に記載の方法において、
    前記段階的動作モードが、ユーザ状態のレベルを示すことを特徴とする方法。
22. 請求項１５乃至２１の何れか一項に記載の方法において、
    前記少なくとも１の信号を生成することが、少なくとも１の視覚的または聴覚的な信号を生成することを含むことを特徴とする方法。
23. 請求項１５乃至２２の何れか一項に記載の方法において、
    ユーザアクティビティに関連するデータを処理することが、ユーザに提示された仮想コンテンツを示すデータを処理すること、並びに、仮想コンテンツによって遮られたユーザの視野の量を特定することを含むことを特徴とする方法。
24. 請求項２３に記載の方法において、
    処理することが、前記データにおいて、特定のパターンを識別すること、識別したパターンを、少なくとも１のユーザアクティビティを示す１または複数の基準パターンと比較して、一致するパターンを特定すること、並びに、一致するパターンを特定した際に、特定の社会的パラメータに対応する少なくとも１の信号を生成することを含むことを特徴とする方法。
25. 請求項２３または２４に記載の方法において、
    処理することが、空間状態を判定するために、ユーザに提示された仮想コンテンツを示すデータと、少なくとも１のユーザアクティビティを示す基準データパターンとに基づいて、ユーザの動きの程度を予測することを含むことを特徴とする方法。
26. 請求項２３乃至２５の何れか一項に記載の方法において、
    データを処理することが、仮想コンテンツの３Ｄ位置とユーザの注視方向との対応関係を識別することを含むことを特徴とする方法。

Images