JP2016181244A - ユーザ注意判定システム、方法及びプログラム - Google Patents

Abstract

【課題】ユーザが複数である場合、もしくは空間が広い場合であっても、提示されているコンテンツにユーザが注意を払っているか否か判定することを可能とする。
【解決手段】データ統合部は、画像のシーケンス及び頭部向きのシーケンスの各々を記憶し、関連付ける。コンテンツ識別部は、取得した画像のシーケンスのマーカのメタデータを評価することによってプレゼンテーションコンテンツを識別する。ユーザ注意判定部は、第１ユーザの視認アクティビティを測定する。視認アクティビティの測定値は第１ユーザが表示されているコンテンツに注意を払っている場合であるか注意を払っていない場合であるかを含む。
【選択図】図５

Description

本開示は、提示されているコンテンツへのユーザの注意を判定するシステム、方法及びプログラムに関する。

ここ１０年の間、スマート環境はよく見られるリサーチのトピックであった。スマート空間（パーベイシブコンピューティング環境、スマート環境、アンビエントインテリジェンスとも呼ばれる）は、１つのタスクに関して共同して作業するユーザのグループによって使用される技術的に拡張された作業環境である。例えば、ユーザ（例えば、ミーティング参加者）の位置及びアクティブな話者の検出など、行われているアクティビティに関するメタデータを収集するために、職場の会議室がスマート空間として使用され得る。収集された情報は、ミーティングを後でレビューするための情報もしくはビデオ要約を生成するための情報などの豊富なフィードバックをユーザに提供することができる。

チウ（Chiu）ら、「簡易議事録：マルチメディアミーティング議事録のためのインターネットベース議事録（Liteminutes: an internet-based system for multimedia meeting minutes）」、ｗｗｗに関する第１０回国際会議抄録（Proceedings of the 10th international conference on World Wide Web）、ＡＣＭ、２００１年、頁１４０〜１４９ カーン（Kern）ら、「ミーティング記録に注釈を付すためのウェアラブルセンシング（Wearable sensing to annotate meeting recordings）」、パーソナル及びユビキタスコンピューティング（Personal and Ubiquitous Computing）、２００３年、７（５）、頁２６３〜２７４

スマート空間におけるエゴセントリックトラッキング（自己中心的追跡）に関する以前の技術では、深度センサ及びカメラなどの拡張センサアレイをスマート空間に取り付けることによってユーザの位置検出を行っていた。しかしながら、従来の方法には、例えば、非常に広い部屋へのスケーラビリティ（拡張性）及び／もしくは多数の参加者を追跡するための能力などに限界があった。詳細には、従来の方法は、スケーラビリティについて指数関数的に増大するセンサを必要とすることがよくある。即ち、群集を追跡するために従来の方法を使用する場合、隠れ問題が結果として生ずる。

本発明は、ユーザが複数である場合、もしくは空間が広い場合であっても、提示されているコンテンツにユーザが注意を払っているか否か判定することを可能とする。

第１の態様は、提示されているコンテンツへのユーザの注意を判定するシステムであって、複数のユーザに対して提示されているコンテンツの第１セットに第１マーカを適用する可視ラベリング部であって、前記第１マーカの各々はコンテンツの前記第１セット及びプレゼンテーションの提示ユニットの各々と対応付けられている少なくともコンテンツＩＤを識別する第１メタデータを含む、可視ラベリング部と、適用された前記第１マーカと共に、複数の前記ユーザに対して、前記提示ユニットに前記プレゼンテーションを表示する表示部と、複数のユーザの内の第１ユーザによって装着されたボディ搭載カメラから頭部向き情報を受信し、前記頭部向き情報から前記第１ユーザの頭部向きのシーケンスを判定し、前記第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と頭部向きのシーケンスの各々とを関連付ける頭部向き判定部と、前記第１ユーザによって装着された前記ボディ搭載カメラによって取得された画像のシーケンスを受信し、前記第１ユーザ及び前記ボディ搭載カメラと対応付けられている識別子と対応する第２タイムスタンプのシーケンスとを前記画像のシーケンスと関連付ける画像受信部であって、画像の前記シーケンスは前記第１ユーザに対して提示される、もしくは視認可能な室内表示／情報である、画像受信部と、前記画像のシーケンス及び前記頭部向きのシーケンスの各々を記憶し、関連付けるデータ統合部と、取得した前記画像のシーケンスのマーカのメタデータを評価することによってプレゼンテーションコンテンツを識別するコンテンツ識別部と、前記第１ユーザの視認アクティビティを測定するユーザ注意判定部であって、前記視認アクティビティの測定値は前記第１ユーザが表示されているコンテンツに注意を払っている場合であるか注意を払っていない場合であるかを含む、ユーザ注意判定部と、を含む。

第２の態様は、第１の態様のシステムであって、前記第１マーカは、前記プレゼンテーションが提示される前記プレゼンテーションの提示面を識別する物理マーカ、を含み、前記プレゼンテーションは非デジタルコンテンツ及び／もしくはデジタルコンテンツを含む。

第３の態様は、第１又は第２の態様のシステムであって、埋め込まれた前記可視マーカはプレゼンテーションスクリーンと共にパーソナルスクリーンに表示される。

第４の態様は、第１〜第３の何れかの態様のシステムであって、前記画像受信部は複数の前記ユーザの内２人以上のユーザによって装着された２つ以上のボディ搭載カメラによって取得された前記画像のシーケンスを受信する。

第５の態様は、第１〜第４の何れかの態様のシステムであって、前記ボディ搭載カメラに結合されているマイクロフォンによって記憶された室内音声を受信する音声受信部、をさらに含み、前記室内音声は提示されたコンテンツの前記第１セットの音声及び前記室内の話者の音声を含み、前記室内音声は前記第１ユーザと関連付けられている。

第６の態様は、第１〜第５の何れかの態様のシステムであって、前記ボディ搭載カメラに結合されているどのマイクロフォンが所定の任意の時間に最も強い音声信号を有するかに基づいて、複数の前記ユーザの内どのユーザが話しているかを識別する話者識別部、をさらに含む。

第７の態様は、第１〜第６の何れかの態様のシステムであって、複数の前記ユーザの話者の識別を検証するために音声フィンガープリントを使用する話者認証部、をさらに含む。

第８の態様は、第１〜第７の何れかの態様のシステムであって、複数の前記ユーザの視認アクティビティに基づいて、複数の前記ユーザのサブセットを識別し、複数の前記ユーザのサブセットにおける支配的なもしくは受動的な話者を識別するディスカッションダイナミック判定部、をさらに含み、複数の前記ユーザのサブセットのメンバは所定の時間に互いに会話している。

第９の態様は、第１〜第８の何れかの態様のシステムであって、前記プレゼンテーションにおける視聴者全体の関心及び個人の関心に関する報告を生成する報告部、をさらに含む。

第１０の態様は、第１〜第９の何れかの態様のシステムであって、サーバに記憶されている前記視認アクティビティに基づいて、前記ユーザに関連付けられている一つもしくは複数のデバイスに表示するユーザに関連する追加的なコンテンツを送信する追加ビデオフィード部、をさらに含む。

第１１の態様は、第１〜第１０の何れかの態様のシステムであって、前記測定値は、前記頭部向きのシーケンスと前記画像のシーケンスの識別されたコンテンツの相対的な位置との差異を計算することによって取得され、関連付けられている第１及び第２のタイムスタンプに基づいて、２つの方向の角度差が所定値内である場合に、識別されたコンテンツに前記第１ユーザが注意を払っていると判定する。

第１２の態様は、コンテンツにユーザが注意を払っているか否か判定する方法であって、プロセッサ及びメモリを有するコンピュータシステムが、複数のユーザに提示されるコンテンツの第１セットに第１マーカを適用し、前記第１マーカの各々はコンテンツの前記第１セット及びプレゼンテーションの提示ユニットの各々と関連付けられている少なくともコンテンツＩＤを識別する第１メタデータを含み、適用された前記第１マーカと共に複数の前記ユーザに対して前記提示ユニットに前記プレゼンテーションを表示し、複数のユーザの内第１ユーザによって装着されたボディ搭載カメラから頭部向き情報を受信し、前記第１ユーザの頭部向きのシーケンスを前記頭部向き情報から判定し、頭部向きのシーケンスの各々を前記第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と関連付け、前記第１ユーザによって装着されたボディ搭載カメラによって取得された画像のシーケンスを受信し、前記画像のシーケンスは前記第１ユーザに対して提示され、前記第１ユーザによって視認可能な室内表示／情報であり、前記第１ユーザ及び前記ボディ搭載カメラと関連付けられている識別子及び対応する第２タイムスタンプのシーケンスを前記画像のシーケンスと関連付け、画像のシーケンス及び頭部向きのシーケンスの各々を記憶し、関連付け、取得した前記画像のシーケンスのマーカの前記メタデータを評価することによってプレゼンテーションコンテンツを識別し、前記第１ユーザの視認アクティビティを測定し、前記視認アクティビティの測定値は、前記第１ユーザが表示されたコンテンツに注意を払っている場合であるか、もしくは注意を払っていない場合であるかを含む。

第１３の態様は、第１２の態様の方法であって、前記第１マーカは、前記プレゼンテーションが提示されている前記プレゼンテーションの提示面を識別する物理的マーカを含み、前記プレゼンテーションは非デジタルコンテンツ及び／もしくはデジタルコンテンツを含む。

第１４の態様は、第１２又は第１３の態様の方法であって、埋め込まれた可視マーカを含むプレゼンテーションは、プレゼンテーションスクリーンと共に、パーソナルスクリーンに表示される。

第１５の態様は、第１２〜第１４の何れかの態様の方法であって、画像のシーケンスを受信することは、複数の前記ユーザの内、２人以上のユーザによって装着された２つ以上のボディ搭載カメラによって取得される画像のシーケンスを受信することを含む。

第１６の態様は、第１２〜第１５の何れかの態様の方法であって、前記ボディ搭載カメラに結合されたマイクロフォンによって記録された室内音声を受信することをさらに含み、前記室内音声は、提示されたコンテンツの前記第１セットからの音声及び室内の話者の音声を含み、前記室内音声は前記第１ユーザと関連付けられている。

第１７の態様は、第１２〜第１６の何れかの態様の方法であって、前記ボディ搭載カメラに結合されているどのマイクロフォンが任意の所定の時間に最も強い音声信号を有しているかに基づいて、複数の前記ユーザのどのユーザが話しているかを識別する、ことをさらに含む。

第１８の態様は、第１２〜第１７の何れかの態様の方法であって、複数の前記ユーザの視認アクティビティに基づいて、複数の前記ユーザのサブセットを識別し、複数の前記ユーザのサブセットのメンバは、所定の時間に互いに会話しており、複数の前記ユーザのサブセットにおいて支配的な話者であるか、もしくは受動的な話者であるかを識別する、ことをさらに含む。

第１９の態様は、第１２〜第１８の何れかの態様の方法であって、サーバに記憶された視認アクティビティに基づいて、前記ユーザに関連付けられている一つもしくは複数のデバイスに表示するために、前記ユーザに関連する追加的なコンテンツを送信する、ことをさらに含む。

第２０の態様は、プログラムであって、複数のユーザに提示されるコンテンツの第１セットに第１マーカを適用し、前記第１マーカの各々は、コンテンツの第１セット及びプレゼンテーションの提示ユニットの各々と関連付けられている少なくともコンテンツＩＤを識別する第１メタデータを含み、適用された前記第１マーカと共に、複数の前記ユーザに対して、前記提示ユニットにプレゼンテーションを表示し、複数の前記ユーザの内第１ユーザによって装着されているボディ搭載カメラから頭部向き情報を受信し、前記第１ユーザの頭部向きのシーケンスを前記頭部向き情報から判定し、前記第１のユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と、頭部向きのシーケンスの各々とを関連付け、前記第１ユーザによって装着された前記ボディ搭載カメラによって取得された画像のシーケンスを受信し、前記画像のシーケンスは前記第１ユーザに対して提示され、前記第１ユーザによって視認可能である室内表示／情報であり、前記第１ユーザ及びボディ搭載カメラと関連付けられている識別子及び対応する第２タイムスタンプのシーケンスと前記画像のシーケンスとを関連付け、前記画像のシーケンス及び頭部向きのシーケンスの各々を記憶し、関連付け、取得した画像のシーケンスのマーカのメタデータを評価することによりプレゼンテーションコンテンツを識別し、前記第１のユーザの視認アクティビティを測定し、前記視認アクティビティの測定値は、前記第１ユーザが表示されたコンテンツに注意を払っている場合であるか、注意を払っていない場合であるかを含む、提示されているコンテンツにユーザが注意を払っているか否か判定する処理をコンピュータに実行させる。

本発明は、ユーザが複数である場合、もしくは空間が広い場合であっても、提示されているコンテンツにユーザが注意を払っているか否か判定することを可能とする。

実装のいくつかによるスマート空間におけるエゴセントリックトラッキングシステムを例示する。 実装のいくつかによるエゴセントリックトラッキングシステムによって使用されるスマート空間における可視マーカを例示する。 実装のいくつかによるスマート空間におけるエゴセントリックトラッキングシステム他の例を示す。 実装のいくつかによるエゴセントリックトラッキングシステムにおいて使用されるクライアントデバイスを例示するブロック図である。 実装のいくつかによるエゴセントリックトラッキングシステムにおいて使用されるサーバシステムを例示するブロック図である。 実装のいくつかによるスマート空間におけるエゴセントリックトラッキングを使用するパーソナライズされたミーティングイベントの取得を例示するフローチャートである。 実装のいくつかによるスマート空間において提示されたコンテンツにユーザが注意を払っているか否か判定する方法を例示するフローチャートである。 実装のいくつかによるスマート空間において提示されたコンテンツにユーザが注意を払っているか否か判定する方法を例示するフローチャートである。 実装のいくつかによるスマート空間において提示されたコンテンツにユーザが注意を払っているか否か判定する方法を例示するフローチャートである。

最近の技術的進歩は、軽量なヘッドマウントカメラを実用化及び利用可能化し、グーグルグラスのような製品はエゴセントリックトラッキングの考えを主流とすることを意図している。エゴセントリックトラッキングの間、オブザーバが操作するオブジェクトもしくはオブザーバがやりとりする人々及び顔は、自然と、視界の中心となる傾向があり、隠れは少ない傾向がある。エゴセントリックトラッキングによって取得された情報は、ユーザの位置検出などの特定の適用に有用であり得る。

本開示は、エゴセントリック位置検出による、パーソナライズされたミーティングイベントの生成及び計測を促進する技術を提案する。ここで使用されるように、用語「エゴセントリック位置検出」、「エゴセントリックユーザ位置検出」、「ユーザ位置検出」もしくは「位置検出」は、所定の環境におけるユーザの視野から可視情報（例えば、ユーザの位置及び頭部向き情報）を取得する操作を示し、ユーザが何に注意を払っているか（例えば、見ているか）を判定するために使用される。実装のいくつかにおいて、エゴセントリック位置検出は、可視マーカ及びカメラを備えたヘッドマウントデバイス（ＨＭＤ）の組み合わせを用いて達成される。実装のいくつかにおいて、カメラを備えたＨＭＤを装着したユーザに方法は依存する。実装のいくつかにおいて、追跡はユーザの知覚から自己中心的に実行される。カメラを備えた軽量なＨＭＤ及び慣性計測ユニット（ＩＭＵ）（例えば、グーグルグラス）の出現はこれを可能とする。

この方法でカメラベース位置検出を可能とするために、スマート空間において、可視マーカに依存する。可視マーカは、ここでマーカとして示されるように、拡張現実（ＡＲ）システムにおいて広く利用される。拡張現実（ＡＲ）技術は、強調した環境の視界をユーザに提供するために、仮想及び現実世界を組み合わせる。例えば、ＡＲシステムは、関連付けられているソフトウェアによる表示及び動き追跡を含み得る。ソフトウェアは、表示の位置を知るために、及び、仮想オブジェクトを描画するために追跡イベントを読み込む。正確に描画するために、仮想オブジェクト及び現実世界を登録する必要がある。この登録は、拡張が実行される仮想カメラの幾何学的位置が現実世界に対して既知であることを暗示する。可視マーカが動き検出、位置検出及び／もしくは姿勢推定のためにＡＲシステムにおいて使用され得る。

実装のいくつかにおいて、外部可視マーカもしくはマーカは、スマート空間のモニタ（もし存在するなら）に表示されてもよいし、実装のいくつかによる装飾（例えば、壁に添付、表示、スクリーン、家具など）の部分であってもよい。マーカの幾何学的情報（例えば、マーカスケール、ピッチ、ロール及びヨーと２次元カメラ画像の中心及びコーナーポイント位置）を論理的に提供し得る複数の可視マーカスキームが存在する。実装のいくつかにおいて、スマート空間における任意のマーカに対する視線を見失ったとしても（例えば、隠れもしくは通常でない頭部の姿勢などにより生じ得る）、位置検出は、新しいマーカが検出されるまでの所定の時間、ＨＭＤのＩＭＵのデッドレコニングによって実行され得る。例えば、ＨＭＤのＩＭＵはスマート空間においてユーザの視線から可視情報を取得することが可能であり、加速度計及びジャイロスコープからのデータ、歩数カウント、及び／もしくはユーザが何に注意を払っている（例えば、見ている）かを判定するために当該技術分野で既知の技術を用いて取得される情報を組み合わせる。

用語「隠れ」はユーザが見たいものがあるがセンサ設定の特性のいくつかもしくはイベントのいくつかによって見ることができない何かが存在することを意味する。例えば、オブジェクト（例えば、人、車など）を追跡するシステムにおいて、例えば、互いにすれ違う２人のユーザもしくは橋の下を走る車など他のオブジェクトによってシステムが追跡するオブジェクトが隠れる場合隠れが発生する。他の例において、レンジカメラ（例えば、シーンの各ポイントまでの距離を示す画像を提供するカメラ）を用いる場合、隠れはレンジカメラが任意の情報を収集することができない領域で生じ得る。他の例において、レーザレンジカメラのいくつかはユーザが検討している面にレーザビームを送信することによって動作し、結果画像において、レーザのインパクトのポイントをカメラに識別させる。しかしながら、カメラ及びレーザは位置揃えする必要はなく、検討されている面のポイントのいくつかは隠れ、即ち、カメラから隠れ、もしくはカメラの視界内で検出されるがレーザはヒットできない。

スマート空間においてユーザの位置を推定するために、実装のいくつかによるシステムはマーカの論理的及び幾何学的情報の両方を利用する。例えば、論理的マーカ情報は、マーカのＩＤを識別するためにまず使用される。マーカのＩＤは、次に、スマート空間におけるマーカの位置及び大きさを含むデータベースを問い合わせるために使用される。論理的情報と併せて、マーカ検出アルゴリズムによって提供される幾何学的情報は空間におけるユーザの位置を推定するために使用され得る。実装のいくつかにおいて、マーカ検出アルゴリズムに使用されるシステムは富士ゼロックス株式会社によるＥＭＭ（Embedded Media Marker）システムである。ＱＲ検出の可視基準コード、ＳＩＦＴ、ＳＵＲＦなどの不変画像特徴検出などの当該技術分野で知られている他のマーカ検出システムが、いくつかの実装によって使用され得る。複数の検出されたマーカは、実装のいくつかによる推定されたユーザ位置を平均化することにより位置検出を改善するために使用され得る。マーカの位置推定についてサーバに問い合わせることに加えて、実装のいくつかによるシステムはＨＭＤのＩＭＵを利用することによりユーザの頭部の向きを推定することが可能である。

即ち、実装による方法及びシステムはエゴセントリックアプローチによるユーザ位置検出の問題を解決する。このアプローチは少なくとも以下の効果を有する。（１）可視マーカはスマート空間に配置し得ると仮定すると、本方法は任意の空間サイズに適応可能である。（２）空間を用いることにより、詳細には、ユーザの各々が適切なＨＭＤを備える場合、本方法は多数のユーザに適応可能である。

様々な実装について詳細に説明する。実装の例は添付図面に例示される。図面において、同様の構成要素は同様の参照符号で示される。以下の詳細な説明において、開示及び説明される実装の全体的な理解を支援するために特定の詳細が多く記載される。しかしながら、特定の詳細なしで、本開示を実施することができる。他の例において、よく知られた方法、プロシージャ、コンポーネント及び回路については、実装の態様を不必要に不明瞭にしないために、詳細には説明しない。

図１は、実装のいくつかによるスマート空間１０２のエゴセントリックトラッキングシステム１００を例示する。システム１００は、基準及び／もしくは自然特徴を含む可視マーカのエゴセントリックトラッキングを提供する。ここで、「基準マーカ」もしくは「基準」は撮像システムの視野に配置されているオブジェクトである。オブジェクトは生成される画像に現れ、基準点として使用される。オブジェクトは、撮像対象の中又は上に配置される物（例えば、ＱＲコード（登録商標）を含むステッカー、バーコード、もしくは対象を識別する読みやすいラベル）であってもよいし、光学機器のレチクル（光学機器の焦点面に付加される網線、十字線など）のマーク、もしくはマークのセットであってもよい。また、可視マーカとして用いられる自然特徴は、塗装もしくは他の装飾的なオブジェクトなどの装飾であってよい。

例えば、会議室であるスマート空間１０２に、破線で示されるカメラの視野に近い視野を有する複数のミーティング参加者が存在する。観葉植物１０４は装飾的な自然特徴であり、参加者が装着しているカメラによって行われるエゴセントリックトラッキングのために、会議室であるスマート空間１０２に配置され得る。投影スクリーン及び／もしくはモニタ１０６、及び／もしくはピクチャフレームは、基準特徴もしくは自然特徴であり、カメラの視野に配置されることができ、エゴセントリックトラッキングのために検出されることができる。室内の可視マーカは、参加者のトラッキングカメラの視野に入らないスポットがほとんどないように、配置され得る。

図２は、実装のいくつかによる可視マーカの例、及びユーザ２０２のトラッキングカメラ２０４の視野に入らないスポットがほとんどないように、例示的な可視マーカを配置した例を示す。図２において、可視マーカは、空間において区別可能なオブジェクト２４０、モニタ２３０、ホワイトボード／黒板２１０、ＱＲコード２１２、もしくはラベル２１４などの自然特徴、及び、画像２２２、コンテンツＩＤ（例えば、スクリーンＩＤ）２２４もしくはコンテンツＩＤ（例えば、スライドＩＤ）２３２などの基準特徴を含む。ホワイトボードもしくは黒板２１０に貼り付けられている正方形の可視マーカ２１２などのこれらのマーカは、カメラ２０４のために、少なくとも４つの同一平面上の対応する点を提供し得る。同様に、円形のマーカ２２２（例えば、投影スクリーン２２０に表示された画像）もしくは矩形のマーカ２１４などの他の形状は、カメラ２０４のために、位置推定のための基準点を提供し得る。

可視マーカの例としてＱＲコード２１２を図２に示すが、可視マーカは、他の形状であってもよいし、及び／もしくはコンテンツによって計算されたフォーマットであってもよい。実装のいくつかにおいて、可視マーカは、スクリーン自身、もしくは、スクリーンに基づいて符号化されたテキスト及び／もしくは画像であってよい。同様に、ラベル２１４、画像２２２、コンテンツを識別するために使用されるスクリーンＩＤ２２４及び／もしくはスライドＩＤ２３２は他の形状及び／もしくはフォーマットであってよい。

実装のいくつかにおいて、マーカの各々（例えば、マーカ２１２、２１４、２２２、２２４、２３２、及び２４０）は、コンテンツのセット及びプレゼンテーションの提示ユニットの各々（例えば、ページもしくはフレーム／ビデオタイムマーク）に関連付けられているコンテンツＩＤを少なくとも識別するメタデータを含む。例えば、投影スクリーン２２０に表示されているスクリーンＩＤ２２４は、投影ユニットである投影スクリーン２２０に表示されているコンテンツのセット（例えば、プレゼンテーションスライドのセット）と関連付けられているコンテンツＩＤ（例えば、フレーム／ビデオタイムマーク）を少なくとも識別するメタデータを含む。メタデータは、投影スクリーン２２０に投影された場合、コンテンツのセット内のマーカを反映する。同様に、モニタ２３０に表示されるスライドＩＤ２３２は、提示ユニットであるモニタ２３０に表示されているコンテンツのセット（例えば、プレゼンテーションスライドのセット）と関連付けられているコンテンツＩＤ（例えば、フレーム／ビデオタイムマーク）を少なくとも識別するメタデータを含む。メタデータは、モニタ２３０で提示される場合、コンテンツのセット内のマーカを反映する。

図２において、可視マーカ２１２、２１４、２２２、２２４、２３２、２４０は、ユーザ２０２のトラッキングカメラ２０４の視野に入らないスポットがほとんどないように配置されている。実装のいくつかにおいて、隠れもしくは普通ではない頭部の姿勢によって、トラッキングカメラ２０４の視野に入らないスポットが生じたとしても、新しいマーカが検出されるまでの所定時間の間、ＨＭＤ（Head mounted Display）のＩＭＵで、例えば、デッドレコニングによる位置検出が実行され得る。

図３は、スマート空間のエゴセントリックトラッキングシステム３００のブロック図を示す。エゴセントリックトラッキングシステム３００は、実装のいくつかによってミーティングイベントをパーソナライズするために使用され得る。システム３００は、一人もしくは複数のユーザ３０２によって装着されたクライアントデバイス１０６及び一つもしくは複数の通信ネットワーク３２８によって相互に接続されたサーバ３２０を含む。実装のいくつかにおいて、システム３００はコンテンツを提示するために使用され得るコンピューティングデバイス３０８も含む。コンピューティングデバイス３０８は、通信ネットワーク３２８を介して、クライアントデバイス３０６及び／もしくはサーバ３２０と接続されている。

通信ネットワーク３２８は、イントラネット、エクストラネット、もしくはインターネットなどの有線または無線のローカルエリアネットワーク（ＬＡＮ）及び／もしくはワイドエリアネットワーク（ＷＡＮ）の何れであってもよい。通信ネットワーク３２８は、サーバシステム３２０及びクライアントデバイス３０６と、デバイス３０８との間の通信機能を十分に提供する。

例示的なエゴセントリックトラッキングシステム３００において、プレゼンター（例えば、ユーザ３０２−Ｎ）はユーザのグループ（例えば、ユーザ３０２−１、３０２−２、３０２−３）に投影スクリーン３０４に表示されているコンテンツを提示している。提示している間、プレゼンター（例えば、ユーザ３０２−Ｎ）はホワイトボードもしくは黒板３０５に書いたコンテンツを参照することができる。図１及び図２に関して上記したように、観葉植物３０７などの自然特徴、及び備品３０９、投影スクリーン３０４、ホワイトボードもしくは黒板３０５、スマート空間に貼り付けられているＱＲコードもしくはラベルが可視マーカとして使用され得る。さらに、画像、スクリーンＩＤ、スライドＩＤなどの基準マーカと同様に、コンピューティングデバイス３０８及び／もしくは投影スクリーン３０４に表示されているプレゼンテーションに埋め込まれている可視マーカが使用されてもよい。これらのマーカは、スマート空間のユーザ３０２の位置を推定するために、一人もしくは複数のユーザ３０２によって装着されているクライアントデバイス１０６の基準点を提供し得る。

一人もしくは複数のユーザ（例えば、ユーザ３０２−１、３０２−２及び３０２−３）は投影スクリーン３０４、コンピューティングデバイス３０８及び／もしくはホワイトボードもしくは黒板３０５に表示されている、画像、スクリーンＩＤ、ＱＲコードもしくはラベルなどのコンテンツを見ている。ユーザ３０２の各々は視野（例えば、ローカルユーザの目）を有し、クライアントデバイス３０６の各々は視野を有する。実装のいくつかにおいて、クライアントデバイス３０６はユーザ３０２によって装着または保持されている。従って、ユーザ３０２の視野及びクライアントデバイス３０６の視野は、少なくとも部分的に重なり、実質的に同一の方向に向かう。例えば、クライアントデバイス３０６はユーザ３０２の頭部に装着されていてもよい。これらの実装において、クライアントデバイス３０６の絶対位置はユーザ３０２が移動すると変化するが、ユーザ３０２とクライアントデバイス３０６との相対的な位置及び距離は変化しない。ユーザ３０２との相対的な距離を同一に維持する他の方法も利用可能である（例えば、ユーザ３０２によって押されるカートもしくは他の車輪を有するプラットフォームに搭載されていてもよい。

実装のいくつかにおいて、クライアントデバイス３０６は、ネットワーク３２８への接続を有する少なくとも１つの画像取得デバイスを含む。クライアントデバイス３０６は、クライアントデバイス３０６の位置及び／もしくは方向及び視野を決定することができる一つもしくは複数の追加的なセンサ（例えば、ＧＰＳ（Global Positioning System）受信手段、加速度計、ジャイロスコープ、磁気計など）を含んでもよい。実装のいくつかにおいて、クライアントデバイス３０６は、ユーザ３０２への追加的なテレプレゼンス情報を提供するマイクロフォン及び他のセンサ（例えば、温度計、高度計、気圧計など）も含む。結果として、クライアントデバイス３０６は、ミーティング、プレゼンテーション、ツアー及びミュージカルもしくは劇場パフォーマンスなどの位置検出のための音声及び／もしくはビデオ、方向に関する情報及び他の環境情報を提供することができる。

実装のいくつかにおいて、クライアントデバイス３０６は少なくとも１つのセンサデバイスを含む。センサデバイスは、ユーザ３０２の頭部の位置及び視界の方向に対して較正されると、ユーザの視野（視界の方向及び角度範囲を含む）を決定するために使用され得るデータを出力する一つもしくは複数のセンサを含む。センサデバイスはネットワーク３２８への接続を含む。

実装のいくつかにおいて、クライアントデバイス３０６は、ユーザの視野を決定するためにも使用され得るデータを出力するカメラデバイスを含む。実装のいくつかにおいて、クライアントデバイス３０６は、ユーザ３０２に対して情報を表示する表示デバイスを含む。実装のいくつかにおいて、クライアントデバイス３０６はセンサ、カメラデバイスを有する装着可能なヘッドギア、及び／もしくはヘッドアップディスプレイもしくはヘッドマウントディスプレイもしくは他のディスプレイである。例えば、クライアントデバイス３０６はグーグルのグーグルグラスであってよいが、これに限定されるものではない。

クライアントデバイス３０６はサーバ３２０を介してデータを交換する。実装のいくつかにおいて、クライアントデバイス３０６は、画像データ、センサデータ及び／もしくはメタデータを、サーバシステム３２０に送信する。ネットワーク３２８を介して、クライアントデバイス３０６及びサーバ３２０は通信可能に接続されている。実装のいくつかにおいて、サーバシステム３２０はクライアントデバイス３０６間のデータ交換及び連携を調整するモジュール（図５を参照して以下で詳述する）を含む。即ち、クライアントデバイス３０６はネットワーク３２８を介してサーバシステム３２０と接続され、サーバシステム３２０を介して相互にデータを送受信する。

サーバ３２０は画像データ、センサデータ及び／もしくはメタデータをクライアントデバイス３０６から受信する。実装のいくつかにおいて、サーバ３２０は、例えば、投影スクリーン３０４、コンピューティングデバイス３０８、ホワイトボード／黒板３０５、観葉植物３０７、備品３０９などのマーカ、スクリーンＩＤ、スライドＩＤ、ＱＲコード及び／もしくはラベルなどを識別するためにこれらのデータを処理する。サーバ３２０は、さらに、マーカの位置を識別し、クライアントデバイス３０６の位置及び向きを推定する。実装のいくつかにおいて、位置及び向き情報を用いて、サーバ３２０は、ユーザ３０２が提示されているコンテンツに注意を払っているか否か、及びユーザの注意に対応するコンテンツの位置を判定する。注意情報は、ミーティングイベントをパーソナライズするために使用され得る。

図４は、実装のいくつかによる代表的なクライアントデバイス３０６を例示するブロック図である。クライアントデバイス３０６は、一般的に、一つもしくは複数の処理ユニット（ＣＰＵ）４０２、一つもしくは複数のネットワークインターフェイス４１０、メモリ４０６、ユーザインターフェイス４４２、及び、これらの構成要素（チップセットともいう）を相互に接続する一つもしくは複数の通信バス４０４を含む。ユーザインターフェイス４４２は、一つもしくは複数の話者及び／もしくは一つもしくは複数の可視表示を含む、メディアコンテンツの提示を可能とする一つもしくは複数の出力デバイス４４６を含む。ユーザインターフェイス４４２は、キーボード、マウス、音声コマンド入力ユニットもしくはマイクロフォン、タッチスクリーンディスプレイ、タッチセンシティブ入力パッド、（例えば、符号化された画像を走査するための）カメラ、ジェスチャ取得カメラ、もしくは他の入力ボタンもしくはコントロールなどのユーザ入力を促すユーザインターフェイス構成要素を含む、一つもしくは複数の入力デバイス４４４を含む。さらに、クライアントデバイス３０６のいくつかは、キーボードを補助するため、もしくはキーボードに替えて、マイクロフォン及び音声認識もしくはカメラ及びジェスチャ認識を使用する。

メモリ４０６は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、もしくは他のランダムアクセスソリッドステートメモリなどの高速ランダムアクセスメモリを含む。メモリ４０６は、また、一つもしくは複数の磁気ディスクストレージデバイス、一つもしくは複数の光ディスクストレージデバイス、一つもしくは複数のフラッシュメモリデバイス、もしくは一つもしくは複数の他の不揮発性ソリッドステートストレージデバイスなどの不揮発性メモリを含んでもよい。メモリ４０６は、一つもしくは複数の処理ユニット４０２と離間して配置されている一つもしくは複数のストレージデバイスを含んでいてもよい。メモリ４０６、もしくは、メモリ４０６内の不揮発性メモリは、非一時的コンピュータ可読記録媒体を含む。実装のいくつかにおいて、メモリ４０６、もしくは、メモリ４０６の非一時的コンピュータ可読記録媒体は、以下のプログラム、モジュール及びデータ構造もしくは、プログラム、モジュール及びデータ構造のサブセットもしくはスーパーセットを記憶している。
●オペレーティングシステム４１４。オペレーティングシステム４１４は、様々な基本システムサービスを取り扱い、ハードウェア依存タスクを実行するプロシージャを含む。
●ネットワーク通信モジュール４１６。ネットワーク通信モジュール４１６は、クライアントデバイス３０６を、一つもしくは複数のネットワークインターフェイス４１０を介して一つもしくは複数のネットワーク３２８と（有線もしくは無線で）接続されている他のコンピューティングデバイス（例えば、サーバシステム３２０及びコンピューティングデバイス３０８）と接続する。
●カメラモジュール４１８。カメラモジュール４１８は、画像取得デバイス４０８によって取得された一連の画像（例えば、静止画像及び／もしくはビデオのフレーム）を受信し、処理し、取得した画像を画像データに符号化し、画像データをサーバシステム３２０に送信する。
●センサモジュール４２０。センサモジュール４２０は、センサ４１２から検出データを取得し、検出データをセンサデータに処理し、センサデータをサーバシステム３２０に送信する。
●ユーザインターフェイスモジュール４２２。ユーザインターフェイスモジュール４２２は、入力デバイス４４４及び／もしくは音声入力デバイス４０９で受信したユーザ入力を処理し、操作（例えば、画像記録、音声記録、画像再生、音声再生など）を実行するようコンピューティングデバイス３０６に指示する。ユーザインターフェイスモジュール４２２は、サーバシステム３２０から制御信号を受信し、制御信号に従って処理を実行するようコンピューティングデバイス３０６に指示してもよい。
●可視表示モジュール４２４。可視表示モジュール４２４は、データ（例えば、画像取得デバイス４０８及びセンサデバイス４１２からのセンサデータ、もしくはサーバ３２０からの可視データなど）を受信し、データを処理し、出力デバイス４４６にデータを表示する。可視表示モジュール４２４は、また、コンピューティングデバイス３０６へのコマンドを発行するためのユーザインターフェイスを表示する。可視表示モジュール４２４は表示された可視データとインタラクションしてもよい。
●画像分析モジュール４２６。画像分析モジュール４２６は、画像取得デバイス４０８によって取得された画像のマーカを識別する、などの追加的な画像処理を行う。
●音声モジュール４２８。音声モジュール４２８は、音声入力デバイス４０９によって取得された音声信号を受信し、処理し、音声信号を音声データに符号化し、音声データをサーバシステム３２０に送信する。
●クライアントデータストレージ４３０。クライアントデータストレージ４３０は、クライアントデバイス３０６と関連付けられているユーザのデータを記憶する。クライアントデータストレージ４３０は、以下のストレージを含んでいてもよい。
○ユーザデータ４３２。ユーザデータ４３２はユーザ識別データを記憶する。
○デバイスデータ４３４。デバイスデータ４３４は、デバイス３０６の位置、向き、ピッチ、チルト、ロールなど、ユーザによって装着されているデバイス３０６の情報を記憶する。
○タイムスタンプ４３６。タイムスタンプ４３６は、ユーザによって装着されているときに、デバイス３０６によって取得された可視アクティビティのタイムスタンプを記憶する。

上記構成要素の各々は、上記メモリデバイスの一つもしくは複数に記憶されてもよく、上記構成要素の各々は、上記機能を実行するための命令セットに対応する。上記モジュールもしくはプログラム（即ち、命令セット）は、別個のソフトウェアプログラム、プロシージャ、モジュールもしくはデータ構造として実装される必要はなく、モジュールの様々なサブセットは組み合わされてもよいし、様々な実装において再構成されてもよい。実装のいくつかにおいて、メモリ４０６は、上記モジュール及びデータ構造のサブセットを記憶してもよい。さらに、メモリ４０６は、上記されていない他のモジュール及びデータ構造を記憶してもよい。

図５は、実装のいくつかによる図３のサーバシステム３２０のブロック図である。サーバシステム３２０の一つもしくは複数の構成要素は、単一のコンピュータ、もしくは複数のコンピュータデバイスからアクセスされてもよく、また、単一のコンピュータ、もしくは複数のコンピュータデバイスで実行されてもよい。他の一般的な構成要素が含まれてもよいが、簡潔さの観点からここでは示さない。一般的に、サーバシステム３２０は一つもしくは複数の処理ユニット（ＣＰＵ）５１２、一つもしくは複数のネットワークもしくは他の通信インターフェイス５０４、メモリ５０６、及びこれらの構成要素を相互に接続する一つもしくは複数の通信バス５０８を含む。通信バス５０８はシステム構成要素間の通信を相互に接続し、制御する回路（チップセットと呼ばれることもある）を含んでもよい。

図５には示されないが、サーバシステム３２０は、例えば、表示手段、入力デバイス及び出力デバイスを含むユーザインターフェイスを含んでもよい。入力デバイスは、例えば、キーボード、マウス、タッチセンシティブディスプレイスクリーン、タッチパッドディスプレイスクリーンもしくはサーバシステム３２０に情報を入力させ得る他の適切なデバイスを含み得る。出力デバイスは、例えば、ビデオディスプレイユニット、プリンタ、もしくは出力データを提供可能な他の適切なデバイスを含み得る。入力デバイス及び出力デバイスは、単一の入力／出力デバイスであってもよい。

メモリ５０６は、高速ランダムアクセスメモリを含んでいてもよく、一つもしくは複数の磁気ディスクストレージデバイスなどの不揮発性メモリを含んでいてもよい。メモリ５０６は、ＣＰＵ５１２と離間して配置されている大容量ストレージを含んでいてもよい。メモリ５０６もしくはメモリ５０６内の不揮発性メモリデバイスはコンピュータ可読記録媒体を含む。メモリ５０６は以下の構成要素、もしくはこれらの構成要素のサブセット及び他の構成要素を記憶する。
●オペレーティングシステム５１６。オペレーティングシステム５１６は、様々な基本サーバシステムサービスを扱い、ハードウェア依存タスクを実行するプロシージャを含む。
●ネットワーク通信モジュール５１８。ネットワーク通信モジュール５１８は、インターネット、他のワイドエリアネットワーク、ローカルエリアネットワーク及びメトロポリタンエリアネットワークなどの一つもしくは複数の通信ネットワーク（有線もしくは無線）を介して他のサーバもしくはコンピュータとサーバシステム３２０とを接続するために使用される。実装のいくつかにおいて、ネットワーク通信モジュール５１８はサーバ３２０とネットワーク３２８を接続するサーバインターフェイスの部分である。
●可視ラベリングモジュール５２０。可視ラベリングモジュール５２０は、スマート空間のユーザ３０２に提示されるコンテンツに可視マーカを適用する。実装のいくつかにおいて、可視マーカの各々はコンテンツ及びプレゼンテーションの提示ユニット（例えば、投影スクリーン１０６−１、２２０、３０４及び／もしくはモニタなど）の各々と関連付けられている少なくとも１つのコンテンツＩＤを識別するメタデータを含む。
●表示モジュール５２２。表示モジュール５２２は、適用された可視マーカによって、ユーザ３０２に対して、提示ユニット（例えば、投影スクリーン１０６−１、２２０、３０４及び／もしくはモニタ）にプレゼンテーションを表示する。
●頭部向き判定モジュール５２４。頭部向き判定モジュール５２４は、ユーザ３０２によって装着されたボディ搭載カメラ（例えば、デバイス３０６のカメラ）から頭部向き情報を受信し、ユーザ３０２の頭部向きのシーケンスを第１のユーザ及び対応する第１のタイムスタンプのシーケンスと関連付けられている識別子と関連付ける。
●画像受信モジュール５２６。画像受信モジュール５２６は、一人もしくは複数のユーザ３０２によって装着されている一つもしくは複数のボディ装着カメラ（例えば、デバイス３０６のカメラ）によって取得された画像のシーケンスを受信する。実装のいくつかにおいて、画像のシーケンスは、ユーザ３０２に対して提示され、ユーザ３０２によって視認可能である室内可視画像／情報である。画像のシーケンスは、ユーザ３０２、ボディ装着カメラ（例えば、デバイス３０６のカメラ）及び対応する第２のタイムスタンプと関連付けられている識別子と関連付けられる。
●データ統合モジュール５２８。データ統合モジュール５２８は、画像シーケンス及び頭部向きのシーケンスのメンバの各々を記憶し、関連付ける。
●コンテンツ識別モジュール５３０。コンテンツ識別モジュール５３０は、取得された画像のシーケンスのマーカのメタデータを評価することによってプレゼンテーションコンテンツを識別する。
●ユーザ注意判定モジュール５３２。ユーザ注意判定モジュール５３２は、ユーザ３０２の視認アクティビティを測定する。視認アクティビティの測定の値はユーザ３０２が表示されているコンテンツに注意を払っているか払っていないかを含む。
●音声受信モジュール５３４。音声受信モジュール５３４はボディ装着カメラ（例えば、デバイス３０６のカメラ）に結合されているマイクロフォン（例えば、音声入力デバイス４０９）によって記録される室内音声を受信する。実装のいくつかにおいて、室内音声は、提示されているコンテンツからの音声及び室内の話者からの音声を含む。また、室内音声はユーザ３０２に関連付けられている。
●話者識別モジュール５３６。話者識別モジュール５３６は、どの室内ユーザ３０２が話しているか、をボディ装着カメラ（例えば、デバイス３０６のカメラ）に結合されているどのマイクロフォン（例えば、音声入力デバイス４０９）が任意の時点で最大音声信号を有するかに基づいて、識別する。
●話者認証モジュール５３８。話者認証モジュール５３８は室内ユーザ３０２の話者の識別を検証するための音声フィンガープリントを使用する。
●ディスカッションダイナミック判定モジュール５４０。ディスカッションダイナミック判定モジュール５４０は、ユーザ３０２の視認アクティビティに基づいて、ユーザ３０２のサブセット、所定の時点で相互に会話しているユーザ３０２のサブセットのメンバ、及びユーザ３０２のサブセットの支配的なもしくは受動的な話者を識別する。
●報告モジュール５４２。報告モジュール５４２は、プレゼンテーションの視聴者全員の関心及び個人の関心に関するレポートを準備する。
●追加ビデオフィードモジュール５４４。追加ビデオフィードモジュール５４４は、サーバに記憶されている視認アクティビティに基づいて、ユーザ３０２に関連付けられている一つもしくは複数のデバイス、例えば、投影スクリーン１０６−１、２２０、３０４及び／もしくはモニタに表示するために室内ユーザ３０２に関連する追加コンテンツを送信する。
●データストレージ３２２。データストレージ３２２は上記モジュールによって生成されたデータを記憶し、以下のデータベースを含む。
●コンテンツデータベース５４６。コンテンツデータベース５４６は、例えば、コンテンツに関連付けられているコンテンツＩＤ、メタデータを含む、ユーザ３０２に提示されているコンテンツに関連付けられている情報を記憶する。実装のいくつかにおいて、コンテンツＩＤ及び／もしくはメタデータはコンテンツから導出されてもよい。例えば、ＱＲコード２１２はコンテンツから計算され、コンテンツＩＤ及び／もしくはメタデータとして使用されてもよい。実装のいくつかにおいて、メタデータは、コンテンツに関連付けられている形状、位置、長さ、画像などコンテンツの属性を含むが、これらに限定されるものではない。
●デバイスデータベース５４８。デバイスデータベース５４８は、デバイスに関連する情報を記憶する。デバイスデータベース５４８は、プレゼンテーションを見るために、ユーザ３０２によって使用されるデバイス及びエゴセントリックトラッキングのためにユーザ３０２によって装着されるデバイスに関連する情報を記憶する。情報は、デバイスＩＤ、デバイス位置、デバイス向き、地理的情報を含むが、これらに限定されない。
●ユーザデータベース５５０。ユーザデータベース５５０は、ユーザＩＤ及びエゴセントリックトラッキングのためにユーザによって装着されているデバイスとユーザとの関係を含むが、これらに限定されないユーザ３０２の各々のユーザ情報を記憶する。
●視認アクティビティデータベース５５２。視認アクティビティデータベース５５２は、ユーザ３０２によって装着されたボディ装着カメラ（例えば、デバイス３０６のカメラ）によって取得された画像のシーケンス、頭部向きのシーケンス、視認アクティビティに関連付けられているタイムスタンプ、ユーザ識別、提示ユニット識別、ボディ装着カメラ情報、音声ユーザ役割（例えば、支配的もしくは受動的）を含むが、これらに限定されない視認アクティビティに関連する情報を記憶する。

実装のいくつかにおいて、データストレージ３２２に記憶されている他の情報と併せて、視認アクティビティデータベース５５２に記憶されている情報を用いることによって、スマート空間における視認アクティビティはパーソナライズされたミーティングイベントの情報を取得するために定量化され得る。例えば、視認アクティビティは、パーソナルディスプレイ(例えば、コンピューティングデバイス３０８のモニタ）を用いた視認の回数、共有ディスプレイ（例えば、コンピューティングデバイス３０８のモニタ、投影スクリーン３０４及び／もしくはホワイトボード／黒板３０５）を用いた視認の回数、ユーザの総視認時間及び／もしくは平均視認時間、プレゼンテーションコンテンツを見るために使用された遠隔スクリーン（例えば、投影スクリーン３０４及び／もしくはホワイトボード／黒板３０５）、見られている識別されたコンテンツの各々の時間、遠隔ディスプレイ（例えば、投影スクリーン３０４及び／もしくはホワイトボード／黒板３０５）もしくはパーソナルディスプレイ（例えば、コンピューティングデバイス３０８のモニタ）で見られている識別されたコンテンツの各々の時間によって定量化され得る。定量化は、イベントにおいてどのようなコンテンツがどの参加者によって見られているか、及び視認アクティビティの時間長に関する識見を提供する。スマート空間から取得された視認アクティビティ情報を用いて、カスタマイズされたコンテンツが生成され、スマート空間のユーザの特定のグループに提供されてもよい。

実装のいくつかにおいて、サーバシステム３２０の機能の少なくともいくつかはクライアントデバイス３０６によって実行され、これらの機能の対応するサブモジュールはサーバシステム３２０ではなく、クライアントデバイス３０６に配置されてもよい。例えば、クライアントデバイス３０６が十分な処理能力を有している場合、分析のために、サーバ３２０へ未処理画像データをストリーミングする代わりに、クライアントデバイス３０２の画像分析モジュール４２６はプレゼンテーションコンテンツの可視マーカを識別するために画像分析を実行してもよく、音声モジュール４２８は話者を識別するために音声分析を実行してもよく、センサモジュール４２０は、ユーザと関連付けられている頭部向き情報、頭部向きのシーケンス及びタイムスタンプを判定することができる。

実装のいくつかにおいて、クライアントデバイス３０６の機能の少なくともいくつかはサーバシステム３２０によって実行され、これらの機能の対応するサブモジュールはクライアントデバイス３０６ではなくサーバシステム３２０に配置されてもよい。例えば、位置及び向き情報を収集するためにクライアントデバイス３０６のセンサモジュール４２０を使用する代わりに、サーバシステム３２０は、スマート空間の他のオブジェクトの幾何学的配置及び位置に基づいて情報を計算してもよい。図４及び図５に示されるクライアントデバイス３０６及びシステム３２０は、単なる例示であり、ここで説明した機能を実装するためのモジュールの異なる構成が様々な実装において可能である。

図６は、実装のいくつかによるスマート空間のエゴセントリックトラッキングシステム３００を用いたパーソナライズされたミーティングイベント取得のフローチャートである。実装のいくつかにおいて、ミーティングの間ユーザがＨＭＤを装着している場合、図６の方法によってパーソナライズされたミーティングイベントの取得を可能にするために価値あるデータを取得することが可能である。例えば、プレゼンテーション空間において、他のユーザに対する特定のユーザの位置、プレゼンテーションの間ユーザが参加しているもしくは参加していないプレゼンテーションスクリーン及び室内会議、及び空間のユーザの近傍に位置している、もしくは位置していないかもしれないプレゼンテーション空間での他のユーザとのユーザインタラクションに関連する詳細が取得され得る。

実装のいくつかにおいて、エゴセントリックシステム３００はクライアントデバイス３０６（例えば、ＨＭＤ）を装着しているユーザ３０２の識別を追跡する。話者識別（６０２）は、スマート空間のユーザ３０２の各々が実装のいくつかによるＨＭＤを装着していると仮定すると、比較的シンプルである。人工的なシステムにおける従来の音声位置検出はマイクロフォンアレイを使用する。２つのマイクロフォンでの音声の到着時間の差異を用いることによって、音声ソースの方向を数学的に推定することが可能である。しかしながら、位置検出におけるマイクロフォンアレイの正確さは、アレイの物理的なサイズによって制限される。詳細には、アレイがあまりにも小さい場合、マイクロフォン同士が相互に接近し過ぎ、全てのマイクロフォンが基本的に同様の音声を記録し、向きを推定することは非常に困難となる。

実装のいくつかにおいて、クライアントデバイス３０６の音声入力デバイス４０９（例えば、車載マイクロフォン）は（例えば、適切な周波数範囲で増幅された音量を検出し測定することにより）会話を検出するために使用される。スマート空間の複数のユーザ３０２が音声入力装置を有する場合、エゴセントリックシステム３００は、適切な周波数範囲で増幅された音量を分析することにより、複数の話者を同時に追跡することが可能である。クライアントデバイス３０６によって収集された他の情報と増幅された音量とを組み合わせると、エゴセントリックトラッキングシステム３００は話者識別の従来の方法（例えば、アレイからの音声距離及び方向を推定するための指向性マイクロフォンアレイを用いる）よりも正確になる。

話者識別に加えて、エゴセントリックトラッキングシステム３００は話者認証を実行する（６０４）。実装のいくつかにおいて、音声フィンガープリントを使用すると、エゴセントリックトラッキングシステム３００は話者装着ＨＭＤの識別を検証することが可能である。即ち、エゴセントリックトラッキングシステム３００は、別個の認証システムを必要とすることなく、ミーティングの参加者の存在を検証することが可能であることを意味する。

話者識別（６０２）及び話者認証（６０４）の双方のオペレーションは、クライアントデバイス３０６及び／もしくはサーバ３２０で実行され得る。例えば、クライアントデバイス３０６が十分な処理能力を有する場合、識別（６０２）及び／もしくは認証（６０４）はクライアントデバイス３０６で実行されることが可能であり、識別及び／もしくは認証の結果は、通信ネットワーク３２８を介してサーバ３２０に送信される。他の例において、クライアントデバイス３０６の処理能力及び／もしくはバッテリ寿命が限定されている場合、音声入力はクライアントデバイス３０６によって取得され、サーバ３０６にストリーミングされ得る。話者識別（６０２）及び／もしくは話者認証（６０４）はサーバ３２０に委ねられてもよい。サーバ３２０は、次に、識別及び／もしくは認証結果をクライアントデバイス３０６に通信ネットワーク３２８を介して通信する。

話者を識別し、認証すると、エゴセントリックトラッキングシステム３００はクライアントデバイス３０６の部分であるカメラによって画像フィードを開始する（６０６）。実装のいくつかにおいて、画像フィードは画像及び／もしくはビデオを含む。クライアントデバイス３０６によって取得されたカメラ画像（６０８）は、図３及び図４で説明したように、ユーザ３０２のエゴセントリック視野を反映するように、スマート空間の画像を含む。実装のいくつかにおいて、カメラ画像は、通信ネットワーク３２８を介してサーバ３２０に送信される。

カメラ画像を受信すると、サーバ３２０は画像を分析し、データストレージ３２２に記憶されている可視マーカの特徴と画像の特徴とを比較する。サーバ３２０がカメラ画像の可視マーカを検出しない場合、サーバ３２０は分析のためにより多くのカメラ画像を要求する。一方、サーバ３２０がカメラ画像の可視マーカを検出すると（６１０）、サーバ３２０はデータストレージ３２２の可視マーカの論理的（例えば、マーカＩＤ）及び幾何学的（例えば、マーカスケール、ピッチ、ロール及びヨー、２次元カメラ画像の中心及びコーナーポイント）情報を識別する。

実装のいくつかにおいて、富士ゼロックス株式会社のＥＭＭシステムが、可視マーカを識別するための画像分析に使用されてもよい。実装のいくつかにおいて、ＥＭＭを使用するシステムは、まず定期的にサンプリングし（例えば、スクリーンショットを取得し）メタデータ（例えば、アプリケーション、プレゼンテーション名、スライド番号など）によって表示されたコンテンツにタグを付することによって特徴を照合する。スクリーンショット及びメタデータは、次に、ＥＭＭサーバに送信され、処理され、コンテンツデータベース５４６にメタデータと共にＥＭＭとして記憶される。実装のいくつかにおいて、ＥＭＭサーバはサーバシステム３２０の部分である。クライアント側において、クライアントデバイス３０６のカメラは、スマート空間の第１のユーザの視界を示すスマート空間の写真を定期的に取得する。写真は、ＥＭＭサーバにクエリとして送信される。ＥＭＭサーバは、特徴照合によって記憶された写真に埋め込まれたメディアマーカを検出すると、画像分析を完了するために関連付けられているメタデータと共にマーカのＩＤを返す。実装のいくつかにおいて、当該技術において知られている他のマーカ検出方法及びシステムも、特徴照合及びマーカ検出のためにＥＭＭシステムと共に、もしくはＥＭＭシステムに代えて、使用される。

図５によって説明したように、可視マーカの特徴、論理的（例えば、マーカＩＤ）及び幾何学的（例えば、サイズ、次元、及び／もしくは方向など）情報、及び位置は実装のいくつかによるデータストレージ３２２に記憶される。可視マーカの論理的及び幾何学的情報を用いて、エゴセントリックトラッキングシステム３００はマーカ位置を取得するために（例えば、マーカＩＤを用いて）データストレージ３２２に問い合わせを行う（６１２）。マーカの位置推定のためにサーバに問い合わせることに加えて、実装のいくつかによるエゴセントリックトラッキングシステム３００は、ＨＭＤのＩＭＵ（６１４）（例えば、ピッチ、チルト、ロール情報）を利用することによりユーザの頭部の向きを推定する（６１６）。位置情報は次にサーバ３２０に記憶され、クライアントデバイス３０６で稼働するユーザアプリケーションに送信される。

実装のいくつかにおいて、位置、向き及び音声チャネルから、エゴセントリックトラッキングシステムはディスカッションダイナミックを推定することができる。タイムフレームの所定の瞬間に相互に会話するミーティング参加者のサブセットが識別可能である。所定の時間間隔で、視界の向きが相互に位置揃えされ、当該時間間隔で二人が会話する場合、例えば、二人のミーティング参加者の間の会話イベントはログをとられる。このアプローチは、一対多及び多対多の会話シナリオにも当然適用可能である。音声チャネルを用いて、エゴセントリックシステム３００は、参加者の各々が話す期間を記録することが可能であり、ミーティングの間ディスカッションで支配的なもしくは受動的な参加者を識別する。例えば、支配的な参加者は、より多くの人々とより多く話す、大きい声で話す、及び／もしくは他のユーザより長く話してもよい。ＨＭＤのＩＭＵによって感知されるより物理的な多くのアクティビティ及び／もしくは他の人々（対投影スクリーン）の方向を見るより多くのアクティビティは、ユーザの役割を判定するために使用されてもよい。

実装のいくつかにおいて、位置及び向き情報から、エゴセントリックトラッキングシステム３００は、参加者の各々が可視マーカ（例えば、特定のスライド）を見る時間量など、スライドを見るアクティビティを計測可能である。音声チャネルを用いて、エゴセントリックトラッキングシステム３００は特定のスライドのディスカッションのアクティビティレベルを推定する。この情報は次に、例えば、どのくらい長くスライドが見られていたか、及び、スライドの各々についてユーザによってどのくらいのコメントが付与されたかに関する参加者毎の情報を提供するために用いられ、パーソナルレベルについて評価され得る。最後に、ＨＭＤから直接的に利用可能な向き情報、もしくは、ユーザのＨＭＤによって取得される可視マーカから推定される向き情報は、ユーザがグローバルディスプレイに提示された情報を見ている（例えば、投影スクリーンもしくは大型ディスプレイを前方に見ている）か否か、もしくは、ユーザのローカルデバイスに提示された情報を見ている（例えば、ラップトップ、スマートフォンなどを下方に見ている）か否か推定するために使用されてもよい。

実装のいくつかにおいて、推定されたパーソナライズされた視認アクティビティを用いて、エゴセントリックトラッキングシステム３００は自動生成ミーティングサマリに追加的な第１ユーザビデオフィードを提供することができる。例えば、ＨＭＤカメラは、ビデオベースミーティングサマリ生成を自動化するために追加的なビデオフィードを提供するために使用され得る。ミーティング参加者によって装着されたＨＭＤのカメラによって提供された第１ユーザの視界はビデオミーティングサマリにより多くの関連するカットを提供する。例えば、カットは、視認アクティビティに基づいて、話しているユーザの視界、続いている会話の会話パートナーの視界、プレゼンテーションがインタラクティブである場合、視聴者及び話者の間の交互の視界、及び／もしくは、視聴者の多くが見ることに関連している場合、共通のスクリーンコンテンツを含む。

実装のいくつかにおいて、図１及び図２に示すように、基準はミーティング空間に存在するデジタルディスプレイに表示されている。基準は、ユーザ位置の追跡を促進するだけでなく、動的に表示される（例えば、ディスプレイのコンテンツと共に変化する）場合、ＨＭＤのユーザによってパーソナライズされたコンテンツを示すために使用され得る。例えば、ビジネス指向参加者は関連するビジネスデータで示され得る。また、エンジニアはメインデジタルディスプレイに示されるコンテンツに関連する技術情報で示され得る。さらに、動的に表示される基準は、デジタルディスプレイに表示されたコンテンツがユーザによって見られた回数の追跡を維持することによりパーソナルミーティングの生成を支援するために使用され得る（デジタルディスプレイのコンテンツの方向に頭部が固定した方向を向いていることがユーザによる視認を構成すると仮定する）。

従来の方法は、非常に多くの計測を必要とする可視マーカを用いた位置検出に焦点を合わせる。現在の解決法の効果は、ユーザが空間への感知をもたらすので、スマート空間はセンサに関してより少ない測定を必要とする、ということである。上記したように、これは、スケーラビリティの所定量、特に、従来の方法によれば多くのセンサによって測定されるべき大空間を保証する。可視マーカを使用する他の効果は、いくつかの実装によって構成された可視マーカが可変スケールであることであり、これにより、スタジアムもしくは展示ホールなどの非常に広い空間で大きなスケールで使用され得る。さらに、話者位置検出のためにＨＭＤを用いることは、空間、特に、音声方向検出ハードウェアの能力を越える距離を有する広い空間において当該能力を有するセンサに依存するよりもシンプルかつロバストである。

図７は、実装のいくつかによるスマート空間におけるエゴセントリックトラッキングを用いたパーソナライズされたイベント取得の方法７００のフローチャートを例示する。実装のいくつかにおいて、方法７００は、一つもしくは複数のプロセッサ（例えば、ＣＰＵ５１２）及びプロセッサ（例えば、ＣＰＵ５１２）によって実行される命令を記憶するメモリ（例えば、メモリ５０６）を有するコンピュータシステム（例えば、エゴセントリックトラッキングシステム３００のサーバ３２０）で実行される。

可視ラベリングモジュール５２０は、複数のユーザに提示されるコンテンツの第１セットに第１マーカを適用する（７０２）。実装のいくつかにおいて、第１マーカの各々は、コンテンツの第１セット及びプレゼンテーションの提示ユニットの各々と関連付けられている少なくともコンテンツＩＤを識別する第１メタデータを含む。実装のいくつかにおいて、第１マーカはプレゼンテーションが提示されるプレゼンテーションの提示面（例えば、ホワイトボード／黒板２１０、投影スクリーン２２０）を識別するための物理的なマーカを含む（７０４）。実装のいくつかにおいて、プレゼンテーションは非デジタルコンテンツ（例えば、ホワイトボード／黒板への書き込み）及び／もしくはデジタルコンテンツ（例えば、プレゼンテーションに埋め込まれたコンテンツ）を含む。実装のいくつかにおいて、埋め込まれたバーチャルマーカを有するプレゼンテーションは、パーソナルスクリーンとプレゼンテーションスクリーンとに同時に表示される（７０６）。

例えば、図２及び図３において、プレゼンテーションのコンテンツは投影スクリーン２２０、３０４及びモニタ２３０、３０８の両方に表示され得る。これにより、投影スクリーン２２０、３０４に表示される一次コンテンツに加えて、あるいは当該一次コンテンツの代わりに、コンピューティングデバイス２３０に表示されている補足的なコンテンツへのユーザの注意を評価し得る。実装のいくつかにおいて、パーソナルスクリーンのマーカ（例えば、コンピューティングデバイス２３０、３０８のモニタ）はトレーニング、ウェビナーなどを遠隔から見る一次プレゼンテーションに使用され得る。

実装のいくつかにおいて、コンテンツＩＤ及びメタデータを含むコンテンツの属性は、コンテンツと共に、サーバ３２０のコンテンツデータベース３２２に記憶される。可視ラベリングモジュール５２０がコンテンツＩＤ及びメタデータをコンテンツと関連付けた後、サーバ３２０はコンテンツデータベース３２２からコンテンツを取り出し、コンテンツ属性と共に複数のユーザにコンテンツを送信する。表示モジュール５２２は、複数のユーザに対して、適用された第１マーカと共に提示ユニットにプレゼンテーションを表示する（７０８）。実装のいくつかにおいて、室内プロジェクタ及び／もしくはラップトップなどの他のコンピューティングデバイスは、サーバ３２０から通信ネットワーク３２８を介して適用された第１マーカを有するプレゼンテーションデータを受信し、例えば、投影スクリーン３０４、２２０及び／もしくはモニタ２３０、３０８などの提示ユニットに適用された第１マーカと共にプレゼンテーションを表示する。

プレゼンテーションコンテンツが表示された後、頭部向き判定モジュール５２４は複数のユーザの内第１ユーザによって装着されているボディ搭載カメラから頭部向き情報を受信し（７１０）、第１ユーザの頭部向きシーケンスを頭部向き情報から判定し、第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と頭部向きのシーケンスの各々とを関連付ける。加えて、画像受信モジュール５２６は、第１ユーザによって装着されたボディ搭載カメラによって取得された画像シーケンスを受信する（７１２）。実装のいくつかにおいて、画像のシーケンスは第１ユーザに定義され、第１ユーザが視認可能である室内表示／情報であり、第１ユーザ及びボディ搭載カメラと関連付けられている識別子と画像シーケンスと対応する第２タイムスタンプのシーケンスとを関連付ける。

実装のいくつかにおいて、図３及び図４に示されるように、カメラはクライアントデバイス３０６（例えば、グーグルグラス）の部分として頭部に搭載される。これにより、プレゼンテーションコンテンツの第１ユーザの視界及び頭部向きはエゴセントリックトラッキングのためにカメラによって取得される。他の実装のいくつかにおいて、アイトラッキング及び／もしくは視線トラッキングは、タイムスタンプを有するプレゼンテーションの間、ユーザの注意の位置及び向きを取得するために、頭部搭載クライアントデバイス３０６の代わりに、もしくは頭部搭載クライアントデバイス３０６に加えて、使用され得る。サーバ３２０は、ユーザの視認アクティビティを推定するために、タイムスタンプを含むプレゼンテーションコンテンツ情報と視線／アイトラッキング情報、ユーザ情報、デバイス情報及び／もしくはスマート空間情報（例えば、マーカの位置及び幾何学的形状）とを結び付ける。

実装のいくつかにおいて、画像のシーケンスを受信することは、複数のユーザの２人以上によって装着されたボディ搭載カメラによって取得された画像のシーケンスを含む（７１４）。例えば、２人以上のユーザが出席しているミーティングにおいて、図３に示されるように、ユーザ３２０の各々はプレゼンテーションコンテンツの第１ユーザの視界を取得するためにヘッドマウントデバイスを装着する。取得された画像は、次に、さらなる分析のために通信ネットワーク３２８を介してサーバ３２０に送信される。

クライアントデバイス３０６から画像及び頭部の向きを受信すると、データ統合モジュール５２８は画像のシーケンスのメンバの各々と頭部向きのシーケンスとを記憶し、関連付ける（７１６）。コンテンツ識別モジュール５３０は、さらに、取得した画像シーケンスのマーカのメタデータを評価することによってプレゼンテーションコンテンツを識別する（７１８）。さらに、ユーザ注意判定モジュール５３２は、第１ユーザの視認アクティビティを測定する（７２０）。視認アクティビティ測定は、第１ユーザが表示されたコンテンツに注意している場合、及び、注意していない場合を含む。

例えば、サーバ３２０は、クライアントデバイス３０６から画像及び頭部の向きを受信した後、ユーザの各々に関連付けられている画像及び頭部の向きを分析する。画像のマーカを検出する際に、サーバ３２０は、マーカのメタデータを識別する。実装のいくつかにおいて、サーバ３２０は、コンテンツＩＤに基づいて、メタデータを取り出すために、コンテンツデータベース５４６に問い合わせを行う。頭部向き情報と結合することにより、ユーザ注意判定モジュール５３２は、ユーザが提示されているコンテンツに注意を払っているか、ユーザが注意を払っているコンテンツの部分及び／もしくは視認アクティビティの期間を測定することができる。

可視入力に加えて、サーバ３２０はスマート空間におけるエゴセントリックトラッキングへの音声入力も使用することができる。実装のいくつかにおいて、音声受信モジュール５３４は、ボディ搭載カメラに結合されているマイクロフォン（例えば、音声入力デバイス４０９）によって記録されている室内音声を記録する（７２２）。実装のいくつかにおいて、室内音声は、提示されたコンテンツの第１セットからの音声及び室内における話者からの音声を含み、室内音声は第１のユーザに関連付けられている。実装のいくつかにおいて、音声を受信した後、話者識別モジュール５３６は、複数のユーザのどのユーザが話しているか、ボディ搭載カメラに結合されているどのマイクロフォンが任意のある時点で最も強い音声信号を有しているかに基づいて識別する（７２４）。実装のいくつかにおいて、話者認証モジュール５３８は、複数のユーザの話者の識別を検証するために音声フィンガープリントを使用する（７２６）。ユーザが２人以上存在する場合、複数のユーザの視認アクティビティに基づいて、ディスカッションダイナミック判定モジュール５４０は複数のユーザのサブセットを識別する（７２８）。実装のいくつかにおいて、識別された複数のユーザのサブセットのメンバは所定の瞬間に相互に会話しており、複数のユーザのサブセットの支配的なもしくは受動的な話者を識別する。

例えば、図３において、プレゼンター３０２−Ｎは投影スクリーン３０４及びコンピューティングデバイス３０８に表示されているコンテンツを提示しており、ヘッドマウントデバイス３０６−Ｎの音声入力デバイス４０９は室内音声を記録する。室内音声はプレゼンテーションコンテンツのプレゼンター３０２−Ｎの説明、及び、例えば、スマート空間の２人以上の話者によってブロードキャストされたプレゼンテーションコンテンツからの音声の両方を含み得る。実装のいくつかにおいて、クライアントデバイス３０６の音声入力デバイス４０９（例えば、オンボードマイクロフォン）は話者の音声とブロードキャストされたプレゼンテーションコンテンツからの音声とを区別するために適切な周波数範囲で音量振幅を検出し測定することができる。同様に、スマート空間の複数のユーザ３０２が音声入力デバイスを有している場合、音声入力デバイス４０９は複数のユーザからの音声を記録し、サーバ３２０に音声を送信することができる。複数のクライアントデバイス３０６からの音声入力を受信すると、サーバ３２０はクライアントデバイス３０６と結合されるマイクロフォンが所定の時間に最も強い音声信号を有することを識別するために、音量振幅を比較する。

話者を識別するために、実装のいくつかにおいて、タイムスタンプと共に音声情報が視認アクティビティデータベース５５２に記憶される。デバイスデータベース５４８及びユーザデータベースに記憶されている情報を結び合わせることにより、話者識別モジュール５３６及び話者認証モジュールは音声入力デバイス４０９とクライアントデバイス３０６とを関連付け、さらに、クライアントデバイス３０６を装着しているユーザ３０２と関連付ける。上記例を継続すると、所定の時間にクライアントデータベース３０６−Ｎに結合されているマイクロフォンが最も強い音声信号を有することを識別する際に、話者識別モジュール５３６は、ユーザ３０２−Ｎが所定の時間にプレゼンターの話者であることを識別するために、デバイスデータベース５４８及びユーザデータベース５５０に問い合わせを行う。

同様に、異なる時点で、ユーザ３０２−１が疑問を呈すると、音声受信モジュール５３４は通信ネットワーク３２８を介してクライアントデバイス３０６−１から音声データを受信する。話者識別モジュール５３６は、次に、ユーザ３０２−１が所定の時点で話者であることを識別するために、デバイスデータベース５４８及びユーザデータベース５５０に問い合わせを行う。さらに、ユーザ３０２−１がプレゼンター及び／もしくは他のユーザ３０２−２などと共にディスカッションに参加している場合、音声受信モジュール５３４は通信ネットワーク３２８を介して複数のクライアントデバイス３０６から音声データを受信する。話者識別モジュール５３６は、次に、ユーザ３０２−１がディスカッションにおいて所定の時点で話者であることを識別するために、デバイスデータベース５４８及びユーザデータベース５５０に問い合わせを行う。音声データを含む視認アクティビティデータベース５５２に記憶されているデータに基づいて、ディスカッションダイナミック判定モジュール５４０は、ディスカッションの間、所定の時点で、どのユーザが互いに会話しているか識別し、音声信号の振幅に基づいて、支配的もしくは受動的な話者を識別することが可能である。

実装のいくつかにおいて、別個の認証システムを必要とすることなく、システム（例えば、室内もしくはサーバ側構成要素）にセキュリティが構築される。例えば、音声フィンガープリントを用いて、話者認証モジュール５３８及び／もしくは話者識別モジュール５３６はヘッドマウントデバイスを装着している話者の認証を検証し、ミーティングの参加者の存在を検証することが可能である。実装のいくつかにおいて、音声フィンガープリントオペレーションから得られるシグネチャは、次のユーザの照合及び識別のために、デバイスデータベース５４８及び／もしくはユーザデータベース５５０に記憶される。実装のいくつかにおいて、話者識別及び認証機能は、ユーザデータ４３２及び／もしくはデバイスデータ４３４及び／もしくはタイムスタンプ４３６に記憶されている情報を用いて、クライアントデバイス３０６で実行される。例えば、デバイス３０６は午前に予定されているミーティングでユーザによって使用され得る。また、同一のデバイス３０６が午後に予定されている異なるミーティングで異なるユーザによって使用され得る。音声フィンガープリントを用いて、異なるミーティングでデバイス３０６を使用するユーザは実装のいくつかによって認証が失敗したことを示すアラームを出すことが可能となる。

実装のいくつかにおいて、報告モジュール５４２はプレゼンテーションにおける視聴者全員の関心及び個人の関心に関する報告を生成する（７３０）。例えば、自動化されたビデオベースミーティングサマリが報告モジュール５４２によって生成され得る。ミーティングサマリにおいて、ヘッドマウントデバイス３０６によって取得された第１ユーザの視覚からのクリップはユーザが最も関心をもったコンテンツの部分をハイライトするために使用され得る。実装のいくつかにおいて、視認アクティビティデータベースにサーバが記憶した視認アクティビティに基づいて、追加的なビデオフィードモジュール５４４は、ユーザに関連付けられている一つもしくは複数のデバイスに表示されるユーザに関連する追加的なコンテンツ（例えば、プレゼンテーションスクリーン３０４、コンピューティングデバイス３０８及び／もしくはヘッドマウントデバイス３０６）を送信する（７３２）。

例えば、スライドの同一セットが異なるグループに対して提示された後、視認アクティビティデータベース５５２に記憶されている情報を用いた視認アクティビティ分析に基づいて、ユーザデータベース５５０、デバイスデータベース５４８、及びコンテンツデータベース５４６、報告モジュール５４２はグループＡが最初のいくつかのスライドにより関心をもっており、グループＢが最後のいくつかのスライドにより関心をもっていることを示す報告を生成する。報告に基づいて、追加的なビデオフィードモジュール５４４はグループＡに最初のいくつかのスライドに関連する追加的なコンテンツを送信し、グループＢに最後のいくつかのスライドに関連する追加的なコンテンツを送信する。グループＡは、次に、グループＡに関連付けられている投影スクリーン、モニタ及び／もしくはヘッドマウントデバイスでカスタマイズされたコンテンツを見ることが可能である。グループＢは、次に、グループＢに関連付けられている投影スクリーン、モニタ及び／もしくはヘッドマウントデバイスでカスタマイズされたコンテンツを見ることが可能である。実装のいくつかによるシステム及び方法は、ミーティングイベントのパーソナライズされた取得を可能とするように、ユーザの位置検出にエゴセントリックトラッキングを使用する。

「第１」、「第２」などの用語が様々な構成要素を記述するために使用されるが、これらの用語によって構成要素は限定されない。これらの用語は構成要素を区別するために使用されているだけである。例えば、第１のコンタクトは第２のコンタクトであってもよい。同様に、第２のコンタクトは第１のコンタクトであってもよい。「第１のコンタクト」の全てが矛盾なく変更され、第２のコンタクトの全てが矛盾なく変更される場合、記述の意味は変更される。第１のコンタクト及び第２のコンタクトは両方ともコンタクトであるが、同一のコンタクトではない。

ここで使用されている用語は特定の実装を記述する目的であり、請求項を限定することを意図していない。実装及び添付の請求項の記載に使用される単数の形態は、明示的に示さない限り、複数の形態を含むことを意図する。ここで使用される「及び／もしくは」は関連するアイテムの一つもしくは複数の任意の全ての可能な組み合わせを参照し包含する。「含む」との記載は、特徴、整数、ステップ、操作、構成要素及び／もしくは要素の存在を特定するが、一もしくは複数の他の特徴、整数、ステップ、操作、構成要素、要素及び／もしくはこれらのグループの追加を除外しない。

「［記載した条件が真である］場合」との記載は、文脈に応じて、「判定すると」、「判定に応答して」、「判定に基づいて」、[検出すると」、「検出に応答して」などの意味であると解釈され得る。

様々な実装を詳細に参照するために、図面と共に例を示した。全体が理解できるように、多くの特定の詳細を記載した。しかしながら、これらの特定な詳細なしに、本開示を実施することができる。また、実装の態様を不必要に不明瞭にしないように、よく知られた方法、プロシージャ、構成要素及び回路は詳細に記載していない。

上記において、説明のために、特定の実装を参照した。しかしながら、上記例示は網羅的であることもしくは開示の詳細な形態に本開示を限定することを意図していない。多くの変更が可能である。本開示の原理及びその実用的な応用を最も適切に説明するために、実装は選択され、記述された。これにより、当業者であれば、本開示及び様々な変更を有する様々な実装が最適に利用可能である。

３２０ サーバシステム
５２０ 可視ラベリングモジュール
５２２ 表示モジュール
５２４ 頭部向き判定モジュール
５２６ 画像受信モジュール
５２８ データ統合モジュール
５３０ コンテンツ識別モジュール
５３２ ユーザ注意判定モジュール

Claims (20)

1. 複数のユーザに対して提示されているコンテンツの第１セットに第１マーカを適用する可視ラベリング部であって、前記第１マーカの各々はコンテンツの前記第１セット及びプレゼンテーションの提示ユニットの各々と対応付けられている少なくともコンテンツＩＤを識別する第１メタデータを含む、可視ラベリング部と、
   適用された前記第１マーカと共に、複数の前記ユーザに対して、前記提示ユニットに前記プレゼンテーションを表示する表示部と、
   複数のユーザの内の第１ユーザによって装着されたボディ搭載カメラから頭部向き情報を受信し、前記頭部向き情報から前記第１ユーザの頭部向きのシーケンスを判定し、前記第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と頭部向きのシーケンスの各々とを関連付ける頭部向き判定部と、
   前記第１ユーザによって装着された前記ボディ搭載カメラによって取得された画像のシーケンスを受信し、前記第１ユーザ及び前記ボディ搭載カメラと対応付けられている識別子と対応する第２タイムスタンプのシーケンスとを前記画像のシーケンスと関連付ける画像受信部であって、画像の前記シーケンスは前記第１ユーザに対して提示される、もしくは視認可能な室内表示／情報である、画像受信部と、
   前記画像のシーケンス及び前記頭部向きのシーケンスの各々を記憶し、関連付けるデータ統合部と、
   取得した前記画像のシーケンスにおけるマーカのメタデータを評価しプレゼンテーションコンテンツを識別するコンテンツ識別部と、
   前記第１ユーザの視認アクティビティを測定するユーザ注意判定部であって、前記視認アクティビティの測定値は前記第１ユーザが表示されているコンテンツに注意を払っている場合であるか否かを含む、ユーザ注意判定部と、
   を含む、
   提示されているコンテンツへのユーザの注意を判定するシステム。
2. 前記第１マーカは、
   前記プレゼンテーションが提示される前記プレゼンテーションの提示面を識別する物理マーカ、
   を含み、
   前記プレゼンテーションは非デジタルコンテンツ及び／もしくはデジタルコンテンツを含む、
   請求項１に記載のシステム。
3. 埋め込まれた可視マーカはプレゼンテーションスクリーンと共にパーソナルスクリーンに表示される、請求項１又は請求項２に記載のシステム。
4. 前記画像受信部は複数の前記ユーザの内２人以上のユーザによって装着された２つ以上のボディ搭載カメラによって取得された前記画像のシーケンスを受信する、
   請求項１〜請求項３の何れか１項に記載のシステム。
5. 前記ボディ搭載カメラに結合されているマイクロフォンによって記憶された室内音声を受信する音声受信部、
   をさらに含み、
   前記室内音声は提示されたコンテンツの第１セットの音声及び室内の話者の音声を含み、前記室内音声は第１ユーザと関連付けられている、
   請求項１〜請求項４の何れか１項に記載のシステム。
6. 前記ボディ搭載カメラに結合されているどのマイクロフォンが所定の任意の時間に最も強い音声信号を有するかに基づいて、複数のユーザの内どのユーザが話しているかを識別する話者識別部、
   をさらに含む、
   請求項１〜請求項５の何れか１項に記載のシステム。
7. 複数のユーザの話者の識別を検証するために音声フィンガープリントを使用する話者認証部、
   をさらに含む請求項１〜請求項６の何れか１項に記載のシステム。
8. 複数のユーザの視認アクティビティに基づいて、複数の前記ユーザのサブセットを識別し、複数の前記ユーザのサブセットにおける支配的なもしくは受動的な話者を識別するディスカッションダイナミック判定部、
   をさらに含み、
   複数の前記ユーザのサブセットのメンバは所定の時間に互いに会話している、
   請求項１〜請求項７の何れか１項に記載のシステム。
9. プレゼンテーションにおける視聴者全体の関心及び個人の関心に関する報告を生成する報告部、
   をさらに含む、
   請求項１〜請求項８の何れか１項に記載のシステム。
10. サーバに記憶されている視認アクティビティに基づいて、ユーザに関連付けられている一つもしくは複数のデバイスに表示するユーザに関連する追加的なコンテンツを送信する追加ビデオフィード部、
    をさらに含む、
    請求項１〜請求項９の何れか１項に記載のシステム。
11. 測定値は、頭部向きのシーケンスと画像のシーケンスの識別されたコンテンツの相対的な位置との差異を計算することによって取得され、
    関連付けられている第１及び第２のタイムスタンプに基づいて、２つの方向の角度差が所定値内である場合に、識別されたコンテンツに第１ユーザが注意を払っていると判定する、
    請求項１〜請求項１０の何れか１項に記載のシステム。
12. プロセッサ及びメモリを有するコンピュータシステムが、
    複数のユーザに提示されるコンテンツの第１セットに第１マーカを適用し、
    前記第１マーカの各々はコンテンツの前記第１セット及びプレゼンテーションの提示ユニットの各々と関連付けられている少なくともコンテンツＩＤを識別する第１メタデータを含み、
    適用された前記第１マーカと共に複数の前記ユーザに対して前記提示ユニットに前記プレゼンテーションを表示し、
    複数のユーザの内の第１ユーザによって装着されたボディ搭載カメラから頭部向き情報を受信し、前記第１ユーザの頭部向きのシーケンスを前記頭部向き情報から判定し、頭部向きのシーケンスの各々を前記第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と関連付け、
    前記第１ユーザによって装着されたボディ搭載カメラによって取得された画像のシーケンスを受信し、
    前記画像のシーケンスは前記第１ユーザに対して提示され、前記第１ユーザによって視認可能な室内表示／情報であり、前記第１ユーザ及び前記ボディ搭載カメラと関連付けられている識別子及び対応する第２タイムスタンプのシーケンスを前記画像のシーケンスと関連付け、
    画像のシーケンス及び頭部向きのシーケンスの各々を記憶し、関連付け、
    取得した前記画像のシーケンスのマーカのメタデータを評価することによってプレゼンテーションコンテンツを識別し、
    前記第１ユーザの視認アクティビティを測定し、
    前記視認アクティビティの測定値は、前記第１ユーザが表示されたコンテンツに注意を払っている場合であるか、もしくは注意を払っていない場合であるかを含む、
    提示されているコンテンツにユーザが注意を払っているか否か判定する方法。
13. 前記第１マーカは、
    前記プレゼンテーションが提示されている前記プレゼンテーションの提示面を識別する物理的マーカを含み、
    前記プレゼンテーションは非デジタルコンテンツ及び／もしくはデジタルコンテンツを含む、
    請求項１２に記載の方法。
14. 埋め込まれた可視マーカを含むプレゼンテーションは、プレゼンテーションスクリーンと共に、パーソナルスクリーンに表示される、
    請求項１２又は請求項１３に記載の方法。
15. 画像のシーケンスを受信することは、
    複数の前記ユーザの内、２人以上のユーザによって装着された２つ以上のボディ搭載カメラによって取得される画像のシーケンスを受信することを含む、
    請求項１２〜請求項１４の何れか１項に記載の方法。
16. 前記ボディ搭載カメラに結合されたマイクロフォンによって記録された室内音声を受信することをさらに含み、
    前記室内音声は、提示されたコンテンツの第１セットからの音声及び室内の話者の音声を含み、
    前記室内音声は第１ユーザと関連付けられている、
    請求項１２〜請求項１５の何れか１項に記載の方法。
17. 前記ボディ搭載カメラに結合されているどのマイクロフォンが任意の所定の時間に最も強い音声信号を有しているかに基づいて、複数のユーザのどのユーザが話しているかを識別する、
    ことをさらに含む、
    請求項１２〜請求項１６の何れか１項に記載の方法。
18. 複数のユーザの視認アクティビティに基づいて、複数の前記ユーザのサブセットを識別し、
    複数の前記ユーザのサブセットのメンバは、所定の時間に互いに会話しており、
    複数の前記ユーザのサブセットにおいて支配的な話者であるか、もしくは受動的な話者であるかを識別する、
    ことをさらに含む、
    請求項１２〜請求項１７の何れか１項に記載の方法。
19. サーバに記憶された視認アクティビティに基づいて、ユーザに関連付けられている一つもしくは複数のデバイスに表示するために、前記ユーザに関連する追加的なコンテンツを送信する、
    ことをさらに含む、請求項１２〜請求項１８の何れか１項に記載の方法。
20. 複数のユーザに提示されるコンテンツの第１セットに第１マーカを適用し、
    前記第１マーカの各々は、コンテンツの第１セット及びプレゼンテーションの提示ユニットの各々と関連付けられている少なくともコンテンツＩＤを識別する第１メタデータを含み、
    適用された前記第１マーカと共に、複数の前記ユーザに対して、前記提示ユニットにプレゼンテーションを表示し、
    複数の前記ユーザの内の第１ユーザによって装着されているボディ搭載カメラから頭部向き情報を受信し、前記第１ユーザの頭部向きのシーケンスを前記頭部向き情報から判定し、前記第１ユーザ及び対応する第１タイムスタンプのシーケンスと関連付けられている識別子と、頭部向きのシーケンスの各々とを関連付け、
    前記第１ユーザによって装着された前記ボディ搭載カメラによって取得された画像のシーケンスを受信し、前記画像のシーケンスは前記第１ユーザに対して提示され、前記第１ユーザによって視認可能である室内表示／情報であり、前記第１ユーザ及びボディ搭載カメラと関連付けられている識別子及び対応する第２タイムスタンプのシーケンスと前記画像のシーケンスとを関連付け、
    前記画像のシーケンス及び頭部向きのシーケンスの各々を記憶し、関連付け、
    取得した画像のシーケンスにおけるマーカのメタデータを評価しプレゼンテーションコンテンツを識別し、
    前記第１ユーザの視認アクティビティを測定し、
    前記視認アクティビティの測定値は、前記第１ユーザが表示されたコンテンツに注意を払っている場合であるか否かを含む、
    提示されているコンテンツにユーザが注意を払っているか否か判定する処理をコンピュータに実行させるためのプログラム。