JP2018533124A - 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法 - Google Patents

Abstract

本発明は、ユーザについて、仮想親オブジェクトのうちの１つの仮想親オブジェクトの仮想子オブジェクトを、捕捉された注視情報に基づく、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の決定された距離に基づいて識別するための方法、システムおよび関連デバイスであって、捕捉された注視情報が、前記ユーザが見ているディスプレイ上の位置を表す注視座標を含み、前記ディスプレイが、仮想シーンの仮想シーン表現を表示するように構成され、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記方法が、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記仮想子オブジェクトを、前記決定された距離に基づいて識別するステップと、前記識別された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトをさらに識別するステップとを備える、方法、システムおよび関連デバイスに関する。

Description

本発明は、注視半透過性（ｇａｚｅ ｔｒａｎｓｌｕｃｅｎｃｙ）システムの分野に関し、特に、仮想シーンの仮想シーン表現をユーザに表示するように構成されたディスプレイ上で注視半透過性を実現するためのシステムであって、前記仮想シーン表現が仮想オブジェクトの複数の仮想オブジェクト表現を含む、システムと、そのための方法と、そのためのコンピュータプログラムと、注視距離決定モジュールと、仮想オブジェクト修正モジュールとに関する。

視線は、３人以上の人々とグループでコミュニケーションするときに有益な要素である。視線情報は、話し手にとって、自分の注意を特定の人物に向け、その人物からのフィードバックを得るために、聞き手にとって、話し手が誰に向かって話しているのか、およびその他の聞き手が誰を（または何を）見ているのかを理解するために、ならびに順序交代のために有益である。したがって、人々は、互いを見ている可能性があり、他の人々が自分達を見ている可能性があることを知り、自分達が彼らを見ている可能性があることを他の人々が知っていることを知っている。この相互の特性は注視半透過性と呼ばれる。

対面での会話では、個人の視線は気付きやすい。しかしながら、今日の多者間ビデオ通話（コンピュータ媒介通信）では、全ての参加者は自分達の小さいモニタ内の他の人々（のモザイク）をほぼ直接見ているので、視線方向がほぼ完全に失われている。したがって、注視半透過性の全ての利点が失われる。さらに、各個人は、他の全ての参加者が自分を直接見ているかのように感じる。したがって、全ての参加者は、所与の社会環境において通常集めるまたは値するはずの注目よりもはるかに多くの注目を集めていると感じる。

他の環境では、注視半透過性は、参加者が見るべきものを見ているか否かを決定するのに有益である。たとえば、仮想オブジェクトを含む仮想シーンが表示され、そのうちの１つに注意が払われるべきである教室の環境では、教師は授業の対象であるその仮想シーンのその仮想オブジェクトを生徒が見ていること確認したいと望む。

他の環境、たとえば、自動車、ｅヘルス、またはゲームの環境などでは、エージェントが見ているものに関する情報を捕捉し、必要に応じてそのエージェントの注意を促し、または向け直すことが有益な場合がある。車両運転手は、たとえば、重要な道路標識または道路上の潜在的に危険な要素に注意を向けることから利益を得るであろう。運転手やパイロットは、インテリジェント計器パネル上の点滅する警告標識にやんわりと注意を向けることが有益であると分かるかもしれない。

個々のオーナメントがモジュールによって識別され得、そのような追加情報が考慮されない場合、貴重な情報が失われ、すなわち、第１のユーザは、ユーザのどのオーナメント、すなわち、指輪、入れ墨、表情もしくは顔の一部またはオブジェクト表現を第２のユーザが見ているかを知ることはなく、最終的にユーザのオーナメントへの注視は、相互の注視の発生につながらない場合がある。

本発明の一目的は、仮想シーンの仮想シーン表現をユーザに表示するように構成されたディスプレイ上で注視半透過性を実現するための方法、システム、および関連デバイスであるが、知られている解決策の前述の短所または欠点が軽減または克服されるものを提供することである。

したがって、本発明の実施形態は、ユーザについて、仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトを、捕捉された注視情報に基づく、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの前記注視された仮想子オブジェクトと注視距離原点との間の決定された距離に基づいて識別するように構成された注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）であって、前記捕捉された注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含み、前記ディスプレイが、仮想シーンの仮想シーン表現（ＶＳＲ）を表示するように構成され、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み：
− 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するように構成され、
− 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記識別された注視された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトを識別するようにさらに構成される、
注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）に関する。

本発明の別の実施形態は、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離および追加の意味（セマンティック）情報に基づいて識別するようにさらに構成される、請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）に関する。

本発明の一実施形態は、仮想シーンの仮想シーン表現（ＶＳＲ）をユーザに表示するように構成されたディスプレイ（ＤＰ）上で注視半透過性を実現するためのシステムであって、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記システムが：
− 前記ユーザの注視情報を捕捉するように構成された注視捕捉モジュール（ＧＣＭ）であって、前記注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含む、注視捕捉モジュール（ＧＣＭ）と、
− 前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の距離を決定するように構成された注視距離決定モジュール（ＧＤＤＭ）と、
− 請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）と
を備える、システムに関する。

本発明の一実施形態は：
− 前記識別された注視された仮想子オブジェクトに基づいて、前記注視された仮想子オブジェクトおよび前記仮想親オブジェクトのうちの少なくとも１つに修正コマンドを割り当てるように構成された注視半透過性アルゴリズムモジュール（ＧＴＡＭ）
をさらに備える、請求項３に記載の注視半透過性を実現するためのシステムに関する。

本発明の一実施形態は：
− 識別された注視された仮想子オブジェクトまたは仮想親オブジェクトのうちの前記少なくとも１つを、それらに割り当てられた修正コマンドに基づいて修正するように構成された仮想オブジェクト修正モジュール（ＶＯＭＭ）
をさらに備える、請求項４に記載の注視半透過性を実現するためのシステムに関する。

本発明の一実施形態は、請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）を備える、コンピューティングデバイスに関する。

本発明の一実施形態は、請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）を備える、サーバに関する。

本発明の一実施形態は、ユーザについて、仮想親オブジェクトのうちの１つの仮想親オブジェクトの仮想子オブジェクトを、捕捉された注視情報に基づく、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の決定された距離に基づいて識別するための方法であって、前記捕捉された注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含み、前記ディスプレイが、仮想シーンの仮想シーン表現（ＶＳＲ）を表示するように構成され、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記方法が：
前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するステップと、
− 前記識別された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトをさらに識別するステップと
を備える、方法に関する。

本発明の一実施形態は、仮想シーンの仮想シーン表現をユーザに表示するように構成されたディスプレイ上で注視半透過性を実現するための方法であって、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記方法が：
− 注視捕捉モジュール（ＧＣＭ）が、前記ユーザの注視情報を捕捉するステップであって、前記注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含む、捕捉するステップ
を備え、前記方法が：
− 注視距離決定モジュール（ＧＤＤＭ）が、前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の距離を決定するステップと、
− 注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するステップと、
− 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記識別された注視された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトをさらに識別するステップと
をさらに備える、方法に関する。

本発明の一実施形態は、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離および追加の意味情報に基づいて識別するステップを備える、請求項９に記載の注視半透過性を実現するための方法に関する。

本発明の一実施形態は、実行された場合に、請求項８に記載の方法のステップを実行するように構成されたコンピュータ実行可能命令を含む、コンピュータプログラムに関する。

このように、まず、前記ユーザの注視情報を捕捉することによって、ここで、前記注視情報は、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標を含み、続いて、前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトに対応する注視された仮想子オブジェクトと注視距離原点との間の距離を決定し、続いて、前記ユーザについて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの仮想子オブジェクトを、前記決定された距離に基づいて識別し、続いて、前記識別された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの１つの仮想親オブジェクトを識別する。

まず、前記ユーザの注視情報は、たとえば、限定はされないが、視線追跡手段によって捕捉され、前記注視情報は、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標を含む。あるいは、そのような注視情報は、脳から捕捉された視覚活動を分析した結果得られる情報から抽出される。

続いて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトに対応する仮想子オブジェクトと注視距離原点との間の距離が、前記捕捉された注視情報に基づいて決定される。最後に、前記決定された距離に基づいて、注視された仮想子オブジェクトが識別され、その後、識別された注視された仮想子オブジェクトと、前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、決定された注視された仮想親オブジェクトに対応する仮想親オブジェクトが識別される。

オブジェクト階層は、代替的には、複数の注視距離の決定に基づくことができ、その理由は、（部分的にまたは大部分が遮蔽される）子オブジェクトが異なる深度レベルに基づいて、すなわち、順々に区別され得、あるいはそうでない場合には、小さな方向変動を有する注視距離原点からの異なる光線を放つことによって、我々はおそらく環境を「スキャン」するためである。このようにして、異なるオブジェクトが検出されると、オブジェクト記述とそのメタデータおよび深度とに基づいて、それらが主オブジェクトの一部であるか否かを決定することができる。さらに、後者は、シーンの変化を動的にサポートするために、ポイントクラウドまたはメッシュセグメンテーションに基づく技法から入手可能な情報と組み合わせられ得る。

そのようなオブジェクト階層は、少なくとも１つの仮想子オブジェクトを含む各仮想親オブジェクトの構成を表す。そのような仮想親のそのようなオブジェクト階層は、仮想親オブジェクトの構成を示すツリー構造を含むことができ、ツリーの各枝は、親オブジェクトのまたは仮想子オブジェクトの仮想子オブジェクトを含むことができる。

代替的なオブジェクト階層は、検索ベースの階層とすることができ、これは多数のオブジェクトおよびサブオブジェクトを含むシーンに対してより良好にスケールする。

複数の注視決定、ポイントクラウド、およびもしくはメッシュセグメンテーション技法、またはそれらの組み合わせに基づいて、子オブジェクトに関する意味情報が仮想シーンの親オブジェクトに追加され得、これは注視距離、類似性などに基づくデータの編成を可能にし、検索ベースの情報割り当て、すなわち、ツリー階層内の移動を可能にする。このデータは、ａｐａｃｈｅ ｓｐａｒｋなどの大きいデータベースに格納され得、そのデータに基づいて機械学習原理が適用され得る。

代替的には、２Ｄ画面上の注視座標を、オブジェクトセグメンテーションのための変分法、およびリアルタイムオブジェクト認識を可能にするニューラルネットワークまたは深層学習技法、ならびに仮想シーンの２Ｄ投影のオブジェクトおよび一部のオンザフライ記述と組み合わせることができ、これを使用して、オブジェクト知識の構築を助けるものとして、中央またはグローバル知識データベースに供給することができる。

したがって、識別された仮想子オブジェクトに基づいて、仮想子オブジェクトは最初に、前記仮想親オブジェクトに関連付けられたオブジェクト階層、たとえば、ツリーなどにおいて識別され、続いてこれに基づいて、仮想親オブジェクトが識別され得る。

本明細書では、「注視半透過性」の意味は、「エージェントが何を見ているかに関する情報を捕捉する能力」であることが意図されている。「エージェント」は、人間、動物もしくは無生物、またはより一般的には、仮想オブジェクトおよび仮想カメラを含む、「注視」することが可能な任意のエンティティであり得る。人間および動物の場合、「注視」は明確に定義される。無生物および仮想オブジェクトの場合、当業者であれば、「注視」が特定の環境に応じて技術的に解釈されなければならないことを理解するであろう。

本明細書では、仮想シーンの意味は、ユーザによって経験される場合の仮想世界の一側面であることが意図される。前記仮想世界は、純粋に仮想とすることができ（たとえば、ビデオゲームのように）、または現実世界のエンティティを仮想的に表現することによって拡張現実とすることができる（たとえば、現実世界の道路表示または潜在的な危険が、それらの重要性を強調するなどのためにウインドスクリーンに表示される拡張された自動車用途環境のように）。仮想世界は、人間、動物、または無生物、たとえば、樹木、モーター部品もしくは道路標識などのいずれかを含む仮想オブジェクトを含むことができる。

当業者であれば、これらの仮想オブジェクトが逆にユーザ（または前記ユーザに関連する仮想オブジェクト）を注視し得ることを理解するであろう。

運転者がインテリジェント計器パネル上の点滅する警告標識に注意を向ける上述の環境において、当業者であれば、これは前記パネルに表示された仮想オブジェクトに運転手を注視させることによって可能であることを理解するであろう。運転手は自分が注視しているものをそのようなインテリジェントパネルが知ることができることを認識しており、運転手がパネルを注視し返すと、責任が確立される。

仮想世界の前記側面は、仮想シーンと呼ばれることがあり、典型的には仮想カメラによって見られる。この仮想シーンは、前記仮想世界の仮想オブジェクトのいくつか（または全て）を含むことができる。仮想シーンは、対応するユーザの仮想カメラの視野内（たとえば、視錐台の内部）にある前記仮想シーンの仮想オブジェクトの仮想オブジェクト表現を含む仮想シーン表現としてディスプレイ上に表示され得る。

さらに、「ディスプレイ」は、たとえば、コンピュータモニタ、テレビ画面、スマートフォンディスプレイ、仮想現実ゴーグル、ホログラフィック投影（ホログラム用）、壁投影、眼または網膜への投影、ウインドスクリーン投影、ヘルメットバイザーディスプレイ、コンタクトレンズディスプレイ、バイオニックアイ、脳コンピュータインターフェースなどを含む、仮想シーンを視覚化する（すなわち、その知覚を提供する）ための任意の手段を指し得ることは当業者には理解されよう。

本発明のさらなる実施形態では、システムは、前記識別された注視された仮想子オブジェクトに基づいて、前記仮想子オブジェクトおよび前記仮想親オブジェクトのうちの少なくとも１つに修正コマンドを割り当てるように構成された注視半透過性アルゴリズムモジュールをさらに備える。

したがって、前記識別された注視された仮想子オブジェクトに基づいて、前記仮想子オブジェクトおよび前記仮想親オブジェクトのうちの少なくとも１つに別個の修正コマンドを割り当てることによって、前記識別された仮想子オブジェクトおよび前記関連する仮想親オブジェクトのこの少なくとも１つは、別個の種類の修正用コマンドが割り当てられ得、これは仮想シーン全体に対して前記仮想子オブジェクトおよび前記仮想親オブジェクトのこの少なくとも１つを区別して、ユーザが注視している前記仮想子オブジェクトおよび前記仮想親オブジェクトのうちのの少なくとも１つの改善された提示を可能にすることを意味し得る。

換言すれば、子および親の修正コマンドは異なる可能性が高く、その理由は、我々は子および親が異なってレンダリングされることを望むためである。したがって、子および親の関係を示しつつも、ユーザがどの子オブジェクトを見ているのかは明確でなければならず、親はその子オブジェクトの１つが他のユーザによって見られていることを通知されるべきであり、これはまた最終的に、見られているユーザの親と、子を注視している最初のユーザとの相互の注視を確立し得る。

本発明の他の実施形態では、システムは、識別された仮想子オブジェクトおよび／または仮想親オブジェクトの前記少なくとも１つを、それらに割り当てられた修正コマンドに基づいて修正するように構成された仮想オブジェクト修正モジュールをさらに備える。

換言すれば、子オブジェクト表現および親表現の修正は異なる可能性が高く、その理由は、我々は子および親が異なってレンダリングされることを望むためである。子および親の関係を示しつつも、ユーザがどの子オブジェクトを見ているかは明確でなければならない。親オブジェクト表現は、その子オブジェクトの１つが他のユーザによって見られていることを通知されるべきであり、これはまた最終的に、見られているユーザと子オブジェクトを注視している最初のユーザとの間の親の相互の注視を確立し得る。

したがって、前記割り当てられた修正コマンドに基づいて前記仮想子オブジェクトおよび前記仮想親オブジェクトの前記少なくとも１つを事実に基づいて修正することによって、前記識別された注視された仮想子オブジェクトは、それ自体の修正コマンドに従って修正され得、これは仮想シーン全体に対して前記仮想子オブジェクトおよび前記仮想親オブジェクトのうちの注視された少なくとも１つを区別して、ユーザが注視している前記仮想子オブジェクトおよび前記仮想親オブジェクトのこの少なくとも１つの改善された事実に基づく提示を可能にすることを意味し得る。

本方法のさらなる特徴のある実施形態では、特許請求の範囲で使用される「備える」という用語が、その後に列挙される手段に限定されるものと解釈されるべきではないことに留意されたい。したがって、「手段ＡおよびＢを備えるデバイス」という表現の範囲は、構成要素ＡおよびＢのみからなるデバイスに限定されるべきではない。これは、本発明に関して、デバイスの単に関連する構成要素がＡおよびＢであることを意味する。

同様に、「結合される」という用語は、同様に特許請求の範囲で使用されるが、直接接続のみに限定されるものと解釈されるべきではないことに留意されたい。したがって、「デバイスＢに結合されるデバイスＡ」という表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイスまたはシステムに限定されるべきではない。これはＡの出力とＢの入力との間に経路が存在し、それが他のデバイスまたは手段を含む経路であり得ることを意味する。

添付の図面と併せて一実施形態の以下の説明を参照することにより、本発明の上記および他の目的および特徴はより明らかとなり、本発明自体が最良に理解されよう。

本発明の一実施形態によるユーザデバイスＵＤおよびサーバデバイスＳＥの機能的構造を表す図である。 本発明によるシステム実施形態の３Ｄ仮想シーンのセットアップを示す図である。 本発明のＯＨＨＭモジュールの一部である距離ベースのオブジェクト階層ツリーの一例を示す図である。 ＧＤＤＭとＧＶＯＩＭとの間の相互作用を示す図である。

図面では、同様または類似の要素は、同様にまたは類似して番号付けされている。説明および図面は単に本発明の原理を示すものである。したがって、当業者であれば、本明細書では明示的に説明または図示されていないが、本発明の原理を具現化し、その精神および範囲内に含まれる様々な構成を考案できるであろうことは理解されよう。さらに、本明細書に記載された全ての例は、主として、本発明の原理と、当技術の促進のために発明者によって捧げられた概念とを理解する上での読者の助けとなるような教示目的のものにすぎないことが明らかに意図されており、そのように具体的に記載された例および条件への限定がないものと解釈されるべきである。さらに、本発明の原理、態様、および実施形態、ならびにその具体例を記載した本明細書における全ての記述は、その均等物を包含するものとする。

当業者には、本明細書の任意のブロック図が、本発明の原理を具現化する例示的な回路の概念図を表すことを理解されたい。同様に、任意のフローチャート、流れ図、状態遷移図、擬似コードなどが、コンピュータ可読媒体に実質的に表現され、したがってコンピュータまたはプロセッサによって、そのようなコンピュータまたはプロセッサが明示されていようといまいと、実行され得る様々な処理を表すことは理解されよう。

発明の実施の形態
以下の段落では、図１の図面を参照して、本発明の一実施形態による仮想シーン表現ＶＳＲをユーザに表示するように構成されたディスプレイ上で注視半透過性を実現するためのシステムの一実装が説明される。さらなる段落では、本発明によるシステムの要素間の全ての接続が定義される。続いて、図１に示された上記のシステムの全ての関連する機能的手段が説明され、続いて全ての相互接続が説明される。

続いて、図２の図を参照して、仮想オブジェクトＰ１、Ｐ２の表現が説明される。

続く段落では、システムの実際の実行が説明される。

本発明のシステムの重要な要素は第１のエンティティ、たとえば、ユーザに関連付けられるユーザデバイスＵＤであり、前記ユーザデバイスは、仮想シーンの仮想シーン表現ＶＳＲをユーザに表示するように構成された前記ユーザデバイスのディスプレイＤＰ上で注視半透過性を実現するように構成されたコンピューティングデバイスであり、前記仮想シーン表現は、仮想親オブジェクトの仮想オブジェクト表現Ｐ１、Ｐ２を含み、前記仮想親オブジェクトの各仮想親オブジェクトは、少なくとも１つの仮想子オブジェクトを含む。そのようなユーザデバイスＵＤは、デスクトップまたはラップトップコンピュータなどのパーソナルコンピュータ、タブレットＰＣ、スマートフォンなどの携帯電話、もしくは代替的には視覚化および感覚入力のためのヘッドマウントディスプレイ、車、または目の注視情報を捕捉するための可能な感覚入力と組み合わせた、シーンをレンダリングし視覚化することが可能な任意の形態または組み合わせのユーザデバイスとすることができる。その中でも、集積電子機器および脳インターフェースを有するコンタクトレンズがある。ユーザデバイスの後者の機能はまた、人体と完全にまたは部分的に一体化され得る。

本発明のさらなる重要な要素は、第２のエンティティ、たとえば、仮想シーンのこの上記の仮想シーン表現ＶＳＲを生成するように構成されたサーバＳＥであり、仮想シーン表現は、仮想親オブジェクトの仮想オブジェクト表現Ｐ１、Ｐ２を含み、前記仮想親オブジェクトの各仮想親オブジェクトは、少なくとも１つの仮想子オブジェクトを含む。

クライアントデバイスＵＤおよびサーバＳＥのそれぞれの機能は混在できることに留意されるべきであり、その理由は、機能の任意の組み合わせがクライアントすなわちユーザデバイスＵＤならびにサーバＳＥ上に存在することができるためであり、ユーザデバイスは、ユーザの画像およびユーザが見ている場所を記録する手段、ならびに／またはＶＳＲをレンダリングするための手段をさらに含むことができる。

異なるビデオストリームがクライアントデバイスに送信される元となるデバイスにおいてレンダリングが行われる場合、我々はクライアントサーバアーキテクチャを有するが、これはＶＳＲのレンダリングされる表現（１人称または３人称ビュー）によってはうまくスケールしない。今日では、全てのデバイスは、各自のビューを個人の視点でレンダリングし、注視半透過性アーキテクチャのいくつかの中心部分をホストすることができ、より堅牢であり、より良好にスケールするので、注視距離決定モジュールＧＤＤＭおよび注視仮想オブジェクト修正モジュールＶＯＭＭはクライアントデバイスの一部とすることができる。現在、ほとんどの移動または固定プラットフォームは、仮想シーンをレンダリングすることが可能なｇｐｕを有し、注視半透過性アルゴリズムを実行し、３ｄオブジェクトのストリームおよびその動きのみ、ならびにどのユーザが見られているかがストリームされ配信される必要があり、これらのストリームを扱うことが、サーバの役割であり得る中心的な部分となる可能性が最も高い。

本発明によるシステムのこの実施形態では、ユーザデバイスＵＤは、注視捕捉モジュールＧＣＭと、注視仮想オブジェクト識別モジュールＧＶＯＩＭとを、オブジェクト階層保持モジュールＯＨＨＭと、注視半透過性アルゴリズムモジュールＧＴＡＭと共に備える。

注視捕捉モジュールＧＣＭは、注視座標を含むユーザの注視情報ＧＩを捕捉するように構成され、前記注視座標は、前記ユーザが見ているまたは注視しているディスプレイ上の位置（図示せず）を表すことができる。

注視仮想オブジェクト識別モジュールＧＶＯＩＭは、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記仮想子オブジェクトを、前記決定された距離ＤＩに基づいて識別するように構成され、前記識別された注視された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトを識別するようにさらに構成され、これはＯＨＨＭモジュールを参照して実行され得る。ＯＨＨＭがＧＶＯＩＭの一部であり得ることは当業者には明らかであろう。

注視半透過性アルゴリズムモジュールＧＴＡＭは、前記識別された注視された仮想オブジェクトに基づいて、前記仮想オブジェクトの１つまたは複数に修正コマンドを割り当てるように構成される。

サーバＳＥは、この実施形態では、注視距離決定モジュールＧＤＤＭと、仮想オブジェクト修正モジュールＶＯＭＭとを備える。

注視距離決定モジュールＧＤＤＭは、前記注視情報ＧＩを使用して、仮想オブジェクトと注視距離原点との間の距離ＤＩ（または「注視距離」）を決定するように構成される。

注視距離原点ＧＤＯは、ここでは、仮想シーン表現を生成する仮想カメラＣＡＭの位置（および向き）と一致するように取られる。

仮想オブジェクト修正モジュールＶＯＭＭは、前記修正コマンドＭＣに基づいて、前記いくつかの仮想オブジェクトのうちの１つまたは複数の仮想オブジェクトを修正するように構成される。

また、当業者であれば、これらのモジュールが他の方法で、たとえば、１つまたは複数の仮想オブジェクト（または、むしろ仮想オブジェクトを表すプログラムコードインスタンス）によるインターフェース実装として実装され得ることを理解するであろう。注視半透過性アルゴリズムモジュールＧＴＡＭは、第３のエンティティまたはさらなるエンティティ、たとえば中央サーバによって構成され得る。さらに、第４のエンティティまたはさらなるエンティティによって構成される他の仮想オブジェクト修正モジュールＶＯＭＭ’が適用され得る。さらに、あるエンティティから他のエンティティへと横断するように示された矢印が、実際には、互いに情報を送信および受信するように構成される様々なネットワークモジュールを使用して、ネットワークを介して、別個の（分散した）エンティティ間の通信として実装され得ることを当業者であれば理解するであろう。

図２は、本発明によるシステム実施形態の３Ｄ仮想シーンのセットアップを示す。この図は仮想カメラＣＡＭと、仮想シーン表現ＶＳＲを表示するディスプレイＤＰとを示す（仮想カメラＣＡＭからの視点継続として示される）。仮想シーン表現ＶＳＲは、この場合、３Ｄエンジン（図示せず）によって管理され得る３Ｄ仮想シーンの２Ｄ投影であるが、当業者であれば、仮想シーン表現ＶＳＲがその性質上、「３Ｄシーン」と呼ばれ得ることを理解するであろう。仮想シーン表現ＶＳＲはいくつかの仮想オブジェクト表現Ｐ１、Ｐ２を含む。

これに対応して、基礎となる仮想シーンは仮想オブジェクトを含み、仮想親オブジェクトＰ１は人物の表現であり、親オブジェクトはＣ１．．．Ｃ６で表される複数の仮想子オブジェクトで構成され、それぞれ、頭、両腕、両脚およびヘルメットである。さらなる仮想親オブジェクトは仮想親オブジェクトＰ２であり、同様に人物の表現であって、それぞれが同様の構造を有する。

当業者であれば、仮想カメラＣＡＭの位置および向きに起因して、２つの別個の仮想オブジェクトが、仮想オブジェクト表現Ｐ１およびＰ２として、ディスプレイＤＰの同一の表面領域に大部分が投影されることを理解するであろう。この理由で、ユーザ（図示せず）が両方の仮想オブジェクトのいずれを注視しているのかがすぐには分からない。

本発明を説明するために、まず、仮想オブジェクトＰ１で表される人物Ａの仮想子オブジェクトＣ６であるヘルメットをユーザが注視していることが仮定される。仮想オブジェクトのいずれを、さらには、注視された仮想オブジェクトのどの部分をユーザ（図示せず）が注視しているかはさらなるユーザにはすぐには分からない。

最初に、ユーザは表示された仮想シーン表現ＶＳＲを注視し、これはこの実施形態では、パーソナルコンピュータなどによって具現化されるユーザデバイスＵＤの画面に表示される。このユーザデバイスＵＤは、前記ユーザの注視情報を捕捉するように構成された注視捕捉モジュールＧＣＭであって、注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標Ｐを含む、注視捕捉モジュールＧＣＭをさらに備えることができる。注視捕捉モジュールＧＣＭは、視線追跡手段によって、または脳インターフェースを介して人間の視覚系からの信号を解釈することによって、実装され得る。

ユーザの注視が注視捕捉手段ＧＣＭによって取得されて、前記ディスプレイＤＰ上の位置Ｐとなる。注視捕捉モジュールＧＣＭは、前記位置Ｐを表す注視座標を含む注視情報を捕捉するように構成される。図の参照を容易にするために、注視座標（たとえば、表示位置座標、またはユーザが注視しているディスプレイ上の位置を明確に表すことが可能な任意の他のタイプの座標であり得る）は、ここでは表示位置Ｐと一致するように取られ、すなわち、注視座標も参照番号Ｐとして図示されている。

この実施形態では、仮想オブジェクトのそれぞれが注視距離決定モジュールＧＤＤＭを実装する。あるいは、注視距離決定モジュールＧＤＤＭは、仮想オブジェクトのそれぞれについて、注視距離の決定を実施する。

この実施形態ではサーバＳＥに配置される注視距離決定モジュールＧＤＤＭは、注視捕捉モジュールＧＣＭから取得される前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の距離を決定するように構成される。そのような注視距離決定モジュールＧＤＤＭのそれぞれは、注視光線ＲＧに沿った距離を決定するように構成され、これはこの図では注視距離原点ＧＤＯから、注視座標Ｐを通って仮想シーン「内へ」延びるベクトルとして表される（これは、ベクトルが仮想シーンの空間内に伸びると数学的に考えられることを意味するものと解釈される）。注視光線ＲＧはこれによってユーザの注視を表す。注視距離原点ＧＤＯは、ここでは、仮想カメラＣＡＭの位置（および向き）と一致するように取られる。当業者であれば、注視距離原点ＧＤＯを他の方法で賢明に定義して、仮想オブジェクトと、注視しているユーザに関連する何らかの原点との間の距離の決定を可能にすることもできることを理解するであろう。当業者であれば、錐台のオブジェクトとの交点を計算する必要がないことも理解するであろう。

そのような注視距離決定モジュールＧＤＤＭのそれぞれが、対応する仮想オブジェクトと前記注視距離原点ＧＤＯとの間の距離を決定するように構成されるので、このように決定された距離は、それぞれの仮想オブジェクト表現Ｐ１およびＰ２によって表される前記仮想オブジェクトのそれぞれが注視距離原点ＧＤＯまで「どれほど近いか」、ひいては、それぞれの仮想オブジェクト表現ｌＰ１およびＰ２によって表される前記仮想オブジェクトのいずれがユーザによって注視されているかを表すことを当業者であれば理解するであろう。当業者であれば、この手法が、それぞれの仮想オブジェクト表現Ｐ２によって表される仮想オブジェクトが、ユーザによって注視されておらず（エレガントには、注視光線ＲＧに沿ったその距離は本質的に無限であると考えられ得る）、それぞれの仮想オブジェクト表現Ｐ１によって表される仮想オブジェクトが、仮想オブジェクトＰ２’（または同等に、Ｐ２）よりも近い（すなわち、より前にある）と認識することを可能にすることを理解するであろう。

これは注視仮想オブジェクト識別モジュールＧＶＯＩＭが、注視された仮想オブジェクト、この場合は、それぞれの仮想オブジェクト表現Ｃ６によって表される仮想子オブジェクトを識別することを可能にする。

当業者であれば、前記仮想カメラの視野外の仮想オブジェクトが効率のために除去され得ることを理解するであろう。続いて、決定された距離、注視仮想オブジェクト識別モジュールＧＶＯＩＭ、ならびに錐台のｚ遠平面（ｚ ｆａｒ ｐｌａｎｅ）に近い親オブジェクトの子オブジェクトを識別することはあまり意味がないという事実に基づく。この実施形態ではユーザデバイスＵＤに位置づけされ、前記ユーザについて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの仮想子オブジェクトを、注視距離決定モジュールＧＤＤＭによって決定された距離に基づいて識別するように構成される。

注視距離原点から光線が仮想世界内に投じられ、視錐台のシーン内の全てのオブジェクトについて、光線がそのようなオブジェクトと交差するか否か、すなわち、ポイントクラウドの場合はその点の１つと、または点のグループを囲むバウンディングボックスと、光線が交差するか否かが判定される。レンダリングされたメッシュの場合、光線がその頂点の１つまたは複数と交差するか否かが判定される。これによって得られた距離ＤＩまたはＧＤＤＭモジュールから得られた距離は、オブジェクト階層ＯＨＨＭによって親または子オブジェクトを識別するために使用され、それによってＯＨＨＭは階層モデルまたは検索ベースの（注釈付き）モデルを保持する。さらに、任意の時点で、ＧＶＯＩＭは、追跡すべき他の光線を発射するようにＧＤＤＭに指示して、オブジェクトモデルを適応／完成させることができ、これは仮想シーンの動的性に対処するためである。これは、視錐台が変化した場合にオブジェクトモデルを最新にするために、視錐台、およびまたはそれ以上に対して起こり得る。光線がオブジェクトと交差したときの反復処理の方法は、付属のフローチャートを通じてより詳細に説明される。全体システムは、仮想シーンの動的性をサポートするために、オブジェクトがその識別情報を持ってシーンまたは視錐台に現れたり、去ったり、再び現れたりした場合に、ＧＶＯＩＭさらにはオブジェクト階層保持手段ＯＨＨＭに通知する。

続いて、注視仮想オブジェクト識別モジュールＧＶＯＩＭは、前記識別された仮想子オブジェクト、すなわち、仮想子オブジェクトＣ６と、前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの１つの仮想親オブジェクトを識別するようにさらに構成される。

注視仮想オブジェクト識別モジュールＧＶＯＩＭは、決定された仮想子オブジェクトＣ６に基づいて、様々な仮想親オブジェクトに関連付けられたオブジェクトモデル階層を維持するオブジェクト階層保持モジュールのエントリとして決定された注視された仮想子オブジェクトＣ６を使用して、仮想親オブジェクトに関連付けられたオブジェクト階層を特定する。

このようにして、システムは注視半透過性を実装することができ、その理由は、ユーザがどの仮想オブジェクト（たとえば、注視された仮想オブジェクトの一部、すなわち、この仮想親オブジェクトに対応する仮想子オブジェクト）を見ているかに関する情報を使用して、たとえば、前記仮想オブジェクトの１つまたは複数の表示特性を修正することができるためである。この修正は、たとえば、ディスプレイ上のレンダリング表現（換言すれば、前記ディスプレイ上の画素表現）に対してではなく、仮想オブジェクト自体によって（たとえば、シェーダを適用して）実施され得る。当業者であれば、注視情報ＧＩ、決定された距離ＤＩ、識別された仮想オブジェクト、および修正コマンドＭＣが、（ローカル）システムプロパティ、イベント、または関数呼び出しのパラメータとして実装され得ることをさらに理解するであろう。さらに、当業者であれば、ネットワークモジュール（図示せず）を使用して、図示されたデータ接続のいずれかを送信および／または受信することによって、ネットワーク化され分散された動作を容易にすることができることを理解するであろう。

さらに、本実施形態は、本発明が実装され実行されるクライアントサーバアーキテクチャを説明しているが、これはピアツーピアアーキテクチャ、クラウドアーキテクチャ、ハードウェアアーキテクチャ、および互いの中間の形式でも実装され実行され得ることに留意されたい。

システムの様々な手段は集中的な方法またはより分散した方法で配置され得、これらの手段はクライアントデバイスおよびオプションのサーバデバイスに分散され得る。

最後の注釈は、本発明の実施形態が、機能ブロックに関して上記で説明されているということである。上記のこれらのブロックの機能説明から、これらのブロックの実施形態がよく知られている電子部品によって製造され得る方法は、電子デバイスを設計する当業者には明らかであろう。したがって、機能ブロックの内容の詳細なアーキテクチャは与えられていない。

本発明の原理は特定の装置に関連して上記で説明されてきたが、この説明は単に例としてなされ、添付の特許請求の範囲に規定される本発明の範囲を限定するものとしてなされているのではないことは明確に理解されたい。

Claims (11)

1. ユーザについて、仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトを、捕捉された注視情報に基づく、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの前記注視された仮想子オブジェクトと注視距離原点との間の決定された距離に基づいて識別するように構成された注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）であって、前記捕捉された注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含み、前記ディスプレイが、仮想シーンの仮想シーン表現（ＶＳＲ）を表示するように構成され、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、
   − 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するように構成され、
   − 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記識別された注視された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトを識別するようにさらに構成される、注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）。
2. 前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離および追加の意味情報に基づいて識別するようにさらに構成される、請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）。
3. 仮想シーンの仮想シーン表現（ＶＳＲ）をユーザに表示するように構成されたディスプレイ（ＤＰ）上で注視半透過性を実現するためのシステムであって、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記システムが、
   − 前記ユーザの注視情報を捕捉するように構成された注視捕捉モジュール（ＧＣＭ）であって、前記注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含む、注視捕捉モジュール（ＧＣＭ）と、
   − 前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の距離を決定するように構成された注視距離決定モジュール（ＧＤＤＭ）と、
   − 請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）と
   を備える、システム。
4. − 前記識別された注視された仮想子オブジェクトに基づいて、前記注視された仮想子オブジェクトおよび前記仮想親オブジェクトのうちの少なくとも１つに修正コマンドを割り当てるように構成された注視半透過性アルゴリズムモジュール（ＧＴＡＭ）
   をさらに備える、請求項３に記載の注視半透過性を実現するためのシステム。
5. − 識別された注視された仮想子オブジェクトまたは仮想親オブジェクトのうちの前記少なくとも１つを、それらの割り当てられた修正コマンドに基づいて修正するように構成された仮想オブジェクト修正モジュール（ＶＯＭＭ）
   をさらに備える、請求項４に記載の注視半透過性を実現するためのシステム。
6. 請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）を備える、コンピューティングデバイス。
7. 請求項１に記載の注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）を備える、サーバ。
8. ユーザについて、仮想親オブジェクトのうちの１つの仮想親オブジェクトの仮想子オブジェクトを、捕捉された注視情報に基づく、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の決定された距離に基づいて識別するための方法であって、前記捕捉された注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含み、前記ディスプレイが、仮想シーンの仮想シーン表現（ＶＳＲ）を表示するように構成され、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記方法が、
   前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するステップと、
   − 前記識別された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトをさらに識別するステップと
   を備える、方法。
9. 仮想シーンの仮想シーン表現をユーザに表示するように構成されたディスプレイ上で注視半透過性を実現するための方法であって、前記仮想シーン表現が、仮想親オブジェクトの仮想オブジェクト表現（Ｐ１、Ｐ２）を含み、前記仮想親オブジェクトの各仮想親オブジェクトが、少なくとも１つの仮想子オブジェクトを含み、前記方法が、
   − 注視捕捉モジュール（ＧＣＭ）が、前記ユーザの注視情報を捕捉するステップであって、前記注視情報が、前記ユーザが見ている前記ディスプレイ上の位置を表す注視座標（Ｐ）を含む、捕捉するステップ
   を備え、前記方法が、
   − 注視距離決定モジュール（ＧＤＤＭ）が、前記捕捉された注視情報に基づいて、前記仮想親オブジェクトのうちの１つの仮想親オブジェクトの注視された仮想子オブジェクトと注視距離原点との間の距離を決定するステップと、
   − 注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離に基づいて識別するステップと、
   − 前記注視仮想オブジェクト識別モジュール（ＧＶＯＩＭ）が、前記識別された注視された仮想子オブジェクトと前記仮想親オブジェクトに関連付けられたオブジェクト階層とに基づいて、前記注視された仮想子オブジェクトに対応する前記仮想親オブジェクトのうちの前記仮想親オブジェクトをさらに識別するステップと
   をさらに備える、方法。
10. 前記ユーザについて、前記仮想親オブジェクトのうちの前記仮想親オブジェクトの前記注視された仮想子オブジェクトを、前記決定された距離および追加の意味情報に基づいて識別するステップを備える、請求項９に記載の注視半透過性を実現するための方法。
11. 実行された場合に、請求項８に記載の方法のステップを実行するように構成されたコンピュータ実行可能命令を含む、コンピュータプログラム。

Images