JP2019149202A - エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン - Google Patents

エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン Download PDF

Info

Publication number
JP2019149202A
JP2019149202A JP2019091204A JP2019091204A JP2019149202A JP 2019149202 A JP2019149202 A JP 2019149202A JP 2019091204 A JP2019091204 A JP 2019091204A JP 2019091204 A JP2019091204 A JP 2019091204A JP 2019149202 A JP2019149202 A JP 2019149202A
Authority
JP
Japan
Prior art keywords
implementation
space
user
light
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019091204A
Other languages
English (en)
Other versions
JP2019149202A5 (ja
Inventor
グリベッツ,メロン
Gribetz Meron
ジー. マン,ダブリュー.スティーブ
Steve G Mann W
ジー. マン,ダブリュー.スティーブ
ロー,レイモンド
Lo Raymond
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta View Inc
Original Assignee
Meta View Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta View Inc filed Critical Meta View Inc
Publication of JP2019149202A publication Critical patent/JP2019149202A/ja
Publication of JP2019149202A5 publication Critical patent/JP2019149202A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

【課題】第1の拡張介在現実空間および第2の拡張介在現実空間のうちの少なくとも1つにおいてエフェクタ信号をユーザに提示する表示装置を提供する。【解決手段】第1の拡張介在現実空間に動作可能にインターフェース接続するよう構成された第1の現象インターフェース1302と、第2の拡張介在現実空間に動作可能にインターフェース接続するよう構成された第2の現象インターフェース1306と、を含む検出および表示装置1300は、エクストラミッシブ空間撮像デジタル眼鏡として実装される。【選択図】図14

Description

関連出願の相互参照
本願は、2013年1月3日出願の米国仮特許出願整理番号第61/748,468号および2013年12月16日出願の米国仮特許出願整理番号第61/916,773号に関連し、米国特許法第119条e項に基づきこれらの特許出願の国内優先権の利益を主張する。なお、これらの特許出願の全内容は本願に参照することにより、本願に明確に援用される。
工業プロセスにおける温度センサの使用などのセンサ技術は、環境に関する情報を監視および/または計測する状況下で用いられる。モバイル装置では、様々な用途(例えば電話通信およびモバイル通信など)を支援するために用いられる処理能力がますます増大化しつつある。
一態様によれば、第1のコンピュータ介在空間(例えば、シーン、対象物、その他)にインターフェース接続するよう構成された第1のインターフェース・モジュールであって、センサ信号およびエフェクタ信号を第1の空間と交換するよう構成された第1のインターフェース・モジュールと、第2のコンピュータ介在空間(例えばデジタル眼鏡スペース内におけるユーザ自身の個人的視野空間)にインターフェース接続するよう構成された第2のインターフェース・モジュールであって、エフェクタ信号を、およびいくつかの実施形態ではセンサ信号(例えば視標追跡器など)を、第2の空間に提供または第2の空間と交換するよう構成され、エフェクタ信号は少なくとも部分的に第1の空間および第2の空間のいずれか一方においてユーザ提示可能である、第2のインターフェース・モジュールと、を含む、インターフェース・アセンブリを含む検出および表示装置が提供される。
一態様によれば、感覚現象を表現するセンサ信号にインターフェース接続するよう構成された第1のインターフェース・モジュールであって、受け取った信号および/または現象は、一実装では、第1の現実空間(例えば視覚的現実空間など)から取得されたものであり、一実装では、第2の視覚的現実空間から受け取った感覚現象を表す、第1のインターフェース・モジュールと、第1の視覚的現実空間および/または第2の視覚的現実空間に対して感覚現象を表現、表示、提示、提供、および/またはその他を行うエフェクタ信号にインターフェース接続するよう構成された第2のインターフェース・モジュールと、を含むインターフェース・アセンブリを含む検出および表示装置が提供される。
一態様によれば、第1の空間および第2の空間から受け取った感覚現象を表現するセンサ信号を受け取ることを含む動作を含む、方法が提供される。
一態様によれば、第1の空間および第2の空間にインターフェース接続するよう構成されたインターフェース・アセンブリであって、第1の空間および第2の空間に関連付けられたセンサ信号およびエフェクタ信号を伝達するよう構成されたインターフェース・アセンブリと、インターフェース・アセンブリに動作可能に連結された処理装置であって、インターフェース・アセンブリにより伝達されたセンサ信号およびエフェクタ信号を処理するよう構成された処理装置と、センサ信号およびエフェクタ信号に対して操作を実行することを処理装置に命じるよう構成されたプログラム命令のシーケンスを含む処理用プログラムを有形的に具体化するよう構成されたメモリ・アセンブリと、を含む、検出および表示装置が提供される。
一態様によれば、第1の空間から導出された現象を表示するよう構成された第インターフェース・セクションと、第2の空間から導出された現象を表示するよう構成された第2のインターフェース・セクションと、を含む、ユーザ・インターフェースが提供される。
一態様によれば、第1の空間内の現象と動作可能にインターフェース接続するよう構成された第1の現象インターフェースと、第2の空間内の現象と動作可能にインターフェース接続するよう構成された第2の現象インターフェースと、を含む、検出および表示装置が提供される。
一態様によれば、請求項において指定される他の態様も提供される。
非限定的な実施形態(例、選択肢、その他)の他の態様および特徴は、ここで、添付の図面と併せて以下の非限定的な実施形態に関する詳細な説明を検討することにより明らかとなることであろう。
非限定的な実施形態は、以下の添付の図面と併せて以下の非限定的な実施形態に関する説明を参照することにより、より詳細に理解されるであろう。
これらの図面は必ずしも縮尺どおりであるとは限らず、仮想線、図式的描写、および部分図により示され得る。特定の場合には、実施形態の理解には不必要な詳細(および/または他の詳細に関する認識を困難にさせる詳細)は省略される場合がある。
対応する参照符号は、これらの図面のいくつかの図を通じて、対応する構成要素を示す。いくつかの図面における構成要素は簡略化のために示されたものであり、必ずしも縮尺が一定であるとは限らない。例えば、これらの図面の構成要素のうちのいくつかの寸法は、本明細書で開示する実施形態の理解を支援するために、他の構成要素に対して誇張される場合がある。
一実施形態におけるセンサおよびディスプレイ装置例1300の概略図である。 一実施形態における図1Aに示す感覚および表示装置1300に関連付けられた方法例を示す概略図である。 一実施形態における感覚および表示装置例1300の概略図である。 一実施形態における感覚および表示装置例1300の概略図である。 一実施形態における感覚および表示装置例1300の概略図である。 一実施形態における感覚および表示装置例1300の概略図である。 光検知装置または光検知・エフェクタ(発光)装置から、および音響検知装置または音響検知・エフェクタ(例えばソナー)装置から、入力を受け入れる一実施形態における信号処理システムを示す図である。 図1Eの感覚および表示装置1300の一実施形態を使用して共有オブジェクトと相互作用する例を示す図である。 図1Eの感覚および表示装置1300を使用する一実施形態における、アバコグラフィック軌道に沿う共有オブジェクトとの相互作用する例を示す図である。 図1Eのセンサおよびディスプレイ装置1300を使用して共有オブジェクトと相互作用するための方法例を示す図である。 図1Eの感覚および表示装置例1300の他の概略図である。 一実施形態における、ビデオ軌道安定化およびコンパラメトリック位置合わせを示す図である。 一実施形態におけるアブスメント(absement)ベースの信号プロセッサを示す図である。 一実施形態におけるトポスカルプティング・システムを示す図である。 一実施形態におけるトポスカルプティング・システムのさらなる詳細を示す図である。 一実施形態におけるハンド・ベースのトポスカルプト・メッシャーを示す図である。 いくつかの実装では、METAtable Sousface(登録商標)システムと呼ばれ得る、逆表面およびメタテーブルの一実施形態を示す図である。 一実施形態における図1Eの感覚および表示装置例1300の他の概略図である。 一実施形態における図1Eの感覚および表示装置例1300の他の概略図である。 一実施形態における図1Eの感覚および表示装置1300のタイミング・シーケンシング動作を示す図の一例である。 一実施形態における図1Eの感覚および表示装置1300のタイミング・シーケンシング動作を示す方法例を示す図である。 一実施形態における図1Eの感覚および表示装置1300を使用する参加者(ユーザ)間で共有されるリアルタイム拡張介在現実の例を示す図である。 一実施形態における図1Eの感覚および表示装置1300を使用する参加者(ユーザ)間で共有される他のリアルタイム拡張介在現実の例を示す図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置1300とともに使用するためのユーザ・インターフェース例800の概略図である。 一実施形態における図1Eに示す感覚および表示装置例1300の概略図である。 一実施形態における図13に示す感覚および表示装置例1300の概略図である。
以下の詳細な説明は性質上、単に例示を目的とするものであり、説明する実施形態(例、選択肢、その他)または用途を、および説明する実施形態の使用を、限定することを意図するものではない。本明細書で用いられる用語「代表的」または「例示的」は例、事例、または例示を意味する。本明細書において「代表的」または「例示的」として説明されるあらゆる実装は、他の実装に対して必ずしも好適または有利であると解釈されるとは限らない。以下で説明する実装のすべては、本開示の実施形態の作成および使用を可能にするために提供された代表的な実装であり、本開示の範囲を限定することを意図するものではない。本明細書における説明のために、「上方」、「下方」、「左」、「後方」、「右」、「前方」、「垂直」、「水平」、およびこれらの派生語は、図面において指向された例に関するものである。さらに、前述の技術分野、背景技術、発明の概要、または以下の発明を実施するための形態において提示される明示または暗示されるいかなる理論にも拘束されることは意図しない。添付の図面において図示され以下の明細書で説明される特定的な装置および処理が代表的な実施形態(例)、態様、および/または概念であることも理解されるべきである。したがって本明細書で開示される実施形態に関する特定的な寸法および他の物理的特性は、任意の請求項の文脈における場合を除き、限定として考えられるべきではなく、請求項の記載に関しては明示的に限定として考えられるべきである。「少なくとも1つ」は「1つ」に等価であると理解される。態様(例、改変例、変更例、選択肢、変化例、実施形態、およびこれらのあらゆる均等物)は図面を参照して説明され、本明細書における説明が、請求される発明が実施され得る様々な実施形態を例示により示すものであり、網羅的または排他的ではないと理解すべきである。これらの態様は、理解を支援し、請求される原理を教示するためにのみ、提示されたものである。これらの態様は必ずしも請求される発明のすべてを代表するものではないことも理解すべきである。そのため本開示の特定的な態様については本明細書では討論されていない。代替的な実施形態が本発明の特定的な箇所に対して提示され得ないこと、またはさらに未説明の代替的な実施形態が特定箇所に対して利用可能であることは、これらの代替的な実施形態の拒否であると考えるべきではない。これらの未説明の実施形態の多数が本発明の同一の原理を組み込むこと、および他の実施形態が等価であることが理解されるであろう。したがって他の実施形態も利用され得ること、および機能的、論理的、組織的、構造的、および/または位相的変更例が本開示の範囲および/または趣旨から逸脱することなく作られ得ることが理解される。
図1Aは一実施形態における検出および表示装置1300の例を概略的に図示する。
図1Aによれば、検出および表示装置1300はインターフェース・アセンブリ902を含む(がインターフェース・アセンブリ902に限定されない)。一実装では、インターフェース・アセンブリ902は、第1の拡張介在現実空間1000から受け取った感覚現象を、および/または第1の拡張介在現実空間1000内で検出された感覚現象を、表現するセンサ信号904にインターフェース接続するよう構成される。第1の拡張介在現実空間1000は拡張現実空間および/または介在現実空間と呼ばれ得る)。センサ信号904は、一実装では、1以上の追加的な空間(例えば第2の拡張介在現実空間1002など)から受け取った感覚現象も、および/または係る追加的空間内で検出された感覚現象も、表現し得る。一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002は排他的である(例えば、互いに重なり合うことがない)一方で、他の実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002の全部または一部は、重なり合い、一致し、同一の拡がりを有し、および/またはその他であってよい。いくつかの実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002は、様々な要因(例えばユーザの同一性、装置上で実行される1以上のソフトウェア・アプリケーションの同一性、検出および/または測定された環境要因の特性および/または値(例えば光レベル、時間、GPS、および/または、その他)、および、その他など)に応じて、交互に排他的および/または同一の拡がりを有し得る。インターフェース・アセンブリ902は、一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002に対して感覚現象の表現、作用、表示、提供、および/またはその他を行うエフェクタ信号906にインターフェース接続するようにも、構成され得る。様々な実装で使用されるインターフェース接続は、交換、伝達、受信、および/またはその他を含み得る。
他の例によれば、検出および表示装置1300は、第1のインターフェース・モジュールを含むインターフェース・アセンブリ902を含む(がインターフェース・アセンブリ902に限定されない)。一実装では、第1のインターフェース・モジュールは、第1の拡張介在現実空間1000にインターフェース接続する(または第1の拡張介在現実空間1000に向かって配向されるかまたは第1の拡張介在現実空間1000に対面する)よう構成され得る。他の実装では第1のインターフェース・モジュールは、第1の拡張介在現実空間1000と他の方法で相互作用するよう構成され得る。例えば音響実施形態では、第1のインターフェース・モジュールは1以上のマイクロフォンを含み得る。なおマイクロフォンは、いくつかの実装では、音響源に向かって配向され得る。第1のインターフェース・モジュールは、センサ信号904およびエフェクタ信号906を第1の拡張介在現実空間1000に対して伝達および/または交換するよう構成され得る。インターフェース・アセンブリ902は一実装では、第2のインターフェース・モジュールも含み得る。第2のインターフェース・モジュールは、第2の拡張介在現実空間1002にインターフェース接続する(または第2の拡張介在現実空間1002に向かって配向されるかまたは対向する)よう構成され得る。第2のインターフェース・モジュールは、センサ信号904およびエフェクタ信号906を第2の拡張介在現実空間1002に対して伝達および/または交換するよう構成され得る。一実装では、エフェクタ信号906(および/またはエフェクタ信号906の表現)は、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002のうちの一方または両方において、少なくとも部分的にユーザ提示可能であってよい。
センサ信号904およびエフェクタ信号906は、少なくとも部分的に、例えば第1の拡張介在現実空間1000および第2の拡張介在現実空間1002の一方または両方における視覚的表示、音響的提示、ユーザ操作、および/または任意の他の形態のユーザ消費により、ユーザの感覚的提示および/または消費のために、様々な形態で提示可能である。
一選択肢によれば、検出および表示装置1300は、インターフェース・アセンブリ902に動作可能に連結するよう構成された処理装置908も含み得る。一実装では、処理装置908は、インターフェース・アセンブリ902にインターフェース接続および/または別様に関連付けられたセンサ信号904の処理、および/または、インターフェース・アセンブリ902にインターフェース接続および/または別様に関連付けられたエフェクタ信号906の処理、を行うよう構成され得る。処理装置908は、センサ信号904および/またはエフェクタ信号906の処理(例えば、強化、変更、および/またはその他)を含み得る。
一選択肢によれば、検出および表示装置1300はインターフェース・アセンブリ902を含み得る。一実装では、インターフェース・アセンブリ902は第1のインターフェース・モジュール903を含み得る。なお第1のインターフェース・モジュール903は、(例えば第1の拡張介在現実空間1000から受け取った感覚現象を表現し、および/または第2の拡張介在現実空間1002から受け取った感覚現象も表現する)センサ信号904にインターフェース接続するよう構成される。一実装では、インターフェース・アセンブリ902は、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002に対して感覚現象の表現、表示、提供、投影、および/またはその他を行うエフェクタ信号906にインターフェース接続するよう構成された第2のインターフェース・モジュール905も含み得る。インターフェース・アセンブリ902は本明細書で提供される説明に照らして他の構成も可能である。
例えば第1の拡張介在現実空間1000は、2人以上のユーザ間で共有される空間(パブリック共有空間)となるよう構成された拡張または介在された現実環境(空間)である。第2の拡張介在現実空間1002は、1人のユーザにより使用される空間(例えばパーソナル空間)となるよう、または有限の人数のユーザにより共有(例えば使用)され得る空間(例えばプライベート空間)となるよう、または第1の拡張介在現実空間1000のユーザ全員により共有され得る空間となるよう、構成された拡張または介在された現実環境(空間)である。
例えば第2の拡張介在現実空間1002は、第1の拡張介在現実空間1000のライブ(間接的または直接的)ビューを(ユーザに)提供するよう構成される。一実装では、第1の拡張介在現実空間1000は、コンピュータ生成された感覚現象(例えば音響要素、ビデオ要素、グラフィック要素、接触性要素、および/またはその他の要素)により拡張、補足、および/または介在(例えば拡張介在)され得る(例えば第1の拡張介在現実空間1000内に含まれる物理的要素上に投影され得る)物理的要素を有する物理的(現実世界)環境を、または変更バージョンがユーザに対して提示される状態で(例えばコンピュータにより)変更された感覚現象(例えば、「散乱物」を除去することによりユーザが世界をより良好に検知および理解することを支援するために減退化された現実。係る減退化された現実も拡張介在現実のさらなる例である)を、含む。したがって装置1300は、いくつかの実装では、出力ディスプレイを介して例えば装置のユーザに対して提示するために、物理的な要素および/もしくは情報、仮想的な要素および/もしくは情報、および/または、環境に対して、または環境から、作用、投影、減法、および/もしくはその他の操作が施される要素、のあらゆる組み合わせを、表示可能な対象物に組み込むことが可能となるよう構成され得る。いくつかの実装ではエフェクタ信号および/または他のコンピュータ生成された感覚現象は、環境内の対象物の照明、強化、および/もしくは分画以外の、および/またはこれらに対して追加的な、多様な用途のいずれ対しても用いられ得る。例えば一実装では、エフェクタ信号および/または他のコンピュータ生成された感覚現象は、一連の低出力フラッシュ発光の後にフラッシュを発光させて瞳孔を収縮させる赤目軽減発光能力を含み得る。別例では、一実装において、エフェクタ信号および/または他のコンピュータ生成された感覚現象は、アラート、警告、目隠し、不能化、混乱化、および/またはその他のためのフラッシュ発光、ストロボ発光、および/またはその他を含み得る。
一実装では、第1の拡張介在現実空間1000は、複数のユーザにより共有される共有空間であってよい。一実装では、第1の拡張介在現実空間1000を共有するユーザは、ローカルエリアネットワーク、Bluetooth(登録商標)ネットワーク、WiFi(登録商標)ネットワーク、および/またはその他など(しかし必ずしもこれらに限定されない)の任意種類のネットワーク接続により互いに対して近位に配置されてもよく、その一方で他の実装ではユーザは、互いに対して遠隔に配置され、広域ネットワーク、セルラ・ネットワーク、TCP/IPネットワーク、およびその他を介して接続されてもよい。第2の拡張介在現実空間1002も共有空間であってよく、他のユーザとの制限された共有のための選択肢を含み得る。第2の拡張介在現実空間1002は、一実装では、ユーザのグループから抜き取られた、事前決定および/または選択されたユーザに属するか、および/または係るユーザに割り当てられ得る。この意味で、第2の拡張介在現実空間1002は事前決定されたユーザのパーソナル空間である。第2の拡張介在現実空間1002のユーザは、第2の拡張介在現実空間1002に対するアクセスを、(例えば第2の拡張介在現実空間1002に割り当てられたユーザの要望または制御にしたがって)第1の拡張介在現実空間1000に関連付けられたユーザの全員に対して拒否、係るユーザのうちの一部に対して許可、または係るユーザの全員に対して許可し得る。様々な実装では、第1の拡張介在現実空間1000と、第2の拡張介在現実空間1002の1以上の具体例と、のうちの一方または両方は、例えばローカルエリアネットワーク、広域ネットワーク、セルラ・ネットワーク、WiFi(登録商標)ネットワーク、Bluetooth(登録商標)ネットワーク、TCP/IP有効化ネットワーク、および/またはその他を含むがこれらに限定されない任意種類のネットワークを介してネットワークアクセス可能であってよい。インターネット・プロトコル・スイートは、インターネットおよび同様のネットワークに対して使用される、ネットワークキング・モデルおよび1セットの通信プロトコルである。インターネット・プロトコルはTCP/IPとしても公知である。この理由は、その最も重要なプロトコルであるトランスミッション・コントロール・プロトコル(TCP)およびインターネット・プロトコル(IP)がこの規格における最初のネットワークキング・プロトコルであったためである。
例えば第1の拡張介在現実空間1000に対して7人のユーザが関連付けられている場合、当該ユーザ・グループに属する各メンバーは、第1の拡張介在現実空間1000に対するアクセスを有し、このように第1の拡張介在現実空間1000は共同空間(例えばパブリック空間)として取り扱われる。第1の拡張介在現実空間1000に関連付けられた現象(感覚現象)は、共同的方法で、感覚および表示装置1300の各ユーザのそれぞれの具体例により第1の拡張介在現実空間1000にアクセスするユーザによって経験または共有され得る。
一実装では、各ユーザは、感覚および表示装置1300のそれぞれの具体例を介して、第2の拡張介在現実空間1002のそれぞれの具体例が割り当てられ得る。装置1300は装置1300のユーザが、第1の拡張介在現実空間1000にアクセスすること、および第2の拡張介在現実空間1002のユーザの具体例にアクセスすること、を許可し得る。装置1300は、ユーザが、第2の拡張介在現実空間1002に関する当該ユーザの具体例に対するある程度のアクセス(例えばアクセス拒否、制限アクセス、完全アクセス)を、第1の拡張介在現実空間1000の他のユーザに対して許可することを、許可するよう構成される。一実装では、様々な範囲のアクセス(例えば設定および/または制限された時間および/もしくは場所に対するアクセス、プロファイル、許可、および/もしくは役割に基づくアクセス、タスクおよび/もしくは達成に基づくアクセス、および/またはその他など)が適用および/または実施され得る。係る範囲のアクセスは、一実装では、アクセス・トリガおよび/またはパラメータ値に関連付けられたデータ記録にリンクされたアクセス記録に基づいて実施され得る。共有アクセスの実装では、1人以上の他のユーザの第1の拡張介在現実空間1000に対して共有される第2の拡張介在現実空間1002の第1のユーザの具体例は、注釈、タグ、および/または他のラベルが施され得る。例えば第2の拡張介在現実空間1002の具体例は、第1のユーザが第2の拡張介在現実空間1002と関連付けられたものであることを指定し得る、1以上の特性注釈、ロゴ、透かし、図、画像、写真、名前、ラベル、タグ、色、形状、音響、および/またはその他を含み得る。一実装では、第2の拡張介在現実空間1002の2つ以上の具体例に対するアクセス権を有するユーザは、例えば選択された共有第2の空間のビュー表示を開くこと、閉じること、移動すること、サイズ変更すること、最大化すること、最小化すること、配向すること、握り締めること、伸張すること、スカルプトすること、および/または同様の操作を施すことなどにより、複数の第2の拡張介在現実空間1002のビュー表示選択肢および/または直接ビュー表示を選択し得る。一実装では、少なくとも1つの共有第2の空間に対するアクセス権を有するユーザには、第1の拡張介在現実空間1000と、第2の拡張介在現実空間1002と、いくつかの例では、1以上の追加的な共有第2の空間と、の間で同一のオブジェクトおよび/または物理的空間の矛盾するビュー表示および/または一致しないビュー表示が提示され得る。例えばゲームのシナリオでは、仮想的オブジェクトは数人のユーザに対してはゲーム・パラメータに基づいて表示され、それ以外のユーザに対しては、係る様式では表示されない。したがって2つの共有第2の空間(一方は仮想的オブジェクトを有し、他方は仮想的オブジェクトを有さない)を閲覧するユーザは、同一の物理的空間の異なる閲覧(例えば一方は仮想的オブジェクトを有し、他方は有さない)を感知することとなる。一実装では、第2の拡張介在現実空間1002の閲覧は、互いに対して、および/または第1の拡張介在現実空間1000の閲覧に対して、オーバーレイされ得る。一実装では、オブジェクト、仮想的オブジェクト、および/または他の表示構成要素の一部が、例えば受け入れるユーザの役割、特権、設定、および/またはその他に基づいて、所与の第2の拡張介在現実空間1002の特定の共有閲覧内で提示され得る。
例えば第1のユーザは、感覚および表示装置1300により提供される構成設定により、第1の拡張介在現実空間1000の他のいずれのユーザ(検出および表示装置1300のそれぞれの具体例によりアクセスされる)も第1のユーザの第2の拡張介在現実空間1002に対するアクセスまたは共有アクセスを有さないよう、第2の拡張介在現実空間1002の自分の具体例に対するアクセスを制限することができる。第1のユーザは、(検出および表示装置1300を介する)第2の拡張介在現実空間1002の自分の具体例を、装置1300の自分自身の具体例を有する他のユーザに対してプライベートおよびアクセス不許可にすることを決定した。
一例では、第1の拡張介在現実空間1000の第2のユーザは、装置1300の自分自身の具体例における構成設定により、第3のユーザおよび第4のユーザが、第2のユーザに対して割り当てられた第2の拡張介在現実空間1002にアクセスすることを許可する。第3のユーザおよび第4のユーザは、第2の拡張介在現実空間1002の自分自身の具体例を第2のユーザと共有するかどうかを決定し得る。
(第1の拡張介在現実空間1000に関連付けられた)残余のユーザは、(例えば)上記に示したように自分自身の必要性、選択、役割、特権、および/またはその他にしたがって、(検出および表示装置1300の自分自身の具体例を介する)第2の拡張介在現実空間1002の自分自身の具体例のアクセスを設定し得る。
例えば一実施形態では、電子ゲーム(例えば拡張介在現実または介在現実ゲームなど)が設定され得る。なお係る電子ゲームでは、2つの対抗するユーザ・チームがチームワークで技能を競い合う。したがって第1の拡張現実空間または第1の拡張介在現実空間1000のユーザ・チームは、当該チームの各メンバーが、第1のチームの各メンバーの第2の拡張介在現実空間1002のそれぞれの具体例に対するアクセスを有するよう、検出および表示装置1300の自分たちの具体例を構成し得る。このようにしてゲームが第1の拡張介在現実空間1000内でプレイされている間、チーム・メンバーは、ゲームをプレイする中で第2のユーザ・チームに対して勝利を勝ち取るために戦略を立てる際にチーム・メンバー間でチャット(ユーザ通信の交換)を行い得る。第1の拡張介在現実空間1000内で、全ユーザは第1の拡張介在現実空間1000に対してアクセスを有し、ゲームのプレイ中、相互作用し得る。電子ゲームは、戦争ゲーム、チェス・ゲーム、およびチーム・プレイヤーが関与する任意種類のゲーム、その他であってよい。チームのサイズは少なくとも1人のユーザであってよい。ユーザは、一例では、物理的には遠隔場所に位置し得る。
一選択肢によれば、それぞれが検出および表示装置1300の具体例を装着する複数のユーザは、(例えば第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002内において)共有されるコンピュータ介在現実を経験し得る。他の選択肢では、検出および表示装置1300を装着しないユーザが、第1の拡張介在現実空間1000内においてコンピュータ介在現実のいくつかの要素を共有し、第1の拡張介在現実空間1000内に参加することさえもあってよい。
2人以上のユーザが、同一の対象物を閲覧する間、検出および表示装置1300の自分自身の具体例を装着することもある。装置1300の具体例が複数存在する場合、検出および表示装置1300の各具体例は、一実装では、第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002内において検出および表示装置1300の1以上の具体例とデータ(例えば現象信号)を共有しつつ、空間撮像機能(動作)を実行するよう構成され得る。
検出および表示装置1300は、第1の拡張介在現実空間1000を介して、および/または第2の拡張介在現実空間1002を介して、拡張介在現実環境(例えば各町会剤現実、介在現実経験)を提供するよう構成され得る。なお係る拡張介在現実環境は、自由空間内で、1以上の仮想的オブジェクトと、および/または例えば平坦表面など(例えばテーブル、カウンタ上面、レンジ上面、床、地面、および/またはその他)の有形(物理的)オブジェクトと、相互作用する外肢(手、指、腕、脚、足、その他)をユーザが動かすことにより制御され得る。
一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002は画像(例えば3次元画像など)をユーザに提供するよう構成され得る。第1の拡張介在現実空間1000および第2の拡張介在現実空間1002は、いくつかの実装では、サイボーグ空間および/または介在現実環境と呼ばれ得る。第1の拡張介在現実空間1000および第2の拡張介在現実空間1002は、処理装置908により変更(例えば減退、拡張介在、および/またはその他)され得る現実のアクセス(例えば閲覧)を提供するよう構成され得る。処理装置908は、一実装では、ユーザ(1人および/または複数人)に対する現実の感知を増強するよう構成され得る。一実装では、処理装置908は、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002に、リアルタイムにおよび意味論的なコンテキストで、環境要素(例えば競技中のスポーツイベントのスポーツ・スコアなど)を提供および/または支援するよう構成される。例えばコンピュータ・ビジョン装置および/またはオブジェクト認識装置を追加および/または使用することにより、ユーザ(1人以上)の周囲の現実世界に関する情報は、インタラクティブとなり、検出および表示装置1300の処理装置908によりデジタル的に操作され得る。一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002に関するメタ(例えば、人工的、仮想的、使い的、拡張介在的、および/またはその他の)情報が、第1の拡張介在現実空間1000に関連付けられた(例えば、第1の拡張介在現実空間1000内に配置された)物理的要素上にオーバーレイされ得る。例えば第1の拡張介在現実空間1000は、ユーザ(例えば2人以上のユーザ)によりアクセス可能となるよう構成され得、第2の拡張介在現実空間1002は1人のみのユーザにより、または第2の拡張介在現実空間1002の具体例のユーザにより所望される任意人数のユーザにより、アクセス可能となるよう構成され得る。第1の拡張介在現実空間1000および第2の拡張介在現実空間1002の追加的な例については、以下で図面と組み合わせて説明する。一選択肢によれば、第1の拡張介在現実空間1000は、第1の拡張介在現実空間1000内に配置された物理的オブジェクト上にグラフィカル情報を表示するよう構成されたデジタル・プロジェクタ(エフェクタ・アセンブリの一例である)を使用することにより現実世界のオブジェクトおよび情景を強化するよう構成された空間拡張介在現実環境を含む。空間拡張介在現実環境は、ユーザ・グループに対するアクセスを提供し得、それにより、空間拡張介在現実環境のユーザ間の、配置された収集(collocated collection)および/または共同作業が可能となり得る。
センサ信号904は、少なくとも部分的に1以上の感覚現象(例えば、視覚現象、聴覚現象、接触現象、および/またはその他の現象)を受け取ることに応答してセンサおよび/またはセンサ・アセンブリにより生成および/または提供される。センサ・アセンブリは、少なくとも部分的に感覚現象(感覚刺激とも呼ばれる)を受け取ることに対して敏感となるよう構成される。センサ・アセンブリは、(例えば1以上の感覚現象に関連付けられた)物理な質および/または量を検出し、物理的な質および/または量をセンサ信号904へと変換および/または顕在化するよう構成される。センサ信号904は電子装置(例えば図1Aの処理装置908など)により読み取り可能となるよう構成される。センサ信号904は例えば、電気信号、光信号、または任意の好適な媒体内で具体化される任意種類の信号であってよい。センサ・アセンブリの例としては温度計または熱電対が挙げられる。別例ではセンサ・アセンブリは接触ベースのセンサを含み得る。センサ・アセンブリの他の例が以下で図1E(および他の図面)と組み合わせて指定される。
エフェクタ信号906はエフェクタおよび/またはエフェクタ・アセンブリにより提供(または伝達)される信号である。エフェクタ・アセンブリは、入力(例えば入力信号、感覚現象)を受け取ることに応じてオブジェクト(例えば画像など)において所望の(事前決定された)変化を生成するよう構成される。エフェクタ・アセンブリの一例として光学的投影システムが挙げられる。オブジェクトは、光学的オブジェクト、画像オブジェクト、ビデオ・オブジェクト、および/またはその他のオブジェクトを含み、可視光に基づく画像を含み得る。一実装では、エフェクタ・アセンブリは、作動および/または制御するよう構成されたアクチュエータを含み得る。一実装では、アクチュエータは、制御システムが環境に対して作用する機構である。エフェクタ・アセンブリのさらなる例について、以下で図1E(および他の図面)と組み合わせて指定される。
図1Bを参照すると、一選択肢では、検出および表示装置1300は、第1の感覚現象エフェクタ912および第2の感覚現象エフェクタ914を含むよう構成される。なおこれらの感覚現象エフェクタは、いくつかの例では、空間撮像装置と呼ばれる場合もある。第1の感覚現象エフェクタ912および第2の感覚現象エフェクタ914の例としては、画像カメラもしくはビデオ・カメラおよび/もしくはプロジェクタ、ホログラフィック撮像装置、3次元撮像装置、レーザ撮像装置、LiDAR装置、飛行時間型撮像装置、RaDAR装置、SoNAR装置、深度カメラ、深度センサ、可視光ベースの装置、赤外線ベースの装置、マイクロ波ベースの装置、音響ベースの装置、ホログラフィ装置、立体視装置、(任意の形態の)3次元撮像装置、深度検知装置、視覚ベースの装置、3D特徴抽出装置(shape−from−X device)、および/またはその他の装置が挙げられるが、これらに限定されない。LiDARは光検出と測距(Light Detection And Ranging)を意味する。RaDARは無線探知および測距(Radio Detection And Ranging)を意味する。SoNARは超音波探信(Sound Navigation And Ranging)を意味する。
一実装では、インターフェース・アセンブリ902は、処理装置908(例えばコンピュータなど)と、例えばプリンタまたは人間オペレータ(ユーザ)などの任意の他のエンティティと、の間の相互作用および/または通信の点を提供する。
処理装置908は、1以上の入力(例えばデータおよび/または情報)の受容および/または読み出しを行い、受容された確定された入力に基づいて1以上の出力の生成(例えば提供、書き込み)を行うよう構成される。処理装置908は、確定された入力および確定された出力をデータ、事実、情報、および/またはその他として解釈するよう構成される。例えば処理装置908は、データを他のフォーマットに変換するよう構成された変換モジュールと、供給されたデータがクリーンであるかどうか、正確であるかどうか、有用であるかどうかを確認するよう構成された検証モジュールと、項目を何らかの順序に、および/または異なるセットに、配列するよう構成されたソーティング・モジュールと、詳細データをその主要ポイントへと還元するよう構成された要約モジュールと、複数のデータを組み合わせるよう構成された集積モジュールと、データおよび/または情報の収集、組織化、分析、解釈、および提示を行うよう構成された分析モジュールと、および詳細もしくは要約データまたは算出された情報の表示およびリスト化を行うよう構成された報告モジュールと、の組み合わせを含み得る(が、これらに限定されない)。図1Aおよび/または図1Bの処理装置908を実装するにあたり利用され得る処理装置908の・アセンブリおよび/または構成要素は多数存在する。
図1Aを参照すると処理装置908は例えば、中央処理装置、処理ユニット、マイクロプロセッサ、マイクロコンピュータ、アレイ・プロセッサ、および/またはベクトル・プロセッサ(およびこれらの任意の等価物)を含み得る。処理装置908は、算術演算、論理演算、および/または入力/出力操作を実行することにより、コンピュータ・プログラムの命令を実行するコンピュータ内のハードウェア回路を含み得る。処理装置908は1つまたは処理ユニットの複数の具体例を含み得る(この場合はマルチプロセシングと呼ばれる)。アレイ・プロセッサおよび/またはベクトル・プロセッサは複数の並行計算要素を含み、そのうちの1つの処理ユニットがセンターと考えられる。分散計算モジュールでは、演算は分散型相互接続プロセッサの集合により実行される。一実装では、処理装置908は処理装置908により動作または実行される任意の命令と置き換わる専用回路の集合を含み得、係る専用回路は、プログラマブル・ロジック・アレイ(PLA:programmable logic array)(および組み合わされた論理回路を実装するよう構成された任意の等価物)を含み得る。PLAは、1セットのプログラム可能なANDゲート面を有し、このANDゲート面は1組のプログラム可能なORゲート面にリンクし、次にこのORゲート面は条件的に補完され、それにより出力が生成される。
処理装置908は非一時的機械可読ストレージ媒体909(以後メモリ・アセンブリ909と呼ばれる)を含み得る。メモリ・アセンブリ909はデータおよび実行可能プログラム(プログラム命令)を処理装置908による読み取りが可能となるフォーマットで格納するよう構成される。メモリ・アセンブリ909の例としては、コンピュータ可読および/またはコンピュータ書き込み可能な媒体、磁気ディスク、磁気カード、磁気テープ、および磁気ドラムなどの磁気媒体、パンチ・カードおよび紙テープ、光ディスク、バーコード、磁気インクキャラクタ、および/またはその他が挙げられ得る。機械可読技術の例としては、磁気記録、処理波形、バーコード、および/またはその他が挙げられる。一実装では、光学式文字認識(OCR:optical character recognition)は、処理装置908が情報(例えば人間により読み取り可能な情報など)を読み取ることを可能にするために使用され得る。任意形態のエネルギーにより取得可能な任意の情報は機械可読であってよい。
一実装では、処理装置908は、電子ネットワーク接続911にインターフェース接続するよう構成され得る。インターネット接続(またはアクセス)などの電子ネットワーク接続911(またはネットワーク・アクセス)は、処理装置908の具体例(例えばコンピュータ端末、コンピュータ、モバイル装置、セル電話、コンピュータネットワーク、および/またはその他など)を1以上の電子ネットワークに接続し、それによりユーザがネットワーク・サービス(例えば電子メール、ワールド・ワイド・ウェブ、その他)にアクセスすることが可能となるよう、構成され得る。いくつかの実装では処理装置908は、遠隔処理装置または分散型処理装置として実装され得、全体的にまたは部分的に、1以上のワイヤレス通信ネットワークおよび/または有線通信ネットワークを介して装置1300の1以上の具体例に通信可能に連結され得る。
いくつかの実装では処理装置908は、ユーザ入力・アセンブリ(例えばマウス装置、キーボード装置、カメラ、タッチ感知性ディスプレイ・スクリーン、マイクロフォン、網膜リーダー、加速度計、環境光センサ、GPS、アンテナ、および/またはその他など)を含むよう構成され得る。処理装置908はさらに、ユーザ出力・アセンブリ(例えばコンピュータ端末、テレビ・スクリーン、もしくは他のビデオ・ディスプレイ・インターフェース、プロジェクタ、タッチ感知性スクリーン、および/またはその他など)を含むよう構成され得る。
メモリ・アセンブリ909は有形的に処理用プログラム907(以後、プログラム907と呼ばれる)を具体化するよう構成され得る。プログラム907は、特定の動作(読み取り、書き込み、処理などのタスク)を実施(実行)するよう処理装置908に命じるプログラム命令のシーケンスを含む。処理装置908は例えばプロセッサ・アセンブリを使用することなどによりプログラム907を実行する。プログラム907は、処理装置908がプログラム907により提供されるプログラム命令を実行するために使用し得る実行可能な形態を有する。プログラム907は、人間が詠むことが可能なソースコードの形態で使用され得る。なお係るソースコードから実行可能プログラムが導き出され(例えばコンパイルされ)、それによりプログラム命令はプログラム907内で使用されるかまたは含まれることとなる。プログラム907は、プログラム命令および/または関連データの集合体であり、ソフトウェア(コード)と呼ばれ得る。プログラム907は、例えば画像処理動作(例えばWileyおよびIEEE Press2001を通して、John Wiley and Sonsにより出版されたS.Mannの著作による「Intelligent Image Processing」をタイトルとするウェアラブル・コンピューティング・テキストブックに記載される種類の動作)を実行するよう処理装置908に命じる。
メモリ・アセンブリ909は、有形的にユーザ・インターフェース800を顕在化するよう構成され得る。なおユーザ・インターフェース800の例は図8Aに図示される。ユーザ・インターフェース800は、一実装では、検出および表示装置1300のユーザに(例えば第2の拡張介在現実空間1002を介して)表示または提供され得る。第2の拡張介在現実空間1002のユーザが、第2の拡張介在現実空間1002の具体例(単数および/または複数)を他のユーザと共有するように検出および表示装置1300の構成を設定することを望む場合、検出および表示装置1300の構成は、ユーザがユーザ・インターフェース800に対するアクセスを(例えば他のユーザに対して)許可することを可能にし得る。ユーザ・インターフェース800は、一実装では、図1Aの処理装置908により使用される図1Aのプログラム907がユーザの活動にどのように応答するかの方法と組み合わされた制御要素(例えばグラフィック制御要素および/またはテキスト制御要素)のレイアウトを含む。一実装では、ユーザ・インターフェース800は、検出および表示装置1300のユーザと、検出および表示装置1300自体と、の間の相互作用を支援する構成要素である。ユーザ・インターフェース800は、いくつかの実装では、ユーザの側における処理装置908の効果的な動作および制御のために使用され得、処理装置908からのフィードバックは、動作上の決定(例えばどのように処理装置908を動作するかに関する決定)をなすことにおいて処理装置908のユーザを支援し得る。ユーザ・インターフェース800はハードウェア・コンポーネント(物理的コンポーネント)および/またはソフトウェア・コンポーネント(論理コンポーネントまたは仮想的コンポーネント)を含み得る。ユーザ・インターフェース800は、一実装では、処理装置908の制御または操作をユーザが行うことを可能にするよう構成されたユーザ入力(例えばフィールド)と、ユーザ入力を介して行われたユーザ操作の効果を処理装置908がユーザに対して表示および/または指示することが可能となるよう構成された出力(例えばフィールド)と、を提供するよう構成される。ユーザ・インターフェース800と、いくつかの実装では、グラフィカル・ユーザ・インターフェースおよび/またはヒューマン・マシン・インターフェースとも呼ばれ得る。ユーザ・インターフェース800に対する他の用語は、ヒューマン・コンピュータ・インターフェース(HCI:human−computer interface)およびマン・マシン・インターフェース(MMI:man−machine interface)を含む。ユーザ・インターフェース800は、検出および表示装置1300を介してのユーザによる閲覧のために表示され得る。一実装では、ユーザ・インターフェース800は第2の感覚現象エフェクタ914(例えば図1Bに示すよう)を介してユーザに提示され得る。ユーザ・インターフェース800は1以上のフィールドをユーザに対して提供または表示するよう構成され得る。一実装では、フィールドは、例えばユーザ名などの特定項目の情報に対して割り当てられた空間である。フィールドはフィールドに関連付けられた特定の属性を有するよう構成され得る。例えば数値を示すフィールドもあり、テキストを示すフィールドもある。いくつかの実装では各フィールドは名称(フィールド名と呼ばれる)を有し得る。一実装では、フィールドの集合体はレコードと呼ばれ得る。ユーザは、インターフェース接続された回路または要素を介してユーザ・インターフェース800により提供されるフィールドと相互作用し得る。
一選択肢によれば、検出および表示装置1300は、インターフェース・アセンブリ902、処理装置908、およびメモリ・アセンブリ909の組み合わせを含み得る(が、これに限定されない)。インターフェース・アセンブリ902は、一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002にインターフェース接続するよう構成され得る。インターフェース・アセンブリ902は、一実装では、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002と関連付けられたセンサ信号904およびエフェクタ信号906を伝達するよう構成され得る。処理装置908が、一実装では、インターフェース・アセンブリ902に動作可能に連結されるよう構成され得る。処理装置908は、インターフェース・アセンブリ902により伝達されるセンサ信号904およびエフェクタ信号906を処理するようさらに構成され得る。 メモリ・アセンブリ909は、一実装では、センサ信号904および/またはエフェクタ信号906に対して操作を実行することを処理装置908に命じるよう構成されたプログラム命令のシーケンスを含む処理用プログラム907を有形的に具体化するよう構成され得る。
図1AAは、図1Aの検出および表示装置1300に関連付けられた方法1100の一例に関する概略図を示す。
方法1100は、図1Aのプログラム907に含まれるプログラム命令として実装され得、方法1100は、プログラム907を介して処理装置908により実行される実行可能動作(プログラム命令)の例を含む。
方法1100は動作1102を含む(が、これに限定されない)。なお動作1102は、第1の拡張介在現実空間1000から受け取った感覚現象を表現するセンサ信号904のインターフェース接続された具体例を受け取る(読み取る)こと、および第2の拡張介在現実空間1002から受け取った感覚現象を表現するセンサ信号904のインターフェース接続された具体例を受け取る(読み取る)ことを含む。センサ信号904のインターフェース接続された具体例は、例えばインターフェース・アセンブリ902から処理装置908により受け取られる。動作制御は動作1104に移行される。
方法1100は、動作1104をさらに含む(がこれに限定されない)。なお動作1104は、感覚現象を表現するエフェクタ信号906のインターフェース接続された具体例を第1の拡張介在現実空間1000に提供すること(例えば伝送、書き込み)、およびエフェクタ信号906のインターフェース接続された具体例を第2の拡張介在現実空間1002に提供すること(例えば伝送、書き込み)を含む。エフェクタ信号906のインターフェース接続された具体例は処理装置908によりインターフェース・アセンブリ902に提供される。動作制御は動作1106に移行される。
方法1100は動作1106をさらに含む(が、これに限定されない)。なお動作1106は(インターフェース・アセンブリ902から受け取った)センサ信号904を処理することを含み、(インターフェース・アセンブリ902から受け取った)エフェクタ信号906を処理することをさらに含む。ブロックセンサ信号の処理は、センサ信号データの変更、強化、補足、補完、増強、減退化、不明瞭化、遮断、および/またはその他を含み得る(がこれらに限定されない)。動作制御は処理装置908に関連付けられた他の動作に移行される。
いくつかの実装では方法1100は、処理装置908により実行される追加的な動作を含み得る。プログラム907に対するプログラム命令は方法1100から導き出される。
例えば方法1100は動作1108をさらに含む(がこれに限定されない)。なお動作1108は、第1の拡張介在現実空間1000と第2の拡張介在現実空間1002との間でセンサ信号904を転送(例えば、スイッチング、ミキシング、および/またはその他)することを含む。動作制御は動作1110に移行される。例えばスイッチングが、異なる確度および/または精度の2つのセンサの間で、異なる環境に配置されたセンサの間で、異なる時間における所与のセンサの間で(例えばセンサ・レコードに格納された測定値に基づいて)、異なる感覚現象および/または補完的な感覚現象(例えば、色彩および強度、ピッチおよび体積、熱的および可視的、および/またはその他)に感度を有するセンサの間で、異なるユーザにおよび/または装置1300の具体例に関連付けられたセンサの間で、および/またはその他の間で、行われ得る。
例えば方法1100は動作1110をさらに含む(が、これに限定されない)。なお動作1110は、第1の拡張介在現実空間1000と第2の拡張介在現実空間1002との間でエフェクタ信号を転送(例えば、スイッチング、ミキシング、および/またはその他)することを含む。動作制御は処理装置908の他の動作に移行される。例えばスイッチングが、異なる場所における2つのエフェクタの間で、異なるおよび/または補完的な出力、製品、および/またはその他(例えば可視光対赤外線光、照明対音響)を有する2つのエフェクタの間で、異なるユーザもしくは異なる装置1300の具体例と関連付けられた2つのエフェクタの間で、および/またはその他の2つのエフェクタの間で、行われ得る。
処理装置908の追加的な動作が、例えば第1の拡張介在現実空間1000に関与するユーザの人数に応じて、および/またはいずれのユーザが、第2の拡張介在現実空間1002の当該ユーザの具体例を、図1Aの第1の拡張介在現実空間1000の選択された他のユーザと共有するかに応じて、および図面と関連して説明された動作に関連して、(プログラム命令の)多数の組み合わせおよび/または順列に対して提供され得ることが理解されるであろう。
図1AAに図示される方法1100の動作順序が必ずしも逐次的に実行される必要がなく、方法1100のおよび/または図1Aのプログラム907の、任意の実行順序がプログラムされたコンピュータ命令を介して使用され得ることが理解されるであろう。いくつかの実装では、前述の動作のうちの全部または任意の部分集合、および/またはその他が、所与の実施形態、実装、および/または用途に応じて、並行的に、部分的に逐次的に、連続的に、および/またはこれらの任意の組み合わせで、実行され得る。
図1AAは一実施形態におけるデータフローチャートも示し、このデータフローチャートは、センサ信号904を第1の拡張介在現実空間1000と第2の拡張介在現実空間1002との間で転送(例えばスイッチ、ミックス、および/またはその他)するよう構成された処理装置908を示す。処理装置908は、エフェクタ信号を第1の拡張介在現実空間1000と第2の拡張介在現実空間1002との間で経路設計(例えばスイッチ、ミックス、および/またはその他)するよう構成される。加えて処理装置908は、第1の拡張介在現実空間1000から受け取った(例えば図1Bに示す第1の感覚現象センサ910を介して)センサ信号904を、第2の拡張介在現実空間1002に(例えば図1Bに示す第2の感覚現象エフェクタ914を介して)転送するよう構成され得る。一選択肢によれば、処理装置908は、第2の拡張介在現実空間1002から(例えば図1Bに示される第2の感覚現象センサ916を介して)受け取ったセンサ信号904を、第1の拡張介在現実空間1000に(例えば図1Bに示される第1の感覚現象エフェクタ912を介して)転送するよう構成される。センサ信号および/またはエフェクタ信号を転送するための他の選択肢も可能であることが理解されるであろう。
図1AAは、いくつかの実施形態において図面に示される検出および表示装置1300とともに使用される様々なプログラム(例えばプログラム命令)、データ・テーブル、および/または、その他も示す。これらのプログラムは、接触検出器400、射影変換侵入検出器401、合流性センサ402、ビデオ軌道安定化プログラム403、コンパラメトリック合成器404、スーパーポジメトリック合成器405、コンパラメトリック分析プログラム406、スーパーポジメトリック分析器407、スーパーポジメトリック空間撮像プログラム408、コンパラメトリック合成器409、空間撮像マルチプレクサ410、時分割マルチプレクサ411、共同作業的ジェスチャ・ベース・インターフェース412、ジェスチャ追跡検出器413、ニューラル・ネットワーク414、最適オプティマイザ415、傾斜降下器416、正規化器417、オーバーフロー・ペナライザ418、人間ジェスチャ認識プログラム419、バブル・メタファー生成器420、球形体積侵入評価器421、体積侵入検出器422、バブル破裂プログラム423、学習ソフトウェア424、および/またはその他を含むが、これらに限定されない。これらのプログラムは図1Aおよび/または図1Bのメモリ・アセンブリ909内に格納され、図1Aおよび/または図1Bの処理装置908により実行される。これらのプログラムについては以下でより詳細に説明する。
図1Bは検出および表示装置1300の概略的な例を図示する。
図1Bに図示される例によれば検出および表示装置1300は、第1の拡張介在現実空間1000から受け取った感覚現象から導き出されたセンサ信号904を伝送するよう構成された感覚現象センサ(910、916)を含む(が、これらに限定されない)。感覚現象センサ(910、916)は、一実装では、第2の拡張介在現実空間1002から受け取った感覚現象から導き出されたセンサ信号904を伝送するようにも構成され得る。
検出および表示装置1300は、感覚現象に関連付けられたエフェクタ信号906を第1の拡張介在現実空間1000に伝送するよう構成された感覚現象エフェクタ(912、914)をさらに含む。感覚現象エフェクタ(912、914)は、一実装では、感覚現象に関連付けられたエフェクタ信号906を第2の拡張介在現実空間1002に伝送するようにも構成され得る。例えば一実装では、感覚現象エフェクタ(912、914)は、ホログラフィック・ビデオ・ディスプレイ、立体的ビデオ・ディスプレイ、および/またはその他のうちのいずれか1つを表示するよう構成され得る。感覚現象エフェクタ(912、914)は一実装では、構造光または飛行時間型のカメラなどの3次元カメラを含み得る。
一実装では、検出および表示装置1300は、第1の拡張介在現実空間1000から例えば感覚現象センサ(910、916)を介して受け取った感覚現象を表現するセンサ信号904、および第2の拡張介在現実空間1002から受け取った感覚現象を表現するセンサ信号904も、インターフェース接続(例えば伝達、受信)するよう構成されたインターフェース・アセンブリ902も含む。インターフェース・アセンブリ902は、感覚現象を表現するエフェクタ信号906を、感覚現象エフェクタ(912、914)を介して、第1の拡張介在現実空間1000へと、および第2の拡張介在現実空間1002へと、インターフェース接続(例えば伝達、伝送)するようにも構成され得る。
一実装では、検出および表示装置1300はインターフェース・アセンブリ902に動作可能に連結された処理装置908も含み得る。一実装では、処理装置908は、インターフェース・アセンブリ902にインターフェース接続された(関連付けられた)センサ信号904と、インターフェース・アセンブリ902にインターフェース接続された(関連付けられた)エフェクタ信号906と、を処理するよう構成される。
例えば様々な実装ではセンサ信号904は、音響感覚現象、視覚感覚現象、接触知感覚現象、および/またはその他のうちの1以上から導き出され得る。様々な実装ではエフェクタ信号906は、音響感覚現象、視覚感覚現象、接触知感覚現象、および/またはその他のうちの1以上から導き出され得る。
一選択肢によれば、感覚現象センサ(910、916)および感覚現象エフェクタ(912、914)は第1の感覚現象センサ910および第1の感覚現象エフェクタ912をさらに含み得る。第1の感覚現象センサ910は、第1の拡張介在現実空間1000に起因する感覚現象から導き出されたセンサ信号904を伝送するよう構成される。第1の感覚現象エフェクタ912は、感覚現象に関連付けられたエフェクタ信号906を第1の拡張介在現実空間1000に伝送するよう構成される。
一選択肢によれば、感覚現象センサ(910、916)および感覚現象エフェクタ(912、914)は第2の感覚現象エフェクタ914および第2の感覚現象センサ916を含み得る。第2の感覚現象エフェクタ914は、感覚現象を有するエフェクタ信号906を第2の拡張介在現実空間1002に伝達するよう構成される。第2の感覚現象センサ916は、第2の拡張介在現実空間1002に起因する感覚現象から導き出されたセンサ信号904を伝送するよう構成される。第2の感覚現象センサ916の例としては、ユーザの眼の瞳孔を追跡するよう構成された視標追跡装置が挙げられる。一実装では、視標追跡はユーザの頭部に対して注視点(ユーザが見つめる地点)または眼の運動を測定するプロセスである。視標追跡器は眼の位置および眼の運動を測定するよう構成される。眼の運動は、サーチ・コイルを使用してまたは電気眼球図を使用して眼の位置が抽出されるビデオ画像を使用するなどの様々な方法で測定され得る。
ユーザが検出および表示装置1300を装着する場合に関して、第1の感覚現象センサ910および/または第1の感覚現象エフェクタ912は、一実装では、(例えば第1の拡張介在現実空間1000において)ユーザの視野域の方向に対向し(向けられ)得る。ユーザの視野域は、例えば、眼前方閲覧方向における視野であってよい。例えばユーザの視野域は、ユーザの指がユーザの視野域の外部に配置されていない限り、ユーザが自分の指の位置を閲覧し得る方向を含み得る。ユーザが仮想的キーボード上でタイピングしている場合、ユーザの指は、たとえユーザが他方を見ていたとしても、第1の感覚現象エフェクタ912により追跡され得る。一実装では、第2の感覚現象エフェクタ914および第2の感覚現象センサ916は、ユーザの眼の方向(第2の拡張介在現実空間1002)に対向し(例えば向けられ)得る。いくつかの実装では第1の感覚現象センサ910、第1の感覚現象エフェクタ912、第2の感覚現象センサ916、および/または第2の感覚現象エフェクタ914のうちの1以上はユーザの視野域に対向する以外の方向に向けられ得る。例えば聴覚現象に関係付けられたセンサおよび/もしくはエフェクタ、および/または音響を検知しおよび/もしくは音響を環境および/もしくは装置1300の1人以上のユーザの耳に挿入するためのセンサは、「音響域」の方向(例えば、ユーザの片方または両方の耳に向けられた方向)に向けられ、ユーザの片方または両方の耳から離間する方向に向けられ、全方位的であり、直接音響的および/または水中音響的に装置1300に連結され(例えば頭蓋骨にタッチする、および/またはユーザが水中にいる場合は水に対してインピーダンスが整合する)、および/またはその他であってよい。別例ではセンサおよび/またはエフェクタは、環境の周辺部分、後方部分(例えばユーザの後方)、ブラインド・スポット、および/またはその他に係合するよう構成され得る。
一例ではインターフェース・アセンブリ902は、(A)第1の感覚現象センサ910にインターフェース接続するよう構成された第1のインターフェース・モジュール903と、(B)第1の感覚現象エフェクタ912にインターフェース接続するよう構成された第2のインターフェース・モジュール905と、(C)第2の感覚現象エフェクタ914にインターフェース接続するよう構成された第3のインターフェース・モジュールと、(D)第2の感覚現象センサ916にインターフェース接続するよう構成された第4のインターフェース・モジュールと、を含む。インターフェース・アセンブリ902用の他のインターフェース・モジュールは、任意個数のセンサおよび/またはエフェクタを収容するにあたっての必要および/または所望に応じて、追加または除去され得る。
図1Cは一実施形態における検出および表示装置1300の概略的な例を示す。
図1Cに示すように検出および表示装置1300は、一実施形態では、インターフェース・アセンブリ902および処理装置908の組み合わせを含む。第1の感覚現象センサ910、第1の感覚現象エフェクタ912、第2の感覚現象エフェクタ914、および第2の感覚現象センサ916は、ユーザによりまたは検出および表示装置1300の製造者によりインターフェース・アセンブリ902と一体化される別個の要素として提供される。分散制御の選択肢において、処理装置908は、第1の感覚現象センサ910、第1の感覚現象エフェクタ912、第2の感覚現象エフェクタ914、および第2の感覚現象センサ916の設定および動作を制御するよう構成される。一選択肢において、処理装置908は、第1の感覚現象センサ910、第1の感覚現象エフェクタ912、第2の感覚現象エフェクタ914、および第2の感覚現象センサ916のうちの2つ以上に対して専用の、および/または係る2つ以上間で分散されるプロセッサ・ユニットの具体例を含み得る。一実装では、処理装置908が監督制御器として動作するよう構成され得、その一方で、センサおよびエフェクタのそれぞれに搭載された専用プロセッサが(例えば図1Bに示すように)センサまたはエフェクタの動作を管理するよう構成され得る。
図1Dは検出および表示装置1300の概略的な例を図示する。
図1Dに示すように検出および表示装置1300は、一実施形態では、インターフェース・アセンブリ902、処理装置908、第1の感覚現象センサ910、第1の感覚現象エフェクタ912、第2の感覚現象エフェクタ914、および第2の感覚現象センサ916の組み合わせを含み得る。なおここでは、これらの構成要素の全部が単一ユニットとして、組み合わされおよび/または統合化され、単一ユニットとしてユーザに対して提供される。
一実装では、拡張スロットまたは拡張スペース(およびこれらの任意の等価物)が、表示装置1300に対してセンサおよび/またはエフェクタを追加的に設置することが可能となるよう、提供され得る。一実装では、1以上のセンサおよび/またはエフェクタは、表示装置1300に対して外部に配置され得、および/または(例えば1つもしくは複数の有線もしくはワイヤレスの通信ネットワークを介して)表示装置1300にインターフェース接続され得る。
図1A、図1B、図1C、および図1Dを参照すると、一選択肢では、(図13および図14にも図示される)検出および表示装置1300は、空間対象物および/または3次元的空間対象物をスキャンするよう構成される。好適なセンサ・アセンブリおよび/またはエフェクタ・アセンブリにより、検出および表示装置1300は、図面との関連で指定された対象物の画像を、例えば対象物のコンピュータ生成されたバージョン、コンピュータ増強されたバージョン、コンピュータ介在されたバージョン、および/またはその他(好適なセンサ・アセンブリおよび/またはエフェクタ・アセンブリにより)として、ユーザに提供および/または表示することも行うよう構成され得る。
一選択肢によれば、検出および表示装置1300は、ユーザが検出および表示装置1300を装着することを支援するよう構成されたユーザ装着可能なインターフェースを含み得る。例えば一実装では、検出および表示装置1300はユーザ装着可能(例えばユーザの頭部に装着される)となるよう構成される。検出および表示装置1300をユーザにインターフェース接続するための他の選択肢が適用され得ることが理解されるであろう。例えばユーザがヘルメット(例えばホッケー、フットボール、および/またはその他の)を装着し、そのヘルメットに検出および表示装置1300が搭載されてもよい。このようにしてスポーツ・チームのメンバーは検出および表示装置1300を、例えばスポーツ競技の準備の際のトレーニング・ツールとして、チームに含まれるべきメンバー候補を評価および選択するために実際のゲーム・プレイに統合化されたパーツとして、および/またはその他の目的に、使用し得る。
一選択肢によれば、検出および表示装置1300は、ユーザの眼の前方に装着されるよう構成される。検出および表示装置1300は例えば、ユーザの頭部に装着され得る。検出および表示装置1300は、第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002からユーザの眼に対して利用可能なシーンを記録する(例えばカメラを介して)よう構成され得る。検出および表示装置1300は、ユーザの眼に対して利用可能な本来のシーン上にコンピュータ生成された画像を表示および/またはスーパーインポーズするよう構成され得る。
一選択肢によれば、検出および表示装置1300は装着者の一方または両方の眼に適用される(例えば両眼が検出および表示装置1300を通して見る)よう構成され得る。一実装では、検出および表示装置1300の別個の具体例がユーザの眼のそれぞれに適用されるよう構成され得る。検出および表示装置1300は、検出および表示装置1300の装着者の一方または両方の目により閲覧されるよう構成され得る。一実装では、検出および表示装置1300は、2眼閲覧(例えば同一または同様のセンサおよび/または異なるおよび/もしくは相補的なセンサを用いて単一の空間を閲覧する2眼からの閲覧、それぞれが異なる空間を閲覧する2眼からの閲覧、および/またはその他)を装置1300内の単眼ディスプレイに提供するよう構成され得る。追加的な閲覧もいくつかの実装において単眼ディスプレイに提供され得る。
一選択肢では、検出および表示装置1300は、装着者のいずれかの一方または両方の目を通るアクセスを提供するよう構成され得、係るアクセスは見るために使用され得る。一実装では、検出および表示装置1300は、エクストラミッシブ空間撮像デジタル眼鏡、エクストラミッシブ・スペースグラス(登録商標)システム、空間撮像眼鏡、デジタル眼鏡、コンピュータ眼鏡、アイトラップ、コンピュータ・ビジョン・システム、視力補助具、ビジョン補助具、および/またはその他とも呼ばれ得る。いくつかの例では検出および表示装置1300はデジタル眼鏡(DEG:digital eye glass)と呼ばれ得るが、デジタル眼鏡に対するいかなる呼称も例を単にデジタル眼鏡に限定するものではなく、例は検出および表示装置1300に適用されることを理解すべきである。エクストラミッシブ空間撮像デジタル眼鏡は、光(例えば可視光など)を、ユーザまたは第1の拡張介在現実空間1000および第2の拡張介在現実空間1002のユーザから受け取ること、および係るユーザに伝送することを行うよう構成される。
一選択肢によれば、検出および表示装置1300は、(A)ユーザに対して(例えばモニタおよび/またはディスプレイ装置として動作するために)第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002内に画像を表示することと、(B)(例えばカメラとして動作するために)第1の拡張介在現実空間1000内および/または第2の拡張介在現実空間1002内に環境の画像を取り入れることと、(C)ユーザに対して第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002内に表示された画像を処理(例えば強化、分析、変更、および/またはその他)することと、を行うよう構成される。画像を強化することは、一実装では、検出および表示装置においてコンピュータ生成された情報(例えばデータおよび/または画像)を通常の世界の画像(例えば図1Bの第1の拡張介在現実空間1000内の現物のシーン)の上にオーバーレイすることを含む。検出および表示装置1300はユーザが第1の拡張介在現実空間1000および/または第2の拡張介在現実空間1002内で感知した現実を強化および介在するよう構成される。
いくつかの実装では、ユーザ入力は、検出および表示装置1300に対する(例えばユーザによる)自己ジェスチャによる。検出および表示装置1300は、3次元コンピュータ・ビジョン・システムなどのコンピュータ・ビジョン・システムを含み得る。このコンピュータ・ビジョン・システムは、物理的オブジェクト(例えば、デスクトップまたは同様の表面)に関連付けられた接触フィードバックの有無に関わらず作動し得る。一実装では、検出および表示装置1300は、補助センサ(例えば3次元接触性音響ジェスチャまたは振動ジェスチャおよび/または音響多モード・ジェスチャ入力装置など)も含み得る。係る補助センサにおいて表面またはオブジェクトを、ヒットすること、打つこと、擦ること、またはタッチすることは、3次元コンピュータ・ビジョン・システムにより認識される。
一実装では、図1Aのプログラム907は、空間撮像動作を行うよう処理装置908に指示するよう構成され得、および/または検出および表示装置1300は、補助命令により空間撮像動作を実行するよう構成され得る。空間撮像動作は、一実装では、対象物のホログラフィック表示(例えば、対象物(例えば人々)の3次元投影などによるリアルタイム・ビデオまたはリアルタイム・ビデオ・チャットおよび/またはディスカッション)を含み得る。本明細書で使用される「空間撮像」という用語は、様々な実装では、任意の画像スキャン装置(3次元カメラ、3次元センサ、深度カメラ、深度センサ、空間撮像技術を使用するよう構成された任意の装置(ホログラフィック撮像装置、3次元撮像装置、レーザ撮像装置、LiDAR(光検出と測距)装置、飛行時間型撮像装置、RaDAR(無線探知および測距)装置、SoNAR(超音波探信)装置、深度カメラ装置、深度センサ装置、可視光ベースの装置、赤外線ベースの装置、マイクロ波ベースの装置、音響ベースの装置、および/またはその他)を含むが、これらに限定されない)を含み得る。
一選択肢によれば、検出および表示装置1300は、小型化が可能となるよう構成されてもよく、既存または新規の眼鏡フレームに一体化されてもよい。
一選択肢によれば、検出および表示装置1300は、音響センサ(マイクロフォンおよび/またはイヤフォン)などの他のセンサおよび/またはその他のセンサを含み得る。検出および表示装置1300の様々な態様では、マイクロフォンは、音圧、音圧の変化、任意の媒体(固体、液体、または気体)における流れ、もしくは流れにおける変化、および/またはこれらの任意の等価物を検知または判定するよう構成された・アセンブリを含む。
一実装では、検出および表示装置1300は、パーソナル・コンピュータ(例えばデスクトップコ・ンピュータ、ラップトップ・コンピュータ、セル電話、スマートフォン、カメラ電話、タブレット・コンピュータ、および/またはその他)とともに使用され得、および/または、これらと一体化され得る。
図1Eは一実施形態における検出および表示装置1300の概略的な例を示す。
さらに詳細には図1Eは、装着者の一方または両方の眼がそれを通して対象物を見る、検出および表示装置1300の例を図示する。検出および表示装置1300は、図1Aの第1の拡張介在現実空間1000内で他者(例えば他のユーザ)に対して可視および/または不可視であってよいエクストラミッシブ・ビジョンも提供し得る。図1Eの例において示される第1の拡張介在現実空間1000は、チェス・ゲームのプレイにおいて使用される種類の仮想的ゲームボードを含む。図1E、図2A、図3、および図4は、図1Bに関連付けられた感覚現象センサ(910、916)および感覚現象エフェクタ(912、914)の例を図示する。図1E〜図1G、図2A、図3、図4が、検出および表示装置1300上で同一位置を共有し得るエフェクタ・アセンブリおよびセンサ・アセンブリの具体例を図示することと、この構成が例示および簡略化を目的とするものであることと、が理解されるであろう。
検出および表示装置1300が単に表示装置と、またはさらに簡略的に単に装置と、呼ばれ得ることが理解されるであろう。一般に装置1300は、画像を(ユーザ(1人以上)に対して)表示するよう構成され得、ディスプレイ・アセンブリにインターフェース接続するよう構成され得、検知するよう構成され得、および/または検知装置にインターフェース接続するよう構成され得る。
一選択肢によれば、検出および表示装置1300は、例えば、可視光受信器191および/または可視光送信器192を含む。なお可視光受信器191は第1の感覚現象センサ910(図1B)の、および/または第2の感覚現象センサ916(図1B)の、例であり、可視光送信器192は、第1の感覚現象エフェクタ912(図1B)の、または第2の感覚現象エフェクタ914(図1B)の、例である。
一選択肢によれば、検出および表示装置1300は、検出および表示装置1300をユーザの頭部に固定的に接続することを支援するよう構成された頭部搭載可能アセンブリ183を含む。一実装では、頭部搭載可能アセンブリ183は、検出および表示装置1300をユーザの頭部に固定するよう構成された、例えばユーザ頭部の後部秒に配置され得る後頭部バンド188を含み得る。一実装では、後頭部バンド188は、ユーザ頭部の後方ゾーンを検知するよう構成されたセンサを含み得る。後頭部バンド188上に配置されたセンサは、例えば、図1Aの第1の拡張介在現実空間1000に関連付けられた他のユーザと共有され得る。
一実装では、検出および表示装置1300は、配向・慣性測定ユニット184、LiDARユニット187、ビジョン・システム193、光センサ100、ディスプレイ・ユニット181、着脱可能シェード110、および/またはその他などの様々な構成要素を含むデジタル眼鏡180を含む。一実装では、着脱可能シェード110は、2インチ×4.25インチ(約51ミリメートル×108ミリメートル)の標準サイズの溶接シェードであってよい。着脱可能シェードは、ディスプレイ・ユニット181が、明るい太陽光において可視となることを可能にし(例えばANSIシェード番号5〜7を使用して)、または明るいが曇った日に可視となることを可能にし(例えばANSIシェード番号2〜4を使用して)、またはHDR(ハイダイナミックレンジ)撮像を使用して電気アークを見ながら溶接のために検出および表示装置1300を使用することを可能にし(例えばより暗いシェードを使用して)得る。
一選択肢によれば、デジタル眼鏡180は単一ガラスを含むよう構成され、溶接作業者用ヘルメットにおける構成と同様にこの単一ガラスを通して両眼が見ることが可能である。1つの変化例によれば、別個の表示または介在ゾーンがそれぞれの眼に対して、1つの眼鏡内で、それぞれの眼に対する別個の眼鏡内で、または1つの眼に対して1つのモノクル眼鏡内で、提供され得る。
一実装では、デジタル眼鏡180は、視力補助具、ビジョン補助具、および/またはその他として機能するよう構成され得、ハイダイナミックレンジ(HDR)ビジョンを提供するよう構成され得る。なおHDRビジョンでは装着者は例えば、電気アークを眺めつつも完全な暗闇の中で物が見え、暗い小径で明るい自動車ヘッドライトを眺めつつも自動車ナンバープレート上の番号および運転者の顔を鮮明に見ることが可能である。
一選択肢では、着脱可能シェード110はエレクトロクロミックであり、光センサ100により、および/またはLiDARユニット187により、および/またはビジョン・システム193により、および/またはこれらの任意の順列および組み合わせにより、制御可能となるよう構成される。この場合、デジタル眼鏡180は、例えば、屋内から屋外への移動、太陽、雲、電気アーク溶接、明るい光、その他などの、起こり得る広範囲のビジョン条件に適応するよう、およびレーザポインタまたは他の光源などからの故意的な投光攻撃からの保護を提供する(係る攻撃に対しては、デジタル眼鏡180が眼の保護をユーザに対して提供し得る)よう、構成される。
一選択肢によれば、光センサ100は、デジタル眼鏡180の着脱可能シェード110の周縁部周りに配置されるか、または着脱可能シェード110に直接的に一体化される。光センサ100は、加えて、着脱可能シェード110の上方にも配置され得る。着脱可能シェード110が取り外されると、この状態はシェード0とみなされ得る(例えば着脱可能シェード110の設定がシェード0となる)。
一選択肢によれば、センサは着脱可能シェード110の上方に配置される。一選択肢によれば、センサは赤外線送信器186および/または赤外線受信器185を含む。一実装では、赤外線受信器195がデジタル眼鏡190に装備される。赤外線受信器185は、いくつかの実装では、赤外線検出器と呼ばれ得る。赤外線送信器186および赤外線受信器185は、一実装では、赤外線LiDARもしくは他の3次元赤外線カメラ・システム、および/またはその他などの範囲検知用ビジョン・システム(range−sensing vision system)として協働するよう構成され得る。
一選択肢によれば、可視光受信器191が提供され、可視光受信器191は、一実装では、(例えばカラーを有する写真画像を提供するための)可視光カメラとして構成され得、一実装では、赤外線送信器186および赤外線受信器185により形成された範囲マップまたは範囲画像と組み合わされ得る。
一選択肢によれば、可視光送信器192が提供され、可視光送信器192は、デジタル眼鏡180の装着車に可視である対象物(例えば広告、スポンサーのお知らせ、カウンタ、時間/日付表示器、または投影170などの他の指標などの可視的内容を有する表面130(例えばテーブルトップ))を照明するために可視光スペクトルで動作するよう構成される。一実装では、係る投影は、デジタル眼鏡180の具体例を装着しない任意のユーザ(人)の裸眼198に対しても可視であってよい。
一実装では、検出および表示装置1300において使用されるセンサおよびエフェクタは、ユーザの目の周りに(例えばユーザの頭部上に)配置された周辺フレーム(周辺フレームはフレーム・アセンブリの例である)に固定的に取り付けおよび/または装着され得る。デジタル眼鏡180は、空間画像を(2つの眼に対して)提供する。この空間画像は、いくつかの実装では、水平視差のみの画像および/または立体的画像を有し得る。これは、例えば、ユーザの両眼がそれを通して見る単一眼鏡において、または別個の眼鏡において、2つの別個の具体例またはディスプレイ・ユニット181のステレオの具体例を使用して、なされ得る。1988年の陸軍調査から得られた瞳孔間距離(IPD)値は、男性に対しては64.7ミリメートル(mm)の平均、女性に対しては62.3ミリメートルの平均を示す。これらの2つに対して(例えば男性および女性に対して)平均を計算するならば、64.7+62.3=127.0ミリメートルの合計を2で除算して127/2=63.5ミリメートルの結果が得られ、この値は2.5インチに等しい。したがってディスプレイ・ユニット181の具体例は、例えば、眼点において約2.5インチ離間して配置され得る。いくつかの実装ではディスプレイ・ユニット181の具体例は、所与のユーザのIPDの以前の、並列的な、および/またはリアルタイムの測定値などに基づいて調節可能および/または動的に配置され得る。例えば一実装では、ユーザの顔に向けられたセンサがユーザに対するIPDを検出および/または測定し、それぞれの眼に対するディスプレイ・ユニット181間の距離が、その検出および/または測定に基づいて調節され得る。他の実装では各ディスプレイ・ユニット181のアクティブ表示エリアは、例えば特定的なユーザIPDに基づいて表示エリアの適切な領域に表示内容を提示するために、測定されたユーザIPDに基づいて調節され得る。
一選択肢によれば、検出および表示装置1300は、2眼表示、単眼表示、および/またはその他の表示を提供するよう構成されたデジタル眼鏡180を含み得る。2眼閲覧の場合、右眼アイ・ポイント199Aおよび左眼アイ・ポイント199B(すなわち右アイタップ点および左アイタップ点)が提供される。
一実装では、真の(または真に近い)3次元画像をキャプチャする能力は、検出および表示装置1300に対して合成効果を作成するよう構成されたライトスペース・コリニアライザを作成するために使用され得る。例えば眼の方向に向けられた光線が撮像システムを通して進路変更され、処理され、本来の光線に対して実質的に同一直線状となるよう再描画され得る。ライトスペース・コリニアライザ(いくつかの実装では、合成コリニアライザと呼ばれる)は、真のまたは真に近い3次元モデルをキャプチャし、あたかもカメラのレンズの中心(絞り、結節点、光学中心、および/またはその他)がユーザの眼球のレンズの中心となる状態で、3次元モデルが実際に装着者の視野内に配置されたものであるかのようにカメラにより生成される画像を計算することと、を行うよう構成される。
一実装では、3次元カメラは、空間撮像装置の効果を合成するために使用および/または構成され得、ライトスペース分析眼鏡は装着者の目の上方に配置されたライトスペース分析眼鏡を含み得る。例えば検出および表示装置1300のバイザの全体がライトスペース分析眼鏡として構成され得る。一実装では、3次元カメラは、検出および表示装置1300を通過する光の全光線のライトスペース画像、ライトフィールド画像、複眼画像、ホログラフィック画像、および/またはその他が画像を生成するよう構成され得る。図1Aの処理装置908は(例えば仮想的な)ライトスペース分析眼鏡の出力に応答するよう構成され得、処理装置908は、ライトスペース合成眼鏡に対する光線を計算するよう構成され得る。係る実装では3次元カメラ、プロセッサ、およびディスプレイの組み合わせがライトスペース・コリニアライザを具体化し得る。
ビジョン・システムの実装における真の3次元の性質により、デジタル眼鏡180およびデジタル眼鏡190のそれぞれは、共有されるゲーム用テーブル(例えば実際の、または想像上の、または仮想的なチェスボード、またはテーブル表面130)などのパブリック対象物140の真の3次元画像をキャプチャし、テーブル130のこの実際のビュー表示またはコンピュータにより変更されたビュー表示、またはこれらの任意の組み合わせを、あたかもその画像がカメラ(ただしカメラ自体、カメラのレンズ、カメラのフィルム、カメラのCCD、および/またはその他が右眼のレンズの正確な中心かまたは略中心に配置されている)によりキャプチャされたものであるかのように描画する他に、他のビュー表示を、あたかもその画像が検出および表示装置1300の装着者の左眼のレンズの正確な中心かまたは略中心に配置されたカメラによりキャプチャされたものであるかのように描画するよう構成され得る。なおCCDは電荷結合素子(charge−coupled device)を意味する。
一実装では、デジタル眼鏡180(第1のユーザ用)およびデジタル眼鏡190(第2のユーザ用)のそれぞれは、それぞれビジョン・システムとデジタル眼鏡190から受け取った情報とを併せて使用して、それぞれビジョン・システムのみを使用する場合よりもはるかに詳細な、真の、および/または正確な現実の3次元モデルを構築し得る。この意味において一実装では、数人の異なる参加者は、コンピュータにより介在された現実を共有し得る。このコンピュータにより介在された現実内では、真の(物理的な)世界(第1の拡張介在現実空間1000)は、比較的高い詳細、精度、および/もしくは正確度でキャプチャされ、および/または、追加的および/または相補的な遠近感、方向、ビュー表示、および/またはその他に関連付けられたデータを含む。
一選択肢によれば、検出および表示装置1300は、多重化方式で動作するよう構成され得、および/または多重化を実行するよう構成され得る。例えばデジタル眼鏡180およびデジタル眼鏡190は、例えば時分割多重化などにより協働し、それにより、第1の拡張介在現実空間1000内に配置された対象を検知および/または理解するために交代的にシーンを照明するよう、構成され得る。多重化は、例えば、符号分割多重化(例えば異なる拡散シーケンス、または拡散スペクトラム、または拡散空間化パターンを使用する)により、および/または共同作業的検知により、実行され得る。協調的検知の場合、デジタル眼鏡180およびデジタル眼鏡190は、一緒に動作してパブリック対象物140および表面130を照明および検知するよう構成される。例えば赤外線送信器186がシーン(第1の拡張介在現実空間1000)を赤外線光で照明する間、赤外線受信器185および赤外線受信器195の両方が、シーン(第1の拡張介在現実空間1000)内の物理的対象から反射された反射赤外線光を検知する。デジタル眼鏡180とデジタル眼鏡190との間の交差検知は、第1の拡張介在現実空間1000においてデジタル眼鏡180とデジタル眼鏡190との間のベースラインがより長いために存在する極端な視差により追加的なシーン情報を提供する。一実装では、図1Aのプログラム907(検出および表示装置1300の具体例において使用される)は、検出および表示装置1300の他の具体例とともに多重化動作を実行するよう構成される。
結果として、一実装では、合成開口LiDARまたは同等物が、別個の小視差眼鏡間ベースラインおよび大視差眼鏡間ベースラインに数学的に分解され得る解像力を有することとなる。
一選択肢によれば、デジタル眼鏡180はコンピュータ160を含み得る(コンピュータ160は図1Aの処理装置908の一例である)。コンピュータ160はデジタル眼鏡180に内蔵(一体化)されてもよく、またはデジタル眼鏡180とは別個であってもよく、および/または、例えば、ユーザのシャツ・ポケットなどの内にフィットするよう構成されてもよい。一選択肢によれば、コンピュータ160は、ネットワーク接続150(例えばワイヤレス接続、WLAN(ワイヤレス・ローカルエリアネットワーク)、WiFi(登録商標)ネットワーク、PSA(パーソナルエリアネットワーク)、Bluetooth(登録商標)ネットワーク、セルラ接続、CDMA(符号分割多元接続)、HSPA(高速パケットアクセス)、HSDPA(高速ダウンリンクパケットアクセス)、GSM(グローバル・システム・フォー・モバイル・コミュニケーションズ)(登録商標)および/または同等物)を含む。デジタル眼鏡180と接続されたコンピュータ160が使用されるいくつかの実装に対して、コンピュータ160はジオフォン182と一体化され得る。
一選択肢によれば、デジタル眼鏡180は内蔵型である。一選択肢によれば、デジタル眼鏡180はコンピュータ160に接続され、デジタル眼鏡180は、例えば収納などのために、装着者のシャツ・ポケット内に配置され得る。デジタル眼鏡180が接続されたいくつかの実装に対して、配線は、通常の眼鏡用安全ストラップの外観を有する布製のパイプ、布製の管、および/または同等物の内部に秘匿され得る。例えば眼鏡用安全ストラップは、眼鏡紐の応力が解放されるようにユーザの衣服の箇所に固定的にクリップ留めされるよう構成されたクリップ189を含み得る。例えばクリップ189は、装着者の衣服を把持しそれにより例えば何らかの形態の応力リリーフを提供するための「ワニ口クリップ」、「ダブルクリップ」、バネクリップ、およびヘッドセット、ペンダント式小形マイクロフォン、ならびに同等物に対して使用される種類のばね仕掛け式クランプであってよい。
いくつかの状況ではコンピュータ160(コンピュータ160は図1Aの処理装置908の一例である)は、ユーザが着座姿勢にあるとき、オフィスまたは家庭空間の床またはテーブル上に配置され得る。いくつかの係る実装に対してコンピュータ160は、ジオフォン182を含むセンサ・インターフェース・ユニット120(例えばテーブルトップ・ユニット)内に収納され得、このようにしてセンサ・インターフェース・ユニット120は受振能力が有効化される。センサ・インターフェース・ユニット120は、コンピュータ160に提供されるべきセンサ入力をインターフェース接続するよう構成されたセンサ・インターフェース・アセンブリを含む。一実装では、センサ・インターフェース・ユニット120は、例えばチェス駒がテーブルを横切ってスライドされた(またはテーブルにタッチされた)とき、人がテーブルを軽く指で叩いたとき、および/または同様の状況のときなどに、ジオフォンを使用してテーブル表面における音響振動を聴くよう構成される。
ジオフォンという用語は、様々な実装では、任意種類の圧力トランスデューサ、圧力センサ、速度センサ、流量センサ、および/または例えば固形物における圧力、速度、運動、圧縮、粗密化、および/もしくは同等物の変化を電気信号に変換する同等物を指す。ジオフォンは圧力差センサ、テーブルトップなどの固体表面上の絶対圧力センサ、歪みゲージ、収縮センサ、および同等物を含む。したがってジオフォンは、ガラス板もしくはセラミック板、ステンレス鋼、ダイヤフラム、または同等物のそれぞれの側部上に1つずつ、単一の聴音ポートまたは二重ポートを有し得、圧力スイッチなどの圧力における個別の変化のみに応答する圧力センサも含み得、係る圧力センサは、1ビット・ジオフォンとみなされ得る。さらにジオフォンという用語は、圧力または圧力差における変化のみに応答する装置、すなわち静圧の伝達はできない装置、を指すためにも使用され得る。一実装では、ジオフォンという用語は、その周波数範囲が人間に可聴な範囲内であるか、または可聴下周波(一実装では、毎秒0サイクルまでの範囲も含む)であるかどうか、または超音波であるかどうかに関わらず、あらゆる周波数範囲における圧力または圧力変化を検知する圧力センサを説明するために使用される。さらにジオフォンという用語は、いくつかの実装では、例えば固形物内の振動または圧力または圧力変化を検知するよう構成された任意種類の接触型マイクロフォンまたは同様のトランスデューサを説明するために使用され得る。したがってジオフォンという用語は、可聴周波数範囲において動作する接触型マイクロフォン、ならびに可聴周波数ばかりではなく任意の周波数範囲で動作する他の圧力センサを指すために使用され得る。ジオフォンは、例えば、テーブルトップにおける音響振動、ひっかき音、下方に押圧する圧力、テーブル上の重力を(例えばDCすなわち直流オフセットを介して)、および小信号振動を(例えばACすなわち交流信号を介して)、検知するよう構成され得る。いくつかの実装では「ナチュラル・ユーザ・インターフェース」という用語は、現実世界の対象物などの物理的媒体を使用し、メタファーの間接を排除する、この形態の相互作用または他の同様の形態の相互作用を指すために使用され得る。一選択肢によれば、デジタル眼鏡180は、特にセンサ・インターフェース・ユニット120の支援によりナチュラル・ユーザ・インターフェースを具体化する。
加えて、一実装では、LiDARユニット187およびLiDARユニット197は、3次元オブジェクトの位置および同等物を検知するよう構成されたものであり、ジオフォン182および他のセンサにより多モード感覚接触フィードバックを提供するために、コンピュータ160ならびにセンサ・インターフェース・ユニット120にデータを提供する。
一選択肢によれば、センサ・インターフェース・ユニット120内のジオフォン182は、伝達および受容を行うよう構成され、ユーザの指によるクリック、タッチ、または接触などの振動接触エネルギーをテーブルトップに伝達し、それをユーザが感じることができるよう、テーブルトップに固定的に取り付けられ得る。代替的に一実装では、力および/または振動接触エネルギーは、例えば劇的な効果のために、半破壊的に使用され得る。
例えば(図1Eに示すように)「拡張介在チェス」のゲームでは、ジオフォン182は、一方のプレイヤーがゲームに勝ったとき、テーブルを揺さぶってチェス駒を倒し、それにより眼鏡非装着参加者(例えば検出および表示装置1300を使用しないユーザ)の裸眼198に対してさえも可視となる劇的な視覚的効果が生み出されるよう、構成され得る。
さらに複数人の参加者が、センサ・インターフェース・ユニット120およびコンピュータ160のそれぞれの具体例を、テーブルトップなどの表面130上に置いた場合、ジオフォン182およびジオフォン194の複数の具体例が、センサ・インターフェース・ユニット120およびコンピュータ160のそれぞれの具体例に存在し、それによりジオフォンのアレイが形成されることとなり得る。センサ・インターフェース・ユニット120および慣性コンピュータ160のそれぞれの具体例内の慣性測定ユニット184、加速度計、および/または同等物、および/または他の追加的なセンサは、一実装では、センサ・インターフェース・ユニット120およびコンピュータ160の相対的位置を計算するために使用され、このようにして、表面130の音響的および/または他の物理的動揺の定位し得るセンサの位相アレイが形成されることとなる。
デジタル眼鏡180およびデジタル眼鏡190のそれぞれは、いくつかの実装では、可視光などの光を検知および/または放出するよう構成される。完全双方向の具体例の実装ではデジタル眼鏡180DEGは、両方向において光を検知および放出するよう構成され、それにより、例えば眼自体に対して、前向きエクストラミッシブ・アクティブ・ビジョンおよび内向きエクストラミッシブ・アクティブ・ビジョンが提供される。これは、アイ・トラッキング(例えば検知として)および表示(効果)ならびに図1Aの第1の拡張介在現実空間1000の環境の空間撮像(例えば検知として)および環境に対する投影(例えば効果)を含み得る。この意味においてデジタル眼鏡180は光を眼に送ること、および光を眼から受け取ることを行う他に、デジタル眼鏡180は光を(例えばユーザの目の)視野内の対象物に送ること、および光を係る対象物から受け取ることも行う。
一選択肢によれば、デジタル眼鏡180は、ユーザの周辺の環境を検知すること、および/またはユーザを検知すること、を行うよう構成される。空間撮像センサ・アセンブリ(例えばLiDARユニット187など)は、一実装では、例えばユーザの腕、手、指、および/または同等物の空間座標、位置、配向、および/または同等物を判定するための深度マップ1308(図13の一例に示す)を提供するよう構成され得る。空間撮像センサ・アセンブリは、例えばユーザが地面を見下ろす場合のために、ユーザの脚、足、および/または同等物の空間座標、位置、配向、および/または同等物を判定するための深度マップを提供することも行うよう構成され得る。一実装では、2種類のスキャン可能な対象物は例えば、自分自身以外の対象物(例えば室内の他の対象物など)と自分自身と、などとして分離され得る。この2つの遭遇したとき係る遭遇は検出および/または追跡され、この状況はいくつかの実装では「物理的接触」または「接触」とも呼ばれ得る。
一選択肢によれば、図1Aの処理装置908は、一実装では、接触検出器を含み得る。接触検出器は、接触(例えば人体と他のオブジェクトとの間の、2つのオブジェクトの間の、および/または同様の物理的接触)を検出し、それにおうじ手応答するよう構成される。接触検出器は例えば、接触の発生を検出するよう構成されたプログラム命令を含む。一選択肢によれば、接触検出器は、接触音をピックアップまたは別様に検出するよう構成されたジオフォン182を含み、ビジョン・システム(検出および表示装置1300)は、表面(例えばテーブルトップなど)を3次元スキャンし、手、指、および/または同等物が表面にタッチしたときを判定すること、およびこれらが表面に接触したかどうかを判定すること、により、接触の発生を観察するよう構成される。一実装では、このことは点群を介して、例えば群作用(1)により顕在化されるような、手または指の点群が平面の射影変換に侵入するとき、達成され得る。式{1}は、図1Aの処理装置908により、一実装では、図1AAの一例に示すような、接触検出器400により接触の発生を検出するために、使用され得る。
Figure 2019149202
空間内同一の平坦表面の任意の2つの画像は射影変換により関連付けられる(ピンホールカメラのモデルを仮定する)。これは、多数の実際的な応用(例えば2つの画像間での画像修正、画像レジストレーション、カメラ・モーション(回転および平行移動)の計算、および/または同等物など)を可能にする。カメラの回転および平行移動が推定される射影変換行列から抽出されると、この情報は、例えばナビゲーションなどのために、3次元オブジェクトが正しい遠近感で描画され元のシーンの一部であったように見えるよう、3次元オブジェクトを画像またはビデオおよび/または同等物に挿入するために使用され得る。
一実装では、[A]は、2×2線形演算子であり、[b]は2×1変換であり、[c]は2×1チャープ(射影)であり、[d]はスカラー定数であり、[x]は2×1空間座標であり、[X]=[x1,x2]である(ただしTは転置を示す)。
一実装では、統計的有意性テストが、接触検出器により検出された射影変換的侵入の度合いに対して行われ得る。射影変換的侵入の度合いの測定を行うよう構成された装置は、いくつかの実装では、射影変換侵入評価器または射影変換的侵入評価器と呼ばれ得る。係る評価器に対して閾値が設定され、係る評価器が他の動作に対するトリガ、および/または同等物として使用される一実装では、この装置は、射影変換侵入検出器と呼ばれ得る。一実装では、検出および評価に関する理論(例えばネイマン・ピアソン理論など)が、図1AAの射影変換侵入検出器401に適用され得る。
視覚入力、聴覚入力(例えばジオフォン182による)、および/または他の感覚入力が用いられる場合において、合流性センサ402(図1AAに図示される)がこれらの2つのモードの検知を融合させるために使用され得る。
合流性センサは、一実装では、図1EEの例に示されるように視覚侵害センサおよび/または音響侵害センサの組み合わせから構築され得る。一実装では、係るセンサは、侵害性(侵入性、押出性、またはその両方)、接触、および/または同等物を評価するよう構成されたニューラル・ネットワークを使用し得る。
一実装では、デジタル眼鏡180は、例えば頭部搭載可能アセンブリ183(いくつかの実装ではヘッド・ストラップと呼ばれる)などを用いて、フレームにより(ユーザの)頭部上で支持され得る。一実装では、頭部搭載可能アセンブリ183は、頭部搭載可能アセンブリ183の一部(例えば半分)が後頭葉の下方に、位置合わせ、配置、および/または同様に位置決めされ、残余部分(例えば残余の半分)が後頭葉の上方に、位置合わせ、配置、および/または同様に位置決めされ、それによりデジタル眼鏡180が、体操、ヨーガ、および/または水泳(普通ならば、水流によりデジタル眼鏡180がユーザの顔面から押し流されてしまい得る)などの激しい身体的活動の間にもユーザの頭部に留まるよう、分割され得る。例えば、デジタル眼鏡180のシールされた水密的な具体例の前面平坦表面は、水面上および/または水面下で動作するよう構成され得る。
開示される装置、方法、およびシステムの態様は、空間(平面/射影変換、球形オブジェクト、または同等物)に対する侵入を検出し得る視覚的侵入検出器を、より一般的には、侵害評価器を、含み得る。なおこの侵害評価器は、侵害(侵入もしくは押出、または同時にその両方)の度合いを評価することが可能であり、何らかの閾値により、またはその他(例えば、ジェスチャ検知、評価、検出、およびジェスチャ分類)により、実質的に(または直接的に)侵害を検出することが可能である。
いくつかの実装では侵害センサは、合流性(例えば多モード侵害検知の合流性の結果)にも基づき得る。例としては、電磁放射(第1のモード)および音響放射(第2のモード)により検知する侵害センサが挙げられる。
図1EEは、一実施形態における信号処理システムを図示する。この信号処理システムは、光センサ装置または光センサ・エフェクタ(照明)装置から、ならびに、音響センサ装置または音響センサ・エフェクタ(例えばソナー)装置から、入力を受け取る。
図1EEは、視覚侵害入力1EE20および音響侵害入力1EE10を含む合流性センサを図示する。一実装では、2種類の侵害が存在し、これらの2種類とは、侵入(例えば、窃盗犯または「侵入者」が構内に入るときに観察される)と、押出(例えばアルミニウムの「I」字形のビームは、アルミニウムを文字「I」の形状に「押出」するときに観察される)と、である。
侵入は、一実装では、1つの物へと、1つの物の上に、または1つの物に抗して「推力」または「押圧」を加えること、または1つの物の近傍に進入することである。進入は、侵入者が構内に進入したとき、2進数のon/offである(例えば「トリガ」する)場合もあり、および/または度合いにより生じる場合もある。例えば、他者の「個人空間」に接近することによって、例えば当該人物にタッチすることさえなく当該人物のパーソナル空間に進入することも、侵入となり得る。
テーブルの表面に対する侵入は、例えば仮想的オブジェクトをテーブルの表面上に寄せることにより(例えば、テーブルに接近させること、テーブル上でホバリングさせること、テーブルにタッチさせること、および/または同様の動作により)発生させることが可能である。テーブルに対して軽く押圧してもよい。またテーブルに抗してより強く押圧してもよい。このように一実装では、侵入の度合いは、テーブルトップに接近させること、から、テーブルトップに軽くタッチさせることまで、軽く押し当てることまで、押し付けることまで、拳でテーブルを強打することにより特に強く押し付けることまで、および/または同等物まで、変動し得る。このように、このシステムは、侵害および接触(例えばタッチすること、軽く叩くこと、擦ること、打ち付けること、および同様の動作などの接触要素)を検知することができる。
また、テーブルから引き抜くことも可能である(押出)。視覚侵害センサ1EE30などの装着可能ビジョン・システムは、テーブルとのタッチ、侵入または押出の度合い、および/または同等物を検知することが可能である。一実装では、タッチ・センサは、複数のモードにより多モード検知を行う(例えば音響侵害センサ1EE25を使用して検知することも行う)よう、構成され得る。
本明細書で使用される音響信号は、DC(毎秒0サイクル)までの全ての音響レベルを含み得る。一実装では、音響侵害センサ1EE25は、テーブルの収縮を検知し得るテーブル内またはテーブル上の歪みゲージ、および/またはテーフル内の「湾曲器」もしくは「湾曲センサ」、および/または、テーブル上の重量または力を検知するテーブルの脚に取り付けられたセンサであってよい。
一実装では、音響侵害センサ1EE25および視覚侵害センサ1EE30は、侵害測定値を、および/または、「ニューロン」による接続とともに、ノード1EE40、ノード1EE50、ノード1EE70、またはその他のノードにより形成されるニューラル・ネットワークの特徴ベクトル、または重み、または要素とみなされ得る多次元侵害信号1EE35を、供給するよう構成される。接続1EE45および接続1EE60または同等物はノードとともに、侵入、タッチ、および押出を認識するよう訓練されたニューラル・ネットワークを形成する。
一実装では、接触信号1EE80は、侵入の度合いを検出および/または提供する。この度合いは、単一の浮動小数点数、侵入の実体を十分にキャプチャする特徴ベクトル、および/または同等物として構成され得る。
一実装では、接触信号1EE85はタッチの度合いをキャプチャし、タッチに関する情報(例えばタッチの大きさなど)を伝える。一実装では、接触信号1EE85は、実際の物理的オブジェクト(例えばテーブルトップもしくは同等物など)または仮想的オブジェクト(例えば1人以上の人々が一緒に経験することが可能な共有される仮想的オブジェクトなど)に対して何本の指がダッチするか、どの指がタッチするか、および/または同等物に関する情報を伝える。
一構成では、接触信号1EE80、接触信号1EE85、および接触信号1EE90はそれぞれ侵入検出器1EE91、タッチ検出器1EE92、および押出検出器1EE93に渡される。検出された信号(それぞれ信号1EE94、信号1EE95、信号1EE96)はジェスチャ・センサ1EE97に供給され、ジェスチャ・センサ1EE97は、接触および/または侵害が検知される実際のオブジェクトまたは仮想的オブジェクトに関して行われたジェスチャを検知する。
ジェスチャ・センサ1EE97は様々な出力信号1EE98(それぞれの出力信号1EE98は特定的なジェスチャを示す)を提供し得る。
侵入検知は様々な(実際のおよび/または仮想的な)オブジェクトに対して行われ得る。例えば侵入は、壁部、テーブル、床、建物外部、および同等物などの平坦および/または略平坦な表面に対して検知され得る。したがってホログラフィ(例えば座標変換の射影群の軌道下での平坦表面上における代数射影幾何)が平面上に画成され、侵入検出がその上で、例えば図2Bの状況において示されるように、実行される。その上での侵入検出は、この平坦表面上で動作巣ルジェスチャに関する情報を提供する。
一実装では、多様体は、ユーザが相互作用することが可能な表面として、ユーザが相互作用することが可能な空間内の「弦」として、および/または同等物として、構成され得る。
したがって図1EEの侵害・接触センサは、トポスカルプティング(登録商標)システム(例えばトポロジカル・スカルプティング)による、装着可能な相互作用および相互作用設計のためのマニフォールダイザ・ベースの相互作用器(「相互作用器」)として構成され得る。
相互作用または相互作用設計のための装置、方法、およびシステムは、いくつかの実施形態では、仮想的トポロジカル空間、トポロジカル・スカルプティング、またはトポスカルプティング(登録商標)システムの創造または編集を含む。なおこの仮想トポロジカル空間は、ユークリッド空間に対して局所的に位相同型であるかまたは略位相同型であり、したがって堅固な平面パッチの射影変換を越え、球体、仮想的バブル、多角形、パイプ、湾曲パイプ、光、点、アイコン、文字、不規則形状、湾曲した線ならびに表面、球状小塊、および同等物などの他のオブジェクトとの相互作用も含む。
(n次元位相多様体は、n次元ユークリッド空間に対して局所的に位相同型である第2の可算ハウスドルフ空間である。)
例えば、3次元(3D)空間内で保持または可視化されるロープ、またはワイヤ、またはケーブルは、1次元ユークリッド空間に対して局所的に位相同型である第2の可算ハウスドルフ空間として表現され得る。(口語的に表現すると、ロープ、またはワイヤ、またはケーブルは「ロープ、またはワイヤ、またはケーブルに画成される曲線に沿った点の小さい近傍では直線のような挙動を示す」)ということになる。一実施形態ではこの点が、AR環境における空間相互作用に対する基礎となる。ARは拡張介在現実を意味する。
本明細書で使用される「多様体」という用語は広く且つ非限定的な意味で使用され、例えば不完全な多様体(例えば、多様体ではないが、「積み重ねられた」多様体の断片部分を交差部分の点(すなわち「非多様体性」の点)を越える箇所に含む「図柄8」の形状)を含み得る。
同様に、折り畳まれた地下鉄地図との相互作用は、それが数学的にはあまり良好な挙動を示さない部分(例えば鋭角的な折り目)を含むかどうかに関わらず、開示される装置、方法、およびシステムの範囲に属する。(実際のまたは仮想的な)コンピュータ・スクリーンとの相互作用も、全体的な位相的構造または非位相的構造のいかんに関わらず、いくつかの実装に含まれる。
多様体相互作用の第2の例として、自閉症を有する女性アリスが地下鉄駅に入り、地図を取り出す。アリスは、地図上のラインにより混乱されられるが、アリスのスペースグラス(空間撮像眼鏡)が、一実装では、地図を「見」て「理解」し、アリスが地図上を見て回ることを補助することが可能な、スペースグラスの「ホログラフィック・ビジョン」を使用することによりアリスを支援する。スペースグラスは、スペースグラス自体が表面(例えば、2次元ユークリッド空間に局所的に位相同型である第2の可算ハウスドルフ空間。すなわちこの表面は、紙面上の1つの点の小さい近傍では平面のような挙動を示す)を見ていることを認識する。
一実施形態ではスペースグラス(登録商標)システムは、それを取り巻く環境内のオブジェクトに向かって光を放出した後、返された光の他にも環境光または自然光も検知する、エクストラミッシブ空間撮像システムにより、このことを達成し得る。スペースグラス(登録商標)システムは、ロックイン・カメラから放出された光に起因する空間化(spatialization)と、他の箇所から返された光(例えば環境光)と、を(ライトスペースを使用して)区別するロックイン・カメラを含み得る。
このようにスペースグラスは、自光源(autolight source)と他光源(allolight source)とを区別するよう構成され得る(なおギリシア語の前置詞“auto”は「自己」を意味し、自光(autolight)とはスペースグラス自体から発せられた光を指し、ギリシア語の前置詞“allo”は自己以外を意味し、すなわち他光(allolight)はスペースグラス以外から発せられた光を指す)。
一実装では、この区別を可能にする装置または機構は「ライトスペーサ」と呼ばれる。ロックイン・カメラはライトスペーサの一実施形態であるが、いくつかの実装では、タイミング回路も含み得る。このタイミング回路はビデオのそれぞれの秒フレーム上で光を短くフラッシュさせ、自発光画像と他発光画像とをライトスペースの理論および実践を使用して別個の光ベルトルおよび/または同等物として比較する。
アリスのスペースグラスは、自分の地図上に示される地下鉄経路のいくつかを認識し始める。地図が折り畳まれており、見た目には「平坦」な部分も、地図のたるみのために、いくぶん湾曲しているが、アリスのスペースグラスは、局所的な2次元部分空間をその中に含む3次元空間の局所的な2次元部分空間を地図が画成することを検知することが可能である。さらに地下鉄経路自体が多様体、すなわち2次元表面内の1次元多様体であり、地図も、地図を取り巻く3次元空間内の多様体である。
アリスが地図にタッチすると、アリスのスペースグラスは図1EEの接触/侵害センサにしたがってタッチ・ジェスチャを認識する。スペースグラス内のコンタクト・センサもしくはタッチ・センサまたはそのプロセッサは、地図の表面とのタッチおよびコンタクトを検知して接触信号を生成する他にも、地下鉄経路の1次元多様体とのコンタクトを検知して他の接触信号を生成する。接触信号1EE80、接触信号1EE85、および接触信号1EE90は協働する。すなわち、図1EEの接触/侵害センサの2つの具体例が存在し、一方の具体例は地図紙面との接触の検知を担当し、他方は地図紙面上に示された地下鉄経路との接触/侵害の検知を担当する。第1のセンサは紙面の2次元多様体との接触/侵害(「接侵害」)を検知する一方で、第2のセンサは紙面上に描かれた地下鉄地図の1次元多様体との接侵害を検知する。
タッチ・センサは、一実装では、タッチ検知の第1のレベル(紙面がタッチされたときのレベル)および第2のレベル(紙面上の経路または曲線または他の多様体がタッチされたとき)の一方または両方を含む。それぞれの場合において、応答は、あたかも紙の表面またはその上の地下鉄経路などの多様体から発せられているかのように描画された拡張介在表示または表示媒体の形態で形成され得る。
拡張介在された意味で地図を読むことに加えて、アリスは、新規地下鉄に対する新しい設計も、設計を操作し、停車場があたかもワイヤ上のビーズであるかのように停車場を1次元多様体に沿って移動させることにより、提案することが可能である。アリスが停車場にタッチすると、停車場は、あたかも地図のページ上に存在するかのように描画された、停車場に関する情報で点灯されるよう構成され得る。次に、例えば「ピンチ」ジェスチャ(例えば、アリスの親指および人差し指が地下鉄停車場または他の地図ポイントに逆方向から接近した後、タッチしたときに検知される)などの特定的なジェスチャを用いて、選択されたオブジェクトまたは関心対象点が、仮想空間内でハイライト表示され、地下鉄経路の部分多様体に沿って前後にスライドさせることが可能である。このことは、一実装では、相互作用設計の1つの形態として、リアルタイムで「プラニフォールダイザ(planifoldizer)」、例えば、多様体をリアルタイムで「編集」または「スカルプト」(「トポスカルプト」)することを可能にする多様体計画システム)と呼ばれ得る。
一実施形態ではプラニフォールダイザは、1枚の紙などの実際の物理的オブジェクトの接触フィードバックと、編集可能な仮想的多様体と、を組み合わせることができる。
一実装では、プラニフォールダイザは、次元的階層を有するよう構成され得る。親指および人差し指を1枚の紙に沿ってスライドさせることは、ページ外の3D空間内で親指および人差し指をスライドさせることとは異なる方法でポイントを選択するジェスチャとして認識される。このように次元的階層は、2D多様体に制限されたジェスチャと、2D(2次元)多様体上にはない3D(3次元)空間内のジェスチャと、を異なるジェスチャとして認識する。さらに他の種類のジェスチャは、1次元(1D)多様体に制限されたジェスチャ(例えば親指および人差し指を地下鉄経路に沿って、親指が一方の側に位置し人差し指が他方の側に位置する状態で両側から移動させて特定の地下鉄停車場に接近させ、次に親指および人差し指を引き合わせることにより、特定の停車場を選択するジェスチャ)である。このジェスチャは、例えば、経路上移動動作を呼び出す一方で、2D紙平面上で経路外でのそのジェスチャをすることは、経路移動動作(停車場のみを移動させるのではなく、経路全体を移動させる動作)を呼び出す。
いくつかの実装ではプラニフォールダイザは、あらゆる地図上での経路計画のために使用することが可能であり、白紙上での経路計画に対してさえ使用可能である。ここで紙は、別様に「エアリー」なユーザ・インターフェースに接触フィードバックのパワーに与えるプラニフォールダイザに対するユーザ・インターフェースとして使用される。係る紙シートは、この状況では、「プラニフォールド」(例えば経路を計画するためのインタラクティブな多様体)と呼ばれ得る。
一実施形態ではマニフォールダイザはインタラクティブな入力装置を合成し、係る入力装置においてユーザは仮想空間内に多様体を生成するよう招待される。例としては、ジェスチャにより制御される弦生成器と、ジェスチャにより制御される表面生成器と、が挙げられる。
いくつかの実施形態ではジェスチャを通してユーザは、多様体を画成するために多様体の接線に沿ったユーザのジェスチャの時間積分に略したがう多様体を創造する。例えば仮想的な弦、ロープ、またはワイヤが、マニフォールダイザがその動きの時間積分を合成する間に空間を通して指を動かすことにより、生成される。この結果は、あたかも電球がその中で動かされたかのような長時間露光写真(累積的な光ベルトル)に似ている。この形態のトポスカルプトは、アバコスカルプティング(登録商標)システムと呼ばれる。「アバコスカルプティング」は、ヘブライ語の「abaq」(ダストを意味する)に由来する。なお「abaq」という語幹からは「計算盤」という語も生み出されている。いくつかの意味においてアバコスカルプティングは、計算盤上での計算、すなわち、仮想的なロープ、弦、ワイヤ、または同等物に沿って、あたかも計算盤上のビーズであるかのようにして、関心対象点を動かすこと、に似ている。アバコグラフィ(登録商標)システムは、ダスティング(登録商標)システムとも呼ばれ得る。なお、オブジェクトを「ダスト」することは、そのオブジェクトのアバコグラフを、またはオブジェクトに関する輪転曲線のアバコグラフを、構築するためのガイドとしてそのオブジェクトを使用することを指す。ダストの1つの方法は、空気中に逆反射粉末を蒔くことまたは投げ、周囲に吹き、その間に、共通の光軸を共有するカメラおよびプロジェクタがこのダストを照射することである。長時間露光ビデオの合計を「ダスト」する一実施形態では、「ダスト」は光の縞を描き、係る縞は隠喩的に計算盤上のワイヤとしてみなされ得る。他の実施形態では、粉末の一部がユーザの手の上に堆積され、手のジェスチャがアバコグラフを生成する。他の実施形態では、コンピュータ・ビジョンのみを使用してプロセッサをシミュレーションするにあたってコンピュータ・ビジョン、アルゴリズムが十分に発達しているため、粉末は要求されない。
他の例では2次元多様体は、ユーザの手または他の身体部分の接線曲面として、3次元仮想空間内または拡張介在空間内に生成される。
係る装置は「入力マニフォールダイザ」と呼ばれ得る。
一実施形態では、多様体は仮想空間または拡張介在空間内に、または拡張介在器、装置、または同等物により、表示され、ユーザは、事前表示された多様体と相互作用することが可能である。
係る装置は「出力マニフォールダイザ」または「多様体化された表示」とも呼ばれ得る。
一実施形態では入力マニフォールダイザは、出力「マニフォールダイザ」を生成するために使用され得る。
例は、指を空間中で動かし、それにより「発光ロープ」またはLED(発光ダイオード)の弦の全般的外観を有する物を生じさせ、空間中で指をさらに動かして係る発光ロープをより長く成長させることにより、1次元多様体表示を生成することを含む。結果的に生成される「発光ロープ」上のマニフォールダイザは3次元空間内で合成された1次元多様体であり、係る1次元多様体は、タッチ・ロープであるかのような挙動を示すという意味で、相互作用的である。
一実装においてオブジェクトは、あたかも弦に通されたビーズであるかのように、1D多様体に沿って合成され得る。これらのオブジェクトは、例えば、地下鉄経路に沿った地下鉄停車場に対応する。この意味において、これらのオブジェクトは、立体角のイギリスの単位(1スパットは4πステラジアンの立体角に等しい)にしたがって「スパット」と呼ばれる。スパットは、1D多様体の経路に沿って選択、創造、または削除され得る。スパットは、一実装では、望まれるとき、実世界のパノラマに対応する。仮想的弦に沿ってスパットをクリックすると、例えば、特定の地下鉄停車場のパノラマ展望が提示される。開示される装置、方法、およびシステムのサブシステム(相互作用器と呼ばれる)は、ジェスチャを検知し、これらの検知されたジェスチャにしたがって応答を合成する。このサブシステムは、1D多様体に沿ってなされたジェスチャと、ページの表面内でなされているが1D多様体に沿ってなされていないジェスチャと、平面外でなされたジェスチャと、を区別することが可能である。したがってページ内からオブジェクトを把持することと、例えば、ページ外からオブジェクトを把持することと(すなわち、ページとの最初の接触点がスパット自体となるようにページ外からスパットに接近することと、ページ内のスパット以外の箇所にタッチした後にスパットに向かってスライドしていくことと)、は異なる結果をもたらす。
様々な実施形態では他のジェスチャが使用されてもよく、または明確化されてもよい。例えば一実装では、1D多様体上であるがスパットから離間して箇所においてページにタッチした場合は、多様体を選択し、引き続き多様体に沿って制限された形でのスライドが可能である。それ以外のページの箇所にタッチした場合、多様体自体のスライド、または多様体へのスライドが可能である。これは、第1のジェスチャと別のジェスチャである。
次の次元において、入力/出力マニフォールダイザは、一実装では、タッチスクリーンであるかのような挙動を示す。したがって、3次元空間において合成された2次元多様体(局所的なユークリッド2次元空間)となる。
開示される装置、方法、およびシステムは、より高い次元に対しても構成され得る(例えば、マニフォールダイザ・ベースの相互作用器として合成されたより高い次元の埋込空間における超立体表示)。
いくつかの実施形態ではマニフォールダイザは、視覚的相互作用設計(例えば仮想的スクリーン相互作用、またはスカルプティング3次元オブジェクト)に対して構成され得るが、開示される装置、方法、およびシステムは視覚的相互作用設計に限定されない。例えば実施形態は、ハミルトン力学および古典ラグランジアン力学の位相空間と相互作用するために、音響ファイル(例えば1次元マニフォールダイズされた波形)などの他の媒体を、またはシンプレティックな多様体またはメタプレティックな多様体などの他の媒体を、操作するために、構成され得る。例は、オブジェクトまたは媒体の一部が位相空間内で操作されるよう、時間周波数平面のメタプレクトモーフィズム(metaplectomorphism)の操作(例えばチープレットおよびチープレット変換)を含む。
一実装では、画像はマニフォールダイザにより、例えば4次元位相空間内で編集され得る。
一実施形態における相互作用設計の1つの形態として、マニフォールダイザは、活動を操作すること、活動を取ること、または活動を編集することを行い、それにより、停留作用の原理に限定されることなく、むしろ空間化された拡張介在現実において活動の管理者的操作を与えるために使用され得る。
このようにしてロケットなどの装置および同等物は、リアルタイム分析、ラグランジアン(またはハミルトニアン)モデル、および同等物を提供および創造するする仮想的環境内で設計および操作され得る。加えて一実装では、パーツは、パーツが操作される間にリアルタイムCFD(計算流体力学)が実行される相互作用環境内でスカルプトされることが可能である。例えば、単に美観のみに基づいて形状を形成するのではなく、空気流の「推定」される流れを監視し、ナビエ−ストークス方程式に対するリアルタイムの解の効果を見ながら、単にロケット表面を成形することができる。
このようにしていくつかの実施形態では、流体流自体が、相互作用の一部を形成し、例えば人が実際の風洞においてパーツを保持し、次にセンサがパーツ上の流体の実際の流れを検知し、実際の流れをシミュレーションに近づけることができる。
図1Fは、図1Eの感覚および表示装置1300の一実施形態を使用する共有オブジェクトとの相互作用の一例を示す。
図1Fはマニフォールダイザの一実施形態を図示し、共有されるマニフォールダイズされた相互作用空間および3次元空間に埋め込まれたマニフォールダイズされた表示の他に、他の多様体(デスクトップ、壁または床などの物理的表面であってよい)に埋め込まれた共有されるマニフォールダイズされた相互作用器およびディスプレイを示す。
図1Fは2つの装着可能な眼鏡装置(デジタル眼鏡)眼鏡180DEGおよび眼鏡181DEGとともに実行されるマニフォールダイザの一実施形態を図示する。眼鏡180DEGおよび眼鏡181DEGはエクストラミッシブ・スペースグラス(例えば空間撮像眼鏡)である。眼鏡180DEGおよび眼鏡181DEGとして示されるDEG(digital eye glass:デジタル眼鏡)は様々な実装において様々な要素(配向および慣性センサ180IMU、LiDARユニット180L、ビジョン・システム180V、光センサ、およびディスプレイ・ユニット180Dを含むが、これらに限定されない)を含み得る。LiDARは光検出と測距(Light Detection And Ranging)を意味する。
図1Fの眼鏡装置すなわちDEGは、視界の改善を支援するための、ビュー表示のコントラストの増大化を支援するための、または装置の秘匿化のための、シェードを含み得る。一実装では、単一のシェードまたは2つの物故のシェード(左右の眼に対して1つずつ)が使用され得る。
図1Fに示すシェードの実装例は2インチ×4.25インチ(約51ミリメートル×108ミリメートル)の標準的サイズの溶接シェードである。これは、ディスプレイ180Dが、明るい陽光の中で可視となる(例えばANSIシェード5〜7を使用して)ことを、明るいが曇った日に可視となる(例えばANSIシェード2〜4を使用して)ことを、またはHDR(ハイダイナミックレンジ)を使用することなどにより、電気アークを見ながらデジタル眼鏡を溶接のために使用する(例えばより暗いシェードを使用して)こと、を可能にする。
眼鏡180DEGは、一実装では、(溶接作業者のヘルメットのように)両眼がそれを通して見る単一の眼鏡を含む。一実装では、眼鏡180DEGはさらに、1つの眼鏡内にそれぞれの眼に対する別個のディスプレイまたは介在ゾーンを、それぞれ眼に対する別個の眼鏡を、またはそれぞれの眼に対する単眼眼鏡を、含み得る。
眼鏡180DEGはフレームにより頭部上で支持され得、例えばヘッド・ストラップ180Hおよび/またはマインドストラップ180Mを含み得る。マインドストラップ180Mは、その半分が後頭葉の下方に達し他方が後頭葉の上方に達し、それにより体操、ヨーガ、または普通ならば装着者の顔面からデジタル眼鏡が水流により「流し去」られてしまい得る水泳なとの激しい身体的活動の間でさえも眼鏡が外れることがないよう、分割され得る。眼鏡180DEGの適切にシールされた具体例の前方平坦表面は、水面上または水面下で動作可能である。
デジタル眼鏡180DEGは、視力補助具、ビジョン補助具、または同等物を含むがこれらの限定されない様々な使用および/または用途に対して用いられ得、HDRビジョンを可能にし得る。なおこのHDRビジョンビジョンでは、装着者は、電気アークを眺めつつも比較的暗闇の中で(または完ナンバープレート上の番号および運転者の顔が鮮明に見える全な暗闇の中でも、例えばハイダイナミックレンジ・ボロメータを使用して)物が見え、または暗い小径で明るい自動車ヘッドライトを眺めながらも自動車ナンバープレート上の番号および運転者の顔を鮮明に見ることが可能である。
一実装では、着脱可能シェード110は、エレクトロクロミックであり、センサもしくはLiDARユニット180Lもしくはビジョン・システム180Vにより、またはこれらの組み合わせにより、制御され得る。このようにして眼鏡180DEGは、屋内から屋外への移動、太陽、曇り、電気アーク溶接、明るい光、その他などの、自然に起こり得る広範囲のビジョン条件に適応することが可能であり、さらには、レーザポインタまたは他の光源からの故意的または悪意的な投光攻撃からの保護さえも提供する(係る投光攻撃に対してはデジタル眼鏡180DEGが保護を提供することが可能である)ことが可能である。
一実装では、センサは、眼鏡180DEGの着脱可能シェード110の周縁部周りに配置されてもよく、および/または着脱可能シェード110に直接的に組み込まれてもよい。センサは、また、または追加的に、着脱可能シェード110の存在の如何に関わらず、着脱可能シェード110の上方に配置されてもよい。着脱可能シェード110が取り外されると、この状態はシェード0とみなされる(例えば着脱可能シェード110の設定がシェード0となる)。
様々な実装では着脱可能シェード110の上方に配置されたセンサは、赤外線送信器180IRTおよび赤外線受信器180IRR(検出器または受信器)の形態を取り得る。一実装では、赤外線送信器180IRTおよび赤外線受信器180IRRは、赤外線LiDARまたは他種類の3D赤外線カメラ・システムなどの測距ビジョン・システムとして協働する。
一実装では、ビジョン・センサは、可視光受信器180VRとして表記される可視光カメラとして形成され得る。これにより、おそらくはフルカラー画像である写真画像が、赤外線送信器180IRTおよび赤外線受信器180IRRにより形成された距離マップまたは距離画像とともに組み合わされることが可能となる。同様に可視光送信器180VTは、デジタル眼鏡を装着しない他者に対してさえも可視となるよう、対象物上への投影を行うために使用され得る。
一実装では、ビジョン・送信器が、表面130(例えばテーブルトップ)などの対象物を、広告、スポンサーのお知らせ、カウンタ、時間/日付、および/または投影などの他の指標などの可視的内容で照明するために、可視光スペクトル内で動作し得る。なおこの可視的内容は、DEGの装着者に対しても、DEGを装着しない人の裸眼198に対しても、可視である。
いくつかの実装では眼鏡180DEGは2つの眼に対して空間画像(例えば横視差のみを有する、立体的である、および/または同様の空間画像)を提供する。このことは、一実装では、ディスプレイ180Dの2つの別個の具体例を使用して、またはステレオ・ディスプレイ180D(両方の眼が単一の眼鏡を通して見るステレオ・ディスプレイ180D、または両方の眼が別個の眼鏡を通して得るステレオ・ディスプレイ180D)を使用して、なされ得る。1988年の陸軍調査から得られた瞳孔間距離(IPD)値は、男性に対しては64.7ミリメートルの平均、女性に対しては62.3ミリメートルの平均を示す。
これら2つ(例えば男性および女性)に対する平均を計算すると、64.7+62.3=127.0ミリメートルの合計が得られ、その値を2で除算すると、127/2=63.5ミリメートルの値が得られる。これは63.5/25.4インチ、すなわち2.5インチである。一実装では、ディスプレイ180Dは、大量生産システムでは眼点において約2.5インチ離間し、いくつかの実装では、エンドユーザによるある程度の調節の余地が提供され得る。
いくつかの実装では、眼鏡180DEGおよび眼鏡181DEGなどの複数のDEG(デジタル眼鏡)が存在し、2眼または単眼の表示能力が提供される。2眼ビュー表示の場合、OD(右眼)アイ・ポイント(point of eye)181POEODおよびOS(左眼)アイ・ポイント181PEOOS(例えば「右アイタップ点」および「左アイタップ点」)が提供される。
真の3D画像をキャプチャするこの能力は、一実装では、合成アイタップ効果を生成するライトスペース・コリニアライザを作製するために使用され得る。特に真のアイタップ・システムでは、眼の方向に向けられた光線は撮像システムを通して進路変更され、処理され、本来の光線に対して同一直線状となるよう再描画される。
合成コリニアライザ(ライトスペース・コリニアライザ)は、一実装では、真の3Dモデルをキャプチャし、あたかもカメラのレンズの中心(絞り、結節点、光学中心、および/または同等物)が眼球のレンズの中心となる状態で、3Dモデルが実際に装着者の目の内部に置かれたものであるかのようにカメラにより生成される画像を計算することにより、作用する。
さらに3Dカメラは、一実装では、装着者の目の上方におかれたライトスペース分析眼鏡を含む空間撮像装置の効果を合成するために使用され得る。例えばスペースグラスのバイザ全体が効果的にライトスペース分析眼鏡となることが可能である。したがってこの3Dカメラは、スペースグラスを通過する光のうちの全光線のライトスペース、ライトフィールド、複眼、および/またはホログラフィックの画像を生成する。したがって1つのプロセッサが、この(仮想的)「ライトスペース分析眼鏡」に対して反応することが可能であり、このプロセッサはさらに、プロセッサの出力に反応する「ライトスペース合成眼鏡」に対する光線を計算することが可能である。
一実装では、3Dカメラ、プロセッサ、およびディスプレイの組み合わせがライトスペース・コリニアライザを生み出す。
眼鏡DEG180および眼鏡DEG181のビジョン・システムの実装における真の3Dの性質により、これらの眼鏡のそれぞれの具体例は、共有されるゲーム用テーブル(例えば実際の、または想像上の、または仮想的なチェスボード、またはテーブル表面130自体)などのパブリック対象物140の真の3D画像をキャプチャし、この真のビュー表示、または係る真のビュー表示のコンピュータにより変更されたビュー表示、またはこれらの任意の組み合わせを、あたかも一方のビュー表示が右眼のレンズの中心に、および/または係る中心の実質的な近傍に、配置されたカメラによりキャプチャされたものであるかのように、および他方のビュー表示がDEG(眼鏡)の装着者の左眼のレンズの中心に、および/または係る中心の実質的な近傍に、配置されたカメラによりキャプチャされたものであるかのように、描画するよう、構成される。
一実装では、眼鏡180DEGおよび眼鏡181DEGのそれぞれは、第5世代メガネ(Generation−5 glass)として機能し得る。さらに眼鏡180DEGは、眼鏡180DEG自体のビジョン・システムと、眼鏡181DEGから受け取った情報とを使用して、眼鏡180DEG単体の場合よりも遥かに詳細な、真の、および正確な現実の3Dモデルを構築し得る。この意味で、数人の異なる参加者はコンピュータにより介在された現実を共有することが可能である。なおこのコンピュータにより介在された現実では、現実世界がより高い詳細度、精度、および確度でキャプチャされたものとなっている。
一実装では、2つのDEGは、例えば時分割多重化(例えば世界を理解するために交代的にシーンを照明する)により、符号分割多重化(例えば異なる拡張シーケンス、拡張スペクトラム、または拡張空間化パターンを使用する)により、共同作業的検知により、および/または同等物により、協働することが可能である。後者の場合、2つ以上のDEGが、パブリック対象物140および表面130を照明および検知するために、協働することが可能である。例えば赤外線送信器180IRTがシーンを照明する間、赤外線受信器180IRRおよび受信器181IRRの両方がシーンを検知する。眼鏡180DEGと眼鏡181DEGとの間の交差検知は、眼鏡180DEGと眼鏡181DEGとの間のベースラインがより長いために存在する極端な視差により、追加的なシーン情報を提供する。
一実装では、結果として、合成開口LiDARまたは同等物が、別個の小視差眼鏡間ベースラインおよび大視差眼鏡間ベースラインに数学的に分解され得る解像力を有することとなる。
一実装では、眼鏡180DEGは、装着可能コンピュータを含むかもしくは備え、または装着可能コンピュータであってもよく、または装着可能コンピュータは、シャツ・ポケット内にフィットするなどの別個のユニットであってもよい。眼鏡180DEGのいくつかの秘匿される実施形態では、装置は、完全に内蔵式であってもよく、または眼鏡180DEGの装着者のシャツのポケット内に配置されるために装着可能コンピュータに接続されてもよい。接続式の場合、配線は、布製のパイプ、または布製の管、または同等物の内部などに秘匿され、クロッキーズ(登録商標)眼鏡安全ストラップの外観を有し得る。一実装では、眼鏡安全ストラップは、眼鏡紐の応力が解放されるよう衣服の箇所にクリップ留めされるテザークリップ180Tを有する。テザークリップ180Tは、標準的な「ワニ口クリップ」、「ダブルクリップ」、および/または、ヘッドセット、ペンダント式小形マイクロフォン、および/もしくは同等物に対して使用されるようなばね仕掛け式クランプであってよい。
いくつかの実装では装着可能コンピュータは、眼鏡180DEGが着座姿勢で使用されるためのものである場合、オフィスまたは家庭空間の床またはテーブル上に配置され得る。この場合、装着可能コンピュータは、ジオフォン180Gを含むセンサ・インターフェース・ユニット120(テーブルトップ・ユニットとも呼ばれる)内に収容され得る。(テーブルトップ・ユニットとして実装された)センサ・インターフェース・ユニット120のジオフォン使用可能な具体例は、装着可能コンピュータの感覚入力を検知し係る感覚入力の処理を支援するセンサがセンサ・インターフェース・ユニット120内の存在する状態で、構成され得る。この場合、センサ・インターフェース・ユニット120は、例えばチェス駒がテーブルを横切ってスライドされたとき、またはテーブルにタッチされたとき、または人がテーブルを軽く指で叩いたときなどに、ジオフォンを使用してテーブル表面における「聴く」よう構成される。
一実装では、3Dオブジェクトの位置および同等物を検知するLiDARユニット180LおよびLiDARユニット181Lは、ジオフォン180Gおよび他のセンサにより多モード感覚接触フィードバックを提供するために、データを装着可能コンピュータおよびセンサ・インターフェース・ユニット120に提供する。
一実装では、センサ・インターフェース・ユニット120内のジオフォン180Gは、テーブルトップにボルト付けされ、それにより大量の振動接触エネルギーをテーブルに伝達し、その振動接触エネルギーがユーザの指により「クリック」、タッチ、または接触として感じられ得る、Clarke Synthesis製のユニットなどの、伝達・受容用ジオフォンであってよい。
代替的に、この力および/または振動接触エネルギーは、例えば劇的な効果のために、半破壊的に使用され得る。
例えば「拡張介在チェス」のゲームでは、一方のプレイヤーがゲームに勝ったとき、ジオフォン180Gがテーブルを揺さぶって真のチェス駒を倒し、それにより眼鏡非装着参加者の裸眼198に対してさえも可視となる劇的な視覚的効果が生み出される。
さらに複数人の参加者がそれぞれのインターフェース・ユニットをテーブルトップなどの表面130上に置いた場合、ジオフォン180Gおよびジオフォン181Gの複数の具体例がこれらのそれぞれのユニットに存在し、それによりジオフォンのアレイが形成されることとなる。一実装では、これらのユニットのそれぞれにおける追加的なIMU(慣性測定ユニット)および/または他の追加的なセンサは、これらのユニットの相対的位置を計算し、それにより表面130における音響的または他の動揺を定位することが可能なセンサの位相アレイを形成するために使用され得る。
人間の視野ならびにカメラに関して、光線は、反射、屈折、回折、および/または同等物により、その光源(例えば、電球もしくは他の光源、または係る光源から照明された対象物)からその目的地点までたどる。光のこの概念化は光の「イントラミッション理論」と呼ばれ得る。代替的な概念化は、光線が眼から放出される際の光などに関する「エクストラミッション理論」と呼ばれ得る。
一実施形態では「アクティブ・ビジョン」は特別な眼鏡(例えば第5世代デジタル眼鏡)により実装され得る。なお係る第5世代デジタル眼鏡では、眼は、あたかも光の検知および光の放出の両方を行うかのように挙動し得る。
一実施形態では複数のデジタル眼鏡は、例えば1以上のマルチプレクサを使用することにより、空間を共有し得る。係るマルチプレクサの一例としてTDM(時間分割マルチプレクサ)が挙げられ、TDMは、一実施形態では、交替することにより、すなわち一方の人が伝送する一方で他方の人は「静」状態(光はまったく出力されない状態)に留まることにより、形成される。次にこれらの人々は、互いが干渉し合うことがないよう、立場を切り替えて伝送を行う。係る伝送は、一実装では、適応的な方法で適切に見る必要性を満足するためにある程度のエネルギー放出に適応するよう、エネルギー最適化され得る。適応的アクティブ・ビジョンは、エネルギーを節約するために、ならびにビジョン・システムがより良好に検知することおよび/または見ることを行うために、例えば同一の対象物の様々に露光された取得を利用することによるHDR(ハイダイナミックレンジ)などに対して、協働的に実行され得る。
両方の方向で検知および放出を行う完全双方向DEGの実装は、例えば眼などに対して、前向きエクストラミッシブ・アクティブ・ビジョンおよび内向きエクストラミッシブ・アクティブ・ビジョンを提供し得る。これは、視標追跡(例えば検知として)および表示(効果)、ならびに環境の空間撮像(例えば検知として)および環境に対する投影(例えば効果として)を含む。
この意味で眼鏡180DEGは、光を眼へと送ること、および光を眼から受け取ること、を行い、光を眼の視野内の対象物へと送ること、および光を係る対象物から受け取ること、も行い得る。
いくつかの実施形態では、空間撮像眼鏡180DEGおよび空間撮像眼鏡181DEGなどのスペースグラスは、ユーザを取り巻く環境およびユーザ自身の両方を検知する。LiDARユニット180Lなどの空間撮像カメラは、一実装では、ユーザの視覚方向、視野域、および/または同等物に依存し得る、例えばユーザの腕、手、指、脚、足、および/または同等物の空間座標、位置、方向、および同等物を判定するなどのために、深度マップを提供し得る。一実装では、2種類のスキャン可能な対象物、すなわち(A)非自己対象物(例えば室内の他のオブジェクト)および(B)自己、が別個に検出され得る。
これら2つが遭遇すると、システムはこれを追跡し、この状況は、いくつかの実装では「物理的コンタクト」または「接触」と呼ばれ得る。
一実装では、コンピュータ160(装着可能コンピュータまたはWearCompユニット)は、接触(例えば人体と他の物との間の物理的コンタクト)を検出し、それにしたがって応答する接触検出器コンポーネントを含み得る。
接触検出器の一例は、接触音を拾い上げるジオフォン180Gであるが、ビジョン・システムもまた、テーブルトップなどの表面を3Dスキャンし、手または指が表面にタッチしたとき、およびタッチしたかどうかを判定することにより、これを観察することが可能である。一実装では、これは、点群を形成し、式{1}により示される例のように、手または指の点群が、群作用により画成される平面の射影変換に侵入するときを通知することにより、達成され得る。
一実装では、統計的有意性テストが、視覚的接触検出器を形成するために射影変換的侵入の度合いに対して実行され得る。射影変換的侵入の度合いの係る測定を実行する装置、方法、およびシステムは、射影変換侵入評価器または射影変換的侵入評価器と呼ばれ得、係る評価器に閾値が設定されるかまたは係る評価器が他の活動に対するトリガとして使用されるとき、係る装置は射影変換侵入検出器と呼ばれ得る。一実装では、ネイマン・ピアソン理論およびその同等物などの検出および評価の理論が、射影変換侵入検出器の創造に適用され得る。
いくつかの実施形態は、スタンドアロンでの使用が可能であり、または他のユーザと組み合わせて、共同作業的に使用されることが可能である。全ユーザが必ずしもDEGを装着する必要はない。例えば共有されるコンピュータにより介在された現実が、眼鏡180DEGおよび眼鏡181DEGの装着者の間に存在する。
この共有は、真の多様体または仮想的多様体(例えば実際の表面など)の上で、パブリック対象物140に関して生じることが可能である。パブリック対象物140は、テーブルトップ、黒板、または同等物上の1枚の紙の上に存在してもよく、または多様体として完全に仮想空間内に存在してもよい。
一実装では、シークレット対象物が、眼鏡180DEGおよび眼鏡181DEGを装着する参加者により共有される仮想世界内に創造され得る。眼鏡180DEGのユーザは、様々な実装では、多様体146をマーキングすることにより、仮想的サイボーグ空間においてのみ表面130を創造、マーキング、注釈付け、変更、および/またはその他を行うことを選択し得る。
一実装では、これは、いくつかの実装では、眼鏡181DEGの他のユーザと共同作業することを含んで、身体部分147を多様体146の軌道に沿って移動させ、多様体146を生成することにより、なされる。第2のユーザの身体部分145も多様体146を編集および画成する。
図1Fにおいて、多様体は、それ自体が3次元空間内に存在する表面130の2次元具体例内の1次元多様体として示される。一実施形態ではマニフォールダイザは、プロセッサ(眼鏡180DEG内もしくは眼鏡180DEG内に存在するか、またはそれらの間に分散される)と、ビジョン・システム180Vなどのセンサと、およびディスプレイ180Dなどのディスプレイを含む。一実装では、センサおよび/またはプロセッサは、身体部分145などの身体部分の位置を認識し、この身体部分を追跡し、点位置の集合体として統合化された多様体経路を創造し、例えばデータベース内に格納され得、次にこの経路を表示する。したがってユーザは、身体部分145が空間内をまたは空間に沿って移動するのに伴い、連続的および/または周期的に更新される時間的に集積された経路を見ることができる。多様体146は、表面130のような表面に埋め込まれてもよく、または多様体141のように「空間内で浮動」してもよい。多様体が、表面130などの表面上の多様体146のように、埋め込まれている場合、多様体は表面130をタッチすることによりインデックスまたはアドレスが付与され得る。表面コンタクト・センサは、身体部分145が表面130とコンタクトしたかどうかを判定する平坦射影変換検出システムを含み得る。このようにしてプロセッサは、身体部分が多様体146の平面内にあるかどうかを検知することが可能である。いくつかの実装では仮想的オブジェクトが多様体146上に存在し得る。例えばワイヤ上のビーズのように描画されたスライダが出現し、身体部分145が表面130の平面内にあるとき身体部分145を追跡し、身体部分145が表面130の平面内にないとき、「切り離す」ことが可能である。これは、選択的調節、相互作用、または係合を可能にし、これは多次元マニフォールダイゼーション(例えば多次元空間内で上下にスライドすること)と呼ばれ得る。
多様体が表面上にあるとき、他者がデジタル眼鏡(眼鏡またはDEG)を装着していないときでさえも、多様体は他者に対して可視となり得る。
一実装では、参加者がマーキングをパブリックに設定することを決定したならば、眼鏡を装着しない人でさえもマーキングを見ることが可能である。この場合、パブリックのマーキングは、眼鏡180DEGまたは眼鏡181DEGからのエクストラミッシブ・ビジュアル保護により可視状態に留まり得る。なおここのマーキングは、ビデオ軌道安定化により安定化され得るなどの投影を含む。
一実装では、シークレット対象物340は眼鏡180DEGおよび眼鏡181DEGの共同作業するユーザのデータベース内でのみ可視であってよい。パブリック対象物240は、被参加者に対して(例えばDEG(デジタル眼鏡または眼鏡)に関与しないまたは装着しない人の眼198などに対して)可視である。
データのユーザは、多様体146を共有されるシークレットまたはパブリックとして描画するかどうかを決定することが可能である。
様々な実装では表面130は、デスク、黒板、紙、平坦な、湾曲した2次元多様体、および/または同等物であってよい。代替的に表面130は、表面130がデスクまたはテーブルトップよりもむしろフロアである、スマート・フロアであってよい。一実装では、床部は、疑似ランダム・テクスチャが床部上に存在する状態で構成され得る。なお疑似ランダム・テクスチャは、疑似ランダム・タイルから注意深く作られてもよく、様々なテクスチャ、汚損、擦り傷により、または堅木の床部における木目の自然なテクスチャにより、または石、もしくはコンクリート、もしくは大理石、もしくはゴム、もしくはカーペットの自然なテクスチャにより、自然に発生してもよい。テクスチャはパターンを形成する。そのパターンの射影変換は、代数射影幾何により、赤外線送信器180IRTおよび赤外線受信器180IRRにより形成される3Dカメラ・システムの出力を担当するプロセッサ上で実行されるビデオ軌道手順の下で群作用を形成する。フロア・テクスチャの座標変換のグループは、式{1}に示す例と同様の式により与えられる軌道内に含まれる。
フロアが、DEG(デジタル眼鏡または眼鏡)の複数の装着者により閲覧されるこの軌道内に留まる可能性が高いため、フロアは、フロアと同一平面にない他の物質から明確化されることが可能である。
一実装では、真の3D検知の性質が床自体を真の3Dモデルに置くため、この3D平面上の点は、クラスタ化およびセグメント化されることが可能である。
シークレット対象物340は、例えば、アンダンテフォンの歩行における1人以上の参加者に可視である表面130(床面とも呼ばれる)上に表示された歌詞を含み得る。
開示される装置、方法、およびシステムの態様は、仮想的3Dインストラクタによる、またはスペースグラスの複数の装着者による、身体的指導(ヨーガ、ダンス、演劇、武道、ランニング、スポーツ、その他)のために構成され得る。複数のスペースグラスの場合では、身体運動が、他のスペースグラスにより、または環境内に固定されたスペースグラスにより、スキャンされ、インストラクタは、共同作業で支援することが可能である。
代替的に多様体は、多様体146のようにフロア上にあるか、または多様体141のように自由空間内を移動する、縄跳び用ロープまたは真の物理的オブジェクトであってよい。
代替的に多様体は、現実世界の対応物が存在しないそれ自体の仮想的オブジェクトであってよい。この実施形態では、多様体141は、眼鏡180DEGおよび眼鏡181DEGのユーザに対しては可視であるが裸眼198に対して不可視である画像として、自由空間内で浮動し得る。
一実装では、眼鏡181DEGのユーザは、体肢または身体部分143を使用して、共有される3D空間内で1D多様体をアバコスカルプトし得る。アバコスカルプティングは、いくつかの実施形態では、電球もしくはLEDを、または軌跡144のように長時間露光(「光ベルトルを用いた彩色」)3D写真を描画する他の実際の光源を、用いて実行され得る。他の実施形態では、アバコスカルプティングは、指先を「描画用ツール」として用い、描画された軌跡144が後に残されることにより、実行され得る。眼鏡180DEGの装着者(ユーザ)などの他のユーザは、眼鏡181DEGの装着者(ユーザ)により形成されたアバコグラフに(身体部分142を使用して)「手を伸ばしてタッチ」することが可能である。この場合、アバコグラフは、身体部分142によりタッチされる間、またはそこから選択される間、眼鏡180DEGのユーザに割り当てられた異なる色で光り出し、その結果、眼鏡181DEGのユーザは、自分が他の共同作業者とアバコグラフを共有していることを見ることが可能である。
アバコグラフは、共有される3D空間内で1D多様体として表現され、創作者がこのオブジェクトに対する書き込み許可を与えているならば、いずれの人もアバコグラフを編集することが可能である。
一実装では、眼鏡181DEGの装着者などのユーザは、読み出し専用許可をアバコグラフに与えることも可能であり、その一方で、アバコグラフに沿ってスライドするスパットに対して書き込み許可を与えることも可能である。このようにしてアバコグラフは、他のユーザに対しては一種の計算盤のように見え、他のユーザは「ビーズ」または他のオブジェクトを単にアバコグラフに沿ってスライドさせることのみが可能であり、アバコグラフを変更することはできない。
図1Gは、図1Eの感覚および表示装置1300を使用して、一実施形態における、アバコグラフィック軌道に沿って共有オブジェクトと相互作用することの一例を図示する。
図1Gは、一実装におけるアバコグラフィック多様体180AM(以後、多様体180AMと呼ばれる)を図示する。この多様体は実際の多様体または仮想的な多様体であってよい。例えば、アバコグラフィック多様体は、ユーザ180Uの手180MDおよび手180MS内に保持される、実際の渦巻き状もしくは螺旋状または他の湾曲状の一本のワイヤであってもよく、または完全に仮想的な共有されるアバコグラフであってもよい。代替的に、アバコグラフィック多様体は、オウムガイの殻、1枚の紙、地図、または絵画(オウムガイの殻の絵画もしくは写真または平坦な紙もしくは黒板もしくは床上に描かれた螺旋)などの2D多様体または3D多様体であってもよい。アバコグラフィック多様体は、ユーザ180Uの手に保持された1塊の塑像用粘土でさえもあってよい。
ユーザ180Uの右手180MD(「右手」)が多様体180AM(螺旋形状を有し得る)にタッチすると、眼鏡180DEGは、一実装では、アクティブ・ビジョンを通して手180MDに光を送り、戻った光を受け取り、このようにして手180MDが多様体180AMとタッチしたかどうか判定することにより、これを検知する。
オブジェクト180O(実際のオブジェクトまたは仮想的オブジェクト)が存在し、オブジェクト180Oにはタッチすることが可能である。ここでオブジェクト180Oはワイヤ上の「ビーズ」として表現され、手がその表面にタッチすると、ビーズは「ハイライト表示」され、すなわちユーザ180Uに対応する異なる色(仮にユーザ180Uに対しては赤、ユーザ181Uに対しては青とする)で描画される。
一実装では、ビーズはスパットである。すなわち、望まれる場合に、および望まれたならば、ビーズは環境マップを表現することが可能である。ここで、ビーズは、オブジェクト180Oにより形成された球体の中心に位置合わせされた投影中心からキャプチャされたパノラマ写真的仮想環境を表現する。ここでオブジェクトは球形状であるが、樹形状、またはピエロの鼻形状、ラブラドル形状、キリン形状、または他の任意の形状であってよい。
いくつかの実施形態ではオブジェクトは現実には実際に球形状であるが、閲覧者に対しては、室内に向かう光線があたえもその中を通ってそこに記録されたかのようなテクスチャ・マップを示す、多角体もしくはゲーム用アイテム、または写真的スパットなどの他の形状として提示される。
一実装では、オブジェクト180Oなどのオブジェクトに手180MDでタッチし、その一方で同時に他のオブジェクト180Pに手180MSでタッチすることは、2つのオブジェクトを互いに関連付け、それらのオブジェクトの両方と、それらオブジェクト間の経路と、を赤でハイライト表示する。
引き続きユーザ181Uが多様体にタッチすると、オブジェクト180Qの当該ユーザの具体例は、眼鏡181DEGの当該ユーザの具体例および眼鏡180DEGの第1のユーザの具体例の両方において青く光り出し、オブジェクト180Oとオブジェクト180Qとの間の経路もマゼンタ(赤および青の加算混合)で光り出す。
多様体180AMに沿って画成されたこれらの経路は、選択されたオブジェクトが仮想共有空間においてスライドすることができる経路である。
様々な異なる種類のジェスチャが用いられ得る。これらは、多様体180AMにタッチすること、オブジェクト180Oなどのスパットにタッチすること、オブジェクト180Qなどのスパットを、手181MDの親指と人差し指との間で把持すること、および手181MSの人差し指でスパットを叩き、手181MSの指節もスパットに押し当てつつ、タッチすることを含む。
一実装では、マニフォールダイゼーション・ジェスチャ・センサは、多様体に沿ってスライドした後にオブジェクトにタッチするジェスチャと、多様体180AMに沿うことなく3次元空間を通って接近した後にのみオブジェクトにタッチするジェスチャと、の間の差異を認識する。
一実装では、オブジェクト180Oなどのオブジェクトは、付近にタッチするとハイライト表示することが可能となる「スナップ」特性を有する「ファジー」な雲として表現され得る。これらの雲はオーラのようにスパットを取り巻くように表示され得る。なおこのオーラは、接近の際に漸次的および流動的にハイライト表示され、例えば活動分析(例えば逆変位の時間積分またはプレスメント(presement)。なおプレスメントは時間積分内でのアブスメント(absement)の逆数であり、ここでアブスメントは変位の時間積分である)などを使用して、アナログ選択および選択の度合いが可能となる。
一実装では、選択は、変位の逆数を積分しそれにより選択オーラの強度を判定する活動集成器(actional integrator)により行われる。
加えて露光集成器(exposure integrator)は、いくつかの実装では、例えば選択器を作製するために使用されたハンド・ジェスチャなどの露光または露光器を時間積分するために使用されることができる。
一実装では、「クラッシュ」ジェスチャは、オブジェクトの破壊(例えばオブジェクト181BBが破裂したバブルのように「死」ぬこと)を示すジェスチャである。
いくつかの実施形態では、開示される装置、方法、およびシステムは、パイ・メニュー、タウ・メニュー、およびスパット・メニューを含む。
一実装では、パイ・メニューは、下方からオブジェクトに接近することにより選択される。この場合、オブジェクトの下半分に選択オーラが与えられる。タウ・メニューは、把持(例えば親指および人差し指)などによる複数方向の接近から選択され得る。スパット・メニューは、逆表面(sousface)へと押しつぶすことにより選択される。逆表面(sousface)は、一実装では、表面の逆である。(フランス語の語源「soffit」に由来する)表面タッチはオブジェクトにタッチすることにより作られるが、しかしオブジェクト内部到達ジェスチャは、タッチとは区別され、一実装では、オブジェクトを貫通してその内部と接続することにより、実現され得る。ここでは、手181MSがオブジェクト内に向かって伸び、その中心を通り越して、オブジェクトの内部に達し、その逆表面にタッチしているため、スパット・メニュー181SMが現れている様子が見られる。
逆表面タッチが検出されると(例えば、オブジェクトを貫通して、例えばバブルを「弾け」させ、逆側からその「スベスベ」した断片を把持する)、一実装では、3D時計文字盤メニューが現れる。スパットが装飾を越えて3D選択のためのフレームワークとして使用されるため、これは3Dパイ・メニューを越える。時計の針は、その上の3Dスパットに加えて、別個に操作されることが可能である。次に指は、離脱の様式(例えば方向、速度、加速度、ジャーク(jerk)、ジャウンス(jounce)、および/または同等物、ならびに変位、アブスメント(absement)、アブシティ(absity)、アブセレレーション(abseleration)、および/または同等物)において追跡され、メニューを拡大するためにスパットは拡張される(「引き離される」)。ここで手181MSの人差し指がオブジェクトの中心から引き離され、メニュー選択181Mとして4時の位置が選択されると、これはプロセスの猶予を示す。4時のジェスチャは、閉鎖に値する用途に対する終了ジェスチャとして符号化される。
上記は単に1つの具体例として提供されたものであり、範囲の限定を意図するものではまったくないことに注意すべきである。例えば一実装では、共有拡張介在現実環境における1人以上のユーザの1以上の身体部分の進入および/または離脱の3D方向が用いられ得る。様々な実装ではこれらのジェスチャのそれぞれが、メタジェスチャ、自己ジェスチャ、または同等物であってよい。例えばユーザは、バブルを叩くこと、バブルを1本の指でつつくこと、選択・回転ジェスチャとして2本の指で優しくバブルに触れバブルを回転させること、人差し指および親指を同時に締め付ける間に2本の中指でバブルにタッチし、より強くまたはより弱く握り締め、それにより、このジェスチャが行われている間、連続的に変化し動的に進展する連続的なマルチタッチ・自己ジェスチャを確立すること、を行い得る。いくつかの実装では係る動的な「流動ジェスチャ」は連続的な動作することが可能であり、離散的よりもむしろ連続的である「トリガ・ベース」のユーザ・インターフェース・モダリティを生じさせることが可能である。例としてはRWM(リアリティ・ウィンドウ・マネージャ)インターフェースが挙げられ、このRWMでは、すべてのマルチタッチ・メタジェスチャ、マルチタッチ自己ジェスチャ、および同等物により、ウィンドウはタッチすること、擦ること、移動すること、破裂すること、破壊すること、固定すること、修理すること、「洗浄」すること(例えばこする動きにより、テキスト・ウィンドウからテキストを所巨すること)、および同等物が可能である。
スパット・メニュー181SMは単なる時計文字盤ではなく、3次元である。例えば手が速急にユーザに向かって、またはユーザから離間するよう引かれると、他の動作が取られ得る。
開示される装置、方法、およびシステムの実施形態は、任意の次元で動作するよう構成され得る。ここでは、アバコグラフィック多様体180AMを用いる実施形態が示されているが、実施形態は、塑像用粘土などの3Dオブジェクトを、使用、シミュレーション、および/または操作するよう構成されてもよい。手180MDによりスカルプトされる粘土をユーザ180Uが保持し、ユーザは、真の粘土で完璧なスカルプチャを生成するために、オーバーレイによりガイドされる。一実装では、これは、装着可能な3Dホログラフィック・ビジョンを介して実現され得る。ここで粘土自体が、単なる拡張介在されたスカルプティングを越えて、長時間露光スカルプティング効果に対する露光器であってよい。一実装では、ユーザはこれを(仮想的に)3Dプリンタに、プリントするために挿入し得る。
動作が開放空間内で行われることが可能であるため、粘土は必要ではない。しかし粘土は、トポスカルプティングの経験および確度を改善する有用な接触フィードバックを提供する。
他の実施形態は特別なマーカを有する特別シューズを含む。なおこのシューズにおいては、ユーザ180Uおよびユーザ181Uは、歩行、ダンス、または相互作用などの動作を通してトポスカルプティングを行うことが可能である。ユーザ180Uおよびユーザ181Uは例えば一緒に踊ることにより自分たちの足を用いて、芸術形態として、または身体適性および運動学的データを測定するための実際的な方法として、アバコグラフを生成することが可能である。実施形態は、ダンスシューズ、ヨーガ・ショー、マインドフルネス体操、エアロビック体操、および自転車と動作する構成され得る。ここでは、アバコグラフは、性能を測定すること、および性能測定基準を生成するために使用されることが可能である。
さらに一実装では、複数のユーザ間でのコンパラメトリック相互作用が、アバコグラフを例えば後に生成することが可能であるアバコグラムまたは他のデータ構造を生成するために使用されることが可能である。
一実装では、トポスカルプティングは、流体中でも、または流体を用いても、流体を接触媒体として使用して、行われ得る。例えば圧縮流体または加圧流体が、それに対して接触スカルプチャを生成するための流体流場として、使用されることが可能である。
図1Hは、図1Eのセンサおよびディスプレイ装置1300を使用して共有オブジェクトと相互作用するための方法の一例を図示する。
図1Hは、一実施形態における開示される装置、方法、およびシステムの態様を図示するフローチャートを示す。
図1Hは、開示される装置、方法、およびシステムのいくつかの態様を図示するフローチャートである。位相センサ1C10は、オブジェクトがユーザ180Uの手180MDの範囲内にあるかどうかを判定する。オブジェクトがユーザ180Uの手180MDの範囲内にない場合、位相センサ1C10は手がオブジェクトの範囲内に入るまで待機する。手が、オブジェクト180Oなどのオブジェクトの「空間」内に十分に「侵入」すると、マニフォールダイゼーション・ディスプレイは、そのような選択されたスパットからのライブ・ビデオなどの状況の記録画像またはライブ画像を再生し始める。
このシナリオでは、上方から見下ろすこと(監視、例えば警官が囚人を視察するなど)とも下方から見上げること(例えば市民が警察を写真撮影するなど)とも異なる視察のシステムについて考える。視察とは見る動作である。
視察システムは、モノのインターネット(IoT)またはSMARTWORLDフレームワーク内で作動する。例としては、光出力の調節を自動化するために各ライトにカメラを有する街路灯が挙げられる。許可街路を歩行する一般人は、空間を編集すること(だれもが、必要なときに光を要求することができるよう、または変更を示唆することができるよう、書き込み許可を有するものと仮定する)、およびいくらかの量の書き込み許可とある程度まで相互作用することが可能である。
一般人は街の地図と相互作用して、スパットを選択する。一般人の指がスパットにタッチすると、スパットはライブ・ビデオの再生を開始する。これを、マニプレーヤー(登録商標)装置、多様体表示器(再生器)(地球こそがライブ・ビデオを記録した魚眼レンズであるかのようにライブ・ビデオを地球上に再生する)と呼称することとする。他の投影は、例えば、円筒上へのメルカトル投影を含み得る。
オブジェクト180Oの球体をマニプレーヤー表面として考える。ここでマニプレー1C20は、カメラが選択されるとただちに街路灯カメラからライブ・ビデオを再生を開始する。ユーザ180Uは自分自身をビデオ上で見ることができ、問題箇所(樹木の枝が風に吹かれ、そのために街路上が無人状態であるときに街路灯がフル輝度で作動しており、大量の電気が浪費されている)を特定することができる。ユーザ180Uは状況のライブ・ビデオをキャプチャし、次回、問題を解決するために市議会会合に参加するときに再生することができるよう、ユーザ180Uはwikiに送付する。ユーザ180Uは、スパット・メニュー181SMを使用して自分の指で視察マスクを描画し、それにより樹木の枝が無視され得るよう樹木の枝を隠す。ユーザ180Uはこの提案マスクをwiki上に書き込む。
視察における係る一般人の関与により、普通ならば監視社会となっていたであろう社会が視察社会となることができる。
開示される装置、方法、およびシステムのいくつかの実施形態は、実際の多様体または仮想的多様体における、または係る多様体との、手のジェスチャを用いる相互作用設計(例えば、相互作用の方法として、多様体を成形することを含む)を支援し得る。
多様体は局所的に平坦である。すなわち、十分に小さい部分を見る限り「世界は(ほぼ)平坦である」。一実装では、1つの点の近傍における位相多様体の挙動を恒等写像(identity)として考察するにあたりリー代数が用いられ得る。したがって位相センサ1C10は、形状(例えば球体)に関わらずオブジェクト180Oの1つの接触点の近傍における局所的な平坦比較(planar comparison)として実装される。
一実装では、手180MDの指先などの身体部分がオブジェクト180Oなどのオブジェクトと交差すると、持続検出器1C30は、タッチが偶発的な軽い接触であったのか、または持続的なタッチであったのかどうかを判定する。偶発によるものであるならば、マニプレーはマニプレー終止器1C40により終了させられ得る。一実装では、持続検出は、侵害および/または接触の期間、順序、パターン、度合い、および/または同等物に基づき得る。
それ以外の場合、マニプレーは継続し、ジェスチャ・センサ1C50は、オブジェクト180Oにおける、オブジェクト180Oとの、オブジェクト180O内の、またはオブジェクト180O上での様々な可能なジェスチャから検知する。
スライド・ジェスチャは、スパットを経路に沿って「スライド」させ、それにより例えば、街路に沿った次の街路灯を選択するか、または街路灯間のカメラ・ビュー表示を補間するための、能力をもたらす。
これによりリアルタイム・インタラクティブ・ストリートビューが提供され、係るストリートビュー内で、ユーザ180Uは自分の通り道に沿ってさらに先にある茂みの後ろに拳銃を持った男が隠れていることを見ることができる。ユーザ180Uは、より良好に見るために、オブジェクト180Oのスパットを通り道に沿ってさらにスライドさせ、次いでスパットを自分の親指と人差し指との間で選択しユーザ180Uの仮想ページの下方右手コーナーにある交番にスパットをドラッグする。ユーザ180Uはそのときまでにすでに、拳銃男を回避するために、代替的な道筋を取り始め、届け出を出すために巡回パトカーに会い、その間に拳銃男は身柄を確保される。次にユーザは、開示される装置、方法、およびシステムの一実施形態の計画機能により、元の道筋よりも長くなることはない道筋をたどって徒歩で帰宅する。係る計画機能がユーザ180Uを効率的に家路に案内する。
次にユーザ180Uは、時計文字盤を4時方向に引き、記録されたビデオを交番にセーブした後、終了ジェスチャを提供することにより、クローズ・ジェスチャを提供する。
また他の機会に、ユーザ180Uはワイヤ上でリスが走っているのを見かけ、愛らしい写真をウェブログに送り、街路に沿って「カメラ・ビーズ」を使って様々なジェスチャを行うことができる。一実装では、タッチ・ジェスチャによりスパットがハイライト表示され、タッチ・ジェスチャが終了したとき、ハイライト表示は低照度化される。スクイーズ・ジェスチャはスパットを選択し、それによりスパットは指節で粉砕され、それにより例えば、スパットはより永続的に終了される。これは特に、過度な広告を有し、終了させることが真に望ましいアプリに対して当てはまる。
この場合、スパットはユーザ180Uのリストから削除され、それにより、ユーザ180Uが当該スパットを開くことを望み、カメラのリストに戻さない限り、再び偶発的に当該スパットを開くことはない。このように、好みのカメラまたは最も有用なカメラの「ショートリスト」が一実装において保持され、その一方で、余り有用でないカメラはオブジェクト削除器1C60によりショートリストから取り除かれることができる。
一実装では、スパットが、例えば親指と人差し指との間で握り締められたとき、特別メニューが生成され得、当該メニューは、スパット自体がワイヤ上のビーズのように動かされることを可能にするだけではなく、全「ワイヤ」自体の移動も可能にする。例えばユーザは近接する街路まで「車を脇に寄」せて、(次の街路上の新規の1列のカメラを通して見る)ことが可能である。
スパット・メニュー1C70上で「引っ張る」ことは、1つの経路に沿って位置を単に変更するだけではなく、経路変更が要求されことをシステムに対して示し得る。
これは、街路ラインなどの部分多様体を中間にある次の街路へと移動させる(例えばカメラが1台も存在しない裏通りのビュー表示を、裏通りの両側の街路からの補間されたビュー表示を使用して、合成することにより)。
より強力なジェスチャは「複数プル」ジェスチャである。これは、一実装では、複数のプル・ジェスチャであり、または複数本の指により「ワイヤ」を「引っ張る」ことによりなされる。
一実装では、複数プル・ジェスチャは、次元を1つ上げて2D多様体を取り扱うことを望むことを示す。
このように一実施形態においてジェスチャの階層、すなわち(A)0D(0次元)ジェスチャ:「ワイヤ」に沿ってスパットにタッチし、またはスパットを移動させる(例えば、街路に沿って動く)、(B)1D(1次元)ジェスチャ:「ワイヤ」自体を移動させる(例えば、1つの街路から他の街路へと横断する)、(C)2D(2次元)ジェスチャ:多様体の多様体を移動させる(例えば、街のメッシュなど)、および(D)3D(3次元)ジェスチャ:多様体の多様体の多様体を移動させる(例えば埋め込み3D空間自体を移動させる)、が存在する。
部分多様体移動器1C80が、一実装では、街路のレベルにおいて移動させる一方で、多様体移動器1C90は、マップまたはチャートのレベルで移動させる。
チャート・レベルの写像および多様体操作は、いくつかの実装では、プラニフォールド(登録商標)装置と呼ばれ得、この装置は、一実装では、レーダーセットのPPI(平面位置表示器)のように、ユーザが中心に位置し、ユーザが中心に位置する透視画法から街が径方向外向きに示される状態で、表示され得る。
プラニフォールドは、他の多様体のように把持および移動が可能である。
プラニフォールドは、任意のテクスチャを有するどのような紙くずの上にも表示が可能であり、折り畳みおよび操作が可能である。
いくつかの実装では、開示される装置、方法、およびシステムは、仮想空間または拡張介在において例えば粘土もしくは紙くずまたは任意のブリコラージュを使用して、迅速な接触性の試作のために、手を使って3Dでスカルプトして新規部品を作製することと、オブジェクトを生成することと、オブジェクトを変更することと、などを行うよう構成され得る。
他の実施形態では医者が患者を支援するためにトポスカルプティングを使用する。傷を有する患者は、物質のように皮膚(1以上)を印刷する3Dプリンタにより支援されることが可能である。医師は、患者の身体に対する皮膚プリンティングを形成するためにトポスカルプティングを使用する。
図2Aは、図1Eの検出および表示装置1300の他の概略的例を図示する。
さらに詳細には、図2Aは図1Eの検出および表示装置1300を用いていくつかの実施形態において使用される、メタファー・フリー計算およびナチュラル・ユーザ・インターフェースの原理を図示する。デジタル眼鏡180およびデジタル眼鏡190の装着者の間の図1Aの第1の拡張介在現実空間1000などの、共有されるコンピュータにより介在された現実が図示される。表面130は、テーブルトップ上の1枚の紙であり、そこでパブリック対象物140は印刷物を含む。デジタル眼鏡180を装着する参加者(ユーザ)は、一実装では、描画ツール201を用い得る。なおこの描画ツール201はドローツール(登録商標)システムと呼ばれ得る。描画ツール201は慣性測定ユニット204および/または同等物を含み得る。描画ツール201は、仮想装置であるよう構成された、または物理的マーキング・ツール(インキもしくは黒鉛、または他のマーキング物質を有する)を含むよう構成された、ツール・ポイント200を含み得る。ジオフォン・センサ203は、描画ツール201に関連付けられた音響または他の動揺をピックアップするよう構成され、このようにして描画ツール201は、表面130とのコンタクトを検知する描画ツール201内の他のセンサと連係して応答的に相互作用するよう構成される。仮想的対象物202は、シークレット状態(例えば検出および表示装置1300の具体例を使用しない人々には閲覧不能である状態)に保持され得る。仮想的対象物202は、第1の拡張介在現実空間1000内の仮想環境において創造、表示、提示、および/または同様の動作がなされ得、デジタル眼鏡180およびデジタル眼鏡190を装着する参加者により(第1の拡張介在現実空間1000内で)共有される。デジタル眼鏡180のユーザは、第1の拡張介在現実空間1000(例えばサイボーグ空間)内でのみ表面130をマーキングすること、または物理的マーキングで表面130をマーキングすること、を選択し得る。デジタル眼鏡の具体例を装着しない人は、参加者(検出および表示装置1300の具体例を使用するユーザ)が仮想マーキングをパブリックに利用可能にすることを決定した状況に対しては、依然として仮想マーキングを見ることができ得る。この場合、パブリック対象物240などのパブリック・マーキングは、例えばデジタル眼鏡180またはデジタル眼鏡190からのエクストラミッシブ・ビジュアル保護により、可視状態に保持され得る。なおこのマーキングは、図1AAに示すビデオ軌道安定化プログラム403により安定化され得るなどの投影を含む。代替的にマーキングは、黒鉛またはインクなどのマーキング物質により可視状態に保持され得る。
図2Bは、一実施形態における、ビデオ軌道安定化およびコンパラメトリック位置合わせ、および/または同等物を図示する。
図2Bは、一実施形態におけるビデオ軌道安定化システムを図示する。ビデオ軌道は、様々な実装において様々な方法(例えばピクセル軌道および/またはボクセル軌道)で作動し得る。一実装では、ピクセル軌道は、1以上の堅固な平面パッチの、および/または係る平面パッチのセグメントの射影変換を用い得る。一実装では、ボクセル軌道は、オブジェクトの3D位置を追跡し、平面を特定し、および/または関連する点群を追跡する。
一実装では、ピクセル軌道は2Dカメラを用い、ボクセル軌道は3Dカメラを用い得る。一実装では、ピクセル軌道およびボクセル軌道は、例えば装置1300が1以上の2Dカメラおよび1以上の3Dカメラの両方を含むなどの場合では、組み合わされ得る。例えば装置1300が1台の3Dカメラおよび2台の2Dカメラを含む場合、軌道は、例えば2Dビジョン、立体視、真の3Dビジョン、および/または同等物を使用して追跡されてもよく、および/または、例えば様々な推定値(表面テクスチャがピクセルにどのように顕在化されるか、形状がどのようにボクセルに顕在化されるか)が例えば重み付き合計を通して組み合わされ得る場合、合流性集積器、確信度結合器(certainty combiner)、および/または同等物などを用いて、これらの結果が組み合わされてもよい。一実装では、重みは、例えばコンパラメトリックに(例えばコンパラメトリック方程式(comparametric equation)を介して)、スーパーポジメトリックに(例えばスーパーポジメトリック方程式(superposimetric equation)を介して)、または任意の他の誤差評価により、判定された確実性であってよい。したがって一実装では、アルベド(表面もしくはオブジェクトの明度、色、テクスチャ、その他、または同等物)範囲、および/または同等物は、例えば最適および/または最適化された様式で、組み合わされ得る。アルベドおよび範囲の両方が同一の動きを与える程度まで、合流性結合器(confluence combiner)は、一実装では、推定について使用され得る。ときには表面またはオブジェクトが、3D距離情報がより正確となるような3Dパターンを有さない均一なアルベドとなることもある。夜間の星もしくは空または遠距離のオブジェクトに対する自己運動を追跡するなどのいくつかの実装および/または使用では、距離測定は信頼性がより低く、2Dビデオ軌道が用いられ得る。いくつかの実装では2Dビデオ軌道および3Dビデオ軌道を組み合わせると、堅固な平面パッチなどのオブジェクトを追跡するために、アルベドおよび距離情報の両方が良好に利用され得る。
2D(ピクセル)軌道の実装では、軌道は、群作用下で生じ得る1セットの変換であると考えられ得る。
以下の式により定められる、g(q)=f(kq)により与えられるコンパラメトリック・群作用を考える。
g(f(q(x))=f(kq((Ax+b)/(cx+d))),
式中fは変換領域であり、gは変換範囲である。特に、fおよびgは両方とも、光クオンティグラフィック応答関数の領域であり、光クオンティグラフィック応答関数の領域は、受光量q(計量単位(quantimetric unit))である。
さらにqはxからの写像の範囲である。なおxは、空間画像座標の2×1列ベクトルである。例えばx=[x1;x2]、その転置であり、および/または太文字のxを使用して、x=[x1;x2]である。
行列Aはx1およびx2におけるスケール(scale)ならびにx1およびx2における剪断(shear)をキャプチャする。これらはともにxにおける回転も定義する。これらは、2×2行列Aが回転行列であるとき、キャプチャされる。
行ベクトルcは1×2次元であり、一実装では、x1およびx2におけるチャープまたはチャープレートを表す(これは2つの自由度を有し、チャーピネス(chirpiness)およびチャープの方向として交代的に考えられ得る)。
上記の式において定数dはスカラー定数である。
写像gは群を形成し、群は5つの実際のパラメータ、すなわちA、b、c、d、およびkを有する。なおこれらは、一実装では、行列[A,b,0;c,d,0;00k]に配置され得る。
一実装では、4つのみの自由度(9つのスカラー自由度)が存在する。この理由は、dがゼロでない(またはdがゼロに近くない)ならば、この行列の各要素をdにより除算することが可能であるためである。
空間撮像眼鏡(スペースグラス(登録商標)装置としても公知)のビュー表示内の対象物、例えば検出および表示装置のビュー表示内の対象物は、しばしば、平坦なもしくはいくぶん平坦な、または平面状のもしくはいくぶん平面状の、表面またはエンティティ上に落ちる。
対象物が、特に都会的または屋内の環境において、検知されると、いくぶん平坦である多数の表面が多くの場合存在する。ビルディングおよび家具などの多数のオブジェクトは、いくぶん平坦表面からなり、これらの平坦表面はスペースグラス装置により自動的にセグメント化され得る。例えば窓を見る場合、平坦表面上に内容物が見え、窓の後方および/または前方にも内容物が存在し得る。例えば、別個の層からなる窓、または代替的に、フェンス、格子、スクリーン、刑務所の扉、グリル、および/または同等物について考察する。これらはいくぶん平面状の内容物を有し得るが、その前方および/または後方にもオブジェクトを有し得る。
対象物2B10などの対象物は、対象物2B20および対象物2B30として、異なる観点から閲覧され得る。対象物2B10、対象物2B20、および対象物2B30のうちのいくつかは、それぞれ、対象物2B16(例えば平面など)により画成される平面上、対象物2B26(例えば平面など)により画成される平面上、および対象物2B36(例えば平面など)により画成される平面内に存在するが、他の対象物、それぞれ対象物2B15、対象物2B25、および対象物2B35は、それぞれ対象物2B16により、対象物2B26により、および対象物2B36により画成された平面にはない。
同一対象物のこれら3つの取得のそれぞれは、取得2B1、取得2B2、および取得2B3として表される。いくつかの実装では取得は、絵、アクティブ・ビジョン・システムからの測定値(例えば応答に対する測定値など)の1セット、および/または同等物であってよい。この意味で、取得は、コンパラメトリック測定値、絵、ビデオ、クオンティグラフ、または同等物であってもよく、または取得は、スーパーポジメトリック測定値、またはスーパーポジメトリックの収集(例えば、電磁放射に対する1以上の露光などの刺激または刺激の収集に応答して作られた)であってもよい。
例えばテーブルトップを、電子フラッシュ源をテーブルに向かって発光させ、その間に応答を測定(例えばキャプチャ、写真撮影、および/または同等物を行うこと)することにより、(例えばアバコグラフィックに)「ダスト」することができる。
一実装では、フラッシュは、構造化された照明源などのアレマック(aremac)として構成される。
アレマック(aremac)(語源的には「カメラ」を逆方向に綴ったもの)は照明源として作用し得、カメラおよびアレマック(「アレマックカメラ」または短縮化して「メカカ」)は協働的に、一実装では、スーパーポジメトリック測定・応答(刺激・検知)システムを形成する。
アレマックは、変動する露光に対して変動する量およびパターンの照明を提供し得る。
カメラなどのセンサは、変動するゲインを、例えばもし存在する場合、照明源などの刺激源として、用いて構成され得る。したかってカメラまたはメカカは同一の対象物の、様々に露光された、例えば取得2B1、取得2B2、および取得2B3などの、取得を提供し得る。
取得2B1、取得2B2、および取得2B3は、真の対象物2B上における異なる変換を表現する。取得2B1は、対象物がセンサの視野域の左側に向かった状態で、低レベルの露光または照明で「取得」(例えば受容)された。取得2B2は、対象物が視野域の略中心にあり、しかしわずかに上方を向いた状態で、適度(中間的)なゲイン量または感度または露光または照明で「取得」された。取得2B3は、対象物が視野域の右側に向かう状態で、高い光量(換言すると「露出過度」)で「取得」された。
これら3つの取得は、対象物2Bにおける現実の3つの異なる解釈を表現する。
これら3つの取得は、一実装では、形式g(f(q(x))=f(kq((Ax+b)/(cx+d)))による変換により例えばコンパとメトリックに、投影的に、スーパーポジメトリックに(例えばそれぞれに対して異なる照明が使用された場合)、および/またはその他同様に、互いに関連し得る。
この場合、1つの取得、例えば中央の取得2B2、を取り上げ、他の取得を取得2B2に関して表現することとする。A12、b12、c12、d12、およびk12により与えられる1つの変換が存在し、この変換は、取得2B1を取得2B2に関連付け、A23、b23、c23、d23、k23により与えられる他の変換が存在し、この変換は、取得2B2を取得2B3に関連付けるであろう。
シーン内で生じていることに関する「実際」は、一実装では、推定される合成取得2B0を、取得2B1、取得2B2、および取得2B3から構築することにより再構築され得る。取得2B0は、スペースグラスが対象物2Bに関して「認識」する全部を表現する。
この意味で、平面内の点が均一に離間するよう平面内に落ちる対象物2B06のデチャープされた表現が提供され得る。
一実装では、チャープは、鳥のさえずりのようなもの(例えば周波数が増加または減少する音色またはトーンまたは周期波形)である。ビジョンの場合、チャープは、われわれが横断するのに伴い、周波数が上下する。取得2B1の対象物は、例えば、対象物2B16(平面状の内容物)が、最初は低い空間周波数を有し(例えば窓の桟または格子)、われわれが左から右に動く(例えばxに沿って寸法を増加させる)のに伴い空間周波数が増大するという意味において「アップチャープ」される。
一実装では、取得2B3の対象物2B36は「ダウンチャープ」される。例えば対象物2B36は、最初は高ピッチであるが、われわれがxを増加させる際に左から右に動くのに伴いより低いピッチへと落ちていく。
一実装では、取得2B0(合成取得)の対象物2B06は、平面のユニットがスペースグラス・システムの内部に格納されたアレイにおいて均等に離間するよう、デチャープされる。
一実装では、現実からのそれぞれ平面は、例えば現実からの平面をセグメント化し、最初に取得の内の1つ(例えば取得2B2)に写像するよりもむしろ、コーナー2B11、コーナー2B12、コーナー2B13、およびコーナー2B14により示される変換であって、取得2B1から取得2B0へと直接的に写像する変換を提供することなどにより、スペースグラス内のデチャープされたクオンティグラフq(x,y)に格納され得る。
これは、一実装では、形式A1、b1、c2、d1、k1を取得2B1に適用して取得2B0を生成することと、形式A2、b2、c2、d2、k2を取得2B2に適用して取得2B0を生成することと、形式A3、b3、c3、d3、k3を取得2B3に適用して取得2B0を生成することと、により達成され得る。なおこれら3つの変換のそれぞれが取得2B0の推定値を提供する。次にこれら3つの推定値は、コンパラメトリック画像合成の確信度規則(certainty rule)にしたがって、組み合わされた取得2B0として一緒に組み合わされる。
対象物2B16、対象物2B26、および対象物2B36は、対象物2B06によく合流して位置合わせ良好となり、その一方で対象物2B15、対象物2B25、および対象物2B35は、この対象物は平面からずれているため、対象物2B05にあまり合流せず位置合わせ不良となるであろう。
同様に、窓を透過して見られる背景の雲も位置合わせ不良となるであろう。
結果は、窓の縦仕切りならびに桟、窓枠、およびガラス(例えばガラス上の埃、平面のテクスチャ、パターン、および/または同等物)の合流性合成である。
われわれが、窓が視野域内にある状態で対象物を見ると、(例えば黒々とした、シルエットの、および/またはその他同様の)前景の対象物が見える。われわれが一方の側を見るのに伴い窓がわれわれの視野の一方の側に行くと(例えば床を見下ろすと)、いくつかのカメラのAGC(自動ゲイン制御)は「ゲインアップ」して、窓の前方に立つ人の顔面における詳細を、ある程度ではあるがあまり詳細にではなく、例えば対象物2B25として描写する。さらに一方の側へとある程度見下ろして、カメラの中心が室内の暗い物(例えば黒い布、または屋内がまったく照明されていない状態で押し入れ(そこには何枚かの黒い衣服が掛けられている)へとつながる玄関の暗い開口部)に向けられた状態となったとき、AGCは「ゲインアップ」して、対象物2B35の顔面を非常に鮮明に描画するが、屋外の雲および空は白く「色あせる」(例えば露出過度となる)であろう。縦仕切りおよび桟でさえもある程度まで「ホワイトアウト」するであろう。
このような寄与が取得2B0にもたらされ、それにより、空および太陽などの対象物の明るいエリアの大部分は取得2B1に由来し、対象物2B35のほぼシルエット化された顔面などのより暗いエリアの大部分は取得2B3に由来する。取得2B2が、中間トーンの多くを提供するであろう。
このことは、一実装では、対象物の3D形状により画成される多様体上でのコンパラメトリック画像合成により、達成され得る。最も簡単な形状は平面であり、これは非常に正確になされることが可能であるが、顔面はより複雑であり、より低い確度の集積である。
したがって取得2B0は、対象物2Bの現実の、真の対象物2B(推定値として)と、対象物2B00と、を推定するために使用され得る。
平面は高い確度での「取得」が可能であるため、このことはスペースグラスにおいて射影変換ユーザ・インターフェースとして機能し得る。同様に、球体などの他の幾何学的形状も射影変換ユーザ・インターフェースとして機能し得る。
対象物取得は、合流性(例えばコンパラメトリック方程式理論の確信度関数を使用するなど)により、組み合わせられ得る。代替的に合流性結合器が使用されてもよい。
一実装では、合流性とは、複数のエンティティが一体となる度合い、または同調して一体になる度合いである。同調が存在する場合、例えば2つの取得が信頼度をもって現実上で同調する場合、これらの取得はより大きい確信度をもって組み合わされ得る。このことは、コンパラメトリック画像合成の理論に対する変更を含み得る。
合流性合成
2つの信号「a」および「b」の融合を望むとする。信号は、確信度、合流性、および/または同等物により、重み付けられ得る。デジタル実装では、合流性は、より強力な同調を重み付けるために、排他的論理和ゲート(例えば(a+b)(a XOR b))により実装が可能である。
アナログ実装では、積[ab]を考える。[a]および[b]が大きいならば[a]×[b]の積は大きい。これらの一方が負であり他方が正である場合、積は負となる。
したがって合流性は、一実装では、
c=(a+b)abとして表現され得る。
代替的な実装では、合流性は、
c=(a+b)exp(ab)を使用し得る。
係る合流性合成は、いくつかの実装では、多モード感覚融合および/または同等物の他の形態に対して音響的侵害検出と視覚的侵害検出とを組み合わせるために、合流性センサ402に対して使用され得る。
一実装では、電力節約のために、スペースグラスからの照明は、例えば様々な対象物に適応的な様式で調節され得る。例えば、(1)最善の露光のため、(2)電力、エネルギー、作用の節約のため、および/またはその他同等の目的のために、近位にある対象はより小さい光で照明され得る一方で、より遠位にある対象はより大きい光で照明され得る。
いくつかの実装では、作用は、ハミルトニアン作用(例えば運動エネルギーT+ポテンシャルエネルギーVの時間積分)、ラグランジアン作用、T−Vの時間積分、および/またはその他同等物を含み得る。
いくつかの実装では、停留作用の原理が座標変換の射影群の軌道に適用され得る。
適応的PEAM(電力・エネルギー作用管理システム)は、一実装では、(A)低感度の受動的取得が行われること、(B)取得の確信度を判定するために、取得の分析がなされる。画像露光である取得に対しては確信度は確信度画像であること、(C)(閾値、標準値、および/または同等物との比較に基づいて)確信度が低いエリアが存在した場合、より高い感度の取得が行われること、および(D)例えば閾値、標準値、および/または同等物との比較に基づいて十分な露光感度が達成されるまで、このプロセスが反復されること、を含み得る。
いくつかの状況ではSPEAMS(スーパーポジメトリック電力・エネルギー作用管理システム)が用いられてもよい。SPEAMSシステムは、一実装では、(A)低感度および低出力の能動的取得が行われること、(B)取得の確信度を判定するために取得の分析が行われ、画像露出である取得に対して、確信度は確信度画像であること、(C)確信度が低いエリアが存在した場合、より高い感度の取得が行われること、(D)十分な露光感度が達成されるまで、このプロセスが反復されること、(E)これらの結果がコンパラメトリックに合成されること、(F)結果的に生成された合流性画像が、低出力の取得に光ベルトルとしてログ記録されること、(G)出力が増加され、複数の取得のプロセス(例えば露光)が、中間的出力の放出から結果的に生成される光ベルトルをキャプチャするために反復されること、(H)これらの光ベルトルのそれぞれがスーパーポジメトリック画像空間を顕在化し、それぞれが特定のエネルギー・コストを有する(すなわち、それぞれの光ベルトルに対して、それぞれが特定的な強度の光出力(例えば低出力、中間出力、その他)のバーストを要求する複数の取得が存在する)こと、(I)エネルギー・コスト関数が生成された光バーストのそれぞれに対して計算され、これらのエネルギー・コスト関数が、スーパーポジメトリック・ライトスペースの計算に関連付けられた作用コストとして蓄積されること、および(J)対象物またはシーンが十分な度合いまでライトスペースされる(例えばライトスペース・コスト関数内の誤差項が十分に最小化される)まで、このプロセスが反復されること、を含み得る。
このようにして作用は十分に保存される。
いくつかの実装では、ライトスペースは、停留作用の原則(ラグランジアン)を使用しても計算され得、またはハミルトニアン作用(総合作用(total action))を保存するためにも計算され得る。
一実装では、PID(比例、積分、微分)制御器と同様に、われわれは、その積分および微分のすべてにおける動きを判定および/または推定し得る。例えばカメラまたは頭部または眼鏡の軌道は、変位において、フィードバックループにおいて、変位の微分および積分、空間を通しての移動、および/または同等物について、推定される。
一実装では、このことは、アブセレレーション、アブシティ、アブスメント、変位、速度、加速度、ジャーク、ジャウンス、その他、運動から計算されたシグネチャ、推定される運動、パラメータ、および/または同等物を介して達成され得る。
図2Cは一実施形態におけるアブスメント・ベースの信号プロセッサを図示する。
図2Cに図示する実施形態を参照すると、「SP」と表示される設定点が信号2C70として確立される。これは、例えば、身体部分による、または例えば図2Aに図示される描画ツール201などのドローツールによる、アバコグラフィック・ジェスチャ入力であってよい。信号2C70は、代替的に、ユーザにより保持される光源(例えばLED(発光ダイオード)ライト、LEDライトの任意のアレイ、またはライトが内蔵された特別な手袋)により、または空間撮像眼鏡(登録商標)装置が供給されたライト・スティックにより、入力され得る。このようにして設定点は空間内の点であってよい。この設定点は、検知された、観測された、および現実の特定の軌道および特定の運動により、空間を通してドローされるかまたは移動される。
一実装では、停留作用の原理が、実際の運動と比較して、観察された運動に関して計算され得、それにより、例えば汎用ジェスチャ検知、アバコグラフィ、アバコグラフィック・ユーザ・インターフェース、トポスカルプティング、および/または同等物のための、軌道および運動を検知および追跡する制御システム、エフェクタ・システム、および/または同等物が顕在化される。
設定値入力手順は、時間変動する波形信号r(t)を生成する。なおこの信号は、音響信号、視覚信号、またはこれらの組み合わせであってよく、嗅覚(化学センサ)および/または同等物などの他の成分も有し得る。
プロセス2C10は、一実装では、現実に実際に存在するオブジェクトおよびその運動などの、世界の側面をキャプチャし得る。この現実は、例えば、数学的にK_{−m}、…… K_{−3}、K{−2}、K_{−1}、K0、K1、K2、…… K_nとして指示されるプロセッサ2C35の様々な具体例により、モデル化され得る。
「プロセス変数」PVが現実からキャプチャ(例えば検知)され得、プロセス変数2C15として顕在化され得る。設定点と、プロセス変数の負の値と、の合成(例えば[SP]‐[PV])が、エラー信号2C25を提供するために、加算器2C20により計算される。
エラー信号2C25は、数学的には、e(t)として示される。一実装では、エラーは、プロセス変数および設定点により測定される任意の単位におけるエラーである。例えばこのエラーは、LiDAR(光検出と測距)装置(例えば「深度」(例えばセンサからの距離または変位)の測定を目的とする、キネクト(登録商標)深度センサ、プライムセンス(登録商標)深度センサ、および/またはソフト・キネクト(登録商標)深度センサ)などの変位センサ、位置センサ、距離センサ、または同等物により検知される位置、変位、距離、または同等物におけるエラーであってよい。
制御システムは、検知された量の他にもその時間微減および時間積分の一方または両方も使用し得る。運動プロセッサ2C30は、信号e(t)の運動を、例えばその速度、加速度、ジャーク、ジャウンス、アブスメント、アブシティ、アブセレレーション、アブサーク、アブサウンス、および/または同等物を、計算する。
変位の時間微分は変位の変化率であり、速度と呼ばれる。大きさまたは絶対値において、距離の時間微分は速さである。
変位の時間積分すなわち変位−時間グラフでの面積はアブスメントとして知られる。
「深度」センサ上のPID制御器は、一実装では、深度(例えば、メートル、センチメートル、および/または同等物の単位)を計算することを、ならびに、それぞれ速度およびアブスメントにおけるその微分(例えば毎秒メートル(m/s))およびその積分(例えばメートル秒(ms))を、含み得る。一実装では、積分および/または微分は深度エラーe(t)に対して計算され得る。
プロセッサK_{−1}は、アブスメント・プロセッサであり、アブスメント信号(e(t)の時間積分)に対して作用する。プロセッサK0はe(t)に対して作用する。プロセッサK1は微分de(t)/dtに対して作用する。
一実装では、制御器は、アブシティ(変位の積分の積分、すなわちアブスメントの積分)信号およびアブセレレーション信号、ならびに加速度信号を使用する。いくつかの実装ではより高次の微分および積分(例えばジャーク、ジャウンス、アブサーク、アブサウンス、および/または、同等物)も用いられ得る。
処理された運動信号2C40が加算器2C45において加算され、この合計がMV(操作された変数)またはSV(スカルプトされた変数)であり、この合計は、数学的には信号u(t)として示され、図2Cでは信号2C50として示される。
運動信号は、基本的変数として範囲または位置を有するものとして示されるが、これは決して限定を意図するものではない。運動信号は代替的に、量2C55(例えば運動量およびその時間微分)として、および/または量2C60(例えば作用およびその時間微分)として、顕在化され得る。
したがってスペースグラスにおけるジェスチャ検知・トポスカルプティング・システムは、拡張介在現実の操作またはスカルプティングの状況における物理的モデリングおよび物理的現実の理解の基礎として物理学の原理を使用し得る。
図2Dは一実施形態におけるトポスカルプト・システムを図示する。
図2Dは、描画ツール201が例えば押出により3次元空間内に2次元多様体を描画するために使用される、実施形態を図示する。描画ツール201は、一実装では、それぞれが個別にアドレス可能な、光源のアレイを含み得る。一実装では、それぞれの光源は、R(赤)、G(緑)、B(青)、およびI(赤外線)の4つのカラー・チャネルに関するPWM(パルス幅変調)を使用して、色に関してアドレス可能である。一実装では、各RGBIソースは、例えばそれぞれのカラー・チャネルに対する8ビットのバッファなどのバッファからPWM入力を受け取り、それにより、例えば、各カラーが、32ビット長であるカラー・ワードにより判定される。これにより、それぞれの光源が表現し得る略4,295,000,000カラー(すなわち4,096メガラー)がもたらされ、そのうちの16メガカラーが可視スペクトル内において一意的である。
描画ツール201は、様々な実装では、剣もしくはサーベルの形、もしくは仮想バトルなどのゲームをプレイするための仮想ウェポン状のオブジェクトの形を取り得る。代替的に、描画ツール201は、発光ロープのようなフレキシブルなアイテムであってもよく、またはLEDグローブの形を取るなど、装着可能であってもよい。なおLEDグローブは、1以上のエクストラミッシブ空間撮像デジタル眼鏡装置のアクティブ(エクストラミッシブ)ビジョン・システム、および/または同等物に対して受動的に応答する逆反射するビーズを有する手袋である。
図2Dの例において図示される描画ツール201は、48個の光源を、その長さに沿って有し、それらの光源のそれぞれは、一例では、4つのチャネルを含み、したがって192個の光源が描画ツール201に存在する。ドローツールが空間を通して(例えば長時間露光写真のように)動かされると、露光2D40が後に残される。なお露光2D40は描画ツール201の左側に示されている。描画ツール201の48個のランプのうちの最高の8個が、露光2D40の左側に拡大された状態で示される。
これら8個のランプのこの拡大図が図示され、ランプL1と標識付けられたランプは露光E1を形成し、ランプL2は露光E2を形成する。この理由は、ランプL1およびランプL2の両方がこの時点では点灯しているためである。ランプL3は非点灯である。ランプL5は点灯され、ランプL8も点灯され、ランプL5およびランプL8の両方がそれぞれの、光の痕跡、縞、または塗りつけを、ランプL1からの露光E1およびランプL2からの露光E2のように、残す。
ランプ2D8(ランプ2D9のうち、マップL8を通るランプL1が例である)は、光の縞を露光2D40として残す。この光の縞は、ランプ2D8が制御可能に調節される場合、制御可能およびアドレス可能な2次元多様体の露光を形成する。この露光は例えば、3D視覚化に対して有用な、スペルアウトされた単語、テキスト、グラフィックス、または形状(例えばロケット・エンジンのノーズ・コーン)であってよい。テキストの例では、われわれは長時間露光写真の間、または露光統合化されたビデオ(exposure−integrated video)として(例えば光クオンティグラフィック的に)表示されるビデオにおいて、単語(例えば「HELLO WORLD」)を空間にスペルアウトし得る。
描画ツール201が左から右へとページを横切って動かされるのに伴い描画ツール201は露光2D40を後に残し、描画ツール201がさらにページを横切って動かされると露光2D40はより長くなる。
「HELLO WORLD」メッセージにおけるあるポイントにおいて、第1の文字すなわち活字「H」は、例えば文字露光2d51として、フォント文字生成器セットから空間を通して「ペイント」または「描画」されるであろう。なおこの活字は、所望により3D空間に形成された「ファジー・フォント」(アンチエイリアスされたフォント、またはトゥルー・フォント(登録商標)フォント)またはフルカラー画像も含み得る。
メッセージまたはアルファベットを綴る文字のセットは文字露光2D60を表現する。文字露光2D60のうち、活字「H」(文字露光2D51)がその一例である。描画は空間を通して継続し、活字間は暗黒(ゼロ露光)となる状態で、またはいくつかの実装ではそれぞれの活字が空間中で巻かれた3Dリボン上に浮かぶように活字間で背景が露光される状態で、文字露光2D55として、最初に「H」、次に「E」と続き、次第に第5の活字「O」へとそれぞれの活字が綴られ、次にスペースが続き、その後、活字「W」、「O」、「R」、「L」、「D」、その他が後続する。いくつかの実装では、描画、テキスト、および/または同等物が、家の周りに、階段を降りて、玄関を出て、街路を通って、および/またはその他同様に、リボンを引き得る。
文字は、一実装では、描画ツール201を保持する人が、描画ツール201およびテーブルトップ表面2D70などの表面を見ることができる装置1300などのDEG(デジタル眼鏡)を装着しているために、ビデオ軌道安定化された空間内に描画され得る。
描画ツール201は可視光を文字露光2D60に対して放出し、この可視光はDEGによる追跡と干渉しない。一実装では、描画ツール201により放出される可視カラー(RGB)に関わらず、装置1300からの赤外線光の光線2D21が描画ツール201を照明し、次に、光線2D22として戻り、検知される。
可視光線2D23も描画ツール201を照明し、光線2D24として反射され、装置1300により記録される。一実装では、装置1300は、装置1300に対する描画ツール201の正確な位置を時間の関数として記録する一方で、空間を通して移動するドローツールのビデオをキャプチャする。装置1300は、装置1300に対するテーブルトップ表面2D70の位置も、時間の関数として記録する。 テーブルトップの位置(または静的なシーン内の任意の他の認識可能なオブジェクト)、ならびに描画ツール201の、装置1300に対するそれぞれの位置を、知ることにより、環境に対するドローツールの相対的位置が判定され得る。
空間全域にわたりドローツールを使用すると、空間に関する環境マップが、一実装では、構築されるかまたはダウンロード(利用可能であるならば)され、それにより、空間が屋外景色であったとしても、または屋内の内部空間であったとしても、ドローツールを空間内で動かすことができる。屋内の場合、何もない家の内部でドローツールを部屋から部屋へと移動させ、例えば家に家具が入った場合には家がどのような様子に見えるかをユーザが可視化することが可能となるよう、ドローツールを使用して中空に家具を描画することができる。
後者の例ではユーザ180Uは、サイトペインティング(登録商標)運動(ライトペインティングと「見ることによる彩色」との組み合わせ)を行い、それによりユーザ180U自身の現実をスカルプトおよび創造する。一実装では、エフェクタ信号、投影、および/またはその他の同等物が、閲覧される環境に対して、マーク付け、注釈付け、図示、および/またはその他の同等物を行うために、さらに用いられ得る。エフェクタ信号は、カスタムメードであってもよく、リアルタイムで作られてもよく、描画されてもよく、および/もしくは格納された記録から導出されてもよく、および/またはその他であってもよい。
一実装では、第2のユーザ181Uは、ユーザ180Uにより描画されたアバコグラフまたはトポスカルプトを見ることができ、それらのアバコグラフまたはトポスカルプトに対して注釈付けすること、それらに対して追加すること、および/またはその他の操作を行うことができる。
このことは、例えば3D可視化、ロケット・エンジンの共同設計、病院内での患者の支援、および/またはその他の同要物などの、様々な形態の協調のために用いられ得る。
一実装では、サイトペインティングを用いる他の形態の共同作業は、例えばユニティ3D(登録商標)ゲーミング環境を使用するゲームであってよい。
例えばユーザ180Uが、例えば空間を通して「HELLOW WORLD」という語を書き、その語に赤色を割り当てる。ユーザ180Uはこのようにして赤として自己指定した。
ユーザ180Uが歩き回り、異なる確度から文字露光2D60のアバコグラフを閲覧するのに伴い、HELLOW WORLDという語は3D空間内で浮かぶように見える。
ユーザ180Uはこのアバコグラフを見ることもできる。
1つのゲーム・シナリオではユーザ180Uは「赤プレイヤー」でありユーザ181Uは「青プレイヤー」である。
赤プレイヤーが「世界を赤く塗」るべく努力し、青プレイヤーは世界を「青」く彩色するべく努力する。赤プレイヤーは「赤ペイント」(赤色アバコグラフ)にタッチし、さらには「赤ペイント」を貫通するように押すことができるが、青プレイヤーが赤いアバコグラフにタッチした場合、青プレイヤーは「死」んでしまい、ゲームに負ける。
同様に青プレイヤー、すなわちユーザ181Uが露光2D90を形成する。赤プレイヤーは「VOXaber of Death」(登録商標)システム、すなわち48個のLED(発光ダイオード)を有する剣状のオブジェクトを選択し、その一方で青プレイヤーは、LED発光ロープである「Blue Rope of Tyburn」(登録商標)システムを選択する。ユーザ181Uはその発光ロープをループさせてリングまたは「輪」を作り、それにより露光2D90などの「青パイプ」を空間を通して押出す(引く)。
両方のプレイヤーは実際には、フレキシブルな発光ロープを含む同一のドローツールまたは同一種のドローツールを使用する。係る発光ロープは、気泡ゴム製の「剣」(遊んでいる間に子供が怪我しないよう柔らかい)に取り付け可能であり、または取り外して他のフレキシブルな形状を生成することが可能である。他の実装ではプレイヤーは単一のアプリケーションの具体例内で、異なる描画用ツールおよび/または異なる種類の描画用ツールを使用し得る。
一実装では、ドローツールは販売促進品として販売されるそれぞれのDEGに含まれ得る。
一実装では、装置1300のDEGを装着しない人も、ユーザ180Uがドローツール を前後に振り続けると、「HELL WORLD」などの語を見ることができる。これは、被参加者が、スペースグラスを購入することにより、またはスペースグラスをレンタルすることにより、ゲームにジョインするために観察することを誘うことを支援し得る。例えば傍観者は、プレイヤーが空間を通して光を振る様子を見ると、プレイすることを望むであろう。アバコグラフのうちのいくつかのライブ・ビデオ供給も印刷され、それにより人々がプレイすることに興味を示し、スペースグラスをレンタルしてゲーム二酸化することを望む可能性がより大きくなることであろう。熱心なプレイヤーは、自分専用のスペースグラスを購入し、自分の手元に置いておけるよう描画ツール201のようなXaber(登録商標)システムを手に入れるであろう。したがって図2Dの実施形態は、装置1300のDEGをマーケッティングする方法として使用されることが可能である。
加えて、赤プレイヤーが玄関を横切って「HELLO」と書くと、青プレイヤーは室内に監禁しれることとなる。青プレイヤーは赤テキスト「HELLO」にタッチすると死ぬが、例えば文字露光2D55の右手側の下方(この位置では文字露光2D55がわずかに地面から持ち上げられている)を匍匐することができる。このようにして、ゲームは健康増進に資する。
匍匐することおよび狭い空間に身体をすり合わせることは、身体の強度および柔軟性の発展の一助となる。リンボー・ダンスのようなゲームを、拡張介在世界で可視である、空間を通して描画されたアバコグラフィック・ラインを用いてプレイすることが可能となる。
他のゲームでは様々なプレイヤーが空間を通してパイプを描画し得る。露光2D90などの青パイプは青プレイヤーに属する。ユーザは、その側部にタッチすることなくパイプの中を通って匍匐するかまたはジャンプすること、および/または引き続きパイプを押し出すこと、を毎回行うよう、チャレンジされる。ゲームは例えば1本の「フープ」またはリングから開始され、その「フープ」またはリングは、それぞれ順々に、1人を除く全プレイヤーが、パイプにより占有される仮想空間において失敗またはタッチするまで、次第により長く「引き出され」る。
他のゲーム・シナリオでは、プレイヤーが、パイプの側部にタッチしないようパイプの中を通るようにボール投げる。
一実装では、サイトペインティング(登録商標)システムは、装置1300が環境内の基準点を検知しその一方で描画ツール201の位置を追跡することを介して達成され得る。ここで描画ツール201から装置1300へのコンパラメトリック座標変換をg_{2,1}とする。装置1300から、テーブルトップ表面2D70などの環境内のなんらかの表面への変換をg_{1,0}とする。するとドローツールから環境への変換はg_{2,0}=g_{2,1}g_{1,0}により求められる。
さらにドローツールにおけるそれぞれのLED(発光ダイオード)の、または係るLEDのうちの選択された部分集合の位置は、露光の光縞の写真画像またはビデオグラフィック画像(例えば高レゾリューション)とともに、時間の関数として記録される。ユーザ180Uの立ち位置の、特にユーザのそれぞれ目のPOE(アイ・ポイント)の、座標にアバコグラフを描画するために、画像ベースの描画が使用される。
一実装では、このことは、ユーザが空間を通して動くのに伴い、リアルタイムで(例えば、継続的に、周期的に、トリガに基づいて、および/またはその他同様に)実行および更新され、このことは、また、ユーザ181Uなどの他の参加者(これらの参加者の装置1300の具体例は、ランプ2D8からの光線2D32および光線2D34ならびに露光2D40のこれらの参加者の具体例を検知する)に対しても、同様に実行および更新される。
「HELLO WORLD」を書くために使用された描画ツール201は、マーケッティングおよび販売され、本明細書では様々な実装において、ライト・スティック、ボクセル・スティック、ピクセル・スティック、ライト・ソード、VOX STIX(登録商標)システム、PIX STIX(登録商標)システム、LIGHT SABER(登録商標)システム、Pixel Saber(登録商標)システム、Pix Saber(登録商標)システム、PIXaber(登録商標)システム、VOXaber(登録商標)システム、LIGHT SWORD(登録商標)システム、LightBroom(登録商標)システム、および/または同等物と呼ばれ得る。
一実施形態ではDEG(デジタル眼鏡)をマーケッティングする方法は、(A)販売のためにDEGを提供すること、(B)描画ツール201の無料具体例を、または描画ツール201のローンを、販売促進条件の一部としてDEGとともに提供すること、(C)そのように提供されたドローツールを使用する競技への参加にカスタマを招待すること、および(D)競技の賞品としてインセンティブを提供し、そのようにして間接的に描画ツール201とともにDEGを販売促進すること、を含み得る。
一実装では、複数の参加者がアバコグラフをトポスカルプトまたは作成している場合、様々な角度からの(例えば装置1300の別個の具体例のそれぞれからの)可視光記録が組み合わされることとなり、より多くの情報がキャプチャされ、より良好なアバコグラフが描画され得る。
さらに、いくつかの実装では、環境内において1以上の補助的なカメラ、センサ、光源、プロジェクタ、および/または同等物が使用され得る。例えばゲーム空間では、監視カメラがオーバーヘッドから使用され得、個々のプレイヤーは、自分たちが参加している活動に関するそれぞれの監視記録を提供し得る。監視と逆監視との組み合わせが、監視のみまたは逆監視のみの場合と比較して、より高い確度の視察記録を提供する。
カメラは、一実装では、異なるモードで動作し得る。例えば監視カメラが高解像度可視光記録を提供する一方で、逆監視カメラは「手の届く範囲」の近距離確度の視覚的位置情報を提供する。
周波数分割多重化
いくつかの実装では描画ツール201は、装置1300がオブジェクトの位置および/または範囲を検知する「取得」とは異なるスペクトル・バンドで動作することが可能である。
例えば一実装では、ドローツールは、あまり大きいエネルギー、パワー、および/または同等物を、オブジェクトの位置を判定するために装置1300により使用されるスペクトルの赤外線部分には含まない可視光を放出することができる。一実装では、装置1300の2人のユーザは、それぞれ他ユーザの検知と干渉しないよう、またはドローツールが赤外線を放出しないかぎりドローツールにより干渉されないよう(例えば装置1300がオブジェクトの位置を特定するために受動的赤外線ビジョンを使用可能となるよう)、周波数分割多重化(例えば2つの異なる周波数帯)を使用し得る。
ゲーム内の異なるプレイヤーが、例えば、異なるカラーの可視光を使用し得る程度までは、係る異なるカラーは、周波数分割多重化を具体化し得る。係る周波数分割多重化は、様々なプレイヤーの描画用ツールを明確化するために、ゲーム用システムにより用いられ得る。
代替的に時分割多重化も使用され得る。例えば1つのドローツールが第1の「取得」を行う間に放出し、他のドローツールが第2の取得を行う間に放出する。なおここでは取得は、装置1300の1以上の具体例からの、インターリーブされた露光であるか、またはインターレースされた露光である。
さらにライトスペースの原理(例えばスーパーポジメトリック撮像の原理)が、それぞれの光源に起因する、結果的に生成される露光を判定するために適用され得る。
この状況で、光源はライトスペースにおいて明確化され得る。さらに、描画ツール201内のそれぞれの光源は、その光源に起因する光が検知されるよう、別個に調節され、それにより、トポスカルプチャの個々のピース(例えばパイプ・メッシュまたはパイプ・スカルプチャの個々の「スレッド」)を別個に操作することが可能である。
図2Eは、一実施形態におけるトポスカルプティング・システムのさらなる詳細を図示する。
図2Eは、アバコグラフ2E10などのアバコグラフの様々な例を例示する。このアバコグラフ2E10は、スタート時は微弱露光2E11であり、ユーザが光源(または指先)を空間を通して螺旋状に動かすのに伴い、露光2E12に向かって増加し、ついには露光2E13へと達する。なおこの露光2E13では、露光がより強くなっている。様々な実装では、露出の変動は、ユーザによる制御が(例えばドローツール・インターフェースを介して、トリガを介して、仮想的トリガ・ジェスチャを介して、事前設定された露光プロファイルを介して、および/またはその他同様に)可能であってもよく、自動化されてもよく、事前設定されてもよく、環境的にトリガされてもよく、および/またはその他同様であってもよい。
一実装では、トリガは、(例えば玩具のレーシングカーからサルベージされた)60オーム可変抵抗器で、強く握り締めるほど車の速度が増すスクイーズ・トリガであってもよい。このようにするとドローツールは、トリガを強く握り締めるほど明るさが増す光源を有する玩具の銃として作られる。光は出力において連続的に調節可能である。したがって「描画銃」としての描画用ツールは、ホルスターから抜くと、3D空間に描画された任意の角度から見ることが可能な美しい光ペインティングに見える形状を空間内に描画するために使用することができる。
代替的に指先を認識する実装では、親指が人差し指に向かって動かされるのに伴い効果が合成され(例えば仮想的光源の強度が増す)得る。指180F自体がドローツールとなっており、60オーム可変抵抗器を使用せずとも、親指180TTが当該の指に近づけられる際、仮想的光源の強度に対する調節は、当該の指の先端部と親指の先端部との間で検出される距離、当該の指と親指180TTとの間の角度、および/またはその他同等物と、対応付けられる。
いくつかの実装ではアバコグラフが描画される際、握り締めジェスチャはそのアバコグラフを把持することができる。1つの係る実装では、装置1300は、例えば手と手が握り合う、または指と指が握り合う際の、肌の触れあいコンタクトを検出する。
肌の触れあいコンタクトは、例えば空間内の3D位置により、肌が他の肌に押し付けられるときの肌の変形により、および/またはその他同様に、検知される。それにより圧力の度合いが確認および検知され、係る確認および検知により、連続的に変化するジェスチャが形成される。連続的に変化するジェスチャは、この状況において、光度加減ジェスチャなどのパラメータ化された制御器として有用である。係る制御器において、ランプ出力は、指180Fと親指180TTとの間で形成される角度に比例する。なお係る角度は、指180Fからビジョン・システム180Vを通って親指180TTまでの角度として装置1300により取られる「角度FVT」と呼ばれる。
一実装では、角度FVTのコサインが計算され、PWMドライバのデューティサイクルを光源に対して調節するために使用され得、および/または、仮想的光源のレベルを制御するために別様に使用され得る。
仮想的光源の場合、照明の効果は、光源と、アバコグラフ2E10のその具体例と、によりルーム照明をキャプチャするために、合成(例えば再描画)される。
様々な種類のアバコグラフを操作することが可能である。例えば露光2D90のパイプ形状の具体例は、ハンド・ジェスチャを使用して、アバコグラフ2D91へと、広げられるか、曲げられるか、または再スカルプトされる。この多角形押出成形はアバコグラフ2D92へと解くことも可能である。
様々な形態のコンピュータ・グラフィックおよび画像ベースの描画は、高い視覚的訴求を有する写真画質に迫るスカルプチャを提供する。係るコンピュータ・グラフィックおよび描画は、都市の配管工事設計などの、ハイドローロフォンに類する仮想的楽器を、CFD(計算流体力学)環境においてトポスカルプトされ得る仮想的パイプを通る仮想的水を使用して仮想的パイプからスカルプトおよび構築するなどの、および/またはその他同様の、芸術的オブジェクトとして、ゲーム用オブジェクトとして、または実際的および/または工業的目的のために、操作することが可能である。
図2Fは一実施形態におけるハンド・ベースのトポスカルプト・メッシャーを図示する。
図2Fは、指自体をドローツールとして使用する実施形態を図示する。指には、例示された例では、「グローブ・ライト」玩具那とのLEDグローブが嵌められる。他の実装では、光源を用いて指の上に投影が作られる。係る投影は、指の上に投影された検出可能な構造体を含み、指、装着されたグローブ、および/またはその他同等物に固定された反射器から反射し得る。一実装では、ドローツールは合成により(例えば、指がただ追跡することにより)実現され得る。光が存在する状況を考えてみることにする(素手の場合、手を仮想的光と見なし得る)。
一実装では、8つのLEDからなる線形アレイが存在し(または合成され)、これらのLEDは、例えばランプ2F64内において縦8個と横8個(8×8)のアレイの64ポイントにより画成されるアバコグラフィック・メッシュを描く。一実装では、これらのポイントは、スパットとしてモデル化され、例えば監視カメラと、これらの監視カメラの観点と、を表現する。それにより手180MDのハンド・ジェスチャが一掃すると、監視メッシュ、またはメッシュ都市、または他のメッシュ空間が画定されることが可能となる。
メッシュは、例えばランプL11から発した露光E1などの8つの輝く露光を含み得る。ランプ2F8の3つの具体例は、第1の時間ポイントにおいて、ランプL11、ランプL21、ランプL31、……、およびランプL81を画成する。
ランプL11が動かされると、露光E1が形成され、ランプL11は点滅するか、または出力が変動し、それによりアバコグラフが形成される。後の何らかの時間ポイントにおいて、ランプL11はランプL12として、次にランプL13として、以下同様に再び現れ、8回現れると、露光E1の8つの異なる部分が作られる。
ランプL21もランプL22として、次にランプL23、および以下同様に再び現れる。それぞれのランプは、ランプL81に至るまで、1つの経路を描く。例えばランプL81は、これらのランプが様々な時間ポイントにおいて考慮されるのに伴い、ランプL82として、次にランプL83として、経路を描く。
例示される実装では、左から右へと横切って時間が存在し、上方から下方へと、空間が存在する。
8つのランプはこのようにして時空連続体を描く。われわれは縦8×8(すなわち64ピクセル)アレイとしてサンプリングすることを選択したが、この時空連続体は、空間においてサンプリング(離散化)されたものでるが、時間において略連続である。空間とマッチするように時間を刻むというこのタスクを実行する手段、装置、デバイス、ソフトウェア、ファームウェア、またはその他同等物は、メッシャー(登録商標)方法またはシステムと呼ばれる。メッシャーは、われわれが3D「ワイヤフレーム」をアバコグラフから生成することを可能にする。教科書の罫線紙のような1列の平行線に適用されると、メッシャーは、グラフ紙のように見えるものを罫線紙から生成する。時空連続体において、メッシャーは、一実施形態では、メッシュの軸が等方性を示すよう、空間増分にマッチする時間増分を決定する。比喩的に言えば、一実施形態では、アバコグラフィは、ビーズない計算盤に類似したオブジェクトを3D空間に生成する。メッシャーは、ビーズ間の間隔がワイヤ間の間隔とマッチするよう、計算盤状の露光のそれぞれの「ワイヤ」(露光縞線)上に、仮想的なビーズを挿入する。次にこれらのビーズは、ワイヤフレーム・メッシュを生成するために、ワイヤに対して垂直な方向に一緒に接続される。
このようにして、指は実際の光源および/または合成光源を用いて空間内に「フィンガー・ペインティング」を生成することができ、それにより、一実施形態では、ワイヤフレームのモデルまたはメッシュが生成され、次に係るモデルまたはメッシュに、光を用いて、ハンド・ジェスチャを用いて、またはその他同等物を用いて、テクスチャ・マッピングまたは「ペインティング」を施すことができる。
したがって一実装では、メッシュは、時間において直接的に画成され、空間において間接的に画成される(例えば一時的に類推される)。
横切って一掃するビデオがキャプチャされるのに伴い、その内容は、ポストプロダクションにおいて光出力を変動させることにより(例えば合成的に)編集され、それにより任意の所望のパターンが事後に達成され得る。
一実装では、デジタル眼鏡190のユーザは描画ツール201を使用し得る。それぞれのユーザは描画ツールの具体例を追跡し、したがって2人以上のユーザは、ユーザ相互作用の間および/またはユーザ相互作用が完了した後に、いかなる物理的なマーキングを形成する必要なしに、共有される描画空間をデジタル眼鏡180およびデジタル眼鏡190を介して(例えば図1Aの第1の拡張介在現実空間1000において)経験し得る。共同作業セッションが記録され、それにより、記録が再生され、ユーザは共同作業セッションを後学のために再閲覧することが可能である。
この形態の計算は、メタファーの必要がないナチュラル・ユーザ・インターフェースを作り出し、したがって一実装では、直接的なユーザ・インターフェース経験を形成する。
図2Gは、逆表面およびメタテーブルの一実施形態を図示し、この逆表面およびメタテーブルは、いくつかの実装ではMETAtable Sousface(登録商標)システムと呼ばれ得る。
図2Gは、一実施形態における逆表面およびメタテーブルを図示する。一実装では、スマート表面は(例えば所有地、建築物、壁部、天井、板、およびその他の同等物に固定された)監視カメラにより制御され得るが、表面130の逆具体例は、例えばユーザ180Uにより装着され得る装着可能なカメラ・システムにより追跡されるよう、構成および/または最適化され得る。
一実装では、ジェスチャ追跡は、逆監視下にあるオブジェクトに対して行われ得る。一実装では、逆監視は、活動の参加者による活動に関する記録、検知、キャプチャ、および/またはその他の同等物である。一実装では、装着可能カメラは、監視カメラではなく、逆監視カメラであり、したがって、例えば人間中心の相互作用設計のために、人間を中心とする座標系を提供し得る。
一実装では、オブジェクトに関して、またはオブジェクトに対して行われたジェスチャは、メタ接触性の経験、および/または情報を提供する。例えばここで、メタ情報は、オブジェクトおよび/または関連するオブジェクト上に、固定、マーク付け、表示、指定、関連づけ、提供、および/またはその他同等物が施され得る。一実装では、係る経験および/または情報は、触覚(例えばタッチすること)および/または自己接触(例えば自己にタッチすること、両手が合わさったときを検知すること、および/またはその他の同等物)を提供する。いくつかの実装では、ジェスチャ検知と組み合わされた触覚およびメタ触覚はメタ・触覚と呼ばれ得る。ここでメタ情報は、触覚およびジェスチャ検知の重なりに存在する。いくつかの実装では、自分自身の身体との触覚、例えば両手を合わせること、中指で他の何かにタッチしつつ人差し指と親指とをタッチすること、および/またはその他の同等物は、「自己触覚」と呼ばれ得る。例えば一実装では、自己触覚マルチ・タッチ・ジェスチャは、他の3本指でオブジェクトにタッチしつつ親指と人差し指を押し付けることを含み得る。このジェスチャは、指先ポイントにより三角形を形成し、それにより、一実装では、3D空間において自由度が9となる。一実装では、10番目の自由度が、親指および人差し指を一緒に握り締める強度により定められ得る。一実装では、親指と人差し指とで作られた肌の閉じられたループは、様々な種類の自己ジェスチャに対する入力および/または追加的なパラメータを提供し得る。いくつかの実装では、メタ・触覚に適用可能なオブジェクトは「メタブル」と呼ばれ得、メタ・触覚に適用可能でないオブジェクトは「非メタブル」と呼ばれ得る。一実装では、ユーザのリーチ、タッチ、把持、および/またはその他の同等物を越えるオブジェクトは、非メタブルである。例として、恒星、遠方の惑星、太陽、月、非常に高い天井を有する建物内の天井付近の高い位置にあるオブジェクト2G140、および/またはその他の同等物が挙げられる。一実装では、オブジェクト2G150のようにリーチをわずかに越えるオブジェクトは「半メタブル」と呼ばれ、トポスカルプト用杖2G160などのメタ細法、描画ツール201、および/またはその他の同等物を用いてリーチすることが可能である。
一実装では、非メタブルなオブジェクトは、一実装では、メタブルなオブジェクトに対するよりも、相互作用され得る(例えば何らかの触覚的感覚で、レンズを通して、仮想的にタッチされ得る)。トポスカルプト用杖2G160は、一実装では、例えば、「杖」でリーチされた遠方のオブジェクトに仮想的な触覚を伝えるために、ジオフォン、振動器、呼び出し機用モータ、タクタイド(登録商標)システム、および/またはその他の同等物が嵌合され得る。例えば杖をかざしリング2G161の中を通して例えば遠方の星雲を見た場合、アンドロメダ星雲がリング2G161内に位置したなら、杖が振動し得る。このようにリング2G161は、一実装では、触覚ビューファインダとして動作し、ユーザが「星にタッチ」すること、または別様に空、近方のオブジェクト、遠方のオブジェクト、広告板上の画像、広告、文書、もしくはコンピュータ・スクリーン、および/またはその他の同等物に「触れる」ことを可能にする。一実装では、ジオフォンによる身体接触は、ユーザが星を閲覧し、特定の星を、頭部における震動または頭部上の震動として感じることができるよう、装置1300内で実装され得る。他の実装ではトポスカルプト用杖2G160のハンドルおよび/または装置1300は、遠隔または遠方のオブジェクトと関連付けられたときに接触の感覚が生じるよう、直接的および/もしくは間接的な刺激(例えば、緩やかな、疼痛のない電気ショック)および/または他の形態の刺激を生成するよう構成された電極が嵌合されるよう構成され得る。
一実装では、トポスカルプト用杖2G160はユーザ把持可能な部分を有し、係る部分は、何らかの制御器であってもよく、または係る部分上に何らかの制御器を有してもよい。例えばユーザ把持可能な部分はトリガであり、および/または、トリガを含み得る。なお係るトリガは一実装では、可変抵抗器を含み得る。係るトリガ可変抵抗器(15、25、45、60、および90オームの抵抗値で販売される)は、その機能(例えばライトL1、ライトL2、ライトL3、その他)を制御するために、照明源と直列に接続されてもよく、および/または、装置1300により、および/または、トポスカルプト用杖2G160と関連付けられた1以上のマイクロコントローラにより、検知されてもよい。
一実装では、トポスカルプト用杖2G160はトポスカルプト用杖である。一実装では、トポスカルプト用杖2G160は「魔法の杖」としてゲームのために使用され得る。一実装では、トポスカルプト用杖2G160はスカルプト用ツールとして、例えば3D空間内の様々なオブジェクトを成形するために使用され得る。一実装では、トポスカルプト用杖2G160は光ベルトリング(例えば光ベルトルを彩色およびスカルプトすること)のために、ビジュアル・アート形態として、オブジェクトを視覚化する方法として、オブジェクトを設計する方法として、3D可視化の方法として、ナビゲーションの方法として、および/またはその他の同様の方法として、使用され得る。
一実装では、トポスカルプト用杖2G160は、リング2G161または他の形状および/もしくは配列の、例えばカラー・アドレス可能なLED(発光ダイオード)などの光源である(を含む)。リング2G161はランプL1、ランプL2、ランプL3、その他を含む。
一実装では、トポスカルプト用杖2G160はハンドル2G164を有する。なおハンドル2G164は、トポスカルプト用杖2G160のシャフト2G165を回すために使用され得る着脱可能グリップ2G163を含み得る。一実装では、杖を回すこの能力は、アバコグラフ2G168などの球体を長時間露光アバコグラフにおいて生成する。球形状アバコグラフは、3D空間において「把持」され、例えば他のオブジェクトを設計および構築するための「基本要素」として、操作されることができる。
一実装では、アバコグラフ2G168のような球形状アバコグラフは、例えばディナー・プレート、小皿、ディスク、および/またはその他の同等物などのメタブルな円形オブジェクト2G130を使用しても生成が可能である。ここでは、把持して回すジェスチャは、検出および表示装置1300を通して認識され、点群が判定および押し出され、および/またはその他の同様の動作がなされる。メタブルな円形オブジェクト2G130はメタブル・オブジェクトと呼ばれ得る。一実装では、検出および表示装置は、メタブルな円形オブジェクト2G130から球形状アバコグラフを生成するために、特定的な、特殊化された、および/または専用のエフェクタ信号および/またはセンサ信号を用い得る。
オブジェクト2G120のような他のメタブルなオブジェクトが、いくつかの実装では、アバコグラフを生成するために使用され得る。一実装では、例えばオブジェクトが表面130にタッチする場合、オブジェクトが手180MS、手180MD、および/またはその他の同等物にタッチする場合、メタタッチが認識される。一実装では、他方の手にタッチしている一方の手によりオブジェクト2G120がタッチされる場合(例えば両手が互いにタッチし合っている間に両手がオブジェクト2G120にタッチする場合、または他方の手がオブジェクト2G120にタッチすることなく第1の手にタッチする間に第1の手がオブジェクト2G120にタッチする場合、および/またはその他同様の場合)よりもオブジェクト2G120が一方の手によりタッチされる場合に、異なるジェスチャが割り当てられ得る。メタ・触覚のこれらの例は、一意的な効果を有する一意的なジェスチャを形成する。
例えば一方の手180MSにおいてトポスカルプト用杖2G160を保持するユーザがディナー・プレートまたは他のオブジェクトに他方の手180MDでタッチすると、このジェスチャは、一実装では、ユーザがアバコグラフィに信号を送り、このようにしてディナー・プレートがメタ・ブリコラージュのためのアバコグラフィック・オブジェクトとして認識されたことを意味し得る。一実装では、メタ・ブリコラージュは、例えばテーブルに座りながら、作業環境で収集された、歩き回る間に収集された、および/またはその他同様の、実際のオブジェクトから仮想的オブジェクトを制作することである。
一実装では、ロケット・エンジン、オートバイ用の排気マニホールド、パイプ・スカルプチャ、および/またはその他の同等物が、ディナー・プレートまたはメタブルな円形オブジェクト2G130を把持して回し、それにより球体を生成すること、空間を通してディナー・プレートを動かしてパイプを生成する(円筒形を押し出す)こと、3D空間においてアバコグラフ2G168(杖により生成されたものであれ、ディナー・プレートにより生成されたものであれ、ハンド・ジェスチャにより生成されたものであれ、および/またはその他同様に生成されたものであれ、またはハンド・ジェスチャを使用して3Dオブジェクトのライブラリから呼び出されたものであれ、例えば球体オブジェクトなど)を把持することにより、設計され得る。
一実装では、球体および円筒形などのいくつかの形状が、形状のライブラリから呼び出され得る。例えば、右手180MDで描画形状を作りつつ左手180MSでディナー・プレートにタッチすることなどの、ハンド・ジェスチャは、「円形描画」(例えばディナー・プレートのようなものを描画すること)として認識され得る。一実装では、装置1300および/または構成要素は、タッチされたオブジェクトの画像を取得し、形状ライブラリ内の記録と当該画像とを比較し、1以上の最も近いマッチする形状を選択し得る。一実装では、ユーザは、オブジェクト画像と格納された形状記録との比較の結果が閾値以下となるような、タッチされたオブジェクトに関する複数の選択可能な形状を提示され得る。
いくつかの実装では、より複雑、より精緻な、および/またはより複雑な形状が、使用および/または創造され得る。例えばユーザ180Uがディナー・プレートをピックアップして空間を通して振ると、例えば多様体2G184が作られる。多様体2G184は湾曲したパイプ状の形状となり得る。係る多様体に対してユーザ180Uがディナー・プレートを円弧状に振ると、例えば、電気的導管用に使用される「スウィープ」パイプ状の緩やかに湾曲した灰色プラスチック製のエルボ継手が生成され得る。
2G184 多様体2G184は、一実装では、ディナー・プレート、1巻のダクトテープ、フリスビー、および/またはその他同様の円形オブジェクトを空間を通して円弧状に振ることにより生成され得、一実装では、係る多様体はトポスカルプト用杖2G160を用いて創造され得る。
いくつかの実装では多様体は、2D空間および/または3D空間においてそれに向かって手などを伸ばすことにより、把持することにより、強く握ることにより、つつくことにより、および/またはその他同様の動作により、成形および伸張され移動され得る。一実装では、手が、両端を有するパイプ、またはスウィープ、または他の同様のオブジェクトの両端にタッチすると、当該オブジェクトは、異なる色で光るか、点滅するか、明滅するか、および/またはその他同様の反応を示し、それにより例えば当該オブジェクトが選択された(例えば選択されたオブジェクトは多様体2G189である)ことが示される。選択されたオブジェクトが上記の様式でハイライト表示されると、ハンド・ジェスチャは、例えばパイプ端部の所望の曲率を示すための指の曲率を使用して、パイプの湾曲または屈曲に対して、承認され、認識され、および/または関連付けられる。一実装では、手180MSの指が曲げられていることにより、湾曲半径がより小さいことをユーザ180Uが望んでいることが示される。したがって、ユーザの左側(図2Gにおいて閲覧者の右側)のパイプの端部は、「解かれた」ハンド・ジェスチャに応答して「伸張」されているパイプの他方端と比較すると、より大きく湾曲するように描画されている。
一実装では、ビデオグラフィック・アバコグラフは、CEMENT(コンピュータ・エンハンスト・マルチプル・エスクポージャ・ニューメリカル・テクニーク)を使用して編集され得る。なおCEMENTは、空間を通して掃過されたオブジェクトのオブジェクト・データをビデオ・データ、画像データ、位置データ、および/またはその他の同様のデータとしてキャプチャすることを含む操作(1)、およびオブジェクト・データをセグメント化してアバコグラフを生成することを含む操作(2)などの操作を含む。一実装では、トポスカルプト用杖2G160を使用する場合、例えばライトL1、ライトL2、ライトL3、その他が、例えばスーパーポジメトリック分析およびライトスペースの原理を使用して、これらのライト以外の全てのライトを無視する能力を有するロックイン・カメラ、ビジョン・システム、および/またはその他の同等物により、調節および/または検知されるならば、セグメント化は自動化される。操作(3)は、特定的なジェスチャ取得の時間的経過に伴って統合化されたオブジェクトの縁部またはリムの押出成形を表示することを含む。一実装では、取得は、ハンド・ジェスチャを用いて開始および停止され、または杖の場合には、取得はトリガ2G162を握り締めることおよび開放することにより、開始および停止され得る。一実装では、例えば、左側で柔らかく開始して右側で急に停止する多様体2G181(なお多様体2G181は右側で多様体2G184に接合する)に示すように、トポスカルプト用杖2G160を移動させる間にトリガの握りを柔和化して開始または停止を「羽毛状化」することにより、取得は軟開始および軟停止を有する。杖を使用しない実装では、非デジタル複数指ジェスチャ(例えば親指と人差し指との間の角度を変動させることにより、アバコグラフの開始または停止を羽毛状化する連続的トリガが作られる)が使用可能である。一実装では、ライトL1、ライトL2、ライトL3、およびその他により形成されたアバコグラフは、点の補間とクロス・メッシングとを行い、それにより連続的に湾曲したパイプまたはその他の同等物のように間隙が塞がれた「ワイヤフレーム」モデルを生成することにより、トポスカルプチャへと統合化される。
一実装では、多様体2G182と多様体2G181と多様体2G184との間の接合部は、多様体2G184に「押し込む」ことにより作られる。なおこの「押し込む」ことは、例えば、多様体2G184を通るように「穿孔」された穴が、他のパイプに対するパイプ接続を受け入れるために、多様体2G184に設けられるべきであることを他方の手180MSで拳を握ることにより示しつつ、一方の手180MDで多様体2G181または多様体2G182を多様体2G184に向かって引き寄せることにより、なされる。
一実装では、これらのパイプが接続されると、流体流シミュレーションが、例えば漏れ、接続、およびその他の同等物をチェックするために、ただちに実行され得る。例えばこれらのパイプが接合されると、特定色のテスト流体がパイプ内に描画され、いずれのパイプが配管回路において一緒に接続されているかが示される。
一実装では、流動する緩やかに湾曲するパイプ回路は、ブリコロジック(登録商標)システムを用いて設計、シミュレーション、および/またはテストされ得る、恣意的なスカルプチャとして、実際的な配管として、電気的導管設置として、構築および/または生成され得る。一実装では、ブリコロジックは論理的(計算的)ブリコラージュである。なお係るブリコラージュは、例えば、継ぎ接ぎ作業を、すなわち、日常的家庭用品オブジェクト、工業用オブジェクトおよび/もしくはデザイン用オブジェクト、建築要素、特定的に設計されたオブジェクトおよび/もしくはタグ付けされたオブジェクト、および/またはその他同様のオブジェクトを含む様々なオブジェクトを使用して、メタ・ジェスチャ、メタ・スカルプティング、アバコグラフィ、トポスカルプティング、および/もしくはその他の同等物のために様々な物を(例えばこれらのオブジェクトを使用して)構築することを、含む。
操作(4)に対して、以下が当てはまる。すなわち、一実装では、多様体2G189のようなパイプ(湾曲パイプ)が、例えば露光の特定的なセグメント上で、露光の光クオンティグラフィック合計として描画される。係る多様体2G189(例えばパイプなど)は、例えばトポスカルプト用杖2G160を使用して(例えばユーザの左手180MSからユーザの右手180MDに掃過される)、それに応じて動かされるディナー・プレートおよび/またはその他同様のオブジェクトにより、創造され得る。例えば当該多様体を短縮化する(「内向きに強く押す」)ことを望みつつ、ユーザ180Uが手180MSをパイプの中心に向かって動かす実装では、ビデオフレームは、統合化された露光フレームの合計がシーケンスにおけるより後方で開始するよう、記録の開始点から除去される。例えば10秒のビデオ露光から作られたアバコグラフは、600個のフレームを有するであろう(毎秒60フレームに10秒を乗算した)。全露光は、フレーム1〜フレーム600の光クオンティグラフィック合計である。ユーザの左手に対応するパイプの端部におけるパイプの短縮化は、ジェスチャ認識および/または手位置認識を使用して手がパイプに沿って内向きに移動したかどうかを判定する操作(4a)と、空間位置におけるこの変化を時間における変化に変換するための空間・時間補償を計算し(例えば本来の露光における加速度に対して補償するために)、それにより空間位置を時間位置に変換する(例えば左手がパイプに沿って全長の1/3だけ内向きに移動した場合、その移動はビデオ全体のうちの1/4に対応する)ことを含む操作(4b)と、時間位置をビデオにおけるフレーム番号(例えばここでは仮にフレーム番号を150とする)に変換することを含む操作(4c)と、ビデオフレーム151〜ビデオフレーム600の新規光クオンティグラフィック合計を計算し、この合計を、パイプの新規アバコグラフ(フレーム1〜フレーム150の寄与をもはや含まない)として表示または描画することを含む操作(4d)と、を含む。
同様に、右手180MDは統合化された露光の合計の終了フレームを制御し得る。例えば右手を中心に向かって移動させることは、フレーム150からフレーム600まで行くことに代わって、フレーム150からフレーム400まで行くよう、その合計を変化させ得る。したがって長時間露光写真は、手において開始および終了する軌跡の縞として生成され得、手が動くのに伴い、縞および/または写真は、例えばビデオ・シーケンスにおいて適切なフレームを選択することにより縞および/または写真が手の終点と合致するよう、描画される。一実装では、ビジョン・システムが真の3Dであるため、結果は、ユーザが位置している任意の角度から描画され得る。また、1以上の追加的なカメラが環境内において、空間を通して動かされた杖またはオブジェクトの高解像度露光をキャプチャし、それにより係る露光をフォトリアリスティックに描画するために(例えば係る露光が暗い道路を移動中の自動車ヘッドライトから生成された長時間露光写真のように見えるように)、固定されてもよい。
操作(5)に関して、以下が当てはまる。すなわち一実装では、メタ・空間・時間連続体演算子が、空間と時間との間の関係(例えば空間と、アバコグラフのビデオ記録のフレーム番号との間の関係)を決定する。ビデオ記録は、例えば、表面130(オブジェクトとも呼ばれる)またはトポスカルプト用杖2G160などの押出器オブジェクト上のすべてのポイントのフォトリアリスティックな軌跡および/または真の3D位置をキャプチャし得る。押出器オブジェクトがトポスカルプト用杖2G160である場合、トリガ2G162の位置などの追加的なメタ情報が記録され得る。いくつかの実装では押出器は、印刷された活字、ジェスチャで示された活字、2D画像、アイコン、ノズル、押出ダイ、「クッキー・カッター」、および/またはその他の同等物であってもよい。例えばユーザ180Uが、右手180MDで押出ジェスチャを引きつつ左手180MSで新聞ヘッドライン中の活字「I」を指した場合、活字「I」を押し出すことにより「I」ビームが作られる。同様に、一方の手で活字「L」を指し他方の手でそれを押し出すことにより、仮想的な「アングル鋼」ビームを作製することができる。一実装では、コンピュータ・ビジョンは活字の正確なフォントを使用し得る。それによりユーザは、例えば、ビーム強度、ビーム剛性のコンピュータ・シミュレーションを使用することによりビーム設計およびそのテストを迅速に行うために、新聞印刷フォント、切り抜き、子供の文字ブロック、および/またはその他の同等物のような様々な実際の物理的な「I」形状オブジェクトを使用し得る。
一実装では、空間・時間演算子は、例えばビームまたは他の押出に沿った等しい距離がビデオにおいて位置特定されるよう、ビデオのどのフレームがビームに沿ったどの位置に対応するかを決定する。
操作(6)に対して以下が当てはまる。すなわち一実装では、例えばクロス・メッシングが空間および/または時間における等しいポイントにおいて適用される。図2Gに示す軌跡は押出経路に沿う。いくつかの実装では、クロス・メッシングは、パイプに沿った円形として(一実装では、パイプを形成するパイプ形状計算盤の「ワイヤ」のそれぞれに沿った「ビーズ」として。なおここでは、特定の時点に対応する1セットのビーズが「ワイヤ」と接合され、それにより円形が形成される)表示され得る。例えば1つの円形は、パイプに沿って距離の単位ごとに、および/または変動し得る離間プロファイルにしたがって離間した状態で、描画される。
このようにして、例えば、ビデオフレームを光クオンティグラフィックに剛健することにより生成された長時間露光「光ベルトル彩色」写真と同様の快適な外観を有するフォトリアリスティックな輝く光として描画され得る交差メッシュが生成される。
一実装では、ディナー・プレート、箱、ハサミで切り抜き可能な厚紙メタブル、および/またはその他の同等物などのオブジェクトは、糊、テープ、ハサミ、および他のオブジェクトを使用して例えばロケット・エンジンを構築するためにユーザ180Uにより使用され得る。一実装では、装置1300のビジョン・システムは、例えば画像比較を介して糊、テープ、ハサミ、および/または他の構成要素を認識し、それにより、ユーザが何かを構築しようとしていることを推測すること、ユーザが教育用のデータおよび/またはアプリケーションを提供しようとしていることを推測すること、ユーザが何を構築しようとしているかを判定すること、および/またはその他同様の活動を行う。
一実装では、メタブルな逆表面は、追加的な装置2G169を有する表面130であってよく、この装置2G169は、例えば表面130かいつタッチされたかを検知し、表面130上でのハンド・ジェスチャを検知することにより、トポスカルプティング・ジェスチャの検知を支援する。
いくつかの実装では装置2G169はテーブル上でのタッチを検知する。このことは、例えば装置1300が、テーブルから離れているがテーブルに近接する指と、実際にテーブルを押圧している指と、の間の差異の検知に困難を有する場合に当てはまり得る。一実装では、装置2G169は、装置1300の他の具体例であり、例えば他のユーザ181Uにより装着され得る。このようにして「他者の眼を通して見る」能力により、側方視野がもたらされる。一実装では、四方を見渡すテーブル上のカメラが用いられ得る。
一実装では、表面130はマーキングの格子を表面130上に含み、係るマーキングは人間可読性であり、および/または機械可読性である。それによりこの表面は、例えば、ドットまたは他の形状のアレイを表面上に有し、ユーザが表面上で手を配向することが支援される。一実装では、接触性ドットが用いられ得る。なお、この接触性ドットは、タッチされたとき、指に刺激を提供する(例えば、直接(刺激)および(例えば、位置の特定が困難な穏やかな電気的刺激による)間接的(刺激))。間接的刺激は、例えば、オブジェクトに触れたような感覚を可能にする。この要して一実装では、多様体2G189のような空中の仮想的オブジェクトにタッチしつつ表面130上に左手を置くユーザ180Uは、例えば穏やかな電気ショックなどを介して、係る仮想的オブジェクトにタッチしている間「ヒリヒリする刺激」を感じる。なおこの電気ショックは、痛み閾値を遥かに下回り、および/または位置特定性が低い(例えば電気刺激が発する位置を正確に認識することは不可能)。代替的に、装置1300のヘッドギア内のクリック音および/または振動は、ユーザによるタッチが過誤であることの手掛かりとなり得る。このようにして多様体2G189は、タッチされたとき、「生気」の印象を与えることが可能であり、例えばタッチされたときに位置特定が困難である何かのものが発生するために、実際に世界の中に存在しているかのような印象を与えることが可能である。
いくつかの実装では、逆監視により検知されるために表面130を有するテーブル(メタブル・オブジェクト、またはメタブル表面とも呼ばれる)はMETAble Sousface(登録商標)システムと呼ばれ得る。一実装では、例えば自己身体などの形状の表面が、その上部である一方で、逆表面はその内側(例えば身体が分解されて、および/または逆さまにされたならば、見られるであろうもの)であってよい。
一実装では、逆表面は逆監視の対象であり、例えば、監視を行う表面(例えばセンサを有する表面など)であるよりもむしろ監視される対象となる表面である。逆表面は、したがって、いくつかの実装では、あたかも逆表面が逆のセンサを有するかのように、有するものと、および/または作用するものと、言われ得る。
一実装では、エピトロコイド(エピサイクロイドはエピトロコイドの一例である)は、より大きいディスクの表面上で小さいディスクを転がすことにより、形成され得る。一実装では、ハイポトロコイド(ハイポサイクロイドはハイポトロコイドの一例であるは、より大きいディスクの逆表面上で小さいディスクを転がすことにより形成され得る。
一実装では、大きい曲率半径の限界を取ることにより、ハイポトロクロイドおよびエピトロクロイドはトロクロイド(サイクロイドはトロクロイドの一例である)になり得る。係る実装では表面および逆表面は同化する。
上述のディスクの例では、逆表面および/または表面は1次元とみなされ得る。2次元の実装では、ハイパートロクロイドは、例えば円筒、コーン、球体、箱、および/またはその他の同等物を、他の円筒、円錐、球体、箱、トレイ、および/またはその他の同等物上で転がすことにより、構築され得る。これは、いくつかの例では「ハイパールーレット」と呼ばれ得る。一実装では、ハイパーサイクロイドは、表面および/または逆表面(例えば平坦または湾曲した)上で転がるオブジェクトの外側表面に沿った線により引かれるハイパートロクロイドの一例であってよい。例えば、円筒(例えば厚紙製の郵送用チューブ)の外側縁部に沿って長手方向に走る、長時間露光写真の間にテーブルの間にテーブルを横切って転がる、発光ロープまたは逆反射テープまたは着色テープ、または着色ラインは画像、非常に写実的なドキュメント、および/またはその他の同等物が形成され得、これらは、いくつかの例では、トポロイド(登録商標)システムまたはトポイド(登録商標)システムと呼ばれ得る。「トポロイド」は上記のように形成されたアバコグラフ、または係るアバコグラフのメッシュされたバージョン(すなわち、その「ワイヤフレーム」メッシュ)を指す。一実施形態では、メッシュされたバージョンは、アバコグラフ上でメッシャーを実行することにより構築される。この実施形態では、1列の光は、これらの光を接続する線とともに、装置1300により認識され得る。それにより、これらの光が計算盤の「ワイヤ」を描き、テープの細片全体が、特定的な時間ポイントにおけるそれぞれの十字交差線を描画するために使用され、それにより十字交差線は計算盤のワイヤと同一の離間を有することとなる。このことにより、トポスカルプチャがワイヤフレーム・モデルとなり、そのワイヤフレーム・モデルに所望によりテクスチャ・マッピングが施されるよう、金網に似たメッシュが生成される。
一実装では、トポロイドは、ハイパールーレットから仮想的オブジェクトを生成すること(例えばこれらの動作を記録するスペースグラスを通して見ている間に物体を他の物体上で転がすこと)を含むブリコラージュ手法において用いられ得る。
一実装では、逆表面は、リップ部および/または縁部(例えば外辺部の周りに配置されたリムなど)を有し得る。係る逆表面は、ブリコロイド(登録商標)システムおよび/またはブリコイド(登録商標)システムを(例えば長時間露光ブリコロジックから)構築するために用いられ得る。
様々な実装では、異なるオブジェクトが、例えば逆表面上で転がされる、手、見つけられたオブジェクト、および/またはその他の同等物を用いて、および/または、オブジェクトおよび/または逆表面に1以上の異なる種類の杖を用いて、構築され得る。
一実装では、トポスカルプト用杖2G160は、例えば逆表面および/またはその他の同等物に沿ってベアリングを転がすモータによりスピンまたは回転するベアリング上に車輪、ディスク、および/またはその他の同等物を含むリング2G161を含み得る。一実装では、シャフト・エンコーダが長時間露光写真の時空連続体をエンコードするために使用され得る。一実装では、モータ、アクチュエータ、および/またはその他の同等物が、例えば、リング2G161が表面および/または逆表面に沿って転がるときにリング2G161の回転を回転または検知するために、シャフト・エンコーダとして用いられ得る。一実装では、ランプL1、ランプL2、ランプL3、その他のそれぞれは、長時間露光写真において、例えばトポスカルプト用杖2G160を表面および/または逆表面に沿って転がすときに作られるようなサイクロイド形状の輪郭を描く、および/または係るサイクロイド形状を創造し得る。係るサイクロイド形状は、表面130が洗面器形状であるかぎり、表面130は、主な軸(小さい曲率)、副次的な軸(大きい曲率)、および様々な他の曲率および表面における起伏により画成される利用可能な様々な曲率を有し得る。したがって表面130およびトポスカルプト用杖2G160は、様々な実現形態において、例えば装置1300の3Dカメラおよび/または表面130のまわりの補助カメラ、および/またはその他の同等物を使用して、一緒にフィルム撮影、写真撮影、ビデオによるキャプチャが行われたたとき、広範囲の異なる種類のハイポサイクロイドをアバコグラフとして生成するために使用されることができる。
トポスカルプト用杖2G160上の他の光(例えばまさに縁部上に位置するものではなく、さらに内部に位置された)は、一実装では、長時間露光で写真撮影されたときハイポトロコイドを画成する。閃光は、一実装では、破線カーブ(例えばハイポトロコイドの形状に曲げられた点線)のように見えるハイポトロコイドの経路を与える。他の形状が表面130沿って転がすためにトポスカルプト用杖2G160に取り付けられた実装では、他のトポロイド/トプロイドが、さらにハンド・ジェスチャおよび他の形態の相互作用を使用して、創造され、および/または引き続きトポスカルプトされ得、それにより都市のモデル、配管、パイプ・ネットワーク、宇宙ステーション、ロケット・エンジン、およびその他の同等物などのブリコロイドが生成され得る。一実装では、頂端から基部に走る1列の光を有するリング2G161に取り付けられた円錐は、円錐の頂端から表面130に平行な曲線、円錐の基部における光からのハイポイクロイド、およびその間の光からの様々なハイポトロコイドを含む、一連の曲線を3D空間に生成するであろう。
一実装では、トポスカルプト用杖2G160は、異なる速度で、および異なる回転角度で杖の他の部分を回すような遊星歯車および/または他のギアを特徴として備え得る。例えばリング2G161は、一実装では、ハイポトロコイドよりもむしろ螺旋が生成されるよう、リング2G161に対して直角に他のリングを駆動し得る。これらの2つのリングは、一実装では、例えば螺旋とハイポトロコイドとの中間のアバコグラフか生成されるようにそれらの角度を変化させることが可能となるよう、調節可能であってもよい。
一実装では、アバコグラフおよび/または装置により生成された他の形状は、電気信号と解釈され得る。それにより、ユーザは例えば長時間露光写真および/またはビデオグラフ、ハンド・ジェスチャにより信号をスカルプトすること、および/またはその他の同等物を通して、トポスカルプト用杖2G160を使用する任意の信号を創造することが可能となる。
したがって、いくつかの実装では装置1300は、例えばトポスカルプティング環境においてハンド・ジェスチャ、オブジェクトに対するハンド・ジェスチャ、オブジェクトを使用するハンド・ジェスチャ、オブジェクトのブリコロジー(登録商標)システム、および/またはその他の同等物を使用するなどして、様々なオブジェクトをスカルプトするために使用され得る。一実装では、テーブル、METAble、および/または他の同様のテーブル、逆表面、および/またはその他の同等物が、これらの操作および/または使用のうちの1以上のために用いられ得る。
一実装では、表面130(表面を担持するテーブル)は、図2Gの例におけるようなメタブルなラベル2G110(例えば「METAble Sousface」など)を用いて一実装では、メタブルなラベル2G110は、例えばテーブルの側部上で、ラベルの上部半分が白色となり、逆反射性物質で、逆反射性活字で底部半分が黒色であり、機械可読性である。メタブルなラベル2G110のようなラベルが、例えば完全な暗闇の中でも3D空間において認識および位置決めが可能となるよう、表面130の縁部まわりに配置され得る。
一実装では、完全な暗闇が、トリガ2G162を握り締めることにより、もたらされ得る。例えばトリガを押圧すると自動的にルームライトを消すことができ、それによりトポスカルプティングがより容易となり、より美しくなり、および/または視覚的な訴求力が増すこととなる。
いくつかの実装では、暗闇においてさえ、表面130は、暗闇で見えるよう構成され得る装置1300により、ユーザ180Uに可視となり得るが、しかし追加的にテーブルが、装置1300のメタブルな円形オブジェクト2G130の具体例を有するよう構成されてもよい。なおこのオブジェクト2G130は、例えば装置1300のブランキング間隔の間に可視光を放出するよう、照明される。メタブルな円形オブジェクト2G130はスマート・ドットと呼ばれ得る。装置1300は、一実装では、例えば120FPS(毎秒フレーム数)のフレームレートで検知し、メタブルな円形オブジェクト2G130は、それにしたがって、装置1300が光に応答しない間、短く(例えば約1マイクロ秒間)光を放出し得る。係る同期により、これらのドットのシステム制御が可能となり、それにより、これらのドットは所望により装置1300に対して不可視または可視となることが可能である。このようにして人間の眼に対する可視性および装置1300に対する可視性は個別に、制御すること、最適化すること、および/またはその他同様の操作を行うこと、が可能となる。いくつかの実装ではメタブルな円形オブジェクト2G130は、例えば、位置特定作業、可視取得における装置1300に対する慎重な露光、および/またはその他同様の作業を支援するために、赤外線光を放出する。一実装では、したがって3つの取得および/または取得の制御、すなわち(1)人間の眼の露光、(2)装置1300の可視光カメラの露光、(3)装置1300の赤外線ビジョン・システム・カメラ、が存在する。一実装では、第4に、装置1300と相互作用するメタブルな円形オブジェクト2G130の逆反射品質が存在し、それにより、円形オブジェクト2G130のテーブルにおける位置特定が可能となる。さらに他の実装では、メタブルな円形オブジェクト2G130のそれぞれは、オブジェクトをテーブル上で位置特定すること、オブジェクトまでの距離を測定すること、手180MSおよび手180MDなどによるタッチを測定すること、および/またはその他同様の動作を行うための近接センサである。他の実装では、テーブルは金属などの、ユーザの手、グローブ、および/またはその他の同等物との接触に対して敏感な物質で作られる。他の実装ではスマート・ドットは、例えば、ユーザが修繕のためにテーブル上にオブジェクトをネジ留めすることが可能となるよう、試作品を作製するために螺刻された穴を含み得る。穴は例えば、真空を生じさせること、または浮動オブジェクトを周囲を摺動させるための、または吸い付けてテーブル上に保持するための、エアホッケー・テーブルのように空気圧を提供することが可能である。一実装ではテーブルは鉄分を含み、光学台またはその他の同等物上で使用されるように磁石の使用が可能である。
したがって一実装では、テーブルは、ブリコロジックのために、および/またはコンピュータによるブリコラージュのために、使用され得る。
ジオフォンは、タッチを検知し、タッチを生じさせ得、例えばテーブルの振動は振動接触触覚を提供する。
いくつかの実施形態では表面130は、特にメタ・触覚のために設計および/または構成され得る。1つの係る実施形態では、Meta Table(登録商標)システムは、ユーザ180Uにより装着されるビジョン・システムに対して逆反射性であるパターンを当該システム上に有するよう構築され得る。図2Gの1例に図示される、係るビジョン・システムは、2色カメラ、LiDARユニット187などの測距カメラ、様々な他のセンサ、および/またはその他の同等物を含み得る。
様々な他のセンサは、例えば、ジェスチャ・バンド2G190を手180MDの手首上に含み得る。一実装では、ジェスチャ・バンド2G190は、運動、自己皮膚の電気伝導率により、インピーダンス・トモグラフィにより、および/またはその他の同等物により自己ジェスチャを検知する。したがって中指2G199がオブジェクト2G193にタッチすると、そのジェスチャは、手180MDの人差し指および親指がタッチしているかどうかに応じて、異なって解釈され得る。ジェスチャの意味は、一実装では、手180MDの人差し指と親指とがどれほど強く互いを握り締め合うかの関数として、連続的に変化し得る。その測定は、例えば1以上の歪みゲージを介して、EMG(筋肉信号)、振動、電気的にバンド応力(手首の帯により生じる)を測定すること、および/またはその他の同等物を使用して、ジェスチャ・バンド2G190によりなされ得る。一実装では、装置1300内のビジョン・システムは、肌を接するループ形成(looping)、閉止(closure)、または接合(mating)に基づくなどの、高度に表現的なジェスチャが、タッチに対する他の入力変数として、使用され得るよう、このタスクを実行するよう構成され得る。
一実装では、これらなどの入力変数は、ユーザが、今何が起きているか、オブジェクトが想像されること、および/またはオブジェクトが操作されること、および/またはその他の同等物を感じることを可能にする。上記の例で提供されたメタ接触は、メタブルなジェスチャ(すなわちメタブルな対象物に対する)を通して、ならびに多重触覚性のジェスチャ(例えば処理装置908を介して、ユーザにより理解され且つ装置1300により理解される様々な方法で、他の指または親指を一緒に握り締める間に1本の指でタッチすることなど)を通して、有用な接触フィードバックを提供することを支援する。
いくつかの実装では、Meta Tableは、触覚およびメタ・触覚を検知および発生させるよう選択および/または最適化された触覚およびメタ・触覚を様々なセンサおよび/またはエフェクタを含み得る。
いくつかの実装ではブリコロジカル環境は、ただテーブルを使用するのみではなく、任意の場所で創造が可能である。例えばブリコロジーは屋外の地上で実行され得、その場合、逆表面は地面である。地面に、スペースグラスまたはその他の同等物を用いた逆監視を支援するために、例えばジオフォンおよび/または他のセンサが嵌め込まれ得る。この状況では、スマート地面杭が地面に打ち込まれ得る。スペースグラスおよび/または装置1300と使用される、および/またはインターフェース接続する係る杭は、いくつかの実装では、逆監視器杭と呼ばれ得る。なお逆監視器杭は、トップ・ダウン(「監視」)階層よりもむしろボトム・アップ(「逆監視」)を支援する。例えばスペースグラスの任意の装着者は、もはや監視者および他の当局者のみの範囲ではなくなった地所および物理的空間の情報収集により、現実に注釈をつけることに参加することができる。一実装では、逆監視器データは、1人以上のユーザの識別子および/またはプロファイルと関連付けて格納され得るような注釈、距離、角度、高さ、水平位置、目標物、および/またはその他の同等物を含み得る。
一実装では、結果的に生成される逆監視により参加型世界が創造される。係る参加型世界では、個人が例えば、建物のスカルプティングか可能である仮想都市、拡張介在都市の修繕、創造、および/またはその他同様の作業を行うことが可能である。一実装では、例えば大型ゴミ容器または歩道の縁石に捨てられた古い厚紙ボックスなどの損傷されたまたは廃棄されたオブジェクトでさえも、装置1300のビュー表示の位置にまで持ち上げ、ハンド・ジェスチャを介してその画像を操作し、形状の複写および堅固な長方形オブジェクトの伸張により、そのようなボックスをビルへと成形させ、係るビルを道路に面した空いた駐車場へと「設置」し、その場所に高層ビルを描くことも可能である。
したがっていくつかの実装ではブリコロロジーによるトポスカルプティングは、例えば未来都市、宇宙ステーション、水で実行される「パイプドリーム」という楽器、および/またはその他の同等物の設計および操作を、例えば道から拾い上げた廃品材料などのオブジェクトに関するハンド・ジェスチャを介して可能にする。
オブジェクトおよび/またはトポスカルプトされた多様体は借用および共有され得る。したがって一実装では、1人のユーザが、ディナー・プレートを使用してロケット・エンジンを作り、次にそのプレートおよび/またはロケット・エンジンの設計を他のユーザに渡し、そのユーザがそのプレートを使用してパイプオルガン・スカルプチャを作り、そのパイプオルガン・スカルプチャを第1のユーザと共有すること、および/またはその他同様の作業が可能である。
いくつかの実装では、ブリコロジーは、例えばメタタッチおよびメタ触覚を使用して様々な物を作製するために、押出、スピン、ねじ曲げ、および/または空間を通しての移動を施すことが可能な支柱などのオブジェクトの共有を含み得る。
図3は一実施形態における図1Eの検出および表示装置1300の1つの概略的な例を示す。
図3は、ソフトウェア・アプリケーション(図1Bのプログラム907に含まれるプログラム命令)の一例を例示する。このソフトウェア・アプリケーションは、図1Eの検出および表示装置1300を使用して、例えばユーザの家庭における食品準備に関してユーザに命令するために使用され得る。共有されるコンピュータにより介在された現実(例えば図1Aの第1の拡張介在現実空間1000など)が、表面130としてキッチンのカウンタ上面に図示され、この表面130は流し台341と、コンロ331を有するレンジ上面334と、を有する。シークレット対象物340は、アクセス権、特権、役割、および/またはデータベース内に格納されたその他同様のデータに反映され得るように、デジタル眼鏡180およびデジタル眼鏡190の共同作業ユーザのグループ内でのみ可視である。パブリック対象物240は非参加者(関与しない人、またはデジタル眼鏡180を装着しない人)に可視である。
表面130のカウンタ上面の上にある食料品330は、デジタル眼鏡180およびデジタル眼鏡190の3次元カメラ・システムにより検知され得る。データは、デジタル眼鏡180およびデジタル眼鏡190のそれぞれに関連付けられた(図1Aの)処理装置908間で通信され、それぞれの処理装置908は第1の拡張介在現実空間1000における食料品に関するより正確な3次元モデルを計算するよう構成される。
図4は、一実施形態における図1Aおよび/または図1Eの検出および表示装置1300の他の概略的な例を図示する。
図4は、図1Aの第1の拡張介在現実空間1000において支援され得る様々な種類の活動(例えば、図1Aおよび/または図1Eの検出および表示装置1300を使用し得る、健康、ウェルネス、個人的フィットネスもしくはグループ・フィットネス、運動、エンターテインメント、ゲーム、音楽、ダンス活動、および/またはその他の同等物など)に、検出および表示装置1300を提供する例を示す。
表面130を有する床部および/または提供する床部が図示される。表面130は、デスク、テーブルトップ、および/またはその他の同等物であってよい。テクスチャが床部上に配置される。テクスチャは一実装では、疑似ランダム・パターンを、異なるテクスチャにより自然に発生する疑似ランダム・タイルから慎重に作られたパターンを、汚損を、擦り傷を、硬木の床面の木目の自然なテクスチャを、石、コンクリート、大理石、ゴム、および/またはカーペットの自然なテクスチャを、および/またはその他の同等物を、含む。テクスチャは一実装では、パターン430を形成し得る。パターン430の射影変換は、代数射影幾何により、赤外線送信器186(図1Bの第1の感覚現象エフェクタ912の一例である)により、および赤外線受信器185(図1Bの第1の感覚現象センサ910の一例である)により、提供される3次元カメラ画像の出力に応答して、図1Aの処理装置908により実行される、ビデオ軌道ソフトウェア(例えば図1Aのプログラム907内に含まれる)下の群作用を形成し得る。一実装におけるビデオ軌道安定化の一例は、図2Bを参照して上記で挙げられている。
一実装では、床部テクスチャの座標変換の群は、式{2}により求められる軌道に含まれる。
Figure 2019149202
[A]は2行2列(2×2)線形演算子であり、[b]は2行1列(2×1)変換であり、[c]は2行1列(2×1)チャープ(投影)であり、[d]はスカラ定数であり、[x]は2行1列(2×1)空間座標であり、[x]=[x1,x2]である。
床部が、検出および表示装置1300の複数の装着者(例えばユーザ)から閲覧して、この軌道内に留まるため、対象物は、床部と同一の平面内にはない他の対象物から明確化され得る。一選択肢によれば、3次元検知の性質により、床部自体が3次元モデル内に配置されることとなり、したがってこの3次元平面上に配置されたポイントは、クラスタ化およびセグメント化され得る。シークレット対象物340は、例えば、アンダンテフォンの歩行におけるように、1人以上の参加者に可視である床面の表面130上に表示された歌詞を含み得る。アンダンテフォンはユーザの歩行に応答して演奏される楽器である。
一選択肢によれば、検出および表示装置1300は、図1Aのプログラム907により生成された拡張介在現実(仮想的3次元)インストラクタによる身体的(体育的)インストラクション(例えば、ヨーガ、ダンス、演技、武道、ランニング、スポーツ、その他など)のために使用され得る。一実装では、仮想的インストラクタの画像が、(例えば)図1Bの第1の感覚現象エフェクタ912により図1Aの第1の拡張介在現実空間1000に投影される。1人以上のユーザが、検出および表示装置1300の自分自身の具体例を有する場合、検出および表示装置1300の選択された具体例が、仮想的インストラクタを図1Aの第1の拡張介在現実空間1000に投影し得る。代替的に、仮想的インストラクタは、検出および表示装置1300のいかなる具体例にも関連付けられない処理装置908の具体例により提供され得る。
検出および表示装置1300の複数の具体例が使用されるいくつかの実装では、ユーザの身体運動は、検出および表示装置1300の他の具体例により、および/または環境(図1Aの第1の拡張介在現実空間1000)内の静止位置に固定された検出および表示装置1300(または図1Bの第1の感覚現象エフェクタ912)の具体例により、スキャンされ得る。いくつかの係る実装では仮想的インストラクタは、ユーザ(1人以上)の動作を支援し得、および/または係る動作と別様に相互作用し得る。
一選択肢によれば、検出および表示装置1300は、(図1Aのプログラム907に含まれたプログラム命令と組み合わされた第1の拡張介在現実空間1000内に配置されたエフェクタを介して)仮想的ミラー(例えば全身ミラー、浴室ミラー、および/またはその他の同等物)を提供することと、例えばフィットネス追跡目的(体重増加、身体測定、および/またはその他の同等物)のために、ユーザの身体をスキャンすることと、を行うよう構成される。一選択肢によれば、検出および表示装置1300は、ミラーのような挙動を示すよう構成され得る。なおこのミラーを通して身体スキャンが実行される。いくつかの実装では検出および表示装置1300は、例えば周期的に、連続的に、および/またはトリガに基づいて、ユーザのフィットネス、身体形状、身体パラメータ、および/またはその他の同等物の受動的スキャン、監視、追跡、および/またはその他同様の操作を行うことと、それに基づいて、通知、アラート、推薦、クーポン、および/またはその他の同等物を、例えば測定された身体パラメータと、通知に関連付けられた値と、を相互に関連付けることなどにより、提供することと、を行うよう構成され得る。
図5は、一実施形態における、図1Eの検出および表示装置1300のタイミング・シーケンシング動作を示す図の一例を示す。
図5は、一実施形態における、図1Eの検出および表示装置1300とともに使用されるプログラム907(図1A)により提供される共同作業的空間撮像のタイミング・シーケンシングの一例を示す。検出および表示装置1300のコンパラメトリック処理および/またはスーパーポジメトリック処理のシーケンスが図5に示される。検出および表示装置1300は、一実装では、例えば赤外線光エネルギーなどのエクストラミッシブ伝送(例えば送信および受信)の周期的パルス列を、パルス列信号500として放出するよう構成され得る。(例えば検出および表示装置1300に装備された赤外線エフェクタからの)第1の放出は、(比較的弱い強度を有する)微弱照度信号510を提供し、それに引き続き、(比較的中間的な強度を有する)中間照度信号520を提供し、それに引き続き(比較的強い強度を有する)強力照度信号530を提供する。照度信号は、時間的に離間されており、図1Aの第1の拡張介在現実空間1000内のオブジェクトに向かって次々とセンサから放出される。
図1Aのプログラム907は、一実装では、合成アパーチャ撮像構築器(例えばプログラム命令)を含むよう構成され得る。なお合成アパーチャ撮像構築器は、図1Aの第1の拡張介在現実空間1000を共有する参加者の照明器(例えばエフェクタ)により生成されたライトスペースに応答するよう構成される。プログラム907は、一実装では、コンパラメトリック合成器404(図1AAにおける一例に図示される)および/またはスーパーポジメトリック合成器405(図1AAにおける一例に図示される)を含むよう構成され得る。コンパラメトリック合成器および/またはスーパーポジメトリック合成器の実施形態のさらなる説明については、例えば図2Bを参照しつつ、上記で提供されている。
中間照度信号520は、比較的中間の強度を有するものであり、デジタル眼鏡180(または検出および表示装置1300)の3次元カメラ(センサ)への通常露光により生じた通常強度の信号である。微弱照度信号510は、例えばf値が2段分アンダー露光である3次元カメラの露光により生じた微弱な信号(例えば1/4(25%)強度など)である。強力照度信号530は、例えばf値が2段分オーバー露光である3次元カメラの露光により生じた、比較的強い信号(例えば中間照度信号520の強度の4倍の強度)である。第1の感覚現象エフェクタ912(図1B)が、一実装では、初期信号を第1の拡張介在現実空間1000に送り出し(例えば送信または放出)し、図1Bの第1の感覚現象センサ910が図1Bの第1の拡張介在現実空間1000に配置されたオブジェクトから反射を受け取り得る。
結果は、3つの露光、すなわち3つの情報の「取得」である。なお微弱照度信号510の第1の取得は、ハイライト部分の詳細(すなわち、普通ならばセンサを飽和させてしまうであろう取得のエリアの詳細)を豊富に含む。取得は、一実装では、反射された照明(図1Aの第1の拡張介在現実空間1000内に配置されたオブジェクトからの反射)を受け取ること、および/または元の照明源の照明を受け取ること、である。強力照度信号530からの反射は、シャドー部分の詳細を、または微弱信号の詳細(例えばより遠方のオブジェクトに対する、または3次元カメラ(例えば図1Bの第1の感覚現象センサ910)に対する微弱なエネルギーのリターンを有する(例えば微弱なエネルギーを反射し返す)オブジェクトに対する)を、豊富に含む。
図1Bのプログラム907は、一実装では、いずれか1つの取得が個別的に提供するよりもより多くの情報をシーン(第1の拡張介在現実空間1000)から判定するために、これらの3つの取得(受け取った反射信号)を組み合わせるよう構成され得る。プログラム907は、一実装では、結果を判定するために、受け取った(例えば反射された)データに対してコンパラメトリック分析を行うよう構成され得る。例えば拡張応答3次元カメラが、コンパラメトリック分析プログラム406(図1AAにおける1例に図示され、図2Bに関連して説明された)を使用することによりコンパラメトリック分析を支援するために提供され得る。
他の実装では、カメラ(センサおよび/またはエフェクタ)の感度が、例えば微弱、中間、および強力な3次元画像が得られるよう、調節され得る。これらの信号が受け取られると、プログラム907はただちにこれらの信号を組み合わせ、図1Bの第2の感覚現象エフェクタ914のそれぞれの具体例を介して、ユーザ(1人以上)に対して組み合わせ画像を表示する。加えて可視光線画像も取得され得る。
図1Bの第1の拡張介在現実空間1000内に複数のユーザが存在するいくつかの実装では、プログラム907はスーパーポジメトリック分析器407(図1AAに図示され、図2Bに関連して説明した)を含むよう構成され得、プログラム907は、例えばスーパーポジメトリック空間撮像プログラム408(図1AAに図示され、図2Bに関連して説明した)を使用するなどして、スーパーポジメトリック空間撮像を決定するよう構成され得る。
一実装では、検出および表示装置1300の第1の具体例は、パルス列信号500により(および図1Bの第1の感覚現象センサ910、第1の感覚現象エフェクタ912、およびプログラム907を使用して)3次元シーン情報または画像をキャプチャするよう構成される。検出および表示装置1300の第2の具体例は、パルス列信号509を使用して、同一のシーン(図1Bの第1の拡張介在現実空間1000)から3次元情報をキャプチャするよう構成される。検出および表示装置1300の2つの具体例は、一実装では、第1の時間スロット570、第2の時間スロット571、第3の時間スロット572、第4の時間スロット573、第5の時間スロット574、および第6の時間スロット575などの時間スロットを有する時間ラインにしたがうなどして、3次元シーンを空間的に撮像するように協働するよう構成され得る。それぞれの時間スロットは、図1Aの第1の拡張介在現実空間1000の1人以上のユーザに割り当てられ得る。例えば例示された実装では、第1の時間スロット570は第1のユーザに、第2の時間スロット571は第2のユーザに、第3の時間スロット572は第3のユーザに、第4の時間スロット573は第4のユーザに、第5の時間スロット574は第1のユーザに、第6の時間スロット575は第2のユーザに、そして以下同様に、割り当てられ得る。第1の拡張介在現実空間1000内にそれ以上のユーザがいる場合、より多くの時間スロットが、例えばユーザの人数にしたがってシーケンシャル・オーダーで、割り当てられ得る。他のシーケンシャル・オーダーも、いくつかの実装では、使用され得る。
第1の時間スロット570に対して、図1Aの第1の拡張介在現実空間1000の第1のユーザに割り当てられた3つの分割された時間セクションが存在する。第1の時間セクションの間、デジタル眼鏡180は、検出および表示装置1300のそれぞれの具体例を使用して他のユーザと共有されるシーン(第1の拡張介在現実空間1000)へとデジタル眼鏡180から伝達された微弱照度信号510に起因する微弱信号の反射(第1の拡張介在現実空間1000内のオブジェクトから反射された)をキャプチャする。第2の時間セクションの間、デジタル眼鏡180は、第1のユーザに関連付けられたデジタル眼鏡180から伝達された中間照度信号520に起因する中間強度信号の反射をキャプチャする。第3の時間セクションの間、デジタル眼鏡180は、(第1のユーザの)デジタル眼鏡180から伝達された後、引き続き図1Bの第1の拡張介在現実空間1000内に配置された物理的オブジェクトから反射された強力照度信号530に起因する比較的強い信号の反射をキャプチャする。
第2の時間スロット571に対して、図1Bの第1の拡張介在現実空間1000の第2のユーザに割り当てられた3つの分割された時間セクションが存在する。第1の時間セクションの間、(第2のユーザの)デジタル眼鏡190は、デジタル眼鏡190上に配置されたセンサ(例えば図1Bの第1の感覚現象エフェクタ912など)から伝達された後に、ユーザ(関与するそれぞれのユーザは検出および表示装置1300のそれぞれの具体例を要する)により共有されるシーン(第1の拡張介在現実空間1000)に伝達される微弱照度信号511に起因する微弱信号の反射をキャプチャする。第2の時間セクションの間、デジタル眼鏡190は、(第2のユーザの)デジタル眼鏡190から伝達された中間照度信号521に起因する中間強度信号の反射をキャプチャする。第3の時間セクションの間、デジタル眼鏡190は、(第2のユーザの)デジタル眼鏡190から伝達された強力照度信号531に起因する強い信号の反射をキャプチャする。
同一のプロセスが、第3の時間スロット572および第4の時間スロット573に対して、それぞれ第3のユーザおよび第4のユーザに対して、反復される。第5の時間スロット574に対して、サイクルは反復されて第1のユーザに戻り、微弱照度信号540、中間照度信号550、強力照度信号560が、(第1の時間スロット570と同様に)生成および使用される。次に反射は、検出および表示装置1300のそれぞれの具体例上に装備されたセンサにより検知され、次いで、検出および表示装置1300の各(それぞれの)具体例に関連付けられたプログラム907のそれぞれの具体例により処理される。
第6の時間スロット575に対して、サイクルは反復されて第2のユーザに戻り、微弱照度信号541、中間照度信号551、および強力照度信号561が、(第2の時間スロット571と同様に)生成および使用され、以下同様に反復される。
例えば時間分割多重、周波数領域多重化、および/またはその他の同等物などの任意種類の多重化および/または切り替えが、様々な実施形態および実装で使用され得る。
一実施形態では検出および表示装置1300のそれぞれの具体例は、例えば図1Bのプログラム907に含まれるプログラム命令などにより、3次元HDR(ハイダイナミックレンジ)撮像を実装するよう構成され得る。ここで、プログラム907はコンパラメトリック合成器を含み、コンパラメトリック合成器は、3次元画像、スキャン、および/またはその他の同等物のワイコフ・セット(Wyckoff Set)上で実装され得る。コンパラメトリック合成器は、方法513(図5A参照)を使用して、同一対象物の複数の異なる取得を組み合わせるよう構成される。方法513は、一実装では、図1Bのプログラム907内の実行可能プログラム命令として提供され得る。
図5Aは、一実施形態における図1Bの検出および表示装置1300において使用される処理装置908(図1B)に指示を与えるよう構成されたプログラム命令として含まれる方法513の一例を図示する。
(コンパラメトリック合成器の)方法513は、一実装では、ワイコフ・セットを取得することを含む操作502を含む。終了後、制御は次に操作504に渡される。
操作504は、操作502において取得されたワイコフ・セットの要素間のコンパラメトリック関係を決定することを含む。終了後、制御は次に操作506に渡される。
操作506は、ワイコフ・セットの各要素の各レベルに対する確信度関数を決定することを含む。終了後、制御は次に操作508に渡される。
操作508は、例えば式{3}を使用して、重み付き合計を構築することを含む。
Figure 2019149202
一実装では、[k]は取得のワイコフ・セットの各取得の全ゲインまたは振幅であり、[c]は確信度であり、[q]は光クオンティグラフィック測定配列(例えば3次元取得自体)である。係る合成はコンパラメトリック合成器409(図1AAにおいて図示し、図2Bに関連して説明した)と呼ばれ、図5Aの方法513において実装される。
したがって検出および表示装置1300の単一の具体例でさえも方法513を使用することから利益を得る。検出および表示装置1300の複数の具体例からのデータ融合(データの集合)は、例えばスーパーポジメトリックに、方法580(図5Aの例を参照)を使用して、進行し得る。方法580は、一実装では、プログラム命令として構成され得、このプログラム命令は、図1Bのプログラム907に含まれ、次に検出および表示装置1300の処理装置908により実行される。
操作582は、クオンティグラフのライトスペース・セット(lightspace set)[qi](例えば、それぞれのクオンティグラフが同一の対象物の異なる照明により提供された、異なるクオンティグラフのセット)を取得することを含む。終了後、制御は次に操作584に渡される。
操作584は、このセットの異なる光ベルトル間のスーパーポジメトリック関係を決定することを含む。終了後、制御は次に操作586に渡される。
操作586は、合成のそれぞれのスーパーポジメトリック法に対する確信度関数を決定することを含む。終了後、制御は次に操作588に渡される。
操作588は、例えば式{4}の例にしたがことなどにより、重み付き合計を構築することを含む。
Figure 2019149202
一実装では、[ci]はそれぞれの照明源(すなわち、それぞれの光ベルトル)に起因するHDR(ハイディフィニションリゾリューション)画像合成の全ゲインまたは振幅である。係る合成はスーパーポジメトリック合成器(例えば図5Aの方法513により実装される)と呼ばれる。
検出および表示装置1300のそれぞれの具体例に関連付けられたプログラム907は、一実装では、それ自体の光源と、図1Bの第1の拡張介在現実空間1000に関与する検出および表示装置1300の他のすべての具体例における光源からの寄与と、に起因するクオンティグラフ情報を生成するよう構成される。
プログラム907は、一実装では、これらのライトスペース・クオンティグラフの全部を組み合わせて(検出および表示装置1300のそれぞれの具体例から1つのライトスペース・グラフ)、例えば図1Bの第1の拡張介在現実空間1000における検出および表示装置1300の参加する具体例の全部の間で共有されるように、マスター・ライトスペース・クオンティグラフを形成するよう、構成され得る。
一実施形態では図1Bのプログラム907は、図1Eのデジタル眼鏡180からのスキャニングと図1Eのデジタル眼鏡190からのスキャニングとを多重化するよう構成された(例えば図1AAにおける一例に図示すような)空間撮像マルチプレクサ410を含み得る。
例えば一実装では、空間撮像マルチプレクサは、(図1AAの一例に図示される)時分割マルチプレクサ411を含み得る。
一実装では、(プログラム命令として構成され得る)時分割マルチプレクサは、図1Bの第1の拡張介在現実空間1000に関連付けられた参加者により装着される検出および表示装置1300の具体例との共同作業を支援するよう構成され得る。例えば一実装では、可変振幅マルチプレクサは、(A)第1の拡張介在現実空間1000における他の参加者により装着される検出および表示装置1300の具体例との共同作業と、(B)対象物から反射された異なる度合いの照明に応答して対象物の略同等な取得を提供することと、を行うよう、構成される。
図6は、一実装における図1Eの検出および表示装置1300を使用する複数の参加者間で共有されるリアルタイム拡張介在現実環境の一例を図示する。
図6は、図1Eの検出および表示装置1300を使用する複数の参加者間でリアルタイム拡張介在現実インターフェースが共有されることを可能にする、共同作業的空間撮像と、物理的オブジェクトとのジェスチャ・ベースのインターフェース接続と、の一実装を示す。検出および表示装置1300は、一実装では、(図1AAの一例に図示される)共同作業的ジェスチャ・ベース・インターフェース412を含むよう構成され得る。なお共同作業的ジェスチャ・ベース・インターフェース412は、複数のユーザが、(図1Bの第1の拡張介在現実空間1000内に配置された)現実世界の3次元物理的オブジェクト(例えば追跡可能なボックスなど)と、または図1の第1の拡張介在現実空間1000内に配置されたオブジェクト600の他の具体例と、相互作用することを可能にするよう構成される。
オブジェクト600の表面は、一実装では、標識、パターン、および/または3次元幾何学的パターンで注釈される場合があり、または自然に発生する頂点、コーナー部、縁部、または表面は、汚損、擦り傷、凹凸、テクスチャ、および/またはその他の同等物により区別可能である場合がある。これらの表面601は、(例えば第1のユーザに関連付けられた)デジタル眼鏡180により、(例えば第2のユーザに関連付けられた)デジタル眼鏡190により、および(例えば第3のユーザに関連付けられた)デジタル眼鏡196により、スキャンされる。このことは、共有される接触性拡張介在現実アプリケーションを(例えばプログラム907に含まれるよう、または検出および表示装置1300に含まれるよう、または検出および表示装置1300に関連付けられないコンピュータに含まれるよう)支援する。
ユーザは、オブジェクト600などの1以上の実際の物理的オブジェクトにタッチしながら相互作用的ジェスチャを使用して、検出および表示装置1300のそれぞれの具体例を通して、図1Bの第1の拡張介在現実空間1000(例えば第1の拡張介在現実空間1000内の任意の仮想的オブジェクトおよび物理的オブジェクト)を経験および/または係る第1の拡張介在現実空間1000と相互作用する。
デジタル眼鏡180、デジタル眼鏡190、およびデジタル眼鏡196は、複数のユーザが、検出および表示装置1300を通して、図1Bの第1の拡張介在現実空間1000内の、多面体オブジェクト、平坦表面を有するオブジェクト、認識可能表面テクスチャ602を有するオブジェクト、画像アイコン603、3次元構造体を有する認識可能な特徴物(例えばコーナー部、頂点、縁部)、および/または表面601などの(図1Bの第1の拡張介在現実空間1000内に配置された)オブジェクト600のこれらの3次元物理的具体例と相互作用することを可能にする。図1Bのプログラム907は、一実施形態では、図1Bの第1の拡張介在現実空間1000内で作られた人間ジェスチャの認識を行うよう構成されたプログラム命令を実行するよう構成され得る。
ジェスチャ入力610、ジェスチャ入力611、およびジェスチャ入力612は、例えば3次元検出器および/もしくはセンサ、測距3次元センサ、および/またはその他の同等物によるなどして、デジタル眼鏡180、デジタル眼鏡190、および/またはデジタル眼鏡196の具体例により認識される。ワイヤレス通信モジュール630、ワイヤレス通信モジュール631、およびワイヤレス通信モジュール632は、ジェスチャ入力610、ジェスチャ入力611、およびジェスチャ入力612などの情報の流れの伝送および共有を可能にすることと、検出および表示装置1300のそれぞれの具体例を介するユーザ間(またはオブジェクト間)のユーザ相互作用の提供および/または支援と、を行うよう構成される。ワイヤレス通信モジュール631は、様々な実装では、WiFi、Bluetooth(登録商標)、セルラ、CDMA、HSPA、HSDPA、GSM(登録商標)、および/またはその他同様のプロトコルなどの様々なワイヤレスプロトコルを介して通信を行うよう構成され得る。一実装では、指差しジェスチャは、情報または選択された指標を共有空間上にまたは共有表面上に描画または注釈し、それにより、デジタル眼鏡180、デジタル眼鏡190、およびデジタル眼鏡196の複数の装着者間での相互作用を可能にするために使用される。
ジェスチャ検知は、一実装では、ジェスチャ追跡検出器を使用することにより支援され得る。ジェスチャ追跡検出器413が図1AAにおける一例に図示される。
ジェスチャ追跡検出器413は、一実装では、費用関数を実装するよう構成された(図1AAにおける一例に図示された)ニューラル・ネットワーク414と、評価器と、(評価器からの入力に応答する)ジェスチャ追跡検出器と、を含み得る。ニューラル・ネットワークを訓練するために費用関数が最初に定義される。この費用関数は、ロジスティック回帰の対数尤度を表現する。
一選択肢によれば、検出および表示装置1300は図1AAに図示される最適オプティマイザ415を含む。
最適オプティマイザは、一実装では、パラメータ選択を通して、「最適」に対する関数を最大化するよう構成される。関数の負の最小化は、例えば、傾斜降下器を通して(例えば費用関数をネゲートする)行われ、それにより、(図1AAにおける一例で示された)傾斜降下器416を使用することにより問題を最小化する状況において最適オプティマイザが構築され得る。
最適オプティマイザは、例えば、LOG(対数)尤度関数を最大化するよう構成され得る。訓練データに過度に適合することを防ぐために、正規化器417がいくつかの実装において使用され得る。正規化器417は図1AAにおける一例において図示される。
正規化器417は、費用関数の終端において、それぞれのパラメータの2乗を加えることにより、正規化項を実装する。これらの正規化項は、パラメータが大きくなるのに伴い費用関数をパニッシュ(punish)するであろう。オーバーフロー・ペナライザ418が使用され得、オーバーフロー・ペナライザ418は図1AAにおける一例に図示される。
オーバーフロー・ペナライザは、一実装では、任意のパラメータの絶対値が増加するのに伴い増加する値を計算するよう構成され得る。オーバーフロー・ペナライザの例は、出力が入力の絶対値の合計となるよう加算器に対する各入力に対してマグニチューダ(magnituder)が存在する、加算器である。しかし絶対値関数が、原点においてその1次導関数に非連続性を有するため、オーバーフロー・ペナライザは、各入力に対する絶対値2乗器を有する加算器である。絶対値2乗器は、それぞれの入力をその複素共役で乗算し(すなわち、[y]=[x]†[x])、それにより、入力の絶対値2乗(magnitude square)を与える。オーバーフロー・ペナライザは、それぞれのパラメータの2乗絶対値の合計を費用関数に加算する。これは、浮動小数点オーバーフローを防止または阻止する(その発生を低減させる)。訓練費用関数J(θ)は、一実装では、式{5}の例により提供される。
Figure 2019149202
項[l(θ)]は、式{6}により提供される、最小化に対するロジスティック回帰である。
Figure 2019149202
一実装では、[s]は訓練ケースの総数を示し、[c]は出力ジェスチャの総数を示す。この関数の目的は、訓練ケースのそれぞれからの費用を加算することである。したがって、[i]は、費用を計算するために使用される現在の訓練ケースを示すために使用される。[hθ(x(i))]は、順方向伝播(forward propagation)から生じる結果を示す。順方向伝播からの推定値を計算した後、ロジスティック関数が、0と1との間の数値を変倍するために使用され得る。
項R(θ,λ)は、式{7}により与えられる正規化項である。
Figure 2019149202
一実装では、[n]は隠れ層内のノードの総数を示し、[p]は入力層内のノードの総数(訓練画像のそれぞれに見出されるピクセルの個数である)を示す。ニューラル・ネットワークを訓練することは、一実装では、例えば深度検知3次元カメラなどの空間撮像センサを使用することなどにより、訓練データを収集することを含む。例えば検出および表示装置1300は、例えば(A)フレーミング・ジェスチャ(例えば両手で、互いに対して対角線上にコーナー部を形成し、ユーザの手の内に、またはユーザの手の向こう側に、シーンまたはオブジェクトをフレーム内に納めること)、(B)指差しジェスチャ、および/またはその他同様のジェスチャ、などの、人間ジェスチャを認識するよう検出および表示装置1300を訓練するよう構成された(プログラム907に含まれるべき)プログラム命令を含み得る。いくつかの実装では、(図1AAの一例に図示される)人間ジェスチャ認識プログラム419、ジェスチャ・ライブラリ、および/またはその他の同等物が使用され得る。
プログラム907は、一実装では、データ収集を支援するよう構成され得る。大量の訓練データを収集することは、学習方法(プログラム907内で使用されるプログラム命令)の性能を改善する1つの方法である。(第1の拡張介在現実空間1000内の)設定ではサンプル・データは、例えば検出および表示装置1300を(日常的使用において)継続的に(長時間にわたり)装着することにより、追加的なジェスチャ・サンプルを収集することにより収集され得る。高い確度は、常にユーザ・ジェスチャをストリーミングし、正確な識別標識、数値、指標、タグ、格付け、および/またはその他の同等物で標識付けし続けることにより、達成され得る。これは、一実装では、各ユーザが検出および表示装置1300のそれぞれの具体例を有するユーザのコミュニティを有するソーシャル・ネットワーク・サイト内で実施され得る。係るデータ収集手法を継続的に実施することにより、学習ソフトウェアが継続的に改善されることとなる。(図1AAの一例に図示される)学習ソフトウェア424が使用され得る。
一実装では、訓練データの過剰適合を回避するために、(例えばプログラム命令として構成された)ヒューズ・ソフトウェアが実装され(プログラム907内に含まれ)得る。過剰な電流が使われたときに切れる(電流の伝導を留める)電気回路内の物理的ヒューズと同様に、ヒューズ・ソフトウェアは、トリガされたときに(例えば適合、訓練、データ収集、および/またはその他の同等物に対して過剰な時間が使用されたときに)切れる(動作を停止する)よう構成され得る。一実装では、ヒューズ・ソフトウェアは、動作(A)、動作(B)、および動作(C)を有する方法にしたがって実装され得る。
動作(A)はデータを訓練データとテスト・データとに分割することを含む。例えばデータのうちの分離された80%は訓練データとして特定され、残余の20%はテスト・データとして特定される。終了すると、制御は動作(B)に渡される。
動作(B)は、ニューラル・ネット訓練の各反復で、順方向伝播を実行し、それによりジェスチャ予測確度および費用を訓練セットおよびテスト・セットの両方に対して取得することを含む。制御は動作(C)に渡される。
動作(C)は、訓練反復の回数とともに、訓練セットおよびテスト・セットの両方に対する費用を考慮することを含む。
何らかのポイント(例えばおよそ2000反復)において、訓練データの費用が依然として減少する一方で、テスト・データの費用が増加し始める。これは、およそ2000反復の後、ニューラル・ネットワークは訓練データに対して過剰に訓練された状態となり、すなわちニューラル・ネットワークが永遠に訓練する状態に保たれて、ニューラル・ネットワークは訓練データに含まれる項目のみに適合し、それに該当しない項目の全部を拒否することになり得ることを示唆する。
一選択肢によれば、プログラム907は、ニューラル・ネットワークの訓練段階に対して約99.8%の確度を達成するためのプログラム命令を含む。訓練されたニューラル・ネットワークのクロス検証は約96.8%の確度を達成する。例えば、ジェスチャ認識ソフトウェアを含む検出および表示装置1300の性能がおよそ30FPSであるのに対して、ジェスチャ認識ソフトウェアのみの毎秒フレーム(FPS)における性能はおよそ100FPSである。
図7は、一実施形態における、図1Eの検出および表示装置1300を使用する複数の参加者(ユーザ)間で共有されるリアルタイム拡張介在現実の他の例を図示する。
さらに詳細には図7は、図1Eの検出および表示装置1300を使用することによる、共同作業的空間撮像および仮想的オブジェクトまたは物理的オブジェクトとのジェスチャ・ベースのインターフェース接続の一例を示す。一実装における仮想的バブル・メタファーとともに使用されるデジタル眼鏡180の一例が図示される。なおここでは、仮想的オブジェクトまたは実際のオブジェクト700はバブル・メタファー(バブルのような挙動を示す物)のユーザの手710によりタッチされる。バブルは、示される例では、アイコンのシンボルである。ここで、アイコンはバブルとして表され、(ある程度まで)バブルのような挙動を図8Aのユーザ・インターフェース800を介してユーザに対して示す。プログラム907は、一実装では、(図1AAの一例に図示される)バブル・メタファー生成器420を含むよう構成され得る。ここで、例えば、バブルの画像(例えば3次元)がユーザ・インターフェース800上に(ユーザに対して)現れる。例えば一実装では、手がバブル画像の球体と交差したとき、バブル画像は、(図8Bおよび図8Cの例に示す)バブルが破裂する、動画(例えばビデオ画像)、アニメーション・グラフィック、(例えばユーザの外肢の位置に対して、および/または環境内のオブジェクトの位置に対して敏感であってよいなどの)対話型アニメーション、および/またはその他の同等物に変化し、次に、破裂するバブル720はスクリーン(ユーザ・インターフェース800)から消滅する。いくつかの実装ではバブルはメニュー項目またはメニュー・アイコンの一例である。
バブル・メタファー生成器420は、一実装では、式{8}を使用することにより、球体と、当該球体の体積の体積含有率を定めるよう構成され得る。
Figure 2019149202
一実装では、[r]は球体(バブル)の半径である。球体の表面が3次元空間においてゼロの設定測定値上に存在するため、その体積はゼロである。
しかし球体の内部に含まれる体積は[4πr3]であり、したがってこの体積は、3次元空間において非ゼロの測定値を有する。同様に、ユーザの手710からのデータの点群が計算され、手710および/またはその点群が当該球体の体積および/または点群に侵入したとき、干渉信号がプログラム907により生成される。
プログラム907は、一実装では、例えばネイマン・ピアソンの一定誤警報率にしたがうなどにより干渉信号の強度を計算することを含む動作を実行するよう構成されてもよく、侵入が十分となったときにバブルが破裂されるように統計的に閾値が設定されてもよい。一実装では、ユーザの外肢(指、手、脚、足、および/またはその他の部分)が球体(バブル)の体積に入る点群侵入の度合いに関する統計的有意性テストが実行され得る。
プログラム907は、一実装では、球体(または他の形状)内への侵入の度合いの係る測定を実行することを含む動作を実行するよう構成され得る。なお当該動作を実行するためのプログラム命令は、(図1AAの一例に図示される)球形体積侵入評価器421と呼ばれ得る。係る評価器が、他の動作のために閾値が設定されるかまたはトリガとして使用される場合、プログラム命令は、(図1AAに図示される)体積侵入検出器422と呼ばれ得る。体積侵入検出器422は、球形状体積(バブル)および/または任意形状の他の体積の侵入を検出するよう構成され得る。
バブル・メタファー生成器420は、一実施形態では、プログラム907内に含まれるプログラム命令を含み、一実装では、1以上のバブル、風船、ボール、または他の2次元もしくは3次元の形状および/またはアイコンのビデオ画像、アニメーション・グラフィック、対話型アニメーション、および/またはその他の同等物を創造するよう構成され、ユーザの身体の全部または一部の点群が、2次元形状または3次元形状の内部エリアまたは内部体積と、十分な度合いおよび/または指定された度合いまで交差したとき、これらの形状を消滅(すなわち自己破壊または破裂)させる。
一選択肢によれば、(図1AAの一例に図示され、バブル破裂メタファーと呼ばれ得る)バブル破裂プログラム423は、物理的オブジェクト(例えばボール)の1以上の表現を含み得る。なおこの物理的オブジェクトは使用され得、ユーザにタッチされたとき、バブル(例えば仮想的アイコン)になるように相互作用される。物理的オブジェクト(図1A第1の拡張介在現実空間1000内の実際のオブジェクト)を使用することは、テーブルトップ、床表面、および/またはその他の同等物に対して前述したように、接触の要素をバブル・メタファー生成器に追加し得る。
検出および表示装置1300の両方の具体例のセンサ(例えば受信器)は、一実装では、検出および表示装置1300の具体例のエフェクタにより照明される画像を受け取り、そのため検出および表示装置1300の2つの具体例の場合、検出および表示装置1300のそれぞれの具体例は、6つの取得(すなわち、検出および表示装置1300の光源からの3つの取得と、シーン(第1の拡張介在現実空間1000)が、検出および表示装置1300の他の具体例に関連付けられたエフェクタにより照明されたように見えるときの3つの取得と)をキャプチャする。異なる露光と異なる照明を有する画像のこれらのセットは、照度差ステレオばかりではなく、一実装では、3次元空間撮像およびセンサ・フュージョンも、追加的な空間情報を提供する。
図8Aは、一実施形態における、図1Eの検出および表示装置1300と使用されるためのユーザ・インターフェース800の概略的な例を図示する。
いくつかの実装では、ユーザ・インターフェース800は、第1の拡張介在現実空間1000に対してセンサ信号904およびエフェクタ信号906を伝達するよう構成されたインターフェース・アセンブリ902(図1A)を介して第1の拡張介在現実空間1000から導き出された現象を表示するよう構成された第インターフェース・セクションを含む(が、これに限定されない)。ユーザ・インターフェース800は、第2の拡張介在現実空間1002に関する対面、検出、相互作用、および/またはその他同様の操作を行うよう構成されたインターフェース・アセンブリ902を介して、第2の拡張介在現実空間1002から導き出された現象を表示するよう構成された第2のインターフェース・セクションも含む。第2のインターフェース・モジュール905は、第2の拡張介在現実空間1002に対してセンサ信号904およびエフェクタ信号906を伝達するよう構成される。エフェクタ信号906は、第1の拡張介在現実空間1000および第2の拡張介在現実空間1002のうちのいずれか1つにおいて、少なくとも部分的にユーザ提示可能である。
ユーザ・インターフェース800は、一実装では、図1Aのプログラム907により提供される。図8Aは、第1のセットアップ動作に対してバブル(アイコンとして)を使用するユーザ・インターフェース800の概略的な例を図示する。いくつかの実装では美的なミニマリズムおよび物理的安全性を達成するなどのために、指が視野域に入ると、ただちにバブルがユーザ・インターフェース800の視野域802に向かって上ってくる。視野域802は、ユーザ・インターフェース800を検出および表示装置1300のユーザの眼に投影する検出および表示装置1300のエフェクタに関連付けられる。ユーザ・インターフェース800はユーザ801により使用されるためのものである。ユーザ・インターフェース800は検出および表示装置1300を通して閲覧可能である。一実装では、ユーザ・インターフェース800内の視野域802はグリッドを含み得る。なおグリッドは、(例えばスプレッドシートにおけるように)行列として配列され得るような1以上のセルを含む。図8Aの例では、セルは、サイズが同一であり、セルが重なり合わない規則的な長方形グリッド状に配置された、長方形として図示される。しかし他の実装では、グリッドおよび/またはそのセルは、サイズが、形状が、配向が、および/またはその他の要素が異なってもよく、重なり合ってもよく、三角形格子状に、ハニカム配列に、および/または他の規則的パターンもしくは不規則的パターン状に、配列されてもよい。ユーザ・インターフェース800は、1以上のグループまたはセットに配列および/または収集され得るような、1以上のバブルおよび/またはバルブ・セット803(またはセット)を含む。例えば、作業バブル804、媒体バブル805、プレイ・バブル806、ソーシャル・バブル807、および/またはその他同様のバブルを含む、バブル・セット803の4つの具体例が図示される。一実装では、バブル・セット803のそれぞれのバブルは、選択されるとただちに、ユーザは、選択されたバブルに関連付けられた設定、アプリケーション、データの収集、および/またはその他の同等物を閲覧することが可能となる。
図8Bは、一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図8Bは、第2のセットアップ動作のためにバブル(アイコンとして)を使用するユーザ・インターフェース800の概略的な例を図示する。アプリケーション・フォルダは、一実装では、ジェスチャ認識技術(例えばプログラム907において使用されるプログラム命令)を介して検出されるようにアプリケーション・フォルダに関連付けられたアイコンをポップすることにより、開かれ得る。アプリケーション・フォルダが開かれると、ただちに他のバブルは視野域802から吹き出される。一実装では、アプリケーション・フォルダは、アプリケーションおよび/または選択可能なアイコン、ショートカット、バブル、および/またはアプリケーションに関連付けられたその他の同等物の収集を含む。
図8Cは、一実施形態における図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェースの概略的な例を図示する。図8Cは、第2のセットアップ動作のためにバブル(アイコンとして)を使用するユーザ・インターフェース800の概略的な例を図示する。アプリケーション・フォルダは、一実装では、ジェスチャ認識技術を使用して検出されるようにアプリケーション・フォルダをポップすることにより、開かれる。アプリケーション・フォルダが開かれると、ただちに他のバブルは視野域802から吹き出される。
図9Aは一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図9Aはユーザ・インターフェース800内のフォルダ選択の概略的な例を図示する。フォルダ・アイコンは、一実装では、視野域802の想像上のx軸のまわりに垂直方向に螺旋状に動き得る。他の形態のアニメーションも、他の実装において用いられ得る。
図9Bは一実施形態における図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図9Bはユーザ・インターフェース800内のフォルダ選択の概略的な例を図示する。フォルダは現在、閲覧されており、指による選択に対して準備が整った状態にある。
図10Aは一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図10Aはユーザ・インターフェース800内のアプリケーション選択の概略的な例を図示する。アプリケーションはフォルダと同様に、選択され視野域802内に入れられる。一実装では、(およそ)1:5の比が、ソフトウェア・アプリケーションのアイコンに関して、3次元不透明ロゴ対バブル比に対して、使用され得る。
図10Bは一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図10Bはユーザ・インターフェース800内のアプリケーション選択の概略的な例を図示する。選択されたアプリケーションのロゴは、一実装では、ユーザ・インターフェース800の上部コーナーに素早く、螺旋状の動き、回転、および/またはその他同様の運動を行い得る。一実装では、(およそ)1:10の比がロゴをセル(3×3グリッドのセルの一部であるセル)にサイズ変更するにあたり使用される。
図11Aは一実施形態における図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図11Aはユーザ・インターフェース800内で使用される設定選択の概略的な例を図示する。(ユーザ801の)指が視野域802の上部右側セクション上で追跡されると、一実装では、ただちに設定バブル、ボタン、および/またはその他の同等物808が出現する。これは、例えば、アプリケーション内(ローカル設定に対して)、ホームスクリーンから(グローバル設定に対して)、の両方で起こり得る。したがってユーザ・インターフェース800は、一実装では、設定バブル808を含む。
図11Bは一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェースの概略的な例を図示する。図11Bはユーザ・インターフェース800内のレベル選択の概略的な例を図示する。一実装では、設定が選択されると、ただちにその設定は、グリッドの最右側列のまわりで内向きに螺旋状に動く。設定バブル808は、例えば(輝度を設定するための)設定タイプ810、(音量を設定するための)設定タイプ811、(ネットワーク接続を設定するための)設定タイプ812、(メディテーション・モードを設定するための)設定タイプ813、および/またはその他同様の設定タイプを含み、これらの設定タイプに接続され、および/またはこれらの設定タイプに対してアクセスを提供し得る。
図11Cは一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図11Cは、ゴム設定のための(ユーザ・インターフェース800における)設定選択の概略的な例を図示する。例えば輝度設定が選択されると、ただちにゴム状ラインが輝度設定アイコンの中心からユーザの指まで伸張される。一実装では、スケールが絶対値を制御する。
図12は一実施形態における、図1Eの検出および表示装置1300とともに使用されるためのユーザ・インターフェース800の概略的な例を図示する。図12は、ユーザ・インターフェース800に対する視覚的サーチ・メニューのメタビュー(俯瞰図)の概略的な例を図示する。
図13は一実施形態における、図1Eの検出および表示装置1300(ハードウェア・アレイとも呼ばれる)の概略的な例を図示する。図13は一実装における、検出および表示装置1300において使用されるハードウェアの概略的な例を図示する。検出および表示装置1300、例えば、第1の拡張介在現実空間1000にインターフェース接続するよう構成された第1の現象インターフェース1302と、第2の拡張介在現実空間1002にインターフェース接続するよう構成された第2の現象インターフェース1306と、を含み得る。第1の現象インターフェース1302の1つの例は、図1Aおよび/または図1Bのインターフェース・アセンブリ902を含む。
一選択肢によれば、第1の現象インターフェース1302は、(例えば図1Bの第1の感覚現象エフェクタ912などの)第1の感覚現象エフェクタと、(例えば図1Bの第1の感覚現象センサ910などの)第1の感覚現象センサと、を含む。なお第1の感覚現象エフェクタおよび第1の感覚現象センサのそれぞれは第1の拡張介在現実空間1000と動作可能に相互作用するよう構成される。第2の現象インターフェース1306は、(図1Bの第2の感覚現象エフェクタ914などの)第2の感覚現象エフェクタと、(図1Bの第2の感覚現象センサ916などの)第2の感覚現象センサと、を含む。なお第2の感覚現象エフェクタおよび第2の感覚現象センサのそれぞれは、第2の拡張介在現実空間1002と動作可能に相互作用するよう構成される。第1の感覚現象エフェクタの例としては図1Bの第1の感覚現象エフェクタ912が挙げられ、第1の感覚現象センサの例としては図1Bの第1の感覚現象センサ910が挙げられる。第2の感覚現象エフェクタの例としては図1Bの第2の感覚現象エフェクタ914が挙げられ、第2の感覚現象センサの例としては図1Bの第2の感覚現象センサ916が挙げられる。
一選択肢によれば、処理アセンブリ1304は第1の現象インターフェース1302および第2の現象インターフェース1306に動作可能に連結するよう構成される。処理アセンブリ1304は、第1の感覚現象エフェクタ、第1の感覚現象センサ、第2の感覚現象エフェクタ、および第2の感覚現象センサと動作可能に相互作用するよう構成される。処理アセンブリ1304の例としては図1Aおよび/または図1Bの処理装置908が挙げられ、処理アセンブリ1304の例は、一実装では、第1の現象インターフェース1302および第2の現象インターフェース1306に動作可能に連結されるよう構成され得る。
検出および表示装置1300は、(例えば)第1の現象インターフェース1302を含む。第1の現象インターフェース1302は、指追跡器、深度カメラ、および/または、その他の同等物を含むよう構成された空間撮像センサを含むよう構成され得る。第1の現象インターフェース1302は、図1Bの第1の感覚現象センサ910および/または第1の感覚現象エフェクタ912の組み合わせの一例であってよい。第1の現象インターフェース1302は、いくつかの実装では、装着者(例えばユーザ)の外肢(手、指、腕、脚、足、および/またはその他の同等物)の検出、監視、および/または追跡を行うよう構成される。第1の現象インターフェース1302の例としては、カメラ、3次元空間センサ、3次元スキャン装置、3次元検知装置、および/またはその他の同等物が挙げられる。処理装置908は、空間撮像ソフトウェアを実行するよう構成され得る。装置1300は装着可能となるよう構成された第2の現象インターフェース1306をさらに含む。第2の現象インターフェース1306は、頭部搭載ディスプレイ、透明型頭部搭載ディスプレイ、双眼型頭部搭載ディスプレイ、および/またはその他の同等物となるよう構成され得る。
装置1300は、一実施形態では、処理アセンブリ1304も含む。処理アセンブリ1304は、一実装では、図1Aの処理装置908の一例および/またはその構成要素であり、中央処理装置、および/またはグラフィック処理装置、および/またはその他の同等物を含み得る。
装置1300は、一実施形態では、(例えば双眼型光学透明頭部搭載ディスプレイを形成するために)頭部搭載ディスプレイを含み得る空間撮像ディスプレイ・ユニットなどの第2の現象インターフェース1306も含む。一実装では、第2の現象インターフェース1306は、閲覧者が(例えば同時に)図1Aの第1の拡張介在現実空間1000を閲覧することと、第2の拡張介在現実空間1002を閲覧することと、が可能となるよう構成される。一実装では、深度マップ1308は、第1の現象インターフェース1302により処理アセンブリ1304(および/または図1Aのプログラム907)に提供される。第2の現象インターフェース1306は、図1Bの第2の感覚現象センサ916および/または第2の感覚現象エフェクタ914の組み合わせの一例である。
深度マップ1308は、一実装では、第1の現象インターフェース1302によりシーン(例えば図1Aの第1の拡張介在現実空間1000)内で特定された物理的アーチファクトのデジタル・マップである。
図14は一実施形態における、図13の装置1300の概略的な例を図示する。装置1300は、拡張介在現実機能を支援するよう構成された構成要素の組み合わせを提供する。装置1300は、(例えば、デスクトップ、ラップトップ、タブレット、もしくはスマートフォン、および/またはその他の同等物などの)パーソナル・コンピュータ内に実装され得る。一実装では、装置1300は、眼鏡としてユーザの頭部に装着され得る装置として実装され得る。一実装では、装置1300は、図8Aのユーザ・インターフェース800を提供するよう構成されたハードウェア・コンポーネントと、1セットのソフトウェア・アプリケーション(例えば図1Aのプログラム907におけるプログラム命令)と、を含む。
一実装では、装置1300は、第2の現象インターフェース1306上で立体的3次元画像を閲覧することを支援するよう構成される。装置1300は、拡張介在現実環境(例えば図1Aの第1の拡張介在現実空間1000)におけるユーザ・ジェスチャの動きの全部または任意の一部を通して動作すること、および/または係る動きを認識すること、を行うよう構成される。装置1300は、一実装では、例えばエフェクタ装置により投影されるコンピュータ化された投影(例えば仮想的キーボードなど)との相互作用をシミュレーションするためなどに、ユーザの身体および/または外肢(例えば、指、手、腕、脚、足、および/またはその他の同等物)の制御された動き(ジェスチャ)を認識するよう構成される。エフェクタ装置は2次元画像および/または3次元画像を投影し得、係る画像は1以上の座標系内で閲覧され得る。係る座標系は、例えば、第2の現象インターフェース1306または身体に固定されてもよく、または第1の拡張介在現実空間1000内の現実世界オブジェクトに登録されてもよい。
加えて、コンピュータ化されたアプリケーション(生産性、ソリューション、ゲーム、媒体、および/またはその他の同等物などのプログラム命令)は、一実装では、第2の現象インターフェース1306の前において、ユーザの指、手、および/または腕の動きを空間内で使用するなどして、装置1300を通して3次元拡張介在現実(例えば第1の拡張介在現実空間1000または第2の拡張介在現実空間1002)内で制御され得、例えば表面、窓台、およびドアフレームなどの物理的構成要素に対して登録され得る。
装置1300は、例えば体操指導(例えばダンス、武道、トラック・ランニング、スポーツ指導、および/またはその他の同等物)などの様々な用途に対して構成され得る。そこでは、拡張介在現実(例えば仮想的3次元)指導者が動きを実際にやってみせる。2人以上のユーザが装置1300を装着している場合、拡張介在現実指導者は装置1300を通して、動きのクロス認証により学生(ユーザ)の動きを矯正するよう構成される。装置1300は、例えばユーザの頭部に対して固定された、または表面に対して固定された、フル立体的3次元映画の閲覧などの様々な用途のために構成され得る。装置1300は、例えば拡張介在現実キーボードなどの様々な用途のために構成され得る。そこでは、以下のソフトウェア・アプリケーションにおいて説明するように、追跡対象の指がキーを通してスワイプし、論理的プログラム命令および/またはその他の同等物を使用して、言葉を構築する。さらなる例は以下のソフトウェア・アプリケーションにおいて説明される。いくつかの実装では装置1300の構成要素は、例えば眼鏡フレームに収まるよう、縮小化、最小化、および/またはその他同様に寸法変更され得る。なお装置1300の構成要素が眼鏡フレームのフレーム内に埋め込まれ得る。装置1300は、ユーザ・インターフェース800(図8A)を制御するよう構成されたハードウェア装置およびソフトウェア(プログラム命令)と、1セットのソフトウェア・アプリケーションと、の共同作業的組み合わせを含む。
図13を参照すると、一選択肢によれば、装置1300は、第1の現象インターフェース1302、第2の現象インターフェース1306、および処理アセンブリ1304の組み合わせを含む。
他の選択肢によれば、装置1300は処理アセンブリ1304を含み、この処理アセンブリ1304は、第1の現象インターフェース1302に動作可能に連結するよう構成された第1のインターフェース・モジュール903に動作可能に連結され、また、第2の現象インターフェース1306に動作可能に連結するよう構成された第2のインターフェース・モジュール905にも動作可能に連結される。
さらに他の選択肢によれば、装置1300はインターフェース・システムを含む。インターフェース・システムは、第1の現象インターフェース1302に動作可能に連結するよう構成された第1のインターフェース・モジュール903と、第2の現象インターフェース1306に動作可能に連結するよう構成された第2のインターフェース・モジュール905と、処理アセンブリ1304に動作可能に連結するよう構成された第3のインターフェースと、を含む。
一実装では、装置1300は、図1Aの第1の拡張介在現実空間1000から受け取った感覚現象(例えば視覚現象、音響現象、接触現象、および/またはその他の現象など)を検出するよう構成された第1の現象インターフェース1302を含む。第1の現象インターフェース1302は、一実装では、図1Aの第1の拡張介在現実空間1000に感覚現象(例えば画像、その他など)を提供および/または伝送するようにも構成され得る。一実装では、第1の現象インターフェース1302は、ユーザの眼から離間し、第1の拡張介在現実空間1000に向かう方向に配向される(向けられる)ようにも構成され得る。
一実装では、第1の現象インターフェース1302は第1の現象センサおよび第1の現象エフェクタを含む。第1の現象センサに対する参照は、第1の現象センサの1つ以上(1つ)の具体例を含み得る。第1の現象エフェクタに対する参照が1つ以上(1つ)の具体例の第1の現象エフェクタを含み得ることは理解されるであろう。第1の現象センサは、例えば、空間撮像センサ、深度カメラ、指追跡カメラ(それぞれのソフトウェアを含む)、および/またはその他の同等物を含み得る。深度カメラの例としては、(i)Asus(登録商標)Xtion Pro(登録商標)システム、(ii)Leap−Motion(登録商標)システム、(iii)Creative(登録商標)インタラクティブ・ジェスチャ・カメラ、(iv)、PMD(登録商標)カム・ボード・ナノ、および/またはその他同様のカメラを含む。第1の現象エフェクタは、スピーカ、ランプ、照明装置、ビデオ・プロジェクタもしくはホログラフィック・プロジェクタ、レーザ、および/またはその他の同等物を含み得る。
一実装では、第1の現象インターフェース1302は(例えば第1の現象センサにより)深度マップ1308を計算し、生成し、および/または係る深度マップ1308を処理アセンブリ1304に提供するよう、構成される。第1の現象インターフェース1302は、図1Aの第1の拡張介在現実空間1000内に配置された様々な物理的構成要素(例えば表面、窓、玄関など)の座標および空間的配向を提供するよう(返すよう)構成される。深度マップ1308は、例えば登録目的のために物理的構成要素(オブジェクト)の追跡が可能となるよう構成される。第1の現象インターフェース1302は、一実装では、深度マップ1308を提供するよう構成された指追跡深度カメラを含み得る。第1の現象インターフェース1302は、深度マップ1308を、処理アセンブリ1304に連結されたメモリ・アセンブリ909(図1A)に伝達または伝送するよう構成される。メモリ・モジュール内に格納されたソフトウェア(プログラム命令)は、ユーザの外肢(指、手、腕、脚、足)を追跡するなどのために、深度マップ1308を使用するよう構成され、および/または物理的構成要素は第1の拡張介在現実空間1000(例えばドアフレーム、窓、表面、および/またはその他の同等物)内に配置される。深度マップ1308は、装置1300とともに使用される他のソフトウェア・アプリケーション(プログラム命令)によりアクセスおよび/または使用され得る。メモリ・アセンブリ909内に格納されたソフトウェアは、一実装では、カメラにより提供される深度マップ1308に基づいて、追跡対象項目の物理的座標[X,Y,Z]を計算するよう構成される。[X,Y,Z]のマッピング(深度または寸法マッピング)は例えば、ユーザの身体および/または装置1300自体に関連付けられた、または登録された平面に関連付けられた(例えば物理的オブジェクトに関連付けられた)、座標系内で起こり得る。
ユーザが装置1300を装着するいくつかの実装に対して、第1の現象インターフェース1302は、ユーザの視野域(図1Aの第1の拡張介在現実空間1000とも呼ばれる)の方向に対向し、および/または別様に方位付けられる。一実装では、ユーザの視野域は眼前方閲覧方向である。例えば一実装では、ユーザの視野域は、ユーザが自分の指の箇所を閲覧し得る方向であってよい。ユーザが仮想的キーボード上でタイピングしている場合、たとえユーザが他方を見ていたとしても、ユーザの指は第1の現象インターフェース1302により追跡され得る。一実装では、第2の現象インターフェース1306はユーザの眼(図1Aの第2の拡張介在現実空間1002)に向かう方向に対向する(例えば当該方向に向けられる)。
例えば第1の拡張介在現実空間1000は、装置1300の各自の具体例を有する少なくとも2人のユーザが、少なくとも1人以上のユーザに関連付けられた装置1300の少なくとも1つの具体例により提供される(第1の拡張介在現実空間1000内の)感覚現象とのユーザ相互作用により、第1の拡張介在現実空間1000内で相互作用(例えば共同作業、競争、戦闘、および/またはその他の同等物)を行い得る物理的場所を表現し、および/または係る物理的場所に関連付けられ得る。
例えば第1の拡張介在現実空間1000は、少なくとも1人のユーザが、装置1300の具体例を有し、装置1300の第1の現象インターフェース1302により提供される(第1の拡張介在現実空間1000内の)感覚現象とのユーザ相互作用により、第1の拡張介在現実空間1000内で相互作用し得る、物理的場所を表現し、および/または係る物理的場所に関連付けられ得る。
第2の現象インターフェース1306は、一実装では、ユーザから受け取った感覚現象を検出(例えば眼の動き、顔の表情、および/またはその他の同等物を追跡)するよう構成される。第2の現象インターフェース1306は、図1Aの第2の拡張介在現実空間1002内のユーザに感覚現象(例えば画像、ビデオ、グラフィック、音響、および/またはその他の同等物など)を提供および/または伝送するようにも構成され得る。第2の現象インターフェース1306は、一実装では、ユーザの単眼または両眼に向かい、第1の拡張介在現実空間1000から離間する方向に配向される(例えば、向けられる)ようにも構成され得る。他の実装では、第2の現象インターフェース1306は、ユーザの、上方に、下方に、周囲に、遠隔に、および/またはその他の位置関係あるエリアに向けて配向されるよう構成され得る。
一実装では、第2の現象インターフェース1306は第2の現象センサおよび第2の現象エフェクタを含む。第2の現象センサに対する参照は、第2の現象センサの1以上の単一具体例を含み得る。第2の現象エフェクタに対する参照は第2の現象エフェクタの1以上の単一具体例を含み得る。第2の現象センサは、様々な実装では、空間撮像センサ、深度カメラ、指追跡カメラ(それぞれのソフトウェアを含む)、および/またはその他の同等物を含み得る。第2の現象エフェクタは、一実装では、音響出力(例えばイヤピース)、および/またはユーザの眼に対して画像を表示するよう構成されたディスプレイ・ユニットを含み得る。
処理アセンブリ1304は、いくつかの例では空間撮像処理アセンブリと呼ばれ得、図1Aの処理装置908の一例である。処理アセンブリの例としては、中央処理装置、グラフィック処理装置、マイクロプロセッサ、特定用途集積回路(ASIC)、および/またはその他の同等物が挙げられる。処理アセンブリ1304は、一実装では、第1の現象インターフェース1302により提供された情報に基づいて、および/または第1の現象インターフェース1302から受け取った情報に基づいて、指の骨格、手、もしくは腕、および/またはユーザの外肢などのオブジェクトの空間位置および配向を計算するよう構成され得る。処理アセンブリ1304はプログラム命令を実行するよう構成され、いくつかの実装では、(ワイヤレスまたは有線の)ネットワーク接続を有するよう、および/または係るネットワーク接続に連結されるよう、構成され得る。一実装では、処理アセンブリ1304は、感覚現象を表現する信号(例えば空間画像)を(図1Aの第2の拡張介在現実空間1002内の)第2の現象インターフェース1306に提供するよう構成され得る。処理アセンブリ1304は、例えば、モバイルフォン、(例えばベルトに取り付けられた、および/または組み込まれた)モバイル・コンピュータ、(例えばデスク上に置かれる)据置型コンピュータ、および/またはその他の同等物を含み得る。
処理アセンブリ1304は、ソフトウェア(プログラム命令)を実行するよう構成され、一実施形態では、深度マップ1308に含まれる情報に基づくなどして、(第1の拡張介在現実空間1000内の(1人以上)ユーザの)指、手、および/または腕の位置の空間座標および配向を計算するよう構成される。
装置1300は、一実装では、ユーザにより装着されるよう構成されたユーザ装着可能なフレーム(例えば頭部装着フレーム、眼鏡フレーム、バイザ、マスク、および/またはその他の同等物)を含み、装置1300の構成要素の任意の組み合わせを支持するようにも構成され得る。
ソフトウェア・アプリケーション
以下で説明するソフトウェア・アプリケーション(プログラム命令)は、装置1300と共同作業するよう構成され得る。一実装では、ソフトウェア・アプリケーションは、図1Aのメモリ・アセンブリ909内に格納された深度マップ1308(図13)を使用するよう構成される。深度マップ1308は、第1の現象インターフェース1302により(例えば第1の現象インターフェース1302に関連付けられたセンサを介して)例えば処理アセンブリ1304に提供される。様々なソフトウェア・アプリケーションが、深度マップ1308に基づいてグラフィック画像を生成し、そのグラフィック画像を(例えば第2の現象インターフェース1306を介して)ユーザに表示するよう、構成され得る。一実装では、グラフィック画像は、追跡対象の指、手、腕、脚、足、杖、および/もしくは他のユーザの外肢、および/または第1の拡張介在現実空間1000内に配置された物理的構成要素(例えば窓、ドア、表面、および/またはその他の同等物)の対応する動きを図示する。
ソフトウェア・アプリケーションの例としては、シューティング・ゲーム用のユーザ・インターフェース800(図8Aに図示される)を管理するよう構成されたユーザ・インターフェース・アプリケーションが挙げられる。ソフトウェア・アプリケーションは、ユーザ相互作用技術と、(ジェスチャの)ユーザ追跡とを支援するよう構成される。例えば一実装では、ユーザの人差し指が銃の銃身として追跡され得、親指端部と掌との距離を(親指を曲げることにより)縮めることは、ユーザが仮想的銃の発砲をトリガすることを望んでいることを示す。ソフトウェア・アプリケーションは、図1Aの第1の拡張介在現実空間1000内に表示される仮想的ターゲットなどの画像を増大するよう構成される。その場合、ターゲットが仮想的銃で射撃されると、画像が第2の現象インターフェース1306を介してユーザに対して表示されることとなる。
ソフトウェア・アプリケーションの例としては、拡張介在現実シューティング・ゲームが挙げられる。ソフトウェア・アプリケーションは、(例えばシューティング・ゲームにおいて使用されるのと同様の)ユーザ相互作用技術およびユーザ追跡を支援するよう構成される。ソフトウェア・アプリケーションは、実際の物理的世界に対して登録された、および/または係る物理的世界の中のオブジェクトに対して登録された、仮想的ターゲットを表示するよう構成される。仮想的ターゲットは仮想的銃または武器を使用して射撃される。(仮想的ターゲットと物理的オブジェクトとの間の)登録は、例えば深度マップ1308を使用するなどして、物理的構成要素(例えば、ルーム・コンパートメント)を追跡することにより、なされ得る。
ソフトウェア・アプリケーションの例としては、拡張介在現実キーボードが挙げられ得る。ソフトウェア・アプリケーションは、ユーザにグラフィックを提供および/または表示するよう構成される。なお仮想的キーボードが第2の現象インターフェース1306によりユーザに示される視野域の下方に存在する。「オープンハンド上昇/下降キーボード」ジェスチャなどの相互作用技術(例えばユーザ・ジェスチャの動き)が装置1300のセンサにより検出されると、ソフトウェアはただちに、上昇してユーザの視野域に入ることをキーボードの画像に行わせるよう構成される。一実装では、仮想的キーボードは、第2の現象インターフェース1306の座標系内に、ユーザの身体の座標系内に、登録された物理的構成要素に対して、装置1300の配向に対して、および/またはその他同様に、固定され得る。一実装では、ソフトウェアは以下の様式でユーザと相互作用するよう構成される。オープンハンド上昇/下降キーボード・ジェスチャに対するユーザ・ジェスチャがユーザにより使用される。開いた手(例えば少なくとも閾値本数の指先、例えば2本)が事前決定された時間量(例えば1秒)を越えて可視となると、ソフトウェアはただちに、拡張介在現実キーボードをユーザの視野域に上昇させるよう構成される。ユーザは、ソフトウェアがそれに応答するよう構成された「指スワイプ・入力装置」ジェスチャを開始し得る。ソフトウェアは、オープンハンド・ジェスチャが(例えば手を閉じること、または1本の指のみを追跡することにより)無効化されたジェスチャを検出するよう構成され、それに応答して、ソフトウェアは、拡張介在現実キーボードの画像を下降させ、ユーザの視野域からキーボードを退出させる。拡張介在現実キーボードの画像を下降させることは、(例えばユーザの)手が、事前決定された時間量(例えば1秒)を越えて再び開かれると、達成され得る。
一実装では、ソフトウェアは、指スワイプ・入力装置を含む他のユーザ相互作用技術に応答するよう構成され得る。ユーザは拡張介在現実キーボードの所望のキーを通してスワイプし得る。これは、一実装では、追跡対象の指の動きと、キーの静的位置と、の両方を同一のz平面に固定することにより、達成され得る。この例の構成では、[X,Y,Z]座標系は、第2の現象インターフェース1306に、ユーザの身体に、装置1300の配向に、第1の拡張介在現実空間1000内の登録された物理的構成要素(例えばデスク、球体、および/またはその他の同等物)に、固定され得る。指を動かすことにより、入力運動および静的キーボードの両方を同一のオブジェクト(例えば平面、表面)に固定すると、ユーザは、係る座標系内の[X,Y]座標に沿って入力装置をスワイプすることを可能にする。例えば、指の[X,Y]座標は(例えば深度マップ1308を介して)第1の現象インターフェース1302から戻され、スクリーン(第1の拡張介在現実空間1000)において更新される。指の[X,Y]座標が変化するのに伴い、キー(それぞれが、第2の現象インターフェース1306、身体、またはオブジェクトに対するそれぞれの位置に固定されている)が指と交差する。交差されたそれぞれのキーは、そのキーID(識別子)をローカル・プロセスおよびバックエンド・プロセスの一方または両方に伝播するアクション・イベントをトリガする。バックエンド・プロセスとの通信は、例えば、ネットワーク通信を介して行われ得る。一実装では、バックエンド・プロセスは、例えばバターン認識および/または自然言語処理を介するなどにより、何の単語を書くことが意図されているかを判定し、意図される単語を、または単語提案を返す。他の例の構成では[Z]パラメータは固定されず、指自体が空間内でホバリングしながら仮想的キーと相互作用する。さらに他の例の構成では、仮想的キーは、オブジェクトの表面の頂面上の、または第2の現象インターフェース1306もしくはユーザの身体に固定された座標系内でホバリングする、3次元形状(例えば、隆起、球体、立方体、ボタン、ライト、および/またはその他の同等物)として現れ得、指が、これらの隆起を押圧して、タイピングを達成し得る。他の実装では指の以外の外肢、または指に追加して外肢は(例えば手書き入力ペンもしくは杖、腕、手、複数の指、脚、足、および/またはその他の同等物)は、タイピング、および/または仮想的キーボードとの他の相互作用のために用いられ得る。
ソフトウェア・アプリケーションの例としては、ニュース読みアプリケーション(ニュース・カルーセル)が挙げられ得る。一実装では、ソフトウェアは、(A)内部に記事/媒体・タイトル(例えば不透明3次元メッシュ描画された活字)を有する透明形状を含むグラフィック(例えばバブル)を(ユーザに)表示すること、および(B)当該グラフィックを、視覚的に表示された軸および/または不可視の垂直軸まわりに回転させること、を行うよう構成され得る。この実は、第2の現象インターフェース1306に、ユーザの身体に、および/または第1の拡張介在現実空間1000内の追跡対象の部屋内の垂直軸に対して、固定され得る。カルーセルも追跡され得る。後者の場合(垂直軸が追跡対象の環境内にある)の実装ではユーザがカルーセルに背を向けると、テキストを内部に封入する透明形状が消え去り、ユーザが振り向くと、テキストは、ユーザの視野域にあったときにテキストが占めていた最後の場所に、再び出現することとなる。例えば「バンチト・スワイプ」ジェスチャなどの相互作用技術を使用することにより、テキストが左右にスワイプされると、記事は軸を中心にして回転する。ユーザに最も近位に位置する記事(媒体)が、例えば「スクイーズ・トゥ・ムーブ・アンド・ポップ」(Squeeze to Move and Pop)ジェスチャなどの相互作用技術を使用することにより、選択され得る。記事がポップされると、記事の本体が視野域内で大きくなり、記事は単一の透明形状(例えば、バブル)よりも大きくなるか、または記事は透明形状のサイズのままに留まり、ユーザは記事を読み得る。
ソフトウェアは、バンチト・スワイプ・ジェスチャなどの認識などのユーザ相互作用技術を支援するよう構成される。何本かの指が一緒に束ねられ、このジェスチャは、例えば人差し指の先端と中指の先端と検出し、次にこれらの先端を一緒に追跡して、深度マップ1308から1セットの[X,Y,Z]座標を返すことによるなどにより、追跡され得る。次に、ユーザが任意の方向にスワイプ・ジェスチャを行うと、一実装では、仮想的カルーセルがそれぞれの回転方向で垂直軸を中心に回転する。
ソフトウェアは、例えばスクイーズ・トゥ・ムーブ・アンド・ポップ・ジェスチャなどのユーザ相互作用技術を支援するよう構成される。透明カプセル化形状(例えば、バブル)内の記事が選択され、握り締めの度合いに基づいて動かされ得る。なおその度合いは、一実装では、以下の例により判定され得る。
動作(1)はムービング・スクイーズ・ジェスチャの認識を含む。例えば人差し指と親指との間の追跡対象距離が測定され得る。バブルが特定的な閾値(例えば5センチメートル)を越え、他の閾値(例えば10センチメートル)より小さい場合、形状は、(3次元空間においてマウスをドラッグすることと同様に)手の動きの方向に沿って動かされる。
動作(2)は、ポッピング・スクイーズ・ジェスチャ(popping squeeze gesture)の認識を含む。距離が両方の閾値より低い場合、形状はポップされ、この場合、記事の本体は大きくなり、視野域を満たす。1つの構成例では、ユーザは、バンチト・スワイプ・ジェスチャ(動き)が記事または媒体の項目に適用されたとき、形状の逆飛び出し(すなわち形状が記事または媒体の本体を再びカプセル化する)を見る。
動作(3)は動きが存在しないことの認識を含む。ソフトウェアは、距離が両方の閾値を越えたかどうか、形状が移動状態にあるかどうか、および形状が静止状態にあるかどうかを検出するよう構成される。形状が元から静止状態にあったとき、形状は静止状態に留まるであろう。
ソフトウェア・アプリケーションの例としては、表面上における複数の立体的3次元提示が挙げられ得る。一実装では、ソフトウェアは、以下の例(すなわち、基準標識などの表面追跡技術またはハードウェア・システムのネイティブ物理的構成要素深度追跡器を使用することにより、環境内の1以上の表面(例えば壁部)の位置および配向が追跡されること)にしたがってユーザを追跡するよう構成される。一実装では、ソフトウェアは、例えば以下の例(すなわち、立体的または別様に2次元および/または3次元画像(単数または複数。ムービー、インターネット・ウェブページ、仮想的ブックシェルフ、仮想的アート・ギャラリー、および/または他の媒体提示)が閲覧のために1以上の追跡対象の表面に対して固定されること)によるなどして、グラフィック画像をユーザに提示するよう構成され得る。一実装では、同一ムービー・フレームまたは媒体項目の補完的なセグメントが異なる壁部上に表示され、さらなる実装では、それらの累加的効果により、単一のフレームに対して全方向における深度の錯覚が提供される。他の実装では、すべての提示タイプは、追跡対象の手を使用して(例えば、動作の開始、停止、前進、後退、一時停止、スクロール、キーボードの使用、パン、ズーム、回転を行うために)相互作用され得る。
ソフトウェア・アプリケーションの例としては、仮想的スカルプティングが挙げられ得る。一実装では、このソフトウェアは、追跡対象の表面および/またはオブジェクト(例えばデスクなどの追跡対象の物理的構成要素と同一平面状にある1つの面を有する)に対して、またはユーザの前方の空間に対して、固定され得る仮想的形状(例えば立方体などの多角体)を提示するよう構成され得る。一実装では、追跡対象の手の骨格は、追跡対象の手と仮想的オブジェクトとの間の相互作用の任意点をスカルプトすることにより(例えば、指との相互作用に応じて多角形が重心に向かって動的に内向きに凹まされる、現実的な粘土スカルプティング・メタファーを使用して)、仮想的オブジェクトをスカルプトし、その構成を変更するために使用され得、一実装では、ユーザの深度追跡される腕の上でホバリングするように見える仮想的メニュー(パレット)を使用して、ユーザは、自分の他方の手を、手の上方でホバリングするパレットに差し込み、他方の手を使って、テクスチャ、カラー、透明度、または不透明度、輝度、および/またはその他などの効果を立方体に適用し得る。他の実装では、オブジェクトは、層状にグループ化され得る複数の他のオブジェクトから合成され得る。係る実装では、選択メニュー項目は、層/オブジェクトの選択を追跡対象の手が示すことを可能にし、次に、スカルプト/テクスチャ・メニュー項目は、選択された項目をスカルプトまたはテクスチャすることを追跡対象の手が示すことを可能にする。
ソフトウェア・アプリケーションの例としては、室内の、複数の学生(ユーザ)を有する、または係る学生を有さない拡張介在現実インストラクタが挙げられる。一実装では、ソフトウェアは、ユーザの動きを追跡するよう構成され得る。例えばこの場合での追跡対象である物理的構成要素は、部屋(例えば床部などの表面)である。動作モード例では、ソフトウェアは、「モハメッド・アリとのボクシング対決」のゲームを支援し、ユーザの締め付けられた拳が追跡対象となる。他の動作モード例では、ソフトウェアは「グループ・ヨーガ指導」が支援され、第1のユーザの身体が第2のユーザの深度カメラにより追跡される。一実装では、拡張介在現実インストラクタのアニメーションは、同一の位置配向に現れ、両方のユーザの位置、回転、および倍率変更がソーシャル追跡器方法を使用して相互に追跡されるため、ワールド座標内の両方のユーザに倍率変更する。
一実装では、ソフトウェアは「モハメッド・アリとのボクシング対決」のゲームを支援するよう構成される。そこでは、ソフトウェアは、等身大の3次元(ステレオまたは非ステレオの)拡張介在現実インストラクタ(例えば仮想的なモハメッド・アリ)のグラフィック画像を提示するよう構成される。なお、このインストラクタは、装置1300の第2の現象インターフェース1306を通して見ると、近距離からユーザに対向するように見える。この仮想的姿は物理的構成要素追跡(例えば床部)に接続および/または登録される。ゲームの進行に伴い、仮想的姿がユーザをパンチすると、ユーザはダッキングしてパンチを回避(これによりポイントが加算される)してもよく、またはパンチを受け(これによりポイントが失われる)てもよく、または仮想的姿をパンチし(これによりポイントを受けることができる)てもよい。
一実装では、ソフトウェアは、「ヨーガ指導」のゲームを支援するよう構成される。そこでは、ソフトウェアは、(床部の上で拡張介在現実インストラクタが拡張介在現実環境内でスーパーインポーズされる)個別ヨーガ指導を含む第1のモードで動作するよう構成される。例えばヨーガの場合、拡張介在現実インストラクタはユーザから遠位に配置され、ユーザに対向して正確なヨーガの動きをユーザに示す。ユーザは係るイベントにおいて拡張介在現実インストラクタにより提供される動きを模倣する。
一実装では、ソフトウェアは、ヨーガ指導および矯正を含む第2のモードでも動作するよう構成される。この相互作用を達成するにあたり、1つの構成例は、特定的な閾値(例えば5メートル)を越える距離で互いに対向し合う2人以上のユーザを含む。第1のユーザのセンサ(例えば深度カメラ)は第2のユーザの骨格を追跡するよう動作し、第2のユーザのセンサは第1のユーザの骨格を追跡するよう動作する。次に拡張介在現実インストラクタがユーザ間にスーパーインポーズされ、骨格追跡に基づいて関連するユーザに振り向き、当該ユーザのフォームを矯正し、様々なヨーガの動きに対して、関連する指導を提供する。他の構成例では、他の別個のセンサ(例えば、深度カメラ)は、第2の現象インターフェース1306(図13に図示される)を装着する単一のユーザに対向し得、拡張介在現実インストラクタは、ユーザの骨格姿勢に基づいて単一ユーザの動きを矯正し得る。
ソフトウェア・アプリケーションの例としては、マーカ・レス追跡を使用して3次元空間内において見られうるような、物理的表面に追跡される拡張介在現実戦略実際的状況のゲーム、シミュレーション、および/またはその他の同等物が挙げられ得る。一実装では、ソフトウェアは、ユーザ相互作用技術および追跡のためのモードを含むよう構成される。すなわちユーザの手は、仮想世界内のアヴァター/構造体と相互作用(例えばスマック、ハイタッチ、愛撫、および/またはその他の同等行為)し得る。ゲーム/シミュレーションの仮想的サンドバッグが追跡対象の表面または物理的構成要素(例えば)、ベッド、床面、および/または天井)に対して固定され得る。ソフトウェアは、一実装では、ユーザの手との相互作用したときにアヴァターが特定的なアニメーション・シーケンスで応答し得る(例えば「スマック」されるとアヴァターがジャンプする)ようなグラフィック画像を提示するよう、さらに構成され得る。一実装では、登録されたユーザ・ジェスチャは、データベース(例えばリンクされたジェスチャおよび出力テーブルを含む)に格納された記録を介してアニメーション・シーケンスなどの表示される出力と相互に関連付けられる。
ソフトウェア・アプリケーションの例としては、ソーシャル追跡器が挙げられ得る。一実装では、ソフトウェアは、ソーシャル相互作用に関連付けられたユーザ・ジェスチャを追跡するよう構成される。ソフトウェアは、マーカ・ベースまたはマーカ・レスの追跡戦略(例えばマーカの実装では、装置1300の一部に取り付けら得るような、暗闇内発光するか、もしくは別様に発光下で可視である基準マーク、または、他の物理的追跡器)を使用して、実装され得る。一実装では、マーカ・ベースの追跡システムは、追跡を改善するよう構成される。加えて、この手法は、それぞれの眼鏡に対して一意的な識別子(ID)を使用し得(例えばこの例では各マーカは一意的なIDであるかおよび/または一意的なIDを有する)、係るIDは一実装では、もし選択および/または所望される場合、ユーザのソーシャル・ネットワークのユーザネームを介してユーザのデータに接続され得る。そのようにソーシャル・ネットワーク情報はこのシステムのユーザ間で交換され得る。追跡器は以前にシステムにより特定されているため、一方のユーザは、自分の頭部(装着眼鏡)を観察することにより他方のユーザの位置および配向を知り得る。このことは、例えば、ユーザに関する情報を有するバブル・グラフィックが飛び出して、第2の現象インターフェース1306のユーザの具体例に固定されることを可能にする。加えてこのID追跡器により、一実装では、眼鏡により顔が隠され、別様に顔認識ソフトウェアでは認識が不可能なユーザの識別が可能となる。
例えば一実装では、ソフトウェア(ソーシャル追跡器)は、第1のモード(a)および第2のモード(b)で動作するよう構成される。第1のモード(a)では、ソフトウェアは、装置1300の具体例間での接続(例えば双方向接続、および/または多方向接続)を支援するよう構成される。このモードでは、眼鏡がネットワークに接続されているかぎり、ソーシャル・ネットワーク情報がソーシャル・インターフェースを介してユーザ間で交換される。ユーザがソーシャル・ネットワーク上の友だちであるならば、これらのユーザは共通の友だち、写真、その他を装置1300の各自の具体例内のユーザ・インターフェース800上で閲覧し得る。これらのユーザが友だちではない場合、これらのユーザは、プログラム907により実施され得るように以下の例と同様のガイドラインを使用して、互いの友だち関係をリクエストし得る。
(ソーシャル追跡器ソフトウェアに対する)第1のガイドラインは、非友だちモードを含む。すなわち一実装では、非友だち(被リクエスト側)に対して行うことが許可されるのは、特別な形態の友だちリクエストを送ることのみである。しかし係るリクエストを送る前に、被リクエスト側に関する情報は、第2の現象インターフェース1306のリクエスト者の具体例に示される。この情報は、被リクエスト側がリクエスト者のカメラにより追跡される間、または追跡された後、リクエスト者の眼鏡に到着し得る。一実装では、この情報は、例えば友だち関係が確立される前に非デジタルによる直接的に向き合う交換の背後で同程度の情報がこのシステム内で交換されるよう、被リクエスト側の名称を含まず、顔のみを含む。加えて顔のみのリクエストは、一実装では、検索、ストーカー行為、インボックス・スパミング、および/またはその他の同等物が将来行われることを防止および/または制限し得る。
(ソーシャル追跡器ソフトウェアに対する)第2のガイドラインは、友だちモードを含む。すなわち一実装では、友だち間で交換するにあたり所与のソーシャル・ネットワークAPIにより現時点で許可される任意の情報はデジタル・ソーシャル・システムにおいて同様に交換され得る。(ソーシャル追跡器ソフトウェアの)第2のモードは、装置1300のユーザと、装置1300の具体例を有さないかまたは使用しないユーザと、の間の相互作用(1方向接続)を含む。このことは、いくつかの実装では、当事者A(装置1300を有する観察者)が例えば当事者B(装置1300の具体例を装着しない)の顔を観察することからソーシャル・ネットワークを介して情報を受け取る、任意の状況を指し得る。
(ソーシャル追跡器ソフトウェアに関する)プライバシーに関して、ソフトウェアは、一実装では、アクセプト・モードを支援するよう構成される。なおアクセプト・モードでは、装置1300の任意の具体例において、ユーザは、他ユーザを追跡する権利と引き換えに、素面を追跡されるためのユーザ許可(これはトグル、無効化され得る)を与え得る。一実装では、ユーザは、任意の所与の瞬間において1つのみのプライバシー特権(すなわち追跡する権利または追跡される権利)を有することはできず、両方を有し得る。
ソフトウェア・アプリケーションの例としては、レーシング・ゲームまたは宇宙船ゲームが挙げられ得る。一実装では、ソフトウェアは、ユーザ相互作用を支援すること、および(装置1300を介して)グラフィック画像をユーザに提示すること、を行うよう構成され得る。手が追跡対象となり、仮想的車両が装置1300上に表示され、ソフトウェアは、空間内における手の相対的位置に応答する(例えば手間の垂直/水平方向の変位が、累計的に、例えば自動車ハンドル、ジョイスティック、スロットル、ギア・シフト、および/またはその他の同等物として機能する)。一実装例では、これは、係る変位を測定することにより達成され得、係る測定は自動車ハンドルの回転を制御するために使用される。他の実装例では、カメラからの手の距離が、車両の軌道に関する他の側面(例えば航空機の高度またはピッチ)を制御し得る。指(例えば親指)も、追加的命令をゲームのロジックに対して提供するために(例えば直立した親指を拳に向かって押し下げる所作は宇宙船が発射することを命じ得る)、追跡対象となり得る。他の実装では、右親指は加速/ギア・チェンジを制御し、左親指は減速/ギア・チェンジを制御する。
ソフトウェア・アプリケーションの例としては、点群実装が挙げられ得る。一実装では、ソフトウェアは、図1Aの第1の拡張介在現実空間1000における、物理的構成要素および/または仮想的構成要素を追跡するよう構成され得る。一実装では、構成要素追跡は、(例えば深度センサから)点群を取得することを含む。深度画像(この例では、一致シーン・ポイントのz深度を含む各ピクセルにおける値をピクセルを通る光線から割り当てる画像として説明される)が、一実装では、ピンホールカメラ・モデルを用いて事前較正されたカメラを使用して供給され得る。このモデルは、センサのレンズが、真の値の測定基準(例えばミリメートル)でピクセルをどのように倍率変更するかを定める、焦点距離および主点を供給する。この例における深度画像における各ピクセルは、主点を減算し、焦点距離で除算し、次にそのピクセルにおけるz深度値で倍率変更することにより、3次元ポイントを生成する。これは、無限光線(infinite ray)が撮像センサ平面上の2次元ピクセルで始まり、シーンに投影され、深度画像のそのピクセルにおけるz深度値と一致する距離における何らかの3次元物理的位置と交差すること、を表現する。これにより、2次元深度センサ内の各画像から、フレーム毎の3次元点群が生成される。ユーザが環境周辺で動くのに伴い、いくつかのフレームからの点群の組み合わせがこの例では生成される。それにより、たんいつの画像フレームが収集し得るよりも大きい、登録された3次元シーン点群が生成される。このことは、一実装では、シーン内の同一の物理的ポイントを表現する同様のポイントを異なるフレームから合致させるためのコンピュータ・ビジョン技術を使用して、達成され得る。これらの静的な3次元点場所が、ユーザが環境周辺で移動するのに伴い、2次元画像内または3次元点群内でどのように移動するかを分析することにより、システムは、(3次元回転行列および3次元平行移動ベクトルの形態における)ユーザの動きを、ならびにシーン内の構造を、推定する。この技術は、いくつかの実装では、simultaneous localization and mapping(SLAM)、またはstructure−from−motion(SFM)と呼ばれる。一実装では、ユーザは、これをリアルタイムで行い得る。それにより、ユーザが環境周辺で動くこと、定位置で頭を回転させること、および/またはその他を行うと、ユーザは異なる閲覧からの3次元点群を、一貫した座標系に組み合わせ得る。それにより、より大きい3次元シーンマップが、共通の座標フレーム内で生成される。係る座標フレーム上に共通のグラフィックが配置され、例えばユーザの動きに関わらず、動きのない状態で保持され得る。
ユーザ・インターフェース
以下は、一実施形態における図8Aのユーザ・インターフェース800に関する説明を提供する。ユーザ・インターフェース800は、例えばユーザ・ジェスチャ、動き、および/またはその他の同等物を介して、装置1300の使用により制御可能となり得る。一実装では、ユーザ・インターフェース800に対して様々なレベルが存在する。例えば、レベル(1):ホームスクリーン・レベルと、レベル(2):フォルダ・レベルと、レベル(3):アプリケーション・レベルおよびファイル・レベルと、レベル(4):設定レベル、を含む、4つのレベルが存在する。
レベル(1):ホームスクリーン・レベル
アイコンはソフトウェア・アプリケーションおよび/またはデータを表現し得る。一実装では、アイコンは、バブル・アイコンまたは任意形状のアイコンにより表現され得る。一実装では、バブル・アイコンはバブルに類似した半透光性球体である。アイコンはアプリケーション・ロゴを含み得る。例えばバブル・アイコン内に、3次元の不透明またはほとんど不透明なアプリケーション・ロゴが存在し得る。1つの設計例では、ロゴと、包囲する球体と、の比は、およそ1:5であってよい。ともに、バブル・アイコンおよびアプリケーション・ロゴは、例えば(例えば少なくとも部分的に)ユーザの画像を反射すること、太陽光を反射すること、バブル上での空気流をシミュレートし、バブル形状を軽微に変化させること、他の物理的オブジェクトがバブルを押圧することをシミュレートし、その形状を軽微に変化させること、および/またはその他の同等物などの、バブル状の挙動を引き出す、および/または係る挙動に関連付けられた、効果を含み得る。
以下は、いくつかの実施形態における、装置1300とともに使用可能ないくつかのユーザ相互作用技術に関する説明である。
第1のユーザ相互作用技術は、例えばユーザ・インターフェース800上に表示されたアイコンを動かすこと、および/または係るアイコンを通して動かすこと、などの、平行移動技術および回転技術を含む。
平行移動および回転の方法は、一実装では、「相対的手運動マウスオーバー予備選択」モードを含む。このモードは、アイコンに対する手の深度の認識を必要とすることなく、ユーザ・インターフェース800内のアイコン間を迅速にナビゲートすることを可能にする。代わって、追跡対象手の相対的方向運動は、選択されたアイコンの仮想的表示器を移動させる。視覚的フィードバックを提供するために、1つの設計例では、現在マウスオーバーされた(ホーミング・ターゲットされた)バブルは、その近傍のバブルよりもわずかにより不透明となり、その色調は、より飽和し得る。内部照明が、選択可能性の仮想的指示に対する第3の設計例であってよい。マウスオーバーされたアイコンは、多様な選択技術のいずれかを使用して、選択され得る。マウスオーバーされたアイコンは、手が新規アイコンの方向に動いた場合、変化し、次にこの新規アイコンが新しくホーミング・ターゲットされ得る(例えば、視野域内の特定的な横列のアイコンから最も左側のアイコンを選択するためには(図9Aおよび図10A)、ユーザは追跡対象の手を右に動かすとよい)。フォルダが選択された直後に新規横列のアイコンに移動する(例えばフォルダの内容を開く)ためには、次のレベルのアイコンが視野域内に出現するのに伴い、ユーザは自分の手をカメラから離間する方向に動かす。ユーザが係る動作を行うとただちに、次の横列における同一の縦列からのアイコンがハイライト表示される。
平行移動および回転の方法の他の例は、「スクイーズ・トゥ・ムーブ平行移動」(Squeeze to Move Translation)モードを含み得る。2本の指(例えば人差し指および親指)間の追跡対象距離が測定される。この条件および/または測定が、特定的な閾値(例えば、5センチメートル)より大きく、他の閾値(例えば、8センチメートル)より小さい場合、最も近い形状は、追跡対象の手の方向にしたがって、動かされ得る。一実装例では、アイコンの縁部は2本の指の位置に貼り付き、これらの指が広げられると、ただちに、指の動きの間、(アイコンの)物理的に現実的なゆがみが実現され得る。このことは、上方閾値距離が越えられるまで、起こり続け、その後、アイコンはその状態に留まる。別例では、2本の指間の重心が追跡対象となり、これらのアイコンはその経路に沿って動く。
他の選択技術はアイコンが弾けることを含む。アイコンを弾くための方法は、「スクイーズ・トゥ・ポップ選択」(Squeeze to Pop Selection)ジェスチャを含み得る。この選択相互作用技術例では、指の間の距離が下方閾値(例えば、5センチメートル)より小さいと、これは、アイコンが弾け、アイコン内容が開放され、そのロゴがアイコン(例えばバブル)の内側にあるアプリケーションを開くこと、および/または、その他の同等物をトリガする。アイコンを弾くための他の方法は、「選択を弾くための指」ジェスチャを含む。すなわち追跡対象の指先がアイコンと交差することが、アイコンを開くこと/弾くこと、をトリガする。アイコンを弾くための他の方法は、「選択を弾くための把持」ジェスチャを含む。すなわち、例えばアイコンが開かれること/弾けることをトリガするために、例えば少なくとも2本の指(「オープン」)の開始モードから、全部の指が閉じられた、すなわち閉じられた拳、および/またはその他同様(「クローズ」)の終了モードまで、拳を締め付けることが、追跡される。
一実装では、装置1300のソフトウェアは、アニメーション技術を提供するよう構成される。アニメーション技術の一例として、「サイクル・バブル・アニメーション」技術が挙げられる。装置1300が電源投入されると、いくつかのバブルは、限界サイクルを視野域内に下方右側スクリーンから、例えば円弧状の軌道を介して、中心スクリーンに入力する。バブルがそれを行うと、バブルは3×3グリッド内の視野域の中央横列に沿って、横1列でならび始める。
アニメーション技術の他の例としては、内向き/ローロデックス・サイクル技術が挙げられる。では、フォルダ・アイコンが選択されると、ただちに、新規レベルのアイコンが現れる。加えて、ホームスクリーン・レベルのアイコン(トップレベル)の場合、例えば、オープニング・アニメーション・シーケンス(例えば、サイクル・バブル・アニメーション)が完了した後、アイコンはしばらくの間、視野域の下方に位置する(図8A)。この初期状態の場合、内向き/ローロデックス・サイクル技術は、アイコンを選択しなくても、事前決定された短い時間的期間(例えば0.5秒)の後、自動的に開始する。一実装例では、フォルダのアイコン(フォルダ・アイコンの1レベル下方)は、3×3グリッドにおける下方の水平ラインを中心に、ラインの背後から、次にラインの上方でユーザに向かって、高速でサイクル(270°)し、視野域の下方の1/3内で停止することにより、視野域に入る。このサイクルは、高頻度複数アイコン選択の速度を改善し、特定的なエンド・アプリケーションへの経路上の筋肉記憶に対するフレームワークを提供する(例えば、エンド・アプリケーションに対する効果的な可用性を支援する)。他の実装例は、次の横列のアイコンが垂直に上昇することを含むが、これに限定されない。
以下は、以下に挙げる動作を使用する、一実装における、ホームスクリーン・レベルにおける進行の方法の一例について説明する。
動作(a)は、(バブルのサイクルに対する)グリーティング・アニメーションを提示することを含む。
動作(b)は、相互作用技術を実行することを含む。開いた手がジェスチャ認識カメラにより、少なくとも特定的な閾値(例えば1秒)にわたり検出された場合、4つのバブル・アイコンが下方から現れ、視野域の底部の1/3(3×3グリッドにおける底部の3つの正方形(図8A参照))に入る。
動作(c)は、ホームスクリーン・アイコンが視野域内にあり、例えばフィンガ−・トゥ・ポップ、グラブ・トゥ・ポップ、またはスクイーズ・トゥ・ポップの選択技術のうちの1以上に対して利用可能である場合、を含む(図8C参照)。
レベル(2):フォルダ・レベル
一実装では、x軸が視野域802の底部(例えばグリッドの下方ライン)に沿って存在する。以下は、フォルダ・レベルにおける進行例である。ここでは、一実装では、以下の動作を有する方法が使用される。
動作(a)は、相互作用技術を有する相互作用を含む。選択技術が行われる(例えば「プレイ」フォルダが選択される)。
動作(b)は、内向きスパイラルを介して下方視野域に入る4つのフォルダ・アイコンを表示することを含む(図9Aおよび図9B参照)。
動作(c)は、異なるアイコンが選択され得るよう、「相対的手運動マウスオーバー・プレ選択モード(Relative Hand Motion Hover−Over Pre−selection mode)」ジェスチャと相互作用することを含む。
動作(d)は、他のサブフォルダが選択されたかどうかを判定することを含む。検出された場合、動作は動作(a)に戻り、検出されない場合、ゲーム・アイコンが選択されると、動作は(ゲームをプレイするための)レベル3に進行する。
レベル(3):アプリケーションおよびファイル・レベル
エンド・アプリケーションは、アイコンのツリーのリーフを提供(表示)するよう構成されたソフトウェア・アプリケーションである。例えば一実装では、アイコンのツリーは、N分木のツリー(例えば各ノードは最多でN個の子を有する)であってよい。他の実装では、ノードは異なる最大個数の子を有してもよく、無制限個数の子を有してもよく、および/またはその他の子を有してもよい。
一実装では、螺旋運動するロゴは、例えば選択技術を介してバブルが弾かれたとき、生じる。1つの設計では、アプリケーションの3次元アイコンは、アイコンが3×3グリッドおよび/または配列の下方左側から上方右側へと上部右側セルに向かって動くのに伴い、ベクトルを中心に非常な高速で下方左側から上方右側に螺旋運動を開始する。移行の間、一実装では、アイコンは、およそ1:10のアイコン対セル比まで漸進的に最小化される(図10B参照)。これは、非侵襲的アプリケーションが、視野域内に項目が存在しない(例えば人が視野内に入ることを待機する)状態でオープン状態に留まることを決定した場合に、または待機モードにおいて、装置1300の状態に関する視覚的フィードバックを提供する。
ソフトウェア・アプリケーションは、一実装では、「ジャンピング・アウト・オブ・バブル(Jumping out of the Bubble)」効果を提供する。アプリケーションに関連付けられた構成要素(ユーザ・インターフェース800上に表示された)が選択された場合、その構成要素は、アイコン内の以前に不可視であった最小化バージョンから拡大しながら視野域に入るように見え得る。 以下は、一実装における以下の動作を有する以下の方法を使用する、アプリケーションおよびファイル・レベルにおける進行の例である。動作(a)は、螺旋運動するロゴと、つい最近弾かれたバブルからアプリケーションが飛び出すことにより、アプリケーションが同時に開かれることと、を含む(例えば、図10Aおよび図10B参照)。動作(b)は、ユーザ・インターフェース800が視野域を占有することを許可する。
レベル(4):設定レベル
「セッティング・セレクション・テクニック(Settings Selection Technique)」ジェスチャは、一実装では、アプリケーション内に文脈上設定が、それらの設定を使用を希望する各アプリケーション内に存在すること、を含む。選択方法および設定アイコンに対する場所の一例は、以下のようである。すなわち、3×3グリッドの最も右側の縦列の上方半分において、事前決定された時間(例えば2秒)にわたり手を視野域に入れることにより、アイコンが選択され得る。次にバブルが上方右側セルに現れるであろう。このバブルは、例えばフィンガー・セレクション(Finger Selection)方法を介して選択され得る(図11A参照)。
(ユーザ・インターフェース800の)設定スクリーンは、設定アイコンが選択されると、ただちにいくつかの垂直にスタックされたアイコン(例えば、初期的には4つ)が、例えば垂直ローロデックス・サイクリングを介して、視野域の最も右側の縦列に入る、スクリーンである(例えば図11B参照)。これらのアイコンは、一実装では、設定アイコン・カテゴリーを表現し、一実装では、半透明であるシルバー色調で網掛け表示され得る。
「チューインガム・トグリング・セッティング(Chewing Gum Toggling of Setting)」(例えば図11C参照)は、1つのスペクトルの値に沿って動くこと、および/または連続体内の値および/または度合い(例えば輝度レベル)を選択すること、を含み得る設定選択に対して構成される。一実装では、設定カテゴリーが選択された場合、アイコンが飛び出し、飛び出したアイコンの位置とユーザの指の縁部との間にラインが形成される。1つの特定的な設定では、ラインは曲線状であり、元のアイコン位置から離間する方向に指が動くのに伴い、チューインガムのように、ラインは直線状になり得る。一実装では、ラインがアイコンの静止中心から離間するように伸張されると、絶対値ラインおよび/またはベクトルの中心上の3次元数値は、到達された値および/またはパーセンテージを示す(例えば、ラインが長いほど、数値が大きくなる)。一実装では、離散的、非連続的、非スペクトル的、および/またはその他同様の設定(例えばWi−Fi設定におけるWi−Fiネットワーク選択などの、離散的選択)に対して、視野域の右側縁部を中心とする垂直ローロデックス・サイクリングは、他のジェスチャを介して選択され得る追加的な選択肢を提示するであろう。
一実装では、メディテーション・モードは、非緊急の電話、メッセージ、および/またはアプリケーションの使用が、事前指定された時間にわたり、またはボタンがトグルされるまで、ブロックされるモードである。時間フィードバックを示すユーザ・インターフェース構成要素(例えば砂時計)が、これまでに経過した時間を示すために表示され得る。
以下は、一実装における設定レベルにおける進行の一例であり、以下の例に類似する動作を有する方法を含む。動作(a)は、各個別的アプリケーションにおいてローカル設定を有することを含み、このローカル設定は、設定選択技術を介してアクセス可能である。動作(b)は、ローカル設定上部右側アイコンが選択されると、たたちに、垂直にスタックされた設定アイコンのローロデックス・サイクルを表示することを含む。係る設定アイコンは、フォルダ・アイコンの垂直方向選択と同様に、最も右側の縦列により形成される軸を中心に、選択時計方向または反時計方向にサイクルすること、および/または3×3グリッドの右側縦列に入ること、を行い得る。動作(c)は、(スペクトル設定が選択され場合)チューインガム・トグリング・セッティングを表示することを含む。離散的設定項目が選択された場合、他セットのアイコンが選択のために視野域内に入る。
レベル(5):上方でアーチ状になるユーザ・インターフェース・テーマおよびジェスチャ
レベル5は、様々な実装における、テーマおよびジェスチャのための実装を提供する。例えば、追加的な相互作用技術は、画像またはビデオを射撃することを示すためのシューティング・ゲームで使用されるガン・ハンド・モーション(gun hand motion)を含み得る。他の例は、アイコンの平坦デスクトップの並行的両手上昇および下降(parallel two−handed raising and lowering)を含む。そこでは、アイコンが視野域下方から上向きに入り、再び下降して視野域から取り外される。選択肢は、仮想的ノブを回転させて、連続的な設定(例えば輝度)を変更することを含む。他の選択肢は、ズーム特徴を使用することを含む。ここでは、掌が上向きの平たい手(例えば掌は、カム・トゥ・ズーム運動(Come to Zoom motion)が起動されるまで、事前決定された時間を平たい状態で費やす)の状態から、(「こっちへ来い」の自然のジェスチャと同様の)同時に曲げられた指の状態へと、動くことにより、ズームが行われる。他の実装は、1本指のみを使用する(残余の指(1本または2本以上の)が静止的に曲げられている間に、1本の指が真っ直ぐの状態から曲げられた状態に変化する)。他の実装は、視野域から手を取り除くことによりズーム・レベルを一定に保持するための能力を含む。他の選択肢はズーム・アウト・ジェスチャ(Zoom Out Gesture)を含む。このジェスチャは、このジェスチャが、事前決定された時間(例えば1秒)にわたり全部の指が曲げられた(例えば拳へと握り締めた)状態から開始される点を除き、カム・トゥ・ズーム・ジェスチャ(Come to Zoom gesture)と同等であってよい。ズーム・アウトは、指が伸ばされたとき、行われる。他の選択肢は親指立てジェスチャを含む。親指立てジェスチャは、ソーシャル・ネットワーク上の画像の嗜好(承認を示す)のめたに、またはネイティブ・オペレーティングシステム内での嗜好のために使用され得る。
レベル5に対する他の選択肢は、上昇ジェスチャおよびアイコン・サーチ・モードを含む(例えば図12参照)。例(i)は、上昇ジェスチャすなわち、一実装では、以下で詳述するサーチ・モードに対する支援を含み、バブルを上向きに視野域へと片手または両手で押し上げるジェスチャからなる。この押し上げは、例えば、掌(一方または両方)を開いた状態・上向きの状態でユーザの前腕(一方または両方)を視野域の下方で伸張することにより、行われ得る。ユーザの掌(一方または両方)が視野域へと上向きに動くと、アイコンは、(例えば、下方から上方へと吹き上げられる、自然的に発生したバブルの挙動に似た状態で)上昇する。例(ii)はサーチ・モード、またはアイコン・ツリーの俯瞰図を含む。これは、視覚的サーチを支援する。以下は、一実装における、サーチ進行の一例に関する説明を提供する。動作(a)は、ユーザ・インターフェース・アイコンのセット全体と、それらのサブフォルダ・アイコン(例えば図12参照)と、を上昇ジェスチャを使用して、視野域へと上昇させる能力と、ルート・アイコンからリーフ・アイコンまでの全部のアイコンが視野域内に配置されるようにディスプレイを動的に倍率変更する能力と、を有する視覚的サーチを含む。次にツリーの下方のリーフはこのようにしてアクセスされ得る。動作(b)は、ロゴを通してアイコンがユーザに対向するよう、ツリーを操作することを含む(例えば、ここではツリーは、回転および/または倍率変更が可能となるようフレキシブルである)。
他のレベル5の選択肢は、一実装では、自然な物理的特性をバブルに取得させることを含む。例えば動作(a)において、追跡対象の手がバブルの近位で動くと、バブルが手から離間する方向に高速移動する。しかしバルブが手から遠ざかるのに伴い、バブルが手から離間する動きは、漸進的に低速化される。動作(b)は、バブル・アイコンが選択技術のうちの1つを使用して弾かれるかまたは開かれたとき、明確的に「弾け」音響が発せられることである。動作(c)は、視覚的サーチ・モードにおいて、通常のアイコン・バブルの横列が前述の迅速なジェスチャにより吹き消されると、それらのバブルは即座に且つ物理的に正確に視野域から吹き出され、非自然的な鏡のような様式で、バブルは事前指定された位置において視野域に再び入ることである。通知およびアラートに関しては、様々な技術例が、例えば様々な実装において、例えば以下に挙げるように、通知の場合にユーザの注目を引くために用いられ得る。
動作(a)は、ファイル構造ツリーの1つのリーフに位置するアプリケーションが通知を有する場合、そのアイコンが、現時点で閲覧されるアイコンのツリー(例えば4分木ツリー)のレベルまで伝播し、赤い色調を有する4つのアイコンの中心へと割り込み、伝統的なロゴの上部に、未読メッセージ数を示す数値が同一の縮尺で出現する、ことである。
動作(b)は、現時点で視野域内にある親ノードへと上向きに、赤い色調をリーフのアイコンに伝播し、同時に親バブル内のミニチュア赤バブルにリーフのロゴとおよびアラート番号を挿入することを、含む。
動作(c)は、通知をトリガしたリーフ・アプリケーションへの選択経路を含み、従来の選択経路、またはシュートカット・ジェスチャでインスタンス化されたショートカット選択経路のいずれかであってよい。
動作(d)は、リーフ・アプリケーション内でトリガされた通知が(現時点で視野域内にある)親バブルから「飛び出し」、それによりリーフに対するショートカットが可能となることを表現するミニチュア・バブルを含む。
レベル(6):表面上でタイリングするアプリケーション
一実装では、仮想的キャンバスは、3次元仮想的グラフィックがその上部に重ね合わされ得る、配向された平坦表面である。キャンバスは、キャンバスが配向される際に第3の次元を追加するよう構成され得、壁部に掛けた絵画が異なる角度または配向からは人間の眼には異なって見えるように、キャンバスは異なる角度から見られ得る。他の実装では3次元グラフィックは、それに対して配置され得る。
1つのシナリオ例では、ユーザが(例えば眼鏡として構成された、検出および表示装置を装着して)室内、例えばリビングルームに歩み入り、ソファーに腰掛ける。ユーザの全面にはコーヒーテーブル、TVスクリーン、および複数の壁部(例えば1つは前方に、1つは側方に)が存在する。一実装では、ソフトウェアは、コンピュータからのグラフィックをその上にオーバーレイするための表面として機能し得るキャンバス候補を検出するよう構成される。この場合例では、キャンバスはコーヒーテーブル、TVスクリーン、および/または、2つの壁部である。これらの表面は、視覚表示を用いて第2の現象インターフェース1306内でユーザに(例えば、これらのキャンバスのサイズおよび配向を示す、半透明の充填された配向された長方形として)表示され得る。1つの実例では、すべての開かれたアプリケーション(サムネイル/バブル・アイコンとして示される)がスクリーンの底部に配置される。例えば、電子メールウィンドウ、Facebookウィンドウ、または、Microsoft Wordドキュメントについて考えることにする。ユーザは、上述した相互作用技術のうちの1以上を使用して(例えば「スクイーズ・トゥ・ムーブ」ジェスチャを使用して平行移動し、次に「スクイーズ・トゥ・ポップ」ジェスチャを行って、開くことおよび配置を行う)、それぞれのアプリケーション・サムネイルを、一つひとつ、キャンバス候補のそれぞれに、ドラッグし得る。
一実装例では、ソフトウェアは、以下の例と同様の方法に関連付けられたプログラム命令を介して選択されたキャンバスを検出するよう構成される。
動作(a)に関して、一実装では、ユーザは、ユーザが表示することを望むアプリケーション・アイコンに対するサムネイルを選択し、適切な所与のキャンバスに向かってサムネイルをドラッグする。一実装では、サムネイルがこの軌道に沿って動かされると、ラインが原点から(例えば、第2の現象インターフェース1306から、またはユーザの肩から、またはユーザの指の基部から)引かれる。この軌道は平面候補のそれぞれと交差し、サムネイルがキャンバスに向かって平行移動する(例えば、アイコンの初期位置からキャンバスまで、事前決定された距離(例えば20センチメートル)を越える平行移動)際に軌道が成功裏に交差されたかどうかに関する決定がなされる。前述のアイコンが十分に近接していると、ソフトウェアは、一実装では、どのアプリケーションがどのキャンバスと調和するかを類推し、そのキャンバス上のグラフィックを正確な配向に更新する。他の実装では、ユーザは、例えば、フリックまたはスローなどのジェスチャを示すことにより、どのキャンバスが特定的なグラフィックを誘導するべきかを誘導し得、それにより選択されたグラフィックおよび/または他の表示要素が、所与のキャンバス、表面、および/またはその他の同等物に誘導される。
動作(b)に関しては、一実装では、全部のアプリケーションがキャンバスに割り当てられると、ただちに、ソフトウェアは、図13の深度マップ1308(このシナリオ例では、静的/不変とされる)を使用し、ユーザの頭部が動くのに伴い、3次元空間内でユーザの頭部(例えば回転および平行移動)を追跡することが可能である。深度マップ1308を座標系として使用すると、各キャンバスの状態がどのように保持されたとしても、次にユーザは起立し、環境周辺で物理的に移動し得る。次にユーザがキャンバス間で移動すると、アプリケーションは、本来選択された(割り当てられた)状態に保持され、ユーザの現時点での頭部の配向および位置に基づいて、更新される。この頭部追跡/シーン・マッピングシナリオの実装における他の構成例では、第2の現象インターフェース1306(図13)の座標系は固定され、部屋/物理的構成要素の3次元マップが追跡される。
動作(b)に関しては、別例ではユーザは複数のアプリケーションを同一キャンバス上に並列に配置し得る。更新のためにこれらの選択されたキャンバスのうちの1つを選択するために、ユーザは、例えば、キャンバスを選択するために5本指ジェスチャを使用し得る。これは、一実装では、ユーザがこの表示および/またはキャンバスの内容の調節を希望することを指定し得、キャンバスは、キャンバスが操作のために選択されたことを、グラフィック的に示し得る(例えばキャンバスが明滅を開始する)。次に、ユーザの両手の間で計算された仮想的ベクトルを使用して、アプリケーション・リアルエステートは、ベクトルの絶対値または角度を使用して、伸張、収縮、または(平面内で)回転され得る。
装置1300の範囲に含まれる装置1300の設計および構造に対する変化または改変が、本明細書での開示に基づいて可能である。係る変化または改変は、装置1300の趣旨に含まれる場合、請求される発明主題の範囲に含まれることを意図する。
追加的説明
以下の付記は、装置の実施例に関するさらなる説明として提供される。以下の付記のうちの1以上は、以下の付記のうちのいずれかの他の1以上と、および/またはいずれかの他の付記および/もしくは請求項の組み合わせおよび並び替えのサブセクションすなわち一部と、組み合せ可能である。以下の付記のいずれかの1項は、他の付記と、またはいずれかの他の付記のいずれかの部分と、組み合わされなくても、それ自体の真価を有する。
付記(1):センサ信号およびエフェクタ信号を第1の空間と交換するよう構成された第1のインターフェース・モジュールと、エフェクタ信号を第2の空間と交換するよう構成された第2のインターフェース・モジュールと、を含むインターフェース・アセンブリを含み、前記エフェクタ信号は、前記第1の空間および前記第2の空間のうちの少なくとも1つにおいて少なくとも部分的にユーザ提示可能である、検出および表示装置。
付記(2):第1の空間から受け取った感覚現象を表現する少なくとも1つのセンサ信号にインターフェース接続するよう構成された第1のインターフェース・モジュールと、前記第1の空間および前記第2の空間に対して感覚現象を表現する少なくとも1つのエフェクタ信号にインターフェース接続するよう構成された第2のインターフェース・モジュールと、を含むインターフェース・アセンブリを含む、検出および表示装置。
付記(3):前記少なくとも1つのセンサ信号および前記少なくとも1つのエフェクタ信号は、少なくとも部分的に、前記第1の空間および前記第2の空間のうちの少なくとも1つにおけるユーザ感覚消費に対して提示可能である、本段落に記載のいずれかの付記に記載の装置。
付記(4):前記インターフェース・アセンブリに動作可能に連結され、前記インターフェース・アセンブリにインターフェース接続された前記少なくとも1つのセンサ信号と、前記インターフェース・アセンブリにインターフェース接続された前記少なくとも1つのエフェクタ信号と、を処理するよう構成された処理装置をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(5):前記第1の空間から受け取った感覚現象から導出された前記少なくとも1つのセンサ信号を伝送するよう構成されると共に、前記第2の空間から受け取った感覚現象から導出された前記少なくとも1つのセンサ信号を伝送するようにも構成された、感覚現象センサをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(6):感覚現象に関連付けられた前記少なくとも1つのエフェクタ信号を前記第1の空間に伝送するよう構成されると共に、感覚現象に関連付けられた前記少なくとも1つのエフェクタ信号を前記第2の空間に伝送するようにも構成された、感覚現象エフェクタをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(7):前記インターフェース・アセンブリは、前記第1の空間から前記感覚現象センサを介して受け取った感覚現象を表現し、且つ前記第2の空間から受け取った感覚現象も表現する、少なくとも1つのセンサ信号にインターフェース接続するよう構成されると共に、感覚現象を表現する前記少なくとも1つのエフェクタ信号を感覚現象エフェクタを介して前記第1の空間に、および前記第2の空間に、インターフェース接続するようにも構成された、本段落に記載のいずれかの付記に記載の装置。
付記(8):前記第1の空間はユーザによりアクセス可能となるよう構成され、前記第2の空間は単一ユーザによりアクセス可能となるよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記(9):前記少なくとも1つのセンサ信号は、音響感覚現象、視覚感覚現象、および接触知感覚現象のうちのいずれかの1つから導出される、本段落に記載のいずれかの付記に記載の装置。
付記(10):前記少なくとも1つのエフェクタ信号は、音響感覚現象、視覚感覚現象、および接触知感覚現象のうちのいずれかの1つから導出される、本段落に記載のいずれかの付記に記載の装置。
付記(11):前記感覚現象センサおよび前記感覚現象エフェクタは、感覚現象から導出されたセンサ信号を前記第1の空間から伝送するよう構成された第1の感覚現象センサと、感覚現象に関連付けられたエフェクタ信号を前記第1の空間に伝送するよう構成された第1の感覚現象エフェクタと、を含む、本段落に記載のいずれかの付記に記載の装置。
付記(12):前記感覚現象センサおよび前記感覚現象エフェクタは、感覚現象を有するエフェクタ信号を前記第2の空間に伝送するよう構成された第2の感覚現象エフェクタと、感覚現象から導出されたセンサ信号を前記第2の空間から伝送するよう構成された第2の感覚現象センサと、を含む、本段落に記載のいずれかの付記に記載の装置。
付記(13):前記第1の感覚現象センサおよび前記第1の感覚現象エフェクタは、前記第1の空間内の前記ユーザの視野域の方向に対向し、前記第2の感覚現象エフェクタおよび前記第2の感覚現象センサは、前記第2の空間内の前記ユーザの眼に向かう方向に対向する、本段落に記載のいずれかの付記に記載の装置。
付記(14):前記処理装置は前記センサ信号を前記第1の空間と前記第2の空間との間で転送するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記(15):前記処理装置は前記エフェクタ信号を前記第1の空間と前記第2の空間との間で転送するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記(16):前記インターフェース・アセンブリは、前記第1の感覚現象センサにより受け取った感覚現象から導出されたセンサ信号を前記第1の空間から伝送するよう構成された第1の感覚現象センサにインターフェース接続するよう構成された第1のインターフェース・モジュールと、感覚現象に関連付けられたエフェクタ信号を前記第1の空間に伝送するよう構成された第1の感覚現象エフェクタにインターフェース接続するよう構成された第2のインターフェース・モジュールと、を含む、本段落に記載のいずれかの付記に記載の装置。
付記(17):前記インターフェース・アセンブリは、感覚現象を有するエフェクタ信号を前記第2の空間に伝送するよう構成された第2の感覚現象エフェクタにインターフェース接続するよう構成された第3のインターフェース・モジュールと、前記第2の感覚現象センサにより受け取った前記感覚現象から導出されたセンサ信号を前記第2の空間から伝送するよう構成された第2の感覚現象センサにインターフェース接続するよう構成された第4のインターフェース・モジュールと、を含む、本段落に記載のいずれかの付記に記載の装置。
付記(18):前記処理装置は、第1の感覚現象センサから受け取ったセンサ信号を第2の感覚現象エフェクタを介して前記第2の空間に転送するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記(19):前記処理装置は、第2の感覚現象センサから受け取ったセンサ信号を第1の感覚現象エフェクタを介して前記第1の空間に転送するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記(20):ユーザが装着することを支援するよう構成されたユーザ装着可能なインターフェースをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(21):前記第1の空間から受け取った感覚現象から導出された前記少なくとも1つのセンサ信号を伝送するよう構成されると共に、前記第2の空間から受け取った感覚現象から導出された前記少なくとも1つのセンサ信号を伝送するようにも構成された感覚現象センサと、感覚現象に関連付けられた前記少なくとも1つのエフェクタ信号を前記第1の空間に伝送するよう構成されると共に、感覚現象に関連付けられた前記少なくとも1つのエフェクタ信号を前記第2の空間に伝送するようにも構成された感覚現象エフェクタと、のうちのいずれかの1つを固定的に支持するよう構成されたフレーム・アセンブリをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(22):頭部搭載可能アセンブリ、デジタル眼鏡、LiDARユニット、ビジョン・システム、光センサ、ディスプレイ・ユニット、着脱可能シェード、赤外線送信器、赤外線受信器、およびジオフォンのうちのいずれかの1つを固定的に支持するよう構成されたフレーム・アセンブリをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(23):第1の空間から、および第2の空間から、受け取った少なくとも1つの感覚現象を表現するセンサ信号を受け取ることと、少なくとも1つのエフェクタ現象を表現するエフェクタ信号を前記第1の空間に、および前記第2の空間に、提供することと、を含む方法。
付記(24):前記センサ信号および前記エフェクタ信号を処理すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記(25):前記センサ信号を前記第1の空間と前記第2の空間との間で転送すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記(26):前記エフェクタ信号を前記第1の空間と前記第2の空間との間で転送すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記(27):第1の空間および第2の空間にインターフェース接続するよう構成されたインターフェース・アセンブリであって、前記第1の空間および前記第2の空間に関連付けられたセンサ信号およびエフェクタ信号を伝達するよう構成されたインターフェース・アセンブリと、前記インターフェース・アセンブリに動作可能に連結された処理装置であって、前記インターフェース・アセンブリにより伝達された前記センサ信号および前記エフェクタ信号を処理するよう構成された処理装置と、前記センサ信号および前記エフェクタ信号に対して操作を実行することを前記処理装置に命じるよう構成されたプログラム命令のシーケンスを含む処理用プログラムを有形的に具体化するよう構成されたメモリ・アセンブリと、を含む、表示装置。
付記(28):第1の空間から導出された現象を表示するよう構成された第1のインターフェース・セクションと、第2の空間から導出された現象を表示するよう構成された第2のインターフェース・セクションと、を含むユーザ・インターフェース。
付記(29):第1の空間に動作可能にインターフェース接続するよう構成された第1の現象インターフェースと、第2の空間に動作可能にインターフェース接続するよう構成された第2の現象インターフェースと、を含む装置。
付記(30):前記第1の現象インターフェースは、それぞれが前記第1の空間に動作可能にインターフェース接続するよう構成された、第1の感覚現象エフェクタおよび第1の感覚現象センサを含む、本段落に記載のいずれかの付記に記載の装置。
付記(31):第2の現象インターフェースは、それぞれが前記第2の空間に動作可能にインターフェース接続するよう構成された、第2の感覚現象エフェクタおよび第2の感覚現象センサを含む、本段落に記載のいずれかの付記に記載の装置。
付記(32):前記第1の現象インターフェースおよび前記第2の現象インターフェースに動作可能に連結するよう構成されると共に、前記第1の感覚現象エフェクタ、前記第1の感覚現象センサ、前記第2の感覚現象エフェクタ、および前記第2の感覚現象センサと動作可能に相互作用するようさらに構成された、処理アセンブリをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記(33):本段落に記載のいずれかの付記に記載の装置のためのマニフォールダイザであって、前記装置の装着者の身体部分のジェスチャを検知するためのジェスチャ・センサと、前記ジェスチャ・センサにより検出された多様体開始ジェスチャに応答する多様体生成器と、前記装着者と多様体とのコンタクトを検出するための多様体コンタクト検出器と、前記多様体コンタクト生成器の出力に応答する多様体表示生成器と、を含む、マニフォールダイザ。
付記(34):本段落に記載のいずれかの付記に記載のマニフォールダイザを含み、実質的に連続的な多様体継続ジェスチャに応答する多様体集成器をさらに含む、トポスカルプタ。
付記(35):本段落に記載のいずれかの付記に記載のマニフォールダイザを含む、仮想的な装置または実際の装置の出力を表示するための、マニフォールダイズされた表示生成器。
付記(36):前記多様体表示生成器は、前記デジタル眼鏡の前記装着者に可視である3次元拡張介在環境に埋め込まれた硬質な平面パッチを含む2次元多様体を表示する、本段落に記載のいずれかの付記に記載のマニフォールダイズされた表示生成器。
付記(37):3次元ビジョン・システム、プロセッサ、およびディスプレイを含み、前記プロセッサは露光集成器を含み、前記露光集成器は前記3次元ビジョン・システムからの入力に応答する、アバコグラフィック・ユーザ・インターフェース。
付記(38):多様体寸法センサと、前記多様体寸法センサの出力に応答するジェスチャ・センサと、を含む、本段落に記載のいずれかの付記に記載のユーザ・インターフェース。
付記(39):現実世界物理的オブジェクトは2次元多様体を含み、前記多様体寸法センサは、ジェスチャが、アバコグラフに沿って、前記多様体内からアバコグラフまで、または前記多様体上にはない3次元空間内からアバコグラフまで、作られたかどうかを判定する、本段落に記載のいずれかの付記に記載のユーザ・インターフェース。
付記(40):空間内に多様体を生成するための3次元スカルプティング・システムであって、3次元ビジョン・システムと、露光を蓄積する露光集成器と、前記露光集成器の出力を表示するためのディスプレイと、を含むシステム。
付記(41):前記露光集成器の露光蓄積を起動するためのジェスチャを検知するためのジェスチャ・センサをさらに含む、本段落に記載のいずれかの付記に記載のシステム。
付記(42)前記ジェスチャ・センサは前記露光集成器の露光蓄積を停止するためのジェスチャを検出する、本段落に記載のいずれかの付記に記載のシステム。
付記(43):前記露光集成器は、3次元空間内で一時的に発光する多様体を生成する、本段落に記載のいずれかの付記に記載のシステム。
付記(44):ユーザの身体部分の、前記一時的に発光する多様体により画成される経路に対する接触を判定するための接触センサをさらに含む、本段落に記載のいずれかの付記に記載のシステム。
付記(45):露光バッファの割り当て、およびクリアを行うことと、露光器の露光強度の度合いを検知することと、露光器の、3次元空間における位置を検知することと、前記露光器の前記位置に関連する前記露光強度に比例する量を前記露光バッファに加えることと、を含む、アバコグラフィック構成のための方法。
付記(46):露光強度の前記度合いはジェスチャ・センサにより決定されるバイナリ量である、本段落に記載のいずれかの付記に記載の方法。
付記(47):前記露光器は光源であり、前記露光強度は前記光源の照明の度合いである、本段落に記載のいずれかの付記に記載の方法。
付記(48):前記露光器は指先であり、前記露光強度は連続的に変動するハンド・ジェスチャにより決定される、本段落に記載のいずれかの付記に記載の方法。
付記(49):人差し指および親指の「銃」ジェスチャを検知するジェスチャ・センサにより、アバコグラフィック構成を起動すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記(50):前記露光強度は、前記親指と前記人差し指との間の角度により連続的に変動する、本段落に記載のいずれかの付記に記載の方法。
付記(51):トポスカルプティング・バッファの割り当て、およびクリアを行うことと、露光器の露光強度の度合いを検知することと、露光器の、3次元空間における位置を検知することと、前記露光器の前記位置に関連する前記露光強度に比例する量を前記トポスカルプティング・バッファに加えることと、を含む、トポスカルプティングのための方法。
付記(52):前記位置を検知することは、前記方法のユーザの身体部分の平坦部分の、進行中のトポスカルプチャへの接触を、最も近い時点における前記トポスカルプチャとの接点において、検知することを含み、前記露光強度は前記接触を検知することの出力に比例する、本段落に記載のいずれかの付記に記載の方法。
付記(53):スキャン可能な対象物を閲覧するためのスペースグラス装置であって、空間撮像カメラと、前記空間撮像カメラの少なくとも1つの出力に応答するプロセッサと、ホログラフィック・ビデオ・ディスプレイ、立体的ビデオ・ディスプレイ、アレマック(aremac)、立体ディスプレイからなる群より選択される空間撮像ディスプレイと、を含み、前記空間撮像ディスプレイはプロセッサの少なくとも1つの出力に応答し、前記スキャン可能な対象物のうちの少なくともいくつかから導出されたアイ・ポイント画像を提供する、スペースグラス装置。
付記(54):前記空間撮像カメラは3Dカメラを含む、本段落に記載のいずれかの付記に記載の装置。
付記(55):前記プロセッサは接触検出器を含む、本段落に記載のいずれかの付記に記載の装置。
付記(56):前記プロセッサは射影変換侵入検出器を含む、本段落に記載のいずれかの付記に記載の装置。
付記(57):前記プロセッサは球形状体積侵入検出器を含む、本段落に記載のいずれかの付記に記載の装置。
付記(58):前記プロセッサはバブル・メタファー生成器を含む、本段落に記載のいずれかの付記に記載の装置。
付記59:前記プロセッサは、バブル・メニューと、前記装置のユーザの身体の1部分からrより小さい距離に配置された半径rの球体の体積への侵入に応答するバブル・メニュー選択器と、をシミュレートし、前記ユーザの前記身体の前記一部は、前記体積への侵入の度合いにおいて統計的に有意である、本段落に記載のいずれかの付記に記載の装置。
付記60:スペースグラスのための共有拡張介在現実システムであって、前記共有拡張介在現実システムの第1のユーザにより使用されるための第1のスペースグラスであって、第1の空間撮像カメラを含む、第1のスペースグラスと、前記共有拡張介在現実システムの第2のユーザにより使用されるための第2のスペースグラスであって、前記第2のスペースグラスは第2の空間撮像カメラを含み、前記第1の空間撮像カメラおよび前記第2の空間撮像カメラは対象物の空間撮像を行うよう構成された、第2のスペースグラスと、前記第1の空間撮像カメラおよび前記第2の空間撮像カメラからからのスキャニングを多重化するための空間撮像マルチプレクサと、を含む、システム。
付記61:前記空間撮像マルチプレクサは時分割マルチプレクサである、本段落に記載のいずれかの付記に記載の共有拡張介在現実システム。
付記62:前記デジタル眼鏡の装着者の単眼または両眼により閲覧されるためのデジタル眼鏡装置であって、複数の異なる方向から光を検知するための少なくとも1つのセンサと、前記センサからの少なくとも1つの入力に応答するプロセッサと、前記プロセッサの出力に応答するディスプレイと、を含み、前記ディスプレイはアイ・ポイント画像を提供する、デジタル眼鏡装置。
付記63:前記センサは3Dカメラである、本段落に記載のいずれかの付記に記載のデジタル眼鏡装置。
付記64:前記センサは3Dカメラは3DHDRを実施する、本段落に記載のいずれかの付記に記載のデジタル眼鏡装置。
付記65:前記3Dカメラは、共有コンピュータ介在現実環境内の他の参加者により装着される他の3Dカメラと共同作業する時分割マルチプレクサを含む、本段落に記載のいずれかの付記に記載のデジタル眼鏡装置。
付記66:前記3Dカメラは、共有コンピュータ介在現実環境内の他の参加者により装着される他の3Dカメラと共同作業する可変振幅マルチプレクサを含み、前記可変振幅マルチプレクサは、対象物の略同等の取得を、前記対象物の異なる度合いの照明に応答して、提供する、本段落に記載のいずれかの付記に記載のデジタル眼鏡装置。
付記67:前記プロセッサは、コンピュータ介在現実を共有する少なくとも1人の参加者の照明器により生成されるライトスペースに応答する合成アパーチャ撮像構築器を含む、本段落に記載のいずれかの付記に記載のデジタル眼鏡装置。
付記68:1以上のスペースグラスであって、前記スペースグラスのビュー表示内の対象物を空間撮像するための、スペースグラスを含むスペースグラス・システムであって、少なくとも1つの3Dカメラと、前記少なくとも1つの3Dカメラからの少なくとも1つの入力に応答するプロセッサと、前記プロセッサの出力に応答するディスプレイであって、前記対象物内に存在する空間情報に応答してアイタップ視点描画を提供する、ディスプレイと、をさらに含む、スペースグラス・システム。
付記69:前記プロセッサはコンパラメトリック合成器を含む、本段落に記載のいずれかの付記に記載のシステム。
付記70:第1のスペースグラスおよび第2のスペースグラスをさらに含み、前記プロセッサは前記第2のスペースグラスとともに使用される、本段落に記載のいずれかの付記に記載のシステム。
付記71:第1のスペースグラスおよび第2のスペースグラスをさらに含み、前記プロセッサは前記第2のスペースグラスとともに使用され、前記第1のスペースグラスおよび前記第2のスペースグラスは2人の別個のユーザにより装着され、前記プロセッサはスーパーポジメトリック合成器を含む、本段落に記載のいずれかの付記に記載のシステム。
付記72:ライトスペース分析眼鏡と、前記ライトスペース分析眼鏡の出力に応答するプロセッサと、前記プロセッサの出力に応答するライトスペース合成眼鏡と、ライトスペース・コリニアライザと、を含む空間撮像装置。
付記73:環境内の第1の環境オブジェクトを、少なくとも1つのセンサを介して追跡することと、少なくとも1つの環境オブジェクト識別子を前記第1の環境オブジェクトに割り当てることと、前記第1の環境オブジェクトに関連付けられた少なくとも1つの空間座標を特定することと、前記少なくとも1つの空間座標に基づいて、座標系と前記環境オブジェクト識別子とを関連付けることと、を含むジェスチャ認識プロセッサにより実装される方法。
付記74:第2の環境オブジェクトのジェスチャを前記少なくとも1つのセンサを介して前記座標系にマッピングすること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記75:ジェスチャをマッピングすることは、前記第2の環境オブジェクトに関連付けられた点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記76:ジェスチャをマッピングすることは、前記第2の環境オブジェクトの少なくとも1つの第2の環境オブジェクト空間座標を特定することと、前記第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することと、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記77:前記関係は相対的変位を含む、本段落に記載のいずれかの付記に記載の方法。
付記78:前記関係は相対的配向を含む、本段落に記載のいずれかの付記に記載の方法。
付記79:前記センサは深度カメラを含む、本段落に記載のいずれかの付記に記載の方法。
付記80:前記少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記第2の環境オブジェクトに関連する深度マップを生成することを含む、本段落に記載のいずれかの付記に記載の方法。
付記81:前記第2の環境オブジェクトに関連付けられた前記深度マップと、少なくとも1つの補足的な深度マップと、を組み合わせることにより、拡張深度マップを生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記82:第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することは、前記第2の環境オブジェクトに関連付けられた前記深度マップと、第1の環境オブジェクト深度マップと、を比較すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記83:前記第1の環境オブジェクトはフレームである、本段落に記載のいずれかの付記に記載の方法。
付記84:前記第1の環境オブジェクトは表面である、本段落に記載のいずれかの付記に記載の方法。
付記85:前記表面はテーブル表面である、本段落に記載のいずれかの付記に記載の方法。
付記86:前記表面は壁部である、本段落に記載のいずれかの付記に記載の方法。
付記87:前記表面はディスプレイ・スクリーンである、本段落に記載のいずれかの付記に記載の方法。
付記88:前記第2の環境オブジェクトはユーザ身体部分である、本段落に記載のいずれかの付記に記載の方法。
付記89:前記ユーザ身体部分はユーザの掌および親指であり、少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記ユーザの掌および親指の少なくとも1つの相対的位置を特定することを含む、本段落に記載のいずれかの付記に記載の方法。
付記90:第1の環境オブジェクトを環境内で追跡することは、前記第1の環境オブジェクトに関連付けられた少なくとも1つの点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記91:前記第1の環境オブジェクトに関連付けられた前記少なくとも1つの点群と、少なくとも1つの補足的な点群と、を組み合わせることにより、拡張点群を生成すること、本段落に記載のいずれかの付記に記載の方法。
付記92:少なくとも1つの入力センサと、少なくとも1つの出力ディスプレイと、前記少なくとも1つの入力センサおよび前記少なくとも1つの出力ディスプレイに通信可能に連結された少なくとも1つの計算デバイスと、を含み、前記少なくとも1つの計算デバイスは、前記少なくとも1つの入力センサを介して、少なくとも1つの外肢の空間的位置を判定することと、前記空間的位置に基づいて少なくとも1つの表示項目を選択することと、前記少なくとも1つの出力ディスプレイを介して前記少なくとも1つの表示項目を提示することと、を含む、プロセッサ可読プログラム命令を発行するよう構成された、装置。
付記93:少なくとも1つの第1の環境オブジェクトおよび第2の環境オブジェクトの相対的空間位置を検出するよう構成された少なくとも1つのセンサと、前記相対的空間位置を認識すること、および少なくとも1つの表示構成要素を構成すること、を行うよう構成されたプログラム命令を発行する少なくとも1つの計算デバイスと、前記少なくとも1つのディスプレイ構成要素を表示するよう構成された少なくとも1つの出力ディスプレイと、を含む、装置。
付記94:前記少なくとも1つのセンサは、深度マップを生成するよう構成された深度カメラを含む、本段落に記載のいずれかの付記に記載の装置。
付記95:前記計算デバイスは前記深度マップに基づいて前記相対的空間位置を認識する、本段落に記載のいずれかの付記に記載の装置。
付記96:前記計算デバイスは、前記第1の環境オブジェクトに関連付けられた第1の点群と、前記第2の環境オブジェクトに関連付けられた第2の点群と、に基づいて前記相対的空間位置を認識する、本段落に記載のいずれかの付記に記載の装置。
付記97:前記計算デバイスは、前記第1の点群と前記第2の点群との交差に基づいて前記相対的空間位置をタッチ・ジェスチャとして認識する、本段落に記載のいずれかの付記に記載の装置。
付記98:前記少なくとも1つの表示構成要素は仮想的キーボードを含み、前記第2の環境オブジェクトはユーザ身体部分を含む、本段落に記載のいずれかの付記に記載の装置。
付記99:前記第1の物理的オブジェクトは表面であり、前記仮想的キーボードは、前記少なくとも1つの出力ディスプレイ内の前記表面に関連付けられた座標系に固定された、本段落に記載のいずれかの付記に記載の装置。
付記100:前記相対的空間位置は相対的空間動作をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記101:前記相対的空間動作はスワイプを含む、本段落に記載のいずれかの付記に記載の装置。
付記102:前記スワイプはバンチト・スワイプである、本段落に記載のいずれかの付記に記載の装置。
付記103:前記相対的空間動作はムービング・スクイーズおよびポッピング・スクイーズのうちの少なくとも1つを含む、本段落に記載のいずれかの付記に記載の装置。
付記104:前記第1の環境オブジェクトは表面を含み、前記少なくとも1つの計算デバイスは、前記表面を追跡するよう構成され、前記少なくとも1つの出力ディスプレイは、少なくとも1つの媒体提示を前記追跡される表面に固定するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記105:前記少なくとも1つの媒体提示は立体的提示に固定される、本段落に記載のいずれかの付記に記載の装置。
付記106:前記少なくとも1つの媒体提示はアプリケーション・データを含む、本段落に記載のいずれかの付記に記載の装置。
付記107:前記相対的空間位置は、前記表面と前記少なくとも1つの媒体提示との間の関連を示す、本段落に記載のいずれかの付記に記載の装置。
付記108:前記相対的空間位置は、前記少なくとも1つの媒体提示の前記表面へのドラッグ・アンド・ドロップを含む、本段落に記載のいずれかの付記に記載の装置。
付記109:前記第2の環境オブジェクトはジェスチャを示す手を含み、前記第1の環境オブジェクトは仮想的環境内の仮想的モデルを含み、前記少なくとも1つの計算デバイスは、前記ジェスチャを示す手と前記仮想的モデルとの間のいずれかの接点をスカルプトすることにより前記仮想的モデルを表現する前記少なくとも1つの表示構成要素を構成するためのプログラム命令を発行する、本段落に記載のいずれかの付記に記載の装置。
付記110:前記少なくとも1つの計算デバイスは、少なくとも1つの一意的な識別子を、前記第1の環境オブジェクトおよび前記第2の環境オブジェクトのうちの少なくとも1つに関連付けるためのプログラム命令を発行し、前記一意的な識別子は、ユーザに関連付けられたソーシャル・ネットワーク・データに接続された、本段落に記載のいずれかの付記に記載の装置。
付記111:少なくとも1つの一意的な識別子を関連付けるための前記プログラム命令は、前記少なくとも1つの出力ディスプレイを介して前記第1の環境オブジェクトおよび前記第2の環境オブジェクトのうちの少なくとも1つにマーカを適用するための命令を含む、本段落に記載のいずれかの付記に記載の装置。
付記112:前記計算デバイスは前記一意的な識別子を認識するためのプログラム命令を発行するよう構成され、前記出力ディスプレイは、前記ユーザに関連づけられた前記ソーシャル・ネットワーク・データのうちの少なくともいくつかを表示するよう構成された、本段落に記載のいずれかの付記に記載の装置。
付記113:前記少なくとも1つのセンサは親指立てジェスチャを検出するよう構成され、前記少なくとも1つの計算デバイスは、フィードバックと、前記一意的IDと、を関連付けるためのプログラム命令を発行する、本段落に記載のいずれかの付記に記載の装置。
付記114:眼鏡として構成された、本段落に記載のいずれかの付記に記載の装置。
付記115:ユーザ・インターフェースを管理するプロセッサにより実装される方法であって、少なくとも1つのジェスチャ追跡センサを介して選択されるよう構成された複数のアイコンを、少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために提供することと、前記複数のアイコンのうちから選択されたアイコンを選択することを示すユーザ・ジェスチャ・データを、前記少なくとも1つのジェスチャ追跡センサを介して受け取ることと、前記選択されたアイコンの前記選択に基づいてアイコンの階層にアクセスすることと、前記選択されたアイコンに基づいて、前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することと、を含む方法。
付記116:表示のために前記複数のアイコンを提供することは、前記少なくとも1つのジェスチャ追跡センサがアイコン呼出ジェスチャを検知したときに、さらに行われる、本段落に記載のいずれかの付記に記載の方法。
付記117:前記アイコン呼出ジェスチャは、開いた手を少なくとも閾値の時間的期間にわたり提示することを含む、本段落に記載のいずれかの付記に記載の方法。
付記118:前記複数のアイコンは少なくとも1つのサイクル・バブル・アニメーションを使用して提示される、本段落に記載のいずれかの付記に記載の方法。
付記119:前記アイコンは壁部バブル・アイコンである、本段落に記載のいずれかの付記に記載の方法。
付記120:前記ユーザ・ジェスチャ・データは相対的手運動マウスオーバー予備選択を含む、本段落に記載のいずれかの付記に記載の方法。
付記121:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ムーブ平行移動を含む、本段落に記載のいずれかの付記に記載の方法。
付記122:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ポップ選択を含む、本段落に記載のいずれかの付記に記載の方法。
付記123:前記複数のアイコンのうちの少なくとも1つはアプリケーション・ロゴを含む、本段落に記載のいずれかの付記に記載の方法。
付記124:前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することは、前記ユーザ・ジェスチャ・データに応答して前記選択されたアイコンの少なくとも1つのアニメーションを表示すること、を含む、本段落に記載のいずれかの付記に記載の方法。
付記125:前記前記少なくとも1つのアニメーションは内向き/ローロデックス・サイクルを含む、本段落に記載のいずれかの付記に記載の方法。
付記126:前記アイコンの階層はフォルダ・レベルおよびアプリケーション/ファイル・レベルを含む、本段落に記載のいずれかの付記に記載の方法。
付記127:前記アイコンの階層は設定レベルを含む、本段落に記載のいずれかの付記に記載の方法。
付記128:前記アイコンの階層は少なくとも1つの表示パラメータに関連付けられた設定サブレベルをさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記129:前記少なくとも1つの表示パラメータは連続的表示パラメータを含み、前記少なくとも1つのジェスチャ追跡センサを介して、前記少なくとも1つの表示パラメータに関連付けられた前記少なくとも1つの設定サブレベル・アイコンの選択を受け取ることと、前記設定サブレベル・アイコンと、少なくとも1つのユーザ身体部分と、の相対的空間位置を判定することと、前記出力ディスプレイを介して、前記設定サブレベル・アイコンから前記ユーザ身体部分まで延びる線を含むインターフェース要素を提供することと、前記相対的空間位置に基づいて前記少なくとも1つの表示パラメータと、前記線の長さと、を調節することと、をさらに含む、本段落に記載のいずれかの付記に記載の方法。
付記130:メモリと、前記メモリに連結され、且つ前記メモリに格納された複数のプログラム命令を発行するよう構成されたプロセッサと、を含み、前記プログラム命令は、環境内における第1の環境オブジェクトを少なくとも1つのセンサを介して追跡することと、少なくとも1つの環境オブジェクト識別子を前記第1の環境オブジェクトに割り当てることと、前記第1の環境オブジェクトに関連付けられた少なくとも1つ空間座標を特定することと、座標系と、前記環境オブジェクト識別子と、を、前記少なくとも1つの空間座標に基づいて関連付けることと、を含む、ジェスチャ認識装置。
付記131:第2の環境オブジェクトのジェスチャを前記少なくとも1つのセンサを介して前記座標系にマッピングすること、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記132:ジェスチャをマッピングすることは、前記第2の環境オブジェクトに関連付けられた点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記133:ジェスチャをマッピングすることは、前記第2の環境オブジェクトの少なくとも1つの第2の環境オブジェクト空間座標を特定することと、前記第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することと、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記134:前記関係は相対的変位を含む、本段落に記載のいずれかの付記に記載の装置。
付記135:前記関係は相対的配向を含む、本段落に記載のいずれかの付記に記載の装置。
付記136:前記センサは深度カメラを含む、本段落に記載のいずれかの付記に記載の装置。
付記137:前記少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記第2の環境オブジェクトに関連する深度マップを生成することを含む、本段落に記載のいずれかの付記に記載の装置。
付記138:前記第2の環境オブジェクトに関連付けられた前記深度マップと、少なくとも1つの補足的な深度マップと、を組み合わせることにより、拡張深度マップを生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記139:第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することは、前記第2の環境オブジェクトに関連付けられた前記深度マップと、第1の環境オブジェクト深度マップと、を比較すること、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記140:前記第1の環境オブジェクトはフレームである、本段落に記載のいずれかの付記に記載の装置。
付記141:前記第1の環境オブジェクトは表面である、本段落に記載のいずれかの付記に記載の装置。
付記142:前記表面はテーブル表面である、本段落に記載のいずれかの付記に記載の装置。
付記143:前記表面は壁部である、本段落に記載のいずれかの付記に記載の装置。
付記144:前記表面はディスプレイ・スクリーンである、本段落に記載のいずれかの付記に記載の装置。
付記145:前記第2の環境オブジェクトはユーザ身体部分である、本段落に記載のいずれかの付記に記載の装置。
付記146:前記ユーザ身体部分はユーザの掌および親指であり、少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記ユーザの掌および親指の少なくとも1つの相対的位置を特定することを含む、本段落に記載のいずれかの付記に記載の装置。
付記147:第1の環境オブジェクトを環境内で追跡することは、前記第1の環境オブジェクトに関連付けられた少なくとも1つの点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記148:前記第1の環境オブジェクトに関連付けられた前記少なくとも1つの点群と、少なくとも1つの補足的な点群と、を組み合わせることにより、拡張点群を生成すること、本段落に記載のいずれかの付記に記載の装置。
付記149:メモリと、前記メモリに連結され、且つ前記メモリに格納された複数のプログラム命令を発行するよう構成されたプロセッサと、を含み、前記プログラム命令は、少なくとも1つのジェスチャ追跡センサを介して選択されるよう構成された複数のアイコンを、少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために提供することと、前記複数のアイコンのうちから選択されたアイコンを選択することを示すユーザ・ジェスチャ・データを、前記少なくとも1つのジェスチャ追跡センサを介して受け取ることと、前記選択されたアイコンの前記選択に基づいてアイコンの階層にアクセスすることと、前記選択されたアイコンに基づいて、前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することと、を含む、ユーザ・インターフェース管理装置。
付記150:表示のために前記複数のアイコンを提供することは、前記少なくとも1つのジェスチャ追跡センサがアイコン呼出ジェスチャを検知したときに、さらに行われる、本段落に記載のいずれかの付記に記載の装置。
付記151:前記アイコン呼出ジェスチャは、開いた手を少なくとも閾値の時間的期間にわたり提示することを含む、本段落に記載のいずれかの付記に記載の装置。
付記152:前記複数のアイコンは少なくとも1つのサイクル・バブル・アニメーションを使用して提示される、本段落に記載のいずれかの付記に記載の装置。
付記153:前記アイコンは壁部バブル・アイコンである、本段落に記載のいずれかの付記に記載の装置。
付記154:前記ユーザ・ジェスチャ・データは相対的手運動マウスオーバー予備選択を含む、本段落に記載のいずれかの付記に記載の装置。
付記155:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ムーブ平行移動を含む、本段落に記載のいずれかの付記に記載の装置。
付記156:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ポップ選択を含む、本段落に記載のいずれかの付記に記載の装置。
付記157:前記複数のアイコンのうちの少なくとも1つはアプリケーション・ロゴを含む、本段落に記載のいずれかの付記に記載の装置。
付記158:前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することは、前記ユーザ・ジェスチャ・データに応答して前記選択されたアイコンの少なくとも1つのアニメーションを表示すること、を含む、本段落に記載のいずれかの付記に記載の装置。
付記159:前記前記少なくとも1つのアニメーションは内向き/ローロデックス・サイクルを含む、本段落に記載のいずれかの付記に記載の装置。
付記160:前記アイコンの階層はフォルダ・レベルおよびアプリケーション/ファイル・レベルを含む、本段落に記載のいずれかの付記に記載の装置。
付記161:前記アイコンの階層は設定レベルを含む、本段落に記載のいずれかの付記に記載の装置。
付記162:前記アイコンの階層は少なくとも1つの表示パラメータに関連付けられた設定サブレベルをさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記163:前記少なくとも1つの表示パラメータは連続的表示パラメータを含み、前記少なくとも1つのジェスチャ追跡センサを介して、前記少なくとも1つの表示パラメータに関連付けられた前記少なくとも1つの設定サブレベル・アイコンの選択を受け取ることと、前記設定サブレベル・アイコンと、少なくとも1つのユーザ身体部分と、の相対的空間位置を判定することと、前記出力ディスプレイを介して、前記設定サブレベル・アイコンから前記ユーザ身体部分まで延びる線を含むインターフェース要素を提供することと、前記相対的空間位置に基づいて前記少なくとも1つの表示パラメータと、前記線の長さと、を調節することと、をさらに含む、本段落に記載のいずれかの付記に記載の装置。
付記164:ジェスチャ認識非一時的媒体であって、前記媒体に連結されたプロセッサにより発行可能であり、且つ、環境内の第1の環境オブジェクトを、少なくとも1つのセンサを介して追跡することと、少なくとも1つの環境オブジェクト識別子を前記第1の環境オブジェクトに割り当てることと、前記第1の環境オブジェクトに関連付けられた少なくとも1つの空間座標を特定することと、前記少なくとも1つの空間座標に基づいて、座標系と前記環境オブジェクト識別子とを関連付けることと、を前記プロセッサに実行させるプログラム命令を含む、媒体。
付記165:第2の環境オブジェクトのジェスチャを前記少なくとも1つのセンサを介して前記座標系にマッピングすること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記166:ジェスチャをマッピングすることは、前記第2の環境オブジェクトに関連付けられた点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記167:ジェスチャをマッピングすることは、前記第2の環境オブジェクトの少なくとも1つの第2の環境オブジェクト空間座標を特定することと、前記第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することと、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記168:前記関係は相対的変位を含む、本段落に記載のいずれかの付記に記載の媒体。
付記169:前記関係は相対的配向を含む、本段落に記載のいずれかの付記に記載の媒体。
付記170:前記センサは深度カメラを含む、本段落に記載のいずれかの付記に記載の媒体。
付記171:前記少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記第2の環境オブジェクトに関連する深度マップを生成することを含む、本段落に記載のいずれかの付記に記載の媒体。
付記172:前記第2の環境オブジェクトに関連付けられた前記深度マップと、少なくとも1つの補足的な深度マップと、を組み合わせることにより、拡張深度マップを生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記173:第2の環境オブジェクト空間座標と、前記第1の環境オブジェクトの前記空間座標と、の間の関係を判定することは、前記第2の環境オブジェクトに関連付けられた前記深度マップと、第1の環境オブジェクト深度マップと、を比較すること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記174:前記第1の環境オブジェクトはフレームである、本段落に記載のいずれかの付記に記載の媒体。
付記175:前記第1の環境オブジェクトは表面である、本段落に記載のいずれかの付記に記載の媒体。
付記176:前記表面はテーブル表面である、本段落に記載のいずれかの付記に記載の媒体。
付記177:前記表面は壁部である、本段落に記載のいずれかの付記に記載の媒体。
付記178:前記表面はディスプレイ・スクリーンである、本段落に記載のいずれかの付記に記載の媒体。
付記179:前記第2の環境オブジェクトはユーザ身体部分である、本段落に記載のいずれかの付記に記載の媒体。
付記180:前記ユーザ身体部分はユーザの掌および親指であり、少なくとも1つの第2の環境オブジェクト空間座標を特定することは、前記ユーザの掌および親指の少なくとも1つの相対的位置を特定することを含む、本段落に記載のいずれかの付記に記載の媒体。
付記181:第1の環境オブジェクトを環境内で追跡することは、前記第1の環境オブジェクトに関連付けられた少なくとも1つの点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記182:前記第1の環境オブジェクトに関連付けられた前記少なくとも1つの点群と、少なくとも1つの補足的な点群と、を組み合わせることにより、拡張点群を生成すること、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記183:ユーザ・インターフェース管理媒体であって、前記媒体に連結されたプロセッサにより発行可能であり、且つ、少なくとも1つのジェスチャ追跡センサを介して選択されるよう構成された複数のアイコンを、少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために提供することと、前記複数のアイコンのうちから選択されたアイコンを選択することを示すユーザ・ジェスチャ・データを、前記少なくとも1つのジェスチャ追跡センサを介して受け取ることと、前記選択されたアイコンの前記選択に基づいてアイコンの階層にアクセスすることと、前記選択されたアイコンに基づいて、前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することと、を前記プロセッサに実行させるためのプログラム命令を含む、媒体。
付記184:表示のために前記複数のアイコンを提供することは、前記少なくとも1つのジェスチャ追跡センサがアイコン呼出ジェスチャを検知したときに、さらに行われる、本段落に記載のいずれかの付記に記載の媒体。
付記185:前記アイコン呼出ジェスチャは、開いた手を少なくとも閾値の時間的期間にわたり提示することを含む、本段落に記載のいずれかの付記に記載の媒体。
付記186:前記複数のアイコンは少なくとも1つのサイクル・バブル・アニメーションを使用して提示される、本段落に記載のいずれかの付記に記載の媒体。
付記187:前記アイコンは壁部バブル・アイコンである、本段落に記載のいずれかの付記に記載の媒体。
付記188:前記ユーザ・ジェスチャ・データは相対的手運動マウスオーバー予備選択を含む、本段落に記載のいずれかの付記に記載の媒体。
付記189:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ムーブ平行移動を含む、本段落に記載のいずれかの付記に記載の媒体。
付記190:前記ユーザ・ジェスチャ・データはスクイーズ・トゥ・ポップ選択を含む、本段落に記載のいずれかの付記に記載の媒体。
付記191:前記複数のアイコンのうちの少なくとも1つはアプリケーション・ロゴを含む、本段落に記載のいずれかの付記に記載の媒体。
付記192:前記少なくとも1つの頭部搭載型出力ディスプレイを介して表示するために前記アイコンの階層の一部を提供することは、前記ユーザ・ジェスチャ・データに応答して前記選択されたアイコンの少なくとも1つのアニメーションを表示すること、を含む、本段落に記載のいずれかの付記に記載の媒体。
付記193:前記前記少なくとも1つのアニメーションは内向き/ローロデックス・サイクルを含む、本段落に記載のいずれかの付記に記載の媒体。
付記194:前記アイコンの階層はフォルダ・レベルおよびアプリケーション/ファイル・レベルを含む、本段落に記載のいずれかの付記に記載の媒体。
付記195:前記アイコンの階層は設定レベルを含む、本段落に記載のいずれかの付記に記載の媒体。
付記196:前記アイコンの階層は少なくとも1つの表示パラメータに関連付けられた設定サブレベルをさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記197:前記少なくとも1つの表示パラメータは連続的表示パラメータを含み、前記少なくとも1つのジェスチャ追跡センサを介して、前記少なくとも1つの表示パラメータに関連付けられた前記少なくとも1つの設定サブレベル・アイコンの選択を受け取ることと、前記設定サブレベル・アイコンと、少なくとも1つのユーザ身体部分と、の相対的空間位置を判定することと、前記出力ディスプレイを介して、前記設定サブレベル・アイコンから前記ユーザ身体部分まで延びる線を含むインターフェース要素を提供することと、前記相対的空間位置に基づいて前記少なくとも1つの表示パラメータと、前記線の長さと、を調節することと、をさらに含む、本段落に記載のいずれかの付記に記載の媒体。
付記(198):前記アイコンはアバコグラフである、請求項115に記載の方法。
付記(199):前記アイコンはアバコグラフから導出される、請求項115に記載の方法。
付記(200):前記アイコンはトポスカルプチャである、請求項115に記載の方法。
付記(201):前記アイコンはそれぞれ、アバコグラフィック露光の1つの軌跡に対応する、請求項115に記載の方法。
付記(202):前記アイコンはそれぞれ、アバコグラフ上のビーズである、請求項115に記載の方法。
付記(203):前記アイコンは、選択されたとき、前記アバコグラフに沿って移動可能として描画される、請求項134に記載の方法。
上述の・アセンブリおよびモジュールが、係る組み合わせおよび並び換えを作製するにあたり当業者の技術の範囲内に含まれる所望の機能およびタスクを実行するために必要に応じて互いに接続され得ることは、それらのうちのそれぞれを明確な用語で説明しなくとも、理解され得るであろう。当該技術に利用可能である均等物のうちのいずれかに対して優秀である特定的な・アセンブリまたは構成要素は存在しない。他に対して優秀である上述の発明主題を実施する特定的なモードは、これらの機能が実行され得るかぎり、存在しない。開示された発明主題の重要な態様の全部が本明細書に提供されたものと考えられる。請求される発明主題の範囲が、(i)従属請求項、(ii)非限定的な実施形態の詳細な説明、(iii)発明の概要、(iv)要約、および/または(v)本明細書外で提供される説明(すなわち、出願された、審査された、および/または付与された、本出願の外部)に限定されないことは、理解される。本明細書の目的のために、「含む」という語句が「包含する」という用語に等価であることが理解される。上記では非限定的な実施形態(例)の概略を記載したものであることに留意すべきである。説明は、特定的な非限定的な実施形態(例)に関してなされたものである。非限定的な実施形態は例として単に例示を旨とするものであることが理解される。
2B 対象物または実対象物
100 光センサ
110 着脱可能シェード
120 センサ・インターフェース・ユニット
130 表面
140 パブリック対象物
141 多様体
142 身体部分
143 身体部分
144 軌跡
145 身体部分
145 多様体
146 多様体
147 身体部分
150 ネットワーク接続
160 コンピュータ
170 投影
180AM アバコグラフィック多様体、または多様体
180DEG デジタル眼鏡、眼鏡、または空間撮像眼鏡
180D ディスプレイ、ディスプレイ・ユニット、またはステレオ・ディスプレイ
180F 指
180G ジオフォン
180H ヘッド・ストラップ
180IMU 慣性センサ
180IRR 赤外線受信器
180IRT 赤外線送信器
180L LiDARユニット
180MD 手
180MS 手
180M マインドストラップ
180O オブジェクト
180P オブジェクト
180Q オブジェクト
180T テザークリップ
180TT 親指
180U ユーザ
180VR 可視光受信器
180VT 可視光送信器
180V ビジョン・システム
180 デジタル眼鏡
180U ユーザ
181BB オブジェクト
181DEG 眼鏡、デジタル眼鏡、または空間撮像眼鏡
181G ジオフォン
181IRR 受信器
181L LiDARユニット
181MD 手
181MS 手
181M メニュー選択
181SM スパット・メニュー
181U ユーザ
181 ディスプレイ・ユニット
182 ジオフォン
183 頭部搭載可能アセンブリ
184 慣性測定ユニット
185 赤外線受信器
186 赤外線送信器
187 LiDARユニット
188 後頭部バンド
189 クリップ
190 デジタル眼鏡
191 可視光受信器
192 可視光送信器
193 ビジョン・システム
194 ジオフォン
195 赤外線受信器
196 デジタル眼鏡
197 LiDARユニット
198 眼または裸眼
199A 右眼アイ・ポイント
199B 左眼アイ・ポイント
200 ツール・ポイント
201 描画ツール
202 仮想的対象物
203 ジオフォン・センサ
204 慣性測定ユニット
240 パブリック対象物
2D8 ランプ
2F8 ランプ
330 食料品
331 バーナ
334 レンジ上面
340 シークレット対象物
341 流し台
400 接触検出器
401 射影変換侵入検出器
402 合流性センサ
403 ビデオ軌道安定化プログラム
404 コンパラメトリック合成器
405 スーパーポジメトリック合成器
406 コンパラメトリック分析プログラム
407 スーパーポジメトリック分析器
408 スーパーポジメトリック空間撮像プログラム
409 コンパラメトリック合成器
410 空間撮像マルチプレクサ
411 時分割マルチプレクサ
412 共同作業的ジェスチャ・ベース・インターフェース
413 ジェスチャ追跡検出器
414 ニューラル・ネットワーク
415 最適オプティマイザ
416 傾斜降下器
417 正規化器
418 オーバーフロー・ペナライザ
419 人間ジェスチャ認識プログラム
420 バブル・メタファー生成器
421 球形体積侵入評価器
422 体積侵入検出器
423 バブル破裂プログラム
424 学習ソフトウェア
430 パターン
500 パルス列信号
502 動作
504 動作
506 動作
508 動作
509 パルス列信号
510 微弱照度信号
511 微弱照度信号
513 方法
520 中間照度信号
521 中間照度信号
530 強力照度信号
531 強力照度信号
540 微弱照度信号
541 微弱照度信号
550 中間照度信号
551 中間照度信号
560 強力照度信号
561 強力照度信号
570 第1の時間スロット
571 第2の時間スロット
572 第3の時間スロット
573 第4の時間スロット
574 第5の時間スロット
575 第6の時間スロット
580 方法
582 動作
584 動作
586 動作
588 動作
600 オブジェクト
601 表面
602 認識可能表面テクスチャ
603 画像アイコン
610 ジェスチャ入力
611 ジェスチャ入力
612 ジェスチャ入力
630 ワイヤレス通信モジュール
631 ワイヤレス通信モジュール
632 ワイヤレス通信モジュール
700 実際のオブジェクト
710 手
720 破裂するバブル
800 ユーザ・インターフェース
801 ユーザー
802 ビュー表示
803 バルブ・セット
804 作業バブル
805 媒体バブル
806 プレイ・バブル
807 ソーシャル・バブル
808 設定バブル
810 設定タイプ
811 設定タイプ
811 設定タイプ
813 設定タイプ
8×8 8
902 インターフェース・アセンブリ
903 第1のインターフェース・モジュール
904 センサ信号
905 第2のインターフェース・モジュール
906 エフェクタ信号
907 処理用プログラムまたはプログラム
908 処理装置
909 メモリ・アセンブリまたは非一時的機械可読ストレージ媒体
910 第1の感覚現象センサまたは感覚現象センサ
911 電子ネットワーク接続
912 第1の感覚現象エフェクタまたは感覚現象エフェクタ
914 第2の感覚現象エフェクタまたは感覚現象エフェクタ
916 第2の感覚現象センサまたは感覚現象センサ
1000 第1の拡張介在現実空間
1002 第2の拡張介在現実空間
1100 方法
1102 動作
1104 動作
1106 動作
1108 動作
1110 動作
1300 装置または表示装置
1302 第1の現象インターフェース
1304 処理アセンブリ
1306 第2の現象インターフェース
1308 深度マップ
1C10 位相センサ
1C20 マニプレー
1C30 持続検出器
1C40 マニプレー終止器
1C50 ジェスチャ・センサ
1C60 オブジェクト削除器
1C70 スパット・メニュー
1C80 部分多様体移動器
1C90 多様体移動器
2B00 対象物
2B05 対象物
2B06 対象物
2B10 対象物
2B11 コーナー
2B12 コーナー
2B13 コーナー
2B14 コーナー
2B15 対象物
2B16 対象物
2B20 対象物
2B25 対象物
2B26 対象物
2B30 対象物
2B35 対象物
2B36 対象物
2C10 プロセス
2C15 プロセス変数
2C20 加算器
2C25 エラー信号
2C30 運動プロセッサ
2C35 プロセッサ
2C40 処理済み運動信号
2C45 加算器
2C50 信号
2C55 量
2C60 量
2C70 信号
2D21 光線
2D22 光線
2D23 可視光線
2D24 光線
2D32 光線
2D34 光線
2D40 露光
2D51 文字露光
2D55 文字露光
2D60 文字露光
2D70 テーブルトップ表面
2D90 露光
2D91 アバコグラフ
2D92 アバコグラフ
2E10 アバコグラフ
2E11 微弱露光
2E12 露光
2E13 露光
2F64 ランプ
1EE10 音響侵害入力
1EE20 視覚侵害入力
1EE25 音響侵害センサ
1EE30 視覚侵害センサ
1EE35 多次元侵害信号
1EE40 ノード
1EE45 接続
1EE50 ノード
1EE60 接続
1EE70 ノード
1EE80 接触信号
1EE85 接触信号
1EE90 接触信号
1EE91 侵入検出器
1EE92 タッチ検出器
1EE93 押出検出器
1EE94 信号
1EE95 信号
1EE96 信号
1EE97 ジェスチャ・センサ
1EE98 様々な出力信号
2G110 メタブルなラベル
2G120 オブジェクト
2G130 メタブルな円形オブジェクト
2G140 オブジェクト
2G150 オブジェクト
2G160 トポスカルプト用杖
2G161 リング
2G162 トリガ
2G163 着脱可能グリップ
2G164 ハンドル
2G165 シャフト
2G168 アバコグラフ
2G169 追加的装置または装置
2G181 多様体
2G182 多様体
2G184 多様体
2G189 多様体
2G190 ジェスチャ・バンド
2G193 オブジェクト
2G199 中指

Claims (1)

  1. 明細書および/または図面に記載の発明。

JP2019091204A 2013-01-03 2019-05-14 エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン Pending JP2019149202A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361748468P 2013-01-03 2013-01-03
US61/748,468 2013-01-03
US201361916773P 2013-12-16 2013-12-16
US61/916,773 2013-12-16

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015551242A Division JP2016509292A (ja) 2013-01-03 2014-01-03 エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン

Publications (2)

Publication Number Publication Date
JP2019149202A true JP2019149202A (ja) 2019-09-05
JP2019149202A5 JP2019149202A5 (ja) 2020-04-23

Family

ID=51016608

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015551242A Pending JP2016509292A (ja) 2013-01-03 2014-01-03 エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン
JP2019091204A Pending JP2019149202A (ja) 2013-01-03 2019-05-14 エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015551242A Pending JP2016509292A (ja) 2013-01-03 2014-01-03 エクストラミッシブ空間撮像デジタル眼鏡装置または拡張介在ビジョン

Country Status (8)

Country Link
US (8) US9720505B2 (ja)
EP (1) EP2951811A4 (ja)
JP (2) JP2016509292A (ja)
KR (1) KR20150103723A (ja)
CN (1) CN105027190B (ja)
AU (1) AU2014204252B2 (ja)
CA (1) CA2896985A1 (ja)
WO (1) WO2014106823A2 (ja)

Families Citing this family (509)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US9733091B2 (en) * 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US9158116B1 (en) 2014-04-25 2015-10-13 Osterhout Group, Inc. Temple and ear horn assembly for headworn computer
US9352411B2 (en) 2008-05-28 2016-05-31 Illinois Tool Works Inc. Welding training system
US9280913B2 (en) * 2009-07-10 2016-03-08 Lincoln Global, Inc. Systems and methods providing enhanced education and training in a virtual reality environment
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US11064910B2 (en) 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
US8670023B2 (en) * 2011-01-17 2014-03-11 Mediatek Inc. Apparatuses and methods for providing a 3D man-machine interface (MMI)
JP5785753B2 (ja) * 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
US9597587B2 (en) 2011-06-08 2017-03-21 Microsoft Technology Licensing, Llc Locational node device
US8869073B2 (en) * 2011-07-28 2014-10-21 Hewlett-Packard Development Company, L.P. Hand pose interaction
US9101994B2 (en) 2011-08-10 2015-08-11 Illinois Tool Works Inc. System and device for welding training
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US9573215B2 (en) 2012-02-10 2017-02-21 Illinois Tool Works Inc. Sound-based weld travel speed sensing system and method
US9230064B2 (en) 2012-06-19 2016-01-05 EZ as a Drink Productions, Inc. Personal wellness device
US10102345B2 (en) 2012-06-19 2018-10-16 Activbody, Inc. Personal wellness management platform
US10133849B2 (en) 2012-06-19 2018-11-20 Activbody, Inc. Merchandizing, socializing, and/or gaming via a personal wellness device and/or a personal wellness platform
CN105378593B (zh) 2012-07-13 2019-03-01 索尼深度传感解决方案股份有限公司 利用手上的奇异兴趣点基于手势进行人机同步交互的方法和系统
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9710069B2 (en) 2012-10-30 2017-07-18 Apple Inc. Flexible printed circuit having flex tails upon which keyboard keycaps are coupled
US9502193B2 (en) 2012-10-30 2016-11-22 Apple Inc. Low-travel key mechanisms using butterfly hinges
US9368045B2 (en) 2012-11-09 2016-06-14 Illinois Tool Works Inc. System and device for welding training
US9583014B2 (en) 2012-11-09 2017-02-28 Illinois Tool Works Inc. System and device for welding training
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
CN109375713A (zh) * 2013-02-06 2019-02-22 苹果公司 具有可动态调整的外观和功能的输入/输出设备
US20140375684A1 (en) * 2013-02-17 2014-12-25 Cherif Atia Algreatly Augmented Reality Technology
US9734582B2 (en) * 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
US9626489B2 (en) 2013-03-13 2017-04-18 Intertrust Technologies Corporation Object rendering systems and methods
US9713852B2 (en) 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US9666100B2 (en) 2013-03-15 2017-05-30 Illinois Tool Works Inc. Calibration devices for a welding training system
US9672757B2 (en) 2013-03-15 2017-06-06 Illinois Tool Works Inc. Multi-mode software and method for a welding training system
US9728103B2 (en) * 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9583023B2 (en) 2013-03-15 2017-02-28 Illinois Tool Works Inc. Welding torch for a welding training system
JP6110704B2 (ja) * 2013-03-29 2017-04-05 任天堂株式会社 プログラム、情報処理装置、情報処理方法及び情報処理システム
USD852828S1 (en) * 2013-04-05 2019-07-02 Thales Avionics, Inc. Display screen or portion thereof with graphical user interface
US9188426B2 (en) * 2013-04-23 2015-11-17 Bradley Allen Safranski Non-contact visual measurement device
US9229476B2 (en) 2013-05-08 2016-01-05 EZ as a Drink Productions, Inc. Personal handheld electronic device with a touchscreen on a peripheral surface
JP6103543B2 (ja) 2013-05-27 2017-03-29 アップル インコーポレイテッド 短行程スイッチアッセンブリ
US9377294B2 (en) * 2013-06-18 2016-06-28 Xerox Corporation Handheld cellular apparatus for volume estimation
US11090753B2 (en) 2013-06-21 2021-08-17 Illinois Tool Works Inc. System and method for determining weld travel speed
US9262064B2 (en) * 2013-07-09 2016-02-16 EZ as a Drink Productions, Inc. Handheld computing platform with integrated pressure sensor and associated methods of use
US9908310B2 (en) 2013-07-10 2018-03-06 Apple Inc. Electronic device with a reduced friction surface
US9405398B2 (en) * 2013-09-03 2016-08-02 FTL Labs Corporation Touch sensitive computing surface for interacting with physical surface devices
KR102165818B1 (ko) * 2013-09-10 2020-10-14 삼성전자주식회사 입력 영상을 이용한 사용자 인터페이스 제어 방법, 장치 및 기록매체
US20150072323A1 (en) * 2013-09-11 2015-03-12 Lincoln Global, Inc. Learning management system for a real-time simulated virtual reality welding training environment
WO2015047606A1 (en) 2013-09-30 2015-04-02 Apple Inc. Keycaps having reduced thickness
JP2016532232A (ja) 2013-09-30 2016-10-13 アップル インコーポレイテッド 厚みを薄くしたキーキャップ
US9883173B2 (en) * 2013-12-25 2018-01-30 3Di Llc Stereoscopic display
US10652525B2 (en) 2013-10-31 2020-05-12 3Di Llc Quad view display system
US10116914B2 (en) * 2013-10-31 2018-10-30 3Di Llc Stereoscopic display
US9639773B2 (en) * 2013-11-26 2017-05-02 Disney Enterprises, Inc. Predicting a light probe for an outdoor image
US10056010B2 (en) 2013-12-03 2018-08-21 Illinois Tool Works Inc. Systems and methods for a weld training system
US20160320833A1 (en) * 2013-12-18 2016-11-03 Joseph Schuman Location-based system for sharing augmented reality content
US9304674B1 (en) * 2013-12-18 2016-04-05 Amazon Technologies, Inc. Depth-based display navigation
US10170019B2 (en) 2014-01-07 2019-01-01 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
US9751149B2 (en) 2014-01-07 2017-09-05 Illinois Tool Works Inc. Welding stand for a welding system
US10105782B2 (en) 2014-01-07 2018-10-23 Illinois Tool Works Inc. Feedback from a welding torch of a welding system
EP2891950B1 (en) * 2014-01-07 2018-08-15 Sony Depthsensing Solutions Human-to-computer natural three-dimensional hand gesture based navigation method
US9589481B2 (en) 2014-01-07 2017-03-07 Illinois Tool Works Inc. Welding software for detection and control of devices and for analysis of data
US9757819B2 (en) 2014-01-07 2017-09-12 Illinois Tool Works Inc. Calibration tool and method for a welding system
US9724788B2 (en) 2014-01-07 2017-08-08 Illinois Tool Works Inc. Electrical assemblies for a welding system
US9704132B2 (en) * 2014-01-11 2017-07-11 Federico Fraccaroli Method, system and apparatus for adapting the functionalities of a connected object associated with a user ID
KR101550580B1 (ko) * 2014-01-17 2015-09-08 한국과학기술연구원 사용자 인터페이스 장치 및 그것의 제어 방법
US20150228119A1 (en) 2014-02-11 2015-08-13 Osterhout Group, Inc. Spatial location presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20160018653A1 (en) 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US9793066B1 (en) 2014-01-31 2017-10-17 Apple Inc. Keyboard hinge mechanism
KR20150091724A (ko) * 2014-02-03 2015-08-12 한국전자통신연구원 착용형 안경장치
US10627904B2 (en) * 2014-02-07 2020-04-21 Ultrahaptics IP Two Limited Systems and methods of determining interaction intent in three-dimensional (3D) sensory space
JP6264087B2 (ja) * 2014-02-21 2018-01-24 ソニー株式会社 表示制御装置、表示装置および表示制御システム
KR102438482B1 (ko) * 2014-03-17 2022-09-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 비백색광 일반 조명기를 포함하는 수술 시스템
US9779889B2 (en) 2014-03-24 2017-10-03 Apple Inc. Scissor mechanism features for a keyboard
US10022622B2 (en) 2014-04-21 2018-07-17 Steelseries Aps Programmable actuation inputs of an accessory and methods thereof
US10124246B2 (en) 2014-04-21 2018-11-13 Activbody, Inc. Pressure sensitive peripheral devices, and associated methods of use
US10675532B2 (en) 2014-04-21 2020-06-09 Steelseries Aps Variable actuators of an accessory and methods thereof
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US20160137312A1 (en) 2014-05-06 2016-05-19 Osterhout Group, Inc. Unmanned aerial vehicle launch system
KR102173110B1 (ko) * 2014-05-07 2020-11-02 삼성전자주식회사 웨어러블 디바이스 및 그 제어 방법
US20150334785A1 (en) * 2014-05-15 2015-11-19 Cooktek Induction Systems, Llc Menu-based cooking appliance
US9557955B2 (en) * 2014-05-21 2017-01-31 International Business Machines Corporation Sharing of target objects
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US10085584B2 (en) 2014-06-09 2018-10-02 Whirlpool Corporation Method of regulating temperature for sous vide cooking and apparatus therefor
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US10852838B2 (en) * 2014-06-14 2020-12-01 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10665128B2 (en) 2014-06-27 2020-05-26 Illinois Tool Works Inc. System and method of monitoring welding information
US9937578B2 (en) 2014-06-27 2018-04-10 Illinois Tool Works Inc. System and method for remote welding training
US9862049B2 (en) 2014-06-27 2018-01-09 Illinois Tool Works Inc. System and method of welding system operator identification
US10307853B2 (en) 2014-06-27 2019-06-04 Illinois Tool Works Inc. System and method for managing welding data
CN104121892B (zh) * 2014-07-09 2017-01-25 深圳市欢创科技有限公司 一种获取光枪射击的目标位置的方法、装置及系统
EP2977789A1 (en) * 2014-07-25 2016-01-27 Nxp B.V. Distance measurement
US11014183B2 (en) 2014-08-07 2021-05-25 Illinois Tool Works Inc. System and method of marking a welding workpiece
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9724787B2 (en) 2014-08-07 2017-08-08 Illinois Tool Works Inc. System and method of monitoring a welding environment
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
EP3180678A1 (en) 2014-08-15 2017-06-21 Apple Inc. Fabric keyboard
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9875665B2 (en) 2014-08-18 2018-01-23 Illinois Tool Works Inc. Weld training system and method
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US10082880B1 (en) 2014-08-28 2018-09-25 Apple Inc. System level features of a keyboard
CN104190078B (zh) * 2014-08-28 2017-05-31 深圳市欢创科技有限公司 一种光枪射击的目标识别方法、装置及系统
US10228766B2 (en) * 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
JP3213042U (ja) 2014-09-30 2017-10-19 アップル インコーポレイテッド キーボードアセンブリ用のキー及びスイッチハウジング
US10201868B2 (en) * 2014-09-30 2019-02-12 Illinois Tool Works Inc. Systems and methods for gesture control of a welding system
US10987762B2 (en) * 2014-09-30 2021-04-27 Illinois Tool Works Inc. Armband based systems and methods for controlling welding equipment using gestures and like motions
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
USD772889S1 (en) 2014-10-06 2016-11-29 National Comprehensive Cancer Network Display screen or portion thereof with graphical user interface for clinical practice guidelines
USD770469S1 (en) * 2014-10-06 2016-11-01 National Comprehensive Cancer Network Display screen or portion thereof with icon
USD770468S1 (en) 2014-10-06 2016-11-01 National Comprehensive Cancer Network Display screen or portion thereof with graphical user interface for clinical practice guidelines
USD780768S1 (en) * 2014-10-06 2017-03-07 National Comprehensive Cancer Network Display screen or portion thereof with icon
US20160103855A1 (en) * 2014-10-08 2016-04-14 Lenovo (Singapore) Pte, Ltd. Collaborative item database
US11247289B2 (en) * 2014-10-16 2022-02-15 Illinois Tool Works Inc. Remote power supply parameter adjustment
US10239147B2 (en) 2014-10-16 2019-03-26 Illinois Tool Works Inc. Sensor-based power controls for a welding system
DE102014115363A1 (de) * 2014-10-22 2016-04-28 Bitsea Gmbh Virtuelles Zeichen in realer Umgebung
US10417934B2 (en) 2014-11-05 2019-09-17 Illinois Tool Works Inc. System and method of reviewing weld data
US10490098B2 (en) 2014-11-05 2019-11-26 Illinois Tool Works Inc. System and method of recording multi-run data
US10373304B2 (en) 2014-11-05 2019-08-06 Illinois Tool Works Inc. System and method of arranging welding device markers
US10204406B2 (en) 2014-11-05 2019-02-12 Illinois Tool Works Inc. System and method of controlling welding system camera exposure and marker illumination
KR101636460B1 (ko) * 2014-11-05 2016-07-05 삼성전자주식회사 전자 장치 및 그 제어 방법
US10210773B2 (en) 2014-11-05 2019-02-19 Illinois Tool Works Inc. System and method for welding torch display
US10402959B2 (en) 2014-11-05 2019-09-03 Illinois Tool Works Inc. System and method of active torch marker control
WO2016074090A1 (en) 2014-11-11 2016-05-19 Helio Technology Inc. An angle encoder and a method of measuring an angle using same
CN107209960B (zh) 2014-12-18 2021-01-01 脸谱科技有限责任公司 用于提供虚拟现实环境的用户界面的系统、设备及方法
US10809794B2 (en) 2014-12-19 2020-10-20 Hewlett-Packard Development Company, L.P. 3D navigation mode
CN104461009B (zh) * 2014-12-22 2018-01-09 百度在线网络技术(北京)有限公司 物体的测量方法和智能设备
WO2016105521A1 (en) 2014-12-23 2016-06-30 Meta Company Apparatuses, methods and systems coupling visual accommodation and visual convergence to the same plane at any depth of an object of interest
SG11201705579QA (en) * 2015-01-09 2017-08-30 Razer (Asia-Pacific) Pte Ltd Gesture recognition devices and gesture recognition methods
US10039975B2 (en) 2015-01-13 2018-08-07 Disney Enterprises, Inc. Techniques for representing imaginary participants in an immersive play environment
US9855497B2 (en) 2015-01-20 2018-01-02 Disney Enterprises, Inc. Techniques for providing non-verbal speech recognition in an immersive playtime environment
US10265621B2 (en) 2015-01-20 2019-04-23 Disney Enterprises, Inc. Tracking specific gestures relative to user movement
US10773329B2 (en) 2015-01-20 2020-09-15 Illinois Tool Works Inc. Multiple input welding vision system
US9858718B2 (en) * 2015-01-27 2018-01-02 Microsoft Technology Licensing, Llc Dynamically adaptable virtual lists
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10406638B2 (en) 2015-02-27 2019-09-10 Illinois Tool Works Inc. Augmented vision system with active welder guidance
WO2016144741A1 (en) * 2015-03-06 2016-09-15 Illinois Tool Works Inc. Sensor assisted head mounted displays for welding
US10194799B2 (en) * 2015-03-09 2019-02-05 Sanovas Intellectual Property, Llc Robotic ophthalmology
WO2016144744A1 (en) 2015-03-09 2016-09-15 Illinois Tool Works Inc. Methods and apparatus to provide visual information associated with welding operations
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
US9977242B2 (en) 2015-03-26 2018-05-22 Illinois Tool Works Inc. Control of mediated reality welding system based on lighting conditions
US10116519B2 (en) 2015-03-27 2018-10-30 Yodiwo Ab Programmable distributed management system of interconnected things and applications
US10427239B2 (en) 2015-04-02 2019-10-01 Illinois Tool Works Inc. Systems and methods for tracking weld training arc parameters
US20160299565A1 (en) * 2015-04-07 2016-10-13 Siemens Aktiengesellschaft Eye tracking for registration of a haptic device with a holograph
US10306217B2 (en) * 2015-04-17 2019-05-28 Seiko Epson Corporation Display device, control method for display device, and computer program
JP6550885B2 (ja) 2015-04-21 2019-07-31 セイコーエプソン株式会社 表示装置、表示装置の制御方法、及び、プログラム
EP3289434A1 (en) 2015-04-30 2018-03-07 Google LLC Wide-field radar-based gesture recognition
CN107466389B (zh) 2015-04-30 2021-02-12 谷歌有限责任公司 用于确定类型不可知的rf信号表示的方法和装置
CN111522434A (zh) 2015-04-30 2020-08-11 谷歌有限责任公司 用于手势跟踪和识别的基于rf的微运动跟踪
WO2016183498A1 (en) 2015-05-13 2016-11-17 Apple Inc. Low-travel key mechanism for an input device
JP6637070B2 (ja) 2015-05-13 2020-01-29 アップル インコーポレイテッドApple Inc. 電子デバイス用のキーボード
US9997304B2 (en) 2015-05-13 2018-06-12 Apple Inc. Uniform illumination of keys
EP3295466B1 (en) 2015-05-13 2023-11-29 Apple Inc. Keyboard assemblies having reduced thicknesses and method of forming keyboard assemblies
CN112882233B (zh) 2015-05-19 2023-08-01 奇跃公司 双复合光场装置
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US9934915B2 (en) 2015-06-10 2018-04-03 Apple Inc. Reduced layer keyboard stack-up
US20160371884A1 (en) * 2015-06-17 2016-12-22 Microsoft Technology Licensing, Llc Complementary augmented reality
US10363632B2 (en) 2015-06-24 2019-07-30 Illinois Tool Works Inc. Time of flight camera for welding machine vision
JP2017010387A (ja) * 2015-06-24 2017-01-12 キヤノン株式会社 システム、複合現実表示装置、情報処理方法及びプログラム
US10708571B2 (en) 2015-06-29 2020-07-07 Microsoft Technology Licensing, Llc Video frame processing
US9887537B2 (en) 2015-06-30 2018-02-06 Microsoft Technology Licensing, Llc Analog limit on digitally set pulse widths
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US11003246B2 (en) * 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
CN108352393B (zh) 2015-07-23 2022-09-16 光程研创股份有限公司 高效宽光谱传感器
US10861888B2 (en) 2015-08-04 2020-12-08 Artilux, Inc. Silicon germanium imager with photodiode in trench
EP3709362B1 (en) 2015-08-04 2021-07-14 Artilux Inc. Germanium-silicon light sensing method
CN107533373B (zh) * 2015-08-04 2020-09-08 谷歌有限责任公司 虚拟现实中经由手与对象的场境敏感碰撞的输入
US10707260B2 (en) 2015-08-04 2020-07-07 Artilux, Inc. Circuit for operating a multi-gate VIS/IR photodiode
US10761599B2 (en) 2015-08-04 2020-09-01 Artilux, Inc. Eye gesture tracking
US10438505B2 (en) 2015-08-12 2019-10-08 Illinois Tool Works Welding training system interface
US10657839B2 (en) 2015-08-12 2020-05-19 Illinois Tool Works Inc. Stick welding electrode holders with real-time feedback features
US10373517B2 (en) 2015-08-12 2019-08-06 Illinois Tool Works Inc. Simulation stick welding electrode holder systems and methods
US10593230B2 (en) 2015-08-12 2020-03-17 Illinois Tool Works Inc. Stick welding electrode holder systems and methods
CN109407835B (zh) * 2015-08-18 2023-01-13 奇跃公司 虚拟和增强现实系统和方法
US9972215B2 (en) * 2015-08-18 2018-05-15 Lincoln Global, Inc. Augmented reality interface for weld sequencing
CN115824395B (zh) 2015-08-27 2023-08-15 光程研创股份有限公司 宽频谱光学传感器
CN106484213B (zh) * 2015-08-31 2019-11-01 深圳富泰宏精密工业有限公司 应用程序图标操作系统与方法
CN105159539B (zh) * 2015-09-10 2018-06-01 京东方科技集团股份有限公司 可穿戴设备的触控响应方法、装置及可穿戴设备
US10209851B2 (en) * 2015-09-18 2019-02-19 Google Llc Management of inactive windows
US10282623B1 (en) * 2015-09-25 2019-05-07 Apple Inc. Depth perception sensor data processing
US9971084B2 (en) 2015-09-28 2018-05-15 Apple Inc. Illumination structure for uniform illumination of keys
US10025375B2 (en) 2015-10-01 2018-07-17 Disney Enterprises, Inc. Augmented reality controls for user interactions with a virtual world
US10368059B2 (en) * 2015-10-02 2019-07-30 Atheer, Inc. Method and apparatus for individualized three dimensional display calibration
US10630965B2 (en) 2015-10-02 2020-04-21 Microsoft Technology Licensing, Llc Calibrating a near-eye display
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10891106B2 (en) 2015-10-13 2021-01-12 Google Llc Automatic batch voice commands
US11425866B2 (en) * 2015-11-03 2022-08-30 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
WO2017079484A1 (en) 2015-11-04 2017-05-11 Google Inc. Connectors for connecting electronics embedded in garments to external devices
US10886309B2 (en) 2015-11-06 2021-01-05 Artilux, Inc. High-speed light sensing apparatus II
US10739443B2 (en) 2015-11-06 2020-08-11 Artilux, Inc. High-speed light sensing apparatus II
DE102015119065A1 (de) * 2015-11-06 2017-05-11 Spherie Ug Flügelloses Fluggerät
US10254389B2 (en) 2015-11-06 2019-04-09 Artilux Corporation High-speed light sensing apparatus
US10418407B2 (en) 2015-11-06 2019-09-17 Artilux, Inc. High-speed light sensing apparatus III
US10741598B2 (en) 2015-11-06 2020-08-11 Atrilux, Inc. High-speed light sensing apparatus II
US20170131775A1 (en) * 2015-11-10 2017-05-11 Castar, Inc. System and method of haptic feedback by referral of sensation
CN105653022B (zh) * 2015-11-13 2018-09-21 苏州市职业大学 基于rfid运动流形分析的人机交互投影装置及其算法
US10768772B2 (en) * 2015-11-19 2020-09-08 Microsoft Technology Licensing, Llc Context-aware recommendations of relevant presentation content displayed in mixed environments
US10043075B2 (en) * 2015-11-19 2018-08-07 Microsoft Technology Licensing, Llc Eye feature identification
CN105487660A (zh) * 2015-11-25 2016-04-13 北京理工大学 基于虚拟现实技术的沉浸式舞台表演交互方法及系统
CN105320820A (zh) * 2015-12-02 2016-02-10 上海航空电器有限公司 基于沉浸式虚拟现实平台的快速座舱设计系统及方法
US10289206B2 (en) * 2015-12-18 2019-05-14 Intel Corporation Free-form drawing and health applications
JP2017111724A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス 配管用ヘッドマウントディスプレイ
CN105652442A (zh) * 2015-12-31 2016-06-08 北京小鸟看看科技有限公司 头戴显示设备及该头戴显示设备与智能终端的交互方法
WO2017120552A1 (en) 2016-01-06 2017-07-13 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
US9952429B2 (en) * 2016-01-07 2018-04-24 International Business Machines Corporation Plurality of wearable devices sharing partially obstructing view at different angles to overcome visual obstructions
WO2017122299A1 (ja) * 2016-01-13 2017-07-20 フォーブ インコーポレーテッド 表情認識システム、表情認識方法及び表情認識プログラム
US10438609B2 (en) * 2016-01-14 2019-10-08 George Brandon Foshee System and device for audio translation to tactile response
US10114465B2 (en) * 2016-01-15 2018-10-30 Google Llc Virtual reality head-mounted devices having reduced numbers of cameras, and methods of operating the same
CA3011637A1 (en) * 2016-01-19 2017-07-27 Magic Leap, Inc. Eye image collection, selection, and combination
JP6873599B2 (ja) * 2016-01-20 2021-05-19 キヤノン株式会社 画像表示装置、画像表示システム及び画像表示方法
DE102016200956A1 (de) * 2016-01-25 2017-07-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Visualisieren einer Software
WO2017142977A1 (en) 2016-02-15 2017-08-24 Meta Company Apparatuses, methods and systems for tethering 3-d virtual elements to digital content
US10591728B2 (en) 2016-03-02 2020-03-17 Mentor Acquisition One, Llc Optical systems for head-worn computers
US10850116B2 (en) 2016-12-30 2020-12-01 Mentor Acquisition One, Llc Head-worn therapy device
WO2017145154A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Wide field of view hybrid holographic display
US11663937B2 (en) 2016-02-22 2023-05-30 Real View Imaging Ltd. Pupil tracking in an image display system
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US10788791B2 (en) 2016-02-22 2020-09-29 Real View Imaging Ltd. Method and system for displaying holographic images within a real object
US10667981B2 (en) 2016-02-29 2020-06-02 Mentor Acquisition One, Llc Reading assistance system for visually impaired
US9826299B1 (en) 2016-08-22 2017-11-21 Osterhout Group, Inc. Speaker systems for head-worn computer systems
US9880441B1 (en) 2016-09-08 2018-01-30 Osterhout Group, Inc. Electrochromic systems for head-worn computer systems
US9773324B1 (en) 2016-03-23 2017-09-26 Disney Enterprises, Inc. Systems and methods for identifying targets on a display
US10665019B2 (en) * 2016-03-24 2020-05-26 Qualcomm Incorporated Spatial relationships for integration of visual images of physical environment into virtual reality
US10373381B2 (en) * 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
JP2017182495A (ja) * 2016-03-30 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
CN105912101B (zh) * 2016-03-31 2020-08-25 联想(北京)有限公司 一种投影控制方法和电子设备
US10118696B1 (en) 2016-03-31 2018-11-06 Steven M. Hoffberg Steerable rotating projectile
CN105709369A (zh) * 2016-04-06 2016-06-29 上海捍康健康管理有限公司 一种多功能智能跑步机
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10380800B2 (en) * 2016-04-18 2019-08-13 Disney Enterprises, Inc. System and method for linking and interacting between augmented reality and virtual reality environments
US10210661B2 (en) * 2016-04-25 2019-02-19 Microsoft Technology Licensing, Llc Location-based holographic experience
CN105929958B (zh) * 2016-04-26 2019-03-01 华为技术有限公司 一种手势识别方法,装置和头戴式可视设备
CN105955614A (zh) * 2016-04-29 2016-09-21 四川数字工匠科技有限公司 虚拟漫游操作系统
WO2017192167A1 (en) 2016-05-03 2017-11-09 Google Llc Connecting an electronic component to an interactive textile
GB2550124B (en) * 2016-05-06 2021-11-17 Nctech Ltd Camera
US10248201B2 (en) * 2016-05-06 2019-04-02 The Board Of Trustees Of The Leland Stanford Junior University Wolverine: a wearable haptic interface for grasping in virtual reality
CN107346906B (zh) * 2016-05-06 2020-03-13 宏碁股份有限公司 无线系统、主动笔以及切换模式的方法
WO2017200570A1 (en) 2016-05-16 2017-11-23 Google Llc Interactive object with multiple electronics modules
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
AU2017267983B2 (en) * 2016-05-20 2022-03-31 Magic Leap, Inc. Method and system for performing convolutional image transformation estimation
US9971960B2 (en) * 2016-05-26 2018-05-15 Xesto Inc. Method and system for providing gesture recognition services to user applications
WO2017210228A1 (en) 2016-05-28 2017-12-07 Acoustic Knowledge, LLC Digital camera with audio, visual and motion analysis
CN106123916B (zh) * 2016-06-13 2019-11-15 上海临奇智能科技有限公司 一种用于校准vr设备中惯性测量单元的方法与设备
JP6088094B1 (ja) * 2016-06-20 2017-03-01 株式会社Cygames 複合現実環境を作成するためのシステム等
CN106095108B (zh) * 2016-06-22 2019-02-05 华为技术有限公司 一种增强现实反馈方法及设备
KR102529119B1 (ko) * 2016-06-27 2023-05-04 삼성전자주식회사 객체의 깊이 정보를 획득하는 방법, 디바이스 및 기록매체
US11146661B2 (en) 2016-06-28 2021-10-12 Rec Room Inc. Systems and methods for detecting collaborative virtual gestures
US10591988B2 (en) * 2016-06-28 2020-03-17 Hiscene Information Technology Co., Ltd Method for displaying user interface of head-mounted display device
US10096165B2 (en) * 2016-06-30 2018-10-09 Intel Corporation Technologies for virtual camera scene generation using physical object sensing
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
KR102402368B1 (ko) * 2016-07-13 2022-05-25 네이키드 랩스 오스트리아 게엠베하 3d 바디 스캐너 및 바이탈 파라미터 센서들을 포함하는 스마트 바디 애널라이저
KR102609330B1 (ko) 2016-07-15 2023-12-05 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
CN109478769A (zh) * 2016-07-26 2019-03-15 三菱电机株式会社 缆线可动区域显示装置、缆线可动区域显示方法和缆线可动区域显示程序
US10353485B1 (en) 2016-07-27 2019-07-16 Apple Inc. Multifunction input device with an embedded capacitive sensing layer
CN106249894A (zh) * 2016-08-08 2016-12-21 南方科技大学 虚拟现实交互系统和方法
US10115544B2 (en) 2016-08-08 2018-10-30 Apple Inc. Singulated keyboard assemblies and methods for assembling a keyboard
CN106201222A (zh) * 2016-08-09 2016-12-07 深圳市金立通信设备有限公司 一种虚拟现实界面的显示方法及终端
WO2018034053A1 (ja) * 2016-08-18 2018-02-22 ソニー株式会社 情報処理装置、情報処理システム及び情報処理方法
CN106205456B (zh) * 2016-08-19 2020-03-06 惠州Tcl移动通信有限公司 一种减少vr显示时左右眼图像延迟的驱动装置及其方法
US10755877B1 (en) 2016-08-29 2020-08-25 Apple Inc. Keyboard for an electronic device
US11500538B2 (en) 2016-09-13 2022-11-15 Apple Inc. Keyless keyboard with force sensing and haptic feedback
US20180075657A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Attribute modification tools for mixed reality
CN107835288A (zh) * 2016-09-16 2018-03-23 天津思博科科技发展有限公司 应用智能终端实现的互动娱乐装置
US10430042B2 (en) * 2016-09-30 2019-10-01 Sony Interactive Entertainment Inc. Interaction context-based virtual reality
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
TWI584156B (zh) * 2016-10-25 2017-05-21 華碩電腦股份有限公司 操作系統、操作方法以及指示裝置
US20180126268A1 (en) * 2016-11-09 2018-05-10 Zynga Inc. Interactions between one or more mobile devices and a vr/ar headset
US10775880B2 (en) * 2016-11-30 2020-09-15 Universal City Studios Llc Animated character head systems and methods
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10055028B2 (en) * 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
KR102531542B1 (ko) 2016-12-05 2023-05-10 매직 립, 인코포레이티드 혼합 현실 환경의 가상 사용자 입력 콘트롤들
CN106582012B (zh) * 2016-12-07 2018-12-11 腾讯科技(深圳)有限公司 一种vr场景下的攀爬操作处理方法和装置
US10318130B2 (en) * 2016-12-12 2019-06-11 Google Llc Controlling window using touch-sensitive edge
EP3559785B1 (en) 2016-12-21 2021-02-03 PCMS Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
JP6171079B1 (ja) * 2016-12-22 2017-07-26 株式会社Cygames 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
US10088911B2 (en) 2016-12-30 2018-10-02 Manuel Saez Programmable electronic helmet
US20180189014A1 (en) * 2017-01-05 2018-07-05 Honeywell International Inc. Adaptive polyhedral display device
CN106839995B (zh) * 2017-01-22 2019-11-05 南京景曜智能科技有限公司 一种物品三维尺寸检测装置及检测方法
WO2018152109A1 (en) 2017-02-20 2018-08-23 Pcms Holdings, Inc. Dynamically presenting augmented reality information for reducing peak cognitive demand
US10627910B2 (en) * 2017-02-21 2020-04-21 Adobe Inc. Stroke operation prediction for three-dimensional digital content
WO2018155365A1 (ja) * 2017-02-24 2018-08-30 パナソニックIpマネジメント株式会社 外部ロック装置
US10769861B2 (en) * 2017-03-02 2020-09-08 Axonom Inc. Dynamic connection routing in virtual product configurations
US10567733B2 (en) 2017-03-06 2020-02-18 Nextvr Inc. Methods and apparatus for communicating and/or using frames including a captured image and/or including additional image content
WO2018165223A1 (en) * 2017-03-06 2018-09-13 Nextvr Inc. Methods and apparatus for packing images into a frame and/or including additional content or graphics
WO2018165038A1 (en) 2017-03-06 2018-09-13 Miso Robotics, Inc. Augmented reality-enhanced food preparation system and related methods
US11252391B2 (en) 2017-03-06 2022-02-15 Nevermind Capital Llc Methods and apparatus for packing images into a frame and/or including additional content or graphics
US11351673B2 (en) 2017-03-06 2022-06-07 Miso Robotics, Inc. Robotic sled-enhanced food preparation system and related methods
CN106940477A (zh) * 2017-03-14 2017-07-11 联想(北京)有限公司 一种控制方法及电子设备
AU2018243565B2 (en) 2017-03-30 2023-03-16 Magic Leap, Inc. Non-blocking dual driver earphones
US10977858B2 (en) 2017-03-30 2021-04-13 Magic Leap, Inc. Centralized rendering
US20180288392A1 (en) * 2017-04-01 2018-10-04 Intel Corporation Adjusting display content based on user distance detection
US10657682B2 (en) 2017-04-12 2020-05-19 Adobe Inc. Drawing curves in space guided by 3-D objects
JP7211966B2 (ja) 2017-04-14 2023-01-24 マジック リープ, インコーポレイテッド マルチモーダル眼追跡
US10481755B1 (en) * 2017-04-28 2019-11-19 Meta View, Inc. Systems and methods to present virtual content in an interactive space
CA3060209A1 (en) 2017-05-01 2018-11-08 Magic Leap, Inc. Matching content to a spatial 3d environment
US10705598B2 (en) * 2017-05-09 2020-07-07 Microsoft Technology Licensing, Llc Tracking wearable device and handheld object poses
US11079522B1 (en) 2017-05-31 2021-08-03 Magic Leap, Inc. Fiducial design
US10542300B2 (en) * 2017-05-31 2020-01-21 Verizon Patent And Licensing Inc. Methods and systems for customizing virtual reality data
CN111052187B (zh) 2017-06-20 2024-01-30 惠普发展公司,有限责任合伙企业 传感器位置确定
CA3066228A1 (en) * 2017-06-28 2019-01-03 Magic Leap, Inc. Method and system for performing simultaneous localization and mapping using convolutional image transformation
CN107330198B (zh) * 2017-07-03 2020-09-08 云南交通职业技术学院 深度知觉测试方法及系统
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
CN117270637A (zh) 2017-07-26 2023-12-22 苹果公司 具有键盘的计算机
US10922583B2 (en) * 2017-07-26 2021-02-16 Magic Leap, Inc. Training a neural network with representations of user interface devices
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10782793B2 (en) 2017-08-10 2020-09-22 Google Llc Context-sensitive hand interaction
US10362296B2 (en) * 2017-08-17 2019-07-23 Microsoft Technology Licensing, Llc Localized depth map generation
US11249714B2 (en) 2017-09-13 2022-02-15 Magical Technologies, Llc Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
CN111448568B (zh) * 2017-09-29 2023-11-14 苹果公司 基于环境的应用演示
KR102633727B1 (ko) 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
WO2019079826A1 (en) 2017-10-22 2019-04-25 Magical Technologies, Llc DIGITAL ASSISTANT SYSTEMS, METHODS AND APPARATUSES IN AN INCREASED REALITY ENVIRONMENT AND LOCAL DETERMINATION OF VIRTUAL OBJECT PLACEMENT AND SINGLE OR MULTIDIRECTIONAL OBJECTIVES AS GATEWAYS BETWEEN A PHYSICAL WORLD AND A DIGITAL WORLD COMPONENT OF THE SAME ENVIRONMENT OF INCREASED REALITY
CN109725418B (zh) * 2017-10-30 2020-10-16 华为技术有限公司 显示设备、用于调整显示设备的图像呈现的方法及装置
WO2019093156A1 (ja) * 2017-11-10 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 表示処理装置および表示処理方法、並びにプログラム
US11346914B2 (en) * 2017-11-15 2022-05-31 Fortiss, Llc. RFID antenna array for gaming
US10782382B2 (en) * 2017-11-15 2020-09-22 Fortiss, Llc. RFID antenna array for gaming
CN107657841A (zh) * 2017-11-16 2018-02-02 岭南师范学院 一种基于全息投影的cad教学装置及系统
US10424086B2 (en) * 2017-11-16 2019-09-24 Adobe Inc. Oil painting stroke simulation using neural network
CN107967054B (zh) * 2017-11-16 2020-11-27 中国人民解放军陆军装甲兵学院 一种虚拟现实与增强现实耦合的沉浸式三维电子沙盘
US10016137B1 (en) 2017-11-22 2018-07-10 Hi Llc System and method for simultaneously detecting phase modulated optical signals
USD879831S1 (en) * 2017-11-22 2020-03-31 Lg Electronics Inc. Display screen with graphical user interface
US10420469B2 (en) 2017-11-22 2019-09-24 Hi Llc Optical detection system for determining neural activity in brain based on water concentration
CN108052202B (zh) * 2017-12-11 2021-06-11 深圳市星野信息技术有限公司 一种3d交互方法、装置、计算机设备及存储介质
US10477355B1 (en) 2017-12-13 2019-11-12 Amazon Technologies, Inc. System for locating users
CN111684495A (zh) * 2017-12-22 2020-09-18 奇跃公司 用于在混合现实系统中管理和显示虚拟内容的方法和系统
CN108053444B (zh) * 2018-01-02 2021-03-12 京东方科技集团股份有限公司 瞳孔定位方法及装置、设备和存储介质
CN108073285B (zh) * 2018-01-02 2021-05-18 联想(北京)有限公司 一种电子设备及控制方法
US10739861B2 (en) * 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
US20190212828A1 (en) * 2018-01-10 2019-07-11 Facebook Technologies, Llc Object enhancement in artificial reality via a near eye display interface
US11398088B2 (en) 2018-01-30 2022-07-26 Magical Technologies, Llc Systems, methods and apparatuses to generate a fingerprint of a physical location for placement of virtual objects
CN108446585B (zh) * 2018-01-31 2020-10-30 深圳市阿西莫夫科技有限公司 目标跟踪方法、装置、计算机设备和存储介质
USD888752S1 (en) * 2018-02-09 2020-06-30 Lg Electronics Inc. Display screen with graphical user interface
USD888750S1 (en) * 2018-02-09 2020-06-30 Lg Electronics Inc. Display screen with graphical user interface
USD888751S1 (en) * 2018-02-09 2020-06-30 Lg Electronics Inc. Display screen with graphical user interface
USD889500S1 (en) * 2018-02-09 2020-07-07 Lg Electronics Inc. Display screen with graphical user interface
WO2019161312A1 (en) 2018-02-15 2019-08-22 Magic Leap, Inc. Mixed reality musical instrument
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
IL307545A (en) 2018-02-15 2023-12-01 Magic Leap Inc Dual listening positions for mixed reality
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
IL301281A (en) 2018-02-22 2023-05-01 Magic Leap Inc Shoot an object with physical manipulation
IL301443A (en) 2018-02-22 2023-05-01 Magic Leap Inc A browser for mixed reality systems
US11105928B2 (en) 2018-02-23 2021-08-31 Artilux, Inc. Light-sensing apparatus and light-sensing method thereof
JP6975341B2 (ja) 2018-02-23 2021-12-01 アーティラックス・インコーポレイテッド 光検出装置およびその光検出方法
US10368752B1 (en) 2018-03-08 2019-08-06 Hi Llc Devices and methods to convert conventional imagers into lock-in cameras
US11712637B1 (en) 2018-03-23 2023-08-01 Steven M. Hoffberg Steerable disk or ball
JP7212062B2 (ja) 2018-04-08 2023-01-24 アーティラックス・インコーポレイテッド 光検出装置
CN108776606A (zh) * 2018-04-08 2018-11-09 中兴通讯股份有限公司 一种终端控制方法和装置、及终端
US11206985B2 (en) 2018-04-13 2021-12-28 Hi Llc Non-invasive optical detection systems and methods in highly scattering medium
CN108563359B (zh) * 2018-04-17 2021-05-25 中芯集成电路(宁波)有限公司 相控阵触控模组及触控设备
WO2019203952A1 (en) * 2018-04-17 2019-10-24 Pearson Education, Inc. Systems and methods for applications of augmented reality
CN108563334B (zh) * 2018-04-23 2021-09-03 京东方科技集团股份有限公司 一种虚拟现实头戴式显示设备、系统及其定位定姿方法
US11857316B2 (en) 2018-05-07 2024-01-02 Hi Llc Non-invasive optical detection system and method
US10854770B2 (en) 2018-05-07 2020-12-01 Artilux, Inc. Avalanche photo-transistor
US10969877B2 (en) 2018-05-08 2021-04-06 Artilux, Inc. Display apparatus
CN108664124B (zh) * 2018-05-08 2021-08-24 北京奇艺世纪科技有限公司 一种基于空间方位信息的控制方法及装置
US10706584B1 (en) * 2018-05-18 2020-07-07 Facebook Technologies, Llc Hand tracking using a passive camera system
US10497161B1 (en) 2018-06-08 2019-12-03 Curious Company, LLC Information display by overlay on an object
US10667072B2 (en) 2018-06-12 2020-05-26 Magic Leap, Inc. Efficient rendering of virtual soundfields
EP3807872B1 (en) 2018-06-14 2024-04-10 Magic Leap, Inc. Reverberation gain normalization
WO2019241760A1 (en) 2018-06-14 2019-12-19 Magic Leap, Inc. Methods and systems for audio signal filtering
WO2019246159A1 (en) 2018-06-18 2019-12-26 Magic Leap, Inc. Spatial audio for interactive audio environments
US11854566B2 (en) 2018-06-21 2023-12-26 Magic Leap, Inc. Wearable system speech processing
US11087538B2 (en) 2018-06-26 2021-08-10 Lenovo (Singapore) Pte. Ltd. Presentation of augmented reality images at display locations that do not obstruct user's view
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11077365B2 (en) 2018-06-27 2021-08-03 Niantic, Inc. Low latency datagram-responsive computer network protocol
CN110658518B (zh) * 2018-06-29 2022-01-21 杭州海康威视数字技术股份有限公司 一种目标入侵检测方法及装置
US11201953B2 (en) 2018-07-24 2021-12-14 Magic Leap, Inc. Application sharing
KR20210034585A (ko) 2018-07-25 2021-03-30 라이트 필드 랩 인코포레이티드 라이트필드 디스플레이 시스템 기반 놀이 공원 기구
KR102169024B1 (ko) * 2018-08-01 2020-10-22 주식회사 포멀웍스 3차원 증강현실을 이용한 합동 지휘통제 훈련 시스템 및 제공방법
CN110827411B (zh) * 2018-08-09 2023-07-18 北京微播视界科技有限公司 自适应环境的增强现实模型显示方法、装置、设备及存储介质
US11192258B2 (en) 2018-08-10 2021-12-07 Miso Robotics, Inc. Robotic kitchen assistant for frying including agitator assembly for shaking utensil
US11393170B2 (en) * 2018-08-21 2022-07-19 Lenovo (Singapore) Pte. Ltd. Presentation of content based on attention center of user
US10818023B2 (en) * 2018-08-24 2020-10-27 Wisconsin Alumni Research Foundation Systems, methods, and media for encoding structured light imaging patterns and estimating depths in a scene
CN109272563B (zh) * 2018-08-28 2022-12-27 广州图语信息科技有限公司 基于确定性规则的结构光构建方法、装置及处理终端
US10991139B2 (en) 2018-08-30 2021-04-27 Lenovo (Singapore) Pte. Ltd. Presentation of graphical object(s) on display to avoid overlay on another item
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
KR102155378B1 (ko) * 2018-09-19 2020-09-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
CN113168007B (zh) 2018-09-25 2023-09-15 奇跃公司 用于增强现实的系统和方法
US10970922B2 (en) * 2018-09-28 2021-04-06 Apple Inc. Generating a 3D model of a fingertip for visual touch detection
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
US10887720B2 (en) 2018-10-05 2021-01-05 Magic Leap, Inc. Emphasis for audio spatialization
CN113168526A (zh) 2018-10-09 2021-07-23 奇跃公司 用于虚拟和增强现实的系统和方法
JP2022505662A (ja) 2018-10-24 2022-01-14 マジック リープ, インコーポレイテッド 非同期asic
US11577401B2 (en) 2018-11-07 2023-02-14 Miso Robotics, Inc. Modular robotic food preparation system and related methods
CN109448050B (zh) * 2018-11-21 2022-04-29 深圳市创梦天地科技有限公司 一种目标点的位置的确定方法及终端
JP7148634B2 (ja) * 2018-12-04 2022-10-05 マクセル株式会社 ヘッドマウントディスプレイ装置
US11055913B2 (en) 2018-12-04 2021-07-06 Curious Company, LLC Directional instructions in an hybrid reality system
KR102051889B1 (ko) * 2018-12-05 2019-12-06 주식회사 증강지능 스마트 글래스에서 2d 데이터를 기반으로 3d 증강현실을 구현하는 방법 및 시스템
SE542553C2 (en) * 2018-12-17 2020-06-02 Tobii Ab Gaze tracking via tracing of light paths
US10877568B2 (en) * 2018-12-19 2020-12-29 Arizona Board Of Regents On Behalf Of Arizona State University Three-dimensional in-the-air finger motion based user login framework for gesture interface
CA3121740A1 (en) * 2018-12-19 2020-06-25 Bae Systems Plc Method and system for adjusting luminance profiles in head-mounted displays
KR102152217B1 (ko) * 2018-12-20 2020-09-04 서강대학교 산학협력단 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법
US10970935B2 (en) 2018-12-21 2021-04-06 Curious Company, LLC Body pose message system
US11221814B2 (en) 2018-12-27 2022-01-11 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11200656B2 (en) 2019-01-11 2021-12-14 Universal City Studios Llc Drop detection systems and methods
CA3031479A1 (en) * 2019-01-25 2020-07-25 Jonathan Gagne Computer animation methods and systems
EP3917430B1 (en) * 2019-01-31 2023-07-05 Brainlab AG Virtual trajectory planning
CN113412479A (zh) * 2019-02-06 2021-09-17 麦克赛尔株式会社 混合现实显示装置和混合现实显示方法
US11707806B2 (en) * 2019-02-12 2023-07-25 Illinois Tool Works Inc. Virtual markings in welding systems
SE543332C2 (en) * 2019-02-19 2020-12-01 Tobii Ab Method, computer program and head mountable arrangement for assisting a subject to acquire spatial information about an environment
US11450233B2 (en) 2019-02-19 2022-09-20 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
US11521512B2 (en) 2019-02-19 2022-12-06 Illinois Tool Works Inc. Systems for simulating joining operations using mobile devices
KR102577903B1 (ko) 2019-02-25 2023-09-14 나이앤틱, 인크. 증강 현실 모바일 에지 컴퓨팅
CN113748462A (zh) 2019-03-01 2021-12-03 奇跃公司 确定用于语音处理引擎的输入
US11467656B2 (en) * 2019-03-04 2022-10-11 Magical Technologies, Llc Virtual object control of a physical device and/or physical device control of a virtual object
US10872584B2 (en) 2019-03-14 2020-12-22 Curious Company, LLC Providing positional information using beacon devices
US11126885B2 (en) * 2019-03-21 2021-09-21 Infineon Technologies Ag Character recognition in air-writing based on network of radars
US11221487B2 (en) 2019-03-26 2022-01-11 Kevin Chew Figueroa Method and device of field sequential imaging for large field of view augmented/virtual reality
US10939080B2 (en) * 2019-03-29 2021-03-02 Facebook Technologies, Llc Trajectory estimation for a MEMS reflector
JP7440532B2 (ja) 2019-04-03 2024-02-28 マジック リープ, インコーポレイテッド 複合現実システムを用いて仮想3次元空間内のウェブページを管理および表示すること
EP3956876A1 (en) * 2019-04-18 2022-02-23 Yuliana Ivanova Murdjeva Interactive system and method of use
CN110110647A (zh) * 2019-04-30 2019-08-09 北京小米移动软件有限公司 基于ar设备进行信息显示的方法、装置及存储介质
US10861243B1 (en) * 2019-05-31 2020-12-08 Apical Limited Context-sensitive augmented reality
EP3980880A4 (en) 2019-06-06 2022-11-23 Magic Leap, Inc. PHOTOREAL CHARACTER CONFIGURATIONS FOR SPACE COMPUTING
CN110245601B (zh) * 2019-06-11 2022-03-01 Oppo广东移动通信有限公司 眼球追踪方法及相关产品
US20220230435A1 (en) * 2019-06-21 2022-07-21 Sony Interactive Entertainment Inc. Imaging data generation apparatus, imaging data generation method, and program
US11030459B2 (en) * 2019-06-27 2021-06-08 Intel Corporation Methods and apparatus for projecting augmented reality enhancements to real objects in response to user gestures detected in a real environment
CN110322552B (zh) * 2019-07-09 2023-05-12 广州市云家居云科技有限公司 一种基于激光测距的即时生成三维房型的软件系统
US11288978B2 (en) 2019-07-22 2022-03-29 Illinois Tool Works Inc. Gas tungsten arc welding training systems
US11776423B2 (en) 2019-07-22 2023-10-03 Illinois Tool Works Inc. Connection boxes for gas tungsten arc welding training systems
CN110427702B (zh) * 2019-08-02 2023-04-25 深圳市元征科技股份有限公司 一种在pcb丝印层添加注释信息的方法、装置、设备
US11328740B2 (en) 2019-08-07 2022-05-10 Magic Leap, Inc. Voice onset detection
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
JP2022552770A (ja) 2019-08-09 2022-12-20 ライト フィールド ラボ、インコーポレイテッド ライトフィールドディスプレイシステムに基づいたデジタルサイネージシステム発明者:ジョナサン・シャン・カラフィン、ブレンダン・エルウッド・ベベンシー、ジョン・ドーム
EP3782833B1 (en) * 2019-08-21 2023-04-19 Ningbo Geely Automobile Research & Development Co. Ltd. Controlling an internal light source of a vehicle for darkening of glasses
US11132832B2 (en) * 2019-08-29 2021-09-28 Sony Interactive Entertainment Inc. Augmented reality (AR) mat with light, touch sensing mat with infrared trackable surface
KR20220054619A (ko) * 2019-09-03 2022-05-03 라이트 필드 랩 인코포레이티드 모바일 장치를 위한 라이트필드 디스플레이
US11517196B2 (en) * 2019-09-12 2022-12-06 Yuan Ze University Evaluation device for tear secretion
CN114830182A (zh) 2019-10-18 2022-07-29 奇跃公司 视觉惯性里程计的重力估计和光束法平差
US10997766B1 (en) * 2019-11-06 2021-05-04 XRSpace CO., LTD. Avatar motion generating method and head mounted display system
WO2021081442A1 (en) 2019-10-25 2021-04-29 Magic Leap, Inc. Non-uniform stereo rendering
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ, インコーポレイテッド 反響フィンガプリント推定
US20210174275A1 (en) * 2019-11-13 2021-06-10 Erinn Valencich System and method for the design industry that enables creative teams to design, collaborate and connect with clients and track and manage progress of each client project providing client status to all interested parties
US11959997B2 (en) 2019-11-22 2024-04-16 Magic Leap, Inc. System and method for tracking a wearable device
US11322037B2 (en) 2019-11-25 2022-05-03 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
US11721231B2 (en) 2019-11-25 2023-08-08 Illinois Tool Works Inc. Weld training simulations using mobile devices, modular workpieces, and simulated welding equipment
JP2023512869A (ja) 2019-12-03 2023-03-30 ライト フィールド ラボ、インコーポレイテッド ビデオゲームおよび電子スポーツのためのライトフィールドディスプレイシステム
WO2021113782A1 (en) 2019-12-04 2021-06-10 Magic Leap, Inc. Variable-pitch color emitting display
EP4070284A4 (en) 2019-12-06 2023-05-24 Magic Leap, Inc. ENVIRONMENTAL ACOUSTIC PERSISTENCE
US11269181B2 (en) 2019-12-09 2022-03-08 Magic Leap, Inc. Systems and methods for operating a head-mounted display system based on user identity
US20210192681A1 (en) * 2019-12-18 2021-06-24 Ati Technologies Ulc Frame reprojection for virtual reality and augmented reality
KR20220115618A (ko) 2019-12-20 2022-08-17 나이앤틱, 인크. 데이터 전송 경로 선택을 위한 데이터 계층 프로토콜
US11337023B2 (en) 2019-12-20 2022-05-17 Magic Leap, Inc. Physics-based audio and haptic synthesis
CN111192363B (zh) * 2019-12-23 2023-09-29 杭州电力设备制造有限公司 一种基于云计算的用户配电房设计生成方法
US11763559B2 (en) 2020-02-14 2023-09-19 Magic Leap, Inc. 3D object annotation
WO2021163382A1 (en) 2020-02-14 2021-08-19 Magic Leap, Inc. Multi-application audio rendering
US11778410B2 (en) 2020-02-14 2023-10-03 Magic Leap, Inc. Delayed audio following
EP4104000A4 (en) 2020-02-14 2023-07-12 Magic Leap, Inc. TOOL BRIDGE
JP2023514572A (ja) 2020-02-14 2023-04-06 マジック リープ, インコーポレイテッド セッションマネージャ
WO2021178454A1 (en) 2020-03-02 2021-09-10 Magic Leap, Inc. Immersive audio platform
CN111580642B (zh) * 2020-03-20 2023-06-09 深圳市企鹅网络科技有限公司 视觉共享的互动教学方法、系统、设备及存储介质
US11917384B2 (en) 2020-03-27 2024-02-27 Magic Leap, Inc. Method of waking a device using spoken voice commands
CN111508008B (zh) * 2020-04-08 2023-07-14 达闼机器人股份有限公司 一种点云配准的方法、电子设备和存储介质
CN111523411B (zh) * 2020-04-10 2023-02-28 陕西师范大学 基于语义修补的合成孔径成像方法
US11431952B2 (en) * 2020-05-11 2022-08-30 Sony Interactive Entertainment Inc. User selection of virtual camera location to produce video using synthesized input from multiple cameras
EP4158615A4 (en) 2020-05-29 2023-11-15 Magic Leap, Inc. DETERMINATION OF ANGULAR ACCELERATION
WO2021243098A1 (en) 2020-05-29 2021-12-02 Magic Leap, Inc. Surface appropriate collisions
US11900521B2 (en) 2020-08-17 2024-02-13 LiquidView Corp Virtual window apparatus and system
US11817201B2 (en) 2020-09-08 2023-11-14 Medtronic, Inc. Imaging discovery utility for augmenting clinical image management
WO2022060518A1 (en) * 2020-09-15 2022-03-24 Carnelian Laboratories Llc Head-mountable device and connector
WO2022060555A1 (en) * 2020-09-16 2022-03-24 Sterling Labs Llc Merging computer-generated objects based on extremity tracking data
US20230388690A1 (en) * 2020-09-30 2023-11-30 Magic Leap, lnc. Dual mode ported speaker
DE102020126953B3 (de) * 2020-10-14 2021-12-30 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zum Erfassen einer räumlichen Orientierung einer tragbaren Vorrichtung
US11397956B1 (en) 2020-10-26 2022-07-26 Wells Fargo Bank, N.A. Two way screen mirroring using a smart table
US11572733B1 (en) 2020-10-26 2023-02-07 Wells Fargo Bank, N.A. Smart table with built-in lockers
US11457730B1 (en) 2020-10-26 2022-10-04 Wells Fargo Bank, N.A. Tactile input device for a touch screen
US11429957B1 (en) 2020-10-26 2022-08-30 Wells Fargo Bank, N.A. Smart table assisted financial health
US11740853B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system utilizing extended reality
US11741517B1 (en) 2020-10-26 2023-08-29 Wells Fargo Bank, N.A. Smart table system for document management
US11727483B1 (en) 2020-10-26 2023-08-15 Wells Fargo Bank, N.A. Smart table assisted financial health
CN112417398B (zh) * 2020-11-17 2021-12-14 广州技象科技有限公司 一种基于用户权限的物联网展馆导航方法及装置
CN112527112B (zh) * 2020-12-08 2023-05-02 中国空气动力研究与发展中心计算空气动力研究所 一种多通道沉浸式流场可视化人机交互方法
US11115512B1 (en) * 2020-12-12 2021-09-07 John G. Posa Smartphone cases with integrated electronic binoculars
CN112686973A (zh) * 2020-12-24 2021-04-20 京东方科技集团股份有限公司 图像编辑方法及控制装置、存储介质、计算机设备
US11402634B2 (en) * 2020-12-30 2022-08-02 Facebook Technologies, Llc. Hand-locked rendering of virtual objects in artificial reality
US11543931B2 (en) 2021-01-27 2023-01-03 Ford Global Technologies, Llc Systems and methods for interacting with a tabletop model using a mobile device
DE102021106126A1 (de) * 2021-03-12 2022-09-15 Helmut Fischer GmbH Institut für Elektronik und Messtechnik Verfahren und System zur taktilen Messung, insbesondere Schichtdickenmessung
US20220346598A1 (en) 2021-05-01 2022-11-03 Miso Robotics, Inc. Automated bin system for accepting food items in robotic kitchen workspace
US11625094B2 (en) * 2021-05-04 2023-04-11 Google Llc Eye tracker design for a wearable device
CN113395491A (zh) * 2021-06-11 2021-09-14 上海海事大学 船舶机舱远程监测报警系统
CN113726471B (zh) * 2021-07-20 2024-01-12 西安交通大学 一种智能反射表面辅助型mimo隐蔽通信系统的参数优化方法
CN113780136B (zh) * 2021-08-31 2023-07-14 中国科学技术大学先进技术研究院 基于时空纹理识别的VOCs气体泄漏检测方法、系统及设备
US11740322B2 (en) * 2021-09-10 2023-08-29 Htc Corporation Head mounted display device and position device thereof
CN114363557B (zh) * 2022-03-04 2022-06-24 西安电子科技大学 一种面向语义保真的虚拟会议方法及三维虚拟会议系统
CN114676729B (zh) * 2022-03-28 2023-02-07 清华大学 时分复用信号的分接方法、装置、设备及存储介质
CN114578313B (zh) * 2022-05-09 2022-07-22 中国电子科技集团公司信息科学研究院 基于质心查找的栅格检测镜像消除方法及装置
CN114818519B (zh) * 2022-06-30 2022-10-11 湖南工商大学 预测发泡材料气泡破裂的方法、系统及计算机可读介质
US11877071B1 (en) 2022-09-22 2024-01-16 Apple Inc. Flicker and proximity detection in image sensors with embedded low power readout circuitry
CN116258811B (zh) * 2023-05-08 2023-07-25 北京德风新征程科技股份有限公司 信息发送方法、装置、电子设备和计算机可读介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050166163A1 (en) * 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2008309631A (ja) * 2007-06-14 2008-12-25 Canon Inc 情報処理方法及び情報処理装置
CN101727182A (zh) * 2010-01-28 2010-06-09 南京航空航天大学 头盔式虚拟现实环境中参与者实际手的可视化方法和系统
JP2011227644A (ja) * 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120105473A1 (en) * 2010-10-27 2012-05-03 Avi Bar-Zeev Low-latency fusing of virtual and real content

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6909443B1 (en) * 1999-04-06 2005-06-21 Microsoft Corporation Method and apparatus for providing a three-dimensional task gallery computer interface
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
US6753847B2 (en) 2002-01-25 2004-06-22 Silicon Graphics, Inc. Three dimensional volumetric display input and output configurations
US7337410B2 (en) * 2002-11-06 2008-02-26 Julius Lin Virtual workstation
US7308112B2 (en) 2004-05-14 2007-12-11 Honda Motor Co., Ltd. Sign based human-machine interaction
US8279168B2 (en) 2005-12-09 2012-10-02 Edge 3 Technologies Llc Three-dimensional virtual-touch human-machine interface system and method therefor
JP4765818B2 (ja) 2006-08-02 2011-09-07 住友電装株式会社 電線カバー
US20100066662A1 (en) 2006-10-02 2010-03-18 Pioneer Corporation Image display device
JP4926799B2 (ja) 2006-10-23 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法
US9891435B2 (en) * 2006-11-02 2018-02-13 Sensics, Inc. Apparatus, systems and methods for providing motion tracking using a personal viewing device
US20090040296A1 (en) 2007-08-06 2009-02-12 Moscato Jonathan D Head mounted display assembly
AU2008299883B2 (en) 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
DE112009000094T5 (de) * 2008-01-04 2010-11-11 3M Innovative Properties Co., St. Paul Verfeinerung dreidimensionaler Modelle
US8933876B2 (en) 2010-12-13 2015-01-13 Apple Inc. Three dimensional user interface session control
JP5684577B2 (ja) * 2008-02-27 2015-03-11 ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
DE102008002692B4 (de) 2008-06-26 2019-02-21 Seereal Technologies S.A. Displayeinrichtung zur dreidimensionalen holographischen oder stereoskopischen Darstellung räumlicher Objekte und Verfahren zum Ermitteln einer Apodisationsfunktion für eine Apodisationsmaske
US8520872B2 (en) 2008-08-14 2013-08-27 Samsung Electronics Co., Ltd. Apparatus and method for sound processing in a virtual reality system
US8289288B2 (en) 2009-01-15 2012-10-16 Microsoft Corporation Virtual object adjustment via physical object detection
US10357714B2 (en) * 2009-10-27 2019-07-23 Harmonix Music Systems, Inc. Gesture-based user interface for navigating a menu
JP4900741B2 (ja) * 2010-01-29 2012-03-21 島根県 画像認識装置および操作判定方法並びにプログラム
US8730309B2 (en) 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
KR101735610B1 (ko) * 2010-05-06 2017-05-15 엘지전자 주식회사 영상표시장치의 동작 방법
US9372701B2 (en) * 2010-05-12 2016-06-21 Sony Interactive Entertainment America Llc Management of digital information via a buoyant interface moving in three-dimensional space
US9122307B2 (en) * 2010-09-20 2015-09-01 Kopin Corporation Advanced remote control of host application using motion and voice commands
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9189129B2 (en) * 2011-02-01 2015-11-17 9224-5489 Quebec Inc. Non-homogeneous objects magnification and reduction
JP5785753B2 (ja) 2011-03-25 2015-09-30 京セラ株式会社 電子機器、制御方法および制御プログラム
EP2691935A1 (en) * 2011-03-29 2014-02-05 Qualcomm Incorporated System for the rendering of shared digital interfaces relative to each user's point of view
US8879828B2 (en) 2011-06-29 2014-11-04 Matterport, Inc. Capturing and aligning multiple 3-dimensional scenes
US10824310B2 (en) 2012-12-20 2020-11-03 Sri International Augmented reality virtual personal assistant for external representation
US9092600B2 (en) 2012-11-05 2015-07-28 Microsoft Technology Licensing, Llc User authentication on augmented reality display device
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
CN105209952B (zh) 2013-03-15 2018-08-24 依米有限公司 具有非瞳孔成形光路的头戴式显示器
TW201447375A (zh) 2013-06-13 2014-12-16 Hsiu-Chi Yeh 擴增實境之頭戴式電子裝置及方法
KR102302233B1 (ko) * 2014-05-26 2021-09-14 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US10120413B2 (en) * 2014-09-11 2018-11-06 Interaxon Inc. System and method for enhanced training using a virtual reality environment and bio-signal data
KR20160053462A (ko) * 2014-11-04 2016-05-13 삼성전자주식회사 단말장치 및 그 제어 방법
US10567641B1 (en) * 2015-01-19 2020-02-18 Devon Rueckner Gaze-directed photography
CN105872729A (zh) * 2015-04-21 2016-08-17 乐视致新电子科技(天津)有限公司 识别操作事件的方法和装置
US20170193705A1 (en) * 2015-12-31 2017-07-06 Daqri, Llc Path visualization for motion planning
US10832051B1 (en) * 2016-06-13 2020-11-10 Facebook Technologies, Llc Eye tracking using optical coherence methods
JP6786762B2 (ja) * 2016-08-05 2020-11-18 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像収集部及び距離測定部を有する装置を制御する方法、及び装置
US10409363B1 (en) * 2017-03-07 2019-09-10 vGolf, LLC Mixed-reality golf tracking and simulation
US10325414B2 (en) * 2017-05-08 2019-06-18 Microsoft Technology Licensing, Llc Application of edge effects to 3D virtual objects

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050166163A1 (en) * 2004-01-23 2005-07-28 Chang Nelson L.A. Systems and methods of interfacing with a machine
JP2006209664A (ja) * 2005-01-31 2006-08-10 Canon Inc システム、画像処理装置、情報処理方法
JP2008309631A (ja) * 2007-06-14 2008-12-25 Canon Inc 情報処理方法及び情報処理装置
CN101727182A (zh) * 2010-01-28 2010-06-09 南京航空航天大学 头盔式虚拟现实环境中参与者实际手的可视化方法和系统
JP2011227644A (ja) * 2010-04-19 2011-11-10 Sony Corp 画像処理装置、画像処理方法及びプログラム
US20120105473A1 (en) * 2010-10-27 2012-05-03 Avi Bar-Zeev Low-latency fusing of virtual and real content

Also Published As

Publication number Publication date
US20220083144A1 (en) 2022-03-17
KR20150103723A (ko) 2015-09-11
CN105027190B (zh) 2019-06-21
AU2014204252B2 (en) 2017-12-14
US20200393910A1 (en) 2020-12-17
US20180095541A1 (en) 2018-04-05
US20220253150A1 (en) 2022-08-11
US9720505B2 (en) 2017-08-01
US20140184496A1 (en) 2014-07-03
US11550401B2 (en) 2023-01-10
EP2951811A4 (en) 2016-08-17
CN105027190A (zh) 2015-11-04
WO2014106823A3 (en) 2014-12-11
US10540014B2 (en) 2020-01-21
WO2014106823A2 (en) 2014-07-10
EP2951811A2 (en) 2015-12-09
JP2016509292A (ja) 2016-03-24
AU2014204252A1 (en) 2015-08-06
US20230376121A1 (en) 2023-11-23
US10168791B2 (en) 2019-01-01
CA2896985A1 (en) 2014-07-10
US20190278379A1 (en) 2019-09-12
US20230161418A1 (en) 2023-05-25
US11762478B2 (en) 2023-09-19
US11073916B2 (en) 2021-07-27
US11334171B2 (en) 2022-05-17

Similar Documents

Publication Publication Date Title
US11762478B2 (en) Virtual or augmediated topological sculpting, manipulation, creation, or interaction with devices, objects, materials, or other entities
US20230079929A1 (en) Methods and systems for creating virtual and augmented reality
US11656677B2 (en) Planar waveguide apparatus with diffraction element(s) and system employing same
JP7110252B2 (ja) 仮想および拡張現実を作成する方法およびシステム
US10203762B2 (en) Methods and systems for creating virtual and augmented reality
CN104011788B (zh) 用于增强和虚拟现实的系统和方法
Berkman History of virtual reality
Wang High-Performance Many-Light Rendering
Chiu et al. Continuous circular scribble arts.
Bonner et al. Children, guidebooks, SMS and virtual characters
NZ727637B2 (en) Methods and systems for creating virtual and augmented reality

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190613

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20201020

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210309