JP2020531965A

JP2020531965A - 支援型の拡張現実

Info

Publication number: JP2020531965A
Application number: JP2020508470A
Authority: JP
Inventors: シャイニューマン; モアジルバーマン
Original assignee: Compedia Software And Hardware Development Ltd
Current assignee: Compedia Software And Hardware Development Ltd
Priority date: 2017-08-30
Filing date: 2018-08-28
Publication date: 2020-11-05
Also published as: EP3676805A4; US11386611B2; EP3676805A1; US20210042992A1; WO2019043568A1

Abstract

静的な物理オブジェクトを見るための拡張現実システムは、移動可能ユニットの６次元の絶対位置姿勢を取得するために、静的な追跡ベースステーションからの信号を受信する移動可能なユニットを含む。移動可能ユニットの絶対位置姿勢と、静的な物理オブジェクトの絶対位置姿勢とから、静的な物理オブジェクトに対する移動可能ユニットの相対的な位置姿勢を計算する。オブジェクトに対するユニットのこの相対的な位置姿勢を使用して、拡張された画像をレンダリングして表示する、または仮想オブジェクトを静的な物理オブジェクト上に投影する。【選択図】図３Ａ

Description

本発明は、コンピュータ利用現実（ｃｏｍｐｕｔｅｒ−ｍｅｄｉａｔｅｄｒｅａｌｉｔｙ）に関し、より詳細には、拡張現実（「ＡＲ：ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙ」）に関する。

拡張現実においては、ユーザは、コンピュータによって生成されるコンテンツおよび視覚要素（ｖｉｓｕａｌｓ）（テキスト、グラフィックス、および／またはアニメーションなど）によって拡張された実世界の物理オブジェクトを、拡張現実ビューアを使用して見る。

一般的な拡張現実ビューア（タブレットコンピュータや立体ゴーグルなど）は、見る対象の物理オブジェクトのリアルタイム画像を撮影する背面カメラを有し、撮影された画像を、２つの目的、すなわち、（ｉ）コンピュータによって生成される情報および視覚要素が、適切に、リアルに、および／または見栄え良く物理オブジェクトの上に重ね合わされるように、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な位置姿勢（ｒｅｌａｔｉｖｅｐｏｓｉｔｉｏｎ）を計算する、リアルタイム画像のリアルタイム分析、および（ｉｉ）ゴーグル型以外のビューアの場合に、物理オブジェクトおよびその付近の物理的環境の画像を撮影する目的、に使用する。ゴーグル型以外のビューアの標準的なケースでは、カメラの画像と、コンピュータによって生成される重ね合わされる情報／グラフィックスとが一体化されて画面に提示され、一方で、ゴーグル型ＡＲビューアの標準的なケースでは、コンピュータによって生成される視覚要素のみが、ユーザの両目の前の半透明の画面に投影され、ユーザが見ている現実の上に重ね合わされて現実を拡張する。

場合によっては、物理オブジェクトに対する拡張現実ビューアのリアルタイムの相対的な位置姿勢を導くビューアの能力が、満足のいくものではなく、その理由として例えば、表示される領域に十分な視覚的特徴が含まれず、マークすることができない、またはマークする機能がない、あるいは、物理オブジェクトを扱うユーザの手などによって、視覚的特徴が時折隠れる（ｏｃｃｌｕｄｅｄ）ことがある、あるいは、照明が不十分であるかまたは不安定である、あるいは、視覚ベースの追跡システムとの通信を可能にする通信設備が利用できないためである。

本開示は、拡張現実のシステムおよび方法であって、拡張現実ビューアのカメラおよび追跡システムのデータ通信のいずれにも頼ることなく、物理オブジェクトに対する拡張現実ビューアのリアルタイムの相対的な位置姿勢を導く拡張現実（ＡＲ）ビューアの動作を可能にする、拡張現実のシステムおよび方法、を教示する。

本開示は、拡張現実ビューアの（１つまたは複数の）カメラおよび追跡システムとのデータ通信のいずれにも頼ることなく、見る対象の物理オブジェクトに対する拡張現実ビューアのリアルタイムの相対的な位置姿勢を導く、拡張現実のシステムおよび機能、を提供することを模索する。

「拡張現実ビューア」（または「ＡＲビューア」）とは、物理オブジェクトを見るためにユーザによって使用される装置である。この装置は、画像を表示する画面または立体ゴーグルと、物理オブジェクトの画像を継続的に撮影する背面カメラとを含む。「物理オブジェクト」とは、例えば製造を学習する、訓練する、もしくはガイドを目的として、または娯楽を目的として、ユーザが見ている実世界の品目である。背面カメラ（または「カメラ」）は、ＡＲビューア装置の一部とする、またはＡＲビューア装置に無線または有線で接続されている単独のカメラとすることができる。

物理オブジェクトおよび拡張現実ビューアのカメラのいずれも、固体本体（ｓｏｌｉｄｂｏｄｙ）を有するものと想定され、したがって６次元の空間内位置姿勢（ｓｉｘ−ｄｉｍｅｎｓｉｏｎａｌｐｏｓｉｔｉｏｎｉｎｓｐａｃｅ）を有し、この場合に「位置姿勢」は、６つの座標によって（例えばワールド座標系内の３つの空間座標および３つの角度座標によって）定義可能であり、「ワールド座標系」は、本発明の好ましい実施形態によれば、システムの基準系を追跡することによって定義可能である。少なくとも物理オブジェクトまたは拡張現実ビューアのカメラは、ユーザによって移動させることができ、したがって位置姿勢が動的に変化し、その一方で、いくつかの実施形態では、少なくともユーザが操作している間、これらの一方が静的である（すなわち固定された空間内位置姿勢を有する）ものと想定する。物理オブジェクトは、その物理的外観も変化させうるさまざまな状態を有することがある。

したがって、本発明の好ましい実施形態によれば、物理オブジェクトを見るためにユーザによって操作可能な拡張現実システムであって、ユーザによって使用可能な拡張現実ビューアと、拡張現実（ＡＲ）ビューアが物理オブジェクトまたは拡張現実ビューアのカメラの少なくとも一方の６次元絶対位置姿勢を自律的に計算することを可能にする追跡システムと、ＡＲビューアに属しうる少なくとも１つのプロセッサであって、（ｉ）物理オブジェクトの６次元絶対位置姿勢を取得し、（ｉｉ）拡張現実ビューアのカメラの６次元絶対位置姿勢を取得し、（ｉｉｉ）拡張現実ビューアのカメラの６次元絶対位置姿勢と、物理オブジェクトの６次元絶対位置姿勢とから、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な位置姿勢を計算し、（ｉｖ）物理オブジェクトを拡張するための、仮想オブジェクトの３Ｄモデル、および／または、コンピュータによって生成される他の視覚要素、を取得し、仮想オブジェクトおよび／またはコンピュータによって生成される他の視覚要素によって拡張された物理オブジェクトの画像を、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な位置姿勢に従ってレンダリングし、（ｖ）ユーザによって見えるようにこの画像を拡張現実ビューアに提供する、ようにプログラムされている、少なくとも１つのプロセッサと、を含む、拡張現実システム、を提供する。オプションとして、ＡＲ画像を、人が見ることができるように遠隔の場所に送信してもよく、この人は、動的なＡＲ体験を目的としてカメラを遠隔から操作することもできる。

ＡＲビューアがゴーグル型である場合、カメラ映像からの物理オブジェクトおよび／または環境の画像をレンダリングするステップは必要なく、仮想オブジェクトと、コンピュータによって生成される他の画像のみがレンダリングされて、それに応じてゴーグルに提示される。さらに、このような場合、カメラの位置姿勢ではなく、ユーザの目それぞれの６次元のおよその絶対位置姿勢を計算し、次に物理オブジェクトに対する目それぞれの相対的な位置姿勢を計算し、これにより、ゴーグルのディスプレイそれぞれ（左右の目に１つずつ）に投影される正しい３Ｄモデルおよびコンピュータによって生成される他のグラフィックスを、相対的な位置姿勢に従ってレンダリングすることが可能になる。

物理オブジェクトが静的であり、拡張現実ビューアがユーザによって移動可能である場合、追跡システムは、灯台型の静的な追跡ベースステーション（ｔｒａｃｋｉｎｇｂａｓｅｓｔａｔｉｏｎ）と、追跡ベースステーションから送られる信号を検出することのできるセンサーのアレイを含む追跡機と、を含むことができる。追跡機は、拡張現実（ＡＲ）ビューアがベースステーションおよび他のセンサー（例えば加速度計）から送られる信号を使用してワールド座標系内の６次元位置姿勢を自律的に計算することが可能であるように、拡張現実（ＡＲ）ビューアに取り付けられている、または外部カメラを使用する拡張現実（ＡＲ）ビューアの場合には外部カメラに取り付けられている。本発明においては、例えば灯台型の追跡ベースステーションがアクティブであり、カメラベースではなく、したがってＡＲビューアは、ＡＲビューアまたは単独のカメラに取り付けられている追跡機のセンサーによって検出されるベースステーション信号に基づいて、追加の入力または通信を必要とすることなく、追跡機のデータを使用してワールド座標系内のカメラの６次元位置姿勢を自律的に計算することが可能である。この場合、拡張現実ビューアおよび追跡システムは、例えば次の方法によって物理オブジェクトの６次元絶対位置姿勢を取得するようにさらに動作することができる。この例の場合、物理オブジェクトが「デジタルツイン」を有すると想定し、「デジタルツイン」とは、その表面が物理オブジェクトに正確に合致する３Ｄモデルである。３Ｄモデルの表面上に、同一線上にない少なくとも３つの正確な物理点を定義し、これらは「アンカー（ａｎｃｈｏｒ）」として使用される。各アンカーについて、（ｉ）ＡＲビューアの画面において、３Ｄモデルの表面上の現在のアンカー点のマークと、カメラ映像とをユーザに提示し、（ｉｉ）ユーザに、物理オブジェクトのアンカー点をカメラの視野内に含めて、カメラ映像内で、現在マークされているアンカー点が見える正確な位置姿勢においてＡＲビューアの画面にタッチするように要求し、（ｉｉｉ）次いでユーザに、現在マークされているアンカー点を動かして、今回は別の角度から再びカメラの視野内に入れ、カメラ映像内で、現在マークされているアンカー点が見える正確な位置において画面にもう一度タッチするように要求し、（ｉｖ）両方の繰り返しにおいて、カメラの絶対位置姿勢と、画面に提示されたカメラ映像上でユーザがタッチした点の正確な座標とが既知であるため、ワールド座標系内のカメラの絶対位置からアンカー点に向かう線を計算することができる。カメラのレンズの垂線に対する、物理アンカー点に向かう線の角度は、例えば、カメラ映像画面の中心から、カメラ映像画面上のタッチした座標までの距離と、カメラの既知の視野の比率に基づいて、計算することができ、（ｖ）最も近い２点（上の２本のスキューライン（ｓｋｅｗｌｉｎｅ）それぞれに１つ）を計算し、これら２つの最も近い点を結ぶ線の中心の点を、現在のアンカー点の絶対的な空間内位置の近似として使用する。この計算は、最も近い２点が両方のスキューラインに垂直であることに基づいている。

アンカー点それぞれについて上の計算を繰り返す。これら３つのアンカーの位置が計算されると、それらの位置によって、３Ｄ「デジタルツイン」モデル、したがって対応する物理オブジェクトの６次元の空間内位置姿勢を、追跡システムのワールド座標系内に置くことが可能になる。この計算は、例えば、アンカー点の１つを使用してモデルを配置し、次いで仮想オブジェクトを、すべてのアンカー点がほぼ一致するまで適切な軸を中心に回転させることによって、行うことができる。一致が十分に正確でない場合、上述した方法においてアンカー点のさらなるサンプリングを提供するようにユーザに要求することができる。物理オブジェクトの６次元位置姿勢が計算されたら、物理オブジェクトに、または物理オブジェクトに取り付けられている別のオブジェクトに、追加の追跡機を取り付けて、物理オブジェクトの６次元位置姿勢の変化を識別することができ、これにより、拡張層（ａｕｇｍｅｎｔｅｄｌａｙｅｒ）を供給するためのＡＲビューアの能力を維持しながら物理オブジェクトを動かすことが可能になる。

これに代えて、拡張現実ビューアおよび追跡システムを、上述したアンカー点の絶対位置を別の方法で取得することによって、物理オブジェクトの６次元絶対位置姿勢を取得するようにさらに動作するようにしてもよい。例えば、追跡システムの追跡機における既知の長さの物理的ロッド（既知の位置および既知の向きにある）を既知の位置および既知の向きに調整し、したがってロッド端部の正確な位置が継続的に既知である。次に、３Ｄモデルの表面上の現在のアンカー点のマークを、ＡＲビューアの画面上に提示する。次に、追跡システムのワールド座標内のアンカー点の３次元位置の計算を可能にする目的で、ユーザに、物理オブジェクトの実際の物理的表面上の現在マークされているアンカー点に上記のロッド端部によって触れて、さらに画面にタッチするように、または別の合図を入力するように、またはシステムが安定するまで単に待機して触れたことを伝えるように、要求する。３つのアンカー点の位置が求められると、追跡システムのワールド座標系内の物理オブジェクトの６次元の空間内位置姿勢を、上述した方法を含むさまざまな方法で計算することができる。

拡張現実ビューアのカメラが静的であり、物理オブジェクトがユーザによって移動可能である場合、追跡システムは、静的な追跡ベース（ｔｒａｃｋｉｎｇｂａｓｅ）と、追跡機と、を含むことができ、追跡機は、ＡＲビューアまたはカメラではなく物理オブジェクトに（既知の正確な６次元位置姿勢において）取り付けられており、有線または無線でＡＲビューアと通信し、これにより、追跡機、したがって物理オブジェクトの６次元位置姿勢を、ＡＲビューアによって自律的に計算することが可能になる。この場合、拡張現実ビューアは、上記のプロセスを反対に実行し、ＡＲビューアではなく物理オブジェクトを動かして、カメラ映像内の画面上で追跡機の位置姿勢を識別することによって、拡張現実ビューアのカメラの６次元絶対位置姿勢を取得し、それに応じて計算を調整するように、さらに動作可能とすることができる。またはこれに代えて、物理オブジェクトに取り付けられている追跡機を使用して、ＡＲビューア上のアンカー点（このうちの１つは好ましくは背面カメラである）、またはカメラの収容ケース（外部カメラの場合）上のアンカー点（アンカー点の１つは好ましくはカメラである）の位置を正確に求め、追跡システムのワールド座標内のＡＲビューアのカメラの６次元位置姿勢を計算する。

拡張現実ビューアおよび物理オブジェクトの両方が移動可能である場合には、追跡システムは、静的な追跡ベースと、正確な既知の６次元位置において物理オブジェクトに取り付けられているオブジェクト追跡機と、を含むことができ、オブジェクト追跡機は、追跡ベースの信号を使用して、拡張現実ビューアに取り付けられている追跡機の位置姿勢も求める。

システムの動作に関連付けられる計算は、拡張現実ビューアのマイクロプロセッサによって実行することができ、場合によっては、リアルタイム計算に適する別の計算装置のプロセッサによってさらに補足する。追跡機は、カスタムメイドとする、または灯台型の追跡ベースステーションと一緒に販売されている市販の追跡機とすることができる。

本開示の態様によれば、拡張現実システムであって、信号を送る静的な追跡ベースステーションと、静的な物理オブジェクトを拡張するための、ユーザによって操作可能な移動可能ユニットと、を含む、拡張現実システム、を提供する。移動可能ユニットは、静的な追跡ベースステーションによって送られる信号を受信する追跡機と、静的な物理オブジェクトのリアルタイム画像を撮影するカメラと、静的な物理オブジェクトの拡張された画像を表示するビューアと、少なくとも１つのプロセッサであって、（ｉ）静的な物理オブジェクトの６次元絶対位置姿勢を取得し、（ｉｉ）追跡機によって受信された信号から、カメラの６次元絶対位置姿勢を計算し、（ｉｉｉ）カメラの６次元絶対位置姿勢と、静的な物理オブジェクトの６次元絶対位置姿勢とから、静的な物理オブジェクトに対するカメラの相対的な位置姿勢を計算し、（ｉｖ）静的な物理オブジェクトを拡張するための仮想オブジェクトのモデルを受信し、（ｖ）仮想オブジェクトによって拡張された、カメラから受信された静的な物理オブジェクトの画像を、静的な物理オブジェクトに対するカメラの相対的な位置姿勢に従ってレンダリングし、（ｖｉ）レンダリングされた画像をビューアに表示する、ようにプログラムされている、少なくとも１つのプロセッサと、を含む。ビューアは、画面、またはウェアラブル型の拡張現実ゴーグルを含むことができる。上の拡張現実システムにおいては、静的な追跡ベースステーションは、少なくとも１つの灯台型装置（ｌｉｇｈｔｈｏｕｓｅ）を含むことができる。さらに、上の拡張現実システムにおいては、静的な物理オブジェクトの６次元絶対位置姿勢を取得するステップは、ユーザ入力を受信して処理するステップを含むことができる。

別の態様によれば、拡張現実システムであって、信号を送る静的な追跡ベースステーションと、静的な物理オブジェクトを拡張するための、ユーザによって操作可能な移動可能ユニットと、を含み、移動可能ユニットが、静的な追跡ベースステーションによって送られる信号を受信する追跡機と、静的な物理オブジェクト上に投影するプロジェクタと、少なくとも１つのプロセッサであって、（ｉ）静的な物理オブジェクトの６次元絶対位置姿勢を取得し、（ｉｉ）追跡機によって受信された信号から、プロジェクタの６次元絶対位置姿勢を計算し、（ｉｉｉ）プロジェクタの６次元絶対位置姿勢と、静的な物理オブジェクトの６次元絶対位置姿勢とから、静的な物理オブジェクトに対するプロジェクタの相対的な位置姿勢を計算し、（ｉｖ）静的な物理オブジェクト上に投影するための仮想オブジェクトのモデルを受信し、（ｖ）仮想オブジェクトの画像を、静的な物理オブジェクトに対するプロジェクタの相対的な位置姿勢に従ってレンダリングし、（ｖｉ）レンダリングされた画像を静的な物理オブジェクト上に投影する、ようにプログラムされている、少なくとも１つのプロセッサと、を含む、拡張現実システム、を提供する。静的な追跡ベースステーションは、少なくとも１つの灯台型装置を含むことができる。さらに、静的な物理オブジェクトの６次元絶対位置姿勢を取得するステップは、ユーザ入力を受信して処理するステップを含むことができる。

別の態様によれば、拡張現実の方法であって、静的な物理オブジェクトの６次元絶対位置姿勢を取得するステップと、プロジェクタを含む移動可能ユニットにおいて、静的な追跡ベースステーションからの信号を受信するステップと、受信された信号から、プロジェクタの６次元絶対位置姿勢を計算するステップと、プロジェクタの６次元絶対位置姿勢と、静的な物理オブジェクトの取得された６次元絶対位置姿勢とから、静的な物理オブジェクトに対するプロジェクタの相対的な位置姿勢を計算するステップと、静的な物理オブジェクト上に投影するための仮想オブジェクトのモデルを受信するステップと、仮想オブジェクトの画像を、静的な物理オブジェクトに対するプロジェクタの相対的な位置姿勢に従ってレンダリングするステップと、レンダリングされた画像を静的な物理オブジェクト上に投影するステップと、を含む、拡張現実の方法、を提供する。上の拡張現実の方法においては、静的な物理オブジェクトの６次元絶対位置姿勢を取得するステップは、ユーザ入力を受信して処理するステップを含むことができる。

拡張現実のコンセプトを示す図拡張現実のコンセプトを示す図拡張現実のコンセプトを示す図標準的なユースケースを示す図別のタイプの追跡システムを示す図シナリオ３００を絵で表した図図３Ａのシナリオ３００下でのシステムの動作を示す図図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを示す図図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを示す図図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを示す図図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを示す図図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを示す図拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示す図拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示す図拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示す図拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示す図拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示す図物理オブジェクトおよび拡張現実ビューアの両方がユーザによって移動可能であり、したがって両方が追跡機を装備している実施形態におけるシステムの動作を示す図複数の異なるタイプのＡＲビューアのカメラを示す図別のユースケースを示す図ウェアラブルデバイスに関連して本発明をどのように使用するかを示す図

［背景技術の要約］

［拡張現実］
図１Ａ〜図１Ｃは、拡張現実のコンセプトを示している。図１Ａは、コーヒーメーカー１００などの物理オブジェクトを示しており、コーヒーメーカー１００は、いくつかのボタンと、カップを置くための基台とを有する。架空の未体験ユーザは、これらのボタンの機能と基台の役割に精通しておらず、コーヒーメーカー１００をユーザに紹介するために拡張現実が呼び出される。

図１Ｂは、図１Ａのコーヒーメーカー１００の前にいるユーザによって保持されているタブレットコンピュータ１１０を示している。タブレットコンピュータ１１０は、コーヒーメーカーの現在の画像を撮影する背面カメラ（図示していない）と、カメラによって撮影されたコーヒーメーカーの写真１２４Ｂを画面１２０に表示するプロセッサ（図示していない）とを有する。プロセッサは、ボタンの機能を説明する引き出し線（ｐｏｉｎｔｅｒ）およびテキストと、カップをどこに置くかを示すための点線で描かれた架空のカップ１３２Ｂ（引き出し線およびテキストによって補足されている）とを加えることによって、表示されている写真をさらに拡張する。

次にユーザは自分の左側にタブレットコンピュータ１１０を動かし、すると図１Ｃに示したように、画面上の写真が、新しい視点および視野に従って変化する。コーヒーメーカーの写真１２４Ｃは、タブレットコンピュータ１１０の背面カメラによって現在撮影されており、一方で拡張現実層（引き出し線およびテキスト１２８Ｃならびに架空のカップ１３２Ｃから構成される）は、コーヒーメーカーに対するタブレットコンピュータのカメラの現在の相対的な６次元位置姿勢に従って、自動的に調整される。拡張現実の技術分野において公知であるように、通常では、コーヒーメーカーに対するタブレットコンピュータ１１０のカメラ（図示していない）の相対的な位置姿勢が、撮影された画像の画像処理を通じてタブレットコンピュータ１１０のプロセッサによって分析され、この画像処理は、撮影された画像内のコーヒーメーカーの選択された視覚的特徴の現在のビットマップ位置を識別および分析することによる。

したがって、拡張現実の現在の技術には、（ａ）拡張現実層のモデル（本例においては、加えられた引き出し線、テキスト、および架空のカップ）を入力する、（ｂ）見る対象のオブジェクトに対する拡張現実ビューアの相対的な位置姿勢を導く、（ｃ）拡張現実層の要素（本例においては、引き出し線、テキスト、および架空のカップ）が、適切に（例：正しいボタンを指している）、リアルに（架空のカップがあらゆる視点から３次元オブジェクトとして提示される）、かつ見栄え良く（例：好ましくは空いたスペースにテキストが表示される）現れるように、拡張された写真（拡現在撮影されており拡張現実層が重ね合わされた画像を示す）をレンダリングする、ための知識、アルゴリズム、およびソフトウェアライブラリ、が含まれる。

［非視覚的な追跡システム］
本開示の文脈において、「非視覚的な追跡システム（ｎｏｎ−ｖｉｓｕａｌｔｒａｃｋｉｎｇｓｙｓｔｅｍ）」とは、カメラおよび画像処理に頼らずにオブジェクトの位置姿勢を求めるシステムである。特に対象となるのは、１つまたは複数の追跡ステーションの静的な追跡ベースを有するシステムであり、追跡ベースは、移動可能オブジェクトそれぞれの現在の絶対位置姿勢を正確に求める自律的な計算を可能にする目的で、対象の移動可能オブジェクトに取り付けられている追跡機のセンサーによって捕捉される信号を送るための灯台型装置として使用される。語「静的な（ｓｔａｔｉｃ）」は、追跡動作全体を通じて同じ位置姿勢にとどまるものと想定される要素に関連し、その一方で、「移動可能な（ｍｏｖａｂｌｅ）」は、ユーザによって動かされることが予期され、その現在の位置姿勢を取得する目的で追跡を必要とする要素に関連する。

図２Ａは標準的なユースケースを描いており、この場合、ベースステーション２１０は、センサー２３０によって捕捉される同期された信号を送るための灯台型装置として使用され、センサー２３０により、６つの次元すべてにおいて仮想現実ヘッドセット２２０の位置姿勢を求めることが可能になる。類似する技術を使用するシステムは、２０１７年の時点で世界で最も一般的なＶＲヘッドセットの１つであるＨＴＣＶＩＶＥであり、ＨＴＣＶＩＶＥは数百万人のユーザを持ち、台湾を本拠地とするＨＴＣ社によって製造されている。視覚ベースである別の一般的なシステム（図示していない）も存在しており、移動可能オブジェクトに取り付けられている視覚的追跡機をカメラを使用して追跡することで、移動可能オブジェクトの位置姿勢を計算してそれを伝えることを可能にしている。このような視覚ベースのシステムでは、追跡システムとＡＲビューアとの間にデータ通信が存在しなければならず、したがって例えばＡＲビューアによる位置姿勢の自律的な計算を可能にすることはできない。灯台型装置の信号を識別するセンサーは、「追跡機」装置に統合することもでき、「追跡機（ｔｒａｃｋｅｒ）」装置の位置姿勢が、センサーが灯台型装置から受信した信号に基づいて計算される。

図２Ｂは、別のタイプの追跡システムを描いている。この場合、ベースステーション（２４０Ｚ，２４０Ｙ，２４０Ｘ）は（例えばＵＷＢ周波数における）ＲＦ信号を送り、これらの信号がシステムの追跡機２６０によって検出され、ベースステーションから受信された信号に基づいて追跡機２６０の位置姿勢が計算される。この場合、追跡システムを使用して、タブレット２５０に提示される位置ベースの情報を供給する。この技術に基づくシステムは、例えばＣｉｈｏｌａｓ社（３７００ＢｅｌｌＲｏａｄ，Ｎｅｗｂｕｒｇｈ，ＩＮ４７６３０）によって提供されている。このようなシステムは視覚ベースではなく、位置姿勢の自律的な計算が可能であるが、高品質のＡＲ用には計算は十分に正確ではなく、向きを計算するためのさらなるセンサーを必要とする。

［静的な物理オブジェクトおよび移動可能ビューアを有するシステム］

［システムのレイアウト］
図３Ａは、シナリオ３００を絵で表した図解であり、物理オブジェクト３１０はコーヒーメーカーとして具体化されている。物理オブジェクト３１０は静的であり、すなわちシナリオ３００の実施形態の動作全体を通じて同じ位置姿勢にとどまるものと想定される。ユーザは、第１の位置姿勢３３０Ａにおいて拡張現実ビューア（タブレットコンピュータなど）を保持して、カメラ映像画像３３８Ａを見ており、この画像３３８Ａは、拡張現実ビューアの背面カメラ（図示していない）によって現在撮影されている物理オブジェクト３１０を、図１Ｂの教示内容と同様にテキストおよびグラフィックスによって拡張された状態で示しており、ただし異なる点として、物理オブジェクト３１０に対する第１の位置姿勢３３０Ａにおける拡張現実ビューアのカメラの相対的な位置姿勢は、写真３３８Ａの画像処理または他の画像処理によって求められるのではなく、後から図３Ｂを参照しながらさらに詳しく説明するように、静的な追跡ベース３２０からの信号を使用する、拡張現実ビューアに取り付けられている追跡機３３４を使用して、背面カメラ（図示していない）の位置姿勢を自律的に計算することによって、求められる。

次にユーザは、拡張現実ビューアを第２の位置姿勢３３０Ｂに動かし、これによりカメラ映像写真３３８Ｂは、拡張現実ビューアの背面カメラによって現在撮影されている物理オブジェクト３１０を、図１Ｃの教示内容と同様にテキストおよびグラフィックスによって拡張された状態で示し、ただし異なる点として、物理オブジェクト３１０に対する第２の位置姿勢３３０Ｂにおける拡張現実ビューアのカメラの相対的な位置姿勢は、写真３３８Ｂの画像処理によって求められるのではなく、後から図３Ｂを参照しながらさらに詳しく説明するように、静的な追跡ベース３２０からの信号を使用する、拡張現実ビューアに取り付けられている追跡機３３４を使用して、背面カメラ（図示していない）の位置姿勢を自律的に計算することによって、求められる。

シナリオ３００は、追跡ステーション３２０の１つまたは複数基によって送られる追跡信号に基づいて、絶対位置姿勢および相対的な位置姿勢を継続的に計算するステップを含む。追跡ベースステーション３２０のみが信号を送り、これらの信号が追跡機３３４におけるセンサーによって捕捉される。このような計算は、拡張現実ビューアのプロセッサによって行うことができる。

［動作］
以下の動作は、拡張現実ビューアのプロセッサ、および／または、リアルタイム計算をサポートするためにオプションとして追加される別のコンピュータのプロセッサ、によって実行される。

図３Ｂは、図３Ａのシナリオ３００下でのシステムの動作を描いており、このシナリオでは物理オブジェクト３１０は固定された位置姿勢にある。ステップ３５１においては、例えば３つの方法、すなわち、（ａ）物理オブジェクト３１０は静的であるため、その位置姿勢を前もって求めて記録しておくことができ、動作時にそれをメモリから単に取り出す、（ｂ）従来の任意の位置姿勢測定システムを採用して、物理オブジェクト３１０の位置姿勢を測定する、（ｃ）図４Ａ〜図４Ｅなどの方法を使用する、のうちの１つによって、物理オブジェクト３１０の位置姿勢を求める。ステップ３５５においては、図３Ａの追跡機３３４および追跡ベース３２０ならびにプロセッサを使用して、例えば図２Ａまたは図２Ｂの背景技術の教示内容に従って、その一方でＡＲビューアのカメラ（図示していない）と追跡機３３４との間の６次元のオフセットを考慮に入れて、拡張現実ビューアのカメラの現在の絶対位置姿勢を取得する。ステップ３５９においては、ステップ３５１において取得した物理オブジェクトの絶対位置姿勢と、ステップ３５５において取得した拡張現実ビューアの絶対位置姿勢とを使用して、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な６次元位置姿勢を求める。ステップ３６３においては、拡張現実ビューアのカメラが、その視野内に物理オブジェクトを有する画像を撮影する。ステップ３６５においては、仮想オブジェクトのモデル（図２Ｂ＋図２Ｃの引き出し線、テキスト、およびカップの３次元モデルなど）をメモリから取り出し、ステップ３６７においては、レンダリングされた仮想オブジェクトによって拡張された物理オブジェクトの画像を、図１Ａ〜図１Ｃを参照しながら説明したように物理オブジェクトに対する拡張現実ビューアのカメラの現在の相対的な位置姿勢に従ってレンダリングする。このような仮想オブジェクトのレンダリングは、拡張現実の技術分野において公知の方法によって、例えばＵｎｉｔｙ３Ｄなどの３Ｄエンジンを使用することによって行い、このような３Ｄエンジンは、例えば仮想オブジェクトおよび仮想カメラを、同じワールド座標系内である、それらの上記の取得された６次元位置姿勢において配置し、次いで仮想カメラによってレンダリングされた画像を撮影することを可能にする。この場合、正確な拡張現実を可能にするため、仮想カメラもＡＲビューアのカメラと同じ射影行列（ｐｒｏｊｅｃｔｉｏｎｍａｔｒｉｘ）を使用するべきである。ステップ３７１においては、ステップ３６７においてレンダリングされた画像を、ユーザによって見えるように拡張現実ビューアの画面に提供する。ユーザが引き続きビューアを操作する（場合によっては例えば図３Ａにおける位置姿勢３３０Ａから位置姿勢３３０Ｂにビューアを動かす）場合、ステップ３７５において、プロセスはステップ３５５に戻り、拡張現実ビューアの現在の絶対位置姿勢を取得し、ステップ３７１において、現在の視点からの別の写真を提供する。

［静的なオブジェクトの絶対位置姿勢を求める］
図４Ａ〜図４Ｃは、図３Ａのような設備を使用して、図３Ｂのステップ３５１において物理オブジェクト３１０の絶対位置姿勢を取得するプロセスを説明している。

図４Ａは、ＡＲビューアを描いており、この場合には、背面カメラ（図示していない）と、背面カメラ（図示していない）の位置姿勢を求めることを可能にする追跡機４０４とを有するタブレット４００である。画面は２つの部分に分割されており、左側は、背面カメラ（図示していない）によって供給されるカメラ映像４２０Ｃであり、物理的なコーヒーメーカーのビューを示しており、右側は、コンピュータによって生成されるグラフィックス４２０Ｍであり、同じタイプのコーヒーメーカーの３Ｄモデルのレンダリングされた画像４０８が見える。仮想３Ｄモデル４０８の表面には、同一線上にない３つのアンカー点（４１０Ｘ，４１０Ｙ，４１０Ｚ）が定義されてマークされている。

図４Ｂでは、カメラ映像セクション４２０Ｃ上で、ユーザに、自身がアンカー点４１０Ｈを認識する正確な位置４１０Ｔにおいて画面にタッチするように要求する。ユーザは点４１０Ｔにおいて画面にタッチし、さらにユーザに、物理オブジェクト（コーヒーメーカー）上のこのアンカー点を別の角度から動かして表示させ、プロセスを繰り返すように要求する。各アンカー点について、この動作を繰り返す。カメラ映像４２０Ｃのフレーム内のタッチした点４１０ＴのＸピクセル座標およびＹピクセル座標から、カメラ映像４２０Ｃのフレームの中心４３０のＸピクセル座標およびＹピクセル座標を減じて、デルタＸ４４２およびデルタＹ４４１（正または負であり得る）を求め、これらをカメラ映像４２０Ｃのフレームのピクセル幅およびピクセル長さでそれぞれ除して比率を設定し、この比率は、背面カメラ（図示していない）の視野を乗じたときに、背面カメラから物理オブジェクト上の物理的アンカー点に向かう線の、カメラのレンズの垂線に対する相対的な角度を定義する。この場合、背面カメラ（図示していない）の６次元位置姿勢を、追跡機４０４の６次元位置姿勢に基づき、これらの間の事前定義される６次元のオフセットを使用して計算することができるため、垂線と、カメラのレンズから物理オブジェクト上のアンカー点に向かう線とを導くことができる。

このユースケースでは、物理オブジェクトの十分に正確な３Ｄモデルが存在するものと想定する。ステップ４５１においては、視野内に物理オブジェクトを有するカメラ映像と、画面の他方のセクションにおける物理オブジェクトのレンダリングされた３Ｄモデルの両方をビューアに表示し、３Ｄモデルの表面上には、同一線上にない少なくとも３つのアンカー点を明瞭に識別することができる。

ステップ４５５においては、３Ｄモデル上で現在のアンカー点を強調表示し、ユーザに、画面のカメラ映像セクションにおいて、物理オブジェクト上の対応するアンカー点が見える各点にタッチするように要求する。

ユーザが画面にタッチしたら、示された点の２Ｄスクリーン座標と、ＡＲビューアのカメラから既知の６次元のオフセットにある現在の追跡機の位置姿勢から導かれる、ＡＲビューアのカメラの現在の６次元位置姿勢とを、一緒に記録する（ステップ４５９）。なお、画面上の点は、タッチによってのみならず、別の方法によって（例えばマウスによって）示すこともできることに留意されたい。

ステップ４６１においては、ユーザに、別の角度から物理オブジェクトを動かして表示させ、ステップ４５５の動作を繰り返すように要求する。ステップ４５９と同様に、新しいタッチ点の２Ｄ座標と、ＡＲビューアのカメラの現在の位置姿勢とを記録する。

ステップ４６３においては、すべてのアンカー点が少なくとも２つの異なる角度から記録されているかをチェックし、記録されている場合には次のステップに続き、記録されていない場合には次のアンカー点についてステップ４５５〜ステップ４６３を繰り返す。

ステップ４６７においては、記録された２Ｄスクリーン座標とＡＲビューアのカメラの位置姿勢とから、以下に説明するように物理オブジェクトの６次元位置姿勢を計算する。

記録された各「タッチ」は、記録されたカメラの絶対位置姿勢から、現実世界におけるアンカー点に向かう線を定義する。これが可能であるのは、カメラの６次元位置姿勢が既知であり、これとともに、画面上のカメラ映像の既知の２Ｄ座標に対する、画面上の記録されたタッチ点の２Ｄ座標の比率と、カメラの視野とが既知であるためであり、これにより線の方向を計算することが可能になる。さらに詳しい説明は、図４Ｂの説明の一部として記載してある。

各アンカー点について、そのアンカー点に関連付けられる２本のスキューラインを定義することを可能にする少なくとも２本の線を、上述したように計算する。次に、スキューライン上の最も近い２点を計算し、これら最も近い２点を結ぶ線の中心にある点を、物理空間内のアンカー点の実際の位置の近似として定義する。すべての座標は、追跡システムのワールド座標系に従う。精度を改善するために、このプロセスをさらに繰り返すことができる。少なくとも３つのアンカー点の位置が計算されると、これらによって、物理オブジェクトの３Ｄモデル、したがって対応する物理オブジェクトの６次元の空間内位置姿勢を、追跡システムのワールド座標系内に置くことが可能になる。この計算は、いくつかの公知の方法で行うことができ、例えば反復的な回転を使用し、すなわち物理オブジェクトの３Ｄモデルを、アンカー点の１つが追跡システムのワールド座標系におけるそのアンカー点の以前に計算された近似位置にすでに一致した状態で配置し、次いでその３Ｄモデルを、アンカー点１を旋回中心として使用してワールド座標系の３本の軸（Ｘ，Ｙ，Ｚ）の周りに軸ごとに回転させ、各軸において仮想モデル上のアンカー点２がアンカー点２の物理的な近似位置に最も近いときに回転を止める。このプロセスの終了時、アンカー点１およびアンカー点２の両方が、追跡システムのワールド座標系内で前に計算されたそれぞれの物理的位置の近くに配置されている。次に、アンカー点１とアンカー点２を結ぶ線の軸を使用して、モデル上のアンカー点３がその物理的座標に最も近くなるまで、その軸の周りにモデルを回転させる。一致が十分に正確ではない場合、説明した方法の１つにおいて物理オブジェクト上のアンカー点のさらなるサンプリングを供給するように、ユーザに要求することもできる。既知のアンカー点の位置から物理オブジェクトの位置を計算するための別の標準的な方法では、ＳＶＤ分解（ＳＶＤｄｅｃｏｍｐｏｓｉｔｉｏｎ）を使用することができる。ステップ４７１においては、拡張現実を可能にする目的で、物理オブジェクトの計算された６次元位置姿勢を記録する。

アンカー点を使用せずに物理オブジェクトの位置姿勢を計算するための代替方法としては、物理オブジェクトがカメラ映像内に見える状態になるようにユーザに要求し、ユーザの正面の物理オブジェクトの３Ｄ仮想モデルを、ＡＲ層として任意の位置姿勢において提示し、３Ｄモデルの仮想グラフィックスが物理オブジェクトと互いに整列するまで、ユーザに、すべての次元においてオブジェクトを動かして回転させる。３Ｄモデルの仮想グラフィックスと物理オブジェクトとが互いに整列すると、物理オブジェクトの位置姿勢は、仮想オブジェクトの位置姿勢と実際に同じであり、なぜならこれらは同じワールド座標系内で操作されて、仮想カメラが実際のカメラの位置姿勢に配置されるためである。１つまたは２つのアンカー点のみが既知である場合にも、類似する方法を使用することができる。このような場合、ユーザは、仮想３Ｄモデルが物理オブジェクトに視覚的に整列するまで、アンカー点としての１つの点を使用して、または２つのアンカー点の場合には軸の周りに、仮想３Ｄモデルを回転させることによって、物理オブジェクトの仮想３Ｄモデルを操作することができる。

物理オブジェクトの６次元位置姿勢が計算されたら、物理オブジェクトに、または物理オブジェクトにしっかりと取り付けられている任意の別のオブジェクト（物理オブジェクトが乗っている受け台など）に、追跡機を取り付けることができ、したがって物理オブジェクトの６次元位置姿勢の変化を識別し、これにより物理オブジェクトを、その物理的位置を認識しながら動かすことが可能になり、ＡＲビューアが機能して拡張層を供給する能力が維持される。

図４Ｄは、３Ｄ空間内のオブジェクトの位置、具体的には物理空間内の強調表示されたアンカー点４４０Ｚの位置を定義する別の方法の実例を示している。強調表示されたアンカー点４４０Ｚの物理的位置に、追跡機のポインタ（例えば円錐部４３６の端部）で触れるように、ユーザに要求する。追跡機のポインタは、例えばロッドまたは円錐部４３６のように追跡機に対して調整されており、既知の長さであり、追跡機の上に既知の６次元位置姿勢において配置されている。例えば、既知の長さの物理的円錐部４３６を、追跡システムの追跡機の上に既知の位置および向きに調整することにより、円錐部４３６の端部の正確な位置を継続的に認識することが可能になる。したがって、ＡＲビューアの画面上に現在のアンカー点４４０Ｚのマークを提示し、ユーザに、物理オブジェクトの実際の物理的表面上の同じ点に円錐部４３６の端部で物理的に触れて、さらに画面にタッチする、または別の合図を行うように要求し、これにより、追跡システムのワールド座標系内でのアンカー点のこの物理的位置の３次元位置を計算することが可能になる。３つのアンカー点の位置が求められたら、追跡システムのワールド座標系内の物理オブジェクトの６次元の空間内位置姿勢を、上述したように計算することができる。

ステップ４８１においては、強調表示された現在のアンカーを画面に提示し、ユーザに、物理オブジェクト上のこの点に追跡機のポインタ（円錐部）の端部で触れて、実行したら合図するように要求する。合図は、ＡＲビューアの画面にタッチすることによって、または音声命令によって、または任意の別の方法によって、行うことができる。

ステップ４８５においては、ユーザの合図を受信したら、追跡機の現在の位置姿勢を取り出し、ポインタ端部の３次元の空間内位置を計算する。この計算を行うことができるのは、調整の長さおよび正確な位置姿勢が事前定義されているため、追跡機に対する追跡機のポインタの端部の相対的な位置が既知であるためである。これは、ポインタ端部の位置を測定してそれを現在の追跡機の位置姿勢と比較するために使用することのできる別の追跡機のポインタによって、計算することもできる。

ステップ４８５においては、計算されたポインタ端部の位置を、以降に使用できるように記録する。

［静的なビューアおよび移動可能オブジェクトを有するシステム］

［システムのレイアウト］
図５Ａ〜図５Ｄは、拡張現実ビューアが静的であり、その一方で、検査される物理オブジェクトが移動可能であるシナリオを示している。図５Ａは、静的な拡張現実ビューアを介して表示される物理オブジェクトを表している靴５１０を描いている。ユーザは、静的なビューアのカメラの視野内で、靴を手にとって自由に動かしたり操作することが予期され、しばしば靴の一部が恣意的に隠れることにより、拡張現実ビューアのカメラを介しての靴の視覚的特徴の従来の追跡の信頼性は低い。したがって、図３Ａの設備などの設備の中で靴５１０の絶対位置姿勢の継続的な追跡を可能にするために、靴に追跡機５１２が、この移動するオブジェクト上の既知の６次元位置姿勢にしっかりと固定されている。位置姿勢を求める別の方法としては、移動可能な物理オブジェクトを、動かすことなく静的な位置姿勢に配置し、最初にこのオブジェクトを、図４Ａ〜図４Ｅに説明した方法に類似する方法または別の方法によって（場合によってはこの段階で静的なＡＲビューアに追跡機が配置された状態で）位置姿勢を求め、位置姿勢を求めたら、この移動可能な物理オブジェクトに追跡機を配置し（すでに取り付けられていない場合）、次いでシステムに合図する。完了すると、移動可能オブジェクト（この場合には靴５１０）を再び動かすことができ、靴５１０の位置姿勢が変化すると追跡機５１２の位置姿勢も同じように変化し、この変化が検出され、したがって靴５１０の新しい位置姿勢も取得することが可能になる。

図５Ｂは、１つまたは複数の支持部５２４（従来の任意の固定装置である）によって固定の位置姿勢に静的に維持されている拡張現実ビューア５１４を描いている。靴５１０を手にしているユーザは、画面５１８上で写真５２０を見るが、この写真５２０は、拡張現実ビューア５１４のカメラ（図示していない）によって現在撮影されている靴および手と、仮想オブジェクト５２８の層（この例では、靴のさまざまな部分の名称を示す引き出し線およびテキストによって具体化されている）とを示している。図５Ｃは代替の実施形態５３０を描いており、この実施形態では、拡張現実の論理によって、透けて見える機能が提供され、したがって、前にカメラによって撮影されていたが現在は手によって隠れている靴の部分が、手の上に点線で示されるが、図５Ｂの代替方法ではこれらの部分は示されない。手の位置姿勢は、カメラ映像の視覚的分析によって、または手の検出および追跡に特化されている専用アクセサリ（例えばＬｅａｐＭｏｔｉｏｎ（登録商標）（図示していない））によって、計算することができ、専用アクセサリは、ＡＲビューアに対して調整されており、センサーとＡＲビューアのカメラとの間のオフセットおよびそれらの視野が与えられると、手によって覆われている２Ｄ画面上の領域の計算を可能にする。手を検出するセンサーとＡＲビューアのカメラとの間の位置姿勢のオフセットが固定されているか既知である限りは、ＡＲビューアが動く場合にも同じ方法を適用することができる。

図５Ｄは、靴５３８と、拡張現実ビューア５４２の画面上のその拡張現実写真５４６の両方を含むシナリオ５３４を示している。追跡機５１２は、有線または無線でＡＲビューアに接続することができる。

図５Ｅは、図５Ｄの実施形態のシステムの動作を描いており、この場合、拡張現実ビューア５４２は固定された位置姿勢にある。ステップ５５１においては、拡張現実ビューアのカメラ５４２の６次元位置姿勢を、例えば３つの方法、すなわち、（ａ）拡張現実ビューア５４２は静的であるため、その位置姿勢を前もって求めて記録しておくことができ、動作時にそれをメモリから単に取り出す、（ｂ）従来の任意の位置姿勢測定システムを採用して、拡張現実ビューア５４２の位置姿勢を測定する、（ｃ）追跡機のポインタを使用するなどの方法、またはアンカー点を識別するために使用される方法に類似する別の方法を反対に適用する（したがってＡＲビューアではなく物理オブジェクトが動く）、のうちの１つによって、取得する。ステップ５５５においては、ＡＲビューアが、追跡機５１２および対応する追跡ベース（図３Ａの追跡ベース３２０など）を使用して、例えば図２Ａまたは図２Ｂの背景技術の教示内容に従って、追跡機の現在の絶対位置姿勢を取得し、既知の６次元のオフセットから、物理オブジェクト（靴５３８）の６次元位置姿勢を導く。ステップ５５９においては、ステップ５５５において取得した物理オブジェクトの絶対位置姿勢と、ステップ５５１において取得した拡張現実ビューアのカメラの絶対位置姿勢とを使用して、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な位置姿勢を求める。ステップ５６３においては、拡張現実ビューアのカメラによって、物理オブジェクトの画像を撮影する。ステップ５６５においては、仮想オブジェクトのモデル（図５Ｂ＋図５Ｃの引き出し線およびテキストなど）をメモリから取り出し、ステップ５６７においては、ステップ５５９において計算した物理オブジェクトに対する拡張現実ビューアのカメラの現在の相対的な位置姿勢に従って、仮想オブジェクトによって拡張された物理オブジェクトの画像をレンダリングする。このようなレンダリングおよび関連する計算は、図１Ａ〜図１Ｃ、図３Ａ〜図３Ｂ、および図４Ａ〜図４Ｅを参照しながらも説明した、拡張現実の技術分野において公知の方法によって行う。オプションのステップ５６９においては、カメラ映像の視覚的分析を使用することによって、または手を検出および追跡するための上述した専用アクセサリ、またはオブジェクトおよびその位置姿勢を識別するために使用される別の公知の方法を使用することによって、ユーザの手または別の識別されるオブジェクトによって現在隠れている物理オブジェクトの特徴に関連する仮想オブジェクトの要素を、レンダリングされた画像から選択的に排除する。ステップ５７１においては、ステップ５６７およびオプションのステップ５６９においてレンダリングされた画像を、ユーザによって見えるように拡張現実ビューアの画面に提供する。ユーザが引き続きビューアを操作する（場合によっては物理オブジェクト（靴５３８）を動かす）場合、プロセスはステップ５７５からステップ５５５に戻り、ステップ５７１において、現在の視点からの別の写真を提供する。

［移動可能ビューアおよび移動可能オブジェクトを有するシステム］
図３Ａおよび図３Ｂは、静的な物理オブジェクトおよび移動可能な拡張現実ビューアのシナリオに関連していた。図５Ａ〜図５Ｄは、移動可能な物理オブジェクトおよび静的な拡張現実ビューアのシナリオに関連していた。第３のシナリオは、物理オブジェクトおよび拡張現実ビューアの両方が移動可能であり、この場合、追跡機は物理オブジェクトおよび拡張現実ビューアの両方に取り付けられる。

図６は、物理オブジェクトおよび拡張現実ビューアの両方がユーザによって移動可能であり、したがって両方が追跡機を装備している実施形態におけるシステムの動作を描いており、追跡機は、追跡ベースシステムを使用して、オブジェクトの絶対位置姿勢を、物理オブジェクト上の追跡機の既知の６次元位置に基づいて求め、ビューアのカメラの絶対位置姿勢を、追跡機とカメラとの間の既知のオフセットに基づいて求める。物理オブジェクトからの追跡機の６次元位置姿勢のオフセットは、物理オブジェクト上に追跡機を正確な６次元位置姿勢において正確に位置決めすることによって取得することができ、または、図４Ａ〜図４Ｅの説明に類似する方法または別の方法において物理オブジェクトを静止させたら物理オブジェクトの絶対位置姿勢を検出することで、間接的に取得することができ、完了したらシステムに合図し、次いで追跡機を使用して位置姿勢の変化を追跡する。ステップ６５１においては、拡張現実ビューア５４２のカメラの絶対位置姿勢を、追跡機と追跡ベースの間の通信を介して取得する。ステップ６５５においては、物理オブジェクトの絶対位置姿勢を、上述したように追跡機を介して取得する。ステップ６５９においては、ステップ６５５において取得した物理オブジェクトの絶対位置姿勢と、ステップ６５１において取得した拡張現実ビューアのカメラの絶対位置姿勢とを使用して、物理オブジェクトに対する拡張現実ビューアのカメラの相対的な位置姿勢を求める。ステップ６６３においては、拡張現実ビューアのカメラによって、その視野内に物理オブジェクトを有する画像を撮影する。ステップ６６５においては、仮想オブジェクトのモデル（図５Ｂ＋図５Ｃの引き出し線およびテキストなど）をメモリから取り出し、ステップ６６７においては、仮想オブジェクトによって拡張された物理オブジェクトの画像を、ステップ６５９において計算した物理オブジェクトに対する拡張現実ビューアのカメラの現在の相対的な位置姿勢に従ってレンダリングする。このようなレンダリングは、図１Ａ〜図１Ｃ、図３Ａ〜図３Ｂ、および図４Ａ〜図４Ｅを参照しながらも説明した、拡張現実の技術分野において公知の方法によって行う。オプションのステップ６６９においては、カメラ映像の視覚的分析を使用することによって、または手を検出および追跡するための上述した専用アクセサリを使用することによって、ユーザの手または別の検出可能なオブジェクトによって現在隠れている物理オブジェクトの特徴に関連する仮想オブジェクトの要素を、レンダリングされた画像から選択的に排除する。ステップ６７１においては、ステップ６６７およびオプションのステップ６６９においてレンダリングされた画像を、ユーザによって見えるように拡張現実ビューアの画面に提供する。ユーザが引き続きビューアを操作する（場合によっては物理オブジェクトおよび／または拡張現実ビューアを動かす）場合、プロセスはステップ６７５からステップ６５１に戻り、ステップ６７１において、現在の視点からの別の写真を提供する。

図７には、複数の異なるタイプのＡＲビューアのカメラを描いてある。１つのオプションは、装置の背面カメラ７０４を使用することである。このような場合、カメラと追跡機７２０の正確な６次元のオフセットを、標準的な方法によって、または別の追跡機（図示していない）を使用して背面カメラの正確な位置姿勢を取得することによって、取得するべきである。背面カメラ７０４およびＡＲビューア装置７００ならびに追跡機７２０の向きは、しばしば整列しており、この場合、別の追跡機（図示していない）または別の方法によって背面カメラ７０４の３次元の空間内位置を迅速に識別することが可能になり、追跡機７２０からの背面カメラ７０４のオフセットを計算し、したがって追跡機７２０の絶対位置姿勢からの背面カメラ７０４の６次元の絶対的なオフセットを推定することが可能になる。

図７は別のユースケースも描いており、このユースケースでは、統合ケース７１０の中に単独のカメラ７１４が追跡機７２０と一緒に組み立てられており、単独のカメラ７１４からの追跡機７２０の６次元オフセットは既知かつ一定であるため、追跡機７２０の位置姿勢からカメラ７１４の位置姿勢を計算することが可能である。単独のカメラ７１４は、ＵＳＢケーブル７１８を通じて装置７００に接続することができ、その一方で、ケース７１０の内側のＵＳＢハブ（図示していない）は、追跡機７２０および単独のカメラ７１４の両方を、同じＵＳＢケーブル７１８を使用して装置７００に接続することを可能にする。このシステムは、追跡機のポインタ７２２として使用される、短いロッドに似た物体をさらに含む。追跡機のポインタ７２２は、既知の長さであり、既知の位置姿勢において追跡機７２０に配置されており、したがってロッド７２２の端部の正確な６次元位置姿勢が、追跡機７２０の位置姿勢から導かれる。追跡機のポインタ７２２を使用して、３Ｄ空間内位置を示す（例えばアンカー点に触れることができ、表面に触れたら合図を生成し、この合図は、ユーザが示す（例えば画面にタッチする）ことによって、またはロッド端部の位置姿勢がしばらく安定した後に自動的に、または、例えばロッドの接触から発生する圧力に反応することのできる、追跡機のポインタ７２２の基部内のセンサーによる。

図８も、別のユースケースを描いており、このユースケースでは、ケース８１０の中に、カメラ８３０、追跡機８２０、追跡機のポインタ８２２、およびＵＳＢケーブル８１８と一緒に、プロジェクタ８１４も統合されている。追跡機８２０に対するプロジェクタ８１４のレンズの正確な６次元位置姿勢が既知であり、かつケース８１０の構造によって定義され、またプロジェクタの型および視野も既知であるため、プロジェクタ８１４のレンズの正確な位置姿勢を計算することができ、その位置姿勢を使用してＡＲ画像をレンダリングし、次いでプロジェクタ８１４によって物理オブジェクトの表面上に投影することができる。これを実施するための１つの方法として、Ｕｎｉｔｙ３Ｄなどの３Ｄレンダリングエンジンを使用し、物理オブジェクトの位置姿勢に対するプロジェクタのレンズ８１４の相対的な位置姿勢と同じ相対的な位置姿勢において、仮想オブジェクトに対して仮想カメラを配置し、次いで仮想オブジェクトの画像をレンダリングし、これにより２つを整列させることが可能になり、なぜなら仮想オブジェクトおよび物理オブジェクトが同じワールド座標系内で適切に整列するためである。これらはいずれも、ＡＲ画像の生成に関連して図１Ａ〜図１Ｃ、図３Ａ〜図３Ｂ、および図４Ａ〜図４Ｅに関連して説明した方法に類似する方法に基づき、ただし、ＡＲゴーグルを使用しないときには物理オブジェクトの表面上の点のみを正確に投影できることを考慮して、画面のカメラ映像上で拡張される画像ではなく物理オブジェクト上に投影される画像を意味する。この仮想オブジェクトは、物理オブジェクトの３Ｄモデルの表面上の点と注釈マークとを含むことができ、したがって物理オブジェクト上の点を強調表示することと、投影される関連付けられるグラフィックスを追加することが可能になる。

アスペクト比を維持する画像または映像の、物理オブジェクトの表面への投影は、プロジェクタのレンズ８１４に対する表面の角度を計算し、画像をスケーリングおよび回転させるべき比率を、プロジェクタ８１４が投影する表面に対するＡＲビューアの位置姿勢に基づいて標準的な三角法を使用して計算することによって、生成することができる。

図９は、ウェアラブルデバイスに関連して本発明をどのように使用するかを示しており、ウェアラブルデバイスは、この例では、内蔵のマイクロプロジェクタ（図示していない）を使用してゴーグルレンズ９５０（左右の目に１つずつ）に画像を投影する複合現実ゴーグル９００である。追跡機９３０は、ゴーグルレンズ９５０に対する既知の６次元位置姿勢に、コネクタ９２０を使用して固定されており、したがって、追跡機９３０の６次元位置姿勢を知ることによって、ゴーグルレンズ９５０の６次元位置姿勢を計算することが可能になる。これにより、仮想オブジェクトをレンダリングし、ゴーグルレンズ９５０上にプロジェクタ（図示していない）によって投影される拡張画像（レンズ９５０ごとに１つ）を供給して、レンズ９５０を通じてユーザの目（図示していない）が見ている現実に拡張層を加えることが可能になる。拡張する仮想オブジェクトは、３Ｄモデルと、物理オブジェクトおよびその環境の上に拡張されるテキストおよび注釈を含むことができる。これを実施するための１つの方法は、図１Ａ〜図１Ｃ、図３Ａ〜図３Ｂ、および図４Ａ〜図４Ｅにおいて説明した方法を使用することであり、例えば３Ｄレンダリングエンジンを使用して、物理オブジェクトに対するゴーグルレンズ９５０の相対的な位置姿勢と同じ相対的な位置姿勢において、仮想オブジェクトに対して２つの仮想カメラを配置し、次いで仮想オブジェクトの画像をレンダリングし、これにより２つのカメラを整列させることが可能であり、なぜなら仮想オブジェクトと物理オブジェクトが同じワールド座標内で適切に整列するためである。

［複数のビューアおよび／または複数のオブジェクトを有するシステム］
別のシナリオは、複数の移動可能な物理オブジェクトもしくは複数の静的な物理オブジェクトまたはその両方、および／または、複数の移動可能な拡張現実ビューアもしくは複数の静的な拡張現実ビューアまたはその両方、を含む。この場合、すべての移動可能物理オブジェクトおよびすべての移動可能拡張現実ビューアには、追跡機が装備され、オブジェクトと追跡機のすべての組合せは、上記の図３Ｂ、図５Ｅ、および図６に従って動作する。

ここまで本発明について、限られた数の実施形態に関連して説明してきたが、本明細書に具体的に図示および説明してきた内容によって本発明が制限されないことが、当業者には理解されるであろう。そうではなく、本発明の範囲は、本明細書に記載されているさまざまな特徴の組合せおよび部分的な組合せの両方のみならず、本明細書を読んだ時点で当業者に明らかであろう、従来技術にはない変形形態および修正形態を含む。

Claims

拡張現実システムであって、
信号を送る静的な追跡ベースステーションと、
静的な物理オブジェクトを拡張するための、ユーザによって操作可能な移動可能ユニットと、
を備えており、
前記移動可能ユニットが、
前記静的な追跡ベースステーションによって送られる信号を受信する追跡機と、
前記静的な物理オブジェクトのリアルタイム画像を撮影するカメラと、
前記静的な物理オブジェクトの拡張された画像を表示するビューアと、
少なくとも１つのプロセッサであって、（ｉ）前記静的な物理オブジェクトの６次元絶対位置姿勢を取得し、（ｉｉ）前記追跡機によって受信された前記信号から、前記カメラの６次元絶対位置姿勢を計算し、（ｉｉｉ）前記カメラの前記６次元絶対位置姿勢と、前記静的な物理オブジェクトの前記６次元絶対位置姿勢とから、前記静的な物理オブジェクトに対する前記カメラの相対的な位置姿勢を計算し、（ｉｖ）前記静的な物理オブジェクトを拡張するための仮想オブジェクトのモデルを受信し、（ｖ）前記仮想オブジェクトによって拡張された、前記カメラから受信された前記静的な物理オブジェクトの画像を、前記静的な物理オブジェクトに対する前記カメラの前記相対的な位置姿勢に従ってレンダリングし、（ｖｉ）前記レンダリングされた画像を前記ビューアに表示する、ようにプログラムされている、前記少なくとも１つのプロセッサと、
を含む、
拡張現実システム。
前記ビューアが画面を含む、請求項１に記載の拡張現実システム。
前記ビューアが、ウェアラブルな拡張現実ゴーグルを含む、請求項１に記載の拡張現実システム。
前記静的な追跡ベースステーションが、少なくとも１つの灯台型装置を備えている、請求項１から請求項３のいずれか１項に記載の拡張現実システム。
前記静的な物理オブジェクトの６次元絶対位置姿勢を取得する前記ステップが、ユーザ入力を受信して処理するステップを含む、請求項１から請求項３のいずれか１項に記載の拡張現実システム。
拡張現実システムであって、
信号を送る静的な追跡ベースステーションと、
静的な物理オブジェクトを拡張するための、ユーザによって操作可能な移動可能ユニットと、
を備えており、
前記移動可能ユニットが、
前記静的な追跡ベースステーションによって送られる信号を受信する追跡機と、
前記静的な物理オブジェクト上に投影するプロジェクタと、
少なくとも１つのプロセッサであって、（ｉ）前記静的な物理オブジェクトの６次元絶対位置姿勢を取得し、（ｉｉ）前記追跡機によって受信された前記信号から、前記プロジェクタの６次元絶対位置姿勢を計算し、（ｉｉｉ）前記プロジェクタの前記６次元絶対位置姿勢と、前記静的な物理オブジェクトの前記６次元絶対位置姿勢とから、前記静的な物理オブジェクトに対する前記プロジェクタの相対的な位置姿勢を計算し、（ｉｖ）前記静的な物理オブジェクト上に投影するための仮想オブジェクトのモデルを受信し、（ｖ）前記仮想オブジェクトの画像を、前記静的な物理オブジェクトに対する前記プロジェクタの前記相対的な位置姿勢に従ってレンダリングし、（ｖｉ）前記レンダリングされた画像を前記静的な物理オブジェクト上に投影する、ようにプログラムされている、前記少なくとも１つのプロセッサと、
を含む、
拡張現実システム。
前記静的な追跡ベースステーションが、少なくとも１つの灯台型装置を備えている、請求項６に記載の拡張現実システム。
前記静的な物理オブジェクトの６次元絶対位置姿勢を取得する前記ステップが、ユーザ入力を受信して処理するステップを含む、請求項６または請求項７に記載の拡張現実システム。
拡張現実の方法であって、
静的な物理オブジェクトの６次元絶対位置姿勢を取得するステップと、
プロジェクタを含む移動可能ユニットにおいて、静的な追跡ベースステーションからの信号を受信するステップと、
前記受信された信号から、前記プロジェクタの６次元絶対位置姿勢を計算するステップと、
前記プロジェクタの前記６次元絶対位置姿勢と、前記静的な物理オブジェクトの前記取得された６次元絶対位置姿勢とから、前記静的な物理オブジェクトに対する前記プロジェクタの相対的な位置姿勢を計算するステップと、
前記静的な物理オブジェクト上に投影するための仮想オブジェクトのモデルを受信するステップと、
前記仮想オブジェクトの画像を、前記静的な物理オブジェクトに対する前記プロジェクタの前記相対的な位置姿勢に従ってレンダリングするステップと、
前記レンダリングされた画像を前記静的な物理オブジェクト上に投影するステップと、
を含む、拡張現実の方法。
前記静的な物理オブジェクトの６次元絶対位置姿勢を取得する前記ステップが、ユーザ入力を受信して処理するステップを含む、請求項９に記載の拡張現実の方法。