JP2015513662A - 深度カメラを使用した頭部姿勢トラッキング - Google Patents
深度カメラを使用した頭部姿勢トラッキング Download PDFInfo
- Publication number
- JP2015513662A JP2015513662A JP2014556555A JP2014556555A JP2015513662A JP 2015513662 A JP2015513662 A JP 2015513662A JP 2014556555 A JP2014556555 A JP 2014556555A JP 2014556555 A JP2014556555 A JP 2014556555A JP 2015513662 A JP2015513662 A JP 2015513662A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- color image
- image frame
- transformation matrix
- last
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
Description
直前のカラー画像フレームから、最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する現在の画像ベースの変換行列を累算することによって推定される。最後の画像ベースの変換行列、及び最後の慣性センサ・ベースの変換行列を、最初の入力慣性センサ・フレームから、最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成するよう合併させる。前述の結合変換行列は次いで、現在の頭部姿勢の位置及び向きを識別するために、最初の入力慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに適用される。
一般に、本明細書及び特許請求の範囲に記載された頭部姿勢トラッキング手法の実施例は、空間内の人の頭部の位置及び向きを周期的に追跡する。図1に示す概括的な一実現形態では、これには、ユーザの頭部上に配置されるように構成されたセンサ群100を使用するシステムが関係する。前述の頭部装着センサ群100は、上記センサ群によって検知されたシーン内の特徴の3次元位置を識別するために使用される深度センサ装置102、及び他の少なくとも1つのタイプのセンサ104を含む。更に、前述の例示的な頭部姿勢トラッキング・システムは、センサ・モジュール110及び変換行列モジュール112を含むプログラム・モジュールを有するコンピュータ・プログラム108を実行させる(本明細書において後述する、コンピューティング環境の部分において記載されたものなどの)コンピューティング装置106を有する。一般に、センサ・モジュールは、センサ群におけるセンサそれぞれによって出力されたデータを周期的に入力し、変換行列モジュールは、データがセンサの1つ又は複数から入力される都度、入力データを使用して変換行列を計算する。最初のセンサ・データが入力された際に確立された、先行して求められた頭部姿勢の位置及び向きに適用されると、変換行列は、現在の頭部姿勢の位置及び向きを識別するために使用することが可能である。
p1:「フレーム1内の点pの座標」
p2:「フレーム2内の点pの座標」
R12:「フレーム1からフレーム2への回転」又は「フレーム1に表されたフレーム2」
T12:「フレーム1に表された、フレーム2の原点への、フレーム1の原点からの平行移動」
p1=R12p2+T12:「フレーム2からフレーム1への点pの座標の変換」
一般に、使用される規則は、上付き文字は、点がどのフレーム中にあるかを示す一方、下付き文字は変換の順序などの他の情報を示すというものである。
1.1 カラー・ビデオ・カメラ及び深度センサ装置を使用した例示的なシステム実現形態及び処理
上述したように、例示的な一システム実現形態は一般に、図3に示すように、深度センサ装置302と通常のカラー・ビデオ・カメラ304とを含む頭部装着センサ300、及びコンピュータ306を使用する。
上述するように、別の例示的なシステム実現形態は一般に、図6に示すように、コンピュータ608とともに、深度センサ装置602、通常のカラー・ビデオ・カメラ604、及び慣性センサ一式606を含む頭部装着センサ600を使用する。ここではもう一度、上述した赤外線プロジェクタ及び赤外線カメラ装置などの各種深度センサ装置を使用することが可能である。慣性センサに関し、一般に、これは、加速度計及びジャイロスコープの組み合わせを使用して速度、向き、及び重力を測定するセンサ群を含む。一実現形態では、ジャイロスコープ及び加速度計(センサが1つの微細なチップに一体化されることを可能にする3軸MEMジャイロスコープ及び3軸MEM加速度計)を含む通常の慣性測定装置が使用される。ジャイロスコープが3軸周りの角速度を測定する一方、加速度計は3軸に沿った線形加速度を測定する。
xk=f(xk−1,uk,vk−1)
としてモデリングすることが可能であり、ここで、ukはシステムに対する入力であり、vkはプロセス・ノイズである。この式は、入力ukの影響による、状態変数の時間発展を表す。
zk=h(xk,ek)
を使用した状態変数に関連付けることが可能であり、ここで、zkは観察ベクトルであり、ekは測定ノイズである。
xk=Axk−1+Buk+vk−1
zk=Hxk+ek
p(w)〜N(0,Q)
p(v)〜N(0,R)
を使用してモデリングすることが可能である場合であり、ここで、Qはプロセス・ノイズの共分散であり、Rは測定ノイズの共分散である。
上述のように、上記態様でユーザの頭部姿勢を追跡することは、拡張現実を含む種々のアプリケーションにおいて有用である。拡張現実アプリケーションでは、高精度かつロバストな頭部姿勢トラッキング・システムが、仮想オブジェクトの安定した表示を確実にするために必要である。ユーザの頭部姿勢を追跡するための上記頭部装着センサに加え、前述の拡張実現アプリケーションは更に、頭部搭載型ディスプレイ(HMD)を含む。例えば、一実現形態では、HMDは、ユーザの眼の一方の手前に搭載された単一の半透明ガラス・ディスプレイの形態をとる。
本明細書及び特許請求の範囲記載の頭部姿勢トラッキング手法の実施例は、数多くのタイプの汎用の、又は特殊用途向のコンピューティング・システム環境内若しくは構成内で動作可能である。図8は、本明細書及び特許請求の範囲記載の頭部姿勢トラッキング手法の種々の実施例及び構成要素を実現し得る、汎用コンピュータ・システムの単純化された例を示す。図8中に断続線又は破線で表すボックスは何れも、単純化されたコンピューティング装置の代替的な実施例を表し、後述する上記別の実施例の何れか又は全てを、本明細書及び特許請求の範囲を通して記載された他の代替的な実施例と組み合わせて使用し得る。
更に別の例示的なハードウェア・システム実現形態では、深度センサ装置が慣性センサ一式とともに使用されるが、カラー・カメラは存在しない。前述の実現形態は、最初の入力深度フレームから、最後に入力された深度フレームへの点の平行移動及び回転を規定する変換行列を計算するための反復最近点(ICP)手順及び深度センサを使用する。その場合、前述の深度フレームベースの変換行列が、カラー・ビデオ・カメラ、深度センサ、及び慣性センサを使用した上述の例示的なシステムにおいてカラー画像フレームを使用して推定された上述の最後の画像ベースの変換行列にとって代わることになる。よって、深度フレームベースの変換行列を、最後の慣性センサ・ベースの変換行列と合併させて、最初の入力慣性センサ・フレームから、最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成し、次いで、結合変換行列を、最初の入力慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに適用して、現在の頭部姿勢の位置及び向きを識別する。
Claims (15)
- 頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群は、前記センサ群によって検知されたシーン内の特徴の3次元位置を識別するために使用される深度センサ装置、及び少なくとも1つの他のタイプのセンサを備えるセンサ群と、
コンピューティング装置と、
前記コンピュータ装置によって実行されるプログラム・モジュールを備えるコンピュータ・プログラムとを備え、前記コンピューティング装置は、
前記センサ群における各センサによって出力されるデータを周期的に入力し、
データが前記センサの1つ又は複数から入力される都度、前記入力されたデータを使用して変換行列を計算し、最初のセンサ・データが入力された際に確立された、先行して求められた頭部姿勢の位置及び向きに前記変換行列が適用されると、現在の頭部姿勢の位置及び向きを識別し、
前記変換行列を、前記先行して求められた頭部姿勢の位置及び向きに適用して、前記現在の頭部姿勢の位置及び向きを識別する
よう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示されるシステム。 - 頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群は、前記センサ群によって検知されたシーン内の点の3次元位置を識別するために使用される深度センサ装置、及びカラー・ビデオ・カメラを備え、前記深度センサ装置及び前記カラー・ビデオ・カメラは、深度フレーム及びカラー画像フレームの形式で同時シ―ン・データを周期的に生成するように同期化され、同時に生成された深度フレームにおける対応する3次元シーン位置に各カラー画像フレームにおける各画素をマッピングするように校正されるセンサ群と、
コンピューティング装置と、
前記コンピュータ装置によって実行されるプログラム・モジュールを備えるコンピュータ・プログラムとを備え、前記コンピューティング装置は、
同時に生成された深度フレーム及びカラー画像フレームを入力し、
最初の後に入力された、同時に生成された深度フレーム及びカラー画像フレーム対毎に、最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別し、前記識別された一致特徴と、前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームにおける前記一致特徴の対応する3次元位置とを使用して最初の変換行列を推定し、前記変換行列は、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
最初のカラー画像フレームから、前記最後に入力されたカラー画像フレームの直前に入力されたカラー画像フレームへの点の平行移動及び回転を規定する先行して計算された変換行列、及び、前記最後に入力されたカラー画像フレームへの、直前のカラー画像フレームからの点の平行移動及び回転を規定する最初の変換行列を累算することにより、最初の入力カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する最後の変換行列を推定し、
前記最初の入力カラー画像フレームに表されたシーンにおける先行して求められた頭部姿勢の位置及び向きに、前記最後の変換行列を適用して、前記最後に入力されたカラー画像フレームに表された前記シーンにおける現在の頭部姿勢の位置及び向きを識別するよう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示されるシステム。 - 請求項2記載のシステムであって、前記一致特徴を識別するためのプログラム・モジュールは、オプティカル・フロー手法を使用して、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致点を識別するためのサブモジュールを備えるシステム。
- 請求項3記載のシステムであって、前記変換行列を推定するためのプログラム・モジュールを実行する前に実行される深度補正プログラム・モジュールを更に備え、前記深度補正プログラム・モジュールは、
識別された各一致点周りのウィンドウを規定するためのサブモジュールと、
各ウィンドウ内の、前記カメラに対する最近点を識別するためのサブモジュールと、
前記ウィンドウに関連付けられた先行して識別された一致点の代わりに一致点として各ウィンドウ内の前記識別された最近点を指定するためのサブモジュールと
を備えるシステム。 - 請求項3記載のシステムであって、前記変換行列を推定するためのプログラム・モジュールを実行する前に実行される一致点アウトライア指定解除プログラム・モジュールを更に備え、前記一致点アウトライア指定解除プログラム・モジュールは、所定の最小レベルを下回る一致品質レベルを有する識別された一致点対それぞれを一致点として指定解除する手順を含むシステム。
- 請求項3記載のシステムであって、前記変換行列を推定するためのプログラム・モジュールを実行した後、及び前記最後の変換行列を推定するためのプログラム・モジュールを実行する前に実行される一致点アウトライア指定解除プログラム・モジュールを更に備え、前記一致点アウトライア指定解除プログラム・モジュールは、
(a)前記最後に入力されたカラー画像フレームにおいて識別された一致点に、最後に推定された変換行列を適用して、前記最後に入力されたカラー画像フレームにおける一致点に対応する、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の一致点を確かめるためのサブモジュールと、
(b)前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレームにおける先行して識別された一致点毎に、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の前記先行して識別された一致点に対応する、前記最後に入力されたカラー画像フレーム内の前記一致点に、前記最後に推定された変換行列を適用することによって確かめられた一致点の座標と、前記先行して識別された一致点の座標との間の差尺度を計算するためのサブモジュールと、
(c)残りの一致点対の差尺度の平均を計算し、前記計算された平均が所定の最小レベルを超えるか否かを判定するためのサブモジュールと、
(d)前記計算された平均が所定の最小レベルを超える場合、
大きさにより、前記差尺度を順序付けし、最大のものから始め、大きさの降順に前記差尺度の所定の割合を識別し、
前記識別された差尺度の1つに関連付けられた一致点対それぞれの、前記最後に入力されたカラー画像フレームの直前に生成された前記カラー画像フレーム内の前記先行して識別された一致点、及び前記最後に入力されたカラー画像フレーム内のその対応する一致点を、一致点として指定解除し、
残りの一致点を用いて前記変換行列を再推定する
ためのサブモジュールと、
(e)所定の最大数の変換行列再推定反復に達したかを判定するサブモジュールと、
(f)前記所定の最大数の変換行列再推定反復に達していない場合は常に、前記サブモジュール(a)乃至(f)の実行を反復するためのサブモジュールと
を備えるシステム。 - 請求項3記載のシステムであって、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別するためのプログラム・モジュールを実行する前に実行されるキーフレーム・プログラム・モジュールを更に備え、前記キーフレーム・プログラム・モジュールは、
新たなキーフレームを確立するかを判定するためのサブモジュールと、
新たなキーフレームを確立すると判定された場合には、前記最後に入力されたカラー画像フレームを記録し、前記記録されたフレームをキーフレームとして指定するためのサブモジュールと
を備えるシステム。 - 請求項7記載のシステムであって、新たなキーフレームを確立するかを判定するためのサブモジュールは、前記最後に入力されたカラー画像フレームが前記最初の入力カラー画像フレームである場合に、かつ、前記最後に入力されたカラー・フレームが表すのが、前記先行して確立されたキーフレームにおいて表されたシーンの所定の部分よりも小さい場合に、新たなキーフレームを確立すると判定する手順を含むシステム。
- 請求項7記載のシステムであって、前記キーフレーム・プログラム・モジュールは、更に、
新たなキーフレームを確立しないと判定された場合に、キーフレーム・マッチングを行うか否かを判定するためのサブモジュールと、
キーフレーム・マッチングを行うと判定された場合に、又は、新たなキーフレームが確立された場合に、
前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレーム内に表されたシーンの少なくとも所定の部分を表す記録されたキーフレームとの間のキーフレーム一致点を識別し、
前記最後に入力されたカラー画像フレーム、及び少なくとも、前記最後に入力されたカラー画像フレームにおいて表されたシーンの所定の部分を表す記録されたキーフレームにおけるキーフレーム一致特徴の前記識別されたキーフレーム一致点及び対応する3次元位置を用いて第2の変換行列を推定し、前記第2の変換行列は、少なくとも、前記最後に入力された画像フレーム内に表されたシーンの所定の部分を表す記録されたキーフレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す記録されたキーフレームへの、前記最初の入力カラー画像フレームからの点の平行移動及び回転を規定する先行して計算されたキーフレーム変換行列、及び前記第2の変換行列を使用して第3の変換行列を推定し、前記第3の変換行列は、少なくとも、前記最初の入力カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最後に入力されたカラー画像フレームが、新たに確立されたキーフレームである場合に、前記最初の入力カラー画像フレームから、前記新たに確立されたキーフレームへの点の平行移動及び回転を規定するキーフレーム変換行列として前記第3の変換行列を指定し、
最後に入力されたフレームの直前に入力されたカラー画像フレームへの、前記最初に入力されたカラー画像フレームからの点の平行移動及び回転を規定する最後の変換行列、及び前記最後に入力されたカラー画像フレームへの、その直前のフレームからの点の平行移動及び回転を規定する最初の変換行列を累算することにより、前記最初の入力カラー画像フレームから前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する第4の変換行列を推定し、
前記第3の変換行列及び前記第4の変換行列を合併させて、前記最初の入力カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成し、
前記最後に入力されたカラー画像フレームの前記最後の変換行列となるよう、前記結合変換行列を指定するためのサブモジュールとを備えるシステム。 - 請求項9記載のシステムであって、
前記キーフレーム一致点を識別するためのサブモジュールを実行した後に、かつ、前記第2の変換行列を推定するためのサブモジュールを実行する前に実行される深度補正サブモジュールであって、前記深度補正サブモジュールは、識別されたキーフレーム一致点それぞれの周りにウィンドウを規定するためのサブモジュールと、各ウィンドウ内の、前記カメラへの最近点を識別するためのサブモジュールと、前記ウィンドウに関連付けられた、先行して識別されたキーフレーム一致点の代わりに、キーフレーム一致点として各ウィンドウ内の前記識別された最近点を指定するためのサブモジュールとを備える深度補正サブモジュールと、
深度を補正するためのサブモジュールを実行した後に、かつ、前記第2の変換行列を推定するためのサブモジュールを実行する前に実行されるキーフレーム一致点アウトライア指定解除サブモジュールであって、前記キーフレーム一致点アウトライア指定解除サブモジュールは、所定の最小レベルを下回る一致品質レベルを有する識別されたキーフレーム一致点の対それぞれを、キーフレーム一致点として指定解除する手順を備えるキーフレーム一致点アウトライア指定解除サブモジュールと、
前記第2の変換行列を推定するためのサブモジュールを実行した後に、かつ、前記第3の変換行列を推定するためのサブモジュールを実行する前に実行される第2のキーフレーム一致点アウトライア指定解除サブモジュールとを備え、前記第2のキーフレーム一致点アウトライア指定解除サブモジュールは、
(a)前記最後に入力されたカラー画像フレームにおいて識別された前記キーフレーム一致点に前記第2の変換行列を適用して、前記最後に入力されたカラー画像フレーム内のキーフレーム一致点に対応する、少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す、前記記録されたキーフレーム内のキーフレーム一致点を確かめるためのサブモジュールと、
(b)少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す、前記記録されたキーフレーム内の先行して識別されたキーフレーム一致点毎に、少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す、前記記録されたキーフレーム内の前記先行して識別されたキーフレーム一致点に対応する、前記最後に入力されたカラー画像フレーム内の前記キーフレーム一致点に前記第2の変換行列を適用することによって確かめられたキーフレーム一致点の座標と、先行して識別されたキーフレーム一致点の座標との間の差尺度を計算するためのサブモジュールと、
(c)残りのキーフレーム一致点対の差尺度の平均を計算し、前記計算された平均が所定の最小レベルを超えるか否かを判定するためのサブモジュールと、
(d)前記計算された平均が所定の最小レベルを超える場合に、
大きさにより、前記差尺度を順序付けし、最大のものから始め、大きさの降順に前記差尺度の所定の割合を識別し、
識別された差尺度の1つに関連付けられたキーフレーム一致点対それぞれの、少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す、前記記録されたキーフレーム内の前記先行して識別されたキーフレーム一致点、及び前記最後に入力されたカラー画像フレーム内のその対応するキーフレーム一致点をキーフレーム一致点として指定解除し、
残りのキーフレーム一致点を用いて前記第2の変換行列を再推定する
ためのサブモジュールと、
(e)所定の最大数の変換行列再推定反復に達したかを判定するためのサブモジュールと、
(f)前記所定の最大数の変換行列再推定反復に達していない場合に、前記サブモジュール(a)乃至(f)の実行を反復するためのサブモジュールと
を備えるシステム。 - 請求項9記載のシステムであって、前記キーフレーム・マッチングが行われるか否かを判定するサブモジュールは、
キーフレーム・マッチングが最後に行われてから所定数のフレームが入力されているかを判定する手順と、
キーフレーム・マッチングが最後に行われてから所定数のフレームが入力されていないと判定された場合に、キーフレーム・マッチングが行われる時点でないと指示する手順と、
キーフレーム・マッチングが最後に行われてから所定数のフレームが入力されていると判定された場合に、キーフレーム・マッチングが行われる時点であると指示する手順と
を含むシステム。 - 頭部姿勢トラッキングのためのシステムであって、
ユーザの頭部上に配置されるように構成されたセンサ群であって、前記センサ群は、前記センサ群によって検知されたシーン内の点の3次元位置を識別するために使用される深度センサ装置と、カラー・ビデオ・カメラと、3軸周りの角速度、及び前記3軸に沿った線加速度を測定する慣性センサ一式とを備え、前記深度センサ装置及び前記カラー・ビデオ・カメラは、深度フレーム及びカラー画像フレームの形式で同時シーン・データを周期的に生成するように同期化され、同時に生成された深度フレーム内の対応する3次元シーン位置に各カラー画像フレーム内の各画素をマッピングするように校正され、前記慣性センサは、前記深度フレーム及び前記カラー画像フレームが供給されるレート以上のレートで角速度及び線形加速度データのフレームを提供するセンサ群と、
コンピューティング装置と、
前記コンピュータ装置によって実行されるプログラム・モジュールを備えるコンピュータ・プログラムと
を備え、前記コンピューティング装置は、
生成された慣性センサ・フレームそれぞれを入力し、
最初の後に入力された慣性センサ・フレーム毎に、
最後に入力された慣性センサ・フレームを使用して現在の慣性センサ・ベースの変換行列を推定し、前記変換行列は、直前の入力慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定し、
前記最後に入力された慣性センサ・フレームの直前に入力された慣性センサ・フレームへの、最初の慣性センサ・フレームからの点の平行移動及び回転を規定する先行して計算された変換行列、及び前記直前の入力慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する現在の慣性センサ・ベースの変換行列を累算することにより、最初の入力慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する最後の慣性センサ・ベースの変換行列を推定し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されているかを判定し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されていない場合に、現在の頭部姿勢の位置及び向きを識別するために、最後の慣性センサ・ベースの変換行列を、最初の入力慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに適用し、
新たなカラー・ビデオ・フレーム及び深度フレームが生成されている場合に、
前記新たなカラー画像フレーム及び前記深度フレームを入力し、
前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームとの間の一致特徴を識別し、
前記最後に入力されたカラー画像フレーム、及び前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームにおける一致特徴の対応する3次元位置、及び識別された一致特徴を使用して現在の画像ベースの変換行列を推定し、前記画像ベースの変換行列は、前記最後に入力されたカラー画像フレームの直前に生成されたカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最後に入力されたカラー画像フレームの直前に入力されたカラー画像フレームへの、最初の慣性センサ・フレームからの点の平行移動及び回転を規定する先行して計算された変換行列、及び直前のカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する現在の変換行列を累算することにより、前記最初の入力慣性センサ・フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する最後の画像ベースの変換行列を推定し、
前記最後の画像ベースの変換行列、及び前記最後の慣性センサ・ベースの変換行列を、前記最初の入力慣性センサ・フレームから、前記最後に入力された慣性センサ・フレームへの点の平行移動及び回転を規定する単一の結合変換行列を生成するよう合併させ、
前記結合変換行列を、現在の頭部姿勢の位置及び向きを識別するために、前記最初の入力慣性センサ・フレームに関連付けられた先行して求められた頭部姿勢の位置及び向きに対して適用するよう、前記コンピュータ・プログラムの前記プログラム・モジュールによって指示されるシステム。 - 請求項12記載のシステムであって、前記新たなカラー画像フレーム及び深度フレームを入力するためのプログラム・モジュールを実行した後に、かつ、前記最後に入力されたカラー画像フレームと、前記最後に入力されたカラー画像の直前に生成されたカラー画像フレームとの間の一致特徴を識別するためのプログラム・モジュールを実行する前に実行されるキーフレーム・プログラム・モジュールを更に備え、前記キーフレーム・プログラム・モジュールは、
新たなキーフレームを確立するかを判定するためのサブモジュールと、
新たなキーフレームを確立するかが判定される場合に、前記最後に入力されたカラー画像フレームを記録し、前記記録されたフレームをキーフレームとして指定するためのサブモジュールと
を備えるシステム。 - 請求項13記載のシステムであって、前記新たなキーフレームを確立するかを判定するためのサブモジュールは、前記最後に入力されたカラー画像フレームが前記最初の入力カラー画像フレームである場合に、かつ、前記最後に入力されたカラー・フレームが表すのが、前記先行して確立されたキーフレームにおいて表されたシーンの所定の部分よりも小さい場合に、新たなキーフレームを確立すると判定する手順を含むシステム。
- 請求項13記載のシステムであって、前記キーフレーム・プログラム・モジュールは、更に、
新たなキーフレームを確立しないと判定された場合に、キーフレーム・マッチングを行うかを判定するためのサブモジュールと、
キーフレーム・マッチングを行うと判定された場合に、又は新たなキーフレームが確立された場合に、
前記最後に入力されたカラー画像フレームと、少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す記録されたキーフレームとを識別し、
前記最後に入力されたカラー画像フレーム、及び少なくとも、前記最後に入力されたカラー画像フレームにおいて表されたシーンの所定の部分を表す記録されたキーフレームにおけるキ―フレーム一致特徴の対応する3次元位置、及び前記識別されたキーフレーム一致点を用いて第2の変換行列を推定し、前記第2の変換行列は、少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す記録されたキーフレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
少なくとも、前記最後に入力されたカラー画像フレームに表されたシーンの所定の部分を表す記録されたキーフレームへの、前記最初の入力カラー画像フレームからの点の平行移動及び回転を規定する先行して計算されたキーフレーム変換行列、及び前記第2の変換行列を使用して第3の変換行列を推定し、前記第3の変換行列は、前記最初の入力カラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定し、
前記最後に入力されたカラー画像フレームが、新たに確立されたキーフレームである場合に、前記最初の入力カラー画像フレームから、前記新たに確立されたキーフレームへの点の平行移動及び回転を規定するキーフレーム変換行列として前記第3の変換行列を指定し、
最後に入力されたカラー画像フレームの直前に入力されたカラー画像フレームへの、最初の慣性センサ・フレームからの点の平行移動及び回転を規定する先行して計算された変換行列、及び直前のカラー画像フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する現在の画像ベースの変換行列を累算することにより、最初の入力慣性センサ・フレームから、最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する第4の変換行列を推定し、
前記第3の変換行列及び前記第4の変換行列を合併させて、前記最初の入力慣性センサ・フレームから、前記最後に入力されたカラー画像フレームへの点の平行移動及び回転を規定する単一の結合画像ベースの変換行列を生成し、
前記結合画像ベースの変換行列を前記最後の画像ベースの変換行列となるように指示するためのサブモジュールと
を備えるシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/369,168 | 2012-02-08 | ||
US13/369,168 US9529426B2 (en) | 2012-02-08 | 2012-02-08 | Head pose tracking using a depth camera |
PCT/US2013/021353 WO2013119352A1 (en) | 2012-02-08 | 2013-01-14 | Head pose tracking using a depth camera |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015513662A true JP2015513662A (ja) | 2015-05-14 |
JP2015513662A5 JP2015513662A5 (ja) | 2016-02-18 |
JP6198230B2 JP6198230B2 (ja) | 2017-09-20 |
Family
ID=48902542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014556555A Active JP6198230B2 (ja) | 2012-02-08 | 2013-01-14 | 深度カメラを使用した頭部姿勢トラッキング |
Country Status (6)
Country | Link |
---|---|
US (1) | US9529426B2 (ja) |
EP (1) | EP2813082B1 (ja) |
JP (1) | JP6198230B2 (ja) |
KR (1) | KR102006043B1 (ja) |
CN (1) | CN104106262B (ja) |
WO (1) | WO2013119352A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102100639B1 (ko) * | 2019-05-28 | 2020-04-14 | 주식회사 젠다카디언 | 낙상 및 기립 감지 장치 |
KR20200093214A (ko) * | 2019-01-28 | 2020-08-05 | 한국기술교육대학교 산학협력단 | 웨어러블 장치 및 이를 포함하는 컴퓨터 시각 증후군 방지 시스템 |
JP2021511699A (ja) * | 2018-01-18 | 2021-05-06 | バルブ コーポレーション | センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2984057B1 (fr) | 2011-12-13 | 2014-01-03 | Solidanim | Systeme de tournage de film video |
GB201208088D0 (en) | 2012-05-09 | 2012-06-20 | Ncam Sollutions Ltd | Ncam |
WO2013173728A1 (en) * | 2012-05-17 | 2013-11-21 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer readable media for unified scene acquisition and pose tracking in a wearable display |
US20140218281A1 (en) * | 2012-12-06 | 2014-08-07 | Eyefluence, Inc. | Systems and methods for eye gaze determination |
WO2014160342A1 (en) | 2013-03-13 | 2014-10-02 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
US8995754B2 (en) * | 2013-05-30 | 2015-03-31 | Xerox Corporation | Estimating a pose of a camera for volume estimation |
US9336440B2 (en) * | 2013-11-25 | 2016-05-10 | Qualcomm Incorporated | Power efficient use of a depth sensor on a mobile device |
US9524580B2 (en) * | 2014-01-06 | 2016-12-20 | Oculus Vr, Llc | Calibration of virtual reality systems |
US9437000B2 (en) * | 2014-02-20 | 2016-09-06 | Google Inc. | Odometry feature matching |
JP2017512398A (ja) * | 2014-02-27 | 2017-05-18 | トムソン ライセンシングThomson Licensing | 映像を提示する方法及び装置 |
US9495801B2 (en) | 2014-05-01 | 2016-11-15 | Microsoft Technology Licensing, Llc | Pose tracking an augmented reality device |
DE102014106718B4 (de) * | 2014-05-13 | 2022-04-07 | Immersight Gmbh | System, welches eine Blickfelddarstellung in einer gegenständlichen Lage in einem veränderbaren Raumwinkelbereich darbietet |
US9727776B2 (en) * | 2014-05-27 | 2017-08-08 | Microsoft Technology Licensing, Llc | Object orientation estimation |
US20160027220A1 (en) * | 2014-07-24 | 2016-01-28 | JRC Integrated Systems, Inc. | Low latency methodologies for a headset-mounted camera on virtual reality displays |
US20160077166A1 (en) * | 2014-09-12 | 2016-03-17 | InvenSense, Incorporated | Systems and methods for orientation prediction |
CN104346816B (zh) * | 2014-10-11 | 2017-04-19 | 京东方科技集团股份有限公司 | 一种深度确定方法、装置及电子设备 |
WO2016073557A1 (en) | 2014-11-04 | 2016-05-12 | The University Of North Carolina At Chapel Hill | Minimal-latency tracking and display for matching real and virtual worlds |
GB2532461A (en) * | 2014-11-19 | 2016-05-25 | Bae Systems Plc | System and method for position tracking in a head mounted display |
WO2017005591A1 (en) * | 2015-07-07 | 2017-01-12 | Koninklijke Philips N.V. | Apparatus and method for motion tracking of at least a portion of a limb |
US10360718B2 (en) * | 2015-08-14 | 2019-07-23 | Samsung Electronics Co., Ltd. | Method and apparatus for constructing three dimensional model of object |
US10742961B2 (en) | 2015-09-02 | 2020-08-11 | Industrial Technology Research Institute | Depth sensing apparatus with self-calibration and self-calibration method thereof |
CN106488204B (zh) * | 2015-09-02 | 2018-06-15 | 财团法人工业技术研究院 | 具备自身校准的深度摄影装置以及自身校准方法 |
KR102371634B1 (ko) * | 2015-09-10 | 2022-03-08 | 엘지이노텍 주식회사 | 스테레오 카메라의 거리 추출 방법 |
KR20180086218A (ko) * | 2015-11-20 | 2018-07-30 | 매직 립, 인코포레이티드 | Rgbd 카메라 포즈들의 대규모 결정을 위한 방법들 및 시스템들 |
US9872011B2 (en) * | 2015-11-24 | 2018-01-16 | Nokia Technologies Oy | High-speed depth sensing with a hybrid camera setup |
US10561345B2 (en) | 2015-12-11 | 2020-02-18 | Brainlab Ag | Determination of center of rotation of a bone |
US10565723B2 (en) * | 2016-02-02 | 2020-02-18 | Samsung Electronics Co., Ltd. | Systems and methods for drift correction |
CN107122002A (zh) * | 2016-02-24 | 2017-09-01 | 北京锤子数码科技有限公司 | 一种头戴式可视设备 |
CN106095090A (zh) * | 2016-06-07 | 2016-11-09 | 北京行云时空科技有限公司 | 基于智能系统的空间场景的操控方法、装置和系统 |
CN106325517A (zh) * | 2016-08-29 | 2017-01-11 | 袁超 | 一种基于虚拟现实的目标对象触发方法、系统和穿戴设备 |
FR3057347B1 (fr) * | 2016-10-06 | 2021-05-28 | Univ Aix Marseille | Systeme de mesure de la distance d'un obstacle par flux optique |
US10499997B2 (en) | 2017-01-03 | 2019-12-10 | Mako Surgical Corp. | Systems and methods for surgical navigation |
CN108335327B (zh) * | 2017-01-19 | 2021-09-24 | 富士通株式会社 | 摄像机姿态估计方法和摄像机姿态估计装置 |
US10698068B2 (en) * | 2017-03-24 | 2020-06-30 | Samsung Electronics Co., Ltd. | System and method for synchronizing tracking points |
EP3388863A1 (en) * | 2017-04-10 | 2018-10-17 | Bea S.A. | Sensor for controlling an automatic door |
CN110574369B (zh) * | 2017-04-28 | 2021-08-03 | 三星电子株式会社 | 提供内容的方法及其装置 |
US20180322689A1 (en) * | 2017-05-05 | 2018-11-08 | University Of Maryland, College Park | Visualization and rendering of images to enhance depth perception |
JP7189156B2 (ja) | 2017-05-15 | 2022-12-13 | アウスター インコーポレイテッド | 色によるパノラマlidar結果の増強 |
US10621751B2 (en) * | 2017-06-16 | 2020-04-14 | Seiko Epson Corporation | Information processing device and computer program |
CN107516327B (zh) * | 2017-08-21 | 2023-05-16 | 腾讯科技(上海)有限公司 | 基于多层滤波确定相机姿态矩阵的方法及装置、设备 |
TWI652447B (zh) | 2017-09-12 | 2019-03-01 | 財團法人成大研究發展基金會 | 適用於疊代最近點法以選擇關鍵圖框的系統與方法 |
US10839547B2 (en) * | 2017-09-28 | 2020-11-17 | Samsung Electronics Co., Ltd. | Camera pose determination and tracking |
GB2569803B (en) * | 2017-12-22 | 2021-11-24 | Novarum Dx Ltd | Analysis of a captured image to determine a test outcome |
US10706813B1 (en) | 2018-02-03 | 2020-07-07 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
US10559276B2 (en) | 2018-02-03 | 2020-02-11 | Facebook Technologies, Llc | Apparatus, system, and method for mitigating motion-to-photon latency in head-mounted displays |
JP6516042B2 (ja) * | 2018-05-11 | 2019-05-22 | セイコーエプソン株式会社 | 信号処理装置、検出装置、センサー、電子機器及び移動体 |
US11677833B2 (en) * | 2018-05-17 | 2023-06-13 | Kaon Interactive | Methods for visualizing and interacting with a three dimensional object in a collaborative augmented reality environment and apparatuses thereof |
US10678325B2 (en) * | 2018-05-22 | 2020-06-09 | Facebook Technologies, Llc | Apparatus, system, and method for accelerating positional tracking of head-mounted displays |
US10410372B1 (en) | 2018-06-14 | 2019-09-10 | The University Of North Carolina At Chapel Hill | Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration |
WO2020110659A1 (ja) * | 2018-11-27 | 2020-06-04 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN109960402B (zh) * | 2018-12-18 | 2022-04-01 | 重庆邮电大学 | 一种基于点云和视觉特征融合的虚实注册方法 |
US11153488B2 (en) | 2019-09-26 | 2021-10-19 | United States Of America, As Represented By The Secretary Of The Army | Variable latency and frame rate camera |
US11061469B2 (en) * | 2019-11-20 | 2021-07-13 | XRSpace CO., LTD. | Head mounted display system and rotation center correcting method thereof |
CN111242090B (zh) * | 2020-01-22 | 2023-06-23 | 腾讯科技(深圳)有限公司 | 基于人工智能的人脸识别方法、装置、设备及介质 |
CN111369596B (zh) * | 2020-02-26 | 2022-07-05 | 华南理工大学 | 一种基于视频监控的手扶电梯客流量统计方法 |
US11625857B1 (en) * | 2020-06-15 | 2023-04-11 | Apple Inc. | Enhanced content positioning |
DE102020121408A1 (de) | 2020-08-14 | 2022-02-17 | Bayerische Motoren Werke Aktiengesellschaft | Computerimplementiertes Verfahren und System zur Vorhersage einer Orientierung und räumlichen Position einer am Kopf eines Nutzers montierbaren Anzeigevorrichtung |
US20210110606A1 (en) * | 2020-12-23 | 2021-04-15 | Intel Corporation | Natural and immersive data-annotation system for space-time artificial intelligence in robotics and smart-spaces |
CN113900516A (zh) * | 2021-09-27 | 2022-01-07 | 阿里巴巴达摩院(杭州)科技有限公司 | 数据处理方法、装置、电子设备和存储介质 |
CN114007099A (zh) * | 2021-11-04 | 2022-02-01 | 北京搜狗科技发展有限公司 | 一种视频处理方法、装置和用于视频处理的装置 |
CN116704587B (zh) * | 2023-08-02 | 2023-10-20 | 山东建筑大学 | 融合纹理信息和深度信息的多人头部姿态估计方法及系统 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001101410A (ja) * | 1999-09-28 | 2001-04-13 | Suzuki Motor Corp | 変換行列データ生成方法及び較正治具並びに三次元計測システム |
US20020105484A1 (en) * | 2000-09-25 | 2002-08-08 | Nassir Navab | System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality |
US20030020842A1 (en) * | 1990-11-30 | 2003-01-30 | Sun Microsystems, Inc. | Low cost virtual reality system |
US20030235341A1 (en) * | 2002-04-11 | 2003-12-25 | Gokturk Salih Burak | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
JP2005033319A (ja) * | 2003-07-08 | 2005-02-03 | Canon Inc | 位置姿勢計測方法及び装置 |
JP2005147894A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 計測方法、計測装置 |
US20100103196A1 (en) * | 2008-10-27 | 2010-04-29 | Rakesh Kumar | System and method for generating a mixed reality environment |
US8831277B1 (en) * | 2009-10-02 | 2014-09-09 | Rockwell Collins, Inc. | Optical helmet tracking system |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6064749A (en) | 1996-08-02 | 2000-05-16 | Hirota; Gentaro | Hybrid tracking for augmented reality using both camera motion detection and landmark tracking |
JP2000517452A (ja) | 1997-05-05 | 2000-12-26 | シェル オイル カンパニー | 視認の方法 |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
JP2004085476A (ja) | 2002-08-28 | 2004-03-18 | Sony Corp | ヘッドトラッキング方法及び装置 |
US7002551B2 (en) | 2002-09-25 | 2006-02-21 | Hrl Laboratories, Llc | Optical see-through augmented reality modified-scale display |
US20070035562A1 (en) | 2002-09-25 | 2007-02-15 | Azuma Ronald T | Method and apparatus for image enhancement |
JP4355341B2 (ja) | 2003-05-29 | 2009-10-28 | 本田技研工業株式会社 | 深度データを用いたビジュアルトラッキング |
US8040361B2 (en) * | 2005-04-11 | 2011-10-18 | Systems Technology, Inc. | Systems and methods for combining virtual and real-time physical environments |
US7542210B2 (en) * | 2006-06-29 | 2009-06-02 | Chirieleison Sr Anthony | Eye tracking head mounted display |
JP5684577B2 (ja) | 2008-02-27 | 2015-03-11 | ソニー コンピュータ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー | シーンの深度データをキャプチャし、コンピュータのアクションを適用する方法 |
KR101537948B1 (ko) | 2008-12-16 | 2015-07-20 | 삼성전자주식회사 | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 |
US8970690B2 (en) | 2009-02-13 | 2015-03-03 | Metaio Gmbh | Methods and systems for determining the pose of a camera with respect to at least one object of a real environment |
KR101313797B1 (ko) | 2009-12-18 | 2013-10-01 | 한국전자통신연구원 | 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법 |
-
2012
- 2012-02-08 US US13/369,168 patent/US9529426B2/en active Active
-
2013
- 2013-01-14 EP EP13746595.1A patent/EP2813082B1/en active Active
- 2013-01-14 WO PCT/US2013/021353 patent/WO2013119352A1/en active Application Filing
- 2013-01-14 KR KR1020147022170A patent/KR102006043B1/ko active IP Right Grant
- 2013-01-14 JP JP2014556555A patent/JP6198230B2/ja active Active
- 2013-01-14 CN CN201380008735.2A patent/CN104106262B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030020842A1 (en) * | 1990-11-30 | 2003-01-30 | Sun Microsystems, Inc. | Low cost virtual reality system |
JP2001101410A (ja) * | 1999-09-28 | 2001-04-13 | Suzuki Motor Corp | 変換行列データ生成方法及び較正治具並びに三次元計測システム |
US20020105484A1 (en) * | 2000-09-25 | 2002-08-08 | Nassir Navab | System and method for calibrating a monocular optical see-through head-mounted display system for augmented reality |
US20030235341A1 (en) * | 2002-04-11 | 2003-12-25 | Gokturk Salih Burak | Subject segmentation and tracking using 3D sensing technology for video compression in multimedia applications |
JP2005033319A (ja) * | 2003-07-08 | 2005-02-03 | Canon Inc | 位置姿勢計測方法及び装置 |
JP2005147894A (ja) * | 2003-11-17 | 2005-06-09 | Canon Inc | 計測方法、計測装置 |
US20100103196A1 (en) * | 2008-10-27 | 2010-04-29 | Rakesh Kumar | System and method for generating a mixed reality environment |
US8831277B1 (en) * | 2009-10-02 | 2014-09-09 | Rockwell Collins, Inc. | Optical helmet tracking system |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021511699A (ja) * | 2018-01-18 | 2021-05-06 | バルブ コーポレーション | センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム |
JP7207809B2 (ja) | 2018-01-18 | 2023-01-18 | バルブ コーポレーション | センサ集積回路を含むヘッドマウントディスプレイのためのポジショントラッキングシステム |
KR20200093214A (ko) * | 2019-01-28 | 2020-08-05 | 한국기술교육대학교 산학협력단 | 웨어러블 장치 및 이를 포함하는 컴퓨터 시각 증후군 방지 시스템 |
KR102256050B1 (ko) * | 2019-01-28 | 2021-05-25 | 한국기술교육대학교 산학협력단 | 웨어러블 장치 및 이를 포함하는 컴퓨터 시각 증후군 방지 시스템 |
KR102100639B1 (ko) * | 2019-05-28 | 2020-04-14 | 주식회사 젠다카디언 | 낙상 및 기립 감지 장치 |
Also Published As
Publication number | Publication date |
---|---|
CN104106262A (zh) | 2014-10-15 |
KR20140126707A (ko) | 2014-10-31 |
KR102006043B1 (ko) | 2019-07-31 |
US9529426B2 (en) | 2016-12-27 |
JP6198230B2 (ja) | 2017-09-20 |
EP2813082A1 (en) | 2014-12-17 |
EP2813082B1 (en) | 2018-03-28 |
WO2013119352A1 (en) | 2013-08-15 |
US20130201291A1 (en) | 2013-08-08 |
EP2813082A4 (en) | 2015-09-23 |
CN104106262B (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6198230B2 (ja) | 深度カメラを使用した頭部姿勢トラッキング | |
US11734846B2 (en) | System and method for concurrent odometry and mapping | |
US11668571B2 (en) | Simultaneous localization and mapping (SLAM) using dual event cameras | |
KR101776622B1 (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
CN108700946B (zh) | 用于并行测距和建图的故障检测和恢复的系统和方法 | |
KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
KR20150144728A (ko) | 이동 로봇의 맵을 업데이트하기 위한 장치 및 그 방법 | |
JP2023021994A (ja) | 自動運転車両に対するデータ処理方法及び装置、電子機器、記憶媒体、コンピュータプログラム、ならびに自動運転車両 | |
EP3047454A1 (en) | 3d reconstruction | |
JP7103354B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
KR20220122287A (ko) | 증강 현실 제공 장치의 포즈 결정 방법 및 장치 | |
CN113610702B (zh) | 一种建图方法、装置、电子设备及存储介质 | |
CN116704022A (zh) | 基于结构线段的vio系统的位姿估计方法、装置及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170718 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170816 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6198230 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |