JP2021530016A - 汎用処理ユニットからハードウェアアクセラレータユニットに画像ベースの追跡オペレーションをオフローディングするためのシステム及び方法 - Google Patents
汎用処理ユニットからハードウェアアクセラレータユニットに画像ベースの追跡オペレーションをオフローディングするためのシステム及び方法 Download PDFInfo
- Publication number
- JP2021530016A JP2021530016A JP2020567759A JP2020567759A JP2021530016A JP 2021530016 A JP2021530016 A JP 2021530016A JP 2020567759 A JP2020567759 A JP 2020567759A JP 2020567759 A JP2020567759 A JP 2020567759A JP 2021530016 A JP2021530016 A JP 2021530016A
- Authority
- JP
- Japan
- Prior art keywords
- hardware accelerator
- image
- accelerator unit
- computer
- imaging data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000012545 processing Methods 0.000 title abstract description 49
- 238000003384 imaging method Methods 0.000 claims abstract description 226
- 230000005540 biological transmission Effects 0.000 claims abstract description 13
- 238000002360 preparation method Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 27
- 230000015654 memory Effects 0.000 claims description 21
- 238000005457 optimization Methods 0.000 claims description 6
- 230000001052 transient effect Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000003860 storage Methods 0.000 description 10
- 230000003190 augmentative effect Effects 0.000 description 6
- 239000000872 buffer Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 235000019800 disodium phosphate Nutrition 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012432 intermediate storage Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
Abstract
Description
レベルl=0の場合、G0(x,y)=I(x,y)、かつ
であり、ここで、w(m,n)は重み関数である。この重み関数は、分離可能かつ/又は対称であってよく、レベルl+1において、ノードに一定の総重みを付与しうる。かかる画像ピラミッドは、ガウス画像ピラミッドと称されうる。他の例では、画像ピラミッドの各成分は、オリジナル画像に適用された等価重み関数により得られた平均値(例えば、局所平均値)を表わしうる。かかる例では、画像ピラミッドは、様々なスケールにおける局所平均値を包含しうる。
Claims (35)
- コンピュータで実装される方法であって、
撮像デバイスからハードウェアアクセラレータユニットに撮像データを送信することと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備することと、
生成された前記撮像データの前記マルチスケール表現及び準備された前記入力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示することとを含む、
コンピュータで実装される方法。 - 前記ハードウェアアクセラレータユニットが、
デジタル信号プロセッサ(DSP)と、
特定用途向け集積回路(ASIC)の、少なくとも一方を備える、請求項1に記載のコンピュータで実装される方法。 - 前記ハードウェアアクセラレータユニットが、システムオンチップ(SoC)アーキテクチャに含まれる、請求項2に記載のコンピュータで実装される方法。
- 前記撮像デバイスから送信された前記撮像データの前記マルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することが、前記撮像デバイスから送信された前記撮像データに基づいて画像ピラミッドを生成するよう前記ハードウェアアクセラレータユニットに指示することを含む、請求項1に記載のコンピュータで実装される方法。
- 前記画像ベースの追跡オペレーションのセットが、
パッチマッチングオペレーションと、
コーナー検出オペレーションの、少なくとも一方を含む、請求項1に記載のコンピュータで実装される方法。 - 前記パッチマッチングオペレーションがゼロ平均二乗和距離(ZSSD)パッチマッチングオペレーションを含む、請求項5に記載のコンピュータで実装される方法。
- 前記コーナー検出オペレーションがHarrisコーナー検出オペレーションを含む、請求項5に記載のコンピュータで実装される方法。
- 前記画像ベースの追跡オペレーションのセットがサブピクセル整列オペレーションを更に含む、請求項5に記載のコンピュータで実装される方法。
- 前記サブピクセル整列オペレーションが二次元逆合成Lucas-Kanade最適化を含む、請求項8に記載のコンピュータで実装される方法。
- 前記入力データのセットを準備することが、事前生成された環境のマップ及び前記撮像デバイスの予測姿勢に基づいて前記撮像データに含まれると予想されるフィーチャのセットを選択することを含む、請求項1に記載のコンピュータで実装される方法。
- 前記入力データのセットを準備することが、前記撮像デバイスの相対姿勢、キーフレームに含まれる確認済みフィーチャの奥行き、及び前記キーフレームに含まれる点の法線に基づいて、前記キーフレームのパッチをワーピングすることを更に含む、請求項10に記載のコンピュータで実装される方法。
- 前記キーフレームに含まれる前記点の前記法線の推定値が所定の閾値の範囲内にあるかどうかを判定することを更に含み、
前記キーフレームに含まれる前記点の前記法線の前記推定値が前記所定の閾値の範囲内にある場合、前記キーフレームの前記パッチをワーピングすることが、前記キーフレームに含まれる前記点の前記法線の前記推定値に基づき、
前記キーフレームに含まれる前記点の前記法線の前記推定値が前記所定の閾値の範囲内にない場合、前記キーフレームの前記パッチをワーピングすることが、前記キーフレームに対する前記撮像データに含まれる新たなフレームの予測配向に基づいて、前記キーフレームの前記パッチに含まれる前記点の前記法線を特定することを含む、請求項11に記載のコンピュータで実装される方法。 - 前記キーフレームの前記パッチをワーピングすることが、パッチマッチングオペレーションで利用するために、前記撮像データの前記マルチスケール表現に含まれる前記撮像データのスケール表現を算出することを更に含む、請求項12に記載のコンピュータで実装される方法。
- 前記ハードウェアアクセラレータユニットが、前記撮像デバイスから前記撮像データを受信し、前記撮像データの前記マルチスケール表現を生成し、かつマルチスレッドアーキテクチャにおいてトラッカスレッドにより実施されるオペレーションのセットの一部として、前記画像ベースの追跡オペレーションのセットを実行するよう構成される、請求項1に記載のコンピュータで実装される方法。
- 入力電源の動作周波数で前記トラッカスレッドを実行することを更に含む、請求項14に記載のコンピュータで実装される方法。
- 撮像デバイス、及び
ハードウェアアクセラレータユニットを備える、
頭部装着ディスプレイ(HMD)デバイスと、
画像ベースの追跡サブシステムとを備える、システムであって、前記画像ベースの追跡サブシステムが、
前記撮像デバイスから前記ハードウェアアクセラレータユニットに撮像データを送信する、メモリに記憶された送信モジュールと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示する、メモリに記憶された生成モジュールと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備する、メモリに記憶された準備モジュールと、
生成された前記撮像データの前記マルチスケール表現及び準備された前記入力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示する、メモリに記憶された実行モジュールと、
前記送信モジュール、前記生成モジュール、前記準備モジュール、及び前記実行モジュールを実行する、少なくとも1つの物理プロセッサとを備える、
システム。 - 前記ハードウェアアクセラレータユニットが、
デジタル信号プロセッサ(DSP)と、
特定用途向け集積回路(ASIC)の、少なくとも一方を備える、請求項16に記載のシステム。 - 前記画像ベースの追跡オペレーションのセットが、
パッチマッチングオペレーションと、
コーナー検出オペレーションと、
サブピクセル整列オペレーションのうちの、少なくとも1つを含む、請求項16に記載のシステム。 - 前記準備モジュールが、
事前生成された環境のマップ及び前記撮像デバイスの予測姿勢に基づいて前記撮像データに含まれると予想されるフィーチャのセットを選択すること、及び
前記撮像デバイスの相対姿勢、キーフレームに含まれる確認済みフィーチャの奥行き、及び前記キーフレームに含まれる点の法線に基づいて、前記キーフレームのパッチをワーピングすること、によって前記入力データのセットを準備する、請求項16に記載のシステム。 - コンピュータ可読命令を含む非一過性のコンピュータ可読媒体であって、前記命令は、演算デバイスの少なくとも1つのプロセッサによって実行されると、前記演算デバイスに、
撮像デバイスからハードウェアアクセラレータユニットに撮像データを送信することと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備することと、
生成された前記撮像データの前記マルチスケール表現及び準備された前記入力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示することとを実行させる、
非一過性のコンピュータ可読媒体。 - コンピュータで実装される方法であって、
撮像デバイスからハードウェアアクセラレータユニットに撮像データを送信することと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備することと、
生成された前記撮像データの前記マルチスケール表現及び準備された前記入力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示することとを含む、
コンピュータで実装される方法。 - 前記ハードウェアアクセラレータユニットが、
デジタル信号プロセッサ(DSP)と、
特定用途向け集積回路(ASIC)の、少なくとも一方を備え、
オプションで、前記ハードウェアアクセラレータユニットはシステムオンチップ(SoC)アーキテクチャに含まれる、請求項21に記載のコンピュータで実現される方法。 - 前記撮像デバイスから送信された前記撮像データの前記マルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することが、前記撮像デバイスから送信された前記撮像データに基づいて画像ピラミッドを生成するよう前記ハードウェアアクセラレータユニットに指示することを含む、請求項21又は22に記載のコンピュータで実装される方法。
- 前記画像ベースの追跡オペレーションのセットが、
パッチマッチングオペレーションと、
コーナー検出オペレーションの、少なくとも一方を含む、請求項21から23のいずれか一項に記載のコンピュータで実装される方法。 - 前記パッチマッチングオペレーションがゼロ平均二乗和距離(ZSSD)パッチマッチングオペレーションを含み、かつ/又は
前記コーナー検出オペレーションがHarrisコーナー検出オペレーションを含み、かつ/又は
前記画像ベースの追跡オペレーションのセットがサブピクセル整列オペレーションを更に含み、
オプションで、前記サブピクセル整列オペレーションが二次元逆合成Lucas−Kanade最適化を含む、請求項24に記載のコンピュータで実装される方法。 - 前記入力データのセットを準備することが、事前生成された環境のマップ及び前記撮像デバイスの予測姿勢に基づいて前記撮像データに含まれると予想されるフィーチャのセットを選択することを含む、請求項21から25のいずれか一項に記載のコンピュータで実装される方法。
- 前記入力データのセットを準備することが、前記撮像デバイスの相対姿勢、キーフレームに含まれる確認済みフィーチャの奥行き、及び前記キーフレームに含まれる点の法線に基づいて、前記キーフレームのパッチをワーピングすることを更に含む、請求項26に記載のコンピュータで実装される方法。
- 前記キーフレームに含まれる前記点の前記法線の推定値が所定の閾値の範囲内にあるかどうかを判定することを更に含み、
前記キーフレームに含まれる前記点の前記法線の前記推定値が前記所定の閾値の範囲内にある場合、前記キーフレームの前記パッチをワーピングすることが、前記キーフレームに含まれる前記点の前記法線の前記推定値に基づき、
前記キーフレームに含まれる前記点の前記法線の前記推定値が前記所定の閾値の範囲内にない場合、前記キーフレームの前記パッチをワーピングすることが、前記キーフレームに対する前記撮像データに含まれる新たなフレームの予測配向に基づいて、前記キーフレームの前記パッチに含まれる前記点の前記法線を特定することを含む、請求項27に記載のコンピュータで実装される方法。 - 前記キーフレームの前記パッチをワーピングすることが、パッチマッチングオペレーションで利用するために、前記撮像データの前記マルチスケール表現に含まれる前記撮像データのスケール表現を算出することを更に含む、請求項28に記載のコンピュータで実装される方法。
- 前記ハードウェアアクセラレータユニットが、前記撮像デバイスから前記撮像データを受信し、前記撮像データの前記マルチスケール表現を生成し、かつマルチスレッドアーキテクチャにおいてトラッカスレッドにより実施されるオペレーションのセットの一部として、前記画像ベースの追跡オペレーションのセットを実行するよう、構成されており、
オプションで、入力電源の動作周波数で前記トラッカスレッドを実行することを更に含む、請求項21から29のいずれか一項に記載のコンピュータで実装される方法。 - 撮像デバイス、及び
ハードウェアアクセラレータユニットを備える、
頭部装着ディスプレイ(HMD)デバイスと、
画像ベースの追跡サブシステムとを備える、システムであって、前記画像ベースの追跡サブシステムが、
前記撮像デバイスから前記ハードウェアアクセラレータユニットに撮像データを送信する、メモリに記憶された送信モジュールと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示する、メモリに記憶された生成モジュールと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備する、メモリに記憶された準備モジュールと、
生成された前記撮像データの前記マルチスケール表現及び準備された入前記力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示する、メモリに記憶された実行モジュールと、
前記送信モジュール、前記生成モジュール、前記準備モジュール、及び前記実行モジュールを実行する、少なくとも1つの物理プロセッサとを備える、
システム。 - 前記ハードウェアアクセラレータユニットが、
デジタル信号プロセッサ(DSP)と、
特定用途向け集積回路(ASIC)の、少なくとも一方を備える、請求項31に記載のシステム。 - 前記画像ベースの追跡オペレーションのセットが、
パッチマッチングオペレーションと、
コーナー検出オペレーションと、
サブピクセル整列オペレーションのうちの、少なくとも1つを含む、請求項31又は32に記載のシステム。 - 前記準備モジュールが、
事前生成された環境のマップ及び前記撮像デバイスの予測姿勢に基づいて前記撮像データに含まれると予想されるフィーチャのセットを選択すること、及び
前記撮像デバイスの相対姿勢、キーフレームに含まれる確認済みフィーチャの奥行き、及び前記キーフレームに含まれる点の法線に基づいて、前記キーフレームのパッチをワーピングすること、によって前記入力データのセットを準備する、請求項31から33のいずれか一項に記載のシステム。 - コンピュータ可読命令を含む非一過性のコンピュータ可読媒体であって、前記命令は、演算デバイスの少なくとも1つのプロセッサによって実行されると、前記演算デバイスに、請求項21から30のいずれか一項に記載の方法を実施すること、特に、
撮像デバイスからハードウェアアクセラレータユニットに撮像データを送信することと、
前記撮像デバイスから送信された前記撮像データのマルチスケール表現を生成するよう前記ハードウェアアクセラレータユニットに指示することと、
画像ベースの追跡オペレーションのセットのための入力データのセットを準備することと、
生成された前記撮像データの前記マルチスケール表現及び準備された前記入力データのセットを使用して前記画像ベースの追跡オペレーションのセットを実行するよう、前記ハードウェアアクセラレータユニットに指示することとを実行させる、
非一過性のコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/028,728 | 2018-07-06 | ||
US16/028,728 US10916031B2 (en) | 2018-07-06 | 2018-07-06 | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
PCT/US2018/041329 WO2020009710A1 (en) | 2018-07-06 | 2018-07-09 | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021530016A true JP2021530016A (ja) | 2021-11-04 |
JP7145241B2 JP7145241B2 (ja) | 2022-09-30 |
Family
ID=69059804
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020567759A Active JP7145241B2 (ja) | 2018-07-06 | 2018-07-09 | 汎用処理ユニットからハードウェアアクセラレータユニットに画像ベースの追跡オペレーションをオフローディングするためのシステム及び方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10916031B2 (ja) |
JP (1) | JP7145241B2 (ja) |
CN (1) | CN112368737A (ja) |
WO (1) | WO2020009710A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10916031B2 (en) | 2018-07-06 | 2021-02-09 | Facebook Technologies, Llc | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
US10818067B1 (en) * | 2019-05-31 | 2020-10-27 | Texas Instruments Incorporated | GPU assist using DSP pre-processor system and method |
US20210192681A1 (en) * | 2019-12-18 | 2021-06-24 | Ati Technologies Ulc | Frame reprojection for virtual reality and augmented reality |
US11397869B2 (en) * | 2020-03-04 | 2022-07-26 | Zerofox, Inc. | Methods and systems for detecting impersonating social media profiles |
KR20220147412A (ko) | 2021-04-27 | 2022-11-03 | 삼성전자주식회사 | 이미지 센서 모듈, 이미지 처리 시스템 및 이미지 센서 모듈의 동작 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008513890A (ja) * | 2004-09-16 | 2008-05-01 | エヌヴィディア コーポレイション | 負荷分散 |
US20110286627A1 (en) * | 2009-11-19 | 2011-11-24 | Stanford University | Method and apparatus for tracking and recognition with rotation invariant feature descriptors |
JP2013508844A (ja) * | 2009-10-20 | 2013-03-07 | トタル・イメルジヨン | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 |
JP2015506516A (ja) * | 2012-01-06 | 2015-03-02 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | オブジェクトの追跡及び処理 |
JP2015069410A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム |
US20160086336A1 (en) * | 2014-09-19 | 2016-03-24 | Qualcomm Incorporated | System and method of pose estimation |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147260B2 (en) | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
US9743373B2 (en) * | 2012-12-28 | 2017-08-22 | Trimble Inc. | Concurrent dual processing of pseudoranges with corrections |
US20140233800A1 (en) | 2013-02-15 | 2014-08-21 | Samsung Electronics Co., Ltd. | Method of tracking object and electronic device supporting the same |
KR20140103046A (ko) | 2013-02-15 | 2014-08-25 | 삼성전자주식회사 | 객체 추적 방법 및 이를 지원하는 전자 장치 |
US10497140B2 (en) * | 2013-08-15 | 2019-12-03 | Intel Corporation | Hybrid depth sensing pipeline |
AU2013237718A1 (en) * | 2013-10-04 | 2015-04-23 | Canon Kabushiki Kaisha | Method, apparatus and system for selecting a frame |
US9432636B2 (en) * | 2013-11-26 | 2016-08-30 | Microsoft Technology Licensing, Llc | Large-scale surface reconstruction that is robust against tracking and mapping errors |
CN107646126B (zh) | 2015-07-16 | 2020-12-08 | 谷歌有限责任公司 | 用于移动设备的相机姿态估计 |
US10380763B2 (en) | 2016-11-16 | 2019-08-13 | Seiko Epson Corporation | Hybrid corner and edge-based tracking |
US10916031B2 (en) | 2018-07-06 | 2021-02-09 | Facebook Technologies, Llc | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
EP3591605A1 (en) | 2018-07-06 | 2020-01-08 | Facebook Technologies, LLC | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit |
-
2018
- 2018-07-06 US US16/028,728 patent/US10916031B2/en active Active
- 2018-07-09 CN CN201880095438.9A patent/CN112368737A/zh active Pending
- 2018-07-09 JP JP2020567759A patent/JP7145241B2/ja active Active
- 2018-07-09 WO PCT/US2018/041329 patent/WO2020009710A1/en active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008513890A (ja) * | 2004-09-16 | 2008-05-01 | エヌヴィディア コーポレイション | 負荷分散 |
JP2013508844A (ja) * | 2009-10-20 | 2013-03-07 | トタル・イメルジヨン | 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置 |
US20110286627A1 (en) * | 2009-11-19 | 2011-11-24 | Stanford University | Method and apparatus for tracking and recognition with rotation invariant feature descriptors |
JP2015506516A (ja) * | 2012-01-06 | 2015-03-02 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | オブジェクトの追跡及び処理 |
JP2015069410A (ja) * | 2013-09-30 | 2015-04-13 | Kddi株式会社 | 姿勢パラメータ推定装置、姿勢パラメータ推定システム、姿勢パラメータ推定方法、およびプログラム |
US20160086336A1 (en) * | 2014-09-19 | 2016-03-24 | Qualcomm Incorporated | System and method of pose estimation |
Non-Patent Citations (2)
Title |
---|
JIANGHUA CHENG ET AL.: "A Robust Real-Time Indoor Navigation Technique Based on GPU-Accelerated Feature Matching", 2016 INTERNATIONAL CONFERENCE ON INDOOR POSITIONING AND INDOOR NAVIGATION (IPIN), JPN6022018481, 17 November 2016 (2016-11-17), US, ISSN: 0004774291 * |
SUDIPTA N. SINHA ET AL.: "Feature tracking and matching in video using programmable graphics hardware", MACHINE VISION AND APPLICATIONS, vol. 22, no. 1, JPN6022018480, 1 January 2011 (2011-01-01), DE, pages 207 - 217, XP019871004, ISSN: 0004774292, DOI: 10.1007/s00138-007-0105-z * |
Also Published As
Publication number | Publication date |
---|---|
US20200013184A1 (en) | 2020-01-09 |
JP7145241B2 (ja) | 2022-09-30 |
US10916031B2 (en) | 2021-02-09 |
WO2020009710A1 (en) | 2020-01-09 |
CN112368737A (zh) | 2021-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7403700B2 (ja) | ホモグラフィ適合を介した完全畳み込み着目点検出および記述 | |
JP7145241B2 (ja) | 汎用処理ユニットからハードウェアアクセラレータユニットに画像ベースの追跡オペレーションをオフローディングするためのシステム及び方法 | |
AU2018292610B2 (en) | Method and system for performing simultaneous localization and mapping using convolutional image transformation | |
JP7355821B2 (ja) | 疎結合されたリローカライゼーションサービスおよびアセット管理サービスを介して人工環境内でデジタルアセットを提示するためのシステムおよび方法 | |
WO2019205842A1 (zh) | 相机姿态追踪过程的重定位方法、装置及存储介质 | |
JP5847924B2 (ja) | 拡張現実表現のための二次元画像取込み | |
JP6356784B2 (ja) | 拡張現実用のラジアンス伝達サンプリングのための装置および方法 | |
KR100793838B1 (ko) | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 | |
JP2018537755A (ja) | 中心窩ジオメトリテッセレーション | |
JP7357676B2 (ja) | 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法 | |
JP2022544717A (ja) | リアルタイム複数モダリティ画像アライメントのためのシステム及び方法 | |
JP2018537748A (ja) | 可変の計算量を用いた画像のライトフィールドレンダリング | |
EP3619677A1 (en) | Methods and systems for multistage post-rendering image transformation | |
US10410372B1 (en) | Methods, systems, and computer-readable media for utilizing radial distortion to estimate a pose configuration | |
US11508098B2 (en) | Cross-device supervisory computer vision system | |
CN113436066A (zh) | 用于多相机或其他环境的超分辨率深度图生成 | |
JP2021533646A (ja) | 深度情報を使用して2次元画像を外挿するためのシステムおよび方法 | |
CN107065164B (zh) | 图像展示方法及装置 | |
CN114998406A (zh) | 一种自监督多视图深度估计方法、装置 | |
WO2021151380A1 (en) | Method for rendering virtual object based on illumination estimation, method for training neural network, and related products | |
US10212406B2 (en) | Image generation of a three-dimensional scene using multiple focal lengths | |
US20240046583A1 (en) | Real-time photorealistic view rendering on augmented reality (ar) device | |
US8891857B2 (en) | Concave surface modeling in image-based visual hull | |
EP3591605A1 (en) | Systems and methods for offloading image-based tracking operations from a general processing unit to a hardware accelerator unit | |
CN112562087A (zh) | 用于估计姿态的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220830 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7145241 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |