JP2016500885A5 - - Google Patents

Download PDF

Info

Publication number
JP2016500885A5
JP2016500885A5 JP2015539627A JP2015539627A JP2016500885A5 JP 2016500885 A5 JP2016500885 A5 JP 2016500885A5 JP 2015539627 A JP2015539627 A JP 2015539627A JP 2015539627 A JP2015539627 A JP 2015539627A JP 2016500885 A5 JP2016500885 A5 JP 2016500885A5
Authority
JP
Japan
Prior art keywords
scene
diversity
maps
keyframes
key frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015539627A
Other languages
English (en)
Other versions
JP6339579B2 (ja
JP2016500885A (ja
Filing date
Publication date
Priority claimed from US13/830,664 external-priority patent/US9177404B2/en
Application filed filed Critical
Publication of JP2016500885A publication Critical patent/JP2016500885A/ja
Publication of JP2016500885A5 publication Critical patent/JP2016500885A5/ja
Application granted granted Critical
Publication of JP6339579B2 publication Critical patent/JP6339579B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. コンピュータビジョンベースの追跡のために複数のマップをマージする方法であって、
    少なくとも1つのモバイルデバイスからある場所におけるシーンの複数のマップを受信するステップと、
    前記シーンの前記複数のマップの複数のキーフレームを識別するステップと、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップと
    を備え
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップは、
    前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティのうちの少なくとも1つの少なくとも一部に基づいて寄与スコアを決定するステップと、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するステップと
    を備える、方法。
  2. ある場所におけるシーンの複数のマップを受信するステップは、
    複数のモバイルデバイスから前記シーンの前記複数のマップを受信するステップ
    を備える、請求項1に記載の方法。
  3. 複数のモバイルデバイスからの前記シーンの前記複数のマップからの前記複数のキーフレームの冗長性を評価するステップと、
    冗長なキーフレームを削除するステップと
    をさらに備える、請求項2に記載の方法。
  4. 複数のモバイルデバイスからの前記シーンの前記複数のマップを使用して自己位置推定及び地図構築同時実行(SLAM)マップを生成するステップと、
    前記複数のモバイルデバイスの間で前記SLAMマップを共有するステップと
    をさらに備える、請求項2に記載の方法。
  5. 前記シーンの前記複数のマップの前記複数のキーフレームを識別するステップは、
    複数の角度から前記シーンの複数の視点を表す前記複数のキーフレームを識別するステップと、
    複数のスケールで前記シーンの複数の視点を表す前記複数のキーフレームを識別するステップと
    のうちの少なくとも1つを備え、
    前記複数のキーフレームは、前記複数のマップの共通の特徴、位置座標、および外観を含む、
    請求項1に記載の方法。
  6. 複数のスケールは、
    前記少なくとも1つのモバイルデバイスと前記シーンとの間の複数の距離と、
    前記少なくとも1つのモバイルデバイスからの前記シーンの複数のアスペクト比と
    のうちの少なくとも1つを備える、
    請求項5に記載の方法。
  7. 前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するステップは、
    第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するステップと、
    第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するステップと、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるステップと
    を備える、請求項1に記載の方法。
  8. 前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするステップは、
    角度ヒストグラムにおいて前記複数のキーフレームを計数するステップであって、前記角度ヒストグラムは、前記シーンの異なる視点角度を表す複数のビンを含み、前記複数のビンの各ビンは、前記シーンの異なる視点スケールを表す複数の区分を含む、ステップと、
    前記角度ヒストグラムにおける前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティに少なくとも一部基づいて前記寄与スコアを決定するステップと、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するステップと
    を備える、請求項1に記載の方法。
  9. 前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するステップは、
    前記キーフレームが含まれるビン内のキーフレームの数に少なくとも一部基づいている第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するステップと、
    前記キーフレームが含まれる区分内のキーフレームの数に少なくとも一部基づいている第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するステップと、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるステップと
    を備える、請求項8に記載の方法。
  10. 前記場所において前記少なくとも1つのモバイルデバイスの位置を追跡するステップ
    をさらに備える、請求項1に記載の方法。
  11. 少なくとも1つのモバイルデバイスからある場所におけるシーンの複数のマップを受信するための手段と、
    前記シーンの前記複数のマップの複数のキーフレームを識別するための手段と、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段と
    を備え、
    前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段は、
    前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティのうちの少なくとも1つの少なくとも一部に基づいて寄与スコアを決定し、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除する
    ように構成される、システム。
  12. ある場所におけるシーンの複数のマップを受信するための手段は、
    複数のモバイルデバイスから前記シーンの前記複数のマップを受信するための手段と、
    複数のモバイルデバイスからの前記シーンの前記複数のマップからの前記複数のキーフレームの冗長性を評価するための手段と、
    冗長なキーフレームを削除するための手段と、
    複数のモバイルデバイスからの前記シーンの前記複数のマップを使用して自己位置推定及び地図構築同時実行(SLAM)マップを生成するための手段と、
    前記複数のモバイルデバイスの間で前記SLAMマップを共有するための手段と
    を備える、請求項11に記載のシステム
  13. 前記シーンの前記複数のマップの前記複数のキーフレームを識別するための手段は、
    複数の角度から前記シーンの複数の視点を表す前記複数のキーフレームを識別するための手段と、
    複数のスケールで前記シーンの複数の視点を表す前記複数のキーフレームを識別するための手段
    のうちの少なくとも1つを備え、
    前記複数のキーフレームは、前記複数のマップの共通の特徴、位置座標、および外観を含み、
    複数のスケールは、
    前記少なくとも1つのモバイルデバイスと前記シーンとの間の複数の距離と、
    前記少なくとも1つのモバイルデバイスからの前記シーンの複数のアスペクト比と
    のうちの少なくとも1つを備える
    請求項11に記載のシステム
  14. 前記シーンのグローバルマップを生成するために前記複数のキーフレームをマージするための手段は、
    角度ヒストグラムにおいて前記複数のキーフレームを計数するための手段であって、前記角度ヒストグラムは、前記シーンの異なる視点角度を表す複数のビンを含み、前記複数のビンの各ビンは、前記シーンの異なる視点スケールを表す複数の区分を含む、手段と、
    前記角度ヒストグラムにおける前記複数のキーフレームの各キーフレームに関して、
    前記キーフレームの角度ダイバーシティおよび前記キーフレームのスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するための手段と、
    所定のしきい値未満の前記寄与スコアに応じて前記キーフレームを削除するための手段
    を備え
    前記キーフレームの角度ダイバーシティおよびスケールダイバーシティに少なくとも一部基づいて寄与スコアを決定するための手段は、
    前記キーフレームが含まれるビン内のキーフレームの数に少なくとも一部基づいている第1の重み因子を前記キーフレームの前記角度ダイバーシティに適用することによって角度ダイバーシティスコアリング基準値を計算するための手段と、
    前記キーフレームが含まれる区分内のキーフレームの数に少なくとも一部基づいている第2の重み因子を前記キーフレームの前記スケールダイバーシティに適用することによってスケールダイバーシティスコアリング基準値を計算するための手段と、
    前記寄与スコアを生成するために前記角度ダイバーシティスコアリング基準値と前記スケールダイバーシティスコアリング基準値とを組み合わせるための手段と
    を備える、請求項11に記載のシステム
  15. 1つまたは複数のコンピュータシステムによって実行される命令を記憶するコンピュータ可読記憶媒体にあるコンピュータプログラムであって、前記命令は、実行されると、前記1つまたは複数のコンピュータシステムに請求項1から10のいずれか一項に記載の方法を実行させる、コンピュータプログラム。
JP2015539627A 2012-10-31 2013-10-08 コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法 Expired - Fee Related JP6339579B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261720804P 2012-10-31 2012-10-31
US61/720,804 2012-10-31
US13/830,664 2013-03-14
US13/830,664 US9177404B2 (en) 2012-10-31 2013-03-14 Systems and methods of merging multiple maps for computer vision based tracking
PCT/US2013/063876 WO2014070390A1 (en) 2012-10-31 2013-10-08 Systems and methods of merging multiple maps for computer vision based tracking

Publications (3)

Publication Number Publication Date
JP2016500885A JP2016500885A (ja) 2016-01-14
JP2016500885A5 true JP2016500885A5 (ja) 2016-11-04
JP6339579B2 JP6339579B2 (ja) 2018-06-06

Family

ID=50547228

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015539627A Expired - Fee Related JP6339579B2 (ja) 2012-10-31 2013-10-08 コンピュータビジョンベースの追跡のために複数のマップをマージするシステムおよび方法

Country Status (6)

Country Link
US (1) US9177404B2 (ja)
EP (1) EP2915138B1 (ja)
JP (1) JP6339579B2 (ja)
KR (1) KR20150079730A (ja)
CN (1) CN104756155B (ja)
WO (1) WO2014070390A1 (ja)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010045271A1 (en) * 2008-10-14 2010-04-22 Joshua Victor Aller Target and method of detecting, identifying, and determining 3-d pose of the target
US9367811B2 (en) * 2013-03-15 2016-06-14 Qualcomm Incorporated Context aware localization, mapping, and tracking
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR101574876B1 (ko) * 2014-02-13 2015-12-04 영남대학교 산학협력단 비전 센서 데이터베이스를 이용한 거리 측정 방법
US9478029B2 (en) * 2014-10-23 2016-10-25 Qualcomm Incorporated Selection strategy for exchanging map information in collaborative multi-user SLAM systems
CA2970985C (en) * 2014-12-18 2021-10-12 Innerspace Technology Inc. Wayfinding system for interior spaces using an auto-generated navigational map
US10185775B2 (en) * 2014-12-19 2019-01-22 Qualcomm Technologies, Inc. Scalable 3D mapping system
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
CN112764536A (zh) 2015-03-05 2021-05-07 奇跃公司 用于增强现实的系统和方法
US10838207B2 (en) 2015-03-05 2020-11-17 Magic Leap, Inc. Systems and methods for augmented reality
US9940542B2 (en) * 2015-08-11 2018-04-10 Google Llc Managing feature data for environment mapping on an electronic device
CN108604383A (zh) 2015-12-04 2018-09-28 奇跃公司 重新定位系统和方法
JP6842618B2 (ja) * 2015-12-14 2021-03-17 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 3dマップの作成
CN105913459B (zh) * 2016-05-10 2019-07-12 中国科学院自动化研究所 基于高分辨率连拍图像的运动目标检测方法
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US10217231B2 (en) * 2016-05-31 2019-02-26 Microsoft Technology Licensing, Llc Systems and methods for utilizing anchor graphs in mixed reality environments
KR20190034321A (ko) 2016-08-02 2019-04-01 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10812936B2 (en) * 2017-01-23 2020-10-20 Magic Leap, Inc. Localization determination for mixed reality systems
US10534964B2 (en) * 2017-01-30 2020-01-14 Blackberry Limited Persistent feature descriptors for video
US10217232B2 (en) 2017-02-08 2019-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for locally aligning map data
CN111309955B (zh) * 2017-02-13 2022-06-24 哈尔滨理工大学 一种面向图像检索的融合方法
KR102359978B1 (ko) 2017-03-17 2022-02-07 매직 립, 인코포레이티드 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
AU2018236457B2 (en) 2017-03-17 2021-04-29 Magic Leap, Inc. Mixed reality system with virtual content warping and method of generating virtual content using same
KR102594063B1 (ko) 2017-03-17 2023-10-24 매직 립, 인코포레이티드 컬러 가상 콘텐츠 워핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
US10990829B2 (en) * 2017-04-28 2021-04-27 Micro Focus Llc Stitching maps generated using simultaneous localization and mapping
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
CN110099237B (zh) * 2018-01-31 2021-08-17 腾讯科技(深圳)有限公司 图像处理方法、电子装置及计算机可读存储介质
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) * 2018-05-31 2023-08-01 マジック リープ, インコーポレイテッド レーダ頭部姿勢位置特定
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
US10549186B2 (en) * 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
CN109074757B (zh) * 2018-07-03 2021-11-09 达闼机器人有限公司 一种建立地图的方法、终端和计算机可读存储介质
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020014924A1 (zh) * 2018-07-19 2020-01-23 驭势科技(北京)有限公司 视觉定位地图存储及加载方法、装置、系统及存储介质
EP3827299A4 (en) 2018-07-23 2021-10-27 Magic Leap, Inc. SYSTEM OF MIXED REALITY WITH VIRTUAL CONTENT DISTORTION AND PROCESS FOR GENERATING VIRTUAL CONTENT WITH IT
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
JP7139762B2 (ja) * 2018-07-31 2022-09-21 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
JP7182976B2 (ja) 2018-09-27 2022-12-05 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
CN109754385A (zh) * 2019-01-11 2019-05-14 中南大学 未配准多聚焦图像的快速融合方法
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ, インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ, インコーポレイテッド 第1および第2の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN109949412B (zh) * 2019-03-26 2021-03-02 腾讯科技(深圳)有限公司 一种三维对象重建方法和装置
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
CN111241944B (zh) * 2019-12-31 2023-05-26 浙江大学 基于背景目标与背景特征匹配的场景识别与回环检测方法
CN111402288A (zh) * 2020-03-26 2020-07-10 杭州博雅鸿图视频技术有限公司 目标检测跟踪方法及装置
WO2022049615A1 (ja) * 2020-09-01 2022-03-10 株式会社ネイン 情報処理システム、情報処理方法およびコンピュータプログラム
CN112541970A (zh) * 2020-11-30 2021-03-23 北京华捷艾米科技有限公司 一种集中式协同SlAM中的重定位方法及装置
KR102431122B1 (ko) 2021-12-30 2022-08-10 주식회사 버넥트 맵 타겟 추적 방법 및 그 시스템
CN115376051B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 关键帧的管理方法及管理装置、slam方法、电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1167120B1 (en) 2000-06-30 2014-08-27 Panasonic Corporation Rendering device for parking aid
WO2007012198A1 (en) 2005-07-26 2007-02-01 Macdonald, Dettwiler & Associates Inc. Guidance, navigation, and control system for a vehicle
JP4400659B2 (ja) 2007-09-03 2010-01-20 トヨタ自動車株式会社 車載表示装置
JP4803155B2 (ja) * 2007-10-15 2011-10-26 セイコーエプソン株式会社 複数の画像データのパノラマ合成
US8200037B2 (en) * 2008-01-28 2012-06-12 Microsoft Corporation Importance guided image transformation
US8204299B2 (en) * 2008-06-12 2012-06-19 Microsoft Corporation 3D content aggregation built into devices
WO2010088840A1 (en) * 2009-02-06 2010-08-12 The Hong Kong University Of Science And Technology Generating three-dimensional models from images
IL202460A (en) * 2009-12-01 2013-08-29 Rafael Advanced Defense Sys Method and system for creating a 3D view of real arena for military planning and operations
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US20120195491A1 (en) 2010-07-21 2012-08-02 Palo Alto Research Center Incorporated System And Method For Real-Time Mapping Of An Indoor Environment Using Mobile Robots With Limited Sensing
KR101732076B1 (ko) 2010-12-22 2017-05-02 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
CN102541418B (zh) * 2010-12-30 2015-04-08 上海博泰悦臻电子设备制造有限公司 一种实现地图显示的处理方法及装置
US9247133B2 (en) * 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130293671A1 (en) * 2012-05-01 2013-11-07 Tourwrist, Inc. Systems and methods for stitching and sharing panoramas

Similar Documents

Publication Publication Date Title
JP2016500885A5 (ja)
WO2017136014A3 (en) Video sensor and model based virtual and augmented reality systems and methods
US10614324B2 (en) Method and apparatus for identifying static obstacle
CN107728615B (zh) 一种自适应区域划分的方法及系统
GB2550800A (en) Managing data in storage according to a log structure
WO2015026679A3 (en) Disconnected operation for systems utilizing cloud storage
WO2012092246A3 (en) Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
JP2018507464A5 (ja)
US8935096B2 (en) Apparatus for fast path search by learning heuristic function and method thereof
MX2016016803A (es) Generacion de datos del sensor virtual para deteccion de topes.
GB2559491A (en) Continuous control with deep reinforcement learning
JP2015082326A5 (ja)
JP2016528481A5 (ja)
JP2015155903A5 (ja)
RU2019138260A (ru) Устройство, способ и программа аудиообработки
WO2021046065A8 (en) Intelligent stylus beam and assisted probabilistic input to element mapping in 2d and 3d graphical user interfaces
JP2015535115A5 (ja)
JP2013529291A5 (ja)
EP2662831A3 (en) Comparing virtual and real images of a shopping planogram
JP5905481B2 (ja) 判定方法及び判定装置
JP2012503513A5 (ja)
JP2016533557A5 (ja)
WO2017056089A3 (en) Method and a system for identifying reflective surfaces in a scene
RU2011114094A (ru) Картографическая база данных, имеющая векторы для определения пунктов назначения, и способ определения векторов
JP2014502393A5 (ja)