JP2016530581A5 - - Google Patents

Download PDF

Info

Publication number
JP2016530581A5
JP2016530581A5 JP2016500443A JP2016500443A JP2016530581A5 JP 2016530581 A5 JP2016530581 A5 JP 2016530581A5 JP 2016500443 A JP2016500443 A JP 2016500443A JP 2016500443 A JP2016500443 A JP 2016500443A JP 2016530581 A5 JP2016530581 A5 JP 2016530581A5
Authority
JP
Japan
Prior art keywords
reference image
planar target
image
target
subsequent images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016500443A
Other languages
English (en)
Other versions
JP2016530581A (ja
JP6456347B2 (ja
Filing date
Publication date
Priority claimed from US13/802,834 external-priority patent/US10733798B2/en
Application filed filed Critical
Publication of JP2016530581A publication Critical patent/JP2016530581A/ja
Publication of JP2016530581A5 publication Critical patent/JP2016530581A5/ja
Application granted granted Critical
Publication of JP6456347B2 publication Critical patent/JP6456347B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. 平面ターゲットの生成およびトラッキングのためのプロセッサで実装される方法であって、
    一の第1の基準画像からかつ後続の画像を処理する前に平面ターゲットを初期化するステップと、
    1つまたは複数の後続の画像を処理するステップと、
    前記1つまたは複数の後続の画像を前記処理すると、6自由度で前記平面ターゲットをトラッキングするステップと、
    前記処理された1つまたは複数の後続の画像から第2の基準画像を選択するステップと、
    前記第2の基準画像を選択すると、前記平面ターゲットをより正確な平面ターゲットへ精緻化するステップと
    を含み、
    前記単一の第1の基準画像から前記平面ターゲットを前記初期化するステップは、
    前記単一の第1の基準画像から複数の基準特徴を抽出するステップと、
    抽出した基準特徴ごとに、前記平面ターゲット内のそれぞれの基準特徴位置を決定するステップと
    をさらに含み、
    前記平面ターゲットを前記より正確な平面ターゲットへ精緻化するステップは、
    前記後続の画像の各々の前記処理に基づいて、前記基準特徴位置の1つまたは複数についての更新された基準特徴位置を決定するステップと、
    前記単一の第1の基準画像に関連した基準カメラビューと前記後続の画像の1つとそれぞれ関連する複数の後続のカメラビューとの間の平行移動を測定するステップと、
    それぞれの後続の画像について、対応する測定された平行移動が平行移動閾値を満たすことを判定するステップと、
    前記それぞれの後続の画像を前記第2の基準画像として割り当てるステップと
    をさらに含方法。
  2. 前記平面ターゲットを初期化するためのパラメータとして前記平面ターゲットの前額平行ビューを仮定するステップ
    をさらに含む、請求項1に記載のプロセッサで実装される方法。
  3. 前記単一の第1の基準画像も前記第2の基準画像も前記平面ターゲットの実際の前額平行ビューでない場合、前記単一の第1の基準画像または前記第2の基準画像から前記平面ターゲットの修正されたビューを生成するステップ
    をさらに含む、請求項2に記載のプロセッサで実装される方法。
  4. 前記1つまたは複数の後続の画像を処理するステップは、前記1つまたは複数の後続の画像の各々から複数の特徴を抽出するステップをさらに含む、請求項1に記載のプロセッサで実装される方法。
  5. 前記単一の第1の基準画像から前記平面ターゲットを前記初期化するステップは、前記単一の第1の基準画像全体を前記平面ターゲットとして割り当てるステップをさらに含む、請求項1に記載のプロセッサに実装される方法。
  6. 前記平面ターゲットを前記より正確な平面ターゲットへ精緻化するステップは、
    前記単一の第1の基準画像からの前記基準特徴を前記第2の基準画像からの対応する特徴を用いて三角測量するステップであって、
    前記単一の第1の基準画像および前記第2の基準画像内の前記平面ターゲットによってカバーされる領域を計算するステップと、
    前記単一の第1の基準画像および第2の基準画像内の前記平面ターゲットの真の平面の法線を計算するステップと
    をさらに含む、ステップ
    を含む、請求項1に記載のプロセッサで実装される方法。
  7. 前記平面ターゲットは、前記単一の第1の基準画像内で部分的に閉塞されている、任意の平面形状である、または重力に対して任意の配向である、のうちの1つまたは複数である、請求項1に記載のプロセッサで実装される方法。
  8. 前記平面ターゲットを初期化すると、かつ前記後続の画像を処理する前に、前記平面ターゲットの拡張現実の表示画像を表示するステップと、
    6自由度で前記平面ターゲットを前記トラッキングすることに基づいて、前記拡張現実の表示画像を更新するステップと
    をさらに含む、請求項1に記載のプロセッサで実装される方法。
  9. 請求項1〜8のいずれか一項に記載の方法をデータ処理デバイスに実行させる実行可能プログラム命令を含むコンピュータ可読非一時的記憶媒体。
  10. 平面ターゲットの生成およびトラッキングのための装置であって、
    単一の第1の基準画像からかつ後続の画像を処理する前に平面ターゲットを初期化するための手段と、
    1つまたは複数の後続の画像を処理するための手段と、
    前記1つまたは複数の後続の画像を前記処理すると、6自由度で前記平面ターゲットをトラッキングするための手段と、
    前記処理された1つまたは複数の後続の画像から第2の基準画像を選択するための手段と、
    前記第2の基準画像を選択すると、前記平面ターゲットをより正確な平面ターゲットへ精緻化するための手段と
    を備え
    前記単一の第1の基準画像から前記平面ターゲットを前記初期化するための手段は、
    前記単一の第1の基準画像から複数の基準特徴を抽出するための手段と、
    抽出した基準特徴ごとに、前記平面ターゲット内のそれぞれの基準特徴位置を決定するための手段と
    をさらに含み、
    前記平面ターゲットを前記より正確な平面ターゲットへ精緻化するための手段は、
    前記後続の画像の各々の前記処理に基づいて、前記基準特徴位置の1つまたは複数についての更新された基準特徴位置を決定するための手段と、
    前記単一の第1の基準画像に関連した基準カメラビューと前記後続の画像の1つとそれぞれ関連する複数の後続のカメラビューとの間の平行移動を測定するための手段と、
    それぞれの後続の画像について、対応する測定された平行移動が平行移動閾値を満たすことを判定するための手段と、
    前記それぞれの後続の画像を前記第2の基準画像として割り当てるための手段と
    をさらに含む、装置。
  11. 前記平面ターゲットを初期化するためのパラメータとして前記平面ターゲットの前額平行ビューを仮定するための手段
    をさらに備える、請求項10に記載の装置。
  12. 前記単一の第1の基準画像も前記第2の基準画像も前記平面ターゲットの実際の前額平行ビューでない場合、前記単一の第1の基準画像または前記第2の基準画像から前記平面ターゲットの修正されたビューを生成するための手段
    をさらに備える、請求項11に記載の装置。
  13. 前記1つまたは複数の後続の画像を前記処理するための手段は、前記1つまたは複数の後続の画像の各々から複数の特徴を抽出するための手段をさらに備える、請求項10に記載の装置。
  14. 前記単一の第1の基準画像から前記平面ターゲットを前記初期化するための手段は、前記単一の第1の基準画像全体を前記平面ターゲットとして割り当てるための手段をさらに備える、請求項10に記載の装置。
  15. 前記平面ターゲットを前記より正確な平面ターゲットへ前記精緻化するための手段は、
    前記単一の第1の基準画像からの前記基準特徴を前記第2の基準画像からの対応する特徴を用いて三角測量するための手段であって
    前記単一の第1の基準画像および前記第2の基準画像内の前記平面ターゲットによってカバーされる領域を計算するための手段と、
    前記単一の第1の基準画像および第2の基準画像内の前記平面ターゲットの真の平面の法線を計算するための手段と
    をさらに備える、手段と
    をさらに備える、請求項10に記載の装置。
JP2016500443A 2013-03-14 2014-02-26 平面固有の特徴のターゲットのinsitu生成 Active JP6456347B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/802,834 US10733798B2 (en) 2013-03-14 2013-03-14 In situ creation of planar natural feature targets
US13/802,834 2013-03-14
PCT/US2014/018787 WO2014158620A1 (en) 2013-03-14 2014-02-26 In situ creation of planar natural feature targets

Publications (3)

Publication Number Publication Date
JP2016530581A JP2016530581A (ja) 2016-09-29
JP2016530581A5 true JP2016530581A5 (ja) 2017-03-16
JP6456347B2 JP6456347B2 (ja) 2019-01-23

Family

ID=50382554

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016500443A Active JP6456347B2 (ja) 2013-03-14 2014-02-26 平面固有の特徴のターゲットのinsitu生成

Country Status (7)

Country Link
US (2) US10733798B2 (ja)
EP (2) EP2973395A1 (ja)
JP (1) JP6456347B2 (ja)
KR (1) KR102169492B1 (ja)
CN (2) CN110458865B (ja)
BR (1) BR112015023345B1 (ja)
WO (1) WO2014158620A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10733798B2 (en) * 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets
US20140270477A1 (en) * 2013-03-14 2014-09-18 Jonathan Coon Systems and methods for displaying a three-dimensional model from a photogrammetric scan
US9595125B2 (en) * 2013-08-30 2017-03-14 Qualcomm Incorporated Expanding a digital representation of a physical plane
US20150206343A1 (en) * 2014-01-17 2015-07-23 Nokia Corporation Method and apparatus for evaluating environmental structures for in-situ content augmentation
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US10152825B2 (en) * 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
RU2613734C1 (ru) 2015-10-22 2017-03-21 Общество с ограниченной ответственностью "Аби Девелопмент" Захват видео в сценарии ввода данных
US10796477B2 (en) * 2017-06-20 2020-10-06 Edx Technologies, Inc. Methods, devices, and systems for determining field of view and producing augmented reality
US11551368B2 (en) * 2017-08-31 2023-01-10 Sony Group Corporation Electronic devices, methods, and computer program products for controlling 3D modeling operations based on pose metrics
US10706561B2 (en) * 2017-12-21 2020-07-07 612 Authentic Media Systems and methods to track objects in video
WO2020006378A1 (en) * 2018-06-29 2020-01-02 Zoox, Inc. Sensor calibration
JP7458405B2 (ja) * 2018-12-20 2024-03-29 パックサイズ リミティド ライアビリティ カンパニー 部分的視覚情報に基づく対象物寸法付けのためのシステムと方法
US11532093B2 (en) 2019-10-10 2022-12-20 Intermap Technologies, Inc. First floor height estimation from optical images
US11370124B2 (en) * 2020-04-23 2022-06-28 Abb Schweiz Ag Method and system for object tracking in robotic vision guidance
US11551366B2 (en) * 2021-03-05 2023-01-10 Intermap Technologies, Inc. System and methods for correcting terrain elevations under forest canopy

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2411532B (en) * 2004-02-11 2010-04-28 British Broadcasting Corp Position determination
US7356165B2 (en) * 2004-03-09 2008-04-08 Matsushita Electric Industrial Co., Ltd. Imaging apparatus performing a high reliability data analysis
JP2007529007A (ja) 2004-03-12 2007-10-18 ブラッコ イメージング ソチエタ ペル アチオニ 強化現実システムにおけるオーバーレイ・エラーの測定方法と、その計測システム
CN100397411C (zh) * 2006-08-21 2008-06-25 北京中星微电子有限公司 实时鲁棒的人脸追踪显示方法及系统
JP4694624B2 (ja) * 2006-09-13 2011-06-08 パイオニア株式会社 画像補正装置及び方法、並びにコンピュータプログラム
FR2911707B1 (fr) * 2007-01-22 2009-07-10 Total Immersion Sa Procede et dispositifs de realite augmentee utilisant un suivi automatique, en temps reel, d'objets geometriques planaires textures, sans marqueur, dans un flux video.
US8126260B2 (en) * 2007-05-29 2012-02-28 Cognex Corporation System and method for locating a three-dimensional object using machine vision
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
US8401276B1 (en) * 2008-05-20 2013-03-19 University Of Southern California 3-D reconstruction and registration
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US8379130B2 (en) * 2009-08-07 2013-02-19 Qualcomm Incorporated Apparatus and method of processing images based on an adjusted value of an image processing parameter
FR2951565B1 (fr) * 2009-10-20 2016-01-01 Total Immersion Procede, programme d'ordinateur et dispositif de suivi hybride de representations d'objets, en temps reel, dans une sequence d'images
KR101100784B1 (ko) * 2009-11-10 2012-01-02 광운대학교 산학협력단 물체 인식 방법 및 장치
US8509482B2 (en) 2009-12-21 2013-08-13 Canon Kabushiki Kaisha Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
EP2339537B1 (en) * 2009-12-23 2016-02-24 Metaio GmbH Method of determining reference features for use in an optical object initialization tracking process and object initialization tracking method
KR101080375B1 (ko) 2010-04-23 2011-11-04 광주과학기술원 객체 학습 방법, 객체 학습 방법을 이용한 객체 추적 방법, 객체 학습 및 추적 시스템
KR101657120B1 (ko) * 2010-05-06 2016-09-13 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
EP2395478A1 (en) 2010-06-12 2011-12-14 Toyota Motor Europe NV/SA Monocular 3D pose estimation and tracking by detection
US9013550B2 (en) 2010-09-09 2015-04-21 Qualcomm Incorporated Online reference generation and tracking for multi-user augmented reality
US9262002B2 (en) 2010-11-03 2016-02-16 Qualcomm Incorporated Force sensing touch screen
US20120120113A1 (en) 2010-11-15 2012-05-17 Eduardo Hueso Method and apparatus for visualizing 2D product images integrated in a real-world environment
US9213908B2 (en) * 2011-03-23 2015-12-15 Metaio Gmbh Method for registering at least one part of a first and second image using a collineation warping function
US8638986B2 (en) 2011-04-20 2014-01-28 Qualcomm Incorporated Online reference patch generation and pose estimation for augmented reality
US9020187B2 (en) 2011-05-27 2015-04-28 Qualcomm Incorporated Planar mapping and tracking for mobile devices
US9342610B2 (en) * 2011-08-25 2016-05-17 Microsoft Technology Licensing, Llc Portals: registered objects as virtualized, personalized displays
US9305361B2 (en) * 2011-09-12 2016-04-05 Qualcomm Incorporated Resolving homography decomposition ambiguity based on orientation sensors
GB2506338A (en) * 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US10733798B2 (en) 2013-03-14 2020-08-04 Qualcomm Incorporated In situ creation of planar natural feature targets

Similar Documents

Publication Publication Date Title
JP2016530581A5 (ja)
JP2018049591A5 (ja) 画像処理装置、画像処理方法及びプログラム
RU2016101616A (ru) Вычислительное устройство, способ и вычислительная система
JP2016534461A5 (ja)
EP3136204A3 (en) Image processing device and image processing method
MX2017015345A (es) Metodo para la reconstruccion en 3d de un ambiente de un dispositivo movil, que corresponde a un producto de programa de computadora y dispositivo.
WO2015051269A3 (en) Generating augmented reality content for unknown objects
MY192140A (en) Information processing method, terminal, and computer storage medium
JP2016502712A5 (ja)
JP2016522923A5 (ja)
JP2016507793A5 (ja)
JP2017050701A5 (ja)
MY195861A (en) Information Processing Method, Electronic Device, and Computer Storage Medium
JP6190035B2 (ja) コンテンツ配信のセグメンテーション
JP2017502412A5 (ja)
JP2016514865A5 (ja)
JP2016524221A5 (ja)
JP2016539398A5 (ja)
JP2016512363A5 (ja)
JP2013235373A5 (ja)
EP3200048A3 (en) Image display apparatus
JP2017047127A5 (ja)
JP2016517580A5 (ja)
BR112019011254A8 (pt) Método para gerar uma imagem de intensidade de luz, aparelho para gerar uma imagem de intensidade de luz, e produto de programa de computador
JP2017011431A5 (ja)