JP2016527583A5 - - Google Patents

Download PDF

Info

Publication number
JP2016527583A5
JP2016527583A5 JP2016512077A JP2016512077A JP2016527583A5 JP 2016527583 A5 JP2016527583 A5 JP 2016527583A5 JP 2016512077 A JP2016512077 A JP 2016512077A JP 2016512077 A JP2016512077 A JP 2016512077A JP 2016527583 A5 JP2016527583 A5 JP 2016527583A5
Authority
JP
Japan
Prior art keywords
camera
movement
display
desired direction
indication
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016512077A
Other languages
English (en)
Other versions
JP2016527583A (ja
JP6359644B2 (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from US14/268,784 external-priority patent/US9667873B2/en
Publication of JP2016527583A publication Critical patent/JP2016527583A/ja
Publication of JP2016527583A5 publication Critical patent/JP2016527583A5/ja
Application granted granted Critical
Publication of JP6359644B2 publication Critical patent/JP6359644B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (15)

  1. カメラとディスプレイとを含むユーザデバイス(UD)上でのコンピュータビジョン(CV)アプリケーションのターゲットレス初期化のための方法であって、
    初期カメラ姿勢およびカメラとピボット位置との間の選択されたピボット距離に基づい
    てターゲットレス初期化のための最適カメラ軌跡を判定するステップであって、前記初期カメラ姿勢は、前記カメラによって取り込まれる第1の画像に基づいて推定される、判定するステップと、
    前記カメラの所望の移動方向の表示を用いて前記ディスプレイをリアルタイムで更新す
    るステップであって、前記所望の移動方向の前記表示は、現在のカメラ姿勢および前記判
    定された最適カメラ軌跡に部分的に基づき、前記現在のカメラ姿勢は、前記カメラによっ
    て取り込まれる現在の画像に基づいて推定される、更新するステップと
    を含む、方法。
  2. 前記カメラの前記所望の移動方向は、前記判定された最適カメラ軌跡との前記カメラの
    現在の軌跡の比較に部分的に基づいて入手され、前記カメラの前記現在の軌跡は、以前の
    カメラ姿勢のシーケンスから判定される、請求項1に記載の方法。
  3. 前記カメラの更新された所望の移動方向の1つまたは複数の表示のシーケンスを用いて
    前記ディスプレイをリアルタイムで更新するステップであって、前記シーケンス内の所望
    の移動方向の前記1つまたは複数の表示の各々は、前記カメラのさらなる移動に関連する
    対応するカメラ姿勢に部分的に基づいて更新される、更新するステップ
    をさらに含む、請求項1に記載の方法。
  4. 前記ピボット距離は、
    任意の正の値と、
    前記第1の画像内の観察された特徴点のサブセットの平均距離と、
    しきい値を超える値と
    のうちの少なくとも1つとして決定される、請求項1に記載の方法。
  5. 前記カメラの現在の軌跡の品質の尺度を計算するステップであって、前記カメラの前記
    現在の軌跡は、前記現在のカメラ姿勢と以前のカメラ姿勢のシーケンスとに部分的に基づ
    いて判定され、品質の前記尺度は、前記判定された最適カメラ軌跡との前記現在の軌跡の
    比較に基づく、計算するステップと、
    前記カメラの前記現在の軌跡の品質の前記尺度の表示を表示するステップと
    をさらに含む、請求項1に記載の方法。
  6. 最適カメラ軌跡を判定するステップの前に、
    カメラによって取り込まれる画像内の複数の特徴点に部分的に基づいて、初期化に関す
    る前記カメラによって取り込まれる画像の適切さを判定するステップと、
    前記カメラによって取り込まれる画像が初期化に関して適切であると判定される時に、
    前記第1の画像として前記カメラによって取り込まれる画像を選択するステップと
    を含む、請求項1に記載の方法。
  7. 前記第1の画像の選択時に、初期化に関する前記第1の画像の適切さの表示を、前記ディ
    スプレイ上の前記カメラによって取り込まれる画像の表示を第1の仮想オブジェクトを用
    いて増補することによって提供するステップ、または
    初期化に関する前記カメラによって取り込まれる画像の不適切さの表示を、前記ディス
    プレイ上の前記カメラによって取り込まれる画像の前記表示を第2の仮想オブジェクトを
    用いて増補することによって提供するステップ
    をさらに含む、請求項6に記載の方法。
  8. 移動方向の前記表示は、
    前記所望の移動方向の前記表示を提供するための2次元(2D)スクリーン整列されたUI要
    素を含むスクリーン整列された2Dガイダンス方式、
    前記所望の移動方向の前記表示を提供するための3次元(3D)スクリーン整列されたUI要
    素を含むスクリーン整列された3Dガイダンス方式、
    前記所望の移動方向の前記表示を提供するための実世界オブジェクトに整列された3D U
    I要素を含むワールド整列された3Dガイダンス方式、または
    2.5次元(2.5-D)で表示されるUI要素を含むワールド整列された2.5-Dガイダンス方式で
    あって、前記UI要素は、前記所望の移動方向の前記表示を提供するために実世界オブジェ
    クトに整列される、2.5-Dガイダンス方式
    のうちの少なくとも1つを使用して提供される、請求項1に記載の方法。
  9. 前記所望の移動方向の前記表示は、前記カメラの横並進モーションシーケンスと前記カ
    メラのピボット初期化モーションシーケンスとの両方について提供される、請求項1に記
    載の方法。
  10. 前記所望の移動方向の前記表示は、過去の移動の表示と、好ましい将来の移動方向の表
    示とを含む、請求項1に記載の方法。
  11. 前記所望の移動方向の前記表示は、前記カメラの回転移動をも示す、請求項1に記載の
    方法。
  12. 前記所望の移動方向の前記表示に関連して前記ユーザに聴覚フィードバックまたは触覚
    フィードバックのうちの少なくとも1つを提供するステップ
    をさらに含む、請求項1に記載の方法。
  13. カメラとディスプレイとを含むユーザデバイス(UD)上でのコンピュータビジョン(CV)アプリケーションのターゲットレス初期化のための装置であって、
    初期カメラ姿勢およびカメラとピボット位置との間の推定されたピボット距離に基づい
    てターゲットレス初期化のための最適カメラ軌跡を判定するための手段であって、前記初期カメラ姿勢は、前記カメラによって取り込まれる第1の画像に基づいて推定される、判定するための手段と、
    前記カメラの所望の移動方向の表示を用いて前記ディスプレイをリアルタイムで更新す
    るための手段であって、前記所望の移動方向の前記表示は、現在のカメラ姿勢および前記判定された最適カメラ軌跡に部分的に基づき、前記現在のカメラ姿勢は、前記カメラによって取り込まれる現在の画像に基づいて推定される、更新するための手段と
    を備える、装置。
  14. 前記ディスプレイを更新するための手段は、前記カメラの前記所望の移動方向を入手するための手段を含み、
    前記画像取込手段の前記所望の移動方向を入手するための前記手段は、
    前記判定された最適軌跡を現在の軌跡と比較するための手段であって、前記現在の軌跡は、以前の画像取込手段姿勢のシーケンスから判定される、比較するための手段
    を含む、請求項13に記載の装置。
  15. プロセッサによって実行された時に、請求項1乃至12の何れか1項に記載の方法を実行する命令を含むコンピュータ可読記憶媒体。
JP2016512077A 2013-05-02 2014-05-02 コンピュータビジョンアプリケーション初期化を容易にするための方法 Active JP6359644B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361818894P 2013-05-02 2013-05-02
US61/818,894 2013-05-02
US201361884845P 2013-09-30 2013-09-30
US61/884,845 2013-09-30
US14/268,784 US9667873B2 (en) 2013-05-02 2014-05-02 Methods for facilitating computer vision application initialization
US14/268,784 2014-05-02
PCT/US2014/036659 WO2014179745A1 (en) 2013-05-02 2014-05-02 Methods for facilitating computer vision application initialization

Publications (3)

Publication Number Publication Date
JP2016527583A JP2016527583A (ja) 2016-09-08
JP2016527583A5 true JP2016527583A5 (ja) 2017-06-01
JP6359644B2 JP6359644B2 (ja) 2018-07-18

Family

ID=51841264

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016512077A Active JP6359644B2 (ja) 2013-05-02 2014-05-02 コンピュータビジョンアプリケーション初期化を容易にするための方法

Country Status (6)

Country Link
US (1) US9667873B2 (ja)
EP (1) EP2992507B1 (ja)
JP (1) JP6359644B2 (ja)
KR (1) KR102131477B1 (ja)
CN (1) CN105408937B (ja)
WO (1) WO2014179745A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101773116B1 (ko) * 2013-07-26 2017-08-31 삼성전자주식회사 영상 촬영 장치 및 이의 촬영 방법
US9965895B1 (en) * 2014-03-20 2018-05-08 A9.Com, Inc. Augmented reality Camera Lucida
US9953243B2 (en) * 2014-04-25 2018-04-24 Google Llc Electronic device localization based on imagery
US9430038B2 (en) * 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9508195B2 (en) * 2014-09-03 2016-11-29 Microsoft Technology Licensing, Llc Management of content in a 3D holographic environment
JP6193195B2 (ja) * 2014-09-17 2017-09-06 株式会社東芝 移動支援装置、方法及びプログラム
US11016302B2 (en) * 2015-03-17 2021-05-25 Raytrx, Llc Wearable image manipulation and control system with high resolution micro-displays and dynamic opacity augmentation in augmented reality glasses
US10950051B2 (en) * 2015-03-27 2021-03-16 Rockwell Automation Technologies, Inc. Systems and methods for presenting an augmented reality
US10475239B1 (en) * 2015-04-14 2019-11-12 ETAK Systems, LLC Systems and methods for obtaining accurate 3D modeling data with a multiple camera apparatus
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
JP6461024B2 (ja) * 2016-02-05 2019-01-30 富士フイルム株式会社 画像位置合せ装置、方法およびプログラム
JP6823403B2 (ja) * 2016-02-15 2021-02-03 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、情報処理方法およびプログラム
JP6701930B2 (ja) * 2016-04-28 2020-05-27 富士通株式会社 オーサリング装置、オーサリング方法およびオーサリングプログラム
EP3448538A1 (en) * 2016-04-29 2019-03-06 Hewlett-Packard Development Company, L.P. Guidance information relating to a target image
EP3453169A4 (en) * 2016-05-07 2019-09-18 Smart Third-i Ltd SYSTEMS AND METHODS WITH EDGE CAMERA ARRANGEMENTS IN HANDHELD DEVICES
CN105976391B (zh) * 2016-05-27 2018-12-14 西北工业大学 基于orb-slam的多摄像机标定方法
US10217225B2 (en) * 2016-06-01 2019-02-26 International Business Machines Corporation Distributed processing for producing three-dimensional reconstructions
CN108781261B (zh) * 2016-06-09 2020-10-16 谷歌有限责任公司 通过视觉障碍拍摄照片
US10488195B2 (en) 2016-10-25 2019-11-26 Microsoft Technology Licensing, Llc Curated photogrammetry
WO2018170490A1 (en) * 2017-03-17 2018-09-20 Magic Leap, Inc. Technique for recording augmented reality data
CN108961385B (zh) * 2017-05-22 2023-05-02 中国人民解放军信息工程大学 一种slam构图方法及装置
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
US10841486B2 (en) * 2017-07-20 2020-11-17 Eclo, Inc. Augmented reality for three-dimensional model reconstruction
CN111094893A (zh) 2017-07-28 2020-05-01 高通股份有限公司 机器人式运载工具的图像传感器初始化
KR102512247B1 (ko) * 2017-10-20 2023-03-22 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램, 그리고 교환 렌즈
JP2021500690A (ja) * 2017-10-23 2021-01-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 自己展開型拡張現実ベースのサービス命令ライブラリ
EP3496387A1 (en) * 2017-12-05 2019-06-12 Koninklijke Philips N.V. Apparatus and method of image capture
GB201804195D0 (en) * 2018-03-15 2018-05-02 Blue Vision Labs Uk Ltd Visual vehicle tracking through noise and occlusions using crowd-sourced maps
CN110264509B (zh) * 2018-04-27 2022-10-14 腾讯科技（深圳）有限公司 确定图像捕捉设备的位姿的方法、装置及其存储介质
US10964056B1 (en) 2018-05-18 2021-03-30 Apple Inc. Dense-based object tracking using multiple reference images
CN108804161B (zh) * 2018-06-21 2022-03-04 北京字节跳动网络技术有限公司 应用的初始化方法、装置、终端和存储介质
US11189054B2 (en) * 2018-09-28 2021-11-30 Apple Inc. Localization and mapping using images from multiple devices
CN109658507A (zh) * 2018-11-27 2019-04-19 联想(北京)有限公司 信息处理方法及装置、电子设备
CN109579844B (zh) * 2018-12-04 2023-11-21 电子科技大学 定位方法及系统
US20200342610A1 (en) * 2019-04-24 2020-10-29 XRSpace CO., LTD. Method of Pose Change Notification and Related Interactive Image Processing System
CN110348418B (zh) * 2019-07-17 2022-03-11 上海商汤智能科技有限公司 目标跟踪方法及装置、智能移动设备和存储介质
US11373374B2 (en) 2019-11-07 2022-06-28 Volvo Car Corporation Aligning the augmented reality or virtual reality world with the real world using natural position understanding
CN111156997B (zh) * 2020-03-02 2021-11-30 南京航空航天大学 一种基于相机内参在线标定的视觉/惯性组合导航方法
CN111539982B (zh) * 2020-04-17 2023-09-15 北京维盛泰科科技有限公司 一种移动平台中基于非线性优化的视觉惯导初始化方法
CN114245000A (zh) * 2020-09-09 2022-03-25 北京小米移动软件有限公司 拍摄方法和装置、电子设备、存储介质
US20220414988A1 (en) * 2021-06-28 2022-12-29 Microsoft Technology Licensing, Llc Guidance system for the creation of spatial anchors for all users, including those who are blind or low vision
WO2023132269A1 (ja) * 2022-01-06 2023-07-13 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
CN114257671B (zh) * 2022-02-28 2022-07-19 荣耀终端有限公司 一种图像显示方法及电子设备
CN116026368B (zh) * 2023-03-29 2023-07-04 上海仙工智能科技有限公司 移动机器人的参数联合标定方法及系统、设备、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
US8760401B2 (en) * 2008-04-21 2014-06-24 Ron Kimmel System and method for user object selection in geographic relation to a video display
CN101441769A (zh) * 2008-12-11 2009-05-27 上海交通大学 单目摄像机实时视觉定位方法
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
JP2011199750A (ja) * 2010-03-23 2011-10-06 Olympus Corp 撮像端末、外部端末、撮像システム、及び撮像方法
US20130234926A1 (en) * 2012-03-07 2013-09-12 Qualcomm Incorporated Visually guiding motion to be performed by a user
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN102706342A (zh) * 2012-05-31 2012-10-03 重庆邮电大学 一种智能移动机器人的定位与环境建模方法

Similar Documents

Publication Publication Date Title
JP2016527583A5 (ja)
JP6228320B2 (ja) 制約なしｓｌａｍ用のセンサベースのカメラ運動検出
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
JP2016526313A5 (ja)
EP3007038A3 (en) Interaction with three-dimensional video
JP2019083033A (ja) 仮想現実環境においてナビゲートする方法、システム、および装置
JP2019087229A5 (ja)
US20190033988A1 (en) Controller tracking for multiple degrees of freedom
JP2011258204A5 (ja)
JP2016502210A5 (ja)
JP2016502712A5 (ja)
JP6558839B2 (ja) 媒介現実
WO2015126443A1 (en) Moving object localization in 3d using a single camera
RU2017102204A (ru) Препятствование спотыканию при погружении в среду виртуальной реальности
JP2013164696A5 (ja)
JP2009134693A5 (ja)
JP5795250B2 (ja) 被写体姿勢推定装置および映像描画装置
JP2013105285A5 (ja)
JP2016518647A5 (ja)
WO2017043145A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10838515B1 (en) Tracking using controller cameras
US11112857B2 (en) Information processing apparatus, information processing method, and program
CN109407824B (zh) 人体模型的同步运动方法与装置
US20200211275A1 (en) Information processing device, information processing method, and recording medium
WO2015173256A3 (de) Verfahren und system zur bestimmung einer gegenständlichen lage