JP2013164696A5 - - Google Patents

Download PDF

Info

Publication number
JP2013164696A5
JP2013164696A5 JP2012026872A JP2012026872A JP2013164696A5 JP 2013164696 A5 JP2013164696 A5 JP 2013164696A5 JP 2012026872 A JP2012026872 A JP 2012026872A JP 2012026872 A JP2012026872 A JP 2012026872A JP 2013164696 A5 JP2013164696 A5 JP 2013164696A5
Authority
JP
Japan
Prior art keywords
matrix
image processing
environment
processing apparatus
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012026872A
Other languages
English (en)
Other versions
JP5942456B2 (ja
JP2013164696A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from JP2012026872A external-priority patent/JP5942456B2/ja
Priority to JP2012026872A priority Critical patent/JP5942456B2/ja
Priority to TW102101633A priority patent/TW201346640A/zh
Priority to KR1020147021433A priority patent/KR20140130675A/ko
Priority to AU2013219082A priority patent/AU2013219082A1/en
Priority to BR112014019131A priority patent/BR112014019131A8/pt
Priority to PCT/JP2013/000461 priority patent/WO2013118458A1/en
Priority to EP13704829.4A priority patent/EP2812770B1/en
Priority to CN201380007621.6A priority patent/CN104081317B/zh
Priority to US14/353,379 priority patent/US9639988B2/en
Priority to RU2014131914A priority patent/RU2014131914A/ru
Publication of JP2013164696A publication Critical patent/JP2013164696A/ja
Publication of JP2013164696A5 publication Critical patent/JP2013164696A5/ja
Publication of JP5942456B2 publication Critical patent/JP5942456B2/ja
Application granted granted Critical
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

その後、時刻t14では、画像処理装置100は、時刻t13と比較して左に移動している。認識部130は、時刻t14の入力画像を用いて、新たな環境認識行列を認識する。すると、表示制御部190は、時刻t13において確定した仮想オブジェクトV13のオブジェクト配置行列と新たに認識された環境認識行列とにより表現される位置及び姿勢で、仮想オブジェクトV13を画面に表示させる。

Claims (21)

  1. 画像を撮像した端末の位置及び姿勢を基準として前記画像に映る環境の位置及び姿勢を表現する環境認識行列を認識する認識部と、
    前記環境認識行列の逆行列を計算する計算部と、
    前記環境認識行列の前記逆行列に基づく位置及び姿勢を有する仮想オブジェクトを前記環境内に配置するオブジェクト配置部と、
    を備える画像処理装置。
  2. 前記オブジェクト配置部は、配置される前記仮想オブジェクトの位置及び姿勢を表現するオブジェクト配置行列を前記環境と関連付けて記憶媒体に記憶させる、請求項1に記載の画像処理装置。
  3. 前記オブジェクト配置部は、前記環境認識行列の前記逆行列により表現される位置から前記画像の撮像方向にオフセットされた位置に前記仮想オブジェクトを配置する、請求項2に記載の画像処理装置。
  4. 前記画像処理装置は、
    第1の時点で前記オブジェクト配置行列が記憶され、後続する第2の時点で新たに前記環境認識行列が認識された場合に、前記オブジェクト配置行列と新たに認識された前記環境認識行列とにより表現される位置及び姿勢で前記仮想オブジェクトを前記端末の画面に表示させる表示制御部、
    をさらに備える、請求項2又は3に記載の画像処理装置。
  5. 前記オブジェクト配置部は、前記端末の画面上でのユーザ入力位置に応じて当該画面に沿った方向にオフセットされた位置に前記仮想オブジェクトを配置する、請求項2〜4のいずれか1項に記載の画像処理装置。
  6. 前記表示制御部は、第1のユーザ入力が検出された場合に、前記仮想オブジェクトを前記端末の画面に表示させ、
    前記オブジェクト配置部は、第1のユーザ入力に後続する第2のユーザ入力が検出された場合に、前記表示制御部により表示されている前記仮想オブジェクトの前記オブジェクト配置行列を前記環境と関連付けて記憶媒体に記憶させる、
    請求項4に記載の画像処理装置。
  7. 前記第1のユーザ入力及び前記第2のユーザ入力は、一連の操作の開始及び終了にそれぞれ対応する、請求項6に記載の画像処理装置。
  8. 前記表示制御部は、前記第1のユーザ入力の検出から前記第2のユーザ入力の検出までの間、前記第1のユーザ入力の検出の時点の前記端末に対する前記仮想オブジェクトの相対的な位置及び姿勢が維持されるように、前記仮想オブジェクトの表示を制御する、請求項6又は7に記載の画像処理装置。
  9. 前記オブジェクト配置部は、前記第2のユーザ入力が検出された時点の前記画像から新たな環境が認識された場合に、表示されている前記仮想オブジェクトの位置及び姿勢を表現する新たな前記オブジェクト配置行列を前記新たな環境と関連付けて記憶媒体に記憶させる、請求項8に記載の画像処理装置。
  10. 前記オブジェクト配置部は、第3のユーザ入力が検出された場合に、複数の前記画像にわたって前記オブジェクト配置行列を前記環境と関連付けて連続的に記憶媒体に記憶させる、請求項4に記載の画像処理装置。
  11. 前記表示制御部は、連続的に記憶された前記オブジェクト配置行列を用いて、前記仮想オブジェクトの軌跡を前記環境内に表示させる、請求項10に記載の画像処理装置。
  12. 前記表示制御部は、連続的に記憶された前記オブジェクト配置行列を用いて、前記仮想オブジェクトが前記環境内で動くアニメーションを表示させる、請求項10に記載の画像処理装置。
  13. 前記表示制御部は、異なる時点で記憶された前記オブジェクト配置行列から、当該異なる時点の間の前記仮想オブジェクトの位置及び姿勢を補間する、請求項11又は12に記載の画像処理装置。
  14. 前記端末は、撮像装置であり、
    前記仮想オブジェクトは、前記画像の撮像位置及び撮像姿勢を記録するために前記環境内に配置される、
    請求項2〜4のいずれか1項に記載の画像処理装置。
  15. 前記オブジェクト配置部は、撮像指示に対応する第4のユーザ入力が検出された場合に、前記オブジェクト配置行列を記憶媒体に記憶させる、請求項14に記載の画像処理装置。
  16. 前記仮想オブジェクトは、予め定義される基準面を有し、
    前記表示制御部は、前記端末の画面に前記仮想オブジェクトの前記基準面が映るか否かに応じて、前記仮想オブジェクトの表示を変化させる、
    請求項4に記載の画像処理装置。
  17. 前記表示制御部は、前記端末と前記仮想オブジェクトとの間の距離に応じて、前記仮想オブジェクトの表示を変化させる、請求項4に記載の画像処理装置。
  18. 前記表示制御部は、それぞれ前記オブジェクト配置行列を有する複数の前記仮想オブジェクトが存在する場合において、所定の条件が満たされるときに、複数の前記仮想オブジェクトを所定の間隔を空けて整列するように再配置する、請求項4に記載の画像処理装置。
  19. 前記認識部、前記計算部及び前記オブジェクト配置部のうち少なくとも1つが前記画像処理装置の代わりにクラウドコンピューティング環境上に存在する装置により実現される、請求項1〜18のいずれか1項に記載の画像処理装置。
  20. 画像を撮像した端末の位置及び姿勢を基準として前記画像に映る環境の位置及び姿勢を表現する環境認識行列を認識することと、
    前記環境認識行列の逆行列を計算することと、
    前記環境認識行列の前記逆行列に基づく位置及び姿勢を有する仮想オブジェクトを前記環境内に配置することと、
    を含む画像処理方法。
  21. コンピュータを、
    画像を撮像した端末の位置及び姿勢を基準として前記画像に映る環境の位置及び姿勢を表現する環境認識行列を認識する認識部と、
    前記環境認識行列の逆行列を計算する計算部と、
    前記環境認識行列の前記逆行列に基づく位置及び姿勢を有する仮想オブジェクトを前記環境内に配置するオブジェクト配置部と、
    として機能させるためのプログラム。
JP2012026872A 2012-02-10 2012-02-10 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5942456B2 (ja)

Priority Applications (10)

Application Number Priority Date Filing Date Title
JP2012026872A JP5942456B2 (ja) 2012-02-10 2012-02-10 画像処理装置、画像処理方法及びプログラム
TW102101633A TW201346640A (zh) 2012-02-10 2013-01-16 影像處理裝置及電腦程式產品
EP13704829.4A EP2812770B1 (en) 2012-02-10 2013-01-29 Image processing device, and computer program product
RU2014131914A RU2014131914A (ru) 2012-02-10 2013-01-29 Устройство обработки изображений и компьютерный программный продукт
BR112014019131A BR112014019131A8 (pt) 2012-02-10 2013-01-29 Aparelho de processamento de informação, e, mídia legível por computador
PCT/JP2013/000461 WO2013118458A1 (en) 2012-02-10 2013-01-29 Image processing device, and computer program product
KR1020147021433A KR20140130675A (ko) 2012-02-10 2013-01-29 화상 처리 디바이스, 및 컴퓨터 프로그램 제품
CN201380007621.6A CN104081317B (zh) 2012-02-10 2013-01-29 信息处理设备和信息处理方法
US14/353,379 US9639988B2 (en) 2012-02-10 2013-01-29 Information processing apparatus and computer program product for processing a virtual object
AU2013219082A AU2013219082A1 (en) 2012-02-10 2013-01-29 Image processing device, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012026872A JP5942456B2 (ja) 2012-02-10 2012-02-10 画像処理装置、画像処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2016103857A Division JP6304305B2 (ja) 2016-05-25 2016-05-25 画像処理装置、画像処理方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2013164696A JP2013164696A (ja) 2013-08-22
JP2013164696A5 true JP2013164696A5 (ja) 2015-03-12
JP5942456B2 JP5942456B2 (ja) 2016-06-29

Family

ID=47722490

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012026872A Expired - Fee Related JP5942456B2 (ja) 2012-02-10 2012-02-10 画像処理装置、画像処理方法及びプログラム

Country Status (10)

Country Link
US (1) US9639988B2 (ja)
EP (1) EP2812770B1 (ja)
JP (1) JP5942456B2 (ja)
KR (1) KR20140130675A (ja)
CN (1) CN104081317B (ja)
AU (1) AU2013219082A1 (ja)
BR (1) BR112014019131A8 (ja)
RU (1) RU2014131914A (ja)
TW (1) TW201346640A (ja)
WO (1) WO2013118458A1 (ja)

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10955665B2 (en) * 2013-06-18 2021-03-23 Microsoft Technology Licensing, Llc Concurrent optimal viewing of virtual objects
JP6171671B2 (ja) 2013-07-24 2017-08-02 富士通株式会社 情報処理装置、位置指定方法および位置指定プログラム
JP2015118578A (ja) * 2013-12-18 2015-06-25 マイクロソフト コーポレーション 拡張現実情報詳細
EP2887639A1 (en) * 2013-12-18 2015-06-24 Microsoft Technology Licensing, LLC Augmented reality information detail
JP6476657B2 (ja) * 2014-08-27 2019-03-06 株式会社リコー 画像処理装置、画像処理方法、およびプログラム
TWI621097B (zh) * 2014-11-20 2018-04-11 財團法人資訊工業策進會 行動裝置、操作方法及非揮發性電腦可讀取記錄媒體
CN105807899B (zh) * 2014-12-30 2020-02-21 联想(北京)有限公司 一种电子设备及信息处理方法
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP6586834B2 (ja) * 2015-09-14 2019-10-09 富士通株式会社 作業支援方法、作業支援プログラム、及び作業支援システム
CN106982240B (zh) * 2016-01-18 2021-01-15 腾讯科技(北京)有限公司 信息的显示方法和装置
TWI567691B (zh) * 2016-03-07 2017-01-21 粉迷科技股份有限公司 立體空間的場景編輯方法與系統
US11238610B2 (en) * 2016-08-10 2022-02-01 Disney Enterprises, Inc. Placing large objects and objects separated by large distances in augmented reality
US10593116B2 (en) 2016-10-24 2020-03-17 Snap Inc. Augmented reality object manipulation
CN108242082A (zh) * 2016-12-26 2018-07-03 粉迷科技股份有限公司 立体空间的场景编辑方法与系统
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP3343267B1 (en) 2016-12-30 2024-01-24 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
CN110168476B (zh) * 2017-01-09 2022-11-04 斯纳普公司 增强现实对象操纵
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
JP6541704B2 (ja) * 2017-03-27 2019-07-10 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム
CN108874118A (zh) * 2017-05-12 2018-11-23 翔升(上海)电子技术有限公司 一种在vr设备中处理图像的方法和装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
WO2019082520A1 (ja) * 2017-10-25 2019-05-02 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019101513A (ja) * 2017-11-29 2019-06-24 株式会社カプコン 仮想空間表示装置、ゲームシステムおよび仮想空間における仮想オブジェクトの向き判定方法
EP3721270B1 (en) 2017-12-10 2024-04-10 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
AU2018392482A1 (en) 2017-12-20 2020-07-02 Magic Leap, Inc. Insert for augmented reality viewing device
JP6745852B2 (ja) * 2018-01-24 2020-08-26 アップル インコーポレイテッドApple Inc. 3dモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース
DK201870347A1 (en) 2018-01-24 2019-10-08 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
CN108510597A (zh) * 2018-03-09 2018-09-07 北京小米移动软件有限公司 虚拟场景的编辑方法、装置及非临时性计算机可读存储介质
EP3766039B1 (en) 2018-03-15 2024-08-14 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
JP7209474B2 (ja) * 2018-03-30 2023-01-20 株式会社スクウェア・エニックス 情報処理プログラム、情報処理方法及び情報処理システム
CN110545363B (zh) * 2018-05-28 2022-04-26 中国电信股份有限公司 实现多终端联网同步的方法、系统和云端服务器
CN112601975B (zh) 2018-05-31 2024-09-06 奇跃公司 雷达头部姿势定位
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
JP6548241B1 (ja) * 2018-07-14 2019-07-24 株式会社アンジー 拡張現実プログラム及び情報処理装置
WO2020023545A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
CN110825280A (zh) * 2018-08-09 2020-02-21 北京微播视界科技有限公司 控制虚拟物体位置移动的方法、装置和计算机可读存储介质
JP7487176B2 (ja) 2018-08-22 2024-05-20 マジック リープ, インコーポレイテッド 患者視認システム
JP2021184115A (ja) * 2018-08-28 2021-12-02 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
US10628964B2 (en) * 2018-09-19 2020-04-21 Seiko Epson Corporation Methods and devices for extended reality device training data creation
CN111083391A (zh) * 2018-10-19 2020-04-28 舜宇光学(浙江)研究院有限公司 虚实融合系统及其方法
US11808941B2 (en) * 2018-11-30 2023-11-07 Google Llc Augmented image generation using virtual content from wearable heads up display
WO2020132484A1 (en) 2018-12-21 2020-06-25 Magic Leap, Inc. Air pocket structures for promoting total internal reflection in a waveguide
CN109885231B (zh) 2019-02-27 2021-07-02 北京市商汤科技开发有限公司 显示方法及装置、电子设备及存储介质
WO2020185405A1 (en) 2019-03-12 2020-09-17 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
JP7225016B2 (ja) * 2019-04-19 2023-02-20 株式会社スクウェア・エニックス Ar空間画像投影システム、ar空間画像投影方法及びユーザ端末
JP6815439B2 (ja) * 2019-06-07 2021-01-20 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
CN110286768B (zh) * 2019-06-27 2022-05-17 Oppo广东移动通信有限公司 虚拟物体显示方法、终端设备及计算机可读存储介质
US11430151B2 (en) 2019-11-06 2022-08-30 Seiko Epson Corporation Online learning for 3D pose estimation using simplified constellations
JP2023501574A (ja) 2019-11-14 2023-01-18 マジック リープ, インコーポレイテッド 仮想および拡張現実のためのシステムおよび方法
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ, インコーポレイテッド 外科手術環境において使用するための視認システム
JP7082175B2 (ja) * 2020-12-21 2022-06-07 Kddi株式会社 仮想物体を表示する端末装置とサーバ装置とを含むシステム及び該サーバ装置
WO2024029803A1 (ko) * 2022-08-04 2024-02-08 삼성전자 주식회사 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI115943B (fi) * 2003-12-12 2005-08-15 Nokia Corp Järjestely informaation esittämiseksi näytöllä
US8730156B2 (en) 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US7965294B1 (en) * 2006-06-09 2011-06-21 Pixar Key frame animation with path-based motion
US9086785B2 (en) * 2007-06-08 2015-07-21 Apple Inc. Visualization object receptacle
US8350871B2 (en) * 2009-02-04 2013-01-08 Motorola Mobility Llc Method and apparatus for creating virtual graffiti in a mobile virtual and augmented reality system
WO2011013910A2 (ko) * 2009-07-30 2011-02-03 에스케이텔레콤 주식회사 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
KR101633359B1 (ko) * 2009-10-20 2016-06-27 삼성전자 주식회사 투사 불변량을 이용한 무표식 증강 현실 구현 시스템 및 그 방법
JP4679661B1 (ja) 2009-12-15 2011-04-27 株式会社東芝 情報提示装置、情報提示方法及びプログラム
JP5573238B2 (ja) * 2010-03-04 2014-08-20 ソニー株式会社 情報処理装置、情報処理法方法およびプログラム
US8633947B2 (en) * 2010-06-02 2014-01-21 Nintendo Co., Ltd. Computer-readable storage medium having stored therein information processing program, information processing apparatus, information processing system, and information processing method
CN101893935B (zh) * 2010-07-14 2012-01-11 北京航空航天大学 基于真实球拍的协同式增强现实乒乓球系统构建方法
JP4993637B2 (ja) * 2010-07-21 2012-08-08 株式会社ブリリアントサービス エアタグ表示システム
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
US20120194547A1 (en) * 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US8963805B2 (en) * 2012-01-27 2015-02-24 Microsoft Corporation Executable virtual objects associated with real objects
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene

Similar Documents

Publication Publication Date Title
JP2013164696A5 (ja)
JP2017054201A5 (ja)
JP2020534592A5 (ja)
JP2013165366A5 (ja)
JP2013105253A5 (ja)
JP2013178636A5 (ja)
RU2014149214A (ru) Устройство обработки изображения, способ обработки изображения и программа
JP2015122120A5 (ja)
JP2013021409A5 (ja)
JP2014517569A5 (ja)
JP2013191128A5 (ja)
JP2013218597A5 (ja)
JP2014197317A5 (ja)
JP2013031896A5 (ja)
JP2014235698A5 (ja)
JP2016514865A5 (ja)
JP2016091192A5 (ja)
JP2015119338A5 (ja) 表示制御装置、表示装置、撮像システム、表示制御方法、及びプログラム
JP2016532513A5 (ja)
US20150277570A1 (en) Providing Onscreen Visualizations of Gesture Movements
JP2018010496A5 (ja)
JP2015065508A5 (ja)
JP2015012417A5 (ja)
JP2012022458A5 (ja)
JP2016212805A5 (ja)