JP2018511098A - 複合現実システム - Google Patents
複合現実システム Download PDFInfo
- Publication number
- JP2018511098A JP2018511098A JP2017538330A JP2017538330A JP2018511098A JP 2018511098 A JP2018511098 A JP 2018511098A JP 2017538330 A JP2017538330 A JP 2017538330A JP 2017538330 A JP2017538330 A JP 2017538330A JP 2018511098 A JP2018511098 A JP 2018511098A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- camera assembly
- image
- display device
- mixed reality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000012545 processing Methods 0.000 claims description 97
- 230000000712 assembly Effects 0.000 claims description 36
- 238000000429 assembly Methods 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 24
- 238000005259 measurement Methods 0.000 claims description 18
- 238000003384 imaging method Methods 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 23
- 210000003128 head Anatomy 0.000 description 15
- 238000009877 rendering Methods 0.000 description 15
- 239000013598 vector Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 239000000872 buffer Substances 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 239000000758 substrate Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000005043 peripheral vision Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000001360 synchronised effect Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000011149 active material Substances 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000010363 phase shift Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 241000282320 Panthera leo Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/51—Housings
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
Claims (15)
- 実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示するためのシステムであって、
仮想環境において3次元仮想オブジェクトを表示するためのディスプレイユニットを含むヘッドマウントディスプレイデバイスと、
1つまたは複数のカメラアセンブリと、
前記ディスプレイデバイスと前記1つまたは複数のカメラアセンブリとに動作可能に結合された処理ユニットと
を備えており、前記処理ユニットは、前記ヘッドマウントディスプレイと、前記3次元仮想オブジェクトと、前記1つまたは複数のカメラアセンブリとがレジストレーションされる3次元座標空間を含むシーンマップを生成し、前記処理ユニットと、前記1つまたは複数のカメラアセンブリのうちのカメラアセンブリとは、前記カメラアセンブリの視点からの表示のために前記複合現実環境の画像を生成する、システム。 - 前記カメラアセンブリは、前記複合現実環境において実オブジェクトのカラー画像または白黒画像を取り込むための画像取り込みデバイスを含んでいる、請求項1に記載のシステム。
- 前記カメラアセンブリは、前記複合現実環境の深さデータを取り込むためのイメージセンサを含んでおり、前記深さデータを使用して、前記イメージセンサの視点から前記複合現実環境の深さマップを生成する、請求項1に記載のシステム。
- 前記カメラアセンブリと、前記ヘッドマウントディスプレイデバイスとは、前記カメラアセンブリによって共通座標系に対してキャリブレーションされ、前記ヘッドマウントディスプレイデバイスはキャリブレーションキューの1つまたは複数の画像を取り込む、請求項1に記載のシステム。
- 前記処理ユニットは、前記カメラアセンブリおよび前記ヘッドマウントディスプレイデバイスの視点からキャリブレーションターゲットの前記1つまたは複数の画像からの深さイメージングセンサデータに基づいて、前記カメラアセンブリおよび前記ヘッドマウントディスプレイデバイスのポーズを決定する、請求項4に記載のシステム。
- 前記カメラアセンブリは、前記シーンマップの前記3次元座標空間内に前記カメラアセンブリをレジストレーションする際に支援するための慣性測定ユニットを含む位置センサを含んでいる、請求項1に記載のシステム。
- 前記カメラアセンブリは、第1のカメラアセンブリであり、前記1つまたは複数のカメラアセンブリは、第2のカメラアセンブリをさらに備えており、前記システムは、前記第1および第2のカメラアセンブリのうちのいずれかの視点から前記複合現実環境の表示を選択するための選択デバイスをさらに備えている、請求項1に記載のシステム。
- 少なくとも第1の2次元モニタと第2の2次元モニタとをさらに備えており、前記第1のモニタは、前記第1のカメラアセンブリの視点から前記複合現実環境の前記画像を表示し、前記第2のモニタは、前記第2のカメラアセンブリの視点から前記複合現実環境の前記画像を表示する、請求項7に記載のシステム。
- 実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示するためのシステムであって、
前記複合現実環境において現実世界オブジェクトの画像を異なる視点から取り込むための複数の画像取り込みデバイスと、
前記複数の画像取り込みデバイスに動作可能に結合された処理ユニットと
を備えており、前記処理ユニットは、互いに対して前記複数の画像取り込みデバイスのポーズを識別し、前記処理ユニットはさらに、前記複合現実環境において仮想オブジェクトを生成し、前記複数の画像取り込みデバイスに対して前記仮想オブジェクトの位置を識別し、前記処理ユニット、および前記複数の画像取り込みデバイスのうちの画像取り込みデバイスは、前記画像取り込みデバイスの視点から2次元モニタで表示するための前記複合現実環境の画像を生成する、システム。 - 前記画像取り込みデバイスは、ヘッドマウントディスプレイデバイス上にカメラを備えており、前記ヘッドマウントディスプレイデバイスは、前記ヘッドマウントディスプレイデバイスの光学系に前記仮想オブジェクトを表示するためのディスプレイユニットをさらに備えている、請求項9に記載のシステム。
- 前記画像取り込みデバイスは、カメラアセンブリを備えている、請求項9に記載のシステム。
- 前記処理ユニットは、RGB画像および深さマップのうちの少なくとも一方を使用して、他の画像取り込みデバイスに対する前記カメラアセンブリの前記ポーズを識別する、請求項11に記載のシステム。
- 前記カメラアセンブリは、他の画像取り込みデバイスに対する前記カメラアセンブリの前記ポーズを識別する際に支援するための慣性測定ユニットを含む位置センサを含んでいる、請求項11に記載のシステム。
- 実オブジェクトと仮想オブジェクトとを含む複合現実環境を提示する方法であって、
(a)ヘッドマウントディスプレイデバイスに組み込まれた第1のカメラを経由して、第1の視点から、前記複合現実環境の第1の画像を取り込むステップと、
(b)カメラアセンブリに組み込まれた第2のカメラを経由して、第2の視点から、前記複合現実環境の第2の画像を取り込むステップと、
(c)前記複合現実環境の中の位置において仮想オブジェクトを生成するステップと、
(d)前記ヘッドマウントディスプレイデバイスの光学系に前記仮想オブジェクトを表示するステップであって、前記仮想オブジェクトは、前記ヘッドマウントディスプレイデバイスの視点から表示されている、表示するステップと、
(e)前記カメラアセンブリから2次元ディスプレイデバイス上に前記第2の画像を前記仮想オブジェクトと一緒に表示するステップであって、前記仮想オブジェクトは、前記カメラアセンブリの視点から表示されている、表示するステップと
を含む方法。 - 前記2次元ディスプレイデバイスの表示を、前記仮想オブジェクトと一緒に前記第1の画像を前記ヘッドマウントディスプレイデバイスから表示することへと変更するステップをさらに含み、前記仮想オブジェクトは、前記ヘッドマウントディスプレイデバイスの視点から表示されている、請求項14に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562105701P | 2015-01-20 | 2015-01-20 | |
US62/105,701 | 2015-01-20 | ||
US14/728,650 | 2015-06-02 | ||
US14/728,650 US9846968B2 (en) | 2015-01-20 | 2015-06-02 | Holographic bird's eye view camera |
PCT/US2016/013127 WO2016118371A1 (en) | 2015-01-20 | 2016-01-13 | Mixed reality system |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018511098A true JP2018511098A (ja) | 2018-04-19 |
JP2018511098A5 JP2018511098A5 (ja) | 2019-01-31 |
JP6860488B2 JP6860488B2 (ja) | 2021-04-14 |
Family
ID=56408228
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017538330A Active JP6860488B2 (ja) | 2015-01-20 | 2016-01-13 | 複合現実システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9846968B2 (ja) |
EP (1) | EP3248176A1 (ja) |
JP (1) | JP6860488B2 (ja) |
CN (1) | CN107408314B (ja) |
WO (1) | WO2016118371A1 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081543A (ja) * | 2016-11-17 | 2018-05-24 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム |
WO2024143026A1 (ja) * | 2022-12-26 | 2024-07-04 | 国立研究開発法人情報通信研究機構 | 仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム |
JP7529668B2 (ja) | 2018-12-21 | 2024-08-06 | マジック リープ, インコーポレイテッド | マルチカメラクロスリアリティデバイス |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9986225B2 (en) * | 2014-02-14 | 2018-05-29 | Autodesk, Inc. | Techniques for cut-away stereo content in a stereoscopic display |
US10180734B2 (en) | 2015-03-05 | 2019-01-15 | Magic Leap, Inc. | Systems and methods for augmented reality |
WO2016141373A1 (en) | 2015-03-05 | 2016-09-09 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10838207B2 (en) | 2015-03-05 | 2020-11-17 | Magic Leap, Inc. | Systems and methods for augmented reality |
US10133532B2 (en) * | 2015-09-25 | 2018-11-20 | Seiko Epson Corporation | Display system, display device, information display method, and program |
KR20180090355A (ko) | 2015-12-04 | 2018-08-10 | 매직 립, 인코포레이티드 | 리로컬리제이션 시스템들 및 방법들 |
EP3417307A4 (en) * | 2016-02-18 | 2019-09-11 | Edx Technologies, Inc. | SYSTEMS AND METHODS FOR AUGMENTED REALITY DISPLAYS OF NETWORKS |
WO2017159063A1 (ja) * | 2016-03-14 | 2017-09-21 | ソニー株式会社 | 表示装置並びに情報処理端末装置 |
US10210661B2 (en) * | 2016-04-25 | 2019-02-19 | Microsoft Technology Licensing, Llc | Location-based holographic experience |
JP6972105B2 (ja) * | 2016-08-02 | 2021-11-24 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 固定距離の仮想現実システムおよび拡張現実システムならびに方法 |
CN116778120A (zh) * | 2016-12-13 | 2023-09-19 | 奇跃公司 | 增强现实显示系统 |
JP6849430B2 (ja) * | 2016-12-27 | 2021-03-24 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
US10812936B2 (en) | 2017-01-23 | 2020-10-20 | Magic Leap, Inc. | Localization determination for mixed reality systems |
JP6965896B2 (ja) * | 2017-01-31 | 2021-11-10 | 株式会社ニコン | 表示制御システム、及び、表示制御方法 |
US10628950B2 (en) * | 2017-03-01 | 2020-04-21 | Microsoft Technology Licensing, Llc | Multi-spectrum illumination-and-sensor module for head tracking, gesture recognition and spatial mapping |
KR102366781B1 (ko) | 2017-03-17 | 2022-02-22 | 매직 립, 인코포레이티드 | 컬러 가상 콘텐츠 와핑을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법 |
CA3054617A1 (en) | 2017-03-17 | 2018-09-20 | Magic Leap, Inc. | Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same |
IL290001B2 (en) * | 2017-03-17 | 2023-04-01 | Magic Leap Inc | Augmented reality data recording technique |
CN110431599B (zh) | 2017-03-17 | 2022-04-12 | 奇跃公司 | 具有虚拟内容扭曲的混合现实系统及使用该系统生成虚拟内容的方法 |
US11861255B1 (en) | 2017-06-16 | 2024-01-02 | Apple Inc. | Wearable device for facilitating enhanced interaction |
WO2019015261A1 (en) * | 2017-07-17 | 2019-01-24 | Chengdu Topplusvision Technology Co., Ltd. | DEVICES AND METHODS FOR SCENE DETERMINATION |
CN107976811B (zh) * | 2017-12-25 | 2023-12-29 | 河南诺控信息技术有限公司 | 一种基于虚拟现实混合的仿真实验室及其仿真方法 |
CN108235778B (zh) * | 2018-01-09 | 2021-09-10 | 达闼机器人有限公司 | 基于云端计算的标定方法、装置、电子设备和计算机程序产品 |
JP2019152899A (ja) * | 2018-02-28 | 2019-09-12 | 株式会社バンダイナムコスタジオ | シミュレーションシステム及びプログラム |
JP6688337B2 (ja) * | 2018-06-06 | 2020-04-28 | 任天堂株式会社 | 情報処理プログラム、情報処理システム、情報処理装置および情報処理方法 |
US10964053B2 (en) * | 2018-07-02 | 2021-03-30 | Microsoft Technology Licensing, Llc | Device pose estimation using 3D line clouds |
GB201811249D0 (en) * | 2018-07-09 | 2018-08-29 | Digitalbridge | System and method for virtual image alignment |
CN112513712B (zh) | 2018-07-23 | 2023-05-09 | 奇跃公司 | 具有虚拟内容翘曲的混合现实系统和使用该系统生成虚拟内容的方法 |
CN112470464B (zh) | 2018-07-23 | 2023-11-28 | 奇跃公司 | 场顺序显示器中的场内子码时序 |
US10839556B2 (en) | 2018-10-23 | 2020-11-17 | Microsoft Technology Licensing, Llc | Camera pose estimation using obfuscated features |
US11372474B2 (en) * | 2019-07-03 | 2022-06-28 | Saec/Kinetic Vision, Inc. | Systems and methods for virtual artificial intelligence development and testing |
CN110456905A (zh) * | 2019-07-23 | 2019-11-15 | 广东虚拟现实科技有限公司 | 定位跟踪方法、装置、系统及电子设备 |
EP3983873A1 (en) * | 2019-09-09 | 2022-04-20 | Apple Inc. | Positional synchronization of virtual and physical cameras |
US11288877B2 (en) | 2020-01-10 | 2022-03-29 | 38th Research Institute, China Electronics Technology Group Corp. | Method for matching a virtual scene of a remote scene with a real scene for augmented reality and mixed reality |
CN111260793B (zh) * | 2020-01-10 | 2020-11-24 | 中国电子科技集团公司第三十八研究所 | 面向增强和混合现实的远程虚实高精度匹配定位的方法 |
US11475242B2 (en) * | 2020-07-27 | 2022-10-18 | Seiko Epson Corporation | Domain adaptation losses |
WO2022060467A1 (en) * | 2020-09-21 | 2022-03-24 | Sterling Labs Llc | Method and device for dynamic determination of presentation and transitional regions |
CN112669671B (zh) * | 2020-12-28 | 2022-10-25 | 北京航空航天大学江西研究院 | 一种基于实物交互的混合现实飞行仿真系统 |
US11645819B2 (en) | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US12028507B2 (en) | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
US11657578B2 (en) | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
US11527047B2 (en) | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
US20230380683A1 (en) * | 2022-05-25 | 2023-11-30 | Microsoft Technology Licensing, Llc | Enhanced Eye Tracking Using Lens Inverse Transform |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711293B1 (en) | 1999-03-08 | 2004-03-23 | The University Of British Columbia | Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image |
US7135992B2 (en) | 2002-12-17 | 2006-11-14 | Evolution Robotics, Inc. | Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system |
US7401920B1 (en) | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
IL157837A (en) | 2003-09-10 | 2012-12-31 | Yaakov Amitai | Substrate-guided optical device particularly for three-dimensional displays |
EP1929430A4 (en) | 2005-08-29 | 2011-06-29 | Evryx Technologies Inc | INTERACTIVITY OF MOBILITY RECOGNITION |
US8160400B2 (en) | 2005-11-17 | 2012-04-17 | Microsoft Corporation | Navigating images using image based geometric alignment and object based controls |
KR100809479B1 (ko) | 2006-07-27 | 2008-03-03 | 한국전자통신연구원 | 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치 |
EP2193825B1 (en) | 2008-12-03 | 2017-03-22 | Alcatel Lucent | Mobile device for augmented reality applications |
KR20100138700A (ko) | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 가상 세계 처리 장치 및 방법 |
US20110317871A1 (en) | 2010-06-29 | 2011-12-29 | Microsoft Corporation | Skeletal joint recognition and tracking system |
US8941559B2 (en) | 2010-09-21 | 2015-01-27 | Microsoft Corporation | Opacity filter for display device |
US8884984B2 (en) * | 2010-10-15 | 2014-11-11 | Microsoft Corporation | Fusing virtual content into real content |
US9348141B2 (en) * | 2010-10-27 | 2016-05-24 | Microsoft Technology Licensing, Llc | Low-latency fusing of virtual and real content |
US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
US8576276B2 (en) * | 2010-11-18 | 2013-11-05 | Microsoft Corporation | Head-mounted display device which provides surround video |
US20120306850A1 (en) | 2011-06-02 | 2012-12-06 | Microsoft Corporation | Distributed asynchronous localization and mapping for augmented reality |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
WO2013028908A1 (en) | 2011-08-24 | 2013-02-28 | Microsoft Corporation | Touch and social cues as inputs into a computer |
CA2750287C (en) | 2011-08-29 | 2012-07-03 | Microsoft Corporation | Gaze detection in a see-through, near-eye, mixed reality display |
CN102346660A (zh) * | 2011-10-13 | 2012-02-08 | 苏州梦想人软件科技有限公司 | 一种混合现实与虚拟物体的系统及方法 |
US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US9229231B2 (en) | 2011-12-07 | 2016-01-05 | Microsoft Technology Licensing, Llc | Updating printed content with personalized virtual data |
US20130326364A1 (en) * | 2012-05-31 | 2013-12-05 | Stephen G. Latta | Position relative hologram interactions |
US9417692B2 (en) | 2012-06-29 | 2016-08-16 | Microsoft Technology Licensing, Llc | Deep augmented reality tags for mixed reality |
KR101360061B1 (ko) * | 2012-12-05 | 2014-02-12 | 현대자동차 주식회사 | 증강 현실 제공 방법 및 그 장치 |
US20140168261A1 (en) | 2012-12-13 | 2014-06-19 | Jeffrey N. Margolis | Direct interaction system mixed reality environments |
CN105359063B (zh) * | 2013-06-09 | 2018-08-17 | 索尼电脑娱乐公司 | 利用追踪的头戴式显示器 |
US9329682B2 (en) | 2013-06-18 | 2016-05-03 | Microsoft Technology Licensing, Llc | Multi-step virtual object selection |
US10175483B2 (en) | 2013-06-18 | 2019-01-08 | Microsoft Technology Licensing, Llc | Hybrid world/body locked HUD on an HMD |
US10955665B2 (en) | 2013-06-18 | 2021-03-23 | Microsoft Technology Licensing, Llc | Concurrent optimal viewing of virtual objects |
US9824498B2 (en) * | 2014-12-30 | 2017-11-21 | Sony Interactive Entertainment Inc. | Scanning display system in head-mounted display for virtual reality |
-
2015
- 2015-06-02 US US14/728,650 patent/US9846968B2/en active Active
-
2016
- 2016-01-13 CN CN201680006581.7A patent/CN107408314B/zh active Active
- 2016-01-13 JP JP2017538330A patent/JP6860488B2/ja active Active
- 2016-01-13 WO PCT/US2016/013127 patent/WO2016118371A1/en active Application Filing
- 2016-01-13 EP EP16702463.7A patent/EP3248176A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
US20130335405A1 (en) * | 2012-06-18 | 2013-12-19 | Michael J. Scavezze | Virtual object generation within a virtual environment |
Non-Patent Citations (1)
Title |
---|
堀田亮介ほか: "MR-Cyborg Soldiers 2:観客・プレイヤ協調型複合現実感ゲーム", エンタテインメントコンピューティングシンポジウム論文集, JPN6020002639, 12 September 2014 (2014-09-12), JP, pages 211 - 213, ISSN: 0004201192 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018081543A (ja) * | 2016-11-17 | 2018-05-24 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、表示装置の制御方法、及び、プログラム |
JP7529668B2 (ja) | 2018-12-21 | 2024-08-06 | マジック リープ, インコーポレイテッド | マルチカメラクロスリアリティデバイス |
WO2024143026A1 (ja) * | 2022-12-26 | 2024-07-04 | 国立研究開発法人情報通信研究機構 | 仮想物体操作装置およびそのプログラム、ならびに、仮想物体表示システム |
Also Published As
Publication number | Publication date |
---|---|
WO2016118371A1 (en) | 2016-07-28 |
US9846968B2 (en) | 2017-12-19 |
US20160210783A1 (en) | 2016-07-21 |
EP3248176A1 (en) | 2017-11-29 |
JP6860488B2 (ja) | 2021-04-14 |
CN107408314A (zh) | 2017-11-28 |
CN107408314B (zh) | 2022-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6860488B2 (ja) | 複合現実システム | |
US9710973B2 (en) | Low-latency fusing of virtual and real content | |
EP3467585B1 (en) | Head-mounted display tracking system | |
CN109146965B (zh) | 信息处理装置、计算机可读介质和头戴式显示装置 | |
KR102417177B1 (ko) | 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이 | |
KR102281026B1 (ko) | 홀로그램 앵커링 및 동적 포지셔닝 기법 | |
US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
US20140176591A1 (en) | Low-latency fusing of color image data | |
US20140168261A1 (en) | Direct interaction system mixed reality environments | |
US11127380B2 (en) | Content stabilization for head-mounted displays | |
US20130326364A1 (en) | Position relative hologram interactions | |
US20130328925A1 (en) | Object focus in a mixed reality environment | |
US20130342572A1 (en) | Control of displayed content in virtual environments | |
EP3011382A1 (en) | Shared and private holographic objects | |
US11915453B2 (en) | Collaborative augmented reality eyewear with ego motion alignment | |
CN110895433B (zh) | 用于增强现实中用户交互的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20170915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210305 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210326 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6860488 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |