JP2018517187A5 - - Google Patents

Download PDF

Info

Publication number
JP2018517187A5
JP2018517187A5 JP2017546086A JP2017546086A JP2018517187A5 JP 2018517187 A5 JP2018517187 A5 JP 2018517187A5 JP 2017546086 A JP2017546086 A JP 2017546086A JP 2017546086 A JP2017546086 A JP 2017546086A JP 2018517187 A5 JP2018517187 A5 JP 2018517187A5
Authority
JP
Japan
Prior art keywords
additional
clusters
diffractive optical
cluster
local region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017546086A
Other languages
English (en)
Other versions
JP6581203B2 (ja
JP2018517187A (ja
Filing date
Publication date
Application filed filed Critical
Priority claimed from PCT/US2016/020814 external-priority patent/WO2016141263A1/en
Publication of JP2018517187A publication Critical patent/JP2018517187A/ja
Publication of JP2018517187A5 publication Critical patent/JP2018517187A5/ja
Application granted granted Critical
Publication of JP6581203B2 publication Critical patent/JP6581203B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (28)

  1. システムであって、
    局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを1つ以上の回折光学素子を用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成されたスパース投影システムと、
    仮想現実(VR)ヘッドセットであって、
    前記局所領域の部分の一連の画像を撮像するように構成され、少なくとも1つの画像が少なくとも1つのクラスタを含む撮像装置と、
    前記局所領域の前記仮想マッピングに少なくとも部分的に基づいて動画情報を出力するように構成された電子ディスプレイと、
    を含むVRヘッドセットと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    前記撮像装置から前記一連の画像を受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    前記電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  2. 前記1つ以上の回折光学素子のうち1つの回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって複数のクラスタを生成するように構成されている、請求項1に記載のシステム。
  3. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項1に記載のシステム。
  4. 前記スパース投影システムは、
    光ビームと追加の光ビームとを生成するように構成された光源アセンブリと、
    前記1つ以上の回折光学素子のうち1つの回折光学素子と前記光ビームとを用いて前記複数のクラスタのうちのクラスタ群を生成し、生成した前記クラスタ群を前記局所領域の一部にわたって投影するように構成された投影アセンブリと、
    前記1つ以上の回折光学素子のうち追加の回折光学素子と前記追加の光ビームとを用いて前記複数のクラスタのうちの追加のクラスタ群を生成し、生成した前記追加のクラスタ群を前記局所領域の更なる部分にわたって投影するように構成された第2の投影アセンブリと、
    を含む、請求項3に記載のシステム。
  5. 前記光ビームと前記追加の光ビームとが異なる波長を有、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプとは異なっている、請求項4に記載のシステム。
  6. 前記回折光学素子と前記追加の回折光学素子は、前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置と同じとなるように構成されている、請求項5に記載のシステム。
  7. 前記光ビームと前記追加の光ビームは、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプと同じとなるように構成されている、請求項4に記載のシステム。
  8. 前記回折光学素子と前記追加の回折光学素子とが異な、前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置とは異なっている、請求項7に記載のシステム。
  9. システムであって、
    スパース投影システムであって、
    1つ以上の光ビームを生成するように構成された光源アセンブリと、
    局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを、前記1つ以上の光ビームのうち1つのビームと回折光学素子とを用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成された投影アセンブリと、
    を含むスパース投影システムと、
    仮想現実(VR)ヘッドセットであって、
    前記局所領域の部分の一連の画像を撮像するように構成され、少なくとも1つの画像が少なくとも1つのクラスタを含む撮像装置と、
    前記局所領域の前記仮想マッピングに少なくとも部分的に基づいてコンテンツを出力するように構成された電子ディスプレイと、
    を含むVRヘッドセットと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    前記撮像装置から前記一連の画像を受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    前記電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  10. 前記回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって前記複数のクラスタを生成するように構成されている、請求項9に記載のシステム。
  11. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項9に記載のシステム。
  12. 前記スパース投影システムは、追加の回折光学素子と前記1つ以上の光ビームのうち追加の光ビームとを用いて追加の複数のクラスタを生成し、生成した前記追加の複数のクラスタを前記局所領域にわたって投影するように構成された追加の投影アセンブリをさらに含む、請求項11に記載のシステム。
  13. 前記複数のクラスタに関連付けられた反射タイプが前記追加の複数のクラスタに関連付けられた反射タイプとは異なるように、前記光ビームと前記追加の光ビームが異なる波長を有している、請求項12に記載のシステム。
  14. 前記回折光学素子と前記追加の回折光学素子とが同じ構成であ、前記複数のクラスタの空間配置と前記追加の複数のクラスタの空間配置とが同じである、請求項13に記載のシステム。
  15. 前記複数のクラスタに関連付けられた反射タイプが前記追加の複数のクラスタに関連付けられた反射タイプと同じとなるように、前記光ビームと前記追加の光ビームが同じ構成である、請求項12に記載のシステム。
  16. 前記回折光学素子と前記追加の回折光学素子とが異な、前記複数のクラスタの空間配置が前記追加の複数のクラスタの空間配置とは異なっている、請求項15に記載のシステム。
  17. システムであって、
    スパース投影システムであって、
    1つ以上の光ビームを生成するように構成された光源アセンブリと、
    複数のクラスタを生成することであって、各クラスタが局所領域のそれぞれ一部の範囲内の1つ以上の光の照明領域を含み、前記光の照明領域が各々、回折光ビームに対応し、各クラスタの前記1つ以上の光の照明領域が前記局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する前記複数のクラスタを、前記1つ以上の光ビームと回折光学素子とを用いて生成し、生成した前記複数のクラスタを前記局所領域にわたって投影するように構成された投影アセンブリと、
    を含むスパース投影システムと、
    VRコンソールであって、
    プロセッサと、
    前記プロセッサに接続され、前記プロセッサにより実行されたときに前記プロセッサに処理を実行させる命令を含むメモリと、
    を含むVRコンソールと、を備え、
    前記プロセッサは、前記命令が前記プロセッサにより実行されたとき、
    少なくとも1つの画像が少なくとも1つのクラスタを含む一連の画像をVRヘッドセットの撮像装置から受信し、
    前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定し、
    前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成し、
    電子ディスプレイによる提示のために前記VRヘッドセットに前記コンテンツを提供する、システム。
  18. 前記1つ以上の回折光学素子のうち1つの回折光学素子は計算機合成ホログラムであり、前記スパース投影システムは、前記回折光学素子から出力された光の逆フーリエ変換を行うことによって前記複数のクラスタを生成するように構成されている、請求項17に記載のシステム。
  19. 前記スパース投影システムは
    記1つ以上の回折光学素子のうち追加の回折光学素子と前記追加の光ビームとを用いて前記複数のクラスタのうちの追加のクラスタ群を生成し、生成した前記追加のクラスタ群を前記局所領域の更なる部分にわたって投影するように構成された追加の投影アセンブリをさらに含む、請求項17に記載のシステム。
  20. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項17に記載のシステム。
  21. 方法であって、
    スパース投影システムによって、局所領域の仮想マッピング内における固有の位置に対応する固有の構成をそれぞれ有する複数のクラスタを1つ以上の回折光学素子を用いて生成すること、
    前記スパース投影システムによって、前記複数のクラスタを前記局所領域にわたって投影すること、
    仮想現実(VR)ヘッドセットの撮像装置によって、前記局所領域の部分の一連の画像を撮像することであって、少なくとも1つの画像が少なくとも1つのクラスタを含む前記一連の画像を撮像すること、
    前記VRヘッドセットによって、前記局所領域の前記仮想マッピングに少なくとも部分的に基づいて動画情報を出力すること、
    VRコンソールのプロセッサによって、前記撮像装置から前記一連の画像を受信すること、
    前記プロセッサによって、前記少なくとも1つのクラスタの構成に少なくとも部分的に基づいて、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定すること、
    前記プロセッサによって、前記局所領域の前記仮想マッピング内における前記VRヘッドセットの位置を判定した結果に少なくとも部分的に基づいてコンテンツを生成すること、
    前記プロセッサによって、提示のための前記コンテンツを前記VRヘッドセットに提供すること、
    を備える方法。
  22. 前記1つ以上の回折光学素子のうち1つの回折光学素子は計算機合成ホログラムであり、前記複数のクラスタを生成することは、前記回折光学素子から出力された光の逆フーリエ変換を行うことを含む、請求項21に記載の方法。
  23. 所与のクラスタの前記固有の構成は、前記所与のクラスタ内における照明領域の数および配置を記述した空間配置と、前記所与のクラスタを生成するために用いられる光の帯域を指定する反射タイプとの組み合わせである、請求項21に記載の方法。
  24. 前記複数のクラスタを生成することは、
    光ビームと追加の光ビームとを生成すること、
    前記1つ以上の回折光学素子のうち1つの回折光学素子によって、前記光ビームを用いて前記複数のクラスタのうちのクラスタ群を生成すること、
    前記1つ以上の回折光学素子のうち追加の回折光学素子によって、前記追加の光ビームを用いて前記複数のクラスタのうちの追加のクラスタ群を生成すること、を含み、
    前記複数のクラスタを投影することは、
    前記クラスタ群を前記局所領域の一部にわたって投影すること、
    前記追加のクラスタ群を前記局所領域の更なる部分にわたって投影すること、を含む、請求項23に記載の方法。
  25. 前記光ビームと前記追加の光ビームとが異なる波長を有し、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプとは異なっている、請求項24に記載の方法。
  26. 前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置と同じである、請求項25に記載の方法。
  27. 前記光ビームと前記追加の光ビームは、前記クラスタ群に関連付けられた反射タイプが前記追加のクラスタ群に関連付けられた反射タイプと同じとなるように構成されている、請求項24に記載の方法。
  28. 前記回折光学素子と前記追加の回折光学素子とが異なり、前記クラスタ群の空間配置が前記追加のクラスタ群の空間配置とは異なっている、請求項27に記載の方法。
JP2017546086A 2015-03-04 2016-03-04 仮想現実システムにおけるスパース投影 Active JP6581203B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562128433P 2015-03-04 2015-03-04
US62/128,433 2015-03-04
PCT/US2016/020814 WO2016141263A1 (en) 2015-03-04 2016-03-04 Sparse projection for a virtual reality system

Publications (3)

Publication Number Publication Date
JP2018517187A JP2018517187A (ja) 2018-06-28
JP2018517187A5 true JP2018517187A5 (ja) 2019-02-28
JP6581203B2 JP6581203B2 (ja) 2019-09-25

Family

ID=56849076

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017546086A Active JP6581203B2 (ja) 2015-03-04 2016-03-04 仮想現実システムにおけるスパース投影

Country Status (6)

Country Link
US (1) US10073263B2 (ja)
EP (1) EP3114528B1 (ja)
JP (1) JP6581203B2 (ja)
KR (1) KR102054695B1 (ja)
CN (1) CN107533225B (ja)
WO (1) WO2016141263A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10728518B2 (en) 2018-03-22 2020-07-28 Microsoft Technology Licensing, Llc Movement detection in low light environments
US10643341B2 (en) 2018-03-22 2020-05-05 Microsoft Technology Licensing, Llc Replicated dot maps for simplified depth computation using machine learning
US10944957B2 (en) 2018-03-22 2021-03-09 Microsoft Technology Licensing, Llc Active stereo matching for depth applications
US10565720B2 (en) * 2018-03-27 2020-02-18 Microsoft Technology Licensing, Llc External IR illuminator enabling improved head tracking and surface reconstruction for virtual reality
US10994216B2 (en) * 2019-08-15 2021-05-04 Board Media Group LLC Virtual reality motion simulator
WO2023009755A1 (en) 2021-07-29 2023-02-02 Summer Robotics, Inc. Dynamic calibration of 3d acquisition systems
WO2023177692A1 (en) 2022-03-14 2023-09-21 Summer Robotics, Inc. Stage studio for immersive 3-d video capture
US20230316657A1 (en) * 2022-04-05 2023-10-05 Summer Robotics, Inc. Auxiliary device for augmented reality
US11974055B1 (en) 2022-10-17 2024-04-30 Summer Robotics, Inc. Perceiving scene features using event sensors and image sensors

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2363025C2 (ru) * 2002-11-13 2009-07-27 Сириал Текнолоджиз Гмбх Видеоголограмма и устройство для восстановления видеоголограмм
CN101213550B (zh) * 2005-06-30 2011-09-28 诺基亚公司 允许对呈现和信息系统的信息表面的目标位置进行操作的照相机控制装置
US8950871B2 (en) * 2010-09-08 2015-02-10 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
WO2012049795A1 (ja) * 2010-10-12 2012-04-19 パナソニック株式会社 表示処理装置、表示方法およびプログラム
US20140063061A1 (en) * 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
JP5966510B2 (ja) * 2012-03-29 2016-08-10 ソニー株式会社 情報処理システム
KR101861380B1 (ko) * 2012-07-16 2018-05-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운트 디스플레이를 이용한 컨텐츠 출력 방법 및 이를 위한 헤드 마운트 디스플레이
US8711370B1 (en) * 2012-10-04 2014-04-29 Gerard Dirk Smits Scanning optical positioning system with spatially triangulating receivers
JP6061334B2 (ja) 2012-11-26 2017-01-18 Kddi株式会社 光学式シースルー型hmdを用いたarシステム
US20140160162A1 (en) * 2012-12-12 2014-06-12 Dhanushan Balachandreswaran Surface projection device for augmented reality
JP6123342B2 (ja) * 2013-02-20 2017-05-10 ソニー株式会社 表示装置
EP2797313A1 (en) * 2013-04-26 2014-10-29 Elvesjö, John Computer graphics presentation system and method
DE102013210746A1 (de) * 2013-06-10 2014-12-11 Robert Bosch Gmbh System und Verfahren zum Überwachen und/oder Bedienen einer technischen Anlage, insbesondere eines Fahrzeugs
CN103617636B (zh) * 2013-12-02 2016-08-17 西北工业大学 基于运动信息及稀疏投影的视频目标自动检测跟踪方法
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
US20150253574A1 (en) * 2014-03-10 2015-09-10 Ion Virtual Technology Corporation Modular and Convertible Virtual Reality Headset System
CN106255916B (zh) * 2014-03-14 2019-08-09 索尼互动娱乐股份有限公司 跟踪头戴式显示器(hmd)的方法和系统以及用于hmd头带调整的校准

Similar Documents

Publication Publication Date Title
JP2018517187A5 (ja)
JP6425787B2 (ja) 非機械的ミラービームステアリングを備えたプロジェクタ表示システム
KR102083875B1 (ko) 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
JP2010525384A5 (ja)
JP6581203B2 (ja) 仮想現実システムにおけるスパース投影
JP2023090835A5 (ja)
BR112019008387A2 (pt) aparelho de processamento de imagem, sistema de processamento de imagem, método de processamento de imagem, e programa
KR102125795B1 (ko) 라이트필드의 비호겔방식 홀로그램 변환 방법 및 장치
MX2020008789A (es) Proyeccion holografica.
JP2017063414A5 (ja)
WO2019009722A2 (en) LUMINOUS FIELD RECONSTRUCTION OF INTERFERENCE USING DISTRIBUTED LIGHT POINTS
WO2019204479A1 (en) Image reconstruction from image sensor output
TW200821661A (en) Reading method for encoded information on light modulators
KR20160030034A (ko) 홀로그램과 다시점 영상을 이용한 3차원 영상 시스템 및 디스플레이 방법
JP2021182396A (ja) 歪みが低減された物体の3次元再構成を生成するための方法及び装置
JP2017228910A5 (ja)
KR102660735B1 (ko) 코딩된 위상 마스크를 이용한 3차원 이미지 생성 장치, 방법 및 시스템
KR20230024982A (ko) 카메라 고유 교정
US11663708B2 (en) Image processing apparatus, imaging apparatus, and image processing method
JP2015125331A (ja) 立体像表示素子及びこれを用いた立体像表示装置
JP2009540353A (ja) エレクトロホログラフィックディスプレイにおける実効画素ピッチを低減する方法及び低減された実効画素ピッチを含むエレクトロホログラフィックディスプレイ
KR20200072136A (ko) 렌즈 어레이 카메라 및 렌즈 어레이 카메라의 구동 방법
KR102055387B1 (ko) 원 샷 노광 방식의 홀로그래픽 스테레오그램 제작방법
JP2019522909A5 (ja)
US20210034012A1 (en) Holographic display method and holographic display device