JP2019517012A5 - - Google Patents

Description

本発明の追加のおよび他の目的、特徴、ならびに利点が、発明を実施するための形態、図、および請求項で説明される。
本発明は、例えば、以下を提供する。
（項目１）
拡張現実（ＡＲ）システムを動作させる方法であって、前記方法は、
エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にすることと、
前記エンドユーザの視点からの仮想画像データを生成することと、
前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定することと、
前記重複領域内の前記実オブジェクトの色特性を決定することと、
前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることと、
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成することと
を含む、方法。
（項目２）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される色コントラストを修正することを含む、項目１に記載の方法。
（項目３）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される強度コントラストを修正することをさらに含む、項目２に記載の方法。
（項目４）
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることは、
前記重複領域内の実オブジェクトの決定された色特性に基づいて、干渉データを生成することと、
干渉画像が前記実オブジェクトからの直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記干渉データを前記重複領域を覆う前記干渉画像として前記エンドユーザに表示することと
を含む、項目１に記載の方法。
（項目５）
前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、項目４に記載の方法。
（項目６）
前記背景は、略均一色を前記重複領域内に有する、項目５に記載の方法。
（項目７）
前記略均一色は、灰色である、項目６に記載の方法。
（項目８）
前記干渉画像は、色を前記重複領域内の前記実オブジェクトに加える、項目４に記載の方法。
（項目９）
前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させることは、前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記仮想画像データを修正することを含む、項目１に記載の方法。
（項目１０）
前記仮想画像データを修正することは、色を前記重複領域内の前記仮想オブジェクトから減じることを含む、項目９に記載の方法。
（項目１１）
前記ユーザの頭部に対して取り付けられている少なくとも１つのカメラを用いて、前記実３次元場面の画像データを捕捉することと、
前記捕捉された画像データを前記ユーザの視点に対してワープさせることと
をさらに含み、
前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定することは、前記捕捉された画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の空間重複を決定することを含み、前記重複領域内の前記実オブジェクトの色特性を決定することは、前記重複領域内の前記捕捉された画像データ内の前記対応する実オブジェクトの色特性を決定することを含む、項目１に記載の方法。
（項目１２）
前記捕捉された画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させることは、前記重複領域内の前記仮想オブジェクトおよび前記捕捉された画像データから導出される干渉データのうちの一方または両方のピクセルの前記少なくとも１つの値を修正することを含む、項目１１に記載の方法。
（項目１３）
前記ピクセルの各々は、色ベクトルを定義する３つの値を有する、項目１２に記載の方法。
（項目１４）
前記色ベクトルは、赤色値、緑色値、および青色値を備えている、項目１３に記載の方法。
（項目１５）
前記ピクセルの各々は、前記ピクセルの強度を定義する第４の値を有する、項目１３に記載の方法。
（項目１６）
拡張現実（ＡＲ）システムであって、前記拡張現実システムは、
エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にするために構成されているディスプレイシステムと、
制御システムと
を備え、
前記制御システムは、
前記エンドユーザの視点からの仮想画像データを生成することと、
前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の領域を決定することと、
前記重複領域内の前記実オブジェクトの色特性を決定することと、
前記重複領域内の前記実オブジェクトの決定された色特性に基づいて、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させることと、
前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストが減少させられた後、前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成するように前記ディスプレイシステムに命令することと
を行うめに構成されている、拡張現実システム。
（項目１７）
前記制御システムは、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるために構成され、前記減少させることは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される色コントラストを修正することを含む、項目１６に記載の拡張現実システム。
（項目１８）
前記制御システムは、前記重複領域内の前記実オブジェクトと前記仮想オブジェクトとの間で知覚される強度コントラストを修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるためにさらに構成されている、項目１７に記載の拡張現実システム。
（項目１９）
前記制御システムは、
前記重複領域内の前記実オブジェクトの前記決定された色特性に基づいて、干渉データを生成することと、
干渉画像が前記実オブジェクトからの直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記干渉データを前記重複領域を覆う前記干渉画像として前記エンドユーザに表示するように前記ディスプレイシステムに命令することと
によって、前記実オブジェクトと前記仮想オブジェクトとの間で知覚されるコントラストを減少させるために構成されている、項目１６に記載の拡張現実システム。
（項目２０）
前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、項目１９に記載の拡張現実システム。
（項目２１）
前記背景は、略均一色を前記重複領域内に有する、項目２０に記載の拡張現実システム。
（項目２２）
前記略均一色は、灰色である、項目２１に記載の拡張現実システム。
（項目２３）
前記干渉画像は、色を前記重複領域内の前記実オブジェクトに加える、項目１９に記載の拡張現実システム。
（項目２４）
前記制御システムは、前記重複領域内の前記実オブジェクトの前記決定された色特性に基づいて、前記仮想画像データを修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させるために構成されている、項目１６に記載の拡張現実システム。
（項目２５）
前記仮想画像データを修正することは、色を前記重複領域内の前記仮想オブジェクトから減じることを含む、項目２４に記載の拡張現実システム。
（項目２６）
前記ユーザの頭部に対して取り付けられるために構成され、前記実３次元場面の画像データを捕捉するためにさらに構成されている少なくとも１つのカメラをさらに備え、前記制御システムは、前記捕捉された画像データを前記ユーザの視点に対してワープさせるために構成され、前記制御システムは、前記捕捉された画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の空間重複を決定することによって、前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定するために構成され、前記重複領域内の前記実オブジェクトの色特性を決定することは、前記重複領域内の前記捕捉された画像データ内の前記対応する実オブジェクトの色特性を決定することを含む、項目１６に記載の拡張現実システム。
（項目２７）
前記捕捉された画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各々は、少なくとも１つの値によって定義され、前記制御システムは、前記重複領域内の前記仮想オブジェクトおよび前記捕捉された画像データから導出される干渉データのうちの一方または両方のピクセルの前記少なくとも１つの値を修正することによって、前記実オブジェクトと前記仮想オブジェクトとの間のコントラストを減少させるために構成されている、項目２６に記載の拡張現実システム。
（項目２８）
前記ピクセルの各々は、色ベクトルを定義する３つの値を有する、項目２７に記載の拡張現実システム。
（項目２９）
前記色ベクトルは、赤色値、緑色値、および青色値を備えている、項目２８に記載の拡張現実システム。
（項目３０）
前記ピクセルの各々は、前記ピクセルの強度を定義する第４の値を有する、項目２８に記載の拡張現実システム。
（項目３１）
前記ディスプレイシステムは、前記エンドユーザの眼の正面に位置付けられるために構成されている、項目１６に記載の仮想画像生成システム。
（項目３２）
前記ディスプレイシステムは、投影サブシステムと、部分的透明ディスプレイ表面とを含み、前記投影サブシステムは、前記仮想画像を前記部分的透明ディスプレイ表面上に投影するために構成され、前記部分的透明ディスプレイ表面は、前記エンドユーザの眼と前記周囲環境との間の視野内に位置するために構成されている、項目１６に記載の仮想画像生成システム。
（項目３３）
前記エンドユーザによって装着されるために構成されているフレーム構造をさらに備え、前記フレーム構造は、前記ディスプレイシステムを支持する、項目１６に記載の仮想画像生成システム。
（項目３４）
前記制御システムは、グラフィック制御システムユニット（ＧＰＵ）を備えている、項目１６に記載の仮想画像生成システム。

Claims (17)

1. 拡張現実（ＡＲ）システムを動作させる方法であって、前記方法は、
   エンドユーザが周囲環境内の３次元場面からの直接光を可視化することを可能にすることと、
   ユーザの頭部に対して取り付けられている少なくとも１つのカメラを用いて、実３次元場面の画像データを捕捉することと、
   前記エンドユーザの視点からの仮想画像データを生成することであって、前記少なくとも１つのカメラを用いて捕捉された前記画像データおよび前記仮想画像データの各々は、複数のピクセルを備え、前記複数のピクセルの各ピクセルは、少なくとも１つの値によって定義される、ことと、
   前記３次元場面内の実オブジェクトと前記仮想画像データ内の仮想オブジェクトとの間の空間重複の重複領域を決定することであって、前記実オブジェクトと前記仮想オブジェクトとの間の前記重複領域を決定することは、前記画像データ内の対応する実オブジェクトと前記仮想画像データ内の前記仮想オブジェクトとの間の前記空間重複を決定することを含む、ことと、
   少なくとも、前記重複領域について前記画像データ内の前記対応する実オブジェクトの対応する色を決定することによって、前記重複領域内の前記実オブジェクトの色を決定することと、
   前記可視化された直接光とともに、仮想画像として前記仮想画像データを前記エンドユーザに表示することにより、３次元拡張場面を作成することと、
   前記重複領域内の前記実オブジェクトの前記色に基づいて、前記エンドユーザの視点から前記重複領域内の前記実オブジェクトを完全に覆い隠すことであって、前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記実オブジェクトのピクセルの前記少なくとも１つの値を修正することを含み、前記重複領域内の前記実オブジェクトの前記ピクセルの前記少なくとも１つの値を修正することは、前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値を減少させることを含み、前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値は、前記対応する実オブジェクトの対応するピクセルの少なくとも１つの対応する値だけ減少させられる、ことと
   を含む、方法。
2. 前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
   前記重複領域内の前記実オブジェクトの前記色に基づいて、干渉データを生成することと、
   干渉画像が前記実オブジェクトからの前記直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための背景を作成するように、前記重複領域を覆う前記干渉画像として前記干渉データを前記ユーザに表示することと
   を含む、請求項１に記載の方法。
3. 前記重複領域内の前記背景は、前記重複領域内の前記実オブジェクトに対して減少したダイナミックカラーレンジを有する、請求項２に記載の方法。
4. 前記背景は、略均一色を前記重複領域内に有する、請求項３に記載の方法。
5. 前記略均一色は、灰色である、請求項４に記載の方法。
6. 前記干渉画像は、第１の色を前記重複領域内の前記実オブジェクトに加える、請求項２に記載の方法。
7. 前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記実オブジェクトの前記色に基づいて、前記仮想画像データを修正することを含む、請求項１に記載の方法。
8. 前記仮想画像データを修正することは、前記色を前記重複領域内の前記仮想オブジェクトから減じることを含む、請求項７に記載の方法。
9. 前記複数のピクセルの各々は、色ベクトルを定義する３つの値を有する、請求項１に記載の方法。
10. 前記色ベクトルは、赤色値、緑色値、および青色値を備えている、請求項９に記載の方法。
11. 前記仮想オブジェクトの前記ピクセルの前記少なくとも１つの値は、第１の色ベクトルを定義する３つの第１の値を有し、前記実オブジェクトの前記対応するピクセルの前記少なくとも１つの値は、第２の色ベクトルを定義する３つの第２の値を有する、請求項１に記載の方法。
12. 前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
    前記重複領域内の前記仮想オブジェクトのための背景の背景ピクセルの少なくとも１つの背景値を選択することと、
    第１の複数のピクセルを備える干渉データを生成することであって、その各々は、少なくとも１つの第２の値によって定義される、ことと、
    干渉画像が前記実オブジェクトからの前記直接光と組み合わさり、前記重複領域内の前記仮想オブジェクトのための前記背景を作成するように、前記重複領域を覆う前記干渉画像として前記干渉データを前記ユーザに表示することと
    を含む、請求項１に記載の方法。
13. 前記第１の複数のピクセルの各々は、色ベクトルを定義する３つの値を有する、請求項１２に記載の方法。
14. 前記色ベクトルは、赤色値、緑色値、および青色値を備えている、請求項１２に記載の方法。
15. 前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、前記重複領域内の前記仮想オブジェクトのための前記背景の背景ピクセルの少なくとも１つの背景値を選択することをさらに含み、前記干渉データの第１の対応するピクセルの少なくとも１つの干渉値は、前記重複領域内の前記画像データにおける前記対応する実オブジェクトの前記対応するピクセルの前記少なくとも１つの対応する値にそれぞれ追加されると、前記重複領域内の前記実オブジェクトのための前記背景の前記背景ピクセルの前記少なくとも１つの背景値に等しい、請求項１２に記載の方法。
16. 前記重複領域について前記画像データにおける前記対応する実オブジェクトの対応するピクセルの対応する値の全ては、それぞれ、前記重複領域内の前記仮想オブジェクトのための前記背景の前記背景ピクセルの前記少なくとも１つの背景値を下回る、請求項１２に記載の方法。
17. 前記重複領域内の前記実オブジェクトを完全に覆い隠すことは、
    前記重複領域内の前記画像データにおける前記対応する実オブジェクトの別の対応するピクセルの前記少なくとも１つの第１の対応する値が前記重複領域内の前記仮想オブジェクトのための前記背景の別の対応する背景ピクセルの少なくとも１つの第１の背景値を下回ることを決定することと、
    前記重複領域内の前記仮想オブジェクトの別の対応するピクセルの前記少なくとも１つの値を修正することと
    をさらに含む、請求項１６に記載の方法。