JP2019514101A5

JP2019514101A5 -

Info

Publication number: JP2019514101A5
Application number: JP2018546902A
Authority: JP
Filing date: 2017-01-23
Publication date: 2020-02-20

Claims

物理環境においてヘッドマウントディスプレイとともに使用するための方法であって、
前記物理環境の深度情報を取得するステップであって、前記物理環境が1つまたは複数の物理対象およびユーザの手を含む、取得するステップと、
視覚カメラを用いて前記物理環境の視覚画像をキャプチャするステップと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイの前記ユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を、前記ユーザが前記1つまたは複数の物理対象にタッチしているかどうかに部分的に基づいて、判定するステップと、
セグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するステップと、
仮想画像を前記ヘッドマウントディスプレイ上に表示するステップと、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするステップであって、オーバレイするステップが、前記仮想画像が前記セグメント化画像によって完全に遮断されないように、前記セグメント化画像の透明度を調整するステップを含む、ステップと
を含む、方法。
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の距離を判定するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記距離がしきい値未満である場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項1に記載の方法。
前記しきい値の値が、前記ユーザが前記1つまたは複数の物理対象をタッチしている場合、前記セグメント化画像が前記1つまたは複数の物理対象を含むように選択され、または、前記ユーザと前記1つまたは複数の物理対象の間の前記距離が前記しきい値より短い場合、前記セグメント化画像が前記1つまたは複数の物理対象を含むように選択される、請求項2に記載の方法。
前記ユーザと前記1つまたは複数の物理対象との間の前記距離が、前記ユーザの前記手と前記1つまたは複数の物理対象との間の距離である、請求項2または3に記載の方法。
前記セグメント化画像の透明度を調整するステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離に基づいて、前記1つまたは複数の物理対象の透明度を調整するステップを含む、請求項2〜4のいずれか一項に記載の方法。
前記1つまたは複数の物理対象の前記透明度を調整する前記ステップが、前記ユーザと前記1つまたは複数の物理対象との間の前記距離の縮小に比例して前記透明度を低減させるステップを含む、請求項5に記載の方法。
前記1つまたは複数の物理対象が完全に透明になるまでのある時間期間にわたって、前記仮想画像内の前記1つまたは複数の物理対象の前記透明度を増大させるステップをさらに含む、請求項1〜6のいずれか一項に記載の方法。
前記ヘッドマウントディスプレイの前記ユーザと前記1つまたは複数の物理対象との間の前記空間関係を判定する前記ステップが、前記セグメント化画像内に含めるための前記1つまたは複数の物理対象を識別するために、前記ユーザの前記手のハンドジェスチャを認識するステップを含む、請求項1〜7のいずれか一項に記載の方法。
前記深度情報が前記物理環境の3次元(3D)点群を含み、前記方法が、
前記ハンドジェスチャの認識に応じて、前記3D点群内に、かつ前記ユーザの前記手に近接して空間エリアを生成するステップをさらに含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項8に記載の方法。
前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、クローズド3D形状を生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記クローズド3D形状内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項9に記載の方法。
前記ハンドジェスチャが手を開いたジェスチャであり、前記クローズド3D形状が球体であり、任意選択で、前記球体が前記ユーザの前記手を中心として方向づけられ、前記ユーザの前記手の指の広がりに比例する直径を有する、請求項10に記載の方法。
前記空間エリアを生成する前記ステップが、前記ハンドジェスチャの認識に応じて、前記ユーザの前記手から前記3D点群内に拡張するオープン空間エリアを生成するステップを含み、前記視覚画像をセグメント化する前記ステップが、前記1つまたは複数の物理対象が前記オープン空間エリア内に少なくとも部分的に位置する場合のみ、前記1つまたは複数の物理対象を前記セグメント化画像内に含めるステップを含む、請求項9〜11のいずれか一項に記載の方法。
前記ハンドジェスチャが指をさすハンドジェスチャであり、前記オープン空間エリアが、前記ユーザの前記手の指における頂点を有する円錐形状によって定義されたエリアであり、前記円錐形状が、前記指の方向に基づいて、前記指から離れて前記物理環境内に拡張する、請求項12に記載の方法。
ヘッドマウントディスプレイであって、
物理環境の深度情報を取得するための手段であって、前記物理環境が1つまたは複数の物理対象およびユーザの手を含む、取得するための手段と、
前記物理環境の視覚画像をキャプチャするための視覚カメラと、
前記深度情報に基づいて、前記ヘッドマウントディスプレイのユーザと前記物理環境内に含まれる前記1つまたは複数の物理対象との間の空間関係を、前記ユーザが前記1つまたは複数の物理対象にタッチしているかどうかに部分的に基づいて、判定するための手段と、
セグメント化画像を生成するために、前記空間関係に基づいて前記視覚画像をセグメント化するための手段と、
仮想画像を前記ヘッドマウントディスプレイ上に表示するための手段と、
前記仮想画像と前記視覚カメラによってキャプチャされた前記1つまたは複数の物理対象の両方を表示するために、前記セグメント化画像を前記仮想画像上にオーバレイするための手段であって、前記オーバレイするための手段が、前記仮想画像が前記セグメント化画像によって完全に遮断されないように、前記セグメント化画像の透明度を調整するための手段を含む、手段と
を含む、ヘッドマウントディスプレイ。
プログラムコードを記憶する非一時的コンピュータ可読記憶媒体であって、前記プログラムコードが、実行されると、ヘッドマウントディスプレイに、請求項1〜13のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。