JP2020520487A - Ｖｒインタラクションの改良された方法およびシステム - Google Patents

Abstract

本発明は、人（１０１）の身体部分を表すデータを提供する方法に関する。本発明に係る方法は、少なくとも次のステップを含む。ヘッドマウントディスプレイユニット（１０２）を提供し、人（１０１）の前の視覚情報をキャプチャするカメラ手段（１０３）を提供し、ヘッドマウントディスプレイユニット（１０２）を装着している人（１０１）を映すミラー（１０４）を提供し、カメラ手段（１０３）で映された視覚情報をキャプチャし、処理ユニットを用いて映された視覚情報を処理し、人（１０１）に処理された視覚情報を出力する方法であって、ヘッドマウントディスプレイユニット（１０２）は、人（１０１）の頭に配置され、ヘッドマウントディスプレイユニット（１０２）は、人（１０１）の少なくとも片目の前に配置可能な画定されたスクリーンセクションを有し、視覚情報は、人（１０１）の少なくとも片目に視覚情報を表示するための画定されたスクリーンセクションに出力可能であり、カメラ手段（１０３）は、ヘッドマウントディスプレイユニット（１０２）の一部またはそれに付随したものである。【選択図】図２

Description

本発明は、請求項１に記載の人の身体部分を表すデータを提供する方法、請求項１２に記載のそのような方法を実行するコンピュータプログラム製品、請求項１３に記載のインタラクション、特に、少なくとも２人の間のコミュニケーションを可能にするコミュニケーションシステムに関する。

仮想現実（ＶＲ）、特に、拡張現実（ＡＲ）および複合現実（ＭＲ）は、急速に進化している技術の分野を含んでいる。そのような技術により、ゲーム、コミュニケーション、および産業の新たな可能性が開かれている。

ＶＲデバイスはユーザーの頭に取り付けられており、腕、手、脚、または足の身体部分に焦点が合っていないため、ＶＲアプリケーション中に手の動きをキャプチャするためには、さらに外部カメラ装置を必要とする。

スマートフォンがＶＲグラスの内部で使用されている間、スマートフォンの背面カメラおよび前面カメラは使用できない。複合現実アプリケーションのような環境をキャプチャするために背面カメラ（メインカメラ）のみを使用することはできるが、ビデオ会議、テレビ電話、ビデオ電話、テレプレゼンス、仮想空間、または自己のリアルタイム画像を仮想空間に転送するといったアプリケーションにおいて、背面（メイン）カメラおよび／または前面カメラを使用することはできない。そのようなアプリケーションでは、外部カメラでのみ可能であり、外部コンポーネントを必要とし、完全なモバイル環境では役に立たない。

したがって、本発明の目的は、高度なＶＲシステムを操作する方法を提供し、少なくとも２人の間のインタラクションを可能とする高度なＶＲインタラクションシステムを提供することである。

上記目的は、人の身体部分を表すデータを提供する請求項１に記載の方法によって解決される。本方法は、少なくとも次のステップを含むことが好ましい。ヘッドマウントディスプレイユニットを提供し、人の前の視覚情報をキャプチャするカメラ手段を提供し、ヘッドマウントディスプレイユニットを装着している人を映すミラーを提供し、カメラ手段で映された視覚情報をキャプチャし、処理ユニットを用いて映された視覚情報を処理する方法であって、ヘッドマウントディスプレイユニットは、人の頭に配置され、ヘッドマウントディスプレイユニットは、人の少なくとも片目の前に配置可能な画定されたスクリーンセクションを有し、視覚情報は、人の少なくとも片目に視覚情報を表示するための画定されたスクリーンセクションに出力可能であり、カメラ手段は、ヘッドマウントディスプレイユニットの一部またはそれに付随したものである。処理された視覚情報は、１人以上のユーザーに出力され、もしくはＶＲオブジェクト、アバター、および／または設定を制御するためのデータとして出力されることが好ましい。

したがって、本発明は、好ましくはスクリーンとしてスマートフォンを使用し、好ましくは背面（メイン）カメラが開いたままである後部カバーに穴を含むＶＲグラスからなる。ＶＲグラスなどのヘッドマウントディスプレイを装着したユーザーが鏡の前に行くと、像が反転され、ユーザーが頭の位置を動かした場合でもユーザーの安定した視界が得られる。

本方法は、全ての電気デバイスをヘッドマウントディスプレイに取り付けることができ、またはヘッドマウントディスプレイの一部にすることができるため、有益である。そのため、各ユーザーから離れた場所に配置されたカメラを必要としない。さらに、ミラーはほぼどの家庭にも存在する非常に一般的な物品である。したがって、家庭および企業の現在のインフラストラクチャを使用して、ユーザー体験を容易にすることができる。

さらに好ましい実施形態は、明細書の以下の部分で説明され、および／または従属請求項の主題である。

本発明のさらに好ましい実施形態によれば、処理ユニットは、出力の前に、キャプチャされた視覚情報を回転させる。ミラー反転された視覚情報を非ミラー反転バージョンにするために、特に、１８０°の回転角度で回転または反転が行われることが好ましい。

本発明のさらに好ましい実施形態によれば、処理ユニットは、キャプチャされた視覚情報の中の少なくとも身体部分、特に、人の手を判定し、身体部分の動きまたはジェスチャーが、処理ユニットを操作するためのコマンドおよび／または視覚情報を修正するためのコマンドにリンクされる。この実施形態は、各身体部分がコントローラデバイスを置き換えることができ、その結果、システム全体がより少ないハードウェアを必要とするため、有益である。

本発明のさらに好ましい実施形態によれば、処理ユニットは、キャプチャされた視覚情報の中の少なくとも２つの身体部分、特に、２つの手を判定し、各身体部分の動きまたはジェスチャーが、処理ユニットを操作するためのコマンドおよび／または視覚情報を修正するためのコマンドにリンクされる。この実施形態は、２つの身体部分をお互いに相対的に移動させることができ、その結果、より多くのコマンドを設定できるため、有益である。

本発明のさらに好ましい実施形態によれば、処理ユニットは、少なくとも１つの仮想オブジェクトを提供し、仮想オブジェクトは、出力される仮想情報の一部としてオーバーレイ方式で表示され、仮想オブジェクトは、判定された身体部分の動きに応じて修正される。本実施形態は、仮想オブジェクトを回転させることができ、および／またはその大きさを変更することができ、および／またはその形状を変更することができるため、有益である。

本発明のさらに好ましい実施形態によれば、処理ユニットは、仮想環境を提供し、仮想環境は人に表示され、少なくとも１つの仮想オブジェクトおよび／または仮想環境は、判定された身体部分の動きに応じて修正される。本方法は、仮想環境をゲーム環境、特に、一人用シューティングゲーム用のゲーム環境にできるので、有益である。仮想オブジェクトは、銃またはアバターである。さらに、複数の仮想オブジェクトが存在することが考えられる。

本発明のさらに好ましい実施形態によれば、スクリーンユニット、特に、スマートフォンまたはタブレットＰＣは、視覚情報を、人の少なくとも片目、好ましくは両目に表示するための画定されたセクションに配置され、スクリーンユニット、特に、スマートフォンまたはタブレットＰＣのスクリーンは、ユーザーの目、特に両目に面し、スマートフォンの背面カメラがカメラ手段として機能する。スクリーンユニットのスクリーン側は前面側と定義し、背面側はスクリーンユニットの反対側にある。したがって、ヘッドマウントディスプレイユニットは、スクリーンユニット、特に、スマートフォンまたはタブレットＰＣを保持するためのフレーム手段を含むことが好ましい。スクリーンユニットは、固定または取り外し可能な方法でフレーム手段に配置することができる。ここで、フレーム手段は、画定されたスクリーンセクションの中でスクリーンデバイスのスクリーンの位置を決めるための位置要素を設けることが好ましい。

映された視覚情報が判定された場合に、処理ユニットは、キャプチャされた視覚情報を所定の方法で処理、特に、出力された視覚情報を回転させて処理する。

本発明のさらに好ましい実施形態によれば、調整スクリーンがビデオシースルー機能として可能であり、ミラーは、調整スクリーンに少なくとも部分的に表示される。キャプチャされた視覚情報の評価が行われることが好ましく、カメラ手段とミラーとの間の距離が判定される。カメラ手段とミラーとの間の距離が最少閾値を下回る、または最大閾値を上回る場合に、信号が出力されることが好ましい。これらの実施形態は、カメラ手段とミラーとの間の最適な距離を容易に設定できるため、有益である。

本発明は、さらに、請求項１２に係る本明細書に記載された方法、特に、請求項１乃至請求項１１に係る方法を実行するためのコンピュータプログラム製品に関する。

上記の目的は、少なくとも２人の間のインタラクション、特にコミュニケーションを可能にする請求項１３に記載のコミュニケーションインタラクティングシステムによっても解決される。インタラクティングシステムは、少なくとも複数のヘッドマウントディスプレイユニットと、各人の前の視覚情報をキャプチャするカメラ手段と、ヘッドマウントディスプレイユニットを装着している各人を映す少なくとも１つのミラーと、を含み、ヘッドマウントディスプレイユニットは、人の頭に配置され、視覚情報は、各人の少なくとも片目に視覚情報を表示するための画定されたスクリーンセクションに出力可能であり、各カメラ手段は、ヘッドマウントディスプレイの一部またはそれに付随したものであり、映された視覚情報は、各カメラ手段でキャプチャされ、映された視覚情報は、少なくとも１つの処理ユニットを用いて処理され、処理された視覚情報は、各人および／または他の人に出力される。本方法は、特に、外部のカメラ手段がなくても、特に、ＭＲまたはＡＲなどのＶＲ環境において、人と人との間のインタラクションが容易に設定できるため、有益である。

本発明のさらに好ましい実施形態によれば、処理ユニットは、キャプチャされた視覚情報の中の各人の少なくとも１つの身体部分、特に手を判定し、身体部分の動きまたはジェスチャーは、処理ユニットを操作するためのコマンドおよび／または視覚情報を修正するためのコマンドにリンクされる。

本発明のさらに好ましい実施形態によれば、仮想環境が提供され、各人に表示され、一方の人によって引き起こされた修正が他方の人に表示される。

本発明のさらなる利点、目的および特徴は、本発明の例示的な構成要素が例示されている添付の図面の以下の明細書によって説明される。少なくとも本質的にそれらの機能に関して適合する本発明に係るシステムおよび方法の構成要素は、同じ参照符号を付すことができ、そのような構成要素は、前記図面に関して何度も付したり説明したりする必要はない。

以下では、添付の図面に関して本発明を例示的に説明する。

ミラーの前のＨＭＤを装着している人を示す。 ミラーによって反射された像を示す。 ユーザーの像およびユーザーの反射された像を示す。 スクリーンデバイスをＨＭＤユニットのフレーム手段に連結するステップを概略的に示す。 カメラ手段が組み込まれたＨＭＤユニットを示す。 本発明に係るルーチンを表すフローチャートを示す。

図１Ａは、ＶＲグラスであるＨＭＤユニット１０２を装着しているユーザー各人１０１を示す。ＨＭＤユニット１０２は、カメラ手段１０３を含む。カメラ手段１０３は、好ましくは、ユーザー１０１の前の環境をキャプチャできるように、通常の使用状態で配置される。参照番号１０４はミラーを示す。

図１Ｂは、ユーザー１０１の鏡像を示し、ユーザーは参照番号１０１Ｍによって反射された像に示されている。ＨＭＵユニットを表す反射された像セクションは参照番号１０２Ｍで示され、カメラ手段の反射された画セクションは参照番号１０３Ｍで示されている。 ユーザー１０１の後ろ側は、参照番号１０１Ｂで示され、参照番号１０２Ｂは、ユーザー１０１の後ろ側に存在するＨＭＤユニットの部分を示す。参照番号１０５は、ユーザー１０１がミラー１０４に面していることを示す。

図２は、ユーザーの通常の外観２０１を示し、２０２は、ミラー１０４によって反射された同じユーザーの像を示す。

図３は、フレーム手段１０６をスクリーンデバイス３０１、特に、背面カメラ１０３Ｘを有するスマートフォンに連結する連結ステップを示す。スクリーンデバイス３０１は、所定のスクリーンセクション部分に配置される。

図４は、別の実施形態を示す。図３とは対照的に、カメラ手段１０３ＹはＨＭＤユニットの一部であり、ＨＭＤユニット１０２と連結することができる外部スクリーンデバイス１０３Ｘの一部ではない。さらに、スクリーンデバイスもスクリーンも固定され、取り外し不可能であり、ＨＭＤユニット１０２の一部であることが考えられる。カメラ手段１０３Ｘは、好ましくは、スクリーンデバイスと連結され、カメラ手段１０３Ｘによってキャプチャされた視覚情報は、スクリーンデバイスを用いて出力され得る。

図５は、フローチャートを示す。このフローチャートによれば、参照番号５０１は、好ましい方法の開始を示す。ミラー検出ルーチンが開始されたかどうかは、ステップ５０２における処理デバイスによってチェックされる。上記ルーチンが開始される場合、ステップ５０３においてミラー検出が実行される。検出された像は、映された外観を補正するために処理され、その結果、キャプチャされた視覚情報を表す画像データまたは映像データの各々は反転されることが好ましい。処理によって得られた画像データまたは映像データは、外部カメラでキャプチャされた画像データまたは映像データに対応する。この方法はステップ５０５で終了する。チェック５０２または５０３が否定の場合、この方法は終了する。

したがって、本発明は、人の身体部分を表すデータを提供する方法に関する。本方法は、少なくとも次のステップを含むことが好ましい。ヘッドマウントディスプレイユニットを提供し、人の前の視覚情報をキャプチャするカメラ手段を提供し、ヘッドマウントディスプレイユニットを装着している人を映すミラーを提供し、カメラ手段で映された視覚情報をキャプチャし、処理ユニットを用いて映された視覚情報を処理し、人に処理された視覚情報を出力する方法であって、ヘッドマウントディスプレイユニットは、人の頭に配置され、ヘッドマウントディスプレイユニットは、人の少なくとも片目の前に配置可能な画定されたスクリーンセクションを有し、視覚情報は、人の少なくとも片目に視覚情報を表示するための画定されたスクリーンセクションに出力可能であり、カメラ手段は、ヘッドマウントディスプレイユニットの一部またはそれに付随したものである。

したがって、本発明の特定の使用分野は、背面カメラを有する携帯電話を具備したＶＲグラスである。しかし、ビルトインスクリーンと、追加の外部カメラもしくは他の構造センサまたはモーションセンサを具備したＶＲグラスなどの他のデバイスを使用することも可能である。ＶＲグラスは、ＡＲグラス、ＭＲグラス、または同様のグラス、もしくは他のＨＭＤ、さらにはＨＵＤである。本発明は、外部ミラーを必要とし、好ましくは任意のタイプのミラーとすることができる。好ましくないが、任意の他の光沢のある反射表面も可能である。携帯電話とは、あらゆる携帯電話、スマートフォン、またはＶＲグラス内で使用できる機能を備えた電話を意味し、それらのほとんどはフルタッチスクリーンを備える。

特に、本発明は、人１０１の身体部分を表すデータを提供する方法に関し、本発明に係る方法は、少なくとも次のステップを含むことが好ましい。ヘッドマウントディスプレイユニット１０２を提供し、人１０１の前の視覚情報をキャプチャするカメラ手段１０３を提供し、ヘッドマウントディスプレイユニット１０２を装着している人１０１を映すミラー１０４を提供し、カメラ手段１０３で映された視覚情報をキャプチャし、処理ユニットを用いて映された視覚情報を処理し、人１０１に処理された視覚情報を出力する方法であって、ヘッドマウントディスプレイユニット１０２は、人１０１の頭に配置され、ヘッドマウントディスプレイユニット１０２は、人１０１の少なくとも片目の前に配置可能な画定されたスクリーンセクションを有し、視覚情報は、人１０１の少なくとも片目に視覚情報を表示するための画定されたスクリーンセクションに出力可能であり、カメラ手段１０３は、ヘッドマウントディスプレイユニット１０２の一部またはそれに付随したものである。

１０１ ユーザー（横側）
１０２ ＶＲグラス
１０３ カメラ
１０４ ミラー（携帯電話／スマートフォン背面カメラ）
１０１Ｍ ミラーから反射されたユーザーの像
１０２Ｂ ＶＲグラスの背面
１０２Ｍ ミラーから反射されたＶＲグラスの像
１０３Ｍ ミラーから反射されたカメラの像（携帯電話／スマートフォン背面カメラ）
１０５ ユーザーがスクリーン全体を見ている
１０６ ＨＭＤのフレーム手段
２０１ 横から見たユーザーの通常の外観
２０２ ミラーから反射された
３０１ 携帯電話またはスマートフォン
１０３Ｘ 電話の背面カメラ
１０３Ｙ 組み込まれたカメラ
５０１ 開始
５０２ ミラーシステムは機能しているか？
５０２Ｎ ＮＯ
５０２Ｙ ＹＥＳ
５０３ カメラ全体でミラーが検出されているか？
５０３Ｎ ＮＯ
５０３Ｙ ＹＥＳ
５０４ 画像または映像を反転し、外部カメラとして使用
５０５ 終了

Claims (15)

1. 人（１０１）の身体部分を表すデータを提供する方法であって、前記方法は、少なくとも、
   ヘッドマウントディスプレイユニット（１０２）を提供し、
   前記人（１０１）の前の視覚情報をキャプチャするカメラ手段（１０３）を提供し、
   前記ヘッドマウントディスプレイユニット（１０２）を装着している前記人（１０１）を映すミラー（１０４）を提供し、
   前記カメラ手段（１０３）で前記映された視覚情報をキャプチャし、
   処理ユニットを用いて前記映された視覚情報を処理し、
   特に、前記人（１０１）に前記処理された視覚情報を出力することを含み、
   前記ヘッドマウントディスプレイユニット（１０２）は、前記人（１０１）の頭に配置され、
   前記ヘッドマウントディスプレイユニット（１０２）は、前記人（１０１）の少なくとも片目の前に配置可能な画定されたスクリーンセクションを有し、
   前記視覚情報は、前記人（１０１）の前記少なくとも片目に前記視覚情報を表示するための前記画定されたスクリーンセクションに出力可能であり、
   前記カメラ手段（１０３）は、前記ヘッドマウントディスプレイユニット（１０２）の一部またはそれに付随している方法。
2. 前記処理ユニットは、出力する前に、前記キャプチャされた視覚情報を非ミラー反転構成に反転することを特徴とする請求項１に記載の方法。
3. 前記処理ユニットは、前記キャプチャされた視覚情報の中の前記人（１０１）の少なくとも１つの身体部分、特に手、を判定することを特徴とし、
   前記身体部分の動きまたはジェスチャーは、前記処理ユニットを操作するためのコマンドおよび／または前記視覚情報を修正するためのコマンドにリンクされている請求項２に記載の方法。
4. 前記処理ユニットは、前記キャプチャされた視覚情報の中の前記人（１０１）の少なくとも２つの身体部分、特に、２つの手、を判定することを特徴とし、
   前記身体部分の動きまたはジェスチャーは、前記処理ユニットを操作するためのコマンドおよび／または前記視覚情報を修正するためのコマンドにリンクされている請求項２に記載の方法。
5. 前記処理ユニットは、少なくとも１つの仮想オブジェクトを提供することを特徴とし、
   前記仮想オブジェクトは、前記判定された身体部分の動きに応じて修正される請求項３または請求項４に記載の方法。
6. 前記処理ユニットは、仮想環境を提供することを特徴とし、
   前記仮想環境は前記人（１０１）に表示され、
   少なくとも１つの仮想オブジェクトおよび／または前記仮想環境は、前記判定された身体部分の動きに応じて修正される請求項１乃至請求項４に記載の方法。
7. スマートフォン（３０１）は、前記人の前記少なくとも片目に前記視覚情報を表示するための前記画定されたセクションに配置されることを特徴とし、
   前記スマートフォン（３０１）の画面は、前記ユーザー（１０１）の目に面し、前記スマートフォン（３０１）の背面カメラ（１０３Ｘ）は、カメラ手段（１０３）として機能する請求項１乃至請求項６のいずれかに記載の方法。
8. 映された視覚情報が判定された場合に、前記処理ユニットは、前記キャプチャされた視覚情報を所定の方法で処理し、特に、前記出力された視覚情報を回転させることを特徴とする請求項１乃至請求項７に記載の方法。
9. 調整スクリーンは、ビデオシースルー機能として可能であることを特徴とし、
   前記ミラー（１０４）は、前記調整スクリーンに少なくとも部分的に表示される請求項１乃至請求項８のいずれかに記載の方法。
10. 前記キャプチャされた視覚情報の評価が行われることを特徴とし、
    前記カメラ手段（１０３）と前記ミラー（１０４）との前記距離が判定される請求項１乃至請求項９のいずれかに記載の方法。
11. カメラ手段（１０３）とミラー（１０４）との間の前記距離が最少閾値を下回る、または最大閾値を上回る場合に、信号が出力される請求項１０に記載の方法。
12. 請求項１乃至請求項１１に記載の方法を実行するコンピュータプログラム製品。
13. インタラクション、特に、少なくとも２人の間のコミュニケーションを可能にするコミュニケーションシステムであって、前記コミュニケーションシステムは、少なくとも、
    ヘッドマウントディスプレイユニットと、
    前記各人の前の視覚情報をキャプチャするカメラ手段と、
    前記ヘッドマウントディスプレイユニットを装着している前記各人を映す少なくとも１つのミラーと、を含み、
    前記ヘッドマウントディスプレイユニットは、前記人の前記頭に配置され、
    視覚情報は、前記各人の少なくとも片目に前記視覚情報を表示するための前記確定されたスクリーンセクションに出力可能であり、
    各カメラ手段は、前記ヘッドマウントディスプレイの一部またはそれに付随したものであり、
    前記映された視覚情報は、前記各カメラ手段でキャプチャされ、
    前記映された視覚情報は、少なくとも１つの処理ユニットを用いて処理され、
    前記処理された視覚情報は、前記各人および／または前記他の人に出力され、および／またはＶＲオブジェクト、アバターおよび／または設定を操作するためのコマンドとして使用されるコミュニケーションシステム。
14. 前記処理ユニットは、前記キャプチャされた視覚情報の中の各人の少なくとも１つの身体部分、特に手、を判定することを特徴とし、
    前記身体部分の動きまたはジェスチャーは、前記処理ユニットを操作するためのコマンドおよび／または前記視覚情報を修正するためのコマンドにリンクされている請求項１３に記載のコミュニケーションシステム。
15. 仮想環境が提供され、各人に表示されることを特徴とし、
    １人によって引き起こされた変更が他の人に表示される請求項１４に記載のコミュニケーションシステム。

Images