JP2022147845A - 表示装置、表示装置の制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザに仮想空間を適切に提供する。【解決手段】表示装置は、ユーザに装着されてユーザに仮想空間ＳＶを提供するものであって、仮想空間ＳＶにおいてユーザが移動可能な移動可能領域ＡＶ２の情報を取得する仮想空間情報取得部と、ユーザが実在する実空間ＳＲにおいてユーザが移動可能な移動可能領域ＡＲ２の情報を取得する実空間情報取得部と、仮想空間ＳＶと実空間ＳＲとを重畳した場合に移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する面積である重畳面積に基づいて設定された、仮想空間ＳＶと実空間ＳＲとの対応関係を取得する対応関係取得部と、対応関係と、実空間ＳＲにおける表示装置の位置とに基づき、仮想空間ＳＶ用の画像を表示部に表示させる表示制御部と、を含む。【選択図】図５

Description

本発明は、表示装置、表示装置の制御方法及びプログラムに関する。

昨今、情報機器が大きな進化をしている。そしてその代表例であるスマートフォンだけでなく、所謂ウエラブル機器も普及してきた。ウエラブル機器としては、直接視覚を刺激する眼鏡タイプのＨＭＤ（ヘッドマウントディスプレイ）が知られている。このようなＨＭＤを用いると、ユーザの視線方向に合わせて映像を表示することで、ユーザＵに仮想空間を提供することができる。例えば特許文献１には、３次元センサからの座標データを実３次元空間における基準座標として保持し、仮想３次元空間における基準位置に一致させることで、使用者の視点位置補正を行う旨が記載されている。

特開平９－３１１６１８号公報

このような表示装置においては、ユーザに仮想空間を適切に提供することが求められている。

本発明は、上記課題に鑑み、現実空間の座標と仮想空間の座標とを適切に対応付け可能な表示装置、表示装置の制御方法及びプログラムを提供することを目的とする。

本発明の一態様にかかる表示装置は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、を含む。

本発明の一態様にかかる表示装置の制御方法は、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、を含む。

本発明の一態様にかかるプログラムは、ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、をコンピュータに実行させる。

本発明によれば、ユーザに仮想空間を適切に提供することができる。

図１は、実空間と仮想空間の一例を説明する模式図である。 図２は、本実施形態に係る表示装置の模式的なブロック図である。 図３は、仮想空間の一例を示す模式図である。 図４は、実空間の一例を示す模式図である。 図５は、仮想空間と実空間との重畳の一例を示す模式図である。 図６は、仮想空間と実空間との重畳の他の一例を示す模式図である。 図７は、仮想空間の画像の表示フローを説明するフローチャートである。 図８は、優先領域の一例を説明する模式図である。 図９は、仮想空間と実空間との重畳の他の一例を示す模式図である。 図１０は、ユーザが仮想空間を視認している場合の例を示す模式図である。 図１１は、仮想空間と実空間との重畳の他の一例を示す模式図である。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

（実空間と仮想空間）
図１は、実空間と仮想空間の一例を説明する模式図である。本実施形態に係る表示装置１０は、画像を表示する表示装置である。図１に示すように、表示装置１０は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。表示装置１０は、画像を表示することで、ユーザＵに仮想空間を提供する。図１に示すように、ユーザＵが実際に存在する現実空間を実空間ＳＲとし、表示装置１０がユーザＵに提供する仮想の空間を仮想空間ＳＶとする。この場合、表示装置１０は、実空間ＳＲでのユーザＵの動作（視線）に応じて、仮想空間ＳＶ用の画像を表示する。すなわち、ユーザＵがアバターＵＶとして仮想空間ＳＶで動作していることを模擬して、仮想空間ＳＶ用の画像を表示する。そのため、ユーザＵは、自身が仮想空間ＳＶ内に存在していると認識することができる。なお、ここでの仮想空間ＳＶは、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）であり、ユーザＵが存在する場所から離れた実在の場所を再現した空間であるが、それに限られず、実際に存在しない仮想の空間、すなわちＶＲ（Ｖｅｒｔｉａｌ Ｒｅａｌｉｔｙ）であってもよい。以下、実空間ＳＲの座標系における、水平方向に沿った一方向を方向ＸＲとし、水平方向に沿って方向ＸＲに直交する方向を方向ＹＲとし、鉛直方向を方向ＺＲとする。また、仮想空間ＳＶの座標系における、水平方向に沿った一方向を方向ＸＶとし、水平方向に沿って方向ＸＶに直交する方向を方向ＹＶとし、鉛直方向を方向ＺＶとする。

（表示装置）
図２は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１０は、コンピュータであるともいえ、図２に示すように、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、実空間検出部２８と、制御部３０とを備える。入力部２０は、ユーザＵによる操作を受け付ける機構であり、例えばＨＭＤに設けられるコントローラやマイクなどであってよい。表示部２２は、画像を表示するディスプレイである。表示部２２は、画像を出力することで、ユーザＵに仮想空間ＳＶを提供する。表示装置１０は、表示部２２以外にも、例えば音声を出力するスピーカなど、情報を出力する装置を備えていてよい。

記憶部２４は、制御部３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が記憶する制御部３０用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。

通信部２６は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。表示装置１０は、無線通信で外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。

実空間検出部２８は、実空間ＳＲにおける表示装置１０（ユーザＵ）の周囲を検出するセンサである。実空間検出部２８は、実空間ＳＲにおいて表示装置１０（ユーザＵ）の周囲に存在する物体を検出するものであり、本実施形態ではカメラである。ただし、実空間検出部２８は、表示装置１０（ユーザＵ）の周囲の実空間ＳＲに存在する物体を検出可能であれば、カメラであることに限られず、例えばＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）などであってもよい。

制御部３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。制御部３０は、仮想空間情報取得部４０と、実空間情報取得部４２と、対応関係取得部４４と、表示制御部４６と、アバター情報送信部４８とを含む。制御部３０は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、仮想空間情報取得部４０と実空間情報取得部４２と対応関係取得部４４と表示制御部４６とアバター情報送信部４８とを実現して、それらの処理を実行する。なお、制御部３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、仮想空間情報取得部４０と実空間情報取得部４２と対応関係取得部４４と表示制御部４６とアバター情報送信部４８との処理の少なくとも一部を、ハードウェア回路で実現してもよい。

（仮想空間情報取得部）
仮想空間情報取得部４０は、仮想空間ＳＶの情報を取得する。仮想空間情報取得部４０は、例えば、通信部２６を介して、外部の装置（サーバ）から、仮想空間ＳＶの情報を取得する。仮想空間ＳＶの情報は、仮想空間ＳＶの座標系における仮想空間ＳＶの画像データを含む。仮想空間ＳＶの画像データとは、仮想空間ＳＶ用の画像として表示する対象物の座標や形状などを示す。なお、本実施形態では、仮想空間ＳＶは、実空間ＳＲにおけるユーザＵの周囲の環境に応じて構築されるものではなく、実空間ＳＲにおけるユーザＵの周囲の環境に関係することなく、予め設定されるものである。

図３は、仮想空間の一例を示す模式図である。図３は、仮想空間ＳＶをＺＶ方向から見た場合の平面図の一例である。仮想空間情報取得部４０は、仮想空間ＳＶの情報として、仮想空間ＳＶにおける移動可能領域ＡＶ２（仮想移動領域）の情報も、取得する。すなわち、仮想空間情報取得部４０は、仮想空間ＳＶの座標系において移動可能領域ＡＶ２が占める位置を示す情報も、取得する。移動可能領域ＡＶ２とは、仮想空間ＳＶにおいて、ユーザＵのアバターＵＶが移動可能な領域（又はアバターＵＶが移動可能な空間）であり、仮想空間ＳＶのうちで、ユーザＵのアバターＵＶが移動不可能な領域（又はアバターＵＶが移動不可能な空間）である移動不可領域ＡＶ１を除いた領域であってよい。移動可能領域ＡＶ２は、例えば仮想空間ＳＶにおいてアバターが集まる部屋の床などであってよく、移動不可領域ＡＶ１は、例えば、仮想空間ＳＶにおいてアバターＵＶが通れない障害物が存在する領域や、仮想空間ＳＶでの会議における注目領域（例えば机やスクリーン等)などであってよい。本実施形態では、移動可能領域ＡＶ２は、例えば仮想空間ＳＶを設定する際に、予め設定されてよいし、例えばアバターＵＶのサイズと移動不可領域ＡＶ１のサイズとに基づき、仮想空間情報取得部４０が設定してもよい。

なお、図３においては、ＺＶ方向から見た場合の仮想空間ＳＶ及び移動不可領域ＡＶ１が矩形であるが、あくまで一例であり、仮想空間ＳＶ、移動不可領域ＡＶ１、移動可能領域ＡＶ２の形状や大きさは、図３の例に限られず任意であってよい。

（実空間情報取得部）
実空間情報取得部４２は、実空間ＳＲの情報を取得する。実空間ＳＲの情報は、実空間ＳＲの座標系において表示装置１０（ユーザＵ）の周囲に存在する物体の、座標や形状を示す位置情報を指す。本実施形態では、実空間情報取得部４２は、実空間検出部２８を制御して、実空間検出部２８に表示装置１０（ユーザＵ）の周囲の物体を検出させ、その検出結果を、実空間ＳＲの情報として取得する。ただし、実空間ＳＲの情報の取得方法は、実空間検出部２８に検出されることに限られない。例えばユーザＵの部屋のレイアウト情報など、実空間ＳＲの情報が予め設定されており、実空間情報取得部４２は、設定された実空間ＳＲの情報を取得してもよい。

図４は、実空間の一例を示す模式図である。図４は、実空間ＳＲをＺＲ方向から見た場合の平面図の一例である。実空間情報取得部４２は、実空間ＳＲにおける移動可能領域ＡＲ２（実移動領域）の情報を取得する。すなわち、実空間情報取得部４２は、実空間ＳＲの座標系において移動可能領域ＡＲ２が占める位置を示す情報を、取得する。移動可能領域ＡＲ２とは、実空間ＳＲにおいて、ユーザＵが移動可能な領域（又はユーザＵが移動可能な空間）であり、ユーザＵが移動不可能な領域（又はユーザＵが移動不可能な空間）である移動不可領域ＡＲ１を除いた領域であってよい。移動可能領域ＡＲ２は、例えばユーザＵがいる部屋の床などであってよく、移動不可領域ＡＲ１は、例えば、仮想空間ＳＶにおいてユーザＵが通れない障害物（例えば机やベッドなど）が存在する領域などであってよい。本実施形態では、実空間情報取得部４２は、実空間ＳＲの情報に基づき、移動可能領域ＡＲ２と移動不可領域ＡＲ１とを設定する。実空間情報取得部４２は、実空間ＳＲの情報に基づきユーザＵが移動できない物体の位置を特定して、ユーザＵが移動できない物体が占める領域（又は空間）を移動不可領域ＡＲ１とし、ユーザＵが移動できない物体が存在しない領域（又は空間）を移動可能領域ＡＲ２として設定してよい。ただし、移動可能領域ＡＲ２と移動不可領域ＡＲ１は、実空間ＳＲの情報に基づき設定されることに限られない。例えばユーザＵの部屋のレイアウト情報など、移動可能領域ＡＲ２と移動不可領域ＡＲ１の情報が予め設定されており、実空間情報取得部４２は、設定された移動可能領域ＡＲ２と移動不可領域ＡＲ１の情報を取得してもよい。

なお、図４は、あくまで一例であり、実空間ＳＲ、移動不可領域ＡＲ１、移動可能領域ＡＲ２の形状や大きさは、図４の例に限られず任意であってよい。

（対応関係取得部）
対応関係取得部４４は、仮想空間情報取得部４０が取得した移動可能領域ＡＶ２の情報と、実空間情報取得部４２が取得した移動可能領域ＡＲ２の情報とに基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係とは、仮想空間ＳＶの座標系における実空間ＳＲの位置及び姿勢を示す情報といえ、実空間ＳＲの座標系を仮想空間ＳＶの座標系に変換するための値ともいえる。例えば、ユーザＵが実空間ＳＶにおいて基準位置にいる場合、表示装置１０は、実空間ＳＶの基準位置に対応する仮想空間ＳＶでの位置にユーザＵの視点（アバターＵＶ）が存在した場合の、仮想空間ＳＶの画像を表示する。以下、対応関係取得部４４の処理について具体的に説明する。

図５は、仮想空間と実空間との重畳の一例を示す模式図である。対応関係取得部４４は、仮想空間情報取得部４０が取得した仮想空間ＳＶと、実空間情報取得部４２が取得した実空間ＳＲとを、共通の座標系で重畳する。言い換えれば、対応関係取得部４４は、仮想空間ＳＶにおける移動不可領域ＡＶ１及び移動可能領域ＡＶ２の座標と、実想空間ＳＲにおける移動不可領域ＡＲ１及び移動可能領域ＡＲ２の座標とを、共通の座標系に座標変換することで、移動不可領域ＡＶ１及び移動可能領域ＡＶ２と、移動不可領域ＡＲ１及び移動可能領域ＡＲ２とを、共通の座標系で重畳する。なお、共通の座標系は、任意の座標系であってよく、図５の例では、共通の座標系における、水平方向に沿った一方向を方向Ｘとし、水平方向に沿って方向Ｘに直交する方向を方向Ｙとし、鉛直方向を方向Ｚとしている。

対応関係取得部４４は、共通の座標系で仮想空間ＳＶと実空間ＳＲとを重畳した際の、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する領域の面積（又は重畳する空間の体積）を、重畳面積として算出する。対応関係取得部４４は、算出した重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を算出する。

本実施形態では、対応関係取得部４４は、図５の例に示すように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置及び相対向きの少なくとも一方を移動させつつ、重畳面積を算出する。言い換えれば、対応関係取得部４４は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なるそれぞれの仮想空間ＳＶと実空間ＳＲについて、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する重畳面積を算出する。なお、図５の例では、共通の座標系において、実空間ＳＶの位置及び向きを固定させつつ、仮想空間ＳＲの位置及び向きを移動させる例を示しているが、それに限られず、仮想空間ＳＲの位置及び向きを固定させつつ、実空間ＳＶの位置及び向きを移動させて、重畳面積を算出してもよい。

対応関係取得部４４は、共通の座標系において相対位置及び相対向きの少なくとも一方が異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎の重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。より詳しくは、対応関係取得部４４は、相対位置及び相対向きの少なくとも一方が異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係（抽出した実空間ＳＲの座標系を抽出した仮想空間ＳＶの座標系に変換するための値）を算出して、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。言い換えれば、対応関係取得部４４は、重畳面積が最大となる位置及び向きとなる仮想空間ＳＶを抽出し、抽出した仮想空間ＳＶの座標系を、実空間ＳＲの座標系に対応付ける。

図６は、仮想空間と実空間との重畳の他の一例を示す模式図である。図５の説明では、対応関係取得部４４は、仮想空間ＳＶの大きさは固定したまま、仮想空間ＳＶの位置及び向きを変えながら、実空間ＳＲと重畳していたが、図６に示すように、仮想空間ＳＶの大きさを変えながら、実空間ＳＲと重畳してよい。この場合、対応関係取得部４４は、図６の例に示すように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対大きさを変化させつつ、重畳面積を算出する。言い換えれば、対応関係取得部４４は、共通の座標系において相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎に、移動可能領域ＡＶ２と移動可能領域ＡＲ２とが重畳する重畳面積を算出する。なお、相対大きさを変える場合においても、仮想空間ＳＶに対する移動不可領域ＡＶ１及び移動可能領域ＡＶ２の面積比率や、実空間ＳＲに対する移動不可領域ＡＲ１及び移動可能領域ＡＲ２の面積比率は、固定したままとすることが好ましい。言い換えれば、仮想空間ＳＶや実空間ＳＲの一部のみを拡大縮小することなく、仮想空間ＳＶや実空間ＳＲの全域を一律で拡大縮小ことが好ましい。また、図６の例では、共通の座標系において、実空間ＳＶの大きさを固定させつつ、仮想空間ＳＲの大きさを変える例を示しているが、それに限られず、仮想空間ＳＲの大きさを固定させつつ、実空間ＳＶの大きさを変化させて、重畳面積を算出してもよい。

図６の例では、対応関係取得部４４は、共通の座標系において相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせ毎の重畳面積に基づき、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。より詳しくは、対応関係取得部４４は、相対大きさが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。言い換えれば、対応関係取得部４４は、重畳面積が最大となる縮尺度合いの仮想空間ＳＶを抽出し、抽出した縮尺度合いの大きさとした仮想空間ＳＶの座標系を、実空間ＳＲの座標系に対応付ける。

なお、図５の例と図６の例とを組み合わせてもよい。すなわち、対応関係取得部４４は、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさを変えながら、重畳面積を算出する。そして、対応関係取得部４４は、共通の座標系において相対位置、相対向き及び相対大きさの少なくとも１つが異なる仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを、抽出する。そして、対応関係取得部４４は、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定する。

以上の説明では、対応関係取得部４４は、仮想空間ＳＶでの二次元での移動可能な領域を示す移動可能領域ＡＶ２と、実空間ＳＲでの二次元での移動可能な領域を示す移動可能領域ＡＲ２との重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けていたが、２次元での重畳面積を最大化することに限られない。例えば、対応関係取得部４４は、仮想空間ＳＶでの３次元での移動可能な空間を示す移動可能領域ＡＶ２（仮想移動空間）と、実空間ＳＲでの３次元での移動可能な空間を示す移動可能領域ＡＲ２（実移動空間）との重畳体積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けてよい。

また、以上の説明では、対応関係取得部４４が、共通座標系において仮想空間ＳＶと実空間ＳＲとを重畳して重畳面積を算出し、重畳面積に基づいて、仮想空間ＳＶの座標系と実空間ＳＲの座標系と対応関係を設定する。ただし、重畳面積の算出や対応関係の設定は、対応関係取得部４４によって行われることに限られない。例えば、外部の装置が重畳面積の算出を行い、対応関係取得部４４は、その外部の装置から重畳面積の情報を取得して、それに基づき対応関係を設定してよい。また例えば、外部の装置が、重畳面積を算出して重畳面積に基づき対応関係を設定し、対応関係取得部４４は、その外部の装置から対応関係の情報を取得してもよい。

（表示制御部）
表示制御部４６は、対応関係取得部４４が設定した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係と、実空間ＳＲにおけるユーザＵ（表示装置１０）の位置とに基づき、仮想空間ＳＲ用の画像を表示部２２に表示させる。具体的には、表示制御部４６は、実空間ＳＲにおけるユーザＵの位置及び向きの情報を取得し、対応関係に基づき、実空間ＳＲにおけるユーザＵの位置及び向きを、仮想空間ＳＶの座標系におけるユーザＵの視点（アバターＵＶ）の位置及び向きに換算する。表示制御部４６は、算出したユーザＵの視点の位置及び向きから仮想空間ＳＶを視認した場合の仮想空間ＳＶの画像を、仮想空間ＳＶ用の画像として表示部２２に表示させる。なお、実空間ＳＲにおけるユーザＵ（表示装置１０）の位置及び姿勢の情報は、任意の方法で取得してよいが、例えば実空間検出部２８の検出結果（すなわちここでは実空間ＳＲの撮像画像）を用いて算出してよい。

このように、実空間ＳＲにおけるユーザＵの位置姿勢は、仮想空間ＳＶにおけるユーザＵの視点の位置姿勢に反映される。従って、実空間ＳＲでユーザＵが移動した場合、仮想空間ＳＶにおけるユーザＵの視点の位置姿勢（すなわちアバターＵＶの位置姿勢）も移動する。この場合、実空間ＳＲにおけるユーザＵの移動量と、仮想空間ＳＶにおけるユーザＵの視点の移動量とは、対応付けられることが好ましい。より詳しくは、対応関係を設定する際に、共通の座標系において仮想空間ＳＶの大きさを変化させていた場合、その仮想空間ＳＶの大きさの変化度合いを、移動量に反映させることが好ましい。具体的には、共通の座標系において仮想空間ＳＶの大きさを変化させた割合（縮尺率）を、変化割合とすると、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して、変化割合の逆数倍だけの移動量を、ユーザＵの視点が仮想空間ＳＶで移動したとして、仮想空間ＳＶ用の画像を表示部２２に表示させる。すなわち、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して変化割合の逆数倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。例えば、対応関係を設定する際に仮想空間ＳＶの大きさを２倍にした場合には、表示制御部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して１／２倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。

また、表示制御部４６は、仮想空間ＳＶの画像に実空間ＳＲにおける物体を重畳表示させてもよい。この場合、表示部２２は、実空間ＳＲを透過しつつ仮想空間ＳＶの画像を表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を提供するものであってもよいし、仮想空間ＳＶの画像と、実空間ＳＲの物体を示す画像とを、重畳して表示させてもよい。また、仮想空間ＳＶ上の移動可能領域ＡＶ２のうち、実空間ＳＲの移動可能領域ＡＲ２と重なっていない空間部分は、仮想空間ＳＶの画像から削除したり、移動不可領域として情報提示したりしても良い。この場合、移動可能な領域として残った領域だったとしても、ユーザＵが（自身の体形を再現したアバターＵＶが）通過できる空間的広さが確保されていないエリアは、仮想空間ＳＶの画像上から削除しても良い。

本実施形態に係る表示装置１０は、このようにして設定した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係に基づき仮想空間ＳＶ用の画像を表示することで、ユーザＵに仮想空間ＳＶを適切に提供することができる。例えば、ユーザＵは、仮想空間ＳＶを視認しながら、実空間ＳＲを移動することになる。すなわち、ユーザＵは、仮想空間ＳＶにおける移動可能領域ＡＶ２内を移動しようとするが、実際にユーザＵが移動可能な領域は、実空間ＳＲにおける移動可能領域ＡＲ２である。このように、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とは、異なることになる。それに対して、本実施形態では、仮想空間ＳＶにおける移動可能領域ＡＶ２と実空間ＳＲにおける移動可能領域ＡＲ２との重畳面積が大きくなるように、仮想空間ＳＶと実空間ＳＲとを対応付けているため、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。そのため、表示装置１０によると、ユーザＵが移動する場合でも、仮想空間ＳＶを適切に提供することができる。

（アバター情報送信部）
アバター情報送信部４８は、仮想空間ＳＶにおけるユーザＵのアバターＵＶの情報を、通信部２６を介して外部の情報に送信する。アバター情報送信部４８は、実空間ＳＲにおけるユーザＵの位置及び向きの情報を取得し、実空間ＳＲの座標系と仮想空間ＳＶの座標系との対応関係に基づき、実空間ＳＲにおけるユーザＵの位置及び向きを、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きに換算する。アバター情報送信部４８は、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きの情報と、アバターＵＶの画像データ（形状などを示すデータ）とを、外部の装置に送信する。外部の装置は、仮想空間ＳＶの座標系におけるアバターＵＶの位置及び向きの情報と、アバターＵＶの画像データとを、仮想空間ＳＶの画像データとして、他のユーザに使用される表示装置に送信する。その表示装置は、その表示装置を装着したユーザに向けて、アバターＵＶの画像を含む仮想空間ＳＶＧの画像データを表示する。このようにアバターの画像データを外部の装置に送信することで、複数のユーザで仮想空間ＳＶを共有できる。

（処理フロー）
以上説明した仮想空間ＳＶの画像の表示フローを説明する。図７は、仮想空間の画像の表示フローを説明するフローチャートである。図７に示すように、表示装置１０は、仮想空間情報取得部４０により、仮想空間ＳＶの情報を取得し（ステップＳ１０）、実空間情報取得部４２により、実空間ＳＲの情報を取得する（ステップＳ１２）。そして、表示装置１０は、対応関係取得部４４により、仮想空間ＳＶと実空間ＳＲの相対位置、相対向き、及び相対大きさの少なくとも１つを変化させつつ、仮想空間ＳＶと実空間ＳＲとを共通の座標系で重畳させて、重畳面積を算出する（ステップＳ１４）。対応関係取得部４４は、仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせを抽出し（ステップＳ１６）、抽出した仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する（ステップＳ１８）。表示装置１０は、表示制御部４６により、設定した対応関係と、実空間ＳＲでの表示装置１０（ユーザＵ）の位置とに基づき、表示部２２に仮想空間ＳＶの画像を表示させる（ステップＳ２０）。

（効果）
以上説明したように、本実施形態に係る表示装置１０は、ユーザＵに装着されてユーザＵに仮想空間ＳＶを提供するものであって、仮想空間情報取得部４０と、実空間情報取得部４２と、対応関係取得部４４と、表示制御部４６とを含む。仮想空間情報取得部４０は、仮想空間ＳＶにおいてユーザＵ（アバターＵＶ）が移動可能な移動可能領域ＡＶ２（仮想移動領域）の情報を取得する。実空間情報取得部４２は、ユーザＵが実在する実空間ＳＲにおいてユーザＵが移動可能な移動可能領域ＡＲ２（実移動領域）の情報を取得する。対応関係取得部４４は、重畳面積に基づいて設定された、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を取得する。重畳面積とは、仮想空間ＳＶと実空間ＳＲとを共通の座標系で重畳した場合に、移動可能領域ＡＶ２（仮想移動領域）と移動可能領域ＡＲ２（実移動領域）とが重畳する面積である。表示制御部４６は、対応関係と、実空間ＳＲにおける表示装置１０の位置とに基づき、仮想空間ＳＶ用の画像を表示部２２に表示させる。

表示装置１０からユーザＵに仮想空間ＳＶが提供されている場合、ユーザＵが認識する仮想空間ＳＶでの移動可能な領域と、実空間ＳＲでの実際に移動可能な領域とは、異なることになる。それに対して、本実施形態に係る表示装置１０は、仮想空間ＳＶにおける移動可能領域ＡＶ２と実空間ＳＲにおける移動可能領域ＡＲ２との重畳面積に基づき、仮想空間ＳＶと実空間ＳＲとを対応付けているため、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。そのため、表示装置１０によると、ユーザＵが移動する場合でも、仮想空間ＳＶを適切に提供することができる。

また、対応関係は、共通の座標系において仮想空間ＳＶと実空間ＳＲとの相対位置及び相対向きの少なくとも一方を移動させた、それぞれの仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶの座標系と、実空間ＳＲの座標系とを対応付けたものである。このように仮想空間ＳＶを実空間ＳＲに対して動かして、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けることで、ユーザＵが移動可能な領域を最大限広く確保できる。

また、対応関係は、共通の座標系において仮想空間ＳＶと実空間ＳＲとの相対大きさを変化させた、それぞれの仮想空間ＳＶと実空間ＳＲとの組み合わせのうちで、重畳面積が最大となる仮想空間ＳＶの座標系と、実空間ＳＲの座標系とを対応付けたものである。このように仮想空間ＳＶの実空間ＳＲに対する大きさを変えて、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを対応付けることで、ユーザＵが移動可能な領域を最大限広く確保できる。

また、表示制御部４６は、表示装置１０（ユーザＵ）が実空間ＳＲで移動した移動量に対して、共通の座標系で仮想空間ＳＶの大きさを変化させた変化割合の逆数倍だけの移動量を、ユーザＵが仮想空間ＳＶで移動したとして、仮想空間ＳＶ用の画像を表示部２２に表示させる。本実施形態に係る表示装置１０は、ユーザＵの実際の移動量に重畳する際の縮尺度合いを加味して、仮想空間ＳＶにおける移動量を設定するため、ユーザＵの動きに合わせて、仮想空間ＳＶを適切に提供できる。

（対応関係の設定方法の他の例）
本実施形態で説明した、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係の設定方法の他の例を説明する。

例えば図５や図６で説明したように、仮想空間ＳＶの位置、向き、大きさを変えつつ、重畳面積が最大となるように、仮想空間ＳＶと実空間ＳＲとを重畳した場合には、仮想空間ＳＶの移動不可領域ＡＶ１（例えば注目領域）の周囲に、実空間ＳＲでの移動不可領域ＡＲ１（例えば実際の障害物）が位置して、仮想空間ＳＶでの注目領域に近づく際に邪魔となる可能性が想定される。そのような場合に備えて、対応関係取得部４４は、仮想空間ＳＶの移動可能領域ＡＶ２に優先領域を設定して、優先領域が実空間ＳＲでの移動不可領域ＡＲ１と重畳しないように、仮想空間ＳＶと実空間ＳＲとを重畳させてよい。以下、より具体的に説明する。

図８は、優先領域の一例を説明する模式図であり、図９は、仮想空間と実空間との重畳の他の一例を示す模式図である。対応関係取得部４４は、仮想空間ＳＶの移動可能領域ＡＶ２内に、優先領域を設定する。優先領域とは、仮想空間ＳＶと実空間ＳＲとを重畳させる際に、移動不可領域ＡＲ１と重畳せずに移動可能領域ＡＲ２と重畳することが優先される領域である。対応関係取得部４４は、任意の方法で優先領域を設定してよいが、例えば、移動可能領域ＡＶ２の全域のうちで、注目領域である移動不可領域ＡＶ１の周囲の所定の大きさの領域を、優先領域として設定してよい。また、対応関係取得部４４は、優先度合いが異なる複数の優先領域を設定してよい。図８の例では、対応関係取得部４４は、移動不可領域ＡＶ１の周囲に優先領域ＡＶ２ａを設定し、優先領域ＡＶ２ａの周囲に優先領域ＡＶ２ｂを設定している。この場合、移動不可領域ＡＶ１により近い優先領域ＡＶ２ａの方が、優先領域ＡＶ２ｂよりも優先度合いが高く設定される。なお、以下、移動可能領域ＡＶ２のうちで優先領域以外の領域を、適宜、非優先領域と記載する。すなわち、図９の例では、優先領域ＡＶ２ｂの外側の領域が、非優先領域ＡＶ２ｃとなる。

対応関係取得部４４は、優先領域が設定された仮想空間ＳＶと、実空間ＳＲとを、共通の座標系で重畳する。この場合、対応関係取得部４４は、図５や図６で説明したように、共通の座標系において、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさの少なくとも１つを変えながら、重畳面積を算出し、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせから、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を設定する。ただし、本例では、優先領域と移動可能領域ＡＲ２とが重畳する面積である優先重畳面積の大きさが、非優先領域と移動可能領域ＡＲ２とが重畳する面積である非優先重畳面積の大きさよりも、算出される重畳面積に大きく影響するように、重畳面積が算出される。すなわち、重畳面積は、優先重畳面積や非優先重畳面積が大きいほど、大きくなるように算出されるものであるが、優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いが、非優先重畳面積が単位量大きくなった際に重畳面積が大きくなる度合いよりも、大きい。

例えば、本例の対応関係取得部４４は、優先重畳面積に対して重みを付与し、優先重畳面積に重みを乗じた値と、非優先重畳面積との合計値を、重畳面積として算出する。このように優先重畳面積に重みを付与することで、優先重畳面積（優先領域）が重畳面積に与える影響度合いが、非優先重畳面積（非優先領域）が重畳面積に与える影響度合いよりも、大きくなる。そのため、例えば図９に示すように、注目領域（移動不可領域ＡＶ１）の周囲の優先領域が移動不可領域ＡＲ１に重ならないことが重要視され、重畳面積が最大となる仮想空間ＳＶと実空間ＳＲとの組み合わせは、優先重畳面積が移動不可領域ＡＲ１に重なり難くなる。そのため例えば、仮想空間ＳＶでの注目領域に近づく際に、移動不可領域ＡＲ１が邪魔となる可能性を抑制できる。

このように、本例では、移動可能領域ＡＶ２内で設定された優先領域と移動可能領域ＡＶ２とが重畳する優先重畳面積が大きいほど、重畳面積が大きくなるように算出される。優先領域は、非優先領域（優先領域以外の移動可能領域ＡＶ２内の領域）よりも、重畳面積の大きさへの影響度合いが大きく設定される。これにより、仮想空間ＳＶでの注目領域に近づく際に、移動不可領域ＡＲ１が邪魔となる可能性を抑制できる。なお、複数の優先領域を設定する際には、優先領域ごとに重みの値を異ならせてよい。この場合、図８の例では、移動不可領域ＡＶ１に近い優先領域ＡＶ２ａの重みが、優先領域ＡＶ２ｂの重みよりも大きく設定される。

次に、対応関係の設定方法の他の例として、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係を設定する方法について説明する。図１０は、ユーザが仮想空間を視認している場合の例を示す模式図である。図１０に示すように、仮想空間ＳＶにおける注目領域である移動不可領域ＡＶ１ａは、実空間ＳＶの障害物である移動不可領域ＡＲ１と、高さ方向（実空間座標でのＺＲ方向）の位置が重なり、仮想空間ＳＶにおける注目領域が隠れてしまう場合も想定される。このような状態を避けるため、対応関係取得部４４は、移動不可領域ＡＶ１と移動不可領域ＡＲ１との高さ方向の位置が重ならないように、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係を設定してよい。これにより、例えば図１０の移動不可領域ＡＶ１ｂに示すように、移動不可領域ＡＲ１と重ならない位置に移動不可領域の位置を設定できる。なお、実空間ＳＲの高さ方向の位置と仮想空間ＳＶの高さ方向の位置との対応関係の設定は、対応関係取得部４４が自動で行ってもよいし、ユーザＵの入力により行われてもよい。

次に、対応関係の設定方法の他の例として、仮想空間ＳＶと実空間ＳＲとの相似度合いが大きくなるように、仮想空間ＳＶと実空間ＳＲとを重畳する例について説明する。図１１は、仮想空間と実空間との重畳の他の一例を示す模式図である。本例においては、対応関係取得部４４は、実空間ＳＲと仮想空間ＳＶとの形状を比較して、実空間ＳＲのうちで、仮想空間ＳＶと形状が近い領域を、相似度合いが高い相似領域ＳＲＳとして抽出する。そして、対応関係取得部４４は、図１１の例に示すように、仮想空間ＳＶと実空間ＳＲとの相対位置、相対向き及び相対大きさの少なくとも１つを変えつつ仮想空間ＳＶを実空間ＳＲに重畳させることで、仮想空間ＳＶと相似領域とを重畳させる。対応関係取得部４４は、相似領域ＳＲＳに重畳された仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係を、算出する。このように、相似度合いが高い領域に仮想空間ＳＶを重畳させることでも、ユーザＵが認識する移動可能な領域と、実際に移動可能な領域とのずれが少なくなり、ユーザＵが移動可能な領域を最大限広く確保できる。なお、本例では、重畳させる際に重畳面積を考慮しなくてよいが、それに限られず、重畳面積も考慮してよい。すなわち例えば、対応関係取得部４４は、相似度合いが大きくなり、かつ、重畳面積が大きくなるように、仮想空間ＳＶと実空間ＳＲとを重畳してもよい。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１０ 表示装置
２２ 表示部
４０ 仮想空間情報取得部
４２ 実空間情報取得部
４４ 対応関係取得部
４６ 表示制御部
ＡＲ２ 移動可能領域（実移動領域）
ＡＶ２ 移動可能領域(仮想移動領域)
ＳＲ 実空間
ＳＶ 仮想空間
Ｕ ユーザ

Claims (6)

1. ユーザに装着されて前記ユーザに仮想空間を提供する表示装置であって、
   前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得する仮想空間情報取得部と、
   ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得する実空間情報取得部と、
   前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得する対応関係取得部と、
   前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させる表示制御部と、
   を含む、
   表示装置。
2. 前記対応関係取得部は、前記仮想空間と前記実空間との相対位置及び相対向きの少なくとも一方を移動させた、それぞれの前記仮想空間と前記実空間との組み合わせのうちで、前記重畳面積が最大となる対応関係を取得する請求項１に記載の表示装置。
3. 前記対応関係取得部は、前記仮想空間と前記実空間との相対大きさを変化させた、それぞれの前記仮想空間と前記実空間との組み合わせのうちで、前記重畳面積が最大となる対応関係を取得する請求項１に記載の表示装置。
4. 前記重畳面積は、前記仮想移動領域内で設定された優先領域と前記実移動領域とが重畳する面積が大きいほど、大きく算出されるものであり、前記優先領域は、前記優先領域以外の前記仮想移動領域内の領域よりも、前記重畳面積の大きさへの影響度合いが大きく設定される、請求項１から請求項３のいずれか１項に記載の表示装置。
5. ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法であって、
   前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
   ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
   前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
   前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
   を含む、
   表示装置の制御方法。
6. ユーザに装着されて前記ユーザに仮想空間を提供する表示装置の制御方法をコンピュータに実行させるプログラムであって、
   前記仮想空間において前記ユーザが移動可能な仮想移動領域の情報を取得するステップと、
   ユーザが実在する実空間において前記ユーザが移動可能な実移動領域の情報を取得するステップと、
   前記仮想空間と前記実空間とを重畳した場合に前記仮想移動領域と前記実移動領域とが重畳する面積である重畳面積に基づいて設定された、前記仮想空間と前記実空間との対応関係を取得するステップと、
   前記対応関係と、前記実空間における前記表示装置の位置とに基づき、前記仮想空間用の画像を表示部に表示させるステップと、
   をコンピュータに実行させる、
   プログラム。

Images