JP2023048014A - 表示装置、表示装置の制御方法およびプログラム - Google Patents

Abstract

【課題】仮想空間においてユーザの行動を自然なものにする。【解決手段】表示装置は、ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得する実オブジェクト情報取得部と、仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得する仮想オブジェクト情報取得部と、前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するユーザ位置取得部と、を含む。【選択図】図７

Description

本発明は、表示装置、表示装置の制御方法およびプログラムに関する。

昨今、情報機器が大きな進化をしている。そして、このような情報機器としては、その代表例であるスマートフォンだけでなく、ユーザに装着される所謂ウエラブルデバイスなども普及してきた。ウェアラブルデバイスとしては、視覚情報を提供するＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）があり、ＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）用や、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用などに用いられる。例えば特許文献１には、予め決められたＡＲマーカーを用いてＨＭＤの出力部に表示されるオブジェクトの位置を調整するものが開示されている。

特開２０１９－１７５２９４号公報

ウエラブルデバイスがユーザに仮想空間を提供するとき、ユーザは仮想空間内における自分の位置を自由に決定することができる。しかし、実空間と仮想空間とにおけるオブジェクトに対するユーザの位置が一致しない場合、仮想空間におけるユーザの行動が不自然となってしまうおそれがある。

本発明は、上記課題を鑑み、仮想空間におけるユーザの行動が不自然となることを抑制可能な表示装置、表示装置の制御方法およびプログラムを提供することを目的とする。

本発明の一態様にかかる表示装置は、ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得する実オブジェクト情報取得部と、仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得する仮想オブジェクト情報取得部と、前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するユーザ位置取得部と、を含む。

本発明の一態様にかかる表示装置の制御方法は、ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得するステップと、仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得するステップと、前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するステップと、を含む。

本発明の一態様にかかるプログラムは、ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得するステップと、仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得するステップと、前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するステップと、をコンピュータに実行させる。

本発明によれば、仮想空間においてユーザの行動を自然なものにすることができる。

図１は、実空間と仮想空間の一例を説明する模式図である。 図２は、本実施形態に係る表示システムの模式図である。 図３は、本実施形態に係る表示装置の模式的なブロック図である。 図４は、実空間の一例を示す模式図である。 図５は、仮想空間の一例を示す模式図である。 図６は、仮想空間に対して実ローカル空間を重畳させた一例を示す模式図である。 図７は、本実施形態にかかるフローチャートである。

以下に、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本発明が限定されるものではない。

（実空間と仮想空間）
図１は、実空間と仮想空間の一例を説明する模式図である。本実施形態に係る表示装置１０は、画像を表示する表示装置である。図１に示すように、表示装置１０は、ユーザＵの頭部に装着される、いわゆるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔ Ｄｉｓｐｌａｙ）である。表示装置１０は、画像を表示することで、ユーザＵに仮想空間を提供する。図１に示すように、ユーザＵが実際に存在する現実空間を実空間ＳＲとし、表示装置１０がユーザＵに提供する仮想の空間を仮想空間ＳＶとする。この場合、表示装置１０は、実空間ＳＲでのユーザＵの動作（視線）に応じて、仮想空間ＳＶ用の画像を表示する。すなわち、ユーザＵがユーザＵＶとして仮想空間ＳＶで動作していることを模擬して、仮想空間ＳＶ用の画像を表示する。そのため、ユーザＵは、自身が仮想空間ＳＶ内に存在していると認識することができる。なお、ここでの仮想空間ＳＶは、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）、すなわちユーザＵが存在する場所から離れた実在の場所を再現した空間であってもよいし、実際に存在しない仮想の空間、すなわちＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）であってもよい。以下、実空間ＳＲの座標系における、水平方向に沿った一方向を方向ＸＲとし、水平方向に沿って方向ＸＲに直交する方向を方向ＹＲとし、鉛直方向を方向ＺＲとする。また、仮想空間ＳＶの座標系における、水平方向に沿った一方向を方向ＸＶとし、水平方向に沿って方向ＸＶに直交する方向を方向ＹＶとし、鉛直方向を方向ＺＶとする。

（表示システム）
図２は、本実施形態に係る表示システムの模式図である。図２に示すように、本実施形態に係る表示システム１は、表示装置１０と情報処理装置１２とを含む。本実施形態では、表示システム１は、ユーザＵに仮想空間ＳＶを提供する。図１の例では、ユーザＵが表示装置１０を装着しており、表示装置１０は、仮想空間ＳＶにおけるユーザＵＶの視野範囲Ｖ内の仮想空間ＳＶでの画像を、仮想空間ＳＶ用の画像としてユーザＵに提供する。なお、仮想空間ＳＶ内におけるアバターの数（すなわち共通の仮想空間ＳＶが提供されるユーザＵの数）は、任意であってよい。また、図２や、以降の図でも、仮想空間ＳＶは、鉛直方向上方から見た２次元平面で表されているが、仮想空間ＳＶは３次元空間であってよい。

情報処理装置１２は、仮想空間ＳＶ用の情報の情報処理を行う装置である。情報処理装置１２は、ユーザＵの表示装置１０と情報の送受信を行って、仮想空間ＳＶ用の画像の画像処理を行うサーバといえる。例えば、情報処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む演算装置と、記憶部とを含むコンピュータであり、記憶部からプログラム（ソフトウェア）を読み出して実行することで、処理を実行する。

（表示装置）
図３は、本実施形態に係る表示装置の模式的なブロック図である。表示装置１０は、コンピュータであるともいえ、図３に示すように、入力部２０と、表示部２２と、記憶部２４と、通信部２６と、実空間検出部２８と、制御部３０とを備える。入力部２０は、ユーザＵによる操作を受け付ける機構であり、例えばＨＭＤに設けられるコントローラやマイクなどであってよい。表示部２２は、画像を表示するディスプレイである。表示部２２は、画像を出力することで、ユーザＵに仮想空間ＳＶを提供する。表示装置１０は、表示部２２以外にも、例えば音声を出力するスピーカなど、情報を出力する装置を備えていてよい。

記憶部２４は、制御部３０の演算内容やプログラムなどの各種情報を記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）のような主記憶装置と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。記憶部２４が記憶する制御部３０用のプログラムは、表示装置１０が読み取り可能な記録媒体に記憶されていてもよい。

通信部２６は、外部の装置と通信を行う通信モジュールであり、例えばアンテナなどである。表示装置１０は、無線通信で情報処理装置１２などの外部の装置と通信を行うが、有線通信でもよく、通信方式は任意であってよい。

実空間検出部２８は、実空間ＳＲにおけるユーザＵの位置と、ユーザＵの姿勢と、表示装置１０（ユーザＵ）の周囲とを検出するセンサである。ユーザＵの位置とは、ＸＲ－ＹＲ平面において、ユーザＵの初期位置を原点としたユーザＵの位置をいう。ユーザＵの初期位置とは、表示装置１０が起動した時点での実空間ＳＲ内の位置であり、すなわち、表示装置１０の使用時におけるユーザＵの最初の位置であるといえる。ユーザＵの姿勢とは、ＸＲ－ＹＲ平面と表示装置１０の向く方向（ユーザＵの顔が向く方向）とがなす角の大きさをいう。実空間検出部２８は、例えば、加速度センサによってユーザＵの位置を検出し、ジャイロセンサによってユーザＵの姿勢を検出し、ステレオカメラやＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラなどの３Ｄカメラによって表示装置１０（ユーザＵ）の周囲を検出する。ただし、実空間検出部２８は、実空間ＳＲにおけるユーザＵの位置と、ユーザＵの姿勢と、表示装置１０（ユーザＵ）の周囲の実空間ＳＲに存在する物体とを検出可能であれば、この構成に限られない。例えば、実空間検出部２８は、実空間ＳＲに存在する物体について、ＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）で検出してもよく、また、ユーザＵの姿勢について、カメラで撮像した実空間ＳＲの画像を用いて検出してもよい。

制御部３０は、演算装置であり、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算回路を含む。制御部３０は、実オブジェクト情報取得部４０と、仮想オブジェクト情報取得部４２と、ユーザ位置取得部４４と、提供部４６とを含む。制御部３０は、記憶部２４からプログラム（ソフトウェア）を読み出して実行することで、実オブジェクト情報取得部４０と仮想オブジェクト情報取得部４２とユーザ位置取得部４４と提供部４６とを実現して、それらの処理を実行する。なお、制御部３０は、１つのＣＰＵによってこれらの処理を実行してもよいし、複数のＣＰＵを備えて、それらの複数のＣＰＵで、処理を実行してもよい。また、実オブジェクト情報取得部４０と仮想オブジェクト情報取得部４２とユーザ位置取得部４４と提供部４６との処理の少なくとも一部を、ハードウェア回路で実現してもよい。

（実オブジェクト取得部）
実オブジェクト情報取得部４０は、実オブジェクトＯＲの情報を取得する。実オブジェクトＯＲとは、実空間ＳＲの座標系において表示装置１０（ユーザＵ）の周囲に存在する物体を指す。実オブジェクトＯＲの情報は、実空間ＳＲにおける、ユーザＵと実オブジェクトＯＲとの位置関係を示す情報（実オブジェクトＯＲの相対位置情報）と、実空間ＳＲにおける、実オブジェクトＯＲの位置を示す情報（実オブジェクトＯＲの絶対位置情報）とを含む。また、実オブジェクトＯＲの情報は、実空間ＳＲにおける実オブジェクトＯＲの形状を示す情報（実オブジェクトＯＲの形状情報）も含むことが好ましい。本実施形態では、実オブジェクト情報取得部４０は、実空間検出部２８を制御して、実空間検出部２８に表示装置１０（ユーザＵ）の周囲の物体を検出させる。そして、実オブジェクト情報取得部４０は、公知の技術によって、実空間検出部２８による検出結果から、検出した物体における複数の特徴点及び領域を抽出し、その抽出結果に基づいて、実オブジェクトＯＲの情報として取得する。ただし、実オブジェクトＯＲの情報の取得方法は、実空間検出部２８に検出されることに限られない。例えばユーザＵの部屋の家具の位置や形状の情報などが、実オブジェクトＯＲの情報として予め設定されており、実オブジェクト情報取得部４０は、設定された実オブジェクトＯＲの情報を取得してもよい。

図４は、実空間の一例を示す模式図である。図４は、実空間ＳＲをＺＲ方向から見た場合の平面図の一例である。実オブジェクト情報取得部４０は、実オブジェクトＯＲの相対位置情報と、実オブジェクトＯＲの形状情報とを、実オブジェクトＯＲの情報として取得する。すなわち、実オブジェクト情報取得部４０は、ユーザＵの位置に対して実空間ＳＲにおける実オブジェクトＯＲが占める位置を示す情報を、実オブジェクトＯＲの情報として取得するともいえる。

実オブジェクト情報取得部４０によって取得される対象となる実オブジェクトＯＲの種類は任意であってよいが、本実施形態においては、実オブジェクト情報取得部４０は、実空間ＳＲにおいて動かない物体（例えば机や壁など）を実オブジェクトＯＲとして、実空間ＳＲにおいて動かない物体についての位置情報及び形状情報を、実オブジェクトＯＲの情報として取得する。本実施形態では、実オブジェクト情報取得部４０は、実空間ＳＲの情報に基づき、平面を持ちかつユーザＵが動かすことができない実オブジェクトＯＲの情報を取得してよい。この場合、実オブジェクト情報取得部４０は、取得する実オブジェクトＯＲの候補を表示部２２に表示させ、候補とされた実オブジェクトＯＲのうちから、ユーザＵによって入力部２０を通じて指定された実オブジェクトＯＲを抽出して、抽出した実オブジェクトＯＲの情報を取得してもよい。ただし、実オブジェクトＯＲは、実空間ＳＲの情報に基づき設定されることに限られない。例えばユーザＵの部屋のレイアウト情報など、実オブジェクトＯＲの位置が予め設定されており、実オブジェクト情報取得部４０は、設定された実オブジェクトＯＲの位置の情報を取得してもよい。

本実施形態では、実オブジェクト情報取得部４０は、実空間ＳＲにおける所定の範囲内の空間である実ローカル空間ＬＲ内にある実オブジェクトＯＲの情報を取得する。すなわち、本実施形態では、実空間ＳＲのうちの実ローカル空間ＬＲの範囲内にある物体を実オブジェクトＯＲとして抽出して、実オブジェクト情報取得部４０は、実ローカル空間ＬＲ内にある実オブジェクトＯＲの情報を取得する。実オブジェクト情報取得部４０は、実ローカル空間ＬＲにおける、ユーザＵの座標と実オブジェクトＯＲの座標との差を、実オブジェクトＯＲの相対位置情報として取得する。実ローカル空間ＬＲとは、実空間ＳＲのうちで、実空間検出部２８によって検出される、ユーザＵの初期位置を原点とした範囲の空間を指し、実空間ＳＲにおいてユーザＵが行動することが想定されている空間であるといえる。すなわち、例えば、ユーザＵが実空間で歩くなど移動した場合、実ローカル空間ＬＲにおけるユーザＵの座標が変化する。このとき、実オブジェクト情報取得部４０は、変化した実ローカル空間ＬＲにおけるユーザＵの座標に基づいて、実オブジェクトＯＲのユーザＵに対する位置関係の情報を更新する。

なお、図４は、あくまで一例であり、実ローカル空間ＬＲ、実オブジェクトＯＲの形状や大きさは、図４の例に限られず任意であってよい。

（仮想オブジェクト情報取得部）
仮想オブジェクト情報取得部４２は、仮想オブジェクトＯＶの情報を取得する。仮想オブジェクトＯＶとは、仮想空間ＳＶ内で存在する仮想の物体であり、仮想空間ＳＶの座標系における仮想空間ＳＶ用の画像として表示される対象物である。仮想オブジェクトＯＶの情報は、仮想空間ＳＶにおける仮想オブジェクトＯＶの位置を示す情報（仮想オブジェクトＯＶの位置情報）を含む。仮想オブジェクト情報取得部４２は、公知の技術によって、仮想オブジェクトＯＶにおける複数の特徴点及び領域を抽出し、その抽出結果を、仮想オブジェクトＯＶの情報として取得する。仮想オブジェクト情報取得部４２は、仮想空間ＳＶの原点座標に対する仮想オブジェクトＯＶの位置（座標）を、仮想オブジェクトＯＶの位置情報として取得してもよいし、仮想空間ＳＶにおけるユーザＵＶの初期設定位置に対する仮想オブジェクトＯＶの位置（座標）を、仮想オブジェクトＯＶの位置情報として取得してもよい。なお、仮想空間ＳＶにおけるユーザＵＶの初期設定位置とは、仮想空間ＳＶにおけるユーザＵＶのデフォルトの位置として予め設定されている位置である。仮想オブジェクト情報取得部４２は、例えば、通信部２６を介して、情報処理装置１２から、仮想オブジェクトＯＶの情報を取得する。なお、本実施形態では、仮想空間ＳＶは、実空間ＳＲにおけるユーザＵの周囲の環境に応じて構築されるものではなく、実空間ＳＲにおけるユーザＵの周囲の環境に関係なく、予め設定されるものである。仮想空間ＳＶにおける仮想オブジェクトＯＶの位置も、ユーザＵＶの初期設定位置と同様に、予め設定されることとなる。

図５は、仮想空間の一例を示す模式図である。図５は、仮想空間ＳＶをＺＶ方向から見た場合の平面図の一例である。

また、仮想オブジェクトＯＶの情報は、仮想空間ＳＶにおける仮想オブジェクトＯＶの形状を示す情報（仮想オブジェクトＯＶの形状情報）も含むことが好ましい。本実施形態では、仮想オブジェクト情報取得部４２は、実オブジェクトＯＲの形状情報と仮想オブジェクトＯＶの形状情報とに基づき、仮想オブジェクトＯＶを抽出する。例えば、仮想オブジェクト情報取得部４２は、仮想空間ＳＶ内の仮想オブジェクトＯＶの候補のうちから、実オブジェクトの形状と類似した形状の仮想オブジェクトＯＶを抽出し、抽出した仮想オブジェクトＯＶの情報を取得する。実オブジェクトに類似する仮想オブジェクトＯＶの抽出方法は任意であってよいが、例えば、仮想オブジェクト情報取得部４２は、仮想オブジェクトＯＶの候補のうちで、平面の方向と高さと面積とが、実オブジェクトＯＲに備わる平面の方向と高さと面積との偏差が最小となる仮想オブジェクトＯＶ（例えば、実オブジェクトＯＲが机ならば、仮想空間ＳＶ内で水平方向の面を有し、机と高さが最も近いオブジェクト）を抽出して、その仮想オブジェクトＯＶの情報を取得する。また、仮想オブジェクトＯＶの形状情報を入力すると実オブジェクトへの類似度を算出可能なＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｒｉｇｅｎｃｅ）モデルに、候補となる仮想オブジェクトＯＶの形状情報を入力することで、実オブジェクトに類似する仮想オブジェクトＯＶを抽出してもよい。このとき、仮想オブジェクト情報取得部４２は、取得する仮想オブジェクトＯＶの候補を表示部２２に表示させ、ユーザＵが入力部２０を通じて選択した仮想オブジェクトＯＶの情報を取得してもよい。仮想オブジェクトＯＶの抽出方法はこれに限られず、例えば、仮想空間ＳＶを設定する際に、予め抽出されてよいし、例えば仮想空間ＳＶにおけるユーザＵＶの位置に基づき、仮想オブジェクト情報取得部４２が抽出してもよい。

本実施形態では、仮想オブジェクト情報取得部４２は、仮想空間ＳＶにおける所定の範囲内の空間である仮想ローカル空間ＬＶ内にある仮想オブジェクトＯＶの情報を取得する。すなわち、本実施形態では、仮想空間ＳＶのうちの仮想ローカル空間ＬＶの範囲内にある仮想の物体を仮想オブジェクトＯＶとして抽出して、仮想オブジェクト情報取得部４２は、仮想ローカル空間ＬＶ内にある仮想オブジェクトＯＶの情報を取得する。仮想オブジェクト情報取得部４２は、仮想ローカル空間ＬＶにおける仮想オブジェクトＯＶの座標を、仮想オブジェクトＯＶの位置情報として取得する。なお、仮想ローカル空間ＬＶとは、仮想空間ＳＶにおいて実ローカル空間ＬＲと対応した空間を指し、実ローカル空間ＬＲにおけるユーザＵと同じ位置にユーザＵＶが存在する。より具体的には、例えば、ユーザＵが実空間ＳＲ（実ローカル空間ＬＲ）で歩くなど実ローカル空間ＬＲにおけるユーザＵの位置と方向とが変化したとき、仮想ローカル空間ＬＶにおいてもユーザＵＶの位置と方向を同様に変化させることで、実空間ＳＲと同じ動作を仮想空間ＳＶにおいても実現している。仮想ローカル空間ＬＶは、仮想空間ＳＶに対して十分に小さく、仮想空間ＳＶにおいて自由に移動と回転とをさせることが可能である。より具体的には、例えば、ユーザＵが入力部２０を用いてユーザＵＶの移動を入力したり、仮想空間ＳＶ上の乗り物に乗ったりした場合には、仮想空間ＳＶにおいてユーザＵＶごと仮想ローカル空間ＬＶの位置と方向と変化させることで、実空間ＳＲ（実ローカル空間ＬＶ）におけるユーザＵＶの位置を固定したまま、ユーザＵＶを仮想空間ＳＶ内で移動させることができる

なお、図５はあくまで一例であり、仮想空間ＳＶ、仮想ローカル空間ＬＶ、仮想オブジェクトＯＶの形状や大きさは、図５の例に限られず任意であってよい。また、仮想オブジェクト情報取得部４２は、仮想オブジェクトＯＶの位置の情報を記憶部２４から取得してもよい。

（ユーザ位置取得部）
ユーザ位置取得部４４は、ユーザ位置情報を取得する。ユーザ位置情報とは、実オブジェクト情報取得部４０が取得した実オブジェクトＯＲの情報と、仮想オブジェクト情報取得部４２が取得した仮想オブジェクトＯＶの情報とに基づき設定された、仮想空間ＳＶにおけるユーザＵＶの位置を示す情報である。なお、本実施形態においては、ユーザ位置取得部４４は、自身でユーザ位置情報を設定することで、ユーザ位置情報を取得するが、それに限られず、例えば他の機器が設定したユーザ位置情報や、記憶部２４に予め記憶されたユーザ位置情報を取得してもよい。

本実施形態では、ユーザ位置取得部４４は、実オブジェクトＯＲとユーザＵの位置関係に基づいて算出した、仮想オブジェクトＯＶと仮想空間ＳＶにおけるユーザＵＶの位置関係によってユーザ位置情報を設定する。より具体的には、ユーザ位置取得部４４は、仮想空間ＳＶ（仮想ローカル空間ＬＶ）におけるユーザＵＶに対する仮想オブジェクトＯＶの位置が、実空間ＳＲ（実ローカル空間ＬＲ）におけるユーザＵに対する実オブジェクトＯＲの位置に対応するように、ユーザ位置情報を設定する。言い換えれば、ユーザ位置情報が示す仮想空間ＳＶにおけるユーザＵＶの位置は、仮想オブジェクトＯＶからユーザＵＶまでの向き及び距離が、実空間ＳＲにおける実オブジェクトＯＲからユーザＵまでの向き及び距離に対応するように（より好ましくは一致するように）、設定される。以下、ユーザ位置情報の具体的な設定方法について説明する。

図６は、仮想空間に対して実ローカル空間を重畳させた一例を示す模式図である。本実施形態では、ユーザ位置情報は、仮想オブジェクトＯＶを含む仮想空間ＳＶに対してユーザＵＶを含む仮想ローカル空間ＬＶを重畳するための情報であり、言い換えれば、仮想空間ＳＶにおける仮想ローカル空間ＬＶの位置と方向との情報である。すなわち、ユーザ位置情報とは、実ローカル空間ＬＲの座標系を、仮想ローカル空間ＬＶを介して、仮想空間ＳＶの座標系に変換するための値ともいえる。図６の例では、仮想ローカル空間ＬＶにおける、水平方向に沿った一方向を方向Ｘとし、水平方向に沿って方向Ｘに直交する方向を方向Ｙとし、鉛直方向を方向Ｚとしている。

本実施形態では、ユーザ位置情報は、図６の例に示すように、仮想ローカル空間ＬＶ上で実オブジェクトＯＲに対応する範囲と、仮想空間ＳＶ上の仮想オブジェクトＯＶが占める範囲とが重なるという条件で設定される。より具体的には、ユーザ位置情報は、公知の技術によって実空間ＳＲにおけるユーザＵに対する実オブジェクトＯＲ上の特徴点または範囲と、仮想空間ＳＶにおけるユーザＵＶに対する仮想オブジェクトＯＶの特徴点または範囲とが重なるという条件で設定される。なお、図６の例では、仮想空間ＳＶにおいて、仮想ローカル空間ＬＶの位置及び向きを移動させる例を示しているが、それに限られず、仮想ローカル空間ＬＶの位置及び向きを固定させつつ、仮想空間ＳＶの位置及び向きを移動させて設定されてもよい。また、ユーザＵに対する実オブジェクトＯＲ上の特徴点または範囲と、ユーザＵＶに対する仮想オブジェクトＯＶの特徴点または範囲とを重ねるとは、特徴点や範囲が厳密に同一になることに限られず、特徴点や範囲が近似的に合わせられることを指してよい。

本実施形態では、ユーザ位置情報は、仮想ローカル空間ＬＶ上で実オブジェクトＯＲの特徴点または範囲と、仮想空間ＳＶ上の仮想オブジェクトＯＶの特徴点または範囲とが重なるという所定の条件に基づき、仮想空間ＳＶにおける仮想ローカル空間ＬＶの位置および向きが設定される。より詳しくは、ユーザ位置情報は、所定の条件を満たす仮想空間ＳＶにおける仮想ローカル空間ＬＶの位置および向きのうち、所定の方法で位置と向きを抽出し、仮想空間ＳＶの座標系と実空間ＳＲの座標系との対応関係として設定される。また、実オブジェクトＯＲの特徴点または範囲と、仮想オブジェクトＯＶの特徴点または範囲とが一致しない場合、ユーザ位置情報は、所定の条件を満たす位置と方向のうち、例えば、仮想空間ＳＶにおいてユーザＵＶの初期設定位置からの変位が最小になるものに設定される。この仮想ローカル空間ＬＶの位置および向きを抽出する方法はこれに限られず、ユーザＵの入力部２０を通じた操作によって設定されてもよい。

また、ユーザ位置取得部４４は、ユーザＵが所定の条件を満たす動作を行ったときに、ユーザ位置情報を取得してよい。すなわち本実施形態では、ユーザ位置取得部４４は、ユーザＵが所定の条件を満たす動作を行ったことをトリガとして、ユーザ位置情報を設定する。この場合、仮想ローカル空間ＬＶの位置は、仮想空間ＳＶ内で固定され、仮想空間ＳＶにおけるユーザＵＶに対する仮想オブジェクトＯＶの位置が、実空間ＳＲにおけるユーザＵに対する実オブジェクトＯＲの位置に対応するように設定される。所定の条件を満たすユーザＵの動作は、任意の動作でよく、例えば、ユーザＵが入力部２０に所定の操作を行うこと、所定の実オブジェクトＯＲに接触したり体重をかけたりするなどの行動を行うこと、想空間ＳＶ上の乗り物に乗ったりする等のユーザＵが仮想空間ＳＶ内で行う行動などが挙げられる。

仮想空間ＳＶにおいて、複数のユーザＵＶが配置される場合、それぞれのユーザＵの表示装置１０は、複数の実ローカル空間上の実オブジェクトＯＲの位置に対して、ユーザ数より少ない数の仮想オブジェクトＯＶの位置を対応させてもよい。複数のユーザＵＶが１つの仮想オブジェクトＯＶを共有する場合（例えば、会議等により同じ仮想空間ＳＶ上の複数のユーザＵＶが１つの机を共有する場合）、それぞれの仮想ローカル空間ＬＶは、それぞれの仮想ローカル空間ＬＶで実オブジェクトＯＲの特徴点または範囲と、仮想空間ＳＶ上の仮想オブジェクトＯＶの特徴点または範囲が重なるように仮想空間ＳＶ上に配置される。

以上の説明では、ユーザ位置情報は、仮想ローカル空間ＬＶ上で実オブジェクトＯＲの特徴点または範囲と、仮想空間ＳＶ上の仮想オブジェクトＯＶの特徴点または範囲とが２次元で重なるという条件で設定されていたが、２次元に限られない。例えば、ユーザ位置情報は、仮想ローカル空間ＬＶ上で実オブジェクトＯＲの特徴点または範囲と、仮想空間ＳＶ上の仮想オブジェクトＯＶの特徴点または範囲とが３次元で重なるという条件で設定してもよい。

（提供部）
提供部４６は、ユーザ位置情報に基づいて、ユーザＵに仮想空間ＳＶを提供する。提供部４６は、ユーザ位置情報が示す位置を仮想空間ＳＶにおけるユーザＵＶの位置に設定して、ユーザＵに仮想空間ＳＶを提供する。具体的には、提供部４６は、実空間ＳＲにおけるユーザＵの位置及び向きの情報を取得し、実空間ＳＲにおけるユーザＵの位置及び向きを、仮想空間ＳＶの座標系においてユーザ位置情報が示すユーザＵＶの視点の位置及び向きに換算する。提供部４６は、算出したユーザＵの視点の位置及び姿勢から仮想空間ＳＶを視認した場合の仮想空間ＳＶの画像を、仮想空間ＳＶ用の画像として表示部２２に表示させる。

このように、実空間ＳＲにおけるユーザＵの位置と姿勢とは、仮想空間ＳＶにおけるユーザＵＶの視点の位置と姿勢とに反映される。従って、実空間ＳＲでユーザＵが移動した場合、仮想空間ＳＶにおけるユーザＵＶの視点の位置姿勢も移動する。この場合、実空間ＳＲにおけるユーザＵの移動量と、仮想空間ＳＶにおけるユーザＵＶの視点の移動量とは、対応付けられることが好ましい。より詳しくは、ユーザ位置情報を設定する際に、実ローカル空間ＬＲに対する仮想ローカル空間ＬＶの大きさを変化させていた場合、仮想ローカル空間ＬＶの大きさの変化度合いを、移動量に反映させることが好ましい。具体的には、実ローカル空間ＬＲに対する仮想ローカル空間ＬＶの大きさを変化させた割合（縮尺率）を、変化割合とすると、提供部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して、変化割合の逆数倍だけの移動量を、ユーザＵの視点が仮想空間ＳＶで移動したとして、仮想空間ＳＶ用の画像を表示部２２に表示させる。すなわち、提供部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して変化割合の逆数倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。例えば、ユーザ位置情報を設定する際に仮想ローカル空間ＬＶの大きさを２倍にした場合には、提供部４６は、ユーザＵが実空間ＳＲで移動した移動量に対して１／２倍だけの移動量だけ移動した視点からの仮想空間ＳＶの画像を、表示部２２に表示させる。

ここで、提供部４６は、仮想オブジェクトＯＶに重畳するように、実オブジェクトＯＲを示す画像を、仮想空間ＳＶ内で表示させてもよい。提供部４６は、仮想オブジェクトＯＶの形状情報と実オブジェクトＯＲの形状情報とに基づき、実オブジェクトＯＲを示す画像を仮想空間ＳＶに表示するかを判断し、表示すると判断した場合に、仮想オブジェクトＯＶに重畳するように、実オブジェクトＯＲを示す画像を、仮想空間ＳＶ内で表示させてもよい。例えば、提供部４６は、仮想オブジェクトＯＶの大きさが実オブジェクトＯＲの大きさよりも大きい場合に、仮想オブジェクトＯＶに重畳するように、実オブジェクトＯＲを示す画像を、仮想空間ＳＶ内に表示させてよい。この場合、表示部２２は、実空間ＳＲを透過しつつ仮想空間ＳＶの画像を表示するＡＲ（Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を提供するものであってもよいし、仮想空間ＳＶの画像と、実オブジェクトＯＲを示す画像とを、重畳して表示させてもよい。また、仮想オブジェクトＯＶのうち、実オブジェクトＯＲと重なっていない部分は、仮想空間ＳＶの画像から削除したり、実オブジェクトＯＲと関連付けられていない領域として情報提示したりしても良い。

（フローチャート）
図７は、本実施形態にかかるフローチャートである。ユーザＵが所定の動作を行った場合（ステップＳ１０：Ｙｅｓ）、実オブジェクト情報取得部４０は、実空間検出部２８を通じて、実オブジェクトＯＲの情報を取得する（ステップＳ１２）。仮想オブジェクト情報取得部４２は、情報処理装置１２から、仮想オブジェクトＯＶの情報を取得する（ステップＳ１４）。そして、ユーザ位置取得部４４は、実オブジェクトＯＲの情報と仮想オブジェクトＯＶの情報とに基づき、ユーザ位置情報を設定する（ステップＳ１６）。提供部４６は、ユーザ位置情報が示す位置を仮想空間ＳＶにおけるユーザＵＶの位置に設定して、ユーザＵに仮想空間ＳＶを提供する（ステップＳ２０）。一方、ユーザＵが所定の動作を行なわなかった場合（ステップＳ１０：Ｎｏ）、ユーザ位置取得部４４は、初期設定位置を仮想空間ＳＶにおけるユーザＵＶの位置に設定して、ユーザＵに仮想空間ＳＶを提供する（ステップＳ１８）。

なお、本実施形態では、ユーザＵに用いられる表示装置１０が、ユーザ位置情報を設定していたが、ユーザ位置情報を設定する主体は表示装置１０に限られず、情報処理装置１２によって行われてもよい。この場合、情報処理装置１２は、表示装置１０から実オブジェクトＯＲの情報を取得し、実オブジェクトＯＲの情報と、自身で設定した仮想オブジェクトＯＶの情報とから、ユーザ位置情報を設定する。表示装置１０のユーザ位置取得部４４は、情報処理装置１２から、ユーザ位置情報を取得する。

ここで、仮想空間ＳＶにおいては、実空間ＳＲにおけるユーザＵの動きが、仮想空間ＳＶにおけるユーザＵＶの動きに反映される。しかし、例えば実空間ＳＲにおけるレイアウトと関係なく仮想空間ＳＶが設定される場合などにおいては、仮想空間ＳＶにおけるユーザＵの動きが不自然となる場合がある。例えば、ユーザＵが実空間ＳＲにおいて机の前に座った場合、仮想空間ＳＶにおいてはその場所に机が無い場合には、仮想空間ＳＶ内の他のユーザからは、ユーザＵＶが何もない場所で座っているように視認されることがある。それに対し、本実施形態によれば、仮想空間ＳＶにおけるユーザＵＶの位置を適切に設定することで、実空間ＳＲにおけるユーザＵに対する実オブジェクトＯＲの位置と、仮想空間ＳＶのいけるユーザＵＶに対する仮想オブジェクトＯＶの位置とを、対応させることができる。このことにより、仮想空間ＳＶにおいてユーザＵＶの行動（例えば、仮想オブジェクトＯＶである机の前にユーザＵＶが座る行動）を自然に見せることができる。また、これにより、実空間ＳＲにおいてユーザＵは実オブジェクトＯＲと同じように仮想オブジェクトＯＶを扱う行動（例えば、仮想オブジェクトＯＶである机を視認しながら実空間ＳＲで物を置く行動）ができるので、仮想空間ＳＶにおいてユーザＵの行動を自然なものにすることができる。

（ユーザ位置情報の設定方法の他の例）
本実施形態では、ユーザ位置情報は、実ローカル空間ＬＲにおけるユーザＵの座標と実オブジェクトＯＲの座標との差と、仮想空間ＳＶにおける仮想オブジェクトＯＶの座標とに基づいて、仮想空間ＳＶにおける仮想ローカル空間ＬＶの位置と方向を調節することで設定されることを説明したが、ユーザ位置情報の設定方法はこれに限られない。以下、他の例を説明する。

例えば、実オブジェクト情報取得部４０は、ユーザＵを原点とした実オブジェクトＯＲの相対座標を、実オブジェクトＯＲのユーザＵに対する位置関係の情報として取得してもよい。この場合、実空間ＳＲにおいてユーザＵが動いた場合、実オブジェクトＯＲの相対座標が変化することとなる。

また、仮想オブジェクト情報取得部４２は、ユーザＵＶを原点とした仮想オブジェクトＯＶの相対座標を、仮想オブジェクトＯＶの位置の情報として取得してもよい。この場合、仮想空間ＳＶにおいてユーザＵＶが動いた場合、仮想オブジェクトＯＶの相対座標が変化することとなる。

ユーザＵを原点とした実オブジェクトＯＲの相対座標が取得されている場合、ユーザ位置情報は、ユーザＵＶを原点とした仮想オブジェクトＯＶの相対座標を、ユーザＵを原点とした実オブジェクトＯＲの相対座標に直接対応させることで設定されてもよい。

（本発明の効果）
各実施形態に記載の表示装置、表示装置の制御方法、およびプログラムは、例えば以下のように把握される。

第１の態様の表示装置は、ユーザＵが実在する実空間ＳＲにおけるオブジェクトである実オブジェクトＯＲの、実空間ＳＲにおける位置の情報と、実オブジェクトＯＲとユーザＵとの、実空間ＳＲにおける位置関係の情報を取得する実オブジェクト情報取得部４０と、仮想空間ＳＶにおけるオブジェクトである仮想オブジェクトＯＶの、仮想空間ＳＶにおける位置の情報を取得する仮想オブジェクト情報取得部４２と、実オブジェクトＯＲと仮想オブジェクトＯＶの位置及び姿勢を合わせ、実空間ＳＲにおける位置関係の情報に基づいて、仮想オブジェクトＯＶと仮想空間ＳＶにおけるユーザＵＶとの仮想空間ＳＶにおける位置関係を算出し、仮想空間ＳＶにおける位置関係に基づいて、仮想空間ＳＶにおけるユーザＵＶの位置を示すユーザ位置情報を取得するユーザ位置取得部４４と、を含む。この構成によれば、ユーザＵに対する実オブジェクトＯＲの位置と、ユーザＵＶに対する仮想オブジェクトＯＶの位置とを一致させることができる。したがって、仮想空間ＳＶにおいてユーザＵの行動を自然なものにすることができる。

第２の態様の表示装置は、ユーザ位置情報に基づいて、ユーザＵに仮想空間ＳＶを提供する提供部４６を含み、提供部４６は、仮想オブジェクトＯＶに重畳するように、実オブジェクトＯＲを示す画像を、仮想空間ＳＶ内で表示させる。これにより、実オブジェクトＯＲと仮想オブジェクトＯＶとの大きさが異なる場合でも、ユーザＵは実オブジェクトＯＲの範囲を仮想空間ＳＶ内で認識することができるため、仮想空間ＳＶにおいてユーザＵの行動をより自然なものにすることができる。

第３の態様の表示装置は、仮想オブジェクト情報取得部４２は、実オブジェクトＯＲの形状と仮想オブジェクトＯＶの形状とに基づき、仮想オブジェクトＯＶを抽出する。これにより、実オブジェクトＯＲに類似した仮想オブジェクトＯＶを基準にすることで、ユーザＵＶの位置をより適切に設定することができるため、仮想空間ＳＶにおいてユーザＵの行動をより自然なものにすることができる。

第４の態様の表示装置は、ユーザ位置取得部４４は、ユーザＵが所定の条件を満たす動作を行ったときに、ユーザ位置情報を取得する。これにより必要に応じて仮想空間ＳＶにおけるユーザＵＶの位置を適切に設定することができるため、仮想空間ＳＶにおいてユーザＵの行動をより自然なものにすることができる。

第５の態様の表示装置の制御方法は、ユーザＵが実在する実空間ＳＲにおけるオブジェクトである実オブジェクトＯＲの、実空間ＳＲにおける位置の情報と、実オブジェクトＯＲとユーザＵとの、実空間ＳＲにおける位置関係の情報を取得するステップと、仮想空間ＳＶにおけるオブジェクトである仮想オブジェクトＯＶの、仮想空間ＳＶにおける位置の情報を取得するステップと、実オブジェクトＯＲと仮想オブジェクトＯＶの位置及び姿勢を合わせ、実空間ＳＲにおける位置関係の情報に基づいて、仮想オブジェクトＯＶと仮想空間ＳＶにおけるユーザＵＶとの仮想空間ＳＶにおける位置関係を算出し、仮想空間ＳＶにおける位置関係に基づいて、仮想空間ＳＶにおけるユーザＵＶの位置を示すユーザ位置情報を取得するステップと、を含む。

第６の態様のプログラムは、ユーザＵが実在する実空間ＳＲにおけるオブジェクトである実オブジェクトＯＲの、実空間ＳＲにおける位置の情報と、実オブジェクトＯＲとユーザＵとの、実空間ＳＲにおける位置関係の情報を取得するステップと、仮想空間ＳＶにおけるオブジェクトである仮想オブジェクトＯＶの、仮想空間ＳＶにおける位置の情報を取得するステップと、実オブジェクトＯＲと仮想オブジェクトＯＶの位置及び姿勢を合わせ、実空間ＳＲにおける位置関係の情報に基づいて、仮想オブジェクトＯＶと仮想空間ＳＶにおけるユーザＵＶとの仮想空間ＳＶにおける位置関係を算出し、仮想空間ＳＶにおける位置関係に基づいて、仮想空間ＳＶにおけるユーザＵＶの位置を示すユーザ位置情報を取得するステップと、をコンピュータに実行させる。

以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。

１ 表示システム
１０ 表示装置
１２ 情報処理装置
２０ 入力部
２２ 表示部
２４ 記憶部
２６ 通信部
２８ 実空間検出部
３０ 制御部
４０ 実オブジェクト情報取得部
４２ 仮想オブジェクト情報取得部
４４ ユーザ位置取得部
４６ 提供部
ＬＲ 実ローカル空間
ＬＶ 仮想ローカル空間
ＯＲ 実オブジェクト
ＯＶ 仮想オブジェクト
ＳＲ 実空間
ＳＶ 仮想空間
Ｕ，ＵＶ ユーザ
Ｖ 視野範囲

Claims (6)

1. ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得する実オブジェクト情報取得部と、
   仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得する仮想オブジェクト情報取得部と、
   前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するユーザ位置取得部と、
   を含む、
   表示装置。
2. 前記ユーザ位置情報に基づいて、前記ユーザに仮想空間を提供する提供部を含み、
   前記提供部は、前記仮想オブジェクトに重畳するように、前記実オブジェクトを示す画像を、前記仮想空間内で表示させる、
   請求項１に記載の表示装置。
3. 前記仮想オブジェクト情報取得部は、前記実オブジェクトの形状と前記仮想オブジェクトの形状とに基づき、前記仮想オブジェクトを抽出する、
   請求項１または請求項２に記載の表示装置。
4. 前記ユーザ位置取得部は、前記ユーザが所定の条件を満たす動作を行ったときに、前記ユーザ位置情報を取得する、
   請求項１から請求項３のいずれか１項に記載の表示装置。
5. ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得するステップと、
   仮想空間におけるオブジェクトである仮想オブジェクトの、前記仮想空間における位置の情報を取得するステップと、
   前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するステップと、
   を含む、
   表示装置の制御方法。
6. ユーザが実在する実空間におけるオブジェクトである実オブジェクトの、前記実空間における位置の情報と、前記実オブジェクトと前記ユーザとの、前記実空間における位置関係の情報を取得するステップと、
   仮想空間におけるオブジェクトであ仮想オブジェクトの、前記仮想空間における位置の情報を取得するステップと、
   前記実オブジェクトと前記仮想オブジェクトの位置及び姿勢を合わせ、前記実空間における位置関係の情報に基づいて、前記仮想オブジェクトと前記仮想空間における前記ユーザとの前記仮想空間における位置関係を算出し、前記仮想空間における位置関係に基づいて、前記仮想空間における前記ユーザの位置を示すユーザ位置情報を取得するステップと、 をコンピュータに実行させる、
   プログラム。
   

Images