JP2018535477A

JP2018535477A - バーチャルリアリティ画像を調整する方法及び装置

Info

Publication number: JP2018535477A
Application number: JP2018516785A
Authority: JP
Inventors: チャン，ダウェイ; ロン，ショウルン; リ，ガン; チャン，フェンシュエ; シャオン，シュ
Original assignee: Shenzhen Dlodlo Technologies Co Ltd
Current assignee: Shenzhen Dlodlo Technologies Co Ltd
Priority date: 2015-09-30
Filing date: 2016-03-16
Publication date: 2018-11-29
Anticipated expiration: 2036-03-16
Also published as: EP3358524A1; US20180276897A1; EP3358524A4; KR20180061274A; WO2017054421A1; KR102068801B1; US11151790B2; CN105354820B; CN105354820A; JP6622395B2

Abstract

バーチャルリアリティ画像を調整する方法及び装置が開示される。この方法は測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得し（１０１）、第１の３次元座標を第２の３次元座標に変換し第１の姿勢の向きを第２の姿勢の向きに変換し（１０２）、第２の３次元座標を仮想空間内の目標の３次元座標に変換し第２の姿勢の向きを仮想空間内の目標の姿勢の向きに変換し（１０３）、仮想空間内の投影面を決定し（１０４）、仮想空間内の仮想物体を２次元画像を生成するために投影面内の撮像領域に透視投影し（１０５）、表示モジュールの表示画面上に２次元画像を表示する（１０６）。この方法及び装置によれば現実空間おけるバーチャルリアリティ装置の位置、姿勢の向き及び生成される２次元画像に基づいて投影面を決定することができ、それにより該位置及び姿勢の変化に応じてバーチャルリアリティ装置が提供するバーチャルリアリティ画像が変化する。【選択図】図１

Description

本出願は、２０１５年９月３０日に出願された中国出願第２０１５１０６３８９４０．８号の「バーチャルリアリティ画像を調整する方法及び装置」の利益を主張するものであり、参照によりその全体が本明細書に組み込まれる。

本発明は、バーチャルリアリティ技術の分野に関し、特に、バーチャルリアリティ画像（ｖｉｒｔｕａｌｒｅａｌｉｔｙｉｍａｇｅ）を決定する方法及び装置に関する。

バーチャルリアリティ（略してＶＲ）技術は、電子機器を介して仮想空間を構築し、その仮想空間に基づいてユーザに視覚や聴覚等の感覚的なシミュレーションを提供する技術である。ＶＲ技術により、ユーザは仮想空間内の仮想物体と対話し、現場の視覚体験、聴覚体験及びタッチ体験などをユーザに提供することができる。

仮想空間の現実感を強化し、ユーザに現場の視覚体験を提供するために、バーチャルリアリティ装置は、ユーザが自分の姿勢を調整するときに、異なる画像をユーザに提供する必要があることが多い。例えば、ＶＲグラスでは、ユーザがＶＲグラスを頭部に装着すると、ＶＲグラスの位置及び姿勢の向きは、ユーザが頭部の姿勢を動かしたり姿勢を変えたりすると変化し、ＶＲグラスによって提供される画像コンテンツもまた変化させられる必要がある。例えば、ユーザが前方に歩く場合、ＶＲグラスは、ユーザが前方に歩く距離及び速度に従ってＶＲグラスによって提供される画像を調整する必要があり、ユーザが頭や体などを回転させると、ＶＲグラスは、ＶＲグラスによって提供される画像を、動作の方向及び程度に応じて調節して、ユーザに現場の視覚体験を提供する必要がある。

したがって、現実空間におけるバーチャルリアリティ装置の位置及び姿勢の変化に応じて、バーチャルリアリティ装置が提供するバーチャルリアリティ画像を調整する方法が必要である。

本発明の実施形態は、バーチャルリアリティ画像を調整する方法及び装置を提供し、それにより、現実空間におけるバーチャルリアリティ装置の位置及び姿勢の向きの変化に従って、バーチャルリアリティ装置によって提供されるバーチャルリアリティ画像を調整する技術的な要求を満たす。

第１の態様では、本発明の一実施形態は、バーチャルリアリティ画像を調整する方法であって、現実空間における特定点を原点とする３次元座標系である現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得することと、予め設定された第１の変換関係に従って、前記第１の３次元座標を、前記現実空間座標系における前記バーチャルリアリティ装置の表示モジュールの焦点の座標である第２の３次元座標に変換し、前記第１の姿勢の向きを、前記現実空間座標系における前記表示モジュールの姿勢の向きである第２の姿勢の向きに変換することと、予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することと、前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することと、前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影することと、前記表示モジュールの表示画面上に前記２次元画像を表示することと、を備える。

第１の態様に関連して、第１の態様の第１の可能な実施態様において、前記予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することは、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢と一致させたままとすることを含み、前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第１の寸法値を取得することと、前記透視投影方向に対応する次元の寸法値を前記第１の寸法値として設定することと、前記３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定することと、を含み、前記現実空間座標系は、前記現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が前記仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とした３次元座標系であり、前記指定された座標系は前記仮想空間におけるワールド座標系である。

第１の態様に関連して、第１の態様の第２の可能な実施態様において、前記予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することは、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢の向きと一致させたままにすることを含み、前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第２の寸法値を取得することと、前記透視投影方向に対応する次元の寸法値を第２の寸法値として設定することと、前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定することと、を含み、前記現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における前記指定された座標系とワールド座標系との変換関係と同じであり、前記現実空間基準座標系は、前記現実空間における特定点を原点とし、前記現実空間における重力方向を第１の座標軸方向とし、前記現実空間における南方向または北方向を第２の座標軸方向とする第２座標系とした３次元座標現実空間である。

第１の態様の第２の可能な実施態様に関連して、第１の態様の第３の可能な実施態様において、前記変換関係と基準変換関係との間の差は、指定された期間において固定された値であり、前記基準変換関係は、前記現実空間座標系と、前記バーチャルリアリティ装置を介して前記仮想空間を見るときに基準観察者が使用する前記現実空間基準座標系との変換関係である。

第１の態様の第３の可能な実施態様に関連して、第１の態様の第４の可能な実施態様において、前記指定された座標系の原点は、前記基準観察者が前記バーチャルリアリティ装置を介して前記仮想空間を見るときの仮想空間における位置である。

第１の態様に関連して、第１の態様の第５の可能な実施態様において、前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、基準観察者によって設定された基準投影点を決定することと、特定の時刻の前記基準投影点と前記投影中心との位置の差を算出することと、前記位置の差に応じて前記指定された座標系を基準座標系に変換することと、前記基準座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することと、を備える。

第２の態様では、本発明の一実施形態は、バーチャルリアリティ画像を調整する装置であって、現実空間における特定点を原点とする３次元座標系である現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得する取得部と、予め設定された第１の変換関係に従って、前記第１の３次元座標を、前記現実空間座標系における前記バーチャルリアリティ装置の表示モジュールの焦点の座標である第２の３次元座標に変換し、前記第１の姿勢の向きを、前記現実空間座標系における前記表示モジュールの姿勢の向きである第２の姿勢の向きに変換する第１の変換部と、予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換する第２の変換部と、前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する投影面決定部と、前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影する投影部と、前記表示モジュールの表示画面上に前記２次元画像を表示する表示部と、を備える。

第２の態様の第１の可能な実施形態では、前記第２の変換部は、具体的には、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢と一致させたままとし、前記投影面決定部は、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第１の寸法値を取得する第１の寸法値取得手段と、前記透視投影方向に対応する次元の寸法値を前記第１の寸法値として設定する第１の投影方向決定手段と、前記３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第１の投影面決定手段と、を含み、前記現実空間座標系は、前記現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が前記仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とし、指定された座標系は仮想空間におけるワールド座標系である。

第２の態様の第２の可能な実施形態では、前記第２の変換部は、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢の向きと一致させたままとし、前記投影面決定部は、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第２の寸法値を取得する第２の寸法値決定手段と、前記透視投影方向に対応する次元の寸法値を前記第２の寸法値として設定する第1の投影方向決定手段と、前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第２の投影面決定手段と、を含み、前記現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における指定された座標系とワールド座標系との変換関係と同じであり、前記現実空間基準座標系は、前記現実空間における特定点を原点とし、前記現実空間における重力方向を第１の座標軸方向とし、前記現実空間における南方向または北方向を第２の座標軸方向とする。

第２の態様の第３の可能な実施形態では、前記投影面決定部は、基準観察者によって設定された基準投影点を決定する投影点決定手段と、特定の時刻の前記基準投影点と前記投影中心との位置の差を算出する差算出手段と、前記位置の差に応じて指定された座標系を基準座標系に変換する座標系変換手段と、前記基準座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する第３の投影面決定手段と、を備える。

本発明の実施形態では、現実空間座標系におけるバーチャルリアリティ装置の第１の３次元座標及び第１の姿勢の向きが取得され、現実空間座標系は、現実空間における特定点を原点とする３次元座標系であり、予め設定された第１の変換関係に従って第１の３次元座標は第２の３次元座標に変換され、第１の姿勢の向きは、第２の姿勢の向きに変換され、第２の３次元座標は、現実空間座標系におけるバーチャルリアリティ装置の表示モジュールの焦点の座標であり、第２姿勢の向きは、現実空間座標系における表示モジュールの姿勢の向きであり、第２の３次元座標は、予め設定された第２の変換関係に従って仮想空間における目標の３次元座標に変換され、第２の姿勢の向きは仮想空間における目標の姿勢の向きに変換され、仮想空間における任意の座標系における目標の３次元座標によって示される点が投影中心とされ、仮想空間における投影面は、目標の姿勢の向きに応じて決定され、２次元画像を生成するために仮想空間における仮想物体が投影面内の撮像領域に透視投影され、２次元画像が表示モジュールの表示画面に表示される。本発明に係る方法及び装置によれば、現実空間におけるＶＲ装置の位置及び姿勢の向きに応じて投影面が決定され、２次元画像が生成され、そのためＶＲ装置は、その位置または姿勢の向きが変化したときに生成される２次元画像を調整することができる。したがって、現実空間におけるバーチャルリアリティ装置の位置及び姿勢の向きの変化に応じて、バーチャルリアリティ装置が提供するバーチャルリアリティ画像を調整することができる。

本発明の実施形態または従来技術の技術的解決策をより明確に示すために、実施形態または従来技術の説明に必要な図面を以下に簡単に紹介する。明らかに、以下の説明における図面は、本発明の一部の実施形態に過ぎず、他の図面もまた、これらの図面に従った当業者によって創造的な作業なしに得られてもよい。
本発明によるバーチャルリアリティ画像を調整する方法の一実施形態を示す概略フローチャートである。は、本発明によるバーチャルリアリティ画像を調整する装置の一実施形態の構造表現である。

本発明の実施形態における技術的解決策は、本発明の実施形態における図面と併せて以下で明確にかつ完全に記載される。明らかに、記載された実施形態は、全実施形態ではなく、本発明の実施形態の一部に過ぎない。本発明の実施形態に基づく当業者が創造的な作業を行うことなく得られる他のすべての実施形態は、本発明の保護範囲に関係する。

図１を参照すると、本発明によるバーチャルリアリティ画像を調整する方法の一実施形態を示す概略フローチャートである。この方法は、バーチャルリアリティ（略してＶＲ）装置で行われ、ＶＲ装置はＶＲグラスやＶＲヘルメットなどであり、バーチャルリアリティ装置の測位コンポーネントは、現実空間における位置及び姿勢の向きを取得して伝える能力を有する装置であってもよい。この方法は、以下のステップを含む。

ステップ１０１：現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得する。

現実空間におけるＶＲ装置の測位コンポーネントの位置及び姿勢の向きは、現実にはＶＲ装置の姿勢の向きを反映しているため、ＶＲ装置は、まず、現実空間座標系における第１の３次元座標及び第１の姿勢の向きを取得してもよい。ここで、現実空間座標系は、現実空間における特定点を原点とする３次元座標系である。通常の状況では、第１の３次元座標は現実空間座標系におけるＶＲ装置の座標であり、第１の姿勢の向きは現実空間座標系におけるＶＲ装置の姿勢を反映してもよい。

ステップ１０２：予め設定された第１の変換関係に従って第１の３次元座標を第２の３次元座標に変換し、前記第１の姿勢の向きを第２の姿勢の向きに変換する。

ＶＲ装置では、測位コンポーネントの位置と表示モジュールの位置が比較的固定されているので、測位コンポーネントの位置と表示モジュールの焦点の位置も比較的固定されている。同様に、測位コンポーネントの姿勢の向き及び表示モジュールの姿勢の方向もまた比較的固定されている。したがって、第１の３次元座標は、予め設定された第１の変換関係に従って第２の３次元座標に変換されてもよく、第１の姿勢の向きは第２の姿勢の向きに変換されてもよい。第２の３次元座標は、現実空間座標系におけるバーチャルリアリティ装置の表示モジュールの焦点位置であり、第２姿勢の向きは現実空間座標系における表示モジュールの姿勢の向きである。現実空間における表示モジュールの姿勢は、第２の姿勢の向きに応じて決定され、現実空間における表示モジュールの焦点位置は、第２の３次元座標に応じて決定されてもよい。ここで、表示モジュールは、表示画面と光学部品とから構成されてもよいことに留意する必要がある。

ステップ１０３：予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換する。

表示モジュールの姿勢の向きと表示モジュールの焦点の第２の３次元座標とが決定された後、第２の３次元座標は予め設定された第２の変換関係に従って仮想空間における目標の３次元座標に変換されてもよく、第２の姿勢の向きは仮想空間における目標の姿勢の向きに変換されてもよい。

第２の変換関係は、必要に応じて設定されてもよい。例えば、第２の３次元座標の座標値が直接、目標の３次元座標の座標値とされてもよいし、同時に、第２の姿勢の向きが目標の姿勢の向きと一致してもよく、または、前記第２の３次元座標が予め設定された座標変換関係に従って前記目標の３次元座標に変換され、前記第２の姿勢の向きが予め設定された姿勢の向きの変換関係に従って前記目標の姿勢の向きに変換されてもよい。

ステップ１０４：前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する。

目標の３次元座標及び目標の姿勢の向きが決定された後、仮想空間における投影面が、目標の３次元座標及び目標の姿勢の向きに応じて決定されてもよい。

必要に応じて、ＶＲ装置は、第２の姿勢の向きの表示モジュールの視線方向に対応する次元の第１寸法値を取得し、透視投影方向に対応する寸法の寸法値を第１の寸法値として設定し、次に、目標の３次元座標が示す点を投影中心とし、透視投影方向に応じて投影面を決定してもよい。現実空間座標系は、現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とした３次元座標系であり、指定された座標系は仮想空間におけるワールド座標系である。

必要に応じて、ＶＲ装置は、第２の姿勢の向きの表示モジュールの視覚方向に対応する次元の第２の寸法値を取得し、透視投影方向に対応する次元の寸法値を第２の寸法値として設定し、次に、目標の３次元座標が示す点を投影中心とし、そして、透視投影方向に応じて投影面を決定する。現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における指定された座標系とワールド座標系との変換関係と同じであり、現実空間基準座標系は、現実空間における特定点を原点とし、現実空間における重力方向を第１の座標軸方向とし、現実空間における南方向または北方向を第２座標軸とする３次元座標系である。変換関係と基準変換関係との間の差は、指定された期間において固定された値であり、基準変換関係は、現実空間座標系と、バーチャルリアリティ装置を介して仮想空間を見るときに基準観察者が使用する現実空間基準座標系との変換関係であるであってもよい。指定された座標系の原点は、前記基準観察者が前記バーチャルリアリティ装置を介して前記仮想空間を見るときの仮想空間における位置であってもよい。変換関係と基準変換関係との差は、指定された期間内の固定値であり、それは指定された期間内に基準変換関係を固定変換モードで変換関係に変換することができることを意味する。

必要に応じて、ＶＲ装置は、最初に基準観察者によって設定された基準投影点を決定し、特定の時刻の基準投影点と投影中心との位置の差を算出し、次に、指定された座標系を該位置の差に応じた基準座標系に変換し、最終的に基準座標系における目標の３次元座標が示す点を投影中心として仮想空間における投影面を目標の姿勢の向きに応じて決定してもよい。

ＶＲ装置は、投影中心と透視投影方向とに応じて投影面を決定する場合、仮想空間における投影方向に垂直な面を投影面として選択し、投影面から投影面までの距離投影中心を、表示モジュールの焦点から表示モジュールまでの距離に等しいか、または比例するようにしてもよい。

ステップ１０５：前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影する。

投影点、投影方向、及び投影面がすべて決定された後、ＶＲ装置は、２次元画像を生成するために、仮想空間における仮想物体を投影面内の撮像領域に透視投影してもよい。透視投影の原理及び実施形態については、先行技術を参照してよく、ここではこれ以上説明しない。

ステップ１０６：前記表示モジュールの表示画面上に前記２次元画像を表示する。

透視投影によって２次元画像が生成された後、２次元画像は、表示モジュールの表示画面上に表示されてもよい。

本実施形態を採用することにより、ＶＲ装置は、現実空間におけるＶＲ装置の位置及び姿勢の向きに応じて投影面を決定し、２次元画像を生成し、そのためＶＲ装置は、その位置または姿勢の向きが変化したときに生成される２次元画像を調整することができる。したがって、現実空間におけるバーチャルリアリティ装置の位置及び姿勢の変化に応じて、バーチャルリアリティ装置が提供するバーチャルリアリティ画像を調整することができる。

図２を参照すると、本発明によるバーチャルリアリティ画像を調整する装置の一実施形態の構造表現である。

図２に示すように、取得部２０１と、第１の変換部２０２と、第２の変換部２０３と、投影面決定部２０４と、投影部２０５と、表示部２０６とを備えていてもよい。

ここで、取得部２０１は、現実空間における特定点を原点とする３次元座標系である現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得する。

第１の変換部２０２は、予め設定された第１の変換関係に従って、前記第１の３次元座標を、前記現実空間座標系における前記バーチャルリアリティ装置の表示モジュールの焦点の座標である第２の３次元座標に変換し、前記第１の姿勢の向きを、前記現実空間座標系における前記表示モジュールの姿勢の向きである第２の姿勢の向きに変換する。

第２の変換部２０３は、予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換する。

投影面決定部２０４は、前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する。

投影部２０５は、前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影する。

表示部２０６は、前記表示モジュールの表示画面上に前記２次元画像を表示する。

必要に応じて、第２の変換部２０３は、具体的には、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢と一致させたままとする。

必要に応じて、投影面決定部２０４は、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第１の寸法値を取得する第１の寸法値取得手段と、前記透視投影方向に対応する次元の寸法値を前記第１の寸法値として設定する第１の投影方向決定手段と、前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第１の投影面決定手段とを備え、前記現実空間座標系は、前記現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が前記仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とした３次元座標系で、指定された座標系は仮想空間におけるワールド座標系である。

必要に応じて、投影面決定部２０４は、前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第２の寸法値を取得する第２の寸法値決定手段と、前記透視投影方向に対応する次元の寸法値を前記第２の寸法値として設定する第１の投影方向決定手段と、前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第２の投影面決定手段とを備え、前記現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における指定された座標系とワールド座標系との変換関係と同じであり、前記現実空間基準座標系は、前記現実空間における特定点を原点とし、前記現実空間における重力方向を第１の座標軸方向とし、前記現実空間における南方向または北方向を第２の座標軸方向とする３次元座標系方向である。

必要に応じて、投影面決定部２０４は、基準観察者によって設定された基準投影点を決定する投影点決定手段と、特定の時刻の前記基準投影点と前記投影中心との位置の差を算出する差算出手段と、前記位置の差に応じて指定された座標系を基準座標系に変換する座標系変換手段と、前記基準座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する第３の投影面決定手段とを備える。

本実施形態を採用することにより、ＶＲ装置は、現実空間におけるＶＲ装置の位置及び姿勢の向きに応じて投影面を決定し、２次元画像を生成し、そのためＶＲ装置は、その位置または姿勢の向きが変化したときに生成される２次元画像を調整することができる。

当業者は、本発明が、ソフトウェア及び必要な汎用ハードウェアプラットフォームの助けによって実施され得ることを明らかに理解することができる。このような理解に基づいて、本発明の実施形態における技術的解決策の本質的部分、すなわち先行技術に寄与する部分は、ストレージに格納されるソフトウェア製品の形態で具体化することができるＲＯＭ／ＲＡＭ、磁気ディスクまたはコンパクトディスクなどの媒体を含み、コンピュータ装置（パーソナルコンピュータ、サーバまたはネットワーク装置などであってもよい）を、本発明の各実施形態またはその一部に適用することができる。

本明細書における各実施形態は、ステップ状に記載されている。各実施形態間の同一または同様の部分については、相互に参照することができ、各実施形態は他の実施形態との相違点に焦点を合わせる特に、装置またはシステムの実施形態では、方法の実施形態と基本的に同様であるため、その説明は簡単であり、関連する部分についての方法の実施形態の図の部分を参照することができる。

上記の説明は、本発明のいくつかの特定の実施形態を示しているに過ぎない。当業者であれば、本発明の原理から逸脱することなく、いくつかの改良及び改変を行うことができ、これらの改良及び改変はすべて、本発明の保護範囲に入るとみなされるべきであることを指摘しておく。

Claims

バーチャルリアリティ画像を調整する方法であって、
現実空間における特定点を原点とする３次元座標系である現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得することと、
予め設定された第１の変換関係に従って、前記第１の３次元座標を、前記現実空間座標系における前記バーチャルリアリティ装置の表示モジュールの焦点の座標である第２の３次元座標に変換し、前記第１の姿勢の向きを、前記現実空間座標系における前記表示モジュールの姿勢の向きである第２の姿勢の向きに変換することと、
予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することと、
前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することと、
前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影することと、
前記表示モジュールの表示画面上に前記２次元画像を表示することと、
を備える方法。
前記予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することは、
前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢と一致させたままとすることを含み、
前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、
前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第１の寸法値を取得することと、
前記透視投影方向に対応する次元の寸法値を前記第１の寸法値として設定することと、
前記３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定することと、を含み、
前記現実空間座標系は、前記現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が前記仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とした３次元座標系であり、前記指定された座標系は前記仮想空間におけるワールド座標系である、
請求項１に記載の方法。
前記予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換することは、
前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢の向きと一致させたままにすることを含み、
前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、
前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第２の寸法値を取得することと、
前記透視投影方向に対応する次元の寸法値を第２の寸法値として設定することと、
前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定することと、を含み、
前記現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における前記指定された座標系とワールド座標系との変換関係と同じであり、前記現実空間基準座標系は、前記現実空間における特定点を原点とし、前記現実空間における重力方向を第１の座標軸方向とし、前記現実空間における南方向または北方向を第２の座標軸方向とする第２座標系とした３次元座標現実空間である、請求項１に記載の方法。
前記変換関係と基準変換関係との間の差は、指定された期間において固定された値であり、
前記基準変換関係は、前記現実空間座標系と、前記バーチャルリアリティ装置を介して前記仮想空間を見るときに基準観察者が使用する前記現実空間基準座標系との変換関係である請求項３に記載の方法。
前記指定された座標系の原点は、前記基準観察者が前記バーチャルリアリティ装置を介して前記仮想空間を見るときの仮想空間における位置である請求項４に記載の方法。
前記仮想空間内の任意の指定された座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することは、
基準観察者によって設定された基準投影点を決定することと、
特定の時刻の前記基準投影点と前記投影中心との位置の差を算出することと、
前記位置の差に応じて前記指定された座標系を基準座標系に変換することと、
前記基準座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定することと、
を備える請求項１に記載の方法。
バーチャルリアリティ画像を調整する装置であって、
現実空間における特定点を原点とする３次元座標系である現実空間座標系におけるバーチャルリアリティ装置の測位コンポーネントの第１の３次元座標及び第１の姿勢の向きを取得する取得部と、
予め設定された第１の変換関係に従って、前記第１の３次元座標を、前記現実空間座標系における前記バーチャルリアリティ装置の表示モジュールの焦点の座標である第２の３次元座標に変換し、前記第１の姿勢の向きを、前記現実空間座標系における前記表示モジュールの姿勢の向きである第２の姿勢の向きに変換する第１の変換部と、
予め設定された第２の変換関係に従って前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記仮想空間における目標の姿勢の向きに変換する第２の変換部と、
前記仮想空間内の任意の座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する投影面決定部と、
前記仮想空間における仮想物体を、２次元画像を生成するために前記投影面内の撮像領域に透視投影する投影部と、
前記表示モジュールの表示画面上に前記２次元画像を表示する表示部と、
を備える装置。
前記第２の変換部は、具体的には、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢と一致させたままとし、
前記投影面決定部は、
前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第１の寸法値を取得する第１の寸法値取得手段と、
前記透視投影方向に対応する次元の寸法値を前記第１の寸法値として設定する第１の投影方向決定手段と、
前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第１の投影面決定手段と、を含み、
前記現実空間座標系は、前記現実空間における特定点を原点とし、重力方向を第１の座標軸方向とし、バーチャルリアリティ装置を介して観察者が前記仮想空間を見ることにより設定された現実世界の水平面内の右方向を第２の座標軸方向とする、
請求項７に記載の装置。
前記第２の変換部は、前記第２の３次元座標を仮想空間における目標の３次元座標に変換し、前記第２の姿勢の向きを前記目標の姿勢の向きと一致させたままとし、
前記投影面決定部は、
前記第２の姿勢の向きの前記表示モジュールの視線方向に対応する次元の第２の寸法値を取得する第２の寸法値決定手段と、
前記透視投影方向に対応する次元の寸法値を前記第２の寸法値として設定する第１の投影方向決定手段と、
前記目標の３次元座標が示す点を前記投影中心とし、前記透視投影方向に応じて前記投影面を決定する第２の投影面決定手段と、を含み、
前記現実空間座標系と現実空間基準座標系との変換関係は、仮想空間における指定された座標系とワールド座標系との変換関係と同じであり、前記現実空間基準座標系は、前記現実空間における特定点を原点とし、前記現実空間における重力方向を第１の座標軸方向とし、前記現実空間における南方向または北方向を第２の座標軸方向とする、請求項７に記載の装置。
前記投影面決定部は、
基準観察者によって設定された基準投影点を決定する投影点決定手段と、
特定の時刻の前記基準投影点と前記投影中心との位置の差を算出する差算出手段と、
前記位置の差に応じて指定された座標系を基準座標系に変換する座標系変換手段と、
前記基準座標系における前記目標の３次元座標が示す点を投影中心とし、前記仮想空間における投影面を前記目標の姿勢の向きに応じて決定する第３の投影面決定手段と、
を備える請求項７に記載の装置。