JP2016181267A - コンピュータ・プログラム - Google Patents
コンピュータ・プログラム Download PDFInfo
- Publication number
- JP2016181267A JP2016181267A JP2016098311A JP2016098311A JP2016181267A JP 2016181267 A JP2016181267 A JP 2016181267A JP 2016098311 A JP2016098311 A JP 2016098311A JP 2016098311 A JP2016098311 A JP 2016098311A JP 2016181267 A JP2016181267 A JP 2016181267A
- Authority
- JP
- Japan
- Prior art keywords
- posture
- visual field
- virtual space
- computer program
- view
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】ユーザの姿勢に応じてHMDに表示される視界を適切に自動調整して、ユーザの姿勢変更に伴う仮想空間内の視界変更を効果的に実施するコンピュータ・プログラムを提供する。【解決手段】本コンピュータ・プログラムは、ヘッドマウント・ディスプレイ(HMD)が具備する傾きセンサで検知される傾き情報に基づいて、仮想空間の仮想カメラからの視界領域を決定する視界決定部、ヘッドマウント・ディスプレイに表示するために、仮想空間情報を用いて視界領域に対する視界画像を生成する画像生成部、傾き情報に基づいて、ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第1姿勢から第2姿勢への姿勢変更を検知する姿勢検知部並びに第2姿勢での仮想カメラからの視界領域に対し、第1姿勢に対する視界画像を適用するように視界を調整する視界調整部としてヘッドマウント・ディスプレイに接続されたコンピュータに機能させる。【選択図】図8
Description
本発明は、コンピュータ・プログラムに関し、より詳細には、ユーザがヘッドマウント・ディスプレイ(HMD)を頭部に装着し、3次元仮想空間に没入している状況において、自身の姿勢を変更した場合に、HMDに表示される3次元仮想空間の視界を調整するようコンピュータに制御させるコンピュータ・プログラムに関するものである。
ユーザの頭部に装着され、眼前に配置されたディスプレイ等によってユーザに3次元仮想空間画像を提示可能なHMDが知られている。特に、特許文献1に開示されるようなHMDでは、3次元仮想空間に360度のパノラマ画像を表示可能である。このようなHMDは通例、各種センサ(例えば、加速度センサや角速度センサ)を備え、HMD本体の姿勢データを計測する。特に、頭部の回転角に関する情報に従ってパノラマ画像の視線方向変更を可能にする。即ち、HMDを装着したユーザが自身の頭部を回転させると、それに併せて、360度のパノラマ画像の視線方向を変更するのを可能にする。このようなHMDは、ユーザに対し、映像世界への没入感を高め、エンタテインメント性を向上させる。
その例として、図1に示す各画面が3次元仮想空間としてHMDに表示されるアプリケーションを想定する。例えば、図1(a)は、3次元仮想空間内の所定の視界領域に複数の仮想テレビが配置されるような仮想マルチディスプレイ・アプリケーションである。また、図1(b)は、3次元仮想空間平面をユーザのキャラクタが動き回るようなアクション型RPGのゲーム・アプリケーションである。
これらアプリケーション・プログラムが実行され、ユーザが操作している最中に、例えば、図2に示すような座位から仰臥位への姿勢変更をユーザが実施したとする。上記のような従来技術のHMDに表示される画像は、当該姿勢変更と連動して、図1(a)や図1(b)のような水平方向の視界画像から垂直方向の視界画像へと移行されることになる。この点、3次元仮想空間に没入した状態で座位から仰臥位に姿勢変更したユーザは、図1(a)や図1(b)のような水平方向の視界画像を見続けることは困難となる(臥位の状態で無理矢理HMDを水平方向に向けなければ視界画像を見ることができない)。他方、図1(a)や図1(b)の画面表示を行うアプリケーションでは、主に水平方向の視界にコンテンツが用意され、垂直方向の視界には「空」や「雲」程度しか表示されないことも多い。
特に図1(a)の仮想マルチディスプレイ・アプリケーションのようなアプリケーションによっては、図2のようにユーザが座位から仰臥位への姿勢変更を実施した場合であっても、座位状態の視界を維持させることにより、コンピュータが視界を制御して水平方向の視界のコンテンツをHMDに表示させ続けることが好ましい。ユーザにとっては、寝ながらにして上を向いたままコンテンツを視聴可能となるからである。
本発明は、ユーザがHMDを装着して3次元仮想空間に没入している状態において、実世界でのユーザの姿勢に応じてHMDに表示される仮想的な視界を適切に自動調整するようコンピュータに仮想カメラを制御させ、ユーザの姿勢変更に伴う3次元仮想空間内の視界変更を効果的に実施することを目的とする。
上記の課題を解決するために、本発明によるコンピュータ・プログラムは、仮想空間情報を格納した空間情報格納部と、ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間に配置した仮想カメラからの視界領域を決定する視界決定部と、ヘッドマウント・ディスプレイに表示するために、仮想空間情報を用いて、視界領域に対する視界画像を生成する画像生成部と、傾き情報に基づいて、ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第1姿勢から第2姿勢への姿勢変更を検知する姿勢検知部と、姿勢変更の検知に応じて、第2姿勢での仮想カメラからの視界領域に対し、第1姿勢に対する視界画像を適用するように視界を調整する視界調整部と、としてヘッドマウント・ディスプレイに接続されたコンピュータに機能させる。
また、本発明によるコンピュータ・プログラムは、上記視界決定部において、視界領域が更に、コンピュータに接続され且つヘッドマウント・ディスプレイを検知可能な位置センサによって検知されるヘッドマウント・ディスプレイの位置情報に基づいて決定される。
更に、本発明によるコンピュータ・プログラムでは、仮想空間が複数のメッシュを有する天球状に形成され、空間情報格納部において、仮想空間情報が各メッシュに関連付けられ、上記視界調整部において、第2姿勢での仮想カメラからの視界領域を構成する各メッシュに第1姿勢の視界領域を構成する各メッシュを位置合わせするように、第1姿勢の視界画像を球面に沿ってスライド移動させる。
加えて、本発明によるコンピュータ・プログラムは、上記視界調整部において、第1姿勢から第2姿勢への傾き情報の変化に従って、第2姿勢における仮想カメラの位置を中心に仮想空間の軸を回転して座標変換する。
本発明によれば、HMDを装着し、3次元仮想空間に没入した状態にあるユーザは、特定の視界を維持するために、自身の姿勢を無理に維持する必要がなくなる。例えば、ユーザが座位姿勢で前方を向いている状態から、仰臥位姿勢で上方を向いている状態に姿勢変更した場合であっても、同一の視界画像情報をHMDに表示することが可能になる。即ち、本発明は、実世界でのユーザの姿勢変更に伴う3次元仮想空間内の視界変更を効果的に実施でき、HMDの傾け動作に関する効果的なユーザ操作支援を実現することを可能にするものである。
以下に、図面を参照して、本発明の実施の形態による、ユーザの姿勢変更に伴う視界調整をコンピュータに制御させるためのコンピュータ・プログラムについて説明する。図中、同一の構成要素には同一の符号を付してある。
図3は、本発明の実施形態によるコンピュータ・プログラムを実施するための、ヘッドマウント・ディスプレイ(以下、「HMD」と称する。)を用いたHMDシステム100の全体概略図である。図示のように、HMDシステム100は、HMD本体110、コンピュータ(制御回路部)120、およびポジション・トラッキング・カメラ(位置センサ)130を備える。
HMD110は、ディスプレイ112およびセンサ114を具備する。ディスプレイ112は、ユーザの視界を完全に覆うよう構成された非透過型の表示装置であり、ユーザはディスプレイ112に表示される画面のみを観察することができる。当該非透過型のHMD110を装着したユーザは、外界の視界を全て失うため、制御回路部120において実行されるアプリケーションによりディスプレイ112に表示される3次元仮想空間に完全に没入する表示態様となる。HMD110が具備するセンサ114は、ディスプレイ112近辺に固定される。センサ114は、地磁気センサ、加速度センサ、および/または傾き(角速度、ジャイロ)センサを含み、これらの1つ以上を通じて、ユーザの頭部に装着されたHMD110(ディスプレイ112)の各種動きを検知することができる。特に角速度センサの場合には、図4のように、HMD110の動きに応じて、HMD110の3軸回りの角速度を経時的に検知し、各軸回りの角度(傾き)の時間変化を決定することができる。
そこで、図4を参照して傾きセンサで検知可能な角度情報データについて具体的に説明する。図示のように、HMDを装着したユーザの頭部を中心として、XYZ座標が規定される。ユーザが直立する垂直方向をY軸、Y軸と直交しディスプレイ112の中心とユーザを結ぶ方向をZ軸、Y軸およびZ軸と直交する方向の軸をX軸とする。傾きセンサでは、各軸回りの角度、具体的にはY軸を軸とした回転を示すヨー角、X軸を軸とした回転を示すピッチ角、およびZ軸を軸とした回転を示すロール角で決定される傾きを検知し、その経時的な変化により、動き検知部220が視界情報として角度(傾き)情報データを決定する。
図3に戻り、HMDシステム100が備えるコンピュータ(制御回路部)120は、HMDを装着したユーザを3次元仮想空間に没入させ、3次元仮想空間に基づく動作を実施させるための制御回路装置として機能する。図示のように、制御回路部120は、HMD110とは別のハードウェアとして構成してよい。当該ハードウェアは、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータとすることができる。即ち、図示はしないが、互いにバス接続されたCPU、主記憶、補助記憶、送受信部、表示部、および入力部を備える任意のコンピュータとすることができる。代替として、制御回路部120は、視界調整装置としてHMD110内部に搭載されてもよい。この場合は、制御回路部120は、視界調整装置の全部または一部の機能のみを実装することができる。一部のみを実装した場合には、残りの機能をHMD110側、またはネットワークを通じたサーバ・コンピュータ(非図示)側に実装してもよい。
HMDシステム100が備えるポジション・トラッキング・カメラ(位置センサ)130は、制御回路部120に通信可能に接続され、HMD110の位置追跡機能を有する。ポジション・トラッキング・カメラ130は、赤外線センサおよび/または複数の光学カメラを用いて実現される。HMDシステム100は、ポジション・トラッキング・カメラ130を具備し、ユーザ頭部のHMDの位置を検知することによって、実空間のHMDの位置および3次元仮想空間における仮想カメラ/没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。
より具体的には、ポジション・トラッキング・カメラ130は、図5に例示的に示すように、HMD110上に仮想的に設けられ、赤外線を検知する複数の検知点の実空間位置をユーザの動きに対応して経時的に検知する。そして、ポジション・トラッキング・カメラ130により検知された実空間位置の経時的変化に基づいて、HMD110の動きに応じて、実空間のHMDの位置および3次元仮想空間における仮想カメラ/没入ユーザの仮想空間位置を正確に対応付けて、特定することができる。
ポジション・トラッキング・カメラ130による位置特定に関連し、本発明の実施形態による、3次元仮想空間2内に配置される仮想カメラ1およびポジション・トラッキング・カメラ130の位置関係について図6および図7の模式図を参照して説明する。図6はXYZ軸で構成される3次元の模式図であり、一方、図7はXZ軸で構成されるY軸方向から見た2次元の模式図(平面図)である。図6に示すように、3次元仮想空間中に仮想カメラ1、仮想カメラ1を収容する3次元仮想空間2、および3次元仮想空間2の外側のポジション・トラッキング・カメラ130が仮想的に配置される。
3次元仮想空間2は、天球状に複数のメッシュを有するように形成される。より正確には、3次元仮想空間を構成する各メッシュは、略正方形または長方形の平板として構成される。そして、当該メッシュごとに、仮想空間情報が関連付けられており、該関連付けられた仮想空間情報に基づいて視界画像がそれぞれ形成される。本発明の実施形態では、一例として、図7に更に示すように、XZ平面において、天球の中心点が仮想カメラ1とポジション・トラッキング・カメラ130を結ぶ線上に常に配置されるように位置調整するのがよい。即ち、例えば、HMDを装着したユーザが移動して仮想カメラ1の位置がX軸方向に移動した場合には、規定される3次元仮想空間2は、その中心が仮想カメラ1とポジション・トラッキング・カメラ130の線分上となるよう領域変更されることになる。
これより図8以降を参照して、本発明の実施形態により、ユーザの姿勢変更に伴う視界調整処理について説明する。図8は、本発明の実施形態による、当該視界調整処理に関するコンピュータ・プログラムを実装するために、制御回路部120に関係するコンポーネントの主要機能の構成を示したブロック図である。制御回路部120では、主に、センサ114/130からの入力を受け、該入力を処理してHMD(ディスプレイ)112への出力を行う。制御回路部120は、主に、動き検知部210、視界決定部220および視界画像生成部230、並びに、姿勢検知部250および視界調整部260を含む。そして、仮想空間情報を格納した空間情報格納部280等の各種テーブルと相互作用することにより各種情報を処理するように構成される。
動き検知部210では、センサ114/130で測定された動き情報の入力に基づいて、ユーザの頭部に装着されたHMD110の各種動きデータを決定する。本発明の実施形態では、特に、HMDが具備する傾きセンサ(ジャイロ・センサ)114により経時的に検知される傾き(角度)情報、およびHMDを検知可能な位置センサ(ポジション・トラッキング・カメラ)130により経時的に検知される位置情報を決定する。
視界決定部220では、空間情報格納部280に格納された3次元仮想空間情報、並びに、動き検知部210で検知された傾き情報および位置情報に基づいて、3次元仮想空間に配置した仮想カメラの位置、方向、そして、該仮想カメラからの視界領域を決定する。なお、位置センサ130は任意としてよく、位置センサを使用しない場合は、仮想カメラは常に天球の中心点に配置するように構成するのがよい。
そこで、図9および図10の模式図を参照して、上記視界決定部220で決定される、3次元仮想空間2の天球面に沿った視界領域について説明する。図9は、視界領域に関する3次元の模式図であり、図10は2次元の模式図(側面図および平面図)である。図9に示したように、視界領域6は、仮想カメラ1の位置および方向(視界方向5)に従って、所定の視界角度に基づいて決定される。視界角度は、図10(a)に示したXY平面図(側面図)における極角α、および図10(b)に示したXZ平面図(平面図)における方位角βとして予め設定することができる。つまり、視界領域6は、仮想カメラ1の位置からの視線方向5に対して、XY平面図における極角θおよびXZ平面図における方位角βを有した球面上の領域とすることができる。
図8に戻り、視界画像生成部230では、HMDに表示するために、上記図9および図10で説明したような視界決定部220で決定した視界領域に対する360度パノラマの一部の視界画像を、仮想空間情報を用いて生成することができる。なお、視界画像は、2次元画像を左目用と右目用の2つを生成し、HMDにおいてこれら2つを重畳させて生成することで、ユーザには3次元画像の如くHMDに表示可能である。
姿勢検知部250では、傾きセンサ114により経時的に検知される傾き情報に基づいて、HMDを装着したユーザの姿勢を判定すると共に、1つの姿勢から他の姿勢への姿勢変更を検知する。例えば、図2のように、座位の姿勢から臥位の姿勢への変更(またはその逆)を検知することができる。なお、姿勢検知部250で検知される姿勢として、図2の座位および臥位のみならず、ユーザがリクライニングした座席に座った際の斜位も含めてもよい。また、これらに限定されず、例えば、立位を座位と更に区別してもよいし、臥位として仰臥位だけでなく伏臥位、右側臥位、左側臥位を更に区別してもよいし、斜位として右前斜位および左斜位を更に区別してもよい。
視界調整部260では、姿勢検知部250での姿勢変更の検知に応じてHMDを視界調整モード(例えば「寝たまま」モード)に移行する。そして、第2姿勢での仮想カメラからの視界領域に対し、第1姿勢に対する視界画像を適用するように視界を調整する。即ち、姿勢変更前の姿勢(例えば「座位」姿勢)時における視界画像を、姿勢変更後の姿勢(例えば「臥位」姿勢)での仮想カメラからの視界領域に提供してHMDに表示する。当該視界調整処理の詳細については、図11以降を用いて処理フローを用いて後記する。
なお図8において、様々な処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、CPU、メモリ、その他の集積回路で構成することができ、ソフトウェア的には、メモリにロードされた各種プログラムなどによって実現される。したがって、これらの機能ブロックがハードウェア、ソフトウェア、又はそれらの組み合わせによって実現できることが当業者に理解されて然るべきである。
次に、図11および図12を参照して、ユーザの姿勢変更に伴う視界調整をコンピュータに制御させるための処理フローについて説明する。図示のように、情報処理は、主に、HMD110とコンピュータ(制御回路部)120の間の相互作用を通じて実施される。図11は、ユーザのHMD傾け動作と共に没入型3次元仮想空間における視界を変更しながら視界画像を表示する所謂通常モードでの処理フローについて示す。一方、図12は、ユーザの実世界における姿勢変更を検知することを通じて、仮想空間内での視界調整を実施する所謂視界調整モードでの処理フローについて示す。
まず図11では、HMD110は、ステップS10−1のように、定常的に各センサ114/130を用いてユーザ頭部の動きを検知している。それを受けて、制御回路部120では、動き検知部210によってHMD110の位置情報および傾き情報を決定する。そして、ステップS20−1では、動き検知部210により、位置情報に基づいて3次元仮想空間内に配置される仮想カメラの位置を決定すると共に、ステップS20−2では、同じく動き検知部210により、傾き情報に基づき仮想カメラの向きを決定する。
引き続き、ステップS20−3では、視界決定部220により、仮想カメラの位置および向き、並びに仮想カメラの所定の視野角度に基づいて、3次元仮想空間内の仮想カメラからの視界領域を決定する(図9および図10も参照のこと。)。そして、ステップS20−4では、HMD112に表示するために、視界画像生成部230により、当該決定した視界領域に対する視界画像を生成する。具体的には、3次元仮想空間の天球面が複数のメッシュに分割されており、視界画像生成部230は、視界領域に対応するメッシュ部分に関連づけられた、空間情報格納部280に格納した仮想空間情報を用いることによって視界画像を生成することができる。次いで、ステップS10−2に進み、ステップS20−4で生成した視界画像をHMDのディスプレイ112に表示する。
上記ステップS10−1、S20−1からS20−4、次いでS10−2が一連の基本処理ルーチンであり、アプリケーション実行中は、これらステップは基本的に繰り返し処理される。3次元仮想空間に没入したユーザにとっては、通常の動作モードとして、自身の頭部を傾ける動作を通じて、様々な位置および方向からの3次元仮想空間の視界をビュー可能である。他方、このような基本処理ルーチンと併せて、制御回路部120の姿勢検知部250では、HMDの位置センサによる傾き情報からユーザの姿勢を定常的に検知している。そこで、図12に、ユーザの姿勢検知に関連する処理フローについて示す。
ステップS20−5では、姿勢検知部250により、傾きセンサで検知される傾き情報に基づいてHMDを装着した姿勢を検知する。これに併せて、ステップS20−6では、姿勢検知部250により検知された姿勢が、第1姿勢から第2姿勢へと姿勢変更があったかを判定する。ユーザの姿勢は、傾き情報において水平面(XZ平面)に対する垂直方向(Y軸方向)の角度情報に基づいて判定される。また、第1姿勢から第2姿勢への姿勢変更は、第2姿勢が一定時間維持されたことをトリガにして決定するのがよい。
図13に示すように、ユーザの姿勢は、例えばHMDの傾き方向(視線方向)について水平面からの垂直方向の角度で決定することができる。図13では、第1視線方向の角度がΓ1、第2視線方向の角度がΓ2であり、例えば、−10度<Γ1<+10度である場合のユーザ姿勢は「座位」、80度<Γ2<100度である場合のユーザ姿勢は「臥位」といった具合に、視線方向についての垂直方向の角度が予め決められた範囲内にあるかに従ってユーザ姿勢を決定することができる。なお、当該範囲は任意に設定可能である。そして、角度Γ1の「座位」姿勢から角度Γ2の「臥位」姿勢へと遷移し、且つ当該「臥位」姿勢が一定時間維持された場合に、姿勢検知部250では実空間におけるユーザの姿勢変更があったものと判定される。
図12に戻り、上記ステップS20−6でユーザの姿勢変更を判定後、制御回路部120では、視界調整のための視界調整モードにモード変更を行う。例えば、「臥位」への姿勢変更後は「寝たままモード」として、ユーザが寝ながらにして「座位」の時の視界画像をビューできるよう視界調整用のモード変更を行う。そしてステップS20−8では、視界調整部260によって視界調整処理を実施する。即ち、「臥位」姿勢での仮想カメラからの視界領域に対し、「座位」姿勢に対する視界画像を適用するように視界を調整する(詳細は図14〜図17に関連して後記する)。そして、HMD110では、「座位」姿勢に対する視界画像を表示するよう、「臥位」姿勢の視界画像から画像移行させる。なお、画像移行の態様として、一度に画像切り替えを行ってもよいし、これ以外にも、時間と共に徐々にトランジションさせるものとしてもよい。このような視界調整処理を通じて、ユーザが「臥位」姿勢であっても、以前の「座位」姿勢に対する視界画像を継続してビュー可能なように視界を調整することができる。
ところで、人間による「座位」姿勢での頭部傾け動作と「臥位」姿勢での頭部傾け動作を比較すると、一般的には、「臥位」姿勢における方が首の可動域が小さいものとなる。即ち、「臥位」姿勢の場合に表示可能な視界全体が狭いものとなる。そこで、本発明の実施形態では、HMDの傾け動作によりユーザが仮想空間内で視界を変更する際は、視界決定部220において、ユーザ操作性を考慮して、「座位」姿勢時に傾きセンサにより検知される傾き情報の傾け移動量に対応した仮想カメラ移動量に対し、「臥位」姿勢時の傾け移動量に対応した仮想カメラ移動量の方が大きくなるように加重するよう工夫するのがよい。
次に、図14から図17を参照して、先に説明した図12のステップS20−8での視界調整部260による、第2姿勢の視界領域に対し、第1姿勢に対する視界画像を適用する視界調整処理について、その詳細を幾らかの実施例を用いて説明する。なお、ここでも第1姿勢として「座位」姿勢を、第2姿勢として「臥位」姿勢を想定する。即ち、図2に示すような姿勢変更を想定する。図14および図15は第1実施例を示し、図16および図17に第2実施例を示している。
図14は、本発明の第1実施例による視界調整処理についての模式図である。図示のように、「座位」姿勢での仮想カメラからの視界領域6aが「座位」姿勢での視界領域6bに対応付けられる。より詳細には、図6に示したように、3次元仮想空間は複数のメッシュを有する天球状に形成され、ここでは、仮想空間情報が各メッシュに関連付けられている。そして、「臥位」姿勢での仮想カメラからの視界領域6bを構成する各メッシュに対して、「座位」姿勢の視界領域を構成する各メッシュを位置合わせするように構成する。その上で、「座位」姿勢の視界領域に対する視界画像を、図14の点線のように球面に沿ってスライド移動させることにより、視界領域6bにおいて表示するよう視界調整を実施する。なお、図示のように、当該視界調整時には、仮想カメラの位置が第1点(x a ,ya ,z a )から第2点(x b ,y b ,z b )に変更され、異なる配置としている。これは、ユーザが「座位」姿勢から「臥位」姿勢へと変更する際のユーザの上半身の長さ(座高)を考慮したものである。
図15は、図14に模式的に示した第1実施例の視界調整処理についての全般処理フロー図である。ステップS100−1では、視界決定部220により「座位」姿勢での視界領域6aを形成するメッシュを特定する。また、視界画像生成部230により各メッシュに関連付けられた空間情報から視界画像を生成する。次いで、ステップS100−2では、ユーザが視界を変更させた際に、視界決定部220により視界領域6bを形成するメッシュを特定する。ここでは、ユーザは「臥位」姿勢に変更したものと想定する。
そして、ステップS100−3において、姿勢検知部250によりユーザの「座位」姿勢から「臥位」姿勢への姿勢変更を検知する。引き続き、ステップS100−4において、視界調整部260により、ステップS100−2で特定された視界領域6bのメッシュが、ステップS100−1で特定された視界領域6aのメッシュに対応付けられる。そして、ステップS100−5では、視界調整部260により、「臥位」姿勢での視界領域6bの各メッシュに「座位」姿勢での視界領域6aの各メッシュを位置合わせするように、「座位」姿勢での視界画像を天球面に沿ってスライド移動させる。そうすると、「臥位」姿勢での視界領域6bに「座位」姿勢での視界画像を表示される。このようにして、視界調整処理が実施される。
図16は、本発明の第2実施例による視界調整処理についての模式図である。図示のように、「臥位」姿勢における仮想カメラの位置(x b ,y b ,z b )を中心にXYZ座標の3次元仮想空間を回転させてX’Y’Z’座標に軸変換する。即ち、「座位」姿勢での視界領域6aが回転された結果、「臥位」姿勢での視界領域6cとなる。より具体的には、姿勢検知部250によって、ユーザによる実世界での「座位」姿勢から「臥位」姿勢への姿勢変更を検知すると、傾き情報の変化に従って、視界調整部260によって、「臥位」姿勢における仮想カメラの位置(x b ,y b ,z b )を中心に3次元仮想空間の軸を回転して座標変換することを通じて視界調整を実施する。なお、実施例2においても、ユーザが「座位」姿勢から「臥位」姿勢へと変更する際のユーザの座高を考慮し、第1実施例と同様、仮想カメラの位置が回転前の第1点(x a ,y a ,z a )と回転後の第2点(xb ,y b ,z b )で異なるものとしている。
図17は、図16に模式的に示した第2実施例の視界調整処理についての全般処理フロー図である。ステップS200−1では、視界決定部220により「座位」姿勢での視界領域6aを形成するメッシュを特定する。また、各メッシュに関連付けられた空間情報を用いて視界画像を生成する。その後に、ステップS200−2では、姿勢検知部250により「座位」姿勢から「臥位」姿勢への姿勢変更を検知すると共に、視界調整部260により「座位」姿勢から「臥位」姿勢への傾き情報の変化を回転行列として特定する。より具体的には、図4に示したようなX軸を軸とした回転を示すピッチ角、Y軸を軸とした回転を示すヨー角、そしてZ軸を軸とした回転を示すロール角で決定される傾きを特定し、各角度に従って軸回転のための回転行列を決定する。なお、当業者にとって当該回転行列は公知のものである。
併せて、ステップS200−3では、視界決定部220により「臥位」姿勢における3次元仮想空間内の仮想カメラの位置を特定する。そして、ステップS200−4において、視界調整部260により3次元仮想空間の軸回転を通じた座標変換を実施する。より具体的には、ステップS200−2で決定した回転行列を用いて、ステップS200−3で特定した仮想カメラ位置を中心に、「座位」視界領域を「臥位」視界領域に回転させる。このようにして、最後にステップS200−5において、HMDには「臥位」視界領域に「座位」視界領域の視界画像が適用され表示される。
以上、本発明の実施形態についていくつかの例示と共に説明してきたが、本発明は上記実施形態に限定されるものではない。特許請求の範囲に記載される本発明の趣旨及び範囲から逸脱することなく、様々な実施形態の変更がなされ得ることを当業者は理解するであろう。
1 仮想カメラ
2 没入型3次元仮想空間
5 視界方向
6,6a〜6c 視界領域
100 HMDシステム
110 HMD
112 ディスプレイ
114 傾きセンサ(ジャイロ・センサ)
120 コンピュータ(制御回路部)
130 位置センサ(ポジション・トラッキング・カメラ)
210 動き検知部
220 視界決定部
230 視界画像生成部
250 姿勢検知部
260 視界調整部
280 空間情報格納部
2 没入型3次元仮想空間
5 視界方向
6,6a〜6c 視界領域
100 HMDシステム
110 HMD
112 ディスプレイ
114 傾きセンサ(ジャイロ・センサ)
120 コンピュータ(制御回路部)
130 位置センサ(ポジション・トラッキング・カメラ)
210 動き検知部
220 視界決定部
230 視界画像生成部
250 姿勢検知部
260 視界調整部
280 空間情報格納部
Claims (8)
- 仮想空間情報を格納した空間情報格納部と、
ヘッドマウント・ディスプレイが具備する傾きセンサで検知される傾き情報に基づいて、仮想空間に配置した仮想カメラからの視界領域を決定する視界決定部と、
前記ヘッドマウント・ディスプレイに表示するために、前記仮想空間情報を用いて、前記視界領域に対する視界画像を生成する画像生成部と、
前記傾き情報に基づいて、前記ヘッドマウント・ディスプレイを装着したユーザの姿勢を判定すると共に、第1姿勢から第2姿勢への姿勢変更を検知する姿勢検知部と、
前記姿勢変更の検知に応じて、前記第2姿勢での前記仮想カメラからの視界領域に対し、前記第1姿勢に対する視界画像を適用するように視界を調整する視界調整部と
として前記ヘッドマウント・ディスプレイに接続されたコンピュータに機能させる、コンピュータ・プログラム。 - 請求項1記載のコンピュータ・プログラムであって、
前記視界決定部において、前記視界領域が更に、前記コンピュータに接続され且つ前記ヘッドマウント・ディスプレイを検知可能な位置センサによって検知される前記ヘッドマウント・ディスプレイの位置情報に基づいて決定される、コンピュータ・プログラム。 - 請求項1または2記載のコンピュータ・プログラムであって、
前記姿勢検知部において、前記ユーザの姿勢が、前記傾き情報において水平面に対する垂直方向の角度情報に基づいて判定される、コンピュータ・プログラム。 - 前記第1姿勢が座位であり、前記第2姿勢が臥位である、請求項3記載のコンピュータ・プログラム。
- 請求項4記載のコンピュータ・プログラムであって、
前記視界決定部において、前記第1姿勢における前記傾き情報が有する傾け移動量に対応した仮想空間内の仮想カメラ移動量に対して、前記第2姿勢における前記傾け移動量に対応した仮想空間内の仮想カメラ移動量の方が大きくなるように加重される、コンピュータ・プログラム。 - 請求項1から5のいずれか一項記載のコンピュータ・プログラムであって、
前記仮想空間が複数のメッシュを有する天球状に形成され、
前記空間情報格納部において、前記仮想空間情報が各メッシュに関連付けられ、
前記視界調整部において、前記第2姿勢での前記仮想カメラからの視界領域を構成する各メッシュに前記第1姿勢の視界領域を構成する各メッシュを位置合わせするように、前記第1姿勢の視界画像を天球面に沿ってスライド移動させる、コンピュータ・プログラム。 - 前記第2姿勢における前記仮想カメラの位置が、前記第1姿勢における前記仮想カメラの位置とは異なる、請求項6記載のコンピュータ・プログラム。
- 請求項1から5のいずれか一項記載のコンピュータ・プログラムであって、
前記視界調整部において、前記第1姿勢から前記第2姿勢への傾き情報の変化に従って、前記第2姿勢における仮想カメラの位置を中心に前記仮想空間の軸を回転させて座標変
換する、コンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098311A JP2016181267A (ja) | 2016-05-16 | 2016-05-16 | コンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016098311A JP2016181267A (ja) | 2016-05-16 | 2016-05-16 | コンピュータ・プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015059354A Division JP5952931B1 (ja) | 2015-03-23 | 2015-03-23 | コンピュータ・プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016181267A true JP2016181267A (ja) | 2016-10-13 |
Family
ID=57131884
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016098311A Pending JP2016181267A (ja) | 2016-05-16 | 2016-05-16 | コンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016181267A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6189513B1 (ja) * | 2016-10-18 | 2017-08-30 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2019022121A (ja) * | 2017-07-19 | 2019-02-07 | ソニー株式会社 | 画像処理装置、および画像処理装置の制御方法 |
WO2020049665A1 (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
-
2016
- 2016-05-16 JP JP2016098311A patent/JP2016181267A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6189513B1 (ja) * | 2016-10-18 | 2017-08-30 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2018067091A (ja) * | 2016-10-18 | 2018-04-26 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2019022121A (ja) * | 2017-07-19 | 2019-02-07 | ソニー株式会社 | 画像処理装置、および画像処理装置の制御方法 |
WO2020049665A1 (ja) * | 2018-09-05 | 2020-03-12 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、及びプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5981591B1 (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
CN111696213B (zh) | 图像生成装置、图像生成方法以及计算机可读介质 | |
JP5952931B1 (ja) | コンピュータ・プログラム | |
JP6002286B1 (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
WO2017047367A1 (ja) | 視線誘導のためのコンピュータ・プログラム | |
KR102612988B1 (ko) | 디스플레이 장치 및 디스플레이 장치의 영상 처리 방법 | |
JP5869712B1 (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
JP6087453B1 (ja) | 仮想空間の提供方法、およびプログラム | |
WO2017033777A1 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP2017142569A (ja) | 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム | |
JP2017045294A (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP2017093946A (ja) | 画像表示方法及びプログラム | |
WO2016199736A1 (ja) | 仮想空間位置指定方法、プログラム、プログラムを記録した記録媒体、および、装置 | |
JP6121496B2 (ja) | ヘッドマウントディスプレイシステムを制御するプログラム | |
JP2016181267A (ja) | コンピュータ・プログラム | |
JP2017021824A (ja) | ヘッドマウントディスプレイ制御方法、および、ヘッドマウントディスプレイ制御プログラム | |
WO2017122270A1 (ja) | 画像表示装置 | |
JP6306083B2 (ja) | 仮想空間を提供する方法、プログラム、および記録媒体 | |
JP2018032217A (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
US11474595B2 (en) | Display device and display device control method | |
JP2019028638A (ja) | ヘッドマウントディスプレイとその映像表示方法 | |
US9679352B2 (en) | Method for operating a display device and system with a display device | |
KR20180063581A (ko) | 가상 현실 표시 장치 및 그 제어 방법 | |
JP2016181302A (ja) | 没入型仮想空間でオブジェクト操作を制御するためのコンピュータ・プログラムおよびコンピュータ・システム | |
JP2017191474A (ja) | Hmd装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置 |