JP2017191474A - Ｈｍｄ装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置 - Google Patents

Abstract

【課題】表示部が一体となるＨＭＤむけのプログラム処理において、加速度センサーやジャイロセンサー、地磁気センサーなどにより情報処理部に指示を与えることで、ゲームなどのＶＲコンテンツにおいて利便性を向上させる、ＶＲ画像とユーザーインターフェースを実施する。【解決手段】ジャイロセンサーや加速度センサーにより検出された頭部の傾斜角に基づいて周囲の実風景を半透明合成（半透過合成）するように構成する。【選択図】図１１

Description

ＨＭＤ装置におけるセンサー類を用いたユーザーインターフェース関する

近年、仮想現実（ＶＲ）や拡張現実（ＡＲ）、複合現実（ＭＲ）といった技術が実用性を帯び始め諸々の市場を構築しつつある。これらの装置はＨＭＤと呼ばれる表示部を備えた頭部装着型デバイスとＨＭＤに内蔵されたジャイロセンサーや地磁気センサー（コンパス）、加速度センサーを用いて利用者の視線方向を検出し、それらの利用者からのセンサー入力に応じて表示内容を変化させながら情報処理を行うことが知られている。

なお前述のＨＭＤ装置はスマートフォンを用いたＶＲ用ＨＭＤとして頭部に装着するための器具とスマートフォンを組み合わせることで誰でも利用することがグーグルカードボード（登録商標）により２０１４年６月２４日現在で一般的に可能である。

しかしながら、これらＶＲ装置においては操作入力においてゲームコントローラのようなデバイスによって入力するため従来型コンピュータのマウスやキーボード入力に対し比較的煩雑な入力が必要になっている。

このような状況を打開するためインターネット上では後述のような提案やＶＲゲームアプリケーションなどが公開されている。

より具体的には、以下に掲げる先行技術文献に関し非特許文献１に関し、ジャイロセンサーや加速度センサーを用いてＨＭＤが叩かれたことを検出しメニューから利用者の希望する項目を選択するＵＩが開示されている。

非特許文献２に関し、ＧＵＩの歴史を踏まえ、ＶＲ空間にソフトウェアキーボードを表示する方法や立体カーソル（３Ｄカーソル）を利用してワークプレーン（所定の操作エリア）に対し操作する方法、従来型ＧＵＩをＶＲ空間に表示するといった方法が提案されている。

非特許文献３に関し、２０１５年３月３０日２：４７の投稿内容によれば、利用者がＨＭＤを装着し座るまでの一連の操作において加速度センサーやジャイロセンサーの動きが大きくなることを利用してＨＭＤの装着状況を検出する方法が提案されている。

非特許文献４に関し、ＶＲアプリケーションとしてジェットコースターを楽しむものが市販されており、このアプリケーション内でプレイを開始するときにある程度の誤差を許容しながらアプリケーション内に表示されるレバーを見続けるとレバーが倒れ、アプリケーションを楽しめるように表示内容を変化させることができるような処理が実現されている。

以下、４件につき２０１５年９月１日にインターネット上で確認
http://tips.hecomi.com/entry/2014/10/02/005313Oculus Rift で頭の動き + タップで簡単に Unity 4.6 UI を選択できるやつを作ってみた※Oculus Rift および Unity は登録商標 http://simrea.tumblr.com/post/110503393374/vr%E7%A9%BA%E9%96%93%E5%86%85%E3%81%A7%E3%81%AEui%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6VR空間内でのUIについて http://togetter.com/li/800996HMDのUI話「user interface design for virtual reality」 by @ pafuhana1213さん２０１５年３月３０日０２：４７の投稿内容 https://play.google.com/store/apps/details?id=com.fibrum.roallercoastervr&hl=jaRoller Coaster VR

前述のようなＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ユーザーインターフェース）が提案されているが様々な側面においてＶＲ空間でのＵＩはいまだ改良の余地がある。より具体的には、利用者からの入力においてジャイロセンサーや加速度センサーを用いて前後左右への移動やゲームなどでの回避行動、ＶＲプログラムの操作中にメニュー表示を行ったり、ベッドであおむけに寝転がったりした時の操作や座標系の制御に関して利便性の高いＵＩに関してはいまだ充分とは言えない状況にあることが課題として顕在する。さらには、ＨＭＤを付けているとユーザーは手元が見えないという課題は改善されていない。

一般的なＶＲプログラムの利用中において頭部傾斜状態、頭部傾斜状態の連続した変化などの検出によりＶＲプログラムの座標系とＨＭＤの視線方向をＺ軸とし視線垂直直交方向をＹ軸とする座標系との関係から傾斜状態を判別してＶＲ装置で生成されるコンピュータグラフィック画像（ＣＧ）としてのＶＲＣＧ画像と撮像実風景との切り替えや透過率の変化を伴った合成を行ったりするといった方法をセンサー類から検出される情報類の組み合わせに応じて同定されたＨＭＤの傾斜に基づいて実現する。さらにもしくは、深度撮影という赤外線等を投影することで奥行を検出する方法を交えて、深度による透過率の設定をさらに伴ったＶＲ用のＵＩを構成してもよい。

従来のＶＲプログラム、ＶＲソフトウェア、ＶＲコンテンツ、ＶＲアプリケーションなどにおいて物理的なコントローラが視認しやすくなり、操作を飛躍的に向上させることが可能である。

ＰＣ型ＶＲ装置 スマートフォン型ＶＲ装置 基本的な処理手順 情報処理部の構成 座標系初期化の例 仰向け状態でのＶＲ座標系初期化の例 通常方向や仰向け状態での座標系に応じた頭の動きの例 通常のＶＲコンテンツ再生状態ではないことを検出する場合の姿勢例 通常姿勢のＶＲコンテンツ再生と仰臥位状態の検出による初期化と操作検出時の分岐処理の例 図９における操作検出のための評価用の項目一覧の例 ＶＲコンテンツにＶＲコントローラなどを合成する例 ＶＲコンテンツ例

まず、ＶＲプログラムとはＶＲアプリケーションやＶＲコンテンツ、ＶＲアプリケーション、ＶＲソフトウェアおよびそれらを起動するためのランチャープログラムなどやＶＲユーザーインタフェースプログラムを含む。

より具体的には広い範囲の視覚を情報処理部（４００）によって算術的に生成した画像などで頭の向きや動作によってリアルタイムに構成し、さも実体験であるかのような視覚情報と音響情報を主として利用者に提供するプログラムであり、将来的に視線や嗅覚や触覚や味覚などが提供されることが想定されている。

なお、本発明に関する説明はＶＲ装置に関する形の表記をとっているがＨＭＤを使用するＵＩであればＡＲ装置やＭＲ装置であってもよく、そういった装置においては撮像部（１０３）などが装置に含まれていることにより構成されていてもよい。

次により具体的なＶＲ装置として発明を実施するための形態における装置の構成を説明する。まず装置は表示部と頭部装着部を最低限供えた構成をしている。この構成に対し中央演算部と描画演算部と記憶部などによって構成される情報処理部を内蔵していたり、同様の情報処理部をパーソナルコンピュータ（ＰＣ）などの形態で外部に有線およびもしくは無線などにより接続していたりしてもよい。

なお、中央演算部はＣＰＵ、描画演算部はＧＰＵ、記憶部はＲＯＭやＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ、ストレージとしてのＨＤＤやＳＳＤなどと呼称される部品などの組み合わせによって実現されており、時代とともに変化する将来的なＭＲＡＭやＲｅＲＡＭ、ニューロンプロセッサなどが組み合わされていてもよい。また、表示部は１眼であっても２眼であってもよく、２眼であれば立体視に対応していても良い。

そして情報処理部に有線及びもしくは無線からなる後述の制御装置が接続できるようになる形で構成される。これらの構成において、例えば表示部と情報処理部と各種センサー部を備えたスマートフォンなどの装置を頭部に固定するためのアダプターを用いてＨＭＤとして利用することも可能であるし、ＶＲ用ＨＭＤに可視光撮像装置としてのカメラを搭載して構成し情報処理部としてのＰＣと接続し同様の全体的構成を実現してもよい。

なお、スマートフォンを用いたＶＲ装置であればスマートフォン内に、ＶＲ用ＨＭＤとＰＣやゲーム機の組み合わせによるＶＲ装置であればＨＭＤ内に加速度センサーやジャイロセンサーが組み込まれていている構成となる。

そして、これらのスマートフォンやＰＣなどを含んだ構成に加えて、制御装置としてのマウスやゲームパッド、キーボードなどのコントローラ、画像認識によるジェスチャ入力デバイスなどやジャイロセンサーや加速度センサーなどの運動検出センサー類による入力デバイス、視線検出などといったユーザーからの操作に基づく制御信号を情報処理部に反映させる装置を用いて本発明を実施するための基本構成が実現される。

なお最初のＶＲ画像の表示に至るまでのあいだにＶＲ装置で生成されるコンピュータグラフィック画像（ＣＧ）といわれるＶＲＣＧ画像としてのＶＲコンテンツやＶＲアプリを選択起動するためのＶＲ用ランチャープログラムとして実風景を背景画像としＶＲコンテンツやＶＲアプリを手前にテロップ表示するスタイルのＶＲユーザーインタフェースプログラムを構成することもできる。

まず、ＶＲ用ＨＭＤ（１０１）がＰＣ（１０５）やゲーム機に接続されている場合のＶＲ装置構成を説明する。

ジャイロセンサーや加速度センサーを備えたＨＭＤ（１０１）が単品として市販されており、商品によっては標準で撮像部（１０３）を備えているものもある。撮像部がない追加部品としての撮像部を組み合わせるようにしても良い。それらにＰＣやゲーム機に接続することで、ＨＭＤに組み合わされた撮像部（１０３）、表示部（１０２）、センサー部（１０１内部）やＰＣ（１０５）に組み合わされた通信部（ブルートゥース（登録商標）やＵＳＢ配線など）やＰＣ（１０５）に組み込まれた情報処理部（４００）を用いて、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示し、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。なお、撮像部（１０３）は本発明の実施においてあってもなくてもよい。

次に、ＨＭＤにスマートフォン（２０１）を用いる場合のＶＲ装置構成を説明する。

頭部装着部（１０４，２０２）が単品として市販されておりそれらにスマートフォン（２０１）を装着することで、スマートフォンに内蔵された表示部、センサー部、通信部（ブルートゥース（登録商標）など）、情報処理部（４００）を用いて、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示内容を変化させ、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。なお、スマートフォン（２０１）に内蔵された撮像部は本発明の実施においてあってもなくてもよい。

続いてＶＲ用ＨＭＤ（１０１）がＰＣ（１０５）やゲーム機に接続されている場合もしくはＨＭＤにスマートフォン（２０１）を用いる場合におけるＶＲ装置においてＶＲプログラムのスタート時の座標系を指定する方法に関して説明する。ＶＲ用ＨＭＤの例（図１）においては１０１（センサー部含む）、１０２（表示部）、１０４（頭部固定部）、１０５（情報処理部、通信部などを含むＰＣ）によってＨＭＤとＶＲ装置５０１が構成され１０６が制御装置となる。またスマートフォンを用いた例（図２）においては２０１（撮像部、表示部、センサー部、情報処理部、通信部を含むスマートフォンなど）、２０２（レンズと頭部装着部）、１０４（頭部固定部）によってＨＭＤとＶＲ装置５０１が構成され１０６が制御装置となる。

これらのＶＲ用ＨＭＤ（１０１、２０１）はＧＰＵといった三次元描画装置を備えており、ＨＭＤから得られるセンサー情報に従ってＶＲ用のコンピュータグラフィック画像を生成することができそれらを表示部に出力できる。

さらには記憶媒体により構成された記憶部を備えていたもよく、記憶媒体とは光学式であったり、半導体式であったり、磁気式であったりしてもよく、ストレージなどと称させるデバイスであってもよい。

まず、ＨＭＤに取り付けられたセンサー類から重力方向を示すベクトルを取得するために加速度センサーやジャイロセンサーにより算出し重力方向ベクトルに対して直交する面を算出しながら、利用者からの頭の傾斜を検出するステップ（３０４）を実施する。そして、利用者からの頭の傾斜検出時の正面にＶＲ表示のプレーヤ視線のＺ軸が向かうようにして（図５）プレーヤ視線のＹ軸を回転させ初期化するステップを実施する。

このプレーヤ視線に対するＹ軸の回転を行うステップは、ＨＭＤに付属するジャイロセンサーから検出された角度に基づいて、初期化前に検出された角度を相殺するような演算を行う必要があり、前記初期化前検出角度からの減算やコンパスによる逆算、回転角度のリセット、初期化前の検出角の逆行列を掛けたり、クオータニオンによって回転角の相殺を行ったりしてもよい。

そして、重力方向ベクトルに直交した面（重力平面）に対してさらに直交する（図５、図１０）プレーヤ視線のＸＹ面座標系もしくは円柱座標系もしくは球形座標系などに対してユーザーコントロールデバイス（１０６）などを含む撮像装置（１０３）で取得された画像を半透明合成表示するステップ（３０５）を実施し、ユーザーインターフェースデバイスなどを含む周囲の撮像画像がＶＲ用ＨＭＤ装置（図１）もしくはスマートフォン型（図２）から得られる撮像装置（１０３など）から取得したＶＲ風景上（図１２）に合成表示（図１０）され、利用者の保持する制御装置によって目的のＶＲアプリケーションやＶＲコンテンツのアイコン画像（２Ｄもしくは３Ｄのサムネイル、サムネイル動画、サムネイルポリゴン動画などを含む）に視界を占有されないユーザーインターフェースを構成することができる。（図１０）

なお、これらの応用として、正面を見た場合の水平視線方向から下半分を下方向に向けて緩やかな合成量の変化（アルファチャネルの変化）を与えながら真下は１００％、正面は０％の透過率で任意に設定可能な変化量カーブを用いて撮像画像とＶＲ画像を合成してもよく、この方法により正面視線はＶＲ画像で下向き視線は実風風景画像と自動的になるように構成したり、利用者が下方向をむけば向くほど実風景の透過率が上がりＶＲ画像が表示されなくしたり、といったＶＲ空間での視線方向に応じてＶＲ空間画像と実風景の合成比率を変えるといった方法を用いることや、ライトフィールドカメラや赤外線投影の反射を用いたカメラなどによる奥行きの情報を撮像可能な深度カメラによってＨＭＤからの奥行に応じた実風景とＶＲ画像の合成などを行ったりしてもよい。

また、座標系の初期化において、まずＨＭＤの加速度センサーで検出される重力方向を下方向とし、ＶＲ画像の表示座標系は加速度センサーで検出される下方向に対して直交する平面を（図５）プレーヤ視線のＺ軸と（図５）プレーヤ視線のＸ軸の基準面とする。

この際、（図５）プレーヤ視線のＹ軸の回転に関しては利用者の制御装置からの任意の信号によって初期化を行う。より具体的には利用者が頭をプレーヤ視線のＸＺ平面に対して比較的平行な方向に視線を向けた状態において（図５）プレーヤ視線のＹ軸の回転をＺ軸が正面奥行き方向にプレーヤ視線のＸ軸が左右方向に設定されるようにプレーヤ視線のＹ軸の回転角（３０６）を初期化する。

そしてこの初期化情報に基づいてＶＲコンテンツやＶＲアプリケーションの表示（３０７）を行う。これらの一連の操作によって利用者はＶＲアプリケーションやＶＲコンテンツを選択し操作することが可能となり、ＨＭＤ装着時に視界を失って制御装置であるコントローラの所在が分からなくなることによって生じるＶＲアプリケーションやＶＲコンテンツを閲覧するときの視線方向に対する利用者の向きなどの混乱を軽減することができる。

また、（図５）にあるように下方向は加速度センサーやジャイロセンサーを用いて検出できるため利用者が（図５−ａ）から（図５−ｂ）の姿勢をとっても水平視線方向の基準座標系の一つであるＸＺ平面に関しては算出が可能であるもののプレーヤ視線のＹ軸の回転に関してはＨＭＤが起動したときなのかＶＲアプリケーションなどを起動したときなのかによってプレーヤ視線のＹ軸の回転とそれにともなうプレーヤ視線のＺ軸の方向が不明瞭であるため利用者がどうしても混乱するという課題を本発明では利用者からの所定の操作（例えばスタートボタンの二回押しなど）によってＶＲの表示におけるＹ軸の回転を設定し、ＸＹ座標系が利用者の視線方向に直交した面として合うように生成されるように設定するとともに、いきなりＶＲ画面が表示されることで利用者が制御装置を簡単に視認して持つことができないという課題もあわせ解決を図るものである。

また、（図６）を用いてさらに初期化例を説明するとＨＭＤの利用開始時に利用者が仰向け状態でＶＲアプリケーションなどのソフトウェアを利用開始した場合通常のジャイロセンサーや加速度センサーから取得される座標系では空しか見えないため寝転んでＶＲコンテンツやアプリケーションを楽しむことができないという課題がある。しかし、本発明を用いて図６のように重力方向を視線方向に対する背後方向とし、重力方向と直交する面をＸＹ平面として構成し重力方向と反対の方向を前とした前後軸としてのＺ軸ととらえ、利用者視線の座標系とワールド座標系とを併せて初期化することにより、寝転んだままＶＲコンテンツやアプリケーションを楽しむことができるようにすることも可能である。

このようにＶＲと実風景画像をＨＭＤのうなずき方向、つまり視線方向をＺ軸、視線縦方向をＹ軸、視線横方向をＸ軸とするＨＭＤ視線座標系におけるＸ軸の回転として得られる傾斜角に基づいて表示合成比率を変化させながら合成画像表示することによって従来のカメラのないＨＭＤ単体では困難であったＶＲユーザーインターフェースの実現が可能となる。

図３を用いてより詳しく説明する。まず、ＶＲプログラムは起動される（３０１）とＶＲ表示に必要な座標系のパラメータなどを初期化するステップ（３０２）が実施される。そして（図１２）のようなＶＲ画像（この例ではイルカの背中に乗っている）表示されるステップ（３０３）が実施される。

また、（図９）および（図１０）はＨＭＤによるＶＲ装置においての操作手順にについてより具体的に説明する。まず利用者がＨＭＤの座標系を初期化したい場合画面内に表示された任意のアイコンなどをタップしたり、ＨＭＤの視線方向を特定のＶＲ表示内のオブジェクトに合わせて選択したりといった操作を実施するステップ（９０２）がなされ、座標家の初期化処理が行うステップ（９０６）が実施される。初期化の方法は前述のとおりＨＭＤの視線方向ベクトルと重力ベクトル（Ｇ）の関係から特定のアイコンを選択していると判断できる方法など任意の方法であってよい。

続けて、ＨＭＤのセンサー変化パターンを検出するステップ（９０３）が実施され、（図１０）にあるようなセンサー情報の組合せと一致するかの評価により、どのような操作が行われているか検出するためにセンサー情報を取得するステップ（９０７）とセンサー情報組合せ検出ステップ（９０８）で実施し、それらセンサー情報に基づいたＶＲ表示内容を生成するステップ（９０９）を実施する。この際、特段センサーからの変化パターンが検出されない場合は通常のＶＲ表示内容生成ステップ（９０４）が実施される。

（図１０）についてより具体的に説明すると左に加速度センサー値、右にＶＲ装置の内部処理での解釈内容としてＶＲ動作を例として記載した一覧表となっており、ＨＭＤを右に傾けた場合や左に傾けた場合、及びもしくはそれらのＨＭＤを装備した頭の動作の組合せによって解釈テーブルを設け、それらの動作の組合せによって任意の処理系を選択できるようにすることが可能である。

そして、前述のステップ（９０４）もしくはステップ（９０５）に基づいてＶＲ画像を表示するステップ（９０５）が実施される。

このように頭を振る動作に対しそれぞれの頭の振り方をセンサーで検出し検出結果群に意味づけしたＶＲ装置用コマンド入力インターフェースを構成することができるようになり、より詳しくは攻撃動作や防御動作のためのＶＲＵＩを構成するようにしてもよい。

そして、図１０のフローチャートの応用として利用者が例えばうなずき状態になると手元の物理コントローラ（１０６）が撮像部（１０３）によって撮影され、ＶＲ画像（図１２）に半透明合成されてＨＭＤ表示される。この際ＨＭＤに備えられたセンサー類（ジャイロや加速度、コンパスなどを備えていてもよい）によってＨＭＤの傾斜状態が検出されるステップ（３０４）が実施される。

このとき検出された傾斜角によって、正面を見ているのであればＶＲ画像（図１２）のみを表示し、傾斜がうなずき方向に４５度であればＨＭＤの撮像部（１０３）で撮像されているゲームコントローラ画像などを含んだ周囲の実画像とＶＲ画像を例えば５０：５０の比率で合成表示する。

これらの半透明合成において、カメラ座標とは異なり、身体周囲を基準とする座標系（例えば車の運転のＶＲであれば座席やハンドルの座標系、飛行機のシミュレーションＶＲであれば飛行機のコックピット内部の座標系）の所定の水平面などの基準面以下の範囲に対し基準面から次第に下（例えばＹ軸方向が減る方向）に行くにしたがってグラデーションを持った半透明合成比率の変化をさせるようにＶＲＣＧと周囲の実風景を合成させてもよく素基準面となる水平面方向はＶＲＣＧ：周囲の実風景の比率が１００：０、基準面から下方向に傾いた範囲であれば傾斜に応じて４５度であれば５０：５０、真下であれば０：１００といった半透明合成比率の構成にしてもよく、これらの合成比率は任意のカーブなどをもって計算されて表示されてもよい。

このとき、傾斜角がＨＭＤのうなずき方向に３０度であればＶＲ７０：撮像画像３０といった比率にしたり、逆に、傾斜角がＨＭＤのうなずき方向に７０度であればＶＲ３０：撮像画像７０といった比率にしたりし、任意の比率で合成することにより利便性の向上を図ってもよく、端的に言えば傾斜量に合わせて合成比率を可変にしてもよい。そして、そのような合成の結果としてＶＲ単体では半透明合成の結果図１０のようにユーザーの手元の実物のコントローラがＶＲ画像（図１２）に半透明合成され（図１１）のようになる。

さらに、所定の角度以上の傾斜角にＨＭＤがなったら半透明合成するようにしてもよいし、ＶＲ空間の視線方向の下半分を半透明合成にするようにしてもよいし、下半分のうちより下のほうにいくにしたがって撮像された実風景による画像の比率が高くなるように合成してもよいし、ＨＭＤに備えられた深度カメラなどの奥行情報を撮像可能なデバイスによって所定の奥行によって合成対象を判別したり、半透明合成したり半透明合成の基準を決定したりしてもよい。

このような流れを踏まえ、毎フレームごとに撮像された実風景画像はＶＲ装置のパフォーマンスに応じてＶＲ画像に合成されつつステップ（３０６）の評価を得ながらＶＲアプリケーションとして終了（３０７）するまで実施される。

ＶＲ装置をはじめとしてＡＲ装置やＭＲ装置のＵＩに利用可能である。

１０１ ＶＲ用ＨＭＤ（表示部、センサー内蔵）頭部装着部，１０２ 表示部，１０３ 撮像部，１０４ 頭部固定部，１０５ ＰＣ（パーソナル・コンピュータ：通信部、情報処理部内蔵），１０６ 制御装置，２０１スマートフォン（撮像部、表示部、センサー部、通信部、情報処理部などを内蔵），２０２ 頭部装着部，３０１ 起動処理，３０２ 撮像処理，３０３ 表示処理，３０４ 傾斜検出，３０５ 半透明合成表示，３０６ 座標系初期化，３０７ ＶＲ表示部，４００ 情報処理部．４０１ 中央演算部．４０２ 描画演算部．４０３ 記憶部，５０１ ＶＲ用ＨＭＤ

Claims (4)

1. 表示部と撮像部とセンサー部とを備えたＶＲ装置におけるＶＲの表示に関し、
   撮像部でとらえた周囲画像とＶＲ装置内で生成したＶＲＣＧ画像とを半透明合成するステップを実施することを
   特徴とするプログラム
   
2. 表示部と撮像部とセンサー部とを備えたＶＲ装置におけるＶＲの表示に関し、
   撮像部でとらえた周囲画像とＶＲ装置内で生成したＶＲＣＧ画像とを半透明合成するステップを実施する際に、
   センサー部でとらえた頭部の傾斜情報に基づいて半透明合成比率を変化させることを
   特徴とするプログラム
   
3. 表示部と撮像部とセンサー部とを備えたＶＲ装置におけるＶＲの表示に関し、
   撮像部でとらえた周囲画像とＶＲ装置内で生成したＶＲＣＧ画像とを半透明合成するステップを実施する際に、
   センサー部でとらえた頭部の視線方向をＺ軸、視線縦方向をＹ軸、視線横方向をＸ軸とするＨＭＤ視線立体座標系での傾斜角としてのＸ軸の回転量に基づいて半透明合成比率を変化させることを
   特徴とするプログラム
   
4. 請求項１から３に記載のプログラムが記憶された記憶媒体
   
   
   

Images