JP2017049960A - Ｈｍｄ装置におけるセンサー類を用いたユーザーインタフェースプログラムおよび装置 - Google Patents

Abstract

【課題】ＶＲ（仮想現実）プログラム利用中の仰向け状態やうつむき状態、頭部傾斜状態時の操作や座標系の制御に関して利便性の高いＵＩ（ユーザーインターフェース）を提供する。【解決手段】ＶＲ用ＨＭＤ（ヘッド・マウント・ディスプレイ）装置５０１は、ジャイロセンサー、加速度センサー、地磁気センサーを用いて、利用者の頭部の移動を検出してＶＲ空間での利用者の移動に反映したり、利用者の頭部の移動の組合せを検出してＶＲ空間での操作入力としたり、仰向け状態やうつむき状態、頭部傾斜状態、頭部傾斜状態の連続した変化などの検出によりＶＲプログラムの座標系の初期化や設定メニューなどの表示を行う。【選択図】図７

Description

ＨＭＤ装置におけるセンサー類を用いたユーザーインターフェース関する

近年、仮想現実（ＶＲ）や拡張現実（ＡＲ）、複合現実（ＭＲ）といった技術が実用性を帯び始め諸々の市場を構築しつつある。これらの装置はＨＭＤ（ヘッド・マウント・ディスプレイ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と呼ばれる表示部を備えた頭部装着型デバイスとＨＭＤに内蔵されたジャイロセンサーや地磁気センサー（コンパス）、加速度センサーを用いて利用者の視線方向を検出し、それらの利用者からのセンサー入力に応じて表示内容を変化させながら情報処理を行うことが知られている。

なお、前述のＨＭＤ装置はスマートフォンを用いてＶＲ用ＨＭＤとして頭部に装着するための器具とスマートフォンを組み合わせることで誰でも利用することがグーグルカードボード（登録商標）により２０１４年６月２４日現在で一般的に可能である。

しかしながら、これらＶＲ装置においては操作入力においてゲームコントローラのようなデバイスによって入力するため従来型コンピュータのマウスやキーボード入力に対し比較的煩雑な入力が必要になっている。

このような状況を打開するためインターネット上では後述のような提案やＶＲゲームアプリケーションなどが公開されている。

より具体的には、以下に掲げる先行技術文献に関し非特許文献１に関し、ジャイロセンサーや加速度センサーを用いてＨＭＤが叩かれたことを検出しメニューから利用者の希望する項目を選択するＵＩ（ユーザーインターフェース：Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）が開示されている。

非特許文献２に関し、ＧＵＩ（グラフィカル・ユーザー・インターフェース：Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）の歴史を踏まえ、ＶＲ空間にソフトウェアキーボードを表示する方法や立体カーソル（３Ｄカーソル）を利用してワークプレーン（所定の操作エリア）に対し操作する方法、従来型ＧＵＩをＶＲ空間に表示するといった方法が提案されている。

非特許文献３に関し、２０１５年３月３０日２：４７の投稿内容によれば、利用者がＨＭＤを装着し座るまでの一連の操作において加速度センサーやジャイロセンサーの動きが大きくなることを利用してＨＭＤの装着状況を検出する方法が提案されている。

非特許文献４に関し、ＶＲアプリケーションとしてジェットコースター（ローラーコースター）を楽しむものが市販されており、このアプリケーション内でプレイを開始するときにある程度の誤差を許容しながらアプリケーション内に表示されるレバーを見続けるとレバーが倒れ、アプリケーションを楽しめるように表示内容を変化させることができるような処理が実現されている。

またほかにも人の歩き動作を加速度センサーの変化から検出したり足踏み動作を動揺に検出したりするＶＲ用のＵＩが利用されている。

以下、４件につき２０１５年９月１日にインターネット上で確認
http://tips.hecomi.com/entry/2014/10/02/005313Oculus Rift で頭の動き + タップで簡単に Unity 4.6 UI を選択できるやつを作ってみた※Oculus Rift および Unity は登録商標 http://simrea.tumblr.com/post/110503393374/vr%E7%A9%BA%E9%96%93%E5%86%85%E3%81%A7%E3%81%AEui%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6VR空間内でのUIについて http://togetter.com/li/800996HMDのUI話「user interface design for virtual reality」 by @ pafuhana1213さん２０１５年３月３０日０２：４７の投稿内容 https://play.google.com/store/apps/details?id=com.fibrum.roallercoastervr&hl=jaRoller Coaster VR

前述のようなＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ユーザーインターフェース）が提案されているが様々な側面においてＶＲ空間での手を使わないＵＩはいまだ改良の余地がある。より具体的には、利用者からの入力においてジャイロセンサーや加速度センサーを用いて前後左右への移動やゲームなどでの回避行動、ＶＲプログラムの操作中にメニュー表示を行ったり、ベッドであおむけに寝転がったりした時の操作や座標系の制御に関して利便性の高いＵＩに関してはいまだ充分とは言えない状況にあることが課題として顕在する。

一般的なＶＲプログラムの利用中とＶＲプログラムの設定操作中の利用者の姿勢を検出することでＵＩを設計したり、ＶＲプログラムの利用中における利用者の頭部の移動を検出してＶＲ空間での利用者の移動に反映したり、ＶＲプログラムの利用中における利用者の頭部の移動の組合せを検出してＶＲ空間での操作入力としてプログラムの内容に反映させたり、センサー類から検出される仰向け状態やうつむき状態、頭部傾斜状態、頭部傾斜状態の連続した変化などの検出によりＶＲプログラムの座標系の初期化や設定メニューなどの表示を行ったりするといった方法をジャイロセンサー、加速度センサー、地磁気センサーなどの組合せにより実現する。

従来のＶＲプログラム、ＶＲソフトウェア、ＶＲコンテンツ、ＶＲアプリケーションなどの操作を飛躍的に向上させることが可能である。

ＰＣ型ＶＲ装置及びもしくはコンソールゲーム機型ＶＲ装置 スマートフォン型ＶＲ装置 基本的な処理手順 情報処理部の構成 座標系初期化の例 仰向け状態でのＶＲ座標系初期化の例 通常方向や仰向け状態での座標系に応じた頭の動きの例 通常のコンテンツ再生状態ではないことを検出する場合の姿勢例 通常のコンテンツ再生と仰臥位状態の検出による初期化と操作検出時の分岐処理の例 図９における操作検出のための評価用の項目一覧の例 仰臥位と立位もしくは座位とのアイコン選択による設定のユーザーインターフェース例 仰臥位と立位もしくは座位との表示角度による検出及び設定のユーザーインターフェース例（ａ：正面視点、ｂ：仰臥視点） 視線の角度の違いにより表示されるＶＲ用ユーザーインターフェース例（ａ：正面視点、ｂ：うつむき視点でのＵＩ表示） 利用者の視線指定に伴うフロチャートの例 利用者の姿勢に基づくリセットの例 利用者の姿勢に基づくうつむき検出の例

まず、ＶＲプログラムとはＶＲアプリケーションやＶＲコンテンツ、ＶＲアプリケーション、ＶＲソフトウェアおよびそれらを起動するためのランチャープログラムなどやＶＲユーザーインタフェースプログラムを含む。より具体的には広い範囲の視覚を情報処理部（４００）によって算術的に生成した画像などで頭の向きや動作によってリアルタイムに構成し、さも実体験であるかのような視覚情報と音響情報を主として利用者に提供するプログラムであり、将来的に視線や嗅覚や触覚や味覚などが提供されることが想定されている。

なお、本発明に関する説明はＶＲ装置に関する形の表記をとっているがＨＭＤを使用するＵＩであればＡＲ装置やＭＲ装置であってもよく、そういった装置においては撮像部（１０３）などが装置に含まれていることにより構成されていてもよい。

次により具体的なＶＲ装置として発明を実施するための形態における装置の構成を説明する。まず装置は表示部と頭部装着部を最低限供えた構成をしている。この構成に対し中央演算部と描画演算部と記憶部などによって構成される情報処理部を内蔵していたり、同様の情報処理部をパーソナルコンピュータ（ＰＣ）などの形態で外部に有線およびもしくは無線などにより接続していたりしてもよい。なお、中央演算部はＣＰＵ、描画演算部はＧＰＵ、記憶部はＲＯＭやＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ、ストレージとしてのＨＤＤやＳＳＤなどと呼称される部品などの組み合わせによって実現されており、時代とともに変化する将来的なＭＲＡＭやＲｅＲＡＭ、ニューロンプロセッサなどが組み合わされていてもよい。また、表示部は１眼であっても２眼であってもよく、２眼であれば立体視に対応していても良い。

そして情報処理部に有線及びもしくは無線からなる後述の制御装置が接続できるようになる形で構成される。これらの構成において、例えば表示部と情報処理部と各種センサー部を備えたスマートフォンなどの装置を頭部に固定するためのアダプターを用いてＨＭＤとして利用することも可能であるし、ＶＲ用ＨＭＤに可視光撮像装置としてのカメラを搭載して構成し情報処理部としてのＰＣと接続し同様の全体的構成を実現してもよい。なお、スマートフォンを用いたＶＲ装置であればスマートフォン内に、ＶＲ用ＨＭＤとＰＣやゲーム機の組み合わせによるＶＲ装置であればＨＭＤ内に加速度センサーやジャイロセンサー、地磁気センサーなどが任意の組合せで組み込まれていている構成となる。

そして、これらのスマートフォンやＰＣなどを含んだ構成に加えて、制御装置としてのマウスやゲームパッド、キーボードなどのコントローラ、画像認識によるジェスチャ入力デバイスなどやゲームコントローラや指輪といったデバイスにジャイロセンサーや加速度センサーなどの運動検出センサー類を組み込んだ入力デバイス、ＨＭＤに内蔵された瞳孔位置の検出による視線検出や瞬き検出、瞳孔開口率検出などといったユーザーからの操作に基づく制御信号を情報処理部に反映させる装置を用いて本発明を実施するための基本構成が実現される。

まず、ＨＭＤ（１０１）がＰＣ（１０５）やゲーム機に接続されてＶＲ用ＨＭＤを構成する場合のＶＲ装置を説明する。

ジャイロセンサーや加速度センサーを備えたＨＭＤ（１０１）が単品として市販されており、商品によっては標準で撮像部（１０３）を備えているものもある。撮像部がない追加部品としての撮像部を組み合わせるようにしても良い。それらにＰＣやゲーム機に接続することで、ＨＭＤに組み合わされた撮像部（１０３）、表示部（１０２）、センサー部（１０１内部：１０１内部であって、加速度、ジャイロ、地磁気などを任意に組み合わせたＶＲに利用可能なセンサー類が好ましい）やＰＣ（１０５）に組み合わされた通信部（ブルートゥースやＵＳＢ配線など）やＰＣ（１０５）に組み込まれた情報処理部（４００）を用いて、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報（Ｇ）に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示し、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。なお、撮像部（１０３）は本発明の実施においてあってもなくてもよい。

次に、ＶＲ用ＨＭＤにスマートフォン（２０１）を用いる場合のＶＲ装置を説明する。

頭部装着部（１０４，２０２）が単品として市販されておりそれらにスマートフォン（２０１）を装着することで、スマートフォンに内蔵された表示部、センサー部（２０１内部であって、加速度、ジャイロ、地磁気などを任意に組み合わせたＶＲに利用可能なセンサー類が好ましい）、通信部（ブルートゥースなど）、情報処理部（４００）を用いて、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報（Ｇ）に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示内容を変化させ、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。なお、スマートフォン（２０１）に内蔵された撮像部は本発明の実施においてあってもなくてもよい。

続いてＶＲ用ＨＭＤ（５０１）がＨＭＤ（１０１）とＰＣ（１０５）やゲーム機に接続されている場合もしくはＶＲ用ＨＭＤ（５０１）にスマートフォン（２０１）を用いる場合におけるＶＲ装置においてＶＲプログラムのスタート時の座標系を指定する方法に関して説明する。

まず、ＨＭＤ（１０１：センサー部含む）の例（図１）においては、１０２（表示部）、１０４（頭部固定部）、１０５（情報処理部、通信部などを含むＰＣ）によってＶＲ用ＨＭＤ装置（５０１）が構成され１０６が制御装置となる。

次に、スマートフォンを用いた例（図２）においては２０１（撮像部、表示部、センサー部、情報処理部、通信部を含むスマートフォンなど）、２０２（レンズと頭部装着部）、１０４（頭部固定部）によってＶＲ用ＨＭＤ装置（５０１）が構成され１０６が制御装置となる。

そして、ＶＲ用ＨＭＤ装置（５０１）に取り付けられたセンサー類から重力方向（Ｇ）を示すベクトルを取得するために加速度センサーやジャイロセンサーにより算出し重力方向ベクトル（Ｇ）に対して直交する面を算出しながら、利用者からの操作入力を待つ。

そして、利用者からの操作入力を受け付ける処理を実施し、その時の正面にＶＲ表示のプレーヤ視線のＺ軸が向かうようにして（図５）プレーヤ視線のＹ軸を回転させ初期化するステップ（３０２）を実施する。このプレーヤ視線に対するＹ軸の回転を行うステップは、ＨＭＤに付属するジャイロセンサーから検出された角度に基づいて、初期化前に検出された角度を相殺するような演算を行う必要があり、前記初期化前検出角度からの減算やコンパスによる逆算、ワールド座標系に対する回転角度のリセット、初期化前の検出角に対する逆行列の乗算のほかクオータニオンによって回転角の相殺を行ったりしてもよい。

そして、重力方向ベクトル（Ｇ）に直交した面に対してさらに直交する（図５）プレーヤ視線のＸＹ面座標系もしくは円柱座標系もしくは球形座標系などに対してユーザーインターフェースを表示するステップ（３０３）と実施し、ユーザーインターフェースがＶＲ用ＨＭＤ装置（図１）もしくはスマートフォン型（図２）から得られる撮像装置から取得した実風景上に合成表示され、利用者の保持する制御装置によって目的のＶＲアプリケーションやＶＲコンテンツをアイコン画像（２Ｄもしくは３Ｄのサムネイル、サムネイル動画、サムネイルポリゴン動画などを含む）などによって選択可能なユーザーインターフェースを構成することができる。

また、座標系の初期化において、まずＨＭＤの加速度センサーで検出される重力方向（Ｇ）を下方向とし、ＶＲ画像の表示座標系は加速度センサーで検出される下方向に対して直交する平面を（図５）プレーヤ視線のＺ軸と（図５）プレーヤ視線のＸ軸の基準面とする。この際、（図５）プレーヤ視線のＹ軸の回転に関しては利用者の制御装置からの任意の信号によって初期化を行う。より具体的には利用者が頭をプレーヤ視線のＸＺ平面に対して比較的平行な方向に視線を向けた状態において（図５）プレーヤ視線のＹ軸の回転をＺ軸が正面奥行き方向にプレーヤ視線のＸ軸が左右方向に設定されるようにプレーヤ視線のＹ軸の回転角を初期化するステップ（３０２）を実施する。

そして、この初期化情報に基づいてＶＲコンテンツやＶＲアプリケーションの表示（３０３）を行う。これらの一連の操作によって利用者はＶＲアプリケーションやＶＲコンテンツを選択し操作することが可能となり、ＨＭＤ装着時に視界を失って制御装置であるコントローラの所在が分からなくなることによって生じるＶＲアプリケーションやＶＲコンテンツを閲覧するときの視線方向に対する利用者の向きなどの混乱を軽減することができる。

また、（図５）にあるように重力方向（Ｇ）は加速度センサーやジャイロセンサーを用いて検出できるため利用者が（図５−ａ）から（図５−ｂ）の姿勢をとっても水平視線方向の基準座標系の一つであるＸＺ平面に関しては算出が可能であるもののプレーヤ視線のＹ軸の回転に関してはＨＭＤが起動したときなのかＶＲアプリケーションなどを起動したときなのかによってプレーヤ視線のＹ軸の回転とそれにともなうプレーヤ視線のＺ軸の方向が不明瞭であるため利用者がどうしても混乱するという課題を本発明では利用者からの所定の操作（例えばコントローラ（１０６）のスタートボタンの二回押しやスマートフォン（２０１）表示面のタッチセンサによる任意のアイコンへのタップ操作、ＨＭＤ内蔵の瞳検出による視線や瞬き検出に基づく操作など）によってＶＲの表示におけるＹ軸の回転を設定し、ＸＹ座標系が利用者の視線方向に直交した面として合うように生成されるように設定するとともに、いきなりＶＲ画面が表示されることで利用者が制御装置を簡単に視認して持つことができないという課題もあわせ解決を図るものである。

なお、（図５）のＶＲ用ＨＭＤ（５０１）の場合、ＰＣ用ＶＲ装置のＨＭＤ（１０１，１０２，１０３，１０４）のＨＭＤやスマートフォン利用型ＨＭＤ（２０１，２０２，１０４）の構成を抽象化したものであって、ＨＭＤを頭部に固定する頭部固定部（１０４）の記載は省略しているため必要に応じて組合せることにより手でＨＭＤを頭に固定する必要をなくすようにしてもよい。

また、（図３）のＶＲ表示を行うステップ（３０３）以降の処理例としては、操作入力を待ち受けるステップ３０４が実施され入力に応じて何が入力されたかを検出するステップ（３０５）が実施され、検出の結果終了であれば終了処理のステップ３０７に遷移し、終了でない場合は入力に応じたＶＲ表示を行うステップ（３０３）を再度実施することによってＶＲアプリケーションを継続させる。この際、ステップ３０５で検出された結果が座標系の初期化であれば必ずしもこのフロチャート例に従わずにステップ３０２の座標系の初期化処理を実施してもよい。

また、（図６）を用いてさらに初期化例を説明するとＨＭＤの利用開始時に利用者が仰向け状態でＶＲアプリケーションなどのソフトウェアを利用開始した場合通常のジャイロセンサーや加速度センサーから取得される座標系では空しか見えないため寝転んでＶＲコンテンツやアプリケーションを楽しむことができないという課題がある。しかし、本発明を用いて図６のように重力方向（Ｇ）を視線方向に対する背後方向とし、重力方向（Ｇ）と直交する面をＸＹ平面として構成し重力方向（Ｇ）と反対の方向を前とした前後軸としてのＺ軸ととらえ、利用者視線の座標系とワールド座標系とを併せて初期化することにより、寝転んだままＶＲコンテンツやアプリケーションを楽しむことができるようにすることも可能である。

また、（図７）を用いて仰向け状態と通常状態の挙動に基づいたＵＩを説明する。まず、（図７−ｂ）は仰向け状態で頭と体がまっすぐな時の頭部の動作をＨＭＤで検出した場合の例である。まずこの状態は、前述の重力ベクトル（Ｇ）と視線方向ベクトルが真逆にあることから検出され、利用者が仰向け状態での表示を選択操作によって選択することにより座標系が初期化される。この状態で、利用者が頭を頭上の矢印のように仰向けのまま前後左右に動かすと通常状態である（図７−ａ）に比べて図のようにＸ軸を中心に９０度回転した座標系がユーザー視線の基準座標となる。

さらにワールド座標系のＺＸ平面を重力ベクトル（Ｇ）と平行な面として初期化することになるがワールド座標のＸ軸Ｚ軸はユーザーのワールド座標系内でのＹ軸の回転状況によるため、ＨＭＤに表示されるＣＧ空間のワールド座標系でのＸ軸Ｚ軸がユーザー視線座標軸のＸ軸Ｚ軸と一致するわけではない。

ここで、ＨＭＤに内蔵されたセンサー類（例えば、加速度：アクセラメータ、角速度：ジャイロメータ、地磁気：マグネティックフィールドなど）からＨＭＤの回転や前後左右の組合せ移動を検出することが一般的に可能であることが知られており、ＨＭＤの視界移動などに用いられている。

そこで、本発明によれば、一般的にうなずき動作や首をかしげる動作、反りかえり動作などによって角速度と加速度の変化が生じ、ＨＭＤからセンサー情報として情報処理部に提供される。この際、例えば大きな角速度が生じないまま横に加速度が生じた場合は頭を水平に横に動かしたことが検出される。

このような所定の動作が１回あった時を従来のＧＵＩにおけるマウスのクリック操作、所定の時間内に二回あった時を連続操作とみなしマウスのダブルクリック操作と解釈して画面上に表示された任意の対象に対するユーザーインターフェース操作とすることができる。もちろん所定の時間内に二回を超える複数回の検出を行ったり、一回検出された場合はその後しばらくの間検出タイミングを延長したりしてもよい。より具体的には、最初の検出時は０．５秒単位で検出していた状態からさらに０．５秒追加した

さらに、ＧＵＩ動作としてはこれらのＨＭＤの挙動に応じてメニューを開いたり、メニューをスクロールしたり、メニューから選択したり、ウインドウを開いたり閉じたり、文字列を選択したりといった動作を割り当ててもよい。

また、マウス操作に限らずゲームなどにおいて一回頭を横に動かしたら正面の敵に対し右に避ける動作、二回頭を横に動かしたら正面の敵に対し横に転がって避ける動作を割り当ててもよい。この横の動作は右であるか左であるかは問わない。また、前後の動作にも前転や後転などの動作を割り当てることもできる。

これらの頭の挙動に対し、どのよう操作を行うかは情報処理部の記憶部に評価式と対象となる処理のペアを辞書化して記憶することにより、ＨＭＤのセンサー類から検出された情報に基づいたＨＭＤの挙動がどの評価式と一致するかを繰返し評価し、選定された動作をＣＧ画像として情報処理部の描画演算部によって生成し利用者に対して視覚化するようにしてもよい。

さらに、（図７−ａ）は通常のＨＭＤの利用状態を説明している。頭と体がまっすぐな場合において利用者視線のＸＺ平面座標系は重力方向（Ｇ）に対して直交する形で構成され、頭の傾きに関係なくワールド座標系のＺＸ平面は重力方向（Ｇ）に直交する形で構成される。

そして、このような通常座標系においても（図７−ｂ）の場合と同様に図中の頭上に描かれた矢印のように前後左右へのＨＭＤの挙動をＨＭＤのセンサー類から検出し、検出した情報に基づきそれぞれにＧＵＩコマンドや連続した挙動に対しさらに他のコマンドを割り当てたり、ゲームなどのアクションＵＩを割り当てたりすることができる。なお、（図７−ａ ）や（図７−ｂ）の例では矢印は前後左右にあるが実際の頭の挙動は頭を動かせる方向であればどのような方向でもよい。

また、（図８）はスマートフォン（２０１）利用型のＶＲ用ＨＭＤ（２０１，２０２，１０４）を実施する場合にもろもろの設定を行うためにＶＲ視聴時に一般的に重力方向（Ｇ）に画面が直交する形で視聴することが通常であるものの、各種設定を行うためにＶＲ視聴ではあまり利用されない地面方向に比較的近い角度に利用者視線方向を向けた際にＶＲアプリケーションの設定画面を表示する例であり、前述の（図７）の状態で利用者がうつむいていることを検出し、うつむいている場合にＶＲ用ＨＭＤ（２０１，２０２，１０４）で利用するＶＲアプリケーションの各種設定をできるようにすることを例示する図となる。

なお、より具体的に利用者のうつむいている状態を検出するには、通常座標系の場合であればユーザー視線ベクトルがワールド座標系におけるＺＸ平面に対しより直角に近く重力方向（Ｇ）に近いベクトルであることを検出するステップ及びもしくは、重力方向ベクトル（Ｇ）が表示面に対しほぼ逆方向にあることを検出するステップと及びもしくは、ユーザー視線方向に基づく視線方向単位ベクトルと重力方向（Ｇ）に基づく重力単位ベクトルとの内積がより１により近いことを算出するステップなどによって、うつむき状態の検出が実現される。

また、より具体的にあおむけ状態の検出は、通常座標系の場合であればユーザー視線ベクトルがワールド座標系におけるＺＸ平面に対しより直角に近く重力方向（Ｇ）と反対に近いベクトルであることを検出するステップ及びもしくは、重力方向ベクトル（Ｇ）が表示面に対しほぼ同方向にあることを検出するステップと及びもしくは、ユーザー視線方向に基づく視線方向単位ベクトルと重力方向（Ｇ）に基づく重力単位ベクトルとの内積がより−１により近いことを算出するステップなどによって、仰向け状態の検出が実現される。

また、仰向けやうつむきの検出に関し、ベクトルの内積を用いる場合であれば加速度センサーから取得された重力ベクトル（Ｇ）を単位ベクトルとするために正規化を行うことで重力単位ベクトルを求め、続けてＨＭＤの視線方向ベクトルの正規化によって求められる視線方向単位ベクトルを求める。そして重力単位ベクトルと視線方向単位ベクトルの内積を求める。この結果が０．７程度であれば下方向おおむね４５度、内積が−０．７であればほぼ上方向４５度をＨＭＤやスマートフォンが向いていることになる。

そして、利用者が仰臥常態である場合は、重力ベクトル（Ｇ）方向が利用者の背面を向く場合に利用者視線ベクトルが正面を向いているものとして座標系を構成し、重力ベクトル（Ｇ）に対して直交する平面上に上下を定義することによって実現される。上下の定義はＶＲアプリケーションを立ち上げたときに上下が固定されてもよいし、スマートフォン（２０１）を用いるのであれば、頭部装着部（２０２）に装着する前に利用者が指定するようにしてもよいし、ＶＲ用ＨＭＤ（５０１）を頭部に装着したあとでうなずき動作や左右上下を見る動作を利用者に促して、それらの動作を加速度や角速度から演算を行うことで方向を検出し、検出された方向に基づいて上下左右を特定するようにして座標系のＸＹ平面を構成したりしてもよい。

より具体的なＶＲ用ＨＭＤの仰臥位における上下左右の動作を検出するための演算方法は人間が仰臥位のときであれば一般的に頭を後ろにそらそうとすると前記センサー類から得られるパラメータが加速度より角速度が大きくなる点や左右を向く場合も加速度より角速度が大きくなる点、さらには仰臥位でうつむこうとした場合に角速度も加速度も大きくなる点などパラメータに特徴があるため、それらのセンサー類から得られたパラメータに基づいてもろもろの判定を行うようにすることで算出する。

また、（図９）および（図１０）はＨＭＤによるＶＲ装置においての操作手順にについてより具体的に説明する。まず利用者がＨＭＤの座標系を初期化したい場合画面内に表示された任意のアイコンなどをタップしたり、ＨＭＤの視線方向を特定のＶＲ表示内のオブジェクトに合わせて選択したりといった操作を実施するステップ（９０２）がなされ、座標家の初期化処理が行うステップ（９０６）が実施される。初期化の方法は前述のとおりＨＭＤの視線方向ベクトルと重力ベクトル（Ｇ）の関係から特定のアイコンを選択していると判断できる方法など任意の方法であってよい。

続けて、ＨＭＤのセンサー変化パターンを検出するステップ（９０３）が実施され、（図１０）にあるようなセンサー情報の組合せと一致するかの評価により、どのような操作が行われているか検出するためにセンサー情報を取得するステップ（９０７）とセンサー情報組合せ検出ステップ（９０８）で実施し、それらセンサー情報に基づいたＶＲ表示内容を生成するステップ（９０９）を実施する。この際、特段センサーからの変化パターンが検出されない場合は通常のＶＲ表示内容生成ステップ（９０４）が実施される。

（図１０）についてより具体的に説明すると左に加速度センサー値、右にＶＲ装置の内部処理での解釈内容としてＶＲ動作を例として記載した一覧表となっており、ＨＭＤを右に傾けた場合や左に傾けた場合、及びもしくはそれらのＨＭＤを装備した頭の動作の組合せによって解釈テーブルを設け、それらの動作の組合せによって任意の処理系を選択できるようにすることが可能である。

そして、前述のステップ（９０４）もしくはステップ（９０５）に基づいてＶＲ画像を表示するステップ（９０５）が実施される。

このように頭を振る動作に対しそれぞれの頭の振り方をセンサーで検出し検出結果群に意味づけしたＶＲ装置用コマンド入力インターフェースを構成することができるようになり、より詳しくは攻撃動作や防御動作のためのＶＲＵＩを構成するようにしてもよい。

また、さらに説明を加えるならば、ＶＲにおいてはワールド座標系と呼ばれるＶＲ空間における静止物体としての地形や建造物などの位置を決めるための座標系と任意の数のＶＲ空間利用者それぞれに与えられた利用者視線に基づく表示用の利用者視線座標系がある。

なお、ＶＲ空間における厳密な立体視には利用者一人につき二つの利用者視線が与えられるが、一般的に一人の利用者に関し左右の視差より離れたり方向が異なったりする複数の単一利用者視線は与えられないため、特に断りのない限り本発明における利用者視線はＨＭＤを装着した人の頭の向いている方向もしくはスマートフォンに表示される表示内容の視線方向を示す座標系と考えるものとする。

さらに、加速度センサーを利用して、しゃが んだり ジャンプしたりといった縦の動きをＶＲアプリケーションに取り入れることもできる。より具体的にはＨＭＤにつけられたセンサー類特に加速度センサーからの重力加速度の減少や増加に従って重力加速度の増加で上方向への移動を検出し、減少で下方向絵の移動を検出して減少から増加への転換点や増加から減少への転換点などを踏まえてジャンプやしゃがみ動作を検出することができる。

さて、前述のようにＶＲ装置におけるＨＭＤは頭の向きなどによりもろもろの操作ができることを詳述した。そこで、本発明での利用者にとってのユーザーインターフェースについて、より具体的に説明を行う。

まず、本発明のひとつ目は図１４に従えば、座標系の初期化において仰臥位及びもしくは横臥位と、立位及びもしくは座位との選択肢から選択するするステップ（１４０１）を実施し、立位及びもしくは座位に合わせた座標系を設定するステップ（１４０２）もしくは横臥位及びもしくは仰臥位に合わせた座標系を設定するステップ（１４０３）を実施ですることで利用者の利用状況に合わせたＶＲ初期化のためのユーザーインターフェースの座標系設定を実現することを特徴とするＶＲユーザーインタフェースプログラム（ＶＲＵＩプログラム）もしくはＶＲ装置を構成する。初期化を行うタイミングに関しては、利用者からの任意の操作によって実現されてもよい。

より具体的には、画面内に単純に仰臥位及びもしくは横臥位と、立位もしくは座位のアイコンを表示して（図１１）、スマートフォンであればタッチＧＵＩを用いて、ＶＲ専用ＨＭＤであれば特定のアイコンにしばらく視線を合わせると選択と判断する注視ＧＵＩによって選択し、設定するものである。これらの初期化処理は重力方向（Ｇ）に対するＸＹＺ軸をどのように設定するかを意味し、仰臥位であれば（図６）のようにワールド座標系のＺ軸と重力方向（Ｇ）とが立体空間で１８０度逆向きに設定され、立位や座位の場合は（図−５ａ）のようにＹ軸と重力方向（Ｇ）が立体空間で１８０度逆向きに設定される。その際、より具体的には（図１１）のようなＧＵＩを表示して利用者に選択させてもよい。

なお、この際、横臥状態である場合はＹ軸の回転によりＺＸ平面が回転するため重力単位ベクトルと利用者視線単位ベクトルは９０度で交わることになるが立位や座位の場合であればＹ軸が重力単位ベクトルと直交する動きは人間の首の可動範囲からはできないためＸＹＺ軸への加速度が低くＹ軸の回転角速度が高い場合には仰臥状態から横臥状態に移ったものとして処理を行ってもよい。

そして、本発明のふたつ目は利用者視線方向を仰臥位及びもしくは横臥位か、立位及びもしくは座位かを検出することで利用者視線方向のワールド座標系に対する回転角度のリセットをする方法について説明する。

図１５に従えば、ＶＲ実施時の画面内には検出されたセンサー情報に基づいてＶＲ装置の傾斜状態を検出するステップ（１５０１）によって仰臥位及びもしくは横臥位と、立位もしくは座位のアイコンを表示して（図１２−ａ、ｂ）、スマートフォンであればタッチＧＵＩを用いて、ＶＲ専用ＨＭＤであれば特定のアイコンにしばらく視線を合わせると選択と判断する注視ＧＵＩによって選択し、設定するものである。

このステップ（１５０２）は重力方向（Ｇ）と利用者の視線方向のなす角が直角に近い場合は立位及びもしくは座位として判断してワールド座標系に対する回転角度のリセットを行うステップ（１５０３）を実施し、重力方向（Ｇ）と利用者の視線方向のなす角が１８０度に近い場合は仰臥位と、加速度を伴わず回転角速度が大きくてなす角が９０度に近い場合は横臥位とみなして利用者視線方向の回転角度のリセットを行うステップ（１５０４）が実施される。そしてそれらのリセット結果に従ったＶＲ処理を行うステップ（１５０５）が実施される。

また、利用者にとっての利用者視線方向のＹ軸の回転に関してもＶＲアプリケーション提供者の意図に従った回転角度のリセット処理を行ってもよく。このリセットはワールド座標系の任意の軸の回転や位置に関して任意の組合せでのリセットを含んでいてもよい。

なお、回転角度のリセットを行うタイミングに関しては、利用者からの任意の操作によって実現され、例えばＨＭＤに装備されたスイッチ類やスマートフォンで表示されるアイコンへのタップ操作やＨＭＤでの表示内容に対する視線検出や瞬き検出などを用いてもよい。

より具体的には、リセット操作を行ったタイミングにおいて重力方向単位ベクトルと視線方向単位ベクトルとの内積が−０．７より−１．０に近い場合であれば仰臥位とみなし、重力方向単位ベクトルと視線方向単位ベクトルとの内積の絶対値が０．７未満である場合は立位もしくは座位とみなし利用者視線方向パラメータを初期化するなどの方法が考えられ、このような処理手順によりＶＲユーザーインタフェースプログラムや装置を構成する。

そして、本発明のみっつ目は（図８）や（図５−ｂ）、（図１３−ｂ：図１３−ａすなわち正面向き画像と比較した図１３−ｂ）といった利用者のうつむき状態もしくは利用者視線の下方傾斜状態にとして、利用者にとっての視線が下向きの状態にＶＲ専用ＨＭＤがなったとき、もしくはＶＲ表示を行うためにＨＭＤに装着するスマートフォンが卓上などで平らにおかれ視線方向が比較的重力方向に近い向きを向いたときに専用のＶＲ用ＧＵＩを表示することで利用者の利便性を改善する。

より具体的には、ＶＲ専用ＨＭＤの場合は、利用者の視線（頭の方向や瞳孔検出視線やまばたきなどを含む）方向に基づいてＧＵＩを操作し、ＶＲ用ＨＭＤに装着するスマートフォンの場合はスマートフォン用のタッチパネルユーザーインターフェースによってＧＵＩを操作できることにより、ＶＲＵＩプログラムもしくはＶＲ装置を構成する。

また、図１６に従えば視線方向としてのＨＭＤやスマートフォンの傾斜状態を検出するステップ（１６０１）を実施し、現在のＶＲ空間の座標系が立位及びもしくは座位なのか仰臥位及びもしくは横臥位であるのかを判断するステップ（１６０２）を実施し、それぞれの姿勢状態に基づいて利用者視線が下方傾斜であるか否かを検出するステップ（１６０３、１６０４）を実施し、検出結果に基づいてＶＲＵＩを提示するステップ（１６０５）が実施される。

この時の画面表示例は下方傾斜でない正面視線の場合が（図１３−ａ）、下方傾斜でＶＲＵＩが表示されている例が（図１３−ｂ）となる。このＵＩの表示を開始するための設定傾斜角度はアプリケーション開発者の任意の角度に設定してもよく、通常ＶＲ画像に半透明合成されながら所定の角度で半透明から不透明化へ表示所応対が変化するユーザーインターフェースであってもよい。

さらに、通常のＶＲ座標系でのＨＭＤによるＶＲプログラムもしくはＶＲ装置のＶＲワールド座標系におけるＹ軸方向の単位ベクトルに対してユーザー視線座標系の視線方向単位ベクトルとの内積が負である場合においてのみ視線方向とワールド座標系のＹ軸との関係から算出される値に基づいて自動的に表示されるＶＲ空間内の表示物体と直接の関連を持たないＶＲ用ＧＵＩを特徴とするＶＲプログラムもしくはＶＲ装置が前述の視線方向単位ベクトルと重力単位ベクトルの検出の前述の内容に従って実施される。

また、（図８）のようにスマートフォンをのぞき込んだり、（図５−ｂ）のようにＨＭＤからのぞき込んだりするようなうつむき状態もしくは利用者視線の下方傾斜状態が（図６）のような仰臥位及びもしくは横臥位座標系において行われる場合には（図６）の座標系に従い、Ｚ軸は重力方向（Ｇ）に沿った方向に構成され、前述と同様にワールド座標系のＹ軸方向への単位ベクトルと（図６）に従ったユーザー視線座標系の視線方向単位ベクトルとのなす角が鋭角である場合にのみ表示されるＶＲ用ＧＵＩを特徴とするＶＲプログラムもしくはＶＲ装置が実現される。

より具体的には仰臥位及びもしくは横臥位座標系として初期化されたワールド座標系におけるＹ軸に沿ったワールドＹ軸単位ベクトルと視線方向単位ベクトルとの内積が０．７未満の場合であればＶＲ用ＧＵＩの表示を行わず（図１３−ａ）、ワールド座標系におけるＹ軸に沿ったワールドＹ軸単位ベクトルと視線方向単位ベクトルとの内積が−０．７より−１．０に近い場合はＶＲ用ＧＵＩの表示を行う（図１３−ｂ）方法が考えられる。なお、ＶＲワールド座標系と重力ベクトル（Ｇ）の関係は前述の記載や立位・座位標系であれば（図５−ａ）となり、仰臥位及びもしくは横臥位座標系であれば（図５−ｂ）となるよう初期化のされかたによって座標系の構成に違いが生じるように設計されているものとする。

ＶＲ装置をはじめとしてＡＲ装置やＭＲ装置のユーザーインターフェースに利用可能である。

１０１ ＨＭＤ（表示部、センサー部内蔵）頭部装着部，１０２ 表示部，１０３ 撮像部，１０４ 頭部固定部，１０５ ＰＣ（パーソナル・コンピュータ：通信部、情報処理部内蔵）もしくはコンソールゲーム機，１０６ 制御装置，２０１スマートフォン（撮像部、表示部、センサー部、通信部、情報処理部などを内蔵），２０２ 頭部装着部，３０１ 起動処理，３０２ 撮像処理，３０３ 表示処理，３０４ 操作待ち，３０５ 操作検出，３０６ 座標系初期化，３０７ ＶＲ表示，４００ 情報処理部．４０１ 中央演算部．４０２ 描画演算部．４０３ 記憶部，５０１ ＶＲ用ＨＭＤ、９０１ ＶＲプログラム（アプリ）の操作検出開始処理、９０２ 座標系初期化処理への分岐検出、９０３ＨＭＤを装着した頭の移動に有力の検出、９０４ 特段の検出がなかった時のＶＲ表示情報の生成、９０５ ９０４もしくは９０９に基づいて生成されたＶＲ画像の表示、９０６座標系の初期化処理、９０７ ＨＭＤ装備のセンサー情報取得、９０８ ＨＭＤのセンサーから取得された情報に基づく入力情報の組合せ検出、９０９ センサー入力情報の組合せに基づく組合せに応じたＶＲ画像生成、１４０１ 利用者からの座標系設定入力種別分岐処理、１４０２ 座位か立位での座標系初期化処理、１４０３横臥家業が市政での初期化処理、１５０１ センサー情報からの傾斜検出、１５０２ 立位か座位と仰臥か横臥のどちらの処理かの判断処理、１５０３・１５０４ 立位か座位と仰臥か横臥によるそれぞれの回転角のリセット処理、１５０５ リセット処理に基づいたＵＩ処理、１６０１ センサー情報からの傾斜検出、１６０２ 立位か座位と仰臥か横臥のどちらの処理かの判断処理、１６０３・１６０４ 立位か座位と仰臥か横臥によるそれぞれの下方傾斜状態の検出処理、１６０５ 検出処理に基づいたＵＩ処理

Claims (10)

1. 表示部とセンサー部が一体化されて構成されるＶＲ装置を用いて、
   前記ＶＲ装置と連動する情報処理部によって前記センサー部に具備された加速度センサー及びもしくはジャイロセンサー及びもしくは地磁気センサーからセンサー情報を取得するステップと、
   取得されたセンサー情報の所定の組合せを前記情報処理部による演算によって前記ＶＲ装置の傾斜状態を検出するステップと、
   に基づいて前記ＶＲ装置の表示部に表示されるＵＩグラフィックによって、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   
2. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者が立位状態及びもしくは座位状態で利用者視線が下方傾斜状態であることを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態に応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
3. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者が仰臥位状態及びもしくは横臥位状態で利用者視線が下方傾斜状態であることを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態に応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
4. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者の仰臥位状態及びもしくは横臥位状態と、
   利用者の立位状態及びもしくは座位状態と、
   のいずれかを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態と前記検出するステップでの検出結果とに応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   
5. 表示部とセンサー部が一体化されて構成されるＶＲ装置を用いて、
   前記ＶＲ装置と連動する情報処理部によって前記センサー部に具備された加速度センサー及びもしくはジャイロセンサー及びもしくは地磁気センサーからセンサー情報を取得するステップと、
   取得されたセンサー情報の所定の組合せを前記情報処理部による演算によって前記ＶＲ装置の傾斜状態を検出するステップと、
   に基づいて前記ＶＲ装置の表示部に前記表示部に表示されるＵＩグラフィックによって、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   を前記情報処理部の記憶部に記録したことを特徴とするＶＲ装置
   
6. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者が立位状態及びもしくは座位状態で利用者視線が下方傾斜状態であることを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態に応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   を前記情報処理部の記憶部に記録したことを特徴とするＶＲ装置
7. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者が仰臥位状態及びもしくは横臥位状態で利用者視線が下方傾斜状態であることを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態に応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   を前記情報処理部の記憶部に記録したことを特徴とするＶＲ装置
8. 請求項1のプログラムであって、
   請求項１のＶＲ装置が所定の傾斜状態であることを検出することにより、
   利用者の仰臥位状態及びもしくは横臥位状態と、
   利用者の立位状態及びもしくは座位状態と、
   のいずれかを検出するステップを実施し、
   請求項１のＶＲ装置の表示部に表示されるＣＧ空間上に請求項１で求められた傾斜状態と前記検出するステップでの検出結果とに応じたＵＩグラフィックの表示処理を行い、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   を前記情報処理部の記憶部に記録したことを特徴とするＶＲ装置
   
9. 表示部とセンサー部が一体化されて構成されるＶＲ装置を用いて、
   前記ＶＲ装置と連動する情報処理部によって、
   仰臥位及びもしくは横臥位と、
   立位及びもしくは座位と、
   を切り替えるためのＵＩグラフィックによって、
   仰臥位及びもしくは横臥位と、
   立位及びもしくは座位と、
   に応じた座標系を構成し、
   ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
   
10. 表示部とセンサー部が一体化されて構成されるＶＲ装置を用いて、
    前記ＶＲ装置と連動する情報処理部によって、
    仰臥位及びもしくは横臥位と、
    立位及びもしくは座位と、
    を切り替えるためのＵＩグラフィックによって、
    仰臥位及びもしくは横臥位と、
    立位及びもしくは座位と、
    に応じた座標系を構成し、
    ユーザーの利便性を向上することを特徴とするユーザーインタフェースプログラム
    を前記情報処理部の記憶部に記録したことを特徴とするＶＲ装置
    
    

Images