JP2017040893A - 頭部装着型表示装置に関するプログラム - Google Patents

Abstract

【課題】ＶＲ開始時の利便性を向上するとともに、ＶＲ開始時の利用者の視線方向に関する座標系を初期化することで利用者に不要な混乱を与えないようにするＨＭＤのユーザーインターフェースを提供する。【解決手段】撮像部と表示部が一体となるＨＭＤむけのプログラム処理において起動時に実風景画像を表示し、有線及びもしくは無線によるコントローラでＨＭＤと接続及びもしくは内蔵された情報処理部に指示を与えることでＶＲ画像と実風景画像を切り替えるユーザーインターフェースを実施できるようにする。【選択図】図５

Description

頭部装着型表示装置に関する

近年、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）や拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）、複合現実（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）といった技術が実用性を帯び始め諸々の市場を構築しつつある。

そのような中、ＡＲやＭＲは周囲の実風景画像にコンピュータグラフィック（ＣＧ：Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像を合成することで色々な利便性を確立すべく技術革新がなされているため、頭部装着型表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を身につけるに当たって装着前と装着中とのどちらであっても周囲の様子が視認でき特段の不便をきたすことがない。

しかしながら、ＶＲに関しては表示内容のすべてが合成されたＣＧであることが一般的であるため、ＨＭＤを装着した場合周囲の状況が分からなくなるという課題がある。

この課題に対し米国リープモーション社（登録商標）のブログ（Ｗｅｂ上の日記）によればＶＲ画面で起動したＶＲアプリにおいて簡単なジェスチャで赤外線撮像画像とＶＲ画像を切り替えることで周囲の状況を把握できるようにする方法が提案されている。（非特許文献１）

また、サムスン（登録商標）社のＧｅａｒ ＶＲ（登録商標）は「パススルーカメラ」という機能がありＨＭＤの横にあるボタンを長押し表示されたアイコンから特定のアイコンを頭の動作で選択するとＶＲ画面の一部に周囲の実風景が表示される機能がある。（非特許文献２）

さらに、出願時の現状において一般的にＶＲ装置はＶＲプログラム起動時のＨＭＤの方向が初期の座標系として設定されるためＶＲプログラムを起動したときのＨＭＤの向きとＨＭＤを頭に装着したときのＨＭＤの向きとで方向が異なる場合に利用者が混乱する場合が多い。

http://blog.leapmotion.com/new-demo-switch-vr-real-world-simple-gesture/New Demo: Switch from VR to the Real World with a Simple Gesture平成２７年８月１日検索、インターネット http://panora.tokyo/1873/Ｇｅａｒ ＶＲは「パススルーカメラ」もヤバい！ HMDで現実世界が見られる不思議平成２７年８月１日検索、インターネット

前述の背景技術にあるようなリープモーション（登録商標）社の赤外線による専用のジェスチャ検出装置とジェスチャ検出プログラムによってＨＭＤのＶＲ画像と実風景画像との切り替えを行う方法は装置のハードウェアコストやソフトウェアコストの増加になりコスト効率の悪さやプログラムの処理内容の増加が生じるという課題がある。

また、Ｇｅａｒ ＶＲ（登録商標）の起動時にＶＲ画像が表示されＨＭＤ付属のボタンを長押しし、頭を動かしてアイコンを選択する操作は利用者が慣れるのに時間がかかり没入感を損なうという課題がある。

さらにＶＲ用ＨＭＤ全般に言えることだがＶＲプログラムを起動したときにＨＭＤが向いていた方向がＶＲ画像空間の初期の前方向として設定されるため、そのあとで利用者が頭にＨＭＤ装着しているときに自然な方向としての前方向とＶＲプログラムが起動したときのＶＲ画像としての前方向が必ずしも一致しないため装着した利用者にとって不自然であるという課題がある。

より具体的に課題の解決方法を説明する。まず、ＶＲアプリケーションやＶＲコンテンツの起動時にＨＭＤに付随する撮像部から得られた実風景画像を可能な限りリアルタイムでＨＭＤの表示部に表示する。利用者はその表示内容を頼りにコントローラを手にし、表示内容をＶＲ画像に切り替えるためのコマンドを入力する。このとき、入力されるコマンドは上下左右キーを用いたメニュー選択であってもかまわないし、スタートボタンのような特定のボタンを押下することでＶＲアプリケーションやＶＲコンテンツが選択されるような設計であってもかまわないし、任意のジェスチャ認識結果であってもかまわない。この選択の際、ＶＲアプリケーションやＶＲコンテンツをゲームパッドなどのスタートボタンの押下などによって起動し、それらを起動したときの頭の方向に合わせて初期の軸座標系を構成する。

これらのメニュー選択やコマンド入力によってそれまで実風景画像だったＨＭＤの表示内容はＶＲ画像としてのＣＧ画像へと切り替わる。切り替わりに置いて従来のテレビ放送などで用いられた画面の切り替えのためのエフェクトとして半透明合成やクロスフェード、各種ワイプといった演出を加えてもよい。この演出はユーザーへのコンテンツへの没入感向上にも効果がある。また画面をすべて実風景画像で始めるのではなく一部がウインドウ化されてＶＲのＣＧ画像と実風景画像とが切り替わるように構成されてもよいし、実風景画像上に合成される形でＰＣにより生成されたユーザーインターフェース画像が表示されてもよい。

先述の先行文献に比較して本発明により安価なコストでのＶＲ画像と実風景画像の切り替えの実現とユーザーの没入感向上を図る効果がある。そして、これらの一連の課題解決手段によって、ＨＭＤを装着したときにいきなりＶＲ空間のＶＲ画像が表示されなくなることによって、最初から周囲の実風景が見えるため従来のような特殊な操作によって周囲の実風景画像を見る必要がなくなるばかりではなく、利用者自身にとって自然な軸座標系で表示されるため自然な方向を正面としてＶＲ空間での表示や操作が可能となるのでＶＲ装置としての利便性や没入感が飛躍的に向上する。

ＰＣ型ＶＲ装置 スマートフォン型ＶＲ装置 基本的な処理手順 情報処理部の構成 座標系初期化の例 仰向け状態でのＶＲ座標系初期化の例

まず、ＶＲプログラムとはＶＲアプリケーションやＶＲコンテンツ、ＶＲアプリケーションなどを起動するためのランチャープログラムなどのＶＲユーザーインタフェースプログラムを含む。より具体的には広い範囲の視覚を情報処理部（４００）によって算術的に生成した画像などで頭の向きや動作によってリアルタイムに構成し、さも実体験であるかのような視覚情報と音響情報を主として利用者に提供するプログラムであり、将来的に嗅覚や触覚や味覚などが提供されることが想定されている。

次により具体的なＶＲ装置として発明を実施するための形態における装置の構成を説明する。まず装置は撮像部と表示部と頭部装着部を最低限供えた構成をしている。この構成に対し中央演算部と描画演算部と記憶部などによって構成される情報処理部を内蔵していたり、同様の情報処理部をパーソナルコンピュータ（ＰＣ）などの形態で外部に有線およびもしくは無線などにより接続していたりしてもよい。なお、中央演算部はＣＰＵ、描画演算部はＧＰＵ、記憶部はＲＯＭやＥＰＲＯＭ、フラッシュメモリ、ＲＡＭ、ストレージとしてのＨＤＤやＳＳＤなどと呼称される部品などの組み合わせによって実現されており、時代とともに変化する将来的なＭＲＡＭやＲｅＲＡＭ、ニューロンプロセッサなどが組み合わされていてもよい。また、撮像部や表示部は１眼であっても２眼であってもよく、２眼であれば立体視に対応していても良い。さらに、ＨＭＤ部に加速度センサーやジャイロセンサー、地磁気センサーといったＶＲなどを実施するために必要なセンサー類を装備していてもよくＨＭＤにスマートフォンを用いた場合はスマートフォン内に加速度センサーやジャイロセンサー、地磁気センサーといったＶＲなどを実施するために必要なセンサー類を装備していてもよい。

そして情報処理部に有線及びもしくは無線からなる後述の制御装置が接続できるようになる形で構成される。これらの構成において、例えば撮像部と表示部と情報処理部とを備えたスマートフォンなどの装置を頭部に固定するためのアダプターを用いてＨＭＤとして利用することも可能であるし、ＶＲ用ＨＭＤに可視光撮像装置としてのカメラを搭載して構成し情報処理部としてのＰＣと接続し同様の全体的構成を実現してもよい。なお、スマートフォンを用いたＶＲ装置であればスマートフォン内に、ＶＲ用ＨＭＤとＰＣやゲーム機の組み合わせによるＶＲ装置であればＨＭＤ内に加速度センサーやジャイロセンサーが組み込まれていている構成となる。

そして、これらのスマートフォンやＰＣなどを含んだ構成に加えて、制御装置としてのマウスやゲームパッド、キーボードなどのコントローラ、画像認識によるジェスチャ入力デバイスなどやジャイロセンサーや加速度センサーなどの運動検出センサー類を手に装着もしくは握る形での操作による入力デバイス、瞳孔位置などからの視線検出などといったユーザーからの操作に基づく制御信号を情報処理部に反映させる装置を用いて本発明を実施するための基本構成が実現される。

そして本発明の情報処理部（４００）における基本処理手順は、まずプログラムの起動と同時に撮像部から実風景画像からなる画像情報を取得しＨＭＤの表示部に表示するステップを実施する。次に利用者からの制御装置による操作入力を受け付けるステップを実施し利用者からの操作入力があるまで撮像部から取得した実風景画像を更新しながら表示するステップを実施するＶＲユーザーインタフェースプログラムを構成する。次に利用者からの操作入力があった場合に表示内容をＶＲ画像に切り替えるステップを実施する。なお最初の実風景表示から操作入力完了を経てＶＲ画像の表示に至るまでのあいだにＶＲコンテンツやＶＲアプリを選択起動するためのＶＲ用ランチャープログラムとして実風景を背景画像としＶＲコンテンツやＶＲアプリを手前にテロップ表示するスタイルのＶＲユーザーインタフェースプログラムを構成することもできる。

さらには、ＶＲプログラムの起動時にＨＭＤの撮像部から得られた実風景画像を可能な限りリアルタイムでＨＭＤの表示部に表示する。利用者はその表示内容を頼りにコントローラを手にし、表示内容がＶＲに切り替えるためのコマンド入力や特定のキーを押下する。このとき、入力されるコマンドは上下左右キーを用いたメニュー選択や頭の向きを変えることでスクロールするメニューに対してゲームパッドの特定のキーを押下するＶＲユーザーインタフェースプログラムであってもかまわない。これらのメニュー選択やコマンド入力によってそれまで実風景画像だったＨＭＤの表示内容はＶＲ画像としてのＣＧ画像へと切り替わる。切り替わりに於いて従来のテレビ放送などで用いられた画面の切り替えのためのエフェクトとして半透明合成やクロスフェード、各種ワイプといった演出を加えてもよい。この演出はユーザーへのコンテンツへの没入感向上にも非常に効果がある。

また画面をすべて実風景画像で始めるのではなく一部がウインドウ化されてＶＲのＣＧ画像と実風景画像とが切り替わるように構成したり、情報処理部（４００）で生成されたＣＧ画像を実風景画像に合成して表示するように構成したりしてもよい。また撮像部から取得する実風景画像のリアルタイム表示における遅延を減らすためにソフトウェア処理ではなく物理的な回路によって撮像画像を表示部に送る構成であってもよい。なお、この際に、あわせてレンズひずみや視差、色収差に関するパラメータを補正することで利用しているＨＭＤに最適な表示を実現できるように構成してもよい。

そして、例えば利用者が自分にとって自然な前方向を向いたときに前述の制御装置類からゲームパッドのスタートボタンを押下したり、キーボードやマウスを操作したり、ＨＭＤに表示されているメニューやダイアログに任意の操作を行ったり、ＨＭＤに付随するスイッチ類などを操作したりしたタイミングでＶＲ表示における前方向などの表示座標系を初期化することによって、利用者が混乱することなくＶＲ画像表示内容に没入することができる。

ＶＲ用ＨＭＤ（１０１）がＰＣ（１０５）やゲーム機に接続されている場合を説明する。

ジャイロセンサーや加速度センサーを備えたＨＭＤ（１０１）が単品として市販されており、商品によっては標準で撮像部（１０３）を備えているものもある。撮像部がない追加部品としての撮像部を組み合わせるようにしても良い。それらにＰＣやゲーム機に接続することで、ＨＭＤに組み合わされた撮像部（１０３）、表示部（１０２）、センサー部（１０１内部：１０１内部であって、加速度、ジャイロ、地磁気などを任意に組み合わせたＶＲに利用可能なセンサー類が好ましい）やＰＣ（１０５）に組み合わされた通信部（ブルートゥースやＵＳＢ配線など）やＰＣ（１０５）に組み込まれた情報処理部（４００）を用いて、撮像部から取得した実風景画像を表示部に表示し、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示し、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。

ＨＭＤにスマートフォン（２０１）を用いる場合を説明する。

頭部装着部（１０４，２０２）が単品として市販されておりそれらにスマートフォン（２０１）を装着することで、スマートフォンに内蔵された撮像部、表示部、センサー部（２０１内部であって、加速度、ジャイロ、地磁気などを任意に組み合わせたＶＲに利用可能なセンサー類が好ましい）、通信部（ブルートゥースなど）、情報処理部（４００）を用いて、一般的に背面カメラと呼ばれる撮像部から取得した実風景画像をスマートフォンの表示部に表示し、センサー部に組み込まれているジャイロセンサーや加速度センサーから算出した重力方向ベクトル情報に基づいてユーザーインターフェースをＶＲアプリやＶＲコンテンツ利用時に表示内容を変化させ、通信部に接続された制御装置（１０６：たとえばゲームパッドなど）によってユーザーインターフェースを操作し、ＶＲアプリやＶＲコンテンツを起動し、制御装置からの入力によって座標系を初期化し、ＶＲコンテンツなどの表示に利用できるようにする。

続いてＶＲ用ＨＭＤ（１０１）がＰＣ（１０５）やゲーム機に接続されている場合もしくはＨＭＤにスマートフォン（２０１）を用いる場合におけるＶＲ装置においてＶＲプログラムのスタート時の座標系を指定する方法に関して説明する。ＶＲ用ＨＭＤ（図１）においては１０１（センサー部含む）、１０２（表示部）、１０３（撮像部）、１０４（頭部固定部）、１０５（情報処理部、通信部などを含むＰＣ）によってＨＭＤとＶＲ装置５０１が構成され１０６が制御装置となる。またスマートフォンを用いた例（図２）においては２０１（撮像部、表示部、センサー部、情報処理部、通信部を含むスマートフォンなど）、２０２（レンズと頭部装着部）、１０４（頭部固定部）によってＨＭＤとＶＲ装置５０１が構成され１０６が制御装置となる。

まず、ＨＭＤに取り付けられた撮像部から実風景画像を取得するステップ（３０２）が実施される。実風景とは撮像部による周囲の撮像画像を指す。撮像された実風景はＨＭＤの表示部に表示されるステップ（３０３）を実施する。この際、従来のようにいきなりＶＲ画像を表示することはない。このとき重力方向を示すベクトルを加速度センサーやジャイロセンサーにより算出し重力方向ベクトルに対して直交する面を算出しながら、利用者からの操作入力を待つ。

利用者からの操作入力を受け付けるステップ（３０５）を実施し、その時の正面にＶＲ表示のプレーヤ視線水平時（図５−ａ に相当以下同じ）のＺ軸が向かうようにして（図５）プレーヤ視線水平時のＹ軸を回転させ初期化するステップ（３０６）を実施する。このプレーヤ視線水平時に対するＹ軸の回転を行うステップは、ＨＭＤに付属するジャイロセンサーから検出された角度に基づいて、初期化前に検出された角度を相殺するような演算を行う必要があり、前記初期化前検出角度からの減算やコンパスによる逆算、回転角度のリセット、初期化前の検出角の逆行列を掛けたり、クオータニオンによって回転角の相殺を行ったりしてもよい。

そして、重力方向ベクトルに直交した面に対してさらに直交するプレーヤ視線水平時のＸＹ面座標系もしくは円柱座標系もしくは球形座標系などに対してユーザーインターフェースを表示するステップ（３０７）と実施し、ユーザーインターフェースがＶＲ用ＨＭＤ（図１）もしくはスマートフォン（図２）から得られる撮像装置から取得した実風景上に合成表示され、利用者の保持する制御装置によって目的のＶＲアプリケーションやＶＲコンテンツをアイコン画像（２Ｄもしくは３Ｄのサムネイル、サムネイル動画、サムネイルポリゴン動画などを含む）などによって選択可能なユーザーインターフェースを構成することができる。

また、座標系の初期化において、まずＨＭＤの加速度センサーで検出される重力方向を下方向とし、ＶＲ画像の表示座標系は加速度センサーで検出される下方向に対して直交する平面をプレーヤ視線水平時のＺ軸とプレーヤ視線水平時のＸ軸の基準面とする。この際、プレーヤ視線水平時のＹ軸の回転に関しては利用者の制御装置からの任意の信号によって初期化を行う。より具体的には利用者が頭をプレーヤ視線水平時のＸＺ平面に対して比較的平行な方向に視線を向けた状態においてプレーヤ視線水平時のＹ軸の回転をＺ軸が正面奥行き方向にプレーヤ視線水平時のＸ軸が左右方向に設定されるようにプレーヤ視線水平時のＹ軸の回転角（３０６）を初期化する。

そしてこの初期化情報に基づいてＶＲコンテンツやＶＲアプリケーションの表示（３０７）を行う。これらの一連の操作によって利用者はＶＲアプリケーションやＶＲコンテンツを選択し操作することが可能となり、ＨＭＤ装着時に視界を失って制御装置であるコントローラの所在が分からなくなることによって生じるＶＲアプリケーションやＶＲコンテンツを閲覧するときの視線方向に対する利用者の向きなどの混乱を軽減することができる。

また、（図５）にあるように下方向は加速度センサーやジャイロセンサーを用いて検出できるため利用者が（図５−ａ）から（図５−ｂ）の姿勢をとっても水平視線方向（図５−ａ）の基準座標系の一つであるＸＺ平面に関しては加速度センサーの検出する重力方向から算出が可能であるもののプレーヤ視線水平時のＹ軸の回転に関してはＨＭＤが起動したときなのかＶＲアプリケーションなどを起動したときなのかによってプレーヤ視線水平時のＹ軸の回転とそれにともなうプレーヤ視線水平時のＺ軸の方向が不明瞭であるため利用者がどうしても混乱するという課題を本発明では利用者からの所定の操作（例えばスタートボタンの二回押しなど）によってＶＲの表示におけるＹ軸の回転を設定し、ＸＹ座標系が利用者の視線方向に直交した面として合うように生成されるように設定するとともに、いきなりＶＲ画面が表示されることで利用者が制御装置を簡単に視認して持つことができないという課題もあわせ解決を図るものである。

また、（図６）を用いてさらに初期化例を説明するとＨＭＤの利用開始時に利用者が仰向け状態でＶＲアプリケーションなどのソフトウェアを利用開始した場合通常のジャイロセンサーや加速度センサーから取得される座標系では空しか見えないため寝転んでＶＲコンテンツやアプリケーションを楽しむことができないという課題がある。しかし、本発明を用いて図６のように重力方向を視線方向に対する背後方向とし、重力方向と直交する面をＸＹ平面として構成し重力方向と反対の方向を前とした前後軸としてのＺ軸ととらえ、利用者視線の座標系とワールド座標系とを併せて初期化することにより、寝転んだままＶＲコンテンツやアプリケーションを楽しむことができるようにすることも可能である。

撮像部を供えた頭部装着型表示装置のユーザーインターフェース全般に適応可能である。

１０１ ＶＲ用ＨＭＤ（表示部、センサー内蔵）頭部装着部，１０２ 表示部，１０３ 撮像部，１０４ 頭部固定部，１０５ ＰＣ（パーソナル・コンピュータ：通信部、情報処理部内蔵），１０６ 制御装置，２０１スマートフォン（撮像部、表示部、センサー部、通信部、情報処理部などを内蔵），２０２ 頭部装着部，３０１ 起動処理，３０２ 撮像処理，３０３ 表示処理，３０４ 操作待ち，３０５ 操作検出，３０６ 座標系初期化，３０７ ＶＲ表示，４００ 情報処理部．４０１ 中央演算部．４０２ 描画演算部．４０３ 記憶部，５０１ ＶＲ用ＨＭＤ

Claims (6)

1. 撮像部と表示部と頭部固定部によって構成される頭部装着型表示装置を用いて、
   頭部装着型表示装置とともに動作する情報処理部におけるＶＲプログラムの起動時に頭部装着型表示装置に付随した撮像部からの実風景画像を撮像するステップと撮像した実風景画像を表示部に表示するステップを実施し、
   有線及びもしくは無線による制御装置によって頭部装着型表示装置とともに動作する情報処理部に任意の制御信号が送られた場合に、
   頭部装着型表示装置の表示内容を撮像部から得られた実風景画像情報から頭部装着型表示装置とともに動作する情報処理部により生成されたＶＲ画像情報と切り替え及びもしくは合成するステップを実施し、
   ユーザーの利便性を向上することを特徴とするＶＲユーザーインタフェースプログラム
   
2. 撮像部と表示部と頭部固定部によって構成される頭部装着型表示装置を用いて、
   頭部装着型表示装置とともに動作する情報処理部におけるＶＲプログラムの起動時に頭部装着型表示装置に付随した撮像部からの実風景画像を撮像するステップと撮像した実風景画像を表示部に表示するステップを実施し、
   有線及びもしくは無線による制御装置によって頭部装着型表示装置とともに動作する情報処理部に任意の制御信号が送られた場合に、
   頭部装着型表示装置の表示内容を撮像部から得られた実風景画像情報から頭部装着型表示装置とともに動作する情報処理部により生成されたＶＲ画像情報と切り替え及びもしくは合成するステップを実施し、
   ユーザーの利便性を向上することを特徴とするＶＲユーザーインタフェースプログラム
   を情報処理部の記憶部に記録したことを特徴とするＶＲ装置
   
3. 請求項１のプログラムであって、
   表示部への実風景画像からＶＲ画像情報への切り替えタイミングに利用者の頭の水平回転軸を初期化することを特徴とするＶＲユーザーインタフェースプログラム
   
4. 請求項２のＶＲ装置であって、
   表示部への実風景画像からＶＲ画像情報への切り替えタイミングに利用者の頭の水平回転軸を初期化することを特徴とするＶＲユーザーインタフェースプログラム
   を情報処理部の記憶部に記録したことを特徴とするＶＲ装置
5. 請求項３のプログラムであって、
   表示部へのＶＲ画像情報への切り替えタイミングに利用者の頭の水平回転軸を初期化する際に、仰向け状態を重力方向から検出し、座標系を初期化することを特徴とするＶＲユーザーインタフェースプログラム
   
6. 請求項４のＶＲ装置であって、
   表示部へのＶＲ画像情報への切り替えタイミングに利用者の頭の水平回転軸を初期化する際に、仰向け状態を重力方向から検出し、座標系を初期化することを特徴とするＶＲユーザーインタフェースプログラム
   を情報処理部の記憶部に記録したことを特徴とするＶＲ装置

Images