JP2017138832A - 仮想空間の提供方法、およびプログラム - Google Patents

仮想空間の提供方法、およびプログラム Download PDF

Info

Publication number
JP2017138832A
JP2017138832A JP2016019777A JP2016019777A JP2017138832A JP 2017138832 A JP2017138832 A JP 2017138832A JP 2016019777 A JP2016019777 A JP 2016019777A JP 2016019777 A JP2016019777 A JP 2016019777A JP 2017138832 A JP2017138832 A JP 2017138832A
Authority
JP
Japan
Prior art keywords
field image
visual field
user
virtual space
hmd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016019777A
Other languages
English (en)
Other versions
JP6087453B1 (ja
Inventor
崇生 柏原
Takao Kashiwabara
崇生 柏原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Colopl Inc
Original Assignee
Colopl Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Colopl Inc filed Critical Colopl Inc
Priority to JP2016019777A priority Critical patent/JP6087453B1/ja
Priority to US15/423,761 priority patent/US10127713B2/en
Application granted granted Critical
Publication of JP6087453B1 publication Critical patent/JP6087453B1/ja
Publication of JP2017138832A publication Critical patent/JP2017138832A/ja
Priority to US16/170,042 priority patent/US10573062B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想空間へのユーザの没入感を損なうことなく、映像酔いを低減させることができる仮想空間の提供方法およびプログラムが提供される。【解決手段】非透過型のヘッドマウントディスプレイにユーザが没入する仮想空間を提供する方法は、仮想空間を構成する仮想空間画像のうち、ユーザが視認可能な視野画像を生成するステップS502と、ヘッドマウントディスプレイの動きと同期して視野画像を更新するステップS507と、ヘッドマウントディスプレイの動きと同期せずに視野画像を更新する場合に、ユーザの視線を誘導するための視線誘導領域を生成し、視線誘導領域が視野画像の一部を隠すように視線誘導領域と視野画像とをヘッドマウントディスプレイに表示させるステップS509と、を含む。【選択図】図7

Description

本発明は、ヘッドマウントディスプレイにユーザが没入する仮想空間を提供するための方法およびプログラムに関する。
特許文献1には、アプリケーション進行中に、ヘッドマウントディスプレイ(Head Mounted Display、以下、HMDとも称する。)を装着しているユーザの頭部の動きに連動してユーザ視野内に表示される仮想空間における画像の表示を変更する処理を行う一方、HMDと通信可能に接続されたコントローラを用いて仮想空間における画像の表示を変更することができるヘッドマウントディスプレイシステムが開示されている。
特許第5767386号
"[CEDEC 2015]VRで"やってはいけないこと"とは? Oculus VRが快適なVRコンテンツ制作に向けたテクニックを伝授"、[online]、平成27年8月22日、4Gamer.net、[平成28年1月13日検索]、インターネット<URL:http://www.4gamer.net/games/195/G019528/20150828092/>
特許文献1に開示のようなヘッドマウントディスプレイシステムにおいて、仮想空間画像を定義する仮想カメラの位置や向きを変更させてユーザが視認している視野画像を更新する場合に、例えばゲームシーンを瞬間的に変更したり、一時的に俯瞰的な位置に仮想カメラを移動させたりすると、仮想空間への没入感が損なわれる。一方、HMDの動きと連動せずにコントローラを用いて仮想カメラの位置や向きを動かし視野画像を更新させると、ユーザはHMDの動きに連動しない視覚的効果を受けることで、映像酔い(いわゆるVR(Virtual Reality)酔い)を起こす可能性が高くなる。特に、非特許文献1に開示の通り、仮想カメラが後方へ移動した場合、高速で移動した場合、曲線運動により移動した場合などは、ユーザはVR酔いを起こしやすい。
本発明は、仮想空間へのユーザの没入感を損なうことなく、VR酔いを低減させることができる仮想空間の提供方法およびプログラムを提供することを目的とする。
本発明によれば、
非透過型のヘッドマウントディスプレイにユーザが没入する仮想空間を提供する方法であって、
前記仮想空間を構成する仮想空間画像のうち、前記ユーザが視認可能な視野画像を生成するステップと、
前記ヘッドマウントディスプレイの動きと同期して前記視野画像を更新するステップと、
前記ヘッドマウントディスプレイの動きと同期せずに前記視野画像を更新する場合に、前記ユーザの視線を誘導するための視線誘導領域を生成し、前記視線誘導領域が前記視野画像の一部を隠すように前記視線誘導領域と前記視野画像とを前記ヘッドマウントディスプレイに表示させるステップと、
を含む方法が得られる。
また、本発明によれば、
上記に記載の仮想空間の提供方法をコンピュータに実行させるためのプログラムが得られる。
本発明によれば、仮想空間へのユーザの没入感を損なうことなく、VR酔いを低減させることができる仮想空間の提供方法およびプログラムが提供される。
本実施形態に係るHMDシステムの構成を示す概略図である。 図1のHMDシステムが備える制御回路部のハードウェア構成を示すブロック図である。 HMDを装着するユーザの頭部を中心に規定される三次元空間上の直交座標系を示す図である。 (a)は、仮想空間および仮想カメラの一例を示すYZ平面図であり、(b)は、仮想空間および仮想カメラの一例を示すXZ平面図である。 HMDの動きと同期せずに視野画像が更新される場合における、仮想カメラの動きの例を示す図である。 HMDの動きと同期せずに視野画像が更新される場合における、仮想カメラの動きの別の例を示す図である。 本実施形態の構成を実現するための、制御回路部の機能を示すブロック図である。 本実施形態のHMDシステムにおける処理を示すフローチャートである。 本実施形態に係るHMDに表示される視野誘導領域の表示例を示す図である。 図9に示される視線誘導領域の追加構成を示す図である。 (a)〜(c)は、変形例に係るHMDに表示される視線誘導領域の表示例を示す図である。 図11に示される変形例に係る視線誘導領域の追加構成を示す図である。
[本発明の実施形態の説明]
最初に、本発明の実施形態の内容を列記して説明する。本発明の一実施形態の仮想空間の提供方法およびプログラムは、以下のような構成を備える。
(項目1)
一実施形態に係る仮想空間の提供方法は、
非透過型のヘッドマウントディスプレイにユーザが没入する仮想空間を提供する方法であって、
前記仮想空間を構成する仮想空間画像のうち、前記ユーザが視認可能な視野画像を生成するステップと、
前記ヘッドマウントディスプレイの動きと同期して前記視野画像を更新するステップと、
前記ヘッドマウントディスプレイの動きと同期せずに前記視野画像を更新する場合に、前記ユーザの視線を誘導するための視線誘導領域を生成し、前記視線誘導領域が前記視野画像の一部を隠すように前記視線誘導領域と前記視野画像とを前記ヘッドマウントディスプレイに表示させるステップと、
を含む。
この構成によれば、ヘッドマウントディスプレイの動きと連動せずに、例えば外部コントローラを用いてあるいは特定のシーン変更等により視野画像を更新させる場合に、ユーザの視線を誘導する視線誘導領域を表示させているため、ユーザの脳に入る情報量が低下される。これにより、ユーザのVR酔いを低減することができる。また、視野画像を表示させつつ当該視線誘導領域が視野画像の一部に重ねるように表示されているため、仮想空間へのユーザの没入感を損なうことがない。
(項目2)
前記視野画像を定義する仮想カメラの位置および/または向きを変化させることによって前記視野画像を更新することが好ましい。
視野画像の更新の例としては、仮想カメラの位置を移動させずに向きを変化させる、仮想カメラの向きを変化させずに位置を移動させる、仮想カメラの位置を移動させつつ向きを変化させる等が挙げられる。
(項目3)
前記視線誘導領域が前記視野画像の半分以上を隠すように表示されることが好ましい。
この構成によれば、ユーザの視線を誘導させる視覚的効果を十分に得ることができ、VR酔いを確実に防止することができる。
(項目4)
前記視線誘導領域を前記仮想空間のうち前記視野画像の領域の外側にまで延出する大きさで生成することが好ましい。
ヘッドマウントディスプレイの動きに連動して仮想カメラの向きが変化することにより視野画像が更新される場合を想定して、上記の構成のように、視野画像の領域外まで視線誘導領域を延出しておくことが好ましい。
(項目5)
前記視線誘導領域は、前記ユーザの視線を集める視線集中オブジェクトで構成され、
前記視線集中オブジェクトは、前記仮想空間内において前記ユーザを前記仮想カメラの位置および/または向きの変化方向に動かすような視覚的効果を前記ユーザに対して与えることが好ましい。
この構成によれば、視線集中オブジェクトにより自らが所定の方向に動かされるような視覚的効果を与えられるため、ユーザの予測可能性が高まることで、VR酔いを起こしにくい。
(項目6)
前記視線集中オブジェクトを前記仮想空間内における前記視野画像の領域外にも配置することが好ましい。
ヘッドマウントディスプレイの動きに連動して仮想カメラの向きが変化することにより視野画像が更新される場合を想定して、上記の構成のように、視野画像の領域外にも視線集中オブジェクトを配置しておくことが好ましい。
(項目7)
一実施形態に係るプログラムは、
項目1〜6のいずれかに記載の方法をコンピュータに実行させるためのプログラムである。
この構成によれば、ヘッドマウントディスプレイに提供される仮想空間へのユーザの没入感を損なうことなく、VR酔いを低減させることができるプログラムが提供される。
[本発明の実施形態の詳細]
本発明の実施形態に係るHMDに仮想空間を提供する方法および当該方法をコンピュータに実行させるためのプログラムの具体例を、以下に図面を参照しつつ説明する。仮想空間は3次元仮想空間としているが、必ずしもそれに限られる必要はない。なお、本発明はこれらの例示に限定されるものではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。以下の説明では、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。
図1は、本実施形態に係るHMDを用いたHMDシステムの構成の概要を示す図である。図2は、図1のHMDシステムが備える制御回路部のハードウェア構成を示すブロック図である。
図1に示すように、HMDシステム100は、ユーザUの頭部に装着されるHMD110と、制御回路部120と、動きセンサ130と、外部コントローラ140とを備えている。
HMD110は、表示部112と、HMDセンサ114と、ヘッドフォン116とを備えている。なお、HMD110にヘッドフォン116を設けずに、HMD110とは独立したスピーカやヘッドフォンを用いてもよい。
表示部112は、HMD110を装着したユーザUの視界(視野)を完全に覆うよう構成された非透過型の表示装置を備えている。これにより、ユーザUは、表示部112に表示される画面のみを観察することができる。すなわち、ユーザUは、外界の視野を失うため、制御回路部120において実行されるアプリケーションにより表示部112に表示される仮想空間に没入できる。
HMDセンサ114は、HMD110の表示部112近傍に搭載される。HMDセンサ114は、地磁気センサ、加速度センサ、傾き(角速度、ジャイロ)センサのうち少なくとも1つを含み、ユーザUの頭部に装着されたHMD110の各種動きを検出することができる。
動きセンサ130は、例えばポジション・トラッキング・カメラ(位置センサ)から構成される。動きセンサ130は、制御回路部120に通信可能に接続され、HMD110に設けられた図示しない複数の検知点の位置や傾きに関する情報を検出する機能を有する。検知点は、例えば赤外線や可視光を発する発光部である。動きセンサ130としてのポジション・トラッキング・カメラは、赤外線センサや複数の光学カメラを含む。制御回路部120は、動きセンサ130からHMD110の位置情報を取得することによって、仮想空間における仮想カメラの位置と、現実空間におけるHMD110を装着したユーザUの位置を正確に対応付けることができる。
HMD110の動きを検出するためのHMDセンサ114および動きセンサ130は、少なくともいずれか一方が設けられていればよい。いずれか一方を用いてHMD110の動きを十分に検出できる場合には、他方は設けられていなくてもよい。
制御回路部120は、HMD110とは別のハードウェア(例えば、パーソナルコンピュータやネットワークを通じたサーバ・コンピュータのようなコンピュータ)として構成され得る。図2に示すように、制御回路部120は、データ伝送路としての通信バスで互いに接続された処理回路121と、メモリ122と、記憶媒体123と、入出力インタフェース124と、通信インタフェース125とを含む。なお、制御回路部120は、HMD110の内部に搭載されても良い。また、制御回路部120は、一部の機能のみがHMD110に実装され、残りの機能がHMD110とは別のハードウェアに実装されても良い。
処理回路121は、CPU(Central Processing Unit)やMPU(Micro processing unit)、GPU(Graphics Processing Unit)等の各種プロセッサを含んで構成され、制御回路部120およびHMDシステム100全体を制御する機能を有する。
メモリ122は、ROM(Read Only Memory)やRAM(Random Access Memory)など揮発性記憶装置を含んで構成され、処理回路121が使用するプログラムや演算パラメータなどの制御用データを一時的に記憶する。
記憶媒体123は、フラッシュメモリやHDD(Hard Disk Drive)などの不揮発性記憶装置を含んで構成され、ユーザの認証プログラムや、各種画像やオブジェクトに関するデータを含むゲームプログラム等が格納される。記憶媒体123には、さらに、各種データを管理するためのテーブルを含むデータベースが構築されていても良い。
入出力インタフェース124は、USB(Universal Serial Bus)端子やDVI(Digital Visual Interface)端子やHDMI(登録商標)(High−Definition Multimedia Interface)端子等の各種接続端子や無線接続のための各種処理回路を含んで構成され、HMD110、動きセンサ130、外部コントローラ140等を接続する。
通信インタフェース125は、ネットワークNWを介して外部装置と通信するための各種有線接続端子や、無線接続のための各種処理回路を含んで構成され、LAN(Local Area Network)やインターネットを介して通信するための通信規格に適合するように構成されている。
制御回路部120は、メモリ122や記憶媒体123に格納された所定のアプリケーションを実行することにより、HMD110の表示部112に仮想空間を提供する。これにより、ユーザUを3次元仮想空間(VR空間)に没入させるための動作を、HMD110に実施させることができる。
外部コントローラ140は、一般的なユーザ端末であり、例えば、ゲーム用コンソールの他、スマートフォン、PDA(Personal Digital Assistant)、タブレット型コンピュータ、ノートPC(Personal Computer)のようなタッチ・ディスプレイを備える携帯型デバイスであることが好ましい。外部コントローラ140は、互いにバス接続されたCPU(Central Processing Unit)、主記憶、補助記憶、送受信部、表示部、および入力部を備えることが好ましい。HMD110を装着したユーザUは、外部コントローラ140に対してタッチ操作等の入力を行うことにより、仮想空間に様々な操作指示を与えることができる。
次に、図3を参照して、HMD110の位置や傾き(視軸の向き)に関する情報の取得方法を説明する。HMD110を装着したユーザUの頭部の動きに基づくHMD110の位置や傾きに関する情報は、動きセンサ130および/またはHMD110に搭載されるHMDセンサ114で検知可能である。図3に示すように、HMD110を装着したユーザUの頭部を中心として、3次元座標系(XYZ座標)が規定される。ユーザUが直立する垂直方向をY軸、Y軸と直交し表示部112の中心とユーザUとを結ぶ方向をZ軸、Y軸およびZ軸と直交する方向をX軸とする。動きセンサ130および/またはHMDセンサ114は、各軸回りの角度(すなわち、Y軸を軸とした回転を示すヨー角、X軸を軸とした回転を示すピッチ角、Z軸を軸とした回転を示すロール角で決定される傾き)を検知し、その経時的な変化により、制御回路部120が視野情報を定義する仮想カメラを制御するための角度(傾き)情報データを決定する。
図4(a)は、仮想空間および仮想カメラの一例を示すYZ平面図であり、図4(b)は、仮想空間および仮想カメラの一例を示すXZ平面図である。また、図4(b)においては、HMD110の動きに同期して仮想カメラが動く場合を示している。
図4(a)および(b)に示すように、仮想カメラ300は、仮想空間200の内部に配置されている。本例においては、仮想カメラ300は、仮想空間200の中心に配置されているものとする。仮想空間200における仮想カメラ300の位置や向きに基づいて視界領域(ユーザが視認可能な視野)201が設定される。視界領域201は、仮想カメラ300の基準視線Lに基づいて決定される。視界領域201は、図4(a)に示すYZ平面において基準視線Lを中心として極角αを含む範囲として設定される第1領域201Aと、図4(b)に示すXZ平面において基準視線Lを中心として方位角βを含む範囲として設定される第2領域201Bとを有する。この視界領域201に基づいてユーザが視認可能な視野画像が生成される。視野画像は、左目用と右目用の2つの二次元画像を含む。左目用と右目用の二次元画像がHMD110の表示部112に重畳されることにより、三次元画像としての視野画像がユーザに提供される。
仮想カメラ300の動きが、HMD110の動きに同期して制御される場合には、仮想カメラ300の基準視線LがHMD110の3次元座標系のZ軸方向(図3参照)に対応するように、現実空間におけるHMD110の動きと仮想空間200における仮想カメラ300の動きが対応付けられる。例えば、図4(b)に示すように、HMD110を装着したユーザが仮想空間200内に配置されるオブジェクト301(実線)を見ている場合、仮想カメラ300の向きは、その基準視線Lがオブジェクト301と交差する位置となるよう設定される。このとき、例えばオブジェクト301が仮想空間内の水平方向に沿って右側に移動するのにしたがってユーザが右側に視線を向けるように頭部を動かすと、図4(b)に破線で示すように、HMD110の動きに同期して、基準視線Lがオブジェクト301(破線)と交差する位置まで仮想カメラ300の向きが変更され、視界領域201(201B)も変更される。視界領域201の変更により、ユーザが視認可能な視野画像も変更されることとなる。
これに対して、仮想カメラ300の視界領域201(すなわち、仮想カメラ300の位置および/または向き)はHMD110の動きと同期せずに制御されてもよい。例えば、仮想カメラ300の位置および/または向きは、外部コントローラ140への入力によって変更され得る。また、仮想空間を用いたコンテンツによっては、HMD110の動きや外部コントローラ140への入力が無い状態で、自動的に仮想カメラ300が仮想空間200内で動いて視界領域201が変更される場合もある。
図5および図6は、仮想カメラの視界領域がHMDの動きと同期せずに制御される場合における、仮想カメラの動きの一例を示す。
図5に示すように、仮想カメラ300は、仮想空間内に配置されるオブジェクト301のいる方向を向いてA地点に配置されている。このとき、ユーザが外部コントローラ140へ仮想カメラ300を制御するための入力を行うと、仮想カメラ300はオブジェクト301を中心として例えば旋回するように時計回りにB地点まで移動される。これにより、仮想カメラ300はオブジェクト301を中心として時計回りに90°旋回し、始点であるA地点から終点であるB地点へと移動されるとともに、仮想カメラ300の向きがオブジェクト301を向くように制御される。この仮想カメラ300の旋回動作に伴う視界領域の変化にしたがって、表示部112に表示される視野画像が変更される。
仮想カメラ300の動作は図5に示す旋回動作に限定されず、図6に示すようにA地点からB地点へと平行移動されても良い。この場合には、仮想カメラ300の移動する位置は図4に示した場合と同様であるが、仮想カメラ300の向きはA地点とB地点とで同一であるように制御される。すなわち、B地点においては、仮想カメラ300はオブジェクト301のいる方向を向いていない。
本実施形態においては、仮想空間200に配置された仮想カメラ300の動きに基づいて視野画像を更新する際に、HMD110の動きと同期させて仮想カメラ300を動かす場合と、HMD110の動きと同期させずに仮想カメラ300を動かす場合とで、視野画像を更新する手法を異ならせている。HMD110の動きと同期させて仮想カメラ300を動かす場合には、制御回路部120は、仮想カメラ300をA地点からB地点へと移動させる過渡期に、仮想カメラ300がA地点からB地点へ移動する間の連続的な視野画像を生成し、当該連続的な視野画像を表示部112に表示させる。一方、HMD110の動きと同期させずに仮想カメラ300を動かす場合には、制御回路部120は、仮想カメラ300をA地点からB地点へと移動させる場合に、仮想カメラ300がA地点からB地点へ移動する間の連続的な視野画像とともにユーザの視線を誘導するための視線誘導領域を生成し、更新される視野画像の一部を隠すように当該視線誘導領域を表示させる。以下、上記視野画像の更新処理について具体的に説明する。
図7は、HMDシステム100における仮想空間200の表示処理、特に視野画像の更新処理を実現するための、制御回路部120の機能を示すブロック図である。制御回路部120は、主に、HMDセンサ114、動きセンサ130、外部コントローラ140からの入力に基づいて、表示部112への出力画像を制御する。
図7に示すように、制御回路部120は、画像生成部410と、入力受付部420と、空間情報格納部430と、を備えている。画像生成部410は、空間画像生成部411と、視野画像生成部412と、入力判定部413と、第一視野画像更新部414と、第二視野画像更新部415とを含む。
図8は、本実施形態に係る視野画像の更新処理についてのフローチャートである。図9は、視線誘導領域が視野画像の一部に表示される例を示す図である。図10は、図9に示される視線誘導領域の追加構成を示す。
図8に示すように、まず、画像生成部410は、空間画像生成部411において、空間情報格納部430を参照して、ユーザが没入する仮想空間200を構成する天球上の仮想空間画像を生成する(ステップS501)。そして、画像生成部410は、視野画像生成部412において、仮想空間200に配置された仮想カメラ300の始点(例えば、図5または図6のA地点)における仮想カメラ300の位置および向きを特定し、特定された仮想カメラ300の位置および向きに基づいて仮想空間を構成する仮想空間画像のうちユーザが視認可能な視野画像を特定する(ステップS502)。
次に、入力受付部420は、仮想カメラ300の位置および/または向きを始点から移動させるための入力として、HMDセンサ114、動きセンサ130および外部コントローラ140からの入力を受け付ける(ステップS503)。
次に、視野画像生成部412は、入力受付部420で受け付けられた入力に基づいて、仮想カメラ300を移動させる終点(例えば、図5または図6のB地点)における仮想カメラ300の新たな位置および向きを特定する。そして、視野画像生成部412は、移動先(終点)における仮想カメラ300の位置および向きに基づいて、移動先における新たな視野画像を特定する(ステップS504)。
なお、VR空間を用いて実行されるコンテンツによっては、仮想カメラ300の移動はHMD110の動きや外部コントローラ140の入力に依らず、自動的に仮想カメラ300が仮想空間内で動く場合もある。この場合、これらの入力に依らずに、移動先の仮想カメラの新たな位置および向きを計算して、上記のステップS504が実行される。
次に、入力判定部413は、仮想カメラ300の移動が、HMD110の動きと同期させる場合におけるものか、HMD110の動きと同期させない場合におけるものかを判定する(ステップS505)。すなわち、入力判定部413は、ステップS503による入力がHMDセンサ114および/または動きセンサ130からの入力であるか、外部コントローラ140からの入力であるかを判定する。
HMD110の動きと同期して仮想カメラ300を移動させる入力(すなわち、HMDセンサ114および/または動きセンサ130からの入力)であると判定されると(ステップS505のYes)、第一視野画像更新部414は、ステップS502で特定された始点からステップS504で特定された終点まで更新される視野画像を生成する(ステップS506)。そして、第一視野画像更新部414は、ステップS506を実行した結果として、始点から終点まで更新される視野画像の表示態様に関する情報をHMD110へ出力する。HMD110は、この情報を受信し、表示部112に表示される視野画像を更新する(ステップS507)。HMD110の動きと同期して仮想空間におけるユーザの視野が移動される場合には、VR酔いを起こしにくいため、始点から終点まで更新される視野画像を表示部112へそのまま表示させることができる。
これに対し、ステップS505において、HMD110の動きと同期せずに仮想カメラ300を移動させる入力(すなわち、外部コントローラ140からの入力)であると判定されると、第二視野画像更新部415は、ステップS502で特定された始点からステップS504で特定された終点まで更新される視野画像とともに、ユーザの視線を誘導するための視線誘導領域を生成する(ステップS508)。そして、第二視野画像更新部415は、ステップS508を実行した結果として、始点から終点まで更新される視野画像の表示態様に関する情報とともに視線誘導領域の表示態様に関する情報をHMD110へ出力する。HMD110は、これらの情報を受信し、表示部112に、更新される視野画像の一部を隠すように視線誘導領域を表示させる(ステップS509)。
図9は、ステップS509において、仮想的にHMDの表示部に表示される視野画像および視線誘導領域の一例を示す。
視線誘導領域は、例えば図9に示すような目隠しオブジェクトMOから構成されている。目隠しオブジェクトMOは、連続的に更新される視野画像Vの一部を隠すように表示される。例えば、目隠しオブジェクトMOは、視野画像Vの中央部分に帯部として表示され、視野画像Vの上下部には表示されない。目隠しオブジェクトMOは、ユーザの視線を誘導する機能を備えていれば良く、例えば、視野画像Vとは異なる画像(例えば、模様)が表示されるものである。目隠しオブジェクトMOの他の構成としては、以下の例が挙げられる。
・帯状の目隠しオブジェクトとして何らかの文字情報(広告等)を表示する。
・視野画像の中心部のみを残し、中心部を除いた周囲を目隠しオブジェクトで覆う。
・視野画像の中心部を拡大表示し、中心部を覗いた周囲を目隠しオブジェクトで覆うことで、あたたかも望遠鏡を覗いているような視覚効果を与える。
・背景として残された視野画像Vよりも解像度やコントラストが低下した画像を例えば視野画像Vの中央部分に表示する。
このように、HMD110の動きと同期せずに視野画像Vを更新させる場合に、ユーザの視線を誘導する目隠しオブジェクトMOが視野画像Vの一部を隠すように視野画像Vと目隠しオブジェクトMOとをHMD110の表示部112に表示させることで、更新されている視野画像V(背景画像)からユーザの脳に入る情報量が低下される。そのため、ユーザのVR酔いを低減することができる。また、目隠しオブジェクトMOは、表示部112に表示される視野画像Vの全体を隠すのではなく、視野画像Vの一部を隠すように表示されているため、更新処理が行われる視野画像Vの少なくとも一部はユーザが視認可能である。さらに、VR酔いを低減するために従来行われていたような視野画像を一人称視点から三人称視点に変更する、すなわち仮想カメラを一時的に俯瞰的な位置に動かすような処理を行う必要がない。そのため、仮想空間200へのユーザの没入感を損なうこともない。
目隠しオブジェクトMOは、特に、仮想カメラ300が仮想空間内で後方へ移動した場合、仮想カメラ300が高速で移動した場合、仮想カメラ300が曲線運動により移動した場合に、視野画像の一部に重ねて表示されることが好ましい。これらの移動の場合には、特にVR酔いが起こりやすいためである。
また、目隠しオブジェクトMOは、表示部112に表示される視野画像Vの半分以上を隠すように表示させることが好ましい。目隠しオブジェクトMOは、視野画像Vの3分の2以上を隠すように表示させることがより好ましい。目隠しオブジェクトMOをある程度大きく表示させることで、ユーザの視線を誘導させる視覚的効果を十分に得ることができ、VR酔いを確実に防止することができる。
また、図10に示すように、目隠しオブジェクトMOは、仮想空間200のうち仮想カメラ300の視界領域の画像として定義される視野画像V内だけではなく、視野画像Vの外部領域にまで延出する大きさで生成しておくことが好ましい。例えば、目隠しオブジェクトMOは、仮想カメラ300の基準視線を中心に±90度程度の領域まで延出するように生成され得る。目隠しオブジェクトMOを視野画像Vの領域外まで延出しておくことで、第二視野画像更新ステップS509においてHMD110の動きと同期せずに視野画像が更新されている最中にユーザが頭部を動かして仮想カメラ300の向きが変化する場合であっても、目隠しオブジェクトMOをHMD110の動きに同期して変化した視野画像V内にも適切に表示させることができる。
なお、図8のステップS505において、HMD110の動きと同期せずに仮想カメラ300が移動する場合であると判定されたとしても、仮想カメラ300の移動量が所定の閾値を超えない場合は、目隠しオブジェクトMOを表示させなくても良い。すなわち、仮想カメラ300の移動量が所定の閾値を超える場合にのみ、目隠しオブジェクトMOを表示してもよい。視野の移動量が小さい場合には、ユーザにHMD110の動きと同期しない視野の移動が提示されたとしても、VR酔いを起こしにくいからである。
(変形例)
図11(a)〜(c)は、誘導領域表示ステップS510において、表示部112に表示される視野画像および視線誘導領域の変形例を示す。図12は、図11に示される変形例に係る視線誘導領域の追加構成を示す。
図11(a)〜(c)に示すように、視線誘導領域は、ユーザの視線を集める視線集中オブジェクト(ここでは、ロボット型のキャラクタ・オブジェクトR)から構成されていてもよい。この視線集中オブジェクト(キャラクタ・オブジェクトR)を用いた視野画像の更新処理は以下の通りである。
入力判定部413によりHMD110の動きと同期して仮想カメラ300を移動させる入力であると判定された場合には、第一視野画像更新部414は、始点から終点まで視野画像を更新し、この視野画像の表示態様に関する情報をHMD110へ出力する。視野画像の表示態様に関する情報を受け取ったHMD110は、表示部112に表示される視野画像を更新する。この場合は、キャラクタ・オブジェクトRが生成および表示されることはない。
これに対し、入力判定部413によりHMD110の動きと同期せずに仮想カメラ300を移動させる入力であると判定された場合には、第二視野画像更新部415は、ステップS502で特定された始点からステップS504で特定された終点まで更新される視野画像とともに、キャラクタ・オブジェクトRを生成する。そして、第二視野画像更新部415は、始点から終点まで更新される視野画像の表示態様に関する情報とキャラクタ・オブジェクトRの表示態様に関する情報とをHMD110へ出力する。視野画像およびキャラクタ・オブジェクトRの表示態様に関する情報を受け取ったHMD110は、図11(a)〜(c)に示すように、表示部112においてキャラクタ・オブジェクトRを表示させつつ視野画像を更新する。
具体的には、キャラクタ・オブジェクトRは、視野画像V外から視野画像V内に入ってきて(図11(a))、視野画像Vの中心部(ユーザの眼前)まで移動する(図11(b)参照)。そして、キャラクタ・オブジェクトRは、ユーザを移動元(始点)から移動先(終点)まで動かすような動作を行い、このキャラクタ・オブジェクトRの動きに応じて視野画像Vが更新される(図11(c))。例えば、仮想カメラ300が前方に移動する場合には、キャラクタ・オブジェクトRがユーザを引っ張る動作を行うのに応じて、視野画像が始点から終点まで更新される。一方、仮想カメラ300が後方に移動する場合には、キャラクタ・オブジェクトRがユーザを押すように動作するのに応じて、視野画像が始点から終点まで更新される。また、仮想カメラ300の向きのみが変化する(仮想カメラが回転する)場合には、キャラクタ・オブジェクトRがユーザを回転させるような動作を行うのに応じて、視野画像が始点から終点まで更新される。
このように、視線集中オブジェクトであるキャラクタ・オブジェクトRは、仮想空間200内においてユーザを仮想カメラ300の位置および/または向きの変化方向に動かすような視覚的効果をユーザに対して与えるように構成されている。本例によれば、ユーザは動いているキャラクタ・オブジェクトRを注視するため、更新されている視野画像からユーザの脳に入る情報量が低下される。また、キャラクタ・オブジェクトRの上記動作により、一人称視点であるユーザ自らが仮想カメラ300の移動方向に動かされるような視覚的効果を与えられるため、視野画像Vの更新についてユーザの予測可能性が高まる。そのため、ユーザはVR酔いを起こしにくくなる。さらに、キャラクタ・オブジェクトRは、視野画像Vの全体を隠すのではなく、視野画像Vの一部に表示されるオブジェクトであるため、仮想空間200へのユーザの没入感を損なうこともない。
また、図12に示すように、キャラクタ・オブジェクトRは、仮想空間200のうち仮想カメラ300の視界領域201内の画像として定義される視野画像V内のみならず、視野画像Vの外部領域にも表示可能(配置可能)としておくことが好ましい。例えば、ユーザの視界領域201内に一体のキャラクタ・オブジェクトR1を表示可能としつつ、視界領域201の外部領域であって視界領域201近傍にもキャラクタ・オブジェクトR2,R3をそれぞれ一体ずつ表示可能とすることができる。キャラクタ・オブジェクトR1〜R3を視野画像V内だけでなく、視野画像Vの領域外にも表示可能としておくことで、第二視野画像更新ステップS509においてHMD110の動きと同期せずに視野画像が更新されている最中にユーザが頭部を動かして仮想カメラ300の向きが変化する場合であっても、キャラクタ・オブジェクトR2,R3をHMD110の動きに同期して変化した視野画像V内にも適切に表示させることができる。
上記の実施形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
100:ヘッドマウントディスプレイシステム(HMDシステム)、110:ヘッドマウントディスプレイ(HMD)、112:表示部、114:センサ、116:ヘッドフォン、120:制御回路部、121:処理回路、122:メモリ、123:記憶媒体、124:入出力インタフェース、125:通信インタフェース、130:動きセンサ、140:外部コントローラ、200:仮想空間、201:視界領域、300:仮想カメラ、301:オブジェクト、410:画像生成部、411:空間画像生成部、412:視野画像生成部、413:入力判定部、414:第一視野画像更新部、415:第二視野画像更新部、420:入力受付部、430:空間情報格納部、L:基準視線、V:視野画像、MO:目隠しオブジェクト、R:キャラクタ・オブジェクト

Claims (7)

  1. 非透過型のヘッドマウントディスプレイにユーザが没入する仮想空間を提供する方法であって、
    前記仮想空間を構成する仮想空間画像のうち、前記ユーザが視認可能な視野画像を生成するステップと、
    前記ヘッドマウントディスプレイの動きと同期して前記視野画像を更新するステップと、
    前記ヘッドマウントディスプレイの動きと同期せずに前記視野画像を更新する場合に、前記ユーザの視線を誘導するための視線誘導領域を生成し、前記視線誘導領域が前記視野画像の一部を隠すように前記視線誘導領域と前記視野画像とを前記ヘッドマウントディスプレイに表示させるステップと、
    を含む、方法。
  2. 前記視野画像を定義する仮想カメラの位置および/または向きを変化させることによって前記視野画像を更新する、請求項1に記載の方法。
  3. 前記視線誘導領域が前記視野画像の半分以上を隠すように表示される、請求項1または2に記載の方法。
  4. 前記視線誘導領域を前記仮想空間のうち前記視野画像の領域の外側にまで延出する大きさで生成する、請求項1から3のいずれか一項に記載の方法。
  5. 前記視線誘導領域は、前記ユーザの視線を集める視線集中オブジェクトで構成され、
    前記視線集中オブジェクトは、前記仮想空間内において前記ユーザを前記仮想カメラの位置および/または向きの変化方向に動かすような視覚的効果を前記ユーザに対して与える、請求項2に記載の方法。
  6. 前記視線集中オブジェクトを前記仮想空間内における前記視野画像の領域外にも配置する、請求項5に記載の方法。
  7. 請求項1〜6のいずれか一項に記載の方法をコンピュータに実行させるためのプログラム。
JP2016019777A 2016-02-04 2016-02-04 仮想空間の提供方法、およびプログラム Active JP6087453B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016019777A JP6087453B1 (ja) 2016-02-04 2016-02-04 仮想空間の提供方法、およびプログラム
US15/423,761 US10127713B2 (en) 2016-02-04 2017-02-03 Method and system for providing a virtual space
US16/170,042 US10573062B2 (en) 2016-02-04 2018-10-25 Method and system for providing a virtual space

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016019777A JP6087453B1 (ja) 2016-02-04 2016-02-04 仮想空間の提供方法、およびプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017007087A Division JP2017138973A (ja) 2017-01-18 2017-01-18 仮想空間の提供方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP6087453B1 JP6087453B1 (ja) 2017-03-01
JP2017138832A true JP2017138832A (ja) 2017-08-10

Family

ID=58185978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016019777A Active JP6087453B1 (ja) 2016-02-04 2016-02-04 仮想空間の提供方法、およびプログラム

Country Status (2)

Country Link
US (2) US10127713B2 (ja)
JP (1) JP6087453B1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム
JP2019067195A (ja) * 2017-10-02 2019-04-25 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3057089A4 (en) * 2014-01-20 2017-05-17 Sony Corporation Image display device and image display method, image output device and image output method, and image display system
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
JP6978289B2 (ja) * 2017-11-20 2021-12-08 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
JP7073702B2 (ja) 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP7077595B2 (ja) 2017-12-11 2022-05-31 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
JP2019105960A (ja) 2017-12-12 2019-06-27 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
JP7349793B2 (ja) * 2019-02-15 2023-09-25 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP7086307B1 (ja) * 2021-04-09 2022-06-17 三菱電機株式会社 酔い調整装置、酔い調整方法、及び酔い調整プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041557A1 (ja) * 2008-10-07 2010-04-15 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、情報記録媒体、ならびに、プログラム
JP2012257252A (ja) * 2012-07-03 2012-12-27 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4065507B2 (ja) * 2002-07-31 2008-03-26 キヤノン株式会社 情報提示装置および情報処理方法
US9645395B2 (en) * 2013-03-15 2017-05-09 Mark Bolas Dynamic field of view throttling as a means of improving user experience in head mounted virtual environments
JP6355978B2 (ja) * 2014-06-09 2018-07-11 株式会社バンダイナムコエンターテインメント プログラムおよび画像生成装置
US9904055B2 (en) * 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
JP5767386B1 (ja) 2014-12-15 2015-08-19 株式会社コロプラ ヘッドマウントディスプレイシステム、ヘッドマウントディスプレイへ表示するための方法、及びプログラム
JP5876607B1 (ja) * 2015-06-12 2016-03-02 株式会社コロプラ フローティング・グラフィカルユーザインターフェース
US20170053545A1 (en) * 2015-08-19 2017-02-23 Htc Corporation Electronic system, portable display device and guiding device
US20170103574A1 (en) * 2015-10-13 2017-04-13 Google Inc. System and method for providing continuity between real world movement and movement in a virtual/augmented reality experience
US20170132845A1 (en) * 2015-11-10 2017-05-11 Dirty Sky Games, LLC System and Method for Reducing Virtual Reality Simulation Sickness

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010041557A1 (ja) * 2008-10-07 2010-04-15 株式会社コナミデジタルエンタテインメント 表示装置、表示方法、情報記録媒体、ならびに、プログラム
JP2012257252A (ja) * 2012-07-03 2012-12-27 Sharp Corp 立体画像表示装置、立体画像表示方法、立体画像表示方法をコンピュータに実行させるためのプログラム、及びそのプログラムを記録した記録媒体
JP2016031439A (ja) * 2014-07-28 2016-03-07 ソニー株式会社 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像表示システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
すんくぼ: ""[Unite2015レポート]Gear VRでVRコンテンツを開発するために知っておきたいこと"", [ONLINE], JPN6016027832, 28 April 2015 (2015-04-28), ISSN: 0003363285 *
山本 敦: ""話題の「バーチャル・リアリティ」を体験!サムスン「Gear VR」でNetflixや初音ミクを鑑賞"", [ONLINE], JPN6016027833, 26 December 2015 (2015-12-26), ISSN: 0003363286 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018036720A (ja) * 2016-08-29 2018-03-08 株式会社タカラトミー 仮想空間観察システム、方法及びプログラム
JP2019067195A (ja) * 2017-10-02 2019-04-25 株式会社コロプラ 情報処理方法、コンピュータ、及びプログラム
JP2019074953A (ja) * 2017-10-17 2019-05-16 株式会社コロプラ 仮想体験をユーザに提供するための方法、プログラム及びコンピュータ

Also Published As

Publication number Publication date
US20190102933A1 (en) 2019-04-04
US10573062B2 (en) 2020-02-25
US20170228923A1 (en) 2017-08-10
JP6087453B1 (ja) 2017-03-01
US10127713B2 (en) 2018-11-13

Similar Documents

Publication Publication Date Title
JP6087453B1 (ja) 仮想空間の提供方法、およびプログラム
JP6074525B1 (ja) 仮想空間における視界領域調整方法、およびプログラム
JP6058184B1 (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム
JP6342038B1 (ja) 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
JP5996814B1 (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP2017138973A (ja) 仮想空間の提供方法、およびプログラム
JP6097377B1 (ja) 画像表示方法及びプログラム
JP6058855B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP5914739B1 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP6276434B1 (ja) 仮想空間における移動を支援するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
US10504296B2 (en) Information processing method and system for executing the information processing method
WO2018020735A1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6117414B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP6121496B2 (ja) ヘッドマウントディスプレイシステムを制御するプログラム
JP2017142783A (ja) 仮想空間における視界領域調整方法、およびプログラム
JP6118444B1 (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018007227A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2018195172A (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP6999538B2 (ja) 情報処理方法、情報処理プログラム、情報処理システム、および情報処理装置
JP6403843B1 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2017097918A (ja) 画像表示方法及びプログラム
JP2018018499A (ja) 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
JP2017142769A (ja) 仮想空間の画像をヘッドマウントディスプレイに提供する方法及びプログラム
JP6275809B1 (ja) 表示制御方法および当該表示制御方法をコンピュータに実行させるためのプログラム
JP2017162443A (ja) ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170201

R150 Certificate of patent or registration of utility model

Ref document number: 6087453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250