JP2018022442A - 演出処理プログラム及び情報処理装置 - Google Patents

Abstract

【課題】ユーザが装着する装着型の表示装置に、検出したユーザの目の状態に応じた演出を付加した表示を行うことを目的とする。【解決手段】ユーザが装着する装着型の表示装置に所定の処理を行った画像を表示させ、前記処理を実行し、検出された前記ユーザの目の状態情報を取得し、ユーザ毎の目の第１の状態の範囲を示す数値を記憶した記憶部を参照して、取得した前記目の状態情報に基づき、前記ユーザの目の状態が第１の状態の範囲から外れていると判定した場合、前記目の状態によって異なる演出を前記処理に付加するための情報を生成し、生成した前記情報に応じた演出を前記処理の画像に付加して出力する、処理をコンピュータに実行させるための演出処理プログラムが提供される。【選択図】図６

Description

本発明は、演出処理プログラム及び情報処理装置に関する。

視線方向依存性の表示装置では、視線方向の画像は見えるが、視線方向以外の画像は見えない。そのため、表示装置に表示されている画像をユーザに適切に提供できない場合がある。そこで、ユーザの視線を向けさせるべき位置である誘導ポイントに視線誘導を行うために、誘導ポイントに誘導画像を表示する技術が知られている（例えば、特許文献１参照）。

一般的な映像技術分野では、テレビやプロジェクタ等の表示装置が設置された鑑賞環境における照度（環境光）に応じて表示画面の輝度が調整される。例えば、表示装置の画面にゲームの画像を表示してプレイする場合、画面の平均輝度に基づき画面の露光補正が行われる。

これに対して、ヘッドマウントディスプレイ（以下、「ＨＭＤ」という。）では、鑑賞者は環境光が遮断された場所にいるのと同じ環境になるため、環境光に応じて画面の輝度を調整するとかえって画面が見難くなってしまう。そこで、ＨＭＤを装着した環境では、最初は暗く感じるが時間の経過とともに徐々に視力を確保する目の機能である「暗順応」に応じて表示画面の輝度を調整する技術が知られている（例えば、特許文献２参照）。

国際公開第２０１３／１７９４２４号パンフレット 国際公開第２０１３／０５４７２８号パンフレット 特許第４０２８１１３号公報

ＨＭＤを装着したユーザは、ＨＭＤの遮光性のため、環境光の下にいる場合よりも目の機能を使い、没頭して映像を鑑賞する傾向にある。そのときのユーザの目の状態は、ユーザが映像を鑑賞しているときの気分や環境によってユーザ毎に異なる。しかしながら、上記各特許文献では、ＨＭＤを装着しているユーザの状態にかかわらず、画一的な鑑賞環境を提供する。

そこで、一側面では、本発明は、ユーザが装着する装着型の表示装置に、検出したユーザの目の状態に応じた演出を付加した表示を行うことを目的とする。

一つの案では、ユーザが装着する装着型の表示装置に所定の処理を行った画像を表示させ、前記処理を実行し、検出された前記ユーザの目の状態情報を取得し、ユーザ毎の目の第１の状態の範囲を示す数値を記憶した記憶部を参照して、取得した前記目の状態情報に基づき、前記ユーザの目の状態が第１の状態の範囲から外れていると判定した場合、前記目の状態によって異なる演出を前記処理に付加するための情報を生成し、生成した前記情報に応じた演出を前記処理の画像に付加して出力する、処理をコンピュータに実行させるための演出処理プログラムが提供される。

一側面によれば、ユーザが装着する装着型の表示装置に、検出したユーザの目の状態に応じた演出を付加した表示を行うことができる。

一実施形態に係る演出処理システムの全体構成の一例を示す図。 一実施形態に係る情報処理装置のハードウェア構成の一例を示す図。 一実施形態に係る情報処理装置の機能構成の一例を示す図。 一実施形態に係る目の状態情報保存テーブルの一例を示す図。 一実施形態に係る演出処理の一例を示すフローチャート。 一実施形態に係る演出処理の一例を説明するための図。 実施例１に係る演出処理及び効果の一例を説明するための図。 実施例２に係る演出処理及び効果の一例を説明するための図。 実施例３に係る演出処理及び効果の一例を説明するための図。 実施例４に係る演出処理及び効果の一例を説明するための図。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［演出処理システムの全体構成］
まず、本発明の一実施形態に係る演出処理システムの全体構成の一例について、図１を参照しながら説明する。本実施形態に係る演出処理システムは、ＨＭＤ（Head Mounted Display）１０及び情報処理装置２０を有する。

本実施形態に係る演出処理システムでは、情報処理装置２０により制御される所定のゲームの画像がＨＭＤ１０に表示される。ユーザＵは、情報処理装置２０に接続されたＨＭＤ１０を頭に装着して、ＨＭＤ１０に表示される画像を見ながら、コントローラ４０を操作してゲームをプレイする。ユーザＵは、コントローラ４０を用いて、ゲームの開始や終了、項目の選択、ゲーム実行時におけるプレイヤーキャラクタＰＣ（Player Character）の操作を行う。ただし、情報処理装置２０により実行される所定の処理は、ゲーム処理に限らず、番組や映画の映像等の所望のコンテンツを再生する処理等であってもよい。

ユーザＵがＨＭＤ１０を装着すると、例えば、図１に示すＨＭＤ１０に表示される映像ＤがユーザＵの視界に入り、その他の外界は視界に入らない。このため、ユーザＵの映像世界への没入感が高まり、ゲームのエンタテインメント性を高めることができる。

ＨＭＤ１０には、赤外線照射器１１、カラーイメージセンサ１２、６軸センサ１３及び通信モジュール１４が内蔵または外付けされている。赤外線照射器１１は、赤外線（ＩＲ）をユーザＵ側に照射する。カラーイメージセンサ１２は、ユーザＵ側の頭等の物体からの赤外線反射画像を撮影する。カラーイメージセンサ１２は、赤外線を利用しているが、これに替えて又はこれに加えてカメラを使用してもよい。

赤外線反射画像は、目の状態を含むユーザの状態を認識するためにカラーイメージセンサ１２により撮影される。カメラで目の状態を含むユーザの状態を撮影してもよい。カラーイメージセンサ１２やカメラで撮影したユーザＵの目を含む画像に基づき、ユーザＵの目をトラッキングし、ユーザの目の状態情報を取得することができる。

６軸センサ１３は、カラーイメージセンサ１２の光軸方向・左右・上下の３軸方向の移動や各軸周りの回転を検出するトラッキング（モーショントレース）のための公知のセンサであって、例えば、３軸方向の加速度と３軸周りの角速度とを検出する。或いは３軸方向の加速度と東西南北の地磁気方向を検出するとしてもよい。情報処理装置２０は、６軸センサ１３による検出結果から、実空間におけるユーザＵの動きを算出する。情報処理装置２０は、トラッキングしている実空間におけるユーザＵの頭や顔等の位置及び向きと、仮想カメラが描画するＨＭＤ１０の画像におけるプレイヤーキャラクタＰＣの位置及び姿勢とを一致させるように仮想カメラを制御してもよい。これにより、ユーザＵの頭等の位置及び向きに対応するＨＭＤ１０の仮想空間上の位置及び向きのゲーム画像を表示させることができる。

通信モジュール１４は、ゲーム処理等の所定の処理を実行する情報処理装置２０との無線通信接続を行う。情報処理装置２０は、例えばインターネットやＬＡＮ（Local Area Network）等のネットワークを介してサーバに接続されてもよい。その場合、サーバは、複数のユーザＵがネットワークを介して参加できるゲームなどのオンラインアプリケーションを情報処理装置２０に提供してもよい。

本実施形態に係る演出処理システムでは、上記種々のセンサにより検出したセンサ値によってコントローラを操作せずにゲームプレイすることができる。この場合、演出処理システムにコントローラを設けなくてもよい。

ＨＭＤ１０は、装着型の表示装置の一例である。装着型の表示装置の他の例としては、例えばＦＭＤ（Face Mounted Display）のように目鏡やゴーグル型やヘルメット型の、ユーザに装着可能な表示装置が挙げられる。

情報処理装置２０は、ゲームや映画の再生等の所定の処理を実行し、装着型の表示装置にて実行中の処理に関する画像の表示を制御する。情報処理装置２０は、ゲーム機器に限らず、例えば、ＰＣ（Personal Computer）、スマートフォン、ビデオカメラ、デジタルカメラ、ＰＤＡ（Personal Digital Assistants）、携帯電話、携帯用音楽再生装置、携帯用映像処理装置等であってもよい。また、所定の処理は、ゲームや映画の再生処理に限られず、あらゆるコンテンツの画像を表示する処理であればよい。

また、本実施形態にかかる演出処理システムでは、ＨＭＤ１０と情報処理装置２０とが別体として構成されているが、これに限定されない。本実施形態に係る情報処理装置２０は、ＨＭＤ１０と一体となっていてもよい。この場合、情報処理装置２０は、進行中のゲームの画像等を表示するＨＭＤ１０として構成される。

［情報処理装置のハードウェア構成］
次に、本実施形態に係る情報処理装置２０のハードウェア構成の一例について、図２を参照しながら説明する。情報処理装置２０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Central Processing Unit）３６と、通信制御装置３７とを有する。各部は、システムバスＢで相互に接続されている。

入力装置３１は、キーボード、マウス等の操作デバイスを有し、操作デバイスのユーザＵによる操作に従い、ゲームの実行指示、設定画面の立上げ指示、その他の各種の入力を受け付ける。入力装置３１は、コントローラ４０を有してもよい。

出力装置３２は、ディスプレイを有し、ゲーム進行に応じた画像や各種の設定画面を表示する。ゲーム処理の画像は、ＨＭＤ１０に出力されるとともに出力装置３２に出力されてもよい。

補助記憶装置３４は、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等により実現される。補助記憶装置３４は、プログラムやデータを格納する。格納されるプログラムには、情報処理装置２０の全体を制御するためのプログラムやゲームのアプリケーションを実行するためのプログラムや本実施形態に係る演出をゲームに付加するためのプログラムが含まれる。

主記憶装置３５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）により構成されてもよい。ＣＰＵ３６は、補助記憶装置３４から、プログラムやデータを主記憶装置３５に読み出し、ゲームを実行することで、ゲームの進行を制御したり、情報処理装置２０に搭載されたその他の機能を実現する。

通信制御装置３７は、ＨＭＤ１０との無線通信や、ネットワークを介してサーバや他の外部装置との通信を行う。通信制御装置３７は、ＨＭＤ１０により検出されたユーザＵの目の状態情報を受信する。

情報処理装置２０は、ドライブ装置３３を介して記録媒体３８の読み取り及び書き込みを行うことができる。記録媒体３８には、ＣＤ（Compact Disk）、及びＤＶＤ（Digital Versatile Disk）、ならびに、ＳＤメモリカード（SD Memory card）やＵＳＢメモリ（Universal Serial Bus memory）等がある。

［情報処理装置の機能構成］
次に、本実施形態に係る情報処理装置２０の機能構成の一例について、図３を参照しながら説明する。情報処理装置２０は、通信部２１、記憶部２２、処理実行部２３、状態解析部２４、判定部２５、制御部２６、生成部２７及び出力部２８を有する。

通信部２１は、ネットワークを介して接続されるＨＭＤ１０及びコントローラ４０とデータを送受信する。また、例えば、通信部２１は、外部装置からゲームプログラムをダウンロードする際に使用する各種データを送受信する。また、通信部２１は、カラーイメージセンサ１２により検出された赤外線反射画像又はカメラで撮影した撮像画像をＨＭＤ１０から受信する。

記憶部２２は、目の状態情報保存テーブル１３１、ゲームプログラム１３２、演出処理プログラム１３３及び各種データを記憶する。

図４は、一実施形態に係る目の状態情報保存テーブル１３１の一例を示す。目の状態情報保存テーブル１３１は、ユーザを識別するためのユーザＩＤ１３１ａ毎に、目の通常状態情報１３１ｂを記憶する。目の通常状態情報１３１ｂには、黒目の面積、まぶたから出ている黒目の割合、まぶたから出ている白目の面積、瞳孔の面積及び目の色の情報が含まれる。目の通常状態情報１３１ｂは、これに限らず、ユーザ毎に目の基準状態を示す情報であればよく、例えば、まぶたに隠れている黒目の割合、まぶたから出ている黒目の形状等であってもよい。目の通常状態情報１３１ｂには、ゲームの開始前又は開始時にＨＭＤ１０の画面に基準の明るさを提示し、カメラ等で撮影した画像から、ユーザの黒目の面積や白目の面積等を測定した値が記憶される。

また、目の状態情報保存テーブル１３１は、目の通常状態の範囲（第１の状態の範囲）を示す数値１３１ｃを記憶する。本実施形態では、目の通常状態の範囲は、目の通常状態情報１３１ｂの数値（基準値）の±１０％の範囲に設定されている。しかしながら、ユーザ毎の目の通常状態の範囲は、これに限らず、ゲームの種類やユーザの年齢、性別等に応じて、目の通常状態の上限値及び下限値を設定することができる。また、目の通常状態情報１３１ｂのうちの目の色は、目の通常状態の範囲を示す数値１３１ｃの基準値に対する上限値及び下限値を設定する際に利用することが好ましい。例えば、目の色が茶色等の濃い色の場合には、目の通常状態の範囲を大きくするように基準値±α％の「α」の値を上げ、目の色がブルーやグレー等の薄い色の場合には、目の通常状態の範囲を大きくするように「α」の値を下げることが好ましい。なお、目の通常状態情報１３１ｂに示した黒目に関する情報は、目の色が茶色や黒色の場合の一例である。

図３に戻り、処理実行部２３は、所望のゲームを実行する。状態解析部２４は、ユーザＵの頭や顔の赤外線反射画像を解析して、ユーザＵの目や顔や頭等の画像認識処理を行う。

判定部２５は、目の状態情報保存テーブル１３１を参照して、ユーザ毎の目の通常状態の範囲を示す数値１３１ｃに基づき、ユーザの目の状態が通常状態から外れているか否かを判定する。

制御部２６は、ユーザの目の状態が通常状態から外れていると判定された場合、ゲーム処理に対する演出を付加するための情報を特定する。ゲーム処理に対する演出を付加するための情報の一例としては、ゲームを表示する画面の明るさに関する情報、ゲームに登場する操作対象キャラクタや相手キャラクタに関する情報、ゲームの特定のアイテムに関する情報、ゲーム進行上のヒントになる情報、及びゲームを表示する画面にエフェクト機能を付加するための情報等が挙げられる。

判定部２５は、ユーザの目の状態が目の通常状態の範囲の上限値を上回る場合、ユーザは目を見開いていると判定する。判定部２５は、ユーザの目の状態が目の通常状態の範囲の下限値を下回る場合、ユーザは目を細めていると判定する。

例えば、図４のの通常状態の範囲を示す数値１３１ｃの例では、判定部２５は、検出した黒目の出ている割合が、基準となる目の状態情報保存テーブル１３１に記憶された「黒目の出ている割合」よりも＋１０％以上外れていると判定された場合、目を見開いていると判定してもよい。また、判定部２５は、「黒目の出ている割合」よりも−１０％以上外れていると判定された場合、目を細めていると判定してもよい。ただし、範囲を確定するパーセンテージや上限値、下限値はこれに限らない。

生成部２７は、判定した目の状態から推定されるユーザの要求に応じた演出を付加するための情報を生成する。例えば、ユーザは目を細めていると判定された場合、生成部２７は、ユーザＵがまぶしく感じていると判断し、画面を暗くするように露光補正を制御するための情報を生成する。また、ユーザは目を見開いていると判定された場合、生成部２７は、ユーザＵが暗く感じていると判断し、画面を明るくするように露光補正を制御するための情報を生成する。出力部２８は、生成した情報に応じた演出をゲーム処理の画像に付加して出力する。

なお、図３は機能に着目したブロック図を描いており、これらの機能ブロックで示した各部は、ハードウエアのみ、ソフトウエアのみ、またはハードウエアとソフトウエアとの組合せによって実現することができる。

かかる構成により、本実施形態に係る情報処理装置２０では、通信部２１の機能は、例えば図２の通信制御装置３７により実現される。記憶部２２の機能は、主記憶装置３５又は補助記憶装置３４により実現される。

処理実行部２３の機能は、例えば、主記憶装置３５又は補助記憶装置３４に格納されたゲームプログラム１３２をＣＰＵ３６が実行することにより実現される。状態解析部２４、判定部２５、制御部２６及び生成部２７の機能は、例えば、主記憶装置３５又は補助記憶装置３４に格納された演出処理プログラム１３３をＣＰＵ３６が実行することにより実現される。出力部２８の機能は、例えば、出力装置３２により実現される。

なお、目の状態情報保存テーブル１３１に記憶された情報は、主記憶装置３５、補助記憶装置３４又はネットワークを介して情報処理装置２０に接続されるクラウド上のサーバ等に格納され得る。

［演出処理］
次に、本実施形態に係る演出処理について図５を参照して説明する。図５は、一実施形態に係る演出処理の一例を示したフローチャートである。なお、本処理が開始される前提として、ユーザＵがＨＭＤ１０を装着し、ゲームの開始処理が完了しているとする。

また、ゲームの開始前に、画面の平均輝度に基づきゲームを描画する画面の露光補正が完了している。この露光補正は、本実施形態に係る演出としての露光補正とは異なり、通常行われるゲームの開始前の画面のキャリブレーションである。

なお、ＨＭＤ１０を装着した環境では、本実施形態に係る情報処理装置２０は、ゲームの開始前又は開始後に、最初は暗く感じるが時間の経過とともに徐々に視力を確保する「暗順応」の目の機能に合せて、表示画面の輝度を調整する露光補正を、以下の本実施形態に係る演出処理における露光補正に加えて行ってもよい。

図５の処理が開始されると、判定部２５は、目の状態情報保存テーブル１３１を参照して、ゲームをプレイするユーザＵのユーザＩＤに対応した目の通常状態情報が登録済みかを判定する（ステップＳ１０）。

目の通常状態情報が目の状態情報保存テーブル１３１に登録されていると判定された場合、状態解析部２４は、目の状態情報保存テーブル１３１に保存された目の通常状態情報１３１ｂを読み込む（ステップＳ１２）。

目の通常状態情報が目の状態情報保存テーブル１３１に登録されていないと判定された場合、記憶部２２は、ＨＭＤ１０の画面に基準の明るさを提示し、このときの黒目の面積等の目の通常状態情報を目の状態情報保存テーブル１３１に記憶する（ステップＳ１４）。これにより、黒目の面積、白目の面積、瞳孔の面積、まぶたの開き具合等の基準値がの状態情報保存テーブル１３１に記憶される。

次に、処理実行部２３は、所望のゲームを実行する（ステップＳ１６）。なお、所望のゲームは、この時点よりも前から実行されてもよい。次に、処理実行部２３は、ゲームが終了か否かを判定する（ステップＳ１８）。処理実行部２３がゲームは終了していると判定した場合、ゲーム終了とともに本処理を終了する（ステップＳ２０）。

一方、処理実行部２３がゲームは終了していないと判定した場合、判定部２５は、ＨＭＤ１０により検出されたユーザの目の状態が、ユーザの目の通常状態を示す範囲から外れているかを判定する（ステップＳ２２）。

判定部２５は、検出されたユーザの目の状態が通常状態の範囲内であると判定した場合、ステップＳ１６に戻り、処理実行部２３は、ゲームを進行させる。一方、ステップＳ２２において、判定部２５は、検出したユーザの目の状態が通常状態の範囲外であると判定した場合、生成部２７は、検出された目の状態に応じて画面の露光を調整するための情報を生成する。出力部２８は、生成した画面の露光を調整するための情報に応じて画面の全体又は所定位置の明るさを調節しながら（露光補正）、ゲーム進行中の画像を表示する（ステップＳ２４）。その後、ステップＳ１６に戻り、処理実行部２３は、更にゲームを進行させる。ゲームが終了するまで、ステップＳ１６、Ｓ１８、Ｓ２２、Ｓ２４の処理が繰り返される。

図６に、図５のステップＳ２４で実行される露光を調整する処理の一例を示す。目の状態情報保存テーブル１３１の目の通常状態情報１３１ｂには、ＨＭＤ１０装着時の目の通常の状態を示す数値（基準値）が記憶されている。例えば、目の通常状態情報として、図６（ａ）に示すように、まぶたから出ている黒目の面積ｅ１、まぶたから出ている白目の面積ｅ２、瞳孔の面積ｅ３が記憶されているとする。ユーザＵが目を細めているときには、図６（ｂ）に示すように、まぶたから出ている黒目の面積ｅ１、まぶたから出ている白目の面積ｅ２、瞳孔の面積ｅ３が目の通常状態の範囲の下限値から下回る。この場合、生成部２７は、ユーザＵが画面をまぶしい（明る過ぎる）と感じていると判断し、画面を暗くするように露光を調節する情報を生成する。画面を暗くするように露光を調節する情報は、ユーザの目の状態によって異なる演出をゲーム処理に付加するための情報の一例である。

逆に、ユーザＵが目を見開いているときには、図６（ｃ）に示すように、まぶたから出ている黒目の面積ｅ１、まぶたから出ている白目の面積ｅ２、瞳孔の面積ｅ３が目の通常状態の範囲を示す上限値から上回る。この場合、生成部２７は、ユーザＵが画面を見え難い（暗過ぎる）と感じていると判断し、画面を明るくするように露光を調節する情報を生成する。画面を明るくするように露光を調節する情報は、ユーザの目の状態によって異なる演出をゲーム処理に付加するための情報の一例である。

以上に説明したように、一実施形態に係る情報処理装置２０が実行する演出処理によれば、ＨＭＤ１０を装着時には最初は真っ暗であった画面が、目を見開くことで露光補正され、画面を明るくすることができる。これにより、ゲームの進行に応じてユーザの目が慣れ、画面が見易くなってきたことを感じさせる演出をゲームに付加することができる。

また、従来行われていた露光補正では、ゲーム中においてなお暗い場合がある。そのような場合に、本実施形態に係る演出処理が実行されることで、検出された目の状態に基づき更に画面を明るくするように露光補正が行われ、画面を見易くすることができる。明る過ぎる画面に対しても同様に、本実施形態に係る処理が実行されることで、検出された目の状態に基づき画面を暗くするように露光補正が行われ、画面を見易くすることができる。

なお、図５のステップＳ２２の判定処理は、瞬き等による目の状態により本処理の誤判定を減らすために、一定時間以上連続してステップＳ２２において「ＹＥＳ」と判定された場合にのみ、ステップＳ２４の露光調整を行うようにしてもよい。

以上では、目の状態によって異なる演出をゲームに付加するための情報として、検出された目の状態に応じて画面の明暗の調整する情報が生成された。以下の実施例１〜実施例４では、目の状態によって異なる演出をゲームに付加するため情報の複数の例を、図７〜図１０を参照して具体的に説明する。
（実施例１）
例えば、図７（ａ）の脱出ゲーム中の１シーンの画像を表示しているとき、画面が暗いとする。この時点で本実施形態に係る演出処理が実行されると、検出された目の状態に基づき、ユーザＵは目を見開いていると判定され、検出された目の状態に基づき画面を明るくする情報がゲームに付加するための情報として生成される。この場合、画面を明るくする情報の一例として、画面全体を明るくする情報ではなく、ライトが点灯される情報が生成されたとする。その結果、図７（ｂ）に示すように、ライトが点灯される演出ｋ１によって、画面を見易くすることができる。

また、例えば、図７（ａ）にて脱出ゲームが行われる画像が表示されている場合、検出された目の状態に基づき、目を細めていると判定された場合、ユーザＵは目を凝らしていると判断される。この場合、本実施形態に係る演出処理は、キーアイテムが発見し易くなるような演出をゲームに付加するための情報を生成してもよい。このようにしてゲームの特定のアイテムに関する情報が生成されることにより、キーアイテムｋ２が強調表示されたり、キーアイテムｋ２がキラキラ光ったりする演出が可能となり、画面上でキーアイテムを発見し易くすることができる。
（実施例２）
また、図８（ａ）のアクションゲームの１シーンの画像では、キャラクタＰＣが道に迷っている。この時点で本実施形態に係る演出処理が実行されると、検出された目の状態に基づき、目を細めていると判定された場合、ユーザＵは目を凝らしていると判断される。この場合、正解ルートが分かるような演出をゲームに付加するための情報が生成される。このようにしてゲームのヒントとなる情報が生成されることにより、図８（ｂ）に示すように、正解ルートの道に矢印ｋ３が表示されたり、正解ルートの道が光ったりすることで、ユーザＵに対してゲームのヒントとなる演出を付加した表示を行うことができる。
（実施例３）
また、図９（ａ）の敵を倒すゲームの１シーンの画像では、キャラクタＰＣが対戦相手と対面している。この時点で本実施形態に係る演出処理が実行されると、検出された目の状態に基づき、目を見開いていると判定された場合、ユーザＵは敵を倒す操作を行う寸前であると判断され、対戦相手に関してユーザが欲しい情報を示す演出をゲームに付加するための情報が生成される。このようにしてゲームに登場するキャラクタに関する情報が生成されることにより、図９（ｂ）に示すように、対戦相手毎の体力ゲージｋ４を表示したり、必殺技ゲージ等の対戦相手の状態を示す情報を表示したりする。これにより、ユーザＵが対戦相手に勝ちやすい演出を付加した表示を行うことができる。
（実施例４）
また、図１０（ａ）のゴルフゲームの１シーンの画像では、キャラクタＰＣがグリーン上にいる。この時点で本実施形態に係る演出処理が実行されると、検出された目の状態に基づき、目を細めていると判定された場合、ゴルフボールをホールに入れることを狙っていると判断され、ヒントとなる演出をゲームに付加するための情報が生成される。このようにしてヒントとなる情報が生成されることにより、図１０（ｂ）に示すように、ユーザＵがゴルフボールをホールに入れ易くする演出の一例として、ホールに向かう芝目ｋ５が見える演出を付加した表示を行うことができる。

以上に説明した本実施形態及びその実施例は、目の状態に応じてゲームに様々な演出を行うエフェクト機能を持つ。他の例としては、目を細めると画面上に雪が降ってきたり、雨が降ってきたり、画像がぼやけたりするエフェクト機能を持つ情報が生成されてもよい。また、目を見開くと画面上に太陽の光が降り注いだり、雨が止んだり、画像が鮮明になったりするエフェクト機能を持つ情報が生成されてもよい。これらのエフェクトにより、ＨＭＤ１０という遮光性の高い環境において目の状態に応じた演出が施され、ユーザＵに高揚感や意外性を与え、ゲームをより楽しませることができる。

以上、演出処理プログラム及び情報処理装置を上記実施形態及び実施例により説明したが、本発明にかかる演出処理プログラム及び情報処理装置は上記実施形態及び実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。また、上記実施形態及び実施例が複数存在する場合、矛盾しない範囲で組み合わせることができる。

例えば、本発明では、ゲームに限らず、映画やその他のコンテンツに対しても、それらの処理の画像を表示する際に、目の状態によって異なる演出を付加することができる。

また、ゲーム等の処理中に複数のシーンがある場合、シーン毎に本発明の処理を適用するか、適用しないかを定めることができる。

また、目の状態によって異なる演出を処理に付加するための情報は、画像情報であってもよいし、音声情報であってもよいし、画像情報及び音声情報の組合せであってもよい。

１０ ＨＭＤ
１１ 赤外線照射器
１２ カラーイメージセンサ
１３ ６軸センサ
１４ 通信モジュール
１５ プロセッサ
２０ 情報処理装置
２１ 通信部
２２ 記憶部
２３ 処理実行部
２４ 状態解析部
２５ 判定部
２６ 制御部
２７ 生成部
２８ 出力部
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ 主記憶装置
３６ ＣＰＵ
３７ 通信制御装置
３８ 記録媒体
１３１ 目の状態情報保存テーブル
１３１ｂ 目の通常状態情報
１３２ ゲームプログラム
１３３ 演出処理プログラム

Claims (6)

1. ユーザが装着する装着型の表示装置に所定の処理を行った画像を表示させ、前記処理を実行し、
   検出された前記ユーザの目の状態情報を取得し、
   ユーザ毎の目の第１の状態の範囲を示す数値を記憶した記憶部を参照して、取得した前記目の状態情報に基づき、前記ユーザの目の状態が第１の状態の範囲から外れていると判定した場合、前記目の状態によって異なる演出を前記処理に付加するための情報を生成し、
   生成した前記情報に応じた演出を前記処理の画像に付加して出力する、
   処理をコンピュータに実行させるための演出処理プログラム。
2. 前記目の状態情報に基づき、前記ユーザの目の状態が前記第１の状態の範囲の上限値を上回る場合、前記ユーザは目を見開いていると判定し、前記ユーザの目の状態が前記第１の状態の範囲の下限値を下回る場合、前記ユーザは目を細めていると判定し、
   前記判定した目の状態から推定されるユーザの要求に応じた演出を前記処理に付加するための情報を生成する、
   請求項１に記載の演出処理プログラム。
3. 前記目の状態情報は、黒目の面積、まぶたから出ている黒目の割合、まぶたに隠れている黒目の割合、まぶたから出ている白目の面積、瞳孔の面積、目の色及びまぶたから出ている黒目の形状の少なくともいずれかを示す情報である、
   請求項１又は２に記載の演出処理プログラム。
4. 前記所定の処理は、ゲーム処理であり、
   前記判定した目の状態からゲーム処理に対する演出を付加するための情報を生成する、
   請求項１〜３のいずれか一項に記載の演出処理プログラム。
5. 前記ゲーム処理に対する演出を付加するための情報は、ゲームを表示する画面の明るさに関する情報、ゲームに登場するキャラクタに関する情報、ゲームの特定のアイテムに関する情報、ゲーム進行上のヒントになる情報、及びゲームを表示する画面にエフェクト機能を付加するための情報の少なくともいずれかである、
   請求項４に記載の演出処理プログラム。
6. ユーザが装着する装着型の表示装置に所定の処理を行った画像を表示させ、前記処理を実行する処理実行部と、
   検出された前記ユーザの目の状態情報を取得する通信部と、
   ユーザ毎の目の第１の状態の範囲を示す数値を記憶した記憶部を参照して、取得した前記目の状態情報に基づき、前記ユーザの目の状態が第１の状態の範囲から外れていると判定した場合、前記目の状態によって異なる演出を前記処理に付加するための情報を生成する生成部と、
   生成した前記情報に応じた演出を前記処理の画像に付加して出力する出力部と、
   を有する情報処理装置。

Images