JP2017058853A - 情報処理装置、動作制御方法、及び動作制御プログラム - Google Patents

Abstract

【課題】情報表示装置から得た情報をを用いて仮想空間に対する適切な制御を行う。【解決手段】装着型の情報表示装置に表示された画面を制御する情報処理装置において、前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段と、前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段と、前記動作モード変更手段により変更された動作モードで実行された画面を生成し、生成した画面を前記情報表示装置に表示する画面生成手段とを有することにより、上記課題を解決する。【選択図】図１

Description

本発明は、情報処理装置、動作制御方法、及び動作制御プログラムに関する。

従来では、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）やＦＭＤ（Ｆａｃｅ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等の装着型の情報表示装置が普及し始めている。このような情報表示装置を装着することで、拡大光学系により視界全体に画像や映像を表示したり、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ、仮想現実）技術により、仮想空間上にいるような視界を提供することができる。

また、情報表示装置を用いてユーザ（装着者）の顔の向きやまばたきを認識することで、ユーザの操作を簡略化する手法が存在する（例えば、特許文献１参照）。特許文献１では、遠隔にある複数の監視カメラから入力した映像を無線又は有線で受信して情報表示装置に表示すると共に、ユーザの顔の向きやまばたきにより監視カメラの切り替えや向き、視点の制御を行っている。

また、近年では、上述した情報表示装置を、ゲーム機器等にも装備し、ゲームプログラムで提供される仮想空間上に自分が参加しているような感覚をユーザに与え、ゲームへの没入感や娯楽性を向上させる試みが検討されている。

特開２０００−３３３１６１号公報

しかしながら、上述した従来手法では、情報表示装置における顔の向きやまばたきの検出を仮想空間上でどのように対応させるかについての提案はなく、情報表示装置から得た情報を仮想空間上で適切に反映させることができなかった。

本発明は、上述した課題に鑑みてなされたものであって、情報表示装置から得た情報をを用いて仮想空間に対する適切な制御を行うことを目的とする。

本発明の一つの態様として、情報処理装置は、装着型の情報表示装置に表示された画面を制御する情報処理装置において、前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段と、前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段と、前記動作モード変更手段により変更された動作モードで実行された画面を生成し、生成した画面を前記情報表示装置に表示する画面生成手段とを有する。

本発明によれば、情報表示装置から得た情報をを用いて仮想空間に対する適切な制御を行うことができる。

情報処理装置の機能構成の一例を示す図である。 情報処理装置のハードウェア構成の一例を示す図である。 設定処理の一例を示すフローチャートである。 動作モード変更処理の一例を示すフローチャートである。 変更処理の一例を示すフローチャートである。 動作制御処理の具体例を説明するための図（その１）である。 動作制御処理の具体例を説明するための図（その２）である。 動作制御処理の具体例を説明するための図（その３）である。 動作制御処理の具体例を説明するための図（その４）である。 動作制御処理の具体例を説明するための図（その５）である。

以下、図面に基づいて実施形態を説明する。なお、以下の説明では、本実施形態の一態様として、所定のゲームプログラム（コンテンツの一例）等により提供される仮想空間上にユーザ（プレイヤー）が操作するキャラクタが存在する場合の例について説明するが、仮想空間は、ゲームプログラムにより提供されるものに限定されるものではない。

＜情報処理装置の機能構成例＞
図１は、情報処理装置の機能構成の一例を示す図である。図１に示す情報処理装置１０は、通信手段１１と、設定手段１２と、記憶手段１３と、目開閉検出手段１４と、判断手段１５と、動作モード変更手段１６と、画面生成手段１７と、制御手段１８とを有する。なお、情報処理装置１０は、例えばゲーム機器やＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、タブレット端末等であるが、これに限定されるものではない。

通信手段１１は、外部装置と有線又は無線により接続され、データの送受信を行う。通信手段１１には、図１に示すように、情報表示装置（情報表示手段）の一例としてのＨＭＤ２１と、操作装置（操作手段）の一例としてのコントローラ２２とが接続されている。

ＨＭＤ２１は、例えば、眼鏡やゴーグル、ヘルメットのように、ユーザの頭部に装着可能な形状をした表示装置（装着型の情報提示装置）である。頭部に装着すると左右の目のすぐ前に画面が一つずつセットされる。単に画像を表示するだけでなく、左右のディスプレイに少しずつ違った映像を表示することで立体感を表現することができる。また、ＨＭＤ２１は、装着者の頭部の移動に応じて画面を変化させることで、仮想空間上の視界を提供することができる。

また、ＨＭＤ２１は、単位時間毎に頭部の位置、顔の向き、加速度（速度も含む）に関する情報を検知し、その内容を情報処理装置１０に送信してもよい。また、ＨＭＤ２１は、目の位置を検出する内向きのカメラ（撮像手段）等を設け、単位時間毎にユーザの目（黒目）の位置、方向から視点（注視点）を検出し、その内容を情報処理装置１０に送信してもよい。

また、ＨＭＤ２１は、ユーザの発汗量を検知するセンサや体温を検知する体温センサ、心拍数を検知する心拍数検知センサを有していてもよく、これらの各センサから得られた情報のうち、少なくとも１つを情報処理装置１０に送信してもよい。

コントローラ２２は、ＨＭＤ２１に表示する映像の設定や、本実施形態における動作制御処理における各種設定を行う。また、情報処理装置１０がゲーム機器である場合には、コントローラ２２は、ゲームの開始や終了、項目の選択、ゲーム実行時における動作制御等を行う。

また、通信手段１１は、例えば、インターネットやＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等に代表される通信ネットワークにより接続される外部装置とデータの送受信が可能な状態で接続され、例えば外部装置からゲームプログラムをダウンロードしたり、本実施形態における動作制御プログラムに関する各種データを受信したり、送信したりすることができる。

設定手段１２は、目開閉検出手段１４において、目が閉じていることを検出するための基準時間を設定する。また、設定手段１２は、目開閉検出手段１４により検出された片目又は両目を閉じている状態、又はその状態を継続している時間の長さに応じて、どのような動作モードの変更を行うかを設定する。設定手段１２により設定された内容（設定情報）は、記憶手段１３に記憶される。なお、設定手段１２は、ユーザ毎に設定情報を登録することができる。

記憶手段１３は、本実施形態における動作制御処理に必要な各種データを記憶する。例えば記憶手段１３は、設定手段１２により設定される情報や、各種ゲームプログラム、ゲームプログラム等を実行するための各種設定情報、ＨＭＤ２１から取得したユーザの目の開閉状況等の情報を記憶する。なお、記憶する内容については、これに限定されるものではなく、目の開閉結果を示す履歴情報や他の実行履歴情報（ログ）等であってもよい。

目開閉検出手段１４は、ＨＭＤ２１に設けられた内向きのカメラ（撮像手段）等から撮影されたユーザの左右の目付近の画像を解析し、目の開閉状況を検出する。例えば、目開閉検出手段１４は、カメラの画像からユーザの眼球（白目と黒目）に相当する領域が存在するか否かを判断し、上記の領域（眼球領域）が存在する場合に目が開いていると判断し、領域が存在しない場合に目が閉じていることを検出する。

判断手段１５は、目開閉検出手段１４による目の開閉の検出において、単なる「まばたき」を目を閉じている状態として検出されることがないように、基準時間等を用いて目を閉じている状態の判断を行う。

例えば、判断手段１５は、所定時間間隔で検出される目（片目又は両目）の開閉検出結果に対し、目を閉じたことを検出したことをトリガーとして時間のカウントを行い、その経過時間（カウント）が、設定手段１２で設定された基準時間以上である場合に、目を閉じていると判断する。また、判断手段１５は、カウントが基準時間以上になった場合であっても、目を開けていることを検出するまでカウントを行う。これにより、本実施形態では、上述したカウントの値に応じた動作モードに変更することができる。

なお、上述した目開閉検出手段１４及び判断手段１５においては、例えばＨＭＤ２１が有するアイトラッキング機能を利用することで、ユーザが片目又は両目を閉じ続けていることを検出してもよい。例えば、目開閉検出手段１４は、アイトラッキング機能により黒目の位置を検出し、その検出結果から、片目又は両目が閉じているかを検出してもよい。例えば目を閉じている場合に、黒目の位置の検出結果は、「不定の値」又は「最後に検出した値」となる。ここで、人間の目は、特性上凝視していても常に動き続けている。そのため、判断手段１５は、黒目の位置が完全に停止している時間をカウントし、基準時間以上、黒目の位置が完全に停止している場合には、目を閉じていると判断してもよい。

動作モード変更手段１６は、判断手段１５による目の開閉検出結果に基づき、ユーザが片目又は両目を閉じ続けている状態に応じて、ゲーム上のプレイヤー（例えば、仮想空間上で動作するキャラクタ等のオブジェクト）、又は、ＨＭＤ２１の画面に表示される画像の動作モード（例えば、内部状態等）を変更する。この動作モードの変更を行うことで、例えば、実行中のゲームに対する様々な演出又は効果をユーザに提供することができる。

動作モード変更手段１６は、例えばパラメータ制御手段１６−１と、表示制御手段１６−２とを有する。パラメータ制御手段１６−１は、例えば仮想空間上で動作するキャラクタに対する攻撃力や回復力等のパラメータ情報を、予め設定された通常設定時の２倍に増加したり、敵を攻撃したりパズルを揃えたりといった所定の動作を行うことで獲得できるポイントを増加させる等のパラメータ制御を行う。つまり、パラメータ制御手段１６−１は、視界が狭まることをリスクとみなし、ゲームに対しリスクリターンを付与するパラメータ制御を行う。また、パラメータ制御手段１６−１は、目を閉じ続けた時間に応じて追加ボーナスの付与やチャージ攻撃による効果等をユーザに提供するような制御を行ってもよい。

また、表示制御手段１６−２は、例えばＨＭＤ２１の画面に表示される内容を変更したり、画面生成における負荷を軽減するようなレンダリング処理に関する表示制御を行う。例えば、表示制御手段１６−２は、判断手段１５により片目を閉じている状態であると判断すると、ユーザが目を凝らしていることを直感的に表現するユーザインターフェイス（例えば、ロックオンモード等）を画面に表示する。また、表示制御手段１６−２は、判断手段１５により両目を閉じている状態であると判断すると、ユーザが休息中又は集中していることを直感的に表現するユーザインターフェース（例えば「おやすみ中」又は「集中力アップ」等の文字表示等）を画面に表示する。

また、表示制御手段１６−２は、片目を閉じている状態である場合は、目を開けている方の映像を単純にコピーして、目を閉じている方に使用したり（描画負荷半減）、本来の映像を低解像度で描画して使用する等といった処理を行ってもよい。

なお、動作モード変更手段１６における動作モードの変更内容については、これに限定されるものではない。

画面生成手段１７は、例えばＨＭＤ２１の画面に表示する内容を生成する。例えば、画面生成手段１７は、ユーザが実行指示したゲームプログラムが提供する仮想空間を表示し、その仮想空間上に、ユーザが操作するキャラクタを合成した映像を生成する。このとき、画面生成手段１７は、動作モード変更手段１６により変更された動作モードに基づいて対応する画面の生成を行ってもよい。

制御手段１８は、情報処理装置１０の各構成全体を制御する。制御手段１８は、例えば通信手段１１による各種装置とのデータの送受信、設定手段１２による各種情報の設定、目開閉検出手段１４による目の開閉検出、判断手段１５による目を閉じている状態か否かの判断、動作モード変更手段１６による動作モードの変更、画面生成手段１７による画面生成等を制御するが、制御内容については、これに限定されるものではない。

例えば、制御手段１８は、ゲーム処理の実行の開始や終了を制御したり、エラー発生時の処理等を制御する。また、制御手段１８は、ユーザ毎にログイン認証時の処理を行い、認証成功時に、ユーザに対応するゲームの実行や動作制御処理等を行ってもよい。

なお、上述の例では、ＨＭＤ２１と、情報処理装置１０とが別体として構成されているが、これに限定されるものではなく、それぞれのＨＭＤ２１に対して情報処理装置１０が一体に構成されていてもよい。その場合、それぞれのＨＭＤ２１が、情報処理装置１０に相当する。また、本実施形態では、コントローラ２２を設けない構成であってもよい。

＜情報処理装置１０のハードウェア構成例＞
次に、情報処理装置１０のハードウェア構成例について、図を用いて説明する。図２は、情報処理装置のハードウェア構成の一例を示す図である。図２の例において、情報処理装置（コンピュータ）１０は、入力装置３１と、出力装置３２と、ドライブ装置３３と、補助記憶装置３４と、主記憶装置３５と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３６と、通信制御装置３７とを有し、これらはシステムバスＢで相互に接続されている。

入力装置３１は、例えばユーザ等が操作するキーボード及びマウス等のポインティングデバイスや、マイクロフォン等の音声入力デバイスを有しており、ユーザ等からのプログラムの実行指示、各種操作情報、ソフトウェア等を起動するための情報等の入力を受け付ける。入力装置３１は、上述したコントローラ２２等の操作デバイスでもよい。

出力装置３２は、本実施形態における処理を行うためのコンピュータ本体（情報処理装置１０）を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイ等を有する。出力装置３２は、ＣＰＵ３６が有する制御プログラムによりプログラムの実行経過や結果等を表示することができる。出力装置３２は、上述したＨＭＤ２１等の情報表示装置でもよい。

ここで、本実施形態において、例えばコンピュータ本体にインストールされる実行プログラムは、記録媒体３８等により提供される。記録媒体３８は、ドライブ装置３３にセット可能である。ＣＰＵ３６からの制御信号に基づき、記録媒体３８に格納された実行プログラムが、記録媒体３８からドライブ装置３３を介して補助記憶装置３４にインストールされる。

補助記憶装置３４は、例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等のストレージ手段等である。補助記憶装置３４は、ＣＰＵ３６からの制御信号に基づき、本実施形態における実行プログラム（動作制御プログラム）や、コンピュータに設けられた制御プログラム等を記憶し、必要に応じて入出力を行う。補助記憶装置３４は、ＣＰＵ３６からの制御信号等に基づいて、記憶された各情報から必要な情報を読み出したり、書き込むことができる。

主記憶装置３５は、ＣＰＵ３６により補助記憶装置３４から読み出された実行プログラム等を格納する。主記憶装置３５は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等である。

ＣＰＵ３６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、及び主記憶装置３５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して各処理を実現する。プログラムの実行中に必要な各種情報等は、補助記憶装置３４から取得することができ、また実行結果等を格納することもできる。

具体的には、ＣＰＵ３６は、例えば入力装置３１から得られるプログラムの実行指示等に基づき、補助記憶装置３４にインストールされたプログラムを実行させることにより、主記憶装置３５上でプログラムに対応する処理を行う。例えば、ＣＰＵ３６は、動作制御プログラムを実行させることで、通信手段１１による各種装置とのデータの送受信、設定手段１２による各種情報の設定、目開閉検出手段１４による目の開閉検出、判断手段１５による目を閉じている状態か否かの判断、動作モード変更手段１６による動作モードの変更、画面生成手段１７による画面生成等の処理を行う。ＣＰＵ３６における処理内容は、これに限定されるものではない。ＣＰＵ３６により実行された内容は、必要に応じて補助記憶装置３４等に記憶される。

通信制御装置３７は、上述した通信ネットワークを介して、他の外部装置との通信を行う。通信制御装置３７は、ＣＰＵ３６からの制御信号に基づき、通信ネットワーク等と接続することにより、実行プログラムやソフトウェア、設定情報等を外部装置等から取得する。また、通信制御装置３７は、プログラムを実行することで得られた実行結果を外部装置等に提供したり、本実施形態における実行プログラム自体を外部装置等に提供してもよい。

記録媒体３８は、上述したように実行プログラム等が格納されたコンピュータで読み取り可能な記録媒体である。記録媒体３８は、例えばフラッシュメモリ等の半導体メモリやＣＤ−ＲＯＭ、ＤＶＤ等の可搬型の記録媒体であるが、これに限定されるものではない。

図２に示すハードウェア構成に実行プログラム（例えば、動作制御プログラム等）をインストールすることで、ハードウェア資源とソフトウェアとが協働して本実施形態における各種ゲーム処理、動作制御処理等を実現することができる。また、記録媒体３８にインストールされているゲームプログラムを実行させることで、ＨＭＤ２１にゲーム画面を表示させて、ユーザの操作によりゲームを実行することができる。

＜動作制御処理＞
次に、本実施形態における動作制御処理について説明する。なお、本実施形態における動作制御処理は、例えばゲームプログラムの実行前等に、ユーザの目の開閉検出時に動作モード等を事前に設定する「設定処理」と、設定処理により得られた設定情報に基づき、ユーザの目の開閉検出及び検出後の動作モードの変更を行う「動作モード変更処理」とに大別される。したがって、以下の説明では、上述の２つの処理を分けて説明する。

＜設定処理＞
図３は、設定処理の一例を示すフローチャートである。図３の例において、設定手段１２は、ユーザ情報を設定し（Ｓ０１）、片目、両目の開閉を判断する基準時間を設定する（Ｓ０２）。基準時間の設定内容としては、例えば「片目を閉じている状態の検出時間：３秒」、「両目を閉じている状態の検出時間：２秒」等であるが、これに限定されるものではなく、例えば片目と両目とで同じ基準時間を設定してもよく、また右目と左目とで異なる基準時間を設定してもよい。

次に、設定手段１２は、片目、両目を閉じたと判断された場合の動作モードを設定する（Ｓ０３）。動作モードの内容としては、例えば上述したパラメータ制御又は表示制御等であるが、これに限定されるものではない。次に、設定手段１２は、上述のＳ０１〜Ｓ０３で得られたユーザ情報に関連付けた設定情報を記憶手段１３に記憶して登録を行う（Ｓ０４）。

なお、上述した設定処理は、後述する動作モード変更処理の実行前に少なくとも１度行われていればよく、動作モード変更処理が実行される度に実行されなくてもよい。また、図３の設定処理は、予め規定された値を用いることでユーザによる設定を省略してもよい。また、設定処理は、実行されるゲームの種類等に応じて設定を変更してもよい。

＜動作モード変更処理＞
図４は、動作モード変更処理の一例を示すフローチャートである。図４の例において、情報処理装置１０の目開閉検出手段１４は、上述した設定処理により設定され、記憶手段１３に記憶されている設定情報を取得する（Ｓ１１）。

次に、目開閉検出手段１４は、ＨＭＤ２１に設けられたカメラ等により、ユーザの目付近の画像を取得する（Ｓ１２）。次に、目開閉検出手段１４は、目の開閉を検出する（Ｓ１３）。なお、目開閉検出手段１４は、Ｓ１３の処理により、同時刻に閉じる動作が片目（右目又は左目）のみであるか、又は両目であるかを検出することができる。

次に、判断手段１５は、閉じている目に対する時間をカウントし（Ｓ１４）、カウントした時間が基準時間以上か否かを判断する（Ｓ１５）。カウントした値が基準時間以上である場合（Ｓ１５において、ＹＥＳ）、目を閉じている状態であると判断し、動作モード変更手段１６は、実行中のゲーム等における動作モード等の変更処理を行う（Ｓ１６）。なお、Ｓ１６の変更処理の具体例については、後述する。

また、Ｓ１５の処理において、カウントした時間が基準時間以上でない場合（Ｓ１５において、ＮＯ）、又は、Ｓ１６の処理後、画面生成手段１７は、動作モード変更処理により変更された画像又は予め設定されたそのままの画像を生成し（Ｓ１７）、生成画像をＨＭＤ２１の画面に表示する（Ｓ１８）。

次に、情報処理装置１０は、処理を終了するか否かを判断し（Ｓ１９）、処理を終了しない場合（Ｓ１９において、ＮＯ）、Ｓ１２の処理に戻る。また、ユーザ指示やゲームの終了等によりゲーム等を終了する場合（Ｓ１９において、ＹＥＳ）、動作モード変更処理を終了する。

＜Ｓ１６；変更処理＞
次に、上述したＳ１６における変更処理の一例について、フローチャートを用いて説明する。図５は、変更処理の一例を示すフローチャートである。

図５の例において、動作モード変更手段１６は、ユーザが閉じている目が片目であるか両目であるかを判断する。例えば、動作モード変更手段１６は、ユーザが閉じている目が片目が否かを判断し（Ｓ２１）、片目を閉じている場合（Ｓ２１において、ＹＥＳ）、表示制御手段１６−２における表示制御を行う。また、Ｓ２１の処理において、片目を閉じていない場合（Ｓ２１において、ＮＯ）、両目を閉じている状態であるため、パラメータ制御を行う（Ｓ２３）。

上述した図５の例においては、両目を閉じることで視界が遮られるためパラメータ制御によるモード変更を行う。また、図５の例では、片目を閉じることで、通常表示とは異なる表示を演出できるため、表示制御によるモード変更を行う。

なお、図５に示す変更処理は、あくまでも一例であり、その他にも多数のバリエーションによる変更処理を行うことができる。例えば、上述したＳ２２の処理と、Ｓ２３の処理とを入れ替えてもよく、Ｓ２２及びＳ２３の各処理において、表示制御及びパラメータ制御を組み合わせた制御を行ってもよい。

また、変更処理では、例えばＳ２２，Ｓ２３の処理の後、ユーザが両目を開けた状態になった場合に、すぐに元のモードに変更してもよく、また両目を開けた状態になったとしても所定時間（例えば、３〜５秒間程度）は、Ｓ２２又はＳ２３で処理した表示制御又はパラメータ制御を継続してもよい。上述した制御は、予め設定手段１２により設定してもよく、ユーザが実行中のゲーム毎に設定されてもよい。

＜動作制御処理の具体例＞
次に、本実施形態における動作制御処理の具体例について、図を用いて説明する。図６〜図１０は、動作制御処理の具体例を説明するための図（その１〜その５）である。本実施形態において、ユーザ４０は、例えば情報処理装置１０と無線で接続されたＨＭＤ２１を頭部に装着すること共に、情報処理装置１０と無線で接続されたコントローラ２２を用いて、所定のゲームの開始や終了、仮想空間上のキャラクタに対する操作を行う。

図６の例では、ＨＭＤ２１の画面上に、ユーザが選択したゲームプログラム（コンテンツ）の実行により提供される仮想空間６０が表示されている。また、図６の例では、仮想空間６０上に、敵のキャラクタ６１や、そのキャラクタ６１が所持する武器６２、扉６３等が表示されている。上述したキャラクタ６１、武器６２、及び扉６３は、オブジェクトの一例である。

ユーザ４０は、上述した画面５０に対し、コントローラ２２による操作指示を行うことで、操作対象のキャラクタを操作して、敵のキャラクタ６１に攻撃を仕掛けたり、扉６３から逃げるといった動作を実行させる。

また、本実施形態では、上述したようにゲームプレイ中に片目又は両目を閉じ続けていることを検出すると、ゲーム上の様々な演出や効果をユーザに提供するための動作制御（動作モードの変更）を行う。

例えば、片目を閉じている状態の場合には、視界が狭くなったり、仮想空間上での距離感がつかめなくなる。例えば、片目を閉じることで、図７に示すように、ＨＭＤ２１の画面５０−１に表示された仮想空間６０のうち、領域７０Ａ（斜線領域）の視界が遮られ、領域７０Ｂしか見えなくなる。そのような場合、動作モード変更手段１６は、ユーザ４０の視界がゲームの有利不利に直結するゲーム等でのリスクリターンとして、攻撃力を通常の２倍にする等のパラメータ制御を行う。なお、上記のパラメータ制御により動作モードが変更されたことをユーザ４０に通知するため、画面生成手段１７は、図７に示すように、その旨を示すメッセージ６４−１を生成し、画面５０−１上に表示してもよい。

動作モードの変更により制御されるパラメータの一例としては、例えばＦＰＳ（Ｆｉｒｓｔ Ｐｅｒｓｏｎ Ｓｈｏｏｔｅｒ）等におけるパワーアップや、レーシングゲームにおける強烈な加速、音楽ゲーム等による得点ポイントの増加等があるが、これに限定されるものではない。

また、本実施形態では、目を閉じ続ける時間の長さに応じて、よりハイリターンとなるようにパラメータを制御してもよい。例えば、長時間目を閉じ続けることで、強力な溜め攻撃が繰り出せる等であるが、これに限定されるものではない。

また、本実施形態においては、複数人が同一のゲームを同時にプレイすることができ、相手ユーザが、上述したように片目又は両目を閉じている場合も考えられる。例えば、図８に示す敵のキャラクタ６１を操作するユーザが両目を閉じている場合には、画面生成手段１７は、動作モードが変更されていることを示す情報と、それによる効果を示す情報とを通知するためのメッセージ６４−２を生成し、画面５０−２上に表示してもよい。

また、本実施形態において、ユーザ４０が片目を閉じている状態を検出すると、動作モード変更手段１６の表示制御手段１６−２は、相手のキャラクタを見る状態を直感的に表現するモードに変更する。

例えば、図９に示すように、ユーザ４０が片目を閉じることで、キャラクタ６１に関するパラメータ情報を表示するパラメータ表示領域８０が画面５０−３上に表示され、相手の体力や攻撃力等を知ることができる。また同様に、表示制御手段１６−２は、サーモグラフィー表示や透視表示等のように、特殊な映像モードに変更してもよく、通常では見えないキャラクタを表示させてもよい。また、表示制御手段１６−２は、スナイパーライフルの用に部分的に拡大表示するモードに変更してもよい。

なお、本実施形態では、動作モード変更手段１６は、左右のどちらの目を閉じているかに応じてモードの内容を変更してもよい。左右のどちらの目を閉じているときに、どのようなモードの変更を行うかについては、予め設定手段１２により設定されていてもよい。

また、表示制御手段１６−２は、ユーザ４０が両目を閉じていることを検出すると、感覚を研ぎ澄ませたり休息を取ることを表現する動作モードに変更してもよい。この場合、表示制御手段１６−２は、「休息中」等のメッセージを生成し画面５０上に表示してもよい。パラメータ制御手段１６−１は、ユーザ４０が両目を閉じていることを検出すると、休息を取ったとみなし体力等の回復ボーナスを付与する等のパラメータ制御を行ってもよい。本実施形態では、上述の例に示すように、ユーザが目を閉じている状態に応じて、表示制御及びパラメータ制御のうち、一方又は両方の制御を同時に行うことができる。つまり、本実施形態では、予め設定されている複数の表示制御及び複数のパラメータ制御のうち、１つの制御又は複数を組み合わせた制御を行うことができる。

また、動作モード変更手段１６は、ユーザ４０が両目を閉じていることを検出すると、サウンド表現を強化し、通常は聞こえない有用な音の情報が聞こえるようにモードを変更してもよい。サウンド表現の例としては、例えばユーザが操作するキャラクタの心の声（例えば「攻撃を受けて痛いよ〜」等）が音声出力されたり、相手のキャラクタが考えていること（例えば「かわいいなあ」等）が音声出力される等であるが、これに限定されるものではない。

また、動作モード変更手段１６は、ユーザ４０が両目を閉じていることを検出すると、光による攻撃等を緩和することを表現する動作モードに変更してもよい。例えば、ユーザ４０が両目を閉じている場合には、強烈な光による目くらまし攻撃に対する防御ができたり、ギリシャ神話に出てくるメデューサのように見た相手を石化してダメージを与えるキャラクタに対する防御等を行うことができる。

また、本実施形態において、表示制御手段１６−２は、ユーザ４０が目を閉じたことを検出すると、画面生成における負荷を軽減するようなレンダリング処理を行ってもよい。例えば、動作モード変更手段１６の表示制御手段１６−２は、ユーザが右目又は左目を閉じていることを検知すると、目を閉じている側に、低負荷で作成したダミーの映像を表示させる。通常、人は閉じていても、外光がまぶたを透過した光は、無意識下で認識される。そのため、「ある程度正しい像」を表示しておくのが好ましい。

例えば、表示制御手段１６−２は、ダミー映像として、例えば片目を閉じている場合は、目を開けている方の映像を単純にコピーして、目を閉じている方に使用する。これにより、描画負荷を半減させることができる。また、表示制御手段１６−２は、本来の映像を低解像度で描画して使用させるように制御してもよい。

例えば、図１０の例では、左右それぞれの目に表示される画像の一例を示している。図１０（Ａ）は、左目用の表示画像９０−１を示し、図１０（Ｂ）は、右目用の表示画像９０−２を示している。

例えば、ユーザ４０が左目を閉じたことを検知すると、表示制御手段１６−２は、表示画像９０−１に対し、上述したように右目用の表示画像９０−２を、左目用の画像に単純にコピーして使用する。また、表示制御手段１６−２は、表示画像９０−２を通常の解像度よりも低解像度にすることで、描画負荷を５〜３０％削減することができる。

また、表示制御手段１６−２は、目を閉じている側の画像は、ぼかして表示させてもよい。ぼかした画像を利用することで、目を開けて通常の処理に戻す際の切り替わりを緩和させることができる。例えば、表示制御手段１６−２は、目を閉じた状態から目を開けたことを検出した場合に、「ぼかし＋本来の映像」に表示を切り替える。また、表示制御手段１６−２は、時間の経過毎にぼかしを徐々に弱めることで、０．５秒〜２秒程度かけて元の両眼の映像に戻す。

上述したように、閉じた状態の目に対しても「ある程度正しい像」を表示することは効果的であるが、光がまぶたを透過する際に元の像は大きく乱れるため、ぼかしたても影響はない。もともと人間の目も、片目をある程度の時間閉じた後開くと映像が正しく認識できるまで、ある程度の時間がかかるため、その時間で従来の処理に戻せれば問題はない。

また、上述したように、片目を瞑った際にサーモグラフィー表現等のレンダリング負荷を引き上げる要因になるような高画質な表現に切り替える場合もあるため、上述した描画負荷を軽減する処理と組み合わせることで、画面生成時の負荷を軽減することができる。

＜まとめ＞
上述したように、本発明によれば、情報表示装置から得た情報をを用いて仮想空間に対する適切な制御を行うことができる。したがって、例えばユーザが実行中のゲームに対する様々な演出や効果をユーザに提供することができる。なお、上述した各実施形態におけるゲームの種類については、レーシングゲームやシューティングゲーム、格闘ゲーム、飛行機シミュレータ、恋愛ゲーム等の多種のゲームにおいて適用することができる。また、ゲームのカテゴリに属しないアプリケーション（プログラム）においても、本実施形態における動作制御処理を適用することができる。

以上本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。また、上述した各実施例の一部又は全部を組み合わせることも可能である。

１０ 情報処理装置
１１ 通信手段
１２ 設定手段
１３ 記憶手段
１４ 目開閉検出手段
１５ 判断手段
１６ 動作モード変更手段
１７ 画面生成手段
１８ 制御手段
２１ ＨＭＤ（情報表示手段の一例）
２２ コントローラ（操作手段の一例）
３１ 入力装置
３２ 出力装置
３３ ドライブ装置
３４ 補助記憶装置
３５ 主記憶装置
３６ ＣＰＵ
３７ 通信制御装置
３８ 記録媒体
４０ ユーザ
５０ 画面
６０ 仮想空間
６１〜６３ オブジェクト
６４ メッセージ
７０ 領域
８０ パラメータ表示領域
９０ 表示画像

Claims (7)

1. 装着型の情報表示装置に表示された画面を制御する情報処理装置において、
   前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段と、
   前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段と、
   前記動作モード変更手段により変更された動作モードで実行された画面を生成し、生成した画面を前記情報表示装置に表示する画面生成手段とを有することを特徴とする情報処理装置。
2. 前記動作モード変更手段は、
   前記オブジェクトに対して予め設定されたパラメータ情報を変更するパラメータ制御手段を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記動作モード変更手段は、
   前記画面に表示される内容の変更、又は、前記画面に対する解像度の変更を行う表示制御手段を有することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記表示制御手段は、
   前記目開閉検出手段により、片目を閉じている状態を検出した場合に、片目を閉じている目に対して表示する画像に対する表示制御を行うことを特徴とする請求項３に記載の情報処理装置。
5. 前記ユーザの目が閉じていることを検出するための基準時間、及び前記ユーザが目を閉じている状態或いは継続して目を閉じている時間の長さに対する動作モードの変更内容を設定する設定手段を有することを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
6. 装着型の情報表示装置に表示された画面を制御する情報処理装置における動作制御方法において、
   前記情報表示装置を装着したユーザの目の開閉を検出する目開閉検出ステップと、
   前記目開閉検出ステップにより前記ユーザが片目又は両目を閉じていることを検出した場合に、前記画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更ステップと、
   前記動作モード変更ステップにより変更された動作モードで実行された画面を生成し、生成した画面を前記情報表示装置に表示する画面生成ステップとを有することを特徴とする動作制御方法。
7. コンピュータを、
   情報表示装置を装着したユーザの目の開閉を検出する目開閉検出手段、
   前記目開閉検出手段により前記ユーザが片目又は両目を閉じていることを検出した場合に、前記情報表示装置の画面に表示されているオブジェクト又は前記画面に対する動作モードの変更を行う動作モード変更手段、及び
   前記動作モード変更手段により変更された動作モードで実行された画面を生成し、生成した画面を前記情報表示装置に表示する画面生成手段ととして機能させるための動作制御プログラム。