JP2021153789A - 情報処理装置、出力音決定方法及び出力音決定プログラム - Google Patents

Abstract

【課題】ユーザの視線を用いて、スキルの分析が可能な情報処理装置、出力音決定方法及び出力音決定プログラムを提供すること。【解決手段】情報処理装置１０は、仮想空間内の少なくとも１つのオブジェクトを表示装置に表示する表示部１２と、ユーザの視線を検出し、表示装置における視線位置を特定する視線検出部１４と、視線位置と、少なくとも１つのオブジェクトが表示される表示領域とに基づいて、ユーザが注視した注視オブジェクトを特定するとともに、ユーザが注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定するオブジェクト特定部１５と、注視オブジェクトの出力音に関連する情報である出力音情報と、注視開始時刻とに基づいて、ユーザの視線を注視オブジェクトに移動させた第１出力音を決定する出力音決定部１６と、を備える。【選択図】図２

Description

本発明は、情報処理装置、出力音決定方法及び出力音決定プログラムに関する。

特許文献１には、視線により指定された選択用オブジェクトに基づいて、関連する情報オブジェクトを探索する対話的情報探索装置が開示されている。

特開２０１４−５９８４０号公報

近年、ＦＰＳ（First Person shooter）及びＴＰＳ（Third Person shooter）等のゲームを用いた、いわゆる「ｅスポーツ」の競技者が増加している。ｅスポーツの競技者の増加に伴い、ゲームを楽しむことに加えて、ゲームのスキル向上を求めるユーザが増えてきている。スキル向上を図るためには、現在のスキルを分析した上で、スキル向上につながる検討及び訓練が必要である。

ここで、特許文献１のように、ユーザの視線を用いることにより、関連する情報を探索できるため、ユーザの視線を用いることは有効である。しかしながら、特許文献１は、対話インタフェースに関する技術であるため、ユーザの視線を用いて、現在のスキルを分析する技術を開示していない。

本発明の目的は、上述した課題を解決するためになされたものであり、ユーザの視線を用いて、スキルの分析が可能な情報処理装置、出力音決定方法及び出力音決定プログラムを提供することにある。

本発明にかかる情報処理装置は、仮想空間内の少なくとも１つのオブジェクトを表示装置に表示する表示部と、ユーザの視線を検出し、前記表示装置における視線位置を特定する視線検出部と、前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定するオブジェクト特定部と、前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する出力音決定部と、を備える。

本発明にかかる出力音決定方法は、仮想空間内の少なくとも１つのオブジェクトを表示装置に表示し、ユーザの視線を検出し、前記表示装置における視線位置を特定し、前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定し、前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する、出力音決定方法である。

本発明にかかる出力音決定プログラムは、仮想空間内の少なくとも１つのオブジェクトを表示装置に表示し、ユーザの視線を検出し、前記表示装置における視線位置を特定し、前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定し、前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する、処理をコンピュータに実行させる出力音決定プログラムである。

本発明によれば、ユーザの視線を用いて、スキルの分析が可能な情報処理装置、出力音決定方法及び出力音決定プログラムを提供できる。

実施の形態１の概要を説明するための図である。 実施の形態１にかかる情報処理システムの構成例を示す図である。 実施の形態１にかかる情報処理装置の動作例を示すフローチャートである。 実施の形態１にかかる情報処理装置の動作例を示すフローチャートである。 実施の形態２にかかる情報処理装置の構成例を示す図である。 オブジェクト情報テーブルの一例を示す図である。 実施の形態２にかかる情報処理装置の動作例を示すフローチャートである。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜、簡略化されている。

（実施の形態１）
実施の形態１の詳細を説明する前に、実施の形態１の概要を説明する。図１は、実施の形態１の概要を説明するための図である。図１は、例えば、ユーザＵ１が、ＦＰＳ又はＴＰＳ等のゲームを行っている状況を模式した模式図である。

ユーザＵ１は、ゲームを行っており、ディスプレイＤ１に仮想空間であるゲーム空間が表示されている。ディスプレイＤ１に表示されたゲーム空間には、例えば、ゲーム内のキャラクタであるオブジェクトＣ１、及びゲーム内の物体であるオブジェクトＣ２が配置されている。ゲーム空間において、オブジェクトＣ２は、例えば、オブジェクトＣ１により、ユーザＵ１が操作するプレイヤーに向かって投げられている。オブジェクトＣ２のゲーム空間内の位置は、時刻とともに変化し、それに伴い、ディスプレイＤ１における表示位置も変化する。オブジェクトＣ１及びＣ２には、関連する出力音が対応付けられており、オブジェクトＣ１及びＣ２のゲーム空間内の位置及び位置の変化に応じて、対応付けられた出力音が出力される。ユーザＵ１は、第１時刻では、視線Ｌ１のようにオブジェクトＣ１を見ていたが、何らかの情報に反応して、第２時刻では、視線Ｌ２のようにオブジェクトＣ２を注視し、注視した内容に基づいて行動する。

ゲームスキルの高いプロプレイヤー及び上級プレイヤーは、ゲームスキルの低いプレイヤーよりも、特定のオブジェクトをいち早く注視し、注視したオブジェクトに応じて必要な行動を行っていることが予測される。ＦＰＳ又はＴＰＳ等のゲームでは、音の情報は非常に重要な情報である。そのため、ゲームスキルの高いプレイヤーは、ゲーム内の特定の出力音に反応し、当該出力音に反応して特定のオブジェクトを注視し、必要な操作をしている。したがって、ゲームスキルの高いプレイヤー及びゲームスキルの低いプレイヤーを特定のオブジェクトに注視させた出力音を決定することにより、ゲームスキルの低いプレイヤーは、現在のゲームスキルを分析できる。

本実施の形態では、ユーザＵ１の視線を用いて、ユーザＵ１が注視したオブジェクトを特定し、ユーザＵ１を当該オブジェクトに注視させた出力音を決定することを実現する。また、本実施の形態では、ユーザＵ１のプレイ内容が把握できる映像データであって、決定された出力音が把握できる映像データを出力することで、配信された映像データに基づいて現在のゲームスキルを分析可能にすることを実現する。

＜情報処理システムの構成例＞
次に、図２を用いて、実施の形態１にかかる情報処理システム１００について説明する。図２は、実施の形態１にかかる情報処理システムの構成例を示す図である。情報処理システム１００は、情報処理装置１０と、表示端末３０とを備える。

情報処理装置１０は、例えば、パーソナルコンピュータ装置、サーバ装置、スマートフォン、携帯電話、タブレット端末等である。情報処理装置１０は、ネットワークを介して、表示端末３０と接続し、通信を行う。ネットワークは、無線ネットワークでもよいし、有線ネットワークでもよいし、無線及び有線ネットワークであってもよい。情報処理装置１０は、ゲームが実行されるゲーム端末である。情報処理装置１０は、自装置において、ユーザが行ったゲームのプレイ内容を映像データとして生成し、表示端末３０に配信する配信装置でもある。情報処理装置１０において実行されるゲームは、オフラインゲームであってもよいし、オンラインゲームであってもよい。なお、以降の説明では、情報処理装置１０が配信する映像データが、配信データとして記載されることがある。

表示端末３０は、例えば、パーソナルコンピュータ装置、スマートフォン、携帯電話、タブレット端末等の情報処理装置である。表示端末３０は、ネットワークを介して、情報処理装置１０と接続し、通信を行う。表示端末３０は、情報処理装置１０から配信された映像データ（配信データ）を受信し、受信した配信データを再生可能に構成される。

＜情報処理装置の構成例＞
次に、情報処理装置１０の構成例について説明する。情報処理装置１０は、操作入力部１１と、表示部１２と、音出力部１３と、視線検出部１４と、オブジェクト特定部１５と、出力音決定部１６と、制御部１７と、映像生成部１８と、通信部１９と、記憶部２０とを備える。

操作入力部１１、表示部１２、音出力部１３、視線検出部１４、オブジェクト特定部１５、出力音決定部１６、制御部１７、映像生成部１８、通信部１９及び記憶部２０は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェア又はモジュールであってもよい。また、操作入力部１１、表示部１２、音出力部１３、視線検出部１４、オブジェクト特定部１５、出力音決定部１６、制御部１７、映像生成部１８、通信部１９及び記憶部２０は、回路又はチップ等のハードウェアであってもよい。

操作入力部１１は、例えば、ゲームコントローラ、タッチパネル、キーボード、マウス等を含むように構成される。操作入力部１１は、ユーザが入力した操作についての操作情報を取得する。

表示部１２は、例えば、ディスプレイ、タッチパネル等の表示装置を含むように構成される。なお、表示部１２は、表示装置とのインタフェースとして構成されてもよい。表示部１２は、ゲーム空間内の少なくとも１つのオブジェクトが配置された、仮想空間であるゲーム空間を表示装置に表示する。オブジェクトは、例えば、ゲーム内のプレイヤーキャラクタ、敵キャラクタ、味方キャラクタ、及び各種物体を含む。表示部１２は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、ゲームプログラムから取得した、各オブジェクトのゲーム空間における位置情報及び行動情報に基づいて、各オブジェクトの表示装置における表示位置についての表示位置情報を生成する。もしくは、表示部１２は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、ゲームサーバ（不図示）から取得した、各オブジェクトのゲーム空間における位置情報及び行動情報に基づいて、各オブジェクトの表示装置における表示位置についての表示位置情報を生成する。表示部１２は、表示位置情報に基づいて、表示装置に各オブジェクトを表示する。

表示位置情報は、各オブジェクトを識別するオブジェクト識別情報と、各オブジェクトが表示される表示開始時刻及び表示終了時刻を含む表示時刻情報と、各時刻における各オブジェクトが表示される表示位置及び表示領域とを含むことができる。表示位置及び表示領域は、例えば、表示装置上に設けた座標系の座標を用いて管理される。表示位置は、各時刻における各オブジェクトの中心位置等の基準位置であってもよい。なお、表示位置情報は、表示位置を含まなくてもよく、表示領域が、各時刻における各オブジェクトの表示範囲を一意に定めるように設定されてもよい。各オブジェクトを識別するオブジェクト識別情報は、例えば、オブジェクトＩＤ（Identifier）であってもよいし、オブジェクト名であってもよい。

音出力部１３は、例えば、スピーカ等を含むように構成される。音出力部１３は、ゲーム内の各オブジェクトに関連する出力音を出力する。音出力部１３は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、各オブジェクトに関連する少なくとも１つの出力音に関連する情報である出力音情報を取得する。音出力部１３は、出力音情報に基づいて、表示装置に表示された各オブジェクトに関連する出力音を出力する。もしくは、音出力部１３は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、ゲームサーバ（不図示）から取得した、各オブジェクトのゲーム空間における位置情報及び行動情報と、出力音情報とに基づいて、表示装置に表示された各オブジェクトの出力音を出力する。

出力音情報は、出力音の関連する情報として、各オブジェクトを識別するオブジェクト識別情報と、各オブジェクトに関連する、少なくとも１つの出力音の各々を特定する識別情報と、各出力音の出力開始時刻及び出力終了時刻を含む出力時刻情報とを含むことができる。出力音識別情報は、例えば、出力音ＩＤ、出力音名であってもよい。

音出力部１３は、出力音情報に基づいて、各時刻において出力する出力音の識別情報を特定する。音出力部１３は、識別情報に対応する、出力音データを再生することにより、出力音を出力する。音出力部１３は、表示位置情報と出力音情報とに基づいて、各オブジェクトの各時刻におけるゲーム空間内の位置を仮想的な音源位置として、出力音の音量等が調整された出力音を出力する。

視線検出部１４は、情報処理装置１０においてゲームを行うユーザの視線を検出し、表示装置における視線位置を特定する。視線検出部１４は、表示部１２が設けた、表示装置上の座標系と、視線検出部１４が用いる座標系とが一致するように予め校正されている。視線検出部１４は、例えば、ユーザの視線位置を、表示装置上の座標系の座標を用いて管理する。視線検出部１４は、時刻と、視線位置とを対応付けて、ユーザの視線位置についての視線位置情報を生成する。

オブジェクト特定部１５は、視線位置と、表示位置情報とに基づいて、表示装置に表示された、ゲーム内のオブジェクトのうち、情報処理装置１０においてゲームを行うユーザが注視したオブジェクトを示す注視オブジェクトを特定する。オブジェクト特定部１５は、視線位置と、表示領域とに基づいて、視線位置を含む表示領域に表示されるオブジェクトを特定することにより注視オブジェクトを特定する。

ここで、情報処理装置１０においてゲームを行うユーザが、表示装置に表示された、いずれかのオブジェクトを、単に見ただけの場合もあり得る。そのため、オブジェクト特定部１５は、ユーザの視線位置が所定距離以上移動し、移動後の視線位置を所定時間以上含む表示領域に表示されるオブジェクトを注視オブジェクトとして特定する。なお、オブジェクト特定部１５は、ユーザの視線位置が所定距離以上移動した後の視線位置を含む表示領域に表示されるオブジェクトを注視オブジェクトとして特定してもよい。

また、オブジェクト特定部１５は、情報処理装置１０においてゲームを行うユーザが、注視オブジェクトを注視し始めたときの時刻を示す注視開始時刻を特定する。オブジェクト特定部１５は、ユーザの視線位置が所定距離以上移動し、移動後の視線位置を含む表示領域に表示されるオブジェクトがある場合、ユーザの視線位置が所定距離以上移動した直後の時刻を取得する。そして、オブジェクト特定部１５は、当該オブジェクトの表示領域がユーザの視線位置を所定時間以上含む場合、取得した時刻を注視開始時刻として特定する。一方、オブジェクト特定部１５は、移動後の視線位置を含む表示領域に表示されるオブジェクトの表示領域がユーザの視線位置を所定時間以上含まない場合、取得した時刻を破棄する。

出力音決定部１６は、出力音情報と、注視開始時刻とに基づいて、ユーザの視線を注視オブジェクトに移動させた出力音を決定する。出力音決定部１６は、記憶部２０から出力音情報を取得する。出力音決定部１６は、出力音情報のうち、オブジェクト特定部１５が特定した注視オブジェクトのオブジェクト識別情報と一致する出力音情報を抽出する。換言すると、出力音決定部１６は、注視オブジェクトに関連する出力音情報を抽出する。出力音決定部１６は、抽出した出力音情報に含まれる出力開始時刻と、出力終了時刻との間に注視開始時刻が含まれる出力音を特定し、特定した出力音をユーザの視線を注視オブジェクトに移動させた出力音として決定する。

制御部１７は、出力音決定部１６が特定した出力音の音量を変更する。制御部１７は、オブジェクト特定部１５が特定した注視開始時刻を用いて、出力音決定部１６が決定した出力音の注視開始時刻以降の音量を大きくするように、当該出力音を変更する。制御部１７は、出力音決定部１６が決定した出力音の出力音データを加工することにより、当該出力音の注視開始時刻以降の音量を大きくする。制御部１７は、音量が変更された出力音データを映像生成部１８に出力する。

映像生成部１８は、情報処理装置１０においてゲームを行うユーザのプレイ内容を含む映像データを生成する。映像生成部１８は、表示部１２が表示装置に表示する表示内容、及び音出力部１３が出力する出力音を記録して、ユーザのプレイ内容が含まれる映像データを生成する。

なお、映像生成部１８は、記憶部２０に記憶されたゲームプログラムを読み出し、表示部１２が生成した表示位置情を用いて、ユーザのプレイ内容が含まれた映像データを生成してもよい。映像生成部１８は、各オブジェクトのゲーム空間における位置情報及び行動情報と、出力音情報とに基づいて、各オブジェクトの各時刻におけるゲーム空間における位置を仮想的な音源位置として調整された出力音を映像データに重畳させて映像データを生成してもよい。

映像生成部１８は、生成した映像データに含まれる出力音のうち、出力音決定部１６が決定した出力音を、制御部１７が音量を変更した出力音に置換して、映像データを加工して、配信データを生成する。つまり、映像生成部１８は、出力音決定部１６が決定した出力音に対して、注視開始時刻以降の音量が変更された出力音を含む映像データを生成する。映像生成部１８は、制御部１７が加工した出力音データと、加工前の当該出力音データとを置換することにより、映像データを加工する。

通信部１９は、ネットワークを介して、表示端末３０と接続し、通信を行う。通信部１９は、映像生成部１８が生成した配信データを配信する。
記憶部２０は、ゲームプログラム、表示位置情報、出力音情報を含む、情報処理装置１０が使用する各種情報を記憶する。記憶部２０は、映像生成部１８が生成した映像データ及び配信データを記憶する。

＜表示端末の構成例＞
次に、表示端末３０の構成例について説明する。表示端末３０は、通信部３１と、表示部３２とを備える。
通信部３１は、ネットワークを介して、情報処理装置１０と接続し、通信を行う。通信部３１は、通信部１９から映像データを受信する。
表示部３２は、例えば、ディスプレイ、タッチパネル等の表示装置を含むように構成される。表示部３２は、通信部３１が受信した映像データを再生し、表示装置に表示する。

＜情報処理装置の動作例＞
次に、図３及び図４を用いて、情報処理装置１０の動作例について説明する。図３及び図４は、実施の形態１にかかる情報処理装置の動作例を示すフローチャートである。

まず、図３について説明する。図３は、ユーザの視線を注視オブジェクトに移動させた出力音を決定するまでの動作を示すフローチャートである。

表示部１２は、ゲーム空間内の少なくとも１つのオブジェクトの表示位置情報を生成する（ステップＳ１）。表示部１２は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、ゲームプログラムから取得した、各オブジェクトのゲーム空間における位置情報及び行動情報に基づいて、各オブジェクトの表示装置における表示位置情報を生成する。もしくは、表示部１２は、例えば、記憶部２０に記憶されたゲームプログラムを読み出し、ゲームサーバ（不図示）から取得した、各オブジェクトのゲーム空間における位置情報及び行動情報に基づいて、各オブジェクトの表示装置における表示位置情報を生成する。表示部１２は、表示位置情報に基づいて、表示装置に各オブジェクトを表示する。なお、ステップＳ１は、周期的又は非周期的に繰り返し実行される。

視線検出部１４は、ユーザの視線位置についての視線位置情報を生成する（ステップＳ２）。視線検出部１４は、情報処理装置１０においてゲームを行うユーザの視線を検出し、表示装置における視線位置を特定する。視線検出部１４は、ユーザの視線位置を、表示装置における座標系の座標に変換して、変換された座標により視線位置を管理する。視線検出部１４は、時刻と、視線位置とを対応付けて、視線位置情報を生成する。なお、ステップＳ２は、周期的又は非周期的に繰り返し実行される。図３では、ステップＳ２は、ステップＳ１の後に記載されているが、ステップＳ１と並列的に実行されてもよく、ステップＳ２の後にステップＳ１が実行されてもよい。

オブジェクト特定部１５は、視線位置情報に基づいて、ユーザの視線位置が所定距離以上移動したかを判定する（ステップＳ３）。オブジェクト特定部１５は、視線位置情報に基づいて、ユーザの視線位置が所定距離以上移動したか否かを判定する。

ユーザの視線位置が所定距離以上移動した場合（ステップＳ３のＹＥＳ）、オブジェクト特定部１５は、所定時間以上、ユーザの視線位置を含むオブジェクトがあるかを判定する（ステップＳ４）。オブジェクト特定部１５は、視線位置情報と、表示位置情報とに基づいて、ユーザの視線位置を含む表示領域のオブジェクトがあるか否かを判定する。ユーザの視線位置を含む表示領域のオブジェクトがある場合、オブジェクト特定部１５は、特定されたオブジェクトの表示領域が所定時間以上、ユーザの視線位置を含むかを判定する。また、ユーザの視線位置を含む表示領域のオブジェクトがある場合、オブジェクト特定部１５は、ユーザの視線位置が所定距離以上移動した直後の時刻を取得する。

一方、ステップＳ３において、ユーザの視線位置が所定距離以上移動していない場合（ステップＳ３のＮＯ）、情報処理装置１０は、ステップＳ２に戻り、視線位置情報が生成されるまで処理を待機する。

ステップＳ４において、所定時間以上、ユーザの視線位置を含むオブジェクトがある場合（ステップＳ４のＹＥＳ）、オブジェクト特定部１５は、所定時間以上、ユーザの視線位置を含むオブジェクトを注視オブジェクトとして特定する（ステップＳ５）。オブジェクト特定部１５は、ステップＳ４において特定されたオブジェクトの表示領域が、所定時間以上、ユーザの視線位置を含む場合、当該オブジェクトを注視オブジェクトとして特定する。また、オブジェクト特定部１５は、ステップＳ４において取得した時刻を注視開始時刻として決定（特定）する。

一方、ステップＳ４において、オブジェクト特定部１５は、所定時間以上、ユーザの視線位置を含むオブジェクトがない場合（ステップＳ４のＮＯ）、情報処理装置１０は、ステップＳ２に戻り、視線位置情報が生成されるまで処理を待機する。この場合、オブジェクト特定部１５は、ステップＳ４において取得した時刻を破棄する。

ステップＳ６において、出力音決定部１６は、視線位置の移動前後の数秒間に、注視オブジェクトが出力音を出力しているか判定する（ステップＳ６）。出力音決定部１６は、記憶部２０から出力音情報を取得する。出力音決定部１６は、出力音情報のうち、オブジェクト特定部１５が特定した注視オブジェクトのオブジェクト識別情報と一致する出力音情報を抽出する。出力音決定部１６は、抽出した出力音情報に含まれる出力開始時刻と、出力終了時刻との間に注視開始時刻が含まれる出力音があるか否かを判定する。

視線位置の移動前後の数秒間に、注視オブジェクトが出力音を出力している場合（ステップＳ６のＹＥＳ）、出力音決定部１６は、当該出力音を、ユーザの視線を注視オブジェクトに移動させた出力音として決定する（ステップＳ７）。そして、情報処理装置１０は、図４のフローチャートを実行する。

出力音決定部１６は、抽出した出力音情報に含まれる出力開始時刻と、出力終了時刻との間に注視開始時刻が含まれる出力音がある場合、当該出力音を、ユーザの視線を注視オブジェクトに移動させた出力音として決定する。

一方、ステップＳ６において、視線位置の移動前後の数秒間に、注視オブジェクトが出力音を出力していない場合（ステップＳ６のＮＯ）、情報処理装置１０は、ステップＳ２に戻り、視線位置情報が生成されるまで処理を待機する。

次に、図４について説明する。図４は、表示端末３０に配信する映像データを生成し、送信するまでの動作を示すフローチャートである。

制御部１７は、ステップＳ７において決定された出力音の音量を変更する（ステップＳ８）。制御部１７は、オブジェクト特定部１５が特定した注視開始時刻を用いて、出力音決定部１６が決定した出力音の注視開始時刻以降の音量を大きくするように、当該出力音の音量を調整する。

映像生成部１８は、情報処理装置１０においてゲームを行うユーザのプレイ内容を含む映像データを生成する（ステップＳ９）。映像生成部１８は、表示部１２が表示装置に表示する表示内容、及び音出力部１３が出力する出力音を記録して、ユーザのプレイ内容が含まれる映像データを生成する。

映像生成部１８は、音量が変更された出力音を用いて映像データを加工する（ステップＳ１０）。映像生成部１８は、ステップＳ９において生成した映像データに含まれる出力音のうち、ステップＳ８において音量が変更された出力音に置換して、映像データを加工し、配信データを生成する。
通信部１９は、配信データを表示端末３０に配信する（ステップＳ１１）。

以上、説明したように、情報処理装置１０は、ゲーム内のオブジェクトの表示位置情報と、ユーザの視線位置情報とに基づいて、ユーザが注視した注視オブジェクトを特定する。情報処理装置１０は、注視オブジェクトに関連する出力音情報と、注視開始時刻とに基づいて、ユーザの視線を注視オブジェクトに移動させた出力音を決定する。このように、情報処理装置１０を用いることにより、ゲームを行う各ユーザは、注視オブジェクトに注視させた出力音を把握できる。そのため、ゲームスキルの低いプレイヤーは、ゲームスキルの高いプレイヤーの上記出力音を把握できるので、ゲームスキルの高いプレイヤーとの違いを分析でき、現在のゲームスキルを分析することができる。また、ゲームスキルの高いプレイヤーは、プレイしたゲームについて、通常よりも素早い行動が起こせなかったプレイ箇所、又は素早い行動を起こす余地があるプレイ箇所を、注視オブジェクトに視線を移動させた出力音に基づいて分析できる。すなわち、ゲームスキルの低いプレイヤーだけでなく、ゲームスキルの高いプレイヤーも、現在のゲームスキルを分析することができる。したがって、実施の形態１にかかる情報処理装置１０によれば、ユーザの視線を用いてスキルの分析を行うことができる。

また、ゲームスキルの低いプレイヤーは、ゲームスキルの高いプレイヤーに対して決定された出力音に基づいて訓練を行うことにより、ゲームスキルの向上を図ることができる。すなわち、ゲームスキルの低いプレイヤーは、プロプレイヤーや上級プレイヤーがゲームプレイ中にどの音に傾聴しているかを知ることで、技術向上を図ることができる。したがって、実施の形態１にかかる情報処理装置１０によれば、ゲームスキルの向上に寄与できる。

さらに、情報処理装置１０は、出力音決定部１６が決定した出力音の音量が調整された出力音を含むプレイ内容が把握できる映像データを生成し、生成した映像データを配信する。映像データが、ゲームスキルの高いプレイヤーのプレイ内容が把握できる映像データである場合、映像データを受信したプレイヤーは、ゲームスキルの高いプレイヤーが傾聴している出力音を分析でき、スキル向上につなげることができる。

（実施の形態２）
続いて、実施の形態２について説明する。実施の形態２は、実施の形態１の改良例である。実施の形態２は、実施の形態１と基本的に同様であり、実施の形態１にかかる情報処理装置１０が情報処理装置４０に置き換わった構成である。なお、実施の形態２かかる情報処理システム、表示端末３０の構成例及び動作例は、実施の形態１と基本的に同様であるため、実施の形態１と共通する説明については適宜割愛する。

＜情報処理装置の構成例＞
図５を用いて、実施の形態２にかかる情報処理装置４０の構成例について説明する。図５は、実施の形態２にかかる情報処理装置の構成例を示す図である。情報処理装置４０は、実施の形態１にかかるオブジェクト特定部１５、映像生成部１８及び記憶部２０が、それぞれオブジェクト特定部４１、映像生成部４２及び記憶部４３に置き換わった構成である。その他の構成については基本的に同様であるため、説明を適宜割愛する。

オブジェクト特定部４１、映像生成部４２及び記憶部４３は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェア又はモジュールであってもよい。また、オブジェクト特定部４１、映像生成部４２及び記憶部４３は、回路又はチップ等のハードウェアであってもよい。

オブジェクト特定部４１は、表示位置情報と、視線位置情報とに基づいて、注視オブジェクトを特定する。オブジェクト特定部４１は、少なくとも１つの注視オブジェクトの各々について、ユーザが注視した注視回数を計数する。換言すると、オブジェクト特定部４１は、表示装置に表示された、ゲーム空間内の少なくとも１つのオブジェクトのうち、注視オブジェクトとして選択した回数を計数する。オブジェクト特定部４１は、例えば、１ゲーム当たりの注視回数を計数する。オブジェクト特定部４１は、注視オブジェクトを特定すると、注視オブジェクトを管理するオブジェクト情報テーブルＴ１の注視回数をインクリメントして更新する。

ここで、図６を用いて、オブジェクト情報テーブルＴ１について説明する。図６は、オブジェクト情報テーブルの一例を示す図である。オブジェクト情報テーブルＴ１は、情報処理装置１０においてゲームを行ったユーザ名と、オブジェクト名と、１ゲーム当たりの注視回数とが対応付けられる。オブジェクト情報テーブルＴ１は、記憶部２０に格納される。

ユーザ名には、情報処理装置１０においてゲームを行ったユーザの名前が設定される。ユーザ名には、例えば、オブジェクト特定部４１が、ゲーム内のプレイヤー名を取得して、取得したプレイヤー名が設定される。なお、オブジェクト情報テーブルＴ１には、ユーザ名の代わりに、例えば、情報処理装置１０にログインしたユーザＩＤ等が設定されてもよい。

オブジェクト名には、オブジェクト特定部４１が特定した注視オブジェクトを識別するオブジェクト識別情報の一例であるオブジェクト名が設定される。なお、オブジェクト情報テーブルＴ１には、オブジェクト名の代わりに、例えば、オブジェクトＩＤが設定されてもよい。

１ゲーム当たりの注視回数には、オブジェクト特定部４１が、過去に特定した、注視オブジェクトをユーザが注視した１ゲーム当たりの注視回数が設定される。換言すると、１ゲーム当たりの注視回数には、オブジェクト特定部４１が、表示装置に表示された、ゲーム空間内の少なくとも１つのオブジェクトのうち、注視オブジェクトとして選択した１ゲーム当たりの回数が設定される。

図５に戻り、映像生成部４２について説明する。映像生成部４２は、表示部１２が表示装置に表示する表示内容、及び音出力部１３が出力する出力音を記録して、ユーザのプレイ内容が含まれる映像データを生成する。映像生成部４２は、オブジェクト情報テーブルＴ１を、記憶部２０から呼び出す。映像生成部４２は、オブジェクト情報テーブルＴ１のうち、１ゲーム当たりの注視回数が所定数以上の注視オブジェクトがあるか判定する。映像生成部４２は、オブジェクト情報テーブルＴ１に、１ゲーム当たりの注視回数が所定数以上の注視オブジェクトがある場合、当該注視オブジェクトが強調表示されるように映像データを加工して、配信データを生成する。

記憶部４３は、実施の形態１にかかる記憶部２０が記憶する情報に加えて、オブジェクト情報テーブルＴ１を記憶する。

＜情報処理装置の動作例＞
次に、図３及び図７を用いて、実施の形態２にかかる情報処理装置４０の動作例について説明する。図７は、実施の形態２にかかる情報処理装置の動作例を示すフローチャートである。情報処理装置４０の動作例は、実施の形態１にかかる情報処理装置１０の動作例と比較すると、図３のステップＳ５が異なり、図４のフローチャートが図７に置き換わっている。

まず、図３を参照して、情報処理装置４０の動作例について、実施の形態１との差分を説明する。ステップＳ１〜Ｓ４、及びステップＳ６及びＳ７については同様であるため説明を割愛する。

ステップＳ５において、オブジェクト特定部４１は、注視オブジェクトを特定すると、オブジェクト情報テーブルＴ１を更新する。オブジェクト特定部４１が特定した注視オブジェクトがオブジェクト情報テーブルＴ１に登録されていない場合、オブジェクト特定部４１は、オブジェクト情報テーブルＴ１に、１ゲーム当たりの注視回数を１として、オブジェクト特定部４１が特定した注視オブジェクトに関する情報を新たに登録する。

オブジェクト特定部４１が特定した注視オブジェクトがオブジェクト情報テーブルＴ１に登録されている場合、オブジェクト特定部４１は、オブジェクト情報テーブルＴ１の当該注視オブジェクトのレコードの１ゲーム当たりの注視回数をインクリメントする。

次に、図７について説明する。図７は、図４に対応するフローチャートであり、図４のフローチャートにステップＳ２１〜Ｓ２３が追加されている。ステップＳ８〜Ｓ１１については、図４と同様であるため説明を割愛する。

ステップＳ２１において、映像生成部４２は、オブジェクト情報テーブルＴ１を呼び出し（ステップＳ２１）、オブジェクト情報テーブルＴ１のうち、１ゲーム当たりの注視回数が所定数以上の注視オブジェクトがあるか判定する（ステップＳ２２）。

映像生成部４２は、オブジェクト情報テーブルＴ１に、１ゲーム当たりの注視回数が所定数以上の注視オブジェクトがある場合、当該注視オブジェクトが強調表示されるように映像データを加工して、配信データを生成する（ステップＳ２３）。

以上のように、情報処理装置４０は、ユーザの視線を注視オブジェクトに移動させた出力音の音量を大きくすることに加えて、ユーザが、より注目している注視オブジェクトを強調表示した配信データを生成する。そのため、実施の形態２にかかる情報処理装置４０を用いて、プロプレイヤー、上級プレイヤーが注視している注視回数が多いオブジェクトを強調表示することで、下級プレイヤーに視覚的にも分かりやすく伝えることができる。

また、映像データが、ゲームスキルの高いプレイヤーのプレイ内容が把握できる映像データである場合、映像データを受信したプレイヤーは、ゲームスキルの高いプレイヤーが傾聴している出力音に加えて、より注目しているオブジェクトを即時に把握できる。したがって、実施の形態２にかかる情報処理装置４０によれば、映像データを受信したプレイヤーは、ゲームスキルの高いプレイヤーのプレイ内容を分析でき、スキル向上を図ることができる。

本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、上記実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、任意の処理を、ＣＰＵ（Central Processing Unit）にコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０、４０ 情報処理装置
１１ 操作入力部
１２、３２ 表示部
１３ 音出力部
１４ 視線検出部
１５、４１ オブジェクト特定部
１６ 出力音決定部
１７ 制御部
１８、４２ 映像生成部
１９、３１ 通信部
２０、４３ 記憶部
３０ 表示端末
１００ 情報処理システム

Claims (8)

1. 仮想空間内の少なくとも１つのオブジェクトを表示装置に表示する表示部と、
   ユーザの視線を検出し、前記表示装置における視線位置を特定する視線検出部と、
   前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定するオブジェクト特定部と、
   前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する出力音決定部と、を備える情報処理装置。
2. 前記オブジェクト特定部は、前記視線位置が所定距離以上移動した後の第１視線位置を含む表示領域に表示されるオブジェクトを前記注視オブジェクトとして特定する、請求項１に記載の情報処理装置。
3. 前記オブジェクト特定部は、前記第１視線位置に移動した後の前記視線位置を所定時間以上含む表示領域に表示されるオブジェクトを前記注視オブジェクトとして特定する、請求項２に記載の情報処理装置。
4. 前記出力音情報は、前記注視オブジェクトに関連する少なくとも１つの出力音の出力開始時刻と出力終了時刻とを含み、
   前記出力音決定部は、前記出力開始時刻と前記出力終了時刻との間に前記注視開始時刻が含まれる出力音を前記第１出力音として決定する、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記第１出力音の音量を変更する制御部と、
   前記音量が変更された第１出力音を含む映像データを生成する映像生成部と、
   をさらに備える請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記オブジェクト特定部は、少なくとも１つの前記注視オブジェクトの各々について、前記ユーザが注視した注視回数を計数し、
   前記映像生成部は、前記注視回数が所定数以上の注視オブジェクトが強調表示された前記映像データを生成する、請求項５に記載の情報処理装置。
7. 仮想空間内の少なくとも１つのオブジェクトを表示装置に表示し、
   ユーザの視線を検出し、前記表示装置における視線位置を特定し、
   前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定し、
   前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する、出力音決定方法。
8. 仮想空間内の少なくとも１つのオブジェクトを表示装置に表示し、
   ユーザの視線を検出し、前記表示装置における視線位置を特定し、
   前記視線位置と、前記少なくとも１つのオブジェクトが表示される表示領域とに基づいて、前記ユーザが注視した注視オブジェクトを特定するとともに、前記ユーザが前記注視オブジェクトを注視し始めた時刻を示す注視開始時刻を特定し、
   前記注視オブジェクトの出力音に関連する情報である出力音情報と、前記注視開始時刻とに基づいて、前記ユーザの視線を前記注視オブジェクトに移動させた第１出力音を決定する、処理をコンピュータに実行させる出力音決定プログラム。

Images