JP2023012965A - 音声ユーザインターフェースプログラム、記録媒体、音声ユーザインターフェース処理方法 - Google Patents

Abstract

【課題】プレイヤとゲームキャラクタとの間で自然なコミュニケーションをとることを可能とする。【解決手段】音声ユーザインターフェースプログラムは、ヘッドマウントディスプレイ３の制御部７を、予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定する第１発声判定処理部２５、言葉の最初の一部が発声されたと判定した場合に、言葉が最後まで発声される前に、言葉に対応する第１の処理を実行する第１アクション実行処理部２７、第１の処理の実行と並行して、プレイヤにより言葉が最後まで発声されたか否かを判定する第２発声判定処理部２９、言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する第２アクション実行処理部３１、として機能させる。【選択図】図４

Description

本発明は、音声ユーザインターフェースプログラム、記録媒体、及び音声ユーザインターフェース処理方法に関する。

従来、音声入力式ヒューマンインタフェースを備えたゲーム機が知られている。例えば特許文献１には、プレイヤの語りかけが音声認識されると、その言語的意味がゲーム映像上の対話相手キャラクタのつぎの振る舞いに反映し、現実世界のプレイヤとゲーム世界の仮想コミュニティのキャラクタとがコミュニケーションを行うことが可能なゲーム機が記載されている。

特開２０００－３７７号公報

上記従来技術では、プレイヤが発した音声を単語として認識し、当該認識した単語の内容に応じたアクションをキャラクタに行わせる。このため、例えば音声とアクションとが同時並行して行われるコミュニケーションの場合には、キャラクタのアクションが遅れることとなり、不自然なコミュニケーションとなってしまう場合があった。

本発明はこのような問題点に鑑みてなされたものであり、プレイヤとゲームキャラクタとの間で自然なコミュニケーションをとることが可能な音声ユーザインターフェースプログラム、記録媒体、及び音声ユーザインターフェース処理方法を提供することを目的とする。

上記目的を達成するために、本発明の音声ユーザインターフェースプログラムは、情報処理装置を、予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定する第１発声判定処理部、前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記言葉に対応する第１の処理を実行する第１処理実行処理部、前記第１の処理の実行と並行して、前記プレイヤにより前記言葉が最後まで発声されたか否かを判定する第２発声判定処理部、前記言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する第２処理実行処理部、として機能させる。

上記目的を達成するために、本発明の記録媒体は、上記音声ユーザインターフェースプログラムを記録した、情報処理装置が読み取り可能な記録媒体である。

上記目的を達成するために、本発明の音声ユーザインターフェース処理方法は、情報処理装置によって実行されるゲーム処理方法であって、予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定するステップと、前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記言葉に対応する第１の処理を実行するステップと、前記第１の処理の実行と並行して、前記プレイヤにより前記言葉が最後まで発声されたか否かを判定するステップと、前記言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行するステップと、を有する。

本発明の音声ユーザインターフェースプログラム等によれば、プレイヤとゲームキャラクタとの間で自然なコミュニケーションをとることができる。

実施形態に係るゲームシステムの全体構成の一例を表すシステム構成図である。 ヘッドマウントディスプレイの概略構成の一例を表すブロック図である。 ヘッドマウントディスプレイの表示部に表示されるゲーム画面の一例を表す図である。 ヘッドマウントディスプレイの制御部の機能的構成の一例を表すブロック図である。 「あっち向いてホイ」の遊戯を実行する場合にヘッドマウントディスプレイの表示部に表示されるゲーム画面の具体例を表す図である。 「あっち向いてホイ」の遊戯を実行する場合にヘッドマウントディスプレイの表示部に表示されるゲーム画面の具体例を表す図である。 「あっち向いてホイ」の遊戯を実行する場合にヘッドマウントディスプレイの表示部に表示されるゲーム画面の具体例を表す図である。 「じゃんけんぽん」の遊戯を実行する場合にヘッドマウントディスプレイの表示部に表示されるゲーム画面の具体例を表す図である。 「じゃんけんぽん」の遊戯を実行する場合にヘッドマウントディスプレイの表示部に表示されるゲーム画面の具体例を表す図である。 制御部によって実行される処理手順の一例を表すフローチャートである。 じゃんけん処理の詳細手順の一例を表すフローチャートである。 ゲームシステムの他の例を表すシステム構成図である。 ゲームシステムのさらに他の例を表すシステム構成図である。 制御部のハードウェア構成の一例を表すブロック図である。

以下、本発明の実施形態について図面を参照しつつ説明する。

＜１．ゲームシステムの構成＞
まず、図１及び図２を用いて、実施形態に係るゲームシステム１の構成の一例について説明する。図１に示すように、ゲームシステム１は、ヘッドマウントディスプレイ３を有する。なお、ゲームシステム１は、ヘッドマウントディスプレイ３に加えて、ゲーム機本体や、プレイヤが操作するためのゲームコントローラ等を有してもよい。

ヘッドマウントディスプレイ３は、プレイヤの頭部又は顔部に装着可能な、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：複合現実）を実現する表示装置である。ヘッドマウントディスプレイ３は、透過型の表示部５を有しており、制御部７（図２参照）により生成されたゲームに係る仮想的な画像を現実空間の画像に重ね合わせて表示する。

図２に示すように、ヘッドマウントディスプレイ３は、表示部５と、頭部方向検出部９と、位置検出部１１と、音声入力部１３と、音声出力部１５と、手動作検出部１７と、制御部７とを有する。

表示部５は、例えば透過型（シースルー）の液晶ディスプレイや有機ＥＬディスプレイ等で構成されており、透過して見える現実空間の画像に、制御部７により生成されたゲームに係る仮想的な画像を、例えばホログラフィック映像として重ね合わせて表示する。仮想的な画像は、２次元画像又は３次元画像のいずれでもよく、また静止画又は動画のいずれでもよい。なお、表示部５を非透過型とし、例えばカメラで撮像した現実空間の画像に、制御部７により生成された仮想的な画像を重ね合わせて表示してもよい。

頭部方向検出部９は、プレイヤの頭部の角度、角速度、又は角加速度等を検出し、当該検出結果に基づいて頭部の向き（顔の向き）を検出する。頭部の向きは、例えば深度センサやカメラを用いてプレイヤの周囲の現実空間を認識する空間認識処理によって生成される現実空間の静止座標系における方向（ベクトル）として検出されてもよい。頭部の方向の検出手法は特に限定されるものではなく、種々の検出手法を採用することができる。例えば、ヘッドマウントディスプレイ３に加速度センサやジャイロセンサ等を設けておき、これらのセンサによる検出結果に基づいて、制御部７がプレイヤの頭部の方向を算出してもよい。

位置検出部１１は、プレイヤの頭部の位置を検出する。頭部の位置の検出手法は特に限定されるものではなく、種々の検出手法を採用することが可能である。例えば、ヘッドマウントディスプレイ３の周囲複数個所にカメラ及び深度センサを設けておき、深度センサを用いてプレイヤの周囲空間（現実の空間）を認識させ、複数のカメラによる検出結果に基づいて、制御部７が周囲空間におけるプレイヤの頭部の位置を認識する手法でもよい。また例えば、ヘッドマウントディスプレイ３の外部にカメラを設置すると共に、ヘッドマウントディスプレイ３に発光部などの目印を設置しておき、外部カメラによりプレイヤの頭部の位置を検出してもよい。

音声入力部１３は、例えばマイクロフォン等で構成されており、プレイヤが発する音声やその他の外部音を入力する。入力されたプレイヤの音声は、制御部７が音声認識処理により言葉として認識し、認識した言葉に基づいて所定の処理を実行する。

音声出力部１５は、例えばスピーカ等で構成されており、プレイヤの耳に対して音声を出力する。例えばキャラクタが発する音声、効果音、ＢＧＭ等が出力される。

手動作検出部１７は、例えばカメラや赤外線センサ等で構成されており、プレイヤの手の形や動作をハンドアクションとして検出する。制御部７は、検出されたハンドアクションに基づいて所定の処理を実行する。

制御部７は、各種のセンサの検出信号や音声入力に基づいて各種の処理を実行する。各種の処理は、例えば画像表示処理、位置検出処理、空間認識処理、音声認識処理、音声出力処理、ハンドアクション検出処理等である。また、この他にも多種多様な処理を実行可能としてもよい。制御部７は、ヘッドマウントディスプレイ３の頭部方向検出部９、位置検出部１１、音声入力部１３、音声出力部１５、手動作検出部１７等による処理結果に基づいて、表示部５に表示する仮想画像を生成し、又は変化させ、ＭＲ（複合現実）を表現する。

＜２．ゲームの概略内容＞
本実施形態では、制御部７により、音声ユーザインターフェースプログラムの一例であるゲームプログラム、及び、音声ユーザインターフェース処理方法の一例であるゲーム処理方法が実行される場合について説明する。次に、本実施形態のゲームプログラム及びゲーム処理方法が制御部７によって実行されることにより提供されるゲームの概略内容の一例について説明する。

本実施形態に係るゲームは、現実空間の画像に仮想的なゲームキャラクタの画像を重ね合わせることで、プレイヤに対して現実空間に存在するように見えるゲームキャラクタとのコミュニケーションを可能とする。ゲームキャラクタの動作や行動等は、プレイヤによる各種の操作入力（頭部の動作、手の動作、音声入力等）に応じて変化する。ゲームキャラクタの種類は特に限定されるものではないが、典型的には人間の男性キャラクタ又は女性キャラクタである。なお、ゲームキャラクタは、人間以外の動物キャラクタ、人間や動物以外の仮想的な生物キャラクタ、生物以外のロボットや物体（いわゆるオブジェクト）等のキャラクタでもよい。

図３に、ゲーム画面の一例を示す。この例では、女性のゲームキャラクタ１９が、例えば現実空間であるプレイヤの部屋の画像２１に重ね合わせて表示されている。

本実施形態では、プレイヤとゲームキャラクタ１９とが、音声とアクションの少なくとも一部が同時並行して行われるコミュニケーションを実行する。以下では、そのようなコミュニケーションの一例として、例えば「あっち向いてホイ」や「じゃんけん」等、プレイヤとゲームキャラクタ１９とが勝敗を競う遊戯を実行する場合について、処理の詳細を説明する。

＜３．制御部の機能的構成＞
図４を用いて、ヘッドマウントディスプレイ３の制御部７の機能的構成の一例について説明する。

図４に示すように、制御部７（情報処理装置の一例）は、音声認識処理部２３と、第１発声判定処理部２５と、第１アクション実行処理部２７と、第２発声判定処理部２９と、第２アクション実行処理部３１と、アクション検出処理部３３と、第３アクション実行処理部３５とを有する。

音声認識処理部２３は、音声入力部１３により入力したプレイヤの音声を対応するテキスト（文字列）に変換する。具体的には、例えば音声を周波数解析等により分析し、音声認識辞書（音響モデル、言語モデル、発音辞書等）を用いて音素を認識し、テキストに変換する。なお、音声認識処理に機械学習やディープラーニング等の技術を用いてもよい。

第１発声判定処理部２５は、上記音声認識処理部２３により変換されたテキストに基づいて、予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定する。「予め設定された言葉」は、プレイヤとゲームキャラクタとの間で音声とアクションの少なくとも一部が同時並行して行われるコミュニケーションを表す言葉であれば、特に限定されるものではない。例えば、プレイヤとゲームキャラクタとが勝敗を競う遊戯を表す言葉としてもよい。具体的には「あっち向いてホイ」や「じゃんけんぽん」等である。「最初の一部」は、言葉が「あっち向いてホイ」の場合には例えば「あっち・・・」又は「あっち向いて・・・」等である。言葉が「じゃんけんぽん」の場合には例えば「じゃん・・・」又は「じゃんけん・・・」等である。なお、上記は一例であり、上記とは異なる部分で区切って最初の一部としてもよい。

なお、予め設定された言葉に、地域や年代等に応じて表現にバリエーションがある場合には、それらが含まれるように言葉を設定してもよい。

第１アクション実行処理部２７（第１処理実行処理部の一例）は、上記第１発声判定処理部２５により言葉の最初の一部が発声されたと判定した場合に、言葉が最後まで発声される前に、言葉に対応する第１の処理を実行する。具体的には、第１アクション実行処理部２７は、「第１の処理」として、言葉に対応する第１のアクションをゲームキャラクタに開始させる。「言葉に対応する第１のアクション」は、言葉が例えば遊戯を表す言葉である場合には当該遊戯の動作である。例えば「あっち向いてホイ」の場合には、「あっち向いて」の部分に対応する準備動作（例えば顔や身体を揺らしてリズムを取る動作や、プレイヤの指差しを待っている動作等。顔をいずれかの向きに動かし始める動作でもよい）、及び、「ホイ」の部分に対応する顔を上下左右のいずれかの方向に向ける動作である。したがって、第１アクション実行処理部２７は、プレイヤにより例えば「あっち」が発声されたタイミングでゲームキャラクタに上記準備動作を開始させる。なお、顔を向ける方向は、例えばランダムに決定されてもよいし、例えばゲームキャラクタの性格や能力等を反映させて決定されてもよい。

第１のアクションは上記の準備動作と顔を動かす動作により構成されるが、その切り替えタイミングは、例えば「あっち向いてホイ」の一般的な発声の速さに対応する固定的なタイミングで切り替わるように設定されてもよい。この場合、処理を簡素化でき、処理負荷を軽減できる。また、例えば「ホイ」の「ホ」が発声されたことを検出したタイミングで準備動作から顔を動かす動作に切り替わるように設定されてもよい。この場合、例えばプレイヤが「あっち向いて～」と声を伸ばした後に「ホイ」と発声するような場合にも対応でき、プレイヤの発声とゲームキャラクタの動作とを精度良く同期させることができる。

また、例えば「じゃんけんぽん」の場合には、「じゃんけん」の部分に対応する準備動作（例えば手や腕を揺らしてリズムを取る動作やプレイヤが手を出すのを待っている動作等。手でいずれかの形を作り始める動作でもよい）、及び、「ぽん」の部分に対応する手をグー、チョキ、パーのいずれかの形にして出す動作である。したがって、第１アクション実行処理部２７は、プレイヤにより例えば「じゃん」が発声されたタイミングでゲームキャラクタに上記準備動作を開始させる。なお、手の形は、例えばランダムに決定されてもよいし、例えばゲームキャラクタの性格や能力等を反映させて決定されてもよい。

第１のアクションは上記の準備動作と手でじゃんけんの形を作って出す動作により構成されるが、その切り替えタイミングは、例えば「じゃんけんぽん」の一般的な発声の速さに対応する固定的なタイミングで切り替わるように設定されてもよい。この場合、処理を簡素化でき、処理負荷を軽減できる。また、例えば「ぽん」の「ぽ」が発声されたことを検出したタイミングで準備動作から手で形を作って出す動作に切り替わるように設定されてもよい。この場合、例えばプレイヤが「じゃーんけん」と声を伸ばした後に「ぽん」と発声するような場合にも対応でき、プレイヤの発声とゲームキャラクタの動作とを精度良く同期させることができる。

第２発声判定処理部２９は、上記音声認識処理部２３により変換されたテキストに基づいて、上記第１アクション実行処理部２７による第１のアクションの実行と並行して、プレイヤにより言葉が最後まで発声されたか否かを判定する。つまり、第１発声判定処理部２５は言葉の最初の一部が発声されたか否かを判定するのに対し、第２発声判定処理部２９は言葉の全部がプレイヤにより発声されたか否かを判定する。第２発声判定処理部２９による判定は、第１発声判定処理部２５による判定が満たされてゲームキャラクタが第１のアクションを開始した後も続行され、当該第１のアクションと同時並行して実行される。

例えば、言葉が遊戯を表す言葉である場合には、第２発声判定処理部２９は遊戯のアクションの実行と並行してプレイヤにより遊戯を表す言葉が最後まで発声されたか否かを判定する。例えば、言葉が「あっち向いてホイ」の場合には、第２発声判定処理部２９は「あっち向いてホイ」の上述した準備動作及び顔を動かす動作の実行と並行して、プレイヤにより「あっち向いてホイ」の言葉が最後まで発声されたか否かを判定する。例えば、言葉が「じゃんけんぽん」の場合には、第２発声判定処理部２９は「じゃんけんぽん」の上述した準備動作及び手を出す動作の実行と並行して、プレイヤにより「じゃんけんぽん」の言葉が最後まで発声されたか否かを判定する。

第２アクション実行処理部３１（第２処理実行処理部の一例）は、上記第２発声判定処理部２９による言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する。具体的には、第２アクション実行処理部３１は、上記第２発声判定処理部２９により言葉が最後まで発声されなかったと判定した場合に、「第２の処理」として、第１のアクションとは異なる第２のアクションをゲームキャラクタに実行させる。「言葉が最後まで発声されなかった」とは、プレイヤが言葉の途中で発声を止めたり、言葉の残りの部分において設定された言葉とは異なる言葉を発声した場合を含む。「第２のアクション」は、例えばプレイヤが予め定められた言葉を最後まで発声しなかったことに対するゲームキャラクタの反応を表す動作等である。第２アクション実行処理部３１は、第２のアクションとして、例えばプレイヤに対して怒るアクションをゲームキャラクタに実行させてもよい。なお、怒るアクションに限らず、その他の感情（例えば笑う、すねる、哀しむ等）を表現するアクションを実行させてもよい。

アクション検出処理部３３は、プレイヤのアクションを検出する。例えば、アクション検出処理部３３は、手動作検出部１７により検出されたプレイヤの手の形や動作に基づいて、プレイヤの指が上下左右のどの方向を指しているか（アクションの一例）、又は、プレイヤの手の形がグー、チョキ、パーのいずれの形であるか（アクションの一例）等を検出する。また、アクション検出処理部３３は、頭部方向検出部９により検出されたプレイヤの頭部の角度、角速度、又は角加速度等に基づいて、プレイヤの顔が上下左右のどの方向を向いているか（アクションの一例）を検出する。

第３アクション実行処理部３５（第２処理実行処理部の一例）は、上記第２発声判定処理部２９による言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する。具体的には、第３アクション実行処理部３５は、上記第２発声判定処理部２９により言葉が最後まで発声されたと判定した場合に、「第２の処理」として、ゲームキャラクタに実行させた第１のアクションの内容と、上記アクション検出処理部３３により検出したプレイヤのアクションの内容とに基づいて第３のアクションを決定し、当該第３のアクションをゲームキャラクタに実行させる。例えば、プレイヤとゲームキャラクタとが勝敗を競う遊戯を実行する場合、第３アクション実行処理部３５は、ゲームキャラクタに実行させた遊戯のアクションの内容と検出したプレイヤのアクションの内容とに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションをゲームキャラクタに実行させてもよい。

例えば、プレイヤとゲームキャラクタとが「あっち向いてホイ」の遊戯を行う場合、第３アクション実行処理部３５は、ゲームキャラクタに実行させたアクションによる顔の向きと検出したプレイヤのアクションによる指の向きとに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションを実行させる。例えば、顔の向きと指の向きが一致してゲームキャラクタが負けた場合には、第３のアクションとして悔しがるアクションを実行させてもよい。また例えば、顔の向きと指の向きが一致しなかった場合には、第３のアクションとして次のじゃんけんに進むアクションを実行させてもよい。

例えば、プレイヤとゲームキャラクタとが「じゃんけんぽん」の遊戯を行う場合、第３アクション実行処理部３５は、ゲームキャラクタに実行させたアクションによる手の形と検出したプレイヤのアクションによる手の形とに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションを実行させる。例えば、ゲームキャラクタが勝った場合には、第３のアクションとして喜ぶアクションを実行させてもよい。また例えば、ゲームキャラクタが負けた場合には、第３のアクションとして悔しがるアクションを実行させてもよい。また例えば、あいこである場合には、第３のアクションとしてつぎのじゃんけんに進むアクション（例えば「あいこでしょ！」等）を実行させてもよい。

なお、以上説明した各処理部における処理等は、これらの処理の分担の例に限定されるものではなく、例えば、更に少ない数の処理部（例えば１つの処理部）で処理されてもよく、また、更に細分化された処理部により処理されてもよい。また、上述した各処理部の機能は、後述するＣＰＵ３０１（後述の図１４参照）が実行するゲームプログラムにより実装されるものであるが、例えばその一部がＡＳＩＣやＦＰＧＡ等の専用集積回路、その他の電気回路等の実際の装置により実装されてもよい。

＜４．ゲーム画面の具体例＞
図５乃至図９を用いて、ヘッドマウントディスプレイ３の表示部５に表示されるゲーム画面の具体例について説明する。

図５に、「あっち向いてホイ」においてプレイヤの指の向きとゲームキャラクタ１９の顔の向きが一致しなかった場合のゲーム画面の一例を示す。なお、ゲーム画面の横にプレイヤの発声３７を吹き出しで示す。

図５（ａ）は、プレイヤが「あっち向いてホイ」の言葉の発声を開始する前又は発声開始後「あっち」が発声し終わる前のゲームキャラクタ１９の状態である。この時点では、ゲームキャラクタ１９は「あっち向いてホイ」の遊戯に係るアクションを開始していない。

図５（ｂ）は、プレイヤが「あっち向いてホイ」の言葉の発声を開始し、その最初の一部である「あっち」を発声し終えた時点でのゲームキャラクタ１９の状態である。この時点で、ゲームキャラクタ１９は第１のアクションとして前述した準備動作を開始する。図５に示す例では、ゲームキャラクタ１９は例えばドキドキ、ワクワクしながらプレイヤの指差しを待っている動作（第１のアクションの一例）を行っている。「向いて」が発声されている間もこの状態が継続される。

図５（ｃ）は、プレイヤが「ホイ」を発声した時点でのゲームキャラクタ１９の状態である。ゲームキャラクタ１９は顔を上下左右のいずれかの向きに動かす動作を実行する。図５に示す例では、ゲームキャラクタ１９はプレイヤから見て右方向に顔を動かし、プレイヤは左方向に指３９を向けている。この場合、顔の向きと指の向きが一致していないので、この後ゲームキャラクタ１９は次のじゃんけんに進むアクション（第３のアクションの一例）を実行する。

図６に、「あっち向いてホイ」においてプレイヤの指の向きとゲームキャラクタ１９の顔の向きが一致した場合のゲーム画面の一例を示す。

図６（ａ）及び図６（ｂ）は、上述した図５（ａ）及び図５（ｂ）と同様であるので、説明を省略する。

図６（ｃ）は、プレイヤが「ホイ」を発声した時点でのゲームキャラクタ１９の状態である。図６に示す例では、ゲームキャラクタ１９はプレイヤから見て左方向に顔を動かし、プレイヤは左方向に指３９を向けている。この場合、顔の向きと指の向きが一致しており、ゲームキャラクタ１９の負けが決定したので、図６（ｄ）に示すように、ゲームキャラクタ１９は負けに対応したアクション（第３のアクションの一例）を実行する。

図７に、「あっち向いてホイ」においてプレイヤが最後まで言葉を発声しなかった場合のゲーム画面の一例を示す。

図７（ａ）及び図７（ｂ）は、上述した図５（ａ）及び図５（ｂ）と同様であるので、説明を省略する。

図７（ｃ）は、プレイヤが「あっち向いて」までしか発声せず、その後「ホイ」を発声しなかった場合のゲームキャラクタ１９の状態である。図７（ｃ）に示す例は、準備動作から顔を動かす動作に切り替えるタイミングが固定的に設定された場合であり、ゲームキャラクタ１９は例えばプレイヤから見て右方向に顔を動かす動作まで実行している。この場合、プレイヤが「あっち向いてホイ」を最後まで発声していないので、図７（ｄ）に示すように、ゲームキャラクタ１９はプレイヤに対して怒るアクション（第２のアクションの一例）を実行する。

なお、例えば「ホイ」の「ホ」が発声されたことを検出したタイミングで準備動作から顔を動かす動作に切り替える場合等には、「ホイ」が発声されていないため顔を動かす動作に切り替わらない。この場合、ゲームキャラクタ１９は上記図７（ｃ）のアクションを実行せずに上記図７（ｂ）の状態から直接図７（ｄ）のアクションを実行してもよい。

図８に、「じゃんけんぽん」においてプレイヤが最後まで言葉を発声した場合のゲーム画面の一例を示す。

図８（ａ）は、プレイヤが「じゃんけんぽん」の言葉の発声を開始する前又は発声開始後「じゃん」が発声し終わる前のゲームキャラクタ１９の状態である。この時点では、ゲームキャラクタ１９は「じゃんけんぽん」の遊戯に係るアクションを開始していない。

図８（ｂ）は、プレイヤが「じゃんけんぽん」の言葉の発声を開始し、その最初の一部である「じゃん」を発声し終えた時点でのゲームキャラクタ１９の状態である。この時点で、ゲームキャラクタ１９は第１のアクションとして前述した準備動作を開始する。図８に示す例では、ゲームキャラクタ１９は例えば手を上下に揺らしてリズムを取る動作（第１のアクションの一例）を行っている。「けん」が発声されている間もこの状態が継続される。

図８（ｃ）は、プレイヤが「ぽん」を発声した時点でのゲームキャラクタ１９の状態である。ゲームキャラクタ１９は手４１をグー、チョキ、パーのいずれかの形にして出す動作を実行する。図８に示す例では、ゲームキャラクタ１９は手４１をチョキの形にして出し、プレイヤは手４３をパーの形にして出している。この場合、ゲームキャラクタ１９の勝ちが決定したので、この後ゲームキャラクタ１９は例えば喜ぶ等、勝ちに対応したアクション（第３のアクションの一例）を実行してもよい。あるいは、「あっち向いてホイ」の遊戯を実行している場合には「あっち向いてホイ」の掛け声と指を指すアクション（第３のアクションの一例）を実行してもよい。

図９に、「じゃんけんぽん」においてプレイヤが最後まで言葉を発声しなかった場合のゲーム画面の一例を示す。

図９（ａ）及び図９（ｂ）は、上述した図８（ａ）及び図８（ｂ）と同様であるので、説明を省略する。

図９（ｃ）は、プレイヤが「じゃんけん」までしか発声せず、その後「ぽん」を発声しなかった場合のゲームキャラクタ１９の状態である。図９（ｃ）に示す例は、準備動作から手でじゃんけんの形を作って出す動作に切り替えるタイミングが固定的に設定された場合であり、ゲームキャラクタ１９は例えば手４１をチョキの形にして出す動作まで実行している。この場合、プレイヤが「じゃんけんぽん」を最後まで発声していないので、図９（ｄ）に示すように、ゲームキャラクタ１９はプレイヤに対して怒るアクション（第２のアクションの一例）を実行する。

なお、例えば「ぽん」の「ぽ」が発声されたことを検出したタイミングで準備動作から手でじゃんけんの形を作って出す動作に切り替える場合等には、「ぽん」が発声されていないため手を出す動作に切り替わらない。この場合、ゲームキャラクタ１９は上記図９（ｃ）のアクションを実行せずに上記図９（ｂ）の状態から直接図９（ｄ）のアクションを実行してもよい。

＜５．制御部が実行する処理手順＞
次に、図１０及び図１１を用いて、制御部７によって実行される処理手順の一例について説明する。

図１０に示すように、ステップＳ１００では、制御部７は、プレイヤとゲームキャラクタ１９とが「じゃんけんぽん」の遊戯を行うじゃんけん処理を実行する。じゃんけん処理の詳細については後述する（図１１参照）。

ステップＳ５では、制御部７は、上記ステップＳ１００のじゃんけん処理でプレイヤが勝利したか否かを判定する。プレイヤが勝利した場合には（ステップＳ５：ＹＥＳ）、次のステップＳ１０に移る。

ステップＳ１０では、制御部７は、第１発声判定処理部２５により、「あっち向いてホイ」の最初の一部である「あっち」がプレイヤにより発声されたか否かを判定する。「あっち」が発声されるまで本ステップＳ１０を繰り返し（ステップＳ１０：ＮＯ）、「あっち」が発声された場合には（ステップＳ１０：ＹＥＳ）、次のステップＳ１５に移る。

ステップＳ１５では、制御部７は、第１アクション実行処理部２７により、「あっち向いてホイ」が最後まで発声される前に、「あっち向いてホイ」の遊戯に対応するアクションをゲームキャラクタ１９に開始させる。当該アクションは、例えば前述した準備動作と顔を上下左右のいずれかの向きに動かす動作により構成される。

ステップＳ２０では、制御部７は、第２発声判定処理部２９により、上記ステップＳ１５で開始したゲームキャラクタ１９によるアクションの実行と並行して、プレイヤが発した音声を認識する。

ステップＳ２５では、制御部７は、第２発声判定処理部２９により、プレイヤにより「あっち向いてホイ」が最後まで発声されたか否かを判定する。「あっち向いてホイ」が最後まで発声されなかった場合には（ステップＳ２５：ＮＯ）、ステップＳ３０に移る。

ステップＳ３０では、制御部７は、第２アクション実行処理部３１により、プレイヤに対して怒るアクションをゲームキャラクタ１９に実行させる。その後、後述のステップＳ８０に移る。

一方、上記ステップＳ２５において、「あっち向いてホイ」が最後まで発声された場合には（ステップＳ２５：ＹＥＳ）、ステップＳ３５に移る。

ステップＳ３５では、制御部７は、アクション検出処理部３３により、プレイヤのハンドアクション（指３９が上下左右のどの方向を指しているか）を検出する。

ステップＳ４０では、制御部７は、第３アクション実行処理部３５により、ゲームキャラクタ１９に実行させたアクションの内容と、上記ステップＳ３５で検出したプレイヤのハンドアクションとに基づいて、プレイヤの指の向きとゲームキャラクタ１９の顔の向きが一致しているか否かを判定する。一致していない場合には（ステップＳ４０：ＮＯ）、最初のステップＳ１００に戻る。一方、一致している場合には（ステップＳ４０：ＹＥＳ）、次のステップＳ４５に移る。

ステップＳ４５では、制御部７は、第３アクション実行処理部３５により、プレイヤの勝利を決定する。

ステップＳ５０では、制御部７は、第３アクション実行処理部３５により、例えば悔しがる等の負けに対応したアクションをゲームキャラクタ１９に実行させる。その後、後述のステップＳ８０に移る。

なお、先のステップＳ５において、上記ステップＳ１００のじゃんけん処理でゲームキャラクタ１９が勝利したと判定した場合には（ステップＳ５：ＮＯ）、次のステップＳ５５に移る。

ステップＳ５５では、制御部７は、ゲームキャラクタ１９に、「あっち向いてホイ」の掛け声と共に指で上下左右のいずれかの向きを指す動作を実行させる。

ステップＳ６０では、制御部７は、アクション検出処理部３３により、プレイヤの顔が上下左右のどの方向を向いているかを検出する。

ステップＳ６５では、制御部７は、ゲームキャラクタ１９に実行させたアクションの内容と、上記ステップＳ６０で検出したプレイヤの顔の向きとに基づいて、ゲームキャラクタ１９の指の向きとプレイヤの顔の向きが一致しているか否かを判定する。一致していない場合には（ステップＳ６５：ＮＯ）、最初のステップＳ１００に戻る。一方、一致している場合には（ステップＳ６５：ＹＥＳ）、次のステップＳ７０に移る。

ステップＳ７０では、制御部７は、ゲームキャラクタ１９の勝利を決定する。

ステップＳ７５では、制御部７は、例えば喜ぶ等の勝ちに対応したアクションをゲームキャラクタ１９に実行させる。その後、ステップＳ８０に移る。

ステップＳ８０では、制御部７は、「あっち向いてホイ」の遊戯をもう一度実行するか否かを判定する。プレイヤが所定の再実行操作を実行する等により、「あっち向いてホイ」の遊戯をもう一度実行する場合には（ステップＳ８０：ＹＥＳ）、最初のステップＳ１００に戻る。一方、プレイヤが所定の終了操作を実行する等により、「あっち向いてホイ」の遊戯を終了する場合には（ステップＳ８０：ＮＯ）、本フローチャートを終了する。

図１１に、上述したステップＳ１００のじゃんけん処理の詳細手順の一例を示す。

図１１に示すように、ステップＳ１１０では、制御部７は、第１発声判定処理部２５により、「じゃんけんぽん」の最初の一部である「じゃん」がプレイヤにより発声されたか否かを判定する。「じゃん」が発声されるまで本ステップＳ１１０を繰り返し（ステップＳ１１０：ＮＯ）、「じゃん」が発声された場合には（ステップＳ１１０：ＹＥＳ）、次のステップＳ１２０に移る。

ステップＳ１２０では、第１アクション実行処理部２７により、「じゃんけんぽん」が最後まで発声される前に、「じゃんけんぽん」の遊戯に対応するアクションをゲームキャラクタ１９に開始させる。当該アクションは、例えば前述した準備動作と手でじゃんけんのいずれかの形を作って出す動作により構成される。

ステップＳ１３０では、制御部７は、第２発声判定処理部２９により、上記ステップＳ１２０で開始したゲームキャラクタ１９によるアクションの実行と並行して、プレイヤが発した音声を認識する。

ステップＳ１４０では、制御部７は、第２発声判定処理部２９により、プレイヤにより「じゃんけんぽん」が最後まで発声されたか否かを判定する。「じゃんけんぽん」が最後まで発声されなかった場合には（ステップＳ１４０：ＮＯ）、ステップＳ１５０に移る。

ステップＳ１５０では、制御部７は、第２アクション実行処理部３１により、プレイヤに対して怒るアクションをゲームキャラクタ１９に実行させる。その後、図１０のステップＳ８０に移る。

一方、上記ステップＳ１４０において、「じゃんけんぽん」が最後まで発声された場合には（ステップＳ１４０：ＹＥＳ）、ステップＳ１６０に移る。

ステップＳ１６０では、制御部７は、アクション検出処理部３３により、プレイヤのハンドアクション（手４３の形がグー、チョキ、パーのいずれの形であるか）を検出する。

ステップＳ１７０では、制御部７は、第３アクション実行処理部３５により、ゲームキャラクタ１９に実行させたアクションによる手の形と、上記ステップＳ１６０で検出したプレイヤのハンドアクションによる手の形とに基づいて勝敗を決定する。

ステップＳ１８０では、制御部７は、勝敗の判定があいこであるか否かを判定する。あいこである場合には（ステップＳ１８０：ＹＥＳ）、最初のステップＳ１１０に戻る。一方、あいこでない場合には（ステップＳ１８０：ＮＯ）、本ルーチンを終了し、図１０のステップＳ５に移る。

なお、上述した処理手順は一例であって、上記手順の少なくとも一部を削除又は変更してもよいし、上記以外の手順を追加してもよい。また、上記手順の少なくとも一部の順番を変更してもよいし、複数の手順が単一の手順にまとめられてもよい。

＜６．実施形態の効果＞
以上説明したように、本実施形態のゲームプログラム（音声ユーザインターフェースプログラムの一例）は、ヘッドマウントディスプレイ３の制御部７を、予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定する第１発声判定処理部２５、言葉の最初の一部が発声されたと判定した場合に、言葉が最後まで発声される前に、言葉に対応する第１の処理を実行する第１アクション実行処理部２７、第１の処理の実行と並行して、プレイヤにより言葉が最後まで発声されたか否かを判定する第２発声判定処理部２９、言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する第２アクション実行処理部３１、として機能させる。

また本実施形態において、第１アクション実行処理部２７は、言葉の最初の一部が発声されたと判定した場合に、言葉が最後まで発声される前に、第１の処理として、言葉に対応する第１のアクションをゲームキャラクタに開始させ、第２アクション実行処理部３１は、言葉が最後まで発声されなかったと判定した場合に、第２の処理として、第１のアクションとは異なる第２のアクションをゲームキャラクタに実行させてもよい。

一般に音声入力機能を備えたゲームシステムでは、プレイヤの発する音声を単語として認識し、当該認識した単語の内容に応じたアクションをゲームキャラクタに行わせることで、プレイヤとゲームキャラクタとの間でコミュニケーションをとる。このため、プレイヤの発声が終わるのを待つ必要があるが、例えば発声とアクションとが同時並行して行われるコミュニケーションの場合には、ゲームキャラクタのアクションが遅れることとなり、不自然なコミュニケーションとなってしまう場合がある。

本実施形態のゲームプログラムでは、予め設定された言葉の最初の一部がプレイヤにより発声された場合に、当該言葉が最後まで発声される前に、当該言葉に対応する第１のアクションをゲームキャラクタ１９に開始させる。これにより、プレイヤが言葉の最初の一部を発声したタイミングで想定される言葉の内容に対応するアクションをゲームキャラクタ１９に開始させることができる。このようにして、プレイヤが言葉を言い切る前に当該言葉に対応するアクションをゲームキャラクタ１９に即座に開始させることができるので、プレイヤの発声と同時並行してゲームキャラクタ１９にアクションを実行させることができる。したがって、ゲームキャラクタ１９のアクションに遅れが生じるのを抑制できる。

一方で、例えばプレイヤが言葉の途中で発声を止めたり、言葉の残りの部分において設定された言葉とは異なる言葉を発声する等、プレイヤが予め設定された言葉を最後まで発声しない場合も考えられる。このような場合には、第１のアクションとは異なる第２のアクションをゲームキャラクタ１９に実行させることにより、第１のアクションを実行したことが不自然とならないようにリカバリーすることができる。以上により、プレイヤとゲームキャラクタ１９との間で、リアルタイム性及びインタラクティブ性を両立させた自然なコミュニケーションをとることができる。

また、取り急ぎ第１のアクションを実行させて、最終的にプレイヤが言葉の全部を発声しなかった場合には第２のアクションを加えてリカバリーさせる処理とすることにより、例えばプレイヤの発声内容とゲームキャラクタ１９のアクション内容とが相違しないように音声を細かく分割して音声認識処理を実行したり、分割した単語ごとに整合性をチェックする等の複雑な処理が不要となるので、処理負担を軽減でき、処理速度を向上できる。

また本実施形態において、制御部７を、プレイヤのアクションを検出するアクション検出処理部３３、言葉が最後まで発声されたと判定した場合に、ゲームキャラクタ１９に実行させた第１のアクションの内容と検出したプレイヤのアクションの内容とに基づいて第３のアクションを決定し、当該第３のアクションをゲームキャラクタ１９に実行させる第３アクション実行処理部３５、としてさらに機能させてもよい。

この場合、ゲームキャラクタ１９に実行させたアクションの内容とプレイヤのアクション内容とを加味して次のアクションを決定し、ゲームキャラクタ１９に実行させることができる。これにより、プレイヤが予め設定された言葉を最後まで発声した場合には、第２のアクションのような発声のエラー処理を挟むことなく、プレイヤとゲームキャラクタ１９との間で自然なコミュニケーションをスムーズに継続することができる。

また本実施形態において、第１発声判定処理部２５は、プレイヤとゲームキャラクタ１９とが勝敗を競う遊戯を表す言葉の最初の一部がプレイヤにより発声されたか否かを判定し、第１アクション実行処理部２７は、言葉の最初の一部が発声されたと判定した場合に、言葉が最後まで発声される前に、遊戯のアクションをゲームキャラクタに開始させ、第２発声判定処理部２９は、遊戯のアクションの実行と並行して、プレイヤにより言葉が最後まで発声されたか否かを判定し、第３アクション実行処理部３５は、言葉が最後まで発声されたと判定した場合に、ゲームキャラクタ１９に実行させた遊戯のアクションの内容と検出したプレイヤのアクションの内容とに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションをゲームキャラクタ１９に実行させてもよい。

この場合、プレイヤとゲームキャラクタ１９との間で、勝敗を競う遊戯をリアルタイム且つインタラクティブに実行することができる。

また本実施形態において、第２アクション実行処理部３１は、第２のアクションとして、プレイヤに対して怒るアクションをゲームキャラクタ１９に実行させてもよい。

この場合、例えばプレイヤが言葉の途中で発声を止めたり、言葉の残りの部分において想定された言葉とは異なる言葉を発声した場合に、ゲームキャラクタ１９を怒らせることができる。これにより、プレイヤとゲームキャラクタ１９との間で行うコミュニケーションのリアリティを向上できる。

また本実施形態において、第１発声判定処理部２５は、「あっち向いてホイ」の言葉の最初の一部がプレイヤにより発声されたか否かを判定し、第１アクション実行処理部２７は、「あっち向いてホイ」の最初の一部が発声されたと判定した場合に、「あっち向いてホイ」が最後まで発声される前に、「あっち向いてホイ」の遊戯のアクションをゲームキャラクタ１９に開始させ、第２発声判定処理部２９は、「あっち向いてホイ」の遊戯のアクションの実行と並行して、プレイヤにより「あっち向いてホイ」の言葉が最後まで発声されたか否かを判定し、第２アクション実行処理部３１は、「あっち向いてホイ」の言葉が最後まで発声されなかったと判定した場合に、第２のアクションをゲームキャラクタ１９に実行させ、第３アクション実行処理部３５は、「あっち向いてホイ」の言葉が最後まで発声されたと判定した場合に、ゲームキャラクタ１９に実行させたアクションによる顔の向きと検出したプレイヤのアクションによる指の向きとに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションをゲームキャラクタ１９に実行させてもよい。

この場合、プレイヤとゲームキャラクタ１９との間で、「あっち向いてホイ」の遊戯をリアルタイム且つインタラクティブに実行することができる。

また本実施形態において、第１発声判定処理部２５は、「じゃんけんぽん」の言葉の最初の一部がプレイヤにより発声されたか否かを判定し、第１アクション実行処理部２７は、「じゃんけんぽん」の最初の一部が発声されたと判定した場合に、「じゃんけんぽん」が最後まで発声される前に、「じゃんけんぽん」の遊戯のアクションをゲームキャラクタ１９に開始させ、第２発声判定処理部２９は、「じゃんけんぽん」の遊戯のアクションの実行と並行して、プレイヤにより「じゃんけんぽん」の言葉が最後まで発声されたか否かを判定し、第２アクション実行処理部３１は、「じゃんけんぽん」の言葉が最後まで発声されなかったと判定した場合に、第２のアクションをゲームキャラクタ１９に実行させ、第３アクション実行処理部３５は、「じゃんけんぽん」の言葉が最後まで発声されたと判定した場合に、ゲームキャラクタ１９に実行させたアクションによる手の形と検出したプレイヤのアクションによる手の形とに基づいて勝敗を決定し、当該勝敗の結果に対応した第３のアクションをゲームキャラクタ１９に実行させてもよい。

この場合、プレイヤとゲームキャラクタとの間で、「じゃんけん」の遊戯をリアルタイム且つインタラクティブに実行することができる。
＜７．変形例＞

なお、本発明は、上記の実施形態に限られるものではなく、その趣旨及び技術的思想を逸脱しない範囲内で種々の変形が可能である。

例えば、以上では、プレイヤとゲームキャラクタとの間で「あっち向いてホイ」や「じゃんけんぽん」の遊戯を行ってコミュニケーションをとる場合について説明したが、音声とアクションの少なくとも一部が同時並行して行われるコミュニケーションであれば、その種類は限定されるものではない。上記以外にも、例えば、プレイヤとゲームキャラクタの各々が親指を０本、１本、又は２本立てて合計の本数（０本～４本）を言い合てることができるか否かで勝敗を競う「いっせーのせ」等の遊戯を実行してもよい。この場合、例えば「いっせーのせ」の最初の一部である「いっせ」が発声された場合に、「いっせーのせ」が最後まで発声される前に、「いっせーのせ」の遊戯のアクションをゲームキャラクタ１９に開始させてもよい。

また以上では、プレイヤとゲームキャラクタとが一対一でコミュニケーションをとる場合について説明したが、例えば「じゃんけんぽん」や「いっせーのせ」等の遊戯を行う場合には、プレイヤ又はゲームキャラクタの少なくとも一方を複数としてもよい。プレイヤが複数となる場合には、各プレイヤのヘッドマウントディスプレイ３の制御部７同士が通信を行い、各プレイヤのハンドアクションの検出結果を共有することで、ゲームキャラクタ及び各プレイヤの勝敗をそれぞれ判定すればよい。ゲームキャラクタが複数となる場合には、各ゲームキャラクタを独立して制御し、各ゲームキャラクタに対して個別に各アクションを実行させればよい。

また以上では、プレイヤがいわゆるＭＲを実現する表示装置であるヘッドマウントディスプレイ３を装着してゲームプレイを行う場合について説明したが、音声入力機能やハンドアクション検出機能を備えたゲーム機であれば、ゲーム機の種類はヘッドマウントディスプレイに限定されるものではない。例えば図１２に示すように、情報処理装置４５と、ゲームコントローラ４７と、表示装置４９と、マイク５１と、カメラ５３等を有するゲームシステム１Ａとしてもよい。ゲームコントローラ４７、表示装置４９、マイク５１、及びカメラ５３の各々は、情報処理装置４５と有線又は無線により通信可能に接続されている。

情報処理装置４５は、例えば据え置き型のゲーム機である。但しこれに限定されるものではなく、例えば入力部や表示部等を一体に備えた携帯型のゲーム機でもよい。また、ゲーム機以外にも、例えば、サーバコンピュータ、デスクトップ型コンピュータ、ノート型コンピュータ、タブレット型コンピュータ等のように、コンピュータとして製造、販売等されているものや、スマートフォン、携帯電話、ファブレット等のように、電話機として製造、販売等されているものでもよい。

プレイヤは、ゲームコントローラ４７を用いて各種の操作入力を行う。マイク５１は、プレイヤが発した音声を入力する。カメラ５３は、プレイヤの頭部の向き、手の形、手の動作等を検出する。なお、マイク５１又はカメラ５３は、図１２に示すように単体として設けられてもよいし、情報処理装置４５、ゲームコントローラ４７又は表示装置４９のいずれかに一体的に設けられてもよい。

また、例えば図１３に示すように、スマートフォン５５を有するゲームシステム１Ｂ（図示省略）としてもよい。スマートフォン５５（情報処理装置の一例）は、各種の表示及びプレイヤによる各種の入力操作が行われるタッチパネル５７と、音声入力機能と、ハンドアクションを検出可能なカメラ機能等を備えている。

また以上では、本発明の音声ユーザインターフェースプログラムがゲームプログラムである場合を一例として説明したが、ゲームプログラムに限定されるものではない。例えば、情報処理装置がカーナビ装置、鉄道や飲食店等における自動券売機、自動販売機、金融機関のＡＴＭ、コピー機やＦＡＸ等のＯＡ機器等、音声認識機能を備えた各種の機器である場合に、それらの機器に適用される音声ユーザインターフェースプログラムであってもよい。

また、以上既に述べた以外にも、上記実施形態や各変形例による手法を適宜組み合わせて利用しても良い。その他、一々例示はしないが、上記実施形態や各変形例は、その趣旨を逸脱しない範囲内において、種々の変更が加えられて実施されるものである。

＜８．制御部のハードウェア構成＞
次に、図１４を用いて、上記で説明したＣＰＵ３０１等が実行するプログラムにより実装された各処理部を実現する、ヘッドマウントディスプレイ３の制御部７のハードウェア構成の一例について説明する。なお、情報処理装置４５やスマートフォン５５が同様のハードウェア構成を有してもよい。

図１４に示すように、制御部７は、例えば、ＣＰＵ３０１と、ＲＯＭ３０３と、ＲＡＭ３０５と、ＧＰＵ３０６と、例えばＡＳＩＣ又はＦＰＧＡ等の特定の用途向けに構築された専用集積回路３０７と、入力装置３１３と、出力装置３１５と、記録装置３１７と、ドライブ３１９と、接続ポート３２１と、通信装置３２３を有する。これらの構成は、バス３０９や入出力インターフェース３１１等を介し相互に信号を伝達可能に接続されている。

ゲームプログラム（音声ユーザインターフェースプログラムの一例）は、例えば、ＲＯＭ３０３やＲＡＭ３０５、ハードディスク等の記録装置３１７等に記録しておくことができる。

また、ゲームプログラムは、例えば、フレキシブルディスクなどの磁気ディスク、各種のＣＤ、ＭＯディスク、ＤＶＤ等の光ディスク、半導体メモリ等のリムーバブルな記録媒体３２５に、一時的又は永続的（非一時的）に記録しておくこともできる。このような記録媒体３２５は、いわゆるパッケージソフトウエアとして提供することもできる。この場合、これらの記録媒体３２５に記録されたゲームプログラムは、ドライブ３１９により読み出されて、入出力インターフェース３１１やバス３０９等を介し上記記録装置３１７に記録されてもよい。

また、ゲームプログラムは、例えば、ダウンロードサイト、他のコンピュータ、他の記録装置等（図示せず）に記録しておくこともできる。この場合、ゲームプログラムは、ＬＡＮやインターネット等のネットワークＮＷを介し転送され、通信装置３２３がこのプログラムを受信する。そして、通信装置３２３が受信したプログラムは、入出力インターフェース３１１やバス３０９等を介し上記記録装置３１７に記録されてもよい。

また、ゲームプログラムは、例えば、適宜の外部接続機器３２７に記録しておくこともできる。この場合、ゲームプログラムは、適宜の接続ポート３２１を介し転送され、入出力インターフェース３１１やバス３０９等を介し上記記録装置３１７に記録されてもよい。

そして、ＣＰＵ３０１が、上記記録装置３１７に記録されたプログラムに従い各種の処理を実行することにより、前述の音声認識処理部２３、第１発声判定処理部２５、第１アクション実行処理部２７、第２発声判定処理部２９、第２アクション実行処理部３１、アクション検出処理部３３、第３アクション実行処理部３５等による処理が実現される。この際、ＣＰＵ３０１は、例えば、上記記録装置３１７からプログラムを、直接読み出して実行してもよく、ＲＡＭ３０５に一旦ロードした上で実行してもよい。更にＣＰＵ３０１は、例えば、プログラムを通信装置３２３やドライブ３１９、接続ポート３２１を介し受信する場合、受信したプログラムを記録装置３１７に記録せずに直接実行してもよい。

また、ＣＰＵ３０１は、必要に応じて、例えばゲームコントローラや、例えばマイク、マウス、キーボード等（図示せず）の入力装置３１３から入力する信号や情報に基づいて各種の処理を行ってもよい。

ＧＰＵ３０６は、ＣＰＵ３０１からの指示に応じて例えばレンダリング処理などの画像表示のための処理を行う。

そして、ＣＰＵ３０１及びＧＰＵ３０６は、上記の処理を実行した結果を、例えば前述のヘッドマウントディスプレイ３の表示部５を含む、出力装置３１５から出力する。さらにＣＰＵ３０１及びＧＰＵ３０６は、必要に応じてこの処理結果を通信装置３２３や接続ポート３２１を介し送信してもよく、上記記録装置３１７や記録媒体３２５に記録させてもよい。

１ ゲームシステム
１Ａ ゲームシステム
１Ｂ ゲームシステム
３ ヘッドマウントディスプレイ
５ 表示部
７ 制御部（情報処理装置）
２５ 第１発声判定処理部
２７ 第１アクション実行処理部（第１処理実行処理部）
２９ 第２発声判定処理部
３１ 第２アクション実行処理部（第２処理実行処理部）
３３ アクション検出処理部
３５ 第３アクション実行処理部（第２処理実行処理部）
４５ 情報処理装置
５５ スマートフォン（情報処理装置）
３２５ 記録媒体

Claims (9)

1. 情報処理装置を、
   予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定する第１発声判定処理部、
   前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記言葉に対応する第１の処理を実行する第１処理実行処理部、
   前記第１の処理の実行と並行して、前記プレイヤにより前記言葉が最後まで発声されたか否かを判定する第２発声判定処理部、
   前記言葉が最後まで発声されたか否かの判定結果に基づいて第２の処理を実行する第２処理実行処理部、
   として機能させるための音声ユーザインターフェースプログラム。
2. 前記第１処理実行処理部は、
   前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記第１の処理として、前記言葉に対応する第１のアクションをゲームキャラクタに開始させ、
   前記第２処理実行処理部は、
   前記言葉が最後まで発声されなかったと判定した場合に、前記第２の処理として、前記第１のアクションとは異なる第２のアクションを前記ゲームキャラクタに実行させる、
   請求項１に記載の音声ユーザインターフェースプログラム。
3. 前記情報処理装置を、
   前記プレイヤのアクションを検出するアクション検出処理部、
   としてさらに機能させ、
   前記第２処理実行処理部は、
   前記言葉が最後まで発声されたと判定した場合に、前記第２の処理として、前記ゲームキャラクタに実行させた前記第１のアクションの内容と検出した前記プレイヤのアクションの内容とに基づいて第３のアクションを決定し、当該第３のアクションを前記ゲームキャラクタに実行させる、
   請求項２に記載の音声ユーザインターフェースプログラム。
4. 前記第１発声判定処理部は、
   前記プレイヤと前記ゲームキャラクタとが勝敗を競う遊戯を表す前記言葉の最初の一部がプレイヤにより発声されたか否かを判定し、
   前記第１処理実行処理部は、
   前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記第１の処理として、前記遊戯のアクションをゲームキャラクタに開始させ、
   前記第２発声判定処理部は、
   前記遊戯のアクションの実行と並行して、前記プレイヤにより前記言葉が最後まで発声されたか否かを判定し、
   前記第２処理実行処理部は、
   前記言葉が最後まで発声されたと判定した場合に、前記第２の処理として、前記ゲームキャラクタに実行させた前記遊戯のアクションの内容と検出した前記プレイヤのアクションの内容とに基づいて勝敗を決定し、当該勝敗の結果に対応した前記第３のアクションを前記ゲームキャラクタに実行させる、
   請求項３に記載の音声ユーザインターフェースプログラム。
5. 前記第２処理実行処理部は、
   前記第２のアクションとして、前記プレイヤに対して怒るアクションを前記ゲームキャラクタに実行させる、
   請求項２乃至４のいずれか１項に記載の音声ユーザインターフェースプログラム。
6. 前記第１発声判定処理部は、
   「あっち向いてホイ」の言葉の最初の一部がプレイヤにより発声されたか否かを判定し、
   前記第１処理実行処理部は、
   前記「あっち向いてホイ」の最初の一部が発声されたと判定した場合に、前記「あっち向いてホイ」が最後まで発声される前に、前記「あっち向いてホイ」の遊戯のアクションを前記ゲームキャラクタに開始させ、
   前記第２発声判定処理部は、
   前記「あっち向いてホイ」の遊戯のアクションの実行と並行して、前記プレイヤにより前記「あっち向いてホイ」の言葉が最後まで発声されたか否かを判定し、
   前記第２処理実行処理部は、
   前記「あっち向いてホイ」の言葉が最後まで発声されなかったと判定した場合に、前記第２のアクションを前記ゲームキャラクタに実行させ、
   前記「あっち向いてホイ」の言葉が最後まで発声されたと判定した場合に、前記ゲームキャラクタに実行させたアクションによる顔の向きと検出した前記プレイヤのアクションによる指の向きとに基づいて勝敗を決定し、当該勝敗の結果に対応した前記第３のアクションを前記ゲームキャラクタに実行させる、
   請求項４に記載の音声ユーザインターフェースプログラム。
7. 前記第１発声判定処理部は、
   「じゃんけんぽん」の言葉の最初の一部がプレイヤにより発声されたか否かを判定し、
   前記第１処理実行処理部は、
   前記「じゃんけんぽん」の最初の一部が発声されたと判定した場合に、前記「じゃんけんぽん」が最後まで発声される前に、前記「じゃんけんぽん」の遊戯のアクションを前記ゲームキャラクタに開始させ、
   前記第２発声判定処理部は、
   前記「じゃんけんぽん」の遊戯のアクションの実行と並行して、前記プレイヤにより前記「じゃんけんぽん」の言葉が最後まで発声されたか否かを判定し、
   前記第２処理実行処理部は、
   前記「じゃんけんぽん」の言葉が最後まで発声されなかったと判定した場合に、前記第２のアクションを前記ゲームキャラクタに実行させ、
   前記「じゃんけんぽん」の言葉が最後まで発声されたと判定した場合に、前記ゲームキャラクタに実行させたアクションによる手の形と検出した前記プレイヤのアクションによる手の形とに基づいて勝敗を決定し、当該勝敗の結果に対応した前記第３のアクションを前記ゲームキャラクタに実行させる、
   請求項４に記載の音声ユーザインターフェースプログラム。
8. 請求項１乃至７のいずれか１項に記載の音声ユーザインターフェースプログラムを記録した、情報処理装置が読み取り可能な記録媒体。
9. 情報処理装置によって実行されるゲーム処理方法であって、
   予め設定された言葉の最初の一部がプレイヤにより発声されたか否かを判定するステップと、
   前記言葉の最初の一部が発声されたと判定した場合に、前記言葉が最後まで発声される前に、前記言葉に対応する第１の処理を実行するステップと、
   前記第１の処理の実行と並行して、前記プレイヤにより前記言葉が最後まで発声されたか否かを判定するステップと、
   前記言葉が最後まで発声されたか否かの前記判定結果に基づいて第２の処理を実行するステップと、
   を有する、音声ユーザインターフェース処理方法。

Images