JP2000000377A - 音声入力式ヒューマンインタフェースに特徴を有するビデオゲーム機およびプログラム記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 遊戯者とゲームキャラクタとの間の音声入力
によるコミュニケーションが成立するまでのプロセスや
不成立となるまでのプロセスを面白く楽しく映像表現
し、かつ遊戯者のスムーズなゲーム操作感を実現する。 【解決手段】 ゲーム映像の所定位置にて音声媒介図案
を発生させ、キャラクタ位置データに応じた方向に音声
媒介図案を移動させるアニメーションを生成してゲーム
映像に付加する。音声媒介図案が対話相手キャラクタに
接近してからどのように変化して移動するのかをキャラ
クタ現況データに応じて可変設定し、設定されたように
変化して移動する音声媒介図案のアニメーションを生成
してゲーム映像に付加する。ゲーム映像上において音声
媒介図案が対話相手キャラクタに接近した段階で、一時
記憶してある音声の言語的意味データがゲームアルゴリ
ズムの進行処理プロセスに反映される。

Description

【発明の詳細な説明】

【０００１】

【発明が属する技術分野】この発明は、コンピュータア
ニメーションのゲーム映像を見ながらコントローラのス
イッチ類を操作してゲームを操るビデオゲーム機に関
し、とくに、音声入力式ヒューマンインタフェースを採
り入れたビデオゲーム機に関する。また、音声入力式ヒ
ューマンインタフェースに対応したゲームプログラムの
記録媒体にも関する。

【０００２】

【従来の技術】一般的な家庭用のビデオゲーム機にはコ
ントローラが付属している。遊戯者はコントローラのス
イッチ類のボタンやポテンショメータのレバーを操作す
ることでゲームを進行させる。ゲームプログラムのコン
セプトの多様化に伴って、加速度センサや衝撃センサな
どを内蔵したコントローラのような新しいハードウェア
が考案されるとともに、ゲームを操る新しいヒューマン
インタフェースのソフトウェアがつぎつぎと開発されて
いる。これらの新技術の目標とするところは、要する
に、ビデオゲームの操作に豊かな現実感や意外性を採り
入れて、ゲームの楽しさ面白さを増すことにある。

【０００３】ビデオゲーム機におけるヒューマンインタ
フェースの新技術の１つに音声入力式ヒューマンインタ
フェースがある。これは、ゲーム映像に登場しているキ
ャラクタに遊戯者がマイクロホンを通じて言葉をかける
と、ゲーム機がその語りかけを理解してゲームの進行に
反映させるというものである。ゲーム映像上のキャラク
タが遊戯者の語りかけに反応し、ゲーム映像が変化した
りゲーム音響の効果音が出る。そのような反応を遊戯者
が認識することで、遊戯者とゲームキャラクタとの間で
対話が成立することになる。

【０００４】

【発明が解決しようとする課題】ビデオゲーム機におけ
る音声入力式ヒューマンインタフェースの既存技術で
は、遊戯者の語りかけが音声認識されると、その言語的
意味がゲーム映像上の対話相手キャラクタのつぎの振る
舞いに反映する。現実世界の遊戯者とゲーム世界の仮想
コミュニティのキャラクタとがゲーム機のハードウェア
およびソフトウェアを介在してコミュニケーションする
という状況において、現実世界の人間のコミュニケーシ
ョンに似せたさまざまな表象を想起させたり、あるいは
ゲーム世界ならではの空想的な面白さを表現するには、
遊戯者とゲームキャラクタとの間のコミュニケーション
や、それぞれが発するメッセージの内容を映像と音で表
現するだけでは無機的で面白さに欠ける。すなわち、コ
ミュニケーションや、それぞれの発するメッセージの内
容のみならず、コミュニケーションが成立していくプロ
セスを表現していくことが、とくに音声入力によるゲー
ムを面白くするためには必要である。

【０００５】たとえば、なんらかの原因で遊戯者の語り
かけが認識されないと、語りかけはゲームに反映しな
い。語りかけが認識されない原因としては、音声がマ
イクロホンにうまく入力されていない、マイクロホン
の出力信号が音声認識回路にうまく伝わっていない、
音声認識回路が入力音声を理解できない、理解した音
声がゲームの進行に反映し得る言語的意味とは異なるな
ど、いろいろなレベルがある。また有効な語りかけが正
しく認識されても、ゲーム進行の場面設定がそうなって
いないので、語りかけに対してゲーム映像の対話相手キ
ャラクタが反応しないこともある。

【０００６】こうした様々な原因により遊戯者の語りか
けが対話相手キャラクタに有効に認識されないことがあ
り得るが、その場合、認識されていないことや、その原
因を遊戯者がすぐに感得できなければ、対話相手キャラ
クタのつぎの反応を待つことになる。それでも結局は反
応がないわけであるから、遊戯者・キャラクタ間の疑似
的なコミュニケーションがスムーズにはなされず、ゲー
ム進行の妨げとなり、遊戯者は「面白くない」ことにな
る。

【０００７】この発明は前述のような観点でなされたも
のであり、その目的は、遊戯者とゲームキャラクタとの
間の音声入力によるコミュニケーションが成立するまで
のプロセスや不成立となるまでのプロセスを面白く楽し
く映像表現し、かつ遊戯者のスムーズなゲーム操作感を
実現できるようにしたビデオゲーム技術を提供すること
にある。

【０００８】

【課題を解決するための手段】基本となる請求項１の発
明は、音声入力式ヒューマンインタフェースに特徴を有
するビデオゲーム機であって、つぎの事項（１）〜
（８）により特定される。 （１）ビデオゲーム機のメインコンピュータによって所
定の媒体に記録されたゲームプログラムが実行され、ゲ
ームアルゴリズムの進行処理プロセスによりゲーム進行
状況データが生成され、そのゲーム進行状況データに基
づいてゲーム映像データおよびゲーム音響データが生成
されて出力される。 （２）遊戯者が取り扱うコントローラからの操作入力が
ゲームプログラムの実行プロセスに反映し、ゲーム映像
データとゲーム音響データがコントローラ操作入力に応
答して変化する。 （３）マイクロホンからの入力を取り込んで遊戯者の発
した音声を認識処理するための音声認識手段を備える。
この音声認識手段により所定の条件を満たす音声入力が
検出されたときに音声伝達状況描画プロセスが起動され
るとともに、その音声から認識された言語的意味データ
が一時記憶される。 （４）音声伝達状況描画プロセスは、ゲーム映像の主人
公的な要素でありかつ音声を受け取るべき相手である対
話相手キャラクタがゲームフィールドでどの位置に存在
しているのかを表すキャラクタ位置データを、起動時か
ら所定の期間に、前記ゲーム進行状況データから取得す
る。 （５）音声伝達状況描画プロセスは、ゲーム映像の所定
位置にて音声媒介図案を発生させ、前記キャラクタ位置
データに応じた方向に音声媒介図案を移動させるアニメ
ーションを生成してゲーム映像に付加する。 （６）音声伝達状況描画プロセスは、前記対話相手キャ
ラクタがゲーム進行上どのような状況にあるのかを表す
キャラクタ現況データを、起動時から所定の期間に、前
記ゲーム進行状況データから取得する。 （７）音声伝達状況描画プロセスは、ゲーム映像に付加
した音声媒介図案が前記対話相手キャラクタに接近して
からどのように変化して移動するのかを前記キャラクタ
現況データに応じて可変設定し、設定されたように変化
して移動する音声媒介図案のアニメーションを生成して
ゲーム映像に付加する。 （８）ゲーム映像上において音声媒介図案が前記対話相
手キャラクタに接近した段階で、一時記憶してある前記
言語的意味データがゲームアルゴリズムの進行処理プロ
セスに反映される。

【０００９】以上の基本的な要件に加えて、つぎの各要
件を適宜に組み合わせて実施することができる。 （ａ）前記コントローラから特定の操作入力がある場合
においてのみ、前記音声認識手段がマイクロホンからの
入力を取り込んで処理する動作を有効とする。 （ｂ）前記メインコンピュータが前記ゲームプログラム
を実行することにより、ゲーム進行状況に関わる特定の
期間においてのみ、前記音声認識手段がマイクロホンか
らの入力を取り込んで処理する動作を有効とする。 （ｃ）音声伝達状況描画プロセスは、ゲーム映像上にて
音声媒介図案を対話相手キャラクタに向けて移動させる
処理過程において、前記ゲーム進行状況データを調べ、
その中の特定のデータ要素がある特定の状態を表してい
る場合に、音声媒介図案の移動に障害を加えるアニメー
ションを生成してゲーム映像に付加するプロセスを含
む。 （ｄ）音声伝達状況描画プロセスは、起動時に、マイク
ロホンから入力された音声の特徴に関するデータを音声
認識手段から取得し、その特徴データに応じて音声媒介
図案の形態を可変設定するプロセスを含む。 （ｅ）音声伝達状況描画プロセスは、音声媒介図案の移
動・変化に対応した効果音データを生成して出力するプ
ロセスを含む。 （ｆ）音声伝達状況描画プロセスは、前記キャラクタ現
況データがある特定の状態を表している場合に、対話相
手キャラクタに接近した音声媒介図案が対話相手キャラ
クタに吸収されるアニメーションを生成してゲーム映像
に付加するプロセスを含む。 （ｇ）音声伝達状況描画プロセスは、前記キャラクタ現
況データがある特定の状態を表している場合に、対話相
手キャラクタに接近した音声媒介図案が対話相手キャラ
クタに弾き返されるアニメーションを生成してゲーム映
像に付加するプロセスを含む。 （ｈ）音声伝達状況描画プロセスは、起動時に、マイク
ロホンから入力された音声の特徴に関するデータを音声
認識手段から取得するとともに、ゲーム映像上において
音声媒介図案が対話相手キャラクタに接近した段階で、
一時記憶してある音声の特徴データをゲームアルゴリズ
ムの進行処理プロセスに引き渡すプロセスを含む。 （ｉ）前記音声認識手段が前記メインコンピュータを内
蔵した本体装置とは別体の音声認識ユニットとして装置
構成されており、この音声認識ユニットが前記本体装置
に接続されるとともに、この音声認識ユニットに前記マ
イクロホンが接続される。 （ｊ）前記メインコンピュータは前記ゲームプログラム
に規定されたイニシャル処理として、当該ゲームプログ
ラムと同じ媒体に記録されている音声辞書データを前記
音声認識ユニットに転送する。 （ｋ）音声伝達状況描画プロセスは、ゲーム映像上にお
いて音声媒介図案が対話相手キャラクタに接近する前
に、ゲームアルゴリズムの進行処理プロセスに対して音
声の待ち受けモードを準備するように指示するプロセス
を含む。

【００１０】また請求項１３の発明は、請求項１に記載
の音声伝達状況描画プロセスを前記メインコンピュータ
により具現化するための音声伝達状況描画プログラムを
包含した前記ゲームプログラムを所定の媒体に記録した
プログラム記録媒体である。この記録媒体には、要件
（ｊ）における音声辞書データと、その音声辞書データ
を要件（ｉ）に記載の音声認識ユニットに転送するため
のイニシャル処理プログラムも記録しておくことができ
る。

【００１１】

【発明の実施の形態】＝＝＝ハードウェアの概要＝＝＝ この発明の一実施例によるビデオゲーム機の外観を図１
に示し、そのブロック構成を図２に示している。典型的
な例としては任天堂株式会社の製品名「ＮＩＮＴＥＮＤ
Ｏ６４（登録商標）」の本体装置１とコントローラ２を
使用し、これにマイクロホン３が付属した音声認識ユニ
ット４を付加する。よく知られているように、本体装置
１のカセット挿入口１１にゲームカセット５（プログラ
ム記録媒体）を差し込むと、挿入口内のカセットコネク
タ１２を介してカセット内のメモリが本体装置１のメイ
ンコンピュータ１３に結合される。メインコンピュータ
１３はＯＳの統括下でゲームカセット５に記録されてい
るゲームプログラムや関連データを読み込んで処理す
る。本体装置１の映像音声出力端子１５に接続されたテ
レビ受信機などの映像音響システム６がゲーム映像とゲ
ーム音響の出力機器となる。本体装置１にはコントロー
ラ２を接続する４個のコネクタ１４がある。そのうちの
１つのコネクタ１４にコントローラ２を接続し、べつの
コネクタ１４に音声認識ユニット４を接続する。

【００１２】音声認識ユニット４は前処理回路４１とＤ
ＳＰ（デジタル・シグナル・プロセッサ）４２とインタ
フェース回路４３からなる。前処理回路４１は、マイク
ロホン３からの音声信号をアナログ増幅する可変利得増
幅回路と、その出力をデジタル変換するＡ／Ｄ変換回路
とを含んでいる。ＤＳＰ４２は、デジタル変換された音
声入力を取り込んで認識処理するためのマイコンであ
る。インタフェース回路４３は、メインコンピュータ１
３におけるコネクタ１４のシリアルポートのインタフェ
ース規格に従って、メインコンピュータ１３と音声認識
ユニット４のＤＳＰ４２との間の通信を実現する。

【００１３】＝＝＝ソフトウェアの概要＝＝＝ この発明の音声入力式ヒューマンインタフェースを採用
したゲームプログラムがゲームカセット５に記録されて
ユーザに提供される。そのゲームプログラムには、その
プログラムに関連した各種データが付帯しているのはも
ちろん、前述の音声伝達状況描画プロセスを受け持つプ
ログラムも含まれており、さらにゲーム開始に先立って
前記音声認識ユニット４に転送することになる音声辞書
データも含まれている。

【００１４】ゲームプログラムの機能は、ゲーム管理プ
ロセス、ゲームアルゴリズムの進行処理プロセス、ゲー
ム映像音響の出力処理プロセス、コントローラ２の入力
処理プロセス、音声認識ユニット４との通信処理プロセ
ス、この発明の中核をなす音声伝達状況描画プロセスな
どに分けて把握できる。

【００１５】ゲーム管理プロセスはイニシャル処理やゲ
ーム全体の進行の調整などを受け持つ。コントローラ２
の入力処理プロセスおよび音声認識ユニット４との通信
処理プロセスにより取得した入力データがゲームアルゴ
リズムの進行処理プロセスに反映し、遊戯者からの働き
かけによって変化するゲーム進行状況データが生成され
る。ゲーム映像音響の出力処理プロセスは、ゲーム進行
状況データが反映して変化するコンピュータアニメーシ
ョンのゲーム映像を生成して出力するとともに、そのゲ
ーム映像に対応するゲーム音響をシンセサイザーにより
生成して出力する。

【００１６】また以下に詳しく説明するように、音声認
識ユニット４から所定の条件を満たす音声入力が検出さ
れた旨が伝えられたときに、音声伝達状況描画プロセス
が起動され、コンピュータアニメーションにより音声媒
介図案を生成してゲーム映像上に付加的に表示する。

【００１７】＝＝＝音声認識プロセス＝＝＝ この発明を適用したゲームプログラム（ゲームカセット
５に記録されている）が前述したハードウェア上で実行
されるとき、まずイニシャル処理として、ゲームプログ
ラムに付帯している音声辞書データが本体装置１から音
声認識ユニット４に転送され、ＤＳＰ４２のメモリに記
憶される。音声辞書データには、このゲームにおいて有
効な言語的意味として理解すべきいくつかの単語データ
が設定されている。たとえば「こんにちは」「かわいい
ね」「遊ぼうよ」といった単語を認識するためのデータ
である。

【００１８】音声認識ユニット４におけるデータ処理の
概略手順を図３のフローチャートに示している。ＤＳＰ
４２は、デジタル変換されたマイクロホン信号を監視
し、規定レベル以上の音声信号が入力されてきたなら
ば、ステップ３０１から３０２に進み、メインコンピュ
ータ１３から通知されている音声入力受付フラグが有効
になっているか否かをチェックする。このフラグが無効
であれば認識処理は行わず、フラグが有効である場合に
ステップ３０３に進む。

【００１９】メインコンピュータ１３はつぎのように音
声入力受付フラグを制御する。第１の例では、コントロ
ーラ２の特定のスイッチがオンになっているときにフラ
グを有効とし、オフのときには無効とする。第２の例で
は、ゲームプログラムに規定されているゲーム進行シー
ケンス中に音声入力受付フラグをオンにするのかオフに
するのかを記述しておく。いずれを採用してもよい。

【００２０】入力音声が音声辞書データに登録されてい
る単語に該当するか否かを調べるのにはある程度の時間
がかかる。ＤＳＰ４２は、ステップ３０３で入力音声に
応答して認識処理を開始した旨をメインコンピュータ１
３に通知し、ステップ３０４で認識処理を実行する。な
おステップ３０３での通知には、処理対象となった入力
音声の音量レベルおよび持続時間のデータも含める。

【００２１】またＤＳＰ４２は、ステップ３０４の認識
処理の結果、入力音声が辞書データ中の単語のどれかに
該当すると判断した場合は、その単語を特定するＩＤを
認識結果としてメインコンピュータ１３に通知する（ス
テップ３０５→３０６）。またＤＳＰ４２は、辞書デー
タ中のいずれともマッチングがとれなかった場合は、認
識不能であった旨（エラーステータス）をメインコンピ
ュータ１３に通知する（ステップ３０５→３０７）。

【００２２】＝＝＝音声伝達状況描画プロセス＝＝＝ （Ａ）音声媒介オブジェクトの生成 図３の音声認識プロセスにおけるステップ３０３で、音
声認識ユニット４からメインコンピュータ１３に音声認
識処理を開始した旨が通知されると、メインコンピュー
タ１３において音声伝達状況描画プロセスが起動され
る。まず、図４のフローチャートに示す音声媒介図案の
生成処理が開始される。

【００２３】メインコンピュータ１３は、音声認識処理
を開始した旨（認識中）の通知をＤＳＰ４２から受け取
るとステップ４０１から４０２に進み、映像音響システ
ム６におけるゲーム映像の画面の所定位置に、そこから
音声媒介図案が生じてくることを予感させるようなアニ
メーションを生成して表示する（たとえばマイクロホン
のアイコンを小刻みに震わせる）。つぎのステップ４０
３では、音声認識ユニット４での処理が図３のステップ
３０６または３０７まで進んだか否か、つまり認識処理
が終了したか否かをチェックする。認識終了の通知があ
るまではステップ４０１に戻り、前記のアニメーション
表示を続ける。

【００２４】音声認識ユニット４から認識終了が通知さ
れたならば、ステップ４０４に進んで音声媒介オブジェ
クトを生成する。音声媒介オブジェクトとは、以下に詳
述する音声媒介図案についてのカプセル化したデータ集
合のことを指す（オブジェクト指向プログラミングの基
礎的な概念である）。音声媒介オブジェクトには、音声
認識ユニット４から取得した入力音声の音量レベルと持
続時間、認識した単語のＩＤ（認識不能であった場合は
そのことを表すコード）をセットする。また音量レベル
と持続時間のデータに基づいて「寿命」および「速度」
なるデータをそれぞれ所定の計算式で求め、その寿命デ
ータおよび速度データも音声媒介オブジェクトにセット
する。

【００２５】（Ｂ）音声媒介図案の表示開始 入力された音声について辞書データに登録された単語と
して認識できた場合にはステップ４０５から４０６に進
み、認識不能であった場合にはステップ４０５から４０
７に進み、それぞれ音声媒介オブジェクトに基づいて音
声媒介図案の画像データを生成する。以下に説明する実
施例では、音声媒介図案は透明なシャボン玉である。そ
して、単語認識できた場合にはシャボン玉を無色透明の
図柄で表現し、認識不能であった場合はシャボン玉を赤
色の半透明の図柄で表現する。またステップ４０８で
は、音声媒介オブジェクトの音量レベルのデータに基づ
いてシャボン玉の大きさを可変設定する（音量が大きい
ほどシャボン玉を大きく表現する。

【００２６】そしてステップ４０９に進み、生成したシ
ャボン玉（音声媒介図案）の画像データをゲーム映像が
表示されている画面の所定位置に付加的に表示する。そ
の表示画面の一例を図９のに示している。ゲーム映像
はごく簡略化して図示している。この例の対話相手キャ
ラクタは「ピカチュウ（登録商標）」という名前の人気
アニメーションの主人公的なキャラクタである。実際の
ゲーム画面では対話相手キャラクタが遊び回る広い野原
がゲームフィールドであり、現実感のある３次元アニメ
ーションによるゲーム映像を表示している。そのような
３次元表示されたゲームフィールドの一番手前の所定位
置に音声媒介図案としてのシャボン玉を表示し、フィー
ルドの奥に対話相手キャラクタ「ピカチュウ」がいる。
なおステップ４０９では、シャボン玉を表示するタイミ
ングに合わせて音声媒介の発生音をシンセサイザーで生
成し、映像音響システム６から音響出力する。

【００２７】つづくステップ４１０では、対話相手キャ
ラクタ（ピカチュウ）のオブジェクトにあるリアクショ
ン準備フラグをセットする。ピカチュウ・オブジェクト
に基づいてピカチュウのアニメーションを制御している
ピカチュウモーション制御プロセスは、前記リアクショ
ン準備フラグがセットされたのを受けて、現在実行中の
単位モーションを終了した時点でつぎの単位モーション
に移行せずに音声待ち受けモードをつくりだす。その待
ち受け状態で、後述するように、音声媒介オブジェクト
からピカチュウ・オブジェクトに音声情報が伝達され
る。したがってピカチュウモーション制御プロセスは、
音声情報が伝達された時点で、語りかけに反応するよう
なリアクションをつくりだすための単位モーションを実
行できる。

【００２８】（Ｃ）音声媒介図案の移動 前記のようにゲーム映像上に発生させた音声媒介図案
（シャボン玉）を対話相手キャラクタ（ピカチュウ）に
向けて移動させる。ゲームフィールドでの対話相手キャ
ラクタの現在位置は、ゲームプログラムの実行によって
逐次更新されているゲーム進行状況データから取得す
る。キャラクタ位置が分かれば、音声媒介図案の発生位
置からキャラクタ位置までの距離も分かる。また、キャ
ラクタ位置までのフィールド状況もゲーム進行状況デー
タから取得できる。

【００２９】音声媒介図案の移動処理の概要を図５のフ
ローチャートに示している。まずステップ５０１で対話
相手キャラクタまでの距離が規定値を超えていないかを
チェックし、対話相手キャラクタが規定以上に遠くにい
る場合には音声媒介図案（シャボン玉）を消滅させる処
理（図８）に移行する。そうでなければステップ５０２
に進み、音声媒介図案（シャボン玉）を対話相手キャラ
クタ（ピカチュウ）の存在方向に移動させるアニメーシ
ョン処理を実行する。この様子を図９のに示してい
る。３次元のアニメーション処理でゲーム映像を生成し
ているので、ゲームフィールドの奥にいるピカチュウに
向けてシャボン玉を移動させると、画面上のシャボン玉
は徐々に小さくなる。この移動処理の速度を決めている
のは、前述の音声媒介オブジェクトに記述してある速度
データである。速度データは入力音声の音量レベルと持
続時間のデータに基づいて計算されているので、画面上
のシャボン玉の移動の様子に入力音声の音量と持続時間
が反映する。

【００３０】つぎのステップ５０３では、ゲームフィー
ルドの状況を調べ、シャボン玉の移動方向にその円滑な
移動の障害となるものがあるかどうかを判断し、それに
応じて音声媒介オブジェクトに記述してある寿命データ
の値を減らす。障害物があれば大きく寿命データの値を
減らし（ステップ５０５）、ないのであれば減らす量を
少なくする（ステップ５０４）。そして、減らした寿命
データの値がゼロ以下になったかどうかをチェックし
（ステップ５０６）、ゼロ以下になったなら図８のシャ
ボン玉消滅処理に移行する。シャボン玉の消滅する画面
の例を図１０のに示している。

【００３１】また、移動しつつある音声媒介図案（シャ
ボン玉）の近くに障害物があるかどうかをチェックし
（ステップ５０７）、あれば音声媒介オブジェクトに記
述してある速度データの値を大幅に減らすことで、シャ
ボン玉が障害物に衝突して消えるアニメーション表現を
つくりだす（ステップ５０８）。この様子の表示例を図
１０のとに示している。

【００３２】また図９のに示すように、音声媒介図案
（シャボン玉）が対話相手キャラクタ（ピカチュウ）に
規定の距離まで接近したならば、ステップ５０９から５
１０以降に進み、対話相手キャラクタ（ピカチュウ）が
ゲーム進行上どのような立場にあるのかを表すキャラク
タ現況データを前記ゲーム進行状況データから取得し、
アニメーション表現における音声媒介図案（シャボン
玉）の変化や移動のしかたを決定する。

【００３３】この実施例においては、この処理に関する
キャラクタ現況データとして「無視フラグ」と「多忙フ
ラグ」がある。「無視フラグ」がセットされている場
合、ステップ５１０から図７のシャボン玉弾かれ処理に
進み、最終的には図８のシャボン玉消滅処理へと進む。
その結果、図９のに例示するように、シャボン玉がピ
カチュウの頭に当って遠くに弾き飛ばされるアニメーシ
ョン表現をつくりだす。

【００３４】また「無視フラグ」がセットされていなく
て「多忙フラグ」がセットされている場合には、ステッ
プ５１０→５１１→５１２と進み、図１０のに例示す
るように、ピカチュウの頭上でシャボン玉が旋回するア
ニメーション表現をつくりだする。このシャボン玉は、
前記の寿命データに基づく処理で消滅するか、そのまえ
に「多忙フラグ」がリセットされるかで消息が変る。な
お、前述のピカチュウモーション制御プロセスは、前記
リアクション準備フラグがセットされたときにアクショ
ン中であれば、その単位アクションが終了するまで「多
忙フラグ」をセットしておく。したがって、アクション
中のピカチュウの頭上でシャボン玉が旋回することにな
る。

【００３５】「無視フラグ」も「多忙フラグ」もセット
されていない場合は、ステップ５１１から図６のシャボ
ン玉吸込まれ処理に進む。図６のフローチャートに解説
しているように、この場合は図１１のに示すようにシ
ャボン玉がピカチュウの頭に吸込まれて消えるアニメー
ション表現をつくりだす。また、そのアニメーション表
現に合せた効果音を生成して音響出力する。さらに、音
声媒介オブジェクトに記述されている認識単語ＩＤを対
話相手キャラクタのオブジェクトにコピーする。この認
識単語ＩＤのコピー処理により、ゲームアルゴリズムの
進行処理上で、遊戯者が発声した言語的意味（認識単
語）が対話相手キャラクタに伝達されたことになる。こ
のことがつぎのゲーム場面に反映し、遊戯者の語りかけ
にゲーム映像上の対話相手キャラクタが反応した挙動
（リアクション）を示し、合成音声で言葉を発したりす
るゲームを自由に創作できる。たとえば、遊戯者がピカ
チュウに「かわいいね」と語りかけると、ゲーム映像上
では、そのメッセージがシャボン玉に運ばれてピカチュ
ウに吸込まれ、図１１のに示すようのピカチュウが手
を振ってリアクションする。

【００３６】＝＝＝その他の実施形態＝＝＝ （ア）音声媒介図案は基本的には対話相手キャラクタの
方向に進ませるが、ゲームフィールド上にたとえば「強
風」のような状況を設定し、その強風下で音声媒介図案
が移動する状況が生じたならば、音声媒介図案の進行方
向を変えるアニメーション表現をつくりだす。 （イ）音声認識した単語を文字で表示し、その文字列画
像を音声媒介図案としてのシャボン玉の中に包み込んで
対話相手キャラクタに運ぶアニメーション表現をつく
る。この場合、ゲームフィールドにおける障害の作用で
シャボン玉に包まれた文字列画像が破壊されたり、べつ
意味の文字列に化けたりするアニメーション表現をつく
り、その変化した言語的意味を対話相手キャラクタに伝
える。 （ウ）音声認識において音質も分類し、たとえば男の声
と女の声とに分類して、それに合わせて音声媒介図案の
形態や色あるいはテクスチャを変える。 （エ）音声認識手段で入力音声の表情（語りかけの感情
的な要素）を分析・分類し、その結果を感情データとし
て音声媒介オブジェクトに書き込んでおき、音声媒介図
案が対話相手キャラクタに接近した段階で、キャラクタ
・オブジェクトに感情データをコピーすることで、その
感情データをゲームアルゴリズムの進行処理に反映させ
る。 （オ）一般的なパーソナル・コンピュータを前記メイン
コンピュータとして本発明を適用したビデオゲーム機を
構成できる。その場合、パーソナル・コンピュータのキ
ーボードやマウスを前記コントローラとして機能させる
ことができる。 （カ）音声認識手段は前記メインコンピュータのプログ
ラム処理でも実現できる。その場合は、実施例のような
ゲーム機の本体装置と別体の音声認識ユニットはなくな
る。 （キ）ゲームプログラムの記録媒体は実施例のようなＲ
ＯＭカートリッジに限定されない。ＣＤ−ＲＯＭなどの
ディスク媒体やカード型記録媒体などを利用できる。ま
た、コンピュータネットワークや電話回線などの通信媒
体を介してゲームプログラムを供給するシステムも構築
できる。 （ク）音声認識手段に対してマイクロホン信号を有効・
無効にする操作スイッチをマイクロホン自体あるいは前
記音声認識ユニットに設ける。 （ケ）「ゲーム映像の主人公的な要素でありかつ音声を
受け取るべき相手である対話相手キャラクタ」とは、あ
るゲーム場面での対話相手となるキャラクタを意味して
おり、ゲームストーリーの主人公を必ずしも意味してい
ない。もちろん、対話相手キャラクタは１つに限らず、
複数の対話相手キャラクタが存在することはあり、それ
らキャラクタと個別に対話が可能である。

【００３７】

【発明の効果】（ａ）遊戯者がマイクロホンに向かって
発した語りかけがゲーム映像上の対話相手キャラクタに
伝わっていくプロセスが分かりやすく楽しく映像表現で
きる。まず、語りかけに応答してゲーム映像上に音声媒
介図案が描画されることで、音声入力がそれを処理する
回路系に伝わっていることが分かる。いくらマイクロホ
ンに向かって発声しても、音声媒介図案が画面に表れな
ければ、マイクロホンや音声信号処理系統に異常がある
らしいと容易に推察できる。そのため利用者の使い勝手
がよい。

【００３８】（ｂ）対話相手キャラクタがゲーム映像上
に表れていなくても、発生した音声媒介図案が移動して
いく方向を見れば、表示視野から外れているゲームフィ
ールド上の対話相手キャラクタの存在位置を遊戯者が推
察でき、スムーズで面白いゲーム操作を支援することに
なる。

【００３９】（ｃ）画面に表れた音声媒介図案が対話相
手キャラクタに到達しない様子を見れば、声が小さかっ
たとか、理解されない言葉であったとか、ゲームフィー
ルドに伝言を阻害する要因があるなど、その原因を遊戯
者が推察できので、つぎのコントローラ操作や語りかけ
などの行動に反映させることができ、スムーズで面白い
ゲーム操作を支援することになる。

【００４０】（ｄ）画面に表れた音声媒介図案が対話相
手キャラクタまで到達したのに弾き返されるような映像
を見ることで、遊戯者は自分の発したメッセージと現在
進行中のゲーム状況の関係を容易に理解できるので、つ
ぎのコントローラ操作や語りかけなどの行動に反映させ
ることができ、スムーズで面白いゲーム操作を支援する
ことになる。

【００４１】（ｅ）自然で生物的なキャラクタを３次元
アニメーションで表現するために、モーション（前述の
単位モーションのこと）と呼ばれる一連のデータを多数
使用する。これらのモーションデータは、それぞれ定め
られた再生時間を持っており、その再生途中で他のモー
ションへと自然に切り替えることは現在の技術では難し
く、計算時間もかかる。つまり、ある単位モーションを
いちど始めてから他の単位モーションに切り替えるため
には、最初の単位モーションの再生が終了するまで待た
ねばならず、時間がかかる。たとえば「走る」モーショ
ンを再生している途中で「横たわって眠る」モーション
に即座に切り替えることは難しい。

【００４２】このような理由から、対話相手キャラクタ
が音声を受け取っても、そのときあるモーションの再生
中であれば、それに対するリアクションのモーションに
即座に切り替えられない場合が頻出する。音声の受け取
りタイミングとリアクションの開始との時間的なずれは
きわめて不自然であり、スムーズで面白いコミュニケー
ション感を生み出すことはできない。

【００４３】この発明では、音声認識が終了してから音
声媒介図案が対話相手キャラクタに到達するまでの時間
を利用して、対話相手キャラクタが即座にリアクション
を返せるようにプログラム内部的に準備を整えることが
でき、自然なコミュニケーションを高めることに成功し
た。

【００４４】（ｆ）対話相手とな得る複数のキャラクタ
がゲーム画面に同時に存在している場合に、遊戯者の語
りかけがどのキャラクタに伝達されるのかを視覚的に分
かりやすく見せることができ、つぎのコントローラ操作
や語りかけなどの行動に反映させることができ、スムー
ズで面白いゲーム操作を支援することになる。

【図面の簡単な説明】

【図１】この発明の一実施例によるビデオゲーム機の外
観図である。

【図２】同上実施例装置の電気的構成の概略を示すブロ
ック図である。

【図３】同上実施例装置における音声認識プロセスの処
理手順の概略フローチャートである。

【図４】同上実施例装置における音声伝達状況描画プロ
セスの概略フローチャートその１である。

【図５】同上実施例装置における音声伝達状況描画プロ
セスの概略フローチャートその２である。

【図６】同上実施例装置における音声伝達状況描画プロ
セスの概略フローチャートその３である。

【図７】同上実施例装置における音声伝達状況描画プロ
セスの概略フローチャートその４である。

【図８】同上実施例装置における音声伝達状況描画プロ
セスの概略フローチャートその５である。

【図９】同上実施例装置における音声伝達状況描画プロ
セスによる表示画面例その１である。

【図１０】同上実施例装置における音声伝達状況描画プ
ロセスによる表示画面例その２である。

【図１１】同上実施例装置における音声伝達状況描画プ
ロセスによる表示画面例その３である。

【符号の説明】 １ 本体装置 ２ コントローラ ３ マイクロホン ４ 音声認識ユニット ５ ゲームカセット ６ 映像音響システム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 弘毅 東京都渋谷区神泉町５−２ 有限会社アン ブレラ内 Ｆターム(参考） 2C001 AA00 AA11 BA00 BA02 BA08 BB04 BC00 BC01 BC03 CA00 CA01 CA07 CB01 CB05 CC02 CC08 5D015 KK01

Claims (14)

【特許請求の範囲】
1. 【請求項１】 音声入力式ヒューマンインタフェースに
   特徴を有するビデオゲーム機であって、つぎの事項
   （１）〜（８）により特定される。 （１）ビデオゲーム機のメインコンピュータによって所
   定の媒体に記録されたゲームプログラムが実行され、ゲ
   ームアルゴリズムの進行処理プロセスによりゲーム進行
   状況データが生成され、そのゲーム進行状況データに基
   づいてゲーム映像データおよびゲーム音響データが生成
   されて出力される。 （２）遊戯者が取り扱うコントローラからの操作入力が
   ゲームプログラムの実行プロセスに反映し、ゲーム映像
   データとゲーム音響データがコントローラ操作入力に応
   答して変化する。 （３）マイクロホンからの入力を取り込んで遊戯者の発
   した音声を認識処理するための音声認識手段を備える。
   この音声認識手段により所定の条件を満たす音声入力が
   検出されたときに音声伝達状況描画プロセスが起動され
   るとともに、その音声から認識された言語的意味データ
   が一時記憶される。 （４）音声伝達状況描画プロセスは、ゲーム映像の主人
   公的な要素でありかつ音声を受け取るべき相手である対
   話相手キャラクタがゲームフィールドでどの位置に存在
   しているのかを表すキャラクタ位置データを、起動時か
   ら所定の期間に、前記ゲーム進行状況データから取得す
   る。 （５）音声伝達状況描画プロセスは、ゲーム映像の所定
   位置にて音声媒介図案を発生させ、前記キャラクタ位置
   データに応じた方向に音声媒介図案を移動させるアニメ
   ーションを生成してゲーム映像に付加する。 （６）音声伝達状況描画プロセスは、前記対話相手キャ
   ラクタがゲーム進行上どのような状況にあるのかを表す
   キャラクタ現況データを、起動時から所定の期間に、前
   記ゲーム進行状況データから取得する。 （７）音声伝達状況描画プロセスは、ゲーム映像に付加
   した音声媒介図案が前記対話相手キャラクタに接近して
   からどのように変化して移動するのかを前記キャラクタ
   現況データに応じて可変設定し、設定されたように変化
   して移動する音声媒介図案のアニメーションを生成して
   ゲーム映像に付加する。 （８）ゲーム映像上において音声媒介図案が前記対話相
   手キャラクタに接近した段階で、一時記憶してある前記
   言語的意味データがゲームアルゴリズムの進行処理プロ
   セスに反映される。
2. 【請求項２】 請求項１に記載のビデオゲーム機であっ
   て、前記コントローラから特定の操作入力がある場合に
   おいてのみ、前記音声認識手段がマイクロホンからの入
   力を取り込んで処理する動作を有効とする。
3. 【請求項３】 請求項１に記載のビデオゲーム機であっ
   て、前記メインコンピュータが前記ゲームプログラムを
   実行することにより、ゲーム進行状況に関わる特定の期
   間においてのみ、前記音声認識手段がマイクロホンから
   の入力を取り込んで処理する動作を有効とする。
4. 【請求項４】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、ゲーム映像上にて音
   声媒介図案を対話相手キャラクタに向けて移動させる処
   理過程において、前記ゲーム進行状況データを調べ、そ
   の中の特定のデータ要素がある特定の状態を表している
   場合に、音声媒介図案の移動に障害を加えるアニメーシ
   ョンを生成してゲーム映像に付加するプロセスを含む。
5. 【請求項５】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、起動時に、マイクロ
   ホンから入力された音声の特徴に関するデータを音声認
   識手段から取得し、その特徴データに応じて音声媒介図
   案の形態を可変設定するプロセスを含む。
6. 【請求項６】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、音声媒介図案の移動
   ・変化に対応した効果音データを生成して出力するプロ
   セスを含む。
7. 【請求項７】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、前記キャラクタ現況
   データがある特定の状態を表している場合に、対話相手
   キャラクタに接近した音声媒介図案が対話相手キャラク
   タに吸収されるアニメーションを生成してゲーム映像に
   付加するプロセスを含む。
8. 【請求項８】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、前記キャラクタ現況
   データがある特定の状態を表している場合に、対話相手
   キャラクタに接近した音声媒介図案が対話相手キャラク
   タに弾き返されるアニメーションを生成してゲーム映像
   に付加するプロセスを含む。
9. 【請求項９】 請求項１に記載のビデオゲーム機であっ
   て、音声伝達状況描画プロセスは、起動時に、マイクロ
   ホンから入力された音声の特徴に関するデータを音声認
   識手段から取得するとともに、ゲーム映像上において音
   声媒介図案が対話相手キャラクタに接近した段階で、一
   時記憶してある音声の特徴データをゲームアルゴリズム
   の進行処理プロセスに引き渡すプロセスを含む。
10. 【請求項１０】 請求項１に記載のビデオゲーム機であ
    って、音声伝達状況描画プロセスは、ゲーム映像上にお
    いて音声媒介図案が対話相手キャラクタに接近する前
    に、ゲームアルゴリズムの進行処理プロセスに対して音
    声の待ち受けモードを準備するように指示するプロセス
    を含む。
11. 【請求項１１】 請求項１に記載のビデオゲーム機であ
    って、前記音声認識手段が前記メインコンピュータを内
    蔵した本体装置とは別体の音声認識ユニットとして装置
    構成されており、この音声認識ユニットが前記本体装置
    に接続されるとともに、この音声認識ユニットに前記マ
    イクロホンが接続される。
12. 【請求項１２】 請求項１１に記載のビデオゲーム機で
    あって、前記メインコンピュータは前記ゲームプログラ
    ムに規定されたイニシャル処理として、当該ゲームプロ
    グラムと同じ媒体に記録されている音声辞書データを前
    記音声認識ユニットに転送する。
13. 【請求項１３】 請求項１に記載の音声伝達状況描画プ
    ロセスを前記メインコンピュータにより具現化するため
    の音声伝達状況描画プログラムを包含した前記ゲームプ
    ログラムを所定の媒体に記録したプログラム記録媒体。
14. 【請求項１４】 請求項１３に記載のプログラム記録媒
    体であって、請求項１２に記載の音声辞書データと、そ
    の音声辞書データを請求項１１に記載の音声認識ユニッ
    トに転送するためのイニシャル処理プログラムも記録さ
    れている。