JP2021194229A - コンピュータシステム、および音声情報の生成方法 - Google Patents

Abstract

【課題】実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行えるようにする。【解決手段】コンピュータシステムに、コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部と、ゲームの状況に関する状況データを収集する状況収集部と、入力部に対する音声入力、および状況収集部が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部と、音声情報を出力する出力部とを設ける。【選択図】図２

Description

本開示は、コンピュータシステム、および音声情報の生成方法に関する。

ゲームプレイ動画を配信する場合に、実況者の実況音声情報が提供される場合がある（例えば特許文献１を参照）。特許文献１の例では、ゲームを実況した実況者の操作に応じて、実況音声情報を含むゲームプレイ動画を配信している。

特開２０２０−０４４０８６号公報

ゲームに対して実況などの音声を出力することで、プレイヤのみならず、ゲームのプレイ動画の視聴者やｅスポーツ（Electric Sports）の観戦者が、ゲームに対してより面白さを感じることができる。

本開示は、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行えるようにすること目的とする。

第１の態様は、コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部と、前記ゲームの状況に関する状況データを収集する状況収集部と、前記入力部に対する音声入力、および前記状況収集部が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部と、前記音声情報を出力する出力部と、を備えていることを特徴とするコンピュータシステムである。

また、第１の態様において、前記音声情報生成部は、機械学習の学習済みモデルに基づいて機能するように構成され、前記学習済みモデルは、複数種類が用意されており、前記コンピュータシステムは、前記音声情報生成部が使用する前記学習済みモデルを切り替える切替え部を備えてもよい。

また、前記態様においては、前記音声情報生成部が使用する学習済みデータを指定するユーザインターフェース制御部を備えてもよい。

また、前記態様においては、前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、前記出力部は、前記音声入力が所定期間なかった場合には、前記状況データに応じた音声情報を出力してもよい。

また、前記態様においては、前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、前記出力部は、前記状況データが所定の状態を示す場合には、前記状況データに応じた音声情報を出力してもよい。

また、前記態様においては、前記出力部は、前記状況データが所定の状態を示す場合には、前記入力部が、前記音声入力を受け付けている状態中に、前記状況データに応じた音声情報を出力してもよい。

また、前記態様においては、前記ゲームに関する情報を表示する情報表示部を備えてもよい。

また、前記態様においては、前記音声情報、および前記状況収集部が収集した状況データの少なくとも一方に基づいて、前記音声入力を評価する評価部を備えてもよい。

また、第２の態様は、コンピュータシステムによって、コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力ステップと、前記ゲームの状況に関する状況データを収集する状況収集ステップと、前記入力ステップにおける音声入力、および前記状況収集ステップで収集した状況データに応じて、音声情報を生成する音声情報生成ステップと、前記音声情報を出力する出力ステップと、を実行することを特徴とする音声情報の生成方法である。

本発明によれば、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。

ゲームシステムの構成を示すブロック図である。 サーバ装置の構成を示すブロック図である。 ゲーム装置の構成を示すブロック図である。 情報発信者端末の構成を示すブロック図である。 ゲーム画像の一例を示す。 情報発信者端末におけるゲーム画像、ユーザインターフェースの一例を示す。

以下、本開示におけるコンピュータシステム、および音声情報の生成方法について、図面を参照して説明する。本開示のコンピュータシステムは、ゲームシステムとして実現されている。本開示における音声情報の生成方法は、ゲームシステムの機能として実装されている。

なお、以下の説明において、「ゲーム」とは、所定のルールに従って、何らかの目的を達成する活動であって、コンピュータを利用して実施されるものをいう。前記ゲームには、複数の参加者が競い合うもの（勝敗を定めるもの）もあるし、参加者毎に、得点、時間などの、何らかの指標に基づく評価を受けるものもある。ここでの参加者は、個人またはチームの両方を含む。

［実施形態］
《ゲームシステムの概要》
図１は、実施形態におけるゲームシステム１の構成を示すブロック図である。ゲームシステム１は、例えば、ｅスポーツ大会を運営するために用いられる。ゲームシステム１におけるゲームは、ゲームプレイヤ（参加者）の操作を受けて、プレイヤキャラクタを三次元の仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタの仲間に対して様々なアクションを行わせたりする。

本実施形態で説明するゲームは、プレイヤキャラクタを、他のプレイヤキャラクタまたはノンプレイヤキャラクタと仮想空間内で対戦させる対戦型アクションゲームである。より詳しくは、本実施形態のゲームは、いわゆる格闘ゲームである。

本実施形態の格闘ゲームでは、２人のゲームプレイヤが、１対１で対戦を行う。対戦では、各ゲームプレイヤが、一のキャラクタ（プレイヤキャラクタ）を選択して操作する。対戦では、例えば、いずれかのキャラクタの体力値が０になることで勝敗が決定する。

本実施形態のｅスポーツ大会では、例えば、トーナメント方式などにより、大会が進行する。このｅスポーツ大会では、対戦の状況が実況者によって実況される。また、このｅスポーツ大会では、対戦内容（例えば使用された技）などが、解説者によって解説される。実況および解説は、通信網などを介して、観戦者などに配信される。実況および解説は、大会会場に設置されたスピーカなどによって放送される場合もある。

以下では、ゲームに関わる情報を音声情報として発信する者を「情報発信者」という。「音声情報」は、ゲームの実況およびゲームの解説の少なくとも一方に関連する情報である。実況者、および解説者は、それぞれ、「情報発信者」の一例である。

《ハードウェアの構成》
〈概要〉
ゲームシステム１は、サーバ装置２、ゲーム装置５、および情報発信者端末１０を備えている。サーバ装置２は、ゲーム装置５と通信ネットワーク６（例えばインターネット）を介して、通信可能に構成されている。

情報発信者端末１０は、情報発信者が使用する端末である。情報発信者端末１０は、通信ネットワーク６に接続されている。情報発信者端末１０とサーバ装置２とは、通信ネットワーク６を介して通信を行う。

サーバ装置２は、ｅスポーツ大会の管理、および情報発信のサポートを行う。サーバ装置２は、ゲームプログラムおよびゲームデータを記憶している。サーバ装置２は、ゲーム装置５のゲームデータの管理を行う。サーバ装置２は、ｅスポーツ大会の管理を行うための各種プログラムおよびデータを記憶している。

ゲーム装置５は、ゲームプレイヤの操作に基づいてゲームを実行する。本実施形態では、ゲーム装置５において、対戦型アクションゲームが行われる。本実施形態では、一台のゲーム装置５によって、一組のプレイヤ（この例では二人）の操作を受け付ける。

ゲーム装置５には、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）、Nintendo Switch（登録商標）などの、市販の装置を利用できる。

ゲーム装置５は、通信ネットワーク６を介してサーバ装置２からゲームプログラムおよびゲームデータを受信（ダウンロード）する場合がある。ゲーム装置５は、ゲームプログラム等を受信したら、受信したゲームプログラム等をインストールする。

ゲーム装置５は、各プレイヤ（以下、プレイヤＰ１，Ｐ２）の操作に基づいて、対戦型アクションゲームによる対戦を開始する。ゲーム装置５は、各プレイヤの操作に基づいてゲーム画像や音声を、ディスプレイ６１およびスピーカ６２（それぞれ後述）に出力しながら、ゲームを進行させる。

ゲーム装置５は、対戦が終了すると、対戦結果を示す結果情報をサーバ装置２に送信する。結果情報には、例えば、対戦のステージ（１回戦、決勝戦などの情報）、対戦における勝者を特定する情報が含まれる。

〈サーバ装置２の構成〉
図２は、サーバ装置２の構成を示すブロック図である。図２に示すように、サーバ装置２は、ネットワークインターフェース２１、記憶部２２、および制御部２３を備えている。ネットワークインターフェース２１、および記憶部２２は、バス２９を介して制御部２３と電気的に接続されている。

ネットワークインターフェース２１は、インターネットおよびＬＡＮなどの通信ネットワーク６（通信網）を介して、ゲーム装置５、情報発信者端末１０等と通信可能に接続されている。

記憶部２２は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成されている。記憶部２２には、ゲームデータ、本実施形態に係るゲームプログラムの一部を含む各種プログラムが記憶されている。

制御部２３は、サーバ装置２の動作を制御する。制御部２３は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。

〈ゲーム装置５の構成〉
図３は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５には、図３に示すように、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。ディスプレイ６１は、２台設けられている。また、ゲーム装置５には、コントローラ６３も２台設けられている。以下では、ディスプレイ６１のように複数が存在する構成要素には、必要に応じて、参照符号に枝番を付して区別する（例えば６１−１、６１−２等。以下同様）。

ディスプレイ６１−１およびコントローラ６３−１は、プレイヤＰ１が使用する。ディスプレイ６１−２およびコントローラ６３−２は、プレイヤＰ２が使用する。コントローラ６３は、ゲームシステム１において標準で装備されたものに代えて、プレイヤＰ１，Ｐ２自身によって用意されたものが接続される場合もある。

ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５、および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。

ネットワークインターフェース５１は、ゲーム装置５とサーバ装置２との間で、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。

グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、仮想空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２は、例えば液晶型であるディスプレイ６１（６１−１，６１−２）と接続されている。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。

オーディオ処理部５３は、スピーカ６２と接続されている。オーディオ処理部５３は、制御部５６の指示に従ってゲーム音声を再生および合成し、これをスピーカ６２から出力させる。

操作部５４は、コントローラ６３（６３−１，６３−２）と接続されている。操作部５４は、操作入力に関するデータをコントローラ６３との間で送受信する。プレイヤＰ１，Ｐ２は、コントローラ６３のボタン等の各種操作子を操作することで、ゲーム装置５に操作信号を入力する。

記憶部５５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部５５には、サーバ装置２からダウンロードされたゲームデータ、ゲームプログラムの一部を含む各種プログラムなどが格納されている。

制御部５６は、ゲーム装置５の動作を制御する。制御部５６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。

〈情報発信者端末１０の構成〉
情報発信者端末１０は、例えば、パーソナルコンピュータに所定のソフトウェアをインストールすることによって構成できる。図４は、情報発信者端末１０の構成を示すブロック図である。図４に示すように、情報発信者端末１０には、ディスプレイ９１、スピーカ９２、マイクロフォン９４、およびキーボード９３が接続されている。

情報発信者端末１０は、ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、記憶部８５、および制御部８６を有する。ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、および記憶部８５は、バス８７を介して制御部８６と電気的に接続されている。

ネットワークインターフェース８１は、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。これにより、情報発信者端末１０は、サーバ装置２との通信が可能になる。

グラフィック処理部８２は、ディスプレイ９１と接続されている。グラフィック処理部８２は、制御部８６から出力される画像情報に従って、ディスプレイ９１に各種画像を表示する。

オーディオ処理部８３は、スピーカ９２と接続されている。オーディオ処理部８３は、制御部８６から出力される音声情報に従って、音声をスピーカ９２から出力（再生）させる。

オーディオ処理部８３には、マイクロフォン９４が接続されている。マイクロフォン９４は、情報発信者の音声を電気信号として収集するために使用される。オーディオ処理部８３は、マイクロフォン９４から入力された信号をデジタル信号（音声信号）に変換する。オーディオ処理部８３は、音声信号を制御部８６に送信する。

操作部８４は、キーボード９３と接続されている。操作部８４には、使用者（例えば情報発信者）によるキーボード９３の操作に応じて、操作信号が入力される。例えば、使用者は、キーボード９３を操作することにより、記憶部８５に記憶された各種プログラムを実行させることができる。使用者は、キーボード９３を操作することで、種々の情報を入力することができる。

記憶部８５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部８５には、各種プログラムなどが格納されている。

制御部８６は、情報発信者端末１０を制御する。制御部８６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。

《ゲーム装置５における制御部５６の機能的構成》
制御部５６は、そのＣＰＵが各種プログラムを実行することにより、対戦実行部５６１、および送信部５６２として機能する。

対戦実行部５６１は、プレイヤによるコントローラ６３の操作に従って、ゲームデータに含まれるオブジェクト、およびテクスチャなどのデータを読み出し且つゲームプログラムを実行する。ゲームプログラムの実行によって、二次元または三次元のゲーム画像情報が生成される。

ゲーム画像情報は、グラフィック処理部５２によって処理される。グラフィック処理部５２の処理により、ディスプレイ６１には処理後のゲーム画像が表示される。例えば、図５に示すようなゲーム画像Ｓｃがディスプレイ６１に表示される。ゲーム画像Ｓｃは、会場に設置されている観客用ディスプレイにも表示される。ゲーム画像Ｓｃは、通信ネットワーク６を介しても、観戦者に配信される。情報発信者からの音声入力（後述）も通信ネットワーク６を介して、観戦者に配信する。

対戦実行部５６１は、所定の条件を満たした場合（例えば、コントローラ６３に対して所定の操作が行われた場合）に、対戦型アクションゲームによる対戦を開始する。対戦実行部５６１は、対戦の勝敗が決した場合（例えば、キャラクタの体力値が０になった場合）に、対戦を終了する。

送信部５６２は、各対戦者が選んだキャラクタの情報（キャラクタ名、使用コスチュームなど）を送信する。これらの情報は、実況、および解説に使用できる。

送信部５６２は、対戦中に、コントローラ６３による入力の履歴情報（以下、入力履歴情報）を、ネットワークインターフェース５１を介して、サーバ装置２に送信する。入力履歴情報を解析することによって、プレイヤＰ１，Ｐ２が繰り出した技を特定することができる。

送信部５６２は、対戦中は、ゲームにおけるステータス情報をサーバ装置２に送信する。ステータス情報としては、各キャラクタの体力値を例示できる。

《サーバ装置２における制御部２３の機能的構成》
制御部２３は、そのＣＰＵが各種プログラムを実行することにより、入力部２３１、状況収集部２３２、表示部２３３、ユーザインターフェース制御部２３４、情報生成部２３５、出力部２３６、切替え部２３７、および評価部２３８として機能する。

入力部２３１は、情報発信者からの音声入力（デジタルデータ）を受信する。より具体的には、入力部２３１は、情報発信者端末１０から送信された音声入力を受信する。入力部２３１は、受信した音声入力を情報生成部２３５に送信する。

状況収集部２３２は、ゲームの状況に関する情報（以下、状況データという）を収集する。例えば、状況収集部２３２は、状況データとして、入力履歴情報、ステータス情報、およびキャラクタの情報を収集する。状況収集部２３２は、収集した状況データを情報生成部２３５に送信する。

表示部２３３は、ゲーム画像Ｓｃを情報発信者端末１０に出力する。これにより、情報発信者は、対戦を見ることができる。すなわち、対戦会場において対戦が行われる場合のみならず、対戦者同士が通信ネットワーク６経由で対戦を行う場合にも、情報発信者は対戦の状況を把握できる。

ユーザインターフェース制御部２３４（情報表示部）は、ネットワークインターフェース２１を介して、情報発信者端末１０（ディスプレイ９１）に、ユーザインターフェースＵＩを表示させる。ユーザインターフェース制御部２３４は、ゲーム画像Ｓｃに重ねてユーザインターフェースＵＩを情報発信者端末１０に表示させたり、ユーザインターフェースＵＩを単独で情報発信者端末１０に表示させたりする。

例えば、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、テキスト情報を表示する領域（以下、テキスト領域）を情報発信者端末１０に表示させる。また、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、学習済みモデル（後述）の切り替えを行うための選択画面を情報発信者端末１０に表示させる。

情報生成部２３５は、実況者としての音声情報、あるいは解説者としての音声情報を生成する。本実施形態では、情報生成部２３５は、AI（artificial intelligence）によって実装されている。情報生成部２３５は、機械学習の学習済みモデルに基づいて機能する。情報生成部２３５は、学習済みモデルの内容に応じて、実況者としての音声情報を生成するか、解説者としての音声情報を生成するかが定まる。

情報生成部２３５は、ニューラルネットワークを用いて構成されている。このニューラルネットワーク（情報生成部２３５）は、入力部２３１に対する音声入力、および状況収集部２３２が収集した状況データを入力としている。音声入力は、音声認識技術によってテキストデータに変換することによって、容易に情報生成部２３５に入力することができる。

ニューラルネットワーク（情報生成部２３５）は、音声入力、および状況データの双方の入力に応じた音声情報を生成する機能（第１機能）を有している。情報生成部２３５は、状況データに応じた音声情報を生成する機能（第２機能）も有している。つまり、情報生成部２３５は、音声入力を用いずに、音声情報を生成することもできる。更に、情報生成部２３５は、音声入力のみを用いて、音声情報を生成する機能（第３機能）を有している。

本実施形態では、学習済みモデルは、複数種類が用意されている。学習済みモデルは、例えば、過去に、ゲームにおいて行われた解説および実況を利用して構築できる。機械学習の際に用いる音声情報を適宜、選択することによって、種々の特性（性格）のAIを構築することができる。

例えば、実況者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した解説者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、解説者としての動作（発言）を行わせることができる。同様に、解説者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した実況者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、実況者としての動作（発言）を行わせることができる。

また、女性の情報発信者の音声を用いて、AIに機械学習を行わせることで、情報生成部２３５に、女性としての音声情報を生成させることができる。

また、AI（情報生成部２３５）は、ゲストとして振る舞うように機械学習を行わせてもよい。ゲストは、ときには解説もするが自由に話す。ゲストとして振る舞う情報生成部２３５（以下、ゲストAIという）は、例えば、次のような教師データを用いて機械学習を行わせることによって構築できる。

例えば、教師データには、ゲストによる、情報発信者を邪魔する発言を含める。具体的には、ゲストによる「○○いいねー！」、「チャンス！」、「あぶない！」、「うまいねー」などの、情報発信者（実況者等の人）の邪魔をして横槍を入れる発言を教師データに含めることが考えられる。邪魔をして横槍を入れる発言には、情報発信者の音声入力中にゲストの音声を再生したり、情報発信者に話しかけたり、ゲーム進行や情報発信者の音声入力や感情の起伏とは無関係な音声を再生したりすることも含まれる。

教師データには、ゲストによる、情報発信者の感情の起伏とは異なる発言を含めることが考えられる。具体的には、サッカーのゲームにおいて、音声入力（情報発信者の発言）として「ゴール！！！」とあったあとに行われる、「（全然喜んでいない口調で）油断してはだめ、気を引き締めよう」などの、ゲストによる発言を教師データに含めることが考えられる。

また、ゲストによる、事実とは異なる発言を教師データに含めてもよい。例えば、ファールに近いことがゲーム上行われた場合（実際にはファールではない場合）に、「あれはファールだ！レッドカードだ！」といった怒った口調の発言を教師データに含めることが考えられる。

ゲストAI（情報生成部２３５）の発言に対して、実況者（人）等がうまく対応することで、観戦者は、より面白さを感じることができる。AIの発言は、情報発信者に対する一種の課題である。情報発信者は、AIの発言（課題）への対応を考え、音声入力を行う。ゲストAIの発言も、情報発信者に対する一種の課題の提供である。情報発信者の課題への対応の仕方は、評価部２３８による評価項目に使用できる。具体的には、観戦者（視聴者）による、情報発信者の評価項目（後述）として使用できる。

情報生成部２３５は、ゲームに関する情報をテキスト情報（文字で表された情報）として生成する。本実施形態では、情報生成部２３５は、テキスト情報として、直近に繰り出された技名、対戦経過（この対戦での技の成功率など）、対戦者のプロフィール等を生成する。また、テキスト情報は、プレイヤに表示する情報に限らず、ゲーム中にプレイヤには表示されない情報を含む。

対戦者のプロフィールは、種々の選手のプロフィールをデータベース化しておくことで取得できる。直近に繰り出された技名は、入力履歴情報を分析することで取得できる。技の成功率またはガード成功率は、例えば、技と、体力値の変化度を対戦中に統計処理することで取得できる。技の成否の判断手法、およびガードの成否の判断手法については後に例示する。

また、テキスト情報には、キャラクタ同士が対峙して睨み合っていること、技または技の発動後の隙がキャンセルされたこと、対峙位置（キャラクタの方向）が変わったこと、高度な攻撃が行われたことなどの、キャラクタの状態を含めてもよい。これらのテキスト情報は、専門用語（例えばプレイ中のゲームに特有の用語など）を用いて生成するのが望ましい。

専門用語を含むテキスト情報を生成するには、専門用語を記憶部２２内のデータベースから抽出できるように、データベースおよび情報生成部２３５を構成することが考えられる。また、専門用語を出力できるように、情報生成部２３５に機械学習を行わせてもよい。

情報生成部２３５は、生成したテキスト情報をユーザインターフェース制御部２３４に送信する。ユーザインターフェース制御部２３４は、受け取ったテキスト情報を、テキスト領域に表示させる。情報生成部２３５は、適宜、テキスト情報を更新する。

情報生成部２３５は、ユーザインターフェースＵＩを介して、終了の指示が入力された場合に動作を終了する。これにより、情報発信者は、実況等の情報発信を終了できる。

出力部２３６は、情報発信者からの音声入力を、通信ネットワーク６を介して配信する。出力部２３６は、ネットワークインターフェース２１を介して、ゲーム音声も情報発信者端末１０に送信する。また、出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報を、所定のタイミング（後述）で情報発信者端末１０に出力する。出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報の配信も行う。

詳しくは、出力部２３６は、状況データの変化が所定回数（１または複数回）あった後の所定期間（後述）における音声入力の有無に応じて、出力する音声情報を選択する。ここで、「状況データの変化」としては、格闘ゲームの場合には、体力ゲージや必殺技ゲージなどのパラメータに変化があった場合、必殺技などの特殊な攻撃が実行された場合などを例示できる。

例えば、連続技（いわゆるコンボ技）の成功、失敗は、入力されたキー情報（入力履歴情報）と入力フレーム（所定期間内に技に対応する入力を行ったかの情報）を参照することで判定できる。出力部２３６は、技の成否で音声情報を生成し出力することができる。

例えば、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、他方のキャラクタの体力ゲージが減ったときは必殺技（例えば連続技）がヒットした状況となる。また、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、プレイヤの操作によって他方のキャラクタがガードを実行し、体力ゲージが減らなかったときは必殺技がヒットしなかった状況（ガードまたは回避が成功した状況）となる。また、必殺技等により与えるダメージと、実際に与えたダメージ（体力ゲージの減少度合い）とを比較し、どの程度必殺技がヒットしたかどうかを判断することができる。

また、「状況データの変化」には、出力部２３６が所定回の出力（発言）を行った場合も含まれる。この「発言」は、内容が質問である場合がある。

「音声入力がない」とは、入力部２３１が信号を受信していない状態を例示できる。「音声入力がない」には、入力部２３１が信号を受信はしているが、その信号が言葉として認識できない状態も含む。また、「所定期間」とは、情報発信者が沈黙したと認められる期間である。この実施形態での「所定期間」は、数秒である。「所定期間」は、例えば、動画像のフレーム数によって定めてもよい。

以下では、「状況データの変化が所定回数（１または複数回）あった後の所定期間」を「判定期間」という。出力部２３６は、判定期間に音声入力があった場合には、音声入力、および状況データの双方に応じた音声情報（第１機能に基づいて生成された音声情報）を出力する。

一方、出力部２３６は、判定期間に音声入力がなかった場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する。更に、出力部２３６は、所定期間、状況データの変化が無かった場合であっても、音声入力があった場合には、音声入力に応じた音声情報（第３機能に基づいて生成された音声情報）を出力する。

出力部２３６は、状況データが、特定の状態（以下、特殊状態という）を示す場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する機能を有している。特殊状態においては、出力部２３６は、入力部２３１が音声入力を受け付けている状態中であっても、状況データに応じた音声情報を出力する場合がある。特殊状態には、ゲームの状況がいわゆるチャンスシーン、得点シーン等の場合を例示できる。

以上の出力部２３６の機能は、AIによって実現できる。出力部２３６を実現するAIは、情報生成部２３５を実現するAIと共通のものでもよいし、別個のAIでもよい。出力部２３６をAIによって実装した場合には、ゲームが繰り返されるごとに学習させ、特殊状態の定義を更新してもよい。勿論、何れの状態が特殊状態とされるかを、予め設定（例えば所定の変数に情報を格納）しておいてもよい。

切替え部２３７は、情報生成部２３５が使用する学習済みモデルを切り替える。本実施形態では、情報発信者端末１０の使用者（例えば情報発信者）がユーザインターフェースＵＩを操作することによって、学習済みモデルの切り替えのリクエストが、切替え部２３７に送信される。これにより、情報発信者端末１０の使用者は、AIの性格（特性）を選択することができる。

切替え部２３７は、切り替えのリクエストに応じて、使用すべき学習済みモデルを情報生成部２３５に通知する。情報生成部２３５は、動作時に通知された学習済みモデルを使用する。

評価部２３８は、音声情報、および状況データの少なくとも一方に基づいて、音声入力（すなわち情報発信者の発言）を評価する。ここでは、評価部２３８は、テキストデータに変換された音声情報と状況データとを比較し、両者の適合度合いを指標として、音声入力を評価する。

評価部２３８は、観戦者（視聴者）による評価も、音声情報の評価に利用する。観戦者からの評価は、SNS（social networking service）等を介した評価を利用できる。また、観戦者による評価には、視聴用の端末装置が備えるＵＩから入力された評価を利用することも考えられる。視聴用の端末装置は、パーソナルコンピュータやゲーム装置によって構成できる。

《情報発信者端末１０における制御部８６の機能的構成》
制御部８６は、そのＣＰＵが各種プログラムを実行することにより、音声送信部８６１、およびＵＩ処理部８６２として機能する。

音声送信部８６１は、オーディオ処理部８３が生成した音声信号を、ネットワークインターフェース８１を介して、サーバ装置２に送信する。ここでの音声信号は、情報発信者がマイクロフォン９４を用いてオーディオ処理部８３に入力したものである。音声送信部８６１から送信された音声信号は、サーバ装置２の入力部２３１が受信する。

ＵＩ処理部８６２は、サーバ装置２のユーザインターフェース制御部２３４の指示に応じて、ユーザインターフェースＵＩをディスプレイ９１に表示する。ＵＩ処理部８６２は、表示部２３３が出力したゲーム画像Ｓｃをディスプレイ９１に表示する。図６に、ＵＩ処理部８６２によって表示される画面の例を示す。ＵＩ処理部８６２は、ユーザインターフェースＵＩに対するユーザの操作結果をサーバ装置２に送信する。

《動作例》
音声情報の発信を行うには、情報発信者は、情報発信者端末１０からゲームシステム１（詳しくはサーバ装置２）にアクセスしてログインする。それにより、サーバ装置２のユーザインターフェース制御部２３４が機能して、情報発信者端末１０には、ユーザインターフェースＵＩが表示される。

情報発信者は、ユーザインターフェースＵＩを操作することによって、解説者として機能するAIを選択したり、実況者として機能するAIを選択したりできる。ここでは、情報発信者は、実況者として機能するAIを選択したものとする。換言すると、情報発信者は、解説者として発言を行うものとする。

情報発信者端末１０において準備が完了すると、情報生成部２３５が機能する。例えば、情報生成部２３５は、対戦の開始前に、選手のプロフィール等のテキスト情報をユーザインターフェース制御部２３４に送信する。それにより、ユーザインターフェース制御部２３４は、テキスト領域（ディスプレイ９１）に、受け取った情報を表示させる。情報発信者は、テキスト領域に表示された情報を用いて解説等を開始してもよいし、表示された情報に基づいて、対戦中に話す内容を準備してもよい。

対戦中は、表示部２３３によって、対戦の様子がゲーム画像Ｓｃとしてディスプレイ９１に表示される。情報発信者は、ゲーム画像Ｓｃを見て、解説を行うことができる。情報発信者が発した音声は、情報発信者端末１０からサーバ装置２の入力部２３１に送信される。入力部２３１への音声入力は、情報生成部２３５および評価部２３８に送られる。評価部２３８は、適宜、音声入力の評価を行う。

対戦中は、状況収集部２３２は、入力履歴情報、ゲームの状態（体力ゲージや必殺技ゲージなどのパラメータ等）等の状態データを収集して情報生成部２３５に送る。情報生成部２３５は、音声入力、および状況データの少なくとも一方に基づいて、実況者としての音声情報を生成する。換言すると、情報生成部２３５は、第１〜第３機能を適宜、発揮する。情報生成部２３５は、生成した音声情報を出力部２３６に送る。

例えば、出力部２３６は、判定期間に音声入力があった場合には、第１機能に基づいて生成された音声情報を出力する。また、出力部２３６は、判定期間に音声入力がなかった場合、および特殊状態の場合には、第２機能に基づいて生成された音声情報を出力する。特殊状態では、出力部２３６は、音声入力を受け付けている状態中に出力を行う場合がある。すなわち、出力部２３６は、情報発信者の発言に割り込んで、出力（発言）を行う場合がある。

情報生成部２３５は、テキスト領域に表示可能な情報があれば、その情報をユーザインターフェース制御部２３４に送信する。例えば、情報生成部２３５は、直近に繰り出された技名などをテキスト領域に表示させる。情報発信者は、解説を行う場合等に、テキスト領域に表示された情報を利用できる。

情報発信者は、対戦が終了したあとも、解説などの情報発信を続けてもよい。情報生成部２３５は、対戦が終了した後も、音声入力に応じて、音声情報を生成する。情報発信者は、情報発信を終了したい場合には、ユーザインターフェースＵＩを介して、情報発信習の終了をサーバ装置２に通知できる。情報発信者の情報発信が終了したら、評価部２３８は、音声情報の評価結果を記憶部２２内のデータベースに格納する。

以上をまとめると、本件開示は、ゲーム装置５（コンピュータ）を介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部２３１と、前記ゲームの状況に関する状況データを収集する状況収集部２３２と、前記入力部２３１に対する音声入力、および前記状況収集部２３２が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部２３５と、前記音声情報を出力する出力部２３６と、を備えていることを特徴とするゲームシステム１（コンピュータシステム）である。

《本実施形態の効果》
以上の通り、本実施形態では、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。

また、ゲームシステム１は、実況者、および解説者の練習に利用できる。すなわち、本実施形態によれば、コンピュータシステムによって、情報発信者の育成ができる。

［その他の実施形態］
情報生成部２３５は、解説者としての音声情報を生成するように構成してもよい。しかし、情報生成部２３５が生成する音声情報は、解説者、実況者には限定されない。例えば、実況者とともにゲームを観戦する観戦者として音声情報を出力するように、情報生成部２３５（AI）を構成してもよい。

ゲームの種類は、例示した格闘ゲームには限定されない。ゲームシステム１（コンピュータシステム）は、種々のゲームプレイに利用できる。例えば、ゲームは、対人戦に限らない。また、ゲームは、複数のプレイヤが互いに協力してプレイするゲームでもよいし、個人でプレイするゲーム（例えばタイムアタックなど）でもよい。

実施形態で説明した「状況データの変化」は、例示にすぎない。例えば、ゲームがサッカーゲームであれば、ボールを所持（支配）しているチームが変わる、ゴール付近にボールが近づく、といった変化が「状況データの変化」の一例である。ゲームが野球のゲームであれば、塁上にランナーがでる、攻守が変わるなどの変化が「状況データの変化」の一例である。同様に「特殊状態」も例示にすぎない。

音声情報の生成に用いるサーバは、ゲーム管理のサーバ（対戦実施を管理するサーバ）とは別個に設けてもよい。

ゲームのバージョンアップなどによってキャラクタや技に更新があったり、ゲームルールが変更になったりした場合には、学習済みモデルは、更新するのが望ましい。

対戦のデータを収集し、各キャラクタ（プレイヤの操作）の傾向（最近は、ＸしてからのＹのコンボが流行りであるなどの情報）を解説できるように、情報生成部２３５を構成してもよい。また、ゲームのバージョンアップにより変更になったところを解説できるように、情報生成部２３５を構成してもよい。解説する変更としては、キャラクタＡは、必殺技が弱体化したといった変更、強パンチの後の隙が、Ｘフレーム短縮されたといった変更などを例示できる。

AI（情報生成部２３５）とユーザ（情報発信者）の信頼関係を示すパラメータ（以下、信頼パラメータという）を設けてもよい。例えば、信頼パラメータの値が低い場合には、ユーザの話に被せて出力部２３６に音声出力を行わせたり、信頼パラメータの値が高い場合には、ユーザが話しているときは、出力部２３６に音声出力を行わなにようにしたり（静かにさせたり）するといった応用ができる。

また、信頼パラメータの値が高い場合において、情報発信者による音声入力と音声出力がたまたま被った場合に、情報発信者に発言を譲るといった応用もできる。この場合、出力部２３６において、出力中の音声を中断し（出力中の音声に代えて）、発言機会を譲ることを示す音声出力（例えば「Ａさんどうぞ」という音声出力）を行うようにしてもよい。

信頼パラメータは、所定の変数に保持するようにしてもよいし、教師データとして用いてもよい。

サーバ装置２には、選手キャラクタ（プレイヤでも可）にインタビューする機能を実装してもよい。具体的にはサーバ装置２に、情報発信者の音声をゲーム装置５に送信する機能を実装する。ゲーム装置５には、選手キャラクタ（プレイヤでも可）からの発言をサーバ装置２に送信する機能を実装する。

こうすることで、例えば、実況者（情報発信者）が「いい試合でしたね」と選手キャラクタ（プレイヤでも可）に聞けば、選手キャラクタ（プレイヤでも可）が「ありがとうございます。」と答えるといったやり取りが可能になる。観戦者（視聴者）は、ゲームに対してより面白さを感じることができる。

サーバ装置２は、情報発信者の音声入力によって制御できるように構成してもよい。例えば、情報発信者が「リプレイだせますか？」とサーバ装置２に音声入力した場合に、リプレイ映像を表示（配信）するようにすることが考えられる。また、情報発信者（例えば実況者）が音声入力によって、「Ａ選手を映せますか？」と入力した場合に、サーバ装置２が、仮想カメラを制御したり表示する画像を切り替えたりして、ゲーム画像ＳｃとしてＡ選手キャラクタを表示するようにしてもよい。

ゲームによっては、仮想のカメラを操作することによって配信するゲーム画像Ｓｃを選択できるものがある。また、オンラインゲーム（eスポーツを含む）では、選手や情報発信者の他に、カメラマン、放送局（後述）等の裏方が存在するものがある。

カメラマンは、仮想カメラを操作する者（人）である。放送局は、例えば、複数の仮想カメラの中から配信に使用するものを選定する役割を担う。放送局の役割、およびカメラマンの役割は、人が端末装置（例えばパーソナルコンピュータ、ゲーム装置など）を介して果たす。

ゲームシステム１は、実況者と裏方とがやりとり（意思疎通）できるように構成してもよい。こうすることで、配信内容をより面白くすることが可能になる。

情報生成部２３５は、情報発信者が不正確な発言を行った場合などに、リアルタイムに指摘するように構成してもよい。不正確な発言としては、例えば、言葉の誤用（言葉の意味の誤解）、選手の名前やチームの名前の誤り、ルールの誤認などを例示できる。指摘の方法としては、例えば、情報発信者端末１０に誤用したことを示す表示をしたり、「bad」などの評価表示を行ったり、正しい情報を表示したりすることが考えられる。また、情報発信者に、評価結果を伝える際に、不正確な発言の内容を示してもよい。

一定以上の評価があった回の発言内容、名言（名場面）などは、データベースに記録できるようにしてもよい。「名言」は、コンピュータ（例えばサーバ装置２）が自動で抽出してもよいし、観戦者の評価に基づいて抽出してもよい。

SNSでは、ユーザ（視聴者）が意思表示する仕組み（例えば「イイネ」といったラベルのボタン）が設けられることが多い。観戦者の評価が高い発言（例えば「イイネ」などのボタンが多数押されて盛り上がった際の発言）を「名言」として抽出することが考えられる。

ゲームシステム１は、情報発信者にアドバイスを与えるように構成してもよい。具体的には、情報発信者の直近の、情報発信の履歴や評価を参照し、アドバイスを与えることが考えられる。ユーザ（実況者）は、アドバイスの形態（タイミングや表示方法など）を任意に切り替えられるのが望ましい。

これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。

１ ゲームシステム（コンピュータシステム）
５ ゲーム装置（コンピュータ）
２３１ 入力部
２３２ 状況収集部
２３３ 表示部
２３４ ユーザインターフェース制御部（情報表示部）
２３５ 音声情報生成部
２３６ 出力部
２３７ 切替え部
２３８ 評価部

Claims (9)

1. コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部と、
   前記ゲームの状況に関する状況データを収集する状況収集部と、
   前記入力部に対する音声入力、および前記状況収集部が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部と、
   前記音声情報を出力する出力部と、
   を備えていることを特徴とするコンピュータシステム。
2. 請求項１において、
   前記音声情報生成部は、機械学習の学習済みモデルに基づいて機能するように構成され、
   前記学習済みモデルは、複数種類が用意されており、
   前記コンピュータシステムは、
   前記音声情報生成部が使用する前記学習済みモデルを切り替える切替え部を備えている
   ことを特徴とするコンピュータシステム。
3. 請求項２において、
   前記音声情報生成部が使用する学習済みデータを指定するユーザインターフェース制御部を備えている
   ことを特徴とするコンピュータシステム。
4. 請求項１から請求項３の何れかにおいて、
   前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、
   前記出力部は、前記音声入力が所定期間なかった場合には、前記状況データに応じた音声情報を出力する
   ことを特徴とするコンピュータシステム。
5. 請求項１から請求項４の何れかにおいて、
   前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、
   前記出力部は、前記状況データが所定の状態を示す場合には、前記状況データに応じた音声情報を出力する
   ことを特徴とするコンピュータシステム。
6. 請求項５において、
   前記出力部は、前記状況データが所定の状態を示す場合には、前記入力部が、前記音声入力を受け付けている状態中に、前記状況データに応じた音声情報を出力する
   ことを特徴とするコンピュータシステム。
7. 請求項１から請求項６の何れかにおいて、
   前記ゲームに関する情報を表示する情報表示部を備えている
   ことを特徴とするコンピュータシステム。
8. 請求項１から請求項７の何れかにおいて、
   前記音声情報、および前記状況収集部が収集した状況データの少なくとも一方に基づいて、前記音声入力を評価する評価部を備えている
   ことを特徴とするコンピュータシステム。
9. コンピュータシステムによって、
   コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力ステップと、
   前記ゲームの状況に関する状況データを収集する状況収集ステップと、
   前記入力ステップにおける音声入力、および前記状況収集ステップで収集した状況データに応じて、音声情報を生成する音声情報生成ステップと、
   前記音声情報を出力する出力ステップと、
   を実行することを特徴とする音声情報の生成方法。

Images