JP2022130494A - computer system - Google Patents
computer system Download PDFInfo
- Publication number
- JP2022130494A JP2022130494A JP2022097229A JP2022097229A JP2022130494A JP 2022130494 A JP2022130494 A JP 2022130494A JP 2022097229 A JP2022097229 A JP 2022097229A JP 2022097229 A JP2022097229 A JP 2022097229A JP 2022130494 A JP2022130494 A JP 2022130494A
- Authority
- JP
- Japan
- Prior art keywords
- information
- game
- unit
- voice
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000006870 function Effects 0.000 claims description 60
- 238000011156 evaluation Methods 0.000 claims description 51
- 238000000034 method Methods 0.000 claims description 37
- 238000010801 machine learning Methods 0.000 claims description 19
- 238000012545 processing Methods 0.000 description 58
- 238000013473 artificial intelligence Methods 0.000 description 44
- 230000005540 biological transmission Effects 0.000 description 28
- 238000004891 communication Methods 0.000 description 26
- 230000008859 change Effects 0.000 description 20
- 238000010586 diagram Methods 0.000 description 16
- 239000004065 semiconductor Substances 0.000 description 12
- 230000009471 action Effects 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 4
- 206010027951 Mood swings Diseases 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
Images
Landscapes
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
Description
本開示は、コンピュータシステム、および音声情報の生成方法に関する。 The present disclosure relates to computer systems and methods of generating audio information.
ゲームプレイ動画を配信する場合に、実況者の実況音声情報が提供される場合がある（例えば特許文献１を参照）。特許文献１の例では、ゲームを実況した実況者の操作に応じて、実況音声情報を含むゲームプレイ動画を配信している。 When distributing a game play video, there is a case where the commentary voice information of the commentator is provided (see Patent Literature 1, for example). In the example of Patent Literature 1, a game play video including commentary voice information is distributed according to the operation of the commentator who commented on the game.
ゲームに対して実況などの音声を出力することで、プレイヤのみならず、ゲームのプレイ動画の視聴者やｅスポーツ（Electric Sports）の観戦者が、ゲームに対してより面白さを感じることができる。 By outputting sound such as live commentary to the game, not only the player but also the viewer of the game play video and the spectator of e-sports (Electric Sports) can feel more interesting about the game. .
本開示は、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行えるようにすること目的とする。 An object of the present disclosure is to enable a computer system to output audio such as commentary in line with the flow of conversation such as the game situation and commentary.
第１の態様は、コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部と、前記ゲームの状況に関する状況データを収集する状況収集部と、前記入力部に対する音声入力、および前記状況収集部が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部と、前記音声情報を出力する出力部と、を備えていることを特徴とするコンピュータシステムである。 A first aspect includes an input unit that receives voice input from an information sender for a game played via a computer, a situation collection unit that collects situation data regarding the situation of the game, voice input to the input unit, and A computer system comprising: a voice information generation unit having a function of generating voice information according to the situation data collected by the situation collection unit; and an output unit for outputting the voice information. .
また、第１の態様において、前記音声情報生成部は、機械学習の学習済みモデルに基づいて機能するように構成され、前記学習済みモデルは、複数種類が用意されており、前記コンピュータシステムは、前記音声情報生成部が使用する前記学習済みモデルを切り替える切替え部を備えてもよい。 Further, in the first aspect, the speech information generating unit is configured to function based on a trained model of machine learning, a plurality of types of the trained model are prepared, and the computer system is configured to: A switching unit for switching the trained model used by the speech information generating unit may be provided.
また、前記態様においては、前記音声情報生成部が使用する学習済みデータを指定するユーザインターフェース制御部を備えてもよい。 Further, the aspect may further include a user interface control section for designating learned data to be used by the voice information generation section.
また、前記態様においては、前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、前記出力部は、前記音声入力が所定期間なかった場合には、前記状況データに応じた音声情報を出力してもよい。 Further, in the above aspect, the voice information generation unit has a function of generating voice information corresponding to the situation data, and the output unit outputs the situation data when there is no voice input for a predetermined period of time. You may output the audio|voice information according to.
また、前記態様においては、前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、前記出力部は、前記状況データが所定の状態を示す場合には、前記状況データに応じた音声情報を出力してもよい。 Further, in the aspect, the voice information generation unit has a function of generating voice information according to the situation data, and the output unit outputs the situation data when the situation data indicates a predetermined state. Audio information corresponding to the data may be output.
また、前記態様においては、前記出力部は、前記状況データが所定の状態を示す場合には、前記入力部が、前記音声入力を受け付けている状態中に、前記状況データに応じた音声情報を出力してもよい。 Further, in the aspect, when the situation data indicates a predetermined state, the output section outputs voice information corresponding to the situation data while the input section is accepting the voice input. may be output.
また、前記態様においては、前記ゲームに関する情報を表示する情報表示部を備えてもよい。 Further, in the above aspect, an information display section for displaying information about the game may be provided.
また、前記態様においては、前記音声情報、および前記状況収集部が収集した状況データの少なくとも一方に基づいて、前記音声入力を評価する評価部を備えてもよい。 Further, in the aspect, an evaluation unit may be provided that evaluates the voice input based on at least one of the voice information and the situation data collected by the situation collection unit.
また、第２の態様は、コンピュータシステムによって、コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力ステップと、前記ゲームの状況に関する状況データを収集する状況収集ステップと、前記入力ステップにおける音声入力、および前記状況収集ステップで収集した状況データに応じて、音声情報を生成する音声情報生成ステップと、前記音声情報を出力する出力ステップと、を実行することを特徴とする音声情報の生成方法である。 In a second aspect, a computer system comprises an input step of accepting an information sender's voice input for a game played via a computer, a situation collection step of collecting situation data about the situation of the game, and the input. Voice information characterized by executing a voice information generation step of generating voice information and an output step of outputting the voice information according to the voice input in the step and the situation data collected in the situation collection step. is a method of generating
本発明によれば、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。 According to the present invention, the computer system enables audio output such as commentary along with the flow of conversation such as the game situation and commentary.
以下、本開示におけるコンピュータシステム、および音声情報の生成方法について、図面を参照して説明する。本開示のコンピュータシステムは、ゲームシステムとして実現されている。本開示における音声情報の生成方法は、ゲームシステムの機能として実装されている。 A computer system and a method of generating audio information according to the present disclosure will be described below with reference to the drawings. A computer system of the present disclosure is implemented as a game system. The method of generating audio information in the present disclosure is implemented as a function of the game system.
なお、以下の説明において、「ゲーム」とは、所定のルールに従って、何らかの目的を達成する活動であって、コンピュータを利用して実施されるものをいう。前記ゲームには、複数の参加者が競い合うもの（勝敗を定めるもの）もあるし、参加者毎に、得点、時間などの、何らかの指標に基づく評価を受けるものもある。ここでの参加者は、個人またはチームの両方を含む。 In the following description, the term "game" refers to an activity to achieve some purpose according to predetermined rules, which is carried out using a computer. Some of the games involve a plurality of participants competing (determining victory or defeat), while others are evaluated based on some index, such as score or time, for each participant. Participants here include both individuals and teams.
［実施形態］
《ゲームシステムの概要》
図１は、実施形態におけるゲームシステム１の構成を示すブロック図である。ゲームシステム１は、例えば、ｅスポーツ大会を運営するために用いられる。ゲームシステム１におけるゲームは、ゲームプレイヤ（参加者）の操作を受けて、プレイヤキャラクタを三次元の仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタの仲間に対して様々なアクションを行わせたりする。
[Embodiment]
《Overview of the game system》
FIG. 1 is a block diagram showing the configuration of a game system 1 according to an embodiment. The game system 1 is used, for example, to manage e-sports competitions. The game in the game system 1 is operated by a game player (participant) to make the player character act in a three-dimensional virtual game space (hereinafter simply referred to as virtual space), or to perform various actions on the player character's companions. make you take action.
本実施形態で説明するゲームは、プレイヤキャラクタを、他のプレイヤキャラクタまたはノンプレイヤキャラクタと仮想空間内で対戦させる対戦型アクションゲームである。より詳しくは、本実施形態のゲームは、いわゆる格闘ゲームである。 The game described in this embodiment is a battle-type action game in which a player character battles other player characters or non-player characters in a virtual space. More specifically, the game of this embodiment is a so-called fighting game.
本実施形態の格闘ゲームでは、２人のゲームプレイヤが、１対１で対戦を行う。対戦では、各ゲームプレイヤが、一のキャラクタ（プレイヤキャラクタ）を選択して操作する。対戦では、例えば、いずれかのキャラクタの体力値が０になることで勝敗が決定する。 In the fighting game of this embodiment, two game players compete one-on-one. In the battle, each game player selects and operates one character (player character). In a battle, for example, victory or defeat is determined when the physical strength value of one of the characters becomes 0.
本実施形態のｅスポーツ大会では、例えば、トーナメント方式などにより、大会が進行する。このｅスポーツ大会では、対戦の状況が実況者によって実況される。また、このｅスポーツ大会では、対戦内容（例えば使用された技）などが、解説者によって解説される。実況および解説は、通信網などを介して、観戦者などに配信される。実況および解説は、大会会場に設置されたスピーカなどによって放送される場合もある。 In the e-sports tournament of this embodiment, the tournament progresses by, for example, a tournament system. In this e-sports competition, the situation of the match is commented by the commentator. In addition, in this e-sports competition, the details of the match (for example, the techniques used) are explained by a commentator. The live commentary and commentary are distributed to spectators and the like via communication networks and the like. The live commentary and commentary may be broadcast by speakers or the like installed at the tournament venue.
以下では、ゲームに関わる情報を音声情報として発信する者を「情報発信者」という。「音声情報」は、ゲームの実況およびゲームの解説の少なくとも一方に関連する情報である。実況者、および解説者は、それぞれ、「情報発信者」の一例である。 Hereinafter, a person who transmits game-related information as voice information is referred to as an "information transmitter". "Voice information" is information related to at least one of game commentary and game commentary. The commentator and the commentator are examples of the "information sender" respectively.
《ハードウェアの構成》
〈概要〉
ゲームシステム１は、サーバ装置２、ゲーム装置５、および情報発信者端末１０を備えている。サーバ装置２は、ゲーム装置５と通信ネットワーク６（例えばインターネット）を介して、通信可能に構成されている。
《Hardware configuration》
<Overview>
A game system 1 includes a
情報発信者端末１０は、情報発信者が使用する端末である。情報発信者端末１０は、通信ネットワーク６に接続されている。情報発信者端末１０とサーバ装置２とは、通信ネットワーク６を介して通信を行う。
The
サーバ装置２は、ｅスポーツ大会の管理、および情報発信のサポートを行う。サーバ装置２は、ゲームプログラムおよびゲームデータを記憶している。サーバ装置２は、ゲーム装置５のゲームデータの管理を行う。サーバ装置２は、ｅスポーツ大会の管理を行うための各種プログラムおよびデータを記憶している。
The
ゲーム装置５は、ゲームプレイヤの操作に基づいてゲームを実行する。本実施形態では、ゲーム装置５において、対戦型アクションゲームが行われる。本実施形態では、一台のゲーム装置５によって、一組のプレイヤ（この例では二人）の操作を受け付ける。
The
ゲーム装置５には、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）、Nintendo Switch（登録商標）などの、市販の装置を利用できる。
As the
ゲーム装置５は、通信ネットワーク６を介してサーバ装置２からゲームプログラムおよびゲームデータを受信（ダウンロード）する場合がある。ゲーム装置５は、ゲームプログラム等を受信したら、受信したゲームプログラム等をインストールする。
ゲーム装置５は、各プレイヤ（以下、プレイヤＰ１，Ｐ２）の操作に基づいて、対戦型アクションゲームによる対戦を開始する。ゲーム装置５は、各プレイヤの操作に基づいてゲーム画像や音声を、ディスプレイ６１およびスピーカ６２（それぞれ後述）に出力しながら、ゲームを進行させる。
The
ゲーム装置５は、対戦が終了すると、対戦結果を示す結果情報をサーバ装置２に送信する。結果情報には、例えば、対戦のステージ（１回戦、決勝戦などの情報）、対戦における勝者を特定する情報が含まれる。
When the battle ends, the
〈サーバ装置２の構成〉
図２は、サーバ装置２の構成を示すブロック図である。図２に示すように、サーバ装置２は、ネットワークインターフェース２１、記憶部２２、および制御部２３を備えている。ネットワークインターフェース２１、および記憶部２２は、バス２９を介して制御部２３と電気的に接続されている。
<Configuration of
FIG. 2 is a block diagram showing the configuration of the
ネットワークインターフェース２１は、インターネットおよびＬＡＮなどの通信ネットワーク６（通信網）を介して、ゲーム装置５、情報発信者端末１０等と通信可能に接続されている。
The
記憶部２２は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成されている。記憶部２２には、ゲームデータ、本実施形態に係るゲームプログラムの一部を含む各種プログラムが記憶されている。
The
制御部２３は、サーバ装置２の動作を制御する。制御部２３は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
〈ゲーム装置５の構成〉
図３は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５には、図３に示すように、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。ディスプレイ６１は、２台設けられている。また、ゲーム装置５には、コントローラ６３も２台設けられている。以下では、ディスプレイ６１のように複数が存在する構成要素には、必要に応じて、参照符号に枝番を付して区別する（例えば６１－１、６１－２等。以下同様）。
<Structure of
FIG. 3 is a block diagram showing the configuration of the
ディスプレイ６１－１およびコントローラ６３－１は、プレイヤＰ１が使用する。ディスプレイ６１－２およびコントローラ６３－２は、プレイヤＰ２が使用する。コントローラ６３は、ゲームシステム１において標準で装備されたものに代えて、プレイヤＰ１，Ｐ２自身によって用意されたものが接続される場合もある。 The display 61-1 and controller 63-1 are used by player P1. The display 61-2 and controller 63-2 are used by player P2. Instead of the controller 63 that is standard equipment in the game system 1, there are cases where controllers prepared by the players P1 and P2 themselves are connected.
ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５、および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。
The
ネットワークインターフェース５１は、ゲーム装置５とサーバ装置２との間で、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。
グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、仮想空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２は、例えば液晶型であるディスプレイ６１（６１－１，６１－２）と接続されている。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。
The
オーディオ処理部５３は、スピーカ６２と接続されている。オーディオ処理部５３は、制御部５６の指示に従ってゲーム音声を再生および合成し、これをスピーカ６２から出力させる。
The
操作部５４は、コントローラ６３（６３－１，６３－２）と接続されている。操作部５４は、操作入力に関するデータをコントローラ６３との間で送受信する。プレイヤＰ１，Ｐ２は、コントローラ６３のボタン等の各種操作子を操作することで、ゲーム装置５に操作信号を入力する。
The
記憶部５５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部５５には、サーバ装置２からダウンロードされたゲームデータ、ゲームプログラムの一部を含む各種プログラムなどが格納されている。
The
制御部５６は、ゲーム装置５の動作を制御する。制御部５６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
〈情報発信者端末１０の構成〉
情報発信者端末１０は、例えば、パーソナルコンピュータに所定のソフトウェアをインストールすることによって構成できる。図４は、情報発信者端末１０の構成を示すブロック図である。図４に示すように、情報発信者端末１０には、ディスプレイ９１、スピーカ９２、マイクロフォン９４、およびキーボード９３が接続されている。
<Configuration of
The
情報発信者端末１０は、ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、記憶部８５、および制御部８６を有する。ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、および記憶部８５は、バス８７を介して制御部８６と電気的に接続されている。
The
ネットワークインターフェース８１は、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。これにより、情報発信者端末１０は、サーバ装置２との通信が可能になる。
The
グラフィック処理部８２は、ディスプレイ９１と接続されている。グラフィック処理部８２は、制御部８６から出力される画像情報に従って、ディスプレイ９１に各種画像を表示する。
The
オーディオ処理部８３は、スピーカ９２と接続されている。オーディオ処理部８３は、制御部８６から出力される音声情報に従って、音声をスピーカ９２から出力（再生）させる。
The
オーディオ処理部８３には、マイクロフォン９４が接続されている。マイクロフォン９４は、情報発信者の音声を電気信号として収集するために使用される。オーディオ処理部８３は、マイクロフォン９４から入力された信号をデジタル信号（音声信号）に変換する。オーディオ処理部８３は、音声信号を制御部８６に送信する。
A
操作部８４は、キーボード９３と接続されている。操作部８４には、使用者（例えば情報発信者）によるキーボード９３の操作に応じて、操作信号が入力される。例えば、使用者は、キーボード９３を操作することにより、記憶部８５に記憶された各種プログラムを実行させることができる。使用者は、キーボード９３を操作することで、種々の情報を入力することができる。
The
記憶部８５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部８５には、各種プログラムなどが格納されている。
The
制御部８６は、情報発信者端末１０を制御する。制御部８６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
《ゲーム装置５における制御部５６の機能的構成》
制御部５６は、そのＣＰＵが各種プログラムを実行することにより、対戦実行部５６１、および送信部５６２として機能する。
<<Functional Configuration of
The
対戦実行部５６１は、プレイヤによるコントローラ６３の操作に従って、ゲームデータに含まれるオブジェクト、およびテクスチャなどのデータを読み出し且つゲームプログラムを実行する。ゲームプログラムの実行によって、二次元または三次元のゲーム画像情報が生成される。
The
ゲーム画像情報は、グラフィック処理部５２によって処理される。グラフィック処理部５２の処理により、ディスプレイ６１には処理後のゲーム画像が表示される。例えば、図５に示すようなゲーム画像Ｓｃがディスプレイ６１に表示される。ゲーム画像Ｓｃは、会場に設置されている観客用ディスプレイにも表示される。ゲーム画像Ｓｃは、通信ネットワーク６を介しても、観戦者に配信される。情報発信者からの音声入力（後述）も通信ネットワーク６を介して、観戦者に配信する。
The game image information is processed by the
対戦実行部５６１は、所定の条件を満たした場合（例えば、コントローラ６３に対して所定の操作が行われた場合）に、対戦型アクションゲームによる対戦を開始する。対戦実行部５６１は、対戦の勝敗が決した場合（例えば、キャラクタの体力値が０になった場合）に、対戦を終了する。
The
送信部５６２は、各対戦者が選んだキャラクタの情報（キャラクタ名、使用コスチュームなど）を送信する。これらの情報は、実況、および解説に使用できる。
The
送信部５６２は、対戦中に、コントローラ６３による入力の履歴情報（以下、入力履歴情報）を、ネットワークインターフェース５１を介して、サーバ装置２に送信する。入力履歴情報を解析することによって、プレイヤＰ１，Ｐ２が繰り出した技を特定することができる。
The
送信部５６２は、対戦中は、ゲームにおけるステータス情報をサーバ装置２に送信する。ステータス情報としては、各キャラクタの体力値を例示できる。
The
《サーバ装置２における制御部２３の機能的構成》
制御部２３は、そのＣＰＵが各種プログラムを実行することにより、入力部２３１、状況収集部２３２、表示部２３３、ユーザインターフェース制御部２３４、情報生成部２３５、出力部２３６、切替え部２３７、および評価部２３８として機能する。
<<Functional Configuration of
By the CPU executing various programs, the
入力部２３１は、情報発信者からの音声入力（デジタルデータ）を受信する。より具体的には、入力部２３１は、情報発信者端末１０から送信された音声入力を受信する。入力部２３１は、受信した音声入力を情報生成部２３５に送信する。
The
状況収集部２３２は、ゲームの状況に関する情報（以下、状況データという）を収集する。例えば、状況収集部２３２は、状況データとして、入力履歴情報、ステータス情報、およびキャラクタの情報を収集する。状況収集部２３２は、収集した状況データを情報生成部２３５に送信する。
The
表示部２３３は、ゲーム画像Ｓｃを情報発信者端末１０に出力する。これにより、情報発信者は、対戦を見ることができる。すなわち、対戦会場において対戦が行われる場合のみならず、対戦者同士が通信ネットワーク６経由で対戦を行う場合にも、情報発信者は対戦の状況を把握できる。
The
ユーザインターフェース制御部２３４（情報表示部）は、ネットワークインターフェース２１を介して、情報発信者端末１０（ディスプレイ９１）に、ユーザインターフェースＵＩを表示させる。ユーザインターフェース制御部２３４は、ゲーム画像Ｓｃに重ねてユーザインターフェースＵＩを情報発信者端末１０に表示させたり、ユーザインターフェースＵＩを単独で情報発信者端末１０に表示させたりする。
The user interface control unit 234 (information display unit) causes the information sender terminal 10 (display 91) to display a user interface UI via the
例えば、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、テキスト情報を表示する領域（以下、テキスト領域）を情報発信者端末１０に表示させる。また、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、学習済みモデル（後述）の切り替えを行うための選択画面を情報発信者端末１０に表示させる。
For example, the user
情報生成部２３５は、実況者としての音声情報、あるいは解説者としての音声情報を生成する。本実施形態では、情報生成部２３５は、AI（artificial intelligence）によって実装されている。情報生成部２３５は、機械学習の学習済みモデルに基づいて機能する。情報生成部２３５は、学習済みモデルの内容に応じて、実況者としての音声情報を生成するか、解説者としての音声情報を生成するかが定まる。
The
情報生成部２３５は、ニューラルネットワークを用いて構成されている。このニューラルネットワーク（情報生成部２３５）は、入力部２３１に対する音声入力、および状況収集部２３２が収集した状況データを入力としている。音声入力は、音声認識技術によってテキストデータに変換することによって、容易に情報生成部２３５に入力することができる。
The
ニューラルネットワーク（情報生成部２３５）は、音声入力、および状況データの双方の入力に応じた音声情報を生成する機能（第１機能）を有している。情報生成部２３５は、状況データに応じた音声情報を生成する機能（第２機能）も有している。つまり、情報生成部２３５は、音声入力を用いずに、音声情報を生成することもできる。更に、情報生成部２３５は、音声入力のみを用いて、音声情報を生成する機能（第３機能）を有している。
The neural network (information generation unit 235) has a function (first function) of generating voice information in response to both voice input and situation data input. The
本実施形態では、学習済みモデルは、複数種類が用意されている。学習済みモデルは、例えば、過去に、ゲームにおいて行われた解説および実況を利用して構築できる。機械学習の際に用いる音声情報を適宜、選択することによって、種々の特性（性格）のAIを構築することができる。 In this embodiment, a plurality of types of trained models are prepared. A trained model can be built, for example, using commentary and commentary that has been done in games in the past. AI with various characteristics (characters) can be constructed by appropriately selecting voice information used in machine learning.
例えば、実況者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した解説者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、解説者としての動作（発言）を行わせることができる。同様に、解説者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した実況者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、実況者としての動作（発言）を行わせることができる。
For example, let AI perform machine learning using input consisting of the voice (utterance) of the commentator (person) and situation data, and the voice (output) of the commentator (person) corresponding to these inputs as teacher data. , the
また、女性の情報発信者の音声を用いて、AIに機械学習を行わせることで、情報生成部２３５に、女性としての音声情報を生成させることができる。
Also, by causing AI to perform machine learning using the voice of a female information sender, it is possible to cause the
また、AI（情報生成部２３５）は、ゲストとして振る舞うように機械学習を行わせてもよい。ゲストは、ときには解説もするが自由に話す。ゲストとして振る舞う情報生成部２３５（以下、ゲストAIという）は、例えば、次のような教師データを用いて機械学習を行わせることによって構築できる。
Also, the AI (information generation unit 235) may perform machine learning to act as a guest. Guests speak freely, with occasional commentary. The
例えば、教師データには、ゲストによる、情報発信者を邪魔する発言を含める。具体的には、ゲストによる「○○いいねー！」、「チャンス！」、「あぶない！」、「うまいねー」などの、情報発信者（実況者等の人）の邪魔をして横槍を入れる発言を教師データに含めることが考えられる。邪魔をして横槍を入れる発言には、情報発信者の音声入力中にゲストの音声を再生したり、情報発信者に話しかけたり、ゲーム進行や情報発信者の音声入力や感情の起伏とは無関係な音声を再生したりすることも含まれる。 For example, teacher data includes remarks by guests that disturb information senders. Specifically, the guests say "○○ nice!", "Chance!", "Dangerous!", "Good!" It is conceivable to include utterances in teacher data. Speech that interferes and throws a side spear is unrelated to the game progress, voice input of the information sender, and emotional ups and downs, such as playing back the guest's voice during the information sender's voice input, talking to the information sender. It also includes the playback of various sounds.
教師データには、ゲストによる、情報発信者の感情の起伏とは異なる発言を含めることが考えられる。具体的には、サッカーのゲームにおいて、音声入力（情報発信者の発言）として「ゴール！！！」とあったあとに行われる、「（全然喜んでいない口調で）油断してはだめ、気を引き締めよう」などの、ゲストによる発言を教師データに含めることが考えられる。 The teacher data may include remarks by guests that are different from the mood swings of the information sender. Specifically, in a soccer game, after the voice input (utterance of the information sender) is "Goal!!!" It is conceivable to include comments by guests such as "Let's tighten up" in the teacher data.
また、ゲストによる、事実とは異なる発言を教師データに含めてもよい。例えば、ファールに近いことがゲーム上行われた場合（実際にはファールではない場合）に、「あれはファールだ！レッドカードだ！」といった怒った口調の発言を教師データに含めることが考えられる。 In addition, teacher data may include untruthful remarks by guests. For example, when something similar to a foul occurs in the game (not actually a foul), teacher data may include an angry remark such as "That's a foul! It's a red card!"
ゲストAI（情報生成部２３５）の発言に対して、実況者（人）等がうまく対応することで、観戦者は、より面白さを感じることができる。AIの発言は、情報発信者に対する一種の課題である。情報発信者は、AIの発言（課題）への対応を考え、音声入力を行う。ゲストAIの発言も、情報発信者に対する一種の課題の提供である。情報発信者の課題への対応の仕方は、評価部２３８による評価項目に使用できる。具体的には、観戦者（視聴者）による、情報発信者の評価項目（後述）として使用できる。
Spectators can feel more interesting when the commentator (person) or the like responds well to the remarks of the guest AI (information generation unit 235). AI's remarks are a kind of challenge for information senders. The information sender thinks about how to respond to AI's remarks (issues) and performs voice input. Guest AI's remarks also provide a kind of challenge to information senders. The method of dealing with the issue of the information sender can be used as an evaluation item by the
情報生成部２３５は、ゲームに関する情報をテキスト情報（文字で表された情報）として生成する。本実施形態では、情報生成部２３５は、テキスト情報として、直近に繰り出された技名、対戦経過（この対戦での技の成功率など）、対戦者のプロフィール等を生成する。また、テキスト情報は、プレイヤに表示する情報に限らず、ゲーム中にプレイヤには表示されない情報を含む。
The
対戦者のプロフィールは、種々の選手のプロフィールをデータベース化しておくことで取得できる。直近に繰り出された技名は、入力履歴情報を分析することで取得できる。技の成功率またはガード成功率は、例えば、技と、体力値の変化度を対戦中に統計処理することで取得できる。技の成否の判断手法、およびガードの成否の判断手法については後に例示する。 Competitor profiles can be obtained by storing profiles of various players in a database. The name of the technique played most recently can be obtained by analyzing the input history information. The skill success rate or guard success rate can be obtained, for example, by statistically processing the skill and the degree of change in the physical strength value during the battle. A technique for determining the success or failure of a technique and a method for determining the success or failure of a guard will be exemplified later.
また、テキスト情報には、キャラクタ同士が対峙して睨み合っていること、技または技の発動後の隙がキャンセルされたこと、対峙位置（キャラクタの方向）が変わったこと、高度な攻撃が行われたことなどの、キャラクタの状態を含めてもよい。これらのテキスト情報は、専門用語（例えばプレイ中のゲームに特有の用語など）を用いて生成するのが望ましい。 In addition, the text information includes information such as characters facing each other and glaring at each other, canceling a technique or gap after the technique is activated, changing the facing position (character direction), and performing a sophisticated attack. It may also include the state of the character, such as what happened. This textual information is preferably generated using terminology (eg, terminology specific to the game being played).
専門用語を含むテキスト情報を生成するには、専門用語を記憶部２２内のデータベースから抽出できるように、データベースおよび情報生成部２３５を構成することが考えられる。また、専門用語を出力できるように、情報生成部２３５に機械学習を行わせてもよい。
In order to generate text information including technical terms, it is conceivable to configure the database and
情報生成部２３５は、生成したテキスト情報をユーザインターフェース制御部２３４に送信する。ユーザインターフェース制御部２３４は、受け取ったテキスト情報を、テキスト領域に表示させる。情報生成部２３５は、適宜、テキスト情報を更新する。
The
情報生成部２３５は、ユーザインターフェースＵＩを介して、終了の指示が入力された場合に動作を終了する。これにより、情報発信者は、実況等の情報発信を終了できる。
The
出力部２３６は、情報発信者からの音声入力を、通信ネットワーク６を介して配信する。出力部２３６は、ネットワークインターフェース２１を介して、ゲーム音声も情報発信者端末１０に送信する。また、出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報を、所定のタイミング（後述）で情報発信者端末１０に出力する。出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報の配信も行う。
The
詳しくは、出力部２３６は、状況データの変化が所定回数（１または複数回）あった後の所定期間（後述）における音声入力の有無に応じて、出力する音声情報を選択する。ここで、「状況データの変化」としては、格闘ゲームの場合には、体力ゲージや必殺技ゲージなどのパラメータに変化があった場合、必殺技などの特殊な攻撃が実行された場合などを例示できる。
Specifically, the
例えば、連続技（いわゆるコンボ技）の成功、失敗は、入力されたキー情報（入力履歴情報）と入力フレーム（所定期間内に技に対応する入力を行ったかの情報）を参照することで判定できる。出力部２３６は、技の成否で音声情報を生成し出力することができる。
For example, the success or failure of a continuous move (a so-called combo move) can be determined by referring to the input key information (input history information) and the input frame (information on whether the input corresponding to the move was performed within a predetermined period). . The
例えば、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、他方のキャラクタの体力ゲージが減ったときは必殺技（例えば連続技）がヒットした状況となる。また、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、プレイヤの操作によって他方のキャラクタがガードを実行し、体力ゲージが減らなかったときは必殺技がヒットしなかった状況（ガードまたは回避が成功した状況）となる。また、必殺技等により与えるダメージと、実際に与えたダメージ（体力ゲージの減少度合い）とを比較し、どの程度必殺技がヒットしたかどうかを判断することができる。 For example, when the special move gauge of one character reaches its maximum value and a special move is performed by the player's operation, when the physical strength gauge of the other character decreases, the special move (for example, a continuous move) hits. situation. Also, when one character's special move gauge reaches the maximum value and the special move is performed by the player's operation, the other character performs a guard due to the player's operation and the physical strength gauge does not decrease. A situation in which the special move did not hit (a situation in which the guard or evasion was successful). Also, it is possible to compare the damage dealt by the special move or the like with the actual damage (the degree of decrease in the physical strength gauge) to determine how much the special move hits.
また、「状況データの変化」には、出力部２３６が所定回の出力（発言）を行った場合も含まれる。この「発言」は、内容が質問である場合がある。
In addition, the “change in situation data” also includes the case where the
「音声入力がない」とは、入力部２３１が信号を受信していない状態を例示できる。「音声入力がない」には、入力部２３１が信号を受信はしているが、その信号が言葉として認識できない状態も含む。また、「所定期間」とは、情報発信者が沈黙したと認められる期間である。この実施形態での「所定期間」は、数秒である。「所定期間」は、例えば、動画像のフレーム数によって定めてもよい。
"There is no voice input" can be exemplified by a state in which the
以下では、「状況データの変化が所定回数（１または複数回）あった後の所定期間」を「判定期間」という。出力部２３６は、判定期間に音声入力があった場合には、音声入力、および状況データの双方に応じた音声情報（第１機能に基づいて生成された音声情報）を出力する。
Hereinafter, "the predetermined period after the situation data has changed a predetermined number of times (one or more times)" is referred to as a "determination period". The
一方、出力部２３６は、判定期間に音声入力がなかった場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する。更に、出力部２３６は、所定期間、状況データの変化が無かった場合であっても、音声入力があった場合には、音声入力に応じた音声情報（第３機能に基づいて生成された音声情報）を出力する。
On the other hand, when there is no voice input during the determination period, the
出力部２３６は、状況データが、特定の状態（以下、特殊状態という）を示す場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する機能を有している。特殊状態においては、出力部２３６は、入力部２３１が音声入力を受け付けている状態中であっても、状況データに応じた音声情報を出力する場合がある。特殊状態には、ゲームの状況がいわゆるチャンスシーン、得点シーン等の場合を例示できる。
The
以上の出力部２３６の機能は、AIによって実現できる。出力部２３６を実現するAIは、情報生成部２３５を実現するAIと共通のものでもよいし、別個のAIでもよい。出力部２３６をAIによって実装した場合には、ゲームが繰り返されるごとに学習させ、特殊状態の定義を更新してもよい。勿論、何れの状態が特殊状態とされるかを、予め設定（例えば所定の変数に情報を格納）しておいてもよい。
The functions of the
切替え部２３７は、情報生成部２３５が使用する学習済みモデルを切り替える。本実施形態では、情報発信者端末１０の使用者（例えば情報発信者）がユーザインターフェースＵＩを操作することによって、学習済みモデルの切り替えのリクエストが、切替え部２３７に送信される。これにより、情報発信者端末１０の使用者は、AIの性格（特性）を選択することができる。
The
切替え部２３７は、切り替えのリクエストに応じて、使用すべき学習済みモデルを情報生成部２３５に通知する。情報生成部２３５は、動作時に通知された学習済みモデルを使用する。
The
評価部２３８は、音声情報、および状況データの少なくとも一方に基づいて、音声入力（すなわち情報発信者の発言）を評価する。ここでは、評価部２３８は、テキストデータに変換された音声情報と状況データとを比較し、両者の適合度合いを指標として、音声入力を評価する。
The
評価部２３８は、観戦者（視聴者）による評価も、音声情報の評価に利用する。観戦者からの評価は、SNS（social networking service）等を介した評価を利用できる。また、観戦者による評価には、視聴用の端末装置が備えるＵＩから入力された評価を利用することも考えられる。視聴用の端末装置は、パーソナルコンピュータやゲーム装置によって構成できる。
The
《情報発信者端末１０における制御部８６の機能的構成》
制御部８６は、そのＣＰＵが各種プログラムを実行することにより、音声送信部８６１、およびＵＩ処理部８６２として機能する。
<<Functional Configuration of
The
音声送信部８６１は、オーディオ処理部８３が生成した音声信号を、ネットワークインターフェース８１を介して、サーバ装置２に送信する。ここでの音声信号は、情報発信者がマイクロフォン９４を用いてオーディオ処理部８３に入力したものである。音声送信部８６１から送信された音声信号は、サーバ装置２の入力部２３１が受信する。
The
ＵＩ処理部８６２は、サーバ装置２のユーザインターフェース制御部２３４の指示に応じて、ユーザインターフェースＵＩをディスプレイ９１に表示する。ＵＩ処理部８６２は、表示部２３３が出力したゲーム画像Ｓｃをディスプレイ９１に表示する。図６に、ＵＩ処理部８６２によって表示される画面の例を示す。ＵＩ処理部８６２は、ユーザインターフェースＵＩに対するユーザの操作結果をサーバ装置２に送信する。
The
《動作例》
音声情報の発信を行うには、情報発信者は、情報発信者端末１０からゲームシステム１（詳しくはサーバ装置２）にアクセスしてログインする。それにより、サーバ装置２のユーザインターフェース制御部２３４が機能して、情報発信者端末１０には、ユーザインターフェースＵＩが表示される。
《Example of operation》
To send voice information, the information sender accesses the game system 1 (specifically, the server device 2) from the
情報発信者は、ユーザインターフェースＵＩを操作することによって、解説者として機能するAIを選択したり、実況者として機能するAIを選択したりできる。ここでは、情報発信者は、実況者として機能するAIを選択したものとする。換言すると、情報発信者は、解説者として発言を行うものとする。 The information sender can select an AI functioning as a commentator or an AI functioning as a commentator by operating the user interface UI. Here, it is assumed that the information sender has selected an AI functioning as a commentator. In other words, the information sender speaks as a commentator.
情報発信者端末１０において準備が完了すると、情報生成部２３５が機能する。例えば、情報生成部２３５は、対戦の開始前に、選手のプロフィール等のテキスト情報をユーザインターフェース制御部２３４に送信する。それにより、ユーザインターフェース制御部２３４は、テキスト領域（ディスプレイ９１）に、受け取った情報を表示させる。情報発信者は、テキスト領域に表示された情報を用いて解説等を開始してもよいし、表示された情報に基づいて、対戦中に話す内容を準備してもよい。
When the
対戦中は、表示部２３３によって、対戦の様子がゲーム画像Ｓｃとしてディスプレイ９１に表示される。情報発信者は、ゲーム画像Ｓｃを見て、解説を行うことができる。情報発信者が発した音声は、情報発信者端末１０からサーバ装置２の入力部２３１に送信される。入力部２３１への音声入力は、情報生成部２３５および評価部２３８に送られる。評価部２３８は、適宜、音声入力の評価を行う。
During the battle, the state of the battle is displayed on the
対戦中は、状況収集部２３２は、入力履歴情報、ゲームの状態（体力ゲージや必殺技ゲージなどのパラメータ等）等の状態データを収集して情報生成部２３５に送る。情報生成部２３５は、音声入力、および状況データの少なくとも一方に基づいて、実況者としての音声情報を生成する。換言すると、情報生成部２３５は、第１～第３機能を適宜、発揮する。情報生成部２３５は、生成した音声情報を出力部２３６に送る。
During the battle, the
例えば、出力部２３６は、判定期間に音声入力があった場合には、第１機能に基づいて生成された音声情報を出力する。また、出力部２３６は、判定期間に音声入力がなかった場合、および特殊状態の場合には、第２機能に基づいて生成された音声情報を出力する。特殊状態では、出力部２３６は、音声入力を受け付けている状態中に出力を行う場合がある。すなわち、出力部２３６は、情報発信者の発言に割り込んで、出力（発言）を行う場合がある。
For example, the
情報生成部２３５は、テキスト領域に表示可能な情報があれば、その情報をユーザインターフェース制御部２３４に送信する。例えば、情報生成部２３５は、直近に繰り出された技名などをテキスト領域に表示させる。情報発信者は、解説を行う場合等に、テキスト領域に表示された情報を利用できる。
If there is information that can be displayed in the text area, the
情報発信者は、対戦が終了したあとも、解説などの情報発信を続けてもよい。情報生成部２３５は、対戦が終了した後も、音声入力に応じて、音声情報を生成する。情報発信者は、情報発信を終了したい場合には、ユーザインターフェースＵＩを介して、情報発信習の終了をサーバ装置２に通知できる。情報発信者の情報発信が終了したら、評価部２３８は、音声情報の評価結果を記憶部２２内のデータベースに格納する。
The information transmitter may continue to transmit information such as commentary even after the match ends. The
以上をまとめると、本件開示は、ゲーム装置５（コンピュータ）を介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部２３１と、前記ゲームの状況に関する状況データを収集する状況収集部２３２と、前記入力部２３１に対する音声入力、および前記状況収集部２３２が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部２３５と、前記音声情報を出力する出力部２３６と、を備えていることを特徴とするゲームシステム１（コンピュータシステム）である。
To summarize the above, the present disclosure provides an
《本実施形態の効果》
以上の通り、本実施形態では、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。
<<Effect of this embodiment>>
As described above, according to the present embodiment, the computer system enables audio output such as commentary along with the flow of conversation such as the game situation and commentary.
また、ゲームシステム１は、実況者、および解説者の練習に利用できる。すなわち、本実施形態によれば、コンピュータシステムによって、情報発信者の育成ができる。 In addition, the game system 1 can be used for practice of commentators and commentators. In other words, according to this embodiment, the computer system can train information senders.
［その他の実施形態］
情報生成部２３５は、解説者としての音声情報を生成するように構成してもよい。しかし、情報生成部２３５が生成する音声情報は、解説者、実況者には限定されない。例えば、実況者とともにゲームを観戦する観戦者として音声情報を出力するように、情報生成部２３５（AI）を構成してもよい。
[Other embodiments]
The
ゲームの種類は、例示した格闘ゲームには限定されない。ゲームシステム１（コンピュータシステム）は、種々のゲームプレイに利用できる。例えば、ゲームは、対人戦に限らない。また、ゲームは、複数のプレイヤが互いに協力してプレイするゲームでもよいし、個人でプレイするゲーム（例えばタイムアタックなど）でもよい。 The type of game is not limited to the illustrated fighting game. The game system 1 (computer system) can be used for various game plays. For example, games are not limited to interpersonal battles. Also, the game may be a game played by a plurality of players in cooperation with each other, or may be a game played individually (for example, time attack).
実施形態で説明した「状況データの変化」は、例示にすぎない。例えば、ゲームがサッカーゲームであれば、ボールを所持（支配）しているチームが変わる、ゴール付近にボールが近づく、といった変化が「状況データの変化」の一例である。ゲームが野球のゲームであれば、塁上にランナーがでる、攻守が変わるなどの変化が「状況データの変化」の一例である。同様に「特殊状態」も例示にすぎない。 The "change in status data" described in the embodiment is merely an example. For example, if the game is a soccer game, a change such as a change in the team possessing (controlling) the ball or a change in the ball approaching the vicinity of the goal is an example of "change in situation data". If the game is a baseball game, changes such as runners appearing on the bases and changes in offense and defense are examples of "changes in situation data." Similarly, the "special state" is only an example.
音声情報の生成に用いるサーバは、ゲーム管理のサーバ（対戦実施を管理するサーバ）とは別個に設けてもよい。 The server used to generate the voice information may be provided separately from the game management server (the server that manages the execution of the battle).
ゲームのバージョンアップなどによってキャラクタや技に更新があったり、ゲームルールが変更になったりした場合には、学習済みモデルは、更新するのが望ましい。 It is desirable to update the trained model when the characters and techniques are updated due to a version upgrade of the game, or when the game rules are changed.
対戦のデータを収集し、各キャラクタ（プレイヤの操作）の傾向（最近は、ＸしてからのＹのコンボが流行りであるなどの情報）を解説できるように、情報生成部２３５を構成してもよい。また、ゲームのバージョンアップにより変更になったところを解説できるように、情報生成部２３５を構成してもよい。解説する変更としては、キャラクタＡは、必殺技が弱体化したといった変更、強パンチの後の隙が、Ｘフレーム短縮されたといった変更などを例示できる。
The
AI（情報生成部２３５）とユーザ（情報発信者）の信頼関係を示すパラメータ（以下、信頼パラメータという）を設けてもよい。例えば、信頼パラメータの値が低い場合には、ユーザの話に被せて出力部２３６に音声出力を行わせたり、信頼パラメータの値が高い場合には、ユーザが話しているときは、出力部２３６に音声出力を行わなにようにしたり（静かにさせたり）するといった応用ができる。
A parameter (hereinafter referred to as a trust parameter) indicating the trust relationship between the AI (information generator 235) and the user (information sender) may be provided. For example, if the value of the confidence parameter is low, the
また、信頼パラメータの値が高い場合において、情報発信者による音声入力と音声出力がたまたま被った場合に、情報発信者に発言を譲るといった応用もできる。この場合、出力部２３６において、出力中の音声を中断し（出力中の音声に代えて）、発言機会を譲ることを示す音声出力（例えば「Ａさんどうぞ」という音声出力）を行うようにしてもよい。
In addition, when the value of the reliability parameter is high, if the voice input and the voice output by the information sender happen to overlap, it can be applied to yield to the information sender. In this case, the
信頼パラメータは、所定の変数に保持するようにしてもよいし、教師データとして用いてもよい。 The reliability parameter may be held in a predetermined variable, or may be used as training data.
サーバ装置２には、選手キャラクタ（プレイヤでも可）にインタビューする機能を実装してもよい。具体的にはサーバ装置２に、情報発信者の音声をゲーム装置５に送信する機能を実装する。ゲーム装置５には、選手キャラクタ（プレイヤでも可）からの発言をサーバ装置２に送信する機能を実装する。
The
こうすることで、例えば、実況者（情報発信者）が「いい試合でしたね」と選手キャラクタ（プレイヤでも可）に聞けば、選手キャラクタ（プレイヤでも可）が「ありがとうございます。」と答えるといったやり取りが可能になる。観戦者（視聴者）は、ゲームに対してより面白さを感じることができる。 By doing so, for example, when a commentator (information sender) asks a player character (or player) that "was a good game," the player character (or player) replies "thank you." Such exchanges are possible. A spectator (audience) can feel the game more interesting.
サーバ装置２は、情報発信者の音声入力によって制御できるように構成してもよい。例えば、情報発信者が「リプレイだせますか？」とサーバ装置２に音声入力した場合に、リプレイ映像を表示（配信）するようにすることが考えられる。また、情報発信者（例えば実況者）が音声入力によって、「Ａ選手を映せますか？」と入力した場合に、サーバ装置２が、仮想カメラを制御したり表示する画像を切り替えたりして、ゲーム画像ＳｃとしてＡ選手キャラクタを表示するようにしてもよい。
The
ゲームによっては、仮想のカメラを操作することによって配信するゲーム画像Ｓｃを選択できるものがある。また、オンラインゲーム（eスポーツを含む）では、選手や情報発信者の他に、カメラマン、放送局（後述）等の裏方が存在するものがある。 Depending on the game, the game image Sc to be distributed can be selected by operating a virtual camera. In addition, in online games (including e-sports), in addition to players and information senders, there are also behind-the-scenes actors such as photographers and broadcasters (described later).
カメラマンは、仮想カメラを操作する者（人）である。放送局は、例えば、複数の仮想カメラの中から配信に使用するものを選定する役割を担う。放送局の役割、およびカメラマンの役割は、人が端末装置（例えばパーソナルコンピュータ、ゲーム装置など）を介して果たす。 A cameraman is a person (person) who operates a virtual camera. The broadcasting station, for example, has a role of selecting a virtual camera to be used for distribution from among a plurality of virtual cameras. The role of the broadcasting station and the role of the cameraman are played by people through terminal devices (for example, personal computers, game devices, etc.).
ゲームシステム１は、実況者と裏方とがやりとり（意思疎通）できるように構成してもよい。こうすることで、配信内容をより面白くすることが可能になる。 The game system 1 may be configured so that the commentator and the behind-the-scenes players can interact (communicate). By doing so, it becomes possible to make the distribution contents more interesting.
情報生成部２３５は、情報発信者が不正確な発言を行った場合などに、リアルタイムに指摘するように構成してもよい。不正確な発言としては、例えば、言葉の誤用（言葉の意味の誤解）、選手の名前やチームの名前の誤り、ルールの誤認などを例示できる。指摘の方法としては、例えば、情報発信者端末１０に誤用したことを示す表示をしたり、「bad」などの評価表示を行ったり、正しい情報を表示したりすることが考えられる。また、情報発信者に、評価結果を伝える際に、不正確な発言の内容を示してもよい。
The
一定以上の評価があった回の発言内容、名言（名場面）などは、データベースに記録できるようにしてもよい。「名言」は、コンピュータ（例えばサーバ装置２）が自動で抽出してもよいし、観戦者の評価に基づいて抽出してもよい。 The content of remarks, quotes (famous scenes), and the like of episodes with a certain level of evaluation may be recorded in a database. The "quotes" may be automatically extracted by a computer (for example, the server device 2), or may be extracted based on the spectator's evaluation.
SNSでは、ユーザ（視聴者）が意思表示する仕組み（例えば「イイネ」といったラベルのボタン）が設けられることが多い。観戦者の評価が高い発言（例えば「イイネ」などのボタンが多数押されて盛り上がった際の発言）を「名言」として抽出することが考えられる。 SNSs often have a mechanism for users (viewers) to express their intentions (for example, a button labeled "Like"). It is conceivable to extract, as a "quote", an utterance highly evaluated by spectators (for example, an utterance when a lot of buttons such as "Like" are pressed and the audience is excited).
ゲームシステム１は、情報発信者にアドバイスを与えるように構成してもよい。具体的には、情報発信者の直近の、情報発信の履歴や評価を参照し、アドバイスを与えることが考えられる。ユーザ（実況者）は、アドバイスの形態（タイミングや表示方法など）を任意に切り替えられるのが望ましい。 The game system 1 may be configured to give advice to the information sender. Specifically, it is conceivable to refer to the most recent information transmission history and evaluation of the information transmission person and give advice. It is desirable that the user (playlist) can arbitrarily switch the form of advice (timing, display method, etc.).
これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。 Even when these other embodiments are employed, the effects of the present invention are exhibited. Further, it is also possible to appropriately combine this embodiment with other embodiments, and other embodiments with each other.
１ ゲームシステム（コンピュータシステム）
５ ゲーム装置（コンピュータ）
２３１ 入力部
２３２ 状況収集部
２３３ 表示部
２３４ ユーザインターフェース制御部（情報表示部）
２３５ 音声情報生成部
２３６ 出力部
２３７ 切替え部
２３８ 評価部
1 Game system (computer system)
5 game device (computer)
231
235 voice
本開示は、コンピュータシステムに関する。 The present disclosure relates to computer systems .
ゲームプレイ動画を配信する場合に、実況者の実況音声情報が提供される場合がある（例えば特許文献１を参照）。特許文献１の例では、ゲームを実況した実況者の操作に応じて、実況音声情報を含むゲームプレイ動画を配信している。 When distributing a game play video, there is a case where the commentary voice information of the commentator is provided (see Patent Literature 1, for example). In the example of Patent Literature 1, a game play video including commentary voice information is distributed according to the operation of the commentator who commented on the game.
ゲームに対して実況などの音声を出力することで、プレイヤのみならず、ゲームのプレイ動画の視聴者やｅスポーツ（Electric Sports）の観戦者が、ゲームに対してより面白さを感じることができる。 By outputting sound such as live commentary to the game, not only the player but also the viewer of the game play video and the spectator of e-sports (Electric Sports) can feel more interesting about the game. .
本開示は、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行えるようにすること目的とする。 An object of the present disclosure is to enable a computer system to output audio such as commentary in line with the flow of conversation such as the game situation and commentary.
第１の態様は、コンピュータシステムであって、
ゲーム進行ステップと、入力ステップと、出力ステップと、表示ステップと、評価ステップとを実行するように構成され、
前記ゲーム進行ステップでは、プレイヤの操作に基づいてキャラクタを制御してゲームを進行し、
前記入力ステップでは、前記ゲームに対する、情報発信者の音声入力を受け付け、
前記出力ステップでは、前記入力ステップで受け付けた音声入力に応じた音声情報を、少なくとも視聴者に対して出力し、
前記表示ステップでは、前記ゲームを行うプレイヤと、前記情報発信者と、前記視聴者とにゲーム画面を表示し、
前記評価ステップでは、前記音声情報に対する前記視聴者による評価を受け付ける、
ものである。
A first aspect is a computer system comprising:
configured to perform a game progression step, an input step, an output step, a display step, and an evaluation step;
In the game progression step, the character is controlled based on the player's operation to progress the game;
In the input step, receiving an information sender's voice input for the game,
In the output step, audio information corresponding to the audio input received in the input step is output to at least a viewer;
In the display step, a game screen is displayed to the player playing the game, the information sender, and the viewer;
In the evaluation step, the evaluation of the audio information by the viewer is received.
It is.
前記態様においては、
前記評価ステップでは、前記評価に基づいて、前記音声情報を記憶部に記憶するとよい。
In the above aspect,
Preferably, in the evaluation step, the voice information is stored in the storage unit based on the evaluation.
前記態様においては、
前記出力ステップでは、前記情報発信者の前記音声入力に加えて、前記情報発信者の前記音声入力または前記ゲームのゲーム状況データに基づいて前記音声情報を出力するとよい。
In the above aspect,
In the output step, in addition to the voice input by the information sender, the voice information may be output based on the voice input by the information sender or game situation data of the game.
前記態様においては、
前記音声情報は、機械学習の学習済みモデルに基づいて生成されてもよい。
In the above aspect,
The audio information may be generated based on a trained model of machine learning.
本発明によれば、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。 According to the present invention, the computer system enables audio output such as commentary along with the flow of conversation such as the game situation and commentary.
以下、本開示におけるコンピュータシステム、および音声情報の生成方法について、図面を参照して説明する。本開示のコンピュータシステムは、ゲームシステムとして実現されている。本開示における音声情報の生成方法は、ゲームシステムの機能として実装されている。 A computer system and a method of generating audio information according to the present disclosure will be described below with reference to the drawings. A computer system of the present disclosure is implemented as a game system. The method of generating audio information in the present disclosure is implemented as a function of the game system.
なお、以下の説明において、「ゲーム」とは、所定のルールに従って、何らかの目的を達成する活動であって、コンピュータを利用して実施されるものをいう。前記ゲームには、複数の参加者が競い合うもの（勝敗を定めるもの）もあるし、参加者毎に、得点、時間などの、何らかの指標に基づく評価を受けるものもある。ここでの参加者は、個人またはチームの両方を含む。 In the following description, the term "game" refers to an activity to achieve some purpose according to predetermined rules, which is carried out using a computer. Some of the games involve a plurality of participants competing (determining victory or defeat), while others are evaluated based on some index, such as score or time, for each participant. Participants here include both individuals and teams.
［実施形態］
《ゲームシステムの概要》
図１は、実施形態におけるゲームシステム１の構成を示すブロック図である。ゲームシステム１は、例えば、ｅスポーツ大会を運営するために用いられる。ゲームシステム１におけるゲームは、ゲームプレイヤ（参加者）の操作を受けて、プレイヤキャラクタを三次元の仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタの仲間に対して様々なアクションを行わせたりする。
[Embodiment]
《Overview of the game system》
FIG. 1 is a block diagram showing the configuration of a game system 1 according to an embodiment. The game system 1 is used, for example, to manage e-sports competitions. The game in the game system 1 is operated by a game player (participant) to make the player character act in a three-dimensional virtual game space (hereinafter simply referred to as virtual space), or to perform various actions on the player character's companions. make you take action.
本実施形態で説明するゲームは、プレイヤキャラクタを、他のプレイヤキャラクタまたはノンプレイヤキャラクタと仮想空間内で対戦させる対戦型アクションゲームである。より詳しくは、本実施形態のゲームは、いわゆる格闘ゲームである。 The game described in this embodiment is a battle-type action game in which a player character battles other player characters or non-player characters in a virtual space. More specifically, the game of this embodiment is a so-called fighting game.
本実施形態の格闘ゲームでは、２人のゲームプレイヤが、１対１で対戦を行う。対戦では、各ゲームプレイヤが、一のキャラクタ（プレイヤキャラクタ）を選択して操作する。対戦では、例えば、いずれかのキャラクタの体力値が０になることで勝敗が決定する。 In the fighting game of this embodiment, two game players compete one-on-one. In the battle, each game player selects and operates one character (player character). In a battle, for example, victory or defeat is determined when the physical strength value of one of the characters becomes 0.
本実施形態のｅスポーツ大会では、例えば、トーナメント方式などにより、大会が進行する。このｅスポーツ大会では、対戦の状況が実況者によって実況される。また、このｅスポーツ大会では、対戦内容（例えば使用された技）などが、解説者によって解説される。実況および解説は、通信網などを介して、観戦者などに配信される。実況および解説は、大会会場に設置されたスピーカなどによって放送される場合もある。 In the e-sports tournament of this embodiment, the tournament progresses by, for example, a tournament system. In this e-sports competition, the situation of the match is commented by the commentator. In addition, in this e-sports competition, the details of the match (for example, the techniques used) are explained by a commentator. The live commentary and commentary are distributed to spectators and the like via communication networks and the like. The live commentary and commentary may be broadcast by speakers or the like installed at the tournament venue.
以下では、ゲームに関わる情報を音声情報として発信する者を「情報発信者」という。「音声情報」は、ゲームの実況およびゲームの解説の少なくとも一方に関連する情報である。実況者、および解説者は、それぞれ、「情報発信者」の一例である。 Hereinafter, a person who transmits game-related information as voice information is referred to as an "information transmitter". "Voice information" is information related to at least one of game commentary and game commentary. The commentator and the commentator are examples of the "information sender" respectively.
《ハードウェアの構成》
〈概要〉
ゲームシステム１は、サーバ装置２、ゲーム装置５、および情報発信者端末１０を備えている。サーバ装置２は、ゲーム装置５と通信ネットワーク６（例えばインターネット）を介して、通信可能に構成されている。
《Hardware configuration》
<Overview>
A game system 1 includes a
情報発信者端末１０は、情報発信者が使用する端末である。情報発信者端末１０は、通信ネットワーク６に接続されている。情報発信者端末１０とサーバ装置２とは、通信ネットワーク６を介して通信を行う。
The
サーバ装置２は、ｅスポーツ大会の管理、および情報発信のサポートを行う。サーバ装置２は、ゲームプログラムおよびゲームデータを記憶している。サーバ装置２は、ゲーム装置５のゲームデータの管理を行う。サーバ装置２は、ｅスポーツ大会の管理を行うための各種プログラムおよびデータを記憶している。
The
ゲーム装置５は、ゲームプレイヤの操作に基づいてゲームを実行する。本実施形態では、ゲーム装置５において、対戦型アクションゲームが行われる。本実施形態では、一台のゲーム装置５によって、一組のプレイヤ（この例では二人）の操作を受け付ける。
The
ゲーム装置５には、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）、Nintendo Switch（登録商標）などの、市販の装置を利用できる。
As the
ゲーム装置５は、通信ネットワーク６を介してサーバ装置２からゲームプログラムおよびゲームデータを受信（ダウンロード）する場合がある。ゲーム装置５は、ゲームプログラム等を受信したら、受信したゲームプログラム等をインストールする。
ゲーム装置５は、各プレイヤ（以下、プレイヤＰ１，Ｐ２）の操作に基づいて、対戦型アクションゲームによる対戦を開始する。ゲーム装置５は、各プレイヤの操作に基づいてゲーム画像や音声を、ディスプレイ６１およびスピーカ６２（それぞれ後述）に出力しながら、ゲームを進行させる。
The
ゲーム装置５は、対戦が終了すると、対戦結果を示す結果情報をサーバ装置２に送信する。結果情報には、例えば、対戦のステージ（１回戦、決勝戦などの情報）、対戦における勝者を特定する情報が含まれる。
When the battle ends, the
〈サーバ装置２の構成〉
図２は、サーバ装置２の構成を示すブロック図である。図２に示すように、サーバ装置２は、ネットワークインターフェース２１、記憶部２２、および制御部２３を備えている。ネットワークインターフェース２１、および記憶部２２は、バス２９を介して制御部２３と電気的に接続されている。
<Configuration of
FIG. 2 is a block diagram showing the configuration of the
ネットワークインターフェース２１は、インターネットおよびＬＡＮなどの通信ネットワーク６（通信網）を介して、ゲーム装置５、情報発信者端末１０等と通信可能に接続されている。
The
記憶部２２は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成されている。記憶部２２には、ゲームデータ、本実施形態に係るゲームプログラムの一部を含む各種プログラムが記憶されている。
The
制御部２３は、サーバ装置２の動作を制御する。制御部２３は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
〈ゲーム装置５の構成〉
図３は、ゲーム装置５の構成を示すブロック図である。ゲーム装置５には、図３に示すように、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。ディスプレイ６１は、２台設けられている。また、ゲーム装置５には、コントローラ６３も２台設けられている。以下では、ディスプレイ６１のように複数が存在する構成要素には、必要に応じて、参照符号に枝番を付して区別する（例えば６１－１、６１－２等。以下同様）。
<Structure of
FIG. 3 is a block diagram showing the configuration of the
ディスプレイ６１－１およびコントローラ６３－１は、プレイヤＰ１が使用する。ディスプレイ６１－２およびコントローラ６３－２は、プレイヤＰ２が使用する。コントローラ６３は、ゲームシステム１において標準で装備されたものに代えて、プレイヤＰ１，Ｐ２自身によって用意されたものが接続される場合もある。 The display 61-1 and controller 63-1 are used by player P1. The display 61-2 and controller 63-2 are used by player P2. Instead of the controller 63 that is standard equipment in the game system 1, there are cases where controllers prepared by the players P1 and P2 themselves are connected.
ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５、および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。
The
ネットワークインターフェース５１は、ゲーム装置５とサーバ装置２との間で、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。
グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、仮想空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２は、例えば液晶型であるディスプレイ６１（６１－１，６１－２）と接続されている。動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。
The
オーディオ処理部５３は、スピーカ６２と接続されている。オーディオ処理部５３は、制御部５６の指示に従ってゲーム音声を再生および合成し、これをスピーカ６２から出力させる。
The
操作部５４は、コントローラ６３（６３－１，６３－２）と接続されている。操作部５４は、操作入力に関するデータをコントローラ６３との間で送受信する。プレイヤＰ１，Ｐ２は、コントローラ６３のボタン等の各種操作子を操作することで、ゲーム装置５に操作信号を入力する。
The
記憶部５５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部５５には、サーバ装置２からダウンロードされたゲームデータ、ゲームプログラムの一部を含む各種プログラムなどが格納されている。
The
制御部５６は、ゲーム装置５の動作を制御する。制御部５６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
〈情報発信者端末１０の構成〉
情報発信者端末１０は、例えば、パーソナルコンピュータに所定のソフトウェアをインストールすることによって構成できる。図４は、情報発信者端末１０の構成を示すブロック図である。図４に示すように、情報発信者端末１０には、ディスプレイ９１、スピーカ９２、マイクロフォン９４、およびキーボード９３が接続されている。
<Configuration of
The
情報発信者端末１０は、ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、記憶部８５、および制御部８６を有する。ネットワークインターフェース８１、グラフィック処理部８２、オーディオ処理部８３、操作部８４、および記憶部８５は、バス８７を介して制御部８６と電気的に接続されている。
The
ネットワークインターフェース８１は、各種データを送受信するために、通信ネットワーク６に通信可能に接続される。これにより、情報発信者端末１０は、サーバ装置２との通信が可能になる。
The
グラフィック処理部８２は、ディスプレイ９１と接続されている。グラフィック処理部８２は、制御部８６から出力される画像情報に従って、ディスプレイ９１に各種画像を表示する。
The
オーディオ処理部８３は、スピーカ９２と接続されている。オーディオ処理部８３は、制御部８６から出力される音声情報に従って、音声をスピーカ９２から出力（再生）させる。
The
オーディオ処理部８３には、マイクロフォン９４が接続されている。マイクロフォン９４は、情報発信者の音声を電気信号として収集するために使用される。オーディオ処理部８３は、マイクロフォン９４から入力された信号をデジタル信号（音声信号）に変換する。オーディオ処理部８３は、音声信号を制御部８６に送信する。
A
操作部８４は、キーボード９３と接続されている。操作部８４には、使用者（例えば情報発信者）によるキーボード９３の操作に応じて、操作信号が入力される。例えば、使用者は、キーボード９３を操作することにより、記憶部８５に記憶された各種プログラムを実行させることができる。使用者は、キーボード９３を操作することで、種々の情報を入力することができる。
The
記憶部８５は、ＨＤＤ、ＳＳＤ、ＲＡＭおよびＲＯＭなどで構成される。記憶部８５には、各種プログラムなどが格納されている。
The
制御部８６は、情報発信者端末１０を制御する。制御部８６は、ＣＰＵ（マイクロコンピュータ）および半導体メモリを備えている（図示は省略）。半導体メモリには、ＣＰＵを動作させるためのプログラムなどが格納されている。
The
《ゲーム装置５における制御部５６の機能的構成》
制御部５６は、そのＣＰＵが各種プログラムを実行することにより、対戦実行部５６１、および送信部５６２として機能する。
<<Functional Configuration of
The
対戦実行部５６１は、プレイヤによるコントローラ６３の操作に従って、ゲームデータに含まれるオブジェクト、およびテクスチャなどのデータを読み出し且つゲームプログラムを実行する。ゲームプログラムの実行によって、二次元または三次元のゲーム画像情報が生成される。
The
ゲーム画像情報は、グラフィック処理部５２によって処理される。グラフィック処理部５２の処理により、ディスプレイ６１には処理後のゲーム画像が表示される。例えば、図５に示すようなゲーム画像Ｓｃがディスプレイ６１に表示される。ゲーム画像Ｓｃは、会場に設置されている観客用ディスプレイにも表示される。ゲーム画像Ｓｃは、通信ネットワーク６を介しても、観戦者に配信される。情報発信者からの音声入力（後述）も通信ネットワーク６を介して、観戦者に配信する。
The game image information is processed by the
対戦実行部５６１は、所定の条件を満たした場合（例えば、コントローラ６３に対して所定の操作が行われた場合）に、対戦型アクションゲームによる対戦を開始する。対戦実行部５６１は、対戦の勝敗が決した場合（例えば、キャラクタの体力値が０になった場合）に、対戦を終了する。
The
送信部５６２は、各対戦者が選んだキャラクタの情報（キャラクタ名、使用コスチュームなど）を送信する。これらの情報は、実況、および解説に使用できる。
The
送信部５６２は、対戦中に、コントローラ６３による入力の履歴情報（以下、入力履歴情報）を、ネットワークインターフェース５１を介して、サーバ装置２に送信する。入力履歴情報を解析することによって、プレイヤＰ１，Ｐ２が繰り出した技を特定することができる。
The
送信部５６２は、対戦中は、ゲームにおけるステータス情報をサーバ装置２に送信する。ステータス情報としては、各キャラクタの体力値を例示できる。
The
《サーバ装置２における制御部２３の機能的構成》
制御部２３は、そのＣＰＵが各種プログラムを実行することにより、入力部２３１、状況収集部２３２、表示部２３３、ユーザインターフェース制御部２３４、情報生成部２３５、出力部２３６、切替え部２３７、および評価部２３８として機能する。
<<Functional Configuration of
By the CPU executing various programs, the
入力部２３１は、情報発信者からの音声入力（デジタルデータ）を受信する。より具体的には、入力部２３１は、情報発信者端末１０から送信された音声入力を受信する。入力部２３１は、受信した音声入力を情報生成部２３５に送信する。
The
状況収集部２３２は、ゲームの状況に関する情報（以下、状況データという）を収集する。例えば、状況収集部２３２は、状況データとして、入力履歴情報、ステータス情報、およびキャラクタの情報を収集する。状況収集部２３２は、収集した状況データを情報生成部２３５に送信する。
The
表示部２３３は、ゲーム画像Ｓｃを情報発信者端末１０に出力する。これにより、情報発信者は、対戦を見ることができる。すなわち、対戦会場において対戦が行われる場合のみならず、対戦者同士が通信ネットワーク６経由で対戦を行う場合にも、情報発信者は対戦の状況を把握できる。
The
ユーザインターフェース制御部２３４（情報表示部）は、ネットワークインターフェース２１を介して、情報発信者端末１０（ディスプレイ９１）に、ユーザインターフェースＵＩを表示させる。ユーザインターフェース制御部２３４は、ゲーム画像Ｓｃに重ねてユーザインターフェースＵＩを情報発信者端末１０に表示させたり、ユーザインターフェースＵＩを単独で情報発信者端末１０に表示させたりする。
The user interface control unit 234 (information display unit) causes the information sender terminal 10 (display 91) to display a user interface UI via the
例えば、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、テキスト情報を表示する領域（以下、テキスト領域）を情報発信者端末１０に表示させる。また、ユーザインターフェース制御部２３４は、ユーザインターフェースＵＩとして、学習済みモデル（後述）の切り替えを行うための選択画面を情報発信者端末１０に表示させる。
For example, the user
情報生成部２３５は、実況者としての音声情報、あるいは解説者としての音声情報を生成する。本実施形態では、情報生成部２３５は、AI（artificial intelligence）によって実装されている。情報生成部２３５は、機械学習の学習済みモデルに基づいて機能する。情報生成部２３５は、学習済みモデルの内容に応じて、実況者としての音声情報を生成するか、解説者としての音声情報を生成するかが定まる。
The
情報生成部２３５は、ニューラルネットワークを用いて構成されている。このニューラルネットワーク（情報生成部２３５）は、入力部２３１に対する音声入力、および状況収集部２３２が収集した状況データを入力としている。音声入力は、音声認識技術によってテキストデータに変換することによって、容易に情報生成部２３５に入力することができる。
The
ニューラルネットワーク（情報生成部２３５）は、音声入力、および状況データの双方の入力に応じた音声情報を生成する機能（第１機能）を有している。情報生成部２３５は、状況データに応じた音声情報を生成する機能（第２機能）も有している。つまり、情報生成部２３５は、音声入力を用いずに、音声情報を生成することもできる。更に、情報生成部２３５は、音声入力のみを用いて、音声情報を生成する機能（第３機能）を有している。
The neural network (information generation unit 235) has a function (first function) of generating voice information in response to both voice input and situation data input. The
本実施形態では、学習済みモデルは、複数種類が用意されている。学習済みモデルは、例えば、過去に、ゲームにおいて行われた解説および実況を利用して構築できる。機械学習の際に用いる音声情報を適宜、選択することによって、種々の特性（性格）のAIを構築することができる。 In this embodiment, a plurality of types of trained models are prepared. A trained model can be built, for example, using commentary and commentary that has been done in games in the past. AI with various characteristics (characters) can be constructed by appropriately selecting voice information used in machine learning.
例えば、実況者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した解説者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、解説者としての動作（発言）を行わせることができる。同様に、解説者（人）の音声（発言）と状況データからなる入力、およびこれらの入力に対応した実況者（人）の音声（出力）を教師データとして用いてAIに機械学習を行わせることで、情報生成部２３５に、実況者としての動作（発言）を行わせることができる。
For example, let AI perform machine learning using input consisting of the voice (utterance) of the commentator (person) and situation data, and the voice (output) of the commentator (person) corresponding to these inputs as teacher data. , the
また、女性の情報発信者の音声を用いて、AIに機械学習を行わせることで、情報生成部２３５に、女性としての音声情報を生成させることができる。
Also, by causing AI to perform machine learning using the voice of a female information sender, it is possible to cause the
また、AI（情報生成部２３５）は、ゲストとして振る舞うように機械学習を行わせてもよい。ゲストは、ときには解説もするが自由に話す。ゲストとして振る舞う情報生成部２３５（以下、ゲストAIという）は、例えば、次のような教師データを用いて機械学習を行わせることによって構築できる。
Also, the AI (information generation unit 235) may perform machine learning to act as a guest. Guests speak freely, with occasional commentary. The
例えば、教師データには、ゲストによる、情報発信者を邪魔する発言を含める。具体的には、ゲストによる「○○いいねー！」、「チャンス！」、「あぶない！」、「うまいねー」などの、情報発信者（実況者等の人）の邪魔をして横槍を入れる発言を教師データに含めることが考えられる。邪魔をして横槍を入れる発言には、情報発信者の音声入力中にゲストの音声を再生したり、情報発信者に話しかけたり、ゲーム進行や情報発信者の音声入力や感情の起伏とは無関係な音声を再生したりすることも含まれる。 For example, teacher data includes remarks by guests that disturb information senders. Specifically, the guests say "○○ nice!", "Chance!", "Dangerous!", "Good!" It is conceivable to include utterances in teacher data. Speech that interferes and throws a side spear is unrelated to the game progress, voice input of the information sender, and emotional ups and downs, such as playing back the guest's voice during the information sender's voice input, talking to the information sender. It also includes the playback of various sounds.
教師データには、ゲストによる、情報発信者の感情の起伏とは異なる発言を含めることが考えられる。具体的には、サッカーのゲームにおいて、音声入力（情報発信者の発言）として「ゴール！！！」とあったあとに行われる、「（全然喜んでいない口調で）油断してはだめ、気を引き締めよう」などの、ゲストによる発言を教師データに含めることが考えられる。 The teacher data may include remarks by guests that are different from the mood swings of the information sender. Specifically, in a soccer game, after the voice input (utterance of the information sender) is "Goal!!!" It is conceivable to include comments by guests such as "Let's tighten up" in the teacher data.
また、ゲストによる、事実とは異なる発言を教師データに含めてもよい。例えば、ファールに近いことがゲーム上行われた場合（実際にはファールではない場合）に、「あれはファールだ！レッドカードだ！」といった怒った口調の発言を教師データに含めることが考えられる。 In addition, teacher data may include untruthful remarks by guests. For example, when something similar to a foul occurs in the game (not actually a foul), teacher data may include an angry remark such as "That's a foul! It's a red card!"
ゲストAI（情報生成部２３５）の発言に対して、実況者（人）等がうまく対応することで、観戦者は、より面白さを感じることができる。AIの発言は、情報発信者に対する一種の課題である。情報発信者は、AIの発言（課題）への対応を考え、音声入力を行う。ゲストAIの発言も、情報発信者に対する一種の課題の提供である。情報発信者の課題への対応の仕方は、評価部２３８による評価項目に使用できる。具体的には、観戦者（視聴者）による、情報発信者の評価項目（後述）として使用できる。
Spectators can feel more interesting when the commentator (person) or the like responds well to the remarks of the guest AI (information generation unit 235). AI's remarks are a kind of challenge for information senders. The information sender thinks about how to respond to AI's remarks (issues) and performs voice input. Guest AI's remarks also provide a kind of challenge to information senders. The method of dealing with the issue of the information sender can be used as an evaluation item by the
情報生成部２３５は、ゲームに関する情報をテキスト情報（文字で表された情報）として生成する。本実施形態では、情報生成部２３５は、テキスト情報として、直近に繰り出された技名、対戦経過（この対戦での技の成功率など）、対戦者のプロフィール等を生成する。また、テキスト情報は、プレイヤに表示する情報に限らず、ゲーム中にプレイヤには表示されない情報を含む。
The
対戦者のプロフィールは、種々の選手のプロフィールをデータベース化しておくことで取得できる。直近に繰り出された技名は、入力履歴情報を分析することで取得できる。技の成功率またはガード成功率は、例えば、技と、体力値の変化度を対戦中に統計処理することで取得できる。技の成否の判断手法、およびガードの成否の判断手法については後に例示する。 Competitor profiles can be obtained by storing profiles of various players in a database. The name of the technique played most recently can be obtained by analyzing the input history information. The skill success rate or guard success rate can be obtained, for example, by statistically processing the skill and the degree of change in the physical strength value during the battle. A technique for determining the success or failure of a technique and a method for determining the success or failure of a guard will be exemplified later.
また、テキスト情報には、キャラクタ同士が対峙して睨み合っていること、技または技の発動後の隙がキャンセルされたこと、対峙位置（キャラクタの方向）が変わったこと、高度な攻撃が行われたことなどの、キャラクタの状態を含めてもよい。これらのテキスト情報は、専門用語（例えばプレイ中のゲームに特有の用語など）を用いて生成するのが望ましい。 In addition, the text information includes information such as characters facing each other and glaring at each other, canceling a technique or gap after the technique is activated, changing the facing position (character direction), and performing a sophisticated attack. It may also include the state of the character, such as what happened. This textual information is preferably generated using terminology (eg, terminology specific to the game being played).
専門用語を含むテキスト情報を生成するには、専門用語を記憶部２２内のデータベースから抽出できるように、データベースおよび情報生成部２３５を構成することが考えられる。また、専門用語を出力できるように、情報生成部２３５に機械学習を行わせてもよい。
In order to generate text information including technical terms, it is conceivable to configure the database and
情報生成部２３５は、生成したテキスト情報をユーザインターフェース制御部２３４に送信する。ユーザインターフェース制御部２３４は、受け取ったテキスト情報を、テキスト領域に表示させる。情報生成部２３５は、適宜、テキスト情報を更新する。
The
情報生成部２３５は、ユーザインターフェースＵＩを介して、終了の指示が入力された場合に動作を終了する。これにより、情報発信者は、実況等の情報発信を終了できる。
The
出力部２３６は、情報発信者からの音声入力を、通信ネットワーク６を介して配信する。出力部２３６は、ネットワークインターフェース２１を介して、ゲーム音声も情報発信者端末１０に送信する。また、出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報を、所定のタイミング（後述）で情報発信者端末１０に出力する。出力部２３６は、ネットワークインターフェース２１を介して、情報生成部２３５が生成した音声情報の配信も行う。
The
詳しくは、出力部２３６は、状況データの変化が所定回数（１または複数回）あった後の所定期間（後述）における音声入力の有無に応じて、出力する音声情報を選択する。ここで、「状況データの変化」としては、格闘ゲームの場合には、体力ゲージや必殺技ゲージなどのパラメータに変化があった場合、必殺技などの特殊な攻撃が実行された場合などを例示できる。
Specifically, the
例えば、連続技（いわゆるコンボ技）の成功、失敗は、入力されたキー情報（入力履歴情報）と入力フレーム（所定期間内に技に対応する入力を行ったかの情報）を参照することで判定できる。出力部２３６は、技の成否で音声情報を生成し出力することができる。
For example, the success or failure of a continuous move (a so-called combo move) can be determined by referring to the input key information (input history information) and the input frame (information on whether the input corresponding to the move was performed within a predetermined period). . The
例えば、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、他方のキャラクタの体力ゲージが減ったときは必殺技（例えば連続技）がヒットした状況となる。また、一方のキャラクタの必殺技のゲージが最大値になり、プレイヤの操作によって必殺技が実行されたときに、プレイヤの操作によって他方のキャラクタがガードを実行し、体力ゲージが減らなかったときは必殺技がヒットしなかった状況（ガードまたは回避が成功した状況）となる。また、必殺技等により与えるダメージと、実際に与えたダメージ（体力ゲージの減少度合い）とを比較し、どの程度必殺技がヒットしたかどうかを判断することができる。 For example, when the special move gauge of one character reaches its maximum value and a special move is performed by the player's operation, when the physical strength gauge of the other character decreases, the special move (for example, a continuous move) hits. situation. Also, when one character's special move gauge reaches the maximum value and the special move is performed by the player's operation, the other character performs a guard due to the player's operation and the physical strength gauge does not decrease. A situation in which the special move did not hit (a situation in which the guard or evasion was successful). Also, it is possible to compare the damage dealt by the special move or the like with the actual damage (the degree of decrease in the physical strength gauge) to determine how much the special move hits.
また、「状況データの変化」には、出力部２３６が所定回の出力（発言）を行った場合も含まれる。この「発言」は、内容が質問である場合がある。
In addition, the “change in situation data” also includes the case where the
「音声入力がない」とは、入力部２３１が信号を受信していない状態を例示できる。「音声入力がない」には、入力部２３１が信号を受信はしているが、その信号が言葉として認識できない状態も含む。また、「所定期間」とは、情報発信者が沈黙したと認められる期間である。この実施形態での「所定期間」は、数秒である。「所定期間」は、例えば、動画像のフレーム数によって定めてもよい。
"There is no voice input" can be exemplified by a state in which the
以下では、「状況データの変化が所定回数（１または複数回）あった後の所定期間」を「判定期間」という。出力部２３６は、判定期間に音声入力があった場合には、音声入力、および状況データの双方に応じた音声情報（第１機能に基づいて生成された音声情報）を出力する。
Hereinafter, "the predetermined period after the situation data has changed a predetermined number of times (one or more times)" is referred to as a "determination period". The
一方、出力部２３６は、判定期間に音声入力がなかった場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する。更に、出力部２３６は、所定期間、状況データの変化が無かった場合であっても、音声入力があった場合には、音声入力に応じた音声情報（第３機能に基づいて生成された音声情報）を出力する。
On the other hand, when there is no voice input during the determination period, the
出力部２３６は、状況データが、特定の状態（以下、特殊状態という）を示す場合には、状況データに応じた音声情報（第２機能に基づいて生成された音声情報）を出力する機能を有している。特殊状態においては、出力部２３６は、入力部２３１が音声入力を受け付けている状態中であっても、状況データに応じた音声情報を出力する場合がある。特殊状態には、ゲームの状況がいわゆるチャンスシーン、得点シーン等の場合を例示できる。
The
以上の出力部２３６の機能は、AIによって実現できる。出力部２３６を実現するAIは、情報生成部２３５を実現するAIと共通のものでもよいし、別個のAIでもよい。出力部２３６をAIによって実装した場合には、ゲームが繰り返されるごとに学習させ、特殊状態の定義を更新してもよい。勿論、何れの状態が特殊状態とされるかを、予め設定（例えば所定の変数に情報を格納）しておいてもよい。
The functions of the
切替え部２３７は、情報生成部２３５が使用する学習済みモデルを切り替える。本実施形態では、情報発信者端末１０の使用者（例えば情報発信者）がユーザインターフェースＵＩを操作することによって、学習済みモデルの切り替えのリクエストが、切替え部２３７に送信される。これにより、情報発信者端末１０の使用者は、AIの性格（特性）を選択することができる。
The
切替え部２３７は、切り替えのリクエストに応じて、使用すべき学習済みモデルを情報生成部２３５に通知する。情報生成部２３５は、動作時に通知された学習済みモデルを使用する。
The
評価部２３８は、音声情報、および状況データの少なくとも一方に基づいて、音声入力（すなわち情報発信者の発言）を評価する。ここでは、評価部２３８は、テキストデータに変換された音声情報と状況データとを比較し、両者の適合度合いを指標として、音声入力を評価する。
The
評価部２３８は、観戦者（視聴者）による評価も、音声情報の評価に利用する。観戦者からの評価は、SNS（social networking service）等を介した評価を利用できる。また、観戦者による評価には、視聴用の端末装置が備えるＵＩから入力された評価を利用することも考えられる。視聴用の端末装置は、パーソナルコンピュータやゲーム装置によって構成できる。
The
《情報発信者端末１０における制御部８６の機能的構成》
制御部８６は、そのＣＰＵが各種プログラムを実行することにより、音声送信部８６１、およびＵＩ処理部８６２として機能する。
<<Functional Configuration of
The
音声送信部８６１は、オーディオ処理部８３が生成した音声信号を、ネットワークインターフェース８１を介して、サーバ装置２に送信する。ここでの音声信号は、情報発信者がマイクロフォン９４を用いてオーディオ処理部８３に入力したものである。音声送信部８６１から送信された音声信号は、サーバ装置２の入力部２３１が受信する。
The
ＵＩ処理部８６２は、サーバ装置２のユーザインターフェース制御部２３４の指示に応じて、ユーザインターフェースＵＩをディスプレイ９１に表示する。ＵＩ処理部８６２は、表示部２３３が出力したゲーム画像Ｓｃをディスプレイ９１に表示する。図６に、ＵＩ処理部８６２によって表示される画面の例を示す。ＵＩ処理部８６２は、ユーザインターフェースＵＩに対するユーザの操作結果をサーバ装置２に送信する。
The
《動作例》
音声情報の発信を行うには、情報発信者は、情報発信者端末１０からゲームシステム１（詳しくはサーバ装置２）にアクセスしてログインする。それにより、サーバ装置２のユーザインターフェース制御部２３４が機能して、情報発信者端末１０には、ユーザインターフェースＵＩが表示される。
《Example of operation》
To send voice information, the information sender accesses the game system 1 (specifically, the server device 2) from the
情報発信者は、ユーザインターフェースＵＩを操作することによって、解説者として機能するAIを選択したり、実況者として機能するAIを選択したりできる。ここでは、情報発信者は、実況者として機能するAIを選択したものとする。換言すると、情報発信者は、解説者として発言を行うものとする。 The information sender can select an AI functioning as a commentator or an AI functioning as a commentator by operating the user interface UI. Here, it is assumed that the information sender has selected an AI functioning as a commentator. In other words, the information sender speaks as a commentator.
情報発信者端末１０において準備が完了すると、情報生成部２３５が機能する。例えば、情報生成部２３５は、対戦の開始前に、選手のプロフィール等のテキスト情報をユーザインターフェース制御部２３４に送信する。それにより、ユーザインターフェース制御部２３４は、テキスト領域（ディスプレイ９１）に、受け取った情報を表示させる。情報発信者は、テキスト領域に表示された情報を用いて解説等を開始してもよいし、表示された情報に基づいて、対戦中に話す内容を準備してもよい。
When the
対戦中は、表示部２３３によって、対戦の様子がゲーム画像Ｓｃとしてディスプレイ９１に表示される。情報発信者は、ゲーム画像Ｓｃを見て、解説を行うことができる。情報発信者が発した音声は、情報発信者端末１０からサーバ装置２の入力部２３１に送信される。入力部２３１への音声入力は、情報生成部２３５および評価部２３８に送られる。評価部２３８は、適宜、音声入力の評価を行う。
During the battle, the state of the battle is displayed on the
対戦中は、状況収集部２３２は、入力履歴情報、ゲームの状態（体力ゲージや必殺技ゲージなどのパラメータ等）等の状態データを収集して情報生成部２３５に送る。情報生成部２３５は、音声入力、および状況データの少なくとも一方に基づいて、実況者としての音声情報を生成する。換言すると、情報生成部２３５は、第１～第３機能を適宜、発揮する。情報生成部２３５は、生成した音声情報を出力部２３６に送る。
During the battle, the
例えば、出力部２３６は、判定期間に音声入力があった場合には、第１機能に基づいて生成された音声情報を出力する。また、出力部２３６は、判定期間に音声入力がなかった場合、および特殊状態の場合には、第２機能に基づいて生成された音声情報を出力する。特殊状態では、出力部２３６は、音声入力を受け付けている状態中に出力を行う場合がある。すなわち、出力部２３６は、情報発信者の発言に割り込んで、出力（発言）を行う場合がある。
For example, the
情報生成部２３５は、テキスト領域に表示可能な情報があれば、その情報をユーザインターフェース制御部２３４に送信する。例えば、情報生成部２３５は、直近に繰り出された技名などをテキスト領域に表示させる。情報発信者は、解説を行う場合等に、テキスト領域に表示された情報を利用できる。
If there is information that can be displayed in the text area, the
情報発信者は、対戦が終了したあとも、解説などの情報発信を続けてもよい。情報生成部２３５は、対戦が終了した後も、音声入力に応じて、音声情報を生成する。情報発信者は、情報発信を終了したい場合には、ユーザインターフェースＵＩを介して、情報発信習の終了をサーバ装置２に通知できる。情報発信者の情報発信が終了したら、評価部２３８は、音声情報の評価結果を記憶部２２内のデータベースに格納する。
The information transmitter may continue to transmit information such as commentary even after the match ends. The
以上をまとめると、本件開示は、ゲーム装置５（コンピュータ）を介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力部２３１と、前記ゲームの状況に関する状況データを収集する状況収集部２３２と、前記入力部２３１に対する音声入力、および前記状況収集部２３２が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部２３５と、前記音声情報を出力する出力部２３６と、を備えていることを特徴とするゲームシステム１（コンピュータシステム）である。
To summarize the above, the present disclosure provides an
《本実施形態の効果》
以上の通り、本実施形態では、コンピュータシステムによって、実況などの音声出力を、ゲームの状況や実況などの会話の流れに沿って行うことが可能になる。
<<Effect of this embodiment>>
As described above, according to the present embodiment, the computer system enables audio output such as commentary along with the flow of conversation such as the game situation and commentary.
また、ゲームシステム１は、実況者、および解説者の練習に利用できる。すなわち、本実施形態によれば、コンピュータシステムによって、情報発信者の育成ができる。 In addition, the game system 1 can be used for practice of commentators and commentators. In other words, according to this embodiment, the computer system can train information senders.
［その他の実施形態］
情報生成部２３５は、解説者としての音声情報を生成するように構成してもよい。しかし、情報生成部２３５が生成する音声情報は、解説者、実況者には限定されない。例えば、実況者とともにゲームを観戦する観戦者として音声情報を出力するように、情報生成部２３５（AI）を構成してもよい。
[Other embodiments]
The
ゲームの種類は、例示した格闘ゲームには限定されない。ゲームシステム１（コンピュータシステム）は、種々のゲームプレイに利用できる。例えば、ゲームは、対人戦に限らない。また、ゲームは、複数のプレイヤが互いに協力してプレイするゲームでもよいし、個人でプレイするゲーム（例えばタイムアタックなど）でもよい。 The type of game is not limited to the illustrated fighting game. The game system 1 (computer system) can be used for various game plays. For example, games are not limited to interpersonal battles. Also, the game may be a game played by a plurality of players in cooperation with each other, or may be a game played individually (for example, time attack).
実施形態で説明した「状況データの変化」は、例示にすぎない。例えば、ゲームがサッカーゲームであれば、ボールを所持（支配）しているチームが変わる、ゴール付近にボールが近づく、といった変化が「状況データの変化」の一例である。ゲームが野球のゲームであれば、塁上にランナーがでる、攻守が変わるなどの変化が「状況データの変化」の一例である。同様に「特殊状態」も例示にすぎない。 The "change in status data" described in the embodiment is merely an example. For example, if the game is a soccer game, a change such as a change in the team possessing (controlling) the ball or a change in the ball approaching the vicinity of the goal is an example of "change in situation data". If the game is a baseball game, changes such as runners appearing on the bases and changes in offense and defense are examples of "changes in situation data." Similarly, the "special state" is only an example.
音声情報の生成に用いるサーバは、ゲーム管理のサーバ（対戦実施を管理するサーバ）とは別個に設けてもよい。 The server used to generate the voice information may be provided separately from the game management server (the server that manages the execution of the battle).
ゲームのバージョンアップなどによってキャラクタや技に更新があったり、ゲームルールが変更になったりした場合には、学習済みモデルは、更新するのが望ましい。 It is desirable to update the trained model when the characters and techniques are updated due to a version upgrade of the game, or when the game rules are changed.
対戦のデータを収集し、各キャラクタ（プレイヤの操作）の傾向（最近は、ＸしてからのＹのコンボが流行りであるなどの情報）を解説できるように、情報生成部２３５を構成してもよい。また、ゲームのバージョンアップにより変更になったところを解説できるように、情報生成部２３５を構成してもよい。解説する変更としては、キャラクタＡは、必殺技が弱体化したといった変更、強パンチの後の隙が、Ｘフレーム短縮されたといった変更などを例示できる。
The
AI（情報生成部２３５）とユーザ（情報発信者）の信頼関係を示すパラメータ（以下、信頼パラメータという）を設けてもよい。例えば、信頼パラメータの値が低い場合には、ユーザの話に被せて出力部２３６に音声出力を行わせたり、信頼パラメータの値が高い場合には、ユーザが話しているときは、出力部２３６に音声出力を行わなにようにしたり（静かにさせたり）するといった応用ができる。
A parameter (hereinafter referred to as a trust parameter) indicating the trust relationship between the AI (information generator 235) and the user (information sender) may be provided. For example, if the value of the confidence parameter is low, the
また、信頼パラメータの値が高い場合において、情報発信者による音声入力と音声出力がたまたま被った場合に、情報発信者に発言を譲るといった応用もできる。この場合、出力部２３６において、出力中の音声を中断し（出力中の音声に代えて）、発言機会を譲ることを示す音声出力（例えば「Ａさんどうぞ」という音声出力）を行うようにしてもよい。
In addition, when the value of the reliability parameter is high, if the voice input and the voice output by the information sender happen to overlap, it can be applied to yield to the information sender. In this case, the
信頼パラメータは、所定の変数に保持するようにしてもよいし、教師データとして用いてもよい。 The reliability parameter may be held in a predetermined variable, or may be used as training data.
サーバ装置２には、選手キャラクタ（プレイヤでも可）にインタビューする機能を実装してもよい。具体的にはサーバ装置２に、情報発信者の音声をゲーム装置５に送信する機能を実装する。ゲーム装置５には、選手キャラクタ（プレイヤでも可）からの発言をサーバ装置２に送信する機能を実装する。
The
こうすることで、例えば、実況者（情報発信者）が「いい試合でしたね」と選手キャラクタ（プレイヤでも可）に聞けば、選手キャラクタ（プレイヤでも可）が「ありがとうございます。」と答えるといったやり取りが可能になる。観戦者（視聴者）は、ゲームに対してより面白さを感じることができる。 By doing so, for example, when a commentator (information sender) asks a player character (or player) that "was a good game," the player character (or player) replies "thank you." Such exchanges are possible. A spectator (audience) can feel the game more interesting.
サーバ装置２は、情報発信者の音声入力によって制御できるように構成してもよい。例えば、情報発信者が「リプレイだせますか？」とサーバ装置２に音声入力した場合に、リプレイ映像を表示（配信）するようにすることが考えられる。また、情報発信者（例えば実況者）が音声入力によって、「Ａ選手を映せますか？」と入力した場合に、サーバ装置２が、仮想カメラを制御したり表示する画像を切り替えたりして、ゲーム画像ＳｃとしてＡ選手キャラクタを表示するようにしてもよい。
The
ゲームによっては、仮想のカメラを操作することによって配信するゲーム画像Ｓｃを選択できるものがある。また、オンラインゲーム（eスポーツを含む）では、選手や情報発信者の他に、カメラマン、放送局（後述）等の裏方が存在するものがある。 Depending on the game, the game image Sc to be distributed can be selected by operating a virtual camera. In addition, in online games (including e-sports), in addition to players and information senders, there are also behind-the-scenes actors such as photographers and broadcasters (described later).
カメラマンは、仮想カメラを操作する者（人）である。放送局は、例えば、複数の仮想カメラの中から配信に使用するものを選定する役割を担う。放送局の役割、およびカメラマンの役割は、人が端末装置（例えばパーソナルコンピュータ、ゲーム装置など）を介して果たす。 A cameraman is a person (person) who operates a virtual camera. The broadcasting station, for example, has a role of selecting a virtual camera to be used for distribution from among a plurality of virtual cameras. The role of the broadcasting station and the role of the cameraman are played by people through terminal devices (for example, personal computers, game devices, etc.).
ゲームシステム１は、実況者と裏方とがやりとり（意思疎通）できるように構成してもよい。こうすることで、配信内容をより面白くすることが可能になる。 The game system 1 may be configured so that the commentator and the behind-the-scenes players can interact (communicate). By doing so, it becomes possible to make the distribution contents more interesting.
情報生成部２３５は、情報発信者が不正確な発言を行った場合などに、リアルタイムに指摘するように構成してもよい。不正確な発言としては、例えば、言葉の誤用（言葉の意味の誤解）、選手の名前やチームの名前の誤り、ルールの誤認などを例示できる。指摘の方法としては、例えば、情報発信者端末１０に誤用したことを示す表示をしたり、「bad」などの評価表示を行ったり、正しい情報を表示したりすることが考えられる。また、情報発信者に、評価結果を伝える際に、不正確な発言の内容を示してもよい。
The
一定以上の評価があった回の発言内容、名言（名場面）などは、データベースに記録できるようにしてもよい。「名言」は、コンピュータ（例えばサーバ装置２）が自動で抽出してもよいし、観戦者の評価に基づいて抽出してもよい。 The content of remarks, quotes (famous scenes), and the like of episodes with a certain level of evaluation may be recorded in a database. The "quotes" may be automatically extracted by a computer (for example, the server device 2), or may be extracted based on the spectator's evaluation.
SNSでは、ユーザ（視聴者）が意思表示する仕組み（例えば「イイネ」といったラベルのボタン）が設けられることが多い。観戦者の評価が高い発言（例えば「イイネ」などのボタンが多数押されて盛り上がった際の発言）を「名言」として抽出することが考えられる。 SNSs often have a mechanism for users (viewers) to express their intentions (for example, a button labeled "Like"). It is conceivable to extract, as a "quote", an utterance highly evaluated by spectators (for example, an utterance when a lot of buttons such as "Like" are pressed and the audience is excited).
ゲームシステム１は、情報発信者にアドバイスを与えるように構成してもよい。具体的には、情報発信者の直近の、情報発信の履歴や評価を参照し、アドバイスを与えることが考えられる。ユーザ（実況者）は、アドバイスの形態（タイミングや表示方法など）を任意に切り替えられるのが望ましい。 The game system 1 may be configured to give advice to the information sender. Specifically, it is conceivable to refer to the most recent information transmission history and evaluation of the information transmission person and give advice. It is desirable that the user (playlist) can arbitrarily switch the form of advice (timing, display method, etc.).
これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。 Even when these other embodiments are employed, the effects of the present invention are exhibited. Further, it is also possible to appropriately combine this embodiment with other embodiments, and other embodiments with each other.
１ ゲームシステム（コンピュータシステム）
５ ゲーム装置（コンピュータ）
２３１ 入力部
２３２ 状況収集部
２３３ 表示部
２３４ ユーザインターフェース制御部（情報表示部）
２３５ 音声情報生成部
２３６ 出力部
２３７ 切替え部
２３８ 評価部
1 Game system (computer system)
5 game device (computer)
231
235 voice
Claims (9)
前記ゲームの状況に関する状況データを収集する状況収集部と、
前記入力部に対する音声入力、および前記状況収集部が収集した状況データに応じて、音声情報を生成する機能を有する音声情報生成部と、
前記音声情報を出力する出力部と、
を備えていることを特徴とするコンピュータシステム。 an input unit that receives an information sender's voice input for a game played via a computer;
a situation collecting unit that collects situation data about the situation of the game;
a voice information generation unit having a function of generating voice information according to voice input to the input unit and situation data collected by the situation collection unit;
an output unit that outputs the audio information;
A computer system comprising:
前記音声情報生成部は、機械学習の学習済みモデルに基づいて機能するように構成され、
前記学習済みモデルは、複数種類が用意されており、
前記コンピュータシステムは、
前記音声情報生成部が使用する前記学習済みモデルを切り替える切替え部を備えている
ことを特徴とするコンピュータシステム。 In claim 1,
The speech information generating unit is configured to function based on a trained model of machine learning,
A plurality of types of the learned model are prepared,
The computer system is
A computer system comprising a switching unit for switching the trained model used by the speech information generating unit.
前記音声情報生成部が使用する学習済みデータを指定するユーザインターフェース制御部を備えている
ことを特徴とするコンピュータシステム。 In claim 2,
A computer system comprising a user interface control unit that designates learned data used by the voice information generation unit.
前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、
前記出力部は、前記音声入力が所定期間なかった場合には、前記状況データに応じた音声情報を出力する
ことを特徴とするコンピュータシステム。 In any one of claims 1 to 3,
The voice information generation unit has a function of generating voice information according to the situation data,
The computer system, wherein the output unit outputs voice information corresponding to the situation data when the voice input has not been made for a predetermined period of time.
前記音声情報生成部は、前記状況データに応じた音声情報を生成する機能を有し、
前記出力部は、前記状況データが所定の状態を示す場合には、前記状況データに応じた音声情報を出力する
ことを特徴とするコンピュータシステム。 In any one of claims 1 to 4,
The voice information generation unit has a function of generating voice information according to the situation data,
The computer system, wherein the output unit outputs audio information corresponding to the situation data when the situation data indicates a predetermined state.
前記出力部は、前記状況データが所定の状態を示す場合には、前記入力部が、前記音声入力を受け付けている状態中に、前記状況データに応じた音声情報を出力する
ことを特徴とするコンピュータシステム。 In claim 5,
When the situation data indicates a predetermined state, the output section outputs voice information corresponding to the situation data while the input section is accepting the voice input. computer system.
前記ゲームに関する情報を表示する情報表示部を備えている
ことを特徴とするコンピュータシステム。 In any one of claims 1 to 6,
A computer system comprising an information display unit that displays information about the game.
前記音声情報、および前記状況収集部が収集した状況データの少なくとも一方に基づいて、前記音声入力を評価する評価部を備えている
ことを特徴とするコンピュータシステム。 In any one of claims 1 to 7,
A computer system, comprising: an evaluation unit that evaluates the voice input based on at least one of the voice information and the situation data collected by the situation collection unit.
コンピュータを介して行われるゲームに対する、情報発信者の音声入力を受け付ける入力ステップと、
前記ゲームの状況に関する状況データを収集する状況収集ステップと、
前記入力ステップにおける音声入力、および前記状況収集ステップで収集した状況データに応じて、音声情報を生成する音声情報生成ステップと、
前記音声情報を出力する出力ステップと、
を実行することを特徴とする音声情報の生成方法。 by a computer system
an input step of receiving an information sender's voice input for a game played via a computer;
a situation gathering step of gathering situation data about the game situation;
a voice information generation step of generating voice information according to the voice input in the input step and the situation data collected in the situation collection step;
an output step of outputting the audio information;
A method for generating voice information, characterized by performing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022097229A JP2022130494A (en) | 2020-06-12 | 2022-06-16 | computer system |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020102455A JP7093025B2 (en) | 2020-06-12 | 2020-06-12 | Computer system and how to generate audio information |
| JP2022097229A JP2022130494A (en) | 2020-06-12 | 2022-06-16 | computer system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020102455A Division JP7093025B2 (en) | 2020-06-12 | 2020-06-12 | Computer system and how to generate audio information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2022130494A true JP2022130494A (en) | 2022-09-06 |
Family
ID=79196521
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020102455A Active JP7093025B2 (en) | 2020-06-12 | 2020-06-12 | Computer system and how to generate audio information |
| JP2022097229A Pending JP2022130494A (en) | 2020-06-12 | 2022-06-16 | computer system |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020102455A Active JP7093025B2 (en) | 2020-06-12 | 2020-06-12 | Computer system and how to generate audio information |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7093025B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7457865B1 (en) | 2023-08-30 | 2024-03-28 | ソフトバンク株式会社 | Information processing device, information processing method, and information processing program |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3857922B2 (en) * | 2002-01-17 | 2006-12-13 | アルゼ株式会社 | Interactive game system, interactive game method, and program |
| US10792576B2 (en) * | 2018-02-28 | 2020-10-06 | Sony Interactive Entertainment LLC | Player to spectator handoff and other spectator controls |
| JP7014913B2 (en) * | 2018-08-20 | 2022-02-01 | 株式会社ソニー・インタラクティブエンタテインメント | Message output device, learning device, message output method, learning method and program |
-
2020
- 2020-06-12 JP JP2020102455A patent/JP7093025B2/en active Active
-
2022
- 2022-06-16 JP JP2022097229A patent/JP2022130494A/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021194229A (en) | 2021-12-27 |
| JP7093025B2 (en) | 2022-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2017175599A1 (en) | Information processing device and information processing method, and program | |
| KR20040104753A (en) | On-line gaming spectator | |
| WO2019107436A1 (en) | Intervention server and intervention program | |
| JP2002325971A (en) | Game information, character information administering information, information storage medium, game system, and server system | |
| JP2014155544A (en) | Server device, program, and online game system | |
| CN104606883A (en) | Method of interaction between audience and game players in multiplayer video online game | |
| CN111773702A (en) | Control method and device for live game | |
| JP2022130494A (en) | computer system | |
| CN113209640B (en) | Comment generation method, device, equipment and computer-readable storage medium | |
| JP2021074561A (en) | Game-related service providing program and server device | |
| JP2021074561A5 (en) | ||
| US11975268B2 (en) | User input method and apparatus | |
| JP7260794B2 (en) | Game system and game control method | |
| JP7157343B2 (en) | Computer system and information presentation method | |
| CN114011067A (en) | Game fighting method and device, electronic equipment and storage medium | |
| JP7064151B2 (en) | Computer system and audio information evaluation method | |
| JP7216314B1 (en) | Program, information processing device, and information processing method | |
| WO2024101001A1 (en) | Information processing system, information processing method, and program for communication points regarding events | |
| US20230085798A1 (en) | Game apparatus, method for controlling game apparatus, game system, and recording medium | |
| JP7208552B2 (en) | SUPPORT SYSTEM AND METHOD FOR SUPPORTING SUPPORT | |
| JP7526401B2 (en) | Computer program, method, and server device | |
| JP7168870B2 (en) | Game system and game control method | |
| US20230381674A1 (en) | Triggering virtual help or hindrance based on audience participation tiers | |
| JP7227500B2 (en) | Game system and game control method | |
| JP7100277B2 (en) | Data processing system and data processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220629 |
|
| A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20230322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240226 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240514 |