JP2020115981A

JP2020115981A - ビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラム

Info

Publication number: JP2020115981A
Application number: JP2019007850A
Authority: JP
Inventors: 陽一郎三宅; Yoichiro Miyake; 友和大谷; Tomokazu Otani
Original assignee: Square Enix Co Ltd
Current assignee: Square Enix Co Ltd
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2020-08-06
Anticipated expiration: 2039-01-21
Also published as: JP6876072B2

Abstract

【課題】仮想空間をキャラクタの視点からの撮影画像として描画した画像をキャラクタの行動決定に用いるＡＩについて、学習の高速化を実現する。【解決手段】ＡＩが決定した行動をキャラクタに実行させてビデオゲームの課題に取り組ませて課題の結果を当該ＡＩの学習に利用する学習モードを実行し、課題実行中の仮想空間について低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成し、課題実行中の低画質画像を入力としてキャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して低画質画像を入力してキャラクタの行動内容を決定し、課題に取組中のキャラクタに対して決定した行動内容の入力を実行し、キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいてニューラルネットワークの重み及び／又はバイアスの更新を実行する。【選択図】図１

Description

本発明の実施形態の少なくとも１つは、ビデオゲームをプレイするユーザの感情を推定して推定結果に応じたゲーム環境制御処理をコンピュータに実現させるためのビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラムに関する。

近年、ビデオゲームにおいてＡＩ（artificial intelligence：人工知能）によってＮＰＣ（non player character：ノンプレイヤキャラクタ）の行動を制御する処理が行われている。ルールベースのＡＩによる行動制御が行われるビデオゲームの他、複雑な状況をＡＩが判断して最適行動を決定可能なようにニューラルネットワークを学習させることが行われつつある。

例えば、特許文献１には、ＦＰＳ（First Person shooter：ファーストパーソン・シューター）のビデオゲームにおいて深層学習によりプレイを学んだＡＩによりキャラクタの操作を実現した様子が開示されている。

「ＥＡ、『バトルフィールド１』での深層学習型ＡＩの研究成果を発表。将来的には自己進化していくインテリジェントＮＰＣが登場？」、ＵＲＬ：https://japanese.engadget.com/2018/03/24/ea-ai-npc/

ところで、ＦＰＳのような仮想空間をキャラクタの視点からの撮影画像として描画した画像がキャラクタの行動決定に重要な情報となるビデオゲームにおいて、人間と同一条件にて行動決定を行うＡＩを学習によって得るためには、学習過程においてキャラクタの視点基準の画像情報をＡＩに対して与える必要がある。キャラクタの視点基準の画像情報をユーザがプレイする場合と同等のハイレゾリューションの画質でＡＩに与えることは学習の収束、学習の効率化などの点から好ましくないため、従来、ユーザがプレイする場合と同等のハイレゾリューションの画質からローレゾリューションの画質を生成した上で深層学習におけるニューラルネットワークに対して入力するようにしていた。

しかし、ユーザがプレイする場合と同等のハイレゾリューションの画質（以下、高画質若しくは通常画質ともいう。）からローレゾリューションの画質（以下、低画質ともいう。）を生成してＡＩの学習を行う手法は、ディスプレイに表示させる画像の生成と同期したスピードでしか低画質画像を生成できないという問題があった。というのも、ビデオゲームのゲーム画面をディスプレイに表示する場合、連続した動画となるように全フレームの画像を順次生成してタイミングよく出力する必要があることから、これに基づいてＡＩ学習用の低画質画像を生成する際もゲーム画面の再生速度と同期した速度でしか生成できないことになる。すなわち、ユーザプレイする場合の速度と同じ速度でしかＡＩに入力する低画質画像の生成が行えないため、ＡＩの学習の高速化が実現できないという問題があった。低画質画像だけを生成してディスプレイに出力するための表示画像を生成しないようにできればニューラルネットワークの学習プロセスを高速化できるが、現状のゲームプログラムはディスプレイへの表示画像の生成機能のみをオフにする構成は備えられていない、若しくは、ゲームプログラム自体がディスプレイのタッチ操作との連携を必要とするなど安易にディスプレイとの関係をカットできない構成である場合がほとんどであるため、学習の高速化ができないという問題があった。

本発明の少なくとも１つの実施形態の目的は、上記問題を解決し、仮想空間をキャラクタの視点からの撮影画像として描画した画像をキャラクタの行動決定に用いるＡＩについて、学習の高速化を実現するためのビデオゲーム処理プログラム、ビデオゲーム処理装置、ビデオゲーム処理方法及び学習用プログラムを提供することである。

非限定的な観点によると、本発明の一実施形態に係るビデオゲーム処理プログラムは、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させる機能をコンピュータに実現させるためのビデオゲーム処理プログラムであって、前記コンピュータに、前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行機能と、前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成機能と、課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成機能で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定機能と、前記課題に取組中の前記キャラクタに対して前記行動内容決定機能で決定した行動内容の入力を実行する行動内容入力機能と、前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新機能とを実現させることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係るビデオゲーム処理装置は、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させるためのビデオゲーム処理装置であって、前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行部と、前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成部と、課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成部で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定部と、前記課題に取組中の前記キャラクタに対して前記行動内容決定部で決定した行動内容の入力を実行する行動内容入力部と、前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新部とを備えることを特徴とする。

非限定的な観点によると、本発明の一実施形態に係るビデオゲーム処理方法は、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させるためのビデオゲーム処理方法であって、前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行処理と、前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成処理と、課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成処理で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定処理と、前記課題に取組中の前記キャラクタに対して前記行動内容決定処理で決定した行動内容の入力を実行する行動内容入力処理と、前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新処理とを含むことを特徴とする。

非限定的な観点によると、本発明の一実施形態に係る学習用プログラムは、仮想空間内においてキャラクタに所定の課題を実行させる構成を備えたビデオゲームに対して適用することで、前記課題を実行するＡＩ学習させる機能をコンピュータに実現させるための学習用プログラムであって、前記コンピュータに、前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行機能と、前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する機能を備えたビデオゲームから当該低画質画像を取得する低画質画像取得機能と、課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成機能で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定機能と、前記課題に取組中の前記キャラクタに対して前記行動内容決定機能で決定した行動内容の入力を前記ビデオゲームに対して実行する行動内容入力機能と、前記キャラクタの課題の達成度に関する情報を前記ビデオゲームから取得して所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新機能とを実現させることを特徴とする。

本願の各実施形態により１または２以上の不足が解決される。

本発明の実施形態の少なくとも一つに対応するビデオゲーム処理装置の構成の例を示すブロック図である。本発明の実施形態の少なくとも一つに対応するシステム構成の一例を示すブロック図である。ビデオゲームにおける通常画質画像と低画質画像の一例を表した説明図である。本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応するビデオゲーム処理装置の構成の例を示すブロック図である。本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。本発明の実施形態の少なくとも一つに対応するビデオゲーム処理装置の構成の例を示すブロック図である。本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。

以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。

［第１の実施形態］
以下において、本発明の一実施形態に係るビデオゲーム処理装置について説明を行う。図１は、本発明に係るビデオゲーム処理装置の構成の例を示すブロック図である。図１に示すように、ビデオゲーム処理装置１０Ａは、学習モード実行部１１と、低画質画像生成部１２と、行動内容決定部１３と、行動内容入力部１４と、ニューラルネットワーク更新部１５と、記憶部１６とを備える。

ビデオゲーム処理装置１０Ａは、１つの端末装置において実現してオフラインで使用するものであってもよいが、サーバ装置にビデオゲーム処理装置１０Ａとしての機能を集約させてもよい。図２は、本発明の実施形態に対応するシステム構成の一例を示すブロック図である。この図２において、２０はサーバ装置であり、このサーバ装置２０にビデオゲーム処理装置１０Ａの機能を集約させる。そして、ビデオゲームをプレイするユーザが使用する端末装置３０１〜３０ｎ（ｎは任意の整数）からそれぞれインターネットなどの通信ネットワーク４０を介してサーバ装置２０に接続して、ビデオゲーム処理装置１０Ａとしての機能を利用するシステムであってもよい。サーバ装置２０は、システム管理者によって管理され、複数の端末装置３０１〜３０ｎに対して各種処理に関する情報を提供するための各種機能を有する。本例において、サーバ装置２０は、ＷＷＷサーバなどの情報処理装置によって構成され、各種情報を格納する記憶媒体を備える。なお、サーバ装置２０は、制御部や通信部などコンピュータとして各種処理を行うための一般的な構成を備えるが、ここでの説明は省略する。なお、システム構成はこの図２の例に限定されず、ビデオゲーム処理装置１０Ａとして機能する１つの端末装置を複数のユーザが使用する構成としてもよいし、複数のサーバ装置を備える構成としてもよい。

また、複数の端末装置３０１〜３０ｎは、それぞれ、通信ネットワーク４０に接続し、サーバ装置２０との通信を行うことにより各種処理を実行するためのハードウェア（例えば、座標に応じたブラウザ画面やゲーム画面を表示する表示装置など）およびソフトウェアを備える。なお、複数の端末装置３０１〜３０ｎそれぞれは、サーバ装置２０を介さずに互いに直接通信を行うこともできる構成とされていてもよい。

学習モード実行部１１は、ＡＩが決定した行動をキャラクタに実行させてビデオゲームの課題に取り組ませて課題の結果を当該ＡＩの学習に利用する学習モードを実行する機能を有する。

低画質画像生成部１２は、学習モードにおける課題実行中の仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する機能を有する。ここで、課題とは、ビデオゲームにおいてキャラクタが達成すべき目標のことをいう。例えば、特定のアイテムの取得、敵キャラクタへの攻撃、到達目標位置までの移動など、様々な課題が設定し得る。また、特定視点とは、仮想空間をゲーム画面として描画する際の仮想カメラの視点のことをいう。特定視点の一例としては、キャラクタの一人称視点の場合や、キャラクタを後方やや斜め上から撮影した三人称視点の場合などが考えられる。ビデオゲームにおいてユーザが操作するＰＣ（プレイヤキャラクタ）とＡＩが制御するＮＰＣとが同時に課題に取り組む構成となる場合には、特定視点の設定はユーザに見せるゲーム画面の場合と同条件の視点方向であることが好ましい。

図３は、ビデオゲームにおける通常画質画像と低画質画像の一例を表した説明図である。図３（ａ）は、ユーザに見せるゲーム画面の画質、すなわち通常画質画像の一例であり、図３（ｂ）は、ＡＩの学習に用いる低画質画像の一例である。この図３（ａ）の例は、３次元仮想空間を一人称視点で描画した画像となっており、課題として、アイテム５０ａの取得、敵キャラクタ５１ａへの攻撃、到達目標位置までの移動が与えられているものとする。この図３（ａ）の通常画質画像では、アイテム５０ａや壁面５２ａなどの表面がテクスチャ情報も含めて詳細に描画されている。これに対して、図３（ｂ）は、図３（ａ）と同一の状況について低画質にて描画した低画質画像である。図３（ｂ）においては、低画質化するために、アイテム５０ａや壁面５２ａなどの表面のテクスチャ情報は描画せずに簡略化した画像となっている。また、ゲーム画面の画素数も大幅に削減することが望ましい。例えば、通常画質画像が横１９２０画素×縦１０８０画素の画素数である場合に、低画質画像を横１９２画素×縦１０８画素といったように、１０分の１程度まで画素数を削減するようにしてもよい。また、アスペクト比は変化してしまうが、ニューラルネットワークへ入力する際の扱い易さ等を考慮して、低画質画像として横１２８画素×縦１２８画素のサイズを採用するようにしてもよい。低画質画像のサイズはこれ以外にも様々に設定することが可能である。なお、学習段階においてＡＩがアイテム５０ｂや敵キャラクタ５１ｂを把握しやすいように、特定の色で彩色するようにしてもよい。例えば、アイテム５０ｂは青色で表示し、敵キャラクタ５１ｂは赤色で表示するといったように彩色を施すようにしてもよい。本例の低画質画像生成部１２は、図３（ａ）のような通常画質画像を生成することなく、図３（ｂ）のような低画質画像を直接生成する機能を備えている。

また、低画質画像生成部１２は、ビデオゲームをユーザがプレイする場合の設定よりもフレームレートを落とした設定にて低画質画像を生成する機能を備えるものとする。すなわち、ビデオゲームをユーザがプレイする場合のフレームレートが仮に毎秒６０枚である場合に、ＡＩの学習のための低画質画像を毎秒６０枚生成するのではなく、フレームレートを落として、例えば、毎秒４枚だけ低画質画像を生成するといった構成とすることが可能な構成とする。

また、低画質画像生成部１２は、ニューラルネットワークの学習段階に応じて低画質画像の画質を変更する機能を備えるものとする。例えば、学習の初期の段階においてはテクスチャ情報を一切描画しないで低画質画像を生成し、学習が進行していくに連れてテクスチャ情報を描画するようにするといった構成とすることが考えられる。テクスチャ情報の描画を段階的に増やすという構成も考えられる。例えば、描画するテクスチャ情報を１つか２つに絞って低画質画像を生成し、そこから学習が進行していくに連れて描画するテクスチャ情報の種類を増やしていくといった構成が可能である。

また、ニューラルネットワークの学習段階に応じて、オブジェクトを描画する際に陰影の描画のオン／オフを切り替える構成も考えられる。学習の初期の段階においては陰影を描画しないで低画質画像を生成し、ある程度の学習が進行した段階で陰影をを描画するようにするといった構成とすることが考えられる。

また、ニューラルネットワークの学習段階に応じて、また、描画する仮想空間に登場するオブジェクトの数を制限する構成、すなわち制限されたオブジェクトについては低画質画像生成の際に描画しないという構成も可能である。例えば、学習の初期の段階においては登場するオブジェクトの数を必要最低限まで絞って低画質画像を生成し、そこから学習が進行していくに連れて描画するオブジェクトの数を増やしていくといった構成とすることが考えられる。学習初期のオブジェクト数を制限することで学習の効率化が期待できる。

また、ニューラルネットワークの学習段階に応じて、フレームレートを変化させるという構成も考えられる。例えば、学習の初期の段階においては毎秒４枚の低画質画像を生成するようにし、学習が進行していくに連れて毎秒１０枚、毎秒３０枚というように徐々にフレームレートを上げて描画するようにする構成とすることが考えられる。フレームレートを下げて少ない枚数とすることで一度の課題の実行に要する処理時間を短縮することができるため、学習の高速化が図れる。

また、ニューラルネットワークの学習段階に応じて、低画質画像の解像度を徐々に上げる構成とすることが考えられる。通常画質画像が１９２０×１０８０の画素数である場合に、学習の初期段階では２４０×１３５の画素数で低画質画像を生成し、そこから学習が進行していくに連れて、４８０×２７０の画素数、９６０×５４０の画素数、１９２０×１０８０の画素数といったように、徐々に解像度を上げていく構成とすることが考えられる。この場合のニューラルネットワークの構成の一例としては、通常画質画像が１９２０×１０８０の画素数を入力可能な入力層の構成としておき、２４０×１３５の画素数の低画質画像を入力する場合には、縦方向と横方向のそれぞれで８つのノードに対して同一画素の情報を入力することで解像度を下げた入力とすることが考えられる。解像度を徐々に上げることで、より細かい描画情報に基づいた正確な行動内容決定が期待できる。

行動内容決定部１３は、課題実行中の低画質画像を入力としてキャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して低画質画像生成部１２で生成した低画質画像を入力してキャラクタの行動内容を決定する機能を有する。キャラクタの行動決定のための選択肢はビデオゲームごとに様々な選択肢があり得るが、例えば、移動するための方向指示操作の入力、敵に対する攻撃操作（例えば、銃による狙撃）、アイテムの使用、何も操作せずに待機などが考えられる。ニューラルネットワークの構成は様々に設計可能であり、入力層に対する入力データも様々なデータを採用することが可能であるが、少なくとも低画質画像を入力データとして含むものとする。本例において「低画質画像を入力」と表現する場合、少なくとも低画質画像が入力データに含まれることを意味し、低画質画像以外の入力データが含まれることを妨げるものではない。

行動内容入力部１４は、課題に取組中のキャラクタに対して行動内容決定部１３で決定した行動内容の入力を実行する機能を有する。課題に取組中のキャラクタに対して行動入力を行うことで仮想空間における状況に変化が生じ、その変化後の状況について再度低画質画像を生成して行動内容決定を行うというサイクルが生まれる。

ニューラルネットワーク更新部１５は、キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいてニューラルネットワークの重み及び／又はバイアスの更新を実行する機能を有する。キャラクタの課題の達成度に関する評価基準についてはどのようなものであってもよいが、例えば、課題終了時のスコアを算出する機能を備えたビデオゲームの場合には、キャラクタが課題を終えた時のスコアを評価基準として採用してもよい。すなわち、スコアが高くなる方向にニューラルネットワークの重み及び／又はバイアスの更新を実行することが考えられる。また、ニューラルネットワークの学習は教師データを利用するものであってもよい。すなわち、状況毎のキャラクタの行動として最適な行動を教師データとして与えて、教師データに近い行動を実行する方向にニューラルネットワークの重み及び／又はバイアスの更新を実行することが考えられる。

なお、学習するニューラルネットワークは低画質画像という静止画に基づいて行動を決定する構成であるが、課題終了後の評価に関しては、静止画ごとの行動決定についてそれぞれ評価を行ってそれぞれに基づいてニューラルネットワークを更新する構成であってもよいし、課題終了後の結果に基づいて全体を評価して全体の評価に対して一度だけニューラルネットワークを更新する構成であってもよい。

記憶部１６は、ビデオゲーム処理装置１０における各部の処理に必要な情報を記憶し、また、各部の処理で生じた各種の情報を記憶する機能を有する。また、学習過程のニューラルネットワークのパラメータ、及び、学習完了後のニューラルネットワークのパラメータをこの記憶部１６に記憶させる構成であってもよい。

次に、本発明の実施形態に対応するビデオゲーム処理装置１０Ａにおける学習処理の流れについて説明を行う。図４は、本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。この図４において、学習処理は、ビデオゲーム処理装置１０Ａにおいて学習モードを実行して学習モードにおいてキャラクタに課題を開始させて課題実行中の仮想空間についての特定視点からの低画質画像を生成することによって開始される（ステップＳ１０１）。次に、ビデオゲーム処理装置１０Ａは、低画質画像をニューラルネットワークに入力してキャラクタの行動内容を決定する（ステップＳ１０２）。そして、ビデオゲーム処理装置１０Ａは、課題実行中のキャラクタに決定された行動内容を実行させるための入力を行う（ステップＳ１０３）。最後に、ビデオゲーム処理装置１０Ａは、課題の結果に基づいてニューラルネットワークを更新して（ステップＳ１０４）、処理を終了する。

以上に説明したように、第１の実施形態の一側面として、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて課題の実行処理を学習させる機能を備えたビデオゲーム処理装置１０Ａが、学習モード実行部１１と、低画質画像生成部１２と、行動内容決定部１３と、行動内容入力部１４と、ニューラルネットワーク更新部１５とを備え、ＡＩが決定した行動をキャラクタに実行させてビデオゲームの課題に取り組ませて課題の結果を当該ＡＩの学習に利用する学習モードを実行し、学習モードにおける課題実行中の仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成し、課題実行中の低画質画像を入力としてキャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して低画質画像を入力してキャラクタの行動内容を決定し、課題に取組中のキャラクタに対して決定した行動内容の入力を実行し、キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいてニューラルネットワークの重み及び／又はバイアスの更新を実行するようにしたので、仮想空間をキャラクタの視点からの撮影画像として描画した画像をキャラクタの行動決定に用いるＡＩについて学習の高速化を実現することが可能となる。

従来は表示装置に出力する通常画質画像を生成してから低画質化する構成であったため、ＶＲＡＭにて描画した低画質画像をニューラルネットワークに出力するタイミングは通常画質画像を生成する時間間隔、すなわちフレームレートに依存することになり、レンダリングバッファの時間が必要であることから、キャラクタに課題を一度実行させる際にユーザがプレイする場合のプレイ時間と同等の時間を要してしまい、ニューラルネットワークの学習の高速化ができないという問題があった。これに対して、本例によれば、通常画質画像の生成を経ずに直接低画質画像を生成する構成としたので、ＶＲＡＭにて描画した低画質画像をニューラルネットワークに出力するタイミングはフレームレートに依存せずレンダリングバッファの時間も不要であるので、ハードウェアが可能な最高速にて処理を実行できるため、コンピュータの内部処理において課題の実行と評価を非常に高速化することが可能となる。

［第２の実施形態］
図５は、本発明の実施形態の少なくとも一つに対応するビデオゲーム処理装置の構成の例を示すブロック図である。この図５に示すように、ビデオゲーム処理装置１０Ｂは、学習モード実行部１１と、低画質画像生成部１２と、通常画質画像出力部１７と、行動内容決定部１３と、行動内容入力部１４と、ニューラルネットワーク更新部１５と、記憶部１６とを備える。

通常画質画像出力部１７は、低画質画像生成部１２における低画質画像の生成と同期したタイミングで、課題実行中の仮想空間を特定視点からの撮影画像としてユーザがプレイする場合の設定の画質である通常画質画像を生成して表示装置に出力する機能を有する。この場合、低画質画像を低フレームレートで生成しているとしても、通常画質画像はそれよりも高いフレームレート、一例としてはユーザがプレイする場合のフレームレートで生成を行う。また、通常画質画像出力部１７は、通常画質画像の生成のオン／オフを切替える機能を有する。

図６は、本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。この図６において、学習処理は、ビデオゲーム処理装置１０Ｂにおいて学習モードを実行して学習モードにおいてキャラクタに課題を開始させて課題実行中の仮想空間についての特定視点からの低画質画像を生成することによって開始される（ステップＳ２０１）。また、通常画質画像出力機能がオンであるとき、ビデオゲーム処理装置１０Ｂは、低画質画像の生成と同期した通常画質画像を生成して表示装置（ディスプレイ）に出力する（ステップＳ２０２）。次に、ビデオゲーム処理装置１０Ｂは、低画質画像をニューラルネットワークに入力してキャラクタの行動内容を決定する（ステップＳ２０３）。そして、ビデオゲーム処理装置１０Ｂは、課題実行中のキャラクタに決定された行動内容を実行させるための入力を行う（ステップＳ２０４）。最後に、ビデオゲーム処理装置１０Ｂは、課題の結果に基づいてニューラルネットワークを更新して（ステップＳ２０５）、処理を終了する。

以上に説明したように、第２の実施形態の一側面として、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて課題の実行処理を学習させる機能を備えたビデオゲーム処理装置１０Ｂが、学習モード実行部１１と、低画質画像生成部１２と、通常画質画像出力部１７と、行動内容決定部１３と、行動内容入力部１４と、ニューラルネットワーク更新部１５とを備え、このうちの通常画質画像出力部１７において、低画質画像の生成と同期したタイミングで、課題実行中の仮想空間を特定視点からの撮影画像としてユーザがプレイする場合の設定の画質である通常画質画像を生成して表示装置に出力する機能を実現し、また、通常画質画像の生成のオン／オフを切替可能としたので、仮想空間をキャラクタの視点からの撮影画像として描画した画像をキャラクタの行動決定に用いるＡＩについて学習の高速化を実現しつつ、学習の進捗度を確認したい場合には通常画質画像を表示装置に出力することが可能となる。

すなわち、通常画質画像の生成をオフにすれば、表示装置への出力を考慮せずにコンピュータの内部処理において課題の実行と評価を非常に高速化することが可能となり、通常画質画像の生成をオンにすれば、学習過程のＡＩが課題をどのように処理しているかを表示装置を通じて可視化することが可能となる。よって、学習処理を繰り返し実行する際には通常画質画像の生成をオフにして高速化を図り、ビデオゲームの開発段階におけるＱＡ（Quality Assurance：品質保証）担当者やＡＩの学習を自ら実行するユーザが学習の進捗度を確認したい場合には通常画質画像の生成をオンにして表示装置にＡＩが課題を処理する過程を表示することが可能となる。

［第３の実施形態］
図７は、本発明の実施形態の少なくとも一つに対応するビデオゲーム処理装置の構成の例を示すブロック図である。この図７に示すように、ビデオゲーム処理装置１０Ｃは、学習モード実行部１１と、低画質画像生成部１２と、行動内容決定部１３と、行動内容入力部１４と、プレイデータ取得部１８と、ニューラルネットワーク更新部１５Ｃと、記憶部１６とを備える。

プレイデータ取得部１８は、ユーザ（ビデオゲームの開発者も含む）がキャラクタを操作して課題に取り組んだ際のユーザの入力操作を一連の課題実行中の仮想空間を特定視点から撮影した撮影画像とともに記憶させたプレイデータを取得する機能を有する。このプレイデータは、ユーザがどの撮影画像の段階でどのような入力操作を行ったかを記憶させてあるため、ＡＩが同様の状況においてどのような行動内容を決定すべきかの教師データとして利用することができる。このプレイデータは、課題開始から完了までの一連のプレイデータとして取得して利用する構成であってもよいし、ユーザが何らかの入力操作を行った際の撮影画像と入力操作の内容とを一組のセットとして記憶して利用する構成であってもよい。なお、プレイデータは、学習モードを実行する前に予め取得して記憶部１９に記憶させておくことが好ましい。

ニューラルネットワーク更新部１５Ｃは、プレイデータ取得部１８において取得したプレイデータと行動選択肢決定部１３において決定された行動の選択肢とを比較してキャラクタの課題の達成度について評価を行い、評価結果に基づいてニューラルネットワークの重み及び／又はバイアスの更新を実行する機能を有する。ＡＩの評価基準としてユーザによるプレイデータとの比較を行うことで、よりユーザの希望する行動内容をとるＡＩを学習することが可能となる。

図８は、本発明の実施形態の少なくとも一つに対応する学習処理の例を示すフローチャートである。この図８において、学習処理は、ビデオゲーム処理装置１０Ｃにおいて学習モードを実行して学習モードにおいてキャラクタに課題を開始させて課題実行中の仮想空間についての特定視点からの低画質画像を生成することによって開始される（ステップＳ３０１）。次に、ビデオゲーム処理装置１０Ｃは、低画質画像をニューラルネットワークに入力してキャラクタの行動内容を決定する（ステップＳ３０２）。そして、ビデオゲーム処理装置１０Ｃは、課題実行中のキャラクタに決定された行動内容を実行させるための入力を行う（ステップＳ３０３）。ここで、課題の結果について評価を行うために、ビデオゲーム処理装置１０Ｃは、同じ課題について人がプレイしたプレイデータを取得する（ステップＳ３０４）。最後に、ビデオゲーム処理装置１０Ｃは、課題の結果についてプレイデータとの比較により評価を行ってニューラルネットワークを更新して（ステップＳ３０５）、処理を終了する。

以上に説明したように、第３の実施形態の一側面として、ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて課題の実行処理を学習させる機能を備えたビデオゲーム処理装置１０Ｃが、学習モード実行部１１と、低画質画像生成部１２と、行動内容決定部１３と、行動内容入力部１４と、プレイデータ取得部１８と、ニューラルネットワーク更新部１５Ｃとを備え、このうちのプレイデータ取得部１８において、ユーザがキャラクタを操作して課題に取り組んだ際のユーザの入力操作を一連の課題実行中の仮想空間を特定視点から撮影した撮影画像とともに記憶させたプレイデータを取得し、また、ニューラルネットワーク更新部１５Ｃにおいて、プレイデータ取得部１８において取得したプレイデータと行動選択肢決定部１３において決定された行動の選択肢とを比較してキャラクタの課題の達成度について評価を行い、評価結果に基づいてニューラルネットワークの重み及び／又はバイアスの更新を実行するようにしたので、よりユーザの希望する行動内容をとるＡＩを学習することが可能となる。

すなわち、キャラクタの課題の達成度の評価において、ユーザのプレイしたプレイデータを用いることで、ユーザが好む課題への対応をとるＡＩとなるように学習が収束する可能性が高くなり、結果として、ユーザの希望する行動内容をとるＡＩを学習することが可能となる。

上述した第１から第３の実施形態においては、ビデオゲームの機能の一部として各実施形態での各種機能を備えるものとして説明を行ったが、これに限定されるものではなく、ビデオゲームと切り離された学習装置、学習用プログラム、又は、学習方法であってもよい。この場合、ビデオゲームが低画質画像生成機能を備えていて、学習装置、学習用プログラム、学習方法において、ビデオゲームが生成した低画質画像を取得する構成とし、低画質画像に基づいて決定した行動内容をビデオゲームに出力する構成とすることで、上述した第１から第３の実施形態と同様の構成を備えた学習装置、学習用プログラム、学習方法を実現して、ビデオゲームの課題を処理するＡＩを学習させることが可能となる。

以上に説明したように、本願の実施形態により１または２以上の不足が解決される。なお、本願の実施形態による効果は、非限定的な効果または効果の一例である。

なお、上述した実施形態では、ビデオゲーム処理装置１０、サーバ装置２０、複数の端末装置３０１〜３０ｎは、自己が備える記憶装置に記憶されている各種制御プログラム（例えば、ビデオゲーム処理プログラム）に従って、上述した各種の処理を実行する。

また、システムの構成は上述した実施形態の例として説明した構成に限定されず、例えばビデオゲーム処理装置１０が実行する処理として説明した処理の一部または全部をサーバ装置２０が実行する構成としてもよいし、ビデオゲーム処理装置１０が実行する処理として説明した処理の一部または全部をサーバ装置２０と端末装置３０とで分担する構成としてもよい。また、サーバ装置２０が備える記憶部の一部または全部を複数の端末装置３０１〜３０ｎの何れかが備える構成としてもよい。すなわち、図２に示すシステムにおけるサーバ装置２０と端末装置３０１〜３０ｎとのどちらか一方が備える機能の一部または全部を、他の一方が備える構成とされていてもよい。

また、プログラムが、上述した各実施形態の例として説明した機能の一部または全部を、通信ネットワークを含まない装置単体に実現させる構成としてもよい。

１０、１０Ａ、１０Ｂ、１０Ｃビデオゲーム処理装置
１１学習モード実行部
１２低画質画像生成部
１３行動内容決定部
１４行動内容入力部
１５、１５Ｃニューラルネットワーク更新部
１６記憶部
１７通常画質画像出力部
１８プレイデータ取得部
２０サーバ装置
３０１〜３０ｎ端末装置
４０通信ネットワーク
５０ａ、５０ｂアイテム
５１ａ、５１ｂ敵キャラクタ
５２ａ、５２ｂ壁面

Claims

ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させる機能をコンピュータに実現させるためのビデオゲーム処理プログラムであって、
前記コンピュータに、
前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行機能と、
前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成機能と、
課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成機能で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定機能と、
前記課題に取組中の前記キャラクタに対して前記行動内容決定機能で決定した行動内容の入力を実行する行動内容入力機能と、
前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新機能と
を実現させるビデオゲーム処理プログラム。
前記コンピュータに、
前記低画質画像生成機能における低画質画像の生成と同期したタイミングで、前記課題実行中の前記仮想空間を特定視点からの撮影画像としてユーザがプレイする場合の設定の画質である通常画質画像を生成して表示装置に出力する通常画質画像出力機能を実現させ、
前記通常画質画像出力機能は、通常画質画像の生成のオン／オフを切替可能である
請求項１に記載のビデオゲーム処理プログラム。
前記低画質画像生成機能は、当該ビデオゲームをユーザがプレイする場合の設定よりもフレームレートを落とした設定にて低画質画像を生成する
請求項１又は２に記載のビデオゲーム処理プログラム。
前記コンピュータに、
ユーザが前記キャラクタを操作して前記課題に取り組んだ際のユーザの入力操作を一連の課題実行中の前記仮想空間を特定視点から撮影した撮影画像とともに記憶させたプレイデータを取得するプレイデータ取得機能を実現させ、
前記ニューラルネットワーク更新機能は、前記プレイデータ取得機能において取得したプレイデータと前記行動選択肢決定機能において決定された行動の選択肢とを比較して前記キャラクタの課題の達成度について評価を行う
請求項１から請求項３の何れかに記載のビデオゲーム処理プログラム。
ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させるためのビデオゲーム処理装置であって、
前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行部と、
前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成部と、
課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成部で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定部と、
前記課題に取組中の前記キャラクタに対して前記行動内容決定部で決定した行動内容の入力を実行する行動内容入力部と、
前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新部と
を備えるビデオゲーム処理装置。
ビデオゲームの仮想空間内においてキャラクタに所定の課題を実行させるためのＡＩについて、前記課題の実行処理を学習させるためのビデオゲーム処理方法であって、
前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行処理と、
前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する低画質画像生成処理と、
課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成処理で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定処理と、
前記課題に取組中の前記キャラクタに対して前記行動内容決定処理で決定した行動内容の入力を実行する行動内容入力処理と、
前記キャラクタの課題の達成度について所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新処理と
を含むビデオゲーム処理方法。
仮想空間内においてキャラクタに所定の課題を実行させる構成を備えたビデオゲームに対して適用することで、前記課題を実行するＡＩ学習させる機能をコンピュータに実現させるための学習用プログラムであって、
前記コンピュータに、
前記ＡＩが決定した行動をキャラクタに実行させて前記ビデオゲームの前記課題に取り組ませて前記課題の結果を当該ＡＩの学習に利用する学習モードを実行する学習モード実行機能と、
前記学習モードにおける前記課題実行中の前記仮想空間について、当該ビデオゲームをユーザがプレイする場合の設定よりも低画質な設定にて特定視点からの撮影画像として描画した低画質画像を生成する機能を備えたビデオゲームから当該低画質画像を取得する低画質画像取得機能と、
課題実行中の低画質画像を入力として前記キャラクタの行動決定のための選択肢の中から適切な行動内容を出力することを目的として構成されたニューラルネットワークに対して前記低画質画像生成機能で生成した前記低画質画像を入力して前記キャラクタの行動内容を決定する行動内容決定機能と、
前記課題に取組中の前記キャラクタに対して前記行動内容決定機能で決定した行動内容の入力を前記ビデオゲームに対して実行する行動内容入力機能と、
前記キャラクタの課題の達成度に関する情報を前記ビデオゲームから取得して所定の評価基準に基づいて評価を行い、評価結果に基づいて前記ニューラルネットワークの重み及び／又はバイアスの更新を実行するニューラルネットワーク更新機能と
を実現させる学習用プログラム。