JP2023039457A - 動画分析装置、動画分析方法、及びプログラム - Google Patents

Abstract

【課題】対戦型ゲームの進行状況を観ることにより、勝敗の形勢がどのように変化しているのかを容易に把握できるようにする。【解決手段】対戦動画データを取得する取得部と、対戦動画データを複数の静止画像のフレームデータに変換する変換部と、複数のフレームデータから対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出する抽出部と、対戦ゲームの形勢を判定する判定部と、対戦ゲームの形勢の判定結果を示す情報と、対応するフレームデータとを合成して分析フレームデータを生成する分析フレーム生成部と、複数の分析フレームデータを結合して分析動画データを生成する分析動画生成部とを備える、動画分析装置。【選択図】図２

Description

特許法第３０条第２項適用申請有り （１）ｈｔｔｐｓ：／／２４２４ｍｅｔｒｉｃｓ．ｃｏｍ／ｂｌｏｇ／８７／および（２）ｈｔｔｐｓ：／／ｙｏｕｔｕ．ｂｅ／ＥＥｋ－ＫＯＰＣＦＧｗにて動画分析装置を公開した。（公開日：令和３年４月１８日）

本発明は、動画分析装置、動画分析方法、及びプログラムに関する。

従来から、ユーザと当該ユーザとは異なるユーザ、又はコンピュータとが対戦する対戦型のゲームが知られている。このようなゲームは、様々なアイテム、イベント等によって勝敗の形勢が変化するように構成されている（例えば、特許文献１を参照）。

特許３６９１８３２号公報

このようなゲームのユーザは、ゲームのルールを把握しただけでは、強い相手に勝利することは困難であることが多い。また、ユーザは、ゲームの進行状況を見ただけでは、勝敗の形勢がどのように変化しているのかを把握できず、ゲームをすることの楽しさを感じることが困難になってしまうことがあった。

そこで、本発明はこれらの点に鑑みてなされたものであり、対戦型ゲームの進行状況を観ることで、勝敗の形勢がどのように変化しているのかを容易に把握できるようにすることを目的とする。

本発明の第１の態様においては、対戦ゲームの画面上に表示される動画像を対戦動画データとして取得する取得部と、前記対戦動画データを複数の静止画像のフレームデータに変換する変換部と、複数の前記フレームデータから前記対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出する抽出部と、前記フレームデータから抽出された前記特徴を分析モデルに入力することにより、前記対戦ゲームの形勢を判定する判定部と、前記対戦ゲームの形勢の判定結果を示す情報と、対応する前記フレームデータとを合成して分析フレームデータを生成する分析フレーム生成部と、複数の前記分析フレームデータを結合して、前記対戦ゲームの対戦を分析した動画像を示す分析動画データを生成する分析動画生成部とを備える、動画分析装置を提供する。

前記判定部は、複数の前記フレームデータのそれぞれから抽出された前記特徴を前記分析モデルに入力することにより、前記対戦ゲームの形勢をフレーム毎に判定してもよい。

前記分析フレーム生成部は、前記フレームデータに含まれている装飾を示す画像の少なくとも一部を簡略な画像に変換するか又は省略して、前記対戦ゲームの対戦の状況を簡素に示す簡素フレームデータを生成し、生成した前記簡素フレームデータを対応する前記フレームデータとして前記対戦ゲームの形勢の判定結果を示す情報と合成し、前記分析フレームデータを生成してもよい。

前記判定部が判定する前記対戦ゲームの形勢は、一の前記フレームデータの時点において、前記対戦ゲームで対戦したユーザが対戦相手に勝利する確率を予測した予測値を含んでもよい。

前記分析フレーム生成部は、時系列に並ぶ複数の前記フレームデータのうち、連続する２つの前記フレームデータにおいて前記予測値が閾値よりも大きく変化した場合、前記対戦ゲームの形勢が大きく変化したことを示す情報を連続する２つの前記フレームデータの少なくとも一方に合成してもよい。

前記判定部は、複数の前記フレームデータから判定した前記対戦ゲームの形勢の複数の判定結果に基づき、前記対戦ゲームで対戦した第１ユーザの技術レベルを更に判定してもよい。

前記動画分析装置は、ユーザが前記対戦ゲームで勝利する確率を向上させるために、ユーザの技術レベル毎に生成された練習用のドリルゲームを記憶する記憶部と、前記判定部が判定した前記第１ユーザの技術レベルに対応する前記ドリルゲームを選択する選択部と、選択された前記ドリルゲームを実行させるための情報を前記第１ユーザに通知する通知部とを更に備えてもよい。

前記取得部は、前記第１ユーザが前記ドリルゲームを実行して画面上に表示される動画像を前記対戦動画データとして取得し、前記変換部は、前記対戦動画データを複数の静止画像の前記フレームデータに変換し、前記抽出部は、複数の前記フレームデータから前記ドリルゲームの前記第１ユーザの勝敗を予測するための特徴をフレーム毎に抽出し、前記判定部は、前記第１ユーザの技術レベルを判定し、前記選択部は、前記第１ユーザの技術レベルの過去の判定結果と今回の判定結果の差に基づいて、前記第１ユーザの技術レベルに対応する前記ドリルゲームを選択し、前記通知部は、選択された前記ドリルゲームを実行させるための情報を前記第１ユーザに通知してもよい。

本発明の第２の態様においては、コンピュータが実行する、対戦ゲームで対戦して画面上に表示される動画像を対戦動画データとして取得するステップと、前記対戦動画データを複数の静止画像のフレームデータに変換するステップと、複数の前記フレームデータから前記対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出するステップと、前記フレームデータから抽出された前記特徴を分析モデルに入力することにより、前記対戦ゲームの形勢を判定するステップと、前記対戦ゲームの形勢の判定結果を示す情報と、対応する前記フレームデータとを合成して分析フレームデータを生成するステップと、複数の前記分析フレームデータを結合して、前記対戦ゲームの対戦を分析した動画像を示す分析動画データを生成するステップとを備える、動画分析方法を提供する。

本発明の第３の態様においては、コンピュータにより実行されると、前記コンピュータを第１の態様の前記動画分析装置として機能させる、プログラムを提供する。

本発明によれば、対戦型ゲームの進行状況を観ることにより、勝敗の形勢がどのように変化しているのかを容易に把握できるという効果を奏する。

本実施形態に係る動画分析装置１００の概略を示す。 本実施形態に係る動画分析装置１００の構成例を示す。 本実施形態に係る変換部１３２が対戦動画データから変換したフレームデータの一例を示す。 本実施形態に係る分析フレーム生成部１３５が生成した分析フレームデータの一例を示す。 本実施形態に係る分析フレーム生成部１３５が簡素フレームデータを用いて生成した分析フレームデータの一例を示す。 本実施形態に係る動画分析装置１００の動作フローの一例を示す。

＜動画分析装置１００の概略＞
図１は、本実施形態に係る動画分析装置１００の概要を示す。動画分析装置１００は、ユーザから提供された対戦ゲームの動画像データを分析し、対戦ゲームの形勢の分析結果を動画像データに合成した分析動画像データをユーザに供給する。動画分析装置１００は、ユーザ端末１０とネットワーク２０を介して通信可能に接続されている。

ユーザ端末１０は、ユーザが保有している端末装置である。ユーザ端末１０は、タブレット、スマートフォン等の携帯端末であってもよく、これに代えて、パソコン、サーバ等であってもよい。ネットワーク２０は、イントラネット、インターネット、携帯電話網等の通信ネットワークである。

動画分析装置１００は、対戦動画データを分析する装置である。動画分析装置１００は、例えば、サーバ等のコンピュータである。対戦動画データは、ユーザが対戦ゲームの画面上に表示される動画像のデータである。動画分析装置１００は、例えば、データベース３０を介して動画像のデータをユーザ端末１０とやり取りする。データベース３０は、ユーザ端末１０及び動画分析装置１００がネットワーク２０を介してアクセス可能な記憶媒体である。

本実施形態において、ユーザは、対戦動画データを動画分析装置１００に提供する。例えば、ユーザは、ユーザ端末１０を操作して、データベース３０に対戦動画データをアップロードする（図１の（１））。対戦動画データは、例えば、ユーザがユーザ端末１０を操作して対戦ゲームで他のプレーヤ又はコンピュータ等と対戦して、ユーザ端末１０の画面に表示された動画像である。

ユーザ端末１０は、このような動画像を対戦動画データとして内部の記憶部に記憶する。これにより、ユーザは、ユーザ端末１０の記憶部に記憶された対戦動画データをデータベース３０にアップロードできる。ここで、他のプレーヤは、ネットワーク２０を介してユーザ端末１０と通信可能に接続されているプレーヤ端末を操作し、対戦ゲームで対戦できるものとする。

これに代えて、対戦動画データは、ユーザがゲーム機等を操作して他のプレーヤ又はコンピュータ等と対戦ゲームで対戦して、ゲーム機に接続されている表示装置等に表示された動画像であってもよい。この場合、ユーザが操作するゲーム機と、他のプレーヤが操作するプレーヤ端末又はゲーム機とは、ネットワーク２０を介して通信可能に接続されていてもよい。また、ユーザが操作するゲーム機は、ユーザ端末１０の記憶部、及び／又はデータベース３０に対戦動画データを転送可能であることが望ましいが、動画撮影機能（例えば、カメラ）付きのユーザ端末１０にて、ゲーム機に接続されている表示装置等に表示された動画像を撮影してもよい。これにより、ユーザは、ゲーム機に接続されている表示装置等に表示された動画像を対戦動画データとしてデータベース３０にアップロードできる。

そして、ユーザは、ユーザ端末１０を操作して、対戦動画データの分析要求を動画分析装置１００に送信する（図１の（２））。分析要求には、データベース３０において対戦動画データが記憶されているアドレス情報が含まれていることが望ましい。これにより、動画分析装置１００は、ユーザから対戦動画データを直接受信することに比べて、内部の記憶部を管理する手間を少なくして、多数の比較的容量の大きい動画データをやり取りすることができる。動画分析装置１００は、このような分析要求に応じて、データベース３０にアクセスして対戦動画データを取得する（図１の（３））。

動画分析装置１００は、対戦動画データを分析し、分析結果を含む分析動画データを生成する（図１の（４））。動画分析装置１００は、ユーザの技術レベルを判定してもよい。動画分析装置１００は、生成した分析動画データをデータベース３０にアップロードする（図１の（５））。そして、動画分析装置１００は、データベース３０の分析動画データが記憶されているアドレス情報をユーザ端末１０に通知する（図１の（６））。動画分析装置１００は、ユーザの技術レベルを判定した場合、判定結果を通知してもよい。

以上のように、本実施形態に係る動画分析装置１００は、ユーザが対戦ゲームで対戦した結果を分析し、分析結果を含む分析動画データを当該ユーザに供給する。これにより、ユーザは、自身の対戦ゲームの対戦結果に基づく動画分析装置１００の分析結果を動画として観ることができる。なお、動画分析装置１００が分析する対戦動画データは、画面上に実際に表示された動画像であることに限定されることない。対戦動画データは、例えば、ユーザ端末１０又はゲーム機等から動画像データとして出力されたデータであってもよく、また、シミュレーション等によって算出された動画像データ等であってもよい。

なお、図１において、動画分析装置１００は、データベース３０を介して対戦動画データを取得する例を説明したが、これに限定されることはない。例えば、動画分析装置１００は、データベース３０を介さずに、ユーザ端末１０から対戦動画データを取得してもよい。この場合、ユーザは、ユーザ端末１０を操作して、ユーザ端末１０から対戦動画データを動画分析装置１００に送信する。同様に、動画分析装置１００は、データベース３０を介さずに、分析動画データをユーザ端末１０に送信してもよい。以上の動画分析装置１００のより詳細な構成について次に説明する。

＜動画分析装置１００の構成例＞
図２は、本実施形態に係る動画分析装置１００の構成例を示す。動画分析装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを備える。

通信部１１０は、ユーザ端末１０及びデータベース３０とネットワーク２０を介して接続されている。通信部１１０は、インターネット回線や携帯電話網等の通信ネットワークに接続するためのインターフェースである。

記憶部１２０は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等を含む記憶媒体である。また、記憶部１２０は、ＨＤＤ（Hard Disk Drive）及び／又はＳＳＤ（Solid State Drive）等の大容量記憶装置を含んでもよい。例えば、コンピュータが動画分析装置１００として機能する場合、コンピュータを機能させるＯＳ（Operating System）、及びプログラム等の情報を格納してもよい。また、記憶部１２０は、プログラムの実行時に参照されるデータベースを含む種々の情報を格納してもよい。

また、記憶部１２０は、動画分析装置１００が動作の過程で生成する（又は利用する）中間データ、算出結果、閾値、基準値、及びパラメータ等をそれぞれ記憶してもよい。また、記憶部１２０は、動画分析装置１００内の各部の要求に応じて、記憶したデータを要求元に供給してもよい。なお、記憶部１２０は、通信部１１０とネットワーク２０を介して接続されていてもよい。例えば、記憶部１２０は、データベース３０を含んでもよい。

記憶部１２０は、ユーザが対戦ゲームで勝利する確率を向上させるために、ユーザの技術レベル毎に生成された練習用のドリルゲームを記憶する。記憶部１２０は、例えば、ドリルゲームを技術レベルと関連付けて記憶する。ドリルゲームは、例えば、ユーザ端末１０で実行されたアプリケーションを操作することで、ユーザが単独でゲームの練習をできるようにする１人用ゲームのツール、ユーティリティ等である。これに代えて、ドリルゲームは、単独で実行可能なアプリケーションでもよい。

ドリルゲームは、例えば、対戦ゲームにおいて、特定のアイテムを使用する場面、特定のイベントが発生する場面等を再現して、ゲームの勝敗に大きく影響を及ぼす動作をユーザに体験させるようにするツールである。また、ドリルゲームは、対戦ゲームにおいて、ゲームの基本動作、特定のアイテムの動かし方、複数のアイテムを連係させる動作、隠れているアイテムの発生方法等を体験させて修得させるようにするツールであってもよい。ドリルゲームは、対戦ゲームの複雑な局面を再現して、ユーザの判断力を向上させるようにするツールであってもよい。

制御部１３０は、例えばＣＰＵ（Central Processing Unit）である。制御部１３０は、取得部１３１、変換部１３２、抽出部１３３、判定部１３４、分析フレーム生成部１３５、分析動画生成部１３６、送信制御部１３７、選択部１３８、及び通知部１３９を有する。言い換えると、ＣＰＵは、記憶部１２０に記憶されたプログラムを実行することにより、取得部１３１、変換部１３２、抽出部１３３、判定部１３４、分析フレーム生成部１３５、分析動画生成部１３６、送信制御部１３７、選択部１３８、及び通知部１３９として機能する。

取得部１３１は、通信部１１０を介して対戦動画データを取得する。また、取得部１３１は、ユーザ端末１０から対戦動画データの分析要求を取得してもよい。取得部１３１は、例えば、分析要求を取得したことに応じて、通信部１１０を制御して、データベース３０から対戦動画データを読み出して取得する。これに代えて、取得部１３１は、ユーザが対戦動画データを動画分析装置１００に送信した場合、通信部１１０が受信した対戦動画データを取得する。

変換部１３２は、対戦動画データを複数の静止画像のフレームデータに変換する。図３は、本実施形態に係る変換部１３２が対戦動画データから変換したフレームデータの一例を示す。なお、図３は、対戦ゲームの「ぷよぷよ」（登録商標）の対戦結果を対戦動画データとした例を示す。図３において、スコアが１００３６点の左側の領域は第１ユーザが操作した領域であり、スコアが１３０１４点の右側の領域は対戦相手の第２ユーザが操作した領域とする。

例えば、第２ユーザのスコアは１３０１４点であり、第１ユーザのスコアの１００３６点よりも大きい。しかしながら、各ユーザが自身の領域に積み重ねている「ぷよ」と呼ぶアイテムの配置により、同じ色の「ぷよ」が接触することで消滅する動作が連続して「連鎖」と呼ぶイベントが発生する。この「連鎖」の回数を示す「連鎖数」によって、ユーザが取得するスコアが異なり、また、相手の領域に発生させて相手の動作の邪魔をする「おじゃまぷよ」と呼ぶアイテムの発生数が異なる。

したがって、単純に現在のスコアだけで対戦ゲームの形勢を判別することは困難である。特に、ゲームの初心者は、ゲームのルールがわかっても、「ぷよ」をどのように配置させたらいいのか、どのような配置だと有利な形勢であるのかを、局面に応じて判断することが困難であった。そこで、本実施形態の抽出部１３３及び判定部１３４は、図３に示すようなフレームデータが示す画像の情報から、ユーザの形勢を判定する。

抽出部１３３は、複数のフレームデータから対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出する。抽出部１３３は、例えば、フレームデータが示すフレーム画像から、画像内のアイテム、ユーザのポイント、対戦相手のポイント、発生しているイベント、これから発生するアイテム、これから発生するイベント等の情報を抽出する。

より具体的には、図３に示したフレームデータの例の場合、抽出部１３３は、ユーザ及び対戦相手の領域において、落下している「ぷよ」の色、積み重なっている「ぷよ」の種類、色、及び配置、次に発生する「ぷよ」の色、「おじゃまぷよ」の発生数、ユーザのポイント、対戦相手のポイント等の情報を抽出する。

また、抽出部１３３は、積み重なっている「ぷよ」の種類、色、及び配置から、「ぷよ」が連鎖して消滅した場合の連鎖数、連鎖スコアの情報を抽出してもよい。この場合、抽出部１３３は、複数の連鎖数と対応する連鎖スコアの情報を抽出することが望ましい。例えば、抽出部１３３は、連鎖数が多い順に３組の連鎖数及び連鎖スコアの情報を、ユーザ及び対戦相手の領域からそれぞれ抽出する。抽出部１３３は、抽出した特徴を特徴量に数値化することが望ましい。また、抽出部１３３は、数値化した特徴量を正規化してもよい。

判定部１３４は、フレームデータから抽出された特徴を分析モデルに入力することにより、対戦ゲームの形勢を判定する。分析モデルは、例えば、ロジスティック回帰分析により、抽出された特徴の特徴量を説明変数として入力し、ユーザが対戦相手に勝利する確率を目的変数として予測する学習モデルである。分析モデルは、一例として、ＳＶＭ（Support Vector Machine）である。

分析モデルは、ユーザの勝利確率の予測精度を高めるように、学習データから抽出された特徴を用いて学習済みであることが望ましい。学習データは、例えば、熟練したプレーヤが対戦ゲームをした場合の対戦動画データ、より多くの対戦者に勝利することができるプレーヤが対戦ゲームをした場合の対戦動画データ、プレーヤがハイスコアを出力したときの対戦動画データ等である。また、分析モデルは、所定のアルゴリズムを用いてユーザの勝利確率を算出するモデルでもよい。

判定部１３４は、例えば、複数のフレームデータのそれぞれから抽出された特徴を学習済みの分析モデルに入力することにより、対戦ゲームの形勢をフレーム毎に判定する。これにより、判定部１３４が判定する対戦ゲームの形勢は、一のフレームデータの時点において、対戦ゲームで対戦したユーザが対戦相手に勝利する確率を予測した予測値を含むことになる。このような予測値は、学習モデルの学習によって精度を高めることができ、また、客観的な評価なので、対戦ゲームの形勢を示す指標として用いることに適している。

判定部１３４は、複数のフレームデータから判定した対戦ゲームの形勢の複数の判定結果に基づき、対戦ゲームで対戦したユーザの技術レベルを更に判定してもよい。判定部１３４は、例えば、対戦ゲームが始まってから終了するまでにおけるユーザの形勢の平均値を、ユーザの技術レベルとする。また、判定部１３４は、対戦ゲームが始まってから、ユーザの形勢が閾値よりも低くなる時間が速ければ速いほど、ユーザの技術レベルを低く判定してもよい。

また、判定部１３４は、ユーザが操作ボタンを押した回数、速度等と閾値を比較することにより、ユーザの熟練度、操作スピード等を判定してもよい。判定部１３４は、例えば、連鎖数といったイベントの発生数に基づき、ユーザのイベント発生能力を判定してもよい。判定部１３４は、例えば、理想のプレーヤと比較した結果を判定結果に含めてもよい。

分析フレーム生成部１３５は、対戦ゲームの形勢の判定結果を示す情報と、対応するフレームデータとを合成して分析フレームデータを生成する。分析フレーム生成部１３５は、例えば、判定部１３４が一のフレームデータから抽出された特徴を用いて判定した対戦ゲームの形勢を、当該一のフレームデータに合成することで、一の分析フレームデータを生成する。

＜分析フレームデータの一例＞
図４は、本実施形態に係る分析フレーム生成部１３５が生成した分析フレームデータの一例を示す。図４に示す分析フレームデータの時点では、左側の領域を操作しているユーザの勝利する確率が６０％であり、ユーザに有利な展開になっていることがわかる。なお、図４は、分析フレーム生成部１３５が対戦ゲームの形勢を数字及び棒グラフを用いて表した画像を、フレームデータに合成した例を示すが、これに限定されることはない。分析フレーム生成部１３５は、対戦ゲームの形勢を数字、絵文字、又はグラフを用いて表してもよい。また、分析フレーム生成部１３５は、円グラフ、折れ線グラフ等を用いて表現してもよい。

ここで、分析フレーム生成部１３５は、対応するフレームデータを加工し、加工したフレームデータと対戦ゲームの形勢とを合成してもよい。分析フレーム生成部１３５は、例えば、フレームデータに含まれている装飾を示す画像の少なくとも一部を簡略な画像に変換するか又は省略して、対戦ゲームの対戦の状況を簡素に示す簡素フレームデータを生成する。そして、分析フレーム生成部１３５は、生成した簡素フレームデータを対応するフレームデータとして対戦ゲームの形勢の判定結果を示す情報と合成し、分析フレームデータを生成する。

＜簡素フレームデータを用いた分析フレームデータの一例＞
図５は、本実施形態に係る分析フレーム生成部１３５が簡素フレームデータを用いて生成した分析フレームデータの一例を示す。図５に示す分析フレームデータは、図４に示す分析フレームデータと比較して、背景画像が削除され、また、背景画像が簡略化されていることがわかる。

分析フレーム生成部１３５は、このような簡素フレームデータを用いることにより、分析フレームデータの容量を低減させることができる。また、分析フレーム生成部１３５は、対戦動画データが示す画像の一部を利用することなく、分析フレームデータを生成するので、当該一部の画像の利用に対して権利者等に許諾が必要な場合でも、分析フレームデータを許諾なく生成して利用することができる。

分析動画生成部１３６は、複数の分析フレームデータを結合して、対戦ゲームの対戦を分析した動画像を示す分析動画データを生成する。分析動画データは、フレーム毎に判定した形勢の判定結果が合成された分析フレームデータが結合されているので、動画の進行と同時にユーザの形勢が変化するように生成される。

送信制御部１３７は、通信部１１０を制御して、分析動画生成部１３６が生成した分析動画データをデータベース３０にアップロードする。また、送信制御部１３７は、分析動画データをユーザ端末１０に送信してもよい。送信制御部１３７は、分析動画データの記憶領域をユーザが指定した場合、分析動画データをユーザが指定した記憶領域に送信して記憶させてもよい。

選択部１３８は、判定部１３４が判定したユーザの技術レベルに対応するドリルゲームを選択する。選択部１３８は、例えば、記憶部１２０からユーザの技術レベルの判定結果に対応するドリルゲームを読み出して、選択結果とする。ここで、送信制御部１３７は、通信部１１０を制御して、選択部１３８が選択したドリルゲームをデータベース３０にアップロードしてもよく、これに代えて、ドリルゲームをユーザ端末１０に送信してもよい。また、送信制御部１３７は、ドリルゲームをユーザが指定した記憶領域に送信して記憶させてもよい。

通知部１３９は、対戦動画データを分析した分析動画データを生成したことをユーザに通知する。また、通知部１３９は、選択されたドリルゲームを実行させるための情報をユーザに通知する。通知部１３９は、例えば、通信部１１０を制御して、ユーザの技術レベルの判定結果と対応するドリルゲームの実行を勧めることとを含むメッセージをユーザ端末１０に送信する。また、通知部１３９は、ドリルゲームを記憶したアドレスの情報、又は、ドリルゲームを送信したこと等を通知してもよい。

以上の本実施形態に係る動画分析装置１００は、ユーザから提供された対戦動画データを分析した分析動画データを生成して、ユーザに提供することができる。これにより、ユーザは、自身が操作した対戦型ゲームの進行状況を観ることで、勝敗の形勢がどのように変化しているのかを容易に把握できる。

なお、動画分析装置１００は、勝敗の形勢が大きく変化したことをユーザによりわかりやすく表示させてもよい。例えば、判定部１３４は、時系列に並ぶ複数のフレームデータのうち、連続する２つのフレームデータにおいて、ユーザが対戦相手に勝利する確率の予測値が閾値よりも大きく変化したことを更に判定する。そして、分析フレーム生成部１３５は、連続する２つのフレームデータにおいて予測値が閾値よりも大きく変化した場合、対戦ゲームの形勢が大きく変化したことを示す情報を連続する２つのフレームデータの少なくとも一方に合成する。

分析フレーム生成部１３５は、例えば、対戦ゲームの形勢の表示色を変化させる。また、分析フレーム生成部１３５は、対戦ゲームの形勢の表示領域を大きく変化させてもよい。分析フレーム生成部１３５は、対戦ゲームの形勢が大きく変わったことを示すメッセージ、音声等を合成してもよい。また、分析フレーム生成部１３５は、対戦ゲームの形勢が大きく変わったフレームデータを複製して、分析フレームデータに含めてもよい。これにより、動画分析装置１００は、対戦ゲームの勝敗を決める場面をゆっくりとしたスピードでユーザに確認させることができる。

これらにより、ユーザは、対戦ゲームの勝敗を決めるポイントを理解することができる。したがって、動画分析装置１００は、ユーザが強い対戦者と戦って負けたとしても、上級者の操作を観ることに楽しさを感じるようなポジティブな感情を生じやすくさせることができる。

また、動画分析装置１００は、ユーザの技術レベルを通知するので、ユーザは、対戦ゲームの習熟度を定量的に把握することができる。そして、動画分析装置１００は、ユーザの技術レベルに対応するドリルゲームを勧めるので、ユーザは、ゲームのコツを把握すること、技術の習得、技術の向上等を効率的に進めるために、何をすべきなのかが容易に理解できる。このように、動画分析装置１００は、ユーザの技術の向上をしやすくすることができる。

＜動画分析装置１００の動作フローの一例＞
図６は、本実施形態に係る動画分析装置１００の動作フローの一例を示す。図６に示す動作フローは、ユーザがデータベース３０に対戦動画データをアップロードして、動画分析装置１００にデータの分析の要求を送信したことにより、開始される動作フローの例である。

まず、取得部１３１は、データベース３０から対戦動画データを読み出して取得する（Ｓ５１）。次に、変換部１３２は、対戦動画データを複数の静止画像のフレームデータに変換する（Ｓ５２）。次に、抽出部１３３は、複数のフレームデータから対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出する（Ｓ５３）。

次に、判定部１３４は、フレームデータから抽出された特徴を分析モデルに入力することにより、対戦ゲームの形勢を判定する（Ｓ５４）。また、判定部１３４は、複数のフレームデータから判定した対戦ゲームの形勢の複数の判定結果に基づき、対戦ゲームで対戦したユーザの技術レベルを更に判定する（Ｓ５５）。

次に、分析フレーム生成部１３５は、対戦ゲームの形勢の判定結果を示す情報と、対応するフレームデータとを合成して分析フレームデータを生成する（Ｓ５６）。次に、分析動画生成部１３６は、複数の分析フレームデータを結合して、対戦ゲームの対戦を分析した動画像を示す分析動画データを生成する（Ｓ５７）。次に、選択部１３８は、判定部１３４が判定したユーザの技術レベルに対応するドリルゲームを選択する（Ｓ５８）。

次に、送信制御部１３７は、分析動画生成部１３６が生成した分析動画データをデータベース３０にアップロードする（Ｓ５９）。ここで、送信制御部１３７は、選択部１３８が選択したドリルゲームをデータベース３０にアップロードする。次に、通知部１３９は、対戦動画データを分析した分析動画データを生成したことをユーザに通知する（Ｓ６０）。ここで、通知部１３９は、選択されたドリルゲームを実行させるための情報をユーザに通知する。

これにより、ユーザは、対戦動画データに対応する分析動画データをダウンロードして動画分析装置１００による分析結果を確認できる。また、ユーザは、ドリルゲームをダウンロードしてドリルゲームを実行できる。動画分析装置１００は、ユーザからの更なる分析要求がなければ、動作を停止させてよい（Ｓ６１：Ｙｅｓ）。

動画分析装置１００は、ユーザからの更なる分析要求を取得した場合（Ｓ６１：Ｎｏ）、Ｓ３１に戻って、次の対戦動画データに基づく分析動画データを生成するフローを開始する。ここで、ユーザは、次の分析動画データとして、ドリルゲームを実行した結果をデータベース３０にアップロードしてもよい。

＜ドリルゲームを実行した結果を対戦動画データとした動作フローの一例＞
この場合、Ｓ５１において、取得部１３１は、ユーザがドリルゲームを実行して画面に表示された動画像を対戦動画データとして取得する。次に、Ｓ５２において、変換部１３２は、対戦動画データを複数の静止画像のフレームデータに変換する。次に、Ｓ５３において、抽出部１３３は、複数のフレームデータからドリルゲームのユーザの勝敗を予測するための特徴をフレーム毎に抽出する。

次に、判定部１３４は、Ｓ５４において対戦ゲームの形勢を判定し、Ｓ５５においてユーザの技術レベルを判定する。次に、Ｓ５６において、分析フレーム生成部１３５は、分析フレームデータを生成する。次に、Ｓ５７において、分析動画生成部１３６は、分析動画データを生成する。

次に、Ｓ５８において、選択部１３８は、ユーザの技術レベルの過去の判定結果と今回の判定結果の差に基づいて、ユーザの技術レベルに対応するドリルゲームを選択する。次に、Ｓ５９において、送信制御部１３７は、分析動画データとドリルゲームをデータベース３０にアップロードする。次に、Ｓ６０において、通知部１３９は、分析動画データを生成したことと、選択されたドリルゲームを実行させるための情報をユーザに通知する。

以上のように、本実施形態に係る動画分析装置１００は、ユーザがドリルゲームを実行した結果に基づく分析動画データを生成してユーザに供給してもよい。これにより、ユーザは、ドリルゲームの実行と対応する分析動画データの確認とを繰り返すことができ、より効率的にゲームの実力を向上させることができる。また、ユーザは、対戦ゲームの実行と対応する分析動画データの確認と、ドリルゲームの実行と対応する分析動画データの確認とを、組み合わせて実行することにより、実際の対戦を楽しみつつ、効率的にゲームの実力を向上させることができる。

なお、動画分析装置１００は、ユーザの技術レベルに対応するドリルゲームを勧める例を説明したが、これに限定されることはない。動画分析装置１００は、ユーザの技術レベルに対応する模範的な画像データを勧めてもよい。模範的な画像データは、対戦ゲームの上級者が特定のイベントを効果的に発生させたシーン、特定のアイテムを効果的に動作させたシーン等を含む動画像のデータである。

ユーザが対戦ゲームの上級者になるまでには、様々な技術を向上させることが必要になることがある。そこで、様々な技術を紹介する複数の動画像を予め準備し、ユーザに視聴させることが考えられる。しかしながら、多くの技術を習得するために多くの動画等を観ることは、時間もかかり、また、実際にゲームを実行しないのでユーザは楽しく感じることができないことがある。そこで、動画分析装置１００は、ユーザの技術レベルに対応する模範的な画像データを勧めることにより、ユーザは、技術レベルに対応した適切な技術を適切なタイミングで観ることができ、技術の向上等を効率的に進めることができる。

また、ドリルゲームは、このような模範的な画像データが示すゲームの局面を再現したツールであってもよい。これにより、ユーザは、上級者が適切に操作したゲームの局面と同じ局面で練習することができるので、上級者の操作方法を体得することができる。

以上の本実施形態に係る動画分析装置１００において、判定部１３４は、対戦ゲームの形勢をフレーム毎に判定する例を説明したが、これに限定されることはない。判定部１３４は、複数のフレームの特徴に基づいて、複数のフレームの形勢を判定してもよい。例えば、判定部１３４は、複数のフレームの特徴を分析モデルに入力することにより、複数のフレームの形勢を算出してもよい。また、判定部１３４は、フレーム毎に判定した複数の形勢の平均値等を算出して、複数のフレームの形勢を判定してもよい。

また、判定部１３４は、全てのフレームについて対戦ゲームの形勢を判定しなくてもよい。例えば、判定部１３４は、時系列に並ぶｎ個ずつの複数のフレームの組毎に、１つのフレームを抜き出し、抜き出したフレームについて対戦ゲームの形勢を判定する。ここで、ｎは２以上の整数である。なお、判定部１３４は、抜き出したフレームの形勢の判定結果を、抜き出されなかったｎ－１個のフレームの形勢の判定結果としてもよい。

この場合、分析フレーム生成部１３５は、全てのフレームを用いて分析フレームデータを生成してもよく、抜き出したフレームだけを用いて分析フレームデータを生成してもよい。分析フレーム生成部１３５が抜き出したフレームだけを用いて分析フレームデータを生成した場合、分析動画生成部１３６は、対戦動画データの容量よりも小さい容量の分析動画データを生成することができる。

以上の本実施形態に係る動画分析装置１００において、「ぷよぷよ」を対戦ゲームの例として挙げて説明したが、これに限定されることはない。対戦ゲームは、ゲームの進行に伴ってアイテム、キャラクター等を操作することで、アイテム、イベント等を発生させつつ対戦相手と勝負し、表示画面に対戦の様子が表示されるゲームであればよい。動画分析装置１００は、このような対戦ゲームにおいて表示画面に表示された画像データを取得することにより、対戦ゲームの形勢を判断し、分析画像データとして出力することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１０ ユーザ端末
２０ ネットワーク
３０ データベース
１００ 動画分析装置
１１０ 通信部
１２０ 記憶部
１３０ 制御部
１３１ 取得部
１３２ 変換部
１３３ 抽出部
１３４ 判定部
１３５ 分析フレーム生成部
１３６ 分析動画生成部
１３７ 送信制御部
１３８ 選択部
１３９ 通知部

Claims (10)

1. 対戦ゲームの画面上に表示される動画像を対戦動画データとして取得する取得部と、
   前記対戦動画データを複数の静止画像のフレームデータに変換する変換部と、
   複数の前記フレームデータから前記対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出する抽出部と、
   前記フレームデータから抽出された前記特徴を分析モデルに入力することにより、前記対戦ゲームの形勢を判定する判定部と、
   前記対戦ゲームの形勢の判定結果を示す情報と、対応する前記フレームデータとを合成して分析フレームデータを生成する分析フレーム生成部と、
   複数の前記分析フレームデータを結合して、前記対戦ゲームの対戦を分析した動画像を示す分析動画データを生成する分析動画生成部と
   を備える、動画分析装置。
2. 前記判定部は、複数の前記フレームデータのそれぞれから抽出された前記特徴を前記分析モデルに入力することにより、前記対戦ゲームの形勢をフレーム毎に判定する、
   請求項１に記載の動画分析装置。
3. 前記分析フレーム生成部は、
   前記フレームデータに含まれている装飾を示す画像の少なくとも一部を簡略な画像に変換するか又は省略して、前記対戦ゲームの対戦の状況を簡素に示す簡素フレームデータを生成し、
   生成した前記簡素フレームデータを対応する前記フレームデータとして前記対戦ゲームの形勢の判定結果を示す情報と合成し、前記分析フレームデータを生成する、
   請求項１又は２に記載の動画分析装置。
4. 前記判定部が判定する前記対戦ゲームの形勢は、一の前記フレームデータの時点において、前記対戦ゲームで対戦したユーザが対戦相手に勝利する確率を予測した予測値を含む、請求項１から３のいずれか一項に記載の動画分析装置。
5. 前記分析フレーム生成部は、時系列に並ぶ複数の前記フレームデータのうち、連続する２つの前記フレームデータにおいて前記予測値が閾値よりも大きく変化した場合、前記対戦ゲームの形勢が大きく変化したことを示す情報を連続する２つの前記フレームデータの少なくとも一方に合成する、
   請求項４に記載の動画分析装置。
6. 前記判定部は、複数の前記フレームデータから判定した前記対戦ゲームの形勢の複数の判定結果に基づき、前記対戦ゲームで対戦した第１ユーザの技術レベルを更に判定する、請求項１から５のいずれか一項に記載の動画分析装置。
7. ユーザが前記対戦ゲームで勝利する確率を向上させるために、ユーザの技術レベル毎に生成された練習用のドリルゲームを記憶する記憶部と、
   前記判定部が判定した前記第１ユーザの技術レベルに対応する前記ドリルゲームを選択する選択部と、
   選択された前記ドリルゲームを実行させるための情報を前記第１ユーザに通知する通知部と
   を更に備える、請求項６に記載の動画分析装置。
8. 前記取得部は、前記第１ユーザが前記ドリルゲームを実行して画面上に表示される動画像を前記対戦動画データとして取得し、
   前記変換部は、前記対戦動画データを複数の静止画像の前記フレームデータに変換し、
   前記抽出部は、複数の前記フレームデータから前記ドリルゲームの前記第１ユーザの勝敗を予測するための特徴をフレーム毎に抽出し、
   前記判定部は、前記第１ユーザの技術レベルを判定し、
   前記選択部は、前記第１ユーザの技術レベルの過去の判定結果と今回の判定結果の差に基づいて、前記第１ユーザの技術レベルに対応する前記ドリルゲームを選択し、
   前記通知部は、選択された前記ドリルゲームを実行させるための情報を前記第１ユーザに通知する、
   請求項７に記載の動画分析装置。
9. コンピュータが実行する、
   対戦ゲームで対戦して画面上に表示される動画像を対戦動画データとして取得するステップと、
   前記対戦動画データを複数の静止画像のフレームデータに変換するステップと、
   複数の前記フレームデータから前記対戦ゲームの形勢を予測するための特徴をフレーム毎に抽出するステップと、
   前記フレームデータから抽出された前記特徴を分析モデルに入力することにより、前記対戦ゲームの形勢を判定するステップと、
   前記対戦ゲームの形勢の判定結果を示す情報と、対応する前記フレームデータとを合成して分析フレームデータを生成するステップと、
   複数の前記分析フレームデータを結合して、前記対戦ゲームの対戦を分析した動画像を示す分析動画データを生成するステップと
   を備える、動画分析方法。
10. コンピュータにより実行されると、前記コンピュータを請求項１から８のいずれか一項に記載の前記動画分析装置として機能させる、プログラム。

Images