JP2019083968A - プレイヤ分析支援システム - Google Patents

Abstract

【課題】プレイヤの組合せ等に係ることなく、上述した球種等の、プレイヤの動きがプレイヤの用いる用具にもたらすであろう結果の推定を、容易に行うことができるプレイヤ分析支援システムを提供する。【解決手段】カメラ１０は、例えば野球の投手であるプレイヤの画像を撮像する。推定部３６は、カメラ１０が撮像したプレイヤの画像に基づいて、当該プレイヤの動きによりスポーツで扱う用具にもたらされる結果、例えばボールの球種を推定する。端末５０のディスプレイは、推定部３６の推定結果を報知する。【選択図】図３

Description

本発明は、ユーザによるスポーツのプレイヤの分析を支援するシステムに関する。

スポーツのプレイヤの動きを分析する際に利用されるシステムとして、例えば特許文献１に開示されているように、野球のピッチャーが投じるボールの球種を分析するシステムが知られている。具体的に、特許文献１のシステムは、各ピッチャーの投球数に対する各球種の投球確率をピッチャー毎に予め算出しておき、その算出結果に応じて各バッターに対し各ピッチャーが投じるボールの球種を推定する。

特開２０１６−５２４６０号公報

ピッチャーにおける各球種の投球確率はバッター毎に異なるため、特許文献１では、予めピッチャーとバッターとの過去の組合せについて球種の投球確率を算出して記憶する。しかしながら、ピッチャーとバッターとの組合せは非常に多く、上記算出処理は膨大となる。また、特許文献１では、過去に例のないピッチャーとバッターとの組合せについての投球確率の算出は不可能である。それ故、特許文献１では、球種の投球確率の推定を容易にできるとは言い難い。

本発明は、プレイヤの組合せ等に係ることなく、上述した球種等の、プレイヤの動きがプレイヤの用いる用具にもたらすであろう結果の推定を、容易に行うことを目的とする。

第１の発明は、スポーツのプレイヤを撮像する撮像部と、前記撮像部が撮像した前記プレイヤの画像に基づいて、前記プレイヤの動きにより該プレイヤが前記スポーツで扱う用具にもたらされる結果を推定する推定部と、前記推定部の推定結果を報知する報知部とを備えるプレイヤ分析支援システムである。

スポーツをプレイしているプレイヤには、プレイヤ独自の癖（特徴）がある。その癖は、プレイヤの扱う用具（例えばボール）にもたらされる結果（例えばどのようにボールが動いたか）に影響を及ぼす。そこでこのシステムは、プレイヤの画像に基づいて、当該プレイヤの動きがプレイヤの扱う用具にもたらす結果を推定して報知する。つまり、プレイヤの対戦の組合せ等を考慮する必要はない。これにより、本システムを利用するユーザは、報知された結果を確認することにより、プレイヤの扱う用具がその後どのような結果となるかを容易に把握でき、そのプレイヤについて分析することができる。

第２の発明は、第１の発明において、前記スポーツは、野球であって、前記プレイヤは、投手であって、前記撮像部は、前記プレイヤである前記投手の投球フォームを動画で撮像し、前記推定部は、前記投手が投げるボールの球種を推定することを特徴とするプレイヤ分析支援システムである。

このように、スポーツを野球とした場合、投手の画像から、投球によって投手が投げるボールの球種を容易に推定することができる。

第３の発明は、第２の発明において、前記推定部は、前記投球フォームの開始時から前記投手が足を上げて一時的に静止するまでの間の所定のフレーム画像をキーフレームとして用いて、前記球種の推定を行うことを特徴とするプレイヤ分析支援システムである。

ここでは、投球フォームのうち投球開始時から足を上げて一時的に停止するまでの間、即ち、ボールが投手の手から離れるよりも前の状態に基づいて、球種の推定が行われる。このように、比較的早い段階の動きから、球種の推定がなされる。

第４の発明は、第３の発明において、前記キーフレームは、前記投球フォームのうち、前記投手の足が地面から離れ始めた瞬間のフレーム画像であることを特徴とするプレイヤ分析支援システムである。

一般的に、投手は、ボールを手から離す直前に足を上げる動作を、必ずと言って良いほど行う。このため、投手が誰かに関係なく、投手の足が地面から離れ始めた瞬間の画像は、フレーム画像として抜き出し易い。また、投手の足が地面から離れ始めた瞬間は、投手が静止した状態から動き出す瞬間に等しく、投手の体の動きの変化が比較的大きくなる。それ故、投手特有の癖が反映されている可能性があり、投手が誰かに関係なく球種の推定が比較的し易くなる。

第５の発明は、第１の発明から第４の発明において、前記プレイヤの動きによって前記スポーツで扱う用具に実際にもたらされた結果を示す結果情報、の入力を受け付け可能な受け付け部と、前記受け付け部が受け付けた前記結果情報に基づいて、前記用具にもたらされる結果の推定に用いられる推定モデル、を学習させるモデル更新部と、を更に備えることを特徴とするプレイヤ分析支援システムである。

学習後の推定モデルを用いて更なる推定動作が行われることにより、当該推定動作の精度は向上する。

第６の発明は、第１の発明から第５の発明のいずれか１つにおいて、前記報知部は、前記推定部の推定結果を、当該推定結果の種類毎の確率を表す情報として報知することを特徴とするプレイヤ分析支援システムである。

これにより、プレイヤ分析支援システムを利用するユーザは、推定結果の種類（例えば球種の種類）毎の確率を把握することができる。

第７の発明は、第１の発明から第６の発明のいずれか１つにおいて、前記報知部は、前記推定結果と共に、前記スポーツで扱う用具に実際にもたらされた結果を報知することを特徴とするプレイヤ分析支援システムである。

これにより、プレイヤ分析支援システムを利用するユーザは、推定結果と実際の結果とを比較することができる。

第８の発明は、第１の発明から第７の発明のいずれか１つにおいて、前記撮像部が撮像した画像である前記プレイヤの動きの動画を表示する表示部、を更に備え、前記推定部は、前記動画に含まれる所定のフレーム画像をキーフレームとして用いて、前記スポーツで扱う用具にもたらされる結果を推定し、前記表示部は、表示している前記動画が前記所定のフレーム画像に至った時に、前記動画の表示を一時的に停止することを特徴とするプレイヤ分析支援システムである。

推定に用いられるキーフレームには、プレイヤ特有の癖が反映された画像が用いられることが多い。ここでは、キーフレームにて動画の表示が一時的に停止するため、プレイヤ分析支援システムのユーザは、プレイヤ特有の癖等を把握し易くなる。

本発明によれば、プレイヤ分析支援システムを利用するユーザは、報知された結果を確認することにより、プレイヤの扱う用具がその後どのような結果となるかを容易に把握でき、そのプレイヤにについて分析することができる。

図１は、プレイヤ分析支援システムの概略構成図である。 図２は、プレイヤ分析支援システムの構成を模式的に示す図である。 図３は、推定モデルの入力及び出力を表す概念図である。 図４は、端末に動画と推定結果とが表示される画面例である。 図５は、球種の推定動作の流れを表す図である。 図６は、平均画像の算出に利用されるフレーム画像の説明図である。 図７は、推定モデルの更新動作の流れを表す図である。

以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の実施形態は、本質的に好ましい例示であって、本発明、その適用物、あるいはその用途の範囲を制限することを意図するものではない。

≪実施形態≫
＜概要＞
図１は、本実施形態に係るプレイヤ分析支援システム（100）の概略の構成図である。このプレイヤ分析支援システム（100）では、スポーツをプレイしているプレイヤ（play1）をカメラ（10）が撮像し、撮像した画像から当該プレイヤ（play1）が扱っているスポーツの用具が当該プレイヤ（play1）の動きによってその後のどのようになるのか（即ち、プレイヤ（play1）の動きによりスポーツで扱う用具にもたらされる結果）を演算サーバ（30）が推定し、推定結果を端末（50）が表示する。プレイヤ分析支援システム（100）を利用するユーザは、表示された推定結果を確認することにより、プレイヤ（play1）の癖や、プレイヤ（play1）の動きと推定結果との組合せからプレイヤ（play1）が疲労状態にあるのではないか等の、プレイヤ（play1）に関する様々な分析を行うことができる。

プレイヤ分析支援システム（100）が対象とするスポーツには、プレイヤ（play1）が何らかの用具を使うものであればどのようなスポーツも含まれる。対象となるスポーツには、野球、サッカー、テニス、卓球、ゴルフ、新体操等が挙げられ、用具としては、ボール、バット、ラケット、リボン、フープ等が挙げられる。プレイヤ（play1）の動きにより用具にもたらされる結果としては、野球の投手の投球動作によってボールがどのような球種となるのか、野球の打者の打球動作によってボールがどのような飛行経路を辿るか、サッカー選手がボールをキックする動作によってそのボールがどのような飛行経路を辿るか、テニスプレイヤがラケットでボールを打ち返す動作によってボールがどのような飛行経路を辿るか、卓球選手がラケットでボールを打ち返す動作によってボールがどのような球種となるのか、新体操選手がフープを上方へ投げる動作によってそのフープがどのように飛ぶか、等が挙げられる。

以下、本実施形態では、スポーツを「野球」、プレイヤ（play1）を「投手」、プレイヤ（play1）の動きにより用具にもたらされる結果を「投手の投球動作がボールにもたらす結果“球種”」とした場合を例示する。

＜構成＞
図１及び図２に示すように、プレイヤ分析支援システム（100）は、カメラ（10）（撮像部に相当）と、演算サーバ（30）と、端末（50）とを備える。

図１に示すように、カメラ（10）は、投手（play1）の全身を撮像可能な位置に設置される。演算サーバ（30）及び端末（50）は、投手（play1）との距離がカメラ（10）と投手（play1）との距離よりも遠い位置に設置されていてもよい。

図２に示すように、演算サーバ（30）は、カメラ（10）と有線または無線によって通信可能に接続されている。演算サーバ（30）は、カメラ（10）に、画像の送信要求を送信したり、カメラ（10）から画像を受信したりする。

また、演算サーバ（30）は、端末（50）と有線または無線によって通信可能に接続されている。演算サーバ（30）は、端末（50）から、該端末（50）のディスプレイ（51）に表示するべき情報の送信要求を受信したり、端末（50）に当該情報を送信したりする。

＜カメラ＞
カメラ（10）は、分析対象である投手（play1）を被写体として撮像する。画像は、投手（play1）を撮像した動画像であってもよいし、投手（play1）の静止画像を連続して撮像したものであってもよいが、ここでは動画である場合を例示する。

カメラ（10）が撮像した画像（動画像）には、投手（play1）の投球フォームが写し出されている。当該画像には、投手（play1）の体の一部分ではなく、投球フォームを行っている投手（play1）の全身の姿が写し出されている。

カメラ（10）が撮像した画像のデータは、主に、投手（play1）の球種の推定に利用される。投球フォームには、投球の際の投手（play1）特有の癖が現れており、この特有の癖は、当該投手（play1）の球種の推定処理において有意義な特徴点として利用される。それ故、カメラ（10）は、投手（play1）が投球を行う全身の姿をぶれずに撮像することが好ましい。従って、カメラ（10）は、建物の壁面や天井等に固定された状態で投手（play1）を撮像すると良い。

＜演算サーバ＞
演算サーバ（30）は、投手（play1）が投げる球種の推定動作を主に行うものであって、図２に示すように、記憶部（31）及びＣＰＵ（35）を備えたコンピュータである。具体的には、演算サーバ（30）は、クラウドサーバ、ローカルサーバ等であることができる。

記憶部（31）は、フラッシュメモリ及びハードディスク等の不揮発性記憶装置で構成される。記憶部（31）は、各種プログラムを記憶する他、ＣＰＵ（35）の処理結果を保持する。

ＣＰＵ（35）は、記憶部（31）に格納された各種プログラムを読み出して実行することにより、推定部（36）及びモデル更新部（38）として機能する。

推定部（36）は、カメラ（10）が撮像した投手（play1）の画像に基づいて、投手（play1）の投球フォームによって投げられるであろうボールの球種を推定する。このような推定部（36）は、推定モデル（37）を有する。

推定モデル（37）は、撮像された画像から球種を、ディープラーニング等の手法を用いた演算にて求める専用モデルであって、ニューラルネットワークとして予め構築されている。本実施形態では、一例として、図３の破線に示すように、推定モデル（37）が、主として、カメラ（10）が撮像した画像のデータに画像処理を施す画像処理ニューラルネットワーク（37a）、及び、画像処理の結果から球種を推定する球種推定ニューラルネットワーク（37b）の、言わば２層構造のニューラルネットワークとなっている。

推定部（36）は、先ず、カメラ（10）が撮像した画像のデータを、画像処理ニューラルネットワーク（37a）に入力する。画像処理ニューラルネットワーク（37a）では、画像データ（ここでは動画データ）の同時化処理の他、エッジ検出やコントラスト処理等を駆使して、投手（play1）の投球動作を抽出する。特に、画像処理ニューラルネットワーク（37a）では、画像データのうち、投手（play1）が投球を開始する時から片足を上げて一時停止するまでの間の所定のフレーム画像をキーフレームとし、当該キーフレームとその前後のフレーム画像との差分を表したものが、動き表現画像データとして算出される。

上記動き表現画像データは、球種判定ニューラルネットワーク（37b）に入力される。球種判定ニューラルネットワーク（37b）では、動き表現画像データが入力される都度、その画像データに写し出された投球の際に投手（play1）が投げる球種が推定される。推定結果、即ち推定された球種は、端末（50）に出力される。

なお、上記推定モデル（37）は、投手（play1）毎に球種を推定するアルゴルリズムにて構築されたニューラルネットワークであってもよいし、投手（play1）が誰であるかに関係なく球種を推定するアルゴリズムにて構築されたニューラルネットワークであってもよい。

モデル更新部（38）は、実際の球種を表す結果情報が端末（50）から送られてくると、この結果情報に基づいて推定モデル（37）の更新処理を行う。即ち、推定モデル（37）は、推定した球種と実際の球種とを比較し、今後より精度の良い推定ができるようにするべく推定モデル（37）を学習させる。例えば、推定した球種と実際の球種とが一致しないような場合に、上記更新動作が行われても良い。この更新動作により、推定モデル（37）（具体的には球種須推定ニューラルネットワーク（37b））は、より実際の球種に近い推定結果を算出できるようなモデルに更新されていく。

学習後の推定モデル（37）は、逐次記憶部（31）に上書きされる。

上述した推定部（36）及びモデル更新部（38）の各動作の詳細については、後述する。

−端末−
本実施形態に係る端末（50）は、演算サーバ（30）とは別に設置されており、パーソナルコンピュータ等で構成される。端末（50）は、主として、ディスプレイ（51）（報知部及び表示部に相当）及びマウス／キーボード（52）（受け付け部に相当）を有する。

ディスプレイ（51）は、プレイヤ分析支援システム（100）のユーザが球種の推定結果を視覚的に確認して投手（play1）の分析を行うことができるように、上記推定部（36）の推定結果を表示する出力インターフェースである。

図４は、ディスプレイ（51）に表示される画面例を表す。図４に示すように、ディスプレイ（51）の表示画面（sc1）上には、投手（play1）の投球フォームを撮像した動画が表示される第１領域（ar1）と、球種の推定結果が表示される第２領域（ar2）とが含まれる。

一例として、第２領域（ar2）の主な領域（ar22）には、球種の推定結果が、上段（ar23）と下段（ar24）との２段で構成されたテーブル形式で表示されている。上段（ar23）には、球種として「カーブ」「シンカー」「スライダー」「ストレート」が左右方向に並べて記され、下段（ar24）には、第１領域（ar1）に表示されている投球フォームの動画に対し、各球種が投球されるであろう確率をパーセントで表示している。即ち、本実施形態では、推定部（36）の推定結果が、当該推定結果の種類毎の確率を表す情報として、ディスプレイ（51）に表示される。

第２領域（ar2）のうち、主な領域（ar22）の左隣の領域（ar21）には、第１領域（ar1）に表示されている投球フォームの動画において実際に投げられた球種が表示されている。そして、第２領域（ar2）の直上には、実際の球種が何であったかが領域（ar21）の確認よりも瞬時に分かるように、実際の球種（正解となる球種）に対応する位置に記号（ar3）が表示されている。即ち、本実施形態では、推定部（36）の推定結果と共に、野球で扱うボールに実際にもたらされた結果（実際の球種）が、ディスプレイ（51）に表示される。

上記領域（ar21）及び上記記号（ar3）にて表される実際の球種は、ユーザがマウス／キーボード（52）を用いて実際の球種を表す結果情報を入力した際に、表示されるものとする。

このように、図４では、推定部（36）の推定結果と共に、推定部（36）が推定に利用した投球フォームにおける実際の球種が、一画面上に表示されている。これにより、プレイヤ分析支援システム（100）のユーザは、推定結果と実際の球種とを比較することにより、本システム（100）の推定精度を知ることができる。また、通常は精度が高い推定結果において、仮に実際の結果と推定結果との間に乖離が生じていることをユーザが把握した場合、当該ユーザは、投手（play1）が不調または疲労が蓄積しているために普段投げられるべき球種以外の球種が投げられてしまった等と、投手（play1）の状態及び傾向等についての様々な分析を行うことができる。また、投手（play1）の投球フォームの動画、推定結果及び実際の結果が一画面にて表示されることにより、ユーザは、投手（play1）の球種毎の投球の癖を分析すること等も可能となる。

マウス／キーボード（52）は、ユーザが端末（50）を直接操作して各種情報を入力する際に用いられる、入力インターフェースである。具体的に、マウス／キーボード（52）は、実際の球種を示す結果情報の入力を受け付けることができる。

＜動作＞
プレイヤ分析支援システム（100）の動作には、図５に示す「球種の推定動作」と、図７に示す「推定モデルの更新動作」とがある。

―球種の推定動作―
先ず、カメラ（10）は、投手（play1）の投球フォームを撮像する（St11）。撮像中の画像（動画）は、逐次演算サーバ（30）に送信される。

演算サーバ（30）の推定部（36）は、画像処理ニューラルネットワーク（37a）を用いて、受信した投球フォームの動画を構成する複数のフレーム画像の中から、投球開始時に投手（play1）が足を上げ始めた瞬間のフレーム画像を抽出し、これをキーフレームに設定する（St12）。投球開始時に投手（play1）が足を上げ始めた瞬間とは、投手（play1）の片足が地面から離れ始めた瞬間である。

マウンドに立った投手（play1）が投球フォームを開始した時から片足を上げて一時的に停止するまでの間には、その投手（play1）特有の癖が現れている。その癖が、投手（play1）の手から離れたボールの軌道に作用する可能性は高い。それ故、投手（play1）が投球フォームを開始した時から片足を上げて一時的に停止するまでの間の所定のフレーム画像を球種の推定に用いることは、好適と言える。

本実施形態では、投球フォームの開始時から投手（play1）が片足を上げて一時的に停止するまでの間の所定のフレーム画像をキーフレームとするが、この間の中でも特に、投手（play1）が足を上げ始めた瞬間（片足が地面から離れ始めた瞬間）のフレーム画像をキーフレームとしている。投手（play1）は足を上げ始めるまでは比較的静止した状態であることから、足を上げ始めた瞬間のフレーム画像とその直前のフレーム画像との、投手（play1）の動きの差分は比較的大きい。それ故、足を上げ始めた瞬間のフレーム画像は、球種の推定動作を行う際のトリガとなる画像とし易い。また、足を上げ始める瞬間は、投球フォームの中でも比較的初期の段階と言うことができ、ボールが手から離れてしまうよりもなるべく前に球種を推定するには、好適なタイミングである。ボールが手から離れるよりも前の投手（play1）の動きから球種が判明することにより、その投手（play1）の癖に伴った球種に対し打者がいち早く対応できるようになるための分析が可能となるからである。従って、本実施形態では、手からボールが離れてしまうよりも前、即ち投球フォームの開始時から足を上げて一時的に停止する間のうち、特に投手（play1）が足を上げ始めた瞬間のフレーム画像を、キーフレーム（即ち所定のフレーム画像）と設定している。

次いで、推定部（36）は、画像処理ニューラルネットワーク（37a）を用いて、設定したキーフレームの直前のフレーム画像と直後のフレーム画像とを、更に抽出する（St13）。これにより、推定部（36）が抽出したフレーム画像の数は、図６に示すように、基準となるキーフレーム、キーフレームの１つの前のフレーム画像、キーフレームの１つ後のフレーム画像の、３枚となる。

推定部（36）は、画像処理ニューラルネットワーク（37a）を用いて、抽出した３枚のフレーム画像から平均画像を算出すると（St14）、当該平均画像とキーフレームとの差分を求める（St15）。求めた差分は、動き表現画像データとして設定され、球種推定ニューラルネットワーク（37b）に入力される。ステップSt14〜St15の処理は、投手（play1）の背景に映る風景が球種の推定に影響を及ぼすことを排除するために行われる。つまり、平均画像とキーフレームとの差分を算出することにより、投手（play1）の背景に映る風景の影響は相殺されて投手（play1）の動きが鮮明となった動き表現画像データが算出される。

推定部（36）は、球種推定ニューラルネットワーク（37b）とこれに入力された動き表現画像データとを用いて、図４の第２領域（ar2）に表すような、球種毎の投球確率の算出を行う（St16）。このように、上記動き表現画像データを用いて球種を推定することにより、投手（plsy1）の背景に写り込んだ風景の影響が低減された分精度の高まった球種の推定結果が得られる。演算サーバ（30）は、当該推定結果を端末（50）に送信する（St17）。

なお、図示はしていないが、演算サーバ（30）は、カメラ（10）から受信した動画も、端末（50）に送信する。

端末（50）のディスプレイ（51）は、図４に示すように、第１領域（ar1）に動画をそのまま表示し、第２領域（ar2）に推定結果を表示する（St18）。この際、ディスプレイ（51）では、第１領域（ar1）に表示されている動画がキーフレーム“投手（play1）が足を上げ始める瞬間のフレーム画像”に至った時点で、当該動画の表示が一時的に停止されることが好ましい。キーフレームにさしかかった時点で動画が一時的に停止することにより、プレイヤ分析支援システム（100）のユーザは、球種の推定に利用されたキーフレーム（フレーム画像）を把握することができる。キーフレームにて一時停止された画面は、投手（play1）が特有の球種を投げる際の癖を表したものとなっており、投手（play1）の分析に役立つと言える。

なお、第２領域（ar2）への推定結果の表示の開始タイミングは、特に限定はないが、例えば、動画がキーフレームに至り動画が一時的に停止している間であることが好ましい。

―推定モデルの更新動作―
球種の推定動作に用いられた動画に対する結果情報（即ち実際の球種）のユーザによる入力を、端末（50）のマウス／キーボード（52）が受け付けた場合（St31のYES）、端末（50）は、当該結果情報を演算サーバ（30）に送信する（St32）。

演算サーバ（30）のモデル更新部（38）は、端末（50）から受信した結果情報に応じて推定モデル（37）（具体的には球種推定ニューラルネットワーク（37b））を学習させる（St33）。記憶部（31）には、常に最新の推定モデル（37）、即ち学習後の推定モデル（37）が記憶される。そのため、推定部（36）による球種の推定動作の精度は高まる。

一方、端末（50）のディスプレイ（51）上には、ステップＳｔ３１にて入力された結果情報が、図４の第２領域（ar2）における領域（ar21）及び記号（ar3）に表示される（St34）。

なお、投球フォームの動画と推定結果との一画面表示が終了した後に結果情報が入力された場合、端末（50）は、当該一画面に結果情報を追加した分析用動画を、図示しないメモリ内に格納させておいてもよい。後日、分析用動画が読み出されてディスプレイ（51）に表示された際、投球フォームの動画がキーフレームに至った時点（即ち、動画の表示が一時的に停止した時点）で、図４に示すように結果情報を表示してもよい。この場合、分析用動画を視聴しているユーザは、キーフレーム、そのキーフレームから推定された球種、実際の球種、を同時に一画面で確認することができる。これにより、例えば任意の投手（play1）の投球フォームが複数回に亘って写し出された分析用動画においては、徐々にその投手（play1）が疲弊してコントロールが乱れる様子が判明する等、ユーザは、その投手（play1）に関する分析を様々な角度から行うことができる。

＜効果＞
スポーツをプレイしているプレイヤ（play1）には、プレイヤ（play1）独自の癖（特徴）がある。その癖は、プレイヤ（play1）の扱う用具（例えばボール）にもたらされる結果（例えばどのようにボールが動いたか）に影響を及ぼす。本実施形態のプレイヤ分析支援システム（100）は、プレイヤ（play1）の画像に基づいて、当該プレイヤ（play1）の動きが当該プレイヤ（play1）の扱う用具にもたらす結果を推定して表示する。つまり、プレイヤ（play1）の対戦の組合せ等を考慮する必要はない。これにより、本システム（100）を利用するユーザは、表示された結果を確認することにより、プレイヤ（play1）の扱う用具がその後どのような結果となるかを容易に把握でき、そのプレイヤ（play1）について分析することができる。

そして、プレイヤ（play1）によっては、プレイヤ（play1）特有の癖がプレイ中に強く表れるタイプ、癖がプレイ中に現れにくいタイプが存在する。癖がプレイ中に強く表れるタイプのプレイヤ（play1）については、その癖が現れているキーフレームを用いた本実施形態に係るプレイヤ分析支援システム（100）による上記推定動作により、比較的正答率の高い推定動作がなされる。即ち、プレイヤ（play1）独自の癖（特徴）が顕著である程、その癖が現れたキーフレームを用いることにより、推定動作の正答率は高まる。一方、癖がプレイ中にさほど強く表れないタイプのプレイヤ（play1）については、癖の強いプレイヤに比して比較的正答率の低い推定動作がなされる。このことを利用し、本実施形態に係るプレイヤ分析支援システム（100）は、例えばプレイヤ（play1）が不調である等の状態や、プレイヤ（play1）のタイプ等を分析することも可能となる。

特に、本実施形態では、スポーツ「野球」、プレイヤ（play1）「投手」、推定結果「球種」である場合を例示する。このように、スポーツを野球とした場合、投手（play1）の画像から、投球によって投手（play1）が投げるボールの球種を容易に推定することができる。

本実施形態では、投球フォームのうち投球開始時から足を上げて一時的に停止するまでの間（即ちボールが投手（play1）の手から離れるよりも前の状態）に基づいて、球種の推定が行われる。このように、比較的早い段階の動きから、球種の推定がなされる。

特に、本実施形態では、投手（play1）の足が地面から離れ始めた瞬間のフレーム画像をキーフレームとしている。一般的に、投手（play1）は、ボールを手から離す直前に足を上げる動作を、必ずと言って良いほど行う。このため、投手が誰かに関係なく、投手（play1）の足が地面から離れ始めた瞬間の画像は、フレーム画像として抜き出し易い。また、投手（play1）の足が地面から離れた瞬間は、投手（play1）が静止した状態から動き出す瞬間に等しく、投手（play1）の体の動きの変化が比較的大きくなる。それ故、投手（play1）特有の癖が反映されている可能性があり、投手（play1）が誰かに関係なく球種の判定が比較的し易くなる。

本実施形態では、端末（50）が実際の球種を表す結果情報の入力を受け付けた場合、モデル更新部（38）は、推定部（36）が推定動作で用いる推定モデル（37）を該結果情報に基づいて学習させる。学習後の推定モデル（37）が推定動作に利用されることにより、球種の推定動作の精度は向上する。

本実施形態では、端末（50）のディスプレイ（51）は、演算サーバ（30）の推定部（36）の推定結果を、図４に示すように、当該推定結果の種類毎の確率を表す情報として表示する。これにより、プレイヤ分析支援システム（100）を利用するユーザは、推定結果の種類（球種の種類）毎の確率を把握することができる。

本実施形態では、端末（50）のディスプレイ（51）は、推定された球種と共に、実際の球種を表示する。これにより、プレイヤ分析支援システム（100）を利用するユーザは、推定結果と実際の結果とを比較することができる。

本実施形態では、表示中の動画が、投手（play1）特有の癖が反映され易いキーフレームにさしかかった時点で、当該動画は一時的に停止する。これにより、プレイヤ分析支援システム（100）を利用するユーザは、投手（play1）特有の癖等を把握し易くなる。
≪その他の実施形態≫
プレイヤ分析支援システム（100）は、プレイヤ（play1）が用具を用いるスポーツであれば、どのようなスポーツにも適用が可能である。

上記実施形態において、「球種」を推定するにあたり、キーフレームは、投手（play1）の足が地面から離れる瞬間（即ち足を上げ始める瞬間）のフレーム画像に限定されない。キーフレームは、投手（play1）がボールを手から離す瞬間、投手（play1）が足を上げた状態で動作が一時停止する瞬間（膝が最も高くなった瞬間）、投手（play1）がボールを持って構えた瞬間等であってもよい。

どのようなフレーム画像をキーフレームとするかは、ユーザが適宜設定してもよいし、固定されていてもよい。

平均画像の算出に用いられるフレーム画像の数は、３つに限定されず、３つより多くても良いし少なくても良い。

キーフレームの数は、１つではなく、複数であってもよい。キーフレームが複数の場合、推定部（36）は、キーフレーム毎に前後のフレーム画像を用いて平均画像を算出し、当該平均画像と対応するキーフレームとの差分を動き表現画像データとして算出してもよい。この場合、キーフレーム毎の動き表現画像が算出されるため、推定動作の精度は向上する。

推定モデル（37）の学習機能は、必須ではない。但し、推定モデル（37）が、投手等のプレイヤ（play1）が誰であっても汎用的に使用できるような推定モデル（上記実施形態では球種推定ニューラルネットワーク（37b））である場合には、学習機能があることが好ましい。推定モデル（37）が、ある特定のプレイヤ（play1）向けの推定モデル（上記実施形態では球種推定ニューラルネットワーク（37b））である場合には、学習機能はなくても良い。

推定結果は、ディスプレイ（51）への“表示”に限定されず、音声アナウンス等の音、音と表示との組合せ等の、様々な報知手段を適用することができる。

推定結果を表示する際、その表示方法は図４に限定されない。つまり、各球種の投球確率をパーセントで表示する方法に限定されずともよい。

推定結果とプレイヤ（play1）の動画との一画面表示は必須ではない。推定結果のみの表示や、推定結果とプレイヤ（play1）の動画とが異なるデバイスに表示されてもよい。

推定結果と結果情報（実際の結果）とは一画面に表示されずともよく、別々のデバイスでの表示、推定結果のみの表示等であることができる。

上記実施形態では、一例として、推定モデル（37）が、画像処理ニューラルネットワーク（37a）と球種推定ニューラルネットワーク（37b）との２層構造のニューラルネットワークで構成されている場合を説明した。しかし、画像処理を施す部分については、画像処理ニューラルネットワーク（37a）に代えて、通常の画像処理の機能を有する集積回路にて構成されていてもよい。

本発明は、分析対象であるプレイヤの画像から、そのプレイヤの扱う用具がその後どのような結果となるかを、容易に把握することができる。従って、プレイヤの癖等を分析するシステムとして有用である。

10 カメラ（撮像部）
36 推定部
37 推定モデル
38 モデル更新部
51 ディスプレイ（報知部、表示部）
52 マウス／キーボード（受け付け部）
100 プレイヤ分析支援システム

Claims (8)

1. スポーツのプレイヤを撮像する撮像部と、
   前記撮像部が撮像した前記プレイヤの画像に基づいて、前記プレイヤの動きにより該プレイヤが前記スポーツで扱う用具にもたらされる結果を推定する推定部と、
   前記推定部の推定結果を報知する報知部と
   を備えるプレイヤ分析支援システム。
2. 請求項１において、
   前記スポーツは、野球であって、
   前記プレイヤは、投手であって、
   前記撮像部は、前記プレイヤである前記投手の投球フォームを動画で撮像し、
   前記推定部は、前記投手が投げるボールの球種を推定する
   ことを特徴とするプレイヤ分析支援システム。
3. 請求項２において、
   前記推定部は、前記投球フォームの開始時から前記投手が足を上げて一時的に静止するまでの間の所定のフレーム画像をキーフレームとして用いて、前記球種の推定を行う
   ことを特徴とするプレイヤ分析支援システム。
4. 請求項３において、
   前記キーフレームは、前記投球フォームのうち、前記投手の足が地面から離れ始めた瞬間のフレーム画像である
   ことを特徴とするプレイヤ分析支援システム。
5. 請求項１から請求項４のいずれか１項において、
   前記プレイヤの動きによって前記スポーツで扱う用具に実際にもたらされた結果を示す結果情報、の入力を受け付け可能な受け付け部と、
   前記受け付け部が受け付けた前記結果情報に基づいて、前記用具にもたらされる結果の推定に用いられる推定モデル、を学習させるモデル更新部と、
   を更に備える
   ことを特徴とするプレイヤ分析支援システム。
6. 請求項１から請求項５のいずれか１項において
   前記報知部は、前記推定部の推定結果を、当該推定結果の種類毎の確率を表す情報として報知する
   ことを特徴とするプレイヤ分析支援システム。
7. 請求項１から請求項６のいずれか１項において、
   前記報知部は、前記推定結果と共に、前記スポーツで扱う用具に実際にもたらされた結果を報知する
   ことを特徴とするプレイヤ分析支援システム。
8. 請求項１から請求項７のいずれか１項において、
   前記撮像部が撮像した画像である前記プレイヤの動きの動画を表示する表示部、
   を更に備え、
   前記推定部は、前記動画に含まれる所定のフレーム画像をキーフレームとして用いて、前記スポーツで扱う用具にもたらされる結果を推定し、
   前記表示部は、表示している前記動画が前記所定のフレーム画像に至った時に、前記動画の表示を一時的に停止する
   ことを特徴とするプレイヤ分析支援システム。