JP2021132309A - シュート推定システム - Google Patents

Abstract

【課題】動画像からシュートのシーンを適切に推定させる。【解決手段】シュート推定システムは、ゴールに対してシュートが行われるスポーツに係る動画像を取得する取得部と、画像内におけるゴールとボールとの間の距離である第１距離を検出する検出部と、第１距離に基づき、シュートに係る第１のタイミングを推定する第１推定部と、動画像内におけるボールの動き及び位置の少なくとも一方の物理量を導出する導出部と、シュートの第１のタイミングと物理量とからシュートに係る第２のタイミングを推定する第２推定部と、を備える。【選択図】図１

Description

本発明は、動画像からシュートに係るタイミングを推定するシュート推定システムに関する。

従来からスポーツの動画像を分割する技術が提案されている。例えば、特許文献１には、野球選手に付けられた電子タグからプレー結果に基づく時間長を読み取り、動画像から当該時間長のハイライトシーンを抽出する抽出装置が記載されている。

特開２００５−２９５２９６号公報

ハイライトシーンの一例として、バスケットボール、サッカー、ホッケー、ハンドボール等のスポーツの試合の動画像においては、シュートがなされたシーンであるシュートシーンが挙げられる。シュートシーンを動画像から推定することで、例えばシュートシーンだけを集めた動画集を作成することができる。しかしながら、特許文献１に記載の野球とは異なり、選手の移動のみでプレー結果が判別できない上述のようなスポーツでは、シュートシーンを推定することは困難である。

また、例えば、ボールとゴールとの距離が極小、かつ、所定の閾値以下になった時点をシュートによりボールがゴールに最接近した時点としてシュートシーンを推定することが考えられる。一方で、シュートが行われた時点（選手からボールが放たれた時点）からシュートによりボールがゴールに最接近した時点までの時間は、シュートごとに異なる。このため、シュートによりボールがゴールに最接近した時点からある一定の時間だけ前の時間をシュートが行われた時点とすることは、シュートが行われた時点を適切に推定したことにはならない。よって、シュートシーンを適切に推定することは困難であった。

そこで、本発明は、動画像からシュートシーンを適切に推定することができるシュート推定システムを提供することを目的とする。

上記課題を解決するために、本発明のシュート推定システムは、ゴールに対してシュートが行われるスポーツに係る動画像を取得する取得部と、画像内におけるゴールとボールとの間の距離である第１距離を検出する検出部と、第１距離に基づき、シュートに係る第１のタイミングを推定する第１推定部と、動画像内におけるボールの動き及び位置の少なくとも一方の物理量を導出する導出部と、シュートの第１のタイミングと物理量とからシュートに係る第２のタイミングを推定する第２推定部と、を備える。

この発明によれば、第１推定部が動画像内のゴールの位置とボールの位置との第１距離に基づき、動画像の中のシュートの第１のタイミングを推定することができる。導出部が動画像からボールの動き及び位置の少なくとも一方についての物理量を導出することで、第２推定部は第１のタイミングと物理量とからシュートに係る第２のタイミングを推定することができる。よって、第１のタイミング及び第２のタイミングに基づき、動画像からシュートのシーンを適切に推定することができる。

本発明によれば、動画像からシュートシーンを適切に推定することができる。

本発明の実施形態に係るシュート推定システムの構成を示す図である。 本発明の実施形態に係る第１距離及び物理量を表示した動画像の例を示す図である。 動画像内の第１距離を時系列順にプロットしたグラフの例、及び動画像内のボールの高さを時系列順にプロットしたグラフの例を示す図である。 本発明の実施形態に係る第２距離を表示した動画像の例を示す図である。 推定されたシュートシーンに係る情報をまとめた表の例を示す図である。 本発明の実施形態に係るシュート推定システムで実行される処理を示すフローチャートである。 本発明の実施形態に係るシュート推定システムのハードウェア構成を示す図である。

添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。図面の寸法比率は、説明のものと必ずしも一致していない。

図１に本実施形態に係るシュート推定システム１０を示す。シュート推定システム１０は、ゴールに対してシュートが行われるスポーツに係る動画像から、シュートが行われているシュートシーンを推定するシステムである。シュート推定システム１０は、例えばシュートシーンだけを集めた動画集を作成するため、動画像からシュートシーンを推定する。

シュートが行われるスポーツは、例えば、３×３（スリー・エックス・スリー、スリー・バイ・スリー、３人制バスケットボール）、バスケットボール、サッカー、ホッケー、ハンドボール等である。シュートシーンとは、例えば、選手がシュートを行ってからシュートが決まるか否かの結果までを含むシーンである。シュートシーンを含む動画像は、上述のスポーツの試合を撮像した動画像であり、例えば、スポーツ中継の動画像である。動画像は、例えば複数の画像により構成される。

シュートシーンを含む動画像は、例えばスポーツが行われているコート（試合会場）の側方から撮像される。シュートシーンを含む動画像には、少なくともボールが映り込んでいる。シュートシーンを含む動画像には、例えば、ゴール等の位置決めされて配置されている被写体、動き回る選手及びボール等が映り込んでいる。後述の撮像部において、例えば、コートの側方における位置、撮像する向き、画角及び拡大率が固定されている。このため、位置決めされて配置されている被写体の位置は、例えば、動画像を構成する複数の画像において同一の位置に映り込んでいる。

シュート推定システム１０は、例えば、サーバ装置によって実現される。また、シュート推定システム１０は、複数のサーバ装置、即ち、コンピュータシステムによって実現されてもよい。

引き続いて、本実施形態に係るシュート推定システム１０の機能を説明する。図１に示すようにシュート推定システム１０は、取得部１１と、検出部１２と、導出部１３と、第１推定部１４と、第２推定部１５とを備える。シュート推定システム１０は、記憶部１６をさらに備える。本実施形態では、シュート推定システム１０を適用するスポーツ（試合）として、バスケットボールを一例として説明する。

記憶部１６は、情報を記憶する機能部である。記憶部１６は各情報を格納するデータベースとして機能する。取得部１１、検出部１２、導出部１３、第１推定部１４及び第２推定部１５は、記憶部１６から情報を取得可能なように構成されている。検出部１２、導出部１３、第１推定部１４及び第２推定部１５は、記憶部１６に情報を記憶させるように構成されている。記憶部１６は、シュート推定システム１０の外部に設けられていてもよい。

取得部１１は、ゴールに対してシュートが行われるスポーツに係る動画像を取得する機能部である。取得された動画像は、シュート推定システム１０における後述の第１のタイミング、後述の第２のタイミング、及びシュートシーンの検出対象である。動画像には、音声データが含まれていてもよい。動画像として、例えば、従来の動画像データ（例えば、ＭＰ４）が用いられる。

動画像は、例えば、シュート推定システム１０が備える１台のカメラ等の撮像部（不図示）によりシュートシーンを撮像したデータである。取得部１１は、例えば、取得部１１と互いに情報を送受信可能な撮像部より当該動画像を取得する。動画像は、取得部１１と互いに情報を送受信可能な記憶部１６に予め記憶されていてもよく、取得部１１は、記憶部１６から当該動画像を取得してもよい。

なお、シュート推定システム１０は、撮像部を備えなくてもよい。このとき、シュート推定システム１０は、外部に設けられた撮像部と動画像データの送受信が可能であればよい。撮像部は、撮像した動画像データを記憶部１６に記憶させてもよい。また、取得部１１による動画像データの取得は、上記に限らず任意の方法で行われてもよい。取得部１１は、取得した動画像データを検出部１２及び導出部１３に出力する。

検出部１２は、取得部１１によって取得された動画像内におけるゴールとボールとの間の距離である第１距離を検出する機能部である。この場合、検出部１２は、具体的には、以下のように第１距離を検出する。

検出部１２は、取得部１１から入力した動画像内におけるゴール及びボールを検出する。図２に示すように、検出部１２は、取得部１１により取得された動画像を構成する各画像２０において、ゴール２２及びボール２４を検出する。検出部１２は、各画像２０において、１つの検出対象を含む１つの区画された領域である対象領域３０を検出する。各画像２０において複数の検出対象が映り込んでいる場合、検出対象に対応する複数の対象領域３０が検出される。また、検出部１２は、上記と同様にスポーツをプレーする選手２６も検出する。選手２６の検出等の詳細については後述する。検出部１２は、対象領域３０の一例であってゴール２２を含むゴール対象領域３２と、対象領域３０の一例であってボール２４を含むボール対象領域３４とを検出する。

例えば、検出部１２は、機械学習用の画像群を用いて構築された認識モデル（Ｄｅｅｐ Ｌｅａｒｎｉｎｇベースの物体検出技術）を利用して、画像２０内に検出対象が存在すると認識される領域を対象領域３０として検出する。Ｄｅｅｐ Ｌｅａｒｎｉｎｇベースの物体検出技術は、例えば、Joseph Redmon, and Ali Farhadi, “YOLOv3: An Incremental Improvement”,arXiv:1804.02767v1[cs.CV], 8, April, 2018に示されている。検出部１２は、取得部１１から入力した動画像に含まれるスポーツのルールに基づき設定された物体検出技術を利用して、画像２０内に検出対象が存在すると認識される領域を対象領域３０として検出してもよい。ルールに基づく物体検出技術は、例えば、T. D'Orazio, M. Leo, P. Spagnolo, M. Nitti, N. Mosca, A. Distante, “Avisual system for real time detection of goal events during soccer matches”に示されている。

図２には、検出部１２によって検出された対象領域３０の一例であるゴール対象領域３２及びボール対象領域３４が、バウンディングボックスとして画像２０内に示されている。バウンディングボックス（Ｂｏｕｎｄｉｎｇ Ｂｏｘ）とは、画像２０内の検出対象に外接するように検出された矩形の枠である。対象領域３０は、例えば、バウンディングボックスと同様、各検出対象に外接するように各検出対象を囲んで検出される。検出部１２によって画像２０に検出される対象領域３０は、例えば、画像幅の方向に沿った幅、及び、画像高さの方向に沿った高さ、を有する矩形状をなしている。

検出部１２は、例えば、各対象領域３０の位置を示す座標、各対象領域３０の一辺の長さ、及び各対象領域３０の面積のそれぞれを、各対象領域３０内の検出対象の座標、一辺の長さ及び面積のそれぞれとして検出する。対象領域３０の位置を示す座標は、例えば、画像２０の左下の角部を原点とし、画像幅の方向をｘ座標、画像高さの方向をｙ座標として検出される。対象領域３０の位置を示す座標は、例えば、対象領域３０の中心の座標である。以下、対象領域３０の位置を示す座標を、単に「座標」と記載する場合がある。検出部１２は、各画像２０において検出された各対象領域３０の座標、一辺の長さ及び面積を各対象領域３０に関する情報として、画像２０ごとに記憶部１６に記憶させる。

なお、撮像部のコートの側方における位置、撮像する向き、画角及び拡大率が固定されている場合、位置決めされて配置されているゴール２２が各画像２０において同一の位置に映り込む。このため、検出部１２は、動画像内の任意の１又は複数の画像２０のみでゴール対象領域３２を検出し、すべての画像２０でゴール対象領域３２を検出しなくてもよい。検出部１２は、各画像２０に共通のゴール対象領域３２の座標、一辺の長さ及び面積を記憶部１６に記憶させる。また、位置決めされて配置されているゴール２２が各画像２０において同一の位置に映り込む場合、記憶部１６においてゴール２２又はゴール対象領域３２の座標、一辺の長さ及び面積が予め記憶されていてもよい。この場合、検出部１２は、各画像２０においてゴール対象領域３２を検出しなくてもよい。

最初に、シュート推定システム１０において、第１距離に基づきシュートシーンを推定する機能を説明する。検出部１２は、取得部１１によって取得された動画像を構成する各画像２０において、ゴール２２の位置とボール２４の位置との距離である第１距離ｄ_１を検出する。例えば、検出部１２は、各画像２０において、ゴール対象領域３２の座標（ｘ_ｇ，ｙ_ｇ）とボール対象領域３４の座標（ｘ_ｂ，ｙ_ｂ）との間の距離を第１距離ｄ_１として検出する。検出部１２は、各画像２０における第１距離ｄ_１を記憶部１６に記憶させる。

導出部１３は、動画像内におけるボール２４の動き及び位置の少なくとも一方の物理量を導出する機能部である。図２に示すように、導出部１３は、例えば、ボールの位置の物理量として各画像２０内におけるボール２４の高さｈを導出する。導出部１３は、例えば、検出部１２において検出された画像２０内のボール２４の位置に基づき、ボール２４の高さｈを導出する。導出部１３は、例えば、ボール２４の高さｈとして、画像２０の底辺からボール対象領域３４の中心までの画像高さ方向の長さを導出する。導出部１３は、例えば、ボール２４の高さｈとして、ボール対象領域３４のｙ座標の値を採用してもよい。導出部１３は、各画像２０におけるボール２４の高さｈを記憶部１６に記憶させる。

第１推定部１４は、第１距離ｄ_１に基づき、シュートに係る第１のタイミングを推定する機能部である。第１のタイミングとは、シュートごとに生じるタイミングである。第１のタイミングとは、例えば、動画像内においてシュートによりボール２４がゴール２２に最接近しているタイミングである。この場合、第１推定部１４は、具体的には、以下のように第１のタイミングを推定する。

第１推定部１４は、検出部１２により検出された各画像２０に対応する第１距離ｄ_１を記憶部１６から取得する。図３のグラフ４０は、動画像内の第１距離に基づく値を時系列順にプロットしたグラフである。図３のグラフ４０において、縦軸は第１距離ｄ_１であり、横方向は動画像の撮像開始時間からの時刻である。選手２６によるシュート等のイベントが発生するため、図３のグラフ４０に示すように、時刻の経過に伴い、ゴール２２とボール２４との間の距離である第１距離ｄ_１が変化する。

第１推定部１４は、動画像の開始時間から時系列順に並ぶ各画像２０に対応する第１距離ｄ_１が極小となり、かつ、第１距離ｄ_１が予め定められた閾値Ｄ_１以下となる第１特徴点４２を抽出する。ある画像２０における第１距離ｄ_１が極小となる場合とは、当該画像２０の前後の画像２０よりも当該画像２０の方が、ボール２４がゴール２２に近接している状態であることを示す。閾値Ｄ_１は、例えば、シュート推定システム１０を使用するユーザにより入力部（不図示）を通じて設定される。第１距離ｄ_１が閾値Ｄ_１以下となる場合とは、ボール２４がゴール２２から所定の距離以下の範囲内に位置している状態を示す。すなわち、第１特徴点４２は、ボール２４がゴール２２から所定の閾値Ｄ_１以下の範囲内に位置し、ボール２４がゴール２２に近接している状態を示す。第１推定部１４は、例えば、動画像内で複数の第１特徴点４２ａ，４２ｂ，４２ｃを抽出する。第１推定部１４は、第１のタイミングとして、第１特徴点４２ａ，４２ｂ，４２ｃにおける動画像の時刻であるｔａ_１，ｔｂ_１，ｔｃ_１を推定する。第１推定部１４は、第１のタイミングｔａ_１，ｔｂ_１，ｔｃ_１を記憶部１６に記憶させる。

第２推定部１５は、第１のタイミングｔａ_１，ｔｂ_１，ｔｃ_１及び導出部１３から導出された物理量に基づき、シュートに係る第２のタイミングを推定する。第２のタイミングとは、シュートごとに生じるタイミングである。第２のタイミングとは、例えば、動画像内においてシュートを行ったタイミング、即ち、選手２６によりシュートが放たれたタイミングである。この場合、第２推定部１５は、具体的には、以下のように第２のタイミングを推定する。

第２推定部１５は、検出部１２により検出された各画像２０に対応するボール２４の高さｈを記憶部１６から取得する。図３のグラフ５０は、動画像内のボールの高さに基づく値を時系列順にプロットしたグラフである。図３のグラフ５０において、縦軸はボール２４の高さｈであり、横方向は動画像の撮像開始時間からの時刻である。選手２６によるシュート等のイベントが発生するため、図３のグラフ５０に示すように、時刻の経過に伴い、ボール２４の高さｈが変化する。

ゴール２２に向かってシュートが行われる場合、多くのシュートがゴール２２より下の場所で所定の選手２６からボール２４が離される（放たれる）ことで山なりのシュートが行われる。さらには、例えば、ゴール２２に向かってシュートを行う場合、シュートを行う選手２６はボール２４に力を加えるために下方向に溜めを作るため、当該選手２６が扱うボール２４の高さｈは小さくなる。そのため、シュートによりボール２４がゴール２２に到達する前において、少なくとも１回はプレー中にボール２４の高さｈが極小となるタイミングが生じうる。

このため、第２推定部１５は、第１のタイミングより前のタイミングであり、かつ、グラフ５０の中でボール２４の高さｈが極小となるタイミングをシュートに係る第２のタイミングとして推定する。第２のタイミングは、シュートによってボール２４がゴール２２に最接近しているタイミングである第１のタイミングより前であるため、シュートが所定の選手２６によって行われているタイミングであると推定される。第２のタイミングは、例えば、第１のタイミングの直前の、ボール２４の高さｈが極小値を取ったタイミングである。

第２推定部１５は、第１のタイミングｔａ_１，ｔｂ_１，ｔｃ_１のそれぞれより前のタイミングにおいて、グラフ５０の中でボール２４の高さｈが極小となる第２特徴点５２ａ，５２ｂ，５２ｃをそれぞれ抽出する。第２特徴点５２ａ，５２ｂ，５２ｃを抽出することで、所定の選手２６によるシュートに係るタイミングを取得することができる。第２推定部１５は、例えば、第２のタイミングとして、第２特徴点５２ａ，５２ｂ，５２ｃにおける動画像の時刻であるｔａ_２，ｔｂ_２，ｔｃ_２を取得する。第２推定部１５は、第２のタイミングｔａ_２，ｔｂ_２，ｔｃ_２を記憶部１６に記憶させる。

第２推定部１５は、第１のタイミングｔａ_１，ｔｂ_１，ｔｃ_１のそれぞれ及び第２のタイミングｔａ_２，ｔｂ_２，ｔｃ_２のそれぞれに基づき、各シュートシーンを推定する。第２推定部１５は、例えば、シュートシーンとしてｔａ_２からｔａ_１までの間のシーン、ｔｂ_２からｔｂ_１までの間のシーン、ｔｃ_２からｔｃ_１までの間のシーンをそれぞれ推定する。第２推定部１５は、第１推定部１４により推定された第１のタイミング（第２のタイミング）の数に応じた数のシュートシーンを推定する。第２推定部１５は、第１のタイミングｔａ_１，ｔｂ_１，ｔｃ_１より所定の時間だけ加算されたタイミングまでの動画像をシュートシーンとして推定してもよい。第２推定部１５は第２のタイミングｔａ_２，ｔｂ_２，ｔｃ_２より所定の時間だけ減算されたタイミングからの動画像をシュートシーンとして推定してもよい。以上、シュート推定システム１０において、シュートシーンの推定を行うことが可能な基本構成について記載した。

ここで、例えば撮像部の撮像する向きによっては、シュート推定システム１０は、第１距離ｄ_１のみでは動画像における手前−奥行方向（前後方向）の距離を適切に取得することができない場合がある。例えば、ボール２４がゴール２２から離れた位置に設けられた撮像部に近接し、ボール２４が画像２０内に大きく映り込むタイミングが起こりうる。このとき、当該タイミングにおける第１距離ｄ_１が極小値を取り、かつ、閾値Ｄ_１以下である場合、第１推定部１４は、当該タイミングを第１のタイミングとして推定する場合が生じうる。このように、実際の試合ではボール２４がゴール２２に接近するようなプレーではない場合であっても、上述の基本構成のみのシュート推定システム１０では、動画像に含まれる当該プレーがシュートシーンとして推定される可能性がある。上述の課題を解決するため、シュート推定システム１０は、第１距離ｄ_１及びボール２４の大きさに基づきシュートシーンを推定する機能を有していてもよい。以下、当該機能を説明する。

検出部１２は、取得部１１によって取得された動画像を構成する各画像２０において、ボール対象領域３４の大きさであるボール２４の大きさＡ_ｂを検出する。ボール対象領域３４の大きさは、例えば、ボール対象領域３４の一辺の長さ又は面積である。検出部１２は、各画像２０におけるボール２４の大きさＡ_ｂを記憶部１６に記憶させる。

第１推定部１４は、第１距離ｄ_１及びボール２４の大きさＡ_ｂに基づき、第１のタイミングを推定する。第１推定部１４は、記憶部１６から各画像２０に対応するボール２４の大きさＡ_ｂを取得する。選手２６によるシュート等のイベントが発生するため、時刻の経過に伴い、ボール２４の大きさＡ_ｂが変化する。具体的には、画像２０の手前側にボール２４がある場合は、ボール２４の大きさＡ_ｂは大きくなり、画像２０の奥側にボール２４がある場合は、ボール２４の大きさＡ_ｂは小さくなる。

このため、第１推定部１４が所定の大きさの範囲内に収まるボール２４の大きさＡ_ｂを検出したタイミング（時刻）を推定することは、撮像部からボール２４までの距離がゴール２２を含む所定の範囲内に収まっている状態の画像２０のタイミング（時刻）を推定することを意味する。第１推定部１４は、ボール２４の大きさＡ_ｂが閾値Ａ_１以上閾値Ａ_２以下となる大きさを計測したときの動画像の時刻を抽出する。閾値Ａ_１，Ａ_２は、例えば、シュート推定システム１０を使用するユーザにより入力部を通じてそれぞれ設定される。閾値Ａ_１は、例えば、ゴール２２にボール２４が最接近している状態におけるボール２４の大きさＡ_ｂ以下の値となるように設定される。閾値Ａ_２は、例えば、ゴール２２にボール２４が最接近している状態におけるボール２４の大きさＡ_ｂ以上の値となるように設定される。閾値Ａ_１は、画像２０の奥側において、ボール２４がゴール２２よりさらに奥側に位置する場合を除外するために設けられる。閾値Ａ_２は、画像２０の手前側において、ボール２４がゴール２２より手前側に位置する場合を除外するために設けられる。

第１推定部１４は、第１距離ｄ_１が極小値を取り、かつ、第１距離ｄ_１が閾値Ｄ_１以下であり、かつ、ボール２４の大きさＡ_ｂが閾値Ａ_１以上閾値Ａ_２以下である場合の動画像の時刻をシュートに係る第１のタイミングとして推定する。第１推定部１４は、例えば、極小値を取る第１距離ｄ_１が予め定められた閾値Ｄ_１以下となった特徴点の時刻が、動画像内でボール２４の大きさＡ_ｂが閾値Ａ_１以上閾値Ａ_２以下となる動画像の時刻に該当する場合に、当該特徴点を第１特徴点４２とし、当該第１特徴点４２の時刻を第１のタイミングと推定する。本実施形態では、上述の動画像の時刻ｔａ_１，ｔｂ_１，ｔｃ_１における第１距離ｄ_１が極小値を取り、かつ、第１距離ｄ_１が予め定められた閾値Ｄ_１以下であり、かつ、上述の動画像の時刻ｔａ_１，ｔｂ_１，ｔｃ_１におけるボール２４の大きさＡ_ｂが閾値Ａ_１以上閾値Ａ_２以下であったとする。以上、シュート推定システム１０において、シュートシーンを推定する構成について記載した。

また、シュート推定システム１０は、動画像内から各シュートシーンに対応するシュートを行った選手２６を推定する機能を有していてもよい。シュート推定システム１０は、シュートを行った選手２６を推定することで、例えば、選手２６ごとのシュートシーンを集めた動画集を作成することができる。シュート推定システム１０は、例えば、シュートを行った選手２６に付された番号を推定する機能を有する。選手２６に付された番号とは、例えば、選手２６が着用しているユニフォーム等の服飾の背、腕等に付された番号を指す。以下、選手２６に付された番号を単に、背番号と記載する場合がある。以下、当該機能を説明する。

図４に示すように、検出部１２は、動画像を構成する画像２０において、ボール２４及び選手２６を検出する。シュートを行った選手２６を推定するため、検出部１２は、第２のタイミングに撮像された画像２０におけるボール２４及び選手２６を検出する。検出部１２は、対象領域３０の一例である選手対象領域３６により選手２６を検出する。図４に示すように、画像２０内に複数の選手２６が映り込む場合、検出部１２は、各選手対象領域３６ｐ，３６ｑ，３６ｒ，３６ｓ，３６ｔ，３６ｕによって各選手２６ｐ，２６ｑ，２６ｒ，２６ｓ，２６ｔ，２６ｕを検出する。

検出部１２は、取得部１１によって取得された動画像を構成する画像２０において、ボール２４の位置とスポーツをプレーする選手２６の位置とに基づき第２距離ｄ_２を検出する。検出部１２は、取得部１１によって取得された動画像を構成する各画像２０において、ボール２４の位置とスポーツをプレーする選手２６の位置との距離である第２距離ｄ_２を検出する。例えば、検出部１２は、各画像２０において、ボール対象領域３４の座標（ｘ_ｂ，ｙ_ｂ）と各選手対象領域３６の座標（ｘ_ｐ，ｙ_ｐ），（ｘ_ｑ，ｙ_ｑ），（ｘ_ｒ，ｙ_ｒ），（ｘ_ｓ，ｙ_ｓ），（ｘ_ｔ，ｙ_ｔ），（ｘ_ｕ，ｙ_ｕ）との間の距離を第２距離ｄ_２ｐ，ｄ_２ｑ，ｄ_２ｒ，ｄ_２ｓ，ｄ_２ｔ，ｄ_２ｕとして検出する。検出部１２は、各画像２０における各第２距離ｄ_２を記憶部１６に記憶させる。

第２推定部１５は、第２のタイミング及び検出部１２により検出された各第２距離ｄ_２に基づき、スポーツをプレーする複数の選手２６のうち、シュートを行った選手２６を推定する。シュートが放たれた時点である第２のタイミングにおいては、ボール２４との距離が他の選手２６より小さい選手２６がシュートを行ったと推定される。このため、第２推定部１５は、画像２０において検出された各第２距離ｄ_２ｐ，ｄ_２ｑ，ｄ_２ｒ，ｄ_２ｓ，ｄ_２ｔ，ｄ_２ｕのうち、最小の第２距離ｄ_２（図４ではｄ_２ｐ）を有する選手２６（図４では選手２６ｐ）がシュートを行ったと推定する。このため、第２推定部１５は、各第２のタイミングｔａ_２，ｔｂ_２，ｔｃ_２において第２距離ｄ_２が最小となる選手２６を、各第２のタイミングｔａ_２，ｔｂ_２，ｔｃ_２におけるシュートを行った選手２６として推定することができる。

このとき、導出部１３は、例えば、第２のタイミングにおける画像２０内のシュートを行った選手２６に付された背番号を導出してもよい。導出部１３は、従来の物体検出技術を用いて、シュートを行った選手２６に付された背番号を導出する。なお、シュート推定システム１０は、動画像におけるシュートを行った選手２６の推定を背番号ではなく従来の顔検出技術を用いて行ってもよい。以上、シュート推定システム１０において、シュートを行った選手２６を推定する構成について記載した。

さらに、シュート推定システム１０は、動画像内から各シュートシーンに対応するシュートを行った選手２６が所属するチームを推定する機能を有していてもよい。シュート推定システム１０は、シュートを行った選手２６が所属するチームを推定することで、例えば、選手２６が所属するチームごとのシュートシーンを集めた動画集を作成することができる。シュート推定システム１０は、例えばシュートを行った選手２６が所属するチームのチーム名を推定する機能を有する。以下、当該機能を説明する。

導出部１３は、動画像内における各選手２６の外観に係る特徴量を導出する。導出部１３は、従来の物体検出技術を用いて、シュートを行った選手２６もシュートを行っていない選手２６も含めて各選手２６の外観に係る特徴量を導出する。選手２６の外観とは、例えば、スポーツ時に選手２６が着用しているユニフォーム等の服飾を指す。選手２６の外観に係る特徴量とは、例えば、選手２６の服飾の彩度、輝度、色相といった色情報などを指す。以下、選手２６の外観に係る特徴量を単に、特徴量と記載する。

導出部１３は、例えば、動画像内における各選手２６に付された背番号を導出する。導出部１３は、従来の物体検出技術を用いて、各選手２６に付された背番号を導出する。

導出部１３は、例えば、シュートを行った選手２６が映り込んでいる第２のタイミングの１枚の画像を用いて上述の処理を行う。導出部１３は、例えば、第２のタイミングの画像２０と第２のタイミングの前又は後の画像２０との複数の画像２０を用いて上述の処理を行ってもよい。本実施形態では、導出部１３は、例えば、あるシュートに対応する第２のタイミングにおける１枚の画像２０を用いて上述の処理を行う。導出部１３は、記憶部１６に記憶された各選手２６を囲む各選手対象領域３６を参照して、画像２０の各選手対象領域３６内において認識可能な特徴量及び背番号を導出する。

なお、導出部１３は、１枚の画像２０において各選手２６の少なくとも１人の特徴量又は背番号を導出できなかった場合、導出部１３は、例えば、第２のタイミング前後の複数の画像２０を用いて、各選手２６のトラッキングを行ってもよい。導出部１３は、従来のトラッキング技術を利用して、各選手２６のトラッキングを行う。従来のトラッキング技術は、例えば、Alex Bewley, “Simple, online, and realtime tracking of multipleobjects in a video sequence.”に示されている。導出部１３は、各選手２６のトラッキングにより、第２のタイミングにおける画像２０の各選手２６が当該画像２０の前又は後の画像２０においてどの位置に移動した選手２６かを推定する。これにより、第２のタイミングにおける画像２０において認識できなかった選手２６の特徴量又は背番号が当該画像２０の前又は後の画像２０において認識できた場合、導出部１３は、第２のタイミングにおける画像２０の当該選手２６の特徴量又は背番号として導出する。導出部１３は、導出された選手２６の特徴量及び背番号を記憶部１６に記憶させる。なお、トラッキング技術により、シュートを行った選手２６をトラッキングできる場合、導出部１３は、第２のタイミングにおける画像２０ではなく他の時刻における１枚の画像２０を用いて特徴量及び背番号を導出してもよい。

まず、一例として、記憶部１６において、特徴量の一例であるユニフォームの色相が予め記憶されている場合を説明する。なお、この例では、動画像に映ったスポーツをプレーするチームが２つであり、ユニフォームの色はそれぞれに対応する異なる２色であるとする。

導出部１３が導出する第２のタイミングにおける１枚の画像２０の選手２６の色相は、スポーツが行われる会場の照明の条件、動画像の撮像条件、選手２６の動き、選手２６の位置などによって異なる。このため、ある画像２０から取得したある選手２６の色相の値（例えば、ＲＧＢ値）は、記憶されているユニフォームの２つの色相の値とはそれぞれ異なる可能性がある。

例えば、記憶されているユニフォームの２つの色相の値が互いに大きく異なる場合、第２推定部１５は、選手２６から取得された色相の値と、記憶されているユニフォームの２つの色相の値とのそれぞれの差分の大小を比較することで選手２６が着用しているユニフォームの色相を推定する。例えば、第２推定部１５は、選手２６から取得された色相の値と記憶されているユニフォームの２つの色相の値とのそれぞれの差分のうち、小さい差分を算出した方の記憶されているユニフォームの色相を当該選手２６のユニフォームの色相だと推定する。

例えば、記憶されているユニフォームの２つの色相の値が互いに大きく異ならない場合等、画像２０より取得された各選手２６のユニフォームの色相の値によっては、誤って違うユニフォームの色相に該当すると推定される場合がある。このような場合、第２推定部１５は、各選手２６のユニフォームの色相を識別するため、画像２０から取得された各選手２６の色相の値をクラスタリングする。第２推定部１５のクラスタリングには、従来のクラスタリング技術が用いられる。従来のクラスタリング技術とは、例えば、k-means法又は階層的クラスタリングである。第２推定部１５は、クラスタリングにより各選手２６の色相の値を２つのチームに対応するように２つのクラスタに分ける。第２推定部１５は、クラスタリングによりに分かれた集団（クラスタ）の色相の平均値を算出する。第２推定部１５は、算出されたクラスタの色相の平均値と、記憶されているユニフォームの２つの色相の値とのそれぞれの差分の大小を比較することで、クラスタに属する選手２６が着用しているユニフォームの色相を推定する。例えば、第２推定部１５は、クラスタの色相の平均値と記憶されているユニフォームの２つの色相の値とのそれぞれの差分のうち、小さい差分を算出した方の記憶されているユニフォームの色相を当該クラスタに属する選手２６のユニフォームの色相であると推定する。

第２推定部１５は、上述した選手２６のユニフォームの色相の推定処理により、クラスタ内に包含されるシュートを行った選手２６のユニフォームの色相を推定することができる。第２推定部１５においてユニフォームの色相とチームの情報との関係性が記憶部１６に予め記憶されている場合、第２推定部１５は、シュートを行った選手２６が所属するチームの情報を推定することができる。チームの情報とは、例えば、チーム名（後述の「Ａ」、「Ｂ」）である。

次に、一例として、記憶部１６において、チーム毎に各選手２６の背番号が予め記憶されている場合を説明する。なお、この例では、動画像に映ったスポーツをプレーするチームが２つであり、ユニフォームの色はそれぞれに対応する２色であるとする。

第２推定部１５は、導出部１３により導出された背番号を記憶部１６から取得する。記憶部１６に記憶された全選手の背番号が重複しない数字で構成されている場合、第２推定部１５は、導出部１３により導出されたシュートを行った選手２６の背番号を記憶部１６にチームごとに予め記憶されている背番号の情報と突き合わせる。第２推定部１５は、突き合わせたシュートを行った選手２６の背番号が含まれるチームをシュートを行った選手２６が所属するチームとして推定する。

記憶部１６に記憶された各選手２６の背番号が一部重複する数字で構成されている場合を説明する。この場合、例えば、記憶された２つのチームの背番号の情報において、一方のチームの少なくとも１人の選手２６を除く選手２６の番号が、他方のチームの少なくとも１人の選手２６を除く選手２６の番号と互いに一致している。例えば、スポーツとして３×３を挙げると、２つのチームＡ，Ｂに所属する選手２６はそれぞれ３人である。例えば、チームＡに所属する選手２６の背番号を「１０」、「１１」、「１２」とし、チームＢに所属する選手２６の背番号を「３」、「９」、「１２」とする。この場合、チームＡ，Ｂにおいて、背番号「１２」が一致している。

第２推定部１５は、導出部１３により第２のタイミングにおける画像２０から導出された各選手２６のユニフォームの色相によりクラスタリングする。第２推定部１５は、当該クラスタリングを上述したクラスタリングと同様の手法で行う。第２推定部１５は、クラスタリングを行う場合、導出部１３が導出した特徴量であるユニフォームの色相及び背番号を選手２６ごとに対応付けて行う。

第２推定部１５は、クラスタリングによりに分かれた２つのクラスタにおいて、各クラスタに属する各選手２６の背番号を抽出する。第２推定部１５は、クラスタから抽出された背番号と、記憶されたチームの背番号の情報とを突き合わせることで、クラスタが２つのチームのうちどちらのチームに該当するかを推定する。例えば、第２推定部１５は、一方のクラスタ内の背番号が「１０」、「１１」、「１２」であった場合、記憶部１６に記憶されたチーム及び背番号当該クラスタをチームＡと推定する。同様に、第２推定部１５は、他方のクラスタ内の背番号が「３」、「９」、「１２」であった場合、当該クラスタをチームＢと推定する。

このように、記憶された２つのチームの背番号の情報は、それぞれのチームに背番号が異なる選手２６が所属していることから、第２推定部１５は、一方のクラスタがいずれのチームに該当するかを区別することができる。第２推定部１５は、シュートを行った選手２６の背番号を推定していた場合、選手２６の背番号とクラスタから抽出された背番号とを対応させ、当該クラスタから推定されたチーム名とを対応させることで、当該選手２６が所属するチームを推定することができる。第２推定部１５は、シュートを行った選手２６の背番号、及びシュートを行った選手２６が所属するチームを記憶部１６に記憶させる。以上、シュート推定システム１０において、シュートを行った選手２６が所属するチームの推定を行う構成について記載した。

シュート推定システム１０は、上述の推定により得られた情報を出力することで、ユーザにシュートシーンに係る情報を提供することができる。第１推定部１４又は第２推定部１５は、第１のタイミングに係る情報を出力する。第２推定部１５は、第２のタイミングに係る情報を出力する。第２推定部１５は、第１のタイミング及び第２のタイミングに基づくシュートシーンに係る情報を出力する。第２推定部１５は、シュートシーンに係る情報として、例えば、シュートを行った選手２６が所属するチーム及びシュートを行った選手２６の背番号を出力する。第２推定部１５は、出力として、例えば、動画集を作成する外部の装置に上述の推定により得られた情報を送信してもよく、外部の表示装置に上述の推定により得られた情報を表示させてもよい。なお、第２推定部１５の出力の態様は、上記に限らず任意の態様で行われてもよい。

第２推定部１５は、例えば、図５に示すようなシュートシーンに係る情報をまとめた表を出力する。図５に示す表中の「開始タイミング」とは、第２のタイミングに基づくタイミングの欄を示す。「開始タイミング」の欄には、第２のタイミングを出力してもよいし、第２のタイミングから所定の時間だけ前の時刻を出力してもよい。図５に示す表中の「終了タイミング」とは、第１のタイミングに基づくタイミングの欄を示す。「終了タイミング」の欄には、第１のタイミングを出力してもよいし、第１のタイミングから所定の時間だけ後のタイミングを出力してもよい。図５に示す表中のＸ，Ｙは、動画像の時刻を表す数値を示す。このように、第２推定部１５は、出力部を通じて、第１のタイミング及び第２のタイミングに基づき、動画像内におけるシュートシーンの時刻を出力することができる。

第２推定部１５は、出力部を通じて、上述したシュートシーンに係る情報として、シュートを行った選手２６の情報を出力することができる。例えば、第２推定部１５は、出力部を通じて、シュートを行った選手２６が所属するチーム、又はシュートを行った選手２６の背番号を出力する。図５に示す表中の「チーム」は、シュートを行った選手２６が所属するチーム名を示す欄である。図５に示す表中の「選手」は、シュートを行った選手２６の背番号を示す欄である。以上が、本実施形態に係るシュート推定システム１０の機能である。

引き続いて、図６のフローチャートを用いて、本実施形態に係るシュート推定システム１０で実行される処理（シュート推定システム１０が行う動作方法）を説明する。本処理では、まず、取得部１１によって、シュートシーンの検出対象となるスポーツの動画像（動画像データ）が取得される（Ｓ１）。続いて、検出部１２によって、動画像を構成するすべての画像２０において、動画像データからゴール２２の位置とボール２４の位置とが検出される（Ｓ２）。続いて、検出部１２によって、動画像を構成するすべての画像２０において、第１距離ｄ_１が検出される（Ｓ３）。

続いて、導出部１３によって、動画像を構成するすべての画像２０において、物理量としてボール２４の高さｈが導出される（Ｓ４）。続いて、第１推定部１４によって、第１距離ｄ_１に基づき、動画像におけるシュートに係る第１のタイミングを推定する（Ｓ５）。続いて、第２推定部１５によって、第１のタイミング及びボール２４の高さｈに基づき、動画像におけるシュートに係る第２のタイミングを推定する（Ｓ６）。続いて、第２推定部１５は、第１のタイミング及び第２のタイミングに基づき、動画像におけるすべてのシュートシーンを推定する（Ｓ７）。これらの処理により、シュート推定システム１０は、第１のタイミング、第２のタイミング及びシュートシーンを推定することができる。

なお、検出処理（Ｓ３）において、ボールの大きさＡ_ｂが検出されてもよい。このとき、第１推定処理（Ｓ５）において、第１距離ｄ_１及びボールの大きさＡ_ｂに基づき、第１のタイミングを推定してもよい。

また、検出処理（Ｓ３）において、第２距離ｄ_２が検出されてもよい。このとき、第２推定処理（Ｓ６）以降の処理において、シュートを行った選手２６に係る推定処理を行ってもよい。例えば、シュートシーン推定処理（Ｓ７）以降に、当該推定処理が行われるとすると、第２推定部１５は、第２のタイミング及び第２距離ｄ_２に基づき、シュートを行った選手２６を推定する（Ｓ８）。続いて、第２推定部１５は、シュートを行った選手２６が所属するチームを推定する（Ｓ９）。なお、シュートシーン推定処理（Ｓ７）、選手推定処理（Ｓ８）、及び情報取得処理（Ｓ９）は、それぞれ必ずしも行われる必要はない。シュートシーン推定処理（Ｓ７）は、第２のタイミング推定処理（Ｓ６）以降であればいつ行われてもよい。

本実施形態では、動画像からシュートのシーンを適切に推定することができる。上述したように、シュートが行われた時点（選手からボールが放たれた時点）からシュートによりボールがゴールに最接近した時点までの時間は、シュートごとに異なる。このため、シュートによりボールがゴールに最接近した時点からある一定の時間だけ前の時間をシュートが行われた時点とすることは、シュートが行われた時点を適切に推定したことにはならない。シュートによりボールがゴールに最接近した時点までの時間からある一定の時間だけ前の時間をシュートシーンの開始時間とすることは、バスケットボール、サッカー、ホッケー、ハンドボール等のシュートが行われるスポーツのシュートシーンの検出には適していない。その一方で、導出部１３により導出される物理量は、シュートシーンに応じたものとなっている。当該物理量を用いることで本実施形態によれば、第１のタイミングからある一定の時間を減じて第２のタイミング及びシュートシーンを推定する場合と比べて、第２のタイミング及びシュートシーンを適切に検出することができる。シュートシーンを動画像から推定することで、例えばシュートシーンだけを集めた動画集を作成することができる。

また、上述した実施形態のように第２推定部は、第２のタイミングとして、第１のタイミングより前のタイミングであり、スポーツをプレーする選手２６によってシュートが行われたタイミングを推定してもよい。これらの構成によれば、第２のタイミングを推定するときに用いられる物理量はシュート以外の動作でも変化する場合があるため、第１のタイミングより前のタイミングをシュートに係る第２のタイミングとすることでより適切に第２のタイミングを推定することができる。

また、上述した実施形態のように動画像内におけるボール２４の大きさＡ_ｂを検出し、第１推定部１４は、第１距離ｄ_１とボール２４の大きさＡ_ｂとに基づき、第１のタイミングを推定してもよい。これらの構成によれば、第１推定部１４は、第１距離ｄ_１とボール２４の大きさＡ_ｂとを用いることで、画像２０の手前−奥行方向（前後方向）において、ゴール２２に向けて行われたシュートを適切に推定することができる。第１推定部１４は、第１距離ｄ_１とボール２４の大きさＡ_ｂとを用いることで、シュートの誤検出を抑制することができる。

また、上述した実施形態のように導出部１３は、物理量として、動画像内におけるボール２４の高さｈを導出してもよい。導出部１３は、各画像２０から容易に物理量としてボール２４の高さｈを取得することができる。特にスポーツがバスケットボールの場合、第２推定部１５は、第１のタイミング及びボール２４の高さｈを用いて第２のタイミングを推定することができる。

また、上述した実施形態のように検出部１２は、スポーツをプレーする選手２６とボール２４との間の距離である第２距離ｄ_２を検出し、第２推定部１５は、第２のタイミング及び第２距離ｄ_２に基づき、スポーツをプレーする１または複数の選手２６のうち、シュートを行った選手２６を推定してもよい。これらの構成によれば、検出部１２により第２距離ｄ_２が検出されることで、第２推定部１５は、シュートが行われた第２のタイミングに加えて、シュートを行った選手を推定することができる。

また、上述した実施形態のように導出部１３は、動画像内における選手２６の外観に係る特徴量を導出し、第２推定部１５は、特徴量に基づいてクラスタリングすることでシュートを行った選手２６が所属するチームを推定してもよい。これらの構成によれば、第２推定部１５は、さらに、シュートを行った選手２６が所属するチームを推定することができる。

なお、上述した実施形態に係る手法を従来の動画像を用いる手法と組み合わせてシュートシーンを検出してもよい。また、検出部１２は、ボール２４の高さｈを画像２０の上辺からの長さとして検出してもよい。この場合、第２推定部１５は、ボール２４の高さｈの極大点のタイミングを抽出すればよい。ゴール２２は、画像２０内に映り込んでいなくてもよい。この場合、画像２０に対して所定の座標位置に位置することが記憶部１６に記憶されていればよい。画像２０外に検出されたゴール対象領域３２の座標は、例えば、入力部を通じて記憶部１６に記憶される。このとき、検出部１２は、ゴール２２を含むゴール対象領域３２の座標を用いて、第１距離ｄ_１を検出してもよい。

導出部１３は、ボール２４の動きの物理量としてボール２４の加速度の大きさを導出してもよい。この場合、スポーツとして、例えば、バスケットボール、サッカー、ホッケー、ハンドボール等に適用できる。例えば、ボール２４の加速度は、シュートが放たれたタイミング（第２のタイミング）において極大となり、シュートがゴールに最接近するタイミング（第１のタイミング）に近づくにつれ、重力、空気抵抗等によりボール２４の加速度は減少する。

以下、導出部１３における加速度の導出方法の一例を説明する。導出部１３は、第１のタイミングより前に１枚の画像ごとに遡って、動画像における少なくとも３枚以上の画像２０から画像２０が撮像された時点の加速度を算出する。まず、導出部１３は、時間的に連続した２枚の画像２０におけるボール２４の位置から距離を導出し、動画像における画像２０の撮像間隔で当該距離を除することで、ボール２４の速さを導出する。当該ボール２４の速さは、例えば、時間的に連続した２枚の画像２０のうち、前の画像２０におけるボール２４の速さとする。導出部１３は、時間的に連続した２枚の画像２０間のボール２４の速さを動画像内の複数の画像２０においてそれぞれ導出する。次に、導出部１３は、時間的に連続した３枚の画像２０間からボール２４の速さの変化量を導出し、動画像における画像２０の撮像間隔で当該変化量を除することで、ボール２４の加速度を導出する。当該ボール２４の加速度は、例えば、時間的に連続した３枚の画像２０のうち、最初の画像２０におけるボール２４の加速度とする。導出部１３は、ボール２４の加速度が極大値を取るまで第１のタイミングより前に１枚の画像ごとに遡って、ボール２４の加速度を導出する。導出部１３は、上記以外の従来の方法でボール２４の加速度を導出してもよい。導出部１３は、従来の方法で、画像２０から３次元空間におけるボール２４の加速度を導出してもよい。

第１のタイミングより前のタイミングであって、第１のタイミングから順に遡って、最初にボール２４の加速度が極大となるタイミングが、シュートが行われたタイミングであると推定される。このため、第２推定部１５は、上述の方法により導出されたボール２４の加速度の大きさが極大値を取るときを第２のタイミングとすることができる。なお、第２推定部１５は、ボール２４の加速度の大きさが閾値以上となるタイミングを第２のタイミングとしてもよい。このとき、第２推定部１５は、ボール２４の加速度の大きさが極大値となり、かつ、ボール２４の加速度の大きさが閾値以上となる場合を第２のタイミングとしてもよい。第２推定部１５は、ボール２４の加速度の大きさが極大値ではない場合であっても、ボール２４の加速度の大きさが閾値以上となる場合を第２のタイミングとしてもよい。

また、導出部１３は、ボール２４の動きの物理量としてボール２４の向きの変化量を導出してもよい。この場合、スポーツとして、例えば、サッカー、ホッケー、ハンドボール等に適用できる。例えば、ボール２４の向きの変化量は、例えば、ボール２４が移動する方向により算出される角度である。ボール２４が移動する方向により算出される角度とは、あるタイミングにおけるボール２４が移動する方向に延びる直線と、当該タイミングの直後にボール２４が移動する方向に延びる直線とによって形成される角度である。ボール２４が移動する方向が同一進行方向である場合、角度は例えば０度である。以下、ボール２４が移動する方向により算出される角度を、単にボール２４の角度として記載する。

上述のスポーツにおいて、多くのシュートにおけるボール２４の角度は、シュートが放たれたタイミング（第２のタイミング）以降は、シュートがゴールに最接近するタイミング（第１のタイミング）まで、シュートが放たれる前と比較して大きく変化しない。このため、第１のタイミングより前において、ボール２４の角度が変化するタイミングは、シュートが放たれたタイミングであると推定される。

以下、導出部１３におけるボール２４の角度の導出方法の一例を説明する。導出部１３は、第１のタイミングより前に１枚の画像ごとに遡って、動画像における少なくとも３枚以上の画像２０から画像２０が撮像された時点のボール２４の角度を算出する。導出部１３は、時間的に連続した２枚の画像２０におけるボール２４の位置からボール２４の移動方向を導出する。当該ボール２４の移動方向は、例えば、時間的に連続した２枚の画像２０のうち、前の画像２０におけるボール２４の移動方向とする。導出部１３は、時間的に連続した２枚の画像２０間のボール２４の移動方向を動画像内の複数の画像２０においてそれぞれ導出する。導出部１３は、時間的に連続した３枚の画像２０間からボール２４の移動方向の直線が形成する角度を導出することで、ボール２４の角度を導出する。当該ボール２４の角度は、例えば、時間的に連続した３枚の画像２０のうち、最初の画像２０におけるボール２４の角度とする。導出部１３は、ボール２４の角度が所定の閾値より大きくなるまで第１のタイミングより前に１枚の画像ごとに遡って、ボール２４の角度を導出する。導出部１３は、上記以外の従来の方法でボール２４の角度を導出してもよい。導出部１３は、従来の方法で、画像２０から３次元空間におけるボール２４の角度を導出してもよい。

第１のタイミングより前のタイミングであって、第１のタイミングから順に遡って、最初にボール２４の角度が所定の閾値より大きくなるタイミングが、シュートが行われたタイミングであると推定される。このため、第２推定部１５は、上述の方法により導出されたボール２４の角度が所定の閾値より大きいときを第２のタイミングとすることができる。

以上のように、導出部１３がボール２４の動きの物理量としてボール２４の加速度又はボール２４の角度を導出することで、シュート推定システム１０は第２のタイミングを正確に推定することができ、シュートシーンの誤推定を抑制することができる。特に、バスケットボールに比べてボール２４の高さｈがシュートに関連することが少ないスポーツの動画像、又はコートの大きさがボール２４の高さｈに比べて大きいスポーツの動画像において、シュート推定システム１０は、高さ方向以外の方向にも基づいたボール２４の加速度又はボール２４の角度によりシュートを推定することができる。

導出部１３は、ボール２４の位置の物理量としてボール２４とボール２４に最も近い選手２６との相対的な位置の物理量を導出してもよい。この場合、スポーツとして、例えば、バスケットボール、サッカー、ホッケー、ハンドボール等に適用できる。例えば、バスケットボールの多くのシュートは、ゴール２２より下方に位置する選手２６からゴール２２に向かってボール２４を投げ上げることで行われる。このように、バスケットボールのシュートにおいては高さ方向の指標に注目することから、ボール２４とボール２４に最も近い選手２６との相対的な位置の物理量として、例えば、当該選手２６に対するボール２４の相対的な高さを採用することができる。ボール２４に最も近い選手２６とは、例えば、第１のタイミングより前の画像２０において、第２距離ｄ_２の中で最も小さい第２距離ｄ_２に対応する選手２６を指す。以下、ボール２４に最も近い選手２６に対するボール２４の相対的な高さを単に「相対的な高さ」として記載する場合がある。

例えば、ゴール２２に向かって選手２６がシュートを行うタイミングにおいて、当該選手２６はボール２４を保持すること、又は当該選手２６はボール２４に力を加えるために下方向に溜めを作ることから、当該選手２６に対するボール２４の相対的な高さは小さくなり、所定の閾値以下となる。このため、第１のタイミングの直前において相対的な高さが所定の閾値以下であるとき、ボール２４に最も近い選手２６がシュートを放ったと推定される。これにより、第１のタイミングより前に１枚の画像ごとに遡って、ボール２４に最も近い選手２６に対するボール２４の相対的な高さが最初に所定の閾値以下となるタイミングを第２のタイミングとする。なお、第２のタイミング以降、シュートがゴール２２に最接近するタイミング（第１のタイミング）に近づくにつれ、ボール２４は選手２６からゴール２２に向かって移動するため、相対的な高さが増大する。

以下、導出部１３における相対的な高さの導出方法の一例を説明する。導出部１３は、第１のタイミングより前に１枚の画像ごとに遡って、順に検出部１２により検出された第２距離ｄ_２の中で最も小さい第２距離ｄ_２に対応する選手２６とボール２４との相対的な高さをそれぞれ導出する。導出部１３は、当該相対的な高さが所定の閾値以下となるまで第１のタイミングより前に１枚の画像ごとに遡って、当該相対的な高さを導出する。導出部１３は、第１のタイミングより前に１枚の画像ごとに遡って、全選手２６に対するボール２４の相対的な高さを導出してもよい。この場合、当該相対的な高さが所定の閾値以下を取るとき、所定の閾値以下の相対的な高さが導出された対象の選手２６が、全選手２６の中で第２距離ｄ_２の中で最も小さい第２距離ｄ_２に対応する選手２６であるとき、導出部１３は当該相対的な高さを導出する。導出部１３は、例えば、第２距離ｄ_２の中で最も小さい第２距離ｄ_２に対応する選手２６の座標と、ボール２４の座標とを取得し、相対的な高さを導出する。なお、導出部１３は、上記以外の従来の方法で相対的な高さを導出してもよい。

第１のタイミングより前のタイミングであって、第１のタイミングから順に遡って、最初に相対的な高さが所定の閾値より小さくなるタイミングが、シュートが行われたタイミングであると推定される。このため、第２推定部１５は、上述の方法により導出された相対的な高さが所定の閾値より小さくなるときを第２のタイミングとすることができる。

以上のように、導出部１３がボール２４の位置の物理量としてボール２４と選手２６との相対的な位置（高さ）を導出することで、シュート推定システム１０は第２のタイミングを正確に推定することができ、シュートシーンの誤推定を抑制することができる。特に、相対的な高さが導出されることで、バスケットボールにおいてドリブルを行った後にシュートを放つ場合などに、ドリブルのタイミングを第２のタイミングと誤推定することを抑制することができる。

導出部１３により導出される物理量として、スポーツのシュートの態様によって適宜他の物理量が用いられてもよい。第２推定部１５は、導出部１３により導出されたボール２４の高さｈ、ボール２４の加速度、ボール２４の角度、及び相対的な高さを含む複数の物理量のうち、少なくとも１つの物理量に基づき第２のタイミングを推定する。第２推定部１５は、導出部１３により導出された当該複数の物理量を組み合わせて第２のタイミングを推定してもよい。この場合、例えば、第２推定部１５は、各物理量を基準に推定された第２のタイミングが一致した場合に、当該第２のタイミングをシュート推定システム１０における第２のタイミングとして推定してもよい。また、例えば、第２推定部１５は、複数の物理量のうち、過半数の物理量を基準に推定された第２のタイミングが一致した場合に、当該過半数の物理量に基づき推定された第２のタイミングをシュート推定システム１０における第２のタイミングとして推定してもよい。

シュートシーンを含む動画像は、スポーツが行われるコートの側方から撮像されなくてもよい。この場合、当該動画像は、上方から撮像されてもよい。このとき、ボールの位置（高さ）は、ボールの大きさにより表される。スポーツが行われるコートに対する撮像部の位置、撮像する向き、画角及び拡大率は固定されていなくてもよい。この場合、例えば、撮像部は、スポーツが行われるコートに対してスポーツが行われている間、移動していてもよい。このとき、検出部１２は、ゴール２２の大きさを画像２０ごとに検出する。撮像部は、複数設けられてもよい。

シュート推定システム１０に適用する動画像を撮像する撮像部において、コートに対する撮像部の位置、撮像する向き、画角、拡大率等の撮像条件は、動画像によって異なってもよい。動画像によって撮像条件が異なるとは、例えば、撮像部が移動することで同一の動画像内において撮像条件が異なる場合、又は異なる撮像部により撮像されることで複数の動画像間において撮像条件が異なる場合がある。

この場合、第１推定部１４は、第１距離ｄ_１をゴール２２の大きさで除算した値である第１推定距離ｄ_１０を用いて第１のタイミングを推定してもよい。ゴール２２の大きさとは、例えば、検出部１２により検出されたゴール対象領域３２の面積又は一辺の長さである。第１推定部１４が第１距離ｄ_１をゴール２２の大きさで除算することで、規格化された第１推定距離ｄ_１０を得ることができる。これにより、シュート推定システム１０は、コートに対する撮像部の位置、撮像する向き、画角、拡大率等の撮像条件が異なる動画像において、第１推定距離ｄ_１０に対する共通の閾値Ｄ_１０を適用することができる。第１推定部１４は、例えば、時系列順に並ぶ第１推定距離ｄ_１０が極小となり、かつ、閾値Ｄ_１０以下となる特徴点の時刻を第１のタイミングとしてもよい。シュート推定システム１０は、第１推定処理（Ｓ５）において、第１推定距離ｄ_１０を算出してもよい。

また、第２推定部１５は、ボール２４の高さｈをゴール２２の大きさで除算した値である推定高さｈ_１０を用いて第２のタイミングを推定してもよい。第２推定部１５がボール２４の高さｈをゴール２２の大きさで除算することで、規格化された推定高さｈ_１０を得ることができる。これにより、シュート推定システム１０は、コートに対する撮像部の位置、撮像する向き、画角、拡大率等の撮像条件が異なる動画像において、推定高さｈ_１０に対する共通の閾値Ｂ_１０，Ｂ_２０を適用することができる。第２推定部１５は、例えば、時系列順に並ぶ推定高さｈ_１０が極小となり、かつ、閾値Ｂ_１０以上閾値Ｂ_２０以下となる特徴点の時刻を第２のタイミングとしてもよい。シュート推定システム１０は、第２推定処理（Ｓ６）において、推定高さｈ_１０を算出してもよい。第２推定部１５は、ボール２４の高さｈだけでなく、第２推定部１５の推定に用いられる他の物理量も、適宜、ゴール２２の大きさで除算した値である推定物理量を算出し、推定物理量を用いて第２のタイミングを推定してもよい。

第１推定部１４又は第２推定部１５は、第１推定距離ｄ_１０、推定高さｈ_１０及び推定物理量を計算するとき、ゴール２２の大きさではなくボール２４の大きさを用いてもよい。

なお、上記実施形態の説明に用いたブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。

機能には、判断、決定、判定、計算、算出、処理、導出、調査、探索、確認、受信、送信、出力、アクセス、解決、選択、選定、確立、比較、想定、期待、見做し、報知（broadcasting）、通知（notifying）、通信（communicating）、転送（forwarding）、構成（configuring）、再構成（reconfiguring）、割り当て（allocating、mapping）、割り振り（assigning）などがあるが、これらに限られない。たとえば、送信を機能させる機能ブロック（構成部）は、送信部（transmitting unit）や送信機（transmitter）と呼称される。いずれも、上述したとおり、実現方法は特に限定されない。

例えば、本開示の一実施の形態におけるシュート推定システム１０は、本開示の情報処理を行うコンピュータとして機能してもよい。図７は、本開示の一実施の形態に係るシュート推定システム１０のハードウェア構成の一例を示す図である。上述のシュート推定システム１０は、物理的には、プロセッサ１００１、メモリ１００２、ストレージ１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。
なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。シュート推定システム１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

シュート推定システム１０における各機能は、プロセッサ１００１、メモリ１００２などのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、メモリ１００２及びストレージ１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。
プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central Processing Unit）によって構成されてもよい。例えば、上述のシュート推定システム１０における各機能は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール、データなどを、ストレージ１００３及び通信装置１００４の少なくとも一方からメモリ１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、シュート推定システム１０における各機能は、メモリ１００２に格納され、プロセッサ１００１において動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリ１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つによって構成されてもよい。メモリ１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリ１００２は、本開示の一実施の形態に係る情報処理を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージ１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つによって構成されてもよい。ストレージ１００３は、補助記憶装置と呼ばれてもよい。記憶部１６は、例えば、メモリ１００２及びストレージ１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１、メモリ１００２などの各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、シュート推定システム１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

本開示において説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。

本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。

「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。

本開示において使用する「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。

本開示において使用する「第１の」、「第２の」などの呼称を使用した要素へのいかなる参照も、それらの要素の量又は順序を全般的に限定しない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本開示において使用され得る。したがって、第１及び第２の要素への参照は、２つの要素のみが採用され得ること、又は何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

本開示において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

１０…シュート推定システム、１１…取得部、１２…検出部、１３…導出部、１４…第１推定部、１５…第２推定部、１６…記憶部、１００１…プロセッサ、１００２…メモリ、１００３…ストレージ、１００４…通信装置、１００５…入力装置、１００６…出力装置、１００７…バス。

Claims (9)

1. ゴールに対してシュートが行われるスポーツに係る動画像を取得する取得部と、
   前記動画像内における前記ゴールとボールとの間の距離である第１距離を検出する検出部と、
   前記第１距離に基づき、前記シュートに係る第１のタイミングを推定する第１推定部と、
   前記動画像内における前記ボールの動き及び位置の少なくとも一方の物理量を導出する導出部と、
   前記第１のタイミング及び前記物理量に基づき、前記シュートに係る第２のタイミングを推定する第２推定部と、
   を備えるシュート推定システム。
2. 前記第２推定部は、前記第２のタイミングとして、前記第１のタイミングより前のタイミングであり、前記スポーツをプレーする選手によってシュートが行われたタイミングを推定する、請求項１に記載のシュート推定システム。
3. 前記検出部は、前記動画像内における前記ボールの大きさを検出し、
   前記第１推定部は、前記第１距離と前記ボールの大きさとに基づき、前記第１のタイミングを推定する、請求項１又は２に記載のシュート推定システム。
4. 前記導出部は、前記物理量として、前記動画像内における前記ボールの高さを導出する、請求項１〜３の何れか一項に記載のシュート推定システム。
5. 前記導出部は、前記物理量として、前記動画像内における前記ボールの加速度を導出する、請求項１〜４の何れか一項に記載のシュート推定システム。
6. 前記導出部は、前記物理量として、前記動画像内における前記ボールの向きの変化量を導出する、請求項１〜５の何れか一項に記載のシュート推定システム。
7. 前記検出部は、前記スポーツをプレーする選手と前記ボールとの間の距離である第２距離を検出し、
   前記導出部は、前記第２距離の中で最も小さい前記第２距離に対応する前記選手と前記ボールとの相対的な位置に関する前記物理量を導出する、請求項１〜６の何れか一項に記載のシュート推定システム。
8. 前記検出部は、前記スポーツをプレーする選手と前記ボールとの間の距離である第２距離を検出し、
   前記第２推定部は、前記第２のタイミング及び前記第２距離に基づき、前記スポーツをプレーする１または複数の選手のうち、前記シュートを行った選手を推定する、請求項１〜７の何れか一項に記載のシュート推定システム。
9. 前記導出部は、前記動画像内における前記選手の外観に係る特徴量を導出し、
   前記第２推定部は、前記特徴量に基づいてクラスタリングすることで前記シュートを行った選手が所属するチームを推定する、請求項８に記載のシュート推定システム。

Images