JP2023178888A - 判定装置、判定方法、及びプロググラム - Google Patents

Abstract

【課題】スポーツ映像からプレーの状態を判定する技術において、従来技術よりも処理負荷を削減する。
【解決手段】スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置であって、前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得部と、前記取得部により取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成部と、前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定部とを備える。
【選択図】図２

Description

本発明は、スポーツ映像（音声の有無は問わない）を入力とし、映像の各時刻において、プレー中であるか、プレー中ではないかを判定する技術に関連するものである。

以降、インプレー（in play）は、プレー中であることを意味し、アウトオブプレー（out of play）は、プレー中ではないことを意味する。また、ここでは、インプレーとアウトオブプレーのことを「プレーの状態」と呼び、プレーの状態がどちらであるかを判定することを「プレーの状態判定」と呼ぶ。

スポーツ映像からプレーの状態を判定する従来技術として、審判の笛の音を利用してプレーの状態判定を行う方法がある（非特許文献１）。しかし、この方法は、観客の声に紛れて笛の音が聞こえない場合や、元々の映像に音声情報がない場合には適用できない。また、笛の音を使用した場合でも、その笛がプレーの状態を変化させるために吹かれたものであるかどうかを、微小な音の変化から機械学習により判定する必要がある。このような機械学習による判定を行うためには、教師データを作成して学習を行うことが必要である。

他の従来技術として、切り出した静止画を1枚ずつConvolutional Neural Network (CNN)で特徴量に変換し、全結合層を通した後、Long Short Term Memory(LSTM)に入力することで各プレーの確率分布を算出してプレーの分類を行う方法や、選手とボールの位置情報に着目し空間的特徴量を求めた後、Conditional Random Field(CRF)、Support Vector Machine(SVM)、Random Forest(RF)といったモデルで分類する方法がある（非特許文献１、２）。

しかし、いずれの方法も教師あり学習を利用しているため、教師データの作成コストがかかるとともに、教師データを用いた学習のための処理負荷が大きい。

大内一成, 小林大祐, 中洲俊信, and 青木義満. ラグビー映像解析システムの開発. 電子情報通信学会論文誌B, Vol.J100-B(No.12), 2017. 今井友揮, 内山彰, 馬込卓弥, and 東野輝夫. サッカートラッキングデータを用いた機械学習に基づくプレー認識手法の提案. Technical Report 47, 大阪大学大学院情報科学研究科, 大阪大学大学院情報科学研究科, 大阪大学大学院医学系研究科, 大阪大学大学院情報科学研究科, feb 2018. Yifu Zhang, Chunyu Wang, Xinggang Wang, Wenjun Zeng, and Wenyu Liu. Fairmot: On the fairness of detection and re-identification in multiple object tracking. International Journal of Computer Vision, 129:3069-3087, 2021.

上記のとおり、スポーツ映像からプレーの状態を判定する従来技術では、教師データを用いたモデルの学習を行うことが必要であり、教師データ作成のコストが大きくなるとともに、教師データを用いた学習（特徴量作成等）のための処理負荷（解析時間等を含む）が大きいという課題があった。

本発明は上記の点に鑑みてなされたものであり、スポーツ映像からプレーの状態を判定する技術において、従来技術よりも処理負荷を削減するための技術を提供することを目的とする。

開示の技術によれば、スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置であって、
前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得部と、
前記取得部により取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成部と、
前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定部と
を備える判定装置が提供される。

開示の技術によれば、スポーツ映像からプレーの状態を判定する技術において、従来技術よりも処理負荷を削減することが可能になる。

インプレーとアウトオブプレーの画像の例を示す図である。 判定装置１００の構成図である。 判定装置１００の動作を説明するためのフローチャートである。 人物追跡の例を説明するための図である。 特徴量作成の手順を示すフローチャートである。 装置のハードウェア構成例を示す図である。

以下、図面を参照して本発明の実施の形態（本実施の形態）を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。

以下の実施の形態では、プレーの状態判定を行う対象として、ラグビーの試合を想定しているが、これは一例である。本発明に係る技術は、複数の選手がいるチーム同士で対戦するスポーツ全般（例えば、サッカー、バスケットボール、バレーボール）に適用することが可能である。

また、本発明に係る技術は、「複数の選手がいるチーム同士で対戦するスポーツ」以外のスポーツ（例えば、複数人で競争する陸上競技）にも適用可能である。

また、以下の例では、プレーの状態判定をインプレーかアウトオブプレーかのどちらかの判定としているが、プレーの状態判定として、「インプレーとアウトオブプレー」以外の状態が判定されてもよい。「インプレーとアウトオブプレー」以外の状態とは、インプレーとアウトオブプレーのいずれでもない状態であってもよいし、「インプレー」の中の状態であってもよいし、「アウトオブプレー」の中の状態であってもよい。

（プレーの状態判定について）
本実施の形態では、判定装置１００が、スポーツ映像から、映像の各フレーム（各画像）に対し、当該フレームがインプレー時の画像か、それともアウトオブプレー時の画像かを判定する。図１に、インプレー時の画像の例（図１（ａ））と、アウトオブプレー時の画像の例（図１（ｂ））を示す。

プレーの状態判定が可能になることで、例えば、スポーツ映像の中でインプレーの時間帯とアウトオブプレーの時間帯を自動で分けることができる。また同時に、プレーの状態が切り替わるタイミングについても知ることができる。

これにより、過去の試合映像からスカウティングを行う際の時間を短縮することができる。また、通常、プレーの再開は特定のセットプレーによって行われる。そのため、プレーの再開タイミングがわかることは、今後セットプレーの解析を行うためにも重要な役割を持つ。以上から、プレーの状態判定は、スポーツ映像解析において高い応用性を持つことがわかる。

以下、本実施の形態に係る判定装置１００の構成と動作を詳細に説明する。

（装置構成）
図２に、本実施の形態における判定装置１００の構成例を示す。図２に示すように、判定装置１００は、人物追跡部１１０、座標変換部１２０、チーム判定部１３０、特徴量作成部１４０、プレー状態判定部１５０を有する。なお、チーム判定部１３０を備えなくても、判定装置１００はプレー状態の判定を行うことが可能なため、チーム判定部１３０を備えないこととしてもよい。また、座標変換部１２０を「取得部」と呼んでもよい。

また、人物追跡部１１０を判定装置１００の外部に備えてもよい。この場合、人物追跡部１１０での人物追跡結果が判定装置１００に入力される。

（装置動作）
以下、上記の構成を備える判定装置１００の動作を、図３のフローチャートの手順に沿って説明する。

判定装置１００は、基本的に、映像を構成する各フレームに対して図３の手順を実行する。ただし、人物追跡部１１０、座標変換部１２０、チーム判定部１３０、特徴量作成部１４０、プレー状態判定部１５０はそれぞれ、複数のフレームに対する処理を行って、複数のフレームの処理結果を次の処理を行う機能部に渡してもよい（又は処理結果を外部に出力してもよい）。

また、判定装置１００は例えばコンピュータにより実装されるが、そのコンピュータにおける記憶部（メモリ等）に、入力映像、及び、各機能部による処理結果を記憶し、各機能部は、自身の処理時に、記憶部からデータを読み出すことで処理を進めてもよい。

また、本実施の形態におけるフレームには、タイムスタンプが付してあることを想定しており、各フレームの時刻（映像での時刻）は、そのタイムスタンプにより取得できる。よって、各フレームでの処理は、各時刻での処理でもある。

＜Ｓ１０１：映像入力＞
Ｓ１０１において、判定装置１００に、複数のフレームから構成される映像を入力する。この映像は、スポーツの試合を撮影した映像である。例えば、この映像は、ラグビーの試合をテレビカメラで撮影した映像である。

この映像は、予め映像を記録した映像データベースから読み出して入力してもよいし、リアルタイムに放送（あるいは配信）される映像を入力してもよい。なお、入力された映像は、判定装置１００における記憶部（メモリ等）に格納され、各機能部は任意のフレームの画像を参照できる。

＜Ｓ１０２：人物追跡＞
Ｓ１０２において、人物追跡部１１０が、入力された映像から人物追跡を行う。人物追跡を行う方法については様々な既存技術が存在するが、どの技術を使用してもよい。本実施の形態では、一例として、非特許文献３に開示された技術を用いている。

人物追跡部１１０は、映像を入力し、フレームごとに、選手のｉｄと選手を囲んだ枠（ｂｂｏｘ）を、検出できた選手の数だけ出力する。そのため、検出できた１人の選手に対して、選手ｉｄ、左上のｘ座標；ｌｅｆｔ、左上のｙ座標；ｔｏｐ、幅；ｗｉｄｔｈ、高さ；ｈｅｉｇｈｔの５つの値が得られる。

図４は、上記の枠を、画像（フレーム）に重畳した場合の図である。実際の画像では、例えば、選手のｉｄが当該選手を囲む枠の色に反映されている。選手ｉｄに関して、連続するフレームで同一人物であると判定できれば同じｉｄが振られるが、一度追跡できなくなると新しいｉｄが振られる。そのため、試合を通して１人の選手に対して同一のｉｄが割り振られるわけではない。

人物追跡部１１０から出力された情報（ｉｄ、ｌｅｆｔ、ｔｏｐ、ｗｉｄｔｈ、ｈｅｉｇｈｔ）は、座標変換部１２０に入力される。

＜Ｓ１０３：座標変換＞
Ｓ１０３において、座標変換部１２０が、画像内の追跡されている選手ごとに、選手を囲む４つの値ｌｅｆｔ、ｔｏｐ、ｗｉｄｔｈ、ｈｅｉｇｈｔを、フィールド（スポーツの競技場）で真上から見た際の位置座標に変換する。

まず、座標変換部１２０は、選手は接地しているという仮定のもと、その画像における選手の座標（ｘ，ｙ）を次のように定める。

その後、座標変換部１２０は、画像における２次元座標系の位置座標（ｘ，ｙ）を、フィールドを真上から見た平面の２次元座標系の位置座標（ｘ´，ｙ´）に変換する。この変換はホモグラフィ変換により、下記の式（２）で行うことができる。

上記の式で使用される変換行列は、基本的に、上記変換を行う対象の画像（フレーム）ごとに算出する。上記の変換行列は、定数倍に不定なのでｈ_２２を１として考えることができる。よって求める未知数は８つとなる。従って、変換前と変換後の４点の対応関係さえわかれば変換行列を求めることができる。例えば、座標変換部１２０は、フィールドにおける位置が既知の４点を使用することで変換行列を算出する。

座標変換部１２０は、ｉｄ、ｘ´、ｙ´を出力する。座標変換部１２０から出力された情報は、特徴量作成部１４０に入力される。

＜チーム判定＞
ここで、チーム判定部１３０の動作を説明する。チーム判定部１３０は、人物追跡部１１０により人物追跡をした際の出力を用いて、追跡されている各選手がどのチームに属しているかの判定を行う。

チーム判定の方法はどのような方法を用いてもよい。通常、チーム間で対戦するスポーツでは、選手が着用している衣服（ユニフォーム、ラグビーではジャージ）の色がチームごとに異なるので、本実施の形態のチーム判定部１３０は、衣服の色を用いてチーム判定を行っている
具体的には、チーム判定部１３０は、選手が存在していると判定された枠の中の衣服の色により、その選手が属するチームを判別する。その前提として、チーム判定部１３０は、例えば、映像のうち最初の数百枚のフレームを用いて、検出された衣服の色を、２チームと、それ以外（スタッフや審判）に分類する。

例えば、チーム判定部１３０は、最初の映像で、赤がチーム１、白がチーム２、それ以外の色をその他として分類し、その後の映像（各フレーム）で、追跡されている選手の衣服の色が赤であればその選手の属するチームをチーム１であると判定し、衣服の色が白であればその選手の属するチームをチーム２であると判定する。

チーム判定部１３０によるチーム判定結果（ｉｄ、チーム番号）は、特徴量作成部１４０に入力される。

＜Ｓ１０４：特徴量作成＞
Ｓ１０４において、特徴量作成部１４０が、各時刻（各フレーム）における各選手のフィールドにおける位置座標をもとに、インプレー／アウトオブプレーの分類に用いる特徴量を算出する。Ｓ１０４の処理内容を図５のフローチャートの手順に沿って説明する。ここでは、フィールドにおける位置座標を（ｘ，ｙ）で表す。

Ｓ１０４－１において、特徴量作成部１４０は、座標変換部１２０からの出力に基づき、各時刻（各フレーム）における、追跡できている各選手（ｉｄで識別される選手）の位置情報Ｐ（ｉ）を取得する。つまり、ここでは、位置情報に対し、時間で整理を行う。ｉは、フレームを示す。Ｐ（ｉ）は、下記の式（３）として示すとおりである。Ｐ（ｉ）は、フレームｉでの位置情報であるとともに、そのフレームの時刻での位置情報でもある。

式（３）において、（ｉｄ１，ｘ_ｉｄ１，ｙ_ｉｄ１）は、ｉｄ１の選手の位置が（ｘ_ｉｄ１，ｙ_ｉｄ１）であることを示す。他のｉｄについても同様である。

Ｓ１０４－２において、特徴量作成部１４０は、式（３）をｉｄについて整理し、各ｉｄについての、時刻ごとの位置情報である

を取得する。式（４）において、（ｔ１，ｘ_ｔ１，ｙ_ｔ１）は、時刻ｔ１での位置が（ｘ_ｔ１，ｙ_ｔ１）であることを示す。他の時刻についても同様である。

各ｉｄについての式（４）に示す情報を保持しておけば、ｉｄを与えることで追跡できている選手の連続した時刻の位置情報を取得することができる。特徴量作成部１４０は、ｉｄごとに、式（４）の時刻と位置情報とから、各時刻の速度と加速度を算出する。

上記の計算は、例えば中心差分を使用して行うことができる。式（５）において、（ｔ１，ｖｘ_ｔ１，ｖｙ_ｔ１）は、時刻ｔ１での速度が（ｖｘ_ｔ１，ｖｙ_ｔ１）であることを示す。他の時刻についても同様である。式（６）において、（ｔ１，ａｘ_ｔ１，ａｙ_ｔ１）は、時刻ｔ１での加速度が（ａｘ_ｔ１，ａｙ_ｔ１）であることを示す。他の時刻についても同様である。

Ｓ１０４－３において、特徴量作成部１４０は、追跡されている全選手についての式（６）を時間について整理し、時刻ごと（フレームｉごと）の、下記の式（７）に示す集合を取得する。

式（７）において、（ｉｄ１，ａｘ_ｉｄ１，ａｙ_ｉｄ１）は、ｉｄ１の選手の加速度が（ａｘ_ｉｄ１，ａｙ_ｉｄ１）であることを示す。他のｉｄについても同様である。

Ｓ１０４－４において、特徴量作成部１４０は、時刻ごと（フレームｉごと）に、追跡できている選手（つまり、ｉｄを持つ選手）の加速度の大きさの総和をとることで、集団の加速度の大きさを求める。このとき、加速度の大きさが閾値ａを超えていない選手は、上記総和に含めないこととしている。つまり、加速度の大きさが閾値ａを超えている選手のみの加速度の大きさの総和を求める。この計算は、条件の記号"｜"を用いて、「Σａ_Ｐ（ｉ）｜ａ_Ｐ（ｉ）＞ａ」と表すことができる。ａ_Ｐ（ｉ）は、ある選手ｉｄのフレームｉでの加速度の大きさであり、Σは、ｉｄでの総和を示す。閾値ａは、予め定めた値である。例えば、事前に複数の閾値ａを用いて実験を行って、適切な閾値ａを選択することとしてもよい。

なお、上記の例では、加速度の大きさの総和を「集団の加速度の大きさ」としているが、加速度の総和で得られた加速度の大きさを「集団の加速度の大きさ」としてもよい。この場合、「Σａ_Ｐ（ｉ）｜ａ_Ｐ（ｉ）＞ａ」におけるΣａ_Ｐ（ｉ）は、加速度の総和で得られた加速度の大きさである。例えば、（ａｘ_ｉｄ１，ａｙ_ｉｄ１）と（ａｘ_ｉｄ２，ａｙ_ｉｄ２）の総和は、（ａｘ_ｉｄ１＋ａｘ_ｉｄ２，ａｙ_ｉｄ１＋ａｙ_ｉｄ２）であり、その大きさは、ベクトル（ａｘ_ｉｄ１＋ａｘ_ｉｄ２，ａｙ_ｉｄ１＋ａｙ_ｉｄ２）の大きさである。「ａ_Ｐ（ｉ）＞ａ」は、加速度の大きさがａより大きいことを意味する。

そして、特徴量作成部１４０は、「集団の加速度の大きさ」を、検出できている人数（ｉｄを有する選手の数）を示すｎ（ｉ）で割ることで、以下の式（８）で表現されるプレーの状態判定に使用する指標Ｉ（ｉ）を算出する。なお、加速度の総和で得られた加速度の大きさを「集団の加速度の大きさ」とする場合、ｎ（ｉ）での除算を行わないこととしてもよい。

なお、上記の式（８）は一例である。集団の加速度の大きさを使用する式であれば式（８）以外の式を使用してもよい。例えば、「Σａ_Ｐ（ｉ）｜ａ_Ｐ（ｉ）＞ａ」を割る数として、予め定めた数（例：全選手の人数にある係数αをかけた数、０＜α＜１）を用いてもよい。

式（４）のように、ｉｄごとの、各時刻での位置情報から算出できる値であれば、集団の加速度の大きさ以外の値でも、指標Ｉ（ｉ）の計算に用いることができる。例えば、指標Ｉ（ｉ）の計算において、集団の加速度の大きさの代わりに、集団の速度の大きさを用いてもよい。集団の速度の大きさを計算するには、「集団の加速度の大きさ」の計算の説明における「加速度」を「速度」に置き換えればよい。

また、指標Ｉ（ｉ）の計算において、集団の加速度の大きさと集団の速度の大きさの両方を用いてもよい。

また、特徴量作成部１４０は、ある決められた加速度の大きさ以上の加速度を持つ選手の数を、追跡できている選手の数で割った値を指標Ｉ（ｉ）としてもよい。

また、チーム判定部１３０により得られたｉｄごとのチーム判定結果を、指標Ｉ（ｉ）の算出の中で用いてもよい。例えば、チームごとに集団の加速度の大きさを求め、集団の加速度の大きさが大きなほうのチームを攻撃側のチームと判断し、式（８）において、攻撃側のチームの選手のみで「Σａ_Ｐ（ｉ）｜ａ_Ｐ（ｉ）＞ａ」を算出し、ｎ（ｉ）を攻撃側のチームの選手数であるとしてもよい。

また、チームごとに集団の加速度の大きさを求め、集団の加速度の大きさが小さなほうのチームの選手の加速度の大きさの平均を求め、その加速度の大きさの平均を、式（８）の閾値ａとして用いてもよい。

＜Ｓ１０５：インプレー／アウトオブプレー分類＞
Ｓ１０５において、プレー状態判定部１５０は、特徴量作成部１４０により作成された指標Ｉ（ｉ）を用いてプレー状態判定を行う。すなわち、プレー状態判定部１５０は、フレームごと（時刻ごと）に、そのフレームの画像がインプレー時のものか、アウトオブプレー時のものかを判定する。

具体的には、下記の式（９）に示すように、プレー状態判定部１５０は、指標Ｉ（ｉ）がある閾値ｓを超えているフレームｉをプレー中のフレームと判定し、指標Ｉ（ｉ）が閾値ｓ以下であるフレームｉをプレー中ではないフレームと判定する。

プレー状態判定部１５０は、上記の式（９）により、プレー中であると判定されたフレーム（時刻）の集合｛ｉ_ｉｎ｝を算出する。また、プレー状態判定部１５０（又は特徴量作成部１４０）は、フレーム単位での誤差を丸めるために、下記の式（１０）に示すように、移動平均を取ることでＩ（ｉ）を更新することとしてもよい。

式（１）におけるｊはｆｒａｍｅ／ｓｅｃ（ｆｐｓ）と同じ値である。つまり、式（１０）は、更新しようとするｉの１秒前から１秒後までの、２秒間のフレームのＩ（ｉ）の平均を求め、それを更新後のＩ（ｉ）とする。プレー状態判定部１５０は、更新後のＩ（ｉ）を用いてプレー状態判定を行う。なお、移動平均をとる期間を２秒とすることは一例である。２秒以外の期間の移動平均を計算して更新後のＩ（ｉ）を計算してもよい。

＜Ｓ１０６：出力＞
プレー状態判定部１５０は、Ｓ１０５でのプレー状態判定結果を出力する。

（ハードウェア構成例）
判定装置１００は、例えば、コンピュータにプログラムを実行させることにより実現できる。このコンピュータは、物理的なコンピュータであってもよいし、クラウド上の仮想マシンであってもよい。

すなわち、判定装置１００は、コンピュータに内蔵されるＣＰＵやメモリ等のハードウェア資源を用いて、判定装置１００で実施される処理に対応するプログラムを実行することによって実現することが可能である。上記プログラムは、コンピュータが読み取り可能な記録媒体（可搬メモリ等）に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。

図６は、上記コンピュータのハードウェア構成例を示す図である。図６のコンピュータは、それぞれバスＢＳで相互に接続されているドライブ装置１０００、補助記憶装置１００２、メモリ装置１００３、ＣＰＵ１００４、インタフェース装置１００５、表示装置１００６、入力装置１００７、出力装置１００８等を有する。

当該コンピュータでの処理を実現するプログラムは、例えば、ＣＤ－ＲＯＭ又はメモリカード等の記録媒体１００１によって提供される。プログラムを記憶した記録媒体１００１がドライブ装置１０００にセットされると、プログラムが記録媒体１００１からドライブ装置１０００を介して補助記憶装置１００２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１００１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１００２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１００３は、プログラムの起動指示があった場合に、補助記憶装置１００２からプログラムを読み出して格納する。ＣＰＵ１００４は、メモリ装置１００３に格納されたプログラムに従って、判定装置１００に係る機能を実現する。具体的には例えば、図６に示す手順における状態の更新の計算、更新後のデータのメモリ装置１００３への格納、次の時間ステップのための更新後のデータのメモリ装置１００３からの読み出し、重み更新計算等を実行する。

インタフェース装置１００５は、ネットワーク等に接続するためのインタフェースとして用いられる。表示装置１００６はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置１００７はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置１００８は演算結果を出力する。

（実施の形態に係る技術の特徴について）
以下では、上述した実施の形態に係る技術の説明のまとめとして、当該技術の特徴（従来技術との違い等）について説明する。なお、本発明は以下で説明する全ての特徴を備える必要はない。以下で説明する特徴は、実施技術（以下、本技術と呼ぶ）についての特徴である。

＜特徴１＞
従来技術では、人物追跡で得た中間層の結果を直接教師あり学習の訓練データとして使用する。一方、本技術では人物追跡の結果から得た選手の画像における位置を、フィールドにおける位置に変換した中間生成物として抽出している。これにより、データ量を削減することができるので、後段の特徴量作成、プレーの状態判定の処理コストを下げることができる。また、追跡された選手はそれぞれを区別することができるので、どちらのチームの選手かを特定する処理（チーム判定部１３０）を入れることができる。

＜特徴２＞
特徴２は、本技術において各時刻における集団の加速度の大きさを求める点である。一般に、映像からの人物追跡においては、全ての選手を全ての時刻において追跡できているわけではない。また、一度追跡から外れた選手は、同一人物であっても別のｉｄが割り振られる。そのため、選手一人一人を認識した上で特徴量を作成することは難しい。

そこで、本技術では、集団での特徴量を作成することとしている。すなわち、本技術では、時間で整理された座標に対して、一度選手ｉｄで整理し直し、各時刻における選手の加速度を求めた後で、もう一度時間で整理することで、集団の加速度についての特徴量を作成することとしている。

＜特徴３＞
特徴３は、本技術において、各選手の加速度からプレーの状態判定に適した特徴量を作成する点である。すなわち、本技術では、求められた加速度に対して、ある決められた加速度の大きさ以上の加速度を持つ選手についての集団の加速度の大きさを求める。これにより、ノイズを減らすことができる。さらに、こうして求められたある閾値以上の大きさの加速度を持った選手についての集団の加速度の大きさを、追跡できている選手の数で割った値を、指標値として使用する特徴量とする。前述したとおり、ある決められた加速度の大きさ以上の加速度を持つ選手の数を、追跡できている選手の数で割った値を指標値としてもよい。

これにより、追跡精度の良し悪しや、オクルージョンの有無に対して安定した特徴量を作成することができる。

前述したとおり、加速度ではなく、速度を用いて特徴量（具体的には指標Ｉ（ｉ））を計算してもよい。ただし、特にラグビー等では、アウトオブプレーのときでも、選手はポジショニングのために移動するので、速度ではインプレーとアウトオブプレーを区別できない。インプレーでは、選手は、相手の裏をかいて効果的な動きをするために速度に変化をつけるので、加速度を使用することで、速度を使用する場合よりも精度良くプレー状態を検出可能な指標Ｉ（ｉ）を求めることができる。

＜特徴４＞
特徴４は、特徴量（例えば指標Ｉ（ｉ））に、人物追跡で得たチーム判定結果の情報を考慮に入れる点である。チームによる攻撃の仕方や、守り方の違いを特徴量算出の際の閾値に反映することで、より精度の高い特徴量を求めることができる。

＜特徴５＞
特徴５は、本技術において、閾値処理によりプレーの状態を判定する点である。すなわち、前述したとおり、特定の閾値を設定し、それを越えればインプレー、越えなければアウトオブプレーと判定する。ただし、このままでは数フレームの誤差に対して過剰に反応する可能性があるため、本技術では、２秒間のフレームで移動平均を取った値に対して閾値処理で判定を行うことも可能である。本技術では、教師なしでの判定になるため学習データを作成する必要がなく、解析までに要する時間的コストを下げることができる。つまり、処理負荷を下げることができる。

（実施の形態の効果）
以上説明したとおり、本実施の形態に係る技術により、従来技術と比べて、特徴量作成に用いるデータ量を削減でき、また、学習データの作成が不要となる。これにより、従来技術と比べて、処理負荷（解析時間等）を削減することができる。また、追跡精度の良し悪しや、オクルージョンの有無に対して安定した特徴量の作成を実現することができ、当該特徴量を用いたプレー状態判定を安定して行うことができる。

（付記）
本明細書には、少なくとも下記各項の判定装置、判定方法、及びプロググラムが開示されている。
（付記項１）
スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置であって、
前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得部と、
前記取得部により取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成部と、
前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定部と
を備える判定装置。
（付記項２）
前記各選手の特徴量は加速度の大きさであり、前記複数の選手についての特徴量は、当該複数の選手についての加速度の大きさの総和と、追跡されている選手の人数とから算出した値である
付記項１に記載の判定装置。
（付記項３）
前記複数の選手には、加速度の大きさが閾値以下の選手が含まれない
付記項２に記載の判定装置。
（付記項４）
前記複数の選手についての特徴量は、当該複数の選手についての加速度の大きさの総和を、追跡されている選手の人数で割った値である
付記項２又は３に記載の判定装置。
（付記項５）
前記プレー状態判定部は、前記指標値についてのある期間の移動平均を取ることにより前記指標値を更新し、更新後の指標値を用いて判定を行う
付記項１ないし４のうちいずれか１項に記載の判定装置。
（付記項６）
追跡されている各選手が属するチームを判定するチーム判定部
を更に備える付記項１ないし５のうちいずれか１項に記載の判定装置。
（付記項７）
前記取得部は、画像上の選手の位置座標を、試合が行われるフィールドを上から見た平面における位置座標に変換することにより前記位置情報を取得する
付記項１ないし６のうちいずれか１項に記載の判定装置。
（付記項８）
スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置が実行する判定方法であって、
前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得ステップと、
前記取得ステップにより取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成ステップと、
前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定ステップと
を備える判定方法。
（付記項９）
コンピュータを、付記項１ないし７のうちいずれか１項に記載の判定装置における各部として機能させるためのプログラムを記憶した非一時的記憶媒体。

以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１００ 判定装置
１１０ 人物追跡部
１２０ 座標変換部
１３０ チーム判定部
１４０ 特徴量作成部
１５０ プレー状態判定部
１０００ ドライブ装置
１００１ 記録媒体
１００２ 補助記憶装置
１００３ メモリ装置
１００４ ＣＰＵ
１００５ インタフェース装置
１００６ 表示装置
１００７ 入力装置
１００８ 出力装置

Claims (9)

1. スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置であって、
   前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得部と、
   前記取得部により取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成部と、
   前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定部と
   を備える判定装置。
2. 前記各選手の特徴量は加速度の大きさであり、前記複数の選手についての特徴量は、当該複数の選手についての加速度の大きさの総和と、追跡されている選手の人数とから算出した値である
   請求項１に記載の判定装置。
3. 前記複数の選手には、加速度の大きさが閾値以下の選手が含まれない
   請求項２に記載の判定装置。
4. 前記複数の選手についての特徴量は、当該複数の選手についての加速度の大きさの総和を、追跡されている選手の人数で割った値である
   請求項２に記載の判定装置。
5. 前記プレー状態判定部は、前記指標値についてのある期間の移動平均を取ることにより前記指標値を更新し、更新後の指標値を用いて判定を行う
   請求項１に記載の判定装置。
6. 追跡されている各選手が属するチームを判定するチーム判定部
   を更に備える請求項１に記載の判定装置。
7. 前記取得部は、画像上の選手の位置座標を、試合が行われるフィールドを上から見た平面における位置座標に変換することにより前記位置情報を取得する
   請求項１に記載の判定装置。
8. スポーツの試合の映像から、試合がプレー中か否かを判定する判定装置が実行する判定方法であって、
   前記映像における各時刻の画像から、追跡されている各選手の位置情報を取得する取得ステップと、
   前記取得ステップにより取得された各選手の位置情報から得られる、各時刻における各選手の特徴量から、各時刻における複数の選手についての特徴量を指標値として算出する特徴量作成ステップと、
   前記指標値と閾値を用いて、前記映像の各時刻において、プレー中か否かを判定するプレー状態判定ステップと
   を備える判定方法。
9. コンピュータを、請求項１ないし７のうちいずれか１項に記載の判定装置における各部として機能させるためのプログラム。

Images