JP2021022153A - データ処理装置、データ処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の対象の位置に基づく局面推定に対し、対象が与えた影響を推定する装置などを提供する。【解決手段】本発明の一実施形態であるデータ処理装置は、擬似データ生成部と、影響推定部と、を備える。前記擬似データ生成部は、少なくとも、複数の対象の位置を示すデータに基づいて、モデルにより局面の推定が行われている場合に、前記局面の推定の際に用いられたデータのいずれかに対する擬似データを生成する。前記影響推定部は、前記モデルと、前記擬似データと、に基づき、前記複数の対象のうちの少なくとも一つが、前記局面の推定に与えた影響の推定を行う。【選択図】図１

Description

本発明は、データ処理装置、データ処理方法、およびプログラムに関する。

情報処理技術の発達に伴い、複数の対象の位置および動きを高精度に捉えることが可能となっている。例えば、航法衛星による測位、または複数のカメラからの画像を解析することにより、スポーツの試合中の選手の移動軌跡、走行距離などが算出されている。これらの情報は、選手の特徴、能力などの調査などに利用されている。

一方、対象の位置は、当該対象が関与する状況、つまり局面に多大な影響を与える。例えばサッカー、ラクビーといった、各選手が自由に移動するスポーツにおいては、各選手の位置自体が試合状況に影響を与える。例えば、直接的にはボールに関わっていない選手（味方、敵に関わらず）であっても、その選手と、ボールを保持している選手（ボールホルダー）との距離などにより、ボールホルダーのプレーが変化する。このように、対象の位置は、局面と密接に関連する。

しかし現状では、対象の位置に関する分析手法、評価基準などが確立されていない。ゆえに、各対象の位置を詳細に捉えることができるにも関わらず、各対象の位置に基づいて局面の特徴を捉えることができず、分析、評価などを行うことが困難な局面が多々ある。例えば、現状では、特定のイベント（例えばサッカーの場合であればシュート）などにフォーカスして局面の重要性を判断しているが、中盤でのボール回しといった局面の重要性を理解することは困難である。ゆえに、本来は重要であるはずの局面が見逃される恐れがある。したがって、対象の位置に基づいて局面の特徴を捉えるための技術が必要である。

また、当該技術が確立された場合、ユーザにとって理解しにくい結果も提供されると考えられる。例えば、今まで見逃されてきた場面が重要と推定されることもあり得るが、推定の理由が示されなければ、ユーザはその結果に納得しないと考えられる。ゆえに、結果の妥当性を判断するための情報の提示を求められる場合がある。

特開２０１５−７０５０３号公報 米国特許出願公開第２０１７／０１６５５７０号明細書

複数の対象の位置に基づく局面推定に対し、対象が与えた影響を推定する装置などを提供する。

本発明の一実施形態であるデータ処理装置は、擬似データ生成部と、影響推定部と、を備える。前記擬似データ生成部は、少なくとも、複数の対象の位置を示すデータに基づいて、モデルにより局面の推定が行われている場合に、前記局面の推定の際に用いられたデータのいずれかに対する擬似データを生成する。前記影響推定部は、前記モデルと、前記擬似データと、に基づき、前記複数の対象のうちの少なくとも一つが、前記局面の推定に与えた影響の推定を行う。

本発明の一実施形態における局面推定システムを示すブロック図。 推定モデルの一例を示す図。 ビットマップの一例を示す図。 第１の影響推定方法を説明する図。 データ処理装置の処理結果に対する出力の一例を示す図。 データ処理装置の処理結果に対する出力の他の一例を示す図。 本発明の一実施形態における局面推定システムの全体処理の概略フローチャート。 本発明の一実施形態におけるハードウェア構成の一例を示すブロック図。

以下、図面を参照しながら、本発明の実施形態について説明する。

（本発明の一実施形態）
図１は、本発明の一実施形態における局面推定システムを示すブロック図である。図１の局面推定システムには、位置データ提供装置１と、特徴データ提供装置２と、データ処理装置３と、入出力装置４と、が含まれる。図１に示されたデータ処理装置３は、局面データ生成部３１と、局面推定部３２と、擬似データ生成部３３と、影響推定部３４と、出力部３５と、を備える。

本発明の一実施形態における局面推定システムは、スポーツにおける選手などといった対象の位置に関するデータから、局面を推定する。ここでは、ある時点（瞬間）における、対象の位置などの観測値の集合を「場面」と定義し、その場面から解釈され得る何らかの意味を「局面」と定義する。また、当該推定を局面推定と記載する。例えば、スポーツに対しては、ゴールが生まれそうか否か、いずれのチームが優勢または互角か、特定の戦術が実行されているか否か、といった局面推定が行われる。局面推定の結果により、局面推定システムを利用するユーザは、どのような局面であるかを認識することができる。

対象は、スポーツにおける選手のように予め定められていてもよいが、特定領域内に存在するといった条件に基づいて特定されてもよい。

さらに、局面推定システムは、局面推定の結果の理由を示す。理由が示されることにより、ユーザは、局面推定システムによる局面推定の妥当性を判断することができる。具体的には、局面推定システムは、複数の対象のうちの少なくとも一つが局面推定に与えた影響について推定し、影響の推定の結果を示す。当該推定を影響推定と記載する。例えば、影響推定として、複数の対象のうちの二つのいずれのほうが、局面推定結果に対して、より影響を与えたかが推定されてもよい。あるいは、ある対象が、局面推定結果に対して、どの程度影響を与えたかが推定されてもよい。

例えば、局面推定システムが、与えた影響の大きい選手をいくつか選択し、選択された選手の位置を影響推定結果として、言い換えれば局面推定結果の理由として、示すことが考えられる。一般的に、スポーツの経験者の多くは、その経験により、示された選手の位置から局面をある程度ならば推定することができる。ゆえに、局面推定システムが、局面推定結果の理由として、選手の位置をいくつか示した場合、スポーツの経験者は、局面推定システムの局面推定結果の妥当性をある程度判断することができる。

また、当該理由は、妥当性の判断以外にも用いることができる。例えば、チームの監督が、推定された影響に基づき選手を評価することが可能となる。また、局面を意図的に再現または変更することも可能になる。例えば、推定された局面が好ましい場合、監督は、当該局面を再現するために、影響推定結果として示された位置に選手が移動するように指示することが考えられる。あるいは、推定された局面が好ましくない場合、監督は、当該局面から逃れるために、影響の大きい選手を影響推定結果として示された位置から離れるように指示することが考えられる。

このように、局面に影響を大きく与えた対象を提示することは、局面推定の妥当性の判断、局面推定および影響推定結果の活用といった観点から有益である。

なお、図１の例では、局面推定および影響推定は、１台のデータ処理装置３により行われることを想定しているが、複数の装置に分散されて行われてもよい。つまり、データ処理装置３は、一つ以上の処理を担当する複数の装置に細分化されていてもよい。例えば、データ処理装置３が、局面データ生成部３１および局面推定部３２を含む、局面推定を行う装置と、擬似データ生成部３３および影響推定部３４を含む、影響推定を行う装置と、に別れていてもよい。また、さらに細分化されていてもよい。

また、データ処理装置３が上記以外の構成要素を有していてもよい。例えば、本実施形態では、局面推定および影響推定の結果は出力されることを想定しているが、上記以外の構成要素が局面推定および影響推定の結果を用いて、さらに処理を行ってもよい。

なお、局面推定システム内の各装置は、通信ネットワーク等を介して、データの送受が可能であるとする。また、各装置のデータの入力を司る構成要素（つまり、入力部）と、処理に必要なデータを記憶する構成要素（つまり、記憶部）については、図示せず、説明も省略する。

なお、ここでは、サッカーの局面を推定する例を用いて説明を行うが、サッカー以外のスポーツの局面が推定されてもよいし、スポーツと関係ない局面が推定されてもよい。例えば、テーマパークなどの施設の入場者を対象とし、入場者の位置に基づき、交通整理、通行規制といった群衆の管理、または、施設内のアトラクションの入場規制といった設備の管理が必要な危険な状況であるか否かを推定することも可能である。なお、施設全体ではなく、一部の領域だけを考慮するとしてもよい。このように、特定領域内に存在する物体を対象にし、特定領域内の局面を推定してもよい。

あるいは、コンピュータゲーム等の仮想世界における局面を推定の対象とすることも考えられる。コンピュータにて行われるスポーツゲームは当然のこと、ＭＭＯＲＰＧ（Ｍａｓｓｉｖｅｌｙ Ｍｕｌｔｉｐｌａｙｅｒ Ｏｎｌｉｎｅ Ｒｏｌｅ‐Ｐｌａｙｉｎｇ Ｇａｍｅ）のような多人数で同時にプレーするゲームの局面を推定することも想定される。例えば、複数のチームに分かれて陣地を取り合うような戦争ゲームなどの局面を推定することも考えられる。このように、対象は、人間に限定されるわけではなく、ロボット、車、航空機などの機械でもよいし、仮想世界におけるプレイヤーキャラクター等のデータであってもよい。

なお、本説明において用いられる用語は、推定される局面に応じて読み替えられるべきである。例えば、アイスホッケーの局面を推定する場合、サッカーにおけるピッチという用語は、リンクと読み替えられるべきである。

局面推定システム内の各装置について説明する。位置データ提供装置１は、複数の対象の位置を示す位置データをデータ処理装置３に提供する。なお、位置データとして、本実施形態では、座標が示されていることを想定する。座標の測定方法については、航法衛星による測位などがある。選手の位置を追跡するトラッキングシステムは実用化されており、そのようなトラッキングシステムから、データ処理装置３は位置データを取得すればよい。ゆえに、位置データは観測値の集合に該当する。

また、選手のプレーを高度に認識することができる場合には、より詳細な情報を位置データに含めることが考えられる。例えば、移動位置の推移により、選手の移動状況（走ってる、歩いている、止まっているなど）、移動方向などを推定し、位置データに含めることが考えられる。また、選手の向き、姿勢などを認識できるのであれば、それらを位置データに含めてよい。移動状況などのデータをさらに用いることにより、局面推定結果の精度が向上すると考えられる。なお、このような詳細な情報は、位置データ提供装置１から提供されてもよいし、時系列の位置データに基づき、データ処理装置３が算出してもよい。また、位置データではなく、後述の特徴データに含まれていてもよい。

特徴データ提供装置２は、複数の対象のそれぞれの特徴を示す特徴データをデータ処理装置３に提供する。特徴データには、選手の所属先を示す情報が少なくとも含まれていたほうが好ましい。例えば、チームαとチームβが試合をしている場合に、選手Ａがチームαに所属していることを示す情報が特徴データに含まれていたほうが好ましい。なお、選手の所属先を示すデータは、所属先の名称でなく、論理値であってもよい。例えば、選手ＡおよびＢの所属先は「０」で表されており、選手Ｃの所属先は「１」で表されていることが考えられる。この場合、選手Ａは、チームαとチームβのいずれに所属しているかは不明であるが、選手Ａにとって選手Ｂは味方であり、選手Ａにとって選手Ｃは敵であることは区別することができる。このように、選手の所属先は、各選手の敵と味方を区別可能なものであればよい。

また、選手の所属先以外にも、様々な情報が特徴データに含まれることが考えられる。例えば、身長、体重、利き足（左右の足のいずれを主に利用するか）といった選手の身体的特徴が含まれてもよい。また、短距離走の公表タイム、今シーズンの得点数といった選手の能力を示す特徴が含まれていてもよい。また、パスを出すことが多い、シュートを打つことが多い、ヘディングを避ける傾向にあるといった選手のプレースタイルを示す特徴が含まれていてもよい。また、攻める方向、警告の有無、退場の有無、現試合の得点数、現試合のアシスト数、現試合の移動距離、選手の疲労度、負傷の有無など、現在の試合に関する情報が含まれていてもよい。その他、登録ポジション、年俸、直近の試合からの日数などいった情報も含まれていてもよい。なお、これらの情報は、数値で表されてよいし、カテゴリＡ、カテゴリＢ、カテゴリＣといった分類項目に対応する論理値で表されていてもよい。

選手の位置が同じであっても、選手の特徴が異なれば、局面は異なると考えられる。例えば、サッカーにおいて、ゴール前に存在する選手が長身であるかどうかにより、局面の重要性はかなり異なる。したがって、位置データだけでなく特徴データを用いて、局面推定を行うことが好ましい。

また、特徴データは、選手自体の特徴に限らず、選手に関連する情報を含んでいてもよい。例えば、チームの所属リーグ、チームのフォーメーション（選手配置の推定）といった、選手が所属するチームの特徴が含まれていてもよい。また、天候（温度、湿度、風向、風力なども含む）、ピッチコンディション（芝、土など）、試合場がホームか否か、試合場の名称といった試合環境に関する情報も含んでいてもよい。このように、様々な情報を特徴データに含ませてよい。以上のように、特徴データも観測値の集合に該当する。

データ処理装置３は、局面推定および影響推定を行う。局面推定は、ニューラルネットワークに基づく、局面を推定するためのモデルを用いて行われる。以降、当該モデルを、推定モデルと記載する。

図２は、推定モデルの一例を示す図である。推定モデルは、入力層と、出力層と、入力層と出力層の間に存在する一つ以上の中間層と、から成る。各層にはノードが存在し、各層のノードは、隣接する各層のノードの少なくとも一つと、リンクを介して接続されている。推定モデルでは、入力層にＭ（Ｍは２以上の整数）個のノードが存在し、出力層にＮ個（Ｎは１以上の整数）個のノードが存在する。

図２の左側に示された｛Ｘ_１、Ｘ_２、Ｘ_３、・・・・、Ｘ_Ｍ−１、Ｘ_Ｍ｝（この例ではＭは５以上の整数）は、推定モデルに入力されるデータの各要素の値を示す。当該データを以降、局面データと記載する。局面データの各要素の値が入力層の各ノードに入力され、リンクで結ばれた中間層の各ノードに伝播される。そして、当該ノードにおいて、リンクごとに設定された重み付け係数（パラメータ）に応じた演算が行われる。また、各演算結果は、先程と同様に次の中間層のノードに伝播され、伝播先のノードにおいて、さらに演算が行われる。このようにして演算が進められて、出力層から最終的な演算結果が出力される。出力されたデータを以降、推定データと記載する。

図２の右側に示された｛Ｙ_１、Ｙ_２、Ｙ_３、・・・・、Ｙ_Ｎ−２、Ｙ_Ｎ−１、Ｙ_Ｎ｝（この例ではＮは６以上の整数）が、推定データの各要素の値に該当する。この推定データが、推定された局面を示す。例えば、出力層のＮ個のノードそれぞれが、予め定められた複数の局面区分のいずれかに対応し、推定データの要素の値が対応する局面区分に該当する確率を示すように、推定モデルが学習されていてもよい。あるいは、出力層のノードが一つであり、推定データは、一つの局面に該当するか否かを表す論理値で示されていてもよい。この場合では、予め定められた複数の局面それぞれに対して推定モデルが用意され、各推定モデルを用いて、各局面に該当するかが順に判断される。

また、推定データの各要素がそれぞれ異なる時点における局面を示すように、推定モデルが学習されてもよい。例えば、局面データに係る時点がｔ₀で表される場合に、推定データの１番目の要素Ｙ_１は、時点ｔ₀から１秒後の時点における局面を示し、推定データの２番目の要素Ｙ_２は、時点ｔ₀から２秒後の時点における局面を示すといったように、学習されてもよい。なお、単に、１秒後の局面を推定するモデルを用いて1秒後の局面を推定し、２秒後の局面を推定するモデルを用いて２秒後の局面を推定するとしてもよい。このように、時系列の推定データまたは要素から、局面の変更、つまり、特定のイベントが起こりそうな時点を認識することができる。例えば、チームαが優勢という局面に該当する確率を推定データの各要素が示す場合において、要素Ｙ_１が示す確率と、要素Ｙ_２が示す確率とに差異が大きい場合、要素Ｙ_１における時点から要素Ｙ_２における時点までに、ゴール、ボールロストといったイベントが発生する可能性が高いことが分かる。このように、推定モデルは、何らかの連続値を予測することもできる。

推定モデルは、テストデータが入力されると、予め正解とされた局面を示す出力結果が得られるように、学習が実施済みであるとする。つまり、推定モデルのパラメータは調整済みであるとする。学習方法は、公知の学習方法でよい。また、推定モデルは、データ処理装置３の図示されていない記憶部等に予め記憶されていてもよいし、推定モデルを用いる局面推定部３２および影響推定部３４が保持していてもよい。

局面データ生成部３１は、位置データに少なくとも基づき、推定モデルに入力される局面データを生成する。なお、前述のように、位置データだけでなく特徴データにも基づき局面データが生成されるほうが、局面データが局面の特徴をより潜在的に表すものとなり、局面推定の精度が向上すると考えられるため、好ましい。そして、局面推定部３２が、推定モデルに局面データを入力することにより、推定データを得る。こうして、局面が推定される。

局面データの生成は、推定モデルとは別のニューラルネットワークを用いて生成されてもよいし、所定の演算式により生成されてもよい。例えば、データ生成部が、特徴データおよび位置データから、予め定められた項目の情報を取り出して、選手ごとに対応するデータを生成する。生成されたデータは、複数の要素を有するベクトルで表される。当該ベクトルを、さらにニューラルネットワークを用いて、高次元化する。このようにして加工されたベクトルを局面データとして用いることが考えられる。

なお、局面データを生成するためのニューラルネットワークが、推定モデルの一部であってもよい。すなわち、位置データの値が入力されると、推定データを出力するように推定モデルを学習させてもよい。

また、例えば、データ生成部が、位置データから、選手同士の相対的な位置関係（例えば距離）を示す位置関係データを局面データとして生成することが考えられる。その場合、推定部は、位置関係データを、グラフのエッジ（リンク）に関するデータとして、グラフ畳み込みネットワーク（ＧＣＮ）に基づく推定モデルに入力する。すなわち、特徴データおよび位置関係データにより示される情報をノードとエッジから構成されるグラフとみなし、グラフ畳み込みネットワークを用いて推定データが生成されることもあり得る。

また、例えば、局面データが画像であることとも考えられる。その場合、畳み込みニューラルネットワーク（ＣＮＮ）に基づく推定モデルを用いて、当該画像から推定データを得ることが考えられる。例えば、試合場の平面図を複数の区画に分け、選手が存在する区画を色などで表したビットマップを局面データとすることが考えられる。図３は、ビットマップの一例を示す図である。図３では、サッカーのピッチが格子状に区切られており、選手が存在する区画が、黒色の四角と、対角線が描かれた白色の四角と、により表されている。このようなビットマップを局面データとして用いることも考えられる。

なお、後述する第１の影響推定方法を用いる場合は、位置データから局面データを生成するための各演算において、局面データの各要素に対する位置データの各要素の寄与率が分かるような演算方法が好ましい。例えば、局面データの各要素が、各対象と、１対１で対応しているのが好ましい。

なお、チームごとに局面が選択されてもよい。例えば、推定データのＹ_１からＹ_ｋ（ｋは１以上、Ｎ未満の整数）までがチームαの局面を表し、残りのＹ_ｋ＋１からＹ_Ｎまでがチームβの局面を表すように、推定モデルが学習されていてもよい。

なお、複数の時点の局面データを一つにまとめることにより、一定期間における局面データが生成され、一定期間における局面が推定されてもよい。なお、まとめる方法は、特に限られるものではない。単に、局面データを順に並べるだけでもよいし、各局面データの共通部分を省略してもよい。局面データをまとめるためのニューラルネットワークを用いてもよい。

なお、再帰型のニューラルネットワークに基づく推定モデルを用いて、複数の局面データを順次入力することにより、最新の局面データまたは各局面データに対する推定結果を得てもよい。

影響推定は、推定モデルおよび擬似データに基づき、行われる。擬似データは、局面推定の際に用いられたデータの値を変えたデータである。擬似データは、推定モデルに入力できる形式であればよい。具体的には、擬似データ生成部３３が、局面データまたは推定データの擬似データを生成する。そして、影響推定部が、推定モデルと、擬似データと、に基づき、複数の対象のうちの少なくとも一つが、局面の推定に与えた影響の推定を行う。擬似データをどのように生成するかは、推定方法により異なる。以下に、推定方法の例を記載する。

（第１の影響推定方法）
第１の影響推定方法では、擬似データ生成部３３は、推定データに対する擬似データを生成する。例えば、推定モデルから｛Ｙ_１、Ｙ_２、Ｙ_３、・・・・、Ｙ_Ｎ−２、Ｙ_Ｎ−１、Ｙ_Ｎ｝という推定データが生成された場合に、擬似データ生成部３３は、２番目の要素の値が異なる｛Ｙ_１、Ｙ_２’、Ｙ_３、・・・、Ｙ_Ｎ−２、Ｙ_Ｎ−１、Ｙ_Ｎ｝という擬似データを生成する。つまり、擬似データ生成部３３は、２番目の要素の値をＹ_２からＹ_２’に変更することにより、擬似データを生成する。変更する要素と、変更後の値は、推定したい局面などに応じて、適宜に定めてよい。

影響推定部３４は、擬似データと推定データとの差分を推定モデルの出力層に入力し、出力層から入力層に向かって逆演算する。図４は、第１の影響推定方法を説明する図である。擬似データと指定データとの差分｛０、Ｙ_２’−Ｙ_２、０、・・・、０、０、０｝が、出力層に入力されることが示されている。言い換えると、Ｙ_２’−Ｙ_２と表される擬似誤差が出力層の２番目のノードに入力されるとも言える。なお、擬似データ生成部３３が差分データを生成してもよい。

出力層のノードに入力された値は、これらのノードに接続されているリンクを辿って、中間層のうちの最下層に存在するノードに伝播される。伝播先のノードにおいて、パラメータに応じた逆演算が行われる。そして、各ノードにおける演算結果が、先程と同様に、各ノードが属する層より一つ上位の層に存在するノードに伝播されて、そこでも演算が行われる。このようにして演算が順次行われていき、入力層の各ノードにおける値が判明する。当該値を逆演算値と記載する。

入力層の各ノードの逆演算値は、入力層の各ノードが出力層の２番目のノードに対応する局面に与える影響を示すものと言える。これにより、擬似データの特定要素に影響を与える推定モデルの入力層のノードを特定することができる。また、逆演算値に基づき、推定モデルの入力層の各ノードの影響を推定することができる。例えば、逆演算値を比較することにより、入力層の１番目のノードと２番目のノードとのいずれの方が影響を与えているかが分かる。

そして、局面推定の際に入力層の各ノードに入力された局面データの要素と、対象と、の対応関係から、入力層の特定されたノードに対応する対象を特定することができる。例えば、選手Ａの位置データおよび特徴データに基づき、局面データの１番目の要素の値が決定され、局面推定の際に当該値が入力層の１番目のノードに入力されていた場合、入力層の１番目のノードは選手Ａに対応し、当該ノードの逆演算値は、選手Ａの影響を示すものと言える。ノードに対応する対象が複数存在する場合、例えば、選手Ａに関するデータが、局面データの複数の要素に分配された場合は、局面データの各要素に対する選手Ａに関するデータの寄与率に基づき、選手Ａの影響を推定すればよい。

なお、推定モデルへの入力が前述のビットマップ等の画像の場合は、畳み込みが行われるため、畳み込まれた複数の区画から成る集合の影響が推定される。

このようにして、各対象の影響を認識することができる。例えば、推定部は、入力層の各ノードの逆演算値に基づき、各対象が与えた影響の比較を行ってもよい。また、逆演算値を所定の閾値と比較することにより、ある対象が局面に大きく影響を与えたか否かを判定してもよい。また、逆演算値に基づく演算を行い、各対象の影響度を算出してもよい。演算方法は、適宜に定めてよい。例えば、逆演算値の総和に対する逆演算値の値を影響度としてもよい。

（第２の影響推定方法）
第２の影響推定方法では、擬似データ生成部３３は、局面推定の際に推定モデルにより入力された局面データに対する擬似データを生成する。具体的には、複数の対象のうちの少なくとも一つが存在しないものとみなし、局面データに含まれる、存在しないとみなした対象に関する値を、存在しない場合の値に変更することにより、擬似データが生成される。例えば、選手Ａの影響を推定する場合、選手Ａが存在しないとして、局面データの値を変更する。なお、局面データから擬似データを生成するのではなく、選手Ａが存在しないとして位置データを変更し、変更された位置データに基づき擬似データを生成してもよい。また、複数の対象、例えば選手Ａおよび選手Ｂがいないものとしてもよく、その場合選手Ａおよび選手Ｂの関係による影響を推定してもよい。このようにして、選手全員が存在する場合の局面データとは値が異なる擬似データを生成する。なお、選手が存在しないとするのではなく、選手が局面に全く関係ない位置に存在するとみなしてもよい。なお、選手の位置だけでなく、特徴データに含まれる要素の値も変更してもよい。

影響推定部３４は、生成された擬似データを用いて局面推定を行い、擬似データに基づく推定データと、局面データに基づく推定データと、を比較する。両推定データの差異は、取り除かれた対象に起因するため、取り除かれた対象の影響を示すものと言える。両推定データの差異が大きい程、影響が大きいとみなしてよい。各対象に対応する差異を比較して、各対象が与えた影響を比較してもよい。また、当該差異に基づき、各対象の影響度を算出してもよい。演算方法は、適宜に定めてよい。

なお、擬似データは複数生成されてもよく、複数の擬似データに基づいて対象の影響が推定されてもよい。例えば、第２の影響推定方法において、正規分布などによる疑似乱数などに基づいて選手の位置がそれぞれ異なる複数の擬似データを生成し、擬似データごとに影響推定を行い、複数の影響推定結果に基づいて、最終的な影響推定結果を得てもよい。複数の影響推定結果から最終的な影響推定結果を得る方法は、適宜に定めてよい。例えば、擬似データごとに影響度を算出し、平均値、中央値といった、これらの影響度の代表値を最終的な影響推定結果としてもよい。

出力部３５は、データ処理装置３の処理結果を入出力装置４に出力するための装置である。例えば、局面推定の結果、影響推定の結果などが出力される。入出力装置４は、特に限られるものではなく、出力部３５の出力形式も入出力装置４に応じて変えてよい。例えば、出力部３５により、画像が出力されてもよいし、テキストや数値が含まれたファイルとして出力されてもよく、それらが含まれたメールなどのデータが出力されてもよい。

局面推定の結果が出力される場合は、前述の通り、局面推定の結果に対する理由として、影響推定の結果が出力されることが好ましい。例えば、影響推定結果として、影響の大きい選手を選択して出力してもよいし、影響の大きい順に選手を並べて表示してもよい。

図５は、データ処理装置３の処理結果に対する出力の一例を示す図である。図５には、出力部３５により出力された第１の出力画像例５が示されている。第１の出力画像例５には、局面推定部３２からの局面推定結果が示された左枠５１と、影響推定部３４からの影響推定結果が示された右枠５２と、が含まれる。左枠５１の局面推定結果は、予め定められた複数の局面区分のうち、該当する確率の高い順に示されている。図５には、局面Ｆ、局面Ｒ、局面Ｄ、局面Ｇ、および局面Ｍが示されている。右枠５２の各選手は、上から影響の大きい順に示されている。ここでは、ホーム側の選手（Ｈ−１からＨ−１１）と、アウェイ側の選手（Ａ−１からＡ−１１）と、は分けて示されているが、まとめて示されてもよい。

また、出力部３５は、推定された影響に応じて、影響の比較の結果に応じた記号を出力することが考えられる。図５の例では、右枠５２に示された選手数人に対し、星形の記号が示されている。前述の通り、影響推定部３４は、所定の閾値と比較することにより、選手が局面に大きく影響を与えたか否かを判定することができる。図５の例では、この判定により、影響が大きいと判定された所定の数の選手に対して記号が表示されている。このように、出力部３５が、対象に対して、影響の比較の結果に応じた記号を出力してもよい。なお、出力される記号は、特に限られるものではなく、文字、数字、画像なども記号に含まれる。例えば、記号は「高」「中」「低」、等の文字であってもよく、数字の大小、特に最も影響の大きい対象に対して固定の数字（例えば１００）を表示し、他の対象には当該最も影響の大きい対象と比較した相対的な影響の数字を表示してもよい。また、これらの記号は組み合わせて表示されてもよい。例えば、丸の記号と数字を両方とも表示することができる。

また、図５の例では、星形の記号の数が多い程、影響が大きいことを示す。このように、選手の影響の大きさが出力された記号により区別できるようにしてもよい。例えば、複数の記号があり、影響の比較の結果に応じて選択されてもよい。例えば、選手Ａのほうが選手Ｂよりも影響が大きいと推定された場合に、出力部３５は、選手Ａに影響が大きいことを示す記号を出力し、選手Ｂに影響が小さいことを示す記号を出力してもよい。なお、選手Ａおよび選手Ｂのいずれか一方にだけ記号を出力してもよい。また、選択される記号は、選手の特徴などといった他の情報にも応じて異なっていてもよい。また、出力部３５は、影響の大きさに応じて、記号の色、模様、大きさ、数などを、所定のルールに基づき、変えてもよい。

図６は、データ処理装置３の処理結果に対する出力の他の一例を示す図である。図６には、出力部３５により出力された第２の出力画像例６が示されている。第２の出力画像例６では、所定の背景画像６１（図６の例では、ピッチの平面図）と、対象を示す三角形の記号６２（６２Ａよび６２Ｂ）と、が含まれる。図６の例では、チームαに属することを示す白三角形の記号６２Ａと、チームβに属することを示す黒三角形の記号６２Ｂとに分けられている。このように、選手を示す記号は、チームごとに区別可能であることが好ましい。

出力部３５は、位置データに基づき、記号６２を、位置データが示す位置と対応する背景画像上の位置に表示する。つまり、記号６２は、ある時点における、各選手のピッチ上の位置に配置される。なお、ボールの位置が位置データに含まれている場合は、ボールの位置も選手同様に示されてもよい。この例では、ボールが黒丸の記号６３で示されている。

また、図５の例と同様、図６の例でも、選手の影響の大きさに応じて、選手を示す記号が他と区別されるように出力されている。図６の例では、一部の記号が白抜きの丸の記号６４で囲まれている。この記号６４は、局面推定結果に大きく影響を与えた対象を示す。つまり、記号６４内の記号６２に対応する選手が、局面推定結果に大きく影響を与えたことを示す。図６の例では、局面推定結果に与えた影響の大きい上位５選手が記号６４で囲まれている。

図６のような出力結果では、選手の位置と、推定された局面と、の関係性を視認することができ、いずれの選手が、いずれの位置にいることにより、局面推定結果に影響を与えたかが視覚的に分かるため好ましい。

さらに、出力部３５は、特徴データに基づき、出力する記号を変えてもよい。例えば、登録ポジションごとに異なる記号を用いるといったことが考えられる。また、年俸に応じて記号の大きさを調整するといったことが考えられる。また、入出力装置４を介して、ユーザの指示を受け付けて、ユーザから指定された選手の記号を変えてもよい。

また、推定モデルへの入力が前述のビットマップ等の画像の場合は、畳み込まれた複数の区画から成る集合の影響が推定されるため、出力部３５は、局面推定に影響を与えた集合に含まれる区画をその他の区画と区別できるような画像を出力する。例えば、集合に含まれる区画の色を背景画像の色と変えてもよいし、集合に含まれる区画全体を囲む枠線を表示してもよい。このようにして区別可能となった一つ以上の区画には、少なくとも局面に影響を与えた選手の位置に係る区画が含まれる。

推定モデルへの入力が対象同士の相対的な位置関係を示す位置関係データであった場合など、各対象の位置関係の影響が推定される場合もある。この場合、出力部３５は、例えば複数の対象を接続する線を表示し、当該線を、影響の比較の結果に応じた記号として、他と区別できるように調整してもよい。

次に、本実施形態の処理の流れについて説明する。図７は、本発明の一実施形態における局面推定システムの全体処理の概略フローチャートである。

位置データ提供装置１が、試合の各時点の各選手の位置座標などを、各時点の位置データとして、データ処理装置３に送信する（Ｓ１０１）。一方、特徴データ提供装置２は、各時点の特徴データをデータ処理装置３に送信する（Ｓ１０２）。なお、特徴データの内容が試合中に変化しない場合は、全時点の特徴データとして、一つの特徴データを送信すればよい。

局面データ生成部３１は、位置データと特徴データから、推定モデルに入力される局面データを生成する（Ｓ１０３）。局面推定部３２は、推定モデルに局面データを入力して推定データを得ることにより、局面を推定する（Ｓ１０４）。

擬似データ生成部３３が、局面推定に用いられたいずれかのデータに対する擬似データを生成する（Ｓ１０５）。擬似データおよび推定データのいずれのデータの擬似データを生成するかは、処理の前に定められているものとする。影響推定部３４が擬似データと推定モデルに基づき、対象が与えた局面推定に与えた影響を推定する（Ｓ１０６）。推定データに基づく擬似データは、推定モデルの出力層に入力される。局面データに基づく擬似データは、推定モデルの入力層に入力される。

出力部３５が、入出力装置４に対し、局面推定結果、影響推定結果などの処理結果を出力する（Ｓ１０７）。こうして、ある時点における選手の位置に少なくとも基づいて、当該時点の局面、およびその理由を認識することが可能になる。

なお、本説明におけるフローチャートは一例であり、上記の例に限られるものではない。実施形態の求められる仕様、変更などに応じて、手順の並び替え、追加、および省略が行われてもよい。例えば、局面推定の処理（Ｓ１０４）の後に、出力部３５が局面推定結果を表示してもよい（Ｓ１０７）。ユーザから入出力装置４を介して、理由を出力するよう指示を受けた場合に、Ｓ１０５からＳ１０７の処理を行うようにしてもよい。

また、本フローチャートにて示された、ある時点における一連の処理が終了する前に、別の時点のフローが開始されてもよい。例えば、ある時点の影響推定が行われている間に、次の時点の局面推定が開始されてもよい。これにより、現在進行中の試合の分析などをほぼリアルタイムで行うことができる。ゆえに、図６に示すような局面推定および影響推定の結果に関する映像を、実際の試合の映像に遅れることなく、表示することも可能となる。

以上のように、本実施形態によれば、複数の対象の位置を示す位置データに少なくとも基づいて推定モデルにより局面の推定が行われている場合に、局面の推定の際に用いられたデータのいずれかに対する擬似データを生成し、当該擬似データと、当該推定モデルと、に基づき、複数の対象のうちの少なくとも一つが、局面の推定に与えた影響の推定を行う。影響の推定の結果により、推定された局面の妥当性を判断することが可能となる。また、どの対象がその局面に影響を与えているかを示すことができ、ユーザが、対象に対して、評価、指示などを行う事を可能にする。

なお、上記の実施形態の少なくとも一部は、プロセッサ、メモリなどを実装しているＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：集積回路）などの専用の電子回路（すなわちハードウェア）により実現されてもよい。また、上記の実施形態の少なくとも一部は、ソフトウェア（プログラム）を実行することにより、実現されてもよい。例えば、汎用のコンピュータ装置を基本ハードウェアとして用い、コンピュータ装置に搭載された中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、画像処理装置（ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサ（処理回路）にプログラムを実行させることにより、上記の実施形態の処理を実現することが可能である。言い換えると、当該プログラムの実行により、一つまたは複数のプロセッサ（処理回路）が、データ処理装置３などの各処理を実行できるように構成される。

例えば、コンピュータが読み取り可能な記憶媒体に記憶された専用のソフトウェアをコンピュータが読み出すことにより、コンピュータを上記の実施形態の装置とすることができる。記憶媒体の種類は特に限定されるものではない。また、通信ネットワークを介してダウンロードされた専用のソフトウェアをコンピュータがインストールすることにより、コンピュータを上記の実施形態の装置とすることができる。こうして、ソフトウェアによる情報処理が、ハードウェア資源を用いて、具体的に実装される。

図８は、本発明の一実施形態におけるハードウェア構成の一例を示すブロック図である。データ処理装置３は、プロセッサ７１と、主記憶装置７２と、補助記憶装置７３と、ネットワークインタフェース７４と、デバイスインタフェース７５と、を備え、これらがバス７６を介して接続されたコンピュータ装置７として実現できる。

なお、図８のコンピュータ装置７は、各構成要素を一つ備えているが、同じ構成要素を複数備えていてもよい。また、図８では、１台のコンピュータ装置７が示されているが、ソフトウェアが複数のコンピュータ装置にインストールされて、当該複数のコンピュータ装置それぞれがソフトウェアの異なる一部の処理を実行してもよい。

プロセッサ７１は、コンピュータの制御装置および演算装置を含む電子回路（処理回路）である。プロセッサ７１は、コンピュータ装置７の内部構成の各装置などから入力されたデータやプログラムに基づいて演算処理を行い、演算結果や制御信号を各装置などに出力する。具体的には、プロセッサ７１は、コンピュータ装置７のＯＳ（オペレーティングシステム）や、アプリケーションなどを実行することにより、コンピュータ装置７を構成する各構成要素を制御する。プロセッサ７１は、上記の処理を行うことができれば特に限られるものではない。局面データ生成部３１と、局面推定部３２と、擬似データ生成部３３と、影響推定部３４と、出力部３５といった、データ処理装置３の各処理を行う構成要素は、プロセッサ７１により実現される。例えば、プロセッサ７１は、主記憶装置７２または補助記憶装置７３に記憶された推定モデルをソフトウェアの一部であるプログラムモジュールとして使用し得る。

主記憶装置７２は、プロセッサ７１が実行する命令および各種データなどを記憶する記憶装置であり、主記憶装置７２に記憶された情報がプロセッサ７１により直接読み出される。補助記憶装置７３は、主記憶装置７２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、メモリでもストレージでもよい。また、メモリには、揮発性メモリと、不揮発性メモリがあるが、いずれでもよい。局面推定システムに属する各装置の記憶部は、主記憶装置７２または補助記憶装置７３により実現することができる。

ネットワークインタフェース７４は、無線または有線により、通信ネットワーク８に接続するためのインタフェースである。ネットワークインタフェース７４は、既存の通信規格に適合したものを用いればよい。ネットワークインタフェース７４より、通信ネットワーク８を介して、コンピュータ装置７と外部装置９Ａとを接続することができる。

例えば、コンピュータ装置７は、通信ネットワーク８を介して外部装置９Ａにサービスを提供するクラウドサーバとして機能してもよい。この場合、外部装置９Ａは、入出力装置４に該当し、例えば、局面推定システムを利用するユーザの所有するタブレット、スマートフォン、パーソナルコンピュータ等の通信端末であってもよい。すなわち、局面の推定、擬似データの生成、影響推定といったデータ処理装置３のいずれかまたはすべてを、ユーザの通信端末と通信ネットワークで接続されたクラウドサーバ上で行ってもよい。こうして、ユーザの通信端末は、クラウドサービスとして、局面推定システムの処理結果を受信して表示することができる。

デバイスインタフェース７５は、外部装置９Ｂと直接接続するＵＳＢなどのインタフェースである。つまり、コンピュータ装置７と外部装置９との接続は、ネットワークを介してでもよいし、直接でもよい。

外部装置９（９Ａおよび９Ｂ）は、データ処理装置３以外の装置でもよいし、外部記憶媒体でもよいし、ストレージ装置でもよい。例えば、位置データ提供装置１、特徴データ提供装置２、入出力装置４は、外部装置９とみなすことができる。

なお、外部装置９は入力装置でもよい。入力装置は、キーボード、マウス、タッチパネルなどのデバイスを備え、これらのデバイスにより入力された情報をコンピュータ装置７に与える。入力装置からの信号はプロセッサ７１に出力される。

上記に、本発明の一実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変換は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１：位置データ提供装置、２：特徴データ提供装置、３：データ処理装置、３１：局面データ生成部、３２：局面推定部、３３：擬似データ生成部、３４：影響推定部、３５：出力部、４：入出力装置、５：第１の出力画像例、５１：左枠、５２：右枠、６：第２の出力画像例、６１：背景画像、６２：対象を示す記号、６３：ボールを示す記号、６４：局面推定結果に大きく影響を与えた対象を示す記号、７：コンピュータ装置、７１：プロセッサ、７２：主記憶装置、７３：補助記憶装置、７４：ネットワークインタフェース、７５：デバイスインタフェース、７６：バス、８：通信ネットワーク、９（９Ａ、９Ｂ）：外部装置

Claims (14)

1. 少なくとも、複数の対象の位置を示すデータに基づいて、モデルにより局面の推定が行われている場合に、前記局面の推定の際に用いられたデータのいずれかに対する擬似データを生成する擬似データ生成部と、
   前記モデルと、前記擬似データと、に基づき、前記複数の対象のうちの少なくとも一つが、前記局面の推定に与えた影響の推定を行う影響推定部と、
   を備えるデータ処理装置。
2. 出力部をさらに備え、
   前記影響推定部が、前記複数の対象のうちの第１対象が与えた影響と、所定閾値または前記複数の対象のうちの第２対象が与えた影響と、の比較を行い、
   前記出力部が、前記影響の比較の結果を出力する
   請求項１に記載のデータ処理装置。
3. 前記出力部が、前記影響の比較の結果として、前記影響の比較の結果に応じた記号を出力する
   請求項２に記載のデータ処理装置。
4. 前記出力部は、
   背景画像を出力し、
   前記複数の対象の位置を示すデータに基づき、前記記号を、前記複数の対象の位置を示すデータにおける前記第１対象の位置と対応する前記背景画像上の位置に表示する
   請求項３に記載のデータ処理装置。
5. 前記背景画像が、複数の区画に分けられており、
   前記記号が一つ以上の区画を示し、
   前記記号により示された区画に、前記複数の対象の位置を示すデータが示す前記第１対象の位置と対応する前記背景画像上の位置に係る区画が含まれる
   請求項４に記載のデータ処理装置。
6. 前記擬似データ生成部は、前記モデルにより処理され、前記局面の推定の際に利用されたデータと値が異なる擬似データを生成し、
   前記影響推定部は、
   前記擬似データまたは前記擬似データに基づくデータを前記モデルの出力層に入力することにより、前記擬似データの特定要素に影響を与える前記モデルの入力層のノードを特定し、
   前記局面の推定の際に前記入力層のノードに入力されたデータの要素と前記対象との対応関係から、前記入力層の特定されたノードに対応する対象を特定し、
   特定された対象の影響を推定する
   請求項１ないし５のいずれか一項に記載のデータ処理装置。
7. 前記擬似データ生成部は、前記局面の推定の際に前記モデルに入力されたデータの値が異なる擬似データを生成し、
   前記影響推定部は、前記擬似データを前記モデルの入力層に入力することにより得られたデータと、前記局面の推定の際に前記モデルにより生成されたデータと、を比較することにより、前記複数の対象のうちの少なくとも一つの影響を推定する
   請求項１ないし５のいずれか一項に記載のデータ処理装置。
8. 前記複数の対象の位置を示すデータに少なくとも基づき、前記モデルに入力される局面データを生成する局面データ生成部と、
   前記局面データと、前記モデルと、に基づき、前記局面の推定を行う局面推定部と、
   をさらに備える請求項１ないし７のいずれか一項に記載のデータ処理装置。
9. 前記局面データ生成部が、前記複数の対象のそれぞれの特徴を示す特徴データにさらに基づき、前記局面データを生成する
   請求項１ないし８のいずれか一項に記載のデータ処理装置。
10. 前記特徴データが各前記対象の所属先に関する情報を含む
    請求項９に記載のデータ処理装置。
11. 前記局面はスポーツにおける局面である
    請求項１ないし１０のいずれか一項に記載のデータ処理装置。
12. 前記対象はスポーツにおける選手である
    請求項１１に記載のデータ処理装置。
13. 複数の対象の位置を示すデータに少なくとも基づいてモデルにより局面の推定が行われている場合に、前記局面の推定の際に用いられたデータのいずれかに対する擬似データを生成するステップと、
    前記モデルと、前記擬似データと、に基づき、前記複数の対象のうちの少なくとも一つが、前記局面の推定に与えた影響の推定を行うステップと、
    を備えるデータ処理方法。
14. 複数の対象の位置を示すデータに少なくとも基づいてモデルにより局面の推定が行われている場合に、前記局面の推定の際に用いられたデータのいずれかに対する擬似データを生成するステップと、
    前記モデルと、前記擬似データと、に基づき、前記複数の対象のうちの少なくとも一つが、前記局面の推定に与えた影響の推定を行うステップと、
    を備えるプログラム。