JP2023044410A - Tactical analyzer and method for controlling the same, and control program - Google Patents

Tactical analyzer and method for controlling the same, and control program Download PDF

Info

Publication number
JP2023044410A
JP2023044410A JP2021152431A JP2021152431A JP2023044410A JP 2023044410 A JP2023044410 A JP 2023044410A JP 2021152431 A JP2021152431 A JP 2021152431A JP 2021152431 A JP2021152431 A JP 2021152431A JP 2023044410 A JP2023044410 A JP 2023044410A
Authority
JP
Japan
Prior art keywords
tactical
player
strategy
tactics
tactic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021152431A
Other languages
Japanese (ja)
Inventor
勲 林
Isao Hayashi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kansai University
Original Assignee
Kansai University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kansai University filed Critical Kansai University
Priority to JP2021152431A priority Critical patent/JP2023044410A/en
Publication of JP2023044410A publication Critical patent/JP2023044410A/en
Pending legal-status Critical Current

Links

Images

Abstract

To achieve a tactical analyzer that can predict a player's next tactics during a game.SOLUTION: A tactical analyzer (10) for analyzing a player's tactics in a game includes a tactics acquisition unit (22) that acquires the player's tactics history in games from images of the games, and a strategy estimation unit (23) that estimates the player's game strategy using a learning model including a machine-learned strategy, which is a chronological pattern of tactics, from the player's tactics history in the past games, and the tactics history acquired by the tactics acquisition unit (22).SELECTED DRAWING: Figure 1

Description

本発明は、競技におけるプレイヤの戦術を分析する戦術分析装置、およびその制御方法、並びに制御プログラムに関する。 The present invention relates to a tactical analysis device that analyzes a player's tactics in a game, a control method thereof, and a control program.

近年、スポーツ等の対戦競技の分野においても、コンピュータを利用した分析が盛んにおこなわれている。例えば、特許文献1には、団体スポーツ競技における選手の位置情報およびプレイ履歴に基づいて攻撃パターンを分析する攻撃パターン抽出装置が開示されている。 2. Description of the Related Art In recent years, computer-based analysis has been actively performed even in the field of competitive competitions such as sports. For example, Patent Literature 1 discloses an attack pattern extraction device that analyzes attack patterns based on player position information and play histories in team sports competitions.

特開2017-209237号公報JP 2017-209237 A 特開2020-185370号公報JP 2020-185370 A

しかしながら、特許文献1では、過去の戦術(攻撃パターン)を特定しているに過ぎず、競技中にプレイヤの戦術履歴から今後の戦術を予想することは行われていない。また、野球中継では、解説者が試合中のピッチングの履歴に基づいて今後のピッチングを予想することがあるが、これは、解説者の長年の経験に基づくものであり、コンピュータを利用して自動的に行われるものではない。 However, Patent Document 1 merely identifies past tactics (attack patterns), and does not predict future tactics from the player's tactical history during the game. Also, in baseball broadcasts, commentators sometimes predict future pitching based on the history of pitching during the game. It is not done intentionally.

本発明の一態様は、競技中にプレイヤの今後の戦術を予想できる戦術分析装置などを実現することを目的とする。 An object of one aspect of the present invention is to realize a tactical analysis device or the like that can predict future tactics of a player during a game.

上記の課題を解決するために、本発明の一態様に係る戦術分析装置は、競技におけるプレイヤの戦術を分析する戦術分析装置であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える。 In order to solve the above-described problems, a tactical analysis device according to one aspect of the present invention is a tactical analysis device that analyzes a player's tactics in a game, and analyzes the player's tactical history in the game from a video of the game. a tactics acquisition unit to acquire; a learning model of the player in which a strategy, which is a time-series pattern of tactics, is machine-learned using the tactics history of the player in the past competition; and the tactics acquired by the tactics acquisition unit and a strategy estimator for estimating the player's strategy for the game using the history.

ここで、戦術とは、前記競技において、或る行動単位における前記プレイヤの特徴的な行動内容をいう。例えば、野球の場合、前記行動単位は1回のピッチングであってもよく、前記特徴的な行動内容は、前記ピッチングのコース、球種、および球速のうちの少なくとも1つであってもよい。また、卓球の場合、前記行動単位は1回のラリーであってもよく、前記特徴的な行動内容は、前記ラリーにおけるラリー軌跡、サーブのスタイル、サーブのボールの位置および回転、並びに、プレイヤの位置および姿勢のうちの少なくとも1つであってもよい。 Here, the tactics refer to characteristic action contents of the player in a certain action unit in the game. For example, in the case of baseball, the action unit may be one pitching, and the characteristic action may be at least one of the pitching course, type of pitch, and speed of the pitch. In the case of table tennis, the action unit may be one rally, and the characteristic actions include the rally trajectory in the rally, the style of the serve, the position and rotation of the ball in the serve, and the player's behavior. It may be at least one of position and pose.

上記の構成によると、競技の映像から、前記競技におけるプレイヤの戦術履歴を取得し、取得した戦術履歴と、前記プレイヤの学習モデルと、を用いて、前記競技の前記プレイヤの戦略を推定する。従って、ユーザは、競技中の映像から推定された戦略、すなわち戦術の時系列パターンを参照することができ、これにより、競技中の前記プレイヤの今後の戦術を予想することができる。なお、前記ユーザは、前記プレイヤの相手であってもよいし、該相手のコーチであってもよい。 According to the above configuration, the player's tactical history in the game is acquired from the video of the game, and the player's strategy in the game is estimated using the acquired tactical history and the player's learning model. Therefore, the user can refer to the strategy estimated from the video during the game, that is, the time-series pattern of the tactics, and thereby predict the future tactics of the player during the game. The user may be the player's opponent or the opponent's coach.

本態様に係る戦術分析装置では、前記戦術取得部は、前記映像から戦術に関する代表点の時系列データを抽出し、前記抽出した時系列データを特異値分解することにより、前記プレイヤの戦術を取得してもよい。この場合、前記代表点の時系列データの時間長さが異なっていても、前記プレイヤの戦術を取得することができる。 In the tactical analysis device according to this aspect, the tactical acquisition unit extracts time-series data of representative points related to tactics from the video, and performs singular value decomposition on the extracted time-series data to acquire the tactics of the player. You may In this case, even if the time lengths of the time-series data of the representative points are different, the player's tactics can be acquired.

本態様に係る戦術分析装置では、前記戦術取得部は、前記競技の映像から移動体の軌跡を抽出し、前記抽出した移動体の軌跡に基づいて前記プレイヤの前記戦術を取得し、これを繰り返すことにより、前記プレイヤの戦術履歴を取得してもよい。 In the tactical analysis device according to this aspect, the tactical acquisition unit extracts the trajectory of the moving body from the video of the game, acquires the tactics of the player based on the extracted trajectory of the moving body, and repeats this process. Thus, the player's tactical history may be obtained.

ここで、移動体は、前記競技において移動する物体であり、例えば、前記競技のプレイヤ、前記競技で利用されるボール等が挙げられる。また、前記戦術取得部は、前処理として、前記戦術の取得とは無関係のシーン(例えば、前記プレイヤのクローズアップ映像など)を、不要なシーンとして前記競技の映像から除去してもよい。 Here, the moving object is an object that moves in the game, and includes, for example, a player in the game, a ball used in the game, and the like. In addition, as preprocessing, the tactic acquisition unit may remove scenes unrelated to acquisition of the tactics (for example, close-up video of the player) from the video of the game as unnecessary scenes.

本態様に係る戦術分析装置では、前記移動体は、前記プレイヤを含み、前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得してもよい。この場合、前記プレイヤの挙動を精度よく推定できるので、前記プレイヤの前記戦術を精度よく推定することができる。 In the tactical analysis device according to this aspect, the moving object includes the player, and the tactical acquisition unit estimates the trajectory of the player's skeleton by performing machine learning using the video of the game. At least part of the tactics of the player may be obtained based on the estimated skeletal trajectory. In this case, since the behavior of the player can be estimated with high accuracy, the tactics of the player can be estimated with high accuracy.

本態様に係る戦術分析装置では、前記学習モデルは、複数のモデルを統合的に組み合わせて機械学習を行うことにより作成されてもよい。この場合、他の学習モデルに比べて、前記戦略の推定精度を向上させることができる。 In the tactical analysis device according to this aspect, the learning model may be created by performing machine learning by integrally combining a plurality of models. In this case, the estimation accuracy of the strategy can be improved compared to other learning models.

本態様に係る戦術分析装置では、前記複数のモデルはファジィクラスタリングモデルであってもよい。この場合、推定された戦略は、ファジィルール(IF THENルール)で提供されることになる。従って、ユーザが今後の戦術を容易に予想することができる。 In the tactical analysis device according to this aspect, the plurality of models may be fuzzy clustering models. In this case, the estimated strategy will be provided by fuzzy rules (IF THEN rules). Therefore, the user can easily predict future tactics.

本態様に係る戦術分析装置では、前記学習モデルは、機械学習された前記複数のモデルの或るモデルによって推定された推定データに基づいて仮想データが生成され、前記仮想データと学習用データとを用いて、前記複数のモデルの別のモデルが機械学習されることにより作成されてもよい。この場合、機械学習を行うためのデータを増加させることができるので、前記戦略の推定精度をさらに向上させることができる。 In the tactical analysis device according to this aspect, the learning model generates virtual data based on estimated data estimated by one of the plurality of models subjected to machine learning, and combines the virtual data and learning data. Another model of the plurality of models may be created by being machine-learned using. In this case, the data for machine learning can be increased, so the strategy estimation accuracy can be further improved.

本発明の別の態様に係る戦術分析装置の制御方法は、競技におけるプレイヤの戦術を分析する戦術分析装置の制御方法であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む制御方法である。 A control method for a tactical analysis device according to another aspect of the present invention is a control method for a tactical analysis device that analyzes the tactics of a player in a game, and acquires the tactical history of the player in the game from video of the game. A tactic acquisition step, a learning model in which a strategy, which is a time-series pattern of tactics, is machine-learned using the tactic history of the player in the past competition, the tactic history acquired in the tactic acquisition step, and a strategy estimation step of estimating the player's strategy for the game using .

上記の制御方法によれば、上述の戦術分析装置と同様の効果を奏することができる。 According to the control method described above, the same effects as those of the above-described tactical analysis device can be obtained.

本発明の各態様に係る戦術分析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記戦術分析装置が備える各部(ソフトウェア要素)として動作させることにより前記戦術分析装置をコンピュータにて実現させる戦術分析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The tactical analysis device according to each aspect of the present invention may be realized by a computer. A control program for a tactical analysis device that is realized by a computer, and a computer-readable recording medium recording it are also included in the scope of the present invention.

本発明の一態様によれば、競技中にプレイヤの今後の戦術を予想することができる。 According to one aspect of the present invention, future tactics of the players can be predicted during the competition.

本発明の一実施形態に係る戦術分析装置の概略構成を示すブロック図である。1 is a block diagram showing a schematic configuration of a tactical analysis device according to one embodiment of the present invention; FIG. 上記戦術分析装置における学習モードでの処理の流れを示すフローチャートである。It is a flow chart which shows the flow of processing in the learning mode in the above-mentioned tactics analysis device. 上記戦術分析装置における競技モードでの処理の流れを示すフローチャートである。It is a flow chart which shows the flow of processing in competition mode in the above-mentioned tactics analysis device. 放送用のカラー映像から変換された白黒映像を重畳して示す図である。FIG. 4 is a diagram showing superimposed black-and-white video converted from broadcast color video; 上記戦術分析装置における戦術取得部が取得する戦術情報を含む画像の一例を示す図である。It is a figure which shows an example of the image containing the tactics information which the tactics acquisition part in the said tactics analysis apparatus acquires. 上記戦術分析装置における戦略推定部および戦術履歴記憶部の概略構成を示すブロック図である。3 is a block diagram showing a schematic configuration of a strategy estimation section and a tactical history storage section in the tactical analysis device; FIG. 上記戦略推定部における学習処理の流れを示すフローチャートである。4 is a flow chart showing a flow of learning processing in the strategy estimation unit; 上記戦術取得部が取得した戦術履歴の一例を表形式で示す図である。It is a figure which shows an example of the tactics log|history which the said tactics acquisition part acquired in tabular form. 本発明の別の実施形態に係る戦術分析装置において、映像からボールを抽出する処理の流れを示すフローチャートである。10 is a flow chart showing the flow of processing for extracting a ball from video in a tactical analysis device according to another embodiment of the present invention. 上記処理における白色ブログ抽出過程により処理されたフレーム画像の一例を示す図である。FIG. 10 is a diagram showing an example of a frame image processed by a white blog extraction process in the above process; 上記処理におけるフレーム間差分検出過程により処理されたフレーム画像の一例を示す図である。FIG. 10 is a diagram showing an example of a frame image processed by the inter-frame difference detection process in the above process;

以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, embodiments of the present invention will be described in detail. For convenience of explanation, members having the same functions as members shown in each embodiment are denoted by the same reference numerals, and descriptions thereof are omitted as appropriate.

〔実施形態1〕
本発明の一実施形態について、図1~図8を参照して説明する。
[Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS. 1-8.

(戦術分析装置の概要)
図1は、本実施形態に係る戦術分析装置の概略構成を示すブロック図である。本実施形態の戦術分析装置10は、映像から対戦相手(プレイヤ)の戦術を取得し分析して、対戦相手の戦略を推定するものである。なお、以下では、上記競技が卓球である場合について説明しているが、これに限定されるものではない。また、卓球のルール等の詳細については、公知であるので、その説明を省略する。
(Overview of tactical analysis equipment)
FIG. 1 is a block diagram showing a schematic configuration of a tactical analysis device according to this embodiment. The tactical analysis device 10 of this embodiment obtains and analyzes the tactics of the opponent (player) from the video, and estimates the strategy of the opponent. In addition, below, although the case where the said game is table tennis is demonstrated, it is not limited to this. Further, the details of the table tennis rules and the like are well known, so the explanation thereof will be omitted.

図1に示すように、戦術分析装置10は、制御部11、記憶部12、および通信部13を有している。制御部11は、戦術分析装置10の各種構成の動作を統括的に制御するものであり、例えばCPU(Central Processing Unit)及びメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。記憶部12は、情報を記録するものであり、ハードディスク、フラッシュメモリ等の記憶デバイスによって構成される。通信部13は、インターネット等の通信ネットワークを介して情報の送受信を行う通信デバイスによって構成される。 As shown in FIG. 1 , the tactical analysis device 10 has a control section 11 , a storage section 12 and a communication section 13 . The control unit 11 comprehensively controls operations of various components of the tactical analysis device 10, and is configured by a computer including a CPU (Central Processing Unit) and memory, for example. Operation control of various configurations is performed by causing a computer to execute a control program. The storage unit 12 records information, and is configured by a storage device such as a hard disk or flash memory. The communication unit 13 is configured by a communication device that transmits and receives information via a communication network such as the Internet.

制御部11は、戦術取得部22と、戦略推定部23とを有している。また、記憶部12は、戦術履歴のデータを記憶する戦術履歴記憶部31を含んでいる。なお、本実施形態では、戦略推定部23の学習モデルに機械学習させる学習モードTMと、機械学習された学習モデルを競技中に利用する競技モードPMと、を含んでいる。 The control unit 11 has a tactic acquisition unit 22 and a strategy estimation unit 23 . The storage unit 12 also includes a tactical history storage unit 31 that stores tactical history data. The present embodiment includes a learning mode TM in which the learning model of the strategy estimating section 23 undergoes machine learning, and a competition mode PM in which the machine-learned learning model is used during the competition.

戦術取得部22は、通信部13を介して取得した映像のデータから、対戦相手の戦術履歴のデータ(戦術の時系列のデータ)を取得するものである。戦術取得部22は、取得した戦術履歴のデータを戦術履歴記憶部31に記憶する。 The tactic acquisition unit 22 acquires tactic history data (time-series data of tactics) of the opponent from video data acquired via the communication unit 13 . The tactic acquisition unit 22 stores the acquired tactic history data in the tactic history storage unit 31 .

具体的には、戦術取得部22は、上記映像から不要なシーンを除去するように処理し、処理された映像から、ボール(移動体)の位置および回転、競技者(移動体)の位置および姿勢、などを特定し、戦術情報とする。次に、戦術取得部22は、これらの戦術情報をラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。そして、戦術取得部22は、取得した対戦相手の戦術履歴のデータを戦術履歴記憶部31に記憶する。 Specifically, the tactical acquisition unit 22 processes to remove unnecessary scenes from the video, and obtains the position and rotation of the ball (moving body), the position and rotation of the player (moving body), and the Posture, etc. are identified and used as tactical information. Next, the tactical acquisition unit 22 acquires this tactical information for each rally, and sets a plurality of pieces of tactical information in a plurality of rallies as a tactical history. Then, the tactic acquisition unit 22 stores the acquired tactic history data of the opponent in the tactic history storage unit 31 .

なお、上記映像は、放送用の映像でも可能である。この場合、特殊なカメラシステムを使用する必要が無い。また、上記映像は、1台のカメラで撮影された映像であってもよいし、複数台のカメラで撮影された複数の映像であってもよい。 Note that the above video can also be a video for broadcasting. In this case, there is no need to use a special camera system. Further, the video may be a video captured by one camera, or may be a plurality of videos captured by a plurality of cameras.

戦略推定部23は、戦術履歴記憶部31に記憶された戦術履歴のデータを用いて、対戦相手の戦略を推定するものである。具体的には、戦略推定部23は、学習モデルを有しており、学習モードTMでは、対戦相手の過去の戦術履歴を用いて上記学習モデルに対し機械学習を行う。一方、競技モードPMでは、戦略推定部23は、対戦相手の競技中の戦術履歴と、機械学習された上記学習モデルとを用いて、対戦相手の戦略を推定する。戦略推定部23は、推定した戦略のデータを、通信部13を介してユーザの端末等の外部の装置に出力する。 The strategy estimating section 23 uses the tactical history data stored in the tactical history storage section 31 to estimate the opponent's strategy. Specifically, the strategy estimation unit 23 has a learning model, and in the learning mode TM, machine learning is performed on the learning model using the opponent's past tactical history. On the other hand, in the competition mode PM, the strategy estimating section 23 estimates the opponent's strategy using the opponent's tactical history during the competition and the machine-learned learning model. The strategy estimation unit 23 outputs the estimated strategy data to an external device such as a user's terminal via the communication unit 13 .

(学習モードでの処理)
図2は、上記構成の戦術分析装置10における学習モードTMでの処理の流れを示すフローチャートである。図2に示す処理は、プレイヤごとに実行される。
(processing in learning mode)
FIG. 2 is a flow chart showing the flow of processing in the learning mode TM in the tactical analysis device 10 configured as described above. The processing shown in FIG. 2 is executed for each player.

図2に示すように、まず、戦術取得部22は、或るプレイヤの過去の競技の映像を収集する(S11)。次に、戦術取得部22は、収集した映像から上記プレイヤの過去の戦術履歴を収集して、戦術履歴記憶部31に記憶する(S12)。 As shown in FIG. 2, first, the tactic acquisition unit 22 collects videos of past games of a certain player (S11). Next, the tactic acquisition unit 22 collects the player's past tactic history from the collected video and stores it in the tactic history storage unit 31 (S12).

次に、戦略推定部23は、戦術履歴記憶部31に記憶された過去の戦術履歴を用いて、学習モデルに対し機械学習を行う(S13)。なお、戦略推定部23は、上記過去の戦術履歴の一部と、機械学習された学習モデルとを用いて、上記プレイヤの戦略を推定し、推定した戦略のデータを、通信部13を介して外部の装置に出力してもよい。その後、学習モードTMでの処理を終了する。 Next, the strategy estimating unit 23 performs machine learning on the learning model using the past tactical history stored in the tactical history storage unit 31 (S13). The strategy estimating unit 23 estimates the player's strategy using a part of the past tactical history and a machine-learned learning model, and transmits data of the estimated strategy via the communication unit 13. You may output to an external device. After that, the processing in the learning mode TM ends.

図3は、上記構成の戦術分析装置10における競技モードPMでの処理の流れを示すフローチャートである。図3に示す処理は、競技中に実行される。 FIG. 3 is a flow chart showing the flow of processing in the competition mode PM in the tactical analysis device 10 having the above configuration. The processing shown in FIG. 3 is executed during the competition.

図3に示すように、まず、戦術取得部22は、対戦相手(プレイヤ)の上記競技中の映像を取得する(S21)。次に、戦術取得部22は、取得した映像から上記対戦相手の競技中の戦術履歴を取得して、戦術履歴記憶部31に記憶する(S22、戦術取得ステップ)。 As shown in FIG. 3, first, the tactic acquisition unit 22 acquires the image of the opponent (player) during the competition (S21). Next, the tactic acquisition unit 22 acquires the tactic history of the opponent during the game from the acquired video, and stores it in the tactic history storage unit 31 (S22, tactic acquisition step).

次に、戦略推定部23は、戦術履歴記憶部31に記憶された競技中の戦術履歴と、図2のステップS13にて機械学習された上記対戦相手の学習モデルとを用いて、上記対戦相手の本競技における戦略を推定する(S23、戦略推定ステップ)。そして、戦略推定部23は、推定した戦略のデータを、通信部13を介して、対戦者またはそのコーチの端末(外部の装置)に出力する(S24)。その後、競技モードPMでの処理を終了する。 Next, the strategy estimating unit 23 uses the tactical history during the game stored in the tactical history storage unit 31 and the learning model of the opponent machine-learned in step S13 of FIG. (S23, strategy estimation step). Then, the strategy estimating unit 23 outputs data of the estimated strategy to the terminal (external device) of the opponent or the coach via the communication unit 13 (S24). After that, the processing in the competition mode PM ends.

従って、本実施形態の戦術分析装置10は、競技中の映像から、該競技における対戦相手の戦術履歴を取得し、取得した戦術履歴と、機械学習された対戦相手の学習モデルと、を用いて、競技中の対戦相手の戦略を推定する。推定された戦略、すなわち戦術の時系列パターンを参照することにより、対戦者またはそのコーチは、対戦相手の今後の戦術を予想することができる。 Therefore, the tactical analysis device 10 of the present embodiment acquires the tactical history of the opponent in the competition from the video during the competition, and uses the acquired tactical history and the machine-learned learning model of the opponent. , to estimate the strategy of the opponent during the competition. By referring to the estimated strategy, that is, the time-series pattern of tactics, the opponent or his coach can predict future tactics of the opponent.

(付記事項)
なお、戦略推定部23は、予め機械学習された上記学習モデルを有してもよい。この場合、学習モードを省略することができる。
(Additional notes)
The strategy estimating unit 23 may have the learning model previously machine-learned. In this case, the learning mode can be omitted.

(戦術取得部の詳細)
次に、戦術取得部22および戦略推定部23の詳細について説明する。
(Details of the tactical acquisition part)
Next, details of the tactic acquisition unit 22 and the strategy estimation unit 23 will be described.

戦術取得部22は、まず、30fpsの放送用の映像から、コマーシャル、競技者(プレイヤ)のクローズアップ画像、スローモーション再生画像等の不要なシーンを除去すると共に、ラリーごとの映像に分割する。次に、戦術取得部22は、カラー映像を白黒映像に変換する。 First, the tactic acquisition unit 22 removes unnecessary scenes such as commercials, close-up images of competitors (players), slow-motion playback images, etc. from the 30 fps broadcast video, and divides the video into videos for each rally. Next, the tactical acquisition unit 22 converts the color video into black-and-white video.

図4は、上記白黒映像を重畳して示す図である。図4から理解できるように、戦術取得部22は、上記白黒映像から、動いている物体、すなわち、ボールおよび競技者の位置を特定して、該ボールおよび該競技者の軌跡を取得可能である。また、戦術取得部22は、上記白黒映像から、競技者の姿勢を取得可能である。また、戦術取得部22は、上記白黒映像から、卓球台の四隅の座標を取得可能である。また、戦術取得部22は、上記白黒映像の左上部から、ゲーム番号、ラリー番号、および今回のラリー直前のスコアを特定可能である。 FIG. 4 is a diagram showing the above black-and-white video superimposed. As can be understood from FIG. 4, the tactical acquisition unit 22 can identify the positions of moving objects, that is, the ball and the player, from the black-and-white video, and acquire the trajectories of the ball and the player. . In addition, the tactic acquisition unit 22 can acquire the player's posture from the black-and-white video. Also, the tactic acquisition unit 22 can acquire the coordinates of the four corners of the table tennis table from the black-and-white video. Also, the tactic acquisition unit 22 can specify the game number, the rally number, and the score immediately before the current rally from the upper left part of the black-and-white video.

次に、戦術取得部22は、上記卓球台の四隅の座標を用いてアフィン変換を行うことにより、上記ボールおよび競技者の軌跡を、映像上の座標から、卓球台を上方から見た平面上の座標に変換する。次に、戦術取得部22は、上記ボールの軌跡から、上記ボールが上記卓球台に着地した位置(着地点)を特定する。特定した位置を時系列順に直線で結ぶことにより、ラリー軌跡が取得される。 Next, the tactic acquisition unit 22 performs affine transformation using the coordinates of the four corners of the ping-pong table, so that the trajectory of the ball and the player is converted from the coordinates on the image to the trajectories on the plane of the ping-pong table viewed from above. to the coordinates of Next, the tactic acquisition unit 22 identifies the position (landing point) where the ball lands on the table tennis table from the trajectory of the ball. A rally trajectory is acquired by connecting the identified positions with straight lines in chronological order.

また、戦術取得部22は、上記ボールおよび上記競技者の軌跡と、上記競技者の姿勢とから、サーブのスタイルおよびボール回転を特定する。上記サーブのスタイルの一例としては、フォアハンド、バックハンド、フック等が挙げられる。上記サーブのボール回転の一例としては、右横回転および左横回転、上回転および下回転、これらの組合せ、ナックル(無回転)等が挙げられる。なお、上記フックとは、ボールを投げ上げ、落ちてくるボールに対してラケットを立てて、ラケットの何れかの面でボールを擦りサービングする技術をいう。 Also, the tactic acquisition unit 22 identifies the style of serving and the rotation of the ball from the trajectory of the ball and the player, and the posture of the player. Examples of the above serve styles include forehands, backhands, hooks, and the like. Examples of ball rotations in the above serve include right lateral rotation and left lateral rotation, upward rotation and downward rotation, combinations thereof, knuckles (no rotation), and the like. The above-mentioned hook refers to a technique of throwing up a ball, standing a racket against the falling ball, and rubbing the ball with either side of the racket to serve.

そして、戦術取得部22は、上記ラリー軌跡、上記サーブのスタイル、および上記サーブのボール回転を戦術情報としてラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。学習モードTMでは、戦術取得部22は、過去の複数の試合における複数の戦術履歴のデータを、後述の学習用データとして、戦術履歴記憶部31に記憶する。一方、競技モードPMでは、競技中の戦術履歴(例えば、1ゲームの戦術履歴)のデータを、後述の評価用データとして、戦術履歴記憶部31に記憶する。実施例では、これらの処理を、Anaconda Python 3.5.2、OpenCV 3.1.0、easygui、およびtqdmのプログラムを用いて実現することができた。 Then, the tactical acquisition unit 22 acquires the rally trajectory, the style of the serve, and the ball rotation of the serve as tactical information for each rally, and sets a plurality of pieces of tactical information in a plurality of rallies as a tactical history. In the learning mode TM, the tactic acquisition unit 22 stores a plurality of tactic history data in a plurality of past matches in the tactic history storage unit 31 as learning data described later. On the other hand, in the competition mode PM, the data of the tactical history during the competition (for example, the tactical history of one game) is stored in the tactical history storage unit 31 as evaluation data, which will be described later. In the examples, these processes could be realized using Anaconda Python 3.5.2, OpenCV 3.1.0, easygui, and tqdm programs.

図5は、上記戦術情報を含む画像の一例を示す図である。図5に示すように、上記画像の左部には、卓球台を示す枠とラリー軌跡とが含まれ、上記画像の右中央部には上記ラリー軌跡の凡例が含まれている。上記画像では、サーブのラリー軌跡が実線で示され、最後のラリー軌跡が二点鎖線で示され、上記サーブのラリー軌跡と上記最後のラリー軌跡との間のラリー軌跡が一点鎖線で示されている。上記ラリー軌跡の下方にはサーブのボール回転が含まれている。図5の例では、上記サーブのボール回転は、右横下回転(Clockwise side back spin)である。 FIG. 5 is a diagram showing an example of an image containing the tactical information. As shown in FIG. 5, the left portion of the image includes a frame indicating the table tennis table and the rally trajectory, and the right center portion of the image includes a legend of the rally trajectory. In the above image, the rally trajectory of the serve is indicated by a solid line, the final rally trajectory is indicated by a two-dot chain line, and the rally trajectory between the rally trajectory of the serve and the last rally trajectory is indicated by a one-dot chain line. there is The ball rotation of the serve is included below the rally trajectory. In the example of FIG. 5, the ball spin of the serve is a Clockwise side back spin.

上記画像の右上部には、サーバ(Server)の名前、レシーバ(Receiver)の名前、ゲーム(Game)番号、およびラリー(Rally)番号が上から順番に含まれている。また、上記画像の右下部には、本ラリー前のスコア(Score before the rally)、サーブのスタイル(Serve style)、および上記サーブのボール回転(Ball rotation of serve)が上から順番に含まれている。 The upper right part of the above image contains the name of the server, the name of the receiver, the game number, and the rally number in order from the top. In the lower right part of the above image, the score before the rally, serve style, and ball rotation of serve are included in order from the top. there is

(戦略推定部の詳細)
図6は、戦略推定部23および戦術履歴記憶部31の概略構成を示すブロック図である。図6に示すように、戦略推定部23は、学習器群41、結果取得部42、仮想データ生成部43、および最終決定部44を含んでいる。また、戦術履歴記憶部31は、学習用データ記憶部51、評価用データ記憶部52、および仮想データ記憶部53を含んでいる。
(Details of Strategy Estimation Department)
FIG. 6 is a block diagram showing a schematic configuration of the strategy estimation section 23 and the tactical history storage section 31. As shown in FIG. As shown in FIG. 6, the strategy estimation unit 23 includes a learning device group 41, a result acquisition unit 42, a virtual data generation unit 43, and a final determination unit 44. The tactic history storage unit 31 also includes a learning data storage unit 51 , an evaluation data storage unit 52 , and a virtual data storage unit 53 .

学習用データ記憶部51は、過去の戦術履歴のデータを学習用データTRDとして記憶している。評価用データ記憶部52は、競技中の戦術履歴のデータを評価用データCHDとして記憶している。 The learning data storage unit 51 stores past strategy history data as learning data TRD. The evaluation data storage unit 52 stores tactic history data during the game as evaluation data CHD.

本実施形態では、上記学習モデルとして、アンサンブル学習型ファジィクラスタリングモデルが利用されている。このため、学習器群41は、機械学習を行うn個の学習器を備えている(nは2以上の整数)。各学習器は、学習モデル(モデル)としてファジィクラスタリングモデルを利用している。ファジィクラスタリングとは、入力されたデータのセットを、if-then型のルールを用いて各クラスに分類し、該クラスの境界を推定するものである。 In this embodiment, an ensemble learning fuzzy clustering model is used as the learning model. Therefore, the learning device group 41 includes n learning devices (n is an integer equal to or greater than 2) that perform machine learning. Each learner uses a fuzzy clustering model as a learning model (model). Fuzzy clustering classifies an input data set into classes using if-then rules, and estimates boundaries of the classes.

学習モードTMでは、第1学習器41aは、学習用データ記憶部51からの学習用データTRDのセットを用いて学習を行い、推定したクラスのセットを結果として出力する。他の学習器41bは、学習用データ記憶部51からの学習用データTRDのセットの一部と、仮想データ記憶部53からの仮想データVDのセットとを用いて学習を行い、推定したクラスのセットを結果として出力する。 In the learning mode TM, the first learning device 41a performs learning using the set of learning data TRD from the learning data storage unit 51, and outputs an estimated class set as a result. The other learning device 41b performs learning using a part of the set of learning data TRD from the learning data storage unit 51 and the set of virtual data VD from the virtual data storage unit 53, and determines the estimated class. Output the set as the result.

また、競技モードPMでは、学習された全ての学習器41a・41bは、評価用データ記憶部52からの評価用データCHDのセットからクラスを推定し、推定したクラスのセットを結果として出力する。 In the competition mode PM, all learned learners 41a and 41b estimate classes from the set of evaluation data CHD from the evaluation data storage unit 52, and output the estimated class set as a result.

結果取得部42は、学習器群41の各学習器41a・41bによって推定されたクラスのセットを取得するものである。結果取得部42は、推定されたクラスのセットを、学習モードでは仮想データ生成部43に送出する一方、競技モードでは最終決定部44に送出する。 The result acquisition unit 42 acquires a set of classes estimated by the learners 41 a and 41 b of the learner group 41 . The result acquisition unit 42 sends the estimated set of classes to the virtual data generation unit 43 in the learning mode, and to the final determination unit 44 in the competition mode.

仮想データ生成部43は、学習用データ記憶部51からの学習用データTRDのセットと、結果取得部42からの推定したクラスのセットとを用いて、仮想データVDのセットを生成するものである。仮想データ生成部43は、生成した仮想データを仮想データ記憶部53に記憶する。 The virtual data generation unit 43 generates a set of virtual data VD using the set of learning data TRD from the learning data storage unit 51 and the set of estimated classes from the result acquisition unit 42. . The virtual data generation unit 43 stores the generated virtual data in the virtual data storage unit 53 .

具体的には、仮想データ生成部43は、まず、学習用データTRDのそれぞれについて、学習用データTRDに含まれる実際のクラスと、上記推定されたクラスとを比較して、クラスの正誤を識別する。次に、誤って推定された学習用データTRD(誤推定データ)と、正しく推定された学習用データTRD(正推定データ)の少なくとも一部とに基づいて、仮想データVDのセットを生成し、生成した仮想データを仮想データ記憶部53に記憶する。 Specifically, the virtual data generator 43 first compares the actual class included in the learning data TRD with the estimated class for each of the learning data TRD to identify whether the class is correct or not. do. Next, generating a set of virtual data VD based on at least part of the erroneously estimated learning data TRD (misestimated data) and the correctly estimated learning data TRD (positive estimated data); The generated virtual data is stored in the virtual data storage unit 53 .

最終決定部44は、評価用データCHDのそれぞれについて、各学習器41a・41bによって推定されたクラスのセットのうち、最多のクラスを、推定したクラスとして最終決定する。最終決定部44は、評価用データCHDのセットに対し推定したクラスのセットを、通信部13を介して外部の装置に送信する。 For each of the evaluation data CHD, the final determination unit 44 finally determines, as the estimated class, the class with the largest number among the sets of classes estimated by the learning devices 41a and 41b. The final determination unit 44 transmits the set of classes estimated for the set of evaluation data CHD to an external device via the communication unit 13 .

~ (学習処理)
図7は、上記構成の戦略推定部23における学習処理の流れを示すフローチャートである。図7に示すように、まず、変数iを1に初期化し(S31)、第i学習器(第1学習器41a)は、学習用データ記憶部51からの学習用データTRDのセットを用いて学習を行う(S32)。
~ (learning process)
FIG. 7 is a flow chart showing the flow of learning processing in the strategy estimating section 23 configured as described above. As shown in FIG. 7, first, a variable i is initialized to 1 (S31), and the i-th learning device (first learning device 41a) uses the set of learning data TRD from the learning data storage unit 51 to Learning is performed (S32).

次に、仮想データ生成部43は、学習用データTRDのそれぞれについて、第i学習器が推定したクラスと実際のクラスとを比較して、クラスの正誤を判定する(S33)。次に、正しく推定された割合が閾値以上である場合(S34にてYES)、上記学習処理を終了する。 Next, the virtual data generator 43 compares the class estimated by the i-th learner with the actual class for each of the learning data TRD, and determines whether the class is correct or not (S33). Next, if the correctly estimated ratio is equal to or greater than the threshold (YES in S34), the learning process ends.

一方、正しく推定された割合が閾値未満である場合(S34にてNO)、仮想データ生成部43は、誤推定データを含む多次元での座標(空間)上の領域を第(i+1)低推定領域として設定する(S35)。次に、仮想データ生成部43は、第(i+1)低推定領域内に位置する誤推定データおよび正推定データのセットに基づいて、仮想データVDのセットを生成して仮想データ記憶部53に記憶する(S36)。 On the other hand, if the ratio of correctly estimated data is less than the threshold (NO in S34), the virtual data generator 43 estimates the (i+1)-th low-estimated area on the multidimensional coordinate (space) containing the erroneously estimated data. Set as an area (S35). Next, the virtual data generation unit 43 generates a set of virtual data VD based on the set of erroneous estimation data and correct estimation data located in the (i+1)th low estimation region, and stores the set in the virtual data storage unit 53. (S36).

次に、第(i+1)低推定領域内に位置する誤推定データおよび正推定データのセットと、上記仮想データVDのセットとを用いて、第(i+1)学習器(他の学習器41b)が学習を行う(S37)。 Next, the (i+1)-th learner (another learner 41b) uses the set of erroneously estimated data and correct estimated data located in the (i+1)-th low estimation area and the set of the virtual data VD. Learning is performed (S37).

次に、変数iを1だけ増分する(S38)。変数iが所定回数以下である場合(S39にてNO)、ステップS12に戻って上記動作を繰り返す。そして、変数iが所定回数を超えた場合(S39にてYES)、上記学習処理を終了する。 Next, the variable i is incremented by 1 (S38). If the variable i is less than or equal to the predetermined number of times (NO in S39), the process returns to step S12 and repeats the above operations. Then, when the variable i exceeds the predetermined number of times (YES in S39), the learning process ends.

(実施例)
図8は、戦術取得部22が取得した戦術履歴の一例を表形式で示す図である。図8に示す戦術履歴には、第1ゲーム~第4ゲームのそれぞれにおいて、対戦相手がサーバであり、かつ、ポイントを取得した場合の戦術情報が含まれている。すなわち、図8において戦術情報が記載されていない部分は、対戦者がサーバであり、かつ、対戦相手がポイントを取得した場合に該当する。また、図8の例では、戦術情報として、サーブの打法(フォアハンド、バックハンドなど)と、ボールの回転と、攻撃のタイプとを含んでいる。
(Example)
FIG. 8 is a diagram showing an example of the tactical history acquired by the tactical acquisition unit 22 in tabular form. The tactical history shown in FIG. 8 includes tactical information when the opponent is the server and points are obtained in each of the first to fourth games. That is, the part where the tactical information is not described in FIG. 8 corresponds to the case where the opponent is the server and the opponent has obtained points. In addition, in the example of FIG. 8, the tactical information includes the hitting method of the serve (forehand, backhand, etc.), the rotation of the ball, and the type of attack.

図8に示す戦術履歴を学習用データTRDとして、戦略推定部23が学習処理を行い、推定したクラスのセットの一例として、下記のものが挙げられる。 The strategy estimation unit 23 performs learning processing using the tactical history shown in FIG. 8 as learning data TRD, and the following is an example of a set of classes estimated.

If ゲーム番号 is Small and ラリー番号 is Small, then (フォア+右横下)サーブ is Large.
If ゲーム番号 is Small and ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Large, then (A or V)攻撃 is Large.
If ゲーム番号 is Large, then サーブ種類 is Large.
次に、戦術取得部22が、第1ゲームおよび第2ゲームの映像から、図8における第1ゲームおよび第2ゲームの戦術履歴を取得したとする。そして、戦略推定部23は、図8における第1ゲームおよび第2ゲームの戦術履歴を評価用データCHDのセットとして、上記クラスのセットが推定されたとする。
If Game Number is Small and Rally Number is Small, then (Forehand + Right Side Down) Serve is Large.
If Game Number is Small and Rally Number is Small, then (N or V) Attack is Large.
If Rally Number is Small, then (N or V) Attack is Large.
If Rally Number is Large, then (A or V) Attack is Large.
If Game Number is Large, then Serve Type is Large.
Next, it is assumed that the tactical acquisition unit 22 acquires the tactical history of the first game and the second game in FIG. 8 from the images of the first game and the second game. Then, it is assumed that the strategy estimation unit 23 has estimated the set of classes by using the tactical histories of the first game and the second game in FIG. 8 as a set of the evaluation data CHD.

この場合、第2ゲームが終了した時点で、上記クラスのセットを対戦者またはそのコーチが参照すれば、対戦相手の第3ゲーム以降の戦略を下記(a)・(b)のように予想することができる。 In this case, at the end of the second game, if the opponent or his coach refers to the set of the above class, the opponent's strategy from the third game onwards will be predicted as follows (a) and (b). be able to.

(a)前半のラリーではN攻撃またはV攻撃を行う傾向にあり、後半のラリーではA攻撃またはV攻撃を行う傾向にある。 (a) In the first half of the rally, they tend to use the N attack or V attack, and in the latter half of the rally, they tend to use the A attack or V attack.

(b)ゲームが進むにつれて、サーブの種類が多くなる。 (b) As the game progresses, the types of serves increase.

上記(a)はゲーム内の戦略であり、上記(b)はゲーム間の戦略である。このように、上記ゲーム内の戦略および上記ゲーム間の戦略を予想できるので、本試合における対戦相手の今後の戦略を良好に予想することができる。 The above (a) is an intra-game strategy, and the above (b) is an inter-game strategy. In this way, since the intra-game strategy and the inter-game strategy can be predicted, the future strategy of the opponent in the main match can be predicted well.

従って、本実施形態の戦術分析装置10の学習器群41では、複数の学習器41a・41bを統合的に組み合わせて、機械学習が行われているので、他の学習モデルに比べて、戦略の推定精度を向上させることができる。また、複数の学習器41a・41bのそれぞれは、学習モデルとしてファジィクラスタリングを利用しているので、推定された戦略は、ファジィルール(IF THENルール)で提供されることになる。従って、対戦者またはそのコーチは、今後の戦術を容易に予想することができる。 Therefore, in the learning device group 41 of the tactical analysis device 10 of the present embodiment, machine learning is performed by integrally combining a plurality of learning devices 41a and 41b. Estimation accuracy can be improved. Also, since each of the plurality of learners 41a and 41b uses fuzzy clustering as a learning model, the estimated strategy is provided by fuzzy rules (IF THEN rules). Therefore, opponents or their coaches can easily anticipate future tactics.

また、機械学習された第(i-1)学習器(iは2以上n以下の整数)によって推定された推定データに基づいて仮想データVDが生成され、該仮想データVDと学習用データTRDとを用いて、第i学習器41bが機械学習される。これにより、機械学習を行うためのデータを増加させることができるので、戦略の推定精度をさらに向上させることができる。 Further, virtual data VD is generated based on estimated data estimated by the (i−1)th learner (i is an integer of 2 or more and n or less) subjected to machine learning, and the virtual data VD and the learning data TRD are generated. is used to machine-learn the i-th learner 41b. As a result, it is possible to increase the data for performing machine learning, so that the strategy estimation accuracy can be further improved.

〔実施形態2〕
本発明の別の実施形態について、図9~図11を参照して説明する。本実施形態の戦術分析装置10は、図1~図8に示す戦術分析装置10に比べて、戦術取得部22において、映像からボールおよび競技者の軌跡を取得する動作が異なり、その他は同様である。
[Embodiment 2]
Another embodiment of the invention is described with reference to FIGS. 9-11. The tactical analysis device 10 of this embodiment differs from the tactical analysis device 10 shown in FIGS. be.

図9は、本実施形態の戦術分析装置10の戦術取得部22において、映像からボールを抽出する処理の流れを示すフローチャートである。本実施形態では、ボールの軌跡は、ラリーごとに自動分割された放送用映像から、白色ボールのための白色映像検出過程(S40)とフレーム間差分検出過程(S45)とにより推定される。 FIG. 9 is a flow chart showing the flow of processing for extracting a ball from video in the tactical acquisition unit 22 of the tactical analysis device 10 of this embodiment. In this embodiment, the trajectory of the ball is estimated from the broadcast video automatically divided for each rally by the white video detection process (S40) for the white ball and the inter-frame difference detection process (S45).

図9に示すように、白色映像検出過程(S40)では,まず,RGBのそれぞれのカラースケールに閾値処理を行うことによって、白色部分の映像を抽出する(S41)。 As shown in FIG. 9, in the white image detection process (S40), first, a white portion image is extracted by performing threshold processing on each color scale of RGB (S41).

次に、CenterNetの学習によって競技者の骨格位置を推定する(S42)。CenterNetへの入力は、MP4形式の動画であり、CenterNetからの出力は17点の2次元の骨格位置座標と、骨格領域全体を指定する2点の2次元座標である。従って、2名の競技者の場合、出力変数の数は、(17×2+2×2)×2=76個となる。ステップS42により、競技者の挙動を精度よく推定できるので、競技者の戦術を精度よく推定することができる。 Next, the skeletal position of the athlete is estimated by CenterNet learning (S42). The input to CenterNet is a moving image in MP4 format, and the output from CenterNet is 17 points of two-dimensional skeleton position coordinates and two points of two-dimensional coordinates that specify the entire skeleton region. Therefore, for two players, the number of output variables is (17×2+2×2)×2=76. Since step S42 can accurately estimate the behavior of the player, it is possible to accurately estimate the tactics of the player.

そして、競技者のラケット、テーピング、ゼッケン文字、靴等の白色ボール以外の白色ブログを消去することにより、白色ボールの白色ブログを検出する(S43)。 Then, the white blog of the white ball is detected by deleting the white blog of the player's racket, taping, bib characters, shoes, etc. other than the white ball (S43).

図10は、白色ブログ抽出過程(S40)により処理されたフレーム画像の一例を示す図である。図10を参照すると、競技者の骨格および白色ボールだけでなく、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、幾つかの白色ブログ部分が検出されていることが理解できる。 FIG. 10 is a diagram showing an example of a frame image processed by the white blog extraction process (S40). Referring to FIG. 10, it can be understood that not only the skeleton of the player and the white ball, but also several white blog parts such as the white frame of the ping-pong table, the white part of the top of the net, and the white score frame are detected. .

一方、フレーム間差分検出過程(S45)では、図9に示すように、まず、現フレームの画像と7フレーム前の画像との間でRGBのカラースケールの差分を計算する(S46)。次に、白色映像検出過程(S40)のステップS42と同様の処理を行う(S47)。次に、ステップS47にて推定された競技者の骨格位置座標から、競技者の上記白色ボール以外の白色ブログを消去することにより、骨格領域以外の白色ブログを検出する(S48)。 On the other hand, in the inter-frame difference detection process (S45), as shown in FIG. 9, first, the difference in RGB color scale between the image of the current frame and the image seven frames before is calculated (S46). Next, the same process as step S42 of the white image detection process (S40) is performed (S47). Next, white blogs other than the skeleton region of the player are detected by deleting the white blogs of the player other than the white ball from the position coordinates of the player's skeleton estimated in step S47 (S48).

図11は、フレーム間差分検出過程(S45)により処理されたフレーム画像の一例を示す図である。図11を参照すると、競技者の骨格および白色ボールのみが検出され、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、他の白色ブログ部分が消去されていることが理解できる。従って、白色映像検出過程(S40)とフレーム間差分検出過程(S45)とにより、白色ボールの位置を検出することができる。 FIG. 11 is a diagram showing an example of a frame image processed by the inter-frame difference detection process (S45). Referring to FIG. 11, it can be understood that only the skeleton of the player and the white ball are detected, and other white blog parts such as the white frame of the ping-pong table, the white part of the top of the net, the white part of the scoring frame, etc. are deleted. . Therefore, the position of the white ball can be detected by the white image detection process (S40) and the inter-frame difference detection process (S45).

白色映像検出過程(S40)およびフレーム間差分検出過程(S45)の後に、次フレームのボール位置を推定する(S51)。この推定は、現フレームのボール位置から半径80ピクセルの円領域内であり、かつ、卓球台の範囲から10ピクセル分縮小した内部範囲における白色ブログ部分(ボール候補群)に限定して、白色ボールの白色ブログを抽出することにより行われる。なお、検出が不能の場合には、1フレームごとに上記半径を20ピクセルずつ拡大して、上記推定を行う。そして、カルマンフィルタ、バイキューブ補間法等を用いて、ボールが競技者の身体等に隠れている場合(オクルージョン)におけるボール位置の補間を行い、ボールの軌跡の位置座標を推定する(S52)。その後の処理は、図1~図8に示す戦術分析装置10と同様である。 After the white image detection process (S40) and the inter-frame difference detection process (S45), the ball position of the next frame is estimated (S51). This estimation is limited to a white blog portion (ball candidate group) within a circular area with a radius of 80 pixels from the ball position in the current frame and within an inner range reduced by 10 pixels from the range of the ping-pong table. This is done by extracting the white blogs of If detection is not possible, the radius is expanded by 20 pixels for each frame, and the above estimation is performed. Then, using the Kalman filter, the bi-cube interpolation method, etc., the ball position is interpolated when the ball is hidden behind the player's body (occlusion), and the position coordinates of the ball trajectory are estimated (S52). Subsequent processing is the same as that of the tactical analysis device 10 shown in FIGS.

(付記事項)
ところで、ボールおよび競技者の軌跡は、位置(代表点)の時系列データで示されるが、該時系列データの長さは、ラリー回数、経過時間等によって異なる。そこで、戦術取得部22は、上記時系列データを特異値分解することにより算出された特異値を、戦術情報としてラリーごとに取得してもよい。この場合、上記時系列データの時間長さが異なっていても、対戦相手の戦術を取得することができる。
(Additional notes)
By the way, the trajectories of the ball and the players are indicated by time-series data of positions (representative points), but the length of the time-series data varies depending on the number of rallies, elapsed time, and the like. Therefore, the strategy acquisition unit 22 may acquire singular values calculated by singular value decomposition of the time-series data as strategy information for each rally. In this case, even if the time lengths of the time-series data are different, the tactics of the opponent can be obtained.

また、図3に示す競技モードPMを、競技後に実行してもよい。この場合、今回の試合における対戦者の戦略を推定して分析できるので、上記対戦者との次回の試合に活用することができる。 Also, the competition mode PM shown in FIG. 3 may be executed after the competition. In this case, the opponent's strategy in the current game can be estimated and analyzed, so that it can be utilized in the next game with the above opponent.

また、上記実施形態では、卓球の競技に適用しているが、これに限定されるものではない。上記実施形態は、テニス、野球、サッカー等、ボールを用いた種々の対戦競技に適用可能である。なお、野球の場合、ピッチングの内容が戦術に該当する。また、サッカーの場合、戦術は、プレイヤ単位では無く、プレイヤが所属するチーム単位となる。また、上記実施形態は、レスリング、柔道等、格闘技にも適用可能である。また、上記実施形態では、対戦相手(敵)の戦略を推定しているが、対戦者(味方)の戦略を推定してもよい。 Also, in the above embodiment, the present invention is applied to a table tennis competition, but the present invention is not limited to this. The above embodiments can be applied to various competitions using balls, such as tennis, baseball, and soccer. In the case of baseball, the contents of pitching correspond to tactics. Also, in the case of soccer, tactics are determined not by each player but by the team to which the player belongs. Moreover, the above embodiments can also be applied to martial arts such as wrestling and judo. Also, in the above embodiment, the strategy of the opponent (enemy) is estimated, but the strategy of the opponent (ally) may be estimated.

〔ソフトウェアによる実現例〕
戦術分析装置10(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部11に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
[Example of realization by software]
The function of the tactical analysis device 10 (hereinafter referred to as "device") is a program for causing a computer to function as the device, and the computer is used as each control block (especially each part included in the control unit 11) of the device. It can be realized by a program for functioning.

この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。 In this case, the apparatus comprises a computer having at least one control device (eg processor) and at least one storage device (eg memory) as hardware for executing the program. Each function described in each of the above embodiments is realized by executing the above program using the control device and the storage device.

上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。 The program may be recorded on one or more computer-readable recording media, not temporary. The recording medium may or may not be included in the device. In the latter case, the program may be supplied to the device via any transmission medium, wired or wireless.

また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Also, part or all of the functions of the above control blocks can be realized by logic circuits. For example, integrated circuits in which logic circuits functioning as the control blocks described above are formed are also included in the scope of the present invention. In addition, it is also possible to implement the functions of the control blocks described above by, for example, a quantum computer.

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, but can be modified in various ways within the scope of the claims, and can be obtained by appropriately combining technical means disclosed in different embodiments. is also included in the technical scope of the present invention.

本発明の態様によると、例えば、以下のような事が可能となる。すなわち、(1)放送映像から、対戦相手のこれまでのデータを分析し、対戦相手の次の戦略を予測できるので、対戦者は、どのような攻撃、防御をすればよいのかが認識できる。(2)第1ゲームの結果を即座に分析できる。そのために、対戦者のコーチは、第2ゲームでどのような攻撃をすればよいのかを、第2ゲームの途中で、対戦者にアドバイスすることができる。(3)トッププレイヤの戦略を参照できるので、選手の育成にも活用することができる。 According to aspects of the present invention, for example, the following becomes possible. (1) From the broadcast video, it is possible to analyze the opponent's past data and predict the opponent's next strategy, so the opponent can recognize what kind of attack and defense should be done. (2) the results of the first game can be analyzed immediately; Therefore, the opponent's coach can give advice to the opponent during the second game as to what kind of attacks should be made in the second game. (3) Since the strategy of the top players can be referred to, it can also be used for player development.

10 戦術分析装置
11 制御部
12 記憶部
13 通信部
22 戦術取得部
23 戦略推定部
31 戦術履歴記憶部
41 学習器群
41a・41b 学習器
42 結果取得部
43 仮想データ生成部
44 最終決定部
51 学習用データ記憶部
52 評価用データ記憶部
53 仮想データ記憶部
10 Tactical analysis device 11 Control unit 12 Storage unit 13 Communication unit 22 Tactics acquisition unit 23 Strategy estimation unit 31 Tactics history storage unit 41 Learning device group 41a, 41b Learning device 42 Result acquisition unit 43 Virtual data generation unit 44 Final decision unit 51 Learning evaluation data storage unit 52 evaluation data storage unit 53 virtual data storage unit

Claims (9)

競技におけるプレイヤの戦術を分析する戦術分析装置であって、
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、
過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える戦術分析装置。
A tactical analysis device for analyzing a player's tactics in a competition,
a tactic acquisition unit that acquires the tactical history of the player in the competition from the video of the competition;
Using the player's learning model in which a strategy, which is a time-series pattern of tactics, is machine-learned using the player's tactical history in the past competition, and the tactical history acquired by the tactical acquisition unit, and a strategy estimator for estimating the player's strategy for the game.
前記戦術取得部は、前記映像から戦術に関する代表点の時系列データを抽出し、前記抽出した時系列データを特異値分解することにより、前記プレイヤの戦術を取得する、請求項1に記載の戦術分析装置。 2. The tactic according to claim 1, wherein said tactic acquisition unit acquires said player's tactic by extracting time-series data of representative points related to tactics from said video and performing singular value decomposition on said extracted time-series data. Analysis equipment. 前記戦術取得部は、前記競技の映像から移動体の軌跡を抽出し、前記抽出した移動体の軌跡に基づいて前記プレイヤの前記戦術を取得し、これを繰り返すことにより、前記プレイヤの戦術履歴を取得する、請求項1または2に記載の戦術分析装置。 The tactic acquisition unit extracts the trajectory of the moving object from the video of the game, acquires the tactic of the player based on the extracted trajectory of the moving object, and repeats this to obtain the tactic history of the player. 3. A tactical analysis device according to claim 1 or 2 for obtaining. 前記移動体は、前記プレイヤを含み、
前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得する、請求項3に記載の戦術分析装置。
the moving object includes the player,
The tactic acquisition unit estimates a trajectory of the player's skeleton by performing machine learning using the video of the game, and acquires at least part of the tactic of the player based on the estimated trajectory of the skeleton. 4. The tactical analyzer of claim 3, wherein the tactical analyzer does.
前記学習モデルは、複数のモデルを統合的に組み合わせて機械学習を行うことにより作成される、請求項1から4の何れか1項に記載の戦術分析装置。 The tactical analysis device according to any one of claims 1 to 4, wherein the learning model is created by performing machine learning by integrally combining a plurality of models. 前記複数のモデルはファジィクラスタリングモデルである、請求項5に記載の戦術分析装置。 6. The tactical analyzer of claim 5, wherein said plurality of models are fuzzy clustering models. 前記学習モデルは、機械学習された前記複数のモデルの或るモデルによって推定された推定データに基づいて仮想データが生成され、前記仮想データと学習用データとを用いて、前記複数のモデルの別のモデルが機械学習されることにより作成される、請求項5または6に記載の戦術分析装置。 In the learning model, virtual data is generated based on estimated data estimated by a certain model of the plurality of models subjected to machine learning, and the virtual data and the learning data are used to generate another model of the plurality of models. 7. The tactical analysis device according to claim 5 or 6, wherein the model of is created by machine learning. 競技におけるプレイヤの戦術を分析する戦術分析装置の制御方法であって、
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、
過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む戦術分析装置の制御方法。
A control method for a tactical analysis device that analyzes a player's tactics in a game, comprising:
a tactical acquisition step of acquiring the tactical history of the player in the competition from the video of the competition;
Using a learning model in which a strategy, which is a time-series pattern of tactics, is machine-learned using the player's tactical history in the past competition, and the tactical history acquired in the tactical acquisition step, and a strategy estimation step of estimating a strategy of said player in a game.
請求項1に記載の戦術分析装置としてコンピュータを機能させるための制御プログラムであって、前記戦術取得部および前記戦略推定部としてコンピュータを機能させるための制御プログラム。 A control program for causing a computer to function as the tactical analysis device according to claim 1, the control program for causing the computer to function as the tactical acquisition unit and the strategy estimation unit.
JP2021152431A 2021-09-17 2021-09-17 Tactical analyzer and method for controlling the same, and control program Pending JP2023044410A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021152431A JP2023044410A (en) 2021-09-17 2021-09-17 Tactical analyzer and method for controlling the same, and control program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021152431A JP2023044410A (en) 2021-09-17 2021-09-17 Tactical analyzer and method for controlling the same, and control program

Publications (1)

Publication Number Publication Date
JP2023044410A true JP2023044410A (en) 2023-03-30

Family

ID=85725639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021152431A Pending JP2023044410A (en) 2021-09-17 2021-09-17 Tactical analyzer and method for controlling the same, and control program

Country Status (1)

Country Link
JP (1) JP2023044410A (en)

Similar Documents

Publication Publication Date Title
US11544928B2 (en) Athlete style recognition system and method
Huang et al. Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications
CN111444890A (en) Sports data analysis system and method based on machine learning
US9473748B2 (en) Video tracking of baseball players to determine the end of a half-inning
US11967086B2 (en) Player trajectory generation via multiple camera player tracking
US11839805B2 (en) Computer vision and artificial intelligence applications in basketball
US9007463B2 (en) Video tracking of baseball players which identifies merged participants based on participant roles
JP6677319B2 (en) Sports motion analysis support system, method and program
JPWO2019225415A1 (en) Ball game video analysis device and ball game video analysis method
US20170206932A1 (en) Video processing method, and video processing device
WO2020235339A1 (en) Play analyzing device, and play analyzing method
Sangüesa et al. Identifying basketball plays from sensor data; towards a low-cost automatic extraction of advanced statistics
Hsu et al. Coachai: A project for microscopic badminton match data collection and tactical analysis
Bandara et al. Strokes classification in cricket batting videos
JP4546762B2 (en) Video event discriminating learning data generating device and program thereof, and video event discriminating device and program thereof
US20230377336A1 (en) Method of operating server providing sports video-based platform service
JP7345108B2 (en) Play analysis device, play analysis method, and computer program
JP2023044410A (en) Tactical analyzer and method for controlling the same, and control program
JP6677320B2 (en) Sports motion analysis support system, method and program
US20170154441A1 (en) Orientation estimation method, and orientation estimation device
JP2020054747A (en) Play analysis device and play analysis method
KR102299459B1 (en) Apparatus and method for analysis of baseball game and method for generating summarization video
JP2021000216A (en) Play analysis device, play analysis method, and computer program
Passos et al. Dyadic systems as dynamic systems in individual and team sports
WO2023106201A1 (en) Play analysis device, play analysis method, and computer-readable storage medium