JP2008165636A - Parameter information preparation device, parameter information preparation program, event detection device, and event detection program - Google Patents
Parameter information preparation device, parameter information preparation program, event detection device, and event detection program Download PDFInfo
- Publication number
- JP2008165636A JP2008165636A JP2006356572A JP2006356572A JP2008165636A JP 2008165636 A JP2008165636 A JP 2008165636A JP 2006356572 A JP2006356572 A JP 2006356572A JP 2006356572 A JP2006356572 A JP 2006356572A JP 2008165636 A JP2008165636 A JP 2008165636A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- information
- event
- parameter
- subjects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、映像データからイベントを検出する際に用いるパラメータ情報を作成するパラメータ情報作成装置及びパラメータ情報作成プログラム、並びに、作成したパラメータ情報を用いてイベントを検出するイベント検出装置及びイベント検出プログラムに関する。 The present invention relates to a parameter information creation device and a parameter information creation program for creating parameter information used when detecting an event from video data, and an event detection device and an event detection program for detecting an event using the created parameter information. .
従来、映像データ（特に、スポーツを取り扱ったスポーツ映像データ）からイベントを検出する手法として、当該映像データを取得した際に用いたカメラのパン、チルト、ズーム操作等やカメラワークの遷移等による画角・構図の変化、撮影方向の変化を、当該映像データから検出し、この検出した結果からイベントを検出する手法がある（例えば、非特許文献１参照）。 Conventionally, as a method for detecting an event from video data (especially sports video data dealing with sports), an image obtained by panning, tilting, zooming, or the like of a camera used when acquiring the video data or a camera work transition is used. There is a technique for detecting a change in angle / composition and a change in shooting direction from the video data, and detecting an event from the detected result (see, for example, Non-Patent Document 1).
また、イベントを検出する従来の手法には、これら画角・構図の変化、撮影方向の変化に加え、映像データに含まれる色彩、映像データのカット点等に基づいて、映像データの重要性を判別したり、映像データの分野（ニュース、スポーツ中継等の分野）を判別したりするものがある（例えば、特許文献１、２参照）。 In addition, in the conventional method of detecting an event, in addition to the change in the angle of view / composition and the change in the shooting direction, the importance of the video data is determined based on the color included in the video data, the cut point of the video data, etc. Some discriminates and discriminates the field of video data (the field of news, sports broadcasting, etc.) (see, for example, Patent Documents 1 and 2).
なお、ここでいうイベントとは、例えば、映像データがスポーツ映像データであり、サッカーに関するものであった場合、コーナーキック、ゴールキック等を指すものであり、スポーツ固有のものである。また、映像データが、スポーツ映像データ以外のものである場合、特定のシーン等を指すものである。 The event here refers to, for example, a corner kick, a goal kick, etc. when the video data is sports video data and is related to soccer, and is specific to sports. In addition, when the video data is other than sports video data, it indicates a specific scene or the like.
さらに、スポーツ映像データからイベントを検出する従来の手法には、選手に関する特徴量からイベントの種別及びタイミングを検出する手法があり、選手位置及び選手の移動速度から、瞬時の状況（フォーメーション）を解析する手法がある（例えば、特許文献３参照）。 In addition, conventional methods for detecting events from sports video data include methods for detecting event types and timing from feature quantities related to athletes, and analyzing the instantaneous situation (formation) based on player positions and player movement speeds. (For example, refer to Patent Document 3).
さらにまた、イベントを検出する従来の手法には、イベントを推測するルールベースとなるイベント推測手段をモジュール化し、このモジュール化したイベント推測手段を使い分けることにより、様々な分野のイベント検出に対応可能な手法もある（例えば、特許文献４）。
しかしながら、非特許文献１、特許文献１及び特許文献２に開示されている手法は、カメラのカメラワークに基づいて間接的にシーンを判別するものであるため、カメラを取り扱っているカメラマンの技量差や演出上の意図によって、意に反したイベント検出結果が出力されてしまうという問題がある。
However, since the methods disclosed in Non-Patent Document 1, Patent Document 1 and
例えば、特許文献１に開示されている手法では、イベントを検出する際に、映像データに含まれる色彩や映像データのカット点による映像スイッチング（切り替え）を参照することもできるが、映像データに含まれる被写体単位の動きを解析するものではないため、スポーツの詳細なイベントの判別には向かないと言え、最適なイベント検出結果が得られない。 For example, in the method disclosed in Patent Literature 1, when an event is detected, video switching (switching) based on a color included in video data or a cut point of the video data can be referred to. Since it is not intended to analyze the movement of the subject unit, it can be said that it is not suitable for discriminating detailed sports events, and an optimal event detection result cannot be obtained.
また、特許文献３に開示されている手法は、選手位置及び選手の移動速度から、瞬時の状況（フォーメーション）を解析することで、特徴量とイベントとの間の依存関係を考慮することができるが、イベント相互の時間的な依存関係を考慮することができないため、時間遷移に注目したイベントの検出を行うことができないという問題がある。この特許文献３に開示されている手法は、イベントを検出する際に用いるルールやモデルに付随するパラメータを主観的に与える必要があり、場合によっては意に反したイベント検出結果が出力されてしまうという問題がある。 Further, the method disclosed in Patent Document 3 can take into account the dependency between the feature amount and the event by analyzing the instantaneous situation (formation) from the player position and the moving speed of the player. However, there is a problem in that it is not possible to detect an event focusing on time transitions because the time dependency between events cannot be taken into consideration. The method disclosed in Patent Document 3 needs to subjectively provide parameters associated with rules and models used when detecting an event, and in some cases an unexpected event detection result is output. There is a problem.
さらに、特許文献４に開示されている手法は、イベントを推測するルールベースとなるイベント推測手段をモジュール化することで汎用化を図っているが、このルールベースの構築法自体が主観的であるため、場合によっては意に反したイベント検出結果が出力されてしまうという問題がある Furthermore, the technique disclosed in Patent Document 4 is intended to be generalized by modularizing an event estimation means that is a rule base for estimating an event, but the rule base construction method itself is subjective. Therefore, in some cases, there is a problem that an unexpected event detection result is output.
そこで、本発明では、前記した問題を解決し、客観的に、最適なイベント検出結果を得ることができるイベント検出装置及びイベント検出プログラム、並びに、これらに用いるパラメータ情報を作成するパラメータ情報作成装置及びパラメータ情報作成プログラムを提供することを目的とする。 Therefore, in the present invention, an event detection device and an event detection program that can solve the above-described problems and objectively obtain an optimal event detection result, and a parameter information generation device that generates parameter information used for these, and An object is to provide a parameter information creation program.
前記課題を解決するため、請求項１に記載のパラメータ情報作成装置は、映像データから検出するイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成するパラメータ情報作成装置であって、被写体位置情報作成手段と、特徴量情報作成手段と、パラメータ情報作成手段と、を備える構成とした。 In order to solve the above-described problem, the parameter information creation device according to claim 1 is a parameter information creation device that creates parameter information associated with a statistical model used when calculating an occurrence probability of an event detected from video data. Thus, the subject position information creating unit, the feature amount information creating unit, and the parameter information creating unit are provided.
かかる構成によれば、パラメータ情報作成装置は、被写体位置情報作成手段によって、映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、パラメータ情報作成装置は、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、パラメータ情報作成装置は、パラメータ情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて、統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとにパラメータ情報を作成する。 According to such a configuration, the parameter information creation device extracts the position of the subject from each frame constituting the video data by the subject position information creation means by a preset extraction method, and the position of the subject included in the frame Create information. Subsequently, the parameter information creation device uses the feature amount information creation means to calculate the number of subjects included in the frame, the average position of the subjects, and the average position of the subjects from each of the subject position information created by the subject position information creation means. Covariance matrix, subject speed, subject speed covariance matrix, presence / absence or number of the subject included in the specific location set in the frame, number of the specific type of subject, specific type of the subject The average position, the covariance matrix of the average position of the subject of the specific type, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the specific type included in the specific location set in the frame The feature amount information including at least one of the presence / absence or the number of the subject is created. Then, the parameter information creation device samples the parameter corresponding to the statistical model using the feature amount information created by the feature amount information creation unit by the parameter information creation unit, and from the sampled parameter to the statistical model Create parameter information for each included state transition.
請求項２に記載のパラメータ情報作成装置は、請求項１に記載のパラメータ情報作成装置において、前記映像データがスポーツに関する映像データであり、前記被写体が当該スポーツの選手であることを特徴とする。 A parameter information creating apparatus according to a second aspect is the parameter information creating apparatus according to the first aspect, wherein the video data is video data relating to sports, and the subject is a player of the sports.
かかる構成によれば、パラメータ情報作成装置は、映像データがスポーツに関する映像データ、すなわち、サッカーや野球等のスポーツ番組等であった場合に、被写体である選手の位置情報等によって、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成する。 According to this configuration, when the video data is sports-related video data, i.e., a sports program such as soccer or baseball, the parameter information creation device uses, for example, a goal kick based on the position information of the player who is the subject. Parameter information associated with a statistical model used to calculate the occurrence probability of events such as corner kicks and corner kicks.
請求項３に記載のパラメータ情報作成装置は、請求項１又は２に記載のパラメータ情報作成装置において、前記パラメータ情報作成手段が、前記統計モデルに隠れマルコフモデルを用いた場合、パラメータのサンプリングを、当該隠れマルコフモデルに対するマルコフ連鎖モンテカルロ法又は事後確率最大化法によって行うことを特徴とする。
The parameter information creation device according to claim 3 is the parameter information creation device according to
かかる構成によれば、パラメータ情報作成装置は、マルコフ連鎖モンテカルロ法又は事後確率最大化法を、パラメータをサンプリングする際の学習方法に設定しておくことで、確率・統計的に最も確からしいパラメータ情報を得ることができる。 According to such a configuration, the parameter information creation device sets the Markov chain Monte Carlo method or the posterior probability maximization method as the learning method for sampling the parameters, so that the most probable and statistical parameter information Can be obtained.
請求項４に記載のパラメータ情報作成プログラムは、映像データから検出するイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成するために、コンピュータを、被写体位置情報作成手段、特徴量情報作成手段、パラメータ情報作成手段、として機能させる構成とした。 The parameter information creation program according to claim 4, wherein a computer is used to create parameter information associated with a statistical model used when calculating an occurrence probability of an event detected from video data. A configuration is made to function as quantity information creation means and parameter information creation means.
かかる構成によれば、パラメータ情報作成プログラムは、被写体位置情報作成手段によって、映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、パラメータ情報作成プログラムは、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、パラメータ情報作成プログラムは、パラメータ情報作成手段によって、特徴量情報作成手段で作成された特徴量情報を用いて、統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、パラメータ情報を作成する。 According to such a configuration, the parameter information creation program extracts the position of the subject from each frame constituting the video data by the subject position information creation means by a preset extraction method, and the position of the subject included in the frame Create information. Subsequently, the parameter information creation program uses the feature amount information creation means to calculate the number of subjects included in the frame, the average position of the subjects, and the average position of the subjects from each of the subject position information created by the subject position information creation means. Covariance matrix, subject speed, subject speed covariance matrix, presence / absence or number of the subject included in the specific location set in the frame, number of the specific type of subject, specific type of the subject The average position, the covariance matrix of the average position of the subject of the specific type, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the specific type included in the specific location set in the frame The feature amount information including at least one of the presence / absence or the number of the subject is created. Then, the parameter information creation program samples the parameter corresponding to the statistical model by using the feature amount information created by the feature amount information creation unit, and creates parameter information from the sampled parameter. To do.
請求項５に記載のイベント検出装置は、入力された映像データから映像イベントを検出するために、請求項１から３のいずれか一項に記載のパラメータ情報作成装置で作成されたパラメータ情報を用いて、前記イベントの生起確率を算出するイベント検出装置であって、被写体位置情報作成手段と、特徴量情報作成手段と、イベント生起確率情報作成手段と、検出処理手段と、を備える構成とした。 The event detection device according to claim 5 uses the parameter information created by the parameter information creation device according to any one of claims 1 to 3 in order to detect a video event from the input video data. The event detection apparatus for calculating the event occurrence probability includes a subject position information creation unit, a feature amount information creation unit, an event occurrence probability information creation unit, and a detection processing unit.
かかる構成によれば、イベント検出装置は、被写体位置情報作成手段によって、入力された映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する。続いて、イベント検出装置は、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、イベント検出装置は、イベント生起確率情報作成手段によって、特徴量情報作成手段で作成された特徴量情報と、パラメータ情報作成装置で作成されたパラメータ情報とに基づいて、入力された映像データのイベントの生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成する。その後、イベント検出装置は、検出処理手段によって、イベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、イベントを検出する。 According to such a configuration, the event detection device extracts the position of the subject from each of the frames constituting the input video data by the subject position information creation unit, and extracts the subject included in the frame. Create location information. Subsequently, the event detection apparatus detects the number of subjects included in the frame, the average location of the subjects, and the average location of the subjects from each of the subject location information created by the subject location information creation means by the feature amount information creation means. Covariance matrix, subject speed, subject speed covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average of subjects of a particular type The position, the covariance matrix of the average position of the subject of the specific type, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, and the specific type included in the specific location set in the frame Feature amount information including at least one of the presence or absence or the number of the subject is created. Then, the event detection device uses the event occurrence probability information creation unit to generate the input video data based on the feature amount information created by the feature amount information creation unit and the parameter information created by the parameter information creation device. An event occurrence probability is calculated, and event occurrence probability information is created using the calculated occurrence probability. Thereafter, the event detection apparatus detects the event by the preset event detection method using the event occurrence probability information created by the event occurrence probability information creation means by the detection processing means.
請求項６に記載のイベント検出プログラムは、請求項４に記載のパラメータ情報作成プログラムで作成されたパラメータ情報を用いて、前記イベントの生起確率を算出して、入力された映像データからイベントを検出するために、コンピュータを、被写体位置情報作成手段、特徴量情報作成手段、イベント生起確率情報作成手段、検出処理手段、として機能させる構成とした。 The event detection program according to claim 6 detects the event from the input video data by calculating the occurrence probability of the event using the parameter information created by the parameter information creation program according to claim 4. Therefore, the computer is configured to function as subject position information creation means, feature amount information creation means, event occurrence probability information creation means, and detection processing means.
かかる構成によれば、イベント検出プログラムは、被写体位置情報作成手段によって、入力された映像データを構成するフレームそれぞれから、被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成し、特徴量情報作成手段によって、被写体位置情報作成手段で作成された被写体の位置情報それぞれから、フレーム内に含まれる被写体の個数、被写体の平均位置、被写体の平均位置の共分散行列、被写体の速度、被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する。そして、イベント検出プログラムは、イベント生起確率情報作成手段によって、特徴量情報作成手段で作成された特徴量情報と、パラメータ情報作成装置で作成されたパラメータ情報とに基づいて、入力された映像データのイベントの生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成し、検出処理手段によって、イベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、イベントを検出する。 According to such a configuration, the event detection program extracts the position of the subject from each of the frames constituting the input video data by the subject position information creating unit, and extracts the subject included in the frame. The position information of the subject, the feature amount information creation means, and the subject position information created by the subject position information creation means respectively share the number of subjects included in the frame, the average position of the subject, and the average position of the subject. Variance matrix, subject velocity, subject velocity covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average position of subjects of a particular type , The covariance matrix of the average position of the subject of the specific type, the speed of the subject of the specific type, the speed of the subject of the specific type Covariance matrix of creating a feature quantity information including at least one of the presence, absence or number of the object of a specific type included in the set specific location in the frame. Then, the event detection program, based on the feature amount information created by the feature amount information creating unit and the parameter information created by the parameter information creating device, by the event occurrence probability information creating unit, An event occurrence probability is calculated, event occurrence probability information is created using the calculated occurrence probability, and preset by the detection processing means using the event occurrence probability information created by the event occurrence probability information creating means An event is detected by the event detection method.
請求項１、４に記載の発明によれば、映像データに含まれる被写体の位置情報から、被写体の平均位置や速度等の特徴量情報を作成し、この特徴量情報を用いて予め設定したパラメータ学習方法により、パラメータ情報を作成しているので、統計モデルに付随する客観的なパラメータ情報を得ることができる。そして、このパラメータ情報をイベント検出装置に利用することで、客観的に、最適なイベント検出結果を得ることができる。 According to the first and fourth aspects of the present invention, feature amount information such as the average position and speed of the subject is generated from the position information of the subject included in the video data, and parameters set in advance using the feature amount information are created. Since parameter information is created by the learning method, objective parameter information associated with the statistical model can be obtained. Then, by using this parameter information for the event detection device, an optimal event detection result can be objectively obtained.
請求項２に記載の発明によれば、映像データがサッカーや野球等のスポーツ番組等であった場合に、被写体である選手の位置情報等によって、特徴量情報を作成し、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成することができる。 According to the second aspect of the present invention, when the video data is a sports program such as soccer or baseball, the feature amount information is created based on the position information of the player who is the subject. Parameter information associated with a statistical model used when calculating the occurrence probability of an event such as a corner kick can be created.
請求項３に記載の発明によれば、マルコフ連鎖モンテカルロ法又は事後確率最大化法を用いることで、高次元、且つ、複雑な統計モデルに付随するパラメータ情報を、適切に、複数個、得ることができる。 According to the invention described in claim 3, by using the Markov chain Monte Carlo method or the posterior probability maximization method, it is possible to appropriately obtain a plurality of parameter information associated with a high-dimensional and complicated statistical model. Can do.
請求項５、６に記載の発明によれば、統計モデルに付随する客観的なパラメータ情報を用いているので、客観的に、最適なイベント検出結果を得ることができる。 According to the fifth and sixth aspects of the invention, since the objective parameter information associated with the statistical model is used, an optimal event detection result can be obtained objectively.
次に、本発明の実施形態について、適宜、図面を参照しながら詳細に説明する。
（イベント検出システムの構成）
図１はイベント検出システムのブロック図である。この図１に示すように、イベント検出システムＳは、パラメータ自動獲得装置（パラメータ情報作成装置）１と、スポーツ映像入力装置３と、イベント生起確率算出装置（イベント検出装置）５と、検出イベント出力装置７とを備えている。
Next, embodiments of the present invention will be described in detail with reference to the drawings as appropriate.
(Event detection system configuration)
FIG. 1 is a block diagram of an event detection system. As shown in FIG. 1, an event detection system S includes an automatic parameter acquisition device (parameter information creation device) 1, a sports video input device 3, an event occurrence probability calculation device (event detection device) 5, and a detected event output. Device 7.
このイベント検出システムＳは、スポーツ映像情報（スポーツ映像データ）として、サッカー試合映像情報を用いて、サッカーにおける、ゴールキック、コーナーキック、キックオフ、フリーキック、スローインの５種類のイベントと、これら以外のイベント無し（これもイベントの一つとする）との６種類について、イベントの検出を行うものである。 This event detection system S uses soccer game video information as sports video information (sport video data), and includes five types of events in soccer, goal kick, corner kick, kick-off, free kick, and throw-in, and others Event detection is performed for six types of no event (this is also one of the events).
スポーツ映像情報は、単一又は複数台の撮影装置で撮影されたスポーツ試合の映像情報であり、ここでは、特定の試合（例えば、日本のチーム対外国のチームによるサッカーの国際試合について数年分の試合）を撮影した単一又は複数の動画像の情報で構成されている。 The sports video information is video information of a sports game shot by a single or a plurality of imaging devices. Here, a specific game (for example, several years for an international soccer game by a Japanese team vs. a foreign team) The information of single or a plurality of moving images that photographed (game).
パラメータ自動獲得装置１は、スポーツ映像情報（スポーツ映像データ）からイベントを検出する場合に、当該イベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を自動的に作成するもので、スポーツ映像記録部９と、選手位置追跡部（被写体位置情報作成手段）１１と、特徴量加工部（特徴量情報作成手段）１３と、パラメータ獲得部（パラメータ情報作成手段）１５と、パラメータ記録部１７とを備えている。ちなみに、このパラメータ自動獲得装置１では、パラメータ情報を自動的に作成して、イベント生起確率算出装置５に適宜出力しているので、「獲得」という文言を使用している。なお、このパラメータ自動獲得装置１は、パーソナルコンピュータやサーバといったコンピュータで構成することができる。
The parameter automatic acquisition device 1 automatically creates parameter information associated with a statistical model used when calculating an occurrence probability of an event when detecting an event from sports video information (sports video data). Sports video recording unit 9, player position tracking unit (subject position information creation unit) 11, feature amount processing unit (feature amount information creation unit) 13, parameter acquisition unit (parameter information creation unit) 15,
スポーツ映像記録部９は、単数又は複数のスポーツ映像情報を予め記録しているもので、一般的なハードディスク等によって構成されている。このスポーツ映像記録部９は、記録している単数又は複数のスポーツ映像情報を選手位置追跡部１１に出力する。
The sports video recording unit 9 records one or more sports video information in advance, and is configured by a general hard disk or the like. The sports video recording unit 9 outputs one or more recorded sports video information to the player
選手位置追跡部１１は、スポーツ映像記録部９から出力された単数又は複数のスポーツ映像情報を、読み取り、読み取ったすべてのスポーツ映像情報から、各スポーツ映像情報を構成するフレームに含まれる選手の選手位置情報（位置情報）を作成し、作成した選手位置情報を特徴加工部１３に出力するものである。この選手位置追跡部１１は、スポーツ映像情報を用いて、選手位置情報を高精度に推定可能な手法を採用しており、例えば、特開２００５−２０９１４８号公報に開示されている手法を用いることができる。
The player
選手位置情報は、スポーツ映像情報から作成した情報であり、当該スポーツ映像情報に含まれる全参加選手の時系列情報の集合である。つまり、時刻ｔにおけるフレームに含まれている選手Ａがどの位置（フレームにおける座標）にいて、連続する時刻ｔ＋１におけるフレームには、選手Ａがどの位置にいる（当然、次のフレームには含まれていない場合もある）といった情報の集合である。スポーツ映像情報に審判等が含まれている場合、当該審判等の時系列情報を含んでもよく、球技である場合、ボールの位置の時系列情報を含んでもよい。なお、選手位置追跡部１１は、一つのスポーツ映像情報に対し、一つの選手位置情報を作成する。
The player position information is information created from the sports video information, and is a set of time series information of all participating players included in the sports video information. In other words, the player A included in the frame at time t is located at which position (coordinates in the frame), and the player A is located at the successive frames at time t + 1 (of course, included in the next frame). A set of information). When sports video information includes a referee or the like, time series information such as the referee may be included, and in the case of a ball game, time series information of the position of the ball may be included. The player
特徴量加工部１３は、選手位置追跡部１１から出力された選手位置情報を用いて、各選手位置情報に対応する特徴量情報を作成し、作成したすべての特徴量情報をパラメータ獲得部１５に出力するものである。
The feature
特徴量情報は、選手位置情報から作成した情報であり、選手が所属し対戦しているチーム別に又はチームとは関わりなく両チームについて作成した時系列情報である。
例えば、特徴量情報は、すべての選手の人数（個数）と、すべての選手の位置の平均値（平均位置）と、すべての選手の位置の共分散行列と、すべての選手の速度の平均値（平均速度）と、すべての選手の速度の共分散行列と、特定チーム所属選手（特定種別の被写体）の人数（個数）と、特定チーム所属選手の位置の平均値（平均位置）と、特定チーム所属選手の速度の平均値（平均速度）と、特定チーム所属選手の位置の共分散行列と、特定チーム所属選手の速度の共分散行列と、特定箇所（特定領域）にいる選手人数と、特定箇所にいる選手の有無を表すフラグと、特定箇所に存在する選手人数をチーム区別せずに集計した人数と、特定箇所に存在する選手人数をチームごとに集計した人数と、の少なくとも１つを含んだものである。
The feature amount information is information created from the player position information, and is time-series information created for both teams for each team to which the player belongs and regardless of the team.
For example, the feature amount information includes the number of all players (number), the average value of all player positions (average position), the covariance matrix of all player positions, and the average value of all player speeds. (Average speed), the covariance matrix of the speed of all players, the number (number) of players belonging to a specific team (subject of a specific type), the average value (average position) of the positions of specific team players Average speed (average speed) of players belonging to a team, covariance matrix of positions of players belonging to a specific team, covariance matrix of speeds of players belonging to a specific team, the number of players in a specific location (specific area), At least one of a flag indicating the presence / absence of a player at a specific location, the number of players who are counted in a specific location without distinguishing the team, and the total number of players at a specific location for each team Is included.
なお、この特徴量情報に、選手の種別情報を付加してもよい。この選手の種別情報とは、例えば、所属チームのチーム名や、ゴールキーパーとフィールド上の選手とを区別する情報であり、例えば、左側ゴールキーパーに“０”を割り当て、左側チームフィールド選手に“１”を割り当て、右側ゴールキーパーに“２”を割り当て、右側チームフィールド選手に“３”を割り当てたものでよい。 Note that player type information may be added to the feature amount information. The player type information is, for example, information for distinguishing the team name of the team or the goal keeper from the player on the field. For example, “0” is assigned to the left goal keeper, and “ 1 may be assigned, “2” assigned to the right goalkeeper and “3” assigned to the right team field player.
なお、特定箇所（特定領域）とは、前記したようにスポーツ映像情報がサッカー試合映像情報であり、フレームが長方形であるので、当該フレームに対し、例えば、右側フィールド内、左側フィールド内、ペナルティエリア内、ゴールエリア内、上側タッチライン周辺、下側タッチライン周辺、右上コーナー周辺、右下コーナー周辺、左上コーナー周辺、左下コーナー周辺、センターライン周辺である。その他に、特定箇所とは、センターマーク、ペナルティマーク、ペナルティアーク、センターサークル、ゴールポスト、ゴールライン、ハーフウェイライン、タッチラインとハーフウェイラインとの交点等の局所領域であってもよい。 Note that the specific location (specific area) is, as described above, the sports video information is soccer game video information, and the frame is rectangular. For example, in the right field, the left field, and the penalty area with respect to the frame. These are the inside of the goal area, around the upper touch line, around the lower touch line, around the upper right corner, around the lower right corner, around the upper left corner, around the lower left corner, and around the center line. In addition, the specific portion may be a local area such as a center mark, penalty mark, penalty arc, center circle, goal post, goal line, half way line, or intersection of a touch line and a half way line.
また、特定箇所にいる選手の有無を表すフラグとは、すべての選手位置情報から、競技場内の特定箇所に特定チーム（攻撃側チーム又は守備側チーム）又は任意チーム（攻撃側チーム及び守備側チーム）の選手が存在するか否かを判定したものである。フラグの具体的な例としては、いずれかのコーナー周辺に攻撃側チームの選手がいるか否かを示すフラグが挙げられる。また、タッチライン付近に特定チーム又は任意チームの選手がいるか否か否かを示すフラグが挙げられる。 The flag indicating the presence or absence of a player at a specific location is a specific team (attacking team or defensive team) or an arbitrary team (attacking team or defensive team) at a specific location within the stadium from all player position information. ) Is determined whether or not there is a player. A specific example of the flag is a flag indicating whether or not there is an attacking team player around any corner. Moreover, the flag which shows whether the player of a specific team or arbitrary teams exists in the vicinity of a touch line is mentioned.
そして、特徴量情報は、サッカーが行われているフィールドを、特定箇所群に分割し、それぞれの特定箇所に存在する特定チーム（特定種別）又は任意チーム（任意種別）の選手が何人いるかといった情報を含めてもよい。例えば、当該フィールドを格子状に分割し、各格子の領域内に存在する選手数を特徴量情報に含めることができる。なお、特定箇所群は、クリスプ集合としてもよいし、ファジィ集合としてもよい。 The feature amount information is information such as how many players are in a specific team (specific type) or an arbitrary team (arbitrary type) existing in each specific location by dividing the field where soccer is played into specific location groups. May be included. For example, the field can be divided into a grid, and the number of players existing in each grid area can be included in the feature amount information. The specific location group may be a crisp set or a fuzzy set.
この特徴量加工部１３は、種々の手法により求めた特徴量情報の組（特徴ベクトル）を求め、この特徴量情報の組に対し、予め設定した線形変換を施した結果を、新たな特徴量情報として出力することもできる。例えば、特定チーム（例えば、攻撃側チーム）の選手に関する平均位置をＸ１とし、他方のチーム（この場合、守備側チーム）の選手に関する平均位置Ｘ２とし、新たな特徴量情報をＸとすると、次に示す数式（１）のように求めることができる。
The feature
この数式（１）において、Ａ及びＢは定数として、例えば、Ａ＝−１及びＢ＝１とすることができる。なお、特徴量加工部１３は、一つの選手位置情報に対し、一つの特徴量情報を作成する。
In this mathematical formula (1), A and B can be constants, for example, A = −1 and B = 1. The feature
パラメータ獲得部１５は、特徴量加工部１３から出力された特徴量情報を用いて、予め設定したパラメータ学習方法により、単数又は複数のパラメータ情報を作成し、作成したすべてのパラメータ情報をパラメータ記録部１７に出力するものである。つまり、このパラメータ獲得部１５は、特徴量情報を用いて、単数回又は複数回、パラメータを学習し、学習したすべてのパラメータに対応するパラメータ情報を作成するものである。
The
このパラメータ獲得部１５は、統計モデルに対応したパラメータの候補をサンプリングすることで、パラメータ情報を作成する。なお、パラメータ獲得部１５では、パラメータの候補をサンプリングする際に、学習するのに要する時間や回数を、有限時間や有限回数（後記する規定の回数）として予め設定しておくか、又は、収束していく状態を予め設定しておく（例えば、予めパラメータの個数を規定しておく）必要がある。
The
予め設定したパラメータ学習方法は、入力された情報（ここでは、特徴量情報）を用いた統計的学習法であり、パラメータを単数又は複数学習する方法である。なお、このパラメータ学習方法は、パラメータを効果的に学習できる方法であれば、どの様な方法を採用してもよく、この実施の形態では、マルコフ連鎖モンテカルロ法を採用している。また、このマルコフ連鎖モンテカルロ法に限定されず、事後確率最大化法を採用してもよい。 The preset parameter learning method is a statistical learning method using input information (here, feature amount information), and is a method of learning one or more parameters. Any parameter learning method may be employed as long as it can effectively learn parameters. In this embodiment, the Markov chain Monte Carlo method is employed. The Markov chain Monte Carlo method is not limited, and a posterior probability maximization method may be employed.
ちなみに、マルコフ連鎖モンテカルロ法は、Ｓ．Ｌ．Ｓｃｏｔｔ，“Ｂａｙｅｓｉａｎ Ｍｅｔｈｏｄｓ ｆｏｒ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌｓ：Ｒｅｃｕｒｓｉｖｅ Ｃｏｍｐｕｔｉｎｇ ｉｎ ｔｈｅ ２１ｓｔ Ｃｅｎｔｕｒｙ”，Ｊ．Ａｍ．Ｓｔａｔ．Ａｓｓｏｃ．，ｖｏｌ．９７，ｐｐ．３３７−３５１，２００２．に開示されている手法でよい。
また、事後確率最大化法は、Ｑ．Ｈｕｏ ａｎｄ Ｃ．Ｃｈａｎ，“Ｂａｙｅｓｉａｎ Ａｄａｐｔｉｖｅ Ｌｅａｒｎｉｎｇ ｏｆ ｔｈｅ Ｐａｒａｍｅｔｅｒｓ ｏｆ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｆｏｒ Ｓｐｅｅｃｈ Ｒｅｃｏｇｎｉｔｉｏｎ”，ＩＥＥＥ Ｔｒａｎｓ．Ｓｐｅｅｃｈ ａｎｄ Ａｕｄｉｏ Ｐｒｏｃｅｓｓｉｎｇ，ｖｏｌ．３，ｐｐ．３３４−３４５，１９９５に開示されている手法でよい。
Incidentally, the Markov chain Monte Carlo method is the L. Scott, “Bayesian Methods for Hidden Markov Models: Recursive Computing in the 21st Century”, J. Am. Am. Stat. Assoc. , Vol. 97, pp. 337-351, 2002. Can be used.
The posterior probability maximization method is described in Q. Huo and C.H. Chan, “Bayesian Adaptive Learning of the Parameters of Hidden Markov Model for Speech Recognition”, IEEE Trans. Speech and Audio Processing, vol. 3, pp. 334-345, 1995 may be used.
パラメータ情報は、イベント生起確率算出装置５においてイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータそれぞれの情報である。
統計モデルは、状態遷移の機構を内包するもので、具体的には、隠れマルコフモデルや、隠れセミマルコフモデル、動的ベイズネットワークモデルである。
The parameter information is information on each parameter associated with the statistical model used when the event occurrence probability calculation device 5 calculates the event occurrence probability.
The statistical model includes a state transition mechanism, and specifically includes a hidden Markov model, a hidden semi-Markov model, and a dynamic Bayesian network model.
例えば、統計モデルとして、隠れマルコフモデルを用いた場合、パラメータ情報は、遷移確率パラメータ（行列）と、出力確率パラメータ（行列）と、初期状態確率パラメータ（ベクトル）とから構成される。 For example, when a hidden Markov model is used as the statistical model, the parameter information includes a transition probability parameter (matrix), an output probability parameter (matrix), and an initial state probability parameter (vector).
ここで、図２を参照して、隠れマルコフモデルにおける状態遷移の一例について説明する。この図２に示したように、隠れマルコフモデルでは、状態３０１と、状態３０２と、状態３０３との３つの状態を持っており、これら３つの状態が一定の確率で遷移していく。ある状態から次の状態に遷移する確率値の合計は“１”であり、例えば、状態３０１から状態３０１に遷移（矢印ア）する確率の確率値と、状態３０１から状態３０２に遷移（矢印イ）する確率の確率値と、状態３０１から状態３０３に遷移（矢印ウ）する確率の確率値との合計は“１”である。 Here, an example of the state transition in the hidden Markov model will be described with reference to FIG. As shown in FIG. 2, the hidden Markov model has three states of a state 301, a state 302, and a state 303, and these three states transition with a certain probability. The total probability value of transition from one state to the next state is “1”. For example, the probability value of the transition from state 301 to state 301 (arrow a) and the transition from state 301 to state 302 (arrow ) And the probability value of the probability of transition from state 301 to state 303 (arrow c) is “1”.
なお、状態の数は、この例では３つであるが、３つに限定されず、１以上の任意の数でよく、予め設定しておくこととしている。図１に戻る。 The number of states is three in this example, but is not limited to three, and may be an arbitrary number of 1 or more, and is set in advance. Returning to FIG.
パラメータ記録部１７は、パラメータ獲得部１５から出力された、単数又は複数のパラメータ情報を記録するもので、一般的なハードディスク等によって構成されている。このパラメータ記録部１７は、記録している単数又は複数のパラメータ情報をイベント生起確率算出装置５に適宜出力する。
The
このパラメータ自動獲得装置１によれば、選手位置追跡部１１によって、スポーツ映像情報（映像データ）に含まれる選手位置情報（被写体の位置情報）を作成し、特徴量加工部１３によって、選手位置情報から、選手の平均位置や速度等の特徴量情報を作成し、パラメータ獲得部１５によって、特徴量情報を用いて予め設定したパラメータ学習方法により、パラメータ情報を作成しているので、統計モデルに付随する客観的なパラメータ情報を得ることができる。そして、このパラメータ情報をイベント生起確率算出装置５に利用することで、客観的に、最適なイベント検出結果を得ることができる。
According to the parameter automatic acquisition device 1, the player
また、このパラメータ自動獲得装置１によれば、スポーツ映像情報がサッカーや野球等のスポーツ番組等であるので、例えば、ゴールキックやコーナーキック等のイベントの生起確率を算出する際に用いる統計モデルに付随するパラメータ情報を作成することができる。 Further, according to the parameter automatic acquisition device 1, since the sports video information is a sports program such as soccer or baseball, for example, a statistical model used when calculating the occurrence probability of an event such as a goal kick or a corner kick is used. The accompanying parameter information can be created.
さらに、このパラメータ自動獲得装置１によれば、パラメータ獲得部１５において、パラメータ学習方法にマルコフ連鎖モンテカルロ法を用いることで、高次元、且つ、複雑な統計モデルに付随するパラメータ情報を、適切に、複数個、得ることができる。
Furthermore, according to the parameter automatic acquisition device 1, the
スポーツ映像入力装置３は、スポーツ映像情報（映像データ）を作成して、イベント生起確率算出装置５に出力するものである。このスポーツ映像入力装置３は、スポーツ映像情報をイベント生起確率算出装置５に出力するものであれば、何でもよく、例えば、単数又は複数の撮影装置（図示せず）と、パーソナルコンピュータやサーバ等のコンピュータとで構成したものでよい。 The sports video input device 3 creates sports video information (video data) and outputs it to the event occurrence probability calculation device 5. The sports video input device 3 may be anything as long as it outputs sports video information to the event occurrence probability calculation device 5. For example, one or a plurality of photographing devices (not shown), a personal computer, a server, etc. It may be configured with a computer.
イベント生起確率算出装置５は、パラメータ自動獲得装置１から出力されたパラメータ情報を用いて、スポーツ映像入力装置３から出力されたスポーツ映像情報（映像データ）について、イベントの生起確率を算出するもので、選手位置追跡部（被写体位置情報作成手段）１９と、特徴量加工部（特徴量情報作成手段）２１と、確率値算出部（イベント生起確率情報作成手段）２３と、検出処理部（検出処理手段）２５とを備えている。なお、このイベント生起確率算出装置５は、パーソナルコンピュータやサーバといったコンピュータで構成することができる。 The event occurrence probability calculation device 5 calculates the event occurrence probability for the sports video information (video data) output from the sports video input device 3 using the parameter information output from the parameter automatic acquisition device 1. , A player position tracking unit (subject position information creating unit) 19, a feature amount processing unit (feature amount information creating unit) 21, a probability value calculating unit (event occurrence probability information creating unit) 23, and a detection processing unit (detection processing) Means) 25. The event occurrence probability calculating device 5 can be configured by a computer such as a personal computer or a server.
選手位置追跡部１９は、スポーツ映像入力装置３から出力された単数又は複数のスポーツ映像情報から、各スポーツ映像情報を構成するフレームに含まれる選手の選手位置情報（位置情報）を作成し、作成した選手位置情報を特徴加工部２１に出力するものである。なお、この選手位置情報は、選手位置追跡部１１で用いた手法と同様の手法によって求められる。
The player
特徴量加工部２１は、選手位置追跡部１９から出力された選手位置情報を用いて、各選手位置情報に対応する特徴量情報を作成し、作成したすべての特徴量情報を確率値算出部２３に出力するものである。なお、この特徴量情報は、特徴加工部１３で用いた手法と同様の手法によって求められる。
The feature
確率値算出部２３は、パラメータ自動獲得装置１から出力されたパラメータ情報を用いて、特徴量加工部２１から出力された特徴量情報に対応するイベント生起確率情報を作成し、検出処理部２５に出力するものである。
The probability
イベント生起確率情報は、イベントの種類ごとに算出された、当該イベントが生じ得る確率値の時系列情報である。イベントの種類は、前記したようにスポーツ映像情報がサッカー試合映像情報であるので、サッカーにおける、ゴールキック、コーナーキック、キックオフ、フリーキック、スローインの５種類のイベントと、これら以外のイベント無し（これもイベントの一つとする）との６種類である。 The event occurrence probability information is time-series information of probability values calculated for each event type and the probability value at which the event can occur. As described above, since the sports video information is soccer game video information as described above, there are five types of events in soccer, goal kick, corner kick, kick-off, free kick, throw-in, and no other events ( This is also one of the events).
この確率値算出部２３は、まず、特徴量加工部２１から出力された特徴量情報を用いて、各イベントの種類について、各時刻におけるイベント生起確率値を時系列に従って算出する。続いて、確率算出部２３は、パラメータ自動獲得装置１からパラメータ情報を複数読み取った場合には、すべてのパラメータ情報に対応するイベント生起確率値を用いて、各イベントの種類について時刻ごとに平均値をとる。そして、確率算出部２３は、各イベントの種類について、時刻ごとに平均値をとったイベント生起確率値を用いて、イベント生起確率情報を作成する。
First, the probability
なお、確率算出部２３は、パラメータ自動獲得装置１からパラメータ情報が単数であった場合には、当該単数のパラメータ情報を用いて算出されたイベント生起確率値により、イベント生起確率情報を作成してもよい。
If the parameter information from the parameter automatic acquisition device 1 is singular, the
この確率値算出部２３は、イベント生起確率情報を、次に示す数式（２）を用いて作成する。
The probability
この数式（２）は、特定のパラメータ情報に対応するパラメータθと、特定の特徴量情報に対応する特徴量の時系列情報ｆ１：Ｔ＝（ｆ１，ｆ２，・・・，ｆＴ）とが与えられたときに、特定の時刻ｔにおけるイベントｅｔが、特定のイベントの種類εｉである確率値を表している。なお、特徴量の時系列情報ｆ１：Ｔ＝（ｆ１，ｆ２，・・・，ｆＴ）は、スポーツの試合が開始された試合開始時（時刻１）から特定の時刻Ｔまでの特徴量の時系列情報を表している。 This mathematical formula (2) is a parameter θ corresponding to specific parameter information and time-series information f 1: T = (f 1 , f 2 ,..., F T corresponding to specific feature information. ) Represents a probability value that an event et at a specific time t is a specific event type ε i . Note that the time-series information f 1: T = (f 1 , f 2 ,..., F T ) of the feature amount is from the time when the sport game is started (time 1) to the specific time T. This represents time-series information of feature quantities.
なお、この数式（２）が表すイベント生起確率値の算出に用いる具体的な手法は、例えば、確率伝播法でよい。ちなみに、確率伝播法については、「甘利 俊一ほか、統計科学のフロンティア６“パターン認識と学習の統計学−新しい概念と手法” 岩波書店、ｐｐ．４５−５４」に開示されている手法でよい。 Note that a specific method used to calculate the event occurrence probability value represented by the mathematical formula (2) may be, for example, a probability propagation method. Incidentally, the probability propagation method may be the method disclosed in “Shunichi Amari et al., Frontier of Statistical Science 6“ Statistics of Pattern Recognition and Learning—New Concepts and Methods ”Iwanami Shoten, pp. 45-54”.
ここで、図３を参照して、イベント生起確率情報の一例をグラフ化した場合について説明する。図３（ａ）は、イベント「ゴールキック」について、図３（ｂ）は、イベント「コーナーキック」について、横軸に時刻（経過時刻）、縦軸に生起確率値をとってグラフ化した図である。これら図３（ａ）、（ｂ）において、微小な点を付した領域が該当するイベントの発生した時間帯を示している。図１に戻る。 Here, a case where an example of event occurrence probability information is graphed will be described with reference to FIG. FIG. 3A is a graph of the event “goal kick”, and FIG. 3B is a graph of the event “corner kick” with time (elapsed time) on the horizontal axis and occurrence probability values on the vertical axis. It is. In FIGS. 3A and 3B, the region with minute dots indicates the time zone when the corresponding event occurs. Returning to FIG.
検出処理部２５は、確率値算出部２３から出力されたイベント生起確率情報に対応する検出イベント情報（入力映像イベント）を作成し、作成した検出イベント情報を、検出イベント出力装置７に出力するものである。この検出処理部２５では、確率値算出部２３から出力されたイベント生起確率情報に基づいて、各時刻において、イベント生起確率値が最も高いイベントの種類を選択し、この選択したイベントの種類を、検出イベント情報として出力している。
The
検出イベント情報は、各時刻で検出されたイベントを示す時系列情報である。例えば、図３に示した例では、検出イベント情報は、図３（ａ）より、「時刻約１４９０から時刻約１５００までの時間帯にイベント「ゴールキック」が発生」となり、図３（ｂ）より、「時刻約７４５から時刻約７５５までの時間帯にイベント「コーナーキック」が発生」となる。
The detected event information is time-series information indicating events detected at each time. For example, in the example shown in FIG. 3, the detected event information is “the event“ goal kick ”occurs in the time period from about
このイベント生起確率算出装置５によれば、パラメータ自動獲得装置１から出力された、統計モデルに付随する客観的なパラメータ情報を用いているので、客観的に、最適なイベント検出結果を得ることができる。 According to the event occurrence probability calculation device 5, since the objective parameter information attached to the statistical model output from the parameter automatic acquisition device 1 is used, an optimal event detection result can be obtained objectively. it can.
検出イベント出力装置７は、イベント生起確率算出装置５から出力された検出イベント情報を出力（表示）するものである。この検出イベント出力装置７は、検出イベント情報を出力（表示）するものであれば、何でもよく、例えば、一般的な液晶等のディスプレイでよい。なお、検出イベント情報を表示する場合に、各時刻において検出したイベントの種類の名称（コーナーキック、ゴールキック等）を併せて表示するようにしてもよい。 The detected event output device 7 outputs (displays) the detected event information output from the event occurrence probability calculating device 5. The detection event output device 7 may be anything as long as it outputs (displays) detection event information, and may be a display such as a general liquid crystal. In addition, when displaying detected event information, you may make it also display the name (corner kick, goal kick, etc.) of the kind of event detected in each time.
（パラメータ自動獲得装置の動作）
次に、図４に示すフローチャートを参照して、パラメータ自動獲得装置１の動作について説明する（適宜、図１参照）。
まず、パラメータ自動獲得装置１は、選手位置追跡部１１によって、スポーツ映像記録部９から読み出されたスポーツ映像情報に含まれる各フレームから選手位置情報を作成する（ステップＳ１）。
(Operation of automatic parameter acquisition device)
Next, the operation of the automatic parameter acquisition device 1 will be described with reference to the flowchart shown in FIG. 4 (see FIG. 1 as appropriate).
First, the parameter automatic acquisition device 1 creates player position information from each frame included in the sports video information read from the sports video recording unit 9 by the player position tracking unit 11 (step S1).
続いて、パラメータ自動獲得装置１は、特徴加工部１３によって、選手位置追跡部１１から出力された選手位置情報を用いて、特徴量情報を作成する（ステップＳ２）。そして、パラメータ自動獲得装置１は、パラメータ獲得部１５によって、パラメータを初期化し（ステップＳ３）、パラメータのサンプリングを規定回数行ったか否かに関する判定を行う（ステップＳ４）。
Subsequently, the parameter automatic acquisition device 1 creates feature amount information by using the player position information output from the player
そして、パラメータ自動獲得装置１は、サンプリングを規定回数行ったと判定しなかった場合（ステップＳ４、Ｎｏ）、パラメータ獲得部１５によって、初期化したパラメータ（又は、ステップＳ６で求められたパラメータ）と特徴加工部１３から出力された特徴量情報とを用いて、各特徴量情報に対する状態列をサンプリングする（ステップＳ５）。
When the parameter automatic acquisition device 1 does not determine that the sampling has been performed a predetermined number of times (No in step S4), the parameter acquired by the parameter acquisition unit 15 (or the parameter obtained in step S6) and features Using the feature amount information output from the
そして、パラメータ自動獲得装置１は、パラメータ獲得部１５によって、ステップＳ５でサンプリングされた状態列と特徴量情報とを用いて、パラメータをサンプリングする（ステップＳ６）。そして、ステップＳ４に戻る。 Then, the parameter automatic acquisition device 1 samples the parameters using the state sequence and the feature amount information sampled in step S5 by the parameter acquisition unit 15 (step S6). Then, the process returns to step S4.
そして、パラメータ自動獲得装置１は、サンプリングを規定回数行ったと判定した場合（ステップＳ４、Ｙｅｓ）、パラメータ獲得部１５によって、サンプリングしたパラメータを用いて、パラメータ情報を作成して出力する（ステップＳ７）。
If the parameter automatic acquisition device 1 determines that the sampling has been performed a specified number of times (step S4, Yes), the
なお、ステップＳ３にて、パラメータを初期化する手法は、パラメータの事前分布と呼ばれる確率分布から、パラメータをサンプリングする処理を採用している。なお、この処理に限定されず、パラメータを定められた値とする手法であってもよい。 Note that the method of initializing parameters in step S3 employs a process of sampling parameters from a probability distribution called a parameter prior distribution. Note that the present invention is not limited to this process, and a method of setting a parameter to a predetermined value may be used.
また、ステップＳ４にて、サンプリングの回数を規定回数と設定しているが、このサンプリングの回数は、１以上の任意数を予め設定しておいたものである。 In step S4, the number of times of sampling is set as the specified number, but the number of times of sampling is set to an arbitrary number of 1 or more in advance.
さらに、ステップＳ５では、既に１回以上、ステップＳ６を実施していれば、最後に実施されたステップＳ６で得られたパラメータを用いて、１回以上実施されていない場合、初期化されたパラメータを用いて、特徴加工部１３から出力されたすべての特徴量情報に対する状態列をサンプリングして、ステップＳ６に進む。なお、このステップＳ５にて、各状態列のサンプリングに用いる確率分布は、対象とする状態列に対応する特徴量情報と、ステップＳ３又はステップＳ６で得られたパラメータとが与えられた下での条件付確率分布でよい。
Further, in step S5, if step S6 has already been performed once or more, the parameter obtained in step S6 performed last is used. Is used to sample the state sequence for all feature amount information output from the
そして、ステップＳ６では、ステップＳ５で得たすべての状態列と、特徴加工部１３から出力されたすべての特徴量情報とを用いて、パラメータをサンプリングし、ステップＳ４に戻る。なお、このとき、パラメータのサンプリングに用いる確率分布は、ステップＳ５で得たすべての状態列と、特徴加工部１３から出力されたすべての特徴量情報とが与えられた下での条件付確率分布でよい。
In step S6, the parameters are sampled using all the state sequences obtained in step S5 and all the feature amount information output from the
そして、ステップＳ７では、ステップＳ６で得たパラメータを用いて、パラメータ情報を作成する。このとき、ステップＳ６の一回の処理で得られたパラメータに対し、パラメータ情報を一つ作成する。また、ステップＳ６で得たパラメータのすべてについて、パラメータ情報を作成してもよいし、ステップＳ６で得たパラメータから任意数のパラメータを選び出し、選び出したパラメータに対応するパラメータ情報を作成してもよい。 In step S7, parameter information is created using the parameters obtained in step S6. At this time, one piece of parameter information is created for the parameter obtained by one process in step S6. Further, parameter information may be created for all the parameters obtained in step S6, or an arbitrary number of parameters may be selected from the parameters obtained in step S6, and parameter information corresponding to the selected parameters may be created. .
（イベント生起確率算出装置の動作）
次に、図５に示すフローチャートを参照して、イベント生起確率算出装置５の動作について説明する（適宜、図１参照）。
まず、イベント生起確率算出装置５は、選手位置追跡部１９によって、スポーツ映像入力装置３から出力されたスポーツ映像情報（入力映像データ）から選手位置情報を作成する（ステップＳ１１）。
(Operation of event occurrence probability calculation device)
Next, the operation of the event occurrence probability calculation device 5 will be described with reference to the flowchart shown in FIG. 5 (see FIG. 1 as appropriate).
First, the event occurrence probability calculation device 5 creates player position information from the sports video information (input video data) output from the sports video input device 3 by the player position tracking unit 19 (step S11).
続いて、イベント生起確率算出装置５は、特徴加工部２１によって、選手位置追跡部１９から出力された選手位置情報を用いて、特徴量情報を作成する（ステップＳ１２）。そして、イベント生起確率算出装置５は、確率値算出部２３によって、特徴加工部２１から出力された特徴量情報と、パラメータ自動獲得装置１から出力されたパラメータ情報とを用いて、イベント生起確率情報を作成する（ステップＳ１３）。その後、イベント生起確率算出装置５は、検出処理部２５によって、入力映像イベントを検出する（ステップＳ１４）。
Subsequently, the event occurrence probability calculation device 5 uses the
以上、本発明の実施形態について説明したが、本発明は前記実施形態には限定されない。例えば、本実施形態では、パラメータ自動獲得装置１及びイベント生起確率算出装置５として説明したが、これらの構成の処理を行えるように、コンピュータ言語で記述したパラメータ情報作成プログラム及びイベント検出プログラムとすることも可能である。これらは、当該装置１及び当該装置５のそれぞれと同様の効果を奏する。 As mentioned above, although embodiment of this invention was described, this invention is not limited to the said embodiment. For example, in the present embodiment, the automatic parameter acquisition device 1 and the event occurrence probability calculation device 5 have been described. However, a parameter information creation program and an event detection program described in a computer language are used so that the processing of these configurations can be performed. Is also possible. These have the same effect as each of the device 1 and the device 5.
また、パラメータ自動獲得装置１において、パラメータ情報を作成する際に、サンプリングを規定の回数繰り返した後に、当該パラメータ情報を作成することとしているが、規定の回数に限らず、規定の時間繰り返した後に、パラメータをサンプリングすることによって、当該パラメータ情報を作成してもよい。また、パラメータ情報を作成する際に、予め、パラメータの個数を規定しておいた場合には、規定しておいた個数に達するまでサンプリングを行ってもよい。 In the parameter automatic acquisition device 1, when creating parameter information, the parameter information is created after sampling is repeated a prescribed number of times. However, the parameter information is not limited to the prescribed number of times, and after being repeated for a prescribed time. The parameter information may be created by sampling the parameters. When the parameter information is created, if the number of parameters is defined in advance, sampling may be performed until the defined number is reached.
１ パラメータ自動獲得装置（パラメータ情報作成装置）
３ スポーツ映像入力装置
５ イベント生起確率算出装置（イベント検出装置）
７ 検出イベント出力装置
９ スポーツ映像記録部
１１、１９ 選手位置追跡部（被写体位置情報作成手段）
１３、２１ 特徴量加工部（特徴量情報作成手段）
１５ パラメータ獲得部（パラメータ情報作成手段）
１７ パラメータ記録部
２３ 確率値算出部（イベント生起確率情報作成手段）
２５ 検出処理部（検出処理手段）
1 Parameter automatic acquisition device (parameter information creation device)
3 Sports video input device 5 Event occurrence probability calculation device (event detection device)
7 Detection event output device 9 Sports
13, 21 Feature quantity processing unit (feature quantity information creation means)
15 Parameter acquisition unit (parameter information creation means)
17
25 Detection processing unit (detection processing means)
Claims (6)
前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段と、
この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を作成するパラメータ情報作成手段と、
を備えることを特徴とするパラメータ情報作成装置。 A parameter information creation device that creates parameter information associated with a statistical model used when calculating the occurrence probability of an event detected from video data,
Subject position information creating means for extracting the position of the subject from each of the frames constituting the video data by a preset extraction method and creating position information of the subject included in the frame;
From each of the subject position information created by the subject position information creating means, the number of the subjects included in the frame, the average position of the subjects, the covariance matrix of the average positions of the subjects, the speed of the subjects, Subject covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average position of the subject of a particular type, At least the covariance matrix of the average position, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the presence or the number of the subject of the specific type included in the specific location set in the frame Feature quantity information creating means for creating feature quantity information including one;
Using the feature quantity information created by the feature quantity information creation means, the parameter corresponding to the statistical model is sampled, and the parameter information is created for each state transition included in the statistical model from the sampled parameter. Parameter information creating means to
A parameter information creating apparatus comprising:
前記映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段、
この特徴量情報作成手段で作成された特徴量情報を用いて、前記統計モデルに対応したパラメータをサンプリングし、このサンプリングしたパラメータから、当該統計モデルに内包される状態遷移ごとに前記パラメータ情報を作成するパラメータ情報作成手段、
として機能させることを特徴とするパラメータ情報作成プログラム。 In order to create parameter information associated with a statistical model used in calculating the occurrence probability of an event detected from video data,
Subject position information creating means for extracting the position of the subject from each of the frames constituting the video data by a preset extraction method and creating position information of the subject included in the frame;
From each of the subject position information created by the subject position information creating means, the number of the subjects included in the frame, the average position of the subjects, the covariance matrix of the average positions of the subjects, the speed of the subjects, Subject covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average position of the subject of a particular type, At least the covariance matrix of the average position, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the presence or the number of the subject of the specific type included in the specific location set in the frame Feature quantity information creating means for creating feature quantity information including one;
Using the feature quantity information created by the feature quantity information creation means, the parameter corresponding to the statistical model is sampled, and the parameter information is created for each state transition included in the statistical model from the sampled parameter. Parameter information creation means,
A parameter information creating program characterized in that it functions as a program.
前記入力された映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段と、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段と、
この特徴量情報作成手段で作成された特徴量情報と、前記パラメータ情報作成装置で作成されたパラメータ情報とに基づいて、前記入力された映像データのイベントの生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段と、
このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力された映像データのイベントを検出する検出処理手段と、
を備えることを特徴とするイベント検出装置。 The event detection which calculates the occurrence probability of the said event using the parameter information created by the parameter information creation apparatus as described in any one of Claim 1 to 3 in order to detect an event from the input video data A device,
Subject position information creating means for extracting the position of the subject from each of the frames constituting the input video data by a preset extraction method, and creating position information of the subject included in the frame;
From each of the subject position information created by the subject position information creating means, the number of the subjects included in the frame, the average position of the subjects, the covariance matrix of the average positions of the subjects, the speed of the subjects, Subject covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average position of the subject of a particular type, At least the covariance matrix of the average position, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the presence or the number of the subject of the specific type included in the specific location set in the frame Feature quantity information creating means for creating feature quantity information including one;
Based on the feature amount information created by the feature amount information creation means and the parameter information created by the parameter information creation device, an event occurrence probability of the input video data is calculated, and the calculated occurrence occurrence is calculated. Event occurrence probability information creating means for creating event occurrence probability information using probability,
Using the event occurrence probability information created by the event occurrence probability information creating means, a detection processing means for detecting an event of the input video data by a preset event detection method;
An event detection apparatus comprising:
入力された入力映像データを構成するフレームそれぞれから、前記被写体の位置を、予め設定した抽出法により抽出し、当該フレームに含まれる被写体の位置情報を作成する被写体位置情報作成手段、
この被写体位置情報作成手段で作成された被写体の位置情報それぞれから、前記フレーム内に含まれる前記被写体の個数、前記被写体の平均位置、前記被写体の平均位置の共分散行列、前記被写体の速度、前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる前記被写体の有無又は個数、特定種別の前記被写体の個数、特定種別の前記被写体の平均位置、特定種別の前記被写体の平均位置の共分散行列、特定種別の前記被写体の速度、特定種別の前記被写体の速度の共分散行列、前記フレーム内に設定された特定箇所に含まれる特定種別の前記被写体の有無又は個数の少なくとも１つを含む特徴量情報を作成する特徴量情報作成手段、
この特徴量情報作成手段で作成された特徴量情報と、前記パラメータ情報作成プログラムで作成されたパラメータ情報とに基づいて、前記入力された映像データのイベントの生起確率を算出し、この算出した生起確率を用いて、イベント生起確率情報を作成するイベント生起確率情報作成手段、
このイベント生起確率情報作成手段で作成されたイベント生起確率情報を用いて、予め設定したイベント検出方法により、前記入力映像イベントを検出する検出処理手段、
として機能させることを特徴とするイベント検出プログラム。 In order to detect the event from the input video data by calculating the occurrence probability of the event using the parameter information created by the parameter information creating program according to claim 4,
Subject position information creating means for extracting the position of the subject from each of the frames constituting the input video data by a predetermined extraction method, and creating position information of the subject included in the frame;
From each of the subject position information created by the subject position information creating means, the number of the subjects included in the frame, the average position of the subjects, the covariance matrix of the average positions of the subjects, the speed of the subjects, Subject covariance matrix, presence / absence or number of subjects included in a specific location set in the frame, number of subjects of a particular type, average position of the subject of a particular type, At least the covariance matrix of the average position, the speed of the subject of the specific type, the covariance matrix of the speed of the subject of the specific type, the presence or the number of the subject of the specific type included in the specific location set in the frame Feature quantity information creating means for creating feature quantity information including one;
Based on the feature amount information created by the feature amount information creation means and the parameter information created by the parameter information creation program, the occurrence probability of the event of the input video data is calculated, and the calculated occurrence Event occurrence probability information creating means for creating event occurrence probability information using probability,
Detection processing means for detecting the input video event by an event detection method set in advance using the event occurrence probability information created by the event occurrence probability information creating means,
An event detection program characterized by functioning as
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006356572A JP4764332B2 (en) | 2006-12-28 | 2006-12-28 | Parameter information creation device, parameter information creation program, event detection device, and event detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006356572A JP4764332B2 (en) | 2006-12-28 | 2006-12-28 | Parameter information creation device, parameter information creation program, event detection device, and event detection program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2008165636A true JP2008165636A (en) | 2008-07-17 |
| JP4764332B2 JP4764332B2 (en) | 2011-08-31 |
Family
ID=39695009
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006356572A Expired - Fee Related JP4764332B2 (en) | 2006-12-28 | 2006-12-28 | Parameter information creation device, parameter information creation program, event detection device, and event detection program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4764332B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008198038A (en) * | 2007-02-15 | 2008-08-28 | Nippon Hoso Kyokai <Nhk> | Event discrimination device and event discrimination program |
| JP2010074774A (en) * | 2008-09-22 | 2010-04-02 | Sony Corp | Display controller, display control method and program |
| JP2010232814A (en) * | 2009-03-26 | 2010-10-14 | Nikon Corp | Video editing program, and video editing device |
| JP2010232813A (en) * | 2009-03-26 | 2010-10-14 | Nikon Corp | Video editing program, and video editing device |
| CN102727246A (en) * | 2011-03-31 | 2012-10-17 | 通用电气公司 | One-key learning presetting method and device for ultrasonic detection system |
| JP2015070503A (en) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| JP2015536062A (en) * | 2012-09-17 | 2015-12-17 | グーグル インコーポレイテッド | Interstream audio synchronization of social media videos |
| WO2018043225A1 (en) * | 2016-09-01 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system |
| JP2020017010A (en) * | 2018-07-24 | 2020-01-30 | 富士通株式会社 | Detection device, detection method and detection program |
| JP2021002151A (en) * | 2019-06-20 | 2021-01-07 | 株式会社Pfu | Image processing apparatus, control method, and control program |
| JP2021047719A (en) * | 2019-09-19 | 2021-03-25 | ジャングルＸ株式会社 | Information processing device, information processing method, and information processing program |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000123184A (en) * | 1998-10-09 | 2000-04-28 | Sharp Corp | Method for detecting event in animation |
| JP2003032544A (en) * | 2001-07-13 | 2003-01-31 | Nippon Hoso Kyokai <Nhk> | Scene contents information attachment device and scene contents information attaching method |
| JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
| JP2005189832A (en) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | Method for detecting highlights from videos |
| JP2005196750A (en) * | 2003-12-12 | 2005-07-21 | Mitsubishi Electric Research Laboratories Inc | Method of learning structure of video |
| JP2005209148A (en) * | 2003-12-26 | 2005-08-04 | Nippon Hoso Kyokai <Nhk> | Offside line detector, program therefor, and player location detector |
| JP2006251885A (en) * | 2005-03-08 | 2006-09-21 | Kddi Corp | Device for classifying and device for log generating sports video |
| JP2006285878A (en) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | Video analyzing device and video analyzing program |
-
2006
- 2006-12-28 JP JP2006356572A patent/JP4764332B2/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000123184A (en) * | 1998-10-09 | 2000-04-28 | Sharp Corp | Method for detecting event in animation |
| JP2003032544A (en) * | 2001-07-13 | 2003-01-31 | Nippon Hoso Kyokai <Nhk> | Scene contents information attachment device and scene contents information attaching method |
| JP2004046647A (en) * | 2002-07-12 | 2004-02-12 | Univ Waseda | Method and device for tracking moving object based on dynamic image data |
| JP2005189832A (en) * | 2003-12-05 | 2005-07-14 | Mitsubishi Electric Research Laboratories Inc | Method for detecting highlights from videos |
| JP2005196750A (en) * | 2003-12-12 | 2005-07-21 | Mitsubishi Electric Research Laboratories Inc | Method of learning structure of video |
| JP2005209148A (en) * | 2003-12-26 | 2005-08-04 | Nippon Hoso Kyokai <Nhk> | Offside line detector, program therefor, and player location detector |
| JP2006251885A (en) * | 2005-03-08 | 2006-09-21 | Kddi Corp | Device for classifying and device for log generating sports video |
| JP2006285878A (en) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | Video analyzing device and video analyzing program |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008198038A (en) * | 2007-02-15 | 2008-08-28 | Nippon Hoso Kyokai <Nhk> | Event discrimination device and event discrimination program |
| JP4764362B2 (en) * | 2007-02-15 | 2011-08-31 | 日本放送協会 | Event discrimination device and event discrimination program |
| JP2010074774A (en) * | 2008-09-22 | 2010-04-02 | Sony Corp | Display controller, display control method and program |
| JP4670923B2 (en) * | 2008-09-22 | 2011-04-13 | ソニー株式会社 | Display control apparatus, display control method, and program |
| JP2010232814A (en) * | 2009-03-26 | 2010-10-14 | Nikon Corp | Video editing program, and video editing device |
| JP2010232813A (en) * | 2009-03-26 | 2010-10-14 | Nikon Corp | Video editing program, and video editing device |
| CN102727246A (en) * | 2011-03-31 | 2012-10-17 | 通用电气公司 | One-key learning presetting method and device for ultrasonic detection system |
| JP2015536062A (en) * | 2012-09-17 | 2015-12-17 | グーグル インコーポレイテッド | Interstream audio synchronization of social media videos |
| JP2015070503A (en) * | 2013-09-30 | 2015-04-13 | キヤノン株式会社 | Information processing apparatus, information processing method, and program |
| WO2018043225A1 (en) * | 2016-09-01 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | Multiple viewpoint image capturing system, three-dimensional space reconstructing system, and three-dimensional space recognition system |
| JP2020017010A (en) * | 2018-07-24 | 2020-01-30 | 富士通株式会社 | Detection device, detection method and detection program |
| JP7059847B2 (en) | 2018-07-24 | 2022-04-26 | 富士通株式会社 | Detection device, detection method and detection program |
| JP2021002151A (en) * | 2019-06-20 | 2021-01-07 | 株式会社Pfu | Image processing apparatus, control method, and control program |
| JP7304747B2 (en) | 2019-06-20 | 2023-07-07 | 株式会社Pfu | Image processing device, control method and control program |
| JP2021047719A (en) * | 2019-09-19 | 2021-03-25 | ジャングルＸ株式会社 | Information processing device, information processing method, and information processing program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4764332B2 (en) | 2011-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4764332B2 (en) | Parameter information creation device, parameter information creation program, event detection device, and event detection program | |
| Huang et al. | Tracknet: A deep learning network for tracking high-speed and tiny objects in sports applications | |
| Chen et al. | Aggregate tracklet appearance features for multi-object tracking | |
| Needham et al. | Tracking multiple sports players through occlusion, congestion and scale | |
| Bertasius et al. | Am I a baller? basketball performance assessment from first-person videos | |
| Perše et al. | A trajectory-based analysis of coordinated team activity in a basketball game | |
| JP2009087090A (en) | Object tracking device and object tracing method | |
| JP2007164560A (en) | Image processing unit and method, and program | |
| Szűcs et al. | Body part extraction and pose estimation method in rowing videos | |
| Dearden et al. | Tracking football player movement from a single moving camera using particle filters | |
| WO2019172172A1 (en) | Object tracker, object tracking method, and computer program | |
| Pidaparthy et al. | Keep your eye on the puck: Automatic hockey videography | |
| Vats et al. | Puck localization and multi-task event recognition in broadcast hockey videos | |
| JP4728795B2 (en) | Person object determination apparatus and person object determination program | |
| JP4271930B2 (en) | A method for analyzing continuous compressed video based on multiple states | |
| Panse et al. | A dataset & methodology for computer vision based offside detection in soccer | |
| Lepetit et al. | Robust data association for online application | |
| EP3179446A1 (en) | Orientation estimation method, and orientation estimation device | |
| Chu et al. | Extraction of baseball trajectory and physics-based validation for single-view baseball video sequences | |
| Vats et al. | Evaluating deep tracking models for player tracking in broadcast ice hockey video | |
| Su et al. | Position detection for badminton tactical analysis based on multi-person pose estimation | |
| JP2010267029A (en) | Device for detection of specific operation | |
| Chang et al. | Fencing tactics analysis in broadcast video: A point-by-point analytical system | |
| Yu et al. | Automatic identification and analysis of basketball plays: NBA on-ball screens | |
| Huang et al. | Shot and scoring events identification of basketball videos |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090319 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110222 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110301 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110426 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110517 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110610 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140617 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |