JP2006012012A - Event extraction device, and method and program therefor - Google Patents

Event extraction device, and method and program therefor Download PDF

Info

Publication number
JP2006012012A
JP2006012012A JP2004191144A JP2004191144A JP2006012012A JP 2006012012 A JP2006012012 A JP 2006012012A JP 2004191144 A JP2004191144 A JP 2004191144A JP 2004191144 A JP2004191144 A JP 2004191144A JP 2006012012 A JP2006012012 A JP 2006012012A
Authority
JP
Japan
Prior art keywords
ball
event
player
information
team
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004191144A
Other languages
Japanese (ja)
Inventor
Masaaki Yoshikawa
雅昭 吉川
Toru Nakada
透 中田
Fumitoshi Cho
文利 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2004191144A priority Critical patent/JP2006012012A/en
Publication of JP2006012012A publication Critical patent/JP2006012012A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an event extraction device capable of precisely extracting a real event generation point from image data and extracting the content, generation time or the like of the event. <P>SOLUTION: This event extraction device 100 comprises a means 111 storing ball trace information including generation time of each point when motion of a ball is changed, the position and motion vector of the ball and the position of a player at that point of time, and a team the player belongs to; a means 112 storing player identification information showing whether a player in each point when the motion of the ball is changed is equal to a player in a different point or not; a means 113 storing team information for the position of a goal assigned to each team; a means 114 storing an event keyword and the generation time of the keyword; and a means 115 receiving the event keyword, and generating event information based on the ball track information, the player identification information, and the team information. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

サッカーや野球等のスポーツ中継の映像と共に、発生した各イベントの情報を抽出して提示するイベント抽出装置及びその方法及びそのプログラムに関する。   The present invention relates to an event extraction device that extracts and presents information about each event that has occurred along with a video of a sports broadcast such as soccer or baseball, and a method and program thereof.

従来、映像データの中から視聴者が見たい特定シーンを抽出して提示する特定シーン抽出装置が知られている（特許文献１）。図９に示すように、特定シーン抽出装置９００は、動きベクトル抽出部９２１が撮影されたスポーツ映像から動きベクトルを抽出して動きベクトル管理部９２２に登録し、また、シーン分割点抽出部９２３は、登録された動きベクトルが急激に変化する時点をシーンの開始時点と認識して各シーンをシーン分割点管理部９２４に登録する。そして、シーン抽出部９２６は、分割されたシーン内の動きベクトルの特徴について、シーン動き特徴量管理部９２５を用いて、シーンの内容を特定してシーン管理部９２７へ登録している。
特開２００３−２４４６２８ Conventionally, a specific scene extraction apparatus that extracts and presents a specific scene that a viewer wants to see from video data is known (Patent Document 1). As illustrated in FIG. 9, the specific scene extraction apparatus 900 extracts a motion vector from a sports video captured by the motion vector extraction unit 921 and registers the motion vector in the motion vector management unit 922, and the scene division point extraction unit 923 The time point when the registered motion vector changes suddenly is recognized as the start time point of the scene, and each scene is registered in the scene division point management unit 924. Then, the scene extraction unit 926 uses the scene motion feature amount management unit 925 to identify the content of the motion vector in the divided scene and registers it in the scene management unit 927.
JP 2003-244628 A

しかしながら、上記特定シーン抽出装置は、動きベクトルが急激に変化した時点でシーンを管理しているものの、その時点でイベントが本当に発生しているかどうかは正確には分からず、また、その時点がイベント発生時点であったとしても、イベントの内容や発生時刻等についてまでは正確に分からないという問題があった。   However, although the above specific scene extraction device manages the scene when the motion vector suddenly changes, it does not know exactly whether the event has actually occurred at that time, and the time is the event. Even at the time of occurrence, there is a problem that the contents of the event, the time of occurrence, etc. cannot be accurately understood.

本発明は、このような問題に着目し、映像データの中から本当にあったイベント発生時点を正確に抽出でき、イベントの内容や発生時刻等も正確に抽出できる、イベント抽出装置及びその方法及びそのプログラムを提供することを目的とする。   The present invention pays attention to such a problem, and can accurately extract the actual event occurrence time from the video data, and can also accurately extract the contents and occurrence time of the event, and its method and the method thereof The purpose is to provide a program.

本発明の請求項１に記載の発明は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段とを備えたことを特徴とするイベント抽出装置である。   According to the first aspect of the present invention, the occurrence time of each time point when the movement of the ball is changed, the ball position and motion vector at that time point, and the ball trajectory information including the player position and the team to which the player belongs are recorded. Ball trajectory information storage means for storing, player identification information storage means for storing player identification information indicating whether or not a player at each time when the movement of the ball has changed is the same as a player at a different time, and assigned to each team Team information storage means for storing team information relating to the position of the goal, event keyword information storage means for storing an event keyword and the time when the keyword occurred, and receiving the event keyword, the ball trajectory information, the player An event information generating means for generating event information based on the identification information and the team information is provided. It is an event extraction device that.

本発明の請求項２に記載の発明は、請求項１に記載のイベント抽出装置において、前記イベント情報生成手段により生成されたイベント情報を格納するイベント情報格納手段をされに備えたことを特徴とする。   The invention according to claim 2 of the present invention is the event extracting device according to claim 1, further comprising event information storage means for storing event information generated by the event information generating means. To do.

本発明の請求項３に記載の発明は、請求項１または２に記載のイベント抽出装置において、前記ボール軌跡情報のボールの位置と選手の位置からそのボールの動きを変化させた主体者を特定することを特徴とする。   According to a third aspect of the present invention, in the event extracting device according to the first or second aspect, the subject who has changed the movement of the ball is identified from the position of the ball and the position of the player in the ball trajectory information. It is characterized by doing.

本発明の請求項４に記載の発明は、請求項３に記載のイベント抽出装置において、前記主体者の所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置から前記イベントキーワードに対応するイベントの開始時刻を特定することを特徴とする。   According to a fourth aspect of the present invention, in the event extracting device according to the third aspect, the event is determined from the team to which the subject belongs, the ball position and motion vector, and the goal position assigned to each team. The start time of the event corresponding to the keyword is specified.

本発明の請求項５に記載の発明は、請求項３に記載のイベント抽出装置において、各時刻のボール軌跡情報の主体者とその所属チームからイベントキーワードに対応するイベントの開始／終了時刻を特定することを特徴とする。   According to a fifth aspect of the present invention, in the event extracting device according to the third aspect, the start / end time of the event corresponding to the event keyword is specified from the subject of the ball trajectory information at each time and the team to which the event belongs. It is characterized by doing.

本発明の請求項６に記載の発明は、請求項３に記載のイベント抽出装置において、各時刻のボール軌跡情報の主体者とその所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置からイベントキーワードに対応するイベントの開始時刻を特定することを特徴とする。   According to a sixth aspect of the present invention, in the event extracting device according to the third aspect, the subject of the ball trajectory information at each time and its team, the position and motion vector of the ball, and each team are assigned. The start time of the event corresponding to the event keyword is specified from the position of the goal.

本発明の請求項７に記載の発明は、請求項１乃至６の何れかに記載のイベント抽出装置において、前記イベントキーワード情報格納手段は、アナウンサーの発声をキーワードとして格納することを特徴とする。   According to a seventh aspect of the present invention, in the event extracting device according to any one of the first to sixth aspects, the event keyword information storage means stores an utterance of the announcer as a keyword.

本発明の請求項８に記載の発明は、請求項１乃至７の何れかに記載のイベント抽出装置において、映像に映るボールを認識するボール認識部と、前記認識したボールの動きベクトルを抽出するボール動きベクトル抽出部と、前記ボールの動きベクトルの変化点を抽出するボール動きベクトル変化点抽出部と、前記ボール動きベクトル変化点でのボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部と、前記チーム情報格納手段に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部と、前記特定したボールの位置と動きを基に前記ボール軌跡情報を取得するボール軌跡情報取得部と、前記ボール軌跡情報の各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報を取得する選手同定情報取得部とを備えることを特徴とする。   According to an eighth aspect of the present invention, in the event extracting device according to any one of the first to seventh aspects, a ball recognition unit for recognizing a ball shown in an image and a motion vector of the recognized ball are extracted. A ball motion vector extraction unit; a ball motion vector change point extraction unit that extracts a change point of the ball motion vector; a ball / player position that specifies the position and motion of the ball and the player at the ball motion vector change point; A movement identification unit, a player identification unit that identifies a team to which a player belongs in the ball trajectory information at each time using information that identifies a team belonging to the player stored in the team information storage unit, and the position of the identified ball A ball trajectory information acquisition unit that acquires the ball trajectory information based on movement, and whether or not a player at each time point of the ball trajectory information is the same as a player at a different time point Characterized in that it comprises a player identification information acquisition unit that acquires player identification information for acquiring player identifying information indicating.

本発明の請求項９に記載の発明は、請求項１乃至８の何れかに記載のイベント抽出装置において、前記ボール動きベクトル抽出部で抽出したボール動きベクトルを、カメラパラメータを用いて補正するボール動きベクトル補正部を備えることを特徴とする。   According to a ninth aspect of the present invention, in the event extracting device according to any one of the first to eighth aspects, the ball motion vector extracted by the ball motion vector extracting unit is corrected using a camera parameter. A motion vector correction unit is provided.

本発明の請求項１０に記載の発明は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納ステップと、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納ステップと、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納ステップと、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納ステップと、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成ステップと、を有することを特徴とするイベント抽出方法である。   According to the tenth aspect of the present invention, the time of occurrence at each time when the movement of the ball has changed, the position and motion vector of the ball at that time, the position of the player, and the ball trajectory information consisting of the team to which the player belongs. A ball trajectory information storage step for storing, a player identification information storage step for storing player identification information indicating whether or not a player at each time when the movement of the ball has changed is the same as a player at a different time, and assigned to each team A team information storing step for storing team information related to the position of the goal, an event keyword information storing step for storing an event keyword and the time when the keyword occurred, and receiving the event keyword to receive the ball trajectory information, the player Event information generation step for generating event information based on the identification information and the team information. When an event extraction method characterized by having a.

本発明の請求項１１に記載の発明は、コンピュータを、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段として機能させるためのイベント抽出プログラムである。   According to an eleventh aspect of the present invention, a computer is used to generate a ball consisting of an occurrence time at each time point when the movement of the ball has changed, a ball position and motion vector at that time, a player position, and a team to which the player belongs. Ball trajectory information storage means for storing trajectory information, player identification information storage means for storing player identification information indicating whether or not a player at each time when the movement of the ball has changed is the same as a player at a different time, and each team Team information storage means for storing team information related to the position of the goal assigned to the event, event keyword information storage means for storing an event keyword and the time when the keyword occurred, and the ball trajectory information in response to the event keyword. Event information generating means for generating event information based on the player identification information and the team information; Is an event extraction program to function Te.

本発明によれば、ボールの動きベクトルの変化点により抽出したイベント発生時点の候補を、ボール軌跡情報、選手同定情報、チーム情報、及びイベントキーワード情報を用いて、本当にあったイベント発生時点を正確に抽出でき、また、イベントの内容や発生時刻等も正確に抽出できる。   According to the present invention, the event occurrence time point extracted from the change point of the motion vector of the ball is accurately identified using the ball trajectory information, player identification information, team information, and event keyword information. It is also possible to extract the contents of the event, the time of occurrence, etc. accurately.

以下、本発明を実施するための最良の形態について説明する。なお、本発明は、以下の実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲であれば、適宜に変更でき実施できるものとする。   Hereinafter, the best mode for carrying out the present invention will be described. It should be noted that the present invention is not limited to the following examples, and can be appropriately modified and implemented within a range not departing from the gist of the present invention.

はじめに、本発明のイベント抽出装置ついて説明する。図１に示すように、イベント抽出装置１００は、撮影装置により撮影されたスポーツ映像１３１の中からボールを追跡し、その動きに変化があった点をイベント発生の候補として抽出し、その時点のボールや選手の位置と動き、及びその選手の所属チーム等を特定する。また、その時点でボールに最も近い選手を主体者として特定しておく。このように特定されたイベント発生時点の候補は、アナウンサーがイベント発生の際に発した音声をキーワードとして使用し、また、イベントキーワードが有する特徴的な条件により、そのイベントが本当に行われたのか判断する。その結果、イベントの発生／終了時刻、イベントキーワードおよび主体者を関連付けてイベント情報として管理する装置である。   First, the event extraction apparatus of the present invention will be described. As shown in FIG. 1, the event extraction device 100 tracks a ball from a sports video 131 photographed by a photographing device, extracts a change in its movement as a candidate for event occurrence, and Identify the position and movement of the ball or player and the team to which the player belongs. Also, the player closest to the ball at that time is specified as the subject. As for the candidate for the event occurrence point specified in this way, the sound produced by the announcer at the time of the event occurrence is used as a keyword, and it is determined whether or not the event was actually performed according to the characteristic conditions of the event keyword. To do. As a result, it is an apparatus that manages event occurrence / end times, event keywords, and subjects as event information in association with each other.

イベント抽出装置１００の内部構成について説明する。イベント抽出装置１００は、多視点で撮影されたスポーツ映像１３１に映るボールを認識するボール認識部１２１と、認識したボールの動きベクトルを抽出するボール動きベクトル抽出部１２２と、ボールの動きベクトルを、カメラパラメータ１３２を用いて補正するボール動きベクトル補正部１２３と、ボールの動きベクトルの変化点をイベント発生時点の候補として抽出するボール動きベクトル変化点抽出部１２４と、ボール動きベクトル変化点での映像とカメラパラメータを取得し、ボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部１２５と、チーム情報格納部１１３に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部１２６と、特定したボールの位置と動きを基にボール軌跡情報を取得するボール軌跡情報取得部１２７と、ボール動きベクトル変化点での映像とカメラパラメータ、及びその時点のボール軌跡情報を用いて、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報取得部１２８と、ボール軌跡情報、選手同定情報、チームに関する情報、及びアナウンサーの発声を用いたイベントキーワード情報を基にイベント内容を特定してイベント情報を生成するイベント内容特定部１１０とを備えている。   The internal configuration of the event extraction device 100 will be described. The event extraction apparatus 100 includes a ball recognition unit 121 for recognizing a ball reflected in a sports video 131 photographed from multiple viewpoints, a ball motion vector extraction unit 122 for extracting a motion vector of the recognized ball, and a ball motion vector. A ball motion vector correction unit 123 that corrects using the camera parameters 132, a ball motion vector change point extraction unit 124 that extracts a change point of the ball motion vector as a candidate for the event occurrence time, and an image at the ball motion vector change point And the camera parameters are acquired, and the ball / player position and movement specifying unit 125 for specifying the position and movement of the ball and the player, and the information for specifying the team to which the player belongs are stored in the team information storage unit 113 at each time. A player specifying unit 126 for specifying a team to which the player of the ball trajectory information belongs, The movement of the ball changes using the ball trajectory information acquisition unit 127 that acquires ball trajectory information based on the position and movement of the robot, the video and camera parameters at the ball motion vector change point, and the ball trajectory information at that time. A player identification information acquisition unit 128 that acquires player identification information indicating whether or not a player at each time point is the same as a player at a different time point, ball trajectory information, player identification information, information about the team, and the announcer's utterance And an event content specifying unit 110 for generating event information by specifying event content based on event keyword information.

イベント内容特定部１１０は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームの情報等からなるボール軌跡情報を格納するボール軌跡情報格納部１１１と、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納部１１２と、各チームに割り当てられた守備するゴールの位置やユニフォームの色等のチーム情報を格納するチーム情報格納部１１３と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納部１１４と、イベントキーワードを受けて、ボール軌跡情報格納部１１１、選手同定情報格納部１１２、及びチーム情報格納部１１３に格納されている情報を基にイベント情報を生成するイベント情報生成部１１５と、生成されたイベント情報を格納するイベント情報格納部１１６とを備えている。   The event content specifying unit 110 stores ball trajectory information including the occurrence time of each time when the movement of the ball changes, the position and motion vector of the ball at that time, the position of the player, and the information of the team to which the player belongs. Ball trajectory information storage unit 111, player identification information storage unit 112 for storing player identification information indicating whether or not the players at each time when the movement of the ball has changed are the same as the players at different times, and assigned to each team In response to the event keyword, the team information storage unit 113 that stores team information such as the position of the goal to be defended and the color of the uniform, the event keyword and the event keyword information storage unit 114 that stores the time when the keyword occurred, Stored in the ball trajectory information storage unit 111, the player identification information storage unit 112, and the team information storage unit 113. It includes an event information generating unit 115 that generates event information information based on who is, the event information storage unit 116 for storing the generated event information.

次に、図２を用いてイベント抽出装置１００の全体的な動作について説明する。ステップ２０１では、多視点で撮影されたスポーツ映像からボールを認識してボール動きベクトルを抽出する。ステップ２０２では、抽出されたそれぞれのボール動きベクトルは、カメラの動きや撮影角度の変化等により誤差を持っているので、カメラパラメータを用いてボール動きベクトルを補正する。ステップ２０３では、補正されたボール動きベクトルを追跡し、ボール動きベクトルの変化点を抽出する。つまり、ステップ２０３では、ボール動きベクトルに変化が生じている点をイベントの発生時点の候補として抽出する。ボール動きベクトルに変化があればステップ２０４に進み、ボール動きベクトルに変化がなければステップ２０１に戻る。ステップ２０４では、ボール動きベクトルが変化した時点の映像とカメラパラメータを、例えば連続して３０フレーム抽出し、ボールや選手の位置と動き等の情報を特定する。図８はボール動きベクトルの変化点を連続して抽出したものであり、変化点時刻での、ボール情報、及び選手情報を表している。例えば、符号７０１及び７０２はフレームとして連続している。変化点時刻Ｔ１のボールの位置はＢ１であり、そのときの選手の位置はＰａ１，Ｐｂ１，Ｐｃ１・・・である。また、変化点時刻Ｔ２のボールの位置はＢ２であり、そのときの選手の位置はＰａ２，Ｐｂ２，Ｐｃ２・・・である。ボールの動きの特定は、Ｔ１からＴ２の間にＢ１からＢ２に動いていることから特定できる。同様に、選手の動きを特定することもできる。なお、選手の位置と動きの特定を行った後、ボール動きベクトルが変化した時点の主体者を特定する。つまり、ボールの位置情報と選手の位置情報を用いてそのボールに最も近い選手を主体者として特定しておく。ボールや選手の位置と動きを特定した後、ステップ２０５に進む。ステップ２０５では、チーム情報格納部１１３に格納された選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する。なお、チームに関する情報は、図１１に示すように、チーム名１１０１、チーム特定情報１１０２、守備ゴール位置１１０３、及びユニフォームの色１１０４等を有する。ステップ２０４およびステップ２０５でボールや選手の位置と動き、ならびに所属チームを特定した後、ステップ２０６に進む。ステップ２０６では、特定したボールの位置と動きを基にボール軌跡情報を取得し、これをボール軌跡情報格納部１１１に格納する。図９に示すように、ボール軌跡情報は、軌跡変化時刻９０１、ボール位置９０２、ボール動きベクトル９０３、主体者９０４、及び選手識別子９０６、所属チーム９０７、選手位置９０８、及び選手動きベクトル９０９等からなる選手情報９０５を有する。また、ステップ２０６では、特定したボールの位置と動き及び選手の所属チームを選手同定情報取得部１２８に送り、ステップ２０７に進む。ステップ２０７では、ボール動きベクトル変化点での映像とカメラパラメータ、及びステップ２０４およびステップ２０５で特定したその時点のボール軌跡情報が持つ選手情報を用いて、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得し、これを選手同定情報格納部１１２に格納する。図９に示すように、選手同定情報は、選手識別子１００１を有する。ステップ２０８では、ボール軌跡情報、選手同定情報、チームに関する情報、及びイベントキーワード情報を基にイベント情報を生成して格納する。図１２に示すように、イベントキーワード情報は、イベントキーワードの発生時刻１２０１、及びイベントキーワード１２０２を有する。また、図１３に示すように、イベント情報は、イベントの発生時刻１３０１、イベントの終了時刻１３０２、キーワード１３０３、及び主体者１３０４を有する。   Next, the overall operation of the event extraction apparatus 100 will be described with reference to FIG. In step 201, a ball motion vector is extracted by recognizing a ball from a sports video shot from multiple viewpoints. In step 202, since each extracted ball motion vector has an error due to a camera motion, a change in shooting angle, or the like, the ball motion vector is corrected using camera parameters. In step 203, the corrected ball motion vector is tracked and a change point of the ball motion vector is extracted. That is, in step 203, a point where the ball motion vector has changed is extracted as a candidate for the event occurrence time. If there is a change in the ball motion vector, the process proceeds to step 204, and if there is no change in the ball motion vector, the process returns to step 201. In step 204, for example, 30 frames are continuously extracted from the video and camera parameters when the ball motion vector changes, and information such as the position and motion of the ball or player is specified. FIG. 8 shows the ball motion vector change points continuously extracted and represents ball information and player information at the time of the change points. For example, reference numerals 701 and 702 are continuous as frames. The ball position at the change point time T1 is B1, and the player positions at that time are Pa1, Pb1, Pc1,. Further, the ball position at the change point time T2 is B2, and the player positions at that time are Pa2, Pb2, Pc2,. The movement of the ball can be identified from the movement from B1 to B2 between T1 and T2. Similarly, the movement of the player can be specified. After identifying the player's position and movement, the subject at the time when the ball motion vector changes is specified. That is, the player who is closest to the ball is specified as the subject using the position information of the ball and the position information of the player. After identifying the position and movement of the ball or player, the process proceeds to step 205. In step 205, the player's belonging team of the ball trajectory information at each time is specified using the information specifying the player's belonging team stored in the team information storage unit 113. As shown in FIG. 11, the team-related information includes a team name 1101, team identification information 1102, a defensive goal position 1103, a uniform color 1104, and the like. After identifying the position and movement of the ball or player and the team to which the team belongs in Step 204 and Step 205, the process proceeds to Step 206. In step 206, ball trajectory information is acquired based on the specified position and movement of the ball, and stored in the ball trajectory information storage unit 111. As shown in FIG. 9, the ball trajectory information includes trajectory change time 901, ball position 902, ball motion vector 903, subject 904, player identifier 906, belonging team 907, player position 908, player motion vector 909, and the like. Player information 905. In step 206, the specified position and movement of the ball and the team to which the player belongs are sent to the player identification information acquisition unit 128, and the process proceeds to step 207. In step 207, the player at each time when the ball movement changes using the video and camera parameters at the ball motion vector change point and the player information held in the ball trajectory information at that time specified in step 204 and step 205. Player identification information indicating whether or not is the same as a player at a different time is stored in the player identification information storage unit 112. As shown in FIG. 9, the player identification information has a player identifier 1001. In step 208, event information is generated and stored based on the ball trajectory information, player identification information, team information, and event keyword information. As shown in FIG. 12, the event keyword information includes an event keyword occurrence time 1201 and an event keyword 1202. Further, as shown in FIG. 13, the event information includes an event occurrence time 1301, an event end time 1302, a keyword 1303, and a subject 1304.

つづいて、図３を用いてステップ２０７で行うイベント情報の生成処理について説明する。ステップ３０１では、ボール軌跡情報、選手同定情報、チーム情報を取得する。ステップ３０２では、ボール軌跡情報の軌跡変化時刻に最も近いイベントキーワード情報をイベントキーワード情報格納部１１４から検索する。つまり、アナウンサーの発声を検索する。なお、イベントキーワード情報の検索は、ボール軌跡変化時刻の前後を何れも検索対象とする。ステップ３０３では、イベントキーワードの有無について判断する。軌跡変化時刻に対してイベントキーワードがある場合、その軌跡変化時刻ではイベントが行われている可能性があると判断して、次のステップ３０４に進む。一方、軌跡変化時刻に対してイベントキーワードがない場合、その軌跡変化時刻ではイベントが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ３０４では、イベントキーワードの内容について判断する。本実施例は、シュート、パス、及びドリブルをイベントキーワードとする。イベントキーワードがシュートの場合はステップ３０５に進み、イベントキーワードがパスの場合はステップ３０６に進み、イベントキーワードがドリブルの場合はステップ３０７に進む。ステップ３０５では、ボール軌跡変化時刻において、シュートが本当に行われたのか否かについてシュートの特徴を用いて判定し、シュートが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。ステップ３０６では、ボール軌跡変化時刻において、パスが本当に行われたのか否かについてパスの特徴を用いて判定し、パスが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。ステップ３０７では、ボール軌跡変化時刻において、ドリブルが本当に行われたのか否かについてドリブルの特徴を用いて判定し、ドリブルが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。   Next, the event information generation process performed in step 207 will be described with reference to FIG. In step 301, ball trajectory information, player identification information, and team information are acquired. In step 302, event keyword information closest to the trajectory change time of the ball trajectory information is searched from the event keyword information storage unit 114. That is, the announcer's utterance is searched. Note that the search for event keyword information is performed both before and after the ball trajectory change time. In step 303, the presence / absence of an event keyword is determined. If there is an event keyword for the trajectory change time, it is determined that an event may have occurred at the trajectory change time, and the process proceeds to the next step 304. On the other hand, if there is no event keyword for the trajectory change time, it is determined that no event has occurred at the trajectory change time, and the event information generation process is terminated (end). In step 304, the contents of the event keyword are determined. In this embodiment, shooting, passing, and dribbling are used as event keywords. If the event keyword is a shoot, the process proceeds to step 305. If the event keyword is a pass, the process proceeds to step 306. If the event keyword is dribble, the process proceeds to step 307. In step 305, it is determined whether or not the shot is actually made at the ball trajectory change time using the characteristics of the shot. If it is determined that the shot is taken, the event information is stored in the event information storage unit 106. (End). In step 306, it is determined whether or not the pass has actually been made at the ball trajectory change time by using the characteristics of the pass. If it is determined that the pass has been made, this event information is stored in the event information storage unit 106. (End). In step 307, at the ball trajectory change time, it is determined whether or not the dribbling is actually performed using the characteristics of the dribbling. If it is determined that the dribbling has been performed, this event information is stored in the event information storage unit 106. (End).

次に、図５を用いてステップ３０５で行う「シュート」の判定処理について具体的に説明する。図４（ａ）に示すように、シュートは、選手が相手ゴールに向けてボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたシュートが本当に行われているのか判定される。ステップ５０１では、イベントキーワードに「シュート」を取得する。ステップ５０２では、「シュート」の発生時刻がボール軌跡変化時刻の一定秒以内にあるか判断する。つまり、通常は、実際にボールが蹴られた後、アナウンサーが遅れて「シュート」と発するので、実際のシュートとアナウンサーが発した「シュート」とは時間的に誤差がある。ステップ５０２では、これが一定秒以内であるかどうかを判断する。一定秒以内であれば、ボール軌跡変化時刻にシュートが行われている可能性が十分にあるので、ステップ５０３に進む。一方、一定秒以内でなければ、ボール軌跡変化時刻にシュートが行われている可能性がないので、その時刻ではシュートが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ５０３では、チーム情報格納部１１３から相手のゴール位置１１０３を検出する。また、ステップ５０４では、ボール軌跡変化時刻におけるボールの位置９０２と動きベクトル９０３からボールの方向を計算する。ステップ５０５では、ステップ５０３及びステップ５０４で得られた相手ゴール位置、及びボールの方向から、ボールの方向がゴールの位置にだいたい向いているかを判断する。つまり、ステップ５０５では、選手が相手ゴールに向けてボールを蹴っているかを見て、シュートの特徴を有しているかを判断する。ボールの方向がゴールの位置に向いていれば、ボール軌跡変化時刻にシュートが行われていることを判断し、ステップ５０６に進む。一方、ボールの方向がゴールの位置に向いていなければ、ボール軌跡変化時刻にシュートが行われていないと判断し、イベント情報の生成処理を終了する（終了）。ステップ５０６では、ボール軌跡変化時刻にシュートが行われたことを認識し、ステップ５０７では、ボール軌跡変化時刻の主体者をイベントの主体者として判断、つまり、その選手がシュートを行ったことを特定する。そしてステップ５０８では、ボール軌跡変化時刻をイベント発生時刻１３０２、シュートをキーワード１３０３、及び特定した選手を主体者１３０４として関連付け、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。   Next, the “shoot” determination process performed in step 305 will be specifically described with reference to FIG. As shown in FIG. 4A, the shot is characterized in that the player kicks the ball toward the opponent goal. That is, it is determined whether the shoot extracted as event keyword information is actually performed using this feature. In step 501, “shoot” is acquired as the event keyword. In step 502, it is determined whether the occurrence time of the “shoot” is within a predetermined second of the ball trajectory change time. That is, normally, after the ball is actually kicked, the announcer delays and issues a “shoot”, so there is a time error between the actual shot and the “shoot” issued by the announcer. In step 502, it is determined whether or not this is within a certain period. If it is within the predetermined seconds, there is a possibility that a shot has been made at the ball trajectory change time. On the other hand, if it is not within a certain second, there is no possibility that a shot was made at the ball trajectory change time, so it is determined that no shot was taken at that time, and the event information generation process is terminated (end). . In step 503, the opponent goal position 1103 is detected from the team information storage unit 113. In step 504, the ball direction is calculated from the ball position 902 and the motion vector 903 at the ball trajectory change time. In step 505, it is determined from the opponent goal position obtained in step 503 and step 504 and the direction of the ball whether the ball direction is substantially directed to the goal position. That is, in step 505, it is determined whether or not the player has a shooting characteristic by looking at whether the player is kicking the ball toward the opponent goal. If the direction of the ball is directed to the goal position, it is determined that a shot is being made at the ball trajectory change time, and the process proceeds to step 506. On the other hand, if the direction of the ball is not directed to the goal position, it is determined that a shot has not been made at the ball trajectory change time, and the event information generation process ends (end). In step 506, it is recognized that a shot has been made at the ball trajectory change time, and in step 507, the subject at the ball trajectory change time is determined as the subject of the event, that is, the player has made a shot. To do. In step 508, the ball trajectory change time is associated with the event occurrence time 1302, the shot is associated with the keyword 1303, and the identified player is associated with the subject 1304, which is stored as event information in the event information storage unit 116 (end).

次に、図６を用いてステップ３０６で行う「パス」の判定処理について具体的に説明する。図４（ｂ）に示すように、パスは、選手が同一チームの異なる選手に向けてボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたパスが本当に行われているのか判定される。ステップ６０１では、イベントキーワードに「パス」を取得する。ステップ６０２では、「パス」の発生時刻がボール軌跡変化時刻の一定秒以内にあるか判断する。つまり、通常は、実際にボールが蹴られた後、アナウンサーが遅れて「パス」と発するので、実際のパスとアナウンサーが発した「パス」とは時間的に誤差がある。ステップ６０２では、これが一定秒以内であるかどうかを判断する。一定秒以内であれば、ボール軌跡変化時刻にパスが行われている可能性が十分にあるので、ステップ６０３に進む。一方、一定秒以内でなければ、ボール軌跡変化時刻にパスが行われている可能性がないので、その時刻ではパスが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ６０３では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ＋１）を検索する。これはボール軌跡情報（Ｎ）の主体者（Ｎ）が本当にパスを行っていたか否かを調べるためである。ステップ６０４では、ボール軌跡情報（Ｎ＋１）の有無について判断する。ボール軌跡情報（Ｎ＋１）がある場合、主体者（Ｎ）がパスを行っていた可能性が十分にあることを判断して、ステップ６０５に進む。一方、ボール軌跡情報（Ｎ＋１）がない場合、その時刻ではパスがされなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ６０５では、主体者（Ｎ）と主体者（Ｎ＋１）は同じ選手であるか否かについて判断する。つまり、ステップ６０５では、選手が同一チームの異なる選手に向けてボールを蹴るかを見て、パスの特徴を有しているか判断する。主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手の場合、主体者（Ｎ）はパスをしていないことが分かり、イベント情報の生成処理を終了する（終了）。一方、主体者（Ｎ）と主体者（Ｎ＋１）が違う選手の場合、主体者（Ｎ）は主体者（Ｎ＋１）に向けてパスをしていることが分かり、ステップ６０７に進む。ステップ６０７では、ボール軌跡変化時刻にパスが行われたことを認識し、ステップ６０８では、ボール軌跡変化時刻の主体者（Ｎ）をイベントの主体者として判断、つまり、その選手がパスを行ったことを特定する。そしてステップ６０９では、ボール軌跡変化時刻をイベント発生時刻１３０２、パスをキーワード１３０３、及び特定した選手を主体者１３０４として関連付けて、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。   Next, the “pass” determination process performed in step 306 will be specifically described with reference to FIG. As shown in FIG. 4B, the pass is characterized in that the player kicks the ball toward different players of the same team. In other words, it is determined whether the path extracted as event keyword information is actually performed using this feature. In step 601, “pass” is acquired as the event keyword. In step 602, it is determined whether the occurrence time of the “pass” is within a predetermined second of the ball trajectory change time. That is, normally, after the ball is actually kicked, the announcer issues a “pass” with a delay, so there is a temporal error between the actual pass and the “pass” issued by the announcer. In step 602, it is determined whether or not this is within a certain period. If it is within a certain second, there is a possibility that a pass has been made at the ball trajectory change time, and the routine proceeds to step 603. On the other hand, if it is not within the predetermined seconds, there is no possibility that a pass has been made at the ball trajectory change time, so it is determined that the pass has not been made at that time, and the event information generation process ends (end). . In step 603, the ball trajectory information (N + 1) is retrieved from the ball trajectory information storage unit 111. This is to check whether or not the subject (N) of the ball trajectory information (N) has actually made a pass. In step 604, the presence / absence of ball trajectory information (N + 1) is determined. If there is ball trajectory information (N + 1), it is determined that there is a sufficient possibility that the subject (N) has made a pass, and the routine proceeds to step 605. On the other hand, if there is no ball trajectory information (N + 1), it is determined that no pass has been made at that time, and the event information generation process ends (end). In step 605, it is determined whether the subject (N) and the subject (N + 1) are the same player. That is, in step 605, it is determined whether or not the player has a pass characteristic by looking at whether the player kicks the ball toward a different player of the same team. When the subject (N) and the subject (N + 1) are the same player, it is found that the subject (N) has not passed, and the event information generation process ends (end). On the other hand, when the subject (N) and the subject (N + 1) are different players, it is found that the subject (N) is passing toward the subject (N + 1), and the process proceeds to step 607. In step 607, it is recognized that the pass has been made at the ball trajectory change time. In step 608, the subject (N) at the ball trajectory change time is determined as the subject of the event, that is, the player has made the pass. Identify that. In step 609, the ball trajectory change time is associated with the event occurrence time 1302, the pass is the keyword 1303, and the identified player is associated with the subject 1304, which is stored in the event information storage unit 116 as event information (end).

次に、図７を用いてステップ３０７で行う「ドリブル」の判定処理について具体的に説明する。図４（ｃ）に示すように、ドリブルは、その開始から終わりまで同じ選手がボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたドリブルが本当に行われているのか判定される。ステップ７０１では、イベントキーワードに「ドリブル」を取得する。ステップ７０２では、ボール軌跡変化時刻（Ｎ）をドリブルの開始点であると予測する。ステップ７０３では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ−１）を検索する。つまり、ステップ７０２ではボール軌跡変化時刻（Ｎ）をドリブルの開始点であると予測したが、本当にその時刻からドリブルを開始しているのか調べる必要があるので、ボール軌跡変化時刻（Ｎ）の前のボール軌跡変化時刻（Ｎ−１）を検索する。ステップ７０４では、ボール軌跡情報（Ｎ−１）の有無について判断する。ボール軌跡情報（Ｎ−１）がある場合、ステップ７０２で予測したドリブルの開始点が間違っている可能性が十分にあることを判断して、ステップ７０５に進む。一方、ボール軌跡変化時刻（Ｎ−１）がない場合、ステップ７０２で予測したドリブルの開始点は間違っていないことを判断して、ステップ７０６に進む。ステップ７０５では、主体者（Ｎ）と主体者（Ｎ−１）は同じ選手であるか否かについて判断する。主体者（Ｎ）と主体者（Ｎ−１）が同じ選手の場合、ステップ７０２で予測したドリブルの開始点の前から主体者（Ｎ−１）がドリブルをしているので、ステップ７０２での予測が間違っていたことが分かる。この場合、さらにボール軌跡情報（Ｎ−１）について調べる必要があるため、ステップ７０２に戻る。一方、主体者（Ｎ）と主体者（Ｎ−１）が同じ選手でない場合、ステップ７０２で予測したドリブルの開始点は間違っていないことを判断して、ステップ７０６に進む。ステップ７０６では、ボール軌跡変化時刻（Ｎ）をドリブルの開始点であると決定してステップ７０７に進む。ステップ７０７では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ＋１）を検索する。ここでは、ボール軌跡情報（Ｎ＋１）を用いて、主体者（Ｎ）のドリブルの終了点を検索する。ステップ７０８では、ボール軌跡情報（Ｎ＋１）の有無について判断する。ボール軌跡情報（Ｎ＋１）がある場合、ドリブルが続いている可能性が十分にあることを判断して、ステップ７０９に進む。一方、ボール軌跡情報（Ｎ＋１）がない場合、ドリブルが終わったことを判断して、ステップ７１０に進む。ステップ７０９では、主体者（Ｎ）と主体者（Ｎ＋１）は同じ選手であるか否かについて判断する。主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手の場合、ドリブルが続いていることが分かり、この場合、さらにボール軌跡情報（Ｎ＋１）について調べる必要があるため、ステップ７０７に戻る。一方、主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手でない場合、ドリブルが終わったことを判断して、ステップ７１０に進む。ステップ７１０では、ボール軌跡変化時刻（Ｎ）がドリブルの終了点であると決定してステップ７１１に進む。ステップ７１１では、ボール軌跡変化時刻（Ｎ）にドリブルが行われたことを認識し、ステップ７１２では、ボール軌跡変化時刻の主体者をイベントの主体者として判断、つまり、その選手がドリブルを行ったことを特定する。そしてステップ７１３では、ボール軌跡変化時刻をイベント発生時刻１３０２、ドリブルをキーワード１３０３、及び特定した選手を主体者１３０４として関連付けて、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。   Next, the “dribble” determination process performed in step 307 will be specifically described with reference to FIG. As shown in FIG. 4C, dribbling is characterized in that the same player kicks the ball from the start to the end. That is, it is determined whether or not the dribbling extracted as event keyword information is actually performed using this feature. In step 701, “dribble” is acquired as the event keyword. In step 702, the ball trajectory change time (N) is predicted to be the dribbling start point. In step 703, the ball trajectory information (N−1) is retrieved from the ball trajectory information storage unit 111. That is, in step 702, it is predicted that the ball trajectory change time (N) is the start point of dribbling, but since it is necessary to check whether dribbling has actually started from that time, before the ball trajectory change time (N). The ball trajectory change time (N-1) is retrieved. In step 704, the presence / absence of ball trajectory information (N-1) is determined. If there is ball trajectory information (N−1), it is determined that there is a sufficient possibility that the dribbling start point predicted in step 702 is wrong, and the process proceeds to step 705. On the other hand, if there is no ball trajectory change time (N−1), it is determined that the dribbling start point predicted in step 702 is not wrong, and the process proceeds to step 706. In step 705, it is determined whether the subject (N) and the subject (N-1) are the same player. In the case where the subject (N) and the subject (N-1) are the same player, the subject (N-1) dribbles before the dribbling start point predicted in step 702. You can see that the prediction was wrong. In this case, since it is necessary to further check the ball trajectory information (N-1), the process returns to step 702. On the other hand, if the subject (N) and the subject (N-1) are not the same player, it is determined that the dribbling start point predicted in step 702 is not wrong, and the process proceeds to step 706. In step 706, the ball trajectory change time (N) is determined as the dribbling start point, and the process proceeds to step 707. In step 707, the ball trajectory information (N + 1) is retrieved from the ball trajectory information storage unit 111. Here, the end point of dribbling of the subject (N) is searched using the ball trajectory information (N + 1). In step 708, the presence / absence of ball trajectory information (N + 1) is determined. If there is ball trajectory information (N + 1), it is determined that there is a sufficient possibility that dribbling continues, and the process proceeds to step 709. On the other hand, if there is no ball trajectory information (N + 1), it is determined that dribbling has ended, and the process proceeds to step 710. In step 709, it is determined whether the subject (N) and the subject (N + 1) are the same player. When the subject (N) and the subject (N + 1) are the same player, it can be seen that dribbling continues, and in this case, since it is necessary to further check the ball trajectory information (N + 1), the process returns to step 707. On the other hand, if the subject (N) and the subject (N + 1) are not the same player, it is determined that the dribbling is over, and the process proceeds to step 710. In step 710, it is determined that the ball trajectory change time (N) is the dribbling end point, and the process proceeds to step 711. In step 711, it is recognized that dribbling has been performed at the ball trajectory change time (N). In step 712, the subject at the ball trajectory change time is determined as the subject of the event, that is, the player has dribbled. Identify that. In step 713, the ball trajectory change time is associated with the event occurrence time 1302, dribbling is the keyword 1303, and the identified player is associated with the subject 1304, and this is stored as event information in the event information storage unit 116 (end).

以上、本実施例によれば、ボールの動きベクトルの変化点をイベント発生時点の候補とし、また、この時点での映像、及びチーム情報を用いてボール軌跡情報、及び選手同定情報を特定して、特定したボール軌跡情報及び選手同定情報、ならびにチーム情報を用いて、シュート、パス、及びドリブル等のイベントキーワードを受けて、そのイベントが本当に行われているのか判定することにより、本当にあったイベント発生時点を正確に抽出でき、また、イベントの内容や発生時刻等も正確に抽出できる。なお、本実施例で説明した処理動作は、イベント抽出装置内の記憶媒体（図示しない）に格納されたイベント抽出プログラムを、その装置内のコンピュータが実行して処理を行っている。   As described above, according to the present embodiment, the change point of the motion vector of the ball is set as a candidate for the event occurrence time, and the ball trajectory information and the player identification information are specified using the video and team information at this time point. By using the specified ball trajectory information, player identification information, and team information, and receiving event keywords such as shoot, pass, and dribbling, and determining whether the event is actually taking place, The time of occurrence can be accurately extracted, and the contents of the event and the time of occurrence can be accurately extracted. Note that the processing operation described in this embodiment is performed by a computer in the apparatus executing an event extraction program stored in a storage medium (not shown) in the event extraction apparatus.

また、上記実施例では、シュート、パス、及びドリブルについて説明したが、この他にもイベントキーワードとしてカットを用いても良い。これもイベントキーワードにカットを受けた場合、ボール軌跡情報が有する、特定された主体者やその所属チーム、ボールの位置と動きベクトル、及び守備ゴール位置等から、カットが本当に行われているのか判定することにより、その開始時刻を特定することができる。この他のイベントキーワードとなる、ゴール、キャッチ、パンチング、コーナーキック、フリーキック等も同様にイベントを特定することができる。また、上記実施例では、スポーツ中継としてサッカーを例に説明したが、野球やバスケットボール、あるいはバレーボール等のあらゆるスポーツ中継においてもイベントについて特定することができる。さらに、多視点カメラで撮影された映像からイベントを特定することを説明したが、一台のカメラでも同様の処理を行うことにより、イベントを特定することができる。   In the above embodiment, the shot, pass, and dribble have been described. However, a cut may be used as an event keyword. If the event keyword also receives a cut, it is determined whether the cut is actually made from the specified subject and its team, the ball position and motion vector, the defensive goal position, etc., which the ball trajectory information has By doing so, the start time can be specified. Other event keywords such as goals, catches, punching, corner kicks, free kicks, and the like can also specify events. Moreover, in the said Example, although soccer was demonstrated to the example as a sports relay, it can identify about an event also in all sports relays, such as baseball, a basketball, or a volleyball. Furthermore, although the description has been given of specifying an event from video captured by a multi-viewpoint camera, an event can be specified by performing the same processing with a single camera.

本発明のイベント抽出装置は、スポーツ中継における映像から特定のイベントを抽出できるので、視聴者や番組制作者にとって好適である。   The event extracting apparatus of the present invention is suitable for viewers and program producers because it can extract a specific event from a video in a sports broadcast.

本発明のイベント抽出装置を示すブロック図The block diagram which shows the event extraction device of this invention 本発明のイベント抽出装置で行う処理手順を示すフロー図The flowchart which shows the processing procedure performed with the event extraction apparatus of this invention 本発明のイベント内容特定部で行う処理手順を示すフロー図The flowchart which shows the process sequence performed in the event content specific | specification part of this invention 各イベントのボール軌跡の特徴を示す図The figure which shows the characteristic of the ball locus of each event キーワードにシュートを受けた場合の処理手順を示すフロー図Flow chart showing the processing procedure when a keyword is shot キーワードにパスを受けた場合の処理手順を示すフロー図Flow chart showing the processing procedure when receiving a pass for a keyword キーワードにドリブルを受けた場合の処理手順を示すフロー図Flow chart showing the processing procedure when a keyword is dribbled 変化点抽出に伴って取得した映像の連続した各フレームの時刻Ｔｘにおけるボールや選手の位置を示す図The figure which shows the position of the ball | bowl or a player in the time Tx of each continuous frame of the image | video acquired accompanying change point extraction ボール軌跡情報を示す図Diagram showing ball trajectory information 選手同定情報を示す図Figure showing player identification information チーム情報を示す図Diagram showing team information イベントキーワード情報を示す図Figure showing event keyword information イベント情報を示す図Figure showing event information 従来の特定シーン抽出装置を示すブロック図Block diagram showing a conventional specific scene extraction device

符号の説明Explanation of symbols

１００ イベント抽出装置
１１０ イベント内容特定部
１１１ ボール軌跡情報格納部
１１２ 選手同定情報格納部
１１３ チーム情報格納部
１１４ イベントキーワード情報格納部
１１５ イベント情報生成部
１１６ イベント情報格納部
１２１ ボール認識部
１２２ ボール動きベクトル抽出部
１２３ ボール動きベクトル補正部
１２４ ボール動きベクトル変化点抽出部
１２５ ボール・選手位置及び動き特定部
１２６ ボール軌跡情報取得部
１２７ 選手同定情報取得部
１３１ 映像格納部
１３２ カメラ情報格納部 DESCRIPTION OF SYMBOLS 100 Event extraction device 110 Event content specific part 111 Ball locus information storage part 112 Player identification information storage part 113 Team information storage part 114 Event keyword information storage part 115 Event information generation part 116 Event information storage part 121 Ball recognition part 122 Ball motion vector Extraction unit 123 Ball motion vector correction unit 124 Ball motion vector change point extraction unit 125 Ball / player position and motion identification unit 126 Ball trajectory information acquisition unit 127 Player identification information acquisition unit 131 Video storage unit 132 Camera information storage unit

Claims (11)

ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、
前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、
各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、
イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、
前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段とを備えたことを特徴とするイベント抽出装置。 Ball trajectory information storage means for storing the occurrence time of each time when the movement of the ball has changed, the ball position and motion vector at that time, the position of the player, and the ball trajectory information consisting of the team to which the player belongs,
Player identification information storage means for storing player identification information indicating whether or not the player at each time when the movement of the ball has changed is the same as the player at a different time;
Team information storage means for storing team information regarding the position of the goal assigned to each team;
Event keyword information storage means for storing an event keyword and the time when the keyword occurred;
An event extraction apparatus comprising: event information generation means for receiving event keywords and generating event information based on the ball trajectory information, the player identification information, and the team information. 前記イベント情報生成手段により生成されたイベント情報を格納するイベント情報格納手段をさらに備えたことを特徴とする請求項１に記載のイベント抽出装置。   2. The event extraction device according to claim 1, further comprising event information storage means for storing event information generated by the event information generation means. 前記ボール軌跡情報のボールの位置と選手の位置からそのボールの動きを変化させた主体者を特定することを特徴とする請求項１または２に記載のイベント抽出装置。   The event extracting device according to claim 1 or 2, wherein the subject who changes the movement of the ball is specified from the position of the ball and the position of the player in the ball trajectory information. 前記主体者の所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置から前記イベントキーワードに対応するイベントの開始時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。   4. The event according to claim 3, wherein a start time of an event corresponding to the event keyword is specified from the team to which the subject belongs, the ball position and motion vector, and the goal position assigned to each team. Extraction device. 各時刻のボール軌跡情報の主体者とその所属チームからイベントキーワードに対応するイベントの開始／終了時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。   4. The event extracting apparatus according to claim 3, wherein start / end times of an event corresponding to the event keyword are specified from the subject of the ball trajectory information at each time and the team to which the ball locus information belongs. 各時刻のボール軌跡情報の主体者とその所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置からイベントキーワードに対応するイベントの開始時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。   The start time of the event corresponding to the event keyword is specified from the subject of the ball trajectory information at each time and its team, the position and motion vector of the ball, and the goal position assigned to each team. Item 4. The event extraction device according to Item 3. 前記イベントキーワード情報格納手段は、アナウンサーの発声をキーワードとして格納することを特徴とする請求項１乃至６の何れかに記載のイベント抽出装置。   7. The event extracting apparatus according to claim 1, wherein the event keyword information storage unit stores an announcer's utterance as a keyword. 映像に映るボールを認識するボール認識部と、
前記認識したボールの動きベクトルを抽出するボール動きベクトル抽出部と、
前記ボールの動きベクトルの変化点を抽出するボール動きベクトル変化点抽出部と、
前記ボール動きベクトル変化点でのボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部と、
前記チーム情報格納手段に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部と、
前記特定したボールの位置と動きを基に前記ボール軌跡情報を取得するボール軌跡情報取得部と、
前記ボール軌跡情報の各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報取得部とを備えることを特徴とする請求項１乃至７の何れかに記載のイベント抽出装置。 A ball recognition unit for recognizing the ball reflected in the image;
A ball motion vector extraction unit for extracting the recognized motion vector of the ball;
A ball motion vector change point extraction unit for extracting a change point of the ball motion vector;
A ball / player position and movement specifying unit for specifying the position and movement of the ball and player at the ball movement vector change point;
A player specifying unit for specifying the team to which the player belongs in the ball trajectory information at each time using information for specifying the team to which the player belongs stored in the team information storage means;
A ball trajectory information acquisition unit that acquires the ball trajectory information based on the position and movement of the identified ball;
The player identification information acquisition part which acquires the player identification information which shows whether the player at each time of the said ball locus | trajectory information is the same as the player of a different time is provided. Event extractor. 前記ボール動きベクトル抽出部で抽出したボール動きベクトルを、カメラパラメータを用いて補正するボール動きベクトル補正部を備えることを特徴とする請求項１乃至８の何れかに記載のイベント抽出装置。   9. The event extraction apparatus according to claim 1, further comprising a ball motion vector correction unit that corrects the ball motion vector extracted by the ball motion vector extraction unit using a camera parameter. ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納ステップと、
前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納ステップと、
各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納ステップと、
イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納ステップと、
前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成ステップと、を有することを特徴とするイベント抽出方法。 A ball trajectory information storage step for storing the occurrence time of each time when the movement of the ball has changed, the ball position and motion vector at that time, the position of the player and the ball trajectory information made up of the player's team,
A player identification information storage step for storing player identification information indicating whether or not the player at each time when the movement of the ball has changed is the same as the player at a different time,
A team information storage step for storing team information regarding the position of the goal assigned to each team;
An event keyword information storage step for storing an event keyword and the time when the keyword occurred;
An event extraction method comprising: an event information generation step of receiving event keywords and generating event information based on the ball trajectory information, the player identification information, and the team information. コンピュータを、
ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、
前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、
各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、
イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、
前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段として機能させるためのイベント抽出プログラム。 Computer
Ball trajectory information storage means for storing the occurrence time of each time when the movement of the ball has changed, the ball position and motion vector at that time, the position of the player, and the ball trajectory information consisting of the team to which the player belongs,
Player identification information storage means for storing player identification information indicating whether or not the player at each time when the movement of the ball has changed is the same as the player at a different time;
Team information storage means for storing team information regarding the position of the goal assigned to each team;
Event keyword information storage means for storing an event keyword and the time when the keyword occurred;
An event extraction program for functioning as event information generating means for receiving event keywords and generating event information based on the ball trajectory information, the player identification information, and the team information.
JP2004191144A 2004-06-29 2004-06-29 Event extraction device, and method and program therefor Pending JP2006012012A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004191144A JP2006012012A (en) 2004-06-29 2004-06-29 Event extraction device, and method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004191144A JP2006012012A (en) 2004-06-29 2004-06-29 Event extraction device, and method and program therefor

Publications (1)

Publication Number Publication Date
JP2006012012A true JP2006012012A (en) 2006-01-12

Family

ID=35779185

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004191144A Pending JP2006012012A (en) 2004-06-29 2004-06-29 Event extraction device, and method and program therefor

Country Status (1)

Country Link
JP (1) JP2006012012A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010041725A (en) * 2008-08-01 2010-02-18 Sony United Kingdom Ltd Method and apparatus for generating event log
JP2010061221A (en) * 2008-09-01 2010-03-18 Ntt Comware Corp Device for reproducing three-dimensional moving image, method for searching additional information, and program
JP2010522926A (en) * 2007-03-26 2010-07-08 トムソン ライセンシング Method and apparatus for detecting interest in soccer video by color segmentation and shape analysis
WO2010113929A1 (en) * 2009-03-31 2010-10-07 日本電気株式会社 Tracking judgment device, tracking judgment method, and tracking judgment program
CN102034096A (en) * 2010-12-08 2011-04-27 中国科学院自动化研究所 Video event recognition method based on top-down motion attention mechanism
JP2018081630A (en) * 2016-11-18 2018-05-24 株式会社東芝 Search device, search method and program
JP2019091187A (en) * 2017-11-13 2019-06-13 富士通株式会社 Image processing program, image processing method and information processing device
WO2019225415A1 (en) * 2018-05-21 2019-11-28 パナソニックＩｐマネジメント株式会社 Ball game video analysis device and ball game video analysis method

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010522926A (en) * 2007-03-26 2010-07-08 トムソン ライセンシング Method and apparatus for detecting interest in soccer video by color segmentation and shape analysis
JP2010041725A (en) * 2008-08-01 2010-02-18 Sony United Kingdom Ltd Method and apparatus for generating event log
GB2465538A (en) * 2008-08-01 2010-05-26 Sony Corp Apparatus and method of object tracking
GB2465538B (en) * 2008-08-01 2013-03-13 Sony Corp Method and apparatus for generating an event log
US8547431B2 (en) 2008-08-01 2013-10-01 Sony Corporation Method and apparatus for generating an event log
JP2010061221A (en) * 2008-09-01 2010-03-18 Ntt Comware Corp Device for reproducing three-dimensional moving image, method for searching additional information, and program
WO2010113929A1 (en) * 2009-03-31 2010-10-07 日本電気株式会社 Tracking judgment device, tracking judgment method, and tracking judgment program
CN102369729A (en) * 2009-03-31 2012-03-07 日本电气株式会社 Tracking judgment device, tracking judgment method, and tracking judgment program
US8848979B2 (en) 2009-03-31 2014-09-30 Nec Corporation Tracked object determination device, tracked object determination method and tracked object determination program
CN102034096A (en) * 2010-12-08 2011-04-27 中国科学院自动化研究所 Video event recognition method based on top-down motion attention mechanism
JP2018081630A (en) * 2016-11-18 2018-05-24 株式会社東芝 Search device, search method and program
JP2019091187A (en) * 2017-11-13 2019-06-13 富士通株式会社 Image processing program, image processing method and information processing device
WO2019225415A1 (en) * 2018-05-21 2019-11-28 パナソニックＩｐマネジメント株式会社 Ball game video analysis device and ball game video analysis method
CN112154482A (en) * 2018-05-21 2020-12-29 松下知识产权经营株式会社 Ball motion image analysis device and ball motion image analysis method
US20210150220A1 (en) * 2018-05-21 2021-05-20 Panasonic Intellectual Property Management Co., Ltd. Ball game video analysis device and ball game video analysis method
JPWO2019225415A1 (en) * 2018-05-21 2021-06-17 パナソニックＩｐマネジメント株式会社 Ball game video analysis device and ball game video analysis method
EP3798978A4 (en) * 2018-05-21 2021-08-04 Panasonic Intellectual Property Management Co., Ltd. Ball game video analysis device and ball game video analysis method
US11521388B2 (en) 2018-05-21 2022-12-06 Panasonic Intellectual Property Management Co., Ltd. Ball game video analysis device and ball game video analysis method
JP7289080B2 (en) 2018-05-21 2023-06-09 パナソニックＩｐマネジメント株式会社 Ball game video analysis device and ball game video analysis method
CN112154482B (en) * 2018-05-21 2024-05-10 松下知识产权经营株式会社 Ball game image analysis device and ball game image analysis method

Similar Documents

Publication Publication Date Title
Xu et al. Live sports event detection based on broadcast video and web-casting text
US9124856B2 (en) Method and system for video event detection for contextual annotation and synchronization
JP4905474B2 (en) Video processing apparatus, video processing method, and program
US8988528B2 (en) Video processing device, video processing method, and program
US20180132011A1 (en) System and method for creating and distributing multimedia content
US20190266407A1 (en) Classify actions in video segments using play state information
TWI586161B (en) Extraction method and device
US9681200B2 (en) Data processing method and device
JP2006012012A (en) Event extraction device, and method and program therefor
CN111741325A (en) Video playing method and device, electronic equipment and computer readable storage medium
Valand et al. Automated clipping of soccer events using machine learning
US20120066242A1 (en) System And Method Of Enabling Identification Of A Right Event Sound Corresponding To An Impact Related Event
CN112287771A (en) Method, apparatus, server and medium for detecting video event
KR101701632B1 (en) Determination method and device
JP2007174260A (en) Device for producing digest information
TWI559760B (en) Extraction method and device
JP2021141434A (en) Scene extraction method, device, and program
Kao et al. ScoreActuary: Hoop-Centric Trajectory-Aware Network for Fine-Grained Basketball Shot Analysis
KR102652647B1 (en) Server, method and computer program for generating time slice video by detecting highlight scene event
Chen et al. Event-based segmentation of sports video using motion entropy
WO2023127044A1 (en) Image processing device, image processing method, and non-transitory computer-readable medium
JP2009055446A (en) System and device for searching video image
Zhu et al. Sports video analysis: from semantics to tactics
Christmas et al. Improving the accuracy of automatic tennis video annotation by high level grammar
JP4647551B2 (en) Slow playback section detection device, slow playback section detection method and program