【０００１】
【発明の属する技術分野】
この発明は、サッカーゲーム等の球技ゲームにおけるプレーヤの動きを解析できるように画像を編集する技術分野に属する。
【０００２】
【従来の技術】
サッカー等の球技の試合においてビデオカメラで撮影した撮影画像からだけでは各プレーヤの動きを解析することは困難である場合が多い。特にサッカーの試合ではボールを中心とした個人のプレイだけでなく、プレーヤの連携プレイが重要視されるために局部的な個人プレイの撮影画像だけでは各プレーヤの動きを解析することは困難な場合がある。また、フィールド全体を撮影すると各プレーヤの識別が困難になったりする。さらに、ボールの速度が速いためにボールの位置が不明瞭となり、各プレーヤの動きも不明瞭となるという問題が起きる。そこで、従来はその試合を観戦していた解説者の解説を同時に聴取して補助にしたり、或いは試合中に解説者のコメントを画面上で文字表示したりすることが行われていた。しかし、解説者の意見が入るとその意見に左右される傾向が生じるという問題が生じる。特にビデオを見る者が解説者の意見と異なる見解を持っている場合は問題となる。
【０００３】
上記した問題を解決するためにサッカー試合の動きをデータベース化する方法が公開特許公報、特開平６−３１９８４３号に提案されている。以下、この従来方法を図に基づいて簡単に説明する。図１１（Ａ）で、サッカー競技場５１のフィールド５３の上方にテレビカメラ５２が設置され、撮影画像は離れて配置されているビデオレコーダ５６に記録される。なお、図１１（Ｂ）は編集装置を示す図で、ビデオレコーダ５６はＡ／Ｄコンバータ６１を介して表示画面５７を備えたコンピュータ５９に接続され、コンピュータ５９は更に、タイマー６３、操作盤６４、ライトペン６５及び外部記憶装置７１が接続されている。外部記憶装置７１には区割りプログラム７２、数値化プログラム７３、データファイル７５が記録される。
【０００４】
編集は試合終了後に行われる。ビデオレコーダ５６からの映像（動画像）が表示画面５７に表示される。このときに操作盤６４の所定のキーを押すと、押した瞬間の動画のビデオ画像がディジタル化されて１枚の静止画像になって表示される。次に静止画像のフィールド５３の４角をライトペン６５で指示するとフィールド５３に小枠６７に区画された枠が図１２に示すように表示される。小枠６７内に居る選手、小枠位置、ボール位置、選手の行ったアクション（シュート、フリーキック等）等を鑑定人が判断しながらライトペンを使用して文字データとして外部記憶装置７１に記録する。この記録作業は１秒ごとに、９０分の試合では５４００（＝９０分ｘ６０秒）コマのプレイフィールドの静止画像について作成する。
【０００５】
この従来の方法はサッカーの試合について文字データベースが作成されるので、サッカーチームの戦力について客観的な評価を何時でも誰でも入手できるということができる。これによって、データを引き出してゲームを楽しむこともでき、各種の角度から見た選手のプレイを解析できる等の効果が得られる。
しかし、本方法は大部分が鑑定人（人手）によって作成されるので、編集に大変な労力が必要であるという問題がある。更に、データが全て文字化されるのでゲームの流れを楽しむこともできず、プレーヤの微妙な動きが視覚的に判断しにくくなるという問題点がある。
【０００６】
【発明が解決しようとする課題】
本発明は、上記事実に鑑みなされたものであり、自動的に編集可能な機能を付加して人手による労力を軽減すると共に動画像を主体として試合の流れを楽しめるだけでなくプレーヤの動きの解析に役立つような編集方法提供することを課題とする。
【０００７】
【課題を解決するための手段】
本発明は上記の課題を解決するための手段として以下の構成を採用している。即ち、
請求項１に記載の発明は、サッカー等の球技の試合を１又は複数のビデオカメラで撮影した撮影画像からプレーヤの動きを解析するための画像を編集する方法において、プレイフィールドの背景画像を抽出するステップと、該背景画像を利用してプレイフィールド内のプレーヤを検出するステップと、該検出されたプレーヤの動きを追跡するステップと、該追跡結果から前記試合におけるプレーヤの動きの流れを合成するステップとを含むことを特徴とする。
【０００８】
請求項２に記載の発明は、請求項１記載の発明において、前記背景画像を抽出は、自動的に背景画像を更新するステップを含むことを特徴とする。
また、請求項３に記載の発明は、請求項１または請求項２の何れか１に記載の発明において、前記背景画像を抽出は、プレイフィールド内の点又は部分の画像が一定時間以上同一か又はその変化が閾値よりも小さいときに、その点又は部分の画像を背景画像とした背景画像としたことを特徴とする。
【０００９】
請求項４に記載の発明は、請求項１〜請求項３の何れか１に記載の発明において、前記プレーヤの検出は、撮影画像の色ヒストグラムと背景画像の色ヒストグラムの差を利用した特徴とする。
【００１０】
請求項５に記載の発明は、請求項１〜請求項４の何れか１に記載の発明において、前記プレーヤの動きの追跡は、該プレーヤの足元の動き又は股部分の動きを基準にしたことを特徴とする。
また、請求項６に記載の発明は、請求項１〜請求項５の何れか１に記載の発明において、前記プレーヤの動き追跡は、複数のプレーヤの接近、前後の交叉等により該プレーヤの識別が困難になったときは、その部分を修正する修正ステップを含むことを特徴とする。
また、請求項７に記載の発明は、請求項１〜請求項６の何れか１に記載の発明において、前記プレーヤの動き追跡は、各追跡経路に符号を付して識別したことを特徴とする。
また、請求項８に記載の発明は、請求項１〜請求項７の何れか１に記載の発明において、前記プレーヤの動き追跡は、プレーヤが前記プレイフィールドから出たときは追跡を中止し、プレーヤが前記プレイフィールド内に入ってきたときは別の識別符号を付して追跡を開始することを特徴とする。
【００１１】
請求項９に記載の発明は、請求項１〜請求項８の何れか１に記載の発明において、前記合成ステップは、各プレーヤのデータベースを利用して、前記プレーヤの追跡経路を選択して接続し、プレーヤの試合における動きの流れを求めたことを特徴とする。
【００１２】
請求項１０に記載の発明は、請求項１〜請求項９の何れか１に記載の発明において、前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、前記プレーヤの動き追跡は分割された領域ごとに行え、前記合成ステップにおいて領域ごとの追跡経路を合成してプレーヤの試合における動きの流れを求めたことを特徴とする。
【００１３】
請求項１１に記載の発明は、請求項１〜請求項１０の何れか１に記載の発明において、前記撮影画像が複数のビデオカメラにより前記プレイフィールドを複数の領域に分割して撮影した撮影画像である場合において、分割された領域ごとの画像を合成して該プレイフィールド全体の画像を表示可能に編集したことを特徴とする。
【００１４】
請求項１２に記載の発明は、請求項１〜請求項１１の何れか１に記載の発明において、前記プレイフィールド全体の画像にボールの軌跡を追加表示可能にしたことを特徴とする。
また、請求項１３に記載の発明は、請求項１〜請求項１１の何れか１に記載の発明において、前記編集画像は、シュート等の特別な場合の画像を拡大して追加可能にしたことを特徴とする。
請求項１４に記載の発明は、請求項１〜請求項１３の何れか１に記載した方法により編集した画像を記録したことを特徴とする記録媒体。
【００１５】
【発明の実施の形態】
以下本発明の実施形態を図に基づいて説明する。図２はサッカーゲームを撮影するために設置されたビデオカメラの配置図を示す。図２において、プレイフィールド１２の両側端にゴール１３ａ、１３ｂが配置されている。サッカーは、１１人のプレーヤ１４から構成される２つのチームが争って相手方のゴール１３ａ（１３ｂ）にサッカーボール１５を入れることにより得点を争うゲームである。サッカーボール１５がプレイフィールド１２の外側に出た場合はゲームが一時中断する。ここでは、４台のビデオカメラ（１１ａ〜１１ｄ）がプレイフィールド１２全体を撮影できるように配置されている。なお、プレイフィールド１２を分割して各ビデオカメラの撮影範囲１２ａ〜１２ｄを定めておき、撮影範囲の一部が重複するようにし、同時にプレイフィールド１２全体をカバーするように配置して固定する。また、設置固定されたビデオカメラ１１ａ〜１１ｄに対してキャリブレーションを行え、２次元画像と３次元世界を対応つけるために、カメラパラメータを求めるようにしてもよい。又、ビデオ撮影は毎秒２０〜３０コマ程度を撮影する。
【００１６】
図３はビデオの編集装置の構成例を示す図である。図３において、編集装置２０の入力側にはゲームを撮影したビデオテープ（又はビデオテープを内蔵しているビデオカメラ）２７ａ〜２７ｄが接続されている。編集装置２０には操作盤２１が接続され、この操作盤２１はビデオテープの操作、及び編集操作が可能になっている。編集装置２０はコンピュータ、種々の入出力端を有し、例えば時分割方式で複数のデータを同時に取り込み、同時に出力可能に構成されている。なお、編集を複数人のオペレータで行う場合にはオペレータの数に合わせて操作盤を操作可能になるように構成してもよい。編集装置２０には記憶装置２３、ビデオテープ１７ａ〜１７ｄの画像を個別に表示する表示装置２４ａ〜２４ｄ、編集した画像を表示する表示装置２５、補助データの内容を表示させる補助表示装置２６が接続されている。
【００１７】
図１は編集手続きの流れを示すフローチャートである。編集手続きは分割されたプレイフィールド（以下、分割フィールドという）毎に編集して最後に合成してもよいし、編集手続きの進行と同時に合成手続きを行ってもよい。ここでは、前者の立場にたって説明する。即ち、図１のステップＳ１〜Ｓ４は分割フィールド毎に編集を行う。図１において、ステップＳ１では、画像処理する部分をプレイフィールド１２に限定して処理の高速化を図るためにマスクを作成する。即ち、マスクからはみ出ている部分の画像は編集しないことにする。マスクの作成は各ビデオテープ２７ａ〜２７ｄに対して作成することとし、編集者がライトペン等を使用してプレイフィールド１２（または分割フィールド、以下同様とする）上の４角の点を指定してマスクを作成する。原画像と対応するマスクとの関係の１例を図４に示す。図４（Ａ）は原画像で、４個の点Ｐ１〜Ｐ４が時計回りに指定されている。図４（Ｂ）は４個の指定点Ｐ１〜Ｐ４を４角とするマスクの例である。
【００１８】
ステップＳ２では、プレイフィールド１２の背景画像、即ち、プレイフィールドから選手等の人物を取り除いた画像を抽出する。このために先ず原画像にマスクを作用させて特定範囲の画像を切り出す。次に切り出した画像から選手等の人物を取り除く。人物は常に動き回っており、背景は大部分の時間で画像として現れていること、背景の空間的変化は小さいこと、背景の占有面積は大きいこと等を利用して原画像の数コマから背景画像を抽出する。実際には切り出された画像に対して色のヒストグラムを求めて背景画像を決定する。背景画像の抽出は定期的に、例えば１０分毎に抽出する。これは太陽の移動や照明の変化によって明るさや色の変化に対応させるためである。
【００１９】
ステップＳ３ではプレーヤの検出を行う。このために切り出された画像のピクセルごとに色のヒストグラムと作成し、この画像のヒストグラムと背景のヒストグラムをピクセルごとに比較する。図５はヒストグラムの相違の１例を示す。図５（Ａ）は背景のヒストグラムで、緑（Ｇ）部分の強度が大きく、図５（Ｂ）はあるチームのプレーヤのヒストグラムで、赤シャツを着ているため赤（Ｒ）部分の強度が大きい。又、図５（Ｃ）は他のプレーヤのヒストグラムで、青シャツを着ているため青（Ｂ）部分の強度が大きい。背景とヒストグラムの異なるピクセルの集合が所定の大きさの範囲に入るものをプレーヤとして判定する。ピクセル集合の底部をプレーヤの位置とする。プレーヤの位置を正確に表示するためである。場合によっては底部から約（１／３）の高さの股部に相当する点をプレーヤの位置としてもよい。両足の部分は一致していないので位置の確定が複雑になるためである。なお、審判も同様に検出してもよい。
【００２０】
ステップＳ４ではプレーヤの動き（移動）を追跡する。コマごとの各プレーヤの位置を検出して、１つの画面に重ねて表示する（或いは直線で結ぶ）ことにより、プレーヤの動きが表示できる。或いは、処理を早くするために数コマごとのプレーヤの動きを検出するようにしてもよい。図６にプレーヤの追跡結果の１例を示す。図では連続した実線で表示しているがコマごとの位置を点で表示してもよい。図６に示すように追跡は分割フィールド１２ａ〜１２ｄごとに時間間隔を指定して行う。なお、分割フィールド（１２ａ〜１２ｄ）の外側に接続代（点線で表示した部分）３１ａ〜３１ｄを設けて、軌跡をこの部分についても求めておくと分割フィールド（１２ａ〜１２ｄ）を合成する作業が容易になる。図６は時刻ｔ１〜時刻ｔ２における追跡経過を示し、黒丸印は時刻ｔ２にプレーヤが居る位置を示し、白丸印は時刻ｔ１に居た位置を示す。又、三角印はその分割フィルード（１２ａ〜１２ｄ）に進入した位置を示し、ばつ印（ｘ）はその分割フィルード（１２ａ〜１２ｄ）から退出した位置を示す。
【００２１】
追跡した軌跡に軌跡番号等を自動的に付して各軌跡を識別可能にする。なお、プレーヤの個人認識を自動的に行うのは複雑な認識手段を必要とするので、ここでは編集者２２がプレーヤのデータ表を見ながら区別して、各追跡軌跡をプレーヤを特定するための番号（例えば、背番号）に変更する。プレーヤのデータ表は予め記録装置２３に記録されており、編集者２２が必要に応じて表示装置２６に表示させる。プレーヤのデータの１例を図７に示す。図７において、プレーヤデータ表には、両チームのプレーヤ全員の背番号、守備位置、その他の情報データ及び行為データ等が記録されている。行為データ欄には、プレーヤが行った行為、例えば出場（Ｉ）、待機（Ｏ）、シュート、反則行為等が時間の経過と共に記載されている。
【００２２】
また、複数のプレーヤが交叉してプレーヤの自動認識ができなくなった場合、例えば図６の中央の図に示すように、プレーヤＰ５とプレーヤＰ６が交叉してどちらのプレーヤ５（又はプレーヤ６）かの自動認識できなくなった場合、交差後のプレーヤに対して例えばＰ５６，Ｐ６５等の別の番号を付して追跡を実行し、追跡後の適当な時期（分離した直後でもよい）に編集者が他の情報（例えば分離した後で背番号を見た等の情報）に基づいてプレーヤＰ５６、Ｐ６５の番号をＰ５、Ｐ６（又は、Ｐ６、Ｐ５）に訂正する。又プレイフィールド１２の外側から進入してきたプレーヤに対して識別できない場合も同様に仮の番号を付しておいて、適当な時期に訂正する。
【００２３】
分割フィールドのプレーヤの動きを確定した後に、その分割フィールドの動きを合成して元のプレイフィールド１２における時刻ｔ１〜時刻ｔ２におけるプレーヤの動きの軌跡（プレーヤの位置の時間変化）を求める。合成した動きの軌跡の１例を図８に示す。このプレーヤの動きの軌跡をゲームを行っている時間全体にわたって作成すれば最初から最後までの各プレーヤの動きが表示可能になる。
【００２４】
ステップＳ５では、図８に示すプレーヤの動きの軌跡に（或いは別の図に）時刻ｔ１〜時刻ｔ２間のボールの移動軌跡を記録する。ボールは小さくて動きが速いのでそのまま表示した場合は見難いこともある。先ずボールをコマごとに前述した色のヒストグラムを利用して検出する。ボールの像が小さすぎて判別できないときは編集者が推測して軌跡を補充してもよい。また、ボールの軌跡は強調して表示するようにした方がよい。例えば、ある時間の軌跡を点線で表示するとか、点滅表示してもよいし、実際より少し大きめに表示するようにしてもよい。なお、ボールの表示は現在の時点における位置にボールを表示し、過去の一定時間又は一定の関連する動作における時間の軌跡を点線表示するようにしてもよい。
【００２５】
ステップ６ではゲームの進行に深く関連するプレーヤの行為等を表示するためのデータを作成する。例えば、オフサイド、ファール（イエローカード、レッドカード）、キーパチャージ等の反則行為が行われた場合にはこれを明示して、ゲームの進行を分かりやすくするようにしてもよい。又、サッカーゲームは団体の競技であると共に個人の競技が重要な場合も多く、特に得点に絡む場面は少数人の連携プレー或いは個人技が大きく影響している。従って、このような場合はその場面の静止画像又は動画像を挟むようにしてもよい。例えば、図９（Ａ）、（Ｂ）のようなシュート場面の画像を挟むことによってゲーム自体が明白になり、興味あるものになる。
【００２６】
ステップＳ７では全体の編集を行う。即ち、ゲーム全体の流れを平面図、鳥瞰図（斜視図）または、その他の表示方法により各プレーヤの位置、ボールの位置、審判の位置を実現可能な範囲でリアルに表示する。また、必要に応じて（例えば、シュートした場面等の）拡大した部分的な動画像を挿入するようにしてもよい。
【００２７】
以上に説明したように、本実施形態の方法によれば、自動的に編集する部分を多くして、自動編集が困難な部分のみを人手による編集としたので、簡単に編集できるだけでなく正確に編集できるという特徴がある。又動画像表示を主体としているので観者はゲームを視覚的に判断し、流れを容易に把握し、プレーヤの微妙な動きも判断ができるという効果がある。
【００２８】
以上本発明の実施形態を図面に基づいて詳述してきたが、本発明の技術的範囲はこれに限られるものではない。例えば１台のビデオカメラで撮影した場合であってもよいし、又、ステップＳ１からＳ７までのすべてのステップを含む必要はない。また、本方法によって編集したビデオテープ等の記録媒体も本発明の技術的範囲に属する。
【００２９】
【発明の効果】
以上に説明したように、本発明はプレイフィールドの背景や選手の位置等を自動抽出可能にすると共に、判断が困難な場合には人手（編集者等）による訂正を可能にし、プレーヤの動きの流れをほぼ自動的に把握可能としたので、編集作業が容易になると共に正確に編集できるという効果が得られる。又、プレイフィールドを複数の領域に分割し、領域ごとにビデオカメラで撮影し、領域ごとに編集作業を行え、最後に合成しているので、編集手続きが容易になるという効果が得られる。
【図面の簡単な説明】
【図１】本実施形態の方法における手順の流れを示すフローチャートである。
【図２】本実施形態におけるビデオカメラの配置構成を示す図である。
【図３】本実施形態における装置を示す図である。
【図４】本実施形態のマスクの例を示す図である。
【図５】本実施形態の色ヒストグラムの例を示す図である。
【図６】本実施形態のプレーヤの動きの追跡例を示す図である。
【図７】本実施形態のプレーヤのデータ表の例を示す図である。
【図８】本実施形態の追跡経過の合成例を示す図である。
【図９】本実施形態の拡大画像の追加例を示す。
【図１０】従来例のカメラ配置（Ａ）、装置構成（Ｂ）を示す。
【図１１】従来例の編集方法を説明する図である。
【符号の説明】
１１ａ〜１１ｄ ビデオカメラ
１２ プレイフィールド
１２ａ〜１２ｄ 分割フィールド
１３ａ、１３ｂ ゴール
１４ プレーヤ
１５ サッカーボール
２０ 編集装置本体
２１ 操作盤
２２ 編集者
２３ 記録装置
２４ａ〜２４ｄ 表示装置
２５ 編集後の画像の表示装置
２６ 補助表示装置
２７ａ〜２７ｄ ビデオテープ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention belongs to the technical field of editing an image so as to analyze the movement of a player in a ball game such as a soccer game.
[0002]
[Prior art]
In many cases, it is difficult to analyze the movement of each player only from a captured image captured by a video camera in a ball game such as a soccer game. Especially in a soccer game, when it is difficult to analyze the movement of each player only with captured images of local personal play because the importance of the player's cooperative play as well as individual play centering on the ball There is. In addition, if the entire field is photographed, it becomes difficult to identify each player. Further, since the speed of the ball is high, the position of the ball becomes unclear, and the movement of each player also becomes unclear. Therefore, conventionally, the commentary of the commentator who was watching the game was listened to at the same time to assist, or the commentary of the commentator was displayed on the screen during the game. However, there is a problem in that when an opinion of the commentator is entered, the opinion tends to be influenced by the opinion. This is a problem, especially if the viewer has a different opinion than the commentator.
[0003]
In order to solve the above-mentioned problem, a method for making a database of the movement of a soccer game has been proposed in Japanese Patent Laid-Open Publication No. Hei 6-319843. Hereinafter, this conventional method will be briefly described with reference to the drawings. In FIG. 11A, a television camera 52 is installed above a field 53 of a soccer stadium 51, and a photographed image is recorded on a video recorder 56 which is arranged at a distance. FIG. 11B shows an editing apparatus. The video recorder 56 is connected to a computer 59 having a display screen 57 via an A / D converter 61. The computer 59 further includes a timer 63 and an operation panel 64. , A light pen 65 and an external storage device 71 are connected. In the external storage device 71, a division program 72, a digitization program 73, and a data file 75 are recorded.
[0004]
Editing is done after the match. The video (moving image) from the video recorder 56 is displayed on the display screen 57. At this time, when a predetermined key of the operation panel 64 is pressed, the video image of the moving image at the moment of pressing is digitized and displayed as one still image. Next, when the four corners of the field 53 of the still image are designated with the light pen 65, a frame divided into small frames 67 is displayed in the field 53 as shown in FIG. The appraiser uses the light pen to record the characters in the external storage device 71 while judging the players in the small frame 67, the positions of the small frames, the positions of the balls, the actions performed by the players (shooting, free kick, etc.), etc. . This recording operation is performed every second, and for a 90-minute game, a still image of a play field of 5400 (= 90 minutes × 60 seconds) frames is created.
[0005]
In this conventional method, since a character database is created for a soccer game, anyone can obtain an objective evaluation of the strength of a soccer team at any time. As a result, the game can be enjoyed by extracting the data, and effects such as analysis of the player's play viewed from various angles can be obtained.
However, since this method is mostly created by an expert (man), there is a problem that editing requires a great deal of labor. Furthermore, since all the data is converted into characters, it is not possible to enjoy the flow of the game, and there is a problem that it is difficult to visually determine the subtle movement of the player.
[0006]
[Problems to be solved by the invention]
SUMMARY OF THE INVENTION The present invention has been made in view of the above-described circumstances, and provides an automatically editable function to reduce manual labor and to not only enjoy the flow of a game mainly by a moving image but also analyze the movement of a player. The purpose is to provide an editing method that is useful for
[0007]
[Means for Solving the Problems]
The present invention employs the following configuration as means for solving the above-mentioned problems. That is,
According to a first aspect of the present invention, in a method for editing an image for analyzing the movement of a player from a captured image of a ball game such as a soccer game taken by one or more video cameras, a background image of a play field is extracted. Performing the operation, detecting the player in the play field using the background image, tracking the detected movement of the player, and synthesizing the flow of the movement of the player in the match from the tracking result. And a step.
[0008]
According to a second aspect of the present invention, in the first aspect, extracting the background image includes a step of automatically updating the background image.
According to a third aspect of the present invention, in the invention of any one of the first and second aspects, the extracting of the background image is performed when the image of a point or a part in a play field is the same for a predetermined time or more. Alternatively, when the change is smaller than a threshold value, the image of the point or the part is set as a background image as a background image.
[0009]
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the player is detected by using a difference between a color histogram of a captured image and a color histogram of a background image. I do.
[0010]
According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects, the tracking of the movement of the player is based on the movement of the feet of the player or the movement of the crotch portion. It is characterized by.
According to a sixth aspect of the present invention, in the invention according to any one of the first to fifth aspects, the movement tracking of the player is performed by identifying the player by approaching a plurality of players, crossing back and forth, and the like. When it becomes difficult, the method includes a correction step of correcting the portion.
According to a seventh aspect of the present invention, in the invention according to any one of the first to sixth aspects, the motion tracking of the player is identified by attaching a code to each tracking path. I do.
According to an eighth aspect of the present invention, in the invention according to any one of the first to seventh aspects, the tracking of the movement of the player is stopped when the player comes out of the play field, When the player enters the play field, tracking is started with another identification code.
[0011]
According to a ninth aspect of the present invention, in the invention according to any one of the first to eighth aspects, the synthesizing step uses the database of each player to select and connect the tracking path of the player. Then, the flow of the movement in the game of the player is obtained.
[0012]
According to a tenth aspect of the present invention, in the invention according to any one of the first to ninth aspects, the captured image is obtained by dividing the play field into a plurality of regions by a plurality of video cameras. In this case, the motion tracking of the player can be performed for each of the divided areas, and the tracking path for each area is synthesized in the synthesizing step to obtain the flow of the motion in the game of the player.
[0013]
According to an eleventh aspect of the present invention, in the invention according to any one of the first to tenth aspects, the photographed image is obtained by dividing the play field into a plurality of regions by a plurality of video cameras. In this case, the image of each divided area is synthesized and edited so that the image of the entire play field can be displayed.
[0014]
According to a twelfth aspect of the present invention, in any one of the first to eleventh aspects, a trajectory of a ball can be additionally displayed on an image of the entire play field.
According to a thirteenth aspect, in the invention according to any one of the first to eleventh aspects, the edited image can be added by enlarging an image in a special case such as a shoot. It is characterized by.
A recording medium according to claim 14, wherein an image edited by the method according to any one of claims 1 to 13 is recorded.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings. FIG. 2 is a layout view of a video camera installed for shooting a soccer game. In FIG. 2, goals 13 a and 13 b are arranged at both ends of the play field 12. The soccer game is a game in which two teams each composed of eleven players 14 compete for a goal by putting a soccer ball 15 into the goal 13a (13b) of the opponent. When the soccer ball 15 comes out of the play field 12, the game is temporarily stopped. Here, four video cameras (11a to 11d) are arranged so that the entire play field 12 can be photographed. It should be noted that the play field 12 is divided to define shooting ranges 12a to 12d of the respective video cameras, so that a part of the shooting ranges overlaps, and at the same time, they are arranged and fixed so as to cover the entire play field 12. Alternatively, calibration may be performed on the fixedly mounted video cameras 11a to 11d to obtain camera parameters in order to associate a two-dimensional image with a three-dimensional world. In video shooting, about 20 to 30 frames are shot every second.
[0016]
FIG. 3 is a diagram showing a configuration example of a video editing device. In FIG. 3, video tapes (or video cameras having a built-in video tape) 27 a to 27 d that capture a game are connected to the input side of the editing device 20. An operation panel 21 is connected to the editing device 20, and the operation panel 21 can operate a video tape and edit. The editing device 20 has a computer and various input / output terminals, and is configured to simultaneously capture and output a plurality of data in a time-division manner, for example. When editing is performed by a plurality of operators, the operation panel may be configured to be operable in accordance with the number of operators. Connected to the editing device 20 are a storage device 23, display devices 24a to 24d for individually displaying images on the video tapes 17a to 17d, a display device 25 for displaying edited images, and an auxiliary display device 26 for displaying the contents of auxiliary data. Have been.
[0017]
FIG. 1 is a flowchart showing the flow of the editing procedure. The editing procedure may be edited for each divided play field (hereinafter, referred to as a divided field) and combined at the end, or the combining procedure may be performed simultaneously with the progress of the editing procedure. Here, description will be made from the former viewpoint. That is, in steps S1 to S4 in FIG. 1, editing is performed for each divided field. In FIG. 1, in step S1, a mask is created in order to increase the processing speed by limiting the image processing part to the play field 12. That is, the image of the portion that is off the mask is not edited. The mask is created for each of the video tapes 27a to 27d, and the editor specifies a square point on the play field 12 (or a division field, the same applies hereinafter) using a light pen or the like. To create a mask. FIG. 4 shows an example of the relationship between the original image and the corresponding mask. FIG. 4A shows an original image in which four points P1 to P4 are specified in a clockwise direction. FIG. 4B is an example of a mask in which four designated points P1 to P4 are square.
[0018]
In step S2, a background image of the play field 12, that is, an image obtained by removing a person such as a player from the play field is extracted. For this purpose, first, a mask is applied to the original image to cut out an image in a specific range. Next, a person such as a player is removed from the extracted image. People always move around, and the background appears as an image most of the time, the spatial change of the background is small, and the background occupies a large area. Is extracted. In practice, a background image is determined by obtaining a color histogram for the extracted image. The background image is extracted periodically, for example, every 10 minutes. This is to cope with changes in brightness and color due to movement of the sun and changes in illumination.
[0019]
In step S3, a player is detected. For this purpose, a color histogram is created for each pixel of the extracted image, and the histogram of this image and the background histogram are compared for each pixel. FIG. 5 shows an example of the difference between the histograms. FIG. 5 (A) is a histogram of the background, in which the intensity of the green (G) portion is large, and FIG. 5 (B) is a histogram of the player of a certain team. large. FIG. 5C is a histogram of another player, and the intensity of the blue (B) portion is large because the player wears a blue shirt. A player in which a set of pixels having different backgrounds and histograms falls within a predetermined size range is determined as a player. Let the bottom of the pixel set be the position of the player. This is for accurately displaying the position of the player. In some cases, a point corresponding to the crotch portion having a height of about (１ ／) from the bottom may be set as the position of the player. This is because the position of both feet does not match, so that the position determination becomes complicated. The referee may be detected in the same manner.
[0020]
In step S4, the movement (movement) of the player is tracked. By detecting the position of each player for each frame and displaying it over one screen (or connecting with a straight line), the movement of the player can be displayed. Alternatively, the movement of the player every several frames may be detected to speed up the processing. FIG. 6 shows an example of the tracking result of the player. In the figure, continuous solid lines are displayed, but the position of each frame may be displayed by dots. As shown in FIG. 6, tracking is performed by specifying a time interval for each of the divided fields 12a to 12d. If connection margins (portions indicated by dotted lines) 31a to 31d are provided outside the division fields (12a to 12d) and the trajectory is also obtained for these parts, the operation of synthesizing the division fields (12a to 12d) becomes difficult. It will be easier. FIG. 6 shows the tracking progress from time t1 to time t2, where a black circle indicates the position where the player is at time t2, and a white circle indicates the position where the player is at time t1. Further, a triangle indicates a position at which the divided field (12a to 12d) is entered, and a cross (x) indicates a position at which the divided field (12a to 12d) is exited.
[0021]
A track number or the like is automatically assigned to the tracked track so that each track can be identified. Note that automatically recognizing the player requires complicated recognition means, so the editor 22 discriminates the data while referring to the player's data table, and assigns each tracking trajectory a number for identifying the player. (For example, uniform number). The data table of the player is recorded in the recording device 23 in advance, and the editor 22 displays the data table on the display device 26 as necessary. One example of the player data is shown in FIG. In FIG. 7, the player data table records the uniform numbers, defensive positions, other information data, action data, and the like of all the players of both teams. In the action data column, actions performed by the player, for example, participation (I), waiting (O), shooting, foul action, and the like are described over time.
[0022]
When a plurality of players cross each other and cannot automatically recognize the players, for example, as shown in the center diagram of FIG. 6, the player P5 and the player P6 cross each other to determine which player 5 (or the player 6). When the player cannot automatically recognize the player, the tracking is performed by assigning another number such as P56 or P65 to the player after the intersection, and at an appropriate time after the tracking (may be immediately after separation), the editor may perform the tracking. The numbers of the players P56 and P65 are corrected to P5 and P6 (or P6 and P5) based on other information (for example, information such as looking at the player's number after separation). Also, when a player who has entered from outside the play field 12 cannot be identified, a temporary number is similarly assigned and corrected at an appropriate time.
[0023]
After the movement of the player in the divided field is determined, the movement of the divided field is synthesized to determine the locus of the movement of the player (time change in the position of the player) in the original play field 12 from time t1 to time t2. FIG. 8 shows an example of the synthesized motion trajectory. If the trajectory of the movement of the player is created over the entire time of playing the game, the movement of each player from the beginning to the end can be displayed.
[0024]
In step S5, the movement locus of the ball between time t1 and time t2 is recorded on the movement locus of the player shown in FIG. 8 (or in another diagram). Because the ball is small and moves fast, it can be difficult to see when displayed as it is. First, a ball is detected for each frame using the above-described color histogram. If the image of the ball is too small to be distinguished, the editor may guess and supplement the trajectory. It is better to display the trajectory of the ball in an emphasized manner. For example, the locus of a certain time may be displayed by a dotted line, may be displayed blinking, or may be displayed slightly larger than the actual time. The display of the ball may be such that the ball is displayed at the position at the current point in time, and the trajectory of the time in the past certain time or a certain related operation is indicated by a dotted line.
[0025]
In step 6, data for displaying the actions of the player which are deeply related to the progress of the game are created. For example, when an offense such as offside, foul (yellow card, red card), keeper charge or the like is performed, this may be clearly indicated so that the progress of the game can be easily understood. In addition, a soccer game is a group game and an individual game is important in many cases. Particularly, in a scene involving scoring, a small number of cooperative plays or individual skills have a great influence. Therefore, in such a case, a still image or a moving image of the scene may be interposed. For example, the game itself becomes clear and interesting by inserting an image of a shooting scene as shown in FIGS. 9A and 9B.
[0026]
In step S7, the whole is edited. That is, the flow of the entire game is realistically displayed in a plan view, a bird's-eye view (perspective view), or other display methods in a realizable range of the positions of the players, the positions of the balls, and the positions of the referees. Also, an enlarged partial moving image (for example, a shot scene) may be inserted as needed.
[0027]
As described above, according to the method of the present embodiment, the parts to be automatically edited are increased, and only the parts that are difficult to be automatically edited are manually edited. There is a feature that you can edit. Also, since the display is mainly composed of moving images, the viewer can visually judge the game, easily grasp the flow, and can judge the subtle movement of the player.
[0028]
Although the embodiments of the present invention have been described in detail with reference to the drawings, the technical scope of the present invention is not limited thereto. For example, it may be the case of taking a picture with one video camera, and it is not necessary to include all the steps from step S1 to S7. Further, a recording medium such as a video tape edited by the present method also belongs to the technical scope of the present invention.
[0029]
【The invention's effect】
As described above, the present invention makes it possible to automatically extract the background of the play field, the position of a player, and the like, and when it is difficult to make a decision, it is possible to make corrections manually (by an editor or the like), and to determine the movement of the player. Since the flow can be grasped almost automatically, it is possible to obtain an effect that the editing work becomes easy and the editing can be performed accurately. In addition, the play field is divided into a plurality of areas, each area is photographed by a video camera, and editing can be performed for each area. Since the composition is performed at the end, the editing procedure is facilitated.
[Brief description of the drawings]
FIG. 1 is a flowchart illustrating a flow of a procedure in a method according to an embodiment.
FIG. 2 is a diagram showing an arrangement configuration of a video camera according to the embodiment.
FIG. 3 is a diagram showing an apparatus according to the embodiment.
FIG. 4 is a diagram illustrating an example of a mask according to the present embodiment.
FIG. 5 is a diagram illustrating an example of a color histogram according to the embodiment.
FIG. 6 is a diagram illustrating an example of tracking the movement of a player according to the embodiment;
FIG. 7 is a diagram illustrating an example of a data table of a player according to the embodiment;
FIG. 8 is a diagram illustrating a synthesis example of tracking progress according to the present embodiment.
FIG. 9 shows an example of adding an enlarged image according to the embodiment.
FIG. 10 shows a camera arrangement (A) and a device configuration (B) of a conventional example.
FIG. 11 is a diagram illustrating an editing method of a conventional example.
[Explanation of symbols]
11a to 11d Video camera 12 Play field 12a to 12d Dividing field 13a, 13b Goal 14 Player 15 Soccer ball 20 Editing device body 21 Operation panel 22 Editor 23 Recording device 24a to 24d Display device 25 Display device 26 for edited image 26 Auxiliary Display devices 27a to 27d Video tape
