JP2004046647A - Method and device for tracking moving object based on dynamic image data - Google Patents
Method and device for tracking moving object based on dynamic image data Download PDFInfo
- Publication number
- JP2004046647A JP2004046647A JP2002204710A JP2002204710A JP2004046647A JP 2004046647 A JP2004046647 A JP 2004046647A JP 2002204710 A JP2002204710 A JP 2002204710A JP 2002204710 A JP2002204710 A JP 2002204710A JP 2004046647 A JP2004046647 A JP 2004046647A
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- ball
- person
- tracked
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像内を移動する移動物体を自動的に抽出し追跡する動画像データに基づく移動物体追跡方法及び装置に関する。特に、屋外環境を想定した広い範囲で行われたスポーツ競技を撮影した広域動画像内を移動する選手やボール等の移動物体を高精度に抽出・追跡することのできるようにした動画像データに基づく移動物体追跡方法及び装置に関するものである。
【０００２】
【従来の技術】
ビデオカメラ等で撮影した動画像内を移動する人物を自動的に抽出して追跡することのできる動画像データに基づく移動物体追跡装置は、従来から知られている。こうした移動物体追跡装置において動画像内を移動する人物を抽出して追跡する方法としては、以下に示すようないくつかの方法が用いられている。例えば、予め人物の存在しない「背景画像」を取得しておき、入力画像と前記「背景画像」との差分処理結果から人物を抽出する背景差分法、一定周期のＮフレーム（Ｎは１以上の整数）のインタバル時間を隔てて撮影された二つの画像間における差分処理によって人物を抽出するフレーム間差分法、予め移動物体の特徴をテンプレートとして登録しておき、この特徴（テンプレート）を用いて二つの画像間でマッチングを行うことにより人物を抽出するテンプレートマッチング法、画像中の各点の明るさ（つまり輝度）の空間的及び時間的な勾配の間の関係（これをオプティカルフローと呼ぶ）を用いて人物を抽出するオプティカルフロー法、画像中におけるエッジを抽出することにより人物を抽出するエッジ抽出法などの方法が用いられている。
【０００３】
【発明が解決しようとする課題】
ところで、最近では、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を行う移動物体追跡装置の実現が望まれている。とりわけ、サッカーゲームなどに代表されるフォーメーションを用いる集団で行われるスポーツ競技においては、フォーメーションの確認や戦術解析などを行うために選手（つまり人物）の動きを自動的に解析することが望まれている。しかし、上述したような各種方法を用いた従来の移動物体追跡装置においては、こうした屋外環境で行われるスポーツ動画像などを想定した広い範囲の動画像から自動的に選手を抽出して追跡することは非常に難しい、という問題点があった。すなわち、背景差分法ではサッカーゲームの開始に先だって予め背景画像を撮影しておくことは困難であり、またサッカーゲームなどが行われる場所の気象条件や施設の照明などの影響によって背景画像が時間的に変化すると選手の抽出が難しくなる。フレーム間差分法では、選手がゆっくり歩いていたり静止しているときの選手の抽出が難しい。テンプレートマッチング法では選手が移動して画像上で見かけが変わってしまうと選手の抽出が困難となるし、また新たな選手が追加されるたびに新しいテンプレートを作成しなければならずユーザの負担が大きく面倒でもある。オプティカルフロー法では前記フレーム間差分法と同様に選手がゆっくり歩いていたり静止しているときの選手の抽出が難しく、またオプティカルフローの計算は非常に計算量が多いことからリアルタイムで選手の抽出・追跡を実行させるためには特殊なハードウエアが必要となるので不都合である。エッジ抽出法では、選手の他にグラウンド上に描かれた白線やゴールなども選手として抽出してしまい都合が悪い。
【０００４】
さらに、サッカーゲームなどのようなボールを用いるスポーツ競技（つまり球技）においては、選手（人物）だけでなく該スポーツ競技で使用されているボールを抽出し追跡することも重要である。しかし、ボールを高精度に抽出して追跡することは選手の抽出・追跡に比べて非常に難しい。すなわち、ボールは非常に小さいので抽出がしにくい。また、ボールは空中に浮くことがあって移動速度が速い。さらに、ボールは選手によって隠蔽（こうした状態をオクルージョン状態と呼ぶ）されることがあり、このオクルージョン状態においてボールの位置を特定することは非常に難しい。こうしたことから、上記したような各種方法を用いた従来の移動物体追跡装置においては正確にボールを抽出して追跡することは非常に難しい、という問題点があった。
【０００５】
本発明は上述の点に鑑みてなされたもので、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を高精度に行うことができるようにした動画像データに基づく移動物体追跡方法及び装置を提供しようとするものである。また、サッカーゲームなどのようなボールを用いるスポーツ競技を撮影したスポーツ動画像から、選手（人物）だけでなく該スポーツ競技で使用されているボールを高精度に抽出し追跡することが可能な動画像データに基づく移動物体追跡方法及び装置を提供しようとするものである。
【０００６】
【課題を解決するための手段】
本発明の請求項１に係る移動物体追跡方法は、動画像データに基づき画像中における所定の特徴を持つ物体を追跡物体としてその動きを追跡する方法であって、過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める第１ステップと、今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する第２ステップと、前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる第３ステップとを具える。
【０００７】
本発明の請求項５に係る移動物体追跡方法は、動画像データに基づき画像中における所定の特徴を持つ物体の動きを順次追跡する追跡ステップと、前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索ステップと、前記追跡ステップで追跡された前記物体と前記探索ステップで探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択ステップとを具備する。
【０００８】
本発明の請求項７に係る移動物体追跡方法は、少なくとも２つ以上のグループに分類される人物を撮影した動画像上において人物追跡を行う移動物体追跡方法であって、所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する第１ステップと、前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う第２ステップと、各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行う第３ステップと、前記グループ判定に従って人物同定を行う第４ステップとを具備する。
【０００９】
本発明の請求項１２に係る移動物体追跡方法は、少なくとも動画像上のボールを追跡する移動物体追跡方法であって、所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成するステップと、前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するステップと、少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うステップと、ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するステップとを具備する。
【００１０】
本発明は、方法の発明として構成し、実施することができるのみならず、装置の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。
【００１１】
【発明の実施の形態】
以下、添付図面を参照してこの発明の実施の形態を詳細に説明する。
【００１２】
図１は、この発明に係る移動物体追跡装置を適用したトラッキングシステムの一実施例の全体構成を示すブロック図である。この実施例に示したトラッキングシステムは屋外で行われるサッカーゲーム等の、フォーメーションを用いた戦術性の高いスポーツ競技における選手やボール等の抽出・追跡に最も有用である。そこで、以下では特にサッカーゲームにおける選手及びサッカーボールの抽出・追跡を行う場合を例に説明する。
【００１３】
図１に示すように、この実施例に示すトラッキングシステムは、サッカーゲームが実際に行われるサッカーグラウンド（以下、フィールドと呼ぶ）全体を撮影する２台の撮影用ビデオカメラＣと、移動物体追跡装置Ａとにより構成される。２台の撮影用ビデオカメラＣはフィールド全体を各々分担して撮影するためのものであり、センターサークルを含んだ中央部は２台の撮影用ビデオカメラＣが重複して撮影できるようにする。したがって、各撮影用ビデオカメラＣはそれぞれフィールド左側の撮影範囲「シーン１」とフィールド右側の撮影範囲「シーン２」とを別々に撮影するが、各撮影用ビデオカメラＣで撮影されるシーン１とシーン２とを比べると中央部が重複するようにして撮影されている（こうした撮影範囲を重複領域と呼ぶ）。ここでいう「シーン」とは、単一の撮影用ビデオカメラＣによる撮影範囲である。こうした２台の撮影用ビデオカメラＣはそれぞれがフィールドの奥行きを十分に撮影できるようにするために、実際にはフィールド全体を見渡せるスタジアムの高い位置などに予め配置されている。勿論、撮影用ビデオカメラＣは２台のみを配置することに限られず、フィールド全体を撮影できるように撮影用ビデオカメラＣを複数台配置してよいことは言うまでもない。
【００１４】
移動物体追跡装置Ａはカメラキャリブレーション（つまり、ワールド座標空間と画像座標空間との対応付け）された撮影用ビデオカメラＣからの入力映像を分析して選手やボール等の抽出・追跡を行う処理装置であって、シーン内追跡部１と、シーン間人物同定部２と、位置情報の取得・補正部３とから構成される。なお、ワールド座標とはサッカーグラウンドにおける絶対位置座標である。この実施例に示された移動物体追跡装置Ａはパソコン等のコンピュータを用いて構成されており、そこにおいて、選手やボール等の抽出・追跡は、コンピュータがこの発明に係る移動物体追跡処理を実現する所定の制御プログラムを含むソフトウエアを実行することにより実施される。シーン内追跡部１では、個々の撮影用ビデオカメラＣからの入力映像（シーン１又はシーン２）を分析して当該シーン内における選手やボール等の抽出・追跡を行う。すなわち、各シーン内追跡部１では独立にシーン内での選手やボール等の抽出・追跡を行う。シーン間人物同定部２は複数シーン間（ここではシーン１とシーン２の２つのシーン間）の同期をとり、独立に動いているシーン内追跡部１からのデータを統合してトラッキングシステム全体としての個々の選手やボール等の個別キャラクタの抽出・追跡を実行する。すなわち、各撮影用ビデオカメラＣで撮影された複数のシーンの追跡情報を統合し、フィールド全体での追跡を行う。特に、隣接するシーンはそれぞれ重複領域を含むため、この重複領域における隣接シーン間で人物同定（マッチング）を行わなければならない。位置情報の取得・補正部３では、トラッキングシステム全体としての選手やボール等の抽出・追跡に従い、ワールド座標での選手やボール等の位置情報を取得し、必要に応じて補正する。
【００１５】
なお、上述したような選手やボール等の抽出・追跡を行うための移動物体追跡装置Ａはコンピュータソフトウエアの形態に限らず、ＤＳＰ（ディジタルシグナルプロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、また、この種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用ハードウエア装置の形態で実施してもよいことは言うまでもない。
【００１６】
次に、上述したトラッキングシステムにおけるシーン内追跡部１の処理概要について、図２を用いて説明する。図２は、シーン内追跡部１の処理概要を示すブロック図である。この図２から理解できるように、個々のシーン内追跡部１は、学習部１ａと、抽出部１ｂと、追跡部１ｃとから構成される。学習部１ａでは背景画像の作成と色情報・人間サイズの学習とを行うことによって、選手やボールの抽出・追跡に必要な補助データを作成する。本発明に係る移動物体追跡装置Ａでは、選手やボール等の抽出に背景差分法を用いる。しかしながら、サッカーゲームのような屋外のスポーツ競技においては予め背景画像を撮影しておくことが困難である。また、フィールドのある場所の気象条件や施設の照明などの影響により、背景画像が時間的に変化する。そこで、本発明に係る移動物体追跡装置Ａでは、学習部１ａにおいて定期的に背景画像（補助データ）を自動作成することにより、背景画像が時間的に変化した場合であったとしても背景差分法を用いて有効に選手やボール等を抽出できるようにしている。色情報・人間サイズの学習は、人物モデルとの比較による選手の抽出を高精度に行うために用いる人間サイズ（補助データ）や、抽出された選手をチーム分類して個々の選手の追跡を精度よく行うために用いる色情報（補助データ）を更新する。学習部１ａでは抽出部１ｂ及び追跡部１ｃで得られた結果のフィードバックを受けることで定期的に前記各補助データを更新し、抽出部１ｂ及び追跡部１ｃに常に最新の補助データを提供することによって選手やボール等の抽出・追跡を高精度に行うことができるようにしている。
【００１７】
ここで、上記した学習部１ａにおける背景画像の作成処理及び色情報・人間サイズの学習処理について説明する。まず、背景画像の作成処理について図３を用いて説明する。図３は、背景画像の作成処理の一実施例を示すフローチャートである。
ステップＳ１では、ビデオ撮影されたサッカー動画像中の各フレームにおいて人物候補領域を特定し、該人物候補領域以外の領域を背景利用可能領域（背景として利用できる領域）とする。人物候補領域は、まず各フレームにおいて前（過去）フレームとのフレーム間差分処理を行う。一般的に各サッカー選手は移動しているので、フレーム間の差分をとることによって人物領域付近でオブジェクト抽出が行われる。ここでは、各選手の微少な移動を検出できるようにするため、数フレーム過去のフレームとのフレーム間処理を行う。こうして抽出されたオブジェクト領域に対して膨張処理を行うことによって人物候補領域を得、該得られた人物候補領域以外の領域をそのフレームにおける背景利用可能領域とする。ステップＳ２では、背景利用可能領域を複数フレームにおいて求める。すなわち、選手はフレーム間で移動しているため、それぞれのフレームにおける背景利用可能領域は少しずつ異なっていることから、複数フレームそれぞれの背景利用可能領域を求める。ステップＳ３では、ステップＳ２で求めた複数フレームの背景利用可能領域を補完し平均値を求めることで、１枚の背景画像を作成する。すなわち、画像中の各ピクセル（ｘ，ｙ）に対し、複数のフレーム１〜フレームＮ（Ｎは２以上の整数）の中でそのピクセル（ｘ，ｙ）が背景利用可能領域と判定されたピクセルの値ｐ（ｘ，ｙ）を取得し、それらの値ｐ（ｘ，ｙ）の平均値を求め、それを作成背景画像のそのピクセル（Ｘ，Ｙ）における値とする。この処理を画像中の全ピクセルに対して行い、１枚の背景画像を作成する。
【００１８】
次に、学習部１ａにおける色情報・人間サイズの学習のうち、特に色情報の学習処理について図４を用いて説明する。図４は、色情報の学習処理の一実施例を示すフローチャートである。この実施例に示すトラッキングシステムにおいて、人物の特徴量としてユニフォームの色情報（色パラメータ）を取得し、これに基づき選手のチーム分類を行う。こうしたチーム分類における最適な色パラメータ（例えば、ＨＳＹ表色空間におけるＨ（色相）、Ｓ（彩度）、Ｙ（輝度）やＬａｂ表色空間におけるＬ＊、ａ＊、ｂ＊など）は映像によって異なり、毎回どの映像でも同じ色パラメータを用いてチーム分類を行うことはできない。そのため、学習部１ａでは映像毎にチーム分類に最適な色パラメータＰ及びその色パラメータの各チームの代表値ｐ１、ｐ２を学習する。なお、ユニフォームの色情報を取得するためには、抽出人物内でのユニフォーム領域を特定する必要がある。そこで、ここでは抽出された人物領域に対して上から６分の１〜２分の１の領域をシャツ領域、上から２分の１〜４分の３の領域をズボン領域とする。勿論、これに限られない。
【００１９】
ステップＳ１１では、各色パラメータに対して、各チームＮ人（Ｎは１以上の整数）のサンプルの色情報を取得する。シャツとズボンが同色（つまりユニフォーム色が１色）の場合は、シャツ領域とズボン領域の色情報を合わせて１つの値を取得する。シャツとズボンで別色の場合は、シャツ領域とズボン領域の色情報を別々に取得する。各サンプルは、複数フレームからユニフォームの色情報を取得し、平均値を求める。これにより、各色パラメータともＮ人×２チームのサンプルに対して、その色パラメータの平均値が求まる。ステップＳ１２では、各色パラメータに対してチーム分離度Ｄを計算する。
【数１】
【００２０】
図２に示したシーン内追跡部１の説明に戻って、抽出部１ｂでは人物の抽出及びボールの抽出、特徴量の取得、チーム判定が行われる。人物の抽出又はボールの抽出では学習部１ａで自動作成される背景画像をもとに選手（人物）やボール等の抽出を行うが、特に選手を抽出する際には２つの閾値を用いて２段階での背景差分を行う（詳しくは後述する）。特徴量の取得及びチーム判定では、特徴量を取得すると共に所定の特徴量に従って選手のチーム判定を行う。特徴量とは各選手やボール、つまり個別キャラクタの追跡に必要な各選手又はボール毎に（各キャラクタ毎に）固有のパラメータであり、ここでは特徴量として、位置情報とチーム分類に必要な色情報（上述した最適色パラメータＰ）とを取得する。取得された色情報をもとに選手のチーム判定を行い、位置情報とあわせて追跡部１ｃでの追跡処理（時系列的な個別人物同定）に用いる。追跡部１ｃでは、フレーム間人物同定及びボール追跡と位置情報の取得とを行う。
【００２１】
ここで、上述した抽出部１ｂ及び追跡部１ｃで実行する選手及びボールの抽出・追跡処理について説明する。ただし、説明を理解し易くするために、選手の抽出・追跡とボールの抽出・追跡とをそれぞれ分けて説明する。まず、選手の抽出・追跡について図５〜図９までを用いて説明し、その後ボールの抽出・追跡について図１０及び図１１を用いて説明する。図５は、抽出部１ｂで行われる人物抽出処理の一実施例を示すフローチャートである。
【００２２】
ステップＳ２１では、２段階閾値の設定を行う。すなわち、背景差分処理を行う際、人物抽出に最適な閾値はその抽出人物や背景画像の様子によって大きくなることが多い。そのため、閾値を一意に設けると個別人物抽出の精度にばらつきが多くなる。そこで、閾値を２つ設け、２段階によって背景差分処理を行う。上記ステップＳ２１では、そのための閾値を設定する。ステップＳ２２では、作成された背景画像をもとに各フレームにおいて背景差分処理を行う。ステップＳ２３では、背景差分によって得られたオブジェクトに対し人物モデルを適用して、人物を抽出する。まず、高いほうの閾値で背景差分処理を行う。ここで抽出された全オブジェクトに対して、あらかじめ設定済みである所定の大きさに定義された人物モデルとの照らし合わせを行い、該人物モデルにあてはまる（例えば、人物モデルの横幅、縦幅ともに＋２０％〜−２０％以内の抽出）オブジェクトに対して、それを人物領域であると判定する。次に、人物領域と判定された領域以外の領域に対して、低いほうの閾値で再度背景差分処理を行う。そして、ここでも同様の人物領域の判定を行い、人物抽出を行う。
【００２３】
ステップＳ２４では、色情報による人物の影領域の消去を行う。すなわち、上記背景差分処理のみを行った場合においては人物の影領域も同時に抽出されてしまうことがあり、こうした影領域が一緒に抽出されてしまうと位置情報や色情報を正確に取得することができず、それに伴って正確な追跡を行うことができなくなる。そこで、人物の影領域を消去する。例えば、抽出された人物領域の横幅が人物モデルの横幅と比較して＋２０％以上の抽出である場合にはその領域に人物の影領域を含んでいることから、当該影領域を特定し消去する。この影領域消去の手順を簡単に説明する。まず、抽出オブジェクト内から、背景画像に比べて輝度Ｙが低く、背景画像の色相Ｈとほぼ同じ色相である影候補のピクセルを抽出する。抽出した影候補ピクセルの２値画像に対して膨張収縮処理を行い、抽出された領域にラべリング処理を行う。これらの領域を影領域候補とする。各影候補領域に対して所定の条件（例えば、人物の影領域はある程度の大きさをもっており縦横比で横のほうが長い、人物の影領域は抽出された人物枠の下のほうにあるなどの各種条件）に従って、最終的な影領域を特定する。こうして最終的に特定された影領域をもとの抽出画像から消去し、人物領域を囲い直す。
【００２４】
ステップＳ２５では、ヒストグラムを使った人物領域の補正を行う。すなわち、色情報による人物の影領域消去を行った後においても、雑音の影響や影領域が完全に消去されなかったなどの影響によって、人物の抽出枠の横幅が人物モデルの横幅よりも＋２０％以上大きくなってしまうことがある。この場合、位置情報が正確に取得できないことから、追跡の精度が落ちてしまう。そこで、領域内のピクセル数のヒストグラムを利用した人物領域の補正を行う。こうした人物領域補正の手順を簡単に説明する。抽出枠の内部において、抽出オブジェクトの縦方向におけるピクセル数のヒストグラムを取る。この縦方向のピクセル数のヒストグラムにおいて、抽出枠の両端からピクセル数の検索を行う。もしも連続して縦方向のピクセル数が少ない場合は、その抽出領域は人物領域でなく非人物領域と判定し、抽出人物からその領域を消去する。こうして人物領域を補正する。
【００２５】
抽出部１ｂで行われるチーム判定について、図６を用いて説明する。図６は、チーム判定処理の一実施例を示すフローチャートである。当該処理では、色情報の学習によって求められたチーム分類に最適な色パラメータＰを用いて抽出された選手のチーム判定を行う。
【００２６】
ステップＳ３１では、各フレームでのチーム判定を行う。すなわち、抽出された人物領域における最適色パラメータＰの値ｐを取得し、各チームの代表値ｐｔｅａｍとの距離ｄｉｓｔｔｅａｍを求める。
【数２】
【数３】
【００２７】
こうした各フレーム毎でのチーム判定は、完全に信頼を置けるものではない。すなわち、抽出誤差などの影響によって、該チーム判定が誤っている可能性もある。そこで、各フレームにおけるチーム判定の信頼度Ｖｔｅａｍを設ける。このチーム判定信頼度Ｖｔｅａｍはそのフレームにおけるその選手のチーム判定がどれだけ信頼できるかということを示したパラメータ値であり、以下のようにして求める。まず、最適色パラメータ値ｐの値が判定されたチームの色の代表値ｐに近いほどチーム判定の信頼度は高くなるために、代表値からの距離に依存した信頼度Ｖｃｏｌｏｒを数４から求める。
【数４】
次に、人物モデルに近い抽出がされているほど色情報を正確に取得できるため、チーム判定の信頼度は高くなる。具体的には、抽出された人物の縦幅によって人物モデル信頼度Ｖｈｅｉｇｈｔは高くなる。そこで、この人物モデル信頼度Ｖｈｅｉｇｈｔによるフィルタリングを行う。こうした人物モデル信頼度Ｖｈｅｉｇｈｔの一実施例を図７に示す。この図７に示した人物モデル信頼度Ｖｈｅｉｇｈｔは、理想的な人間の縦横比Ｎ：１（図の横軸に示す）に対して、例えば＋２０％〜−２０％以内の抽出である場合には正確な人物抽出ができたとして「人物モデル信頼度Ｖｈｅｉｇｈｔ＝１」（図の縦軸に示す）とし、＋４０％以上あるいは−４０％以下の抽出である場合には正確な人物抽出ができずに色情報の取得が不正確であるとして「人物モデル信頼度Ｖｈｅｉｇｈｔ＝０」としている。また、抽出された人物が人物モデルの高さに近いほど人物モデル信頼度は高くなる。こうした代表値からの距離に依存した信頼度Ｖｃｏｌｏｒと人物モデル信頼度Ｖｈｅｉｇｈｔとにより、最終的にチーム判定の信頼度Ｖｔｅａｍを数５から求める。
【数５】
【００２９】
ステップＳ３２では、複数フレームでのチーム判定を行う。すなわち、上記したような各フレームにおけるチーム判定は完全に信頼できるものではない。そこで、追跡情報を用い、複数フレームを利用してチーム判定を確実なものにする。該複数フレームでのチーム判定は、各フレームにおけるチーム判定の信頼度Ｖの総和によって求める。つまり、各選手に対してチーム１と判定された信頼度Ｖ（ｔｅａｍ＝１）の総和ΣＶ（ｔｅａｍ＝１）とチーム２と判定された信頼度Ｖ（ｔｅａｍ＝２）の総和ΣＶ（ｔｅａｍ＝２）を求め、該求めた総和ΣＶ（ｔｅａｍ＝１）と総和ΣＶ（ｔｅａｍ＝２）のうち、値が大きいほうのチームを複数フレームでのチームと判定する。
また、複数フレームでのチーム判定の信頼度の評価基準としてＶｄｉｆｆを求める。
【数６】
【００３０】
次に、追跡部１ｃで行われるフレーム間の人物同定（人物追跡）について、図８を用いて説明する。図８（ａ）は、フレーム間の人物同定処理の一実施例を示すフローチャートである。以下の説明では、過去のフレームにおいて追跡されてきた（つまり人物同定されてきた）追跡人物をＴｒｋ（Ｔｒｋ１〜ＴｒｋＭ）で表わす。各追跡人物Ｔｒｋｉは人物同定済みであるから、過去の位置情報（画像情報）とチーム情報とを保持している。また、現フレームにおける抽出人物をＥｘｔ（Ｅｘｔ１〜ＥｘｔＭ）で表わす（ただし、抽出人物Ｅｘｔｊは複数の人物が１つのＥｘｔとして認識されている場合もある。例えば、複数人物が重なった位置で撮影された場合など。）。各抽出人物Ｅｘｔｊは位置情報（画像情報）とチーム判定及びチーム判定信頼度Ｖｔｅａｍとを保持しているが、追跡人物との対応づけ、つまりフレーム間での人物同定はまだなされていない。フレーム間で人物同定を行う場合、利用する特徴量は位置情報（画像情報）とチーム情報となる。
【００３１】
ステップＳ４１では、各追跡人物Ｔｒｋ１〜ＴｒｋＭに対し、候補となる抽出人物Ｅｘｔを複数取得する。まず、各追跡人物Ｔｒｋｉにおいて過去１乃至複数フレームにおける位置情報から線形的に予測位置（画像座標情報）を求め、予測位置とある閾値以内の距離に存在する全抽出人物Ｅｘｔを候補として順に保存していく。好ましくは、図８（ｂ）に示すように各選手毎に若しくは各追跡人物毎に、すべてのフレームにおける位置情報を記憶しており、この記憶に基づき次のフレームにおける予測位置を線形的に予測する。なお、保存の際には、各候補Ｅｘｔは挿入Ｓｏｒｔｉｎｇ（つまり並び替え）によってより近いもの順にＳｏｒｔｉｎｇしていく。この挿入Ｓｏｒｔｉｎｇの際に用いる評価関数としてのマッチング信頼度Ｍ（ｉ，ｊ）を数７に示す。
【数７】
【数８】
上記数７において、αとβで示す重み付け値は、比較している２つの候補Ｅｘｔの状態によって動的に変化する。例えば、２つの候補Ｅｘｔが共に同じチームである場合にはＭｔｅａｍで評価する必要がないためにα＝１、β＝０とする。他方、２つの候補Ｅｘｔが異なるチームであり、Ｍｐｏｓの値が非常に近い場合にはα＝０、β＝１とする。上記した数７を評価関数とした挿入Ｓｏｒｔｉｎｇによって、各追跡人物Ｔｒｋｉは近いものから順に抽出候補Ｅｘｔを複数得る。
【００３２】
ステップＳ４２では、各追跡人物に抽出人物を割り当てる。例えば、１番目の追跡人物Ｔｒｋ１から順に、その第１候補の抽出人物Ｅｘｔを取得する。ｉ番目の追跡人物Ｔｒｋｉにおいてその第１候補Ｅｘｔｊがすでに別の追跡人物Ｔｒｋｎに獲得されている場合には、上記数７の評価関数によって比較判定し、より近い方の追跡人物Ｔｒｋｉ又はＴｒｋｎが第１候補Ｅｘｔｊを獲得する。そうした場合、他方の追跡人物Ｔｒｋｉ又はＴｒｋｎは第２候補の抽出人物Ｅｘｔを取得する。こうした処理を行うことで、各追跡人物Ｔｒｋは各々に最適の抽出人物Ｅｘｔを獲得することになる。
ステップＳ４３では、抽出人物Ｅｘｔの割り当てのない追跡人物Ｔｒｋｘの判定を行う。すなわち、当該追跡人物Ｔｒｋｘのどの候補Ｅｘｔもが他の追跡人物Ｔｒｋによって獲得されてしまい、最終的にどの抽出人物Ｅｘｔも獲得できなかった当該追跡人物Ｔｒｋｘは、その第１候補Ｅｘｔが当該追跡人物Ｔｒｋｘに対してある閾値以内の距離にある場合は、その追跡人物Ｔｒｋｘは他の追跡人物Ｔｒｋｎと１つの抽出人物Ｅｘｔとして抽出されたものとして、その抽出人物Ｅｘｔは２人（又は複数）の追跡人物Ｔｒｋｎ、Ｔｒｋｘが対処していると判定する。すなわち、どの抽出人物も獲得できなかった追跡人物Ｔｒｋｘの第１候補Ｅｘｔが所定閾値以内で近似しているならば、その第１候補Ｅｘｔと同じ抽出人物Ｅｘｔを獲得した他の追跡人物Ｔｒｋｎと該追跡人物Ｔｒｋｘとが丁度重なってすれ違っている最中であると判定する。これをすれ違い状態と呼ぶ。なお、この場合、第１候補Ｅｘｔが追跡人物Ｔｒｋｘに対してある閾値以内にない場合には抽出ミスであると判定する。反対に、どの追跡人物Ｔｒｋｉからも取得されなかった抽出人物Ｅｘｔは、新規の追跡人物であると判定する。
【００３３】
ステップＳ４４では、すれ違い後の人物同定を行う。上述したように、すれ違い状態においては、複数の追跡人物が１つの抽出人物として認識されてしまう。こうした場合、チーム情報や正確な位置情報を取得することができなくなり、正確な追跡を行うことができなくなる。そこで、すれ違い前とすれ違い後の人物間で人物同定（マッチング）を行うことによって、追跡を続行する。このすれ違いの前後において人物同定を行う場合、すれ違いの時間が長ければ長いほど、位置情報によるマッチングの信頼度は低くなる。そのため、異なるチームの選手がすれ違いを起こした場合にはチーム情報をもとに人物同定を行い、同じチームの選手がすれ違いを起こした場合には位置情報（画像情報）による人物同定（すれ違い前の状態からの予測位置）を行う。また、３人以上の選手がすれ違いを起こした場合には、まずチーム情報によってマッチングを行い、その上で位置情報によるマッチングを行えばよい。
【００３４】
図８（ｂ）は、図８（ａ）に示したような「フレーム間人物同定」処理に基づいて、個々の選手（ｐｌａｙｅｒ）毎に作成される選手追跡ファイルの一例を示す。この図８（ｂ）には、「Ｐｌａｙｅｒ１」という特定の一人の選手（つまりキャラクタ）の追跡ファイル例が示されている。一人の選手の追跡ファイルは、「追跡人物Ｔｒｋ」と「すれ違い」のシーケンスからなる第１階層と、各フレーム毎の「抽出人物Ｅｘｔ」のシーケンスからなる第２階層とで構成される。「Ｔｒｋ１」は、「Ｐｌａｙｅｒ１」についての最初の「追跡人物」の追跡サブファイルを示し、順次の各フレーム毎の抽出人物Ｅｘｔ１１〜Ｅｘｔ１Ｎのシーケンスからなる。例えば、試合開始時（キックオフ時）の各選手のグランド上の所定ポジションから、最初のフレームにおける各抽出人物Ｅｘｔが、具体的にどの選手にそれぞれ該当するかが判明する。図８（ｂ）の例では、最初のフレームにおける特定の抽出人物Ｅｘｔ１１が、特定の「Ｐｌａｙｅｒ１」に該当し、この抽出人物Ｅｘｔ１１が「Ｐｌａｙｅｒ１」の追跡人物Ｔｒｋ１として割り当てられる。以後、各フレーム毎にこの追跡人物Ｔｒｋ１に該当する抽出人物Ｅｘｔ１２〜Ｅｘｔ１Ｎを順次特定してゆく（割り当ててゆく）ことで、「Ｐｌａｙｅｒ１」についての「追跡人物Ｔｒｋ１」のサブファイルが作成される。この特定の「追跡人物Ｔｒｋ１」が他の追跡人物とすれ違ったとき、この特定の「追跡人物Ｔｒｋ１」のサブファイルが終了し、「すれ違い１」のサブファイルが挿入される。この「すれ違い１」のサブファイルは、この特定の「追跡人物Ｔｒｋ１」が他の追跡人物とで共有する「抽出人物Ｅｘｔ１Ｐ」を特定する１又は複数フレーム分の抽出人物データからなる。この「すれ違い１」が終了すると、当該「Ｐｌａｙｅｒ１」についての２番目の「追跡人物Ｔｒｋ２」のサブファイルが作成され、かつ、前記ステップＳ４４による「すれ違い後の人物同定」処理によって、すれ違い前の当該「追跡人物Ｔｒｋ１」に該当する「抽出人物Ｅｘｔ２１」が特定され、この特定された「抽出人物Ｅｘｔ２１」が当該「Ｐｌａｙｅｒ１」についての２番目の「追跡人物Ｔｒｋ２」の最初のフレームの該当人物として割り当てられる。以後、各フレーム毎にこの追跡人物Ｔｒｋ２に該当する抽出人物Ｅｘｔ２２〜Ｅｘｔ２Ｎを順次特定してゆく（割り当ててゆく）ことで、「Ｐｌａｙｅｒ１」についての２番目「追跡人物Ｔｒｋ２」のサブファイルが作成される。以後、当該追跡人物について「すれ違い」が起こる毎に、当該「追跡人物」のサブファイルが終了し、「すれ違い」のサブファイルが挿入され、更に当該「すれ違い」の後、当該「Ｐｌａｙｅｒ１」についての次の「追跡人物」のサブファイルが作成される。こうして、試合開始から終了まで（若しくは退場まで）、当該特定の選手（例えばＰｌａｙｅｒ１）についての追跡ファイルが、「追跡人物」と「すれ違い」のサブファイルの次々の組合せからなるシーケンスで、作成される。
【００３５】
次に、図１に示したシーン間人物同定について、図９を用いて説明する。図９（ａ）は環境マップを説明するための概要図であり、図９（ｂ）はシーン間の人物同定処理の一実施例を示すフローチャートである。人物については、シーン間での人物同定を行う。すなわち、隣接するシーンはそれぞれの撮影領域において重複領域を含むため、この重複領域における隣接シーン間で人物同定（マッチング）を行う必要がある。そこで、図９（ａ）に示すような環境マップを予め設定しておく。環境マップは、各撮影用ビデオカメラＣで撮影可能な範囲であるシーン１とシーン２とが重なる重複領域（図中において斜線を施した範囲）を定義したものであり、該環境マップにおいて重複領域内での人物同定を行う場合にのみ、シーン間の人物同定処理が行われる。
【００３６】
図９（ｂ）に示したフローチャートに従って、シーン間人物同定処理について簡単に説明する。ステップＳ５１では、選手の分類を行う。すなわち、各シーン内において、チーム１の選手とチーム２の選手に分類する。シーン間人物同定を行う際には、隣接シーン間で同じチーム同士の追跡人物の間でマッチングを行えばよい。ステップＳ５２では、位置情報（ただし、ここでは画像情報でなくワールド座標）を利用し、隣接シーン間で或る閾値半径以内に存在する追跡人物を、マッチング候補として保存する。ステップＳ５３では、保存したマッチング候補との距離の総和がより小さい候補と最終的にマッチングを行う。
【００３７】
次に、ボール抽出・追跡処理について、図１０及び図１１を用いて説明する。まず、抽出部１ｂで行われるボール抽出について図１０を用いて説明する。図１０は、ボールの抽出処理の一実施例を示すフローチャートである。該ボール抽出処理は、人物抽出を行った後に行われる処理である。
【００３８】
ステップＳ６１では、ボール候補を抽出する。ステップＳ６２では、色による絞り込みを行う。このボール候補の抽出では、人物抽出された領域はボールではないと判定し当該人物領域を除外した範囲においてボール領域の検索を行う。すなわち、上述した人物抽出処理によって抽出された人物領域以外の領域に対してのみ、ボール領域（ボール候補）の検索を行う。このボール領域の検索は、ボールが持つ特徴に従って行われる。例えば、ボールの大きさは直径２２ｃｍ（センチメートル）であることから、動画像中におけるボールの大きさを割り出し、それに基づいて理想的な大きさを持つボールモデルを作成する。そして、動画中で該ボールモデルに近い大きさの抽出物があれば、それをボールの候補とする。また、ボールは基本的に白色であることから、前記ボール候補の中から色による絞込みを行う。すなわち、ボール領域は背景領域に比べて輝度Ｙが高く彩度Ｓが低くなる特徴があることから、得られた抽出物の輝度Ｙが所定の閾値以上で、かつ彩度Ｓが所定の閾値以下である場合に当該抽出物をボールの候補とする。
【００３９】
次に、追跡部１ｃで行われるボール追跡について、図１１を用いて説明する。図１１（ａ）はメイン動作であるボール追跡処理の一実施例を示すフローチャートであり、図１１（ｂ）はサブ動作であるボール探索処理の一実施例を示すフローチャートである。ボール追跡処理は、上述したボール抽出処理により抽出された複数のボール候補の中からボールを１つだけ特定し追跡する処理である。一方、ボール探索処理はボール追跡処理と常に並行して動作している処理（つまり裏処理）であって、メイン処理による追跡（ステップＳ７１）においてボールの追跡に失敗、つまりボールを見失った又は選手がボールを保持している際に適宜に参照される処理である。
【００４０】
まず、メイン動作であるボール追跡処理について説明する。ステップＳ７１では、メイン処理による追跡を実行する。このメイン処理による追跡では、過去２フレームにおけるボール位置情報を用いる。すなわち、２つ前（過去）のフレームにおいて抽出されたボールの中心座標の位置情報と、１つ前（過去）のフレームにおいて抽出されたボールの中心座標の位置情報とから、現在処理しているフレームでのボールの予測点を算出する。こうした予測点算出の一例としては、数９に示すような過去２フレームのボールの位置情報の線形予測に従って算出する。
【数９】
ステップＳ７２では、上記算出した予測点の周りにボール候補が有るか否かを判定する。予測点の周りにボール候補が有ると判定された場合には（ステップＳ７２のＹＥＳ）、ステップＳ７１の処理に戻ってメイン処理による追跡を続行する。すなわち、メイン処理による追跡では予測点の周りにボール候補があるか否かを調べ、予測点の周りにボール候補がある場合には該ボールを追跡対象としてボールの追跡を続行する。このように、ボールの位置情報に基づいて予測通りにボールが動いているような場合には、該メイン処理による追跡だけでボール追跡を行う。
【００４１】
一方、予測点の周りにボール候補がない場合、つまり選手がボールを隠蔽している状態（オクルージョン状態）が生じた場合や一旦フィールド外にボールが飛び出したことによるボールの追跡ミスが生じたような場合には、上記したようなメイン処理による追跡（ステップＳ７１参照）によってはボールの追跡を続行することができない。そこで、予測点の周りにボール候補がないと判定された場合には（ステップＳ７２のＮＯ）、まず選手がボールを隠蔽している状態（オクルージョン状態）であるか否か、つまり算出した予測点が人物抽出された範囲内にあるか否かを判定する（ステップＳ７３）。予測点が人物抽出された範囲内にない場合、つまり選手がボールを隠蔽している状態でないと判定された場合には（ステップＳ７３のＮＯ）、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって全画像中からボールを探索する。そして、ボール探索の結果として新たにボールが見つかった場合には（ステップＳ７４のＹＥＳ）、ステップＳ７１の処理に戻って該見つけたボールを対象としてボール追跡を続行する。こうしたボール探索処理への問い合わせによるボール探索は、ボールが見つかるまで繰り返し行われる（ステップＳ７４のＮＯ）。このように、予測点が人物抽出された範囲内にない場合にはボール追跡に失敗してボールを見失っている状態であることから、当該処理から裏処理であるボール探索処理に対して問い合わせる。そして、複数フレームにわたっての全画像中のボール候補の軌道情報に基づいて追跡対象とするボールを新たに見つけ出し、該見つけたボールを対象として再度メイン処理による追跡を行う。こうすることにより、ボールを見失った場合においてもボール追跡を再開することができる。
【００４２】
他方、予測点が人物抽出された範囲内にある場合、つまり選手がボールを隠蔽している状態であると判定された場合には（ステップＳ７３のＹＥＳ）、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって予測点を含む人物抽出された範囲（つまり選手）の周りで新たにボールが見つかったか否かを判定する（ステップＳ７５）。すなわち、ボールを隠蔽している状態の選手からボールが出てきたか否かを判定する。このボール探索処理への問い合わせに従いボールを隠蔽している状態の選手の周りで新たにボールが見つかった場合、つまり選手からボールが出てきた場合には（ステップＳ７５のＹＥＳ）、ステップＳ７１の処理に戻って該見つけたボールを対象としてボール追跡を続行する。ボールを隠蔽している選手の周りで新たにボールが見つからなかった場合には（ステップＳ７５のＹＥＳ）、ボールを隠蔽している選手の近くに他の選手がいるか否かを判定する（ステップＳ７６）。近くに他の選手がいると判定された場合には（ステップＳ７６のＹＥＳ）、その周りにおいてボールを探索する対象の選手を増やして（ステップＳ７７）、ステップＳ７５の処理へ戻る。すなわち、選手が密集しているような場合にはボールを探索する範囲を選手毎に順次に広げていき、その探索範囲において新たにボールが見つかったか否かを判定する。近くに他の選手がいないと判定された場合には（ステップＳ７６のＮＯ）、上記ステップＳ７７の処理を行うことなくステップＳ７５の処理へ戻り、ボールを隠蔽している状態の当該選手の周りでのみ新たにボールが見つかるまでボール探索を続ける。
【００４３】
以上のように、予測点が人物抽出された範囲内にあり選手がボールを隠蔽している状態である場合には、オクルージョン状態が頻繁におこることや、当該選手からボールがいつでてくるかを予測することは困難であることから、メイン処理による追跡（ステップＳ７１参照）を行うことができない。そこで、当該処理と並行動作しているボール探索処理に対して問い合わせを行うことによって、ボールを隠蔽しているとされる選手の周りについてボールが見つかるまでボールを探索する。ところで、こうしたボール探索を行っているときに当該選手に対して他の選手が近づいてきたような場合には、近づいた選手がボールを奪っている可能性が高くなることや、その選手によるオクルージョン状態の発生の可能性がある。そこで、現在ボールを隠蔽している状態の選手に近づいてきた選手全てを含むその周りについてボール探索を行う。上記のようなボール探索の結果としてボールが見つかった場合には、見つけたボールを再度メイン処理による追跡を行う。こうすることによって、オクルージョン状態になった場合においてもボール追跡を再開することができる。
【００４４】
ここで、上述したボール追跡処理から問い合わせされるサブ動作であるボール探索処理について説明する。このボール探索処理は複数フレームにおける全画像中の情報から、ボールらしい軌道を描いて動いているボール候補の抽出物を見つけるための処理である。ボール探索処理では、直線的（又は放物線的）に動的な複数のボール候補又はその等価物の動きを全画像中から検出する処理を行う（ステップＳ８１）。具体的に説明する。まず、現在のフレームにおけるある１つのボール候補１において、該ボール候補１から直線的な軌道を描くボール候補を後のフレームにおけるボール候補１があった位置から所定の閾値の範囲内で探す。前記範囲内にボール候補がある場合には、それをボール候補２とする。こうしたボール候補２は多数存在するために、そこからさらにボールを絞り込む。そこで、ボールの軌道である直線上のボール候補１とボール候補２とにより算出した予測点から所定の範囲内にあるボール候補３を見つける。ボール候補３が得られたら、今度はボール候補２とボール候補３とにより算出した予測点から所定の範囲内を探索する。こうした処理をボール候補が得られなくなるまで繰り返し行うことによって、ボールの軌道を描くボール候補の連続抽出回数を求める。こうしたボールの軌道を描くボール候補を複数見つけるために、当該処理を全画像中で行い、複数のボールの軌道を描くボール候補の連続抽出回数を求める。次に、ボール候補の動きベクトルの標準偏差と速度の情報を求める。速度とは、見つかったボール候補の１フレーム間に移動する移動平均距離の平均値である。標準偏差とはボール候補の方向ベクトルのばらつき具合を表わすものであり、数１０により求まる。
【数１０】
【００４５】
こうしたボール探索処理の際に選手によるオクルージョン状態が生じた場合には、上記連続抽出回数が正しく求められない。そこで、例えば２つ先のフレームにおいて選手によるオクルージョン状態が生じているような場合には、１つ先のフレームでのボール候補の中心座標と２つ先のフレームでの予測点をもとに３つ先のフレームでの予測点を上記した数９によって算出し、その周りを探すようにする。こうすると、もし後のフレームで同じ軌道を描くボール候補が見つかったときでも連続抽出回数をカウントすることができるようになることから、ボール候補の選手によるオクルージョン状態が生じた場合に対応することができるようになる。また、選手がボールを隠蔽している場合には、ボールを隠蔽している選手の周りについてボール探索を行うことは上述した。この場合には、ある閾値以内の範囲において選手の周りを探索する。選手の周りにおいてボール候補が得られた場合、何フレームかを先読みして得られたボール候補のその後の動きをボール探索処理により調べる。このボール探索処理によって求められる選手の周りで見つかったボール候補の連続抽出回数、速度、標準偏差のそれぞれが所定の閾値を満たすものをボールと特定する。さらに、ボールを見失っている場合には、複数フレームにおいて全画像を調べてボールらしい軌道を描いているものを見つけることは上述した。ボールを見失った時点でボール探索処理を全画像に対して行うことにより、複数のボール候補の連続抽出回数、速度、標準偏差を求めることができることから、これらに対する所定の閾値を設けておき、この条件を満たすものをボールとする。
【００４６】
以上のような選手及びボールの自動追跡システムは、スポーツゲームの指導やスポーツ中継あるいは試合データ提供サービスへ適用するのが特に有効である。すなわち、サッカーに代表される集団競技における試合のフォーメーション確認や戦術解析が自動化されて、ゲーム指導に適用することができる。スポーツ中継中にフィールド全体における選手の動きを自動的に解析し、試合の解説などに利用することができる。スポーツ試合における両チームの得点や選手の動きは試合の情報として最も重要であり価値のあるデータであることから、試合中の選手の動きを自動解析することは非常に有効である。
【００４７】
【発明の効果】
この発明によれば、自動作成される背景画像を用いて２段階に分けて人物領域の特定を行うと共に、色情報に従って取得されるチーム情報を人物の追跡処理に適応するようにしたことによって、スポーツ動画像などの屋外環境を想定した広い範囲における人物の抽出・追跡を高精度に行うことができるようになる、という効果を得る。
また、ボール追跡を行うメイン処理とボール探索を行うボール探索処理の２つの処理を用いてボール追跡を行うようにしたことから、スポーツ競技での選手（人物）だけでなくボールをも高精度に抽出し追跡することができる、という効果を得る。
【図面の簡単な説明】
【図１】この発明に係る移動物体追跡装置を適用したトラッキングシステムの一実施例の全体構成を示すブロック図である。
【図２】シーン内追跡部の処理概要を示すブロック図である。
【図３】背景画像の作成処理の一実施例を示すフローチャートである。
【図４】色情報の学習処理の一実施例を示すフローチャートである。
【図５】人物抽出処理の一実施例を示すフローチャートである。
【図６】チーム判定処理の一実施例を示すフローチャートである。
【図７】人物モデル信頼度の一実施例を示す概要図である。
【図８】フレーム間の人物同定処理について説明するための図である。
【図９】シーン間人物同定について説明するための図であって、図９（ａ）は環境マップを説明するための概要図、図９（ｂ）はシーン間の人物同定処理の一実施例を示すフローチャートである。
【図１０】ボールの抽出処理の一実施例を示すフローチャートである。
【図１１】ボール追跡処理の一実施例を示すフローチャートである。
【符号の説明】
Ａ…移動物体追跡装置、Ｃ…撮影用ビデオカメラ、１…シーン内追跡部、１ａ…学習部、１ｂ…抽出部、１ｃ…追跡部、２…シーン間人物同定部、３…位置情報の取得・補正部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a moving object tracking method and apparatus based on moving image data for automatically extracting and tracking a moving object moving in a moving image. In particular, moving image data that enables highly accurate extraction and tracking of moving objects such as athletes and balls moving in a wide-area moving image taken of a sports competition held in a wide range assuming an outdoor environment The present invention relates to a moving object tracking method and apparatus based on a moving object.
[0002]
[Prior art]
2. Description of the Related Art A moving object tracking apparatus based on moving image data capable of automatically extracting and tracking a person moving in a moving image captured by a video camera or the like has been known. As a method of extracting and tracking a person moving in a moving image in such a moving object tracking device, several methods described below are used. For example, a "background image" in which no person exists is acquired in advance, and a background difference method for extracting a person from the difference processing result between the input image and the "background image" is performed. (Integer), an inter-frame difference method for extracting a person by a difference process between two images captured at intervals of an interval time, a feature of a moving object registered in advance as a template, and the feature (template) A template matching method in which a person is extracted by performing matching between two images, and a relationship between spatial and temporal gradients of brightness (that is, brightness) of each point in the image (this is called an optical flow). Methods such as the optical flow method of extracting a person by using an edge extraction method of extracting a person by extracting edges in an image are used. There.
[0003]
[Problems to be solved by the invention]
By the way, recently, it is desired to realize a moving object tracking device that extracts and tracks a person in a wide range assuming an outdoor environment such as a sports moving image. In particular, in a sport competition performed in a group using a formation represented by a soccer game or the like, it is desired that the movement of a player (that is, a person) be automatically analyzed in order to confirm the formation or perform a tactical analysis. I have. However, in the conventional moving object tracking device using various methods as described above, a player is automatically extracted and tracked from a wide range of moving images assuming a sports moving image performed in such an outdoor environment. Was very difficult. That is, in the background subtraction method, it is difficult to capture a background image in advance of the start of a soccer game, and the background image may be temporally affected by the weather conditions of the place where the soccer game is performed or the lighting of facilities. It becomes difficult to extract players. In the inter-frame difference method, it is difficult to extract a player when the player is walking slowly or standing still. With the template matching method, it is difficult to extract players when the players move and their appearance changes on the image, and a new template must be created each time a new player is added, which burdens the user. It is also a big hassle. In the optical flow method, it is difficult to extract players when the player is walking slowly or standing still as in the inter-frame difference method, and the calculation of optical flow requires a very large amount of calculation. This is inconvenient because special hardware is required to execute the tracking. In the edge extraction method, a white line or a goal drawn on the ground is extracted as a player in addition to the player, which is inconvenient.
[0004]
Further, in a sports game using a ball (that is, a ball game) such as a soccer game, it is important to extract and track not only a player (person) but also a ball used in the sports game. However, extracting and tracking a ball with high precision is much more difficult than extracting and tracking a player. That is, since the ball is very small, it is difficult to extract the ball. Also, the ball may float in the air and move at a high speed. Further, the ball may be concealed by a player (this state is called an occlusion state), and in this occlusion state, it is very difficult to specify the position of the ball. For this reason, there has been a problem that it is very difficult for a conventional moving object tracking device using the above-described various methods to accurately extract and track a ball.
[0005]
The present invention has been made in view of the above points, and has a moving object based on moving image data capable of extracting and tracking a person in a wide range assuming an outdoor environment such as a sports moving image with high accuracy. It is intended to provide a tracking method and apparatus. In addition, a moving image capable of extracting and tracking not only a player (person) but also a ball used in the sports competition from a sports moving image obtained by shooting a sports competition using a ball such as a soccer game. An object of the present invention is to provide a moving object tracking method and apparatus based on image data.
[0006]
[Means for Solving the Problems]
The moving object tracking method according to
[0007]
A moving object tracking method according to claim 5 of the present invention includes: a tracking step of sequentially tracking the movement of an object having a predetermined feature in an image based on moving image data; A search step of searching for an equivalent having a predetermined motion estimated to be an object having features, and at least one of the object tracked in the tracking step and the equivalent of the object searched in the search step, And selecting as tracking information.
[0008]
A moving object tracking method according to claim 7 of the present invention is a moving object tracking method for tracking a person on a moving image obtained by photographing a person classified into at least two or more groups. A first step of automatically creating a background image from a plurality of frame images, and performing a background difference process on each frame image based on the created background image. A second step of extracting a person by applying a preset person model; obtaining an optimum color parameter for each image of each frame; and performing the group determination of the extracted person based on the obtained optimum color parameter. A third step of performing a person identification according to the group determination.
[0009]
A moving object tracking method according to a twelfth aspect of the present invention is a moving object tracking method that tracks at least a ball on a moving image, and automatically converts one background image from a plurality of frame images input in a predetermined cycle. And performing a background subtraction process on each frame image based on the background image created above, and applying a preset ball model to an extract other than the person region obtained by the background subtraction process. Extracting the ball in the current frame based on the position information of the ball in at least the past two frames, and tracking the ball by determining the predicted position of the ball in the current frame. Searching for a continuously moving ball candidate from all images.
[0010]
The invention can be constructed and implemented not only as a method invention, but also as an apparatus invention. Further, the present invention can be implemented in the form of a program of a computer or a processor such as a DSP, or can be implemented in the form of a storage medium storing such a program.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
[0012]
FIG. 1 is a block diagram showing an entire configuration of an embodiment of a tracking system to which a moving object tracking device according to the present invention is applied. The tracking system shown in this embodiment is most useful for extracting and tracking players, balls, and the like in a highly tactical sports competition using formation, such as a soccer game played outdoors. Therefore, hereinafter, a case will be particularly described as an example in which a player and a soccer ball are extracted and tracked in a soccer game.
[0013]
As shown in FIG. 1, a tracking system according to this embodiment includes two video cameras C for photographing an entire soccer ground (hereinafter, referred to as a field) in which a soccer game is actually performed, and a moving object tracking device. A. The two photographing video cameras C are for sharing the entire field and photographing, respectively, and the central portion including the center circle allows the two photographing video cameras C to photograph repeatedly. Therefore, each video camera C separately captures a shooting range “
[0014]
The moving object tracking device A analyzes the input video from the video camera C for shooting that has been calibrated with the camera (that is, the correspondence between the world coordinate space and the image coordinate space) and extracts and tracks a player, a ball, and the like. The apparatus includes an
[0015]
Note that the moving object tracking device A for extracting and tracking players and balls as described above is not limited to the form of computer software, but can also be implemented in the form of a microprogram processed by a DSP (digital signal processor). It goes without saying that the present invention is not limited to this type of program but may be implemented in the form of a dedicated hardware device including a discrete circuit or an integrated circuit or a large-scale integrated circuit.
[0016]
Next, an outline of processing performed by the
[0017]
Here, the background image creation processing and the color information / human size learning processing in the
In step S1, a person candidate area is specified in each frame in a video shot soccer moving image, and an area other than the person candidate area is set as a background available area (an area usable as a background). In the person candidate region, first, an inter-frame difference process is performed on each frame from a previous (past) frame. Generally, since each soccer player is moving, an object is extracted in the vicinity of a person area by calculating a difference between frames. Here, in order to be able to detect a slight movement of each player, an inter-frame process with a frame several frames before is performed. By performing expansion processing on the object region thus extracted, a person candidate region is obtained, and a region other than the obtained person candidate region is set as a background available region in the frame. In step S2, a background available area is obtained in a plurality of frames. That is, since the player moves between frames, the available background areas in each frame are slightly different, so the available background areas in each of the plurality of frames are obtained. In step S3, one background image is created by complementing the background available areas of the plurality of frames obtained in step S2 and calculating an average value. That is, for each pixel (x, y) in the image, the pixel (x, y) in which the pixel (x, y) is determined to be a background available area in a plurality of
[0018]
Next, among the learning of the color information and the human size in the
[0019]
In step S11, for each color parameter, color information of a sample of each team of N persons (N is an integer of 1 or more) is obtained. When the shirt and the pants have the same color (that is, the uniform color is one color), one value is obtained by combining the color information of the shirt region and the pants region. When the shirt and the pants have different colors, the color information of the shirt region and the pants region is separately acquired. Each sample obtains uniform color information from a plurality of frames and calculates an average value. As a result, for each color parameter, an average value of the color parameters is obtained for a sample of N × 2 teams. In step S12, the team separation degree D is calculated for each color parameter.
(Equation 1)
[0020]
Returning to the description of the
[0021]
Here, a description will be given of the player / ball extraction / tracking processing executed by the above-described extraction unit 1b and
[0022]
In step S21, a two-step threshold is set. That is, when performing the background subtraction process, the optimum threshold value for the person extraction often becomes large depending on the extracted person and the state of the background image. Therefore, if the threshold value is provided uniquely, the accuracy of individual person extraction will vary widely. Therefore, two threshold values are provided, and the background difference processing is performed in two stages. In the step S21, a threshold value for that is set. In step S22, background subtraction processing is performed on each frame based on the created background image. In step S23, a person model is applied to the object obtained by the background difference to extract a person. First, background difference processing is performed using the higher threshold. All the extracted objects are checked against a person model defined in a predetermined size that has been set in advance, and applied to the person model (for example, both the width and height of the person model are +20). %) The object is determined to be a person area. Next, background subtraction processing is performed again on a region other than the region determined to be a person region at a lower threshold. Then, the same person area determination is performed here, and a person is extracted.
[0023]
In step S24, the shadow area of the person is deleted by the color information. That is, when only the above-described background subtraction processing is performed, a shadow region of a person may be extracted at the same time, and if such a shadow region is extracted together, position information and color information can be accurately obtained. No, and accordingly, accurate tracking cannot be performed. Therefore, the shadow area of the person is deleted. For example, if the width of the extracted person region is more than + 20% of the width of the person model, the shadow region of the person is included in the extracted region, and the shadow region is specified and deleted. . The procedure for deleting the shadow area will be briefly described. First, a pixel of a shadow candidate whose luminance Y is lower than that of the background image and has substantially the same hue as the hue H of the background image is extracted from the extracted object. An expansion / contraction process is performed on the binary image of the extracted shadow candidate pixel, and a labeling process is performed on the extracted region. These areas are set as shadow area candidates. For each shadow candidate area, a predetermined condition (for example, the shadow area of a person has a certain size and is longer in the aspect ratio, and the shadow area of the person is located below the extracted human frame, etc.) According to various conditions), a final shadow area is specified. The shadow region finally specified in this way is deleted from the original extracted image, and the person region is re-enclosed.
[0024]
In step S25, the person area is corrected using the histogram. That is, even after the shadow area of the person is erased by the color information, the width of the extraction frame of the person is + 20% larger than the width of the person model due to the influence of noise and the shadow area is not completely erased. In some cases, it becomes larger. In this case, since the position information cannot be obtained accurately, the tracking accuracy is reduced. Therefore, the correction of the person region using the histogram of the number of pixels in the region is performed. The procedure of such a person area correction will be briefly described. A histogram of the number of pixels in the vertical direction of the extracted object is taken inside the extraction frame. In the histogram of the number of pixels in the vertical direction, the number of pixels is searched from both ends of the extraction frame. If the number of pixels in the vertical direction is small continuously, the extraction area is determined to be not a person area but a non-person area, and the area is deleted from the extracted person. Thus, the person area is corrected.
[0025]
The team determination performed by the extraction unit 1b will be described with reference to FIG. FIG. 6 is a flowchart illustrating an example of the team determination process. In this process, the team determination of the extracted player is performed using the optimal color parameter P for the team classification obtained by learning the color information.
[0026]
In step S31, team determination is performed in each frame. That is, the value p of the optimum color parameter P in the extracted person region is obtained, and the representative value p of each team is obtained. team Distance dist with team Ask for.
(Equation 2)
[Equation 3]
[0027]
Such a team determination for each frame is not completely reliable. That is, there is a possibility that the team determination is incorrect due to the influence of an extraction error or the like. Then, the reliability V of the team judgment in each frame is team Is provided. This team judgment reliability V team Is a parameter value indicating how reliable the player's team judgment in that frame is, and is obtained as follows. First, the closer the value of the optimal color parameter value p is to the representative value p of the determined team color, the higher the reliability of the team determination becomes. Therefore, the reliability V depending on the distance from the representative value is determined. color Is calculated from
(Equation 4)
Next, since the color information can be more accurately acquired as the extraction is performed closer to the person model, the reliability of the team determination is increased. Specifically, the person model reliability V is determined by the vertical width of the extracted person. height Will be higher. Therefore, this person model reliability V height Filtering by. Such a person model reliability V height 7 is shown in FIG. The human model reliability V shown in FIG. height Indicates that, for example, when the extraction is within + 20% to -20% of the ideal human aspect ratio N: 1 (shown on the horizontal axis in the figure), it is determined that accurate person extraction has been performed. Reliability V height = 1 ”(shown on the vertical axis in the figure). If the extraction is + 40% or more or −40% or less, accurate person extraction cannot be performed, and color information acquisition is considered to be inaccurate. Degree V height = 0 ”. Also, the closer the extracted person is to the height of the person model, the higher the reliability of the person model is. The reliability V depending on the distance from such a representative value color And person model reliability V height And finally, the reliability V of the team judgment team Is obtained from Equation 5.
(Equation 5)
[0029]
In step S32, team determination is performed in a plurality of frames. That is, the team determination in each frame as described above is not completely reliable. Therefore, the team determination is ensured by using a plurality of frames using the tracking information. The team determination in the plurality of frames is obtained by summing the reliability V of the team determination in each frame. That is, the reliability V determined to be
Also, V is used as an evaluation criterion for the reliability of team judgment in a plurality of frames. diff Ask for.
(Equation 6)
[0030]
Next, the person identification (person tracking) between frames performed by the
[0031]
In step S41, each tracking person Trk 1 ~ Trk M , A plurality of extracted extracted persons Ext as candidates are obtained. First, each tracking person Trk i , A predicted position (image coordinate information) is linearly obtained from position information in the past one or a plurality of frames, and all extracted persons Ext present at a distance within a certain threshold from the predicted position are sequentially stored as candidates. Preferably, as shown in FIG. 8 (b), position information in all frames is stored for each player or each tracking person, and a predicted position in the next frame is linearly predicted based on this storage. I do. At the time of saving, each candidate Ext is sorted by insertion sorting (that is, rearrangement) in the order of closest one. Matching reliability M as an evaluation function used in this insertion Sorting (I, j) Is shown in Equation 7.
(Equation 7)
(Equation 8)
In the above equation (7), the weight values indicated by α and β dynamically change depending on the state of the two candidates Ext being compared. For example, if two candidate Ext are the same team, M team Α = 1, β = 0 because there is no need to evaluate in (1). On the other hand, the two candidates Ext are different teams and M pos Are very close, α = 0 and β = 1. Each tracking person Trk is obtained by insertion Sorting using the above equation 7 as an evaluation function. i Obtains a plurality of extraction candidates Ext in ascending order.
[0032]
In step S42, an extracted person is assigned to each tracked person. For example, the first tracking person Trk 1 , The extracted candidate Ext of the first candidate is acquired in order. i-th tracker Trk i At the first candidate Ext j Is already another tracker Trk n In the case where the tracking person Trk is closer to the tracking person Trk, i Or Trk n Is the first candidate Ext j To win. If so, the other tracker Trk i Or Trk n Obtains a second candidate extracted person Ext. By performing such processing, each tracking person Trk obtains the optimum extracted person Ext for each.
In step S43, the tracking person Trk to which no extracted person Ext is assigned x Is determined. That is, the tracking person Trk x No candidate Ext is obtained by another tracked person Trk, and finally the tracked person Trk for which no extracted person Ext could be obtained. x Means that the first candidate Ext is the tracking person Trk x Is within a certain threshold, the tracking person Trk x Is another tracker Trk n Extracted as one extracted person Ext, the extracted person Ext is two (or more) tracking persons Trk n , Trk x Is determined to be taking action. That is, the tracking person Trk from which none of the extracted persons could be obtained x If the first candidate Ext is similar within a predetermined threshold, another tracking person Trk that has acquired the same extracted person Ext as the first candidate Ext n And the tracking person Trk x Are determined to be in the middle of passing each other. This is called a passing state. In this case, the first candidate Ext is the tracking person Trk x If it is not within a certain threshold value, it is determined that an extraction error has occurred. Conversely, which tracker Trk i It is determined that the extracted person Ext, which is not also acquired from, is a new tracking person.
[0033]
In step S44, a person after passing is identified. As described above, in the passing state, a plurality of tracked persons are recognized as one extracted person. In such a case, it becomes impossible to obtain team information or accurate position information, and accurate tracking cannot be performed. Therefore, tracking is continued by performing person identification (matching) between persons before and after passing. When performing person identification before and after this passing, the longer the passing time, the lower the reliability of matching by position information. Therefore, when players of different teams pass each other, person identification is performed based on team information, and when players of the same team pass each other, person identification based on position information (image information) (Predicted position from the state). When three or more players pass each other, matching may be performed first using team information, and then matching based on position information may be performed.
[0034]
FIG. 8B shows an example of a player tracking file created for each individual player (player) based on the “inter-frame person identification” process as shown in FIG. 8A. FIG. 8B shows an example of a tracking file of one specific player (that is, a character) called “Player1”. The tracking file of one player is composed of a first layer composed of a sequence of “tracking person Trk” and “passing” and a second layer composed of a sequence of “extracted person Ext” for each frame. "Trk 1 ] Indicates a tracking sub-file of the first “tracking person” for “Player1”, and sequentially extracts the person Ext for each frame. 11 ~ Ext 1N The sequence consists of For example, from a predetermined position on the ground of each player at the start of the game (at the time of kick-off), it is determined which player each of the extracted persons Ext in the first frame corresponds to specifically. In the example of FIG. 8B, the specific extracted person Ext in the first frame is specified. 11 Corresponds to a specific “Player1”, and the extracted person Ext 11 Is the tracking person Trk of "Player1" 1 Assigned as Thereafter, this tracking person Trk is used for each frame. 1 Extracted person Ext corresponding to 12 ~ Ext 1N Are sequentially specified (assigned), so that the “tracking person Trk” for “Player1” is obtained. 1 Is created. This particular "tracker Trk 1 Passed by another tracked person, this particular "tracked person Trk" 1 Is completed, and the subfile "passing 1" is inserted. This “passing 1” sub-file contains the specific “tracking person Trk”. 1 "Extracted person Ext shared with other tracked persons 1P Is extracted from one or more frames of extracted person data. When the “passing 1” is completed, the second “tracking person Trk” for the “
[0035]
Next, the inter-scene person identification shown in FIG. 1 will be described with reference to FIG. FIG. 9A is a schematic diagram for explaining an environment map, and FIG. 9B is a flowchart showing an embodiment of a person identification process between scenes. For a person, the person is identified between scenes. That is, since adjacent scenes include an overlapping region in each shooting region, it is necessary to perform person identification (matching) between adjacent scenes in the overlapping region. Therefore, an environment map as shown in FIG. 9A is set in advance. The environment map defines an overlapping area (a shaded area in the figure) where
[0036]
The inter-scene person identification process will be briefly described with reference to the flowchart shown in FIG. In step S51, the players are classified. That is, in each scene, it is classified into a player of
[0037]
Next, the ball extraction / tracking processing will be described with reference to FIGS. First, the ball extraction performed by the extraction unit 1b will be described with reference to FIG. FIG. 10 is a flowchart showing one embodiment of the ball extracting process. The ball extraction process is a process performed after the person is extracted.
[0038]
In step S61, ball candidates are extracted. In step S62, narrowing down by color is performed. In this ball candidate extraction, it is determined that the area in which the person has been extracted is not a ball, and the ball area is searched in a range excluding the person area. That is, a search for a ball area (ball candidate) is performed only for an area other than the person area extracted by the above-described person extraction processing. The search for the ball area is performed according to the characteristics of the ball. For example, since the size of the ball is 22 cm (centimeter) in diameter, the size of the ball in the moving image is calculated, and a ball model having an ideal size is created based on the size. Then, if there is an extract having a size close to the ball model in the moving image, it is determined as a ball candidate. Further, since the ball is basically white, narrowing down by color is performed from among the ball candidates. That is, since the ball region has a feature that the luminance Y is higher and the saturation S is lower than the background region, the luminance Y of the obtained extract is equal to or higher than a predetermined threshold and the saturation S is equal to or lower than a predetermined threshold. If so, the extract is set as a ball candidate.
[0039]
Next, ball tracking performed by the
[0040]
First, the ball tracking process, which is the main operation, will be described. In step S71, tracking is performed by the main process. In the tracking by the main processing, ball position information in the past two frames is used. That is, the current processing is performed based on the position information of the center coordinates of the ball extracted in the immediately preceding (past) frame and the position information of the center coordinates of the ball extracted in the immediately preceding (past) frame. Calculate the predicted point of the ball in the frame. As an example of such prediction point calculation, the calculation is performed according to linear prediction of the position information of the ball in the past two frames as shown in Expression 9.
(Equation 9)
In step S72, it is determined whether there is a ball candidate around the calculated prediction point. If it is determined that there is a ball candidate around the predicted point (YES in step S72), the process returns to step S71 and continues tracking by the main process. That is, in the tracking by the main process, it is checked whether or not there is a ball candidate around the prediction point, and if there is a ball candidate around the prediction point, the tracking of the ball is continued with the ball as a tracking target. As described above, when the ball is moving as predicted based on the ball position information, the ball is tracked only by the tracking in the main processing.
[0041]
On the other hand, when there is no ball candidate around the prediction point, that is, when a state where the player is hiding the ball (occlusion state) occurs, or a ball tracking error due to the ball once jumping out of the field occurs. In such a case, the tracking of the ball cannot be continued depending on the tracking by the main processing as described above (see step S71). Therefore, when it is determined that there is no ball candidate around the prediction point (NO in step S72), first, it is determined whether or not the player is hiding the ball (occlusion state), that is, the calculated prediction point It is determined whether or not is within the range in which the person is extracted (step S73). If the predicted point is not within the range in which the person has been extracted, that is, if it is determined that the player is not hiding the ball (NO in step S73), the process proceeds to a ball search process that operates in parallel with the process. The ball is searched from all the images by making an inquiry to the player. Then, when a new ball is found as a result of the ball search (YES in step S74), the process returns to step S71 to continue ball tracking for the found ball. The ball search based on the inquiry to the ball search process is repeatedly performed until a ball is found (NO in step S74). As described above, when the predicted point is not within the range in which the person has been extracted, the ball tracking has failed and the ball has been lost, so the process inquires about the ball search process which is the back process. Then, a new ball to be tracked is newly found based on the trajectory information of the ball candidates in all images over a plurality of frames, and tracking by the main processing is performed again on the found ball. By doing so, even when the ball is lost, the tracking of the ball can be resumed.
[0042]
On the other hand, if the predicted point is within the range in which the person has been extracted, that is, if it is determined that the player is hiding the ball (YES in step S73), the ball operating in parallel with the processing is determined. It is determined whether or not a new ball has been found around a range (that is, a player) in which a person including a prediction point has been extracted by making an inquiry to the search process (step S75). That is, it is determined whether or not the ball has come out of the player who is hiding the ball. When a new ball is found around the player who is hiding the ball in accordance with the inquiry to the ball search process, that is, when the ball comes out of the player (YES in step S75), the process in step S71. To continue the ball tracking for the found ball. When a new ball is not found around the player concealing the ball (YES in step S75), it is determined whether another player is near the player concealing the ball (step S76). ). If it is determined that another player is nearby (YES in step S76), the number of players to search for the ball around the player is increased (step S77), and the process returns to step S75. That is, in a case where the players are crowded, the search range of the ball is sequentially expanded for each player, and it is determined whether or not a new ball is found in the search range. If it is determined that no other player is nearby (NO in step S76), the process returns to step S75 without performing the process in step S77, and the process returns to the vicinity of the player who is hiding the ball. Only keep searching until a new ball is found.
[0043]
As described above, when the prediction point is within the range where the person is extracted and the player is concealing the ball, the occlusion state frequently occurs, and when the ball comes from the player. Is difficult to predict, so that tracking by the main processing (see step S71) cannot be performed. Then, by inquiring about a ball search process that is operating in parallel with the process, the ball is searched for around the player who is concealing the ball until the ball is found. By the way, if another player approaches the player during such a ball search, it is more likely that the approaching player has robbed the ball, A condition may have occurred. Therefore, a ball search is performed around the player who is approaching the player who is currently hiding the ball. When a ball is found as a result of the above-described ball search, the found ball is tracked again by the main processing. By doing so, the ball tracking can be resumed even in the case of the occlusion state.
[0044]
Here, the ball search process, which is a sub-operation inquired from the ball tracking process described above, will be described. The ball search process is a process for finding an extract of a ball candidate moving along a ball-like trajectory from information in all images in a plurality of frames. In the ball search process, a process of detecting linearly (or parabolically) dynamic movements of a plurality of ball candidates or their equivalents from all images is performed (step S81). This will be specifically described. First, in one
(Equation 10)
[0045]
If an occlusion state by a player occurs during such a ball search process, the number of consecutive extractions cannot be correctly obtained. Therefore, for example, when an occlusion state by a player occurs in the second frame, three points are calculated based on the center coordinates of the ball candidate in the first frame and the predicted points in the second frame. The prediction point in the next frame is calculated by the above-described equation 9, and the surrounding area is searched. In this way, even if a ball candidate that follows the same trajectory is found in a later frame, it is possible to count the number of consecutive extractions, so that it is possible to respond to the occurrence of an occlusion state by the ball candidate player become able to. Also, as described above, when a player is concealing a ball, a ball search is performed around the player concealing the ball. In this case, the player is searched around the player within a certain threshold range. When a ball candidate is obtained around a player, the subsequent movement of the ball candidate obtained by pre-reading several frames is checked by a ball search process. A ball that satisfies a predetermined threshold value for each of the number of times of continuous extraction, speed, and standard deviation of ball candidates found around the player determined by the ball search process is specified as a ball. Furthermore, as described above, when the ball is lost, the entire image is examined in a plurality of frames to find one that describes a ball-like trajectory. By performing the ball search process on all the images when the ball is lost, the number of continuous extractions, the speed, and the standard deviation of a plurality of ball candidates can be obtained. A ball that satisfies the conditions is a ball.
[0046]
The automatic player and ball tracking system as described above is particularly effective when applied to sports game guidance, sports broadcasting, or match data providing services. That is, the formation confirmation and tactical analysis of a game in a group sport represented by soccer are automated, and can be applied to game guidance. During sports broadcasting, the movement of players on the entire field is automatically analyzed and can be used for commentary on matches. Since the scores of both teams and the movements of the players in a sports game are the most important and valuable data as game information, it is very effective to automatically analyze the movements of the players during the game.
[0047]
【The invention's effect】
According to the present invention, the person area is specified in two stages using the automatically created background image, and the team information obtained according to the color information is adapted to the person tracking process. An effect is obtained that extraction and tracking of a person in a wide range assuming an outdoor environment such as a sports moving image can be performed with high accuracy.
In addition, since the ball is tracked by using two processes, a main process for tracking the ball and a ball search process for searching for the ball, not only a player (person) but also a ball in a sports competition can be accurately detected. The advantage is that it can be extracted and tracked.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an overall configuration of an embodiment of a tracking system to which a moving object tracking device according to the present invention is applied.
FIG. 2 is a block diagram illustrating an outline of processing performed by an intra-scene tracking unit;
FIG. 3 is a flowchart illustrating an embodiment of a background image creation process.
FIG. 4 is a flowchart illustrating an example of a color information learning process.
FIG. 5 is a flowchart illustrating an embodiment of a person extraction process.
FIG. 6 is a flowchart illustrating an example of a team determination process.
FIG. 7 is a schematic diagram showing an example of a person model reliability.
FIG. 8 is a diagram for describing a person identification process between frames.
9A and 9B are diagrams for explaining inter-scene person identification, in which FIG. 9A is a schematic diagram for explaining an environment map, and FIG. 9B is an embodiment of inter-scene person identification processing; It is a flowchart which shows.
FIG. 10 is a flowchart showing one embodiment of a ball extraction process.
FIG. 11 is a flowchart illustrating an embodiment of a ball tracking process.
[Explanation of symbols]
A: Moving object tracking device, C: Video camera for shooting, 1: Tracking unit in scene, 1a: Learning unit, 1b: Extraction unit, 1c: Tracking unit, 2: Person identification unit between scenes, 3: Acquisition of position information・ Correction unit
Claims (18)
過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める第１ステップと、
今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する第２ステップと、
前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる第３ステップと
を具備する移動物体追跡方法。A method of tracking the movement of an object having predetermined characteristics in an image based on moving image data as a tracking object,
A first step of storing position information of the tracked object in a plurality of past frames, and calculating a predicted position of the tracked object in a current frame based on the stored position information of the tracked object in the plurality of past frames;
A second step of extracting a candidate object having the predetermined characteristic specific to the tracking object from the image data in the current frame;
Allocating the extracted candidate object closer to the predicted position as the tracked object.
前記第１ステップでは、各追跡物体毎の前記予測位置を求め、
前記第２ステップでは、前記画像データから得られる複数の候補物体の位置情報に基づき、各追跡物体毎に、それぞれの前記予測位置に近い１又は複数の候補物体を順位づけて抽出し、
前記第３ステップでは、各追跡物体毎に、前記予測位置により近い前記抽出された候補物体を当該追跡物体として割り当て、その際、共通する候補物体が複数の追跡物体に割り当てられようとするとき、そのうち１つの追跡物体に対して該候補物体を割り当て、他の追跡物体には次の順位の候補物体を割り当てるようにすることを特徴とする請求項１に記載の移動物体追跡方法。There are a plurality of the tracking objects to be tracked,
In the first step, the predicted position for each tracked object is obtained,
In the second step, based on position information of a plurality of candidate objects obtained from the image data, for each tracked object, one or more candidate objects close to the respective predicted positions are ranked and extracted,
In the third step, for each tracked object, the extracted candidate object closer to the predicted position is assigned as the tracked object. At this time, when a common candidate object is to be assigned to a plurality of tracked objects, 2. The moving object tracking method according to claim 1, wherein the candidate object is assigned to one of the tracked objects, and the candidate object of the next rank is assigned to the other tracked objects.
前記第１ステップでは、各追跡物体毎の前記予測位置を求め、更に、各追跡物体毎にその所属グループを示すグループ情報を記憶し、
前記第２ステップでは、前記画像データから得られる複数の候補物体の位置情報とグループ情報とに基づき、各追跡物体毎に、前記予測位置により近い候補物体を選択するための位置マッチング信頼度と同一グループを選択するためのグループマッチング信頼度との組合せからなるマッチング信頼度関数を用いて、１又は複数の候補物体を抽出し、
前記第３ステップでは、各追跡物体毎に、前記マッチング信頼度関数の値に基づいて、いずれかの前記候補物体を割り当てる
ことを特徴とする請求項１乃至３のいずれかに記載の移動物体追跡方法。There are a plurality of said tracking objects to be tracked, these plurality of tracking objects are classified into a plurality of visually distinguishable groups such as uniforms,
In the first step, the predicted position of each tracking object is obtained, and further, group information indicating a group to which the tracking object belongs is stored for each tracking object.
In the second step, based on position information and group information of a plurality of candidate objects obtained from the image data, for each tracked object, the same as the position matching reliability for selecting a candidate object closer to the predicted position. Using a matching reliability function consisting of a combination with a group matching reliability for selecting a group, extracting one or more candidate objects,
4. The moving object tracking according to claim 1, wherein in the third step, any one of the candidate objects is assigned to each of the tracking objects based on a value of the matching reliability function. 5. Method.
前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索ステップと、
前記追跡ステップで追跡された前記物体と前記探索ステップで探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択ステップとを具備する移動物体追跡方法。A tracking step of sequentially tracking the movement of an object having a predetermined feature in the image based on the moving image data,
A search step of searching for an equivalent that performs a predetermined motion estimated to be an object having the predetermined feature in an image based on the moving image data;
A moving object tracking method comprising: selecting, as tracking information of the object, at least one of the object tracked in the tracking step and an equivalent of the object searched in the searching step.
所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する第１ステップと、
前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う第２ステップと、
各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行う第３ステップと、
前記グループ判定に従って人物同定を行う第４ステップと
を具える移動物体追跡方法。A moving object tracking method for tracking a person on a moving image obtained by shooting a person classified into at least two or more groups,
A first step of automatically creating a background image from a plurality of frame images input in a predetermined cycle;
Second background extraction is performed by performing background subtraction processing on each frame image based on the created background image and applying a preset human model to the extract obtained by the background subtraction processing. Steps and
A third step of acquiring an optimal color parameter for each image of each frame and performing a group determination of the extracted persons based on the acquired optimal color parameters;
A fourth step of identifying a person according to the group determination.
前記第２ステップは、前記設定ステップにより設定された少なくとも高低２つの閾値に従い段階的に背景差分することによって人物抽出を行うことを特徴とする請求項７に記載の移動物体追跡方法。It comprises a setting step of setting at least two high and low thresholds optimal for the person extraction used when performing the background difference,
8. The moving object tracking method according to claim 7, wherein in the second step, a person is extracted by performing a background difference stepwise in accordance with at least two thresholds set in the setting step.
所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成するステップと、
前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するステップと、
少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うステップと、
ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するステップと
を具える移動物体追跡方法。A moving object tracking method that tracks at least a ball on a moving image,
Automatically generating one background image from a plurality of frame images input in a predetermined cycle;
A background difference process is performed on each frame image based on the created background image, and a ball is extracted by applying a preset ball model to an extract other than the person region obtained by the background difference process. Steps to
Tracking the ball by determining a predicted position of the ball in the current frame based on position information of the ball in at least the past two frames;
Searching for a ball candidate that moves continuously over a plurality of frames on the trajectory of the ball from all images.
過去の複数フレームにおける前記追跡物体の位置情報を記憶しておき、記憶した該過去の複数フレームの該追跡物体の位置情報に基づき今回のフレームにおける該追跡物体の予測位置を求める手段と、
今回のフレームにおける画像データから前記追跡物体に特有の前記所定の特徴を持つ候補物体を抽出する手段と、
前記予測位置により近い前記抽出された候補物体を前記追跡物体として割り当てる手段と
を具備する移動物体追跡装置。An apparatus for tracking the movement of an object having predetermined characteristics in an image based on moving image data as a tracking object,
Means for storing position information of the tracked object in a plurality of past frames, and calculating a predicted position of the tracked object in a current frame based on the stored position information of the tracked object in the plurality of past frames;
Means for extracting a candidate object having the predetermined feature specific to the tracking object from the image data in the current frame;
Assigning the extracted candidate object closer to the predicted position as the tracked object.
前記動画像データに基づく画像中において前記所定の特徴を持つ物体と推定される所定の動きをする等価物を探索する探索手段と、
前記追跡手段で追跡された前記物体と前記探索手段で探索した該物体の等価物の少なくとも一方を前記物体の追跡情報として選択する選択手段と
を具備する移動物体追跡装置。Tracking means for sequentially tracking the movement of an object having predetermined characteristics in the image based on the moving image data,
Search means for searching for an equivalent that performs a predetermined motion estimated as an object having the predetermined feature in an image based on the moving image data,
A moving object tracking apparatus comprising: a selection unit that selects at least one of the object tracked by the tracking unit and an equivalent of the object searched by the search unit as tracking information of the object.
所定のサイクルで入力される複数フレーム画像から背景画像を自動的に作成する背景作成手段と、
前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた抽出物に対して予め設定済みの人物モデルを適用することで人物の抽出を行う人物抽出手段と、
各フレームの画像毎に最適色パラメータを取得し、該取得した最適色パラメータに基づき前記抽出した人物のグループ判定を行うグループ判定手段と、
前記グループ判定に従って人物同定を行う人物同定手段と
を具える移動物体追跡装置。A moving object tracking device that performs person tracking on a moving image obtained by capturing a person classified into at least two or more groups,
Background creating means for automatically creating a background image from a plurality of frame images input in a predetermined cycle,
Person extraction that performs background subtraction processing on each frame image based on the created background image, and extracts a person by applying a preset human model to the extract obtained by the background subtraction processing Means,
A group determination unit that obtains an optimal color parameter for each image of each frame and performs a group determination of the extracted person based on the obtained optimal color parameter;
A moving object tracking device comprising: a person identification unit that identifies a person according to the group determination.
所定のサイクルで入力される複数フレーム画像から１枚の背景画像を自動的に作成する背景作成手段と、
前記作成した背景画像をもとに各フレーム画像において背景差分処理を行い、該背景差分処理により得られた人物領域以外の抽出物に対して予め設定済みのボールモデルを適用することでボールを抽出するボール抽出手段と、
少なくとも過去２フレームにおけるボールの位置情報に基づいて現在のフレームにおけるボールを予測位置を求めることによってボールの追跡を行うボール追跡手段と、
ボールの軌道上を複数フレームにわたって連続的に動くボール候補を全画像中から探索するボール探索手段と
を具える移動物体追跡装置。A moving object tracking device that tracks at least a ball on a moving image,
Background creating means for automatically creating one background image from a plurality of frame images input in a predetermined cycle;
A background difference process is performed on each frame image based on the created background image, and a ball is extracted by applying a preset ball model to an extract other than the person region obtained by the background difference process. Ball extraction means to
Ball tracking means for tracking the ball by determining the predicted position of the ball in the current frame based on the position information of the ball in at least the past two frames;
A moving object tracking device comprising: a ball searching means for searching a ball candidate continuously moving in a plurality of frames on a ball trajectory from all images.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204710A JP2004046647A (en) | 2002-07-12 | 2002-07-12 | Method and device for tracking moving object based on dynamic image data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002204710A JP2004046647A (en) | 2002-07-12 | 2002-07-12 | Method and device for tracking moving object based on dynamic image data |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004046647A true JP2004046647A (en) | 2004-02-12 |
Family
ID=31710236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002204710A Pending JP2004046647A (en) | 2002-07-12 | 2002-07-12 | Method and device for tracking moving object based on dynamic image data |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004046647A (en) |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004351097A (en) * | 2003-05-30 | 2004-12-16 | Hiroshima Univ | Scouting system, method therefor and program |
| JP2006072763A (en) * | 2004-09-02 | 2006-03-16 | Hiroshima Univ | Image processing apparatus, image processing integrated circuit, image processing method, image processing program and computer-readable recording medium |
| JP2006190121A (en) * | 2005-01-07 | 2006-07-20 | Nikon Corp | Tracking device, tracking method, and biological microscope with this tracking device |
| JP2006251885A (en) * | 2005-03-08 | 2006-09-21 | Kddi Corp | Device for classifying and device for log generating sports video |
| JP2006285878A (en) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | Video analyzing device and video analyzing program |
| WO2007037350A1 (en) * | 2005-09-29 | 2007-04-05 | Plusmic Corporation | Horse position information analyzing and displaying method |
| JP2007252697A (en) * | 2006-03-24 | 2007-10-04 | Hiroshima Univ | Play data collection and analysis system and data collection and analysis program for volleyball game |
| JP2007272733A (en) * | 2006-03-31 | 2007-10-18 | Sony Corp | Image processing device and method, and program |
| JP2008060982A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2008165636A (en) * | 2006-12-28 | 2008-07-17 | Nippon Hoso Kyokai <Nhk> | Parameter information preparation device, parameter information preparation program, event detection device, and event detection program |
| JP2008538623A (en) * | 2005-04-20 | 2008-10-30 | フェデラシオン イタリアーナ ジョッコ カルチオ | Method and system for detecting and classifying events during motor activity |
| JP2009027563A (en) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | Image processor, image processing method, and program |
| KR100886323B1 (en) | 2007-10-10 | 2009-03-04 | 성균관대학교산학협력단 | Methord and apparatus for real-time object tracking using color histograms |
| JP2009539175A (en) * | 2006-05-31 | 2009-11-12 | トムソン ライセンシング | Multiple tracking of video objects |
| JP2010522926A (en) * | 2007-03-26 | 2010-07-08 | トムソン ライセンシング | Method and apparatus for detecting interest in soccer video by color segmentation and shape analysis |
| JP2010225105A (en) * | 2009-03-25 | 2010-10-07 | Toshiba Corp | Object detection device, object detection method and program |
| JP2010239992A (en) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | Person identification device, person identification method, and person identification program |
| JP2010257441A (en) * | 2009-04-21 | 2010-11-11 | Nec Soft Ltd | Apparatus and method for tracking person, and person tracking processing program |
| JP2011220904A (en) * | 2010-04-13 | 2011-11-04 | Advanced Telecommunication Research Institute International | Position detection system |
| WO2013173143A1 (en) * | 2012-05-16 | 2013-11-21 | Ubiquity Broadcasting Corporation | Intelligent video system using electronic filter |
| JP2015008412A (en) * | 2013-06-25 | 2015-01-15 | グローリー株式会社 | Moving body image extraction method and moving body image extraction device |
| WO2016021143A1 (en) * | 2014-08-04 | 2016-02-11 | パナソニック株式会社 | Moving body tracking method and moving body tracking device |
| WO2016021121A1 (en) * | 2014-08-05 | 2016-02-11 | パナソニック株式会社 | Correcting and verifying method, and correcting and verifying device |
| EP3093822A1 (en) | 2015-05-13 | 2016-11-16 | Ricoh Company, Ltd. | Displaying a target object imaged in a moving picture |
| JP2017513385A (en) * | 2014-04-03 | 2017-05-25 | ピクセルロット エルティーディー．Ｐｉｘｅｌｌｏｔ Ｌｔｄ． | Method and system for automatically producing television programs |
| JP2018084926A (en) * | 2016-11-22 | 2018-05-31 | 富士通株式会社 | Image processing system, image processing apparatus and image processing method |
| JP2018088233A (en) * | 2016-11-24 | 2018-06-07 | 株式会社リコー | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program |
| JP2018180788A (en) * | 2017-04-07 | 2018-11-15 | コニカミノルタ株式会社 | Moving body tracking method, moving body tracking program, and moving body tracking system |
| WO2019070011A1 (en) * | 2017-10-05 | 2019-04-11 | パナソニックＩｐマネジメント株式会社 | Mobile entity tracking device and method for tracking mobile entity |
| CN109767453A (en) * | 2017-11-10 | 2019-05-17 | 富士通株式会社 | Information processing unit, background image update method and non-transient computer readable storage medium |
| JP2019091187A (en) * | 2017-11-13 | 2019-06-13 | 富士通株式会社 | Image processing program, image processing method and information processing device |
| JP2019204518A (en) * | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Person tracking method, device, instrument and storage medium |
| US10740907B2 (en) | 2015-11-13 | 2020-08-11 | Panasonic Intellectual Property Management Co., Ltd. | Moving body tracking method, moving body tracking device, and program |
| US10888764B2 (en) | 2016-05-18 | 2021-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Method for identifying state of athlete and device for identifying state of athlete |
| CN112985263A (en) * | 2021-02-09 | 2021-06-18 | 中国科学院上海微系统与信息技术研究所 | Method, device and equipment for detecting geometrical parameters of bow net |
| CN113228626A (en) * | 2018-12-29 | 2021-08-06 | 浙江大华技术股份有限公司 | Video monitoring system and method |
| US11087486B2 (en) | 2016-05-18 | 2021-08-10 | Panasonic Intellectual Property Management Co., Ltd. | Lane specification method and lane specification device |
| JP2022036143A (en) * | 2014-09-26 | 2022-03-04 | 日本電気株式会社 | Object tracking system, object tracking device, and object tracking method |
| CN114333294A (en) * | 2021-11-30 | 2022-04-12 | 上海电科智能系统股份有限公司 | Multi-element multi-object perception identification tracking method based on non-full coverage |
| WO2023062754A1 (en) * | 2021-10-13 | 2023-04-20 | 日本電気株式会社 | Object tracking processing device, object tracking processing method, and non-transitory computer-readable medium |
| US11676388B2 (en) | 2014-09-26 | 2023-06-13 | Nec Corporation | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium |
| CN116668806A (en) * | 2023-07-25 | 2023-08-29 | 高新兴智联科技股份有限公司 | Method and device for adding target tracking mark at playing end |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0683963A (en) * | 1992-09-04 | 1994-03-25 | Nikon Corp | Target tracking device |
| JPH06347216A (en) * | 1993-06-08 | 1994-12-20 | Oyo Keisoku Kenkyusho:Kk | Measuring instrument of traveling object |
| JPH07192136A (en) * | 1993-11-22 | 1995-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Object tracking method and device |
| JPH07220084A (en) * | 1994-02-04 | 1995-08-18 | Canon Inc | Arithmetic system, semiconductor device, and image information processor |
| JPH1125276A (en) * | 1997-06-30 | 1999-01-29 | Mitsubishi Heavy Ind Ltd | Traveling object detector |
| JPH1132325A (en) * | 1997-05-14 | 1999-02-02 | Hitachi Denshi Ltd | Object tracing method, and object tracking and supervising system |
| JP2001273500A (en) * | 2000-03-23 | 2001-10-05 | Hitachi Ltd | Moving object measuring instrument, ball game analytic system and data service system |
| JP2002063577A (en) * | 2000-08-15 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | System and method for analyzing image, and image analysis program recording medium |
-
2002
- 2002-07-12 JP JP2002204710A patent/JP2004046647A/en active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0683963A (en) * | 1992-09-04 | 1994-03-25 | Nikon Corp | Target tracking device |
| JPH06347216A (en) * | 1993-06-08 | 1994-12-20 | Oyo Keisoku Kenkyusho:Kk | Measuring instrument of traveling object |
| JPH07192136A (en) * | 1993-11-22 | 1995-07-28 | Nippon Telegr & Teleph Corp <Ntt> | Object tracking method and device |
| JPH07220084A (en) * | 1994-02-04 | 1995-08-18 | Canon Inc | Arithmetic system, semiconductor device, and image information processor |
| JPH1132325A (en) * | 1997-05-14 | 1999-02-02 | Hitachi Denshi Ltd | Object tracing method, and object tracking and supervising system |
| JPH1125276A (en) * | 1997-06-30 | 1999-01-29 | Mitsubishi Heavy Ind Ltd | Traveling object detector |
| JP2001273500A (en) * | 2000-03-23 | 2001-10-05 | Hitachi Ltd | Moving object measuring instrument, ball game analytic system and data service system |
| JP2002063577A (en) * | 2000-08-15 | 2002-02-28 | Nippon Telegr & Teleph Corp <Ntt> | System and method for analyzing image, and image analysis program recording medium |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004351097A (en) * | 2003-05-30 | 2004-12-16 | Hiroshima Univ | Scouting system, method therefor and program |
| JP2006072763A (en) * | 2004-09-02 | 2006-03-16 | Hiroshima Univ | Image processing apparatus, image processing integrated circuit, image processing method, image processing program and computer-readable recording medium |
| JP4500999B2 (en) * | 2004-09-02 | 2010-07-14 | 国立大学法人広島大学 | Image processing apparatus, image processing method, image processing program, and computer-readable recording medium |
| JP2006190121A (en) * | 2005-01-07 | 2006-07-20 | Nikon Corp | Tracking device, tracking method, and biological microscope with this tracking device |
| JP4605502B2 (en) * | 2005-01-07 | 2011-01-05 | 株式会社ニコン | Tracking device, tracking method, and biological microscope equipped with the tracking device |
| JP2006251885A (en) * | 2005-03-08 | 2006-09-21 | Kddi Corp | Device for classifying and device for log generating sports video |
| JP4577774B2 (en) * | 2005-03-08 | 2010-11-10 | Ｋｄｄｉ株式会社 | Sports video classification device and log generation device |
| JP2006285878A (en) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | Video analyzing device and video analyzing program |
| JP4644022B2 (en) * | 2005-04-04 | 2011-03-02 | 日本放送協会 | Video analysis apparatus and video analysis program |
| JP2008538623A (en) * | 2005-04-20 | 2008-10-30 | フェデラシオン イタリアーナ ジョッコ カルチオ | Method and system for detecting and classifying events during motor activity |
| US8107679B2 (en) | 2005-09-29 | 2012-01-31 | Yamaguchi Cinema Co., Ltd. | Horse position information analyzing and displaying method |
| JP4658266B2 (en) * | 2005-09-29 | 2011-03-23 | 株式会社山口シネマ | Horse position information analysis and display method |
| JPWO2007037350A1 (en) * | 2005-09-29 | 2009-04-09 | 株式会社プラスミック | Horse position information analysis and display method |
| WO2007037350A1 (en) * | 2005-09-29 | 2007-04-05 | Plusmic Corporation | Horse position information analyzing and displaying method |
| JP2007252697A (en) * | 2006-03-24 | 2007-10-04 | Hiroshima Univ | Play data collection and analysis system and data collection and analysis program for volleyball game |
| JP2007272733A (en) * | 2006-03-31 | 2007-10-18 | Sony Corp | Image processing device and method, and program |
| US8929587B2 (en) | 2006-05-31 | 2015-01-06 | Thomson Licensing | Multi-tracking of video objects |
| JP2009539175A (en) * | 2006-05-31 | 2009-11-12 | トムソン ライセンシング | Multiple tracking of video objects |
| JP2008060982A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP4743048B2 (en) * | 2006-08-31 | 2011-08-10 | カシオ計算機株式会社 | Imaging apparatus and program |
| JP2008060974A (en) * | 2006-08-31 | 2008-03-13 | Casio Comput Co Ltd | Imaging apparatus and program |
| JP2008165636A (en) * | 2006-12-28 | 2008-07-17 | Nippon Hoso Kyokai <Nhk> | Parameter information preparation device, parameter information preparation program, event detection device, and event detection program |
| JP4764332B2 (en) * | 2006-12-28 | 2011-08-31 | 日本放送協会 | Parameter information creation device, parameter information creation program, event detection device, and event detection program |
| JP2010522926A (en) * | 2007-03-26 | 2010-07-08 | トムソン ライセンシング | Method and apparatus for detecting interest in soccer video by color segmentation and shape analysis |
| JP2009027563A (en) * | 2007-07-20 | 2009-02-05 | Fujifilm Corp | Image processor, image processing method, and program |
| KR100886323B1 (en) | 2007-10-10 | 2009-03-04 | 성균관대학교산학협력단 | Methord and apparatus for real-time object tracking using color histograms |
| JP2010225105A (en) * | 2009-03-25 | 2010-10-07 | Toshiba Corp | Object detection device, object detection method and program |
| JP2010239992A (en) * | 2009-03-31 | 2010-10-28 | Sogo Keibi Hosho Co Ltd | Person identification device, person identification method, and person identification program |
| JP2010257441A (en) * | 2009-04-21 | 2010-11-11 | Nec Soft Ltd | Apparatus and method for tracking person, and person tracking processing program |
| US8325981B2 (en) | 2009-04-21 | 2012-12-04 | Nec Soft, Ltd. | Human tracking apparatus, human tracking method, and human tracking processing program |
| JP2011220904A (en) * | 2010-04-13 | 2011-11-04 | Advanced Telecommunication Research Institute International | Position detection system |
| WO2013173143A1 (en) * | 2012-05-16 | 2013-11-21 | Ubiquity Broadcasting Corporation | Intelligent video system using electronic filter |
| JP2015008412A (en) * | 2013-06-25 | 2015-01-15 | グローリー株式会社 | Moving body image extraction method and moving body image extraction device |
| JP2017513385A (en) * | 2014-04-03 | 2017-05-25 | ピクセルロット エルティーディー．Ｐｉｘｅｌｌｏｔ Ｌｔｄ． | Method and system for automatically producing television programs |
| US10262692B2 (en) | 2014-04-03 | 2019-04-16 | Pixellot Ltd. | Method and system for automatic television production |
| JPWO2016021143A1 (en) * | 2014-08-04 | 2017-05-18 | パナソニック株式会社 | Moving object tracking method and moving object tracking apparatus |
| US20170124388A1 (en) * | 2014-08-04 | 2017-05-04 | Panasonic Corporation | Moving body tracking method and moving body tracking device |
| US10002289B2 (en) | 2014-08-04 | 2018-06-19 | Panasonic Corporation | Moving body tracking method and moving body tracking device |
| WO2016021143A1 (en) * | 2014-08-04 | 2016-02-11 | パナソニック株式会社 | Moving body tracking method and moving body tracking device |
| JPWO2016021121A1 (en) * | 2014-08-05 | 2017-05-25 | パナソニック株式会社 | Correction confirmation method and correction confirmation apparatus |
| WO2016021121A1 (en) * | 2014-08-05 | 2016-02-11 | パナソニック株式会社 | Correcting and verifying method, and correcting and verifying device |
| US10334159B2 (en) | 2014-08-05 | 2019-06-25 | Panasonic Corporation | Correcting and verifying method, and correcting and verifying device |
| US11676388B2 (en) | 2014-09-26 | 2023-06-13 | Nec Corporation | Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium |
| JP7272417B2 (en) | 2014-09-26 | 2023-05-12 | 日本電気株式会社 | Object tracking system, object tracking device, and object tracking method |
| JP2022036143A (en) * | 2014-09-26 | 2022-03-04 | 日本電気株式会社 | Object tracking system, object tracking device, and object tracking method |
| EP3093822A1 (en) | 2015-05-13 | 2016-11-16 | Ricoh Company, Ltd. | Displaying a target object imaged in a moving picture |
| US10740907B2 (en) | 2015-11-13 | 2020-08-11 | Panasonic Intellectual Property Management Co., Ltd. | Moving body tracking method, moving body tracking device, and program |
| US11087486B2 (en) | 2016-05-18 | 2021-08-10 | Panasonic Intellectual Property Management Co., Ltd. | Lane specification method and lane specification device |
| US10888764B2 (en) | 2016-05-18 | 2021-01-12 | Panasonic Intellectual Property Management Co., Ltd. | Method for identifying state of athlete and device for identifying state of athlete |
| JP2018084926A (en) * | 2016-11-22 | 2018-05-31 | 富士通株式会社 | Image processing system, image processing apparatus and image processing method |
| JP2018088233A (en) * | 2016-11-24 | 2018-06-07 | 株式会社リコー | Information processing device, imaging device, apparatus control system, movable body, information processing method, and program |
| JP2018180788A (en) * | 2017-04-07 | 2018-11-15 | コニカミノルタ株式会社 | Moving body tracking method, moving body tracking program, and moving body tracking system |
| JP7246005B2 (en) | 2017-10-05 | 2023-03-27 | パナソニックＩｐマネジメント株式会社 | Mobile tracking device and mobile tracking method |
| JPWO2019070011A1 (en) * | 2017-10-05 | 2020-11-05 | パナソニックＩｐマネジメント株式会社 | Mobile tracking device and mobile tracking method |
| WO2019070011A1 (en) * | 2017-10-05 | 2019-04-11 | パナソニックＩｐマネジメント株式会社 | Mobile entity tracking device and method for tracking mobile entity |
| CN109767453B (en) * | 2017-11-10 | 2023-04-07 | 富士通株式会社 | Information processing apparatus, background image update method, and non-transitory computer-readable storage medium |
| CN109767453A (en) * | 2017-11-10 | 2019-05-17 | 富士通株式会社 | Information processing unit, background image update method and non-transient computer readable storage medium |
| CN109767453B9 (en) * | 2017-11-10 | 2023-06-30 | 富士通株式会社 | Information processing apparatus, background image updating method, and non-transitory computer-readable storage medium |
| JP2019091187A (en) * | 2017-11-13 | 2019-06-13 | 富士通株式会社 | Image processing program, image processing method and information processing device |
| US10839532B2 (en) | 2017-11-13 | 2020-11-17 | Fujitsu Limited | Image processing method and information processing apparatus |
| JP2019204518A (en) * | 2018-07-02 | 2019-11-28 | バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド | Person tracking method, device, instrument and storage medium |
| CN113228626A (en) * | 2018-12-29 | 2021-08-06 | 浙江大华技术股份有限公司 | Video monitoring system and method |
| CN112985263A (en) * | 2021-02-09 | 2021-06-18 | 中国科学院上海微系统与信息技术研究所 | Method, device and equipment for detecting geometrical parameters of bow net |
| WO2023062754A1 (en) * | 2021-10-13 | 2023-04-20 | 日本電気株式会社 | Object tracking processing device, object tracking processing method, and non-transitory computer-readable medium |
| CN114333294A (en) * | 2021-11-30 | 2022-04-12 | 上海电科智能系统股份有限公司 | Multi-element multi-object perception identification tracking method based on non-full coverage |
| CN116668806A (en) * | 2023-07-25 | 2023-08-29 | 高新兴智联科技股份有限公司 | Method and device for adding target tracking mark at playing end |
| CN116668806B (en) * | 2023-07-25 | 2023-10-27 | 高新兴智联科技股份有限公司 | Method and device for adding target tracking mark at playing end |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004046647A (en) | Method and device for tracking moving object based on dynamic image data | |
| US11755952B2 (en) | System and method for predictive sports analytics using body-pose information | |
| US11544928B2 (en) | Athlete style recognition system and method | |
| US8805007B2 (en) | Integrated background and foreground tracking | |
| CN101639354B (en) | Method and apparatus for object tracking | |
| CN110264493B (en) | Method and device for tracking multiple target objects in motion state | |
| Santiago et al. | Survey on team tracking techniques applied to sports | |
| WO2020017190A1 (en) | Image analysis device, person search system, and person search method | |
| JP4956273B2 (en) | Throwing ball type discriminating device, discriminator generating device, throwing ball type discriminating program and discriminator generating program | |
| Li et al. | Automatic detection and analysis of player action in moving background sports video sequences | |
| Morimitsu et al. | Exploring structure for long-term tracking of multiple objects in sports videos | |
| JP4886707B2 (en) | Object trajectory identification device, object trajectory identification method, and object trajectory identification program | |
| Conaire et al. | Tennissense: A platform for extracting semantic information from multi-camera tennis data | |
| JP2008250746A (en) | Mobile object tracking device | |
| Ivasic-Kos et al. | Building a labeled dataset for recognition of handball actions using mask R-CNN and STIPS | |
| KR102434397B1 (en) | Real time multi-object tracking device and method by using global motion | |
| CN111741325A (en) | Video playing method and device, electronic equipment and computer readable storage medium | |
| JP2019101892A (en) | Object tracking device and program thereof | |
| JP2020107071A (en) | Object tracking device and program thereof | |
| CN110969133B (en) | Intelligent data acquisition method for table tennis game video | |
| KR20020078449A (en) | An Appratus and Method for Automatic Soccer Video Analysis | |
| KR102299459B1 (en) | Apparatus and method for analysis of baseball game and method for generating summarization video | |
| CN114463664A (en) | Novel ice hockey tracking method for ice hockey sports | |
| Monier et al. | A computer vision based tracking system for indoor team sports | |
| US9959632B2 (en) | Object extraction from video images system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070522 |