JP2018078431A - オブジェクト追跡装置及びそのプログラム - Google Patents

Abstract

【課題】本願明は、オブジェクトにセンサを付けることなく、高速で移動するオブジェクトを確実に追跡し、正確な軌跡を描画できるオブジェクト追跡装置を提供する。【解決手段】オブジェクト追跡装置３０は、赤外画像Ｉｔから検出ブロブを検出する赤外光検出部３１１と、検出した検出ブロブに基づいて軌跡を生成する軌跡生成部３１３と、検出ブロブの予測位置及び探索範囲を算出する位置予測部３１５と、軌跡Ｔ毎に履歴データを生成する履歴データ生成部３１９と、履歴データの経過時間及び遅延時間を比較判定する遅延時間判定部３３３と、検出成功回数が閾値以上であるか否かを判定する検出成功回数判定部３３５と、可視画像Ｖｔを遅延時間ｍだけ遅延させる可視画像遅延部３５１と、可視画像Ｖｔ-ｍに軌跡Ｔを描画する軌跡描画部３５３と、を備える。【選択図】図３

Description

本発明は、赤外画像及び可視画像を用いて、オブジェクトを追跡するオブジェクト追跡装置及びそのプログラムに関する。

近年、映像解析技術の進展に伴い、カメラを用いた様々なアプリケーションが提案されている。この技術の発展は、特にスポーツシーンの映像解析において顕著である。例えば、ウィンブルドンでも使用されているテニスのホークアイシステムは、複数の固定カメラの映像を用いてテニスボールを３次元的に追跡し、ＩＮ／ＯＵＴの判定を行っている。また２０１４年のＦＩＦＡワールドカップでは、ゴールラインテクノロジーと称して、数台の固定カメラの映像を解析し、ゴールの判定を自動化している。さらにサッカースタジアムに多数のステレオカメラを設置し、フィールド内の全選手をリアルタイムに追跡するＴＲＡＣＡＢシステムも知られている。

これら映像解析技術は、時間解像度が３０フレーム／秒(ｆｐｓ)のカメラで撮影した映像を利用する前提であることが多い。例えば、フェンシングの剣先、バドミントンのシャトルなど、目視が困難なほどの高速で移動するオブジェクトを撮影すると、映像上では、そのオブジェクトに極度のモーションブラーが発生する（図１９の符号α）。このため、映像のみからオブジェクト位置を正確に計測することが極めて困難である。この場合、３０ｆｐｓを超えるハイスピートカメラを利用したり、シャッター速度を高速化することで、モーションブラーを軽減できる。その一方、ハイスピードカメラは高価であり、シャッター速度を高速化すると映像の輝度が低下するという問題がある。

そこで、オブジェクトにセンサを装着し、その動きを解析する技術も提案されている。例えば、特許文献１、２に記載の発明は、選手のウェアやリストバンドに装着した加速度センサから、そのプレー内容を機械学習で識別するものである。この従来技術によれば、テニスでのサーブやボレー等のプレー内容を自動判定することができる。

特開２０１４−１８７４８１公報 特開２０１６−９７２２８号公報

しかし、特許文献１、２に記載の発明では、オブジェクトに付けたセンサが競技の妨げとなることが多く、実際の試合でセンサを用いることは現実的でない。さらに、特許文献１、２に記載の発明では、高速で移動するオブジェクトを捉えられず、ノイズオブジェクトを誤検出し、誤った軌跡を描画する可能性がある。

そこで、本発明は、オブジェクトにセンサを付けることなく、高速で移動するオブジェクトを確実（頑健）に追跡し、正確な軌跡を描画できるオブジェクト追跡装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明に係るオブジェクト追跡装置は、赤外光マーカを付けて移動する１以上のオブジェクトを赤外光で撮影した赤外画像と、オブジェクトを可視光で撮影した可視画像とを用いて、オブジェクトを追跡するオブジェクト追跡装置であって、赤外光検出部と、軌跡生成部と、位置予測部と、履歴データ生成部と、遅延時間判定部と、検出成功回数判定部と、可視画像遅延部と、軌跡描画部と、を備える構成とした。

かかる構成によれば、オブジェクト追跡装置は、赤外光検出部によって、赤外画像から赤外光マーカの領域を赤外光候補領域として抽出し、予め設定した面積及び形状特徴量の範囲内の赤外光候補領域を、予め設定したオブジェクトの数だけ赤外光候補領域の面積が広い順に赤外光領域として検出する。

オブジェクト追跡装置は、軌跡生成部によって、赤外画像にオブジェクトを追跡した軌跡が存在しない場合、検出した赤外光領域を新たな軌跡として生成し、赤外画像に軌跡が存在する場合、赤外光マーカの予測位置を中心とした探索範囲内で予測位置に最も近い赤外光領域を、存在する軌跡に接続する。

オブジェクト追跡装置は、位置予測部によって、位置予測アルゴリズムにより、検出した赤外光領域の位置から、次の赤外画像における赤外光マーカの予測位置及び探索範囲を算出する。
オブジェクト追跡装置は、履歴データ生成部によって、軌跡毎に、軌跡生成からの経過時間、赤外光領域の検出成否、及び、赤外光領域の検出位置を表した履歴データを生成する。

オブジェクト追跡装置は、遅延時間判定部によって、軌跡毎に、履歴データの経過時間が予め設定した遅延時間を超えるか、及び、経過時間が遅延時間に等しいかを判定する。
オブジェクト追跡装置は、検出成功回数判定部によって、経過時間が遅延時間に等しい場合、履歴データの検出成否に基づいて軌跡生成からの検出成功回数を算出し、算出した検出成功回数が予め設定した閾値以上であるか否かを判定する。

オブジェクト追跡装置は、可視画像遅延部によって、赤外画像と同一光軸及び同一画素数の可視画像を遅延時間だけ遅延させる。
オブジェクト追跡装置は、軌跡描画部によって、遅延させた可視画像に対して、経過時間が遅延時間を超える軌跡と、検出成功回数が閾値以上の軌跡とを履歴データの検出位置に描画する。

このように、オブジェクト追跡装置は、赤外光候補領域の面積及び形状特徴量により赤外光領域を検出するので、高速で移動するオブジェクトにセンサを付けることなく、オブジェクトを確実に追跡することができる。さらに、オブジェクト追跡装置は、軌跡描画まで意図的に遅延時間を設けると共に、生成した履歴データにより軌跡描画を制御するので、誤って軌跡を描画する可能性を低減させ、正確な軌跡を描画することができる。

本発明によれば、以下のような優れた効果を奏する。
本発明に係るオブジェクト追跡装置は、オブジェクトにセンサを付けることなく、高速で移動するオブジェクトを確実に追跡し、正確な軌跡を描画することができる。これにより、本発明に係るオブジェクト追跡装置は、様々なシーンにおけるオブジェクトの軌跡描画が可能になると共に、軌跡描画の品質を向上させることができる。

本発明の第１実施形態に係るオブジェクト追跡システムの概略構成図である。 剣先の拡大図である。 図１のオブジェクト追跡装置の構成を示すブロック図である。 （ａ）及び（ｂ）は軌跡の接続を説明する説明図である。 可視光領域の切り出しを説明する説明図であり、（ａ）〜（ｃ）は左側の選手の剣先部分を表す。 可視光領域の切り出しを説明する説明図であり、（ａ）〜（ｃ）は右側の選手の剣先部分を表す。 （ａ）及び（ｂ）は履歴データを説明する説明図である。 （ａ）〜（ｃ）は履歴データ解析手段の処理例を説明する説明図である。 軌跡合成画像の一例を説明する説明図である。 図３のオブジェクト追跡装置の動作を示すフローチャートである。 図３のオブジェクト追跡装置の動作を示すフローチャートである。 本発明の第２実施形態に係るオブジェクト追跡システムの概略構成図である。 図１２のオブジェクト追跡装置の構成を示すブロック図である。 審判器用カメラでの撮影を説明する説明図である。 軌跡描画処理を説明する説明図であり、（ａ）は電気審判器を表し、（ｂ）は軌跡合成画像の一例を表す。 図１３のオブジェクト追跡装置の動作を示すフローチャートである。 図１３のオブジェクト追跡装置の動作を示すフローチャートである。 本発明の変形例に係るオブジェクト追跡システムの概略構成図である。 フェンシングの映像におけるモーションブラーを説明する説明図である。

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の手段及び同一の処理には同一の符号を付し、説明を省略した。

（第１実施形態）
［オブジェクト追跡システムの概略］
図１を参照し、本発明の第１実施形態に係るオブジェクト追跡システム１の概略について説明する。
以後の各実施形態では、フェンシングにおいて、選手（第２オブジェクト）が持つ剣先（オブジェクト）を追跡対象として説明する。フェンシングの最中、両選手の剣先は、高速で移動することが多い。

オブジェクト追跡システム１は、可視光及び赤外光を同光軸で撮影可能な可視・赤外同軸光カメラ２０を利用し、可視光画像Ｖ及び赤外画像Ｉを組み合わせて、高速で移動する２本の剣先位置を追跡し、その軌跡Ｔ（Ｔ_１，Ｔ_２）を描画するものである。図１に示すように、オブジェクト追跡システム１は、赤外光投光器１０と、可視・赤外同軸光カメラ２０と、オブジェクト追跡装置３０と、を備える。

赤外光投光器１０は、赤外光を投光する一般的な投光器である。
図２に示すように、この赤外光投光器１０が投光した赤外光は、両選手の剣先９０に付けた反射テープ（赤外光マーカ）９１で反射され、後記する可視・赤外同軸光カメラ２０で撮影される。

反射テープ９１は、赤外光投光器１０からの赤外線を反射するものである。この反射テープ９１は、剣先９０に１枚以上付ければよく、その大きさや枚数に特に制限はない。図２の例では、剣先９０は、その側面に矩形状の反射テープ９１を１枚付けている。ここで、剣先９０は、側面反対側に反射テープ９１を１枚追加してもよく、その側面を一周するように帯状の反射テープ９１を巻いてもよい（不図示）。

可視・赤外同軸光カメラ２０は、可視光と赤外光を同一光軸で撮影し、同一画素数の可視画像Ｖ及び赤外画像Ｉを生成するものである。本実施形態では、可視・赤外同軸光カメラ２０は、フェンシングの競技を撮影した可視画像Ｖと、剣先９０の反射テープ９１を撮影した赤外画像Ｉと、を生成する。ここで、可視画像Ｖの剣先９０と、赤外画像Ｉの反射テープ９１との画像座標が対応するため、３次元空間での視点変換を行うことなく軌跡Ｔを描画できる。

オブジェクト追跡装置３０は、可視・赤外同軸光カメラ２０から入力された赤外画像Ｉと可視画像Ｖとを用いて、両選手の剣先９０を追跡するものである。そして、オブジェクト追跡装置３０は、追跡した両選手の剣先９０の軌跡Ｔ_１，Ｔ_２を異なる色で描画し、描画した軌跡Ｔ_１，Ｔ_２を可視画像Ｖに合成することで、軌跡合成画像Ｆを生成する。
なお、図１では、左側の選手が持つ剣先９０の軌跡Ｔ_１を破線で図示し、右側の選手が持つ剣先９０の軌跡Ｔ_２を一点鎖線で図示した。

［オブジェクト追跡装置の構成］
図３を参照し、オブジェクト追跡装置３０の構成について説明する。
図３に示すように、オブジェクト追跡装置３０は、赤外光検出・識別手段３１と、履歴データ解析手段３３と、軌跡描画手段３５と、を備える。

ここで、オブジェクト追跡装置３０は、時間方向に連続するフレーム１，…，ｔ−１，ｔ，…の赤外画像Ｉ及び可視画像Ｖが入力され、入力された赤外画像Ｉ及び可視画像Ｖに順次処理を施すこととする。以後、現在のフレーム（現フレーム）をｔとし、現フレームｔの赤外画像Ｉ及び可視画像Ｖを赤外画像Ｉ_ｔ及び可視画像Ｖ_ｔとする。

赤外光検出・識別手段３１は、現フレームｔの赤外画像Ｉ_ｔから赤外光を検出し、剣先９０の位置や方向に関する履歴データを生成するものである。この赤外光検出・識別手段３１は、赤外光検出部３１１と、軌跡生成部３１３と、剣先方向識別部（オブジェクト方向識別部）３１５と、位置予測部３１７と、履歴データ生成部３１９と、を備える。

赤外光検出部３１１は、可視・赤外同軸光カメラ２０より入力された赤外画像Ｉ_ｔから反射テープ９１の領域を候補ブロブ（赤外光候補領域）として抽出するものである。そして、赤外光検出部３１１は、予め設定した面積及び形状特徴量の範囲内の候補ブロブを、予め設定したオブジェクト上限数だけ候補ブロブの面積が広い順に検出ブロブ（赤外光領域）として検出する。本実施形態では、オブジェクト上限数は、剣先９０と同数の‘２’に設定する。

まず、赤外光検出部３１１は、下記の式（１）を用いて、赤外画像Ｉ_ｔと、１つ前のフレーム（前フレーム）の赤外画像Ｉ_ｔ−１との２値赤外差分画像を生成することで、動オブジェクトの領域Ｓ_ｔのみを抽出する。つまり、赤外光検出部３１１は、赤外画像Ｉ_ｔの画素（ｘ，ｙ）の輝度値Ｉ^ｘｙ _ｔと、赤外画像Ｉ_ｔ−１の画素（ｘ，ｙ）の輝度値Ｉ^ｘｙ _ｔ−１との差分が、予め設定した閾値Ｒ＿ｂｒｉを超える動オブジェクトの領域Ｓ^ｘｙ _ｔを、候補ブロブとして抽出する。

ここで、ｘ，ｙは、水平及び垂直の画像座標を表す。また、閾値Ｒ＿ｂｒｉは、任意の値で予め設定する。また、式（１）の‘０’、‘２５５’は、各画素の輝度値を表す。
なお、赤外光検出部３１１は、静止しているノイズブロブの発生を抑えるために２値赤外差分画像Ｓ^ｘｙ _ｔを生成したが、赤外画像Ｉ_ｔで輝度が高い領域を候補ブロブとして抽出してもよい。

次に、赤外光検出部３１１は、抽出した候補ブロブにモルフォロジ処理（オープニングモルフォロジ処理）を施し、小領域のノイズブロブを消去する。このモルフォロジ処理とは、画像をいくつかの方向に画素単位でずらした画像群と、もとの画像との画像間演算によって、小領域のノイズブロブを消去する処理である。

次に、赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施す。このラベリング処理とは、候補ブロブにラベル（番号）を割り当てる処理である。

次に、赤外光検出部３１１は、ラベリング処理を施した候補ブロブの位置、面積及び形状特徴量を求める。ここで、候補ブロブの位置は、候補ブロブの中心位置又は重心位置である。また、候補ブロブの形状特徴量は、円形度や外接矩形のアスペクト比とする。

そして、赤外光検出部３１１は、予め設定した最小面積Ｒ_{ａｒｅａ＿ｍｉｎ}、最大面積Ｒ_{ａｒｅａ＿ｍａｘ}の範囲にない候補ブロブを消去する。さらに、赤外光検出部３１１は、形状特徴量が予め設定した範囲内にない候補ブロブを消去する。さらに、赤外光検出部３１１は、候補ブロブの数がオブジェクト上限数を超えている場合、面積が大きい２個の候補ブロブを検出ブロブとして残し、他の候補ブロブを消去する。

軌跡生成部３１３は、赤外光検出部３１１より入力された検出ブロブから新たな軌跡Ｔを生成、又は、検出ブロブを既存の軌跡Ｔと接続するものである。ここで、軌跡生成部３１３は、赤外画像Ｉ_ｔに２本の軌跡Ｔの何れか一方が存在しない場合、検出ブロブを新たな軌跡Ｔとして生成する。一方、軌跡生成部３１３は、赤外画像Ｉ_ｔに２本の軌跡Ｔが存在する場合、検出ブロブの予測位置を中心とした探索範囲内で予測位置に最も近い検出ブロブを、既に生成した軌跡Ｔに接続する。

＜軌跡の接続＞
図４を参照し、軌跡生成部３１３による軌跡Ｔの接続を説明する。
図４に示すように、各軌跡Ｔ（Ｔ_１，Ｔ_２）には、赤外画像Ｉ_ｔにおける予測位置ｐ_Ｔ（ｐ_Ｔ１，ｐ_Ｔ２）と、探索範囲Ａ_Ｔ（Ａ_Ｔ１，Ａ_Ｔ２）とが設定されている。ここで、前フレームｔ−１の処理を行った際、後記する位置予測部３１７が、現フレームｔの予測位置ｐ_Ｔ及び探索範囲Ａ_Ｔを算出し、軌跡生成部３１３に出力する。

軌跡生成部３１３は、探索範囲Ａ_Ｔの中に検出ブロブＢが複数ある場合、予測位置ｐ_Ｔに最も近い検出ブロブＢを軌跡Ｔに接続する。図４（ａ）の例では、検出ブロブＢ_１，Ｂ_２のどちらも軌跡Ｔ_１の探索範囲Ａ_Ｔ１の範囲内である。この場合、軌跡生成部３１３は、検出ブロブＢ_１と予測位置ｐ_Ｔ１との距離ｄ_１、及び、検出ブロブＢ_２と予測位置ｐ_Ｔ１との距離ｄ_２を算出する。そして、軌跡生成部３１３は、距離ｄ_１，ｄ_２を比較し、距離ｄ_１が距離ｄ_２より短いので、検出ブロブＢ_１を軌跡Ｔ_１に接続する。さらに、軌跡生成部３１３は、２本目の軌跡Ｔ_２が存在しないので、検出ブロブＢ_２の位置で新たな軌跡Ｔ_２を生成（登録）する。

一方、軌跡生成部３１３は、検出ブロブＢが探索範囲Ａ_Ｔの外にある場合、軌跡Ｔに検出ブロブＢ（Ｂ_１，Ｂ_２）を接続しない。図４（ｂ）の例では、２本目の軌跡Ｔ_２が存在するものの、検出ブロブＢ_２は、軌跡Ｔ_１に接続されず、軌跡Ｔ_２の探索範囲Ａ_Ｔ２の範囲外である。このため、軌跡生成部３１３は、検出ブロブＢ_２を軌跡Ｔ_２に接続せず、ノイズブロブとして消去する。
なお、軌跡生成部３１３は、予め設定した時間（フレーム数）、ある軌跡Ｔに検出ブロブＢが接続されなかった場合、その軌跡Ｔを消去する。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
剣先方向識別部３１５は、検出ブロブＢに基づいて可視画像Ｖ_ｔに可視光領域を設定し、設定した可視光領域の画像特徴量を算出し、算出した画像特徴量の機械学習により検索９０の方向を識別するものである。ここで、剣先方向識別部３１５は、検出ブロブＢが軌跡生成部３１３から入力され、現フレームｔの可視画像Ｖ_ｔが可視画像蓄積部３５１から入力される。

まず、剣先方向識別部３１５は、下記の式（２）を用いて、可視画像Ｖ_ｔと、前フレームの可視画像Ｖ_ｔ−１との２値可視差分画像Ｋ_ｔを生成する。つまり、剣先方向識別部３１５は、可視画像Ｖ_ｔの画素（ｘ，ｙ）の輝度値Ｖ^ｘｙ _ｔと、可視画像Ｖ_ｔ−１の画素（ｘ，ｙ）の輝度値Ｖ^ｘｙ _ｔ−１との差分を求め、２値可視差分画像Ｋ^ｘｙ _ｔを生成する。

次に、剣先方向識別部３１５は、２値可視差分画像Ｋ_ｔから、現フレームｔの検出ブロブＢを中心に、可視光領域を切り出す。このとき、剣先方向識別部３１５は、検出ブロブＢの大きさ（面積）に応じて、可視光領域の大きさを決定する。つまり、剣先方向識別部３１５は、検出ブロブＢが大きくなる程、可視光領域を大きくし、検出ブロブＢが小さくなる程、可視光領域を小さくする。
なお、剣先方向識別部３１５は、動領域に限定するため、２値可視差分画像Ｋ_ｔから可視光領域を切り出したが、可視画像Ｖ_ｔから可視光領域を切り出してもよい。

図５及び図６には、剣先方向識別部３１５が切り出した可視光領域の一例を図示した。図５（ａ）〜（ｃ）は、左側の選手が持つ剣先９０の可視光領域である。また、図６（ａ）〜（ｃ）は、右側の選手が持つ剣先９０の可視光領域である。

フェンシングは、細長いピスト上で両選手が対戦するため、左右の選手が入れ替わることがない。また、両選手が持つ剣は、対戦相手を向いていることが多い。つまり、剣先９０の反対方向に、その剣を持つ選手がいる。従って、可視光領域の画像特徴量から剣先９０の方向を識別できれば、剣先９０の軌跡Ｔに左右の選手を対応付けることができる。つまり、オブジェクト追跡装置３０は、赤外画像Ｉで剣先９０を検出し、可視画像Ｖで剣先９０の方向を識別し、剣先９０の軌跡Ｔに対応する選手を決定する。

次に、剣先方向識別部３１５は、剣先９０の方向を機械学習により識別する。ここで、剣先方向識別部３１５は、学習時、学習データの画像特徴量を学習した識別器を予め生成する。このとき、剣先方向識別部３１５は、剣先９０の方向を、左右の２方向で予め設定しておく。そして、剣先方向識別部３１５は、識別時、可視光領域の画像特徴量を算出し、算出した画像特徴量を識別器に入力して、剣先９０の方向を２値判定する。

ここで、剣先方向識別部３１５は、任意の機械学習を用いることができる。本実施形態では、剣先方向識別部３１５は、機械学習として、ＳＶＭ（Support Vector Machine）を用いる。

また、剣先方向識別部３１５は、画像特徴量として、以下で説明する走査線毎の左右輝度比、ＬＢＰ（Local Binary Pattern）、又は、画像モーメントの何れか１以上を算出する。つまり、剣先方向識別部３１５は、これら３種類の画像特徴量のうち、何れか１種類（例えば、走査線毎の左右輝度比）のみを算出してもよい。また、剣先方向識別部３１５は、これら３種類の画像特徴量のうち、２種類を組み合わせてもよい。さらに、剣先方向識別部３１５は、これら３種類の画像特徴量を全て組み合わせてもよい。

＜走査線毎の左右輝度比＞
走査線毎の左右輝度比は、下記の式（３）で表される。ここで、Ｆ^ｙは、可視光領域で垂直座標ｙに位置する走査線における左右輝度比である。また、ｓｕｍＫ^ｙ _Ｌ，ｓｕｍＫ^ｙ _Ｒはそれぞれ、走査線ｙにおける左半分の輝度総和、右半分の輝度総和である。

左側の選手であれば可視光領域の左側に（図５）、右側の選手であれば可視光領域の右側（図６）に高輝度領域が出現し易くなる。このため、走査線毎の左右輝度比を画像特徴量とすることで、剣先９０の方向を高い精度で判定できる。

＜ＬＢＰ＞
ＬＢＰは、テクスチャ解析で用いられるパターンベースの特徴量であり、識別精度が高く、計算コストが低い（参考文献１参照）。このＬＢＰは、ラスタスキャンのように注目画素を移動させながら、下記の式（４）を用いて算出する。
参考文献１：寺島他、“勾配情報を用いたLocal Binary Pattern の改良”、DEIM Forum 2014, F5-4

ここで、ｇ_ｃは注目画素の画素値であり、ｇ_ｐは近傍領域の各画素の画素値である。また、Ｒは注目画素を中心とした近傍領域の範囲であり、Ｐは近傍領域の画素数である。近傍領域の範囲Ｒが１画素のとき近傍領域は縦３画素×横３画素の大きさとなる。この場合、近傍領域の画素数Ｐは、８となる。

そして、注目画素の画素値ｇ_ｃと近傍領域の各画素の画素値ｇ_ｐとの大小比較でｓ（ｘ）を求め、パターンＬＢＰ_Ｐ，Ｒを算出する。このとき、パターンＬＢＰ_Ｐ，Ｒの種類は、２^Ｐとなる。ＬＰＢは、このパターンＬＢＰ_Ｐ，Ｒの頻度を記述したヒストグラムとなる。通常、ＬＢＰは、Ｒ＝１、Ｐ＝８の２５６次元で用いられることが多い。本実施形態では、Ｒ＝１、Ｐ＝４の１６次元と低次元にすることで、処理負荷を軽減し、実時間処理を実現している。
なお、Ｐ，Ｒの値は、前記した例に限定されないことは言うまでもない。

＜画像モーメント＞
座標（ｉ，ｊ）における画像ｆ（ｉ，ｊ）の（ｐ＋ｑ）次モーメントｍ_ｐｑは、下記の式（５）で定義される。２値画像の場合、０次モーメントｍ_００は、面積を表す。また、ｍ_１０／ｍ_００及びｍ_０１／ｍ_００は、重心座標Ｇ（ｉ_Ｇ，ｊ_Ｇ）を表す。

重心の周りのモーメントＭ_ｐｑは、特に重心モーメントと呼ばれ、下記の式（６）で定義される。

２次モーメントは、慣性モーメントと呼ばれる。画像ｆ（ｉ，ｊ）の２次モーメントは、式（６）でｐ＝２、ｑ＝０、及び、ｐ＝０、ｑ＝２となるので、下記の式（７）で定義される。

このように、画像モーメントとして、面積、重心座標、重心モーメント、及び、慣性モーメントを利用することができる。

位置予測部３１７は、位置予測アルゴリズムにより、剣先方向識別部３１５より入力された検出ブロブＢの位置から、１つ後のフレーム（次フレーム）ｔ＋１の赤外画像Ｉ_ｔ＋１における予測位置ｐ_Ｔ及び探索範囲Ａ_Ｔを算出するものである。

例えば、位置予測アルゴリズムとして、カルマンフィルタを用いる（参考文献２参照）。このカルマンフィルタは、離散的な誤差のある観測から、時々刻々と時間変化する量（例えば、物体の位置と速度）を推定できる。
参考文献２：西山, “カルマンフィルタ”、電子情報通信学会「知識ベース」-１群（信号・システム）-５編（信号理論）-６章,2011.3.4

本実施形態では、位置予測部３１７は、下記の式（８）を用いて、次フレームｔ＋１の剣先９０の位置ｘ＾を推定する。このとき、位置予測部３１７は、剣先方向識別部３１５から 入力された検出ブロブＢの位置を観測値ｚとし、推定値Ｈｘ￣との誤差の大きさに応じて、カルマンゲインＫによる補正量を調節する。

本実施形態では、運動モデルを等速直線運動とした。予測位置ｘ￣を次フレームｔ＋１の探索位置Ａ_Ｔの中心に設定することで、剣先９０を確実に追跡することができる。さらに、誤差共分散行列Ｐの対角成分は、検出失敗時に大きな値となる。このため、位置予測部３１７は、誤差共分散行列Ｐの値と探索範囲Ａ_Ｔのサイズを連動させて、追跡状況に応じて、探索範囲Ａ_Ｔのサイズを適切に決定できる。
なお、位置予測部３１７は、位置予測アルゴリズムとして、計算コストが高くなるが、精度の高いパーティクルフィルタを用いることもできる。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
履歴データ生成部３１９は、軌跡Ｔ毎に履歴データを生成するものである。本実施形態では、履歴データ生成部３１９は、図７に示すように、軌跡Ｔ_１，Ｔ_２の履歴データをそれぞれ生成する。

この履歴データは、赤外光検出・識別手段３１の処理結果を表す。図７に示すように、履歴データは、左側から順に、処理開始からの累計フレーム数と、軌跡生成からの経過時間と、検出ブロブＢの検出位置と、検出ブロブＢの検出成否と、剣先９０の方向とが並んでいる。

処理開始からのフレーム数（以後、「累計フレーム数」）は、処理を開始してからのフレーム数を表す。ここで、履歴データには、累計フレーム数の代わりに、各フレームのタイムコードを含めてもよい。
軌跡生成からの経過時間（以後、「経過時間」）は、軌跡Ｔを生成してからのフレーム数を表す。
検出ブロブＢの検出位置（以後、「検出位置」）は、検出ブロブＢを検出した画像座標（ｘ，ｙ）を表す。つまり、検出位置をフレーム順に並べると、軌跡Ｔとなる。
検出ブロブＢの検出成否（以後、「検出成否」）は、検出ブロブＢの検出の成否を表す。
例えば、検出成否は、検出ブロブＢの検出が成功した場合に‘１’、検出ブロブＢの検出が失敗した場合に‘０’となる。
剣先９０の方向（以後、「剣先方向」）は、識別した剣先９０の方向を表す。例えば、剣先方向は、剣先９０が左向きの場合に‘−１’、剣先９０が右向きの場合に‘１’となる。

図７（ａ）は、最上段が‘Ｔ_１’なので、軌跡Ｔ_１の履歴データを表す。また、図７（ａ）の１行目は、累計フレーム数が‘０１１５０１’、経過時間が‘３’、検出位置が（１５６，２６１），検出成否が‘１’なので検出成功、剣先方向が‘−１’なので剣先９０が左向きを表す。

図７（ｂ）は、最上段が‘Ｔ_２’なので、軌跡Ｔ_２の履歴データを表す。また、図７（ｂ）の４行目は、累計フレーム数が‘０１１５０４’、経過時間が‘１’、検出位置が（２０，３２１），検出成否が‘１’なので検出成功、剣先方向が‘１’なので剣先９０が右向きを表す。
なお、１〜３行目の経過時間が‘０’なので、この間は軌跡９０が存在しないことを表す。また、５行目の検出成否が‘０’なので検出失敗を表す。つまり、累計フレーム数が‘０１１５０５’のフレームが欠落している。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
履歴データ解析手段３３は、履歴データを参照し、欠落したフレームの補間、ノイズブロブの消去、軌跡Ｔの平滑化、軌跡Ｔと選手との対応付けを行う。この履歴データ解析手段３３は、履歴データ補間部３３１と、遅延時間判定部３３３と、消去判定部（検出成功回数判定部）３３５と、選手判定部（第２オブジェクト判定部）３３７と、を備える。

履歴データ補間部３３１は、履歴データ生成部３１９から入力された履歴データの検出位置を補間するものである。
前記したように、剣先９０が高速に動いた場合、激しいモーションブラーにより、３０ｆｐｓのカメラでは、剣先９０を正確に捉えきれず、検出ブロブＢの検出失敗が多発する。そこで、履歴データ補間部３３１は、欠落したフレームの検出位置を曲線補間又は線形補間することで、フレームの欠落がない履歴データとする。

軌跡Ｔを折れ線で描画した場合、剣先９０が高速で移動するので、検出位置の間隔が離れ、軌跡Ｔの滑らかさが失われる。そこで、履歴データ補間部３３１は、欠落したフレームに前後するフレームで検出位置間の距離を求め、求めた距離が予め設定した閾値を超えたか否かを判定する。図７（ｂ）では、履歴データ補間部３３１は、累計フレーム数が‘０１１５０５’のフレームが欠落しているので、累計フレーム数が‘０１１５０４’，‘０１１５０６’のフレームで検出位置間の距離を求め、閾値判定を行う。そして、履歴データ補間部３３１は、求めた距離が閾値を超えた場合、曲線アルゴリズムを適用することが好ましい。

＜ラグランジュ補間＞
本実施形態では、曲線補間アルゴリズムとして、以下で説明するラグランジュ補間を利用する。
ここで、互いに異なるｎ＋１個の点ｘ_０，ｘ_１，…，ｘ_ｎに対して、関数値ｆ（ｘ_０），ｆ（ｘ_１），…，ｆ（ｘ_ｎ）が与えられているとする。このとき、ｐ_ｎ（ｘ_ｉ）＝ｆ（ｘ_ｉ）を満たすｘのｎ次多項式ｐ_ｎ（ｘ）を下記の式（９）で求め、これを用いてｆ（ｘ）の補間を行うことをラグランジュ補間という。

なお、履歴データ補間部３３１は、ラグランジュ補間の他、曲線補間アルゴリズムとして、ベジェ曲線やスプライン曲線を用いてもよい。

遅延時間判定部３３３は、軌跡Ｔ毎に、履歴データ補間部３３１から入力された履歴データの経過時間ｄが予め設定した遅延時間ｍを超えるか、及び、経過時間ｄが遅延時間ｍに等しいかを判定するものである。つまり、遅延時間判定部３３３は、ノイズの抑制等を目的とし、軌跡Ｔを現フレームｔで描画するか否かを判定する。なお、遅延時間ｍは、遅延させるフレーム数を表す。

具体的には、遅延時間判定部３３３は、履歴データの経過時間ｄが遅延時間ｍを超える場合、軌跡描画部３５３に履歴データを出力する。この場合、軌跡描画部３５３は、履歴データを参照し、軌跡Ｔを描画する。
また、遅延時間判定部３３３は、履歴データの経過時間ｄが遅延時間ｍに等しい場合、消去判定部３３５に履歴データを出力する。
また、遅延時間判定部３３３は、履歴データの経過時間ｄが遅延時間ｍ未満の場合、軌跡Ｔを描画しないので、何の処理も行わない。つまり、軌跡Ｔを描画するまでにあえて遅延時間ｍを設け、ノイズの抑制や軌跡Ｔの描画品質の向上を図っている。

消去判定部３３５は、遅延時間判定部３３３から入力された履歴データの検出成否に基づいて、軌跡生成からの検出成功回数ｎを算出し、算出した検出成功回数ｎが予め設定した閾値Ｎ以上であるか否かを判定するものである。

具体的には、消去判定部３３５は、経過時間ｄが遅延時間ｍに達した時点において、履歴データを参照し、検出成否が‘１’となる回数を検出成功回数ｎとして算出する。そして、消去判定部３３５は、算出した検出成功回数ｎの閾値判定を行う。

ここで、消去判定部３３５は、検出成功回数ｎが閾値Ｎ未満の場合、剣先９０以外の突発的なノイズブロブとみなし、その履歴データに対応する軌跡Ｔを消去する。
一方、消去判定部３３５は、検出成功回数ｎが閾値Ｎ以上の場合、選手判定部３３７に履歴データを出力する。

例えば、遅延時間ｍ＝１０、閾値Ｎ＝５の場合を考える。この場合、軌跡生成から１０フレーム経過した時点で検出成功回数ｎを算出し、検出成功回数ｎの閾値判定を行う。そして、消去判定部３３５は、検出成功回数ｎが閾値Ｎ＝５未満の場合、その履歴データに対応する軌跡Ｔを消去する。

選手判定部３３７は、消去判定部３３５から入力された履歴データの剣先方向を多数決することで、剣先９０に対応した選手を判定し、判定した選手を軌跡Ｔに対応付けるものである。

ここで、選手判定部３３７は、軌跡Ｔが１本のみ存在する場合、その軌跡Ｔに対応する選手の対戦相手となる選手と判定する。これにより、２本の軌跡Ｔが同じ色で描画されることを防止できる。

また、選手判定部３３７は、軌跡Ｔが１本も存在しない場合、履歴データを参照し、剣先方向の多数決により選手を判定する。具体的には、選手判定部３３７は、多数決で剣先方向が‘−１’の場合、右側の選手と判定し、多数決で剣先方向が‘１’の場合、左側の選手と判定する。

本実施形態では、選手判定部３３７は、判定した選手のＩＤ（IDentification）を軌跡Ｔの履歴データに付加する。例えば、選手ＩＤは、左側の選手であれば‘Ｌ’となり、右側の選手であれば‘Ｒ’となる。

＜履歴データ解析手段の処理例＞
図８を参照し、履歴データ解析手段３３の処理例について説明する（適宜図３参照）。
図８では、履歴データにおいて、検出ブロブＢの検出に成功したフレームを‘●’で図示し、検出ブロブＢの検出に失敗した欠落フレームを‘○’で図示した。また、遅延時間ｍ＝１５、閾値Ｎ＝８とする。また、各軌跡を生成した時刻ｔ−ｍから現フレームｔまでの経過時間ｄが遅延時間ｍに等しいこととする。

図８（ａ）の履歴データには、検出ブロブＢの検出に失敗したので、‘○’の欠落フレームが含まれている。この場合、履歴データ補間部３３１は、図８（ｂ）の履歴データに曲線アルゴリズムを適用し、‘○’の欠落フレームを補間する。これにより、検出ブロブＢ間を滑らかにつなぐ曲線を生成し、軌跡Ｔを平滑化できる。

図８（ｂ）の履歴データには、剣先９０以外の反射（ノイズ）が検出ブロブＢとして含まれている。この場合、消去判定部３３５は、図８（ａ）の履歴データを参照し、軌跡生成の時刻ｔ−ｍから現フレームｔまでの検出成功回数（‘●’のフレーム数）を算出する。ここでは、時刻ｔ−ｍから現フレームｔまでの間、‘●’のフレーム数が‘６’であり、閾値Ｎ＝‘８’以上とならない。このため、消去判定部３３５は、この履歴データに対応する軌跡Ｔを消去する。このように、予め遅延時間ｍを設けて軌跡Ｔの可否を判断することにより、剣先９０以外の軌跡Ｔの誤描画を防止できる。

図８（ｃ）の履歴データでは、剣先方向が左向きを示す‘−１’と、右向きを示す‘１’とに分かれている。この場合、選手判定部３３７は、軌跡生成の時刻ｔ−ｍから現フレームｔまでの剣先方向の多数決により、選手を判定する。ここでは、時刻ｔ−ｍから現フレームｔまでの間、剣先方向‘−１’のフレーム数が１２であり、剣先方向‘１’のフレーム数が３である。このため、選手判定部３３７は、多数決により右側の選手と判定する。このように、履歴データの剣先方向から総合的に選手を判定することで、選手識別機能の信頼性を高めている。

図３に戻り、オブジェクト追跡装置３０の構成について、説明を続ける。
軌跡描画手段３５は、履歴データを参照し、軌跡Ｔを描画すると共に、描画した軌跡Ｔを可視画像Ｖに合成するものである。この軌跡描画手段３５は、可視画像蓄積部（可視画像遅延部）３５１と、軌跡描画部３５３と、を備える。

可視画像蓄積部３５１は、可視・赤外同軸光カメラ２０より入力された可視画像Ｖ_ｔを遅延時間ｍだけ蓄積した後、軌跡描画部３５３に出力する。現フレームｔにおいては、可視画像蓄積部３５１は、遅延時間ｍだけ遅延させた可視画像Ｖ_ｔ-ｍを軌跡描画部３５３に出力する。さらに、可視画像蓄積部３５１は、可視画像Ｖ_ｔを剣先方向識別部３１５に出力する。

軌跡描画部３５３は、可視画像蓄積部３５１から入力された可視画像Ｖ_ｔ-ｍに対して、遅延時間判定部３３３から入力された履歴データと、選手判定部３３７から入力された履歴データとの検出位置に軌跡Ｔを描画するものである。ここで、遅延時間判定部３３３からの履歴データは、経過時間ｄが遅延時間ｍを超えた軌跡Ｔを表す。また、遅延時間判定部３３３からの履歴データは、検出成功回数が閾値Ｎ以上となった軌跡Ｔを表す。

ここで、軌跡描画部３５３は、選手毎に異なる色を予め設定しておく、例えば、遅延時間判定部３３３は、左側の選手であれば青色、右側の選手であれば赤色に設定する。そして、軌跡描画部３５３は、履歴データに付加された選手ＩＤを取得し、選手ＩＤ毎に異なる色で軌跡Ｔを描画する。例えば、軌跡描画部３５３は、図９に示すように、可視画像Ｖ_ｔ-ｍと軌跡Ｔとを合成した軌跡合成画像Ｆ_ｔ-ｍを生成し、生成した軌跡合成画像Ｆ_ｔ-ｍを出力する。この軌跡合成画像Ｆ_ｔ-ｍには、左側の選手が持つ剣先９０の軌跡Ｔ_１と、右側の選手が持つ剣先９０の軌跡Ｔ_２とがＣＧで合成されている。

［オブジェクト追跡装置の動作］
図１０，図１１を参照し、オブジェクト追跡装置３０の動作について説明する（適宜図３参照）。
図１０に示すように、赤外光検出部３１１は、２値赤外差分画像（Ｉ_ｔ−Ｉ_ｔ−１）を生成し、抽出した候補ブロブにモルフォロジ処理を施す（ステップＳ１）。

赤外光検出部３１１は、モルフォロジ処理で残った候補ブロブにラベリング処理を施し、候補ブロブの位置、面積及び形状特徴量を求める。そして、赤外光検出・識別手段３１は、面積及び形状特徴量を基準にフィルタリングし、検出ブロブＢを検出する（ステップＳ２）。

軌跡生成部３１３は、軌跡Ｔが２本存在する場合、探索範囲Ａ_Ｔ内で予測位置ｐ_Ｔに最も近い検出ブロブＢを軌跡Ｔに接続する。また、軌跡生成部３１３は、存在する軌跡Ｔが１本以下の場合、探索範囲Ａ_Ｔから外れる検出ブロブＢを新たな軌跡Ｔとして生成する（ステップＳ３）。

剣先方向識別部３１５は、２値可視差分画像（Ｖ_ｔ−Ｖ_ｔ−１）を生成し、検出ブロブＢを中心として切り出す。そして、剣先方向識別部３１５は、切り出した領域の画像特徴量を算出し、剣先９０の方向を識別する（ステップＳ４）。

位置予測部３１７は、位置予測アルゴリズムにより、次フレームｔ＋１の赤外画像Ｉ_ｔ＋１における予測位置ｐ_Ｔ及び探索範囲Ａ_Ｔを算出する（ステップＳ５）。
履歴データ生成部３１９は、軌跡Ｔ毎に、経過時間、検出成否及び検出位置を表す履歴データを生成する（ステップＳ６）。
履歴データ補間部３３１は、履歴データで欠落したフレームを、欠落したフレームに前後するフレームの検出位置に基づいて補間する（ステップＳ７）。

図１１に示すように、履歴データ補間部３３１は、検出位置間の距離を求め、求めた距離が閾値を超えた場合、曲線アルゴリズムで補間し、軌跡Ｔを平滑化する（ステップＳ８）。

遅延時間判定部３３３は、経過時間ｄと遅延時間ｍを比較する（ステップＳ９）。
経過時間ｄが遅延時間ｍに等しい場合（ステップＳ９でｄ＝ｍ）、消去判定部３３５は、検出成功回数ｎを算出し、検出成功回数ｎが閾値Ｎ以上であるか否かを判定する（ステップＳ１０）。

検出成功回数ｎが閾値Ｎ以上の場合（ステップＳ１０でＹｅｓ）、選手判定部３３７は、選手を判定する。
ここで、軌跡Ｔが１本も存在しない場合（軌跡数が０の場合）、選手判定部３３７は、剣先方向の多数決により選手を判定する。
一方、軌跡Ｔが１本のみ存在する場合（軌跡数が１の場合）、選手判定部３３７は、存在する軌跡Ｔに対応した選手と対戦相手の選手と判定する。つまり、選手判定部３３７は、フェンシングでは選手が二人しかいないので、残った選手と判定する（ステップＳ１１）。

可視画像蓄積部３５１は、遅延時間ｍだけ可視画像Ｖ_ｔを蓄積する（ステップＳ１２）。
経過時間ｄが遅延時間ｍを超える場合（ステップＳ９でｄ＞ｍ）、又は、ステップＳ１２の処理に続いて、軌跡描画部３５３は、選手ＩＤ毎に異なる色で軌跡Ｔを描画し（ステップＳ１３）、処理を終了する。

検出成功回数ｎが閾値Ｎ未満の場合（ステップＳ１０でＮｏ）、消去判定部３３５は、履歴データに対応した軌跡Ｔを消去し（ステップＳ１４）、処理を終了する。
経過時間ｄが遅延時間ｍ未満の場合（ステップＳ９でｄ＜ｍ）、オブジェクト追跡装置３０は、処理を終了する。

［作用・効果］
本発明の第１実施形態に係るオブジェクト追跡装置３０は、剣先９０にセンサを付けることなく、高速で移動する剣先９０を確実に追跡し、正確な軌跡Ｔを描画することができる。これにより、オブジェクト追跡装置３０は、フェンシングにおける剣先９０の軌跡描画が可能になると共に、軌跡描画の品質を向上させることができる。

さらに、オブジェクト追跡装置３０は、可視画像Ｖから画像特徴量を算出し、機械学習により剣先９０の方向を識別し、剣先９０の軌跡Ｔに左右の選手を対応付けることができる。これにより、オブジェクト追跡装置３０は、両選手に対応した軌跡Ｔを異なる色で描画できるので、視聴者がフェンシングの試合状況を把握し易くなる。

さらに、オブジェクト追跡装置３０は、軌跡描画までに意図的に遅延時間ｍを設け、多数決により選手ＩＤを決定するので、誤検出したノイズ軌跡を描画するリスクを軽減し、軌跡識別の精度を高めることができる。
さらに、オブジェクト追跡装置３０は、遅延時間分の履歴データを利用することで、軌跡Ｔを滑らかに描画することができる。

（第２実施形態）
図１２を参照し、本発明の第２実施形態に係るオブジェクト追跡システム１Ｂについて、第１実施形態と異なる点を説明する。
オブジェクト追跡システム１Ｂは、フェンシングの試合状況に応じて、軌跡Ｔの描画を制御するものである。例えば、オブジェクト追跡システム１Ｂは、一方の選手がポイントを取得した場合、その選手の剣先９０の軌跡Ｔのみを表示する。

図１２に示すように、オブジェクト追跡システム１Ｂは、赤外光投光器１０と、可視・赤外同軸光カメラ２０と、オブジェクト追跡装置３０Ｂと、電気審判器４０と、審判器用カメラ５０と、を備える。

オブジェクト追跡装置３０Ｂは、電気審判器４０から入力された識別信号、又は、審判器用カメラ５０から入力された色領域画像を用いて、予め設定した軌跡描画処理を行うものである。この軌跡描画処理としては、例えば、軌跡Ｔの描画停止、軌跡Ｔの消去、又は、軌跡Ｔの強調をあげることができる。
なお、オブジェクト追跡装置３０Ｂの詳細は、後記する。

電気審判器４０は、フェンシングにおいて、ポイントを取得した選手を電気的に判定するものであり、ライト４１（４１_Ｒ，４１_Ｇ）を備える。この電気審判器４０は、両選手の剣に電流を印加している。また、両選手は、通電性のメタルジャケットを着用している。そして、電気審判器４０は、対戦相手の選手が着用するメタルジャケットに剣が接触すると、ライト４１を点灯させる。例えば、電気審判器４０は、左側の選手が右側の選手を剣で突いた場合、左側のライト４１_Ｒを赤色で点灯させる。一方、電気審判器４０は、右側の選手が左側の選手を剣で突いた場合、右側のライト４１_Ｇを緑色で点灯させる。このように、左側の選手に赤色のライト４１_Ｒが対応し、右側の選手に緑色のライト４１_Ｇが対応する。

また、電気審判器４０は、ライト４１の点灯に連携して、識別信号をオブジェクト追跡装置３０Ｂに出力してもよい。この識別信号は、ポイントを取得した選手を識別する信号である。例えば、電気審判器４０は、ライト４１_Ｒを点灯させた場合、左側の選手ＩＤ‘Ｌ’を格納した識別信号をオブジェクト追跡装置３０Ｂに出力する。一方、電気審判器４０は、ライト４１_Ｇを点灯させた場合、右側の選手ＩＤ‘Ｒ’を格納した識別信号をオブジェクト追跡装置３０Ｂに出力する。

審判器用カメラ５０は、電気審判器４０を撮影し、撮影した色領域画像をオブジェクト追跡装置３０Ｂに出力するカメラである。本実施形態では、審判器用カメラ５０は、同一画角で電気審判器４０を撮影する。

なお、オブジェクト追跡システム１Ｂは、電気審判器４０からの識別信号、又は、審判器用カメラ５０からの色領域画像のうち、何れか一方をオブジェクト追跡装置３０Ｂに入力すればよい。

［オブジェクト追跡装置の構成］
図１３を参照し、オブジェクト追跡装置３０Ｂの構成について、第１実施形態と異なる点を説明する。
図１３に示すように、オブジェクト追跡装置３０Ｂは、赤外光検出・識別手段３１と、履歴データ解析手段３３と、軌跡描画手段３５Ｂと、を備える。なお、赤外光検出・識別手段３１及び履歴データ解析手段３３は、第１実施形態と同様のため、説明を省略する。

軌跡描画手段３５Ｂは、軌跡Ｔを描画すると共に、軌跡描画処理を行うものである。この軌跡描画手段３５Ｂは、可視画像蓄積部３５１と、軌跡描画部３５３Ｂと、識別信号生成部３５５と、を備える。なお、軌跡描画制御部３５１は、第１実施形態と同様のため、説明を省略する。

識別信号生成部３５５は、電気審判器４０から識別信号が入力されるか、又は、審判器用カメラ５０から色領域画像が入力されるかを予め設定する。この識別信号生成部３５５は、入力に応じて処理内容が異なるため、順に説明する。

＜色領域画像入力時の処理＞
前記したように、審判器用カメラ５０は、同一画角で電気審判器４０を撮影する。従って、色領域画像では、図１４に示すように、ライト４１_Ｒ，４１_Ｇが同一の位置に映っている。

識別信号生成部３５５は、色領域画像のライト４１_Ｒ，４１_Ｇを囲むように、色領域画像に検出対象領域Ａ_Ｒ，Ａ_Ｇを予め設定する。また、識別信号生成部３５５は、色領域画像からフレーム差分画像を生成し、このフレーム差分画像を解析することで、色領域を検出する。具体的には、識別信号生成部３５５は、フレーム差分画像の検出対象領域Ａ_Ｒ，Ａ_Ｇに、下記の式（１０）の処理を施すことで、ライト４１_Ｒ又はライト４１_Ｇの点灯を検出できる。

なお、Ｒ^ｘｙ _ｔがフレームｔにおける検出対象領域Ａ_Ｒ内の赤チャンネルの平均画素値であり、Ｇ^ｘｙ _ｔがフレームｔにおける検出対象領域Ａ_Ｇ内の緑チャンネルの平均画素値である。
また、閾値Ｔ_Ｒは、ライト４１_Ｒが点灯しているときの平均画素値Ｒ^ｘｙ _ｔより低く、ライト４１_Ｒが点灯していないときの平均画素値Ｒ^ｘｙ _ｔより高くなるように、予め設定する（閾値Ｔ_Ｇも同様）。

ここで、識別信号生成部３５５は、判定結果Ｓ^ｘｙ _ｔが赤判定の場合、左側の選手ＩＤ‘Ｌ’を格納した識別信号を生成する。一方、識別信号生成部３５５は、判定結果Ｓ^ｘｙ _ｔが緑判定の場合、右側の選手ＩＤ‘Ｒ’を格納した識別信号を生成する。その後、識別信号生成部３５５は、生成した識別信号を軌跡描画部３５３Ｂに出力する。

なお、識別信号生成部３５５は、色領域画像の検出対象領域Ａ_Ｒ，Ａ_Ｇに色検出処理を施して、ライト４１_Ｒ又はライト４１_Ｇの点灯を検出してもよい。また、識別信号生成部３５５は、色領域画像からグレースケール画像を生成し、グレースケール画像の検出対象領域Ａ_Ｌ，Ａ_Ｒの輝度差を求め、ライト４１_Ｒ又はライト４１_Ｇの点灯を検出してもよい。

＜識別信号入力時の処理＞
識別信号生成部３５５は、電気審判器４０から識別信号が入力された場合、入力された識別信号をそのまま軌跡描画部３５３Ｂに出力する。

図１３に戻り、オブジェクト追跡装置３０Ｂの構成について、説明を続ける。
軌跡描画部３５３Ｂは、識別信号生成部３５５から識別信号が入力された場合、予め設定した軌跡描画処理を行うものである。ここで、軌跡描画部３５３Ｂは、識別信号が表す選手に対応する軌跡Ｔの描画停止や、その軌跡Ｔの消去を行う。また、軌跡描画部３５３Ｂは、識別信号が表す選手以外の他の選手に対応する軌跡Ｔの強調を行う。

例えば、図１５（ａ）に示すように、左側の選手がポイントを取得したこととする。この場合、軌跡描画部３５３Ｂは、左側の選手ＩＤ‘Ｌ’が格納された識別信号が入力されるので、軌跡描画処理として、対戦相手となる右側の選手に対応した軌跡Ｔ_２の描画を停止し、その後、軌跡Ｔ_２を消去する。さらに、図１５（ｂ）に示すように、ポイントを取得した左側の選手に対応した軌跡Ｔ_１のみを描画する。さらに、軌跡描画部３５３Ｂは、軌跡Ｔ_１を強調してもよい。

［オブジェクト追跡装置の動作］
図１６，図１７を参照し、オブジェクト追跡装置３０Ｂの動作について説明する（適宜図１３参照）。
なお、図１６のステップＳ１〜Ｓ８、図１７のステップＳ９〜Ｓ１４の処理は、第１実施形態と同様のため、説明を省略する。

図１７に示すように、軌跡描画部３５３Ｂは、識別信号生成部３５５から識別信号が入力されたか否かを判定する（ステップＳ１５）。
識別信号が入力されていない場合（ステップＳ１５でＮｏ）、オブジェクト追跡装置３０Ｂは、処理を終了する。

識別信号が入力された場合（ステップＳ１５でＹｅｓ）、軌跡描画部３５３Ｂは、軌跡描画処理を行い、処理を終了する。例えば、軌跡描画部３５３Ｂは、ポイントを失った選手に対応した軌跡Ｔの描画停止や消去を行う。また、例えば、軌跡描画部３５３Ｂは、ポイントを取得した選手に対応する軌跡Ｔを強調する（ステップＳ１６）。

［作用・効果］
本発明の第２実施形態に係るオブジェクト追跡装置３０Ｂは、第１実施形態と同様の効果を奏する。さらに、オブジェクト追跡装置３０Ｂは、ポイントを失った選手に対応する軌跡Ｔの描画停止や消去、ポイントを取得した選手に対応する軌跡Ｔの強調といった、軌跡描画処理を行うことができる。これにより、オブジェクト追跡装置３０Ｂは、視聴者がフェンシングの試合状況をより把握し易くなる。

（変形例）
以上、本発明の各実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

前記した各実施形態では、可視・近赤外同光軸カメラを利用することとして説明したが、これに限定されない。例えば、本発明は、可視・近赤外同時撮影カメラ、及び、可視・近赤外マルチ波長カメラを利用することができる。

＜可視・近赤外同時撮影カメラ＞
可視・近赤外同時撮影カメラは、ＲＧＢに加えＩＲ（近赤外光）を分光する４波長分光プリズムを用いて、それぞれの波長毎のセンサ、合計４枚のセンサで撮影するカメラである。この可視・近赤外同時撮影カメラは、ＲＧＢセンサによる可視画像、及び、ＩＲセンサによる赤外画像を個別に出力することが可能である。つまり、オブジェクト追跡装置は、第１実施形態と同様、可視・近赤外同時撮影カメラから可視画像及び赤外画像を取得し、軌跡合成画像を出力できる。

＜可視・近赤外マルチ波長カメラ＞
可視・近赤外マルチ波長カメラは、ＲＧＢ３色以外に近赤外領域で３つの波長を分光するマルチ波長分光プリズムを利用したカメラである。通常、カメラは、ＩＲカットフィルタ又は可視光カットフィルタを装着して可視分光特性又は近赤外分光特性に示される波長を取り出し、可視光又は近赤外のみの画像を取得する。しかし、可視・近赤外マルチ波長カメラは、ＩＲカットフィルタ及び可視光カットフィルタを装着せず、基本分光特性に示される波長全てを取り出すことで、可視光及び近赤外光を合成した可視・赤外合成画像を生成する。

この可視・近赤外マルチ波長カメラ６０を利用したときのオブジェクト追跡システム１Ｃを図１８に図示した。図１８に示すように、オブジェクト追跡システム１Ｃは、赤外光投光器１０と、可視・近赤外マルチ波長カメラ６０と、可視・赤外分離装置７０と、オブジェクト追跡装置３０と、を備える。

可視・近赤外マルチ波長カメラ６０は、可視・赤外合成画像ＩＶを生成し、可視・赤外分離装置７０に出力する。この可視・赤外合成画像ＩＶは、赤外光投光器１０から照射した赤外光の反射光が緑色の蛍光色で撮影されている以外、可視画像と同様の画像である。

可視・赤外分離装置７０は、可視・近赤外マルチ波長カメラ６０から入力された可視・赤外合成画像ＩＶを、可視画像Ｖと赤外画像Ｉとに分離するものである。例えば、可視・赤外分離装置７０は、ＲＧＢ、ＨＳＶ等の色空間内で抽出領域を設けるクロマキー法で可視・赤外合成画像ＩＶの分離を行ってもよい。また、可視・赤外分離装置７０は、赤外光領域が特定の形状をしている場合、領域形状に基づいて可視・赤外合成画像ＩＶの分離を行ってもよい。

オブジェクト追跡装置３０は、第１実施形態と同様のため、これ以上の説明を省略する。つまり、オブジェクト追跡装置３０は、可視・近赤外マルチ波長カメラ６０を利用した場合でも、第１実施形態と同様、軌跡追跡画像Ｆを出力できる。

＜その他変形例＞
前記した各実施形態では、フェンシングを一例として説明したが、オブジェクト追跡装置は、これに限定されない。つまり、オブジェクト追跡装置は、テニス、バドミントン、バレーボール等、選手の位置が入れ替わらないスポーツにも適用することができる。例えば、バドミントンの場合、オブジェクト追跡装置は、選手が持つラケットの方向を識別し、ラケットの軌跡に左右の選手を対応付けることで、両選手が持つラケットの軌跡を異なる色で描画することができる。

さらに、オブジェクト追跡装置は、軌跡を異なる色で描かない場合、選手の位置が入れ換わるスポーツにも適用することができる。例えば、オブジェクト追跡装置は、バドミントンのシャトルを追跡し、その軌跡を描画することができる。この他、オブジェクト追跡装置は、オーケストラにおける指揮棒の軌跡や、ドラマや映画における刀等の軌跡を描画することができる。

オブジェクト追跡装置は、追跡対象となるオブジェクトの移動速度が特に制限されず、特に、モーションブラーが発生する移動速度でも確実に追跡可能である。この移動速度は、可視・近赤外同光軸カメラとオブジェクトとの距離、可視・近赤外同光軸カメラの撮影画角及び感度、ノイズ量に大きく依存する。例えば、時間解像度が３０フレーム／秒の場合、移動速度が１００ｋｍ／ｈを超えたあたりで、モーションブラーが多くなる。

前記した各実施形態では、オブジェクト追跡装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、オブジェクト追跡装置は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した各手段として協調動作させるオブジェクト追跡プログラムで実現することもできる。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

本発明は、フェンシング等のスポーツシーンの映像解析に利用することができる。また、本発明は、映画、ゲームやドラマの制作にも利用することができる。さらに、本発明は、工業やセキュリティシステムにも利用することができる。

３０，３０Ｂ オブジェクト追跡装置
３１１ 赤外光検出部
３１３ 軌跡生成部
３１５ 剣先方向識別部（オブジェクト方向識別部）
３１７ 位置予測部
３１９ 履歴データ生成部
３３１ 履歴データ補間部
３３３ 遅延時間判定部
３３５ 消去判定部（検出成功回数判定部）
３３７ 選手判定部（第２オブジェクト判定部）
３５１ 可視画像蓄積部（可視画像遅延部）
３５３，３５３Ｂ 軌跡描画部
３５５ 識別信号生成部

Claims (3)

1. 赤外光マーカを付けて移動する１以上のオブジェクトを赤外光で撮影した赤外画像と、前記オブジェクトを可視光で撮影した可視画像とを用いて、前記オブジェクトを追跡するオブジェクト追跡装置であって、
   前記赤外画像から前記赤外光マーカの領域を赤外光候補領域として抽出し、予め設定した面積及び形状特徴量の範囲内の前記赤外光候補領域を、予め設定した前記オブジェクトの数だけ前記赤外光候補領域の面積が広い順に赤外光領域として検出する赤外光検出部と、
   前記赤外画像に前記オブジェクトを追跡した軌跡が存在しない場合、検出した前記赤外光領域を新たな前記軌跡として生成し、前記赤外画像に前記軌跡が存在する場合、前記赤外光マーカの予測位置を中心とした探索範囲内で前記予測位置に最も近い赤外光領域を、存在する前記軌跡に接続する軌跡生成部と、
   位置予測アルゴリズムにより、前記検出した赤外光領域の位置から、次の前記赤外画像における前記赤外光マーカの予測位置及び探索範囲を算出する位置予測部と、
   前記軌跡毎に、軌跡生成からの経過時間、前記赤外光領域の検出成否、及び、前記赤外光領域の検出位置を表した履歴データを生成する履歴データ生成部と、
   前記軌跡毎に、前記履歴データの経過時間が予め設定した遅延時間を超えるか、及び、前記経過時間が前記遅延時間に等しいかを判定する遅延時間判定部と、
   前記経過時間が前記遅延時間に等しい場合、前記履歴データの検出成否に基づいて前記軌跡生成からの検出成功回数を算出し、算出した前記検出成功回数が予め設定した閾値以上であるか否かを判定する検出成功回数判定部と、
   前記赤外画像と同一光軸及び同一画素数の前記可視画像を前記遅延時間だけ遅延させる可視画像遅延部と、
   遅延させた前記可視画像に対して、前記経過時間が前記遅延時間を超える軌跡と、前記検出成功回数が前記閾値以上の軌跡とを前記履歴データの検出位置に描画する軌跡描画部と、
   を備えることを特徴とするオブジェクト追跡装置。
2. 前記抽出した赤外光領域に基づいて前記可視画像に可視光領域を設定し、設定した前記可視光領域の画像特徴量を算出し、算出した前記画像特徴量の機械学習により予め設定した前記オブジェクトの方向を識別するオブジェクト方向識別部、をさらに備え、
   前記履歴データ生成部は、前記履歴データに前記オブジェクトの方向を付加し、
   前記履歴データのオブジェクト方向を多数決することで前記オブジェクトに対応する第２オブジェクトを判定し、判定した前記第２オブジェクトを前記軌跡に対応付ける第２オブジェクト判定部、をさらに備え、
   前記軌跡描画部は、前記検出成功回数が前記閾値以上の軌跡を、当該軌跡に対応付けた第２オブジェクト毎に異なる色で描画することを特徴とする請求項１に記載のオブジェクト追跡装置。
3. コンピュータを、請求項１又は請求項２に記載のオブジェクト追跡装置として機能させるためのオブジェクト追跡プログラム。

Images