JP2019068325A - 動体追尾装置及びそのプログラム - Google Patents

Abstract

【課題】本発明は、昼夜を問わずに様々な動体を追尾できる動体追尾装置を提供する。【解決手段】航空機追尾撮影システム１は、空港を離発着する航空機をロボットカメラ４０で追尾して撮影するものであり、センサ映像９０を出力するセンサカメラ１０と、センサ映像から動体を検出する動体検出装置２０と、検出した動体の中から追跡対象となる航空機を決定し、その航空機をロボットカメラ４０に追尾して撮影させる位置特定・雲台制御装置３０と、位置特定・雲台制御装置３０からの指令に従って、航空機を撮影するロボットカメラ４０とを備える。【選択図】図１

Description

本発明は、動体追尾装置及びそのプログラムに関する。

従来より、航空機が空港を離発着する様子をロボットカメラで自動追尾しながら撮影する発明が提案されている（例えば、特許文献１，２）。
特許文献１に記載の発明は、航空機が発するＡＤＳ-Ｂ（Automatic Dependent Surveillance-Broadcast）信号を用いて、航空機の進入路や滑走方向を特定し、特定した方向にロボットカメラを向け、テンプレートマッチングにより航空機を追尾するものである。
また、特許文献２に記載の発明は、風向きや風速の計測データから航空機の進入路や滑走方向を予測し、特定した方向にロボットカメラを向け、テンプレートマッチングにより航空機を追尾するものである。

特許第５８５８７４１号公報 特開２０１３−１１９３２８号公報

しかし、特許文献１，２に記載の発明では、テンプレートマッチングを用いるので、夜間だと航空機が映りにくく、航空機の検出精度が低下するという問題がある。さらに、特許文献１に記載の発明では、ＡＤＳ−Ｂ信号を発しない航空機の追尾が困難である。

そこで、本発明は、昼夜を問わずに様々な動体を追尾できる動体追尾装置及びそのプログラムを提供することを課題とする。

前記した課題に鑑みて、本発明にかかる動体追尾装置は、センサカメラで動体を撮影したセンサ映像を用いて、追尾対象となる動体を追尾する動体追尾装置であって、差分画像生成手段と、差分領域検出手段と、記憶手段と、動体検出手段と、追尾手段と、を備える構成とした。

かかる動体追尾装置によれば、差分画像生成手段は、センサ映像から差分画像を生成する。また、差分領域検出手段は、低感度モード及び低感度モードより検出感度が高い高感度モードのそれぞれで、差分画像から差分領域を検出する。

また、記憶手段は、低感度モードにおいて、センサ映像内で動体を追尾対象として特定するための追尾対象特定エリア及び追尾対象が通過しないマスクエリアと、高感度モードにおいて、追尾対象の検出エリア誤りを防止するための誤検出防止エリアとを表すエリア情報を予め記憶する。

また、動体検出手段は、予め設定されたフレーム数以上にわたり位置が変化する差分領域を抽出し、エリア情報を参照し、抽出した差分領域の位置及び検出感度により動体を検出し、検出した動体の位置及び所属エリアを表す動体検出情報を生成する。そして、追尾手段は、動体検出情報に基づいて動体毎にスコアを算出し、算出したスコアに基づいて追尾対象を決定する。

このように、動体追尾装置は、センサ映像を用いるので、ＡＤＳ−Ｂ信号を発しない航空機などの様々な追尾対象を追尾できる。さらに、動体追尾装置は、テンプレートマッチングを使用せず、フレーム間差分による動体検出と、エリア情報による追尾対象の決定を行うので、夜間においても正確に追尾できる。

本発明によれば、以下のような効果を奏する。
本発明にかかる動体追尾装置は、センサ映像を用いると共に、フレーム間差分による動体検出と、エリア情報による追尾対象の決定を行うので、昼夜を問わずに様々な動体を追尾することができる。

本発明の実施形態にかかる航空機追尾撮影システムの全体構成図である。 図１のセンサカメラの設置を説明する説明図である。 図２のセンサ映像の拡大図である。 図１の航空機追尾撮影システムの構成を示すブロック図である。 図３の右側のセンサ映像において、低感度モードで設定するエリア情報の説明図である。 図３の右側のセンサ映像において、高感度モードで設定するエリア情報の説明図である。 図３の右側のセンサ映像において、夜間に設定するエリア情報の説明図である。 図３の中央のセンサ映像において、低感度モードで設定するエリア情報の説明図である。 図３の中央のセンサ映像において、高感度モードで設定するエリア情報の説明図である。 図４の動体検出手段による動体の検出を説明する説明図である。 図４の動体検出手段による動体の検出を説明する説明図である。 図４の動体検出手段において、動体の誤検出を説明する説明図である。 図４の動体検出手段において、動体の誤検出を説明する説明図である。 図４の追尾対象決定手段によるスコアの算出を説明する説明図である。 図４の航空機追尾撮影システムによる航空機の追尾を説明する説明図である。 図４の航空機追尾撮影システムによる航空機の追尾を説明する説明図である。 図４の航空機追尾撮影システムの動作を示すシーケンス図である。

［航空機追尾撮影システムの概略］
以下、本発明の実施形態について、適宜図面を参照しながら詳細に説明する。
図１を参照し、本発明の実施形態にかかる航空機追尾撮影システム１の概略について説明する。

航空機追尾撮影システム１は、空港を離発着する航空機（追尾対象）をロボットカメラ４０で追尾して撮影するものであり、図１に示すように、センサカメラ１０（１０_Ｒ，１０_Ｃ，１０_Ｌ）と、動体検出装置２０（２０_Ｒ，２０_Ｃ，２０_Ｌ）と、位置特定・雲台制御装置３０と、ロボットカメラ４０とを備える。ここで、動体検出装置２０及び位置特定・雲台制御装置３０が特許請求の範囲に記載の動体追尾装置に相当する。

センサカメラ１０は、航空機を撮影してセンサ映像を生成するものであり、例えば、撮影方向及び撮影画角が一定の固定カメラである。そして、センサカメラ１０は、生成したセンサ映像を動体検出装置２０に出力する。

ここで、センサカメラ１０は、１台以上、必要に応じた台数を設置できる。本実施形態では、センサカメラ１０は、図２に示すように、滑走路全体を撮影できるように、空港中央の建物屋上に３台設置している。このとき、各センサカメラ１０は、互いの撮影範囲が重複する。図２では、センサカメラ１０_Ｒが滑走路右側を向き、センサカメラ１０_Ｃが滑走路中央を向き、センサカメラ１０_Ｌが滑走路左側を向いている。そして、センサカメラ１０_Ｒ，１０_Ｃ，１０_Ｌは、図３に示すように、それぞれの撮影方向で滑走路を撮影したセンサ映像９０_Ｒ，９０_Ｃ，９０_Ｌを生成する。センサ映像９０_Ｒ，９０_Ｃ，９０_Ｌの端が互いに重なる。
なお、図２では、センサカメラ１０_Ｒ，１０_Ｃ，１０_Ｌの撮影画角が重複しないように破線で図示したが、実際には重複している。

図１に戻り、航空機追尾撮影システム１の説明を続ける。
動体検出装置２０は、センサカメラ１０からのセンサ映像を画像解析し、動体を検出し、その検出結果（動体検出情報）を位置特定・雲台制御装置３０に出力する。本実施形態では、動体検出装置２０は、追尾対象となる航空機の他、自動車、人物、鳥などの動体についても検出し、その動体についての動体検出情報を出力する。

本実施形態では、動体検出装置２０は、センサカメラ１０と１対１で対応するように、空港から離れた放送局に３台設置している。そして、動体検出装置２０_Ｒがセンサカメラ１０_Ｒのセンサ映像９０_Ｒを画像解析し、動体検出装置２０_Ｃがセンサカメラ１０_Ｃのセンサ映像９０_Ｃを画像解析し、動体検出装置２０_Ｌがセンサカメラ１０_Ｌのセンサ映像９０_Ｌを画像解析する。

位置特定・雲台制御装置３０は、動体検出情報から算出される動体の軌跡に基づいて、動体検出装置２０が検出した動体の中から、追尾対象となる航空機を特定するものである。そして、位置特定・雲台制御装置３０は、特定した航空機を撮影するようにロボットカメラ４０を制御する。本実施形態では、位置特定・雲台制御装置３０は、動体検出装置２０と同じ放送局に１台設置している。
なお、追尾対象とは、航空機追尾撮影システム１で追尾する対象となる１つの動体のことである。本実施形態では、空港にいる航空機のうち、離発着中の航空機が追尾対象であることとする。

ロボットカメラ４０は、位置特定・雲台制御装置３０からの制御信号に従って駆動し、航空機を撮影するものである。このロボットカメラ４０は、パン、チルト、ズームが可能な一般的なロボットカメラであり、航空機の撮影映像９１を生成するカメラ本体４１と、カメラ本体４１を搭載する雲台４３とを備える。
本実施形態では、ロボットカメラ４０は、センサカメラ１０と同様、空港中央の建物屋上に１台設置している。

なお、夜間では、航空機がセンサ映像に映りにくくなるため、昼間に比べて、以下の工夫を行っている。夜間の場合、航空機追尾撮影システム１は、センサ映像９０に夜間用進入路エリアＡ_Ｎ（図７）を設定し、この夜間用進入路エリアＡ_Ｎから航空機のライトを検出する。

［動体検出装置の構成］
図４を参照し、動体検出装置２０の構成について説明する。
動体検出装置２０は、図４に示すように、昼夜判定手段２１と、記憶手段２２と、差分画像生成手段２３と、差分領域検出手段２４と、ライト検出手段２５と、動体検出手段２６とを備える。
なお、３台の動体検出装置２０は、同一構成のため、１台のみ説明する。

昼夜判定手段２１は、時刻に基づいて夜間であるか否かを判定するものである。本実施形態では、昼夜判定手段２１は、緯度情報及び経度情報をもとに日の出時刻及び日の入り時刻を算出し、昼間時間帯及び夜間時間帯を決定する。そして、昼夜判定手段２１は、現在時刻が昼間時間帯又は夜間時間帯の何れに属するかにより、昼間又は夜間を判定する。その後、昼夜判定手段２１は、昼間又は夜間の判定結果を差分領域検出手段２４及び動体検出手段２６に出力する。

記憶手段２２は、動体検出装置２０の処理に必要な各種情報を予め記憶するメモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）などの記憶装置である。例えば、航空機追尾撮影システム１の管理者が、図示を省略したマウス、キーボード等の操作手段を介して、エリア情報を記憶手段２２に手動で設定する。さらに、航空機追尾撮影システム１の管理者は、予め算出した変換情報を記憶手段２２に設定する。

エリア情報は、航空機を特定するための航空機特定エリア（追尾対象特定エリア）、航空機が通過しないマスクエリア、航空機の検出エリア誤りを防止するための誤検出防止エリアなどの各エリアを、センサ映像９０内に予め設定した情報である。

＜エリア情報の設定＞
図５を参照し、エリア情報の設定を具体的に説明する。
ここでは、センサカメラ１０_Ｒのセンサ映像９０_Ｒにエリア情報を設定することとして説明する。

低感度モードでは、図５に示すように、エリア情報として、進入路エリアＡ_Ｌと、滑走路エリアＲと、マスクエリアＭと、上空エリアＳとをセンサ映像９０_Ｒ内に設定する。本実施形態では、進入路エリアＡ_Ｌ及び滑走路エリアＲが航空機特定エリアに対応する。後記する追尾対象決定手段３５において、動体検出手段２６が検出した動体のうち、この航空機特定エリアを一度でも通過した動体を航空機として特定する。

進入路エリアＡ_Ｌは、センサ映像９０_Ｒにおいて、離発着する航空機が進入する領域を表す。
滑走路エリアＲは、センサ映像９０_Ｒに含まれる滑走路の領域を表す。
上空エリアＳは、進入路エリアＡ_Ｌ以外の空域を表す。
マスクエリアＭは、例えば、展望デッキ、空港施設、鳥が多い箇所、草木、水溜りなど、誤検出が多かったり、航空機を追尾する必要がない領域を表す。

高感度モードでは、図６に示すように、エリア情報として、進入路エリアＡ_Ｈと、誘導路エリアＴとをセンサ映像９０_Ｒ内に設定する。
進入路エリアＡ_Ｈは、図５の進入路エリアＡ_Ｌと同様、離発着する航空機が進入する領域を表す。高感度モードでは低感度モードに比べてノイズなどを誤検出する可能性が高いので、進入路エリアＡ_Ｈ，Ａ_Ｌは、異なる位置及び大きさでセンサ映像９０_Ｒ内に設定できる。
誘導路エリアＴは、センサ映像９０_Ｒに含まれる誘導路の領域を表す。本実施形態では、誘導路エリアＴが誤検出防止エリアに対応する。

さらに、図７に示すように、エリア情報として、夜間用進入路エリアＡ_Ｎをセンサ映像９０_Ｒ内に設定する。
夜間用進入路エリアＡ_Ｎは、進入路エリアＡ_Ｈ，Ａ_Ｌと同様、離発着する航空機が進入する領域を表す。夜間の場合、夜間用進入路エリアＡ_Ｎは、航空機のライトを検出する領域となるので、航空機のライト以外を誤検出しないように設定することが好ましい。

センサ映像９０_Ｒと同様、センサ映像９０_Ｃにもエリア情報を設定する。
図８に示すように、低感度モードでは、エリア情報として、滑走路エリアＲと、マスクエリアＭと、上空エリアＳとをセンサ映像９０_Ｃ内に設定する。また、図９に示すように、高感度モードでは、エリア情報として、誘導路エリアＴをセンサ映像９０_Ｒ内に設定する。
なお、センサ映像９０_Ｃに進入路が映らないので、進入路エリアを設定していない。
また、センサ映像９０_Ｌは、センサ映像９０_Ｒと同様にエリア情報を設定できるので、説明を省略する。

このように、エリア情報は、昼間及び夜間で別々に設定できる。このため、エリア情報では、例えば、昼間では鳥が多く飛ぶ場所や、夜間では航空機以外のライトが映る場所など、誤検出の可能性が高い場所を外すことができる。

図４に戻り、図１の動体検出装置２０について、説明を続ける。
変換情報は、センサカメラ１０とロボットカメラ４０との画角を変換するパラメータの情報である。この変換情報は、センサカメラ１０で検出した航空機の速度やサイズをロボットカメラ４０に映る航空機の速度やサイズに合わせるために必要な情報である。本実施形態では、変換情報は、各センサカメラ１０の撮影画角に応じて、センサカメラ１０毎に予め算出することとする。

差分画像生成手段２３は、センサカメラ１０よりセンサ映像が入力され、入力されたセンサ映像から差分画像を生成するものである。つまり、差分画像生成手段２３は、センサ映像で前後するフレーム間で画素毎に輝度差を求め、求めた画素毎の輝度差を表す差分画像を生成する。そして、差分画像生成手段２３は、生成した差分画像を差分領域検出手段２４に出力する。

差分領域検出手段２４は、昼夜判定手段２１からの判定結果が昼間の場合、低感度モード及び高感度モードのそれぞれで、差分画像から差分領域を検出するものである。つまり、差分領域検出手段２４は、輝度差が閾値以上となる各画素について、近いもの同士をグループ化して差分領域を生成する。

具体的には、差分領域検出手段２４は、差分画像の各画素の画素値（輝度値）を閾値判定し、画素値が予め設定した閾値以上となる画素を差分画像から抽出する。このとき、高感度モードでは、差分領域の検出感度が低感度モードより高くなるように閾値を小さな値とする。そして、差分領域検出手段２４は、抽出した画素同士の距離が一定以下となる画素領域を差分領域として検出する。

また。差分領域検出手段２４は、昼夜判定手段２１からの判定結果が夜間の場合、低感度モードだけで差分画像から差分領域を検出する。夜間の場合でも、低感度モードの手順自体は昼間と同様のため、これ以上の説明を省略する。

その後、差分領域検出手段２４は、検出した差分領域の情報として、その差分領域の位置と、その差分領域の検出時間帯との情報を動体検出手段２６に出力する。ここで、差分領域の位置は、差分領域の中心位置又は重心位置を表す。また、差分領域の検出時間帯は、昼間又は夜間の区分と、差分領域の検出元となるセンサ映像９０の時刻情報（タイムコード）とを表す。

ライト検出手段２５は、昼夜判定手段２１からの判定結果が夜間の場合、センサ映像９０から航空機のライトを検出するものである。本実施形態では、ライト検出手段２５は、記憶手段２２のエリア情報を参照し、センサ映像９０内に設定した夜間用進入路エリアＡ_Ｎにおいて、輝度値が予め設定された閾値以上になる画素領域を検出し、その画素領域の重心位置又は中心位置を航空機のライト位置として検出する。

その後、ライト検出手段２５は、検出した航空機のライトの情報として、ライト位置及び検出時間帯を動体検出手段２６に出力する。
なお、ライト検出手段２５は、昼夜判定手段２１からの判定結果が昼間の場合、処理を行わない。

動体検出手段２６は、差分領域検出手段２４から入力された差分領域のうち、予め設定されたフレーム数以上にわたり位置が変化する差分領域を抽出するものである。つまり、動体検出手段２６は、数フレームにわたって連続的に動いている動体領域を抽出する。これにより、動体検出手段２６は、連続的に動いている動体領域と、それ以外のノイズ領域とを区分できる。

次に、動体検出手段２６は、記憶手段２２のエリア情報を参照し、抽出した差分領域の位置及び検出感度により動体を検出し、後記する動体検出情報を生成するものである。以下、動体検出手段２６について、昼夜判定手段２１からの判定結果が昼間と夜間の場合にわけて説明する。
なお、以下の例では、航空機が動体であることとして説明するが、実際には、航空機以外の動体が検出される場合もある。

＜動体の検出：昼間の場合＞
昼間の場合、動体検出手段２６は、記憶手段２２のエリア情報を参照し、抽出した差分領域の所属エリアに応じて動体を検出する。本実施形態では、動体検出手段２６は、マスクエリアＭ以外の各エリア（進入路エリアＡ_Ｌ、上空エリアＳ、滑走路エリアＲ、誘導路エリアＴ）から、動体を検出する。

具体点には、動体検出手段２６は、図１０に示すように、低感度モードで進入路エリアＡ_Ｌに含まれる動体Ｏｂｊ_１を検出する。この進入路エリアＡ_Ｌと同様、動体検出手段２６は、低感度モードで上空エリアＳに含まれる動体を検出する。一方、動体検出手段２６は、図１１に示すように、低感度モードでマスクエリアＭに含まれる物体Ｏｂｊ_２（例えば、トーイングカー）を検出しない。

ここで、図１２に示すように、センサカメラ１０から見て、航空機Ｏｂｊ_３の一部（例えば、機体と色や模様が異なる尾翼）が滑走路に重なることがある。この場合、フレーム間差分では、尾翼部分のみが検出されやすいため、実際には航空機が誘導路に位置するにも関わらず、航空機が滑走路に位置すると誤判定することがある。一方、図１３に示すように、高感度モードが低感度モードより検出感度が高いので、低感度モードで尾翼部分のみの動きを検出しているときには、高感度モードであれば、航空機Ｏｂｊ_１の全体の動きを検出し、航空機が誘導路に位置すると正しく判定できる可能性が高い。
なお、図１２，図１３では、航空機Ｏｂｊ_３のうち、動体として検出された箇所を一点鎖線で図示した。

そこで、動体検出手段２６は、低感度モード及び高感度モードという２つの検出モードを組み合わせることで、動体のエリア情報の誤検出を低減している。具体的には、動体検出手段２６は、低感度モードで滑走路エリアＲに含まれ、かつ、高感度モードで誘導路エリアＴに含まれない動体を、滑走路エリアＲの動体として検出する（不図示）。一方、動体検出手段２６は、低感度モードで滑走路エリアＲに含まれ（図１２）、かつ、高感度モードで誘導路エリアＴに含まれる動体Ｏｂｊ_３を、誘導路エリアＴの動体として検出する（図１３）。

＜動体の検出：夜間の場合＞
夜間の場合、動体検出手段２６は、昼間と同様、低感度モードのみで動体を検出する。具体的には、動体検出手段２６は、低感度モードにおいて、マスクエリアＭ以外の各エリア（進入路エリアＡ_Ｌ、上空エリアＳ）に含まれる動体を検出する。一方、動体検出手段２６は、低感度モードにおいて、マスクエリアＭに含まれる動体を検出しない。
なお、夜間の場合、動体検出手段２６は、低感度モード及び高感度モードを併用しないので、滑走路エリアＲ及び誘導路エリアＴの動体を検出することがない。

その後、動体検出手段２６は、決定した動体検出情報を生成し、生成した動体検出情報を位置特定・雲台制御装置３０（情報集約手段３１）に出力する。この動体検出情報は、センサ映像９０に映る各動体の位置、所属エリア（進入路エリアや滑走路エリアなど）、サイズ、及び、そのセンサ映像９０の時刻情報を表す。

このとき、動体検出手段２６は、差分領域に外接する矩形領域の高さ及び幅から、センサカメラ１０上での動体の検出サイズを求める。そして、動体検出手段２６は、記憶手段２２の変換情報を参照し、センサカメラ１０上での動体の検出サイズを、ロボットカメラ４０上での動体のサイズに変換する。

＜遠方航空機の検出：昼間の場合＞
離陸での滑走開始時や着陸での滑走路進入時など、航空機が遠方に位置し、速度が遅い場合、差分領域の検出精度が低くなる。このとき、ロボットカメラ４０で撮影を行うと、差分領域の誤検出により航空機が撮影画角から外れてしまう可能性が高い。そこで、追尾制御の代わりに、遠方の航空機が撮影画角から外れないように定位置制御を行う必要がある。

昼間の場合、動体検出手段２６は、センサ映像９０に遠方の航空機が映っているか否かを判定する。つまり、動体検出手段２６は、低感度モードで進入路エリアＡ_Ｌに含まれず、かつ、高感度モードで進入路エリアＡ_Ｈに含まれる動体を遠方の航空機として決定する。

＜遠方航空機の検出：夜間の場合＞
夜間の場合、航空機の機体がセンサ映像９０に映らず、航空機を検出できる可能性が低い。そこで、動体検出手段２６は、低感度モードで動体が検出されない場合、ライト検出手段２５で検出された夜間用進入路エリアＡ_Ｎ内のライトを、遠方の航空機として検出する。これにより、航空機追尾撮影システム１では、夜間でも定位置制御が可能となる。

その後、動体検出手段２６は、遠方の航空機を検出したことを示す遠方動体検出情報を位置特定・雲台制御装置３０（追尾対象決定手段３５）に出力する。

［位置特定・雲台制御装置の構成］
図４に戻り、位置特定・雲台制御装置３０の構成について説明する。
位置特定・雲台制御装置３０は、図４に示すように、情報集約手段３１と、識別情報付加手段３３と、追尾対象決定手段（追尾手段）３５と、雲台制御手段（ロボットカメラ制御手段）３７とを備える。

情報集約手段３１は、動体検出装置２０（動体検出手段２６）から動体検出情報を取得し、取得した動体検出情報を集約するものである。本実施形態では、情報集約手段３１は、３台全ての動体検出装置２０から動体検出情報を取得したか否かを判定する。そして、情報集約手段３１は、３台分の動体検出情報を取得した場合、例えば、タイムコードにより同一時刻の動体検出情報を対応付けて、識別情報付加手段３３に出力する。

識別情報付加手段３３は、情報集約手段３１からの動体検出情報に識別情報を付加するものである。本実施形態では、識別情報付加手段３３は、過去から現在までの動体検出情報を参照し、その位置に基づいて前後するフレームで同一と思われる動体を判定し、同一の識別情報を付加する。具体的には、識別情報付加手段３３は、鳥などの誤検出を抑制するため、数フレームにわたって一定の速度、方向で動体が動いている場合、同一の識別情報を動体検出情報に付加する。

また、識別情報付加手段３３は、動体検出情報の所属エリアを参照し、その動体が航空機特定エリア（進入路エリア及び滑走路エリア）を過去に一度でも通過している場合、航空機として特定したことを示す特定情報を動体検出情報に付加する。さらに、識別情報付加手段３３は、同一の識別情報が付与された動体検出情報について、その動体の位置変化量から動体の速度を算出し、算出した速度を動体検出情報に付加する。
その後、識別情報付加手段３３は、動体検出情報を追尾対象決定手段３５に出力する。

これにより、航空機が着陸時に滑走路を逸脱した場合や、航空機が着陸復行のために再上昇した場合でも、同一の識別情報が付加されているので追尾を継続できる。さらには、航空機が別のセンサカメラ１０の撮影画角に移動した場合でも、同一の識別情報が付加されているので追尾を継続できる。

追尾対象決定手段３５は、識別情報付加手段３３からの動体検出情報に基づいて航空機毎にスコアを算出し、算出したスコアに基づいて追尾対象の航空機を決定するものである。そして、追尾対象決定手段３５は、追尾対象の情報として、その航空機の位置、速度、加速度及びサイズを雲台制御手段３７に出力する。

＜スコアに基づいた航空機の決定＞
以下、スコアに基づいた航空機の決定について、具体的に説明する。
本実施形態では、追尾対象決定手段３５は、特定情報が付加されている動体検出情報について、スコアを算出する。つまり、追尾対象決定手段３５は、特定情報が付加されていない動体検出情報から、スコアを算出しない。

まず、追尾対象決定手段３５は、航空機の速度に応じた速度スコアを加算する。つまり、追尾対象決定手段３５は、動体検出情報の速度を参照し、その速度に応じた速度スコアを加算する。この速度スコアは、航空機の速度に応じて予め設定されている（例えば、０ポイント〜５００ポイント）。

また、追尾対象決定手段３５は、航空機が上空で検出された場合、上空エリアスコア（第１のエリアスコア）を加算する。つまり、追尾対象決定手段３５は、動体検出情報の所属エリアが上空エリアＳ（図５）の場合、上空エリアスコアを加算する。この上空エリアスコアは、速度スコアよりも高い値で予め設定されている（例えば、１０００ポイント）。

また、追尾対象決定手段３５は、航空機が進入路又は滑走路で検出された場合、特定エリアスコア（第２のエリアスコア）を加算する。つまり、追尾対象決定手段３５は、動体検出情報の所属エリアが滑走路エリアＲ又は進入路エリアＡ_Ｌ（図５）の場合、特定エリアスコアを加算する。この特定エリアスコアは、上空エリアスコアよりも高い値で予め設定されている（例えば、２０００ポイント）。

そして、追尾対象決定手段３５は、速度スコア及びエリアスコアの合計値が最も高くなる航空機を追尾対象として決定する。図１４に示すように、滑走路上で航空機Ｏｂｊ_４が滑走し、誘導路に航空機Ｏｂｊ_５が位置する場合を考える。この場合、滑走中の航空機Ｏｂｊ_４が航空機Ｏｂｊ_５より速いので、航空機Ｏｂｊ_４の速度スコアが航空機Ｏｂｊ_５より高くなる。また、航空機Ｏｂｊ_４が滑走路に位置し、航空機Ｏｂｊ_５が誘導路に位置するので、航空機Ｏｂｊ_４のエリアスコアも航空機Ｏｂｊ_５より高くなる。その結果、追尾対象決定手段３５は、図１４のセンサ映像９０_Ｃにおいて、航空機Ｏｂｊ_４を追尾対象として決定する。

なお、追尾対象決定手段３５は、特定情報が付加されている動体検出情報が１つのみの場合（つまり、航空機が１機しか検出されていない場合）、スコアを算出せずに、その航空機を追尾対象として即座に決定してもよい。

＜追尾対象決定手段３５における他の処理＞
ここで、追尾対象決定手段３５は、スコアに基づいた航空機の決定の他、以下の処理を行ってもよい。
例えば、追尾対象決定手段３５は、追尾対象となる航空機が存在せず、かつ、動体検出装置２０（動体検出手段２６）から遠方動体検出情報が入力された場合、定位置制御を行うと決定する。この場合、追尾対象決定手段３５は、定位置制御指令を雲台制御手段３７に出力する。この定位置制御とは、例えば、図６の進入路エリアＡ_Ｈを撮影映像に収めるように予め設定された撮影方向及び撮影画角で、ロボットカメラ４０に撮影させることである。

また、追尾対象決定手段３５は、航空機が建物や他の航空機の背後に隠れたときなど、航空機の検出が途絶えた場合、予め設定した再検出時間だけ、ベイズ推定に基づいて追尾速度から航空機の推定位置を求め、その推定位置で航空機が再検出されるのを待つ。そして、追尾対象決定手段３５は、その推定位置で航空機が再検出されると、追尾を継続する。

また、追尾対象決定手段３５は、再検出時間経過しても航空機が再検出されなかった場合、推定位置制御指令を雲台制御手段３７に出力する。この推定位置制御とは、事故映像の撮影可能性を高くするため、現時点での航空機の推定位置を中心として、広い撮影画角でロボットカメラ４０に撮影させることである。

また、追尾対象決定手段３５は、推定位置制御指令を出力後、予め設定した待機時間経過しても航空機が再検出されなかった場合、待機位置制御指令を雲台制御手段３７に出力する。この待機位置制御とは、例えば、進入路エリアなど事故発生率が高い箇所を撮影映像に収めるように予め設定された撮影方向及び撮影画角で、ロボットカメラ４０に撮影させることである。

図４に戻り、位置特定・雲台制御装置３０の説明を続ける。
雲台制御手段３７は、追尾対象決定手段３５からの追尾対象の位置に基づいて、ロボットカメラ４０（雲台４３）を制御するものである。本実施形態では、雲台制御手段３７は、追尾対象となる航空機をロボットカメラ４０が追尾して撮影できるように、一般的なフィードバック制御を行う。

ここで、雲台制御手段３７は、追尾対象決定手段３５から入力された航空機のサイズに応じて、ロボットカメラ４０のズームを制御する。具体的には、雲台制御手段３７は、航空機のサイズが大きくなる程にズームアウトし、航空機のサイズが小さくなる程にズームインする制御を行う。また、航空機の速度がロボットカメラ４０の最大動作速度を超える場合、雲台制御手段３７は、ズームアウトする制御を行ってもよい。

また、雲台制御手段３７は、追尾対象決定手段３５から定位置制御指令が入力された場合、ロボットカメラ４０の定位置制御を行う。また、雲台制御手段３７は、追尾対象決定手段３５から推定位置制御指令が入力された場合、ロボットカメラ４０の推定位置制御を行う。また、雲台制御手段３７は、追尾対象決定手段３５から待機位置制御指令が入力された場合、ロボットカメラ４０の待機位置制御を行う。

以上より、航空機追尾撮影システム１は、図１５に示すように、センサ映像９０に映っている離発着中の航空機を追尾し、ロボットカメラ４０で撮影することができる。さらに、航空機追尾撮影システム１は、図１６に示すように、同一の航空機がセンサ映像９０_Ｃ，９０_Ｒに映っている場合でも、追尾対象決定手段３５により航空機を追尾することができる。
なお、図１５，図１６では、添え字ｔが時刻を表し、航空機として検出された領域を一点鎖線で図示した。

［航空機追尾撮影システムの動作］
図１７を参照し、航空機追尾撮影システム１の動作について説明する。
なお、図１７では、図面を見やすくするため、センサカメラ１０及び動体検出装置２０を１台のみ図示した。また、各センサカメラ１０及び各動体検出装置２０の処理は同一のため、重複説明を省略する。
また、図１７では、記憶手段２２がエリア情報及び変換情報を記憶しており、昼夜判定手段２１が昼間と判定したこととする。

センサカメラ１０は、航空機を撮影したセンサ映像を生成し、生成したセンサ映像９０を動体検出装置２０に出力する（ステップＳ１）。
差分画像生成手段２３は、センサ映像から差分画像を生成する。つまり、差分画像生成手段２３は、センサ映像で前後するフレーム間で画素毎に輝度差を求め、求めた輝度差を表す差分画像を生成する（ステップＳ２）。

差分領域検出手段２４は、低感度モード及び高感度モードのそれぞれで、ステップＳ２で生成した差分画像から差分領域を検出する。つまり、差分領域検出手段２４は、輝度差が閾値以上となる各画素について、近いもの同士をグループ化して差分領域を生成する（ステップＳ３）。

動体検出手段２６は、ステップＳ３で生成した差分領域のうち、所定のフレーム数以上にわたり位置が変化する差分領域を抽出する。そして、動体検出手段２６は、記憶手段２２のエリア情報を参照し、抽出した差分領域の位置及び検出感度により動体を検出し、動体検出情報を生成する。例えば、動体検出手段２６は、マスクエリアＭ以外の各エリアから動体を検出し、マスクエリアＭから動体を検出しない（ステップＳ４）。
動体検出手段２６は、ステップＳ４で生成した動体検出情報を情報集約手段３１に出力する（ステップＳ５）。

情報集約手段３１は、３台全ての動体検出装置２０から動体検出情報を取得したか否かを判定し（ステップＳ６）、全ての動体検出情報を取得するまで処理を待つ（ステップＳ６でＮｏ）。

全ての動体検出情報を取得した場合（ステップＳ６でＹｅｓ）、識別情報付加手段３３は、ステップＳ６で取得した動体検出情報に識別情報を付加する。ここでは、識別情報付加手段３３は、過去から現在までの動体検出情報を参照し、動体の検出位置に基づいて前後するフレームで同一と思われる動体を判定し、その動体に対応する動体検出情報に同一の識別情報を付加する。さらに、識別情報付加手段３３は、動体検出情報を参照すれば動体の軌跡が分かるので、その動体が航空機特定エリアを過去に一度でも通過している場合、航空機として特定したことを示す特定情報を動体検出情報に付加する。さらに、識別情報付加手段３３は、同一の識別情報が付与された動体検出情報について、その動体の位置変化量から動体の速度を算出し、算出した速度を動体検出情報に付加する（ステップＳ７）。

追尾対象決定手段３５は、動体検出情報の所属エリア及び速度に基づいて、航空機として特定された動体毎にスコアを算出する。具体的には、追尾対象決定手段３５は、動体の速度に応じた速度スコアを加算する。さらに、追尾対象決定手段３５は、動体の所属エリアに応じたエリアスコアを加減算する。そして、追尾対象決定手段３５は、速度スコア及びエリアスコアの合計値が最も高くなる動体を追尾対象の航空機として決定する（ステップＳ８）。

雲台制御手段３７は、ステップＳ８で決定した航空機の位置に基づいて、ロボットカメラ４０の制御信号を生成する。ここでは、雲台制御手段３７は、追尾対象の航空機をロボットカメラ４０が追尾して撮影できるように、一般的なフィードバック制御を行う（ステップＳ９）。

雲台制御手段３７は、ステップＳ９で生成した制御信号をロボットカメラ４０に出力する（ステップＳ１０）。
ロボットカメラ４０は、制御信号に基づいて航空機を追尾、撮影する（ステップＳ１１）。

［作用・効果］
以上のように、本発明の実施形態にかかる航空機追尾撮影システム１は、フレーム間差分による動体検出と、エリア情報による追尾対象の決定を行うので、テンプレートマッチングのように夜間で急激に検出精度が低下せず、昼夜を問わずに航空機を正確に追尾することができる。

さらに、航空機追尾撮影システム１は、動体の過去の軌跡に基づいて追尾対象を決定するため、予期しない進路に逸脱した動体も正確に追尾することができる。
さらに、航空機追尾撮影システム１は、センサ映像９０を用いるので、ＡＤＳ-Ｂ信号を発しない航空機も追尾することができる。

以上、本発明の実施形態を詳述してきたが、本発明は前記した各実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
前記した実施形態では、センサカメラが３台であることとして説明したが、本発明は、これに限定されない。例えば、１台の超広角カメラをセンサカメラとして用いてもよく、２台以上のセンサカメラを用いてもよい。

前記した実施形態では、センサカメラ毎に動体検出装置を備えることとして説明したが、本発明は、これに限定されない。例えば、１台の動体検出装置で各センサカメラのセンサ映像を画像解析してもよい。
また、前記した実施形態では、動体検出装置及び位置特定・雲台制御装置が別々の構成であることとして説明したが、本発明は、動体検出装置及び位置特定・雲台制御装置を一体化してもよい。

前記した実施形態では、動体が航空機であることとして説明したが、本発明は、これに限定されない。すなわち、本発明では、動体が移動するものであれば特に限定されない。特に、動体は、一定の方向に移動するものであれば好ましく、例えば、船舶、鉄道、自動車などがある。さらに、本発明は、陸上競技の選手などを動体として撮影するスポーツ映像にも適用できる。

前記した実施形態では、ロボットカメラに航空機を追尾させることとして説明したが、本発明は、これに限定されない。例えば、本発明は、映像上で航空機を追跡（トラッキング）する手法に適用してもよい。

前記した実施形態では、具体的なスコア（ポイント数）を例示したが、本発明は、これに限定されない。例えば、各空港の環境に応じて、各エリアに応じたスコアを手動で設定すればよい。

前記した実施形態では、動体追尾装置を独立したハードウェアとして説明したが、本発明は、これに限定されない。例えば、本発明は、コンピュータが備えるＣＰＵ、メモリ、ハードディスク等のハードウェア資源を、前記した動体追尾装置として協調動作させる動体追尾プログラムで実現することもできる。これらのプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

１ 航空機追尾撮影システム
１０，１０_Ｒ，１０_Ｃ，１０_Ｌ センサカメラ
２０，２０_Ｒ，２０_Ｃ，２０_Ｌ 動体検出装置
２１ 昼夜判定手段
２２ 記憶手段
２３ 差分画像生成手段
２４ 差分領域検出手段
２５ 動体検出手段
２６ ライト検出手段
３０ 位置特定・雲台制御装置
３１ 情報集約手段
３３ 識別情報付加手段
３５ 追尾対象決定手段（追尾手段）
３７ 雲台制御手段（ロボットカメラ制御手段）
４０ ロボットカメラ

Claims (8)

1. センサカメラで動体を撮影したセンサ映像を用いて、追尾対象となる前記動体を追尾する動体追尾装置であって、
   前記センサ映像から差分画像を生成する差分画像生成手段と、
   低感度モード及び前記低感度モードより検出感度が高い高感度モードのそれぞれで、前記差分画像から差分領域を検出する差分領域検出手段と、
   前記低感度モードにおいて、前記センサ映像内で前記動体を前記追尾対象として特定するための追尾対象特定エリア及び前記追尾対象が通過しないマスクエリアと、前記高感度モードにおいて、前記追尾対象の検出エリア誤りを防止するための誤検出防止エリアとを表すエリア情報を予め記憶する記憶手段と、
   予め設定されたフレーム数以上にわたり位置が変化する前記差分領域を抽出し、前記エリア情報を参照し、抽出した前記差分領域の位置及び前記検出感度により前記動体を検出し、検出した当該動体の位置及び所属エリアを表す動体検出情報を生成する動体検出手段と、
   前記動体検出情報に基づいて前記動体毎にスコアを算出し、算出した前記スコアに基づいて前記追尾対象を決定する追尾手段と、
   を備えることを特徴とする動体追尾装置。
2. 前記追尾対象は、航空機であり、
   前記記憶手段は、前記追尾対象特定エリアとして前記センサ映像内の進入路エリア及び滑走路エリアを表し、前記誤検出防止エリアとして前記センサ映像内の誘導路エリアを表す前記エリア情報を記憶し、
   前記動体検出情報に基づいて前記動体が同一であるか否かを判定し、同一の前記動体に同一の識別情報を付加し、前記動体が前記進入路エリア又は前記滑走路エリアを過去に通過した場合、当該動体を航空機として特定する識別情報付加手段、をさらに備え、
   前記追尾手段は、前記識別情報付加手段が航空機として特定した動体のスコアを算出することを特徴とする請求項１に記載の動体追尾装置。
3. 前記記憶手段は、前記低感度モードにおいて、前記センサ映像内の上空エリアがさらに設定された前記エリア情報を記憶し、
   前記動体検出手段は、
   前記低感度モードで前記進入路エリア又は前記上空エリアに含まれる動体を検出し、
   前記低感度モードで前記滑走路エリアに含まれ、かつ、前記高感度モードで前記誘導路エリアに含まれない動体を前記滑走路エリアの動体として検出し、
   前記低感度モードで前記滑走路エリアに含まれ、かつ、前記高感度モードで前記誘導路エリアに含まれる動体を前記誘導路エリアの動体として検出し、
   前記低感度モードで前記マスクエリアに含まれる動体を検出しないことを特徴とする請求項２に記載の動体追尾装置。
4. 前記識別情報付加手段は、同一の前記識別情報が付与された動体検出情報について、前記動体の位置変化量に基づいて前記動体の速度を算出し、
   前記追尾手段は、
   前記動体に応じて予め設定された速度スコアを加算し、
   前記動体の所属エリアが前記上空エリアの場合、前記速度スコアよりも高い第１のエリアスコアを加算し、
   前記動体の所属エリアが前記進入路エリア又は前記滑走路エリアの場合、前記第１のエリアスコアよりも高い第２のエリアスコアを加算し、
   前記速度スコア及びエリアスコアの合計値が最も高くなる動体を前記追尾対象として決定することを特徴とする請求項３に記載の動体追尾装置。
5. 時刻に基づいて夜間であるか否かを判定する昼夜判定手段、をさらに備え、
   前記差分領域検出手段は、夜間と判定されたときに前記低感度モードのみで前記差分領域を検出し、
   前記動体検出手段は、夜間と判定されたときに、前記低感度モードで前記進入路エリアに含まれる動体を検出し、前記低感度モードで前記マスクエリアに含まれる動体を検出しないことを特徴とする請求項２から請求項４の何れか一項に記載の動体追尾装置。
6. 前記追尾手段が出力した追尾対象の位置に基づいて、前記動体を撮影するロボットカメラを制御するロボットカメラ制御手段、をさらに備えることを特徴とする請求項２から請求項５の何れか一項に記載の動体追尾装置。
7. 前記記憶手段は、前記高感度モードにおいて前記進入路エリアと、夜間用進入路エリアとがさらに設定された前記エリア情報を記憶し、
   夜間と判定されたとき、前記センサ映像内の前記夜間用進入路エリアにおいて、予め設定された輝度値以上の画素エリアを、前記航空機のライトとして検出するライト検出手段、をさらに備え、
   前記動体検出手段は、
   昼間と判定されたときに、前記低感度モードで前記進入路エリアに含まれず、かつ、前記高感度モードで前記進入路エリアに含まれる動体を遠方動体としてさらに検出し、
   夜間と判定されたときに、前記低感度モードで前記動体が検出されない場合、前記ライト検出手段が検出した航空機のライトを前記遠方動体としてさらに検出し、
   前記追尾手段は、前記追尾対象が存在せず、かつ、前記遠方動体を検出した場合、定位置制御を行うと決定し、
   前記ロボットカメラ制御手段は、前記追尾手段が前記定位置制御を行うと決定した場合、予め設定された撮影方向及び撮影画角で撮影するように前記ロボットカメラを制御することを特徴とする請求項６に記載の動体追尾装置。
8. コンピュータを、請求項１から請求項７の何れか一項に記載の動体追尾装置として機能させるための動体追尾プログラム。

Images