JP2011171829A

JP2011171829A - 移動体画像追尾装置

Info

Publication number: JP2011171829A
Application number: JP2010031485A
Authority: JP
Inventors: Hiroaki Nakamura; 博昭中村
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-02-16
Filing date: 2010-02-16
Publication date: 2011-09-01
Anticipated expiration: 2030-02-16
Also published as: JP5197647B2

Abstract

【課題】２軸ジンバル構造であっても追尾性能を改善可能な移動体画像追尾装置の提供
【解決手段】
２軸ジンバル構造であって、移動体を撮影して画像データを取得する取得部と、追尾誤差を検出する第１検出部と、回転部ごとの姿勢を示す角度を検出する第２検出部と、前記角度と、前記追尾誤差とに基づいて、前記移動体の軌道を推定する推定部と、推定された前記移動体の軌跡と、前記天頂との位置関係を求める第１の算出部と、前記追尾誤差と、前記角度とに基づいて、前記移動体を追尾するよう前記駆動機構を制御する第１の指令を生成する第１の生成部と、前記位置関係と、前記追尾誤差と、前記角度とに基づいて、天頂付近において前記移動体の軌跡が前記天頂から離れるようにシフトさせた補正軌道を求め、前記補正軌道を追尾するよう制御する第２の指令を生成する第２の生成部と、前記第１の指令または前記第２の指令のいずれかを選択する選択部とを備える。

【選択図】図１

Description

本発明は、広範囲にわたり移動する目標に対して、カメラ等のセンサで追尾する移動体画像追尾装置に関する。

近年、空港やプラント等の大型施設、及び発電所や水道施設等のライフラインに関係する施設で保安設備、並びにＩＴＳ（ＩｎｔｅｌｌｉｇｅｎｔＴｒａｎｓｐｏｒｔＳｙｓｔｅｍ）等の交通情報支援システムにおいて、ＩＴＶ（Ｉｎｄｕｓｔｒｉａｌｔｅｌｅｖｉｓｉｏｎ）カメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上への設置だけでなく、移動可能な車両、船舶又は航空機等への搭載を想定している。そのため、小型かつ耐震性を考慮した構造で、振動又は動揺に対する外乱抑圧を行っている。さらに、複数の対象物を順次、追尾できるように旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。

このような移動体画像追尾システムでは、広範囲に渡り移動する目標に対して追尾するために、２軸以上の回転軸を備えるジンバル構造を採用していることが多い。２軸ジンバルでは、対象物が天頂、もしくは天頂付近を通過する場合に、ジンバルロックと呼ばれる現象が起こる場合がある。これは、天頂や、天頂付近では１つのジンバルに対して非常に大きな角速度で回転駆動するよう指示がなされるため生じる現象である。２軸ジンバル構造で天頂付近の追尾を行うためには、瞬時に約180度の回転駆動可能なモータが必要となる。しかしながら、実際に、天頂や、天頂付近で追尾するような角速度での回転駆動の実現は困難な場合が多く、連続した追跡ができなかった。

広範囲にわたり連続追尾が可能なように、３軸ジンバル構造を用いる技術が提案されている（例えば、特許文献１参照）。３軸ジンバル構造を用いた場合、２軸ジンバルと比較して、１軸増えているために構造が複雑化してしまっていた。また、モータ等の駆動手段も増えるため、小型化や低コスト化が難しい。また、カメラ等を搭載するためxEL軸の負荷慣性が大きく、Az軸とxEL軸との軸干渉の影響が生じる可能性がある。

特開２００６−１０６９１０号公報

本発明は、上記課題に鑑みてなされたものであって、２軸ジンバル構造であっても追尾性能を改善可能な移動体画像追尾装置を提供することを目的とする。

上述の課題を解決するため、本発明の一態様に係る移動体画像追尾装置は、垂直方向に向けられ回動可能に支持される第１回転部と、垂直方向と直交する水平方向に設けられ、回動可能に支持され水平方向の正面から天頂に向け回転が可能な第２回転部と、を有する２軸ジンバル構造と、前記第１回転部と前記第２回転部にそれぞれ連結され、前記第１回転部と前記第２回転部を個別に回転駆動する駆動部と、前記第２回転部に支持され、移動体を撮影して画像データを取得する取得部と、前記画像データ内での前記移動体の位置の相対的なずれ量を示す追尾誤差を検出する第１検出部と、前記第１回転部と前記第２回転部ごとの姿勢を示す角度を検出する第２検出部と、前記角度と、前記追尾誤差とに基づいて、前記移動体の軌道を推定する推定部と、推定された前記移動体の軌跡と、前記天頂との位置関係を求める第１の算出部と、前記追尾誤差と、前記角度とに基づいて、前記移動体を追尾するよう前記駆動機構を制御する第１の指令を生成する第１の生成部と、前記位置関係と、前記追尾誤差と、前記角度とに基づいて、天頂付近において前記移動体の軌跡が前記天頂から離れるようにシフトさせた補正軌道を求め、前記補正軌道を追尾するよう前記駆動機構を制御する第２の指令を生成する第２の生成部と、前記位置関係に基づいて前記第１の指令または前記第２の指令のいずれかを選択する選択部とを具備する。

第１実施形態の移動体画像追尾装置の構造の一例を示す模式図。第１実施形態の移動体画像追尾装置の構成を簡略化して表した図。第１実施形態の天頂補正制御系を示すブロック線図。画像追尾概要を示す模式図。移動体軌跡と視軸軌跡の概要を示す図。２次元平面として、補正範囲を拡大した図。天頂付近での視軸と移動体との位置関係を示す図。第１実施形態の天頂補正制御のフローチャート。第１実施形態の補正制御の適用有無を比較において、角速度指令の一例を示した図。第１実施形態の補正制御の適用有無を比較において、追尾誤差改善の一例を示した図。第１実施形態の補正制御の適用有無を比較において、ジンバル天頂座標系での視軸のベクトル軌跡を示す図。第１実施形態の評価関数と閾値との関係を示す図。追尾誤差検出部の動作を説明する図。

以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
以下の各実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用した例について示すものである。

（第１の実施形態）
図１は、本実施形態で使用するジンバル機構の構造の一例を示す図である。本実施形態のジンバル機構２００は、カメラ追尾システムに適用される。本実施形態のカメラ追尾システムは、エレベーション軸（以下、ＥＬ軸という）周り及びアジマス軸（以下、ＡＺ軸という）の２つの軸周りに回動可能なジンバル（回転部２１、２３）を有する２軸シンバル構造である。これらのＡＺ軸、ＥＬ軸が一点において直交する２軸ジンバル構造により、所望の位置にカメラセンサの視軸方向を移動させる。

本実施形態に係るジンバル機構２００は、ベース部２４と、アジマス軸回転部（以下、ＡＺ回転部という）２１と、一対の支持部材２２と、エレベーション軸回転部（以下、ＥＬ回転部という）２３を有する。
ＡＺ回転部２１の回転に伴って、一対の支持部材２２、及びＥＬ回転部２３がＡＺ軸周りに回転する。モータ軸としてのシャフト（図示しない）と、シャフトを駆動する駆動機構（図示しない）を有する。ＡＺ回転部２１の上面には、一対の支持部材２２が固定された状態で立設されている。そして、シャフトの中心軸（ＡＺ軸）線の周りに沿ってＡＺ回転部２１は回転自在になっている。

ＥＬ回転部２３は、内部にカメラセンサを搭載するとともに、その両側面部が一対の支持部材２２に軸受けされたものである。このＥＬ回転部２３は、内部に、モータ軸であるシャフトと、このシャフトを駆動する駆動機構とをさらに備え、シャフトの中心軸（ＥＬ軸）線の周りに沿って回動可能となっている。

ＡＺ軸周りとＥＬ軸周りとの２つの駆動機構によって、カメラセンサを搭載するＥＬ回転部２３が、ＥＬ軸周りに回動し、また、ＡＺ回転部２１が、ＡＺ軸周りに回動する。カメラセンサが撮像する視野の方向が視軸方向である。
また、ＥＬ回転部２３、支持部材２２、ＡＺ回転部２１及びベース部２４は、ともに、透明又は半透明の外装部材（図示しない）やシール部材（図示しない）によって覆われるようにもできる。この外装部材やシール部材により、本実施形態に係るカメラ追尾システムに内蔵されるカメラセンサや電子機器は、その外界からの影響を遮断されるため、屋外に設置された場合においても保護される。

図２は、本実施形態の移動体画像追尾装置を示す図である。
本実施形態の移動体画像追尾装置は、ジンバル機構２００、ＡＺ回転部２１を回転駆動する第１の駆動部１０１、ＥＬ回転部２３を回転駆動する第２の駆動部１０２、ＡＺ回転部２１の角速度を検出する第１の角速度センサ１０３、ＥＬ回転部２３の角速度を検出する第２の角速度センサ１０４、ＡＺ回転部２１の初期位置からみた現在位置の回転角度θ_１（以下、第１のジンバル角度と記載）を検出する第１の角度センサ１０５、ＥＬ回転部２３の初期位置からみた現在位置の回転角度θ_２（以下、第２のジンバル角度と記載）を検出する第２の角度センサ１０６、カメラセンサ１０７、追尾誤差検出部１０８、移動体方向推定部１０９、天頂ずれ量計算部１１０、角速度指令生成部１１１、補正角速度指令生成部１１２、角速度指令選択部１１３、駆動制御部１１４を有する。駆動制御部１１４は、第１のサーボ制御部１１４１、第２のサーボ制御部１１４２を有する。

カメラセンサ１０７は、ＥＬ回転部２３に支持され、視軸方向の画像データを得る。

追尾誤差検出部１０８は、カメラセンサ１０７から取得した画像データに画像処理を施して移動体を認識し、認識された移動体の追尾誤差を検出する。例えば、カメラセンサ１０７から取得した画像データを２値化により白黒画像にし、移動体の特徴点を抽出する画像処理を行う。抽出された特徴点のカメラ視野内での位置を識別し、視野中心からの２方向のずれ量（ΔＸ、ΔＹ）を追尾誤差検出値とする。Ｘ軸は、撮像した画像の水平方向を、Ｙ軸は、画像の垂直方向を示す。視野中心とは、カメラセンサ１０７が撮像した画像の中心を示す。追尾誤差は、画像内での位置を示すものであればよく視野中心からのずれ量に限定されるものではない。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４を参照して説明する。

角速度指令生成部１１１は、追尾誤差検出部１０８から取得する２方向の追尾誤差と、第１の角度センサ１０５、第２の角度センサ１０６により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１、θ_２）とにより、移動体を追尾するよう回転部２１、２３を駆動する角速度指令値を生成する。AZ軸の回転角速度指令値は、第１の回転部２１の角速度を指示する信号である。また、EL軸の回転角速度は、第２の回転部２２の角速度を指示する信号である。角速度指令値の算出方法の詳細は後に図３を参照して説明する。

移動体方向推定部１０９は、追尾誤差検出部１０８から２方向の追尾誤差を取得し、第１、第２の角度センサ１０６のそれぞれから角度を取得して、移動体の進行方向を推定する。

天頂ずれ量計算部１１０は、移動体方向推定部１０９から移動体方向推定値を取得し、追尾誤差検出部１０８から２方向の追尾誤差を取得し、第１の角度センサ１０５、第２の角度センサ１０６のそれぞれから角度を取得し、推定される移動体の軌跡と天頂との距離が最小となった時点での近接距離である天頂ずれ量を計算する。

補正角速度指令生成部１１２は、移動体方向推定部１０９が求めた移動体の進行方向と、天頂ずれ量計算部１１０による天頂ずれ量と、追尾誤差検出部１０８から取得する２方向の追尾誤差と、第１の角度センサ１０５、第２の角度センサ１０６のそれぞれから角度を取得し、カメラセンサ１０７の視軸方向が、天頂及びその付近となるのを回避しつつ、移動体を追尾するよう補正角速度指令値を生成する。

角速度指令選択部１１３は、移動体が描くと推定される軌跡と天頂との距離に応じて、角速度指令生成部１１１による角速度指令値または補正角速度指令生成部１１２による補正角速度指令値のいずれかを選択し、駆動制御部１１４に送る。天頂との距離が近い場合は補正角速度指令生成部１１２による補正角速度指令値を選択し、距離が遠い場合は角速度指令生成部１１１による角速度指令値を選択する。詳細については後述する。

駆動制御部１１４は、角速度指令生成部１１１で生成された角速度指令値と、第１の角速度センサ１０３、第２の角速度センサ１０４で検出された角速度検出値との差を０にするように制御指令値を計算する。第１のサーボ制御部１１４１、第２のサーボ制御部１１４２は、それぞれ第１の角速度センサ１０３、第２の角速度センサ１０４に対応し、それぞれ第１の駆動部１０１、第２の駆動部１０２に対応する制御指令値を送る。

図３は、説明を簡略化するためにＡＺ軸、ＥＬ軸の２軸まとめて表した本実施形態の移動体画像追尾装置の制御系について示すブロック図である。ジンバル駆動部３０１は、第１の駆動部１０１または第２の駆動部１０２を示す。角速度センサ３０２は、第１の角速度センサ１０３または第２の角速度センサ１０４を示す。角度センサ３０３は、第１の角度センサ１０５または第２の角度センサ１０６を示す。
角速度指令生成部１１１は、追尾誤差検出部１０８から取得する２方向の追尾誤差と、第１の角度センサ１０５、第２の角度センサ１０６が検出した２軸の角度検出値（θ_１、θ_２）とにより、移動体を追尾するようにジンバル（回転部２１、２３）を駆動する角速度指令値(θ1r^・，θ2r^・)を生成する（数式中で時間微分を示す「ドット記号・の付された文字Ｐ」を、本文中では「Ｐ^・」と表記する）。２方向画像(ΔX, ΔY)から２軸ジンバルの各軸へ角速度を分配する手法の一つとして、追尾誤差と角度に対する角速度指令値の関係式を表すと、次式のように表される。

ここで、Kcは追尾ゲインである。また、secθは、θに関する正割関数であり、θ=90度で無限大となる。このため天頂や、天頂付近では第１の駆動部１０１に対して非常に大きな角速度指令が発生することとなり、これがジンバルロックの原因となっている。

本実施形態にかかる補正制御では、ジンバルの角度を検出する角度データ、ならびにカメラセンサ１０７からの追尾誤差検出値に基づいて、移動体方向推定部１０９で移動体の進行方向の推定を行う。天頂補正を適用する天頂補正範囲内では、ジンバル角度によって決まる視軸は、天頂付近を指向しており、移動体の位置は視軸と追尾誤差から推定することができる。第1のジンバル角度が0度、第２のジンバル角度が90度を基準としたジンバル天頂座標系において、視軸による移動体の位置成分(Xj,Yj)は、球面座標系からカルテシアン座標への変換を用いて、次式で表される。

天頂補正適用時には、必ず追尾誤差が発生していることから、視軸位置から追尾誤差による位置成分を訂正する必要がある。カメラ座標系はＡＺ回転部２１によって回転していることから、追尾誤差による移動体の位置成分(Xe,Ye)は、第１のジンバル角度による逆回転変換を用いて、次式で表される。

従って、ジンバル天頂座標系での移動体の位置(X,Y)は、次式で表される。

このようにして求まった移動体の推定位置を(X,Y)用いて、kサンプル間隔の差分(dx,dy)が次式で表される。

このようにして求まった差分(dx,dy)を用いて、移動体の進行方向θ_estは次式で表される。

また、このkサンプル間隔の差分(dx,dy)を用いることで、移動体速度ω_trgを推定することができ、カメラのサンプリング時間をΔTとすると、次式で表される。

天頂ずれ量計算部１１０は、このようにして求まった移動体方向推定値θ_est,ならびにジンバルの角度（θ_１、θ_２）、追尾誤差(ΔX,ΔY)を用いて、天頂ずれ量計算部１１０で移動体の天頂を基準とした近接度合いである天頂ずれ量θ_tsftを計算する。

ジンバル天頂座標系において、移動体の進行方向を表す直線は、次式で表される。

ここで、直線の傾きκ_trg,切片ｈ_trgは、それぞれ次式で表される。

補正角速度指令を適用する補正範囲は、ジンバル天頂座標系においては補正範囲閾角度θ_thを半径とした円であり、次式で表される。

移動体の進行方向を表す直線と補正範囲を表す円との交点は、連立方程式を解くことで得ることができる。２つの式から、xに関して、次式のように表すことができる。

ここで、各係数は、次式で表される。

２次方程式の解は２つ得られ、円と直線の２つの交点が得られる。この交点の中点が天頂に最も近接する点であることから、その座標x_mid,y_midは、次式で表すことができる。

この座標から、天頂ずれ量θ_tsftは、次式で表される。

補正角速度指令生成部１１２は、このようにして求まった天頂ずれ量θ_tsft、移動体方向推定値θ_est,移動体速度ω_trg、ならびにジンバル角度（θ_１、θ_２）、追尾誤差(ΔX,ΔY)を用いて、補正角速度指令を生成する。

ジンバル天頂座標系でのターゲット位置(xt,yt,zt)は、次式で表される

天頂付近でのジンバルの角加速度を低減するためには、このターゲット位置が天頂から遠い位置を通過することが必要となる。そこで、ターゲットが天頂から遠ざかった軌道を通過するように、仮想的にシフトした位置は、ターゲットの進行方向と考慮すると、次式で表される。

ここで、SFTは、仮想的にシフトさせるための関数である。本実施形態では、滑らかに画像追尾を行うために、補正範囲への進入度合いに比例してシフト量を増加させる特性を持たせ、EL角度の関数として次式で表される。

ここで、κ_sftは、機器に応じたゲインである。なお、このシフト関数は、この形態に限ったものではなく、所望の追尾特性を実現するために、適切な関数を選ぶことが可能である。

このような、シフト関数によって仮想的にターゲットの位置を天頂から遠ざかるようにシフトさせると、この位置における仮想的な追尾誤差[ex,ey]が、逆変換を用いて次式で表される。

このシフトした仮想的な追尾誤差(ex,ey)を、［数1］において(ΔX,ΔY)の代わりに用いることで、シフトした軌道を追尾するような補正角加速度指令(θ1rc^・，θ2rc^・)が計算される。

角速度指令選択部１１３は、このようにしても求まった角速度指令(θ1r^・，θ2r^・)と、補正角速度指令(θ1rc^・，θ2rc^・)とを選択を行う。補正角速度指令を適用するのは、天頂付近での追尾誤差によるＡＺ角速度指令が過大となり画像追尾の特性が落ちる場合に対してである。角速度指令選択部１１３が算出するＡＺ角加速度の評価関数は、天頂ずれ量と移動体速度とを変数とする次式で表される。

この式を整理すると、次式で評価関数は、次式で表される。

この評価関数によって求まる値（以下、評価値と記載）が任意の閾値以上のときには過大な角速度指令となるため、補正角速度指令を選択し、閾値より小さい場合には通常の角速度指令を選択する。

このようにして補正角速度指令生成部１１２で生成された各角速度センサに対応する角速度指令値と第１の角速度センサ１０３、第２の角速度センサ１０４で検出された角速度検出値との差を０にするように駆動制御部１１４で制御指令値が計算され、この制御指令値に従いジンバル機構が移動体を追尾するように駆動される。

以上のように移動体画像追尾装置が作動することにより、天頂付近で過大な角速度指令とならないため、天頂付近でも適切な追尾駆動をするための角速度指令を生成することが可能となる。

次に、カメラセンサ１０７が取得した画像の視野と移動体追尾について図４を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。ｘ軸及びｙ軸は、カメラ視野における位置を示す。また、原点は視野の中心を示す。移動体がカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追尾誤差検出値（ΔＸ、ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。追尾誤差は小さいことが望ましいが、追尾誤差が大きくともカメラ視野内に入っている限り、２軸のジンバル構造であっても移動体を追尾することができる。

次に、天頂範囲外から移動体が進入し、天頂付近を通過し、その後、天頂範囲外へ退出する場合の補正について、図５、図６、図７を参照して説明する。

図５は、移動体の軌跡と補正角速度駆動による視軸の軌跡の概要を表した図である。３次元の空間で表すと、半球状の広範囲に渡って視軸を指向することができる。これに対して、典型的な一例として移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合を考える。この図において、天頂から補正範囲閾角度θ_thの範囲が補正を適用する範囲となる。

図６は、天頂方向から２次元平面として、補正範囲を拡大して表した図である。この一例では移動体が下方より上方へ移動する場合である。下方より移動体を追尾誤差検出値に基づく角速度指令により追尾して、補正範囲に入った場合、移動体方向推定値θ_estは、ジンバル天頂座標系で９０度となる。このような場合では、［数２５]の評価値が閾値以上となるため、補正角速度指令が適用される。従って、［数２１]のシフト関数により仮想シフトした軌道を追尾するように、［数２３]により第１の駆動部１０１は補正角速度指令により駆動する。第２の駆動部１０２は、通常と同様のカメラセンサ１０７から取得した画像によって追尾誤差検出部１０８が検出した追尾誤差検出値に基づく角速度指令により駆動する。

図７は、移動体が最も天頂付近を通過した後の、視軸と移動体との位置関係を示した図である。補正角速度指令で駆動されると、天頂に近づくにつれＥＬ角度も９０度に近くなり、［数２１]のシフト関数もこれに応じて大きくなる。従って、点線のような視軸軌跡を描いて、移動体からシフトした位置に視軸が指向されるため、Ｘ方向追尾誤差、Ｙ方向追尾誤差が発生している。移動体が最も天頂付近を通過した後には、ＡＺ角度は進行方向に対して９０度以上となり、かつＥＬ角度が９０度から遠ざかるため、［数２１]のシフト関数は小さくなっていくため、視軸は元の移動体軌跡に近づいていく。このようにして、天頂より遠い位置を仮想的に追尾することで、ＡＺ角速度を低減して追尾を継続した後、［数２１]の評価値が閾値より小さくなった場合には、第１回転部２１は補正角速度指令からから追尾誤差検出値に基づく角速度指令に切り替えることで、継続して追尾が可能となる。

追尾誤差検出部１０８の動作の一例について図８を参照して説明する。
通常の追尾誤差検出値に基づく角速度指令によって駆動されている状態で、天頂付近に移動体が近づいている場合を考える。移動体方向推定部１０９は、［数６]によって、移動体方向の推定を行う（Ｓ８０１）。また、移動体方向推定部１０９は、［数７]によって移動体の速度も算出する。天頂ずれ量計算部１１０は、移動体方向推定値とジンバル角度と追尾誤差を用いて、［数１８]により天頂ずれ量を計算する（Ｓ８０２）。角速度指令選択部１１３は、この結果得られた天頂ずれ量と移動体速度を用いて、［数２５]により評価値を計算する（Ｓ８０３）。

角速度指令生成部１１１は、追尾誤差検出部１０８から取得する２方向の追尾誤差と、第１の角度センサ１０５、第２の角度センサ１０６により検出されるジンバル姿勢を表す２軸の角度検出値（θ_１、θ_２）とにより、移動体を追尾するようジンバル（回転部２１、２３）を駆動する角速度指令値を生成する（Ｓ８０４）。一方、補正が必要であると判断した場合には、補正角速度指令生成部１１２は、［数２１]により補正角速度指令を計算するためのシフト関数の計算を行う（Ｓ８０５）。補正角速度指令生成部１１２は、この結果得られたシフト関数の値を用いて、補正角速度指令を計算する（Ｓ８０６）。

角速度指令選択部１１３は、Ｓ８０３で算出した評価値が、閾値よりも小さいかを判定する（Ｓ８０７）。閾値よりも小さい場合には（Ｓ８０７，ＦＡＬＳＥ）、補正が必要でないと判断し、Ｓ８０４で生成された通常の角速度指令を選択して、駆動制御部１１４へ渡す（Ｓ８０９）。閾値よりも大きい場合には（Ｓ８０７，ＴＲＵＥ）、補正角速度指令を選択して、駆動制御部１１４へ渡す（Ｓ８０８）。駆動制御部１１４へ渡した後、再び次の追尾誤差のサンプルリングでは、移動体方向の計算（Ｓ８０１）へ戻り、計算を繰り返していく。

次に、移動体は天頂よりわずかにずれた位置を正面から背面に渡って移動する場合に、本実施形態の移動体画像追尾装置による補正制御の適用有無によって、追尾誤差の変化の一例について図９、図１０、図１１を参照して説明する。

緩やかに移動体が移動を開始し天頂付近を通過する場合、天頂に近いほどジンバルは正面から平面にＡＺ軸を大きく回転させる動作が伴い、ジンバル駆動特性の限界から、移動体の追尾特性が悪化する可能性が高い。

図９では、第１の駆動部１０１、第２の駆動部１０２それぞれに対して、駆動制御部１１４に与えられる角速度指令値を、図９（ａ）補正信号がある場合、図９（ｂ）補正信号が無い場合についてそれぞれ時間に対して図示したものである。ＡＺ軸回転部２１がＡＺ、ＥＬ回転部２３がＥＬに対応している。補正なしの場合では、天頂付近で、非常に大きなＡＺ軸角速度指令が与えられているが、ジンバル駆動特性の限界から指令に追尾することができない。これに対して、補正ありの場合では、ジンバル駆動特性で十二分に追尾することができる角速度指令となっている。

図１０では、カメラ追尾誤差のｘ成分とｙ成分をそれぞれ時間に対して図示したものである。図１０（ａ）シフト関数による補正なしの場合の追尾誤差を、図１０（ｂ）シフト関数による補正ありの場合の追尾誤差を示している。補正なしの場合には、非常に大きなＡＺ角速度指令となるため、ジンバル駆動特性の限界から追尾誤差が大きくなり、追尾誤差検出範囲を超えてしまって、追尾特性が劣化してしまっている。これに対して、補正ありの場合では、追尾誤差検出範囲を超えることなく移動体を追尾していることを示している。顕著な特徴として、Timeが2.2[s]付近での天頂通過時に、追尾誤差が大きくなっている。しかし、カメラ視野に収まっており、安定した追尾が可能である。

図１１では、ジンバル天頂座標系での視軸のベクトル軌跡を図示したものである。図１１（ａ）は、シフト関数による補正なしの場合のベクトル軌跡を、図１１（ｂ）は、シフト関数による補正ありの場合のベクトル軌跡を示している。破線の円は補正範囲を表している。移動体は点線の上を下方から上方へ移動している。実線で視軸の軌跡を示している。補正を適用しない場合では、天頂付近を通過した後に、視軸が移動体から離れてしまっており、追尾特性が劣化していることが分かる。これに対して、補正を適用する場合では、天頂付近を通過する最には、移動体から天頂から遠ざかる方向へ離れた位置を視軸は移動しているが、天頂付近通過後には移動体と視軸と一致するように元に戻っている。

図１２は、評価関数と閾値との関係について説明する図である。図１２では、天頂ずれ量と移動体速度に対する［数２５]の評価値を３次元で図示したものである。ここでは、閾値を評価値１１として図示しており、それよりも小さな評価値の場合には点を合わせて示している。天頂ずれ量が小さいときには、評価値が大きくなる。また、移動体速度が速い場合にも評価値が大きくなる。天頂ずれ量がある程度大きくても、移動体速度が速い場合には評価値が大きくなっている。これらのような場合では、ＡＺ角加速度が過大となるため、通常のカメラセンサから取得した画像によって追尾誤差検出部１０８が検出した追尾誤差検出値に基づく角速度指令では、追尾特性が劣化してしまうため、補正角速度で駆動する必要がある。

以上の第１の実施形態によれば、補正制御を行うことで、天頂付近での過大な角速度指令によるジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追尾特性を改善することが可能となる。本実施形態によれば、センサを追加することなく、２軸ジンバル構造で、天頂付近でのジンバルの最大角速度を低減させることで追尾特性を改善し、モータの性能が低い場合でも、天頂付近で継続して移動体を追尾することが可能となる。

（第２の実施形態）
本実施形態では、シフト関数が、次式で表される式によって算出される点が第１の実施形態と異なる。

ここで、κ_stfは、機器に応じたゲインである。このようにすることで、ＥＬ角度が天頂に近づくほど仮想シフト量は大きくなり、また、移動体速度が速いほど仮想シフト量が大きくなる。

（第３の実施形態）
本実施形態では、角速度指令選択部１１３は、天頂ずれ量によって、通常の角速度指令と補正角速度指令とを切り替える。

図１３は、追尾誤差検出部１０８の動作を説明する図である。
予め、天頂ずれ量と、天頂付近の追尾可能限界が明らかになっている場合、天頂ずれ量が要補正範囲より大きな値である場合には、［数１]により計算された通常の角速度指令を選択して、駆動制御部１１４へ渡す。一方、要補正範囲内の値であり補正が必要であると判断した場合には、［数２１]により補正角速度指令を計算するためのシフト関数の計算を行う。その他については、第１の実施形態と同様の処理を行う。

以上のような実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、２軸ジンバル構造での天頂付近でも追尾が可能であり、移動体に搭載される追尾カメラシステムに有効である。

以上に示した実施形態によれば、ＥＬ軸回転部が正面から背面に指向可能な可動範囲を有し、天頂、ならびに天頂付近では、角度データに基づいて移動体速度推定値を計算し、補正角速度指令で駆動することで、２軸ジンバル構造であってもジンバルロックを回避し、移動体追尾の適切な角速度指令を生成することができ、追尾特性を改善することが可能となる。

これにより、構造が簡易な２軸ジンバル構造で、過大なモータ性能を必要とせず、天頂、ならびに天頂付近の追尾が可能となる。また、新たにセンサを付与する必要がなく、装置のコストを増やすことなく、追尾特性を改善することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

ジンバル機構２００
ベース部２４、アジマス軸回転部２１、支持部材２２、エレベーション軸回転部２３、
第１の駆動部１０１、第２の駆動部１０２、第１の角速度センサ１０３、第２の角速度センサ１０４、第１の角度センサ１０５、第２の角度センサ１０６、カメラセンサ１０７、追尾誤差検出部１０８、移動体方向推定部１０９、天頂ずれ量計算部１１０、角速度指令生成部１１１、補正角速度指令生成部１１２、角速度指令選択部１１３、駆動制御部１１４第１のサーボ制御部１１４１、第２のサーボ制御部１１４２

Claims

垂直方向に向けられ回動可能に支持される第１回転部と、垂直方向と直交する水平方向に設けられ、回動可能に支持され水平方向の正面から天頂に向け回転が可能な第２回転部と、を有する２軸ジンバル構造と、
前記第１回転部と前記第２回転部にそれぞれ連結され、前記第１回転部と前記第２回転部を個別に回転駆動する駆動部と、
前記第２回転部に支持され、移動体を撮影して画像データを取得する取得部と、
前記画像データ内での前記移動体の位置の相対的なずれ量を示す追尾誤差を検出する第１検出部と、
前記第１回転部と前記第２回転部ごとの姿勢を示す角度を検出する第２検出部と、
前記角度と、前記追尾誤差とに基づいて、前記移動体の軌道を推定する推定部と、
推定された前記移動体の軌跡と、前記天頂との位置関係を求める第１の算出部と、
前記追尾誤差と、前記角度とに基づいて、前記移動体を追尾するよう前記駆動機構を制御する第１の指令を生成する第１の生成部と、
前記位置関係と、前記追尾誤差と、前記角度とに基づいて、天頂付近において前記移動体の軌跡が前記天頂から離れるようにシフトさせた補正軌道を求め、前記補正軌道を追尾するよう前記駆動機構を制御する第２の指令を生成する第２の生成部と、
前記位置関係に基づいて前記第１の指令または前記第２の指令のいずれかを選択する選択部と、
を具備することを特徴とする移動体画像追尾装置。
前記選択部は、前記追尾誤差及び前記角度から算出される前記移動体の速度と、前記位置関係とに基づいて評価値を算出し、前記評価値に基づいて前記第１の指令または前記第２の指令のいずれかを選択することを特徴とする請求項１記載の移動体画像追尾装置。
前記選択部は、前記天頂と前記移動体の軌道との近接距離が大きいほど前記評価値の値を大きく、前記速度が大きいほど前記評価値の値を大きくなるような評価値を算出、前記評価値が特定の基準よりも大きい場合には、前記第２の指令を選択することを特徴とする請求項２記載の移動体画像追尾装置。
前記選択部は、前記天頂と前記移動体の軌道との近接距離が特定の基準よりも近い場合には、前記第２の指令を選択することを特徴とする請求項１記載の移動体画像追尾装置。
前記第２の生成部は、推定された前記移動体の軌跡の前記第２の回転部の前記角度が大きくなるに従って、前記移動体の軌跡が前記天頂からより大きく離れるようにシフトさせた前記補正軌道を求めることを特徴とする請求項２に記載の移動体画像追尾装置。
前記第２の生成部は、前記シフトさせた軌道と、推定された前記移動体の軌跡との差が、前記取得部における視野の範囲内であることを特徴とする請求項１〜４のいずれか１項記載の移動体画像追尾装置。