JP2009115621A - 移動体画像追尾装置 - Google Patents

Abstract

【課題】追尾性能の劣化を改善する
【解決手段】回転手段１１１，１２１，１３１と、回転手段を回転駆動する駆動手段１１２，１２２，１３２と、移動体を撮影して画像データを取得する取得手段１４０と、移動体の追尾誤差を追尾誤差検出値として検出する第１検出手段１７４と、姿勢を示す角度を検出する第２検出手段１１４，１２４，１３３と、角度と角度の時間微分とを使用して追尾誤差を追尾誤差推定値として推定する推定手段１７２と、移動体が視野内のとき追尾誤差検出値を選択し移動体が視野外のとき追尾誤差推定値を選択する選択手段１７３と、角度と選択された追尾誤差値とを使用して移動体を追尾するように回転手段を駆動する角速度指令値を計算する計算手段１５０と、回転手段の角速度を検出する第３検出手段１１３，１２３，１３３と、角速度指令値と角速度との差がなくなるように回転手段を制御する制御手段１６０と、を具備する。
【選択図】 図１

Description

本発明は、全方向に渡り移動する目標に対してカメラ等の目標認識センサを追尾させるための移動体画像追尾装置に関する。

近年、空港やプラントなど大型施設、及び発電所や水道施設などのライフラインに関わる施設での保安設備、並びにＩＴＳなどの交通情報支援システムなどにおいて、ＩＴＶカメラ等を用いて対象物を追跡し、継続した監視や詳細な情報を入手するシステムが多く商品化されている。これらのシステムは、地上設置型だけでなく、プラットホームとして車両、船舶または航空機などを想定し、小型かつ耐振性を考慮した構造で、振動・動揺に対する外乱抑圧を行っている。更に、複数の対象物を順次、追跡できるように、旋回速度を高速化し、対象物への指向を短時間に行えることが重要になってきている。

このような移動体画像追尾システムは、カメラセンサの視野範囲により対象物の追尾速度が制限される。つまり、移動体をカメラセンサにて撮影した際の追尾誤差が視野内に収まらなければ、移動体を見失ってしまう。ここで、カメラセンサは、撮影画像から追尾誤差を抽出する画像処理を経るため、撮影間隔、つまりサンプリング時間の高速化が難しく、追尾遅れが生じてしまう。このため、移動体画像追尾システムでは、移動体の移動速度が速くなった場合には、カメラ視野外になってしまい、追尾不能になる可能性がある。また、ジンバル機構の姿勢によっては、ジンバルロックを回避するために、ジンバル機構自体も瞬間的に高速に動く可能性があり、移動体速度が速くなった場合同様に、カメラ視野外になってしまう可能性がある。このような追尾状態からカメラ視野外になってしまった場合には、再度視野内に戻すことは難しい。これに加え、カメラセンサのサンプリング間隔が長い場合には、ジンバル機構を追尾駆動する角速度指令の更新も長い間隔が空いてしまう、つまりサンプリング時間の長い制御系となってしまい、これも追尾性能に影響を及ぼし、追尾遅れによるカメラ視野外の状態を招く問題となっている。

従来の画像追尾システムでは、追尾状態から視野外になった場合には、カメラセンサの追尾誤差による角速度指令生成から切り替えて、予め既定された角速度指令を与え、視野外になった方向へジンバル機構を指向させて、再度視野内に戻す試みがなされている場合がある（例えば、特許文献１参照）。

また、画像追尾システムにおいて画像が得られなくなって追尾不能状態において、推定を用いて問題を解決しようとする方法が考案させている。例えば、目標物からの画像情報が得られなくても目標位置を推定する手法として、測長センサにより目標物と画像追尾システムの距離を測定し、これにより目標位置を推定して補正する方法がある。

また、撮影画像の処理から、目標物の面積サイズや重心位置変化からコースとモードと追尾モードを切り替えて、追尾制御を補償する方法がある。
特開２００６−１０６９１０公報

このような従来技術では、全ての場合において適切に視野内復帰するような角速度指令を既定することが難しく、限られた場合にしか対応ができない。また、目標物と画像追尾システムとの距離を測定し推定する手法では、測長センサを必要とし、測長センサを搭載していない画像追尾システムにとっては、コストを増加してしまう。また、目標物の面積サイズや重心変化から追尾制御補償する手法では、画像処理への付加が増大し、サンプリング時間が増大する可能性があり、先に述べた長サンプリング時間に起因する追尾遅れには改善効果は難しい。

本発明は、上記に鑑みてなされたものであって、付加センサを追加することなく、追尾性能の劣化を改善する移動体画像追尾装置を提供することを目的とする。

上述の課題を解決するため、本発明の移動体画像追尾装置は、１軸以上の軸を中心に回転する１以上の回転手段と、前記回転手段を回転駆動する駆動手段と、前記回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、前記回転手段ごとに、前記回転手段の姿勢を示す角度を検出する第２検出手段と、前記角度と前記角度の時間微分とを使用して、前記追尾誤差を追尾誤差推定値として推定する推定手段と、前記移動体が前記画像の視野内である場合には前記追尾誤差検出値を選択し、前記移動体が前記画像の視野外である場合には前記追尾誤差推定値を選択する選択手段と、前記角度と前記選択手段が選択した追尾誤差値とを使用して、前記移動体を追尾するように前記回転手段を駆動する角速度指令値を計算する計算手段と、前記回転手段ごとに、前記回転手段の角速度を検出する第３検出手段と、前記角速度指令値と前記角速度との差がなくなるように前記回転手段を制御する制御手段と、を具備することを特徴とする。

本発明の移動体画像追尾装置によれば、付加センサを追加することなく、追尾性能の劣化を改善することができる。

以下、図面を参照しながら本発明の実施形態に係る移動体画像追尾装置について詳細に説明する。なお、以下の実施形態中では、同一の番号を付した部分については同様の動作を行うものとして、重ねての説明を省略する。
実施形態の移動体画像追尾装置は、移動体画像追尾機構の制御システムを、画像トラッキングシステムに適用したものである。

（第１の実施形態）
本実施形態の移動体画像追尾装置について図１を参照して説明する。
本実施形態の移動体画像追尾装置は、第１、第２、第３のジンバル１１１，１２１，１３１、第１、第２、第３の駆動部１１２，１２２，１３２、第１、第２、第３の角速度センサ１１３，１２３，１３３、第１、第２、第３の角度センサ１１４，１２４，１３４、カメラセンサ１４０、角速度指令生成部１５０、駆動制御部１６０、微分信号処理部１７１、追尾誤差推定部１７２、追尾誤差補正部１７３、追尾誤差検出部１７４を含む。
また、角速度指令生成部１５０は、第１の指令算出部１５１、第２の指令算出部１５２、第３の指令算出部１５３を含み、駆動制御部１６０は、第１のサーボ制御部１６１、第２のサーボ制御部１６２、第３のサーボ制御部１６３を含んでいる。

第１のジンバル１１１は、第１のジンバル軸１１０を中心に回転する。第２のジンバル１２１は、第１のジンバル軸１１０に直交する第２のジンバル軸１２０を中心に回転する。第３のジンバル１３１は、第１のジンバル１１１に支持された第２のジンバル１２１と、第１のジンバル軸１１０と同一直交点において第２のジンバル軸１２０に直交する第３のジンバル軸を中心に回転する。

第１、第２、第３の駆動部１１２，１２２，１３２は、それぞれ、第１、第２、第３のジンバル１１１，１２１，１３１を回転駆動する。

第１の角速度センサ１１３は、第１のジンバル軸１１０を中心に回転する第１のジンバル１１１の角速度を検出する。第２の角速度センサ１２３は、第２のジンバル軸１２０を中心に回転する第２のジンバル１２１の角速度を検出する。第３の角速度センサ１３３は、第３のジンバル軸１３０を中心に回転する第３のジンバル１３１の角速度を検出する。

第１の角度センサ１１４は、第１のジンバル１１１の第２のジンバル１２１に対する回転角度を検出する。第２の角度センサ１２４は、第２のジンバル１２１の第３のジンバル１３１に対する回転角度を検出する。第３の角度センサ１３４は、第３のジンバル１３１のジンバル固定部（図示せず）に対する回転角度を検出する。

カメラセンサ１４０は、第３のジンバル１３１に支持され、移動体を認識して画像データを得る。

追尾誤差検出部１７４は、カメラセンサ１４０から取得した画像データに画像処理を施して追尾誤差を検出する。追尾誤差検出部１７４は、一般的には２値化により白黒画像にし、移動体の特徴点を抽出することでカメラ視野内の位置が識別され、視野中心からの２方向のずれ量（ΔＸ，ΔＹ）を追尾誤差検出値とする。これらの画像処理を含めた処理時間が追尾誤差検出値を得るサンプリング時間となる。追尾誤差検出値については後に図４、図５を参照して説明する。

角速度指令生成部１５０は、追尾誤差補正部１７３から取得する２方向の追尾誤差と、第１、第２、第３の角度センサ１１４，１２４，１３４により検出されるジンバル姿勢を表す３軸の角度検出値（θ_１，θ_２，θ_３）とにより、移動体を追尾するようジンバルを駆動する角速度指令値を生成する。この計算の詳細は後に図３を参照して説明する。

第１の指令算出部１５１は、追尾誤差補正部１７３から取得する２方向の追尾誤差と、第１、第２、第３の角度センサ１１４，１２４，１３４により検出した角度データとに基づき、目標の追従において、第１のジンバル１１１を駆動する第１の角速度指令値を計算する。第２の指令算出部１５２は、追尾誤差補正部１７３から取得する２方向の追尾誤差と、第１、第２、第３の角度センサ１１４，１２４，１３４により検出した角度データとに基づき、第１のジンバル１１１の回転駆動反力を低減させる軌道を経て第２のジンバル１２１を駆動する第２の角速度目標値を計算する。第３の指令算出部１５３は、追尾誤差補正部１７３から取得する２方向の追尾誤差と、第１、第２、第３の角度センサ１１４，１２４，１３４により検出した角度データとに基づき、第３のジンバル１３１を駆動する第３の角速度指令値を計算する。

駆動制御部１６０は、角速度指令生成部１５０で生成された各角速度センサに対応する角速度指令値と、第１、第２、第３の角速度センサ１１３，１２３，１３３で検出された角速度検出値との差を０にするように制御指令値を計算する。第１，第２，第３のサーボ制御部１６１，１６２，１６３は、それぞれ第１、第２、第３の角速度センサ１１３，１２３，１３３に対応し、それぞれ第１、第２、第３の駆動部１１２，１２２，１３２に対応する制御指令値を出力する。

微分信号処理部１７１は、第１、第２、第３の角度センサ１１４，１２４，１３４のそれぞれから角度を入力し、それぞれの角度を時間微分することでそれぞれの角速度を算出する。

追尾誤差推定部１７２は、第１、第２、第３の角度センサ１１４，１２４，１３４のそれぞれから角度を入力し、これらそれぞれの角速度を微分信号処理部１７１から入力することで、追尾誤差を得る。この計算の詳細は後に図３を参照して説明する。

追尾誤差補正部１７３は、追尾誤差推定部１７２からの追尾誤差推定値と、追尾誤差検出部１７４から追尾誤差検出値とを入力し、追尾誤差が視野範囲内であるかどうかによって、追尾誤差検出値または追尾誤差推定値のいずれかを出力する。

次に、本実施形態で使用するカメラセンサについて図２を参照して説明する。
第１のジンバル軸１１０はアジマス軸（以下、単に「Ａｚ軸」という）、第２のジンバル軸１２０はエレベーション軸（以下、単に「ＥＬ軸」という）、第３のジンバル軸１３０はクロスエレベーション軸（以下、単に「ＣＥ軸」という）である。図１の移動体画像追尾装置は、これらのＡｚ軸１１０、ＥＬ軸１２０及びＣＥ軸１３０が一点において直交する３軸構造を備えた３軸旋回装置である。

次に、本実施形態の移動体画像追尾装置の補正制御系について図３を参照して説明する。図３は、Ａｚ軸、ＥＬ軸、ＣＥ軸の３軸まとめて表した制御ブロック線図である。
本実施形態にかかる補正制御系では、カメラ視野内で追尾状態において、カメラセンサから追尾誤差検出値を得ると同時に、ジンバルの角度を検出する角度データに基づいて、追尾誤差推定部１７２で追尾誤差の推定を行う。追尾誤差の推定は、角度と角速度に対する追尾誤差（ΔＸｍ，ΔＹｍ）の関係式が次式で表される。

ここで、行列Ｊは、ジンバル姿勢とカメラ視軸ベクトルの関係を微分することにより導かれるヤコビ行列であり、３軸ジンバル構造の場合、次式の行列となる。

例えば、本実施形態のジンバル構造の場合、次式のような行列となる。

この式により、ジンバル角度及び角速度とカメラ上の追尾誤差を関係付けることができる。この式において、角度情報は、第１、第２、第３の角度センサ１１４，１２４，１３４のデータをそのまま使うことができる。角速度次元のデータは、第１、第２、第３の角速度センサ１１３，１２３，１３３により検出しているが、この式で必要なのはジンバル固有の角速度であるため、他要素によって変化する可能性や検出範囲の制限がある角速度センサの値を用いるのは有用ではない。本実施形態では、微分信号処理部１７１が角度を時間微分することで角速度を算出し、追尾誤差推定部１７２はこの角速度を利用する。こうすることにより、角速度センサの影響を除くことが可能である。微分信号処理部１７１での微分信号処理は、微分による高周波成分の増大を鑑みて、微分特性とローパス特性を有する信号処理をすることが望ましい。このようにして追尾誤差推定部１７２が追尾誤差推定値を得ることが可能となる。

追尾誤差補正部１７３は、このようにして求まった追尾誤差推定値を用いて、視野外の追尾誤差の補正を行う。追尾誤差補正部１７３は、追尾誤差が視野範囲内の場合には、カメラセンサから取得した画像によって追尾誤差検出部１７４が検出した追尾誤差検出値をそのまま適用し、視野外のときには追尾誤差推定部１７２が推定した追尾誤差推定値を適用する。

角速度指令生成部１５０は、追尾誤差補正部１７３から取得する２方向の追尾誤差と、第１、第２、第３の角度センサ１１４，１２４，１３４により検出されるジンバル姿勢を表す３軸の角度検出値（θ_１，θ_２，θ_３）とにより、移動体を追尾するようにジンバルを駆動する角速度指令値

を生成する。２方向画像から３軸ジンバルの各軸へ角速度を分配する手法の一つとして、特開２００６−１０６９１０に開示がある。この例にならい一般形式で追尾誤差と角度に対する角速度指令値の関係式を表すと、次の式（４）のように表される。

ここで、追尾誤差から定まる成分を計算する行列Ｍ_Ｊは、３軸ジンバル構造の場合３軸の座標変換から定まる次の式（５）で表される。

特開２００６−１０６９１０では、冗長要素

により、天頂を回避する３軸冗長性を実現しつつ、各軸へ角速度を分配している。この他にも目的に応じて、拘束要素を変えることで実現できることは容易に類推することができる。

また、本実施形態では３軸ジンバルの場合について式を示したが、２軸ジンバルや３軸以上のジンバルに関しても同様に、次元を変えた式で表すことができる。なお、１軸の場合でも適用できる。

このようにして角速度指令生成部１５０で生成された各角速度センサに対応する角速度指令値と第１、第２、第３の角速度センサ１１３，１２３，１３３で検出された角速度検出値との差を０にするように駆動制御部１６０で制御指令値が計算され、この制御指令値に従いジンバル機構が移動体を追尾するように駆動される。ここで、ジンバル機構は、第１、第２、第３のジンバル１１１，１２１，１３１と第１、第２、第３の駆動部１１２，１２２，１３２を含む。

以上のように移動体画像追尾装置が作動することにより、視野外でも適切な追尾駆動をするための角速度指令を生成することが可能となる。

次に、カメラセンサ１４０が取得した画像の視野と移動体追尾について図４、図５を参照して説明する。
図４は、本実施形態にかかるカメラ画像の視野と移動体追尾の概要を示した図である。移動体がカメラ視野内で捉えている場合には、カメラ中心からのずれ量として追従誤差検出値（ΔＸ，ΔＹ）が得られる。追尾遅れが生じるため、この追尾誤差検出値はカメラ視野以上には許容でない。移動体の速度が上がった場合や、ジンバル特異姿勢回避のための急変化をしている場合には、カメラ視野外になる可能性がある。カメラ視野外となってしまった場合は、追尾不能となってしまう。

図５は、本実施形態にかかるカメラ視野外状態の概要を示した図である。移動体の追尾誤差が視野外になってしまった場合には、追尾誤差検出値は、更新が止まってしまう。図５ではＸ方向成分で視野外になった場合であり、この時、追尾誤差検出値は、ΔＸ＿ｌａｓｔが視野上限値、ΔＹ＿ｌａｓｔが視野外になる前の最終値で更新することができなくなってしまう。このような視野外の状態になると、そこから再び視野内に戻すことは難しい。従来技術では、最終追尾誤差検出値（ΔＸ＿ｌａｓｔ，ΔＹ＿ｌａｓｔ）を直線補間等したものから推定し、再び視野内に戻すための角速度指令を生成するような方法も考えられるが、推定精度は高くない。

追尾誤差補正部１７３の動作の一例について図６を参照して説明する。
追尾誤差検出部１７４から取得した追尾誤差検出値によって移動体がカメラ視野範囲内にいるかどうかを判定する（ステップＳ６０１）。移動体がカメラ視野範囲内にいると判定した場合には、追尾誤差推定部１７２から取得する追尾誤差推定値の振幅を追尾誤差検出値の振幅に合わせるようにゲインを調整する（ステップＳ６０２）。追尾誤差検出値を選択して、角速度指令生成部１５０に渡す（ステップＳ６０３）。一方、移動体がカメラ視野範囲内にいないと判定した場合には、追尾誤差推定部１７２から取得する追尾誤差推定値を選択して、角速度指令生成部１５０に渡す（ステップＳ６０４）。なお、ステップＳ６０４では、このステップが行われる以前に図６に示す動作を行って最後にステップＳ６０２で調整されたゲインを使用した追尾誤差推定値を選択する。これによって、追尾誤差検出値と追尾誤差推定値とを比較し、追尾誤差推定値の振幅をあわせるようゲインをかけることで、より高精度な誤差推定値を得ることが可能となる。

次に、天頂の特異姿勢回避によりジンバルが瞬間的な高速運動をした場合に、本実施形態の移動体画像追尾装置による補正制御の適用有無によって、追尾誤差の変化の一例について図７、図８、図９を参照して説明する。
天頂を通過する場合、ジンバルは、正面から背面にＡｚ軸を大きく回転させる動作が伴い、ジンバル駆動特性の限界から、移動体との追尾遅れが発生する可能性が高い。

図７では、破線内がカメラ視野に対応する。図７左側の２図（補正を行わない場合）では、−０．２≦ｘ≦０．２、−１．３≦ｙにほぼ対応する領域で、移動体がカメラ視野から大きく外れていることがわかる。一方、図７右側の２図（補正を行う場合）では、−０．２≒ｘ、−１．３≦ｙにほぼ対応する領域で、移動体がカメラ視野から外れているが、補正を行わない場合と比較して、外れている部分はわずかで、移動体がすぐにカメラ視野に戻っていることがわかる。

図８は、図７のｘ成分とｙ成分をそれぞれ時間に対して図示したものである。図８の「カメラ追尾誤差」が図７の「カメラ視野像」に対応し、図８の「数式追尾誤差」が図７の「数式追尾誤差像」に対応している。図８の「カメラ追尾誤差（補正なし）」のＹ＝−１．２、８．２≦Ｔｉｍｅ≦８．４の位置くらいで曲線が飽和していることがわかる。この曲線部分は、図７で移動体がカメラ視野から大きく外れていることに対応している。一方、図８の「カメラ追尾誤差（補正あり）」では、飽和はほとんどみられない。これは図８の「カメラ追尾誤差（補正あり）」では、外れている部分はわずかで、移動体がすぐにカメラ視野に戻っているからである。

図９は、第１、第２、第３のジンバル１１１，１２１，１３１のそれぞれに対して、角速度指令生成部１５０から出力される角速度指令値を示したものである。図９で最も顕著な差は、第２のジンバル１２１の角速度目標値（ＥＬ）である。「Ｔｉｍｅ」が８．３ｓ位で「角速度目標（補正なし）」では値ＥＬが−０．３位で一定しているのに対し、「角速度目標（補正あり）」では値ＥＬが−０．３〜−０．５の間位で激しく動いている。これは、「角速度目標（補正あり）」では、第２のジンバル１２１が、補正なしの場合に較べて、移動体にいち早く追尾していることを示している。

以上によれば、推定による補正を行わない場合には、カメラ視野限界に達してしまい、ΔＹは角度誤差上限値から更新されなくなり、このため角速度指令生成も更新されなくなってしまう。このため、適切なジンバル制御を行うことができず、追尾特性が悪い。従来の制御系では、カメラセンサの誤差検出値に基づいて角速度指令値を生成しているため、カメラ視野が追尾可能な移動体の速度に制限が生じてしまう。サンプリングした結果に従って、フィードバック制御を行う制御系であるため、必ず追尾遅れが生じてしまうためである。
一方、推定による補正を行う場合には、カメラ視野限界に達しても、その次のサンプリングでは推定により、視野外に対応した適切なジンバル角速度指令を生成が可能となる。これにより移動体との追尾誤差を小さくすることが可能であり、結果として再度カメラ視野内に移動体を収めることが可能となる。

以上の第１の実施形態によれば、補正制御を行うことで、視野外でカメラの追尾誤差検出値の更新が止まっていても、角度データに基づく追尾誤差推定により、移動体追尾の適切な角速度指令を生成することができ、追従特性を改善することが可能となる。

（第２の実施形態）
本実施形態の移動体画像追尾装置の補正制御系では、例えばカメラセンサのサンプリング時間に対してＮ分割間隔のクロックでカウントし、このＮ分割クロックで追尾誤差推定値を計算する。このクロックは、第１、第２、第３のジンバル１１１，１２１，１３１を動かすための駆動系のサンプリングを示す。なお、本実施形態の移動体画像追尾装置は、第１の実施形態と同様なブロック図で示されるが、動作が異なる。ただし、本実施形態の追尾誤差補正部１７３は、クロックをカウントするカウンタを含む。

本実施形態の移動体画像追尾装置の追尾誤差補正部１７３の動作の一例について図１０を参照して説明する。
まず、クロック数をカウントし、このカウント数がＮであるかどうかを判定する（ステップＳ１００１）。カウント数がＮであると判定された場合には、追尾誤差補正部１７３は追尾誤差検出値をそのまま角速度指令生成部１５０に出力する（ステップＳ１００２）。なお、カウント数がＮである時はカメラセンサがサンプリングを行う時に対応する。次に、Ｎ分割クロックで計算されている追尾誤差推定値と追尾誤差検出値との比較を行い、ゲインを調整する（ステップＳ６０２）。この動作が完了した後、カウントをリセットする（ステップＳ１００３）。

一方、カウント数がＮでないと判定された場合には、直前にステップＳ６０２で調整されているゲインを追尾誤差推定値に適用する（ステップＳ１００４）。なお、カウント数がＮでない時はカメラセンサがサンプリングを行わない時刻に対応する。換言すれば、サンプリングが行われる複数の時刻の間の時刻に対応する。その後、追尾誤差推定値を角速度指令生成部１５０に出力する（ステップＳ１００５）。カウント数はリセットせず、増加させる（ステップＳ１００６）。

つまりカメラセンサのサンプリング間（カメラセンサがサンプリングを行わない期間）では、調整されているゲインを適用して、追尾誤差推定値を角速度指令生成部１５０へ出力し、カウントを増加させる。これを繰り返すことで、カメラセンサのサンプリング間を推定値で補正した更新間隔の短い追尾誤差データで移動体追尾を行う角速度指令を生成することができ、追尾特性を改善することが可能となる。

以上のような実施形態の移動体画像追尾装置は、ＴＶカメラやカメラシーカー、そして自動測量器等を搭載したジンバル構造の移動体のカメラ追尾を行う機器において、視野外での追尾誤差補正、カメラサンプリング間の補正が可能であり、移動体に搭載される追尾カメラシステムに有効である。

以上に示した実施形態によれば、カメラセンサの視野外になってしまい、追尾誤差検出値が視野限界で更新が停止してしまって適切なジンバル機構の角速度指令が生成できなくなってしまう場合でも、角度検出データに基づいて追尾誤差推定値を計算し、追尾誤差を補正することで、画像追尾を行うための適切な角速度指令を生成することが可能となり、追尾特性を改善することができる。

さらに、カメラセンサのサンプリング間を角度検出データに基づいて追尾誤差推定値により補正することで、画像追尾を行うための角速度指令の生成を高サンプリングで行うことが可能となり、追尾特性を改善することができる。

また、移動体の追尾誤差を角度検出手段による角度データを用いて推定し補正するため、新たにセンサを付与する必要がなく、装置のコストを増やすことなく、追尾特性を改善することができる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

実施形態の移動体画像追尾装置のブロック図。 図１のカメラセンサの周辺部分を含む図。 実施形態の移動体画像追尾装置の補正制御系のブロック図。 カメラ画像の視野内に移動体がある場合の追従誤差検出値を示す図。 カメラ画像の視野外に移動体がある場合の追従誤差について説明するための図。 第１の実施形態での図１、図３の追尾誤差補正部の動作の一例を示すフローチャート。 カメラ視野内外での移動体の軌跡を示す図。 図７のｘ成分とｙ成分をそれぞれ時間に対して示す図。 図１、図３の角速度指令生成部が、各ジンバルに対して出力する角速度指令値を示す図。 第２の実施形態での図１、図３の追尾誤差補正部の動作の一例を示すフローチャート。

符号の説明

１１０，１２０，１３０・・・ジンバル軸、１１１，１２１，１３１・・・ジンバル、１１２，１２２，１３２・・・駆動部、１１３，１２３，１３３・・・角速度センサ、１１４，１２４，１３４・・・角度センサ、１４０・・・カメラセンサ、１５０・・・角速度指令生成部、１５１，１５２，１５３・・・指令算出部、１６０・・・駆動制御部、１６１，１６２，１６３・・・サーボ制御部、１７１・・・微分信号処理部、１７２・・・追尾誤差推定部、１７３・・・追尾誤差補正部、１７４・・・追尾誤差検出部。

Claims (5)

1. １軸以上の軸を中心に回転する１以上の回転手段と、
   前記回転手段を回転駆動する駆動手段と、
   前記回転手段に支持され、移動体を撮影して画像データを取得する取得手段と、
   前記画像データから、前記移動体の視野中心からのずれ量である追尾誤差を追尾誤差検出値として検出する第１検出手段と、
   前記回転手段ごとに、前記回転手段の姿勢を示す角度を検出する第２検出手段と、
   前記角度と前記角度の時間微分とを使用して、前記追尾誤差を追尾誤差推定値として推定する推定手段と、
   前記移動体が前記画像の視野内である場合には前記追尾誤差検出値を選択し、前記移動体が前記画像の視野外である場合には前記追尾誤差推定値を選択する選択手段と、
   前記角度と前記選択手段が選択した追尾誤差値とを使用して、前記移動体を追尾するように前記回転手段を駆動する角速度指令値を計算する計算手段と、
   前記回転手段ごとに、前記回転手段の角速度を検出する第３検出手段と、
   前記角速度指令値と前記角速度との差がなくなるように前記回転手段を制御する制御手段と、を具備することを特徴とする移動体画像追尾装置。
2. 前記推定手段は、前記角度のデータを信号処理した角速度次元に変換された値を前記時間微分として使用し、前記追尾誤差と、前記回転手段ごとの角度と、前記回転手段ごとの角速度との関係から前記追尾誤差推定値を計算することを特徴とする請求項１に記載の移動体画像追尾装置。
3. 前記選択手段は、前記追尾誤差検出値と前記追尾誤差推定値とを比較し、同一振幅となるように該追尾誤差推定値にゲインをかけることを特徴とする請求項１または請求項２に記載の移動体画像追尾装置。
4. 前記計算手段は、前記取得手段が取得する画像の前記追尾誤差検出値が更新されない期間内は、前記追尾誤差推定値を使用して前記角速度指令を計算することを特徴とする請求項１から請求項４のいずれか１項に記載の移動体画像追尾装置。
5. 前記計算手段は、前記追尾誤差値と、前記回転手段ごとの角度と、前記回転手段ごとの角速度との関係から前記角度指令値を計算することを特徴とする請求項１から請求項４のいずれか１項に記載の移動体画像追尾装置。

Images