JP2017085439A

JP2017085439A - 追尾装置

Info

Publication number: JP2017085439A
Application number: JP2015213552A
Authority: JP
Inventors: 鈴木　潤一; Junichi Suzuki; 潤一鈴木
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-30
Filing date: 2015-10-30
Publication date: 2017-05-18

Abstract

【課題】被写体の予測位置との比較結果に基づき誤追尾を防止する自動追尾装置を提供する。【解決手段】予め記録してあるテンプレートパターンによりパターン認識を行う画像認識手段により被写体の位置を検出し、被写体の自動追尾撮影を行う自動追尾装置において、テンプレートパターンを時々刻々と入力される画像に更新するテンプレートパターン更新手段と、被写体の移動する位置を予測する移動位置予測手段と、移動位置予測手段で予測される位置と被写体の位置を比較する位置比較手段と、位置比較手段の比較結果に基づき、画像認識手段にて比較する画像を設定する比較画像設定手段と、位置比較手段の比較結果と画像認識手段の類似度により、被写体を探索する領域を設定する被写体探索領域設定手段と、被写体探索領域設定手段にて設定された領域内にて被写体を探索する設定領域探索手段を備えたことを特徴とする。【選択図】図７

Description

本発明は、撮影対象物を自動で追尾する自動追尾カメラシステムに関し、特に撮影対象物が航空機などの高速で移動するものに特化した自動追尾カメラシステムに関する。

近年、リモート雲台カメラに画像認識技術を搭載して、映像内に映る被写体の認識を行い、被写体の動きに合わせて自動でパン・チルトを動作させて追尾する自動追尾カメラシステムが提案されている。これにより、操作者が雲台カメラの向きを変更しなくても、動きのある被写体を自動で撮影することが可能になる。

被写体の認識を行う画像認識技術の一つとして、テンプレートマッチング手段を用いた認識技術が知られている。テンプレートマッチング手段を用いた場合、被写体の移動により撮影される被写体のパターンが変化していくと、最初に認識したテンプレートとの不一致部分が多くなり、最終的に被写体を認識できなくなる。これを解決するために、テンプレートを時々刻々と更新する方法が、特許文献１に開示されている。

特許文献１には、画像類似度の高い探索点の分散程度を算出し、算出結果に基づいてテンプレートの更新を判定する技術が開示されている。これにより、背景等に類似被写体がある場合においても、類似被写体の影響を受けることなく追尾対象を追尾できるようになる。

また、特許文献２には、テンプレートマッチング時の処理時間を低減させるために、前回の画像と前々回の画像の位置から予測される範囲を指定し、予測範囲内においてテンプレートマッチングを行う技術が開示されている。

特開平９−２６５５３８号公報特開２００８−１１２２１０号公報

しかしながら、上述の特許文献１に開示された従来技術では、障害物等によって一時的に被写体の一部、または大部分が隠れてしまう場合に、追尾対象を見失ってしまう。また、特許文献２に開示された従来技術では、予測範囲内に類似被写体が複数ある場合に、テンプレートが類似被写体に更新されると誤追尾してしまう。

そこで、本発明の目的は、被写体の予測位置との比較結果に基づき比較画像の設定および予測位置を再探索することにより、誤追尾を防止することを可能にした自動追尾装置を提供することにある。

上記の目的を達成するために、本発明に係る自動追尾装置は、
予め記録してあるテンプレートパターンによりパターン認識を行う画像認識手段により被写体の位置を検出し、前記被写体の自動追尾撮影を行う自動追尾装置において、
前記テンプレートパターンを時々刻々と入力される画像に更新するテンプレートパターン更新手段と、
前記被写体の移動する位置を予測する移動位置予測手段と、
前記移動位置予測手段で予測される位置と前記被写体の位置を比較する位置比較手段と、
前記位置比較手段の比較結果に基づき、
前記画像認識手段にて比較する画像を設定する比較画像設定手段と、
前記位置比較手段の比較結果と前記画像認識手段の類似度により、前記被写体を探索する領域を設定する被写体探索領域設定手段と、
前記被写体探索領域設定手段にて設定された領域内にて被写体を探索する設定領域探索手段を備えたことを特徴とする。

本発明によれば、被写体の予測位置との比較結果に基づき比較画像の設定および予測位置を再探索することにより、誤追尾を防止することを可能にした自動追尾装置を提供することができる。

実施例１〜３における自動追尾撮影を行うリモート雲台システムを示す図である。実施例１〜３における被写体を目標座標へ移動させる方法を説明する図である。実施例１〜３の雲台制御部２２０における追尾処理のフローチャート図である。実施例１〜３における被写体の位置を予測する方法を説明する図である。実施例１〜２における被写体検出から追尾終了までの模式図である。実施例１〜３で用いる更新テンプレートと比較画像に設定される画像を示す図である。実施例１の映像処理部２１０における追尾処理のフローチャート図である。実施例２における被写体位置と予測位置のズレを算出する方法を示す図である。実施例２の映像処理部２１０における追尾処理のフローチャート図である。実施例３における被写体検出から追尾終了までの模式図である。実施例３の映像処理部２１０における追尾処理のフローチャート図である。実施例３の映像処理部２１０における追尾対象第二候補に対する位置予測部２１３のフローチャート図である。実施例４における自動追尾撮影を行う撮影システムを示す図である。実施例４におけるデジタルズーム機能を説明する図である。実施例４の映像処理部２１０における追尾処理のフローチャート図である。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

以下、図１〜７を参照して、本発明の第１の実施例による、自動追尾装置について説明する。

図１は本発明の実施形態を示したシステム図である。

図１において、１００が遠隔操作される雲台カメラである。雲台カメラ１００は、カメラハウジング１１０、雲台ヘッド１２０、台座１３０で構成されている。

カメラハウジング１１０は、カメラズームレンズ１１１とボックスカメラ１１２を格納している。カメラズームレンズ１１１の制御信号は、雲台ヘッド１２０からコネクタ１１３を介して入力される。ボックスカメラ１１２の映像信号は、コネクタ１１４を介して外部へ出力される。本実施例において、映像信号はＨＤ−ＳＤＩ信号である。

雲台ヘッド１２０は、内部にＣＰＵ１２１、チルトモーター１２２、パンモーター１２３、チルトモータードライバー１２４、パンモータードライバー１２５、チルトポジションセンサー１２６、パンポジションセンサー１２７で構成されている。チルトモーター１２２とパンモーター１２３のハウジング(不図示)が、雲台ヘッド１２０に固定されており、各モータのシャフト(不図示)は、ギヤ(不図示)を介して台座１３０およびカメラハウジング１１０に接続されている。各モータが回転することにより、雲台ヘッド１２０を基準にして、台座１３０とカメラハウジング１１０が回転し、カメラの撮影方向が変更される。

ＣＰＵ１２１は、コネクタ１２８を介して入力されるパン・チルト、ズーム、フォーカスの各制御信号を処理する。パン制御信号の場合はパンモータードライバー１２５に、チルト制御信号の場合はチルトモータードライバー１２４に、ズームおよびフォーカス制御信号の場合はコネクタ１２９に各制御信号を出力する。

パンモータードライバー１２５では、パン制御信号に応じてパンモーター１２３に電流を流し、パンモーター１２３を回転させる。チルトモータードライバーも同様に、チルト制御信号に応じてチルトモーター１２２を回転させる。コネクタ１２９に出力したズームおよびフォーカス制御信号は、コネクタ１１３を介してカメラズームレンズ１１１に出力され、制御信号に応じてズームとフォーカスが駆動する。チルトポジションセンサー１２６およびパンポジションセンサー１２７は、位置検出器であり、本実施例ではポテンショメーターとする。各センサーは、各モータの回転軸に配置されており、モータが回るとポテンショメーターが回転し、回転位置が電圧として出力される。各センサーから出力されたパン・チルトの電圧信号、コネクタ１２９から入力したズームとフォーカスの電圧信号は、ＣＰＵ１２１で位置信号にそれぞれ変換され、コネクタ１２８を介して外部へ出力される。本実施例では、コネクタ１２８から出力される信号はＲＳ−２３２Ｃ信号である。

２００は演算処理装置であり、本実施例ではＣＰＵ(不図示)やメモリ(不図示)などを装備したパーソナルコンピュータ(PC)を使用している。図中、２１０と２２０は内部のソフト処理のブロックを示しており、２１０は映像処理部、２２０は雲台制御部である。映像処理部２１０は、コネクタ２０１を介して入力される雲台カメラ１００からの映像信号と、テンプレートを用いて画像認識処理を行う。また、映像処理部２１０内にはテンプレートを時々刻々と更新するテンプレート更新部２１１と、雲台カメラ１００から入力される映像と比較するための比較画像を設定する比較画像設定部２１２を備えている。さらに、被写体の位置を予測する位置予測部２１３と、予測位置と実際の位置を比較する位置比較部２１４を備えている。雲台制御部２２０は、雲台カメラ１００、後述の操作機３００と制御信号の送受信を行う。コネクタ２０２を介して入力される雲台カメラ１００からのパン・チルト、ズーム、フォーカス位置信号は、演算処理装置２００内でA/D変換された後、位置情報として雲台制御部２２０に入力される。映像処理部２１０および雲台制御部２２０の処理に関しては、後述する。

３００は操作器、４００はモニターであり、これらは遠隔地に配置され、図のように配線されている。モニター４００には、雲台カメラ１００が撮影した映像が映し出される。操作器３００には、追尾(TRACKING)のON/OFFを設定する追尾設定SW３０２、ズーム操作部３０３、フォーカス操作部３０４、パン・チルト操作部３０５を備えている。追尾設定SW３０２を押すと、演算処理装置２００内にある雲台制御部２２０の追尾状態がON/OFFする。ズーム操作部３０３、フォーカス操作部３０４、パン・チルト操作部３０５の各操作キーを動かすと、雲台制御信号がコネクタ３０１を介して出力され、演算処理装置２００内の雲台制御部２２０へ送られる。雲台制御部２２０の追尾状態がONの場合、雲台制御信号は無視される。追尾状態がOFF場合、操作器３００からの雲台制御信号は雲台カメラ１００へ送られ、操作器３００から雲台カメラ１００のパン・チルト、ズーム、フォーカスを操作することができる。本実施例では、常に追尾状態とする。

次に図２を用いて、雲台制御部２２０で行う、被写体を目標座標へ移動させる方法を説明する。

２１は被写体である航空機、２２は被写体のサイズを矩形で示した被写体枠、２３は画面であり、本実施例での画素数は横１９２０、縦１０８０である。２４は画面左上座標、２５は被写体目標位置座標、２６は被写体中心位置座標、２７は被写体枠２２の左上座標を示す枠左上座標、２８は被写体枠２２の右下座標を示す枠右下座標である。２５〜２８はいずれも画面左上座標２４を（０、０）とした座標系で表されている。本実施例において、被写体目標位置座標２５は、画面の中心であり、（９６０、５４０）に設定してある。また、枠左上座標２７、枠右下座標２８の座標は、映像処理部２１０のテンプレートマッチング処理により算出される。被写体中心位置座標２６は、枠左下座標２７と枠右下座標２８から算出される。

次に、図３を用いて本実施例における雲台制御部２２０の追尾処理を説明する。

S301では、位置信号の入力があるか否かを判断し、入力があればS302に進み、そうでなければS301に進む。

S302では、雲台カメラ１００からのパン位置情報を映像処理部２１０へ送信し、S303に進む。

S303では、枠左上座標２７(X_L,Y_L)と枠右下座標２８(X_R,Y_R)から被写体中心位置２６(X₀,Y₀)を算出し、S304に進む。

S304では、S303で算出した被写体中心位置座標２６(X₀,Y₀)と被写体目標位置座標２５(X_t,Y_t)の差分(ΔX,ΔY)を算出し、S305に進む。

S305では、S304で算出した差分のうち、パンの位置差分があるか否かを判断し、差分があればS306に進み、そうでなければS308に進む。

S306では、S305で検出したパン位置差分からパン制御信号を生成し、S307に進む。

S307では、S306で生成したパン制御信号を雲台カメラ１００に送信し、S308に進む。

S308では、S304で算出した差分のうち、チルトの位置差分があるか否かを判断し、差分があればS309に進み、そうでなければS311に進み、処理を完了する。

S309では、S308で検出したチルト位置差分からチルト制御信号を生成し、S310に進む。

S310では、S309で生成したチルト制御信号を雲台カメラ１００に送信し、S311に進む。

S311では、追尾最終位置(X_E,Y_E)であるか否かを判断し、追尾最終位置であればS312に進み、そうでなければS302に進む。追尾最終位置は、被写体が止まったことから検出しても良いし、予め設定するパン・チルト情報から検出しても良い。

S312では、雲台制御部２２０により、雲台カメラ１００を初期位置へ駆動し、S313に進み処理を完了する。

以上の様に雲台制御部２２０を制御することにより、被写体中心位置座標２６が被写体目標位置座標２５と一致するように制御され、追尾が行われる。

次に、図４を用いて本実施例における位置予測部２１３の処理を説明する。

図中、t_-1は前回画像取得時、tは今回画像取得時、t₊₁は次回画像取得時の各時刻での被写体位置の遷移を示している。また４１は追尾被写体、４２は被写体のサイズを矩形で示した被写体枠、４３は被写体中心位置座標、４４は被写体枠４２の左上座標、４５は被写体枠４２の右下座標、４６は予測位置領域を示している。仮に、４３t_-1の座標が（X t_-1,Y t_-1）、４３tの座標が（Xt,Yt）とすると、前回の被写体位置と今回の被写体位置から移動ベクトル（Xt-X t_-1,Yt-Y t_-1）を算出する。移動位置予測部２１３は、算出した移動ベクトルを基に、予測位置（2Xt -X t_-1,2Yt-Y t_-1）を算出し、４２t、４２t₊₁を含む最小の領域を予測位置領域４６に設定する。位置比較部２１４は、t₊₁時に実際に検出した被写体位置が予測位置領域４６内であるか否か比較する。

図５は本実施例における被写体検出から追尾終了までの被写体位置の遷移を示した模式図である。

図中、５１〜５５は時系列になっており、５１は映像処理部２１０が最初に検出した被写体を示している。また５２は、電柱によって一部隠れている被写体、５３は、林によって大部分が隠れている被写体、５４は林を通り抜けた後の被写体、５５は追尾終了時の被写体である。

図６は本実施例のテンプレート更新部２１１によって時々刻々と更新される更新テンプレートと、比較画像設定部２１２によって比較画像に設定される画像を示している。

図中、更新テンプレート（51）〜（55）は図５の同符号に対応している。

次に、図７を用いて本実施例における映像処理部２１０の処理を説明する。

まず、被写体を検出して追尾を開始すると、S701では追尾終了位置でないか否かを判断し、追尾終了位置でなければS702に進み、追尾終了位置ならばS714に進む。

S702では、映像処理部２１０にて、テンプレートマッチングを行い、S703に進む。

S703では、テンプレート更新部２１１によりテンプレートを更新し、S704に進む。

S704では、比較画像設定部２１２にてS703で更新したテンプレートを比較画像に設定し、S705に進む。

S705では、位置予測部２１３にて、図４で示した方法で位置を予測し、S706に進む。

S706では、被写体枠４２の位置を取得し、S707に進む。

S707では、位置比較部２１４にて、S705で予測した位置とS706で取得した被写体枠４２の位置を比較し、S708に進む。

S708では、S707の比較結果が閾値外であるか否かを判断し、閾値外であればS709に進み、そうでなければS701に進む。

S709では、比較画像設定部２１２にて、図６に示した基準テンプレートを比較画像に設定し、S710に進む。

S710では、映像処理部２１０にて、テンプレートマッチングを行い、S711に進む。

S711では、S710のテンプレートマッチングの結果、画像類似度が高いか低いかを判断し、画像類似度が低ければS712に進み、そうでなければS701に進む。

S712では、位置予測部２１３にて、S705で算出した予測位置領域４６を探索領域に設定し、S710に進む。

S713では、処理を完了する。

以上より、映像処理部２１０は被写体の予測位置との比較結果と、設定した比較画像とのテンプレートマッチングから予測位置を探索領域として、追尾処理をやり直すことが可能になる。

本実施例では、位置の予測において、図４で説明したとおり、移動ベクトルから位置を予測したが、位置予測部２１３と位置比較部２１４を雲台制御部２２０内に備え、雲台カメラ１００のトレースデータを基に位置の予測を行っても良い。また、航空機追尾のように、追尾終了位置が予め分かっている場合は追尾終了位置との比較を行っても良い。さらに、追尾終了位置と予測位置の比較を行い、予測位置が妥当であるか判定するようにしても良いし、その他、様々な条件を考慮して算出するようにしても良い。また、位置比較部２１４が用いる閾値において、図４に示す予測位置領域４６を閾値としたが、これに限らず様々な条件を考慮して閾値を設定しても良い。さらに、比較画像の設定において、位置比較部２１４で判定される位置比較結果が閾値以上の時に、比較画像を基準テンプレートに設定したが、図６に示す最初に検出した画像を設定しても良い。また、位置の比較結果が閾値以上の時に比較画像を再設定するようにしたが、先に位置を比較し、比較結果に基づいて比較画像を設定するようにしても良い。さらに、追尾処理終了において、予測位置を再探索する場合は、予めタイムアウト時間を規定しておき、タイムアウト時間経過した場合に追尾処理を終了するようにしても良い。

本実施例によれば、被写体の予測位置との比較結果に基づき比較画像の設定および予測位置を再探索することにより、誤追尾を防止することを可能にした自動追尾装置を提供することができる。

以下、図１〜６、図８〜９を参照して、本発明の第２の実施例による、自動追尾装置について説明する。実施例１と同一の機能構成は、同一の符号を付け、説明は省く。

本実施例のシステム図は、実施例１と同様、図１を用いる。また、雲台制御部２２０で行う追尾処理は図２〜３を、映像処理部２１０の位置予測には図４を、比較画像の設定は図６を参照する点、模式図は図５を用いる点も実施例１と同様であり、説明は省略する。

図８を用いて、本実施例における、映像処理部２１０で行う被写体位置と追尾位置の差異量を算出する方法を説明する。図中、８１は被写体、８２は被写体８１の中心位置を示しており、位置予測部２１３にて予測される位置は被写体中心位置８２と一致しているものとする（予測位置８２）。また、８３は位置予測部２１３にて予測される位置の被写体枠、８４は追尾を行っている位置の中心位置、８５は追尾枠を示している。被写体の中心位置の算出方法は、実施例１の図４で説明した方法と同様であるため、ここでの説明は省略する。また、t_-1、t、t₊₁と時系列になっている点も図４と同様である。本実施例では、時刻t_-1以前にテンプレートが障害物（ここでは林）に更新され、追尾位置８４と予測位置８２に差異が生じている様子を示している。時刻tでは、更新されたテンプレートを基にテンプレートマッチングを行い、時刻t_-1より追尾位置８４と予測位置８２の差異が大きくなっている様子を示している。

位置比較部２１４は、時刻t_-1、t、t₊₁にて、被写体中心位置８２と追尾位置８４の差を算出し、不図示のメモリに記憶する。例えば時刻t_-1の差異は（84Xt_-1-82Xt_-1, 84Yt_-1-82Yt_-1）となる。次に、各時間の差異の変化量を算出する。例えば時間t_-1からtの変化量は、（84(Yt-Yt_-1)-82(Yt-Yt_-1) / 84(Xt-Xt_-1)-82(Xt-Xt_-1))となる。この変化量に対する閾値を予め決めておき、位置比較の判定に用いる。時刻tにて閾値以上と判断した場合、予測位置８２を探索領域に設定してテンプレートマッチングを行うことで、時刻t₊₁では、予測位置８２と追尾位置８４が一致する。

次に、図９を用いて本実施例における映像処理部２１０の処理を説明する。

まず、被写体を検出して追尾を開始すると、S901では追尾終了位置でないか否かを判断し、追尾終了位置でなければS902に進み、追尾終了位置ならばS915に進む。

S902では、映像処理部２１０にて、テンプレートマッチングを行い、S903に進む。

S903では、テンプレート更新部２１１によりテンプレートを更新し、S904に進む。

S904では、比較画像設定部２１２にてS903で更新したテンプレートを比較画像に設定し、S905に進む。

S905では、位置予測部２１３にて、図４で示した方法で位置を予測し、S906に進む。

S906では、追尾位置８４の位置を取得し、S907に進む。

S907では、位置比較部２１４にて、図８で示した方法によりS905で予測した位置とS906で取得した追尾位置を比較し、S908に進む。

S908では、S907で算出した予測位置と追尾位置の差異を不図示のメモリに記憶し、S909に進む。

S909では、S907の比較結果が閾値外であるか否かを判断し、閾値外であればS910に進み、そうでなければS912に進む。

S910では、位置予測部２１３にて、S905算出したで予測位置領域４６を探索領域に設定し、S911に進む。

S911では、比較画像設定部２１２にて、図６に示した基準テンプレートを比較画像に設定し、S912に進む。

S912では、映像処理部２１０にて、テンプレートマッチングを行い、S913に進む。

S913では、S912のテンプレートマッチングの結果、画像類似度が低いか否かを判断し、画像類似度が低ければ追尾処理をタイムアウトしてS914に進み、そうでなければS901に進む。

S914では、処理を完了する。

以上より、映像処理部２１０は被写体の予測位置と実際の追尾位置との差異の変化から予測位置を探索領域として、追尾処理をやり直すことが可能になる。

本実施例では、位置の予測において、図４で説明したとおり、移動ベクトルから位置を予測したが、位置予測部２１３と位置比較部２１４を雲台制御部２２０内に備え、雲台カメラ１００のトレースデータを基に位置の予測を行っても良い。また、航空機追尾のように、追尾終了位置が予め分かっている場合は追尾終了位置との比較を行っても良いし、その他、様々な条件を考慮して算出するようにしても良い。また、位置比較部２１４が用いる閾値において、予め設定する変化量以上を閾値としたが、これに限らず様々な条件を考慮して閾値を設定しても良い。さらに、比較画像の設定において、位置比較部２１４で判定される位置比較結果が閾値以上の時に、比較画像を基準テンプレートに設定したが、図６に示す最初に検出した画像を設定しても良い。また、位置の比較結果が閾値以上の時に比較画像を再設定するようにしたが、先に位置を比較し、比較結果に基づいて比較画像を設定するようにしても良い。さらに、追尾処理終了において、予測位置を再探索する場合は、タイムアウト時間経過した場合に追尾処理を終了するようにしたが、探索し続けるようにしても良い。

以下、図１〜６、図１０〜１２を参照して、本発明の第３の実施例による、自動追尾装置について説明する。実施例１、２と同一の機能構成は、同一の符号を付け、説明は省く。

本実施例のシステム図は、実施例１、２と同様、図１を用いる。また、雲台制御部２２０で行う追尾処理は図２〜３を、映像処理部２１０の位置予測には図４を、比較画像の設定は図６を参照する点、模式図は図５を用いる点も実施例１〜２と同様であり、説明は省略する。

図１０は本実施例における被写体検出から追尾終了までの被写体位置の遷移を示した模式図である。

図中、５１〜５５は図５と同様であり、説明は省略する。また、図中１００１、１００２は駐機している航空機を示している。被写体５３の時は、被写体が障害物により隠れてしまうため、画像類似度は航空機１００１の方が高くなる。

次に、図１１を用いて本実施例における映像処理部２１０の処理を説明する。実施例１で用いた図７と異なる点は、S702で、映像処理部２１０にて、テンプレートマッチングを行うと、S1101に進む。

S1101では、類似被写体があるか否かを判定し、類似被写体があればS1102に進み、そうでなければS703に進む。

S1102では、類似被写体のうち、第二候補の画像に対する処理を行い、S703に進む。第二候補の画像に対する処理の詳細は、図１２にて説明する。

次に、図１２を用いて図１１のS1102で行う、第二候補の画像に対する処理を説明する。

まず、第二候補の被写体に対する処理を開始すると、S1201では処理が任意のn回未満であるか否かを判断し、処理がn回未満であればS1202に進み、そうでなければS1207に進む。

S1202では、第一候補の画像類似度が第二候補の画像類似度よりも低いか否かを判断し、第一候補の画像類似度が低ければS1203に進み、そうでなければS1209に進む。

S1203では、位置予測部２１３が第二候補に対して移動位置の予測を行い、S1204に進む。

S1204では、映像処理部２１０が第二候補に対する探索領域を更新し、S1205に進む。

S1205では、S1204で更新した探索領域において、テンプレートマッチングを行い、S1206に進む。

S1206では、S1205のテンプレートマッチングの結果、画像類似度が低いか否かを判断し、画像類似度が低ければS1209に進み、そうでなければS1208に進む。

S1207では、第二候補の画像をテンプレートに更新し、S1209に進む。

S1208では、処理カウントをインクリメントし、S1210に進む。

S1209では、処理カウントをクリアし、S1210に進む。

S1210では、処理を完了する。

以上より、映像処理部２１０は画像類似度の高い第二候補の被写体に対しても位置の予測を行うことで、類似の被写体が複数ある場合においても意図した被写体を追尾することが可能になる。

本実施例では、類似の被写体に対する処理において、画像類似度が第一候補を超える場合にのみ、位置の予測を行ったが、これに限らず第三候補以降に関して位置の予測を行っても良いし、その他条件を考慮して位置予測の対象を変更しても良い。また、第二候補のチェックを任意のn回としたが、これに限らず画像類似度によってテンプレートを更新するようにしても良いし、条件を変更できるようにしても良い。

以下、図４、６、図１３〜１５を参照して、本発明の第４の実施例による、撮影システム装置について説明する。実施例１〜３と同一の機能構成は、同一の符号を付け、説明は省く。本実施例では、映像処理部２１０の位置予測には図４を、比較画像の設定は図６を参照する点は実施例１〜３と同様であり、説明は省略する。

図１３は本発明の実施形態を示したシステム図である。

図１３の撮影システムは、カメラズームレンズ１１１とボックスカメラ１１２にて構成されており、これらは固定して設置されているものとする。カメラズームレンズ１１１の制御信号は、ボックスカメラ１１２からコネクタ１１３を介して入力される。ボックスカメラ１１２の映像信号は、コネクタ１１４を介して外部へ出力される。本実施例において、映像信号はＨＤ−ＳＤＩ信号である。また、ボックスカメラ１１２内には、図１の演算処理装置２００内に構成していた映像処理部２１０を構成している。映像処理部２１０内には、図１と同様にテンプレート更新部２１１、比較画像設定部２１２、位置予測部２１３、位置比較部２１４を構成している。

本実施例では、ボックスカメラ１１２は、デジタルズーム機能を備えており、常にデジタルズーム機能がON状態であるものとする。

４００はモニターであり、ボックスカメラ１１２が撮影した映像が映し出される。

次に図１４を用いて、ボックスカメラ１１２で行うデジタルズーム機能を説明する。

１４０１は被写体である航空機、１４０２は被写体のサイズを矩形で示した被写体枠、１４０３は画面であり、本実施例での画素数は横１９２０、縦１０８０である。また、１４０４は画面左上座標、１４０５は被写体中心位置座標、１４０６は被写体枠１４０２の左上座標を示す枠左上座標、１４０７は被写体枠１４０２の右下座標を示す枠右下座標である。１４０５〜１４０７はいずれも画面左上座標１４０４を（０、０）とした座標系で表されている。本実施例において、枠左上座標１４０６、枠右下座標１４０７の座標は、映像処理部２１０のテンプレートマッチング処理により算出される。被写体中心位置座標１４０５は、枠左下座標１４０６と枠右下座標１４０７から算出される。本実施例では、デジタルズーム機能にて切り出し、拡大および縮小を行う画像を被写体枠１４０２内の画像とし、被写体枠１４０２を被写体１４０２に追尾させることで、画面１４０３内の被写体１４０１を常時デジタルズーム可能なシステムである。

次に、図１５を用いて本実施例における映像処理部２１０の処理を説明する。

まず、被写体を検出して追尾を開始すると、S1501では追尾終了位置でないか否かを判断し、追尾終了位置でなければS1502に進み、そうでなければS1514に進む。

S1502では、映像処理部２１０にて、テンプレートマッチングを行い、S1503に進む。

S1503では、テンプレート更新部２１１によりテンプレートを更新し、S1504に進む。

S1504では、比較画像設定部２１２にてS1503で更新したテンプレートを比較画像に設定し、S1505に進む。

S1505では、位置予測部２１３にて、図４で示した方法で位置を予測し、S1506に進む。

S1506では、図１４で示した被写体枠を制御し、S1507に進む。

S1507では、被写体枠の位置を算出し、S1508に進む。

S1508では、位置比較部２１４にて、S1505で予測した位置とS1507で算出した被写体枠の位置を比較し、S1509に進む。

S1509では、S1508の比較結果が閾値外であるか否かを判断し、閾値外であればS1510に進み、そうでなければS1501に進む。

S1510では、比較画像設定部２１２にて、図６に示した基準テンプレートを比較画像に設定し、S1511に進む。

S1511では、映像処理部２１０にて、テンプレートマッチングを行い、S1512に進む。

S1512では、S1511のテンプレートマッチングの結果、画像類似度が低いか否かを判断し、画像類似度が低ければS1513に進み、そうでなければS1501に進む。

S1513では、位置予測部２１３にて、S1505で予測した位置（領域）を探索領域に設定し、S1511に進む。

S1514では、処理を完了する。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００雲台カメラ、１１０カメラハウジング、１１１カメラズームレンズ、
１１２ボックスカメラ、１２０雲台ヘッド、１２１ＣＰＵ、１３０台座、
２００演算処理装置、２１０映像処理部、２１１テンプレート更新部、
２１２比較画像設定部、２１３位置予測部、２１４位置比較部、
２２０雲台制御部、３００操作機、４００モニター

Claims

予め記録してあるテンプレートパターンによりパターン認識を行う画像認識手段により
被写体の位置を検出し、前記被写体の自動追尾撮影を行う自動追尾装置において、
前記テンプレートパターンを時々刻々と入力される画像に更新するテンプレートパターン更新手段と、
前記被写体の移動する位置を予測する移動位置予測手段と、
前記移動位置予測手段で予測される位置と前記被写体の位置を比較する位置比較手段と、
前記位置比較手段の比較結果に基づき、前記画像認識手段にて比較する画像を設定する比較画像設定手段と、
前記位置比較手段の比較結果と前記画像認識手段の類似度により、前記被写体を探索する領域を設定する被写体探索領域設定手段と、
前記被写体探索領域設定手段にて設定された領域内にて被写体を探索する設定領域探索手段を備えたことを特徴とする自動追尾装置。
前記比較画像設定手段は、前記位置比較手段の比較結果が閾値よりも大きい時、予め記憶している基準テンプレート、最初に検出した画像、任意の画像のうちいずれかを設定することを特徴とする請求項１に記載の自動追尾装置。
前記被写体探索領域設定手段は、前記画像認識手段の類似度が閾値よりも低い時は、前記移動位置予測手段で予測した位置を探索領域とすることを特徴とする請求項１又は請求項２に記載の自動追尾装置。
前記位置比較手段の比較結果を記憶しておく位置比較結果記憶手段を備え、前記被写体探索領域設定手段は、前記位置比較結果の変化の割合が閾値以上の時に、前記移動位置予測手段で予測した位置を探索領域とすることを特徴とする請求項１乃至請求項３の何れか一項に記載の自動追尾装置。
探索領域内に追尾被写体の予測位置とは異なる位置の前記画像認識手段の類似度が追尾被写体よりも高い少なくとも１つの被写体に対し、移動位置を予測する移動位置予測二次手段を備えることを特徴とする請求項１乃至請求項４の何れか一項に記載の自動追尾装置。
前記移動位置予測二次手段は、任意の時間内に被写体を検出できない時は、タイムアウトすることを特徴とする請求項５に記載の自動追尾装置。
追尾終了位置を予め記憶しておき、記憶している前記追尾終了位置と被写体の位置の比較を行う追尾終了位置比較手段を備えたことを特徴とする請求項１乃至請求項６の何れか一項に記載の自動追尾装置。
追尾終了位置を予め記憶しておき、記憶している前記追尾終了位置と前記移動位置予測手段にて予測した位置を比較して、前記移動位置予測手段で予測した位置の判定を行う予測位置判定手段を備えたことを特徴とする請求項１乃至請求項７の何れか一項に記載の自動追尾装置。
前記移動位置予測手段は、被写体の移動ベクトルであることを特徴とする請求項１乃至請求項８の何れか一項に記載の自動追尾装置。
前記移動位置予測手段は、被写体位置の軌跡をデータ化したトレースデータであることを特徴とする請求項１乃至請求項８の何れか一項に記載の自動追尾装置。
遠隔制御で上下左右に撮影手段を旋回させるリモートカメラシステムを有し、
前記被写体の位置に基づいて前記リモートカメラシステムを旋回させ、
前記被写体の自動追尾撮影を行うこと
を特徴とする請求項１乃至請求項１０の何れか一項に記載の自動追尾装置。
撮影画像内の前記被写体を含む被写体画像範囲を切り出して拡大、縮小を行うデジタルズーム機能を有し、前記被写体の位置に基づいて前記被写体画像範囲を移動させ、前記被写体画像範囲の自動追尾撮影を行うことを特徴とする請求項１乃至請求項１０の何れか一項に記載の自動追尾装置。