JP2004096292A

JP2004096292A - Tracking universal head

Info

Publication number: JP2004096292A
Application number: JP2002252746A
Authority: JP
Inventors: Hiroyuki Takahashi; 高橋　尋之
Original assignee: Japan Aviation Electronics Industry Ltd
Current assignee: Japan Aviation Electronics Industry Ltd
Priority date: 2002-08-30
Filing date: 2002-08-30
Publication date: 2004-03-25

Abstract

<P>PROBLEM TO BE SOLVED: To provide a tracking universal head with enhanced operability capable of optionally deviating a visual axis direction of an imaging section as intended by an operator while maintaining an automatic tracking mode. <P>SOLUTION: The tracking universal head is configured to include: the imaging section 1; a tracking command generating section 2; a command switching section 3; an operation section 4; and a visual axis revision section 5. When a manual command signal 103 is produced on the basis of an operation 106 by the operator, the tracking command generating section 2 receives the manual command signal 103 via the command switching section 3. The tracking command generating section 2 updates template coordinates in a correlation arithmetic processing in a direction denoted by the manual command signal 103 resulting in that a tracking object is revised into an image with the updated coordinate template and new automatic tracking is started. Since the template coordinates are updated while maintaining the automatic tracking mode, the operation of deviating the visual axis of the imaging section in a direction intended by the operator can very easily be conducted. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は追尾雲台に関し、特に相関演算処理を介して、搭載される撮像部の視軸方位を、移動する追尾対象物に対して指向するように自動追尾する追尾雲台に関する。
【０００２】
【従来の技術】
図１０は、従来の追尾雲台の一例の構成を示すブロック図である。この追尾雲台は、ヘリコプタ等に搭載され、移動する自動車などの追尾対象物の画像情報を撮像部１で取得し、その画像情報の相関処理により追尾対象物を自動追尾する機能を有する。図１０の追尾雲台は、追尾対象物を捕捉して画像出力信号１０１を出力する撮像部１と、撮像部１の視軸方向を追尾対象物に指向するように変更する視軸変更部５と、撮像部１において取り込まれた画像出力信号１０１を受けて、追尾対象物に対応する追尾指令信号１０２を生成する追尾指令生成部２と、視軸変更部５に対する手動指令信号１０３を出力するとともに、手動追尾モードを自動追尾モードに切替える追尾開始切替信号１０４を出力する操作部４と、該追尾開始切替信号１０４を受けて、手動指令信号１０３を追尾指令信号１０２に切替えて視軸変更部５に出力する指令切替部３とを備えて構成される。図１１は、図１０における追尾指令生成部２の構成を示すブロック図である。追尾指令生成部２は、テンプレート生成回路６と、トリガー生成回路７と、相関演算回路８と、動き量演算回路１２とを備えて構成される。
【０００３】
通常の画像撮影時においては、図１０の指令切替部３における切片３１は接点ａの側に「接」となっている。操作部４は、追尾雲台の操作者による操作方向を入力するための操作入力手段としてのジョイスティックから操作１０６を入力する。操作１０６は、操作者によりジョイスティックが傾けられた方向を表す機械入力である。操作部４は、操作１０６を入力し、操作１０６に応じた手動指令値を表す手動指令信号１０３を生成する。手動指令信号１０３は、指令切替部３を経由して視軸変更部５に入力される。視軸変更部５は、手動指令信号１０３を受け、視軸変更信号１０５を生成する。視軸変更信号１０５は、撮像部１の視軸制御装置に入力され、手動指令信号１０３が表すジョイスティックの傾けられた方向に対応した視軸変更を撮像部１に起こさせるための制御信号である。視軸変更信号１０５により、追尾雲台の視軸を変更するための撮像部１の視軸制御が行われる。操作者は、ジョイスティックによる操作１０６により、撮像部１により撮像する追尾対象物の撮像画像が画面中心部に収まるように操作を行う。この操作により、撮像部１の視軸は手動指令信号１０３に従って追尾対象物の方向に指向され、手動操作により生成した手動指令信号１０３による該追尾対象物の画像撮影が行われる。
【０００４】
ここまで、手動の操作１０６に基づく手動指令の信号１０３による追尾対象物の画像撮影を説明した。手動の操作１０６に基づく手動指令により追尾対象物を画面の中央付近に捉える追尾雲台の作動体制は、手動追尾モードと称される。手動追尾モードにおける手動指令信号１０３に代えて、自動追尾指令信号１０２を視軸変更部５に供給することにより、追尾対象物を自動的に追尾し、追尾対象物の画像を継続的に画面の中央に表示できる。このように、追尾対象物を自動的に追尾し、追尾対象物の画像を継続的に画面の中央に表示させる追尾雲台の作動体制は自動追尾モードと称される。視軸変更部５に供給する指令信号を手動指令信号１０４から自動追尾指令信号１０２に切り替えて、追尾対象物を自動的に追尾するように、追尾雲台の作動モード（作動体制）を変更する指令は操作１０６に含まれている。操作１０６は、ジョイスティックの傾斜方向の他に、作動モードの切替のためのスイッチ操作を含む。操作部１０６は、手動追尾モードから自動追尾モードへ作動モードを切替るためのスイッチ操作を入力すると、追尾開始切替信号１０４を生成する。追尾開始切替信号１０４は、指令切替部３および追尾指令生成部２に入力される。
【０００５】
指令切替部３は、追尾開始切替信号１０４の入力を受けて、切片３１を接点ｂの側に「接」とし、操作者による手動指令信号１０３の視軸変更部５に対する信号経路を遮断するとともに、追尾指令生成部２の出力の追尾指令信号１０２を視軸変更部５へ導く信号経路を形成し、追尾指令信号１０２により撮像部１の視軸が変更される回路を構成し、追尾雲台を自動追尾モードに移行する。
【０００６】
次に、図１１を参照して、自動追尾モードにおける追尾指令生成部２の動作を説明する。図１１において、トリガー生成回路６は、操作部４から追尾開始切替信号１０４を受けて、テンプレート更新信号１０７を生成する。テンプレート生成回路６は、このテンプレート更新信号１０７と、撮像部１からの画像出力信号１０１とを入力し、テンプレート更新信号１０７で指示された時の、受像画面の中心部領域の画像をテンプレート画像として切出し、テンプレート画像を保持するとともに、テンプレート画像１１０として出力する。相関演算回路８は、画像出力信号１０１とテンプレート画像１１０とを受けて、画像出力信号１０１による画像を探索領域として、テンプレート画像１１０との間の相関演算処理を行い、該テンプレート画像１１０に対して最もよく適合する探索結果座標と該座標の画像中心からの偏差量１１３を検出し、動き量演算回路１２へ偏差量１１３を出力する。動き量演算回路１２は、偏差量１１３の数量値に比例した値を表す追尾指令信号１０２を生成する。このようにして、追尾指令信号１０２は、追尾対象の画面中心からの偏差量１１３が大きい程大きい値となり、視軸変更部５に供給される。視軸変更部５は、追尾指令信号１０２に応じた視軸変更信号１０５を生成し、追尾対象物が常時画面中心部に位置するように撮像部１の視軸を制御する。かくして、図１０の追尾雲台の自動追尾状態が実現される。
【０００７】
【発明が解決しようとする課題】
上述した従来の追尾雲台においては、追尾指令生成部２で生成される追尾指令信号１０２により自動追尾モードに移行する際には、指令切替部３において、操作部４からの操作者による手動指令信号１０３を「断」とし、追尾指令生成部２から出力される追尾指令信号１０２を「接」としており、手動指令信号１０３の視軸変更部５に対する信号経路は、指令切替部３において遮断される。そこで、自動追尾モードにおいては、操作部４からの手動指令は一切受け付けられない状態になる。従って、例えば、追尾対象物の画像が受像画面中心部に位置している自動追尾状態において、該追尾対象物の画像位置を中心部より少しずらせたい場合、または追尾対象物に近接する他の対象物を新たに追尾したい場合などに対応する操作として、追尾対象物に対する追尾状態を一旦解除した後に、再度当初の追尾対象物に対する追尾状態に復帰しようとする場合がある。このような再捕捉の手動操作を可能にするには、可成りの熟練度を操作者に求める必要があり、再捕捉の手動操作は一般的な操作者には極めて困難である。
【０００８】
また、この対応策として単純に自動の追尾指令に手動の手動指令を重畳する制御を行うと、双方の指令制御間に動作上の競合状態が発生し、再捕捉の手動操作における操作性の改善策とはなり得ない。
【０００９】
そこで、本発明の目的は、自動追尾モードにおいて、追尾指令動作を正常に維持しながら、操作者の意図通りに追尾雲台に搭載される撮像部の視軸方向を任意にずらせることを可能とし、自動追尾モードにおける操作性を格段に改善することのできる追尾雲台を提供することにある。
【００１０】
【課題を解決するための手段】
本発明は前述の課題を解決するために次の手段を提供する。
【００１１】
（１）ジンバル構造に装着される撮像部を備え、該撮像部による撮像画像内において追尾対象物の画像を捕捉し、手動操作に基づく手動指令制御または相関演算処理による追尾指令制御のうちのいずれかの指令制御を選択し、該指令制御により該撮像部の視軸を該追尾対象物に指向することにより、該追尾対象物の自動追尾をする装置であり、該相関演算処理では該追尾対象物の撮像画像とテンプレート画像との相関演算をする追尾雲台において、
操作者の操作に応じた手動指令値を表す前記手動指令信号を生成し、操作者の操作に基づき前記手動指令制御から前記追尾指令制御へ切替る際には追尾開始切替信号を生成する操作部と、
前記追尾指令制御のための追尾指令信号を生成する追尾指令生成部と、
前記手動指令信号および前記追尾指令信号を受け、前記追尾開始切替信号に応じ該手動指令信号または該追尾指令信号のうちの一方を選択し、指令信号として出力する指令切替部と、
前記指令信号に応じ、前記撮像部の視軸方向を変更する制御を行う視軸変更部と
を備え、
前記指令切替部は、前記追尾開始切替信号を受けたとき、前記手動指令信号を前記追尾指令生成部へ導き、
前記追尾指令生成部は、前記視軸方向変更制御を前記追尾指令制御により行う際には、前記追尾開始切替信号の入力に対応してテンプレート更新要求Ａを生成し、テンプレート更新要求Ａに応じたテンプレート画像Ａを生成し、前記撮像部から受ける撮像画像とテンプレート画像Ａとのテンプレートマッチングによる相関演算処理を行うことにより、前記追尾指令信号を生成し、前記手動指令信号を受けたときは、該手動指令信号に応じたテンプレート座標とテンプレート更新要求Ｂとを生成し、該テンプレート座標で規定される領域の該撮像画像をテンプレート画像Ｂとして切り出し、テンプレート更新要求Ｂに基づき該撮像画像とテンプレート画像Ｂとのテンプレートマッチングによる相関演算処理を行うことにより、前記追尾指令信号を生成する
ことを特徴とする追尾雲台。
【００１２】
（２）前記追尾指令生成部は、
前記追尾開始切替信号の入力を受けて、前記テンプレート更新要求Ａに対応する第１のテンプレート更新要求信号を生成するトリガー生成回路と、
前記手動指令信号を受けて、該手動指令信号の極性に対応する増分値をオフセット座標として生成するオフセット生成回路と、
前記オフセット座標を受けて、該オフセット座標に対応する増分値がゼロ値以外の場合に、前記テンプレート更新要求Ｂを生成するゼロ比較回路と、
前記撮像部から撮像画像を受けて、前記テンプレート更新要求信号Ａに対応し、該撮像画像中心部を含む領域を、テンプレート画像Ａとして切り出して保存するテンプレート生成回路と、
前記追尾対象物の撮像画像と前記テンプレート画像Ａとを受けて、これらの両画像間において二次元相関演算を行うことによりテンプレートマッチングをとり、該撮像画像中でテンプレート画像Ａとの適合度が最も高い探索結果座標を生成するとともに、該撮像画像の中心に対する該探索結果座標の偏差量を演算する相関演算回路と、
前記探索結果座標と前記オフセット座標を受け、該探索結果座標に該オフセット座標を加算した加算値を、前記テンプレート座標として前記テンプレート生成回路に出力する加算回路と、
前記偏差量を受けて、該偏差量に比例した数量値を指令値とする前記追尾指令信号を生成する動き量演算回路と
を備え、
前記テンプレート生成回路は、前記ゼロ比較回路から前記テンプレート更新要求Ｂ受け、前記加算回路から前記テンプレート座標を受けたときは、該テンプレート座標で規定される領域の前記撮像画像をテンプレート画像Ｂとして切り出し、前記テンプレート画像Ａに代えて該テンプレート画像Ｂを前記相関演算回路へ供給し、
前記相関演算回路は、前記テンプレート画像Ａに代えて該テンプレート画像Ｂを用い、該テンプレート画像Ｂと前記撮像画像との二次元相関演算を行う
ことを特徴とする前記（１）に記載の追尾雲台。
【００１３】
（３）前記オフセット生成回路は、
前記手動指令信号を受け、該手動指令信号の極性に対応する二値およびゼロ値を含む３値の極性信号を出力する極性出力回路と、
前記極性信号を受け、該極性信号の極性に対応する増分信号を前記オフセット座標として出力するカウンタ回路と
を備えて構成される前記（２）に記載の追尾雲台。
【００１４】
（４）前記オフセット生成回路は、前記手動指令信号を受け、該手動指令信号のスケールを変換して前記オフセット座標として出力するスケール変換回路を備えて構成される前記（２）に記載の追尾雲台。
【００１５】
【発明の実施の形態】
次に、図面を参照し、本発明の実施の形態について説明する。
【００１６】
図１は本発明の第１の実施の形態である追尾雲台の構成を示すブロック図、図２は図１の追尾雲台における追尾指令生成部２の詳細な構成を示すブロック図である。図１の追尾雲台は、雲台に搭載される撮像部１と、追尾指令生成部２と、手動指令信号１０３と追尾指令信号１０２の入力を受けて、手動追尾モード（手動指令時）には手動指令信号を選択して出力し、自動追尾モード（追尾指令時）には手動指令信号と追尾指令信号とを選択して出力する指令切替部３と、操作者の操作１０６に応じ手動指令信号、追尾開始切替信号等を出力する操作部４と、撮像部１の視軸方向を視軸方向変更制御する視軸変更部５とを備えで構成される。
【００１７】
図２の追尾指令生成部２は、テンプレート生成回路６と、トリガー生成回路７と、相関演算回路８と、オフセット生成回路９と、ゼロ比較回路１０と、加算回路１１と、動き量演算回路１２とを備えて構成される。追尾指令生成部２は、追尾指令時に撮像部１からの画像情報を受けて、手動指令信号１０３に基づくテンプレート更新要求を介してテンプレートマッチッグによる相関処理を行って追尾指令信号１０２を出力するとともに、操作者による手動指令信号１０３が入力される際には、該手動指令信号１０３によるテンプレート更新要求に基づき更新テンプレート座標を生成し、その更新テンプレートによる画像出力信号１０１の相関処理を行い、操作者の操作に応ずる追尾指令信号１０２を出力する
図１の実施の形態は、図１０の従来の追尾雲台と同様に、ヘリコプタ等に搭載され、移動する自動車などの追尾対象物の画像情報を撮像部１で取得し、その画像情報の相関処理により追尾対象物を自動追尾する機能を有する。追尾対象物を自動追尾することにより、撮像部１の視軸方向が追尾対象物に指向する。本実施の形態によれば、追尾指令時においても、操作者による手動指令信号１０３に基づきテンプレート座標を更新し、自動追尾状態を正常に維持しながら、操作者の意図する向きに撮像部の視軸を指向させることが可能となる。このことが本実施の形態の大きな特徴である。
【００１８】
図１において、通常の撮影状態においては、指令切替部３における切片３１は接点ａ１の側に「接」となっている。追尾雲台の操作者がジョイスティックを操作し、ジョイスティックの機械出力である操作１０６が出力されると、操作部４は、ジョイスティックの傾斜方向を表す手動指令信号１０３を生成する。手動指令信号１０３は、指令切替部３を経由して視軸変更部５に入力される。視軸変更部５は、手動指令信号１０３を受けて視軸変更信号１０５を生成する。撮像部１は、視軸変更信号１０５に応じて視軸を変更し、操作者の意図する追尾対象に視軸を指向する。操作者は、通常は追尾対象物の画像が画面の中心部に表示されるようにジョイスティックを操作する。以上の作動が本実施の形態の手動追尾モードでありある。本実施の形態では、手動追尾モードによりまず追尾対象物を画面の中央部に表示するが、追尾対象物は操作者によるジョイスティックの操作に基づき選択される。
【００１９】
手動追尾モードにより追尾対象物を画面の中央部に捕捉したときは、本実施の形態の作動モードを変更し、手動指令による手動追尾（手動追尾モード）から追尾指令による自動追尾（自動追尾モード）に移行することができる。操作１０６は、ジョイスティックの傾斜方向の他に、作動モードの切替のためのスイッチ操作を含む。操作部４は、手動追尾モードから自動追尾モードへ作動モードを切替るためのスイッチ操作を入力すると、追尾開始切替信号１０４を生成する。追尾開始切替信号１０４は、操作部４から指令切替部３および追尾指令生成部２に入力される。
【００２０】
この追尾開始切替信号１０４の入力を受けた指令切替部３は、切片３１を接点ｂの側に接触させ、切片３２を接点ａ２に接触させる。指令切替部３におけるこの切替動作により、追尾指令生成部２から出力される追尾指令信号１０２は指令切替部３を経由して視軸変更部５に入力される。指令切替部３の作動により、視軸変更部５に入力される指令信号として追尾指令信号１０２が選択されたとき、本実施の形態は自動追尾モードに設定される。撮像部１からの画像出力信号１０１と、操作部４からの追尾開始切替信号１０４の入力を受けた追尾指令生成部２は、該追尾開始切替信号１０４に基づきテンプレート更新要求を生成し、前記従来例の場合と同様にテンプレートマッチングによる相関演算処理を行い、追尾指令信号１０２を生成し、追尾指令信号１０２を視軸変更部５に供給するという自動追尾系を形成する。以上の作動により、図１の追尾雲台は自動追尾モードに移行する。
【００２１】
次に、図１、図２、図３および図４を参照して、手動指令による手動追尾モードから追尾指令による自動追尾モードへ切替えられた時点における追尾指令生成部２の動作と、追尾指令時に、操作者による手動指令信号１０３が出力された際の動作につき、一層具体的に説明する。
【００２２】
図２において、追尾開始切替信号１０４はトリガ生成回路７に入力される。図３はトリガー生成回路７の構成を示すブロック図である。トリガー生成回路７は、単位時間遅延回路１６、排他的論理和回路１７および論理積回路１８により構成される。図４はトリガー生成回路７の各部信号のタイミング図であり、同図（ａ）は追尾開始切替信号１０４、同図（ｂ）は単位時間遅延回路１６の出力である遅延信号１１７、同図（ｃ）は排他的論理和回路１７の出力である排他的論理和信号１１８、同図（ｄ）は論理積回路１８の出力信号である第１のテンプレート更新要求信号１０７（前述のテンプレート更新要求Ａに相当）をそれぞれ示す。
【００２３】
追尾開始切替信号１０４（図４（ａ））は、単位時間遅延回路１６および排他的論理和回路１７に入力される。単位時間遅延回路１６から出力される遅延信号１１７（図４（ｂ））は排他的論理和回路１７に入力されて、追尾開始切替信号１０４との間の排他的論理和がとられ、排他的論理和信号１１８（図４（ｃ））は論理積回路１８に入力される。論理積回路１８には、追尾開始切替信号１０４も入力されており、論理積回路１８からは両信号の論理積信号が、第１のテンプレート更新要求信号１０７（図４（ｄ））として出力されて、テンプレート生成回路６に入力される。
【００２４】
テンプレート生成回路６は、トリガー生成回路７からの第１のテンプレート更新要求信号１０７の入力し、撮像部１から送られてくる画像出力信号１０１による画像の中心部の領域を、テンプレート画像として切出し、保持するとともに、テンプレート画像１１０（前述のテンプレート画像Ａに相当）として相関演算回路８へ供給する。相関演算回路８は、画像出力信号１０１とテンプレート画像１１０とを入力し、画像出力信号１０１による画像を探索領域として、テンプレート画像１１０との間のテンプレート・マッチングによる相関演算処理を行い、該テンプレート画像１１０に対して最もよく適合する座標を、探索結果座標１１１として検出するとともに、該座標の画像中心からの偏差量１１３を検出する。動き量演算回路１２は、偏差量１１３を入力し、偏差量１１３の数量値に比例した値を表す追尾指令信号１０２を生成する。追尾指令信号１０２は、指令切替部３を介して視軸変更部５に入力される。以上の動作により、図１の追尾雲台における自動追尾モードが完成し、撮像部１の視軸を追尾対象物に指向し、受像画面における追尾対象物の撮像画像を画面の中心部に保持する。
【００２５】
この自動追尾モードにおいて、操作者の操作１０６に基づき手動指令信号１０３が出力されると、手動指令信号１０３は、指令切替部３の接点ａ２および切片３２を介して追尾指令生成部２のオフセット生成回路９に入力される。オフセット生成回路９は、手動指令信号１０３で表される手動指令値の極性に従って正または負の増分値（オフセット量）を生成し、オフセット座標１０８としてゼロ比較回路１０及び加算回路１１へ供給する。ゼロ比較回路１０は、オフセット座標１０８を入力し、オフセット座標１０８の値がゼロであるとき以外には所定の定数値を生成し、操作者による手動指令信号１０３に対応する第２のテンプレート更新要求信号１０９（前述のテンプレート更新要求Ｂに相当）として、その定数値をテンプレート生成回路６に供給する。また加算回路１１は、相関演算回路８から供給される探索結果座標１１１に対して、該オフセット座標１０８を加算し、前記手動指令値の入力に伴う新たなテンプレート座標１１２を生成し、テンプレート生成回路６へ送る。
【００２６】
テンプレート生成回路６は、第１のテンプレート更新要求信号１０７の入力に加えて、第２のテンプレート更新要求信号１０９の入力を受けて、加算回路１１から送られるテンプレート座標１１２を、新たに設定された更新テンプレート座標とし、この更新テンプレート座標に基づく新規のテンプレート画像１１０ａ（前述のテンプレート画像Ｂに相当）を切り出し、保持するとともに、該新規のテンプレート画像１１０ａを相関演算回路８へ出力する。相関演算回路８は、画像出力信号１０１と新規のテンプレート画像１１０ａの入力を受けて、既に説明されているようにテンプレート・マッチングによる相関演算処理を行い、該新規のテンプレート画像１１０ａに対して最もよく適合する探索結果座標と、該座標の画像中心からの偏差量１１３を検出し、偏差量１１３を動き量演算回路１２へ供給する。動き量演算回路１２は、偏差量１１３の数量値に比例した値を表す追尾指令信号１０２を生成する。駆追尾指令信号１０２は、前述のように、動指令切替回路３接点ｂおよび切片３１を介して、視軸変更部５へ供給される。以上の作動により、自動追尾モードにありながら、新規のテンプレート座標に対応する画像領域が、受像画面の中心部に保持されて追尾動作が継続して維持される。
【００２７】
即ち、操作者のジョイスティックの操作に応じた手動指令信号で表される方向にオフセット量がオフセット座標１０８として加算され、該操作者の意図する方向の画像が新規のテンプレート画像１１０ａとして生成されるとともに、追尾指令信号１０２による追尾機能が維持される、新規のテンプレート画像１１０ａとの適合度の高い対象物が画面中心部に保持されるので、結果として、追尾状態を維持しながら操作者の意図通りに撮像部１の視軸を移動させることが可能となる。
【００２８】
この状態におけるテンプレートの更新による画像の変化の様子が図９（ａ）および（ｂ）の模式図に示される。図９（ａ）には、探索結果座標にオフセット座標が加算されて、新たに更新されたテンプレート座標が設定されている状態が示されておる。図９（ａ）において、細い線にて示されるのは元のテンプレートを示し、太い線にて示されるのは新規のテンプレートを示している。また矢印１１７は、操作者による手動指令の向きを示しており、テンプレート座標は、該手動指令の向きに加算されている。図９（ｂ）に示されるのは、操作者の手動指令による場合の自動追尾状態における受像画面を示す模式図であるが、操作者による手動指令に応じて、右側にシフトしたテンプレートに対応した画像が中心部に保持されている状況が示される。操作者による手動指令により、図９（ａ）では背の高い乗用車が画面の中央にあるが、図９（ｂ）では背の高い乗用車および背の低い乗用車の２台の中間が画面の中央にある。
【００２９】
次に、本発明の第２の実施の形態について説明する。第２の実施の形態は、第１の実施の形態におけるオフセット生成回路９の構成を一層具体化したものである。図５はこの第２の実施の形態における追尾指令生成部の構成を示すブロック図である。図５において、オフセット生成回路９は、極性出力回路１３とカウンタ回路１４により構成されている。図６は、オフセット生成回路９およびゼロ比較回路１０における各部の信号のタイミング図である。図６（ａ）は手動指令信号１０３、同図（ｂ）は極性出力回路１３の出力の三値信号１１４、同図（ｃ）はカウンタ回路１４の出力のオフセット座標１０８、同図（ｄ）はゼロ比較回路１０の出力の第２のテンプレート更新要求信号１０９をそれぞれ示す。
【００３０】
極性出力回路１３は、図６のタイミング図に示されるように、手動指令信号１０３（図６（ａ）を参照）の入力を受けて、その極性に応じた二値およびゼロを含む三値信号１１４（図６（ｂ））を生成する。カウンタ回路１４は、三値信号１１４の極性での増分信号（図６（ｃ））をオフセット座標１０８として出力する。ゼロ比較回路１０は、オフセット座標１０８を受け、第２のテンプレート更新要求信号１０９を生成する。
【００３１】
図７は、第３の実施例における追尾指令生成部の構成を示すブロック図である。第３の実施の形態は、第１の実施の形態におけるオフセット生成回路９をスケース変換回路１５で実現した例である。図８は、スケース変換回路１５およびゼロ比較回路１０における各部の信号のタイミング図である。図８（ａ）は手動指令信号１０３、同図（ｂ）はスケース変換回路１５の出力のオフセット座標１０８、同図（ｃ）はゼロ比較回路１０の出力の第２のテンプレート更新要求信号１０９をそれぞれ示す。図８に示されるように、スケース変換回路１５は、手動指令信号１０３（図８（ａ））の入力を受けて、手動指令信号１０３の指令駆動値に応じてシフトされるオフセット座標１０８（図８（ｂ））を生成する。
【００３２】
上記の実施の形態によれば、追尾指令により移動中の追尾対象物を自動追尾する自動追尾モードにおいて、受像画面上における追尾対象物の撮像画像の位置を任意にずらせた後に、再度当初の追尾対象物に対する追尾状態に復帰するという操作、または近接する他の対象物を、新たに追尾対象として選択して追尾状態とした後に、再度当初の追尾対象物に対する追尾状態に復帰するという操作などを含む難易度の高い操作が極めて容易となり、自動追尾モードにおける操作者による手動操作性が著しく改善される。
【００３３】
【発明の効果】
以上説明したように、本発明は、追尾指令を生成して追尾対象を自動的に追尾するという追尾機能が作動している自動追尾モードにおいて、操作者の操作を受けて手動指令信号が生成されると、該手動指令信号の手動指令値に対応してテンプレート更新要求信号とオフセット座標とを生成し、操作者の意図する方向にオフセット量を加算し、該方向の画面上における一定領域の撮像画像を、更新されたテンプレートとして生成するとともに、該追尾機能により、新規のテンプレート画像との適合度の高い対象物が画面中心部に保持する。このような本発明の追尾雲台によれば、自動追尾状態を正常に維持しながら、操作者の意図通りに雲台の視軸を移動することが可能となり、追尾指令中における操作者の介入操作を極めて容易にすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示すブロック図である。
【図２】図１の第１の実施の形態における追尾指令生成部の構成を示すブロック図である。
【図３】図２の追尾指令生成部におけるトリガー生成回路の構成を示すブロック図である。
【図４】図３のトリガー生成回路における各部信号のタイミング図である。
【図５】本発明の第２の実施の形態における追尾指令生成部の構成を示すブロック図である。
【図６】図５の第２の実施の形態におけるオフセット生成回路およびゼロ比較回路に関する各部信号のタイミング図である。
【図７】第３の実施例における追尾指令生成部の構成を示すブロック図である。
【図８】本発明の第３の実施の形態におけるオフセット生成回路およびゼロ比較回路に関する動作タイミング図である。
【図９】テンプレートの更新による該テンプレートのシフト状況と、該更新後の追尾指令による受像画面中心部に表示される追尾対象物を示す模式図である。
【図１０】従来の追尾雲台の構成を示すブロック図である。
【図１１】図１０の従来の追尾雲台における追尾指令生成部の構成を示すブロック図である。
【符号の説明】
１　　撮像部
２　　追尾指令生成部
３　　指令切替部
４　　操作部
５　　視軸変更部
６　　テンプレート生成回路
７　　トリガー生成回路
８　　相関演算回路
９　　オフセット生成回路
１０　　ゼロ比較回路
１１　　加算回路
１２　　動き量演算回路
１３　　極性出力回路
１４　　カウンタ回路
１５　　スケール変換回路
１６　　単位時間遅延回路
１７　　排他的論理和回路
１８　　論理積回路[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a tracking head, and more particularly, to a tracking head that automatically tracks the visual axis direction of a mounted imaging unit to a moving tracking target object through correlation calculation processing.
[0002]
[Prior art]
FIG. 10 is a block diagram showing a configuration of an example of a conventional tracking head. The tracking head is mounted on a helicopter or the like, and has a function of acquiring image information of a tracking target such as a moving car by the imaging unit 1 and automatically tracking the tracking target by correlation processing of the image information. The tracking head in FIG. 10 includes an imaging unit 1 that captures a tracking target and outputs an image output signal 101, and a visual axis changing unit 5 that changes the visual axis direction of the imaging unit 1 so as to be directed to the tracking object. In response to the image output signal 101 captured by the imaging unit 1, a tracking command generation unit 2 that generates a tracking command signal 102 corresponding to the tracking target and a manual command signal 103 to the visual axis changing unit 5 are output. Also, an operation unit 4 that outputs a tracking start switching signal 104 for switching the manual tracking mode to the automatic tracking mode, and receives the tracking start switching signal 104, switches the manual command signal 103 to the tracking command signal 102, and changes the visual axis changing unit. And a command switching unit 3 that outputs the command to the control unit 5. FIG. 11 is a block diagram showing the configuration of the tracking command generator 2 in FIG. The tracking command generation unit 2 includes a template generation circuit 6, a trigger generation circuit 7, a correlation operation circuit 8, and a motion amount operation circuit 12.
[0003]
At the time of normal image capturing, the section 31 in the command switching unit 3 in FIG. The operation unit 4 inputs an operation 106 from a joystick as operation input means for inputting an operation direction of an operator of the tracking head. Operation 106 is a mechanical input representing the direction in which the joystick has been tilted by the operator. The operation unit 4 inputs the operation 106 and generates a manual command signal 103 representing a manual command value corresponding to the operation 106. The manual command signal 103 is input to the visual axis changing unit 5 via the command switching unit 3. The visual axis changing unit 5 receives the manual command signal 103 and generates a visual axis change signal 105. The visual axis change signal 105 is input to the visual axis control device of the imaging unit 1 and is a control signal for causing the imaging unit 1 to change the visual axis corresponding to the tilted direction of the joystick indicated by the manual command signal 103. . The visual axis control of the imaging unit 1 for changing the visual axis of the tracking head is performed by the visual axis change signal 105. The operator operates the joystick 106 so that the captured image of the tracking target imaged by the imaging unit 1 fits in the center of the screen. With this operation, the visual axis of the imaging unit 1 is directed in the direction of the tracking target according to the manual command signal 103, and an image of the tracking target is captured by the manual command signal 103 generated by the manual operation.
[0004]
So far, the image capturing of the tracking target object by the manual command signal 103 based on the manual operation 106 has been described. The operating system of the tracking head that captures the tracking target near the center of the screen in response to a manual command based on the manual operation 106 is called a manual tracking mode. By supplying the automatic tracking command signal 102 to the visual axis changing unit 5 instead of the manual command signal 103 in the manual tracking mode, the tracking target is automatically tracked, and the image of the tracking target is continuously displayed on the screen. Can be displayed in the center. As described above, the operating system of the tracking head that automatically tracks the tracking target object and continuously displays the image of the tracking target object at the center of the screen is called an automatic tracking mode. By switching the command signal supplied to the visual axis changing unit 5 from the manual command signal 104 to the automatic tracking command signal 102, the operation mode (operating system) of the tracking head is changed so that the tracking target is automatically tracked. The command is included in operation 106. The operation 106 includes a switch operation for switching the operation mode in addition to the tilt direction of the joystick. The operation unit 106 generates a tracking start switching signal 104 when a switch operation for switching the operation mode from the manual tracking mode to the automatic tracking mode is input. The tracking start switching signal 104 is input to the command switching unit 3 and the tracking command generation unit 2.
[0005]
The command switching unit 3 receives the input of the tracking start switching signal 104, sets the intercept 31 to “contact” with the contact b side, and cuts off the signal path of the manual command signal 103 from the operator to the visual axis changing unit 5. Forming a signal path for guiding the tracking command signal 102 output from the tracking command generation unit 2 to the visual axis changing unit 5 to configure a circuit in which the visual axis of the imaging unit 1 is changed by the tracking command signal 102; To the automatic tracking mode.
[0006]
Next, the operation of the tracking command generator 2 in the automatic tracking mode will be described with reference to FIG. 11, the trigger generation circuit 6 receives the tracking start switching signal 104 from the operation unit 4 and generates a template update signal 107. The template generation circuit 6 receives the template update signal 107 and the image output signal 101 from the imaging unit 1 and uses the image of the central region of the image receiving screen when instructed by the template update signal 107 as a template image. The cutout and the template image are held and output as the template image 110. The correlation calculation circuit 8 receives the image output signal 101 and the template image 110, performs a correlation calculation process between the template image 110 and the image based on the image output signal 101 as a search area, and The best matching search result coordinates and the deviation amount 113 from the image center of the coordinates are detected, and the deviation amount 113 is output to the motion amount calculation circuit 12. The motion amount calculation circuit 12 generates the tracking command signal 102 representing a value proportional to the quantity of the deviation amount 113. In this manner, the tracking command signal 102 becomes larger as the deviation amount 113 from the center of the screen to be tracked becomes larger, and is supplied to the visual axis changing unit 5. The visual axis changing unit 5 generates a visual axis changing signal 105 according to the tracking command signal 102, and controls the visual axis of the imaging unit 1 so that the tracking target is always located at the center of the screen. Thus, the automatic tracking state of the tracking head in FIG. 10 is realized.
[0007]
[Problems to be solved by the invention]
In the above-mentioned conventional tracking head, when shifting to the automatic tracking mode by the tracking command signal 102 generated by the tracking command generation unit 2, the command switching unit 3 controls the manual switching by the operator from the operation unit 4. The signal 103 is “disconnected”, the tracking command signal 102 output from the tracking command generation unit 2 is “contact”, and the signal path of the manual command signal 103 to the visual axis changing unit 5 is cut off by the command switching unit 3. You. Therefore, in the automatic tracking mode, no manual command from the operation unit 4 is accepted. Therefore, for example, in the automatic tracking state in which the image of the tracking target is located at the center of the image receiving screen, when it is desired to shift the image position of the tracking target slightly from the center, or when another object close to the tracking target is used. As an operation corresponding to a case where it is desired to newly track an object, there is a case where the tracking state for the tracking object is once released, and then the state is returned to the original tracking state for the tracking object again. To enable such manual operation of re-capture, it is necessary to require a considerable degree of skill from the operator, and manual operation of re-capture is extremely difficult for ordinary operators.
[0008]
As a countermeasure, if control is performed by simply superimposing a manual command on the automatic tracking command, a race condition occurs between the two command controls, and the operability in the manual operation of re-capture is improved. It cannot be a solution.
[0009]
Therefore, it is an object of the present invention to be able to arbitrarily shift the visual axis direction of an imaging unit mounted on a tracking head according to an operator's intention while maintaining a normal tracking instruction operation in the automatic tracking mode. An object of the present invention is to provide a tracking head that can significantly improve the operability in the automatic tracking mode.
[0010]
[Means for Solving the Problems]
The present invention provides the following means for solving the above-mentioned problems.
[0011]
(1) An image pickup unit mounted on a gimbal structure is provided, an image of a tracking target is captured in an image picked up by the image pickup unit, and either of manual command control based on manual operation or tracking command control by correlation calculation processing is performed. Is a device for automatically tracking the tracking object by selecting the command control and directing the visual axis of the imaging unit to the tracking object by the command control. In a tracking head that performs a correlation operation between a captured image of an object and a template image,
An operation unit that generates the manual command signal representing a manual command value corresponding to an operation of an operator, and generates a tracking start switching signal when switching from the manual command control to the tracking command control based on an operation of the operator; When,
A tracking command generation unit that generates a tracking command signal for the tracking command control,
A command switching unit that receives the manual command signal and the tracking command signal, selects one of the manual command signal and the tracking command signal according to the tracking start switching signal, and outputs the command signal.
A visual axis changing unit that performs control to change the visual axis direction of the imaging unit according to the command signal.
With
The command switching unit, when receiving the tracking start switching signal, guides the manual command signal to the tracking command generation unit,
The tracking command generation unit generates a template update request A in response to the input of the tracking start switching signal when performing the visual axis direction change control by the tracking command control, and responds to the template update request A. By generating a template image A and performing a correlation calculation process by template matching between the captured image received from the imaging unit and the template image A, the tracking command signal is generated, and when the manual command signal is received, It generates template coordinates and a template update request B according to the manual command signal, cuts out the captured image in an area defined by the template coordinates as a template image B, and based on the template update request B, the captured image and the template image B The tracking command signal by performing a correlation calculation process by template matching with Generate
A tracking head that features:
[0012]
(2) The tracking command generator includes:
A trigger generation circuit that receives the tracking start switching signal and generates a first template update request signal corresponding to the template update request A;
An offset generation circuit that receives the manual command signal and generates an increment value corresponding to the polarity of the manual command signal as offset coordinates,
A zero comparing circuit that receives the offset coordinates and generates the template update request B when an increment value corresponding to the offset coordinates is other than zero;
A template generation circuit that receives a captured image from the imaging unit, cuts out an area corresponding to the template update request signal A and includes the central part of the captured image as a template image A, and saves the template generation circuit;
The captured image of the tracking object and the template image A are received, and a two-dimensional correlation operation is performed between these two images to perform template matching, and the degree of conformity with the template image A in the captured image is the highest. A correlation operation circuit that generates high search result coordinates and calculates a deviation amount of the search result coordinates with respect to the center of the captured image;
An addition circuit that receives the search result coordinates and the offset coordinates, and outputs an addition value obtained by adding the offset coordinates to the search result coordinates to the template generation circuit as the template coordinates;
A motion amount calculation circuit that receives the deviation amount and generates the tracking command signal having a command value that is a quantity value proportional to the deviation amount;
With
The template generation circuit receives the template update request B from the zero comparison circuit, and when receiving the template coordinates from the addition circuit, cuts out the captured image of an area defined by the template coordinates as a template image B, Supplying the template image B to the correlation operation circuit in place of the template image A;
The correlation operation circuit performs a two-dimensional correlation operation between the template image B and the captured image using the template image B instead of the template image A.
The tracking head according to (1), wherein:
[0013]
(3) The offset generation circuit includes:
A polarity output circuit that receives the manual command signal and outputs a ternary polarity signal including a binary value and a zero value corresponding to the polarity of the manual command signal;
A counter circuit that receives the polarity signal and outputs an increment signal corresponding to the polarity of the polarity signal as the offset coordinate;
The tracking head according to the above (2), comprising:
[0014]
(4) The tracking cloud according to (2), wherein the offset generation circuit includes a scale conversion circuit that receives the manual command signal, converts the scale of the manual command signal, and outputs the scale as the offset coordinates. Stand.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of the present invention will be described with reference to the drawings.
[0016]
FIG. 1 is a block diagram showing a configuration of a tracking head according to a first embodiment of the present invention, and FIG. 2 is a block diagram showing a detailed configuration of a tracking command generation unit 2 in the tracking head of FIG. The tracking head in FIG. 1 receives an input of an imaging unit 1 mounted on the head, a tracking command generation unit 2, a manual command signal 103 and a tracking command signal 102, and enters a manual tracking mode (at the time of a manual command). Selects and outputs a manual command signal, and in an automatic tracking mode (at the time of a tracking command), a command switching unit 3 that selects and outputs a manual command signal and a tracking command signal; An operation unit 4 that outputs a signal, a tracking start switching signal, and the like, and a visual axis changing unit 5 that controls the visual axis direction of the imaging unit 1 to change the visual axis direction are provided.
[0017]
2 includes a template generation circuit 6, a trigger generation circuit 7, a correlation calculation circuit 8, an offset generation circuit 9, a zero comparison circuit 10, an addition circuit 11, and a motion amount calculation circuit 12. And is provided. The tracking command generation unit 2 receives the image information from the imaging unit 1 at the time of the tracking command, performs a correlation process using a template match via a template update request based on the manual command signal 103, and outputs a tracking command signal 102. At the same time, when a manual command signal 103 is input by the operator, an update template coordinate is generated based on a template update request by the manual command signal 103, and a correlation process of the image output signal 101 based on the updated template is performed. The tracking command signal 102 corresponding to the user's operation
In the embodiment of FIG. 1, similarly to the conventional tracking head of FIG. 10, image information of a tracking target such as a moving car mounted on a helicopter or the like is acquired by the imaging unit 1, and the correlation of the image information is acquired. It has a function of automatically tracking a tracking target by processing. By automatically tracking the tracking target, the visual axis direction of the imaging unit 1 is directed to the tracking target. According to the present embodiment, even at the time of a tracking command, the template coordinates are updated based on the manual command signal 103 by the operator, and while the automatic tracking state is normally maintained, the image pickup unit is viewed in the direction intended by the operator. It is possible to direct the axis. This is a major feature of the present embodiment.
[0018]
In FIG. 1, in a normal photographing state, the section 31 in the command switching unit 3 is in “contact” with the contact a1. When the operator of the tracking head operates the joystick and the operation 106, which is a mechanical output of the joystick, is output, the operation unit 4 generates a manual command signal 103 indicating the tilt direction of the joystick. The manual command signal 103 is input to the visual axis changing unit 5 via the command switching unit 3. The visual axis changing unit 5 receives the manual command signal 103 and generates a visual axis change signal 105. The imaging unit 1 changes the visual axis according to the visual axis change signal 105, and directs the visual axis to the tracking target intended by the operator. The operator usually operates the joystick so that the image of the tracking target is displayed at the center of the screen. The above operation is the manual tracking mode of the present embodiment. In the present embodiment, the tracking target is first displayed at the center of the screen in the manual tracking mode, and the tracking target is selected based on the operation of the joystick by the operator.
[0019]
When the tracking target is captured at the center of the screen by the manual tracking mode, the operation mode of the present embodiment is changed, and the manual tracking by the manual command (manual tracking mode) is changed to the automatic tracking by the tracking command (automatic tracking mode). Can be transferred to. The operation 106 includes a switch operation for switching the operation mode in addition to the tilt direction of the joystick. When inputting a switch operation for switching the operation mode from the manual tracking mode to the automatic tracking mode, the operation unit 4 generates a tracking start switching signal 104. The tracking start switching signal 104 is input from the operation unit 4 to the command switching unit 3 and the tracking command generation unit 2.
[0020]
The command switching unit 3 that has received the input of the tracking start switching signal 104 causes the segment 31 to contact the contact b and the segment 32 to contact the contact a2. By this switching operation in the command switching unit 3, the tracking command signal 102 output from the tracking command generation unit 2 is input to the visual axis changing unit 5 via the command switching unit 3. When the tracking command signal 102 is selected as a command signal to be input to the visual axis changing unit 5 by the operation of the command switching unit 3, the present embodiment is set to the automatic tracking mode. Upon receiving the image output signal 101 from the imaging unit 1 and the input of the tracking start switching signal 104 from the operation unit 4, the tracking command generation unit 2 generates a template update request based on the tracking start switching signal 104, and As in the case of the example, a correlation calculation process by template matching is performed, a tracking command signal 102 is generated, and an automatic tracking system that supplies the tracking command signal 102 to the visual axis changing unit 5 is formed. By the above operation, the tracking head in FIG. 1 shifts to the automatic tracking mode.
[0021]
Next, with reference to FIGS. 1, 2, 3 and 4, the operation of the tracking command generation unit 2 when the mode is switched from the manual tracking mode by the manual command to the automatic tracking mode by the tracking command, The operation when the manual command signal 103 is output by the operator will be described more specifically.
[0022]
In FIG. 2, the tracking start switching signal 104 is input to the trigger generation circuit 7. FIG. 3 is a block diagram showing the configuration of the trigger generation circuit 7. The trigger generation circuit 7 includes a unit time delay circuit 16, an exclusive OR circuit 17, and an AND circuit 18. FIGS. 4A and 4B are timing charts of signals of various parts of the trigger generation circuit 7. FIG. 4A shows a tracking start switching signal 104, FIG. 4B shows a delay signal 117 output from the unit time delay circuit 16, and FIG. c) is an exclusive OR signal 118 which is an output of the exclusive OR circuit 17, and (d) is a first template update request signal 107 which is an output signal of the AND circuit 18 (the template update request A described above). Respectively) are shown.
[0023]
The tracking start switching signal 104 (FIG. 4A) is input to the unit time delay circuit 16 and the exclusive OR circuit 17. The delay signal 117 (FIG. 4 (b)) output from the unit time delay circuit 16 is input to the exclusive OR circuit 17, and the exclusive OR with the tracking start switching signal 104 is obtained, and the exclusive OR is obtained. The logical sum signal 118 (FIG. 4C) is input to the logical product circuit 18. The tracking start switching signal 104 is also input to the logical product circuit 18, and the logical product signal of both signals is output from the logical product circuit 18 as a first template update request signal 107 (FIG. 4D). Is input to the template generating circuit 6.
[0024]
The template generation circuit 6 receives the first template update request signal 107 from the trigger generation circuit 7 and cuts out a central region of the image by the image output signal 101 sent from the imaging unit 1 as a template image. At the same time, it is supplied to the correlation operation circuit 8 as a template image 110 (corresponding to the template image A described above). The correlation calculation circuit 8 receives the image output signal 101 and the template image 110, performs a correlation calculation process by template matching with the template image 110 using the image based on the image output signal 101 as a search area, and The coordinates that best match 110 are detected as search result coordinates 111, and the amount of deviation 113 of the coordinates from the image center is detected. The motion amount calculation circuit 12 receives the deviation amount 113 and generates a tracking command signal 102 representing a value proportional to the quantity of the deviation amount 113. The tracking command signal 102 is input to the visual axis changing unit 5 via the command switching unit 3. By the above operation, the automatic tracking mode in the tracking head in FIG. 1 is completed, the visual axis of the imaging unit 1 is directed to the tracking target, and the captured image of the tracking target on the image receiving screen is held at the center of the screen. .
[0025]
In the automatic tracking mode, when the manual command signal 103 is output based on the operation 106 of the operator, the manual command signal 103 is generated by the tracking command generation unit 2 via the contact a2 of the command switching unit 3 and the intercept 32. Input to the circuit 9. The offset generation circuit 9 generates a positive or negative incremental value (offset amount) according to the polarity of the manual command value represented by the manual command signal 103 and supplies it to the zero comparison circuit 10 and the addition circuit 11 as offset coordinates 108. The zero comparison circuit 10 receives the offset coordinate 108, generates a predetermined constant value except when the value of the offset coordinate 108 is zero, and generates a second template update request corresponding to the manual command signal 103 by the operator. The constant value is supplied to the template generation circuit 6 as a signal 109 (corresponding to the above-described template update request B). Further, the addition circuit 11 adds the offset coordinates 108 to the search result coordinates 111 supplied from the correlation operation circuit 8 to generate new template coordinates 112 in response to the input of the manual command value. Send to 6.
[0026]
The template generating circuit 6 receives the input of the second template update request signal 109 in addition to the input of the first template update request signal 107, and sets the template coordinates 112 sent from the adding circuit 11 to the newly set template coordinates 112. The new template image 110a (corresponding to the above-described template image B) based on the updated template coordinates is cut out and held as the updated template coordinates, and the new template image 110a is output to the correlation operation circuit 8. The correlation calculation circuit 8 receives the input of the image output signal 101 and the new template image 110a, performs a correlation calculation process by template matching as described above, and performs the best calculation on the new template image 110a. The matching search result coordinates and the deviation amount 113 of the coordinates from the image center are detected, and the deviation amount 113 is supplied to the motion amount calculation circuit 12. The motion amount calculation circuit 12 generates the tracking command signal 102 representing a value proportional to the quantity of the deviation amount 113. The driving tracking command signal 102 is supplied to the visual axis changing unit 5 via the contact b of the motion command switching circuit 3 and the intercept 31 as described above. By the above operation, the image area corresponding to the new template coordinates is held at the center of the image receiving screen and the tracking operation is continuously maintained even in the automatic tracking mode.
[0027]
That is, the offset amount is added as the offset coordinate 108 in the direction represented by the manual command signal according to the operation of the joystick by the operator, and an image in the direction intended by the operator is generated as a new template image 110a. Since the tracking function according to the tracking command signal 102 is maintained, the object having a high degree of conformity with the new template image 110a is held in the center of the screen. As a result, the tracking state is maintained and the operator's intention is maintained. It is possible to move the visual axis of the imaging unit 1 at a time.
[0028]
FIGS. 9 (a) and 9 (b) schematically show how the image is changed by updating the template in this state. FIG. 9A shows a state in which offset coordinates are added to the search result coordinates and newly updated template coordinates are set. In FIG. 9A, a thin line indicates an original template, and a thick line indicates a new template. An arrow 117 indicates the direction of the manual command by the operator, and the template coordinates are added to the direction of the manual command. FIG. 9B is a schematic diagram showing an image receiving screen in an automatic tracking state in the case of an operator's manual command, which corresponds to a template shifted to the right according to the operator's manual command. The situation where the image is held in the center is shown. According to the manual command by the operator, the tall passenger car is located at the center of the screen in FIG. 9A, but the middle between the tall passenger car and the short passenger car is located at the center of the screen in FIG. 9B. is there.
[0029]
Next, a second embodiment of the present invention will be described. The second embodiment is a more specific example of the configuration of the offset generation circuit 9 in the first embodiment. FIG. 5 is a block diagram showing a configuration of a tracking command generation unit according to the second embodiment. 5, the offset generation circuit 9 includes a polarity output circuit 13 and a counter circuit 14. FIG. 6 is a timing chart of signals of respective units in the offset generation circuit 9 and the zero comparison circuit 10. 6A shows a manual command signal 103, FIG. 6B shows a ternary signal 114 output from the polarity output circuit 13, FIG. 6C shows an offset coordinate 108 output from the counter circuit 14, and FIG. Indicates a second template update request signal 109 output from the zero comparison circuit 10.
[0030]
As shown in the timing chart of FIG. 6, the polarity output circuit 13 receives the input of the manual command signal 103 (see FIG. 6A), and outputs a ternary signal including binary and zero according to the polarity. 114 (FIG. 6B). The counter circuit 14 outputs an increment signal (FIG. 6C) with the polarity of the ternary signal 114 as the offset coordinate 108. The zero comparison circuit 10 receives the offset coordinates 108 and generates a second template update request signal 109.
[0031]
FIG. 7 is a block diagram illustrating a configuration of a tracking command generation unit according to the third embodiment. The third embodiment is an example in which the offset generation circuit 9 in the first embodiment is realized by a skelet conversion circuit 15. FIG. 8 is a timing chart of signals at various parts in the skew conversion circuit 15 and the zero comparison circuit 10. 8A shows the manual command signal 103, FIG. 8B shows the offset coordinate 108 of the output of the skewing converter 15, and FIG. 8C shows the second template update request signal 109 of the output of the zero comparator 10. Shown respectively. As shown in FIG. 8, upon receiving the input of the manual command signal 103 (FIG. 8A), the skew conversion circuit 15 shifts the offset coordinates 108 (see FIG. 8) in accordance with the command drive value of the manual command signal 103. 8 (b)).
[0032]
According to the above-described embodiment, in the automatic tracking mode in which the tracking target being moved is automatically tracked by the tracking command, the position of the captured image of the tracking target on the image receiving screen is arbitrarily shifted, and then the initial tracking is performed again. The operation of returning to the tracking state for the target object, or the operation of returning to the original tracking state for the original tracking target object after selecting another nearby target object as the new tracking target and setting it to the tracking state again This makes it extremely easy to perform highly difficult operations including manual operation, and significantly improves the manual operability of the operator in the automatic tracking mode.
[0033]
【The invention's effect】
As described above, according to the present invention, in the automatic tracking mode in which the tracking function of generating a tracking command and automatically tracking a tracking target is operated, a manual command signal is generated in response to an operation of an operator. Then, a template update request signal and offset coordinates are generated in accordance with the manual command value of the manual command signal, the offset amount is added in a direction intended by the operator, and an image of a certain area on the screen in the direction is generated. An image is generated as an updated template, and an object having a high degree of matching with the new template image is held at the center of the screen by the tracking function. According to such a tracking head of the present invention, it is possible to move the visual axis of the head as intended by the operator while maintaining the automatic tracking state normally, and the operator's intervention during the tracking command Operation can be made extremely easy.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a first exemplary embodiment of the present invention.
FIG. 2 is a block diagram illustrating a configuration of a tracking command generation unit according to the first embodiment of FIG.
FIG. 3 is a block diagram illustrating a configuration of a trigger generation circuit in the tracking command generation unit in FIG. 2;
FIG. 4 is a timing chart of signals of various parts in the trigger generation circuit of FIG. 3;
FIG. 5 is a block diagram illustrating a configuration of a tracking command generation unit according to a second embodiment of the present invention.
FIG. 6 is a timing chart of signals of respective units relating to an offset generation circuit and a zero comparison circuit in the second embodiment of FIG. 5;
FIG. 7 is a block diagram illustrating a configuration of a tracking command generation unit according to a third embodiment.
FIG. 8 is an operation timing chart regarding an offset generation circuit and a zero comparison circuit according to a third embodiment of the present invention.
FIG. 9 is a schematic diagram showing a shift state of the template due to the update of the template and a tracking target object displayed at the center of the image receiving screen by the tracking command after the update.
FIG. 10 is a block diagram showing a configuration of a conventional tracking head.
11 is a block diagram illustrating a configuration of a tracking command generation unit in the conventional tracking head of FIG.
[Explanation of symbols]
1 Imaging unit
2 Tracking command generator
3 Command switching unit
4 Operation unit
5 Visual axis changing unit
6 Template generation circuit
7 Trigger generation circuit
8 Correlation arithmetic circuit
9 Offset generation circuit
10 Zero comparison circuit
11 Addition circuit
12 Motion amount calculation circuit
13 Polarity output circuit
14 Counter circuit
15 Scale conversion circuit
16 Unit time delay circuit
17 Exclusive OR circuit
18 AND circuit

Claims

An image pickup unit attached to the gimbal structure is provided, an image of a tracking target is captured in an image picked up by the image pickup unit, and any one of manual command control based on manual operation or tracking command control based on correlation calculation processing is performed. A device that automatically controls the tracking target by selecting the control and directing the visual axis of the imaging unit to the tracking target by the command control. In the correlation calculation process, the device performs imaging of the tracking target. In the tracking head that performs the correlation operation between the image and the template image,
An operation unit that generates the manual command signal representing a manual command value corresponding to an operation of an operator, and generates a tracking start switching signal when switching from the manual command control to the tracking command control based on an operation of the operator; When,
A tracking command generation unit that generates a tracking command signal for the tracking command control,
A command switching unit that receives the manual command signal and the tracking command signal, selects one of the manual command signal and the tracking command signal according to the tracking start switching signal, and outputs the command signal.
A visual axis changing unit that performs control to change a visual axis direction of the imaging unit according to the command signal,
The command switching unit, when receiving the tracking start switching signal, guides the manual command signal to the tracking command generation unit,
The tracking command generation unit generates a template update request A in response to the input of the tracking start switching signal when performing the visual axis direction change control by the tracking command control, and responds to the template update request A. By generating a template image A and performing a correlation calculation process by template matching between the captured image received from the imaging unit and the template image A, the tracking command signal is generated, and when the manual command signal is received, It generates template coordinates and a template update request B according to the manual command signal, cuts out the captured image in an area defined by the template coordinates as a template image B, and based on the template update request B, the captured image and the template image B The tracking command signal by performing a correlation calculation process by template matching with Tracking camera platform, characterized in that to generate.

The tracking command generation unit,
A trigger generation circuit that receives the tracking start switching signal and generates a first template update request signal corresponding to the template update request A;
An offset generation circuit that receives the manual command signal and generates an increment value corresponding to the polarity of the manual command signal as offset coordinates,
A zero comparing circuit that receives the offset coordinates and generates the template update request B when an increment value corresponding to the offset coordinates is other than zero;
A template generation circuit that receives a captured image from the imaging unit, cuts out an area corresponding to the template update request signal A and includes the central part of the captured image as a template image A, and saves the template generation circuit;
The captured image of the tracking object and the template image A are received, and a two-dimensional correlation operation is performed between these two images to perform template matching, and the degree of conformity with the template image A in the captured image is the highest. A correlation operation circuit that generates high search result coordinates and calculates a deviation amount of the search result coordinates with respect to the center of the captured image;
An addition circuit that receives the search result coordinates and the offset coordinates, and outputs an addition value obtained by adding the offset coordinates to the search result coordinates to the template generation circuit as the template coordinates;
A movement amount calculation circuit that receives the deviation amount and generates the tracking instruction signal having a command value that is a quantity value proportional to the deviation amount;
The template generation circuit receives the template update request B from the zero comparison circuit, and when receiving the template coordinates from the addition circuit, cuts out the captured image of an area defined by the template coordinates as a template image B, Supplying the template image B to the correlation operation circuit in place of the template image A;
The tracking head according to claim 1, wherein the correlation operation circuit uses the template image B instead of the template image A, and performs a two-dimensional correlation operation between the template image B and the captured image. .

The offset generation circuit,
A polarity output circuit that receives the manual command signal and outputs a ternary polarity signal including a binary value and a zero value corresponding to the polarity of the manual command signal;
The tracking head according to claim 2, further comprising: a counter circuit that receives the polarity signal and outputs an increment signal corresponding to the polarity of the polarity signal as the offset coordinate.

The tracking head according to claim 2, wherein the offset generation circuit includes a scale conversion circuit that receives the manual command signal, converts the scale of the manual command signal, and outputs the scale as the offset coordinate.