JP2726180B2

JP2726180B2 - 相関追尾装置

Info

Publication number: JP2726180B2
Application number: JP3259370A
Authority: JP
Inventors: 久男難波; 義雄松浦; 一利戸叶; 宏之藤原; 秀和西内
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-10-07
Filing date: 1991-10-07
Publication date: 1998-03-11
Anticipated expiration: 2013-03-11
Also published as: JPH05103249A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は飛行機、自動車等の移動
体に搭載されるものであって、移動体にジンバル装置を
介して取りつけられた撮像装置によって、移動する目標
物を画面中に常時捕らえて追尾を行うための相関追尾装
置に関する。

【０００２】相関追尾とは、撮像装置から得られる映像
と、追尾目標物を含む所定のリファレンス画像との画像
相関演算を行い、この画像相関演算で得られた相関値画
像のピーク点を検出し、その位置を追尾点として目標物
を追尾するものである。但し、リファレンス画像とは、
通常、操作員が撮像中の目標物を指示する操作において
取得されるものであり、例えば、画面内の更に小さな長
方形状のゲートで目標物を囲んで得られるものである。

【０００３】このような相関追尾においては、画像相関
演算により目標物を抽出するために、背景と目標物との
輝度レベルが近接するようなシーンでも目標物を追尾す
ることができる。

【０００４】しかし、撮像装置と目標物との距離の変
化、目標物の運動で生じる目標物の形状及びサイズの変
化により、リファレンス画像内の目標物と撮像中の目標
物とで形状・サイズが異なり、これによって相関値が低
下し、追尾誤動作が生じる場合がある。また、リファレ
ンス画像内の背景領域は、追尾点算定の誤差要因とな
る。

【０００５】このため目標領域を抽出して目標物の形状
・サイズ変化に対応でき、しかも背景除去機能を含んだ
リファレンス画像の自動更新機能を有する相関追尾装置
が必要とされている。

【０００６】

【従来の技術】従来の相関追尾装置による相関追尾のリ
ファレンス画像自動更新においては、追尾初期時に目標
物を中心に固定サイズの映像領域を切り出し、これをリ
ファレンス画像とする方法と、追尾点を中心に固定サイ
ズの映像領域を切り出し、これをリファレンス画像に加
算して新たなリファレンス画像とする方法とがあった。

【０００７】

【発明が解決しようとする課題】ところで、上述した後
者の方法においては、目標物の形状変化や背景の影響等
によって、目標中心から追尾点がズレて更新される追尾
点のドリフトが生じることがある。そのズレが積算され
ると、リファレンス画像内に目標物が含まれない状態が
生じ、目標物の追尾が不可能となる問題があった。

【０００８】また、前後者双方の方法において、固定サ
イズでリファレンス画像が更新されるため、目標物と撮
像装置との距離の変化や、レンズのズーミング等で生じ
る撮像中の目標サイズの変化に対応することができなく
なり、目標物の追尾が不可能となる問題があった。

【０００９】例えば、目標サイズが縮小する場合、追尾
ゲート内の背景面積が目標面積より大きくなり、このた
め目標追尾が不可能となる。本発明は、このような点に
鑑みてなされたものであり、目標物の形状及びサイズが
変化した場合や、追尾ゲート内に背景が含まれる場合に
も、背景を除去した目標領域のみのリファレンス画像が
自動的に更新される機能を有する相関追尾装置を提供す
ることを目的としている。

【００１０】

【課題を解決するための手段】図１に本発明の原理図を
示す。この図は、相関追尾装置における本発明の特徴部
分のリファレンス画像自動更新手段１０の構成を示すも
のである。

【００１１】図中、１はリファレンス更新処理領域設定
手段であり、撮像画像に対して、追尾点を中心として、
リファレンス更新処理を行う処理領域を設定するもので
ある。但し、最初の目標物捕捉時には操作員の指示入力
にて処理領域の設定が行われる。

【００１２】２はエッジ抽出処理手段であり、リファレ
ンス更新処理領域設定手段１で設定された処理領域に含
まれる撮像画像のエッジを抽出するものである。３は特
徴点抽出処理手段であり、エッジ抽出処理手段２で抽出
されたエッジ上のコーナエッジを特徴点として抽出する
ことによって、特徴点の位置及び輝度を求めるものであ
る。

【００１３】４は特徴点情報記憶手段であり、特徴点抽
出処理手段３で抽出された特徴点の位置及び輝度等を記
憶するものである。５はフレーム間特徴点対応処理手段
であり、記憶手段４に記憶された前フレームの特徴点の
位置及び輝度と、特徴点抽出処理手段３により今回抽出
された特徴点の位置及び輝度とから、前回の特徴点に該
当する今回の特徴点を求め、その対応関係を記憶手段４
に記憶すると共に、目標特徴点弁別処理手段６へ出力す
るものである。

【００１４】６は目標特徴点弁別処理手段であり、フレ
ーム間特徴点対応処理手段５により求められた特徴点の
対応関係より、対応付けられた前回の特徴点の位置と今
回の特徴点の位置とが示す運動ベクトルの大きさ及び輝
度特性更に特徴点の連結に基づいて目標特徴点と背景特
徴点との弁別を行うものである。

【００１５】７は目標領域推定処理手段であり、目標の
特徴点を有するエッジを連結して得られるエッジ閉領域
を、目標物が撮像画像内で位置する目標領域として推定
して、目標領域に含まれる処理領域の撮像画像を残し
て、目標領域外の処理領域の撮像画像を除去するもので
ある。８はリファレンス画像設定手段であり、推定され
た目標領域について処理領域画像を切り出してリファレ
ンス画像を設定するものである。

【００１６】

【作用】上述した本発明によれば、リファレンス更新処
理領域設定手段１において、入力された画像内から目標
物を捕らえた追尾点を中心とした、リファレンス画像サ
イズよりも所定画素数大きい領域が処理領域として設定
される。

【００１７】エッジ抽出処理手段２において、手段１で
設定された処理領域内で目標物等のエッジの抽出が行わ
れ、エッジ抽出画像が生成される。このエッジ抽出に
は、例えば公知されているZero-Crossing 法が適用され
る。

【００１８】特徴点抽出処理手段３において、手段２で
抽出されたエッジ抽出画像から直角成分を有するエッジ
（コーナエッジ）が抽出され、特徴点の位置及び輝度か
ら構成される特徴点画像が生成される。

【００１９】ここで行われるエッジの抽出には、公知さ
れている図２にフローチャートで示すフェステナの方
法、又は、図３に示す画像相関法が適用できる。図２に
示すフェステナの方法について説明する。

【００２０】ステップＳ１において、入力される平面の
入力画像情報Ｉ(x,y) を、ステップＳ２において、１次
微分処理（ステップＳ２に記述した式参照）を行い、１
次微分画像を生成する。即ち、ここでは所定領域内のエ
ッジレベルが抽出された２次元マップが生成されること
になる。

【００２１】ステップＳ３において、２次元マップ情報
の共分散行列処理を行い共分散行列情報を生成する。こ
れは、所定サイズのウインドウで２次元マップを縦横に
捜査した際のウィンドウ内の和である。例えばウィンド
ウとして、画像入力に対して特定の空間周波数成分を取
り出すためのｎ×ｎ（ｎ²画素）の空間フィルタを用い
て行う。これによって、２次元マップ内の特徴点がより
強調された強調２次元マップが生成される。

【００２２】ステップＳ４において、強調２次元マップ
情報から同ステップＳ４に示す式により特徴量を算出す
る。但し、式のｄｅｔはデターミナント、ｔｒはトレー
スを示す。また、このステップＳ４では強調された個々
の特徴点が求められることになる。

【００２３】最後に、ステップＳ５において、閾値処理
又はピーク点検出により特徴点の選定を行う。これはあ
る定められた閾値以上の輝度の特徴点を選択するか、或
いはピーク点を選択することであり、ここで目標物の位
置及び輝度が抽出される。

【００２４】図３に示す画像相関処理は、ステップＳａ
１の入力画像情報Ｉ(x,y) を、ステップＳａ２におい
て、画像相関処理を行い、更にステップＳａ３におい
て、特徴点の選定を行うものである。

【００２５】ステップＳａ２における処理は、予め用意
された４つの直角パターン画像Ｒ₀〜Ｒ₃と同様なパタ
ーンを入力画像情報Ｉ(x,y) の中から選択することによ
り、特徴点を求めるものである。但し、各直角パターン
画像Ｒ₀〜Ｒ₃は、図４に示す任意の領域の角から得ら
れたものである。

【００２６】このように特徴点抽出処理手段３により求
められた特徴点の位置及び輝度は、特徴点情報記憶手段
４に記憶される。フレーム間特徴点対応処理手段におい
て、記憶手段４に記憶された前フレーム（処理領域）の
特徴点と、特徴点抽出処理手段３により今回抽出された
現在のフレームの特徴点との対応付けが行われる。

【００２７】この特徴点の対応付けを図５を参照して説
明する。但し、この図５においては１次元で説明する。
図５において上段は前フレームの特徴点位置、下段は現
在フレームの特徴点位置である。

【００２８】上段に（ａ），（ｂ），（ｃ）で示すよ
うに、前フレームの特徴点１１，１２，１３の位置を中
心に、所定幅ｗの正方形の探索領域１２を設定する。下段に（ａ′），（ｂ′），（ｃ′）で示すように、
現在フレームの特徴点１１′，１２′，１３′が、で
設定された探索領域１２の中に何個入っているのかを算
出する。この例では、図から分かるように、特徴点１
２′のみが探索領域１２内に入っているので、抽出特徴
点１１′の個数Ｎは１である。

【００２９】において探索領域１２に入っていた特徴
点１１，１２，１３の内２つが領域外に出ていることか
ら現在フレームに変化があったことがわかる。探索領域１２を下段（ａ′），（ｂ′），（ｃ′）に
示すように、Δｘだけ変化させ、の処理とう同様に探
索領域１２内の抽出特徴点の個数Ｎを算出する。

【００３０】探索領域１２をΔｘだけ図示する方向に移
動させた場合、探索領域１２内に、特徴点１１′と１
３′とが入り、特徴点１２′が外れたとすると、ここで
算出される抽出特徴点の個数Ｎは２となる。

【００３１】、の処理をＮが最大になるまで行う。
図には特徴点を３つしか示していないが実際には多数あ
るため。ここで目標物が移動していると考えた場合、前
フレームで設定された探索領域１２に捕らえられるのは
移動の無い背景の特徴点であり、目標物が移動したこと
から探索領域１２を移動させた場合に最も多く捕らえら
れる特徴点が目標物のものとなる。

【００３２】探索領域１２の幅ｗを狭めて、及び
の処理を行う。そして、Ｎ／ｗが最大となるｗとΔｘを
求め、その探索領域１２内の特徴点を前フレームの特徴
点と対応付ける。

【００３３】このようにして得られた特徴点の対応関係
は特徴点情報記憶手段４に記憶されると共に、次段の目
標特徴点弁別処理手段６に出力される。次に、目標特徴
点弁別処理手段６において、対応付けが行われた特徴点
について運動ベクトルに基づいた弁別が行われる。

【００３４】弁別にはクラスタ分類を用いて２つのクラ
スタに分類し、クラスタ内の特徴点の数が多いクラスタ
を目標物のクラスタとする。図６に示すように、対応付
けられた特徴点の運動ベクトルについてクラスタリング
を行うと、目標物のクラスタ１５と、背景のクラスタ１
６とに分類される。これは、背景は動かないので運動ベ
クトルとしてはほぼ零付近に集中し、また、目標物は動
いているので、背景と離れた位置に集中することになる
からである。

【００３５】ここで、目標物のクラスタ１５に含まれる
特徴点が目標特徴点され、背景のクラスタ１６に含まれ
る特徴点が背景特徴点とされる。目標領域推定処理手段
７において、目標特徴点と背景特徴点との相互の位置関
係より目標領域が推定される。

【００３６】これは、目標特徴点によって、エッジ抽出
処理手段２から出力されるエッジ抽出画像から目標特徴
点を含むエッジを探索し、エッジが分断していれば、同
一エッジの末端を直線で連結してエッジ閉領域（目標領
域）を生成するものである。この際、エッジ抽出画像に
おける探索されたエッジのみを残して他は除去する。

【００３７】そして、エッジ抽出画像の目標領域がＯＮ
画素とされ、他がＯＦＦ画素とされて２値画像が生成さ
れる。リファレンス画像設定手段８において、推定され
た目標領域について処理領域画像が切り出されてリファ
レンス画像が設定される。

【００３８】これは、２値画像のＯＮ画素に対応する処
理領域の画素を残し、他の画素をマスクした画像を生成
してリファレンス画像とするものである。これによっ
て、背景が除去された目標領域のみのリファレンス画像
が生成されることになる。

【００３９】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。図７は本発明の一実施例による目標追尾
システムの構成を示す図である。但し、この図に示すリ
ファレンス画像自動更新処理部１０′は、前述の（課題
を解決するための手段）及び（作用）の所で説明したリ
ファレンス画像自動更新処理手段１０と同様なものであ
るので、ここではその説明は省略する。

【００４０】まず、撮像装置２０が目標物２１を撮像す
ることにより得られる画像２２が、リファレンス画像自
動更新処理部１０′に入力される。追尾の初期段階で
は、リファレンス画像自動更新処理部１０′において、
操作員がジョイスティック等により指示した目標物２１
の位置及びサイズに基づいてリファレンス画像２３が生
成され、画像相関処理部２４に送出される。

【００４１】この初期段階以降、リファレンス画像自動
更新処理部１０′は、追尾点２５に基づいてリファレン
ス画像２３の更新を行うようになる。画像相関処理部２
４では、入力画像２２と、更新されたリファレンス画像
２３との画像相関が演算され、この演算された入力画像
２２の各点の相関値２６が相関値ピーク検出部２７に送
出される。

【００４２】相関値ピーク検出部２７では、最大値検出
処理で相関値のピーク点が検出され、この検出されたピ
ーク点の位置（ピーク位置）２８が追尾点算定部２９に
送出される。

【００４３】追尾点算定部２９では、ピーク位置２８か
ら追尾点が算定され、この算定された追尾点２５がリフ
ァレンス画像自動更新処理部１０′、及びジンバル制御
信号生成部３０に送出される。

【００４４】ジンバル制御信号生成部３０では、追尾点
２５より追尾フィルタ処理等の処理が行われることによ
って、ジンバル制御信号３１が生成される。この生成さ
れたジンバル制御信号３１に基づいて、ジンバル部３２
が撮像装置２０の視軸を目標物２１の中心となるように
変える。

【００４５】従って、上述した目標追尾システムによれ
ば、目標物２１を常時、撮像装置の視軸で捕らえて追尾
することができる。

【００４６】

【発明の効果】以上説明したように、本発明によれば、
目標物の形状及びサイズが変化した場合や、追尾ゲート
内に背景が含まれる場合にも、背景を除去した目標領域
のみのリファレンス画像が自動的に更新されるので、目
標形状に適合したリファレンス画像を得ることができる
効果がある。

【００４７】これによって、追尾目標物の形状及びサイ
ズが変化しても、高い目標追随性が得られるので、相関
追尾の実用範囲の拡大に寄与する効果がある。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】フェステナの方法を説明するためのフローチャ
ートである。

【図３】画像相関処理を説明するためのフローチャート
である。

【図４】図３に示す直角パターン画像の説明図である。

【図５】特徴点の対応付けを説明するための図である。

【図６】クラスタ分類を説明するための図である。

【図７】本発明の一実施例による目標追尾システムの構
成を示す図である。

【符号の説明】

１リファレンス更新処理領域設定手段２エッジ抽出処理手段３特徴点抽出処理手段４特徴点情報記憶手段５フレーム間特徴点対応処理手段６目標特徴点弁別処理手段７目標領域推定処理手段８リファレンス画像設定手段１０リファレンス画像自動更新処理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者藤原宏之神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者西内秀和神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (56)参考文献特開昭62−207980（ＪＰ，Ａ) 特開昭57−138278（ＪＰ，Ａ) 特開昭55−73180（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】目標物を撮像装置の画面内の所定枠に捕
らえて得たリファレンス画像と、現時点における撮像画
像との画像相関演算を行って、前記目標物の追尾点を求
め、該追尾点の撮像画像が前記画面内の所定枠内に捕ら
えられるように前記撮像装置を制御し、前記現時点の撮
像画像から前記リファレンス画像を自動的に更新するこ
とにより、常時、該目標物を該リファレンス画像内に捕
らえて追尾を行う相関追尾装置において、前記撮像画像に対して、前記追尾点を中心として、リフ
ァレンス更新処理を行うための処理領域を設定するリフ
ァレンス更新処理領域設定手段(1) と、該処理領域に含まれる前記撮像画像のエッジを抽出する
エッジ抽出処理手段(2) と、該エッジ抽出処理手段(2) で抽出されたエッジより直角
成分を有するコーナエッジの特徴点の位置を抽出する特
徴点抽出処理手段(3) と、該特徴点抽出処理手段(3) で抽出された特徴点の位置及
び輝度を記憶する特徴点情報記憶手段(4) と、該特徴点情報記憶手段(4) に記憶された前回の特徴点の
位置及び輝度と、該特徴点抽出処理手段(3) により今回
抽出された特徴点の位置及び輝度とに基づき、前記前回
の特徴点に該当する今回の特徴点を求め、その対応関係
を特徴点情報記憶手段(4) に記憶するフレーム間特徴点
対応処理手段(5) と、前記フレーム間特徴点対応処理手段(5) により対応付け
られた前回の特徴点の位置と今回の特徴点の位置とが示
す運動ベクトルの大きさに基づき、前記目標物の特徴点
である目標特徴点と背景の特徴点である背景特徴点とを
弁別する目標特徴点弁別処理手段(6) と、前記目標物の前記特徴点を有する前記エッジを連結して
得られるエッジ閉領域を、前記目標物が前記撮像画像内
で位置する目標領域として推定し、前記目標領域に含ま
れる前記処理領域の撮像画像を残し、前記目標領域外の
前記処理領域の撮像画像を除去する処理をする目標領域
推定処理手段(7) と、該目標領域推定処理手段(7) により処理した前記処理領
域に含まれる撮像画像を切り出してリファレンス画像と
して設定するリファレンス画像設定手段(8) とを具備し
て構成されるリファレンス画像自動更新手段(10)を有す
ることを特徴とする相関追尾装置。