JP2001243476A - 移動体の監視方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】 テンプレートマッチング法を用いた移動体追
尾方法は、簡単安価な構成で精度よく移動体を追尾でき
るが、ズーミングして移動体を拡大、縮小した場合、テ
ンプレート画像と撮像データ中の移動体の大きさが合わ
なくなり、追尾ができなくなる。そのため、移動体の拡
大、縮小追尾を可能とする監視装置を提供することが目
的である。 【解決手段】 撮像データから抽出した移動体領域を複
数の任意倍率で拡大、縮小して複数のテンプレートを作
成し、ズーミングによって移動体を拡大、縮小したと
き、拡大、縮小した画像の大きさに対応した拡大、縮小
率のテンプレートを用いてテンプレートマッチングを行
い、移動体を確認しながら追尾できるようにした。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ズームしながら移
動体を追尾できるようにした画像監視装置に関する。

【０００２】

【従来の技術】撮像装置で撮像した画像の中から移動体
を検出してその移動体を追尾する方法としては、例えば
特開平５−２２７４６３号公報に示された方法がある。
これは、画像データを複数のブロックに分割し、ジョイ
スティックで座標を入力して移動体を含む複数ブロック
を追跡ベクトル検出領域として枠で囲み、その中のブロ
ックを少しずつ移動させながら前の画像との差を取って
残差データを検出し、その残差データの絶対値和が最も
小さくなる位置から動きベクトルを検出して追尾するも
のである。

【０００３】しかしながらこの特開平５−２２７４６３
号公報に示された方法では、人がジョイスティックを操
作して追跡ベクトル検出領域の座標を入力する必要があ
り、無人の監視装置には使えない。また被写体をズーミ
ングして拡大、縮小した場合、最初に設定した追跡ベク
トル検出領域は使えなくなり、追跡ができなくなる。

【０００４】無人で移動体を追尾する方法としては、テ
ンプレートマッチング法が提案されている。これは図４
に示すように、まず（Ａ）のような背景画像、若しくは
移動体が現れる直前でまだ移動体が無い画像（すなわち
（Ａ）のような画像になる）を記憶しておき、この
（Ａ）の背景画像と時間ｔ_ｋの（Ｂ）のような画像Ｉ
（ｔ _ｋ）の画像の同一アドレスの画素の明るさの差分を
取り、一定以上の差があった画素を移動体の画素として
それらを全て含む移動体領域Ｊをテンプレートとして記
憶する。

【０００５】そして時間ｔ_ｋ＋１で（Ｃ）に示した撮像
データＩ（ｔ_ｋ＋１）が来たら、テンプレートＪとこの
（Ｃ）の画像Ｉ（ｔ_ｋ＋１）の各画素の明るさの差をと
ってその絶対値すべてを加算し、同じことを微少距離ず
らしながら行なって和が最小になるずらし量を最小二乗
法等で求め、このずらし量の位置を画像（Ｃ）における
移動体の位置とする。

【０００６】すなわち１≦ｉ≦Ｍ、１≦ｊ≦Ｎとして Ｉ＝Ｉ（ｔ_ｋ、ｉ、ｊ） ……………（１） を画像Ｉ（ｔ_ｋ）の各画素の明るさとし、（Ｃ）の時間
ｔ_ｋ＋１における画像Ｉ（ｔ_ｋ＋１）の各画素とテンプ
レートＪの各画素の明るさＪ（ｉ_１、ｊ_１）との差を取
り、それを次の（２）式のように絶対値を加算し、ｉ_０
とｊ_０をそれぞれ１≦ｉ_０≦Ｍ、１≦ｊ_０≦Ｎの間で変
化させてＣ（ｉ_０、ｊ_０）を最小にする（ｉ’_０、ｊ’
_０）を求める。

【数１】

【０００７】するとこの（ｉ’_０、ｊ’_０）は、テンプ
レートＪを最初に検出した位置（ｉ _０、ｊ_０）からの移
動距離になる。そのためこの両地点の座標から、移動体
の移動速度と移動方向を算出することができ、撮像装置
による追尾が可能となる。

【０００８】このようにテンプレートマッチング法は、
比較的簡単な構成で精度よく移動体を追尾することが可
能である。ところがこのテンプレートマッチング法も、
特開平５−２２７４６３号公報に述べられた方法と同
様、ズーミングして移動体を拡大、縮小すると、最初に
抽出したテンプレートと撮像した画像が一致しなくな
り、移動体を検出することができなくなる。しかしなが
ら、移動体をズーミングしながら追尾したいというのは
一般的な要求であり、これができないと監視装置の適用
範囲を狭めることになる。

【０００９】

【発明が解決しようとする課題】上述の事情に鑑み本発
明は、テンプレートマッチング法を用い、移動体を追尾
しながら自由にズーミングできる無人の監視方法及び装
置を簡単な構成で安価に提供することを課題とする。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、第１の発明は方法発明であって、請求項１に記載し
たように、撮像データから移動体領域を抽出してテンプ
レートとなし、撮像データ上の移動体と前記テンプレー
トが略一致する位置を求めるテンプレートマッチング法
で移動体を検知して追尾するようにした監視方法におい
て、前記テンプレートを任意倍率で拡大、縮小して複数
のテンプレートとなし、撮像装置のズーム倍率に対応し
た拡大、縮小率のテンプレートと撮像データとでテンプ
レートマッチングをおこない、移動体を追尾するように
したことを特徴とする。

【００１１】このような方法を採ることにより、たとえ
ズーミングして移動体が拡大、縮小されても、テンプレ
ートもその拡大、縮小率に対応した大きさのものを使う
ことができ、通常のテンプレートマッチング法で移動体
を確認できる。そのため、無人の監視装置で自動的に拡
大、縮小画像が得られる監視方法を提供できる。

【００１２】またこの拡大、縮小したテンプレートをよ
り撮像データに近づけるため、テンプレートを拡大、縮
小する際は請求項２に記載したように、テンプレートを
拡大する際の拡大後の画素は、拡大により新設される注
目画素に隣接する旧画素の間に位置する輝度レベルであ
り、縮小する際の縮小後の画素は、縮小後の注目画素の
縮小前の複数画素の平均輝度レベルであることを特徴と
する。

【００１３】このようにすることで拡大、縮小したテン
プレートの画像はより撮像データに近くなり、マッチン
グが正確に行えるようになる。

【００１４】上記請求項１の方法を実現するため第２の
発明は、請求項３に記載したように装置の発明であっ
て、被写体を追尾するための旋回装置とその制御部と、
ズームレンズのズーム量を制御すると共にマッチング制
御部に拡大、縮小率を伝えるズーム制御部と、撮像デー
タから移動体を含む領域を抽出する移動体領域抽出部
と、該移動体領域抽出部が抽出した移動体をテンプレー
トとして記憶するテンプレート生成部と、該テンプレー
ト生成部に記憶したテンプレートと撮像データ上の移動
体が略一致する位置を求めるテンプレートマッチング法
で移動体の移動量と移動方向を算出し、前記旋回制御部
に移動体追尾を指示すると共にズーム制御部にズーミン
グを指示するマッチング制御部とを備えた監視装置にお
いて、前記テンプレート生成部は、移動体領域抽出部が
抽出したテンプレートを任意倍率で拡大、縮小した複数
のテンプレートを生成して記憶するよう構成すると共
に、前記マッチング処理部は前記ズーム制御部から伝え
られた拡大、縮小率と一致する拡大、縮小率のテンプレ
ートをテンプレート生成部から読み出して撮像データと
のマッチングをするよう構成したことを特徴とする。

【００１５】このように監視装置を構成することによ
り、簡単な構成で、しかも無人の監視装置で、ズーミン
グして拡大、縮小した撮像データから移動体を確実に安
価に認識でき、監視装置の利用分野を拡大できる。

【００１６】またテンプレート生成部が拡大、縮小する
テンプレートは、より撮像データに近づけるため、請求
項４に記載したようにテンプレート生成部は、テンプレ
ートを拡大する際の拡大後の画素は、拡大により新設さ
れる注目画素に隣接する旧画素の間に位置する輝度レベ
ルであり、縮小する際の縮小後の画素は、縮小後の注目
画素の縮小前の複数画素の平均輝度レベルであるように
テンプレートを拡大、縮小するよう構成したことを特徴
とする。

【００１７】このように構成することで、拡大、縮小し
たテンプレートの画像はより撮像データに近くなり、マ
ッチング処理部は処理を正確に行えるようになる。

【００１８】

【発明の実施の形態】以下、図面に基づいて本発明の実
施の形態を例示的に詳しく説明する。但しこの実施の形
態に記載されている構成部品の寸法、材質、形状、その
相対配置などは特に特定的な記載がない限りは、この発
明の範囲をそれのみに限定する趣旨ではなく単なる説明
例に過ぎない。

【００１９】最初に本発明の方法の原理を説明すると、
図２の（ａ）において、被写体Ｈを撮像した像ｈを大き
くするには、レンズＬから像ｈ迄の距離Ｑを大きくすれ
ばよい。そのため像ｈを２倍にしようとすれば、（ｂ）
のようにレンズＬから像ｈ迄の距離Ｑを２Ｑとする。縮
小するときはその逆である。そのためズームレンズの機
械的な焦点距離の変更量は、そのまま拡大、縮小率とな
る。

【００２０】そのため本発明においては、最初に取得し
たテンプレートを、１／４倍、１／３倍、１／２倍、２
倍、３倍、４倍、……、若しくはこれらの中間の倍率で
拡大、縮小して記憶しておく。そしてズームレンズの機
械的な焦点距離の変化を倍率に置き換え、マッチング処
理をするとき、このズームレンズの倍率と対応する倍率
で拡大、縮小したテンプレートを使うようにする。この
ようにすることで、拡大、縮小した撮像データと同じ倍
率で拡大、縮小したテンプレートを使うことができ、問
題なくテンプレートマッチング法を行うことができる。

【００２１】なお、テンプレートを単純に拡大、縮小す
ると、例えば図３に示したように、（イ）におけるａ、
ｂ、ｃ、ｄの画素は、２倍に拡大した（ロ）では４画素
同じデータが並ぶことになり、３倍すると（ハ）のよう
に９画素同じデータが並ぶことになる。そのため例えば
（ロ）の３１のａを注目画素とし、この注目画素に隣接
した点線３２で囲った９つの画素の輝度レベルの間の輝
度レベルとする。また同様（ハ）の３３のａの注目画素
は、点線３４で囲った２５の画素の輝度の間の輝度とす
ればよい。すなわち拡大後のそれぞれの画素は、その画
素の周囲の画素の輝度の間の輝度とすることで、よりマ
ッチング処理が正確に行えるようになる。なお、以上の
手法は、画像を縮小するときも同じであり、たとえば
（ロ）を（イ）のように縮小するときは、（ロ）の４つ
のａの画素の輝度の平均を取り、（イ）のａの画素の輝
度とすればよい。またこの図３の例では注目画素の輝度
を、（ロ）の場合は注目画素を含む９画素の、（ハ）の
場合は同じく２５画素の輝度の間の輝度としたが、この
数はこれだけに限定されるものでないことは自明であ
る。

【００２２】図１は本発明の実施の形態を示した装置の
概略ブロック図である。同図において１はズームレンズ
２、パン・チルトを含めた旋回動作を行わせる旋回装置
３を備えた撮像装置、４は撮像装置１からの画像データ
をアナログ／デジタル変換する画像入力部、５は前記図
４の説明で説明したように、背景画像、若しくは移動体
が現れる直前でまだ移動体が無い画像を記憶し、これら
の画像と撮像データの同一アドレスの画素の明るさの差
分を取り、一定以上の差があった画素を移動体の画素と
してそれらを全て含む移動体領域Ｊを抽出する移動体領
域抽出部、６は移動体領域抽出部が抽出した領域をテン
プレートとして記憶し、更にそのテンプレートを１／４
倍、１／３倍、１／２倍、２倍、３倍、４倍、……、若
しくはこれらの中間の倍率で拡大、縮小して記憶するテ
ンプレート生成部、７はこのテンプレート生成部６に記
臆されているテンプレートと撮像データのマッチングを
取り、移動体の移動量と移動方向を算出してズーム制御
部８、旋回制御部９に指示を出すマッチング処理部、８
はマッチング処理部７からの指示でズーミングを行うと
共に、ズーミング中の画像の拡大、縮小率をマッチング
処理部に通知するズーム制御部、９は撮像装置１のパン
・チルトを含めた旋回動作を指示する旋回制御部であ
る。

【００２３】撮像装置１から移動体を含む撮像データが
送られてくると、画像入力部４はこれを記憶し、移動体
領域抽出部５はあらかじめ記憶されている背景画像、若
しくは移動体が現れる直前の画像と今撮像したデータと
の明るさの差分を取り、一定以上の差がある画素を移動
体としてそれらが全て含まれる領域を移動体領域として
抽出し、テンプレート生成部６に送る。

【００２４】するとテンプレート生成部６はこの移動体
領域をテンプレートとして記憶すると共に、そのテンプ
レート画像を１／４倍、１／３倍、１／２倍、２倍、３
倍、４倍、……、あるいはこれらの中間倍率を含めた複
数の任意倍率に拡大、縮小し、これらも記憶する。

【００２５】そして次の撮像データが画像入力部４に記
憶されるとマッチング処理部７は、この撮像データとテ
ンプレート生成部６に記憶されている最初のテンプレー
トとを用い、図４で説明したようにマッチングを取って
移動体の移動量と移動方向を検出する。そしてこの移動
量と移動方向をもとに、移動体が画面の中央に来るよう
なパン・チルト量を計算し、旋回制御部９に指示して撮
像装置１を旋回させると共に、移動体がほぼ画面一杯に
なるような拡大、縮小率を計算し、ズーム制御部８にズ
ーミングを指示する。

【００２６】そのため旋回制御部９は移動体が画面の中
央に来るよう撮像装置１を旋回させ、ズーム制御部８は
ズーミングにより移動体画像を拡大、縮小する。

【００２７】するとマッチング処理部７は、ズーム制御
部８から送られてくる画像の拡大、縮小率と同一の拡
大、縮小率のテンプレートをテンプレート生成部６から
読み出し、画像入力部４から送られてくる拡大、縮小し
た画像とのマッチングを取って、移動体が正しく画面の
中央に位置するように撮像装置１が旋回しているか確認
し、誤差が出た場合は今までの旋回量とズーミング量か
らそれを補正する旋回量を再計算し、旋回制御部９に指
示する。

【００２８】このようにすることにより、どのようなス
ピード、方向で移動体が動いても、確実に移動体を認識
することができ、

【００２９】

【発明の効果】以上記載の如く第１の発明によれば、た
とえズーミングして移動体が拡大、縮小されても、テン
プレートもその拡大、縮小率に対応した大きさのものを
使うことができ、通常のテンプレートマッチング法で移
動体を確認できる。そのため、無人の監視装置で自動的
に拡大、縮小画像が得られる監視方法を提供できる。

【００３０】また、拡大、縮小したテンプレートをより
撮像データに近づける第２の発明により、マッチングが
正確に行えるようになる。

【００３１】また第３の発明によれば、簡単な構成で、
しかも無人の監視装置で、ズーミングして拡大、縮小し
た撮像データから移動体を確実に安価に認識でき、監視
装置の利用分野を拡大できる。

【００３２】またテンプレート生成部が拡大、縮小した
テンプレートの画像は、第４の発明により、より撮像デ
ータに近くなり、マッチング処理部は処理を正確に行え
るようになる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る構成を示すブロッ
ク図である。

【図２】 本発明の原理を説明するための説明図であ
る。

【図３】 撮像データを拡大したときの画素の状態を説
明する説明図である。

【図４】 テンプレートマッチング法を説明する図であ
る。

【符号の説明】

１ 撮像装置 ２ ズームレンズ ３ 旋回装置 ４ 画像入力部 ５ 移動体領域抽出部 ６ テンプレート生成部 ７ マッチング処理部 ８ ズーム制御部 ９ 旋回制御部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 日浦 誠一 愛知県小牧市大字東田中1200番地 三菱重 工業株式会社名古屋誘導推進システム製作 所内 Ｆターム(参考） 5L096 BA02 CA02 EA03 HA05 JA09

Claims (4)

【特許請求の範囲】
1. 【請求項１】 撮像データから移動体領域を抽出してテ
   ンプレートとなし、撮像データ上の移動体と前記テンプ
   レートが略一致する位置を求めるテンプレートマッチン
   グ法で移動体を検知して追尾するようにした監視方法に
   おいて、 前記テンプレートを任意倍率で拡大、縮小して複数のテ
   ンプレートとなし、撮像装置のズーム倍率に対応した拡
   大、縮小率のテンプレートと撮像データとでテンプレー
   トマッチングをおこない、移動体を追尾するようにした
   ことを特徴とする移動体の監視方法。
2. 【請求項２】 テンプレートを拡大する際の拡大後の画
   素は、拡大により新設される注目画素に隣接する旧画素
   の間に位置する輝度レベルであり、縮小する際の縮小後
   の画素は、縮小後の注目画素の縮小前の複数画素の平均
   輝度レベルであることを特徴とする請求項１に記載の移
   動体の監視方法。
3. 【請求項３】 被写体を追尾するための旋回装置とその
   制御部と、ズームレンズのズーム量を制御すると共にマ
   ッチング制御部に拡大、縮小率を伝えるズーム制御部
   と、撮像データから移動体を含む領域を抽出する移動体
   領域抽出部と、該移動体領域抽出部が抽出した移動体を
   テンプレートとして記憶するテンプレート生成部と、該
   テンプレート生成部に記憶したテンプレートと撮像デー
   タ上の移動体が略一致する位置を求めるテンプレートマ
   ッチング法で移動体の移動量と移動方向を算出し、前記
   旋回制御部に移動体追尾を指示すると共にズーム制御部
   にズーミングを指示するマッチング制御部とを備えた監
   視装置において、 前記テンプレート生成部は、移動体領域抽出部が抽出し
   たテンプレートを任意倍率で拡大、縮小した複数のテン
   プレートを生成して記憶するよう構成すると共に、前記
   マッチング処理部は前記ズーム制御部から伝えられた拡
   大、縮小率と一致する拡大、縮小率のテンプレートをテ
   ンプレート生成部から読み出して撮像データとのマッチ
   ングをするよう構成したことを特徴とする移動体の監視
   装置。
4. 【請求項４】 テンプレート生成部は、テンプレートを
   拡大する際の拡大後の画素は、拡大により新設される注
   目画素に隣接する旧画素の間に位置する輝度レベルであ
   り、縮小する際の縮小後の画素は、縮小後の注目画素の
   縮小前の複数画素の平均輝度レベルであるようにテンプ
   レートを拡大、縮小するよう構成したことを特徴とする
   請求項３に記載の移動体の監視装置。