JP2007304852A - 被写体追尾方法及び装置 - Google Patents

Abstract

【課題】 被写体が撮影装置に対する向きを変化させたり、被写体の背景の明るさが変化しても、被写体の移動位置を検知できる被写体追尾方法を提供する。
【解決手段】 撮影データから被写体存在領域を抽出して基準テンプレートを取得する。基準テンプレートに基づいて複数の比較用テンプレートを作成する。複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行って被写体を追尾する。比較用テンプレート作成ステップにおいて、基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成し、基準テンプレート等を所定の回転角度ずつ回転させて複数の回転テンプレートを作成し、基準テンプレート等の縦横寸法の比率及び傾き角度を変えて複数の歪みテンプレートを作成する。複数の拡大縮小テンプレート、複数の回転テンプレート及び複数の歪みテンプレートを複数の比較用テンプレートとして用いる。
【選択図】図２

Description

本発明は、移動する被写体を撮影装置により追尾する被写体追尾方法及び装置に関するものである。

図１３は、テンプレートマッチング法を用いた公知の被写体追尾方法を説明するために用いる概略図である。従来の被写体追尾方法では、まず、最初に被写体が写っている撮影データから、被写体が存在する被写体存在領域を抽出し、その被写体存在領域のデータを抽出テンプレートとして取得して基準テンプレート１０１を作成する（基準テンプレート取得ステップ）。そしてこのときの被写体の位置を記憶しておく。次に、新たな撮影データ１０２上を基準テンプレート１０１を伴った走査線１０３により走査して、基準テンプレート１０１と新たな撮影データ１０２との間でテンプレートマッチングを行う。そして新たな撮影データ１０２上の被写体１０４と基準テンプレート１０１とが一致した場合にその一致位置を被写体と位置としてその位置と前の位置との差から移動距離、移動速度等を求めて、これにより、移動する被写体の移動情報を入手して撮影装置による追尾を行う。しかしながら、この方法では、被写体が遠方側や手前側に移動した場合には、新たな撮影データ上の被写体と基準テンプレートとが一致しなくなり、被写体の移動位置を検知できなくなることがある。そこで、特開２００１−２４３４７６号公報に示すように、基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートからなる比較用テンプレートを作成し（比較用テンプレート作成ステップ）、これらの複数の拡大縮小テンプレートを用いてテンプレートマッチングを行う技術が提案された。この技術によれば、被写体が遠方側や手前側に移動して撮影データ上の被写体の像が拡大または縮小しても、複数の拡大縮小テンプレートを用いたテンプレートマッチングにより、被写体の移動位置を検知することができる。
特開２００１−２４３４７６号公報

このように移動する被写体は、いろいろな方向に動き回り、撮影装置に対する向きを変えることがある。また、撮影する時間帯や天候によっては、被写体の背景の明るさが変化することもある。しかしながら、従来の被写体追尾方法では、被写体の撮影装置に対する姿勢（向き）が変わった場合すなわち進行方向を変えた場合や、被写体の背景の明るさが大きく変化した場合には、比較用テンプレート中に撮影データ中の被写体の像とマッチングするテンプレートが無く、被写体の移動位置を検知できなくなる問題がある。

本発明の目的は、被写体が回転したり進行方向を変えたとしても、被写体の移動位置を検知できる被写体追尾方法を提供することにある。

本発明の他の目的は、被写体の背景の明るさが大きく変化しても、被写体の移動位置を検知できる被写体追尾方法を提供することにある。

本発明が改良の対象とする被写体追尾方法は、基準テンプレートを作成する基準テンプレート作成ステップと、比較用テンプレート作成ステップと、マッチングステップとにより、被写体の移動位置を検知して、移動する被写体を撮影装置により追尾する。

比較用テンプレート作成ステップでは、基準テンプレートに基づいて複数の比較用テンプレートを作成する。そしてマッチングステップでは、複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、新たな撮影データ上の被写体と複数の比較用テンプレートのいずれか一つとが略一致した位置を求める。本発明では、比較用テンプレート作成ステップにおいて、複数の拡大縮小テンプレートと複数の回転テンプレートとを作成する。複数の拡大縮小テンプレートは、基準テンプレートを複数の倍率で拡大または縮小することにより作成する。ここで拡大または縮小とは、縦方向、横方向が同じ倍率で変化する拡大縮小だけでなく、縦方向、横方向が異なる倍率で変化する拡大縮小も含むものである。また複数の回転テンプレートは、基準テンプレート及び／または複数の拡大縮小テンプレートを所定の回転角度ずつ回転させて作成する。ここで「所定の回転角度」を小さくすればするほど、作成するテンプレートの枚数は増えることになる。そこで、被写体の動作速度に応じて、この回転角度を変えるようにしてもよい。すなわち被写体の動作速度が速い場合には、回転角度はある程度大きくし、被写体の動作速度が遅い場合には、回転角度をある程度小さくすればよい。本発明では、このようにして作成した複数の拡大縮小テンプレート及び複数の回転テンプレートを複数の比較用テンプレートとする。

本発明によれば、被写体が進行方向を変えることなく、遠方や手前側に移動して撮影データ上で拡大縮小した場合には、複数の拡大縮小テンプレートが用いられたときにマッチングが成功する確率が高い。また被写体が進行方向を変えることなく回転した場合には、複数の回転テンプレートが用いられたときにマッチングが成功する確率が高い。そのため、被写体が進行方向を変えることなく回転する場合でも、本発明によれば、被写体の移動位置を従来よりも高い確率で検知することができる。

また、比較用テンプレート作成ステップにおいて、複数の拡大縮小テンプレートと複数の歪みテンプレートとを作成することもできる。複数の歪みテンプレートは、基準テンプレート、複数の拡大縮小テンプレート及び／または複数の回転テンプレートの縦横軸の比率及び／または傾き角度を変えて作成する。ここで傾き角度とは、画像データの横軸及び／または縦軸の角度を直交軸に対して傾けたときの直交軸との間の角度である。そして、このようにして作成した複数の拡大縮小テンプレート及び複数の歪みテンプレートを複数の比較用テンプレートとする。

このようにすれば、被写体が進行方向を変えることなく、遠方や手前側に移動して撮影データ上で拡大縮小した場合には、複数の拡大縮小テンプレートが用いられたときにマッチングが成功する確率が高い。また、被写体が進行方向を変えた場合には、複数の歪みテンプレートが用いられたときにマッチングが成功する確率が高い。そのため、被写体が進行方向を変えたり、進行方向を変えながら回転したりする場合でも、被写体の移動位置を従来よりも高い確率で検知することができる。

また、比較用テンプレート作成ステップにおいて、複数の拡大縮小テンプレートと複数の回転テンプレートと複数の歪みテンプレートとを作成し、複数の拡大縮小テンプレート、複数の回転テンプレート及び複数の歪みテンプレートを複数の比較用テンプレートとすることもできる。

このようにすれば、被写体が進行方向を変えることなく、遠方や手前側に移動して撮影データ上で拡大縮小した場合には、複数の拡大縮小テンプレートが用いられたときにマッチングが成功する確率が高い。また被写体が進行方向を変えることなく回転した場合には、複数の回転テンプレートが用いられたときにマッチングが成功する確率が高い。そして被写体が進行方向を変えた場合には、複数の歪みテンプレートが用いられたときにマッチングが成功する確率が高い。そのため、被写体が進行方向を変えることなく回転したり、進行方向を変えたり、進行方向を変えながら回転したりする場合でも、被写体の移動位置を従来よりも高い確率で検知することができる。

基準テンプレートは、ＲＧＢ表色系，マンセル表色系、及びＸＹＺ表色系などを用いて表された画像データである場合が多い。このような画像データであれば、比較用テンプレート作成ステップでは、複数の拡大縮小テンプレート、複数の回転テンプレート及び／または複数の歪みテンプレートの各テンプレートの画素データ中の任意の画素値を変更して複数の画素値変更テンプレートを更に作成し、これを比較用テンプレートに加えてもよい。このようにすれば、被写体の背景の明るさが大きく変化して、被写体の各部の色が変わってしまった場合や、被写体を雨の中で照明を当てて撮影した場合や、木漏れ日が被写体に当たって被写体の明度が部分的に大きく変化するような場合でも、複数の画素値変更テンプレートを用いてテンプレートマッチングを行うことにより、マッチングの成功確率が高くなる。

基準テンプレートは、移動する被写体を追尾する機能を有する撮影装置により得た撮影データから、被写体が存在する被写体存在領域を抽出した抽出テンプレートから構成してもよい。このようにすれば、被写体に酷似する基準テンプレートを容易に作成できる。

また、基準テンプレートは、被写体に関して予め収集した撮影データから、被写体が存在する被写体存在領域を抽出した抽出テンプレートから構成してもよい。このようにすれば、最初に基準テンプレートを作成しなくても、予め収集した撮影データを利用して、被写体を発見して、被写体を追尾することが可能になる。また被写体が、短い時間内で極端に姿勢を変更した場合には、予め収集した撮影データの中に近い姿勢の被写体の画像があれば、マッチングに成功する確率が高くなる。

また、基準テンプレート、複数の拡大縮小テンプレート、複数の回転テンプレート、複数の歪みテンプレート及び／または画素値変更テンプレートの一部分を、予め用意したテンプレート変換フィルタを用いて除去したり、一部分を変形した一部分変換テンプレートを更に作成して比較用テンプレートに含めることもできる。「テンプレート変換フィルタ」とは、例えば、１つの画像を縦横に複数分割し、その中の任意の領域のみを、削除、拡大、縮小、縦横軸変換等したり、任意の領域の画素データ中の任意の画素値を変更したりすることができるフィルタである。また、ここでいう「変形」とは、一部分を拡大・縮小させたり、歪ませたり、任意の形状に変えるものを含む。このようにすれば、障害物によって被写体の一部が見えなくなった場合や、被写体の一部が水の中に入っている場合等のように、被写体全体が同じような状態で撮影されない場合においても、マッチングの成功確率が高くなる。

なお前述の拡大または縮小の倍率は、基準テンプレートを得たときの撮影装置の倍率を基準にして定めるのが好ましい。このようにすれば、極端に拡大倍率の範囲及び縮小倍率の範囲を極端に大きくする必要がなくなるので、作成する拡大縮小テンプレートの枚数を減らすことができる。

また比較用テンプレート作成ステップでは、専用ＬＳＩを用いて複数の拡大縮小テプレート、複数の回転テンプレート、複数の歪みテンプレート及び画素値変更テンプレートを作成するのが好ましい。このようにすれば、ＣＰＵを用いて比較用テンプレートを作成する場合に比べて、高速でテンプレートを作成できるので、作成するテンプレートの枚数が多くなっても特に支障が生じることはない。

本発明を被写体追尾装置として特定すれば、被写体追尾装置は、駆動装置を有する撮影装置と、テンプレート作成部と、テンプレート記憶部とマッチング処理部とから構成される。テンプレート作成部は、基準テンプレートに基づいて複数の比較用テンプレートを作成する。またテンプレート記憶部は、複数の抽出用テンプレート及び複数の比較用テンプレートを記憶する。さらにマッチング処理部は、複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、新たな撮影データ上の被写体と複数の比較用テンプレートのいずれか一つとが略一致した位置を求める。特に、本発明の被写体追尾装置では、テンプレート作成部が、基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成するだけでなく、基準テンプレート及び／または複数の拡大縮小テンプレートを所定の回転角度ずつ回転させて複数の回転テンプレートを作成し、基準テンプレート、複数の拡大縮小テンプレート及び／または複数の回転テンプレートの縦横寸法の比率及び／または傾き角度を変えて複数の歪みテンプレートを作成し、複数の拡大縮小テンプレート、複数の回転テンプレート及び複数の歪みテンプレートを複数の比較用テンプレートとするように構成されている。

テンプレート作成部は、基準テンプレート、複数の拡大縮小テンプレート、複数の回転テンプレート、複数の歪みテンプレート及び／または画素値変更テンプレートを、予め用意したテンプレート変換フィルタを用いて一部分を除去したり、一部分を拡大・縮小させたり、歪ませて変換した一部分変換テンプレートを更に作成して比較用テンプレートに含めるように構成することもできる。

本発明によれば、被写体が遠方や手前側に移動する場合だけでなく、被写体が回転したり、進行方向を変更した場合においても、従来よりも適切な比較用テンプレートを作成することができるので、従来よりも高い確率で被写体の移動位置を検知することができ、追尾精度が高くなる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明の被写体追尾方法を実施する本発明の被写体追尾装置の実施の形態の一例の構成を示すブロックである。図２は、本発明の実施の形態の被写体追尾方法を、図１の装置で実施する場合に用いるプログラムのアルゴリズムの一例を示すフローチャートである。

図１に示すように、まず、移動する被写体を撮影する撮影装置１を準備する。この撮影装置１はズームレンズを備えたデジタルビデオカメラであり、ズームレンズは制御信号によって倍率を変更するズーム制御部２によって倍率が制御される。ここで撮影装置１が、高解像度のＣＣＤやＣＭＯＳセンサを内蔵することでデジタルズームが可能であれば、必ずしもズームレンズを備える必要はない。この場合には、ズーム制御部２は、デジタルズームを行う領域の選択を行う。またこの例では、撮影装置１を所定の角度範囲内で回転させる回転駆動機構及びレンズを所定の角度範囲内で上下に動かす上下動機構を備えた駆動装置３によって、被写体を追尾することを可能にしている。駆動装置３は、後述するマッチング処理部５から得た位置情報に基いて動作し、ズーム制御部２はオートフォーカス機能によって倍率を適宜に変更するように構成されている。

撮影装置１の撮影データ（デジタル画像データ）は、画像入力部４に送られる。画像入力部４では、撮影データを後の処理に必要な形式のデータに変換する。撮影データは、マッチング処理部５と被写体領域抽出部６とに送られる。最初に被写体（追跡ターゲット）を決定するために、被写体領域抽出部６では、撮影装置１により得た撮影データの中から被写体存在領域を抽出して抽出テンプレートを取得する。本例では、この抽出テンプレートを基準テンプレートとする（基準テンプレート作成ステップ）。この最初の被写体存在領域の抽出方法としては、種々の方法を採用することができる。最も簡単な方法では、最初にマニュアル操作で撮影装置１を用いて、被写体を捕らえ、ある程度の大きさで画面の中央に被写体が写った位置で、撮影データを取り込むようにする。そしてこのように取り込んだ撮影データから、その撮影データの中央に位置する被写体の領域を被写体領域抽出部６で抽出する。被写体領域抽出部６は、撮影データ中から被写体領域のデータだけを抽出して、その抽出したデータを抽出テンプレート（基準テンプレート）と定める。

次に、基準テンプレートに基づいてテンプレート生成部７において、複数の比較用テンプレートを作成する（比較用テンプレート作成ステップ）。このテンプレート生成部７では、以下に説明するように被写体領域抽出部６で抽出した基準テンプレート及びマッチング処理部５におけるマッチング処理により、新たな撮影データから抽出した被写体の新たな画像データからなる基準テンプレートに基づいて、複数の拡大縮小テンプレート、複数の回転テンプレート、複数の歪みテンプレート及び複数の画素値変更テンプレートを作成し、これらを比較用テンプレートとして、基準テンプレートとともにテンプレート記憶部８に記憶させる。比較用テンプレートとは、新たな撮影データ中から被写体の存在領域を検出するために、撮影データ中の所定領域と比較のために用いられる比較用の画像データをである。なお以下の説明では、被写体領域抽出部６から得る最初の基準テンプレート及びマッチング処理部５から得る新たな基準テンプレートの両方を、基準テンプレートＴ１として説明する。

下記の数式１は、基準テンプレートを拡大、縮小、回転、圧縮等する場合に用いる基本の行列式である。

上記基本式において、Ａは変換行列であり、ｘは基準テンプレート（原画像データ）における画素の座標である。そしてｘ´は倍率を変換（画像変換）した後の即ち拡大縮小後の画素の座標である。ここで画素とは、画像データに含まれるすべての画素を意味するものであり、代表的にａ，ｂで表示してある。変換行列Ａ中のｋ、ｌ、ｍ、ｎのｋ及びｎは横及び縦の倍率係数であり、ｌ及びｍは座標を９０°ずつ回転し且つ縦及び横の倍率を変更するために用いる回転倍率係数である。縦横の比率を一定にした、単純な拡大縮小テンプレートを得る場合には、変換行列Ａ中のｋ及びｎの値を同じ割合で増減し、ｌ及びｍの値を０とすればよい。

これに対して、図３に示すように、基準テンプレートＴ１を縦横の倍率を変えて拡大または縮小した複数の拡大縮小テンプレートＴ２を作成する場合には、下記の数式２の変換行列を用いる。

この式では、基本式の変換行列Ａ中のｌ及びｍを０とし、ｋ、ｎの値を所望の縦横倍率を得るように定めている。上記式は、基準テンプレートＴ１を横方向にｋ倍、縦方向にｎ倍する場合の式である。

図４は、基準テンプレートＴ１を縦横寸法を拡大または縮小し、さらに９０°回転した回転テンプレートＴ３を作成する例を示している。本例では、基準テンプレートＴ１を横方向にｍ倍、縦方向にｌ倍し、さらに９０°回転したものであり、基本式の変換行列Ａ中のｋ及びｎを０として、ｌ及びｍを任意の値とした下記の数式３を用いている。

なお拡大または縮小の倍率は、基準テンプレートを得たときの撮影装置１のズーム倍率を基準にして定められている。ズームレンズの倍率のデータは、ズーム制御部２から得ることができる。予め定めた複数の倍率で基準テンプレートを拡大または縮小して拡大縮小テンプレートを作成してもよいが、ロケットや超音速ジェット機のように、非常に移動速度が速いものを除けば、前の撮影データ中の被写体の大きさと次の撮影データ中の被写体の大きさとが、著しく相違することはない。しかしながら前述の倍率を予め定めた固定のものとすると、前の撮影データの状況から考えて到底ありえない大きさの拡大または縮小テンプレートを作成することになる場合もある。そこで前の新たな撮影データを撮影したときのズームレンズの倍率を基準にして、拡大または縮小の倍率を定めると、無駄な比較用テンプレートを作成する必要がなくなる上、マッチング処理部５におけるマッチング処理でも比較を行うテンプレートの数を不必要に多くする必要がないので、マッチング処理速度を上げることができる。なお本実施の形態では、テンプレート生成部７におけるテンプレートの生成を、ＣＰＵではなく、専用ＬＳＩを用いて作成している。専用ＬＳＩは、機能を特化しているため、ＣＰＵと比べて演算速度を速くすることができる。そのため短時間で、多くの比較用データを作成することができる。

図４の例のように、上記数式３を用いると、９０°ずつ回転して縦横比を変えた拡大縮小テンプレートを回転させた回転テンプレートを得ることができるが、図５のように、任意の角度θだけ回転させるためには、下記の数式４を用いる。

図５の例では、基準テンプレートＴ１を被写体の中心点を中心に反時計回りにθ°の角度回転させている。そこで回転を行う場合には、基本式のｋ、ｌ、ｍ及びｎをｋ＝ｃｏｓθ，ｌ＝−ｓｉｎθ，ｍ＝ｓｉｎθ，ｎ＝ｃｏｓθとすればよい。

なお、上記式を用いれば、単純に拡大縮小したテンプレートを任意の角度で回転させて、回転テンプレートＴ４を得ることができる。なお図３のように縦横比を変えた拡大縮小テンプレートを図４に示すように９０°回転させる場合に、上記数式３を用いずに、上記数式２を用いて拡大圧縮テンプレートを作成した後、上記数式４を用いて９０°回転させて歪テンプレートを得るようにしてもよい。図６は、基準テンプレートＴ１を拡大または縮小し、さらに所望の角度θ回転して複数の歪みテンプレートを作成する例を示している。本例では、基準テンプレートを基本式を用いて変換して歪みテンプレートＴ５を作成している。

図７には、基本式の演算を行うための専用ＬＳＩの基本構成を示している。図７において、丸の中に×の記号を付したものが乗算器であり、丸の中に＋の機構を付したものが加算器である。このような構成を用いると、原画像データの画素の座標（ａ，ｂ）を（ｋａ＋ｌｂ，ｍａ＋ｎｂ）に変換することができる。なお実際の専用ＬＳＩでは、さらに必要な機能を実現するための機能実現手段を備えているのは勿論である。また回転角度を任意に変更するためには、上記数式４を実行する機能を付加すればよい。

図８は、撮影データから得た基準テンプレートがＲＧＢ表色系で表されている場合に、撮影データの画素値を変更して画素値が異なる複数のＲＧＢ変更プレート（画素値変更テンプレート）を作成して、輝度・彩度を変更する場合の例を模式的に示している。この変更は下記の数式５を用いることにより実現できる。

上記式において、Ａは変換行列であり、ｙは基準テンプレートの画素のＲＧＢ値であり、ｙ´は変換後の画素のＲＧＢ値である。変換行列中のα〜ηの係数は、画素値を変換する変換係数である。α〜ηの係数を変えて、画素値の変更をすることにより、暗い画像を明るくしたり、明るい画像を暗い画像にすること、すなわち輝度の変更が可能になる。またα〜ηの係数を変えて、色味の変更すなわち彩度の変更も可能になる。その結果、天候の変化に対応した画素値変更テンプレートを作製することができる。なお基準テンプレートはＲＧＢ表色系で表されているものに限定されるものではなく、マンセル表色系や、ＸＹＺ表色系などの他の表色系で表されたものを用いてもよいのは勿論である。上記式を実行する演算装置を専用ＬＳＩで実現する場合には、図９に示すような基本構成を備えたＬＳＩを用意すればよい。

図１０（Ａ）〜（Ｄ）は、基準テンプレートＴ１’から、予め用意したテンプレート変換フィルタを用いて一部分（符号Ｃ１上下方向の部分）を除去した一部分変換テンプレートＴ６を作成する例を示している。本例では、図１０（Ｂ）に示すように、画面の分割化を行った後に、図１０（Ｃ）に示すように、変域領域の選択（本例では、符号Ｃ１上下方向の部分）を行い、変域領域Ｃ１を除去して一部分変換テンプレートＴ６を作成した。

図１１（Ａ）〜（Ｄ）は、基準テンプレートＴ１’から、テンプレート変換フィルタを用いて一部分（符号Ｃ２上下方向の部分）を変形した一部分変換テンプレートＴ７を作成する例を示している。本例では、変域領域Ｃ２の形状を変形して一部分変換テンプレートＴ７を作成した。

図１２（Ａ）〜（Ｄ）は、基準テンプレートＴ１’から、テンプレート変換フィルタを用いて一部分（符号Ｃ３の枠部分）を変形した一部分変換テンプレートＴ８を作成する例を示している。本例では、変域領域Ｃ２を拡大して一部分変換テンプレートＴ７を作成した。

このようなテンプレート変換フィルタを用いて、各種の一部変換テンプレートＴ６を作成すれば、障害物によって被写体の一部が見えなくなった場合や、被写体の一部が水の中に入っている場合等のように、被写体全体が同じような状態で撮影されない場合においても、マッチングの成功確率が高くなる。

次に、図２に戻って図１の装置を用いた本発明の被写体追尾方法の実施の形態の一例について説明する。まず最初に図２のステップＳＴ１に示すように、最初の基準テンプレートを取得する。そしてステップＳＴ２では、基準テンプレートに基づいて複数の比較用テンプレートを作成する。そして作成した複数の比較用テンプレートは、テンプレート記憶部８に送られてデータとして蓄積される。次に新たな撮影データとがマッチング処理部５に送られ、そしてテンプレート記憶部８に蓄積された複数の比較用テンプレートから順次選択された比較用テンプレートが、マッチング処理部５に送られる。マッチング処理部５では、前述したように、新たな撮影データと比較用テンプレートとのテンプレートマッチングを行う。そして新たな撮影データ上の被写体と複数のデータと比較用テンプレートのいずれか一つとが略一致するか否かの判定が実施される。いずれかの比較用テンプレートと撮影データ上の被写体のデータとが一致した場合には、その一致した位置のデータを求める（マッチングステップ）。本発明においては、拡大縮小テンプレートだけでなく、回転テンプレート、歪みテンプレート、画素値変更テンプレート及び一部分変換テンプレートが、テンプレート生成部７によって作成されている。そのため被写体が進行方向を変えることなく、遠方や手前側に移動して撮影データ上で拡大縮小した場合には、複数の拡大縮小テンプレートＴ２によりマッチングが成功する。また被写体が進行方向を変えることなく回転した場合には、複数の回転テンプレートＴ３，Ｔ４が用いられることによりマッチングが成功する。そして被写体が進行方向を変えた場合には、複数の歪みテンプレートＴ５が用いられることによりマッチングが成功する。また、被写体の背景の明るさが大きく変化して、被写体の各部の色が変わってしまった場合でも、複数の画素値変更テンプレートＴ６が用いられることにより、マッチングが成功する。例えば、被写体の背景の明るさが大きく変化して、被写体の各部の色が変わってしまった場合や、被写体を雨の中で照明を当てて撮影したり、木漏れ日などによって被写体の明度が部分的に大きく変化するような場合でも、マッチングが成功する場合がある。また、被写体の一部が障害物で隠された場合でも、複数の一部分変換テンプレートＴ６が用いられることにより、マッチングに成功する場合がある。このように本実施の形態によれば、基準テンプレートの予想される変更形状に近い各種の比較用テンプレートが用意されているので、拡大縮小テンプレートしか用意しない場合と比べて、マッチングの成功確率が高くなる。

次に、マッチングにより被写体の移動位置を検知できたら、被写体を追尾するために、少なくとも駆動装置３に位置情報が供給され、駆動装置３は入力された位置情報に基づいて、撮影装置１の位置及びズームレンズの角度を変更する。またマッチングにより検知された新たな撮影データ上の画像データが、新たな基準テンプレートとして取得され（ステップＳＴ５）、この新たな基準テンプレートに基いて、さらに新たな比較用テンプレートが作成される（ステップＳＴ６）。新たな抽出用テンプレートと新たに作成された比較用テンプレートは、前に作成した比較用テンプレートと一緒にテンプレート記憶部８に記憶される。なお記憶データが多くなりすぎることを防止するために、比較用テンプレートを作成するたびに、テンプレート記憶部８の記憶データを更新するようにしてもよい。しかしメモリ容量が大きい場合には、予め定めた作成回数分の比較テンプレートを記憶しておき、順次古い比較用テンプレートと新しい比較用テンプレートとを更新するようにしてもよい。そして、新たな撮影データが入力され続ける限り、上記のステップが繰り返される。

本例の被写体追尾方法によれば、被写体が遠方や手前側に移動する場合だけでなく、被写体が回転したり、進行方向を変更したりする場合においても、回転テンプレートＴ３，Ｔ４、歪みテンプレートＴ５及び一部分変換テンプレートＴ６を含む比較用テンプレートを用いることにより、従来よりも高い確率で被写体の移動位置を検知することができる。

なお、上記例では、撮影装置により得た撮影データの中から被写体存在領域を抽出した抽出テンプレートを基準テンプレートとしたが、被写体に関して予め収集した撮影データから被写体が存在する被写体存在領域を抽出した抽出テンプレートを基準テンプレートとしても構わない。

本発明の被写体追尾方法の概念を説明するために用いる概念図である。 図１に示す被写体追尾方法を説明するフローチャートである。 図１に示す被写体追尾方法において、基準テンプレートを拡大または縮小して複数の拡大縮小テンプレートを作成する例を示す図である。 図１に示す被写体追尾方法において、複数の回転テンプレートを作成する例を示す図である。 図１に示す被写体追尾方法において、複数の歪みテンプレートを作成する一例を示す図である。 図１に示す被写体追尾方法において、複数の歪みテンプレートを作成する他の例を示す図である。 図６の変換行列を専用ＬＳＩを用いて行う態様を示す図である。 図１に示す被写体追尾方法において、複数のＲＧＢ変更プレートを作成する一例を示す図である。 図８の変換行列を専用ＬＳＩを用いて行う態様を示す図である。 （Ａ）〜（Ｄ）は、図１に示す被写体追尾方法において、一部分変換テンプレートを作成する過程の例を説明するために用いる図である。 （Ａ）〜（Ｄ）は、図１に示す被写体追尾方法において、一部分変換テンプレートを作成する過程の他の例を説明するために用いる図である。 （Ａ）〜（Ｄ）は、図１に示す被写体追尾方法において、一部分変換テンプレートを作成する過程の更に他の例を説明するために用いる図である。 テンプレートマッチング法を用いた公知の被写体追尾方法を説明するために用いる概略図である。

符号の説明

１ 撮影装置
２ ズーム制御部
３ 駆動装置
４ 画像入力部
Ｔ１ 基準テンプレート
Ｔ２ 拡大縮小テンプレート
Ｔ３，Ｔ４ 回転テンプレート
Ｔ５ 歪みテンプレート
Ｔ６，Ｔ７，Ｔ８ 一部分変換テンプレート

Claims (12)

1. 基準テンプレートを作成する基準テンプレート作成ステップと、
   前記基準テンプレートに基づいて複数の比較用テンプレートを作成する比較用テンプレート作成ステップと、
   前記複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、前記新たな撮影データ上の前記被写体と前記複数の比較用テンプレートのいずれか一つとが略一致した位置を求めるマッチングステップとにより、前記被写体の移動位置を検知して移動する前記被写体を前記撮影装置により追尾する被写体追尾方法であって、
   前記比較用テンプレート作成ステップにおいて、前記基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成し、前記基準テンプレート及び／または前記複数の拡大縮小テンプレートを所定の回転角度ずつ回転させて複数の回転テンプレートを作成し、前記複数の拡大縮小テンプレート及び前記複数の回転テンプレートを前記複数の比較用テンプレートとすることを特徴とする被写体追尾方法。
2. 基準テンプレートを作成する基準テンプレート作成ステップと、
   前記基準テンプレートに基づいて複数の比較用テンプレートを作成する比較用テンプレート作成ステップと、
   前記複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、前記新たな撮影データ上の前記被写体と前記複数の比較用テンプレートのいずれか一つとが略一致した位置を求めるマッチングステップとにより、前記被写体の移動位置を検知して移動する前記被写体を前記撮影装置により追尾する被写体追尾方法であって、
   前記比較用テンプレート作成ステップにおいて、前記基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成し、前記基準テンプレート及び／または前記複数の拡大縮小テンプレートの縦横軸の傾き角度を変えて複数の歪みテンプレートを作成し、前記複数の拡大縮小テンプレート及び前記複数の歪みテンプレートを前記複数の比較用テンプレートとすることを特徴とする被写体追尾方法。
3. 基準テンプレートを得る基準テンプレート作成ステップと、
   前記基準テンプレートに基づいて複数の比較用テンプレートを作成する比較用テンプレート作成ステップと、
   前記複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、前記新たな撮影データ上の前記被写体と前記複数の比較用テンプレートのいずれか一つとが略一致した位置を求めるマッチングステップとにより、前記被写体の移動位置を検知して移動する前記被写体を前記撮影装置により追尾する被写体追尾方法であって、
   前記比較用テンプレート作成ステップにおいて、前記基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成し、前記基準テンプレート及び／または前記複数の拡大縮小テンプレートを所定の回転角度ずつ回転させて複数の回転テンプレートを作成し、前記基準テンプレート、前記複数の拡大縮小テンプレート及び／または前記複数の回転テンプレートの縦横軸の傾き角度を変えて複数の歪みテンプレートを作成し、前記複数の拡大縮小テンプレート、前記複数の回転テンプレート及び前記複数の歪みテンプレートを前記複数の比較用テンプレートとすることを特徴とする被写体追尾方法。
4. 前記基準テンプレートはＲＧＢ表色系、マンセル表色系及びＸＹＺ表色系などの所定の表色系を用いて表された画像データであり、
   前記比較用テンプレート作成ステップでは、前記複数の拡大縮小テンプレート、前記複数の回転テンプレート及び／または前記複数の歪みテンプレート内の任意の画素値を変更した複数の画素値変更テンプレートを更に前記比較用テンプレートとして作成することを特徴とする請求項１〜３のいずれか１つに記載の被写体追尾方法。
5. 前記基準テンプレートは、移動する被写体を追尾する機能を有する撮影装置により得た撮影データから、前記被写体が存在する被写体存在領域を抽出した抽出テンプレートからなる請求項１〜３のいずれか１つに記載の被写体追尾方法。
6. 前記基準テンプレートは、被写体に関して予め収集した撮影データから、前記被写体が存在する被写体存在領域を抽出した抽出テンプレートからなる請求項１〜３のいずれか１つに記載の被写体追尾方法。
7. 前記基準テンプレート、前記複数の拡大縮小テンプレート、前記複数の回転テンプレート、前記複数の歪みテンプレート及び／または前記画素値変更テンプレートの一部分を、予め用意したテンプレート変換フィルタを用いて除去したり、前記一部分を変形した一部分変換テンプレートを更に作成して前記比較用テンプレートに含めることを特徴とする請求項１〜３のいずれか１つに記載の被写体追尾方法。
8. 前記倍率は、前記基準テンプレートを得たときの前記撮影装置の倍率を基準にして定められることを特徴とする請求項１〜３のいずれか１つに記載の被写体追尾方法。
9. 前記比較用テンプレート作成ステップでは、専用ＬＳＩを用いて前記複数の拡大縮小テンプレート、前記複数の回転テンプレート及び前記複数の歪みテンプレートを作成することを特徴とする請求項１〜３のいずれか１つに記載の被写体追尾方法。
10. 前記比較用テンプレート作成ステップでは、専用ＬＳＩを用いて前記画素値変更テンプレートを作成することを特徴とする請求項４に記載の被写体追尾方法。
11. 移動する被写体を追尾するための駆動装置を有する撮影装置と、
    基準テンプレートに基づいて複数の比較用テンプレートを作成するテンプレート作成部と、
    前記複数の抽出用テンプレート及び前記複数の比較用テンプレートを記憶するテンプレート記憶部と、
    前記複数の比較用テンプレートと新たな撮影データとでテンプレートマッチングを行い、前記新たな撮影データ上の前記被写体と前記複数の比較用テンプレートのいずれか一つとが略一致した位置を求めるマッチング処理部とを備えて、
    前記マッチング処理部で前記被写体の移動位置を検知して前記撮影装置に検知信号を出力することにより、前記被写体を前記撮影装置により追尾する被写体追尾装置であって、
    前記テンプレート作成部は、前記基準テンプレートを複数の倍率で拡大または縮小して複数の拡大縮小テンプレートを作成し、前記基準テンプレート及び／または前記複数の拡大縮小テンプレートを所定の回転角度ずつ回転させて複数の回転テンプレートを作成し、前記基準テンプレート、前記複数の拡大縮小テンプレート及び／または前記複数の回転テンプレートの縦横軸の比率及び／または傾き角度を変えて複数の歪みテンプレートを作成し、前記複数の拡大縮小テンプレート、前記複数の回転テンプレート及び前記複数の歪みテンプレートを前記複数の比較用テンプレートとするように構成されていることを特徴とする被写体追尾装置。
12. 前記テンプレート作成部は、前記基準テンプレート、前記複数の拡大縮小テンプレート、前記複数の回転テンプレート、前記複数の歪みテンプレート及び／または前記画素値変更テンプレートの一部分を、予め用意したテンプレート変換フィルタを用いて除去したり、前記一部分を拡大・縮小させたり、前記一部分を歪ませて変換した一部分変換テンプレートを更に作成して、前記比較用テンプレートに含めることを特徴とする請求項１０に記載の被写体追尾装置。

Images