JP2012199601A - 画像追尾装置 - Google Patents

Abstract

【課題】好適な追尾が可能な画像追尾装置を提供する。
【解決手段】画像追尾装置は、結像光学系からの像を繰り返し撮像して、被写界画像を順次取得する取得部と、順次取得された複数の被写界画像のうちの第１被写界画像と、第１被写界画像より後に取得された第２被写界画像とのそれぞれについて、所定の領域を基準領域として設定する設定部と、複数の基準領域のそれぞれについて差分を演算し、演算結果に基づいて移動体を検出する第１検出部と、第１検出部により検出された移動体を基準として、第２被写界画像の中で追尾対象となる画像の特徴を示すテンプレート画像を生成する生成部と、生成部により生成されたテンプレート画像を用いて、第２被写界画像よりも後に取得された第３被写界画像内の追尾対象の位置を検出する第２検出部とを備える。
【選択図】図３

Description

本発明は、画像追尾装置に関する。

従来から、移動被写体を撮影する際に、画面内の指示部分の被写体像をテンプレート画像として取得し、繰り返し撮影する画像の中でテンプレート画像と類似した被写体像の位置を検索（テンプレートマッチング）し、画面内を横方向へ移動する被写体を追尾する画像追尾装置ある。特に、パターンマッチングとフレーム間差分処理とを用いて、移動被写体への追従精度を高めた画像追尾装置が知られている（たとえば特許文献１）。

特許第４５２５０８９号公報

しかしながら、移動被写体の動きが速い場合にはテンプレート画像を生成する際に移動被写体を確実に捕捉できず、精度の良いテンプレート画像が生成できないために追尾精度が低下するという問題がある。

請求項１に記載の発明による画像追尾装置は、結像光学系からの像を繰り返し撮像して、被写界画像を順次取得する取得部と、順次取得された複数の被写界画像のうちの第１被写界画像と、第１被写界画像より後に取得された第２被写界画像とのそれぞれについて、所定の領域を基準領域として設定する設定部と、複数の基準領域のそれぞれについて差分を演算し、演算結果に基づいて移動体を検出する第１検出部と、第１検出部により検出された移動体を基準として、第２被写界画像の中で追尾対象となる画像の特徴を示すテンプレート画像を生成する生成部と、生成部により生成されたテンプレート画像を用いて、第２被写界画像よりも後に取得された第３被写界画像内の追尾対象の位置を検出する第２検出部と、を備えることを特徴とする。

本発明によれば、好適な追尾が可能な画像追尾装置を提供することができる。

実施の形態の画像追尾装置を備えた撮像装置の構成を示す横断面図 実施の形態の画像追尾装置を備えた撮像装置の構成を示すブロック図 実施の形態の追尾制御部が備える機能を示すブロック図 第２撮像素子の構成および被写界画像を例示する平面図 実施の形態の焦点検出領域の配置の一例を示す図 被写界画像に設定される周辺部分領域および選択エリア部分領域の配置の一例を示す図 実施の形態による移動体の検出を説明する図 実施の形態による移動体の検出を説明する図 実施の形態によるテンプレート生成用部分領域の設定を説明する図 実施の形態によるテンプレート画像の生成を説明する図 実施の形態による追尾対象被写体の検出を説明する図 実施の形態による追尾処理を説明するフローチャート 実施の形態による移動方向検出処理およびテンプレート生成用画像取得処理を説明するフローチャート 実施の形態によるテンプレート生成処理を説明するフローチャート

図面を参照しながら、一実施の形態による画像追尾装置を備えた撮像装置について説明する。
図１は、本実施の形態による撮像装置（一眼レフデジタルスチルカメラ）１の構成を示す。なお、図１では画像追尾機能とは直接関係のないカメラの機器および回路についての図示と説明を省略する。一実施の形態のカメラ１では、撮影レンズ８、絞り２１等を有する交換レンズ３がカメラ本体２に着脱可能に装着される。カメラ本体２には被写界像を撮像して画像を記録するための第１撮像素子４が設けられる。この第１撮像素子４はＣＣＤやＣＭＯＳなどにより構成することができる。撮影時にはクイックリターンミラー５およびサブミラー６が実線で示す撮影光路外の位置に退避してシャッター７が開放され、撮影レンズ８により第１撮像素子４の受光面に被写体像が結像される。

カメラ本体２の底部には、撮影レンズ８の焦点調節状態を検出するための焦点検出光学系９と測距素子１０が設けられている。この一実施の形態では、瞳分割型位相差検出方式による焦点検出方法を採用した例を示す。焦点検出光学系９は、撮影レンズ８を通過した対の焦点検出用光束を測距素子１０の受光面へ導き、対の光像を結像させる。測距素子１０は例えば対のＣＣＤラインセンサーを備え、対の光像に応じた焦点検出信号を出力する。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示すような撮影光路内の位置に設定されており、撮影レンズ８からの対の焦点検出用光束はクイックリターンミラー５のハーフミラー部を透過し、サブミラー６により反射されて焦点検出光学系９および測距素子１０へ導かれる。

カメラ本体２の上部にはファインダー光学系が設けられている。撮影前にはクイックリターンミラー５およびサブミラー６が破線で示す位置にあり、撮影レンズ８からの被写体光の一部はクイックリターンミラー５に反射されて焦点板１１へ導かれ、焦点板１１上に被写体像が結像する。液晶表示素子１２は、焦点板１１上に結像された被写界像に焦点検出エリアマークなどの情報を重畳表示するとともに、被写界像外の位置に露出値などの種々の撮影情報を表示する。焦点板１１上の被写界像はペンタダハプリズム１３および接眼レンズ１４を介して接眼窓１５へ導かれ、撮影者が被写界像を視認することができる。

また、カメラ本体２上部のファインダー光学系には、被写体追尾や測光のために被写界像を撮像する第２撮像素子１６が設けられる。焦点板１１に結像した被写界像は、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６の受光面に再結像される。

図４（ａ）は第２撮像素子１６の詳細な構成を示す正面図である。図４（ａ）においては水平方向をｘ軸、垂直方向をｙ軸とする座標系を用いる。第２撮像素子１６は、マトリクス状に配列された複数の画素（光電変換素子）４０（たとえば、横６４０個×縦４８０個の画素）を備えている。なお、図４（ａ）においては、図示の都合上、画素５０の個数は上記横６４０個×縦４８０個よりも少ない個数で示している。さらに、各画素５０にはそれぞれ赤Ｒ、緑Ｇ、青Ｂの原色フィルターが設けられている。これにより、各画素５０ごとに被写界画像のＲＧＢ信号（被写界画像信号）を後述するボディ駆動制御装置１９（図２）に出力することができる。この第２撮像素子１６により撮像された被写界画像信号に基づいて、ボディ駆動制御装置１９によって追尾制御と露出演算とが行われる。なお、ボディ駆動制御装置１９は、追尾制御と露出演算は第１撮像素子４による撮像により出力された被写界画像信号に基づいて行うこととしてもよい。

カメラ本体２にはまた、ボディ駆動制御装置１９、操作部材２０などが設けられる。ボディ駆動制御装置１９は、詳細を後述するマイクロコンピューターとメモリ、Ａ／Ｄ変換器などの周辺部品から構成され、カメラ１の種々の制御と演算を行う。操作部材２０には、レリーズボタン、焦点検出エリア選択スイッチ、撮影モード選択スイッチなどのカメラ１を操作するためのスイッチやセレクターが含まれる。

交換レンズ３には、ズーミングレンズ８ａ、フォーカシングレンズ８ｂ、絞り２１、レンズ駆動制御装置２２などが設けられる。なお、この一実施の形態では撮影レンズ８をズーミングレンズ８ａ、フォーカシングレンズ８ｂおよび絞り２１で代表的に表すが、撮影レンズ８の構成は図１に示す構成に限定されない。レンズ駆動制御装置２２は図示しないマイクロコンピューターとメモリ、駆動回路、アクチュエーターなどの周辺部品から構成され、レンズ８ａ、８ｂおよび絞り２１の駆動制御とそれらの位置検出を行う。レンズ駆動制御装置２２に内蔵されるメモリには、交換レンズ３の焦点距離や開放絞り値などのレンズ情報が記憶されている。

ボディ駆動制御装置１９とレンズ駆動制御装置２２はレンズマウント部の接点２３を介して通信を行う。この通信によって、ボディ駆動制御装置１９はレンズ駆動制御装置２２へレンズ駆動量や絞り値などの情報を送信し、レンズ駆動制御装置２２はボディ駆動制御装置１９へレンズ情報や絞り情報を送信する。

図２はボディ駆動制御装置１９の詳細な構成を示す。なお、画像追尾機能とは直接関係のない制御機能については図示と説明を省略する。ボディ駆動制御装置１９は素子制御回路１９ａ、Ａ／Ｄ変換器１９ｂ、マイクロコンピューター１９ｃ、メモリ１９ｄなどを備えている。素子制御回路１９ａは第２撮像素子１６の電荷の蓄積と読み出しを制御する。Ａ／Ｄ変換器１９ｂは、第２撮像素子１６から出力されるアナログの被写界画像信号をデジタルの被写界画像信号に変換する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５により反射され、ペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれる。レリーズボタンが半押しされている間、または半押しタイマーが作動している間は、第２撮像素子１６により繰り返し周期的に被写界画像を撮像することができる。

マイクロコンピューター１９ｃは、ソフトウエア形態により露出制御部１９ｅ、焦点検出演算部１９ｆ、レンズ駆動量演算部１９ｇおよび追尾制御部１９ｈを構成する。メモリ１９ｄは、画像追尾用のテンプレート画像やデフォーカス量などの情報、撮影レンズ８の焦点距離、開放Ｆ値、絞り値、像ズレ量からデフォーカス量への変換係数などのレンズ情報などを記憶する。

露出制御部１９ｅは、第２撮像素子１６により撮像した画像信号に基づいて露出値を演算する。焦点検出演算部１９ｆは、測距素子１０から出力される対の光像に応じた焦点検出信号に基づいて撮影レンズ８の焦点調節状態、ここではデフォーカス量を検出する。なお、詳細を後述するが、撮影レンズ８の撮影画面内には複数の焦点検出エリアが設定されており、測距素子１０は焦点検出エリアごとに対の光像に応じた焦点検出信号を出力し、焦点検出演算部１９ｆは焦点検出エリアごとに対の光像に応じた焦点検出信号に基づいてデフォーカス量を検出する。撮影者により操作部材２０のレリーズボタンが半押しされると半押しスイッチ（不図示）がオンし、図１に示すように、撮影レンズ８を通過した被写体光の一部は破線で示すクイックリターンミラー５のハーフミラー部を通ってサブミラー６および焦点検出光学系９を介して測距素子１０へ導かれ、焦点検出演算部１９ｆにより焦点検出演算が行われる。レンズ駆動量演算部１９ｇは検出されたデフォーカス量をレンズ駆動量に変換する。なお、焦点調節状態の検出は、レリーズボタンが半押しされている間、繰り返し周期的に行われる。

追尾制御部１９ｈは、画像追尾動作（処理）を行う。すなわち、追尾制御部１９ｈは、第２撮像素子１６により撮像された被写界画像の内、撮影者が手動で指定した追尾対象位置、あるいはカメラ１が自動で設定した追尾対象位置に対応する画像に基づいて、テンプレート画像(基準画像）を生成してメモリ１９ｄに記憶させる。そして、追尾制御部１９ｈは、撮影周期ごとに第２撮像素子１６により繰り返し撮影される被写界画像の中からテンプレート画像と一致または類似する画像領域を検索することによって追尾対象の位置を認識する。

図３に示すように、追尾制御部１９ｈは、画像追尾処理を行うために、画像取得部１９０、設定部１９１、移動方向検出部１９２、移動体検出部１９３、テンプレート生成部１９４、追尾範囲設定部１９５、追尾対象検出部１９６および更新部１９７を機能的に備える。画像取得部１９０は、第２撮像素子１６から出力された被写界画像信号を用いて、被写界画像を生成する。設定部１９１は、後述するテンプレート生成用画像の取得処理の際に、被写界画像内で移動体を検出するための領域を設定する。移動方向検出部１９２は、撮像周期ごとに順次生成された異なる複数の被写界画像の間に発生した移動方向を検出する。移動体検出部１９３は、複数の被写界画像について公知のフレーム間差分の技術を用いて、被写界画像に含まれる移動体を検出する。

テンプレート生成部１９４は、被写界画像信号に基づいて、移動体検出部１９３により検出された移動体についてのテンプレート画像を生成してメモリ１９ｄに記憶させる。追尾範囲設定部１９５は、被写界画像の内部に、テンプレート画像を用いたパターンマッチング処理を行うための領域を設定する。追尾対象検出部１９６は、撮影周期ごとに繰り返し撮影される被写界画像とテンプレート画像との間で相関関係を演算し、演算結果のうち、テンプレート画像との相関関係が最も高いことを示す演算結果を選択する。そして、追尾対象検出部１９６は、選択された演算結果に基づいて、被写界画像の中からテンプレート画像と一致または類似する画像領域を検出（検索）する。更新部１９７は、テンプレート生成部１９４により生成されたテンプレート画像の更新処理を行う。なお、画像取得部１９０、設定部１９１、移動方向検出部１９２、移動体検出部１９３、テンプレート生成部１９４、追尾範囲設定部１９５、追尾対象検出部１９６および更新部１９７による処理の詳細については、説明を後述する。

次に、一実施の形態の画像追尾動作を説明する。図５〜図１１は一実施の形態の画像追尾動作を説明するための図、図１２〜図１４は一実施の形態の画像追尾処理を示すフローチャートである。ボディ駆動制御装置１９は、電源ＯＮの後、第２撮像素子１６により撮像した被写体画像のうち、ユーザが手動で追尾対象とする被写体（以後、追尾対象被写体）を指定するか、あるいはカメラが自動で追尾対象被写体を設定すると追尾対象被写体の検出に用いるテンプレート画像のためのテンプレート生成用画像を取得する。そして、ユーザが操作部材２０のレリーズボタンを半押しすると、ボディ駆動制御装置１９は、取得されたテンプレート生成用画像を用いてテンプレート画像を生成し、このテンプレート画像を用いて被写体追尾処理を開始する。

レリーズボタンを全押しして撮影を行うとき以外は、クイックリターンミラー５が図１に破線で示す撮影光路内に設定されており、撮影レンズ８から入射した被写体光の一部は焦点板１１上に結像される。そして、焦点板１１上の被写界像はペンタダハプリズム１３、プリズム１７および結像レンズ１８を介して第２撮像素子１６へ導かれ、第２撮像素子１６から被写界画像信号が繰り返し出力される。

撮影レンズ８の撮影画面には複数の焦点検出エリアが設定されており、液晶表示素子１２は焦点板１１上の被写界像にエリアマークを重畳して、各焦点検出エリアの位置を表示する。この一実施の形態では、図５に示すように、撮影画面内の７カ所に焦点検出エリア４５ａ〜４５ｇが設定された例を示す。また、操作部材２０の焦点検出エリア選択スイッチにより任意のエリアを選択すると、そのエリアのマークが点灯表示される。

図５に示すように操作部材２０の焦点検出エリア選択スイッチにより焦点検出エリア４５ｃが選択されると、マイクロコンピューター１９ｃにより焦点検出エリア４５ｃが選択ＡＦエリアとしてメモリ１９ｄに記憶される。これにより、追尾対象被写体として選択ＡＦエリア内の被写体が追尾制御部１９ｈにより指定される。なお、ここでは撮影者が選択ＡＦエリアを選択して追尾対象被写体を手動で指定する例を示すが、例えば自動的に被写体を認識する機能を備えたカメラでは被写体認識結果に基づいて選択ＡＦエリアおよび追尾対象被写体を設定してもよい。

図１２のステップＳ１において、素子制御回路１９ａは、第２撮像素子１６に被写界画像信号を出力させ、この被写界画像信号に基づいて画像取得部１９０は被写界画像を取得（生成）する。生成された被写界画像の画像情報は、画素ごとにＲＧＢ値で表される。画像取得部１９０は、第２撮像素子１６から入力した被写界画像信号のＲＧＢ値に基づいて、被写界画像の色情報と輝度情報とを算出する。このとき、画像取得部１９０は、第２撮像素子１６に含まれる６４０×４８０個の画素５０のそれぞれの画像情報を、たとえば隣接する８×８個の画素５０の画像情報をまとめて１つのブロックとするブロック化を行い、被写界画像を生成する。この場合、画像取得部１９０は、隣接する８×８個の画像情報（すなわちＲＧＢ値）を平均化あるいは合計することによりブロック化を行う。その結果、図４（ｂ）に示すように、被写界画像の６４０×４８０個の画素５０のそれぞれの画像情報は、８０×６０個のブロック５１（図４（ｂ）の太線で囲まれる範囲内）の画像情報として表される。なお、以後の説明においては、上記のブロック化された１つのブロックをブロック画素５１と呼ぶ。また、図４（ｂ）においては、全被写界画像のうちの一部を拡大して示している。

次に、ステップＳ２で追尾制御部１９ｈは、図１３に示す画面移動方向検出処理およびテンプレート取得用画像の取得処理を実行する。
図１３のステップＳ１０１において、追尾制御部１９ｈの設定部１９１は、被写界画像（以後、被写界初期画像）の中の撮影者が指定した位置（ここでは選択ＡＦエリアである焦点検出エリア４５ｃ）を含む領域（以後、選択エリア部分領域４１と呼ぶ）の画像情報と、被写界画像の周辺部に設定した周辺部分領域の画像情報とをメモリ１９ｄに記憶させる。図６に示すように、本実施の形態では、設定部１９１は、たとえば４個の周辺部分領域４０ａ〜４０ｄ（総称する場合は、符号４０を付す）を、焦点検出エリア４５が配置されていない領域、または焦点検出エリア４５が密に配置されていない領域に設定する。なお、本実施の形態では、図６に示すように、選択エリア部分領域４１は、焦点検出エリア４５ｃを中心とする、たとえば２０×２０個のブロック画素５１で規定される領域として設定される。また、図６においては、説明の都合上、被写界初期画像に焦点検出領域を重畳して描いている。

ステップＳ１０２では、素子制御回路１９ａは、次の撮像周期で第２撮像素子１６に被写界画像信号を出力させ、ステップＳ１と同様にして、画像取得部１９０は被写界画像（以後、被写界次画像と呼ぶ）を生成する。そして、設定部１９１は、被写界次画像についても、ステップＳ１０１と同様にして、４個の周辺部分領域４０ａ〜４０ｄを設定する。移動方向検出部１９２は、被写界初期画像に設定された周辺部分領域４０ａと、被写界次画像に設定された周辺部分領域４０ａとに対してパターンマッチング処理を行う。同様に、移動方向検出部１９２は、被写界初期画像に設定された周辺部分領域４０ｂ〜４０ｄと、被写界次画像に設定された周辺部分領域４０ｂ〜４０ｄとに対して、それぞれパターンマッチング処理を行う。

ステップＳ１０３では、移動方向検出部１９２は、周辺部分領域４０ａ〜４０ｄに対するパターンマッチング処理の結果に基づいて、被写界画像全体の移動方向を検出する。すなわち、移動方向検出部１９２は、撮像周期の間でユーザによる構図決定の動作や手振れに伴って発生した被写界初期画像と被写界次画像との間のズレ量と方向とを検出する。この場合、移動方向検出部１９２は、４つの周辺部分領域４０のそれぞれについてほぼ同一の移動方向が検出された場合には、検出された移動方向を被写界画像全体の移動方向とする。４つの周辺部分領域４０のそれぞれについて検出された移動方向のうち異なる移動方向がある場合には、移動方向検出部１９２は検出された複数の移動方向のうち、最大数のほぼ同一の移動方向を被写界画像全体の移動方向とする。具体的には、周辺部分領域４０ａ〜４０ｃで検出された移動方向がほぼ同一であり、周辺部分領域４０ｄで検出された移動方向が異なる場合には、移動方向検出部１９２は、周辺部分領域４０ａ〜４０ｃで検出された移動方向を被写界画像全体の移動方向とする。

ステップＳ１０４では、移動体検出部１９３は、被写界初期画像で設定された選択エリア部分領域４１と、被写界次画像で設定された選択エリア部分領域４１との間で、フレーム間差分演算を行う。この場合、移動体検出部１９３は、被写界次画像で設定された選択エリア部分領域４１を、ステップＳ１０３で検出された移動方向に沿って移動させる。そして、移動体検出部１９３は、被写界初期画像で設定された選択エリア部分領域４１と、移動方向分移動した被写界次画像の選択エリア部分領域４１との間で、対応するブロック画素５１同士で差分を演算する。被写界次画像の選択エリア部分領域４１が移動方向に沿って移動されるので、被写界初期画像の選択エリア部分領域４１と被写界次画像の選択エリア部分領域４１との差分を取ると、背景被写体が差し引かれる。すなわち、背景被写体とは異なる移動をしている被写体が差分として抽出される。

たとえば、図７（ａ）〜（ｃ）に示すように撮像周期ごとに順次被写界画像Ｓ１〜Ｓ３が生成されたとする。なお、図７においては、説明の都合上、被写界画像全体にユーザによる構図決定の動作や手振れに伴うズレが発生していないものとする。図７（ａ）の被写界画像Ｓ１の選択エリア部分領域４１と、図７（ｂ）の被写界画像Ｓ２の選択エリア部分領域４１との差分は、図７（ｄ）に示すようになる。すなわち図７（ｄ）の領域Ｐ１が背景とは異なる移動をしている被写体であり、この被写体が移動体検出部１９３により移動体として検出される。後述するように、移動体検出部１９３は、検出した移動体をメモリ１９ｄに記憶する。また、図７（ｂ）の被写界画像Ｓ２の選択エリア部分領域４１と、図７（ｃ）の被写界画像Ｓ３の選択エリア部分領域４１との差分は、図７（ｅ）に示す領域Ｐ２ようになる。この場合、移動体検出部１９３は、図７（ｅ）に示す差分の画像とメモリ１９ｄに記憶された図７（ｄ）に示す移動体との差分を算出することにより、図７（ｆ）に示す領域Ｐ３を被写界画像Ｓ３の移動体として検出する。

また、図８（ａ）〜（ｃ）に示すように撮像周期ごとに順次被写界画像Ｔ１〜Ｔ３が生成されたとする。なお、図８においても、説明の都合上、被写界画像全体にユーザによる構図決定の動作や手振れに伴うズレが発生していないものとする。この場合も、上記の図７を用いて説明した場合と同様にして、移動体検出部１９３は、移動体を検出する。ただし、図８に示す移動体においては、移動量が小さいためフレーム間差分により得られる差分の値は小さくなる。

ステップＳ１０５では、追尾制御部１９ｈは、移動体検出部１９３による演算の結果に基づいて、被写界初期画像で設定された選択エリア部分領域４１と、被写界次画像の選択エリア部分領域４１との間に差分が所定の閾値以上かを判定する。差分が閾値以上の場合、すなわち図７に示すように移動量が大きい移動体が移動体検出部１９３により検出された場合、ステップＳ１０５が肯定判定されてステップＳ１０６へ進む。ステップＳ１０６では、テンプレート生成部１９４は、移動体検出部１９３により検出された移動体（たとえば図７（ｆ））の中心を基準として、図９（ａ）に示すように、選択エリア部分領域４１よりもサイズが小さいテンプレート生成用部分領域４２を設定する。この場合、テンプレート生成部１９４は、たとえば１０×１０個のブロック画素５１で規定される領域をテンプレート生成用部分領域４２として設定する。なお、図９（ａ）においては、テンプレート生成用部分領域４２を破線で示す。このテンプレート生成用部分領域４２は、後述するように、追尾対象被写体をパターンマッチング処理により検出する際に用いるテンプレート画像を生成するために用いられる。

被写界初期画像で設定された選択エリア部分領域４１と、被写界次画像の選択エリア部分領域４１との間の差分が閾値未満場合、すなわち移動体検出部１９３により移動体が検出されない場合、または図８に示すように移動量が小さい移動体が移動体検出部１９３により検出された場合、ステップＳ１０５が否定判定されてステップＳ１０７へ進む。ステップＳ１０７では、テンプレート生成部１９４は、被写界次画像に設定された選択エリア部分領域４１の中心を基準として、図９（ｂ）に示すように選択エリア部分領域４１よりもサイズが小さいテンプレート生成用部分領域４２を設定する。この場合、テンプレート生成部１９４は、たとえば１０×１０個のブロック画素５１で規定される領域をテンプレート生成用部分領域４２として設定する。なお、テンプレート生成部１９４は、選択エリア部分領域４１をそのままテンプレート生成用部分領域４２として設定してもよい。

ステップＳ１０８では、設定部１９１は、被写界次画像に設定された周辺部分領域４０をメモリ１９ｄに記憶してテンプレート生成用画像の取得処理を終了し、図１２のステップＳ３へ戻る。なお、追尾制御部１９ｈは、上記の処理で算出された移動方向、フレーム間の差分結果、および取得されたテンプレート生成用部分領域４２を、所定回数分だけメモリ１９ｄに記憶する。

図１２のステップＳ３では、マイクロコンピューター１９ｃは操作部材２０のレリーズボタンが半押しされ、追尾開始の指示が行われたか否かを判別する。レリーズボタンが半押しされるまでの間、マイクロコンピューター１９ｃは、ステップＳ２の処理を繰り返す。繰り返し行われるステップＳ２においては、上述した処理が、撮像周期ごとに順次生成された、時間的に連続する２つの被写界画像、すなわち被写界次画像の生成後に生成された被写界画像を用いて行われる。レリーズボタンが半押しされ追尾開始の指示がされた場合は、ステップＳ３が肯定判定されてステップＳ４へ進み、テンプレート生成部１９４は、上記のテンプレート生成用画像の取得処理で取得された最新のテンプレート生成用部分領域４２を用いて、テンプレート画像の生成処理を行う。

図１４に示すフローチャートを用いてテンプレート画像の生成処理について詳細に説明する。図１４のステップＳ２０１において、テンプレート生成部１９４は、テンプレート生成用部分領域４２の中心部の色情報を被写体色情報としてメモリ１９ｄに記憶する。ステップＳ２０２では、テンプレート生成部１９４は、図１０（ａ）に示すように、テンプレート生成用部分領域４２のうち、上記の被写体色情報と同様な色情報を示す同色情報領域を検出し、この同色情報領域を追尾被写体領域４７とする。なお、図１０（ａ）に示すテンプレート生成用部分領域４２は、図７に示す被写界画像から得られたものである。また、ここでは被写体色情報に基づいて追尾被写体領域４７を決定する例を示すが、処理の簡素化を図るために一律に４×４個のブロック画素５１のように追尾被写体領域４７のサイズを統一したり、あるいは撮影レンズ８の距離情報や被写体の像倍率に応じて追尾被写体領域４７のサイズを決定してもよい。

ステップＳ２０２では、テンプレート生成部１９４は、ステップＳ２０３で決定した被写界次画像の追尾被写体領域４７をテンプレート画像４８（図１０（ｂ））としてメモリ１９ｄに記憶する。なお、テンプレート生成部１９４は、最新のテンプレート生成用部分領域４２を用いて、テンプレート画像４８を生成したが、メモリ１９ｄ内に記憶されているテンプレート生成用部分領域４２のうち、追尾開始指示のタイミングに最も近い時刻に取得されたテンプレート生成用部分領域４２を用いてもよい。

以上でテンプレート生成処理を終了し、図１２のステップＳ３へリターンする。リターン後の図１２のステップＳ３において、次の撮影周期で第２撮像素子１６により出力された被写界画像信号を用いて被写界画像（追尾画像）を生成する。

ステップＳ５では、追尾範囲設定部１９５は、テンプレート画像４８と一致または類似する画像を探索するための領域（探索領域）４９（図１１（ａ））を追尾画像内に設定する。ここでは、追尾範囲設定部１９５は、図９（ａ）に示す被写界次画像に設定された追尾被写体領域４７を上下左右方向にそれぞれ、たとえば４ブロック画素分拡大したブロック画素範囲に含まれる領域に対応する領域を探索領域４９として追尾画像内に設定する。

追尾範囲設定部１９５は、好ましくは追尾被写体領域４７を中心にして探索領域４９を設定する。追尾対象の被写体は今回検出された位置すなわち追尾被写体領域４７を基点にして移動する。このため、追尾範囲設定部１９５によって追尾被写体領域４７を中心にして探索領域４９が設定されることにより、追尾対象の被写体を早く検出することができ、画像追尾の応答性を向上させることができる。なお、この探索領域４９は縦横それぞれに所定個数のブロック画素を含む固定サイズの領域としてもよいし、追尾結果や追尾対象被写体の大きさに応じて変えるようにしてもよい。

続くステップＳ６では追尾制御部１９ｈの追尾対象検出部１９６は、テンプレート画像４８を用いたパターンマッチング処理により追尾演算を行う。追尾対象検出部１９６は、追尾画像の中の探索領域４９から図１１(ａ)に示す追尾被写体領域４７と同じサイズの領域を順次切り出す。そして、追尾対象検出部１９６は、切り出した画像と、図１０(ｂ)に示すテンプレート画像４８とを、対応する画素ごとに相関を演算、すなわち画像情報の差分を算出する。すなわち、追尾対象検出部１９６は、探索領域４９の中で追尾被写体領域４７と同じサイズの領域を１ブロック画素ずつずらしながら切り出し画像を取得し、切り出した画像とテンプレート画像４８との間でブロック画素ごとの画像情報の差分を求める。例えば、追尾対象検出部１９６は、図１１(ｂ)に示すように探索領域４９から順次切り出した画像（図１１（ｂ）においては、４７ａ、４７ｂ、４７ｃ）と、テンプレート画像４８とを順次比較し、それぞれの切り出し画像について差分を算出する。

ステップ７においては、追尾対象検出部１９６は、上述したようにして差分を算出すると、複数の差分の値のうち最も小さい値（最小差分値）を選択する。すなわち、追尾対象検出部１９６は、これらの差分の内の最小の値を示す切り出し画像（図１１（ｂ）においては４７ｄ）を、テンプレート画像４８に最も類似している、類似度が高い画像として検出する。追尾対象検出部１９６は、最小差分値が得られた切り出し画像４７ｄの追尾画像上での座標値を検出する。そして、図１１（ｃ）に示すように、追尾対象検出部１９６は、検出された座標値を中心として新たな追尾被写体領域４７を設定する。

ステップＳ８では、更新部１９７は、最小差分値と、予め設定された類似閾値Ｄｔｈとを比較することにより、ステップＳ７で決定された新しい追尾被写体領域４７がテンプレート画像４８と類似しているか否かの判定を行う。なお、類似閾値Ｄｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ８の判定結果は、たとえば焦点調節の際に用いられる。

ステップＳ９では、更新部１９７は、予め設定された更新閾値Ｕｐｔｈを用いて、テンプレート画像４８の更新処理の要否を判定する。更新閾値Ｕｐｔｈは、通常の撮影シーンにおいて適切に類似判定が可能な値として設定されている。ステップＳ９において、新しい追尾被写体領域４７とテンプレート画像４８との類似度が高いと判定された場合に、テンプレート画像４８の更新処理を行う。更新部１９７は、テンプレート画像４８に対する最小差分値の値が更新閾値Ｕｐｔｈ以下の場合に、テンプレート画像４８の更新処理が必要と判断する。本実施の形態では、更新部１９７は、元のテンプレート画像４８の色情報や輝度情報などの画像情報の、たとえば８０％に、新しい追尾被写体領域４７の画像情報の２０％を加えて、新しいテンプレート画像４８を生成する。

テンプレート画像４８の更新処理の結果、元のテンプレート画像４８の画像情報に対して、最新の画像情報が少しずつ追加されることにより更新される。このため、何らかの原因による追尾被写体の急激な変化（たとえば被写体の顔の向きの変化など）の影響を抑制して被写体追尾の信頼性を向上させることができる。なお、元のテンプレート画像４８の画像情報の割合と新しい追尾被写体領域４７の画像情報の割合とは最小差分値の値に応じて可変にしてもよい。

ステップＳ１０では、マイクロコンピューター１９ｃは、レリーズボタンが半押し操作されているか否かを判定する。ユーザによる半押し操作に応じて操作部材２０から操作信号を入力している場合、または半押しタイマーが作動している期間中の場合には、マイクロコンピューター１９ｃは、ステップＳ１０を肯定判定してステップＳ５へ戻る。操作部材２０から半押し操作に応じた操作信号を入力しない場合、すなわちユーザによりレリーズボタンが全押し操作された場合や、電源ＯＦＦ操作が行われた場合や半押しタイマーの作動が終了した場合には、マイクロコンピューター１９ｃは、ステップＳ１０を否定判定して処理を終了する。

以上で説明した実施の形態によれば、以下の作用効果が得られる。
（１）画像取得部１９０は、撮影レンズ８からの像を繰り返し撮像して被写界画像を順次取得する。設定部１９１は、順次生成された複数の被写界画像のうちの被写界初期画像と、被写界初期画像より後に取得された被写界次画像とのそれぞれについて、所定の領域を選択エリア部分領域４１として設定する。移動体検出部１９３は、被写界初期画像の選択エリア部分領域４１と被写界次画像の選択エリア部分領域４１について差分を演算し、演算結果に基づいて移動体を検出する。テンプレート生成部１９４は、移動体検出部１９３により検出された移動体を基準として、被写界次画像の中で追尾対象となる画像の特徴を示すテンプレート画像を生成する。そして、追尾対象検出部１９６は、テンプレート生成部１９４により生成されたテンプレート画像を用いて、被写界次画像よりも後に取得された追尾画像内の追尾対象の位置を検出するようにした。したがって、追尾対象としてユーザが所望する被写体が移動している場合であっても、所望する被写体（移動体）を基準としてテンプレート画像を生成できるので、テンプレート画像を用いた追尾対象被写体の検出精度を向上させることができる。

（２）移動方向検出部１９２は、被写界初期画像に含まれる少なくとも１つの周辺部分領域４０と、被写界次画像に含まれる周辺部分領域との間でパターンマッチングを行い、被写界初期画像に対する被写界次画像の全体の移動方向を検出する。特に、移動方向検出部１９２は、被写界初期画像の周辺部分領域４０と、被写界次画像の周辺部分領域４０との間で行ったパターンマッチング処理で得られた複数の検出結果（すなわち、移動方向）のうち、ほぼ同一の結果となる個数が最大の検出結果を、被写界次画像全体の移動方向として検出する。そして、移動体検出部１９３は、移動方向検出部１９２により検出された移動方向に応じて被写界次画像に設定された選択エリア部分領域４１を移動させて、被写界初期画像の選択エリア部分領域４１との間で差分を演算するようにした。したがって、被写界初期画像と被写界次画像との間で発生したズレを補正してからフレーム間差分処理を行うので、背景被写体の影響を除外して移動体の検出精度を高めることができる。その結果、生成されるテンプレート画像の精度が向上する。

（３）操作部材２０により撮影画面内に設定された複数の焦点検出エリア４５のうちの何れかが選択されると、設定部１９１は、被写界画像のうち、選択された焦点検出エリア４５である選択ＡＦエリアを含む領域を選択エリア部分領域４１として設定するようにした。したがって、ユーザが追尾対象被写体として所望する可能性が高い領域の画像情報を用いてフレーム間差分処理を行うことができる。

（４）移動体検出部１９３によって移動体が検出されない場合または移動量が小さい移動体が検出された場合には、テンプレート生成部１９４は、選択エリア部分領域４１の中心を基準とする領域を、テンプレート画像を生成するためのテンプレート生成用部分領域４２として設定するようにした。また、移動体検出部１９３によって移動体が検出された場合には、テンプレート生成部１９４は、移動体が検出された位置を含む領域を、テンプレート画像を生成するためのテンプレート生成用部分領域４２として設定するようにした。したがって、移動体の移動量が大きい場合であっても、移動体の移動量が小さい場合であっても適切な領域にテンプレート生成用部分領域４２を設定して、精度よくテンプレート画像を生成できる。

以上で説明した実施の形態のカメラ１を以下のように変形できる。
（１）設定部１９１は、選択エリア部分領域４１を、選択ＡＦエリアを中心とした所定サイズの領域として設定するものに代えて、被写界画像の中心を基準として、たとえば２０×２０個のブロック画素５１で規定される領域として設定してもよい。

（２）設定部１９１は、選択エリア部分領域４１として被写界画像の全領域を設定してもよい。この場合、移動体検出部１９３により移動体が検出されなければ、テンプレート生成部１９４は、選択ＡＦエリア周辺の被写界次画像の色情報に基づいてテンプレート生成用部分領域４２を設定すればよい。

（３）三脚等を用いて固定撮影を行う場合には、移動方向検出部１９２は、移動方向検出処理を行わないようにしてもよい。その結果、移動方向検出処理に伴う処理負荷が低減される。

また、本発明の特徴を損なわない限り、本発明は上記実施の形態に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態についても、本発明の範囲内に含まれる。説明に用いた実施の形態および変形例は、それぞれを適宜組合わせて構成しても構わない。

１６ 第２撮像素子、 １９ ボディ駆動制御装置、
１９ｃ マイクロコンピューター、 １９ｈ 追尾制御部、
２０ 操作部材、 １９０ 画像取得部、
１９１ 設定部、 １９２ 移動方向検出部、
１９３ 移動体検出部、 １９４ テンプレート生成部、
１９６ 追尾対象検出部

Claims (9)

1. 結像光学系からの像を繰り返し撮像して、被写界画像を順次取得する取得部と、
   前記順次取得された複数の前記被写界画像のうちの第１被写界画像と、前記第１被写界画像より後に取得された第２被写界画像とのそれぞれについて、所定の領域を基準領域として設定する設定部と、
   複数の前記基準領域のそれぞれについて差分を演算し、演算結果に基づいて移動体を検出する第１検出部と、
   前記第１検出部により検出された前記移動体を基準として、前記第２被写界画像の中で追尾対象となる画像の特徴を示すテンプレート画像を生成する生成部と、
   前記生成部により生成されたテンプレート画像を用いて、前記第２被写界画像よりも後に取得された第３被写界画像内の前記追尾対象の位置を検出する第２検出部と、を備えることを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記第１被写界画像に含まれる少なくとも１つの第１周辺部分の画像と、前記第２被写界画像に含まれる、前記第１周辺部分の画像に対応する第２周辺部分の画像との間でパターンマッチングを行い、前記第１被写界画像に対する前記第２被写界画像の全体の移動方向を検出する第３検出部を備え、
   前記第１検出部は、前記第３検出部により検出された移動方向に応じて前記第２被写界画像に設定された前記基準領域を移動させて差分を演算することを特徴とする画像追尾装置。
3. 請求項１または２に記載の画像追尾装置において、
   前記設定部は、前記被写界画像の全体を前記基準領域として設定することを特徴とする画像追尾装置。
4. 請求項１または２に記載の画像追尾装置において、
   前記設定部は、前記被写界画像の中央部近傍の部分領域を前記基準領域として設定することを特徴とする画像追尾装置。
5. 請求項１または２に記載の画像追尾装置において、
   撮影画面内に設定された複数の焦点検出領域のうちの何れかを選択する選択部を備え、
   前記設定部は、前記被写界画像のうち、前記選択部により選択された前記焦点検出領域に対応する領域を含む部分領域を前記基準領域として設定することを特徴とする画像追尾装置。
6. 請求項２に記載の画像追尾装置において、
   前記第３検出部は、複数の前記第１周辺部分の画像と、前記複数の第２周辺部分の画像との間で行った前記パターンマッチングで得られた複数の検出結果のうち、ほぼ同一の結果となる個数が最大の検出結果を、前記被写界画像の全体の移動方向として検出することを特徴とする画像追尾装置。
7. 請求項１乃至６のいずれか一項に記載の画像追尾装置において、
   前記第１検出部による差分の演算結果が所定の条件を満たす場合には、前記生成部は、前記基準領域をそのまま、または選択された焦点検出領域を中心とする領域を、前記テンプレート画像を生成するための生成用画像として設定することを特徴とする画像追尾装置。
8. 請求項１乃至７のいずれか一項に記載の画像追尾装置において、
   前記第１検出部によって前記移動体が検出された場合には、前記生成部は、前記移動体が検出された位置を含む領域を、前記テンプレート画像を生成するための生成用画像として設定することを特徴とする画像追尾装置。
9. 請求項８に記載の画像追尾装置において、
   前記追尾対象の追尾開始を指示する追尾開始操作を受け付ける受付部を備え、
   前記追尾開始操作が受け付けられると、前記生成部は、前記生成用画像に含まれる色情報を用いて前記テンプレート画像を生成することを特徴とする画像追尾装置。
   

Images