JP2009141475A

JP2009141475A - カメラ

Info

Publication number: JP2009141475A
Application number: JP2007313451A
Authority: JP
Inventors: Hiroyuki Abe; 啓之阿部
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2007-12-04
Filing date: 2007-12-04
Publication date: 2009-06-25
Also published as: WO2009072403A1; US8436900B2; US20100214407A1

Abstract

【課題】テンプレートマッチングを行ってフレーム間で被写体を追跡すること。
【解決手段】被写体追跡部１０４ａは、動画像データの各フレーム内に設定した探索対象領域Ｃ内で探索枠Ｂを移動させながら、各探索枠位置における探索枠Ｂ内の画像とテンプレート画像との類似度を算出し、算出した類似度が最も高い探索枠Ｂの位置を各フレームにおける被写体位置として特定する。そして、特定した被写体位置を、各フレーム間で追跡する。また、合焦／測距部１０４ｂは、被写体距離を測定し、被写体追跡部１０４ａは、合焦／測距部１０４ｂによる測距結果を加味して類似度を算出する。
【選択図】図１

Description

本発明は、カメラに関する。

次のようなパターン・マッチング方法が知られている。このパターン・マッチング方法は、画像を複数の領域に分割し、各領域ごとにテンプレートマッチング処理を行って、最も類似度が高い領域をマッチング領域として抽出する（例えば、特許文献１）。

特開平５−８１４３３号公報

しかしながら、従来のパターン・マッチング方法を用いて被写体位置を特定しようとした場合、画像上でのマッチング結果に基づいて被写体位置を特定するため、特定精度が高くないという問題が生じていた。

本発明によるカメラは、被写体像を撮像して画像データを取得し、時系列で入力される各フレーム内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における探索枠内の画像とテンプレート画像との類似度を算出し、類似度算出手段で算出した類似度が最も高い探索枠の位置を各フレームにおける被写体位置として特定し、特定した被写体位置を、各フレーム間で追跡し、カメラと被写体までの距離（被写体距離）を測定し、測距結果を加味して前記類似度を算出することを特徴とする。
本発明では、特定した前記被写体位置に基づいて、各フレームにおける測距位置を決定するようにしてもよい。
測距結果のうち、前フレームで算出した被写体距離に最も近い値を優先して加味して、類似度を算出するようにしてもよく、測距結果のうち、最も至近の被写体距離を優先して加味して、類似度を算出するようにしてもよい。

本発明によれば、被写体距離の測距結果を加味して算出した類似度に基づいて被写体位置を特定するため、被写体位置の特定精度を向上させることができる。

図１は、本実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリ１０５と、メモリカードスロット１０６と、モニタ１０７とを備えている。

入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズボタンやカメラ１００を操作するための種々の操作ボタンが含まれる。

レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。

撮像素子１０３は、例えばＣＣＤであり、レンズ１０２を通して入力される被写体像を撮像して、撮像した画像データを制御装置１０４へ出力する。なお、本実施の形態におけるカメラ１００では、撮像素子１０３は、使用者による入力スイッチに含まれるレリーズボタンが押下されることにより、被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。

メモリ１０５は、例えば不揮発性のフラッシュメモリであって、このメモリ１０５には、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

メモリカードスロット１０６は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０７は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０７には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０７に出力して表示し、さらにメモリカードスロット１０６に挿入されているメモリカード内に記録する。なお、制御装置１０４を構成するメモリには、ＲＯＭやＲＡＭが含まれる。

制御装置１０４はまた、被写体追跡部１０４ａと、合焦／測距部１０４ｂとを機能的に有している。本実施の形態では、これらの各部による処理を行って、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡し、かつ各フレームのピント合わせを行うことができる。以下、撮像素子１０３から動画像データが入力された場合の制御装置１０４の処理について詳細に説明する。

被写体追跡部１０４ａは、テンプレートマッチング処理の基準となるテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。具体的には、図２に示すように、テンプレート画像Ａを用いてターゲット画像Ｉ内における被写体位置を特定する。テンプレート画像Ａは、使用者からの指示に基づいて取得する。

例えば、使用者は、動画像データの最初のフレームがモニタ１０７に表示されたときに、入力スイッチ１０１を操作して、最初のフレーム内で、フレーム間で追跡したい被写体を含む範囲を指定する。または、探索枠Ｂを画面の中央に固定しておき、使用者は、被写体が画面上の探索枠Ｂ内に収まるように構図を決定した状態で入力スイッチ１０１を操作することにより、被写体を含む範囲を指定してもよい。

被写体追跡部１０４ａは、使用者によって指定された範囲内の画像をテンプレート画像Ａとして抽出して、ＲＯＭに記録する。被写体追跡部１０４ａは、撮像素子１０３からの動画像データの入力が開始されると、各フレーム（コマ）の画像をターゲット画像Ｉとし、当該ターゲット画像Ｉ上の所定の位置にテンプレート画像と同じ大きさの探索枠Ｂを設定する。

被写体追跡部１０４ａは、設定した探索枠Ｂをターゲット画像Ｉ内で１画素ずつ移動させながら、各位置における探索枠Ｂ内の画像（探索部分画像）と、テンプレート画像Ａとのマッチング演算を行なう。被写体追跡部１０４ａは、マッチング演算の結果、テンプレート画像Ａと探索部分画像との類似度が最も高い探索枠Ｂの位置を被写体位置として特定する。被写体追跡部１０４ａは、この処理を入力される動画像データの各フレームについて行うことにより、フレーム間で被写体追跡を行うことができる。

なお、被写体追跡部１０４ａは、ターゲット画像Ｉの全体ではなく、図３の範囲Ｃに示すような部分画像を対象としてテンプレートマッチングを行うようにする。ここでは、範囲Ｃを検索エリアと呼ぶ。これによって、テンプレートマッチングを行う範囲を、ターゲット画像Ｉ内の被写体が存在している可能性が高い範囲に限定することができ、処理を高速化することができる。なお、ターゲット画像Ｉ内における検索エリアＣの位置は、探索エリアＣの中心座標Ｄを探索枠Ｂと中心座標Ｄと一致させるように設定する。

また、探索エリアＣの大きさは、最初のフレームはあらかじめ設定されたデフォルトの大きさとし、２フレーム目以降は、前のフレームで算出した最高類似度に応じて変更するようにする。例えば、被写体追跡部１０４ａは、前のフレームで算出された最高類似度が大きい場合には、前フレームで設定した探索エリアＣ内に被写体が存在している可能性が高いため、特定した被写体位置を中心にその近傍を探索するように探索エリアＣの大きさを小さくする。これに対して、被写体追跡部１０４ａは、前のフレームで算出された最高類似度が小さい場合には、探索エリアＣ内に被写体が存在している可能性が低いため、探索エリアＣの大きさを大きくして広範囲を探索するようにする。これによって、被写体を見失わず、無駄のない被写体追跡処理が可能となる。

なお、テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば次式（１）に示す残差和や次式（２）に示す正規化相関により類似度を算出すればよい。次式（１）に示す残差和により類似度を算出した場合は、算出されるｒが小さいほどテンプレート画像Ａと探索部分画像との類似度が高いことを示している。一方、次式（２）に示す正規化相関により類似度を算出した場合は、算出されるｒが大きいほどテンプレート画像Ａと探索部分画像との類似度が高いことを示している。

合焦／測距部１０４ｂは、探索枠Ｂ内を対象としてピント合わせと距離測定（測距）を行う。本実施の形態では、合焦／測距部１０４ｂは、位相差方式によってピント合わせを行う場合について説明する。図４は、位相差方式によるピント合わせに用いるＡＦ（オートフォーカス）専用のセンサー（ＡＦセンサー）を模式的に示した図である。図４の例では、縦１２×横１８の２１６個のＡＦセンサーが配置されている。

図５は、これらのＡＦセンサーをファインダー像と重ねて示した図である。この図５に示す例では、例えば、競技者の顔の周りのＡＦセンサー５ａ、５ｂ、５ｃの３つのＡＦセンサーが測距に使用されることが好ましい。しかしながら、一般的には、使用者によって選択されたＡＦ枠内に配置されているＡＦセンサー、または被写体までの距離が最も近いもの（最至近のもの）を選択して、選択したＡＦセンサーを測距に使用する。このため、この図５に示す競技者のように、被写体が高速に移動している場合には、使用者がＡＦ枠を選択するのは難しく、また、最至近のものを自動的に選択すると左ひざのＡＦセンサー５ｄが選択されてしまう可能性がある。

このような不都合を回避するために、本実施の形態では、合焦／測距部１０４ｂは、図６に示すように、被写体追跡部１０４ａで被写体位置として特定された探索枠Ｂ内に配置されているＡＦセンサーを用いて測距を行う。これによって、常に使用者が注目している被写体を対象として測距を行って、被写体に対してピントを合わせることができる。なお、図７（ａ）は、図６における検索エリアＣ内を拡大して示した図である。また、図７（ｂ）は、探索エリアＣ内をファインダー像を消去して示した図である。

図７（ｂ）を用いて説明すると、合焦／測距部１０４ｂは、探索枠Ｂ内の９個のＡＦセンサーを用いて測距を行い、９個の測距値の中から１つの代表値を選択して、その代表値に基づいてピント合わせを行う。例えば、合焦／測距部１０４ｂは、９個の測距値のうち、もっとも値が小さいもの、すなわち最至近の値を代表値として選択し、これを被写体距離とする。

この場合、本実施の形態では、被写体追跡部１０４ａは、上述したように探索枠Ｂを探索エリアＣ内で１画素ずつ移動させながらマッチング処理を行っているため、図８に示すように、被写体位置として特定された探索枠Ｂ内には、例えば、ＡＦセンサーＥのように、その一部しか含まれないＡＦセンサーも含まれる。したがって、合焦／測距部１０４ｂは、探索枠Ｂ内に配置されているＡＦセンサーのうち、探索枠Ｂ内に全体が収まっているＡＦセンサーのみを対象として測距値を算出し、その中からもっとも値が小さいもの、すなわち最至近の値を代表値として選択するようにする。

なお、本実施の形態におけるカメラ１００では、被写体追跡部１０４ａは、合焦／測距部１０４ｂによる測距結果を加味して上述した類似度を算出する。これによって、合焦／測距部１０４ｂによる測距結果を反映させて類似度を算出することができ、マッチング処理の精度を向上することができる。具体的には、被写体追跡部１０４ａは、以下に説明する処理Ａおよび処理Ｂのいずれかを実行する。なお、以下の処理Ａおよび処理Ｂは、図７（ｂ）を用いて説明する。

（処理Ａ）
被写体追跡部１０４ａは、測距結果のうち、前フレームで算出した被写体距離に最も近い値を優先して加味して類似度を算出する。このために、被写体追跡部１０４ａは、測距結果が前フレームで算出した被写体距離に最も近いＡＦセンサーを優先して類似度を算出する。具体的には、被写体追跡部１０４ａは、上述したように、探索枠Ｂを移動させながらマッチング処理を行って類似度を算出し、これを類似度１とする。そして、被写体追跡部１０４ａは、各位置において、探索枠Ｂに含まれるＡＦセンサーのうち、中心Ｄに最も近い位置に配置されているＡＦセンサーを代表センサーとし、前フレームにおける被写体距離と、現フレームで算出された代表センサーの測距値の差分を算出して、これを類似度２とする。被写体追跡部１０４ａは、上記類似度１と類似度２の平均値、または類似度１と類似度２に重みを付けた後に平均した重み付け平均値のいずれかを、最終的な類似度として算出する。

（処理Ｂ）
被写体追跡部１０４ａは、測距結果のうち、最も至近の被写体距離を優先して加味して類似度を算出する。このために、被写体追跡部１０４ａは、上述した処理で合焦／測距部１０４ｂによって、その測距値が代表値として選択されたＡＦセンサーを優先して類似度を算出する。具体的には、被写体追跡部１０４ａは、上述したように、探索枠Ｂを移動させながらマッチング処理を行って類似度を算出し、これを類似度１とする。そして、被写体追跡部１０４ａは、各位置において、探索枠Ｂに含まれるＡＦセンサーのうち、中心Ｄに最も近い位置に配置されているＡＦセンサーを代表センサーとし、前フレームにおける測距値の代表値と現フレームで算出された代表センサーの測距値の差分を算出して、これを類似度２とする。被写体追跡部１０４ａは、上記類似度１と類似度２の平均値、または類似度１と類似度２に重みを付けた後に平均した重み付け平均値のいずれかを、最終的な類似度として算出する。

図９は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図９に示す処理は、撮像素子１０３から動画像データの入力が開始されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、合焦／測距部１０４ｂは、前フレームで被写体追跡部１０４ａによって被写体位置として特定された探索枠Ｂ内に配置されているＡＦセンサーのうち、探索枠Ｂ内に全体が収まっているＡＦセンサーのみを対象として測距値を算出する。そして、その中から被写体までの距離が最も近いもの（最至近のもの）を選択して被写体距離として検出する。なお、最初のフレームでは、前フレームの被写体位置を特定することができないため、本実施の形態では、最初のフレームに限って、使用者が被写体位置を指示するものとする。その後、ステップＳ２０へ進む。

ステップＳ２０では、被写体追跡部１０４ａは、上述した処理Ａまたは処理Ｂのいずれかの処理を実行して、合焦／測距部１０４ｂによる測距結果を加味して類似度を算出する。その後、ステップＳ３０へ進み、被写体追跡部１０４ａは、算出した類似度に基づいて被写体位置を特定して、ステップＳ４０へ進む。ステップＳ４０では、被写体追跡部１０４ａは、その被写体位置をフレーム間で追跡することによって、被写体追跡を行う。その後、ステップＳ５０へ進む。

ステップＳ５０では、被写体追跡部１０４ａは、撮像素子１０３からの動画像データの入力が終了したか否かを判断する。否定判断した場合には、ステップＳ１０へ戻って、次のフレームを対象として、ステップＳ１０からステップＳ４０までの処理を繰り返す。これに対して、ステップＳ５０で肯定判断した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）被写体追跡部１０４ａは、動画像データの各フレーム内に設定した探索対象領域Ｃ内で探索枠Ｂを移動させながら、各探索枠位置における探索枠Ｂ内の画像とテンプレート画像との類似度を算出し、算出した類似度が最も高い探索枠Ｂの位置を各フレームにおける被写体位置として特定する。そして、特定した被写体位置を、各フレーム間で追跡する。また、合焦／測距部１０４ｂは、カメラと被写体までの距離（被写体距離）を測定し、被写体追跡部１０４ａは、合焦／測距部１０４ｂによる測距結果を加味して類似度を算出するようにした。これによって、被写体距離の測距結果を加味して算出した類似度に基づいて被写体位置を特定することができるため、被写体位置の特定精度を向上させることができる。

（２）合焦／測距部１０４ｂは、被写体追跡部１０４ａによって特定された被写体位置に基づいて、各フレームにおける測距位置を決定するようにした。これによって、測距に使用するＡＦセンサーを限定することができ、処理速度を向上することができる。

（３）被写体追跡部１０４ａは、合焦／測距部１０４ｂによる測距結果のうち、前フレームで算出した被写体距離に最も近い値を優先して加味して類似度を算出するようにした（処理Ａ）。あるいは、合焦／測距部１０４ｂによる測距結果のうち、最も至近の被写体距離を優先して加味して類似度を算出するようにした（処理Ｂ）。これによって、現フレームにおいて被写体が存在している可能性が高い位置に配置されているＡＦセンサーによる測距結果を、類似度の算出に用いることができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、被写体追跡部１０４ａは、撮像素子１０３から入力される動画像データを対象として被写体を追跡する例について説明した。しかしながら、撮像素子１０３によって時系列で取得されてモニタ１０７に表示されるスルー画の各フレーム間で被写体を追跡するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

カメラの一実施の形態の構成を示すブロック図である。ターゲット画像Ｉ、テンプレート画像Ａ、および探索枠Ｂの具体例を示す図である。ターゲット画像Ｉ内に設定した探索エリアＣの具体例を示す図である。ＡＦセンサーの配置例を示す図である。ＡＦセンサーをファインダー像と重ねて示した図である。ＡＦセンサーをファインダー像と重ねて示した図に探索枠Ｂと探索エリアＣとを表示した図である。検索エリアＣ内を拡大して示した第1の図である。検索エリアＣ内を拡大して示した第２の図である。カメラ１００の処理を示すフローチャート図である。

符号の説明

１００カメラ、１０１入力スイッチ、１０２レンズ、１０３撮像素子、１０４制御装置、１０４ａ被写体追跡部、１０４ｂ合焦／測距部、１０５メモリ、１０６メモリカードスロット、１０７モニタ

Claims

被写体像を撮像して画像データを取得する撮像手段と、
前記撮像手段から時系列で入力される各フレーム内に設定した探索対象領域内で探索枠を移動させながら、各探索枠位置における前記探索枠内の画像とテンプレート画像との類似度を算出する類似度算出手段と、
前記類似度算出手段で算出した前記類似度が最も高い前記探索枠の位置を各フレームにおける被写体位置として特定する被写体位置特定手段と、
前記被写体位置特定手段で特定した前記被写体位置を、前記各フレーム間で追跡する被写体追跡手段と、
カメラと前記被写体までの距離（被写体距離）を測定する測距手段とを備え、
前記類似度算出手段は、前記測距手段による測距結果を加味して前記類似度を算出することを特徴とするカメラ。
請求項１に記載のカメラにおいて、
前記測距手段は、前記被写体位置特定手段で特定した前記被写体位置に基づいて、前記各フレームにおける測距位置を決定することを特徴とするカメラ。
請求項１または２に記載のカメラにおいて、
前記類似度算出手段は、前記測距手段による測距結果のうち、前フレームで算出した前記被写体距離に最も近い値を優先して加味して、前記類似度を算出することを特徴とするカメラ。
請求項１または２に記載のカメラにおいて、
前記類似度算出手段は、前記測距手段による測距結果のうち、最も至近の前記被写体距離を優先して加味して、前記類似度を算出することを特徴とするカメラ。