JP2010113129A - 画像追尾装置、焦点調節装置、および撮像装置 - Google Patents

Abstract

【課題】フレーム間で人物の顔を追尾すること。
【解決手段】制御装置１０４は、繰り返し得られる複数の画像から特定の対象に相当するパターンを繰り返し検出することにより対象を追尾し、対象の色と輝度との少なくとも一方を基準情報とし、該基準情報に基づいて複数の画像から対象の像を繰り返し検出することにより対象の像を追尾し、対象の追尾を開始した後、対象の追尾が不可能となった場合に、対象の像の追尾に変更して制御する。
【選択図】図１

Description

本発明は、画像追尾装置、焦点調節装置、および撮像装置に関する。

次のような被写体追尾装置が知られている。この被写体追尾装置は、画像内から人物の顔を検出し、複数フレーム間で人物の顔を追尾する（例えば、特許文献１）。

特開２００６−１０１１８６号公報

しかしながら、従来の被写体追尾装置では、人物の顔の追尾途中で、人物の顔が検出できなくなった場合には、顔の追尾を継続できなかった。

本発明による画像追尾装置は、繰り返し得られる複数の画像から特定の対象に相当するパターンを繰り返し検出することにより、対象を追尾する第１追尾手段と、対象の色と輝度との少なくとも一方を基準情報とし、該基準情報に基づいて複数の画像から対象の像を繰り返し検出することにより、対象の像を追尾する第２追尾手段と、第１追尾手段によって対象の追尾を開始した後、第１追尾手段による対象の追尾が不可能となった場合に、第２追尾手段による対象の像の追尾に変更して制御する制御手段とを備えることを特徴とする。
本発明による画像追尾装置では、第２追尾手段は、対象の像を繰り返し検出するごとに基準情報を更新するようにしてもよい。
本発明による画像追尾装置では、制御手段は、第２追尾手段によって対象の像の追尾が行われている間に、第２追尾手段によって検出される対象の像の位置を含む画像において第１追尾手段によるパターンの検出が可能となった場合は、第１追尾手段による追尾に復帰させるようにしてもよい。
本発明による画像追尾装置では、第１追尾手段は、第２追尾手段による追尾に変更して制御されている間に前回のパターン検出から所定時間経過した場合は、パターンの検出を再度行うようにしてもよい。
本発明による焦点調節装置は、上記画像追尾装置と、画像を結像する光学系と、画像追尾装置によって追尾される対象の像の位置に対する光学系の焦点調節状態を検出する焦点検出手段と、焦点調節状態に基づいて光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする。
本発明による焦点調節装置では、焦点検出手段は、光学系による画像内の複数の位置に対応して複数の焦点検出領域が設定されており、第１追尾手段および第２追尾手段は、画像内の複数の焦点検出領域に対応する範囲において検出を行うようにしてもよい。
本発明による撮像装置は、上記画像追尾装置と、画像を結像する光学系と、光学系による像を撮像して画像を得る撮像素子とを備えることを特徴とする。
本発明による撮像装置では、光学系による像を撮像する、撮像素子とは異なる第２撮像素子と、第２撮像素子による像を記録制御する記録制御手段とをさらに備えるようにしてもよい。

本発明によれば、特定対象の像の追尾途中で特定対象の像が検出できなくなった場合でも特定対象の像の追尾を継続することができる。

図１は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ１００は、操作部材１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の操作ボタンを含んでいる。例えば、操作部材１０１には、電源ボタン、レリーズボタン、ズームボタン、十字ボタン、決定ボタン、再生ボタン、および削除ボタンなどを含んでいる。

レンズ１０２は、複数の光学レンズから構成されるが、図１では代表して１枚のレンズで表している。また、レンズ１０２を構成するレンズには、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）のためのＡＦレンズ（フォーカシングレンズ）が含まれる。撮像素子１０３は、例えばＣＣＤやＣＭＯＳなどのイメージセンサーであり、レンズ１０２からの光束を受光して受光信号を生成する。そして、生成した受光信号（画像信号）を制御装置１０４へ出力する。

制御装置１０４は、撮像素子１０３から入力された画像信号に基づいて所定の画像形式、例えばＪＰＥＧ形式の画像データ（以下、「本画像データ」と呼ぶ）を生成する。また、制御装置１０４は、生成した画像データに基づいて、表示用の画像データ、例えばサムネイル画像データを生成する。制御装置１０４は、生成した本画像データとサムネイル画像データとを含み、さらにヘッダ情報を付加した画像ファイルを生成してメモリカードスロット１０５へ出力する。本実施の形態では、制御装置による画像ファイルの生成処理、および生成した画像ファイルのメモリカードへの記録処理を撮影処理と呼ぶこととする。

メモリカードスロット１０５は、記憶媒体としてのメモリカードを挿入するためのスロットであり、制御装置１０４から出力された画像ファイルをメモリカードに書き込んで記録する。また、メモリカードスロット１０５は、制御装置１０４からの指示に基づいて、メモリカード内に記憶されている画像ファイルを読み込む。

モニタ１０６は、カメラ１００の背面に搭載された液晶モニタ（背面モニタ）であり、当該モニタ１０６には、メモリカードに記憶されている画像やカメラ１００を設定するための設定メニューなどが表示される。また、制御装置１０４は、使用者によって操作部材１０１が操作されてモニタ１０６への撮像画像の表示（ライブビュー）の開始が指示されると、撮像素子１０３から繰り返し取得した画像信号に基づいて表示用画像データを生成し、これをモニタ１０６に出力する。これによってモニタ１０６にはスルー画がライブビュー表示される。

制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、カメラ１００を制御する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。

制御装置１０４は、図１に示すように、第１追尾部１０４ａと、第２対尾部１０４ｂと、制御部１０４ｃと、焦点検出部１０４ｄと、焦点調整部１０４ｅとを有しており、以下に説明する制御装置１０４による処理は、これらの各要素により実行される。

具体的には、第１追尾部１０４ａは、撮像素子１０３から繰り返し得られる複数の画像から特定の対象（本実施の形態では人物の顔）に相当するパターンを繰り返し検出することにより、対象を追尾する。第２対尾部１０４ｂは、対象の色と輝度との少なくとも一方を基準情報とし、該基準情報に基づいて複数の画像から対象の像を繰り返し検出することにより、対象の像を追尾する。制御部１０４ｃは、第１追尾部１０４ａによって対象の追尾を開始した後、第１追尾部１０４ａによる対象の追尾が不可能となった場合に、第２対尾部１０４ｂによる対象の像の追尾に変更して制御する。

焦点検出部１０４ｄは、追尾を行っている対象の像の位置に対するレンズ１０２の焦点調節状態を検出する。焦点調整部１０４ｅは、焦点調節状態に基づいてレンズ１０２の焦点調節を行う。

本実施の形態におけるカメラ１００は、ライブビューを開始した後には、スルー画内の被写体の像を連続するフレーム（画像）に亘って追尾する追尾機能を備えている。本実施の形態では、制御装置１０４は、ライブビューを開始してスルー画の表示を開始すると、フレーム（画像）内の人物の顔を追尾対象として追尾を実行する。制御装置１０４は、具体的には、ライブビューを開始した場合には、図２に示すフローチャートの処理を実行して、連続するフレーム（画像）に亘って物の顔を追尾する。すなわち、図２に示す処理は、使用者によってライブビューの開始が指示されると起動するプログラムとして、制御装置１０４によって実行される。

ステップＳ１０において、制御装置１０４は、撮像素子１０３から繰り返し取得した画像信号に基づいて表示用画像データを生成し、これを所定のフレームレートでモニタ１０６に出力することによって、ライブビューを開始する。その後、ステップＳ２０へ進み、制御装置１０４は、画像内で後述する被写体追尾演算の対象とする被写体追尾領域をクリアする。すなわち、制御装置１０４は、以下に説明する処理で画像内に被写体追尾領域を設定するため、ここでは過去の被写体追尾で設定された被写体追尾領域をクリアしておく。その後、ステップＳ３０へ進む。

ステップＳ３０では、制御装置１０４は、現フレームの画像を取得して、ステップＳ４０へ進む。ステップＳ４０では、制御装置１０４は、ステップＳ３０で取得した画像に対する顔の追尾処理がライブビューが開始後、初回の処理であるか、あるいは前回処理を実行してから所定時間が経過しているかを判定する。ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。

ステップＳ５０では、制御装置１０４は、現フレームの画像を対象として公知の顔検出演算を実行して、現フレームの画像内から人物の顔を検出する。例えば、制御装置１０４は、現フレームの画像から特定の対象である人物の顔に相当するパターン検出することにより顔検出を行う。その後、ステップＳ６０へ進み、制御装置１０４は、顔検出演算によって画像内から顔を検出したか否かを判断する。ステップＳ６０で肯定判断した場合には、ステップＳ７０へ進む。

ステップＳ７０では、制御装置１０４は、顔検出演算によって検出した顔エリア、すなわち画像内の人物の顔を含む範囲の、画像内における位置と顔エリアの大きさに関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームの画像における顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。その後、ステップＳ８０へ進む。

ステップＳ８０では、制御装置１０４は、検出した顔エリアに相当する位置にＡＦエリアを設定する。なお、画像内から複数の顔が検出された場合には、いずれか１つの顔、例えば最も至近に存在する顔に対応する顔エリアを対象としてＡＦエリアを設定する。あるいは、複数の顔エリアのうち、最も大きな顔エリアを対象としてＡＦエリアを設定するようにしてもよい。

その後、ステップＳ９０へ進み、制御装置１０４は、検出した顔エリアとその近傍エリアを含む所定範囲を被写体追尾領域に設定して、ステップＳ１００へ進む。ステップＳ１００では、制御装置１０４は、検出した顔エリア内の画像で、被写体追尾用のテンプレート画像を更新（初回においては「設定」）して、ステップＳ１１０へ進む。

ステップＳ１１０では、使用者によって操作部材１０１が操作されることにより、ライブビューの終了が指示されたか否かを判断する。ステップＳ１１０で否定判断した場合には、ステップＳ３０へ戻って処理を繰り返す。これに対して、ステップＳ１１０で肯定判断した場合には、処理を終了する。

一方、ステップＳ４０で否定判断した場合には、ステップＳ１２０へ進み、制御装置１０４は、被写体追尾領域がクリアされているか否かを判断する。ステップＳ１２０で肯定判断した場合には、上述したステップＳ５０へ進む。これに対して、ステップＳ１２０で否定判断した場合には、ステップＳ１３０へ進む。

ステップＳ１３０では、制御装置１０４は、設定されている被写体追尾領域内を対象として、顔検出演算で検出済みの顔エリア内の画像を用いた顔追尾演算を実行する。具体的には、制御装置１０４は、被写体追尾領域内から既に検出済みの顔エリア内に含まれる顔を検出することによって、顔追尾演算を実行する。このように、顔検出を行う範囲を被写体追尾領域内に限定することによって、現フレームの全体を対象として顔検出演算を行うよりも高速に処理を行うことができる。また、別の顔を追尾してしまう誤追尾を防止することができる。

その後、ステップＳ１４０へ進み、制御装置１０４は、被写体追尾領域内に顔が存在するか否かを判断する。ステップＳ１４０で肯定判断した場合には、上述したステップＳ７０へ進む。この場合、ステップＳ７０では、制御装置１０４は、被写体追尾演算によって検出した被写体の顔を含む領域を顔エリアとし、この顔エリアのフレーム内における位置と顔エリアの大きさや顔の個体情報に関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームにおける顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。

これに対して、ステップＳ１４０で否定判断した場合には、ステップＳ１６０へ進み、制御装置１０４は、被写体追尾演算を実行する。なお、被写体追尾演算については、後述する。

次に、ステップＳ６０で否定判断した場合の処理について説明する。この場合には、ステップＳ１５０へ進み、制御装置１０４は、被写体追尾領域がクリアされているか否かを判断する。ステップＳ１５０で肯定判断した場合には、ステップＳ３０へ戻って処理を繰り返す。これに対して、ステップＳ１５０で否定判断した場合には、ステップＳ１６０へ進む。

ステップＳ１６０では、制御装置１０４は、設定されている被写体追尾領域内を対象として、ステップＳ１００で更新したテンプレート画像とステップＳ３０で取得した画像とを用いて、被写体の顔の色情報や輝度情報に基づく被写体追尾演算を実行する。具体的には、制御装置１０４は、被写体追尾領域内の画像とテンプレート画像とを比較して、被写体追尾領域内の中からテンプレート画像との一致度が最も高い領域を特定することによって被写体追尾演算を実行する。これによって、一時的に被写体が下や横を向いたりしたことによって、フレーム内から人物の顔が検出できない場合でも、継続して被写体を追尾することができる。

その後、ステップＳ１７０へ進み、制御装置１０４は、制御装置１０４は、被写体追尾演算によって検出した被写体エリア、すなわち追尾領域内にてフレーム内のテンプレート画像との一致度が高い位置を顔エリアとして特定する。そして、特定した顔エリアのフレーム内における位置と顔エリアの大きさに関する情報をフラッシュメモリに記録する。このとき、制御装置１０４は、すでに過去フレームにおける顔エリアの位置と大きさが記録されている場合には、現フレームで検出した情報で更新する。また、制御装置１０４は、モニタ１０６に表示したスルー画上に、検出した顔エリアを示す情報、例えば顔エリアを囲った枠を表示する。その後、上述したステップＳ８０へ進む。

以上の処理により、制御装置１０４は、顔検出演算によって人物の顔を検出した後は、顔の検出範囲を被写体追尾領域内に限定した顔追尾演算に切り替えることによって、処理を高速化することができる。また、顔追尾演算に切り替えた後、一定時間経過した場合には、改めて顔検出処理を行うようにして、スルー画表示中に新たに現れた被写体の顔も検出することができる。さらに、顔検出演算、または顔追尾演算を行った結果、人物の顔を検出することができなかった場合には、被写体追尾演算に移行することで、顔が一時的に検出できなくなった場合でも継続して人物の顔を追尾することができる。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）制御装置１０４は、顔検出演算によって検出した顔を対象として顔追尾演算を行い、追尾領域内から顔が検出できなくなった場合には、被写体追尾演算に切り替えるようにした。これによって、人物の顔を追尾している途中で一時的に顔が検出できなくなった場合でも、継続して顔の追尾を継続することができる。

（２）制御装置１０４は、被写体追尾演算に切り替えた後に、再度人物の顔が検出できるようになった場合には、被写体追尾演算を停止して顔追尾演算を再開するようにした。これによって、再度、画像内から人物の顔が検出可能になった場合には、顔に対する追尾能力の高い顔追尾演算に戻すことができる。

（３）制御装置１０４は、顔追尾演算に切り替えた後、前回顔検出演算を実行してから所定時間が経過した場合には、再度全画面内に対して顔検出演算を実行するようにした。これによって、スルー画表示中に新たに現れた被写体の顔を検出して複数の顔を追尾対象に加えることができる。

（４）制御装置１０４は、顔検出演算、顔追尾演算、または被写体追尾演算により検出した顔エリアに基づいてＡＦエリアを設定してピント合わせを行うようにした。これによって、画像内の人物の顔にピントが合うようにＡＦ処理を実行することができる。

（５）制御装置１０４は、フレーム内から複数の顔エリアが検出された場合には、いずれか１つの顔エリア、例えば最も至近に存在する顔に対応する顔エリアや最も大きい顔エリアを対象としてＡＦエリアを設定するようにした。これによって、フレーム内から複数の顔が検出された場合でも、いずれか１つの顔に的確にピントを合わせることができる。

（６）制御装置１０４は、制御装置１０４は、顔検出演算、顔追尾演算、または被写体追尾演算により検出した顔エリアの画像で、被写体追尾用のテンプレート画像を更新するようにした。これによって、被写体追尾演算では、被写体の顔を含む顔エリア内の画像を用いてテンプレートマッチングを行って追尾を行うため、フレーム内から人物の顔が検出できなくなった場合でも、継続して人物の顔を追尾できる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、撮像素子１０３から時系列で入力される画像データに基づくスルー画内から人物の顔を検出して追尾する例について説明した。しかしながら、制御装置１０４は、撮像素子１０３以外の撮像素子から出力されるデータに基づいて、人物の顔を検出して追尾するようにしてもよい。

（２）上述した実施の形態では、制御装置１０４は、前フレームで設定された顔エリアを含む所定範囲を被写体追尾領域に設定し、この被写体追尾領域内を次フレームでの顔追尾演算、または被写体追尾演算の対象とする例について説明した。しかしながら、制御装置１０４は、前フレームで設定したＡＦエリア内の画像を対象として、次フレームで顔追尾演算、または被写体追尾演算を行うようにしてもよい。これによって、次フレームでの処理範囲をＡＦエリア内に限定して処理を高速化することができる。

（３）カメラ１００が撮影時にシーンモードを設定することが可能な場合には、制御装置１０４は、カメラ１００のモードが人物を撮影するためのモード、例えばポートレートモードに設定された場合にのみ、上述した実施の形態の処理、すなわち人物の顔を検出・および追尾を行うようにしてもよい。あるいは、使用者が、カメラ１００のモードを人物を撮影するためのモード以外のモード、例えば風景モード等に設定した後、人物を撮影するためのモードに変更するのを忘れることも考えられることから、制御装置１０４は、設定されているモードに関わらず、上述した実施の形態の処理を行うようにしてもよい。

（４）また、制御装置１０４は、スルー画の入力を開始した後、あらかじめ設定された所定数のフレームに対して顔検出演算を行っても、画像内から人物の顔を検出できない場合には、人物を被写体とした撮影ではないと判断して、上述した実施の形態の処理、すなわち人物の顔を検出・および追尾を停止するようにしてもよい。この場合、制御装置１０４は、使用者によって設定されているＡＦ方法によりＡＦ処理を行えばよい。

（５）上述した実施の形態では、制御装置１０４は、フレーム内から複数の顔エリアが検出された場合には、いずれか１つの顔エリア、例えば最も至近に存在する顔に対応する顔エリアや最も大きい顔エリアを対象としてＡＦエリアを設定するようにした。しかしながら、使用者が、複数検出された顔のうち、どの顔にピントを合わせるかを選択できるようにし、制御装置１０４は、使用者によって選択された顔に対応する顔エリアを対象としてＡＦエリアを設定するようにしてもよい。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

カメラの一実施の形態の構成を示すブロック図である。 被写体追尾処理の流れを示すフローチャート図である。

符号の説明

１００ カメラ、１０１ 操作部材、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ 第１追尾部、１０４ｂ 第２対尾部、１０４ｃ 制御部、１０４ｄ 焦点検出部、１０４ｅ 焦点調整部、１０５ メモリカードスロット、１０６ モニタ

Claims (8)

1. 繰り返し得られる複数の画像から特定の対象に相当するパターンを繰り返し検出することにより、前記対象を追尾する第１追尾手段と、
   前記対象の色と輝度との少なくとも一方を基準情報とし、該基準情報に基づいて前記複数の画像から前記対象の像を繰り返し検出することにより、前記対象の像を追尾する第２追尾手段と、
   前記第１追尾手段によって前記対象の追尾を開始した後、前記第１追尾手段による前記対象の追尾が不可能となった場合に、前記第２追尾手段による前記対象の像の追尾に変更して制御する制御手段とを備えることを特徴とする画像追尾装置。
2. 請求項１に記載の画像追尾装置において、
   前記第２追尾手段は、前記対象の像を繰り返し検出するごとに前記基準情報を更新することを特徴とする画像追尾装置。
3. 請求項１または２に記載の画像追尾装置において、
   前記制御手段は、前記第２追尾手段によって前記対象の像の追尾が行われている間に、前記第２追尾手段によって検出される前記対象の像の位置を含む画像において前記第１追尾手段による前記パターンの検出が可能となった場合は、前記第１追尾手段による追尾に復帰させることを特徴とする画像追尾装置。
4. 請求項３に記載の画像追尾装置において、
   前記第１追尾手段は、前記第２追尾手段による前記追尾に変更して制御されている間に前回の前記パターン検出から所定時間経過した場合は、前記パターンの検出を再度行うことを特徴とする画像追尾装置。
5. 請求項１〜４のいずれか一項に記載の画像追尾装置と、
   前記画像を結像する光学系と、
   前記画像追尾装置によって追尾される前記対象の像の位置に対する前記光学系の焦点調節状態を検出する焦点検出手段と、
   前記焦点調節状態に基づいて前記光学系の焦点調節を行う焦点調節手段とを備えることを特徴とする焦点調節装置。
6. 請求項５に記載の焦点調節装置において
   前記焦点検出手段は、前記光学系による画像内の複数の位置に対応して複数の焦点検出領域が設定されており、
   前記第１追尾手段および前記第２追尾手段は、前記画像内の前記複数の焦点検出領域に対応する範囲において前記検出を行うことを特徴とする焦点調節装置。
7. 請求項１〜４のいずれか一項に記載の画像追尾装置と、
   前記画像を結像する光学系と、
   前記光学系による像を撮像して前記画像を得る撮像素子とを備えることを特徴とする撮像装置。
8. 請求項７に記載の撮像装置において、
   前記光学系による像を撮像する、前記撮像素子とは異なる第２撮像素子と、
   前記第２撮像素子による像を記録制御する記録制御手段とをさらに備えることを特徴とする撮像装置。

Images