JP2010263439A - 電子カメラ、画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】対象物が急激に動くなどにより入力画像において対象物の像の特徴量が変動した場合であっても、対象物を安定して追跡することが可能な画像処理装置を提供する。
【解決手段】入力画像において追跡の対象となる対象物の像を追跡する画像処理装置１０であって、入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部１２と、ブレ検知部１２によって検出されたブレ軌跡の端点を用いて、対象物の像を含む領域であって探索領域よりも小さい領域である対象領域を特定することにより、対象物の像を追跡する追跡処理部１３とを備える。
【選択図】図１

Description

本発明は、電子カメラ、画像処理装置等に関し、特に、入力画像において追跡の対象となる対象物の像を追跡する電子カメラ、画像処理装置等に関する。

近年、電子カメラは、ＡＦ（オートフォーカス：Ａｕｔｏ−Ｆｏｃｕｓ）、ＡＥ（自動露出：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）または逆光補正機能の位置合わせ手段として物体追跡機能を有する。なお、電子カメラとは、静止画像を撮影するカメラまたは動画像を撮影するカメラである。

例えば、電子カメラが撮影している画像または撮影しようとしている画像を表示する手段としてタッチパネルを備える場合、ユーザは、タッチパネルにタッチすることにより追跡の対象となる対象物の像を指定する。また例えば、ユーザは、表示画面の中央などのあらかじめ定められた領域に追跡したい物体が写るように電子カメラの向きを合わせた後に追跡ボタンを押すことにより、当該領域に写っている物体の像を対象物の像として指定する。

そして、電子カメラは、対象物の像が指定された後に撮影された画像において、対象物の像を含む領域である対象領域を特定することにより、対象物の像の追跡を行う。一般的に、電子カメラは、指定された対象物の像の特徴量と類似している特徴量を有する領域を探索することにより対象領域を特定する（例えば、特許文献１を参照）。具体的には、電子カメラは、例えば、特徴量として色の情報を用いたテンプレートマッチングにより対象領域を探索する。

特開２００９−４８４２８号公報

しかしながら、対象物が子供などすばやい動きをする物体である場合、電子カメラの操作が苦手なユーザが激しく上下左右に電子カメラを揺らしながら撮影する場合、または、暗い環境下においてフレームレート（１秒間に撮影される画像の枚数）が小さい場合などには、対象物の像の特徴を示す特徴量が変動する。そのため、従来の電子カメラのように特徴量を用いて対象領域を特定する場合は、正しく対象物を追跡できないという問題がある。

そこで、本発明は、上記従来の課題を鑑みてなされたものであり、対象物が急激に動くなどにより入力画像において対象物の像の特徴量が変動した場合であっても、対象物を安定して追跡することが可能な電子カメラ、画像処理装置等を提供することを目的とする。

上記目的を達成するために、本発明に係る電子カメラは、入力画像において追跡の対象となる対象物の像を追跡し、追跡結果を利用して、オートフォーカス処理、自動露出処理及び逆光補正処理のうち少なくとも１つを実行する電子カメラであって、前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える。

これによって、対象物がすばやく動くなどにより入力画像において対象物の像の特徴量が変動した場合であっても、ブレ軌跡を用いることによって対象物を安定して追跡することが可能となる。

また、さらに、前記対象物の像の特徴を定量的に示す初期特徴量を記憶する記憶部を備え、前記ブレ検知部は、さらに、検出したブレ軌跡の終点を特定し、前記追跡処理部は、前記入力画像と時間的に連続する次の入力画像において前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記探索領域と決定し、決定した探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより、前記入力画像と時間的に連続する次の入力画像における対象領域を特定するとしてもよい。

これによって、対象物の像にブレが生じている画像の次の入力画像において、対象物が写っていると推定される位置の近傍を探索領域と決定することができる。したがって、対象物を安定して追跡するとともに、探索処理の負荷を軽減させることが可能となる。

また、前記ブレ検知部は、前記ブレ軌跡の２つの端点のうち、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を、前記ブレ軌跡の終点として特定するとしてもよい。

これによって、時間的に連続する１つ前の入力画像を利用して、１つの画像からは推定することが難しいブレ軌跡の終点の位置を高精度に特定することができる。このように特定されたブレ軌跡の終点の位置を利用することにより、対象物の像をより安定して追跡することが可能となる。

また、前記追跡処理部は、前記ブレ軌跡の２つの端点のそれぞれを含む領域のうち、前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を、前記入力画像における対象領域として特定するとしてもよい。

これによって、対象物の像にブレが生じている画像において、ブレ軌跡の２つの端点のそれぞれを含む領域の特徴量と初期特徴量とを比較することにより対象領域を特定することができる。したがって、探索領域内を探索するよりも処理の負荷を軽減させることが可能となる。

また、前記追跡処理部は、前記ブレ軌跡の長さが閾値より大きい場合に、前記ブレ軌跡を用いて前記入力画像における対象領域を特定し、前記ブレ軌跡の長さが閾値以下である場合に、前記探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより前記入力画像における対象領域を特定するとしてもよい。

これによって、対象物の像にブレが生じ、特徴量が変動している場合にのみ、ブレ軌跡を用いて対象領域を特定することができるので、対象物をより安定して追跡することが可能となる。

また、前記ブレ検知部は、さらに、検出したブレ軌跡の終点を特定し、前記追跡処理部は、前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記入力画像における対象領域として特定するとしてもよい。

これによって、対象物の像にブレが生じている画像において、ブレ軌跡の終点を用いてブレ軌跡の終点の位置を含む領域を対象領域として特定するので、特徴量の抽出あるいは比較などを行うことなく容易に対象領域を特定することが可能となる。

また、前記ブレ検知部は、前記ブレ軌跡の２つの端点のうち、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を、前記ブレ軌跡の終点として特定するとしてもよい。

これによって、時間的に連続する１つ前の入力画像を利用して、１つの画像からは推定することが難しいブレ軌跡の終点の位置を特定することが可能となり、対象物をより安定して追跡することが可能となる。

また、さらに、前記対象物が写っている領域の特徴を定量的に示す初期特徴量を記憶する記憶部を備え、前記ブレ検知部は、前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値より小さい場合、前記ブレ軌跡を検出し、前記追跡処理部は、前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値より小さい場合、前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記入力画像における対象領域として特定し、前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値以上である場合、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置を含む領域を探索領域と決定し、決定した探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより、前記入力画像における対象領域を特定するとしてもよい。

これによって、シャッター速度またはフレームレートに応じてブレ軌跡を用いるか否かを切り替えることができるので、ブレ軌跡を検出する処理の負荷を軽減することができる。

また、本発明に係る画像処理装置は、入力画像において追跡の対象となる対象物の像を追跡する画像処理装置であって、前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える。

また、本発明に係る集積回路は、入力画像において追跡の対象となる対象物の像を追跡する集積回路であって、前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える。

なお、本発明は、このような画像処理装置として実現するだけでなく、このような画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現してもよい。また、そのような画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信してもよい。

以上の説明から明らかなように、本発明に係る電子カメラ等は、対象物が急激に動くなどにより入力画像において対象物の像の特徴量が変動した場合であっても、ブレ軌跡を用いることによって対象物を安定して追跡することが可能となる。

本発明の実施の形態１または実施の形態２に係る画像処理装置の機能構成を示すブロック図である。 本発明の実施の形態１に係る画像処理装置の具体例である電子カメラの構成を示すブロック図である。 本発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。 （ａ）〜（ｃ）は、入力画像にブレ画像が含まれていない場合の画像処理装置における各種動作の具体例を説明するための図である。 （ａ）〜（ｃ）は、本発明の実施の形態１に係る画像処理装置における動作の具体例を説明するための図である。 本発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。

以下に、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１に係る画像処理装置は、ブレ軌跡の長さが閾値より大きい場合に、ブレ画像と時間的に連続する次の入力画像における探索領域の位置をブレ軌跡の終点を用いて決定することを特徴とする。

図１は、本発明の実施の形態１に係る画像処理装置の機能構成を示すブロック図である。図１に示すように、画像処理装置１０は、初期特徴量抽出部１１と、ブレ検知部１２と、追跡処理部１３と、記憶部１４とを備える。

初期特徴量抽出部１１は、対象物の像が指定されたときの入力画像において対象物の像を含む領域である初期領域に関する情報（例えば、位置、形状、大きさなど）を取得する。また、初期特徴量抽出部１１は、初期領域に含まれる対象物の像の特徴を定量的に示す初期特徴量を抽出する。さらに、初期特徴量抽出部１１は、抽出した初期特徴量を記憶部１４に書き込む。

ブレ検知部１２は、入力画像における探索領域のブレ軌跡を検出する。ここで、探索領域は、当該入力画像より時間的に前に撮影された画像を用いて追跡処理部１３によって決定される領域であって、対象物の像を含む領域である。さらに、ブレ検知部１２は、検出したブレ軌跡の終点を特定する。具体的には、ブレ軌跡の２つの端点のうち、入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を、ブレ軌跡の終点として特定する。

追跡処理部１３は、ブレ検知部１２によって検出されたブレ軌跡の端点を用いて対象領域を特定する。ここで、対象領域は、対象物の像を含む領域であって、探索領域よりも小さい領域である。なお、追跡処理部１３は、ブレ検知部１２によって検出されたブレ軌跡の長さが閾値より大きい場合に、入力画像がブレ画像であると判定し、ブレ軌跡の端点を用いて対象領域を特定する。

具体的には、追跡処理部１３は、ブレ軌跡の２つの端点のそれぞれを含む領域のうち、記憶部１４に記憶された初期特徴量と最も類似する特徴量を有する領域を、入力画像における対象領域として特定する。

さらに、追跡処理部１３は、ブレ軌跡が検出された入力画像と時間的に連続する次の入力画像において、ブレ検知部１２によって特定されたブレ軌跡の終点に対応する位置を含む領域を探索領域と決定する。そして、追跡処理部１３は、ブレ軌跡が検出された入力画像と時間的に連続する次の入力画像がブレ画像でない場合、決定した探索領域内において記憶部１４に記憶された初期特徴量と最も類似する特徴量を有する領域を探索する。このようにして探索された領域を、追跡処理部１３は対象領域として特定する。

記憶部１４は、初期特徴量抽出部１１によって抽出された初期特徴量を記憶する。また、記憶部１４は、ブレ検知部１２によって特定されたブレ軌跡の終点の位置を示す情報（以下、単に「ブレ終点情報」という。）を記憶する。さらに、記憶部１４は、追跡処理部１３によって特定された対象領域の位置及び大きさを示す情報（以下、単に「対象領域情報」）を記憶する。

図２は、本発明の実施の形態１に係る画像処理装置の具体例である電子カメラの構成を示すブロック図である。図２に示すように、電子カメラ１００は、撮影レンズ１０１と、シャッター１０２と、撮像素子１０３と、ＡＤ変換器１０４と、タイミング発生回路１０５と、画像処理回路１０６と、メモリ制御回路１０７と、画像表示メモリ１０８と、ＤＡ変換器１０９と、画像表示部１１０と、メモリ１１１と、リサイズ回路１１２と、システム制御回路１１３と、露光制御部１１４と、測距制御部１１５と、ズーム制御部１１６と、バリア制御部１１７と、フラッシュ１１８と、保護部１１９と、メモリ１２０と、表示部１２１と、不揮発性メモリ１２２と、モードダイアルスイッチ１２３と、シャッタースイッチ１２４と、電源制御部１２５と、コネクタ１２６及び１２７と、電源１２８と、インタフェース１２９及び１３０と、コネクタ１３１及び１３２と、記録媒体１３３と、光学ファインダ１３４と、通信部１３５と、アンテナ１３６と、初期特徴量抽出回路１３７と、追跡処理回路１３８と、ブレ検知回路１３９と、追跡結果描画回路１４０と、カメラ制御回路１４１とを備える。なお、電源１２８及び記録媒体１３３は、取り外し可能でもよい。

撮影レンズ１０１は、ズーミング及びフォーカシング機能を有するレンズであり、入射する光を撮像素子１０３上に結像させる。

シャッター１０２は、絞り機能を備え、撮像素子１０３に入射する光の量を調節する。

撮像素子１０３は、入射した光が結像して得られる光学像を電気信号（画像データ）に変換する。

ＡＤ変換器１０４は、撮像素子１０３から出力されるアナログ信号をデジタル信号に変換する。ＡＤ変換器１０４は、デジタル信号に変換された画像データを、メモリ制御回路１０７を介して、画像表示メモリ１０８またはメモリ１１１に書き込む。または、ＡＤ変換器１０４は、デジタル信号に変換された画像データを画像処理回路１０６に出力する。

タイミング発生回路１０５は、撮像素子１０３、ＡＤ変換器１０４及びＤＡ変換器１０９にクロック信号または制御信号を供給する。タイミング発生回路１０５は、メモリ制御回路１０７及びシステム制御回路１１３により制御される。

画像処理回路１０６は、ＡＤ変換器１０４から出力される画像データまたはメモリ制御回路１０７から出力される画像データに対して所定の画像補間処理または色変換処理などを行う。また、画像処理回路１０６は、入力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路１１３が露光制御部１１４及び測距制御部１１５に対して制御を行う。

メモリ制御回路１０７は、ＡＤ変換器１０４、タイミング発生回路１０５、画像処理回路１０６、画像表示メモリ１０８、ＤＡ変換器１０９、メモリ１１１及びリサイズ回路１１２を制御する。

画像表示メモリ１０８は、表示用の画像データを記憶する。

ＤＡ変換器１０９は、メモリ制御回路１０７を介して、画像表示メモリ１０８から表示用の画像データを取得し、デジタル信号からアナログ信号に変換する。

画像表示部１１０は、ＤＡ変換器１０９でアナログ信号に変換された表示用の画像データを表示する。また、画像表示部１１０は、ユーザから追跡の対象となる対象物が写っている領域（初期領域）を特定するための情報を受け付けてもよい。画像表示部１１０は、例えば、ＴＦＴＬＣＤ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、タッチパネルなどのディスプレイである。

メモリ１１１は、ＡＤ変換器１０４から得られる画像データ、及び、画像処理回路１０６で処理された画像データを記憶する。さらに、メモリ１１１は、初期特徴量抽出回路１３７によって抽出された初期特徴量など追跡処理に必要な情報を記憶する。なお、メモリ１１１は、図１の記憶部１４に相当する。

リサイズ回路１１２は、撮影して得られた画像から低解像度の画像を生成する。なお、リサイズ回路１１２は、用途に応じて所定の複数の解像度を選択することができる。リサイズ回路１１２は、メモリ１１１に格納された画像データを読み込み、読み込んだ画像データに対してリサイズ処理を行い、処理を終えたデータをメモリ１１１に書き込む。

なお、リサイズ回路１１２は、撮像素子１０３の画素数と異なる画素数（サイズ）で記録媒体１３３などに画像データを記録したい場合などに利用される。また、画像表示部１１０の表示可能な画素数は、撮像素子１０３の画素数よりもかなり小さい。したがって、リサイズ回路１１２は、撮影した画像データを画像表示部１１０に表示する場合の表示用画像を生成する場合にも利用される。同様に、リサイズ回路１１２は、ブレ検知回路１３９がブレを検出する際に利用するための画像（例えば、画像サイズがＱＶＧＡなどの画像）を生成する場合にも利用される。

システム制御回路１１３は、電子カメラ１００全体の各処理部及び各処理回路を制御することによって、撮影処理を行う。撮影処理は、露光処理、現像処理及び記録処理などからなる。露光処理とは、撮像素子１０３から読み出した画像データをＡＤ変換器１０４及びメモリ制御回路１０７を介してメモリ１１１に書き込む処理である。現像処理とは、画像処理回路１０６及びメモリ制御回路１０７での演算処理である。記録処理とは、メモリ１１１から画像データを読み出し、記録媒体１３３に画像データを書き込む処理である。

露光制御部１１４は、絞り機能を備えるシャッター１０２を制御する。また、露光制御部１１４は、フラッシュ１１８と連携することによりフラッシュ調光機能も有する。

測距制御部１１５は、撮影レンズ１０１のフォーカシングを制御する。ズーム制御部１１６は、撮影レンズ１０１のズーミングを制御する。バリア制御部１１７は、保護部１１９の動作を制御する。

フラッシュ１１８は、被写体に対してフラッシュ光を照射する。フラッシュ１１８は、さらに、ＡＦ補助光の投光機能及びフラッシュ調光機能も有する。

保護部１１９は、電子カメラ１００の撮影レンズ１０１、シャッター１０２及び撮像素子１０３などを含む撮像部を覆うことにより、撮像部の汚れまたは破損を防止するバリアである。

メモリ１２０は、システム制御回路１１３の動作用の定数、変数及びプログラムなどを記録する。

表示部１２１は、システム制御回路１１３でのプログラムの実行に応じて、文字、画像または音声などを用いて動作状態またはメッセージなどを表示する液晶表示装置またはスピーカーなどである。表示部１２１は、電子カメラ１００の操作部近辺の視認しやすい単数または複数の箇所に設置される。表示部１２１は、例えば、ＬＣＤ、ＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）、または、発音素子などの組み合わせにより構成されている。

不揮発性メモリ１２２は、電気的に証拠・記録可能なメモリであり、電子カメラ１００の動作設定データまたは利用者固有の情報などを記憶する。不揮発性メモリ１２２は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。

モードダイアルスイッチ１２３は、自動撮影モード、撮影モード、パノラマ撮影モード及びＲＡＷモードなどの各機能モードを切り替え、設定することができる。

シャッタースイッチ１２４は、シャッターボタン（図示せず）の操作途中でＯＮとなりＡＦ処理、ＡＥ処理及びＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理などの動作開始を指示する。また、シャッタースイッチ１２４は、露光処理、現像処理及び記録処理という一連の処理の動作の開始を指示する。

電源制御部１２５は、電池検出回路、ＤＣ−ＤＣコンバータ、及び、通電するブロックを切り替えるスイッチ回路などにより構成されている。電源制御部１２５は、電池の装着の有無、電池の種類及び電池残量の検出を行う。電源制御部１２５は、さらに、検出結果及びシステム制御回路１１３の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を帰還させ、記録媒体１３３を含む各処理部へ電圧を、コネクタ１２６及び１２７を介して供給する。

コネクタ１２６及び１２７は、電源制御部１２５と、電源１２８との接続を行うコネクタである。

電源１２８は、アルカリ電池若しくはリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池若しくはＬｉ電池などの二次電池、または、ＡＣアダプタなどである。

インタフェース１２９及び１３０は、記録媒体１３３とメモリ１１１などとの間で画像データなどの送受信を行うためのインタフェースである。

コネクタ１３１及び１３２は、インタフェース１２９とインタフェース１３０とを介した記録媒体１３３との接続を行うコネクタである。

記録媒体１３３は、画像データを記録するメモリカードまたはハードディスクなどの記録媒体である。

光学ファインダ１３４は、撮影者が被写体を確認するために使用するファインダである。撮影者は、画像表示部１１０による電子ファインダ機能を使用することなく、光学ファインダ１３４のみを用いて撮影を行うことが可能である。

通信部１３５は、ＲＳ２３２Ｃ、ＵＳＢ、ＩＥＥＥ１３９４、モデム、ＬＡＮ、または無線通信などの各種通信機能を有する。

アンテナ１３６は、通信部１３５により電子カメラ１００を他の機器と接続されるコネクタまたは無線通信の場合のアンテナである。

初期特徴量抽出回路１３７は、メモリ１１１に格納された画像データから初期特徴量を抽出し、抽出した初期特徴量をメモリ１１１に書き込む。初期特徴量を抽出する領域の座標は、タッチパネルがユーザから受け付けた位置、あるいはユーザがシャッタースイッチ１２４を押すことによって設定されるＡＦ領域等によって特定される。なお、初期特徴量抽出回路１３７は、図１の初期特徴量抽出部１１に相当する。

追跡処理回路１３８は、メモリ１１１から初期特徴量を読み込み、読み込んだ初期特徴量を利用して追跡処理を行う。そして、追跡処理回路１３８は、追跡結果（座標データ、評価値など）をメモリ１１１に書き込む。なお、追跡処理回路１３８は、図１の追跡処理部１３に相当する。

ブレ検知回路１３９は、ブレ軌跡を検出し、検出結果（シャッターが開いてから閉じるまでの時間と、その時間の間に移動する対象物の像のｘ座標及びｙ座標の値）をメモリ１１１に書き込む。なお、ブレ検知回路１３９は、図１のブレ検知部１２に相当する。

追跡結果描画回路１４０は、メモリ１１１に書き込まれた追跡結果を表示部１２１に表示させるために、画像表示メモリ１０８に書き込まれた表示用の画像データを加工する。具体的には、追跡結果描画回路１４０は、画像データに対して、例えば、追跡枠、モザイク化、文字、表示色の変更、ぼかしなどの加工を行う。

カメラ制御回路１４１は、メモリ１１１に書き込まれた追跡結果（対象領域）の位置と大きさとに基づいて、対象領域に写っている対象物に焦点が合うように、ＡＦ処理を制御する。具体的には、カメラ制御回路１４１は、例えば、対象領域に写っている対象物のコントラストを利用して、コントラストが高くなるように撮影レンズ１０１を制御する。

また、カメラ制御回路１４１は、対象領域に写っている対象物の露出が適正となるように、ＡＥ処理または逆光補正処理を制御してもよい。具体的には、カメラ制御回路１４１は、例えば、シャッター速度優先、または絞り値優先などモードにしたがって、露光制御部１１４を介して、絞り機能を備えるシャッター１０２のシャッター速度または絞り値を制御してもよい。

さらに、カメラ制御回路１４１は、対象物が画像内の一定の位置または一定の大きさとなるように（例えば、対象物である顔が画像の中央に写るように、あるいは、対象物である人物の全身が写るようになど）電子カメラ１００を制御してもよい。

なお、初期特徴量抽出回路１３７、追跡処理回路１３８、ブレ検知回路１３９、追跡結果描画回路１４０、及びカメラ制御回路１４１のいずれかの回路を備えない場合、システム制御回路１１３が、ソフトウェア処理によって追跡処理などを行ってもよい。

次に、以上のように構成された画像処理装置における各種動作について説明する。

図３は、本発明の実施の形態１に係る画像処理装置の動作を示すフローチャートである。

まず、初期特徴量抽出部１１は、対象物が指定されたときの入力画像において対象物が写っている領域である初期領域の情報を取得し、取得した初期領域を用いて、対象物の像の特徴を定量的に示す初期特徴量を抽出する（ステップＳ１０１）。

そして、初期特徴量抽出部１１は、抽出した初期特徴量と初期領域の位置及び大きさを示す情報とを記憶部１４に登録する（ステップＳ１０２）。

その後、画像処理装置１０は、初期特徴量を抽出した入力画像以降の入力画像において、対象物が写っている領域である対象領域を特定する処理を繰り返す。対象領域を特定する処理は、以下のとおりである。

まず、追跡処理部１３は、時間的に連続する１つ前の入力画像がブレ画像であったか否かを判定する（ステップＳ１０３）。具体的には、追跡処理部１３は、例えば、時間的に連続する１つ前の入力画像がブレ画像であるか否かを示すフラグ情報が「１」であるか否かを判定する。

ここで、１つ前の入力画像がブレ画像であった場合（ステップＳ１０３のＹｅｓ）、追跡処理部１３は、ブレ軌跡の終点に対応する位置の近傍の領域を探索領域と決定する（ステップＳ１０４）。具体的には、例えば、追跡処理部１３は、ブレ終点情報が示す位置を中心とする領域を探索領域と決定する。

一方、１つ前の入力画像がブレ画像でなかった場合（ステップＳ１０３のＮｏ）、追跡処理部１３は、１つ前の入力画像において特定された対象領域の近傍の領域を探索領域と決定する（ステップＳ１０５）。具体的には、例えば、追跡処理部１３は、１つ前の入力画像において特定された対象領域の中心位置と対象領域の大きさと示す情報を記憶部１４から読み出す。そして、追跡処理部１３は、読み出した中心位置と中心位置が一致する領域であって、読み出した対象領域の大きさよりも大きな領域を探索領域と決定する。なお、読み出した中心位置が入力画像の端である場合など、探索領域の中心位置は、必ずしも読み出した中心位置と一致する必要はない。

次に、ブレ検知部１２は、追跡処理部１３によって決定された探索領域におけるブレ軌跡を検出する（ステップＳ１０６）。ブレは対象物の動きに依存する場合もあるため、ブレ軌跡は、カメラ等に取り付けられたジャイロセンサまたは加速度センサなどからのセンサ情報を用いて求めることが難しい。したがって、ブレ検知部１２は、１枚の入力画像の情報のみを用いてブレ軌跡を検出する。具体的には、ブレ検知部１２は、例えば、探索領域を構成する画素の画素値を用いて算出される点広がり関数（ＰＳＦ：Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）をブレ軌跡として検出する（例えば、非特許文献１「Ｈｉｇｈ−Ｑｕａｌｉｔｙ Ｍｏｔｉｏｎ Ｄｅｂｌｕｒｒｉｎｇ Ｆｒｏｍ ａ Ｓｉｎｇｌｅ Ｉｍａｇｅ（Ｑｉ Ｓｈｅｎ ｅｔ．ａｌ、ＳＩＧＧＲＡＰＨ２００８）」を参照）。

非特許文献１に記載の方法にしたがってブレ検知部１２がブレ軌跡を検出する場合、記憶部１４には、ブレのない一般的な自然画像に表れる画像勾配の分布があらかじめ格納される。そして、ブレ検知部１２は、所定の点広がり関数を用いて探索領域を補正したときの画像における画像勾配の分布と記憶部１４に格納された画像勾配の分布との比較を繰り返すことにより、これらの画像勾配の分布が同一または類似となるような点広がり関数を探索する。このように探索した点広がり関数を、ブレ検知部１２はブレ軌跡として検出する。

次に、ブレ検知部１２は、検出したブレ軌跡の長さが閾値以下であるか否かを判定する（ステップＳ１０７）。すなわち、ブレ検知部１２は、入力画像がブレ画像であるか否かを判定する。なお、閾値は、例えば、あらかじめ定められた値である。

ここで、ブレ軌跡の長さが閾値以下である場合（ステップＳ１０７のＹｅｓ）、追跡処理部１３は、ステップＳ１０４またはＳ１０５において決定された探索領域内において、記憶部１４に記憶された初期領域の特徴量と最も類似する特徴量を有する領域を探索する。そして、追跡処理部１３は、探索した結果、最も類似する特徴量を有する領域を対象領域として特定する（ステップＳ１０８）。つまり、入力画像がブレ画像でない場合、画像処理装置１０は、ブレ軌跡を利用せずに対象領域を特定する。さらに、追跡処理部１３は、対象領域情報を記憶部１４に登録するとともに、ブレ画像であるか否かを示すフラグ情報に「０」を設定する。

一方、ブレ軌跡の長さが閾値より大きい場合（ステップＳ１０７のＮｏ）、ブレ検知部１２は、ブレ軌跡の２つの端点のうち、時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を終点と特定する（ステップＳ１０９）。続いて、ブレ検知部１２は、ブレ終点情報を記憶部１４に登録するとともに、ブレ画像であるか否かを示すフラグ情報に「１」を設定する。

さらに、追跡処理部１３は、ブレ軌跡の２つの端点のそれぞれを含む領域の特徴量と、記憶部１４に格納された初期特徴量とを比較する。比較の結果、特徴量が、類似する方の領域を入力画像における対象領域として特定する（ステップＳ１１０）。

以上のステップＳ１０３〜Ｓ１１０までの処理を連続して撮影された入力画像ごとに繰り返すことにより、画像処理装置１０は、対象物の像を追跡することができる。

次に、特徴量として色ヒストグラムを用いる場合の画像処理装置１０における各種動作の具体例について説明する。

まず、入力画像にブレ画像が含まれていない場合の画像処理装置１０における動作について説明する。つまり、図３におけるステップＳ１０７において、ブレ軌跡の長さが閾値以下である場合の動作について説明する。

図４（ａ）〜図４（ｃ）は、入力画像にブレ画像が含まれていない場合の画像処理装置における各種動作の具体例を説明するための図である。図４（ａ）に示すように、まず、初期特徴量抽出部１１は、対象物が指定されたときの入力画像４００において対象物が写っている領域である初期領域４０１を取得する。そして、初期特徴量抽出部１１は、取得した初期領域４０１の色ヒストグラムである初期色ヒストグラム４０２を生成する。さらに、初期特徴量抽出部１１は、初期領域４０１の辺の長さ及び中心位置の座標と、初期色ヒストグラム４０２とを記憶部１４に登録する。

なお、色ヒストグラムは、画像または画像の一部領域を構成する複数の画素が有する色の頻度の分布を示す情報である。例えば、色ヒストグラムの横軸は、ＨＳＶ（Ｈｕｅ Ｓａｔｕｒａｔｉｏｎ Ｖａｌｕｅ）色空間の色相（Ｈ）の値（０〜３６０）を２０分割したときの色の区分を示す。また、色ヒストグラムの縦軸は、各区分に属する画素の数（度数）を示す。各画素がどの色の区分に属するかは、各画素の色相（Ｈ）の値を区分の数で除したときの値の整数部分を用いて決定されればよい。

なお、区分の数は、必ずしも２０である必要はなく、１以上であればどのような数でもよい。ただし、初期領域に含まれる色が多いほど、区分の数が多くなることが好ましい。これにより、初期領域に含まれる色が多い場合には、小さな区分ごとの度数を用いて類似する領域を探索できるので、対象領域の特定の精度を向上させることができる。一方、初期領域に含まれる色が少ない場合には、大きな区分ごとの度数が記憶されるので、メモリの使用量を少なくすることができる。

次に、図４（ｂ）に示すように、追跡処理部１３は、入力画像４００と時間的に連続する次の入力画像４１０において、探索領域４１１を決定する。具体的には、追跡処理部１３は、時間的に１つ前の入力画像４００がブレ画像ではないので、入力画像４００における対象領域（ここでは、初期領域４０１）を含み、かつ対象領域（ここでは、初期領域４０１）よりも大きい矩形領域を探索領域４１１と決定する。さらに具体的には、追跡処理部１３は、記憶部１４に格納されている初期領域４０１の辺の長さ及び中心位置の座標を読み出す。そして、追跡処理部１３は、読み出した辺の長さよりも大きな矩形領域であって読み出した中心位置の座標を中心とする矩形領域を、探索領域と決定する。

なお、探索領域の形状は、矩形である必要はなく、円形、六角形等の任意の形状でもよい。また、探索領域の大きさは、あらかじめ定められた大きさであってもよいし、フレームレートまたはシャッター速度が小さいほど大きくなるような大きさであってもよい。

そして、入力画像４１０がブレ画像でないので、追跡処理部１３は、探索領域４１１よりも小さな領域であって探索領域４１１内の領域である選択領域４１２を選択する。そして、追跡処理部１３は、選択した選択領域４１２の色ヒストグラムである選択色ヒストグラム４１３を抽出する。このとき、選択色ヒストグラム４１３は、初期色ヒストグラム４０２を用いて正規化されることが好ましい。具体的には、追跡処理部１３は、選択領域の色ヒストグラムにおける各区分の度数を、初期色ヒストグラム４０２の各区分の度数で除することにより、選択色ヒストグラム４１３を正規化することが好ましい。

続いて、図４（ｃ）に示すように、追跡処理部１３は、初期色ヒストグラム４０２と選択色ヒストグラム４１３とが重なる部分である重複部分４２０の割合を類似度として算出する。具体的には、追跡処理部１３は、（式１）にしたがって類似度を算出する。

ここで、Ｒｉは、初期色ヒストグラム４０２におけるｉ番目の区分の度数である。一方、Ｉｉは、選択色ヒストグラム４１３におけるｉ番目の区分の度数である。ここでは、２０分割されているので、ｉは０から１９までの値となる。なお、重複部分４２０の割合が大きいほど類似度が示す類似度合いは高く、小さいほど類似度が示す類似度合いは低いことを示す。

追跡処理部１３は、このように探索領域４１１内において位置及び大きさを変更しながら選択領域４１２の選択及び選択色ヒストグラム４１３の抽出を繰り返し、色ヒストグラムが重複部分４２０の割合が最も大きい選択領域４１２を対象領域として特定する。そして、追跡処理部１３は、対象領域の辺の長さ及び中心位置の座標を記憶部１４に登録する。

このように、入力画像にブレ画像が含まれていない場合、画像処理装置１０は、入力画像４００より時間的に後の入力画像のそれぞれにおいて、ブレ軌跡を利用することなく対象領域を特定する。

次に、図５を用いて、入力画像にブレ画像が含まれている場合の画像処理装置における各種動作の具体例について説明する。

図５（ａ）〜図５（ｃ）は、本発明の実施の形態１に係る画像処理装置における動作の具体例を説明するための図である。図５（ａ）〜図５（ｃ）には、時間的に連続して撮影された３つの入力画像（第１入力画像５００、第２入力画像５１０及び第３入力画像５２０）のうち、第２入力画像５１０がブレ画像である場合の画像処理装置１０の動作が示されている。

図５（ａ）に示す第１入力画像５００において、追跡の対象となる対象物が写っている領域として対象領域５０１が特定されている。つまり、記憶部１４には、対象領域５０１の辺の長さ及び中心位置の座標が格納されている。

ここで、画像処理装置１０は第２入力画像５１０の画像処理を開始する。

追跡処理部１３は、記憶部１４に格納された第１入力画像５００における対象領域５０１の辺の長さ及び中心位置の座標を記憶部１４から読み出す。そして、図５（ｂ）に示すように、追跡処理部１３は、第２入力画像５１０において、読み出した中心位置の座標を含む矩形領域であって、読み出した辺の長さよりも長い辺を有する矩形領域を探索領域５１１と決定する。

続いて、ブレ検知部１２は、探索領域５１１においてブレ軌跡５１２を検出する。第２入力画像５１０において、対象物の像にブレが生じているので、図５（ｂ）に示すように、２つの端点５１３及び５１４を有する曲線からなるブレ軌跡５１２が検出される。

ここで、ブレ軌跡５１２の長さは閾値よりも大きい。そこで、ブレ検知部１２は、端点５１３及び５１４のうち、対象領域５０１の中心位置よりも遠い方の端点である端点５１４をブレの終点と特定する。すなわち、ブレ検知部１２は、対象物が端点５１３から端点５１４の方向へ動いたと決定する。そして、ブレ検知部１２は、ブレの終点の位置に対応する、第２入力画像５１０における座標をブレ終点情報として記憶部１４に登録するとともに、ブレ画像であるか否かを示すフラグ情報に「１」を設定する。

さらに、追跡処理部１３は、ブレ軌跡５１２の２つの端点５１３及び５１４のそれぞれを含む領域５１５及び５１６において、色ヒストグラムを抽出する。そして、追跡処理部１３は、抽出された色ヒストグラムと、記憶部１４に格納されている初期色ヒストグラムとの類似度を算出する。その結果、追跡処理部１３は、類似度が大きい色ヒストグラムを有する領域（例えば、領域５１５）を第２入力画像５１０における対象領域として特定する。

次に、画像処理装置１０は第３入力画像５２０の画像処理を開始する。

追跡処理部１３は、フラグ情報が「１」であることから、第２入力画像５１０がブレ画像であったと判定する。よって、追跡処理部１３は、第２入力画像５１０におけるブレの終点の座標を記憶部１４から読み出す。そして、図５（ｃ）に示すように、追跡処理部１３は、第３入力画像５２０において、読み出した座標を含む矩形領域を探索領域５２１と決定する。

続いて、ブレ検知部１２は、探索領域５２１においてブレ軌跡を検出する。第３入力画像５２０において、対象物の像にブレが生じていないので、ブレ軌跡の長さは閾値以下である。したがって、ブレ検知部１２は、フラグ情報に「０」を設定する。さらに、追跡処理部１３は、探索領域５２１内において、初期色ヒストグラムと重なる部分の割合が最も大きい色ヒストグラムを有する領域を探索する。そして、探索の結果、追跡処理部１３は、重複部分の割合が最も大きい色ヒストグラムを有する領域を対象領域５２２として特定する。

このように、本実施の形態に係る画像処理装置１０は、複数の入力画像の一部にブレ画像が含まれている場合、ブレ画像の次の入力画像において、ブレ軌跡の終点を用いて探索領域を決定する。その結果、画像処理装置１０は、対象物が写っている可能性の高い位置を中心とした領域に探索領域を絞ることができるので、対象物の像を安定して追跡することが可能となるとともに、探索処理の負荷を軽減させることが可能となる。特に、対象物が急激に動く、あるいはユーザが突然激しく電子カメラを動かすなどにより、対象物の像の特徴量がブレによって変動した場合に、画像処理装置１０は、ブレ画像の後に撮影された入力画像において対象物の像を安定して追跡することを可能とする。

また、画像処理装置１０は、時間的に連続する１つ前の画像を利用して、１つの画像からは推定することが難しいブレ軌跡の終点の位置を高精度に特定することができる。このように特定されたブレ軌跡の終点の位置を利用することにより、画像処理装置１０は、対象物をより安定して追跡することが可能となる。

また、画像処理装置１０は、ブレ画像において、ブレ軌跡の２つの端点のそれぞれを含む領域の特徴量と初期特徴量とを比較することにより対象領域を特定することができる。したがって、画像処理装置１０は、探索領域内を探索するよりも探索処理の負荷を軽減させることが可能となる。

また、画像処理装置１０は、ブレ画像である場合にのみ、ブレ軌跡を用いて対象領域を特定する。したがって、画像処理装置１０は、対象物をより安定して追跡することが可能となる。

（実施の形態２）
次に、本発明の実施の形態２に係る画像処理装置について説明する。

実施の形態２に係る画像処理装置２０と実施の形態１に係る画像処理装置１０とは、ブレ検知部及び追跡処理部の動作の一部が異なるが、他については同一である。したがって、以下において、実施の形態１と同一の機能構成となるブロック図については、図１を用いて説明する。

ブレ検知部２２は、入力画像が撮影されたときのシャッター速度またはフレームレートが閾値より小さい場合に、ブレ軌跡を検出する。そして、ブレ検知部２２は、実施の形態１のブレ検知部１２と同様に、ブレ軌跡の終点を特定する。

追跡処理部２３は、ブレ検知部２２によって特定されたブレ軌跡の終点に対応する位置を含む領域を、入力画像における対象領域として特定する。

次に、以上のように構成された画像処理装置における各種動作について説明する。

図６は、本発明の実施の形態２に係る画像処理装置の動作を示すフローチャートである。図６において、図３に示すフローチャートと内容が同一の処理には同一の符号を付し、説明を省略または簡略化する。

ステップＳ１０５において探索領域が決定された後、ブレ検知部２２は、入力画像が撮影されたときのシャッター速度またはフレームレートを取得する（ステップＳ２０１）。そして、ブレ検知部２２は、取得したシャッター速度またはフレームレートが閾値以上であるか否かを判定する（ステップＳ２０２）。閾値は、あらかじめ定められた値であって、一般的に対象物の像にブレが生じる可能性が高くなるシャッター速度またはフレームレートの境界値である。

ここで、シャッター速度またはフレームレートが閾値以上である場合（ステップＳ２０２のＹｅｓ）、追跡処理部２３は、ステップＳ１０５において決定された探索領域内において、記憶部１４に記憶された初期領域の色ヒストグラムと最も類似する特徴量を有する領域を探索する。そして、追跡処理部２３は、探索した結果、最も類似する特徴量を有する領域を対象領域として特定する（ステップＳ１０８）。つまり、シャッター速度またはフレームレートが大きい場合、ブレ画像である可能性が低いので、画像処理装置２０はブレ軌跡を検出することなく対象領域を特定する。

一方、シャッター速度またはフレームレートが閾値より小さい場合（ステップＳ２０２のＮｏ）、ブレ検知部２２は、追跡処理部２３によって決定された探索領域において、ブレ軌跡を検出する（ステップＳ１０６）。つまり、シャッター速度またはフレームレートが小さい場合、入力画像がブレ画像である可能性が高いので、ブレ検知部２２はブレ軌跡を検出する。

続いて、ブレ検知部２２は、ブレ軌跡の２つの端点のうち、時間的に連続する１つ前の画像において特定された対象領域に対応する位置から遠い方の端点をブレ軌跡の終点と特定する（ステップＳ１０９）。

そして、追跡処理部２３は、ブレ検知部２２によって特定されたブレ軌跡の終点に対応する位置を含む領域を対象領域として特定する（ステップＳ２０３）。

このように、本実施の形態に係る画像処理装置２０は、複数の入力画像にブレ画像が含まれている場合、ブレ画像において、ブレ軌跡の終点の位置を含む領域を対象領域として特定する。その結果、画像処理装置２０は、特徴量の抽出あるいは比較などを行うことなく、容易に対象領域を特定することが可能となる。特に、対象物の周りが暗い暗環境下において撮影されることによりブレ画像が多く含まれる複数の入力画像において、画像処理装置２０は、ブレ画像において対象物を安定して追跡することが可能となる。

また、画像処理装置２０は、シャッター速度またはフレームレートが小さい場合にブレ軌跡の終点に対応する位置を含む領域を対象領域として特定する。つまり、画像処理装置２０は、シャッター速度またはフレームレートに応じてブレ軌跡を用いるか否かを切り替えることができるので、ブレ軌跡を検出する処理の負荷を軽減することができる。

以上、本発明に係る画像処理装置または電子カメラについて、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。

例えば、上記実施の形態において、ブレ検知部は、入力画像の探索領域における点広がり関数を算出することにより、ブレ軌跡を検出していたが、他の方法によりブレ軌跡を検出してもよい。例えば、ブレ検知部は、入力画像よりもシャッター速度またはフレームレートが大きい画像であって、入力画像が撮影されたときと同じときに同じ被写体が撮影された複数の画像を用いて、ブレ軌跡を算出してもよい。このようにブレ軌跡が算出される場合、ブレ軌跡の方向はブレ軌跡とともに算出されるので、画像処理装置または電子カメラは、ブレ軌跡の終点を容易に特定することができる。

また、上記実施の形態において、初期特徴量抽出部または追跡処理部は、入力画像内の領域の特徴を定量的に示す特徴量として色ヒストグラムを抽出していたが、例えば、輝度ヒストグラムを特徴量として抽出してもよい。この場合、追跡処理部は、初期領域から得られる輝度ヒストグラムと選択領域から得られる輝度ヒストグラムとを比較することにより、類似度を算出する。また、初期特徴量抽出部または追跡処理部は、輝度そのものを特徴量として抽出し、抽出した輝度を用いたテンプレートマッチングにより類似する領域を探索してもよい。

また、上記の画像処理装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。例えば、図１に示すように、初期特徴量抽出部１１と、ブレ検知部１２または２２と、追跡処理部１３または２３とは、１個のシステムＬＳＩ３０から構成されてもよい。

また、本発明は、上記のような画像処理装置として実現するだけでなく、図２に示すように、画像処理装置が備える特徴的な構成部を備える電子カメラとして実現してもよい。またさらに、本発明は、画像処理装置が備える特徴的な構成部の動作をステップとする画像処理方法として実現してもよい。また、そのような画像処理方法に含まれるステップをコンピュータに実行させるプログラムとして実現してもよい。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体またはインターネット等の伝送媒体を介して配信してもよい。

本発明に係る電子カメラまたは撮像装置等は、追跡の対象となる対象物が写っている領域を特定することにより対象物の像を追跡する、デジタルビデオカメラ、デジタルスチルカメラ、監視用カメラ、車載用カメラ、またはカメラ機能を備えた携帯電話などに有用である。

１０、２０ 画像処理装置
１１ 初期特徴量抽出部
１２、２２ ブレ検知部
１３、２３ 追跡処理部
１４ 記憶部
３０ システムＬＳＩ
１００ 電子カメラ
１０１ 撮影レンズ
１０２ シャッター
１０３ 撮像素子
１０４ ＡＤ変換器
１０５ タイミング発生回路
１０６ 画像処理回路
１０７ メモリ制御回路
１０８ 画像表示メモリ
１０９ ＤＡ変換器
１１０ 画像表示部
１１１、１２０ メモリ
１１２ リサイズ回路
１１３ システム制御回路
１１４ 露光制御部
１１５ 測距制御部
１１６ ズーム制御部
１１７ バリア制御部
１１８ フラッシュ
１１９ 保護部
１２１ 表示部
１２２ 不揮発性メモリ
１２３ モードダイアルスイッチ
１２４ シャッタースイッチ
１２５ 電源制御部
１２６、１２７、１３１、１３２ コネクタ
１２８ 電源
１２９、１３０ インタフェース
１３３ 記録媒体
１３４ 光学ファインダ
１３５ 通信部
１３６ アンテナ
１３７ 初期特徴量抽出回路
１３８ 追跡処理回路
１３９ ブレ検知回路
１４０ 追跡結果描画回路
１４１ カメラ制御回路
４００、４１０ 入力画像
４０１ 初期領域
４０２ 初期色ヒストグラム
４１１、５１１、５２１ 探索領域
４１２ 選択領域
４１３ 選択色ヒストグラム
４２０ 重複部分
５００ 第１入力画像
５０１、５２２ 対象領域
５１０ 第２入力画像
５１２ ブレ軌跡
５１３、５１４ 端点
５１５、５１６ 領域
５２０ 第３入力画像

Claims (12)

1. 入力画像において追跡の対象となる対象物の像を追跡し、追跡結果を利用して、オートフォーカス処理、自動露出処理及び逆光補正処理のうち少なくとも１つを実行する電子カメラであって、
   前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、
   前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える
   電子カメラ。
2. さらに、前記対象物の像の特徴を定量的に示す初期特徴量を記憶する記憶部を備え、
   前記ブレ検知部は、さらに、検出したブレ軌跡の終点を特定し、
   前記追跡処理部は、前記入力画像と時間的に連続する次の入力画像において前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記探索領域と決定し、決定した探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより、前記入力画像と時間的に連続する次の入力画像における対象領域を特定する
   請求項１に記載の電子カメラ。
3. 前記ブレ検知部は、前記ブレ軌跡の２つの端点のうち、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を、前記ブレ軌跡の終点として特定する
   請求項２に記載の電子カメラ。
4. 前記追跡処理部は、前記ブレ軌跡の２つの端点のそれぞれを含む領域のうち、前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を、前記入力画像における対象領域として特定する
   請求項２または３に記載の電子カメラ。
5. 前記追跡処理部は、前記ブレ軌跡の長さが閾値より大きい場合に、前記ブレ軌跡を用いて前記入力画像における対象領域を特定し、前記ブレ軌跡の長さが閾値以下である場合に、前記探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより前記入力画像における対象領域を特定する
   請求項２〜４のいずれか１項に記載の電子カメラ。
6. 前記ブレ検知部は、さらに、検出したブレ軌跡の終点を特定し、
   前記追跡処理部は、前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記入力画像における対象領域として特定する
   請求項１に記載の電子カメラ。
7. 前記ブレ検知部は、前記ブレ軌跡の２つの端点のうち、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置から遠い方の端点を、前記ブレ軌跡の終点として特定する
   請求項６に記載の電子カメラ。
8. さらに、前記対象物が写っている領域の特徴を定量的に示す初期特徴量を記憶する記憶部を備え、
   前記ブレ検知部は、前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値より小さい場合、前記ブレ軌跡を検出し、
   前記追跡処理部は、
   前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値より小さい場合、前記ブレ検知部によって特定されたブレ軌跡の終点に対応する位置を含む領域を前記入力画像における対象領域として特定し、
   前記入力画像が撮影されたときのシャッター速度またはフレームレートが閾値以上である場合、前記入力画像と時間的に連続する１つ前の入力画像において特定された対象領域に対応する位置を含む領域を探索領域と決定し、決定した探索領域内において前記記憶部に記憶された初期特徴量と最も類似する特徴量を有する領域を探索することにより、前記入力画像における対象領域を特定する
   請求項６または７に記載の電子カメラ。
9. 入力画像において追跡の対象となる対象物の像を追跡する画像処理装置であって、
   前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、
   前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える
   画像処理装置。
10. 入力画像において追跡の対象となる対象物の像を追跡する画像処理方法であって、
    前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知ステップと、
    前記ブレ検知ステップにおいて検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する対象領域特定ステップとを含む
    画像処理方法。
11. 入力画像において追跡の対象となる対象物の像を追跡する集積回路であって、
    前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知部と、
    前記ブレ検知部によって検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する追跡処理部とを備える
    集積回路。
12. 入力画像において追跡の対象となる対象物の像を追跡するプログラムであって、
    前記入力画像において、当該入力画像より時間的に前に撮影された画像を用いて決定される領域であって前記対象物の像を含む領域である探索領域のブレを示す軌跡であるブレ軌跡を検出するブレ検知ステップと、
    前記ブレ検知ステップにおいて検出されたブレ軌跡の端点を用いて、前記対象物の像を含む領域であって前記探索領域よりも小さい領域である対象領域を特定することにより、前記対象物の像を追跡する対象領域特定ステップとをコンピュータに実行させる
    プログラム。