JP2018201102A - 撮像装置 - Google Patents

Abstract

【課題】 被写体検出の完了タイミングによらず、テンプレートマッチング処理の遅延を防止する追尾処理を有する撮像装置の提供を目的とする。【解決手段】 連続撮像画像に画像処理した画像を低速大容量の第１のメモリと高速小容量の第２のメモリに置き、第２のメモリから画像を読み出して比較するテンプレートマッチングとテンプレートマッチングで使用するテンプレート画像を決定する画像決定手段と第１のメモリから第２のメモリへ画像を転送する手段と第１のメモリから画像を読み出して被写体検出をする手段と被写体検出が次のテンプレートマッチング処理開始までに完了するか否かを推定する手段とを有し、前記推定手段はテンプレートマッチング処理完了後に被写体検出が実行中であった場合に推定を行い、完了すると推定した場合に被写体検出で参照している画像を第１のメモリから第２のメモリに転送する。【選択図】 図１

Description

本発明は、撮像装置およびその制御方法に関し、特に被写体追尾のための処理で使用するメモリ制御に関する。

従来、撮像装置のＡＦ性能を向上させるために、被写体の追尾結果を利用する技術が提案されている。例えば連続撮影時において、複数の被写体が動いているような状況では主被写体検出により決定する被写体が撮影毎に異なることがあるが、特許文献１では対象被写体を追尾することにより最初に決定した主被写体にＡＦを合わせ続ける技術が開示されている。また、近年は連写速度が向上し、ＡＦの速度向上が重要視されており、追尾処理の速度向上も必要とされている。

追尾処理に関して、テンプレートマッチング処理を用いて行う技術が従来から提案されている。テンプレートマッチング処理を用いる例として、たとえば、顔を優先的にＡＦ対象とする方法がある。同じ顔を追い続けるために、顔検出により検出された顔をテンプレート画像とし、現フレームの画像を探索他像としてテンプレートマッチング処理を行う。一般的に画像データをＤＲＡＭに格納したものに対してこれらの処理が行われるが、ＤＲＡＭはアクセス毎にオーバーヘッドが発生するという特徴がある。

追尾対象となる被写体が小さい場合、テンプレートマッチング処理では画像中の細かい領域を繰り返し参照する処理が行われ、ＤＲＡＭに対して細かいアクセスが頻繁に発生する。このため、画像アクセス量に対してコマンド発行のオーバーヘッドの割合が増大し、処理速度が低下するという問題があった。これに対する解決方法として、より高速にアクセスできるＳＲＡＭを使用して処理速度の低下を防ぐ方法があるが、ＳＲＡＭの容量に制約があることが多く、必要な画像をすべてＳＲＡＭ上に格納することができない場合がある。

このような場合には、たとえば特許文献２のようにＳＲＡＭとＤＲＡＭを併用する構成にし、テンプレートマッチング処理はＳＲＡＭから画像を取得するようにする。この構成において、使用する画像がＳＲＡＭ上にない場合はＤＲＡＭから画像を転送することで、ＳＲＡＭの容量が十分に取れない場合でもテンプレートマッチングの処理速度の低下を抑制することが可能である。

特開２０１６−１０９７６６号公報 特開２００８−２６２２１４号公報

連写撮影や動画撮影といった周期的に連続撮影を行う場合において、フレーム間で追尾するためには、連続撮影の周期的動作の所定のタイミングでテンプレートマッチング処理を行う必要がある。しかしながら、ＤＲＡＭからＳＲＡＭへ画像データの転送を行うタイミングによっては、テンプレートマッチングの処理を行いたいタイミングまでに画像の転送が終わらない場合があった。たとえば、被写体検出として顔検出を行い、顔検出できたタイミングで追尾対象が切り替わる場合、顔検出完了後にテンプレートマッチング対象の被写体を決定し、必要に応じてＳＲＡＭからＤＲＡＭへ画像を転送する。

顔検出は画像内容によって処理時間が変動するため、顔検出処理が長引いた場合はテンプレートマッチングで必要な画像がＳＲＡＭに残っていないことがあり、前記転送が完了するまでテンプレートマッチング処理を開始できない場合があった。その結果、テンプレートマッチング処理の結果取得が遅れて追尾処理の応答性能が低下するという課題があった。また、画像を転送する頻度を減らすためにはＳＲＡＭ容量を増やさなければならないという課題があった。

本発明は上記の課題に鑑みなされたものであって、被写体検出の完了タイミングによらず、最低限のＳＲＡＭ容量でテンプレートマッチングの処理の遅延を防止することを可能とする撮像装置の提供を目的とする。

時系列で連続して撮像した画像に対して画像処理を行う画像処理手段と
前記画像処理手段により画像処理した画像を大容量かつ低速読み出しの第１のメモリと小容量かつ高速読み出しの第２のメモリにデータを置くメモリ制御手段と
前記第２のメモリからテンプレート画像および探索画像を読み出して比較を行うテンプレートマッチング手段と
前記テンプレートマッチング手段で使用する前記テンプレート画像を決定する画像決定手段と
前記第１のメモリから前記第２のメモリへ画像データを転送する画像転送手段と
前記第１のメモリから画像を読み出して被写体検出をする被写体検出手段と
前記被写体検出が次のテンプレートマッチング処理を開始するまでに完了するか否かを推定する完了推定手段と
を有し、
前記完了推定手段は、テンプレートマッチング処理完了後に被写体検出が実行中であった場合に、次のテンプレートマッチング開始時刻までに被写体検出が完了するか否かを推定し、
完了すると推定された場合に、前記画像決定手段は前記被写体検出で参照している画像データを使用するように決定し、
前記決定した画像を第１のメモリから第２のメモリに転送するように制御する
ことと特徴とする。

本発明によれば、テンプレートマッチングをＳＲＡＭから読む構成にしても、画像をあらかじめＤＲＡＭからＳＲＡＭに転送することで、処理結果を遅延せずに出力することが可能となる。

本発明の実施形態における撮像装置１００の構成例を示すブロック図 本発明の実施形態における撮像装置の動作を説明するためのフローチャート 本発明の実施形態における追尾処理時の制御を説明するためのフローチャート 本発明の実施形態における追尾処理時のタイミングチャート

［実施例１］
本発明の実施の一形態について、図１を参照して詳細の説明をする。図１は本発明の実施形態における撮像装置の構成例を示すブロック図である。

以下、図面を参照しながら本発明の公的な実施の形態を説明する。撮像装置１００において、撮像部１０１は、レンズ、シャッター、絞り、撮像素子を有し、システム制御部１０３の指示により撮影動作を行い、取得した撮影画像データをＤＲＡＭ１０５へ格納する。

バス１０２は、各ブロックを接続し、データや制御信号の授受を行う。システム制御部１０３は、撮像装置１００全体を制御する。システム制御部１０３は、ＣＰＵを含んでおり、不揮発性メモリ１０６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。

また、システム制御部１０３は、撮像装置１００に接続される表示媒体に対しての表示制御をおこなう。例えば、後述の表示部１１０に対する表示切り替え処理や、画像処理部１０７に対する表示媒体の解像度に合わせた表示画像データ生成処理指示を行う。

ＤＲＡＭ１０５は、撮像部１０１から得られた撮影画像データや、画像処理部１０７で処理した画像データなどの各種データを記録する。ＤＲＡＭ１０５は、所定枚数の撮影画像データを格納するのに十分な記憶容量を備えている。

不揮発性メモリ１０６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１０６には、システム制御部１０３の動作用の定数、設定値、プログラム等が記録される。ここでのプログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムである。

画像処理部１０７は、システム制御部１０３からの指示により、撮像部１０１や、ＤＲＡＭ１０５から受けた撮影画像データに対して、所定の画素補間、縮小処理や色変換処理といった画像処理を行う。

ＳＲＡＭ１０８は、テンプレートマッチング処理部１１６で使用するテンプレート画像および探索画像を格納するためのメモリである。画像処理部１０７により、各種画像処理が行われたのちにＳＲＡＭ１０８に格納される。ＳＲＡＭ１０８は、ＤＲＡＭ１０５に比べて記憶容量は少ないが、２枚以上の画像を格納できる記憶容量を備えている。

操作部１０９は、カメラ本体に配置されたボタン類やタッチパネル等に対する利用者の操作を撮像装置１００の制御情報に変換し、システム制御部１０３へ通知する。表示部１１０は、ＤＲＡＭ１０５から取得した画像データをＬＣＤなどの外部表示媒体に表示する。記録媒体Ｉ／Ｆ１１２は、メモリカード等の記録媒体１１３とのインターフェースである。記録媒体１１３は、撮影画像データや撮影画像データに関連した情報を記録するための媒体であり、半導体メモリや磁気ディスク等から構成される。

被写体検出部１１４は、ＤＲＡＭ１０５から取得した画像データ内の被写体の属性とその領域とを検出し、検出した属性とその領域を被写体の検出結果としてＤＲＡＭ１０５へ格納する。

被写体検出部１１４での、検出の方法としては、公知の技術を用いることができる。例えば、特開２０１５−１８６２１０に記述されているように、入力画像から特徴ベクトル等の特徴量を検出し、検出した特徴量を人や、顔、動物、山、建物等の検出対象物体の特徴量を保持した認識辞書と比較する。そして、類似度や評価値と称される尤度を算出し、尤度が所定の閾値以上の場合に検出対象物体が検出されたと判定することで、被写体を検出してもよい。

被写体検出完了推定部１１５は、被写体検出１１４で直前に行った処理時間を参照し、処理中の被写体検出が所定時間内に終わるか否かを推定する。

テンプレートマッチング処理部１１６は、追尾対象の被写体が撮影画像データ中のどの位置に移動しているかを探索する処理である。追尾対象の基準となるテンプレート画像と、探索対象となる探索画像の２つの画像をＳＲＡＭ１０８から取得してマッチング処理を行う。テンプレートマッチング処理を行った結果、画像の座標とその座標における評価値の組み合わせ複数組をＤＲＡＭ１０５に格納する。

画像決定部１１７は、テンプレートマッチング処理部１１６で使用するテンプレート画像として、どのフレームの画像を使用するか決定する。直前のテンプレートマッチング処理完了後に、被写体検出完了推定部１１５により被写体検出処理が次のテンプレートマッチング開始までに完了すると推定した場合は、被写体検出部１１４で参照しているフレームの画像を使用するように決定する。そうでない場合は、直前に撮像したフレームの画像を使用するように決定する。

画像転送部１１８は、画像決定部１１７で決定した画像がＳＲＡＭ１０８にないときに、ＤＲＡＭ１０５に格納されている画像を読み出しＳＲＡＭ１０８へ格納するように制御する。

以下、本発明の実施形態に関する処理の制御フローを、図２および図３のフローチャートと図４のタイミングチャートを用いて説明する。図２は、本発明の実施形態における追尾処理にかかわる全体の処理フローを説明するためのフローチャートである。図３は、本発明の実施形態における追尾処理のためのテンプレートマッチング処理フローを説明するためのフローチャートである。図４は、本発明の実施形態におけるテンプレートマッチング処理の動作タイミングや、メモリへの画像データ格納タイミングを説明するためのタイミングチャートである。

本実施の主な形態は、静止画の連写撮影モードにおいて、被写体を追尾するための処理を想定して説明を行うが、連続して撮影する形態であればこれに限らずに動画撮影等でもよい。

ステップＳ２０１において、撮影者によって操作部１０９が操作されて撮影開始指示が行われると、システム制御部１０３の制御により連続撮影モードに遷移する。連続撮影モードは、動画撮影や静止画の連写といった連続して撮影するモードを想定している。

ステップＳ２０２において、システム制御部１０３の指示により、撮像部１０１はシャッターや絞り等を適切な設定にしたのちに、プレ撮像処理を行う。プレ撮影は、たとえば連写時では、ＡＦ対象を決定する等、次の静止画撮影のために必要な情報を取得するために行う。撮像素子から出力されたアナログ信号はＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、画像処理部１０７に転送する。画像処理部１０７は、ホワイトバランス調整、補間、ガンマ補正、階調変換、縮小処理など各種画像処理を行い、ＤＲＡＭ１０５およびＳＲＡＭ１０８へ格納する。

ＤＲＡＭ１０５およびＳＲＡＭ１０８は複数枚の画像を格納する容量を備えており、システム制御部１０３は直前フレームの画像を上書きしないように、別領域に格納するように制御する。記憶領域が過去の画像ですべて埋まっていた場合は、システム制御部１０３は古い画像から上書きするように制御を行う。

ステップＳ２０３において、システム制御部１０３は追尾モードがＯＮになっているか否かを確認し、追尾モードがＯＮになっていたら追尾処理を行うためにステップＳ２０４を行うように制御する。追尾モードがＯＦＦになっていたら、ステップＳ２０６を行うように制御する。

ステップＳ２０４において、システム制御部１０３の指示により、被写体検出部１１４によって被写体検出処理を開始する。被写体検出はＡＦ対象を決めるための主被写体を決定するものであり、たとえば、被写体検出部１１４で検出された人物のうち、画面の中心に近い被写体を主被写体として決定し、被写体の位置と領域を出力する。主被写体検出方法はこの方法に限らず、被写体の画面上の位置と大きさを考慮して決定する等、他の方法を用いて決定してもよい。

ここで行っている被写体検出結果は、次のステップＳ２０５において追尾対象を決めるために利用される。被写体検出は処理時間が１フレームを超えてかかる場合もあり、被写体検出処理で使用している画像のフレームと、その結果を利用する追尾処理のフレームが異なる場合がある。

ステップＳ２０５において、システム制御部１０３の指示により、追尾処理を行うためにテンプレートマッチング処理部１１６で処理を開始する。マッチング対象として、前述の被写体検出処理が終わっていたら、決定した主被写体を追尾対象としてテンプレート画像に設定する。そうでない場合は、１フレーム前の追尾結果による被写体領域をテンプレート画像に設定する。また、現フレームを探索画像として設定する。探索領域は探索画像全体としてもよいし、探索画像中の任意の領域に制限をしてもよい。システム制御部１０３は、前記設定したテンプレート画像と探索画像を用いてテンプレートマッチング処理を行う。

ステップＳ２０５の追尾処理におけるテンプレートマッチング処理に関する一連の制御については、後述の図３のフローチャートを用いて詳細に説明する。ステップＳ２０５の処理により、追尾対象被写体の位置が出力される。

ステップＳ２０６において、システム制御部１０３はステップＳ２０５で決定した被写体の位置に合焦するようにＡＦ制御し、シャッターや絞り等を適切な設定にしたのちに、撮像処理を行う。ステップＳ２０２のプレ撮影と同様に撮像素子から出力されたアナログ信号はＣＤＳ（相関二重サンプリング）、ゲイン調整、Ａ／Ｄ変換などの信号処理を施し、画像処理部１０７に転送する。画像処理部１０７は、ホワイトバランス調整、補間、ガンマ補正、階調変換、縮小処理など各種画像処理を行ったのち、ＤＲＡＭ１０５へ格納する。

ステップＳ２０７において、システム制御部１０３はステップＳ２０６で出力したデータをＤＲＡＭ１０５から読み出し、ＪＰＥＧフォーマット等へのフォーマットに変換したのちに、記録媒体Ｉ／Ｆ１１２を介してＳＤカード等の記録媒体１１３に保存する。

ステップＳ２０８において、システム制御部１０３は、操作者によって連続撮影の終了指示が行われたか否かを確認する。連続撮影の終了指示が行われていなければ、次のフレームの処理を行うために、ステップＳ２０２を行うように制御する。連続撮影の終了指示が行われていたら撮影を終了する。

次に、ステップＳ２０５の追尾処理の制御に関して、図３のフローチャートを用いて詳細に説明を行う。

ステップＳ３０１において、システム制御部１０３は、連続撮像画像のうち最初に撮像したフレームか否かを確認し、最初のフレームでないと判定された場合はシステム制御部１０３によってステップＳ３０２を行うように制御される。最初のフレームだったと判定された場合は、システム制御部１０３によって、そのフレームの処理ではテンプレートマッチング処理を行わないように制御される。

ステップＳ３０２において、システム制御部１０３は、ＳＲＡＭ１０８に格納されている最新の画像を探索画像として使用するようにテンプレートマッチング処理部１１６に対して指定する。

ステップＳ３０３において、システム制御部１０３は、テンプレートマッチング処理部１１６に対して処理開始するように制御する。テンプレートマッチング処理で用いる画像は、ステップＳ３０２で指定した探索画像と、既に前フレームの処理で指定されている後述のステップＳ３０７またはステップＳ３０９で指定するテンプレート画像とを用いる。

ステップＳ３０４において、システム制御部１０３は、テンプレートマッチング処理部１１６による処理が終了するまで待機し、テンプレートマッチング処理部１１６から処理終了通知をもらったらステップＳ３０５を行うように制御する。

ステップＳ３０５において、システム制御部１０３は、テンプレートマッチング処理部１１６から出力されたマッチング評価値を取得し、追尾対象を決定する。追尾対象の決定方法は、たとえば、前記マッチング評価値の最も高い評価値に対応する位置を追尾被写体の位置として決定してもよいし、他の評価値を取得する処理を並行して行って総合的に判断して決定してもよい。

ステップＳ３０６において、システム制御部１０３は、ステップＳ２０４で開始した被写体検出処理が実行中か否かを判定する。被写体検出処理が実行中と判定された場合、システム制御部１０３はステップＳ３０７を実行するように制御する。被写体検出処理が実行中でないと判定された場合、システム制御部１０３はステップＳ３１０を実行するように制御する。

ステップＳ３０７において、被写体検出完了推定部１１５は、実行中の被写体検出処理の終了時刻を予測し、次のテンプレートマッチング処理の開始時刻までに実行中の被写体検出処理が終わるか否かを推定する。次のテンプレートマッチング処理の開始時刻までに処理が終わると推定された場合は、システム制御部１０３によってステップＳ３０８を行うように制御される。次のテンプレートマッチング処理の開始時刻までに処理が終わらないと推定された場合は、システム制御部１０３によってステップＳ３１０を行うように制御される。

被写体検出処理の終了推定方法に関しては、後述の図４を用いて詳細に説明する。ステップＳ３０８において、画像転送部１１８は、テンプレート画像として使用できるように、ＤＲＡＭ１０５に記憶されている画像を取得してＳＲＡＭ１０８に転送する。転送する画像は、処理中の被写体検出部１１４が使用しているフレームの画像を指定する。

画像の転送が必要な理由は、被写体検出は画像内容によって処理時間が変動することがあり、動作中の被写体検出処理が数フレーム前に開始した処理である場合もあるため、容量に制約の多いＳＲＡＭ上に前記画像が残っていない場合があるからである。

ステップＳ３０８で行う画像の転送に関して、常に転送処理を行うようにしてもよいし、転送する画像がＳＲＡＭ１０８に存在しているか否かを確認し、存在しないときだけ転送するようにしてもよい。また、画像を転送する際の画像領域として、画像全体を転送してもよいし、テンプレート画像として使用する領域のみを転送するようにしてもよい。

ステップＳ３０９において、システム制御部１０３は、テンプレート画像に被写体検出で使用しているフレームの画像を使用するようにテンプレートマッチング処理部１１６に対して指定する。ステップＳ３１０において、システム制御部１０３は、テンプレート画像として直前フレームにおいて決定した追尾被写体の画像を使用するように、テンプレートマッチング処理部１１６に対して指定する。

次に、本実施例のステップＳ３０７で行っている被写体検出完了推定部１１５による推定方法に関して、図４を用いて説明を行う。

図４は、連続撮影時の追尾処理に関する各種処理と処理画像を格納するＤＲＡＭ１０５およびＳＲＡＭ１０８の時間的な状況を説明するためのタイミングチャートである。図４において、撮像処理４１１が終わるとテンプレートマッチング処理や被写体検出のために、撮像した画像に対して各種画像処理４１２を行う。通常、追尾処理や被写体検出処理の時間短縮のために各種画像処理には縮小処理が含まれる。

各種画像処理４１２が終わると、テンプレートマッチングで使用する探索画像が使用できる状態になるため、テンプレートマッチング処理４１３を開始できる。時刻Ｔ４０５はテンプレートマッチング処理４１３の完了時刻である。この時刻において被写体検出処理４１４はテンプレートマッチング処理４１３探索画像として使用している現フレームの、１フレーム前の画像に対して処理を実行している様子を表している。

以下、時刻Ｔ４０５における被写体検出完了推定部１１５およびシステム制御部１０３の動作について説明を行う。

被写体検出完了推定部１１５は、テンプレートマッチング処理４１３の次フレームで行われるテンプレートマッチング処理４１６の開始時刻Ｔ４０７までに、処理中の被写体検出４１４が完了するか否かを次のようにして推定する。

まずシステム制御部１０３は、被写体検出処理が行われるたびに被写体検出の開始時刻と終了時刻をあらかじめ記憶している。時刻Ｔ４０５において、被写体検出処理４１４で使用しているフレームの、一フレーム前の画像に対して行った被写体検出処理４１５の開始時刻Ｔ４０１と終了時刻Ｔ４０２を参照し、被写体検出処理４１５の処理時間を算出する。

連続撮影中の隣接した２枚の画像の内容に大きな変化はないことが多く、被写体検出処理４１４の処理時間は、直前に実行している被写体検出処理４１５の処理時間とほぼ同じ時間になる可能性が高い。このため、被写体検出処理４１４の終了時刻Ｔ４０６は、前記算出した被写体検出処理４１５の処理時間を基準として、被写体検出処理の実行間隔等各種要因を加味して推定処理時間を算出し、開始時刻Ｔ４０３に加算することで得られる。

また、撮像と各種画像処理は画像内容による処理時間変動はないため、次のテンプレートマッチング開始時刻Ｔ４０７は、フレームレートと直前のテンプレートマッチング開始時刻Ｔ４０４の時刻から求めることができる。

上記の方法で算出した被写体検出完了時刻Ｔ４０６が次のテンプレートマッチング処理４１６の開始時刻Ｔ４０７よりも所定時間以上前であれば、時刻Ｔ４０７よりも前に被写体検出が終わると判断するようにする。

以上のようにして、被写体検出完了推定部１１５によって処理中の被写体検出が次のテンプレートマッチング開始時刻までに終わるか否かを推定する。

上記の方法によって、時刻Ｔ４０５において実行中の被写体検出４１４が次のテンプレートマッチング処理開始時刻Ｔ４０７までに終わると判断した場合は、ただちに画像転送処理４１７を実行する。時刻Ｔ４０５から時刻Ｔ４０７までは画像転送のための時間が十分にあるため、テンプレートマッチング処理４１６で必要な画像は時刻Ｔ４０７の時点ＳＲＡＭ上に格納されている状態になる。

なお、被写体検出の完了推定を行う方法は上記のような方法に限らず、他の方法を用いてもよい。たとえば、被写体検出部によって顔検出を行った場合、直前の顔検出結果を確認し、検出された顔の数や大きさ等に応じて処理時間の推定を行うようにしてもよい。

以上、本実施例で説明したように、テンプレートマッチングをＳＲＡＭから読む構成にしても、必要となる画像を前もって推測してあらかじめＤＲＡＭからＳＲＡＭに転送することにより処理結果を遅延せずに出力することができ、処理性能の向上が可能となる。

１００ 撮像装置
１０１ 撮像部
１０２ バス
１０３ システム制御部
１０５ ＤＲＡＭ
１０６ 不揮発性メモリ
１０７ 画像処理部
１０８ ＳＲＡＭ
１０９ 操作部
１１０ 表示部
１１２ 記録媒体Ｉ／Ｆ
１１３ 記録媒体
１１４ 被写体検出部
１１５ 被写体検出完了推定部
１１６ テンプレートマッチング処理部
１１７ 画像決定部
１１８ 画像転送部

Claims (4)

1. 時系列で連続して撮像した画像に対して画像処理を行う画像処理手段と
   前記画像処理手段により画像処理した画像を大容量かつ低速読み出しの第１のメモリと小容量かつ高速読み出しの第２のメモリにデータを置くメモリ制御手段と
   前記第２のメモリからテンプレート画像および探索画像を読み出して比較を行うテンプレートマッチング手段と
   前記テンプレートマッチング手段で使用する前記テンプレート画像を決定する画像決定手段と
   前記第１のメモリから前記第２のメモリへ画像データを転送する画像転送手段と
   前記第１のメモリから画像を読み出して被写体検出をする被写体検出手段と
   前記被写体検出が次のテンプレートマッチング処理を開始するまでに完了するか否かを推定する完了推定手段と
   を有し、
   前記完了推定手段は、テンプレートマッチング処理完了後に被写体検出が実行中であった場合に、次のテンプレートマッチング開始時刻までに被写体検出が完了するか否かを推定し、
   完了すると推定された場合に、前記画像決定手段は前記被写体検出で参照している画像データを使用するように決定し、
   前記決定した画像を第１のメモリから第２のメモリに転送するように制御する
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記画像転送手段は、前記画像決定手段で決定した画像が第２のメモリ上にない場合にのみ第１のメモリから第２のメモリに画像を転送することを特徴する撮像装置。
3. 請求項１に記載の撮像装置において、前記メモリ制御手段は、前記第１のメモリおよび前記第２のメモリに置かれている古い画像から順番に上書きするようにアドレスまたはバング制御を行うことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、前記完了推定手段は、直前に行った被写体検出にかかった処理時間を参照して推定することを特徴とする撮像装置。