JP2018174494A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】順次取得される画像に対して特定の被写体を追尾して撮影し、記録する場合に、更に当該被写体が認識されるより前に当該被写体が撮影されている画像も記録できるようにする。【解決手段】順次取得される画像から対象の被写体を認識する被写体認識部と、順次取得される画像に対して対象の被写体の追尾処理を行う追尾部と、順次取得される画像を第１の記憶部に記憶するよう制御する記憶制御部とを備え、追尾部は、更に、順次取得される画像から対象の被写体が認識されるより前に取得部により取得され、第１の記憶部に格納されている格納画像に対して、対象の被写体の追尾処理を行い、記憶制御部は、取得部により順次取得される画像のうち追尾部により対象の被写体が追尾される画像、及び、格納画像のうち追尾部によって対象の被写体が追尾された画像を、第１の記憶部とは異なる第２の記憶部に記憶するように制御する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、顔画像を予め登録しておき、撮像装置によって取得した記録用画像に対して顔認識を実行し、抽出された顔画像が撮影条件（顔の向き、目の開閉、目線等）を満たしている場合に、当該記録用画像を記録媒体に記録する技術が提案されている（特許文献１）。

特開２００７−２０１０５号公報

しかしながら、従来の技術では、顔認証技術を用いて抽出された顔画像が撮影条件を満たす場合にしか画像を記録することができなかった。
本発明の目的は、順次取得される画像に対して特定の被写体を追尾して撮影し、記録する場合に、さらに当該被写体が認識されるより前に当該被写体が撮影されている画像も記録できるようにすることにある。

実施形態の一観点によれば、画像を順次取得する取得部と、前記取得部により順次取得される画像から対象の被写体を認識する被写体認識部と、前記取得部により順次取得される画像に対して、前記被写体認識部により認識された前記対象の被写体の追尾処理を行う追尾部と、前記取得部により順次取得される画像を第１の記憶部に記憶するよう制御する記憶制御部を備え、前記追尾部はさらに、前記取得部により順次取得される画像から前記被写体認識部によって前記対象の被写体が認識されるより前に前記取得部により取得され、前記第１の記憶部に格納されている格納画像に対して、前記対象の被写体の追尾処理を行い、前記記憶制御部は、前記取得部により順次取得される画像のうち前記追尾部により前記対象の被写体が追尾される画像および、前記格納画像のうち前記追尾部によって前記対象の被写体が追尾された画像を前記第１の記憶部とは異なる第２の記憶部に記憶するように制御することを特徴とする画像処理装置が提供される。

本発明によれば、画像の撮影を行いながら被写体検出を行い、特定の被写体を追尾して撮影し、記録する場合に、さらに、特定の被写体が検出された時点より前に遡って当該被写体を追尾して画像を記録できる。

第１実施形態による画像処理装置を示すブロック図である。 第１実施形態による画像処理装置を示すブロック図である。 第１実施形態による画像処理装置の動作を示すフローチャートである。 第２実施形態による画像処理装置を示すブロック図である。 第２実施形態による画像処理装置の動作を示すフローチャートである。 第３実施形態による画像処理装置を示すブロック図である。 第３実施形態による画像処理装置の動作を示すフローチャートである。 第１の記憶部および第２の記憶部のそれぞれに記憶される画像を示す図である。

本発明の実施の形態を、添付の図面を参照して以下に詳細に説明するが、本発明は、以下の実施形態に限定されるものではない。

［第１実施形態］
第１実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図１は、本実施形態による画像処理装置を示すブロック図である。ここでは、本実施形態による画像処理装置１０１が、動画像や静止画像を取得し得る電子カメラ、即ち、デジタルカメラである場合を例に説明するが、これに限定されるものではない。例えば、画像処理装置１０１は、デジタルビデオカメラであってもよいし、携帯情報端末の機能と携帯電話機の機能とを併せ持つ電子機器であるスマートフォンであってもよい。また、画像処理装置１０１は、例えば、タブレット端末、携帯情報端末（ＰＤＡ：Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等であってもよい。

図１に示すように、本実施形態による画像処理装置１０１は、不揮発性メモリ１０２と、認証部１０３と、追尾部１０４と、バッファメモリ１０５と、撮像部１０７とを備えている。また、画像処理装置１０１は、各部を制御する制御部（図示せず）を備えている。画像処理装置１０１には、撮像光学系１０８、即ち、レンズユニットが備えられる。撮像部１０７は、撮像光学系１０８を用いて形成される光学像を撮像する撮像素子を備えている。撮像素子としては、例えばＣＭＯＳイメージセンサ等が用いられる。撮像部（取得部）１０７は、レンズで結像された被写体光を、撮像素子により電気信号に変換し、ノイズ低減処理などを行って画像データを順次取得し、出力する。撮像光学系１０８は、画像処理装置１０１から着脱不能であってもよいし、着脱可能であってもよい。画像処理装置１０１には、記憶部１０６が備えられる。記憶部１０６は、画像処理装置１０１から着脱可能であってもよいし、着脱不能であってもよい。

不揮発性メモリ１０２には、被写体を識別するための識別情報がデータベースとして予め記憶される。ここでは、被写体が人物であり、顔認証によって被写体を識別する場合を例に説明する。識別情報としては、例えば人物の顔画像が用いられる。例えば、ピントを合わせる対象となる人物の顔画像が識別情報として不揮発性メモリ１０２に登録される。

認証部（被写体認識部）１０３は、被写体の認証を行うものである。認証部１０３は、例えば顔認証によって被写体を認証する。認証部１０３は、予め登録された顔画像に基づいて被写体を認証する。認証部１０３は、撮像部１０７によって取得される画像のうちから顔と推定される部分を抽出し、不揮発性メモリ１０２に登録された顔画像と当該部分とを対比することによって、顔認証を行う。なお、ここでは、被写体が人物である場合を例に説明したが、被写体は人物以外の物体であってもよい。また、ここでは、顔認証を用いて被写体認識を行う場合を例に説明するが、被写体の認識方法は顔認証に限定されるものではなく、他のあらゆる被写体認識方法を適宜用い得る。

追尾部１０４は、認証部１０３によって認証された被写体の追尾を行うものである。追尾部１０４は、認証部１０３によって被写体が認証された時点より前に撮像部１０７によって取得されて既にバッファメモリ１０５に格納されている画像に含まれている被写体を追尾し得る。追尾部１０４は、撮像部１０７によって取得されたばかりの画像に対して認証部１０３によって被写体が認証された時点を始点として、時間軸を過去に遡るように、即ち、過去に向かって被写体の追尾を行う。即ち、追尾部１０４は、被写体追尾を、撮像部１０７によって順次取得される画像に対して時間軸上で順方向に行うだけではなく、過去に取得されてバッファに記録されている画像に対しても時間軸上で逆方向に行う。換言すれば、追尾部１０４は、認証部１０３によって被写体が認証された時点より前に撮像部１０７によって取得されて既にバッファメモリ１０５に格納されていた画像のうちの最も新しい画像から古い画像に向かって順に被写体の追尾を行う。認証部１０３によって認証された被写体の撮影が開始された際の画像がバッファメモリ１０５内に存在している場合には、追尾部１０４は、当該画像、即ち、当該フレームまで遡るように追尾を行う。認証部１０３によって認証された被写体の撮影が開始された際の画像がバッファメモリ１０５内に存在していない場合には、最も古い画像、即ち、最も古いフレームまで遡るように追尾が行われる。

追尾部１０４は、認証部１０３によって認証された被写体の顔およびそれに基づき推定される顔以外の部分を追尾する。追尾部１０４は、認証部１０３によって認証された被写体、即ち、顔が登録された人物が、画像データのうちに含まれていると推定される限り、追尾処理を行う。例えば、追尾部１０４は、認証部１０３によって認証された被写体の顔の部分、即ち、顔領域の移動軌跡を検出し、当該移動軌跡の延長線上に位置する肌色の領域を当該被写体の顔と判定して追尾を行う。換言すれば、追尾部１０４は、認証部１０３によって認証された被写体の軌跡の延長線上に位置する物体であって、且つ、所定の条件を満たす物体を、対象の被写体と判定して追尾する。これにより、例えば、顔領域が小さかったために被写体の顔認証に失敗したフレームについても、遡って被写体を追尾することができる。また、追尾部１０４は、認証部１０３によって認証された被写体とほぼ同じ箇所に位置するとともにサイズや形状等が類似している被写体を、当該被写体と判定して追尾を行うようにすることもできる。換言すれば、追尾部１０４は、認証部１０３によって認証された被写体に対しての位置の差異及び形状の差異が所定程度以内である物体を、対象の被写体として判定して追尾し得る。これにより、例えば、後ろ姿であったために顔が隠れていて顔認証に失敗したフレームについても、遡って当該被写体を追尾することができる。追尾部１０４は、認証部１０３によって認証された被写体が画像内に含まれている場合には、当該被写体が含まれていることを示す情報と、当該画像が追尾部１０４による追尾処理において抽出された画像であることを示す情報とを含むメタデータを生成する。こうして生成されたメタデータは、当該画像を記憶部１０６に記憶する際に、当該画像に関連付けられて記憶部１０６に記憶されることとなる。なお、認証部１０３によって被写体が認証された後に取得される画像に対しての当該被写体の追尾は、追尾部１０４によって行われてもよいし、認証部１０３によって行われてもよい。

バッファメモリ（第１の記憶部）１０５は、リングバッファとして用いられる。バッファメモリ１０５には、撮像部１０７によって取得される動画像を構成する複数の画像の各々、即ち、複数のフレームの各々が一時的に格納される。バッファメモリ１０５に順次格納される画像、即ち、画像データは、記憶部１０６にコピーしたり移動したりすることが可能である。バッファメモリ１０５に空き領域が存在する場合には、当該空き領域に画像データが順次格納されていく。バッファメモリ１０５に空き容量がなくなった際には、バッファメモリ１０５はリングバッファとして用いられ、古い画像データが新しい画像データによって順次上書きされていく。

記憶部（第２の記憶部）１０６は、画像データ等を永続的に保存するものである。バッファメモリ１０５に格納された画像データのうちの永続的に保存することを要する画像データが記憶部１０６に記憶される。このように、撮像部１０７によって取得される画像データは、バッファメモリ１０５を介して記憶部１０６に録画される。

図２は、本実施形態による画像処理装置を示すブロック図である。
画像処理装置１０１は、表示部２０１、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）２０２、ＢＭＵ（Ｂｉｔ Ｍｏｖｅ Ｕｎｉｔ）２０３、操作部２０４、撮像部１０７、及び、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０６を備えている。画像処理装置１０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０７、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０８、及び、フラッシュメモリ２０９を更に備えている。画像処理装置１０１は、メモリカードＩ／Ｆ（メモリカードインターフェース）２１０、ネットワークＩ／Ｆ（ネットワークインターフェース、ＮＥＴ Ｉ／Ｆ）２１１、及び、バス２１２を更に備えている。画像処理装置１０１には、上述したように撮像光学系１０８が備えられる。上述したように、撮像光学系１０８は、画像処理装置１０１から着脱不能であってもよいし、着脱可能であってもよい。メモリカードＩ／Ｆ２１０は、画像処理装置１０１に備えられた不図示のメモリカードスロットに備えられている。メモリカードスロットには、メモリカード２０５が装着され得る。メモリカードＩ／Ｆ２１０を介してメモリカード２０５に対して画像データ等の書き込みや読み出し等が行われる。

表示部２０１には、例えば、本実施形態による画像処理装置１０１の操作を行うためのユーザインタフェース情報等が表示される。かかるユーザインタフェース情報としては、アイコン、メッセージ、メニュー等が挙げられる。表示部２０１としては、例えば液晶モニタ等が挙げられるが、これに限定されるものではない。表示部２０１は、画像処理装置１０１と一体に形成されていてもよいし、画像処理装置１０１と別個に形成されていてもよい。表示部２０１が画像処理装置１０１と一体に形成されている場合には、表示部２０１の表示画面が画像処理装置１０１の表示画面に対応する。

ＶＲＡＭ２０２には、表示部２０１の画面表示に用いられる画像データが一時的に格納される。ＶＲＡＭ２０２に格納された画像データは、所定の方式に従って表示部２０１に転送され、これにより表示部２０１に画像が表示される。

ＢＭＵ２０３は、メモリ間のデータ転送や、メモリと各Ｉ／Ｏデバイスとの間のデータ転送等を制御する。メモリ間のデータ転送としては、例えば、ＶＲＡＭ２０２と他のメモリとの間のデータ転送等が挙げられる。メモリと各Ｉ／Ｏデバイスとの間のデータ転送としては、例えば、メモリとネットワークＩ／Ｆ２１１との間のデータ転送等が挙げられる。

操作部２０４は、各種操作を入力するためのものであり、例えば、ボタン、スイッチ等を含む。ボタンとしては、電源ボタン、指示ボタン、メニュー表示ボタン、決定ボタン等が挙げられる。スイッチとしては、切り替えスイッチ等が挙げられる。また、カーソルキー、ポインティングデバイス、タッチパネル、ダイヤル等のあらゆるタイプの操作子を、操作部２０４に用い得る。操作部２０４の各操作部材は、表示部２０１に表示される種々の機能アイコンによって実現することも可能である。ユーザは、これらの機能アイコンを適宜選択することによって、操作を行うことが可能である。

ＣＰＵ（制御部、記憶制御部）２０６は、画像処理装置１０１全体の制御を司るものであり、本実施形態による画像処理装置１０１を制御するためのコンピュータプログラム（制御プログラム）に基づいて各機能ブロックを制御する。かかるコンピュータプログラムは、例えばＲＯＭ２０７やフラッシュメモリ２０９等に格納されている。

ＲＯＭ２０７は、各種のコンピュータプログラムやデータ等を保存する。ＲＡＭ２０８は、ＣＰＵ２０６のワーク領域、エラー処理時のデータ退避領域、コンピュータプログラムのロード領域等として機能し得る。フラッシュメモリ２０９は、画像処理装置１０１によって実行される各種のコンピュータプログラムやＲＡＭ２０８等に一時的に格納されたデータ等を記録する。メモリカード２０５は、ＲＡＭ２０８やフラッシュメモリ２０９等に一時的に格納されたデータ等を記録する。

ネットワークＩ／Ｆ２１１は、他の情報処理装置やプリンタ等とネットワークを介して通信を行うためのものである。バス２１２は、アドレスバス、データバス、及び、コントロールバスを含む。ＣＰＵ２０６に対するコンピュータプログラムの提供は、ＲＯＭ２０７、フラッシュメモリ２０９、メモリカード２０５等から行うこともできるし、ネットワークＩ／Ｆ２１１を介してネットワーク経由で他の情報処理装置等から行うこともできる。なお、フラッシュメモリ２０９の代わりに、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等が備えられていてもよい。

図１を用いて上述した不揮発性メモリ１０２は、例えば、図２に示すフラッシュメモリ２０９によって実現され得る。図１を用いて上述した認証部１０３及び追尾部１０４は、例えば、図２に示すＣＰＵ２０６によって実現され得る。図１を用いて上述した記憶部１０６は、例えば、図２に示すメモリカード２０５等によって実現され得る。図１を用いて上述したバッファメモリ１０５は、例えばフラッシュメモリ２０９等によって実現され得る。

図３は、本実施形態による画像処理装置１０１の動作を示すフローチャートである。
ステップＳ３０１において、ＣＰＵ２０６は、撮像部１０７を用いて動画像の撮像が開始されるように各々の機能ブロックを制御する。撮像を開始するタイミングは、例えば、画像処理装置１０１の電源がＯＮ状態になった際とすることができる。撮像を開始するタイミングは、これに限定されるものではない。例えば、表示部２０１に画像を表示することが可能になった段階で、撮像を開始するようにしてもよい。撮像部１０７によって取得される画像データ、即ち、動画像を構成する各々のフレームは、バッファメモリ１０５に順次保存される。上述したように、バッファメモリ１０５は、リングバッファとして用いられる。従って、バッファメモリ１０５に空き容量がなくなった際には、古い画像データが新しい画像データによって順次上書きされていく。

ステップＳ３０２において、ＣＰＵ２０６は、撮像部１０７によって取得された画像データに対し、認証部１０３を用いた顔認証処理を実行する。登録された顔画像が認証部１０３によって認証されない場合、即ち、認証部１０３によって顔認証が成功しない場合には（ステップＳ３０２においてＮＯ）、ステップＳ３０２が継続される。認証部１０３によって顔認証が成功した場合には（ステップＳ３０２においてＹＥＳ）、ステップＳ３０３に移行する。

ステップＳ３０３において、ＣＰＵ２０６は、追尾部１０４を用いた追尾処理を実行する。追尾処理は、認証部１０３によって認証された被写体に対して行われる。認証部１０３によって被写体が認証された時点より前に撮像部１０７によって取得されて既にバッファメモリ１０５に格納されている過去の画像に対して、当該被写体の追尾処理が、追尾部１０４によって実行される。上述したように、撮像部１０７によって取得されたばかりの画像に対して認証部１０３によって被写体が認証された時点を始点として、時間軸を過去に遡るように、当該被写体の追尾が追尾部１０４によって行われる。追尾部１０４は、認証部１０３によって認証された被写体が画像内に含まれている場合には、当該被写体が含まれていることを示す情報と、当該画像が追尾部１０４による追尾処理において抽出された画像であることを示す情報とを含むメタデータを生成する。こうして生成されたメタデータは、当該画像を記憶部１０６に記憶する際に、当該画像に関連付けられて記憶部１０６に記憶されることとなる。なお、かかるメタデータは、この段階で生成しなくてもよい。例えば、後述するステップＳ３０４において、かかるメタデータを生成するようにしてもよい。

ステップＳ３０４において、ＣＰＵ２０６は、画像データ、即ち、動画像を構成する各々のフレームを記憶部１０６に保存する。記憶部１０６に記憶される対象となる画像データは以下のような画像データである。即ち、図８（ａ）に示すように、被写体が認証された時点８０１より前に既に撮像部１０７によって取得されてバッファメモリ１０５に格納されていた画像データ８０２のうち、追尾部１０４による追尾処理８０４において対象の被写体を追尾できなくなる時点８０５までの間の画像データ８０３が、記憶部１０６に記憶される対象となる。また、認証部１０３によって被写体の認証が成功した以降に撮像部１０７によって順次取得された画像データのうち、追尾部１０４による追尾処理８０７において当該被写体を追尾できなくなる時点８０８までの間に取得された画像データ８０６が、記憶部１０６に記憶される対象となる。ＣＰＵ２０６は、これらの画像データと上述したメタデータとを、所定のファイルフォーマットを満たすように編集し、編集により得られた動画像ファイルを記憶部１０６に記憶するよう制御する。

このように、本実施形態によれば、撮像部１０７によって順次取得される画像データをバッファメモリ１０５に記憶する。そして、被写体が認証された時点で既にバッファメモリ１０５に格納されている格納画像データに対して追尾処理を実行し、当該被写体が含まれている画像データを抽出する。このため、本実施形態によれば、当該被写体が認証された時点以降に取得される画像のみならず、当該被写体が認証される前に取得された当該被写体の画像をも記憶部１０６に記憶するよう記憶制御することが可能となる。

［第２実施形態］
第２実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図４は、本実施形態による画像処理装置を示すブロック図である。図１乃至図３に示す第１実施形態による画像処理装置と同一の構成要素には、同一の符号を付して説明を省略または簡潔にする。

本実施形態による画像処理装置４０１は、認証部１０３によって認証された被写体を含む画像データの記憶部１０６への書き込みを、録画スイッチ４０２がオン状態の場合に行うものである。

図４に示すように、本実施形態による画像処理装置４０１は、不揮発性メモリ１０２と、認証部１０３と、追尾部１０４と、バッファメモリ１０５と、撮像部１０７と、録画スイッチ４０２とを備えている。また、画像処理装置４０１は、各部を制御する制御部（図示せず）を備えている。画像処理装置４０１には、撮像光学系１０８、即ち、レンズユニットが備えられる。撮像光学系１０８は、画像処理装置４０１から着脱不能であってもよいし、着脱可能であってもよい。画像処理装置４０１には、記憶部１０６が備えられる。記憶部１０６は、画像処理装置４０１から着脱可能であってもよいし、着脱不能であってもよい。

録画スイッチ４０２は、記憶部１０６への画像データの記憶、即ち、録画を行うか否かを設定するためのものである。録画スイッチ４０２がオフ状態の場合には、認証部１０３によって被写体が認証された場合であっても、当該被写体を含む画像データの記憶部１０６への書き込みは行われない。但し、録画スイッチ４０２がオフ状態の場合であっても、撮像部１０７によって取得される画像データのバッファメモリ１０５への格納は中断されず、認証部１０３による認証処理や追尾部１０４による追尾処理も適宜行われる。録画スイッチ４０２がオン状態の場合には、認証部１０３によって認証された被写体を含む画像データが記憶部１０６に書き込まれる。録画スイッチ４０２は、例えば、図２に示す操作部２０４によって実現され得る。

図５は、本実施形態による画像処理装置の動作を示すフローチャートである。
まず、ステップＳ５０１からステップＳ５０３までは、図３を用いて上述したステップＳ３０１からステップＳ３０３までと同様であるため、説明を省略する。

録画スイッチ４０２がオンの場合には（ステップＳ５０４においてＹＥＳ）、ステップＳ５０５に移行する。一方、録画スイッチ４０２がオフの場合には（ステップＳ５０４においてＮＯ）、ステップＳ５０２に戻る。
ステップＳ５０５は、図３を用いて上述したステップＳ３０４と同様であるため、説明を省略する。

このように、認証部１０３によって認証された被写体を含む画像データの記憶部１０６への書き込みを、録画スイッチ４０２がオン状態になっている場合に行うようにしてもよい。

［第３実施形態］
第３実施形態による画像処理装置及び画像処理方法について図面を用いて説明する。図６は、本実施形態による画像処理装置を示すブロック図である。

図６に示すように、本実施形態による画像処理装置６０１は、不揮発性メモリ１０２と、認証部１０３と、追尾部１０４と、バッファメモリ１０５と、撮像部１０７と、保存指示部６０２とを備えている。また、画像処理装置６０１は、各部を制御する制御部（図示せず）を備えている。画像処理装置６０１には、撮像光学系１０８、即ち、レンズユニットが備えられる。撮像光学系１０８は、画像処理装置６０１から着脱不能であってもよいし、着脱可能であってもよい。画像処理装置６０１には、記憶部１０６が備えられる。記憶部１０６は、画像処理装置６０１から着脱可能であってもよいし、着脱不能であってもよい。

保存指示部（指示部）６０２は、記憶部１０６に記憶された画像データを保存するか否かを、ユーザが画像処理装置６０１に対して指示するためのものである。画像データの保存を行うようにユーザが保存指示部６０２を操作した場合には、ＣＰＵ２０６は、当該画像データを記憶部１０６から消去することなく、当該画像データが記憶部１０６に保存された状態を維持するよう制御する。画像データの消去を行うようにユーザが保存指示部６０２を操作した場合には、ＣＰＵ２０６は、当該画像データを記憶部１０６から消去するよう制御する。これにより、記憶部１０６の記憶容量が不必要に浪費されるのを防止することができ、また、ユーザにとって不要な画像データが記憶部１０６に蓄積されるのを防止することもできる。保存指示部６０２は、例えば、図２に示す操作部２０４によって実現され得る。

図７は、本実施形態による画像処理装置の動作を示すフローチャートである。
ステップＳ７０１からステップＳ７０４は、図３を用いて上述したステップＳ３０１からステップＳ３０４と同様であるため、説明を省略する。

記憶部１０６に記憶された画像データを保存するようにユーザが保存指示部６０２を操作した場合には（ステップＳ７０５においてＹＥＳ）、ＣＰＵ２０６は、当該画像データを記憶部１０６から消去しないよう制御する。即ち、ＣＰＵ２０６は、当該画像データが記憶部１０６に保存された状態を維持するよう制御する。一方、記憶部１０６に記憶された画像データを消去するようにユーザが保存指示部６０２を操作した場合には（ステップＳ７０５においてＮＯ）、ＣＰＵ２０６は、当該画像データを記憶部１０６から消去するよう制御する（ステップＳ７０６）。

このように、認証部１０３によって認証された被写体を含む画像データの記憶部１０６への保存を、ユーザによる保存の指示に基づいて行うようにしてもよい。

［変形実施形態］
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上記実施形態の一部を適宜組み合わせてもよい。

上記実施形態では、被写体が認証された時点８０１から遡るようにして、バッファに格納された画像８０２に対する追尾処理８０４が行われ、追尾できなくなる時点８０５よりも後に撮影されてバッファに格納された画像８０３が記憶部１０６に記憶される場合を例に説明した。しかし、これに限定されるものではない。例えば、図８（ｂ）のように、追尾できなくなった時点８０５より所定時間Ｔ１前の時点８１５以降に撮影されてバッファに格納されている画像８１３を記憶部１０６に記憶するようにしてもよい。これにより、当該被写体が撮影されているにもかかわらず当該被写体の追尾に失敗している可能性のある画像をも記録することができ、当該被写体が写っているのに記録されない事態が発生するのを防ぐことができる。このように、認証部１０３によって被写体が認証された時点で既にバッファメモリ１０５に格納されていた画像のうちの、対象の被写体が追尾される前の所定時間分の画像をも記憶部１０６に記憶するようにしてもよい。

また、上記実施形態では、認証部１０３によって認証が成功した時点８０１以降に撮影された画像データのうち、追尾処理８０７において当該被写体を追尾できなくなる時点８０８までの間に取得された画像データ８０６が、記憶部１０６に記憶される場合を例に説明した。しかし、これに限定されるものではない。例えば、図８（ｃ）に示すように、認証部１０３によって被写体の認証が成功した時点８０１以降に撮影された画像データのうち、追尾処理８０７において当該被写体の追尾ができなくなった時点８０８より所定時間Ｔ２後の時点８１８までの画像データを、記憶部１０６に記憶するようにしてもよい。これにより、当該被写体が撮影されているにもかかわらず当該被写体の追尾に失敗している可能性のある画像をも記録することが可能となり、当該被写体が写っているのに記録されない事態が発生するのを防ぐことができる。このように、認証部１０３によって被写体が認証された時点以降において取得される画像のうちの、対象の被写体が追尾されなくなった後の所定時間分の画像をも記憶部１０６に記憶するようにしてもよい。
また、上記実施形態では、対象の被写体が追尾されている間の画像８０３、８０６を記憶部１０６に記憶する場合を例に説明したが、これに限定されるものではない。例えば、図８（ｄ）に示すように、対象の被写体が認証された時点８０１以降、対象の被写体が追尾されていない間も含む画像８２６を記憶部１０６に記憶するようにし、対象の被写体が追尾されている間は、当該被写体が含まれていることを示す情報等を含むメタデータ８２７を関連付けて記憶してもよい。また、対象の被写体が認証された時点８０１でバッファメモリ１０５に格納されていた画像８２３を記憶部１０６に記憶し、対象の被写体を追尾できた間は、当該被写体が含まれていることを示す情報等を含むメタデータ８２４を関連付けて記憶するようにすればよい。そして、このように記録された画像８２６、８２３から、メタデータ８２７、８２４にしたがって対象の被写体が追尾されている間の画像を抽出して再生することで、ユーザは対象の被写体が写っている部分の画像を見ることができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１…画像処理装置
１０２…不揮発性メモリ
１０３…認証部
１０４…追尾部
１０５…バッファメモリ
１０６…記憶部
１０７…撮像部
１０８…レンズ

Claims (12)

1. 画像を順次取得する取得部と、
   前記取得部により順次取得される画像から対象の被写体を認識する被写体認識部と、
   前記取得部により順次取得される画像に対して、前記被写体認識部により認識された前記対象の被写体の追尾処理を行う追尾部と、
   前記取得部により順次取得される画像を第１の記憶部に記憶するよう制御する記憶制御部とを備え、
   前記追尾部は、更に、前記取得部により順次取得される画像から前記被写体認識部によって前記対象の被写体が認識されるより前に前記取得部により取得され、前記第１の記憶部に格納されている格納画像に対して、前記対象の被写体の追尾処理を行い、
   前記記憶制御部は、前記取得部により順次取得される画像のうち前記追尾部により前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記追尾部によって前記対象の被写体が追尾された画像を、前記第１の記憶部とは異なる第２の記憶部に記憶するように制御する
   ことを特徴とする画像処理装置。
2. 前記記憶制御部は、前記取得部により順次取得される画像から前記被写体認識部によって前記対象の被写体が認識されるより前に前記取得部により取得され、前記第１の記憶部に格納されている画像のうち、前記対象の被写体が追尾できる時点より前の所定時間分の画像をも前記第２の記憶部に記憶するよう制御することを特徴とする請求項１に記載の画像処理装置。
3. 前記記憶制御部は、前記取得部により順次取得される画像のうち前記追尾部により前記対象の被写体が追尾できる時点より後の所定時間分の画像をも前記第２の記憶部に記憶することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記追尾部は、前記第１の記憶部に格納されていた前記格納画像のうち、新しく取得された画像から順に前記対象の被写体の追尾処理を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記被写体認識部は、予め登録された顔画像に基づいて前記対象の被写体を認識することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記追尾部は、前記被写体認識部によって認識された前記対象の被写体の軌跡の延長線上に位置する物体であって、且つ、所定の条件を満たす物体を追尾することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記追尾部は、前記被写体認識部によって認識された前記対象の被写体に対しての位置の差異及び形状の差異が所定程度以内である物体を追尾することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 録画スイッチを更に有し、
   前記記憶制御部は、前記録画スイッチがオン状態の際に、前記画像の前記第２の記憶部への記憶を行うことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 画像を保存するか否かを指示するための指示部を更に備え、
   画像を保存しない指示が前記指示部においてなされた場合には、前記記憶制御部は、前記画像を前記第２の記憶部から消去するよう制御することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
10. 前記取得部は、撮像部を用いて画像を順次取得することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 画像を順次取得するステップと、
    前記取得するステップにおいて順次取得される画像から対象の被写体を認識するステップと、
    前記取得するステップにおいて順次取得される画像に対して、前記認識するステップにおいて認識された前記対象の被写体の追尾処理を行うステップと、
    前記取得するステップにおいて順次取得される画像を第１の記憶部に記憶するよう制御するステップと、
    前記順次取得される画像から前記対象の被写体が認識されるより前に取得され、前記第１の記憶部に格納されている格納画像に対して、前記対象の被写体の追尾処理を行うステップと、
    前記順次取得される画像のうち前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記対象の被写体が追尾された画像を、前記第１の記憶部とは異なる第２の記憶部に記憶するステップと
    を有することを特徴とする画像処理装置。
12. コンピュータに、
    画像を順次取得するステップと、
    前記取得するステップにおいて順次取得される画像から対象の被写体を認識するステップと、
    前記取得するステップにおいて順次取得される画像に対して、前記認識するステップにおいて認識された前記対象の被写体の追尾処理を行うステップと、
    前記取得するステップにおいて順次取得される画像を第１の記憶部に記憶するよう制御するステップと、
    前記順次取得される画像から前記対象の被写体が認識されるより前に取得され、前記第１の記憶部に格納されている格納画像に対して、前記対象の被写体の追尾処理を行うステップと、
    前記順次取得される画像のうち前記対象の被写体が追尾される画像、及び、前記格納画像のうち前記対象の被写体が追尾された画像を、前記第１の記憶部とは異なる第２の記憶部に記憶するステップと
    を実行させるためのプログラム。

Images