JP2010130281A - 撮像装置 - Google Patents

Abstract

【課題】スルー画像上で指定した対象物を含む拡大表示領域を、対象物に応じて変更しながら拡大表示させる撮像装置を提供する。
【解決手段】撮像装置は、撮像により得られた画像データに基づく第１スルー画像を表示する表示部９０を備える。第１スルー画像Ｓ１上における第１位置を指定するために使用される操作部を備える。操作部を使って指定された第１位置を含む第１領域（第２検出セル領域ＣＡ２）の画像に含まれる特定対象物ＳＦ１を検出する検出部を備える。表示部９０に対して、第１スルー画像Ｓ１の一部の上に、検出部による第１領域（第２検出セル領域ＣＡ２）における特定対象物ＳＦ１の検出結果に基づいて、特定対象物ＳＦ１を含み且つ特定対象物ＳＦ１の位置や大きさに応じて位置や大きさが変動する拡大表示領域ＦＲの画像を拡大した第２スルー画像Ｓ２を表示させる制御部を備える。
【選択図】図７

Description

本発明は、撮像装置に関し、特に指定した領域の拡大表示を行う画面表示制御に関する。

従来、特許文献１のように、スルー画像上の一部を拡大表示させることが可能な撮像装置が提案されている。拡大表示により、拡大前の通常表示画面を見る場合に比べて、特に注目する点の視認がスムーズに行えるようになる。
特開平１１−２９８７９１号公報

しかし、拡大表示させる領域は、予め設定された複数のエリアから指定されたものに限られる。このため、拡大表示させたい対象物に応じて、拡大表示させる領域を変えることは出来ない。

したがって本発明の目的は、スルー画像上で指定した対象物を含む拡大表示領域を、対象物に応じて変更しながら拡大表示させる撮像装置を提供することである。

本発明に係る撮像装置は、撮像により得られた画像データに基づく第１スルー画像を表示する表示部と、第１スルー画像上における第１位置を指定するために使用される操作部と、操作部を使って指定された第１位置を含む第１領域の画像に含まれる特定対象物を検出する検出部と、表示部に対して、第１スルー画像の一部の上に、検出部による第１領域における特定対象物の検出結果に基づいて、特定対象物を含み且つ特定対象物の位置や大きさに応じて位置や大きさが変動する拡大表示領域の画像を拡大した第２スルー画像を表示させる制御部とを備える。

検出部により、第１領域に含まれる特定対象物を検出し、検出結果（特定対象物の位置や大きさ）に応じて拡大表示領域が変動するため、拡大表示させたい対象物（特定対象物）に応じて、拡大表示させる領域を変えることが可能になる。これにより、使用者の意図する対象物を的確な大きさで拡大表示することが可能になる。

好ましくは、特定対象物の検出後、検出部は、第１領域を含む第２領域における特定対象物の検出を行い、制御部は、検出部による第２領域における特定対象物の検出結果に基づいて、特定対象物が拡大表示領域に含まれるように、第１領域、及び拡大表示領域を変更する。

特定対象物の動きに応じて、特定対象物が拡大表示領域に含まれるように、第１領域を変更して特定対象物を検出する範囲である第２領域を変更し、且つ拡大表示領域を変更する。これにより、特定対象物を追尾することが可能になり、特定対象物が動きのあるものであっても、第２スルー画像として拡大された状態で特定対象物を含む拡大表示領域の表示を維持することが可能になる。

さらに好ましくは、制御部は、検出部による第２領域における特定対象物の検出結果に基づいて、第１スルー画像における第２スルー画像を表示する位置を変更する。

特定対象物が移動した場合、第１スルー画像上の特定対象物と、第２スルー画像とが重なり合い、第１スルー画像上の特定対象物が、第２スルー画像の下に隠れて見えなくなることが起こり得るが、特定対象物を追尾し、第２スルー画像を表示する位置を調整することで、かかる重なり合いを避けることが可能になる。

また、好ましくは、検出部が特定対象物を検出出来ない場合には、制御部は表示部による第２スルー画像の表示を終了させる。

特定対象物が、第１スルー画像の外に移動した場合や、特定対象物の形や大きさなどの変化量が多く、同じ対象物であるとして特定対象物を検出できなくなった場合には、第２スルー画像の表示を終了させる。

また、好ましくは、検出部は、顔認識結果と、画像データに基づく輝度情報による認識結果の少なくともどれか１つに基づいて特定対象物を検出する。

特定対象物の検出手段としては、顔認識や、輝度情報に基づく二値化情報や輝度パターンによるものが挙げられる。

さらに好ましくは、検出部は、顔認識結果と、輝度情報による認識結果とを組み合わせて特定対象物を検出する。

複数の認識機能を使って検出を行うことにより、たとえ一方の認識機能での検出が困難な状態になっても、他の認識で検出し、特定対象物を追尾し続けることが可能になる。

また、好ましくは、操作部は、前記第２スルー画像上における第２位置を指定するためにも使用され、操作部を使って、第２スルー画像上における第２位置が指定された場合には、制御部は、第１位置を、第１スルー画像上における第２位置に対応する場所に変更し、検出部は、変更された第１位置を含む第１領域の画像に含まれる特定対象物を検出する。

第２スルー画像表示では、使用者の意図に対応した領域が表示されない可能性がある。例えば、誤操作により、第１位置として指定する位置が少しずれた場合などに起こり得る。また、顔認識などの検出部による特定対象物の検出が、使用者の意図とは異なる結果になる場合にも起こり得る。この場合、拡大表示領域の画像が拡大表示された第２スルー画像上で再度位置指定を可能にすることにより、使用者の意図に沿った領域を正確に拡大して表示することが可能になる。

また、第２スルー画像を表示している最中に、新たに第１位置を指定することも出来る。この場合、制御部は、現在表示している第２スルー画像の表示を速やかに終了し、新たに指定された、第１位置を含む第１領域の画像で、第２スルー画像を表示する。

以上のように本発明によれば、スルー画像上で指定した対象物を含む拡大表示領域を、対象物に応じて変更しながら拡大表示させる撮像装置を提供することができる。

以下、本実施形態について、図を用いて説明する。撮像装置１は、デジタルカメラである。撮像装置１の撮像に関する部分は、操作部１０、レリーズボタン１３、各部の制御を行う制御部３０、レンズ駆動部４５、露出制御部４７、レンズ５１、ＣＣＤなどの撮像素子５３、ＡＦＥ（アナログフロントエンド）５５、ＤＳＰ（映像信号処理回路）６０、検出部６３、記録部７０、及び表示部９０を備える（図１参照）。

被写体像は、レンズ５１を介した光学像として、撮像素子５３で撮像される。撮像により得られた画像データは、ＡＦＥ５５でアナログ信号からデジタル信号に変換され、ＤＳＰ６０で画像処理される。かかる動作が一定時間（フレームレートなどに準拠、約１／３０秒）ごとに行われ、表示部９０に、画像データに基づいて第１スルー画像Ｓ１が表示される（ライブビュー表示、図２参照）。本実施形態では、第１スルー画像Ｓ１の一部の上に、後述する第２スルー画像Ｓ２が表示される。

操作部１０は、第１スルー画像上のカーソル１１を上下左右方向に移動させるために使用する方向キー１０ａ、及びカーソル１１の移動位置を決定するために使用する決定キー１０ｂを有し、これらは、後述する第１スルー画像Ｓ１上における第１位置Ｐ１を指定するために使用される。また、操作部１０は、第２スルー画像Ｓ２の表示を終了させるために使用する終了キー１０ｃを有する。

レリーズボタン１３は、半押しすることにより測光スイッチ（不図示）がオン状態にされ測光やレンズ駆動部４５による測距及び測距結果に基づく合焦動作が行われる。測光は、撮像素子５３における撮像で得られた画像データに基づいて行われる。具体的には、ＤＳＰ６０は、画像処理において生成される輝度信号から測光領域における輝度値（被写体の明るさに関する情報）を求め、輝度情報に基づく適正露出を演算し、露出時間や絞り情報などを、制御部３０に通知する。また、レリーズボタン１３は、全押しすることによりレリーズスイッチ（不図示）がオン状態にされ、制御部３０は、ＤＳＰ６０で算出された露出時間や絞り情報などで撮影が行われるように、露出制御部４７を制御し、撮像が行われる。撮像により得られた画像データに対応する画像は、表示部９０に表示され、画像データは記録部７０に記録される。但し、拡大表示領域ＦＲや、第２スルー画像Ｓ２は記録されない。これらは構図の確認のために使用されるもので、実際の撮像によって得られる画像データには記録されない。

第１スルー画像Ｓ１が表示された状態で、使用者が、方向キー１０ａを操作すると、カーソル１１が表示される（図３参照）。第１スルー画像Ｓ１上の任意の場所にカーソル１１を移動させた後、決定キー１０ｂを操作すると、制御部３０は、第１スルー画像Ｓ１を格子状に分割（例えば１６×１６に分割）してマス目（セル）を作成する。このマス目からカーソル１１の位置（第１位置Ｐ１）が、どのマス目に当てはまるかを判断し、第１位置Ｐ１を含む１マス（第１検出セル領域ＣＡ１）と、第１検出セル領域ＣＡ１の左上の原点を、検索原点Ｐ１ａとして検出する（図４参照）。図４などでは、説明のため格子を点線で示すが、実際の表示部９０の表示画面には表示されない。

制御部３０は、第１検出セル領域ＣＡ１の情報（画像情報や座標など）を、検出部６３に出力し、顔検出機能や、二値化情報や輝度パターンに基づいて、第１検出セル領域ＣＡ１の中で特定対象物ＳＦ１となりうる映像を検出させる。

特定対象物ＳＦ１は、顔や目など、予め設定された形状パターンであって、顔検出機能などによって検出される。検出部６３は、顔検出機能で、顔を特定対象物ＳＦ１として認識した場合には、認識後は顔認識機能だけでなく、二値化情報や輝度パターンに基づいて、特定対象物ＳＦ１の動き（形状や大きさの変化）を追尾する。特定対象物ＳＦ１として追尾する対象物の形状や大きさは変動する可能性があり、たとえ一方の認識機能での特定対象物ＳＦ１の検出が困難な状態になっても、他の認識で検出し、特定対象物ＳＦ１を追尾し続けることが可能になる。例えば正面を向いていた顔が横を向いたりするなど、顔認識機能だけでは、追尾出来ない特定対象物ＳＦ１を、二値化情報や輝度パターンに基づいて、追尾を継続させることが出来る。また、ポートレート撮影などで、画面全体に対する顔領域の割合が大きく、顔認識処理で顔を特定出来ない状況の場合は、二値化情報や輝度パターンで、例えば、目を特定対象物ＳＦ１として認識した場合には、認識後は二値化情報や輝度パターンに基づいて、特定対象物ＳＦ１の動きを追尾する。

第１検出セル領域ＣＡ１に、特定対象物ＳＦ１として予め設定された形状パターンに対応した“顔”が含まれる場合には、検出部６３は、顔検出機能で顔を特定対象物ＳＦ１として検出する。また、第１検出セル領域ＣＡ１に、特定対象物ＳＦ１として予め設定された形状パターンに対応した“目”が含まれる場合には、検出部６３は、二値化情報や輝度パターンに基づいて、目を特定対象物ＳＦ１として検出する。

この第１検出セル領域ＣＡ１内で特定対象物ＳＦ１が検出出来なかった場合、制御部３０は、第１検出セル領域ＣＡ１の右に隣接または下に隣接するマス目を含み一回り拡大した第２検出セル領域ＣＡ２（２×２）の情報を検出部６３に出力し、第２検出セル領域ＣＡ２の中で特定対象物ＳＦ１となりうる映像を検出させる。更に、第２検出セル領域ＣＡ２で特定対象物ＳＦ１が検出出来なかった場合、制御部３０は、第２検出セル領域ＣＡ２の左に隣接または上に隣接するマス目を含み一回り拡大した第３検出セル領域ＣＡ３（３×３）の情報を検出部６３に出力し、第３検出セル領域ＣＡ３の中で特定対象物ＳＦ１となりうる映像を検出させる。また更に、第３検出セル領域ＣＡ３で特定対象物ＳＦ１が検出出来なかった場合、制御部３０は、第３検出セル領域ＣＡ３の右に隣接または下に隣接するマス目を含み一回り拡大した第４第４検出セル領域ＣＡ４（４×４）の情報を検出部６３に出力し、第４検出セル領域ＣＡ４の中で特定対象物ＳＦ１となりうる映像を検出させる（図５参照）。

第４検出セル領域ＣＡ４で特定対象物ＳＦ１が検出出来なかった場合は、制御部３０は、特定対象物ＳＦ１の検出は終了させ、且つ、第２スルー画像Ｓ２の表示も終了させる。第４検出セル領域ＣＡ４は、第１スルー画像Ｓ１の１／１６の大きさに相当し、これ以上検出セル領域を拡大して特定対象物ＳＦ１を検出して、かかる領域を第２スルー画像Ｓ２として拡大表示させても拡大倍率が小さく拡大表示させる効果が少ないからである。これは、本来の主表示である第１スルー画像Ｓ１に対して、第２スルー画像Ｓ２をそのまま表示することによって阻害しないためである。但し、検出セル領域の拡大する上限は、第１スルー画像Ｓ１の１／１６の大きさに限られず、他の値であってもよい。

例えば、第１〜第４検出セル領域ＣＡ１〜ＣＡ４の画像が、白い壁で構成される場合には、検出部６３は、特定対象物ＳＦ１を検出することが出来ない。

なお、本実施形態では、１６×１６の格子状に分割する形態を説明するが、分割数はこれに限られない。例えば、３２×３２の格子状に分割するなど、分割数を多くすれば、検出セル領域を拡大させる幅を小さくすることが可能になる。

操作部１０は、表示部９０に設けられたタッチパネルであってもよい。この場合は、第１スルー画像Ｓ１上の任意の場所に使用者の指などが触れることにより、触れた位置に第１位置Ｐ１が指定される。

特定対象物ＳＦ１の検出を最初に行う場合、すなわち特定対象物ＳＦ１を検出していない状態で特定対象物ＳＦ１の検出を行う場合、検出部６３は、第１〜第４検出セル領域ＣＡ１〜ＣＡ４のいずれの範囲で、特定対象物ＳＦ１を検出する（図６参照）。本実施形態では、第２検出セル領域ＣＡ２の範囲で特定対象物ＳＦ１を検出した場合について説明する。

顔認識により、第２検出セル領域ＣＡ２の中で特定対象物ＳＦ１を検出した場合には、検出部６３は、第２検出セル領域ＣＡ２の検索原点Ｐ１ａの座標位置とセル数（第２検出領域ＣＡ２の場合は２×２）、認識した第２検出セル領域ＣＡ２内の一部（顔の画像位置）を特定対象物ＳＦ１として、第２検出セル領域ＣＡ２に対する差分座標位置（第２検出セル領域ＣＡ２に対する位置関係情報、オフセット量）を記録する。この場合、制御部３０は、第２検出セル領域ＣＡ２と同じ大きさで且つ、検出された特定対象物ＳＦ１が中央に配置される拡大表示領域ＦＲを特定し、拡大表示領域ＦＲの画像を抽出し、第１スルー画像Ｓ１の一部の上に、電子ズームを利用して、第２スルー画像Ｓ２として拡大表示させる（図７参照）。このとき、特定対象物ＳＦ１は第２スルー画像Ｓ２の中央に、拡大特定対象物ＳＦ２となって表示される。

また、検出部６３は、特定対象物ＳＦ１を含む第２検出セル領域ＣＡ２における、顔認識情報（第１認識パターンＭＰ１、図９参照）、輝度情報に基づく二値化情報（第２認識パターンＭＰ２、図１０参照）、及び輝度パターン（第３認識パターンＭＰ３、図１１参照）を記録する。これらの情報は、２回目以降の検出、すなわち特定対象物ＳＦ１の追尾に利用される。

二値化情報や輝度パターンにより、第２検出セル領域ＣＡ２の中で特定対象物ＳＦ１を検出した場合には、検出部６３は、第２検出セル領域ＣＡ２の検索原点Ｐ１ａの座標位置とセル数を記録する。この場合、制御部３０は、特定対象物ＳＦ１を含み、第２検出セル領域ＣＡ２と同じ大きさで且つ同じ位置に配置される拡大表示領域ＦＲを特定し、拡大表示領域ＦＲの画像を抽出し、第１スルー画像Ｓ１の一部の上に、電子ズームを利用して、第２スルー画像Ｓ２として拡大表示させる。このとき、特定対象物ＳＦ１は第２スルー画像Ｓ２上に、拡大特定対象物ＳＦ２となって表示される。但し、二値化情報または輝度パターンに基づく場合には、特定対象物ＳＦ１は拡大表示領域ＦＲの中心に配置されるとは限らず、第２スルー画像Ｓ２上で、拡大特定対象物ＳＦ２の位置は変動する。

また、検出部６３は、特定対象物ＳＦ１を含む第２検出セル領域ＣＡ２における、輝度情報に基づく二値化情報（第２認識パターンＭＰ２、図１０参照）、及び輝度パターン（第３認識パターンＭＰ３、図１１参照）を記録する。これらの情報は、２回目以降の検出、すなわち特定対象物ＳＦ１の追尾に利用される。

制御部３０は、特定対象物ＳＦ１が最初に検出されてから一定時間が経過後の次のフレームで、２回目の検出を、検出部６３に行わせる。検出部６３は、１回目に記録した特定対象物ＳＦ１の検索原点Ｐ１ａを基に、第２検出セル領域ＣＡ２を基準として、上下左右に隣接するマス目を含む追尾セル領域ＣＡ２ａ（４×４）で検索を行う（図８参照）。

追尾セル領域ＣＡ２ａ（４×４）での検索によって特定対象物ＳＦ１が検出された場合には、検出部６３は、検出された特定対象物ＳＦ１に基づく顔認識情報（第１認識パターンＭＰ１）、二値化情報（第２認識パターンＭＰ２）、及び輝度パターン（第３認識パターンＭＰ３）と、検出部６３で記録した顔認識情報（第１認識パターンＭＰ１）、二値化情報（第２認識パターンＭＰ２）、及び輝度パターン（第３認識パターンＭＰ３）を比較する。比較の結果、両者の認識パターンが似通っているなど、両者の特定対象物ＳＦ１が同じ対象物（顔など）に基づくものであると判断した場合には、新しい特定対象物ＳＦ１に基づいて、検索原点Ｐ１ａの座標位置などを更新する。

比較の結果、両者の認識パターンが似通っていないなど、両者の特定対象物ＳＦ１が同じ対象物に基づくものでないと判断した場合には、検索によって特定対象物ＳＦ１が検出されていないとされる。

また、制御部３０は、検出された特定対象物ＳＦ１を含む拡大表示領域ＦＲの画像を抽出し、第１スルー画像Ｓ１の一部の上に、電子ズームを利用して、第２スルー画像Ｓ２として拡大表示させる。上記、２回目の検出動作を繰り返すことにより、制御部３０は、検出部６３による追尾セル領域における特定対象物ＳＦ１の検出結果に基づいて、特定対象物ＳＦ１が拡大表示領域ＦＲに含まれるように、検出セル領域や拡大表示領域ＦＲを変更する。これにより、第２スルー画像Ｓ２の表示は、安定的に特定対象物ＳＦ１を含む拡大表示領域ＦＲの拡大映像を表示し続けることが可能となる。

検出部６３は、記録した検索原点Ｐ１ａで、特定対象物ＳＦ１を検出出来なかった場合、検索原点Ｐ１ａを右下１マス分移動させて、すなわち追尾セル領域ＣＡ２ａを右下１マス分移動させて、移動後の追尾セル領域ＣＡ２ａ内で、特定対象物ＳＦ１の検出を実施する。検出の内容は、追尾セル領域ＣＡ２ａを右下１マス分移動させる前に行った検出の内容と同様である。

この場合でも、特定対象物ＳＦ１を検出出来なかった場合、検索原点Ｐ１ａを左下１マス分移動させて、同様の検出を行う。この場合でも、特定対象物ＳＦ１を検出出来なかった場合、検索原点Ｐ１ａを左上１マス分移動させて、同様の検出を行う。この場合でも、特定対象物ＳＦ１を検出出来なかった場合、検索原点Ｐ１ａを右上１マス分移動させて、同様の検出を行う。すなわち、第２検出セル領域ＣＡ２に対して上下左右隣接する２マスを含む６×６のセル領域で、特定対象物ＳＦ１の検出が行われる。検索原点Ｐ１ａを移動させる順序は、これに限られるものではない。

このように、検索原点Ｐ１ａを移動させて、検出部６３が、特定対象物ＳＦ１を検出した場合、検出部６３は、移動後の検索原点Ｐ１ｂを新たな検索原点Ｐ１ａとして記録する。

例として、撮像装置１の保持姿勢が同じ状態のまま、特定対象物ＳＦ１が、左上に移動した場合、制御部３０からの指示を受けた検出部６３は、移動前の検索原点Ｐ１ａを含む追尾セル領域ＣＡ２ａで検出を行っても特定対象物ＳＦ１の検出は出来ない。この場合、検索原点Ｐ１ａ（追尾セル領域ＣＡ２ａ）を左上に移動させた場合の検索原点Ｐ１ｂを含む追尾セル領域ＣＡ２ｂで、特定対象物ＳＦ１を検出することが出来る（図１２参照）。これを基に制御部３０は、新たな拡大表示領域ＦＲａを算出し、第１スルー画像Ｓ１の一部の上に、電子ズームを利用して、第２スルー画像Ｓ２として拡大表示させる。検出部６３は、検索原点Ｐ１ｂを新しい検索原点Ｐ１ａとして記録する。

検出部６３が、検索原点Ｐ１ａを左下などに移動させて特定対象物ＳＦ１の検出を実施しても特定対象物ＳＦ１を検出出来なかった場合、制御部３０は、特定対象物ＳＦ１の追尾が行えなかったとして、第２スルー画像Ｓ２の表示を終了する。

また、被写体が撮像装置１に接近する、若しくは、撮像装置１のズーム機能などにより、特定対象物ＳＦ１の大きさが現在検出に使用している検出セル領域（第２検出セル領域ＣＡ２）よりも大きくなることが起こりうる。このため、検出部６３は、特定対象物ＳＦ１の変化度合いから、特定対象物ＳＦ１の大きさが第２検出セル領域ＣＡ２よりも大きくなり、第２検出セル領域ＣＡ２（２×２）では特定対象物ＳＦ１を検出出来なくなるか否かを判断し、検出出来なくなると判断した場合には、特定対象物ＳＦ１を含み、且つ第２検出セル領域ＣＡ２よりも横方向と縦方向に１マスずつ大きくした第３検出セル領域ＣＡ３（３×３）を新たな検出セル領域とし、第３検出セル領域ＣＡ３の左上の端部Ｐ１ｃを新たな検索原点Ｐ１ａとして記録する。

図１３は、セル検出領域を第２検出セル領域ＣＡ２から、右方向と上方向に１マスずつ大きくした第３検出セル領域ＣＡ３に置き換えた状態を示す。このように特定対象物ＳＦ１が大きくなる場合には、検出セル領域が大きくなるように制御し、同様に、特定対象物ＳＦ１が小さくなるときにも、特定対象物ＳＦ１を把握し、検出セル領域が小さくなるように制御する。なお、検出部６３は、特定対象物ＳＦ１が第４検出セル領域ＣＡ４より大きくなると判断した場合は、制御部３０に、第２スルー画像Ｓ２の表示を終了するように通知する。

従って、検出部６３は、形状認識機能を使って、特定対象物ＳＦ１の動き（位置と大きさの変化）を追尾し、制御部３０は、検出セル領域の大きさに応じて第２スルー画像Ｓ２での特定対象物ＳＦ１を含む拡大表示領域ＦＲの画像の拡大表示を維持する。

但し、特定対象物ＳＦ１が第１スルー画像Ｓ１上から外れた場合、すなわち撮像素子５３の撮像領域から外れた場合や、形状が大きく変化するなど検出部６３が特定対象物ＳＦ１を認識できない状態になった場合には、かかる旨の情報を制御部３０に出力し、制御部３０は、第２スルー画像Ｓ２の表示を終了する。

また、制御部３０は、特定対象物ＳＦ１の動きに応じて、第２スルー画像Ｓ２が、拡大表示領域ＦＲと重複しないように、第２スルー画像Ｓ２を表示させる位置を調整する。特定対象物ＳＦ１が移動した場合、第１スルー画像Ｓ１上の特定対象物ＳＦ１と、第２スルー画像Ｓ２とが重なり合い、第１スルー画像Ｓ１上の特定対象物ＳＦ１が、第２スルー画像Ｓ２の下に隠れて見えなくなることが起こり得る。このため、本実施形態では、第１スルー画像Ｓ１を４等分し、更に、中心に１つの範囲を設けた５つのエリア（第１〜第５エリアＡＲ１〜ＡＲ５）に分割し、検索原点Ｐ１ａの移動履歴を、通過したエリアに対応させて記録する。例えば、検索原点Ｐ１ａが第３エリアＡＲ３に居る状態（図１４参照）から、特定対象物ＳＦ１が移動して検索原点Ｐ１ａが第３エリアＡＲ３→第５エリアＡＲ５→第２エリアＡＲ２と移動した場合、第２スルー画像Ｓ２を第３エリアＡＲ３に移動する（図１５参照）。また、また、検索原点Ｐ１ａが第３エリアＡＲ３に居る状態（図１４参照）から、画像が移動して検索原点Ｐ１ａが第３エリアＡＲ３→第４エリアＡＲ４→第２エリアＡＲ２と移動した場合、第２スルー画像Ｓ２を第１エリアＡＲ１に移動する（不図示）。このように、検索原点Ｐ１ａが移動した履歴から第２スルー画像Ｓ２の表示場所を、最適な位置に移動させる。なお、移動履歴はリングバッファのような周回記録方式を用いて、最も古い情報は、最新の情報に書き換える形をとり、いくつかの最新情報のみ記録しておく。

制御部３０は、第２スルー画像Ｓ２が表示され、検出部６３により、特定対象物ＳＦ１が検出されている最中に、終了キー１０ｃが押下されたことを認識すると、第２スルー画像Ｓ２の表示を終了させ、検出部６３など検出作業の総ての処理を初期化させ、終了させる。

次に、第２スルー画像Ｓ２の拡大表示を行う手順について、図１６のフローチャートを用いて説明する。撮像装置１の電源がオン状態にされると、ステップＳ１０で、撮像素子５３による撮像、ＤＳＰ６０による画像処理および露出演算が行われ、表示部９０に、画像データに基づいて第１スルー画像Ｓ１が表示される。ステップＳ１０の第１スルー画像Ｓ１の表示は、一定時間ごとに行われる。ただし、レリーズボタン１３が全押しされて本撮影が完了するまでの間は、中断する。

また、制御部３０は、第２スルー画像Ｓ２が表示され、検出部６３により、特定対象物ＳＦ１が検出されている最中に、第１スルー画像Ｓ１の特定位置をカーソル１１により新たに指定すると、その位置を、新しい第１位置Ｐ１として、既存の情報を更新し、今まで述べてきた手順と同じ動作で、第２スルー画像Ｓ２を再表示する。

ステップＳ１１で、操作部１０の終了キー１０ｃが押されたかを確認する。終了に関しては後述するので、ここでは、押されていないという状況で、ステップＳ１２に進む。

ステップＳ１２で、制御部３０は、操作部１０による第１位置Ｐ１の指定が行われたか否かを判断する。指定が行われていない場合は、ステップＳ１０に戻される。初めて指定が行われた場合にはステップＳ１３に進められる。既に指定されている場合はステップＳ１４に進められる。また、第１スルー画像Ｓ１上の既存の第１位置Ｐ１以外に、新たな第１位置Ｐ１が指定された場合は、旧第１位置Ｐ１に関連する情報（特定対象物ＳＦ１を検出するのに必要な情報）を初期化し、既に表示している第２スルー画像Ｓ２を終了させて、初めて第１位置Ｐ１の指定が行われたとしてステップＳ１３に進められる。

ステップＳ１３で、検出部６３は、第１位置Ｐ１を含む第１〜第４検出セル領域ＣＡ１〜ＣＡ４のいずれかにおいて、特定対象物ＳＦ１の検出を行う。検出出来た場合は、検出部６３は、検索原点Ｐ１ａや検出セル領域の情報、及び特定対象物ＳＦ１に関する情報を記録し、制御部３０に出力する。検出出来ない場合には、特定対象物ＳＦ１を認識出来ない旨の情報を制御部３０に出力する。

ステップＳ１４で、検出部６３は、ステップＳ１３、または前回のステップＳ１４で導き出して検出部６３に記録しておいた検索原点Ｐ１ａや検出セル領域の情報、及び特定対象物ＳＦ１に関する情報に基づいて、検索原点Ｐ１ａを含む第１〜第４検出セル領域ＣＡ１〜ＣＡ４のいずれかの上下左右に隣接するマスを含む追尾セル領域内で、特定対象物ＳＦ１の検出を行う。検出出来ない場合には、特定対象物ＳＦ１を認識出来ない旨の情報を制御部３０に出力する。例えば、前回検出した特定対象物ＳＦ１が第２検出セル領域ＣＡ２に含まれる場合には、第２検出セル領域ＣＡ２の上下左右に隣接するマス目を含む追尾セル領域ＣＡ２ａ（４×４）で、特定対象物ＳＦ１の検索が行われる。

特定対象物ＳＦ１が検出されると、検出部６３は、前回検出された特定対象物ＳＦ１に関する情報（第１〜第３認識パターンＭＰ１〜ＭＰ３）と、今回検出された特定対象物ＳＦ１に関する情報（第１〜第３認識パターンＭＰ１〜ＭＰ３）とを比較し、両者の認識パターンが似通っており、両者の特定対象物ＳＦ１が同じ対象物に基づくものであると判断出来た場合は、検索原点Ｐ１ａや検出セル領域の情報、及び特定対象物ＳＦ１に関する情報を更新する。更新された情報は、制御部３０に出力される。次回のステップＳ１４では、検出部６３は、更新された検索原点Ｐ１ａや検出セル領域に基づく検出セル領域で、特定対象物ＳＦ１の検出を行い、更新された特定対象物ＳＦ１に関する情報と新たに検出された特定対象物ＳＦ１に関する情報との比較を行う。特定対象物ＳＦ１が検出された場合であっても、比較の結果、両者の認識パターンが似通っていないなど、両者の特定対象物ＳＦ１が同じ対象物に基づくものでないと判断した場合には、検索によって特定対象物ＳＦ１が検出されていないとされ、特定対象物ＳＦ１を認識出来ない旨の情報を制御部３０に出力する。

ステップＳ１５で、制御部３０は、検出部６３から出力された情報に基づいて、特定対象物ＳＦ１の認識が出来ているか否かを判断する。出来ていない場合は、ステップＳ１０に戻される。この場合、指定された第１位置Ｐ１の情報など特定対象物ＳＦ１を検出するために使用された情報は消去（リセット）、すなわち特定対象物ＳＦ１検出にかかる総ての処理が初期化される。また、第１スルー画像Ｓ１上に拡大表示領域ＦＲや、第２スルー画像Ｓ２が表示されている場合にはこれらの表示を終了する。特定対象物ＳＦ１の認識が出来ている場合には、ステップＳ１６に進められる。

ステップＳ１６で、制御部３０は、検出部６３から出力された情報に基づいて拡大表示領域ＦＲを決定し、拡大表示領域ＦＲの画像データを一時記憶する。例えば、顔認識機能によって、第２検出セル領域ＣＡ２の中で特定対象物ＳＦ１を検出した場合には、第２検出セル領域ＣＡ２と同じ大きさで且つ特定対象物ＳＦ１が中心になるように、拡大表示領域ＦＲが決定される。ステップＳ１７で、検索原点Ｐ１ａの移動履歴から、現在第２スルー画像Ｓ２を表示する位置が、ステップＳ１６で決定した拡大表示領域ＦＲの位置と重複するか否かを判断する。重複すると判断した場合には、ステップＳ１８で、第２スルー画像Ｓ２を表示させる位置を、拡大表示領域ＦＲと重複しない位置に変更する。また、ステップＳ１７の時点で、第２スルー画像Ｓ２が表示されていない場合、すなわち最初に第２スルー画像Ｓ２を表示する場合には、ステップＳ１８で、第２スルー画像Ｓ２を表示させる位置を、拡大表示領域ＦＲと重複しない位置に設定する。重複しないと判断した場合には、ステップＳ１９に進められる。ステップＳ１９で、第２スルー画像Ｓ２の表示が行われ、ステップＳ１０に戻され、次の第１スルー画像Ｓ１の表示動作が行われる。ステップＳ１０〜Ｓ１９を一定時間ごとに繰り返すことにより、一定時間ごとに第１スルー画像Ｓ１及び第２スルー画像Ｓ２の表示が繰り返し行われる。

制御部３０は、第１スルー画像Ｓ１表示のステップＳ１０を実施した後に、ステップＳ１１で終了キーが押下されていることを確認する。押下されている場合は、第２スルー画像Ｓ２を表示している場合は、表示を終了し、特定対象物ＳＦ１検出にかかる総ての処理を初期化する。この後、ステップＳ１０に戻り、そのまま、第１スルー画像Ｓ１の表示動作が行われる。

本実施形態では、画像全体に対して小さい領域（拡大表示領域ＦＲ）の画像が、第２スルー画像Ｓ２上に拡大表示されるため、拡大表示領域ＦＲ内の画像の詳細を簡単に視認することが可能になる。また、顔認識機能などにより拡大表示領域ＦＲに含まれる特定対象物ＳＦ１が追尾出来るため、特定対象物ＳＦ１が移動しても特定対象物ＳＦ１を含む拡大表示領域ＦＲの画像の拡大表示は維持出来る。

例えば、風景写真を撮る場合に、特に気になる部分の近くに第１位置Ｐ１を指定し、かかる部分を特定対象物ＳＦ１として認識させ、かかる部分を含む拡大表示領域ＦＲの拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。また、集合写真を撮る場合に、ある人物の顔の近くに第１位置Ｐ１を指定し、かかる人物の顔を特定対象物ＳＦ１として認識させ、かかる人物の顔を含む拡大表示領域ＦＲの拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。また、マクロ撮影において、特に注目したい部分の近くに第１位置Ｐ１を指定し、かかる部分を特定対象物ＳＦ１として認識させ、かかる部分を含む拡大表示領域ＦＲの拡大表示画像（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。例えば、花を被写体とし、雄しべに注目したい場合は、雄しべを特定対象物ＳＦ１として認識させるように第１位置Ｐ１を指定する。風などにより雄しべが揺らいで動いたとしても、認識出来る限り特定対象物ＳＦ１が追尾されるため、注目したい箇所（特定対象物ＳＦ１）を含む拡大表示領域ＦＲを安定的に第２スルー画像Ｓ２として拡大表示することが出来る。また、多くの動物を含む被写体を撮る場合に、ある動物の近くに第１位置Ｐ１を指定し、かかる動物を含む拡大表示領域ＦＲを特定対象物ＳＦ１として認識させ、かかる動物の拡大表示（第２スルー画像Ｓ２）を見ながら、被写体全体を示す第１スルー画像Ｓ１を確認することが可能になる。

また、特定対象物ＳＦ１を検出する際に、特定対象物ＳＦ１のおおよその位置が使用者の手入力によって指定されているため、その周辺（検出セル領域）だけを検出するだけで、特定対象物ＳＦ１を特定することが可能になる。このため、画面全体から特定対象物ＳＦ１を検出する形態に比べて、検出時間が短く且つ正確に使用者の意図する対象物を特定対象物ＳＦ１として検出することが可能になる。

第２スルー画像Ｓ２の表示では、使用者の意図に対応した領域が表示されない可能性がある。例えば、誤操作により、第１位置Ｐ１として指定する位置が少しずれた場合や、顔認識などの検出部６３による特定対象物ＳＦ１の認識が、使用者の意図とは異なる結果になる場合に起こり得る。この場合を考慮して、拡大表示領域ＦＲの画像が拡大表示された第２スルー画像Ｓ２上で再度位置指定を可能にしてもよい。これにより、使用者の意図に沿った領域を正確に拡大して表示することが可能になる。また、拡大表示された第２スルー画像Ｓ２を利用して、繰り返し第１位置Ｐ１の指定位置を設定し直すことが可能になる。

具体的には、操作部１０は、第２スルー画像Ｓ２上における第２位置Ｐ２（不図示）を指定するためにも使用される。操作部１０を使って、第２スルー画像Ｓ２上における第２位置Ｐ２が指定された場合には、制御部３０は、第１位置Ｐ１を、第１スルー画像Ｓ１上における第２位置Ｐ２に対応する場所に変更する。その後は、変更された第１位置Ｐ１に基づいて、検出部６３による特定対象物ＳＦ１の認識、制御部３０による拡大表示領域ＦＲの算出などが行われる。図１６のステップＳ１２で考えると、操作部１０により、既に表示している第２スルー画像Ｓ２上で、第１位置Ｐ１が指定されると、図１６のステップＳ１２で、初めて第１位置の指定が行われたとしてステップＳ１３に進められる。

また、第１スルー画像Ｓ１上で、再度位置指定も可能である。この場合は、既に第１位置Ｐ１として指定された位置から離れた位置を新たに第１位置Ｐ１として指定することが可能になる。第１位置Ｐ１が新たに指定されたとき、既に第２スルー画像Ｓ２を表示していた場合は、それまで検出していた特定対象物ＳＦ１の情報や、検索原点Ｐ１ａの情報を初期化し、新たに設定された第１位置Ｐ１に基づいて特定対象物ＳＦ１の検出を行い、第２スルー画像Ｓ２の表示を行う。

なお、本実施形態は、撮像装置１がデジタルカメラであるとして説明したが、デジタルビデオカメラであってもよい。

本実施形態における撮像装置の構成図である。 第１スルー画像が表示された状態の表示部を示す図である。 第１スルー画像上でカーソルを移動させて第１位置を指定する状態の表示部を示す図である。 第１スルー画像上における第１位置、検索原点、及び第１検出セル領域の位置関係を示す図である。 第１〜第４検索セル領域の大きさの推移を示す図である。 第１スルー画像上における特定対象物と第２検出セル領域の位置関係を示す図である。 顔認識機能で特定対象物を検出した場合の、第１スルー画像上における特定対象物、第２検出セル領域、及び拡大表示領域の位置関係を示す図である。 第２検出セル領域と追尾セル領域との位置関係を示す図である。 特定対象物を含む第２検出セル領域における、顔認識情報（第１認識パターン）を示す図である。 特定対象物を含む第２検出セル領域における、輝度情報に基づく二値化情報（第２認識パターン）を示す図である。 特定対象物を含む第２検出セル領域における、輝度情報に基づく輝度パターン（第３認識パターン）を示す図である。 検索原点や追尾セル領域の移動前後の位置関係を示す図である。 検出セル領域を第２検出セル領域から第３検出セル領域に変更する場合における、第２、第３検出セル領域の位置関係を示す図である。 第２スルー画像の位置調整を行う前の第１、第２スルー画像の表示例である。 第２スルー画像の位置調整後の第１、第２スルー画像の表示例である。 第２スルー画像の表示手順を示すフローチャートである。

符号の説明

１ 撮像装置
１０ 操作部
１３ レリーズボタン
３０ 制御部
４５ レンズ駆動部
４７ 露出制御部
５１ レンズ
５３ 撮像素子
５５ ＡＦＥ
６０ ＤＳＰ
６３ 検出部
７０ 記録部
９０ 表示部

Claims (7)

1. 撮像により得られた画像データに基づく第１スルー画像を表示する表示部と、
   前記第１スルー画像上における第１位置を指定するために使用される操作部と、
   前記操作部を使って指定された前記第１位置を含む第１領域の画像に含まれる特定対象物を検出する検出部と、
   前記表示部に対して、前記第１スルー画像の一部の上に、前記検出部による前記第１領域における前記特定対象物の検出結果に基づいて、前記特定対象物を含み且つ前記特定対象物の位置や大きさに応じて位置や大きさが変動する拡大表示領域の画像を拡大した第２スルー画像を表示させる制御部とを備えることを特徴とする撮像装置。
2. 前記特定対象物の検出後、前記検出部は、前記第１領域を含む第２領域における前記特定対象物の検出を行い、
   前記制御部は、前記検出部による前記第２領域における前記特定対象物の検出結果に基づいて、前記特定対象物が前記拡大表示領域に含まれるように、前記第１領域、及び前記拡大表示領域を変更することを特徴とする撮像装置。
3. 前記制御部は、前記検出部による前記第２領域における前記特定対象物の検出結果に基づいて、前記第１スルー画像における前記第２スルー画像を表示する位置を変更することを特徴とする請求項２に記載の撮像装置。
4. 前記検出部が前記特定対象物を検出出来ない場合には、前記制御部は前記表示部による前記第２スルー画像の表示を終了させることを特徴とする請求項２に記載の撮像装置。
5. 前記検出部は、顔認識結果と、前記画像データに基づく輝度情報による認識結果の少なくともどれか１つに基づいて前記特定対象物を検出することを特徴とする請求項２に記載の撮像装置。
6. 前記検出部は、前記顔認識結果と、前記輝度情報による認識結果とを組み合わせて前記特定対象物を検出することを特徴とする請求項５に記載の撮像装置。
7. 前記操作部は、前記第２スルー画像上における第２位置を指定するためにも使用され、
   前記操作部を使って、前記第２スルー画像上における前記第２位置が指定された場合には、前記制御部は、前記第１位置を、前記第１スルー画像上における前記第２位置に対応する場所に変更し、前記検出部は、前記変更された前記第１位置を含む前記第１領域の画像に含まれる前記特定対象物を検出することを特徴とする請求項１に記載の撮像装置。

Images