JP2012065049A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像中の多数被写体における所望被写体の有無を容易に確認可能とすること。
【解決手段】画像処理装置は、取得画像を表示する表示部１４と、取得された画像から顔画像を検出する顔領域抽出部１５と、表示部１４に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力部１２と、基準点を基に主要被写体を決定する被写体決定部１７と、取得された画像から、主要被写体における所定の身体部位の画像を抽出する身体部位抽出部１９と、主要被写体に関係した、検出された顔画像と、抽出された身体部位の画像と、の少なくとも一方を、表示部１４に拡大表示する制御部１０と、を備える。
【選択図】図１

Description

本発明は、画像を処理する画像処理装置及び画像処理方法に関する。

特許文献１には、人物の顔を含む画像から顔領域を容易に抽出し、さらには人物の確認を容易に行えるように、抽出された顔領域を拡大して液晶モニタに表示する装置が開示されている。

また、製品として、「個人認識」機能が搭載されたカメラや、「ピント位置拡大表示」機能とし画面内の顔ＡＦ枠を拡大表示する機能を搭載したカメラが発売されている。

特開２００３−１０８９７９号公報

上記特許文献１に開示の技術や従来製品における拡大表示機能は、集合写真を想定しているため、顔領域を抽出した後、顔を拡大して、表情の確認をしたり、目を閉じていないかのチェックを行うための機能である。

また、従来の製品に搭載されている個人認識機能は、集合写真の中で特定の人にフォーカスを合わせたたり露出を合わせる場合に有用な機能であるが、性能としては、ほぼ正面顔だけ認識可能である上、誤認識が多く、かなり不安定である。

以上のことから、人物が常に正面顔ではなく顔が横向きや後ろ向きである場合が多く、人物が動いている、人物と撮影者の間に距離がある、というような運動会等のスポーツイベントの環境下おいて、現状の技術や製品では、自動で撮影対象となる特定の個人（例：自分の子供）をみつけ、教えてくれる性能を満たしていない。

例えば、運動会等で我が子を撮影しようとした場合、必ずしも我が子がカメラ側の正面を向いているわけではないため、親は顔から自分の子供であると認識するのではなく、横顔や髪型、背格好、歩き方などのクセから子供を確定することが多い。また、他の子供と区別がつくように他の子と違う靴下をはかせる等、我が子と他の子供の区別がつくように工夫をしている。

また、公園やドッグラン等で自分の犬を探して撮影する等、人物以外の被写体を撮影する場合も同様である。

本発明は、上記の点に鑑みてなされたもので、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能とする画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置の一態様は、
取得された画像を表示する画像表示手段と、
前記取得された画像から顔画像及び全身画像の少なくとも一方を検出する領域抽出手段と、
前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力手段と、
前記指定された基準点を基に主要被写体を決定する被写体決定手段と、
前記取得された画像から、前記被写体決定手段によって決定された前記主要被写体における所定の身体部位の画像を抽出する身体部位抽出手段と、
前記被写体決定手段によって決定された前記主要被写体に関係した、前記領域抽出手段によって検出された顔画像及び全身画像の前記少なくとも一方と、前記身体部位抽出手段によって抽出された身体部位の画像と、の少なくとも一方を、前記画像表示手段に拡大表示する制御手段と、
を具備することを特徴とする。
また、本発明の画像処理方法の一態様は、
取得された画像を画像表示手段に表示し、
前記取得された画像から顔画像及び全身画像の少なくとも一方を検出し、
入力手段によって、前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付け、
前記指定された基準点を基に主要被写体を決定し、
前記取得された画像から、前記決定された主要被写体における所定の身体部位の画像を抽出し、
前記決定された主要被写体に関係した、前記検出された顔画像及び全身画像の前記少なくとも一方と、前記抽出された身体部位の画像と、の少なくとも一方を、前記画像表示手段に拡大表示する、
ことを特徴とする。

本発明によれば、撮影された被写体の顔の向きによらず、その被写体を特定し易い画像を表示することで、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能とする画像処理装置及び画像処理方法を提供することができる。

即ち、顔領域だけではなく、他の被写体とは異なるアイテムや特徴を持たせた箇所をユーザが選択し、拡大表示することから、ユーザ所望の被写体を探し易くなる。また、顔認識だけでは精度が上がらない場合も、顔認識に加えて、色や形などの組み合わせにより所望被写体認識の認識率を高め、所望被写体の写真を撮る機会をユーザに提供できる。

図１は、本発明の第１実施形態に係る画像処理装置を搭載したデジタルカメラの構成を示す概略ブロック図である。 図２は、第１実施形態のデジタルカメラにおける画像処理動作を説明するためのフローチャートを示す図である。 図３は、表示判定について説明するためのフローチャートを示す図である。 図４は、身体部位選択部で、ユーザが身体部分の足元部分を拡大表示すると選び、表示判定結果によって、顔と身体部位を拡大表示すると判定され、顔領域と足元領域が拡大表示された状態の一例を示す図である。 図５は、身体部位選択部で、ユーザが身体部分の足元部分を拡大表示すると選び、表示判定結果によって、顔と身体部位を拡大表示すると判定され、顔領域と足元領域が拡大表示された状態の別の例を示す図である。 図６は、身体部位選択部で、ユーザが身体部分の足元部分を拡大表示すると選んだが、表示判定結果により、顔検出と全身検出はできたが、足元部分が検出ができず、顔領域だけが拡大表示された状態を示す図である。 図７Ａは、主要被写体が動いた場合に、追尾を行い主要被写体の移動に合わせて顔及び身体部位を拡大表示する場合の第１の状態を説明するための図である。 図７Ｂは、主要被写体が動いた場合に、追尾を行い主要被写体の移動に合わせて顔及び身体部位を拡大表示する場合の第２の状態を説明するための図である。 図７Ｃは、主要被写体が動いた場合に、追尾を行い主要被写体の移動に合わせて顔及び身体部位を拡大表示する場合の第３の状態を説明するための図である。

以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係る画像処理装置を搭載したデジタルカメラ１は、制御部１０、撮像部１１、入力部１２、記録部１３、表示部１４、顔領域抽出部１５、全身領域抽出部１６、被写体決定部１７、身体部位選択部１８、身体部位抽出部１９及び、追尾部２０を備える。

ここで、制御部１０は、当該デジタルカメラ１の全体を制御するＣＰＵである。撮像部１１は、画像を得るレンズ、シャッタ、ＣＣＤ等からなる。入力部１２は、上下左右のカーソルキー、確定ボタン等を含み、更に、ペンや指による入力を受け付けるタッチパネルを含むこともできる。記録部１３は、撮像部１１で取得した画像を記録する内蔵メモリであるが、この記録部１３として着脱可能なメモリカード等の補助記録手段を備えても良い。表示部１４は、記録部１３に記録された画像を表示する液晶モニタ等である。この表示部１４は、当該デジタルカメラ１の背面に配され、上記撮影記録された画像の表示に使用されるだけでなく、撮影時の構図決定用に、撮像部１１で取得した画像を所謂スルー画像として表示する用途にも使用される。

顔領域抽出部１５は、表示部１４に表示されたスルー画像において、少なくとも１つの基準点の指定を入力部１２により受け付け、指定された基準点に基づいて、そのスルー画像として表示されている取得画像から顔画像を検出する。

全身領域抽出部１６は、上記指定された基準点に基づいて、取得画像から人体全身画像を検出する。なお、本実施形態において、「全身」とは、例えば人物の頭の先から足の先まで、両手の先まで、を含む厳密に身体の全てを含む領域を意味するものではなく、身体の一部が画面外となっている場合には、画面内に存在する全ての身体部分の領域を指すものとする。

被写体決定部１７は、上記指定された基準点に基づいて主要被写体を決定する。

身体部位選択部１８は、身体のどの部位を拡大表示の対象とするかを、上記入力部１２によるユーザ入力に従って選択する。身体部位抽出部１９は、この身体部位選択部１８によって選択された部位を、上記全身領域抽出部１６で検出した取得画像中の人体全身画像から抽出する。

制御部１０は、上記顔領域抽出部１５で検出した顔画像、及び、上記身体部位抽出部１９で抽出した任意の身体部位の画像、をそれぞれ拡大して、表示部１４に表示する。
追尾部２０は、被写体決定部１７によって決定した主要被写体が動いた場合に追尾し、上記顔領域抽出部１５で検出した顔画像、及び、上記身体部位抽出部１９で抽出した任意の身体部位の画像、をそれぞれ拡大して、表示部１４に表示する。

次に、本実施形態における画像処理動作について、図２のフローチャートを参照して説明する。
まず、制御部１０は、撮像部１１を用いて取得した画像をスルー画像として、画像表示手段として機能する表示部１４に表示させ（ステップＳ１１）、ユーザによる基準点の指定を受け付ける（ステップＳ１２）。

すなわち、ユーザは、必要に応じて、入力手段として機能する入力部１２のカーソルキーを用いて、表示部１４に表示されているスルー画像の中で拡大したい箇所を指定する。ここでユーザによって指定された位置を、本実施形態では「基準点」と呼称する。ユーザは、もし必要が無ければ基準点を指定しなくても良い。

次に、制御部１０は、ユーザによる基準点の指定が実際にあったか否かを判断する（ステップＳ１３）。基準点の指定がないと判断した場合は、上記ステップＳ１１に戻る。これにより、次のフレームの画像が取得されてスルー画像として表示されることとなる。

これに対して、基準点の指定があったと判断した場合には、領域抽出手段として機能する、顔領域抽出部１５および全身領域抽出部１６に、上記スルー画像として表示されている取得画像に対して、指定された基準点に基づく顔画像および人体全身画像の検出を行わせる（ステップＳ１４）。ここで、顔画像および人体全身画像はそれぞれ複数検出される場合もある。また、指定された基準点に基づく検出とは、その基準点に最も近い顔画像または人体全身画像を検出する、基準点を中心として所定の距離に存在する顔画像および／または人体全身画像を検出する、基準点を中心として画面の最も近い端辺までに存在する顔画像および／または人体全身画像を検出する、取得画像の全領域から検出するが始点を基準点とする、等の何れであっても構わない。

例えば、顔領域抽出部１５は、既知の技術である、指定された基準点を中心として画像を放射状にスキャンして顔のエッジ部分を抽出し、このエッジ部分により囲まれる領域を顔領域として顔画像を検出する方法、特開平５−２７４４３８号公報および特開平５−３０７６０５号公報等に記載されたニューラルネットワークにより顔領域を抽出して顔画像を検出する方法、等を用いて顔画像を検出することができる。更に、顔領域抽出部１５は、その抽出した顔領域から人物の顔画像を取り込み、この顔画像について複数の顔部品を検出し、検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定し、設定した複数の特徴点の配置から顔の向きを検出する特開２００９−２９４９９９号公報に開示されている方法等を用いて、人物の顔の大きさや向きを検出することができる。

また、全身領域抽出部１６が用いる人体全身画像の検出方法については、特開２００１−１７５８６８号公報に開示されているような技術が知られている。この技術は、カメラと人物との間の距離によって撮影フレームに映る人物の大きさや形状が多少変化しても人物を検出できるようにするため、所定領域を撮影した撮影フレームから、人物の輪郭形状モデルと許容範囲内で合致する形状の画像を検出することにより、上記所定領域に存在する人物を検出するようにしている。

次に、制御部１０は、顔領域抽出部１５による顔画像、もしくは、全身領域抽出部１６による人体全身画像の検出ができたかどうかの判断を行う（ステップＳ１５）。

ここで、顔画像および人体全身画像のいずれも検出できなかったと判断した場合は、制御部１０は、上記指定された基準点に基づいて、上記スルー画像として表示されている画像に対して矩形領域を設定する（ステップＳ１６）。この矩形領域のサイズは、あらかじめ設定されたサイズでも良いし、ユーザが任意に設定するようにしても良い。続いて、制御部１０は、拡大矩形領域のサイズを取得する（ステップＳ１７）。この拡大矩形領域のサイズに関しても、あらかじめ設定されたサイズでも良いし、ユーザが任意に変更したり、表示部１４の画面サイズいっぱいとしても良い。そして、制御部１０は、それら設定した矩形領域が拡大矩形領域のサイズと適合するように、画像の矩形領域の部分を拡大処理する（ステップＳ１８）。具体的には、矩形領域の画像を表す画像データに対して補間演算を施すことにより拡大処理が行われる。補間処理としては、バイリニア、バイキュービック、Ｌａｎｃｚｏｓ等、既知の手法を用いる事ができる。そして、制御部１０は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１４に表示させる（ステップＳ１９）。ここで、拡大処理した画像の重畳位置は、上記矩形領域に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができる。

一方、上記ステップＳ１５において、顔画像もしくは人体全身画像の検出ができたと判断した場合は、制御部１０は、被写体決定手段として機能する被写体決定部１７に主要写体を決定させる（ステップＳ２０）。主要被写体の決定方法としては、例えば、上記ステップＳ１４での顔画像もしくは人体全身画像の検出結果を元に、顔画像もしくは人体全身画像が検出できた被写体の内、指定した基準点から一番近い被写体を主要被写体とする方法や、基準点からある一定の距離以下の被写体（複数可）を主要被写体とする方法、等がある。

そして、制御部１０は、どのような拡大表示を行うかの表示判定を行う（ステップＳ２１）。この表示判定は、被写体決定部１７にて主要写体であると決定された被写体それぞれについて実施する。

ここで、この表示判定について、図３のフローチャートを参照して説明する。
すなわち、制御部１０は、まず、当該被写体について顔画像が検出できているか否かを判定する（ステップＳ２１Ａ）。

ここで、顔画像が検出されていない場合には、制御部１０は、身体部位抽出手段として機能する身体部位抽出部１９に、身体部位抽出を行わせる（ステップＳ２１Ｂ）。身体のどの部位を拡大表示の対象とするかは、ユーザによる入力部１２からの入力に従って、身体部位選択手段としての身体部位選択部１８により予め選択しておく（ステップＳ２２）。

身体部位抽出方法については、例えば、特開平１０−１１１９４０号公報に開示されているような技術が知られている。この技術は、撮影した画像から身体部のみを抽出し、身体の部位に分け、身体の部位の中で、画像中で見えている部分と見えてない身体特徴点を身体の知識を利用して検出することにより、動きや服装に制約を持たせず、動作者が普通に動ける環境のもとで、身体特徴点をとらえることができるというものである。このような方法等を用いることで、身体部位抽出部１９は、ユーザが選択指定した任意の身体部位を抽出することができる。

なお、身体部位抽出部１９は、取得画像全体を身体部位の検出対象とするのではなく、取得画像中の被写体決定部１７によって決定された主要被写体のみを抽出対象とすることで、処理の高速化が実現できる。さらには、この表示判定に処理が進むのは、上記ステップＳ１５において顔画像もしくは人体全身画像の検出ができたと判断した場合であり、上記ステップＳ２１Ａで顔画像が検出されていないと判定されたということは、人体全身画像の検出はできているということであるので、主要被写体のうちの、全身領域抽出部１６で検出した人体全身画像のみを抽出対象とすることで、より一層の高速処理が実現できる。

次に、制御部１０は、身体部位抽出部１９にてユーザが選択しておいた身体部位の検出ができたか否かを判定する（ステップＳ２１Ｃ）。ここで、身体部位検出ができなかった場合には、表示判定手段としての制御部１０は、全身領域抽出部１６で検出した人体全身画像だけを拡大表示することを決定する（ステップＳ２１Ｄ）。また、身体部位検出ができた場合には、表示判定手段としての制御部１０は、上記身体部位抽出部１９で抽出した身体部位だけを拡大表示することを決定する（ステップＳ２１Ｅ）。

一方、上記ステップＳ２１Ａにおいて顔画像が検出できていると判定した場合には、制御部１０は、次に、人体全身画像が検出できているか否かを判定する（ステップＳ２１Ｆ）。ここで、人体全身画像が検出されていない場合には、表示判定手段としての制御部１０は、顔だけを拡大表示することを決定する（ステップＳ２１Ｇ）。

これに対して、全身が検出された場合には、制御部１０は、身体部位抽出手段として機能する身体部位抽出部１９に、身体部位抽出を行わせる（ステップＳ２１Ｈ）。ここで、身体のどの部位を拡大表示の対象とするかは、ユーザが入力部１２からの入力に従って、身体部位選択部１８により予め選択しておく（ステップＳ２２）。なお、人体全身画像の検出はできているので、身体部位抽出部１９は、取得画像全体ではなくて、人体全身画像を抽出対象とすることで、処理の高速化が実現できる。

次に、制御部１０は、身体部位抽出部１９にてユーザが選択しておいた身体部位の検出ができたか否かを判定する（ステップＳ２１Ｉ）。ここで、部位検出ができた場合には、表示判定手段としての制御部１０は、上記顔領域抽出部１５で検出した顔画像と上記身体部位抽出部１９で抽出した身体部位と、を拡大表示することを決定する（ステップＳ２１Ｊ）。一方、身体部位検出ができなかった場合には、表示判定手段としての制御部１０は、上記顔領域抽出部１５で検出した顔画像だけを拡大表示する、もしくは、その顔画像と上記全身領域抽出部１６で検出した人体全身画像とを拡大表示することを決定する（ステップＳ２１Ｋ）。なお、顔画像だけを表示するか、顔画像と身体全身画像とを表示するかは、デフォルトで一方が決められていても良いし、予めユーザが選択するようにしても良い。

以上のような表示判定結果より、ユーザが身体部分の足元部分を拡大表示することを選択して、顔画像と身体部位とを拡大表示すると判定された場合（ステップＳ２１Ｊ）には、制御手段としての制御部１０は、顔画像と身体部位とを拡大表示する。例えば、図４に示すように、上記スルー画像として表示されている取得画像に、複数の被写体が含まれ、主要被写体として一人の人間のみが決定された場合には、制御部１０は、上記取得画像に対して、顔領域抽出部１５によって検出された顔画像に基づいて顔画像を含む顔の基準矩形領域Ｒ１を設定すると共に、身体部位抽出部１９によって検出された特定の身体部位（足元部分）に基づいて該身体部位の基準矩形領域Ｒ３を設定する（ステップＳ１６）。なお、図４において、バツ印で示す点がユーザによって指定された基準点ｒｅｆであり、このバツ印は、表示するようにしても良いし、表示しなくても良い。

続いて、制御部１０は、これら設定された顔の拡大矩形領域Ｒ２及び身体部位の拡大矩形領域Ｒ４のサイズを、それぞれ取得する（ステップＳ１７）。これらの拡大矩形領域Ｒ２，Ｒ４のサイズは、入力部１２を用いてユーザが任意に設定するようにしても良いし、画面サイズいっぱいに表示するようにしても良い。

そして、制御部１０は、それら設定した顔の基準矩形領域Ｒ１が顔の拡大矩形領域Ｒ２のサイズと適合するように、取得画像の顔の基準矩形領域Ｒ１の部分を拡大処理し、また、設定した身体部位の基準矩形領域Ｒ３が身体部位の拡大矩形領域Ｒ４のサイズと適合するように、取得画像の身体部位の基準矩形領域Ｒ３の部分を拡大処理する（ステップＳ１８）。具体的には、顔の基準矩形領域Ｒ１の画像及び身体部位の基準矩形領域Ｒ３の画像を表す画像データに対してそれぞれ補間演算を施すことにより拡大処理が行われる。補間処理としては、前述したように、バイリニア、バイキュービック、Ｌａｎｃｚｏｓ等、既知の手法を用いることができる。

そして、制御部１０は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１４に表示させることで（ステップＳ１９）、図４に示すような、顔画像と選択された身体部位である足元の画像とが拡大表示された表示を行う。ここで、拡大矩形領域Ｒ２及びＲ４の表示形態は、図４のように、主要被写体の横に吹き出しのように拡大表示されるものであっても良いし、図５に示すように、拡大矩形領域Ｒ２，Ｒ４の画面位置は固定で、主要被写体がわかるように表示してもよい（本例では、主要被写体を破線で囲む識別矩形ＩＲを表示している）。なお、基準矩形領域Ｒ１，Ｒ３を示す枠は、表示するようにしても良いし、表示しなくても良い。

また、ユーザが身体部分の足元部分を拡大表示することを選択した際に、上記表示判定結果として、顔検出と全身検出はできたが、足元部分の検出ができずに、顔画像だけを拡大表示すると判定された場合（ステップＳ２１Ｋ）には、制御部１０は、顔を拡大表示する。例えば、図６に示すように、上記スルー画像として表示されている取得画像に、複数の被写体が含まれ、主要被写体として三人の人間が決定された場合には、制御部１０は、上記取得画像に対して、顔領域抽出部１５によって検出された顔画像に基づいて顔画像を含む顔の基準矩形領域Ｒ１（Ｒ１−１，Ｒ１−２，Ｒ１−３）を設定する（ステップＳ１６）。この場合、ユーザが身体部位の足元部分を拡大表示するように選択したが、足元の部品が検出できなかったため、身体部位の基準矩形領域は設定されない。続いて、制御部１０は、これら設定された顔の拡大矩形領域Ｒ２（Ｒ２−１，Ｒ２−２，Ｒ２−３）のサイズを、それぞれ取得する（ステップＳ１７）。これら顔の拡大矩形領域Ｒ２のサイズは、入力部１２を用いてユーザが任意に設定するようにしても良いし、画面サイズいっぱいに表示するようにしても良い。そして、制御部１０は、それら設定した顔の基準矩形領域Ｒ１が顔の拡大矩形領域Ｒ２のサイズと適合するように、取得画像の顔の基準矩形領域Ｒ１の部分を拡大処理する（ステップＳ１８）。そして、制御部１０は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１４に表示させることで（ステップＳ１９）、図６に示すような、顔画像が拡大表示された表示を行う。なお、ここでは、顔画像だけを拡大表示するものとしているが、前述したように、顔画像だけではなく、ユーザが望めば顔画像と人体全身画像とを拡大表示するようにしても良い。また、図６において、バツ印で示す点がユーザによって指定された基準点ｒｅｆである。

表示判定結果より、人体全身画像だけを拡大表示すると判定された場合（ステップＳ２１Ｄ）、身体部位だけを拡大表示すると判定された場合（ステップＳ２１Ｅ）、あるいは、顔画像だけを拡大表示すると判定された場合（ステップＳ２１Ｇ）についても、同様にして、人体全身画像、身体部位あるいは顔画像だけを拡大表示する（ステップＳ１６〜Ｓ１９）。

そして、次に、制御部１０は、入力部１２からユーザ操作により、他領域に対する基準点の指定があったか否かを判断する（ステップＳ２３）。ここで、別の基準点の指定が有ったと判断した場合には、上記ステップＳ１４へ戻り、その新しく指定された基準点に基づいて上記ステップＳ１４乃至ステップＳ２２の処理を行う。

これに対して、別の基準点の指定が無いと判断した場合には、制御部１０は、次に、入力部１２の確定ボタンもしくは終了ボタンが押されたか否かを判定する（ステップＳ２４）。ここで、確定ボタンは、例えばレリーズボタンとすることができる。確定ボタンもしくは終了ボタンが押されたと判定した場合には、制御部１０は、本画像処理動作を終了する。

また、終了ボタンもしくは確定ボタンが押されていないと判定した場合は、制御部１０は、表示を行い続けることとなるが、その間に主要被写体が動いた場合は、追尾部２０は主要被写体を追尾して、表示を行う（ステップＳ２５）。この場合、顔画像、人体全身画像、および／または身体部位の画像、もしくは、それらの拡大画像を保持しておくことで、拡大表示された顔、全身、部位の画像は、移動した主要被写体の顔の向きが変わったり、所望部位が体のかげに隠れたり等、状態が変わっても、変更されずに最初の拡大表示状態が保持されるようにすることができる。

追尾技術については、例えば米国特許第６５９０９９９号明細書に開示されているような、色やテキスチャなどの視覚的な特徴を基にして、動画中に動くオブジェクト（ターゲット）を追尾する技術等を用いることができる。
この技術によれば、ターゲットフレ−ムよりも前のフレームに関するフレーム平均偏移を使って、ターゲットフレームの新しい位置を導き出す。そして、この新しい位置に基づいて追尾用のテンプレートを置き換えることで、移動した主要被写体の顔の向きが変わったりしても追尾することができる。
さらに、特開２００７−１０４２３５号公報に開示されているような、撮影目的被写体が壁などの遮蔽物によって、一時的に撮影画像から消えた場合においても、人物の顔などの特定の撮影目的被写体に適応させた撮影制御を、そのまま一定時間継続させて行う構成により、人物が再び撮影可能となった場合に、そのままの制御パラメータによって撮影を継続することが可能となる。以上の技術を用いることで、主要被写体が遮蔽され見失った後に再度見つかった場合や、一度電源を落とした場合においても次の撮影から自動認識し追尾することができる。

以上のような本第１実施形態によれば、撮影された被写体の顔の向きによらず、その被写体を特定し易い身体部位の画像を表示するので、例えば、運動会等のスポーツイベントにおいて、必ずしも顔が見えるとは限らない場合においても、顔が見えているときは顔を拡大表示し、顔が見えていない場合はユーザ所望の身体部位を、それぞれ拡大表示することができ、親は我が子かどうかの確認を容易に行えるため、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能となる。

即ち、顔画像だけではなく、他の被写体とは異なるアイテムや特徴を持たせた箇所を身体部位としてユーザが選択し、その選択された身体部位を拡大表示することから、ユーザ所望の被写体を探し易くなる。また、顔認識だけでは精度が上がらない場合も、顔認識に加えて、色や形などの組み合わせによりユーザの所望被写体認識の認識率を高め、所望被写体の写真を撮る機会をユーザに提供できる。

［第２実施形態］
上記第１実施形態では、顔や身体部位を拡大表示している主要被写体を追尾する際に、拡大した画像は変更されないものとしたが、本第２実施形態は、周期的に表示判定動作を行って、追尾している被写体の状態に変更が有った場合には、その拡大表示を更新するものである。

ここでは、例えば、前提条件として、身体部位選択部１８で、ユーザが身体部分として足元部分を拡大表示することを選択したものとして説明する。

図７Ａに示すように、表示判定結果により、顔検出はできたが、全身検出ができなかったため、顔画像だけを拡大表示すると判定された場合（ステップＳ２１Ｋ）、顔の拡大矩形領域Ｒ２のみに拡大画像が表示される。

ここで、主要被写体が図７Ａの状態から図７Ｂの状態へと動いた際に、表示判定結果により、顔と身体部位とを拡大表示すると判定されたならば（ステップＳ２１Ｊ）、図７Ｂに示すように、顔の拡大矩形領域Ｒ２に顔の拡大画像が表示され、且つ、身体部位の拡大矩形領域Ｒ４に足元部分の拡大画像が表示されることなる。

このように、主要被写体の移動に合わせて表示判定処理がなされ、表示判定処理の結果によって顔および任意の身体部位が拡大表示される。

なお、主要被写体が移動している途中で一旦拡大表示を行ったならば、そのときの顔および／または身体部位の基準矩形領域Ｒ１，Ｒ３の画像またはそれを拡大した画像を常に保持し、そこからは常にその拡大した画像を表示するというようにしても良い。

例えば、主要被写体が図７Ｂの状態から図７Ｃの状態へと動いた場合には、図７Ｃの時点で、表示判定結果により、顔検出はできたが、全身検出ができなかったという判定されたとしても、図７Ｂの時点で、身体部位検出ができたため、図７Ｃの時点でたとえ身体部位検出ができなかったとしても、表示判定結果に関係なく身体部位が拡大矩形領域Ｒ４に拡大表示される。

なお、顔画像や身体部位画像は無条件に保持されるのではなく、顔画像については、顔の向きや大きさ、目つぶり、笑顔など、被写体の状態に応じて、より見易い顔画像となるように、また、身体部位画像については、向きや大きさによって、より見易い身体部位画像となるように、ユーザが、より見易い画像となるように変更できるようにしても良い。あるいは、向きや大きさによって制御部１０が判断することで、自動的に、より見易い画像となるように変更されるようにしても良い。

例えば、図７Ａの時点で顔画像が検出されて、拡大表示されているが、図７Ｂの時点で顔画像が図７Ａと比べてより見易い画像（より正面画像に近い顔画像）であるので、拡大矩形領域Ｒ２の画像が書き換えられて表示される。次に、図７Ｃの時点の顔領域画像は、図７Ｂと比べると見づらい（図７Ｂの画像のほうがより見易い画像）ので、図７Ｃの顔画像は書き換えられず、図７Ｃの時点で顔の拡大矩形領域Ｒ２には、図７Ｂ時点での顔画像が拡大表示され続ける。
このような技術は、例えば、特開２００５−２２７９５７号公報に開示されているように、検出された顔画像において、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、顔の向きや明るさ、コントラスト、ぶれなどを考慮した所定の評価手法によりベストショット画像を逐次選択更新し記録しておく方法を用いることができる。

以上のような本第２実施形態によれば、上記第１実施形態と同様の効果を奏すると共に、追尾している被写体が、顔や身体部位を判別し易い状態に変化したとき、拡大画像が更新されるので、画像中に所望の被写体が含まれているか否かを更に容易に確認可能となる。

以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、顔領域抽出部１５と全身領域抽出部１６は必ずしも両方が必要なものではなく、どちらか一方のみを備えていても良い。この場合には、顔画像または人体全身画像の何れかと、身体部位画像とが、拡大表示されることとなる。

また、入力部１２にタッチパネルを含む場合、顔または人体全身の拡大矩形領域Ｒ２や身体部位の拡大矩形領域Ｒ４を２回タッチすることで、顔または人体全身の拡大表示と身体部位の拡大表示とを切り替えるようにしても良い。これにより、顔または人体全身の拡大表示では、当該主要被写体が所望の被写体であるのかを判別できない場合に、容易に身体部位の拡大画像に切り替えて確認できるようになる。

また、他領域に対する基準点の指定があった場合に、その新しい基準点に基づく拡大表示を行うものとしたが、その際、新たな基準点に基づく拡大表示だけでなく、先の指定基準点に基づく拡大表示も続行することで、複数の基準点に基づく拡大表示を行うようにしても良い。

さらに、基準点の指定について、上記実施形態では１点を指定してするものとして説明したが、対角の２点を指定することで、その２点を頂点とする矩形領域を顔画像および／または人体全身画像の検出及び主要被写体の決定を行う対象領域としても良い。

また、上記実施形態は、主要被写体が人間の場合を例に説明したが、主要被写体はペット等の動物（特に、犬や猫）であっても良い。

なお、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

１…デジタルカメラ、 １０…制御部、 １１…撮像部、 １２…入力部、 １３…記録部、 １４…表示部、 １５…顔領域抽出部、 １６…全身領域抽出部、 １７…被写体決定部、 １８…身体部位選択部、 １９…身体部位抽出部、 ｒｅｆ…基準点、 Ｒ１…顔の基準矩形領域、 Ｒ３…身体部位の基準矩形領域、 Ｒ２…顔の拡大矩形領域、 Ｒ４…身体部位の拡大矩形領域。

Claims (11)

1. 取得された画像を表示する画像表示手段と、
   前記取得された画像から顔画像及び全身画像の少なくとも一方を検出する領域抽出手段と、
   前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力手段と、
   前記指定された基準点を基に主要被写体を決定する被写体決定手段と、
   前記取得された画像から、前記被写体決定手段によって決定された前記主要被写体における所定の身体部位の画像を抽出する身体部位抽出手段と、
   前記被写体決定手段によって決定された前記主要被写体に関係した、前記領域抽出手段によって検出された顔画像及び全身画像の前記少なくとも一方と、前記身体部位抽出手段によって抽出された身体部位の画像と、の少なくとも一方を、前記画像表示手段に拡大表示する制御手段と、
   を具備することを特徴とする画像処理装置。
2. 前記身体部位抽出手段が抽出する前記所定の身体部位を予め選択する身体部位選択手段をさらに具備することを特徴とする請求項１に記載の画像処理装置。
3. 前記制御手段は、前記領域抽出手段が前記顔画像及び前記全身画像の前記少なくとも一方を検出できたか否か、及び、前記身体部位抽出手段が前記所定の身体部位の画像を抽出できたか否かに応じて、前記拡大表示する画像を決定する表示判定手段を備えることを特徴とする請求項１に記載の画像処理装置。
4. 前記被写体決定手段により決定した主要被写体が動いている場合には、その主要被写体を追尾し、
   前記領域抽出手段により抽出された顔画像および全身画像の前記少なくとも一方、及び、前記身体部位抽出手段により抽出された身体部位の画像は、前記主要被写体が動いても保持されることを特徴とする請求項３に記載の画像処理装置。
5. 前記被写体決定手段により決定した主要被写体が動いている場合には、その主要被写体を追尾し、
   追尾している主要被写体の動きにより前記表示判定手段の判定結果が変化した場合には、前記制御手段は、その変化した判定結果に応じて、前記画像表示手段に拡大表示を更新することを特徴とする請求項３に記載の画像処理装置。
6. 前記制御手段は、一旦拡大表示した画像については、前記表示判定手段の判定結果が変化しても、保持することを特徴とする請求項５に記載の画像処理装置。
7. 前記制御手段は、ユーザ指示により前記保持する画像を更新することを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段は、前記表示判定手段の結果に基づいて、前記検出された顔画像及び全身画像の前記少なくとも一方を含む矩形領域と、前記抽出された前記所定の身体部位の画像を含む矩形領域とを設定し、拡大表示画像サイズと適合するように前記矩形領域のそれぞれを前記画像表示手段に拡大表示することを特徴とする請求項３に記載の画像処理装置。
9. 前記被写体決定手段は、前記検出された顔画像もしくは全身画像が、前記指定された基準点から一番近い被写体を、前記主要被写体として決定することを特徴とする請求項１に記載の画像処理装置。
10. 前記被写体決定手段は、前記検出された顔画像もしくは全身画像が、前記指定された基準点からある一定の距離以下の被写体を、前記主要被写体として決定することを特徴とする請求項１に記載の画像処理装置。
11. 取得された画像を画像表示手段に表示し、
    前記取得された画像から顔画像及び全身画像の少なくとも一方を検出し、
    入力手段によって、前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付け、
    前記指定された基準点を基に主要被写体を決定し、
    前記取得された画像から、前記決定された主要被写体における所定の身体部位の画像を抽出し、
    前記決定された主要被写体に関係した、前記検出された顔画像及び全身画像の前記少なくとも一方と、前記抽出された身体部位の画像と、の少なくとも一方を、前記画像表示手段に拡大表示する、
    ことを特徴とする画像処理方法。

Images