JP2012065048A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像中の多数被写体における所望被写体の有無を容易に確認可能とすること。
【解決手段】画像処理装置は、取得画像を表示する表示部１５と、表示部１５に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力部１３と、基準点に基づいて取得画像から顔画像を検出する顔領域抽出部１６と、基準点に基づいて取得された画像から全身画像を検出する全身領域抽出部１７と、基準点を基に主要被写体を決定する被写体決定部１８と、少なくとも、顔領域抽出部１６によって顔画像が検出されたか否かに応じて、顔と全身のどちらを表示するかを決定する表示判定部１９と、該表示判定部１９の結果に基づいて、被写体決定部１８によって決定された主要被写体における、検出された顔画像もしくは全身画像を含む矩形領域を設定し、拡大表示画像サイズと適合するように上記矩形領域を表示部１５に拡大表示する制御部１１と、を備える。
【選択図】図１

Description

本発明は、画像を処理する画像処理装置及び画像処理方法に関する。

特許文献１には、人物の顔を含む画像から顔領域を容易に抽出し、さらには人物の確認を容易に行えるように、抽出された顔領域を拡大して液晶モニタに表示する装置が開示されている。

また、製品として、「個人認識」機能が搭載されたカメラや、「ピント位置拡大表示」機能とし画面内の顔ＡＦ枠を拡大表示する機能を搭載したカメラが発売されている。

特開２００３−１０８９７９号公報

上記特許文献１に開示の技術や従来製品における拡大表示機能は、集合写真を想定しているため、顔領域を抽出した後、顔を拡大して、表情の確認をしたり、目を閉じていないかのチェックを行うための機能である。

また、従来の製品に搭載されている個人認識機能は、集合写真の中で特定の人にフォーカスを合わせたたり露出を合わせる場合に有用な機能であるが、性能としては、ほぼ正面顔だけ認識可能である上、誤認識が多く、かなり不安定である。

以上のことから、人物が常に正面顔ではなく顔が横向きや後ろ向きである場合が多く、人物が動いている、人物と撮影者の間に距離がある、というような運動会等のスポーツイベントの環境下おいて、現状の技術や製品では、自動で撮影対象となる特定の個人（例：自分の子供）をみつけ、教えてくれる性能を満たしていない。

例えば、運動会等で我が子を撮影しようとした場合、必ずしも我が子がカメラ側の正面を向いているわけではないため、親は顔から自分の子供であると認識するのではなく、横顔や髪型、背格好、歩き方などのクセから子供を確定することが多い。また、他の子供と区別がつくように他の子と違う靴下をはかせる等、我が子と他の子供の区別がつくように工夫をしている。

また、公園やドッグラン等で自分の犬を探して撮影する等、人物以外の被写体を撮影する場合も同様である。

本発明は、上記の点に鑑みてなされたもので、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能とする画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置の一態様は、
取得された画像を表示する画像表示手段と、
前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力手段と、
前記指定された基準点に基づいて、前記取得された画像から顔画像を検出する顔領域抽出手段と、
前記指定された基準点に基づいて、前記取得された画像から全身画像を検出する全身領域抽出手段と、
前記指定された基準点を基に主要被写体を決定する被写体決定手段と、
少なくとも、前記顔領域抽出手段によって顔画像が検出されたか否かに応じて、顔と全身のどちらを表示するかを決定する表示判定手段と、
前記表示判定手段の結果に基づいて、前記被写体決定手段によって決定された主要被写体における前記検出された顔画像もしくは全身画像を含む矩形領域を設定し、拡大表示画像サイズと適合するように前記矩形領域を前記画像表示手段に拡大表示する制御手段と、
を具備することを特徴とする。
また、本発明の画像処理方法の一態様は、
取得された画像を画像表示手段に表示し、
入力手段によって、前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付け、
前記指定された基準点に基づいて、前記取得された画像から顔画像を検出し、
前記指定された基準点に基づいて、前記取得された画像から全身画像を検出し、
前記指定された基準点を基に主要被写体を決定し、
少なくとも、前記顔画像が検出されたか否かに応じて、顔と全身のどちらを表示するかを決定し、
前記どちらを表示するかの判定結果に基づいて、前記決定された主要被写体における前記検出された顔画像もしくは全身画像を含む矩形領域を設定し、拡大表示画像サイズと適合するように前記矩形領域を前記画像表示手段に拡大表示する、
ことを特徴とする。

本発明によれば、少なくとも顔画像が検出されたか否かに応じて、顔か全身かのどちらを表示した方が良いかを判定し、その判定結果に応じて顔もしくは全身かを拡大表示をするので、例えば、運動会等のスポーツイベントにおいて、必ずしも顔が見えるとは限らない場合においても、顔が見えているときは顔を拡大表示し、顔が見えていない場合は全身を、それぞれ拡大表示することができ、親は我が子かどうかの確認を容易に行えるため、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能となる画像処理装置及び画像処理方法を提供することができる。

図１は、本発明の第１実施形態に係る画像処理装置を搭載したデジタルカメラの構成を示す概略ブロック図である。 図２は、第１実施形態のデジタルカメにおける画像処理動作を説明するためのフローチャートを示す図である。 図３は、顔か全身のどちらを表示するか表示判定について説明するためのフローチャートを示す図である。 図４は、表示判定結果より、顔を表示すると判定された場合、顔画像が検出され、顔が拡大表示された状態を示す図である。 図５は、表示判定結果より、全身を表示すると判定された場合、人体全身画像が検出され、全身が拡大表示された状態を示す図である。 図６は、画面上に複数の人間がいる場合の例として２人の場合の表示判定結果の状態を示す図である。 図７は、本発明の第２実施形態において、主要被写体が動いた場合に、追尾を行い主要被写体の移動に合わせて顔もしくは全身を拡大表示する状態を説明するための図である。

以下、本発明を実施するための形態を図面を参照して説明する。
［第１実施形態］
図１に示すように、本発明の第１実施形態に係る画像処理装置を搭載したデジタルカメラ１は、制御部１１、撮像部１２、入力部１３、記録部１４、表示部１５、顔領域抽出部１６、全身領域抽出部１７、被写体決定部１８、表示判定部１９、及び、追尾部２０を備える。

ここで、制御部１１は、当該デジタルカメラ１の全体を制御するＣＰＵである。撮像部１２は、画像を得るレンズ、シャッタ、ＣＣＤ等からなる。入力部１３は、上下左右のカーソルキー、確定ボタン等を含み、更に、ペンや指による入力を受け付けるタッチパネルを含むこともできる。記録部１４は、撮像部１２で取得した画像を記録す内蔵メモリであるが、この記録部１４として着脱可能なメモリカード等の補助記録手段を備えても良い。表示部１５は、記録部１４に記録された画像を表示する液晶モニタ等である。この表示部１５は、当該デジタルカメラの背面に配され、上記撮影記録された画像の表示に使用されるだけでなく、撮影時の構図決定用に、撮像部１２で取得した画像を所謂スルー画像として表示する用途にも使用される。

顔領域抽出部１６は、表示部１５に表示されたスルー画像において、少なくとも１つの基準点の指定を入力部１３により受け付け、指定された基準点に基づいて、そのスルー画像として表示されている取得画像から顔画像を検出する。

全身領域抽出部１７は、上記指定された基準点に基づいて、取得画像から人体全身画像を検出する。なお、本実施形態において、「全身」とは、例えば人物の頭の先から足の先まで、両手の先まで、を含む厳密に身体の全てを含む領域を意味するものではなく、身体の一部が画面外となっている場合には、画面内に存在する全ての身体部分の領域を指すものとする。

被写体決定部１８は、上記指定された基準点に基づいて主要被写体を決定する。

表示判定部１９は、顔もしくは全身のどちらを表示したらよいかを判定し、判定した結果、顔もしくは全身を拡大して表示部１５に表示する。追尾部２０は、被写体決定部１８によって決定した主要被写体が動いた場合に追尾し、上記表示判定部１９により判定した顔もしくは全身を拡大して、表示部１５に表示する。

次に、本実施形態における画像処理動作について、図２のフローチャートを参照して説明する。
まず、制御部１１は、撮像部１２を用いて取得した画像をスルー画像として、表示手段として機能する表示部１５に表示させ（ステップＳ１１）、ユーザによる基準点の指定を受け付ける（ステップＳ１２）。

すなわち、ユーザは、必要に応じて、入力手段として機能する入力部１３のカーソルキーを用いて、表示部１５に表示されているスルー画像の中で拡大したい箇所を指定する。ここでユーザによって指定された位置を、本実施形態では「基準点」と呼称する。ユーザは、もし必要が無ければ基準点を指定しなくても良い。

次に、制御部１１は、ユーザによる基準点の指定が実際にあったか否かを判断する（ステップＳ１３）。基準点の指定がないと判断した場合は、上記ステップＳ１１に戻る。これにより、次のフレームの画像が取得されてスルー画像として表示されることとなる。

これに対して、基準点の指定があったと判断した場合には、顔領域抽出手段として機能する顔領域抽出部１６および全身領域抽出手段として機能する全身領域抽出部１７に、上記スルー画像として表示されている取得画像に対して、指定された基準点に基づく顔画像および人体全身画像の検出を行わせる（ステップＳ１４）。ここで、顔画像および人体全身画像はそれぞれ複数検出される場合もある。また、指定された基準点に基づく検出とは、その基準点に最も近い顔画像または人体全身画像を検出する、基準点を中心として所定の距離に存在する顔画像および／または人体全身画像を検出する、基準点を中心として画面の最も近い端辺までに存在する顔画像および／または人体全身画像を検出する、取得画像の全領域から検出するが始点を基準点とする、等の何れであっても構わない。

例えば、顔領域抽出部１６は、既知の技術である、指定された基準点を中心として画像を放射状にスキャンして顔のエッジ部分を抽出し、このエッジ部分により囲まれる領域を顔領域として顔画像を検出する方法、特開平５−２７４４３８号公報および特開平５−３０７６０５号公報等に記載されたニューラルネットワークにより顔領域を抽出して顔画像を検出する方法、等を用いて顔画像を検出することができる。更に、顔領域抽出部１６は、その抽出した顔領域から人物の顔画像を取り込み、この顔画像について複数の顔部品を検出し、検出した顔部品毎に、複数の特徴点を、その顔部品から離れるにつれて粗く設定し、設定した複数の特徴点の配置から顔の向きを検出する特開２００９−２９４９９９号公法に開示されている方法等を用いて、人物の顔の大きさや向きを検出することができる。

また、全身領域抽出部１７が用いる人体全身画像の検出方法については、特開２００１−１７５８６８号公報に開示されているような技術が知られている。この技術は、カメラと人物との間の距離によって撮影フレームに映る人物の大きさや形状が多少変化しても人物を検出できるようにするため、所定領域を撮影した撮影フレームから、人物の輪郭形状モデルと許容範囲内で合致する形状の画像を検出することにより、上記所定領域に存在する人物を検出するようにしている。

次に、制御部１１は、顔領域抽出部１６による顔画像、もしくは、全身領域抽出部１７による人体全身画像の検出ができたかどうかの判断を行う（ステップＳ１５）。

ここで、顔画像および人体全身画像のいずれも検出できなかったと判断した場合は、制御部１１は、上記指定された基準点に基づいて、上記スルー画像として表示されている画像に対して矩形領域を設定する（ステップＳ１６）。この矩形領域のサイズは、あらかじめ設定されたサイズでも良いし、ユーザが任意に設定するようにしても良い。続いて、制御部１１は、拡大矩形領域のサイズを取得する（ステップＳ１７）。この拡大矩形領域のサイズに関しても、あらかじめ設定されたサイズでも良いし、ユーザが任意に変更したり、表示部１５の画面サイズいっぱいとしても良い。そして、制御部１１は、それら設定した矩形領域が拡大矩形領域のサイズと適合するように、画像の矩形領域の部分を拡大処理する（ステップＳ１８）。具体的には、矩形領域の画像を表す画像データに対して補間演算を施すことにより拡大処理が行われる。補間処理としては、バイリニア、バイキュービック、Ｌａｎｃｚｏｓ等、既知の手法を用いる事ができる。そして、制御部１１は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１５に表示させる（ステップＳ１９）。ここで、拡大処理した画像の重畳位置は、上記矩形領域に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができる。

一方、上記ステップＳ１５において、顔画像もしくは人体全身画像の検出ができたと判断した場合は、制御部１１は、被写体決定手段として機能する被写体決定部１８に主要写体を決定させる（ステップＳ２０）。主要被写体の決定方法としては、例えば、上記ステップＳ１４での顔画像もしくは人体全身画像の検出結果を元に、顔画像もしくは人体全身画像が検出できた被写体の内、指定した基準点から一番近い被写体を主要被写体とする方法や、基準点からある一定の距離以下の被写体（複数可）を主要被写体とする方法、等がある。

そして、制御部１１は、表示判定部１９に、顔か全身のどちらを表示するかの表示判定を行わせる（ステップＳ２２）。この表示判定は、被写体決定部１８にて主要写体であると決定された被写体それぞれについて実施される。

ここで、この表示判定部１９で主要被写体それぞれについて行われる、顔か全身のどちらを表示するかの表示判定について、図３のフローチャートを参照して説明する。

すなわち、表示判定手段として機能する表示判定部１９は、まず、当該被写体について顔画像が検出できているか否かを判定し（ステップＳ２２Ａ）、顔画像が検出されていない場合には、全身を表示することを決定する（ステップＳ２２Ｂ）。

これに対して、顔画像が検出できている場合には、次に、人体全身画像が検出できているか否かを判定し（ステップＳ２２Ｃ）、人体全身画像が検出されていない場合には、顔を表示することを決定する（ステップＳ２２Ｄ）。

一方、人体全身画像が検出できている場合は、前述した顔画像の検出方法により検出された顔の大きさが、ある大きさ（α）よりも大きいかどうかの判定を行い（ステップＳ２２Ｅ）、ある大きさ（α）よりも大きくない場合には、全身を表示することを決定する（ステップＳ２２Ｂ）。

また、検出された顔の大きさが上記ある大きさ（α）よりも大きい場合には、更に、前述した顔画像の検出方法により検出された顔の向きが、ある角度（β）よりも小さいかどうかの判定を行う（ステップＳ２２Ｆ）。ここで、上記ある角度（β）は、正面に対して±４５度、±６０度、あるいは±９０度（横顔）とすることができる。そして、検出された顔の向きが上記ある角度（β）よりも小さい場合には、顔を表示することを決定する（ステップＳ２２Ｄ）。また、検出された顔の向きが上記ある角度（β）よりも小さくない場合は、全身を表示することを決定する（ステップＳ２２Ｂ）。

なお、上記顔の大きさの判定基準である上記ある大きさ（α）や顔の角度の判定基準である上記ある角度（β）は、ユーザが任意に設定することもできるし、あらかじめ、モードなどで顔表示優先、全身表示優先などを設けても良い。例えば、全身表示優先をユーザが選択した場合には、優先的に全身を表示することを決定する（ステップＳ２２Ｂ）ものとする。

以上のような表示判定部１９による表示判定結果より、主要被写体の顔を表示すると判定された場合には、制御手段としての制御部１１は、顔を拡大表示する。例えば、図４に示すように、上記スルー画像として表示されている取得画像に、主要被写体として一人の人間のみが含まれ、その人間の顔を表示すると判定された場合、制御部１１は、顔領域抽出部１６によって検出された顔画像に基づいて、上記取得画像に対して、顔画像を含む顔の矩形領域Ｒ１を設定する（ステップＳ１６）。続いて、制御部１１は、顔の拡大矩形領域Ｒ２のサイズを取得する（ステップＳ１７）。この顔の拡大矩形領域Ｒ２のサイズは、ユーザが任意に変更することができるし、画面サイズいっぱいに表示するようにしても良い。そして、制御部１１は、それら設定した顔の矩形領域Ｒ１が顔の拡大矩形領域Ｒ２のサイズと適合するように、取得画像の顔の矩形領域Ｒ１の部分を拡大処理する（ステップＳ１８）。具体的には、顔の矩形領域Ｒ１の画像を表す画像データに対して補間演算を施すことにより拡大処理が行われる。そして、制御部１１は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１５に表示させることで（ステップＳ１９）、図４に示すような表示を行う。ここで、拡大処理した画像の重畳位置は、上記顔の矩形領域Ｒ１に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができる。図４の例では、近接位置に表示している。この場合、どの部分の拡大画像かを容易に識別できるように、顔の拡大矩形領域Ｒ２を吹き出しのような表示形態としている。更には、拡大元である顔の矩形領域Ｒ１を枠線で囲む等、識別表示を行っても良い。なお、図４において、バツ印で示す点がユーザによって指定された基準点ｒｅｆである。

また、表示判定部１９による表示判定結果より、主要被写体の全身を表示すると判定された場合には、制御手段としての制御部１１は、全身を拡大表示する。例えば、図５に示すように、上記スルー画像として表示されている取得画像に、主要被写体として一人の人間のみが含まれ、その人間の全身を表示すると判定された場合、制御部１１は、全身領域抽出部１７によって検出された人体全身画像に基づいて、上記取得画像に対して、人体全身画像を含む全身の矩形領域Ｒ３を設定する（ステップＳ１６）。続いて、制御部１１は、全身の拡大矩形領域Ｒ４のサイズを取得する（ステップＳ１７）。この全身の拡大矩形領域Ｒ４のサイズは、ユーザが任意に変更することができるし、画面サイズいっぱいに表示するようにしても良い。そして、制御部１１は、それら設定した全身の矩形領域Ｒ３が全身の拡大矩形領域Ｒ４のサイズと適合するように、取得画像の全身の矩形領域Ｒ３の部分を拡大処理する（ステップＳ１８）。具体的には、全身の矩形領域Ｒ３の画像を表す画像データに対して補間演算を施すことにより拡大処理が行われる。そして、制御部１１は、この拡大処理した画像を、元のスルー画像上に重畳するように、表示部１５に表示させることで（ステップＳ１９）、例えば検出された顔の向きが上記ある角度（β）よりも小さくないなどで、全身を表示すると判定された場合には、図５に示すような表示を行うことができる。ここで、拡大処理した画像の重畳位置は、上記全身の矩形領域Ｒ３に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができる。図５の例では、近接位置に表示している。この場合、どの部分の拡大画像かを容易に識別できるように、全身の拡大矩形領域Ｒ４を吹き出しのような表示形態としている。更には、拡大元である全身の矩形領域Ｒ３を枠線で囲む等、識別表示を行っても良い。なお、図５において、バツ印で示す点がユーザによって指定された基準点ｒｅｆである。

また、例えば、図６に示すように、上記スルー画像として表示されている画像に複数の人間が含まれる場合があり、同図にバツ印で示す基準点ｒｅｆに基づいて被写体決定部１８にて主要被写体が決定される。この例では、二人の人間が主要被写体として決定される。そして、各主要被写体について表示判定部１９による表示判定が行われ、その結果より、例えば、左側の人間は顔を表示し、右側の人間は全身を表示すると判定される。このような場合には、制御手段としての制御部１１は、上記スルー画像として表示されている取得画像に対して、顔領域抽出部１６によって検出された顔画像に基づいて顔画像を含む顔の矩形領域Ｒ１を設定し、また、全身領域抽出部１７によって検出された人体全身画像に基づいて人体全身画像を含む全身の矩形領域Ｒ３を設定する（ステップＳ１６）。続いて、制御部１１は、顔の拡大矩形領域Ｒ２のサイズおよび全身の拡大矩形領域Ｒ４のサイズを取得する（ステップＳ１７）。この顔の拡大矩形領域Ｒ２のサイズおよび全身の拡大矩形領域Ｒ４のサイズは、ユーザが任意に変更することができる。そして、制御部１１は、それら設定した顔の矩形領域Ｒ１が顔の拡大矩形領域Ｒ２のサイズと適合するように画像の顔の矩形領域Ｒ１の部分を拡大処理し、また、それら設定した全身の矩形領域Ｒ３が全身の拡大矩形領域Ｒ４のサイズと適合するように画像の全身の矩形領域Ｒ３の部分を拡大処理する（ステップＳ１８）。そして、制御部１１は、これらの拡大処理した画像を、元のスルー画像上に重畳するように、表示部１５に表示させることで（ステップＳ１９）、図６に示すような表示を行うことができる。ここで、拡大処理した顔の画像の重畳位置は、上記顔の矩形領域Ｒ１に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができ、同様に、拡大処理した全身の画像の重畳位置は、上記全身の矩形領域Ｒ３に対して重なる位置、または近接する位置、あるいは、あらかじめユーザが任意に指定した位置とすることができる。図６の例では、それぞれ近接位置に表示している。この場合、どの部分の拡大画像かを容易に識別できるように、顔の拡大矩形領域Ｒ２および全身の拡大矩形領域Ｒ４を、それぞれ吹き出しのような表示形態としている。更には、拡大元である顔の矩形領域Ｒ１および全身の矩形領域Ｒ３を枠線で囲む等、識別表示を行っても良い。このように、複数の人に対してもそれぞれ表示判定がなされ、判定結果に基づいて、顔もしくは全身が拡大表示される。

そして、次に、制御部１１は、入力部１３からユーザ操作により、他領域に対する基準点の指定があったか否かを判断する（ステップＳ２３）。ここで、別の基準点の指定が有ったと判断した場合には、上記ステップＳ１４へ戻り、その新しく指定された基準点に基づいて上記ステップＳ１４乃至ステップＳ２２の処理を行う。

これに対して、別の基準点の指定が無いと判断した場合には、次に、入力部１３の確定ボタンもしくは終了ボタンが押されたか否かを判定する（ステップＳ２４）。ここで、確定ボタンは、例えばレリーズボタンとすることができる。確定ボタンもしくは終了ボタンが押されたと判定した場合には、制御部１１は、本画像処理動作を終了する。

また、終了ボタンもしくは確定ボタンが押されていないと判定した場合は、制御部１１は、表示を行い続けることとなるが、その間に主要被写体が動いた場合は、追尾部２０は主要被写体を追尾して、表示を行う（ステップＳ２５）。この場合、顔の矩形領域Ｒ１の画像および／または全身の矩形領域Ｒ３の画像、あるいは、それらの拡大画像を保持しておくことで、拡大表示された顔または全身の画像は、移動した主要被写体の顔の向き等の状態が変わっても、変更されずに最初の拡大表示状態が保持されるようにする。

追尾技術については、例えば米国特許第６５９０９９９号明細書に開示されているような、色やテキスチャなどの視覚的な特徴を基にして、動画中に動くオブジェクト（ターゲット）を追尾する技術等を用いることができる。
この技術によれば、ターゲットフレ−ムよりも前のフレームに関するフレーム平均偏移を使って、ターゲットフレームの新しい位置を導き出す。そして、この新しい位置に基づいて追尾用のテンプレートを置き換えることで、移動した主要被写体の顔の向きが変わったりしても追尾することができる。
さらに、特開２００７−１０４２３５号公報に開示されているような、撮影目的被写体が壁などの遮蔽物によって、一時的に撮影画像から消えた場合においても、人物の顔などの特定の撮影目的被写体に適応させた撮影制御を、そのまま一定時間継続させて行う構成により、人物が再び撮影可能となった場合に、そのままの制御パラメータによって撮影を継続することが可能となる。以上の技術を用いることで、主要被写体が遮蔽され見失った後に再度見つかった場合や、一度電源を落とした場合においても次の撮影から自動認識し追尾することができる。

以上のような本第１実施形態によれば、少なくとも顔画像が検出されたか否かに応じて、顔か全身かのどちらを表示した方が良いかを判定し、その判定結果に応じて顔もしくは全身かを拡大表示をするので、例えば、運動会等のスポーツイベントにおいて、必ずしも顔が見えるとは限らない場合においても、顔が見えているときは顔を拡大表示し、顔が見えていない場合は全身を、それぞれ拡大表示することができ、親は我が子かどうかの確認を容易に行えるため、多数の被写体が含まれる画像中に所望の被写体が含まれているか否かを容易に確認可能となる。

また、ユーザが指定した被写体の顔の大きさや向きにより、顔か全身かのどちらを表示した方が良いかを判定することで、顔と全身の何れを拡大表示するか決定するので、たとえ顔画像が検出されても、その顔画像では被写体を判別し難い状況では、顔ではなくて全身を拡大表示することで、取得画像中に所望の被写体が含まれているか否かを容易に確認可能となる。

［第２実施形態］
上記第１実施形態では、顔もしくは全身を拡大表示している主要被写体を追尾する際に、拡大した画像は変更されないものとしたが、本第２実施形態は、周期的に顔領域抽出部１６および全身領域抽出部１７による検出動作を行って、追尾している被写体の状態に変更が有った場合には、その拡大表示を更新するものである。

例えば、主要被写体が、図７において、状態ａ→状態ｂと動いたとする。状態ａでは、表示判定部１９による表示判定結果より全身を拡大表示すると判定され、全身が拡大表示されている。ここで、主要被写体が状態ａから状態ｂへと動いた場合、状態ｂの判定結果では、顔を拡大すると判定されたため、状態ｂの位置で顔の矩形領域Ｒ１を拡大表示する。つまり、主要被写体の移動にあわせて、判定処理がなされ、顔もしくは全身が拡大表示される。この場合、顔の拡大画像と全身の拡大画像とを単純に切り替え表示するのではなく、何らかのアニメーション的な効果を加えて切り替えるようにしても良い。

なお、顔の拡大画像については、顔の大きさがある大きさ（α）以下（ステップＳ２２Ｅ）、あるいは、顔の大きさがある大きさ（α）より大きく、かつ顔の向きがある角度（β）以上（ステップＳ２２Ｆ）、という判定結果により、全身を表示する（ステップＳ２２Ｂ）という判定結果になった場合でも、主要被写体が移動している途中で一旦判定結果が顔を表示するという判定結果になったならば、そのときの顔の矩形領域Ｒ１の画像またはそれを拡大した画像を常に保持し、そこからは常にその拡大した画像を表示するというようにしても良い。

例えば、図７において、状態ｂ→状態ｃと動いたとき、状態ｃだけをみると、全身を拡大するという判定結果になったとしても、状態ｂの時点で顔を拡大表示するという判定結果が得られたため、状態ｂ以降の主要被写体の拡大表示は、表示判定結果に関係なく、その状態ｂでの顔の拡大画像が表示される。

なお、保持する顔の画像またはその拡大画像は、顔の向きや大きさ、目つぶり、笑顔など、被写体の状態に応じて、ユーザが、より見易い画像となるように変更できるようにしても良い。
このような技術は、例えば、特開２００５−２２７９５７号公報に開示されているように、検出された顔画像において、一定時間内に一定範囲に顔画像が存在する場合には同じ顔と判断し、その判断が継続する限り、顔の向きや明るさ、コントラスト、ぶれなどを考慮した所定の評価手法によりベストショット画像を逐次選択更新し記録しておく方法を用いることができる。

以上のような本第２施形態によれば、上記第１実施形態と同様の効果を奏すると共に、追尾している被写体が顔を判別し易い状態に変化したとき、全身の拡大画像から顔の拡大画像に更新されるので、画像中に所望の被写体が含まれているか否かを更に容易に確認可能となる。

また、追尾している被写体の拡大表示画が一旦顔の拡大表示状態となったならば、以降は顔の拡大表示を続けるので、発見した所望被写体を見失う可能性を低減できる。

以上、実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、入力部１３にタッチパネルを含む場合、顔の拡大矩形領域Ｒ２もしくは全身の拡大矩形領域Ｒ４を２回タッチすることで、顔の拡大表示と全身の拡大表示とを切り替えるようにしても良い。これにより、顔の拡大表示では、当該主要被写体が所望の被写体であるのかを判別できない場合に、容易に全身の拡大画像に切り替えて確認できるようになる。

また、他領域に対する基準点の指定があった場合に、その新しい基準点に基づく拡大表示を行うものとしたが、その際、新たな基準点に基づく拡大表示だけでなく、先の指定基準点に基づく拡大表示も続行することで、複数の基準点に基づく拡大表示を行うようにしても良い。

さらに、基準点の指定について、上記実施形態では１点を指定してするものとして説明したが、対角の２点を指定することで、その２点を頂点とする矩形領域を顔画像／人体全身画像の検出及び主要被写体の決定を行う対象領域としても良い。

また、上記実施形態は、主要被写体が人間の場合を例に説明したが、主要被写体はペット等の動物（特に、犬や猫）であっても良い。

なお、上記実施形態の機能を実現するソフトウェアのプログラムをコンピュータに供給し、当該コンピュータがこのプログラムを実行することによって、上記機能を実現することも可能である。

１…デジタルカメラ、 １１…制御部、 １２…撮像部、 １３…入力部、 １４…記録部、 １５…表示部、 １６…顔領域抽出部、 １７…全身領域抽出部、 １８…被写体決定部、 １９…表示判定部、 ｒｅｆ…基準点、 Ｒ１…顔の矩形領域、 Ｒ２…顔の拡大矩形領域、 Ｒ３…全身の矩形領域、 Ｒ４…全身の拡大矩形領域。

Claims (10)

1. 取得された画像を表示する画像表示手段と、
   前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付ける入力手段と、
   前記指定された基準点に基づいて、前記取得された画像から顔画像を検出する顔領域抽出手段と、
   前記指定された基準点に基づいて、前記取得された画像から全身画像を検出する全身領域抽出手段と、
   前記指定された基準点を基に主要被写体を決定する被写体決定手段と、
   少なくとも、前記顔領域抽出手段によって顔画像が検出されたか否かに応じて、顔と全身のどちらを表示するかを決定する表示判定手段と、
   前記表示判定手段の結果に基づいて、前記被写体決定手段によって決定された主要被写体における前記検出された顔画像もしくは全身画像を含む矩形領域を設定し、拡大表示画像サイズと適合するように前記矩形領域を前記画像表示手段に拡大表示する制御手段と、
   を具備することを特徴とする画像処理装置。
2. 前記被写体決定手段は、前記検出された顔画像もしくは全身画像が、前記指定された基準点から一番近い被写体を、前記主要被写体として決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記被写体決定手段は、前記検出された顔画像もしくは全身画像が、前記指定された基準点からある一定の距離以下の被写体を、前記主要被写体として決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記表示判定手段は、更に、前記検出された顔画像における顔の向きおよび大きさの少なくとも一方に基づいて、顔と全身のどちらを表示するかを判定することを特徴とする請求項１乃至３の何れかに記載の画像処理装置。
5. 前記顔領域抽出手段が検出する顔画像および前記全身領域抽出手段が検出する全身画像は、人物および動物の何れかの顔画像および全身画像であることを特徴とする請求項１に記載の画像処理装置。
6. 前記顔領域抽出手段により抽出された顔画像および／または前記全身領域抽出手段により抽出された全身画像は、保持されることを特徴とする請求項１に記載の画像処理装置。
7. 前記被写体決定手段により決定した主要被写体が動いている場合には、その主要被写体を追尾し、
   追尾している主要被写体の動きにより前記表示判定手段の判定結果が変化した場合には、前記制御手段は、その変化した判定結果に応じて、前記画像表示手段に拡大表示を更新することを特徴とする請求項１に記載の画像処理装置。
8. 前記制御手段は、前記表示判定手段の判定結果により、顔を表示するという判定がなされた場合には、前記顔領域抽出手段により抽出された顔画像を保持しておき、その後の前記表示判定手段の判定結果にかかわらず、前記画像表示手段にその保持している顔画像を拡大表示させることを特徴とする請求項７に記載の画像処理装置。
9. 前記制御手段は、ユーザ指示により前記保持する顔画像を更新することを特徴とする請求項８に記載の画像処理装置。
10. 取得された画像を画像表示手段に表示し、
    入力手段によって、前記画像表示手段に表示された画像中の少なくとも一つの基準点の指定を受け付け、
    前記指定された基準点に基づいて、前記取得された画像から顔画像を検出し、
    前記指定された基準点に基づいて、前記取得された画像から全身画像を検出し、
    前記指定された基準点を基に主要被写体を決定し、
    少なくとも、前記顔画像が検出されたか否かに応じて、顔と全身のどちらを表示するかを決定し、
    前記どちらを表示するかの判定結果に基づいて、前記決定された主要被写体における前記検出された顔画像もしくは全身画像を含む矩形領域を設定し、拡大表示画像サイズと適合するように前記矩形領域を前記画像表示手段に拡大表示する、
    ことを特徴とする画像処理方法。

Images