JP2007306463A - トリミング支援方法および装置ならびにプログラム - Google Patents

Abstract

【課題】 ユーザーの意図するトリミング画像の取得を簡便で効率的に行うことができるように支援する。
【解決手段】 被写体検出手段１０において全体画像Ｐから顔画像ＦＰ１、ＦＰ２が検出される。そして、選択手段２０において、初期トリミング枠ＴＧｒｅｆに含む顔画像ＦＰ１〜ＦＰ４が選択され、トリミング枠設定手段３０において、検出された顔画像ＦＰ１〜ＦＰ４に合わせてトリミング枠ＴＧが設定される。その後、画像表示手段５０において、トリミング枠設定手段３０により設定されたトリミング枠ＴＧが描かれた全体画像Ｐ、被写体検出手段１０により検出された顔画像ＦＰ１〜ＦＰ４の情報３１、選択手段２０により選択された顔画像ＦＰ１〜ＦＰ４の情報が表示される。
【選択図】 図４

Description

本発明は、ユーザーがデジタルカメラ等により取得した全体画像からトリミングを行うときにトリミング作業を支援するトリミング支援方法および装置ならびにプログラムに関するものである。

デジタルカメラ等により取得された画像データを印刷するとき、通常は標準的な処理条件を用いて処理される。そのため、トリミングすれば良い構図になる画像であってもユーザーは様々な条件でトリミングが施された画像を確認することなく、印刷が行われている。そこで、画像処理条件を変更した複数の画像をディスプレイ上に表示、あるいは１枚の要旨に印刷することにより、確認する技術が提案されている（たとえば特許文献１参照）。

特許文献１において、ユーザーがトリミング枠（構図）を決定するのは困難であることを考慮し、人物モードや風景モードに応じて画像を解析し、良好な構図になるようにクロップ領域の大きさおよび位置を設定するようになっている。具体的には、人物モードが設定されているときには人物領域を抽出し、風景モードが設定されているときにはテクスチャ解析を行うことにより、空や海といった構成要素毎の領域を抽出し、良好な構図を決定するようになっている。
特開平２００５−１７５６８４号公報

しかし、特許文献１において、画像解析によって人物や空といった被写体を抽出しても、実際にその被写体が撮影者にとって重要であるのか否かを自動的に判断することはできない。たとえばたまたま画像の端部に写ってしまった通行人や、ピンぼけして写っている人物は重要な人物ではなく、トリミングにより切り取ってしまう方が好ましい。しかし、コンピュータが自動的にトリミング枠を設定した場合これらの人物を含むものになってしまう場合があり、トリミング画像を生成する際に、ユーザーが重要な被写体がトリミング枠に含まれているか否かを最終的に判断する必要がある。一方で、主要被写体の位置・大きさに基づく最適なトリミング枠の設定は、ユーザーにとって困難なものであるという問題がある。

そこで、本発明は、ユーザーの意図するトリミング画像の取得を簡便で効率的に行うことができるように支援するトリミング支援装置ならびにプログラムを提供することを目的とするものである。

本発明のトリミング支援方法は、全体画像から複数の主要被写体を検出し、検出した複数の主要被写体からトリミング枠内に収める該主要被写体を選択し、選択した主要被写体を含むように全体画像上にトリミング枠を自動的に設定し、設定したトリミング枠が描かれた全体画像と、被写体検出手段により検出されたすべての主要被写体の情報と、トリミング枠内に含まれる主要被写体の情報とを表示装置に表示することを特徴とするものである。

本発明のトリミング支援装置は、全体画像から複数の主要被写体を検出する被写体検出手段と、被写体検出手段により検出された複数の主要被写体からトリミング枠内に収める該主要被写体を選択する選択手段と、選択手段により選択された主要被写体を含むように全体画像上にトリミング枠を自動的に設定するトリミング枠設定手段と、トリミング枠設定手段により設定されたトリミング枠が描かれた全体画像と、被写体検出手段により検出されたすべての主要被写体に関する情報と、トリミング枠内に含まれる主要被写体の情報とを表示装置に表示する画像表示手段とを備えたことを特徴とするものである。

本発明のトリミング支援プログラムは、コンピュータに、全体画像から複数の主要被写体を検出し、検出した複数の主要被写体からトリミング枠内に収める該主要被写体を選択し、選択した主要被写体を含むように全体画像上にトリミング枠を自動的に設定し、設定したトリミング枠が描かれた全体画像と、被写体検出手段により検出されたすべての主要被写体の情報と、トリミング枠内に含まれる主要被写体の情報とを表示装置に表示することを実行させることを特徴とするものである。

ここで、主要被写体は撮影者が撮影したい被写体であればなんでもよく、たとえば人物もしくは人物の顔、動物、建物等であってもよい。特に、主要被写体が人物である場合、被写体検出手段は全体画像から顔画像を検出することになる。なお、被写体検出手段は、マウス等の入力手段からの入力により指定された全体画像上の任意の領域の周辺から主要被写体を検出する機能を有するものであってもよい。

また、選択手段は、トリミング枠に含める主要被写体を選択するものであればその手法は問わず、たとえばマウス等による入力手段からの入力に基づいて主要被写体を選択してもよいし、所定の主要被写体を自動的に選択するものであってもよい。このとき、主要被写体の状態により該主要被写体がトリミング枠に含まれるべきかの指標となる重要度を算出する重要度算出手段をさらに有していてもよい。そして、選択手段は重要度算出手段により算出された重要度を用いてトリミング枠に含める主要被写体を選択するようにしてもよい。

なお、選択手段は全体画像から１つの主要被写体を選択するものであっても良いし、複数の主要被写体を選択するものであっても良い。主要被写体が複数選択された場合、トリミング手段は複数の主要被写体の位置に合わせて自動的にトリミング枠を設定する。

さらに、特定の主要被写体が登録されたデータベースと、被写体検出手段により検出された主要被写体がデータベースに登録された主要被写体であるかを認識する被写体認識手段をさらに有していてもよい。このとき、被写体認識手段において主要被写体が特定の人物の顔であると認識したとき、重要度算出手段が認識された主要被写体の重要度を高く算出するようにしてもよい。ここで、データベースには予め特定の主要被写体が登録されたものであっても良いし、選択手段が複数の全体画像に対しそれぞれトリミング画像の選択を行ったとき、被写体認識手段が選択された複数のトリミング画像のうち設定枚数以上あるいは設定割合以上のトリミング画像内に登場する主要被写体をデータベースに登録するようにしてもよい。あるいは、被写体検出手段が複数の全体画像に対しそれぞれ主要被写体の検出を行ったとき、複数の全体画像のうち設定枚数以上あるいは設定割合以上に登場する主要被写体をデータベースに登録するものであってもよい。

本発明のトリミング支援方法および装置ならびにプログラムによれば、全体画像から複数の主要被写体を検出し、検出した複数の主要被写体からトリミング枠内に収める該主要被写体を選択し、選択した主要被写体を含むように全体画像上にトリミング枠を自動的に設定し、設定したトリミング枠が描かれた全体画像と、被写体検出手段により検出されたすべての主要被写体の情報と、トリミング枠内に含まれる主要被写体の情報とを表示装置に表示することにより、ユーザーはどの主要被写体をトリミング枠に含めたいのか、もしくはどの主要被写体を除外したいのかの選択を簡便に確実に行うことができるため、自動的に設定されたトリミング枠は常にユーザーの意図を反映したものとなり、さらにトリミング枠の設定は選択された主要被写体に合わせて自動的に行われるため、最適な構図のトリミング画像を効率的に取得することができる。

また、各主要被写体の重要度を各主要被写体の状態により算出する重要度算出手段をさらに有し、トリミング枠設定手段が重要度算出手段により算出された重要度の高い主要被写体を用いて初期トリミング枠を設定するものであるとき、お勧めのトリミング枠をユーザーに提供することができる。

また、特定の主要被写体が登録されたデータベースと、被写体検出手段により検出された主要被写体がデータベースに登録された主要被写体であるかを認識する被写体認識手段をさらに有し、被写体認識手段において主要被写体が特定の人物の顔であると認識したとき、重要度算出手段が認識された主要被写体を含むトリミング画像の重要度を高く算出するものであるとき、撮影者が注目している主要被写体を中心としてトリミング画像を優先的に提供することができる。また、この特定の主要被写体を優先的にユーザーに提示することができるため、表示装置に提示された複数の主要被写体の中から重要な被写体を見つけやすく、トリミング枠に含めたい主要被写体の取捨選択が効率的に行うことができる。

さらに、選択手段が複数の全体画像に対しそれぞれトリミング画像の選択を行ったとき、被写体認識手段が選択された複数のトリミング画像のうち設定枚数以上あるいは設定割合以上のトリミング画像内に登場する主要被写体をデータベースに登録するものであるとき、トリミング画像に複数回登場する主要被写体はユーザーが注目している人物であるとの推測の下、この特定の主要被写体を優先的にユーザーに提示することができるため、表示装置に提示された複数の主要被写体の中から重要と思われる主要被写体を見つけやすくすることができ、トリミング枠に含めたい主要被写体の取捨選択を効率的に行うことができる。

また、被写体検出手段が複数の全体画像に対しそれぞれ主要被写体の検出を行ったとき、被写体認識手段が複数の全体画像のうち設定枚数以上あるいは設定割合以上に登場する主要被写体をデータベースに登録するものであれば、全体画像に複数回登場する主要被写体はユーザーが注目している人物であるとの推測の下、この特定の主要被写体を優先的にユーザーに提示することができるため、表示装置に提示された複数の主要被写体の中から重要と思われる主要被写体を見つけやすくすることができ、トリミング枠に含めたい主要被写体の取捨選択を効率的に行うことができる。

以下、図面を参照して本発明のトリミング支援装置の好ましい実施の形態を詳細に説明する。なお、図１のようなトリミング支援装置１の構成は、補助記憶装置に読み込まれたトリミング表示プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、このトリミング支援プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１のトリミング支援装置１は、ユーザーが全体画像Ｐからのトリミング画像の生成する際の作業を支援するものであって、全体画像Ｐから主要被写体である複数の顔画像ＦＰを検出する被写体検出手段１０と、検出された複数の顔画像ＦＰからトリミング枠ＴＧ内に収める顔画像ＦＰを選択する選択手段２０と、選択された顔画像ＦＰを含むように全体画像Ｐ上にトリミング枠ＴＧを自動的に設定するトリミング枠設定手段３０と、トリミング枠ＴＧが描かれた全体画像Ｐと全体画像Ｐの顔画像の情報と、トリミング枠ＴＧと顔画像ＦＰの情報とを表示装置２に表示する画像表示手段５０とを備えている。

被写体検出手段１０は、全体画像Ｐ内の主要な被写体を検出するものであって、この主要被写体として人物の顔を検出する機能を有している。被写体検出手段１０は、たとえば特開平８−１２２９４４号公報、特開平５−１００３２８号公報に開示された手法により全体画像Ｐ内の顔画像ＦＰを検出するものであって、たとえば図２に示すように全体画像Ｐに４つの顔画像が存在するとき、この４つの顔画像ＦＰ１〜ＦＰ４を検出するようになっている。なお、顔を検出する際の手法として、Shihong LAO等、「高速全方向顔検出」、画像の識別・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月等に開示されたアダブースティングアルゴリズムを用いた顔検出、ＳＶＭ（Support Vector Machine）アルゴリズム、Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔を検出するものであってもよい。

選択手段２０は、被写体検出手段１０により検出された複数の顔画像ＦＰ１〜ＦＰ４のうち、トリミング枠ＴＧ（トリミング画像ＴＰ）に収める顔画像ＦＰを選択するものであって、ユーザーが操作するマウスやキーボード等の入力手段からの入力に従い顔画像ＦＰを選択するようになっている。ここで、選択手段２０は、最初に表示装置２に表示する初期トリミング枠ＴＧｒｅｆ内に収める顔画像ＦＰとして、被写体検出手段１０により検出されたすべての顔画像ＦＰ１〜ＦＰ４を選択するようになっている。

トリミング枠設定手段３０は、選択手段２０により選択された顔画像ＦＰの位置に合わせてトリミング枠ＴＧを設定するものであり、トリミング手段４０はトリミング枠設定手段３０により設定されたトリミング枠ＴＧ内の領域を切り出すことによりトリミング画像ＴＰを生成するようになっている。ここで、トリミング枠設定手段３０は、顔画像ＦＰを囲む矩形の領域を拡張した所定の範囲をトリミング枠ＴＧとして設定し、もしくはいわゆる三分割法によりトリミング枠ＴＧを設定する等の公知の技術を用いてトリミング枠ＴＧを設定する。たとえば初期状態において選択手段２０が４つの顔画像ＦＰ１〜ＦＰ４を選択したとき、図３に示すように４つの顔画像ＦＰ１〜ＦＰ４を収めたトリミング枠ＴＧが設定される。

画像表示手段５０は、表示装置２の画面上に図３に示すようなウィンドウ画面Ｗを表示させるものである。ここで、このウィンドウ画面Ｗには、トリミング枠ＴＧが描かれた全体画像Ｐと、被写体検出手段１０により検出された顔画像ＦＰ１〜ＦＰ４の情報３１と、選択手段２０により選択された顔画像ＦＰ１〜ＦＰ４の選択情報３２とが表示されている。なお、顔画像ＦＰ１〜ＦＰ４の情報３１と全体画像Ｐ上の顔画像ＦＰ１〜ＦＰ４との対応付けを判別するために、全体画像Ｐ上には各顔画像ＦＰ１〜ＦＰ４毎に対応する番号１〜４が付されている。

そして、ウィンドウ画面上Ｗにおいて、ユーザーがマウスやキーボード等の入力手段を操作することにより、顔画像の選択、もしくは選択されている顔画像の解除が可能になっている。このとき、選択手段２０は、入力手段からの入力に従い顔画像ＦＰの選択／解除を行うようになっている。たとえば、図３のように顔画像ＦＰ１〜ＦＰ４のすべてが選択されている状態から図４のように顔画像ＦＰ３、ＦＰ４の選択を解除する入力がなされたとき、選択手段２０は顔画像ＦＰ３、ＦＰ４の選択を解除し、トリミング枠設定手段３０が顔画像ＦＰ１、ＦＰ２に合わせたトリミング枠ＴＧを再設定し、画像表示手段５０が顔画像ＦＰ１、ＦＰ２に合わせて設定されたトリミング枠ＴＧが描かれた全体画像Ｐを表示することになる。なお、選択情報３２の右側には一括選択ボタン３３が用意されており、この一括選択ボタン３３が選択されたとき、選択手段２０は一括選択ボタン３３よりも上にあるすべての顔画像ＦＰを選択するようになっている。さらに、ウィンドウ画面Ｗには一括解除ボタン３４が設けられており、一括解除ボタン３４が選択されたとき、選択手段２０は選択されているすべての顔画像ＦＰ１〜ＦＰ４が解除する。

さらに、ウィンドウ画面Ｗには設定されたトリミング枠ＴＧを用いてトリミング画像ＴＰを生成させるためのトリミング実行コマンド６１が儲けられており、このトリミング実行コマンド６１が選択されることにより、トリミング手段４０がトリミング画像ＴＰを生成し、画像出力手段７０がトリミング画像ＴＰをたとえば半導体メモリやハードディスク装置等に記憶し、もしくはプリンタ装置による印刷を行うためにトリミング画像ＴＰを出力するようになっている。

このように、ユーザーは全体画像Ｐと設定されたトリミング枠ＴＧおよび検出された顔画像ＦＰ１〜ＦＰ４の情報３１を見ながら、顔画像ＦＰ１〜ＦＰ４の取捨選択を行うことができるため、トリミング画像ＴＰに含める顔画像ＦＰ１〜ＦＰ４の選択を簡便に行うことができる。また、ユーザーにより顔画像ＦＰ１〜ＦＰ４の選択が行われるため、ユーザの意図に反した顔画像を考慮したトリミング枠ＴＧの設定が行われることがないため、ユーザーの意図を反映したトリミング画像ＴＰの取得を行うことができる。さらに、ユーザーが顔画像ＦＰ１〜ＦＰ４を選択すれば、トリミング枠ＴＧの設定は自動的に行われるため、ユーザーにとって困難な最適な構図となるトリミング枠ＴＧの設定を自動的に行うことができる。

さらに、図１のトリミング支援装置１は、各顔画像ＦＰ１〜ＦＰ４の全体画像Ｐにおける重要度を各顔画像ＦＰ１〜ＦＰ４の状態を用いて算出する重要度算出手段６０を備えている。この顔画像ＦＰの状態として、たとえば顔画像ＦＰ１、ＦＰ２の全体画像Ｐ上の位置、顔画像ＦＰ１、ＦＰ２の面積、ピンぼけ度合い、視線の方向、目つむりの有無等が用いられる。

たとえば顔画像の状態として全体画像Ｐ上の顔画像ＦＰの位置、ピンぼけ（ブレ）、顔画像ＦＰの大きさを用いた場合、重要度算出手段６０は、顔画像が全体画像Ｐの中央に位置するほど重要度を高くし、端部に位置するほど低くなるように算出する。また、顔画像がピンぼけしていない画像ほど重要度を高くし、ぼけているほど低くなるように算出する。すると、図５に示すように、各顔画像ＦＰ１〜ＦＰ４についてそれぞれ重要度が算出される。そして、たとえば図２の全体画像Ｐにおいて、顔画像ＦＰ１、ＦＰ２、ＦＰ４、ＦＰ３の順に重要度が高い場合、画像表示手段５０は、重要度算出手段６０により算出された重要度の高い順に上から顔画像ＦＰ１〜ＦＰ４の情報３１を表示するようになっている（図３、図４参照）。このように、重要度の高い順に顔画像ＦＰ１〜ＦＰ４の情報３１を配列することにより、重要と思われる顔画像ＦＰをユーザーが見つけやすいように配列することができる。

なお、重要度算出手段６０により算出された重要度は、顔画像ＦＰ１〜ＦＰ４の情報３１を表示するときのソートに用いる場合について例示しているが、初期トリミング枠ＴＧｒｅｆに収める顔画像ＦＰを選択するときに用いても良い。すなわち、最初にユーザーに推奨するトリミング枠ＴＧｒｅｆを提示するときに、選択手段２０が重要度が設定しきい値（たとえば重要度＝２５０）よりも大きい顔画像ＦＰ２、ＦＰ３を選択し、トリミング枠設定手段３０が顔画像ＦＰ２、ＦＰ３に合わせた初期トリミング枠ＴＧｒｅｆを設定するようにしても良い。すると、ユーザーには図４に示すような初期トリミング枠ＴＧｒｅｆが設定されたウィンドウ画面Ｗを提供することができる。

また、被写体検出手段１０はユーザーからの指示された領域付近から顔を検出する機能を有していてもよい。たとえば、図６に示すように、全体画像Ｐにおいて顔画像ＦＰ１〜ＦＰ３は検出できたが、顔画像ＦＰ４が検出することができなかったものとする。このとき、ウィンドウ画面Ｗには検出された顔画像ＦＰ１〜ＦＰ３に基づいたトリミング枠ＴＧｒｅｆおよび顔画像ＦＰ１〜ＦＰ３の情報３１が表示される。このとき、ユーザーがマウスカーソルを顔画像ＦＰ４上に合わせてクリックすることにより、入力手段から指定した点（領域）付近からの顔検出指示が被写体検出手段１０になされる。すると、被写体検出手段１０は指定された点から所定の領域を指定し顔検出を行うようになっている。なお、通常の顔検出では検出することができなかった顔を検出するものであるため、通常の顔検出よりも誤検出率が高くなってしまっても検出率を上げるような被写体検出手段１０における検出性能の設定がなされる。

そして、図７に示すように、被写体検出手段１０がユーザーにより指定された点（領域）から顔画像ＦＰ４を検出したとき、画像表示手段５０は顔画像ＦＰ１〜ＦＰ４の情報３１を顔画像ＦＰ４についてトリミング枠ＴＧ内に収める顔画像として選択するか否かを選択可能に表示する。これにより、被写体検出手段１０において最初に検出することができなかった顔画像ＦＰ４についてもトリミング枠ＴＧに含める顔画像として選択することができ、顔画像ＦＰ４を考慮したトリミング枠ＴＧの自動設定を行うことができるようにすることができる。

なお、被写体検出手段１０が指定された点（領域）から顔画像を検出する場合について例示しているが、指定された領域をそのまま主要被写体として検出するようにしてもよい。これにより、被写体検出手段１０では検出しきれない顔画像についてもトリミング枠ＴＧに含めるか否かの選択を行い、トリミング枠ＴＧの自動設定を行うことができる。

図８は本発明のトリミング支援方法の好ましい実施の形態を示すフローチャートであり、図１から図８を参照してトリミング支援方法について説明する。まず、被写体検出手段１０において全体画像Ｐから顔画像（主要被写体）ＦＰ１〜ＦＰ４が検出される（ステップＳＴ１）。次に、重要度算出手段６０において、顔画像ＦＰ１〜ＦＰ４の状態に基づいて各顔画像ＦＰ１〜ＦＰ４の重要度が算出される（図５参照）。そして、選択手段２０において、初期トリミング枠ＴＧｒｅｆに含む顔画像ＦＰ１〜ＦＰ４が選択され、トリミング枠設定手段３０において、検出された顔画像ＦＰ１〜ＦＰ４に合わせてトリミング枠ＴＧｒｅｆが設定される（ステップＳＴ３）。

その後、画像表示手段５０において、トリミング枠設定手段３０により設定されたトリミング枠ＴＧｒｅｆが描かれた全体画像Ｐ、被写体検出手段１０により検出された顔画像ＦＰ１〜ＦＰ４の情報３１、選択手段２０により選択された顔画像ＦＰ１〜ＦＰ４の選択情報３２が表示される（ステップＳＴ３、図３参照）。このとき、顔画像ＦＰ１〜ＦＰ４の情報３１は重要度の高い順に表示される。そして、ユーザーはウィンドウ画面Ｗを見ながら、意図したトリミング枠ＴＧの設定が行われているか否かを判断する（ステップＳＴ４）。たとえばトリミング枠ＴＧに含める必要のない顔画像ＦＰ１、ＦＰ４が含まれている場合、ユーザーはマウス等の入力手段を操作し、不必要な顔画像ＦＰ１、ＦＰ４の選択を解除する。すると、入力手段からの入力に従い選択手段２０において顔画像ＦＰ１、ＦＰ４の選択が解除され、トリミング枠設定手段３０において、選択されている顔画像ＦＰ２、ＦＰ３に合わせたトリミング枠ＴＧの設定が行われ、画像表示手段５０により表示される（ステップＳＴ２〜４、図４参照）。

同時に、ユーザーはウィンドウ画面Ｗを見ながら、被写体検出手段１０による検出結果を確認する（ステップＳＴ５）。そして、被写体検出手段１０において検出されなかった顔画像ＦＰ４がありこの顔をトリミング枠ＴＧ内に含めたい場合（図６参照）、ユーザーはウィンドウ画面Ｗの全体画像Ｐ上において、顔画像ＦＰ４が存在する領域もしくは領域内の任意の点Ｍを指定する。すると、被写体検出手段１０により指定された領域周辺に対し顔画像ＦＰの検出が行われ、新たな顔画像ＦＰが検出されトリミング枠ＴＧ内に収める顔画像ＦＰ４として選択可能な状態になる（図７参照）。

その後、トリミング枠設定手段３０によりユーザーの意図を反映するようにトリミング枠ＴＧが設定されたとき、ウィンドウ画面Ｗのトリミング実行コマンドが押される（ステップＳＴ６）。すると、トリミング手段４０によりトリミング枠ＴＧを用いてトリミング画像ＴＰが生成され、画像出力手段７０により半導体メモリやハードディスク装置、もしくはプリンタ装置に出力される。

このように、ウィンドウ画面Ｗ内に顔画像の取捨選択をユーザーが決定することができるため、ユーザーは全体画像Ｐと設定されたトリミング枠ＴＧおよび検出された顔画像ＦＰ１〜ＦＰ４の情報を見ながら、顔画像ＦＰ１〜ＦＰ４の取捨選択を行うことができるため、トリミング画像ＴＰに含める顔画像ＦＰ１〜ＦＰ４の選択を簡便に行うことができる。さらに、トリミング画像ＴＰ内に収めたい顔画像を選択すれば、トリミング枠設定手段３０が最適なトリミング枠ＴＧを自動的に設定するため、最適な構図のトリミング画像ＴＰを簡便に取得することができる。

なお、上記実施の形態において、画像表示手段５０は顔画像の情報として文字情報を表示するようにしているが、顔画像そのものを縮小表示するようにしてもよい。

図９は本発明のトリミング支援装置の別の実施の形態を示すブロック図であり、図９を参照してトリミング支援装置１００について説明する。なお、図９のトリミング支援装置１００において図１のトリミング支援装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図９のトリミング支援装置１００が図１のトリミング支援装置１と異なる点は、重要度を算出する際に被写体認識手段１１０における認識結果を用いる点である。データベース１２０に予め特定の人物の顔画像が登録されており、被写体認識手段１１０は被写体検出手段１０により検出された顔画像ＦＰがデータベース１２０内に登録されている否かを認識するようになっている。ここで、顔の認識には種々の手法を用いることができる。たとえば顔画像の局所特徴量を用いて顔認識する方法、Ａｄａｂｏｏｓｔアルゴリズムを用いて顔認識する方法、グラフマッチング法、テンプレートマッチング法等の公知の顔認識技術を用いることができ、詳細については、W. Y. Zhao, R. Chellappa, A.Rosenfeld, P. J. Phillips: “Face recognition: A literature survey”, UMD CfAR Technical Report CAR-TR-948,2000.,労世紅、山口修、平山高嗣、“画像処理による顔検出と顔認識“、ＣＶＩＭ２００５年５月（第１４９回）研究会、坂野鋭、“パターン認識における主成分分析“、統計数理、vol. 49, no. 1, pp. 23-42,2001等の文献に記載されている。

重要度算出手段１６０は、上述した顔画像ＦＰの位置・大きさ等の顔画像の状態に加え、被写体認識手段１１０における認識結果に基づいて重要度を算出する。たとえば、図２の顔画像ＦＰ１がデータベース１２０に登録されている場合、重要度算出手段１６０は認識された顔画像ＦＰ１に対し重要度１００を加算するというように、顔画像ＦＰ２の重要度を高く設定する。これにより、撮影者が注目している主要被写体を中心としてトリミング画像を優先的に提供することができる。また、この特定の主要被写体を優先的にユーザーに提示することができるため、表示装置に提示された複数の主要被写体の中から重要な被写体を見つけやすく、トリミング枠に含めたい主要被写体の取捨選択が効率的に行うことができる。

なお、図９において、データベース１２０に予め特定の人物の顔画像ＦＰが登録されている場合について例示しているが、複数の全体画像Ｐについてトリミング処理を行ったときに、被写体認識手段１１０が設定枚数（たとえば５枚）以上あるいは設定割合（たとえば８割（５枚中４枚））以上の全体画像Ｐに登場する顔画像ＦＰをデータベース１２０に記憶するようにしても良い。あるいは、被写体検出手段１０において複数の全体画像Ｐに対しそれぞれ顔検出を行ったとき、設定枚数（たとえば５枚）以上あるいは設定割合（たとえば８割（５枚中４枚））の全体画像Ｐに登場する顔画像ＦＰを特定の人物の顔としてデータベース１２０に記憶するようにしてもよい。また、複数枚の全体画像Ｐについて複数回のトリミング画像ＴＰの選択が行われたとき、選択されたトリミング画像ＴＰに多く含まれている顔画像ＦＰについては重要度をさらに高く設定するようにしても良い。これは、複数の全体画像に多く写っている顔画像ＦＰ、あるいは、ユーザーが選択したトリミング画像ＴＰに写っている顔画像ＦＰはユーザーが注目している顔画像ＦＰであると推測できるからである。

上記各実施の形態によれば、全体画像Ｐから複数の顔画像ＦＰを検出する被写体検出手段１０と、被写体検出手段１０により検出された複数の顔画像ＦＰからトリミング枠ＴＧ内に収める顔画像ＦＰを選択する選択手段２０と、選択手段２０により選択された顔画像ＦＰを含むように全体画像Ｐ上にトリミング枠ＴＧを自動的に設定するトリミング枠設定手段３０と、トリミング枠設定手段３０により設定されたトリミング枠ＴＧが描かれた全体画像Ｐと、被写体検出手段１０により検出されたすべての顔画像ＦＰに関する情報３１と、トリミング枠ＴＧ内に含まれる顔画像ＦＰの情報とを表示装置に表示する画像表示手段５０とを備えたことにより、ユーザーはどの顔画像ＦＰをトリミング枠ＴＧに含めたいのか、もしくはどの顔画像ＦＰを除外したいのかの選択を簡便に確実に行うことができるため、自動的に設定されたトリミング枠ＴＧは常にユーザーの意図を反映したものとなり、さらにトリミング枠ＴＧの設定は選択された顔画像ＦＰに合わせて自動的に行われるため、最適な構図のトリミング画像ＴＰを効率的に取得することができる。

また、画像表示手段５０がトリミング枠設定手段３０により設定されたトリミング枠ＴＧが表示された全体画像Ｐを表示するため、ユーザーは顔画像ＦＰを選択したときにトリミング枠ＴＧが全体画像Ｐ上にどのように設定されるかを確認することができ、トリミング画像をより簡便かつ効率的に取得することができる。

さらに、図１のように、顔画像ＦＰの状態により顔画像ＦＰがトリミング枠ＴＧに含まれるべきかの指標となる重要度を算出する重要度算出手段６０をさらに有し、トリミング枠設定手段３０が重要度算出手段６０により算出された重要度の高い顔画像ＦＰを用いて初期のトリミング枠ＴＧを設定するものであるとき、お勧めのトリミング枠ＴＧをユーザーに提供することができる。

また、図９のように、特定の人物の顔画像ＦＰが登録されたデータベース１２０と、被写体検出手段１０により検出された顔画像ＦＰがデータベース１２０に登録された顔画像ＦＰであるかを認識する被写体認識手段１１０をさらに有し、被写体認識手段１１０において顔画像ＦＰが特定の人物の顔であると認識したとき、重要度算出手段６０が認識した顔画像ＦＰの重要度を高く算出するものであるとき、この特定の人物の顔画像ＦＰを優先的に提示することができるため、表示装置に提示された複数の顔画像ＦＰの中から重要な顔画像を見つけやすくなる。また、一括選択や一括解除等を使ってトリミング枠ＴＧに含めたい主要被写体の取捨選択が効率的に行うことができる。

さらに、選択手段２０が複数の全体画像Ｐに対しそれぞれトリミング画像ＴＰの選択を行ったとき、被写体認識手段１１０が選択された複数のトリミング画像のうち設定枚数以上あるいは設定割合以上のトリミング画像内に登場する顔画像ＦＰを特定の人物の顔画像ＦＰとしてデータベースに登録するものであるとき、トリミング画像に複数回登場する顔画像ＦＰはユーザーが注目している人物であるとの推測の下、この特定の人物の顔画像ＦＰを優先的にユーザーに提示することができるため、表示装置に提示された複数の顔画像ＦＰの中から重要と思われる顔画像ＦＰを見つけやすくすることができる。

また、被写体検出手段１０が複数の全体画像Ｐに対しそれぞれ主要被写体の検出を行ったとき、被写体認識手段１１０が複数の全体画像のうち設定枚数以上あるいは設定割合以上に登場する主要被写体をデータベース１２０に登録するものであれば、トリミング画像ＴＰに複数回登場する顔画像ＦＰはユーザーが注目している人物であるとの推測の下、この特定の人物の顔画像ＦＰを優先的にユーザーに提示することができるため、表示装置に提示された複数の顔画像ＦＰの中から重要と思われる顔画像ＦＰを見つけやすくすることができる。

本発明の実施の形態は、上記各実施の形態に限定されない。たとえば、上記実施の形態において、被写体検出手段１０が顔画像を検出する場合について例示しているが、たとえばネコ、犬等の動物や城、建造物などのランドマーク等の顔画像以外の主要被写体を検出するものであってもよい。

本発明のトリミング支援装置の好ましい実施の形態を示すブロック図 図１の被写体検出手段により全体画像から顔画像が検出された様子を示す模式図 図１の画像表示手段により表示装置にウィンドウ画面Ｗが表示された様子を示す模式図 図１の画像表示手段により表示装置にウィンドウ画面Ｗが表示された様子を示す模式図 図１の重要度算出手段により算出される各顔画像の重要度の一例を示す表 図１の画像表示手段により表示装置にウィンドウ画面Ｗが表示された様子を示す模式図 図１の画像表示手段により表示装置にウィンドウ画面Ｗが表示された様子を示す模式図 本発明のトリミング支援方法の好ましい実施の形態を示すフローチャート 本発明のトリミング支援装置の別の実施の形態を示すブロック図

符号の説明

１、１００ トリミング支援装置
２ 表示装置
１０ 被写体検出手段
２０ 選択手段
３０ トリミング枠設定手段
４０ トリミング手段
５０ 画像表示手段
６０、１６０ 重要度算出手段
７０ 画像出力手段
１００ 重要度
１１０ 被写体認識手段
１２０ データベース
ＦＰ、ＦＰ１〜ＦＰ５ 顔画像（主要被写体）
Ｐ 全体画像
ＴＧ トリミング枠
ＴＰ トリミング画像

Claims (9)

1. 全体画像から複数の主要被写体を検出し、
   検出した前記複数の主要被写体からトリミング枠内に収める該主要被写体を選択し、
   選択した前記主要被写体を含むように前記全体画像上にトリミング枠を自動的に設定し、
   設定した前記トリミング枠が描かれた前記全体画像と、前記被写体検出手段により検出されたすべての前記主要被写体の情報と、前記トリミング枠内に含まれる前記主要被写体の情報とを表示装置に表示する
   ことを特徴とするトリミング支援方法。
2. 全体画像から複数の主要被写体を検出する被写体検出手段と、
   該被写体検出手段により検出された前記複数の主要被写体からトリミング枠内に収める該主要被写体を選択する選択手段と、
   該選択手段により選択された前記主要被写体を含むように前記全体画像上にトリミング枠を自動的に設定するトリミング枠設定手段と、
   該トリミング枠設定手段により設定された前記トリミング枠が描かれた前記全体画像と、前記被写体検出手段により検出されたすべての前記主要被写体に関する情報と、前記トリミング枠内に含まれる前記主要被写体の情報とを表示装置に表示する画像表示手段と
   を備えたことを特徴とするトリミング支援装置。
3. 前記全体画像における前記各主要被写体の重要度を該各主要被写体の状態からそれぞれ算出する重要度算出手段をさらに有し、前記選択手段が該重要度算出手段により算出された前記重要度の高い前記主要被写体が収まるように初期トリミング枠を自動的に設定するものであることを特徴とする請求項２記載のトリミング支援装置。
4. 前記選択手段が、入力手段からの入力に従い前記主要被写体を選択するものであることを特徴とする請求項２または３項記載のトリミング支援装置。
5. 前記被写体検出手段が、入力手段を用いて指定された前記全体画像上の任意の点もしくは領域の周辺から前記主要被写体を検出する機能を有するものであることを特徴とする請求項２から４のいずれか１項記載のトリミング支援装置。
6. 特定の主要被写体が登録されたデータベースと、前記被写体検出手段により検出された前記主要被写体が前記データベースに登録された主要被写体であるかを認識する被写体認識手段をさらに有し、該被写体認識手段において前記主要被写体が前記データベースに登録された主要被写体であると認識したとき、前記重要度算出手段が認識された前記主要被写体の重要度を高く算出するものであることを特徴とする請求項３から５のいずれか１項記載のトリミング支援装置。
7. 前記選択手段が複数の前記トリミング画像の選択を行ったとき、前記被写体認識手段が選択された複数の前記トリミング画像のうち設定枚数以上あるいは設定割合以上の前記トリミング画像内に登場する前記主要被写体を前記データベースに登録するものであることを特徴とする請求項６記載のトリミング支援装置。
8. 前記被写体検出手段が複数の前記全体画像に対しそれぞれ前記主要被写体の検出を行ったとき、前記複数の全体画像のうち設定枚数以上あるいは設定割合以上に登場する前記主要被写体を前記データベースに登録するものであることを特徴とする請求項６または７記載のトリミング支援装置。
9. コンピュータに、
   全体画像から複数の主要被写体を検出し、
   検出した前記複数の主要被写体からトリミング枠内に収める該主要被写体を選択し、
   選択した前記主要被写体を含むように前記全体画像上にトリミング枠を自動的に設定し、
   設定した前記トリミング枠が描かれた前記全体画像と、前記被写体検出手段により検出されたすべての前記主要被写体の情報と、前記トリミング枠内に含まれる前記主要被写体の情報とを表示装置に表示する
   ことを実行させるためのトリミング支援プログラム。

Images