JP2007274017A - 自動トリミング方法および装置ならびにプログラム - Google Patents

Abstract

【課題】撮影者が注目している人物および背景を推測し自動的にトリミングを行う。
【解決手段】顔検出手段１０において全体画像Ｐから顔画像ＦＰが検出される。次に、構図識別手段３０において、顔画像ＦＰ１、ＦＰ２に基づいて全体画像Ｐの天地が識別される。さらに識別された天地情報を用いて全体画像Ｐが縦長構図であるか横長構図であるかが識別される。その結果、顔画像ＦＰ１が地側にあると判別されたときであって、構図識別手段３０において全体画像Ｐが横長構図であると識別されたとき、縦長構図のトリミング枠ＴＧ１０を用いてトリミングが自動的に行われる。
【選択図】図１

Description

本発明は、デジタルカメラ等により取得した全体画像から特定の人物の顔に合わせて自動的にトリミングする自動トリミング方法および装置ならびにプログラムに関するものである。

パスポートや免許証の交付申請あるいは履歴書等に用いる証明写真を作成する際、証明写真の規格に合わせて画像中の顔を拡大縮小するとともに、顔が写真の所定の位置に配置されるようにトリミングする方法が知られている。特に、写真画像から顔や目などを検出する技術の進歩に伴い、デジタルカメラ等を用いて取得した写真画像から顔を検出してそれに基づいてトリミング領域を設定してトリミングを行う自動トリミング処理方法が提案されている（たとえば特許文献１参照）。特許文献１において、まず写真画像から人物の顔が検出され、検出されたすべての顔の位置を基準にトリミング領域の位置および大きさが設定される。そして、このすべての顔を含むようなトリミング領域に基づいて自動的にトリミングが行われる。
特開２００５−２６７４５４号公報

上述のように特許文献１におけるトリミング枠の設定は、顔画像のみに注目してトリミング枠の設定を行っている。しかし、たとえばお城などのランドマークを背景として人物を撮影する等の撮影者が背景も人物と同様に重要な被写体であると考えて撮影を行ったとき、上述した顔画像のみに注目したトリミング枠の設定を行うとトリミング枠から撮影者が注目している背景が欠落してしまう場合があるという問題がある。

そこで、本発明は、撮影者が注目している人物および背景を推測し自動的にトリミングを行うことができる自動トリミング方法および装置ならびにプログラムを提供することを目的とするものである。

本発明の自動トリミング方法は、全体画像からの顔画像の検出と、全体画像の天地の判別と、全体画像が縦長構図であるか横長構図であるかの識別とを行い、検出した顔画像が識別した構図において天側に位置するのか地側に位置するのかを判別し、顔画像が全体画像の天側に位置すると判別されたとき、顔画像の大きさおよび位置に合わせてトリミング枠の大きさおよび位置を決定してトリミングを行い、顔画像が全体画像の地側に位置すると判別され全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を顔画像の位置に合わせて設定しトリミングを行うことを特徴とするものである。

本発明の自動トリミング装置は、全体画像から顔画像を検出する顔検出手段と、全体画像の天地を判別する天地判別手段と、全体画像が縦長構図であるか横長構図であるかを識別する構図識別手段と、顔検出手段により検出された顔画像が天地判別手段により判別された全体画像天側に位置するのか地側に位置するのかを判別する顔位置判別手段と、顔検出手段により検出された顔画像に合わせてトリミング枠を設定しトリミングを自動的に行うトリミング手段とを備え、トリミング手段が、顔位置判別手段において顔画像が全体画像の天側にあると判別されたとき、顔画像の大きさおよび位置に基づいてトリミング枠の大きさおよび位置を決定してトリミングを行い、顔位置判別手段において顔画像が全体画像の地側に位置すると判別され構図識別手段において全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を顔画像の位置に合わせて設定しトリミングを行うものであることを特徴とするものである。

本発明の自動トリミングプログラムは、コンピュータに、全体画像からの顔画像の検出と、全体画像の天地の判別と、全体画像が縦長構図であるか横長構図であるかの識別とを行い、検出した顔画像が識別した構図において天側に位置するのか地側に位置するのかを判別し、顔画像が全体画像の天側に位置すると判別されたとき、顔画像の大きさおよび位置に合わせてトリミング枠の大きさおよび位置を決定してトリミングを行い、顔画像が全体画像の地側に位置すると判別され全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を顔画像の位置に合わせて設定しトリミングを行うことを実行させることを特徴とするものである。

ここで、構図識別手段は、長方形の全体画像について天地方向が左右方向より長い縦長構図と、天地方向が左右方向より短い横長構図とを識別するものである。

なお、顔検出手段は全体画像から顔を検出するものであればその手法を問わず、たとえばブースティングアルゴリズム、ＳＶＭ（サポートベクターマシン）アルゴリズム等公知の顔検出技術を用いることができる。また、全体画像に複数の顔画像が含まれているとき、全体画像上にあるすべての顔画像を検出するようにしても良いし、予め設定された設定しきい値以上の大きさを有する顔画像のみを検出するようにしても良い。

また、トリミング手段はトリミング枠を設定するときにいかなる手法を用いても良く、特に全体画像の所定の割合になるようにトリミング枠を設定するようにしてもよい。

さらに、トリミング手段は、顔位置判別手段において顔画像が全体画像の地側にあり全体画像が縦長構図であると判別されたとき、トリミングを自動的に行わないようにしてもよい。

また、構図識別手段は、天地を判別する際に、全体画像の空や地面を検出することにより天地を判別するようにしても良いし、顔画像の中心から頭部へ向かう方向を天側であると識別するようにしてもよい。

本発明の自動トリミング方法および装置ならびにプログラムによれば、全体画像からの顔画像の検出と、全体画像の天地の判別と、全体画像が縦長構図であるか横長構図であるかの識別とを行い、検出した顔画像が識別した構図において天側に位置するのか地側に位置するのかを判別し、顔画像が全体画像の天側に位置すると判別されたとき、顔画像の大きさおよび位置に合わせてトリミング枠の大きさおよび位置を決定してトリミングを行い、顔画像が全体画像の地側に位置すると判別され全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を顔画像の位置に合わせて設定しトリミングを行うことにより、撮影者が撮影しようとしている人物のみならず背景をも考慮したトリミング枠の設定を行うことができるため、撮影者の意図を反映したトリミングを自動的に行うことができる。

このとき、トリミング手段が、全体画像の所定の割合の大きさのトリミング枠を設定するものであれば、トリミング後の画像が小さくなりすぎるのを防止することができる。

さらに、顔位置判別手段において顔画像が全体画像の地側にあり全体画像が縦長構図であると判別されたとき、トリミング手段が自動的にトリミングを行わないようにすれば、わざわざ縦長構図にしてまで顔と一緒に撮影したかった背景の一部もしくは全部を取り除くような撮影者の意図に反するトリミングを行うのを防止することができる。

また、天地判別手段が、顔画像から頭部を検出し頭部側を天方向であると判定するものであるとき、天地の判別を効率的に行うことができる。

さらに、全体画像に複数の顔画像が含まれているとき、顔検出手段が複数の顔画像のうち設定しきい値より大きい顔画像のみを検出するものであれば、撮影者が注目していない小さい顔画像がトリミング枠に含まれてしまうのを防止することができるため、撮影者が注目している人物を中心としたトリミングを自動的に行うことができる。

以下、図面を参照して本発明の自動トリミング装置の好ましい実施の形態を詳細に説明する。なお、図１のような自動トリミング装置１の構成は、補助記憶装置に読み込まれた自動トリミングプログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。このとき、この自動トリミングプログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。もしくは自動トリミングプログラムをデジタルカメラ内のプロセッサにより実装することにより実現されたものであってもよい。

自動トリミング装置１は、全体画像Ｐから顔画像ＦＰを検出する顔検出手段１０と、全体画像Ｐの天地を判別する天地判別手段２０と、全体画像Ｐが縦長構図であるか横長構図であるかを識別する構図識別手段３０と、顔画像Ｐが天側に位置するか地側に位置するかを判別する顔位置判別手段４０と、顔画像の位置に合わせてトリミング枠を設定し自動的にトリミングを行うトリミング手段５０とを備えている。

顔検出手段１０は、たとえばShihong LAO等、「高速全方向顔検出」、画像の識別・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月等に開示されたアダブースティングアルゴリズムを用いた顔検出、ＳＶＭ（Support Vector Machine）アルゴリズム、Ming-Hsuan Yang, David J. Kriegman, Narendra Ahuja: “Detecting faces in images: a survey”, IEEE transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, 2002に記載された顔検出方法等の公知の顔検出アルゴリズムを用いて顔を検出するものである。

ここで、顔検出手段１０は、全体画像Ｐから検出されたすべての顔画像ＦＰの大きさを算出して最も大きい顔画像ＦＰを検出し、顔検出手段１０は最も大きい顔画像ＦＰの所定の割合（たとえば０．４倍）を設定しきい値とする。そして、この設定しきい値より小さい顔画像ＦＰを顔画像ＦＰとして検出されなかったものとして除外する。たとえば図２に示すように、全体画像Ｐ内に３つの顔画像ＦＰ１〜ＦＰ３が存在する場合、顔検出手段１０は３つの顔画像ＦＰ１〜ＦＰ３を検出する。さらに、顔検出手段１０は検出した３つの顔画像ＦＰ１〜ＦＰ３のうち最も大きい顔画像ＦＰ１を検出する。顔検出手段１０は各顔画像ＦＰ２、ＦＰ３が顔画像ＦＰ１の０．４倍の大きさを設定しきい値とし、設定しきい値より小さい顔画像ＦＰ３を検出されなかったものとする。

これにより、顔画像ＦＰの位置に基づいて自動的にトリミングを行う際に、撮影者が注目していないサイズの小さい顔画像ＦＰ３を含めたトリミングが行われるのを防止することができる。つまり、全体画像Ｐを取得する際に撮影者は最も大きい顔画像ＦＰ１に注目していると推測される。その最も大きい顔画像ＦＰ１に対し小さい顔画像ＦＰ３は撮影者が注目していない顔（人物被写体）であると推測される。そして、撮影者が注目していないと推測される顔画像ＦＰ３を検出しないことにより、撮影者の意図を反映したトリミング枠の設定を自動的に行うことができる。なお、設定しきい値を顔画像ＦＰから算出する場合について例示しているが、顔検出手段１０に予め設定されたものであってもよい。

天地判別手段２０は、顔検出手段１０により検出された顔画像ＦＰを用いて全体画像Ｐの天地を判別するようになっている。具体的には、図３に示すように、天地判別手段２０は顔検出手段１０により検出された顔画像ＦＰ１、ＦＰ２の中心から頭部へ向かう顔ベクトルＦＶ１、ＦＶ２を検出する。次に、検出されたすべての顔ベクトルの和ＦＶ１＋ＦＶ２を算出し、最もベクトル成分の大きい方向を天側であると識別し、天側の反対側を地側であると判別する。このように、頭が天側にあるという経験則に基づいて顔画像ＦＰ１、ＦＰ２を用いて天地の判別を行うことにより、効率的に精度良く天地の判別を行うことができる。なお天地の判別は、上述した顔画像ＦＰ１、ＦＰ２を用いる方法に限らず、たとえば空もしくは地面を識別することにより天地を判別するようにしても良い。

構図識別手段３０は、天地判別手段２０により判別された天地情報を用いて全体画像Ｐが縦長構図であるか横長構図であるかを識別する機能を有している。構図識別手段３０は、長方形のアスペクト比を有する全体画像Ｐにおいて、判別された天地方向が左右方向よりも長いとき縦長構図であると識別し、天地方向が左右方向よりも短いとき横長構図であると識別する。

顔位置判別手段４０は、天地判別手段２０により判別された天地情報および構図識別手段３０により識別された構図情報に基づいて顔検出手段１０により検出された顔画像ＦＰの位置が天側にあるのか地側にあるのかを判別するものである。具体的には、顔位置判別手段４０は、天地方向において全体画像Ｐを２分する中心線ＣＰを基準に、顔検出手段１０により検出された顔画像ＦＰのうち最上位の顔画像ＦＰ（最も天側に近い顔画像ＦＰ）が天側にあるのか地側にあるのかを判別する。たとえば図３の全体画像Ｐの場合、顔位置判別手段４０は最も天側に近い顔画像ＦＰ１を検出し、この顔画像ＦＰ１が中心線ＣＰを基準に天側にあるのか地側にあるのかを判別する。そして、図３においては顔画像ＦＰ１が天側にあると判別される。

トリミング手段４０は、顔検出手段１０により検出された顔画像ＦＰに合わせてトリミング枠ＴＧを設定しトリミングを自動的に行うものであって、顔位置判別手段４０において判別された顔画像ＦＰの位置および構図識別手段３０において識別された全体画像Ｐの構図に基づいてトリミング方法を決定しトリミングを行う機能を有している。つまり、トリミング手段４０は、図４に示すように、顔画像ＦＰが天側にあるとき、顔画像ＦＰが地側にあり全体画像Ｐが縦長構図であるとき、顔画像ＦＰが地側にあり全体画像Ｐが横長構図であるときの３つのパターンについて、それぞれトリミング手法を変えるようになっている。

まず、図５（Ａ）のように顔画像ＦＰが天側にあるとき、トリミング手段４０は顔検出手段１０により検出されたすべての顔画像ＦＰ１、ＦＰ２を外接するように顔領域ＴＧｒｅｆを設定する。この顔領域ＴＧｒｅｆには顔検出手段１０により検出されなかった設定しきい値より小さい顔画像ＦＰ３は含まれない。

そして、トリミング手段４０は複数の顔画像ＦＰ１、ＦＰ２の大きさの平均値に基づいてトリミング枠ＴＧ１の大きさを設定する。つまり、顔画像ＦＰ１、ＦＰ２の縦方向（天地方向）および横方向（左右方向）の平均値をそれぞれ算出し、図５（Ｂ）に示すように、算出した各平均値の所定倍の長さを縦方向および横方向にそれぞれ加算する。具体的には、トリミング手段４０は、上方向（天方向）には顔画像ＦＰ１、ＦＰ２の縦方向の平均値Ｈａと同一の長さを顔領域ＴＧｒｅｆに加算する。下方向（地方向）には顔画像ＦＰ１、ＦＰ２の縦方向の平均値Ｈａの２倍の長さ（＝２Ｈａ）を加算する。また、トリミング手段４０は、左右方向にそれぞれ顔画像ＦＰ１、ＦＰ２の横方向の平均値Ｗａの２倍の長さ（＝２Ｗａ）を加算する。すると、顔領域ＴＧｒｅｆが横方向については中心にあり、上下方向についてはいわゆる黄金分律に近い位置に配置されたトリミング枠ＴＧ１が得られる。

なお、トリミング後の画像のアスペクト比がたとえばユーザー等により予め設定されている場合、トリミング手段４０は、図５（Ｃ）のように、トリミング枠ＴＧ１を設定されているアスペクト比になるように補正したトリミング枠ＴＧ１０を設定するようにしてもよい。このとき、上方向と下方向もしくは左方向と右方向の拡大・縮小率は同一にする。ただし、トリミング枠ＴＧ１の上下左右方向のいずれかの端部が全体画像Ｐの端部に達した場合、指定したアスペクト比を満たすように全体画像Ｐの端部に達していない反対側を拡張する。

さらに、トリミング手段４０は、全体画像Ｐとトリミング枠ＴＧ１との大きさを比較し、トリミング枠ＴＧ１の大きさが全体画像Ｐの所定の割合（たとえば０．７倍）以上であるとき、このトリミング枠ＴＧ１を用いて自動的にトリミングを行う。一方、所定の割合より小さいとき、トリミング手段４０は所定の割合に近づくように上方向：下方向＝１：２の拡張比率でトリミング枠ＴＧ１を縦方向に拡張したトリミング枠ＴＧ１０を設定するようにしてもよい。これによりトリミング後の画像が小さくなりすぎるのを防止することができる。なお、上方向：下方向＝１：２で拡張してしまうと所定の割合を大幅に超えてしまう場合、上方向：下方向＝１．５：３もしくは上方向：下方向＝２：４という拡張比率を適宜用いて所定の割合に近づけるようにする。

なお、図５において、全体画像Ｐが横長構図の場合について例示しているが、図６に示すような縦長構図の場合も顔画像ＦＰが天側にあるとき、同様の手法によりトリミング枠ＴＧ１（ＴＧ１０）が設定されトリミングが自動的に行われる。

次に、顔画像ＦＰが地側にある場合について説明する。通常、写真を撮影する場合には顔を全体画像Ｐ中の中間あるいは上側（天側）に配置して撮影するものである。にもかかわらず撮影者が顔を全体画像Ｐの下側（地側）に配置したということは、顔の上側（天側）にある背景も顔と一緒に写したかったものと推測される。さらには全体画像Ｐが縦長構図であるとき、撮影者は顔と一緒に撮影したかった背景をわざわざ縦長構図にして全体画像Ｐ内に収まるように撮影したものと推測される。よって、図７に示すように、顔画像ＦＰが地側にあり全体画像Ｐが縦長構図であるとき、トリミング手段４０は自動的にトリミングを行わない。これにより、たとえばトリミングを行うことにより背景の一部を取り除くような撮影者の意図に反するトリミングを行うのを防止することができる。

一方、図８に示すように、顔画像ＦＰが地側にあり全体画像Ｐが横長構図であるとき、トリミング手段４０は顔の上側（天側）に存在であろう撮影者が顔と一緒に撮影したかった背景も含むような縦長構図となるトリミング枠を設定し自動的にトリミングを行うようになっている。具体的には、図８のように顔が１つしかない場合、トリミング手段４０は顔画像ＦＰを顔領域ＴＧｒｅｆとして設定する。そして、トリミング手段４０は、横方向については顔画像ＦＰの横方向長さの所定倍（たとえば２倍）の長さだけ顔領域ＴＧｒｅｆを拡張し、顔画像ＦＰ（顔領域ＴＧｒｅｆ）が横方向の中央に配置されるようにする。また、トリミング手段４０は、縦方向について全体画像Ｐの上端および下端まで顔領域ＴＧｒｅｆを拡張し、縦長構図のトリミング枠ＴＧ１が設定される。そして、トリミング手段４０はトリミング枠ＴＧ１を用いて自動的にトリミングを行う。これにより、撮影者が顔と一緒に撮影したかった背景をも含むようなトリミングを自動的に行うことができ、撮影者の意図を反映したトリミングを自動的に行うことができる。

なお、図８は顔画像ＦＰが１つの場合について例示しているが、複数の顔画像ＦＰがある場合には図２、図５と同様、顔領域ＴＧｒｅｆを基準にトリミング枠ＴＧ１が設定される。また、図５（Ｃ）のようにトリミング枠ＴＧ１を所定のアスペクト比になるように拡張し、もしくはトリミング枠ＴＧ１の大きさが全体画像Ｐの所定の割合になるように拡張したトリミング枠ＴＧ１０を設定するようにしても良い。

図９は本発明の自動トリミング方法の好ましい実施の形態を示すフローチャートであり、図１から図９を参照して自動トリミング方法について説明する。まず、顔検出手段１０において全体画像Ｐから顔画像ＦＰが検出される（ステップＳＴ１、図２参照）。ここで、顔検出手段１０において、設定しきい値以上の大きさの顔画像ＦＰ１、ＦＰ２のみが検出され、設定しきい値より小さい顔画像ＦＰ３は検出された顔画像から除外される。

次に、天地判別手段２０において顔画像ＦＰ１、ＦＰ２に基づいて全体画像Ｐの天地が判別される。また、構図識別手段３０において全体画像Ｐが縦長構図であるか横長構図であるかが識別される（ステップＳＴ２、図３参照）。そして、顔位置判別手段４０において、検出された顔画像ＦＰ１、ＦＰ２のうち最上位の顔画像ＦＰ１が天側にあるのか地側にあるのかが判別される（ステップＳＴ３）。

顔画像ＦＰ１が天側にあると判別されたとき、トリミング手段４０において顔画像ＦＰ１、ＦＰ２の大きさおよび位置に基づいてトリミング枠ＴＧ１（ＴＧ１０）が設定されトリミングが自動的に行われる（ステップＳＴ４、図５参照）。一方、顔画像ＦＰ１が地側にあると判別されたときであって、構図識別手段３０において全体画像Ｐが横長構図であると識別されたとき（ステップＳＴ５）、縦長構図に設定されたトリミング枠ＴＧ１を用いてトリミングが自動的に行われる（ステップＳＴ６、図８参照）。さらに、顔画像ＦＰ１が地側にあると判別されたときであって、構図識別手段３０において全体画像Ｐが縦長構図であると識別されたとき、トリミング手段４０におけるトリミングは自動的には行われない（ステップＳＴ７、図７参照）。

上記実施の形態によれば、全体画像Ｐが横長構図であって顔画像ＦＰが全体画像Ｐの地側にあるとき、顔画像ＦＰの位置に合わせて縦長構図のトリミング枠ＴＧ１を設定し自動的にトリミングを行うことにより、撮影者が撮影しようとしている人物のみならず背景をも考慮したトリミング枠ＴＧ１（ＴＧ１０）の設定を行うことができるため、撮影者の意図を反映したトリミングを自動的に行うことができる。

また、図５に示すように、顔位置判別手段４０において顔画像ＦＰが全体画像Ｐの天側にあると判別されたとき、トリミング手段４０が顔画像ＦＰの大きさからトリミング枠ＴＧ１の大きさを決定するものであれば、顔画像ＦＰの大きさに合わせたトリミング枠ＴＧ１の大きさを設定することができるため、最適な構図のトリミングを行うことができる。

さらに、図５（Ｃ）に示すように、トリミング手段４０が、全体画像の所定の割合の大きさを有するトリミング枠を設定するものであれば、トリミング後の画像が小さくなりすぎるのを防止することができる。

また、図７に示すように、顔位置判別手段４０において顔画像ＦＰが全体画像Ｐの地側にあり全体画像Ｐが縦長構図であると判別されたとき、トリミング手段４０が自動的にトリミングを行わないようにすれば、わざわざ縦長構図にしてまで顔と一緒に撮影したかった背景の一部もしくは全部を取り除くような撮影者の意図に反するトリミングを行うのを防止することができる。

また、図２に示すように、天地判別手段２０が、顔画像ＦＰから頭部を検出し頭部側を天方向であると判定するものであるとき、天地の判別を効率的に精度良く行うことができる。さらに、全体画像Ｐに複数の顔画像ＦＰが含まれているとき、顔検出手段１０が複数の顔画像ＦＰ１〜ＦＰ３のうち設定しきい値（最大の顔画像ＦＰ１の０．４倍）より大きい顔画像ＦＰ１、ＦＰ２のみを検出するものであれば、撮影者が注目していない小さい顔画像ＦＰ３がトリミング枠ＴＧ１に含まれてしまうのを防止することができるため、撮影者が注目している人物を中心としたトリミングを自動的に行うことができる。

本発明の実施の形態は上記実施の形態に限定されない。たとえば、上記実施の形態において、複数の顔画像ＦＰがある場合、トリミング手段４０は複数の顔画像ＦＰ１、ＦＰ２の大きさの平均値に基づいてトリミング枠ＴＧ１の大きさを設定するようにしているが、複数の顔画像ＦＰ１、ＦＰ２のボケ具合等を比較することによりいずれの顔画像ＦＰが主要被写体であるかを判断し、主要被写体であると判断した顔画像ＦＰを基準にトリミング枠ＴＧを設定するようにしても良い。

また、トリミング手段４０において、顔画像ＦＰに加えてその顔画像ＦＰの体情報および背景情報を考慮してトリミング枠ＴＧを決定するようにしてもよい。また、顔画像ＦＰが天側にある場合と地側にある場合、さらには顔画像ＦＰが天側に位置している場合における縦長構図の場合と横長構図と場合とにおいて、それぞれ異なるテーマに基づいて異なるトリミング枠ＴＧの設定方法を採用するようにしてもよい。

本発明の自動トリミング装置の好ましい実施の形態を示すブロック図 図１の顔検出手段により全体画像から顔画像が検出された様子を示す模式図 図１の構図識別手段により全体画像の天地および構図が識別された様子を示す模式図 図１のトリミング手段におけるトリミング手法の切替えを示す表 横長構図の全体画像において顔画像が天側にある場合のトリミング手法の一例を示す模式図 縦長構図の全体画像において顔画像が天側にある場合のトリミング手法の一例を示す模式図 縦長構図の全体画像において顔画像が地側にある場合のトリミング手法の一例を示す模式図 横長構図の全体画像において顔画像が地側にある場合のトリミング手法の一例を示す模式図 本発明の自動トリミング方法の好ましい実施の形態を示すフローチャート

符号の説明

１ 自動トリミング装置
１０ 顔検出手段
２０ 構図識別手段
３０ 顔位置判別手段
４０ トリミング手段
ＦＰ 顔画像
Ｐ 全体画像
ＴＧ１ トリミング枠

Claims (8)

1. 全体画像からの顔画像の検出と、該全体画像の天地の判別と、該全体画像が縦長構図であるか横長構図であるかの識別とを行い、
   検出した前記顔画像が識別した構図において天側に位置するのか地側に位置するのかを判別し、
   前記顔画像が前記全体画像の天側に位置すると判別されたとき、前記顔画像の大きさおよび位置に合わせてトリミング枠の大きさおよび位置を決定してトリミングを行い、
   前記顔画像が前記全体画像の地側に位置すると判別され前記全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を前記顔画像の位置に合わせて設定しトリミングを行う
   ことを特徴とする自動トリミング方法。
2. 全体画像から顔画像を検出する顔検出手段と、
   前記全体画像の天地を判別する天地判別手段と、
   前記全体画像が縦長構図であるか横長構図であるかを識別する構図識別手段と、
   前記顔検出手段により検出された前記顔画像が前記天地判別手段により判別された前記全体画像天側に位置するのか地側に位置するのかを判別する顔位置判別手段と、
   前記顔検出手段により検出された前記顔画像に合わせてトリミング枠を設定しトリミングを自動的に行うトリミング手段と
   を備え、
   該トリミング手段が、
   前記顔位置判別手段において前記顔画像が前記全体画像の天側にあると判別されたとき、前記顔画像の大きさおよび位置に基づいてトリミング枠の大きさおよび位置を決定してトリミングを行い、
   前記顔位置判別手段において前記顔画像が前記全体画像の地側に位置すると判別され前記構図識別手段において前記全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を前記顔画像の位置に合わせて設定しトリミングを行うものであることを特徴とする請求項２記載の自動トリミング装置。
3. 前記トリミング手段が、前記全体画像の所定の割合の大きさの前記トリミング枠を設定するものであることを特徴とする請求項２記載の自動トリミング装置。
4. 前記顔位置判別手段において前記顔画像が前記全体画像の地側にあると判別され前記構図判別手段により前記全体画像が縦長構図であると識別されたとき、前記トリミング手段がトリミングを自動的に行わないことを特徴とする請求項２または３記載の自動トリミング装置。
5. 前記天地判別手段が、前記顔画像の中心から頭部へ向かう方向を天側であると判別するものであることを特徴とする請求項２から４のいずれか１項記載の自動トリミング装置。
6. 前記全体画像に複数の前記顔画像が含まれているとき、前記顔検出手段が前記複数の顔画像のうち設定しきい値より大きい前記顔画像のみを検出するものであることを特徴とする請求項２から５のいずれか１項記載の自動トリミング装置。
7. 前記顔検出手段において複数の前記顔画像が検出されたとき、前記トリミング手段が前記複数の顔画像の大きさの平均値に基づいて前記トリミング枠の大きさを設定するものであることを特徴とする請求項２から６のいずれか１項記載の自動トリミング装置。
8. コンピュータに、
   全体画像からの顔画像の検出と、該全体画像の天地の判別と、該全体画像が縦長構図であるか横長構図であるかの識別とを行い、
   検出した前記顔画像が識別した構図において天側に位置するのか地側に位置するのかを判別し、
   前記顔画像が前記全体画像の天側に位置すると判別されたとき、前記顔画像の大きさおよび位置に合わせてトリミング枠の大きさおよび位置を決定してトリミングを行い、
   前記顔画像が前記全体画像の地側に位置すると判別され前記全体画像が横長構図であると識別されたとき、縦長構図のトリミング枠を前記顔画像の位置に合わせて設定しトリミングを行う
   ことを実行させるための自動トリミングプログラム。

Images