JP2008225720A - 画像トリミング装置および方法並びにプログラム - Google Patents

Abstract

【課題】顔の向きに拘わらずトリミング領域を適切に設定できるようにする。
【解決手段】顔検出部２が画像に含まれる顔を検出し、特徴量取得部３が検出された顔から、両目の位置および鼻の位置等の顔の特徴量を取得する。中心位置設定部５が顔の検出結果および特徴量に基づいて顔の中心位置を設定する。そして、トリミング領域設定部６が、顔の中心位置を中心として画像にトリミング領域を設定する。
【選択図】図１

Description

本発明は、顔を含む画像に対して、顔を含むトリミング領域を設定する画像トリミング装置および方法並びに画像トリミング方法をコンピュータに実行させるためのプログラムに関するものである。

パスポートや免許証の交付申請、あるいは履歴書の作成等の場合において、本人の顔が写っているあらかじめ定められた出力規格の写真（以下証明写真という）の提出が要求されることが多い。このため、利用者の撮影を行うための撮影室が設けられ、撮影室内の椅子に着座した利用者を撮影し、利用者の証明写真用の顔写真画像をシートに記録した証明写真シートを作成することを自動的に行う証明写真の自動作成装置が従来より利用されている。このような自動作成装置は、大型であり、設置場所が限られているため、利用者が証明写真を取得するためには、自動作成装置が設置された場所を探して出向く必要があり、不便である。

このため、画像から顔、目等を検出して、それに基づいてトリミング領域を設定してトリミングを行う手法が提案されている。例えば、特許文献１には、画像に含まれる顔の画像平面内での回転角度を両目の中心位置から求め、顔の回転を補正してトリミング領域を設定する手法が提案されている。また、特許文献２には、画像から顔の検出、目の検出、および瞳の検出を行い、両瞳の位置および両瞳間の距離を取得し、両瞳の位置および両瞳間の距離を用いてトリミング領域を設定する手法が提案されている。さらに特許文献３には、両目間の中心点、鼻の中心点、および口の中心点を結ぶ直線をトリミング中心線とし、トリミング中心線を中心に左右対称する領域をトリミング領域として設定する手法が提案されている。これらの手法によれば、顔の中心を基準として顔を含むトリミング領域を画像に設定することができる。
特開２００３−３１９１６９号公報 特開２００５−２４２６４１号公報 特開２００６−１３９３６９号公報

ところで、画像に含まれる顔は必ずしも正面を向いた顔ばかりではなく、上下左右を向いている場合がある。このような、上下左右を向いた顔は証明写真としてはふさわしくないものの、例えばスクールフォト等においては、若干斜めを向いている方が好ましい場合があるため、上下左右を向いた顔についても自動でトリミング領域を設定してトリミングを行いたいという要望がある。このため、上記特許文献１〜３に記載された手法を用いて画像にトリミング領域を設定することが考えられる。

ここで、上記特許文献１〜３に記載された手法は、両目の中心位置等をトリミング領域の設定の基準としているため、正面を向いた顔については顔が中央に位置するようにトリミング領域を設定できる。しかしながら、顔が上下左右を向いていると、両目の中心位置が必ずしも顔の中心に位置するとは限らないため、上記特許文献１〜３の手法を用いた場合、トリミング領域の中心が顔の中心からずれ、その結果、顔がトリミング領域の中央に位置しないこととなってしまう。

本発明は、上記事情に鑑みなされたものであり、顔の向きに拘わらずトリミング領域を適切に設定できるようにすることを目的とする。

本発明による画像トリミング装置は、顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング装置において、
前記画像に含まれる顔を検出する顔検出手段と、
前記検出された顔から該顔の特徴量を取得する特徴量取得手段と、
前記顔の検出結果および前記特徴量に基づいて、前記顔の中心位置を設定する中心位置設定手段と、
前記中心位置を中心として前記画像にトリミング領域を設定するトリミング領域設定手段とを備えたことを特徴とするものである。

なお、本発明による画像トリミング装置においては、前記特徴量に基づいて前記顔の向きを検出する向き検出手段をさらに備えるものとし、
前記中心位置設定手段を、前記顔の向きにも基づいて、前記顔の中心位置を設定する手段としてもよい。

また、本発明による画像トリミング装置においては、前記特徴量取得手段を、前記顔に含まれる両目の中心位置、鼻の位置および該顔の左右端の位置を前記特徴量として取得する手段とし、
前記中心位置設定手段を、前記両目の中心位置、前記鼻の位置および前記顔の左右端の位置のいずれか、またはこれらの位置の重心位置を基準として、前記顔の中心位置を設定する手段としてもよい。

本発明による画像トリミング方法は、顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング方法において、
前記画像に含まれる顔を検出し、
前記検出された顔から該顔の特徴量を取得し、
前記顔の検出結果および前記特徴量に基づいて前記顔の中心位置を設定し、
前記中心位置を中心として前記画像にトリミング領域を設定することを特徴とするものである。

なお、本発明による画像トリミング方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明によれば、画像に含まれる顔が検出され、検出された顔から顔の特徴量が取得される。そして、顔の検出結果および特徴量に基づいて顔の中心位置が検出され、中心位置を中心としてトリミング領域が設定される。このため、顔の向きに拘わらず適切に顔の中心位置を検出することができ、その結果、顔が中央に位置するようにトリミング領域を設定することができる。これにより、証明写真を撮影しなくても、スナップ写真の画像から証明写真として用いる顔をトリミングすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による画像トリミング装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像トリミング装置は、顔を含む画像を表す画像データＳ０の入力を受け付ける画像入力部１と、画像データＳ０により表される画像（以下、画像についても画像データと同一の参照符号を用いるものとする）Ｓ０から顔を検出する顔検出部２と、顔検出部２が検出した顔から特徴量を取得する特徴量取得部３と、顔の向きを検出する向き検出部４と、画像における顔の中心位置を設定する中心位置設定部５と、顔の中心位置を中心としてトリミング領域を設定するトリミング領域設定部６と、トリミング領域により画像Ｓ０から画像をトリミングするトリミング部７とを備える。

画像入力部１は、メディアに記録された画像データＳ０をメディアから読み出すメディアドライブや、ネットワーク経由で送信された画像データＳ０の入力を受け付ける各種インターフェースからなる。なお、画像データＳ０はデジタルカメラ等の撮像装置により取得されたものであってもよく、フイルムや原稿に記録された画像を光電的に読み出すことにより取得されたものであってもよい。

顔検出部２は、テンプレートマッチングによる手法、顔の多数のサンプル画像を用いてマシンラーニング学習により得られた顔判別器を用いる手法、および特開平５−２８２４５７号公報に記載されたニューラルネットワークを用いる手法等により、各画像上における顔の位置を顔領域として検出する。なお、画像Ｓ０に顔が含まれない場合には、顔検出部２は顔が検出されなかった旨の出力を行う。

特徴量取得部３は、顔検出部２が検出した顔領域に含まれる顔Ｔ０を構成する主要な顔部品である顔の特徴点を特徴量として取得する。具体的には、各顔部品のテンプレートを用いたテンプレートマッチングによる手法や顔部品の多数のサンプル画像を用いたマシンラーニング学習により得られた、顔部品毎の判別器を用いる手法等により、例えば左右目頭の位置、左右目尻の位置、鼻の位置、頭頂部の位置、顎の先端の位置および顔の左右端の位置の座標を特徴量として取得する。また、左右目頭、左右目尻の位置から両目の位置を算出することにより、両目の位置の座標も特徴量として取得する。具体的には左右の目頭と目尻との中点を左右の目の位置として算出する。

向き検出部４は、特徴量取得部３が取得した特徴量のうち、両目の位置および鼻の位置の位置関係を、あらかじめ定められた標準的な正面を向いた顔の位置関係と比較し、画像の左右方向および上下方向の位置関係の差を算出する。そして左右方向の位置関係の差に基づいて、顔Ｔ０の左右の向きを−９０度〜９０度の値にて算出する。また、上下方向の位置関係の差に基づいて、顔Ｔ０の上下の向きを−９０度〜９０度の値にて算出する。なお、算出した左右の角度をＤ１、上下の角度をＤ２とする。

中心位置設定部５は、両目間の中心位置Ｃ１、鼻の位置Ｃ２および顔の左右端の位置の中心位置Ｃ３の重心の位置Ｃ４を、顔の中心位置設定のための基準位置として算出する。ここで、両目の位置は左右のそれぞれの目のｘｙ座標にて検出されているため、右目の座標を（ｘｒ，ｙｒ）、左目の座標を（ｘｌ，ｙｌ）とすると両目間の中心位置Ｃ１の座標（ｘ１，ｙ１）は（（ｘｒ＋ｘｌ）／２，（ｙｒ＋ｙｌ）／２）と算出される。鼻の位置Ｃ２の座標（ｘ２，ｙ２）は検出した鼻の位置そのものの座標である。顔の左右端の位置は、左右のそれぞれの端のｘｙ座標にて検出されているため、右端の座標を（ｘｅｒ，ｙｅｒ）、左目の座標を（ｘｅｌ，ｙｅｌ）とすると左右端の中心Ｃ３の座標（ｘ３，ｙ３）は（（ｘｅｒ＋ｘｅｌ）／２，（ｙｅｒ＋ｙｅｌ）／２）と算出される。そして、重心の位置Ｃ４の座標（ｘ４，ｙ４）は、（（ｘ１＋ｘ２＋ｘ３）／３，（ｙ１＋ｙ２＋ｙ３）／３）と算出される。

さらに中心位置設定部５は、顔の向きに応じて重心位置Ｃ４である基準位置の座標を補正して顔の中心Ｃ５を設定する。具体的には、下記の式（１）により座標（ｘ５，ｙ５）を算出し、算出した座標（ｘ５，ｙ５）を顔の中心位置Ｃ５に設定する。なお、式（１）において顔左右半径Ｒ１は、顔の左右端の距離の１／２である。また、顔上下半径Ｒ２は頭頂部と顎部との間の距離の１／２である。

ｘ５＝ｘ４＋Ｒ１×Ｄ１／９０
ｙ５＝ｙ４＋Ｒ２×Ｄ２／９０ （１）
トリミング領域設定部６は、トリミング領域の中心が顔の中心位置Ｃ５と一致し、かつトリミング領域内にトリミングする顔が収まるようにトリミング領域を画像Ｓ０に設定する。

トリミング部７は、画像Ｓ０からトリミング領域を切り出す。

次いで、本実施形態において行われる処理について説明する。図２は本実施形態において行われる処理を示すフローチャートである。なお、ここでは画像Ｓ０に含まれるすべての顔をトリミングする処理について説明する。画像入力部１により画像データＳ０が読み出されることにより装置が処理を開始し、顔検出部２が画像Ｓ０から顔を検出する（ステップＳＴ１）。そして、画像Ｓ０に顔が含まれるか否かを判定し（ステップＳＴ２）、ステップＳＴ２が否定されると処理を終了する。

ステップＳＴ２が肯定されると、処理対象の顔を最初の顔に設定し（ステップＳＴ３）、特徴量取得部３が処理対象の顔の特徴量を取得し（ステップＳＴ４）、さらに向き検出部４が顔の向きを検出する（ステップＳＴ５）。

そして、中心位置設定部５が上述したように顔の中心位置Ｃ５を設定し（ステップＳＴ６）、トリミング領域設定部６が画像Ｓ０上にトリミング領域を設定する（ステップＳＴ７）。そして、すべての顔についてトリミング領域を設定したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されると、処理対象の顔を次の顔に設定し（ステップＳＴ９）、ステップＳＴ４に戻ってステップＳＴ４以降の処理を繰り返す。

ステップＳＴ８が肯定されると、トリミング部７がトリミング領域をトリミングし（ステップＳＴ１０）、処理を終了する。

図３は本実施形態のトリミング領域の設定を説明するための図である。上記特許文献１〜３に記載された手法のように両目の中心を基準としてトリミング領域を設定すると、図３（ａ）に示すように顔が正面を向いている場合には、両目の中心位置Ｏにトリミング領域Ａ１の中心を位置させることにより、顔がトリミング領域Ａ１の中央に位置するようにトリミング領域Ａ１を設定できる。

しかしながら、顔が斜めを向いている場合、両目の中心位置Ｏを基準としてトリミング領域を設定すると、図３（ｂ）に示すように顔がトリミング領域Ａ１の中央に位置しなくなってしまう。

本実施形態においては、顔の特徴量、とくに顔の向きに応じて顔の中心位置Ｃ５を検出するようにしたため、図３（ｃ）に示すように顔が横を向いていても、顔の中心位置Ｃ５にトリミング領域Ａ１の中心を位置させることにより、顔が中央に位置するようにトリミング領域Ａ１を設定することができることとなる。

なお、上記実施形態においては、両目間の中心Ｃ１、鼻の位置Ｃ２および顔の左右端の位置の中心Ｃ３の重心の位置Ｃ４を基準位置として、顔の中心位置Ｃ５を設定しているが、重心の位置Ｃ４を算出することなく、両目間の中心Ｃ１、鼻の位置Ｃ２および顔の左右端の位置の中心Ｃ３のいずれかを基準位置として顔の中心位置Ｃ５を設定してもよい。

また、上記実施形態においては、左右目頭の位置、左右目尻の位置、鼻の位置、頭頂部の位置、顎の先端の位置および顔の左右端の位置の座標を特徴量として取得し、これらの特徴量を用いて顔の中心位置Ｃ５を設定しているが、取得する特徴量はこれらに限定されるものではない。例えば、特徴量として顔の左右端の位置、頭頂部の位置および顎の先端の位置を取得し、これらの位置から顔のサイズを推定し、その顔のサイズにより規定される領域の中心位置を顔の中心位置として設定するようにしてもよい。

また、上記実施形態において、顔検出部２が顔を検出する際に、両目の位置を検出する場合がある。このような場合には、顔検出部２が検出した両目の位置を特徴量として取得して、顔の中心位置Ｃ５の設定に用いるようにしてもよい。

また、上記実施形態においては、特徴量取得部３が、左右目頭の位置、左右目尻の位置、鼻の位置、頭頂部の位置、顎の先端の位置および顔の左右端の位置の座標を特徴量として取得しているが、これらのすべての特徴量を取得できない場合がある。このような場合には、不図示の入力部からオペレータが不足してる特徴量をマニュアル操作により入力するようにしてもよい。

また、両目の位置は検出できることが多いため、両目位置のみが特徴量として取得された場合には、両目の位置から統計的に、鼻の位置、頭頂部の位置、顎の位置および顔の左右端の位置を推定するようにしてもよい。また、両目の位置から顔のサイズを推定するようにしてもよい。また、頭頂部の位置のみが特徴量として取得された場合には、頭頂部の位置から統計的に顎の位置を推定してもよく、この場合、頭頂部の位置および顎の位置から顔のサイズを推定することが可能となる。

以上、本発明の第１の実施形態に係る装置について説明したが、コンピュータを、上記の顔検出部２、特徴量取得部３、向き検出部４、中心位置設定部５およびトリミング領域設定部６に対応する手段として機能させ、図２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の実施形態による画像トリミング装置の構成を示す概略ブロック図 本実施形態において行われる処理を示すフローチャート 本実施形態のトリミング領域の設定を説明するための図

符号の説明

１ 画像入力部
２ 顔検出部
３ 特徴量取得部
４ 向き検出部
５ 中心位置設定部
６ トリミング領域設定部
７ トリミング部

Claims (5)

1. 顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング装置において、
   前記画像に含まれる顔を検出する顔検出手段と、
   前記検出された顔から該顔の特徴量を取得する特徴量取得手段と、
   前記顔の検出結果および前記特徴量に基づいて、前記顔の中心位置を設定する中心位置設定手段と、
   前記中心位置を中心として前記画像にトリミング領域を設定するトリミング領域設定手段とを備えたことを特徴とする画像トリミング装置。
2. 前記特徴量に基づいて前記顔の向きを検出する向き検出手段をさらに備え、
   前記中心位置設定手段は、前記顔の向きにも基づいて、前記顔の中心位置を設定する手段であることを特徴とする請求項１記載の画像トリミング装置。
3. 前記特徴量取得手段は、前記顔に含まれる両目の中心位置、鼻の位置および該顔の左右端の位置を前記特徴量として取得する手段であり、
   前記中心位置設定手段は、前記両目の中心位置、前記鼻の位置および前記顔の左右端の位置のいずれか、またはこれらの位置の重心位置を基準として、前記顔の中心位置を設定する手段であることを特徴とする請求項１または２記載の画像トリミング装置。
4. 顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング方法において、
   前記画像に含まれる顔を検出し、
   前記検出された顔から該顔の特徴量を取得し、
   前記顔の検出結果および前記特徴量に基づいて前記顔の中心位置を設定し、
   前記中心位置を中心として前記画像にトリミング領域を設定することを特徴とする画像トリミング方法。
5. 顔を含む画像に該顔を含むトリミング領域を設定する画像トリミング方法をコンピュータに実行させるためのプログラムにおいて、
   前記画像に含まれる顔を検出する手順と、
   前記検出された顔から該顔の特徴量を取得する手順と、
   前記顔の検出結果および前記特徴量に基づいて前記顔の中心位置を設定する手順と、
   前記中心位置を中心として前記画像にトリミング領域を設定する手順とを有することを特徴とするプログラム。

Images