JP2006228199A - 顔抽出装置、半導体集積回路 - Google Patents

Abstract

【課題】 横顔に関する誤り率が低く、蓄積された膨大なＡＶコンテンツの中から写りの良い顔画像を抽出できる顔抽出装置を提供する。
【解決手段】 顔抽出装置は、画像１０１内で判定領域１０２を設定する判定領域設定部１０３と、判定領域内の所定の大きさ以上の顔画像の有無を判定する顔判定部１０４とを備える。判定領域設定部は、顔向きに基づいて入力画像の大きさと判定領域の大きさの比を、正面方向に使用される判定領域の大きさが最小になるように変更する。顔画像の特性を効果的に利用できる。
【選択図】 図１

Description

本発明は、画像に含まれる顔画像の位置と大きさを検出する顔抽出装置に関するものである。

近年、デジタルカメラの普及に加え、ＨＤＤのような大容量な記録媒体が普及し、個人が蓄積する動画（静止画の集合と見ることができる。）や静止画の量は、膨大になっている。カメラ付携帯端末やそれを用いた画像を添付する電子メールが普及し、撮影した画像群から人物画像を抽出しそれを添付することが頻繁に行われている。これにより、ユーザは、自分自身のアイデンティティを満足させたり、気持ちや感情をメールに込めている。そのような状況の中、膨大な量の画像のうち所望の顔画像だけを、タグ付け、検索、抽出、推薦するための技術が求められている。

ここで、所望の顔画像とは、いくつかの目的にかなう顔画像であり、特定人物であるか否かが認識可能な顔画像であったり、画像添付メールに添付できるような写りの良い顔画像であったり、編集加工に適する顔画像等である。

画像の構図は、証明写真で使われる上半身撮影画像のスナップショットの構図だけではなく、横顔や集合写真のような小さな顔の集合体の構図など様々である。また、静止画だけでなく、動画像を構成する各フレーム画像も同様である。
画像の内容について、風景写真のように人物が写っていない場合、写っているとしても人物を意図的に被写体とみなさず風景の一環とみなすような場合もある。このような前提のもとでは、顔向きや傾きに対応する必要がある。

特許文献１（米国公開第２００２／０１５９６２７号公報）は、様々な向きに対応する顔検出技術を開示する。即ち、画像内の顔の存在領域を検出するにあたり、画像内の部分矩形領域内の顔の存在有無を判定する判定部を設け、画像端からラスタスキャンしながら部分矩形領域を定義しては顔の存在有無を判定するということを繰り返し行なっている。部分矩形領域の大きさは、判定すべき顔画像の大きさによって定義される。

一般に、画像には大きな顔画像から小さな顔画像まで存在することがあるため、判定部は、部分矩形領域のサイズを小さなサイズから大きなサイズまで変えながら、部分矩形領域が顔であるか否かの判定を繰り返すことが必要である。

顔判定部は、部分矩形領域を所定の大きさに拡大縮小し、その領域が顔画像を含むか否かを判定する。顔判定部は、あらかじめ正面、横顔など各向きの顔画像群を統計的学習手段（例えばニューラルネットワーク等）を用いて学習しており、学習結果を用いて顔判定を行う。より具体的には、正面顔対象の学習結果、横顔対象の学習結果が別々に格納され、顔画像判定部は、これらの学習結果を用いて顔判定する。

特許文献２（特開２００１−３５７４０４号公報）は、画像データベースから所望の画像を抽出する手法を開示する。即ち、画像データベース内の画像における被写体の向きが検出され、検出結果に基づいて、画像データベースの中から所定方向に向いた被写体を含む画像が抽出される。

しかしながら、特許文献１の構成では、顔画像を含まない領域を顔領域とする割合（すなわち誤り率）が高い。特に、横顔（特に片目しか映っていない場合）の場合、正面の顔に比べ誤り率が高くなる。誤りが発生すると、画像データベースから所望の顔画像を抽出しようとする場合、風景画像が抽出される場合もあり、この機能の有用性・信頼性が低下する。誤りを減らすために、顔画像が存在すると判定するための判断基準（すなわち閾値）を上げるということも考えられるが、本来は画像が顔画像を含むと判定すべき場合に顔画像を含まないと誤判定するケースが増える。横顔は正面の顔に比べ誤り率が高いことから、誤らない程度に横顔の閾値を上げると、本来顔画像を含むと判定されるべき画像が漏れてしまうケースが多発し、本来の機能が損なわれる。

特許文献２では、所定の方向が定義され、その所定の方向であるか否かが判定された後、所定の方向に向いている画像が抽出される。しかしながら、所定の方向が１方向のみである。現実には、顔向きは１方向のみでなく、いろいろありうるから、この手法は適当とは言い難い。また、横顔の場合、誤判定率が高く、間違った方向を抽出しやすく、不十分である。
米国公開第２００２／０１５９６２７号公報 特開２００１−３５７４０４号公報 特許第３４６８１０８号公報

そこで本発明は、横顔に関する誤り率が低く、蓄積された膨大なＡＶコンテンツの中から写りの良い顔画像を抽出できる顔抽出装置を提供することを目的とする。

第１の発明に係る顔抽出装置は、画像内から正面方向の顔画像と正面方向でない所定の方向の顔画像の有無を判定するための判定領域を設定する判定領域設定部と、判定領域内に所定の大きさ以上の顔画像の有無を判定する顔判定部とを備え、判定領域設定部は、顔向きに基づいて入力画像のサイズと判定領域のサイズの比を変更する。

この構成により、顔向きに応じて顔画像の大きさを適切に選択することができ、従来技術よりも検出率を向上できる。

第２の発明に係る顔抽出装置では、正面方向に使用される顔画像の大きさが最小である。

この構成により、横顔等誤認識しやすい顔画像の大きさを正面方向の顔画像よりも大きく設定することができ、横顔の顔画像の判定精度を向上できる。また、比較的誤認識しにくい正面方向の顔画像の大きさを小さくし、顔画像の判定漏れを削減できる。これらにより、従来技術よりも誤り率を低下できる。

第３の発明に係る顔抽出装置では、判定領域設定部が、顔向きに基づいて所定の範囲で入力画像の傾きと判定領域の傾きの差を変更する。

この構成により、顔向きに応じて顔の傾き度合いを適切に調整することができ、従来技術よりも検出率を向上できる。

第４の発明に係る顔抽出装置では、正面方向で使用される所定の範囲が最小である。

ここで、ｚ軸：カメラの光軸；ｕ軸：ｚ軸に直交する画面の横軸；ｖ軸：ｚ軸に直交する画面の縦軸とする。また、顔を目・鼻・口から構成される擬似平面とみなしたとき、顔の「向き」とは、その平面の法線の方向である。

回転１：顔向きが正面方向であるとき（正面顔：疑似平面の法線方向がｚ軸と平行なとき）、人が頭と首の接合点を中心に顔を回転させると、正面方向を向く顔画像はｚ軸回りに回転する。

回転２：顔向きが左方向又は右方向であるとき（横顔：疑似平面の法線方向がｚ軸と交差するとき）、人が首を曲げて頭を前後に振るとき、左方向又は右方向を向く顔画像はｚ軸回りに回転する。

また、人間の骨格により、回転２の回転角度の範囲は、回転１の回転角度の範囲より広い。

以上の構成を採用することにより、回転２の回転範囲を回転１の回転範囲より大きく設定し、横顔の顔画像の判定精度を向上でき、検出率を向上できる。

第５の発明に係る顔抽出装置では、判定領域設定部が、顔向きに基づいて判定領域の縦横比を変更する。

この構成により、顔向きに応じて顔の判定領域の縦横比を適切に調整することができ、従来技術よりも検出率を向上できる。

第６の発明に係る顔抽出装置では、正面方向で使用される横に対する縦の比率が最小である。

回転３：顔向きが正面方向であるとき（正面顔：疑似平面の法線方向がｚ軸と平行なとき）、人が頭と首の接合点を中心に顔を回転させると、正面方向を向く顔画像の縦横比が変化する。

回転４：顔向きが左方向又は右方向であるとき（横顔：疑似平面の法線方向がｚ軸と交差するとき）、人が首を曲げて頭を前後に振っても、左方向又は右方向を向く顔画像の縦横比はほとんど変化しない。つまり、正面顔の方が横顔よりも顔の縦横比の変動範囲が大きくなる。

以上の構成を採用することにより、正面顔の回転範囲を横顔の回転範囲より大きく設定し、正面の顔画像の判定精度を向上し、検出率を向上できる。また、縦横比の設定を横顔で小さくして、誤り率を削減できる。

第７の発明に係る顔抽出装置では、所定の方向は、顔の左方向と顔の右方向との少なくとも一つである。

第８の発明に係る顔抽出装置では、正面方向は、顔画像に両眼が共に映っている状態において顔が向いている方向であり、所定の方向は、顔画像に少なくとも片目が映っていない状態において顔が向いている方向である。

これらの構成により、従来技術では判定困難である、片目しか映っていない顔画像にも対応できる。

第９の発明に係る顔抽出装置では、判定領域設定部は、判定領域が画像内を網羅するように判定領域を設定する。

この構成により、誤り率を低くしながら、画像内に顔があるか否かを漏らさず検出できる。

第１０の発明に係る顔抽出装置では、判定領域設定部は、抽出すべき顔画像の大きさの範囲に基づいて判定領域の大きさを決定する。

この構成により、判定領域の大きさを合理的に削減でき、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１１の発明に係る顔抽出装置では、判定領域設定部が、抽出すべき顔画像の画像内における傾きの範囲に基づいて判定領域の傾きを決定する。

この構成により、回転の範囲を合理的に削減でき、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１２の発明に係る顔抽出装置では、判定領域設定部が、抽出すべき顔画中の顔部品を包含する矩形の縦横比の範囲に基づいて判定領域の縦横比を決定する。

この構成により、顔部品を包含する矩形の縦横比の変動範囲を合理的に削減し、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１３の発明に係る顔抽出装置では、判定領域設定部が、抽出すべき顔画像の大きさの範囲に基づいて画像をスケーリングする。

この構成により、画像スケーリングの範囲を合理的に削減でき、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１４の発明に係る顔抽出装置では、判定領域設定部が、抽出すべき顔画像の傾きの範囲に基づいて入力画像を回転させる。

この構成により、画像回転範囲を合理的に削減でき、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１５の発明に係る顔抽出装置では、判定領域設定部が、抽出すべき顔画像の縦横比の範囲に基づいて入力画像の縦横比を変換する。

この構成により、縦横比の変形範囲を合理的に削減でき、顔判定部は、探索すべき領域のみを高速に探索し顔画像を抽出できる。

第１６の発明に係る顔抽出装置では、判定領域設定部が、画像の部分領域を探索領域とし、判定領域設定部は、部分領域が探索領域を網羅するように部分領域を設定する。

第１７の発明に係る顔抽出装置では、顔判定部は、正面方向の顔画像を予め学習させて統計的な分布を規定するパラメータを求めた学習パラメータと、所定の方向の顔画像を予め学習させて統計的な分布を規定するパラメータを求めた学習パラメータと、判定領域内の画像とを用いて求めた値を使用して、判定領域内に所定の大きさ以上の顔画像の有無を判定する。

これらの構成により、正面以外の方向に対する誤りを低く抑えながら、正面方向とそれ以外の方向について、同時に顔抽出できる。

第１８の発明に係る顔抽出装置では、顔判定部の出力が画像が人物画像であることを示すとき、画像を選択する人物画像選択部と、人物画像選択部により選択された人物画像を表示する人物画像表示部とをさらに備える。

第１９の発明に係る顔抽出装置では、顔判定部の出力が部分領域内の画像が人物画像であることを示すとき、部分領域内の画像を選択する人物画像選択部と、人物画像選択部により選択された部分領域内の画像を表示する人物画像表示部とをさらに備える。

第２０の発明に係る顔抽出装置では、個人により撮影された画像を対象にする。

これらの構成により、膨大な量の画像を含むＡＶコンテンツの中から写りの良い顔画像を選択し、ユーザに推薦できる。この構成は特に個人により撮影された画像を対象とする場合において最も有効に機能する。

第２１の発明に係る顔抽出装置では、人物画像表示部は、顔判定部により顔画像が有ると判定された領域内の画像を切り出して表示する。

この構成により、膨大な量の画像を含むＡＶコンテンツから写りの良い画像が選択され表示される際、切り出された小さな画像が用いられるから、限られた画面内にできるだけ多くの顔画像を表示できる。

第２２の発明に係る顔抽出装置では、人物画像表示部は、顔判定部により顔画像が有ると判定された領域内の画像に枠を付して表示する。

この構成により、膨大な量の画像を含むＡＶコンテンツから写りの良い画像が選択され表示される際、枠を付した顔画像が表示されるから、ユーザに、どれが写りの良い顔画像なのかを分かりやすく提示できる。

第２３の発明に係る携帯情報端末は、第１の発明に係る顔抽出装置を具備する。

この構成により、これらの機能が携帯情報端末のように操作やインターフェースの手段が限られた状況において、効率的に画像を選択するための手段として有効に活用することができる。

本発明によれば、顔画像の特性を効果的に利用できるから、横顔に関する誤り率が低くしながら、蓄積された膨大なＡＶコンテンツの中から写りの良い顔画像を抽出できる。

以下図面を参照しながら、本発明の実施の形態を説明する。まず、各形態の具体的説明に先立ち、各形態に共通する重要用語について説明する。

ここで、上述したように、本明細書における、顔の「向き」とは、顔を目・鼻・口から構成される擬似平面とみなしたとき、その平面の法線と定義される。そして、この法線の方向は、顔の「方向」と定義される。
首を軸にして顔がｖ軸回りに回転する場合、顔向きが「左」若しくは「右」に変化したと定義される。なお、「左」、「右」について、顔向きが明らかに「左」、「右」を向いている場合と、顔向きが若干「左」、「右」に向いている場合とは、区別されない。また、顔向きの変化の原因が、人間自体の動きにある場合とカメラの動きにある場合とは、区別されない。さらに、鏡などで像の反射が起こる場合、顔向きが変化することもあるが、それも関知しない。

人がうなずくような場合、顔向きの変わる方向を「上下方向」と定義される。画像内の顔が「正面」を向いているとは、その顔向きの方向と画像の法線方向とが一致又はほぼ一致しているという意味であり、そのとき、顔向きは、上下方向について「正面方向」であるとする。顔が左側に向いているときの顔向きの方向を「左方向」とし、右側に向いているときを「右方向」と定義される。また、「正面」を向いている顔を「正面顔」、左右いずれかを向いている顔を「横顔」と定義される。なお、ここで「ほぼ一致している」とは一般用語であり数学的に厳密なものではない。即ち、人間の動作に対するある程度の曖昧さが含まれる。また、正面方向、左方向、右方向は、明確に定義されているものではなく、人間が見て、ある程度、この方向に定義できると分類できればそれで十分であるものとみなす。

「顔の傾き」とは顔に対する回転軸（例えば鼻頭を基点とする顔向き）を定義し、その回転軸に対し軸周りに回転させた角度の程度をいう。

顔画像の「大きさ」とは、デジタル化された画像内における顔領域の面積若しくは顔幅に比例して定義された変数である。なお、画像内の顔はいろいろな方向を向いている。

顔領域とは、仮に顔向きが正面方向であるとき、その顔画像の目・鼻・口それぞれの画像を包含し、目・鼻・口の位置関係から幾何学的に計算される領域である。例えば、目・鼻・口を包含する最小矩形サイズと定義しても良い。それ以外の所定の方向は、顔の左方向若しくは右方向である。

なお、後述する顔抽出装置は、１つ又は複数の半導体集積回路により構成できるし、ソフトウエアとそのソフトウエアが動作する情報処理装置との組み合わせでも構成できる。

（実施の形態１）
図１は、本発明の実施の形態１における顔抽出装置のブロック図である。図１において、判定領域設定部１０３は入力画像１０１から任意の領域を判定領域１０２（本形態では、矩形のウィンドウである。）として設定する。顔判定部１０４は、設定した判定領域１０２内部の画素情報を元に顔領域であるか否かを判定し出力する。

図２（ａ）は、判定領域設定部１０３の動作概要を示す。判定領域設定部１０３は、画像内の小さな顔画像から大きな顔画像までを対象とする。このため、判定領域設定部１０３は、抽出すべき対象となる顔サイズの範囲内において、小さな判定領域１０２のサイズから大きな判定領域１０２のサイズまで入力画像１０１のサイズを変えながら入力画像１０１内で判定領域１０２をスキャンさせる。そして、判定領域１０２内の画像情報を顔判定部１０４に出力し、顔判定部１０４は判定領域１０２内に顔画像が存在するかどうかを判定する。

図２（ａ）では、判定領域１０２のサイズを逐次変えながら画像内をスキャンして判定領域１０２を設定し、判定領域１０２のサイズと入力画像１０１のサイズとの比を変更する。しかし、図２（ｂ）のように判定領域１０２のサイズを固定して入力画像１０１をスケーリング（拡大・縮小）することによって、判定領域１０２のサイズと入力画像１０１のサイズとの比を変更しても良い。

これらいずれの場合においても、これらいずれの比を互いに区別せずスケール比という。

本形態では、逐次スキャンをすることによって判定領域１０２を設定しているが、ランダムに判定すべき判定領域１０２の位置を設定してもよい。例えば、顔抽出の前処理若しくは顔抽出装置の内部において、エッジ情報や平坦情報、色情報等の特徴量を用いて判定すべき判定領域１０２を制限してもよく、そうしても本発明に包含される。

なお、本形態では、サイズに関してのみ説明しているが、実際には判定領域の回転角度、判定領域の縦横比を逐次変化させながら、スキャンしてもよい。この回転角度と縦横比については、実施の形態２、及び３において詳細を説明する。

図３は、本発明の実施の形態１における顔判定部のブロック図である。図３において、判定領域内の画像１０５は、入力画像１０１中で判定領域設定部１０３により設定される。数値１０６は、判定領域１０２のサイズ若しくは入力画像１０１を縮小・拡大するためのスケール比、判定領域の入力画像に対する回転角度、判定領域の縦横比である。

幾何変換部３０１は、入力画像のうち判定領域内の画像を、スケール比、回転角度、縦横比に従って、幾何変換（例えばアフィン変換）によって、学習データと同等の顔サイズ、回転角度、縦横比を持つ画像に変換する。

特徴量抽出部１０７は、判定領域内の画像１０５から顔か非顔かを識別するために有効となる特徴量を抽出する。

識別部１０８は、学習データベース１０９に格納されている学習パラメータを用いて顔か非顔かを判定する。

学習データベース１０９は、あらかじめ定義した複数の向きに対応した顔画像群を学習した結果のパラメータを、各々定義された方向の顔を識別するために蓄積する。例えば、学習パラメータ１１０は、正面顔か否かを識別するためのパラメータであり、学習パラメータ１１１は、顔向きが３０度変動した顔か否かを識別するためのパラメータであり、学習パラメータ１１２は、顔向きが９０度変動した顔か否かを識別するためのパラメータである。

ここで、３０度、９０度という角度は、顔向きが首を軸に、正面を０度として、左若しくは右に３０度ないしは９０度向いていることを示す。左と右のどちらをプラスにするかは、任意であるが、あらかじめ定義される。例えば、左向きをプラスとすれば、右向きはマイナスとなる。

動作パラメータ設定部１１３は、判定領域１０２のサイズ１０６に基づいて、どの方向の学習パラメータを用いるかを設定するパラメータによって決定する。

次に、顔判定部１０４について、より詳細に説明する。まず特徴量抽出部１０７は、判定領域１０２内の画像１０５が顔画像か否かを識別するために有効となる特徴量を抽出する。そのような特徴量は、輝度ヒストグラム補正を行なった輝度情報、エッジ特徴量、ＨＡＡＲウェーブレット特徴量、ガボールウェーブレット特徴量、レクタングルフィルターによって出力される特徴量などのいずれでも構わない。

次に、識別部１０８は、学習データベース１０９を用いて判定領域１０２の画像１０５が顔画像であるかそうでないかを識別する。

学習データベース１０９は、複数の顔画像と非顔画像を統計的学習理論によって学習した結果を格納したものである。統計的学習理論としては、平均化手法、ニューラルネットワークによる方法、確率モデルを用いた手法、サポートベクトルマシンを用いた手法、アンサンブル学習に基づく手法、ブースティングを用いた手法等、いろいろなパターン認識理論に基づく学習手法があるが、そのいずれでも構わないとする。

この学習データベース１０９は、識別すべき顔向きにより、上述のように、複数個の学習パラメータ１１０〜１１２を蓄積する。

なお、−３０度向きの顔画像と−９０度向きの顔画像については、学習データベース１０９に蓄積されていない場合、識別部１０８は、判定領域１０２内の画像を鏡像化して取得しても良い。

学習パラメータを、どの程度の向き範囲で分類するかについては、あらかじめ定義しても良いし、学習時の顔画像群から自動的にクラスタリングしても良い。また、上方向、下方向に対して学習したデータベースがあっても良いし、若干のオーバーラップ領域があっても構わない。要するに、ここでは、正面方向周辺を向く顔画像と所定の向き（正面方向でない）周辺を向く顔画像とを、識別するために学習した学習パラメータ（最低２種類）があれば良いとする。

図４に示すように、識別部１０８は、０度近辺が最も小さい顔サイズを出力し、±９０度になるに従って顔サイズが最小顔サイズよりも大きくなるようにすることが望ましい。図４の曲線の上の領域のみが実質的に使用され、下の領域は使用されない。したがって、下の領域に属するデータは保持しない方が望ましい。なぜなら、記憶容量をそれだけ節約できるからである。

こうする理由は、次のとおりである。

第１の理由は、正面顔より横顔の方が、小さい顔サイズにおいて検出性能が悪いからである。図６（ａ）、（ｂ）に示すように、判定領域１０２内の画像において、顔を特徴づける情報量は、正面顔よりも横顔の方が少ないためである。即ち、判定領域１０２のサイズがＭ×Ｎ画素であったとすると、顔の特徴を良く表現する領域Ｓは、正面顔の場合は、図６（ａ）に示すように、ほぼＭ×Ｎの矩形領域内全体と一致する。

横顔の場合、髪型等は人によって千差万別であり、耳が髪から出る場合と出ない場合がありえるし、目は片方しか写っていない場合が多い。したがって、顔を特徴づける領域Ｓ’は、Ｍ×Ｎ画素の一部に過ぎない。

そのため、誤判定を回避するために、領域Ｓの情報量と領域Ｓ’の情報量とがほぼ等しくなるように、画素数Ｍ×Ｎ，Ｍ’×Ｎ’を設定する必要がある。結果として、横顔について、正面顔と同程度の誤識別性能を得るためには、図４に示すように、横顔の最小顔サイズを正面顔のそれよりも大きめにするということが必要になる。

第２の理由は、デジタルカメラ等の写真画像において、正面顔の方が横顔よりも相対的に小さな顔サイズまで撮影される（経験的な事実）からである。即ち、人物画像には、大きく２つの種類がある。

その１つは、例えばポートレート画像や集合写真等である。この場合、被写体となる人物がカメラで撮られることを意識している場合が多く、このような撮影では、多くの場合正面顔である。ユーザの多くはこの撮影方法を用いて写真を撮影する。

もう１つは、被写体となる人物がカメラで撮られることを意識していないか意識していないふりをしている場合である。この撮影法は、自然な表情を撮影するために、プロフェッショナルな写真で多く使用される。また、ムービー等で動画を撮影するような場合も、この撮影法に似た結果が得られることが多い。

このような場合、撮影者は、特定の人物に対して注目して撮影するから、人物（被写体）が比較的大きな構図が採用され、被写体は、カメラ目線であるとは限らず、結果として、いろいろな顔向きの顔画像が撮影される。

このような画像群を対象とする場合、結果的には、上述したように、正面の最小顔サイズを横顔の最小顔サイズよりも小さくすることが望ましい。即ち、顔サイズを正面方向近辺で最小にすると、顔画像でない画像を顔画像であると誤判定するケースが少なくなり、また、顔画像（主として正面顔）の判定漏れを防止できる。

動作パラメータ設定部１１３は、判定領域１０２のサイズ、回転角度、若しくは縦横比を入力し、どの学習パラメータを用いるかを示す動作パラメータを設定する。本形態１ではサイズを用いる場合について説明する。

判定領域１０２のサイズの処理を述べる。動作パラメータ設定部１１３は、判定領域１０２のサイズに対応し、どの学習パラメータを使うべきかを決定するために、図５に示すようなテーブルを具備する。

動作パラメータ設定部１１３は、このテーブルを用いて、入力された判定領域１０２のサイズに従い、使う学習パラメータを設定する。

識別部１０８は、このテーブルの出力に基づいて使うべき学習パラメータを決定し識別結果を出力する。

図５の例では、この正面方向の学習パラメータは他の方向の学習パラメータに比べ、より小さい判定領域１０２のサイズまで対象とするようにしている。このようにすると、正面方向における顔の存在有無判定において、それ以外の方向と比較して、より小さい大きさの顔を顔と判定できる。

本形態においては、動作パラメータ設定部１１３が意図的（陽）に出力する最小顔サイズが最小になるように設定したが、別のパラメータを用いてこのように設定しても良い。例えば、識別部１０８の閾値を設定する場合、誤識別が低くなるように設定し、結果として正面顔の方が横顔よりも相対的に最小顔サイズを出力するように設定してもよい。

そのような場合、前述の理由により、正面顔の方が横顔よりも相対的に最小顔サイズを出力するように設定されるから、結果として、写真画像からの顔抽出にとって誤抽出が少なく効率よい処理を実現できる。

図７は、本発明の実施の形態１における顔抽出装置を搭載する電子機器のブロック図である。この構成は、通常のコンピュータ若しくは携帯電話、デジタルテレビ、録画装置などで用いられる典型的な構成である。

本形態の顔抽出装置を実現するためのソフトウェアが、通常記録媒体（ハードディスクドライブ）１１４に格納されており、起動時には、このソフトウェアは、ノンリムーバブルメモリインタフェース１１５を介して、システムバス１１６を通り、システムメモリ１１７内にストアされる。

そして、プロセスユニット１１８がこのソフトウェアを実行することにより、本形態の顔抽出装置が実現される。

処理対象である入力画像１０１は、カメラ１１９から取得されカメラインタフェース１２０を介して入力されるだけではなく、メモリスロット１２１に挿入されたランダムアクセスメモリ（ＲＡＭ）に格納された映像若しくは画像情報を、リムーバブルメモリインタフェース１２２を介して読み込む場合や、ネットワークインタフェース１２３を介して取得する場合、デジタルチューナ１２４を介して入力する場合がある。

これらのデバイスから入力された入力画像１０１は、システムメモリ１１７に展開され、プロセスユニット１１８が上記ソフトウェアを実行するにあたり、利用される。

ユーザがキー１２５を用いて結果の出力を要求するコマンドを入力すると、このコマンドは、ユーザインプットインタフェース１２６を介してプロセスユニット１１８に送られ、プロセスユニット１１８はその要求に従いビデオインタフェース１２７を介して、処理結果がモニタ１２８に表示される。若しくは、処理結果は、周辺機器インタフェース１２９を介してプリンタ１３０に出力される。
なお、ユーザとの間のインタフェースについてはスピーカ１３１やマイク１３２を利用したインタフェースを用いる場合もある。

実施の形態１の顔判定部１０４は、正面方向における顔の存在有無判定において、左方向若しくは右方向と比較して、より小さい大きさの顔を顔と判定するから、誤抽出が少なくなるばかりでなく、撮影する写真画像の特性にマッチした顔抽出を実現できる。これにより、極めて効率的で信頼度が高い顔抽出処理を行える。

（実施の形態２）
実施の形態２では、判定領域設定部１０３が、抽出すべき顔画像の傾きの範囲に基づいて入力画像を回転させ、それにあわせて判定領域１０２のスキャン方向を傾ける。これにより、人が首を傾けることにより正面顔がｚ軸回りに回転したり、人が首を前後に曲げることにより横顔がｚ軸回りに回転する場合においても、顔抽出可能にする。

図１３は、本形態における判定領域設定部１０３の動作概要を示す。判定領域設定部１０３は、画像内の正面顔における顔の傾き、横顔における上下方向の顔の変動に対応する。これは、画像内における顔のｚ軸回りの回転として表現できる。上述したように、ｚ軸：カメラの光軸；ｕ軸：ｚ軸に直交する画面の横軸；ｖ軸：ｚ軸に直交する画面の縦軸とする。

また、図１３に示すように、ｘ軸：判定領域１０２の横軸；ｙ軸：判定領域１０２の縦軸とする。このとき、判定領域の回転角度は、ｕ−ｖ座標系とｘ−ｙ座標系とがなす角である。このため、本形態における判定領域設定部１０３は、抽出すべき対象となる顔の回転範囲内において、入力画像内で判定領域１０２を所定範囲内で回転させる。

そして、判定領域設定部１０３は、判定領域１０２内の画像情報を顔判定部１０４に出力し、顔判定部１０４は判定領域１０２内に顔画像が存在するかどうかを判定する。

図１３では、判定領域設定部１０３は、判定領域１０２の回転角度を逐次変えながら、判定領域１０２の回転角度と入力画像１０１の傾き角度との比を変更する。しかし、判定領域１０２のサイズを固定し、入力画像１０１をｚ軸を中心に回転させ、結果的に、判定領域１０２の回転角度と入力画像１０１の傾き角度との比を変更しても良い。

本明細書では、これらいずれの場合も区別せずに回転角度あるいはその比という。本形態においても、実施の形態１と同様、判定すべき判定領域の位置はランダムに設定できる。

また、幾何変換部３０１は、判定領域設定部１０３による設定に従い、学習データと同様の角度になるように判定領域１０２を回転する。

図１４に示すように、識別部１０８が使用する回転範囲は、０度近辺で最も小さくなり、±９０度になるにしたがって広くなるようにすることが望ましい。

こうする理由は次のとおりである。図１４に示すように、判定領域１０２を回転させることによって得られる顔画像は、正面顔と横顔では異なる。すなわち、正面顔では、顔画像がｚ軸回りに回転するとき、人は顔を頭と首の接合部を中心にして左右に傾けている。

一方、横顔で、顔画像がｚ軸回りに回転するとき、人は首を曲げ伸ばしして、顔を上下方向に振っている（例えば、うなずく）。

一般に、顔を左右に傾け得る回転範囲よりも顔を上下に振りうる回転範囲の方が人間の骨格により広いから、それに合わせ、横顔の回転範囲を正面顔の回転範囲より広くする。こうすれば、横顔における上下方向の変動に対してより正確に対応でき、顔画像（主として横顔）の判定漏れを防止できる。

動作パラメータ設定部１１３は、判定領域１０２のサイズ、回転角度、若しくは縦横比を入力し、使用すべき学習パラメータを、動作パラメータとして設定する。本形態では、動作パラメータ設定部１１３は、回転角度を動作パラメータとする。

判定領域１０２の回転角度の処理を述べる。動作パラメータ設定部１１３は、図１５に示すようなテーブルを具備する。動作パラメータ設定部１１３は、このテーブルを用いて、入力された判定領域１０２のサイズに従い、使う学習パラメータを設定する。

動作パラメータ設定部１１３は、このテーブルの出力に基づいて使うべき学習パラメータを決定し、識別部１０８は、決定された学習パラメータに基づいて識別結果を出力する。

図１５の例では、この横顔の学習パラメータの範囲（＋６０度〜ー６０度）は、正面の学習パラメータの範囲（ー３０度〜３０度）に比べ、より広い。そのため、横顔における顔の存在有無判定において、正面顔と比較して、より回転角度が広い範囲の顔を、顔であると判定できる。

本形態においては、動作パラメータ設定部１１３が意図的（陽）に出力する最小顔サイズが最小になるように設定したが、別のパラメータを用いてこのように設定しても良い。例えば、識別部１０８の閾値を設定する場合、横顔における検出率が高くなるように設定し、結果として横顔の方が正面顔よりも広い範囲の回転角度を対象として出力するように設定してもよい。

そのような場合、前述の理由により、横顔の方が正面顔よりも相対的に広い回転角度の範囲で出力するように設定されるから、結果として、写真画像からの顔抽出にとって横顔における検出率が向上することができる。このようにしても、本発明に包含される。

実施の形態２の顔判定部１０４は、横顔方向における顔の存在有無判定において、正面方向と比較して、より広い範囲の回転角度の顔を顔と判定するから、横顔の上下方向の変動に幅広く対応でき、撮影する写真画像の特性にマッチした顔抽出を実現できる。これにより、極めて効率的で信頼度が高い顔抽出処理を行える。

（実施の形態３）
実施の形態３では、判定領域設定部１０３が、抽出すべき顔画像の縦横比の範囲に基づいて入力画像１０１の縦横比を変換する。これにより、正面顔の上下方向の変動、横顔の傾き変動がある場合においても顔抽出可能にする。

図１６（ａ）は、本形態における判定領域設定部１０３の動作概要を示す。判定領域設定部１０３は、正面顔の上下方向の変動、横顔の傾き変動に対応する。本形態では、これらの変動を顔の縦横比を利用して表現する。

顔検出の学習データには、通常、目、鼻、口等の顔部品の画像が含まれる領域を設定することが望ましい。正面顔が上下方向に変動すると、目・鼻・口領域を包含する領域の縦横比が、正面顔から変化する。より具体的には、横に対する縦の比率が狭くなる。

判定領域設定部１０３は、判定領域１０２の縦横比を、所定範囲（抽出すべき対象となる顔の縦横比の範囲）内において変更し、変更後の判定領域１０２内の画像を顔判定部１０４に出力する。

顔判定部１０４は、判定領域１０２内に顔画像が存在するかどうかを判定する。

図１６（ａ）に示すように、判定領域設定部１０３は、判定領域１０２の縦横比を逐次変更する。しかし、図１３（ｂ）のように、判定領域１０２の縦横比を固定して入力画像１０１の縦横比を変更しても良い。本明細書では、これらいずれの場合も互いに区別せず縦横比ないしその変更という。

本形態においても実施の形態１と同様、判定領域設定部１０３は、判定領域１０２の位置をランダムに設定できる。幾何変換部３０１は、判定領域設定部１０３により設定された縦横比に従い、学習データと同様の縦横比になるように判定領域１０２内の画像を変換する。

図１７に示すように、識別部１０８は、正面（０度）近辺の顔の縦横比が最も大きく、横向き（±９０度）になるにしたがって、縦横比が小さくなるようにする。こうする理由は次のとおりである。

図１７に示すように、判定領域１０２を縦横比を変動させることによって得られる顔画像は、正面顔と横顔では異なる。正面において、縦横比を変動させることは、人が首を曲げ伸ばしし顔を上下に振る場合に対応する。横顔では、縦横比を変動させることは、人が顔を横に動かすことに対応する。

顔を傾けるより顔を上下方向に振る方が、人間の骨格により行いやすいから、正面顔の方が横顔における縦横比の変動範囲より広くさせることが望ましい。こうすれば、正面顔の上下方向の変動により適切に対応でき、顔画像（主として正面顔）の判定漏れを防止できる。

動作パラメータ設定部１１３は、判定領域１０２の縦横比を動作パラメータに設定する。動作パラメータ設定部１１３は、図１８に示すようなテーブルを用いて、入力された判定領域１０２のサイズに従い、使う学習パラメータを設定する。動作パラメータ設定部１１３は、このテーブルの出力に基づいて使うべき学習パラメータを決定し、識別部１０８は、決定された学習パラメータに基づいて識別結果を出力する。

図１８では、この正面顔の学習パラメータは他の方向の学習パラメータ（１：１）に比べ、より広い範囲（１：１〜１：１．２５）まで対象とする。これにより、正面顔における顔の存在有無判定において、それ以外の方向と比較して、広い範囲の顔を顔と判定できる。

本形態では、動作パラメータ設定部１１３が意図的（陽）に出力する縦横比の変動が最大になるように設定する。しかし、別のパラメータを用いても良い。例えば、識別部１０８の閾値を、正面顔における検出率が高くなるように設定し、横顔における誤検出を減らし、結果として正面顔の方が横顔よりも広い範囲の縦横比を対象するようにしてもよい。

こうしても、正面顔の方が横顔よりも相対的に広い縦横比の範囲で出力されるから、横顔における検出率が向上する。

顔判定部１０４は、正面顔方向における顔の存在有無判定において、横顔方向と比較して、より広い範囲の顔を顔と判定するから、撮影する写真画像の特性にマッチした顔抽出を実現できる。これにより、極めて効率的で信頼度が高い顔抽出処理を行える。

（実施の形態４）
実施の形態４では、実施の形態１、２、３の顔抽出装置の後段に、人物画像選択部２０３と人物画像表示部２０４が付加される。

図８は、本発明の実施の形態４における顔抽出装置のブロック図である。図８において、画像群２０１は、本形態の顔抽出装置の対象である。

顔抽出部２０２は、実施の形態１の顔抽出装置に相当する。人物画像選択部２０３は、顔抽出部２０２の出力に基づいて画像を選択する。人物画像表示部２０４は、人物画像選択部２０３により選択された人物画像を表示する。

次に本形態における顔抽出の流れをより詳細に説明する。まず、画像群２０１には、対象とする画像群が納められているとする。この画像群２０１は、デジタルカメラやカメラ付携帯端末、ムービー等で撮影された静止画若しくは動画が収められている。なお、動画については、静止画系列としてアクセス可能であり、１枚の画像をアクセスする範囲において静止画／動画を一連の静止画像群として扱うことが可能である。

また、この画像群は個人が撮影した画像群を主対象としている。そのため、典型的な画像として、風景写真、集合写真、特定人物にフォーカスした写真の３通りが混在している。

風景写真とは、文字通り風景を撮影した写真であり、人物が撮影されていたとしてもそれは意図的（陽）な被写体ではない。

集合写真は、少なくとも２人以上が並んで撮影された画像であり、被写体は並んで撮影された全員である。例えば、クラス全員が主要被写体である場合など、総じて画像内において小さな顔サイズで撮影されることが多い。全員を一度に撮影するため、ある程度、撮影者が被写体の人物群がカメラ目線になるように撮影される傾向にある。

特定人物にフォーカスした写真では、主要被写体は基本的に１人であり、その１人をフォーカスした形で撮影する。その場合、自然な表情を撮影するために、被写体がカメラを気にしない形で被写体が撮影される場合が多い。また、ムービー等の動画もその動作をしている対象がカメラを気にしない場合が多い。

このような撮影の場合は、特定人物にフォーカスする場合が多いため、総じて主要被写体は画像内において大きな顔サイズで撮影される。

以上の結果、通常の撮影において撮影し、風景写真、集合写真、特定人物写真が混在するような画像群においては、図９に示すように、最小顔サイズが画像内の顔向きに応じて異なる傾向にある。具体的には、横向き顔の方が正面顔よりも最小顔サイズが大きい傾向にある。

顔抽出部２０２は、風景写真、集合写真、特定人物写真が含まれた画像群２０１から顔領域を抽出する。この場合に、実施の形態１で述べたように、正面顔を検出するときの最小顔サイズは、横顔を検出するときの最小顔サイズよりも小さい。即ち、入力の画像群２０１の顔の分布に合致した形の出力となるわけである。その結果、対象とする画像群の特性にマッチした効率的な顔抽出を行える。

人物画像選択部２０３は、顔抽出部２０２が抽出した顔領域の情報を用いて、顔領域が存在する画像を人物画像として選択する。これにより、ユーザが人物画像を抽出したい場合、画像群から簡単に必要な人物画像を抽出できる。

人物画像表示部２０４は選択した人物画像群をユーザに表示する。その場合に、図１０に示すように、人物画像を抽出し、上半身部を切り出すことでサムネイルとして表示をしたり、図１１のように選択した人物の顔領域部に枠２０５をつけて表示したりするなどするとよい。

人物画像表示部２０４は、顔抽出部の出力値を元に、ユーザに対して、人物画像として適切な画像はこれですよと推薦する機能を持つ。ここでいう「推薦」とは、「見て誰かわかる画像を示す」という意味である。見て誰かわかるためには、横顔ではある程度大きなサイズが必要である。これは、上述したように、正面顔の方が、誰かを判別するための情報量が多いからである。

実施の形態１で述べたように、正面顔を検出するときの最小顔サイズは、横顔を検出するときの最小顔サイズよりも小さい。したがって、見る人にとっても「見て誰かわかる画像」が効果的に選択され推薦される。

画像の写りが良いかどうかについては、顔領域の大きさだけでなく、影の度合や、顔の隠れ度合い、向きの度合いなどいろいろなパラメータが存在する。それらの出力の結合で最終の写りの良い画像を評価し判定すると望ましい。

しかしながら、そうしなくとも、映りの良い画像群の学習によって得られた学習パラメータを使用すれば、事実上、同等の結果が得られ、写りの良いベストな顔画像が推薦される。

このように、正面方向における顔の存在有無判定において、左方向若しくは右方向と比較して、より小さい大きさの顔を顔と判定した結果を出力することにより、即ち、入力の画像群の顔の分布に合致した形の出力となり、対象とする画像群にマッチした効率的な顔抽出処理となるばかりでなく、「見て誰かわかる画像」を抽出することができ、写りの良いベストな顔画像を推薦できる。

（実施の形態５）
実施の形態５では、実施の形態４の顔抽出部の後段に、特定人物か否かを認識する顔認識部が加えられる。

図１２は、本発明の実施の形態５のブロック図である。図１２において、実施の形態１、２と同様の構成要素については、同一符号を付すことにより、説明を省略する。

顔認識部２０６は、特定人物を識別するための識別パラメータを登録した人物識別データベース２０６の情報に基づいて、顔領域内の画像が、特定人物の画像を含むか否かを識別する。

人物識別データベース２０６は、人物Ａの識別パラメータ２０８、人物Ｂの識別パラメータ２０９、人物Ｃの識別パラメータ２１０を蓄積する。
これらのパラメータ２０７〜２０９は、例えば、ユーザ本人やその家族の顔画像を識別するためのものとする。

人物画像選択部２１１は、キーとする情報（例えば特定の人物を指定する情報）２１２を用いて、選択すべき画像か否かを選別する。そして、人物画像表示部２１３は、選択した画像群を表示し特定の画像をユーザに候補として推薦する。

次に、本形態における顔抽出の流れをより詳細に説明する。まず、画像群２０１と顔抽出部２０２は、実施の形態４と同等の内容であり、顔抽出部２０２は、画像群から顔領域を抽出する。

顔認識部２０５は、人物識別データベース２０７の内容に基づいて、顔領域が登録人物のいずれのものかを識別する。なお、具体的な識別法については、特許第３４６８１０８号公報に開示されて手法を用いるとよい。

人物Ａ、Ｂ、Ｃを識別するためには、個人差を評価するための情報が重要となる。

本形態では、この情報の量は、顔領域で個人差を出すための特徴部分（本形態では、正面顔において、眉、両目、鼻、口、顔の輪郭を含む部分とする。）の面積に比例すると仮定する。特徴部分の面積が小さくなると個人差が出にくくなり、結果として誤識別につながる。

正面顔は、特徴部分の面積が大きく、横顔は特徴部分の面積が小さい。そのため、横顔の画像面積が正面顔と同じ場合には、特徴の面積が小さくなるため、誤識別が多くなる。

重要なのは、正面顔を検出するときの最小顔サイズを横顔を検出するときの最小顔サイズよりも小さくすることである。そうすると、顔認識部２０５が、誤識別しにくい特性を持つ特徴部分の情報を入力することになる。結果として、対象とする画像群の特性にマッチした効率的な顔抽出処理を行える。

人物画像選択部２１１は、顔認識部２０５が認識した顔領域の情報を用いて、顔領域が存在する画像を特定人物画像として選択する。これにより、ユーザが特定人物の画像を抽出したい場合、ユーザは、画像群から簡単にその人物の顔画像を含む人物画像を結果的に抽出できる。

人物画像表示部２１３は、選択された人物画像群をユーザに表示する。その場合に、図１０に示すように、人物画像を抽出し、上半身部を切り出すことでサムネイルとして表示をしたり、図１１のように選択した人物の顔領域部に枠をつけて表示をしたりするとよい。

実施の形態５では、特定人物がキーとして用いられる。実施の形態５の人物画像表示部２１３は、特定人物をキーにして「見て特定人物とわかる」写りの良い画像を表示する。これにより、写りの良いベストな特定人物の顔画像を候補としてユーザに推薦できる。

ユーザは、この特定人物の画像の中から好みの画像を選択し、代表画像としてメールに添付して送信し、特定人物の容貌に近いキャラクタを作成するなど種々の処理を実施できる。

本形態によれば、正面顔の方が横顔よりも顔の特徴を示す情報量が多く、小さなサイズでも顔と判別しやすいという事実にマッチしており、結果的に効率的な顔抽出処理を行える。

次に、デジタルカメラの撮影では複数人が同時に写る写真と１人の写真とでは傾向が違っている。すなわち複数人が同時に写る写真では正面顔の小さな顔を対象とするのに比較し、１人の写真ではポートレート型のスナップショットだけではなくいろいろの向きに向いている画像を撮影するという傾向がある。

写りの良い画像の判断基準の１つとして「見て誰かわかる画像」という判断基準があり、見て誰かわかるためには、横顔ではある程度大きなサイズが必要である。このような傾向に極めてマッチした顔抽出装置を構成することで、見る人にとってベストな顔画像を抽出できる。

本発明に係る顔抽出装置は、例えば、デジタル静止画像、デジタル動画像を扱う電子機器（家庭内のテレビジョン装置や録画装置、映像サーバ装置、携帯端末、デジタルカメラ、ムービー等）の分野において好適に利用できる。

本発明の実施の形態１における顔抽出装置の機能ブロック図 （ａ）本発明の実施の形態１における判定領域設定部の動作説明図 （ｂ）本発明の実施の形態１における判定領域設定部の動作説明図 本発明の実施の形態１における顔抽出装置の機能ブロック図 本発明の実施の形態１における顔判定の特性を示すグラフ 本発明の実施の形態１における動作パラメータ設定部が用いるテーブルの例示図 （ａ）本発明の実施の形態１における情報量の説明図（正面顔） （ｂ）本発明の実施の形態１における情報量の説明図（横顔） 本発明の実施の形態１における顔抽出装置を搭載する電子機器のブロック図 本発明の実施の形態４における顔抽出装置の機能ブロック図 本発明の実施の形態４における顔判定の特性を示すグラフ 本発明の実施の形態４における顔抽出装置の機能ブロック図 （ａ）本発明の実施の形態４における表示結果の例示図 （ｂ）本発明の実施の形態４における表示結果の例示図 （ｃ）本発明の実施の形態４における表示結果の例示図 本発明の実施の形態５における顔抽出装置の機能ブロック図 （ａ）本発明の実施の形態２における判定領域設定部の動作説明図 （ｂ）本発明の実施の形態２における判定領域設定部の動作説明図 本発明の実施の形態２における顔判定の特性を示すグラフ 本発明の実施の形態２における動作パラメータ設定部が用いるテーブルの例示図 （ａ）本発明の実施の形態３における判定領域設定部の動作説明図 （ｂ）本発明の実施の形態３における判定領域設定部の動作説明図 本発明の実施の形態３における顔判定の特性を示すグラフ 本発明の実施の形態３における動作パラメータ設定部が用いるテーブルの例示図

符号の説明

１０１ 入力画像
１０２ 判定領域
１０３ 判定領域設定部
１０４ 顔判定部
１０７ 特徴量抽出部
１０８ 識別部
１０９ 学習データベース
１１３ 動作パラメータ設定部
１１４ 通常記録媒体（ハードディスクドライブ）
１１５ ノンリムーバブルメモリインタフェース
１１６ システムバス
１１７ システムメモリ
１１８ プロセスユニット
１１９ カメラ
１２０ カメラインタフェース
１２１ メモリスロット
１２２ リムーバブルメモリインタフェース
１２３ ネットワークインタフェース
１２４ デジタルチューナ
１２５ キー
１２６ ユーザインプットインタフェース
１２７ ビデオインタフェース
１２８ モニタ
１２９ 周辺機器インタフェース
１３０ プリンタ
１３１ スピーカ
１３２ マイク
２０２ 顔抽出部
２０３ 人物画像選択部
２０４ 人物画像表示部
２０５ 顔表示枠
２０６ 顔認識部
２０７ 人物識別データベース
２１１ 人物画像選択部
２１２ キー
２１３ 人物画像表示部
３０１ 幾何変換部

Claims (26)

1. 画像内から正面方向の顔画像と正面方向でない所定の方向の顔画像の有無を判定するための判定領域を設定する判定領域設定部と、
   判定領域内に所定の大きさ以上の顔画像の有無を判定する顔判定部とを備え、
   前記判定領域設定部は、顔向きに基づいて入力画像のサイズと判定領域のサイズの比を変更する顔抽出装置。
2. 前記正面方向に使用される判定領域の大きさが最小である請求項１記載の顔抽出装置。
3. 前記判定領域設定部は、顔向きに基づいて入力画像に対する判定領域の傾きと傾きの差を変更する請求項１記載の顔抽出装置。
4. 前記正面方向に関する前記所定の範囲が最小である請求項３記載の顔抽出装置。
5. 前記判定領域設定部は、顔向きに基づいて判定領域の縦横比を変更する請求項１記載の顔抽出装置。
6. 前記正面方向で使用される横に対する縦の比率が最小である請求項５記載の顔抽出装置。
7. 前記所定の方向は、顔の左方向と顔の右方向との少なくとも一つである請求項２、４または６いずれか記載の顔抽出装置。
8. 前記正面方向は、顔画像に両眼が共に映っている状態において顔が向いている方向であり、
   前記所定の方向は、顔画像に少なくとも片目が映っていない状態において顔が向いている方向である請求項２記載の顔抽出装置。
9. 前記判定領域設定部は、前記判定領域が前記画像内を網羅するように前記判定領域を設定する請求項１記載の顔抽出装置。
10. 前記判定領域設定部は、抽出すべき顔画像の大きさの範囲に基づいて前記判定領域の大きさを決定する請求項２記載の顔抽出装置。
11. 前記判定領域設定部は、抽出すべき顔画像の画像内における傾きの範囲に基づいて前記判定領域の傾きを決定する請求項４記載の顔抽出装置。
12. 前記判定領域設定部は、抽出すべき顔画像中の顔部品を包含する矩形の縦横比の範囲に基づいて前記判定領域の縦横比を決定する請求項６記載の顔抽出装置。
13. 前記判定領域設定部は、抽出すべき顔画像の大きさの範囲に基づいて前記画像をスケーリングする請求項２記載の顔抽出装置。
14. 前記判定領域設定部は、抽出すべき顔画像の傾きの範囲に基づいて前記入力画像を回転させる請求項４記載の顔抽出装置。
15. 前記判定領域設定部は、抽出すべき顔画像の縦横比の範囲に基づいて前記入力画像の縦横比を変換する請求項６記載の顔抽出装置。
16. 前記判定領域設定部は、前記画像の部分領域を探索領域とし、前記判定領域設定部は、前記部分領域が前記探索領域を網羅するように前記部分領域を設定する請求項１０から１５いずれか記載の顔抽出装置。
17. 前記顔判定部は、前記正面方向の顔画像を予め学習させて統計的な分布を規定するパラメータを求めた学習パラメータと、前記所定の方向の顔画像を予め学習させて統計的な分布を規定するパラメータを求めた学習パラメータと、前記判定領域内の画像とを用いて求めた値を使用して、前記判定領域内に前記所定の大きさ以上の顔画像の有無を判定する請求項７記載の顔抽出装置。
18. 前記顔判定部の出力が前記画像が人物画像であることを示すとき、前記画像を選択する人物画像選択部と、前記人物画像選択部により選択された人物画像を表示する人物画像表示部とをさらに備える請求項１６記載の顔抽出装置。
19. 前記顔判定部の出力が前記部分領域内の画像が人物画像であることを示すとき、前記部分領域内の画像を選択する人物画像選択部と、前記人物画像選択部により選択された前記部分領域内の画像を表示する人物画像表示部とをさらに備える請求項１６記載の顔抽出装置。
20. 前記画像は、個人により撮影された複数の画像のうちの一つである請求項１８または１９記載の顔抽出装置。
21. 前記人物画像表示部は、前記顔判定部により顔画像が有ると判定された領域内の画像を切り出して表示する請求項１８または１９記載の顔抽出装置。
22. 前記人物画像表示部は、前記顔判定部により顔画像が有ると判定された領域内の画像に枠を付して表示する請求項１８または１９記載の顔抽出装置。
23. 請求項１６記載の顔抽出装置を具備する携帯情報端末。
24. 画像内から正面方向の顔画像と正面方向でない所定の方向の顔画像の有無を判定するための判定領域を設定する判定領域設定部と、判定領域内に所定の大きさ以上の顔画像の有無を判定する顔判定部とを備え、
    前記判定領域設定部は、顔向きに基づいて入力画像のサイズと判定領域のサイズの比を変更する半導体集積回路。
25. 前記判定領域設定部は、顔向きに基づいて入力画像に対する判定領域の傾きと傾きの差を変更する請求項２４記載の半導体集積回路。
26. 前記判定領域設定部は、顔向きに基づいて判定領域の縦横比を変更する請求項２４記載の半導体集積回路。

Images