JP2006244385A - 顔判別装置およびプログラム並びに顔判別装置の学習方法 - Google Patents

Abstract

【課題】 顔判別装置の学習方法において、顔の表情の変化に強い顔判別装置とすることを可能にする。
【解決手段】 学習用顔画像の顔の向きや天地方向を揃えるだけでなく、学習用顔画像として、上唇より下側部分を除いた特定の顔部品のみを囲む所定の顔領域の画像のみを用いるようにする。例えば、学習用顔画像を、目、鼻および上唇のみを囲む領域の画像に限定する。
【選択図】 図１３

Description

本発明は、デジタル画像が顔画像であるか否かを判別する顔判別装置およびそのためのプログラム並びに顔判別装置の学習方法に関するものである。

従来、デジタルカメラによって撮影されたスナップ写真における人物の顔領域の色分布を調べてその肌色を補正したり、監視システムのデジタルビデオカメラで撮影されたデジタル映像中の人物を認識したりすることが行われている。このような場合、デジタル画像中の人物の顔に対応する顔領域を検出する必要がある。このため、画像が顔を表す画像であるか否かを判別する種々の手法が提案されている。

例えば、非特許文献１は、顔を検出する際に用いられる特徴量である輝度値を正規化し、顔について学習を行ったニューラルネットワークの学習結果を参照して、画像が顔画像であるか否かを判別する手法である。また、非特許文献２は、画像中に含まれるエッジのような高周波成分を対象物の検出に使用する特徴量として求めてこの特徴量を正規化し、ブースティングと称されるマシンラーニング（machine learning）の手法を用いての特徴量についての学習結果を参照して、画像が対象物を表す画像であるか否かを判別する手法である。これら非特許文献１，２の手法は、顔等の対象物の検出に使用する特徴量を正規化しているため、画像が対象物を表す画像であるか否かを精度よく判別することができる。

また、所定対象物を表す画像であることが分かっている複数のサンプル画像と、所定対象物を表す画像でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群のそれぞれから算出された特徴量を、マシンラーニングの手法によりあらかじめ学習することにより得られた、特徴量の入力により所定対象物を表す画像と所定対象物を表さない画像とを判別するための基準値を出力する複数の識別器を備え、この複数の識別器から出力された基準値の重み付け総和があらかじめ定めた閾値を超えた場合に、判別対象画像が所定対象物を表す画像であると判別する手法が本出願人により提案されている（特許文献２〜４参照）。

また、顔を表す画像であることが分かっている複数のサンプル画像と、顔を表す画像でないことが分かっている複数のサンプル画像とからなる多数のサンプル画像群のそれぞれから算出された特徴量を、マシンラーニングの手法によりあらかじめ学習することにより得られた、特徴量の入力により判別対象画像が顔を表す画像であるか否かを判別する複数の弱判別器を備え、これら複数の弱判別器を線形に結合してカスケード構造をなし、すべての弱判別器において顔を表す画像であると判別された場合に、判別対象画像が顔を表す画像であると判別する手法も提案されている（非特許文献３参照）。

この特許文献２から４および非特許文献３に記載された手法を用いて、サンプル画像として顔を学習させた場合には、判別対象画像が顔を表す画像であるか否かを良好に判別することができる。

また、サンプル画像を段階的に拡大縮小したり、段階的に回転したりすることによりサンプル画像を段階的に変形し、変形の各段において得られるサンプル画像を用いて学習を行っているため、判別対象画像が表す顔の縮率が異なったり、多少回転していても、判別対象画像が顔を表す画像であるか否かを判別することができる。

なお、マシンラーニングの手法によりあらかじめ学習することにより複数の識別器あるいは複数の弱判別器を得るような場合には、その学習において、顔を表すサンプル画像として、顔の天地方向や顔の向き（首振り方向）が揃った顔画像が用いられる（非特許文献３，図７等参照）。このような顔の天地方向や向きが揃った顔画像をサンプル画像として用いることにより、顔を表すサンプル画像において、顔を構成する目、鼻、口等の顔部品や顔の輪郭がそれぞれ略特定の位置に現れるので、顔に共通するパターン上の特徴が見出しやすく、判別精度の向上が期待できる。

また、上記のように顔の天地方向や向きが揃った顔画像をサンプル画像として用いる学習では、その学習に用いたサンプル画像の顔の向きがそのまま判別可能な顔の向きとなる。したがって、任意の方向を向いた顔を検出する多方向顔検出を実現しようとする場合には、上記判別手法によって判別対象画像が顔を表す画像か否かを判別する顔判別手段（装置）を顔の向き毎に複数用意し、これらを同時に使用することとなる。
Henry A. Rowley, Shumeet Baluja, and Takeo Kanada, "Neural Network-Based Face Detection", volume 20, number 1, pages 23-38, January 1998. Rainer Lienhart, Jochen Maydt, "An Extended Set of Haar-like Features for Rapid Object Detection", International Conference on Image Processing. 「高速全方向顔検出」，Shihong LAO 他，画像の認識・理解シンポジウム（MIRU2004），２００４年７月，P.II-271−II-276 特開平５−２８２４５７号公報 特願２００３−３１６９２４号 特願２００３−３１６９２５号 特願２００３−３１６９２６号

ところで、顔を表す画像の中にはスナップ写真のように顔の表情に変化のある画像が３割程度含まれると言われているが、上記のように顔の天地方向や向きが揃った顔画像をサンプル画像として用いる学習方法により学習した顔判別装置を用いて、スナップ写真のように顔の表情に変化のある一般画像を対象に顔検出を行ったところ、証明写真や監視カメラの画像、認証用の画像のような顔の表情にあまり変化のない画像を対象に顔検出を行ったときと比較して、検出精度が低下した。すなわち、上記の従来の学習方法で学習した顔判別装置は、顔の表情の変化に弱いという問題点を含んでいる。

本発明は、上記事情に鑑み、顔の表情の変化に強い顔判別装置およびそのためのプログラム並びに当該顔判別装置を得るための顔判別装置の学習方法を提供することを目的とするものである。

本発明の顔判別装置は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とするものである（第１の顔判別装置）。

本発明の顔判別装置は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするものである（第２の顔判別装置）。

本発明の顔判別装置は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするものである（第３の顔判別装置）。

本発明のプログラムは、コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力されて、顔のパターンの特徴を学習して得られた顔判別ステップを有するプログラムであり、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とするものである（第１のプログラム）。

本発明のプログラムは、コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力され、顔のパターンの特徴を学習して得られる顔判別ステップを有するプログラムであり、前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするものである（第２のプログラム）。

本発明のプログラムは、コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力され、顔のパターンの特徴を学習して得られた顔判別ステップを有するプログラムであり、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするものである（第３のプログラム）。

本発明の顔判別装置の学習方法は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とする方法である（第１の学習方法）。

本発明の顔判別装置の学習方法は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする方法である（第２の学習方法）。

また、本発明の顔判別装置の学習方法は、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする方法である（第３の学習方法）。

本発明の第１から第３の顔判別装置、プログラムおよび学習方法において、前記領域は、便宜上、矩形領域であることが好ましい。

本発明において、前記顔判別装置および前記プログラムは、互いに異なる複数の弱判別器を線形に結合した構造を有するものとすることができる。

本発明においては、学習に用いる顔画像として、少なくとも前記学習用顔画像を用いていればよく、もちろん、学習に用いる画像として、前記学習用顔画像に加え学習用非顔画像を用いても構わない。

「学習用顔画像」とは、顔を表す画像であることが分かっている学習に用いるサンプル画像をいい、「学習用非顔画像」とは顔を表す画像でないことが分かっている学習に用いるサンプル画像をいう。

「顔の天地方向が揃った」とは、顔の天地方向が完全に一致した状態に限定されるわけではなく、画像平面上での所定角度範囲、例えば±１５度の回転は許容するものとする。

「弱判別器」とは、正答率が５０％を超える判別手段（モジュール）であり、「複数の弱判別器を線形に結合した構造」とは、このような弱判別器を直列に接続し、弱判別器において、対象画像が顔画像であると判別されたときに次の弱判別器に進み、非顔画像であると判別されたときに判別処理を離脱するように構成された構造のことをいう。最後の弱判別器において顔画像であると判別された対象画像が、最終的に、顔画像であると判別される。

「顔」は、目、鼻、口、を構成部品として有し、口は上唇と下唇からなるものとする。耳は「構成部品」には含めない。したがって、学習用顔画像の顔領域には、耳が含まれていてもいなくてもよい。「目」は眉を含んでも含まなくてもよい。

本発明の顔判別装置の学習方法によれば、学習用顔画像を、顔の向きや天地方向を揃えることに加え、上唇より下側部分を除いた特定の顔部品のみを囲む所定の顔領域の画像に限定しているので、顔の表情の変化によって変形しやすい下顎周辺を除いた顔の画像上の特徴部分を学習用顔画像に適正に含めることができるとともに、学習用顔画像に含まれる画像上の特徴が複数の画像間で分散するのを抑制することができ、このような学習用顔画像を用いた学習により、顔の表情の変化に強い顔判別装置を得ることが可能となる。

また、本発明の顔判別装置およびプログラムは、上記学習方法に基づく学習により得られたものであるから、顔の表情の変化に強い顔判別装置およびそのためのプログラムとなる。

以下、本発明の実施形態について説明する。図１は本発明の顔判別装置（判別器）が適用された顔検出システムの構成を示す概略ブロック図である。この顔検出システムは、判別器による判別結果に基づいて、デジタル画像中の顔を、その位置、大きさ、向き、回転角によらずに検出するものである。図１に示すように、顔検出システム１は、入力画像Ｓ０を多重解像度化して複数の解像度画像（縮小画像）Ｓ１＿ｉ（ｉ＝１，２，３・・・）を得る多重解像度画像生成部１０、多重解像度画像Ｓ１＿ｉの輝度分散の正規化を行って正規化済みの多重解像度画像Ｓ１′＿ｉを得る画像正規化部２０、各解像度画像Ｓ１′＿ｉに対してラフな顔検出処理を施して顔候補Ｓ２を抽出する顔検出前段処理部３０、顔候補近傍画像に対して高精度な顔検出処理を施して顔候補Ｓ２を絞り込み顔Ｓ３を得る顔検出後段処理部４０、複数の解像度画像上で重複して検出された顔Ｓ３を整理して顔Ｓ３′を得る重複検出判定処理部５０を備える。

多重解像度画像生成部１０は、顔検出しようとする入力画像Ｓ０の画像サイズ（解像度）を所定のサイズ、例えば、短辺が４１６画素の矩形サイズに変換して画像Ｓ１を生成し、さらに画像Ｓ１を基本画像として、解像度の異なる複数の解像度画像Ｓ１＿ｉを生成する。このような画像を生成する理由は、通常、入力画像に含まれる顔の大きさは不明であるが、一方、検出しようとする顔の大きさ（画像サイズ）は、後述の判別器の構造と関連して一定にする必要があるため、解像度の異なる画像上で所定サイズの部分画像をそれぞれ切り出して、顔か非顔かを判別してゆく必要があるためである。具体的には、図２に示すように、画像Ｓ１を基本画像Ｓ１＿１として、画像Ｓ１＿１に対して２の−１／３乗倍の画像Ｓ１＿２と、画像Ｓ１＿２に対して２の−１／３乗倍（基本画像Ｓ１＿１に対しては２の−２／３乗倍）の画像Ｓ１＿３とを先に生成し、その後、画像Ｓ１＿１，Ｓ１＿２，Ｓ１＿３のそれぞれに対して、１／２倍サイズの縮小画像を生成し、それらの縮小画像に対してさらに１／２倍サイズの縮小画像を生成する・・・といった処理を繰り返し行い、複数の縮小画像を所定の数だけ生成するようにする。このようにすることで、輝度信号の補間処理を必要としない１／２倍の縮小処理をメインに、基本画像から２の−１／３乗倍ずつ解像度が縮小された複数の画像が高速に生成できる。例えば、画像Ｓ１＿１が短辺４１６画素の矩形サイズである場合、画像Ｓ１＿２，Ｓ１＿３，・・・は、短辺がそれぞれ、３３０画素，２６２画素，２０８画素，１６５画素，１３１画素，１０４画素，８２画素，６５画素，・・・の矩形サイズとなり、２の−１／３乗倍ずつ縮小された解像度画像を生成することができる。なお、このように輝度信号を補間しないで生成される画像は、画像パターンの特徴をそのまま担持する傾向が強いので、顔検出処理において精度向上が期待できる点で好ましい。

画像正規化部２０は、多重解像度画像Ｓ１＿ｉに対して後に施される顔検出処理の精度が向上するように、輝度分散が所定レベルとなるように階調変換を行って正規化し、正規化済みの多重解像度画像Ｓ１′＿ｉを得る。

顔検出前段処理部３０は、画像正規化部２０により正規化された各解像度画像Ｓ１′＿ｉに対して比較的粗く高速な顔検出処理を施し、各解像度画像Ｓ１′＿ｉから顔候補Ｓ２を暫定的に抽出するものである。図３は、この顔検出前段処理部３０の構成を示すブロック図である。顔検出前段処理部３０は、図３に示すように、主に正面顔を検出する第１の正面顔検出部３１と、主に左横顔を検出する第１の左横顔検出部３２と、主に右横顔を検出する第１の右横顔検出部３３とから構成されており、各顔検出部３１〜３３は、それぞれ、複数の弱判別器ＷＣｉ（ｉ＝１〜Ｎ）が線形に結合してカスケード構造を有する判別器３１ａ，３２ａ，３３ａを備えている。

図５は、上記判別器における大局的な処理フローを示したものであり、図６は、その中の各弱判別器による処理フローを示したものである。

まず、最初の弱判別器ＷＣ１が、解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像に対して当該部分画像が顔であるか否かを判別する（ステップＳＳ１）。具体的には、弱判別器ＷＣ１は、図７に示すように、解像度画像Ｓ１′＿ｉ上で切り出された所定サイズの部分画像、例えば、３２×３２画素サイズの画像に対して、４近傍画素平均を行うことにより、１６×１６画素サイズの画像と、８×８画素サイズの縮小した画像を得、これら３つの画像の平面内に設定される所定の２点を１ペアとして、複数種類のペアからなる１つのペア群を構成する各ペアにおける２点間の輝度の差分値をそれぞれ計算し、これらの差分値の組合せを特徴量とする（ステップＳＳ１−１）。各ペアの所定の２点は、例えば、画像上の顔の濃淡の特徴が反映されるよう決められた縦方向に並んだ所定の２点や、横方向に並んだ所定の２点とする。そして、特徴量である差分値の組合せに応じて所定のスコアテーブルを参照してスコアを算出し（ステップＳＳ１−２）、直前の弱判別器が算出したスコアに自己の算出したスコアを加算して累積スコアを算出するが（ステップＳＳ１−３）、最初の弱判別器ＷＣ１では、直前の弱判別器がないので、自己の算出したスコアをそのまま累積スコアとする。この累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ１−４）。ここで、上記部分画像が顔と判別されたときには、次の弱判別器ＷＣ２による判別に移行し（ステップＳＳ２）、部分画像が非顔と判別されたときには、部分画像は、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。

ステップＳＳ２においても、ステップＳＳ１と同様に、弱判別器ＷＣ２が部分画像に基づいて画像上の特徴を表す上記のような特徴量を算出し（ステップＳＳ２−１）、スコアテーブルを参照して特徴量からスコアを算出する（ステップＳＳ２−２）。そして、自ら算出したスコアを前の弱判別器ＷＣ１が算出した累積スコアに加算して累積スコアを更新し（ステップＳＳ２−３）、当該累積スコアが所定の閾値以上であるか否かによって部分画像が顔であるか否かを判別する（ステップＳＳ２−４）。ここでも、部分画像が顔と判別されたときには、次の弱判別器ＷＣ３による判別に移行し（ステップＳＳ３）、部分画像が非顔と判別されたときには、部分画像は、即、非顔と断定され（ステップＳＳＢ）、処理が終了する。このようにして、Ｎ個すべての弱判別器において部分画像が顔であると判別されたときには、その部分画像を最終的に顔候補として抽出する（ステップＳＳＡ）。

顔検出部３１〜３３は、それぞれ、独自の、特徴量の種類、スコアテーブル、および閾値によって定められた複数の弱判別器からなる判別器によって、それぞれの判別すべき顔の向き、すなわち、正面顔、左横顔、右横顔にある顔を判別する。また、顔検出部３１〜３３は、上記のような部分画像に対する判別処理を、図８に示すように、すべての解像度画像Ｓ１′＿ｉの平面上でその解像度画像を３６０度回転させつつ、解像度画像上において３２×３２画素サイズの部分画像を切り出すサブウィンドウＷを設定し、サブウィンドウＷを解像度画像上で所定画素数分、例えば５画素ずつ移動させながら、サブウィンドウＷで切り出された部分画像が顔の画像であるか否かの判別を行うことにより、各解像度画像Ｓ１′＿ｉにおいて、平面上のあらゆる回転角度にある正面顔、左横顔、および右横顔を検出し、顔候補Ｓ２を出力する。なお、斜め向きの顔の検出精度を上げるため、右斜め顔、左斜め顔をそれぞれ判別する判別器をさらに設けるようにしてもよいが、ここでは特に設けないものとする。

顔検出後段処理部４０は、顔検出前段処理部３０にて抽出された顔候補Ｓ２の近傍の画像に対して比較的精度の高い顔検出処理を施し、顔候補近傍の画像から真の顔Ｓ３を検出するものである。この顔検出後段処理部４０は、基本的には、顔検出前段処理部３０と同様の構成であり、図４に示すように、主に正面顔を検出する第２の正面顔検出部４１と、主に左横顔を検出する第２の左横顔検出部４２と、主に右横顔を検出する第２の右横顔検出部４３とから構成されており、各顔検出部４１〜４３は、それぞれ、複数の弱判別器ＷＣｉ（ｉ＝１〜Ｎ）が線形に結合してカスケード構造を有する判別器４１ａ，４２ａ，４３ａを備えている。ただし、これらの判別器は、顔検出前段処理部３０における判別器より判別精度の高いものが好ましい。この顔検出後段処理部４０においては、判別器における大局的な処理フロー、および弱判別器による処理フローも基本的には顔検出前段処理部３０と同様であるが、サブウィンドウＷを設定する位置は、顔検出前段処理部３０によって抽出された顔候補Ｓ２を含む所定領域内の画像に限定され、また、サブウィンドウＷの移動幅は、顔検出前段処理部３０の場合より細かく、例えば、１画素ずつとなる。これにより、顔検出前段処理部３０でラフに抽出された顔候補Ｓ２がさらに絞り込まれ、真の顔Ｓ３だけが出力されることになる。

重複検出判定処理部５０は、顔検出後段処理部４０によって検出された各解像度画像Ｓ１′＿ｉ上の顔Ｓ３の位置情報に基づいて、各解像度画像上で検出された顔のうち重複して検出された同一の顔を１つの顔としてまとめる処理を行い、入力画像Ｓ０において検出された顔Ｓ３′の位置情報を出力する。判別器は、学習方法にもよるが、一般的に部分画像のサイズに対して検出できる顔の大きさにはある程度幅があるので、解像度レベルが隣接する複数の解像度画像において、同一の顔が重複して検出される場合があるからである。

図９は、上記顔検出システムにおける処理の流れを示したフローチャートである。図９に示すように、多重解像度画像生成部１０に入力画像Ｓ０が供給されると（ステップＳ１）、当該入力画像Ｓ０の画像サイズが所定のサイズに変換された画像Ｓ１が生成され、画像Ｓ１から２の−１／３乗倍ずつ解像度が縮小された複数の解像度画像Ｓ１＿ｉが生成される（ステップＳ２）。そして、画像正規化部２０において、各解像度画像Ｓ１＿ｉの輝度分散が正規化され、正規化済みの解像度画像Ｓ１′＿ｉが得られる（ステップＳ３）。顔検出前段処理部３０は、正面顔、右横顔、および左横顔の判別器３１ａ，３２ａ，３３ａを用いて、各解像度画像Ｓ１′＿ｉについて顔候補Ｓ２をラフに検出する（ステップＳ４）。さらに、顔検出後段処理部４０は、ステップ４で抽出された顔候補Ｓ２の近傍画像に対して、顔検出前段処理部３０と同様に、正面顔、右横顔、および左横顔の判別器４１ａ，４２ａ，４３ａを用いて精査に相当する顔検出を行い、真の顔Ｓ３に絞り込む（ステップＳ５）。そして、各解像度画像Ｓ１′＿ｉにおいて重複して検出された同一の顔を判定（ステップＳ６）し、これらをそれぞれ１つにまとめて最終的に検出された顔Ｓ３′とする。

次に、判別器の学習方法について説明する。図１０は、この判別器の学習方法を示すフローチャートである。なお、学習は、判別器の種類、すなわち、判別すべき顔の向き毎に行われる。

学習の対象となるサンプル画像群は、所定のサイズ、例えば３２×３２画素サイズで規格化された、顔であることが分かっている複数のサンプル画像と、顔でないことが分かっている複数のサンプル画像とからなる。顔であることが分かっているサンプル画像としては、顔の向きが判別器の判別すべき顔の向きと同一であって顔の天地方向が揃ったものを用いる。顔であることが分かっているサンプル画像は、１つのサンプル画像につき、縦および／または横を０．７倍〜１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像に対し、平面上±１５度の範囲にて３度単位で段階的に回転させて得られる複数の変形バリエーションを用いる。各サンプル画像には、重みすなわち重要度が割り当てられる。まず、すべてのサンプル画像の重みの初期値が等しく１に設定される（ステップＳ１１）。

次に、サンプル画像およびその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなるペア群を複数種類設定したときの、当該複数種類のペア群のそれぞれについて弱半別器が作成される（ステップＳ１２）。ここで、それぞれの弱判別器とは、サブウィンドウＷで切り出された部分画像とその縮小画像の平面内に設定される所定の２点を１ペアとして複数のペアからなる１つのペア群を設定したときの、当該１つのペア群を構成する各ペアにおける２点間の輝度の差分値の組合せを用いて、顔の画像と顔でない画像とを判別する基準を提供するものである。本実施形態においては、１つのペア群を構成する各ペアにおける２点間の輝度の差分値の組合せについてのヒストグラムを弱判別器のスコアテーブルの基礎として使用する。

図１１を参照しながらある判別器の作成について説明する。図１１の左側のサンプル画像に示すように、この判別器を作成するためのペア群を構成する各ペアの２点は、顔であることが分かっている複数のサンプル画像において、サンプル画像上の右目の中心にある点をＰ１、右側の頬の部分にある点をＰ２、眉間の部分にある点をＰ３、サンプル画像を４近傍画素平均で縮小した１６×１６画素サイズの縮小画像上の右目の中心にある点をＰ４、右側の頬の部分にある点をＰ５、さらに４近傍画素平均で縮小した８×８画素サイズの縮小画像上の額の部分にある点をＰ６、口の部分にある点をＰ７として、Ｐ１−Ｐ２、Ｐ１−Ｐ３、Ｐ４−Ｐ５、Ｐ４−Ｐ６、Ｐ６−Ｐ７の５ペアである。なお、ある判別器を作成するための１つのペア群を構成する各ペアの２点の座標位置はすべてのサンプル画像において同一である。そして顔であることが分かっているすべてのサンプル画像について上記５ペアを構成する各ペアの２点間の輝度の差分値の組合せが求められ、そのヒストグラムが作成される。ここで、輝度の差分値の組合せとしてとり得る値は、画像の輝度階調数に依存するが、仮に１６ビット階調である場合には、１つの輝度の差分値につき６５５３６通りあり、全体では階調数の（ペア数）乗、すなわち６５５３６の５乗通りとなってしまい、学習および検出のために多大なサンプルの数、時間およびメモリを要することとなる。このため、本実施形態においては、輝度の差分値を適当な数値幅で区切って量子化し、ｎ値化する（例えばｎ＝１００）。

これにより、輝度の差分値の組合せの数はｎの５乗通りとなるため、輝度の差分値の組合せを表すデータ数を低減できる。

同様に、顔でないことが分かっている複数のサンプル画像についても、ヒストグラムが作成される。なお、顔でないことが分かっているサンプル画像については、顔であることが分かっているサンプル画像上における上記各ペアの所定の２点の位置に対応する位置（同様に参照符号Ｐ１〜Ｐ７を用いる）が用いられる。これらの２つのヒストグラムが示す頻度値の比の対数値を取ってヒストグラムで表したものが、図１１の一番右側に示す、弱判別器のスコアテーブルの基礎として用いられるヒストグラムである。この弱判別器のヒストグラムが示す各縦軸の値を、以下、判別ポイントと称する。この弱判別器によれば、正の判別ポイントに対応する、輝度の差分値の組合せの分布を示す画像は顔である可能性が高く、判別ポイントの絶対値が大きいほどその可能性は高まると言える。逆に、負の判別ポイントに対応する輝度の差分値の組合せの分布を示す画像は顔でない可能性が高く、やはり判別ポイントの絶対値が大きいほどその可能性は高まる。ステップＳ１２では、判別に使用され得る複数種類のペア群を構成する各ペアの所定の２点間の輝度の差分値の組合せについて、上記のヒストグラム形式の複数の弱判別器が作成される。

続いて、ステップＳ１２で作成した複数の弱半別器のうち、画像が顔であるか否かを判別するのに最も有効な弱判別器が選択される。最も有効な弱判別器の選択は、各サンプル画像の重みを考慮して行われる。この例では、各弱判別器の重み付き正答率が比較され、最も高い重み付き正答率を示す弱判別器が選択される（ステップＳ１３）。すなわち、最初のステップＳ１３では、各サンプル画像の重みは等しく１であるので、単純にその弱判別器によって画像が顔であるか否かが正しく判別されるサンプル画像の数が最も多いものが、最も有効な弱判別器として選択される。一方、後述するステップＳ１５において各サンプル画像の重みが更新された後の２回目のステップＳ１３では、重みが１のサンプル画像、重みが１よりも大きいサンプル画像、および重みが１よりも小さいサンプル画像が混在しており、重みが１よりも大きいサンプル画像は、正答率の評価において、重みが１のサンプル画像よりも重みが大きい分多くカウントされる。これにより、２回目以降のステップＳ１３では、重みが小さいサンプル画像よりも、重みが大きいサンプル画像が正しく判別されることに、より重点が置かれる。

次に、それまでに選択した弱判別器の組合せの正答率、すなわち、それまでに選択した弱判別器を組み合わせて使用して（学習段階では、弱判別器は必ずしも線形に結合させる必要はない）各サンプル画像が顔の画像であるか否かを判別した結果が、実際に顔の画像であるか否かの答えと一致する率が、所定の閾値を超えたか否かが確かめられる（ステップＳ１４）。ここで、弱判別器の組合せの正答率の評価に用いられるのは、現在の重みが付けられたサンプル画像群でも、重みが等しくされたサンプル画像群でもよい。所定の閾値を超えた場合は、それまでに選択した弱判別器を用いれば画像が顔であるか否かを十分に高い確率で判別できるため、学習は終了する。所定の閾値以下である場合は、それまでに選択した弱判別器と組み合わせて用いるための追加の弱判別器を選択するために、ステップＳ１６へと進む。

ステップＳ１６では、直近のステップＳ１３で選択された弱判別器が再び選択されないようにするため、その弱判別器が除外される。

次に、直近のステップＳ１３で選択された弱判別器では顔であるか否かを正しく判別できなかったサンプル画像の重みが大きくされ、画像が顔であるか否かを正しく判別できたサンプル画像の重みが小さくされる（ステップＳ１５）。このように重みを大小させる理由は、次の弱判別器の選択において、既に選択された弱判別器では正しく判別できなかった画像を重要視し、それらの画像が顔であるか否かを正しく判別できる弱判別器が選択されるようにして、弱判別器の組合せの効果を高めるためである。

続いて、ステップＳ１３へと戻り、上記したように重み付き正答率を基準にして次に有効な弱判別器が選択される。

以上のステップＳ１３からＳ１６を繰り返して、顔であるか否かを判別するのに適した弱判別器として、特定のペア群を構成する各ペアの所定の２点間の輝度の差分値の組合せに対応する弱判別器が選択されたところで、ステップＳ１４で確認される正答率が閾値を超えたとすると、顔であるか否かの判別に用いる弱判別器の種類と判別条件とが確定され（ステップＳ１７）、これにより学習を終了する。なお、選択された弱判別器は、その重み付き正答率が高い順に線形結合され、１つの判別器が構成される。また、各弱判別器については、それぞれ得られたヒストグラムを基に、輝度の差分値の組合せに応じてスコアを算出するためのスコアテーブルが生成される。なお、ヒストグラム自身をスコアテーブルとして用いることもでき、この場合、ヒストグラムの判別ポイントがそのままスコアとなる。

なお、上記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の輝度の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

また、学習の方法としては上記手法に限定されるものではなく、ニューラルネットワーク等他のマシンラーニングの手法を用いることができる。

なお、顔を表すサンプル画像としては、顔の天地方向とその向きが揃った画像を用いるが、同時に、次に示すいずれかの画像のみを用いるようにする。

（１）目および鼻のみを囲む領域の画像。

（２）目、鼻および上唇のみを囲む領域の画像。

（３）（１）と（２）の混合。すなわち、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像。

図１２（１）は上記（１）に該当する正面顔の画像、図１２（２）は上記（１）に該当する横顔の画像の例を表し、図１３（１）は上記（２）に該当する正面顔の画像、図１３（２）は上記（２）に該当する横顔の画像の例をそれぞれ表したものである。

このようにすることで、判別器に対して、顔の表情の変化に伴って変形しやすい口周り、特に上唇より下側部分を除いた顔の特徴を中心に、学習させることができるようになり、その結果、顔の表情の変化に強い判別器とすることが可能となる。なお、横顔のサンプル画像は、顔の側面の輪郭が画像の略中央に位置するよう設定すると、画像に含まれる特徴部分の配置のバランスがよく、より好ましい。

このように、本実施形態の顔判別装置（判別器）の学習方法によれば、顔を表すサンプル画像を、顔の向きや天地方向を揃えることに加え、上唇より下側部分を除いた特定の顔部品のみを囲む所定の顔領域の画像に限定しているので、顔の表情の変化によって変形しやすい下顎周辺を除いた顔の画像上の特徴部分を、顔を表すサンプル画像に適正に含めることができるとともに、顔を表すサンプル画像に含まれる画像上の特徴が複数の画像間で分散するのを抑制することができ、このようなサンプル画像を用いた学習により、顔の表情の変化に強い顔判別装置を得ることが可能となる。また、顔の表情だけでなく、集合写真において口が前列の人の頭で隠れた状態等の口部分の欠落や、顎鬚の有無等にも影響され難い顔判別装置とすることが可能となる。また、本実施形態の顔判別装置は、上記学習方法に基づく学習により得られたものであるから、顔の表情の変化に強い顔判別装置となる。

なお、顔を表すサンプル画像の顔領域は、便宜上、すべて矩形であることが好ましい。

以上、本発明の実施形態に係る顔判別装置および顔判別装置の学習方法について説明したが、上記顔判別装置（判別器）における各処理をコンピュータに実行させるためのプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取可能な記録媒体も、本発明の実施形態の１つである。

顔検出システム１の構成を示すブロック図 多重解像度画像の生成工程を示す図 顔検出前段処理部３０の構成を示すブロック図 顔検出後段処理部４０の構成を示すブロック図 判別器における大局的な処理フローを示す図 弱判別器における処理フローを示す図 弱判別器における特徴量の算出を説明するための図 複数の解像度画像での解像度画像の回転とサブウィンドウの移動を説明するための図 顔検出システム１において行われる処理を示すフローチャート 判別器の学習方法を示すフローチャート 弱判別器のヒストグラムを導出する方法を示す図 （１）正面顔における両目および鼻のみを囲む顔領域のサンプル画像の例を示す図、（２）横顔における目および鼻のみを囲む顔領域のサンプル画像の例を示す図 （１）正面顔における両目、鼻および上唇のみを囲む顔領域のサンプル画像の例を示す図、（２）横顔における目、鼻および上唇のみを囲む顔領域のサンプル画像の例を示す図

符号の説明

１ 顔検出システム
１０ 多重解像度画像生成部
２０ 画像正規化部
３０ 顔検出前段処理部
３１ 第１の正面顔検出部
３２ 第１の左横顔検出部
３３ 第１の右横顔検出部
３１ａ，３２ａ，３３ａ 判別器
４０ 顔検出後段処理部
４１ 第２の正面顔検出部
４２ 第２の左横顔検出部
４３ 第２の右横顔検出部
４１ａ，４２ａ，４３ａ 判別器
５０ 重複検出判定処理部

Claims (11)

1. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とする顔判別装置。
2. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、
   前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする顔判別装置。
3. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置であって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、顔のパターンの特徴を学習してなる顔判別装置であり、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする顔判別装置。
4. コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力されて、顔のパターンの特徴を学習して得られた顔判別ステップを有するプログラムであり、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とするプログラム。
5. コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力され、顔のパターンの特徴を学習して得られる顔判別ステップを有するプログラムであり、
   前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするプログラム。
6. コンピュータに、入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別させるプログラムであって、
   顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像を入力され、顔のパターンの特徴を学習して得られた顔判別ステップを有するプログラムであり、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とするプログラム。
7. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像のみからなることを特徴とする顔判別装置の学習方法。
8. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、
   前記複数の学習用顔画像が、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする顔判別装置の学習方法。
9. 入力画像におけるパターンの特徴に基づいて前記入力画像が顔画像であるか否かを判別する顔判別装置に、顔の向きが判別すべき顔の向きと同一であって顔の天地方向が揃った互いに異なる複数の学習用顔画像の各々を入力し、前記顔判別装置による判別の正否結果に基づいて、前記顔判別装置に顔のパターンの特徴を学習させる顔判別装置の学習方法において、
   前記複数の学習用顔画像が、目および鼻のみを囲む領域の画像、および、目、鼻および上唇のみを囲む領域の画像のみからなることを特徴とする顔判別装置の学習方法。
10. 前記領域が矩形領域であることを特徴とする請求項７、８または９記載の顔判別装置の学習方法。
11. 前記顔判別装置が、互いに異なる複数の弱判別器を線形に結合した構造を有するものであることを特徴とする請求項７から１０いずれか記載の顔判別装置の学習方法。

Images