JP2007058722A - 判別器の学習方法および対象判別装置ならびにプログラム - Google Patents

Abstract

【課題】 画像内の判別対象の検出について高い検出精度を保ちつつ高速化を図る。
【解決手段】 部分画像生成手段１１によりサブウィンドウＷが全体画像Ｐ上を複数画素間隔で走査し複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器１２において顔（判別対象）であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。次に、周辺画像生成手段２１において、検出された候補画像ＣＰの周辺の領域から複数の周辺画像ＡＰが生成される。生成された周辺画像ＡＰは対象判別器２２において顔が含まれているか否かが判別される。そして、顔である判別された周辺画像ＡＰが検出される。
【選択図】 図１

Description

本発明は、画像がたとえば人物の顔等の判別対象であるか否かを判別する判別器学習方法および対象判別装置ならびにプログラムに関するものである。

顔検出の基本原理は顔か顔ではないかの２クラス判別であり、この判別方法としてブースティング（Ｂｏｏｓｔｉｎｇ）と呼ばれる手法が広く用いられている（たとえば特許文献１参照）。ブースティングアルゴリズムは複数の弱い判別器（弱判別器）を結合することにより１つの強い判別器を形成する２クラス判別器の学習方法であって、弱判別器における特徴量としてたとえば多重解像度平面のエッジ情報が用いられる。

特に、ブースティングによる顔検出処理の高速化を図るために、弱判別器がカスケード構造を有する判別器が提案されている（たとえば特許文献２参照）。この判別器において、弱判別器が顔もしくは非顔の判別を行ったときに、上流側の弱判別器が顔であると判別した画像について下流側の弱判別器がさらに顔か非顔かの判別を行うようになっている。

ところで、顔検出処理の検出速度は初期（上流側）の探索量に左右されるものであり、初期の探索量が多ければ多いほど検出速度は遅くなってしまう。ここで、初期の探索量を減らすために、カスケード構造の上流側において低解像度の画像を用いることが提案されている（たとえば非特許文献３参照）。非特許文献３において、上流側の弱判別器では低解像度の画像から抽出した特徴量を用いて顔の判別を行い、下流側の弱判別器になるにつれて高解像度の画像から抽出した特徴量を用いて判別が行われるようになっている。
特開平８−３２９０３１号公報 米国特許出願公開２００２／１０２０２４号明細書 Henry Schneiderman. "A Statistical Approach to 3D Object Detection Applied to Faces and Cars" CMU-RI-TR-0066, May 10,2000、p.61

ところで、デジタルカメラ等において取得された全体画像内において判別対象を探索する際、所定の大きさからなるサブウィンドウ（枠）を走査させ、サブウィンドウ内の画像を切り出した画像に対し顔であるか否かの判別が行われる。上述した上流側の探索量を減らす方法として、上述した非特許文献３に示す他に、切り出す画像の数を減らすことが考えられる。たとえば、従来、サブウィンドウの走査は１画素ずつ行われているが、３画素ずつ行えば判別する画像の数を減らすことができる。

しかし、上述した判別器は、顔が画像の所定位置に存在する場合に顔であると判別するものであるため、複数画素間隔でサブウィンドウを走査させた場合、顔が所定位置からずれてしまうことがある。よって、画像に顔が存在していても判別器が顔であると判別できない場合が生じ顔の検出率が悪くなってしまうという問題がある。

そこで、本発明は、判別対象の検出率の低下を防止しながら検出の高速化を図ることができる判別器学習方法および対象判別装置ならびにプログラムを提供することを目的とするものである。

本発明の判別器の学習方法は、画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトされた位置に配置されたシフトサンプル画像とを用いて学習されることを特徴とするものである。

本発明の対象判別装置は、全体画像上に設定画素数の枠からなるサブウィンドウを複数画素間隔で走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象の可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像の周辺の領域にサブウィンドウを走査させ周辺画像を生成する周辺画像生成手段と、周辺画像生成手段により生成された周辺画像について判別対象であるか否かを判別する対象判別手段とを有し、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトした位置に配置されたシフトサンプル画像とを用いて学習されたものであることを特徴とするものである。

本発明の対象判別プログラムは、コンピュータを、全体画像上に設定画素数の枠からなるサブウィンドウを複数画素間隔で走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象の可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像の周辺の領域にサブウィンドウを走査させ周辺画像を生成する周辺画像生成手段と、周辺画像生成手段により生成された周辺画像について判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであり、候補判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトした位置に配置されたシフトサンプル画像とを用いて学習されたものであることを特徴とするものである。

ここで、シフトサンプル画像は、判別対象を設定位置からシフトさせたものであればシフト方向は問わず、サンプル画像内において上下左右いずれの方向にシフトさせたものであってもよい。また、シフト量は１画素であってもよいし数画素であってもよい。さらに、候補判別器の学習に用いるシフトサンプル画像は、シフトサンプル画像を用いて学習されたものであってもよいし、上下方向および左右方向にシフト量の異なる複数種類のシフトサンプル画像を用いて学習されたものであってもよい。

また、候補判別器は、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備えたものであれば判別手法は問わず、たとえば部分画像について各弱判別器による判別を行い、その複数の判別結果を用いて最終的な判別を行うようにしてもよいし、複数の弱判別器がカスケード構造を有し、上流側の弱判別器において判別対象であると判別された部分画像について下流側の弱判別器による判別を行うものであってもよい。

さらに、候補検出手段は、候補判別器により判別された多数の候補画像をより少ない数の候補画像に絞り込む候補絞込手段をさらに有するものであってもよい。この候補絞込手段は、候補判別器により判別された候補画像の周辺の領域にサブウィンドウを走査させて周辺候補画像を生成する周辺候補画像生成手段と、周辺候補画像生成手段により生成された周辺候補画像に対し判別対象であるか否かを判別し、判別対象である周辺候補画像を候補画像として出力する候補絞込判別器とを備えたものであってもよい。候補絞込判別器が、複数の弱判別器による複数の判別結果を用いて前記周辺候補画像が前記判別対象であるか否かを判別する、前記サンプル画像と、前記判別対象が前記設定位置からシフトした位置に配置された候補絞込用シフトサンプル画像とを用いて学習されたものであってもよい。

なお、候補検出手段は、１つの候補絞込手段を有するものであってもよいし、カスケード構造を有する複数の候補絞込手段を有するものであってもよい。複数の候補絞込手段がカスケード構造を有する場合、候補判別器が、異なるシフト量で判別対象がシフトした複数のシフトサンプル画像を用いて学習されたものであり、候補絞込用シフトサンプル画像が、複数のシフトサンプル画像のうち判別対象が設定位置から最も離れている最大シフト量よりも小さいシフト量で判別対象が設定位置からシフトされたものであり、複数の候補絞込判別器が、異なるシフト量で判別対象がシフトした複数の候補絞込用シフトサンプル画像を用いて学習されたものであって、下流側の候補絞込判別器が上流側の候補絞込判別器よりも最大シフト量の少ない候補絞込用シフトサンプル画像を用いて学習されているものであってもよい。

本発明の判別器学習方法によれば、判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトされた位置に配置されたシフトサンプル画像とを用いて学習されることにより、画像内において判別対象が設定位置からずれている場合であっても判別対象を判別することができるため、判別対象の検出率を向上させることができる。

本発明の対象判別装置ならびにプログラムによれば、全体画像上に設定画素数の枠からなるサブウィンドウを複数画素間隔で走査させ部分画像を生成する部分画像生成手段と、部分画像生成手段により生成された部分画像が判別対象であるか否かを判別し、判別対象の可能性のある部分画像を候補画像として検出する候補検出手段と、候補検出手段により検出された候補画像の周辺の領域にサブウィンドウを走査させ周辺画像を生成する周辺画像生成手段と、周辺画像生成手段により生成された周辺画像について判別対象であるか否かを判別する対象判別手段とを有し、候補検出手段が、複数の弱判別器による複数の判別結果を用いて部分画像が判別対象であるか否かを判別する候補判別器を備え、候補判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトした位置に配置されたシフトサンプル画像とを用いて学習されたものであることにより、サブウィンドウが複数画素間隔で走査されることにより、判別対象が設定位置からシフトした状態の部分画像が生成されても、候補判別器が当部分画像を判別対象であると確実に判別することができるため、サブウィンドウを１画素ずつ走査する場合に比べて判別すべき部分画像の数を減らすことができ判別作業の高速化を図ることができる。

なお、弱判別器がカスケード構造を有し、上流側の弱判別器が判別対象であると判別した部分画像について下流側の弱判別器が判別を行うものであれば、下流側の弱判別器が判別すべき部分画像の数を大幅に低減することができるため、判別作業の高速化をさらに促進することができる。

また、候補判別器が、判別対象の位置を設定位置を中心に上下方向および左右方向にシフトさせた複数のシフトサンプル画像を用いて学習されたものであるとき、判別対象が設定位置から上下左右方向のいずれの方向にシフトしていても候補判別器は当該部分画像を判別対象であると判別することができるため、候補判別器の対象検出率をさらに高めることができる。

さらに、候補検出手段が、候補判別器により判別された多数の候補画像をより少ない数の候補画像に絞り込む候補絞込手段をさらに有し、候補絞込手段が、候補判別器により判別された候補画像の周辺の領域にサブウィンドウを複数画素間隔で走査させ周辺候補画像を生成する周辺候補画像生成手段と、周辺候補画像生成手段により生成された周辺候補画像について判別対象であるか否かを判別し、判別対象であると判別した周辺候補画像を候補画像として対象検出手段に出力する候補絞込判別器とを備え、候補絞込判別器が、複数の弱判別器による複数の判別結果を用いて周辺候補画像が判別対象であるか否かを判別する、サンプル画像と判別対象が設定位置からシフトした位置に配置された候補絞込用シフトサンプル画像とを用いて学習されたものであるとき、候補判別器よりも誤検出率の低い候補絞込判別器により候補画像の数を絞り込むことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。

さらに、候補検出手段が、カスケード構造を有する複数の候補絞込手段を有し、候補判別器が、異なるシフト量で判別対象がシフトした複数のシフトサンプル画像を用いて学習されたものであり、候補絞込用シフトサンプル画像が、複数のシフトサンプル画像のうち判別対象が設定位置から最も離れている最大シフト量よりも小さいシフト量で判別対象が設定位置からシフトされたものであり、複数の候補絞込判別器が、異なるシフト量で判別対象がシフトした複数の候補絞込用シフトサンプル画像を用いて学習されたものであって、下流側の候補絞込判別器が上流側の候補絞込判別器よりも最大シフト量の少ない候補絞込用シフトサンプル画像を用いて学習されていれば、下流側の候補絞込手段ほど誤検出率の低い候補絞込判別器を用いて候補画像の数の絞り込みが行うことにより、対象検出手段により判別すべき候補画像の数を大幅に減らすことができるため、判別作業のさらなる高速化を図ることができる。

以下、図面を参照して本発明の対象判別装置の実施の形態を詳細に説明する。図１は本発明の対象判別装置の好ましい実施の形態を示すブロック図である。なお、図１のような対象判別装置１の構成は、補助記憶装置に読み込まれたオブジェクト識別プログラムをコンピュータ（たとえばパーソナルコンピュータ等）上で実行することにより実現される。また、このオブジェクト識別プログラムは、ＣＤ−ＲＯＭ等の情報記憶媒体に記憶され、もしくはインターネット等のネットワークを介して配布され、コンピュータにインストールされることになる。

図１の対象判別装置１は判別対象である顔の判別を行うものであって、全体画像Ｐの中から顔である可能性のある部分画像ＰＰを検出し候補画像ＣＰとして出力する候補検出手段１０と、候補検出手段１０により検出された候補画像ＣＰが顔であるか否かをさらに判別する対象検出手段２０とを有している。この候補検出手段１０は、全体画像Ｐ上に設定画素数の枠からなるサブウィンドウＷを複数画素間隔で走査させ部分画像ＰＰを生成する部分画像生成手段１１と、部分画像生成手段１１により生成された部分画像が判別対象であるか否かを判別し、判別対象である可能性のある部分画像ＰＰを候補画像ＣＰとして判別する候補判別手段１２とを有する。

ここで、部分画像生成手段１１は、図２（Ａ）に示すように、設定画素数（たとえば３２画素×３２画素）の枠からなるサブウィンドウＷを全体画像Ｐ内において走査させ、サブウィンドウＷにより囲まれた領域を切り出すことにより設定画素数からなる部分画像ＰＰを生成するようになっている。特に、部分画像生成手段１１は、上下方向および左右方向にそれぞれ複数画素間隔（たとえば３画素）でサブウィンドウＷを走査させ部分画像ＰＰを生成するようになっている。

さらに、部分画像生成手段１１は、図２（Ｂ）〜（Ｄ）に示すように、１つの全体画像Ｐから複数の低解像度画像Ｐ２、Ｐ３、Ｐ４を生成する機能を有し、生成した低解像度画像上においてサブウィンドウＷを走査させたときの部分画像ＰＰをも生成するようになっている。これにより、全体画像ＰにおいてサブウィンドウＷ内に顔（判別対象）が収まらなかった場合であっても、低解像度画像上においてはサブウィンドウＷ内に収めることが可能となり、顔の検出を確実に行うことができる。

図１の候補判別手段１２は、アダブースティングアルゴリズム（Ａｄａｂｏｏｓｔｉｎｇ Ａｌｇｏｒｉｔｈｍ）により学習された候補判別器であって、複数の弱判別器ＣＦ_１〜ＣＦ_Ｍ（Ｍ：弱判別器の個数）を有している。各弱判別器ＣＦ_１〜ＣＦ_Ｍはそれぞれ部分画像ＰＰから特徴量ｘを抽出し、この特徴量ｘを用いて部分画像ＰＰが顔であるか否かの判別を行う機能を有する。そして、候補判別器１２は弱判別器ＣＦ_１〜ＣＦ_Ｍおける判別結果を用いて顔であるか否かの最終的な判別を行うようになっている。

具体的には、図３に示すように各弱判別器ＣＦ_１〜ＣＦ_Ｍは部分画像ＰＰ内の設定された座標Ｐ１ａ、Ｐ１ｂ、Ｐ１ｃにおける輝度値等を抽出する。さらに、部分画像ＰＰの低解像度画像ＰＰ２内の設定された座標位置Ｐ２ａ、Ｐ２ｂ、低解像度画像ＰＰ３内の設定された座標位置Ｐ３ａ、Ｐ３ｂにおける輝度値等をそれぞれ抽出する。その後、上述した７個の座標Ｐ１ａ〜Ｐ３ｂの２つをペアとして組み合わせ、この組み合わせた輝度の差分を特徴量ｘとする。各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎にそれぞれ異なる特徴量が用いられるものであり、たとえば弱判別器ＣＦ_１では座標Ｐ１ａ、Ｐ１ｃにおける輝度の差分を特徴量として用い、弱判別器ＣＦ_２では座標Ｐ２ａ、Ｐ２ｂにおける輝度の差分を特徴量として用いるようになっている。

なお、各弱判別器ＣＦ_１〜ＣＦ_Ｍがそれぞれ特徴量ｘを抽出する場合について例示しているが、複数の部分画像ＰＰについて上述した特徴量ｘを予め抽出しておき、各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力するようにしてもよい。さらに、輝度値を用いた場合について例示しているが、コントラスト、エッジ等の情報を用いるようにしても良い。

各弱判別器ＣＦ_１〜ＣＦ_Ｍは図４に示すようなヒストグラムを有しており、このヒストグラムに基づいて特徴量ｘの値に応じたスコアｆ_１（ｘ）〜ｆ_Ｍ（ｘ）を出力するようになっている。さらに、各弱判別器ＣＦ_１〜ＣＦ_Ｍは判別性能を示す信頼度β_１〜β_Ｍを有している。そして、候補判別器１２は、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力されたスコアｆ_ｍ（ｘ）および信頼度β_１〜β_Ｍとに基づいて最終的な判別結果を出力するようになっている。具体的には、以下の式（１）により表すことができる。
sign(F_m(x))=sign[Σ_m=1 ^Mβ_m・f_m(x))] ・・・(1)
式（１）において、候補判別器１２からの判別結果ｓｉｇｎ（Ｆ_ｍ（ｘ））は、各弱判別器ＣＦ_１〜ＣＦ_Ｍからそれぞれ算出される判定スコアβ_ｍ・ｆ_ｍ（ｘ）（ｍ＝１、２、・・・、Ｍ）の総和により判別されるようになっている。

図１の対象検出手段２０は、候補検出手段１０により検出された候補画像ＣＰの周辺の領域にサブウィンドウＷを走査させ周辺画像ＡＰを生成する周辺画像生成手段２１と、周辺画像生成手段２１により生成された周辺画像ＡＰが判別対象であるか否かを判別する対象判別手段２２とを有している。

周辺画像生成手段２１は、図５（Ａ）、（Ｂ）に示すように、候補画像ＣＰを中心に上下左右に１画素ずつサブウィンドウＷをずらして切り出した８つの周辺画像ＡＰを生成するようになっている。つまり、周辺画像生成手段２１は、候補画像ＣＰの中心ＰＣを上下方向および左右方向に１画素ずつシフトした中心ＰＣ１〜ＰＣ８に基づいてサブウィンドウＷを走査させるようになっている。図１の対象判別器２２はアダブースティングアルゴリズムにより学習された各弱判別器ＮＣＦ_１〜ＮＣＦ_ｋ（ｋ：弱判別器の個数）を有し、上述した候補判別器１２と同様の手法により周辺画像ＡＰが顔であるか否かを判別するようになっている。

ここで、図１から図５を参照して対象判別装置１の動作例について説明する。まず、部分画像生成手段１１において、全体画像Ｐ上をサブウィンドウＷが一定の走査間隔で走査することにより複数の部分画像ＰＰが生成される。生成された部分画像ＰＰは、候補判別器１２において顔であるか否かが判別され、顔である可能性のある候補画像ＣＰが検出される。次に、周辺画像生成手段２１において、検出された候補画像ＣＰの周辺の領域から複数の周辺画像ＡＰが生成される。生成された周辺画像ＡＰは対象判別器２２において顔であるか否かが判別される。そして、顔であると判別された周辺画像ＡＰが顔画像として検出される。

ところで、上述した候補判別器１２は、予め用意された複数の弱判別器ＣＦ_１〜ＣＦ_Ｍに対し学習画像ＬＰの重み付けを更新しながら繰り返し各弱判別器ＣＦ_１〜ＣＦ_Ｍに入力していく（リサンプリング）というアダブースティング（ＡｄａＢｏｏｓｔｉｎｇ）アルゴリズムを用いて学習されている。図６は顔もしくは非顔を判別することができるように候補判別器１２を学習させるための判別器学習装置５０の一例を示すブロック図である。

判別器学習装置５０は、学習画像ＬＰを記憶したデータベースＤＢと、データベースＤＢに記憶された学習画像ＬＰに対し重み付けｗ_ｍ−１（ｉ）を加える重み付け手段５１と、重み付け手段５１により重み付けｗ_ｍ−１（ｉ）がなされた学習画像ＬＰが弱判別器ＣＦに入力されたときに、各弱判別器ＣＦにおける信頼度を算出する信頼度算出手段５２とを備えている。

データベースＤＢに記憶された学習画像ＬＰは、部分画像ＰＰ（サブウィンドウＷ）と同一の画素数からなる画像であって、図７に示すように、判別対象である顔が設定位置（たとえば中央）に配置されているサンプル画像ＳＰと、顔が設定位置から上下方向および左右方向にシフトされた位置に配置されているシフトサンプル画像ＳＳＰとを有している。シフトサンプル画像ＳＳＰの顔は１画素に上下左右にシフトされている（シフト量＝１画素）。さらに、学習画像ＬＰは非顔である非対象サンプル画像ＮＳＰを有しており、サンプル画像ＳＰ、シフトサンプル画像ＳＳＰおよび非対象サンプル画像ＮＳＰを用いて弱判別器ＣＦ_１〜ＣＦ_Ｍの学習が行われる。

また、各学習画像ＬＰ毎が顔であるのか否かを示す真偽パラメータｙ_ｉが付されている（ｉ＝１、２、・・・、Ｎ：Ｎは学習画像ＬＰの数）。パラメータｙ_ｉは顔であれば「１」、非顔であれば「−１」を示し、サンプル画像ＳＰおよびシフトサンプル画像ＳＳＰの真偽パラメータｙ_ｉは「１」、非対象サンプル画像ＮＳＰの真偽パラメータｙ_ｉは「−１」に設定されている。

重み付け手段５１は、データベースＤＢに記憶された学習画像ＬＰに重み付けｗ_ｍ−１（ｉ）（ｉ＝１、２、・・・、Ｎ：Ｎ＝学習画像ＬＰの数）を付加するものである。重み付けｗ_ｍ−１（ｉ）は学習画像ＬＰの判別の困難性を示すパラメータであって、重み付けｗ_ｍ−１（ｉ）が大きい学習画像ＬＰは判別が難しいものであることを示し、小さい学習画像ＬＰは判別が容易なものであることを示している。重み付け手段５１は、各学習画像ＬＰを弱判別器ＣＦ_ｍに入力されたときの判別結果に基づいて重み付けｗ_ｍ−１（ｉ）を更新し、新たに重み付けｗ_ｍ（ｉ）がなされた複数の学習画像ＬＰを用いて次の弱判別器ＣＦ_ｍ＋１の学習を行うようになっている。なお、重み付け手段５１は、最初の弱判別器ＣＦ_１の学習を行うときには、重み付けｗ_０（ｉ）としてｗ_０（ｉ）＝１／Ｎを与えるようになっている。

信頼度算出手段５２は、重み付けｗ_ｍ−１（ｉ）がなされた複数の学習画像ＬＰが各弱判別器ＣＦ_ｍに入力されたときに、各弱判別器ＣＦ_ｍにおける正答率を信頼度β_ｍとして算出するものである。ここで、信頼度算出手段５２は重み付けｗ_ｍ−１（ｉ）に応じた信頼度β_ｍを与えるようになっている。つまり、重み付けｗ_ｍ−１（ｉ）が大きい学習画像ＬＰを正しく判別できた弱判別器には大きい信頼度β_ｍを与え、重み付けｗ_ｍ−１（ｉ）が小さい学習サンプルを正しく判別できた弱判別器には小さい信頼度β_ｍを与えるようになっている。

図８は本発明の判別器学習方法の好ましい実施の形態を示すフローチャートであり、図６から図８を参照して判別器学習方法について説明する。なお、各学習画像ＬＰの重み付けは初期値ｗ_０（ｉ）＝１／Ｎ（ｉ＝１、２、・・・、Ｎ）に設定されている。

まず、学習画像ＬＰが弱判別器ＣＦ_ｍに入力されたとき（ステップＳＳ１１）、弱判別器ＣＦの判別結果に基づいて信頼度β_ｍが信頼度算出手段５２により算出される（ステップＳＳ１２）。

具体的には、まず弱判別器ＣＦ_ｍにおける誤り率ｅｒｒが式（２）により算出される。
err=Σ_i=1 ^Nw_m-1(i)I(y_i≠f_m(x_i)) ・・・(2)
式（２）において、学習画像ＬＰの特徴量ｘ_iを弱判別器ＣＦ_ｍに入力したときに、その判別が学習画像ＬＰに付された真偽パラメータｙ_iと異なった場合（ｙ_i≠ｆ_ｍ（ｘ_i））、誤って判別された学習画像ＬＰの重み付けｗ_ｍ−１（ｉ）に比例して誤り率ｅｒｒが大きくなることを意味している。

次に、算出した誤り率ｅｒｒに基づいて弱判別器ＣＦ_ｍの信頼度β_ｍが式（３）により算出される。
β_m=log((1-err)/err) ・・・(3)
この信頼度β_ｍが弱判別器ＣＦ_ｍの判別性能を示すパラメータとして学習されたことになる。

一方、重み付け手段５１において弱判別器ＣＦ_ｍの判別結果に基づいて学習画像ＬＰの重み付けｗ_ｍ（ｉ）が式（４）のように更新される（ステップＳＳ１３）。
w_m(i)=w_m-1(i)・exp[β_m・I(y_i≠f_m(x_i))] ・・・(4)
式（４）において、弱判別器ＣＦ_ｍが正しく判別した学習画像ＬＰの重み付けが大きく更新され、誤った判別がなされた学習画像ＬＰの重み付けが小さくなるように更新される。なお、各学習画像ＬＰの重み付けは最終的にΣ_i=1 ^Nｗ_ｍ（ｉ）＝１となるように正規化される。

重み付けｗ_ｍ（ｉ）の更新が行われた学習画像ＬＰを用いて次の弱判別器ＣＦ_ｍ＋１の学習が行われ（ステップＳＳ１１〜ステップＳＳ１４）、この学習の繰り返しがＭ回繰り返される。すると、以下の式（５）に示す候補判別器１２が完成し、学習が終了する（ステップＳＳ１６）。
sign(F_m(x))=sign[β_m・f_m(x)] ・・・(5)
なお、図６から図８において、候補判別器１２の学習について説明してきたが、対象判別手段２２についても同様の学習方法により学習される。但し、対象判別器２２の学習においてはサンプル画像ＳＰおよび非対象サンプル画像ＮＳＰが用いられシフトサンプル画像ＳＳＰは用いられない。

ところで、上述のように候補判別器１２はサンプル画像ＳＰの他にシフトサンプル画像ＳＳＰについても顔であると判定させるように学習されたものである。このため、サンプル画像ＳＰのように設定位置に顔が配置された部分画像ＰＰのみならず、顔が設定位置からずれている部分画像ＰＰについても候補画像ＣＰとして検出する。よって、サブウィンドウＷの左右方向の走査および上下方向の走査を３画素間隔で（２画素飛ばし）走査させたとしても、顔である部分画像ＰＰを確実に判別することができ、サブウィンドウＷの走査により生成される部分画像ＰＰの数を大幅に減らすことができる。

一方、サンプル画像ＳＰのみならずシフトサンプル画像ＳＳＰを用いて学習を行った候補判別器１２は、非顔である部分画像ＰＰについても顔であると判断する場合が増大し、結果として候補判別器１２自体の誤検出率が上がってしまう。ここで、対象判別器２２は、サンプル画像ＳＰおよび非サンプル画像ＮＳＰのみを用いて学習されたものであるため誤検出率が低い。つまり、対象判別器２２において部分画像ＰＰの周辺領域について精密な顔検出が行われるため、候補判別器１２における誤検出率が上がったとしても、対象判別装置１全体としての誤検出率は低く保つことができる。つまり、一見、候補判別器１２の誤検出率が上がり対象判別装置１全体の誤検出率が上がってしまうように思えるが、対象判別器２２により対象判別装置１全体の誤検出率を低く保ちながら、候補判別器１２において判別処理される部分画像ＰＰの数を減少させ判別作業の高速化を図ることができる。

図９は本発明の別の実施の形態を示すブロック図であり、図９を参照して対象判別装置について説明する。なお図９において図１に示す対象判別装置１と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図９の対象判別装置１００が図１の対象判別装置１と異なる点は、候補検出手段１１０が候補判別器１２により判別された候補画像ＣＰの数をより少ない数に絞り込む候補絞込手段１２０、１３０をさらに有する点である。

各候補絞込手段１２０、１３０は、候補判別器１２により判別された候補画像ＣＰの周辺の領域にサブウィンドウＷを複数画素間隔で走査させ周辺候補画像ＡＣＰを生成する周辺候補画像生成手段１１１と、周辺候補画像生成手段１１１により生成された周辺候補画像ＡＣＰに対し判別対象であるか否かを判別し、判別対象であると判別した周辺候補画像ＡＣＰを候補画像ＣＰとして対象判別器２２に出力する候補絞込判別器１２１、１３１とを備えている。なお、候補絞込手段１２０、１３０には共通の周辺候補画像生成手段１１１が用いられている。

さらに候補絞込手段１２０、１３０はカスケード構造を有しており、上流側の候補絞込手段１２０において絞り込まれた候補画像ＣＰについてさらに下流側の候補絞込手段１３０において候補の絞込を行うようになっている。

ここで、周辺候補画像生成手段１１１は、上記周辺画像生成手段２１とほぼ同一の機能を有し（図６参照）、候補判別器１２において顔であると判別された候補画像ＣＰの周辺の領域から第１周辺候補画像を生成するようになっている。なお、周辺画像生成手段２１が１画素ずつサブウィンドウＷを走査させるのに対し、周辺候補画像生成手段１１１は、複数画素間隔でサブウィンドウＷを走査させるようになっている。そして、候補絞込判別器１２１は、周辺候補画像生成手段１１１により生成された第１周辺候補画像について顔であるか否かの判別を行い、顔であると判別した第１周辺候補画像を候補画像ＣＰ１として出力するようになっている。

さらに、周辺候補画像生成手段１１１は、候補絞込判別器１２１において顔であると判別された候補画像ＣＰ１の周辺の領域から第２周辺候補画像ＡＣＰ２を生成するようになっている。そして、候補絞込判別器１３１は、周辺候補画像生成手段１１１により生成された第２周辺候補画像について顔であるか否かの判別を行い、顔であると判別した第２周辺候補画像を候補画像ＣＰ２として出力するようになっている。

候補絞込判別器１２１、１３１は、上述した候補判別器１２および対象判別器２２と同様、アダブースティングアルゴリズムにより学習されたものであって、複数の弱判別器を有している。この候補絞込判別器１２１、１３１は、サンプル画像ＳＰと候補絞込用シフトサンプル画像ＬＳＰとを用いて学習されたものである。

ここで、候補絞込判別器１２１は、サンプル画像ＳＰの他に、判別対象を設定位置から上下方向および左右方向に１画素シフトさせた候補絞込用シフトサンプル画像と、２画素シフトさせた候補絞込用シフトサンプル画像とを用いて学習されている。また、候補絞込判別器１３１は、サンプル画像ＳＰの他に判別対象を設定位置から上下方向および左右方向に１画素シフトさせた候補絞込用シフトサンプル画像を用いて学習されている。

さらに、候補判別器１２は、サンプル画像ＳＰの他に、判別対象を設定位置から上下方向および左右方向へのシフト量が１画素である第１シフトサンプル画像ＳＳＰ１、シフト量が２画素である第２シフトサンプル画像ＳＳＰ２、シフト量が３画素である第３シフトサンプル画像ＳＳＰ３を用いて学習されている。なお、対象判別器２２は、シフトサンプル画像ＳＳＰは用いずサンプル画像ＳＰのみによって学習されている。

つまり、候補絞込用シフトサンプル画像ＬＳＰは、複数のシフトサンプル画像ＳＳＰのうち顔が設定位置から最も離れている最大シフト量（＝たとえば３画素）よりも小さいシフト量で顔が設定位置からシフトされたものであり、下流側の候補絞込判別器１３１が上流側の候補絞込判別器１２１よりも最大シフト量の少ない候補絞込用シフトサンプル画像ＬＳＰを用いて学習されている。

具体的には、シフトサンプル画像ＳＳＰにおいて、最大シフト量は第３シフトサンプル画像ＳＳＰ３の３画素である。一方、候補絞込判別器１２１の学習に用いられる候補絞込用シフトサンプル画像の最大シフト量は２画素であり、候補絞込判別器１３１の学習に用いられる候補絞込用シフトサンプル画像の最大シフト量は１画素である。つまり、上流側の候補判別器１２から候補絞込判別器１２１、１３１の順に最大シフト量が３画素、２画素、１画素というように小さくなるようなシフトサンプル画像ＳＳＰを用いて学習が行われている。

これに対応して、部分画像生成手段１１は、部分画像ＰＰを生成する際に７画素間隔（６画素飛ばし）でサブウィンドウＷを走査させる。また、周辺候補画像生成手段１１１は、第１周辺候補画像ＡＣＰ１を生成する際には５画素間隔（４画素飛ばし）、第２周辺候補画像ＡＣＰ２を生成する際には３画素間隔（２画素飛ばし）でサブウィンドウＷを走査させるようになっている。この場合であっても、判別すべき部分画像ＰＰおよび各周辺候補画像の数を大幅に減らし高速な判別ができるとともに、判別精度を高く保つことができる。すなわち、上流側の候補検出手段１０においては、誤検出率が高くなってしまっても検出速度を上げる構成にし、下流側の候補絞込手段１２０、１３０になるにつれて検出速度を下げ誤検出率を低くなる構成にし、対象検出手段２０において検出速度および誤検出率が最も低くなる構成にしている。このように、上流側において判別すべき画像の数を減らすことにより、判別の高速化を図ることともに、下流側の誤検出率を低く設定することにより、対象判別装置１全体の誤検出率を低くすることを実現している。

図１０は本発明の第３の実施の形態を示すブロック図であり、図１０を参照して対象判別装置について説明する。なお、図１０の対象判別装置において図１の対象判別装置と同一の構成を有する部位には同一の符号を付してその説明を省略する。

図１０の対象判別装置２００が図１の判別対象装置１と異なる点は、候補判別器１２の構成である。なお、図１０において候補判別器１２について例示しているが、対象判別器２２、候補絞込判別器１２１、１３１についても適用することができる。

候補判別器２１２において各弱判別器ＣＦ_１〜ＣＦ_Ｍはカスケード構造を有している。つまり、式（１）では各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力される判定スコアβ_ｍ・ｆ_ｍ（ｘ）の総和として出力されるようになっているが、図１２においては各弱判別器ＣＦ_１〜ＣＦ_Ｍのすべてが顔であると判別した部分画像ＰＰのみを候補画像ＣＰとして出力するようになっている。

具体的には、各弱判別器ＣＦ_ｍの判定スコアβ_ｍ・ｆ_ｍ（ｘ）自体が設定しきい値Ｓｒｅｆ以上であるか否かを判断し、設定しきい値以上であるときに顔であると判別する（β_ｍ・ｆ_ｍ（ｘ）≧Ｓｒｅｆ）。そして、弱判別器ＣＦ_ｍにおいて顔であると判別した部分画像ＰＰのみ下流側の弱判別器ＣＦ_ｍ＋１による判別を行い、弱判別器ＣＦ_ｍで非顔であると判別された部分画像ＰＰは下流側の弱判別器ＣＦ_ｍ＋１による判別は行わない。

これにより、下流側の弱判別器により判別すべき部分画像ＰＰの量を減らすことができるため、判別作業の高速化を図ることができる。さらにカスケード構造の弱判別器ＣＦ_１〜ＣＦ_Ｍを有する候補判別器２１２の学習にサンプル画像ＳＰのみならずシフトサンプル画像ＳＳＰを用いることにより、候補判別器２１２において判別すべき部分画像ＰＰの数を減らし判別作業の高速化を図ることができるとともに、対象判別器２２において高い判別精度を維持することができる。

上述した候補判別器２１２の学習の詳細は特許文献２に開示されている。具体的には、各弱判別器ＣＦ_１〜ＣＦ_Ｍに対し学習画像が入力され、各弱判別器ＣＦ_１〜ＣＦ_Ｍ毎に信頼度β_１〜β_Ｍが算出される。そして、最も低いβ_ｍｉｎである弱判別器ＣＦ_ｍｉｎが選択され、この弱判別器ＣＦ_ｍｉｎが正解した学習画像ＬＰの重み付けを低くなるように更新し、誤った学習画像ＬＰの重み付けを大きくなるように更新する。この作業を設定回数だけ繰り返すことにより候補判別器２１２の学習が行われるようになっている。

なお、図１１のように、各弱判別器ＣＦ_１〜ＣＦ_Ｍから出力された判定スコアＳ_１〜Ｓ_Ｍをそれぞれ個別に設定しきい値Ｓｒｅｆ以上であるか否かを判断するのではなく、弱判別器ＣＦ_ｍにおいて判別を行う際、弱判別器ＣＦ_ｍの上流側の弱判別器ＣＦ_１〜ＣＦ_ｍ−１での判定スコアの和Σ_ｒ=1 ^ｍβ_ｒ・ｆ_ｒが設定しきい値Ｓ１ｒｅｆ以上であるか否かにより判別を行うようにしても良い。
Σ_r=1 ^mβ_r・f_r(x)≧S1ref ・・・(6)

これにより、上流側の弱判別器による判定スコアを考慮した判定を行うことができるため、判定精度の向上を図ることができる。この場合であっても、対象判別器２２に対しサンプル画像とともにシフトサンプル画像ＳＳＰを用いて学習を行うことにより、検出精度を維持しながら判別の高速化を図ることができる。なお、式（６）に示すような判別を行う候補判別器１２（対象判別器２２）を学習する際、ある弱判別器ＣＦ_ｍの学習が終わった後、その出力を次の弱判別器ＣＦ_ｍ＋１に対する最初の弱判別器とし、弱判別器ＣＦ_ｍ＋１の学習を開始するようになっている（詳細は、Shihong LAO等、「高速全方向顔検出」、画像の認識・理解シンポジウム（ＭＩＲＵ２００４）、２００４年７月参照）。この弱判別器の学習においても、サンプル画像ＳＰとともにシフトサンプル画像ＳＳＰが用いられる。

上記実施の形態によれば、候補判別器１２が、サンプル画像ＳＰとシフトサンプル画像ＳＳＰとを用いて学習されたことにより、部分画像生成手段１１においてサブウィンドウＷを画素をとばしながら走査しても判別対象を検出することができるため、候補判別器１２が判別すべき部分画像ＰＰの数を減らして判別の高速化を図ることができるとともに、候補判別手段が誤って判別してしまった候補画像については対象判別器により正確な判別を行うため、判別精度の劣化を防止することができる。

本発明の実施の形態は、上記実施の形態に限定されない。上記実施の形態において判別対象が顔の場合について例示しているが、目、洋服や、自動車、等の全体画像に含まれる可能性のあるオブジェクトであれば何でもよい。

さらに、たとえば図７において、１つの顔サンプル画像から上下左右に所定量だけ顔を移動させたシフトサンプル画像を作成するようにしているが、さらに、各顔サンプル画像およびシフトサンプル画像につき、縦および／または横を０．７倍から１．２倍の範囲にて０．１倍単位で段階的に拡縮して得られる各サンプル画像を生成し学習に用いるようにしても良い。

なお、上記の学習手法を採用する場合において、弱判別器は、特定のペア群を構成する各ペアの所定の２点間の画素値の差分値の組合せを用いて顔の画像と顔でない画像とを判別する基準を提供するものであれば、上記のヒストグラムの形式のものに限られずいかなるものであってもよく、例えば２値データ、閾値または関数等であってもよい。また、同じヒストグラムの形式であっても、図１１の中央に示した２つのヒストグラムの差分値の分布を示すヒストグラム等を用いてもよい。

本発明の対象判別装置の好ましい実施の形態を示すブロック図 図１の部分画像生成手段においてサブウィンドウが走査される様子を示す模式図 図１の候補判別器により部分画像から特徴量が抽出される様子を示す模式図 図１の弱判別器が有するヒストグラムの一例を示すグラフ図 図１の周辺画像生成手段により周辺画像が生成される様子を示す模式図 図１の候補判別器を学習させるための判別器学習装置の一例を示すブロック図 図６の判別器学習装置におけるデータベースに記憶された学習画像の一例を示す模式図 図６の判別器学習装置の動作例を示すフローチャート 本発明の対象判別装置の別の実施の形態を示すブロック図 本発明の対象判別装置の別の実施の形態を示すブロック図 本発明の対象判別装置の候補判別器の別の実施の形態を示すフローチャート

符号の説明

１、１００、２００ 対象判別装置
１１ 部分画像生成手段
１２ 候補検出手段（候補判別器）
２０ 対象検出手段
２１ 周辺画像生成手段
２２ 対象判別器
５０ 判別器学習装置
１１０ 候補検出手段
１１１ 周辺候補画像生成手段
１２０、１３０ 候補絞込手段
１２１、１３１ 候補絞込判別器
２１２ 候補判別器
ＡＰ 周辺画像
ＣＦ_ｍ 弱判別器
ＣＰ 候補画像
ＬＰ 学習画像
ＬＳＰ 候補絞込用シフトサンプル画像
ＮＳＰ 非対象サンプル画像
Ｐ 全体画像
ＰＰ 部分画像
ＳＰ サンプル画像
ＳＳＰ シフトサンプル画像
Ｗ サブウィンドウ
ｘ_i 特徴量
β_ｍ 信頼度

Claims (7)

1. 画像が判別対象であるか否かの判別を複数の弱判別器による複数の判別結果を用いて最終的な判別を行う判別器の学習方法において、
   前記判別器が、判別対象が設定位置に配置されたサンプル画像と、判別対象が設定位置からシフトされた位置に配置されたシフトサンプル画像とを用いて学習されることを特徴とする判別器の学習方法。
2. 全体画像上に設定画素数の枠からなるサブウィンドウを複数画素間隔で走査させ部分画像を生成する部分画像生成手段と、
   該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象の可能性のある前記部分画像を候補画像として検出する候補検出手段と、
   前記候補検出手段により検出された前記候補画像の周辺の領域に前記サブウィンドウを走査させ周辺画像を生成する周辺画像生成手段と、
   該周辺画像生成手段により生成された前記周辺画像について前記判別対象であるか否かを判別する対象判別手段と
   を有し、
   前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
   該候補判別器が、前記判別対象が設定位置に配置されたサンプル画像と、前記判別対象が前記設定位置からシフトした位置に配置されたシフトサンプル画像とを用いて学習されたものであることを特徴とする対象判別装置。
3. 前記複数の弱判別器がカスケード構造を有し、上流側の前記弱判別器が前記判別対象であると判別した前記部分画像について下流側の前記弱判別器が判別を行うものであることを特徴とする請求項２記載の対象判別装置。
4. 前記候補判別器が、前記判別対象の位置を前記設定位置を中心に上下方向および左右方向にシフトさせた複数の前記シフトサンプル画像を用いて学習されたものであることを特徴とする請求項２または３記載の対象判別装置。
5. 前記候補検出手段が、前記候補判別器により判別された多数の前記候補画像をより少ない数の該候補画像に絞り込む候補絞込手段をさらに有し、
   該候補絞込手段が、
   前記候補判別器により判別された前記候補画像の周辺の領域に前記サブウィンドウを複数画素間隔で走査させ周辺候補画像を生成する周辺候補画像生成手段と、
   前記周辺候補画像生成手段により生成された前記周辺候補画像について前記判別対象であるか否かを判別し、前記判別対象であると判別した前記周辺候補画像を前記候補画像として前記対象検出手段に出力する候補絞込判別器と
   を備え、
   該候補絞込判別器が、複数の弱判別器による複数の判別結果を用いて前記周辺候補画像が前記判別対象であるか否かを判別する、前記サンプル画像と前記判別対象が前記設定位置からシフトした位置に配置された候補絞込用シフトサンプル画像とを用いて学習されたものであることを特徴とする請求項２から４のいずれか１項記載の対象判別装置。
6. 前記候補検出手段が、カスケード構造を有する複数の前記候補絞込手段を有し、
   前記候補判別器が、異なるシフト量で前記判別対象がシフトした複数の前記シフトサンプル画像を用いて学習されたものであり、
   前記候補絞込用シフトサンプル画像が、前記複数のシフトサンプル画像のうち前記判別対象が前記設定位置から最も離れている最大シフト量よりも小さいシフト量で前記判別対象が設定位置からシフトされたものであり、
   前記複数の候補絞込判別器が、異なるシフト量で前記判別対象がシフトした複数の前記候補絞込用シフトサンプル画像を用いて学習されたものであって、下流側の前記候補絞込判別器が上流側の前記候補絞込判別器よりも最大シフト量の少ない前記候補絞込用シフトサンプル画像を用いて学習されていることを特徴とする請求項５に記載の対象判別装置。
7. コンピュータを、
   全体画像上に設定画素数の枠からなるサブウィンドウを複数画素間隔で走査させ部分画像を生成する部分画像生成手段と、
   該部分画像生成手段により生成された前記部分画像が判別対象であるか否かを判別し、該判別対象の可能性のある前記部分画像を候補画像として検出する候補検出手段と、
   前記候補検出手段により検出された前記候補画像の周辺の領域に前記サブウィンドウを走査させ周辺画像を生成する周辺画像生成手段と、
   該周辺画像生成手段により生成された前記周辺画像について前記判別対象であるか否かを判別する対象判別手段として機能させるための対象判別プログラムであって、
   前記候補検出手段が、複数の弱判別器による複数の判別結果を用いて前記部分画像が前記判別対象であるか否かを判別する候補判別器を備えたものであり、
   該候補判別器が、前記判別対象が設定位置に配置されたサンプル画像と、前記判別対象が前記設定位置からシフトした位置に配置されたシフトサンプル画像とを用いて学習されたものであることを特徴とする対象判別プログラム。

Images