JP2008102593A - オブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラム - Google Patents

Abstract

【課題】学習時間、学習用サンプル画像あるいは弱仮説を記憶するためのメモリ容量を低減する。
【解決手段】画素抽出パターンが前記検出対象画像との相対的な位置関係により検出対象画像の領域外を抽出対象として含む場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出し、検出した画像特徴量に基づいて検出対象画像に含まれるオブジェクトが検出対象のオブジェクトか否かを判別する。あるいは、画素抽出パターンが前記検出対象画像との相対的な位置関係により検出対象画像の領域外を抽出対象として含む場合に、弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させ、再学習後の弱識別器の識別結果に基づいて、検出対象画像に含まれるオブジェクトが検出対象のオブジェクトか否かを判別する。
【選択図】図１４

Description

本発明は、オブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラムに係り、特に検出対象画像において人の顔画像のようなオブジェクトが回転している場合にも所望のオブジェクトが含まれているかを検出するためのオブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラムに関する。

特許文献１記載の発明では、弱仮説を生成する際に、一つの弱仮説から複数の弱仮説を生成する技術が開示されている。
特開２００５−４４３３０号公報

しかしながら、画像平面内で回転するオブジェクトである顔画像を検出する場合に、以下のような問題があった。
（１） 識別器を作成するための学習に多大の時間を要する。
（２） 回転角度に対応した多数の学習用サンプル画像（学習用顔画像）が必要になる。
（３） 顔画像は回転角度毎にパターンが異なるため、回転角度毎にサンプル画像を用意して識別器を学習して生成し、かつ、その結果をメモリに記憶する必要があり、弱仮説に関する情報を記憶する大容量のメモリが必要になる。
そこで、本発明の目的は、学習時間、学習用サンプル画像あるいは弱仮説を記憶するためのメモリ容量を低減しつつ、回転したオブジェクトを検出することが可能なオブジェクト検出装置、オブジェクト検出装置の制御方法および制御プログラムを提供することにある。

上記課題を解決するため、検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置において、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する特徴量検出部と、前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別部と、を備えたことを特徴としている。

上記構成によれば、特徴量検出部は、画素抽出パターンが検出対象画像との相対的な位置関係により検出対象画像の領域外を抽出対象として含んでしまう場合に、領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する。
これによりオブジェクト判別部は、検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別する。
したがって、オブジェクトを確実に検出できるとともに、画素抽出パターンを検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および学習用サンプル画像を記憶するためのメモリ容量を低減することが可能となる。

この場合において、前記領域外には、前記領域の境界部分と同一の画素が配置されているものとするので、容易に画素、ひいては、画像特徴量の外挿が行え、処理の高速化が図れる。
また、検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置において、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、前記検出対象画像が所定の基準配置位置にある場合に得られる前記画像特徴量に一対一に対応する弱識別器と、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させる再学習部と、前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別部と、を備えたことを特徴としている。

上記構成によれば、再学習部は、画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させる。
これによりオブジェクト判別部は、再学習後の弱識別器の識別結果に基づいて、検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別する。
したがって、オブジェクトを確実に検出できるとともに、弱識別器を検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および弱識別器を記憶するためのメモリ容量を低減することが可能となる。

これらの場合において、前記画像特徴量は、前記画像特徴量を検出する複数画素で構成される画素領域を二つの画素領域としたときの各画素領域を代表する輝度の輝度差であるようにしてもよい。
上記構成によれば、オブジェクトが人の顔画像であるような場合であっても、人種による肌の色の違いあるいは照明状況の影響を低減して、より確実にオブジェクトの回転角度を検出することができる。

また、画素領域を代表する輝度は、当該画素領域において検出される輝度を所定の手順で補正した補正輝度であるようにしてもよい。
これにより、より正確にオブジェクトを検出することができる。
さらにまた、所定の基準位置画素および対象画素を対角線上の頂点とする矩形内のすべての画素の輝度値を積分して当該対象画素に対応する積分画素値とし、前記検出対象画像を構成するすべての画素に対応する積分画素値を求めて積分画像を生成する積分画像生成部を備え、前記特徴量検出部は、前記積分画像に基づいて前記画像特徴量を検出するようにしてもよい。
上記構成によれば、単純な演算で高速に画像特徴量を検出することが可能となる。

また、前回の前記検出対象画像のリサイズを行って今回の検出対象画像を生成するリサイズ画像生成部を備えるようにしてもよい。
上記構成によれば、リサイズ処理に要するメモリ容量を必要以上に大きくすることなく、オブジェクトを検出させることができる。
さらに、前記画素抽出パターンのリサイズを行って新たな画素抽出パターンを生成するリサイズパターン生成部を備えるようにしてもよい。
上記構成によれば、リサイズ処理に要するメモリ容量を必要以上に大きくすることなく、オブジェクトを検出させることができる。
さらにまた、前記検出対象のオブジェクトは顔画像であるようにしてもよい。
上記構成によれば、単純な演算で高速に顔画像を検出することが可能となる。

また、検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置の制御方法において、前記オブジェクト検出装置は、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する特徴量検出過程と、前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別過程と、を備えたことを特徴としている。
上記構成によれば、オブジェクトを確実に検出できるとともに、画素抽出パターンを検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および学習用サンプル画像を記憶するためのメモリ容量を低減することが可能となる。

また、検出対象画像が所定の基準配置位置にある場合に得られる画像特徴量に一対一に対応する弱識別器および前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置の制御方法において、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させる再学習過程と、前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別過程と、を備えたことを特徴としている。
上記構成によれば、オブジェクトを確実に検出できるとともに、弱識別器を検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および弱識別器を記憶するためのメモリ容量を低減することが可能となる。

また、検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置をコンピュータにより制御するための制御プログラムにおいて、前記オブジェクト検出装置は、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出させ、前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別させる、ことを特徴としている。
上記構成によれば、オブジェクトを確実に検出できるとともに、画素抽出パターンを検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および学習用サンプル画像を記憶するためのメモリ容量を低減することが可能となる。

また、検出対象画像が所定の基準配置位置にある場合に得られる画像特徴量に一対一に対応する弱識別器および前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置をコンピュータにより制御するための制御プログラムにおいて、前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させ、前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別させる、ことを特徴としている。
上記構成によれば、オブジェクトを確実に検出できるとともに、弱識別器を検出対象画像との相対的な位置関係に応じた数だけ設ける必要がないので、学習時間および弱識別器を記憶するためのメモリ容量を低減することが可能となる。

次に本発明の好適な実施の形態について図面を参照して説明する。
以下の説明においては、オブジェクト画像が所望のオブジェクト画像、すなわち、当該オブジェクト画像が人の顔画像であるか否かを検出する場合について説明する。
図１は、実施形態のオブジェクト検出装置の概要構成ブロック図である。
オブジェクト検出装置１０は、パーソナルコンピュータとして構成されており、オブジェクト画像の回転角度の検出処理およびオブジェクトが所望のオブジェクトであるか否かを判別する判別処理行う検出装置本体１１と、画像入力装置としての撮像カメラ１２と、各種操作を行うためのキーボード、マウスなどの入力装置１３と、各種表示を行う液晶ディスプレイなどの表示装置１４と、印刷を行うプリンタなどの出力装置１５と、各種データを記憶するハードディスク装置などの外部記憶装置１６と、を備えている。
検出装置本体１１は、当該検出装置本体１１全体の制御を行うマイクロプロセッサユニット（ＭＰＵ）２１と、各種データを記憶するＲＯＭ２２と、ＬＡＮ、インターネットなどの外部の通信ネットワーク２３との間のインタフェース動作を行う通信インタフェース部２４と、を備えている。

［１］第１実施形態
図２は、第１実施形態のオブジェクト検出装置の機能ブロック図である。
オブジェクト検出装置１０は、オブジェクト画像を含む検出対象画像から検出したオブジェクトが所望のオブジェクトであるか否かを判別するための複数の画素（画素領域）を抽出するための画素抽出パターンを記憶する画素抽出パターン記憶部３１と、検出対象画像から画像特徴量を生成する画像特徴量生成部３３と、上記検出対象画像のリサイズを行い新たな検出対象画像を生成するリサイズ部３４と、前記画像特徴量生成部が画像特徴量の生成を高速に行うために画像特徴量の積分画像を生成する積分画像処理部３５と、画像特徴量および尤度に基づいてオブジェクトの回転角度を判別する回転角度判別部３６と、画像特徴量およびオブジェクトの回転角度に基づいて検出対象画像に含まれるオブジェクトが所望のオブジェクト（本実施形態では顔画像）であるか否かを判別するオブジェクト判別部３７と、検出のための学習あるいは再学習を行う学習部３８と、を備えている。
次に第１実施形態の動作を説明する。
本第１実施形態においては、検出対象画像の回転角度に応じて、後述する画素抽出パターンに対応する領域のうち、検出対象画像の領域外に位置する領域を判別し、当該領域については、推定した所定の画素が配置されているものとして処理を行っている。

図３は、第１実施形態の概要処理フローチャートである。
オブジェクト検出装置１０に検出対象画像５０が入力されると、検出装置本体１１は、検出対象画像に含まれるオブジェクト（この段階におけるオブジェクトは、検出対象のオブジェクトおよび非検出対象のオブジェクトの双方を含むものである）の回転角度を検出する（ステップＳ１）。
次に検出装置本体１１は、検出した回転角度に応じ、画素抽出パターンが検出対象画像との相対的な位置関係により検出対象画像の領域外を抽出対象として含んでしまう場合に、領域外には、位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する（ステップＳ２）。
そして、検出装置本体１１は、検出した画像特徴量に基づいて検出対象画像に含まれるオブジェクトが所望の検出対象のオブジェクトか否かを判別して処理を終了する（ステップＳ３）。
したがって、全ての回転状態に応じた画素抽出パターンを用意する必要がなく、記憶容量の低減、処理の簡易化並びに高速化を図ることが可能となっている。

まず具体的な説明に先立ち、オブジェクトが所望のオブジェクトであるか否かを判別するための画像特徴量を検出するための画素抽出パターンについて説明する。
図４は、画素抽出パターンの一例の説明図である。
図４（ａ）は、第１の例の画素抽出パターン４０Ａであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される長方形状（矩形形状）の画素領域を抽出し、対応する画素領域を代表する輝度値（代表輝度値）が正の値を持つように定義された第１画素抽出領域４０Ａ１と、対応する画素領域の輝度値（代表輝度値）が負の値を持つように定義された第２画素抽出領域４０Ａ２とに分けた二つの画素抽出領域を有している。
ここで、第２画素抽出領域は、さらに二つの画素抽出領域４０Ａ２１、４０Ａ２２に分けられている。

そして、図４（ａ）に示すような画素抽出パターン４０Ａを用いる場合の輝度差は以下のように表される。
第１画素抽出領域４０Ａ１に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ１とし、第２画素抽出領域４０Ａ２の二つに分けられた画素抽出領域４０Ａ２１、４０Ａ２２のうち、一方の画素抽出領域に対応する検出対象画像の画素を代表する輝度の値を輝度値をＶ２１とし、他方の画素抽出領域に対応する検出対象画像の画素を代表する輝度の値を輝度値をＶ２２とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Ｖは、
Ｖ＝Ｖ１＋Ｖ２１＋Ｖ２２
となる。

図４（ｂ）は、第２の例の画素抽出パターン４０Ｂであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される正方形状の画素領域を抽出し、当該正方形状の画素領域を対角線上で４つの正方形状に区分し、一方の対角線上の２つの正方形状の画素領域で構成され、当該画素領域を代表する輝度値（代表輝度値）が正の値を持つように定義された第１画素抽出領域４０Ｂ１と、他方の対角線上の２つの正方形状の画素領域輝度値（代表輝度値）が負の値を持つように定義された第２画素抽出領域４０Ｂ２とに分けた二つの画素抽出領域を有している。

ここで、第１画素抽出領域４０Ｂ１は、さらに二つの正方形状の画素抽出領域４０Ｂ１１、４０Ｂ１２に分けられ、第２画素抽出領域４０Ｂ２は、さらに二つの正方形状の画素抽出領域４０Ｂ２１、４０Ｂ２２に分けられている。
そして、図４（ｂ）に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第１画素抽出領域４０Ｂ１を構成する画素抽出領域４０Ｂ１１に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ１１とし、画素抽出領域４０Ｂ１２に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ１２とし、第２画素抽出領域４０Ｂ２を構成する画素抽出領域４０Ｂ２１に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ２１とし、画素抽出領域４０Ｂ２２に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ２２とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Ｖは、
Ｖ＝Ｖ１１＋Ｖ１２＋Ｖ２１＋Ｖ２２
となる。

図４（ｃ）は、第３の例の画素抽出パターン４０Ｃであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成される正方形状の画素領域を抽出し、当該正方形状の画素領域を２つの隣接する長方形状（矩形形状）に区分し、長方形状の画素領域を代表する輝度値（代表輝度値）が正の値を持つように定義された第１画素抽出領域４０Ｃ１と、長方形状の画素領域輝度値（代表輝度値）が負の値を持つように定義された第２画素抽出領域４０Ｃ２とに分けた二つの画素抽出領域を有している。
そして、図４（ｃ）に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第１画素抽出領域４０Ｃ１に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ１とし、第２画素抽出領域４０Ｃ２に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ２とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Ｖは、
Ｖ＝Ｖ１＋Ｖ２
となる。

図４（ｄ）は、第４の例の画素抽出パターン４０Ｄであり、検出対象画像から画像特徴量としての輝度差を検出する複数画素で構成されるそれぞれ長方形状の二つの画素領域を抽出し、長方形状の画素領域を代表する輝度値（代表輝度値）が正の値を持つように定義された第１画素抽出領域４０Ｄ１と、長方形状の画素領域輝度値（代表輝度値）が負の値を持つように定義された第２画素抽出領域４０Ｄ２とに分けた二つの画素抽出領域を有している。
そして、図４（ｄ）に示すような画素抽出パターンを用いる場合の輝度差は以下のように表される。
第１画素抽出領域４０Ｄ１に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ１とし、第２画素抽出領域４０Ｄ２に対応する検出対象画像の画素を代表する輝度の値を輝度値Ｖ２とした場合、対応する画素領域全体の画像特徴量、すなわち、輝度差Ｖは、
Ｖ＝Ｖ１＋Ｖ２
となる。
実際に輝度差Ｖを用いる場合には、所定のしきい値輝度差を用意して判別を行ったり、最大輝度差および最小輝度差をサンプル画像から推定し、輝度差の量子化（例えば、３２段階あるいは６４段階）を行う。

以上の説明では、輝度値を検出値そのままとしていたが、補正値を用いるようにしてもよい。例えば、補正輝度値は次式により表される。
補正輝度値＝（オブジェクト画像の輝度値−オブジェクト画像の輝度平均値）
／（オブジェクト画像の輝度の標準偏差）／補正値
ここで、補正値は、定数であり、例えば、２．０が用いられる。

ここで、積分画像処理部３５の動作について説明する。
図５は、検出対象画像に対応する輝度値積分画像生成の概要説明図である。
図５は、検出対象画像が６４０×４８０画素の場合である。
積分画像処理部３５は、検出対象画像を構成する基準位置画素ＰＸ０，０および対象画素ＰＸｍ，ｎを対角線上の頂点とする矩形ＲＡ内のすべての画素ＰＸ０，０〜ＰＸｍ，ｎの画像特徴量である輝度値を積分して当該対象画素ＰＸｍ，ｎに対応する輝度積分値としている。

図６は、積分画像生成の具体的説明のための説明図である。
具体的には、図６に示すように、対象画素ＰＸｍ，ｎ＝ＰＸ３，３である場合には、基準位置画素ＰＸ０，０および対象画素ＰＸ３，３を対角線上の頂点とする矩形ＲＡ１内のすべての画素ＰＸ０，０〜ＰＸ３，３の値を積分（実際には、単純加算）して当該対象画素ＰＸ３，３に対応する輝度積分値ΣＰＸ３，３が算出される。

図７は、生成した積分画像の説明図である。
図７においては、理解の容易のため、輝度が０〜３の値を採る場合について説明しているが、実際には、より多段階（例えば、２５６段階）の輝度値が用いられる。
具体的には、図７の場合、輝度積分値は次式により算出される。
ΣＰＸ３，３＝０＋０＋０＋０＋０＋０＋１＋１＋０＋１＋２＋３＋０＋１＋３＋１
＝１３

同様にして、基準位置画素ＰＸ０，０および対象画素ＰＸ３，３を対角線上の頂点とする矩形ＲＡ１内の輝度積分値に対応する積分画像は、図６に示すようなものとなる。
図８は、画像抽出パターンを構成する画素抽出領域の設定状態の説明図である。
例えば、図４（ａ）に示した画素抽出領域４０Ａ１、４０Ａ２１、４０Ａ２２のサイズをそれぞれ２０×２０画素とした場合、初期状態（第１回目）において、画素抽出領域４０Ａ２１は、開始画素ＰＸ０，０および終了画素ＰＸ１９，１９を対角線上の頂点とする矩形の領域に相当するものとなっている。

そして、検出対象画像の画素数を６４０×４８０画素とし、終了画素をＰＸＰ，Ｑ（０≦Ｐ≦６３９、０≦Ｑ≦４７９）とした場合には、Ｐ＝５８０（＝６３９−５９）となるまでは、Ｑの値は同じにして、画素抽出領域４０Ａ１、４０Ａ２１、４０Ａ２２を設定する。その後、Ｐ＝６２０となった時点で、Ｑの値に１を加算し、Ｐの値を再び０として次の画素抽出領域４０Ａ１、４０Ａ２１、４０Ａ２２を設定する。
同様にして、Ｐ＝５８０（＝６３９−５９）、Ｑ＝４６０（＝４７９−１９）となるまで、画素抽出領域４０Ａ１、４０Ａ２１、４０Ａ２２の設定を繰り返すこととなる。
ここで輝度積分値の算出の原理について説明する。
画素ＰＸｘ，ｙにおける輝度（画像特徴量）をＣとした場合の、積分画像ＩＩ（ＰＸｘ，ｙ）は、次式により算出される。

積分画像処理部により生成された積分画像を用いれば、各画素抽出領域４０Ａ１、４０Ａ２１、４０Ａ２２毎の輝度積分値（各画素の輝度の和）を迅速に求めることができる。
いずれかの画素抽出領域の範囲を（ｘ０≦ｘ≦ｘ１、ｙ０≦ｙ≦ｙ１）とすれば、輝度積分値は、次式により表される。

この場合において、積分画像を生成する処理は、元の検出対象画像またはリサイズ後の検出対象画像に対して高々一回行えばよいので、領域内の画素数によらず高速な演算が可能になるのである。

次により具体的な輝度積分値の算出について説明する。
図９は、輝度積分値の算出の説明図である。
輝度積分値の算出において、検出装置本体１１は、画素抽出領域４０Ａ２１に対応する画素の輝度積分値を算出する場合には、矩形ＲＡ１１〜ＲＡ１４の各矩形毎の積分値を用いて行う。
具体的には、上述したように画素抽出領域４０Ａ２１の大きさを２０×２０画素とすると、画素抽出領域４０Ａ２１の開始画素がＰＸＳ，Ｔである場合には、終了画素がＰＸＳ＋１９，Ｔ＋１９となる。
このとき、矩形ＲＡ１１は、開始画素ＰＸ０，０および終了画素ＰＸＳ−１，Ｔ−１を対角線上の頂点とする矩形となる。したがって、矩形ＲＡ１１の積分値ΣＲＡ１１は、ΣＰＸＳ−１，Ｔ−１となる。

同様に矩形ＲＡ１２は、開始画素ＰＸ０，０および終了画素ＰＸＳ＋１９，Ｔ−１を対角線上の頂点とする矩形となる。したがって、矩形ＲＡ１２の積分値ΣＲＡ１２は、ΣＰＸＳ＋１９，Ｔ−１となる。
また、矩形ＲＡ１３は、開始画素ＰＸ０，０および終了画素ＰＸＳ−１，Ｔ＋１９を対角線上の頂点とする矩形となる。したがって、矩形ＲＡ１３の積分値ΣＲＡ１３は、ΣＰＸＳ−１，Ｔ＋１９となる。
また、矩形ＲＡ１４は、開始画素ＰＸ０，０および終了画素ＰＸＳ＋１９，Ｔ＋１９を対角線上の頂点とする矩形となる。したがって、矩形ＲＡ１３の積分値ΣＲＡ１４は、ΣＰＸ＋１９，Ｔ＋１９となる。

これらの結果、画素抽出領域４０Ａ２１に対応する画素の輝度積分値ΣＤＷは、次式により表される。
ΣＤＷ＝ΣＲＡ１４＋ΣＲＡ１１−ΣＲＡ１２−ΣＲＡ１３
このようにして得られた輝度積分値に基づいて、画素抽出パターン中の輝度分布を算出し、算出した輝度分布が所定の輝度分布となっているかを判別することにより、オブジェクトであるか否かを判別することができるのである。

図１０は、検出対象画像（あるいはリサイズ検出対象画像）に画像抽出パターンを適用した場合の説明図である。
図１０（ａ）は、画素抽出パターン４０Ａを適用した場合、図１０（ｂ）、（ｃ）は、画素抽出パターン４０Ｃを適用した場合のものである。
図１０に示した場合は、検出対象画像（あるいはリサイズ検出対象画像）５０内でオブジェクトである顔画像が回転角度＝０°（基準配置位置）の場合であるが、実際には、検出対象画像５０内でオブジェクトが所定の回転角度となっているのが一般的である。そこで、本実施形態では、実際の回転角度を検出し、その回転角度に合わせてオブジェクトの検出処理を行っている。

図１１は、オブジェクト検出処理の処理フローチャートである。
図１２は、回転させた画素抽出パターンと検出対象画像との相対的位置関係の一例を説明する図である。
検出装置本体１１は、公知の回転角度検出処理において検出した回転角度に応じて画素抽出パターン４０を回転させる（ステップＳ２１）。
この結果、検出対象画像５０に対して画素抽出パターン４０は正しい位置となるが、その一部が検出対象画像５０の領域からはみ出して、外れる可能性が生じる。
具体的には、図１２に示すような場合、画素抽出パターン４０が検出対象画像の下部で検出対象画像５０の領域からはみ出して外れてしまっている。
この場合に、どの程度の領域が画素抽出パターンから外れているかは、画素抽出パターンの大きさ、検出対象画像の回転角度および検出対象画像の大きさ（サイズ）から、容易に幾何学的演算により算出することが可能である。

そこで画素抽出パターンと検出対象画像領域とが重なっている領域内の輝度については通常通り算出するととともに、検出対象画像領域と重なっていない領域外については、属する画素が全て同一の輝度を有すると見倣して処理を行う（ステップＳ２２）。
この場合において、当該輝度としては、隣接する検出対象画像領域の境界部分の画素の輝度値を用いたり、隣接する検出対象画像領域の境界部分の画素の輝度値の平均値を用いる。

そして、検出装置本体１１は、検出対象画像の検出窓内の画像が所望のオブジェクト画像（本実施形態では、顔画像）である確信度（信頼性）が高いか否かを判別する（ステップＳ２３）。
具体的には、輝度が一定範囲の画素の個数が閾値以上であるか否かなどに基づいて確信度の高さを判別することとなる。

この場合において、確信度を判別する際に用いる閾値、範囲等については、多数のオブジェクト画像から構成されるサンプル画像から決定するようにすれば良い。
より、具体的には、検出装置本体１１は、ＡｄａＢｏｏｓｔに代表される機械学習的な手法を用いてオブジェクト画像であるか否かを判別している。すなわち、本実施形態の検出装置本体１１は、予め多数のオブジェクト画像、非オブジェクト画像をサンプル画像として用意し、それらを上述した機械的な学習方法にしたがって学習することにより、オブジェクト判別部３７として機能するように構成されており、この結果、より確実にオブジェクト画像か否かの判定が可能になっている。
以上の説明のように、本第１実施形態によれば、回転したオブジェクトを検出する場合に、画素抽出パターンを回転していない基本オブジェクトに対応するものを用いることができるので、画素抽出パターンの記憶容量を低減することができ、また、処理の簡素化、高速化を図ることができる。

［２］第２実施形態
次に第２実施形態について説明する。
以上の第１実施形態の説明においては、画素抽出パターンがサンプル画像からはみ出して外れている場合には、当該はみ出して外れている部分については、画素抽出パターンの第１画素領域の輝度値および第２画素領域の輝度値がそれぞれの領域で一定であるものとして推定して処理するようにしていたが、本第２実施形態は、はみ出している部分については、弱識別器の学習において採用せず、はみ出していない部分について再学習を行う実施形態である。

まず、Ｔ個の弱識別器ｈｔのプールを作成する。
ここで、弱識別器ｈｔは、画素抽出パターンに対応している。
弱識別器ｈｔとしては種々考えられるが、本実施形態においては、以下の弱識別器ｈｔを用いるものとする。
ｈｔ＝ｓｉｇｎ（（Ｖ１−ＴＨｔ）＊Ｐｔ

図１３は、画像特徴量のしきい値とオブジェクトとの関係説明図である。
ここで、Ｖ１は、画素抽出パターンであり、ＴＨｔは、画像特徴量のしきい値であり、本実施形態では、図１６に示すように、画像特徴量がこのしきい値ＴＨｔ以下であれば、対応するオブジェクトが所望のオブジェクト（本実施形態では、顔画像）であるといえる。
また、Ｐｔはパリティであり、その値は１または−１である。
より詳細には、弱識別器ｈｔは、画像特徴量がしきい値ＴＨｔ以上であれば、オブジェクト画像であり、画像特徴量がしきい値ＴＨｔ未満であれば、非オブジェクト画像であると判定することとなる。あるいは、画像特徴量がしきい値ＴＨｔ以下であれば、オブジェクト画像であり、画像特徴量がしきい値ＴＨｔより大きければ、非オブジェクト画像であると判定することとなる。

なお、しきい値ＴＨｔおよびパリティＰｔの値については、予め収集した検出対象のオブジェクト画像のサンプル画像により決定される。
ｔ回目の学習におけるサンプル画像ｉの重みをＤｔ（ｉ）とし、サンプル画像数をＮとすれば、重みＤｔ（ｉ）の初期値は、
Ｄｔ（ｉ）＝１／Ｎ
となる。
次に選択した弱識別器を画素抽出パターン記憶部に記憶する。
つづいて弱識別器の学習を行わせて、弱仮説を生成する。そしてｉを弱識別器で誤ったサンプル画像とした場合に
誤り率εｔ＝ΣＤｔ（ｉ）
を算出して、最も誤り率εｔの低い弱識別器ｈｔを選択する。
つづいて誤り率εｔを用いて、以下の式のように、サンプル画像ｉの重みＤｔ（ｉ）を更新する。

ここで、Ｚｔは規格化因子であり、次式により表されるものとする。

以上の結果より、回転（変形）前のオブジェクト画像である基本オブジェクト画像に対する最終的な仮説Ｈ（ｘ）は次式の通りとなる。

次に基本オブジェクト画像を回転（変形）した変形オブジェクト画像（＝画像平面内回転オブジェクト画像）に対する弱仮説を生成すべく、再学習を行わせることとなる。
まず、画素抽出パターン記憶部に記憶されている複数の弱識別器ｈｔからいずれかの弱識別器ｈｔを選択する。
つづいて選択した弱識別器ｈｔが、図１２に示したように、画素抽出パターン４０がサンプル画像からはみ出している場合には、はみ出している部分の輝度の算出を行わないようにする。
すなわち、サンプル画像において、はみ出す部分の画素に関して算出を行わない。

ここで、再学習時のしきい値ＴＨ‘ｔおよびパリティＰ’ｔの値については、予め収集した検出対象のオブジェクト画像のサンプル画像により決定される。
ｔ回目の学習におけるサンプル画像ｉの重みをＤｔ（ｉ）とし、サンプル画像数をＮとすれば、重みＤｔ（ｉ）の初期値は、
Ｄｔ（ｉ）＝１／Ｎ
となる。
次に選択した弱識別器を画素抽出パターン記憶部に記憶する。
つづいて弱識別器の学習を行わせて、弱仮説を生成する。そしてｉを弱識別器で誤ったサンプル画像とした場合に、
誤り率εｔ＝ΣＤｔ（ｉ）
を算出して、最も誤り率εｔの低い弱識別器ｈｔを選択する。
つづいて誤り率εｔを用いて、以下の式のように、サンプル画像ｉの重みＤｔ（ｉ）を更新する。

ここで、Ｚｔは規格化因子であり、次式により表されるものとする。

以上の結果より、回転前（変形前）のオブジェクト画像である基本オブジェクト画像に対する最終的な仮説Ｈ‘（ｘ）は次式の通りとなる。

図１４は、第２実施形態の処理フローチャートである。
まず検出装置本体１１は、回転角度０゜に相当する基本オブジェクトに対応した弱識別器で検出対象画像に含まれているオブジェクトの判定処理を行う（ステップＳ３１）。
次に当該判定処理対象のオブジェクトが基本オブジェクトであるか否かを判別する（ステップＳ３２）。
ステップＳ３２の判別において、基本オブジェクトである場合には（ステップＳ３２；Ｙｅｓ）、所望のオブジェクトであると判定して処理を終了する（ステップＳ３７）。
ステップＳ３２の判別において、基本オブジェクトではない場合には（ステップＳ３２；Ｎｏ）、所定の回転角度（≠０゜）に相当する回転オブジェクトに対応した弱識別器で検出対象画像に含まれているオブジェクトの判定処理を行う（ステップＳ３３）。
次に当該判定処理対象のオブジェクトが選択した弱識別器に対応する回転オブジェクトであるか否かを判別する（ステップＳ３４）。
ステップＳ３４の判別において、選択した弱識別器に対応する回転オブジェクトである場合には（ステップＳ３４；Ｙｅｓ）、所望のオブジェクトであると判定して処理を終了する（ステップＳ３７）。

ステップＳ３４の判別において、選択した弱識別器に対応する回転オブジェクトではない場合には（ステップＳ３４；Ｎｏ）、回転オブジェクトに対応した全ての弱識別器で判定が終了したか否かを判別する（ステップＳ３５）。
ステップＳ３５の判別において、未だ回転オブジェクトに対応した全ての弱識別器で判定を終了していない場合には（ステップＳ３５；Ｎｏ）、再びステップＳ３３に移行し、未選択の他の弱識別器を選択して以下同様の処理を行う。
ステップＳ３５の判別において、回転オブジェクトに対応した全ての弱識別器で判定が終了した場合には（ステップＳ３５；Ｙｅｓ）、検出対象画像に含まれているオブジェクトは所望のオブジェクトではないと判定して処理を終了する（ステップＳ３６）。

以上の説明のように、本第２実施形態によれば、画素抽出パターンが検出対象画像の一部がサンプル画像の領域からはみ出し外れてしまっている場合であっても、第１実施形態とは異なり当該外れた部分の輝度の推定が不要となるため、検出結果の精度が高い弱識別器を得ることができる。
また、基本オブジェクトおよび回転した（変形した）オブジェクトについて共通の基本オブジェクトに弱識別器を用いることができるので、学習時間を大幅に削減することができる。

以上の説明のように、各実施形態によれば、基本オブジェクトに関する学習のみを行えば良く、学習時間を大幅に削減することができる。
また学習に用いるサンプル画像としては、基本オブジェクト（顔画像の場合には、例えば、正立した顔画像）のみを用いればよいので、少数の学習用サンプル画像（学習用顔画像）で効率よく、学習が行え、学習時間の短縮が可能となる。
以上の説明においては、画像特徴量である輝度積分値を生成する際に、画像検出パターンの大きさを一定にし、検出対象画像のサイズをリサイズする構成を採っていたが、検出対象画像のリサイズは行わず、画像検出パターンの大きさを検出対象画像の大きさを超えない範囲でリサイズ（拡大または縮小）する構成を採ることも可能である。

実施形態のオブジェクト検出装置の概要構成ブロック図である。 実施形態のオブジェクト検出装置の機能ブロック図である。 第１実施形態の概要処理フローチャートである。 画素抽出パターンの一例の説明図である。 検出対象画像に対応する輝度値積分画像生成の概要説明図である。 積分画像生成の具体的説明のための説明図である。 生成した積分画像の説明図である。 画像抽出パターンを構成する画素抽出領域の設定状態の説明図である。 輝度積分値の算出の説明図である。 検出対象画像（あるいはリサイズ検出対象画像）に画像抽出パターンを適用した場合の説明図である。 オブジェクト検出処理の処理フローチャートである。 回転させた画素抽出パターンと検出対象画像との想定的位置関係の一例を説明する図である。 画像特徴量のしきい値とオブジェクトとの関係説明図である。 第２実施形態のオブジェクト検出装置の機能ブロック図である。 第２実施形態のオブジェクト検出処理フローチャートである。

符号の説明

１０…オブジェクト検出装置、１１…検出装置本体、１２…撮像カメラ、１３…入力装置、１４…表示装置、１５…出力装置、１６…外部記憶装置、２１…ＭＰＵ、２２…ＲＯＭ、２３…通信ネットワーク、２４…通信インタフェース部、３１…画素抽出パターン記憶部、３３…画像特徴量生成部、３４…リサイズ部、３５…積分画像処理部、３６…回転角度判別部、３７…オブジェクト判別部、３８…学習部、４０…画素抽出パターン、４０Ａ…画素抽出パターン、４０Ｂ…画素抽出パターン、４０Ｃ…画素抽出パターン、４０Ｄ…画素抽出パターン、５０…検出対象画像、４０Ａ１…第１画素抽出領域、４０Ａ２…第２画素抽出領域、４０Ｂ１…第１画素抽出領域、４０Ｂ２…第２画素抽出領域、４０Ｃ１…第１画素抽出領域、４０Ｃ２…第２画素抽出領域、４０Ｄ１…第１画素抽出領域、４０Ｄ２…第２画素抽出領域、４０Ａ２１…画素抽出領域、４０Ｂ１１…画素抽出領域、４０Ｂ１２…画素抽出領域、４０Ｂ２１…画素抽出領域、４０Ｂ２２…画素抽出領域。

Claims (13)

1. 検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置において、
   前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、
   前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する特徴量検出部と、
   前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別部と、
   を備えたことを特徴とするオブジェクト検出装置。
2. 請求項１記載のオブジェクト検出装置において、
   前記領域外には、前記領域の境界部分と同一の画素が配置されているものとすることを特徴とするオブジェクト検出装置。
3. 検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置において、
   前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンと、
   前記検出対象画像が所定の基準配置位置にある場合に得られる前記画像特徴量に一対一に対応する弱識別器と、
   前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させる再学習部と、
   前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別部と、
   を備えたことを特徴とするオブジェクト検出装置。
4. 請求項１ないし請求項３記載のオブジェクト検出装置において、
   前記画像特徴量は、前記画像特徴量を検出する複数画素で構成される画素領域を二つの画素領域としたときの各画素領域を代表する輝度の輝度差であることを特徴とするオブジェクト検出装置。
5. 請求項４記載のオブジェクト検出装置において、
   前記画素領域を代表する輝度は、当該画素領域において検出される輝度を所定の手順で補正した補正輝度であることを特徴とするオブジェクト検出装置。
6. 請求項４または請求項５記載のオブジェクト検出装置において、
   所定の基準位置画素および対象画素を対角線上の頂点とする矩形内のすべての画素の輝度値を積分して当該対象画素に対応する積分画素値とし、前記検出対象画像を構成するすべての画素に対応する積分画素値を求めて積分画像を生成する積分画像生成部を備え、
   前記特徴量検出部は、前記積分画像に基づいて前記画像特徴量を検出することを特徴とするオブジェクト検出装置。
7. 請求項１ないし請求項６のいずれかに記載のオブジェクト検出装置において、
   前回の前記検出対象画像のリサイズを行って今回の検出対象画像を生成するリサイズ画像生成部を備えたことを特徴とするオブジェクト検出装置。
8. 請求項１ないし請求項６のいずれかに記載のオブジェクト検出装置において、
   前記画素抽出パターンのリサイズを行って新たな画素抽出パターンを生成するリサイズパターン生成部を備えたことを特徴とするオブジェクト検出装置。
9. 請求項１ないし請求項８のいずれかに記載のオブジェクト検出装置において、
   前記検出対象のオブジェクトは顔画像であることを特徴とするオブジェクト検出装置。
10. 検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置の制御方法において、
    前記オブジェクト検出装置は、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、
    前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出する特徴量検出過程と、
    前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別過程と、
    を備えたことを特徴とするオブジェクト検出装置の制御方法。
11. 検出対象画像が所定の基準配置位置にある場合に得られる画像特徴量に一対一に対応する弱識別器および前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置の制御方法において、
    前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させる再学習過程と、
    前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別するオブジェクト判別過程と、
    を備えたことを特徴とするオブジェクト検出装置の制御方法。
12. 検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置をコンピュータにより制御するための制御プログラムにおいて、
    前記オブジェクト検出装置は、前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、
    前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記領域外には、前記位置関係に基づいて設定した画素が配置されているものとして、画像特徴量を検出させ、
    前記検出した画像特徴量に基づいて前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別させる、
    ことを特徴とする制御プログラム。
13. 検出対象画像が所定の基準配置位置にある場合に得られる画像特徴量に一対一に対応する弱識別器および前記検出対象画像を構成する画素から画像特徴量を検出する複数の画素を抽出するための複数種類の画素抽出パターンを有し、前記検出対象画像に含まれ、かつ、画像平面内の基準配置位置に対して回転したオブジェクトが検出対象のオブジェクトであるか否か検出するオブジェクト検出装置をコンピュータにより制御するための制御プログラムにおいて、
    前記画素抽出パターンが前記検出対象画像との相対的な位置関係により前記検出対象画像の領域外を抽出対象として含んでしまう場合に、前記弱識別器を当該検出対象画像の領域内に含まれる複数の画素のみで再学習させ、
    前記再学習後の弱識別器の識別結果に基づいて、前記検出対象画像に含まれるオブジェクトが前記検出対象のオブジェクトか否かを判別させる、
    を備えたことを特徴とする制御プログラム。

Images