JP2007287024A

JP2007287024A - 領域検出装置

Info

Publication number: JP2007287024A
Application number: JP2006115661A
Authority: JP
Inventors: Taro Watanabe; 太郎渡邉
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-04-19
Filing date: 2006-04-19
Publication date: 2007-11-01

Abstract

【課題】ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供する。
【解決手段】画像中の特定領域が当該画像のどの位置にあるかを自動検出する領域検出装置において、前記画像をデジタル化して得られたデジタル画像を所定の縮小率で縮小する画像縮小部(12)と、縮小されたデジタル画像を固定サイズのウインドウを用いて走査する画像走査部(13)と、前記ウインドウ内の画像に対してアダマール変換係数を計算することによって特徴量を求める特徴量計算部(15)と、求められた特徴量に基づいて前記ウインドウ内の画像が前記特定領域の候補かどうかを複数の弱分類器によって判定する判断部(16)と、判定手段(16)によって特定領域の候補であると判定された近傍にある特定領域候補から１つの特定領域を決定する領域結合部(18)とを備える。
【選択図】図１

Description

本発明は、画像認識技術に関し、画像中から顔領域等の特定領域を検出する領域検出装置に関する。

パターン認識技術を用いて撮像画像中から顔の位置、大きさを検出して人物を識別し、セキュリティ等に反映させるものが知られている。

画像中から顔領域を自動的に検出するには、撮像画像をデジタル化して記憶し、このデジタル画像を繰り返し縮小し、固定サイズのウインドウ用いて繰り返し走査して、ウインドウ内のいくつかの位置における特徴量を計算する。そして、この特徴量に基づいて顔領域の候補を選択する処理を実行するようにしている。

この場合、特徴量をどのようして求めるかが処理のポイントとなる。従来では、特徴量としては、ウインドウ内の幾つかの位置における、例えば、図１０に示すような簡単な矩形フィルタの出力を用いていた。
Paul Viola,"Robust Real-time Object Detection",(Tech.Rep.No.CRL 2001/01,Cambridge Research Laboratory,2001)

このように、従来の顔検出方法では、計算時間を短くするために、特徴量として、簡単な構成の矩形フィルタの出力値を用いていた。そのために、顔の検出精度を上げようとすると、多数の特徴量を用いる必要があり、ハードウェアのリソースと処理時間が長くなるという課題があった。

本発明は上記事情に鑑み、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現でき、また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供することを目的としている。

上記の目的を達成するために本発明は、画像中の特定領域が該画像のどの位置にあるかを検出する領域検出装置において、前記画像をデジタル化して得られたデジタル画像を所定の縮小率で繰り返し縮小する画像縮小手段と、前記縮小されたデジタル画像毎に所定のサイズのウインドウを用いて走査する画像走査手段と、前記走査するウインドウ内の各画像に対して、アダマール変換係数を適用して特徴量を計算する特徴量計算手段と、前記計算された特徴量に基づき、前記ウインドウ内の画像が前記特定領域の候補であるか否かを複数の弱分類器によって判定する判定手段と、前記判定手段により前記特定領域の候補であると判定された画像の中から１つの特定領域を選択する特定領域決定手段とを備えたことを特徴としている。

本発明によれば、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現できる。また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮した領域検出装置を提供することが可能となる。

図１は本発明に係る領域検出装置の一実施形態の構成を示すブロック図である。

この領域検出装置は、ビデオカメラ部１０からの画像データを取り込み画像データ中にある顔領域の位置を自動検出するものであり、デジタル画像記録部１１と、画像縮小部１２と、画像走査部３と、積分変換部１４と、特徴量計算部１５と、判断部１６と、顔領域候補記録部１７と、領域結合部１８とを備えている。

画像縮小部１２は、デジタル画像記録部１１に記録されている画像を適当な縮小率（例えば、１／１．２５）で縮小し、再度、デジタル画像記録部１１に記録すると共に画像走査部１３に出力する。

画像走査部１３は、画像中に所定の大きさのウインドウを設定する。例えば、２４×２４画素サイズのものが利用される。この場合、画像の原点を左下に取り、また、ウインドウを左下の頂点の座標で表す。

積分変換部１４は、ウインドウ内の画像を積分画像に変換するものであり、画像を構成する画素の値が原点とその画素を頂点とする矩形領域内の画素の輝度の総和を求めて積分画像を構成する。

特徴量計算部１５は、ウインドウ内の幾つかの位置における特徴量を２次元アダマール変換係数を用いて計算する。

判断部１６は、特徴量計算部１５で求められた特徴量に基づき、各ウインドウが顔領域であるかどうかを判断する。

顔領域候補記録部１７は、判断部１６で顔領域であると判断されたウインドウのデータを顔領域候補データとして記録する。

領域結合部１８は、１つの顔領域に対して複数の顔領域候補が検出された場合、複数の候補から１つの顔領域に絞る処理を実行して顔領域画像を出力する。

＜画像縮小部１２および画像走査部１３の処理＞
画像縮小部１２では、デジタル画像記録部１１に記録されている画像を４／５（縮小率＝１／１．２５）に縮小する。例えば、６４０×４８０の画素数の画像であれば、５１２×３８４の画素数を持つ画像に縮小して、処理対象となる画素数を減らしている。

このように縮小された画像に対して画像走査部１３では、画像中に所定の大きさ、例えば２４×２４の画素サイズのウインドウＷを設定して順次所定画素ずつずらして切り出す処理を実行する。この場合、原画（入力画像）の原点を左下に取り、また、ウインドウＷを左下の頂点の座標で表す。ウインドウＷの走査は、先ず、Ｗ（０，０）からスタートして、次に、Ｗ（ｄｘ，０），Ｗ（ｄｘ×２，０），…、画像の右端に達したとき、Ｗ（０，ｄｙ），Ｗ（ｄｘ，ｄｙ），…の順に走査する。ここで、ｄｘ，ｄｙは適当な正の整数、例えば、ｄｘ＝ｄｙ＝２（画素）である。

１枚の縮小画像の処理が全て終了すると、次に、５１２×３８４の画素数を持つ画像をさらに４／５縮小して同一の処理を繰り返すことになる。

＜積分変換部１４の処理＞
上述のように走査された画像に対し、積分変換部１４では、ウインドウＷ内の画像を画素の値が、原点とその画素を頂点とする矩形領域内の画素の輝度の総和とする積分画像へ変換する。図２は入力画像と積分画像との関係を示している。図中の入力画像におけるメッシュ部分（座標（ｘ_０，ｙ_０）で示す）の画素の輝度値の総和が積分画像上ではＳ_ｘ，ｙで示される。例えば、ウインドウサイズをＷ_ｘ，Ｗ_ｙとすると、変換後のサイズは、Ｗ_ｘ＋１，Ｗ_ｙ＋１となり、積分画像の座標（ｘ，ｙ）の値Ｓ_ｘ，ｙは（１）式で表される。ここで、Ｉ_ｉ，_ｊはウインドウ内の座標（ｉ，ｊ）の輝度値である。またＳ_０，ｙ，Ｓ_ｘ，０の値は零とする。

＜特徴量計算部１５の処理＞
特徴量計算部１５では、ウインドウＷ内の幾つかの位置における特徴量を計算する。特徴量は、“４×４”の２次元アダマール変換係数を用いている。図３にその係数（１５個）を示す。この場合、白地部分は＋１、黒地部分は−１を示す。例えば、ブロックサイズが“４”のアダマール変換係数Ａ０４は、図４（Ａ）に示すような行列となる。また、ブロックサイズが“８”のアダマール変換係数Ａ１１は、同図（Ｂ）に示すような行列となる。

特徴量は、アダマール変換係数とブロックサイズとブロックの位置とから規定される。例えば、ブロックサイズを８×８画素、ブロック位置を（ｘ_０，ｙ_０）、アダマール変換係数をＡ０４とすると、次の（２）式で表される。

この計算のとき、積分画像を用いると、各矩形領域の値は矩形領域の各頂点に対応する積分画像の値の加減演算のみで求めることができるので、計算量は矩形領域の大きさに対して一定となり、矩形領域の数に比例する。例えば、８×８の場合、６４回の計算が必要であるが、積分画像を使うことにより計算量を減らすことができる。

ブロックサイズは、例えば、４×４、８×８、１６×１６の３種類とする。計算する特徴量の総数をＮとする。ｎ（=1,2,…,N）番目の特徴量の重み係数Ｗ_ｎ、アダマール変換係数をａ_ｎ、ブロックサイズをｂ_ｎ、ブロック座標を（ｘ_ｎ，ｙ_ｎ）とすると、予め図５に示すような表を作成しておき、この表に基づいて特徴量を計算する。図５において、特徴量には１からＮまでの番号が付され、行単位で１つの特徴量が示され、各列に特徴量を規定するのに必要な属性情報が示されている。例えば、番号１の特徴量は、重み係数（Ｗ_ｎ）＝０．８０、アダマール変換係数（ａ_ｎ）＝０、ブロックサイズ（ｂ_ｎ）＝８、ブロック座標（ｘ_ｎ，ｙ_ｎ）＝（７，１３）であることを示している。重み係数（Ｗ_ｎ）は予め学習によって求められた係数であり、学習の都度、変更される係数である。

なお、特徴量の選定は、予め顔画像と非顔画像とを多数用意しておき、それらの画像を用いてブースティング(boosting)により行う。このとき、選定するＮ個の特徴量をＭ個のグループ、例えば１６個のグループに分割する。ここで、０＜Ｎ_１＜Ｎ_２＜…＜Ｎ_Ｍ−１＜Ｎ_Ｍ＝Ｎである。

先ず、０からＮ_１−１までの特徴量を領域数の少ないアダマール変換係数Ａ０１，Ａ０２で構成する。次のグループも同様に係数Ａ０１から領域数が多いアダマール変換係数を加えたもので構成する。最後のグループはＡ０１からＡ１４までの全ての係数を用いて構成する。

＜判断部１６の処理＞
判断部１６では、各ウインドウが顔領域であるかどうかを判断する。

この場合、特徴量と図６に示すような判別テーブルとから弱分類器を構成する。この判別テーブルは、行（横方向）が１つの特徴量に対応しており、特徴量の番号（行番号）１〜Ｎに対応させて特徴量の判別結果が格納されている。特徴量の値は、０から２５５までの整数に予め正規化され、かつ量子化された値である。また、判別結果は、顔のとき“１”、非顔のとき“０”を出力する。この弱分類器の出力ｇと重み係数Ｗ_ｎとから次の（３）式によって顔らしさを表す評価値Ｒ_ｉ（i=0,2,…,M）を求める。

但し、弱分類器の出力が“１”のとき、ｇ＝１、出力が“０”のときｇ＝−１である。

この判断部１６の処理手順を図７のフローチャートを参照して説明する。

同図に示すように、評価値Ｒ_０が予め設定した閾値Ｔ_０より小さい場合、すなわち、Ｒ_０≦Ｔ_０である（ステップＳ１０NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。一方、Ｒ_０＞Ｔ_０である（ステップＳ１１YES）ときは、次に、評価値Ｒ_１を求めて閾値Ｔ_１と比較し、Ｒ_１≦Ｔ_１である（ステップＳ１２NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。

評価値Ｒ_２以降も同様に処理して、最終的に評価値Ｒ_Ｍ求めてＲ_Ｍ≦Ｔ_Ｍである（ステップＳ１０NO）ときは、顔でない（非顔））と判断する（ステップＳ１１）。一方、Ｒ_Ｍ＞Ｔ_Ｍであるときは、顔であると判定して処理を終了する（ステップＳ１４）。

こうして、“顔”と判定されたウインドウの中心座標とウインドウの縦、横のサイズと評価値Ｒ_Ｍが顔領域候補記録部１７に記録される。

＜顔結合部１８の処理＞
図８、図９は顔結合部１８の処理手順を示している。ステップＳ２１では、初期設定が実行される。すなわち、顔領域候補データをＡ_ｉ（i=0,1,…,N-1）、顔領域候補グループをＧ_ｉ（i≧0）と設定する。また、顔領域候補データＡ_０を含む顔領域候補グループをＧ_ｍと設定する。

ステップＳ２２からステップＳ２５では、顔領域候補データがどの顔領域候補グループに属するかを決めるグループ化処理が実行される。先ず、ステップＳ２２において、最初の顔領域候補データＡ_０と他の顔領域候補Ａ_ｉ（i=0,1,…,N-1）との中心間距離が求められる。求められた中心間距離が所定の閾値以下であれば、この顔領域候補Ａ_ｉを顔領域候補グループＧ_Ｍに入れる。次いで、顔領域候補Ａ_ｉ□Ｇ_ｊ（i=0,1,…,N-1、j=0,1,…,M）の中から最も小さい番号ｉを選んで（i=kとする）、顔領域候補Ａ_ｋを含む顔領域候補グループをＧ_Ｍ＋１とする。

次いで、Ｍを１歩進させてＭ＝Ｍ＋１として全ての顔領域候補データのグループ分けを実行する。全ての顔領域候補データがグループのグループ分けが終了した場合には、次に、求められた顔領域候補グループＧ_ｉに対して、グループに含まれる顔領域候補データの数がある閾値以下であれば、そのグループを消去する。残った顔領域候補グループに対して、顔領域のサイズと中心位置と評価値とを求める。

次に、顔領域候補グループにおいて、２つのグループの領域が近傍にある場合、評価値の大きい方の領域を残して小さい方を消去する。評価値の高いグループを最終的に顔領域として出力する。

このように、本実施形態によれば、特徴量の抽出にアダマール変換係数を用いることにより、少ない特徴量で高い検出精度を実現できる。また、構成が簡単で計算量の少ないアダマール変換係数から順番に弱分類器を作成することにより処理時間の増加を抑制して、ハードウェアのリソースを少なくすると共に処理時間を短縮することが可能となる。

本発明による領域検出装置の実施形態を示す構成図。入力画像と積分画像との関係を示す説明図。アダマール変換係数の概念を示す説明図。アダマール変換係数の一例を示す説明図。特徴量を規定する表の一例を示す説明図。弱分類器を構成する判定テーブルの一例を示す説明図。判断部の処理手順を示すフローチャート。領域結合部の処理手順を示すフローチャート。領域結合部の処理手順を示すフローチャート。従来から使用されている矩形フィルタの一例を示す説明図。

符号の説明

１０：ビデオカメラ部
１１：デジタル画像記録部
１２：画像縮小部
１３：画像走査部
１４：積分変換部
１５：特徴量計算部
１６：判断部
１７：顔領域候補記録部
１８：領域結合部

Claims

画像中の特定領域が該画像のどの位置にあるかを検出する領域検出装置において、
前記画像をデジタル化して得られたデジタル画像を所定の縮小率で繰り返し縮小する画像縮小手段と、
前記縮小されたデジタル画像毎に所定のサイズのウインドウを用いて走査する画像走査手段と、
前記走査するウインドウ内の各画像に対して、アダマール変換係数を適用して特徴量を計算する特徴量計算手段と、
前記計算された特徴量に基づき、前記ウインドウ内の画像が前記特定領域の候補であるか否かを複数の弱分類器によって判定する判定手段と、
前記判定手段により前記特定領域の候補であると判定された画像の中から１つの特定領域を選択する特定領域決定手段と、
を備えたことを特徴とする領域検出装置。