JP2008065544A

JP2008065544A - 識別器及びその方法

Info

Publication number: JP2008065544A
Application number: JP2006241804A
Authority: JP
Inventors: Takumi Kobayashi; 匠小林; Hiroaki Nakai; 宏章中井
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-09-06
Filing date: 2006-09-06
Publication date: 2008-03-21
Anticipated expiration: 2026-09-06
Also published as: US7877334B2; JP4221430B2; US20080077543A1

Abstract

【課題】線形識別器と同程度の計算コストで識別能力の高い非線形な識別面を構成することのできる識別器を提供する。
【解決手段】非線形識別器１０は、訓練サンプルと特徴ベクトルの入力部１２、前処理部１４、Ｂｏｏｓｔｉｎｇによる非線形写像の学習部１６、非線形写像の統合部１８、識別部２０とから構成され、学習部１６での訓練ベクトルの各次元の要素の非線形写像をテーブルを作成し、識別部２０は、テーブルに記憶した統合された非線形写像を用いて識別用特徴ベクトルの識別を行う。
【選択図】図１

Description

本発明は、識別用特徴ベクトルを識別するための識別器とその方法に関するものである。

近年はセキュリティの重要性が増し、顔認証や指紋認証などの自動認証装置が設置され始めている。また、人の安心・安全の観点からは交通事故を防止することを目的として、車両に搭載したセンサーを利用した様々な対象（付近の歩行者や車両）の自動認識が注目を集めている。

これらの認識問題においては、入力センサー情報としてはそれぞれ異なるが、最終的にはそれらのパターンの識別により自動認識システムを実現している。また一般にこれらのパターンとは、入力センサー情報から特徴抽出することにより得られる「（特徴）ベクトル」の形態をとる。

ベクトルに対する識別においては、様々な多変量解析方法を用いることが可能であり、大きくは線形な識別と非線形な識別とに分類される。線形な識別とは入力となるベクトルに線形変換を施すことで行う識別を指し、非線形な識別とはベクトルを非線形変換するものを指す。

線形な識別では、古くから様々な統計方法を用いた学習方法が提案されており、代表的なものとしては非特許文献１記載の線形判別分析や非特許文献２記載のSupport Vector Machine（ＳＶＭ）などが挙げられる。

一方、非線形な識別においては、非線形変換が容易には求まらないことからその効果的な学習方法はいまだ少ない。しかし、特許文献２記載のＫｅｒｎｅｌ法を用いたＫｅｒｎｅｌＳＶＭや、特許文献３、特許文献４、特許文献５記載の複数の弱識別器を統合するＢｏｏｓｔｉｎｇ（AdaBoost, real AdaBoost, Joint Boosting）が大きな成果をあげている。ＫｅｒｎｅｌＳＶＭでは、ベクトルの内積をＫｅｒｎｅｌ関数に置き換えることで陰に非線形変換を行っており、Ｂｏｏｓｔｉｎｇでは弱識別器の効果的な組み合わせにより非線形性を表現している。
L.Chen, H.Liao, M.Ko, J.Lin, and G.Yu, "A new LDA-based face recognition system which can solve the small sample size problem," Pattern Recognition, vol. 33, no. 10, pp. 1713--1726, 2000 Christopher J.C. Burges, "A Tutorial on Support Vector Machines for Pattern Recognition", Data Mining and Knowledge Discovery, vol.2, no.2, pp.121--167, 1998 Y.Freund and R.E.Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting,"Journal of Computer and System Sciences,55(1),1997 R.Schapire and Y.Singer,"Improved Boosting Algorithms using confidence-rated predictions,"Machine Learning, vol.37, no.3, 1999 A Torralba,K Murphy and W Freeman,"Sharing Features:efficient boosting procedures for multiclass object detection,"In Proc.IEEE Conference on Computer Vision and Pattern Recognition,2004

これら従来の識別器にはそれぞれ長所や短所となる特徴がある。

線形識別器では、そのほとんどがベクトルの内積を用いるため識別にかかる計算コストは小さい。しかし、対象となるベクトル分布が線形分離可能な場合にのみ有効になるという制限がある。そのため、非線形な分布に対しては有効な識別器とはなり得ない。

一方、ＫｅｒｎｅｌＳＶＭやＢｏｏｓｔｉｎｇに代表される非線形識別器では、ほぼ任意の非線形分布に対して有効である。しかし、ＫｅｒｎｅｌＳＶＭではＫｅｒｎｅｌ関数、Ｂｏｏｓｔｉｎｇでは、弱識別器の計算を多数回行う必要があるため計算コストは非常に大きくなってしまう。

ビデオサーベイランスなどではパーソナルコンピュータ（ＰＣ）、もしくはそれに相当する装置上で実行するために、多くの計算量を現実的な時間で処理できるだけのハードウェア資源を利用することができる。そのため、識別能力の高いＫｅｒｎｅｌＳＶＭもしくはＢｏｏｓｔｉｎｇといった識別器を使用することができる。

しかしながら、一般への適用、例えば車両に認識装置を搭載することなどを考えると、その大きさやコスト面などから設置することのできるハードウェアは小さくかつＰＣと比べると能力の劣るものに限られる。

また、前述のビデオサーベイランスなどの環境においても、能力の低いハードウェアで実行することができればそれだけコストを下げることもできる。

そのため、識別器としては計算コストの小さいものを使用することが望まれるが、線形識別器では計算コストとしては小さいが、その線形という制約により大きく識別能力が不足してしまう。

そこで本発明では、線形識別器と同程度の計算コストで識別能力の高い非線形な識別面を構成することのできる非線形識別器とその学習方法を提供することを目的とする。

本発明は、訓練用の特徴ベクトルである複数の訓練ベクトルを入力する学習データ入力部と、Ｂｏｏｓｔｉｎｇの学習手法を用いて、前記複数の訓練ベクトルの共通な次元の要素の値に基づいて、前記複数の訓練ベクトルの識別を行う複数の弱識別器を求める弱識別器生成部と、前記複数の弱識別器を前記共通な次元毎に合成して、前記複数の訓練ベクトルの前記各次元の要素の非線形写像を求める学習部と、識別用の特徴ベクトルである識別ベクトルを入力する識別ベクトル入力部と、前記識別ベクトルの各次元の要素の値を、前記識別ベクトルの各次元の要素に対応する次元の要素の前記非線形写像を用いて変換することにより、非線形ベクトルを求める非線形変換部と、前記非線形ベクトルの各次元の要素の和を判定スコアーとして求め、前記判定スコアーを用いて前記識別ベクトルの識別を行う識別部と、を備える識別装置である。

本発明によれば、線形識別器と同等の計算コストで非線形な分布を識別することができる。

以下、本発明の一実施形態の非線形識別器１０を図１〜図７を参照して説明する。

図１は、本実施形態の非線形識別器１０の構成図である。

図１に示すように非線形識別器１０は、訓練用特徴ベクトル（以下、単に「訓練ベクトル」という）と識別用特徴ベクトル（以下、「識別ベクトル」という）の入力部１２、前処理部１４、Ｂｏｏｓｔｉｎｇによる非線形写像の学習部１６、非線形写像の統合部１８、識別部２０とから構成されている。各部１２〜２０の機能は、コンピュータに記憶されたプログラムによって実現することもできる。

（１）非線形識別器１０における学習方法
まず、非線形識別器１０における学習方法について図１に基づいて説明する。

（１−１）入力部１２
入力部１２には、下記のデータが訓練サンプルとして入力される。

ここで、Ｎは訓練サンプル数、ｘはｄ次元の訓練ベクトル、ｙはそれに付随する教師ラベルである。ここでは簡単のため教師ラベルを｛＋１，−１｝の２クラスとする。

（１−２）前処理部１４
前処理部１４では、前処理を行うときと、前処理を行わないときの２種類があるので、分けて説明する。

（１−２−１）前処理を行う場合
まず、前処理部１４で前処理を行う場合について説明する。

前処理部１４では、統計的方法を用いることで訓練ベクトルｘを変換する。

例えば、主成分分析を行う場合には、まず訓練ベクトルｘから主成分軸を次の固有値問題を解くことで学習する。

ここで、Ａは固有ベクトル（主成分軸）の行列、Λは固有値を表す。このようにして学習したＡを用いて、訓練ベクトルｘを変換する。

つまり訓練サンプルは

となる。

他の統計的方法、例えば、独立成分分析方法などでも同様である。また、ここでは主成分分析を例として挙げたためにベクトルの次元はｄのままであるが、統計的方法により変換後の次元がｄとは異なったとしても以下の処理は同様である。

（１−２−２）前処理を行わない場合
一方、前処理として何も処理を行わない、つまり前処理を行わないことも可能である。この場合は、

ｘ〜＝ｘ

となる。

（１−２−３）両者の比較
以上のように前処理としては、統計的方法を用いる場合と処理を行わない場合の２通りがある。

前処理を行う場合は、変換により各ベクトル要素の独立性が高まることで、次のＢｏｏｓｔｉｎｇによる学習部１６において、各ベクトル要素の非線形写像を識別の観点からより効果的に学習できるという利点がある。

しかし、ここでの前処理部１４は識別部２０における前処理においても用いられることから、前処理として統計的処理を行うことで識別にかかる計算コストはその分だけ若干大きくなる。そのため、前処理を行わない場合には計算コストは小さいままである。

（１−３）学習部１６
非線形写像学習部１０は、訓練サンプルにＢｏｏｓｔｉｎｇの学習方法を適用することで、各ベクトル要素の非線形写像を学習する。

ここでは非特許文献３のＡｄａＢｏｏｓｔを用いた例について説明する。本実施形態では弱識別器として次の識別関数を与える。

この弱識別器はｓ＝＋１の場合はベクトル要素ｘ〜（ｉ）において、その値が下限値Ｌと上限値Ｕの間に存在していれば＋１を返すという識別器になっており、それは図２によって表現される。ｓ＝−１の場合はこの逆となり、図３で表現される識別器となる。

ＡｄａＢｏｏｓｔの最終的な識別器は、この弱識別器の重みつき和であり、

となる。ここで、ＴはＡｄａＢｏｏｓｔの学習の繰り返し数であり、αは各弱識別器への重み、｛ｔ｜ｉ_ｔ＝ｉ｝はｔ＝｛１，・・・，Ｔ｝の中でｉ_ｔ＝ｉとなるｔの集合である。式（２）の２段目の式においては、重みつき和がＴによるものではなく、ベクトルの次元ｄによるものであることに注意されたい。さらに次元ｄの和の中の弱識別器の重ね合わせは、

と非線形写像φ_ｉとしてまとめることも可能である。実際にはこの非線形写像φ_ｉはテーブルとして表現される。

このテーブル化は次のような手順となる。

まず、ｘ〜〈ｉ〉の値域をｎ個の領域（ｂｉｎ）に分割すると、図４のように、

となる。ここで、Δｚはｂｉｎの幅である。

このように分割された領域に対して式（１）の弱識別器を考えるため、式（１）のＬ，Ｕはｚ_０，・・・，ｚ_ｎのいずれかの値をとることになる。そのため値の近似をしなくとも識別器を表現できることから、領域分割による識別器の精度の低下を防ぐことができる。これにより非線形写像φ_ｉは各ｂｉｎ（ｚ_０，・・・，ｚ_ｎ）に対して

を事前に計算して、テーブルφ_ｉとして用意することで表現される。

ｘ〜〈ｉ〉から非線形写像φ_ｉ（ｘ〜〈ｉ〉）を算出する流れは図５のようになる。

まず、テーブルφ_ｉ［ｊ］のキーであるｊは、ｘ〜〈ｉ〉の値から対応するｚ_ｊを計算することにより求める。

次に、集合｛ｔ｜ｉ_ｔ＝ｉ｝の要素の１つがｔ１であるとすると、α_ｔ１Ｗ［Ｌ_ｔ１，Ｕ_ｔ１，ｓ_ｔ１，ｉ_ｔ１］は式（５）右辺で加算される弱識別器の１つ、つまり非線形写像φ_ｉの構成要素の１つである。このα_ｔ１Ｗ［Ｌ_ｔ１，Ｕ_ｔ１，ｓ_ｔ１，ｉ_ｔ１］が、例えば図６の第１弱識別器６０１のように図示される。

ここで、例えば集合｛ｔ｜ｉ_ｔ＝ｉ｝の要素が６つであるとし、全ての要素がｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６であって、各々図６の左図に示す第１弱識別器６０１、第２弱識別器６０２、第３弱識別器６０３、第４弱識別器６０４、第５弱識別器６０５、第６弱識別器６０６のように図示されるとすると、弱識別器毎に異なる下限値Ｌ、上限値Ｕ、重みαに応じたテーブルとして表される。この弱識別器の重ね合わせによる非線形写像φ_ｉ（ｘ〜〈ｉ〉）は、第１弱識別器６０１、第２弱識別器６０２、第３弱識別器６０３、第４弱識別器６０４、第５弱識別器６０５、第６弱識別器６０６の加算であるため、図６の右図の非線形写像６０７のようになる。

つまり、図６において、訓練ベクトルの第ｉ次元の要素について、ｔ１＜ｔ２＜ｔ３＜ｔ４＜ｔ５＜ｔ６とすれば、第ｔ１回目の学習で弱識別器６０１が作られ、第ｔ２回目の学習で弱識別器６０２が作られ、前記弱識別器６０１に重ね合わされてテーブルの内容、すなわち、第ｔ２回目の学習後の非線形写像が決まる。次に、第ｔ３回目の学習で弱識別器６０３が作られ、前記第ｔ２回目の学習後の非線形写像に加算されて、新たな非線形写像となりテーブルの内容が更新される。そして、第ｉ次元の要素については最終的に６回の学習が行われ、弱識別器６０１〜６０６が加算されて非線形写像６０７がテーブルに記憶される。

したがって、各弱識別器によって更新されていく非線形写像φ_ｉ（ｘ〜〈ｉ〉）の計算は、前回更新された非線形写像をテーブルから呼び出し参照するのみとなるので、計算コストは非常に小さい。

また、この非線形写像の計算にはＡｄａＢｏｏｓｔの学習繰り返し数Ｔは無関係である。すなわち、繰り返し数Ｔによらず計算コストは、更新されたテーブルに記憶された非線形写像を参照するのみで一定となる。そのため、ここでのＡｄａＢｏｏｓｔ学習では任意の学習繰り返し数をとることができる。

一般に学習繰り返し数を大きくすると識別器の能力が向上することが知られており、従来は識別にかかる計算コストの制限からその繰り返し数Ｔに上限があったが、本実施形態においては学習時間の許す限り無限に近い繰り返し数Ｔをとることができる。

そのために、この学習により得られる非線形写像の識別能力は非常に高いものとなる。

以上からベクトルｘ〜は非線形写像φにより

と非線形変換されることになる。

（１−４）統合部１８
式（６）で得られた非線形ベクトルφ（ｘ〜）に対してさらに線形識別を適用することで、次のように判定スコアーＨの関数を得る。

そして、式（７）における線形識別面の法線ベクトルａとバイアスｂは不明であるため、統合部１８において、この重みａやバイアスｂが不明の状態の判定スコアＨの関数である式（７）に、訓練ベクトルを順次代入していき、最適な重みａやバイアスｂを学習する。

式（２）から明らかなようにＡｄａＢｏｏｓｔにより求められた識別器ｈではａ＝１，ｂ＝０となる。その他の場合としては、統計的方法により求めることもできる。ここでは訓練サンプルは非線形関数φにより

となる。

これに対し、例えば非特許文献２のＳＶＭ学習を用いると、識別に最適なベクトルａ、及びバイアスｂが求まる。

最終的には各非線形写像を、対応するそれぞれの重みａ_ｉとバイアスｂ_ｉを考慮して

とさらに変形すること、すなわち、テーブルの値を更新することで式（７）の識別器は、

となり、非線形関数のテーブルの参照とその和（すなわち、判定スコアーＨ）のみで非線形識別器１０を構成することができる。この統合部１８で構成した式（８）の関数を、後から説明する識別部２０で使用する。

なお、例えば重みａ_ｉ＝１、バイアスｂ_ｉ＝０に固定して、統合部１８を省いても構わない。この場合の判定スコアＨの値は、学習部１６で求められた非線形写像で変換された非線形ベクトルの各要素の和に相当する。

（２）非線形識別器１０における識別方法
次に上記のように学習されたデータに基づいて、識別部２０が識別する方法について説明する。この識別部２０の処理を模式的に表したものが図７である。

（２−１）入力部１２
識別したい識別ベクトルｘ〈ｉ〉が入力部１２に入力される。入力部１２の訓練ベクトルｘと同様に識別ベクトルｘ〈ｉ〉はｄ次元である。

（２−２）前処理部１４
前処理部１４は、上記学習方法における前処理と同一の処理を行ってｘ〜〈ｉ〉を求める。

つまり、前処理として何も処理を行わないか、統計的処理（主成分分析や独立成分分析など）を行うかのいずれかになる。

（２−３）識別部２０
ｘ〜〈ｉ〉と、統合部１８により得られた式（８）の判定スコアーＨの関数を用いた識別計算を行うことで識別結果を得る。すなわち、識別部２０では、統合部２０で求められた、重みａとバイアスｂが決まった判定スコアＨの関数である式（８）に識別ベクトルを代入して、識別ベクトルｘ〈ｉ〉の判定スコアＨの値を求める。そして、この判定スコアーＨの値を用いて、識別結果を得る。

式（８）の非線形写像φ＾の計算は、図５と同様に、最終的に学習により更新されたテーブルに記憶された各次元の非線形写像を参照することにより行われるため、前処理を行わない場合にこの識別部２０の計算コストはＯ（ｄ）となる。これは線形識別器の計算コストと同等であり、かつ、Ｂｏｏｓｔｉｎｇによる非線形写像の学習部１６でも述べた通りこの識別器の識別能力はＢｏｏｓｔｉｎｇ（ＡｄａＢｏｏｓｔなど）による非線形識別器とも同等である。

（３）変更例
本発明は上記実施形態に限らず、その主旨を逸脱しない限り種々に変更することができる。

例えば、上記実施形態では、学習部１６では、非特許文献３のＡｄａＢｏｏｓｔをとりあげたが、非特許文献４のｒｅａｌＡｄａＢｏｏｓｔを用いても非線形写像を求めることができる。ｒｅａｌＡｄａＢｏｏｓｔでは弱識別器が式（１）のように領域内に存在しているか否かを判定するものではなく、式（４）のように領域分割後に各領域Ｓに対して値を割り振ることで弱識別器を実現しているため、式（５）の重ね合わせもより自然に行うことができる。

また、上記実施形態では、ＡｄａＢｏｏｓｔでは対象を２クラスとしているが、式（１）の弱識別器を用いて非特許文献５のＪｏｉｎｔＢｏｏｓｔｉｎｇを学習方法として適用することで複数クラスに対しても全く同様に非線形関数を求めることができる。

本発明の一実施形態における非線形識別器の構成図である。ＡｄａＢｏｏｓｔで用いた弱識別器の模式図である。ＡｄａＢｏｏｓｔで用いた弱識別器の模式図である。ベクトル要素の値域の領域分割の模式図である。非線形写像計算のためのテーブル参照のフローチャートである。弱識別器の重ね合わせによる非線形写像関数の模式図である。非線形識別部の模式図である。

符号の説明

１０非線形識別器
１２入力部
１４前処理部
１６学習部
１８統合部
２０識別部

Claims

訓練用の特徴ベクトルである複数の訓練ベクトルを入力する学習データ入力部と、
Ｂｏｏｓｔｉｎｇの学習手法を用いて、前記複数の訓練ベクトルの共通な次元の要素の値に基づいて、前記複数の訓練ベクトルの識別を行う複数の弱識別器を求める弱識別器生成部と、
前記複数の弱識別器を前記共通な次元毎に合成して、前記複数の訓練ベクトルの前記各次元の要素の非線形写像を求める学習部と、
識別用の特徴ベクトルである識別ベクトルを入力する識別ベクトル入力部と、
前記識別ベクトルの各次元の要素の値を、前記識別ベクトルの各次元の要素に対応する次元の要素の前記非線形写像を用いて変換することにより、非線形ベクトルを求める非線形変換部と、
前記非線形ベクトルの各次元の要素の和を判定スコアーとして求め、前記判定スコアーを用いて前記識別ベクトルの識別を行う識別部と、
を備える識別装置。
前記判定スコアーを求めるための重み係数を、前記訓練ベクトルを用いて学習する重み学習部を有し、
前記識別部は、前記判定スコアーとして、前記非線形ベクトルの各次元の要素の前記重み係数に従った重み付き和を求める請求項１記載の識別装置。
前記非線形写像は記憶部に記憶され、
前記学習部は、新たな学習によって新たな弱識別器が求められたときに、前回までの学習によって求められた非線形写像に前記新たな弱識別器を重ね、前記記憶部に記憶された非線形写像を更新する請求項１記載の識別器。
前記訓練ベクトルに対して統計的処理を行ってから前記学習を行う請求項１記載の識別器。
前記判定スコアーは、前記各次元の非線形写像を重み１で加算して求める請求項１記載の識別器。
前記重み学習部は、前記判定スコアーの重み係数を、前記各次元の非線形写像の重みを統計的に学習することで求める請求項１記載の識別器。
前記識別部は、前記記憶部に記憶された前記非線形写像を呼び出し、前記識別ベクトルの識別を行う請求項２記載の識別器。
訓練用の特徴ベクトルである複数の訓練ベクトルを入力し、
Ｂｏｏｓｔｉｎｇの学習手法を用いて、前記複数の訓練ベクトルの共通な次元の要素の値に基づいて、前記複数の訓練ベクトルの識別を行う複数の弱識別器を求め、
前記複数の弱識別器を前記共通な次元毎に合成して、前記複数の訓練ベクトルの前記各次元の要素の非線形写像を求め、
識別用の特徴ベクトルである識別ベクトルを入力し、
前記識別ベクトルの各次元の要素の値を、前記識別ベクトルの各次元の要素に対応する次元の要素の前記非線形写像を用いて変換することにより、非線形ベクトルを求め、
前記非線形ベクトルの各次元の要素の和を判定スコアーとして求め、前記判定スコアーを用いて前記識別ベクトルの識別を行う識別方法。
訓練用の特徴ベクトルである複数の訓練ベクトルを入力する学習データ入力機能と、
Ｂｏｏｓｔｉｎｇの学習手法を用いて、前記複数の訓練ベクトルの共通な次元の要素の値に基づいて、前記複数の訓練ベクトルの識別を行う複数の弱識別器を求める弱識別器生成機能と、
前記複数の弱識別器を前記共通な次元毎に合成して、前記複数の訓練ベクトルの前記各次元の要素の非線形写像を求める学習機能と、
識別用の特徴ベクトルである識別ベクトルを入力する識別ベクトル入力機能と、
前記識別ベクトルの各次元の要素の値を、前記識別ベクトルの各次元の要素に対応する次元の要素の前記非線形写像を用いて変換することにより、非線形ベクトルを求める非線形変換機能と、
前記非線形ベクトルの各次元の要素の和を判定スコアーとして求め、前記判定スコアーを用いて前記識別ベクトルの識別を行う識別機能と、
をコンピュータによって実現する識別プログラム。