JP2011081614A - 認識装置、認識方法及びプログラム - Google Patents

Abstract

【課題】良く似ているデータ同士であっても、区別して認識できる精度を向上した認識装置を提供すること。
【解決手段】学習データ１１０を基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとに近似により分解する際に、学習データのカテゴリを示す教示ラベルデータ１２０を用いて、同じカテゴリに属する学習データ１１０が、基底行列Ｆにより定められる部分空間において接近し、異なるカテゴリに属する学習データが部分空間において離間するように、基底行列Ｆと係数行列Ｇとを強制的に修正する。この結果、よく似ているデータ同士であっても、データの認識性能を向上することができる。
【選択図】図１

Description

本発明は、学習データを用いて行なった学習結果に基づき、入力データの認識を行なう認識装置、認識方法及びプログラムに関する。

音声認識や画像認識など、幅広い分野において、学習に基づく認識装置が用いられている。この学習に基づく認識は、例えば、以下のように行なわれる。

学習段階として、まず、学習に用いる多くの学習データを用意する。そして、用意した学習データの各々を、Ｎ次元のベクトルで表現する。例えば、学習データが画像である場合、画像の局所領域における輝度分布の勾配方向をヒストグラム化したり、カラーデータ（ＲＧＢ）をＨＳＶ変換したり、画像信号をウェーブレット変換するなどの各種の変換手法により、１枚の画像をＮ次元の特徴ベクトルで表現することができる。

次に、Ｎ次元のベクトルで表現された学習データを、それよりも少ないＭ次元のベクトルに変換する写像を求める。例えば、主成分分析や非負行列因子分解（Non‐Negative Matrix Factorization）などにより、変換写像を求めることができる。求めた写像を用いて、学習データをＭ次元の部分空間に投影することにより、学習データをＭ次元のベクトルにて表現することができる。このような写像による変換を行なうことで、未知の入力データを認識する際の認識性能が高まることが知られている。

認識段階においては、まず、認識したいデータをＮ次元のベクトルで表現した入力データとする。このＮ次元のベクトルへの変換は、学習データと同じ変換手法が用いられる。学習により得た写像を用いて、入力データをＭ次元のベクトルに変換する。学習時に得られたＭ次元のベクトルから近いものを探し、それを認識結果とする。近似したベクトルの探索に関しては、ｋ−ＮＮ法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）などの種々の手法が適用可能である。

上述した考え方に基づいて、例えば特許文献１では、認識対象を青信号の画像とし、車載カメラ画像から青信号であるか否かを判断するようにしている。具体的には、データベースに記録された複数の異なる青信号の画像データに対して主成分分析処理を行ない、基底画像を導出して主成分空間を形成する。そして、カメラによって撮影された信号機の撮影画像を主成分分析によって形成された主成分空間に投影し、主成分空間における各主成分の係数を算出する。その後、主要な主成分及び係数を用いて撮影画像の近似画像を形成し、その近似画像に基づき、青信号か否かを判断する。

また、特許文献２では、上述した考え方に基づいて、監視画像における異常状態検知を行なっている。具体的には、歩く動作のような一般的な動作を正常動作とし、その正常動作を示すデータのベクトルに対して非負行列因子分解や主成分分析などを行なうことにより、特徴ベクトル空間に写像する。この特徴ベクトル空間において、正常データの特徴ベクトルは、１つあるいは複数の（超立体の）多角錘形状あるいは円錐形状の領域を合せた正常空間領域内に分布する。従って、監視画像の特徴ベクトルが、１つあるいは複数の多角錘あるいは円錐形状の領域の内の１つの内部に存在しているか否かを判定し、内部に存在していれば正常、そうでなければ異常と判定する。

特開２００６−２４４２８９号公報 特開２００８−２８７４７８号公報

上述した従来の認識手法では、主成分分析や非負行列因子分解により形成した部分空間において、同じカテゴリに属する入力データのベクトル同士が、近い位置に写像されることを前提としている。例えば、特許文献２の異常検出装置では、異常状態の画像と正常状態の画像とが部分空間において遠く離れた位置に写像されることを利用して、正常、異常の判別を行なっている。

このため、従来の認識手法では、良く似ている画像データを区別して認識する必要がある場合には、必ずしも高い認識精度を期待することはできない。例えば、「木」「本」という文字画像は、パターンが非常に良く似ているため、部分空間に写像した場合、近接した位置に写像されることになる。このような例には、例えば、カメラを車両に搭載して、車両が走行している道路環境が高速道路であるか一般道路であるかを判別する場合や、人間の顔を撮影した顔画像から、それが誰であるかを認識しようとする場合なども該当する。

本願発明は、このような点に鑑みてなされたものであり、良く似ているデータ同士であっても、区別して認識できる精度を向上した認識装置を提供することを目的とする。

上記目的を達成するために、請求項１に記載の認識装置は、
Ｎ次元の特徴ベクトルにて表されたＤ個の学習データをＮ行Ｄ列の入力行列とし、当該入力行列を、基底ベクトルをまとめたＮ行Ｍ列の基底行列と、学習データのＮ次元特徴ベクトルを基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめたＤ行Ｍ列の係数行列の転置行列とに近似により分解する基底分解部と、
認識すべき入力データが入力されたときに、基底行列を用いて、入力データに対応する係数行列を算出し、基底分解部により算出された係数行例との類似度に基づいて入力データの認識を行なう認識部と、を備えた認識装置であって、
基底分解部は、学習データを基底行列と係数行列の転置行列とに近似により分解する際に、学習データのカテゴリを示す教示データを用いて、同じカテゴリに属する学習データがＭ次元の部分空間において接近し、異なるカテゴリに属する学習データがＭ次元の部分空間において離間するように、基底行列と係数行列とを定めることを特徴とする。

従って、良く似ているが異なるカテゴリに属すべき学習データがあった場合、これらの学習データ同士がＭ次元の部分空間において離間した位置に写像されるように、教示データにより基底行列と係数行列とが強制的に修正される。逆に、あまり似ていないが同じカテゴリに属すべき学習データがあった場合には、これらの学習データ同士がＭ次元の部分空間において接近した位置に写像されるように、教示データにより基底行列と係数行列とが強制的に修正される。これらにより、データの類似性による影響を低減して、データの認識性能を向上することができる。

請求項２に記載したように、基底分解部は、入力行列をＸ，基底行列をＦ，係数行列をＧ、教示データに基づいて、ｉ番目の学習データとｊ番目の学習データとが同じ種類である場合、ｉ行ｊ列及びｊ行ｉ列を負の値に設定し、ｋ番目の学習データとｌ番目の学習データとが異なる種類である場合、ｋ行ｌ列及びｌ行ｋ列を正の値に設定したＤ行Ｄ列の教示行列をＣとしたとき、以下の数式１で示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化するように、基底行列Ｆと係数行列Ｇを定めても良い。

数式１における右辺の第１項により、入力行列Ｘが、基底行列Ｆと係数行列Ｇとに分解される。さらに、第２項により、係数行列Ｇに対して教示データによる事前知識が反映され、その結果、教示データにより基底行列Ｆと係数行列Ｇとが強制的に修正される。

数式１に従って、コスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇとを求める場合の具体的な演算手法として、請求項３に記載したように、以下の数式２にて示される基底行列Ｆの更新と係数行列Ｇの更新を繰り返し実行すれば良い。この更新は、例えば予め定めた回数（例えば千回）、あるいは更新前後の変化量が所定値以下となるまで繰り返される。

数式２では、特に、教示行列Ｃにおける負の要素について、符号を反転させた非負行列として扱っているので、入力行列Ｘを基底行列Ｆと係数行列Ｇとに分解する際に、非負行列因子分解を適用することができる。

また、請求項４に記載したように、基底分解部は、入力行列をＸ，基底行列をＦ，係数行列をＧ、教示データに基づいて、ｉ番目の学習データとｊ番目の学習データとが同じ種類である場合、ｉ行ｊ列及びｊ行ｉ列を負の値に設定し、ｋ番目の学習データとｌ番目の学習データとが異なる種類である場合、ｋ行ｌ列及びｌ行ｋ列を正の値に設定した教示行列をＣとしたとき、以下の数式３で示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化するように、基底行列Ｆと係数行列Ｇを定めても良い。

上記ダイバージェンスを最小化することで、入力行列Ｘと、基底行列Ｆと係数行列Ｇの転置行列との積ＦＧ^Ｔの分布がより近くなる。従って、数式３における右辺の第１項により、入力行列Ｘが、基底行列Ｆと係数行列Ｇとに分解される。さらに、第２項により、係数行列Ｇに対して教示データによる事前知識が反映され、その結果、教示データにより基底行列Ｆと係数行列Ｇとが強制的に修正される。

数式３に従って、コスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇとを求める場合の具体的な演算手法として、請求項５に記載したように、以下の数式４にて示される基底行列Ｆの更新と係数行列Ｇの更新を繰り返し実行すれば良い。

数式４においても、教示行列Ｃにおける負の要素について、符号を反転させた非負行列として扱っているので、入力行列Ｘを基底行列Ｆと係数行列Ｇとに分解する際に、非負行列因子分解を適用することができる。

請求項６に記載したように、教示行列Ｃにおいて、教示データが与えられない学習データに対応する要素は、ゼロに設定すれば良い。すなわち、全ての学習データに教示データが与えられる必要はない。ただし、教示データが与えられる学習データが多いほど、認識精度の向上度合が高まるので、出来る限り、多くの教示データが与えられることが望ましい。

なお、認識対象外のデータを教示データなしで学習データの一部とすることにより、学習データにおける認識対象データは、認識対象外データと区別されるように基底行列と係数行列とが定められる。この結果、認識対象データの特徴をより良く捉えた認識装置とすることができる。従って、認識対象外データを、教示データなしで学習データに含めても良い。

請求項７に記載したように、学習データに対して、異なる複数の特徴変換を施し、その結果得られた異なる複数の特徴ベクトルを統合して、学習データに対応する特徴ベクトルとしても良い。複数の特徴ベクトルを統合することで、単一の特徴ベクトルでは認識が難しい認識対象であっても、認識精度の向上を図ることができる。

請求項８に記載したように、入力データは、画像の特徴量をＮ次元の特徴ベクトルにて表したものであり、この画像において、基底行列のベクトルに対応する小領域を決定することにより、認識した対象の位置を決定する検出部を備えても良い。これにより、画像の一部のみに認識対象が存在する場合に、画像において、認識対象の存在する範囲を特定することができる。

なお、請求項９は、上述した請求項１に記載の認識装置により実行される認識方法を発明の対象としたものであり、請求項１０は、請求項１に記載の認識装置における各機能をコンピュータにより実現するためのプログラムを発明の対象としたものである。これらの請求項に記載した発明から得られる効果は、請求項１に記載の認識装置から得られる効果とほぼ同様であるため、説明を省略する。

本発明の実施形態による認識装置の構成を示す構成図である。 図１における、学習部の基底分解部の詳細な構成を示す構成図である。 図１における、認識部の基底分解部の詳細な構成を示す構成図である。 車両の前方領域を撮影した画像データの認識結果に応じて、各種の制御を行なう例について示したフローチャートである。 変形例の構成を説明するための構成図である。

（第１実施形態）
以下、本発明の第１実施形態による認識装置について、図面に基づいて説明する。図１は、本実施形態による認識装置の構成を示す構成図である。

図１において、学習部１００は、予め用意した沢山の、認識対象を含む学習データ１１０をN次元の特徴ベクトルにて表し、その特徴ベクトルをまとめた入力行列を、基底ベクトルをまとめた基底行列と、学習データ１１０のＮ次元特徴ベクトルを基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめた係数行列とに、非負行列因子分解（Non-Negative Matrix Factorization）により分解する。その際に、認識対象のカテゴリを示す教示ラベルデータ１２０を用いることにより、同じカテゴリに属する学習データ１１０がＭ次元の部分空間において接近し、異なるカテゴリに属する学習データ１１０がＭ次元の部分空間において離間するように、基底行列と係数行列とを強制的に修正する。

学習データ１１０は、認識対象を含む画像データであって、本実施形態では、例えば、車両が走行している道路が、高速道路であるか一般道路であるかを判別するために、種々の高速道路の様子を写した画像データ及び種々の一般道路の様子を写した画像データが学習データとして用意される。このとき、高速道路の様子を写した画像データには、そのカテゴリが「高速道路」である旨を示す教示ラベルデータが対応付けられ、一般道路の様子を写した画像データには、そのカテゴリが「高速道路」とは異なる「一般道路」である旨を示す教示ラベルデータが対応付けられる。

同様に、本実施形態では、視界不良であるか視界良好であるかを判別したり、道路前方が人や車で混雑しているか空いているかを判別したりするため、それらの状況を示す様々な画像データおよびそれらのカテゴリを示すデータが、学習データ１１０及び教示ラベルデータとして用意される。

ただし、本実施形態では、用意した全ての画像データをまとめて処理するのではなく、判別したい対象ごとに画像データを処理する。従って、上述したように、判別したい対象が３種類（「高速道路」と「一般道路」、「視界不良」と「視界良好」、及び「混雑した状況」と「空いている状況」）ある場合には、それぞれの判別対象ごとに、図１に示す学習部１００と認識部２００とが個別に設けられる。

なお、教示ラベルデータは、全ての学習データに対して与えられる必要はない。しかし、教示ラベルデータが与えられる学習データが多いほど、各々のカテゴリに属する認識対象の認識精度が向上するので、出来る限り、多くの教示ラベルデータが与えられることが望ましい。

また、認識対象外の画像データを教示ラベルデータなしで学習データの一部としても良い。これにより、学習データにおける認識対象の画像データは、認識対象外の画像データと区別されるように、基底行列と係数行列とが定められることになる。この結果、認識対象の画像データの特徴をより良く捉えた認識装置とすることができる。従って、認識対象外の画像データを、教示データなしで学習データに含めても良い。

特徴変換部１３０は、学習データ１１０として入力された画像データをＮ次元の特徴ベクトルに変換するものである。このＮ次元特徴ベクトルに変換する手法として種々の方法が知られているが、本実施形態において採用した方法について、以下に簡単に説明する。

まず、画像データから沢山の小領域を切り出して、各小領域の輝度分布の勾配方向のパターンを、ＳＩＦＴ（Scale-Invariant Feature Transform）特徴ベクトル（１２８次元のベクトル）として抽出する。なお、小領域の切り出し方法としては、例えば、画像においてエッジなどの特徴点を求め、その特徴点の周りの一定の領域を小領域としても良い。また、ある大きさの窓を用意し、画像上で少しずつずらしながら、窓内の領域を小領域として切り出しても良い。さらに、１枚の画像に対して、窓の大きさを変えつつ複数回小領域を切り出すようにしても良い。窓の形状は矩形に限られず、また窓は任意の角度に傾いていても良い。

次に、認識対象の識別に利用すべく、予め求めておいたＮ個のパターン（visual words）を用いて、各小領域のパターンであるＳＩＦＴ特徴ベクトルを、類似するパターンに分類する。これにより、１枚の画像データからＮ個のパターンの出現頻度ヒストグラムが作成され、その結果、画像データをＮ次元のベクトルに特徴変換することができる。なお、このような特徴変換手法は、”Visual Categorization with Bags of Keypoints” Gabriella Csurka, Christopher R. Dance, Lixin Fan, Jutta Willamowski, Cedric Bray, In ECCV International Workshop on Statistical Learning in Computer Vision (2004) に詳しく説明されている。

特徴変換部１３０によって画像データから変換されたＮ次元の特徴ベクトルは、教示ラベルデータとともに、基底分解部１４０に与えられる。基底分解部１４０は、以下の数式５に示すように、Ｎ次元の特徴ベクトルにて表されたＤ個の学習データをＮ行Ｄ列の入力行列Ｘとし、当該入力行列Ｘを、基底ベクトルをまとめたＮ行Ｍ列の基底行列Ｆと、学習データ１１０のＮ次元特徴ベクトルを基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめたＤ行Ｍ列の係数行列Ｇの転置行列Ｇ^Ｔとに近似により分解する。この分解においては、非負行列因子分解法が用いられる。

ただし、本実施形態では、入力行列Ｘを基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとに分解して、基底行列Ｆと係数行列Ｇとを定める際に、教示ラベルデータによる事前知識を反映させるために、基底分解部１４０は、まず、教示ラベルデータに基づいて、教示行列Ｃを定める。この教示行列Ｃは、係数行列Ｇにおけるｉ番目（ｉ行目）の学習データとｊ番目（ｊ行目）の学習データとが同じカテゴリである場合、ｉ行ｊ列及びｊ行ｉ列を負の値に設定し、ｋ番目（ｋ行目）の学習データとｌ番目（ｌ行目）の学習データとが異なるカテゴリである場合、ｋ行ｌ列及びｌ行ｋ列を正の値に設定するとの規則に従って、Ｄ行Ｄ列の教示行列として定められる。

設定する負の値及び正の値は、任意である。これらの値の絶対値が大きいほど、教示ラベルデータによる事前知識が、基底行列Ｆ及び係数行列Ｇの設定に与える影響を大きくすることができる。なお、教示ラベルデータが与えられていない学習データに対応する教示行列Ｃの要素はゼロに設定される。

そして、基底分解部１４０は、以下の数式６に示すコスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇとを求める。

数式１において、右辺の第１項の記号は、行列要素の２乗和であるフロベニウスノルムを表し、第２項の関数ｔｒは、行列の対角要素の総和を表している。第１項により、入力行列Ｘに対して、基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとの積が最も小さくなるように、入力行列Ｘが基底行列Ｆと係数行列Ｇとに分解される。

また、第２項において、転置行列Ｇ^Ｔと係数行列Ｇとの積における各要素に関して、教示行列Ｃにより、同一カテゴリのデータ同士が掛け合わされた場合には、その積和結果に負の値が乗じられ、異なるカテゴリのデータ同士が掛け合わされた場合には、その積和結果に正の値が乗じられる。同一カテゴリに属すべきデータ同士であれば、係数行列Ｇにおける行方向の各要素の分布は類似すべきである。このため、同一カテゴリのデータ同士が掛け合わされた場合の要素には、負の値を乗じることにより、これらの要素の分布が類似するほど、コスト関数Ｊ（Ｆ，Ｇ）の値が減少するようにしている。一方、異なるカテゴリに属すべきデータ同士であれば、係数行列Ｇにおける行方向の各要素の分布が極力非類似となるべきである。このため、異なるカテゴリのデータ同士が掛け合わされた場合の要素には、正の値を乗じることにより、これらの要素の分布が類似するほど、コスト関数Ｊ（Ｆ，Ｇ）の値が増加するようにしている。従って、第２項により、係数行列Ｇに対して教示データによる事前知識が反映され、その結果、同一カテゴリのデータの係数行列Ｇの要素は類似し、異なるカテゴリのデータの係数行列Ｇの要素は極力非類似となるように、基底行列Ｆと係数行列Ｇとが強制的に修正される。

上述した数式６に従って、基底行列Ｆと係数行列Ｇとを求める具体的な演算方法を以下の数式７に示す。

数式７の第１式により、基底行列Ｆが、コスト関数Ｊ（Ｆ，Ｇ）を最小化させる基底行列Ｆに近づくように更新される。なお、第２式は、更新した基底行列Ｆを正規化するためのものであり、この第２式は省略できる場合がある。

数式７の第３式により、更新及び正規化された基底行列Ｆ、入力行列Ｘ、及び教示行列Ｃを用いて、係数行列Ｇが、コスト関数Ｊ（Ｆ，Ｇ）を最小化させる係数行列Ｇに近づくように更新される。

ここで、第３式において、Ｃ^＋は、教示行列Ｃの正の要素のみを残した行列であり、Ｃ⁻は、教示行列Ｃの負の要素のみを残し、符号を反転させた行列であり、それぞれ、以下の数式８に示すように定義される。

このように、本実施形態では、教示行列Ｃの負の要素に関して、符号を反転させた非負行列として扱っている。従って、入力行列Ｘを基底行列Ｆと係数行列Ｇとに分解する際に、非負行列因子分解を適用することができる。

上述した数式７による、基底行列Ｆと係数行列Ｇの更新は、例えば予め定めた回数（例えば千回）、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。

基底分解部１４０は、このような基底行列Ｆと係数行列Ｇとの更新を繰り返すことにより基底行列Ｆ及び係数行列Ｇを算出する。そのため、基底分解部１４０は、図２に示すように構成されている。

すなわち、図２に示すように、基底分解部１４０では、予め基底行列Ｆ及び係数行列Ｇの初期値１４１が設定され記憶されている。基底行列Ｆ及び係数行列Ｇの初期値１４１は基底行列更新部１４２に入力される。なお、基底行列Ｆの列数Ｍ（係数行列Ｇの行数Ｍ）は、学習データに含まれるデータのカテゴリ数に応じて適宜設定される。

基底行列更新部１４２は、入力された入力行列Ｘ，基底行列Ｆ，及び係数行列Ｇに基づいて、上記数式７の第１式及び第２式の演算を行なうことにより、基底行列Ｆを更新するとともに、更新した基底行列Ｆを正規化する。係数行列更新部１４３は、入力された入力行列Ｘ，基底行列Ｆ（更新値）、係数行列Ｇ、及び教示行列Ｃに基づいて、上記数式７の第３式の演算を行なうことにより、係数行列Ｇを更新する。

基底行列更新部１４２及び係数行列更新部１４３によって算出された基底行列Ｆ及び係数行列Ｇの更新値は、収束判定部１４５に与えられる。収束判定部１４５は、例えば所定回数の更新が行なわれたか否か、又は基底行列Ｆ及び係数行列Ｇの変化量が所定値以下となったか否かにより、基底行列Ｆ及び係数行列Ｇが収束したか否かを判定する。そして、収束したと判定した場合には、基底行列Ｆの収束解１５０及び係数行列Ｇの収束解１６０を、後述する認識部２００に出力する。一方、収束判定部１４５により、基底行列Ｆ及び係数行列Ｇが収束していないと判定された場合には、基底行列Ｆ及び係数行列Ｇの更新値１４４が基底行列更新部１４２及び係数行列更新部１４３に与えられる。そして、基底行列更新部１４２及び係数行列更新部１４３は、収束判定部１４５により基底行列Ｆ及び係数行列Ｇが収束したと判定されるまで、基底行列Ｆと係数行列Ｇの更新を繰り返す。

次に、図１及び図３に基づいて、認識部２００について説明する。認識部２００は、認識すべき未知の画像データ２１０が入力されたときに、学習部１００における学習結果である基底行列Ｆ及び係数行列Ｇに基づいて、入力された画像データの認識を行なう。

入力された画像データは、特徴変換部２２０において、学習データに対するのと同様の手法により、Ｎ次元のベクトルに特徴変換される。特徴変換部２２０により変換されたＮ次元のベクトルは、基底分解部２３０に入力される。

基底分解部２３０は、入力された画像データのＮ次元ベクトルをＮ行１列の入力行列ｙと置いた場合に、その入力行列ｙを、学習部１００により学習された基底行列Ｆと係数行列ｇとに分解する。そのため、基底分解部２３０は、以下の数式９に示すコスト関数Ｊ（ｇ）を最小化する係数行列ｇを求める。

上述した数式９に従って、係数行列ｇを求める具体的な演算方法を以下の数式１０に示す。

上述した数式１０による、係数行列ｇの更新は、例えば予め定めた回数、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。基底分解部２３０は、このような係数行列ｇの更新を繰り返すことにより係数行列ｇを算出する。そのため、基底分解部１４０は、図３に示すように構成されている。

すなわち、図３に示すように、基底分解部２３０では、予め係数行列ｇの初期値２３１が設定され記憶されている。係数行列ｇの初期値２３１は係数行列更新部２３２に入力される。

係数行列更新部２３２は、入力された入力行列ｙ，基底行列Ｆ，及び係数行列ｇに基づいて、上記数式１０の演算を行なうことにより、係数行列ｇを更新する。係数行列更新部２３２によって算出された係数行列ｇの更新値は、収束判定部２３４に与えられる。収束判定部２３４は、例えば所定回数の更新が行なわれたか否か、又は係数行列ｇの変化量が所定値以下となったか否かにより、係数行列ｇが収束したか否かを判定する。そして、収束したと判定した場合には、係数行列Ｇの収束解２４０を、後述する判定部２５０に出力する。一方、収束判定部２３４により、係数行列ｇが収束していないと判定された場合には、係数行列ｇの更新値２３３が係数行列更新部２３２に与えられる。そして、係数行列更新部２３２は、収束判定部２３４により係数行列ｇが収束したと判定されるまで、係数行列ｇの更新を繰り返す。

判定部２５０には、係数行列ｇの収束解２４０の他に、学習部１００において算出された係数行列Ｇ（の収束解）と教示ラベルデータ１２０とが入力される。そして、判定部２５０は、基底分解部２３０により算出された、未知の画像データの特徴ベクトルに対応する係数行列ｇの要素に対して、類似性が高い要素を、係数行列Ｇの行方向の要素から抽出する。類似性の判断に関しては、従来用いられているｋ−ＮＮ法、サポートベクターマシン（ＳＶＭ），ニューラルネットワークなどを用いることができる。これにより、入力された画像データが、学習データの中のいずれに類似しているかの判別が行なわれたことになる。そして、判定部２５０は、類似していると判別された学習データの教示ラベルデータを認識結果２６０として出力する。さらに判定部２５０は、類似判定した結果を検出部２７０に出力する。

検出部２７０は、判定部２５０における類似判定結果と基底行列Ｆとを用いて、入力された画像データにおいて、認識対象の位置を検出する。すなわち、係数行列ｇに類似する要素に関して、係数行列Ｇの転置行列Ｇ^Ｔを基底行列Ｆに掛け合わせた際に、重みの強い基底成分に基づき、画像データ上で同様の基底成分を抽出することにより、画像データにおいて認識対象の位置を検出することができる。検出した認識対象については、検出結果２８０として、例えば基底成分を強調表示しつつ、画像をディスプレィに表示するなどして、視認者に対して注意喚起を行っても良い。

次に、図４のフローチャートに基づき、本実施形態による認識装置の利用例について説明する。図４に示す例では、車両の進行方向前方を撮影するカメラが、車両に取り付けられ、そのカメラによって定期的に車両前方の様子を撮影する。そして、撮影した画像から、種々の走行環境を認識し、その認識結果に基づいて、車両の走行する道路が高速道路であるか否か、雨、雪、霧、窓の曇りなどで視界が不良な状況であるか否か、さらに道路前方が人や車で混雑した状況であるか否かなどを判定するものである。

まず、ステップＳ１１０では、カメラから画像が入力されたか否かを判定する。カメラから画像が入力された場合には、処理は、ステップＳ１２０に進み、入力された画像をＮ次元のベクトルに特徴変換する。続くステップＳ１３０では、学習により得られた基底行列Ｆを用いて、Ｎ次元のベクトルからなる入力行列ｙを、その基底行列Ｆと係数行列ｇとに分解する。ステップＳ１４０では、求めた係数行例ｇと、学習により得られた係数行列Ｇにおける各要素の類似性に基づいて、入力画像に含まれる認識対象を認識する。

ステップＳ１５０では、ステップＳ１４０における認識結果に基づき、車両の走行する道路が高速道路であるか否かを判定する。

ここで、高速道路と一般道路とは、ある程度類似するので、従来のように、高速道路と一般道路とを学習データとして、基底行列Ｆ及び係数行列Ｇとを定めても、高速道路の画像データと一般道路の画像データは、基底行列Ｆにより定められる部分空間において、近い位置に写像されてしまい、両者を高精度に区別して認識することは困難である。

それに対して、本実施形態では、上述したように、高速道路の画像データと一般道路の画像データとは、基底行列Ｆにより定められる部分空間において、離れた位置に写像されるように、教示データラベルを用いて、基底行列Ｆ及び係数行列Ｇを強制的に修正する。このため、本実施形態では、学習により得られた基底行列Ｆ及び係数行列Ｇを用いて、車両が走行する道路が高速道路であるか否かを高精度に認識することができる。

ステップＳ１５０において、車両は高速道路を走行していると判定された場合には、その判定結果が、例えば図示しないカーナビゲーション装置に送信される。これを受けて、カーナビゲーション装置は、自車両の位置を高速道路上に設定する。これにより、一般道路と高速道路とが並進していたり、高速道路の真下に一般道路が設けられていたりしても、カーナビゲーション装置は、自車両の正確な走行位置を地図に表示することができる。

ステップＳ１７０では、ステップＳ１４０での認識結果に基づいて、雨、雪、霧、窓の曇りなどで視界が不良な状況であるか否かを判定する。このような判定も、視界が不良となる各種の状況を、基底行列Ｆ及び係数行列Ｇを求める際の学習データとすることで、精度良く認識することが可能になる。ステップＳ１７０において視界不良と判定された場合には、ステップＳ１８０にて、音声やブザーにて運転者に注意喚起したり、上述したように、ディスプレィ上で、視界不良と認識した対象位置を強調表示しつつ、画像表示することにより、運転者への注意喚起を行う。

同様に、ステップＳ１９０では、道路前方が人や車で混雑しているか否かを判定し、混雑していると判定した場合には、画像上において混雑領域を検出し（Ｓ２００）、その検出した混雑領域を強調表示しつつ、画像をディスプレィに表示する（Ｓ２１０）。この場合、音声やブザーによる注意喚起も併せて行っても良い。

（第２実施形態）
次に、本発明の第２実施形態による認識装置について説明する。本実施形態による認識装置は、上述した第１実施形態による認識装置と同様に構成されるので、構成に関する説明は省略する。

上述した第１実施形態では、入力行列Ｘに対する、基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとの積の差の二乗和（フロベニウスノルム）が最小となるように、入力行列Ｘを基底行列Ｆと係数行列Ｇとに分解した。

それに対して、本実施形態では、入力行列Ｘと、基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとの積とのダイバージェンスが最小となるように、入力行列Ｘを基底行列Ｆと係数行列Ｇとに分解する。特徴量がなんらかの頻度に基づくものである場合、頻度分布がどの程度異なっているかを測る尺度としてダイバージェンスが適切であることが知られている。そこで、本実施形態では、ダイバージェンスを最小化することで、入力行列Ｘと、基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとの積との分布がより近似するように、基底行列Ｆ及び係数行列Ｇを求める。

具体的には、学習部１００における基底分解部１４０では、以下の数式１１に示すコスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇとを求める。

上記数式１１における右辺の第１項により、入力行列Ｘと、基底行列Ｆと係数行列Ｇの転置行列Ｇ^Ｔとの積とのダイバージェンスが最小となるように、入力行列Ｘが基底行列Ｆと係数行列Ｇとに分解される。さらに、第２項により、係数行列Ｇに対して教示データによる事前知識が反映され、その結果、同一カテゴリのデータの係数行列Ｇの要素は類似し、異なるカテゴリのデータの係数行列Ｇの要素は極力非類似となるように、基底行列Ｆと係数行列Ｇとが強制的に修正される。

上述した数式１１に従って、基底行列Ｆと係数行列Ｇとを求める具体的な演算方法を以下の数式１２に示す。

数式１２の第１式により、基底行列Ｆが、コスト関数Ｊ（Ｆ，Ｇ）を最小化させる基底行列Ｆに近づくように更新される。なお、第２式は、更新した基底行列Ｆを正規化するためのものであり、この第２式は省略できる場合がある。

数式１２の第３式により、更新及び正規化された基底行列Ｆ、入力行列Ｘ、及び教示行列Ｃを用いて、係数行列Ｇが、コスト関数Ｊ（Ｆ，Ｇ）を最小化させる係数行列Ｇに近づくように更新される。

なお、第１実施形態と同様に、第３式における、Ｃ^＋は、教示行列Ｃの正の要素のみを残した行列であり、Ｃ⁻は、教示行列Ｃの負の要素のみを残し、符号を反転させた行列である。

上述した数式１２による、基底行列Ｆと係数行列Ｇの更新は、例えば予め定めた回数（例えば千回）、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。基底分解部１４０は、このような基底行列Ｆと係数行列Ｇとの更新を繰り返すことにより基底行列Ｆ及び係数行列Ｇを算出することができる。

次に、本実施形態の認識部２００における基底分解部２３０の演算内容について説明する。基底分解部２３０は、入力された画像データのＮ次元ベクトルをＮ行１列の入力行列ｙと置いた場合に、その入力行列ｙを、学習部１００により学習された基底行列Ｆと係数行列ｇとに分解する。そのため、基底分解部２３０は、以下の数式１３に示すコスト関数Ｊ（ｇ）を最小化する係数行列ｇを求める。

上述した数式１３に従って、係数行列ｇを求める具体的な演算方法を以下の数式１４に示す。

上述した数式１４による、係数行列ｇの更新は、例えば予め定めた回数、あるいは更新前後の変化量（差や比率）が所定値以下となるまで繰り返される。基底分解部２３０は、このような係数行列ｇの更新を繰り返すことにより係数行列ｇを算出する。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形することが可能である。

例えば、上述した実施形態では、画像の局所領域における輝度分布の勾配方向をヒストグラム化することにより、画像データをＮ次元のベクトルに変換した。しかしながら、画像データをＮ次元のベクトルに変換する手法は、上述した手法に限られず、その他の手法を適用しても良い。例えば、カラーデータ（ＲＧＢ）をＨＳＶ変換したり、画像信号をウェーブレット変換したり、画像の総ピクセル数がＮになるようにリサイズするなどして、画像データをＮ次元のベクトルに変換することが可能である。

さらに、学習データである画像データに対して、異なる複数の特徴変換を施し、その結果得られた異なる複数の特徴ベクトルを統合して、学習データに対応する特徴ベクトルとしても良い。すなわち、図５に示すように、特徴変換部１３０は、同一の画像データに対して、異なる複数の特徴変換１，２，…、Ｋを施すブロック１３１，１３２，１３３と、これらのブロック１３２〜１３３にて特徴変換されたベクトルを統合する統合部１３４とを備えるものであっても良い。

例えば、特徴変換１のブロック１３１にてＮ１次元のベクトルに変換し、特徴変換２のブロック１３２にてＮ２次元のベクトルに変換し、特徴変換ＫのブロックではＮＫ次元のベクトルに変換したとする。統合部１３４では、これらのベクトルを単純に組み合わせたＮ１+Ｎ２+…+ＮＫ＝Ｎ（次元）の特徴ベクトルとすれば良い。このように、複数の特徴ベクトルを統合することで、単一の特徴ベクトルでは認識が難しい認識対象であっても、認識精度の向上を図ることができる。

また、上述した実施形態では、画像データを対象として、学習及び認識を行なう例について説明したが、本発明は、動画像を対象として、学習及び認識を行なうことも可能である。

１００…学習部
１３０…特徴変換部
１４０…基底分解部
２００…認識部
２２０…特徴変換部
２５０…判定部
２６０…検出部

Claims (10)

1. Ｎ次元の特徴ベクトルにて表されたＤ個の学習データをＮ行Ｄ列の入力行列とし、当該入力行列を、基底ベクトルをまとめたＮ行Ｍ列の基底行列と、前記学習データのＮ次元特徴ベクトルを前記基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめたＤ行Ｍ列の係数行列の転置行列とに近似により分解する基底分解部と、
   認識すべき入力データが入力されたときに、前記基底行列を用いて、入力データに対応する係数行列を算出し、前記基底分解部により算出された係数行例との類似度に基づいて入力データの認識を行なう認識部と、を備えた認識装置であって、
   前記基底分解部は、前記学習データを前記基底行列と前記係数行列の転置行列とに近似により分解する際に、前記学習データのカテゴリを示す教示データを用いて、同じカテゴリに属する学習データが前記Ｍ次元の部分空間において接近し、異なるカテゴリに属する学習データが前記Ｍ次元の部分空間において離間するように、前記基底行列と前記係数行列とを定めることを特徴とする認識装置。
2. 前記基底分解部は、入力行列をＸ，基底行列をＦ，係数行列をＧ、教示データに基づいて、ｉ番目の学習データとｊ番目の学習データとが同じ種類である場合、ｉ行ｊ列及びｊ行ｉ列を負の値に設定し、ｋ番目の学習データとｌ番目の学習データとが異なる種類である場合、ｋ行ｌ列及びｌ行ｋ列を正の値に設定したＤ行Ｄ列の教示行列をＣとしたとき、以下の数式１で示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化するように、基底行列Ｆと係数行列Ｇを定めることを特徴とする請求項１に記載の認識装置。
   

   
3. 前記基底分解部は、前記数式１に示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇを求めるために、以下の数式２にて示される基底行列Ｆの更新と係数行列Ｇの更新を繰り返し実行することを特徴とする請求項２に記載の認識装置。
   

   
4. 前記基底分解部は、入力行列をＸ，基底行列をＦ，係数行列をＧ、教示データに基づいて、ｉ番目の学習データとｊ番目の学習データとが同じ種類である場合、ｉ行ｊ列及びｊ行ｉ列を負の値に設定し、ｋ番目の学習データとｌ番目の学習データとが異なる種類である場合、ｋ行ｌ列及びｌ行ｋ列を正の値に設定した教示行列をＣとしたとき、以下の数式３で示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化するように、基底行列Ｆと係数行列Ｇを定めることを特徴とする請求項１に記載の認識装置。
   

   
5. 前記基底分解部は、前記数式３に示されるコスト関数Ｊ（Ｆ，Ｇ）を最小化する基底行列Ｆと係数行列Ｇを求めるために、以下の数式４にて示される基底行列Ｆの更新と係数行列Ｇの更新を繰り返し実行することを特徴とする請求項４に記載の認識装置。
   

   
6. 前記教示行列Ｃにおいて、教示データが与えられない学習データに対応する要素は、ゼロに設定されることを特徴とする請求項２乃至請求項５のいずれかに記載の認識装置。
7. 前記学習データに対して、異なる複数の特徴変換を施し、その結果得られた異なる複数の特徴ベクトルを統合して、前記学習データに対応する特徴ベクトルとすることを特徴とする請求項１乃至６のいずれかに記載の認識装置。
8. 前記入力データは、画像の特徴量をＮ次元の特徴ベクトルにて表したものであり、
   前記画像において、基底行列のベクトルに対応する小領域を決定することにより、認識した対象の位置を決定する検出部を備えることを特徴とする請求項１乃至７のいずれかに記載の認識装置。
9. Ｎ次元の特徴ベクトルにて表されたＤ個の学習データをＮ行Ｄ列の入力行列とし、当該入力行列を、基底ベクトルをまとめたＮ行Ｍ列の基底行列と、前記学習データのＮ次元特徴ベクトルを前記基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめたＤ行Ｍ列の係数行列の転置行列とに近似により分解する基底分解ステップと、
   認識すべき入力データが入力されたときに、前記基底行列を用いて、入力データに対応する係数行列を算出し、前記基底分解部により算出された係数行例との類似度に基づいて入力データの認識を行なう認識ステップと、を備えた認識方法であって、
   前記基底分解ステップにおいて、前記学習データを前記基底行列と前記係数行列の転置行列とに近似により分解する際に、前記学習データのカテゴリを示す教示データを用いて、同じカテゴリに属する学習データが前記Ｍ次元の部分空間において接近し、異なるカテゴリに属する学習データが前記Ｍ次元の部分空間において離間するように、前記基底行列と前記係数行列とを定めることを特徴とする認識方法。
10. コンピュータにより、
    Ｎ次元の特徴ベクトルにて表されたＤ個の学習データをＮ行Ｄ列の入力行列とし、当該入力行列を、基底ベクトルをまとめたＮ行Ｍ列の基底行列と、前記学習データのＮ次元特徴ベクトルを前記基底ベクトルによるＭ次元の部分空間に写像するための係数データをまとめたＤ行Ｍ列の係数行列の転置行列とに近似により分解する基底分解手順と、
    認識すべき入力データが入力されたときに、前記基底行列を用いて、入力データに対応する係数行列を算出し、前記基底分解部により算出された係数行例との類似度に基づいて入力データの認識を行なう認識手順とを実行させるプログラムであって、
    前記基底分解手順において、前記学習データを前記基底行列と前記係数行列の転置行列とに近似により分解する際に、前記学習データのカテゴリを示す教示データを用いて、同じカテゴリに属する学習データが前記Ｍ次元の部分空間において接近し、異なるカテゴリに属する学習データが前記Ｍ次元の部分空間において離間するように、前記基底行列と前記係数行列とを定めることを特徴とするプログラム。

Images