JP2011141866A - データ分類装置、データ分類システムおよびプログラム - Google Patents

Abstract

【課題】 多次元の特徴量を有するデータの分類精度をより高めたデータ分類の手段を提供する。
【解決手段】 データ分類装置は、特徴量演算部と、データ分類部とを備える。特徴量演算部は、ｎ個の成分を含む第１特徴量を有する分類対象データから、ｎより小さいｍ個の成分からなる第２特徴量を求める。データ分類部は、第２特徴量を用いて、複数種類の分類対象データを、第１グループと、第１グループと異なる第２グループとに分類する。また、特徴量演算部は、第２特徴量の少なくとも１以上の成分として、第１グループに属する分類対象データを用いて求めた第１分散値と、第２グループに属する分類対象データを用いて求めた第２分散値との比が極値をとる成分を含める。
【選択図】 図１

Description

本発明は、データ分類装置、データ分類システムおよびプログラムに関する。

従来から、複数の変数を有するデータについて、変数間の相互関連を分析することでデータの分類を行う多変量解析の手法として、例えば主成分分析や判別分析が広く知られている。

主成分分析は、多次元の特徴量空間中で射影により新たな特徴量を算出する手法である。主成分分析では、特徴量の分散が大きくなれば各要素が広範囲に散らばってより容易に分類を行えるため、上記の射影軸は全要素の分散が大きくなるように決定される。

一方、判別分析は、主成分分析を拡張した考えであって、データを分類した各グループ内の分散値は小さく、かつグループ間の分散値が大きくなるような特徴量を求める手法である。例えば、特許文献１には、判別分析の一手法の例が開示されている。

特許第３４８０５６３号公報

ところで、従来の主成分分析の手法では、分類対象のデータ全体で特徴量の分散が最も大きくなる射影軸を探すため、注目するグループに属する要素が射影によってばらつくことで、データの分類精度が不十分となる場合も生じうる。

また、従来の判別分析の手法では、例えば分類対象のデータ群に、いずれのグループとも相関の低い特殊なデータが含まれていた場合、このような特殊なデータの振る舞いによってデータ全体の分類精度が低下しうる点で改善の余地があった。

そこで、本発明は、多次元の特徴量を有するデータの分類精度をより高めたデータ分類の手段を提供することを目的とする。

一の態様のデータ分類装置は、特徴量演算部と、データ分類部とを備える。特徴量演算部は、ｎ個の成分を含む第１特徴量を有する分類対象データから、ｎより小さいｍ個の成分からなる第２特徴量を求める。データ分類部は、第２特徴量を用いて、複数種類の分類対象データを、第１グループと、第１グループと異なる第２グループとに分類する。また、特徴量演算部は、第２特徴量の少なくとも１以上の成分として、第１グループに属する分類対象データを用いて求めた第１分散値と、第２グループに属する分類対象データを用いて求めた第２分散値との比が極値をとる成分を含める。

上記の一の態様において、第１グループは、注目すべき特性が共通する分類対象データを抽出したグループであってもよい。また、特徴量演算部は、第１分散値に対して第２分散値が大きくなる成分を第２特徴量に含めてもよい。

上記の一の態様において、特徴量演算部は、第１特徴量による特徴量空間での特徴量の射影から第２特徴量を求めてもよい。また、特徴量演算部は、第１グループでの射影成分による第１分散値に対して、第２グループでの射影成分による第２分散値の比が大きくなるように、第２特徴量の成分を決定してもよい。

このとき、特徴量演算部は、第１グループに対応した複数の第１教師データから得られた第１分散共分散行列の逆行列と、第２グループに対応した複数の第２教師データから得られた第２分散共分散行列とを用いて求めた行列の固有値方程式により、第２特徴量の成分を決定してもよい。

上記の一の態様において、特徴量演算部は、第２特徴量の成分の候補が、第１分散値に対する第２分散値の比が閾値を超えるときに、上記の候補を第２特徴量の成分に決定してもよい。

また、上記の候補の第１分散値に対する第２分散値の比が閾値を超えないときに、特徴量演算部は、上記の候補について第１グループおよび第２グループでの射影成分の平均値の差分と第２グループの偏差値との比が所定値を超える場合に、上記の候補を第２特徴量の成分に決定してもよい。

上記の一の態様において、分類対象データが画像データであってもよい。このとき、データ分類装置は、データ分類部による分類結果に応じて、入力される画像に対する画像処理のパラメータを決定するパラメータ決定部をさらに備えていてもよい。

なお、一の態様のデータ分類装置を含む撮像装置またはデータ分類システム、コンピュータを一の態様のデータ分類装置として動作させるプログラム、上記のプログラムを記憶した記憶媒体、一の態様に係るデータ分類装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。

一の態様のデータ分類装置は、２つのグループの分類対象データに基づく各分散値の比が極値をとる成分を用いてデータの分類を行い、分類対象データの分類精度をより高めることができる。

一の実施形態でのデータ分類装置の構成例を示すブロック図 主成分分析の手法の概念図 主成分分析におけるＷ軸上での要素の分布例を示す図 判別分析でのクラス分布の概念図 判別分析でのベクトルの関係を示す図 判別分析におけるＷ軸上での要素の分布例を示す図 一の実施形態のデータ分類処理におけるＷ軸上での要素の分布例を示す図 一の実施形態での学習処理の例を示す流れ図 一の実施形態でのデータ分類処理の例を示す流れ図 グループＡ，Ｂの中心が一致する場合において、独立した成分の数と誤確率Ｉ_Bとの相関を示す図 グループＡ，Ｂの中心のズレによる誤確率Ｉ_Bの推移の例を示す図 グループＡ，Ｂの中心がズレている場合において、独立した成分の数と誤確率Ｉ_Bとの相関を示す図 実施例における３次元特徴量空間での要素の分布例を示す図 実施例における３次元特徴量空間での要素の分布例を示す図 実施例における３次元特徴量空間での要素の分布例を示す図 比較例における３次元特徴量空間での要素の分布例を示す図 比較例における３次元特徴量空間での要素の分布例を示す図 比較例における３次元特徴量空間での要素の分布例を示す図

＜一の実施形態での装置構成例＞
図１は、一の実施形態でのデータ分類装置の構成例を示すブロック図である。一の実施形態では、撮像装置で撮像された画像データをデータ分類装置での分類対象とする例を説明する。なお、分類対象の画像データには、撮像時のＡＦで取得した画像内の５１点の測距情報や、撮像時に分割測光センサで取得した画像内の３０８ブロック（２２×１４ブロック）でのＲＧＢの階調値を含む撮影情報が付帯情報として記録されている。

また、一の実施形態でのデータ分類装置は、データ分類プログラムがインストールされたパーソナルコンピュータで構成される。

図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。

データ読込部１２は、上記の分類対象データ（画像データ）や、上記のデータ分類プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。

記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、データ分類プログラムや、プログラムの実行に必要となる各種のデータが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ分類対象データを記憶しておくこともできる。

ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、上記のデータ分類プログラムの実行によって、特徴量演算部２１、データ分類部２２、パラメータ決定部２３、画像処理部２４としてそれぞれ機能する（特徴量演算部２１、データ分類部２２、パラメータ決定部２３、画像処理部２４の各動作は後述する）。

メモリ１５は、データ分類プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。

＜データ分類処理の概念説明＞
次に、一の実施形態でのデータ分類処理を説明する。なお、本明細書では、理解の便宜のため、従来技術である主成分分析および判別分析の概略を最初に説明し、その後に一の実施形態でのデータ分類処理の手法を詳細に説明する。

（主成分分析の概略説明）
図２は、主成分分析の手法の概念を示す図である。例えば、注目する１つの要素（分類対象データ）が、ｎ次元の特徴量ベクトルを用いてｎ次元の特徴量空間中の１点で表現されているとする。また、上記の特徴量空間中にはＮ個の要素が存在し、かつ各要素がグループＡか、グループＡ以外のグループＢに属している場合を考える。

主成分分析は、各要素を表現するときにｎより小さい数の特徴量で、各要素を分離表現する最適な特徴量を求める手法であり、特徴量空間で分散値が最大となる射影軸Ｗを求める。なお、主成分分析におけるＷ軸上での要素の分布例を図３に模式的に示す。このＷ軸上ではそれぞれの特徴点が最も重ならずに分布するため、より少ない次元数で各要素を分離させて表現できることが分かる。

したがって、上記の式（１）は、下式（３）で表現できる。

なお、上記の各式において、ベクトルはｎ×１の行列であるものとし、添字のＴは行列の転置を意味している。また、式（３）のＳ_totは、下式（４）で表現できるｎ×ｎの対称行列であって、分散共分散行列と称される。

上記の式（３），式（４）によれば、分散共分散行列を単位射影ベクトルで挟むと、注目する射影軸での分散値が得られることが分かる。

そして、主成分分析の演算では、上記の式（３）で定義される分散が最大となる単位射影ベクトルを求めればよい。

一般に、上記の式（５）ではＳ_totがｎ次のとき、ｎ個の独立な解が存在することが知られている。よって、主成分分析では、添字ｌがｌ番目の解を表すときに、下式（６）の極値を求める問題を解くことが行われている。

（判別分析の概略説明）
図４は、判別分析でのクラス分布の概念図である。判別分析では、Ｎ個の要素がｋ個のクラスに分類されるとともに、各要素がいずれかのクラスに属していることを前提とする。なお、以下の説明では、それぞれのクラスをＣ_kと表記する。

式（８）−（１０）の関係を用いると、上記の式（４）で定義された系全体の分散共分散行列を下式（１１）のように書き換えることができる。

ただし、上記の式（１１）の導出において、

を導入した。

上記の式（４）と同様に考えると、クラスＣ_jでのクラス内分散共分散行列は、Ｃ_jのみの要素を用いて下式（１３）で定義できる。また、各クラスの平均ベクトルの分散は下式（１４）で定義できる。

よって、式（１３），（１４）から、上記の式（１１）は下式（１５）で表現できることが分かる。

上記の式（１５）は、式（４）で定義された系全体の分散共分散行列が、各クラスのクラス内分散共分散行列と、クラス間の分散共分散行列とに分離可能であることを示している。

ここで、分散共分散行列を単位射影ベクトルで挟むと、下式（１６）に示すように射影軸での分散値を得ることができる。

上記の式（１６）により、単位射影ベクトルによって射影されたＷ軸での系全体の分散が、各クラスのクラス内分散の総和と、クラス間分散の和とに分解できることが分かる。

なお、判別分析におけるＷ軸上での要素の分布例を図６に模式的に示す。

よって、判別分析では、

このとき、上記の式（１７）に対して、

となる。

上記の式（１８）において、

そのため、クラス内の分散値の総和とクラス間の分散値とを個別に求める場合は、式（１８）で得られる単位射影ベクトルを、式（１３）および式（１４）で定義された分散共分散行列に作用させて演算すればよい。

（主成分分析および判別分析の検討）
本願の発明者は、従来技術の主成分分析および判別分析をそれぞれ検討し、以下の問題点を見いだした。

まず、主成分分析について発明者が見いだした問題点を述べる。各要素の座標点の距離が離れていた方が、各要素を区別しやすいという概念は自然な考えである。しかし、注目すべき特性が共通し、１つのグループにまとめたい要素の集合はなるべく座標上の位置に集めた方がより自然である。

次に、判別分析について発明者が見いだした問題点を述べる。各種の要素を想定したときに、いずれのグループ（クラス）にも属さない無意味な要素は必ず存在する。判別分析では、すべての要素がいずれかのクラスに属し、各クラスのクラス内分散が小さくなる特徴量を求める。しかし、上記した無意味な要素をいずれかのグループに属させてクラス内分散を小さくする特徴量を求めると、あるグループでは、グループ内の要素の相関が低いため、却って全体の分析結果に悪影響を及ぼすおそれがある。

（一の実施形態でのデータ分類処理の基本概念）
本願の発明者は、上記の主成分分析および判別分析の問題点に鑑みて、一の実施形態でのデータ分類処理の手法を案出した。このデータ分類処理の手法は、ｎ個の成分を含む第１特徴量を有する分類対象データ（要素）から、ｎより小さいｍ個の成分からなる第２特徴量を求め、この第２特徴量を用いて要素を分類する。また、一の実施形態でのデータ分類処理の手法は、以下の（Ａ）−（Ｃ）の特徴を有している。
（Ａ）分類対象データを、注目すべき特性が共通する分類対象データを抽出したグループＡと、グループＡと異なるグループＢとの２つのグループに分類する。
（Ｂ）グループＡでの要素のクラス内分散は小さくする。
（Ｃ）グループＢでの要素のクラス内分散は大きくする。

なお、特に限定するものではないが、一の実施形態でのデータ分類処理では、さらに以下に示す（Ｄ）の条件を付加してもよい。
（Ｄ）グループＡとグループＢとの中心点（平均特徴量）はなるべく離す。

一の実施形態のデータ分類処理におけるＷ軸上での要素の分布例を図７に模式的に示す。一の実施形態では、注目する特性が共通する要素を含むグループＡのクラス内分散を小さくし、かつ注目する要素以外の要素を主に含むグループＢのクラス内分散を大きくするような成分を求める。

この場合、グループＡの要素はＷ軸上で小さくまとまる一方で、グループＢの要素はＷ軸上に広く分布することとなる。これにより、一の実施形態のデータ分類処理では、グループＡおよびグループＢの要素の重なりは小さくなり、全要素からグループＡの要素を十分抽出しうる。また、一の実施形態のデータ分類処理では、グループＢの要素の分散が大きくなるため、グループＡの要素と相関の低い要素が分類対象データに含まれる場合でも、分類結果に悪影響を及ぼすおそれがより低くなる。

ここで、一の実施形態でのデータ分類処理で解くべき問題は、上記の（Ａ）−（Ｃ）の条件から、上記の式（１８）とほぼ同様な以下の固有値問題（式（２０））に帰着する。また、さらに上記の（Ｄ）の条件を考慮に入れた場合には、下式（２１）のようになる。

ただし、上記の式（２０），式（２１）において、「Ｓ_A」は、グループＡの要素で算出される分散共分散行列（ｎ×ｎの対称行列）である。同様に、「Ｓ_B」は、グループＢの要素で算出される分散共分散行列（ｎ×ｎの対称行列）である。

また、上記の式（１４）と比較して、上記の式（２２）の定義式には、各クラスの要素数と全要素数との割合（ｎ_Cj）の項が含まれていない。これは、学習においてグループＡとグループＢとの要素数が違いすぎるときに、要素数の多いグループの効果が学習結果に大きく影響することを防ぐためである。

なお、上記のデータ分類処理の射影演算は、入力特徴量を用いる単純な線形演算であるため、比較的少ない負荷でコンピュータに実行させることができる。

＜一の実施形態でのデータ分類装置の動作例＞
以下、図１に示すデータ分類装置の動作例を説明する。図１のデータ分類装置は、教師付き学習によってデータ分類処理で用いる成分を予め決定するとともに、教師付き学習で求めた成分を用いてデータ分類処理を実行する。また、一の実施形態では、データ分類処理の一例として、撮像装置で撮像された画像をシーン別に分類する場合を説明する。

（学習処理の一例）
まず、図８の流れ図を参照しつつ、一の実施形態での学習処理の例を説明する。ここで、図８の流れ図の処理は、プログラムの実行指示に応じてＣＰＵ１４が実行する。なお、以下に示す学習処理は、データ分類装置（またはプログラム）の製造者が予め製造工程で実行してもよく、あるいはデータ分類装置を購入したユーザが実行するものであってもよい。

ステップＳ１０１：ＣＰＵ１４は、複数の教師画像データをデータ読込部１２から読み込んで取得する。

ここで、各々の教師画像データは、上記の分類対象データとほぼ同様の画像データであって、ｎ個の成分を含む第１特徴量をそれぞれ有している。一の実施形態では、画像データに対応付けされた撮影情報を第１特徴量として用いる例を説明する。具体的には、ＣＰＵ１４は、画像内の５１点の測距情報や、画像内の３０８ブロックのＲ面，Ｇ面，Ｂ面での階調値情報のいずれかを第１特徴量とする。

また、各々の教師画像は、予め評価者によってシーンごとに分類されている。一の実施形態でのシーンは、例えば、「ポートレート」、「夜景」、「風景・造形（構造物など）」、「その他」の４種類の分類を含むものとする。また、各画像に相応するシーンを示す正解データは、各々の教師画像データに対応付けされている。なお、Ｓ１０１で取得された教師画像データ、第１特徴量のデータおよび正解データは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。

ステップＳ１０２：ＣＰＵ１４は、正解データを参照して、全ての教師画像のデータを、注目する特性が共通する要素を含むグループＡと、グループＡとは異なるグループＢとに分類する。例えば、ＣＰＵ１４は、注目する特性を「ポートレート」とした場合、正解データを参照して、「ポートレート」の教師画像データ（要素）をグループＡに属させるとともに、残りの教師画像データ（要素）をグループＢに属させる。

ステップＳ１０３：特徴量演算部２１は、グループＡの要素から算出される分散共分散行列Ｓ_Aと、グループＢの要素から算出される分散共分散行列Ｓ_Bとをそれぞれ求める。なお、一の実施形態では、各要素の第１特徴量のベクトルはｎ×１の行列で表現され、各々の分散共分散行列はｎ×ｎの対称行列で表現される。例えば、５１点の測距情報を第１特徴量とした場合、第１特徴量のベクトルは５１×１の行列で表現される。

ステップＳ１０４：特徴量演算部２１は、分散共分散行列Ｓ_Aの逆行列と、分散共分散行列Ｓ_Bと、単位射影ベクトルとを用いた行列の固有値方程式（上記の式（２０）または式（２１）の演算）を解く。なお、分散共分散行列はｎ×ｎの対称行列であるので、ここでの固有値問題は、ｎ個の固有値と、各固有値に対応したｎ個の異なる単位射影ベクトルとをもつ。上記の射影ベクトルは、第２特徴量の成分候補となる。

なお、Ｓ１０４での特徴量演算部２１は、上述の主成分分析の手法または判別分析の手法で第２特徴量の成分候補となる複数の射影ベクトルを求めてもよい。また、Ｓ１０４での特徴量演算部２１は、上記の式（２０）または式（２１）の演算で求めた射影ベクトルと、主成分分析の手法および判別分析の手法で求めた射影ベクトルとを、すべて第２特徴量の成分候補としてもよい。

ステップＳ１０５：特徴量演算部２１は、上記の固有値（Ｓ１０４で求めたもの）に基づいて、データ分類処理に用いる第２特徴量の成分（単位射影ベクトル）を選択する。このとき、特徴量演算部２１は、グループＡの第１分散値に対するグループＢの第２分散値の比（第２分散値／第１分散値）が最大の極値をとる固有値に対応する単位射影ベクトルを第１成分に選択する。また、特徴量演算部２１は、第２分散値／第１分散値の大きさの順で、第２成分以下の成分を選択してもよい。

ここで、Ｓ１０５での特徴量演算部２１は、第２特徴量の成分の候補（ある固有値と単位射影ベクトルとの組み合わせ）について、第１分散値に対する第２分散値の比（第２分散値／第１分散値）が閾値を超えるときに、上記の候補を第２特徴量の成分に決定することができる。グループＢの第２分散値が小さいときには、Ｗ軸上でグループＡの要素とグループＢの要素とが大きく重なることで、誤判定率が高くなるからである。なお、一例として、上記の閾値は、第２分散値／第１分散値の比が少なくとも４倍を超える範囲で適宜設定される。

また、第２特徴量の成分の候補について、第１分散値に対する第２分散値の比が閾値を超えないときでも、特徴量演算部２１は、上記の候補についてグループＡおよびグループＢでの射影成分の平均値の差とグループＢの偏差値との比が所定値を超えて十分に大きい場合は、上記の候補を第２特徴量の成分に決定してもよい。

この場合は、グループＡおよびグループＢの偏差比が小さいが、Ｗ軸上においてグループＡの中心とグループＢの中心とが十分離れているケースに相当する。上記のケースの成分を適用して分類処理を行う場合には、問題は少ないと考えられるからである。なお、一例として、上記の所定値は、少なくとも３倍よりも大きな値の範囲で適宜設定される。

以上で、図８の流れ図の説明を終了する。なお、データ分類装置は、上記の学習処理において、例えば、５１点の測距情報を第１特徴量として求めた成分と、３０８ブロックのＲ面の階調値を第１特徴量として求めた成分と、３０８ブロックのＧ面の階調値を第１特徴量として求めた成分と、３０８ブロックのＢ面の階調値を第１特徴量として求めた成分と、を求める。そして、特徴量演算部２１は、例えば、第２分散値／第１分散値の比の大きい順に成分を抽出することで、最終的にｍ個の成分からなる第２特徴量を決定することができる。なお、限定するものではないが、第２特徴量の成分は３つ以上であることが好ましい（理由は後述する）。

なお、図８は、「ポートレート」の画像がグループＡに属するときの第２特徴量の例を説明したが、他のシーンを分類する場合の学習処理についても上記と同様の手順で行うことができる。

（データ分類処理の一例）
次に、図９の流れ図を参照しつつ、一の実施形態でのデータ分類処理の例を説明する。なお、図９の流れ図の処理は、プログラムの実行指示に応じてＣＰＵ１４が実行する。

ステップＳ２０１：ＣＰＵ１４は、分類対象データ（画像データ）をデータ読込部１２から読み込んで取得する。ここで、Ｓ２０１で取得される分類対象データとしての画像は、上記の教師画像とは異なり、データ分類装置にとってシーンが未知の画像である。なお、上記の分類対象データは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。

ステップＳ２０２：特徴量演算部２１は、分類対象データ（Ｓ２０１）の撮影情報を用いて、上記の学習処理で決定された第２特徴量の成分をそれぞれ求める。

ステップＳ２０３：データ分類部２２は、第２特徴量（Ｓ２０２）に基づいて、分類対象データを特徴量空間に射影する。そして、データ分類部２２は、特徴量空間に射影された分類対象データの値と、特徴量空間でのグループＡの中心値との距離に応じて、分類対象データがグループＡに属するか否かを判定する。

例えば、第２特徴量の各成分（ｉ軸）でのグループＡの平均値、偏差値をそれぞれ「ｃ_i，σ_i」とし、分類対象データのｉ軸への射影成分を「ｘ_i」としたとき、データ分類部２２は、下式（２３）の演算を行い、グループＡの要素との判別パラメータγを求める。そして、データ分類部２２は、判別パラメータγの値が１以下であれば、分類対象データがグループＡに属すると判定する。

上記の式（２３）において「ａｌｌ．ｃｏｍ」は第２特徴量の全成分を示している。また、上記の式（２３）において「α」は、ｉ軸に射影された値がグループＡの平均値から離れているかどうかを判断するパラメータである。このパラメータαの値は、理想的なＧａｕｓｓ分布で分布するサンプルの９９％が含まれる距離に基づいて、通常は３．０程度の値に設定される。もっとも、パラメータαの値は必要に応じて適宜調整してもよい。

例えば、グループＡとグループＢとの偏差の比が十分大きなときには、グループＡとグループＢとの分布が重なる部分が少ないので、αの値を大きくしてもよい。また、グループＡとグループＢとの偏差の比が同程度であって、グループＡおよびグループＢのｉ軸での平均値が、グループＡの偏差値と比べて十分に離れている場合も、グループＡとグループＢとの分布が重ならないため、αの値を大きくしてもよい。

ステップＳ２０４：ＣＰＵ１４は、Ｓ２０３での判定結果に基づいて各種の処理を実行する。

一例として、Ｓ２０４でのＣＰＵ１４は、Ｓ２０３での判定結果（分類対象データがグループＡに属するか否か）をモニタ１９に表示してもよい。また、ＣＰＵ１４は、分類対象データがグループＡに属する場合には、画像のシーンを示す情報を付帯情報として分類対象データに対応づけて記録してもよい。

また、Ｓ２０４でのＣＰＵ１４は、複数の分類対象データについて、それぞれＳ２０２、Ｓ２０３の処理を実行し、複数の分類対象データのうちからグループＡに属する画像のみを抽出してもよい。

また、Ｓ２０４でのデータ分類装置は、Ｓ２０３の判定結果に応じて、所定のグループの画像データに施す画像処理を変更してもよい。

一例として、Ｓ２０３において、グループＡの画像として「ポートレート」の画像を抽出する場合、パラメータ決定部２３は、グループＡに属する画像の画像処理のパラメータを以下のように決定する。まず、パラメータ決定部２３は、階調変換処理のパラメータとして、デフォルトの階調曲線よりも相対的にコントラストが低めになる軟調の階調曲線を選択する。また、パラメータ決定部２３は、色変換処理のパラメータとして、肌色の彩度を向上させる色変換マトリクスを選択する。

そして、画像処理部２４は、パラメータ決定部２３が決定した上記のパラメータを用いて、グループＡに属する画像のデータに画像処理を施す。これにより、データ分類装置は、ポートレートと判定された画像について、顔の柔らかさの表現が強調されるとともに、人物の肌色のくすみなどが軽減されるレタッチ処理を行うことができる。

なお、上記の画像処理は一例にすぎず、パラメータ決定部２３は、ポートレートの画像に対する画像処理のパラメータとして、他のパラメータを変更してもよい。勿論、パラメータ決定部２３は、グループＡの画像として「ポートレート」以外の画像が抽出される場合には、グループＡのシーンに相応する画像処理のパラメータを選択することはいうまでもない。以上で図９の流れ図の説明を終了する。

＜一の実施形態の手法における正誤確率について＞
ここで、一の実施形態のデータ分類手法における正誤確率について説明する。以下の説明では、簡単のため、理想的な分布で要素が分布する系を考えることとし、上記の手法で算出された射影軸Ｗにおいて、グループＡ，Ｂの各要素が、下式（２４）に示すＧａｕｓｓ分布で分布するものとする。

ただし、式（２４）で添字ｉは、グループＡ，Ｂを区別するために記した。このとき、式（２４）の分布では、中心周りの±σに分布する確率は積分により求めることができ、下式（２５）で表すことができる。

いま、上記の式（２０）を解いた結果として、σ_B〜１０σ_Aとなる射影ベクトルが見つかった場合を考える。

σ_B〜１０σ_Aを式（２５）に用いると、グループＡに属すべき要素がグループＡと正しく判定される正解確率Ｉ_Aと、グループＢに属すべき要素がグループＡと誤って判定される誤確率Ｉ_Bとがそれぞれ下式（２６）で求められる。

式（２６）によれば、式（２０）で得られる１つの成分Ｗについて、おおまかな正誤確率を見積もることができる。さらに独立した成分を複数存在する場合、各成分でそれぞれ上記の正誤確率（Ｉ_A，Ｉ_B）を求めることができる。

仮にｎ個の独立した成分Ｗが存在する場合、式（２６）による正誤確率は図１０のように推移する。一例として、独立した成分Ｗを３種類見つけた場合、上記の正誤確率（Ｉ_A，Ｉ_B）は下式（２７）で表すことができる。

以上から、一の実施形態でのデータ分類手法では、線形射影で得られる独立な成分が３種類存在すれば、単純な線形３次元特徴空間での判別で誤確率を非常に小さくできることが分かる。

なお、上記の見積もりでは、グループＡ，Ｂにおいて要素の分布の平均値が等しいことを前提としている。しかし、上記（Ｄ）の条件（「グループＡとグループＢとの中心点はなるべく離す」）を考慮し、上記の式（２１）によって成分Ｗを求めれば、誤確率をさらに抑制できることが予想できる。

一例として、グループＡ，Ｂの分布関数の中心（平均ベクトルのＷ方向の成分）Ｌσ_Aだけズレている場合を考える。この場合、式（２６）の計算において、誤判定率Ｉ_Bは下式（２８）に示すように変化する。

図１１は、グループＡ，Ｂの中心のズレによる誤確率Ｉ_Bの推移の例を示す図である。図１１によれば、σ＝１０σ_Aの条件からグループＢの分布がなだらかなため、中心のズレによる誤確率の推移も比較的になだらかであると分かる。

一方、図１２は、グループＡ，Ｂの中心がズレている場合において、独立した成分の数と誤確率Ｉ_Bとの相関を示す図である。図１２によれば、独立した成分の軸が増加すると、誤確率が急激に低下することが分かる。

よって、一の実施形態でのデータ分類手法の誤確率Ｉ_Bは、グループＡ，Ｂの中心のズレよりも、第２特徴量の成分の数に大きく依存する。また、一の実施形態でのデータ分類手法では、第２特徴量の成分として、独立した３種類の成分があれば誤確率Ｉ_Bを非常に小さくできることが分かる。

＜実施例＞
以下、上記実施形態のデータ分類装置によるデータ分類処理の実施例を説明する。この実施例では、上記実施形態と同様の分類対象データを用いて、上記実施形態の手法によるデータ分類処理で画像のシーンの判別を行った。このとき、第１特徴量として、５１点の測距情報（実施例ではＡＦ面と称する）と、分割測光センサの出力から生成されたＹＣｂＣｒ各面での３０８ブロック（２２×１４）の階調値とを用いた。なお、Ｃｂ面の３０８ブロックの階調値は、Ｂ面からＧ面を減算して擬似的に生成した。また、Ｃｒ面の３０８ブロックの階調値は、Ｒ面からＧ面を減算して擬似的に生成した。また、Ｙ面の３０８ブロックの階調値には、Ｇ面の階調値を用いている。

そして、実施例では、複数の教師画像データを用いて、「風景・造形」の画像をグループＡとし、それ以外の画像をグループＢとする学習処理をデータ分類装置に実行させた。これにより、ＡＦ面、Ｙ面、Ｃｂ面、Ｃｒ面において、それぞれ上位３つの成分を抽出した。実施例では、上記の成分のうち、Ｙ面、Ｃｂ面、Ｃｒ面の各第１成分を第２特徴量とした。その後、実施例のデータ分類装置は、８１４枚の「風景造形画像」と、１２１０枚の「それ以外の画像」とを分類対象として、上記の式（２３）の判別式でα＝６．０としてデータ分類処理を実行した。表１に実施例での分類結果を示す。

また、図１３−図１５は、実施例における３次元特徴量空間での要素の分布例を示す図である。図１３は、グループＡの要素の分布を示し、図１４は、グループＢの要素の分布を示している。また、図１５は、グループＡ，Ｂの要素の分布を示している。実施例では、グループＡの要素は３次元特徴量空間で比較的まとまっている一方で、グループＢの要素は３次元特徴量空間に広く分布していることが分かる。

また、比較例として、従来の判別分析によって実施例と同様のデータ分類を行った結果を表２に示す。比較例では、グループＡの画像の正解確率は実施例とほぼ同様であるが、グループＢの画像の正解確率および誤確率は実施例よりも大きく低下していることが確認できる。

また、図１６−図１８は、比較例における３次元特徴量空間での要素の分布例を示す図である。図１６は、グループＡの要素の分布を示し、図１７は、グループＢの要素の分布を示している。また、図１８は、グループＡ，Ｂの要素の分布を示している。従来の判別分析の場合は、グループＡ，Ｂの要素はいずれも３次元特徴量空間で類似した分布を示している。このことからも、比較例では、実施例と比べて分類の誤確率が高くなることが推測できる。

＜実施形態の補足事項＞
（１）上記実施形態では、データ分類装置が行列による線形変換で第２特徴量の成分を導出する例を説明した。しかし、本発明のデータ分類装置は、公知の非線形変換の手法を用いて第２特徴量の成分を導出するものであってもよい。

（２）上記実施形態では、注目する要素を分類するグループが１つである例を説明した。しかし、本発明のデータ分類装置は、注目する要素を分類するグループが複数ある場合にも応用できる。

例えば、それぞれ注目する要素を分類するためのグループＡ，Ｂ，Ｃと、その他の要素を分類するグループＺとを設定する場合を考える。このとき、グループＡ，Ｂ，Ｃの各偏差値をσ_A，σ_B，σ_Cとし、グループＡ，Ｂ，Ｃ間でのグループ間の偏差値をσ_AB，σ_BC，σ_CAとする。また、グループＺの偏差値をσ_Zとする。

なお、上記の式（２９）の手法は、グループＺの分散を小さくする条件がない点と、グループＺと他のグループとの距離は考慮する必要がない点が、従来の判別分析の手法と相違する。

（３）上記実施形態では、第１特徴量から演算で導出された成分をそのまま第２特徴量の成分として用いる例を説明した。しかし、本発明では、学習処理での実験結果に基づいて、第１特徴量から導出された成分をチューニングし、チューニング後の成分を第２特徴量の成分としてもよい。

（４）上記実施形態では、特徴量演算部２１、データ分類部２２、パラメータ決定部２３、画像処理部２４の各処理をソフトウエア的に実現する例を説明したが、ＡＳＩＣによってこれらの各処理をハードウエア的に実現しても勿論かまわない。

（５）上記実施形態で開示されるデータ分類装置は、抽出すべき第２特徴量の成分（射影ベクトル）を規定した変換式を学習処理で求める第１の装置と、上記の変換式を用いてデータ分類処理を行う第２の装置とを含むデータ分類システムとして把握することもできる。上記実施形態では、簡単のため、第１の装置および第２の装置が同一の装置である場合を説明したが、第１の装置と第２の装置とは異なる装置であっても勿論かまわない。なお、一例として、上記実施形態において図８に示す学習処理が第１の装置の動作に相当し、図９に示すデータ分類処理が第２の装置の動作に相当する。

（６）本発明のデータ分類装置（上記（５）のデータ分類システムにおける第２の装置）は、電子カメラ、イメージスキャナを含む撮像装置に実装されるものであってもよい（なお、撮像装置の構成の図示は省略する）。この場合、データ分類装置は、撮像部から分類対象となる画像のデータを取得し、製造工程等で行われた学習処理によって取得した第２特徴量を用いて、画像のデータを分類すればよい。なお、電子カメラに実装されたデータ分類装置では、シーン判別の結果に基づいて、パラメータ決定部が、撮影条件のパラメータ（絞り値、露光期間、撮像感度など）や、画像処理のパラメータ（階調特性、ホワイトバランス、色変換マトリクスなど）を設定することも可能である。

（７）上記実施形態では、撮像装置の各種センサが画像撮影時に取得した撮影情報を第１特徴量とする例を説明したが、例えば、分類対象の画像自体を解析して得た特徴ベクトルを第１特徴量としてもよい。また、上記実施形態の例において、画像の輝度勾配成分（エッジ成分）などから第１特徴量を抽出してもよい。

（８）上記実施形態でのデータ分類装置は、分類対象となる画像のシーン分類を行う例を説明したが、本発明における分類対象は上記実施形態の例に限定されるものではない。

例えば、本発明のデータ分類装置は、多様な人物の顔を撮影した画像を教師データとし、特定の表情（笑顔や目を閉じた顔）の画像を抽出する用途に応用することもできる。または、本発明のデータ分類装置は、顕微鏡観察で同一種類の培養細胞を撮像した画像を教師データとし、特定状態の培養細胞（例えば分化誘導された細胞）の画像を抽出する用途に応用することもできる。

さらに、本発明のデータ分類装置は、画像の分類を行う構成に限定されず、主成分分析や判別分析が適用可能であって、多次元の特徴量を有する統計データの分類に広く応用できる。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…特徴量演算部、２２…データ分類部、２３…パラメータ決定部、２４…画像処理部

Claims (19)

1. ｎ個の成分を含む第１特徴量を有する分類対象データから、ｎより小さいｍ個の成分からなる第２特徴量を求める特徴量演算部と、
   前記第２特徴量を用いて、複数種類の前記分類対象データを、第１グループと、前記第１グループと異なる第２グループとに分類するデータ分類部と、を備え、
   前記特徴量演算部は、前記第２特徴量の少なくとも１以上の成分として、前記第１グループに属する前記分類対象データを用いて求めた第１分散値と、前記第２グループに属する前記分類対象データを用いて求めた第２分散値との比が極値をとる成分を含めるデータ分類装置。
2. 請求項１に記載のデータ分類装置において、
   前記第１グループは、注目すべき特性が共通する前記分類対象データを抽出したグループであり、
   前記特徴量演算部は、前記第１分散値に対して前記第２分散値が大きくなる成分を前記第２特徴量に含めるデータ分類装置。
3. 請求項１または請求項２に記載のデータ分類装置において、
   前記特徴量演算部は、前記第１特徴量による特徴量空間での特徴量の射影から前記第２特徴量を求めるとともに、
   前記第１グループでの射影成分による前記第１分散値に対して、前記第２グループでの射影成分による前記第２分散値が大きくなるように、前記第２特徴量の成分を決定するデータ分類装置。
4. 請求項３に記載のデータ分類装置において、
   前記特徴量演算部は、前記第１グループに対応した複数の第１教師データから得られた第１分散共分散行列の逆行列と、前記第２グループに対応した複数の第２教師データから得られた第２分散共分散行列とを用いて求めた行列の固有値方程式により、前記第２特徴量の成分を決定するデータ分類装置。
5. 請求項１から請求項４のいずれか１項に記載のデータ分類装置において、
   前記特徴量演算部は、前記第２特徴量の成分の候補が、前記第１分散値に対する前記第２分散値の比が閾値を超えるときに、前記候補を前記第２特徴量の成分に決定するデータ分類装置。
6. 請求項５に記載のデータ分類装置において、
   前記候補の前記第１分散値に対する前記第２分散値の比が閾値を超えないときに、
   前記特徴量演算部は、前記候補について前記第１グループおよび前記第２グループでの射影成分の平均値の差分と前記第２グループの偏差値との比が所定値を超える場合に、前記候補を前記第２特徴量の成分に決定するデータ分類装置。
7. 請求項１から請求項６のいずれか１項に記載のデータ分類装置において、
   前記分類対象データが画像データであるデータ分類装置。
8. 請求項７に記載のデータ分類装置において、
   前記データ分類部による分類結果に応じて、入力される画像に対する画像処理のパラメータを決定するパラメータ決定部をさらに備えるデータ分類装置。
9. コンピュータを、請求項１から請求項８のいずれか１項に記載のデータ分類装置として機能させるプログラム。
10. 複数種類の分類対象データを、注目する第１グループと、前記第１グループと異なる第２グループとに分類するための変換式を求める第１の装置と、第２の装置とを含むデータ分類システムであって、
    前記第２の装置は、
    入力された分類対象データからｎ個の成分を含む第１特徴量を抽出するとともに、前記変換式を用いて、ｎより小さいｍ個の成分からなる第２特徴量を前記第１特徴量から求める特徴量演算部と、
    前記第２特徴量を用いて、前記入力された分類対象データが前記第１グループに属するか否かを判定するデータ分類部と、
    を備えるデータ分類システム。
11. 請求項１０に記載のデータ分類システムにおいて、
    前記第１の装置は、予め与えられた学習用分類対象データを用いて、前記第１グループに属する前記学習用分類対象データを用いて求めた第１分散値と、前記第２グループに属する前記学習用分類対象データを用いて求めた第２分散値との比が極値をとる射影ベクトルを決定し、
    前記特徴量演算部は、前記第２特徴量の少なくとも１つの成分を、前記第１の装置で決定された射影ベクトルを用いて算出するデータ分類システム。
12. 請求項１０に記載のデータ分類システムにおいて、
    前記第１の装置は、予め与えられた学習用分類対象データを用いて複数の射影ベクトルを求め、複数の射影ベクトルのうちで、前記第１グループに属する前記学習用分類対象データを用いて求めた第１分散値と、前記第２グループに属する前記学習用分類対象データを用いて求めた第２分散値との比が所定条件を満たす射影ベクトルを決定し、
    前記特徴量演算部は、前記第２特徴量の少なくとも１つの成分を、前記第１の装置で決定された射影ベクトルを用いて算出するデータ分類システム。
13. 請求項１２に記載のデータ分類システムにおいて、
    前記第１の装置は、前記所定条件として、前記第１分散値に対する前記第２分散値の比が大きな順に前記射影ベクトルを決定するデータ分類システム。
14. 請求項１２に記載のデータ分類システムにおいて、
    前記第１の装置は、前記所定条件として、前記第１分散値に対する前記第２分散値の比が閾値を超えるときに前記射影ベクトルとして決定するデータ分類システム。
15. 請求項１２から請求項１４のいずれか１項に記載のデータ分類システムにおいて、
    前記複数の射影ベクトルは、前記第１グループに対応した複数の前記学習用分類対象データから得られた第１分散共分散行列の逆行列と、前記第２グループに対応した複数の前記学習用分類対象データから得られた第２分散共分散行列とを用いて求めた行列の固有値方程式により算出されるデータ分類システム。
16. 請求項１２から請求項１４のいずれか１項に記載のデータ分類システムにおいて、
    前記複数の射影ベクトルは、主成分分析の手法で算出されるデータ分類システム。
17. 請求項１２から請求項１４のいずれか１項に記載のデータ分類システムにおいて、
    前記複数の射影ベクトルは、判別分析の手法で算出されるデータ分類システム。
18. 請求項１０から請求項１７のいずれか１項に記載のデータ分類システムにおいて、
    前記第２の装置は撮像装置であって、
    前記第２の装置は、前記データ分類部による分類結果に応じて、撮影条件を決定する撮影条件決定部をさらに備えるデータ分類システム。
19. 請求項１０から請求項１７のいずれか１項に記載のデータ分類システムにおいて、
    前記第２の装置は、前記データ分類部による分類結果に応じて、入力される画像に対する画像処理のパラメータを決定するパラメータ決定部をさらに備えるデータ分類システム。
    
    

Images