JP2007317185A - スパース線形判別分析（ｓｐａｒｓｅｌｉｎｅａｒｄｉｓｃｒｉｍｉｎａｎｔａｎａｌｙｓｉｓ）のためのスペクトル法 - Google Patents

Abstract

【課題】コンピュータによって実施される方法は、スパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする。
【解決手段】ｋの非ゼロ要素を有する候補スパース解ベクトルｘは、分類される２値入力データのクラス間共分散及びクラス内共分散を測定する共分散行列の対Ａ，Ｂ、最終解ベクトルの所望の基数を示すスパーシティパラメータｋと共に入力される。候補解ベクトルｘの変分再正規化は、共分散行列の対Ａ，Ｂ及びスパーシティパラメータｋに関して実施されて、スパーシティパラメータｋ及び候補スパース解ベクトルｘのゼロパターンについて局所的に最適であり、スパース線形判別分析最適化問題についての最終解ベクトルである基数ｋを有する分散最大化判別固有ベクトルｘハットが得られる。
【選択図】図１

Description

本発明は、包括的には線形判別分析（ＬＤＡ）に関し、より詳細には、遺伝子選択、ポートフォリオ最適化、センサネットワーク、資源割り振り、並びに、機械学習及びパターン認識における一般的特徴又は変数部分集合（ｖａｒｉａｂｌｅ ｓｕｂｓｅｔ）の選択等の、実用的なアプリケーションにスパースＬＤＡを適用することに関する。

［関連出願］
本出願は、２００５年１１月２９日にＭｏｇｈａｄｄａｍ他によって出願された、米国特許出願第１１／２８９，３４３号「Ｓｐｅｃｔｒａｌ Ｍｅｔｈｏｄ ｆｏｒ Ｓｐａｒｓｅ Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ」の一部継続出願である。

次元削減（ｄｉｍｅｎｓｉｏｎａｌｉｔｙ ｒｅｄｕｃｔｉｏｎ）及びデータ分類のための２つの古典的な技法は、主成分分析（ＰＣＡ）及び（フィッシャーの）線形判別分析（ＬＤＡ）である。ＰＣＡは、最も少ない数の成分内で最大のデータ分散を捕捉しながら、新しく導出された成分は相関がないように、入力特徴（測定値）の線形結合又は射影（ｐｒｏｊｅｃｔｉｏｎ）のセットを見出す。

ＬＤＡは、データを２つのクラスに最もよく分離する特徴の線形結合を見出そうとする。線形結合は、ＰＣＡの場合と同様であるが、しかし、異なる目的で、すなわち、最大の分散の捕捉と対照的に最良の分類精度のために、分類する前に、次元削減のために使用される。

言い換えると、スパースＰＣＡは、教師なし学習（ｕｎｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）のためのものであり、共分散行列Ａが与えられると、最大固有値（レイリー商）を最大にするスパース固有ベクトルを確定する。スパースＬＤＡは、教師あり学習のためのものであり、共分散行列の対Ａ及びＢが与えられると、一般化最大固有値又は一般化レイリー商を最大にする一般化固有ベクトルを確定する。

ＰＣＡは、視覚化及びデータ圧縮にも使用される（元の変数の線形結合による）或るタイプの特徴抽出と見なすことができる。一方、ＬＤＡは、データクラスタリング及び分類により適している（ＬＤＡは、元の変数の線形結合によっても得られる）。ＰＣＡは、入力データ情報（エントロピー）を最大限に保持し、それによって、再構成が可能である。しかしながら、一方、ＬＤＡは、変換された空間内においてクラス分離性（ｓｅｐａｒａｂｉｌｉｔｙ）を高めることに配慮するだけであり、その後、分類についての決定境界を計算するタスクを単純化する。ＰＣＡと違って、元のデータをそのＬＤＡ表現から再構成することはできない。したがって、ＬＤＡは、データ圧縮には使用することができないが、依然として、視覚化に使用することができる。

関連出願において述べられた教師なしの場合についてのスパースＰＣＡ法の一般的な考えを、スパースＬＤＡの教師ありの場合に拡張することが望まれており、それは、従来から、一般化固有値問題Ａｘ＝λＢｘとして捉えられている。しかし、ここではスパース形態で計算される。ここで、ｘは入力データを表し、Ａ及びＢは、それぞれクラス間共分散行列及びクラス内共分散行列であり、λは固有値である。クラス内共分散行列Ｂが、単位行列Ｉに完全に等しいという特別な場合、提案される拡張は、スパースＰＣＡの先の関連出願と等価になる。すなわち、この一部継続出願は、関連出願を拡張すると共に、関連出願を包含し、関連出願を特別な場合として含む。

特徴選択は、ほとんどの自動化分類プロセスにとって重要なタスクである。一般に、３つのタイプの特徴選択法、すなわち、フィルタ、ラッパ、及び埋め込み式技法が存在する。フィルタ法では、特徴選択は独立であり、因果的に分類の段階に先行する。ラッパ法では、特徴選択は、分類器の出力に基づいて反復的に改良される。埋め込み式方法では、特徴選択は分類器トレーニングに必須の要素である。

スパースネスは、本来、Ｌ_１ノルムペナルティ項及び／又は関連する従来の確率を有する連続最適化によって通常組み込まれる１つのタイプの特徴選択メカニズムを構成する。代表的な例は、関連出願に記載されるように、それぞれ、スパース回帰並びにスパースＰＣＡ（ＳＰＣＡ）（教師ありドメインと教師なしドメインの両方からの）を含む。

教師あり学習では、分類タスクは、同じ分布を有するラベリングされていない試験が正しく分類されるように、所定の関数クラスＦ及びラベリングされたトレーニングデータ対（ｘ，ｙ）の未知の分布から写像関数（ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）ｆ（ｘ）：Ｒ^ｎ→｛±１｝を「学習」することである。

最も単純な関数クラスは、線形パーセプトロン：ｆ（ｘ）＝ｓｉｇｎ（ｗ^Ｔｘ＋ｂ）である。線形パーセプトロンについて、スパーシティ（ｓｐａｒｓｉｔｙ）は、多くのゼロ要素を有する重みベクトルｗに相当し、それにより、変数ｘ_ｉのうちのわずかな変数しか実際に決定ルールｆ（ｘ）に寄与しないことが示される。得られる低次元部分空間において、選択される変数部分集合は、線形超平面を形成し、線形超平面は、次に、２つのクラスを判別する。

フィッシャーの線形判別の定式化は、Ｍｉｋａ他著「Ａ ｍａｔｈｅｍａｔｉｃａｌ ｐｒｏｇｒａｍｍｉｎｇ ａｐｐｒｏａｃｈ ｔｏ ｔｈｅ ｋｅｒｎｅｌ ｆｉｓｈｅｒ ａｌｇｏｒｉｔｈｍ」（Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １３，ｐｐ．５９１‐５９７，２００１）によって述べられる。その定式化は、埋め込み式変数選択技法のよい例である。一般的に、それは、以下の非線形最適化問題として定式化される。
ｍｉｎ ‖ｗ‖^ｐ _ｐ＋Ｃ‖ζ‖^ｑ _ｑ ・・・（１）
ｙ_ｉ（ｗ^Ｔｘ_ｉ＋ｂ）＝１−ζ_ｉを条件とする
ここで、Ｃは調整（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）（誤差トレードオフ）パラメータであり、ｗ及びｂは、線形パーセプトロンｆ（ｘ）の重みベクトル及びバイアスであり、指数ｐ及びｑは、それぞれ、重み及びスパースベクトルξの「サイズ」をペナライズ（ｐｅｎａｌｉｚｅ）するのに使用されるノルムを定義する。ｐ＝ｑ＝２の場合は、調整された形態である。ｐ＝１に設定することによって、スパースフィッシャー判別（ＳＦＤ）を得ることができる。不等式制約が等式で置換され、スパースベクトルξ_ｉに正値性（ｐｏｓｉｔｉｖｉｔｙ）が強制されるサポートベクトルマシン（ＳＶＭ）の定式化に対する類似に留意されたい。

ＳＶＭトレーニングは、広い余裕についてｗ（ｐ＝２）のＬ_２ノルムを最小にする。その間に、カルーシュ・キューン・タッカー（Ｋａｒｕｓｈ‐Ｋｕｈｎ‐Ｔｕｃｋｅｒ）（ＫＫＴ）相補性（ｃｏｍｐｌｅｍｅｎｔａｒｉｔｙ）がスパースベクトルξをもたらし、スパースベクトルξは、通常、Ｌ_１ノルム（ｑ＝１）でペナライズされる。１つの重要な違いは、分類の観点から、ＳＶＭは最小余裕を最大にし、一方、ＬＤＡに基づく判別は平均余裕を最大にする傾向があることである。

教師なし学習において、ＰＣＡは、データのモデリング及び表現にとって必須のツールである。そのパワーと人気にもかかわらず、重要な欠点は、スパースネスの欠如である。すなわち、因子負荷は、入力変数全ての線形結合である。スパース表現は、理解を容易にさせる、たとえば、遺伝子発現データの場合、計算コストを減らし、よりよい一般化をさらに促進することができるため、一般に望ましい。機械学習において、入力スパースネスは変数選択及び自動関連判定（ａｕｔｏｍａｔｉｃ ｒｅｌｅｖａｎｃｅ ｄｅｔｅｒｍｉｎａｔｉｏｎ）に密接に関連している。

正則な（ｒｅｇｕｌａｒ）主成分に関するＬ_１ペナライズされた回帰についてのスパースＰＣＡ法は、Ｚｏｕ，Ｈ．，Ｈａｓｔｉｅ，Ｔ．及びＴｉｂｓｈｉｒａｎｉ，Ｒ．著「Ｓｐａｒｓｅ ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ」（Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ，Ｓｔａｔｉｓｔｉｃｓ Ｄｅｐａｒｔｍｅｎｔ，Ｓｔａｎｆｏｒｄ Ｕｎｉｖｅｒｓｉｔｙ，２００４）によって述べられる。

別の方法は、「困難な（ｈａｒｄ）」基数制約を緩和する（ｄ’Ａｓｐｒｅｍｏｎｔ，Ａ．，Ｇｈａｏｕｉ，Ｌ．Ｅ．，Ｊｏｒｄａｎ，Ｍ．Ｉ．及びＬａｎｃｋｒｉｅｔ，Ｇ．Ｒ．Ｇ．著「Ａ ｄｉｒｅｃｔ ｆｏｒｍｕｌａｔｉｏｎ ｆｏｒ ｓｐａｒｓｅ ＰＣＡ ｕｓｉｎｇ ｓｅｍｉ‐ｄｅｆｉｎｉｔｅ ｐｒｏｇｒａｍｍｉｎｇ」Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １７，ｐｐ．８０３‐８０９、２００４）。その方法は、ＤＳＰＣＡと呼ばれるより「直接的な」定式化のために、半定値プログラミング（ＳＤＰ）を使用した、より単純な凸近似を使用する。

対照的に、代替的な離散スペクトル枠組みは、Ｍｏｇｈａｄｄａｍ，Ｂ．，Ｗｅｉｓｓ，Ｙ．及びＡｖｉｄａｎ，Ｓ．著「Ｓｐｅｃｔｒａｌ Ｂｏｕｎｄｓ ｆｏｒ Ｓｐａｒｓｅ ＰＣＡ：Ｅｘａｃｔ＆Ｇｒｅｅｄｙ Ａｌｇｏｒｉｔｈｍｓ」（Ａｄｖａｎｃｅｓ ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ １８，ｐｐ．９１５‐９２２，２００６）によって述べられている。親出願も参照されたい。その方法は、包含原理（ｉｎｃｌｕｓｉｏｎ ｐｒｉｎｃｉｐｌｅ）によって定義される共分散「部分スペクトル（ｓｕｂ‐ｓｐｅｃｔｒｕｍ）」に関して変分固有値限界（ｖａｒｉａｔｉｏｎａｌ ｅｉｇｅｎｖａｌｕｅ ｂｏｕｎｄ）を使用し、包含原理は、単純欲張り技法（ＧＳＰＣＡ）を使用してかなりの性能利得をもたらす。さらに、分枝限定探索に基づく完全最適アルゴリズム（ｅｘａｃｔ ｏｐｔｉｍａｌ ａｌｇｏｒｉｔｈｍ）（ＥＳＰＣＡ）は、親出願において完全に詳細に述べられる。

ＰＣＡの方法を、スパースＬＤＡの教師ありの場合に拡張することが望まれており、それは、一般化固有値問題Ａｘ＝λＢｘとして捉えられている。しかし、ここではスパース形態で計算される。

本発明の実施の形態は、一般化レイリー商の、スパース解又は基数制約あり（ｃａｒｄｉｎａｌｉｔｙ‐ｃｏｎｓｔｒａｉｎｅｄ）解のための、離散スペクトル枠組みを提供する。このＮＰ困難な組み合わせ最適化問題は、スパースＬＤＡ、特徴選択、及び分類のための関連ランキング等の教師あり学習タスクの中心となる。

本発明の実施の形態は、変分限界のための固有値包含原理（ＩＰ）の新規な一般化形態を提供し、分枝限定探索を使用した完全且つ最適なスパース線形判別をもたらす。近似結果をもたらす効率的な欲張り探索（ｇｒｅｅｄｙ ｓｅａｒｃｈ）技法もまた提供される。

本方法は、（フィッシャーの）線形判別分析（ＬＤＡ）に必要とされる２次統計量（共分散）のみを使用して新規な特徴選択フィルタを提供する。本方法は、基数制約あり部分空間（変数部分集合）に特に適合するように、固有値最大化のために、クーラント−フィッシャーの（Ｃｏｕｒａｎｔ‐Ｆｉｓｃｈｅｒ）「Ｍｉｎ−Ｍａｘ」理論の変分形態に基づく離散スペクトル定式化（ｄｉｓｃｒｅｔｅ ｓｐｅｃｔｒａｌ ｆｏｒｍｕｌａｔｉｏｎ）を提供する。

この手法は、変分固有値限界を使用した特許出願に記載されるスパースＰＣＡについての、前の枠組みの論理的（教師あり）拡張とみなされ、それにより、より一般的な定式化を構成する。すなわち、スパースＬＤＡ法は、スパースＰＣＡ法をスパースＬＤＡの特別な場合として包含する。

上述したように、離散定式化は、その最適性に限界を設けながら、任意の適切な解を改善するための単純な後処理再正規化ステップを表す。より重要なことには、離散手法は、分枝限定探索を使用して完全且つおそらく最適な解をもたらす。欲張り及び完全スパースＬＤＡ法は、実世界データセットに適用される。

本発明の実施の形態は、不可欠な固有値限界及び２つの離散プロセス、すなわち、高速且つ有効な欲張り探索（ＧＳＬＤＡ）及び効率は低いが最適な方法（ＥＳＬＤＡ）を備えたスパースＬＤＡを実施する方法を提供する。さらに、本発明は、任意の連続近似（緩和）のために再正規化「フィックス」を提供する。実際に、単純閾値処理（ＳＴ）の「ストローマン（ｓｔｒａｗ‐ｍａｎ）」は、本来、フィックスされると適切であるように見えるが、常に信頼性があるわけではない。２値分類は、ランク１ Ａ行列に帰着するため、連続近似の性能を支配するのは、ほとんど、クラス内Ｂ行列の固有構造であることに留意されたい。離散法は、小さな調整項が数値的安定のために付加される限り、それほど影響を受けない。スパースＬＤＡは、２値分類に限定されないことが留意されるべきである。

一般化レイリー商の複数因子形態は、因子の行列Ｘによって、たとえば、固有値の総和として一般化包含原理を使用して限界を設けられることもできるトレース基準をもたらす可能性がある。実際に、固有値だけで、たとえば、エントロピーベース基準用のログ判別で定式化することができる任意の対象は、本質的に同じプロセスを使用して、離散形態で解くことができる。

ＧＳＬＤＡの顕著な有効性は、組み合わせ最適化における実験による観察によって裏付けられ、モジュール式関数及び単調コスト関数（ｍｏｎｏｔｏｎｉｃ ｃｏｓｔ ｆｕｎｃｔｉｏｎ）を用いた欲張り探索は、優れた結果を生じることが非常に多い。

ＧＳＬＤＡは一貫して、単純閾値処理（ＳＴ）等の連続プロセス及び相関による変数ランク付けより優れている。計算上の負担はこうした単純な技法より大きいが、この方法は、ＳＶＭのような強力な連続アルゴリズムと比べて遜色がない。それでも、ｎ＝Ｏ（１０^１４）である次元の非常に高いデータセットを処理することは、一般に、専用の数値計算技法がなければ、行列ベースのプロセスでは到底できない。

本発明のモジュール性及び教師あり領域（スパースＬＤＡ）から教師なし領域（スパースＰＣＡ）への移行の容易さ、Ｂ＝Ｉのデフォルトの場合。実際に、導出又は実施において、ほとんど修正が必要とされない。その結果、スパースＬＤＡは、スパースＰＣＡの教師なしの場合を自動的に包含する。

実施の形態１．
本発明の実施の形態１は、スペクトル限界を使用して、スパース線形判別分析（ＬＤＡ）をデータに実施する方法を提供する。スパースＬＤＡは、実用的な組み合わせ最適化問題に対する解を見出すのに使用することができる。

従来技術と対照的に、本発明は、変分固有値限界に基づく離散定式化を使用する。方法は、近似解用に欲張り探索を、完全解用に分枝限定探索を使用して最適スパース判別成分を確定する。

最大化された候補解
図１を使用して、ここで、本発明の実施の形態１によるスパースＬＤＡの実用的な組み合わせ最適化問題に対して予め得られた候補解１０１を改善する方法１００が述べられる。方法に対する入力は、問題の候補解である要素のデータベクトルｘ１０１、共分散行列の対Ａ及びＢ１０３、並びに、スパースパラメータｋである。スパースパラメータｋは、最終解ベクトルｘハット１０４の非ゼロ要素又は「基数」の最大の所望の数を示す。

たとえば、データベクトルｘの要素は、近似スパースソナー信号、大気信号、生物医学的データ信号、又は投資データ等に相当する。行列Ａ及び行列Ｂは、それぞれ、クラス間共分散行列及びクラス内共分散行列である。

変分再正規化（ｖａｒｉａｔｉｏｎａｌ ｒｅｎｏｒｍａｌｉｚａｔｉｏｎ）２００は、最大化された解ベクトルｘハット１０４を確定するために、入力に従って実施される。図２に示すように、変分再正規化２００は、入力データベクトルｘ１０１の、最も大きなｋ個の要素１０２又は「負荷」を、最も大きな一般化最大固有値２０１（一般化レイリー商）を有する、対応するｋ×ｋ主部分行列Ａ_ｋ及びＢ_ｋ２０３の主固有ベクトルｕ（Ａ_ｋ、Ｂ_ｋ）２０２のｋ個の要素と置換する。

欲張り探索解
図３は、スパースＬＤＡ最適化問題に対する欲張り探索解のステップ３００を示す。方法に対する入力は、２つの共分散行列１０３及びスパーシティパラメータｋ１０２である。入れ子式順方向探索４００及び逆方向探索５００は、基数ｋ、１０１’〜１０１’’を有する候補解（複数可）を得るために適用される。これらの２つの候補解から、より大きな分散（最大一般化固有値）を有する解が、最良のもの３１０と考えられ、出力スパース固有ベクトル（最終解ベクトル）ｘハット１０４として選択される。

順方向探索及び逆方向探索
図４は、順方向探索４００のステップを示す。この探索において、候補指数（ｘの要素）のリストは、最初は空であり、「最良の」又は最大極大分散（ｌａｒｇｅｓｔ ｍａｘｉｍｕｍ ｖａｒｉａｎｃｅ）を有する指数が、ｋ指数の設定されたサイズまで、１つずつ付加される。対応する逆方向探索５００は、候補指数リストが一杯になった状態で始まり、指数が１つずつ削除される。

完全最適解
図６は、スパースＬＤＡ問題に対する完全解６００についてのメカニズムを示す。最初に、双方向欲張り法３００は、前と同様に、共分散行列１０３及び所望のスパーシティパラメータｋ１０２を提供される。欲張り探索３００の出力解は、初期候補解ｘハット１０４を提供し、以下でより詳細に述べるように、その分散を、共分散行列１０３を使用して、分枝限定組み合わせ探索（ｂｒａｎｃｈ‐ａｎｄ‐ｂｏｕｎｄ ｃｏｍｂｉｎａｔｏｒｉａｌ ｓｅａｒｃｈ）６１０と共に後で使用するための初期上方限界及び固有値限界６１１として有する。こうして、分枝限定６１０は、終了すると、完全最適解ｘ^＊６０１を見出すことを保証される。

本発明の実施の形態を、以下に詳細に述べる。

一般化ＥＶＤとしてのスパースＬＤＡ
古典的なフィッシャーの判別分析又は線形判別分析（ＬＤＡ）は、一般化固有値分解（ＥＶＤ）として定式化することができ、ここで、一対の対称な半正定値行列Ａ，Ｂ∈Ｓ^ｎ _＋が与えられ、それぞれ、クラス間共分散行列及びクラス内共分散行列に対応する。

一般化レイリー商：Ｒ（ｘ；Ａ，Ｂ）＝（ｘ^ＴＡｘ）／（ｘ^ＴＢｘ）（ｘ∈Ｒ^ｎで、且つ、Ｂが正定値である）によって表されるクラス分離性基準を最大にしようとする。この商は、ｘの大きさに対して不変であるため、２次制約あり２次問題（ｑｕａｄｒａｔｉｃａｌｌｙ ｃｏｎｓｔｒａｉｎｅｄ ｑｕａｄｒａｔｉｃ ｐｒｏｂｌｅｍ）（ＱＣＱＰ）によって問題を再定式化することができる。
ｍａｘ ｘ^ＴＡｘ ・・・（２）
ｘ^ＴＢｘ＝１を条件とする

幸いにも、この問題は、対応するラグランジュ乗数を分化する（ｄｉｆｆｅｒｅｎｔｉａｔｅ）ことによって得られる閉じた形態の解を有し、行列式特性方程式ｄｅｔ（Ａ−λＢ）＝０であるＡｘ＝λＢｘをもたらす。そのため、最適なｘは、λの得られる特性多項式の最大ルート（ｌａｒｇｅｓｔ ｒｏｏｔ）に相当する固有ベクトル、又は、等価的に、Ｂ^−１Ａの最大固有値である。以降で、固有値ランクが大きさの昇順で示され、したがって、λ_ｍｉｎ＝λ_１且つλ_ｍａｘ＝λ_ｎである。

以下の基数制約ありＱＣＱＰ、すなわち、
スパースＬＤＡ： ｍａｘ ｘ^ＴＡｘ ・・・（３）
ｘ^ＴＢｘ＝１、ｃａｒｄ（ｘ）＝ｋを条件とする
によってスパースＬＤＡ最適化を定義することができる。
ここで、解は、ｋの非ゼロ要素を有するスパースベクトルｘ∈Ｒ^ｎであり、ｃａｒｄ（ｘ）は、そのＬ_０ノルムである。しかし、この最適化問題は非凸であり、ＮＰ困難であり、また、一般に手に負えない。

Ｂ＝Ｉの特別な場合は、デフォルトで、スパースＰＣＡに等価な標準的な最大分散基数制約ありＱＰになることに留意されたい。したがって、式（３）のスパースＬＤＡについての本発明者等の戦略は、スパースＰＣＡをも解く。

この等価性を明白にするために、双単射（ｂｉｊｅｃｔｉｏｎ）ｙ＝Ｂ^１／２ｘによって誘導された非特異に（ｎｏｎ‐ｓｉｎｇｕｌａｒｌｙ）変換された空間内で、この一般化ＥＶＤを通常の固有値問題と見なすことは、十分であり、また、有益である。１対１（単射的（ｉｎｊｅｃｔｉｖｅ））と、上に（全射的（ｓｕｒｊｅｃｔｉｖｅ））との間に１対１対応が存在する場合で、またその場合にのみ、関数は双単射である。
ｍａｘ ｙ^ＴＣｙ ・・・（４）
ｙ^Ｔｙ＝１、ｃａｒｄ（Ｂ^−１／２ｙ）＝ｋを条件とする
ここで、Ｃ＝Ｂ^−１／２ＡＢ^−１／２である。基数制約を除いて、これは、新しい対称行列Ｃによる標準的なレイリー商であり、Ｂ^−１Ａとして同じ固有値を有するが、同じ固有ベクトルを有さない。基数制約がない状態で、この標準的なレイリー商は、解析限界
λ_ｍｉｎ（Ｃ）≦ｙ^ＴＣｙ／ｙ^Ｔｙ≦λ_ｍａｘ（Ｃ）
に従う。ここで、Ｂ^−１Ａと違って、新しい行列Ｃは、構造が対称である（ｓｙｍｍｅｔｒｉｃ ｂｙ ｃｏｎｓｔｒｕｃｔｉｏｎ）。

Ｂ^−１／２ｙに関する奇の基数制約（ｏｄｄ ｃａｒｄｉｎａｌｉｔｙ ｃｏｎｓｔｒａｉｎｔ）にもかかわらず、上記再定式化は、スパース判別因子を見出すために、従来のスパースＰＣＡ法、たとえば、Ｚｏｕ他によるＳＰＣＡ又はｄ’Ａｓｐｒｅｍｏｎｔ他によるＤＳＰＣＡを適合させる有用な方法を提供することができる。本発明者が知る限りでは、この再定式化は過去に述べられていない。

別の、また、おそらくより単純な代替法は、適切にスケーリングされた出力ラベルに関して、フィッシャーの線形判別の等価物を最小２乗回帰に適用し、Ｌ_１ノルムペナルティ項を付加することである。

対照的に、本発明者等は、一般化レイリー商によって定義された最適性を有する、完全且つ最適な判別を見出すという目標によって動機付けられた親出願においてＭｏｇｈａｄｄａｍ他によって述べられた、同じ離散変分枠組みを使用してスパースＬＤＡに対処する。本発明者等は、行列Ｃのスペクトル、及び等価的に、逆行列Ｂ^−１Ａのスペクトルが、完全且つ最適なスパースＬＤＡ法の設計においてどれほど重要な役割を果たすかを述べる。

最適性条件
最初に、最適解に達するために、真でなければならない条件が考えられる。基数ｋを有するスパースデータベクトルｘ∈Ｒ^ｎは、最大目標値Ｒ^＊をもたらす。これは、必ず、

であることを意味する。ここで、ｚ∈Ｒ^ｋは、ベクトルｘ内にｋ個の非ゼロ要素を含み、行列（Ａ_ｋ，Ｂ_ｋ）は、ベクトルｘのゼロ指数に相当する行及び列を削除することによって得られる（Ａ，Ｂ）のｋ×ｋ主部分行列である。これは、非ゼロ指数の行及び列を抽出することと等価である。ベクトルｚのｋ次元２次形態は、標準的な制約なし一般化レイリー商と等価である。この部分問題（ｓｕｂ‐ｐｒｏｂｌｅｍ）の最大目標値は、λ_ｍａｘ（Ａ_ｋ，Ｂ_ｋ）である。したがって、これは、最適目標値Ｒ^＊でなければならない。本発明者等は、この重要な観測結果を以下の命題において要約する。

命題１
式（３）におけるスパースＬＤＡ最適化問題の最適値Ｒ^＊は、λ_ｍａｘ（Ｃ^＊ _ｋ）に等しい。ここで、

はｋ×ｋであり、Ｃ^＊ _ｋは、特に、最大極大一般化固有値を有する１つの部分行列の対である。さらに、最適ｘ^＊の非ゼロ部分ベクトルｚ^＊は、Ｃ^＊ _ｋの主固有ベクトルν_ｋの逆双射に等しい。
ｚ^＊＝Ｂ^−１／２ _ｋν_ｋ、 ν^Ｔ _ｋＣ^＊ _ｋν_ｋ＝λ_ｍａｘ（Ｃ^＊ _ｋ） ・・・（６）

これは、スパースＬＤＡの真の組み合わせ的性質及び等価な基数制約あり最適化問題を表し、最適解を求めることは、本来、ｋ個の指数についての離散探索であり、部分問題（Ａ_ｋ，Ｂ_ｋ）のλ_ｍａｘを最大にする。

最適性についてのこうした完全な定義は、例示であり、最適部分問題を実際に見出す効率的な方法が示唆されておらず、全数検索が不足している。全数検索は、候補部分行列が指数関数的に増大するため、ｎ＞３０については非実用的である。それでも、全数検索は、小さなｎについて実行可能な方法であり、小さな実世界データセットについて最適性を保証し、したがって、最適性ギャップによって近似の品質を較正する。さらに、他の方法、たとえば、ＳＶＭによって得られる近似因子を改善するための、単純であるが有効な「フィックス（ｆｉｘ）」が示唆される。

命題２
ｘチルダは、任意の方法によって見出された近似基数ｋを有する候補解であるとする。ｚチルダは、ｘチルダの非ゼロの部分ベクトルであり、ν_ｋは、ｘチルダの非ゼロの指数で索引付けされた、（Ａ_ｋ，Ｂ_ｋ）の主一般化固有ベクトルであるとする。ｚチルダが、ν_ｋ（Ａ_ｋ，Ｂ_ｋ）に等しくない場合、ｘチルダは最適ではない。しかし、ｘチルダの非ゼロの要素を、式（６）のν_ｋと置換することによって、Ｒ（ｘチルダ，Ａ，Ｂ）の増加が保証される。

この変分再正規化は、連続解は、より小さい制約なし部分問題（Ａ_ｋ，Ｂ_ｋ）を解くためのスパーシティパターンを提供するときにしか役立たないことを示唆する。事実上、因子負荷は、必要であるのに比べてさらに一層最適状態に及ばず、置換されるべきである。実際に、スパースＰＣＡについての「単純閾値処理（ｓｉｍｐｌｅ ｔｈｒｅｓｈｏｌｄｉｎｇ）」（ＳＴ）の一般的なアドホック技法、すなわち、主固有ベクトルの最も小さな絶対値負荷をゼロにセットし、それを単位ノルムに再正規化することは、この「フィックス」を適用することによって強化されることができる。

スパースＬＤＡ用の一般化スペクトル限界
変分固有値限界
Ａｘ＝λＢｘの一般化固有値は、所与の基数ｋのスパースＬＤＡ因子を、主部分行列（Ａ_ｋ，Ｂ_ｋ）に関連する一般化固有値として定義するときに基本的な役割を果たす。２つの固有値スペクトルは、以下の結果によって関連付けることができる。

理論１ 一般化包含原理
行列（Ａ，Ｂ）は、一般化スペクトルλ_ｉ（Ａ，Ｂ）を有し、行列Ｂが正定値であるｎ×ｎ対称行列であるとする。（Ａ_ｋ，Ｂ_ｋ）は、ｋ×ｋ主部分行列（Ａ_ｋ，Ｂ_ｋ）の対応する対であり、ｋ≦ｎについて、一般化固有値λ_ｉ（Ａ_ｋ，Ｂ_ｋ）を有するとする。よって、１≦ｉ≦ｋについて、
λ_ｉ（Ａ，Ｂ）≦λ_ｉ（Ａ_ｋ，Ｂ_ｋ）≦λ_ｉ＋１（Ａ，Ｂ） ・・・（７）
である。

後述する付録Ａに証明が与えられる。証明は、クーラント−フィッシャーの「Ｍｉｎ−Ｍａｘ」理論の変分形態で、基数ｋのスパーシティパターンを、付加的な部分空間直交制約として課すことによって導出されるオリジナルの非一般化固有値包含原理についてのより基本的な証明の拡張である。

換言すれば、（Ａ，Ｂ）の一般化固有値は、全ての主部分行列（Ａ_ｋ，Ｂ_ｋ）の一般化固有値について上方限界及び下方限界を形成する。したがって、（Ａ_ｍ，Ｂ_ｍ）及び（Ａ_ｍ＋１，Ｂ_ｍ＋１）のスペクトルは、互いにインタレースし、より大きな行列対の固有値は、より小さい行列対の固有値を「ブラケット表示する（ｂｒａｃｋｅｔｉｎｇ）」。よく知られている固有値「インタレーシング」特性は、ｋ＝ｎ−１である基本包含原理から生じる。

正定値対称行列（共分散）について、新しい変数を付加することによってＡ_ｍをＡ_ｍ＋１に拡大させることは、常にスペクトル範囲を拡大する。すなわち、λ_ｍｉｎを減少させ、λ_ｍａｘを増加させる。この単調性特性は、以下で述べるように、欲張り且つ、完全な組み合わせプロセスにとって、理論的であると共に実用的な重要な結果を有する。スパースＬＤＡの解は、一般化レイリー商を最大にしようとするため、式（７）の関連不等式はｉ＝ｋとなり、したがって、包含限界
λ_ｋ（Ａ，Ｂ）≦λ_ｍａｘ（Ａ_ｋ，Ｂ_ｋ）≦λｎ（Ａ，Ｂ） ・・・（８）
をもたらし、包含限界が示すところでは、（Ａ，Ｂ）のｋ番目の最も小さい一般化固有値は、基数ｋを有するスパースＬＤＡのクラス分離性基準について下方限界である。固有値限界λ（Ａ，Ｂ）はまた、種々の予測的枝刈り技法（ｐｒｅｄｉｃｔｉｖｅ ｐｒｕｎｉｎｇ ｔｅｃｈｎｉｑｕｅ）によって分枝限定探索を迅速化するのに役立つ。

式（８）の右側不等式は、全てのｋについての、一定の、緩いことが多い、上方限界λ_ｍａｘ（Ａ，Ｂ）であることに留意する。しかし、分枝限定プロセスは概して、中間部分問題と協働し、探索木のほとんどの枝を最終的に推測する（ｆａｔｈｏｍ）、より厳密な限界を有するより小さな部分行列に必ず遭遇することになる。

組み合わせ最適化
離散定式化及び一般化包含原理を考慮すると、分枝限定等の、従来の２値整数計画（ｂｉｎａｒｙ ｉｎｔｅｇｅｒ ｐｒｏｇｒａｍｍｉｎｇ）（ＩＰ）技法は、スパースＬＤＡに理想的に適している。

変数減少のような欲張り技法もまた、連続的な入れ子式の部分行列及びその「ブラケット表示する」固有値の単調な性質を利用することができる。

全指数セットＩ＝｛１，２，…，ｎ｝で始めて、ｋ個の要素だけが残るまで、最大λ_ｍａｘ（Ａ_／ｊ，Ｂ_／ｊ）をもたらす変数ｊを順次削除する。小さい基数ｋ≪ｎの場合、逆方向探索の計算コストは、ほぼ最大計算量（ｃｏｍｐｌｅｘｉｔｙ）≒Ｏ（ｎ^４）まで増大する可能性がある。そのため、変数増加が好ましいことが多い。ゼロ指数セットＩ＝｛｝で始めて、ｋ個の要素が選択されるまで、最大λ_ｍａｘ（Ａ_＋ｊ，Ｂ_＋ｊ）をもたらす変数ｊを順次付加する。順方向探索は、最悪の場合、計算量＜Ｏ（ｎ^３）となる。強力な欲張り戦略は、双方向探索である。すなわち、前向きパスを１からｎまで実施し、次に、第２の独立した後向きパスをｎから１まで実施し、各ｋにおいて、よりよい解を選択する。本発明者等は、この２重パスアルゴリズムを、欲張りスパースＬＤＡ又はＧＳＬＤＡと呼ぶ。

準最適な欲張り探索の有用性にもかかわらず、小さな最適性ギャップでさえもが損失の大きい診断の失敗をもたらす可能性がある。生物情報学のような重要な応用領域において、スパースＬＤＡ問題がある場合には特に、最適解戦略を提供することがやはり価値がある。本発明者等の分枝限定は、縦型探索用のＦＩＦＯキュー内の全ての能動的部分問題について、計算に効率的な限界、本発明者等の場合、べき乗法によって計算可能な式（８）の上方限界によるものである。式（８）の下方限界は、より効率的な最良優先探索について、キューをソートするのに使用することができる。ＥＳＬＤＡと呼ぶ、本発明者等の完全スパースＬＤＡ法は、最適判別で終了することが保証される。

本来、全探索時間は、分枝限定初期化における開始候補の品質に依存する。本発明者等の２重パス欲張り探索（ＧＳＬＤＡ）によって見出された解は、その一般化レイリー商が通常、準最適であるため、ＥＳＬＤＡを初期化するのに理想的である。実際のやり方では、一般化固有値限界（ｇｅｎｅｒａｌｉｚｅｄ ｅｉｇｅｎｖａｌｕｅ ｂｏｕｎｄ）に基づくプリセットされた閾値を、所望の解での初期の、また、早期の終了について使用することができる。

スパースＬＤＡ用の一般化スペクトル限界
詳しい評価の後、本発明者等が見出したところでは、最も費用効果的な戦略は、最初に、ＧＳＬＤＡ、又は少なくとも前向きパスを実施し、次に、その準最適判別で我慢するか、そうでなければ、この判別を使用して、最適判別を求めて分枝限定探索のためにＥＳＬＤＡを初期化することである。全ＧＳＬＤＡは、全ての基数について準最適解を与えるというさらなる利益を持っており、実行時間は通常、最も連続的な方法、たとえばＳＶＭによって単一のｋ近似を見出すのに比べて要求の厳しさがずっと低い。

本発明は、好ましい実施の形態の例によって述べられたが、本発明の精神及び範囲内で、種々の他の適応及び修正が行われてもよいことが理解される。したがって、本発明の真の精神及び範囲内に入る全てのこうした変形及び修正を包含することが、添付特許請求の範囲の目的である。

付録Ａ
本発明は、標準的な固有値包含原理の基本証明を、クーラント−フィッシャーの「Ｍｉｎ−Ｍａｘ」理論を使用したＡｘ＝λＢｘの一般化ＥＶＤに拡張し、一般化ＥＶＤは、代わりに一般化レイリー商（ｘ^ＴＡｘ＝ｘ^ＴＢｘ）に適用される。
対称行列の対Ａ，Ｂが与えられる場合、λ_ｊ（Ａ，Ｂ）（ｊ＝１，…，ｎ）が、昇順でランク付けされた一般化固有値であるとする。主要な結果は、以下の固有値不等式を確立する。
λ_ｊ（Ａ，Ｂ）≦λ_ｊ（Ａ_ｋ，Ｂ_ｋ）≦λ_{ｊ＋ｎ−ｋ}（Ａ，Ｂ） ・・・（９）
ここで、λ_ｊ（Ａ_ｋ，Ｂ_ｋ）は、（Ａ，Ｂ）の対応する主部分行列の一般化固有値である。クーラント−フィッシャーの「Ｍｉｎ−Ｍａｘ」理論によって、（Ａ，Ｂ）の一般化固有値は、変分形態

を満たす。ここで、Ｓ^ｊ _ｎは、Ｒ^ｎの任意のｊ次元部分空間を示す。同じ変分形態は、（Ａ_ｋ，Ｂ_ｋ）の一般化固有値について独立に成り立つ。

ここで、Ｓ^ｊ _ｋは、Ｒ^ｋの任意のｊ次元部分空間を示す。次に、直和

によって形成される「スパースな」ｊ次元部分空間Ｓ^ｊ _０が定義される。「スパースな」ｊ次元部分空間Ｓ^ｊ _０は、定義によれば、

によって与えられる全てのベクトルｘを含む。
ここで、式（９）のｌ．ｈ．ｓ．不等式が導出される。式（１０）の変分等式から始まる（Ａ_ｋ，Ｂ_ｋ）の固有値についての下方限界は、

である。ここで、第２行では、ｘ∈Ｓ^ｊ _ｎの部分空間は、ｘ∈Ｓ^ｊ _ｎ∩Ｓ^ｊ _０に限定され、制約の付加によって、最小化式をさらに減らすことができないため不等式が得られる。第３行は、Ｓ^ｊ _０の先行（ｌｅａｄｉｎｇ）ｋ次元部分ベクトルとしてのｚの定義によって導かれ、最後の行は、式（１１）から導かれる。
λ_ｊ（Ａ_ｋ，Ｂ_ｋ）に関する上方限界、式（９）のｒ．ｈ．ｓ．は、レイリー商の否定に関して、この同じ完全導出を使用することによって見出される。証明は、固有値が、指数の置換に対して不変であることを示すことによって終了する。したがって、導出された限界は、先行部分行列だけではなく（Ａ，Ｂ）のあらゆる主部分行列に当てはまる。

本発明の実施の形態１によるスパースＬＤＡを使用する組み合わせ最適化問題に対する最大化された候補解のブロック図である。 本発明の実施の形態１によるスパースＬＤＡ用の変分正規化手順のブロック図である。 本発明の実施の形態１による組み合わせ最適化問題に対する欲張り解のブロック図である。 本発明の実施の形態１による欲張り解についての順方向探索のブロック図である。 本発明の実施の形態１による欲張り解についての逆方向探索のブロック図である。 本発明の実施の形態１による組み合わせ最適化問題に対する完全解のブロック図である。

Claims (13)

1. スパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法であって、
   ｋの非ゼロ要素を有する候補スパース解ベクトルｘ、分類される入力データのクラス間共分散及びクラス内共分散を測定する共分散行列の対Ａ，Ｂ、最終解ベクトルの所望の基数を示すスパーシティパラメータｋを入力するステップと、
   前記共分散行列の対Ａ，Ｂ及び前記スパーシティパラメータｋに関して、前記候補スパース解ベクトルｘの変分再正規化を実施するステップであって、それによって、前記スパーシティパラメータｋ及び前記候補スパース解ベクトルｘのゼロパターンについて局所的に最適であり、前記スパース線形判別分析の最適化問題についての最終解ベクトルである、基数ｋを有する分散最大化判別固有ベクトルｘハットを得る、実施するステップと
   を含む、スパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
2. 前記変分再正規化は、
   前記候補スパース解ベクトルｘの最も大きなｋの要素を、前記共分散行列の対Ａ，Ｂの対応する対のｋ×ｋ主部分行列Ａ_ｋ，Ｂ_ｋの主一般化固有ベクトルｕ（Ａ_ｋ，Ｂ_ｋ）のｋの要素と置換すること、及び
   前記候補スパース解ベクトルｘの全ての他の要素をゼロにセットすることであって、それによって、ｋ−スパースの前記分散最大化判別固有ベクトルｘハットを得る、セットすること
   を含む、請求項１に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
3. 前記共分散行列の対Ａ，Ｂの行及び列から、前記ｋ×ｋ主部分行列Ａ_ｋ，Ｂ_ｋを抽出することをさらに含む、請求項２に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
4. ｋ−スパースの前記分散最大化判別固有ベクトルｘハットのｋの非ゼロ値は、前記ｋ×ｋ主部分行列Ａ_ｋ，Ｂ_ｋの最大固有値に相当する、主一般化固有ベクトルｕ^＊ _ｋのｋのエントリに完全に等しい、請求項２に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
5. 前記要素は、前記入力データの実質的に大きなプールから選択された比較的小さい数の前記入力データである、請求項１に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
6. 前記スパーシティパラメータｋは、一般化されたｋ−スパースの前記分散最大化判別固有ベクトルｘハットについて、最小要求一般化レイリー商に大きさが最も近い、前記共分散行列の対Ａ，Ｂの一般化固有値のランクに少なくとも等しい、請求項１に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。
7. スパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法であって、
   スパース線形判別分析最適化問題について、データのクラス間共分散及びクラス内共分散を測定する共分散行列の対Ａ，Ｂ、及びスパーシティパラメータｋを入力するステップと、
   欲張り探索を実施するステップであって、それによって、最終解ベクトルを得る、実施するステップと
   を含む、スパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
8. 前記欲張り探索は、順方向探索及び独立した逆方向探索を含む双方向入れ子式探索を含み、前記方法は、前記スパーシティパラメータｋについて、分散最大化ｋ−スパース固有ベクトルとして前記順方向探索又は前記逆方向探索のいずれかから最良スパース固有ベクトルを別々に選択することをさらに含む、請求項７に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
9. スパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法であって、
   スパース線形判別分析最適化問題について、入力データのクラス間共分散及びクラス内共分散を測定する共分散行列の対Ａ，Ｂ、及びスパーシティパラメータｋを入力するステップと、
   要素の候補解ベクトルｘを提供するステップと、
   前記候補解ベクトルｘを使用して、分枝限定組み合わせ探索を適用するステップであって、それによって、前記共分散行列の対Ａ，Ｂ、及び前記スパーシティパラメータｋによって定義される前記基数制約あり組み合わせ最適化問題について、大局的に最適且つ完全な解ベクトルｘ^＊を得る、適用するステップと
   を含む、スパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
10. 前記候補解は、欲張り探索の結果であり、前記欲張り探索についての前記入力データは、前記共分散行列の対Ａ、Ｂ及び前記スパーシティパラメータｋである、請求項９に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
11. 前記分枝限定組み合わせ探索は、探索木において、部分問題分岐経路の枝刈りをするための一般化固有値限界を使用する、請求項９に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
12. 前記スパーシティパラメータｋは、最大化ｋ−スパース一般化固有ベクトルｘハットについて、最小要求分散に大きさが最も近い、前記共分散行列の対Ａ，Ｂの一般化固有値のランクに少なくとも等しい、請求項９に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題を解くためのコンピュータによって実施される方法。
13. 前記行列Ｂは、主成分分析を実施するための単位行列である、請求項１に記載のスパース線形判別分析の基数制約あり組み合わせ最適化問題に対する候補解を最大にする、コンピュータによって実施される方法。

Images