JP2011138484A - マルチレベル分類モデルを構築する方法とシステム - Google Patents
マルチレベル分類モデルを構築する方法とシステム Download PDFInfo
- Publication number
- JP2011138484A JP2011138484A JP2010231586A JP2010231586A JP2011138484A JP 2011138484 A JP2011138484 A JP 2011138484A JP 2010231586 A JP2010231586 A JP 2010231586A JP 2010231586 A JP2010231586 A JP 2010231586A JP 2011138484 A JP2011138484 A JP 2011138484A
- Authority
- JP
- Japan
- Prior art keywords
- classification model
- level
- data samples
- level classification
- labeled
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】 マルチレベル分類モデルを構築する方法およびシステムを提供する。
【解決手段】 このマルチレベル分類モデルを構築する方法は、ラベル付きデータサンプルを入力するステップと、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、生成した最初のマルチレベル分類モデルを最適化するステップとを含み、最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整する。最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節するステップを含む。この方法は半教師ありシナリオへ拡張され、ラベル付きとラベル無しのデータサンプルを参照することにより、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化する。
【選択図】 図３
【解決手段】 このマルチレベル分類モデルを構築する方法は、ラベル付きデータサンプルを入力するステップと、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、生成した最初のマルチレベル分類モデルを最適化するステップとを含み、最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整する。最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節するステップを含む。この方法は半教師ありシナリオへ拡張され、ラベル付きとラベル無しのデータサンプルを参照することにより、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化する。
【選択図】 図３
Description
本発明は、情報分類に関し、特に、多数のカテゴリあるいはクラスに情報サンプルを分類するマルチクラス分類およびマルチレベル分類に関する。さらに具体的には、本発明は、マルチレベル分類モデルを構築する方法およびシステムに関する。
これまでのマルチクラス情報分類方法においては、クラスは多くの場合相互に独立しており、かつ無秩序である。例えば、ニュース分類において、ニュースのクラスは、政治、経済学、軍事、科学などを含んでいる。
しかしながら、我々の現実の生活においては、他に特殊な種類のマルチクラス問題がある。各クラスの間は規則正しくつながり、滑らかに分布する。この種の分類問題はマルチレベル分類問題と呼ばれている。また、そのような問題では、情報サンプルは異なるクラスの代わりに異なるレベルへ分類される。例えば、製品評価分類においては、ユーザの評価意見のレベルは、悪い、普通、良い、非常に良いなどを含む。
インターネット上で増大する情報は、情報分類の要求をますます著しくする。このため、近年、これまでのマルチクラス分類問題について、多くの研究がなされている。しかしながら、特別な種類のマルチクラス問題として、マルチレベル分類問題は未だによく研究されていない。本発明に関連するいくつかの既存の自動情報分類アルゴリズムの例について、以下に簡単に紹介する。
まず、非特許文献１（Ｗｅｉ ＣｈｕとＳ． Ｓａｔｈｉｙａ Ｋｅｅｒｔｈｉによる“Ｎｅｗ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｏｒｄｉｎａｌ Ｒｅｇｒｅｓｓｉｏｎ”と題された論文（ ＩＣＭＬ２００５，１４５−１５２ページを参照））は、順序回帰（ｏｒｄｉｎａｌ ｒｅｇｒｅｓｓｉｏｎ）のための２つの教師あり支援ベクトルアプローチを提案する。ここでは、順序尺度用の平行な分類超平面を限定するために多数の閾値を最適化する。より詳細については、「７．本発明の詳細な説明」を参照。
さらに、２００８年３月１７日出願の米国特許ＵＳ７５３３０７６Ｂ２（以下、特許文献１）は、効果的な多クラスサポートベクターマシン分類方法を提案する。この方法は、１組の教師あり二元サポートベクターマシン分類器を使用することにより、データサンプルを複数のカテゴリに分類する。分類モデルを構築する過程で、この方法は、隣接するレベル間の局所的な隣接度（ｌｏｃａｌ ａｄｊａｃｅｎｃｙ）に基づいて最初の分類モデルを調整する。
図１は、特許文献１による分類モデルを生成し最適化するためのシステム１００の構成ブロック図を示す。
図１において、システム１００は、主に分類モデル初期化手段１０１および局所レベル隣接度ベースの分類モデル調整手段１０２を含んでいる。情報分類では、ある種のコンピュータ読み取り可能なフォーマットとして分類モデルを表わす必要がある。例えば、この方法では、マルチレベル分類モデルは、隣接するレベル間の境界（ｍａｒｇｉｎ）を示す対応するレベル閾値を有する一連の平行な分類超平面から成る。分類モデルの学習の初めに、まず、最初のモデルを生成する必要がある。
分類モデル初期化手段１０１は、入力されたラベル付きトレーニングデータに基づいた最初の分類モデルを生成するために使用される。最初の分類モデルを生成する方法については、当業者にとって周知の方法であるので、ここでは詳しく説明しない。
調整手段１０２は、レベル間の局所的なレベル隣接度に基づいて、生成された最初の分類モデルを調整し最適化するために使用される。マルチレベル問題において、レベルは順序に関係する。すなわち、レベルが接近すればするほど、それらはより類似する。
そのため、この方法では、この関係は以下のように表わされる。
ｉ番目のレベルの閾値は、（ｉ＋１）番目のレベルの閾値より低くなければならい。
レベル隣接関係を表わす局部的レベル隣接度は、生成された最初の分類モデルを調整するために使用され、それにより、最適化された分類モデルを取得する。
図１は、特許文献１による分類モデルを生成し最適化するためのシステム１００の構成ブロック図を示す。
図１において、システム１００は、主に分類モデル初期化手段１０１および局所レベル隣接度ベースの分類モデル調整手段１０２を含んでいる。情報分類では、ある種のコンピュータ読み取り可能なフォーマットとして分類モデルを表わす必要がある。例えば、この方法では、マルチレベル分類モデルは、隣接するレベル間の境界（ｍａｒｇｉｎ）を示す対応するレベル閾値を有する一連の平行な分類超平面から成る。分類モデルの学習の初めに、まず、最初のモデルを生成する必要がある。
分類モデル初期化手段１０１は、入力されたラベル付きトレーニングデータに基づいた最初の分類モデルを生成するために使用される。最初の分類モデルを生成する方法については、当業者にとって周知の方法であるので、ここでは詳しく説明しない。
調整手段１０２は、レベル間の局所的なレベル隣接度に基づいて、生成された最初の分類モデルを調整し最適化するために使用される。マルチレベル問題において、レベルは順序に関係する。すなわち、レベルが接近すればするほど、それらはより類似する。
そのため、この方法では、この関係は以下のように表わされる。
ｉ番目のレベルの閾値は、（ｉ＋１）番目のレベルの閾値より低くなければならい。
レベル隣接関係を表わす局部的レベル隣接度は、生成された最初の分類モデルを調整するために使用され、それにより、最適化された分類モデルを取得する。
他の例として、Ｐ． Ｎ． Ｍ． ＢｅｌｋｉｎとＶ． Ｓｉｎｄｈｗａｎｉによる“Ｍａｎｉｆｏｌｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｌａｂｅｌｅｄ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｅｘａｍｐｌｅｓ”（Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ，第２３９９−２４３４ページ，２００６年を参照）と題された論文（以下、非特許文献２）は、一連の半教師ありマルチクラス分類モデルを学習する方法を示している。
この方法は典型的な半教師あり学習の方法である。その中心となる構成要素は、「データサンプル類似性に基づいた分類モデルの平滑化」である。
図２は、その非特許文献２による分類モデルの生成および最適化のためのシステム２００の構成ブロック図を示す。図２において、システム２００は、分類モデル初期化手段２０１と、データサンプル類似度ベースの分類モデル平滑化手段２０２を含んでいる。半教師あり学習のシナリオでは、ほとんどのデータサンプルはラベル無しであり、すなわち、それらのカテゴリラベルは未知である。しかしながら、これらのラベル無しトレーニングデータサンプルの存在は、全面的なデータ分布固有の幾何学的構造をよりよく形成するために使用することができる。
それは、類似するデータサンプルが同じカテゴリに存在する可能性が高いという仮説に基づいている。データサンプルの類似度は、データサンプルの特性に基づいて計算することができる。
その後、データサンプル類似度は、ラベル無しデータサンプルとラベル付きデータサンプルについて予測されたカテゴリを調整するために使用される。その結果、これらのラベルは、全面的なデータ分布に従って滑らかに変化し、分類モデルを最適化する目的が達成される。
この方法は典型的な半教師あり学習の方法である。その中心となる構成要素は、「データサンプル類似性に基づいた分類モデルの平滑化」である。
図２は、その非特許文献２による分類モデルの生成および最適化のためのシステム２００の構成ブロック図を示す。図２において、システム２００は、分類モデル初期化手段２０１と、データサンプル類似度ベースの分類モデル平滑化手段２０２を含んでいる。半教師あり学習のシナリオでは、ほとんどのデータサンプルはラベル無しであり、すなわち、それらのカテゴリラベルは未知である。しかしながら、これらのラベル無しトレーニングデータサンプルの存在は、全面的なデータ分布固有の幾何学的構造をよりよく形成するために使用することができる。
それは、類似するデータサンプルが同じカテゴリに存在する可能性が高いという仮説に基づいている。データサンプルの類似度は、データサンプルの特性に基づいて計算することができる。
その後、データサンプル類似度は、ラベル無しデータサンプルとラベル付きデータサンプルについて予測されたカテゴリを調整するために使用される。その結果、これらのラベルは、全面的なデータ分布に従って滑らかに変化し、分類モデルを最適化する目的が達成される。
Ｗｅｉ Ｃｈｕ、Ｓ．Ｓａｔｈｉｙａ Ｋｅｅｒｔｈｉ著， "Ｎｅｗ Ａｐｐｒｏａｃｈｅｓ ｔｏ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｏｒｄｉｎａｌ Ｒｅｇｒｅｓｓｉｏｎ"， ＩＣＭＬ， ２００５年， ｐ．１４５−１５２
Ｐ．Ｎ．Ｍ．Ｂｅｌｋｉｎ、Ｖ．Ｓｉｎｄｈｗａｎｉ著， "Ｍａｎｉｆｏｌｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｌａｂｅｌｅｄ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｅｘａｍｐｌｅｓ"， Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ， ２００６年， ｐ．２３９９−２４３４
Ｍ．Ｑｉａｎ、Ｆ．Ｎｉｅ、Ｃ．Ｚｈａｎｇ著， "Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｂｅｌｅｄ ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｓｖｍ． Ｉｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｍｅｒｇｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ Ｐｒｏｂｌｅｍｓ"， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ （ＩＣＤＭ）， ２００９年
上述したマルチクラス分類モデルにおいては、マルチレベルの場合におけるレベル間のペアの順序関係は考慮されていない。また、そのことに関係なく、関連技術におけるマルチレベル分類モデル最適化方法は、なお避けることのできない多くの欠点を有する。
先行技術１の順序回帰モデル最適化方法（ｏｒｄｉｎａｌ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄ）においては、隣接レベル間の制限のある順序関係だけが考慮される。また、順序回帰モデル中の出力されたレベルラベルは、離散的であり、連続的に測定することができない。
更に、例えば、先行技術２の半教師あり学習のシナリオにおいて適用できる既存のマルチレベルまたは順序回帰方法は存在しない。
先行技術１の順序回帰モデル最適化方法（ｏｒｄｉｎａｌ ｒｅｇｒｅｓｓｉｏｎ ｍｏｄｅｌ ｏｐｔｉｍｉｚａｔｉｏｎ ｍｅｔｈｏｄ）においては、隣接レベル間の制限のある順序関係だけが考慮される。また、順序回帰モデル中の出力されたレベルラベルは、離散的であり、連続的に測定することができない。
更に、例えば、先行技術２の半教師あり学習のシナリオにおいて適用できる既存のマルチレベルまたは順序回帰方法は存在しない。
本発明は、上述した関連技術における既存の課題を解決するためになされたものである。
本発明のマルチレベル分類モデル最適化方法は、教師あり・半教師ありシナリオにそれぞれ適用される主要な４つの分類モデル最適化機能を含む。すなわち、大局的なレベル値の距離に基づいた分類モデル調整機能（第１の調整）、データサンプルの順序関係に基づいた分類モデル調整機能（第２の調整）、データサンプル間の類似度に基づいた分類モデル平滑化機能（第１の平滑化）、レベル間の類似度に基づいた分類モデル平滑化機能（第２の平滑化）の４つである。第１の調整および第２の調整は、主に教師ありシナリオに適用され、すなわち、ラベル付きデータサンプルに基づいている。また、第１の平滑化と第２の平滑化は、第１の調整と第２の調整を基礎として導入され、半教師ありシナリオに適用されるモデルに使用可能である。すなわち、ラベル付きデータサンプルとラベル無しデータサンプルの両方に基づいている。
第１の調整（つまり、大局的なレベル値の距離に基づいた分類モデル調整）は、全ての分類レベルの大局的な関係に基づいて分類モデルを調整する機能である。上述の関連技術１において述べたような隣接するレベル間の局所的な順序に制限される場合と異なり、第１の調整機能は、大局的な誤分類エラーを罰するためにレベル値間のギャップを利用する。その結果、全てのレベルの大局的な順序関係が分類モデルの調整する過程で導入される。したがって、全てのデータサンプル上の大局的な誤分類エラーが最小限になると共に、分類モデルの大局的なレベル順序関係も巨視的に最適化される。
第２の調整（つまり、データサンプルの順序関係に基づいた分類モデル調整）は、以下を考慮して設計されている。
多レベルの順序の本質に基づいて、レベル間の順序は、各データサンプルにも反映する。
そこで、第２の調整機能は、２つのレベル付きデータ毎の間の順序関係を、それらのレベルラベルに対応するレベル順序関係と一致するように保持することを目指している。
したがって、レベル順序関係は、データサンプルに従って微視的にさらに最適化される。
多レベルの順序の本質に基づいて、レベル間の順序は、各データサンプルにも反映する。
そこで、第２の調整機能は、２つのレベル付きデータ毎の間の順序関係を、それらのレベルラベルに対応するレベル順序関係と一致するように保持することを目指している。
したがって、レベル順序関係は、データサンプルに従って微視的にさらに最適化される。
第１の平滑化（つまり、データサンプル間の類似度に基づいた分類モデル平滑化）は、既存の方法、例えば、上述の関連技術２に記載された方法と類似する。
本発明においては、ラベル付きデータサンプルとラベル無しデータサンプルの両方の予測レベルが、それらの類似度に基づいて平滑化される。
本発明においては、ラベル付きデータサンプルとラベル無しデータサンプルの両方の予測レベルが、それらの類似度に基づいて平滑化される。
第２の平滑化（つまり、レベル間の類似度に基づいた分類モデル平滑化）は、データサンプルのレベル類似度に従って分類モデルを調整する機能である。
データサンプル間の類似度に基づいた第１の平滑化機能は、データ分布固有の幾何学的構造だけを利用する。
第２の平滑化は、レベル分布固有の幾何学的構造をモデル化するために使用される。
レベル間の距離とデータサンプルがレベルに属する確率に基づいて、データサンプル間のレベル類似度が計算される。
そのため、分類モデルは、データサンプルのレベル類似度に従ってさらに最適化され、その結果、予測レベルラベルは、全データ分布上で滑らかに変化するだけではなく、レベルの順序関係と一致する。
データサンプル間の類似度に基づいた第１の平滑化機能は、データ分布固有の幾何学的構造だけを利用する。
第２の平滑化は、レベル分布固有の幾何学的構造をモデル化するために使用される。
レベル間の距離とデータサンプルがレベルに属する確率に基づいて、データサンプル間のレベル類似度が計算される。
そのため、分類モデルは、データサンプルのレベル類似度に従ってさらに最適化され、その結果、予測レベルラベルは、全データ分布上で滑らかに変化するだけではなく、レベルの順序関係と一致する。
他の実施例によれば、本発明は、上述した第１の調整、第２の調整、第１の平滑化および第２の平滑化の異なる組合せを利用することにより、マルチレベル分類モデルを最適化する。
本発明によるマルチレベル分類モデルを構築する方法は、ラベル付きデータサンプルを入力するステップと、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、生成した最初のマルチレベル分類モデルを最適化するステップとを含み、前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整する。
他の態様では、最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含む。
さらに他の態様では、最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含む。
他の態様では、最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含む。
さらに他の態様では、最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含む。
本発明によるマルチレベル分類モデルを構築するためのシステムは、ラベル付きデータサンプルを入力する第１の入力手段と、レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備える。
他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成される。
さらに他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節するように構成される。
他の態様によれば、半教師ありシナリオに拡張して適用される。この場合、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節する他に、分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成され、それにより最終的な最適化を実現する。
他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成される。
さらに他の態様によれば、分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節するように構成される。
他の態様によれば、半教師ありシナリオに拡張して適用される。この場合、全てのレベル間の大局的なレベル値の距離とデータサンプル間の順序関係に基づいて最初のマルチレベル分類モデルを調節する他に、分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成され、それにより最終的な最適化を実現する。
本発明の技術的な効果は以下の通りである。
まず、レベル値および類似度を利用することにより、レベル間の順序関係が、分類モデルにおいて十分に結び付けられ、それによって、マルチレベル分類（ｍｕｌｔｉ−ｌｅｖｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の正確さが向上する。
まず、レベル値および類似度を利用することにより、レベル間の順序関係が、分類モデルにおいて十分に結び付けられ、それによって、マルチレベル分類（ｍｕｌｔｉ−ｌｅｖｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の正確さが向上する。
更に、全てのレベルについて統一的な分類機能を構築するので、各データサンプルは同じ度量で計算される。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
さらに、２つの平滑化機能の導入によって、分類モデルは、これまでの教師あり問題および実際の情報処理用途においてより一般的な半教師ありの問題の両方に適用することができ、それによって、マルチレベル分類の実用性が向上する。
本発明は、添付図面を参照した以下の実施の形態の詳細な説明から、より良く理解することができるであろう。同じ参照符号は、同じか類似する部分を示している。
関連技術１による分類モデル最適化システム１００を示す構成ブロック図である。
関連技術２による分類モデル最適化システム２００を示す構成ブロック図である。
本発明による分類モデル最適化システム３００を示す構成ブロック図である。
図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
図３に示す分類モデル最適化システム３００の３つの異なる組合せ動作モードの１つを示すフローチャートである。
以下に、本発明の好ましい実施の形態について、図面を参照して詳細に説明する。
まず、説明を分かり易くするために、説明で使用されるいくつかの基本的な記号の定義を以下に示す。
ｌ個のラベル付きデータサンプルは、ＸＬ＝｛（ｘｉ，ｙｉ）｝， ｉ＝１，．．．，ｌとして記される。
ｕ個のラベル無しデータサンプルは、ＸＵ＝｛（ｘｉ，？）｝ ，ｉ＝ｌ＋１，．．．，ｌ＋ｕとして記される。
ここで、ｙ∈｛ｒｋ｝， ｋ＝１，．．．，Ｋであり、ｒｋは、第ｋ番目のクラスの値であり、Ｋはクラスの総数である。
まず、説明を分かり易くするために、説明で使用されるいくつかの基本的な記号の定義を以下に示す。
ｌ個のラベル付きデータサンプルは、ＸＬ＝｛（ｘｉ，ｙｉ）｝， ｉ＝１，．．．，ｌとして記される。
ｕ個のラベル無しデータサンプルは、ＸＵ＝｛（ｘｉ，？）｝ ，ｉ＝ｌ＋１，．．．，ｌ＋ｕとして記される。
ここで、ｙ∈｛ｒｋ｝， ｋ＝１，．．．，Ｋであり、ｒｋは、第ｋ番目のクラスの値であり、Ｋはクラスの総数である。
ＹＲ＝｛ｙｉ｝， ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルのクラスラベルベクトルを示す。
本発明が構築するのは、レベル関数と呼ばれる、統一的予測（ｕｎｉｆｏｒｍ ｐｒｅｄｉｃｔｉｏｎ）あるいは分類関数（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎ）ｆである。データサンプルｘに対する関数の出力は、数値ｆ（ｘ）であり、すなわち、ｘが属するレベルの値である。最適化されたレベル関数は、ｆ＊と表わされる。
本発明が構築するのは、レベル関数と呼ばれる、統一的予測（ｕｎｉｆｏｒｍ ｐｒｅｄｉｃｔｉｏｎ）あるいは分類関数（ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｆｕｎｃｔｉｏｎ）ｆである。データサンプルｘに対する関数の出力は、数値ｆ（ｘ）であり、すなわち、ｘが属するレベルの値である。最適化されたレベル関数は、ｆ＊と表わされる。
本発明は、マルチレベル分類モデル（ｍｕｌｔｉ−ｌｅｖｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｍｏｄｅｌｓ）を構築するための分類モデル最適化方法を提案する。この方法は、分類モデルにレベル間の順序関係を結合する。本発明によって提案される方法は、教師ありと半教師ありのケースに適用することができる。
例として、その統一的な構造は以下の式（１）により表わすことができる。
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２ Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２ Ｉ＋ｒ３α｜｜ｆ｜｜２ Ｌ （１）
ここで、｜｜ｆ｜｜２ Ｋは、レベル関数ｆの基本的な最適化項である。ｒ１，ｒ２，ｒ３，αは、それぞれ、本発明の発明の第１、第２、第３及び第４の構成要素に対応する項の効果を調整するためのパラメータである。
上述したように、本発明は、主に４つの最適化機能を含んでいる。すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似性に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似性に基づいた分類モデル平滑化（第２の平滑化）である。
式（１）において、それらは、ＶＬｅｖｅｌ（ｆ，ＹＲ）、ＶＯｒｄｅｒ（ｆ）、｜｜ｆ｜｜２ Ｉおよび｜｜ｆ｜｜２ Ｌにそれぞれ対応している。
ここで、説明の便宜上、各項を、例として平方和を用いて説明する。しかし、本発明の原理は、この例に限定されず、各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））に拡張することが可能である。
例として、その統一的な構造は以下の式（１）により表わすことができる。
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２ Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２ Ｉ＋ｒ３α｜｜ｆ｜｜２ Ｌ （１）
ここで、｜｜ｆ｜｜２ Ｋは、レベル関数ｆの基本的な最適化項である。ｒ１，ｒ２，ｒ３，αは、それぞれ、本発明の発明の第１、第２、第３及び第４の構成要素に対応する項の効果を調整するためのパラメータである。
上述したように、本発明は、主に４つの最適化機能を含んでいる。すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似性に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似性に基づいた分類モデル平滑化（第２の平滑化）である。
式（１）において、それらは、ＶＬｅｖｅｌ（ｆ，ＹＲ）、ＶＯｒｄｅｒ（ｆ）、｜｜ｆ｜｜２ Ｉおよび｜｜ｆ｜｜２ Ｌにそれぞれ対応している。
ここで、説明の便宜上、各項を、例として平方和を用いて説明する。しかし、本発明の原理は、この例に限定されず、各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））に拡張することが可能である。
（１）ＶＬｅｖｅｌ（ｆ，ＹＲ）は、学習したレベル関数がデータの真のレベルに近づくことを確実にする、ラベル付きデータに基づいた一種の損失関数（ｌｏｓｓ ｆｕｎｃｔｉｏｎ）である。ここで、ＹＲ はすべてのデータの期待レベル出力ベクトルである。
この項は、本発明の第１の調整（大局的なレベル値の距離に基づいた分類モデル調整機能）に対応する。
（２）ＶＯｒｄｅｒ（ｆ）は、ラベル付きデータサンプル間の順序関係を、それらのレベルラベルの順序関係と一致するように保持する、一種の損失関数である。
この項は、本発明の第２の調整（データサンプル間の順序関係に基づいた分類モデル調整機能）に対応する。
（３）｜｜ｆ｜｜２ Ｉは、データサンプル分布の幾何学的な構造を反映するデータサンプル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆはデータ分布に従って滑らかに変化する。
この項は、本発明の第１の平滑化（データサンプル間の類似性に基づいた分類モデル平滑化機能）に対応する。
（４）｜｜ｆ｜｜２ Ｌは、レベルの幾何学的な構造を反映するレベル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆは、レベル順序分布に従って滑らかに変化する。
この項は、本発明の第２の平滑化（レベル間の類似性に基づいた分類モデル平滑化機能）に対応する。
この項は、本発明の第１の調整（大局的なレベル値の距離に基づいた分類モデル調整機能）に対応する。
（２）ＶＯｒｄｅｒ（ｆ）は、ラベル付きデータサンプル間の順序関係を、それらのレベルラベルの順序関係と一致するように保持する、一種の損失関数である。
この項は、本発明の第２の調整（データサンプル間の順序関係に基づいた分類モデル調整機能）に対応する。
（３）｜｜ｆ｜｜２ Ｉは、データサンプル分布の幾何学的な構造を反映するデータサンプル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆはデータ分布に従って滑らかに変化する。
この項は、本発明の第１の平滑化（データサンプル間の類似性に基づいた分類モデル平滑化機能）に対応する。
（４）｜｜ｆ｜｜２ Ｌは、レベルの幾何学的な構造を反映するレベル類似度に基づいた平滑調整項であり、これにより、レベル関数ｆは、レベル順序分布に従って滑らかに変化する。
この項は、本発明の第２の平滑化（レベル間の類似性に基づいた分類モデル平滑化機能）に対応する。
図３は、本発明に従って分類モデル最適化システム３００の構成ブロック図を示す。図４Ａから図４Ｃは、図３に示す分類モデル最適化システム３００の３つの異なる組合せ処理方法のフローチャートをそれぞれ示す。
図３に示すように、システム３００は、分類モデル初期化手段３０１および分類モデル最適化手段３０２を含んでいる。
分類モデル最適化手段３０２は、４つの分類モデル最適化機能の１つ以上の組合せを実現する。
上述したように、４つの分類モデル最適化機能は、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）３０２１、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）３０２２、データサンプルの間の類似度に基づいた分類モデル平滑化（第１の平滑化）３０２３及びレベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）３０２４を含む。
上述したように、第１の調整および第２の調整は、教師ありシナリオに適用することができ、第１の平滑化および第２の平滑化は、半教師ありシナリオに適用することができる。
本発明の異なる実施例によれば、マルチレベル分類モデルの最適化は、第１の調整、第２の調整、第１の平滑化および第２の平滑化の異なる組合せによって実現することが可能である。
図４Ａから図４Ｃに関して、以下の適用形態は例として示している。
本発明の原理は以下の組合せに限定されないこと、適用要求に従って当業者であれば機能を選択し、組合せることができることに留意すべきである。
分類モデル最適化手段３０２は、４つの分類モデル最適化機能の１つ以上の組合せを実現する。
上述したように、４つの分類モデル最適化機能は、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）３０２１、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）３０２２、データサンプルの間の類似度に基づいた分類モデル平滑化（第１の平滑化）３０２３及びレベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）３０２４を含む。
上述したように、第１の調整および第２の調整は、教師ありシナリオに適用することができ、第１の平滑化および第２の平滑化は、半教師ありシナリオに適用することができる。
本発明の異なる実施例によれば、マルチレベル分類モデルの最適化は、第１の調整、第２の調整、第１の平滑化および第２の平滑化の異なる組合せによって実現することが可能である。
図４Ａから図４Ｃに関して、以下の適用形態は例として示している。
本発明の原理は以下の組合せに限定されないこと、適用要求に従って当業者であれば機能を選択し、組合せることができることに留意すべきである。
適用形態１（図４Ａ）：第１の調整
適用形態２（図４Ｂ）：第１の調整＋第２の調整
適用形態３（図４Ｃ）：第１の調整＋第２の調整＋第１の平滑化＋第２の平滑化
図４Ａおよび４Ｂは教師ありシナリオに適用することができる。図４Ｃは半教師ありシナリオへ拡張して適用することができる。
適用形態２（図４Ｂ）：第１の調整＋第２の調整
適用形態３（図４Ｃ）：第１の調整＋第２の調整＋第１の平滑化＋第２の平滑化
図４Ａおよび４Ｂは教師ありシナリオに適用することができる。図４Ｃは半教師ありシナリオへ拡張して適用することができる。
図４Ａの処理はステップ４０１ａから開始する。
ステップ４０１ａにおいて、ユーザがラベル付きデータサンプル集合を入力する。
その後、ステップ４０２ａにおいて、分類モデル初期化手段３０１が、最初のマルチレベル分類モデルを生成する。
ここで、最初のマルチレベル分類モデルは、当業界において周知の任意の既存の方法を利用することにより生成することが可能である。
本発明において、最初のマルチレベル分類モデルは、統一的な分類超平面マッピング関数（ｕｎｉｆｏｒｍ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｈｙｐｅｒｐｌａｎｅ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）ｆ、一連のレベル値および他の幾つかのパラメータから成る。
次に、ステップ４０３ａにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて第１の調整を実行する。
すなわち、分類モデル最適化手段３０２は、全てのレベル間の大局的なレベル値の距離に基づいて最初の分類モデルを調整する。
ステップ４０４ａにおいて、最適化されたマルチレベル分類モデルが取得される。
ステップ４０１ａにおいて、ユーザがラベル付きデータサンプル集合を入力する。
その後、ステップ４０２ａにおいて、分類モデル初期化手段３０１が、最初のマルチレベル分類モデルを生成する。
ここで、最初のマルチレベル分類モデルは、当業界において周知の任意の既存の方法を利用することにより生成することが可能である。
本発明において、最初のマルチレベル分類モデルは、統一的な分類超平面マッピング関数（ｕｎｉｆｏｒｍ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｈｙｐｅｒｐｌａｎｅ ｍａｐｐｉｎｇ ｆｕｎｃｔｉｏｎ）ｆ、一連のレベル値および他の幾つかのパラメータから成る。
次に、ステップ４０３ａにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて第１の調整を実行する。
すなわち、分類モデル最適化手段３０２は、全てのレベル間の大局的なレベル値の距離に基づいて最初の分類モデルを調整する。
ステップ４０４ａにおいて、最適化されたマルチレベル分類モデルが取得される。
図４Ｂの処理は、図４Ａの処理に類似し、ステップ４０３ｂでの分類モデル最適化手段３０２の動作のみが相違する。
図４Ｂに示す適用形態２において、分類モデル最適化手段３０２は、最初の分類モデルについて、第１の調整および第２の調整を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離および（２）データサンプル間の順序関係に基づいて分類モデルを調整する。
図４Ｂに示す適用形態２において、分類モデル最適化手段３０２は、最初の分類モデルについて、第１の調整および第２の調整を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離および（２）データサンプル間の順序関係に基づいて分類モデルを調整する。
図４Ｃは半教師ありシナリオに適用することが可能である。
ステップ４０１ｃにおいて、ユーザはラベル付きデータサンプル集合およびラベル無しデータサンプル集合を入力する。
その後、ステップ４０２ｃにおいて、分類モデル初期化手段３０１が、入力したラベル付きデータサンプル集合およびラベル無しデータサンプル集合を利用して、最初のマルチレベル分類モデルを生成する。
ステップ４０３ｃにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて、第１の調整、第２の調整、第１の平滑化およびの第２の平滑化を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離、（２）データサンプル間の順序関係、（３）データサンプル間の類似度および（４）分類レベル間の類似度に基づいて、分類モデルを最適化する。
その後、ステップ４０４ｃにおいて、最適化されたマルチレベル分類モデルが取得される。
ステップ４０１ｃにおいて、ユーザはラベル付きデータサンプル集合およびラベル無しデータサンプル集合を入力する。
その後、ステップ４０２ｃにおいて、分類モデル初期化手段３０１が、入力したラベル付きデータサンプル集合およびラベル無しデータサンプル集合を利用して、最初のマルチレベル分類モデルを生成する。
ステップ４０３ｃにおいて、分類モデル最適化手段３０２が、最初の分類モデルについて、第１の調整、第２の調整、第１の平滑化およびの第２の平滑化を実行する。
すなわち、分類モデル最適化手段３０２は、（１）全てのレベル間の大局的なレベル値の距離、（２）データサンプル間の順序関係、（３）データサンプル間の類似度および（４）分類レベル間の類似度に基づいて、分類モデルを最適化する。
その後、ステップ４０４ｃにおいて、最適化されたマルチレベル分類モデルが取得される。
本発明の第１と第２の調整機能および第１と第２の平滑化機能について、以下に詳細に説明する。
第１の調整（大局的なレベル値の距離に基づいた分類モデル調整）
レベル順序関係の導入は、マルチレベル分類器をマルチクラス分類器と区別する重要な特徴である。
本発明においては、レベル値に従ってレベルの間の距離を表わすためにユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ ｏｆ Ｅｕｃｌｉｄｅａｎ ｍｅｔｒｉｃ）をレベル空間に導入する。
その結果、例えば、平方損失を、以下のようにＶＬｅｖｅｌ（ｆ，ＹＲ）を表わすために採用することができる。
上記の式は、各ラベル付きデータサンプルの予測されるレベルラベル値とその対応するラベル付きレベルラベル値との間の距離の平方和を表わしている。
上記の式によれば、データサンプルが誤って分類されるレベルが真のレベルから外れるほど、損失がより大きくなる。
従って、誤った分類エラーが大局的なレベル値の距離によって最小化されれば、レベル関数は最適化されるだろう。
第１の調整の利点は、全てのレベル間の大局的な順序関係が量子化され、暗黙にかつ巨視的に最適化されるということである。
上述したように、平方和の他に、式（２）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
レベル順序関係の導入は、マルチレベル分類器をマルチクラス分類器と区別する重要な特徴である。
本発明においては、レベル値に従ってレベルの間の距離を表わすためにユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ ｏｆ Ｅｕｃｌｉｄｅａｎ ｍｅｔｒｉｃ）をレベル空間に導入する。
その結果、例えば、平方損失を、以下のようにＶＬｅｖｅｌ（ｆ，ＹＲ）を表わすために採用することができる。
上記の式は、各ラベル付きデータサンプルの予測されるレベルラベル値とその対応するラベル付きレベルラベル値との間の距離の平方和を表わしている。
上記の式によれば、データサンプルが誤って分類されるレベルが真のレベルから外れるほど、損失がより大きくなる。
従って、誤った分類エラーが大局的なレベル値の距離によって最小化されれば、レベル関数は最適化されるだろう。
第１の調整の利点は、全てのレベル間の大局的な順序関係が量子化され、暗黙にかつ巨視的に最適化されるということである。
上述したように、平方和の他に、式（２）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
第２の調整（データサンプル間の順序関係に基づいた分類モデル調整）
さらにレベル順序関係を利用するために、本発明は、それらのレベルラベルに従ってデータサンプルの局所的な順序を保持する第２の構成要素を導入する。
まず、ｌ個のラベル付きデータサンプルは、それらのレベルラベルに従って再度並び替えることができる。
区別するために、異なる添字ｘｐが新たな順序における位置を示すために使用される。
その結果、例えば、ヒンジ損失（ｈｉｎｇｅ ｌｏｓｓ）を、以下のようにＶＯｒｄｅｒ（ｆ）を表わすために採用することができる。
第２の調整において、ラベル付きデータサンプルの配列は、レベルラベルに従って再度並び替えられ、その後、その序列における隣接するデータサンプルの予測値間の順序エラーの数学和が、分類モデルを調整するために使用される。
それにより、レベル関数は、レベル順序関係によって制約されるデータ間の順序関係によって最適化される。
第２の調整の利点は、データサンプルの局所的な順序関係が明示的かつ微視的に最適化されるということである。
同様に、第２の調整における数学和は、式（３）で与えられる形式に限定されない。例えば、絶対値の和、平方和、高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ）あるいはその他の形式を使用することが可能である。
さらにレベル順序関係を利用するために、本発明は、それらのレベルラベルに従ってデータサンプルの局所的な順序を保持する第２の構成要素を導入する。
まず、ｌ個のラベル付きデータサンプルは、それらのレベルラベルに従って再度並び替えることができる。
区別するために、異なる添字ｘｐが新たな順序における位置を示すために使用される。
その結果、例えば、ヒンジ損失（ｈｉｎｇｅ ｌｏｓｓ）を、以下のようにＶＯｒｄｅｒ（ｆ）を表わすために採用することができる。
第２の調整において、ラベル付きデータサンプルの配列は、レベルラベルに従って再度並び替えられ、その後、その序列における隣接するデータサンプルの予測値間の順序エラーの数学和が、分類モデルを調整するために使用される。
それにより、レベル関数は、レベル順序関係によって制約されるデータ間の順序関係によって最適化される。
第２の調整の利点は、データサンプルの局所的な順序関係が明示的かつ微視的に最適化されるということである。
同様に、第２の調整における数学和は、式（３）で与えられる形式に限定されない。例えば、絶対値の和、平方和、高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ）あるいはその他の形式を使用することが可能である。
第１の平滑化（データサンプル間の類似度に基づいた分類モデル平滑化）
第１の平滑化は、既存の技術におけるそれらの通常の方法と類似しており、分類モデルを全データ分布の固有の幾何学的構造によりよく一致させるために、ラベル無しデータサンプルを利用する。
この方法は以下の仮定に基づいている。
類似するデータサンプルは、同じレベルに分類される可能性が高い。
例えば、全てのラベル付きデータサンプルとラベル無しデータサンプル間のデータ類似度ＳＩ ｉ，ｊは、それらの特性に基づいて、以下のガウスカーネル（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）を使用することにより計算することができる。
次に、データサンプル類似度に基づいた平滑調整項｜｜ｆ｜｜２ Ｉは、以下のように定義することができる。
上記の式において、分類モデルは、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の平方和に従って平滑化される。
従って、式（５）の最小化は、データ幾何学的分布に従ってレベル関数を滑らかに変化させる。
第１の平滑化の利点は、分類モデルを学習するために大量のラベル無しデータサンプルを利用することができることである。
しかしながら、この方法は、また、データ分布がレベル分布と常に一致するとは限らないという問題点を有する。従って、本発明は、さらに分類モデルを最適化するために第２の平滑化を使用する。上述したように、平方和の他に、式（５）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
第１の平滑化は、既存の技術におけるそれらの通常の方法と類似しており、分類モデルを全データ分布の固有の幾何学的構造によりよく一致させるために、ラベル無しデータサンプルを利用する。
この方法は以下の仮定に基づいている。
類似するデータサンプルは、同じレベルに分類される可能性が高い。
例えば、全てのラベル付きデータサンプルとラベル無しデータサンプル間のデータ類似度ＳＩ ｉ，ｊは、それらの特性に基づいて、以下のガウスカーネル（Ｇａｕｓｓｉａｎ ｋｅｒｎｅｌ）を使用することにより計算することができる。
上記の式において、分類モデルは、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の平方和に従って平滑化される。
従って、式（５）の最小化は、データ幾何学的分布に従ってレベル関数を滑らかに変化させる。
第１の平滑化の利点は、分類モデルを学習するために大量のラベル無しデータサンプルを利用することができることである。
しかしながら、この方法は、また、データ分布がレベル分布と常に一致するとは限らないという問題点を有する。従って、本発明は、さらに分類モデルを最適化するために第２の平滑化を使用する。上述したように、平方和の他に、式（５）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
第２の平滑化（レベル間の類似度に基づいた分類モデル平滑化）
データサンプル間の一般的なサンプル類似度の他に、本発明は、さらに、マルチレベル分類器によって半教師ありシナリオに有効に適用することができる重要な特徴としてレベル類似度を導入する。
本発明においては、最初に、レベル値によってレベルの間の距離を表わすために、ユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ ｏｆ Ｅｕｃｌｉｄｅａｎ ｍｅｔｒｉｃ）に基づいて、レベル距離重み行列（ｌｅｖｅｌ ｄｉｓｔａｎｃｅ ｗｅｉｇｈｔ ｍａｔｒｉｘ）ＢＬ ｋ，ｋ'の概念が導入される、
例えば、それは以下の指数関数のように定義することができる。
ＢＬ ｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜ （６）
次に、既存の方法を利用して、ｋレベルに属するデータサンプルｘｉの確率を表す、データ−レベル確率行列Ｐｉ，ｋを計算する。
ここで、この既存の方法としては、例えば、非特許文献３（Ｍ． Ｑｉａｎ、 Ｆ． Ｎｉｅ とＣ． Ｚｈａｎｇ による“Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｂｅｌｅｄ ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｓｖｍ． Ｉｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｍｅｒｇｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ Ｐｒｏｂｌｅｍｓ” （ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ （ＩＣＤＭ），２００９））と題する論文で提案される方法を用いることが可能である。
最後に、データサンプルについて、レベル類似度の概念を以下のように導入する。
２つのデータサンプルｘｉとｘｊについて、それらの間のレベル類似度ＳＩ ｉ，ｊは以下のように表される。
レベル類似度ＳＩ ｉ，ｊの定義に基づいて、レベル類似度に基づいた平滑調整項｜｜ｆ｜｜２ Ｌは以下のように定義することができる。
上記の等式において、分類モデルは、データサンプルのレベル間の類似度に基づいて重み付けされる予測レベルラベル値の間の距離の平方和に従って平滑化される。
従って、式（８）の最小化は、レベル幾何学的分布に従ってレベル関数を滑らかに変化させる。
第２の平滑化の利点は、大量のラベル無しデータサンプルがマルチレベル分類モデルの学習において役立つだけでなく、レベルの順序の関係を考慮できることである。
上述したように、平方和の他に、式（８）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
データサンプル間の一般的なサンプル類似度の他に、本発明は、さらに、マルチレベル分類器によって半教師ありシナリオに有効に適用することができる重要な特徴としてレベル類似度を導入する。
本発明においては、最初に、レベル値によってレベルの間の距離を表わすために、ユークリッド度量の仮説（ａｓｓｕｍｐｔｉｏｎ ｏｆ Ｅｕｃｌｉｄｅａｎ ｍｅｔｒｉｃ）に基づいて、レベル距離重み行列（ｌｅｖｅｌ ｄｉｓｔａｎｃｅ ｗｅｉｇｈｔ ｍａｔｒｉｘ）ＢＬ ｋ，ｋ'の概念が導入される、
例えば、それは以下の指数関数のように定義することができる。
ＢＬ ｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜ （６）
次に、既存の方法を利用して、ｋレベルに属するデータサンプルｘｉの確率を表す、データ−レベル確率行列Ｐｉ，ｋを計算する。
ここで、この既存の方法としては、例えば、非特許文献３（Ｍ． Ｑｉａｎ、 Ｆ． Ｎｉｅ とＣ． Ｚｈａｎｇ による“Ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｂｅｌｅｄ ｓｅｍｉ−ｓｕｐｅｒｖｉｓｅｄ ｓｖｍ． Ｉｎ Ｗｏｒｋｓｈｏｐ ｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｂａｓｅｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｅｍｅｒｇｉｎｇ Ｄａｔａ Ｍｉｎｉｎｇ Ｐｒｏｂｌｅｍｓ” （ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ （ＩＣＤＭ），２００９））と題する論文で提案される方法を用いることが可能である。
最後に、データサンプルについて、レベル類似度の概念を以下のように導入する。
２つのデータサンプルｘｉとｘｊについて、それらの間のレベル類似度ＳＩ ｉ，ｊは以下のように表される。
レベル類似度ＳＩ ｉ，ｊの定義に基づいて、レベル類似度に基づいた平滑調整項｜｜ｆ｜｜２ Ｌは以下のように定義することができる。
従って、式（８）の最小化は、レベル幾何学的分布に従ってレベル関数を滑らかに変化させる。
第２の平滑化の利点は、大量のラベル無しデータサンプルがマルチレベル分類モデルの学習において役立つだけでなく、レベルの順序の関係を考慮できることである。
上述したように、平方和の他に、式（８）は各種の数学和（例えば、絶対値の和あるいは高累乗和（ｓｕｍ ｏｆ ｈｉｇｈｅｒ ｐｏｗｅｒ））を用いることが可能である。
以上、本発明の分類モデル最適化方法について詳細に説明した。
特に、本発明は、４つの分類モデル最適化機能、すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似度に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）を提案する。これらは、それぞれ、分類レベル中の大局的なレベル値の距離、データサンプル間の順序関係、データサンプル間の類似度およびレベル間の類似度に基づいて分類モデルを調整し最適化する。
特に、本発明は、４つの分類モデル最適化機能、すなわち、大局的なレベル値の距離に基づいた分類モデル調整（第１の調整）、データサンプル間の順序関係に基づいた分類モデル調整（第２の調整）、データサンプル間の類似度に基づいた分類モデル平滑化（第１の平滑化）、レベル間の類似度に基づいた分類モデル平滑化（第２の平滑化）を提案する。これらは、それぞれ、分類レベル中の大局的なレベル値の距離、データサンプル間の順序関係、データサンプル間の類似度およびレベル間の類似度に基づいて分類モデルを調整し最適化する。
上述のように、本発明においては、レベル値および類似度を利用することにより、レベル間の順序関係が、分類モデルにおいて十分に結び付けられ、それによって、マルチレベル分類（ｍｕｌｔｉ−ｌｅｖｅｌ ｃｌａｓｓｉｆｉｃａｔｉｏｎ）の正確さが向上する。
更に、全てのレベルについて統一的な分類機能を構築するので、各データサンプルは同じ度量で計算される。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
そのため、分類器の出力は、離散的なレベルラベルだけでなく、レベルラベルを量子化する連続的な度量値となり、その結果、マルチレベル分類器の出力が測定可能になる。
さらに、２つの平滑化機能の導入によって、分類モデルは、これまでの教師あり問題および実際の情報処理用途においてより一般的な半教師ありの問題の両方に適用することができ、それによって、マルチレベル分類の実用性が向上する。
添付図面を参照して本発明の特定の実施例について説明してきたが、本発明は図面に示した特定の構成やプロセスに限定されるものではない。上記では、説明を簡潔にするため、既知の方法および技術の詳細は省略している。また、上記の実施例では、いくつかの具体的なステップを例示したが、本発明の方法および処理は説明および図示に使用した特定のステップに限定されないため、当該技術に精通する当業者であれば、本発明の精神を一旦理解した後に、様々な変形、変更、追加を行い、またステップの順序を入れ替えることが可能である。
本発明の各要素は、ハードウェア、ソフトウェア、ファームウェア、またはその組み合わせとして実装し、そのシステム、サブシステム、コンポーネント、もしくはサブコンポーネント内で利用することができる。ソフトウェアとして実装された場合、本発明の各要素は、必要なタスクを実行するためのプログラムもしくはコードセクションとなる。これらのプログラムまたはコードセクションは、機械読取り可能な媒体に格納することも、あるいは、搬送波で搬送されるデータ信号を介して伝送媒体もしくは通信リンク上で伝送することもできる。「機械読取り可能な媒体」には、情報を格納または伝送できるあらゆる媒体が含まれる。機械読取り可能な媒体の例としては、電子回路、半導体記憶装置、ＲＯＭ、フラッシュメモリ、ＥＲＯＭ、フロッピーディスク、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、光ファイバー媒体、ＲＦリンク等が挙げられる。コードセクションは、インターネットやイントラネット等のコンピュータネットワークを介してダウンロードすることができる。
本発明は、その精神および本質的な特徴から逸脱することなく、他の様々な形式で実装することができる。例えば、実施例で説明したアルゴリズムは、システムアーキテクチャが本発明の基本精神から逸脱しない限り、変更が可能である。したがって、上記の実施例は、あらゆる観点において限定的なものではなく、例示的なものとみなされる。本発明の範囲は、上記の説明よりもむしろ付記した請求項により定義されるため、請求項の範囲に入るあらゆる変形またはその等価物は本発明の範囲に含まれる。
さらに、上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、これに限定されない。
（付記１）
ラベル付きデータサンプルを入力するステップと、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、
生成した最初のマルチレベル分類モデルを最適化するステップとを含み、
前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整することを特徴とするマルチレベル分類モデルを構築する方法。
ラベル付きデータサンプルを入力するステップと、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、
生成した最初のマルチレベル分類モデルを最適化するステップとを含み、
前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整することを特徴とするマルチレベル分類モデルを構築する方法。
（付記２）
全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
ことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
ことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
（付記３）
最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含むことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含むことを特徴とする付記１に記載のマルチレベル分類モデルを構築する方法。
（付記４）
ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
ことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
ことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
（付記５）
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力するステップと、
レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップとをさらに含むことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力するステップと、
レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップとをさらに含むことを特徴とする付記３に記載のマルチレベル分類モデルを構築する方法。
（付記６）
最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含むことを特徴とする付記５に記載のマルチレベル分類モデルを構築する方法。
最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含むことを特徴とする付記５に記載のマルチレベル分類モデルを構築する方法。
（付記７）
前記平滑化ステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
（４）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
（５）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプルのレベル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
ことを特徴とする付記６に記載のマルチレベル分類モデルを構築する方法。
前記平滑化ステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
（４）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
（５）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプルのレベル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
ことを特徴とする付記６に記載のマルチレベル分類モデルを構築する方法。
（付記８）
前記数学和が、絶対値の和、平方和あるいは高累乗和であることを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
前記数学和が、絶対値の和、平方和あるいは高累乗和であることを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
（付記９）
各項目の数学和について重みパラメータを割り当てるステップを含み、
前記重みパラメータが、０に等しいかあるいは０より大きいことを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
各項目の数学和について重みパラメータを割り当てるステップを含み、
前記重みパラメータが、０に等しいかあるいは０より大きいことを特徴とする付記２、付記４又は付記７の何れかに記載のマルチレベル分類モデルを構築する方法。
（付記１０）
最適化ステップが、以下の式を最小にする
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２ Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２ Ｉ＋ｒ３α｜｜ｆ｜｜２ Ｌ
ここで、
ＢＬ ｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜
（ＸＬ＝｛（ｘｉ，ｙｉ）｝， ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルを示し、ｆは、レベル関数を示し、｜｜ｆ｜｜２ Ｋは、レベル関数ｆの基本的最適化項であり、ＹＲ＝｛ｙｉ｝， ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルのクラスラベルベクトルを示す）
であることを特徴とする付記９に記載のマルチレベル分類モデルを構築する方法。
最適化ステップが、以下の式を最小にする
ｆ＊＝ａｒｇｆｍｉｎ｜｜ｆ｜｜２ Ｋ＋ｒ１ＶＬｅｖｅｌ（ｆ，ＹＲ）＋ｒ２ＶＯｒｄｅｒ（ｆ）＋ｒ３（１−α）｜｜ｆ｜｜２ Ｉ＋ｒ３α｜｜ｆ｜｜２ Ｌ
ここで、
ＢＬ ｋ，ｋ'＝ｅ−｜ｒｋ−ｒｋ'｜
（ＸＬ＝｛（ｘｉ，ｙｉ）｝， ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルを示し、ｆは、レベル関数を示し、｜｜ｆ｜｜２ Ｋは、レベル関数ｆの基本的最適化項であり、ＹＲ＝｛ｙｉ｝， ｉ＝１，．．．，ｌは、ｌ個のラベル付きデータサンプルのクラスラベルベクトルを示す）
であることを特徴とする付記９に記載のマルチレベル分類モデルを構築する方法。
（付記１１）
マルチレベル分類モデルを構築するためのシステムであって、
ラベル付きデータサンプルを入力する第１の入力手段と、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、
生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備え、
前記分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成されることを特徴とするシステム。
マルチレベル分類モデルを構築するためのシステムであって、
ラベル付きデータサンプルを入力する第１の入力手段と、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、
生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備え、
前記分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成されることを特徴とするシステム。
（付記１２）
前記分類モデル最適化手段が、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するように構成されることを特徴とする付記１１に記載のシステム。
前記分類モデル最適化手段が、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するように構成されることを特徴とする付記１１に記載のシステム。
（付記１３）
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力する第２の入力手段を備え、
前記分類モデル初期化手段が、レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成することを特徴とする付記１２に記載のシステム。
半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力する第２の入力手段を備え、
前記分類モデル初期化手段が、レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成することを特徴とする付記１２に記載のシステム。
（付記１４）
前記分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成されることを特徴とする付記１３に記載のシステム。
前記分類モデル最適化手段が、さらに、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するように構成されることを特徴とする付記１３に記載のシステム。
１０１：分類モデル初期化手段
１０２：局所レベル隣接度ベースの分類モデル調整手段
２０１：分類モデル初期化手段
２０２：データサンプル類似度ベースの分類モデル平滑化手段
３００：分類モデル最適化システム
３０１：分類モデル初期化手段
３０２：分類モデル最適化手段
１０２：局所レベル隣接度ベースの分類モデル調整手段
２０１：分類モデル初期化手段
２０２：データサンプル類似度ベースの分類モデル平滑化手段
３００：分類モデル最適化システム
３０１：分類モデル初期化手段
３０２：分類モデル最適化手段
Claims (10)
- ラベル付きデータサンプルを入力するステップと、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップと、
生成した最初のマルチレベル分類モデルを最適化するステップとを含み、
前記最適化ステップで、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整することを特徴とするマルチレベル分類モデルを構築する方法。 - 全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
ことを特徴とする請求項１に記載のマルチレベル分類モデルを構築する方法。 - 最適化ステップが、さらに、ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップを含むことを特徴とする請求項１に記載のマルチレベル分類モデルを構築する方法。
- ラベル付きデータサンプル間の順序関係に基づいて前記最初のマルチレベル分類モデルを調節するステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
ことを特徴とする請求項３に記載のマルチレベル分類モデルを構築する方法。 - 半教師ありシナリオに拡張して適用され、
ラベル無しデータサンプルを入力するステップと、
レベル付きデータサンプルとラベル無しデータサンプルを用いて最初のマルチレベル分類モデルを生成するステップとをさらに含むことを特徴とする請求項３に記載のマルチレベル分類モデルを構築する方法。 - 最適化ステップが、データサンプル間の類似度およびレベル間の類似度に基づいて最初のマルチレベル分類モデルを平滑化するステップを含むことを特徴とする請求項５に記載のマルチレベル分類モデルを構築する方法。
- 前記平滑化ステップが、
全てのラベル付きデータサンプルについて、以下の項目の和が最小となるようにレベル分類関数を調節するステップを含む
（１）レベル分類関数に対応する分類超平面の間の距離の逆数
（２）各ラベル付きデータサンプルの予測レベルラベル値とその対応するラベル付きレベルラベル値の間の距離の数学和
（３）レベルラベルに従って再度並び替えられたラベル付きデータサンプルの配列における隣接するデータサンプルの予想値間の順序エラーの数学和
（４）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
（５）全てのラベル付きデータサンプルとラベル無しデータサンプルについて、データサンプルのレベル間の類似度に基づいて重み付けされた予測レベルラベル値の間の距離の数学和
ことを特徴とする請求項６に記載のマルチレベル分類モデルを構築する方法。 - 前記数学和が、絶対値の和、平方和あるいは高累乗和であることを特徴とする請求項２、請求項４又は請求項７の何れかに記載のマルチレベル分類モデルを構築する方法。
- 各項目の数学和について重みパラメータを割り当てるステップを含み、
前記重みパラメータが、０に等しいかあるいは０より大きいことを特徴とする請求項２、請求項４又は請求項７の何れかに記載のマルチレベル分類モデルを構築する方法。 - マルチレベル分類モデルを構築するためのシステムであって、
ラベル付きデータサンプルを入力する第１の入力手段と、
レベル付きデータサンプルを用いて最初のマルチレベル分類モデルを生成する分類モデル初期化手段と、
生成した最初のマルチレベル分類モデルを最適化する分類モデル最適化手段とを備え、
前記分類モデル最適化手段が、全てのレベル間の大局的なレベル値の距離に基づいて最初のマルチレベル分類モデルを調整するように構成されることを特徴とするシステム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910258920.2 | 2009-12-30 | ||
| CN200910258920.2A CN102117411B (zh) | 2009-12-30 | 2009-12-30 | 用于构建多级别分类模型的方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011138484A true JP2011138484A (ja) | 2011-07-14 |
| JP5429940B2 JP5429940B2 (ja) | 2014-02-26 |
Family
ID=44216172
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010231586A Expired - Fee Related JP5429940B2 (ja) | 2009-12-30 | 2010-10-14 | マルチレベル分類モデルを構築する方法とシステム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5429940B2 (ja) |
| CN (1) | CN102117411B (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485259A (zh) * | 2015-08-26 | 2017-03-08 | 华东师范大学 | 一种基于高约束高分散主成分分析网络的图像分类方法 |
| CN107808661A (zh) * | 2017-10-23 | 2018-03-16 | 中央民族大学 | 一种基于协作式批量主动学习的藏语语音语料标注方法及系统 |
| CN109766922A (zh) * | 2018-12-18 | 2019-05-17 | 东软集团股份有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| KR20200052361A (ko) * | 2017-10-13 | 2020-05-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 클라우드-디바이스 협업적 실시간 사용자 사용 및 성능 비정상 검출을 위한 시스템 및 방법 |
| CN112784863A (zh) * | 2019-11-08 | 2021-05-11 | 北京市商汤科技开发有限公司 | 图像处理网络训练、图像处理、智能行驶的方法及装置 |
| JP2022534377A (ja) * | 2019-10-11 | 2022-07-29 | 平安科技（深▲せん▼）有限公司 | テキスト分類方法、装置及びコンピュータ読み取り可能な記憶媒体 |
| CN117875421A (zh) * | 2024-03-13 | 2024-04-12 | 中国水利水电第一工程局有限公司 | 基于深度学习的光伏阵列故障诊断方法及系统 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106909654B (zh) * | 2017-02-24 | 2020-07-21 | 北京时间股份有限公司 | 一种基于新闻文本信息的多级分类系统及方法 |
| CN107688823B (zh) * | 2017-07-20 | 2018-12-04 | 北京三快在线科技有限公司 | 一种图像特征获取方法及装置，电子设备 |
| CN109886211B (zh) * | 2019-02-25 | 2022-03-01 | 北京达佳互联信息技术有限公司 | 数据标注方法、装置、电子设备及存储介质 |
| CN110442725B (zh) * | 2019-08-14 | 2022-02-25 | 科大讯飞股份有限公司 | 实体关系抽取方法及装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7533076B2 (en) * | 2002-12-06 | 2009-05-12 | Kofax, Inc. | Effective multi-class support vector machine classification |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100594858C (zh) * | 2008-08-01 | 2010-03-24 | 杭州电子科技大学 | 一种脑电肌电联合控制的电动假手的控制方法 |
-
2009
- 2009-12-30 CN CN200910258920.2A patent/CN102117411B/zh not_active Expired - Fee Related
-
2010
- 2010-10-14 JP JP2010231586A patent/JP5429940B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7533076B2 (en) * | 2002-12-06 | 2009-05-12 | Kofax, Inc. | Effective multi-class support vector machine classification |
Non-Patent Citations (4)
| Title |
|---|
| JPN7012004751; Ｗｅｉ Ｃｈｕ， Ｓ． Ｓａｔｈｉｙａ Ｋｅｅｒｔｈｉ: 'Ｎｅｗ ａｐｐｒｏａｃｈｅｓ ｔｏ ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｏｒｄｉｎａｌ ｒｅｇｒｅｓｓｉｏｎ' Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２２ｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ , 2005, ｐ．１４５-１５２． * |
| JPN7012004752; Ｍｉｋｈａｉｌ Ｂｅｌｋｉｎ， Ｐａｒｔｈａ Ｎｉｙｏｇｉ， Ｖｉｋａｓ Ｓｉｎｄｈｗａｎｉ: 'Ｍａｎｉｆｏｌｄ Ｒｅｇｕｌａｒｉｚａｔｉｏｎ： Ａ Ｇｅｏｍｅｔｒｉｃ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｌｅａｒｎｉｎｇ ｆｒｏｍ Ｌａｂｅｌｅｄ ａｎｄ Ｕｎｌａｂｅｌｅｄ Ｅｘａｍｐｌｅｓ' Ｔｈｅ Ｊｏｕｒｎａｌ ｏｆ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｒｅｓｅａｒｃｈ Ｖｏｌ．７, 20061201, ｐ．２３９９-２４３４． * |
| JPN7012004754; Ｍｉｎｇｊｉｅ Ｑｉａｎ， Ｆｅｉｐｉｎｇ Ｎｉｅ， Ｃｈａｎｇｓｈｕｉ Ｚｈａｎｇ: 'Ｐｒｏｂａｂｉｌｉｓｔｉｃ Ｌａｂｅｌｅｄ Ｓｅｍｉ-ｓｕｐｅｒｖｉｓｅｄ ＳＶＭ' Ｄａｔａ Ｍｉｎｉｎｇ Ｗｏｒｋｓｈｏｐｓ， ２００９． ＩＣＤＭＷ '０９． ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ , 20091206, ｐ．３９４-３９９． * |
| JPN7013002596; Ｍｉｎｇｊｉｅ Ｑｉａｎ， Ｆｅｉｐｉｎｇ Ｎｉｅ， Ｃｈａｎｇｓｈｕｉ Ｚｈａｎｇ: 'Ｅｆｆｉｃｉｅｎｔ Ｍｕｌｔｉ-ｃｌａｓｓ Ｕｎｌａｂｅｌｅｄ Ｃｏｎｓｔｒａｉｎｅｄ Ｓｅｍｉ-ｓｕｐｅｒｖｉｓｅｄ ＳＶＭ' Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ １８ｔｈ ＡＣＭ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｋｎｏｗｌｅｄｇｅ ｍａｎａｇｅｍｅｎｔ , 200911, ｐ．１６６５-１６６８ * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485259A (zh) * | 2015-08-26 | 2017-03-08 | 华东师范大学 | 一种基于高约束高分散主成分分析网络的图像分类方法 |
| US11321210B2 (en) | 2017-10-13 | 2022-05-03 | Huawei Technologies Co., Ltd. | System and method for cloud-device collaborative real-time user experience and performance abnormality detection |
| KR20200052361A (ko) * | 2017-10-13 | 2020-05-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 클라우드-디바이스 협업적 실시간 사용자 사용 및 성능 비정상 검출을 위한 시스템 및 방법 |
| KR102339239B1 (ko) * | 2017-10-13 | 2021-12-14 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 클라우드-디바이스 협업적 실시간 사용자 사용 및 성능 비정상 검출을 위한 시스템 및 방법 |
| CN107808661A (zh) * | 2017-10-23 | 2018-03-16 | 中央民族大学 | 一种基于协作式批量主动学习的藏语语音语料标注方法及系统 |
| CN107808661B (zh) * | 2017-10-23 | 2020-12-11 | 中央民族大学 | 一种基于协作式批量主动学习的藏语语音语料标注方法及系统 |
| CN109766922B (zh) * | 2018-12-18 | 2021-10-12 | 东软集团股份有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| CN109766922A (zh) * | 2018-12-18 | 2019-05-17 | 东软集团股份有限公司 | 数据处理方法、装置、存储介质及电子设备 |
| JP2022534377A (ja) * | 2019-10-11 | 2022-07-29 | 平安科技（深▲せん▼）有限公司 | テキスト分類方法、装置及びコンピュータ読み取り可能な記憶媒体 |
| JP7302022B2 (ja) | 2019-10-11 | 2023-07-03 | 平安科技（深▲せん▼）有限公司 | テキスト分類方法、装置、コンピュータ読み取り可能な記憶媒体及びテキスト分類プログラム。 |
| CN112784863A (zh) * | 2019-11-08 | 2021-05-11 | 北京市商汤科技开发有限公司 | 图像处理网络训练、图像处理、智能行驶的方法及装置 |
| CN112784863B (zh) * | 2019-11-08 | 2022-12-16 | 北京市商汤科技开发有限公司 | 图像处理网络训练、图像处理、智能行驶的方法及装置 |
| CN117875421A (zh) * | 2024-03-13 | 2024-04-12 | 中国水利水电第一工程局有限公司 | 基于深度学习的光伏阵列故障诊断方法及系统 |
| CN117875421B (zh) * | 2024-03-13 | 2024-05-17 | 中国水利水电第一工程局有限公司 | 基于深度学习的光伏阵列故障诊断方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102117411A (zh) | 2011-07-06 |
| JP5429940B2 (ja) | 2014-02-26 |
| CN102117411B (zh) | 2015-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5429940B2 (ja) | マルチレベル分類モデルを構築する方法とシステム | |
| Li et al. | Enhanced transport distance for unsupervised domain adaptation | |
| Wang et al. | Parametric local metric learning for nearest neighbor classification | |
| JP4490876B2 (ja) | コンテンツ分類方法、コンテンツ分類装置、コンテンツ分類プログラムおよびコンテンツ分類プログラムを記録した記録媒体 | |
| JP6482481B2 (ja) | ２値分類学習装置、２値分類装置、方法、及びプログラム | |
| Corchado et al. | WeVoS-ViSOM: An ensemble summarization algorithm for enhanced data visualization | |
| Sumbul et al. | Deep learning for image search and retrieval in large remote sensing archives | |
| Wang et al. | Deep generative model for robust imbalance classification | |
| US20220129712A1 (en) | Deep neural network hardener | |
| Xu et al. | Semi-supervised least-squares support vector regression machines | |
| Seyedhosseini et al. | Fast adaboost training using weighted novelty selection | |
| Wu et al. | Conditional mutual information-based contrastive loss for financial time series forecasting | |
| Cortes et al. | Theory and algorithms for learning with rejection in binary classification | |
| Cacciarelli et al. | Active learning for data streams: a survey | |
| Zhu et al. | Adaptive conformal semi-supervised vector quantization for dissimilarity data | |
| Wang et al. | Learning Domain‐Independent Deep Representations by Mutual Information Minimization | |
| Liu et al. | A weight-incorporated similarity-based clustering ensemble method | |
| Aydogdu et al. | A new approach for data stream classification: unsupervised feature representational online sequential extreme learning machine | |
| Nikolaou et al. | Calibrating AdaBoost for asymmetric learning | |
| Zhu et al. | Multiview latent space learning with progressively fine-tuned deep features for unsupervised domain adaptation | |
| Kajdanowicz et al. | Boosting-based sequential output prediction | |
| Nikolaou et al. | Margin maximization as lossless maximal compression | |
| Bahanshal et al. | An Optimized Hybrid Fuzzy Weighted k-Nearest Neighbor to Predict Hospital Readmission for Diabetic Patients | |
| van Laarhoven et al. | Domain adaptation with randomized expectation maximization | |
| Ren et al. | Group-based local adaptive deep multiple kernel learning with lp norm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110615 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121121 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130711 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130924 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131129 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |