JP2019079392A - 学習装置、分析システム、学習方法および学習プログラム - Google Patents

学習装置、分析システム、学習方法および学習プログラム Download PDF

Info

Publication number
JP2019079392A
JP2019079392A JP2017207227A JP2017207227A JP2019079392A JP 2019079392 A JP2019079392 A JP 2019079392A JP 2017207227 A JP2017207227 A JP 2017207227A JP 2017207227 A JP2017207227 A JP 2017207227A JP 2019079392 A JP2019079392 A JP 2019079392A
Authority
JP
Japan
Prior art keywords
model
pipelines
learning
prediction
prediction accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017207227A
Other languages
English (en)
Other versions
JP6859247B2 (ja
Inventor
大志 高橋
Hiroshi Takahashi
大志 高橋
具治 岩田
Tomoharu Iwata
具治 岩田
哲哉 塩田
Tetsuya Shioda
哲哉 塩田
内山 寛之
Hiroyuki Uchiyama
寛之 内山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2017207227A priority Critical patent/JP6859247B2/ja
Publication of JP2019079392A publication Critical patent/JP2019079392A/ja
Application granted granted Critical
Publication of JP6859247B2 publication Critical patent/JP6859247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】複数のパイプラインを表すモデルを組み合わせて、高精度な予測モデルを構築する。【解決手段】生成部15aが、入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する。また、探索部15bが、生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する。【選択図】図4

Description

本発明は、学習装置、分析システム、学習方法および学習プログラムに関する。
近年、様々な物をインターネットに接続するいわゆるIoTの普及に伴い、大規模かつ多種多様なデータが生成され流通している。また、このようなデータを活用するため、データが持つ規則を自動的に発見する機械学習の技術が注目されている。
従来、機械学習の技術を用いるには専門的な知識が必要であったが、機械学習の自動化技術(非特許文献1参照)により、専門家でなくても機械学習を用いてデータを活用することが可能になっている。
機械学習の自動化技術では、例えば、入力されたデータのラベルを予測するクラス分類問題において、ベイズ最適化等の最適化技術を用いて、欠損値の補完、数値ベクトルへの変換等のフェーズのそれぞれに最適なアルゴリズムとハイパーパラメータが選択される。また、一連のフェーズを意味するパイプラインを表すモデルを複数組み合わせて予測精度の向上を図る、アンサンブルと呼ばれる手法が知られている。
Matthias Feurer,et al.、"Efficient and Robust Automated Machine Learning"、Neural Information Processing Systems、[online]、2015年、[2017年10月5日検索]、インターネット<URL:https://papers.nips.cc/paper/5872-efficient-and-robust-automated-machine-learning>
しかしながら、従来の機械学習の自動化技術は、いまだ研究段階にあり予測精度が低いため、データ活用の際に要求される予測精度を満たせない可能性が高い。例えば、アンサンブルでは、同じデータを誤分類するモデルを組み合わせても精度は向上しない。すなわち、どのパイプラインを表すモデル同士を組み合わせるかによって、予測精度向上の可否が左右されていた。
本発明は、上記に鑑みてなされたものであって、複数のパイプラインを表すモデルを組み合わせて、高精度な予測モデルを構築することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る学習装置は、入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する生成部と、生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する探索部と、を備えることを特徴とする。
本発明によれば、複数のパイプラインを表すモデルを組み合わせて、高精度な予測モデルを構築することができる。
図1は、クラス分類について説明するための説明図である。 図2は、機械学習の自動化技術について説明するための説明図である。 図3は、学習装置の概要について説明するための説明図である。 図4は、学習装置の概略構成を例示する模式図である。 図5は、探索部の処理を説明するための説明図である。 図6は、学習処理手順を示すフローチャートである。 図7は、学習装置の学習処理による効果を説明するための説明図である。 図8は、学習装置の学習処理による効果を説明するための説明図である。 図9は、学習装置を含む分析システムの概略構成を例示する模式図である。 図10は、分析システムの処理を説明するための説明図である。 図11は、学習プログラムを実行するコンピュータの一例を示す図である。
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
[学習装置の概要]
本実施形態の学習装置は、入力されたデータのラベルを予測するクラス分類問題について、学習データを用いて機械学習を行って、自動的に予測モデルを構築する。ここで、図1は、クラス分類について説明するための説明図である。クラス分類とは、入力されたデータのラベルを予測する技術である。一般にクラス分類は、図1に示すように、欠損値の補完、カテゴリ変数の変換、各特徴の正規化、データの再変換および推定の5つのフェーズで構成される。図1に示すクラス分類において、データが入力され、ラベルが出力される。
ここで、欠損値の補完とは、データを構成する複数の特徴量のうち、欠損している値がある場合に平均値等を用いて補完する処理である。また、カテゴリ変数の変換とは、性別や曜日等の数値的に測れない特徴量であるカテゴリ変数を数値ベクトルに変換する処理である。また、各特徴の正規化とは、予測精度を向上させるために、データに含まれる複数の特徴量の尺度を揃える処理である。
また、データの再変換とは、予測精度を向上させるために、データに含まれる特徴量のうち、効果的な特徴量を選択する、あるいは特徴量を組み合わせて新しい特徴量を導出するというように、データを再変換する処理である。また、推定とは、学習用のデータとラベルとを用いて、データのクラス分類を行うモデルを学習し、未知のデータのラベルを予測する処理である。
次に、図2は、機械学習の自動化技術について説明するための説明図である。機械学習の自動化技術とは、図2に示すように、各フェーズに選択肢として存在する多数のアルゴリズムと、各アルゴリズムに存在する多数のハイパーパラメータの中から、最適なアルゴリズムおよびハイパーパラメータを選択する技術である。以下、この技術をCASH問題(Combined Algorithm Selection and Hyperparameter Optimization Problem)と記す。最適なアルゴリズムおよびハイパーパラメータの選択には、ベイズ最適化等の最適化技術が用いられる。機械学習の自動化技術により、図2に矢印で連結して示すように、一連のフェーズを意味するパイプラインが生成される。
図2に示すパイプラインにおいて、例えば、フェーズ1ではC (1)で表されるアルゴリズムおよびハイパーパラメータが選択されている。また、このパイプラインにおいて、フェーズ2ではC (2)で表されるアルゴリズムおよびハイパーパラメータが選択されている。すなわち、図2に示すパイプラインは、フェーズ1がC (1)、フェーズ2がC (2)、フェーズ3がC (3)、フェーズ4がC (4)、フェーズ5がC (5)で表されるアルゴリズムおよびハイパーパラメータで構成されるモデルで表される。
また、図3は、学習装置の概要について説明するための説明図である。学習装置は、パイプラインを表すモデルを複数組み合わせるアンサンブルと呼ばれる技術を用いて、予測モデルの精度を向上させる。特に、本実施形態の学習装置は、複数のモデルを組み合わせる際、図3に示すように、各モデルに重み付けして組み合わせる。図3に示す例では、学習装置は、モデル1に重みa、モデル2に重みb、・・・、モデルMに重みmというように、M個のモデルのそれぞれに異なる重みを付加して組み合わせることにより、予測モデルを構築している。すなわち、本実施形態の学習装置は、M個のパイプラインを表すモデルの重み付けした組み合わせのうち、最適なモデルの組み合わせおよび重みを探索する。以下、この技術をCESH問題(Combined Ensemble Selection and Hyperparameter Optimization Problem)と記す。本実施形態の学習装置は、クラス分類問題をCESH問題として取り扱うことにより、組み合わせるモデルが限定されることなく、複数のモデルを組み合わせて、高精度な予測モデルを構築することが可能となる。
[学習装置の構成]
図4は、学習装置の概略構成を例示する模式図である。図4に例示するように、学習装置10は、パソコン等の汎用コンピュータで実現され、入力部11、出力部12、通信制御部13、記憶部14、および制御部15を備える。
入力部11は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部15に対して処理開始などの各種指示情報を入力する。出力部12は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
通信制御部13は、NIC(Network Interface Card)等で実現され、ネットワークNを介したサーバ等の外部の装置と制御部15との通信を制御する。
記憶部14は、RAM(Random Access Memory)、フラッシュメモリ(Flash Memory)等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する学習処理により構築された予測モデルを構成するアルゴリズムおよびハイパーパラメータ等が記憶される。なお、記憶部14は、通信制御部13を介して制御部15と通信する構成でもよい。
制御部15は、CPU(Central Processing Unit)等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部15は、図4に例示するように、生成部15aおよび探索部15bとして機能する。なお、これらの機能部は、異なるハードウェアに実装されてもよい。
生成部15aは、入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する。具体的には、生成部15aは、図2に示したように、各フェーズのアルゴリズムおよびハイパーパラメータが異なる複数のパイプラインを生成する。
探索部15bは、生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する。
例えば、探索部15bは、生成部15aが生成した複数のパイプラインを表すモデルのうち、予測精度が最も高いモデルに、生成部15aが再度生成した複数のモデルのうちのいずれかを重み付けして組み合わせ、予測精度が最も高くなる組み合わせおよび重みを探索する。また、探索部15bは、予測精度が最も高い該組み合わせおよび重みに対し、生成部15aが再度生成した複数のパイプラインを表すモデルのうちのいずれかを重み付けして組み合わせ、予測精度が最も高くなる組み合わせおよび重みを探索する処理を所定の回数繰り返す。これにより、探索部15bは、予測精度が最も高い予測モデルを探索する。
図5は、探索部15bの処理を説明するための説明図である。具体的には、探索部15bは、図5に示すように、まず、生成部15aが生成した複数のパイプラインを表すモデルのうち、予測精度が最も高いモデルを探索する。図5に示す例では、予測精度が最も高いモデルとして、モデル1が探索されている。
次に、探索部15bは、モデル1と、生成部15aが改めて生成した複数のパイプラインを表すモデルのうちのいずれか1つを重み付けして組み合わせてアンサンブルを作成し、作成したアンサンブルのうち予測精度が最も高くなるものを探索する。図5に示す例では、予測精度が最も高いアンサンブルとして、モデル1にモデル2を重み付けして組み合わせたアンサンブルが探索されている。
このように、探索部15bは、探索されたアンサンブルと、生成部15aが改めて生成した複数のパイプラインを表すモデルのうちのいずれか1つを重み付けして組み合わせて新たなアンサンブルを生成し、予測精度が最も高くなるものを探索する処理を、所定の回数繰り返す。図5に示す例では、このような処理をM回繰り返して、予測精度が最も高くなるアンサンブルとして、モデル1、モデル2、…、モデルMのM個のモデルをそれぞれ重み付けして組み合わせたアンサンブルを探索している。探索部15bは、探索したこのアンサンブルを予測モデルとする。このようにして、探索部15bは、予測精度が最も高い予測モデルを構築することができる。
なお、探索部15bは、生成部15aが生成した所定数のパイプラインを表すモデルを、予測精度が高い順に大きい重み付けして組み合わせることにより、予測精度が最も高い予測モデルを探索してもよい。例えば、図5に示す例において、探索部15bは、生成部15aが生成したM個のパイプラインを表すモデルを用いて、まず、予測精度が最も高いモデルとしてモデル1を探索する。次に、探索部15bは、モデル1と、モデル1より予測精度の低いモデル2〜モデルMのうちのいずれか1つを重み付けして組み合わせてアンサンブルを作成し、作成したアンサンブルのうち予測精度が最も高くなるものを探索する。図5に示す例では、予測精度が最も高いアンサンブルとして、モデル1にモデル2を重み付けして組み合わせたアンサンブルが探索されている。
次に、探索部15bは、探索されたアンサンブルと、モデル3〜モデルMのうちのいずれか1つを重み付けして組み合わせて新たなアンサンブルを作成し、予測精度が最も高くなるものを探索する。探索部15bは、同様の処理を繰り返して、生成部15aが生成したM個のパイプラインを表すモデルを重み付けして組み合わせたアンサンブルを探索し、予測モデルとする。このようにして、探索部15bは、処理負荷を軽減して、予測精度が最も高い予測モデルを構築することができる。
[学習処理]
次に、図6を参照して、本実施形態に係る学習装置10による学習処理について説明する。図6は、学習処理手順を示すフローチャートである。図6のフローチャートは、例えば、学習処理の開始を指示する操作入力があったタイミングで開始される。
まず、探索部15bは、i=1として(ステップS1)、生成部15aが生成したi個のパイプラインを表すモデルPのうち予測精度(Performance(P))が最も高いモデルPを探索する(ステップS2)。
次に、探索部15bは、モデルPを構成要素として含むアンサンブルEを作成する(ステップS3)。また、探索部15bは、iが所定数Mより小さい場合に(ステップS4,Yes)、ステップS5に処理を進める。
ステップS5の処理では、探索部15bは、(i−1)個のモデルを含むアンサンブルEi−1を作成し、作成したアンサンブルEi―1にモデルPを重み付けして組み合わせた場合に、予測精度が最も高くなるモデルPを探索する(ステップS5)。次に、探索部15bは、探索したモデルP、P、…、Pを含むアンサンブルEを作成する(ステップS6)。また、探索部15bは、iに1を加算して(ステップS7)、ステップS4に処理を戻す。探索部15bは、iが所定数Mに達した場合に(ステップS4,No)、一連の学習処理を終了する。
以上の処理により、探索部15bは、生成部15aが生成したM個のモデルPを重み付けして組み合わせたアンサンブルを作成し、アンサンブルによる予測精度が最も良いものを探索して予測モデルとする。
以上、説明したように、本実施形態の学習装置10において、生成部15aが、入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する。また、探索部15bが、生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する。これにより、学習装置10は、複数のパイプラインを表すモデルを組み合わせて、高精度な予測モデルを構築することが可能となる。
ここで、図7は本実施形態の学習装置の学習処理による効果を説明するための説明図である。複数のパイプラインを表すモデルを組み合わせる場合に、従来は、重みが考慮されていなかった。そのため、図7(a)に破線で囲んで示すように、同じデータを誤分類するモデル(モデル3とモデル4)を組み合わせても、予測モデルの精度を上げることはできなかった。したがって、図7(b)に破線で囲んで示すように、誤分類するデータが異なるモデル(モデル1とモデル2)を組み合わせた場合に限って、予測モデルの精度を上げることが可能であった。すなわち、どのモデル同士を組み合わせるかによって精度向上の可否が左右されていた。
これに対し、本実施形態の学習装置10の学習処理では、重みを考慮してモデルを組み合わせる。そのため、図7(c)に示すように、例えば精度の高いモデル(モデル1)の重みを大きく、精度の低いモデル(モデル5)の重みを小さくして組み合わせることにより、予測モデルの精度を向上させることが可能である。このように、本実施形態の学習処理によれば、組み合わせるモデルが限定されることなく、複数のモデルを組み合わせて高精度な予測モデルを構築することが可能となった。なお、図7(b)に示す従来の手法は、均一な重みを付加することに相当する。
[実施例]
図8は、本実施形態の学習装置の学習処理による効果を説明するための説明図である。図8には、yeast、abalone、krvskp等の10種のデータセットのそれぞれに対するクラス分類について、従来技術による予測精度と本発明の学習処理による予測精度とが例示されている。ここで、従来技術とは、CASH問題+重みを考慮しないアンサンブル(ES、Ensemble Selection)を意味する。また、本発明の学習処理とは、CESH問題を意味する。図8に示すように、本発明の学習処理により、従来技術より予測精度が平均で約1.2%向上することが確認された。
[分析システム]
本実施形態の学習装置10は、推薦、分類、または異常検知等の分析タスクを実行する分析システムに用いることができる。図9は、学習装置を含む分析システムの概略構成を示す模式図である。図9に示す例において、分析システム100は、学習装置10と分析装置20とを有し、ネットワークNを介して相互にデータ通信可能に接続される。
分析装置20は、パソコン等の汎用のコンピュータで実現され、入力されたデータに対して分析タスクを実行する。例えば、分析装置20は、CPU等を用いて実現される制御部内に予測部21を備え、学習装置10が探索した予測モデルを用いて、入力されたデータのラベルを予測する。なお、予測部21は、学習装置10と同一のハードウェアに実装されてもよい。
図10は、分析システム100の処理を説明するための説明図である。図10に示すように、分析システム100は、入力されたデータを用いて、自動的に機械学習を行ってデータを分類する。図10に示す例において、操作者が分析タスクのうち「分類」を選択して開始を指示すると、分析結果を表示する等して出力する。例えば、学習データが入力された場合に、学習装置10が機械学習を行って、予測モデルを構築し、構築した予測モデルの予測精度を出力する。また、分析対象のデータが入力された場合に、分析装置20が、構築された予測モデルを用いて、入力されたデータの分類を行ってラベルを出力する。
[プログラム]
上記実施形態に係る学習装置10が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、学習装置10は、パッケージソフトウェアやオンラインソフトウェアとして上記の学習処理を実行する学習プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の学習プログラムを情報処理装置に実行させることにより、情報処理装置を学習装置10として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やPHS(Personal Handyphone System)などの移動体通信端末、さらには、PDA(Personal Digital Assistants)などのスレート端末などがその範疇に含まれる。
また、学習装置10は、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の学習処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、学習装置10は、学習用のデータを入力とし、予測モデルを出力する学習処理サービスを提供するサーバ装置として実装される。この場合、学習装置10は、Webサーバとして実装することとしてもよいし、アウトソーシングによって上記の学習処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、学習装置10と同様の機能を実現する学習プログラムを実行するコンピュータの一例を説明する。
図11は、学習プログラムを実行するコンピュータの一例を示す図である。コンピュータ1000は、例えば、メモリ1010と、CPU1020と、ハードディスクドライブインタフェース1030と、ディスクドライブインタフェース1040と、シリアルポートインタフェース1050と、ビデオアダプタ1060と、ネットワークインタフェース1070とを有する。これらの各部は、バス1080によって接続される。
メモリ1010は、ROM(Read Only Memory)1011およびRAM1012を含む。ROM1011は、例えば、BIOS(Basic Input Output System)等のブートプログラムを記憶する。ハードディスクドライブインタフェース1030は、ハードディスクドライブ1031に接続される。ディスクドライブインタフェース1040は、ディスクドライブ1041に接続される。ディスクドライブ1041には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース1050には、例えば、マウス1051およびキーボード1052が接続される。ビデオアダプタ1060には、例えば、ディスプレイ1061が接続される。
ここで、ハードディスクドライブ1031は、例えば、OS1091、アプリケーションプログラム1092、プログラムモジュール1093およびプログラムデータ1094を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ1031やメモリ1010に記憶される。
また、学習プログラムは、例えば、コンピュータ1000によって実行される指令が記述されたプログラムモジュール1093として、ハードディスクドライブ1031に記憶される。具体的には、上記実施形態で説明した学習装置10が実行する各処理が記述されたプログラムモジュール1093が、ハードディスクドライブ1031に記憶される。
また、学習プログラムによる情報処理に用いられるデータは、プログラムデータ1094として、例えば、ハードディスクドライブ1031に記憶される。そして、CPU1020が、ハードディスクドライブ1031に記憶されたプログラムモジュール1093やプログラムデータ1094を必要に応じてRAM1012に読み出して、上述した各手順を実行する。
なお、学習プログラムに係るプログラムモジュール1093やプログラムデータ1094は、ハードディスクドライブ1031に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ1041等を介してCPU1020によって読み出されてもよい。あるいは、学習プログラムに係るプログラムモジュール1093やプログラムデータ1094は、LAN(Local Area Network)やWAN(Wide Area Network)等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース1070を介してCPU1020によって読み出されてもよい。
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
10 学習装置
11 入力部
12 出力部
13 通信制御部
14 記憶部
15 制御部
15a 生成部
15b 探索部
20 分析装置
21 予測部
100 分析システム

Claims (6)

  1. 入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する生成部と、
    生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する探索部と、
    を備えることを特徴とする学習装置。
  2. 前記探索部は、前記生成部が生成した複数の前記パイプラインを表すモデルのうち、予測精度が最も高いモデルに、前記生成部が再度生成した複数の前記パイプラインを表すモデルのうちのいずれかを重み付けして組み合わせ、予測精度が最も高くなる組み合わせおよび重みを探索し、予測精度が最も高い該組み合わせおよび重みに対し、前記生成部が再度生成した複数の前記パイプラインを表すモデルのうちのいずれかを重み付けして組み合わせ、予測精度が最も高くなる組み合わせおよび重みを探索する処理を所定の回数繰り返すことにより、予測精度が最も高い前記予測モデルを探索することを特徴とする請求項1に記載の学習装置。
  3. 前記探索部は、前記生成部が生成した所定数の前記パイプラインを表すモデルを、予測精度が高い順に大きい重み付けして組み合わせることにより、予測精度が最も高い前記予測モデルを探索することを特徴とする請求項1に記載の学習装置。
  4. 学習装置と分析装置とを有する分析システムであって、
    前記学習装置は、
    入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する生成部と、
    生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する探索部と、を備え、
    前記分析装置は、
    前記学習装置が探索した前記予測モデルを用いて、入力されたデータのラベルを予測する予測部を備える
    ことを特徴とする分析システム。
  5. 学習装置で実行される学習方法であって、
    入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する生成工程と、
    生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたモデルのうち、予測精度が最も高いモデルを予測モデルとして探索する探索工程と、
    を含んだことを特徴とする学習方法。
  6. 入力されたデータのラベルを予測する予測モデルを構築する際に実行される複数の処理を組み合わせたパイプラインであって、各処理の設定内容がそれぞれ異なる複数のパイプラインを生成する生成ステップと、
    生成されたパイプラインのそれぞれを表すモデルを重み付けして組み合わせたもののうち、予測精度が最も高いモデルを予測モデルとして探索する探索ステップと、
    をコンピュータに実行させるための学習プログラム。
JP2017207227A 2017-10-26 2017-10-26 学習装置、分析システム、学習方法および学習プログラム Active JP6859247B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017207227A JP6859247B2 (ja) 2017-10-26 2017-10-26 学習装置、分析システム、学習方法および学習プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017207227A JP6859247B2 (ja) 2017-10-26 2017-10-26 学習装置、分析システム、学習方法および学習プログラム

Publications (2)

Publication Number Publication Date
JP2019079392A true JP2019079392A (ja) 2019-05-23
JP6859247B2 JP6859247B2 (ja) 2021-04-14

Family

ID=66627901

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017207227A Active JP6859247B2 (ja) 2017-10-26 2017-10-26 学習装置、分析システム、学習方法および学習プログラム

Country Status (1)

Country Link
JP (1) JP6859247B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201198B1 (ko) * 2020-05-22 2021-01-11 서울시립대학교 산학협력단 기계학습 및 앙상블 기법을 이용하여 데이터를 분류하는 장치 및 방법
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
KR20220072280A (ko) * 2020-11-25 2022-06-02 한국기초과학지원연구원 전자현미경의 수차 값을 예측하기 위한 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309920A (ja) * 2004-04-23 2005-11-04 Alliance Group Inc 多数決装置及びその学習方法と多クラス識別装置
JP2007157130A (ja) * 2005-12-06 2007-06-21 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される強分類器を構築する方法
JP2014174693A (ja) * 2013-03-07 2014-09-22 Toshiba Corp パターン識別装置、パターン識別方法、プログラム、学習装置および学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005309920A (ja) * 2004-04-23 2005-11-04 Alliance Group Inc 多数決装置及びその学習方法と多クラス識別装置
JP2007157130A (ja) * 2005-12-06 2007-06-21 Mitsubishi Electric Research Laboratories Inc コンピュータにより実施される強分類器を構築する方法
JP2014174693A (ja) * 2013-03-07 2014-09-22 Toshiba Corp パターン識別装置、パターン識別方法、プログラム、学習装置および学習方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
塩田哲哉、外2名: "サンプリングを用いた機械学習パイプライン探索手法", 一般社団法人 人工知能学会 第31回全国大会論文集DVD, JPN6020040891, 23 May 2017 (2017-05-23), ISSN: 0004374426 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062792B2 (en) 2017-07-18 2021-07-13 Analytics For Life Inc. Discovering genomes to use in machine learning techniques
US11139048B2 (en) 2017-07-18 2021-10-05 Analytics For Life Inc. Discovering novel features to use in machine learning techniques, such as machine learning techniques for diagnosing medical conditions
KR102201198B1 (ko) * 2020-05-22 2021-01-11 서울시립대학교 산학협력단 기계학습 및 앙상블 기법을 이용하여 데이터를 분류하는 장치 및 방법
KR20220072280A (ko) * 2020-11-25 2022-06-02 한국기초과학지원연구원 전자현미경의 수차 값을 예측하기 위한 장치 및 그 동작 방법
KR102490174B1 (ko) 2020-11-25 2023-01-19 한국기초과학지원연구원 전자현미경의 수차 값을 예측하기 위한 장치 및 그 동작 방법

Also Published As

Publication number Publication date
JP6859247B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6859247B2 (ja) 学習装置、分析システム、学習方法および学習プログラム
Ramezani et al. A new improved model of marine predator algorithm for optimization problems
Lokman et al. Finding all nondominated points of multi-objective integer programs
Yadav et al. A bi-objective task scheduling approach in fog computing using hybrid fireworks algorithm
Liu et al. Deep learning meets wireless network optimization: Identify critical links
Grabocka et al. Learning surrogate losses
CN110929960B (zh) 策略选择优化方法以及装置
JP6907664B2 (ja) 非定常時系列データの予測に用いる方法及び装置
Wang et al. Many-objective cloud manufacturing service selection and scheduling with an evolutionary algorithm based on adaptive environment selection strategy
Da Silva et al. A hybrid memetic approach for fully automated multi-objective web service composition
CN113260986A (zh) 用于发现具有期望特性的材料的机器学习框架
Casas et al. PSO-DS: a scheduling engine for scientific workflow managers
US10915826B2 (en) Evaluation of predictions in the absence of a known ground truth
Ataie et al. A hybrid machine learning approach for performance modeling of cloud-based big data applications
JP2018200524A (ja) 分類装置、分類方法および分類プログラム
Shegay et al. Guide tree optimization with genetic algorithm to improve multiple protein 3D-structure alignment
EP4205043A1 (en) Hybrid machine learning
Strong et al. MABWiser: parallelizable contextual multi-armed bandits
Simaiya et al. A hybrid cloud load balancing and host utilization prediction method using deep learning and optimization techniques
Wang et al. An intelligent QoS identification for untrustworthy web services via two-phase neural networks
JP7424373B2 (ja) 分析装置、分析方法及び分析プログラム
Seno et al. CLR: Cloud Linear Regression Environment as a More Effective Resource-Task Scheduling Environment (State-of-the-Art).
Vlaski et al. Second-order guarantees in centralized, federated and decentralized nonconvex optimization
Radulescu et al. Cloud provider selection a complex multicriteria problem
Laboudi et al. Efficient service selection in multimedia documents adaptation processes

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R150 Certificate of patent or registration of utility model

Ref document number: 6859247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150