JP2022037955A - 学習モデルを選択するシステム - Google Patents

Abstract

【課題】訓練済みの学習モデルから、新規タスクのために利用する適切な学習モデルを選択する。【解決手段】記憶装置は、複数の既存学習モデルそれぞれの関連情報を格納する。プロセッサは、新規タスクの内容に関する情報を取得し、新規タスクのための新規訓練データセットから新規特徴量ベクトルを抽出する。プロセッサは、関連情報を参照して、複数の既存モデルそれぞれのタスクの内容に関する情報と、複数の既存モデルそれぞれの訓練データの特徴量ベクトルと、を取得する。プロセッサは、新規タスクの内容に関する情報と複数の既存モデルそれぞれのタスクについての情報との比較結果、及び、新規特徴量ベクトルと複数の既存モデルそれぞれの特徴量ベクトルとの比較結果、に基づき、複数の既存モデルから新規タスクのための候補学習モデルを選択する。【選択図】図２

Description

本発明は、学習モデルを選択するシステムに関する。

「ロングテール事業活動」（多くの顧客を有するが、各顧客についてわずかなデータしか利用できない事業活動）を行う企業にとって、以前に開発した深層学習モデルを新しい顧客のために使用することは、有益である。例えば、特許文献１は、深層学習ネットワークモデルを生成する方法を開示する。この方法は、ユーザからのマルチモーダル入力から、深層学習ネットワークの生成に関連する１以上の項目を抽出し、その項目に基づいて深層学習ネットワークモデルに起因する詳細を推定する。当該方法は、深層学習ネットワークモデルに基づく中間表現を作成し、その中間表現は、深層学習ネットワークモデルに関連する１以上のデータ項目、及び深層学習ネットワークモデルに起因する１以上の設計詳細を含む。当該方法は、中間表現をソースコードに自動的に変換する。

米国特許出願公開第２０１８／０３０７９７８号

しかし、以前に開発した深層学習モデルを新しい顧客のために使用することは、いくつかの理由から困難である。それら理由は、顧客のデータセット間のドメインギャップ、深層学習フレームワークの相違、タスクの相違等である。さらに、一つの顧客のデータセットを評価し、追加データで補強することは困難である。そのため、これまでのアプローチでは、新しい顧客のデータを十分に集めるか、新しいモデルをわずかな量のデータで一から構築している。前者では学習の実施がその分遅れてしまう問題があり、後者では性能が十分に良好にならない可能性があるという問題がある。また、以前に構築したモデルが使用される場合、その実装を理解するために多大の努力が必要とされる。

本発明の一態様は、ユーザタスクに対する学習モデルを選択するシステムであって、１以上のプロセッサと、１以上の記憶装置と、を含み、前記１以上の記憶装置は、複数の既存学習モデルそれぞれの関連情報を格納し、前記１以上のプロセッサは、新規タスクの内容に関する情報を取得し、前記新規タスクのための新規訓練データセットから新規特徴量ベクトルを抽出し、前記関連情報を参照して、前記複数の既存モデルそれぞれのタスクの内容に関する情報と、前記複数の既存モデルそれぞれの訓練データの特徴量ベクトルと、を取得し、前記新規タスクの内容に関する情報と前記複数の既存モデルそれぞれのタスクについての情報との比較結果、及び、前記新規特徴量ベクトルと前記複数の既存モデルそれぞれの特徴量ベクトルとの比較結果、に基づき、前記複数の既存モデルから前記新規タスクのための候補学習モデルを選択する。

本発明の一態様によれば、訓練済みの学習モデルから、新規タスクのために利用する適切な学習モデルを選択できる。

本明細書の一実施形態に係るモデル生成システムの論理構成を模式的に示す。 本明細書の一実施形態に係るモデル生成システムのハードウェア構成例を示す。 本明細書の一実施形態に係る、モデル生成システムの全体動作例を示す。 本明細書の一実施形態に係る、タスク分析部、本質特徴量抽出部、データベース比較部、そしてモデル選択部の処理例を示す。 本明細書の一実施形態に係るデータセット評価部の処理例を示す。 本明細書の一実施形態に係る、モデルデータベースに格納されているデータの構成例を示す。 学習モデル選択のためのユーザインタフェースと、当該ユーザインタフェースのデータのためのモデル生成システムの処理と、の例を模式的に示す。 ユーザデータセットに新たなデータを追加するためのユーザインタフェース画像の例を模式的に示す。 本明細書の一実施形態に係る、初期化フェーズを模式的に示す。

以下においては、便宜上その必要があるときは、複数のセクションまたは実施例に分割して説明するが、特に明示した場合を除き、それらは互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。また、以下において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

本システムは、物理的な計算機システム（一つ以上の物理的な計算機）でもよいし、クラウド基盤のような計算リソース群（複数の計算リソース）上に構築されたシステムでもよい。計算機システムあるいは計算リソース群は、１以上のインタフェース装置（例えば通信装置及び入出力装置を含む）、１以上の記憶装置（例えば、メモリ（主記憶）及び補助記憶装置を含む）、及び、１以上のプロセッサを含む。

プログラムがプロセッサによって実行されることで機能が実現される場合、定められた処理が、適宜に記憶装置及び／またはインタフェース装置等を用いながら行われるため、機能はプロセッサの少なくとも一部とされてもよい。機能を主語として説明された処理は、プロセッサあるいはそのプロセッサを有するシステムが行う処理としてもよい。プログラムは、プログラムソースからインストールされてもよい。プログラムソースは、例えば、プログラム配布計算機または計算機が読み取り可能な記憶媒体（例えば計算機読み取り可能な非一過性記憶媒体）であってもよい。各機能の説明は一例であり、複数の機能が一つの機能にまとめられたり、一つの機能が複数の機能に分割されたりしてもよい。

以下に提案するシステムは、以前に構築した学習モデルの使用を、データベース及びユーザが実行することを望むタスクの記述に基づいて自動的に適切なモデルを選択することによって、容易なものとする。既存の学習モデルのタイプは任意であり、例えば、深層学習モデルである。以下において、学習モデルを単にモデルとも呼ぶ。

［概略］
一実施形態において、ユーザは、システムに対して、自分が実行することを望むタスク（新規タスク）の簡単な記述を、そのタスクの訓練データセットと共に、入力する。システムは、本質特徴量を訓練データセットから抽出し、タスクの記述からその関連情報を抽出する。システムは、モデルと共にその訓練に使用したデータ、対応する本質特徴量及び対応タスクの記述を格納しているデータベースにおいて、これら情報を使用して関連のある学習モデルを見つけ出す。データベースから選択された学習モデルは、ユーザのデータセットを使用して微調整（再訓練）される。これにより、異なるユーザデータセットに対して、モデルを適応化できる。

他の態様において、上記構成に加えて、ユーザの訓練データセットが評価され、モデルに対して有害なサンプルの訓練データセットにおける割合が演算される。有害サンプルは、学習モデルの訓練に有害なサンプルであって、例えば、誤ったラベル付けや低品質データの収集を原因とする外れ値である。訓練データセットにおける有害サンプルの割合に基づいて、システムは、ユーザの訓練データセットを、既存データベースやインターネット等から取得した新しいデータで補強できる。これにより、ユーザのための学習モデルの性能を高めることができる。

訓練データに追加するために適切なデータを発見するため、システムは、ユーザにより与えられるタスク記述を分析する。この新しいデータは、再び評価され、モデルに対して有害ではないことが保証される。新しいデータは、有害データの割合が閾値より小さく、学習モデルの最大性能を保証できるまで収集される。最後に、学習モデルが、ユーザの訓練データセットで訓練される（微調整される）。

他の態様において、上記構成に加え、微調整された学習モデルは、その訓練データセット、抽出された本質特徴量及びタスク記述と共に、データベースに格納され、システムの将来の使用に利用可能となる。

以下に開示するシステムは、ユーザが、そのタスクのために最適な学習モデルを容易に見つけることを可能とする。ユーザは、そのタスクのための学習モデルを一から構成する必要がなく、ユーザの時間を節約できる。システムは異なるデータに適応可能であり、ユーザ、様々なタスクに対して同一の学習モデルを利用することができる。さらに、システムは、ユーザの訓練データセットを評価し、必要に応じて新しいデータを追加することで、学習モデルの性能を向上できる。

本明細書の一実施形態のシステムは、タスク分析部及び本質特徴量抽出部を含む。タスク分析部への入力は、ユーザによって入力される記述であり、ユーザが達成することを望むタスクの内容を簡単に説明する。タスク分析部の出力は、次の機能部が最適な学習モデルを取得するために使用できるフォーマットにおけるタスクの表現である。一例として、このタスク表現は、キーワード列や文字列の形態をとることができる。ユーザに入力されるタスク記述及びタスク記述から生成されるタスク表現は、タスクの内容に関する情報である。

本質特徴量抽出部の入力は、複数ファイルを含むフォルダ形式でのユーザの訓練データセットであり、各ファイルは訓練データセットの一つのサンプルである。本質特徴量抽出部の出力は、ユーザの訓練データセットに含まれるデータサンプルそれぞれに対応する一次元特徴量ベクトルである。一次元特徴量ベクトルは、複数の要素を含むことができる。

本質特徴量抽出部は、例えば、オートエンコーダニューラルネットワークを使用することができる。ネットワークは、入力を連続するニューロンの層によって処理しながら、入力の次元を低減する。一例として、この技術を使用することで、二次元画像を、一次元ベクトルに減縮できる。

オートエンコーダのアーキテクチャは、ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ特性を有するように構成され、ユーザ固有特徴量と本質特徴量とを分離することができる。ｄｉｓｅｎｔａｎｇｌｅｄは、もつれが解かれた状態であり、ｄｉｓｅｎｔａｎｇｌｅｄ表現学習は公知の技術である。ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ特性を有するアーキテクチャは、互いに独立した特徴量を捉えることができ、潜在空間において入力データ中の要素ごとに特徴量を生成する。本質特徴量ベクトルは、システムがユーザのタスクを解決するための重要な特徴量からなるベクトルである。本質特徴量ベクトルの決定方法の詳細は後述する。

双方の機能部の出力は、データベース比較部の入力として使用される。ユーザ記述から抽出したタスク表現について、データベース比較部は、それをデータベース内の他のタスク表現と比較する。一例として、タスク表現が文字列の形式である場合、最も類似する列は、レーベンシュタイン距離のような古典的なメトリック距離を使用して取得できる。また別の例として、タスク表現がキーワード列の場合、各単語の出現頻度をベクトルとして比較するといった一般的な文書比較手法を用いることでよい。データベースは、既存モデルのタスク表現自体を格納してもよく、タスクについてのユーザの記述からそのタスク表現が生成されてもよい。

本質特徴量ベクトルについて、データベース比較部は、それを、データベース内の他の本質特徴量ベクトルと比較する。比較は、例えば、ユークリッド距離のような古典的なメトリック距離を使用して実現できる。データベースは、既存モデルの本質特徴量ベクトル自体を格納してもよく、データベース内の既存モデルの訓練データからその本質特徴量ベクトルが、比較のために生成されてもよい。

タスク比較及びベクトル比較の結果を使用することで、ユーザのタスクに対して最適な学習モデルを選択することができる。これにより、ユーザは、予め存在する適切な学習モデルを新しいタスクに再利用することができる。本質特徴量の抽出により、選択された学習モデルが、ユーザの訓練データセットと異なるデータにより訓練されたものであっても、良好な性能を示すことができる。最適学習モデルが一旦選択されると、選択された学習モデルは、ユーザのデータセットを使用して訓練される（微調整される）。

また、少なくも一つの実施形態は、上記構成要素に加えて、ユーザの訓練データセットを評価し、モデルに対して有害なサンプルの割合を計算することができるモジュールを含むことができる。有害なサンプルは、訓練データセットにおいて、モデルの性能を低下させるサンプルである。そのようなデータは、間違ったラベリングや低品質のデータサンプルによる外れ値であり得る。このようなデータは、チェックされ、特定の修正が実行される（サンプルの削除、ラベルの付け替え等）。

データ評価部の入力は、モデル選択部により選択された学習モデル及びユーザの訓練データセットである。データ評価部は、訓練データセットにおける有害データの割合を出力する。データ評価部は、公知の影響関数技術に基づくことができ、この技術はモデルの性能に対する各データサンプルの影響度を評価する。影響度により、当該サンプルが有害であるか判定できる。

有害データの割合が所定の閾値を超える場合、システムは、既存データベースやオープンネットワークからのデータを使用して、データセットを補強する（新しいデータサンプルを追加する）。このデータセットの増強は、例えば、ユーザにより与えられたタスク（タスクについての記述）を分析することにより行われる。新しいデータは、データ評価部により再度評価され、有害であるか否かチェックされて初期データに追加される。このような機能部は、非常に少ないデータ又は多くのノイズ（誤ったラベルのデータ）を含む訓練データセットに対して有益である。

また、少なくとも一例は、上記構成要素に加えて、新しく訓練された学習モデルを格納することができるモジュールを含むことができる。学習モデルは、将来にシステムによって使用できるように、自動的にフォーマットされる。このモジュールは、学習モデルに関連付けて、ユーザの訓練データセットの本質特徴量ベクトル及びユーザに入力されたタスク記述や抽出されたタスク表現を格納できる。モジュールは、ユーザの訓練データセットを格納してもよい。
［具体的構成］

以下において、図面を参照して、本明細書の実施形態の例を具体的に説明する。図１Ａは、本明細書の一実施形態に係るモデル生成システム１０の論理構成を模式的に示す。モデル生成システム１０は、ユーザインタフェース１０１、タスク分析部１０２、本質特徴量抽出部１０３、データベース比較部１０４、モデル選択部１０５、データセット評価部１０６、モデル訓練部１０７、そして、モデルデータベース（モデル格納部）１０８を含む。

ユーザインタフェース１０１は、ユーザがデータを入力するための画像を生成及び出力装置において表示すると共に、ユーザが入力装置を介して入力したデータを受け取る。タスク分析部１０２は、ユーザに入力されたタスク記述から、学習モデル選択のためのタスク表現を抽出する。本質特徴量抽出部１０３は、ユーザタスクの訓練データセットから、本質特徴量ベクトルを抽出する。

データベース比較部１０４は、データベースに格納されている学習モデルに関連する情報と、ユーザタスクのタスク表現及び本質特徴量ベクトルとを比較する。ユーザタスクに適した学習モデルを選択する。データセット評価部１０６は、モデル選択部１０５は、ユーザの訓練データセットにおける有害データを検出する。

モデル訓練部１０７は、選択された既存学習モデルを、ユーザの訓練データセットによって訓練する。モデルデータベース１０８は、既存モデル及びその関連情報、並びに、新たに訓練された学習モデル及びその関連情報を格納する。関連情報は、後述するように、学習モデルのタスク記述及び訓練データの本質特徴量ベクトルを含む。

図１Ｂは、モデル生成システム１０のハードウェア構成例を示す。モデル生成システム１０は、演算性能を有するプロセッサ１５１と、プロセッサ１５１が実行するプログラム及びデータを格納する揮発性一時記憶領域を与えるメモリ１５２と、を含む。モデル生成システム１０は、さらに、他の装置とデータ通信をおこなう通信装置１５３と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリなどを利用した永続的な情報記憶領域を与える補助記憶装置１５４と、を含む。主記憶装置であるメモリ１５２、補助記憶装置１５４及びそれらの組み合わせは、記憶装置の例である。

また、モデル生成システム１０は、ユーザからの操作を受け付ける入力装置１５５と、各プロセスでの出力結果をユーザに提示する出力装置１５６と、を含む。入力装置１５５は、例えば、キーボード、マウス、タッチパネル等を含み、出力装置１５６は、例えば、モニタやプリンタを含む。

図１Ａに示す機能部１０１～１０７は、例えば、プロセッサ１５１がメモリ１５２に格納されている対応するプログラムを実行することで実現できる。モデルデータベース１０８は、例えば、補助記憶装置１５４に格納されることができる。なお、モデル生成システム１０は、一つの計算機又は互いに通信可能な複数の計算機で構成してよい。

図２は、本明細書の一実施形態に係る、モデル生成システム１０の全体動作例を示す。モデル生成システム１０は、二つの入力を有する。一つは、文（ｓｅｎｔｅｎｃｅ）又は文章（ｔｅｘｔ）の形式での、ユーザのタスクの簡単な記述１８１である。他の一つは、ファイルのフォルダ形式でのユーザの訓練データセット（ユーザデータセット）１８２である。各ファイルは一つのサンプルデータであり、サンプルデータは、タスクの処理対象データ（入力データ）とラベルとを含む。

タスク分析部１０２は、ユーザタスク記述１８１を分析して、ユーザタスク記述からキーワードのような有益な情報を抽出する（Ｓ１０１）。ユーザデータセット１８２は、本質特徴量抽出部１０３に入力される。本質特徴量抽出部１０３は、ユーザデータセット１８２から、本質特徴量ベクトルを抽出する（Ｓ１０２）。

本質特徴量抽出部１０３の出力と、タスク分析部１０２の出力とは、データベース比較部１０４に入力される。データベース比較部１０４は、ユーザタスクの本質特徴量ベクトル及びタスク表現と、モデルデータベース１０８内の既存モデルそれぞれの本質特徴量ベクトル及びタスク表現とを比較し、その比較結果を出力する（Ｓ１０３）。モデル選択部１０５は、データベース比較部１０４の比較結果に基づいて、ユーザタスクに最適な既存学習モデルを選択する（Ｓ１０４）。選択された学習モデルは、ユーザのデータセット１８２と共に、データセット評価部１０６に入力される。

データセット評価部１０６は、ユーザデータセット１８２における各サンプルを処理して、サンプルが選択されたモデルに対して有害であるか評価する（Ｓ１０５）。後述するように、サンプルの評価は、例えば、影響関数を使用することができる。有害サンプルは、訓練によりモデルの性能を低下させるサンプルであり、例えば間違ったラベル付けや低品質データが原因となり得る。

全てのサンプルの処理の後、データセット評価部１０６は、データセットにおける有害サンプルの割合を算出する。この割合に基づいて、モデル生成システム１０は、二つの行為の間で一方を選択する（Ｓ１０６）。

有害データの割合が、ある閾値以上である場合（Ｓ１０６：ＮＯ）、データセット評価部１０６は、モデルデータベース１０８に格納されている又は他のデータベース（例えばインターネット上のデータベース）から、新しいデータを取得する（Ｓ１０７）。この閾値は例えば３０％といった固定値を設定するのでもよく、または学習モデルの性能を保証可能と考えられる値をユーザが指定可能なようにしてもよい。

データセット評価部１０６は、例えば、ユーザタスクのタスク記述に関連するデータや、本質特徴量ベクトルが近いデータを検索する。または検索の結果で十分なデータが取得できなかった場合に他のデータベースから取得する。新たに取得されたデータは、データセット評価部１０６により、例えば影響関数を使用するなどで評価され有害であるか否かチェックされ、有害でないと判定されれば初期データに追加される（Ｓ１０８）。新たなデータの取得は、有害サンプルの割合が閾値より小さくなるまで繰り返される。

この処理により非常に少ないデータ又は多くのノイズ（誤ったラベルのデータ）を含む訓練データセットに対しても自動的に学習に有効なデータを補強して学習の性能を向上する効果が得られる。またこの時、データセット評価部１０６は有害データを訓練データセットから除外するように処理してもよい。またＳ１０７及びＳ１０８の処理は１サンプル毎に繰り返してもよいし、例えばＳ１０５で有害サンプルと判別された数だけ纏めて実行してもよい。

有害サンプルの割合が閾値より小さくなると（Ｓ１０６：ＹＥＳ）、モデル訓練部１０７は、ユーザデータセットによって、選択された学習モデルを訓練する（Ｓ１０９）。訓練における学習モデルへの入力は、ユーザデータセットから抽出された本質特徴量ベクトルである。その後、訓練された学習モデル、訓練データの本質特徴量ベクトル、及びタスク記述が、モデルデータベース１０８に格納されて、将来のために使用可能となる（Ｓ１１０）。

図３は、本明細書の一実施形態に係る、タスク分析部１０２、本質特徴量抽出部１０３、データベース比較部１０４、そしてモデル選択部１０５の処理例を示す。本質特徴量抽出部１０３は、オートエンコーダを使用して本質特徴量ベクトルを抽出する。オートエンコーダは、ニューラルネットワークであって、入力を複数のニューロンの層を介して処理して、入力（ユーザデータセット１８２のサンプル）の次元を削減する。

本実施形態において、オートエンコーダは、ｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ特性を有しており、二つのベクトルを生成することができる。一つはユーザ固有の特徴量からなるユーザ固有特徴量ベクトル３０１であり、他の一つは本質特徴量からなる本質特徴量ベクトル３０２である。本質特徴量ベクトル３０２は、ユーザのタスクに対して有益な特徴量のみを含むベクトルである。本質特徴量ベクトル３０２は、ユーザデータセット１８２の各サンプルから生成される。これら本質特徴量ベクトル３０２は、データベース比較部１０４に入力される。

データベース比較部１０４は、ユーザの本質特徴量ベクトル３０２と、モデルデータベース１０８に格納されている他のベクトルとを、例えばユークリッド距離のような古典的なベクトル距離を使用して、比較する。データベース比較部１０４は、複数の本質特徴量ベクトル３０２のそれぞれを、モデルデータベース１０８に格納されている各既存学習モデル（各訓練済み学習モデル）の本質特徴量それぞれと比較する。例えば、データベース比較部１０４は、ユーザデータセットの本質特徴量ベクトルそれぞれと、各既存モデルの本質特徴量ベクトルそれぞれとの距離の所定の統計値、例えば平均値を算出する。この値が、各既存モデルとユーザデータセットとの間の比較結果として出力される。

タスク分析部１０２は、ユーザのタスク記述１８１から、ユーザタスク表現３０５を生成する。上述のように、タスク表現は、例えば文字列であって、列ベクトルの形式をとることができる。すなわち、ベクトルの各行がタスク記述の各文字となり、図６のタスク記述「パブリックエリアの画像における異常検出」から［［パ］［ブ］［リ］・・・［出］］という１９×１行列ベクトルが生成される。

データベース比較部１０４は、タスク分析部１０２が生成したユーザタスク表現３０５と、モデルデータベース１０８に格納されている既存学習モデルのタスク表現それぞれとを比較する。タスク表現の比較は、レーベンシュタイン距離のような古典的テキスト距離測定方法を使用して、行うことができる。算出された距離が、各既存モデルのタスクとユーザタスクとの間の比較結果として出力される。

モデル選択部１０５は、データベース比較部１０４により算出された本質特徴量ベクトルの比較結果とタスク表現の比較結果とに基づいて、データベース１０８に格納されている既存学習モデルから、１又は複数の適切な候補を選択する。例えば、モデル選択部１０５は、所定の関数にタスク表現及び本質特徴量ベクトルの比較結果を入力して、類似度スコアを算出する。類似する上位から１又は複数の既存学習モデルを候補として選択する。

図４は、本明細書の一実施形態に係るデータセット評価部１０６の処理例を示す。理解を容易なものとするため、ユーザデータセット１８２、ユーザ固有特徴量ベクトル３０１及び本質特徴量ベクトル３０２を生成する本質特徴量抽出部１０３の処理、並びにモデル訓練部１０７の処理が、合わせて図示されている。

モデルデータベース１０８から選択された学習モデルと、本質特徴量抽出部１０３により生成された本質特徴量ベクトル３０２が与えられると、データセット評価部１０６は、ユーザデータセット１８２の評価を行う（Ｓ１０５）。データセット評価部１０６は、例えば、影響関数技術を使用して、ユーザデータセット１８２における各サンプルの本質特徴量が、選択した学習モデルの性能に対する影響度を算出する。影響関数により、個々のサンプルの本質特徴量が、訓練における学習モデルによる推論に与える影響度を算出する。影響度を参照することで、データセットにおける有害サンプル、例えば誤ったラベル付け又は低データ品質を原因とする外れ値を検出できる。

データセット評価部１０６は、ユーザデータセット１８２における有害サンプルの割合３１４を演算する。有害サンプルの割合３１４が閾値Ｔ以上である場合（Ｓ１０６：ＮＯ）、データセット評価部１０６は、新しいデータを取得する（Ｓ１０７）。データセット評価部１０６は、例えば、既存データベースからデータを取得する又はインターネットから収集する。これらの処理は前述のとおりである。

データセット評価部１０６は、新たに取得されたデータを評価する（Ｓ１０８）。Ｓ１０７及びＳ１０８は、有害サンプルの割合が閾値Ｔより小さくなるまで繰り返される。一旦この要求条件が満たされると、モデル訓練部１０７は、選択した学習モデルをユーザデータセット１８２または新しいデータを加えて更新されたデータセットで訓練（微調整）する（Ｓ１０９）。

図５は、本明細書の一実施形態に係る、モデルデータベース１０８に格納されているデータの構成例を示す。一例として、モデルデータベース１０８の内容は、二つの学習モデル４０２、４０３及びそれらの関連情報を含む。各学習モデルについて、そのアーキテクチャ及びソースコードが含まれる。学習モデル４０２及び４０３に対して、それらの訓練でそれぞれ使用された本質特徴量ベクトル群４０４、４０５が含まれる。また、学習モデル４０２及び４０３に対して、テキスト形式でのタスク記述４０６、４０７がそれぞれ含まれている。

図５では簡易的にタスク１およびタスク２と記載しているが、実際にはユーザが指定する任意の文章を対象としてよく、図６のタスク記述を入力するフィールド６０１に入力された内容が一例に相当する。また同時にタスク表現４０８、４０９がそれぞれ含まれている。これらはデータ格納時にタスク分析部１０２で生成するのでよい。

なお、学習モデルとその関連情報は異なるデータベースに格納されていてもよい。また、タスク記述とタスク表現両方含まずに、タスク記述のみやタスク表現のみが格納されていてもよい。タスク記述のみ記録の場合、タスク分析部１０２が都度タスク記述からタスク表現を生成してデータベース比較部１０４に出力する。また、各学習モデルに関連する本質特徴量ベクトル数は、モデルの訓練に使用するデータサンプル数と等しい。

図６及び図７を参照して、本明細書の一実施形態に係るユーザインタフェース（ＵＩ）を説明する。図６は、学習モデル選択のためのユーザインタフェースの例を模式的に示す。ユーザインタフェース画像６００は、ユーザがタスク記述を入力するフィールド６０１と、訓練データであるユーザデータセットの格納先を入力するフィールド６０２を含む。

ユーザは、そのタスクの簡単な記述を、自然言語を使用してフィールド６０１に入力する。ユーザは、さらに、そのデータセットの格納場所情報をフィールド６０２に入力する。ここで示される例において、ユーザは、「パブリックエリアの画像における異常検出」というタスクを解決することを望んでいる。対応するデータセットは、パブリックエリアの複数画像と、複数画像それぞれに関連付けられたラベル（異常又は異常ではない）を格納するフォルダである。

データセット及びタスク記述は、共にモデル生成システム１０により分析される。モデル生成システム１０は、与えられたタスクに対して前述の処理により適切な学習モデルの候補のリストを出力する。図６の例において、モデル生成システム１０は、モデルＡ、モデルＢ及びモデルＣの三つの候補を提示している。ユーザインタフェース画像６００は、セクション６０４において、提示された候補学習モデルを表示する。ユーザは、提示された候補から、実際に使用する学習モデルを選択できる。さらに、ユーザは、セクション６０５に示されている、自分が用意した学習モデルを自由に選択することができる。

図７は、ユーザデータセットに新たなデータを追加するためのユーザインタフェース画像の例を模式的に示す。ユーザインタフェース画像７００は、ユーザデータセット７０１の学習モデルＡ７０２による処理を示す。処理結果７０３は、選択された学習モデルＡに対する、ユーザデータセットにおける有害サンプルの割合を示す。

この割合により、モデル生成システム１０は、ユーザデータセットを、既存データベース又はインターネットから取得した新しいデータで補強するか否かを決定する。補強する場合に、ユーザインタフェース画像７００は、例えば新しいサンプルのソースを示す画像７０４及び新たに取得された新しいサンプル７０５を表示する。

ユーザは、新しいサンプル７０５を確認して、自分のタスクに関連するか判定し、その判定結果をフィールド７０６に入力できる。モデル生成システム１０は、関連するとユーザに指摘された新しいサンプルの評価を行い、有害サンプルではない場合に、ユーザデータセットに追加する。これにより、選択した学習モデルを適切に訓練できる訓練データを確保できる。

なお、サンプルの評価は、始めに本質特徴量抽出部１０３により新しいサンプルの本質特徴量を算出し、次に例えば影響関数を使うなどにより本質特徴量が学習モデルの性能に与える影響を算出することで行う。図７では一つのサンプルを提示して処理する例を示したが、複数のサンプルを同時に提示し処理してもよい。

上述のように、モデル生成システム１０は、モデルデータベース１０８に格納されている訓練済み学習モデルから、新たなタスクのための候補学習モデルを選択する。以下において、学習モデルの選択の前に、訓練済み学習モデル及びそれに関連付けられた本質特徴量ベクトルを、モデルデータベース１０８に格納する処理（初期化フェーズ）を説明する。

図８は、本明細書の一実施形態に係る初期化フェーズを模式的に示す。本質特徴量抽出部１０３は、例えば、β－ＶＡＥ深層学習モデルを使用することができる。このモデルは、特徴量のｄｉｓｅｎｔａｎｇｌｅｍｅｎｔ特性を有している。本質特徴量抽出部１０３は、ｅｎｔａｎｇｌｅなデータベクトル８０１から、データの異なる特徴量を異なるベクトル８０２、８０３、８０４に分離する。例えば、本質特徴量抽出部１０３は、画像（ｅｎｔａｎｇｌｅな表現）から、異なる特徴量（光の状態、カメラのアングル、画像における人の数等）を表すいくつかのベクトルを出力する。

本質特徴量抽出部１０３は、異なる特徴量に対応する異なるベクトル８０２、８０３、８０４を生成する。各特徴量ベクトルは、学習モデルの入力として使用される。ここでは、データベースの最初のモデルなのでモデル０と呼ぶ。本質特徴量抽出部１０３は、各特徴量ベクトルに対してモデル０によりタスク０を実行し（８０５）、各種類の特徴量ベクトルについてのスコアを算出する。例えば、タスク０が分類タスクであり、モデル０が分類モデルである場合、スコアは分類精度を示す。

最良スコアを与える種類の特徴量ベクトルは、本質特徴量ベクトルと考えることができる。一例として、データセットにおける各サンプルデータに対して、特徴量ベクトル８０４が最良スコア（図８においては０．９）を与えるため、これが本質特徴量ベクトルと考えることができる。本質特徴量ベクトル、学習モデル（モデル０）、及びタスク（タスク０）の記述は、モデルデータベース１０８に格納される。

初期化を実行した後、モデル生成システム１０は、新たなユーザによって使用されることができる。本質特徴量抽出部１０３は、新しいユーザのデータセット１８２をｄｉｓｅｎｔａｎｇｌｅする。ｄｉｓｅｎｔａｎｇｌｅされた特徴ベクトルは、モデルデータベース１０８における本質特徴量ベクトルと比較される。

モデルデータベース１０８における本質特徴量ベクトルに最も類似するユーザの特徴量ベクトルは、ユーザの本質特徴量ベクトルと考えらえれる。他の特徴量ベクトルは、ユーザ固有特徴量ベクトルと考えられる。このように、複数のユーザの特徴量ベクトルと既存学習モデルそれぞれの本質特徴量ベクトルとの比較結果に基づき、ユーザの本質特徴量を適切に決定できる。

類似度は、古典的なメトリック距離、例えば、ユークリッド距離を使用することができる。例えば、データベース比較部１０４は、ユーザデータセットの各種類の特徴量ベクトルと、データベース１０８内の特徴量ベクトルとの類似度の所定の統計値（例えば平均値）を算出し、その値が最も類似する（距離が最も小さい）ことを示す種類の特徴量ベクトルを本質特徴量ベクトルと決定する。残りの処理は、図２、３及び４を参照して説明した通りである。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１０ モデル生成システム
１０１ ユーザインタフェース
１０２ タスク分析部
１０３ 本質特徴量抽出部
１０４ データベース比較部
１０５ モデル選択部
１０６ データセット評価部
１０７ モデル訓練部
１０８ モデルデータベース
１５１ プロセッサ
１５２ メモリ
１５３ 通信装置
１５４ 補助記憶装置
１５５ 入力装置
１５６ 出力装置
１８１ ユーザタスク記述
１８２ ユーザデータセット
３０１ ユーザ固有特徴量ベクトル
３０２、３０３ 本質特徴量ベクトル
８０２、８０３、８０４ 特徴量ベクトル

Claims (14)

1. ユーザタスクに対する学習モデルを選択するシステムであって、
   １以上のプロセッサと、
   １以上の記憶装置と、を含み、
   前記１以上の記憶装置は、複数の既存学習モデルそれぞれの関連情報を格納し、
   前記１以上のプロセッサは、
   新規タスクの内容に関する情報を取得し、
   前記新規タスクのための新規訓練データセットから新規特徴量ベクトルを抽出し、
   前記関連情報を参照して、前記複数の既存モデルそれぞれのタスクの内容に関する情報と、前記複数の既存モデルそれぞれの訓練データの特徴量ベクトルと、を取得し、
   前記新規タスクの内容に関する情報と前記複数の既存モデルそれぞれのタスクについての情報との比較結果、及び、前記新規特徴量ベクトルと前記複数の既存モデルそれぞれの特徴量ベクトルとの比較結果、に基づき、前記複数の既存モデルから前記新規タスクのための候補学習モデルを選択する、システム。
2. 請求項１に記載のシステムであって、
   前記１以上のプロセッサは、前記新規訓練データセットに含まれるサンプルが前記候補学習モデルの訓練において有害であるか判定する、システム。
3. 請求項２に記載のシステムであって、
   有害と判定されたサンプルの量が閾値以上である場合、前記１以上のプロセッサは、前記新規訓練データセットに新たなサンプルを追加すると決定する、システム。
4. 請求項３に記載のシステムであって、
   前記１以上のプロセッサは、前記新規タスクについての情報に基づき、前記新規訓練データセットに追加する新たなサンプルを検索し、
   前記新たなサンプルが前記候補学習モデルの訓練において有害であるか判定する、システム。
5. 請求項１に記載のシステムであって、
   前記１以上のプロセッサは、
   前記新規訓練データセットから複数の特徴量ベクトルを生成し、
   前記複数の特徴量ベクトルと前記複数の既存学習モデルそれぞれの特徴量ベクトルとの比較結果に基づき、前記複数の特徴量ベクトルから前記新規特徴量ベクトルを決定する、システム。
6. 請求項１に記載のシステムであって、
   前記１以上のプロセッサは、前記候補学習モデルを、前記新規訓練データセットを使用して訓練する、システム。
7. 請求項６に記載のシステムであって、
   前記１以上のプロセッサは、前記新規訓練データセットの特徴量ベクトル及び前記新規タスクについての情報を関連付けて、前記１以上の記憶装置に格納する、システム。
8. システムが、ユーザタスクに対する学習モデルを選択する方法であって、
   前記システムが、新規タスクの内容に関する情報を取得し、
   前記システムが、前記新規タスクのための新規訓練データセットから新規特徴量ベクトルを抽出し、
   前記システムが、前記複数の既存モデルそれぞれのタスクの内容に関する情報と、前記複数の既存モデルそれぞれの訓練データの特徴量ベクトルと、を取得し、
   前記システムが、前記新規タスクの内容に関する情報と前記複数の既存モデルそれぞれのタスクについての情報との比較結果、及び、前記新規特徴量ベクトルと前記複数の既存モデルそれぞれの特徴量ベクトルとの比較結果、に基づき、前記複数の既存モデルから前記新規タスクのための候補学習モデルを選択する、方法。
9. 請求項８に記載の方法であって、
   前記システムが、前記新規訓練データセットに含まれるサンプルが前記候補学習モデルの訓練において有害であるか判定する、方法。
10. 請求項９に記載の方法であって、
    有害と判定されたサンプルの量が閾値以上である場合、前記システムが、前記新規訓練データセットに新たなサンプルを追加すると決定する、方法。
11. 請求項１０に記載の方法であって、
    前記システムが、前記新規タスクについての情報に基づき、前記新規訓練データセットに追加する新たなサンプルを検索し、
    前記システムが、前記新たなサンプルが前記候補学習モデルの訓練において有害であるか判定する、方法。
12. 請求項８に記載の方法であって、
    前記システムが、前記新規訓練データセットから複数の特徴量ベクトルを生成し、
    前記システムが、前記複数の特徴量ベクトルと前記複数の既存学習モデルそれぞれの特徴量ベクトルとの比較結果に基づき、前記複数の特徴量ベクトルから前記新規特徴量ベクトルを決定する、方法。
13. 請求項８に記載の方法であって、
    前記システムが、前記候補学習モデルを、前記新規訓練データセットを使用して訓練する、方法。
14. 請求項１３に記載の方法であって、
    前記システムが、前記新規訓練データセットの特徴量ベクトル及び前記新規タスクについての情報を関連付けてデータベースに格納する、方法。

Images