JP2020046956A - 機械学習システム - Google Patents

Abstract

【課題】より複雑な機械学習タスクにおいても高い収束性を有する学習を可能とする。【解決手段】機械学習システムは、事前学習用データ を使用して複数の第１ニューラルネットワークそれぞれの事前学習を行うニューラルネットワークシステム部と、前記事前学習により得られた前記複数の第１ニューラルネットワークのパラメータ情報を取得し、前記第１ニューラルネットワークそれぞれに対応する記号と前記パラメータ情報とを関連付ける記号情報 を生成する、記号化処理部と、前記記号情報の前記記号間の関係情報を生成する、記号処理システム部と、前記記号情報及び前記関係情報を用いて、機械学習タスクに対する第２ニューラルネットワークを再構成する、ニューラルネットワーク作用部と、を含む。【選択図】図１

Description

本発明は、機械学習システムに関する。

人工知能（ＡＩ）関連技術、とりわけ機械学習技術が注目されている。機械学習技術の手法として、大きく、ニューラルネットワーク、遺伝的プログラムの手法がある。ニューラルネットワークは、生物の神経ネットワークの構造を模倣した学習アルゴリズムであり、ネットワークの相互接続で計算を表現し、入出力間の関係性をモデル化する方法である。一方で、遺伝的プログラムは、進化的アルゴリズムを元に、タスクを実行するプログラムを探索的に求める方法である。

学習されるモデルを近似的に求める方法か、学習されるモデルを探索的に求める方法か、という点において両者は大きく異なる。ニューラルネットワークは、近似的にモデルを求める方法であるため、大量のデータが必要となる。大量のデータがあれば収束性は高いが、一方で、データが少ない場合や複雑なタスクを扱う場合には、学習精度を高めるために問題設定やアーキテクチャなどの工夫を施さなければならない。すなわち、膨大な開発コストがかかる。

一方、遺伝的プログラムは、探索的にモデル求める方法である。少量の学習用データでも解を探索できる可能性があるが、一方で、複雑なタスクを扱う場合には、組み合わせ爆発によって収束性が得られなくなる。

特許文献１では、複数のパラメータ記述からなるブロックダイアグラムデータからニューラルネットをそれぞれ生成して学習し、さらに遺伝的アルゴリズムによって評価することで、所望の機能を実現するニューラルネットワークを探索する方法が開示されている。また、特許文献２では、ｉｆ−ｔｈｅｎルールを、自己増殖型ニューラルネットワークを用いて学習することで、パターンベースの推論をより適切に行うことができる推論装置が開示されている。

特開２００３−３１７０７３号公報 特開２００８−３０５１２９号公報

特許文献１に記載の技術は、ブロックダイアグラムデータ（パラメータ情報）を元にニューラルネットワークの構成を探索する手法であり、また特許文献２の手法も入力データパターンに応じて自己増殖型ニューラルネットを適用する。しかし、パラメータや入力データパターンを用いた探索のみでは、複雑な手続きを必要とするタスクには適応できない。これらのタスクには、ニューラルネットワーク単体の識別・判別だけなく、記号的な推論を組み合わせる必要がある。したがって、より複雑な機械学習タスクにおいても高い収束性を有する学習を可能とする技術が望まれる。

本願において開示される発明の代表的な一例を示せば以下の通りである。機械学習システムは、事前学習用データ を使用して複数の第１ニューラルネットワークそれぞれの事前学習を行うニューラルネットワークシステム部と、前記事前学習により得られた前記複数の第１ニューラルネットワークのパラメータ情報を取得し、前記第１ニューラルネットワークそれぞれに対応する記号 と前記パラメータ情報とを関連付ける記号情報 を生成する、記号化処理部と、前記記号情報の前記記号間の関係情報を生成する、記号処理システム部と、前記記号情報及び前記関係情報を用いて、機械学習タスクに対する第２ニューラルネットワークを再構成する、ニューラルネットワーク作用部と、を含む。

本開示の一例は、より複雑な機械学習タスクにおいても高い収束性を有する学習を可能とする。

上記した以外の課題、構成及び効果は、以下の実施例の説明により明らかにされる。

互いに通信する機械学習装置及びユーザ端末を含む機械学習システムの構成例を示すブロック図である。 実施例の機械学習装置が適用されるシステム構成例を示すブロック図である。 機械学習装置のハードウェア構成例を示すブロック図である。 事前学習処理において用いられる構成要素を示す。 事前学習処理のフローチャートを示す。 学習したモデルの一例として、ニューラルネットワークを示す。 ニューラルネットワークの構成要素を示す。 タスク毎に学習された認識情報の例である 記号化処理部が実行する記号化処理の概要を示すフローチャートである。 記号化処理により得られた記号情報の一例を示す。 記号処理において用いられる構成要素を示す。 記号処理の概要を示すフローチャートである。 記号情報をグラフで表した概念図の一例であり、 記号間の関係情報をグラフで表した概念図の一例である。 知識データベースに格納されている、記号間の関係情報の例を示す。 記号情報及び記号間の関係の追加をグラフで示す。 記号の追加による知識データベースに格納されている記号情報の変化の例を示す。 新たに生成される記号間の関係情報の例を示す。 機械学習装置による記号及び記号間の関係の追加処理の概要を説明するフローチャートである。 指定された記号情報の分布図を表示する例である。 指定された記号間の関係情報をグラフで表示する例である。 ユーザによって記号及び記号間の関係が追加される例を示す。 ユーザによる記号及び記号間の関係の追加処理の概要を説明するフローチャートである。 タスク学習処理において用いられる構成要素を示す。 タスク学習及び実行処理の概要を示すフローチャートである。 ニューラルネットワーク作用部が実行するニューラルネットワーク再構成処理の概要を説明するフローチャートである。 ニューラルネットワークＡ及びニューラルネットワークＢから融合ニューラルネットワークを生成する例を示す。

以下、添付図面を参照して本発明の実施例について説明する。添付図面では、機能的に同じ要素は同じ番号で表示されている。なお、添付図面は本発明の原理に則った具体的な実施例を示しているが、これらは本発明の理解のためのものであり、決して本発明を限定的に解釈するために用いられるものではない。

以下において、複雑な機械学習タスクにも対応するために、ニューラルネットワークによって学習用データから得られた知識を記号化して蓄積し、記号化された知識の関係性も考慮した上で記号化された知識を所望の機械学習タスクに活用できる方法並びにそれを実行する装置及びシステムを開示する。

当該方法は、ニューラルネットワークの学習タスクの認識情報を記号情報として蓄積する。認識情報は、ニューラルネットワークのパラメータの情報及び特定層から出力されるベクトルの情報を含む。当該方法は、記号情報におけるベクトル情報を分類し、記号間の関係情報を追加する。さらに、記号間の関係情報に基づき、新たな記号の記号情報を生成する。

また、当該方法は、記憶された記号情報を、ユーザインターフェースを介してユーザに提示し、ユーザにより指定された記号間の関係情報を記号情報に関連付けて記憶する。新たなタスクに応じて、適切に記憶された記号情報及び記号間の関係情報を選択して活用し、より複雑な機械学習タスクにおいても、高い収束性を有する学習を可能とする。

まず、本実施例の概要について、図１を参照しつつ説明する。図１は機械学習装置１００及びユーザ端末２１０を含む機械学習システム（計算機システム）を示す。機械学習装置１００は、収束不可能な複雑な機械学習タスクに対応するために、大きく、事前学習処理、記号処理及びタスク学習処理の３つの処理を実行する。

（１）事前学習処理
データから知識を抽出して、機械学習タスクの学習に利用するために、機械学習装置１００は、データベースから入力をされた事前学習用データ１７１を、ニューラルネットワークシステム部１０１で学習し、機械学習モデル（ニューラルネットワーク）を示す認識情報を作成する。記号化処理部１０２は、得られた認識情報から対象を分類し、分類された対象それぞれに対する記号情報を格納する。分類された対象は、記号で表わされる。記号情報は、記号と、当該記号に紐付けられた認識情報とを含む。

事前学習は、結果として得られる記号情報を、知識として知識データベース１０５に格納する。事前学習用データ１７１は、例えば、画像、テキスト、音声などのセンシングデータ、購買履歴、作業履歴などの業務データなど、機械学習が分析可能な多岐のデータを含み得る。

事前学習の機械学習タスクは、例えば、入力データが対象であるか否かを問う、判別タスクである。画像データに対して犬（対象）を判別するタスク（例えば事前学習タスク１）であれば、犬に対する機械学習モデル（ニューラルネットワーク）１１１Ａが認識情報として学習される。同様に、画像データに対する猫（対象）を判別するタスク（例えば事前学習タスク２）であれば、猫に対する機械学習モデル（ニューラルネットワーク）１１１Ｂが認識情報として学習される。

認識情報は、例えば、事前学習によって得られたニューラルネットワークのパラメータ情報や特定層から出力される埋め込みベクトル情報（分散表現）などを含む。事前学習において、例えば、「犬」や「猫」などのラベル（教師情報）は記号であり、認識情報に紐つけられて記号情報に含まれる。

ニューラルネットワークシステム部１０１のネットワーク構造やパラメータの次元などは、タスクの種別が同じであれば同じものを想定する。画像データに対する判別タスクであれば、犬を判別するタスクでも、猫を判別するタスクでも同じネットワーク構造及びパラメータを用いる。一方、テキストデータを入力とした単語を学習するタスクは、画像データに対するタスクとは、異なるネットワーク構造及びパラメータを用いる。

（２）記号処理
記号処理システム部１０３は、知識データベース１０５に格納された記号情報を用いて、記号間の関係情報を設定または生成し、知識データベース１０５へ再び格納する。記号間の関係情報は、ユーザインターフェース１０６を通してユーザから与えられて設定される、または、記号の類似度の分析や、すでに取得された記号間の関係情報から類推する処理を実行することで生成される。

ユーザインターフェース１０６は、知識データベース１０５が格納する記号情報（記号）の分布を、ベクトル情報を元に表示することや、ラベル付けされた記号間の関係情報をグラフとして表示することが可能である。ユーザは、その表示に従い記号間の関係を画面上で指定して追加することができる。

（３）タスク学習処理
タスク学習処理は、知識データベース１０５に格納された記号情報及び記号間の関係情報を元に、機械学習タスクに対するニューラルネットワーク１１２を再構成し、再構成されたニューラルネットワーク１１２の元で、タスクを学習する。タスク学習処理では、ニューラルネットワーク１１２の再構成に必要な記号情報や記号間の関係情報を、ユーザインターフェース１０６を通してユーザが選択する。

ユーザからの選択情報をトリガとして、ニューラルネットワーク作用部１０４は、対応する記号情報を知識データベース１０５から取得し、ネットワーク再構成情報を作成する。ネットワーク再構成情報は、選択された記号情報のもつパラメータを融合して作られる。ニューラルネットワークシステム部１０１は、ネットワーク再構成情報に基づいたネットワークを用いて、機械学習タスクに対する学習用データ１７２が与えられ、学習が実行される。

以上のように、機械学習装置１００は、事前学習によって得られた認識情報を記号情報に変換し、記号処理によって記号間の関係を定義し、タスク学習処理によって適切な選択情報からネットワークの再構成情報を生成する。これにより、複雑な機械学習タスクも実行可能となる。

機械学習装置１００は、事前学習において、学習されたモデルを認識情報、学習用データの対象に対する教師ラベルを記号として、それらを統合して記号情報を生成する。機械学習装置１００は、記号処理において、記号情報のもつ対象のベクトル情報を元に、記号情報の分布や、記号間の関係性をユーザに提示する。機械学習装置１００は、記号処理において、画面上でのユーザの指定に基づき、記号情報や記号間の関係情報を変更する。機械学習装置１００は、タスク学習処理において、ユーザが指定した記号情報の選択情報を元に、ニューラルネットワークを再構成する。

以下において、実施例を説明する。上述のように、図１は、互いに通信する機械学習装置１００及びユーザ端末２１０を含む機械学習システム（計算機システム）の構成例を示すブロック図である。図２Ａは、実施例の機械学習装置１００が適用されるシステム構成例を示すブロック図である。図２Ｂは機械学習装置１００のハードウェア構成例を示すブロック図である。

図２Ａに示すシステムは、機械学習装置１００、基地局２２０、ユーザ端末２１０、及びデータベース２００を含む。機械学習装置１００、基地局２２０及びデータベース２００はネットワーク２４０を介して互いに接続される。ネットワーク２４０は、例えば、ＷＡＮ、ＬＡＮ等が考えられるが、ネットワーク２４０の種別は限定されない。

ユーザ端末２１０は、基地局２２０を介して無線通信を介して、機械学習装置１００等と接続される。なお、ユーザ端末２１０と基地局２２０との間は有線通信を介して接続されてよいし、ユーザ端末２１０が直接ネットワーク２４０と接続されてもよい。

ユーザ端末２１０は、例えばパーソナルコンピュータ又はタブレット端末等の装置である。ユーザ端末２１０は、プロセッサ、メモリ、ネットワークインターフェース、及び入出力装置（図示省略）を備える。入出力装置には、ディスプレイ、キーボード、マウス、及びタッチパネル等が含まれる。ユーザ端末２１０は、機械学習装置１００を操作するためのユーザインターフェース１０６を提供する。

データベース２００は、ＳＱＬなどのリレーショナルデータベースや、特に構造データを扱う場合には、ＸＭＬデータベースが利用できる。データベース２００は、事前学習タスクのための学習用データ１７１及び再構成されたニューラルネットワーク１１２のタスク学習用データ１７２を格納する。

図２Ｂに示すように、機械学習装置１００は、例えば、１以上の計算機で構成することができる。図２Ｂは、一つの計算機の構成例を示す。データベース２００及びユーザ端末２１０も同様の計算機構成を有してよい。

機械学習装置１００は、プロセッサ１２１、メモリ１２２、補助記憶装置１２３、ネットワークインターフェース１２５を含む。上記構成要素は、バスによって互いに接続されている。メモリ１２２、補助記憶装置１２３又はこれらの組み合わせは記憶装置の例である。これらの一部構成は省略されてもよく、他の構成要素が追加されてもよい。

メモリ１２２は、例えば半導体メモリから構成され、主にプログラムやデータを一時的に保持するために利用される。メモリ１２２は、ニューラルネットワークシステム部１０１、記号化処理部１０２、記号処理システム部１０３及びニューラルネットワーク作用部１０４それぞれを構成するためのプログラムを格納する。

プロセッサ１２１は、メモリ１２２に格納されているプログラムに従って、様々な処理を実行する。プロセッサ１２１がプログラムに従って動作することで、様々な機能部が実現される。例えば、プロセッサ１２１は、プログラムそれぞれに従って、ニューラルネットワークシステム部１０１、記号化処理部１０２、記号処理システム部１０３及びニューラルネットワーク作用部１０４として動作する。

補助記憶装置１２３は、例えばハードディスクドライブやソリッドステートドライブなどの大容量の記憶装置から構成され、プログラムやデータを保存するために利用される。例えば、知識データベース１０５は、補助記憶装置１２３に格納することができる。補助記憶装置１２３に格納されたプログラムが起動時又は必要時にメモリ１２２にロードされる。このプログラムをプロセッサ１２１が実行することにより機械学習装置１００の各種処理が実行される。したがって、プログラムにより実行される処理は、プロセッサ１２１又は機械学習装置１００による処理である。

ネットワークインターフェース１２５は、ネットワークに接続するためのインターフェースである。機械学習装置１００は、ネットワークインターフェース１２５及びネットワークを介して、データベース２００及びユーザ端末２１０と通信を行う。

機械学習装置１００は、ユーザ端末２１０の指示に従って、データベース２００から学習用データ１７１又は１７２を取得し、機械学習処理を実行する。データベース２００から検索され、読み込まれたデータは、補助記憶装置１２３又はメモリ１２２に格納される。機械学習処理のための実行プログラム、及び当該プログラムの実行時に用いられる情報は、メモリ１２２に格納される。

図１の説明に戻る。次に、メモリ１２２に格納される機械学習処理のための実行プログラム及び情報について説明する。機械学習装置１００は、事前学習処理、記号処理、及びタスク学習処理の３つの処理を実行する、複数の機能部を含む。プロセッサ１２１は、プログラムに従って複数の機能部として動作する。具体的には、機械学習装置１００は、ニューラルネットワークシステム部１０１、記号化処理部１０２、記号処理システム部１０３、ニューラルネットワーク作用部１０４を含む。

ニューラルネットワークシステム部１０１は、ユーザ端末２１０のユーザインターフェース１０６から検索項目やキーワードを受け取り、登録されたデータベース２００にアクセスして、補助記憶装置１２３又はメモリ１２２に、取得された学習用データ１７１、１７２を格納する。

事前学習処理時、ニューラルネットワークシステム部１０１は、事前学習用に取得したデータ１７１をニューラルネットワーク１１１Ａ及び１１１Ｂで学習し認識情報を出力する。タスク学習処理時、ニューラルネットワークシステム部１０１は、ニューラルネットワークの再構成情報を入力として、タスクに対するニューラルネットワーク１１２を再構成する。ニューラルネットワークシステム部１０１は、再構成されたニューラルネットワーク１１２で、タスク用に取得したデータからタスクを学習し、結果を出力する。

記号化処理部１０２は、ニューラルネットワークシステム部１０１から得られた認識情報を入力として、事前学習におけるラベルを対象の記号として分類し、分類されたラベル（記号）それぞれに対して認識情報を紐付けて、記号情報を生成する。結果として得られた記号情報は、知識データベース１０５に格納される。

記号処理システム部１０３は、知識データベース１０５に格納された記号情報に含まれる対象のベクトル情報を教師なしクラスタリングによって分析して、新たなカテゴリ（記号間の関係を示す）を記号情報に追加する。記号処理システム部１０３は、ユーザインターフェース１０６を介して、ユーザに記号情報を、ベクトル情報の分布や、記号間の関係を表すグラフとして提示する。

ユーザは、ユーザインターフェース１０６を介して、表示されたグラフに対して記号間の関係を画面上で指定して追加する。記号処理システム部１０３は、生成された記号間の関係情報を知識データベース１０５へ格納する。タスク学習時、記号処理システム部１０３は、ユーザインターフェース１０６からの指定に伴い、再構成に必要な記号情報や記号間の関係情報を取得し、選択情報としてニューラルネットワーク作用部１０４へ出力する。

ニューラルネットワーク作用部１０４は、ユーザから記号情報の選択情報をユーザインターフェース１０６を介して受け付け、対応する記号情報を知識データベース１０５から取得し、ネットワーク再構成情報を作成する。

知識データベース１０５は、記号化処理によって生成された記号情報及び記号化処理によって生成された記号間の関係情報を格納する。知識データベース１０５は、補助記憶装置１２３もしくはメモリ１２２、または、外部ネットワーク２４０を介して接続されるデータベース２００に格納することができる。

ユーザ端末２１０において、ユーザインターフェース１０６は、プログラムに従って動作するプロセッサにより実現される。ユーザインターフェース１０６は、知識データベース１０５が格納する記号情報及び記号間の関係情報をユーザ端末２１０の表示デバイスにおいて表示する。記号処理時、ユーザインターフェース１０６は、ユーザが入力デバイスから指定する記号間の関係情報を受け付ける。タスク処理時、ユーザインターフェース１０６は、ユーザが入力デバイスから指定する記号情報の選択情報を受け付ける。

以下において、機械学習装置１００が実行する処理の流れを説明する。上述のように、機械学習装置１００は、事前学習処理、記号処理及びタスク学習処理を実行する。

＜事前学習処理＞
図３は、事前学習処理において用いられる構成要素を示す。事前学習処理は、いくつかのタスクのデータに対して、予め学習を実施しておく処理である。事前学習処理は、その学習で得た知識を、記号情報として、知識データベース１０５に格納する。記号情報は、入力情報、出力情報（教師データであるラベル）、学習されたニューラルネットワークのパラメータ情報、学習用データに対するベクトル情報（中間層の出力）を含むである。

図４は、事前学習処理のフローチャートを示す。機械学習装置１００は、事前学習処理を、ユーザ端末２１０から受信した開始指示に応答して実行する。ニューラルネットワークシステム部１０１は、タスク毎にステップＳ３０１〜Ｓ３０４を実行する。ニューラルネットワークシステム部１０１は、タスク毎に、ユーザインターフェース１０６からキーワード、対象となるデータベース、期間指定などの検索項目を受け付け、受信した情報を元に、外部ネットワーク２４０を介して、データベース２００から該当する事前学習用データ１７１を検索して取得する（ステップＳ３０２）。取得された事前学習用データ１７１は、機械学習装置１００の補助記憶装置１２３に格納される。

ニューラルネットワークシステム部１０１、取得された事前学習用データ１７１に対して、事前学習用データ学習処理を実行する（ステップＳ３０３）。事前学習用データ学習処理において、想定される機械学習タスクは、例えば、入力データが、対象か否かを問う判別タスクである。ここで、タスク種別（画像の判別タスク、テキストの単語学習タスクなど）が同じであれば、ニューラルネットワークのネットワーク構造や、パラメータの次元などは同じと想定する。一方で、タスク種別が異なれば、それぞれニューラルネットワークのネットワーク構造やパラメータ次元などは異なると想定する。

ニューラルネットワークの例は、画像を取り扱うのに適したコンボリューショナルニューラルネットワーク、テキストなど系列データを扱うのに適したリカレントニューラルネットワーク、である。ニューラルネットワークのパラメータ情報は、タスク種別ごとに保持される。

図５Ａは、学習したモデルの一例として、ニューラルネットワーク４０１を示す。図５Ｂは、ニューラルネットワーク４０１の構成要素を示す。ニューラルネットワーク４０１は、対象か否かを問う判別タスクの例である。説明の簡単化のため、ニューラルネットワーク４０１は３層構造を有する。実際のニューラルネットワークは、より多くの層からなる多層構造を有してよい。

Ｗ１、Ｗ２は、ニューラルネットワーク４０１のパラメータ情報を表す。Ｗ１は対象のベクトル情報（分散表現）への埋め込みを学習するエンコーダとしてのパラメータ情報を表す。当該パラメータ情報は、入力層と中間層との間のエッジそれぞれの重みやバイアスを示す。Ｗ２は対象のベクトル情報からの判定を学習するデコーダとしてのパラメータ情報を表す。当該パラメータ情報は、中間層と出力層との間のエッジそれぞれの重みやバイアスを示す。ｈは、Ｗ１によって埋め込まれた対象に対するベクトル情報（分散表現）を表す。ｈは、中間層からの出力ベクトルである。

ｉｎはニューラルネットワークの入力情報、ｏｕｔは出力情報（対象に対する教師ラベル）である。図５Ａ及び５Ｂの例は、入力が判別対象か否かを問う判別タスクのため、出力情報の教師ラベルはｐｏｓｉｔｉｖｅかｎｅｇａｔｉｖｅの二通りであり、出力層は二つのポートを備えている。例えば、犬又は猫の判別モデルのｐｏｓｉｔｉｖｅのラベルは、犬又は猫のラベルである。

事前学習用データ１７１を使用した事前学習処理は、タスク毎に学習される機械学習モデルを認識情報として出力する。図６はタスク毎に学習された認識情報の例４１０である。認識情報４１０は、構成情報４１１及び処理データ情報４１５を含む。図６の例において、画像及び文書のタスク種別に対して、犬を判別するタスク及び猫を判別するタスクの二つのタスクが存在する。認識情報４１０はメモリ１２２に格納されると共に、知識データベース１０５に格納されてもよい。

構成情報４１１は、各タスクのタスク種別及びニューラルネットワークの学習後のパラメータ情報（Ｗ１及びＷ２）を示す。処理データ情報４１５は、各タスクにおける、入力情報（ｉｎ）、対応する教師ラベル（ｏｕｔ）及び、教師ラベル（ｏｕｔ）が示す対象に対する埋め込み情報としてのベクトル情報の組、を示す。タスクが実行される毎に、構成情報が追加される。

処理データ情報４１５は、構成情報４１１が示すパラメータ情報を有するニューラルネットワークに対する入力、ベクトル情報及び出力のラベルを示す。出力のラベルは犬又は猫である。つまり、処理データ情報４１５は、猫又は犬と判別された入力及びベクトル情報の組を示す。これら入力に対するニューラルネットワークそれぞれの出力の値は、ｐｏｓｉｔｉｖｅである。このように、図６の例において、構成情報４１１に対して、犬及び猫をラベルとして判別する情報が付加されている。

図４に戻って、ステップＳ３０１〜ステップＳ３０４の処理が、タスク毎に認識情報を得る処理である。ニューラルネットワークシステム部１０１は、事前学習用のタスクに応じてこの処理を繰り返し実行し、タスクの認識情報を順次追加する。ここで、ベクトル情報は、入力（ｉｎ）とパラメータ情報（Ｗ１、Ｗ２）から計算可能なため、ベクトル情報を保持せずに後から計算してもよい。

機械学習装置１００は、取得された認識情報を入力として、記号化処理を実効する（ステップＳ３０５）。具体的には、記号化処理部１０２が記号化処理を実行する。記号化処理は、教師ラベルを認識情報に紐付けて、記号情報を生成する。記号情報は、対象を判別するための記号を含み、事前学習処理における認識情報に含まれる教師ラベルがそれを表す。記号化処理は、タスク毎に整理された認識情報を、対象の記号（教師ラベル）毎に整理し直す。結果として得られる記号情報は、知識データベース１０５に格納される（ステップＳ３０６）。

図７は、記号化処理部１０２が実行する記号化処理の概要を示すフローチャートである。図８は、記号化処理により得られた記号情報の一例４５１を示す。図７を参照して、記号化処理部１０２は、認識情報を取得する（ステップＳ６０１）。記号化処理部１０２は、認識情報の中から同一の教師ラベルの情報を抽出する（ステップＳ６０２）。同一の教師ラベルは、図６の認識情報４１０における犬、猫などである。

認識情報に含まれるベクトル情報は入力に応じて複数存在するため、記号化処理部１０２は、タスク毎（ステップＳ６０３及びＳ６０５）に、同一ラベルのベクトル情報をまとめる処理を実行する（ステップＳ６０４）。図６の例において、記号化処理部１０２は、画像タスク１において、同一のラベルを持つｈ１、ｈ２及びｈ３をまとめて合成ベクトル情報ｈ１２３を生成する。ｈ１、ｈ２及びｈ３のまとめ方は、例えば、それらの平均（単純平均又は加重平均）を計算してもよいし、別の方法であってもよい。

次に、記号化処理部１０２は、ラベル毎（ステップＳ６０６及びＳ６０８）に全ての情報を集約する（ステップＳ６０７）。集約された情報が記号情報となる。図８に示す記号情報４５１は、各ラベルに対応する、パラメータ情報、ベクトル情報及び合成ベクトル情報の組を保持している。記号情報４５１は、さらに、各ラベルにおいて、各タスク種別に対応するパラメータ情報、ベクトル情報及び合成ベクトル情報の組と関係を保持している。

最後に、記号化処理部１０２は、得られた記号情報を出力し、知識データベース１０５へ格納する（ステップＳ６０９）。上記処理フロー例は、タスク毎の認識情報を作成した後で、記号化処理を実行している。これと異なり、記号化処理を実行後にタスクを追加し、認識情報を追加してもよい。その場合、関係する対象の教師ラベルをキーとして、知識データベース１０５に格納済みの記号情報を問い合わせ、同様の処理を実行する。

上述のように、事前学習処理は、いくつかのタスクのデータ群に対して、予め学習を実行し、その際に学習されたパラメータ情報及びベクトル情報を、教師ラベルを元に整理して、記号情報として知識データベース１０５に蓄える。

＜記号処理＞
図９は、記号処理において用いられる構成要素を示す。記号処理は、知識データベース１０５に格納されている記号情報を元に、記号間の関係情報を生成する。記号間の関係情報の生成には、主に、既存記号と関係を有する新たな記号の追加と既存記号間の関係の追加がある。記号間の関係情報は、機械学習装置１００による自動推論により生成される、または、ユーザによる補助の元で生成される。

ユーザによる補助の元で関係情報を生成するため、記号処理は、ユーザインターフェース１０６を介して、ユーザに記号間の関係を提示する。また、記号処理は、ユーザからの指定をユーザインターフェース１０６を介して受け付け、指定された変更内容を元に、記号間の関係情報を設定する。これらの処理は、ユーザからの指定によってインタラクティブに実行される。

図１０は、記号処理の概要を示すフローチャートである。記号処理システム部１０３は、ユーザからの処理の指定を受け付ける（ステップＳ３０７）。ユーザから指定される処理は、機械学習装置１００による記号及び記号間の関係の追加処理、ユーザによる記号及び記号間の関係の追加処理、ユーザインターフェース１０６を介した記号情報及び記号間の関係情報の参照処理、及びユーザインターフェース１０６を介した記号情報及び記号間の関係情報の変更処理を含む。ユーザからの処理の指定は、ユーザインターフェース１０６から与えられる。

記号処理システム部１０３は、ユーザからの指定内容に応じて、知識データベース１０５に格納された記号情報及び／または記号間の関係情報を取得する（ステップＳ３０８）。記号情報は、事前学習処理によって生成されて、知識データベース１０５に格納されている。記号間の関係情報は、後述する記号間の関係情報生成処理によって生成されて、知識データベース１０５に格納されている。また、ユーザは、処理の内容に応じて、ユーザインターフェース１０６上で、取得する記号情報や記号間の関係情報の範囲を指定することができる。

記号処理システム部１０３は、取得した記号情報または記号間の関連情報を入力として、記号間の関係情報生成処理を実行する（ステップＳ３０９）。記号間の関係情報生成処理（ステップＳ３０９）は、上記ユーザに指示される１又は複数の処理を実行する。ユーザに指示される処理は、機械学習装置１００による記号及び記号間の関係の追加処理、ユーザによる記号及び記号間の関係の追加処理、ユーザによる記号情報及び記号間の関係情報の参照処理、又はユーザによる記号情報及び記号間の関係情報の変更処理である。

選択された記号情報に対する新たな記号間の関係情報は、機械学習装置１００又はユーザによる記号及び記号間の関係の追加処理で生成される。機械学習装置１００又はユーザによる記号及び記号間の関係の追加処理は、さらに、生成された記号間の関係情報に新たな関係情報を追加することができる。

記号情報及び記号間の関係情報の変更処理は、例えば、記号情報において記号の削除又は名称の変更、記号間の関係情報において関係の削除を行う。記号情報及び記号間の関係情報の参照処理は、ユーザに指定された記号情報及び／または記号間の関係情報をユーザに提示する。

記号処理システム部１０３は、生成された記号間の関係情報を知識データベース１０５に格納し、また、知識データベース１０５に格納されている記号情報及び記号間の関係情報を更新する。

図１１Ａは記号情報をグラフで表した概念図の一例５０１であり、図１１Ｂは記号間の関係情報をグラフで表した概念図の一例５０２である。記号情報グラフ５０１及び記号間関係情報グラフ５０２において、円で示されるノードは、記号（ラベル）を示し、ノード間を接続するエッジが記号間の関係を示す。記号情報は記号それぞれの情報を示し、記号間の接続情報を示さないため、記号情報グラフ５０１ではエッジが存在しない。

記号間関係情報グラフ５０２において、関係を有する記号（ノード）がエッジで接続されている。本例においては、「動物」は「犬」及び「猫」と接続されており、「動物」は「犬」及び「猫」を包含するカテゴリである。また、「生物」は「犬」、「猫」及び「蛙」と接続されており、「生物」は「犬」、「猫」及び「蛙」を包含するカテゴリである。

図１１Ｃは、知識データベース１０５に格納されている、記号間の関係情報の例５０５を示す。記号間の関係情報５０５は、記号間関係情報グラフ５０２に対応する。記号間の関係情報５０５は、記号間の関係を示す記号間のエッジの情報を保持している。なお、記号間の関係情報は、グラフ構造と異なる形態で知識データベース１０５に格納されていてもよい。

図１２Ａ、１２Ｂ及び１２Ｃは、記号及び記号間の関係を追加する処理の一例を示す。図１２Ａは、記号情報及び記号間の関係の追加をグラフで示す。グラフ５３１は、記号及び記号間の関係の追加前のグラフを示し、グラフ５３２はそれらが追加された後のグラフを示す。本例において、「カテゴリ１（犬、猫）」の記号が追加され、さらに、「カテゴリ１（犬、猫）」と「犬」との間の関係（エッジ）及び「カテゴリ１（犬、猫）」と「猫」との間の関係（エッジ）が追加されている。

図１２Ｂは、記号の追加による知識データベース１０５に格納されている記号情報５５１の変化の例を示す。図１２Ｂは、図１２Ａに対応している。「カテゴリ１（犬、猫）」の情報が、記号情報５５１に追加されている。「カテゴリ１（犬、猫）」は、「犬」及び「猫」と関係を有する。「カテゴリ１（犬、猫）」のパラメータ情報及びベクトル情報は、「犬」及び「猫」双方のパラメータ情報及びベクトル情報を含む。

図１２Ｃは、新たに生成される記号間の関係情報の例５７１を示す。図１２Ｃは、図１２Ａ及び１２Ｂに対応する。「カテゴリ１（犬、猫）」の追加の前に、関係を有する記号は存在していないため、記号間の関係情報は空である（又は存在しない）。「カテゴリ１（犬、猫）」の追加に応じて、記号間の関係情報５７１が生成され、知識データベース１０５に格納される。記号間の関係情報５７１は、「カテゴリ１（犬、猫）」と「犬」及び「猫」それぞれとの間にエッジ（関係）が存在することを示す。

前述のように、ユーザ指示に応じた処理は、機械学習装置１００による記号及び記号間の関係の追加処理、ユーザによる記号及び記号間の関係の追加処理、ユーザによる記号情報及び記号間の関係情報の参照処理、及びユーザによる記号情報及び記号間の関係情報の変更処理の四つの処理を含む。以下において、これらの処理を説明する。

図１３は、機械学習装置１００による記号及び記号間の関係の追加処理の概要を説明するフローチャートである。機械学習装置１００による記号及び記号間の関係の追加処理は、既に登録されている記号情報から、新たな記号を自動で推論して生成し、記号情報の記号間の関係情報を付加する。機械学習装置１００は、例えば、新たな記号及び記号間の関係情報を生成するために記号情報の分布を用い、分布に対する教師なし学習（クラスタリング）により、新たなカテゴリを生成し、それらに対応する新たな記号情報及び記号間の関係情報を生成する。

まず、記号処理システム部１０３は、指定されたタスク種別毎に記号情報を取得する（ステップＳ９０１）。記号処理システム部１０３は、タスク毎にステップＳ９０２〜Ｓ９０７を実行する。記号処理システム部１０３は、タスク種別毎に記号情報のベクトル情報の分布を生成し、教師なし学習（例えば、教師なしクラスタリング）によって、再分類を行う（ステップＳ９０３）。

図８の記号情報４５１を例として、記号処理システム部１０３は、画像タスクの犬を表すｈ１、ｈ２、ｈ３の分布及び画像タスクの猫を表すｈ４、ｈ５、ｈ６の分布から、それらを含む新たなカテゴリを新たな分類として獲得する。記号処理システム部１０３は、得られた新たなカテゴリを、新たな教師ラベル（記号）として記号情報に追加する。

図１２Ａ、１２Ｂ及び１２Ｃを参照して説明した例を使用すると、記号処理システム部１０３は、カテゴリ１（犬、猫）というラベルを追加する（ステップＳ９０４）。このとき、図１２Ｂに示すように、記号処理システム部１０３は、新たなカテゴリに対する記号情報を、元のラベル（記号）のベクトル情報とパラメータ情報を集約して生成する。記号処理システム部１０３は、集約する際、ｈ１２３とｈ４５６をまとめてｈ１２３４５６を生成する。ｈ１２３とｈ４５６のまとめ方は、例えば、ベクトル又はパラメータの重心を計算してもよいし、他の方法であってもよい。

次に、記号処理システム部１０３は、図１２Ｃに示すような記号間の関係情報を生成する（ステップＳ９０５）。本例は、新たな記号の記号情報と記号間の関係情報を同時に生成する。これと異なり、記号処理システム部１０３は、新たに記号情報を生成することなく、既に存在する記号間で探索処理を実行し、記号間の関係情報のみを推論して追加することもできる。

探索処理は、例えば、遺伝的アルゴリズムのような構成的な方法、ベイズ推定によるリンク予測のような確率的な方法を使用することができる。記号間の関係性の追加は、グラフに新たな辺（エッジ）を追加する。記号処理システム部１０３は、生成された記号情報を知識データベース１０５へ保存する（ステップＳ９０６）。

次に、ユーザによる記号及び記号間の関係の追加処理を説明する。当該処理は、新たな記号や記号間の関係をユーザが指定して追加する。ここでは、ユーザが新たな記号や記号間の関係を追加できるように、ユーザインターフェース１０６は、ユーザへ記号情報の分布図またはグラフを表示する。ユーザは、表示された画像を参照して、追加する新たな記号または記号間の関係を決定し、新たな記号情報または記号間の関係情報を追加する。

図１４Ａ及び１４Ｂは、ユーザに提示されるＧＵＩ画像の例を示す。図１４Ａは、指定された記号情報の分布図を表示する例である。ＧＵＩ画像は、ユーザが処理を指定するセクション６０１及び分布図を表示するセクション６０２を含む。セクション６０１において、ユーザは、処理の内容及び記号情報の範囲を指定することができる。

セクション６０２が表示する分布図は、記号情報におけるベクトル情報の分布である。ユーザは、セクション６０２において記号情報の分布を視認することができ、さらに、新たな分類を入力することができる。たとえば、処理及び範囲を指定する情報がセクション６０１において入力されて、実行ボタン６１１が押下されると、セクション６０２が分布図を表示する。ユーザは、セクション６０２において例えば新たな分類を追加し、実行ボタン６１２を押下して確定する。

図１４Ｂは、指定された記号間の関係情報をグラフで表示する例である。ＧＵＩ画像は、ユーザが処理を指定するセクション６３１及びグラフを表示するセクション６３２を含む。グラフにおけるノードの位置は、例えば、合成ベクトル情報に基づいて決定される。セクション６３１において、ユーザは、処理の内容及び記号情報の範囲を指定することができる。

ユーザは、セクション６３２において記号間の関係情報を視認することができ、さらに、新たな関係を入力することができる。たとえば、処理及び範囲を指定する情報がセクション６３１において入力されて、実行ボタン６１１が押下されると、セクション６３２がグラフを表示する。ユーザは、セクション６３２において、新たな記号及び関係を追加し、又は、既存の記号間に新たな関係を追加して、実行ボタン６４２を押下して確定する。

図１５は、ユーザによって記号及び記号間の関係が追加される例を示す。図１５は、記号間の関係が追加される前の記号情報のグラフ６５１と、記号情報に対して記号間の関係が追加されたグラフ６５２とを示す。「動物」及び「生物」の記号が追加され、さらに、「動物」と「犬」との間のエッジ、「動物」と「猫」との間のエッジ、「生物」と「犬」との間のエッジ、「生物」と「猫」との間のエッジ、及び「生物」と「蛙」との間のエッジが追加されている。

機械学習装置１００は、ユーザ端末２１０において、例えば、図１４Ｂに示すように、グラフを示すＧＵＩ画像を表示する。セクション６３２は、グラフ６５１を表示する。ユーザは、ユーザインターフェース１０６から、ノード及びノード間にエッジを追加することで、記号及び記号間の関係を追加する。セクション６３２は、追加されたノード及びエッジを含むグラフ６５２を表示する。ユーザは、実行ボタン６４１を押下して、追加した記号間の関係を確定する。追加された記号間の関係情報は、知識データベース１０５に格納される。

図１６は、ユーザによる記号及び記号間の関係の追加処理の概要を説明するフローチャートである。ユーザからの指示に応答して、本処理は開始する。記号処理システム部１０３は、指定された記号情報及び記号間の関係情報を知識データベース１０５から取得する（ステップＳ９０８）。記号処理システム部１０３は、ユーザへ、ユーザインターフェース１０６を介して、記号情報や記号間の関係情報を、分布図やグラフとして提示する（ステップＳ９０９）。

その後、記号処理システム部１０３は、ユーザインターフェース１０６を介して、ユーザが指定する記号の追加や記号間の関係を受け付ける（ステップＳ９１０）。例えば、ユーザは、提示される画面のグラフ上に、記号としてのノードを追加し、また、記号間の関係としてのエッジを追加することができる。図１５に示すように、追加ノードやエッジをユーザが手動で与えることができる。

次に、記号処理システム部１０３は、ユーザの指定した追加内容に従い、追加処理を行う。この際、機械で自動推論する場合と同様に、図１１に示すようにタスク毎に集約処理を実施する（ステップＳ９１１〜Ｓ９１５）。

次に、ユーザによる参照処理及び変更処理を説明する。参照処理は、ユーザインターフェース１０６を介して、ユーザへ記号情報や記号間の関係情報を、図１４Ａ及び１４Ｂに示すように、分布図やグラフで表示する。変更処理は、ユーザインターフェース１０６を介して、ユーザからの記号情報及び記号間の関係情報の変更を受け付ける。変更処理は、記号及び記号間の関係の削除、並びに、記号に設定されているラベル名の変更等を含む。

上述のように、記号処理システム部１０３は、ユーザインターフェース１０６と連携して、ユーザから指定される処理を受け付け、それに応じて、機械学習装置１００による記号及び記号間の関係の追加処理、ユーザによる記号及び記号間の関係の追加処理、記号間の関係情報の参照処理及び変更処理を実行して、記号間の関係の情報を構築して、知識データベース１０５へと格納する。

なお、機械学習装置１００は、自装置またはユーザ指示の一方によってのみ、記号及び間の関係を追加してもよい。記号及び記号間の関係のためにベクトル情報を使用する必要がない場合、例えば、ユーザ指示によってのみ記号及び記号間の関係の追加を行う場合、ベクトル情報を省略してもよい。

＜タスク学習及び実行処理＞
図１７は、タスク学習処理において用いられる構成要素を示す。タスク学習処理は、ユーザが設定したタスクに対して、記号情報及び記号間の関係情報をユーザが選択して、それらを元にニューラルネットワークを再構成して、タスクに対する学習を実行する。

図１８は、タスク学習及び実行処理の概要を示すフローチャートである。ニューラルネットワーク作用部１０４は、ユーザインターフェース１０６より、機械学習タスクに対する選択情報を受け付け（ステップＳ３１１）、知識データベース１０５に格納された記号情報及び／または記号間の関係情報を取得する（ステップＳ３１２）。選択情報は、タスク学習に対して、記号情報及び記号間の関係情報のいずれを使うかを示す。ニューラルネットワーク作用部１０４は、取得された記号情報及び記号間の関係情報を元に、機械学習タスクに対するニューラルネットワークシステム部１０１で学習されるニューラルネットワークの再構成処理を行う（ステップＳ３１３）。

図１９は、ニューラルネットワーク作用部１０４が実行するニューラルネットワーク再構成処理の概要を説明するフローチャートである。ニューラルネットワーク作用部１０４は、取得した記号情報及び記号間の関係情報の中から、学習するタスクとタスク種別が同じタスクの重みを抽出する（ステップＳ９５１）。ニューラルネットワーク作用部１０４は、抽出された重みを融合してニューラルネットワークを再構成する（ステップＳ９５２）。例えば、犬と猫を選択情報として、動物を学習するタスクに対するニューラルネットワークを作成する場合、動物に対応した（Ｗ１、Ｗ３）、（Ｗ２、Ｗ４）が抽出されて、融合され融合処理が行われる。

図２０に、ニューラルネットワークＡ７０１及びニューラルネットワークＢ７０２から融合ニューラルネットワーク７０３を生成する例を示す。ニューラルネットワーク作用部１０４は、ニューラルネットワークＡ７０１のパラメータＷ１、Ｗ２（犬を学習したネットワーク）とニューラルネットワークＢ７０２（猫を学習したネットワーク）のＷ３、Ｗ４を融合する。動物に対応した（Ｗ１、Ｗ３）、（Ｗ２、Ｗ４）の重みパラメータから、融合ニューラルネットワーク７０３のパラメータＷ１３、Ｗ２４を生成する。重みの融合の方法としては、例えば、単純平均や加重平均などがある。

ニューラルネットワークの再構成の方法は、重みを変更する方法に限定されるものではなく、記号情報や記号間の関係情報から生成できるものであれば、ノードの数を変更する、探索的にネットワーク構造を求めてもよい。結果として、ネットワーク再構成処理では、機械学習タスク用にカスタマイズされたネットワーク情報を得る（ステップＳ９５３）。

図１８に戻って、ニューラルネットワーク作用部１０４は、機械学習タスクに対するデータを入力として、再構成されたネットワーク情報を用いて、タスクに対する学習処理を実行する（ステップＳ３１４）。ステップＳ３１１〜３１３までの処理がタスク学習処理に該当する。これらのステップは、与えられた記号情報及び記号間の関係情報を用いて、ネットワーク情報を再構成して学習を実行できる。

最後に、ニューラルネットワークシステム部１０１は、タスクに対するデータを入力として、学習された学習モデル（ニューラルネットワーク）１１２を用いて実行処理を実行する（ステップＳ３１５）。得られた結果は、ユーザインターフェース１０６を介して、出力される。

以上のような３つの処理を実行することにより、機械学習装置１００は、事前学習によって得られた認識情報を記号情報に変換し、記号処理によって記号間の関係情報を生成する。機械学習装置１００は、タスク学習処理では、記号の選択情報からニューラルネットワークを再構成したタスク学習を行うことができる。

認識情報の記号化は、データの抽象化を意味し、これにより細かな認識をメタ的かつ構造化して扱うとともに、ユーザへの可解釈性と提示容易性を与えることができる。記号処理は、対象間の関係や外部知識を与えるユーザインタラクションを含み、関係情報を作ることができる。この関係を考慮したタスク学習、すなわち関係情報を考慮して生成したニューラルネットワークを用いたタスク学習を行うことで、従来は困難な複雑な機械学習タスクにも対応可能となる。

本実施例によれば、まず、ユーザは、事前学習処理において、過去に実施したタスクの認識情報（パラメータ情報やベクトル情報）を記号情報として、蓄積することができる。また、ユーザは、蓄積された記号情報を元に、記号間の関係情報を、例えばグラフのように、生成することができる。これらの処理は、ユーザインターフェースを介して、適応的に行うことができる。最後にユーザは、蓄積または生成された記号情報や記号間の関係情報を元に、タスクに対するニューラルネットワークを再構成して学習することができる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成・機能・処理部等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１００ 機械学習装置
１０１ ニューラルネットワークシステム部、１０２ 記号化処理部、１０３ 記号処理システム部、１０４ ニューラルネットワーク作用部、１０５ 知識データベース、１０６ ユーザインターフェース、１１１Ａ、１１１Ｂ ニューラルネットワーク、１１２ ニューラルネットワーク、１２１ プロセッサ、１２２ メモリ、１２３ 補助記憶装置、１２５ ネットワークインターフェース、１７１ 事前学習用データ、１７２ タスク学習用データ、２００ データベース、２１０ ユーザ端末、２２０ 基地局、２４０ 外部ネットワーク、４０１ ニューラルネットワーク、４１０ 認識情報、４１１ 構成情報、４１５ 処理データ情報、４５１ 記号情報、５０１ 記号情報グラフ、５０２ 記号間関係情報グラフ、５０５ 関係情報、５３１、５３２ グラフ、５５１ 記号情報、５７１ 関係情報、６０１、６０２ セクション、６１１、６１２ 実行ボタン、６３１、６３２ セクション、６３２ セクション、６４１、６４２ 実行ボタン、６５１、６５２ グラフ、７０１、７０２ ニューラルネットワーク、７０３ 融合ニューラルネットワーク

Claims (10)

1. 事前学習用データを使用して複数の第１ニューラルネットワークそれぞれの事前学習を行うニューラルネットワークシステム部と、
   前記事前学習により得られた前記複数の第１ニューラルネットワークのパラメータ情報を取得し、前記第１ニューラルネットワークそれぞれに対応する記号と前記パラメータ情報とを関連付ける記号情報を生成する、記号化処理部と、
   前記記号情報の前記記号間の関係情報を生成する、記号処理システム部と、
   前記記号情報及び前記関係情報を用いて、機械学習タスクに対する第２ニューラルネットワークを再構成する、ニューラルネットワーク作用部と、を含む機械学習システム。
2. 請求項１に記載の機械学習システムであって、
   前記記号情報は、前記複数の第１ニューラルネットワークそれぞれに対応する前記記号と、前記事前学習により得られた前記複数の第１ニューラルネットワークそれぞれの中間層のベクトル情報とを、さらに関連付ける、機械学習システム。
3. 請求項２に記載の機械学習システムであって、
   前記複数の第１ニューラルネットワークは、タスク種別に毎に、同一ネットワーク構造を有し、
   前記記号情報は、前記タスク種別毎に、前記記号を前記パラメータ情報及び前記ベクトル情報に関連付け、
   前記記号は、前記複数の第１ニューラルネットワークのラベルで表わされ、
   各タスク種別の前記ベクトル情報は、複数の入力それぞれに対する複数のベクトルから生成された一つのベクトルを示す、機械学習システム。
4. 請求項１、２又は３に記載の機械学習システムであって、
   前記記号情報及び前記記号間の関係情報を格納する、知識データベースと、
   前記記号処理システム部は、
   ユーザインターフェースを介して、前記知識データベースに格納されている前記記号情報及び前記記号間の関係情報をユーザに提示し、
   前記ユーザインターフェースを介して、前記ユーザからの記号間の関係の追加を受け付け、
   前記追加された記号間の関係に応じて、前記記号間の関係情報を生成する、機械学習システム。
5. 請求項４に記載の機械学習システムであって、
   前記記号処理システム部は、
   前記ユーザインターフェースを介して、前記ユーザからの新規の記号の追加及び前記新規の記号と他の記号との間の関係の追加を受け付け、
   追加された前記新規の記号及び前記新規の記号と他の記号との間の関係に応じて、前記記号間の関係情報を生成する、機械学習システム。
6. 請求項４に記載の機械学習システムであって、
   前記記号処理システム部は、前記ユーザインターフェースを介して、前記ユーザからの提示されている記号間の関係の追加を受け付ける、機械学習システム。
7. 請求項４、５又は６に記載の機械学習システムであって、
   前記ユーザに提示される前記記号情報及び前記記号間の関係情報は、前記記号それぞれを表すノードと、前記記号間の関係を表す前記ノード間を接続するエッジと、を含むグラフで表わされる、機械学習システム。
8. 請求項２又は３に記載の機械学習システムであって、
   前記記号処理システム部は、前記記号情報の生成において、
   前記ベクトル情報をクラスタリングによって複数のカテゴリに分類し、複数の前記ベクトル情報を含むカテゴリを新たな記号として追加し、
   前記複数のベクトル情報の記号と前記新たな記号との間の関係を追加する、機械学習システム。
9. 請求項１〜８のいずれか一項に記載の機械学習システムであって、
   前記記号処理システム部は、前記記号情報の生成において、前記複数の第１ニューラルネットワークの記号間で探索処理によって前記記号間の関係を推論して追加する、機械学習システム。
10. 計算機システムが、機械学習タスクのためのニューラルネットワークを構成する方法であって、
    前記計算機システムが、事前学習用データを使用して複数の第１ニューラルネットワークそれぞれの事前学習を行い、
    前記計算機システムが、前記事前学習により得られた前記複数の第１ニューラルネットワークのパラメータ情報を取得し、前記第１ニューラルネットワークそれぞれに対応する記号と対応する前記パラメータ情報とを関連付ける記号情報を生成し、
    前記計算機システムが、前記記号情報の前記記号間の関係情報を生成し、
    前記計算機システムが、前記記号情報及び前記関係情報を用いて、機械学習タスクに対する第２ニューラルネットワークを再構成する、ことを含む方法。

Images