JP2019149030A

JP2019149030A - 学習品質推定装置、方法、及びプログラム

Info

Publication number: JP2019149030A
Application number: JP2018033719A
Authority: JP
Inventors: 睦森下; Mutsumi Morishita; 鈴木　潤; Jun Suzuki; 潤鈴木; 永田　昌明; Masaaki Nagata; 昌明永田
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2018-02-27
Filing date: 2018-02-27
Publication date: 2019-09-05
Anticipated expiration: 2038-02-27
Also published as: JP6969443B2; US20200410345A1; WO2019167794A1

Abstract

【課題】自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供する。【解決手段】学習品質推定装置９０は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部１６と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部１４と、を備える。【選択図】図１

Description

本発明は、学習品質推定装置、方法、及びプログラムに係り、特に、自然言語処理等の機械学習に用いる学習用データの品質を推定する学習品質推定装置、方法、及びプログラムに関する。

自然言語処理分野の問題を題材として背景技術を説明する。計算機により自然言語を処理する技術は、文章に現れる表層的な文字や単語といった離散シンボルの集合を処理する技術と言える。例えば、ある言語の文を入力し、別の言語の文を出力する自動翻訳システムを考える。このシステムでは、入力および出力の文を単語列（文字列）とみなして処理が行われる。よって、システム内の計算機により、離散系列（シンボル列）から別の離散系列へ変換する処理を行っているとみなすことができる。また、文書要約システム、対話システム、文書構成システムなどの言語を入出力とするシステムは、上述の自動翻訳システム同様、離散系列から別の離散系列へ変換する処理によってシステムが構成されると言える。このように、上述の自然言語処理システム以外の自然言語処理システムでも、自然言語を扱うシステムでは、扱う対象が単語、文、文書といった離散系列であるため、入力から出力へどのような変換を行うかという定義の違いはあるにせよ、処理のフレームワークは同じであり、離散系列から離散系列の変換問題に帰着できる。図５に自然言語処理における変換問題の各種の例を示す。

上述したように、離散系列-離散系列変換問題は、自然言語処理分野において数多くの方法が開発され、様々な方法論が確立されている。古典的には、人間が系列から系列への変換ルールや規則などを記述して変換方法を構築してきた。近年では、正解データを利用したり、最適化法を用いたりするなど、機械学習技術を活用する方法が主流となっている。最近では、機械学習法の中でもリカレントニューラルネットの枠組みを使い、離散系列を実数値ベクトルへ符号化し、その実数値ベクトルから離散系列を復号するという方法論で離散系列-離散系列変換問題を解く方法が提案されている（例えば、非特許文献１を参照。）。この方法は、人手による事前知識を全く使わず、可変長の系列構造から系列構造への変換を固定長の実数値ベクトルへの符号化と復号化のみで実現していることが大きな特徴である。図６に符号化器による符号化及び復号化器による復号化の例を示す。

この「リカレントニューラルネットに基づく離散系列から離散系列への変換器」を、ここでは単純に「離散系列−離散系列変換器」と呼ぶことにする。また、離散系列-離散系列変換器は、離散系列符号化器と離散系列復号化器の二つの組み合わせにて構築されている。また、符号化器／復号化器のパラメタである固定長の実数値ベクトルは、学習用データから自動的に獲得する。パラメタ学習は、それぞれの変換器の理想的な入力と出力のペアの集合を学習用データとして準備し、その学習用データの入力が正しく出力できるようにパラメタ調整を行うことで学習が進む。

離散系列-離散系列変換器のひとつとして，Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器がある（例えば、非特許文献２を参照。）。この手法によれば、符号化器の出力に対して復号化器が各時刻で重み付けを行うことで、より精度の高い系列変換を行うことができる。図７にＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す。

Ilya Sutskever, Oriol Vinyals, and Quoc V Le, Sequence to Sequence Learning with Neural Networks. Advances in Neural Information Processing Systems 27, 2014. Minh-Thang Luong, Hieu Pham and Christopher D. Manning, Effective Approaches to Attention-based Neural Machine Translation. Proceedings of the Conference on Empirical Methods in Natural Language Processing, 2015.

ところで、自然言語処理では、前述のように学習用データと機械学習技術を用いて変換器を学習する方法が主流となっている。このときの学習用データとは、機械翻訳システムであれば同じ意味を表す２つの言語の文の対であり、対話システムであれば入力文と理想的な対話システムの出力文の対などである。このような機械学習技術を用いる際、使用する学習用データは正しい入出力のペアを前提としており、学習用データに誤ったデータが混入している可能性は通常考慮しない。

しかしながら、一般的にこれらの学習用データは、機械的に収集されたものであることが多く、ゆえに誤ったデータが混入している場合が多い。こういった誤ったデータは、機械学習に悪影響を及ぼし、最終的な変換精度が低下することがある。つまり、自然言語処理で用いられる学習用データには誤ったデータが混入している可能性があり、これが機械学習に悪影響を与える場合がある。従って、これらの誤ったデータを取り除くことができれば、機械学習の精度がより高まることが期待できる。

本発明は、上記の事情に鑑みてなされたものであり、自然言語処理等の機械学習に用いる学習用データ中の誤ったデータを取り除くことができる学習品質推定装置、方法、及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明に係る学習品質推定装置は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、を備えている。

また、第２の発明に係る学習品質推定装置は、第１の発明において、前記離散系列変換器が、ニューラルネットワークであり、前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、を含み、前記品質スコア計算部が、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する。

また、第３の発明に係る学習品質推定装置は、第２の発明において、前記品質スコア計算部が、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する。

また、第４の発明に係る学習品質推定装置は、第１〜第３のいずれか１の発明において、前記品質スコア計算部が、複数の第２学習用ペアの各々について、前記品質スコアを計算し、前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えている。

また、第５の発明に係る学習品質推定装置は、第１〜第４のいずれか１の発明において、前記記憶部が、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、前記品質スコア計算部が、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する。

一方、上記目的を達成するために、第６の発明に係る学習品質推定方法は、離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、を含んでいる。

更に、上記目的を達成するために、第７の発明に係るプログラムは、コンピュータを、第１〜第５のいずれか１の発明に係る学習品質推定装置が備える品質スコア計算部として機能させる。

以上説明したように、本発明に係る学習品質推定装置、方法、及びプログラムによれば、自然言語処理等の分野でよく用いられる、対訳データ、対話データ等の離散系列-離散系列変換のための学習用データ中の誤ったデータを取り除くことができる。その結果、誤ったデータによる機械学習への悪影響が抑えられ、機械学習の精度を向上させることができる。

第１の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。実施形態に係る品質スコア計算部の構成の一例を示すブロック図である。第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。第２の実施形態に係る学習品質推定装置の機能的な構成の一例を示すブロック図である。自然言語処理における変換問題の各種の例を示す図である。符号化器による符号化及び復号化器による復号化の例を示す図である。Ａｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器の例を示す図である。

以下、図面を参照して、本発明を実施するための形態の一例について詳細に説明する。

［第１の実施形態］
本実施形態では、上述の非特許文献２に記載のＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を用いて対訳学習用データに品質スコアを付与して選択する場合について説明する。この離散系列-離散系列変換器には、上記以外にも様々な手法（例えば、非特許文献３を参照。）が考えられるが、本実施形態においてはどの変換器を使用してもよい。

（非特許文献３）
Dzmitry Bahdanau, Kyunghyun Cho and Yoshua Bengio, Neural Machine Translation by Jointly Learning to Align and Translate. Proceedings of the 3rd International Conference on Learning Representations, 2015.

なお、本実施形態では、離散系列の入力及び出力の一例として図５に示すように、翻訳元言語の入力文及び翻訳先言語の出力文が適用される。この場合、離散シンボルには、入力文に含まれる単語及び出力文に含まれる単語が適用される。なお、離散系列の入力及び出力として、文書要約前の入力文章及び文書要約後の出力文章、あるいは、文書校正前の入力文章及び文書校正後の出力文章を適用してもよい。

まず、問題の定義を述べる。誤り（ノイズ）を含まない入力文及び出力文からなる対訳学習用ペアの文章群を（ＣＦ、ＣＥ）とし、誤りを含んでいる可能性のある入力文及び出力文からなる対訳学習用ペアの文章群を（ＮＦ、ＮＥ）とする。本実施形態では、誤りを含まない対訳学習用ペアに基づいて離散系列-離散系列変換器の学習済みモデルを構築し、構築した離散系列-離散系列変換器の学習済みモデルを用いて誤りを含んでいる可能性のある対訳学習用ペアに品質スコアを付与する。本実施形態に係る品質スコア付与の処理の手順は以下のようになる。

（入力）
誤りを含んでいる可能性のある対訳学習用ペアの入力を受け付ける。

（前処理）
既存の単語分割器を用いて、対訳学習用ペアの入力文及び出力文の各々を単語系列に分割する。

（品質スコア計算）
事前に学習して得られた離散系列-離散系列変換器の学習済みモデルを用いて、出力文の品質スコアを計算する。

（繰り返し）
上記手順を対訳学習用ペア全てについて繰り返し、全ての対訳学習用ペアについて品質スコアを得る。

（選択）
得られた対訳学習用ペアの品質スコアに基づいて、対訳学習用ペアの並べ替えを行い、品質スコアが高い順に予め定められた数の対訳学習用ペアを選択する。

次に、非特許文献２に記載の離散系列-離散系列変換器を用いた学習処理の概要について説明する。
ここでは、上述のように誤りを含んでいない対訳学習用ペアに基づいて離散系列-離散系列変換器を学習する。

なお、ｉ番目の入力文をｆ_ｉ∈ＣＦ、出力文をｅ_ｉ∈ＣＥと表す。ここで、入力単語の種類を頻出Ｖ_ｆ単語、出力単語の種類を頻出Ｖ_ｅ単語に制限し、ここに含まれない単語については未知語として専用のトークンに置き換えるようにしてもよい。

離散系列-離散系列変換器は、図７に示すように、符号化器及び復号化器を備えている。符号化器は、入力文ｆ_ｉに含まれる各単語を固定長のベクトルｅ_ｓに変換する。その後、符号化器は、変換した各単語の固定長のベクトルｅ_ｓから固定長のベクトル系列ｈ_ｓに各々符号化する。

復号化器は、符号化器で最終的に得られた固定長のベクトル系列ｈ_ｓに基づいて、隠れ層（隠れベクトル）ｈ_ｔを求め、固定長のベクトル系列ｈ_ｓと、隠れ層ｈ_ｔとに基づいて、出力文ｅ_ｉを復号化する。その際、各時刻で符号化器が出力した固定長のベクトル系列ｈ_ｓへの重みａ_ｔ、重み付き和ｃ_ｔを、以下に示す式（１）〜（４）により求める。次に、式（５）によりｃ_ｔとｈ_ｔから

を求める。最後に式（６）を用いて出力単語の確率分布を予測し、これを復号に利用する。なお、これらの式は、非特許文献２に記載されている。

ここで、

は、各時刻での符号化器が出力した固定長のベクトル系列を表す。このベクトル系列に基づいて各時刻において符号化器の出力に対して重み付けを行う。また、

は、隠れ層ｈ_ｔの転置を表す。また、

は、モデルパラメータを表す。また、

は、時刻ｔでの復号化器が出力した固定長のベクトル系列を表す。また、

は、モデルパラメータを表す。また、

は、出力文ｅ_ｉのｔ単語目を表す。

符号化器の内部は、様々な構成が考えられるが、ここでは長短期記憶メモリ（ＬＳＴＭ）により構築する。ただし、リカレントニューラルネット（Recurrent Neural Network、RNN）や、ゲート付きリカレントユニット（Gated Recurrent Unit、GRU）など他の構成であっても問題ない。符号化器と復号化器内のパラメタθ_ｆｅは、上述の通り、誤りを含んでいない対訳学習用ペア（ＣＦ、ＣＥ）を使って決定する。学習後、パラメタθ_ｆｅは固定される。このパラメタθ_ｆｅが符号化の精度を決定する。

パラメタ学習法は、従来の系列構造-系列構造変換器と基本的に同じでよい。学習用ペアの入力文を離散系列-離散系列変換器への入力として、符号化器・復号化器のパラメタに基づき出力文を得る。その際に、学習用ペアの出力文（正解データ）と同じ出力文が得られれば、現在のパラメタはうまく調節ができていると言える。一方、出力文が正解データと同じでない場合は、正解が出るような方向にパラメタを調整する、といった処理を行う。最終的に、学習用ペアすべて正解ができるような方向にパラメタ探索することでパラメタを調整する。

次に、図１を参照して、第１の実施形態に係る学習品質推定装置の構成について説明する。

図１は、第１の実施形態に係る学習品質推定装置９０の機能的な構成の一例を示すブロック図である。
図１に示すように、本実施形態に係る学習品質推定装置９０は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。

また、本実施形態に係る学習品質推定装置９０は、電気的には、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、及びＨＤＤ（Hard Disk Drive）等を備えたコンピュータとして構成される。ＲＯＭには、本実施形態に係る学習品質推定プログラムが記憶されている。なお、学習品質推定プログラムは、ＨＤＤに記憶されていてもよい。

上記の学習品質推定プログラムは、例えば、学習品質推定装置９０に予めインストールされていてもよい。この学習品質推定プログラムは、不揮発性の記憶媒体に記憶して、又は、ネットワークを介して配布して、学習品質推定総著９０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Compact Disc Read Only Memory）、光磁気ディスク、ＤＶＤ-ＲＯＭ（Digital Versatile Disc Read Only Memory）、フラッシュメモリ、メモリカード等が挙げられる。

ＣＰＵは、ＲＯＭに記憶されている学習品質推定プログラムを読み込んで実行することにより、上記の演算部１０、入力部２０、及び出力部３０として機能する。

本実施形態に係る演算部１０は、分割部１２、品質スコア計算部１４、記憶部１６、及び選択部１８により構成されている。

記憶部１６には、離散系列の入力文と出力文とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列-離散系列変換器（以下、単に離散系列変換器という。）の順方向学習済みモデルが記憶されている。つまり、離散系列変換器の順方向学習済みモデルは、複数の第１学習用ペアを入力として予め離散系列変換器の機械学習により得られた固定長のベクトルにより示されるパラメタθ_ｆｅに基づき生成される。このパラメタθ_ｆｅは、離散系列変換器による入力文から出力文への離散系列の変換に用いられる。なお、入力文は第１離散系列の一例であり、出力文は第２離散系列の一例である。

本実施形態に係る入力部２０は、対応関係に誤りを含んでいる可能性がある入力文及び出力文からなる複数の第２学習用ペアによって構成される文章群の入力を受け付ける。

本実施形態に係る分割部１２は、入力部２０により入力を受け付けた複数の第２学習用ペアの各ペアに含まれる入力文及び出力文の各々を、既存の単語分割器を用いて単語系列に分割する。

本実施形態に係る品質スコア計算部１４は、分割部１２により単語系列に分割された複数の第２学習用ペアを入力として、記憶部１６に記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアについて品質スコアを計算する。

本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。予め定められた数ｎ（ｎは１以上の整数）は、ユーザにより適宜設定できるものとする。

本実施形態に係る出力部３０は、選択部１８により選択されたｎ個の第２学習用ペアを出力する。出力部３０の出力先としては、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）や有機ＥＬ（Electro Luminescence）ディスプレイ等の表示部が適用される。

次に、図２を参照して、本実施形態に係る品質スコア計算部１４の具体的な構成について説明する。

図２は、本実施形態に係る品質スコア計算部１４の構成の一例を示すブロック図である。
図２に示すように、本実施形態に係る品質スコア計算部１４は、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。なお、これらの符号化器１４Ａ及び復号化器１４Ｂは、離散系列変換器を構成している。

本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。

本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。

本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、品質スコアとして出力する。

すなわち、第２学習用ペアの入力文をｆ_ｉ∈ＮＦ、出力文をｅ_ｉ∈ＮＥ、固定長のベクトル系列を

、入力文ｆ_ｉを符号化器により符号化した固定長のベクトル系列をｈ_ｓ、入力文から出力文への離散系列の変換に用いるパラメタをθ_ｆｅ、条件付き確率をｐとした場合に、出力文ｅ_ｉについて、固定長のベクトル系列ｈ_ｓから復号化器１４Ｂにより得られた固定長のベクトル系列

に基づいて、復号化器１４Ｂから出力文ｅ_ｉが得られる際の負の対数尤度Ｊは、以下に示す式（７）及び式（８）により求められる。

更に、出力文ｅ_ｉの単語数を｜ｅ_ｉ｜とした場合、上記で得られた負の対数尤度Ｊを、出力文ｅ_ｉの単語数｜ｅ_ｉ｜で除する。このように単語数を用いて規格化を行うことで、長い文と短い文との違いを品質スコアに反映することができる。この場合、単語当たりの対数尤度Ｊ_ｗは、以下に示す式（９）により求められる。なお、式（８）の条件付き確率ｐは、例えば、式（６）の確率分布を元に、ｅ_ｉを構成する各単語の出力確率を求め、その積を取ることで求めることができる。

以上によって得られた単語当たりの対数尤度Ｊ_ｗを、第２学習用ペアの品質スコアとして出力する。この品質スコアは、複数の第２学習用ペアからなる文章群（ＮＦ、ＮＥ）に含まれる全ペアについて求められる。

更に、複数の第２学習用ペアの全てについて得られた品質スコアに基づいて、複数の第２学習用ペアの並べ替えを行う。並べ替えた後のスコア上位ｎ（ｎ≧１）個の第２学習用ペアを機械学習に用いる。

なお、上記では、離散系列変換器の一例として、図７に示すＡｔｔｅｎｔｉｏｎ付き離散系列-離散系列変換器を適用した場合について説明したが、図６に示す一般的な離散系列-離散系列変換器を適用してもよい。この場合、符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６に記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列を得る。そして、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、求めた隠れベクトルに基づいて、入力文に対する出力文を得る。

次に、図３を参照して、第１の実施形態に係る学習品質推定装置１０の作用について説明する。なお、図３は、第１の実施形態に係る学習品質推定プログラムの処理の流れの一例を示すフローチャートである。

図３のステップ１００では、入力部２０が、誤りを含んでいる可能性がある入力文及び出力文からなる第２学習用ペアの入力を受け付ける。

ステップ１０２では、分割部１２が、ステップ１００で入力を受け付けた第２学習用ペアに含まれる入力文及び出力文の各々を単語系列に分割する。

ステップ１０４では、品質スコア計算部１４が、ステップ１０２で単語系列に分割した第２学習用ペアについて、記憶部１６に記憶されている順方向学習済みモデルを用いて、第２学習用ペアに含まれる出力文の尤度を算出し、算出した尤度から品質スコアを計算する。

ステップ１０６では、品質スコア計算部１４が、ステップ１０４で計算した品質スコアを、全ての第２学習用ペアについて得られたか否かを判定する。品質スコアが得られたと判定した場合（肯定判定の場合）、ステップ１０８に移行し、品質スコアが得られていないと判定した場合（否定判定の場合）、ステップ１００に戻り処理を繰り返す。

ステップ１０８では、選択部１８が、上記処理で計算した品質スコアが高い順にｎ個の第２学習用ペアを選択し、本学習品質推定プログラムによる一連の処理を終了する。

このように本実施形態によれば、離散系列変換器の学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて品質スコアを計算することにより、誤った学習用ペアを取り除くことができる。これにより、誤った学習用ペアによる機械学習への悪影響を抑え、機械学習の精度を向上させることができ、更に機械学習に要する時間を短縮することができる。

［第２の実施形態］
上記第１の実施形態では、誤りを含まない第１学習用ペアの文章群（ＣＦ、ＣＥ）を利用して離散系列変換器の入力文から出力文への順方向のパラメタθ_ｆｅを学習して利用した。本実施形態では、離散系列変換器の出力文から入力文への逆方向のパラメタθ_ｅｆも学習して利用する。これにより更なる精度向上を図ることが可能となる。この場合、例えば、両方向で得られた品質スコアＪ_ｗの和を取り、それを選択に利用することができる。

図４は、第２の実施形態に係る学習品質推定装置９２の機能的な構成の一例を示すブロック図である。
図４に示すように、本実施形態に係る学習品質推定装置９２は、機能的には、演算部１０と、入力部２０と、出力部３０と、を備えている。なお、第１の実施形態に係る学習品質推定装置９０と同一の機能を有する構成要素には、同一の符号を付しここでの繰り返しの説明は省略する。

記憶部１６Ａには、第１の実施形態と同様に、複数の第１学習用ペアに基づいて予め学習された、離散系列の入力文を出力文に変換する離散系列変換器の順方向学習済みモデルが記憶されている。また、記憶部１６Ｂには、複数の第１学習用ペアに基づいて予め学習された、離散系列の出力文を入力文に変換する離散系列変換器の逆方向学習済みモデルが記憶されている。この離散系列変換器の逆方向学習済みモデルは、離散系列変換器による出力文から入力文への離散系列の変換に用いられるパラメタに基づき生成される。なお、これらの記憶部１６Ａ及び記憶部１６Ｂは、１つの記憶部として構成してもよい。

本実施形態に係る品質スコア計算部１４は、第２学習用ペアについて、順方向学習済みモデル及び逆方向学習済みモデルの各々を用いて品質スコアを計算する。具体的には、複数の第２学習用ペアを入力として、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる出力文の品質スコアを計算し、更に、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて、複数の第２学習用ペアの各ペアに含まれる入力文の品質スコアを計算する。

ここで、本実施形態に係る品質スコア計算部１４は、図２に示す品質スコア計算部１４と同様に、符号化器１４Ａ、復号化器１４Ｂ、及び尤度算出部１４Ｃを含んで構成されている。

本実施形態に係る符号化器１４Ａは、第２学習用ペアに含まれる入力文の各単語を、記憶部１６Ａに記憶されている順方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。また、符号化器１４Ａは、第２学習用ペアに含まれる出力文の各単語を、記憶部１６Ｂに記憶されている逆方向学習済みモデルを用いて固定長のベクトルに変換し、変換した各単語の固定長のベクトルを符号化して固定長のベクトル系列の各々を得る。

本実施形態に係る復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、入力文に対する出力文を得る。また、復号化器１４Ｂは、符号化器１４Ａにより得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、固定長のベクトル系列の各々と、隠れベクトルと、固定長のベクトル系列の各々に対する重みとに基づいて、出力文に対する入力文を得る。

本実施形態に係る尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文について、第２学習用ペアに含まれる入力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから出力文が得られる際の負の対数尤度を算出する。具体的には、上述の式（７）及び式（８）を用いて算出する。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる出力文の負の対数尤度を出力文の単語数で除することで得られる単語当たりの負の対数尤度を、順方向の品質スコアとして出力する。また、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文について、第２学習用ペアに含まれる出力文から、符号化器１４Ａにより得られた固定長のベクトル系列を入力として、復号化器１４Ｂにより得られた固定長のベクトル系列に基づいて、復号化器１４Ｂから入力文が得られる際の負の対数尤度を算出する。この場合、上述の式（７）及び式（８）において入力文と出力文との関係を逆にすればよい。そして、尤度算出部１４Ｃは、第２学習用ペアに含まれる入力文の負の対数尤度を入力文の単語数で除することで得られる単語当たりの負の対数尤度を、逆方向の品質スコアとして出力する。

本実施形態に係る選択部１８は、複数の第２学習用ペアの中から、品質スコア計算部１４により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する。なお、本実施形態では、品質スコアとして、順方向学習済みモデルを用いた場合に得られる順方向の品質スコアと、逆方向学習済みモデルを用いた場合に得られる逆方向の品質スコアとの和を適用する。

このように本実施形態によれば、入力文から出力文への順方向、及び、出力文から入力文への逆方向の両方向についての学習済みモデルを用いて、誤りを含んでいる可能性のある学習用ペアについて両方向から品質スコアを計算する。これにより、誤った学習用ペアをより精度よく取り除くことができる。

上述したように、一般に自然言語処理で用いられる離散系列-離散系列変換器の学習用データには誤ったデータが混入していないことが前提となっている。しかし、現実には多くの場合、誤ったデータが混入しており、これらが機械学習に悪影響を与えることがある。
これに対して、上記各実施形態を用いることにより学習用データの品質を推定することができ、それを基に学習用データを選択することで、機械学習に悪影響を与える誤ったデータを取り除くことができる。ゆえに、本実施形態を適用することで機械学習の学習精度を向上させることができる。

以上、実施形態として学習品質推定装置を例示して説明した。実施形態は、コンピュータを、学習品質推定装置が備える各部として機能させるためのプログラムの形態としてもよい。実施形態は、このプログラムを記憶したコンピュータが読み取り可能な記憶媒体の形態としてもよい。

その他、上記実施形態で説明した学習品質推定装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。

また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。

また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。

１０演算部
１２分割部
１４品質スコア計算部
１４Ａ符号化器
１４Ｂ復号化器
１４Ｃ尤度算出部
１６、１６Ａ、１６Ｂ記憶部
１８選択部
２０入力部
３０出力部
９０、９２学習品質推定装置

Claims

離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部と、
対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算する品質スコア計算部と、
を備えた学習品質推定装置。
前記離散系列変換器は、ニューラルネットワークであり、
前記入力に含まれる各離散シンボルを、固定長のベクトルに変換し、変換した各離散シンボルの固定長のベクトルを符号化して固定長のベクトル系列を得る符号化器と、
前記符号化器により得られた固定長のベクトル系列に基づいて、隠れベクトルを求め、前記隠れベクトルに基づいて、前記入力に対する出力を得る復号化器と、
を含み、
前記品質スコア計算部は、前記第２学習用ペアに含まれる出力について、前記第２学習用ペアに含まれる入力から前記符号化器により得られた固定長のベクトル系列を入力として、前記復号化器により得られた固定長のベクトル系列に基づいて前記復号化器から前記出力が得られる際の負の対数尤度を用いて、前記品質スコアを計算する請求項１に記載の学習品質推定装置。
前記品質スコア計算部は、前記負の対数尤度を前記出力に含まれる離散シンボル数で除することで得られる離散シンボル当たりの負の対数尤度を、前記品質スコアとして出力する請求項２に記載の学習品質推定装置。
前記品質スコア計算部は、複数の第２学習用ペアの各々について、前記品質スコアを計算し、
前記複数の第２学習用ペアの中から、前記品質スコア計算部により計算された品質スコアが高い順に予め定められた数の第２学習用ペアを選択する選択部を更に備えた請求項１〜３のいずれか１項に記載の学習品質推定装置。
前記記憶部は、前記複数の第１学習用ペアに基づいて予め学習された、離散系列の第２離散系列を第１離散系列に変換する離散系列変換器の逆方向学習済みモデルを更に記憶しており、
前記品質スコア計算部は、前記第２学習用ペアについて、前記順方向学習済みモデル及び前記逆方向学習済みモデルの各々を用いて前記品質スコアを計算する請求項１〜４のいずれか１項に記載の学習品質推定装置。
離散系列の入力を示す第１離散系列と出力を示す第２離散系列とが正しい対応関係である複数の第１学習用ペアに基づいて予め学習された、離散系列の第１離散系列を第２離散系列に変換する離散系列変換器の順方向学習済みモデルを記憶した記憶部を備えた学習品質推定装置による学習品質推定方法であって、
品質スコア計算部が、対応関係に誤りを含んでいる可能性のある離散系列の入力及び出力からなる第２学習用ペアについて、前記順方向学習済みモデルを用いて品質スコアを計算するステップ、
を含む学習品質推定方法。
コンピュータを、請求項１〜５のいずれか１項に記載の学習品質推定装置が備える品質スコア計算部として機能させるためのプログラム。