JP2018026098A - 識別制御方法及び識別制御装置 - Google Patents

Abstract

【課題】複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別するための識別制御方法を提供する。【解決手段】識別制御方法は、第１言語のテキストである第１テキストを取得するステップ（Ｓ１０１）と、第２言語のテキストであり、第１テキストを第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップ（Ｓ１０２）と、第１テキストの内容を表すラベルである正解ラベルを取得するステップ（Ｓ１０３）と、第１言語及び第２言語で共通の識別モデル１０７へ第１テキスト及び第２テキストを入力するステップ（Ｓ１０４）と、第１テキスト及び第２テキストから共通の識別モデル１０７によって識別されるラベルが正解ラベルに適合するように、共通の識別モデル１０７を更新するステップ（Ｓ１０５）とを含む。【選択図】図５

Description

本発明は、テキストの内容を表すラベルを識別するための識別制御方法等に関する。

非特許文献１では、言語を横断する情報検索に関して、文書の翻訳とクエリの翻訳との両方が取り入れられたハイブリッドシステムが提案されている。非特許文献２では、言語を横断するテキストの分類に関して、機械翻訳を用いて、２つの異なる分類器を訓練することが提案されている。

Ｊ．Ｓｃｏｔｔ ＭｃＣａｒｌｅｙ、「Ｓｈｏｕｌｄ ｗｅ ｔｒａｎｓｌａｔｅ ｔｈｅ ｄｏｃｕｍｅｎｔｓ ｏｒ ｔｈｅ ｑｕｅｒｉｅｓ ｉｎ ｃｒｏｓｓ−ｌａｎｇｕａｇｅ」、ＡＣＬ ’９９ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ３７ｔｈ ａｎｎｕａｌ ｍｅｅｔｉｎｇ ｏｆ ｔｈｅ Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ ｏｎ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、Ａｓｓｏｃｉａｔｉｏｎ ｆｏｒ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｌｉｎｇｕｉｓｔｉｃｓ、１９９９年６月２０日、ｐ．２０８−２１４ Ｙｕｈｏｎｇ Ｇｕｏ及びＭｉｎ Ｘｉａｏ、「Ｃｒｏｓｓ Ｌａｎｇｕａｇｅ Ｔｅｘｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｖｉａ Ｓｕｂｓｐａｃｅ Ｃｏ−Ｒｅｇｕｌａｒｉｚｅｄ Ｍｕｌｔｉ−Ｖｉｅｗ Ｌｅａｒｎｉｎｇ」、ｔｈｅ ２９ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ（ＩＣＭＬ ２０１２）、２０１２年６月２７日

しかしながら、国際化が進む中、複数の言語に関する情報処理の品質は、未だ十分ではない。そのため、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することは困難である。

そこで、本発明は、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別するための識別制御方法等を提供することを目的とする。

本発明の一態様における識別制御方法は、第１言語のテキストである第１テキストを取得するステップと、第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

本発明の一態様における識別制御方法等によって、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することが可能になる。

図１は、参考例における英語の識別モデルを示す模式図である。 図２は、参考例における英語の識別モデル又は英語の訓練データを用いて中国語のテキストの内容を示すラベルを識別するための方法を示す模式図である。 図３は、実施の形態における識別モデルを示す模式図である。 図４は、実施の形態における識別制御装置の構成を示すブロック図である。 図５は、実施の形態における識別制御装置が行う学習動作を示すフローチャートである。 図６は、実施の形態における識別制御装置が行う識別動作を示すフローチャートである。 図７は、実施の形態における識別制御装置が行う学習動作の変形例を示すフローチャートである。 図８は、実施の形態における識別制御装置が行う識別動作の変形例を示すフローチャートである。 図９は、実施の形態における識別モデルの第１構成例を示す模式図である。 図１０は、実施の形態における識別モデルの第２構成例を示す模式図である。 図１１は、実施の形態における識別モデルの第３構成例を示す模式図である。 図１３は、評価例における対話セグメントに関するトピック及びスロットを示すデータテーブル図である。 図１２は、評価例における対話及び対話状態を示すデータテーブル図である。 図１４は、評価例におけるマルチチャネルモデル及び入出力データを示す模式図である。 図１５は、評価例におけるマルチチャネルモデルの構成を示す模式図である。 図１６は、評価例における訓練データに対する前処理を示す模式図である。 図１７は、評価例における開発データ及びテストデータに対する前処理を示す模式図である。 図１８は、評価例における評価結果を示すデータテーブル図である。 図１９は、評価例におけるハイパーパラメータを示すデータテーブル図である。 図２０は、評価例における各モデルによって推定されたラベルの正解率を示すグラフである。 図２１は、評価例における各モデルによって推定されたラベルを示すデータテーブル図である。 図２２は、評価例における各モデルによって推定されたラベルの正解率をスロット毎に示すグラフである。

（本発明の基礎となった知見）
本発明者らは、テキストの内容を表すラベルを識別するための識別制御方法等に関して、課題を見出した。以下、具体的に説明する。

図１は、参考例における英語の識別モデルを示す模式図である。図１に示された英語の識別モデル１０２は、英語のテキストから、そのテキストの内容を表すラベルを識別するためのモデルであり、例えばニューラルネットワークモデルである。

ここで、ニューラルネットワークモデルは、生物の神経が模擬された数学的なモデルである。ニューラルネットワークモデルは、複数のノードを含む。複数のノードのそれぞれは、ニューロンとも呼ばれる。ノード間には、重みと呼ばれる結合強度がパラメータとして設定される。ニューラルネットワークモードに入力された情報から、複数のノード及びノード間の重みに従って、入力された情報の内容を表すラベルが識別され得る。ニューラルネットワークモデルでは、訓練によって重みが更新され、識別の性能が改善される。

英語の識別モデル１０２は、英語の訓練データ１０１によって訓練される。具体的には、英語の訓練データ１０１には、英語のテキストと、そのテキストの内容を表すラベルとが含まれる。英語の訓練データ１０１に含まれるラベルは、正解ラベル又は教師ラベルとも呼ばれる。そして、英語の訓練データ１０１に含まれる英語のテキストから英語の識別モデル１０２によって識別されるラベルが、正解ラベルに適合するように、英語の識別モデル１０２が更新される。これにより、英語の識別モデル１０２は、訓練される。

英語の識別モデル１０２は、英語の識別対象データ１０３に対して適用可能であるが、中国語の識別対象データ１０４に対して適用可能ではない。

具体的には、英語の識別対象データ１０３には、英語のテキストが含まれる。英語の識別対象データ１０３に含まれる英語のテキストから英語の識別モデル１０２によって適切なラベルが得られる。一方、中国語の識別対象データ１０４には、中国語のテキストが含まれる。中国語の識別対象データ１０４に含まれる中国語のテキストから英語の識別モデル１０２によって適切なラベルは得られない。

図２は、参考例における英語の識別モデル１０２又は英語の訓練データ１０１を用いて中国語の識別対象データ１０４に含まれる中国語のテキストの内容を示すラベルを識別するための方法を示す模式図である。

例えば、中国語の識別対象データ１０４から英語の識別対象データ１０３へ機械翻訳が行われる。具体的には、中国語の識別対象データ１０４に含まれる中国語のテキストから英語のテキストへ機械翻訳が行われ、英語のテキストを含む英語の識別対象データ１０３が構築される。そして、得られた英語の識別対象データ１０３に対して英語の識別モデル１０２を適用することが可能である。

あるいは、英語の訓練データ１０１から中国語の訓練データ１０５へ機械翻訳が行われる。具体的には、英語の訓練データ１０１に含まれる英語のテキストから中国語のテキストへ機械翻訳が行われ、中国語のテキストと、そのテキストの内容を表すラベルとを含む中国語の訓練データ１０５が構築される。なお、テキストの内容を表すラベルは、言語によらず数値等で表現される。

そして、得られた中国語の訓練データ１０５によって中国語の識別モデル１０６が訓練される。すなわち、得られた中国語の訓練データ１０５によって中国語の識別モデル１０６が構築される。そして、構築された中国語の識別モデル１０６を中国語の識別対象データ１０４に対して適用することが可能である。

つまり、中国語の識別対象データ１０４から英語の識別対象データ１０３へ機械翻訳を行う方法と、英語の訓練データ１０１から中国語の訓練データ１０５へ機械翻訳を行って中国語の識別モデル１０６を構築する方法との２つの方法がある。

これらの２つの方法は組み合わされてもよい。つまり、これらの２つの方法のそれぞれによって、中国語の識別対象データ１０４に含まれる中国語のテキストの内容を表すラベルが識別されてもよい。そして、２つの方法で識別される２つのラベルの組み合わせ又は取捨選択によって、最終的に、中国語のテキストの内容を表すラベルが識別されてもよい。

なお、このような２つの方法の組み合わせは、非特許文献１に記載のハイブリッドシステムに類似する。また、このような２つの方法の組み合わせは、英語の識別モデル１０２及び中国語の識別モデル１０６のような２つのモデルを用いることに関して、非特許文献２に記載の技術に類似する。

しかしながら、機械翻訳によって得られる英語の識別対象データ１０３及び中国語の訓練データ１０５には、機械翻訳の品質の低さによって、誤りが含まれるため、ラベルの識別において十分な品質が得られない可能性がある。

そこで、本発明の一態様における識別制御方法は、第１言語のテキストである第１テキストを取得するステップと、第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む。

これにより、第１言語の第１テキスト及び第２言語の第２テキストの両方が共通の識別モデルへ入力される。そして、共通の識別モデルによって適切なラベルが識別されるように、共通の識別モデルが更新される。すなわち、複数の言語の複数のテキストから適切なラベルが識別されるような、複数の言語に基づく識別モデルが構築される。

そして、複数の言語に基づく識別モデルは、言語を横断して適切に訓練される。そのため、複数の言語に基づく識別モデルによって、単一の言語に基づく識別モデル、又は、その組み合わせよりも、適切にラベルを識別することが可能である。したがって、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することが可能になる。すなわち、複数の言語が用いられる環境においてラベルの識別品質を改善することが可能になる。

例えば、前記識別制御方法は、さらに、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、前記第１テキストを第１値列に変換するステップと、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、前記第２テキストを第２値列に変換するステップとを含み、前記第１テキスト及び前記第２テキストを前記共通の識別モデルへ入力ステップでは、前記第１値列に変換された前記第１テキスト、及び、前記第２値列に変換された前記第２テキストを前記共通の識別モデルへ入力してもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストを値列に変換し、値列に変換されたテキストを共通の識別モデルへ入力することが可能になる。

また、例えば、前記第１変換モデルでは、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、前記第２変換モデルでは、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、前記第１値列は第１ベクトル列であり、前記第２値列は第２ベクトル列であってもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストをベクトル列に変換し、ベクトル列に変換されたテキストを共通の識別モデルへ入力することが可能になる。

また、例えば、前記共通の識別モデルは、畳み込みニューラルネットワークモデルであってもよい。

これにより、ラベルを識別するための識別モデルとして、畳み込みニューラルネットワークモデルが用いられる。畳み込みニューラルネットワークモデルによって、適切に特徴が抽出され、抽出された特徴に基づく適切なラベルが識別される。したがって、適切なラベルの識別が可能になる。

また、例えば、前記畳み込みニューラルネットワークモデルは、交互に積層された複数の畳み込み層と複数のプーリング層とを含んでいてもよい。

これにより、ラベルを識別するための識別モデルに、複数の畳み込み層及び複数のプーリング層が交互に積層された畳み込みニューラルネットワークモデルが用いられる。複数の畳み込み層及び複数のプーリング層が交互に積層された畳み込みニューラルネットワークモデルでは、入力された情報から複数回の特徴抽出によって特徴がより適切に抽出される。したがって、より適切なラベルの識別が可能になる。

また、例えば、前記畳み込みニューラルネットワークモデルは、前記第１言語に対応する少なくとも１つの畳み込み層と、前記第２言語に対応する少なくとも１つの畳み込み層とを別々に含んでいてもよい。

これにより、各言語に対応する畳み込み層で、特徴を適切に抽出することが可能になる。すなわち、言語毎の特徴を適切に抽出することが可能になる。

また、例えば、前記畳み込みニューラルネットワークモデルは、前記第１言語に対応する少なくとも１つのプーリング層と、前記第２言語に対応する少なくとも１つのプーリング層とを別々に含んでいてもよい。

これにより、各言語に対応するプーリング層で、特徴を示す情報の次元を削減することが可能になる。すなわち、複数の言語に対応する複数の特徴を結合する前に次元を削減することが可能になる。したがって、演算量の増加を抑制することが可能になる。

また、例えば、前記畳み込みニューラルネットワークモデルは、前記第１言語と前記第２言語とで共通の少なくとも１つのプーリング層を含んでいてもよい。

これにより、複数の言語に対応する複数の特徴を結合することが可能になる。そして、結合された複数の特徴をラベルの識別に利用することが可能になる。

また、例えば、前記畳み込みニューラルネットワークモデルは、前記第１言語と前記第２言語とで共通の少なくとも１つの畳み込み層を含んでいてもよい。

これにより、複数の言語に対して共通の畳み込み層で、特徴を抽出することが可能になる。すなわち、複数の言語に対して共通の処理として特徴の抽出を行うことが可能になる。したがって、演算量の増加を抑制することが可能になる。

また、例えば、前記共通の識別モデルは、再帰型ニューラルネットワークモデルであってもよい。

これにより、ラベルを識別するための識別モデルとして、自然言語処理に適した再帰型ニューラルネットワークモデルが用いられる。したがって、テキストの内容を表すラベルの適切な識別が可能になる。

また、例えば、前記共通の識別モデルは、前記第１言語のテキストの特徴である第１特徴が抽出される第１抽出層と、前記第２言語のテキストの特徴である第２特徴が抽出される第２抽出層と、前記第１特徴及び前記第２特徴が結合される結合層とを含んでいてもよい。

これにより、複数の抽出層及び結合層を含む識別モデルが、ラベルを識別するための識別モデルとして用いられる。そして、これらの層を含む識別モデルが、全体的に訓練される。したがって、ラベルを適切に識別することが可能になる。

また、例えば、前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値が連結されてもよい。

これにより、複数の言語に対応する複数の特徴を示す複数の値をシンプルに結合することが可能になる。そして、結合の結果をラベルの識別に利用することが可能になる。

また、例えば、前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値に対して線形結合が行われてもよい。

これにより、複数の言語に対応する複数の特徴を示す複数の値をシンプルな演算によって組み合わせることが可能になる。そして、組み合わせの結果をラベルの識別に利用することが可能になる。

また、例えば、前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値の結合及び重み付け加算を含む処理によって、複数のラベルのそれぞれの確率が導出され、前記共通の識別モデルによって識別されるラベルは、前記結合層で導出された確率によって識別されてもよい。

これにより、最終的なラベルが確率によって識別される。また、２つの言語の２つのテキストから最終的なラベルを識別するための識別モデルが訓練される。したがって、最終的なラベルを適切に識別することが可能になる。

また、例えば、前記識別制御方法は、さらに、前記第１言語のテキストである第３テキストを取得するステップと、前記第２言語のテキストである第４テキストを取得するステップとを含み、前記第３テキスト及び前記第４テキストのうちの一方のテキストは、他方のテキストを前記一方のテキストに対応する言語に翻訳することにより得られるテキストであり、前記識別制御方法は、さらに、更新された前記共通の識別モデルへ前記第３テキスト及び前記第４テキストを入力するステップと、前記第３テキスト及び前記第４テキストから前記共通の識別モデルによって識別されるラベルを前記第３テキスト又は前記第４テキストを表すラベルとして識別するステップとを含んでいてもよい。

これにより、複数の言語に基づく識別モデルに、第１言語の第３テキスト及び第２言語の第４テキストの両方が入力される。複数の言語に基づく識別モデルによって、単一の言語に基づく識別モデル、又は、その組み合わせよりも、適切にラベルを識別することが可能である。したがって、ラベルが適切に識別される。

また、例えば、前記識別制御方法は、さらに、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、前記第３テキストを第３値列に変換するステップと、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、前記第４テキストを第４値列に変換するステップとを含み、前記第３テキスト及び前記第４テキストを前記共通の識別モデルへ入力するステップでは、前記第３値列に変換された前記第３テキスト、及び、前記第４値列に変換された前記第４テキストを前記共通の識別モデルへ入力してもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストを値列に変換し、値列に変換されたテキストを共通の識別モデルへ入力することが可能になる。

また、例えば、前記第１変換モデルでは、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、前記第２変換モデルでは、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、前記第３値列は第３ベクトル列であり、前記第４値列は第４ベクトル列であってもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストをベクトル列に変換し、ベクトル列に変換されたテキストを共通の識別モデルへ入力することが可能になる。

また、本発明の一態様における識別制御装置は、識別制御方法を実行する制御回路と、前記識別制御方法を前記制御回路が実行するための情報が記憶される記憶回路とを備え、前記識別制御方法は、第１言語のテキストである第１テキストを取得するステップと、第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む。

これにより、識別制御装置は、上記の識別制御方法を実行することができる。したがって、識別制御装置は、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することを可能にすることができる。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、又は、コンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム、及び、記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

また、ラベルの識別は、ラベルの推定、ラベルの予測、又は、ラベルの分類等とも表現され得る。したがって、識別の表現は、推定、予測又は分類等の表現に置き換えられてもよい。

（実施の形態１）
図３は、本実施の形態における識別モデルを示す模式図である。図３に示された識別モデル１０７は、第１言語のテキスト及び第２言語のテキストから、それらのテキストの内容を表すラベルを識別するためのモデルであり、例えばニューラルネットワークモデルである。

識別モデル１０７は、多層構造のニューラルネットワークモデルであってもよい。また、識別モデル１０７は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルでもよいし、再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルでもよい。

ここでは、第１言語及び第２言語が英語及び中国語である場合の例が説明されるが、第１言語及び第２言語は英語及び中国語でなくてもよい。

図３に示された英語の訓練データ１０１、英語の識別対象データ１０３、中国語の訓練データ１０５、及び、中国語の識別対象データ１０４は、図２に示された各データと同じである。なお、訓練データは、教師データとも呼ばれる。

識別モデル１０７は、英語の訓練データ１０１及び中国語の訓練データ１０５によって訓練される。具体的には、英語の訓練データ１０１に含まれる英語のテキスト、及び、中国語の訓練データ１０５に含まれる中国語のテキストが、識別モデル１０７へ入力される。英語及び中国語のテキストから識別モデル１０７によって識別されるラベルが、正解ラベルに適合するように、識別モデル１０７が更新される。これにより、識別モデル１０７は、訓練される。

識別モデル１０７は、英語の訓練データ１０１及び中国語の訓練データ１０５によって訓練されるため、英語の識別対象データ１０３及び中国語の識別対象データ１０４に対して適用可能である。すなわち、英語の識別対象データ１０３に含まれる英語のテキスト、及び、中国語の識別対象データ１０４に含まれる中国語のテキストから、識別モデル１０７によって適切なラベルが識別される。

図４は、図３によって示された識別モデル１０７を用いる識別制御装置の構成を示すブロック図である。図４に示された識別制御装置１００は、制御回路１１０及び記憶回路１１１を備える。識別制御装置１００は、例えば、コンピュータである。

制御回路１１０は、情報処理を行う汎用又は専用の電気回路である。制御回路１１０は、ＣＰＵのようなプロセッサでもよい。制御回路１１０は、識別制御装置１００の動作を制御するための情報処理を行う。ここでは、制御回路１１０が行う動作は、識別制御装置１００が行う動作として示される場合がある。

また、制御回路１１０は、テキストの内容を表すラベルを識別するための識別制御方法を実行する。具体的には、制御回路１１０は、図示しない入出力回路を介して、第１言語のテキスト、第２言語のテキスト、及び、正解ラベルを取得する。そして、制御回路１１０は、第１言語及び第２言語の２つのテキストから識別モデル１０７によって識別されるラベルが正解ラベルに適合するように、識別モデル１０７を更新する。

また、制御回路１１０は、更新された識別モデル１０７によって第１言語及び第２言語の２つのテキストから識別されるラベルを図示しない入出力回路を介して出力する。

記憶回路１１１は、制御回路１１０が情報処理を行うための情報が記憶される汎用又は専用の電気回路である。記憶回路１１１は、揮発性メモリでもよいし、不揮発性メモリでもよい。例えば、記憶回路１１１には、制御回路１１０が識別制御方法を実行するための情報が記憶される。記憶回路１１１には、識別モデル１０７が記憶されてもよいし、識別制御方法を実行するためのプログラムが記憶されてもよい。

また、情報処理が円滑に行われるように、記憶回路１１１には、第１言語及び第２言語の２つのテキスト、正解ラベル、並びに、識別モデル１０７によって識別されたラベル等が、一時的に記憶されてもよい。

図５は、図４に示された識別制御装置１００が行う学習動作を示すフローチャートである。図４に示された識別制御装置１００は、図５に示された動作を行うことにより、識別モデル１０７を更新する。

まず、識別制御装置１００は、第１言語のテキストを取得する（Ｓ１０１）。第１言語のテキストは、第１言語で表現されたテキストである。また、識別制御装置１００は、第２言語のテキストを取得する（Ｓ１０２）。第２言語のテキストは、第２言語で表現されたテキストである。

第１言語及び第２言語の２つのテキストのうちの一方のテキストは、他方のテキストに対して機械翻訳を行うことによって得られるテキストである。言い換えれば、一方のテキストは、他方のテキストから翻訳されたテキストであり、他方のテキストは、一方のテキストから翻訳されていないオリジナルのテキストである。

また、識別制御装置１００は、正解ラベルを取得する（Ｓ１０３）。正解ラベルは、テキストの内容を表すラベルである。正解ラベルは、より具体的には、第１言語及び第２言語の２つのテキストのうち機械翻訳によらずに取得されたテキストの内容を表す。つまり、正解ラベルは、他方のテキストから翻訳されたテキストではなく、オリジナルのテキストの内容を表す。したがって、正解ラベルは、機械翻訳によって生じる誤りを含まない。

識別制御装置１００は、第１言語及び第２言語の２つのテキストのうち、オリジナルのテキストと一緒に正解ラベルを取得してもよい。具体的には、識別制御装置１００は、オリジナルのテキストに付けられた正解ラベルを取得してもよい。

次に、識別制御装置１００は、第１言語及び第２言語の２つのテキストを識別モデル１０７へ入力する（Ｓ１０４）。そして、識別制御装置１００は、第１言語及び第２言語の２つのテキストから識別モデル１０７によって識別されるラベルが正解ラベルに適合するように識別モデル１０７を更新する（Ｓ１０５）。

例えば、識別モデル１０７がニューラルネットワークモデルである場合、識別制御装置１００は、誤差逆伝搬法（Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ）によって、識別モデル１０７を更新してもよい。この場合、識別制御装置１００は、識別モデル１０７のパラメータ、より具体的にはノード間の重みを更新することにより、識別モデル１０７を更新してもよい。

これにより、識別制御装置１００は、識別モデル１０７を訓練することができる。つまり、識別制御装置１００は、識別モデル１０７を学習させることができる。

図６は、図４に示された識別制御装置１００が行う識別動作を示すフローチャートである。図４に示された識別制御装置１００は、図６に示された動作を行うことにより、ラベルを識別する。

まず、識別制御装置１００は、第１言語のテキストを取得する（Ｓ２０１）。また、識別制御装置１００は、第２言語のテキストを取得する（Ｓ２０２）。

次に、識別制御装置１００は、第１言語及び第２言語の２つのテキストを更新された識別モデル１０７へ入力する（Ｓ２０３）。そして、識別制御装置１００は、第１言語及び第２言語の２つのテキストから識別モデル１０７によってラベルを識別する（Ｓ２０４）。

これにより、識別制御装置１００は、更新された識別モデル１０７によって適切なラベルを識別することができる。

図７は、図４に示された識別制御装置１００が行う学習動作の変形例を示すフローチャートである。図７に示された取得処理（Ｓ３０１〜Ｓ３０３）は、図５に示された取得処理（Ｓ１０１〜Ｓ１０３）と同じである。

その後、図７に示された変形例において、識別制御装置１００は、第１言語のテキストを変換する（Ｓ３０４）。具体的には、識別制御装置１００は、第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、第１言語のテキストを値列に変換する。値は、集合値でもよいし、ベクトル値でもよいし、行列値でもよい。

例えば、第１変換モデルでは、第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。そして、識別制御装置１００は、第１変換モデルによって、第１言語のテキストを値列に相当するベクトル列に変換してもよい。

同様に、識別制御装置１００は、第２言語のテキストを変換する（Ｓ３０５）。具体的には、識別制御装置１００は、第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、第２言語のテキストを値列に変換する。値は、集合値でもよいし、ベクトル値でもよいし、行列値でもよい。

例えば、第２変換モデルでは、第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。そして、識別制御装置１００は、第２変換モデルによって、第２言語のテキストを値列に相当するベクトル列に変換してもよい。

次に、識別制御装置１００は、第１言語及び第２言語の２つの変換されたテキストを識別モデルへ入力する（Ｓ３０６）。そして、識別制御装置１００は、第１言語及び第２言語の２つのテキストから識別モデル１０７によって識別されるラベルが正解ラベルに適合するように識別モデル１０７を更新する（Ｓ３０７）。

これにより、識別制御装置１００は、各要素の意味に基づいてラベルを識別しやすいように変換されたテキストを識別モデル１０７に対する入力として利用することができる。したがって、識別制御装置１００は、より適切にラベルが識別されるように、識別モデル１０７を訓練し、識別モデル１０７を学習させることができる。

図８は、図４に示された識別制御装置１００が行う識別動作の変形例を示すフローチャートである。図８に示された取得処理（Ｓ４０１及びＳ４０２）は、図６に示された取得処理（Ｓ２０１及びＳ２０２）と同じである。

その後、図８に示された変形例において、識別制御装置１００は、第１言語のテキストを変換する（Ｓ４０３）。具体的には、識別制御装置１００は、第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、第１言語のテキストを値列に変換する。

同様に、識別制御装置１００は、第２言語のテキストを変換する（Ｓ４０４）。具体的には、識別制御装置１００は、第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、第２言語のテキストを値列に変換する。

次に、識別制御装置１００は、第１言語及び第２言語の２つの変換されたテキストを更新された識別モデルへ入力する（Ｓ４０５）。そして、識別制御装置１００は、更新された識別モデル１０７によって第１言語及び第２言語の２つのテキストからラベルを識別する（Ｓ４０６）。

これにより、識別制御装置１００は、各要素の意味に基づいてラベルを識別しやすいように変換されたテキストを識別モデル１０７に対する入力として利用することができる。したがって、識別制御装置１００は、より適切にラベルを識別することができる。

図９は、図３に示された識別モデル１０７の第１構成例を示す模式図である。図９の例において、識別モデル１０７は、第１抽出層１３１、第２抽出層１３２及び結合層１４０を含む。第１抽出層１３１、第２抽出層１３２及び結合層１４０は、それぞれ、複数の層を含んでいてもよい。すなわち、第１抽出層１３１、第２抽出層１３２及び結合層１４０のそれぞれが、１以上の層の集合であってもよい。

例えば、識別モデル１０７は、多層構造のニューラルネットワークモデルであり、第１抽出層１３１、第２抽出層１３２及び結合層１４０のそれぞれは、多層構造のニューラルネットワークモデルに含まれる１以上の層に対応する。

第１抽出層１３１では、第１言語のテキスト１２１の特徴である第１特徴が抽出される。第２抽出層１３２では、第２言語のテキスト１２２の特徴である第２特徴が抽出される。

結合層１４０では、第１抽出層１３１で抽出された第１特徴、及び、第２抽出層１３２で抽出された第２特徴が結合される。結合層１４０では、第１特徴及び第２特徴を示す複数の値が連結されることで、第１特徴及び第２特徴が結合されてもよい。つまり、結合層１４０では、第１特徴を示す複数の値、及び、第２特徴を示す複数の値が単純に繋ぎ合わされてもよい。あるいは、第１特徴及び第２特徴を示す複数の値に対して線形結合が行われることにより、第１特徴及び第２特徴が結合されてもよい。

また、結合層１４０では、第１特徴及び第２特徴を示す複数の値が連結され、連結された複数の値に対して線形結合が行われることにより、第１特徴及び第２特徴が結合されてもよい。

また、結合層１４０では、第１特徴及び第２特徴を示す複数の値の結合及び重み付け加算を含む処理によって、複数のラベルのそれぞれの確率が導出されてもよい。ここで、複数のラベルのそれぞれの確率は、ラベルが第１言語のテキスト１２１及び第２言語のテキスト１２２の内容を表している確率である。

そして、識別モデル１０７によって識別されるラベルは、導出された確率によって識別されてもよい。例えば、識別モデル１０７によって第１言語のテキスト１２１及び第２言語のテキスト１２２の内容を表すラベルとして識別されるラベルは、導出された確率が所定の確率よりも高いラベルである。

識別モデル１０７は、第１言語のテキスト１２１を示す情報が入力される第１入力層、第２言語のテキスト１２２を示す情報が入力される第２入力層、及び、識別モデル１０７によって識別されるラベルを示す情報が出力される出力層を含んでいてもよい。

識別モデル１０７は、第１抽出層１３１、第２抽出層１３２及び結合層１４０とは別に、第１入力層、第２入力層及び出力層を含んでいてもよい。識別モデル１０７は、第１抽出層１３１に第１入力層を含んでいてもよい。また、識別モデル１０７は、第２抽出層１３２に第２入力層を含んでいてもよい。また、識別モデル１０７は、結合層１４０に出力層を含んでいてもよい。特に、結合層１４０は、出力層を兼ねていてもよい。つまり、結合層１４０は、出力層であってもよい。

また、第１言語のテキスト１２１は、第１変換モデルによって変換されて、識別モデル１０７へ入力されてもよい。同様に、第２言語のテキスト１２２は、第２変換モデルによって変換されて、識別モデル１０７へ入力されてもよい。

図１０は、図３に示された識別モデル１０７の第２構成例を示す模式図である。図１０に示された識別モデル１０７は、畳み込みニューラルネットワークモデルの例であり、第１入力層１５１、第２入力層１５２、第１畳み込み層１６１、第２畳み込み層１６２、プーリング層１７０及び全結合層１８０を含む。

例えば、図１０における第１畳み込み層１６１、又は、第１入力層１５１と第１畳み込み層１６１との組み合わせは、図９における第１抽出層１３１に対応する。また、図１０における第２畳み込み層１６２、又は、第２入力層１５２と第２畳み込み層１６２との組み合わせは、図９における第２抽出層１３２に対応する。また、図１０におけるプーリング層１７０及び全結合層１８０のうち少なくとも一方は、図９における結合層１４０に対応する。

第１入力層１５１では、第１言語のテキスト１２１を示す情報が入力される。特に、この例では、第１言語のテキスト１２１が、第１変換モデルによってベクトル列に変換され、ベクトル列を示す２次元行列が第１入力層１５１に入力される。第１畳み込み層１６１では、第１入力層１５１に入力された２次元行列に対して、複数のフィルタを用いて畳み込みが行われる。これにより、第１言語のテキスト１２１の特徴が抽出される。

第２入力層１５２では、第２言語のテキスト１２２を示す情報が入力される。特に、この例では、第２言語のテキスト１２２が、第２変換モデルによってベクトル列に変換され、ベクトル列を示す２次元行列が第２入力層１５２に入力される。第２畳み込み層１６２では、第２入力層１５２に入力された２次元行列に対して、複数のフィルタを用いて畳み込みが行われる。これにより、第２言語のテキスト１２２の特徴が抽出される。

プーリング層１７０では、第１畳み込み層１６１によって行列として得られる複数の値、及び、第２畳み込み層１６２によって行列として得られる複数の値が結合されることにより、第１言語のテキスト１２１の特徴、及び、第２言語のテキスト１２２の特徴が結合される。その際、プーリング層１７０において、第１畳み込み層１６１によって行列として得られる複数の値、及び、第２畳み込み層１６２によって行列として得られる複数の値がサブサンプリングされることによって、次元の増加が抑制される。

全結合層１８０では、プーリング層１７０で結合された複数の値の重み付け加算を含む処理によって複数のラベルのそれぞれの確率が導出される。識別モデル１０７によって第１言語のテキスト１２１及び第２言語のテキスト１２２の内容を表すラベルとして識別されるラベルは、全結合層１８０で導出された確率が所定の確率よりも高いラベルである。

上記のような構成によって、畳み込みニューラルネットワークモデルを識別モデル１０７に適用することが可能である。

なお、図１０の例において、識別モデル１０７は、第１言語に対応する第１畳み込み層１６１と、第２言語に対応する第２畳み込み層１６２とを含み、第１言語及び第２言語で共通のプーリング層１７０を含む。つまり、識別モデル１０７は、第１言語に対応する少なくとも１つの畳み込み層と、第２言語に対応する少なくとも１つの畳み込み層とを別々に含み、第１言語及び第２言語で共通の少なくとも１つのプーリング層を含む。

識別モデル１０７は、図１０の例に限られず、第１言語に対応する少なくとも１つのプーリング層と、第２言語に対応する少なくとも１つのプーリング層とを別々に含んでもよいし、第１言語及び第２言語で共通の少なくとも１つの畳み込み層を含んでもよい。また、識別モデル１０７は、交互に積層された複数の畳み込み層と複数のプーリング層とを含んでもよい。

また、第１言語に対応する情報と、第２言語に対応する情報とが、プーリング層１７０ではなく、全結合層１８０で結合されてもよい。すなわち、識別モデル１０７に、第１言語と第２言語とで共通のプーリング層１７０が含まれていなくてもよい。

図１１は、図３に示された識別モデル１０７の第３構成例を示す模式図である。図１１に示された識別モデル１０７は、再帰型ニューラルネットワークモデルの例であり、第１入力層１５１、第２入力層１５２、第１リカレント層１９１、第２リカレント層１９２及び結合層１４０を含む。

例えば、図１１における第１リカレント層１９１、又は、第１入力層１５１と第１リカレント層１９１との組み合わせは、図９における第１抽出層１３１に対応する。また、図１１における第２リカレント層１９２、又は、第２入力層１５２と第２リカレント層１９２との組み合わせは、図９における第２抽出層１３２に対応する。また、図１１における結合層１４０は、図９における結合層１４０に対応する。

図１０の例と同様に、第１入力層１５１では、第１言語のテキスト１２１を示す情報が入力される。例えば、第１言語のテキスト１２１が、第１変換モデルによってベクトル列に変換され、ベクトル列が第１入力層１５１に入力される。ベクトル列を構成する複数のベクトルは、順次、第１入力層１５１に入力されて処理されてもよい。第１リカレント層１９１では、第１入力層１５１に入力されたベクトル列の特徴が抽出されることにより、第１言語のテキスト１２１の特徴が抽出される。

例えば、第１リカレント層１９１では、第１入力層１５１に入力されたベクトル列を構成する複数のベクトルに対して、順次、特徴抽出処理が行われる。その際、カレントのベクトルと、前のベクトルに対する特徴抽出処理の結果とを入力として用いて、カレントのベクトルに対する特徴抽出処理が行われる。すなわち、前のベクトルに対する特徴抽出処理の結果が、カレントのベクトルに対する特徴抽出処理に反映され、要素間の関係が特徴抽出処理に反映される。

また、図１０の例と同様に、第２入力層１５２では、第２言語のテキスト１２２を示す情報が入力される。例えば、第２言語のテキスト１２２が、第２変換モデルによってベクトル列に変換され、ベクトル列が第２入力層１５２に入力される。ベクトル列を構成する複数のベクトルは、順次、第２入力層１５２に入力されて処理されてもよい。第２リカレント層１９２では、第２入力層１５２に入力されたベクトル列の特徴が抽出されることにより、第２言語のテキスト１２２の特徴が抽出される。

例えば、第２リカレント層１９２では、第２入力層１５２に入力されたベクトル列を構成する複数のベクトルに対して、順次、特徴抽出処理が行われる。その際、カレントのベクトルと、前のベクトルに対する特徴抽出処理の結果とを入力として用いて、カレントのベクトルに対する特徴抽出処理が行われる。すなわち、前のベクトルに対する特徴抽出処理の結果が、カレントのベクトルに対する特徴抽出処理に反映され、要素間の関係が特徴抽出処理に反映される。

結合層１４０では、第１リカレント層１９１で得られた複数の値、及び、第２リカレント層１９２で得られた複数の値が結合されることによって、第１言語のテキスト１２１の特徴、及び、第２言語のテキスト１２２の特徴が結合される。また、結合層１４０では、複数の値の結合及び重み付け加算を含む処理によって複数のラベルのそれぞれの確率が導出される。

識別モデル１０７によって第１言語のテキスト１２１及び第２言語のテキスト１２２の内容を表すラベルとして識別されるラベルは、結合層１４０で導出された確率が所定の確率よりも高いラベルである。

上記のような構成によって、再帰型ニューラルネットワークモデルを識別モデル１０７に適用することが可能である。

なお、図１１の例において、図１０と同様に、行列を構成するベクトル列が識別モデル１０７に入力されている。しかし、識別モデル１０７に入力される情報は、行列を構成するベクトル列でなくてもよい。

また、図９、図１０及び図１１のそれぞれにおいて示される構成例は、識別モデル１０７の構成の一例である。識別モデル１０７の構成は、図９、図１０及び図１１のそれぞれにおいて示される構成例に限られない。

本実施の形態における識別制御方法及び識別制御装置１００は、特に、訓練データに対応する言語と、識別対象データに対応する言語が異なる場合に有用である。

なお、上記では、２つの言語に関する例が示されている。しかし、本実施の形態における識別制御方法及び識別制御装置１００を３つ以上の言語に適用することが可能である。例えば、追加の言語に伴って、追加の言語に対応する構成要素が追加されてもよい。また、追加の言語に対して、追加の機械翻訳が行われてもよい。そして、３つ以上の言語の各テキストが識別モデル１０７に入力され、テキストの内容を表すラベルが識別されてもよい。

また、識別制御装置１００は、機械翻訳を行ってもよい。例えば、識別制御装置１００は、第１言語のテキストを第２言語に翻訳してもよいし、第２言語のテキストを第１言語に翻訳してもよい。つまり、識別制御装置１００は、第１言語のテキストを第２言語に翻訳することにより第２言語のテキストを取得してもよいし、第２言語のテキストを第１言語に翻訳することにより第１言語のテキストを取得してもよい。

これにより、識別制御装置１００は、第１言語及び第２言語のうち一方の言語のテキストのみを取得して、学習又は識別を行うことができる。

（評価例）
次に、実施の形態に示された識別モデル１０７に関する評価例として、主にＤＳＴＣ５（ｆｉｆｔｈ Ｄｉａｌｏｇ Ｓｔａｔｅ Ｔｒａｃｋｉｎｇ Ｃｈａｌｌｅｎｇｅ）の評価を紹介する。

ＤＳＴＣ５は、対話における意図の識別精度を競う５回目のコンテストである。また、以下の説明におけるマルチチャネル畳み込みニューラルネットワークモデルは、実施の形態に示された識別モデル１０７に相当する。また、対話セグメントはテキストに相当する。対話状態（Ｄｉａｌｏｇ Ｓｔａｔｅ）はテキストの内容を表すラベルに相当する。

また、以下では、基本的に、文字列によって表現される対話が用いられているが、音声によって表現される対話が、例えば音声認識によって文字列に変換されて用いられてもよい。また、ＤＳＴＣ５は、正確には、対話状態の追跡に関する。以下の説明では、わかりやすさを考慮して、「追跡」に代えて「識別」という表現が用いられているが、「識別」は「追跡」に読み替えられてもよい。

また、以下では、畳み込みニューラルネットワークモデルの例が示されているが、再帰型ニューラルネットワークモデル等の他のモデルにも同様の説明が適用され得る。

［１．概要］
ＤＳＴＣ５で提供されたシナリオは、言語を横断して対話状態を識別することに関する。このシナリオにおいて、参加者は、ラベルのある英語データに基づいて識別器を構築し、ラベルのない中国語データに基づいて識別器を検証することが求められる。また、英語データ及び中国語データの両方に対して、コンピュータにより作成された翻訳が与えられる。しかし、それらの翻訳には誤りが含まれる。そのため、翻訳の不用意な使用によって、識別器の性能が低下する可能性がある。

これに対して、本発明者らは、マルチチャネル畳み込みニューラルネットワークモデルのアーキテクチャを提案する。このアーキテクチャでは、英語と中国語とが共通のマルチチャネル畳み込みニューラルネットワークモデルに入力される。このアーキテクチャは、誤訳に対するロバスト性を効果的に向上させることができる。

さらに、このアーキテクチャは、純粋に機械学習に基づいている。したがって、両言語について、広範な予備知識が不要である。識別器の開発者が両言語に精通していない可能性があるため、この特性は、識別器を構築において有用である。

なお、以下において、マルチチャネル畳み込みニューラルネットワークモデルを単にマルチチャネルモデルと呼ぶ場合がある。

［２．前置き］
対話状態の識別は、対話処理の主要なタスクの１つである。具体的には、対話状態の識別は、コンピュータが対話を処理しやすくするため、対話の部分である対話セグメント毎に、対話セグメントの内容を値として表す対話状態を対話セグメントから識別することである。このタスクの汎用的な試験台を提供するため、一連のＤＳＴＣ（Ｄｉａｌｏｇ Ｓｔａｔｅ Ｔｒａｃｋｉｎｇ Ｃｈａｌｌｅｎｇｅｓ）が実施されている。

ＤＳＴＣは、すでに４回実施されており、その間、この分野における研究に対して非常に価値ある援助を提供し、最新技術の改良を手助けしている。４回目のＤＳＴＣ以降、対話状態が識別される対話は、人間と機械との対話から人間同士の対話へと変化した。そして、人間同士の対話における柔軟性と曖昧さにより、対話状態の識別の困難性が大幅に増した。

機械学習において、人間同士の対話に対する有用な識別器を限定的な訓練データで構築することは難しい。この状況は好ましくない。なぜなら、ラベルのある訓練データの準備には、基本的に、大きなコスト、長い時間、及び、専門家が求められるためである。また、新しい言語のための識別器の構築には、新しい言語の新しい訓練データが求められる。

ＤＳＴＣ５では、急速に進歩した機械翻訳技術を用いることが提案されている。これにより、新しい言語の訓練データの準備に時間をかけずに、別の言語で構築された識別器を新しい言語に適応させることが可能になる。機械翻訳技術の利用は非常に魅力的である。例えば、新しい言語に識別器を適応させるコストを削減することが可能になるだけでなく、異なる言語の訓練データで識別器を構築することが可能になるかもしれない。

具体的には、機械翻訳技術の利用は、旅行情報システムについて有用である。例えば、異なる言語の話者、つまり他国から来た旅行者からデータが収集されても、各言語のデータの量は限られているかもしれない。しかし、複数の言語のデータを組み合わせることで、訓練のための十分なデータ量が得られる。

しかしながら、機械翻訳技術は最近偉大な進歩を遂げたにもかかわらず、翻訳品質は未だ十分ではない。コンピュータによって作成された翻訳で訓練された単一言語識別モデルは、不完全である可能性がある。また、他の言語から作成された翻訳に対する識別の性能が通常よりも低下する可能性がある。

これに対して、本発明者らは、複数の言語で同時に訓練され、対話状態の識別のための入力として元の対話セグメントとその翻訳の両方が用いられるマルチチャネルモデルを提案する。これにより、コンピュータによって作成された翻訳のみに基づく識別器の構築が回避される。そして、複数の言語の複数の情報が最大限に活用され、誤訳に対するロバスト性が高められる。

［３．データセット］
ＤＳＴＣ４の訓練データ、開発データ及びテストデータを含む全データがＤＳＴＣ５の訓練データとして用いられる。この訓練データは、英語話者から収集されたシンガポールの旅行情報に関する３５つの対話セッションを含む。

この訓練データ以外に、中国語話者から収集された２つの対話セッションを含む開発データが、最終評価の前に、識別器の性能の確認用に提供される。訓練データ及び開発データのそれぞれは、対話状態がラベルとして付され、機械翻訳システムによって作成された上位５つの英語翻訳又は中国語翻訳を含む。

ＤＳＴＣ５における評価段階において、ラベルのない８つの中国語対話を含むテストデータが、各参加者に配布された。そして、参加者によって提出された識別結果が、識別結果におけるラベルと真のラベルとの比較によって評価された。テストデータは、訓練データ及び開発データと同様に、機械翻訳システムによって作成された上位５つの英語翻訳を含む。

ＤＳＴＣ５における対話状態は、ＤＳＴＣ４と同じオントロジーによって定義される。このオントロジーは、図１２に示されているように、互いに異なるスロットセットを有する５つのトピックを含む。

対話状態は、トピックとスロットとの組み合わせに対して対話セグメントにおいて言及された最も特徴的な情報を示す。例えば、トピック「Ｆｏｏｄ（食べ物）」及びスロット「ＣＵＩＳＩＮＥ（料理）」の組み合わせに対して、対話状態は料理の種類を示す。また、トピック「Ｔｒａｎｓｐｏｒｔａｔｉｏｎ（交通）」及びスロット「ＳＴＡＴＩＯＮ（駅）」の組み合わせに対して、対話状態は列車の駅を示す。

トピックとスロットとの組み合わせの総数は３０である。そして、トピックとスロットとの組み合わせ毎に、可能性のある全ての対話状態がオントロジーにおけるリストとして与えられる。ＤＳＴＣ５の主なタスクは、対話セグメント、対話セグメントのトピック、及び、対話セグメントよりも前の対話履歴から、各スロットについて適切な対話状態を識別することである。図１３は、対話セグメント、及び、その対話状態を示す。

［４．方法］
［４．１．枠組み］
ＤＳＴＣ４において、本発明者らは、畳み込みニューラルネットワークモデルに基づく方法を提案した。この方法により、スロット「ＩＮＦＯ（情報）」に関する識別において最高の性能が達成された。この方法において用いられたＣＮＮモデルは、全てのトピックで共通のＣＮＮモデルであり、複数のトピックにおいて提示される情報をよりよく扱うことができるように、追加のマルチトピック畳み込み層を含む。

このモデルは、様々なトピックを通じて訓練され得る。そのため、訓練データが限られている場合でも、高い性能が得られる。ＤＳＴＣ５における訓練データは、ＤＳＴＣ４における訓練データよりも７５％多い。したがって、訓練データが限られている状況は改善されている。

本発明者らは、言語を横断することに一層注目するため、ＤＳＴＣ４における方法に代えて、各トピックについて個別のＣＮＮモデルを訓練する方法をＤＳＴＣ５において採用した。つまり、ＤＳＴＣ５における方法では、例えば、トピック「ＦＯＯＤ（食べ物）」におけるスロット「ＩＮＦＯ（情報）」と、トピック「ＳＨＯＰＰＩＮＧ（買い物）」におけるスロット「ＩＮＦＯ（情報）」とが、２つの独立したモデルによって訓練される。

さらに、一般的に応用可能かつ容易に調整可能な方法を提供するため、スロット及びトピックの組み合わせ毎のＣＮＮモデルに対して同じハイパーパラメータが設定される。

図１４は、ＤＳＴＣ５において本発明者らによって採用された方法を示す模式図である。トピック及びスロットの組み合わせ毎にＣＮＮモデルであるマルチチャネルモデルが構築される。例えば、訓練データに対してトピック「Ｆｏｏｄ」でフィルタが行われることにより、トピック「Ｆｏｏｄ」用訓練データが得られる。このトピック「Ｆｏｏｄ」用訓練データによって、トピック「Ｆｏｏｄ」の各スロットのマルチチャネルモデルが訓練される。

また、トピック「Ｆｏｏｄ」に関する対話セグメント及び対話セグメントの翻訳が、トピック「Ｆｏｏｄ」の各スロットのマルチチャネルモデルに入力される。そして、トピック「Ｆｏｏｄ」の各スロットの対話状態をラベルとして示す情報が出力される。

［４．２．動機］
ＤＳＴＣ５では、訓練データ及びテストデータが、互いに異なる言語で与えられる。また、訓練データ及びテストデータのそれぞれに関して、中国語及び英語の言語間でコンピュータによって作成された翻訳が提供される。そのため、１つの直接的な方法は、英語の訓練データで訓練されたモデルに対してテストデータの英語翻訳を用いる方法である。別の直接的な方法は、訓練データの中国語翻訳で訓練されたモデルに対して中国語のテストデータを用いる方法である。

しかしながら、両方法において、訓練データ又はテストデータのいずれかが直接利用されず、その翻訳が利用される。英語データ及び中国語データの両方が十分に活用されるように、本発明者らは、英語及び中国語の両方が入力されるモデルであるマルチチャネルモデルを提案する。

［４．３．モデルアーキテクチャ］
図１５は、ＤＳＴＣ５において本発明者らによって提案されたマルチチャネルモデルの構成を示す模式図である。

本発明者らの提案では、画像処理に多用されるマルチチャネルモデルが複数の言語の処理に適用される。カラー画像の画像処理では、マルチチャネルモデルの複数の入力チャネルが、Ｒ、Ｇ及びＢに対応する複数の入力チャネルとして用いられる。複数の言語の処理では、マルチチャネルモデルの複数の入力チャネルが、複数の言語に対応する複数の入力チャネルとして用いられる。

このマルチチャネルモデルにおいて、各入力チャネルに対する入力データは、次式によって表現される２次元行列であり、その各行は、対応する語のベクトル表現であって埋め込みベクトルとも呼ばれる。

ここで、ｗ_ｉは、入力テキストにおいてｉ番目の語の埋め込みベクトルである。ｓは、２次元配列であって、入力テキストの行列表現である。ｓは、埋め込み行列とも呼ばれる。２つの中国語形式と、１つの英語形式とを含む３つの形式で入力テキストを行列に変換するため３つの埋め込みモデルが用いられる。これらの埋め込みモデルの詳細は後述する。

各チャネルについて、次式を用いて、埋め込み行列ｓにフィルタｍを畳み込むことによって、特徴マップｈが得られる。

ここで、ｆは、非線形活性化関数である。非線形活性化関数として、正規化線形関数（ＲｅＬＵ：Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）を用いることが可能である。＊は、畳み込み演算子である。ｂは、バイアス項である。その後、この特徴マップｈの最大値が、プーリング層によって選択される。この選択処理は、次式によって表現される。

この選択処理は、フィルタ毎に入力行列から最も顕著な特徴を抽出する処理である。図１５では、プーリング層で複数のチャネルの情報が連結されているが、必ずしもプーリング層で連結されていなくてもよい。このマルチチャネルモデルでは、各チャネルにおいて複数のフィルタを用いて、複数の特徴が抽出される。これらの特徴は、全結合層に送られる。全結合層では、次式に示す演算が行われる。

なお、Ｓは、シグモイド関数であり、ｗは重みを示し、ｙは確率を示す。これにより、複数のラベルのそれぞれの確率が算出される。つまり、複数の対話状態のそれぞれの確率が算出される。

マルチチャネルモデルでは、最終出力の前に、複数のチャネルから抽出された特徴同士が接続される。これにより、複数のチャネルから得られる豊富な情報が用いられる。

複数の言語に対する埋め込み行列は互いに大きく異なる可能性がある。そのため、このマルチチャネルモデルでは、チャネル毎に異なるフィルタセットが用いられる。例えば、複数の言語において、同じ又は略同じ埋め込みベクトルが、大きく意味の異なる無関係な語に対応する場合がある。このマルチチャネルモデルでは、複数の言語のそれぞれについて、その言語に対応するフィルタセットが用いられることにより、その言語に対応する行列から適切な特徴が抽出される。

［４．４．埋め込みモデル］
ｗｏｒｄ２ｖｅｃモデルは、単語の埋め込みを行うための最も汎用的なモデルの１つである。具体的には、ｗｏｒｄ２ｖｅｃモデルは、言語の要素をベクトルに変換するモデルであって、２層のニューラルネットワークモデルである。また、ｗｏｒｄ２ｖｅｃモデルは、複数の要素が意味的に近いほどより近い複数のベクトルに変換されるように、コーパスによって訓練される。

マルチチャネルモデルに入力される行列を生成するため、３つの異なる訓練コーパスで訓練された３つの異なるｗｏｒｄ２ｖｅｃモデルである英語埋め込みモデル、中国語単語埋め込みモデル及び中国語文字埋め込みモデルが用いられる。英語埋め込みモデル、中国語単語埋め込みモデル及び中国語文字埋め込みモデルは、具体的には以下の通りである。

英語埋め込みモデルは、英語のウィキペディア（登録商標）における全てのテキストの内容をスペースで区切り、全ての文字を小文字にして訓練され、英語の単語を２００次元のベクトルに変換するためのｗｏｒｄ２ｖｅｃモデルである。この英語埋め込みモデルは、２５３８５４個の英単語を学習している。

中国語単語埋め込みモデルは、中国語のウィキペディア（登録商標）における全てのテキストの内容を「ｊｉｅｂａ」モジュールを用いて単語境界で区切って訓練され、中国語の単語を２００次元のベクトルに変換するためのｗｏｒｄ２ｖｅｃモデルである。「ｊｉｅｂａ」モジュールは、中国語のテキストの内容を単語で分割するためのプログラムである。中国語単語埋め込みモデルは、中国語のウィキペディア（登録商標）に現れた４４４１８４個の中国語の単語及び５３７４３個の英単語を学習している。

中国語文字埋め込みモデルは、中国語のウィキペディア（登録商標）における全てのテキストの内容を中国語の文字毎に区切って訓練され、中国語の文字を２００次元のベクトルに変換するためのｗｏｒｄ２ｖｅｃモデルである。中国語文字埋め込みモデルは、中国語のウィキペディア（登録商標）に現れた１２１４５個の中国語の文字及び５３７４３個の英単語を学習している。

中国語において単語境界を特定することは容易ではない。したがって、中国語に対して、中国語単語埋め込みモデル及び中国語文字埋め込みモデルの２つのモデルが訓練された。

中国語において、意味のある最小要素は、単一の文字である場合もあり、連結された複数の文字である場合もある。そして、中国語のテキストの分割には、文の解析が伴う。そのため、最新技術の方法によっても未だ完全な正確性が達成されていない。この理由により、中国語単語埋め込みモデルは、不正確な語彙を学習することがあり、文字の組み合わせを適切に取り扱うことができない。

一方、中国語文字埋め込みモデルは、単語の分割に頼らないため、中国語文字埋め込みモデルには誤りがなく、文字を１つの語として容易に取り扱うことができる。しかしながら、中国語文字埋め込みモデルは、単語境界を無視する。そのため、埋め込み結果に正確な意味が反映されない場合がある。

図１６は、訓練データに対する前処理を示す模式図である。訓練データにおける英語の対話セグメントは、英語埋め込みモデルによって、英語の単語のベクトルで構成される英語埋め込み行列に変換されて、マルチチャネルモデルの第３チャネルに入力される。また、英語の対話セグメントは、英語から中国語への機械翻訳システムによって、中国語の翻訳対話セグメントに変換される。

そして、中国語の翻訳対話セグメントは、中国語単語埋め込みモデルによって、中国語の単語のベクトルで構成される中国語単語埋め込み行列に変換されて、マルチチャネルモデルの第１チャネルに入力される。また、中国語の翻訳対話セグメントは、中国語文字埋め込みモデルによって、中国語の文字のベクトルで構成される中国語文字埋め込み行列に変換されて、マルチチャネルモデルの第２チャネルに入力される。

図１７は、開発データ及びテストデータに対する前処理を示す模式図である。開発データ及びテストデータにおける中国語の対話セグメントは、中国語単語埋め込みモデルによって、中国語の単語のベクトルで構成される中国語単語埋め込み行列に変換されて、マルチチャネルモデルの第１チャネルに入力される。また、中国語の対話セグメントは、中国語文字埋め込みモデルによって、中国語の文字のベクトルで構成される中国語文字埋め込み行列に変換されて、マルチチャネルモデルの第２チャネルに入力される。

また、中国語の対話セグメントは、中国語から英語への機械翻訳システムによって、英語の翻訳対話セグメントに変換される。そして、英語の翻訳対話セグメントは、英語埋め込みモデルによって、英語の単語のベクトルで構成される英語埋め込み行列に変換されて、マルチチャネルモデルの第３チャネルに入力される。

［５．結果］
［５．１．ＤＳＴＣ５における評価結果］
本発明者らのチームによって提案された方法のスコアを他のチームのスコアと共に、図１８に示す。本発明者らのチームの番号は、「２」である。

本発明者らによって提案されたマルチチャネルモデルは、全９チームの中で最高のスコアを取得した。エントリー「３」の正解率は、０．０９５６であり、スコアが２番目に高い他のチームの正解率は、０．０６３５である。また、エントリー「３」のＦ値（Ｆ−ｍｅａｓｕｒｅ）は、０．４５１９であり、スコアが２番目に高い他のチームのＦ値は、０．３９４５である。すなわち、エントリー「３」の結果は、スコアが２番目に高い他のチームよりも、正解率において約５０％、Ｆ値において約１５％、上回っている。

本発明者らのチームの５つのエントリー「０」〜「４」において、ハイパーパラメータが互いに異なる。図１９は、複数のハイパーパラメータを示す。複数のハイパーパラメータのうちドロップアウト率は、結果に大きく影響を与える。ドロップアウトは、ニューラルネットワークモデルにおいて、特異なデータが学習されることで一般化性能が低下する過学習を削減するための技術として知られている。

５つのエントリー「０」〜「４」に関して、ドロップアウト率の低下に伴って、再現率が低下し、適合率が上昇している。一方、ドロップアウト率のさらなる低下は、全体としての性能を改善しない。図１８及び図１９において、２つのエントリー「５」及び「６」は、ドロップアウト率がより低いハイパーパラメータの設定、及び、その結果に対応する。

［５．２．マルチチャネルモデル、単一チャネルモデル及び組み合わせモデル］
本発明者らは、マルチチャネルモデルの貢献度合いを調査するため、マルチチャネルモデルと通常の単一チャネルモデルとの間で性能を比較した。この比較のために、上記の３つの埋め込みモデルを用いて、３つの単一チャネルモデルを訓練した。また、訓練には、最上位の翻訳が用いられた。図２０は、その評価結果を示す。マルチチャネルモデルは、３つの単一チャネルモデルの性能を上回っている。一方、中国語文字モデルは、３つの単一チャネルモデルのうち最高の性能を有する。

先のＤＳＴＣでは、識別性能を改善するため、複数のモデルを組み合わせる技術が用いられている。このような組み合わせの最終的な出力は、複数の単一チャネルモデルの出力の平均に対応する。図２０には、３つの単一チャネルモデルの組み合わせによって得られる結果が組み合わせモデルとして示されている。組み合わせモデルは、マルチチャネルモデルに迫る性能を有する。また、組み合わせモデルの構築は、比較的容易である。そのため、組み合わせモデルがマルチチャネルモデルの代替モデルとして用いられてもよい。

［５．３．考察］
上記の結果は、アンサンブル学習の観点からも部分的に説明され得る。マルチチャネルモデルにおいて、複数のチャネルは、データに関してより多くの特徴を提供する。より多くの特徴によって、適切に情報が補完される。また、マルチチャネルモデルにおける全結合層は最適化される。したがって、マルチチャネルモデルは、誤訳に対するロバスト性を向上させることができる。

図２１は、マルチチャネルモデルの実証例を示し、各モデルによって識別されたラベルを示す。この例において、３つの単一チャネルモデルのいずれによっても、正解ラベルが出力されていない。一方、マルチチャネルモデルでは、正解ラベルが出力されている。

組み合わせモデルでは、単純な投票のような動作が行われる。つまり、複数の単一チャネルモデルのうち多くで識別されたラベルが選択される。これに対して、マルチチャネルモデルでは、複数の特徴に従って信頼度の高いラベルが選択される。結果として、３つの単一チャネルモデルのうち１つで識別されたラベル「Ｗａｌｋｉｎｇ」がマルチチャネルモデルで適切に識別され、３つの単一チャネルモデルのうち２つで識別されたラベル「Ｅｘｈｉｂｉｔ」がマルチチャネルモデルで適切に否定される。

ただし、実際の状況はさらに複雑である。図２２に示されているように、正解率はスロットによって異なっており、複数のモデルの性能の順位もスロットによって部分的に異なっている。機械翻訳で主題毎に異なって生じる曖昧さによって、このような差異が発生しているかもしれない。

例えば、英語における時間表現として、単語「ｅｖｅｎｉｎｇ」及び単語「ｎｉｇｈｔ」は、それぞれ９６％及び４３％の確率で、同じ中国語の単語である「ｗａｎ ｓｈａｎｇ」と翻訳される。この中国語の単語は「ｅｖｅｎｉｎｇ」及び「ｎｉｇｈｔ」の両方の意味を有するが、各単語を表すより正確な中国語の用語が存在する。

このような翻訳の不正確さは、中国語において「Ｅｖｅｎｉｎｇ」及び「Ｎｉｇｈｔ」のラベルを識別することをより困難にし、スロット「ＴＩＭＥ」における中国語の単一チャネルモデルの性能の低さにつながる。

また、翻訳方向を逆にすることにより、言語間の語形、語順及び文法の相違の影響を受けて、翻訳品質が変化する場合がある。ＤＳＴＣ５において、訓練データは、１つの翻訳方向、具体的には英語から中国語の方向のみを含むため、マルチチャネルモデルは、逆の翻訳方向に最適化されていない。そこで、翻訳品質等に基づいて、マルチチャネルモデルは、複数のチャネルに対応する複数の特徴に、偏りを有していてもよい。また、組み合わせモデルも、同様に、モデル間で偏りを有していてもよい。

また、マルチチャネルモデルの性能を向上させるため、２つの翻訳方向の両方で訓練されてもよい。

［６．評価に関する結論］
本発明者らは、互いに異なる複数のチャネルから複数の言語の入力を受け付けるマルチチャネルモデルを提案する。このマルチチャネルモデルは、誤訳に対するロバスト性を有し、かつ、いかなる単一チャネルモデルよりも性能が高い。さらに、新しい言語について予備知識が不要である。そのため、異なる言語のデータをマルチチャネルモデルに容易に適用することが可能である。

したがって、マルチチャネルモデルは、新しい言語に対する適用のコストを削減することを可能にし、複数の言語に対して対話状態を識別することを可能にする。

（まとめ）
上記の通り、本発明の一態様における識別制御方法では、第１テキスト、第２テキスト及び正解ラベルが取得される。第１テキストは、第１言語のテキストである。第２テキストは、第２言語のテキストであり、第１テキストを第２言語に翻訳することにより得られるテキストである。正解ラベルは、第１テキストの内容を表すラベルである。

そして、第１言語及び第２言語で共通の識別モデル１０７へ第１テキスト及び第２テキストが入力される。そして、第１テキスト及び第２テキストから共通の識別モデル１０７によって識別されるラベルが正解ラベルに適合するように、共通の識別モデル１０７が更新される。

これにより、第１言語の第１テキスト及び第２言語の第２テキストの両方が共通の識別モデル１０７へ入力される。そして、共通の識別モデル１０７によって適切なラベルが識別されるように、共通の識別モデル１０７が更新される。すなわち、複数の言語の複数のテキストから適切なラベルが識別されるような、複数の言語に基づく識別モデル１０７が構築される。

そして、複数の言語に基づく識別モデル１０７は、言語を横断して適切に訓練される。そのため、複数の言語に基づく識別モデル１０７によって、単一の言語に基づく識別モデル、又は、その組み合わせよりも、適切にラベルを識別することが可能である。したがって、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することが可能になる。すなわち、複数の言語が用いられる環境においてラベルの識別品質を改善することが可能になる。

例えば、第１テキストが第１変換モデルによって第１値列に変換され、第２テキストが第２変換モデルによって第２値列に変換されてもよい。第１変換モデルでは、第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される。第２変換モデルでは、第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される。そして、第１値列に変換された第１テキスト、及び、第２値列に変換された第２テキストが、共通の識別モデル１０７へ入力されてもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストを値列に変換し、値列に変換されたテキストを共通の識別モデル１０７へ入力することが可能になる。

また、例えば、第１変換モデルでは、第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。第２変換モデルでは、第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。第１値列は第１ベクトル列であってもよい。第２値列は第２ベクトル列であってもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストをベクトル列に変換し、ベクトル列に変換されたテキストを共通の識別モデル１０７へ入力することが可能になる。

また、例えば、共通の識別モデル１０７は、畳み込みニューラルネットワークモデルであってもよい。これにより、ラベルを識別するための識別モデル１０７として、畳み込みニューラルネットワークモデルが用いられる。畳み込みニューラルネットワークモデルによって、適切に特徴が抽出され、抽出された特徴に基づく適切なラベルが識別される。したがって、適切なラベルの識別が可能になる。

また、例えば、畳み込みニューラルネットワークモデルは、交互に積層された複数の畳み込み層と複数のプーリング層とを含んでいてもよい。

これにより、ラベルを識別するための識別モデル１０７に、複数の畳み込み層及び複数のプーリング層が交互に積層された畳み込みニューラルネットワークモデルが用いられる。複数の畳み込み層及び複数のプーリング層が交互に積層された畳み込みニューラルネットワークモデルでは、入力された情報から複数回の特徴抽出によって特徴がより適切に抽出される。したがって、より適切なラベルの識別が可能になる。

また、例えば、畳み込みニューラルネットワークモデルは、第１言語に対応する少なくとも１つの畳み込み層と、第２言語に対応する少なくとも１つの畳み込み層とを別々に含んでいてもよい。これにより、各言語に対応する畳み込み層で、特徴を適切に抽出することが可能になる。すなわち、言語毎の特徴を適切に抽出することが可能になる。

また、例えば、畳み込みニューラルネットワークモデルは、第１言語に対応する少なくとも１つのプーリング層と、第２言語に対応する少なくとも１つのプーリング層とを別々に含んでいてもよい。これにより、各言語に対応するプーリング層で、特徴を示す情報の次元を削減することが可能になる。すなわち、複数の言語に対応する複数の特徴を結合する前に次元を削減することが可能になる。したがって、演算量の増加を抑制することが可能になる。

また、例えば、畳み込みニューラルネットワークモデルは、第１言語と第２言語とで共通の少なくとも１つのプーリング層を含んでいてもよい。これにより、複数の言語に対応する複数の特徴を結合することが可能になる。そして、結合された複数の特徴をラベルの識別に利用することが可能になる。

また、例えば、畳み込みニューラルネットワークモデルは、第１言語と第２言語とで共通の少なくとも１つの畳み込み層を含んでいてもよい。これにより、複数の言語に対して共通の畳み込み層で、特徴を抽出することが可能になる。すなわち、複数の言語に対して共通の処理として特徴の抽出を行うことが可能になる。したがって、演算量の増加を抑制することが可能になる。

また、例えば、共通の識別モデル１０７は、再帰型ニューラルネットワークモデルであってもよい。これにより、ラベルを識別するための識別モデル１０７として、自然言語処理に適した再帰型ニューラルネットワークモデルが用いられる。したがって、テキストの内容を表すラベルの適切な識別が可能になる。

また、例えば、共通の識別モデル１０７は、第１抽出層、第２抽出層及び結合層を含んでいてもよい。第１抽出層では、第１言語のテキストの特徴である第１特徴が抽出される。第２抽出層では、第２言語のテキストの特徴である第２特徴が抽出される。結合層では、第１特徴及び第２特徴が結合される。

これにより、複数の抽出層及び結合層を含む識別モデルが、ラベルを識別するための識別モデル１０７として用いられる。そして、これらの層を含む識別モデル１０７が、全体的に訓練される。したがって、ラベルを適切に識別することが可能になる。

また、例えば、結合層では、第１特徴及び第２特徴を示す複数の値が連結されてもよい。これにより、複数の言語に対応する複数の特徴を示す複数の値をシンプルに結合することが可能になる。そして、結合の結果をラベルの識別に利用することが可能になる。

また、例えば、結合層では、第１特徴及び第２特徴を示す複数の値に対して線形結合が行われてもよい。これにより、複数の言語に対応する複数の特徴を示す複数の値をシンプルな演算によって組み合わせることが可能になる。そして、組み合わせの結果をラベルの識別に利用することが可能になる。

また、例えば、結合層では、第１特徴及び第２特徴を示す複数の値の結合及び重み付け加算を含む処理によって、複数のラベルのそれぞれの確率が導出されてもよい。そして、識別モデル１０７によって識別されるラベルは、結合層で導出された確率によって識別されてもよい。

これにより、最終的なラベルが確率によって識別される。また、２つの言語の２つのテキストから最終的なラベルを識別するための識別モデル１０７が訓練される。したがって、最終的なラベルを適切に識別することが可能になる。

また、例えば、第３テキスト及び第４テキストが取得されてもよい。第３テキストは、第１言語のテキストであり、第４テキストは、第２言語のテキストである。また、第３テキスト及び第４テキストのうちの一方のテキストは、他方のテキストを一方のテキストに対応する言語に翻訳することにより得られるテキストである。

そして、更新された共通の識別モデル１０７へ第３テキスト及び第４テキストが入力されてもよい。そして、第３テキスト及び第４テキストから共通の識別モデル１０７によって識別されるラベルが、第３テキスト又は第４テキストを表すラベルとして識別されてもよい。

これにより、複数の言語に基づく識別モデル１０７に、第１言語の第３テキスト及び第２言語の第４テキストの両方が入力される。複数の言語に基づく識別モデル１０７によって、単一の言語に基づく識別モデル、又は、その組み合わせよりも、適切にラベルを識別することが可能である。したがって、ラベルが適切に識別される。

また、例えば、第３テキストが第１変換モデルによって第３値列に変換され、第４テキストが第２変換モデルによって第４値列に変換されてもよい。第１変換モデルでは、第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される。第２変換モデルでは、第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される。そして、第３値列に変換された第３テキスト、及び、第４値列に変換された第４テキストが、共通の識別モデル１０７へ入力されてもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストを値列に変換し、値列に変換されたテキストを共通の識別モデル１０７へ入力することが可能になる。

また、例えば、第１変換モデルでは、第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。第２変換モデルでは、第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換されてもよい。第３値列は第３ベクトル列であってもよい。第４値列は第４ベクトル列であってもよい。

これにより、各言語で表現される要素の意味に基づく変換モデルで適切にテキストをベクトル列に変換し、ベクトル列に変換されたテキストを共通の識別モデル１０７へ入力することが可能になる。

また、本発明の一態様における識別制御装置１００は、上記の識別制御方法を実行する制御回路１１０と、識別制御方法を制御回路１１０が実行するための情報が記憶される記憶回路１１１とを備える。これにより、識別制御装置１００は、上記の識別制御方法を実行することができる。したがって、識別制御装置１００は、複数の言語が用いられる環境においてテキストの内容を表すラベルを適切に識別することを可能にすることができる。

以上、本発明の一態様における識別制御装置１００及び識別制御方法について、実施の形態等に基づいて説明したが、本発明は実施の形態等に限定されない。実施の形態等に対して当業者が思いつく変形を施して得られる形態、及び、実施の形態等における複数の構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。

例えば、上記実施の形態において、特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。また、翻訳は機械翻訳でなくてもよい。また、プログラムが、識別制御方法に含まれるステップをコンピュータに実行させてもよい。

例えば、このプログラムは、コンピュータに、第１言語のテキストである第１テキストを取得するステップと、第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む識別制御方法を実行させる。

また、このプログラムは、ＣＤ−ＲＯＭ等の非一時的な記録媒体に記録されてもよい。また、識別制御装置１００は、集積回路で実装されてもよい。また、識別制御装置１００は、識別制御方法に含まれる複数のステップにそれぞれ対応する複数の電気回路又は複数のユニット等を複数のハードウェア要素として備えていてもよい。

本発明は、複数の言語において、複数の言語が用いられる環境においてテキストの内容を表すラベルを識別するための識別制御装置等に利用可能であり、文書識別システム、言語解析システム、対話識別システム又は文書要約システム等に適用可能である。

１００ 識別制御装置
１０１ 英語の訓練データ
１０２ 英語の識別モデル
１０３ 英語の識別対象データ
１０４ 中国語の識別対象データ
１０５ 中国語の訓練データ
１０６ 中国語の識別モデル
１０７ 識別モデル
１１０ 制御回路
１１１ 記憶回路
１２１ 第１言語のテキスト
１２２ 第２言語のテキスト
１３１ 第１抽出層
１３２ 第２抽出層
１４０ 結合層
１５１ 第１入力層
１５２ 第２入力層
１６１ 第１畳み込み層
１６２ 第２畳み込み層
１７０ プーリング層
１８０ 全結合層
１９１ 第１リカレント層
１９２ 第２リカレント層

Claims (18)

1. 第１言語のテキストである第１テキストを取得するステップと、
   第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、
   前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、
   前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、
   前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む
   識別制御方法。
2. 前記識別制御方法は、さらに、
   前記第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、前記第１テキストを第１値列に変換するステップと、
   前記第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、前記第２テキストを第２値列に変換するステップとを含み、
   前記第１テキスト及び前記第２テキストを前記共通の識別モデルへ入力ステップでは、前記第１値列に変換された前記第１テキスト、及び、前記第２値列に変換された前記第２テキストを前記共通の識別モデルへ入力する
   請求項１に記載の識別制御方法。
3. 前記第１変換モデルでは、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、
   前記第２変換モデルでは、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、
   前記第１値列は第１ベクトル列であり、
   前記第２値列は第２ベクトル列である
   請求項２に記載の識別制御方法。
4. 前記共通の識別モデルは、畳み込みニューラルネットワークモデルである
   請求項１〜３のいずれか１項に記載の識別制御方法。
5. 前記畳み込みニューラルネットワークモデルは、交互に積層された複数の畳み込み層と複数のプーリング層とを含む
   請求項４に記載の識別制御方法。
6. 前記畳み込みニューラルネットワークモデルは、前記第１言語に対応する少なくとも１つの畳み込み層と、前記第２言語に対応する少なくとも１つの畳み込み層とを別々に含む
   請求項４又は５に記載の識別制御方法。
7. 前記畳み込みニューラルネットワークモデルは、前記第１言語に対応する少なくとも１つのプーリング層と、前記第２言語に対応する少なくとも１つのプーリング層とを別々に含む
   請求項４〜６のいずれか１項に記載の識別制御方法。
8. 前記畳み込みニューラルネットワークモデルは、前記第１言語と前記第２言語とで共通の少なくとも１つのプーリング層を含む
   請求項４〜７のいずれか１項に記載の識別制御方法。
9. 前記畳み込みニューラルネットワークモデルは、前記第１言語と前記第２言語とで共通の少なくとも１つの畳み込み層を含む
   請求項４〜８のいずれか１項に記載の識別制御方法。
10. 前記共通の識別モデルは、再帰型ニューラルネットワークモデルである
    請求項１〜３のいずれか１項に記載の識別制御方法。
11. 前記共通の識別モデルは、
    前記第１言語のテキストの特徴である第１特徴が抽出される第１抽出層と、
    前記第２言語のテキストの特徴である第２特徴が抽出される第２抽出層と、
    前記第１特徴及び前記第２特徴が結合される結合層とを含む
    請求項１〜１０のいずれか１項に記載の識別制御方法。
12. 前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値が連結される
    請求項１１に記載の識別制御方法。
13. 前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値に対して線形結合が行われる
    請求項１１又は１２に記載の識別制御方法。
14. 前記結合層では、前記第１特徴及び前記第２特徴を示す複数の値の結合及び重み付け加算を含む処理によって、複数のラベルのそれぞれの確率が導出され、
    前記共通の識別モデルによって識別されるラベルは、前記結合層で導出された確率によって識別される
    請求項１１〜１３のいずれか１項に記載の識別制御方法。
15. 前記識別制御方法は、さらに、
    前記第１言語のテキストである第３テキストを取得するステップと、
    前記第２言語のテキストである第４テキストを取得するステップとを含み、
    前記第３テキスト及び前記第４テキストのうちの一方のテキストは、他方のテキストを前記一方のテキストに対応する言語に翻訳することにより得られるテキストであり、
    前記識別制御方法は、さらに、
    更新された前記共通の識別モデルへ前記第３テキスト及び前記第４テキストを入力するステップと、
    前記第３テキスト及び前記第４テキストから前記共通の識別モデルによって識別されるラベルを前記第３テキスト又は前記第４テキストを表すラベルとして識別するステップとを含む
    請求項１〜１４のいずれか１項に記載の識別制御方法。
16. 前記識別制御方法は、さらに、
    前記第１言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第１変換モデルによって、前記第３テキストを第３値列に変換するステップと、
    前記第２言語で表現される複数の要素が意味的に近いほどより近い複数の値に変換される第２変換モデルによって、前記第４テキストを第４値列に変換するステップとを含み、
    前記第３テキスト及び前記第４テキストを前記共通の識別モデルへ入力するステップでは、前記第３値列に変換された前記第３テキスト、及び、前記第４値列に変換された前記第４テキストを前記共通の識別モデルへ入力する
    請求項１５に記載の識別制御方法。
17. 前記第１変換モデルでは、前記第１言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、
    前記第２変換モデルでは、前記第２言語で表現される複数の要素が意味的に近いほどより近い複数のベクトルに変換され、
    前記第３値列は第３ベクトル列であり、
    前記第４値列は第４ベクトル列である
    請求項１６に記載の識別制御方法。
18. 識別制御方法を実行する制御回路と、
    前記識別制御方法を前記制御回路が実行するための情報が記憶される記憶回路とを備え、
    前記識別制御方法は、
    第１言語のテキストである第１テキストを取得するステップと、
    第２言語のテキストであり、前記第１テキストを前記第２言語に翻訳することにより得られるテキストである第２テキストを取得するステップと、
    前記第１テキストの内容を表すラベルである正解ラベルを取得するステップと、
    前記第１言語及び前記第２言語で共通の識別モデルへ前記第１テキスト及び前記第２テキストを入力するステップと、
    前記第１テキスト及び前記第２テキストから前記共通の識別モデルによって識別されるラベルが前記正解ラベルに適合するように、前記共通の識別モデルを更新するステップとを含む
    識別制御装置。

Images