JP2010267200A - 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム - Google Patents

合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム Download PDF

Info

Publication number
JP2010267200A
JP2010267200A JP2009119886A JP2009119886A JP2010267200A JP 2010267200 A JP2010267200 A JP 2010267200A JP 2009119886 A JP2009119886 A JP 2009119886A JP 2009119886 A JP2009119886 A JP 2009119886A JP 2010267200 A JP2010267200 A JP 2010267200A
Authority
JP
Japan
Prior art keywords
translation
text
word
model
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009119886A
Other languages
English (en)
Inventor
Hitoshi Nishikawa
仁 西川
Takaaki Hasegawa
隆明 長谷川
Kenji Imamura
賢治 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2009119886A priority Critical patent/JP2010267200A/ja
Publication of JP2010267200A publication Critical patent/JP2010267200A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】意味的な対応関係を有するテキストの組における翻訳先のテキスト同士が十分に類似していない場合でも、精度の高い翻訳モデルの作成を可能とし、正確なクラスタリングを可能とすること。
【解決手段】意味対応入替部２により、意味対応テキスト組セット１の意味的な対応関係を入れ替えた意味対応入替テキスト組セット１’を作成し、翻訳確率計算部３より、意味対応テキスト組セット１及び意味対応入替テキスト組セット１’中における単語から単語への翻訳確率をそれぞれ計算して対応非入替翻訳モデル４及び対応入替翻訳モデル５を作成し、翻訳確率合成部６により、翻訳モデル４及び５から意味対応テキスト組セット１中の各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデル７を作成し、この合成翻訳モデル７を用いて、入力されたテキストの集合をクラスタリングする。
【選択図】図３

Description

本発明は、テキスト（文書）の集合を、類似する内容を含むテキストの部分集合にクラスタリング（分類）する技術に関する。
電子化されたテキストの爆発的な増加に伴い、必要なテキストに対する迅速なアクセスを可能とする技術が望まれている。その際、内容が似通ったテキストをクラスタリングすることができれば、大量のテキストをいくつかのまとまり（クラスタ）として扱うことができる。大量のテキストをいくつかのまとまりとして扱うことができれば、必要なテキストが含まれている範囲を素早く特定することができるようになり、必要なテキストに対して迅速なアクセスが可能になる。
クラスタリングを行うためにはテキスト間の類似度を定義する必要がある。現在、クラスタリングに一般的に用いられている手法によって類似度を計算するには、互いのテキストに同一の語彙（単語）が出現する必要がある。しかし、内容（意味）が似通ったテキストであっても語彙を共有していない場合がある。そのような場合、それら類似したテキスト間の類似度は低くなってしまい、結果としてクラスタリングの精度が悪化する。
例えば、図１に示すような３つのテキスト１，２，３があったとし、これらのテキストのうちの２つを１つのクラスタとすることを考える。テキスト１及び２は宿泊場所を尋ねているもので、テキスト３は名所を尋ねているものである。そのため、意味を考えれば、クラスタリングの結果としてテキスト１及び２が同一のクラスタとして扱われることが望ましい。しかし、表層的な語彙を見る限り、テキスト１はテキスト３により類似しているため、テキスト１及び２が同一のクラスタとして扱われることは期待できない。
このような、表層的には類似していないが、意味的には類似したテキストをクラスタリングするに当たって、一つの解決策として、例えば単語「旅館」と単語「ホテル」とが似た概念であることを示した情報（例えばシソーラス）を予め用意しておくことが考えられる。しかし、そのような情報の作成には多大な人的コストを必要とする。
そこで、ある単語が別の単語に翻訳される確率（翻訳確率）を導入し、単語を共有していないテキストでも高い類似度が得られる手法が提案されている（例えば非特許文献１参照）。
なお、ここで言う翻訳とは、必ずしも、ある単語を異なる言語の単語に置き換えることに限られるものではなく、ある単語を同一言語の別の単語（同一言語の別の表現）に置き換えることも含む。例えば、上述した図１の例における「旅館」及び「ホテル」は同一の概念を示すものではないが、類似する概念を示すものであるため、何らかのテキストにおいて「旅館」という表現が「ホテル」という表現に置き換えられる可能性は大きい。そのため、「旅館」が「ホテル」に置き換えられる可能性、即ち翻訳確率を事前に得ることができれば、シソーラスを利用せずとも精度の高いクラスタリングが可能になる。
前述したクラスタリングを行うには、翻訳元の単語と翻訳先の単語とそれらの間の翻訳確率とのセットである翻訳モデルが必要であるが、この翻訳モデルを作成するためには、事前に類似するテキストを集めておく必要がある。上述した図１の例で言えば、「旅館」及び「ホテル」が類似した概念を指していることを知るためには、「旅館」という単語を用いて宿泊場所について書かれたテキストと、「ホテル」という単語を用いて宿泊場所について書かれたテキストとを予め収集しておき、それらを用いて翻訳確率を計算する必要がある。しかし、それが難しいがために翻訳モデルを利用したいのであって、事前に類似するテキストを収集しておくのは難しい。人手でそれを行うことはできるが、多大なコストを必要とする。
そのため、あるテキストとそれに意味的に対応した別のテキスト、つまり何らかの意味的な対応関係を有するテキストの組を用いて、類似するテキストを集め、翻訳モデルを作成する手法が提案されている（例えば非特許文献２参照）。
何らかの意味的な対応関係を有するテキストの組として、例えば質問が書かれたテキスト（質問テキスト）ＡQ，ＢQとそれらの質問の回答が書かれたテキスト（回答テキスト）ＡA，ＢAとがあるとする。そのような場合、回答テキストＡA及びＢA間の類似度を計算し、それらの類似度が一定の閾値より上であるならば、質問テキストＡQ及びＢQも類似しているとみなすというものである。
一度類似するテキストを集めることができれば、それらを用いて翻訳モデルを作成することができ、当該作成した翻訳モデルを用いて、意味的に対応するテキストが存在しないテキストの集合でも精度良くクラスタリングすることが可能になる。
Adam Berger et al., "Information Retrieval as Statistical Translation", In Proceedings of the 22nd annual international ACM SIGIR conference on Research and development in information retrieval, pp.222-229, 1999. Jiwoon Jeon et al., "Finding Similar Questions in Large Question and Answer Archives", In Proceedings of the ACM 14th Conference for Information and Knowledge Management (CIKM), pp.84-90, 2005. Peter F. Brown et al., "The Mathematics of Statistical Machine Translation: Parameter Estimation", Computational Linguistics, Vol.19, No.2, pp.263-311, 1993. Anil K. Jain et al., "Data Clustering: A Review", ACM Computing Surveys, Vol.31, No.3, pp.264-323, 1999.
しかしながら、前述の手法では、例えば類似する質問テキストを集める場合、対応する回答テキスト同士が十分に類似していなければ類似する質問テキストを集めることができないという問題が存在する。前述の例では、質問テキストＡQ及びＢQが類似していても、回答テキストＡA及びＢAが類似していない場合には、質問テキストＡQ及びＢQが類似していることを特定できない。
そのため、前述の手法では、類似する質問テキストとして、回答テキストが類似している質問テキストしか集めることができず、翻訳確率を計算する際に少量のテキストしか利用できなかった。少量のテキストによる翻訳モデルは、含まれる語彙が少なく、翻訳確率の値も不正確なものになり易い。そのような翻訳モデルはクラスタリングの精度に対して悪影響を与える。
そこで、本発明の目的は、何らかの意味的な対応関係を有するテキストの組が与えられた際の、翻訳モデルの作成を工夫することで、より良いクラスタリングを可能とすることにある。
具体的には、非特許文献２のように、意味的に対応するテキスト単位（前述の例では回答テキスト）で質問テキスト間の類似を特定して翻訳確率を計算するのではなく、回答テキストのより細かい単位、例えば単語、句、文節などを介して翻訳確率を計算する。
図２に翻訳確率の計算における工夫の一例を示す。図２に示す質問テキストＡQ，ＢQは、それぞれの回答テキストＡA，ＢAが類似していないため、非特許文献２の手法では対応づけることはできない。しかし、回答テキストＡA，ＢAは少なくとも「庭」という単語を共有している。この点に関して質問テキストＡQ，ＢQは類似しているとみなせば、翻訳確率を計算できる。
より厳密には、質問テキストＡQの「旅館」は、回答テキストＡA，ＢAに現れる「庭」を介して質問テキストＢQの「ホテル」に翻訳されるとみなす。そのため、本発明では、まず質問テキストＡQの「旅館」から回答テキストＡAの「庭」への翻訳確率を計算し、その後、回答テキストＢAの「庭」から質問テキストＢQの「ホテル」への翻訳確率を計算し、この２つの翻訳確率の積を「旅館」から「ホテル」への翻訳確率とみなす。
この工夫により、翻訳確率を計算する際には意味的に対応するテキスト全てを利用することができるため、より多くの語彙を含み、より正確な翻訳確率を保持した翻訳モデルを得ることができる。より正確な翻訳確率を保持した翻訳モデルを得ることができれば、より良いクラスタリングを行うことが可能となる。
前記目的を達成するため、本発明では、入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング装置であって、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部と、入力された形態素解析済みのテキストの集合を受け付けるテキスト群入力部と、前記入力されたテキスト毎に言語モデルを作成する言語モデル計算部と、前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成する言語モデル・翻訳モデル統合部と、前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算する類似度計算部と、前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするクラスタリング部とを備えたことを特徴とする。
本発明によれば、翻訳確率を求める際に、意味的に対応するテキスト間の類似度に基づいて、類似度が高いもののみを翻訳確率を求めるためのテキストとして扱うのではなく、全てのテキストにおいて部分的にでも意味的に対応するテキストを利用し、意味的な対応を入れ替えて２つの翻訳モデルを作成した後にそれを合成し、翻訳モデルを作成する。そのため、より多くテキストを用いて翻訳確率の計算を行うことができ、より多くの語彙を含み、より精度の高い翻訳確率を含んだ翻訳モデルを作成する効果を有する。
特に図２の質問テキストＡQ，ＢQに示すような、意味的に対応するテキスト同士（この場合はそれらの回答テキストＡA，ＢA）が類似しておらず、結果として翻訳確率の計算に使うテキストが十分に集められない場合でも、十分な翻訳モデルを作成することが可能である。さらに、質問や回答といった意味的な対応に限らず、意味的な対応を有する日本語と英語のテキスト（対訳コーパス）、要約されたテキストとその原典といったテキストの組からも翻訳モデルの作成が可能である。
クラスタリング対象テキストの一例を示す説明図 翻訳確率の計算における工夫の一例を示す説明図 本発明のテキストクラスタリング装置の実施の形態の一例を示す構成図 意味対応テキスト組の一例を示す説明図 翻訳確率の計算処理の一例を示す流れ図 翻訳確率計算のようすの一例を示す説明図 翻訳確率計算のようすの他の例を示す説明図 対応非入替翻訳モデルの一例を示す説明図 対応入替翻訳モデルの一例を示す説明図 対応非入替翻訳モデル及び対応入替翻訳モデルの合成のようすの一例を示す説明図 合成翻訳モデルの一例を示す説明図 クラスタリング対象テキストの一例を示す説明図 クラスタリング対象テキストの言語モデルの一例を示す説明図 翻訳モデル統合言語モデルの一例を示す説明図 類似度行列の一例を示す説明図 クラスタリングの結果の一例を示す説明図 本発明のテキストクラスタリング装置における処理を示す流れ図
次に、本発明の実施の形態について図面を参照して説明する。
図３は本発明のテキストクラスタリング装置の実施の形態の一例を示すもので、本実施の形態のテキストクラスタリング装置は、意味対応テキスト組セット（記憶部）１と、意味対応入替部２と、翻訳確率計算部３と、対応非入替翻訳モデル（記憶部）４と、対応入替翻訳モデル（記憶部）５と、翻訳確率合成部６と、合成翻訳モデル（記憶部）７と、テキスト群入力部８と、言語モデル計算部９と、言語モデル（記憶部）１０と、言語モデル・翻訳モデル統合部１１と、翻訳モデル統合言語モデル（記憶部）１２と、類似度計算部１３と、類似度行列（記憶部）１４と、クラスタリング部１５と、テキスト群出力部１６とからなる。
また、これらのうち、意味対応テキスト組セット１、意味対応入替部２、翻訳確率計算部３、対応非入替翻訳モデル４、対応入替翻訳モデル５及び翻訳確率合成部６により合成翻訳モデル作成装置が構成される。
意味対応テキスト組セット（記憶部）１には、質問が書かれたテキスト及びその質問に対する回答が書かれたテキスト、日本語が書かれたテキスト及びその訳が書かれた英語のテキスト、要約が書かれたテキスト及びその原典テキストなど、何らかの意味的な対応関係を有する２種類のテキスト（翻訳元テキスト及び翻訳先テキスト）の組（意味対応テキスト組）が１組以上形態素解析されて格納されている。これらのテキストの対応関係は逆でも良く、例えば日本語が書かれたテキスト及びその訳が書かれた英語のテキストの逆として、英語が書かれたテキスト及びその訳が書かれた日本語のテキストでも良い。
図４は意味対応テキスト組の一例、ここでは質問が書かれたテキスト（質問テキスト）及びその質問に対する回答が書かれたテキスト（回答テキスト）の組からなる例を示すもので、左側の２列は質問テキストを形態素解析処理後の表記及び品詞で表し、また、右側の２列はその質問テキストに対する回答テキストを形態素解析処理後の表記及び品詞で表している。なお、テキストは予め特定の文法カテゴリに属する単語が除去された形でも良い。例えば、予め機能語が除去され、内容語のみになった形式や、名詞のみになった形式でも良い。
意味対応入替部２は、意味対応テキスト組セット１を入力として、これをコピーし、それぞれの組の意味的な対応関係を入れ替えた（逆にした）意味対応入替テキスト組セット１’を作成する処理を行う。具体的には、翻訳元テキストが質問テキストであり、翻訳先テキストが回答テキストである意味対応テキスト組セット１の場合は、翻訳元テキストが前記と同一の回答テキストであり、翻訳先テキストが前記と同一の質問テキストである意味対応入替テキスト組セット１’を作成する。
翻訳確率計算部３は、意味対応テキスト組セット１及び意味対応入替部２で作成された意味対応入替テキスト組セット１’を入力として、それら２つのセットに対し、それぞれ翻訳元テキストに含まれる単語毎に翻訳先テキストに含まれる各単語への翻訳確率を計算し、それぞれの翻訳モデル、即ち対応非入替翻訳モデル及び対応入替翻訳モデルを作成して、対応非入替翻訳モデル（記憶部）４及び対応入替翻訳モデル（記憶部）５に格納する。つまり、意味対応テキスト組セット１が質問テキスト及びその回答テキストの組のセットからなる場合であれば、当該意味対応テキスト組セット１と、同一の回答テキスト及び同一のその質問テキストの組のセットからなる意味対応入替テキスト組セット１’とを入力として、それら２つのセットに対し、それぞれ翻訳元テキストに含まれる単語毎に翻訳先テキストに含まれる各単語への翻訳確率を計算し、意味対応テキスト組セット１に対する対応非入替翻訳モデル４と、意味対応入替テキスト組セット１’に対する対応入替翻訳モデル５との２つの翻訳モデルを出力する。
翻訳確率の計算は、対応づけられた単語列間から翻訳確率を推定する公知の技術、例えば非特許文献３に記載の技術を用いることができる。また、翻訳確率を求める単位として単語以外、例えば文節などの単位を用いることもできる。
一例として、非特許文献３に記載のＭｏｄｅｌ１による翻訳確率の計算の流れを図５に示す。
まず、対応する２つの単語列、即ち意味対応テキスト組セット中の対応する翻訳元テキスト及び翻訳先テキストの各単語列が入力される（ｓ１）。意味対応テキスト組が質問テキスト及びその回答テキストである場合は、図４に示されたような質問テキスト及びその回答テキストの表記の列がそれぞれ単語列として入力される。
単語列が入力された後、翻訳先テキストの単語列の異なり語の数、この場合は回答テキストとして入力された全ての単語列が含む異なり語の数に基づいて翻訳確率が初期化される（ｓ２）。翻訳確率が初期化された後、入力された質問テキスト及び回答テキストの対応する単語列の単語同士をそれぞれ結ぶエッジの重みが０に初期化される（ｓ３）。その後、翻訳確率に基づいてエッジの重みが更新される（ｓ４）。
単語間のエッジの重みとは、翻訳元テキストに含まれる単語が当該翻訳元テキストに対応する翻訳先テキストに含まれるいずれかの単語に翻訳される確率の和で、エッジによって対応する翻訳先テキストの単語に翻訳される確率を割ったものである。つまり、翻訳確率が高い単語間のエッジの重みは大きくなる。
エッジの重みを更新した後、更新されたエッジの重みに基づいて翻訳確率を推定する（ｓ５）。単語間の翻訳確率は、意味対応テキスト組の中で、翻訳元の単語が有する全てのエッジの重みの和で、翻訳先のある単語に対応するエッジの重みの和を割ったものである。
翻訳確率に基づいたエッジの重みの更新及び更新後のエッジの重みに基づく翻訳確率の推定は、翻訳確率が収束する（更新前のエッジの重みと更新後のエッジに重みとの差が、予め設定した誤差以下になる）か、あるいはエッジの重みの更新回数が予め規定された数に達するまで繰り返され（ｓ６）、推定された翻訳確率が翻訳モデルとして出力される（ｓ７）。このプロセスによって翻訳確率は一意に収束することが知られている。
図６に翻訳確率計算のようすの一例、ここでは意味対応テキスト組が単語「旅館」を含む質問テキスト及びそれに対応する回答テキストの組からなる場合の例について示す。質問テキスト（翻訳元テキスト）に含まれる単語が当該質問テキストに対応する回答テキスト（翻訳先テキスト）に含まれる単語に翻訳される確率が計算される、ここでは質問テキストに含まれる単語「旅館」が、回答テキストに含まれる単語「庭」、「奇麗」、「トラベル」などに翻訳される確率が計算される。
図７に翻訳確率計算のようすの他の例、ここでは意味対応テキスト組が単語「ホテル」を含む質問テキスト及びそれに対応する回答テキストの組の意味的な対応関係を入れ替えた組からなる場合の例について示す。回答テキスト（翻訳元テキスト）に含まれる単語が当該回答テキストに対応する質問テキスト（翻訳先テキスト）に含まれる単語に翻訳される確率が計算される、ここでは回答テキストに含まれる単語「庭」、「トラベル」、「料理」などが、質問テキストに含まれる「ホテル」に翻訳される確率が計算される。
図６、図７では説明のため自然言語のままのテキストを示しているが、実際の翻訳確率の計算には図４に示したような形態素解析済みのテキストが用いられる。
翻訳確率計算部３から出力された２つの翻訳モデルの一例、即ち意味対応テキスト組セット１に対する翻訳確率が計算された対応非入替翻訳モデル４と、意味対応テキスト組セット１の意味的な対応関係を入れ替えた意味対応入替テキスト組セット１’に対する翻訳確率が計算された対応入替翻訳モデル５とを、それぞれ図８、図９に示す。
図８の対応非入替翻訳モデル４は、図６に示した翻訳確率計算によって得られた翻訳モデルを示すもので、翻訳元である質問テキスト中に現れる単語が、翻訳先である回答テキストにどのような単語として現れ易いかを翻訳確率と共に示している。この例では、質問テキストに単語「旅館」が現れた場合、回答テキストには「おすすめ」、「トラベル」、「メジャー」、「温泉」、「奇麗」、「滝」、「庭」、「料理」などといった単語が現れ易いことを示している。これは、質問テキストの書き手（即ち質問者）が「旅館」という単語を書いた際、つまり旅館に関係する質問を行った際、その回答には「トラベル」、「奇麗」といった単語が現れ易いことを示している。
図９の対応入替翻訳モデル５は、図７に示した翻訳確率計算によって得られた翻訳モデルを示すもので、図８とは逆に、翻訳元である回答テキスト中に現れる単語が、翻訳先である質問テキストにどのような単語として現れ易いかを翻訳確率と共に示している。この例では、質問テキストに現れる単語「ホテル」に翻訳される回答テキスト中の単語を示している。
翻訳確率合成部６は、対応非入替翻訳モデル４及び対応入替翻訳モデル５の２つの翻訳モデルを入力として、これらを組合わせることにより１つの新しい翻訳モデル、即ち合成翻訳モデルを作成して合成翻訳モデル（記憶部）７に格納する。詳細には、意味対応テキスト組セット１中の翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット１中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデル４における単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデル５における前記翻訳先テキストの単語と同一の単語から翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット１中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする。
例えば、対応非入替翻訳モデル４が質問テキストから回答テキストへの翻訳確率を含むモデルであり、対応入替翻訳モデル５が回答テキストから質問テキストへの翻訳確率を含むモデルである場合を考える。その場合、対応非入替翻訳モデル４の翻訳先であり、対応入替翻訳モデル５の翻訳元である回答テキストにおいて同一の表記を有する単語の翻訳確率を掛け合わせることで、対応非入替翻訳モデル４の翻訳元である質問テキストから対応入替翻訳モデル５の翻訳先である質問テキストへの翻訳確率できる。このことは下記式（１）で示すことができる。
Figure 2010267200
右辺のＴｒ1(ｗa|ｗq)は対応非入替翻訳モデル４を示している。質問テキストに含まれる単語ｗqは回答テキストに含まれるｗaに翻訳確率Ｔｒ1(ｗa|ｗq)で変化することを示している。Ｔｒ2(ｗq'|ｗa)は対応入替翻訳モデル５を示し、回答テキストに含まれる単語ｗaが質問テキストに含まれる単語ｗq'に翻訳確率Ｔｒ2(ｗq'|ｗa)で変化することを示している。
もし、対応非入替翻訳モデル４の翻訳先の単語に単語ｗaが含まれ、対応入替翻訳モデル５の翻訳元の単語に単語ｗaが含まれていた場合、単語ｗaを介して質問テキストに現れる単語ｗqと単語ｗq'との間の翻訳確率を計算することができる。つまり、単語ｗqが単語ｗq'に変化する確率Ｔｒ(ｗq'|ｗq)を求めることができる。また、表記と品詞の結びついた単位を式（１）の単語とみなして、同一の表記でかつ同一の品詞を有する単語の翻訳確率を掛け合わせて計算を行っても良い。
対応非入替翻訳モデル及び対応入替翻訳モデルの合成のようすの一例を図１０に示す。対応非入替翻訳モデル４に示した質問テキストに含まれる単語、ここでは「旅館」が回答テキストに含まれる何らかの単語に翻訳され、それらの単語が更に質問テキストに含まれる何らかの単語、ここでは「ホテル」に翻訳される例を示している。結果として、質問テキストに現れるある単語が別の単語として現れる場合の当該別の単語とその現れ易さを得ることができる。
図１１は合成翻訳モデル７の一例、ここでは質問テキストに含まれる単語「旅館」が他にどのような単語として出現するかを翻訳確率と共に示したものである。この例では、質問テキストに現れる単語「旅館」が、他に「どこ」、「ホテル」、「所」などといった単語として質問テキストに現れ易いことが分かる。これは単語「旅館」が回答テキストに翻訳された際の単語が、再度質問テキストに翻訳される際に「どこ」、「ホテル」、「所」などに翻訳され易いことを示している。図１１の例では、前述の翻訳確率Ｔｒ(ホテル|旅館)は0.017839である。また、図１１の例では、単語「旅館」は他の名詞に翻訳されているが、翻訳は同一の品詞間に限らない。例えば、名詞が動詞や形容詞などの品詞に翻訳されることも、その逆もあり得る。
テキスト群入力部８は、図示しないキーボード等から直接入力され又は記憶媒体から読み出されて入力され又は通信媒体を介して他の装置等から入力された、クラスタリングの対象とするテキスト群、ここでは形態素解析済みのテキスト群（テキストの集合）を受け付ける。入力された形態素解析済みのテキストの一例を図１２に示す。
言語モデル計算部９は、テキスト群入力部８で受け付けた形態素解析済みのテキストの集合を入力として、テキスト毎に、当該テキスト中の単語とその生起確率とのセットである言語モデルを作成して言語モデル（記憶部）１０に格納する。言語モデルの作成には公知の技術を用いることができる。一例として、単語ｗをテキストｄの言語モデルＭdが生成する確率（単語ｗの言語モデルＭdからの出現確率）は、下記式（２）で示すことができる。
Figure 2010267200
ここで、ｔｆw,dとはテキストｄ中における単語ｗの出現頻度であり、Ｌdとはテキストｄのテキスト長、即ちテキストｄに含まれる単語の総数である。ここで示した例はユニグラムの言語モデルであるが、他にもバイグラムのモデルや統語的構造を仮定したモデルなど、他の言語モデルを用いることもできる。また、テキスト中に含まれない単語は出現確率が０になってしまうゼロ頻度問題への対処のため、公知の技術を用いて補間などを行うこともできる。
クラスタリング対象テキストの言語モデル１０の一例を図１３に示す。この言語モデルにおいては、例えば単語「旅館」は確率0.04で出現し得ることになる。
言語モデル・翻訳モデル統合部１１は、テキスト毎の言語モデル１０と合成翻訳モデル７とを統合することにより、テキスト毎の翻訳モデル統合言語モデルを作成して翻訳モデル統合言語モデル（記憶部）１２に格納する。詳細には、前記言語モデル計算部９で計算された言語モデルが単語ｗを生起する確率と、前記翻訳確率合成部６で計算された合成翻訳モデルにおける前記単語ｗから別の単語ｗ’への翻訳確率とを足し合わせた値を、翻訳モデル統合言語モデル１２が前記単語ｗを生成する確率とする。
翻訳モデル統合言語モデルＭdtから単語ｗが生成される確率Ｐ(ｗ|Ｍdt)は、一例として下記式（３）のようにできる。
Figure 2010267200
ここで、ｔとは言語モデルＭdが生成し得るｗとは別の単語であり、αは言語モデルと翻訳モデルの重みパラメータであり、０以上１以下の任意の実数である。αによって翻訳モデルが統合されたモデルに与える影響が制御される。αが１の時には翻訳モデルは統合されたモデルに何ら影響を与えないが、αが０に近づくにつれて翻訳モデルが統合されたモデルに与える影響が大きくなる。ここでは、式（３）で示されるような言語モデルと翻訳モデルを線形に統合する方法以外の、何らかの二つの確率分布を、各々の確率分布の値が大きいほど結合した値が大きくなるように、二つの確率分布を結合する異なる方法を用いることもできる。
例として、テキストｄは、単語「旅館」は含むが、単語「ホテル」を含まないとする。そのような場合、テキストｄから作成された言語モデルＭdは単語「ホテル」を生成する確率を持たない。即ち、テキストｄが単語「ホテル」を生成する確率は０である。しかし、統合された翻訳モデルが単語「旅館」が単語「ホテル」に変化する確率Ｔｒ(ホテル|旅館)を含むならば、翻訳モデルを統合した言語モデルは単語「ホテル」の生成する確率として０以上の値を有することになる。
翻訳モデル統合言語モデル１２は、一例として式（３）で示すような方法によって翻訳モデルと統合された言語モデルである。翻訳モデル統合言語モデルの一例を図１４に示す。
翻訳モデルを言語モデルに統合することによって、統合前の言語モデルには含まれていないが、類似する質問テキストには含まれる単語の出現確率を与えることができる。例えば、図１３の統合前の言語モデルには含まれていなかった単語「ホテル」や「オススメ」、「観光」（図１４に太字で示したもの）が翻訳モデルの統合によって出現確率を与えられたことがわかる。
類似度計算部１３は、テキスト毎の翻訳モデル統合言語モデル１２を入力とし、これら全ての翻訳モデル統合言語モデル１２間の類似度を計算することによって、入力されたテキスト間の類似度を計算して類似度行列を出力し、類似度行列（記憶部）１４に格納する。２つのモデルＭdt1とＭdt2の間の類似度Ｓｉｍ(Ｍdt1，Ｍdt2)の計算方法として、公知の技術を使うことができる。２つのモデルは確率分布であるので、一例として、下記式（４）で示す負のJensen-Shannon Divergenceを用いることができる。
Figure 2010267200
Figure 2010267200
Figure 2010267200
式（５）はJensen-Shannon divergence、式（６）はKullback-Leibler divergenceである。Jensen-Shannon divergenceは確率分布間の距離を求めるものであるため、求められた値が高いほど類似度は低いものとなる。そのため、式（４）では負にしており、導かれる類似度は全て負の値になり、０に近いほどテキスト同士が類似していることを示す。
もちろん、これ以外にも、確率分布間の類似度を計算する任意の方法を用いることができる。
類似度行列１４の一例を図１５に示す。上段の表は翻訳モデル統合前の言語モデルによる類似度行列であり、下段の表は翻訳モデル統合後の言語モデルによる類似度行列である。それぞれの表の中で、太線で囲った数値が類似度行列中で最大の値である。翻訳モデルの統合によって、類似度行列が含む類似度の値が変化したことがわかる。
図１５の上段の表によれば、テキスト１及び２間の類似度は−0.976であり、テキスト１及び３間の類似度は−0.342である。このことは、翻訳モデル統合前の言語モデルによって類似度を計算したときには、テキスト１はテキスト３により類似していることを示している。
一方、図１５の下段の表によれば、テキスト１及び２間の類似度は−0.497であり、テキスト１及び３間の類似度は−0.566である。このことは、翻訳モデル統合後の言語モデルによって類似度を計算したときには、テキスト１はテキスト２により類似していることを示している。
クラスタリング部１５は、類似度計算部１３で計算された、入力されたテキスト間の類似度である類似度行列１４を入力として、入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングする。このクラスタリング部１５では、公知の手法を用いることができる（非特許文献４参照）。
クラスタリングの結果の一例を図１６に示す。図１５では、翻訳モデルの統合によって類似度行列中の最大の値が変化したことを示した。ここで例として用いたクラスタリング手法は、類似度行列中で最大の類似度を有するテキストの組を同一のクラスタとして扱うものである。そのため、翻訳モデル統合前の言語モデルによる類似度行列を用いたクラスタリングではテキスト１及びテキスト３が同一のクラスタとみなされる。それに対し、翻訳モデル統合後の言語モデルによる類似度行列を用いたクラスタリングでは、テキスト１及びテキスト２が同一のクラスタとみなされる。これは、翻訳モデルを言語モデルに統合したため、テキスト１及びテキスト２の語彙的な重なりの少なさが解消されたためである。結果として、より意味的に適切なクラスタリングが行えたことがわかる。
テキスト群出力部１６は、クラスタリング部１５のクラスタリングの結果を受け付け、クラスタリングの過程と、テキスト群入力部８で入力された各テキストが属するクラスタを出力する。具体的には、クラスタのＩＤと当該クラスタに属するテキストの部分集合のＩＤ集合との対を出力するか、あるいはテキストの部分集合と当該テキストの部分集合が属するクラスタのＩＤを出力するものでも良い。
図１７に前述した本発明のテキストクラスタリング装置における処理の流れを示す。
意味対応入替部２は、意味的に対応したテキストの組のセット１をコピーし（ｓ８）、意味的な対応を入れ替える（ｓ９）。翻訳確率計算部３は、まず、対応を入れ替えていないセット（意味対応テキスト組セット）１の翻訳確率を計算し（ｓ１０）、当該セット１の翻訳確率を対応非入替翻訳モデル４として記憶する（ｓ１１）。次に、翻訳確率計算部３は、対応を入れ替えたテキスト組セット（意味対応入替テキスト組セット）１’の翻訳確率を計算し（ｓ１２）、当該セット１’の翻訳確率を対応入替翻訳モデル５として記憶する（ｓ１３）。翻訳確率合成部６は、前記対応非入替翻訳モデル４及び対応入替翻訳モデル５を受け付けて翻訳確率を合成し（ｓ１４）、合成された翻訳モデルを合成翻訳モデル７として記憶する（ｓ１５）。
テキスト群入力部８は、クラスタリングの対象とする形態素解析済みのテキスト群を受け付け（ｓ１６）、言語モデル計算部９はテキスト群入力部８に入力されたテキスト毎に言語モデルを計算し（ｓ１７）、それぞれの言語モデル１０を記憶する（ｓ１８）。言語モデル・翻訳モデル統合部１１は、記憶されたテキスト毎の言語モデル１０と合成翻訳モデル７とを統合し（ｓ１９）、統合されたテキスト毎の翻訳モデル統合言語モデル１２を記憶する（ｓ２０）。
類似度計算部１３は、テキスト毎の翻訳モデル統合言語モデル１２を受け付け、全てのテキスト間の類似度を計算し（ｓ２１）、計算したテキスト間の類似度を類似度行列１４として記憶する（ｓ２２）。
クラスタリング部１５は、類似度行列１４を受け付け、クラスタリングを行う。
クラスタリング部１５は、まず全てのテキストにそれぞれ１つのクラスタをランダムに割り当て（ｓ２３）、受け付けたテキスト間の類似度行列１４に基づいてクラスタ間の類似度を計算し（ｓ２４）、類似度が最大のクラスタ同士を統合（マージ）し（ｓ２５）、さらにクラスタリングの終了条件を満たしているか判定を行う（ｓ２６）。
クラスタリングの終了条件は、一例としては所定のクラスタ数に処理の対象となるクラスタが到達することが考えられるが、他に例えば、予め指定した閾値を超える類似度を有するクラスタの対がなくなるといったものでも良い。クラスタリングの終了条件を満たしていない場合は再度、クラスタ間の類似度の計算を行い（ｓ２４）、類似度が最大のクラスタ同士をマージする（ｓ２５）。クラスタリングの終了条件を満たした場合はクラスタリングの過程と各テキストが属するクラスタを出力し（ｓ２７）、処理を終了する。
このように、意味的な対応関係を入れ替えて作成した２つの翻訳モデルを合成することで、より高精度なクラスタリングを行うことができる。
なお、本発明は、周知のコンピュータに媒体もしくは通信回線を介して、図３の構成図に示された機能を実現するプログラムあるいは図１７のフローチャートに示された手順を備えるプログラムをインストールすることによっても実現可能である。
１：意味対応テキスト組セット（記憶部）
２：意味対応入替部
３：翻訳確率計算部
４：対応非入替翻訳モデル（記憶部）
５：対応入替翻訳モデル（記憶部）
６：翻訳確率合成部
７：合成翻訳モデル（記憶部）
８：テキスト群入力部
９：言語モデル計算部
１０：言語モデル（記憶部）
１１：言語モデル・翻訳モデル統合部
１２：翻訳モデル統合言語モデル（記憶部）
１３：類似度計算部
１４：類似度行列（記憶部）
１５：クラスタリング部
１６：テキスト群出力部

Claims (12)

  1. 学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、
    前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、
    前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部とを備えた
    ことを特徴とする合成翻訳モデル作成装置。
  2. 前記翻訳確率合成部は、
    前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
    ことを特徴とする請求項１に記載の合成翻訳モデル作成装置。
  3. 入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング装置であって、
    学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成する意味対応入替部と、
    前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成する翻訳確率計算部と、
    前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成する翻訳確率合成部と、
    入力された形態素解析済みのテキストの集合を受け付けるテキスト群入力部と、
    前記入力されたテキスト毎に言語モデルを作成する言語モデル計算部と、
    前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成する言語モデル・翻訳モデル統合部と、
    前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算する類似度計算部と、
    前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするクラスタリング部とを備えた
    ことを特徴とするテキストクラスタリング装置。
  4. 前記翻訳確率合成部は、
    前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
    ことを特徴とする請求項３に記載のテキストクラスタリング装置。
  5. 前記言語モデル・翻訳モデル統合部は、
    前記言語モデル計算部で計算された言語モデルが単語を生起する確率と、前記翻訳確率合成部で計算された合成翻訳モデルにおける前記単語から別の単語への翻訳確率とを足し合わせた値を、前記翻訳モデル統合言語モデルが前記単語を生成する確率とする
    ことを特徴とする請求項３または４に記載のテキストクラスタリング装置。
  6. 意味対応入替部が、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成するステップと、
    翻訳確率計算部が、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成するステップと、
    翻訳確率合成部が、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成するステップとを含む
    ことを特徴とする合成翻訳モデル作成方法。
  7. 前記翻訳確率合成ステップは、
    前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
    ことを特徴とする請求項６に記載の合成翻訳モデル作成方法。
  8. 入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするテキストクラスタリング方法であって、
    意味対応入替部が、学習用に予め与えられた、意味的な対応関係を有するテキストの組を少なくとも１組含む意味対応テキスト組セットをコピーし、それぞれの組の意味的な対応関係を入れ替えた意味対応入替テキスト組セットを作成するステップと、
    翻訳確率計算部が、前記意味対応テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応非入替翻訳モデルを作成するとともに、前記意味対応入替テキスト組セット中の翻訳元テキストに含まれる単語毎に前記意味対応入替テキスト組セット中の翻訳先テキストに含まれる各単語への翻訳確率を計算して対応入替翻訳モデルを作成するステップと、
    翻訳確率合成部が、前記対応非入替翻訳モデル及び前記対応入替翻訳モデルを組合わせることにより、前記意味対応テキスト組セット中の翻訳元テキストに含まれる各単語が別の単語に翻訳される翻訳確率を計算して合成翻訳モデルを作成するステップと、
    テキスト群入力部が、入力された形態素解析済みのテキストの集合を受け付けるステップと、
    言語モデル計算部が、前記入力されたテキスト毎に言語モデルを作成するステップと、
    言語モデル・翻訳モデル統合部が、前記テキスト毎の言語モデルと前記合成翻訳モデルとを統合することにより、前記テキスト毎に翻訳モデル統合言語モデルを作成するステップと、
    類似度計算部が、前記テキスト毎の前記翻訳モデル統合言語モデル間の類似度を計算することにより、前記入力されたテキスト間の類似度を計算するステップと、
    クラスタリング部が、前記テキスト間の類似度に基づいて前記入力されたテキストの集合を、類似する内容を含むテキストの部分集合にクラスタリングするステップとを含む
    ことを特徴とするテキストクラスタリング方法。
  9. 前記翻訳確率合成ステップは、
    前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語について、前記意味対応テキスト組セット中の前記翻訳先テキストの単語毎に、前記対応非入替翻訳モデルにおける単語から前記翻訳先テキストの単語への翻訳確率と前記対応入替翻訳モデルにおける前記翻訳先テキストの単語と同一の単語から前記意味対応テキスト組セット中の翻訳元テキストの単語への翻訳確率とを掛け合わせた値の総和を求め、これを前記意味対応テキスト組セット中の前記翻訳元テキストに含まれる各単語が別の単語へ翻訳される翻訳確率とする
    ことを特徴とする請求項８に記載のテキストクラスタリング方法。
  10. 前記言語モデル・翻訳モデル統合ステップは、
    前記言語モデル計算部で計算された言語モデルが単語を生起する確率と、前記翻訳確率合成部で計算された合成翻訳モデルにおける前記単語から別の単語への翻訳確率とを足し合わせた値を、前記翻訳モデル統合言語モデルが前記単語を生成する確率とする
    ことを特徴とする請求項８または９に記載のテキストクラスタリング方法。
  11. コンピュータを、請求項１または２に記載の合成翻訳モデル作成装置の各手段として機能させるためのプログラム。
  12. コンピュータを、請求項３乃至５のいずれかに記載のテキストクラスタリング装置の各手段として機能させるためのプログラム。
JP2009119886A 2009-05-18 2009-05-18 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム Pending JP2010267200A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009119886A JP2010267200A (ja) 2009-05-18 2009-05-18 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009119886A JP2010267200A (ja) 2009-05-18 2009-05-18 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2010267200A true JP2010267200A (ja) 2010-11-25

Family

ID=43364095

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009119886A Pending JP2010267200A (ja) 2009-05-18 2009-05-18 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム

Country Status (1)

Country Link
JP (1) JP2010267200A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135457A (ja) * 2019-02-20 2020-08-31 日本電信電話株式会社 生成装置、学習装置、生成方法及びプログラム
CN113032559A (zh) * 2021-03-15 2021-06-25 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135457A (ja) * 2019-02-20 2020-08-31 日本電信電話株式会社 生成装置、学習装置、生成方法及びプログラム
JP7103264B2 (ja) 2019-02-20 2022-07-20 日本電信電話株式会社 生成装置、学習装置、生成方法及びプログラム
CN113032559A (zh) * 2021-03-15 2021-06-25 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法
CN113032559B (zh) * 2021-03-15 2023-04-28 新疆大学 一种用于低资源黏着性语言文本分类的语言模型微调方法

Similar Documents

Publication Publication Date Title
Cer et al. Parsing to Stanford Dependencies: Trade-offs between Speed and Accuracy.
Zeroual et al. A new Quranic Corpus rich in morphosyntactical information
Schwartz et al. Neural polysynthetic language modelling
Kouremenos et al. A novel rule based machine translation scheme from Greek to Greek Sign Language: Production of different types of large corpora and Language Models evaluation
Yuan Grammatical error correction in non-native English
García-Martínez et al. Neural machine translation by generating multiple linguistic factors
CN113515638B (zh) 面向学者聚类的研究兴趣挖掘方法、装置和存储介质
Bella et al. A database and visualization of the similarity of contemporary lexicons
Şenel et al. Measuring cross-lingual semantic similarity across European languages
Liu et al. Paraphrastic language models
Jamro Sindhi language processing: A survey
Stahlberg et al. Word segmentation and pronunciation extraction from phoneme sequences through cross-lingual word-to-phoneme alignment
JP2010267200A (ja) 合成翻訳モデル作成装置、テキストクラスタリング装置、それらの方法およびプログラム
Arora et al. Jambu: A historical linguistic database for South Asian languages
Janfada et al. A review of the most important studies on automated text simplification evaluation metrics
Kirsch et al. Noise reduction in distant supervision for relation extraction using probabilistic soft logic
Neubarth et al. A hybrid approach to statistical machine translation between standard and dialectal varieties
Mahlaza Foundations for reusable and maintainable surface realisers for isiXhosa and isiZulu
JP5302784B2 (ja) 機械翻訳方法、及びシステム
Tarish et al. Text correction algorithms for correct grammar and lex-ical errors in the English language
Gibbon et al. Spoken Language Characterization
Babhulgaonkar et al. Experimenting with factored language model and generalized back-off for Hindi
JP2005025555A (ja) シソーラス構築システム、シソーラス構築方法、この方法を実行するプログラム、およびこのプログラムを記憶した記憶媒体
Baumann et al. Correlates in the evolution of phonotactic diversity in English: Linguistic structure, demographics, and network characteristics
Boito Models and resources for attention-based unsupervised word segmentation: an application to computational language documentation

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20101215

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20110613

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110614

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110615

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110616