JP2017167378A - 単語スコア計算装置、単語スコア計算方法及びプログラム - Google Patents

Abstract

【課題】新語を含む単語列の単語スコアを計算する。【解決手段】実施形態の単語スコア計算装置は、入力部と計算部とを備える。入力部は、既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付ける。計算部は、入力層に単語の語彙素性を入力する１以上の第１のユニット群を有するニューラルネットワークに対して、単語列に含まれる単語の語彙素性を入力することにより、単語列に含まれるターゲット単語の単語スコアを計算する。【選択図】図１

Description

本発明の実施形態は単語スコア計算装置、単語スコア計算方法及びプログラムに関する。

単語列が与えられた際に、その単語列中の特定の位置の単語の単語スコアを計算する技術が従来から知られている。近年では、単語スコアの計算をニューラルネットワークによって行う技術が開発されている。

単語スコア計算技術は音声認識等の認識システムに応用されている。例えば音声認識システムでは、ユーザが発話した際に、音声認識結果の単語列として複数の候補が生じうる。音声認識システムは、例えばこの候補単語列それぞれに対して、単語列中の各単語の単語スコアを単語スコア計算技術によって計算し足し合わせることで、その候補単語列の言語スコアを計算することができる。音声認識システムは、例えば候補単語列の言語スコアと、その候補単語列の音響スコアと、から候補単語列間の優劣をつけることにより、音声認識結果を決定することができる。

特許第４２４５５３０号公報 特許第４５４３２９４号公報

"Ｎｅｕｒａｌ ｐｒｏｂａｂｉｌｉｓｔｉｃ ｌａｎｇｕａｇｅ ｍｏｄｅｌｓ" Ｙｏｓｈｕａ Ｂｅｎ−ｇｉｏ， Ｈｏｌｇｅｒ Ｓｃｈｗｅｎｋ， Ｊｅａｎ−Ｓｅｂａｓｔｉｅｎ Ｓｅｎｅｃａｌ， Ｆｒｅｄｅｒｉｃ Ｍｏｒｉｎ， Ｊｅａｎ−Ｌｕｃ Ｇａｕｖａｉｎ "Ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｂａｓｅｄ ｌａｎｇｕａｇｅ ｍｏｄｅｌ" Ｔｏｍａｓ Ｍｉｋｏｌｏｖ， Ｍａｒｔｉｎ Ｋａｒａｆｉａｔ， Ｌｕｋａｓ Ｂｕｒｇｅｔ， Ｊａｎ Ｃｅｒ−ｎｏｃｋｙ， Ｓａｎｊｅｅｖ Ｋｈｕｄａｎｐｕｒ

しかしながら、従来の単語スコア計算装置は語彙と呼ばれる単語のリストを持っており、語彙に含まれない新語を含む単語列が与えられた場合には単語スコアの計算ができなかった。

実施形態の単語スコア計算装置は、入力部と計算部とを備える。入力部は、既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付ける。計算部は、入力層に単語の語彙素性を入力する１以上の第１のユニット群を有するニューラルネットワークに対して、前記単語列に含まれる単語の語彙素性を入力することにより、前記単語列に含まれるターゲット単語の単語スコアを計算する。

第１実施形態の単語スコア計算装置の機能構成の例を示す図。 単語スコアの計算例について説明するための図。 第１実施形態のニューラルネットワークの例を示す図。 第１実施形態の単語スコア計算方法の例を示すフローチャート。 第１実施形態の変形例の新語出現スコアの例を示す図。 第１実施形態の変形例の単語スコア計算方法の例を示すフローチャート。 第２実施形態のニューラルネットワークの例を示す図。 第２実施形態の単語スコア計算方法の例を示すフローチャート。 第３実施形態の第１のニューラルネットワークの例を示す図。 第３実施形態の第２のニューラルネットワークの例を示す図。 第３実施形態の単語スコア計算方法の例を示すフローチャート。 第４実施形態のニューラルネットワークの例を示す図。 第４実施形態の単語スコア計算方法の例を示すフローチャート。 第１〜第４実施形態の単語スコア計算装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、単語スコア計算装置、単語スコア計算方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の単語スコア計算装置の機能構成の例について説明する。

［単語スコア計算装置の機能構成］

図１は第１実施形態の単語スコア計算装置１００の機能構成の例を示す図である。第１実施形態の単語スコア計算装置１００は、記憶部１、入力部２、特定部３、計算部４及び出力部５を備える。

記憶部１は情報を記憶する。記憶部１は、例えば単語リスト、既知語辞書、新語辞書、及び、後述のニューラルネットワーク（図３参照）等を記憶する。

単語リストは、単語のリストである。以下、単語リストを語彙という。また語彙に含まれる単語を既知語という。また語彙に含まれない単語を新語という。

既知語辞書は、既に知られている既知語と、当該既知語の語彙素性と、を関連付けて記憶する。既知語は、例えば国語辞書等に既に登録されている一般的によく知られている単語である。語彙素性は、単語をある基準で幾つかの集合に分類した際の集合の種類である。語彙素性は、例えば単語の品詞である。また例えば語彙素性は、単語の類似度により分類された集合の名称等である。なお単語は、自然言語に限らず、記号等を含む。

新語辞書は、新語と、当該新語の語彙素性とを関連付けて記憶する。単語スコア計算装置１００は、新語辞書により、未知語を新語として扱うことができる。新語辞書には、例えばユーザにより随時、新しい未知語が新語として追加される。

以下、第１実施形態の説明では、単語の語彙素性が品詞である場合を例にして説明する。

入力部２は、既知語と新語とを含む単語列の入力を受け付ける。

特定部３は、単語列に含まれる新語の語彙素性（第１実施形態の説明では品詞）を特定する。具体的には、はじめに特定部３は、単語列を形態素解析することにより、当該単語列を複数の単語に分割する。次に、特定部３は、単語が新語辞書に登録されている場合、当該新語辞書により、当該単語の品詞を特定する。

＜単語スコアの計算処理＞
計算部４は、単語列に含まれるターゲット単語の単語スコアを計算する。ターゲット単語は、単語スコアの計算の対象となる単語である。はじめに、簡単な例により単語スコアの例について説明する。ターゲット単語の単語スコアは、ターゲット単語以外の単語が、単語列中に与えられた条件での条件付き確率により計算される。

図２は単語スコアの計算例について説明するための図である。図２の例では、単語列１０１〜１０３に含まれるターゲット単語ｗ３を計算する場合を示す。単語列１０１のターゲット単語ｗ３は「雨」である。単語列１０２のターゲット単語ｗ３は「カブトムシ」である。単語列１０３のターゲット単語ｗ３は「食べる」である。

ターゲット単語以外の単語は、単語ｗ１「明日」、及び、単語ｗ２「は」である。計算部４は、単語列１０１の単語スコアＰ１、単語列１０２の単語スコアＰ２、及び、単語列１０３の単語スコアＰ３を、下記式（１）〜（３）により計算する。

Ｐ１（ｗ３＝雨｜ｗ１＝明日，ｗ２＝は）＝０．３ ・・・（１）
Ｐ２（ｗ３＝カブトムシ｜ｗ１＝明日，ｗ２＝は）＝０．１ ・・・（２）
Ｐ３（ｗ３＝食べる｜ｗ１＝明日，ｗ２＝は）＝０．２ ・・・（３）

式（１）〜（３）の例では、単語列１０１の単語スコアが最も高い。そのため、例えば音声認識システムの認識結果として、単語列１０１〜１０３が得られた場合には、言語的な観点からは、認識結果は単語列１０１である可能性が最も高いことがわかる。

具体的には、計算部４は、ニューラルネットワーク２００を用いて上述の単語スコアを計算する。そして出力部５は、計算部４により計算された単語スコアを出力する。

図３は第１実施形態のニューラルネットワーク２００の例を示す図である。図３の例は、ターゲット単語の３つ前までの単語に基づいて、当該ターゲット単語の単語スコアを計算するフィードフォワード型ニューラルネットワークの場合を示す。なおターゲット単語の単語スコアの計算に使用される単語の数は任意でよい。例えばターゲット単語の単語スコアは、ターゲット単語の５つ前までの単語に基づいて計算されてもよい。

第１実施形態のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。以下、中間層２０ａ〜２０ｃを区別しない場合、単に中間層２０という。なお図３の例では、ニューラルネットワーク２００は、中間層２０及び中間装置３０の２層構成になっているが、中間層の層数は任意でよい。

入力層１０は、既知語ユニット群１１ａ〜１１ｃ、及び、品詞ユニット群１２ａ〜１２ｃを有する。以下、既知語ユニット群１１ａ〜１１ｃを区別しない場合、単に既知語ユニット群１１という。同様に、品詞ユニット群１２ａ〜１２ｃを区別しない場合、単に品詞ユニット群１２という。既知語ユニット群１１は、１以上の既知語ユニットを含む。同様に、品詞ユニット群１２は、１以上の品詞ユニットを含む。

はじめに、計算部４は、ターゲット単語の３つ前までの単語に基づいて、入力層１０に情報の入力を行う。

具体的には、計算部４は、ターゲット単語の１つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ａに入力する。一方、計算部４は、ターゲット単語の１つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ａに入力する。

また計算部４は、ターゲット単語の２つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ｂに入力する。一方、計算部４は、ターゲット単語の２つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ｂに入力する。

また計算部４は、ターゲット単語の３つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ｃに入力する。一方、計算部４は、ターゲット単語の３つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ｃに入力する。

なお計算部４が、既知語ユニット群１１に既知語を入力する方法は任意でよい。計算部４は、例えば各々の既知語に対して、予め定められた当該既知語を識別するベクトルを既知語ユニット群１１に入力する。既知語を識別するベクトルは、既知語辞書に登録されているそれぞれの既知語に対応する。なお既知語を識別するベクトルは任意に定めてよい。既知語を識別するベクトルは、例えば（０，０，０，・・・，０，１，０，・・・，０，０，０）等の１つの該当成分が１であり、他の成分は全て０であるベクトルである。この場合、ベクトルの各成分が、既知語ユニット群１１に含まれる各ユニットに対応する。１が入力されたユニットは、活性化されたユニットと呼ばれる。

同様に、計算部４が、品詞ユニット群１２に既知語の品詞を入力する方法は任意でよい。計算部４は、例えば各々の品詞に対して、予め定められた当該品詞を識別するベクトルを品詞ユニット群１２に入力する。

以下、入力層１０の既知語ユニット群１１に入力されたベクトルと、品詞ユニット群１２に入力されたベクトルと、を縦に連結することにより得られる列ベクトルを、単語ベクトルｖ^ｋ（ｋ＝１，２，３）という。

次に、計算部４は、入力層１０の単語ベクトルｖ^ｋ（ｋ＝１，２，３）に、下記式（４）による線形演算を行うことにより得られたベクトルｗ^ｋ（ｋ＝１，２，３）を、中間層２０に入力する。

ｗ^ｋ＝Ｗｖ^ｋ ・・・（４）

ここでＷは、単語ベクトルｖ^ｋの結合重みを示すパラメータを表す行列である。

次に、計算部４は、中間層２０のベクトルｗ^ｋ（ｋ＝１，２，３）に、下記式（５）による演算を行うことにより得られたベクトルｈを、中間層３０に入力する。

ｈ_ｉ＝ｔａｎｈ［（Ｓｗ＋ｕ）_ｉ］ ・・・（５）

ここでｉは、ベクトルｈのｉ番目の成分を示す。またｗは、中間層２０のベクトルｗ^ｋ（ｋ＝１，２，３）を縦に連結することにより得られる列ベクトルを示す。またＳはベクトルｗの結合重みを示すパラメータを表す行列である。またｕは中間層３０の閾値パラメータを示す。またｔａｎｈはハイパボリックタンジェント関数を示す。

すなわちベクトルｈは、ベクトルｗに線形演算を行った後に、ハイパボリックタンジェント関数を適用することにより得られる。

次に、計算部４は、中間層３０のベクトルｈに、下記式（６）による線形演算を行うことにより得られたベクトルａに、下記式（７）によるソフトマックス演算を行う。そして計算部４は、ベクトルｙを出力層４０に入力する。

ａ＝Ｔｈ＋ｒ ・・・（６）
ｙ_ｉ＝ｅｘｐ（ａ_ｉ）／Σ_ｊｅｘｐ（ａ_ｊ） ・・・（７）

ここでＴはベクトルｈの結合重みを示すパラメータを表す行列である。またｒは出力層４０の閾値パラメータを示す。またｉは、ベクトルｙ及びベクトルａのｉ番目の成分を示す。またｊは、ベクトルａのｊ番目の成分を示す。またｅｘｐは指数関数を示す。

出力層４０は、既知語スコアユニット群４１及び品詞スコアユニット群４２を有する。既知語スコアユニット群４１は、１以上の既知語スコアユニットを含む。既知語スコアユニットの各々は、一の既知語のスコアを示す。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。

計算部４は、上述の構造のニューラルネットワーク２００を用いることにより、既知語と品詞とを含む単語列が入力層１０に与えられた場合でも、ターゲット単語の単語スコアを計算することができる。

具体的には、ターゲット単語ｓ_ｉに対応する出力層４０の値ｙ_ｉが、ターゲット単語ｓ_ｉの単語スコアＰ（ｓ_ｉ｜ｖ^１，ｖ^２，ｖ^３）を表す。計算部４は、ターゲット単語ｓ_ｉが新語の場合でも、出力層４０に品詞スコアユニット群４２が存在するので、品詞のスコアにより当該新語の単語スコアを計算することができる。

なお上述の図３のニューラルネットワーク２００は、フィードフォワード型ニューラルネットワークであるが、他の構造のニューラルネットワークでもよい。ニューラルネットワーク２００は、例えばリカレント型ニューラルネットワークでもよい。

［単語スコア計算方法］
次に第１実施形態の単語スコア計算方法の例について説明する。

図４は第１実施形態の単語スコア計算方法の例を示すフローチャートである。はじめに、入力部２が、既知語と新語とを単語として含む単語列の入力を受け付ける（ステップＳ１）。次に、特定部３が、単語列に含まれる新語の品詞を特定する（ステップＳ２）。

次に、計算部４が、入力層１０の既知語ユニット群１１に既知語を入力する（ステップＳ３）。具体的には、計算部４は、ターゲット単語の１つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ａに入力する。また、計算部４は、ターゲット単語の２つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ｂに入力する。また、計算部４は、ターゲット単語の３つ前の単語が既知語である場合、当該既知語を既知語ユニット群１１ｃに入力する。

次に、計算部４が、入力層１０の品詞ユニット群１２に新語の品詞を入力する（ステップＳ４）。具体的には、計算部４は、ターゲット単語の１つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ａに入力する。また、計算部４は、ターゲット単語の２つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ｂに入力する。また、計算部４は、ターゲット単語の３つ前の単語が新語である場合、当該新語の品詞を品詞ユニット群１２ｃに入力する。

次に、計算部４が、ターゲット単語が新語であるか否かを判定する（ステップＳ５）。ターゲット単語が新語である場合（ステップＳ５、Ｙｅｓ）、計算部４は、出力層４０の品詞スコアユニット群４２の品詞スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ６）。

ターゲット単語が新語でない場合（ステップＳ５、Ｎｏ）、計算部４は、出力層４０の既知語スコアユニット群４１の既知語スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ７）。

以上説明したように、第１実施形態の単語スコア計算装置１００では、入力部２が、既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付ける。そして計算部４が、ニューラルネットワーク２００（図３参照）を使用して、単語列に含まれる計算対象の単語であるターゲット単語の単語スコアを計算する。

具体的には、計算部４は、単語列に含まれる単語が新語である場合、新語の品詞を品詞ユニット群１２に入力し、単語列に含まれる単語が既知語である場合、既知語を既知語ユニット群１１に入力する。そして計算部４は、ターゲット単語が既知語である場合、既知語スコアユニット群４１のスコアを単語スコアとして計算し、ターゲット単語が新語である場合、品詞スコアユニット群４２のスコアを単語スコアとして計算する。

これにより第１実施形態の単語スコア計算装置１００によれば、単語スコア計算装置１００に語彙に含まれない新語を含む単語列が、単語スコア計算装置１００に与えられた場合でも、当該単語列の単語スコアを計算することができる。

なお特定部３は、上述の新語辞書を使用せずに、他の方法で新語の品詞を特定してもよい。特定部３は、例えば品詞クラス推定用文例辞書（特許文献１参照）を使用してもよい。具体的には、特定部３は、品詞クラス推定用文例辞書中に含まれる文例と、新語とのマッチングを取ることにより、当該新語の品詞を特定してもよい。

また、特定部３は、例えば単語末尾の音韻に基づいて品詞を特定してもよい。

（第１実施形態の変形例）
次に第１実施形態の変形例について説明する。第１実施形態の変形例の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第１実施形態の変形例では、記憶部１が新語出現スコアを更に記憶し、計算部４が、当該新語出現スコアを更に使用して単語スコアを計算する。第１実施形態の変形例の説明では、語彙素性が品詞である場合を例にして説明する。

図５は第１実施形態の変形例の新語出現スコアの例を示す図である。新語出現スコアは、新語と品詞との組み合わせ毎に定義される。新語出現スコアは、新語の出現し易さを表す。新語１１１が動詞で出現した場合の新語出現スコアは、０．０５である。また、新語１１２が動詞で出現した場合の新語出現スコアは、０．０１である。

第１実施形態の説明では、計算部４は、新語の単語スコアを、品詞スコアユニット群４２のスコアにより計算した。しかしながら第１実施形態の単語スコア計算装置１００では、例えば新語１１１及び新語１１２の単語スコアは、どちらも動詞なので同じになる。第１実施形態の変形例では、計算部４が、同じ品詞の新語についても、単語スコアに差がでるようにするために、新語出現スコアを更に使用する。

図５の例では、新語１１１の新語出現スコアは、新語１１２の新語出現スコアよりも高い。計算部４は、ターゲット単語が新語である場合、新語出現スコア、及び、品詞スコアユニット群４２のスコアに基づいて単語スコアを計算する。計算部４は、例えば新語出現スコア、及び、品詞スコアユニット群４２の品詞スコアの積により単語スコアを計算する。

［単語スコア計算方法］
次に第１実施形態の変形例の単語スコア計算方法について説明する。

図６は第１実施形態の変形例の単語スコア計算方法の例を示すフローチャートである。ステップＳ２１〜ステップＳ２５及びステップＳ２７の説明は、第１実施形態のステップＳ１〜ステップＳ５及びステップＳ７の説明（図４参照）と同じなので省略する。

ターゲット単語が新語である場合（ステップＳ２５、Ｙｅｓ）、計算部４は、出力層４０の品詞スコアユニット群４２の品詞スコアと、当該新語の新語出現スコアとの積により、ターゲット単語の単語スコアを計算する（ステップＳ２６）。

以上説明したように、第１実施形態の変形例の単語スコア計算装置１００によれば、新語間の出現のし易さの差が更に考慮された、より高精度な単語スコアを計算することができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第２実施形態の単語スコア計算装置１００の機能構成の説明は、第１実施形態の単語スコア計算装置１００の機能構成の例の説明（図１参照）と同じなので省略する。第２実施形態の説明では、語彙素性が品詞である場合を例にして説明する。

第２実施形態では、ニューラルネットワーク２００の出力層４０が、品詞スコアユニット群４２を有さない点が、第１実施形態の場合と異なる。

図７は第２実施形態のニューラルネットワーク２００の例を示す図である。第２実施形態のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。第２実施形態の入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、第１実施形態の場合と同じなので省略する。

出力層４０は、既知語スコアユニット群４１を有する。既知語スコアユニット群４１は、既知語のスコアを示す。既知語スコアユニット群４１は、１以上の既知語スコアユニットを含む。既知語スコアユニットの各々は、一の既知語のスコアを示す。

計算部４は、ターゲット単語が新語である場合、既知語スコアユニット群４１に含まれる既知語のスコアの全て又は一部のうち、既知語の品詞が、ターゲット単語の新語の品詞と一致する既知語のスコアに基づいて、新語の単語スコアを計算する。計算部４は、例えばターゲット単語が新語である場合、既知語スコアユニット群４１に含まれる既知語のスコアの全て又は一部のうち、既知語の品詞が、ターゲット単語の新語の品詞と一致する既知語のスコアの和を、新語の単語スコアとして計算する。

図７の例は、ベクトルｙの成分ｙ_２、ｙ_ｉ、ｙ_ｊ及びｙ_ｋが示す既知語のスコアに対応する既知語の品詞が、ターゲット単語である新語の品詞と一致する場合を示す。この場合、計算部４は、ターゲット単語が新語である場合、ｙ_２、ｙ_ｉ、ｙ_ｊ及びｙ_ｋが示す既知語のスコアの和を、新語の単語スコアとして計算する。

［単語スコア計算方法］
次に第２実施形態の単語スコア計算方法について説明する。

図８は第２実施形態の単語スコア計算方法の例を示すフローチャートである。はじめに、入力部２が、既知語と新語とを単語として含む単語列の入力を受け付ける（ステップＳ４１）。次に、特定部３が、単語列に含まれる単語の品詞を特定する（ステップＳ４２）。

ステップＳ４３及びステップＳ４４の説明は、第１実施形態のステップＳ３及びステップＳ４の説明（図４参照）と同じなので省略する。

次に、計算部４が、ターゲット単語が新語であるか否かを判定する（ステップＳ４５）。ターゲット単語が新語である場合（ステップＳ４５、Ｙｅｓ）、特定部３が、ターゲット単語の品詞を特定する（ステップＳ４６）。次に、計算部４が、既知語スコアユニット群４１に含まれる既知語のスコアの全て又は一部のうち、既知語の品詞が、ステップＳ４６の処理により特定された品詞と一致する既知語のスコアの和を、新語の品詞スコアとして計算する（ステップＳ４７）。次に、計算部４が、ステップＳ４７の処理により計算された品詞スコアを、ターゲット単語の単語スコアとする（ステップＳ４８）。

ターゲット単語が新語でない場合（ステップＳ４５、Ｎｏ）、計算部４は、出力層４０の既知語スコアユニット群４１の既知語スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ４９）。

以上説明したように、第２実施形態の単語スコア計算装置１００では、出力層４０に品詞スコアユニット群４２がないので、第１実施形態に比べて、ニューラルネットワーク２００のパラメータを減らすことができる。すなわち第２実施形態の単語スコア計算装置１００によれば、記憶部１に記憶されるニューラルネットワーク２００の記憶容量を削減することができる。

（第３実施形態）
次に第３実施形態について説明する。第３実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第３実施形態の単語スコア計算装置１００では、計算部４が、構造的に２つに分離された第１のニューラルネットワーク及び第２のニューラルネットワークを含むニューラルネットワーク２００を使用する点が、第１実施形態の場合と異なる。第３実施形態の説明では、語彙素性が品詞である場合を例にして説明する。

図９は第３実施形態の第１のニューラルネットワーク２００ａの例を示す図である。第３実施形態の第１のニューラルネットワーク２００ａは、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。第３実施形態の第１のニューラルネットワーク２００ａの入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、第１実施形態のニューラルネットワーク２００と同じなので省略する。

出力層４０は、既知語スコアユニット群４１を有する。既知語スコアユニット群４１は、１以上の既知語スコアユニットを含む。既知語スコアユニットの各々は、一の既知語のスコアを示す。

図１０は第３実施形態の第２のニューラルネットワーク２００ｂの例を示す図である。第３実施形態の第２のニューラルネットワーク２００ｂは、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。第３実施形態の第２のニューラルネットワーク２００ｂの入力層１０、中間層２０ａ〜２０ｃ及び中間層３０の説明は、第１実施形態のニューラルネットワーク２００と同じなので省略する。

出力層４０は、品詞スコアユニット群４２を有する。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。

［単語スコア計算方法］
次に第３実施形態の単語スコア計算方法について説明する。

図１１は第３実施形態の単語スコア計算方法の例を示すフローチャートである。ステップＳ６１〜ステップＳ６４の説明は、第１実施形態のステップＳ１〜ステップＳ４の説明（図４参照）と同じなので省略する。

計算部４は、ターゲット単語が新語であるか否かを判定する（ステップＳ６５）。ターゲット単語が新語である場合（ステップＳ６５、Ｙｅｓ）、計算部４は、第２のニューラルネットワーク２００ｂの品詞スコアユニット群４２の品詞スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ６６）。

ターゲット単語が新語でない場合（ステップＳ６５、Ｎｏ）、計算部４は、第１のニューラルネットワーク２００ａの既知語スコアユニット群４１の既知語スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ６７）。

以上説明したように、第３実施形態の単語スコア計算装置１００によれば、既知語スコアを計算する第１のニューラルネットワーク２００ａの構造、及び、品詞スコアを計算する第２のニューラルネットワーク２００ｂの構造を、それぞれのスコア計算に適した構造にすることができる。

（第４実施形態）
次に第４実施形態について説明する。第４実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。

第４実施形態の単語スコア計算装置１００では、ニューラルネットワーク２００の入力層１０に既知語ユニット群１１がなく、ニューラルネットワーク２００の出力層４０に既知語スコアユニット群４１がない点が、第１実施形態の場合と異なる。第４実施形態の説明では、語彙素性が品詞である場合を例にして説明する。

図１２は第４実施形態のニューラルネットワーク２００の例を示す図である。第４実施形態のニューラルネットワーク２００は、入力層１０、中間層２０ａ〜２０ｃ、中間層３０及び出力層４０を有する。

入力層１０は、品詞ユニット群１２ａ〜１２ｃを有する。品詞ユニット群１２は、１以上の品詞ユニットを含む。

はじめに、計算部４は、ターゲット単語の３つ前までの単語に基づいて、入力層１０に情報の入力を行う。具体的には、計算部４は、ターゲット単語の１つ前の単語の品詞を品詞ユニット群１２ａに入力する。計算部４は、ターゲット単語の２つ前の単語の品詞を品詞ユニット群１２ｂに入力する。計算部４は、ターゲット単語の３つ前の単語の品詞を品詞ユニット群１２ｃに入力する。

第４実施形態の中間層２０ａ〜２０ｃ及び中間層３０の説明は、第１実施形態の中間層２０ａ〜２０ｃ及び中間層３０の説明と同じなので省略する。

出力層４０は、品詞スコアユニット群４２を有する。品詞スコアユニット群４２は、１以上の品詞スコアユニットを含む。品詞スコアユニットの各々は、一の品詞のスコアを示す。品詞は、例えば動詞、名詞及び形容詞等である。

［単語スコア計算方法］
次に第４実施形態の単語スコア計算方法について説明する。

図１３は第４実施形態の単語スコア計算方法の例を示すフローチャートである。はじめに、入力部２が、既知語と新語とを単語として含む単語列の入力を受け付ける（ステップＳ８１）。次に、特定部３が、単語列に含まれる単語の品詞を特定する（ステップＳ８２）。

次に、計算部４が、入力層１０の品詞ユニット群１２に単語の品詞を入力する（ステップＳ８３）。具体的には、計算部４は、ターゲット単語の１つ前の単語の品詞を品詞ユニット群１２ａに入力する。計算部４は、ターゲット単語の２つ前の単語の品詞を品詞ユニット群１２ｂに入力する。計算部４は、ターゲット単語の３つ前の単語の品詞を品詞ユニット群１２ｃに入力する。

次に、計算部４は、出力層４０の品詞スコアユニット群４２の品詞スコアを、ターゲット単語の単語スコアとして計算する（ステップＳ８４）。

以上説明したように、第４実施形態の単語スコア計算装置１００では、ニューラルネットワーク２００の入力層１０に既知語ユニット群１１がなく、ニューラルネットワーク２００の出力層４０に既知語スコアユニット群４１がない。そのため第４実施形態の単語スコア計算装置１００によれば、第１実施形態に比べて、ニューラルネットワーク２００のパラメータを減らすことができる。すなわち第４実施形態の単語スコア計算装置１００によれば、記憶部１に記憶されるニューラルネットワーク２００の記憶容量を削減することができる。

また、第４実施形態の単語スコア計算装置１００では、入力層１０に入力される情報が品詞であり、出力層４０から出力される情報が品詞スコアであるので、ニューラルネットワーク２００で扱われる情報を品詞に特化させることができる。そのため第４実施形態の単語スコア計算装置１００によれば、ニューラルネットワーク２００の統計学習を有利に行うことができる。

［単語スコア計算装置のハードウェア構成］
最後に、第１〜第４実施形態の単語スコア計算装置１００のハードウェア構成の例について説明する。

図１４は第１〜第４実施形態の単語スコア計算装置１００のハードウェア構成の例を示す図である。第１〜第４実施形態の単語スコア計算装置１００は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ及びＲＡＭ等のメモリである。補助記憶装置３０３はメモリカード及びＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等である。

表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばキーボード及びマウス等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と情報を送受信する。

第１〜第４実施形態の単語スコア計算装置１００で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。

また第１〜第４実施形態の単語スコア計算装置１００で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また第１〜第４実施形態の単語スコア計算装置１００が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

また第１〜第４実施形態の単語スコア計算装置１００で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

第１〜第４実施形態の単語スコア計算装置１００で実行されるプログラムは、上述の第１〜第４実施形態の単語スコア計算装置１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。

プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。

なお第１〜第４実施形態の単語スコア計算装置１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１ 記憶部
２ 入力部
３ 特定部
４ 計算部
５ 出力部
１００ 単語スコア計算装置
２００ ニューラルネットワーク
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置

Claims (14)

1. 既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付ける入力部と、
   入力層に単語の語彙素性を入力する１以上の第１のユニット群を有するニューラルネットワークに対して、前記単語列に含まれる単語の語彙素性を入力することにより、前記単語列に含まれるターゲット単語の単語スコアを計算する計算部と、
   を備える単語スコア計算装置。
2. 前記既知語と前記既知語の語彙素性とを関連付けて記憶する既知語辞書と、前記新語と前記新語の語彙素性とを関連付けて記憶する新語辞書と、を記憶する記憶部と、
   前記単語が既知語である場合、前記既知語辞書により前記語彙素性を特定し、前記単語が新語である場合、前記新語辞書により前記語彙素性を特定する特定部と、
   を更に備える請求項１に記載の単語スコア計算装置。
3. 前記記憶部は、複数の単語を語彙として記憶し、
   前記既知語は、前記語彙に含まれる単語であり、前記新語は前記語彙に含まれない単語である、
   請求項２に記載の単語スコア計算装置。
4. 前記単語の語彙素性は、前記単語の品詞である、
   請求項１に記載の単語スコア計算装置。
5. 前記ニューラルネットワークの入力層は、前記既知語を入力する１以上の第２のユニット群を更に有し、
   前記計算部は、前記単語列に含まれる単語が前記新語である場合、前記新語の語彙素性を前記第１のユニット群に入力し、前記単語列に含まれる単語が前記既知語である場合、前記既知語を前記第２のユニット群に入力する、
   請求項１に記載の単語スコア計算装置。
6. 前記ニューラルネットワークの出力層は、前記既知語のスコアを示す１以上の第３のユニット群と、前記新語の語彙素性のスコアを示す１以上の第４のユニット群と、を有し、
   前記ターゲット単語が前記既知語である場合、前記第３のユニット群のスコアを前記単語スコアとして計算し、前記ターゲット単語が前記新語である場合、前記第４のユニット群のスコアを前記単語スコアとして計算する、
   請求項５に記載の単語スコア計算装置。
7. 前記計算部は、前記ターゲット単語が前記新語である場合、前記新語と前記語彙素性との組み合わせ毎に定義された新語出現スコア、及び、前記第４のユニット群のスコアに基づいて前記単語スコアを計算する、
   請求項６に記載の単語スコア計算装置。
8. 前記計算部は、前記ターゲット単語が前記新語である場合、前記新語と前記語彙素性との組み合わせ毎に定義された新語出現スコア、及び、前記第４のユニット群のスコアの積により前記単語スコアを計算する、
   請求項７に記載の単語スコア計算装置。
9. 前記ニューラルネットワークの出力層は、前記既知語のスコアを示す１以上の第３のユニット群を有し、
   前記計算部は、前記ターゲット単語が前記既知語である場合、前記第３のユニット群のスコアを前記単語スコアとして計算し、前記ターゲット単語が前記新語である場合、前記第３のユニット群に含まれる前記既知語のスコアの全て又は一部のうち、前記既知語の語彙素性が、前記ターゲット単語の新語の語彙素性と一致する前記既知語のスコアに基づいて、前記新語の単語スコアを計算する、
   請求項５に記載の単語スコア計算装置。
10. 前記計算部は、前記ターゲット単語が前記新語である場合、前記第３のユニット群に含まれる前記既知語のスコアの全て又は一部のうち、前記既知語の語彙素性が、前記ターゲット単語の新語の語彙素性と一致する前記既知語のスコアの和を、前記新語の単語スコアとして計算する、
    請求項９に記載の単語スコア計算装置。
11. 前記ニューラルネットワークは、第１のニューラルネットワークと、第２のニューラルネットワークと、を含み、
    前記第１のニューラルネットワークの入力層は、前記既知語を入力する１以上の第２のユニット群を更に有し、
    前記第１のニューラルネットワークの出力層は、前記既知語のスコアを示す１以上の第３のユニット群を有し、
    前記第２のニューラルネットワークの入力層は、前記第２のユニット群を更に有し、
    前記第２のニューラルネットワークの出力層は、前記新語の語彙素性のスコアを示す第４のユニット群を有し、
    前記計算部は、前記単語列に含まれる単語が前記新語である場合、前記新語の語彙素性を、前記第１のニューラルネットワークの前記第１のユニット群と、前記第２のニューラルネットワークの前記第１のユニット群と、に入力し、前記単語列に含まれる単語が前記既知語である場合、前記既知語を、前記第１のニューラルネットワークの前記第２のユニット群と、前記第２のニューラルネットワークの前記第２のユニット群に入力し、前記ターゲット単語が前記既知語である場合、前記第３のユニット群のスコアを前記単語スコアとして計算し、前記ターゲット単語が前記新語である場合、前記第４のユニット群のスコアを前記単語スコアとして計算する、
    請求項１に記載の単語スコア計算装置。
12. 前記ニューラルネットワークの出力層は、前記単語の語彙素性のスコアを示す１以上の第３のユニット群を有し、
    前記計算部は、前記単語列に含まれる単語の語彙素性を前記第１のユニット群に入力し、前記ターゲット単語の単語スコアを、前記第３のユニット群のスコアにより計算する、
    請求項１に記載の単語スコア計算装置。
13. 既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付けるステップと、
    入力層に単語の語彙素性を入力する１以上の第１のユニット群を有するニューラルネットワークに対して、前記単語列に含まれる単語の語彙素性を入力することにより、前記単語列に含まれるターゲット単語の単語スコアを計算するステップと、
    を含む単語スコア計算方法。
14. コンピュータを、
    既に知られている既知語とまだ知られていない新語とを含む単語列の入力を受け付ける入力部と、
    入力層に単語の語彙素性を入力する１以上の第１のユニット群を有するニューラルネットワークに対して、前記単語列に含まれる単語の語彙素性を入力することにより、前記単語列に含まれるターゲット単語の単語スコアを計算する計算部、
    として動作させるためのプログラム。

Images