JP2020507155A - 単語ベクトル処理方法および装置 - Google Patents

Abstract

本出願の実施形態は単語ベクトル処理方法および装置を開示する。本方法は、コーパスに単語分割を行って単語を得るステップと、単語に対応するｎグラム筆画であって、対応単語のｎ個の連続する筆画を表す、ｎグラム筆画を決定するステップと、単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを確立および初期化するステップと、単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップとを含む。本出願の実施形態により、単語に対応するｎグラム筆画を使用することによって単語の特徴がより的確に示され、したがって中国語単語の単語ベクトルの正確さを高めて、所望の実際的効果を達成できる。

Description

優先権の主張
本出願は、２０１７年１月２２日に出願の中国特許出願第２０１７１００４５４５９．７号に対する優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

本出願は、コンピュータソフトウェア技術の技術分野に関し、特に、単語ベクトル処理方法および装置に関する。

現在の自然言語処理手法の大部分はニューラルネットワークベースのアーキテクチャを使用する。そのようなアーキテクチャにおける重要な基盤技術が単語ベクトルである。単語ベクトルは、固定次元に単語をマッピングするためのベクトルであり、単語の意味情報を表す。

先行技術では、一般の単語ベクトル生成アルゴリズムは、例えば、Ｇｏｏｇｌｅ（登録商標）の単語ベクトルアルゴリズム、Ｆａｃｅｂｏｏｋ（登録商標）のｎグラム文字アルゴリズム、Ｍｉｃｒｏｓｏｆｔ（登録商標）のディープニューラルネットワークアルゴリズム等、英語に特化して設計されている。

しかしながら、先行技術におけるこれらのアルゴリズムは中国語には応用できず、またはアルゴリズムは中国語に応用できるが、それによって生成される中国語単語の単語ベクトルは実際的効果に乏しい。

本出願の実施形態は、先行技術における単語ベクトル生成アルゴリズムが中国語には応用できない、またはアルゴリズムは中国語に応用できるが、それによって生成される中国語単語の単語ベクトルが実際的効果に乏しいという問題を解決するように、単語ベクトル処理方法および装置を提供する。

上述の技術的問題を解決するために、本出願の実施形態は次の通りに実装される。

本出願の実施形態は、
コーパスに単語分割を行って単語を得るステップと、
単語に対応するｎグラム筆画であって、対応単語のｎ個の連続する筆画を表す、ｎグラム筆画を決定するステップと、
単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを確立および初期化するステップと、
単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップとを含む、単語ベクトル処理方法を提供する。

本出願の実施形態は、
コーパスに単語分割を行って単語を得るように構成される単語分割モジュールと、
単語に対応するｎグラム筆画を決定するように構成される決定モジュールであって、ｎグラム筆画が対応単語のｎ個の連続する筆画を表す、決定モジュールと、
単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを確立および初期化するように構成される初期化モジュールと、
単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するように構成される訓練モジュールとを含む、単語ベクトル処理装置を提供する。

上述の技術的手法の少なくとも１つを使用することによって、本出願の実施形態は次の有益な効果を達成できる。単語に対応するｎグラム筆画を使用することによって単語の特徴がより的確に示され、したがって中国語単語の単語ベクトルの正確さを高めて、所望の実際的効果を達成できる。したがって、本出願は先行技術における一部またはすべての問題を解決できる。

本出願の実施形態におけるまたは先行技術における技術的手法をより明確に説明するために、以下、実施形態または先行技術を説明するために必要とされる添付図面を簡単に紹介する。明らかに、以下の説明における添付図面は単に本発明の一部の実施形態を図示するだけであり、当業者は創意工夫なしにこれらの添付図面から他の図面をさらに導き出し得る。

本出願の一実施形態に係る単語ベクトル処理方法の概略フローチャートである。 本出願の一実施形態に係る実際の応用シナリオにおける単語ベクトル処理方法の具体的な実装手法の概略フローチャートである。 本出願の一実施形態に係る図２の工程に使用されるコーパスの一部への関連処理行為の概略図である。 本出願の一実施形態に係る図１に対応する単語ベクトル処理装置の概略構造図である。

本出願の実施形態は単語ベクトル処理方法および装置を提供する。

当業者に本出願の技術的手法をより良く理解させるために、本出願の実施形態の技術的手法は、本出願の実施形態における添付図面を参照しつつ明確かつ完全に下記に説明される。明らかに、記載される実施形態は本出願の実施形態のすべてではなく一部である。本出願の記載される実施形態に基づいて、創意工夫なしに当業者によって得られるすべての他の実施形態が本出願の保護範囲に帰属する。

本出願の手法は、中国語単語の単語ベクトルに、および中国語と類似する別の言語の単語の単語ベクトル、例えば、日本語など、筆画を特徴とする言語の単語の単語ベクトルにも応用できる。

図１は、本出願の一実施形態に係る単語ベクトル処理方法の概略フローチャートである。この工程は、単語ベクトル生成機能および／または訓練機能を有するプログラムによって実行されてよい。装置の観点から、工程を実行するエンティティが、プログラムを保持できる以下の装置パーソナルコンピュータ、すなわち、中／大規模コンピュータ、コンピュータクラスタ、移動電話、タブレットコンピュータ、インテリジェントウェアラブルデバイス、車載製品等を含んでよいが、これらに限定されない。

図１の工程は以下のステップを含んでよい。

Ｓ１０１：コーパスに単語分割が行われて単語を得る。

本出願の実施形態において、単語は詳細には、コーパスに少なくとも一度出現する単語の少なくとも一部であってよい。以降の処理を容易にするために、単語は用語集に記憶されてよく、必要とされるときに用語集から読み込まれる。

Ｓ１０２：単語に対応するｎグラム筆画であって、対応単語のｎ個の連続する筆画を表す、ｎグラム筆画が決定される。

理解を容易にするために、「ｎグラム筆画」は一例として中国語を使用することによってさらに説明される。漢字または漢語に関しては、筆画には「横」、「縦」、「左払い」、「右払い」、「折」、「点」、「跳」等を含む。ｎグラム筆画は１つの漢字または漢語のｎ個の連続する筆画を表してよい。

例えば、文字
（宝を意味する漢字である）に関しては、その対応する３グラム
筆画が「横、横および縦」（第１筆画から第３筆画）、「横、縦および跳」（第２筆画から第４筆画）、「縦、跳および左払い」（第３筆画から第５筆画）等であり、ならびに対応する４グラム筆画が「横、横、縦および跳」（第１筆画から第４筆画）、「横、縦、跳および左払い」（第２筆画から第５筆画）等である。

別の例として、用語
（成人を意味する中国語用語である）に関しては、その対応する３グラム筆画が「横、左払いおよび右払い」（第１筆画から第３筆画）、「左払い、右払いおよび左払い」（第２筆画から第４筆画）等であり、ならびに対応する４グラム筆画が「横、左払い、右払いおよび左払い」（第１筆画から第４筆画）、「左払い、右払い、左払いおよび右払い」（第２筆画から第５筆画）等である。

本出願の実施形態において、ｎの値は動的に調節されてよい。同じ単語に対して、単語に対応するｎグラム筆画を決定するとき、ｎは１つの値だけを有しても（例えば、単語に対応する３グラム筆画だけが決定される）、または多値を有してもよい（例えば、単語に対応する３グラム筆画および４グラム筆画が決定される）。ｎの値が特定値であると、ｎグラム筆画はおそらくは厳密に文字の部首である。ｎの値が文字または用語の総筆画数であると、ｎグラム筆画は厳密に文字または用語である。

本出願の実施形態において、コンピュータ処理を容易にするために、ｎグラム筆画は指定のコードで示されてよい。例えば、異なる筆画がそれぞれ異なる数字によって示され、次いでｎグラム筆画はそれに応じて数字列として表されてよい。

Ｓ１０３：単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルが確立および初期化される。

本出願の実施形態において、手法の効果を保証するために、単語ベクトルおよび筆画ベクトルが初期化されるときに、おそらく多少の制限がある。例えば、単語ベクトルおよび筆画ベクトルを同一のベクトルに初期化することは許されない。別の例として、一部の単語ベクトルまたは筆画ベクトルのベクトル要素の値がすべて０に等しいべきではない。

本出願の実施形態において、単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルは、ランダムな初期化方式でまたは指定の確率分布に従って初期化する方式で初期化されてよい。同じｎグラム筆画の筆画ベクトルも同じである。指定の確率分布は、例えば、０から１内の分布であってよい。

加えて、一部の単語に対応する単語ベクトルおよび筆画ベクトルが他のコーパスを基準として既に訓練されていれば、これらの単語に対応する単語ベクトルおよび筆画ベクトルが図１に示されるコーパスを基準としてさらに訓練されるとき、これらの単語に対応する単語ベクトルおよび筆画ベクトルは再度確立および初期化されなくてよく、図１に示されるコーパスおよび過去の訓練結果を基準として再訓練される。

Ｓ１０４：単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルが訓練される。

本出願の実施形態において、訓練はニューラルネットワークを使用することによって実装されてよい。ニューラルネットワークにはシャローニューラルネットワークおよびディープニューラルネットワークを含むが、これらに限定されない。

図１の方法により、単語に対応するｎグラム筆画を使用することによって単語の特徴がより的確に示され、したがって中国語単語の単語ベクトルの正確さを高めて、所望の実際的効果を達成できる。したがって、本方法は先行技術における一部またはすべての問題を解決できる。

図１の方法に基づいて、本出願の一実施形態が本方法の一部の具体的な実装手法および拡張手法をさらに提供し、それらが下記に説明される。

本出願の実施形態において、単語に対応するｎグラム筆画を決定するステップＳ１０２は詳細には、コーパスへの単語分割の結果に従って、コーパスに少なくとも一度出現する単語を決定するステップと、
各決定した単語に以下の操作、すなわち、
単語に対応するｎグラム筆画を決定する操作であって、単語に対応する各ｎグラム筆画が単語のｎ個の連続する筆画を表し、ｎが１つの正整数または複数の異なる正整数である、操作を行うステップとを含んでよい。

さらに、単語がコーパスに滅多に出現しなければ、コーパスに基づく訓練中に対応する訓練サンプルおよび訓練数もかなり少なく、したがって訓練結果の信頼性に悪影響を及ぼす。したがって、そのような単語は排除されてよく、一時的に訓練されず、その後別のコーパスにおいて訓練されればよい。

この考えに基づいて、単語分割の結果に従って、コーパスに少なくとも一度出現する単語を決定するステップは詳細には、コーパスへの単語分割の結果に従って、設定回数以上コーパスに出現する単語を決定するステップであって、設定回数が１以上である、ステップを含んでよい。設定回数の具体値は実際の状況に従って決定されてよい。

本出願の実施形態において、ステップＳ１０４に対して、複数の具体的な訓練方式、例えば、文脈語に基づく訓練方式、指定の類義語または同義語に基づく訓練方式等があってよい。理解を容易にするために、一例として前者の方式を使用することによって詳細な説明がなされる。

単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップは詳細には、単語分割後に得られるコーパス内の指定語および単語分割後に得られるコーパス内の指定語の１つ以上の文脈語を決定するステップと、指定語に対応するｎグラム筆画の筆画ベクトルの他に文脈語の単語ベクトルに従って指定語と文脈語との間の類似度を決定するステップと、指定語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含んでよい。

本出願は類似度を決定する具体的な方式を限定しない。例えば、類似度は、ベクトル間の角度への余弦演算を基準として、またはベクトルへの平方和演算を基準として等、計算されてよい。

複数の指定語があってよい。指定語はコーパスの異なる位置に繰り返し出現してよい。前段落に記載された処理行為は各指定語に行われてよい。好ましくは、単語分割後に得られるコーパス内の各単語が指定語として使用されてよい。

本出願の実施形態において、ステップＳ１０４における訓練は指定語と文脈語との間の類似度を上昇させ（本明細書において、類似度は関連度を反映してよく、ここで単語とその文脈語との間の関連度は比較的高く、同義語または類義語に対応する文脈語も同じまたは類似の意味を有する）、指定語と非文脈語との間の類似度を低下させてよい。非文脈語は下記に説明される負サンプル語として使用されてよく、次いで文脈語は正サンプル語として使用されてよい。

訓練工程における比較のためにいくらかの負サンプル語が決定される必要があることが以上から分かる。単語分割後に得られるコーパスから１つ以上の単語が負サンプル語としてランダムに選択されても、または非文脈語が負サンプル語として厳密に選択されてもよい。一例として前者の方式を使用して、指定語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップは詳細には、負サンプル語として単語から１つ以上の単語を選択するステップと、指定語と各負サンプル語との間の類似度を決定するステップと、指定の損失関数、指定語と文脈語との間の類似度および指定語と各負サンプル語との間の類似度に従って指定語に対応する損失特性評価値を決定するステップと、損失特性評価値に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含んでよい。

損失特性評価値は現在のベクトル値と訓練目標との間の誤差の程度を測定するために使用される。上述のいくつかの類似度が損失関数のパラメータとして使用されてよい。損失関数の具体的な式は本出願においては限定されず、後に一例と共に詳細に記載されることになる。

本出願の実施形態において、単語ベクトルおよび筆画ベクトルの更新は実際には誤差の程度への修正である。本出願の手法がニューラルネットワークを使用することによって実装されるとき、そのような修正は対向伝搬および勾配の降下を基準として実装されてよい。この場合、勾配は損失関数に対応する勾配である。

損失特性評価値に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップは詳細には、損失特性評価値に従って損失関数に対応する勾配を決定するステップと、勾配に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含んでよい。

本出願の実施形態において、単語ベクトルおよび筆画ベクトルを訓練する工程は、単語分割後に得られるコーパス内の少なくとも一部の単語を基準として反復的に実施されてよく、その結果、単語ベクトルおよび筆画ベクトルは訓練が完了されるまで徐々に収束する。

単語分割後に得られるコーパス内のすべての単語への訓練が一例として使用される。単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップＳ１０４は詳細には、
単語分割後に得られるコーパスを横断し、単語分割後に得られるコーパス内の各単語に以下の操作、すなわち、
単語分割後に得られるコーパス内の単語の１つ以上の文脈語を決定する、操作を行うステップと、
各文脈語に従って以下の操作、すなわち、
単語に対応するｎグラム筆画の筆画ベクトルおよび文脈語の単語ベクトルに従って単語と文脈語との間の類似度を決定する、操作を行うステップと、
単語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含んでよい。

具体的な更新工程については上記で説明しており、再度本明細書に詳細に記載されることはない。

さらに、コンピュータ処理を容易にするために、上述の横断工程はウィンドウに基づいて実装されてよい。

例えば、単語分割後に得られるコーパス内の単語の１つ以上の文脈語を決定するステップは詳細には、この単語を中心として、単語分割後に得られるコーパス内の指定数の単語の距離だけ左および／または右にスライドしてウィンドウを確立するステップと、この単語の文脈語としてウィンドウ内のこの単語を除く単語を決定するステップとを含んでよい。

明らかに、単語分割後に得られるコーパス内の最初の単語から始まる設定長さのウィンドウであって、最初の単語および最初の単語に続く設定数の連続する単語を含むウィンドウを確立することも可能である。ウィンドウ内の単語が処理された後に、ウィンドウは前にスライドされて、コーパスが完全に横断されるまでコーパス内の次のバッチの単語を処理する。

以上、本出願の一実施形態に係る単語ベクトル処理方法を記載している。理解を容易にするために、上述の説明に基づいて、本出願の一実施形態が、図２に図示されるように、実際の応用シナリオにおける単語ベクトル処理方法の具体的な実装手法の概略フローチャートをさらに提供する。

図２における工程は主に以下のステップを含む。

ステップ１：単語分割ツールにより中国語コーパスに単語分割が行われ、単語分割後に得られる中国語コーパスがスキャンされ、出現したすべての単語が含められて用語集を確立し、出現がｂ回（すなわち、設定回数）未満の単語が削除される。次いでステップ２が行われる。

ステップ２：用語集が順次スキャンされ、各単語に対応するｎグラム筆画が抽出されて、ｎグラム筆画テーブルおよび単語と対応するｎグラム筆画との間のマッピングのテーブルを確立する。合計５種類の筆画が定義される：「横」、「縦」、「左払い」、「右払い」および「折」（筆画「鉤」、「点」および「跳」はすべて「折」とみなされる）、これらはそれぞれ番号１から５によって示される。次いでステップ３が行われる。

ステップ３：用語集内の各単語に対してｄ次元単語ベクトルが確立され、ｎグラム筆画テーブル内の各ｎグラム筆画に対してもｄ次元筆画ベクトルが確立され、すべての確立されたベクトルがランダムに初期化される。次いでステップ４が行われる。

ステップ４：単語分割後に得られる中国語コーパス内の最初の単語から始めて、単語上のスライドが順次行われ、各回に「現在の単語ｗ」（すなわち、指定語）として１つの単語が選択される。コーパス全体内のすべての単語がｗとして横断されたならば工程は終了し、そうでなければステップ５が行われる。

ステップ５：現在の単語を中心として、ｋ個の単語の長さだけ両側に向けてスライドしてウィンドウを確立し、各回ウィンドウ内の最初の単語から最後の単語まで（現在の単語ｗを除く）から「文脈語ｃ」として１つの単語が選択される。ウィンドウ内のすべての単語がｃとして横断されたならばステップ４が行われ、そうでなければステップ６が行われる。

ステップ６：現在の単語ｗに関して、現在の単語ｗに対応するｎグラム筆画を求めてステップ２における単語と対応するｎグラム筆画との間のマッピングのテーブルが検索され、現在の単語ｗと文脈語ｃとの間の類似度が、以下の式（１）を使用することによって計算される：

この式中、Ｓはステップ２で確立されたｎグラム筆画テーブルを表し、Ｓ（ｗ）はステップ２におけるマッピングテーブル内の現在の単語ｗに対応するｎグラム筆画の集合を表し、ｑは集合Ｓ（ｗ）内の要素（すなわち、ｎグラム筆画）を表し、ｓｉｍ（ｗ，ｃ）は現在の単語ｗと文脈語ｃとの間の類似度のスコアを表し、

はｎグラム筆画ｑと文脈語ｃとの間のベクトル内積演算を表す。次いでステップ７が行われる。

ステップ７：λ個の単語が負サンプル語としてランダムに抽出され、損失スコアｌ（ｗ，ｃ）が以下の式（２）（すなわち、上記した損失関数）に従って計算される。損失スコアは上記した損失特性評価値として使用されてよい。

この式中、ｌｏｇは対数関数を表し、ｃ’はランダムに抽出された負サンプル語を表し、Ｅ_{ｃ’∈ｐ（Ｖ）}［ｘ］は、ランダムに抽出された負サンプル語ｃ’が確率分布ｐ（Ｖ）を満たす場合に式ｘの期待値を表し、σ（・）はニューラルネットワークの励起関数である。詳細については以下の式（３）を参照されたい。

この式中、ｘが実数であれば、σ（ｘ）も実数である。ｌ（ｗ，ｃ）の値に従って勾配が計算され、ｎグラム筆画のベクトル

および文脈語のベクトル

が更新される。次いでステップ５が行われる。

ステップ６およびステップ７が上述のステップ１から７における主要なステップである。理解を容易にするために、これらの２つのステップが図３を参照しつつ一例を使用することによって記載される。

図３は、本出願の一実施形態に係る図２の工程に使用されるコーパスの一部への関連処理行為の概略図である。

図３に図示されるように、コーパスが文
（「スモッグ処理が急を要する」を意味する）を含むとすると、単語分割後に文における３つの用語
（「処理」を意味する）、
（「スモッグ」を意味する）および
（「が急を要する」を意味する）が得られる。

が現在の単語ｗとして選択され、
が文脈語ｃとして選択されるとする。現在の単語ｗによってマッピングされるすべてのｎグラム筆画Ｓ（ｗ）が抽出される。例えば、
によってマッピングされる３グラム筆画は「１４５」、「４５２」、「５２４」等を含む。次いで、式（１）、（２）および（３）に従って損失スコアｌ（ｗ，ｃ）が計算され、次いで勾配が計算されて、ｃの単語ベクトルおよびｗに対応するすべての筆画ベクトルを更新する。

以上、本出願の一実施形態に係る単語ベクトル処理方法を記載している。同じ概念に基づいて、本出願の一実施形態が、図４に図示されるように、対応する装置をさらに提供する。

図４は、本出願の一実施形態に係る図１に対応する単語ベクトル処理装置の概略構造図である。本装置は図１の工程を実行するエンティティに設けられてよく、
コーパスに単語分割を行って単語を得るように構成される単語分割モジュール４０１と、
単語に対応するｎグラム筆画を決定するように構成される決定モジュール４０２であって、ｎグラム筆画が対応単語のｎ個の連続する筆画を表す、決定モジュール４０２と、
単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを確立および初期化するように構成される初期化モジュール４０３と、
単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するように構成される訓練モジュール４０４とを含む。

任意選択で、決定モジュール４０２によって、単語に対応するｎグラム筆画を決定するステップは詳細には、
決定モジュール４０２によって、コーパスへの単語分割の結果に従って、コーパスに少なくとも一度出現する単語を決定するステップと、
各決定した単語に以下の操作、すなわち、
単語に対応するｎグラム筆画を決定する操作であって、単語に対応する各ｎグラム筆画が単語のｎ個の連続する筆画を表し、ｎが１つの正整数または複数の異なる正整数である、操作を行うステップとを含む。

任意選択で、決定モジュール４０２によって、単語分割の結果に従って、コーパスに少なくとも一度出現する単語を決定するステップは詳細には、
決定モジュール４０２によって、コーパスへの単語分割の結果に従って、設定回数以上コーパスに出現する単語を決定することを含み、設定回数は１以上である。

任意選択で、初期化モジュール４０３によって、単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを初期化するステップは詳細には、
初期化モジュール４０３によって、ランダムな初期化方式でまたは指定の確率分布に従って初期化する方式で単語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを初期化し、同じｎグラム筆画の筆画ベクトルも同じであることを含む。

任意選択で、訓練モジュール４０４によって、単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップは詳細には、
訓練モジュール４０４によって、単語分割後に得られるコーパス内の指定語および単語分割後に得られるコーパス内の指定語の１つ以上の文脈語を決定するステップと、
指定語に対応するｎグラム筆画の筆画ベクトルの他に文脈語の単語ベクトルに従って指定語と文脈語との間の類似度を決定するステップと、
指定語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含む。

任意選択で、訓練モジュール４０４によって、指定語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップは詳細には、
訓練モジュール４０４によって、負サンプル語として単語から１つ以上の単語を選択するステップと、
指定語と各負サンプル語との間の類似度を決定するステップと、
指定の損失関数、指定語と文脈語との間の類似度および指定語と各負サンプル語との間の類似度に従って指定語に対応する損失特性評価値を決定するステップと、
損失特性評価値に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含む。

任意選択で、訓練モジュール４０４によって、損失特性評価値に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップは詳細には、
訓練モジュール４０４によって、損失特性評価値に従って損失関数に対応する勾配を決定するステップと、
勾配に従って文脈語の単語ベクトルおよび指定語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含む。

任意選択で、訓練モジュール４０４によって、負サンプル語として単語から１つ以上の単語を選択するステップは詳細には、
訓練モジュール４０４によって、負サンプル語として単語から１つ以上の単語をランダムに選択するステップを含む。

任意選択で、訓練モジュール４０４によって、単語分割後に得られるコーパス、単語ベクトルおよび筆画ベクトルに従って単語ベクトルおよび筆画ベクトルを訓練するステップは詳細には、
訓練モジュール４０４によって、単語分割後に得られるコーパスを横断し、単語分割後に得られるコーパス内の各単語に以下の操作、すなわち、
単語分割後に得られるコーパス内の単語の１つ以上の文脈語を決定する操作を行うステップと、
各文脈語に従って以下の操作、すなわち、
単語に対応するｎグラム筆画の筆画ベクトルおよび文脈語の単語ベクトルに従って単語と文脈語との間の類似度を決定する、操作を行うステップと、
単語と文脈語との間の類似度に従って文脈語の単語ベクトルおよび単語に対応するｎグラム筆画の筆画ベクトルを更新するステップとを含む。

任意選択で、訓練モジュール４０４によって、単語分割後に得られるコーパス内の単語の１つ以上の文脈語を決定するステップは詳細には、
この単語を中心として、訓練モジュール４０４によって、単語分割後に得られるコーパス内の指定数の単語の距離だけ左および／または右にスライドしてウィンドウを確立するステップと、
この単語の文脈語としてウィンドウ内のこの単語を除く単語を決定するステップとを含む。

任意選択で、単語は中国語単語であり、単語ベクトルは中国語単語の単語ベクトルである。

本出願の実施形態で提供される本装置は１対１方式で本方法に対応する。したがって、本装置も、対応する方法と類似する有益な技術的効果を有する。本方法の有益な技術的効果については上記で詳細に説明したので、対応する装置の有益な技術的効果は再度本明細書に記載されることはない。

１９９０年代、技術の改善はハードウェアの改善（例えば、ダイオード、トランジスタおよびスイッチなどの回路構成の改善）またはソフトウェアの改善（方法手順の改善）として明らかに区別されてよい。しかしながら、技術の発展につれて、多くの方法手順の改善が現在はハードウェア回路構成の直接的な改善と考えられてよい。ほとんどすべての設計者が、改善された方法手順をハードウェア回路へプログラムして対応するハードウェア回路構成を得る。したがって、方法手順の改善がハードウェアエンティティモジュールを使用することによっては実装可能でないとみなすことは不適当である。例えば、プログラマブルロジックデバイス（ＰＬＤ）（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ））が、ユーザによってプログラムされるデバイスによって論理機能が決定されるそのような集積回路である。設計者は、チップ製造メーカに専用の集積回路チップを設計および製造するよう依頼する必要なく、自分でデジタルシステムを個々のＰＬＤへ「集積化する」ようにプログラムする。その上、現在、プログラミングは、集積回路チップを手動で製造する代わりに、大部分は論理コンパイラソフトウェアを使用することによって実装される。論理コンパイラソフトウェアは、プログラムを開発して書くために使用されるソフトウェアコンパイラと類似し、コンパイル前のオリジナルコードも特定のプログラミング言語を使用することによって書かれる必要があり、それはハードウェア記述言語（ＨＤＬ）と称される。高級ブール式言語（ＡＢＥＬ）、Ａｌｔｅｒａハードウェア記述言語（ＡＨＤＬ）、Ｃｏｎｆｌｕｅｎｃｅ、コーネル大学プログラミング言語（ＣＵＰＬ）、ＨＤＣａｌ、Ｊａｖａハードウェア記述言語（ＪＨＤＬ）、Ｌａｖａ、Ｌｏｌａ、ＭｙＨＤＬ、ＰＡＬＡＳＭおよびＲｕｂｙハードウェア記述言語（ＲＨＤＬ）など、多くの種類のＨＤＬがあり、中でも超高速集積回路ハードウェア記述言語（ＶＨＤＬ）およびＶｅｒｉｌｏｇが現在最も一般に使用されている。上記のいくつかのハードウェア記述言語を使用して方法手順を若干論理的にプログラムし、それを集積回路へプログラムすることによって、論理方法手順を実装するためのハードウェア回路が容易に得られることも当業者は知っているべきである。

コントローラが任意の好適な方式で実装されてよい。例えば、コントローラは、例えば、マイクロプロセッサまたはプロセッサおよび（マイクロ）プロセッサによって実行可能なコンピュータ可読プログラムコード（例えば、ソフトウェアまたはファームウェア）を記憶したコンピュータ可読媒体、論理ゲート、スイッチ、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックコントローラ、ならびに組込みマイクロコントローラの形態であってよい。コントローラの例としては、これに限定されないが、ＡＲＣ ６２５Ｄ、Ａｔｍｅｌ ＡＴ９１ＳＡＭ、Ｍｉｃｒｏｃｈｉｐ ＰＩＣ１８Ｆ２６Ｋ２０およびＳｉｌｉｃｏｎｅ Ｌａｂｓ Ｃ８０５１Ｆ３２０のマイクロコントローラを含む。メモリコントローラもメモリの制御論理の一部として実装されてよい。コントローラが純コンピュータ可読プログラムコードを使用することによって実装されてよく、加えて、コントローラが論理ゲート、スイッチ、特定用途向け集積回路、プログラマブルロジックコントローラおよび組込みマイクロコントローラの形態の同じ機能を実装することを可能にするために、方法ステップが論理的にプログラムされてよいことも当業者は知っている。したがって、この種類のコントローラはハードウェア部品と考えられてよく、また様々な機能を実装するためにそこに含まれる装置もハードウェア部品内部の構成と考えられてよい。または、様々な機能を実装するために使用される装置は、方法を実装するためのソフトウェアモジュールともハードウェア部品内部の構成とも考えられさえしてよい。

上記の実施形態において例示されるシステム、装置、モジュールまたはユニットは詳細には、コンピュータチップもしくはエンティティ、または或る機能を有する製品を使用することによって実装されてよい。典型的な実装装置がコンピュータである。詳細には、コンピュータは、例えば、パーソナルコンピュータ、ラップトップコンピュータ、携帯電話、カメラ付き電話、スマートフォン、携帯情報端末、メディアプレーヤ、ナビゲーション装置、電子メール装置、ゲーム機、タブレットコンピュータ、ウェアラブル装置、またはこれらの装置のいずれかの組合せであってよい。

説明を容易にするために、装置が記載されるとき、それは、それぞれの説明のための機能に関して様々なユニットに分けられる。明らかに、本出願が実装されるとき、ユニットの機能は同じまたは複数のソフトウェアおよび／またはハードウェアで実装されてよい。

本発明の実施形態が方法、システムまたはコンピュータプログラム製品として提供されてよいと当業者は理解するべきである。したがって、本発明は、完全なハードウェア実施形態、完全なソフトウェア実施形態、またはソフトウェアおよびハードウェアを組み合わせた実施形態として実装されてよい。その上、本発明は、コンピュータ使用可能プログラムコードを含む１つ以上のコンピュータ使用可能記憶媒体（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ等を含むがこれらに限定されない）に実装されたコンピュータプログラム製品であってよい。

本出願は、本発明の実施形態に係る方法、装置（システム）およびコンピュータプログラム製品に係るフローチャートおよび／またはブロック図を参照しつつ記載される。フローチャートおよび／またはブロック図における各プロセスおよび／またはブロックならびにフローチャートおよび／またはブロック図におけるプロセスおよび／またはブロックの組合せを実装するためにコンピュータプログラム命令が使用されてよいことが理解されるべきである。これらのコンピュータプログラム命令は、汎用コンピュータ、専用コンピュータ、組込みプロセッサ、または任意の他のプログラム可能なデータ処理装置のプロセッサに提供されてマシンを生成してよく、その結果コンピュータまたは任意の他のプログラム可能なデータ処理装置のプロセッサによって実行される命令は、フローチャートにおける１つ以上のプロセスにおけるおよび／またはブロック図における１つ以上のブロックにおける指定の機能を実装するための装置を生成する。

これらのコンピュータプログラム命令は、コンピュータまたは任意の他のプログラム可能なデータ処理装置に特定の方式で動くように命令できるコンピュータ可読メモリに記憶されてもよく、その結果コンピュータ可読メモリに記憶された命令は、命令装置を含むアーチファクトを生成する。命令装置は、フローチャートにおける１つ以上のプロセスにおけるおよび／またはブロック図における１つ以上のブロックにおける指定の機能を実装する。

これらのコンピュータプログラム命令は、コンピュータまたは別のプログラム可能なデータ処理装置へロードされてもよく、その結果コンピュータまたは別のプログラム可能な装置上で一連の動作ステップが行われて、それによってコンピュータ実装処理を生成する。したがって、コンピュータまたは別のプログラム可能な装置上で実行される命令は、フローチャートにおける１つ以上のプロセスにおけるおよび／またはブロック図における１つ以上のブロックにおける指定の機能を実装するためのステップを提供する。

典型的な構成では、計算装置は、１つ以上の中央処理装置（ＣＰＵ）、Ｉ／Ｏインタフェース、ネットワークインタフェースおよびメモリを含む。

メモリは、揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、および／または不揮発性メモリ、例えば、リードオンリメモリ（ＲＯＭ）もしくはフラッシュＲＡＭなどのコンピュータ可読媒体を含んでよい。メモリはコンピュータ可読媒体の一例である。

コンピュータ可読媒体は、不揮発性および揮発性媒体の他に可動および非可動媒媒体を含み、任意の方法または技術によって情報記憶を実装できる。情報は、コンピュータ可読命令、データ構造、およびプログラムまたは他のデータのモジュールであってよい。コンピュータの記憶媒体は、例えば、相変化メモリ（ＰＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、他の種類のＲＡＭ、ＲＯＭ、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、フラッシュメモリもしくは他のメモリ技術、コンパクトディスクリードオンリメモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）もしくは他の光記憶装置、カセットテープ、磁気テープ／磁気ディスク記憶装置もしくは他の磁気記憶装置、または任意の他の非伝送媒体を含むが、これらに限定されず、計算装置によってアクセスされる情報を記憶するために使用可能である。この本文の定義によれば、コンピュータ可読媒体には、変調データ信号および搬送波などの、一時的媒体を含まない。

用語「含む」、「備える」またはその他の変形が非排他的包含を網羅すると意図され、その結果一連の要素を含む工程、方法、商品または装置がその要素を含むだけでなく、明白に列記されていない他の要素も含む、または工程、方法、商品もしくは装置の固有の要素をさらに含むことがさらに留意されるべきである。いかなるさらなる限定もない場合には、「．．．を含む」によって定義される要素は、その要素を含む工程、方法、商品または装置が他の同一の要素をさらに有することを排除しない。

本出願の実施形態が方法、システムまたはコンピュータプログラム製品として提供されてよいと当業者は理解するべきである。したがって、本出願は、完全なハードウェア実施形態、完全なソフトウェア実施形態、またはソフトウェアおよびハードウェアを組み合わせた実施形態として実装されてよい。その上、本出願は、コンピュータ使用可能プログラムコードを含む１つ以上のコンピュータ使用可能記憶媒体（磁気ディスクメモリ、ＣＤ−ＲＯＭ、光メモリ等を含むがこれらに限定されない）に実装されたコンピュータプログラム製品の形態であってよい。

本出願は、コンピュータ、例えば、プログラムモジュールによって実行されるコンピュータ実行可能命令の一般の文脈で記載されてよい。一般に、プログラムモジュールは、特定のタスクを実行する、または特定の抽象データ型を実装するために使用されるルーチン、プログラム、オブジェクト、アセンブリ、データ構造等を含む。本出願は分散計算環境において実装されてもよく、分散計算環境では、通信ネットワークを通じて接続される遠隔処理装置を使用することによってタスクが実行される。分散計算環境では、プログラムモジュールは、記憶装置を含むローカルおよびリモートコンピュータ記憶媒体に設けられてよい。

本明細書における実施形態は累進的に記載され、実施形態の同一または類似の部分は互いを参照しつつ得られてよく、各実施形態は他の実施形態と異なる部分を強調している。特に、システム実施形態は方法実施形態と基本的に類似しているので、それは簡潔に記載されており、関連部分に関しては、方法実施形態における部分の説明が参照されてよい。

以上の説明は単に本出願の実施形態であり、本出願を限定するとは意図されない。当業者にとって、本出願には様々な修正および変形があってよい。本出願の趣旨および原理から逸脱することなくなされるいかなる修正、等価な置換、改善等もすべて本出願の請求項の範囲内に納まるはずである。

４０１ 単語分割モジュール、４０２ 決定モジュール、４０３ 初期化モジュール、４０４ 訓練モジュール

Claims (13)

1. 筆画を特徴とする言語の単語のコーパスに単語分割を行って単語を得るステップと、
   前記単語に対応するｎグラム筆画であって、対応単語のｎ個の連続する筆画を表す、ｎグラム筆画を決定するステップと、
   前記単語の単語ベクトルおよび前記単語に対応する前記ｎグラム筆画の筆画ベクトルを確立および初期化するステップと、
   前記単語分割後に得られる前記コーパス、前記単語ベクトルおよび前記筆画ベクトルに従って、前記単語ベクトルおよび前記筆画ベクトルを、ニューラルネットワークを使用して訓練するステップと
   を含む、単語ベクトル処理方法。
2. 前記単語に対応するｎグラム筆画を決定する前記ステップが詳細には、
   前記コーパスへの前記単語分割の結果に従って、前記コーパスに少なくとも一度出現する単語を決定するステップと、
   各決定した単語に以下の操作、すなわち、
   前記単語に対応するｎグラム筆画を決定する操作であって、前記単語に対応する各ｎグラム筆画が前記単語のｎ個の連続する筆画を表し、ｎが１つの正整数または複数の異なる正整数である、操作
   を行うステップと
   を含む、請求項１に記載の方法。
3. 前記コーパスへの前記単語分割の結果に従って、前記コーパスに少なくとも一度出現する単語を決定する前記ステップが詳細には、
   前記コーパスへの前記単語分割の前記結果に従って、設定回数以上前記コーパスに出現する単語を決定するステップであって、前記設定回数が１以上である、ステップ
   を含む、請求項２に記載の方法。
4. 前記単語の単語ベクトルおよび前記単語に対応する前記ｎグラム筆画の筆画ベクトルを初期化する前記ステップが詳細には、
   ランダムな初期化方式で、または指定の確率分布に従って初期化する方式で、前記単語の前記単語ベクトルおよび前記単語に対応する前記ｎグラム筆画の前記筆画ベクトルを初期化し、同じｎグラム筆画の筆画ベクトルが同じである、ステップ
   を含む、請求項１に記載の方法。
5. 前記単語分割後に得られる前記コーパス、前記単語ベクトルおよび前記筆画ベクトルに従って前記単語ベクトルおよび前記筆画ベクトルを訓練する前記ステップが詳細には、
   前記単語分割後に得られる前記コーパス内の指定語および前記単語分割後に得られる前記コーパス内の前記指定語の１つ以上の文脈語を決定するステップと、
   前記指定語に対応するｎグラム筆画の筆画ベクトルの他に前記文脈語の単語ベクトルに従って前記指定語と前記文脈語との間の類似度を決定するステップと、
   前記指定語と前記文脈語との間の前記類似度に従って前記文脈語の前記単語ベクトルおよび前記指定語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新するステップと
   を含む、請求項１に記載の方法。
6. 前記指定語と前記文脈語との間の前記類似度に従って前記文脈語の前記単語ベクトルおよび前記指定語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新する前記ステップが詳細には、
   負サンプル語として前記単語から１つ以上の単語を選択するステップと、
   前記指定語と各負サンプル語との間の類似度を決定するステップと、
   指定の損失関数、前記指定語と前記文脈語との間の前記類似度および前記指定語と各負サンプル語との間の前記類似度に従って前記指定語に対応する損失特性評価値を決定するステップと、
   前記損失特性評価値に従って前記文脈語の前記単語ベクトルおよび前記指定語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新するステップと
   を含む、請求項５に記載の方法。
7. 前記損失特性評価値に従って前記文脈語の前記単語ベクトルおよび前記指定語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新する前記ステップが詳細には、
   前記損失特性評価値に従って前記損失関数に対応する勾配を決定するステップと、
   前記勾配に従って前記文脈語の前記単語ベクトルおよび前記指定語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新するステップと
   を含む、請求項６に記載の方法。
8. 負サンプル語として前記単語から１つ以上の単語を選択する前記ステップが詳細には、
   前記負サンプル語として前記単語から１つ以上の単語をランダムに選択するステップ
   を含む、請求項６に記載の方法。
9. 前記単語分割後に得られる前記コーパス、前記単語ベクトルおよび前記筆画ベクトルに従って、前記単語ベクトルおよび前記筆画ベクトルを訓練する前記ステップが詳細には、
   前記単語分割後に得られる前記コーパスを横断し、前記単語分割後に得られる前記コーパス内の各単語に以下の操作、すなわち、
   前記単語分割後に得られる前記コーパス内の前記単語の１つ以上の文脈語を決定する、操作
   を行うステップと、
   各文脈語に従って以下の操作、すなわち、
   前記単語に対応するｎグラム筆画の筆画ベクトルおよび前記文脈語の単語ベクトルに従って前記単語と前記文脈語との間の類似度を決定する、操作
   を行うステップと、
   前記単語と前記文脈語との間の前記類似度に従って前記文脈語の前記単語ベクトルおよび前記単語に対応する前記ｎグラム筆画の前記筆画ベクトルを更新するステップと
   を含む、請求項１に記載の方法。
10. 前記単語分割後に得られる前記コーパス内の前記単語の１つ以上の文脈語を決定する前記ステップが詳細には、
    前記単語を中心として、前記単語分割後に得られる前記コーパス内の指定数の単語の距離だけ左および／または右にスライドしてウィンドウを確立するステップと、
    前記単語の前記文脈語として前記ウィンドウ内の前記単語を除く単語を決定するステップと
    を含む、請求項９に記載の方法。
11. 前記単語が中国語単語であり、前記単語ベクトルが前記中国語単語の単語ベクトルである、請求項１から１０のいずれか一項に記載の方法。
12. 前記単語ベクトルおよび前記筆画ベクトルを訓練するステップが反復的に実施される、請求項１に記載の方法。
13. 筆画を特徴とする言語の単語のコーパスに単語分割を行って単語を得るように構成される単語分割モジュールと、
    前記単語に対応するｎグラム筆画を決定するように構成される決定モジュールであって、前記ｎグラム筆画が対応単語のｎ個の連続する筆画を表す、決定モジュールと、
    前記単語の単語ベクトルおよび前記単語に対応する前記ｎグラム筆画の筆画ベクトルを確立および初期化するように構成される初期化モジュールと、
    前記単語分割後に得られる前記コーパス、前記単語ベクトルおよび前記筆画ベクトルに従って前記単語ベクトルおよび前記筆画ベクトルを訓練するように構成される訓練モジュールと
    を備える、単語ベクトル処理装置であって、
    前記単語ベクトル処理装置が、請求項１から１２のいずれか一項に記載の方法を行うように構成される、単語ベクトル処理装置。