JP2017509963A - 文書のベクトル表現の生成 - Google Patents

文書のベクトル表現の生成 Download PDF

Info

Publication number
JP2017509963A
JP2017509963A JP2016549301A JP2016549301A JP2017509963A JP 2017509963 A JP2017509963 A JP 2017509963A JP 2016549301 A JP2016549301 A JP 2016549301A JP 2016549301 A JP2016549301 A JP 2016549301A JP 2017509963 A JP2017509963 A JP 2017509963A
Authority
JP
Japan
Prior art keywords
word
document
sequence
vector representation
words
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016549301A
Other languages
English (en)
Other versions
JP6588449B2 (ja
Inventor
クォク・ヴィー・レ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2017509963A publication Critical patent/JP2017509963A/ja
Application granted granted Critical
Publication of JP6588449B2 publication Critical patent/JP6588449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

文書ベクトル表現を生成するためのコンピュータ読み取り可能な記録媒体に符号化されたコンピュータプログラムを含む方法、システム、および装置。方法の１つは新規文書を取得するステップと、トレーニングされたニューラルネットワークシステムを使用して新規文書のためのベクトル表現を決定するステップとを含み、トレーニングされたニューラルネットワークシステムは、入力文書と入力文書からのワードシーケンスとを受信し、かつワードのセットのワードごとにそれぞれのワードスコアを生成するようにトレーニングされていて、それぞれのワードスコアの各々は対応するワードが入力文書のシーケンスの最終ワードの次に続くという予測尤度を表し、かつトレーニングされたニューラルネットワークシステムを使用して新規文書のためのベクトル表現を決定するステップは、傾斜降下を使用して新規文書のためのベクトル表現を決定するために複数のワードのシーケンスのそれぞれをトレーニングされたニューラルネットワークシステムに反復して提供するステップを含む。

Description

本明細書は、データ処理システムを使用したテキスト分類に関する。
テキスト分類システムは、電子テキストのピース（例えば、電子文書）を分類することができる。例えば、テキスト分類システムは、一連のあらかじめ定められたテーマのうちの１又は複数のテーマに関係するものとして、テキストのピースを分類することができる。一部のテキスト分類システムは、テキストのピースの入力特徴を受信し、かつ、テキストのピースのための分類を生成するために、特徴を使用する。
ニューラルネットワークは、受信した入力のための出力（例えば、分類）を生成するために、モデルの１又は複数の層を利用するマシーンラーニングモデルである。一部のニューラルネットワークは、出力層に加えて、１又は複数の中間層（hidden layer）を含む。各中間層の出力が、ネットワークの次の層（すなわち、次の中間層又はネットワークの出力層）への入力として使用される。ネットワークの各層は、パラメータのそれぞれのセットの現在の値にしたがって、受信された入力から出力を生成する。
一般に、本明細書で説明される主題の１つの革新的な態様は、新規文書を取得するステップであって、新規文書は、複数のワードのシーケンスと、ワードのシーケンスごとに新規文書のワードのシーケンスの最終ワードの次に続くワードとを含む、ステップと、トレーニングされたニューラルネットワークシステムを使用して、新規文書のためのベクトル表現を決定するステップとを含む方法において実施され、トレーニングされたニューラルネットワークシステムは、入力文書と、入力文書からのワードのシーケンスとを受信し、かつ、あらかじめ定められたワードのセットのワードごとにそれぞれのワードスコアを生成するようにトレーニングされ、それぞれのワードスコアの各々は、対応するワードが、入力文書のシーケンスの最終ワードの次に続くことの予測尤度を表し、トレーニングされたニューラルネットワークシステムを使用して、新規文書のためのベクトル表現を決定するステップは、トレーニングされたニューラルネットワークシステムに複数のワードのシーケンスをそれぞれ反復して提供して、勾配降下法を使用して新規文書のためのベクトル表現を決定するステップを含む。
この態様の他の実施例は、対応するコンピュータシステム、装置、および、１又は複数のコンピュータ記憶デバイス上に記録されたコンピュータプログラムを含み、各々が、方法の動作を実行するように構成される。
１又は複数のコンピュータのシステムは、操作においてシステムに動作を実行させるシステムにインストールされるソフトウェア、ファームウェア、ハードウェア、又は、それらの組み合わせによって特定の操作又は動作を実行するように構成され得る。１又は複数のコンピュータプログラムは、データ処理装置によって実行されるとき、装置に動作を実行させる命令を含むことによって、特定の操作又は動作を実行するように構成され得る。
これらの態様および他の態様が次の特徴のうちの１又は複数の特徴を選択的に含むことができる。トレーニングされたニューラルネットワークシステムは、入力文書と、入力文書からのワードのシーケンスの各ワードとをそれぞれのベクトル表現にマッピングするように構成された埋め込み層と、ベクトル表現を結合表現に結合するように構成された結合層と、結合表現を使用して、ワードスコアを生成するように構成された分類層とを含むことができる。埋め込み層は、第1のパラメータのセットにしたがって、ワードのシーケンスのワードをベクトル表現にマッピングすることができ、かつ、分類層は、第2のパラメータのセットにしたがって、結合表現からワードスコアを生成することができる。第1のパラメータのセットの値と、第2のパラメータのセットの値とは、ワードスコアを生成するために、ニューラルネットワークシステムをトレーニングすることから定められ得る。
トレーニングされたニューラルネットワークシステムを使用して、新規文書のためのベクトル表現を決定するステップは、勾配降下法の以前の反復からの新規文書のベクトル表現を調整するように、複数のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップを含むことができる。複数のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップは、埋め込み層を使用して、シーケンスのワードのそれぞれをベクトル表現にマッピングするステップと、結合表現を生成するため、シーケンスのワードのためのベクトル表現と、以前の反復からの新規文書のためのベクトル表現とを結合するステップと、結合表現から、ワードスコアを生成するステップと、ワードスコアと、新規文書のシーケンスの次に続くワードとを使用して、勾配を計算するステップと、勾配を使用して、以前の反復からの新規文書のためのベクトル表現を調整するステップとを含むことができる。結合層は、シーケンスのワードのベクトル表現と、入力文書のベクトル表現とを連結するように構成され得る。結合層は、シーケンスのワードのベクトル表現と、入力文書のベクトル表現とを平均するように構成され得る。複数のワードのシーケンスの各々は、固定された数のワードを含むことができる。
一般に、本明細書で説明される主題の別の革新的な態様は、複数のトレーニング文書を取得するステップであって、複数のトレーニング文書の各文書は、複数のワードのトレーニングシーケンスと、各ワードのシーケンスについて、トレーニング文書のワードのトレーニングシーケンスの最終ワードの次に続くワードとを含む、ステップと、勾配降下法と逆伝搬法とを使用して、トレーニング文書のそれぞれに対し、ニューラルネットワークシステムをトレーニングするステップであって、ニューラルネットワークシステムは、入力文書を識別するデータと、入力文書からのワードの入力シーケンスとを受信し、かつ、あらかじめ定められたワードのセットのワードごとにそれぞれのワードスコアを生成するように構成された、ステップとを含む方法において実施され、それぞれのワードスコアの各々は、対応するワードが、入力文書のワードのシーケンスの最終ワードの次に続くことの予測尤度を表し、かつ、トレーニング文書の各々に対しニューラルネットワークシステムをトレーニングするステップは、各トレーニング文書について、トレーニング文書のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップを含む。
この態様の他の実施例は、対応するコンピュータシステム、装置、および、１又は複数のコンピュータ記憶デバイス上に記録されたコンピュータプログラムを含み、各々が、方法の動作を実行するように構成される。
これらの態様および他の態様が次の特徴のうちの１又は複数の特徴を選択的に含むことができる。ニューラルネットワークシステムは、入力文書と、入力文書からのワードのシーケンスの各ワードとをそれぞれのベクトル表現にマッピングするように構成された埋め込み層と、ベクトル表現を結合表現に結合するように構成された結合層と、結合表現を使用して、ワードスコアを生成するように構成された分類層とを含むことができる。埋め込み層は、第1のパラメータのセットにしたがって、ワードのシーケンスのワードをベクトル表現にマッピングし、かつ、分類層は、第2のパラメータのセットにしたがって、結合表現からワードスコアを生成することができる。トレーニング文書の複数のシーケンスごとに勾配降下法のそれぞれの反復を実行するステップは、埋め込み層を使用して、シーケンスのワードのそれぞれをベクトル表現にマッピングするステップと、埋め込み層を使用して、トレーニング文書を識別するデータをベクトル表現にマッピングするステップと、結合表現を生成するために、シーケンスのワードのためのベクトル表現と、以前の反復からのトレーニング文書のためのベクトル表現とを結合するステップと、結合表現からワードスコアを生成するステップと、ワードスコアと、新規文書のシーケンスの次に続くワードとを使用して、勾配を計算するステップと、勾配を使用して、第2のパラメータのセットの値を調整するステップとを含むことができる。勾配降下法のそれぞれの反復を実行するステップは、逆伝搬法を使用して、第1のパラメータのセットの値を調整するステップをさらに含むことができる。結合層は、シーケンスのワードのベクトル表現と、入力文書のベクトル表現とを連結するように構成され得る。結合層は、シーケンスのワードのベクトル表現と、入力文書のベクトル表現とを平均するように構成され得る。複数のワードのシーケンスの各々は固定された数のワードを含むことができる。
本明細書で説明される主題の特定の実施例は、次の利点のうちの１又は複数の利点を実現するように実施され得る。例えばテキスト分類システムによって、文書の特徴として使用され得る文書のベクトル表現が効果的に生成され得る。ニューラルネットワークシステムは、単にラベルなしのトレーニング文書を使用して文書表現を生成するために、トレーニングされ得る。トレーニングされたニューラルネットワークシステムによって生成されるベクトル表現は、いくつかの望ましい特性を有することができる。例えば、意味的に類似している文書が、意味的に類似のコンテンツを含まない２つの文書についての文書ベクトル表現より、より相互に近い文書ベクトル表現を有することができる。
本明細書の主題の１又は複数の実施例の詳細は、添付図面および以下の記述において説明される。主題の他の特徴、態様、および、利点は、記述、図面、および、請求項から明らかとなる。
例のベクトル表現システムを示す。 新規文書のための文書ベクトル表現を決定する例のプロセスのフローチャートである。 トレーニング文書からのワードのシーケンスに対してニューラルネットワークシステムをトレーニングする例のプロセスのフローチャートである。 新規文書のための文書ベクトル表現を調整する例のプロセスのフローチャートである。
種々の図中の類似の参照符号および記号は類似の要素を示す。
図１は、例のベクトル表現システム（vector representation system）100を示す。ベクトル表現システム100は、以下に説明されるシステム、コンポーネント、および方法を実装することができる、１又は複数のロケーションの１又は複数のコンピュータでコンピュータプログラムとして実装されるシステムの例である。
ベクトル表現システム100は、入力文書からワードのシーケンスのためのワードスコアを生成する（例えば、入力文書102からのワードシーケンス106のためのワードスコア126）。ワードシーケンス106のためのワードスコア126は、あらかじめ定められたワードのセットのワードごとにそれぞれスコアを含み、所定のワードのためのワードスコアは、ワードが入力文書のワードシーケンス106の最終ワード（last word）の次に続くという予測尤度（predicted likelihood）を表す。
所定の入力文書のワードのシーケンスのためのワードスコアを生成することの一部として、ベクトル表現システム100は、入力文書のための文書ベクトル表現（例えば、入力文書102のための文書ベクトル表現120）を生成する。ベクトル表現システム100によって生成される文書ベクトル表現は、文書のベクトル表現である。例えば、文書ベクトル表現は、浮動小数点値又は量子化された浮動小数点値のベクトルであってよい。
特に、ベクトル表現システム100は、所定の入力文書の所定のワードシーケンスについて、入力文書を識別するデータと、ワードシーケンスとを受信し、かつ、入力文書を識別するデータと、ワードシーケンスとを処理して、ワードシーケンスのためのワードスコアを生成するニューラルネットワークシステム110を含む。例えば、ベクトル表現システム100は、入力文書102から、入力文書102についての文書識別子104と、ワードシーケンス106とを受信することができ、かつ、ワードシーケンス106のためのワードスコア126を生成することができる。文書識別子は、識別子が、一意に、入力文書102を識別するように、例えば、入力文書102にあらかじめ割り当てられるか、又は、ベクトル表現システム100によって生成され得る。
ニューラルネットワークシステム110は、埋め込み層112と、結合層114と、分類層116とを含む。埋め込み層112は、文書パラメータのセットの現在の値にしたがって、文書を識別するデータを、文書ベクトル表現（例えば、入力文書102についての文書ベクトル表現120）にマッピングする。また、埋め込み層112は、ワードシーケンスの各ワードを、ワードパラメータのセットの現在の値にしたがって、それぞれのワードベクトル表現（例えば、ワードシーケンス106のワードについてのワードベクトル表現122）にマッピングする。各ワードベクトルが、対応するワードのベクトル表現（例えば、浮動小数点のベクトル又は量子化浮動小数点値）である。
結合層114は、文書ベクトル表現とワードベクトル表現とを受信し、かつ、文書ベクトル表現とワードベクトル表現とから結合表現（例えば、ワードベクトル表現122と、文書ベクトル表現120とから結合表現124）を生成する。結合表現を生成することが、図３，４を参照して以下により詳細に説明される。
分類層116は、結合表現を受信し、かつ、結合表現を処理して、分類パラメータのセットの現在の値にしたがって、入力文書からのワードシーケンスのためのワードスコアを生成する。例えば、分類層116は、結合表現124を処理して、ワードシーケンス106のためのワードスコア126を生成してもよい。
ベクトル表現システム100は、ワードパラメータと分類パラメータとのトレーニングされた値を決定するために、トレーニング文書からの複数のワードシーケンスに対しニューラルネットワークシステム110をトレーニングする。ニューラルネットワークシステムをトレーニングすることは、図２，３を参照して以下により詳細に説明される。いったん、ワードパラメータと分類パラメータとのトレーニングされた値が決定されると、ベクトル表現システム100は、新規の入力文書を受信することができ、かつ、ニューラルネットワークシステム110を使用して新規の入力文書からのワードのシーケンスを処理して、新規文書のための文書ベクトル表現を決定することができる。新規文書のための文書ベクトル表現を生成することは、図２，４を参照して以下により詳細に説明される。
いったん、所定の文書のための文書ベクトル表現が生成されると、ベクトル表現システム100が、リポジトリ内の文書と文書ベクトル表現を関連付けることができるか、又は、一部の当座の目的に使用するための別のシステムに文書表現を提供することができる。例えば、文書表現は、入力文書の特徴として使用され、かつ、（例えば、特定のテーマに関係して）入力文書を分類するように構成されている従来のマシーンラーニングシステム（例えば、ロジスティック回帰システム、サポートベクターマシーン（SVM）システム、又は、K平均システム）への入力として提供され得る。例えば、従来のマシーンラーニングシステムは、入力文書の文書表現と、選択的に、入力文書の他の特徴とを受信し、かつ、テーマのセットごとにそれぞれスコアを生成するように構成され得る（各スコアが、文書が対応するテーマについてのものであるか、又は関係することの推定された尤度を表す）。
図２は、新規文書のための文書ベクトル表現を決定する例のプロセス200のフローチャートである。便宜上、プロセス200は、１又は複数のロケーションに配置された１又は複数のコンピュータのシステムによって実行されるものとして説明される。例えば、ベクトル表現システム（例えば、適切にプログラムされた図１のベクトル表現システム100）は、プロセス200を実行することができる。
システムは、ワードスコアを生成するため、ニューラルネットワークシステム（例えば、図１のニューラルネットワークシステム110）をトレーニングする（ステップ202）。ニューラルネットワークシステムは、埋め込み層と、結合層と、分類層とを含むシステムである。埋め込み層は、文書から、文書を識別するデータと、ワードのシーケンスとを受信し、文書パラメータのセットの現在の値にしたがって、文書を識別するデータを文書ベクトル表現にマッピングし、かつ、ワードパラメータのセットの現在の値にしたがって、ワードのシーケンスの各ワードをそれぞれのワードベクトル表現にマッピングするように構成されている。結合層は、ワードベクトル表現と文書ベクトル表現とを結合して、結合表現を生成するように構成されている。分類層は、結合表現を処理して、分類パラメータのセットの現在の値にしたがって、ワードシーケンスのためのワードスコアのセットを生成するように構成されている。
トレーニングの間、システムは、ワードパラメータと分類パラメータとの値を調整して、ワードパラメータと分類パラメータとのトレーニングされた値を決定する。特に、システムは、トレーニング文書のセットからのワードシーケンスのセットに対して、ニューラルネットワークシステムをトレーニングする。例えば、トレーニング文書は、文、段落、複数の段落の集まり、サーチクエリー、又は、複数の自然言語ワードの他の集まりのうちの１又は複数を含んでもよい。
ニューラルネットワークシステムのパラメータの値を調整するために、システムは、トレーニングシーケンスごとに勾配降下トレーニング処理手順（gradient descent training procedure）のインスタンスを実行する。特に、システムは、ニューラルネットワークシステムを使用して、ワードのシーケンスを処理して、シーケンスのためのワードスコアを生成し、次いで、ワードスコアと、トレーニング文書のシーケンスの最終ワードの次に続くワードとを使用して（すなわち、勾配降下法および逆伝搬法を使用して）、パラメータの値を調整する。トレーニング文書からのワードシーケンスを使用して、ニューラルネットワークシステムのパラメータを調整することが、図３を参照して以下により詳細に説明される。
システムは、ニューラルネットワークシステムのパラメータの値を調整するために、単に、ワードシーケンスのためのワードスコアと、トレーニング文書のワードシーケンスの最終ワードの次に続くワードとを使用するので、トレーニング文書は、ニューラルネットワークシステムをトレーニングするのに使用されるためにラベル化される必要がない。すなわち、システムは、単に、ラベルなしのトレーニング文書（すなわち、特定のテーマに関係して分類されていないか、又は、別の方法で、テキスト分類システムによって処理されていない文書）からのワードのシーケンスを使用してワードスコアを生成するために、ニューラルネットワークシステムをトレーニングすることができる。
システムは新規文書を受信する（ステップ204）。例えば、新規文書は、文、段落、複数の段落の集まり、サーチクエリー、又は、複数の自然言語ワードの他の集まりであってよい。
システムは、トレーニングされたニューラルネットワークシステムを使用して、新規文書のための文書ベクトル表現を決定する（ステップ206）。一般に、システムは、トレーニングされたニューラルネットワークシステムを使用して新規文書からの複数のワードシーケンスを処理して、新規文書のための文書ベクトル表現を決定する。特に、システムは、新規文書からワードの複数のシーケンスを識別する。一部の実施例では、シーケンスのそれぞれが固定長である（すなわち、同じ固定された数のワードを含む）。例えば、システムは、新規文書に移動窓法を適用して、新規文書からあらかじめ定めされた固定長のそれぞれの可能性のあるシーケンスを抽出することができる。
次いで、システムは、新規文書のための文書ベクトル表現を反復して決定するために、トレーニングされたニューラルネットワークシステムを使用して、抽出されたシーケンスのそれぞれを処理することができる。すなわち、システムは、新規文書からのそれぞれのシーケンスがトレーニングされたニューラルネットワークシステムを介して処理された後、新規文書の現在の表現を調整して、シーケンスのためのワードスコアを生成する。新規文書からのシーケンスを使用して、新規文書のための文書ベクトル表現を調整することは、図４を参照して、以下により詳細に説明される。
図３は、トレーニング文書からのワードのシーケンスに対して、ニューラルネットワークシステムをトレーニングするための例のプロセス300のフローチャートである。便宜上、プロセス300は、１又は複数のロケーションに配置された１又は複数のコンピュータのシステムによって実行されるものとして説明される。例えば、ベクトル表現システム（例えば、適切にプログラムされた図１のベクトル表現システム100）がプロセス300を実行することができる。
システムは、埋め込み層を使用して、シーケンスのワードの各々をそれぞれのワードベクトル表現にマッピングする（ステップ302）。特に、システムは、ワードパラメータの現在の値にしたがって、シーケンスの各ワードを処理して、シーケンスのワードごとにそれぞれのワードベクトル表現を決定する。
システムは、埋め込み層を使用して、トレーニング文書を文書ベクトル表現にマッピングする（ステップ304）。特に、システムは、文書パラメータの現在の値にしたがって、トレーニング文書を識別するデータを処理して、トレーニング文書のための文書ベクトル表現を決定する。
システムは、結合層を使用して、ワードベクトル表現と文書ベクトル表現とから結合表現を生成する（ステップ306）。特に、システムは、結合層を使用して、ワードベクトル表現と現在文書ベクトル表現とを処理して、結合表現を生成する。例えば、結合層は、ワードベクトル表現と現在文書ベクトル表現とを連結して、結合表現を生成してもよい。他の例として、結合層は、ワードベクトル表現と現在文書ベクトル表現との代表値（measure of central tendency）（例えば、平均、中央値、又は他の平均値）を計算して、結合表現を生成してもよい。
システムは、分類層を使用して、結合表現からワードスコアを生成する（ステップ308）。特に、システムは、分類層のパラメータの現在の値にしたがって、分類層を使用して結合表現を処理して、あらかじめ定められたワードのセットのワードごとにそれぞれワードスコアを生成する。
システムは、ワードスコアを使用して、勾配（gradient）を計算する（ステップ310）。すなわち、システムは、ワードスコアとワードのシーケンスのための所望の出力との間の誤差を計算し（すなわち、新規文書のシーケンスの最終ワードの次に実際に続くワードが、シーケンスの次のワードであることを示すワードスコアのセット）、次いで、誤差の勾配を計算する。
システムは、勾配を使用して、ニューラルネットワークシステムのパラメータの現在の値を調整する（ステップ312）。特に、システムは、誤差の勾配を使用して分類層のパラメータの現在の値を調整し、次いで、逆伝搬法を使用して埋め込み層のパラメータの現在の値（すなわち、文書パラメータとワードパラメータとの現在の値）を調整する。
システムは、文書のパラメータのトレーニングされた値を反復して決定するために、複数のトレーニング文書からの複数のトレーニングシーケンスごとにプロセス300を実行することができる。例えば、プロセス300の反復ごとに、システムは、トレーニング文書と、トレーニング文書からの固定長のワードのシーケンスとをランダムに選択することができる。次いで、システムは、各可能性のあるシーケンスが処理されたか、又は、トレーニングのための他の終了基準が満たされるまで、トレーニング文書からのシーケンスに対してプロセス300の反復を実行することができる。
図４は、新規文書のための文書ベクトル表現を調整するための例のプロセス400のフローチャートである。便宜上、プロセス400は、１又は複数のロケーションに配置された１又は複数のコンピュータのシステムによって実行されるものとして説明される。例えば、ベクトル表現システム（例えば、適切にプログラムされた図１のベクトル表現システム100）は、プロセス400を実行することができる。
システムは、新規文書からワードのシーケンスを受信する（ステップ402）。例えば、ワードのシーケンスは、新規文書から抽出された固定長のワードのシーケンスであってよい。
システムは、シーケンスのワードの各々をそれぞれのベクトル表現にマッピングする（ステップ404）。すなわち、システムは、埋め込み層を使用してシーケンスのワードのそれぞれを処理して、ワードパラメータのトレーニングされた値にしたがって、各ワードをワードベクトル表現にマッピングする。
システムは、新規文書を文書ベクトル表現にマッピングする（ステップ406）。すなわち、システムは、埋め込み層を使用して新規文書を識別するデータを処理して、文書パラメータの現在の値にしたがって、新規文書を文書ベクトル表現にマッピングする。
システムは、結合層を使用して、結合表現を生成する（ステップ406）。特に、システムは、埋め込み層を使用してワードベクトル表現と文書ベクトル表現とを処理して、結合表現を生成する。例えば、結合層は、ワードベクトル表現と現在文書ベクトル表現とを連結して、結合表現を生成してもよい。他の例として、結合層は、ワードベクトル表現と現在文書ベクトル表現との代表値（例えば、平均、中央値、又は他の平均値）を計算して、結合表現を生成してもよい。
システムは、分類層を使用して、結合表現からワードスコアを生成する（ステップ408）。特に、システムは、分類層を使用して、かつ、分類層のパラメータのトレーニングされた値にしたがって、結合表現を処理して、あらかじめ定められたワードのセットのワードごとにそれぞれワードスコアを生成する。
システムは、ワードスコアを使用して勾配を計算する（ステップ410）。すなわち、システムは、ワードスコアとワードのシーケンスのための所望の出力との間の誤差を計算し（すなわち、新規文書のシーケンスの最終ワードの次に実際に続くワードが、シーケンスの次のワードであることを示すワードスコアのセット）、次いで、誤差の勾配を計算する。
システムは、勾配を使用して新規文書のためのベクトル表現を調整する（ステップ412）。すなわち、システムは、分類層のパラメータのトレーニングされた値と、定められたワードパラメータとを保持し、かつ、逆伝搬法を使用して文書パラメータの現在の値を更新する。
次いで、システムは、新規文書からのワードの次のシーケンスのための文書ベクトル表現を計算するとき、文書パラメータの更新された値を使用する。代わりに、ワードの現在のシーケンスが新規文書から処理されることになる最後のシーケンスである場合、システムは、文書パラメータの更新された値を使用して、新規文書の調整された文書ベクトル表現を計算し、かつ、新規文書の文書表現として調整された文書ベクトル表現を使用する。
本明細書で説明した主題の実施例とその機能的な動作を、本明細書で開示された構造およびそれらの構造的な均等物を含む、デジタル電子回路、有形的に具体化したコンピュータソフトウェアもしくはファームウェア、コンピュータハードウェア、またはそれらの一つもしくは複数から成る組合せで実装することができる。本明細書で説明した主題の実施例を、一つまたは複数のコンピュータプログラム、即ち、データ処理装置によって実行されるかまたはその操作を制御するための有形の非一時的プログラム搬送体で符号化されたコンピュータプログラム命令から成る一つまたは複数のモジュールとして実装することができる。代替または追加して、当該プログラム命令を人工的に生成した伝搬情報、例えば、適切な受信装置に送信してデータ処理装置で実行するための情報を符号化するように生成された機械的に生成した電気信号、光学信号、または電磁気信号で符号化することができる。コンピュータ記憶媒体は、機械可読記憶デバイス、機械可読記憶基板、ランダムもしくはシリアルアクセスメモリデバイス、またはそれらの一つもしくは複数から成る組合せであってもよい。
「データ処理装置」という用語は、例えばプログラム可能なプロセッサ、コンピュータ、またはマルチプロセッサもしくはコンピュータを含む、データを処理するためのあらゆる種類の装置、デバイス、および機械を包含する。上記装置は、例えば、FPGA（field programmable gate array）またはASIC（application-specific integrated circuit）などの特殊目的の論理回路を含んでもよい。上記装置は、ハードウェアに加えて、本件のコンピュータプログラムのための実行環境を生成するコード、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらの一つもしくは複数から成る組合せを構成するコードを含んでもよい。
コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、モジュール、ソフトウェアモジュール、スクリプト、またはコードと呼ばれるか説明されることもある）を、コンパイル言語もしくはインタープリタ式言語、または宣言型言語もしくは手続き型言語を含む任意の形式のプログラミング言語で記述してもよく、独立プログラムとして、またはモジュール、コンポーネント、サブルーチンもしくはコンピュータ環境での使用に適した他のユニットを含む任意の形式で展開してもよい。コンピュータプログラムが、ファイルシステム内のファイルに相当してもよいが、これは必須ではない。他のプログラムまたはデータ、例えば、マークアップ言語ドキュメントに格納された一つもしくは複数のスクリプトを保持するファイルの一部、本件のプログラムに特化した単一のファイル、または複数の連係ファイル、例えば、一つもしくは複数のモジュール、サブプログラム、もしくはコード部分を格納するファイル部分に、プログラムを格納してもよい。１つのサイトに配置するか、または、複数のサイトに分散させて通信ネットワークで相互接続した、一つまたは複数のコンピュータにコンピュータプログラムを展開して実行してもよい。
本明細書で説明したプロセスとロジックフローを、入力データで動作し出力を生成することで機能を実行する一つまたは複数のコンピュータプログラムを実施する、一つまたは複数のプログラム可能なコンピュータによって実施することができる。上記プロセスとロジックフローを、例えばＦＰＧＡ（field programmable gate array）またはＡＳＩＣ（application-specific integrated circuit）のような特殊目的の論理回路によって実行してもよく、または、装置を特殊目的の論理回路として実装してもよい。
コンピュータプログラムの実行に適したコンピュータは、例えば、汎用目的のもしくは特殊目的のマイクロプロセッサまたはその両方、または他の任意の種類の中央演算装置に基づいたものであってもよい。一般に、中央演算装置は、読取専用メモリもしくはランダムアクセスメモリまたはその両方から命令とデータを受信する。コンピュータの必須要素は、命令を実施または実行するための中央演算装置と、命令とデータを記憶するための一つまたは複数のメモリデバイスである。一般に、コンピュータは、データを受信もしくは送信またはその両方を行うために、一つまたは複数の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光学ディスク等も含むか、または、それに動作可能に接続される。しかしながら、コンピュータがそのようなデバイスを有するのは必須ではない。さらに、コンピュータを、例えばいくつか例に挙げると、携帯電話、ＰＤＡ（personal digital assistant）、携帯音楽またはビデオプレーヤ、ゲーム装置、ＧＰＳ（Global Positioning System）受信機、または携帯記憶デバイス（例：ＵＳＢ（universal serial bus）フラッシュドライブ）などの他のデバイス中に組み込んでもよい。
コンピュータプログラム命令とデータを記憶するのに適したコンピュータ可読媒体は、例えば、半導体メモリデバイス、例えばＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリと、磁気ディスク、例えば内部ハードディスクまたは取り外し可能ディスクと、光磁気ディスクと、ＣＤ−ＲＯＭおよびＤＶＤ−ＲＯＭディスクとを含む、あらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサとメモリを、特殊目的論理回路で補完してもよく、または、それに組み込んでもよい。
ユーザとの対話を提供するために、本明細書で説明した主題の実施例を、情報をユーザに表示するためのディスプレイ装置、例えばＣＲＴ（cathode ray tube）またはＬＣＤ（liquid crystal display）モニタと、ユーザがコンピュータに入力を提供できるキーボードおよびポインタデバイス、例えばマウスまたはトラックボールとを備えたコンピュータで実装することができる。他の種類のデバイスを使用して、ユーザとの対話を提供することもできる。例えば、ユーザに提供されるフィードバックが、視覚フィードバック、聴覚フィードバック、または触覚フィードバックのような任意の形の感覚フィードバックであってもよいし、ユーザからの入力を、音響、発話、触覚の入力を含む任意の形式で受信することができる。さらに、コンピュータは、ユーザが使用するデバイスにドキュメントを送信し、当該デバイスからドキュメントを受信することによって、例えば、ウェブブラウザから要求を受信したことに応答して、ユーザのクライアントデバイス上のウェブブラウザにウェブページを送信することで、ユーザと対話することができる。
本明細書で説明した主題の実施例を、例えばデータサーバとしてのバックエンド要素を含むか、または例えばアプリケーションサーバのようなミドルウェア要素を含むか、または本明細書で説明した主題の実装によりユーザが対話できるグラフィカルユーザインタフェースまたはウェブブラウザを有するクライアントコンピュータのようなフロントエンド要素を含むか、またはかかるバックエンド要素、ミドルウェア要素、またはフロントエンド要素の一つもしくは複数から成る任意の組合せを含む、コンピュータシステムで実装することができる。当該システムの要素を、任意の形式または媒体のデジタルデータ通信、例えば通信ネットワークにより相互接続することができる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）と広域ネットワーク（ＷＡＮ）、例えばインターネットがある。
上記コンピュータシステムが、クライアントとサーバを含んでもよい。クライアントとサーバは、一般に、互いから離れており、一般に通信ネットワークを介して対話する。クライアントとサーバの関係は、コンピュータプログラムが各コンピュータで実行され互いに対してクライアントサーバの関係を有するために生ずる。
本明細書は具体的な実装の詳細を含むが、それらは発明または請求の範囲を制限するものとして解釈されるべきではなく、本発明の特定の実施例に固有な特徴の説明として解釈すべきである。個々の実施例の状況で本明細書で説明した特定の機能を、単独の実施例の組合せで実装することもできる。反対に、単一の実施例の状況で説明した様々な機能を、複数の実施例で別々に、または、任意の適切な副次的組合せで実装することもできる。さらに、上では機能を特定の組合せで動作するとして説明し、当初はそのように特許請求の範囲に記載したが、特許請求の範囲に記載した組合せからの一つまたは複数の機能をいくつかの場合では当該組合せから実行してもよいし、特許請求の範囲に記載した組合せが、副次的な組合せまたは副次的な組合せの変形に関するものであってもよい。
同様に、動作を特定の順序で図面に示したが、これは、所望の結果を得るために、かかる動作を図示した特定の順序または逐次的な順序で実施すべきこと、または、全ての図示した動作を実施すべきことを要求するものとは理解すべきではない。特定の状況では、マルチタスクと並列処理が有利かもしれない。さらに、上述した実施例の様々なシステムモジュールと要素の分離は、全ての実施例でかかる分離が必要であるものとして理解されるべきではなく、説明したプログラム要素とシステムを一般に、単一のソフトウェアに統合するか、または、複数のソフトウェアにパッケージできると理解されるべきである。
主題の特定の実施例を説明した。他の実施例は、添付の特許請求の範囲に含まれる。例えば、諸請求項に記載した動作を様々な順序で実行でき、所望の結果を達成することができる。一例として、添付図面に示したプロセスは、所望の結果を達成するために必ずしも図示した特定の順序、または逐次的な順序を必要としない。特定の実施例では、マルチタスクと並列処理が有利かもしれない。
100 ベクトル表現システム
102 入力文書
104 文書ID
106 ワードシーケンス
110 ニューラルネットワークシステム
112 埋め込み層
114 結合層
116 分類層
120 文書表現
122 ワード表現
124 結合表現
126 ワードスコア

Claims (20)

  1. 新規文書を取得するステップであって、前記新規文書は、複数のワードのシーケンスと、ワードのシーケンスごとに、前記新規文書の前記ワードのシーケンスの最終ワードの次に続くワードとを含む、ステップと、
    トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のためのベクトル表現を決定するステップと
    を含み、
    前記トレーニングされたニューラルネットワークシステムは、入力文書と、前記入力文書からのワードのシーケンスとを受信し、かつ、あらかじめ定められたワードのセットのワードごとに、それぞれのワードスコアを生成するようにトレーニングされ、
    前記それぞれのワードスコアの各々は、対応するワードが、前記入力文書の前記シーケンスの最終ワードの次に続くことの予測尤度を表し、
    前記トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のための前記ベクトル表現を決定するステップは、前記トレーニングされたニューラルネットワークシステムに前記複数のワードのシーケンスをそれぞれ反復して提供して、勾配降下法を使用して前記新規文書のための前記ベクトル表現を決定するステップを含む、方法。
  2. 前記トレーニングされたニューラルネットワークシステムは、
    前記入力文書と、前記入力文書からの前記ワードのシーケンスの各ワードとをそれぞれのベクトル表現にマッピングするように構成された埋め込み層と、
    前記ベクトル表現を結合表現に結合するように構成された結合層と、
    前記結合表現を使用して、前記ワードスコアを生成するように構成された分類層と
    を含む、請求項１に記載の方法。
  3. 前記埋め込み層は、第1のパラメータのセットにしたがって、前記ワードのシーケンスの前記ワードをベクトル表現にマッピングし、かつ、
    前記分類層は、第2のパラメータのセットにしたがって、前記結合表現から前記ワードスコアを生成する、請求項２に記載の方法。
  4. 前記第1のパラメータのセットの値と、前記第2のパラメータのセットの値とは、前記ワードスコアを生成するために、前記ニューラルネットワークシステムをトレーニングすることから定められる、請求項３に記載の方法。
  5. 前記トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のための前記ベクトル表現を決定するステップは、勾配降下法の以前の反復から前記新規文書の前記ベクトル表現を調整するように、前記複数のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップを含む、請求項２に記載の方法。
  6. 前記複数のワードのシーケンスごとに勾配降下法の前記それぞれの反復を実行するステップは、
    前記埋め込み層を使用して、前記シーケンスの前記ワードのそれぞれをベクトル表現にマッピングするステップと、
    結合表現を生成するため、前記シーケンスの前記ワードのための前記ベクトル表現と、前記以前の反復からの前記新規文書のための前記ベクトル表現とを結合するステップと、
    前記結合表現からワードスコアを生成するステップと、
    前記ワードスコアと、前記新規文書の前記シーケンスの次に続く前記ワードとを使用して、勾配を計算するステップと、
    前記勾配を使用して、前記以前の反復から前記新規文書のための前記ベクトル表現を調整するステップと
    を含む、請求項５に記載の方法。
  7. 前記結合層は、前記シーケンスの前記ワードの前記ベクトル表現と、前記入力文書の前記ベクトル表現とを連結するように構成された、請求項２に記載の方法。
  8. 前記結合層は、前記シーケンスの前記ワードの前記ベクトル表現と、前記入力文書の前記ベクトル表現とを平均するように構成された、請求項２に記載の方法。
  9. 前記複数のワードのシーケンスのそれぞれは固定された数のワードを含む、請求項１に記載の方法。
  10. 複数のトレーニング文書を取得するステップであって、前記複数のトレーニング文書の各文書は、複数のワードのトレーニングシーケンスと、ワードのシーケンスごとに、前記トレーニング文書の前記ワードのトレーニングシーケンスの最終ワードの次に続くワードとを含む、ステップと、
    勾配降下法と逆伝搬法とを使用して、前記トレーニング文書のそれぞれに対し、ニューラルネットワークシステムをトレーニングするステップであって、前記ニューラルネットワークシステムは、入力文書を識別するデータと、前記入力文書からのワードの入力シーケンスとを受信し、かつ、あらかじめ定められたワードのセットのワードごとに、それぞれのワードスコアを生成するように構成された、ステップと
    を含み、
    前記それぞれのワードスコアの各々は、対応するワードが、前記入力文書の前記ワードのシーケンスの最終ワードの次に続くことの予測尤度を表し、かつ、
    前記トレーニング文書のそれぞれに対し前記ニューラルネットワークシステムをトレーニングするステップは、各トレーニング文書について、前記トレーニング文書のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップを含む、方法。
  11. 前記ニューラルネットワークシステムは、
    前記入力文書と、前記入力文書からの前記ワードのシーケンスの各ワードとをそれぞれのベクトル表現にマッピングするように構成された埋め込み層と、
    前記ベクトル表現を結合表現に結合するように構成された結合層と、
    前記結合表現を使用して、前記ワードスコアを生成するように構成された分類層と
    を含む、請求項10に記載の方法。
  12. 前記埋め込み層は、第1のパラメータのセットにしたがって、前記ワードのシーケンスの前記ワードをベクトル表現にマッピングし、かつ、
    前記分類層は、第2のパラメータのセットにしたがって、前記結合表現から前記ワードスコアを生成する、請求項11に記載の方法。
  13. 前記トレーニング文書の前記複数のシーケンスごとに勾配降下法の前記それぞれの反復を実行するステップは、
    前記埋め込み層を使用して、前記シーケンスの前記ワードのそれぞれをベクトル表現にマッピングするステップと、
    前記埋め込み層を使用して、前記トレーニング文書を識別する前記データをベクトル表現にマッピングするステップと、
    結合表現を生成するために、前記シーケンスの前記ワードのための前記ベクトル表現と、以前の反復からの前記トレーニング文書のための前記ベクトル表現とを結合するステップと、
    前記結合表現からワードスコアを生成するステップと、
    前記ワードスコアと、新規文書の前記シーケンスの次に続く前記ワードとを使用して、勾配を計算するステップと、
    前記勾配を使用して、前記第2のパラメータのセットの値を調整するステップと
    を含む、請求項12に記載の方法。
  14. 勾配降下法の前記それぞれの反復を実行するステップは、逆伝搬法を使用して、前記第1のパラメータのセットの値を調整するステップをさらに含む、請求項13に記載の方法。
  15. 結合層は、前記シーケンスの前記ワードのベクトル表現と、前記入力文書のベクトル表現とを連結するように構成される、請求項10に記載の方法。
  16. 結合層は、前記シーケンスの前記ワードのベクトル表現と、前記入力文書のベクトル表現とを平均するように構成される、請求項10に記載の方法。
  17. 前記複数のワードのシーケンスのそれぞれは固定された数のワードを含む、請求項10に記載の方法。
  18. １又は複数のコンピュータと、命令を格納する１又は複数の記憶デバイスとを含むシステムであって、前記命令は、前記１又は複数のコンピュータによって実行されると、前記１又は複数のコンピュータに、
    新規文書を取得するステップであって、前記新規文書は、複数のワードのシーケンスと、ワードのシーケンスごとに、前記新規文書の前記ワードのシーケンスの最終ワードの次に続くワードとを含む、ステップと、
    トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のためのベクトル表現を決定するステップと
    を含む操作を実行させ、
    前記トレーニングされたニューラルネットワークシステムは、入力文書と、前記入力文書からのワードのシーケンスとを受信し、かつ、あらかじめ定められたワードのセットのワードごとに、それぞれのワードスコアを生成するようにトレーニングされ、
    前記それぞれのワードスコアの各々は、対応するワードが、前記入力文書の前記シーケンスの最終ワードの次に続くことの予測尤度を表し、
    前記トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のための前記ベクトル表現を決定するステップは、前記トレーニングされたニューラルネットワークシステムに前記複数のワードのシーケンスのそれぞれを反復して提供して、勾配降下法を使用して前記新規文書のための前記ベクトル表現を決定するステップを含む、システム。
  19. 前記トレーニングされたニューラルネットワークシステムは、
    前記入力文書と、前記入力文書からの前記ワードのシーケンスの各ワードとをそれぞれのベクトル表現にマッピングするように構成された埋め込み層と、
    前記ベクトル表現を結合表現に結合するように構成された結合層と、
    前記結合表現を使用して、前記ワードスコアを生成するように構成された分類層と
    を含む、請求項18に記載のシステム。
  20. 前記トレーニングされたニューラルネットワークシステムを使用して、前記新規文書のための前記ベクトル表現を決定するステップは、勾配降下法の以前の反復からの前記新規文書の前記ベクトル表現を調整するように、前記複数のワードのシーケンスごとに勾配降下法のそれぞれの反復を実行するステップを含む、請求項19に記載のシステム。
JP2016549301A 2014-01-31 2015-01-30 文書のベクトル表現の生成 Active JP6588449B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461934674P 2014-01-31 2014-01-31
US61/934,674 2014-01-31
PCT/US2015/013717 WO2015116909A1 (en) 2014-01-31 2015-01-30 Generating vector representations of documents

Publications (2)

Publication Number Publication Date
JP2017509963A true JP2017509963A (ja) 2017-04-06
JP6588449B2 JP6588449B2 (ja) 2019-10-09

Family

ID=52478097

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016549301A Active JP6588449B2 (ja) 2014-01-31 2015-01-30 文書のベクトル表現の生成

Country Status (6)

Country Link
US (3) US10366327B2 (ja)
EP (1) EP3100212A1 (ja)
JP (1) JP6588449B2 (ja)
KR (1) KR102363369B1 (ja)
CN (1) CN105940395B (ja)
WO (1) WO2015116909A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019139772A (ja) * 2018-02-08 2019-08-22 株式会社リコー 文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体
JP2020520492A (ja) * 2018-03-08 2020-07-09 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体
JP2020532012A (ja) * 2017-08-29 2020-11-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ランダム・ドキュメント埋め込みを用いたテキスト・データ表現学習
JP2022040026A (ja) * 2020-08-28 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド エンティティリンキング方法、装置、電子デバイス及び記憶媒体
JP7547077B2 (ja) 2020-05-13 2024-09-09 株式会社Ｎｔｔドコモ 文章翻訳装置及び翻訳モデル

Families Citing this family (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10614100B2 (en) * 2014-06-19 2020-04-07 International Business Machines Corporation Semantic merge of arguments
US10366324B2 (en) 2015-09-01 2019-07-30 Google Llc Neural network for processing graph data
US10803380B2 (en) 2015-09-11 2020-10-13 Google Llc Generating vector representations of documents
KR101778679B1 (ko) 2015-10-02 2017-09-14 네이버 주식회사 딥러닝을 이용하여 텍스트 단어 및 기호 시퀀스를 값으로 하는 복수 개의 인자들로 표현된 데이터를 자동으로 분류하는 방법 및 시스템
US10354182B2 (en) 2015-10-29 2019-07-16 Microsoft Technology Licensing, Llc Identifying relevant content items using a deep-structured neural network
JP6651629B2 (ja) * 2015-12-10 2020-02-19 ディープマインド テクノロジーズ リミテッド 外部メモリを用いたニューラルネットワークの拡張
US10055489B2 (en) * 2016-02-08 2018-08-21 Ebay Inc. System and method for content-based media analysis
CN105760932B (zh) * 2016-02-17 2018-04-06 第四范式（北京）技术有限公司 数据交换方法、数据交换装置及计算装置
JP6605997B2 (ja) * 2016-03-17 2019-11-13 株式会社東芝 学習装置、学習方法及びプログラム
WO2017161320A1 (en) * 2016-03-18 2017-09-21 Google Inc. Generating dependency parses of text segments using neural networks
US10699183B2 (en) * 2016-03-31 2020-06-30 ZenDesk, Inc. Automated system for proposing help center articles to be written to facilitate resolving customer-service requests
US11436610B2 (en) * 2016-03-31 2022-09-06 ZenDesk, Inc. Automatically clustering customer-support requests to form customer-support topics
CN107315575B (zh) * 2016-04-26 2020-07-31 中科寒武纪科技股份有限公司 一种用于执行向量合并运算的装置和方法
WO2017192183A1 (en) * 2016-05-04 2017-11-09 Google Llc Augmenting neural networks with external memory using reinforcement learning
US10909459B2 (en) * 2016-06-09 2021-02-02 Cognizant Technology Solutions U.S. Corporation Content embedding using deep metric learning algorithms
US9807037B1 (en) 2016-07-08 2017-10-31 Asapp, Inc. Automatically suggesting completions of text
US10083451B2 (en) 2016-07-08 2018-09-25 Asapp, Inc. Using semantic processing for customer support
KR101886373B1 (ko) * 2016-07-14 2018-08-09 주식회사 언더핀 딥러닝 인공신경망 기반의 타스크 제공 플랫폼
US10762439B2 (en) 2016-07-26 2020-09-01 International Business Machines Corporation Event clustering and classification with document embedding
KR101842362B1 (ko) 2016-09-01 2018-03-26 성균관대학교산학협력단 인공 신경망 기반의 문단 생성 방법 및 장치
EP3510594B1 (en) * 2016-10-10 2020-07-01 Google LLC Very deep convolutional neural networks for end-to-end speech recognition
CN109923560A (zh) * 2016-11-04 2019-06-21 谷歌有限责任公司 使用变分信息瓶颈来训练神经网络
US11636314B2 (en) 2016-11-15 2023-04-25 Google Llc Training neural networks using a clustering loss
KR101869438B1 (ko) * 2016-11-22 2018-06-20 네이버 주식회사 딥 러닝을 이용하여 환자의 진단 이력으로부터 질병 예후를 예측하는 방법 및 시스템
GB201620232D0 (en) * 2016-11-29 2017-01-11 Microsoft Technology Licensing Llc Data input system with online learning
CA3039755A1 (en) * 2016-12-14 2018-06-21 Landmark Graphics Corporation Automatic classification of drilling reports with deep natural language processing
US10109275B2 (en) 2016-12-19 2018-10-23 Asapp, Inc. Word hash language model
WO2018126325A1 (en) * 2017-01-06 2018-07-12 The Toronto-Dominion Bank Learning document embeddings with convolutional neural network architectures
US10817781B2 (en) * 2017-04-28 2020-10-27 SparkCognition, Inc. Generation of document classifiers
EP3602419B1 (en) * 2017-04-28 2023-09-20 Google LLC Neural network optimizer search
CN109214519B (zh) * 2017-07-07 2022-07-01 阿里巴巴集团控股有限公司 数据处理系统、方法和设备
US10755144B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
US10755142B2 (en) 2017-09-05 2020-08-25 Cognizant Technology Solutions U.S. Corporation Automated and unsupervised generation of real-world training data
CN110019830B (zh) * 2017-09-20 2022-09-23 腾讯科技（深圳）有限公司 语料处理、词向量获取方法及装置、存储介质及设备
CN107957989B9 (zh) * 2017-10-23 2021-01-12 创新先进技术有限公司 基于集群的词向量处理方法、装置以及设备
CN108170663A (zh) 2017-11-14 2018-06-15 阿里巴巴集团控股有限公司 基于集群的词向量处理方法、装置以及设备
US10497004B2 (en) 2017-12-08 2019-12-03 Asapp, Inc. Automating communications using an intent classifier
US10489792B2 (en) 2018-01-05 2019-11-26 Asapp, Inc. Maintaining quality of customer support messages
US10891943B2 (en) * 2018-01-18 2021-01-12 Citrix Systems, Inc. Intelligent short text information retrieve based on deep learning
US10210244B1 (en) 2018-02-12 2019-02-19 Asapp, Inc. Updating natural language interfaces by processing usage data
US11003856B2 (en) * 2018-02-22 2021-05-11 Google Llc Processing text using neural networks
US10606955B2 (en) * 2018-03-15 2020-03-31 Servicenow, Inc. Incident matching with vector-based natural language processing
US10169315B1 (en) 2018-04-27 2019-01-01 Asapp, Inc. Removing personal information from text using a neural network
US11182415B2 (en) * 2018-07-11 2021-11-23 International Business Machines Corporation Vectorization of documents
US11216510B2 (en) 2018-08-03 2022-01-04 Asapp, Inc. Processing an incomplete message with a neural network to generate suggested messages
US10747957B2 (en) 2018-11-13 2020-08-18 Asapp, Inc. Processing communications using a prototype classifier
US11551004B2 (en) 2018-11-13 2023-01-10 Asapp, Inc. Intent discovery with a prototype classifier
KR102216689B1 (ko) * 2018-11-23 2021-02-17 네이버 주식회사 시계열 의료 데이터를 통한 질병 예후 예측을 위한 딥 뉴럴 네트워크의 분류 결과 시각화 방법 및 시스템
US11410031B2 (en) * 2018-11-29 2022-08-09 International Business Machines Corporation Dynamic updating of a word embedding model
US12026462B2 (en) 2018-11-29 2024-07-02 International Business Machines Corporation Word embedding model parameter advisor
RU2744028C2 (ru) * 2018-12-26 2021-03-02 Общество С Ограниченной Ответственностью "Яндекс" Способ и система для хранения множества документов
US10789510B2 (en) 2019-01-11 2020-09-29 Google Llc Dynamic minibatch sizes
WO2020154373A1 (en) * 2019-01-23 2020-07-30 Google Llc Neural network training using the soft nearest neighbor loss
AU2019200976A1 (en) * 2019-02-12 2020-08-27 Canon Kabushiki Kaisha Method, system and apparatus for generating training samples for matching objects in a sequence of images
US10922486B2 (en) 2019-03-13 2021-02-16 International Business Machines Corporation Parse tree based vectorization for natural language processing
CN111858841A (zh) * 2019-04-24 2020-10-30 京东数字科技控股有限公司 一种生成词向量的方法和装置
US11107096B1 (en) * 2019-06-27 2021-08-31 0965688 Bc Ltd Survey analysis process for extracting and organizing dynamic textual content to use as input to structural equation modeling (SEM) for survey analysis in order to understand how customer experiences drive customer decisions
US11354361B2 (en) * 2019-07-11 2022-06-07 International Business Machines Corporation Document discrepancy determination and mitigation
US11163963B2 (en) * 2019-09-10 2021-11-02 Optum Technology, Inc. Natural language processing using hybrid document embedding
KR102280856B1 (ko) 2019-09-16 2021-07-23 서울대학교산학협력단 문서 임베딩을 생성하는 장치 및 방법
US11425064B2 (en) 2019-10-25 2022-08-23 Asapp, Inc. Customized message suggestion with user embedding vectors
US11275934B2 (en) * 2019-11-20 2022-03-15 Sap Se Positional embeddings for document processing
KR102348689B1 (ko) * 2019-12-31 2022-01-07 성균관대학교산학협력단 감정점수를 활용한 시퀀스-투-시퀀스 기반의 텍스트 요약
CN113627135B (zh) 2020-05-08 2023-09-29 百度在线网络技术（北京）有限公司 一种招聘岗位描述文本的生成方法、装置、设备及介质
CN112104919B (zh) * 2020-09-11 2022-05-06 腾讯科技（深圳）有限公司 基于神经网络的内容标题生成方法、装置、设备、和计算机可读存储介质
KR102666670B1 (ko) * 2020-11-25 2024-05-20 한국과학기술원 그룹 레이블링 학습에서 뉴럴 네트워크 기반 효과적인 임베딩 벡터 생성 및 이를 이용한 레이블 예측 방법, 장치 및 그 예측 모델에서의 학습 방법
KR102501869B1 (ko) * 2021-04-14 2023-02-21 건국대학교 산학협력단 문장 중요도에 기반한 문서 수준의 감성 분류 방법 및 장치
KR102569562B1 (ko) * 2022-04-05 2023-08-24 주식회사 타날리시스 자연어 처리 기반의 유사도 판단을 통한 특허 문헌의 시각화 방법 및 이를 제공하는 장치
US11989506B2 (en) * 2022-07-27 2024-05-21 Capital One Services, Llc Systems for database searching and database schemas management and methods of use thereof
KR20240043541A (ko) * 2022-09-27 2024-04-03 네이버 주식회사 커뮤니티 네이티브 광고를 제공하는 방법, 시스템, 및 컴퓨터 프로그램
CN115879508A (zh) * 2022-09-30 2023-03-31 华为技术有限公司 一种数据处理方法及相关装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221439A (ja) * 1995-02-15 1996-08-30 Oki Electric Ind Co Ltd テキストファイルの自動分類方法
JP2007171944A (ja) * 1996-10-02 2007-07-05 Sri Internatl 言語教育のために発音をテキスト独立に自動グレード付けする方法及びシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06309293A (ja) * 1993-04-26 1994-11-04 Nippon Telegr & Teleph Corp <Ntt> 多層構造型ニューラルネットワークの構成方法
CN101887443B (zh) * 2009-05-13 2012-12-19 华为技术有限公司 一种文本的分类方法及装置
CN102968410A (zh) 2012-12-04 2013-03-13 江南大学 一种基于rbf神经网络算法与语义特征选取的文本分类方法
US9519858B2 (en) * 2013-02-10 2016-12-13 Microsoft Technology Licensing, Llc Feature-augmented neural networks and applications of same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08221439A (ja) * 1995-02-15 1996-08-30 Oki Electric Ind Co Ltd テキストファイルの自動分類方法
JP2007171944A (ja) * 1996-10-02 2007-07-05 Sri Internatl 言語教育のために発音をテキスト独立に自動グレード付けする方法及びシステム

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020532012A (ja) * 2017-08-29 2020-11-05 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ ランダム・ドキュメント埋め込みを用いたテキスト・データ表現学習
JP7002638B2 (ja) 2017-08-29 2022-01-20 インターナショナル・ビジネス・マシーンズ・コーポレーション ランダム・ドキュメント埋め込みを用いたテキスト・データ表現学習
US11823013B2 (en) 2017-08-29 2023-11-21 International Business Machines Corporation Text data representation learning using random document embedding
JP2019139772A (ja) * 2018-02-08 2019-08-22 株式会社リコー 文書要約の生成方法、装置、電子機器、コンピュータ読み取り可能な記憶媒体
JP2020520492A (ja) * 2018-03-08 2020-07-09 平安科技（深▲せん▼）有限公司Ｐｉｎｇ Ａｎ Ｔｅｃｈｎｏｌｏｇｙ （Ｓｈｅｎｚｈｅｎ） Ｃｏ．，Ｌｔｄ． 文書要約自動抽出方法、装置、コンピュータ機器及び記憶媒体
JP7547077B2 (ja) 2020-05-13 2024-09-09 株式会社Ｎｔｔドコモ 文章翻訳装置及び翻訳モデル
JP2022040026A (ja) * 2020-08-28 2022-03-10 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド エンティティリンキング方法、装置、電子デバイス及び記憶媒体
JP7234483B2 (ja) 2020-08-28 2023-03-08 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド エンティティリンキング方法、装置、電子デバイス、記憶媒体及びプログラム

Also Published As

Publication number Publication date
US10366327B2 (en) 2019-07-30
CN105940395B (zh) 2019-07-16
CN105940395A (zh) 2016-09-14
KR102363369B1 (ko) 2022-02-15
EP3100212A1 (en) 2016-12-07
US20240202519A1 (en) 2024-06-20
JP6588449B2 (ja) 2019-10-09
US11853879B2 (en) 2023-12-26
US20150220833A1 (en) 2015-08-06
KR20160117516A (ko) 2016-10-10
US20190347552A1 (en) 2019-11-14
WO2015116909A1 (en) 2015-08-06

Similar Documents

Publication Publication Date Title
JP6588449B2 (ja) 文書のベクトル表現の生成
US12014259B2 (en) Generating natural language descriptions of images
US11809824B1 (en) Computing numeric representations of words in a high-dimensional space
US20220101082A1 (en) Generating representations of input sequences using neural networks
US10409908B2 (en) Generating parse trees of text segments using neural networks
US10083169B1 (en) Topic-based sequence modeling neural networks
US10803380B2 (en) Generating vector representations of documents
CN109074517B (zh) 全局归一化神经网络
US20160117586A1 (en) Augmenting neural networks with external memory
KR20160127100A (ko) 머신 러닝에서의 대안 트레이닝 분포 데이터
CN110678882A (zh) 使用机器学习从电子文档选择回答跨距
US20160062979A1 (en) Word classification based on phonetic features
US20190147365A1 (en) Deep vector table machine systems
KR20220085806A (ko) 실제 오디오 트레이닝 데이터의 자동 마이닝

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181126

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190819

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190912

R150 Certificate of patent or registration of utility model

Ref document number: 6588449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250