JP2019511033A5 - - Google Patents

Description

POS出力レイヤ120は、入力テキストセグメント内の所与のトークンの特徴表現112を処理して、その所与のトークンについてのpart-of-speech割当てを定義する、その所与のトークンについてのPOSタグ122を定義する出力を生成するように構成される。具体的には、POS出力レイヤ120は、特徴表現112を処理して、POSタグの所定のセット内の各POSタグについてのそれぞれのスコアを生成するように構成されるsoftmaxまたは他の種類のニューラルネットワーク出力レイヤである。各スコアは、対応する品詞が入力テキストシーケンス内のトークンの品詞である可能性を表す。

システムは、1つまたは複数の初期ニューラルネットワークレイヤを通じて、入力テキストセグメント内のトークンのそれぞれについての特徴入力を処理する(ステップ204)。前述のように、初期ニューラルネットワークレイヤは、所与のトークンの特徴入力を処理して、トークンの品詞を決定する際に使用するために、すなわちPOSタグ出力レイヤによって処理するために、および入力テキストセグメントの係り受け解析を生成する際に使用するために、特徴表現、すなわち特徴の代替表現を生成するように構成される。

Claims (14)

1つまたは複数のコンピュータによって実装されるシステムであって、
入力テキストシーケンス内の各トークンについて、
前記トークンについての特徴入力を受け取り、
前記トークンについての前記特徴入力を集合的に処理して、前記入力テキストシーケンス内の前記トークンの品詞を決定する際に使用するための、前記特徴入力の代替表現を生成する
ように構成された1つまたは複数の初期ニューラルネットワークレイヤ
を備える第1のニューラルネットワークと、
前記1つまたは複数の初期ニューラルネットワークレイヤによって生成された前記入力テキストシーケンス内の前記トークンについての前記特徴の前記代替表現を処理して、前記代替表現を使用してパーサ状態を反復的に更新することによって前記入力テキストシーケンスの係り受け解析を生成する
ように構成された係り受け解析ニューラルネットワークと
を備えるシステム。

前記第1のニューラルネットワークが、
各トークンについて、
前記特徴入力の前記代替表現を受け取り、対応する品詞が前記入力テキストシーケンス内の前記トークンの前記品詞である可能性を表す、複数の品詞タグのそれぞれについてのそれぞれのスコアを生成する
ように構成された出力レイヤ
をさらに備える請求項1に記載のシステム。

前記係り受け解析ニューラルネットワークが状態ベースの係り受け解析ニューラルネットワークである請求項1または2に記載のシステム。

前記係り受け解析ニューラルネットワークが、現在のパーサ状態での特定の位置のトークンについての前記特徴入力の前記代替表現を処理することによって前記パーサ状態を更新することによって前記係り受け解析を生成するように構成される請求項3に記載のシステム。

前記係り受け解析ニューラルネットワークが、現在のパーサ状態での特定の位置のトークンについての前記特徴入力の前記代替表現を含む状態特徴入力を受け取り、前記状態特徴入力を処理して、複数のパーサ状態更新のそれぞれについてのそれぞれのスコアを生成するように構成される請求項4に記載のシステム。

前記係り受け解析ニューラルネットワークが、前記係り受け解析を生成する際に前記入力テキストシーケンス内の前記トークンの前記品詞を直接的に使用しない請求項1から5のいずれか一項に記載のシステム。

前記生成した係り受け解析を入力として使用して前記入力テキストセグメントを解析し、
前記解析した入力テキストセグメントに基づいて、前記入力テキストセグメントに応答する動作の実施を引き起こす
ように構成された自然言語処理システムを備える請求項1から6のいずれか一項に記載のシステム。

前記1つまたは複数のコンピュータによって実行されるとき、請求項1から7のいずれか一項に記載のニューラルネットワークシステムを前記1つまたは複数のコンピュータに実装させる命令と共に符号化された1つまたは複数のコンピュータ可読記憶媒体。

請求項2から7のいずれか一項に記載のシステムの前記第1のニューラルネットワークおよび前記係り受け解析ニューラルネットワークをトレーニングするための方法であって、
トレーニングテキストシーケンスと、各トレーニングテキストシーケンスについて、前記トレーニングテキストシーケンス内の各トークンについての品詞タグのそれぞれとを含む第1のトレーニングデータを得るステップと、
トレーニングテキストシーケンスと、各トレーニングテキストシーケンスについて、前記トレーニングテキストシーケンスの係り受け解析を定義するパーサ状態のセットとを含む第2のトレーニングデータを得るステップと、
前記第1および第2のトレーニングデータに関して前記第1のニューラルネットワークおよび前記係り受け解析ニューラルネットワークをトレーニングするステップを含み、トレーニングする前記ステップが、
前記第1のトレーニングデータからのトレーニング例上の前記第1のニューラルネットワークをトレーニングして、前記第1のニューラルネットワークのパラメータの値を更新するステップと、
前記係り受け解析ニューラルネットワークおよび前記第1のニューラルネットワークの前記初期ニューラルネットワークレイヤをトレーニングするステップであって、
前記第2のトレーニングデータからのトレーニング例について解析損失を決定することと、
前記係り受け解析ニューラルネットワークおよび前記初期ニューラルネットワークレイヤを通じて前記解析損失を逆伝播し、前記係り受け解析ニューラルネットワークおよび前記初期ニューラルネットワークレイヤのパラメータの値を更新することと
を含むステップと
を反復的に実施するステップを含む、方法。

反復的に実施する前記ステップが、
前記第1のニューラルネットワークの前記トレーニングを実施するステップと、前記第1および第2のトレーニングデータとは異なるトレーニング例に関して前記解析ニューラルネットワークおよび前記初期ニューラルネットワークレイヤの前記トレーニングとを実施するステップとを反復的に交替するステップ
を含む請求項9に記載の方法。

前記第2のトレーニングデータを得る前記ステップが、
前記第2のトレーニングデータ内の前記トレーニングテキストシーケンスのそれぞれについて、
前記トレーニングテキストシーケンスの前記係り受け解析を得るステップと、
前記係り受け解析を広げて、前記トレーニングテキストシーケンスの前記係り受け解析を定義するパーサ状態の前記セットを決定するステップと
を含む請求項9または10に記載の方法。

前記第1および第2のトレーニングデータに関して前記第1のニューラルネットワークおよび前記係り受け解析ニューラルネットワークをトレーニングする前記ステップが、
前記トレーニング動作を反復的に実施する前に、前記第1のニューラルネットワークを事前トレーニングするステップ
をさらに含む請求項9から11のいずれか一項に記載の方法。

1つまたは複数のコンピュータによって実行されるとき、請求項9から12のいずれか一項に記載の方法の動作を前記1つまたは複数のコンピュータに実施させる命令と共に符号化された1つまたは複数のコンピュータ可読記憶媒体。

1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行されるとき、請求項9から12のいずれか一項に記載の方法の動作を前記1つまたは複数のコンピュータに実施させる命令を記憶する1つまたは複数の記憶デバイスとを備えるシステム。