JP2021507429A - 質問応答としてのマルチタスク学習 - Google Patents

質問応答としてのマルチタスク学習 Download PDF

Info

Publication number
JP2021507429A
JP2021507429A JP2020542614A JP2020542614A JP2021507429A JP 2021507429 A JP2021507429 A JP 2021507429A JP 2020542614 A JP2020542614 A JP 2020542614A JP 2020542614 A JP2020542614 A JP 2020542614A JP 2021507429 A JP2021507429 A JP 2021507429A
Authority
JP
Japan
Prior art keywords
word
context
encoding
layer
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020542614A
Other languages
English (en)
Other versions
JP6952201B2 (ja
Inventor
マッカン，ブライアン
ケスカー，ニティシュ，シリッシュ
ション，カイミング
ソーチャー，リチャード
Original Assignee
セールスフォース ドット コム インコーポレイティッド
セールスフォース ドット コム インコーポレイティッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by セールスフォース ドット コム インコーポレイティッド, セールスフォース ドット コム インコーポレイティッド filed Critical セールスフォース ドット コム インコーポレイティッド
Publication of JP2021507429A publication Critical patent/JP2021507429A/ja
Priority to JP2021156339A priority Critical patent/JP7285895B2/ja
Application granted granted Critical
Publication of JP6952201B2 publication Critical patent/JP6952201B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3334—Selection or weighting of terms from queries, including natural language queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/55—Rule-based translation
    • G06F40/56—Natural language generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

質問応答としてのマルチタスク学習のアプローチには、コンテキスト及び質問をエンコードするための入力レイヤと；エンコーダ及びデコーダを含むセルフアテンションベースのトランスフォーマと；エンコーダの出力をさらにエンコードするための第１の双方向長・短期メモリ（ｂｉＬＳＴＭ）と；デコーダの出力及び隠れ状態からコンテキスト調整済み隠れ状態を生成するための長・短期メモリ（ＬＳＴＭ）と；第１のｂｉＬＳＴＭの出力及びＬＳＴＭの出力に基づいて第１のアテンション重みを生成するためのアテンション・ネットワークと；語彙の分布状態を生成する語彙レイヤと；コンテキストの分布状態を生成するコンテキスト・レイヤと；スイッチと；が含まれ、スイッチは、語彙とコンテキストとの分布状態同士の間の重みを生成し、重みに基づいて複合分布状態を生成し、且つ複合分布状態を使用して回答のワードを選択する。

Description

関連出願
本願は、２０１８年２月９日に出願された米国仮特許出願第６２／６２８,８５０号及び２０１８年５月８日に出願された米国非仮特許出願第１５／９７４,１１８号の利益を主張するものであり、どちらの出願も“Multitask Learning as Question Answering”という表題であり、これら両文献は、その全体が参照により組み込まれる。
本願は、２０１８年５月８日に出願された“Multitask Learning as Question Answering”（代理人整理番号第70689.9US01A3335US1）という表題の米国特許出願第１５／９７４,０７５号に関連しており、この文献は、その全体が参照により組み込まれる。
本開示は、概して、自然言語処理に関し、より具体的には、自然言語コンテキストに関する自然言語質問に回答することに関する。
自然言語処理と、自然言語サンプルの内容に関する自然言語質問に回答するシステムの能力とは、自然言語形式で提供される情報に関するコンテキスト固有の推論をテストするためのベンチマークである。質問できる自然言語の質問には様々な種類があり、その回答には様々な種類の推論及び／又は様々な種類の解析が必要になる可能性があるため、これは複雑なタスクであり得る。
従って、異なる種類の自然言語質問に同時に答えることができる統一されたシステム及び方法を有することは有利となろう。
いくつかの実施形態による自然言語処理タスクの簡略図である。 いくつかの実施形態によるコンピュータ装置の簡略図である。 いくつかの実施形態によるマルチタスク質問応答のためのシステムの簡略図である。 いくつかの実施形態によるアテンション・ネットワークの簡略図である。 いくつかの実施形態によるアテンションベースのトランスフォーマ・ネットワークのレイヤの簡略図である。 いくつかの実施形態によるワード生成器の簡略図である。 いくつかの実施形態によるマルチタスク学習の方法の簡略図である。 いくつかの実施形態による訓練パフォーマンスの簡略図である。 いくつかの実施形態による訓練パフォーマンスの簡略図である。 いくつかの実施形態による訓練パフォーマンスの簡略図である。 いくつかの実施形態による訓練パフォーマンスの簡略図である。 いくつかの実施形態による訓練順序に基づく訓練パフォーマンスの簡略図である。 いくつかの実施形態による訓練順序に基づく訓練パフォーマンスの簡略図である。
図面において、同じ名称を有する要素は、同じ又は同様の機能を有する。
コンテキスト固有の推論（自然言語情報の内容に関するコンテキスト固有の推論を含む）は、機械知能及び学習アプリケーションにおける重要な問題である。コンテキスト固有の推論は、自然言語テキストの解釈に使用するための貴重な情報を提供し、且つ自然言語テキストの内容に関する質問の回答（answering）、言語翻訳、意味的コンテキスト解析等の様々なタスクを含むことができる。しかしながら、これらの様々なタイプの自然言語処理タスクのそれぞれには、大抵の場合、様々なタイプの解析及び／又は様々なタイプの予期される応答が含まれる。
自然言語処理におけるマルチタスク学習は、タスクのタイプが類似している場合に向上してきた。しかしながら、言語翻訳、質問応答（question answering）、及び分類等、様々な種類のタスクに取り組む場合に、パラメータの共有は、大抵の場合、ワード（word）ベクトル又はパラメータのサブセットに限定される。最終的なアーキテクチャは、典型的に、高度に最適化され、タスクタイプ毎に設計されているため、タスクタイプ全体で一般化する機能は制限されている。
しかしながら、これらのタスクタイプの多くは、単一のタイプのタスクとしてフレーム化された場合に、同じアーキテクチャ及びモデルによって処理することができる。例えば、全てではないにしても多くの自然言語処理タスクを質問応答タスクとして扱うことができる。例えば、分類、言語翻訳、及び質問応答のタスクタイプは全て、質問応答タスクとしてフレーム化され得る。質問応答フォームのこれら３つのタスクタイプのそれぞれの例を図１に示す。
図２は、いくつかの実施形態によるコンピュータ装置２００の簡略図である。図２に示されるように、コンピュータ装置２００は、メモリ２２０に結合されたプロセッサ２１０を含む。コンピュータ装置２００の動作は、プロセッサ２１０によって制御される。そして、コンピュータ装置２００が１つのプロセッサ２１０のみで示されているが、プロセッサ２１０は、コンピュータ装置２００の１つ又は複数の中央処理装置、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、グラフィックス処理装置（ＧＰＵ）等を表し得ることを理解されたい。コンピュータ装置２００は、スタンドアロン・サブシステムとして、コンピュータ装置に追加されたボードとして、及び／又は仮想マシンとして実装することができる。
メモリ２２０は、コンピュータ装置２００によって実行されるソフトウェア及び／又はコンピュータ装置２００の動作中に使用される１つ又は複数のデータ構造を格納するために使用され得る。メモリ２２０は、１つ又は複数のタイプの機械可読媒体を含み得る。機械可読媒体のいくつかの一般的な形式には、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の磁気媒体、ＣＤ−ＲＯＭ、他の光媒体、パンチカード、紙テープ、孔パターンを有する他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取るように適合された他の媒体が含まれ得る。
プロセッサ２１０及び／又はメモリ２２０は、任意の適切な物理的配置で配置してもよい。いくつかの実施形態では、プロセッサ２１０及び／又はメモリ２２０は、同じボード上、同じパッケージ内（例えば、システム・イン・パッケージ）、同じチップ上（例えば、システム・オン・チップ）等で実装され得る。いくつかの実施形態では、プロセッサ２１０及び／又はメモリ２２０は、分散型、仮想化、及び／又はコンテナ化された計算リソースを含み得る。そのような実施形態と一致して、プロセッサ２１０及び／又はメモリ２２０は、１つ又は複数のデータセンタ及び／又はクラウドコンピュータ設備に配置してもよい。
示されるように、メモリ２２０は、質問応答モジュール２３０を含み、質問応答モジュール２３０を使用して、本明細書でさらに説明する質問応答システム及びモデルを実装及び／又はエミュレートする、及び／又は本明細書でさらに説明する方法のいずれかを実施することができる。いくつかの例では、質問応答モジュール２３０を使用して、自然言語コンテキストに関する自然言語質問に回答することができる。いくつかの例では、質問応答モジュール２３０は、自然言語コンテキストに関する自然言語質問に回答するために使用される質問応答システム又はモデルの反復訓練及び／又は評価を処理することもできる。いくつかの例では、メモリ２２０は、実行可能コードを含む非一時的で有形の機械可読媒体を含み、コードが１つ又は複数のプロセッサ（例えば、プロセッサ２１０）によって実行されたときに、１つ又は複数のプロセッサに、本明細書でさらに説明するカウント方法を実行させることができる。いくつかの例では、質問応答モジュール２３０は、ハードウェア、ソフトウェア、及び／又はハードウェアとソフトウェアとの組合せを使用して実装され得る。示されるように、コンピュータ装置２００は、自然言語コンテキスト２４０と、自然言語コンテキスト２４０に関する自然言語質問２５０とを受け取り、これらは質問応答モジュール２３０に提供され、次に、質問応答モジュール２３０は、自然言語コンテキスト２４０の内容に基づいて、自然言語質問２５０対する自然言語応答（answer: 回答）２６０を生成する。
図３は、いくつかの実施形態によるマルチタスク質問応答のためのシステム３００の簡略図である。システム３００は、自然言語コンテキストｃ及び自然言語質問ｑを受け取る。コンテキストｃ及び質問ｑのそれぞれが、システム３００による処理のためにベクトルにエンコードされる。いくつかの例では、コンテキストｃ及び質問ｑ内のそれぞれのワードは、ワード・エンコーディングを使用してエンコードされる。いくつかの例では、各ワードのエンコーディングは、各ワードが
Figure 2021507429
の要素としてエンコードされるＧｌｏＶｅエンコーディングに基づいている。いくつかの例では、各ワードのエンコーディングは、各ワードが
Figure 2021507429
の要素としてエンコードされる文字ｎ−ｇｒａｍエンコーディングに基づいている。いくつかの例では、各ワードのエンコーディングは、ＧｌｏＶｅと文字エングラム（engram）・エンコーディングとの連結に基づいている。いくつかの例では、ワードにＧｌｏＶｅ及び／又は文字ｎ−ｇｒａｍエンコーディングがない場合（例えば、ワードが英語ではない場合）に、ＧｌｏＶｅエンコーディングと同じである、平均及び標準偏差を有する（例えば、平均がゼロ、標準偏差が０．４の）正規分布から、ランダム・エンコーディングが選択され、同じランダム・エンコーディングが、それぞれのワードの出現毎に一貫して使用される。
次に、コンテキストｃのエンコーディングは線形レイヤ３１０に渡され、質問ｑのエンコーディングは線形レイヤ３１５に渡される。線形レイヤ３１０及び３１５のそれぞれは、式１と一致するそれぞれの伝達関数を実行し、ここで、Ｗ及びｂは、それぞれの線形レイヤ３１０又は３１５の重み及びバイアスであり、ａはそれぞれの線形レイヤ３１０又は３１５の出力であり、ｘはそれぞれの線形レイヤ３１０又は３１５への入力であり、ｆはそれぞれの線形レイヤ３１０又は３１５の理論的な線形関数、飽和線形関数等の線形伝達関数である。いくつかの例では、線形レイヤ３１０及び３１５は、コンテキストｃ及び質問ｑのエンコーディングの次元を低減する（reduce）。いくつかの例では、エンコーディングの次元は、各エンコーディングが
Figure 2021507429
の要素になるように低減される。
ａ＝ｆ（Ｗｘ＋ｂ） 式１
線形レイヤ３１０及び３１５によって出力されるエンコーディングは、それぞれ、さらに、単層双方向長期メモリ・ネットワーク（ｂｉＬＳＴＭ）３２０によってさらにエンコードされて、
Figure 2021507429
が形成され、ｂｉＬＳＴＭ３２５によってさらにエンコードされて、
Figure 2021507429
が形成される。いくつかの例では、ｂｉＬＳＴＭ３２０及び／又は３２５は、コンテキストｃ及び質問ｑに対するエンコーディングの次元をさらに低減し得る。ｂｉＬＳＴＭ３２０及び３２５のそれぞれは、各タイムステップｉにおいて、式２に従ってｈｉ →とｈｉ ←との連結としてｈｉの出力を生成する。ここで、ｘは、それぞれのｂｉＬＳＴＭへの入力であり、ＬＳＴＭは長・短期メモリ・ネットワークに対応する。いくつかの例では、ｂｉＬＳＴＭ３２０及び／又は３２５は２００の隠れサイズを有しており、
Figure 2021507429
の要素に対する
Figure 2021507429
及び
Figure 2021507429
のエンコーディングの次元をさらに低減する。
ｈｉ →＝ＬＳＴＭ（ｘｉ，ｈｉ−１ →）
ｈｉ ←＝ＬＳＴＭ（ｘｉ，ｈｉ＋１ ←） 式２（両方で式２）
出力
Figure 2021507429
及び
Figure 2021507429
は、次に、コアテンション（coattention）・レイヤ３３０に渡される。コアテンション・レイヤ３３０は、最初にコンテキスト・センチネル（sentinel）・ベクトルを
Figure 2021507429
の先頭に付加し、質問センチネル・ベクトルを
Figure 2021507429
の先頭に付加する。センチネル・ベクトルにより、コアテンション・レイヤ３３０のコアテンション・メカニズムが２つのシーケンスの間で全てのトークンを整列させるのをやめさせることができる。次に、コアテンション・レイヤ３３０は、ベクトルを、時間次元に沿ってベクトル
Figure 2021507429
及びベクトル
Figure 2021507429
を積み重ねて、
Figure 2021507429
及び
Figure 2021507429
をそれぞれ取得する。次に、コアテンション・レイヤ３３０は、式３に従って類似性（affinity）マトリックスＡを生成する。
Figure 2021507429
次に、コアテンション・レイヤ３３０は、式４を使用して各シーケンスに関してアテンション重みＡｃ及びＡｑを生成し、ここで、ｓｏｆｍａｘ（Ｘ）は、Ｘの列に関して正規化する。
Ａｃ＝ｓｏｆｔｍａｘ（Ａ）
Ａｑ＝ｓｏｆｔｍａｘ（ＡＴ） 式４（両方で式４）
次に、コアテンション・レイヤ３３０は、アテンション重みＡｃ及びＡｑを使用して、式５を使用して、コンテキスト及び質問の加重和をそれぞれ
Figure 2021507429
及び
Figure 2021507429
として生成する。
Figure 2021507429
次に、コアテンション・レイヤ３３０は、
Figure 2021507429
及び
Figure 2021507429
の連結としてコアテンション要約Ｓを生成する。コアテンション要約Ｓには一連のベクトルsが含まれており、ｓからの（センチネル位置に対応する）第１のベクトルは削除できる。次に、ＳがｂｉＬＳＴＭ３４０に渡される。ｂｉＬＳＴＭ３４０は、位置エンコーディングが追加される出力
Figure 2021507429
を生成する。
次に、出力
Figure 2021507429
は、マルチレイヤのセルフアテンション（self-attention）ベースのトランスフォーマの各レイヤｉのエンコーディング
Figure 2021507429
を生成するマルチレイヤのセルフアテンションベースのトランスフォーマに渡される。図３に示されるように、マルチレイヤのセルフアテンションベースのトランスフォーマはトランスフォーマ・レイヤ３５１及び３５２を含む。また、マルチレイヤのセルフアテンションベースのトランスフォーマが２つのレイヤで示されているが、いくつかの実施形態では、マルチレイヤのセルフアテンションベースのトランスフォーマは、単一のレイヤのみ又は３つ以上のレイヤを含むことができる。各トランスフォーマ・レイヤ３５１及び３５２は、図４及び図５に関して以下でさらに詳細に説明するように、残余接続（residual connection）及びレイヤ正規化とともに位置毎に完全に接続されたフィードフォワード・ネットワークが続くマルチヘッドのセルフアテンション・メカニズムを含む。
図４は、いくつかの実施形態によるアテンション・ネットワーク４００の簡略図である。図４に示されるように、アテンション・ネットワーク４００は、クエリ
Figure 2021507429
、キーｋ
Figure 2021507429
及び値
Figure 2021507429
を受け取る。ｑ、ｋ、及びｖのそれぞれは、式６〜式８に従って、それぞれの重みＷＱ４１０、ＷＫ４２０、及びＷＶ４３０の影響を受ける。重みＷＱ４１０、ＷＫ４２０、及びＷＶ４３０は、バック・プロパゲーション（back propagation）を使用した訓練中に変更される。
Figure 2021507429
Figure 2021507429
Figure 2021507429
得られたＱ、Ｋ、及びＶベクトルは、ＱとＫのドット積を生成するアテンション（attention）伝達関数４４０に渡され、次に式９に従ってＶに適用される。
Figure 2021507429
次に、追加及び正規化モジュール４５０を使用して、クエリｑをアテンション伝達関数からの出力と組み合わせて、アテンション・ネットワーク４００による学習の速度を改善する残余接続を提供する。追加及び正規化モジュール４５０は、式１０を実行し、ここでμ及びσはそれぞれ入力ベクトルの平均及び標準偏差であり、ｇｉは、レイヤの正規化（layer normalization）をスケーリングするためのゲインパラメータである。追加及び正規化モジュール４５０からの出力は、アテンション・ネットワーク４００の出力である。
Figure 2021507429
アテンション・ネットワーク４００は、大抵の場合、２つの変形形態で使用される。第１の変形形態は、アテンション・ネットワーク４００と一致する複数のアテンション・ネットワークが並列に実装されるマルチヘッドのアテンション・レイヤであり、マルチヘッド・アテンション・ネットワークの各「ヘッド」は、それ自体の重みＷＱ４１０、ＷＫ４２０、及びＷＶ４３０を有しており、これらの重みは、異なる値に初期化され、異なるエンコーディングを学習するように訓練される。次に、各ヘッドからの出力を一緒に連結して、マルチヘッドのアテンション・レイヤの出力を形成する。第２の変形形態は、マルチヘッドのアテンション・レイヤであるセルフアテンション・レイヤであり、ここでｑ、ｋ、及びｖの入力が、アテンション・ネットワークの各ヘッドと同じである。
セルフアテンションベースのレイヤは、２０１７年６月１２日に提出されたVaswaniらの、“Attention is All You Need,”
arXiv preprint arXiv: 1706.03762にさらに記載されており、この文献は、その全体が参照により組み込まれる。
図５は、いくつかの実施形態によるアテンションベースのトランスフォーマ・ネットワークのレイヤ５００の簡略図である。いくつかの実施形態によれば、システム３００の各トランスフォーマ・レイヤ３５１及び／又は３５２は、レイヤ５００と一致する。図５に示されるように、レイヤ５００は、エンコード化レイヤ５１０及びデコード化レイヤ５２０を含む。
エンコード化レイヤ５１０は、（例えば、入力ネットワークからエンコード化スタックにおける第１のレイヤの、又は次に最も低いレイヤのレイヤ出力からエンコード化スタックの他の全てのレイヤの）レイヤ入力を受け取り、それをマルチヘッドのアテンション・レイヤ５１１の３つ全て（ｑ、ｋ、及びｖ）の入力に与え、こうして、マルチヘッドのアテンション・レイヤ５１１は、セルフアテンション・ネットワークとして構成される。マルチヘッドのアテンション・レイヤ５１１の各ヘッドは、アテンション・ネットワーク４００と一致する。いくつかの例では、マルチヘッドのアテンション・レイヤ５１１は、３つのヘッドを含むが、２つ又は３つ以上等の他の数のヘッドが可能である。いくつかの例では、各アテンション・レイヤの次元は２００であり、隠れサイズは１２８である。マルチヘッドのアテンション・レイヤ５１１の出力は、フィードフォワード・ネットワーク５１２に提供され、フィードフォワード・ネットワーク５１２の入力と出力との両方が、エンコード化レイヤ５１０のレイヤ出力を生成する追加及び正規化モジュール５１３に提供される。いくつかの例では、フィードフォワード・ネットワーク５１２は、式１１を実行する２レイヤ・パーセプトロン（perceptron）・ネットワークであり、ここで、γはフィードフォワード・ネットワーク５１２への入力であり、Ｍｉ及びｂｉは、それぞれ、パーセプトロン・ネットワークの各レイヤの重み及びバイアスである。いくつかの例では、追加及び正規化モジュール５１３は、追加及び正規化モジュール４５０と実質的に同様である。
ＦＦ（γ）＝ｍａｘ（０，γＭ１＋ｂ１）Ｍ２＋ｂ２ 式１１
デコード化レイヤ５３０は、（例えば、入力ネットワークからデコード化スタックの第１のレイヤの、又は次に最も低いレイヤのレイヤ出力からデコード化スタックの他の全てのレイヤの）レイヤ入力を受け取り、それをマルチヘッドのアテンション・レイヤ５２１の３つ全ての（ｑ、ｋ、及びｖ）入力に提供し、こうして、マルチヘッドのアテンション・レイヤ５２１は、セルフアテンション・ネットワークとして構成される。マルチヘッドのアテンション・レイヤ５２１の各ヘッドはアテンション・ネットワーク４００と一致する。いくつかの例では、マルチヘッドのアテンション・レイヤ５２１は３つのヘッドを含むが、２つ又は３つ以上等の他の数のヘッドが可能である。マルチヘッドのアテンション・レイヤ５１１の出力は、別のマルチヘッドのアテンション・レイヤ５２２へのｑ入力として提供され、マルチヘッドのアテンション・レイヤ５２２のｋ及びｖ入力には、対応するエンコード化レイヤからのエンコード化
Figure 2021507429
出力が提供される。マルチヘッドのアテンション・レイヤ５２１の各ヘッドは、アテンション・ネットワーク４００と一致する。いくつかの例では、マルチヘッドのアテンション・レイヤ５２２は、３つのヘッドを含むが、２つ又は３つ以上等の他の数のヘッドが可能である。いくつかの例では、各アテンション・レイヤの次元は２００であり、隠れサイズは１２８である。マルチヘッドのアテンション・レイヤ５２２の出力は、フィードフォワード・ネットワーク５２３に提供され、フィードフォワード・ネットワーク５２３の入力と出力との両方が、エンコード化レイヤ５１０のレイヤ出力を生成する追加及び正規化モジュール５２４に提供される。いくつかの例では、フィードフォワード・ネットワーク５２３及び追加及び正規化モジュール５２４は、それぞれ、フィードフォワード・ネットワーク５１２及び追加及び正規化モジュール５１３と実質的に同様である。
図３を再び参照すると、マルチレイヤのセルフアテンションベースのトランスフォーマのエンコード側の出力（例えば、図３の例の
Figure 2021507429
）がｂｉＬＳＴＭ３６０に渡され、ｂｉＬＳＴＭ３６０は最終的なエンコード化シーケンスｈを生成する。次に、図６に関して以下でさらに詳細に説明するように、最終的なエンコード化シーケンスｈは、ワード生成器（word generator）３７０に渡される。いくつかの例では、ｂｉＬＳＴＭ３６０は、２００の隠れサイズを有する。
マルチレイヤのセルフアテンションベースのトランスフォーマのデコード側の出力は、一連のベクトルｚである。ベクトルｚのシーケンスもワード生成器３７０に渡され、回答ｐの各ワードが生成されると、それらワードはマルチレイヤのセルフアテンションベースのトランスフォーマのデコード側の第１のレイヤに戻される。
図６は、いくつかの実施形態によるワード生成器３７０の簡略図である。ワード生成器３７０は、ｚを入力ベクトルのシーケンスとして扱い、ｈをアテンションのためのそのコンテキストとして扱う。ワード生成器は、システム３００の回答ｐを生成するために繰り返し動作する。回答ｐは、センチネルエントリを使用して最初に初期化され、完全な回答ｐが生成された後に削除される。（図６の添え字で示されるように）各反復tで、回答ｐの次のワードが、以下でさらに説明するようにｐｔとして生成される。
時間ステップｔにおいて、１レイヤの単方向ＬＳＴＭ６１０は、マルチレイヤのセルフアテンションベースのトランスフォーマのデコーダ側からの以前の入力ｚｔ−１と、以前の時間ステップｔからの以前の隠れ状態
Figure 2021507429
 及び以前のコンテキスト調整済み隠れ状態
Figure 2021507429
との連結に基づいて、式１２を使用して、コンテキスト調整済み隠れ状態
Figure 2021507429
を生成する。
Figure 2021507429
次に、アテンション・レイヤ６２０は、最終的なエンコード化シーケンスｈ及び式１３を使用したコンテキスト調整済み隠れ状態
Figure 2021507429
に基づいて、各エンコード化時間ステップの現在のデコーダ状態への関連性を表すアテンション重みαｔのベクトルを生成する。ここで、Ｈは時間次元に亘って積み重ねられたｈの要素であり、Ｗ１及びｂ１は、アテンション・レイヤ６２０の訓練可能な重み及びバイアスである。
Figure 2021507429
次に、ｔａｎｈレイヤ６３０及びｓｏｆｔｍａｘレイヤ６４０を含む語彙レイヤは、回答ｐの次のワードｐｔとしての候補である語彙ｐｖｏｃａｂ（ｗｔ）内の各ワードの分布状態を生成する。Ｔａｎｈレイヤ６３０は、アテンション重みαｔ、最終的なエンコード化シーケンスｈ、及び式１４を使用したコンテキスト調整済み隠れ状態
Figure 2021507429
に基づいて、現在のタイムステップの隠れ状態
Figure 2021507429
を生成する。ここで、Ｈは時間次元に亘って積み重ねられたｈの要素であり、Ｗ２及びｂ２は、ｔａｎｈレイヤ６３０の訓練可能な重み及びバイアスである。
Figure 2021507429
ｓｏｆｔｍａｘレイヤ６４０は、隠れ状態
Figure 2021507429
に基づいて、式１５を使用して、回答ｐの次のワードｐｔとしての候補である語彙ｐｖｏｃａｂ（ｗｔ）内の各ワードの分布状態を生成する。ここで、Ｗｏｕｔ及びｂｏｕｔは、ｓｏｆｔｍａｘレイヤ６４０の訓練可能な重み及びバイアスである。
Figure 2021507429
コンテキスト・レイヤ６５０は、アテンション重みαｔに基づいて、式１６を使用して、回答ｐの次のワードｐｔとしての候補であるコンテキストｃ ｐｃｏｐｙ（ｗｔ）内の各ワードの分布状態を生成する。
Figure 2021507429
スイッチ６６０は、ｐｖｏｃａｂ（ｗｔ）及びｐｃｏｐｙ（ｗｔ）の分布状態を互いに対してどのように重み付けするかを決定する。スイッチ６６０は、最初に、隠れ状態
Figure 2021507429
、コンテキスト調整済み隠れ状態
Figure 2021507429
、及びマルチレイヤのセルフアテンションベースのトランスフォーマのデコーダ側からの以前の入力ｚｔ−１の連結に基づいて、式１７を使用して重み係数γを生成する。ここで、σは、対数シグモイド（log-sigmoid）、双曲線正接シグモイド等のシグモイド伝達関数を表し、及び／又はＷｓｗｉｔｃｈは、重み係数レイヤの訓練可能な重みである。いくつかの例では、重み係数γは、訓練可能なバイアスｂｓｗｉｔｃｈを使用してさらに決定してもよい。
Figure 2021507429
次に、スイッチ６６０は、式１８を使用して、重み係数γを使用して、語彙中のワード及びコンテキスト中のワードの和集合の最終的な出力分布状態を生成する。次に、回答ｐ内の次のワードｐｔは、最大の重みを有するｐ（ｗｔ）内のワードに基づいて決定できる。
ｐ（ｗｔ）＝γｐｖｏｃａｂ（ｗｔ）＋（１−γ）ｐｃｏｐｙ 式１８
上述し、ここでさらに強調するように、図３は、特許請求の範囲を過度に制限してはならない単なる例である。当業者は、多くの変形、代替、及び修正を認識するであろう。いくつかの実施形態によれば、システム３００内の１つ又は複数のレイヤはオプションであり、省略してもよい。いくつかの例では、線形レイヤ３１０及び／又は３１５は、オプションであり、コンテキストｃ及び質問ｑに使用されるエンコーディングをそれぞれｂｉＬＳＴＭ３２０及び３２５に直接渡すことで、省略できる。いくつかの例では、ｂｉＬＳＴＭ３２０及び／又は３２５は、オプションであり、線形レイヤ３１０及び３１５の出力をコアテンション・レイヤ３３０に直接渡すことで、省略できる。いくつかの例では、線形レイヤ３１０及び３１５並びにｂｉＬＳＴＭ３２０及び３２５は、オプションであり、コンテキストｃ及び質問ｑに使用されるエンコーディングをコアテンション・レイヤ３３０に直接渡すことで、省略できる。
システム３００は、複数のタスク（例えば、分類（感情解析等）、言語翻訳、及び質問応答）に使用され、全てのタスクタイプに亘って様々なレイヤのパラメータを共有するため、注意深く訓練されない場合に、壊滅的な忘却の影響を受け易い可能性がある。これに対処するために、いくつかの実施形態では、システム３００は、タスクタイプのそれぞれのバランスの取れた混合に対してシステム３００を同時に訓練するように訓練サンプルが提示される順序を使用してシステム３００が訓練されるジョイント（joint）戦略に従って訓練され得る。すなわち、訓練サンプルがシステム３００に提示される順序によって、異なるタスクタイプから、連続する訓練サンプル又は連続する小グループ（例えば、２〜１０程度）の訓練サンプルが選択される。いくつかの例では、ジョイント戦略には、訓練の反復毎に、タスクタイプの異なる１つから訓練サンプル（コンテキストｃ、質問ｑ、グラウンド・トゥルース（ground truth）回答）を選択することが含まれる。ジョイント戦略の目標は、他のタスクタイプよりもあるタスクタイプに重点を置かずに、各タスクタイプに対して同時に訓練することである。しかしながら、実際には、システム３００はタスクタイプのそれぞれを学習するが、そのシステム３００は、タスクタイプのいずれも特によく学習していない。ジョイント訓練戦略については、Collobertらの“A Unified Architecture for Natural Language Processing: Deep Neural
Networks with Multitask Learning,” International Conference on Machine Learning, pp. 160-167、及び橋本らの、“A Joint
Many-task Model: Growing a Neural Network for Multiple NLP Tasks,” Conference
on Empirical Method in Natural Language Processing, 2017, pp. 1923-33に詳細に説明されており、これら文献のそれぞれは、その全体が参照により組み込まれる。
いくつかの実施形態では、システム３００は、タスクタイプのそれぞれに対してシステム３００を個別に訓練するように訓練サンプルがシステム３００に提示される順序を使用してシステム３００が訓練されるシーケンシャル（sequential）訓練戦略に従って訓練され得る。すなわち、訓練のために訓練サンプルがシステム３００に提示される順序は、第２のタスクタイプの各訓練サンプルを提示する前に、及び第１のタスクタイプの各サンプルを再び提示する前等に、第１のタスクタイプの各サンプルを提示することである。シーケンシャル訓練戦略では、タスクタイプの１つに対する訓練が終了し、訓練が第２のタスクタイプに切り替わると、第１のタスクタイプの一部の壊滅的な忘却が発生し始める。しかしながら、各タスクタイプの訓練サンプルを順番に複数回通過させた後に、システム３００は、以前に訓練した各タスクタイプの訓練をより迅速に回復させ始め、休止中の知識を収集する。いくつかの例では、訓練がタスクタイプ同士の間で切り替わるときに起こる破滅的な忘却のために、システム３００は、一般に、最後に訓練されたタスクタイプに関してのみ強い学習を示す。シーケンシャル訓練戦略は、Kirkpatrickらの、”Overcoming Catastrophic Forgetting in Neural Networks,” Proceedings
of the National Academy of Sciences, 2017, pp. 3521-3526に詳細に説明されており、この文献はその全体が参照により組み込まれる。
いくつかの実施形態では、ジョイント訓練及びシーケンシャル訓練戦略の制限に対処する試みが提案されている。いくつかの例では、これらの試みには、計算量の多いフィッシャー（Fisher）情報の生成、全てのタスクタイプの統合システムの目標に悪影響を与えるタスク固有の変更（パッキング及び／又は適応戦略等）の使用等が含まれる。
いくつかの実施形態では、システム３００は、ハイブリッド式訓練戦略に従って訓練してもよい。ハイブリッド式訓練戦略では、システム３００は、最初に、シーケンシャル訓練戦略を使用して訓練される。これにより、システム３００は、各タスクタイプの休止中の知識を収集することができる。各タスクタイプの訓練サンプルを何度も通過した後に、システム３００は、ジョイント訓練戦略を使用して訓練される。初期のシーケンシャル訓練からの休止中の知識があるため、後続のジョイント訓練は、マルチタスクを実行しているときでも、初期シーケンシャル訓練を行わないジョイント訓練だけよりも、各タスクタイプをより効果的に学習できる。システム３００が、初期のシーケンシャル訓練中に以前に訓練したタスクタイプを休止中の知識に完全に抑制することを可能にすることにより、ハイブリッド式訓練戦略は、システム３００に、各タスクタイプに特化することに集中するためのより多くの時間を与える。いくつかの例では、ハイブリッド式訓練戦略は、全てのタスクタイプを一緒に実行する方法を学習することから、各タスクタイプを学習するという目標を切り離す。こうして、訓練がジョイント訓練戦略に切り替わると、システム３００は、タスクタイプのそれぞれをよく学習するように十分準備される。
いくつかの実施形態では、システム３００は、ハイブリッド式訓練戦略の変形である合成（synthesize）訓練戦略に従って訓練される。合成訓練戦略では、システム３００は、最初は、シーケンシャル訓練戦略を使用して訓練されるが、シーケンシャル訓練中の固定間隔及び固定回数の反復で訓練され、訓練は、（シーケンシャル訓練戦略に戻る前に以前に訓練された）タスクタイプ毎にジョイント訓練戦略に切り替わる。以前に学習したタスクタイプのジョイント訓練戦略に一時的に切り替わることにより、システム３００は、古いタスクタイプをより頻繁に思い出し、古い知識を新しい知識と統合することも強制される。
図７は、いくつかの実施形態によるマルチタスク学習の方法７００の簡略図である。方法７００のプロセス７１０〜７８０の１つ又は複数は、少なくとも部分的に、非一時的で有形の機械可読媒体に格納された実行可能コードの形で実装され、コードが１つ又は複数のプロセッサによって実行されたときに、１つ又は複数のプロセッサに、プロセス７１０〜７８０の１つ又は複数を実行させることができる。いくつかの実施形態では、方法７００は、訓練システム３００のハイブリッド式訓練戦略として使用され得るが、方法７００は、システム３００以外の他のマルチタスク・システムを訓練するためにも使用され得る。いくつかの実施形態では、方法７００によって訓練されるタスクタイプは、言語翻訳、分類（例えば、感情解析）、質問応答等の様々な自然言語処理タスクのいずれかを含むことができる。
プロセス７１０では、訓練サンプルが、第１の訓練戦略に従って選択される。いくつかの実施形態では、第１の訓練戦略は、第２のタスクタイプの各訓練サンプルが選択されるまで、第１のタスクタイプとは異なる第２のタスクタイプから訓練サンプルを選択する前に、第１のタスクタイプの各訓練サンプルが選択されるまで、訓練サンプルが第１のタスクタイプの訓練サンプルから選択されるシーケンシャル訓練戦略である。次に、訓練サンプルが追加のタスクタイプから選択され、必要ならば、各タスクタイプの各訓練サンプルが選択された後に、次のタスクタイプに切り替えられる。いくつかの例では、選択された訓練サンプルには、自然言語コンテキスト、自然言語質問、及びコンテキスト及び質問に対応するグラウンド・トゥルース自然言語回答が含まれる。
プロセス７２０では、選択された訓練サンプルがシステムに提示される。いくつかの例では、システムはシステム３００である。訓練サンプルがシステムに適用されると、その訓練サンプルは、現在訓練されているパラメータ（例えば、重み及びバイアス）に従ってシステムの様々なレイヤを通してフィードフォワードされ、回答が生成される。いくつかの例では、回答は自然言語のフレーズである。
プロセス７３０では、システムはエラーに基づいて調整される。プロセス７２０中にシステムによって生成された回答は、選択された訓練サンプルのグラウンド・トゥルース回答と比較され、選択された訓練サンプルのエラーが決定される。次に、エラーは、バック・プロパゲーションを使用してシステム３００にフィードバックされ、レイヤの様々なパラメータ（例えば、重み及びバイアス）を更新することができる。いくつかの例では、確率的勾配降下法（ＳＧＤ）訓練アルゴリズム、適応モーメント推定（ＡＤＡＭ）訓練アルゴリズム等を使用して、バック・プロパゲーションを実行することができる。いくつかの例では、バック・プロパゲーションに使用される勾配が１．０にクリップされ得る。いくつかの例では、学習減衰率は、Vaswaniらの、２０１７年６月１２日に提出された“Attention is All You Need,” arXiv preprint arXiv: 1706.03762で使用されている減衰率と同じであり得る。
プロセス７４０では、第１の訓練戦略から第２の訓練戦略に切り替えるかどうかが決定される。いくつかの例では、第２の訓練戦略に切り替える決定は、各タスクタイプの各訓練サンプルが所定の回数選択された後に行われる。いくつかの例では、所定の回数は５回であり得るが、３回、４回、及び／又は６回以上等の他の任意の回数も使用され得る。いくつかの例では、１つ又は複数の他の要因を用いて、第２の訓練戦略にいつ切り替えるかについての決定を行うことができる。いくつかの例では、１つ又は他の要因には、訓練サンプルを通過する度に各タスクタイプのパフォーマンス・メトリックの変化を監視し、各パス後の各パフォーマンス・メトリックの改善がしきい値量未満だけ改善したときに切り替えを行うことが含まれる。第２の訓練戦略に切り替えないことが決定されると、方法７００はプロセス７１０に戻り、そこで訓練サンプルが第１の訓練戦略に従って選択され続ける。第２の学習訓練戦略に切り替えることが決定されると、訓練サンプルの選択は、プロセス７５０で始まる第２の訓練戦略を使用して行われる。
プロセス７５０では、訓練サンプルが、第２の訓練戦略に従って選択される。いくつかの例では、第２の訓練戦略は、訓練サンプルが各タスクタイプの訓練サンプルから等しく選択されるジョイント訓練戦略である。
プロセス７６０では、選択された訓練サンプルは、プロセス７２０と実質的に同じプロセスを使用してシステムに提示される。
プロセス７７０では、システムは、プロセス７３０と実質的に同じプロセスを使用して、エラーに基づいて調整される。
プロセス７８０では、訓練が完了したかどうかが判定される。いくつかの例では、各タスクタイプの訓練サンプルがシステムに所定の回数提示された後で訓練が完了する。いくつかの例では、所定の回数は８回であり得るが、２〜７及び／又は９回以上等の他の任意の回数も使用され得る。いくつかの例では、１つ又は複数の他の要因を用いて、訓練がいつ完了するかについての決定を行うことができる。いくつかの例では、１つ又は他の要因には、訓練サンプルを通過する度に各タスクタイプのパフォーマンス・メトリックの変化を監視し、各パス後の各パフォーマンス・メトリックの改善がしきい値量未満だけ改善したときに訓練が完了する（ことを注記する）ことを含めることができる。訓練が完了していないと判定された場合に、方法７００はプロセス７４０に戻り、そこで訓練サンプルが第２の訓練戦略に従って選択され続ける。訓練が完了したと判定された場合に、方法７００は終了し、訓練されたシステムは、訓練したタスクのいずれにも使用され得る。
訓練が完了した後に、プロセス７２０及び／又は７６０と実質的に同様のプロセスを使用して、訓練されたシステムを任意のタスクタイプに使用することができ、コンテキストｃ及び質問ｑが、システムに提示され、且つ方法７００に従って訓練されたパラメータ（例えば、重み及びバイアス）によりシステムの様々なレイヤを通してフィードフォワードすることができる。生成された回答は、提示されたコンテキストｃ及び質問ｑに対する応答に対応する。
上記で議論し、ここでさらに強調するように、図７は、特許請求の範囲を過度に制限してはならない単なる例である。当業者は、多くの変形、代替、及び修正を認識するであろう。いくつかの実施形態では、方法７００は、合成訓練戦略を使用するように適合される。合成訓練戦略では、第１の訓練戦略はシーケンシャル訓練戦略の変形であり、第２の訓練戦略はジョイント訓練戦略であり得る。シーケンシャル訓練戦略の変形には、一般に、シーケンシャル訓練戦略に従って訓練サンプルを選択することが含まれるが、ジョイント訓練戦略に従って訓練サンプルが選択される間隔の間は例外である。いくつかの例では、ジョイント訓練戦略の間隔の位置及び配置は、各タスクタイプの訓練反復の数（例えば、システムに提示される訓練サンプルの数）に基づくことができる。非限定的な例として、訓練サンプルの選択には、第１のタスクタイプについて１０，０００個の訓練サンプルを選択すること、各タスクタイプから１，０００個の訓練サンプルを共同して（jointly）選択すること、第１のタスクタイプについて別の１０,０００個の訓練サンプルを選択すること、各タスクタイプから１，０００個の訓練サンプルのジョイントを選択すること、第１のタスクタイプの各訓練サンプルが提示されるまで繰り返すこと、次に第２のタスクタイプについて１０,０００個の訓練サンプルを選択すること等が含まれる。いくつかの例では、選択をシーケンシャル・タイプとジョイント・タイプとの間で交互に行う前の訓練サンプルの数は、各タスクタイプの訓練サンプルの数のパーセンテージに基づき得る（例えば、それぞれのタスクタイプの訓練サンプルの数の１０％〜２５％のいずれかの後）。
図８は、いくつかの実施形態による訓練パフォーマンスの簡略図である。より具体的には、図８は、４つのタスクタイプ：英語から独語への（ＥＮ−ＤＥ）言語翻訳、英語から仏語への（ＥＮ−ＦＲ）言語翻訳、質問応答、及び感情分類による訓練システム３００の結果を示す。
英語から独語及び英語から仏語への翻訳タスクタイプの訓練サンプルは、英語から独語（ＩＷＳＬＴ ＥＮ→ＤＥ）の訓練セット及び英語から仏語（ＩＷＳＬＴ ＥＮ→ＦＲ）の訓練セットに関する音声言語翻訳の国際ワークショップに基づいており、訓練サンプルには、ＴＥＤ会話から転記された約２１０，０００の文のペアが含まれている。２つの言語翻訳タスクタイプに使用されるパフォーマンス・メトリックは、ＢＬＥＵスコアである。
質問応答タスクタイプの訓練サンプルは、スタンフォード質問応答データセット（ＳＱｕＡＤ）に基づいており、これには、ウィキペディアの記事の段落サンプルに関連する質問に基づいた１０，５７０個の訓練サンプルが含まれている。質問応答タスクタイプに使用されるパフォーマンス・メトリックは、Ｆ１スコアである。
感情分類タスクタイプの訓練サンプルは、中立的な例が削除されたスタンフォード感情ツリーバンク（ＳＳＴ）に基づいている。ＳＳＴには、映画のレビュー及びその感情に基づいた約５６，４００個の訓練サンプルが含まれている。感情分類タスクタイプに使用されるパフォーマンス・メトリックは、完全一致のパーセンテージである。
図８は、前述したパフォーマンス・メトリックによる各タスクタイプの学習結果をさらに示している。各タスクタイプの３つの結果が示される。単一の列は、システム３００が示されたタスクタイプの訓練サンプルのみを使用して訓練された場合のそれぞれのパフォーマンス・メトリックを示す。ジョイント列は、システム３００がジョイント訓練戦略を使用して訓練される場合と同じパフォーマンス・メトリックを示す。ハイブリッドの列は、システム３００が方法７００のハイブリッド式訓練戦略を使用して訓練された場合と同じパフォーマンス・メトリックを示す。システム３００の各バージョンが単一のタスクに特化できるため、予想通り、単一のタスクタイプの訓練結果は最高のパフォーマンス・メトリックになる。ジョイントの列は、ジョイント訓練戦略の使用が著しく悪い結果をもたらすことを示し、ハイブリッドの列は、ジョイント訓練戦略に対する方法７００のハイブリッド式訓練戦略の使用の改善を示す。さらに、感情分類タスクタイプを除いて、方法７００のハイブリッド式訓練戦略は、ジョイント訓練戦略よりも大幅に優れたパフォーマンス結果をもたらした。
図９Ａ〜図９Ｃは、いくつかの実施形態による訓練パフォーマンスの簡略図である。図９Ａは、システム３００が各タスクタイプについて個別に訓練されるとき（例えば、図８の単一の列と比較して）、各タスクタイプについての訓練を繰り返してそれぞれのパフォーマンス・メトリックを追跡する。こうして、図９Ａは、システム３００の４つの別々に訓練されたバージョンの結果を示す。図９Ｂは、システム３００がジョイント訓練戦略に従って訓練された場合のそれぞれのパフォーマンス・メトリックを追跡する。図９Ｂのパフォーマンス・メトリックが示すように、ＳＳＴ分類タスクタイプ以外に、ジョイント訓練戦略を使用して訓練されたシステム３００のバージョンは、タスクタイプのいずれも特によく学習しなかった。図９Ｃは、システム３００が方法７００のハイブリッド式訓練戦略に従って訓練された場合のそれぞれのパフォーマンス・メトリックを追跡する。訓練サンプルが初期のシーケンシャル訓練中に１つのタスクタイプから別のタスクタイプに切り替わるときの壊滅的な忘却の影響は、図９Ｃではっきりと分かる。シーケンシャル訓練戦略を使用して各タスクタイプからの訓練サンプルが５回提示され、訓練戦略がジョイント訓練戦略に切り替えられた後に（約２５０,０００回の反復）、パフォーマンス・メトリックは、図９Ｂのジョイント訓練戦略のみのアプローチのパフォーマンス・メトリックよりも優れており、且つ図９Ａのシステム３００の別々に訓練されたバージョンのパフォーマンス・メトリックにより近づく値に急速に向上する。
図１０Ａ及び図１０Ｂは、いくつかの実施形態による訓練順序に基づく訓練パフォーマンスの簡略図である。図１０Ａ及び図１０Ｂは、ハイブリッド式訓練戦略の初期のシーケンシャル訓練中に、様々なタスクタイプの訓練がシステム３００に提示される順序を変更することの影響を示している。図１０Ａに示されるように、感情分類（ＳＳＴ）タスクタイプからの訓練サンプルで訓練される前に、システム３００が英語から独語（ＩＷＳＬＴ ＥＮ→ＤＥ）への言語翻訳タスクタイプの訓練サンプルで最初に訓練される場合に、システム３００は、訓練サンプルが英語から独語への翻訳タスクタイプから再度抽出されると、英語から独語への翻訳知識を素早く回復できる。対照的に、図１０Ｂは、英語から独語への翻訳タスクタイプに対して訓練される前に、システム３００が感情分類タスクタイプに対して最初に訓練される場合に、システム３００は、英語から独語への翻訳タスクタイプを十分に学習できないことを示している。これは、英語から独語への翻訳タスクタイプに対する最初の訓練によるものであり、訓練サンプルの複雑さ及び豊富さが増すため、初期のエンコード化知識が向上すると推測される。
コンピュータ装置１００等のコンピュータ装置のいくつかの例は、実行可能コードを含む非一時的で有形の機械可読媒体を含み得、コードが１つ又は複数のプロセッサ（例えば、プロセッサ２１０）によって実行されると、１つ又は複数のプロセッサに、方法７００のプロセスを実行させることができる。方法７００のプロセスを含み得る機械可読媒体のいくつかの一般的な形態は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、他の任意の磁気媒体、ＣＤ−ＲＯＭ、他の任意の光媒体、パンチカード、紙テープ、孔パターンを有する他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ−ＥＰＲＯＭ、他のメモリチップ又はカートリッジ、及び／又はプロセッサ又はコンピュータが読み取るように適応された他の媒体である。
発明の態様、実施形態、実装、又は用途を示すこの説明及び添付の図面は、限定として解釈すべきではない。この説明及び特許請求の範囲の趣旨及び範囲から逸脱することなく、様々な機械的、構成的、構造的、電気的、及び動作上の変更を行うことができる。いくつかの例では、本開示の実施形態を不明瞭にしないために、良く知られた回路、構造、又は技術は、詳細に示していないか、又は説明していない。２つ以上の図の同じ番号は、同じ又は類似の要素を表す。
この説明では、本開示と一致するいくつかの実施形態を説明する特定の詳細が示されている。実施形態の完全な理解を与えるために、多数の特定の詳細が示されている。しかしながら、当業者には、これらの特定の詳細の一部又は全部がなくても、いくつかの実施形態を実施できることが明らかであろう。本明細書に開示される特定の実施形態は、例示的であることを意味し、限定的ではない。当業者は、本明細書では具体的に説明されていないが、本開示の範囲及び精神内にある他の要素を認識し得る。加えて、不必要な繰返しを避けるために、特に記載されない限り、或いは１つ又は複数の特徴が実施形態を機能しないものにする場合を除き、１つの実施形態に関連して示され説明される１つ又は複数の特徴を他の実施形態に組み込むことができる。
例示的な実施形態について、示し、説明してきたが、前述の開示では広範囲の修正、変更、及び置換が企図され、いくつかの例では、実施形態のいくつかの特徴は、他の特徴の対応する使用なしに採用され得る。当業者は、多くの変形、代替、及び修正を認識するであろう。従って、本発明の範囲は、以下の添付の特許請求の範囲によってのみ限定すべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で広く解釈することが適切である。

Claims (20)

  1. 自然言語処理のためのシステムであって、当該システムは、
    コンテキストからの第１のワードと質問からの第２のワードとをエンコードするための入力レイヤと、
    該入力レイヤからの出力と回答の一部とを受け取るためのエンコーダ及びデコーダを含むセルフアテンションベースのトランスフォーマと、
    前記エンコーダの出力をさらにエンコードするための第１の双方向長・短期メモリ（ｂｉＬＳＴＭ）と、
    前記デコーダの前記出力及び隠れ状態からコンテキスト調整済み隠れ状態を生成するための長・短期メモリ（ＬＳＴＭ）と、
    前記第１のｂｉＬＳＴＭの出力及び前記ＬＳＴＭの出力に基づいて、第１のアテンション重みを生成するためのアテンション・ネットワークと、
    前記第１のアテンション重みに基づいて、語彙の第３のワードの分布状態を生成するための語彙レイヤと、
    前記第１のアテンション重みに基づいて、前記コンテキストから前記第１のワードの分布状態を生成するためのコンテキスト・レイヤと、
    スイッチと、を含んでおり、
    該スイッチは、
    前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との間の重みを生成し、
    前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との前記重みに基づいて、複合（composite）分布状態を生成し、且つ
    該複合分布状態を使用して前記回答に含めるワードを選択する、
    システム。
  2. 前記入力レイヤには、線形レイヤ、第２のｂｉＬＳＴＭ、コアテンション・レイヤ、及び第３のｂｉＬＳＴＭのうちの１つ又は複数が含まれる、請求項１に記載のシステム。
  3. 前記コアテンション・レイヤは、
    前記コンテキストと前記質問とのエンコードされた表現同士の間の類似性マトリックスを生成し、
    該類似性マトリックスに基づいて、第２のアテンション重みを生成し、且つ
    該第２のアテンション重みを使用して、前記コンテキストと前記質問との加重和を生成する、請求項２に記載のシステム。
  4. 前記語彙レイヤは、
    前記第１のアテンション重み、前記エンコーダの前記出力の更なるエンコーディング、及び前記コンテキスト調整済み隠れ状態に基づいて、前記隠れ状態を生成するためのｔａｎｈレイヤと、
    前記隠れ状態に基づいて、前記語彙内の前記第３のワードの前記分布状態を生成するためのｓｏｆｔｍａｘレイヤと、を含む、請求項１乃至３のいずれか一項に記載のシステム。
  5. 前記デコーダ、前記ＬＳＴＭ、前記アテンション・ネットワーク、前記語彙レイヤ、前記コンテキスト・レイヤ、及び前記スイッチは、前記回答の各ワードを繰り返し選択する、請求項１乃至４のいずれか一項に記載のシステム。
  6. 前記トランスフォーマは複数のトランスフォーマ・レイヤを含み、該複数のトランスフォーマ・レイヤのそれぞれが、第１のマルチヘッドのセルフアテンション・ネットワークを有するエンコーダ部と、第２のマルチヘッドのセルフアテンション・ネットワーク及び第３のマルチヘッドのアテンション・ネットワークを有するデコーダ部とを含む、請求項１乃至５のいずれか一項に記載のシステム。
  7. 前記システムは、該システムが、シーケンシャル訓練戦略を使用して複数のタスクタイプに対して最初に訓練され、次にジョイント訓練戦略を使用して前記複数のタスクタイプに対して訓練されるハイブリッド式訓練戦略を使用して訓練される、請求項１乃至６のいずれか一項に記載のシステム。
  8. 前記複数のタスクタイプのそれぞれが、言語翻訳タスクタイプ、分類タスクタイプ、又は質問応答タスクタイプである、請求項７に記載のシステム。
  9. 自然言語処理のための方法であって、当該方法は、
    コンテキストからの第１のワードと質問からの第２のワードとを受け取るステップと、
    入力レイヤを使用して、前記コンテキストからの前記第１のワードと前記質問からの前記第２のワードをエンコードして、第１のエンコーディングを生成するステップと、
    セルフアテンションベースのトランスフォーマを使用して、前記第１のエンコーディングをさらにエンコードして、前記コンテキストからの前記第１のワードと前記質問からの前記第２のワードとの第２のエンコーディングを生成するステップと、
    前記セルフアテンションベースのトランスフォーマを使用して、前記第２のエンコーディングをデコードして、デコーダ出力を生成するステップと、
    第１の双方向長・短期メモリ（ｂｉＬＳＴＭ）を使用して、前記第２のエンコーディングをさらにエンコードして、第３のエンコーディングを生成するステップと、
    長・短期記憶（ＬＳＴＭ）を使用して、前記第３のエンコーディングと隠れ状態とからコンテキスト調整済み隠れ状態を生成するステップと、
    アテンション・ネットワークを使用して、前記第３のエンコーディングと前記コンテキスト調整済み隠れ状態とに基づいて、第１のアテンション重みを生成するステップと、
    語彙レイヤを使用して、前記第１のアテンション重みに基づいて、語彙の第３のワードの分布状態を生成するステップと、
    コンテキスト・レイヤを使用して、前記第１のアテンション重みに基づいて、前記コンテキストから前記第１のワードの分布状態を生成するステップと、
    スイッチを使用して、前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との間の重みを生成するステップと、
    前記スイッチを使用して、前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との前記重みに基づいて、複合分布状態を生成するステップと、
    前記スイッチを使用して、前記複合分布状態を使用して回答に含めるワードを選択するステップと、を含む、
    方法。
  10. コアテンション・レイヤを使用して、前記コンテキストと前記質問とのエンコードされた表現同士の間の類似性マトリックスを生成するステップと、
    前記コアテンション・レイヤを使用して、前記類似性マトリックスに基づいて第２のアテンション重みを生成するステップと、
    前記コアテンション・レイヤを使用して、前記第２のアテンション重みを使用して前記コンテキストと前記質問との加重和を生成するステップと、をさらに含む、請求項９に記載の方法。
  11. 前記語彙レイヤのｔａｎｈレイヤを使用して、前記第１のアテンション重み、前記第２のエンコーディング、及び前記コンテキスト調整済み隠れ状態に基づいて、前記隠れ状態を生成するステップと、
    前記語彙レイヤのｓｏｆｔｍａｘレイヤを使用して、前記隠れ状態に基づいて、前記語彙内の前記第３のワードの前記分布状態を生成するステップと、をさらに含む、請求項９又は１０に記載の方法。
  12. 前記セルフアテンションベースのトランスフォーマ、前記ＬＳＴＭ、前記アテンション・ネットワーク、前記語彙レイヤ、前記コンテキスト・レイヤ、及び前記スイッチを使用して、前記回答の各ワードを繰り返し選択するステップをさらに含む、請求項９乃至１１のいずれか一項に記載の方法。
  13. 前記第２のエンコーディングを生成するステップは、１つ又は複数のエンコード化レイヤを使用するステップを含み、各エンコード化レイヤには、第１のマルチヘッドのセルフアテンション・ネットワークが含まれ、
    前記デコーダ出力を生成するステップは、１つ又は複数のデコード化レイヤを使用するステップを含み、各デコード化レイヤには、第２のマルチヘッドのセルフアテンション・ネットワーク及び第３のマルチヘッドのアテンション・ネットワークが含まれる、請求項９乃至１２のいずれか一項に記載の方法。
  14. 複数の機械可読命令を含む非一時的な機械可読媒体であって、前記命令がコンピュータ装置に関連付けられた１つ又は複数のプロセッサによって実行されたときに、該１つ又は複数のプロセッサに、
    コンテキストからの第１のワードと質問からの第２のワードとを受け取ること、
    前記コンテキストからの前記第１のワードと前記質問からの前記第２のワードとをエンコードして、第１のエンコーディングを生成すること、
    セルフアテンションを使用して、前記第１のエンコーディングをさらにエンコードして、前記コンテキストからの前記第１のワードと前記質問からの前記第２のワードとの第２のエンコーディングを生成すること、
    セルフアテンションを使用して、前記第２のエンコーディングをデコードして、デコーダ出力を生成すること、
    前記第２のエンコーディングをさらにエンコードして、第３のエンコーディングを生成すること、
    前記第３のエンコーディングと隠れ状態とからコンテキスト調整済み隠れ状態を生成すること、
    前記第３のエンコーディングと前記コンテキスト調整済み隠れ状態とに基づいて、第１のアテンション重みを生成すること、
    前記第１のアテンション重みに基づいて、語彙の第３のワードの分布状態を生成すること、
    前記第１のアテンション重みに基づいて、前記コンテキストから前記第１のワードの分布状態を生成すること、
    前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との間の重みを生成すること、
    前記語彙からの前記第３のワードの前記分布状態と前記コンテキストからの前記第１のワードの前記分布状態との前記重みに基づいて、複合分布状態を生成すること、及び
    前記複合分布状態を使用して、回答に含めるワードを選択すること、を実行させる段階を含むように適合される、
    非一時的な機械可読媒体。
  15. 前記段階には、
    前記コンテキストと前記質問とのエンコードされた表現同士の間の類似性マトリックスを生成すること、
    該類似性マトリックスに基づいて、第２のアテンション重みを生成すること、及び
    該第２のアテンション重みを使用して、前記コンテキストと前記質問との加重和を生成することがさらに含まれる、請求項１４に記載の非一時的な機械可読媒体。
  16. 前記段階には、
    前記第１のアテンション重み、前記第２のエンコーディング、及び前記コンテキスト調整済み隠れ状態に基づいて、前記隠れ状態を生成すること、
    該隠れ状態に基づいて、前記語彙内の前記第３のワードの前記分布状態を生成することがさらに含まれる、請求項１４又は１５に記載の非一時的な機械可読媒体。
  17. 前記段階には、前記回答の各ワードを繰り返し選択することがさらに含まれる、請求項１４乃至１６のいずれか一項に記載の非一時的な機械可読媒体。
  18. 前記第２のエンコーディングを生成することには、１つ又は複数のエンコード化レイヤを使用することが含まれ、各エンコード化レイヤには、第１のマルチヘッドのセルフアテンション・ネットワークが含まれ、
    前記デコーダ出力を生成することには、１つ又は複数のデコード化レイヤを使用することが含まれ、各デコード化レイヤには、第２のマルチヘッドのセルフアテンション・ネットワーク及び第３のマルチヘッドのアテンション・ネットワークが含まれる、請求項１４乃至１７のいずれか一項に記載の非一時的な機械可読媒体。
  19. 前記段階には、ハイブリッド式訓練戦略を使用して訓練することがさらに含まれ、前記ハイブリッド式訓練戦略は、シーケンシャル訓練戦略を使用して複数のタスクタイプに対して最初に訓練され、次にジョイント訓練戦略を使用して前記複数のタスクタイプに対して訓練される、請求項１４乃至１８のいずれか一項に記載の非一時的な機械可読媒体。
  20. 前記複数のタスクタイプのそれぞれが、言語翻訳タスクタイプ、分類タスクタイプ、又は質問応答タスクタイプである、請求項１９に記載の非一時的な機械可読媒体。
JP2020542614A 2018-02-09 2019-01-30 質問応答としてのマルチタスク学習 Active JP6952201B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021156339A JP7285895B2 (ja) 2018-02-09 2021-09-27 質問応答としてのマルチタスク学習

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862628850P 2018-02-09 2018-02-09
US62/628,850 2018-02-09
US15/974,118 US10776581B2 (en) 2018-02-09 2018-05-08 Multitask learning as question answering
US15/974,118 2018-05-08
PCT/US2019/015909 WO2019156875A1 (en) 2018-02-09 2019-01-30 Multitask learning as question answering

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021156339A Division JP7285895B2 (ja) 2018-02-09 2021-09-27 質問応答としてのマルチタスク学習

Publications (2)

Publication Number Publication Date
JP2021507429A true JP2021507429A (ja) 2021-02-22
JP6952201B2 JP6952201B2 (ja) 2021-10-20

Family

ID=67540543

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2020542861A Active JP7109557B2 (ja) 2018-02-09 2019-01-30 質問応答としてのマルチタスク学習
JP2020542614A Active JP6952201B2 (ja) 2018-02-09 2019-01-30 質問応答としてのマルチタスク学習
JP2021156339A Active JP7285895B2 (ja) 2018-02-09 2021-09-27 質問応答としてのマルチタスク学習

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020542861A Active JP7109557B2 (ja) 2018-02-09 2019-01-30 質問応答としてのマルチタスク学習

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021156339A Active JP7285895B2 (ja) 2018-02-09 2021-09-27 質問応答としてのマルチタスク学習

Country Status (5)

Country Link
US (3) US11501076B2 (ja)
EP (2) EP3750111A1 (ja)
JP (3) JP7109557B2 (ja)
CN (2) CN111712836B (ja)
WO (2) WO2019156875A1 (ja)

Families Citing this family (122)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US11386327B2 (en) 2017-05-18 2022-07-12 Salesforce.Com, Inc. Block-diagonal hessian-free optimization for recurrent and convolutional neural networks
US10817650B2 (en) 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning
US11501076B2 (en) 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
US10929607B2 (en) 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
US11227218B2 (en) 2018-02-22 2022-01-18 Salesforce.Com, Inc. Question answering from minimal context over documents
US10783875B2 (en) 2018-03-16 2020-09-22 Salesforce.Com, Inc. Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network
US11106182B2 (en) 2018-03-16 2021-08-31 Salesforce.Com, Inc. Systems and methods for learning for domain adaptation
US11600194B2 (en) * 2018-05-18 2023-03-07 Salesforce.Com, Inc. Multitask learning as question answering
US10909157B2 (en) 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
US10740536B2 (en) * 2018-08-06 2020-08-11 International Business Machines Corporation Dynamic survey generation and verification
US10970486B2 (en) 2018-09-18 2021-04-06 Salesforce.Com, Inc. Using unstructured input to update heterogeneous data stores
US11436481B2 (en) 2018-09-18 2022-09-06 Salesforce.Com, Inc. Systems and methods for named entity recognition
US11029694B2 (en) 2018-09-27 2021-06-08 Salesforce.Com, Inc. Self-aware visual-textual co-grounded navigation agent
US11087177B2 (en) 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US11514915B2 (en) 2018-09-27 2022-11-29 Salesforce.Com, Inc. Global-to-local memory pointer networks for task-oriented dialogue
US11645509B2 (en) 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
US10891951B2 (en) * 2018-10-17 2021-01-12 Ford Global Technologies, Llc Vehicle language processing
CN109543824B (zh) * 2018-11-30 2023-05-23 腾讯科技（深圳）有限公司 一种序列模型的处理方法和装置
US10963652B2 (en) 2018-12-11 2021-03-30 Salesforce.Com, Inc. Structured text translation
US11822897B2 (en) 2018-12-11 2023-11-21 Salesforce.Com, Inc. Systems and methods for structured text translation with tag alignment
CN109800294B (zh) * 2019-01-08 2020-10-13 中国科学院自动化研究所 基于物理环境博弈的自主进化智能对话方法、系统、装置
US11922323B2 (en) 2019-01-17 2024-03-05 Salesforce, Inc. Meta-reinforcement learning gradient estimation with variance reduction
US11966389B2 (en) * 2019-02-13 2024-04-23 International Business Machines Corporation Natural language to structured query generation via paraphrasing
US11568306B2 (en) 2019-02-25 2023-01-31 Salesforce.Com, Inc. Data privacy protected machine learning systems
US11003867B2 (en) 2019-03-04 2021-05-11 Salesforce.Com, Inc. Cross-lingual regularization for multilingual generalization
US11366969B2 (en) 2019-03-04 2022-06-21 Salesforce.Com, Inc. Leveraging language models for generating commonsense explanations
US11087092B2 (en) 2019-03-05 2021-08-10 Salesforce.Com, Inc. Agent persona grounded chit-chat generation framework
US11580445B2 (en) 2019-03-05 2023-02-14 Salesforce.Com, Inc. Efficient off-policy credit assignment
US11232308B2 (en) 2019-03-22 2022-01-25 Salesforce.Com, Inc. Two-stage online detection of action start in untrimmed videos
US11281863B2 (en) 2019-04-18 2022-03-22 Salesforce.Com, Inc. Systems and methods for unifying question answering and text classification via span extraction
US11487939B2 (en) 2019-05-15 2022-11-01 Salesforce.Com, Inc. Systems and methods for unsupervised autoregressive text compression
US11562251B2 (en) 2019-05-16 2023-01-24 Salesforce.Com, Inc. Learning world graphs to accelerate hierarchical reinforcement learning
US11620572B2 (en) 2019-05-16 2023-04-04 Salesforce.Com, Inc. Solving sparse reward tasks using self-balancing shaped rewards
US11604965B2 (en) 2019-05-16 2023-03-14 Salesforce.Com, Inc. Private deep learning
US11687588B2 (en) 2019-05-21 2023-06-27 Salesforce.Com, Inc. Weakly supervised natural language localization networks for video proposal prediction based on a text query
US11775775B2 (en) 2019-05-21 2023-10-03 Salesforce.Com, Inc. Systems and methods for reading comprehension for a question answering task
US11669712B2 (en) 2019-05-21 2023-06-06 Salesforce.Com, Inc. Robustness evaluation via natural typos
US11657269B2 (en) 2019-05-23 2023-05-23 Salesforce.Com, Inc. Systems and methods for verification of discriminative models
CN110427490B (zh) * 2019-07-03 2021-11-09 华中科技大学 一种基于自注意力机制的情感对话生成方法与装置
US11615240B2 (en) 2019-08-15 2023-03-28 Salesforce.Com, Inc Systems and methods for a transformer network with tree-based attention for natural language processing
CN110597970B (zh) * 2019-08-19 2023-04-07 华东理工大学 一种多粒度医疗实体联合识别的方法及装置
CN110598221B (zh) * 2019-08-29 2020-07-07 内蒙古工业大学 利用生成对抗网络构造蒙汉平行语料提高蒙汉翻译质量的方法
CN110704588B (zh) * 2019-09-04 2023-05-30 平安科技（深圳）有限公司 基于长短期记忆网络的多轮对话语义分析方法和系统
US11600067B2 (en) * 2019-09-12 2023-03-07 Nec Corporation Action recognition with high-order interaction through spatial-temporal object tracking
CN110766955B (zh) * 2019-09-18 2022-08-26 平安科技（深圳）有限公司 基于动作预测模型的信号调节方法、装置和计算机设备
US11568000B2 (en) 2019-09-24 2023-01-31 Salesforce.Com, Inc. System and method for automatic task-oriented dialog system
US11599792B2 (en) 2019-09-24 2023-03-07 Salesforce.Com, Inc. System and method for learning with noisy labels as semi-supervised learning
US11640527B2 (en) 2019-09-25 2023-05-02 Salesforce.Com, Inc. Near-zero-cost differentially private deep learning with teacher ensembles
CN110674783B (zh) * 2019-10-08 2022-06-28 山东浪潮科学研究院有限公司 一种基于多级预测架构的视频描述方法及系统
KR20210043995A (ko) * 2019-10-14 2021-04-22 삼성전자주식회사 모델 학습 방법 및 장치, 및 시퀀스 인식 방법
CN110738059B (zh) * 2019-10-21 2023-07-14 支付宝(杭州)信息技术有限公司 一种文本相似度计算方法及系统
CN110866098B (zh) * 2019-10-29 2022-10-28 平安科技（深圳）有限公司 基于transformer和lstm的机器阅读方法、装置及可读存储介质
US11620515B2 (en) 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11347708B2 (en) 2019-11-11 2022-05-31 Salesforce.Com, Inc. System and method for unsupervised density based table structure identification
US11288438B2 (en) 2019-11-15 2022-03-29 Salesforce.Com, Inc. Bi-directional spatial-temporal reasoning for video-grounded dialogues
US11334766B2 (en) 2019-11-15 2022-05-17 Salesforce.Com, Inc. Noise-resistant object detection with noisy annotations
US11922303B2 (en) 2019-11-18 2024-03-05 Salesforce, Inc. Systems and methods for distilled BERT-based training model for text classification
US11481636B2 (en) 2019-11-18 2022-10-25 Salesforce.Com, Inc. Systems and methods for out-of-distribution classification
US11748356B2 (en) 2019-12-06 2023-09-05 Nec Corporation Answering complex queries in knowledge graphs with bidirectional sequence encoders
KR20210071471A (ko) * 2019-12-06 2021-06-16 삼성전자주식회사 뉴럴 네트워크의 행렬 곱셈 연산을 수행하는 장치 및 방법
CN110969010A (zh) * 2019-12-06 2020-04-07 浙江大学 一种基于关系指导及双通道交互机制的问题生成方法
CN111027562B (zh) * 2019-12-06 2023-07-18 中电健康云科技有限公司 基于多尺度cnn和结合注意力机制的rnn的光学字符识别方法
US11487999B2 (en) 2019-12-09 2022-11-01 Salesforce.Com, Inc. Spatial-temporal reasoning through pretrained language models for video-grounded dialogues
US11573957B2 (en) 2019-12-09 2023-02-07 Salesforce.Com, Inc. Natural language processing engine for translating questions into executable database queries
US11256754B2 (en) 2019-12-09 2022-02-22 Salesforce.Com, Inc. Systems and methods for generating natural language processing training samples with inflectional perturbations
US11640505B2 (en) 2019-12-09 2023-05-02 Salesforce.Com, Inc. Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading
US11416688B2 (en) 2019-12-09 2022-08-16 Salesforce.Com, Inc. Learning dialogue state tracking with limited labeled data
CN111160038A (zh) * 2019-12-16 2020-05-15 浙江大学 一种基于自注意机制进行视频对话答案与问题的生成方法
CN111160050A (zh) * 2019-12-20 2020-05-15 沈阳雅译网络技术有限公司 一种基于上下文记忆网络的篇章级神经机器翻译方法
CN111125316B (zh) * 2019-12-26 2022-04-22 北京工业大学 一种融合多损失函数及注意力机制的知识库问答方法
US11669745B2 (en) 2020-01-13 2023-06-06 Salesforce.Com, Inc. Proposal learning for semi-supervised object detection
CN111241244A (zh) * 2020-01-14 2020-06-05 平安科技（深圳）有限公司 基于大数据的答案位置获取方法、装置、设备及介质
US11562147B2 (en) 2020-01-23 2023-01-24 Salesforce.Com, Inc. Unified vision and dialogue transformer with BERT
US20210249105A1 (en) 2020-02-06 2021-08-12 Salesforce.Com, Inc. Systems and methods for language modeling of protein engineering
US11921711B2 (en) * 2020-03-06 2024-03-05 Alibaba Group Holding Limited Trained sequence-to-sequence conversion of database queries
CN111476031A (zh) * 2020-03-11 2020-07-31 重庆邮电大学 一种基于Lattice-LSTM的改进中文命名实体识别方法
US11263476B2 (en) 2020-03-19 2022-03-01 Salesforce.Com, Inc. Unsupervised representation learning with contrastive prototypes
CN111582020A (zh) * 2020-03-25 2020-08-25 平安科技（深圳）有限公司 信号处理方法、装置、计算机设备及存储介质
US11328731B2 (en) 2020-04-08 2022-05-10 Salesforce.Com, Inc. Phone-based sub-word units for end-to-end speech recognition
CN111241263A (zh) * 2020-04-24 2020-06-05 支付宝(杭州)信息技术有限公司 文本生成方法、装置和电子设备
US11625543B2 (en) 2020-05-31 2023-04-11 Salesforce.Com, Inc. Systems and methods for composed variational natural language generation
US11720559B2 (en) 2020-06-02 2023-08-08 Salesforce.Com, Inc. Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text
CN111723548B (zh) * 2020-06-10 2024-04-30 腾讯科技（深圳）有限公司 评论扩展方法及装置
CN111813895B (zh) * 2020-08-07 2022-06-03 深圳职业技术学院 一种基于层次注意力机制和门机制的属性级别情感分析方法
US11625436B2 (en) 2020-08-14 2023-04-11 Salesforce.Com, Inc. Systems and methods for query autocompletion
US11934952B2 (en) 2020-08-21 2024-03-19 Salesforce, Inc. Systems and methods for natural language processing using joint energy-based models
US11934781B2 (en) 2020-08-28 2024-03-19 Salesforce, Inc. Systems and methods for controllable text summarization
CN112100328B (zh) * 2020-08-31 2023-05-30 广州探迹科技有限公司 一种基于多轮对话的意向判断方法
CN111815426B (zh) * 2020-09-11 2020-12-15 深圳司南数据服务有限公司 一种涉及金融投研的数据处理方法及终端
CN112131362B (zh) * 2020-09-22 2023-12-12 腾讯科技（深圳）有限公司 对话语句生成方法和装置、存储介质及电子设备
US11995111B2 (en) * 2020-11-13 2024-05-28 Tencent America LLC Efficient and compact text matching system for sentence pairs
US11829442B2 (en) 2020-11-16 2023-11-28 Salesforce.Com, Inc. Methods and systems for efficient batch active learning of a deep neural network
CN112131370B (zh) * 2020-11-23 2021-03-12 四川大学 问答模型构建方法及系统、问答方法及装置、审判系统
CN112508265A (zh) * 2020-12-02 2021-03-16 中国极地研究中心 面向业务流程管理的时间与活动多任务预测方法及系统
CN113377961B (zh) * 2020-12-07 2022-12-06 北京理工大学 基于知识图谱和用户主题的意图-语义槽联合识别系统
CN112487172B (zh) * 2020-12-16 2023-07-18 北京航空航天大学 一种面向深度答案推荐模型的主动学习方法
CN112257393B (zh) * 2020-12-22 2021-04-13 北京百度网讯科技有限公司 实现文本生成的方法、装置、设备和介质
CN112669816B (zh) * 2020-12-24 2023-06-02 北京有竹居网络技术有限公司 模型的训练方法、语音识别方法、装置、介质及设备
CN112905819B (zh) * 2021-01-06 2022-09-23 中国石油大学(华东) 基于复合注意力的原始特征注入网络的视觉问答方法
CN112699244A (zh) * 2021-03-16 2021-04-23 成都信息工程大学 基于深度学习的输变电设备缺陷文本分类方法及系统
CN112905777B (zh) * 2021-03-19 2023-10-17 北京百度网讯科技有限公司 一种扩展问推荐方法、装置、电子设备及存储介质
US11715480B2 (en) * 2021-03-23 2023-08-01 Qualcomm Incorporated Context-based speech enhancement
CN113127591B (zh) * 2021-04-13 2022-09-23 河海大学 一种基于Transformer和LSTM的位置预测方法
CN113011196B (zh) * 2021-04-28 2023-01-10 陕西文都教育科技有限公司 一种概念增强表示与单向蕴含注意力的主观题自动阅卷神经网络模型
CN115438156B (zh) * 2021-05-17 2024-02-02 中山大学 一种多任务学习的答案选择和问题分类的方法及系统
CN113761157B (zh) * 2021-05-28 2024-05-24 腾讯科技（深圳）有限公司 应答语句生成方法和装置
CN113032545B (zh) * 2021-05-29 2021-09-03 成都晓多科技有限公司 基于无监督对话预训练的对话理解与答案配置方法及系统
CN113987147A (zh) * 2021-06-16 2022-01-28 北京金山数字娱乐科技有限公司 样本处理方法及装置
CN113627196A (zh) * 2021-07-21 2021-11-09 前海企保科技（深圳）有限公司 一种基于语境和Transformer的多语言对话机器人系统及其对话方法
US11520815B1 (en) * 2021-07-30 2022-12-06 Dsilo, Inc. Database query generation using natural language text
CN113673594B (zh) * 2021-08-18 2022-07-12 浙江工商大学 一种基于深度学习网络的瑕疵点识别方法
US11615523B2 (en) 2021-08-18 2023-03-28 Zhejiang Gongshang University Methods for recognizing small targets based on deep learning networks
CN113704437B (zh) * 2021-09-03 2023-08-11 重庆邮电大学 一种融合多头注意力机制和相对位置编码的知识库问答方法
CN113779252A (zh) * 2021-09-09 2021-12-10 安徽理工大学 一种基于electra+atten+BiLSTM的针对中文短文本情感分类方法
CN113901172B (zh) * 2021-09-16 2024-04-26 昆明理工大学 基于关键词结构编码的涉案微博评价对象抽取方法
CN113627195B (zh) * 2021-10-14 2022-01-18 华东交通大学 基于层次Transformer和图神经网络的评论情感分析方法及系统
CN114840648A (zh) * 2022-03-21 2022-08-02 阿里巴巴（中国）有限公司 答案生成方法、装置及计算机程序产品
KR20240027347A (ko) * 2022-08-23 2024-03-04 주식회사 Lg 경영개발원 입력 시퀀스를 변환하기 위한 시퀀스 변환 신경망 구현 장치 및 이를 이용한 학습 방법
CN115392260B (zh) * 2022-10-31 2023-04-07 暨南大学 一种面向特定目标的社交媒体推文情感分析方法
CN116737894B (zh) * 2023-06-02 2024-02-20 深圳市客一客信息科技有限公司 基于模型训练的智能机器人服务系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091168A1 (en) * 2015-09-29 2017-03-30 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US20180082171A1 (en) * 2016-09-22 2018-03-22 Salesforce.Com, Inc. Pointer sentinel mixture architecture

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040044791A1 (en) 2001-05-22 2004-03-04 Pouzzner Daniel G. Internationalized domain name system with iterative conversion
US8355550B2 (en) 2007-05-01 2013-01-15 Siemens Aktiengesellschaft Methods and apparatus for virtual coronary mapping
US8121367B2 (en) 2007-09-21 2012-02-21 Siemens Aktiengesellschaft Method and system for vessel segmentation in fluoroscopic images
US10224036B2 (en) * 2010-10-05 2019-03-05 Infraware, Inc. Automated identification of verbal records using boosted classifiers to improve a textual transcript
KR101303936B1 (ko) 2011-11-28 2013-09-05 한국과학기술연구원 가스 센서용 복합 분리막 구조체, 이를 포함하는 가스 센서 장치, 이를 이용한 가스 농도 측정 방법 및 장치
US20140006012A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Learning-Based Processing of Natural Language Questions
US9239828B2 (en) * 2013-12-05 2016-01-19 Microsoft Technology Licensing, Llc Recurrent conditional random fields
US20150179170A1 (en) * 2013-12-20 2015-06-25 Microsoft Corporation Discriminative Policy Training for Dialog Systems
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US11113598B2 (en) 2015-06-01 2021-09-07 Salesforce.Com, Inc. Dynamic memory network
US20160350653A1 (en) 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
CN106294505B (zh) * 2015-06-10 2020-07-07 华中师范大学 一种反馈答案的方法和装置
US20170140240A1 (en) 2015-07-27 2017-05-18 Salesforce.Com, Inc. Neural network combined image and text evaluator and classifier
US20170032280A1 (en) 2015-07-27 2017-02-02 Salesforce.Com, Inc. Engagement estimator
EP3128439A1 (en) * 2015-08-07 2017-02-08 Google, Inc. Text classification and transformation based on author
EP3582151A1 (en) 2015-08-15 2019-12-18 Salesforce.com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
US20170076199A1 (en) * 2015-09-14 2017-03-16 National Institute Of Information And Communications Technology Neural network system, and computer-implemented method of generating training data for the neural network
JP6447465B2 (ja) 2015-11-09 2019-01-09 株式会社デンソー 運転支援装置
US10319374B2 (en) * 2015-11-25 2019-06-11 Baidu USA, LLC Deployed end-to-end speech recognition
US10102844B1 (en) * 2016-03-29 2018-10-16 Amazon Technologies, Inc. Systems and methods for providing natural responses to commands
JP2017204857A (ja) 2016-05-12 2017-11-16 現代自動車株式会社Ｈｙｕｎｄａｉ Ｍｏｔｏｒ Ｃｏｍｐａｎｙ ネットワークにおいてストリームの通信経路設定方法
US10395646B2 (en) * 2016-05-13 2019-08-27 Microsoft Technology Licensing, Llc Two-stage training of a spoken dialogue system
DE112016007110T5 (de) 2016-09-06 2019-04-18 Mitsubishi Electric Corporation Lernvorrichtung, signalverarbeitungsvorrichtung und lernverfahren
JP6870076B2 (ja) * 2016-09-26 2021-05-12 グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ ニューラル機械翻訳システム
US10402658B2 (en) * 2016-11-03 2019-09-03 Nec Corporation Video retrieval system using adaptive spatiotemporal convolution feature representation with dynamic abstraction for video to language translation
US10839284B2 (en) 2016-11-03 2020-11-17 Salesforce.Com, Inc. Joint many-task neural network model for multiple natural language processing (NLP) tasks
US20180129937A1 (en) 2016-11-04 2018-05-10 Salesforce.Com, Inc. Quasi-recurrent neural network
US10963782B2 (en) 2016-11-04 2021-03-30 Salesforce.Com, Inc. Dynamic coattention network for question answering
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US10083162B2 (en) * 2016-11-28 2018-09-25 Microsoft Technology Licensing, Llc Constructing a narrative based on a collection of images
US10268679B2 (en) 2016-12-02 2019-04-23 Microsoft Technology Licensing, Llc Joint language understanding and dialogue management using binary classification based on forward and backward recurrent neural network
US11354565B2 (en) 2017-03-15 2022-06-07 Salesforce.Com, Inc. Probability-based guider
US10474709B2 (en) 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
US10565318B2 (en) 2017-04-14 2020-02-18 Salesforce.Com, Inc. Neural machine translation with latent tree attention
US20180299841A1 (en) * 2017-04-17 2018-10-18 Intel Corporation Autonomous vehicle neural network optimization
CN107256228A (zh) 2017-05-02 2017-10-17 清华大学 基于结构化注意力机制的答案选择系统及方法
US10733380B2 (en) * 2017-05-15 2020-08-04 Thomson Reuters Enterprise Center Gmbh Neural paraphrase generator
US11386327B2 (en) 2017-05-18 2022-07-12 Salesforce.Com, Inc. Block-diagonal hessian-free optimization for recurrent and convolutional neural networks
US10747761B2 (en) 2017-05-18 2020-08-18 Salesforce.Com, Inc. Neural network based translation of natural language queries to database queries
US10817650B2 (en) 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
US20180336453A1 (en) 2017-05-19 2018-11-22 Salesforce.Com, Inc. Domain specific language for generation of recurrent neural network architectures
CN107357838B (zh) * 2017-06-23 2020-09-01 上海交大知识产权管理有限公司 基于多任务学习的对话策略在线实现方法
CN107562792B (zh) 2017-07-31 2020-01-31 同济大学 一种基于深度学习的问答匹配方法
CN107480144B (zh) * 2017-08-03 2020-10-20 中国人民大学 具备跨语言学习能力的图像自然语言描述生成方法和装置
US10671918B2 (en) 2017-10-24 2020-06-02 International Business Machines Corporation Attention based sequential image processing
US20190130896A1 (en) 2017-10-26 2019-05-02 Salesforce.Com, Inc. Regularization Techniques for End-To-End Speech Recognition
US11928600B2 (en) 2017-10-27 2024-03-12 Salesforce, Inc. Sequence-to-sequence prediction using a neural network model
US11604956B2 (en) 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US10592767B2 (en) 2017-10-27 2020-03-17 Salesforce.Com, Inc. Interpretable counting in visual question answering
US11170287B2 (en) 2017-10-27 2021-11-09 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
US10573295B2 (en) 2017-10-27 2020-02-25 Salesforce.Com, Inc. End-to-end speech recognition with policy learning
US11562287B2 (en) 2017-10-27 2023-01-24 Salesforce.Com, Inc. Hierarchical and interpretable skill acquisition in multi-task reinforcement learning
US10346721B2 (en) 2017-11-01 2019-07-09 Salesforce.Com, Inc. Training a neural network using augmented training datasets
EP3710990A4 (en) * 2017-11-14 2021-10-27 Magic Leap, Inc. METALERS FOR MULTITASK LEARNING FOR NEURAL NETWORKS
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning
CN107995535B (zh) 2017-11-28 2019-11-26 百度在线网络技术（北京）有限公司 一种展示视频的方法、装置、设备和计算机存储介质
US11276002B2 (en) 2017-12-20 2022-03-15 Salesforce.Com, Inc. Hybrid training of deep networks
US11501076B2 (en) 2018-02-09 2022-11-15 Salesforce.Com, Inc. Multitask learning as question answering
US11170158B2 (en) * 2018-03-08 2021-11-09 Adobe Inc. Abstractive summarization of long documents using deep learning
JP7091468B2 (ja) * 2018-03-22 2022-06-27 オッポ広東移動通信有限公司 ビデオ時間セグメントを検索するための方法およびシステム
US11055557B2 (en) * 2018-04-05 2021-07-06 Walmart Apollo, Llc Automated extraction of product attributes from images
WO2019208252A1 (ja) 2018-04-23 2019-10-31 日本碍子株式会社 赤外線放射装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170091168A1 (en) * 2015-09-29 2017-03-30 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US20180082171A1 (en) * 2016-09-22 2018-03-22 Salesforce.Com, Inc. Pointer sentinel mixture architecture

Also Published As

Publication number Publication date
CN111699498B (zh) 2021-08-13
US20190251431A1 (en) 2019-08-15
CN111699498A (zh) 2020-09-22
WO2019156873A1 (en) 2019-08-15
JP2022023064A (ja) 2022-02-07
WO2019156875A1 (en) 2019-08-15
JP6952201B2 (ja) 2021-10-20
CN111712836A (zh) 2020-09-25
CN111712836B (zh) 2023-09-19
US20200380213A1 (en) 2020-12-03
EP3750112A1 (en) 2020-12-16
US10776581B2 (en) 2020-09-15
US20190251168A1 (en) 2019-08-15
US11615249B2 (en) 2023-03-28
EP3750111A1 (en) 2020-12-16
JP7109557B2 (ja) 2022-07-29
US11501076B2 (en) 2022-11-15
JP2021513165A (ja) 2021-05-20
JP7285895B2 (ja) 2023-06-02

Similar Documents

Publication Publication Date Title
JP6952201B2 (ja) 質問応答としてのマルチタスク学習
JP7408574B2 (ja) 質問応答としてのマルチタスク学習
US20220044093A1 (en) Generating dual sequence inferences using a neural network model
JP7072585B2 (ja) 文脈固有の単語ベクトルを用いた自然言語処理
Kamath et al. Deep learning for NLP and speech recognition
CN111368996B (zh) 可传递自然语言表示的重新训练投影网络
US10740433B2 (en) Universal transformers
US20220043972A1 (en) Answer generating device, answer learning device, answer generating method, and answer generating program
Lin et al. Variational transformers for diverse response generation
JP7276498B2 (ja) 情報処理装置、情報処理方法及びプログラム
Ma et al. Good students play big lottery better
US20230107409A1 (en) Ensembling mixture-of-experts neural networks
Verma et al. HARENDRAKV at VQA-Med 2020: Sequential VQA with Attention for Medical Visual Question Answering.
WO2022185457A1 (ja) 特徴量抽出装置、学習装置、特徴量抽出方法、学習方法、及びプログラム
Fan et al. Augmenting transformers with KNN-based composite memory
Fu et al. Effective SVD-Based Deep Network Compression for Automatic Speech Recognition

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200806

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200828

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200806

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200828

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20201211

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210927

R150 Certificate of patent or registration of utility model

Ref document number: 6952201

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150