JP6943975B2 - ニューラル機械翻訳システム及び方法 - Google Patents
ニューラル機械翻訳システム及び方法 Download PDFInfo
- Publication number
- JP6943975B2 JP6943975B2 JP2019555607A JP2019555607A JP6943975B2 JP 6943975 B2 JP6943975 B2 JP 6943975B2 JP 2019555607 A JP2019555607 A JP 2019555607A JP 2019555607 A JP2019555607 A JP 2019555607A JP 6943975 B2 JP6943975 B2 JP 6943975B2
- Authority
- JP
- Japan
- Prior art keywords
- encoder
- phrase
- decoder
- attention
- rnng
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/42—Data-driven translation
- G06F40/44—Statistical methods, e.g. probability models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Description
本願は、2018年2月21日付けで出願された米国特許出願第15/901,722号、及び2017年4月14日付けで出願された米国仮特許出願第62/485,856号に対する優先権を主張しており、それら各々は全体的にリファレンスに組み込まれる。
援用
開示される技術の分野
このセクションで議論される対象事項は、このセクションでの単なる言及の結果として先行技術であると考えられるべきではない。同様に、このセクションで言及された、又は背景として提供され対象事項に関連する問題は、先行技術で既に認識されていたものと考えられるべきではない。このセクションにおける対象事項は単に、様々なアプローチを表しているに過ぎず、それ自体、保護が請求される技術の実装にも対応し得る。
我々は先験的注釈なしに言語の階層構造を利用する自然言語処理の長年の目標を達成する機械翻訳タスクのためのアテンション・ニューラル機械翻訳モデルを紹介する。このモデルは、新規なアテンションRNNGデコーダを有する再帰ニューラル・ネットワーク・グラマー(RNNG)エンコーダを含み、ポリシー勾配強化学習を適用して、ソース・シーケンス及びターゲット・シーケンス双方に関して教師なしツリー構造を導出する。明示的なセグメンテーション又はパース・アノーテーションを伴わずに文字レベル・データセット上で訓練される場合、モデルは、もっともらしいセグメンテーション及び浅い解析を学習し、アテンション・ベースラインに近いパフォーマンスを得る。
図1はアテンション・ニューラル機械翻訳システム102が動作する環境100についての一実施形態を示す。システム102は、再帰ニューラル・ネットワーク・グラマー(RNNG)エンコーダ112と、アテンション・ベースのRNNGデコーダ122とを備え、これらは再帰ニューラル・ネットワーク(RNN)アーキテクチャ上で構築される。RNNG及びその変形(スタック専用再帰ニューラル・ネットワーク・グラマー(s−RNNG)等)についての更なる詳細は、「Dyer et al.,2016b」及び「Kuncro et al.」にそれぞれ見出されることが可能であり、これらはあたかもここに完全に記載されているかのようにリファレンスに組み込まれている。長短期メモリ(LSTM)及びゲート付き再帰ユニット(GRU)等のRNNアーキテクチャについての更なる詳細は、「Socher et al.」に見出されることが可能であり、これはあたかもここに完全に記載されているかのようにリファレンスに組み込まれる。アテンション・ベースのRNNGデコーダ122は、アテンダ132を含む。アテンダ132は、比較器142と、指数正規化部152と、凸結合部(a convex combinator)162とを含む。
上述のように、エンコーダ112及びデコーダ122は、互いに結合された再帰ニューラル・ネットワーク・グラマー(RNNG)ネットワークである。一実施形態では、RNNGエンコーダ112は、スタック専用RNNG(Kuncro et al.に記載されている)であり、RNNGデコーダ122は、構成要素レベルのアテンション(例えば、文字レベルのアテンション)で増強されたスタック専用RNNGである。
● NT(非終端):オープン非終端をスタックに導入する,例えば「(NP)」;
● GEN(生成):終端記号を生成し、それをスタック及びバッファに配置する;及び
● RED(リデュース):構成要素は今や完成していることを示す。現在の構成要素を含むスタックの要素はポップされ(最後のオープン非終端に戻る)、コンポジション関数が双方向LSTM(Bi−LSTM)によって実行され、単独の明示的な合成表現を生成し、これはスタックにプッシュされる。
RNNGエンコーダ112は、新しい非終端を表現するために単一のトークンxencを使用するが、RNNGデコーダ122は、エンコーダによって生成される全ての非終端ツリー・ノードのフレーズ表現の構造的アテンションによる重み付け加算として、スタックにおける新しい非終端を表現する。一実施形態では、デコーダ・スタック表現sj decと各エンコーダ・ノードにおけるスタック表現∀si encとの間の正規化されたドット積(即ち、cj encを除いてxj encまでを含むデコーダ・スタックLSTMの隠れ状態)を、エンコーダ・ノードに対応するフレーズ埋め込み∀ci encの重み付け加算における係数として使用する:
図6は、ターゲット・シーケンスを処理するために、アテンション・ベースのRNNGデコーダ122によって適用されるアテンション(又は注意)600の一例である。上述したように、RNNデコーダ122はアテンダ132を備える。アテンダ132は、比較器142と、指数正規化部152と、凸結合部162とを含む。比較器142は、現在のデコーダ状態(例えば、図6におけるs1 dec)を表すデコーダ・ツリー・ノードを、エンコーダ中の異なるエンコーダ状態(例えば、図6におけるs1 enc,s2 enc,s3 enc,s4 enc,s5 enc,s6 enc)を表すエンコーダ・ツリー・ノードと比較する。
図7は、アテンション・ニューラル機械翻訳システム102によるアテンション・ベースのフレーズ構造解析700の一実施形態を示す。
我々のモデルを確率的計算グラフとして定式化し、逆伝搬(決定論的ノードを通る正確な勾配を提供し、教師フォーサ148によって実現される)とバニラ・ポリシー・グラジエント(vanilla policy gradient)(確率論的ノードを通る勾配のモンテカルロ推定器を提供し、強化学習部158によって実現される)とを組み合わせた(トレーナー138によって実現される)トレーニング方法(パラダイム)を導く。我々のモデルには幾つかの種類のトレーニング信号がある。先ず、エンコーダ又はデコーダは、GENアクションを選択すると、現在のスタック状態を1層ソフトマックス・パーセプトロンに通し、次のトークンが語彙のうちの文字各々である確率を与える。生成される各々のトークンに対する言語モデル損失Lkは、グランド・トゥルースの次のトークンに割り当てられる負の対数確率である。他の微分可能なトレーニング信号は、カバレッジ損失Lcであり、これは、アテンション・ウェイトが1対1写像の理想からどれだけ逸脱しているかの尺度である。このペナルティは、3つのMSE項の合計として計算される。
図8は、アテンション・ニューラル機械翻訳システム102によって適用されるアテンションの視覚化800についての一実施形態である。展開セットからの2つの文に対するアテンション視覚化(Attention visualizations)が示されている。2つの構成要素間のアテンションは、影が付いた四角形により表現され、四角形のx軸及びy軸への投影はそれぞれエンコーダ及びデコーダ構成要素をカバーしている。
図9は、アテンション・ニューラル機械翻訳システム102を実施するために使用することが可能なコンピュータ・システム900の一実施態様を示す。コンピュータ・システム900は、バス・サブシステム955を介して多数の周辺デバイスと通信する少なくとも1つの中央処理装置(CPU)972を含む。これらの周辺装置は、例えば、メモリ装置及びファイル・ストレージ・サブシステム936を含むストレージ・サブシステム910と、ユーザー・インターフェース入力装置938と、ユーザー・インターフェース出力装置976と、ネットワーク・インターフェース・サブシステム974とを含むことが可能である。入出力装置は、コンピュータ・システム900とのユーザーの対話を可能にする。ネットワーク・インターフェース・サブシステム974は、他のコンピュータ・システムにおける対応するインターフェース・デバイスに対するインターフェースを含む、外部ネットワークに対するインターフェースを提供する。アテンション・ニューラル機械翻訳システム102は、ストレージ・サブシステム910及びユーザー・インターフェース入力デバイス938に通信可能にリンクされることが可能である。
第1言語のソース・シーケンスを第2言語のターゲット・シーケンスに翻訳するためのアテンション・ニューラル機械翻訳モデルのシステム及び様々な実装を説明する。実装の1つ以上の特徴は、基本的な実装と組み合わせることが可能である。相互に排他的ではない実装同士は、組み合わせることが可能であるように教示されている。実装の1つ以上の特徴は、他の実装と組み合わせることが可能である。本開示はこれらのオプションをユーザーに折に触れて想起させる。これらのオプションを繰り返す記載についての幾つかの実装からの省略は、先行するセクションで教示された組み合わせを限定するものとして解釈されるべきではなく、これらの記載は、後述の実装の各々に援用により前方に組み込まれる。
Claims (15)
- 第1言語のソース・シーケンスを第2言語のターゲット・シーケンスに翻訳するアテンション・ニューラル機械翻訳システムであって:
前記ソース・シーケンスのトークンと前記ソース・シーケンスのフレーズ・ツリー構造とをエンコードするエンコーダ手段であって、前記ソース・シーケンスの前記トークンの各々は前記ソース・シーケンスからの文字に対応し、前記エンコーダ手段は、前記ソース・シーケンスの前記フレーズ・ツリー構造の少なくとも1つを、前記エンコードが:前記ソース・シーケンスの前記フレーズ・ツリー構造のフレーズ・タイプを予測する場合に、エンコーダ状態を表現するエンコーダ・ツリー・ノードと、前記ソース・シーケンスの前記フレーズ・ツリー構造の構成要素を表現するエンコーダ合成埋め込みとを含むようにエンコードするエンコーダ手段;及び
前記ターゲット・シーケンスのトークンと前記ターゲット・シーケンスのフレーズ・ツリー構造とを出力するアテンション・ベースのデコーダ手段であって、アテンション・ウェイトによりスケーリングされたエンコーダ合成埋め込みの凸結合として、前記ターゲット・シーケンスの前記フレーズ・ツリー構造各々の予測されるフレーズ・タイプについてデコーダ埋め込みをエンコードし、異なるフレーズ・タイプに対する共通の埋め込みとして一定のベクトルが使用される、デコーダ手段;
を備えるシステム。 - 前記エンコーダ手段及び前記アテンション・ベースのデコーダ手段は、長短期メモリ(LSTM)ネットワークであり、
前記エンコーダ手段及び前記アテンション・ベースのデコーダ手段の各々は、エンコーダ及びデコーダ合成埋め込みを計算する双方向LSTM(Bi−LSTM)を含む、又は
前記エンコーダ手段及び前記アテンション・ベースのデコーダ手段は、スタック・オンリ再帰ニューラル・ネットワーク・グラマー(s−RNNG)ネットワークである、請求項1に記載のシステム。 - 前記フレーズ・ツリー構造は、構成要素分析ツリー構造、又は依存性分析ツリー構造である、請求項1−2のうち何れか1項に記載のシステム。
- 現在のデコーダ状態を表現するデコーダ・ツリー・ノードと、エンコード中に異なるエンコーダ状態を表現するエンコーダ・ツリー・ノードとを比較する比較手段であって、前記比較は、内積、双一次関数、及び単層ニューラル・ネットワークのうち少なくとも1つを使用して実行される、比較手段;
前記比較の結果を指数正規化する正規化手段;及び
前記指数正規化された結果を前記アテンション・ウェイトとして使用することで、前記エンコーダ・ツリー・ノードに対応するエンコーダ合成埋め込みの重み付け加算を計算する結合手段;
を更に備える請求項1−3のうち何れか1項に記載のシステム。 - 前記比較は、前記ソース・シーケンスの前記フレーズ・ツリー構造と前記ターゲット・シーケンスの前記フレーズ・ツリー構造との間の構文構造的な類似性を測り;及び
前記ソース・シーケンス及び前記ターゲット・シーケンスの構文的に最も類似するフレーズ・ツリー構造間の比較は、最も高いアテンション・ウェイトをもたらす、請求項4に記載のシステム。 - 前記トークンは文字ベースのトークンである、請求項5に記載のシステム。
- 前記ソース・シーケンスの前記フレーズ・ツリー構造の異なるフレーズ・タイプ構成要素の共通埋め込みとして、固定されたベクトルを使用するように更に構成されている請求項1−6のうち何れか1項に記載のシステム。
- 前記エンコーダ手段は、各々のフレーズ・ツリー構造の文字ベース・トークン構成をエンコーダ合成ベクトルに埋め込むことにより、前記ソース・シーケンスのトークンと前記ソース・シーケンスのフレーズ・ツリー構造とをエンコードするRNNGエンコーダ手段であり;及び
前記アテンション・ベースのデコーダ手段は、フレーズ・タイプにより分類された、前記ターゲット・シーケンスのフレーズ・ツリー構造と前記ターゲット・シーケンスのトークンとを出力するRNNGアテンション・ベースのデコーダ手段であり、エンコーダ合成ベクトルに注意を払うことにより計算される前記フレーズ・タイプを或るベクトルが表現し、前記注意は、エンコーディング中のRNNGエンコーダ状態と現在のRNNGデコーダ状態との間の比較により条件付けられる、デコーダ手段;
を備える請求項1、3−7のうち何れか1項に記載のシステム。 - 第1言語のソース・シーケンスを第2言語のターゲット・シーケンスに翻訳するアテンション・ニューラル機械翻訳方法であって:
前記ソース・シーケンスのトークンと前記ソース・シーケンスのフレーズ・ツリー構造とを再帰ニューラル・ネットワーク・グラマー(RNNG)エンコーダを利用してエンコードするステップであって、前記ソース・シーケンスの前記トークンの各々は前記ソース・シーケンスからの文字に対応し、前記ソース・シーケンスの前記フレーズ・ツリー構造の少なくとも1つのエンコードは:前記ソース・シーケンスの前記フレーズ・ツリー構造のフレーズ・タイプを予測する場合に、エンコーダ状態を表現するエンコーダ・ツリー・ノードと、前記ソース・シーケンスの前記フレーズ・ツリー構造の構成要素を表現するエンコーダ合成埋め込みとを含む、ステップ;及び
前記ターゲット・シーケンスのトークンと前記ターゲット・シーケンスのフレーズ・ツリー構造とをRNNGデコーダを利用して出力するステップであって、前記RNNGデコーダは、アテンション・ウェイトによりスケーリングされたエンコーダ合成埋め込みの凸結合として、前記ターゲット・シーケンスの前記フレーズ・ツリー構造各々の予測されるフレーズ・タイプについてデコーダ埋め込みをエンコードし、異なるフレーズ・タイプに対する共通の埋め込みとして一定のベクトルが使用される、ステップ;
を有する方法。 - 現在のデコーダ状態を表現するデコーダ・ツリー・ノードと、エンコード中に異なるエンコーダ状態を表現するエンコーダ・ツリー・ノードとを比較するステップであって、前記比較は、内積、双一次関数、及び単層ニューラル・ネットワークのうち少なくとも1つを使用して実行される、ステップ;
前記比較の結果を指数正規化するステップ;及び
前記指数正規化された結果を前記アテンション・ウェイトとして使用することで、前記エンコーダ・ツリー・ノードに対応するエンコーダ合成埋め込みの重み付け加算を計算するステップ;
を更に備える請求項9に記載の方法。 - 前記比較は、前記ソース・シーケンスの前記フレーズ・ツリー構造と前記ターゲット・シーケンスの前記フレーズ・ツリー構造との間の構文構造的な類似性を測り;及び
前記ソース・シーケンス及び前記ターゲット・シーケンスの構文的に最も類似するフレーズ・ツリー構造間の比較は、最も高いアテンション・ウェイトをもたらす、請求項10に記載の方法。 - 前記トークンは文字ベースのトークンである、請求項9−11のうち何れか1項に記載の方法。
- 前記ソース・シーケンスの前記フレーズ・ツリー構造の異なるフレーズ・タイプ構成要素の共通埋め込みとして、固定されたベクトルを使用するステップを更に有する請求項9−12のうち何れか1項に記載の方法。
- 各々のフレーズ・ツリー構造の文字ベース・トークン構成をエンコーダ合成ベクトルに埋め込むことにより、前記ソース・シーケンスのトークンと前記ソース・シーケンスのフレーズ・ツリー構造とをエンコードするようにRNNGエンコーダを使用するステップ;及び
フレーズ・タイプにより分類された、前記ターゲット・シーケンスのフレーズ・ツリー構造と前記ターゲット・シーケンスのトークンとを出力するためにRNNGアテンション・ベースのデコーダを使用するステップであって、エンコーダ合成ベクトルに注意を払うことにより計算される前記フレーズ・タイプを或るベクトルが表現し、前記注意は、エンコーディング中のRNNGエンコーダ状態と現在のRNNGデコーダ状態との間の比較により条件付けられる、ステップ;
を更に有する請求項9、11−13のうちの何れか1項に記載の方法。 - 請求項9−14のうち何れか1項に記載の方法を実現するコンピュータ実行可能命令を有する非一時的なコンピュータ読み取り可能な媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021146696A JP2021192298A (ja) | 2017-04-14 | 2021-09-09 | 機械翻訳システム及び方法 |
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762485856P | 2017-04-14 | 2017-04-14 | |
US62/485,856 | 2017-04-14 | ||
US15/901,722 | 2018-02-21 | ||
US15/901,722 US10565318B2 (en) | 2017-04-14 | 2018-02-21 | Neural machine translation with latent tree attention |
PCT/US2018/027040 WO2018191344A1 (en) | 2017-04-14 | 2018-04-11 | Neural machine translation with latent tree attention |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021146696A Division JP2021192298A (ja) | 2017-04-14 | 2021-09-09 | 機械翻訳システム及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020518891A JP2020518891A (ja) | 2020-06-25 |
JP6943975B2 true JP6943975B2 (ja) | 2021-10-06 |
Family
ID=63790683
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019555607A Active JP6943975B2 (ja) | 2017-04-14 | 2018-04-11 | ニューラル機械翻訳システム及び方法 |
JP2021146696A Pending JP2021192298A (ja) | 2017-04-14 | 2021-09-09 | 機械翻訳システム及び方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021146696A Pending JP2021192298A (ja) | 2017-04-14 | 2021-09-09 | 機械翻訳システム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10565318B2 (ja) |
EP (1) | EP3610419A1 (ja) |
JP (2) | JP6943975B2 (ja) |
CN (1) | CN110506279B (ja) |
WO (1) | WO2018191344A1 (ja) |
Families Citing this family (134)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
US10417037B2 (en) | 2012-05-15 | 2019-09-17 | Apple Inc. | Systems and methods for integrating third party services with a digital assistant |
US10199051B2 (en) | 2013-02-07 | 2019-02-05 | Apple Inc. | Voice trigger for a digital assistant |
US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
CN106462802B (zh) * | 2014-11-14 | 2019-08-06 | 谷歌有限责任公司 | 生成映像的自然语言描述 |
US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US11468286B2 (en) * | 2017-05-30 | 2022-10-11 | Leica Microsystems Cms Gmbh | Prediction guided sequential data learning method |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
JP7170984B2 (ja) * | 2018-03-02 | 2022-11-15 | 国立研究開発法人情報通信研究機構 | 疑似対訳データ生成装置、機械翻訳処理装置、および疑似対訳データ生成方法 |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
US11145294B2 (en) | 2018-05-07 | 2021-10-12 | Apple Inc. | Intelligent automated assistant for delivering content from user experiences |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
US11657322B2 (en) * | 2018-08-30 | 2023-05-23 | Nec Corporation | Method and system for scalable multi-task learning with convex clustering |
US10970486B2 (en) | 2018-09-18 | 2021-04-06 | Salesforce.Com, Inc. | Using unstructured input to update heterogeneous data stores |
US11436481B2 (en) | 2018-09-18 | 2022-09-06 | Salesforce.Com, Inc. | Systems and methods for named entity recognition |
US11645509B2 (en) | 2018-09-27 | 2023-05-09 | Salesforce.Com, Inc. | Continual neural network learning via explicit structure learning |
US11029694B2 (en) | 2018-09-27 | 2021-06-08 | Salesforce.Com, Inc. | Self-aware visual-textual co-grounded navigation agent |
US11087177B2 (en) | 2018-09-27 | 2021-08-10 | Salesforce.Com, Inc. | Prediction-correction approach to zero shot learning |
US11514915B2 (en) | 2018-09-27 | 2022-11-29 | Salesforce.Com, Inc. | Global-to-local memory pointer networks for task-oriented dialogue |
US10872601B1 (en) * | 2018-09-27 | 2020-12-22 | Amazon Technologies, Inc. | Natural language processing |
US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
US10902208B2 (en) * | 2018-09-28 | 2021-01-26 | International Business Machines Corporation | Personalized interactive semantic parsing using a graph-to-sequence model |
US20200133952A1 (en) * | 2018-10-31 | 2020-04-30 | International Business Machines Corporation | Natural language generation system using graph-to-sequence model |
CN109766745B (zh) * | 2018-11-22 | 2022-12-13 | 四川大学 | 强化学习三态组合长短时记忆神经网络系统及训练和预测方法 |
CN110162799B (zh) * | 2018-11-28 | 2023-08-04 | 腾讯科技(深圳)有限公司 | 模型训练方法、机器翻译方法以及相关装置和设备 |
WO2020113031A1 (en) * | 2018-11-28 | 2020-06-04 | Google Llc | Training and/or using a language selection model for automatically determining language for speech recognition of spoken utterance |
CN109543199B (zh) * | 2018-11-28 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 一种文本翻译的方法以及相关装置 |
US11210565B2 (en) * | 2018-11-30 | 2021-12-28 | Microsoft Technology Licensing, Llc | Machine learning model with depth processing units |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
US11822897B2 (en) | 2018-12-11 | 2023-11-21 | Salesforce.Com, Inc. | Systems and methods for structured text translation with tag alignment |
CN109783824B (zh) * | 2018-12-17 | 2023-04-18 | 北京百度网讯科技有限公司 | 基于翻译模型的翻译方法、装置及存储介质 |
CN111368558B (zh) * | 2018-12-25 | 2024-01-02 | Tcl科技集团股份有限公司 | 基于神经网络的实时翻译方法、智能终端及存储介质 |
CN111476039B (zh) * | 2019-01-04 | 2023-06-30 | 深圳永德利科技股份有限公司 | 智能车载系统的即时语言翻译方法及相关产品 |
US11922323B2 (en) | 2019-01-17 | 2024-03-05 | Salesforce, Inc. | Meta-reinforcement learning gradient estimation with variance reduction |
CN109829579B (zh) * | 2019-01-22 | 2023-01-24 | 平安科技(深圳)有限公司 | 最短路线计算方法、装置、计算机设备和存储介质 |
WO2020154538A1 (en) * | 2019-01-23 | 2020-07-30 | Google Llc | Generating neural network outputs using insertion operations |
US11568306B2 (en) | 2019-02-25 | 2023-01-31 | Salesforce.Com, Inc. | Data privacy protected machine learning systems |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11366969B2 (en) | 2019-03-04 | 2022-06-21 | Salesforce.Com, Inc. | Leveraging language models for generating commonsense explanations |
US11580445B2 (en) | 2019-03-05 | 2023-02-14 | Salesforce.Com, Inc. | Efficient off-policy credit assignment |
US11087092B2 (en) | 2019-03-05 | 2021-08-10 | Salesforce.Com, Inc. | Agent persona grounded chit-chat generation framework |
US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
US11232308B2 (en) | 2019-03-22 | 2022-01-25 | Salesforce.Com, Inc. | Two-stage online detection of action start in untrimmed videos |
CN112148879B (zh) * | 2019-04-16 | 2023-06-23 | 中森云链(成都)科技有限责任公司 | 一种自动给代码打数据结构标签的计算机可读存储介质 |
US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
US11487939B2 (en) | 2019-05-15 | 2022-11-01 | Salesforce.Com, Inc. | Systems and methods for unsupervised autoregressive text compression |
US11620572B2 (en) | 2019-05-16 | 2023-04-04 | Salesforce.Com, Inc. | Solving sparse reward tasks using self-balancing shaped rewards |
US11604965B2 (en) | 2019-05-16 | 2023-03-14 | Salesforce.Com, Inc. | Private deep learning |
US11562251B2 (en) | 2019-05-16 | 2023-01-24 | Salesforce.Com, Inc. | Learning world graphs to accelerate hierarchical reinforcement learning |
US11140099B2 (en) | 2019-05-21 | 2021-10-05 | Apple Inc. | Providing message response suggestions |
US11775775B2 (en) | 2019-05-21 | 2023-10-03 | Salesforce.Com, Inc. | Systems and methods for reading comprehension for a question answering task |
US11687588B2 (en) | 2019-05-21 | 2023-06-27 | Salesforce.Com, Inc. | Weakly supervised natural language localization networks for video proposal prediction based on a text query |
US11669712B2 (en) | 2019-05-21 | 2023-06-06 | Salesforce.Com, Inc. | Robustness evaluation via natural typos |
US11657269B2 (en) | 2019-05-23 | 2023-05-23 | Salesforce.Com, Inc. | Systems and methods for verification of discriminative models |
US11227599B2 (en) | 2019-06-01 | 2022-01-18 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
CN110442878B (zh) * | 2019-06-19 | 2023-07-21 | 腾讯科技(深圳)有限公司 | 翻译方法、机器翻译模型的训练方法、装置及存储介质 |
US20220270711A1 (en) * | 2019-08-02 | 2022-08-25 | Flagship Pioneering Innovations Vi, Llc | Machine learning guided polypeptide design |
KR102205430B1 (ko) * | 2019-08-05 | 2021-01-20 | 에스케이텔레콤 주식회사 | 인공 신경망을 이용한 학습 방법 |
US11615240B2 (en) | 2019-08-15 | 2023-03-28 | Salesforce.Com, Inc | Systems and methods for a transformer network with tree-based attention for natural language processing |
CN111488742B (zh) * | 2019-08-19 | 2021-06-29 | 北京京东尚科信息技术有限公司 | 用于翻译的方法和装置 |
WO2021041722A1 (en) * | 2019-08-27 | 2021-03-04 | Ushur, Inc. | System and method to extract customized information in natural language text |
CN110705273B (zh) * | 2019-09-02 | 2023-06-13 | 腾讯科技(深圳)有限公司 | 基于神经网络的信息处理方法及装置、介质和电子设备 |
CN110781674B (zh) * | 2019-09-19 | 2023-10-27 | 北京小米智能科技有限公司 | 一种信息处理方法、装置、计算机设备及存储介质 |
US11568000B2 (en) | 2019-09-24 | 2023-01-31 | Salesforce.Com, Inc. | System and method for automatic task-oriented dialog system |
US11599792B2 (en) | 2019-09-24 | 2023-03-07 | Salesforce.Com, Inc. | System and method for learning with noisy labels as semi-supervised learning |
US11640527B2 (en) | 2019-09-25 | 2023-05-02 | Salesforce.Com, Inc. | Near-zero-cost differentially private deep learning with teacher ensembles |
US11520982B2 (en) * | 2019-09-27 | 2022-12-06 | Sap Se | Generating corpus for training and validating machine learning model for natural language processing |
US11341340B2 (en) * | 2019-10-01 | 2022-05-24 | Google Llc | Neural machine translation adaptation |
CN111008517A (zh) * | 2019-10-30 | 2020-04-14 | 天津大学 | 一种基于张量分解技术的神经语言模型的压缩方法 |
US11620515B2 (en) | 2019-11-07 | 2023-04-04 | Salesforce.Com, Inc. | Multi-task knowledge distillation for language model |
US11347708B2 (en) | 2019-11-11 | 2022-05-31 | Salesforce.Com, Inc. | System and method for unsupervised density based table structure identification |
US11288438B2 (en) | 2019-11-15 | 2022-03-29 | Salesforce.Com, Inc. | Bi-directional spatial-temporal reasoning for video-grounded dialogues |
US11334766B2 (en) | 2019-11-15 | 2022-05-17 | Salesforce.Com, Inc. | Noise-resistant object detection with noisy annotations |
CN110879940B (zh) * | 2019-11-21 | 2022-07-12 | 哈尔滨理工大学 | 一种基于深度神经网络的机器翻译方法及系统 |
CN110929532B (zh) * | 2019-11-21 | 2023-03-21 | 腾讯科技(深圳)有限公司 | 数据处理方法、装置、设备及存储介质 |
CN111126079B (zh) * | 2019-11-25 | 2023-11-07 | 北京小米智能科技有限公司 | 用于机器翻译的神经网络模型压缩方法、装置及存储介质 |
US11640505B2 (en) | 2019-12-09 | 2023-05-02 | Salesforce.Com, Inc. | Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading |
US11573957B2 (en) | 2019-12-09 | 2023-02-07 | Salesforce.Com, Inc. | Natural language processing engine for translating questions into executable database queries |
CN111027681B (zh) * | 2019-12-09 | 2023-06-27 | 腾讯科技(深圳)有限公司 | 时序数据处理模型训练方法、数据处理方法、装置及存储介质 |
US11487999B2 (en) | 2019-12-09 | 2022-11-01 | Salesforce.Com, Inc. | Spatial-temporal reasoning through pretrained language models for video-grounded dialogues |
US11256754B2 (en) | 2019-12-09 | 2022-02-22 | Salesforce.Com, Inc. | Systems and methods for generating natural language processing training samples with inflectional perturbations |
US11599730B2 (en) | 2019-12-09 | 2023-03-07 | Salesforce.Com, Inc. | Learning dialogue state tracking with limited labeled data |
US11669745B2 (en) | 2020-01-13 | 2023-06-06 | Salesforce.Com, Inc. | Proposal learning for semi-supervised object detection |
US11562147B2 (en) | 2020-01-23 | 2023-01-24 | Salesforce.Com, Inc. | Unified vision and dialogue transformer with BERT |
US20210249105A1 (en) | 2020-02-06 | 2021-08-12 | Salesforce.Com, Inc. | Systems and methods for language modeling of protein engineering |
CN111310485B (zh) * | 2020-03-12 | 2022-06-21 | 南京大学 | 机器翻译方法、装置及存储介质 |
US11263476B2 (en) | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
CN111460832B (zh) * | 2020-03-27 | 2023-11-24 | 北京百度网讯科技有限公司 | 对象编码的方法、装置、系统、设备及计算机存储介质 |
US11328731B2 (en) | 2020-04-08 | 2022-05-10 | Salesforce.Com, Inc. | Phone-based sub-word units for end-to-end speech recognition |
US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
US11657229B2 (en) * | 2020-05-19 | 2023-05-23 | International Business Machines Corporation | Using a joint distributional semantic system to correct redundant semantic verb frames |
US11669699B2 (en) | 2020-05-31 | 2023-06-06 | Saleforce.com, inc. | Systems and methods for composed variational natural language generation |
US11720559B2 (en) | 2020-06-02 | 2023-08-08 | Salesforce.Com, Inc. | Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text |
US11586830B2 (en) | 2020-06-03 | 2023-02-21 | PM Labs, Inc. | System and method for reinforcement learning based controlled natural language generation |
US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
US11625436B2 (en) | 2020-08-14 | 2023-04-11 | Salesforce.Com, Inc. | Systems and methods for query autocompletion |
CN111950302B (zh) * | 2020-08-20 | 2023-11-10 | 上海携旅信息技术有限公司 | 基于知识蒸馏的机器翻译模型训练方法、装置、设备及介质 |
US11934952B2 (en) | 2020-08-21 | 2024-03-19 | Salesforce, Inc. | Systems and methods for natural language processing using joint energy-based models |
US11934781B2 (en) | 2020-08-28 | 2024-03-19 | Salesforce, Inc. | Systems and methods for controllable text summarization |
US11181988B1 (en) * | 2020-08-31 | 2021-11-23 | Apple Inc. | Incorporating user feedback into text prediction models via joint reward planning |
CN111950303B (zh) * | 2020-10-19 | 2021-01-08 | 平安科技(深圳)有限公司 | 医疗文本翻译方法、装置及存储介质 |
US11829442B2 (en) | 2020-11-16 | 2023-11-28 | Salesforce.Com, Inc. | Methods and systems for efficient batch active learning of a deep neural network |
US11875141B2 (en) * | 2020-11-20 | 2024-01-16 | Infosys Limited | System and method for training a neural machine translation model |
CN112395892B (zh) * | 2020-12-03 | 2022-03-18 | 内蒙古工业大学 | 基于指针生成网络实现占位符消歧的蒙汉机器翻译方法 |
CN112836485B (zh) * | 2021-01-25 | 2023-09-19 | 中山大学 | 一种基于神经机器翻译的相似病历预测方法 |
CN112818661B (zh) * | 2021-01-28 | 2021-10-08 | 中国科学院科技战略咨询研究院 | 一种专利技术关键词非监督提取方法 |
CN113298774B (zh) * | 2021-05-20 | 2022-10-18 | 复旦大学 | 一种基于对偶条件相容神经网络的图像分割方法、装置 |
CN113392655A (zh) * | 2021-06-08 | 2021-09-14 | 沈阳雅译网络技术有限公司 | 一种基于多分支网络结构加速翻译模型训练速度的方法 |
CN113423004B (zh) * | 2021-08-23 | 2021-11-30 | 杭州一知智能科技有限公司 | 基于解耦译码的视频字幕生成方法和系统 |
CN113887610B (zh) * | 2021-09-29 | 2024-02-02 | 内蒙古工业大学 | 基于交叉注意力蒸馏Transformer的花粉图像分类方法 |
US11966708B2 (en) * | 2021-10-01 | 2024-04-23 | International Business Machines Corporation | Dynamic contraction and expansion of heuristic beam width based on predicted probabilities |
US20230111052A1 (en) * | 2021-10-13 | 2023-04-13 | International Business Machines Corporation | Self-learning annotations to generate rules to be utilized by rule-based system |
US20230124296A1 (en) * | 2021-10-18 | 2023-04-20 | Samsung Electronics Co., Ltd. | Method of natural language processing by performing semantic analysis using syntactic information, and an apparatus for the same |
Family Cites Families (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6233545B1 (en) * | 1997-05-01 | 2001-05-15 | William E. Datig | Universal machine translator of arbitrary languages utilizing epistemic moments |
CN101398815B (zh) * | 2008-06-13 | 2011-02-16 | 中国科学院计算技术研究所 | 一种机器翻译方法 |
US9836457B2 (en) * | 2015-05-25 | 2017-12-05 | Panasonic Intellectual Property Corporation Of America | Machine translation method for performing translation between languages |
US20160350653A1 (en) | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
WO2017031088A1 (en) | 2015-08-15 | 2017-02-23 | Salesforce.Com, Inc | Three-dimensional (3d) convolution with 3d batch normalization |
CN105573994B (zh) * | 2016-01-26 | 2019-03-22 | 沈阳雅译网络技术有限公司 | 基于句法骨架的统计机器翻译系统 |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
US20180096267A1 (en) | 2016-09-30 | 2018-04-05 | Salesforce.Com, Inc. | Single model-based behavior predictions in an on-demand environment |
US11222253B2 (en) | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
US11080595B2 (en) | 2016-11-04 | 2021-08-03 | Salesforce.Com, Inc. | Quasi-recurrent neural network based encoder-decoder model |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10565305B2 (en) | 2016-11-18 | 2020-02-18 | Salesforce.Com, Inc. | Adaptive attention model for image captioning |
US11250311B2 (en) | 2017-03-15 | 2022-02-15 | Salesforce.Com, Inc. | Deep neural network-based decision network |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US11093816B2 (en) | 2017-10-05 | 2021-08-17 | Salesforce.Com, Inc. | Convolutional neural network (CNN)-based anomaly detection |
US11087211B2 (en) | 2017-10-05 | 2021-08-10 | Salesforce.Com, Inc. | Convolutional neural network (CNN)-based suggestions for anomaly input |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
-
2018
- 2018-02-21 US US15/901,722 patent/US10565318B2/en active Active
- 2018-04-11 CN CN201880024708.7A patent/CN110506279B/zh active Active
- 2018-04-11 EP EP18720934.1A patent/EP3610419A1/en not_active Ceased
- 2018-04-11 JP JP2019555607A patent/JP6943975B2/ja active Active
- 2018-04-11 WO PCT/US2018/027040 patent/WO2018191344A1/en active Application Filing
-
2019
- 2019-12-10 US US16/709,330 patent/US11520998B2/en active Active
-
2021
- 2021-09-09 JP JP2021146696A patent/JP2021192298A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
JP2021192298A (ja) | 2021-12-16 |
CN110506279B (zh) | 2024-04-05 |
US10565318B2 (en) | 2020-02-18 |
US11520998B2 (en) | 2022-12-06 |
US20180300317A1 (en) | 2018-10-18 |
CN110506279A (zh) | 2019-11-26 |
EP3610419A1 (en) | 2020-02-19 |
JP2020518891A (ja) | 2020-06-25 |
US20200117861A1 (en) | 2020-04-16 |
WO2018191344A1 (en) | 2018-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6943975B2 (ja) | ニューラル機械翻訳システム及び方法 | |
Beltramelli | pix2code: Generating code from a graphical user interface screenshot | |
JP6976324B2 (ja) | 逐次正則化を用いた同時多タスクニューラルネットワークモデルのトレーニング | |
CN109952580B (zh) | 基于准循环神经网络的编码器-解码器模型 | |
Bocklisch et al. | Rasa: Open source language understanding and dialogue management | |
JP6772388B2 (ja) | ポインタセンチネル混合アーキテクチャ | |
Fan et al. | Bayesian attention modules | |
JP2021022404A (ja) | テキスト要約システム、方法及び記憶媒体 | |
Klaise et al. | Monitoring and explainability of models in production | |
CN109815459A (zh) | 生成被调整到目标受众词汇的文本内容的目标概要 | |
US10585989B1 (en) | Machine-learning based detection and classification of personally identifiable information | |
US11507828B2 (en) | Unsupervised hypernym induction machine learning | |
US20200133952A1 (en) | Natural language generation system using graph-to-sequence model | |
Yu et al. | AVA: A financial service chatbot based on deep bidirectional transformers | |
US11875120B2 (en) | Augmenting textual data for sentence classification using weakly-supervised multi-reward reinforcement learning | |
Yuan | On the power of foundation models | |
Labeau et al. | Character and subword-based word representation for neural language modeling prediction | |
CN115885323A (zh) | 对在图像中描绘的文本的翻译 | |
Zaidi et al. | Decoding as dynamic programming for recurrent autoregressive models | |
Zhao et al. | Learning to express in knowledge-grounded conversation | |
CN112434143B (zh) | 基于gru单元隐藏状态约束的对话方法、存储介质及系统 | |
Jeon et al. | Pet: Parameter-efficient knowledge distillation on transformer | |
Sharma et al. | Language identification for hindi language transliterated text in roman script using generative adversarial networks | |
US11893352B2 (en) | Dependency path reasoning for measurement extraction | |
CN116304057A (zh) | 文本层级分类方法、装置、终端及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191010 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191010 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6943975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |