JP2018181343A - 抽象的要約のためのディープ強化モデル - Google Patents

抽象的要約のためのディープ強化モデル Download PDF

Info

Publication number
JP2018181343A
JP2018181343A JP2018076692A JP2018076692A JP2018181343A JP 2018181343 A JP2018181343 A JP 2018181343A JP 2018076692 A JP2018076692 A JP 2018076692A JP 2018076692 A JP2018076692 A JP 2018076692A JP 2018181343 A JP2018181343 A JP 2018181343A
Authority
JP
Japan
Prior art keywords
decoder
encoder
current
attention
hidden state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018076692A
Other languages
English (en)
Other versions
JP2018181343A5 (ja
JP6768734B2 (ja
Inventor
パウルス ロメイン
Paulus Romain
パウルス ロメイン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Salesforce Inc
Original Assignee
Salesforce com Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Salesforce com Inc filed Critical Salesforce com Inc
Publication of JP2018181343A publication Critical patent/JP2018181343A/ja
Publication of JP2018181343A5 publication Critical patent/JP2018181343A5/ja
Application granted granted Critical
Publication of JP6768734B2 publication Critical patent/JP6768734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

【課題】抽象テキスト要約のための方法を提供する。【解決手段】RNNで実現される方法及びシステムは、エンコーダ隠れ状態を生成するエンコーダにより文書の入力トークン埋め込みを処理し、エンコーダ隠れ状態の各々についてエンコーダ・テンポラル・スコアを生成し、正規化されたエンコーダ・テンポラル・スコアを生成し、イントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成し、以前のデコーダ隠れ状態の各々についてデコーダ・アテンション・スコアを生成するために、デコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用し、以前のデコーダ隠れ状態の各々について、正規化されたデコーダ・アテンション・スコアを生成し、以前に予測された出力トークンを識別し、イントラ・デコーダ・アテンション・ベクトルを生成し、そのベクトルを処理してサマリー・トークンを出力する。【選択図】図１

Description

＜関連出願＞
本願は2017年4月14日付で出願された「A DEEP REINFORCED MODEL FOR ABSTRACTIVE SUMMARIZATION」と題する米国仮特許出願62/485,876号に基づく優先権を主張している。関連する出願は全体的にリファレンスに組み込まれる。
＜技術分野＞
開示される技術は一般にディープ・ニューラル・ネットワークを利用する自然言語処理(natural language processing：NLP)に関連し、特に、リカレント・ニューラル・ネットワーク(recurrent neural network：RNN)に基づくエンコーダ・デコーダ・モデルに関連し、そのモデルは、ニューラル・ネットワーク・シーケンスのモデリングでテキストの抽象的要約のためのサマリー・トークンの予測を改善する。
＜背景技術＞
背景技術の欄で議論される事項は、単に背景技術の欄で言及されたことによって、従来技術であると考えられるべきではない。同様に、背景技術の欄で言及される問題、又は背景技術の欄の記載に関連する問題は、従来技術で過去に既に認識されていたと考えられるべきでない。背景技術の欄の記載は、様々なアプローチを単に表現しているに過ぎず、それ自体は請求項に係る発明の実施に関連していても良い。
ここ数十年、新たな情報を得る問題の中で根本的な変化を目の当たりにしている。ボトルネックはもはや情報にアクセスすることではなく；それをし続ける我々の能力である。仕事、ニュース及びソーシャル・メディアで最新状態を維持するために、我々は皆ますます多くを読み込む必要がある。AIは、この情報の氾濫に対して支援することで人々の作業を改善することが可能である。1つの答は、長いテキストを自動的に要約する抽象的要約のためにディープ強化モデル(a deep reinforced model for abstractive summarization)を利用することである。
自動テキスト要約(Automatic text summarization)は、今日業界で益々使用されている自然言語処理の一分野である。要約プロセスのゴールは、1つの文書又は複数の文書のサマリーを作成することであり、そのサマリーは、意味及び最も重要な側面を維持する一方、その長さを、ユーザーが決定しても良いサイズまで実質的に減らすものである。長くても理路整然として有意義なサマリーを作成することができるモデルをトレーニングすることは、オープン・リサーチの問題(an open research problem)を残す。何らかの種類の長いテキストを生成することは、最も進んだディープ・ラーニング・モデルでさえ困難である。
テキストの要約は、重要なポイントを維持しつつ、入力文書から自然言語サマリーを自動的に生成するプロセスである。大量の情報を短い有用なサマリーに凝縮することで、要約(又はサマライゼーション)は、ニュース・ダイジェストの作成、サーチ、及びレポート生成のような多くの下流のアプリケーションを支援することが可能である。
自動要約モデルは、エキストラクション(抽出)又はアブストラクション(抽象化)という2つの方法のうちの何れかで動作することが可能である。抽出モデルは、如何なる変更も無しに入力の一部分をコピーし、入力文書のうちの関連する語句を選択し、サマリーを形成するためにそれらを連結することにより、サマリーを形成する。これらは、入力から直接的に取得される存在する自然言語フレーズを利用するので、非常に堅牢(ロバスト的)であるが、新たな言葉や接続詞を利用できないので、柔軟性に欠ける。また、これらは、人々がしばしば行うようには、言い換えることができない。これに対して、抽象モデルは、実際の「抽象化された」内容に基づいてサマリーを生成する。抽象化に基づくサマリーは、オリジナルの入力には存在しない言葉を利用して、新たな語句を生成し、おそらくは言い換えることで、ソース文書の結合又は言い換えセクション(fuse or paraphrase sections)を有することが可能である。これは、流暢で理路整然としたサマリーを生成する多くの可能性を与えるが、非常に大きな問題もあり、なぜなら、そのモデルは理路整然とした語句及び接続詞を生成できなければならないからである。
たとえ抽象モデルが、理論上、非常に強力であったとしても、実際には、それらはミス(mistakes)を犯すことが一般的である。典型的なミスは、生成されたサマリーの中で理路整然としていない、関連性のない或いは反復的な語句を含むことであり、これは特に長いテキスト出力を作成しようとする場合に起こる。歴史的に見て、これらは、全体的な一貫性、流れ及び読みやすさのセンスに欠けている。
ROUGEは、評価の要旨を把握するためのリコール指向アンダースタディ(recall-oriented understudy for gisting evaluation)の略であり、自然言語処理の自動的な要約を評価するために使用可能なソフトウェア・パッケージ及びメトリックのセットの名称である。ROUGEは、生成されたサマリー中のサブ・フレーズをグランド・トゥルース・リファレンス・サマリー中のサブ・フレーズと、たとえそれらが完全に整合しない場合でさえ比較・照合することにより動作する。即ち、メトリックは、自動的に生成されたサマリーを、人間が作成したサマリーのセットと比較することである。
機械翻訳用の注意力エンコーダ・デコーダ・モデル(the attentional encoder-decoder model)に基づく最近のニューラル・ネットワーク・モデル(Nallapati et al., 2016; Zeng et al., 2016)は、高いROUGEスコアを有する抽象的サマリーを生成することが可能である。しかしながら、これらのシステムは、典型的には、例えば75文字の制限を有するかなり短いサマリーを生成するために、1つ又は2つのセンテンスのうちの短い入力センテンスを要約することに焦点を当てている。
Nallapati et al.(2016)は、彼らの抽象要約モデルを「CNN/Daily Mail」データセット(Hermann et al., 2015)に適用し、そのデータセットは、800トークンに及ぶほどの入力シーケンスと、100トークンに及ぶほどのマルチ・シーケンス・サマリーを含む。Nallapati et al.(2016)による分析は、注意力エンコーダ・デコーダ・モデルに関する主要な問題を示しており：それらは反復的な語句から成る不自然なサマリーをしばしば生成してしまう。
開示される堅牢で理路整然とした抽象テキスト要約モデルは、全体的な一貫性、流れ及び読みやすさという上記の問題に加えて、反復的な語句による不自然なサマリーの問題にも対処する。開示される技術の他の側面及び利点は、以下に説明される特許請求の範囲、明細書及び図面を検討することで理解することが可能である。
抽象テキスト要約に関するアテンション・リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダ・デコーダ・モデルは、短い入力及び出力シーケンスに関して優れたパフォーマンスを達成している。しかしながら、より長い文書及びサマリーの場合、これらのモデルは反復的な理路整然としていない語句をしばしば含む。
開示される技術は、イントラ・有ってネーションを有するニューラル・ネットワーク・モデル及び新たなトレーニング方法を含む。この方法は、標準的な管理されるワード予測(standard supervised word prediction)と強化学習(reinforcement learning：RL)とを結合する。標準的な管理されるワード予測のみによりトレーニングされるモデルはしばしば「エクスポージャー・バイアス(exposure bias)」を示す − それらはトレーニング中は各ステップでグランド・トゥルースが提供されることを仮定している。しかしながら、標準的なワード予測がRLのグローバル・シーケンス予測トレーニングと結合される場合、その結果のサマリーは、より読みやすいものとなる。
抽象テキスト要約についての開示されるニューラル・ネットワークで実現される方法は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込み(input token embeddings of a document)を処理するステップ；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークン(a special start-of-summary token)によりリカレント・アテンティブ・デコーダを初期化するステップ；各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップを含む。本方法は、エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態をエンコーダ隠れ状態の各々に適用するステップ；特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化(exponentially normalizing)することにより、エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；現在のエンコーダ・テンポラル・スコアを単位正規化(unity normalizing)することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合(a convex combination)として、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び 対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる以前のデコーダ隠れ状態の凸結合として、現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルを処理してサマリー・トークンを出力するステップも含む。
開示される技術は抽象要約システムに関連し、そのシステムではイントラ・デコーダ・アテンション・メカニズムが、以前に予測された出力トークンを識別し、本システムが、既に予測した出力トークンを予測してしまうことを防ぐ。開示される抽象要約システムは、強化学習及び教師あり学習の組み合わせを利用してシステムをトレーニングすることにより改善され、サマリーの読みやすさを改善する。開示されるシステムは、長いシーケンスの生成の問題に適用可能である。
開示される技術の特定の側面は、特許請求の範囲、明細書及び図面に記載されている。
包含される図面は、説明を目的としたものであり、本開示の1つ以上の実施に関する可能性のある構造及び処理動作の具体例を提供することのみのために機能する。これらの図面は、如何なる方法によっても、形状及び詳細に関して何らかの変更を制限するものではなく、その変更は本開示の精神及び範囲から逸脱することなく当業者によって為されて良いものである。対称とする事項の更に完全な理解は、以下の図面に関連して考察する場合において明細書及び特許請求の範囲を参照することにより得られ、図中、同様な参照番号は同様な要素を指す。
本願又は出願ファイルは着色された少なくとも1つの図面を含む。カラー図面を含む本願又は出願書類のコピーは、申請及び必要な手数料により当局により提供されるであろう。カラー図面は「PAIR」における「Supplemental Content」のタブにより利用可能であるかもしれない。
自動テキスト要約のための抽象テキスト要約アーキテクチャの側面を示す図。
要約される文書中の各ワードを高次元ベクトル空間にマッピングする埋め込み部を示す図。
図2の埋め込み部の出力からの5つの入力例を利用する双方向LSTMを有するエンコーダ・ニューラル・ネットワークを示す図。
埋め込みベクトルから隠れ状態を算出するシングル「LSTM RNNs」を有するデコーダ・ニューラル・ネットワークを示す図。
特定のタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルを算出する具体例を示す図。 特定のタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルを算出する具体例を示す図。
特定のタイム・スタンプでデコーダ・コンテキスト・ベクトルを算出する具体例を示す図。
エンコーダ・コンテキスト・ベクトル、デコーダ・コンテキスト・ベクトル、及び現在の隠れ状態ベクトルを結合するサマリー・ワード・エミッタを示す図。
所与のデコードするステップにおいて2つの注意関数の結合を利用するRNNベースの抽象テキスト・サマライズ・アーキテクチャにより処理される例示的な入力文書テキストを示す図。
CNN/Dailyメール・データセットに関する定量的な結果を示す図(テキスト要約に関し、開示されるアーキテクチャに関する結果と、既存の抽象及び抽出アプローチとを比較している)。
文書例、及び、開示されるアーキテクチャによりその文書例に基づいて生成されるマルチ・センテンス・サマリーを、人間が作成したグランド・トゥルース・サマリーとの比較において示す図。 文書例、及び、開示されるアーキテクチャによりその文書例に基づいて生成されるマルチ・センテンス・サマリーを、人間が作成したグランド・トゥルース・サマリーとの比較において示す図。
自動抽象テキスト要約のためのコンピュータ・システム例のブロック図。
以下の記述は、開示される技術を当業者が構成及び使用することを可能にするために提示され、特定のアプリケーション及びその条件の文脈で提供される。開示される手段に対する様々な変形は、当業者にとって明らかであり、本願で規定される一般的な原理は、開示される技術の精神及び範囲から逸脱することなく、他の手段及びアプリケーションに適用されて良い。即ち、開示される技術は、説明される手段に限定されるようには意図されておらず、本願で開示される原理及び特徴に合致する最も広い範囲で許容される。
文書のサマリーを自動的に生成する際の主な困難は、反復的な語句を含み且つ全体的な一貫性、流れ及び読みやすさに欠ける不自然なサマリーを生成してしまうことである。ROUGEスコアは、概して、人間の判断に対して優れた相関性を有するが、最高のROUGEを有するサマリーが、必ずしも、最も読みやすい又は自然なものであるとは限らない。
イントラ・アテンション(intra-attention)及び新たなトレーニング法を有する開示される抽象テキスト・サマライズ・アーキテクチャは、管理されたワード分類及び強化学習(reinforcement learning：RL)を組み合わせて、従来のモデルを利用して生成されるサマリーよりも首尾良く文書要約を作成する。
不自然なサマリーを生成してしまう従来の問題に対処するために、開示される抽象テキスト要約アーキテクチャは、2つの主要なイントラ・アテンション・メカニズムを利用し、それらは：(i)各々の入力トークンについて以前のアテンション・ウェイトを記録するエンコーダにおけるイントラ・テンポラリ・アテンション、及び(ii)どのワードがデコーダにより既に生成されているかを考慮に入れるデコーダにおけるシーケンシャル・イントラ・アテンションである。開示されるアーキテクチャは、公開バイアスを減らすために、ポリシー勾配強化学習(policy gradient reinforcement learning)からの恩恵と、最尤クロス・エントロピー損失(the maximum-likelihood cross-entropy loss)とを混合する混合トレーニング目的関数も利用する。開示されるアーキテクチャは、以下に説明されるように、生成された出力の人的な評価により示されるように、他の技術と比較して更に読みやすいサマリーを生成する。
開示される抽象テキスト要約アーキテクチャは、教師あり学習及び強化学習を同時にトレーニングし、ワード・レベル及びサマリー・全体レベルの双方の管理を利用して、サマリーを更に理路整然に読みやすくする。評価の偏りを減らすために、5人の評価者がそれぞれテスト例の文書サマリーを評価し、その場合、読みやすさだけではなく、サマリーの読みやすさ及びサマリーの関連性の双方を別々に評価する。これらの結果は、開示される混合目的トレーニング法(the disclosed mixed objective training method)が、他のトレーニング法と比較して、サマリーの品質及び関連性の双方を増進することを裏付ける。混合目的学習実験は、強化学習実験に使用されるのと同じ強化報酬を利用して実行され(センテンス分割を行うROUGE-L)、強化学習と混合目的学習との間の比較を更に関連付ける。
開示される抽象テキスト要約アーキテクチャは、「CNN/Daily Mail」データセットに関する最高水準の結果を達成し、「New York Times」データセット(NYT)に対しても同様に優れた結果を達成している。開示される抽象テキスト要約アーキテクチャと、抽出ベースライン(リード・センテンス、ファースト・ワード)、抽出モデル(Durrett et al., 2016；Nallapati et al. 2017)及び他の抽象モデル(See et al., 2017)との比較では、開示されるアーキテクチャは、これらのベースライン及びモデルよりも優れたROUGEパフォーマンスを獲得し、更に読みやすい自動的に生成される文書サマリーを提案している。これについては図10に示されている。
リカレント・ニューラル・ネットワーク(RNNs)は、ロング・ターム依存性を維持するそれらの能力に起因して、抽象要約モデルに有用である。RNNディープ・ラーニング・モデルは、可変長のテキスト文を処理し、各フレーズについて有用な表現又は隠れ状態を算出することが可能である。
開示される抽象テキスト要約アーキテクチャは、双方向LSTMエンコーダとともに文書に関する入力文を読み込み{RNNe_fwd；RNNe_bwd }、xiの埋め込みベクトルから隠れ状態を算出する。アーキテクチャは、シングルLSTMデコーダRNNdを利用し、ytの埋め込みベクトルから隠れ状態を算出する。文書に対する入力トークンのシーケンスは、X=x1,x2,...,xnとして表現される。出力サマリー・トークンのシーケンスは、Y=y1,y2,...,ynとして表現され、ベクトルの連結演算子(the vector concatenation operator)は、||により示される。入力及び出力の双方の埋め込みは、以下に説明される同じマトリクスから取得される。
図1は、データ・ストア118に保存される文書を読み込んで理解し、サマリーを生成するために利用可能な開示される抽象テキスト要約アーキテクチャの側面を示し、そのサマリーは文書サマリー・データ・ストア198に保存されることが可能である。アーキテクチャ100は抽象テキスト要約システム102を含み、抽象テキスト要約システム102は、文書中の各ワードをベクトル空間にマッピングする埋め込み部112と、コンテキスト情報を文書中の各ワードの表現に組み込むリカレント・ニューラル・ネットワーク(RNN)のエンコーダ・ニューラル・ネットワーク122とを有する。エンコーダ・ニューラル・ネットワーク122は、双方向ロング・ショートターム・メモリ・ニューラル・ネットワーク(a bidirectional Long Short-Term Memory (LSTM) neural network)であり、LSTMニューラル・ネットワークは、出力ワードに先行する及び続く双方のワードに関し、情報を組み込むために有用である。
引き続き図1に関し、アーキテクチャ100は、アテンション・スコア(attention scores)を生成するインター隠れ状態コンパレータ(inter-hidden state comparator)132と、個々のトークン位置に関する先行するデコード・ステップに関して正規化し、過去のデコード・ステップで高いアテンション・スコアを得た入力トークンにペナルティを課すイントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部(exponential normalizer of intra-temporal encoder attention)142とを含む。更に、アーキテクチャ100には、全てのテンポラル・スコアにわたって正規化するユニティ正規化部152と、エンコーダ・コンテキスト・ベクトルを生成するエンコーディング・ミキサ162とが含まれる。また、出力ytの埋め込みベクトルから隠れ状態を算出するシングル「LSTM RNN」ベースのデコーダ・ニューラル・ネットワーク182；デコーダ隠れ状態比較値を算出するイントラ隠れ状態コンパレータ172；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合を生成するイントラ・テンポラル・デコーダ・アテンションの指数関数正規化部184；及び デコーダ・コンテキスト・ベクトルを生成するデコーティング・ミキサ186；も含まれる。アーキテクチャ100は、出力サマリー・トークン194に関するポインタ・データを提供するサマリー・ワード・エミッタ192と、抽象テキスト要約アーキテクチャ100に関する結果を保存する文書サマリー・データ・ストア198とを含む。
図2は、文書118a内の各ワードを、「埋め込み空間(embedding space)」という言葉で言及される高次元ベクトル空間にマッピングする埋め込み部112を示す。一実施例では、埋め込み部112は、埋め込みマトリクス

を利用して、文書118a内のn個のワードに対応するl(エル)次元ワード・ベクトルx1,x2,...,xnのシーケンス202を生成し、ここでνは語彙のサイズを表現する。一実施例では、埋め込み部112は、先ず、文書118a内の全てのワードをワン・ホット表現(one-hot representations)に変換し、次に、それらを埋め込みマトリクス

を利用して連続的な表現に変換する。更に別の実施例では、埋め込み部112は、文書118a内の各ワードの固定ワード埋め込み(a fixed word embedding)を得るために、「GloVe」及び「word2vec」のような事前にトレーニングされたワード埋め込みモデルを利用してワード埋め込みを初期化する。別の実施例では、埋め込み部112は、キャラクタ埋め込み(character embeddings)及び/又はフレーズ埋め込み(phrase embeddings)を生成する。
図3は、埋め込み部112の出力からの5つの入力例x1,x2,x3,x4,x5に関し、エンコーダ・ニューラル・ネットワーク122を有する双方向LSTM300を示し、LSTM300は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダ(a recurrent encoder)により、文書の入力トークン埋め込みを処理する。双方向LSTM300は、双方向でシーケンスを処理することにより、過去及び将来のコンテキストの双方を利用し、LSTM出力ベクトルの2つの独立したシーケンスを生成する。一方は順方向に入力シーケンスを処理し、他方は逆方向に入力シーケンスを処理する。1つのメモリ・レイヤ352，354，355，356，358は、中間的なシーケンシャルな表現362，364，365，366，368を、次のレイヤ332，334，335，336，338へ渡す。図3に示される例では、各時間ステップにおいて、出力隠れ状態He=h1 e, h2 e, h3 e, h4 e, h5 eは、(その時間ステップにおいて各方向から1つである)2つの出力ベクトルの連結である。
開示される抽象テキスト要約アーキテクチャは、あるタイム・スタンプに関するエンコーダ・コンテキスト・ベクトルと、それと同じタイム・スタンプに関するデコーダ・コンテキスト・ベクトルと、デコーダ隠れ状態とを算出する。これら2つのコンテキストと現在のデコーダ隠れ状態とを利用して、新たなワードが生成され、出力シーケンスに加えられる。
図4は、シングル「LSTM RNN」432，434，436，438を有するデコーダ・ニューラル・ネットワーク182を示し、ネットワーク182は、ytという埋め込みベクトルから隠れ状態ht dを算出し；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態328及び特定のスタート・オブ・サマリー・トークン(a special start-of-summary token)によりリカレント・アテンティブ・デコーダ(a recurrent attentive decoder)を初期化する。各々のデコード・ステップにおいて、デコーダは、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用してサマリー・トークンを出力し − 現在のデコーダ隠れ状態を各々のエンコーダ隠れ状態に適用し、各々のエンコーダ隠れ状態について現在のエンコーダ・アテンション・スコアを生成する。デコーダ・ニューラル・ネットワーク182の隠れ状態は、エンコーダ・ニューラル・ネットワーク122からのh0 d=hn eにより初期化される。デコーダ・ニューラル・ネットワーク182は、各タイム・スタンプにおいてデコーダ隠れ状態を算出し、テンポラル・アテンションを利用して新たなワードを生成する場合に入力文書の部分を顧み、抽象要約モデルの出力を、更に理路整然とさせる。
図5及び図6はともにタイム・スタンプt=4に関するエンコーダ・コンテキスト・ベクトルct eを算出する一例を示す。インター隠れ状態コンパレータ132は、そのタイム・スタンプに関してエンコーダ隠れ状態He=[h1 e,h2 e,h3 e,h4 e,h5 e]と現在のデコーダ隠れ状態h4 dとの間でのスカラー・アテンション・スコアetiを算出する。etiは次の関数fにより定義され、f：eti=f(ht d,hi e)、この関数は、

というバイリニア関数(a bilinear function)を利用して、隠れデコーダht d及び隠れエンコーダhi eベクトルから、スカラーetiを返す。経験的な証拠とも言及されるグランド・トゥルース(Ground truth)が、要素毎の正規に影響するWattn eベクトルを修正するために使用されることが可能である。別の実施例では、2つのベクトル間の簡易なドット積が使用されることが可能である。
引き続き、図5は、以前のエンコーダ・アテンション・スコアにわたって特定のエンコーダの隠れ状態の現在のエンコーダ・アテンション・スコアを指数関数正規化することにより、各々のエンコーダ隠れ状態について現在のエンコーダ・テンポラル・スコアを生成する様子を示す。イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部142は、個々のトークン位置に関し、以前のデコード・ステップにわたって、隠れ入力状態hi eにより正規化されたアテンション・スコアを算出し、その場合において、入力トークンの位置についての以前のエンコーダ・アテンション・スコアにわたって入力トークンの位置に関する現在のアテンション・スコアを正規化し、テンポラル・アテンション関数を利用して、以前のデコード・ステップで高いアテンション・スコアを取得した入力トークンにペナルティを課す。テンポラル・スコアeti’は、次のように定義される：t=1の場合、eti’=exp(eti)であり、それ以外の場合、

である。次に、ユニティ正規化部152は、現在のエンコーダ・テンポラル・スコアを単位正規化(unity normalizing)することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成し：その場合において、全てのテンポラル・スコアにわたって正規化されたテンポラル・アテンション・スコアαti eを、n個の位置に関する入力にわたって算出する：

これらのウェイトを利用して、入力コンテキスト・ベクトルct eを取得する：

図6は、タイム・スタンプt=4に関してエンコーダ・コンテキスト・ベクトルct e(618)を算出するために、正規化されたテンポラル・スコアを利用する仕組みを示す。
図7は、タイム・スタンプt=4におけるデコーダ・コンテキスト・ベクトルct dの具体例を示す。デコーダ・ニューラル・ネットワーク182は、出力ytの埋め込みベクトルから隠れ状態Hd=[h1 d,h2 d,h3 d,h4 d]を算出し、その場合において、自身の隠れ状態に基づいて反復的な語句の生成を避けるために(特に、長いシーケンスを生成する場合に)、以前にデコードされたシーケンスに関する情報をデコーダに組み込む。イントラ隠れ状態コンパレータ172は、算出された隠れ状態Hd=[h1 d,h2 d,h3 d,h4 d]を、デコード・ステップtにおける隠れ状態と比較し、その場合において、以前のデコーダ隠れ状態の各々に対する現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用する。各々のデコード・ステップtについて、イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部184は、新たなアテンション・コンテキスト・ベクトルを算出する。t>1に関し、アテンション・スコアを計算するために以下の数式を利用する：

この場合において、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを、対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされたエンコーダ隠れ状態の凸結合(a convex combination)として生成する − 現在のデコーダ・アテンション・スコアの各々を指数関数的に正規化する(exponentially normalizing)ことにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成する。イントラ・テンポラル・アテンション・コンテキスト・ベクトルは次のように計算される：現在のイントラ・デコーダ・アテンション・ベクトルを、対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされた以前のデコーダ隠れ状態の凸結合として生成し、サマリー・トークンを発生するためにそのベクトルを処理する。

tt’は現在の時間ステップを示し、j=1は最初のデコード時間ステップを示し、コンテキスト・ベクトルは次式で示される：

生成されるシーケンスは最初のデコード・ステップでは空(empty)であるので、c1 dに関するデコーダ・コンテキスト・ベクトルct dはゼロのベクトルに設定される。
イントラ・テンポラル・エンコーダ・アテンションの指数関数正規化部142及びイントラ・テンポラル・デコーダ・アテンションの指数関数正規化部184は、一般的なソフトマックス・モジュール(a common softmax module)を利用して実現されることが可能である。
図8は、エンコーダ・コンテキスト・ベクトル618と、デコーダ・コンテキスト・ベクトル768と、現在の隠れ状態ベクトル835とを合成するサマリー・ワード・エミッタを示す。以前のデコード・ステップを顧みることは、開示される抽象テキスト要約アーキテクチャが、更に構造化された予測を行うこと及び同一情報の繰り返しを避けることを、たとえその情報が何ステップも前に生成されていたとしても、許容する。
先ず、開示される強化学習プロセスはモデルに自身のサマリーを生成させ、ユーザーは、生成されたサマリーをグランド・トゥルースと比較するために外的なスコアラー(an external scorer)を利用する。従って、このスコアラーは、生成されたサマリーのモデルに対する品質を示す。スコアが高い場合、そのようなサマリーを将来更に登場しやすくするために、モデルは自身を更新することが可能である。そうではない場合、スコアが低い場合、モデルはペナルティが課され、類似するサマリーを避けるように生成プロシジャを変更する。ワード毎の予測ではなく、全文を評価するこの強化モデルは、要約スコアを増加させる点で非常に優れている。
図９は、所与のデコード・ステップで2つのアテンション機能の結合を利用する開示されるRNNに基づく抽象テキスト要約アーキテクチャにより処理される例示的な入力文書テキスト「The United States became the largest tech ...」に関し、結合されるエンコーダ及びデコーダ・アテンション機能を示す。即ち、新たなワードを生成するための組み合わせにおいて、テンポラル・アテンション及びデコーダ・イントラ・アテンションが使用される。シーケンスのうちの各要素(この例の場合、ワード)は、1つずつ処理される。シーケンス中の新たな入力の各々に関し、その入力及び以前の隠れ状態に応じて、新たな隠れ状態が生成される。このセンテンス(文)では、各ワードで算出される隠れ状態は、そのポイントに至るまでに読まれる全てのワードの関数である(又はそれらに依存する)。各々のステップにおいて、RNN隠れ状態835は、最終的な出力テキスト・シーケンス968に加えられ且つ次の関数の入力として供給される新たなワードを生成するために使用される。入力読み込み及び出力生成RNNsが結合され、入力RNNの最終的な隠れ状態は、出力RNNの初期隠れ状態として使用される。出力テキストを生成する場合に、モデルが入力の様々な部分を利用こと、即ち、サマリーの情報カバレッジを増やすことを保証するように、アテンションは調整される。具体例では、「United States」はUS 966に短縮され、0.8というアテンション・スコアが生成されてワード「expanded」に割り振られるが、ワード「became」は0.1というアテンション・スコアに指定され、ワード「increased」は0.05というアテンション・スコアに指定される(928)。開示されるアーキテクチャは、任意のテキストを読み込み、そこから異なるテキストを生成することが可能である。開示される技術の一実施例では、双方向エンコーダのために2つの200次元LSTMsが使用され、デコーダのために1つの400次元LSTMが使用され；入力の語彙サイズは150,000トークンに制限され、出力の語彙は、トレーニング・セット中で最も頻繁に使用されるトークンを選択することにより、50,000トークンに限定される。入力ワード埋め込みは100次元であり、Gloveにより初期化される。
図10は、「CNN/Daily Mail」データセットに関する定量的な結果を示し、上記の自動評価メトリックROUGEにより、開示されるアーキテクチャ100を、テキスト要約に関する既存の抽象及び抽出アプローチと比較している。最近まで、「CNN/Daily Mail」データセットに関する抽象テキスト要約の最高ROUGE-1スコアは、35.46(1016)であった。イントラ・デコーダ・アテンションRNNモデルの、教師あり及びRLトレーニングとの開示される結合は、優れたROUGEパフォーマンスにより、そのスコアを39.87まで改善し(1066)、ひいては、更に読みやすい自動的に生成される文書要約を提案する。
図11及び図12は、人間が作成したグランド・トゥルース・サマリーとの比較において、文書例と、文書例に基づいて開示のアーキテクチャにより生成されるマルチ・センテンス・サマリーとを示す。各々の具体例に関し、元々の記事、グランド・トゥルース・サマリー、及び開示モデルにより生成されたサマリーが示されている。
開示されるモデル及びトレーニング・プロシジャは、「CNN/Daily Mail」のテキスト要約において最高水準の結果を取得し、生成されるサマリーの読みやすさを改善し、長い出力文章に更に適している。
コンピュータ・システム
図13は、抽象要約モデル100を実現するために使用されることが可能なコンピュータ・システム1300の簡略化されたブロック図である。コンピュータ・システム1300は、典型的には、バス・サブシステム1332により多数の周辺デバイスと通信する1つ以上のCPUプロセッサ1320を含む。これらの周辺デバイスは、例えばメモリ・デバイスを含むメモリ・サブシステム1312と、ファイル・ストレージ・サブシステム1318と、ユーザー・インターフェース入力デバイス1330と、ユーザー・インターフェース出力デバイス1324と、ネットワーク・インターフェース・サブシステム1322と、複数のGPU処理コア又はGPUプロセッサ1328を有するGPU1326とを含むことが可能である。入力及び出力デバイスは、コンピュータ・システム1300とのユーザー相互作用を可能にする。ネットワーク・インターフェース・サブシステム1322は、外部ネットワークに対するインターフェースを提供し、そのインターフェースは、他のコンピュータ・システムにおける対応するインターフェース・デバイスのためのインターフェースを含む。
抽象要約モデル100の動作は、何らかの実現手段に従って、GPU処理コア1328により実行される。
ユーザー・インターフェース入力デバイス1330又はクライアント又はクライアント・デバイスは、キーボード；マウス、トラックボール・タッチパッド又はグラフィックス・タブレットのようなポインティング・デバイス；スキャナ；ディスプレイに組み込まれたタッチ・スクリーン；音声認識サブシステム及びマイクロフォンのようなオーディオ入力デバイス；及び その他のタイプの入力デバイスを含むことが可能である。一般に、「入力デバイス」という用語の使用は、コンピュータ・システム1300に情報を入力するための全ての可能なタイプのデバイス及び方法を含むように意図される。
ユーザー・インターフェース出力デバイス1324は、ディスプレイ・サブシステム、プリンタ、ファクシミリ送受信機、又は、オーディオ出力デバイスのような非視覚的ディスプレイを含むことが可能である。ディスプレイ・サブシステムは、LEDディスプレイやフラット・パネル・デバイス(例えば、液晶ディスプレイ(LCD)、陰極線管(CRT)、プロジェクション・デバイス、又は、可視的な画像を形成する何らかの他のメカニズム)を含むことが可能である。ディスプレイ・サブシステムは、オーディオ出力デバイスのような非視覚的ディスプレイを提供することも可能である。一般に、「出力デバイス」という用語の使用は、コンピュータ・システム1300からユーザーへ又は他のマシン若しくはコンピュータ・システムへ情報を出力することが可能な全てのタイプのデバイス又は方法を含むように意図される。
ストレージ・サブシステム1310は、本願で説明されるモジュール及び方法の全部又は一部の機能を提供するプログラミング及びデータ構造を保存する。これらのソフトウェア・モジュールは、一般に、CPUプロセッサ1320単独により、又はGPUプロセッサ1328のような他のプロセッサとの組み合わせにより実行される。
ストレージ・サブシステム内のメモリ・サブシステム1312は多数のメモリを含むことが可能であり、メモリは、プログラム実行中に命令及びデータを保存するためのメイン・ランダム・アクセス・メモリ(RAM)1316、及び、一定の命令が保存されるリード・オンリ・メモリ(ROM)1314を含む。ファイル・ストレージ・サブシステム1318は、プログラム及びデータ・ファイルの永続的なストレージを提供することが可能であり、また、ハード・ディスク・ドライブ、関連する取り外し可能なメディアを伴うフロッピ・ディスク・ドライブ、CD-ROMドライブ、光ドライブ、又は、取り外し可能なメディア・カートリッジを含むことが可能である。所定の実現手段の機能を実現するモジュールは、ファイル・ストレージ・サブシステム1318又はメモリ・サブシステム1312により、或いは、プロセッサによりアクセス可能な他のマシンに保存されることが可能である。
バス・サブシステム1332は、コンピュータ・システム1300の様々なコンポーネント及びサブシステムに、意図されるように互いに通信させる仕組みを提供する。バス・サブシステム1332は単独のバスとして概略的に示されているが、バス・サブシステムの代替的な実現手段は複数のバスを利用することが可能である。或る実施形態では、(不図示の)アプリケーションサーバーは、コンピュータ・システム1300のアプリケーションが動作することを許容するフレームワーク(例えば、ハードウェア及び/又はソフトウェア(例えば、オペレーティング・システム))であるとすることが可能である。
コンピュータ・システム1300自体は様々なタイプのものであるとすることが可能であり、例えば、パーソナル・コンピュータ、ポータブル・コンピュータ、ワークステーション、コンピュータ端末、ネットワーク・コンピュータ、テレビジョン、メインフレーム、サーバー・ファーム、広く分散された緩やかにネットワーク化されたコンピュータ群、或いは、他の何らかのデータ処理システム又はユーザー・デバイスを含む。コンピュータ及びネットワークの絶え間なく変化する性質に起因して、図13に示されるコンピュータ・システムの記述は、本発明の好ましい実施形態を説明するための特定の具体例として専ら意図されている。図13に示されるコンピュータ・システムよりも多い又は少ないコンポーネントを有するコンピュータ・システム1300の他の多くの構成も可能である。
上記の記述は、開示される技術についての生産及び使用を可能にするように述べられている。開示された実現手段に対する様々な変形は明らかであり、本願で規定される一般的な原理は、開示される技術の精神及び範囲から逸脱することなく、他の実現手段及びアプリケーションに適用されて良い。同様に、列挙されるプロセス・ステップは、図示又は説明された順序に限定されなくても良い。従って、明細書及び図面は、限定的な意味ではなく例示的に解釈されるべきである。開示される技術は、示された実現手段に限定されるようには意図されておらず、本願で開示された原理及び特徴に合致する最も広い範囲を享受する。
特定の実現手段
以下の議論において、幾つかの特定の実現手段及び特徴が説明される。
抽象テキスト要約についての開示されるニューラル・ネットワークで実現される方法の一実施例は、各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；及び 各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップを含む。本方法は、エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態をエンコーダ隠れ状態の各々に適用するステップ；特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、それ以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされるエンコーダ隠れ状態の凸結合として、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び 対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる以前のデコーダ隠れ状態の凸結合として、現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルを処理してサマリー・トークンを出力するステップも含んでいる。
開示される技術についての本方法及び他の実現手段は、以下の特徴及び/又は開示される追加的な方法との組み合わせで説明される特徴のうちの1つ以上を含むことが可能である。簡明化の観点から、本願で開示される特徴の組み合わせは、個別的に列挙されてはおらず、それぞれの基本構成の特徴について反復されていない。
開示される技術は、システム、方法又は製品として実施されることが可能である。実現手段の1つ以上の特徴は、基本的な実現手段と結合されることが可能である。相互に排他的でない実現手段は、結合が可能であるように教示されている。実現手段の1つ以上の特徴は、他の実現手段と結合されることが可能である。本開示は定期的にユーザーにこれらのオプションを想起させる。これらのオプションを反復する記載を何らかの実施例から省略することは、前節で教示される結合を限定するように解釈されるべきではなく − これらの記載は後続の実現手段の各々に前方参照として組み込まれる。
ニューラル・ネットワークで実現される方法の一実施例に関し、「埋め込み」は、高次元ワード埋め込み空間に埋め込まれる。
開示される方法に関し、双方向RNNに基づくエンコーダは、2つの別々のロング・ショート・ターム・メモリ(LSTM)ネットワークを有し、RNNに基づくデコーダは単独のLSTMネットワークを有する。或る開示される実現手段では、エンコーダは、フォワード及びバックワードRNNsを有する双方向リカレント・ニューラル・ネットワーク(Bi-RNN)であり、フォワード及びバックワードRNNsの各々は入力として「埋め込み」を受信し、フォワード及びバックワードRNN隠れ状態を生成し、エンコーダ隠れ状態は、それぞれのフォワード及びバックワードRNN隠れ状態の連結(concatenations)である。
教師あり学習及び強化学習の双方の利点を実現するために、開示される方法は、強化学習及び教師あり学習の結合を利用して、抽象テキスト要約モデルをトレーニングすることを更に含むことが可能であり、また、混合トレーニング目的関数を利用して抽象要約モデルをトレーニングすることを更に含むことが可能であり、そのモデルは、文書シーケンスのグランド・トゥルース・サマリーに対してデコーダ・サマリー出力を比較することにより妥当性を評価するように各デコード・ステップで最尤損失(a maximum-likelihood loss)を最小化する教師あり機械学習と、ベースライン出力に対してデコーダ・サマリー出力を評価し、デコーダ・サマリー出力の読みやすさに関する報酬又はペナルティを供給する強化学習とを混合し、教師あり機械学習と強化学習の混合は重み付け平均化である。開示される方法は、ワード・レベル及びサマリー全体レベルの双方の監視を行い、サマリーを更に理路整然と読みやすくする。特に、ROUGE最適化RLは、リコール(recall)を改善することを促し、要約される必要のある重要な情報が実際に包含されることを保証し、及び、ワード・レベル学習の監視は、優れた言葉の流れを保証し、サマリーを更に理路整然と読みやすくする。
仮出願で引用される文書「ROUGE: A Package for Automatic Evaluation of Summaries」及び「The ROUGE-AR: A Proposed Extension to the ROUGE Evaluation Metric for Abstractive Text Summarization」は、異なるタイプのROUGE評価メトリックを明らかにする。ROUGEのような個々の評価メトリックを最適化するために、開示される抽象テキスト要約アーキテクチャは、強化学習アルゴリズムを利用する。開示される方法の或る実現手段に関し、強化学習は、自己批判シーケンス・トレーニング(SCST)アルゴリズムを利用して実現され、教師あり学習は最尤損失トレーニング目標(ML)を利用して実現される。
或る開示される実現手段に関し、400ないし800トークンの文書シーケンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象要約モデルが使用される。
開示される一実施例において、抽象テキスト要約モデルは、機械翻訳に基づく自然言語処理(NLP)タスクを実行するために使用される。他の開示される実現手段において、抽象要約モデルは、質疑応答に基づくNLPタスク(question answering-based NLP tasks)を実行するために使用される。更に別の実現手段では、対話システムに基づくNLPタスク(dialog systems-based NLP tasks)を実行するために、抽象要約モデルが使用される。
開示される方法の一実施例は、抽象要約モデルのパフォーマンスを、ROUGE個別評価メトリックで評価することを更に含む。抽象要約モデルを実現するニューラル・シーケンス法を実現する開示方法の別の実施例では、BLEU又はMETEOR評価メトリックが使用されることが可能である。
開示される方法の一実施例は、出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、RNNに基づくデコーダに要求するステップを更に含む。
抽象要約モデルを実現するニューラル・シーケンス法を実現するための開示される方法の一実施例は、文書シーケンスの入力文書トークンをワード埋め込み空間に埋め込むステップ；文書シーケンスの入力文書トークンに対するトークンの双方向エンコーディングと入力文書に対する全体的な双方向エンコーディングとを生じさせるために、入力文書トークン埋め込みを、双方向リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダに抵抗するステップを含む。開示される方法は、初期の現在のデコーダ隠れ状態として全体的な双方向エンコーディングでRNNに基づくデコーダを初期化するステップも含んでいる。本方法は、各デコード・ステップにおいて、RNNに基づくデコーダが、入力文書トークンについて、エンコードされた状態アテンション・ウェイトを生成するために、現在のデコーダ隠れ状態をトークンの双方向エンコーディングに適用するステップ；エンコードされた状態アテンション・ウェイトを指数関数正規化するステップ；及び 正規化されたエンコードされた状態アテンション・ウェイトに基づいて、トークンの双方向エンコーディングの重み付け加算を計算するステップを更に含む。更に、本方法は、各デコード・ステップにおいて、以前に計算されたデコーダ隠れ状態の各々について、デコードされた状態アテンション・ウェイトを生成するために、現在のデコーダ隠れ状態を、以前に計算されたデコーダ隠れ状態に適用するステップ；デコードされた状態アテンション・ウェイトを指数関数的に正規化するステップ；及び 正規化されたデコードされた状態アテンション・ウェイトに基づいて、以前に計算されたデコーダ隠れ状態の重み付け加算を計算するステップ；各デコード・ステップにおいて、イントラ・デコーダ・アテンション・ベクトルを、イントラ・テンポラル・エンコーダ・アテンション・ベクトル、及び現在のデコーダ隠れ状態と結合し、結合されたベクトルを処理してサマリー・トークンを出力するステップを含む。
更に別の実施例は、媒体にロードされるコンピュータ・プログラム命令を含む有形の非一時的なコンピュータ読み取り可能な媒体を含んでも良く、その命令は、コンピュータ・ハードウェアにより実行されると、上記の何れかの方法をコンピュータに実行させる。
開示される方法のシステム実施例は、メモリに結合される1つ以上のプロセッサを含み、プロセッサは上記の何れかの方法を実現する。
或る実現手段に関し、開示されるシステムは、現在のデコーダ隠れ状態とアテンディング(attending)の結果とを、エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態にわたって結合することにより、現在のサマリー・トークンを出力するアテンティブ・デコーダを更に含むことが可能である。或る実現手段では、エンコーダ隠れ状態に対するデコーダのアテンション(attention)は、文書のうちの要約されていない部分に着目する。場合によっては、以前に生成されたデコー他隠れ状態にわたるデコーダのアテンションは、反復的なサマリー・フレーズの出力を防止する。
開示されるネットワークに基づく抽象テキスト要約システムの或る実施例は、強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングすることを更に含む。ニューラル・ネットワークに基づく抽象テキスト要約システムの或る実施例は、混合トレーニング目的関数を利用して抽象要約モデルをトレーニングすることを含み、その関数は、文書シーケンスのグランド・トゥルース・サマリーに対してデコーダ・サマリー出力を比較することにより妥当性を評価するように各デコード・ステップで最尤損失を最小化する教師あり機械学習と、ベースライン出力に対してデコーダ・サマリー出力を評価し、デコーダ・サマリー出力の読みやすさに関する報酬又はペナルティを供給する強化学習とを混合し、教師あり機械学習と強化学習の混合は重み付け平均化である。
開示される本システムの実施例及び他のシステムは、開示される方法に関連して説明される1つ以上の特徴を選択的に含む。簡明化のため、システムの特徴の代替的な組み合わせは個別的に列挙されてはいない。システム、方法及び製品に適用可能な特徴は、一群の基本特徴についての法上のクラス(カテゴリ)それぞれに関して繰り返されない。読者は、このセクションで明らかにされる特徴が、どのようにして、他の法上のクラス(カテゴリ)の基本特徴とともに容易に組み合わせることが可能であるかを理解するであろう。
上記の記述は、その性質上、単なる例示的であり、対象事項又はアプリケーションの実現手段又はそのような実現手段の用途を限定するようには意図されていない。更に、技術分野、背景技術又は詳細な説明で提示される如何なる表現又は暗示される理論によっても限定される意図は無い。本願で使用されるように、「例示的」という言葉は「具体例又は模範として役立つ」ことを意味する。本願で開示される何れの実現手段も、他の実現手段よりも好ましく又は有利であるように構成されることは、必ずしも必要ではなく、本願で説明される実施例は如何なる方法によっても対象事項の範囲又は適用性を限定するようには意図されていない。
開示される技術は、上述した好ましい実施形態及び具体例を参照することにより開示されるが、これらの具体例は限定する意味ではなく例示的に意図されていることが、理解されるべきである。変形及び組み合わせは当業者にとって容易に把握されるであろうし、その変形及び組み合わせは発明の精神及び特許請求の範囲の目的の範囲内にあることが想定されている。

Claims (25)

  1. ニューラル・ネットワークで実現される抽象テキスト要約の方法は：
    各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
    連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
    各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
    を有し、前記出力するステップは：
    前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
    特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
    前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
    対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
    以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
    前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
    対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
    を含む、ニューラル・ネットワークで実現される方法。
  2. 前記埋め込みは、高次元ワード埋め込み空間に埋め込まれる、請求項1に記載の方法。
  3. 前記エンコーダは、フォワード及びバックワードRNNsを含む双方向リカレント・ニューラル・ネットワーク(Bi-RNN)であり、フォワード及びバックワードRNNsの各々は、フォワード及びバックワードRNN隠れ状態を生成するために入力として前記埋め込みを受信し、前記エンコーダ隠れ状態は、個々のフォワード及びバックワードRNN隠れ状態の連結である、請求項1に記載の方法。
  4. 400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、請求項1に記載の方法。
  5. 機械翻訳に基づく自然言語処理(NLP)のタスクを実行するために、抽象テキスト要約が使用される、請求項1に記載の方法。
  6. 前記抽象テキスト要約のパフォーマンスをROUGEメトリックで評価するステップを更に含む、請求項1に記載の方法。
  7. 出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、前記リカレント・アテンティブ・デコーダに要求するステップを更に含む請求項1に記載の方法。
  8. 並列プロセッサで動作するニューラル・ネットワークに基づく抽象テキスト要約システムであって：
    要約される文書の入力トークンについてエンコーダ隠れ状態を生成するエンコーダ；
    前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態に配慮することにより前記文書を要約するサマリー・トークンを出力するアテンティブ・デコーダ；
    を有し、前記エンコーダ隠れ状態に対するデコーダの配慮は、デコーダにより以前に処理されなかった入力トークンを促し、デコーダにより以前に処理された入力トークンにペナルティを課し；
    以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、デコーダにより以前に出力されなかったサマリー・トークン候補を促し、デコーダにより以前に出力されたサマリー・トークン候補にペナルティを課す、抽象テキスト要約システム。
  9. 前記アテンティブ・デコーダは、前記エンコーダ隠れ状態及び以前に生成されたデコーダ隠れ状態にわたる配慮の結果と現在のデコーダ隠れ状態とを結合することにより、現在のサマリー・トークンを出力する、請求項8に記載の抽象テキスト要約システム。
  10. 前記エンコーダ隠れ状態に対するデコーダの配慮は、前記文書のうち要約されてない部分を重視する、請求項8に記載の抽象テキスト要約システム。
  11. 前記以前に生成されたデコーダ隠れ状態に対するデコーダの配慮は、反復的なサマリー語句の出力を防ぐ、請求項8に記載の抽象テキスト要約システム。
  12. 1つ以上のプロセッサと、前記プロセッサに結合され、コンピュータ命令を含むメモリとを含むニューラル・ネットワークに基づく抽象テキスト要約システムであって：前記コンピュータ命令は、前記プロセッサで実行される場合に、抽象要約モデルを実現するプロセスを前記抽象テキスト要約システムに実行させ、前記抽象テキスト要約システムは：
    ワード埋め込み空間における文書シーケンスの入力文書トークンの埋め込み；
    提供される入力文書トークンの埋め込みを利用して、前記文書シーケンスの入力文書トークンに対するトークンの双方向エンコーディングと入力文書に対する全体的な双方向エンコーディングとを生じさせる双方向リカレント・ニューラル・ネットワーク(RNN)に基づくエンコーダ；
    初期の現在のデコーダ隠れ状態として前記全体的な双方向エンコーディングで初期化されたRNNに基づくデコーダ；
    を有し、前記RNNに基づくデコーダは、
    前記入力文書トークンについて、エンコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を前記トークンの双方向エンコーディングに適用し；
    エンコードされた状態アテンション・ウェイトを指数関数正規化し；及び
    正規化されたエンコードされた状態アテンション・ウェイトに基づいて、トークンの双方向エンコーディングの重み付け加算を計算する；
    ことにより、各デコード・ステップでイントラ・テンポラル・エンコーダ・アテンション・ベクトルを計算し；
    前記RNNに基づくデコーダは、
    以前に計算されたデコーダ隠れ状態の各々について、デコードされた状態アテンション・ウェイトを生成するために、前記現在のデコーダ隠れ状態を、以前に計算されたデコーダ隠れ状態に適用し；
    デコードされた状態アテンション・ウェイトを指数関数的に正規化し；及び
    正規化されたデコードされた状態アテンション・ウェイトに基づいて、以前に計算されたデコーダ・隠れ状態の重み付け加算を計算する；
    ことにより、各デコード・ステップでイントラ・デコーダ・アテンション・ベクトルを計算し；
    各々のデコード・ステップにおいて、前記イントラ・デコーダ・アテンション・ベクトルを、前記イントラ・テンポラル・エンコーダ・アテンション・ベクトル、及び現在のデコーダ隠れ状態と結合し、結合されたベクトルをサマリー・トークンを出力するために処理する、抽象テキスト要約システム。
  13. 双方向のRNNに基づくエンコーダが、2つの別個のロング・ショート・ターム・メモリ(LSTM)ネットワークを有する、請求項12に記載の抽象テキスト要約システム。
  14. 前記RNNに基づくデコーダが、ロング・ショート・ターム・メモリ(LSTM)ネットワークを有する、請求項12に記載の抽象テキスト要約システム。
  15. 強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングする、請求項12に記載の抽象テキスト要約システム。
  16. 教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングし、
    前記教師あり機械学習は、デコーダ・サマリー出力を、前記文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおいて最尤損失を最小化し、
    前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
    前記教師あり機械学習及び強化学習の混合は重み付け平均である、請求項12に記載の抽象テキスト要約システム。
  17. 前記強化学習は、自己批判的シーケンス・トレーニング(SCST)アルゴリズムを利用して実現される、請求項16に記載の抽象テキスト要約システム。
  18. 前記教師あり学習は、最尤損失トレーニング目標(ML)を利用して実現される、請求項16に記載の抽象テキスト要約システム。
  19. 400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象要約モデルが使用される、請求項12に記載の抽象テキスト要約システム。
  20. 前記抽象要約モデルのパフォーマンスをROUGEメトリックで評価する、請求項12に記載の抽象テキスト要約システム。
  21. 出力サマリー・トークンの同じトリグラム・シーケンスをサマリーの中で1回より多く出力しないことを、前記RNNに基づくデコーダに要求する、請求項12に記載の抽象テキスト要約システム。
  22. 抽象要約モデルを実現するコンピュータ・プログラム命令を備える有形の非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ・プログラム命令は、プロセッサに方法を実行させ、前記方法は：
    各々の埋め込みについてエンコーダ隠れ状態を生成するリカレント・エンコーダにより文書の入力トークン埋め込みを処理するステップ；
    連続的なデコード・ステップでデコーダ隠れ状態を生成するために、最終的なエンコーダ隠れ状態及び特定の開始サマリー・トークンによりリカレント・アテンティブ・デコーダを初期化するステップ；
    各々のデコード・ステップにおいて、現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルと、現在のイントラ・デコーダ・アテンション・ベクトルと、現在のデコーダ隠れ状態とを利用して、デコーダがサマリー・トークンを出力するステップ；
    を有し、前記出力するステップは：
    前記エンコーダ隠れ状態の各々について現在のエンコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を前記エンコーダ隠れ状態の各々に適用するステップ；
    特定のエンコーダ隠れ状態の現在のエンコーダ・アテンション・スコアを、以前のエンコーダ・アテンション・スコアにわたって指数関数正規化することにより、前記エンコーダ隠れ状態の各々について現在のエンコーダ・テンポラル・スコアを生成するステップ；
    前記現在のエンコーダ・テンポラル・スコアを単位正規化することにより、現在の正規化されたエンコーダ・テンポラル・スコアを生成するステップ；
    対応する現在の正規化されたエンコーダ・テンポラル・スコアによりスケーリングされる前記エンコーダ隠れ状態の凸結合として、前記現在のイントラ・テンポラル・エンコーダ・アテンション・ベクトルを生成するステップ；
    以前のデコーダ隠れ状態の各々について現在のデコーダ・アテンション・スコアを生成するために、前記現在のデコーダ隠れ状態を、以前のデコーダ隠れ状態の各々に適用するステップ；
    前記現在のデコーダ・アテンション・スコアの各々を指数関数正規化することにより、前記以前のデコーダ隠れ状態の各々について、現在の正規化されたデコーダ・アテンション・スコアを生成するステップ；及び
    対応する現在の正規化されたデコーダ・アテンション・スコアによりスケーリングされる前記以前のデコーダ隠れ状態の凸結合として、前記現在のイントラ・デコーダ・アテンション・ベクトルを生成し、当該ベクトルをサマリー・トークンを出力するために処理するステップ；
    を含む、コンピュータ読み取り可能な記憶媒体。
  23. 400ないし800トークンの文書センテンスを、40ないし100トークンのサマリー・シーケンスに要約するために、抽象テキスト要約が使用される、請求項22に記載のコンピュータ読み取り可能な記憶媒体。
  24. 前記方法は、強化学習及び教師あり学習の組み合わせを利用して、抽象要約モデルをトレーニングするステップを更に含む、請求項22に記載のコンピュータ読み取り可能な記憶媒体。
  25. 前記方法は、教師あり機械学習と強化学習とを混合する混合トレーニング目的関数を利用して抽象要約モデルをトレーニングするステップを更に含み、
    前記教師あり機械学習は、デコーダ・サマリー出力を、文書シーケンスのグランド・トゥルース・サマリーと比較することにより、妥当性を評価するために、各々のデコード・ステップにおける最尤損失を最小化し、
    前記強化学習は、前記デコーダ・サマリー出力をベースライン出力に対して評価し、前記デコーダ・サマリー出力の読みやすさについて報酬又はペナルティをフィードバックし、
    前記教師あり機械学習及び強化学習の混合は重み付け平均である、請求項24に記載のコンピュータ読み取り可能な記憶媒体。

JP2018076692A 2017-04-14 2018-04-12 抽象テキスト要約方法、システム及び記憶媒体 Active JP6768734B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762485876P 2017-04-14 2017-04-14
US62/485,876 2017-04-14
US15/815,686 US10474709B2 (en) 2017-04-14 2017-11-16 Deep reinforced model for abstractive summarization
US15/815,686 2017-11-16

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019197215A Division JP6790214B2 (ja) 2017-04-14 2019-10-30 テキスト要約システム、方法及び記憶媒体

Publications (3)

Publication Number Publication Date
JP2018181343A true JP2018181343A (ja) 2018-11-15
JP2018181343A5 JP2018181343A5 (ja) 2020-04-02
JP6768734B2 JP6768734B2 (ja) 2020-10-14

Family

ID=63790053

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018076692A Active JP6768734B2 (ja) 2017-04-14 2018-04-12 抽象テキスト要約方法、システム及び記憶媒体
JP2019197215A Active JP6790214B2 (ja) 2017-04-14 2019-10-30 テキスト要約システム、方法及び記憶媒体
JP2020184049A Active JP7098698B2 (ja) 2017-04-14 2020-11-04 テキスト要約システム、方法、コンピュータ・プログラム及び記憶媒体

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019197215A Active JP6790214B2 (ja) 2017-04-14 2019-10-30 テキスト要約システム、方法及び記憶媒体
JP2020184049A Active JP7098698B2 (ja) 2017-04-14 2020-11-04 テキスト要約システム、方法、コンピュータ・プログラム及び記憶媒体

Country Status (2)

Country Link
US (3) US10474709B2 (ja)
JP (3) JP6768734B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200080417A (ko) * 2018-12-19 2020-07-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
JP2021033994A (ja) * 2019-08-20 2021-03-01 株式会社Ｎｔｔドコモ テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体
KR20210043406A (ko) 2019-10-11 2021-04-21 숭실대학교산학협력단 문서 맥락 기반 커버리지를 이용한 자동 요약 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2021075107A1 (ja) * 2019-10-18 2021-04-22 ソニー株式会社 情報処理装置及び情報処理方法
JPWO2021166145A1 (ja) * 2020-02-20 2021-08-26
KR20210125275A (ko) * 2020-04-08 2021-10-18 에스케이 주식회사 딥러닝 기반 문서 요약 생성 방법 및 시스템
JP2022536241A (ja) * 2019-06-11 2022-08-15 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテキスト・アウェア・データ・マイニング
JP2023517334A (ja) * 2020-05-26 2023-04-25 テンセント・アメリカ・エルエルシー グラフ・ツー・テキスト生成のための構造情報保存

Families Citing this family (202)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US9858524B2 (en) * 2014-11-14 2018-01-02 Google Inc. Generating natural language descriptions of images
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10565305B2 (en) 2016-11-18 2020-02-18 Salesforce.Com, Inc. Adaptive attention model for image captioning
US11250311B2 (en) 2017-03-15 2022-02-15 Salesforce.Com, Inc. Deep neural network-based decision network
US10565318B2 (en) 2017-04-14 2020-02-18 Salesforce.Com, Inc. Neural machine translation with latent tree attention
US10474709B2 (en) 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
JP6842167B2 (ja) * 2017-05-08 2021-03-17 国立研究開発法人情報通信研究機構 要約生成装置、要約生成方法及びコンピュータプログラム
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10846477B2 (en) * 2017-05-16 2020-11-24 Samsung Electronics Co., Ltd. Method and apparatus for recommending word
US11386327B2 (en) 2017-05-18 2022-07-12 Salesforce.Com, Inc. Block-diagonal hessian-free optimization for recurrent and convolutional neural networks
US10817650B2 (en) 2017-05-19 2020-10-27 Salesforce.Com, Inc. Natural language processing using context specific word vectors
US11699039B2 (en) * 2017-06-28 2023-07-11 Microsoft Technology Licensing, Llc Virtual assistant providing enhanced communication session services
US10585991B2 (en) 2017-06-29 2020-03-10 Microsoft Technology Licensing, Llc Virtual assistant for generating personalized responses within a communication session
US10902738B2 (en) * 2017-08-03 2021-01-26 Microsoft Technology Licensing, Llc Neural models for key phrase detection and question generation
US11087211B2 (en) * 2017-10-05 2021-08-10 Salesforce.Com, Inc. Convolutional neural network (CNN)-based suggestions for anomaly input
CN109710915B (zh) * 2017-10-26 2021-02-23 华为技术有限公司 复述语句生成方法及装置
US11170287B2 (en) 2017-10-27 2021-11-09 Salesforce.Com, Inc. Generating dual sequence inferences using a neural network model
US11604956B2 (en) 2017-10-27 2023-03-14 Salesforce.Com, Inc. Sequence-to-sequence prediction using a neural network model
US11928600B2 (en) 2017-10-27 2024-03-12 Salesforce, Inc. Sequence-to-sequence prediction using a neural network model
US10592767B2 (en) 2017-10-27 2020-03-17 Salesforce.Com, Inc. Interpretable counting in visual question answering
US10573295B2 (en) 2017-10-27 2020-02-25 Salesforce.Com, Inc. End-to-end speech recognition with policy learning
US11562287B2 (en) 2017-10-27 2023-01-24 Salesforce.Com, Inc. Hierarchical and interpretable skill acquisition in multi-task reinforcement learning
US10542270B2 (en) 2017-11-15 2020-01-21 Salesforce.Com, Inc. Dense video captioning
US10409898B2 (en) * 2017-11-17 2019-09-10 Adobe Inc. Generating a targeted summary of textual content tuned to a target audience vocabulary
US20190171913A1 (en) * 2017-12-04 2019-06-06 Slice Technologies, Inc. Hierarchical classification using neural networks
US11276002B2 (en) 2017-12-20 2022-03-15 Salesforce.Com, Inc. Hybrid training of deep networks
US10776581B2 (en) 2018-02-09 2020-09-15 Salesforce.Com, Inc. Multitask learning as question answering
US10929607B2 (en) 2018-02-22 2021-02-23 Salesforce.Com, Inc. Dialogue state tracking using a global-local encoder
US11227218B2 (en) 2018-02-22 2022-01-18 Salesforce.Com, Inc. Question answering from minimal context over documents
JP6867963B2 (ja) * 2018-02-26 2021-05-12 日本電信電話株式会社 要約評価装置、方法、プログラム、及び記憶媒体
US11170158B2 (en) 2018-03-08 2021-11-09 Adobe Inc. Abstractive summarization of long documents using deep learning
US10783875B2 (en) 2018-03-16 2020-09-22 Salesforce.Com, Inc. Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network
JP6560843B1 (ja) * 2018-03-16 2019-08-14 楽天株式会社 検索システム、検索方法、及びプログラム
US11106182B2 (en) 2018-03-16 2021-08-31 Salesforce.Com, Inc. Systems and methods for learning for domain adaptation
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
US11050656B2 (en) * 2018-05-10 2021-06-29 Dell Products L.P. System and method to learn and prescribe network path for SDN
US10909157B2 (en) * 2018-05-22 2021-02-02 Salesforce.Com, Inc. Abstraction of text summarization
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
EP3811323A4 (en) * 2018-06-19 2022-03-09 Thomson Reuters Enterprise Centre GmbH SYSTEMS AND METHODS FOR DETERMINING STRUCTURED PROCESS OUTCOMES
CN110737758B (zh) * 2018-07-03 2022-07-05 百度在线网络技术（北京）有限公司 用于生成模型的方法和装置
US11436481B2 (en) 2018-09-18 2022-09-06 Salesforce.Com, Inc. Systems and methods for named entity recognition
US10970486B2 (en) 2018-09-18 2021-04-06 Salesforce.Com, Inc. Using unstructured input to update heterogeneous data stores
US10831821B2 (en) * 2018-09-21 2020-11-10 International Business Machines Corporation Cognitive adaptive real-time pictorial summary scenes
US10804938B2 (en) * 2018-09-25 2020-10-13 Western Digital Technologies, Inc. Decoding data using decoders and neural networks
US20220058339A1 (en) * 2018-09-25 2022-02-24 Michelle Archuleta Reinforcement Learning Approach to Modify Sentence Reading Grade Level
WO2020068141A1 (en) * 2018-09-26 2020-04-02 Google Llc Predicted variables in programming
US11087177B2 (en) 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US11514915B2 (en) 2018-09-27 2022-11-29 Salesforce.Com, Inc. Global-to-local memory pointer networks for task-oriented dialogue
US11645509B2 (en) 2018-09-27 2023-05-09 Salesforce.Com, Inc. Continual neural network learning via explicit structure learning
US11029694B2 (en) 2018-09-27 2021-06-08 Salesforce.Com, Inc. Self-aware visual-textual co-grounded navigation agent
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10672382B2 (en) * 2018-10-15 2020-06-02 Tencent America LLC Input-feeding architecture for attention based end-to-end speech recognition
US20200134426A1 (en) * 2018-10-24 2020-04-30 Hrl Laboratories, Llc Autonomous system including a continually learning world model and related methods
US20200134103A1 (en) * 2018-10-26 2020-04-30 Ca, Inc. Visualization-dashboard narration using text summarization
CN109543667B (zh) * 2018-11-14 2023-05-23 北京工业大学 一种基于注意力机制的文本识别方法
CN109543199B (zh) * 2018-11-28 2022-06-10 腾讯科技（深圳）有限公司 一种文本翻译的方法以及相关装置
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技（深圳）有限公司 文本摘要生成方法、装置、计算机设备及存储介质
JP7211045B2 (ja) * 2018-11-30 2023-01-24 富士通株式会社 要約文生成方法、要約文生成プログラム及び要約文生成装置
US10963652B2 (en) 2018-12-11 2021-03-30 Salesforce.Com, Inc. Structured text translation
US11822897B2 (en) 2018-12-11 2023-11-21 Salesforce.Com, Inc. Systems and methods for structured text translation with tag alignment
CN109726281A (zh) * 2018-12-12 2019-05-07 Tcl集团股份有限公司 一种文本摘要生成方法、智能终端及存储介质
US11922323B2 (en) 2019-01-17 2024-03-05 Salesforce, Inc. Meta-reinforcement learning gradient estimation with variance reduction
CN110147435B (zh) * 2019-01-24 2023-08-22 腾讯科技（深圳）有限公司 对话生成方法、装置、设备及存储介质
CN109919358B (zh) * 2019-01-31 2021-03-02 中国科学院软件研究所 一种基于神经网络时空注意力机制的实时站点流量预测方法
CN109885673A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种基于预训练语言模型的自动文本摘要方法
US11568306B2 (en) 2019-02-25 2023-01-31 Salesforce.Com, Inc. Data privacy protected machine learning systems
US11003867B2 (en) 2019-03-04 2021-05-11 Salesforce.Com, Inc. Cross-lingual regularization for multilingual generalization
US11366969B2 (en) 2019-03-04 2022-06-21 Salesforce.Com, Inc. Leveraging language models for generating commonsense explanations
US11087092B2 (en) 2019-03-05 2021-08-10 Salesforce.Com, Inc. Agent persona grounded chit-chat generation framework
US11580445B2 (en) 2019-03-05 2023-02-14 Salesforce.Com, Inc. Efficient off-policy credit assignment
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11232308B2 (en) 2019-03-22 2022-01-25 Salesforce.Com, Inc. Two-stage online detection of action start in untrimmed videos
US11100920B2 (en) * 2019-03-25 2021-08-24 Mitsubishi Electric Research Laboratories, Inc. System and method for end-to-end speech recognition with triggered attention
CN110619118B (zh) * 2019-03-28 2022-10-28 中国人民解放军战略支援部队信息工程大学 一种文本自动生成方法
CN110147442B (zh) * 2019-04-15 2023-06-06 深圳智能思创科技有限公司 一种可控长度的文本摘要生成系统及方法
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11210477B2 (en) * 2019-05-09 2021-12-28 Adobe Inc. Systems and methods for transferring stylistic expression in machine translation of sequence data
CN110288535B (zh) * 2019-05-14 2020-05-22 北京邮电大学 一种图像去雨方法和装置
US11487939B2 (en) 2019-05-15 2022-11-01 Salesforce.Com, Inc. Systems and methods for unsupervised autoregressive text compression
CN110245230A (zh) * 2019-05-15 2019-09-17 北京思源智通科技有限责任公司 一种图书分级方法、系统、存储介质和服务器
US11604965B2 (en) 2019-05-16 2023-03-14 Salesforce.Com, Inc. Private deep learning
US11620572B2 (en) 2019-05-16 2023-04-04 Salesforce.Com, Inc. Solving sparse reward tasks using self-balancing shaped rewards
US11562251B2 (en) 2019-05-16 2023-01-24 Salesforce.Com, Inc. Learning world graphs to accelerate hierarchical reinforcement learning
US12073177B2 (en) * 2019-05-17 2024-08-27 Applications Technology (Apptek), Llc Method and apparatus for improved automatic subtitle segmentation using an artificial neural network model
US11669712B2 (en) 2019-05-21 2023-06-06 Salesforce.Com, Inc. Robustness evaluation via natural typos
US11775775B2 (en) 2019-05-21 2023-10-03 Salesforce.Com, Inc. Systems and methods for reading comprehension for a question answering task
US11687588B2 (en) 2019-05-21 2023-06-27 Salesforce.Com, Inc. Weakly supervised natural language localization networks for video proposal prediction based on a text query
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11657269B2 (en) 2019-05-23 2023-05-23 Salesforce.Com, Inc. Systems and methods for verification of discriminative models
CN110175338B (zh) * 2019-05-31 2023-09-26 北京金山数字娱乐科技有限公司 一种数据处理方法及装置
US11468890B2 (en) 2019-06-01 2022-10-11 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
CN110347192B (zh) * 2019-06-17 2020-11-03 武汉理工大学 基于注意力机制和自编码器的玻璃炉温智能预测控制方法
CN110457713B (zh) * 2019-06-19 2023-07-28 腾讯科技（深圳）有限公司 基于机器翻译模型的翻译方法、装置、设备和存储介质
US11593559B2 (en) * 2019-06-27 2023-02-28 Microsoft Technology Licensing, Llc Enhanced natural language query segment tagging
CN110442711B (zh) * 2019-07-03 2023-06-30 平安科技（深圳）有限公司 文本智能化清洗方法、装置及计算机可读存储介质
CN110598203B (zh) * 2019-07-19 2023-08-01 中国人民解放军国防科技大学 一种结合词典的军事想定文书实体信息抽取方法及装置
KR20210012730A (ko) 2019-07-26 2021-02-03 삼성전자주식회사 인공지능 모델의 학습 방법 및 전자 장치
US11615240B2 (en) 2019-08-15 2023-03-28 Salesforce.Com, Inc Systems and methods for a transformer network with tree-based attention for natural language processing
US11599792B2 (en) 2019-09-24 2023-03-07 Salesforce.Com, Inc. System and method for learning with noisy labels as semi-supervised learning
US11568000B2 (en) 2019-09-24 2023-01-31 Salesforce.Com, Inc. System and method for automatic task-oriented dialog system
US11640527B2 (en) 2019-09-25 2023-05-02 Salesforce.Com, Inc. Near-zero-cost differentially private deep learning with teacher ensembles
CN110705313B (zh) * 2019-10-09 2022-12-27 沈阳航空航天大学 一种基于特征抽取和语义增强的文本摘要生成方法
CN110765768A (zh) * 2019-10-16 2020-02-07 北京工业大学 一种优化的文本摘要生成方法
CN110738026B (zh) * 2019-10-23 2022-04-19 腾讯科技（深圳）有限公司 用于生成描述文本的方法和设备
CN110795411B (zh) * 2019-11-01 2022-01-04 北京理工大学 一种基于类别门机制的文本分类方法
CN111046907B (zh) * 2019-11-02 2023-10-27 国网天津市电力公司 一种基于多头注意力机制的半监督卷积网络嵌入方法
US11620515B2 (en) 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11347708B2 (en) 2019-11-11 2022-05-31 Salesforce.Com, Inc. System and method for unsupervised density based table structure identification
US11334766B2 (en) 2019-11-15 2022-05-17 Salesforce.Com, Inc. Noise-resistant object detection with noisy annotations
US11288438B2 (en) 2019-11-15 2022-03-29 Salesforce.Com, Inc. Bi-directional spatial-temporal reasoning for video-grounded dialogues
CN110941712B (zh) * 2019-11-21 2022-09-20 清华大学深圳国际研究生院 一种用户级别的个性化文本摘要生成方法和系统
US11640505B2 (en) 2019-12-09 2023-05-02 Salesforce.Com, Inc. Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading
US11416688B2 (en) 2019-12-09 2022-08-16 Salesforce.Com, Inc. Learning dialogue state tracking with limited labeled data
US11487999B2 (en) 2019-12-09 2022-11-01 Salesforce.Com, Inc. Spatial-temporal reasoning through pretrained language models for video-grounded dialogues
US12086539B2 (en) 2019-12-09 2024-09-10 Salesforce, Inc. System and method for natural language processing using neural network with cross-task training
US11256754B2 (en) 2019-12-09 2022-02-22 Salesforce.Com, Inc. Systems and methods for generating natural language processing training samples with inflectional perturbations
US11573957B2 (en) 2019-12-09 2023-02-07 Salesforce.Com, Inc. Natural language processing engine for translating questions into executable database queries
CN113128180A (zh) * 2019-12-31 2021-07-16 阿里巴巴集团控股有限公司 文本生成方法和设备
CN111221958B (zh) * 2020-01-08 2024-03-15 北京小米松果电子有限公司 一种训练藏字诗生成模型的方法、藏字诗生成方法及装置
US11436267B2 (en) * 2020-01-08 2022-09-06 International Business Machines Corporation Contextually sensitive document summarization based on long short-term memory networks
US11669745B2 (en) 2020-01-13 2023-06-06 Salesforce.Com, Inc. Proposal learning for semi-supervised object detection
CN111259666A (zh) * 2020-01-15 2020-06-09 上海勃池信息技术有限公司 一种结合多头自注意力机制的cnn文本分类方法
CN111324728B (zh) * 2020-01-22 2023-08-22 腾讯科技（深圳）有限公司 文本事件摘要的生成方法、装置、电子设备及存储介质
US11562147B2 (en) 2020-01-23 2023-01-24 Salesforce.Com, Inc. Unified vision and dialogue transformer with BERT
US20210249104A1 (en) 2020-02-06 2021-08-12 Salesforce.Com, Inc. Systems and methods for language modeling of protein engineering
CA3161393C (en) * 2020-02-13 2023-11-21 Maksims Volkovs Initialization of parameters for machine-learned transformer neural network architectures
CN111414505B (zh) * 2020-03-11 2023-10-20 上海爱数信息技术股份有限公司 一种基于序列生成模型的快速图像摘要生成方法
US11263476B2 (en) 2020-03-19 2022-03-01 Salesforce.Com, Inc. Unsupervised representation learning with contrastive prototypes
US11328731B2 (en) 2020-04-08 2022-05-10 Salesforce.Com, Inc. Phone-based sub-word units for end-to-end speech recognition
US11042700B1 (en) * 2020-04-16 2021-06-22 Capital One Services, Llc Conciseness reconstruction of a content presentation via natural language processing
US12067496B2 (en) * 2020-04-24 2024-08-20 Mastercard International Incorporated Methods and systems for reducing bias in an artificial intelligence model
US11657304B2 (en) * 2020-05-01 2023-05-23 Microsoft Technology Licensing, Llc Assessing similarity between items using embeddings produced using a distributed training framework
US10885436B1 (en) * 2020-05-07 2021-01-05 Google Llc Training text summarization neural networks with an extracted segments prediction objective
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11294945B2 (en) 2020-05-19 2022-04-05 International Business Machines Corporation Unsupervised text summarization with reinforcement learning
CN111723196B (zh) * 2020-05-21 2023-03-24 西北工业大学 基于多任务学习的单文档摘要生成模型构建方法及装置
US11669699B2 (en) 2020-05-31 2023-06-06 Saleforce.com, inc. Systems and methods for composed variational natural language generation
US11720559B2 (en) 2020-06-02 2023-08-08 Salesforce.Com, Inc. Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text
US11586830B2 (en) * 2020-06-03 2023-02-21 PM Labs, Inc. System and method for reinforcement learning based controlled natural language generation
CN113824624B (zh) * 2020-06-19 2023-10-17 阿里巴巴集团控股有限公司 一种邮件标题生成模型的训练方法及邮件标题生成方法
US11321329B1 (en) * 2020-06-24 2022-05-03 Amazon Technologies, Inc. Systems, apparatuses, and methods for document querying
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US20220027578A1 (en) * 2020-07-27 2022-01-27 Nvidia Corporation Text string summarization
CN111897949B (zh) * 2020-07-28 2021-10-26 北京工业大学 一种基于Transformer的引导性文本摘要生成方法
CN111651589B (zh) * 2020-08-10 2020-10-30 中南民族大学 一种针对长文档的两阶段文本摘要生成方法
CN111932010B (zh) * 2020-08-10 2023-09-22 重庆大学 一种基于骑行上下文信息的共享单车流量预测方法
US20220050877A1 (en) 2020-08-14 2022-02-17 Salesforce.Com, Inc. Systems and methods for query autocompletion
US11934952B2 (en) 2020-08-21 2024-03-19 Salesforce, Inc. Systems and methods for natural language processing using joint energy-based models
US11934781B2 (en) 2020-08-28 2024-03-19 Salesforce, Inc. Systems and methods for controllable text summarization
US11181988B1 (en) * 2020-08-31 2021-11-23 Apple Inc. Incorporating user feedback into text prediction models via joint reward planning
CN112163596B (zh) * 2020-09-04 2024-01-05 华南理工大学 复杂场景文本识别方法、系统、计算机设备及存储介质
CN112287687B (zh) * 2020-09-17 2022-06-14 昆明理工大学 基于案件属性感知的案件倾向性抽取式摘要方法
US11984113B2 (en) 2020-10-06 2024-05-14 Direct Cursus Technology L.L.C Method and server for training a neural network to generate a textual output sequence
WO2022077244A1 (en) * 2020-10-14 2022-04-21 Microsoft Technology Licensing, Llc. A look-ahead strategy for trie-based beam search in generative retrieval
US20220129745A1 (en) * 2020-10-27 2022-04-28 Sap Se Prediction and Management of System Loading
CN112347242B (zh) * 2020-11-11 2024-06-18 北京沃东天骏信息技术有限公司 摘要生成方法、装置、设备及介质
KR102645628B1 (ko) * 2020-11-13 2024-03-11 주식회사 포티투마루 선다형 질문에 대한 정답 선택 방법 및 장치
US11829442B2 (en) 2020-11-16 2023-11-28 Salesforce.Com, Inc. Methods and systems for efficient batch active learning of a deep neural network
CN112417138A (zh) * 2020-11-17 2021-02-26 北京计算机技术及应用研究所 一种结合指针生成式与自注意力机制的短文本自动摘要方法
KR102539601B1 (ko) * 2020-12-03 2023-06-02 주식회사 포티투마루 텍스트 요약 성능 개선 방법 및 시스템
CN112464658B (zh) * 2020-12-07 2022-08-09 上海交通大学 基于语句融合的文本摘要生成方法、系统、终端及介质
JP2022152367A (ja) * 2021-03-29 2022-10-12 富士通株式会社 機械学習プログラム、機械学習方法および情報処理装置
CN112925896A (zh) * 2021-04-04 2021-06-08 河南工业大学 一种基于联合解码的话题扩展情感对话生成方法
CN113326866B (zh) * 2021-04-16 2022-05-31 山西大学 一种融合语义场景的摘要自动生成方法及系统
CN115269768A (zh) * 2021-04-29 2022-11-01 京东科技控股股份有限公司 要素文本处理方法、装置、电子设备和存储介质
CN112906385B (zh) * 2021-05-06 2021-08-13 平安科技（深圳）有限公司 文本摘要生成方法、计算机设备及存储介质
KR20220161821A (ko) * 2021-05-31 2022-12-07 삼성에스디에스 주식회사 문서 요약 모델 학습 장치 및 방법
US20220392434A1 (en) * 2021-06-08 2022-12-08 Microsoft Technology Licensing, Llc Reducing biases of generative language models
US11763082B2 (en) 2021-07-12 2023-09-19 International Business Machines Corporation Accelerating inference of transformer-based models
CN113673241B (zh) * 2021-08-03 2024-04-09 之江实验室 一种基于范例学习的文本摘要生成框架系统及方法
CN113609285B (zh) * 2021-08-09 2024-05-14 福州大学 一种基于依赖门控融合机制的多模态文本摘要系统
CN113918706B (zh) * 2021-10-15 2024-05-28 山东大学 一种行政处罚决定书的信息抽取方法
US11983464B2 (en) * 2021-10-20 2024-05-14 Dell Products L.P. Neural network-based message communication framework with summarization and on-demand audio output generation
US20230259544A1 (en) * 2022-02-16 2023-08-17 Adobe Inc. Training a model for performing abstractive text summarization
CN114996438B (zh) * 2022-05-20 2024-05-28 昆明理工大学 一种多策略强化学习的汉越跨语言摘要生成方法
CN115017250B (zh) * 2022-06-30 2024-07-09 东南大学 基于深度学习的稀疏轨迹数据恢复系统及方法
CN115577118B (zh) * 2022-09-30 2023-05-30 南京信息工程大学 一种基于混合分组排序和动态实体记忆规划的文本生成方法
CN115496061B (zh) * 2022-09-30 2023-06-20 内蒙古财经大学 一种神经网络标题生成模型的构建方法
US20240193973A1 (en) * 2022-12-09 2024-06-13 Tencent America LLC Salience-aware cross-attention for abstractive summarization
CN116032776B (zh) * 2023-01-09 2024-06-14 中国人民解放军国防科技大学 基于深度强化学习的作战体系通信系统架构设计方法、电子设备及存储介质
CN117313704B (zh) * 2023-11-28 2024-02-23 江西师范大学 基于公有与私有特征分解的混合可读性评估方法与系统
CN117407051B (zh) * 2023-12-12 2024-03-08 武汉大学 一种基于结构位置感知的代码自动摘要方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6601026B2 (en) * 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US7702680B2 (en) * 2006-11-02 2010-04-20 Microsoft Corporation Document summarization by maximizing informative content words
US10679605B2 (en) * 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US20160350653A1 (en) 2015-06-01 2016-12-01 Salesforce.Com, Inc. Dynamic Memory Network
US11113598B2 (en) 2015-06-01 2021-09-07 Salesforce.Com, Inc. Dynamic memory network
US10762283B2 (en) * 2015-11-20 2020-09-01 Adobe Inc. Multimedia document summarization
JP6791780B2 (ja) * 2017-02-16 2020-11-25 株式会社日立製作所 文章作成装置
US20180232443A1 (en) * 2017-02-16 2018-08-16 Globality, Inc. Intelligent matching system with ontology-aided relation extraction
US10474709B2 (en) 2017-04-14 2019-11-12 Salesforce.Com, Inc. Deep reinforced model for abstractive summarization
CN107291871B (zh) * 2017-06-15 2021-02-19 北京百度网讯科技有限公司 基于人工智能的多域信息的匹配度评估方法、设备及介质
US11170158B2 (en) * 2018-03-08 2021-11-09 Adobe Inc. Abstractive summarization of long documents using deep learning

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
瀧川 雅也: "線形化された構文情報を用いた生成型ニューラル文要約", 言語処理学会第２３回年次大会 発表論文集 ［ＯＮＬＩＮＥ］, JPN6020012806, 6 March 2017 (2017-03-06), pages 1058 - 1061, ISSN: 0004247160 *
笹川 隆史: "教師あり学習・教師なし学習・強化学習を複合したｂｒａｉｎ−ｌｉｋｅ学習システム", 電気学会論文誌Ｃ, vol. 第１２６巻，第９号, JPN6020012811, 1 September 2006 (2006-09-01), pages 1165 - 1172, ISSN: 0004247161 *
菊池 悠太: "Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒモデルにおける出力長制御", 情報処理学会 研究報告 自然言語処理（ＮＬ） ２０１６−ＮＬ−２２７ ［ＯＮＬＩＮＥ］, JPN6020012804, 22 July 2016 (2016-07-22), ISSN: 0004247159 *
阪口 豊: "強化学習と教師あり学習を組み合わせたプリズム適応のモデル", 電子情報通信学会技術研究報告, vol. 第１００巻，第６８８号, JPN6020012808, 9 March 2001 (2001-03-09), pages 99 - 106, ISSN: 0004247162 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102153201B1 (ko) * 2018-12-19 2020-09-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
KR20200080417A (ko) * 2018-12-19 2020-07-07 서울과학기술대학교 산학협력단 채팅 데이터와 오디오 데이터를 이용한 하이라이트 영상 생성 장치
JP2022536241A (ja) * 2019-06-11 2022-08-15 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテキスト・アウェア・データ・マイニング
JP7481074B2 (ja) 2019-06-11 2024-05-10 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテキスト・アウェア・データ・マイニング
JP2021033994A (ja) * 2019-08-20 2021-03-01 株式会社Ｎｔｔドコモ テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体
JP7414357B2 (ja) 2019-08-20 2024-01-16 株式会社Ｎｔｔドコモ テキスト処理方法、装置、デバイス及びコンピュータ読み取り可能な記憶媒体
KR20210043406A (ko) 2019-10-11 2021-04-21 숭실대학교산학협력단 문서 맥락 기반 커버리지를 이용한 자동 요약 방법, 이를 수행하기 위한 기록 매체 및 장치
WO2021075107A1 (ja) * 2019-10-18 2021-04-22 ソニー株式会社 情報処理装置及び情報処理方法
JP7494856B2 (ja) 2019-10-18 2024-06-04 ソニーグループ株式会社 情報処理装置及び情報処理方法
JP7429352B2 (ja) 2020-02-20 2024-02-08 日本電信電話株式会社 系列変換装置、機械学習装置、系列変換方法、機械学習方法、およびプログラム
JPWO2021166145A1 (ja) * 2020-02-20 2021-08-26
KR20210125275A (ko) * 2020-04-08 2021-10-18 에스케이 주식회사 딥러닝 기반 문서 요약 생성 방법 및 시스템
KR102476492B1 (ko) * 2020-04-08 2022-12-09 에스케이 주식회사 딥러닝 기반 문서 요약 생성 방법 및 시스템
JP7458497B2 (ja) 2020-05-26 2024-03-29 テンセント・アメリカ・エルエルシー グラフ・ツー・テキスト生成ネットワークを訓練する方法及びコンピュータ・システム
JP2023517334A (ja) * 2020-05-26 2023-04-25 テンセント・アメリカ・エルエルシー グラフ・ツー・テキスト生成のための構造情報保存

Also Published As

Publication number Publication date
JP2021022404A (ja) 2021-02-18
US10521465B2 (en) 2019-12-31
US10474709B2 (en) 2019-11-12
US11003704B2 (en) 2021-05-11
JP7098698B2 (ja) 2022-07-11
US20190311002A1 (en) 2019-10-10
JP6790214B2 (ja) 2020-11-25
JP2020038687A (ja) 2020-03-12
US20180300400A1 (en) 2018-10-18
US20200142917A1 (en) 2020-05-07
JP6768734B2 (ja) 2020-10-14

Similar Documents

Publication Publication Date Title
JP2018181343A (ja) 抽象的要約のためのディープ強化モデル
JP6972265B2 (ja) ポインタセンチネル混合アーキテクチャ
US11900056B2 (en) Stylistic text rewriting for a target author
US20210256390A1 (en) Computationally efficient neural network architecture search
US20230394102A1 (en) Automatic navigation of interactive web documents
Wang et al. Predicting thread discourse structure over technical web forums
US8990128B2 (en) Graph-based framework for multi-task multi-view learning
CN109635197B (zh) 搜索方法、装置、电子设备及存储介质
CN109815459A (zh) 生成被调整到目标受众词汇的文本内容的目标概要
JP5513898B2 (ja) 共有された言語モデル
US11741190B2 (en) Multi-dimensional language style transfer
CN115049508A (zh) 页面生成方法、装置、电子设备及存储介质
Cui et al. KNET: A general framework for learning word embedding using morphological knowledge
US12093298B2 (en) Apparatus and method for training model for document summarization
US20230376537A1 (en) Multi-chunk relationship extraction and maximization of query answer coherence
WO2023154351A2 (en) Apparatus and method for automated video record generation
Wang et al. Learning to balance the coherence and diversity of response generation in generation-based chatbots
US20130110596A1 (en) Foreign language incentive structure for crowdsourced research
CN112580309B (zh) 文档数据处理方法、装置、计算机设备及存储介质
US11227099B2 (en) Automatic summarization with bias minimization
US20230059611A1 (en) Information processing apparatus, information processing system, and non-transitory computer readable medium
US20200372056A1 (en) Automatic summarization with bias minimization
CN114637856A (zh) 评价画像生成方法、装置、设备及存储介质
CN113449515A (zh) 一种医学文本的预测方法、预测装置及电子设备
Zhou An Investigation of Neural Network Architectures for Sign-Gloss to Text Translation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191030

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191030

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191030

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200707

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200817

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250