JP2020135289A - 質問応答装置、学習装置、質問応答方法及びプログラム - Google Patents
質問応答装置、学習装置、質問応答方法及びプログラム Download PDFInfo
- Publication number
- JP2020135289A JP2020135289A JP2019026546A JP2019026546A JP2020135289A JP 2020135289 A JP2020135289 A JP 2020135289A JP 2019026546 A JP2019026546 A JP 2019026546A JP 2019026546 A JP2019026546 A JP 2019026546A JP 2020135289 A JP2020135289 A JP 2020135289A
- Authority
- JP
- Japan
- Prior art keywords
- answer
- sentence
- question
- word
- style
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
まず、本発明の第一の実施形態では、任意の文書集合と、この文書集合に対する任意の質問文(以降、単に「質問」とも表す。)と、例えばユーザ等によって指定された回答スタイルとが与えられた場合に、ニューラルネットワークによる文生成技術を用いて、当該回答スタイルに応じた回答文を生成する質問応答装置10について説明する。ここで、回答スタイルとは、回答文の表現形式のことであり、例えば、単語のみで回答文を表現することを示す「単語」、フレーズ(句)で回答文を表現することを示す「フレーズ」、自然文で回答文を表現することを示す「自然文」が挙げられる。これら以外にも、回答スタイルとして、例えば、回答文に用いられる言語の種類(日本語、英語等)、回答文を表現する感情(ポジティブ、ネガティブ)や時制、口調、回答文の長さ(文字数)等も挙げられる。
≪学習時≫
本発明の第一の実施形態の学習時における質問応答装置10の機能構成について、図1を参照しながら説明する。図1は、本発明の第一の実施形態における質問応答装置10の機能構成(学習時)の一例を示す図である。
・(例2)質問:「2020年のオリンピックが開催される都市は?」、文書集合:ニュース記事の集合、回答スタイル:「自然文」、正解回答文:「2020年のオリンピックは東京で開催されます。」
このように、各訓練データには、質問と、文書集合と、回答スタイルと、この回答スタイルに応じた正解回答文とが含まれる。なお、文書集合には少なくとも1つ以上の文書が含まれていればよい。
本発明の第一の実施形態の質問応答時における質問応答装置10の機能構成について、図2を参照しながら説明する。図2は、本発明の第一の実施形態における質問応答装置10の機能構成(質問応答時)の一例を示す図である。
ここで、単語ベクトル記憶部101に格納されているデータの一例を図3に示す。図3は、単語ベクトル記憶部101に格納されているデータの一例を示す図である。
Jeffrey Pennington, Richard Socher, Christopher D. Manning: Glove: Global Vectors for Word Representation. EMNLP 2014: 1532-1543
次に、本発明の第一の実施形態における質問応答装置10のハードウェア構成について、図4を参照しながら説明する。図4は、本発明の第一の実施形態における質問応答装置10のハードウェア構成の一例を示す図である。
以降では、本発明の第一の実施形態における質問応答装置10によって回答文生成モデルを学習する処理(学習処理)について、図5を参照しながら説明する。図5は、本発明の第一の実施形態における学習処理の一例を示すフローチャートである。なお、上述したように、学習時の質問応答装置10は、図1に示す各機能部及び記憶部を有している。
ここで、上記のステップS104におけるパラメータ更新処理の詳細について、図6A及び図6Bを参照しながら説明する。図6A及び図6Bは、本発明の第一の実施形態におけるパラメータ更新処理の一例を示すフローチャートである。なお、以降では、Nb個のミニバッチのうちの或る1つのミニバッチを用いたパラメータ更新処理について説明する。
Kyunghyun Cho, Bart van Merrienboer, Caglar Gulcehre, Dzmitry Bahdanau, Fethi Bougares, Holger Schwenk, Yoshua Bengio: Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP 2014: 1724-1734
以降では、本発明の第一の実施形態における質問応答装置10によって質問応答する処理(質問応答処理)について、図7を参照しながら説明する。図7は、本発明の第一の実施形態における質問応答処理の一例を示すフローチャートである。なお、上述したように、質問応答時の質問応答装置10は、図2に示す各機能部及び記憶部を有している。
ここで、本発明の第一の実施形態における手法(以降、「本発明の手法」と表す。)の実験結果を以下の表1に示す。
ここで、質問応答装置10に与えられた文書集合の中には、一般に、回答文の生成に適合する文書と回答文の生成に適合しない文書とが混在している場合が多い。また、文書集合全体として回答文を生成するのに不十分な場合がある。各文書が回答文の生成に適合しているか否かや文書集合全体が回答文の生成に十分であるか否かは、生成された回答文の精度等に密接な関係がある。
≪学習時≫
本発明の第二の実施形態の学習時における質問応答装置10の機能構成について、図8を参照しながら説明する。図8は、本発明の第二の実施形態における質問応答装置10の機能構成(学習時)の一例を示す図である。
本発明の第二の実施形態の質問応答時における質問応答装置10の機能構成について、図9を参照しながら説明する。図9は、本発明の第二の実施形態における質問応答装置10の機能構成(質問応答時)の一例を示す図である。
以降では、本発明の第二の実施形態における質問応答装置10によって回答文生成モデルを学習する処理(学習処理)について、図10を参照しながら説明する。図10は、本発明の第二の実施形態における学習処理の一例を示すフローチャートである。なお、上述したように、学習時の質問応答装置10は、図8に示す各機能部及び記憶部を有している。図10のステップS401〜ステップS406は、図5のステップS101〜ステップS106とそれぞれ同様であるため、その説明を省略する。ただし、ステップS404におけるパラメータ更新処理の詳細は、ステップS104とは異なる。
そこで、上記のステップS404におけるパラメータ更新処理の詳細について、図11A及び図11Bを参照しながら説明する。図11A及び図11Bは、本発明の第二の実施形態におけるパラメータ更新処理の一例を示すフローチャートである。なお、以降では、Nb個のミニバッチのうちの或る1つのミニバッチを用いたパラメータ更新処理について説明する。
Sepp Hochreiter and Jurgen Schmidhuber. 1997. Long Short-Term Memory. Neural Computation 9, 8 (1997), 1735-1780
[参考文献4]
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin: Attention is All you Need. NIPS 2017: 6000-6010
以降では、本発明の第二の実施形態における質問応答装置10によって質問応答する処理(質問応答処理)について、図12A及び図12Bを参照しながら説明する。図12A及び図12Bは、本発明の第二の実施形態における質問応答処理の一例を示すフローチャートである。なお、上述したように、質問応答時の質問応答装置10は、図2に示す各機能部及び記憶部を有している。
101 単語ベクトル記憶部
102 入力部
103 単語系列ベクトル化部
104 単語系列マッチング部
105 スタイル依存回答文生成部
106 パラメータ学習部
107 出力部
108 文書適合度計算部
109 回答可能性計算部
Claims (8)
- 1つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手段を有し、
前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、
ことを特徴とする質問応答装置。 - 前記回答生成手段は、
前記文書集合に含まれる単語、前記質問文に含まれる単語、及び予め設定された語彙集合に含まれる単語を用いて、前記回答文を生成し、
前記学習済モデルは、前記回答文に含まれる単語を生成する際に、前記スタイルに応じて、前記語彙集合に含まれる単語、前記質問文に含まれる単語、又は前記語彙集合に含まれる単語のいずれを重視すべきかを表す比を算出する、ことを特徴とする請求項1に記載の質問応答装置。 - 前記学習済モデルは、前記回答文に含まれる単語を生成する際に、前記文書集合に含まれる単語の注視分布と、前記質問文に含まれる単語の注視分布と、前記語彙集合に含まれる単語の確率分布とを、前記比を用いて合成することで、前記生成確率を決定する、ことを特徴とする請求項2に記載の質問応答装置。
- 前記回答生成手段は、
更に、前記回答文を生成する際における前記文書の適合性と、前記質問文に対する前記文書集合の回答可能性とを計算する処理を前記学習済モデルにより実行する、ことを特徴とする請求項1乃至3の何れか一項に記載の質問応答装置。 - 1つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルと、前記スタイルに応じた回答文の正解とを入力として、前記文書集合に基づいて前記質問文に対する回答文に含まれる単語の生成確率を計算する処理を学習済モデルにより実行する回答生成手段と、
前記正解と、前記生成確率とを用いて計算された損失から、前記学習済モデルのパラメータを更新する更新手段と、
を有することを特徴とする学習装置。 - 前記スタイルには、前記回答文が単語で表現されることを示す「単語」又は前記回答文が句で表現されることを示す「フレーズ」と、前記回答文が自然文で表現されることを示す「自然文」とが少なくとも含まれる、ことを特徴とする請求項5に記載の学習装置。
- 1つ以上の文書で構成される文書集合と、質問文と、該質問文に対する回答文のスタイルとを入力として、前記文書集合に基づいて前記質問文に対する回答文を生成する処理を学習済モデルにより実行する回答生成手順をコンピュータが実行し、
前記学習済モデルは、前記回答文を生成する際に、前記スタイルに応じて、前記回答文に含まれる単語の生成確率を決定する、ことを特徴とする質問応答方法。 - コンピュータを、請求項1乃至4の何れか一項に記載の質問応答装置における各手段、又は、請求項5又は6に記載の学習装置における各手段として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026546A JP7127570B2 (ja) | 2019-02-18 | 2019-02-18 | 質問応答装置、学習装置、質問応答方法及びプログラム |
PCT/JP2020/005086 WO2020170881A1 (ja) | 2019-02-18 | 2020-02-10 | 質問応答装置、学習装置、質問応答方法及びプログラム |
US17/431,383 US20220138601A1 (en) | 2019-02-18 | 2020-02-10 | Question responding apparatus, learning apparatus, question responding method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019026546A JP7127570B2 (ja) | 2019-02-18 | 2019-02-18 | 質問応答装置、学習装置、質問応答方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020135289A true JP2020135289A (ja) | 2020-08-31 |
JP7127570B2 JP7127570B2 (ja) | 2022-08-30 |
Family
ID=72144596
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019026546A Active JP7127570B2 (ja) | 2019-02-18 | 2019-02-18 | 質問応答装置、学習装置、質問応答方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220138601A1 (ja) |
JP (1) | JP7127570B2 (ja) |
WO (1) | WO2020170881A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022224462A1 (ja) * | 2021-04-23 | 2022-10-27 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11526692B2 (en) * | 2020-02-25 | 2022-12-13 | UST Global (Singapore) Pte. Ltd. | Systems and methods for domain agnostic document extraction with zero-shot task transfer |
JP2022185799A (ja) * | 2021-06-03 | 2022-12-15 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
CN116304748B (zh) * | 2023-05-17 | 2023-07-28 | 成都工业学院 | 一种文本相似度计算方法、系统、设备及介质 |
CN117708277A (zh) * | 2023-11-10 | 2024-03-15 | 广州宝露软件开发有限公司 | 一种基于aigc的问答系统及应用方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004133771A (ja) * | 2002-10-11 | 2004-04-30 | Just Syst Corp | 質問応答装置、質問応答方法、及び質問応答プログラム |
JP2016133919A (ja) * | 2015-01-16 | 2016-07-25 | 日本電信電話株式会社 | 質問応答方法、装置、及びプログラム |
US20160358072A1 (en) * | 2015-06-05 | 2016-12-08 | Google Inc. | Reading comprehension neural networks |
US20170323011A1 (en) * | 2014-11-12 | 2017-11-09 | International Business Machines Corporation | Answering Questions Via a Persona-Based Natural Language Processing (NLP) System |
US20170364586A1 (en) * | 2016-06-20 | 2017-12-21 | International Business Machines Corporation | Contextual Content Graph for Automatic, Unsupervised Summarization of Content |
-
2019
- 2019-02-18 JP JP2019026546A patent/JP7127570B2/ja active Active
-
2020
- 2020-02-10 US US17/431,383 patent/US20220138601A1/en active Pending
- 2020-02-10 WO PCT/JP2020/005086 patent/WO2020170881A1/ja active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004133771A (ja) * | 2002-10-11 | 2004-04-30 | Just Syst Corp | 質問応答装置、質問応答方法、及び質問応答プログラム |
US20170323011A1 (en) * | 2014-11-12 | 2017-11-09 | International Business Machines Corporation | Answering Questions Via a Persona-Based Natural Language Processing (NLP) System |
JP2016133919A (ja) * | 2015-01-16 | 2016-07-25 | 日本電信電話株式会社 | 質問応答方法、装置、及びプログラム |
US20160358072A1 (en) * | 2015-06-05 | 2016-12-08 | Google Inc. | Reading comprehension neural networks |
US20170364586A1 (en) * | 2016-06-20 | 2017-12-21 | International Business Machines Corporation | Contextual Content Graph for Automatic, Unsupervised Summarization of Content |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022224462A1 (ja) * | 2021-04-23 | 2022-10-27 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
US20220138601A1 (en) | 2022-05-05 |
WO2020170881A1 (ja) | 2020-08-27 |
JP7127570B2 (ja) | 2022-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7120433B2 (ja) | 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム | |
US11210306B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
WO2020170881A1 (ja) | 質問応答装置、学習装置、質問応答方法及びプログラム | |
US11741109B2 (en) | Dialogue system, a method of obtaining a response from a dialogue system, and a method of training a dialogue system | |
JP6772213B2 (ja) | 質問応答装置、質問応答方法及びプログラム | |
JP7325152B1 (ja) | 文章生成装置および文章生成方法 | |
CN110347802B (zh) | 一种文本分析方法及装置 | |
JP2022169757A (ja) | 探索装置、探索方法及び探索プログラム | |
US12008473B2 (en) | Augmenting machine learning language models using search engine results | |
WO2020170912A1 (ja) | 生成装置、学習装置、生成方法及びプログラム | |
Banik et al. | Gru based named entity recognition system for bangla online newspapers | |
JP2019032529A (ja) | 音声合成のためのフロントエンドの学習方法、コンピュータプログラム、音声合成システム、及び音声合成のためのフロントエンド処理方法 | |
CN110750642A (zh) | 一种基于cnn的中文关系分类方法及系统 | |
JP7103264B2 (ja) | 生成装置、学習装置、生成方法及びプログラム | |
Seilsepour et al. | Self-supervised sentiment classification based on semantic similarity measures and contextual embedding using metaheuristic optimizer | |
CN117574924A (zh) | 翻译模型训练方法、翻译方法、装置、电子设备及介质 | |
WO2019163752A1 (ja) | 形態素解析学習装置、形態素解析装置、方法、及びプログラム | |
KR20200057824A (ko) | 단어 교정 시스템 | |
Branco et al. | Sentiment Analysis in Portuguese Restaurant Reviews: Application of Transformer Models in Edge Computing | |
JP2019008476A (ja) | 生成プログラム、生成装置及び生成方法 | |
Dadas | Training effective neural sentence encoders from automatically mined paraphrases | |
JP6181890B2 (ja) | 文献解析装置、文献解析方法およびプログラム | |
JP2021124824A (ja) | 質問回答装置 | |
Negash | Developing English to dawurootsuwa machine transaltion model using rnn | |
US20240144049A1 (en) | Computerized question answering based on evidence chains |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190228 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220719 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220801 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7127570 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |