JP2018073163A - 符号器学習装置、変換装置、方法、及びプログラム - Google Patents
符号器学習装置、変換装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP2018073163A JP2018073163A JP2016212964A JP2016212964A JP2018073163A JP 2018073163 A JP2018073163 A JP 2018073163A JP 2016212964 A JP2016212964 A JP 2016212964A JP 2016212964 A JP2016212964 A JP 2016212964A JP 2018073163 A JP2018073163 A JP 2018073163A
- Authority
- JP
- Japan
- Prior art keywords
- encoder
- unit
- discrete structure
- auxiliary
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
【解決手段】符号器構築部232が、入力された離散構造に基づいて、離散構造の各要素に対応する、要素を符号化する符号化ユニットを接続した符号器であって、主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する。符号器計算部234が、構築された前記符号器に基づいて、入力された離散構造の各要素を、対応する符号化ユニットに入力して、順次計算して、入力された離散構造の符号を出力すると共に、予測器を計算して補助問題の解を予測する。復号器計算部236が、出力された符号及び前記補助問題の解を、復号器に入力して、順次計算して、離散構造を出力する。
【選択図】図14
Description
・・・(3)
・・・(4)
・・・(5)
・・・(7)
・・・(8)
・・・(9)
・・・(10)
・・・(11)
を学習するようにしてもよい。
20、220 演算部
22 補助問題生成部
24 学習部
30、230 符号器構築部
32、232 符号器計算部
34、234 復号器計算部
36 予測取得部
38 目的関数計算部
40 パラメタ更新部
42 終了判定部
100 符号器学習装置
200 変換装置
250 出力部
Claims (8)
- 入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成する補助問題生成部と、
前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット、前記復号化ユニット、及び前記予測器のパラメタを学習する学習部と、
を含む符号器学習装置。 - 前記学習部は、
前記入力された離散構造に基づいて、前記符号器を構築する符号器構築部と、
前記構築された前記符号器と、パラメタの初期値又は更新された前記パラメタとに基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、
前記出力された符号及び前記補助問題の解を、前記復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、
前記復号器計算部によって出力された離散構造と、前記主問題についての正解データとを用いて表される目的関数の値を計算する目的関数計算部と、
前記計算された目的関数の値に基づいて前記パラメタを更新するパラメタ更新部と、
予め定められた反復終了条件を満たすまで、前記符号器計算部による計算、前記復号器計算部による計算、前記目的関数計算部による計算、及び前記パラメタ更新部による更新を繰り返す終了判定部と、を含む請求項1記載の符号器学習装置。 - 入力された離散構造を変換する主問題を解く変換装置であって、
前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築する符号器構築部と、
前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測する符号器計算部と、
前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力する復号器計算部と、
を含む変換装置。 - 前記補助問題を、変換後の離散構造に含まれる要素の集合を予測する問題、変換後の離散構造に含まれる要素の数を予測する問題、前記入力された離散構造と、変換後の離散構造とのいずれにも含まれる要素の集合を予測する問題、及びそれ以外の主問題の正解データから生成できる正解データを用いて学習可能な補助問題の少なくとも一つである請求項3に記載の変換装置。
- 補助問題生成部が、入力された離散構造を変換する主問題についての正解データに基づいて、前記主問題に対して予め定められた補助問題の正解データを生成するステップと、
学習部が、前記入力された離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記補助問題の解を予測する予測器を含む符号器と、前記符号器によって出力される符号、及び前記補助問題の解を入力とする、前記離散構造の要素に復号する復号化ユニットを接続した復号器と、前記主問題についての正解データと、前記補助問題の正解データとに基づいて、前記符号化ユニット及び前記予測器のパラメタを学習するステップと、
を含む符号器学習方法。 - 入力された離散構造を変換する主問題を解く変換装置における変換方法であって、
符号器構築部が、前記入力された離散構造に基づいて、前記離散構造の各要素に対応する、前記要素を符号化する符号化ユニットを接続した符号器であって、前記主問題に対して予め定められた補助問題に対応する予測器を含む符号器を構築するステップと、
符号器計算部が、前記構築された前記符号器に基づいて、前記入力された離散構造の各要素を、対応する前記符号化ユニットに入力して、順次計算して、前記入力された離散構造の符号を出力すると共に、前記予測器を計算して前記補助問題の解を予測するステップと、
復号器計算部が、前記出力された符号及び前記補助問題の解を、前記離散構造の要素に復号する復号化ユニットを接続した復号器に入力して、順次計算して、離散構造を出力するステップと、
を含む変換方法。 - コンピュータを、請求項1又は2記載の符号器学習装置の各部として機能させるためのプログラム。
- コンピュータを、請求項3記載の変換装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016212964A JP6633999B2 (ja) | 2016-10-31 | 2016-10-31 | 符号器学習装置、変換装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016212964A JP6633999B2 (ja) | 2016-10-31 | 2016-10-31 | 符号器学習装置、変換装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018073163A true JP2018073163A (ja) | 2018-05-10 |
JP6633999B2 JP6633999B2 (ja) | 2020-01-22 |
Family
ID=62115533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016212964A Active JP6633999B2 (ja) | 2016-10-31 | 2016-10-31 | 符号器学習装置、変換装置、方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6633999B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207566A (ja) * | 2018-05-29 | 2019-12-05 | 富士通株式会社 | 学習方法、学習プログラム及び学習装置 |
JP2022503812A (ja) * | 2018-11-29 | 2022-01-12 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 文処理方法、文復号方法、装置、プログラム及び機器 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219345A (ja) * | 1998-02-02 | 1999-08-10 | Hitachi Ltd | 時系列データの予測方法およびシステム |
JP2012079286A (ja) * | 2010-09-30 | 2012-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 構造予測モデル学習装置、方法、プログラム、及び記録媒体 |
-
2016
- 2016-10-31 JP JP2016212964A patent/JP6633999B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11219345A (ja) * | 1998-02-02 | 1999-08-10 | Hitachi Ltd | 時系列データの予測方法およびシステム |
JP2012079286A (ja) * | 2010-09-30 | 2012-04-19 | Nippon Telegr & Teleph Corp <Ntt> | 構造予測モデル学習装置、方法、プログラム、及び記録媒体 |
Non-Patent Citations (2)
Title |
---|
BAHDANAU, DZMITRY ET AL., NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE, vol. v7, JPN6019047784, 19 May 2016 (2016-05-19), pages 1 - 15, ISSN: 0004169030 * |
菊池 悠太 ほか: "Encoder−Decoderモデルにおける出力長制御", 情報処理学会 研究報告 自然言語処理(NL) 2016−NL−227 [ONLINE], JPN6019047781, 1 August 2016 (2016-08-01), JP, pages 1 - 9, ISSN: 0004169029 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019207566A (ja) * | 2018-05-29 | 2019-12-05 | 富士通株式会社 | 学習方法、学習プログラム及び学習装置 |
JP7056381B2 (ja) | 2018-05-29 | 2022-04-19 | 富士通株式会社 | 学習方法、学習プログラム及び学習装置 |
JP2022503812A (ja) * | 2018-11-29 | 2022-01-12 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 文処理方法、文復号方法、装置、プログラム及び機器 |
JP7229345B2 (ja) | 2018-11-29 | 2023-02-27 | テンセント・テクノロジー・(シェンジェン)・カンパニー・リミテッド | 文処理方法、文復号方法、装置、プログラム及び機器 |
US12093635B2 (en) | 2018-11-29 | 2024-09-17 | Tencent Technology (Shenzhen) Company Limited | Sentence encoding and decoding method, storage medium, and device |
Also Published As
Publication number | Publication date |
---|---|
JP6633999B2 (ja) | 2020-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501182B2 (en) | Method and apparatus for generating model | |
CN111401084B (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
CN106502985B (zh) | 一种用于生成标题的神经网络建模方法及装置 | |
CN111222317A (zh) | 序列标注方法、系统和计算机设备 | |
US11475225B2 (en) | Method, system, electronic device and storage medium for clarification question generation | |
US20220343139A1 (en) | Methods and systems for training a neural network model for mixed domain and multi-domain tasks | |
CN107766319B (zh) | 序列转换方法及装置 | |
CN110059324A (zh) | 基于依存信息监督的神经网络机器翻译方法及装置 | |
WO2019167794A1 (ja) | 学習品質推定装置、方法、及びプログラム | |
JPWO2019167296A1 (ja) | 自然言語処理のための装置、方法及びプログラム | |
CN111368542A (zh) | 一种基于递归神经网络的文本语言关联抽取方法和系统 | |
CN114880991B (zh) | 知识图谱问答问句实体链接方法、装置、设备及介质 | |
CN115831102A (zh) | 基于预训练特征表示的语音识别方法、装置及电子设备 | |
Cox | Syntactically informed text compression with recurrent neural networks | |
CN111813923A (zh) | 文本摘要方法、电子设备及存储介质 | |
CN112905755A (zh) | 一种回复文本预测方法、装置、设备及存储介质 | |
JP2017010249A (ja) | パラメタ学習装置、文類似度算出装置、方法、及びプログラム | |
WO2020040255A1 (ja) | 単語符号化装置、解析装置、言語モデル学習装置、方法、及びプログラム | |
JP6633999B2 (ja) | 符号器学習装置、変換装置、方法、及びプログラム | |
CN113986251A (zh) | 基于卷积和循环神经网络的gui原型图转代码方法 | |
CN116680575B (zh) | 模型处理方法、装置、设备及存储介质 | |
JP6586026B2 (ja) | 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム | |
CN116341564A (zh) | 基于语义理解的问题推理方法和装置 | |
WO2023108981A1 (zh) | 文本生成模型的训练方法、装置、存储介质及计算机设备 | |
JP2017211785A (ja) | 質問応答生成装置、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191213 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6633999 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |