JP2019008744A - Learning device, text generating device, method, and program - Google Patents
Learning device, text generating device, method, and program Download PDFInfo
- Publication number
- JP2019008744A JP2019008744A JP2017126728A JP2017126728A JP2019008744A JP 2019008744 A JP2019008744 A JP 2019008744A JP 2017126728 A JP2017126728 A JP 2017126728A JP 2017126728 A JP2017126728 A JP 2017126728A JP 2019008744 A JP2019008744 A JP 2019008744A
- Authority
- JP
- Japan
- Prior art keywords
- sentence
- language
- neural network
- output
- expression vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Machine Translation (AREA)
Abstract
Description
本発明は、学習装置、テキスト生成装置、方法、及びプログラムに係り、特に、圧縮された文の文字列を復元すると共に、当該圧縮された文を他の言語の文字列に翻訳するための学習装置、テキスト生成装置、方法、及びプログラムに関する。 The present invention relates to a learning device, a text generation device, a method, and a program, and in particular, learning for restoring a character string of a compressed sentence and translating the compressed sentence into a character string of another language. The present invention relates to a device, a text generation device, a method, and a program.
従来より、自然言語で記述された文を他の言語の文に翻訳する機械翻訳の研究が進められている。 Conventionally, research on machine translation for translating sentences written in a natural language into sentences in other languages has been underway.
機械翻訳には、例えばニューラルネットワークを用いた翻訳モデルが用いられ、例えばより多くの学習サンプルを用いて翻訳モデルの学習を進めることで、翻訳精度の向上が図られる。 For machine translation, for example, a translation model using a neural network is used. For example, translation accuracy can be improved by learning more translation models using more learning samples.
しかしながら、従来の翻訳モデルの学習では、モデル毎に学習を行う必要がある。例えば、文をベクトルに変換することで圧縮した圧縮表現を用いて、日本語及び英語で記述された文を双方向に翻訳する場合、日本語の文の圧縮表現から英語の文字列に変換するための翻訳モデルの学習と、英語の文の圧縮表現から日本語の文字列に変換するための翻訳モデルの学習とを個々に行う必要がある。 However, in conventional translation model learning, learning must be performed for each model. For example, when a sentence written in Japanese and English is bidirectionally translated using a compressed expression that is compressed by converting the sentence into a vector, the compressed expression of the Japanese sentence is converted into an English character string. It is necessary to individually learn a translation model for learning and a translation model for converting a compressed expression of an English sentence into a Japanese character string.
更に、日本語の文の圧縮表現から元の日本語の文字列を復元する場合や、英語の文の圧縮表現から元の英語の文字列を復元する場合にも、各々の文字列の復元に対して復元モデルがそれぞれ用いられるが、各々の復元モデルの学習も個別に行う必要がある。 Furthermore, when restoring the original Japanese character string from the compressed representation of the Japanese sentence, or when restoring the original English character string from the compressed representation of the English sentence, each character string can be restored. On the other hand, each restoration model is used, but each restoration model needs to be individually learned.
本発明は、上記問題点を解決するために成されたものであり、文を復元するためのモデル、及び文を翻訳するためのモデルを効率よく学習することができる学習装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and a learning apparatus, method, and program capable of efficiently learning a model for restoring a sentence and a model for translating a sentence The purpose is to provide.
また、文を復元すると共に、文を翻訳することができるテキスト生成装置、方法、及びプログラムを提供することを目的とする。 It is another object of the present invention to provide a text generation device, method, and program capable of restoring a sentence and translating the sentence.
上記目的を達成するために、第１の発明に係る学習装置は、第１言語及び第２言語の各々で記述された対訳文における前記第１言語の文、及び前記第２言語の文の各々に対して、文をベクトルに変換した圧縮表現ベクトルを生成する圧縮部と、前記圧縮部で生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求め、前記第２言語の文の前記圧縮表現ベクトルを用いて、前記第２言語の文の重み付けを求める分類部と、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応し、かつ、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、前記第１言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応するように、前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークの各々を学習する学習部と、を備える。 In order to achieve the above object, a learning device according to a first aspect of the present invention provides a sentence in the first language and a sentence in the second language in a bilingual sentence described in each of the first language and the second language. A compression unit that generates a compressed expression vector obtained by converting a sentence into a vector, and weighting the sentence in the first language using the compressed expression vector of the sentence in the first language generated by the compression unit. And using the compressed expression vector of the sentence of the second language, a classification unit for obtaining a weight of the sentence of the second language, a weight of the sentence of the first language, and the weight of the sentence of the first language The output of the first neural network when the compressed expression vector is input, the weight of the sentence in the second language converted into the weight of the sentence in the first language, and the compression of the sentence in the first language Given an expression vector as input And the output of the second neural network corresponds to the sentence of the first language, and the weight of the sentence of the first language is weighted to the second language. The first neural network output, the weight of the second language sentence, and the first language when the compressed expression vector of the sentence of the first language and the compressed expression vector of the sentence of the first language are input. The output of the second neural network when the compressed expression vector of the sentence is input, the output of the third neural network corresponds to the sentence of the second language, and The first neural network when the weight of the sentence in the first language is converted to the weight of the sentence in the second language and the compressed expression vector of the sentence in the second language are input. And a second neural network output when the output of the second language network, the weight of the sentence of the second language, and the compressed expression vector of the sentence of the second language are input. The first neural network when the output of the neural network corresponds to the sentence of the second language, and the weight of the sentence of the first language and the compressed expression vector of the sentence of the second language are input. Of the second neural network when the output of the second language sentence, the weight of the sentence of the second language converted into the weight of the sentence of the first language, and the compressed expression vector of the sentence of the second language are input. And the second neural network so that the output of the third neural network corresponds to the sentence in the first language. And a learning unit for learning each of the work and the third neural network.
また、第２の発明に係るテキスト生成装置は、入力された第１言語の文に対して、文をベクトルに変換した圧縮表現ベクトルを生成する圧縮部と、前記圧縮部で生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求める分類部と、請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を再現する復元部と、請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を前記第２言語の文に翻訳する翻訳部と、を備える。 The text generation device according to a second aspect of the present invention includes a compression unit that generates a compressed expression vector obtained by converting a sentence into a vector for the input sentence in the first language, and the first unit generated by the compression unit. A classification unit that obtains a weight of a sentence in the first language using the compressed expression vector of a sentence in one language, the first neural network learned by the learning device according to claim 1, the second neural network, And an output of the first neural network when the weight of the sentence in the first language and the compressed expression vector of the sentence in the first language are input using the third neural network, and the first language A predetermined sentence weighting of a language different from the above is converted into a sentence weighting of the first language and the compressed expression vector of the sentence of the first language A restoration unit that calculates the output of the third neural network when the output of the second neural network is input and reproduces the sentence in the first language, and a learning device according to claim 1. Using the learned first neural network, the second neural network, and the third neural network, the sentence weight of the first language is converted into the sentence weight of the second language, and the first The output of the first neural network when the compressed expression vector of a sentence in one language is input, the weighting of a predetermined sentence of a language different from the first language, and the sentence of the sentence in the first language When the compressed expression vector is an input, the output of the second neural network is the input of the third neural network. The force was calculated, and a translation unit for translating a sentence of the first language sentences of the second language.
第３の発明に係る学習方法は、第１言語及び第２言語の各々で記述された対訳文における前記第１言語の文、及び前記第２言語の文の各々に対して、文をベクトルに変換した圧縮表現ベクトルを生成するステップと、生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求め、前記第２言語の文の前記圧縮表現ベクトルを用いて、前記第２言語の文の重み付けを求めるステップと、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応し、かつ、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、前記第１言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応するように、前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークの各々を学習するステップと、を含むことを特徴とする。 In the learning method according to the third invention, a sentence is used as a vector for each of the sentence in the first language and the sentence in the second language in the parallel translation sentence described in each of the first language and the second language. A step of generating a converted compressed expression vector, and using the compressed expression vector of the generated sentence of the first language, obtaining a weight of the sentence of the first language, and the compressed expression of the sentence of the second language A first neural network when a step of obtaining a weight of the sentence in the second language using a vector, a weight of the sentence in the first language, and the compressed expression vector of the sentence in the first language are input. Of the second neural network when the output of the second language sentence, the weight of the sentence in the second language converted into the weight of the sentence in the first language, and the compressed expression vector of the sentence in the first language are input. The output of the third neural network when the force is input corresponds to the sentence of the first language, and the weight of the sentence of the first language is converted to the weight of the sentence of the second language Output of the first neural network, weighting of the sentence of the second language, and the compressed expression vector of the sentence of the first language when the compressed expression vector of the sentence and the sentence of the first language are input And the output of the second neural network when the input is the input, the output of the third neural network when the is the input corresponds to the sentence of the second language, and the weight of the sentence of the first language Of the second language sentence and the compressed expression vector of the second language sentence as inputs, and the output of the first neural network and the weight of the second language sentence. And the output of the second neural network when the compressed expression vector of the sentence of the second language is input, and the output of the third neural network is the sentence of the second language And the output of the first neural network and the weight of the sentence in the second language when the compressed expression vector of the sentence in the second language and the compressed expression vector of the sentence in the second language are input. Converted to weighting of the sentence of the first language and the output of the second neural network when the compressed expression vector of the sentence of the second language is input, The first neural network, the second neural network, and the third neural network are arranged so that an output of the neural network corresponds to a sentence in the first language. Learning each of the works.
第４の発明に係るテキスト生成方法は、入力された第１言語の文に対して、文をベクトルに変換した圧縮表現ベクトルを生成するステップと、生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求めるステップと、請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を再現するステップと、請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を前記第２言語の文に翻訳するステップと、を含むことを特徴とする。 According to a fourth aspect of the present invention, there is provided a method of generating a compressed expression vector obtained by converting a sentence into a vector for the input first language sentence, and the compression of the generated first language sentence. A step of obtaining a weight of the sentence in the first language using an expression vector, and using the first neural network, the second neural network, and the third neural network learned by the learning device according to claim 1. When the sentence weighting of the first language and the compressed expression vector of the sentence of the first language are input, the output of the first neural network and a language different from the first language are predetermined. When the sentence weighting converted into the sentence weighting of the first language and the compressed expression vector of the sentence of the first language are input, 2. The step of calculating the output of the third neural network when the output of the two neural networks is input, and reproducing the sentence in the first language; and the first learned by the learning device according to claim 1. The neural network, the second neural network, and the third neural network are used to convert sentence weights in the first language into sentence weights in the second language, and the sentence in the first language. When the compressed expression vector is input, the output of the first neural network, the weighting of a predetermined sentence in a language different from the first language, and the compressed expression vector of the sentence in the first language are input. When the output of the second neural network is input, the output of the third neural network is calculated. Characterized in that it comprises the steps of: translating a sentence of the first language sentences of the second language.
第５の発明に係るプログラムは、コンピュータを、請求項１に記載の学習装置、又は請求項２に記載のテキスト生成装置の各部として機能させるためのプログラムである。 A program according to a fifth invention is a program for causing a computer to function as each part of the learning device according to claim 1 or the text generation device according to claim 2.
本発明の学習装置、方法、及びプログラムによれば、文を復元するためのモデル、及び文を翻訳するためのモデルを効率よく学習することができる、という効果が得られる。 According to the learning apparatus, method, and program of the present invention, it is possible to effectively learn a model for restoring a sentence and a model for translating a sentence.
また、本発明のテキスト生成装置、方法、及びプログラムによれば、文を復元すると共に、文を翻訳することができる、という効果が得られる。 In addition, according to the text generation device, method, and program of the present invention, it is possible to obtain an effect of restoring a sentence and translating the sentence.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態に係る学習装置の構成＞
まず、本発明の実施の形態に係る学習装置の構成について説明する。図１に示すように、本発明の実施の形態に係る学習装置１００は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチンを実行するための学習プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この学習装置１００は、機能的には図１に示すように入力部１０と、演算部２０とを備えている。
<Configuration of Learning Device According to Embodiment of the Present Invention>
First, the configuration of the learning device according to the embodiment of the present invention will be described. As shown in FIG. 1, a learning apparatus 100 according to an embodiment of the present invention includes a CPU, a RAM, and a ROM that stores a learning program and various data for executing a learning processing routine described later. Can be configured. The learning apparatus 100 functionally includes an input unit 10 and a calculation unit 20 as shown in FIG.
入力部１０は、言語の異なる第１言語及び第２言語の各々で記述された対訳文を受け付ける。第１言語及び第２言語は何れの言語であってもよいが、以降では、例えば第１言語を英語、第２言語を日本語として説明を行う。 The input unit 10 accepts a parallel translation written in each of a first language and a second language having different languages. The first language and the second language may be any language, but in the following description, for example, the first language is English and the second language is Japanese.
Ｓentenを英語で記述された入力文、Ｓentjpを日本語で記述された入力文とすれば、入力部１０に入力される文は、それぞれＳenten＝｛w0 en, w1 en, w2 en,...｝、Ｓentjp＝｛w0 jp, w1 jp, w2 jp,...｝で表される。ここで、wj enは文Ｓentenに含まれる単語であり、wj jpは文Ｓentjpに含まれる単語である。また、インデックスｊは、文Ｓentenに含まれる単語、及び文Ｓentjpに含まれる単語の順序を表す。英語と日本語の対訳文の例として、例えば日英対訳コーパスが用いられる。 If Sent en is an input sentence written in English and Sent jp is an input sentence written in Japanese, the sentence input to the input unit 10 is Sent en = {w 0 en , w 1 en , w 2 en , ...}, Sent jp = {w 0 jp , w 1 jp , w 2 jp , ...}. Here, w j en is a word included in the sentence Sent en , and w j jp is a word included in the sentence Sent jp . The index j represents the order of words included in the sentence Sent en and words included in the sentence Sent jp . For example, a Japanese-English bilingual corpus is used as an example of a bilingual sentence in English and Japanese.
演算部２０は、圧縮部２１、分類部２２、学習部２３、及び変換モデル２４を含んで構成される。 The calculation unit 20 includes a compression unit 21, a classification unit 22, a learning unit 23, and a conversion model 24.
圧縮部２１は、入力部１０で受け付けた文Ｓenten及び文Ｓentjpを、それぞれ圧縮表現ベクトルＳen及びＳjpに変換する。文Ｓenten及び文Ｓentjpの圧縮表現ベクトルＳen、Ｓjpは、例えば非特許文献４に示されるBiLSTM(Bidirectional Long Short Term Memory：双方向LSTM)を用いて作成される。関数BiLSTM(x)を、入力xに対するBiLSTMの演算関数とすれば、圧縮表現ベクトルＳen、Ｓjpはそれぞれ（１）式で求められる。 The compression unit 21 converts the sentence Sent en and the sentence Sent jp received by the input unit 10 into compressed expression vectors S en and S jp , respectively. The compressed expression vectors S en and S jp of the sentence Sent en and sentence Sent jp are created using, for example, BiLSTM (Bidirectional Long Short Term Memory: Bidirectional LSTM) shown in Non-Patent Document 4. If the function BiLSTM (x) is a BiLSTM operation function for the input x, the compressed expression vectors S en and S jp can be obtained by the equation (1).
なお、以降では、文を「テキスト」という場合がある。 Hereinafter, the sentence may be referred to as “text”.
分類部２２は、圧縮部２１で生成された圧縮表現ベクトルＳen、Ｓjpを入力として、圧縮表現ベクトルＳen、Ｓjpで表される各々の言語の文の重み付けを求める。文の重み付けｆ(Ｓ#)は（２）式で求められる。 The classification unit 22 uses the compressed expression vectors S en and S jp generated by the compression unit 21 as inputs, and obtains weights for sentences in the respective languages represented by the compressed expression vectors S en and S jp . The sentence weighting f (S # ) is obtained by equation (2).
ここで、#は言語の種類を表し、この場合“en”または“jp”となる。また、関数active(x)は入力xに対する正則化関数を表し、例えば関数tanh(x)やシグモイド関数が用いられる。Ｗは圧縮表現ベクトルＳ#に対する重みを表し、ｂはオフセットを表す。 Here, # represents the language type, and in this case, “en” or “jp”. The function active (x) represents a regularization function for the input x, and for example, a function tanh (x) or a sigmoid function is used. W represents a weight for the compressed expression vector S # , and b represents an offset.
したがって、英語の文の圧縮表現ベクトルＳenに対する文の重み付けｈen、及び日本語の文の圧縮表現ベクトルＳjpに対する文の重み付けｈjpは、それぞれ（３）式で求められる。なお、本実施の形態では、文の重み付けｈen、ｈjpがスカラー値である場合を例に説明するが、これに限定されるものではなく、文の重み付けｈen、ｈjpがベクトルであってもよい。 Therefore, the weighting h en statements on a compressed representation vector S en sentence in English, and weighting h uk statements on a compressed representation vector S uk sentence in Japanese is obtained, respectively (3). In this embodiment, the case where sentence weights h en and h jp are scalar values will be described as an example. However, the present invention is not limited to this, and sentence weights h en and h jp are vectors. May be.
学習部２３は、圧縮部２１で生成された圧縮表現ベクトルＳen、Ｓjpと、分類部２２で求められた文の重み付けｈen、ｈjpを入力として、圧縮表現ベクトルＳen、Ｓjpを文字列に変換するための変換モデル２４を学習する。変換モデル２４は、英語の文と日本語の文を相互に翻訳するためのモデル（翻訳モデル）と、圧縮表現ベクトルＳ#から圧縮前の元の言語の文字列を復元するためのモデル（復元モデル）が統合されたモデルとして表される。 The learning unit 23 receives the compressed expression vectors S en and S jp generated by the compression unit 21 and the sentence weights h en and h jp obtained by the classification unit 22 as input, and uses the compressed expression vectors S en and S jp as input. A conversion model 24 for converting to a character string is learned. The conversion model 24 includes a model (translation model) for mutually translating an English sentence and a Japanese sentence, and a model (restoration) for restoring the original language string before compression from the compressed expression vector S #. Model) is represented as an integrated model.
変換モデル２４は、第１ニューラルネットワーク、第２ニューラルネットワーク、及び第３ニューラルネットワークから成る３つのニューラルネットワークを含んで構成される。 The conversion model 24 includes three neural networks including a first neural network, a second neural network, and a third neural network.
第１ニューラルネットワーク及び第２ニューラルネットワークには、圧縮表現ベクトルＳ#と文の重み付けｈ#の組み合わせがそれぞれ入力される。第３ニューラルネットワークには、第１ニューラルネットワークの出力と第２ニューラルネットワークの出力が入力され、第３ニューラルネットワークの出力が、圧縮表現ベクトルＳen、Ｓjpに対する変換後の文字列を表す。 A combination of the compressed expression vector S # and the sentence weighting h # is input to the first neural network and the second neural network, respectively. The output of the first neural network and the output of the second neural network are input to the third neural network, and the output of the third neural network represents a character string after conversion with respect to the compressed expression vectors S en and S jp .
ニューラルネットワークは入力に対して何らかの値を出力することから、ニューラルネットワーク自体を関数とみなすことができる。 Since the neural network outputs some value with respect to the input, the neural network itself can be regarded as a function.
そこで、“α”を文の重み付けｈ#によって決定されるスカラー値とした場合、第１ニューラルネットワークk(α,Ｓ#)、及び第２ニューラルネットワークk'(α,Ｓ#)は、それぞれ（４）式及び（５）式で表される。 Therefore, when “α” is a scalar value determined by the sentence weight h # , the first neural network k (α, S # ) and the second neural network k ′ (α, S # ) are respectively ( It is represented by 4) Formula and (5) Formula.
ここで、Ｗ0及びＷ1は第１ニューラルネットワークの重みであり、ｂ0及びｂ1は第１ニューラルネットワークのオフセットである。また、Ｗ0'及びＷ1'は第２ニューラルネットワークの重みであり、ｂ0'及びｂ1'は第２ニューラルネットワークのオフセットである。 Here, W 0 and W 1 are weights of the first neural network, and b 0 and b 1 are offsets of the first neural network. W 0 ′ and W 1 ′ are the weights of the second neural network, and b 0 ′ and b 1 ′ are the offsets of the second neural network.
第１ニューラルネットワークk(α,Ｓ#)の出力をｕ、第２ニューラルネットワークk'(α,Ｓ#)の出力をｖとすれば、第３ニューラルネットワークｇ(ｕ，ｖ)は（６）式で示したアルゴリズムに従って、圧縮表現ベクトルＳen、Ｓjpに対する変換後の文字列oi={o1,o2,o3,...}を出力する。 If the output of the first neural network k (α, S # ) is u and the output of the second neural network k ′ (α, S # ) is v, the third neural network g (u, v) is (6). According to the algorithm expressed by the equation, the converted character string o i = {o 1 , o 2 , o 3 ,...} For the compressed expression vectors S en and S jp is output.
ここで、Ｗ'は第１ニューラルネットワークの出力ｕに対する重み、Ｗ''は第２ニューラルネットワークの出力ｖに対する重み、Ｗ'''は第１ニューラルネットワークの出力ｕ及び第２ニューラルネットワークの出力ｖに対する重みを表す。 Here, W ′ is a weight for the output u of the first neural network, W ″ is a weight for the output v of the second neural network, and W ′ ″ is an output u of the first neural network and an output v of the second neural network. Represents the weight for.
また、ｏ0は単位ベクトルであり（“＾”はベクトルを表す）、Ｓｅｑinputは、入力された文を表し、ｗjは、文Ｓｅｑinputに含まれる単語であり、ｗj^は、単語ｗjを表すベクトルである。ｗj^を第３ニューラルネットワークの入力ベクトルとすれば、attentioniは、どの入力wj^ベクトルに着目するかweightjで重み付けを行ったアテンションモデルにおけるアテンションを表す。なお、ｗj^を文の重み付けｈｊに置換えてもよい。 O 0 is a unit vector (“^” represents a vector), Seq input represents an input sentence, w j is a word included in the sentence Seq input , and w j ^ is a word. This is a vector representing w j . If w j ^ is an input vector of the third neural network, attention i represents an attention in an attention model weighted by weight j to which input w j ^ vector is focused. Note that w j ^ may be replaced with sentence weighting h j .
[t:ｏi-1^：attentioni]はそれぞれのベクトルの連結を表し、Ｗ2及びＷ3は第３ニューラルネットワークの重み、ｂ',ｂ2,及びｂ3は、第３ニューラルネットワークのオフセットを表す。while(y)は、論理式ｙが真である間、whileとendで囲まれた演算式を繰り返し実行することを表す。文字列ｏiの決定には、一つ前の出力である文字列ｏi-1が入力として用いられることから、第３ニューラルネットワークは。リカレントニューラルネットワークの構造を内部に持つ。 [t: o i-1 ^: attention i ] represents the concatenation of the respective vectors, W 2 and W 3 are the weights of the third neural network, b ′, b 2 and b 3 are the weights of the third neural network. Represents an offset. While (y) represents that the arithmetic expression enclosed by while and end is repeatedly executed while the logical expression y is true. The third neural network determines the character string o i because the character string o i-1 which is the previous output is used as an input. It has a recurrent neural network structure inside.
このように（６）式によって、スカラー値αに応じた圧縮表現ベクトルＳen、Ｓjpの変換後の文字列oiが得られることになる。 In this way, the character string o i after conversion of the compressed expression vectors S en and S jp corresponding to the scalar value α is obtained by the expression (6).
具体的には、Ｓenten-enを英語の文の圧縮表現ベクトルＳenから復元した英語の文字列、Ｓenten-jpを圧縮表現ベクトルＳenで表される英語の文を翻訳して得られた日本語の文字列、Ｓentjp-jpを日本語の文の圧縮表現ベクトルＳjpから復元した日本語の文字列、Ｓentjp-enを圧縮表現ベクトルＳjpで表される日本語の文を翻訳して得られた英語の文字列とすれば、文字列Ｓenten-en, Ｓenten-jp, Ｓentjp-jp, Ｓentjp-enは、それぞれ（７）式で求められる。 Specifically, Sent en-en is obtained by translating an English character string restored from an English sentence compressed expression vector S en and Sent en-jp is translated from an English sentence represented by the compressed expression vector S en. Japanese character string, Sent jp-jp restored from Japanese sentence compressed expression vector S jp Japanese sentence, Sent jp-en , Japanese sentence represented by compressed expression vector S jp If an English character string obtained by translation is used, the character strings Sent en-en , Sent en-jp , Sent jp-jp , and Sent jp-en can be obtained by equation (7), respectively.
ここで、“１”から文の重み付けｈ#を引いた値である“1-ｈen”及び“1-ｈjp”は、それぞれ英語の文の重み付けｈenを日本語の文の重み付けに変換したもの、日本語の文の重み付けｈjpを英語の文の重み付けに変換したものに相当する。 Here, “1-h en ” and “1-h jp ”, which are values obtained by subtracting the sentence weight h # from “1”, respectively convert the English sentence weight h en to the Japanese sentence weight. This is equivalent to the Japanese sentence weighting h jp converted to the English sentence weighting.
更に学習部２３は、（７）式に示した文字列の変換によって得られた文字列と、入力された文字列との違いを用いて、損失関数Ｌを（８）式で算出する。 Further, the learning unit 23 calculates the loss function L using equation (8) using the difference between the character string obtained by the character string conversion shown in equation (7) and the input character string.
ここで、関数loss()として、softmax cross entropy等を用いればよい。 Here, softmax cross entropy or the like may be used as the function loss ().
学習部２３は、（８）式で求めた損失関数Ｌが最小となるように、第１ニューラルネットワークの重みＷ0及びＷ1、第１ニューラルネットワークのオフセットｂ0及びｂ1、第２ニューラルネットワークの重みＷ0'及びＷ1'、第２ニューラルネットワークのオフセットｂ0 '及びｂ1'、第３ニューラルネットワークの重みＷ'、Ｗ''、Ｗ'''、Ｗ2及びＷ3、並びに第３ニューラルネットワークのオフセットｂ',ｂ2,及びｂ3を調整し、変換モデル２４の学習を行う。 The learning unit 23 sets the weights W 0 and W 1 of the first neural network, the offsets b 0 and b 1 of the first neural network, and the second neural network so that the loss function L obtained by Expression (8) is minimized. Weights W 0 ′ and W 1 ′, second neural network offsets b 0 ′ and b 1 ′, third neural network weights W ′, W ″, W ′ ″, W 2 and W 3 , and The conversion model 24 is learned by adjusting the offsets b ′, b 2 and b 3 of the three neural networks.
＜本発明の実施の形態に係る学習装置の作用＞
次に、本発明の実施の形態に係る学習装置１００の作用について説明する。入力部１０において、対訳文である英語の入力文Ｓentenと日本語の入力文Ｓentjpを受け付けると、学習装置１００は、図２に示す学習処理ルーチンを実行する。
<Operation of Learning Device According to Embodiment of the Present Invention>
Next, the operation of the learning device 100 according to the embodiment of the present invention will be described. When the input unit 10 receives an English input sentence Sent en and a Japanese input sentence Sent jp , which are parallel translations, the learning apparatus 100 executes a learning processing routine shown in FIG.
まず、ステップＳ１０では、入力部１０で受け付けた英語の入力文Ｓentenと日本語の入力文Ｓentjpを、それぞれ圧縮表現ベクトルＳen及びＳjpに変換する。 First, in step S10, the English input sentence Sent en and the Japanese input sentence Sent jp received by the input unit 10 are converted into compressed expression vectors S en and S jp , respectively.
ステップＳ２０では、ステップＳ１０で得られた圧縮表現ベクトルＳen、Ｓjpに対する各々の文の重み付けｈen、ｈjpを算出する。 In step S20, weights h en and h jp of the sentences for the compressed expression vectors S en and S jp obtained in step S10 are calculated.
ステップＳ３０では、ステップＳ２０で得られた文の重み付けｈen、ｈjpと、ステップＳ１０で得られた圧縮表現ベクトルＳenを用いて、圧縮表現ベクトルＳenから復元した英語の文字列Ｓenten-enを求める。また、ステップＳ２０で得られた圧縮表現ベクトルｈen、ｈjpと、ステップＳ１０で得られた圧縮表現ベクトルＳjpを用いて、圧縮表現ベクトルＳjpから復元した日本語の文字列Ｓentjp-jpを求める。 In step S30, an English character string Sent en− restored from the compressed expression vector S en using the sentence weights h en and h jp obtained in step S20 and the compressed expression vector S en obtained in step S10. Ask for en . Further, the Japanese character string Sent jp-jp restored from the compressed expression vector S jp using the compressed expression vectors h en and h jp obtained in step S20 and the compressed expression vector S jp obtained in step S10. Ask for.
ステップＳ４０では、ステップＳ２０で得られた文の重み付けｈen、ｈjpと、ステップＳ１０で得られた圧縮表現ベクトルＳenを用いて、圧縮表現ベクトルＳenで表される文を翻訳した日本語の文字列Ｓenten-jpを求める。また、ステップＳ２０で得られた圧縮表現ベクトルｈen、ｈjpと、ステップＳ１０で得られた圧縮表現ベクトルＳjpを用いて、圧縮表現ベクトルＳjpで表される文を翻訳した英語の文字列Ｓentjp-enを求める。 In step S40, the sentence weights h en and h jp obtained in step S20 and the compressed expression vector S en obtained in step S10 are used to translate the sentence represented by the compressed expression vector S en. The character string Sent en-jp is obtained. Also, compressed representation vector h en obtained in step S20, h uk and, using a compressed representation vector S uk obtained in step S10, compressed representation vector S uk translated sentences represented by English string Ask for Sent jp-en .
ステップＳ５０では、ステップＳ３０で復元した文字列Ｓenten-en及びＳentjp-jp、ステップＳ４０で翻訳した文字列Ｓenten-jp及びＳentjp-en、並びに入力部１０に入力した入力文Ｓenten及びＳentjpから、損失関数Ｌを算出し、損失関数Ｌが最小となるように、変換モデル２４の学習を行う。 In step S50, the character strings Sent en-en and Sent jp-jp restored in step S30, the character strings Sent en-jp and Sent jp-en translated in step S40, and the input sentence Sent en and The loss function L is calculated from Sent jp , and the conversion model 24 is learned so that the loss function L is minimized.
以上説明したように、本実施の形態に係る学習装置１００によれば、対訳文の変換モデル２４の出力に対する損失関数Ｌが最小となるように変換モデル２４を学習することで、対訳文として入力された各々の言語の文を双方向に翻訳するための翻訳モデルの学習と、対訳文として入力された各々の言語の文を元の言語の文字列に復元する復元モデルの学習を一度に実行することができる。 As described above, according to the learning apparatus 100 according to the present embodiment, the conversion model 24 is learned so that the loss function L with respect to the output of the conversion model 24 of the parallel translation sentence is minimized, and is input as a parallel translation sentence. Learning a translation model for bi-directional translation of each language sentence and learning a restoration model that restores each language sentence input as a bilingual sentence to the original language string can do.
したがって、文を復元するためのモデル、及び文を翻訳するためのモデルを効率よく学習することができる。 Therefore, it is possible to efficiently learn a model for restoring a sentence and a model for translating a sentence.
なお、上記では、入力部１０に２つの言語で記述された対訳文を入力する例について説明したが、３つ以上の言語で記述された対訳文を入力してもよい。この場合、３つ以上の言語で記述された文を相互に翻訳すると共に、入力された文から各々の言語で記述された文字列を復元する変換モデル２４の学習が行われることになる。したがって、２つの言語で記述された文を用いて変換モデル２４を学習する場合と比較して、文を復元するためのモデル、及び文を翻訳するためのモデルを更に効率よく学習することができる。 In addition, although the example which inputs the bilingual sentence described in two languages to the input part 10 was demonstrated above, you may input the bilingual sentence described in three or more languages. In this case, learning of the conversion model 24 is performed in which sentences described in three or more languages are translated into each other and a character string described in each language is restored from the input sentences. Therefore, it is possible to learn a model for restoring a sentence and a model for translating a sentence more efficiently than a case where the conversion model 24 is learned using sentences described in two languages. .
＜本発明の実施の形態に係るテキスト生成装置の構成＞
次に、本発明の実施の形態に係るテキスト生成装置の構成について説明する。図３に示すように、本発明の実施の形態に係るテキスト生成装置２００は、ＣＰＵと、ＲＡＭと、後述するテキスト生成処理ルーチンを実行するためのテキスト生成プログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。このテキスト生成装置２００は、機能的には図３に示すように入力部１０と、演算部２０と、出力部３０を備えている。
<Configuration of Text Generation Device According to Embodiment of the Present Invention>
Next, the configuration of the text generation device according to the embodiment of the present invention will be described. As shown in FIG. 3, the text generation device 200 according to the embodiment of the present invention includes a CPU, a RAM, a ROM that stores a text generation program and various data for executing a text generation processing routine described later, It can comprise with the computer which includes. Functionally, the text generation device 200 includes an input unit 10, a calculation unit 20, and an output unit 30, as shown in FIG.
入力部１０は、第１言語又は第２言語で記述された文Ｓent#を受け付ける。学習装置１００で学習した言語と同じ言語であれば、第１言語及び第２言語は何れの言語であってもよいが、例えば第１言語を英語、第２言語を日本語として説明を行う。したがって、入力部１０には、英語の文Ｓenten、又は日本語の文Ｓentjpが入力される。 The input unit 10 receives a sentence Sent # described in the first language or the second language. The first language and the second language may be any language as long as the language is the same as the language learned by the learning device 100. For example, the first language is English and the second language is Japanese. Accordingly, an English sentence Sent en or a Japanese sentence Sent jp is input to the input unit 10.
圧縮部２１は、既に学習装置１００で説明したように、（１）式を用いて、入力部１０で受け付けた文Ｓent#を圧縮表現ベクトルＳ#に変換する。すなわち、入力部１０で英語の文Ｓentenを受け付けた場合、圧縮表現ベクトルＳenに変換し、入力部１０で日本語の文Ｓentjpを受け付けた場合、圧縮表現ベクトルＳjpに変換する。 As already described in the learning apparatus 100, the compression unit 21 converts the sentence Sent # received by the input unit 10 into a compressed expression vector S # using the equation (1). That is, when an English sentence Sent en is received by the input unit 10, it is converted into a compressed expression vector S en , and when a Japanese sentence Sent jp is received by the input unit 10, it is converted into a compressed expression vector S jp .
分類部２２は、既に学習装置１００で説明したように、（２）式を用いて、圧縮部２１で生成された圧縮表現ベクトルＳ#を入力として、圧縮表現ベクトルＳ#で表される言語の文の重み付けｈ#を求める。すなわち、入力部１０で英語の文Ｓentenを受け付けた場合、英語の文の重み付けｈenを算出し、入力部１０で日本語の文Ｓentjpを受け付けた場合、日本語の文の重み付けｈjpを算出する。 As already described in the learning apparatus 100, the classification unit 22 uses the expression (2) as an input and the compressed expression vector S # generated by the compression unit 21 as an input for the language represented by the compressed expression vector S #. Find the sentence weight h # . That is, when the input unit 10 receives an English sentence Sent en , the English sentence weighting h en is calculated, and when the input unit 10 receives a Japanese sentence Sent jp , the Japanese sentence weighting h jp is calculated. Is calculated.
復元部２５は、圧縮部２１で得られた圧縮表現ベクトルＳ#と、分類部２２で得られた、入力部１０で受け付けた文Ｓent#の文の重み付けｈ#と、文Ｓent#の言語と異なる予め定められた文の重み付けｈ#とを、学習装置１００によって既に学習された変換モデル２４に入力することで、圧縮部２１で得られた圧縮表現ベクトルＳ#から文字列を復元する。 Restoring unit 25, a compressed representation vector S # obtained in the compression section 21, obtained by the classification unit 22, a weighting h # statement sentence Sent # accepted by the input unit 10, and language sentence Sent # A different predetermined sentence weight h # is input to the conversion model 24 that has already been learned by the learning device 100, thereby restoring the character string from the compressed expression vector S # obtained by the compression unit 21.
すなわち、入力部１０で英語の文Ｓentenを受け付けた場合、（７）式で示したように、文の重み付けｈen及び圧縮表現ベクトルＳenを第１ニューラルネットワークに入力した出力ｕと、文の重み付けｈjpを英語の文の重み付けに変換したもの（設定値）及び圧縮表現ベクトルＳenを第２ニューラルネットワークに入力した出力ｖとを第３ニューラルネットワークに入力することで、文字列Ｓenten-enを取得する。また、入力部１０で日本語の文Ｓentjpを受け付けた場合、（７）式で示したように、文の重み付けｈenを日本語の文の重み付けに変換したもの（設定値）及び圧縮表現ベクトルＳjpを第１ニューラルネットワークに入力した出力ｕと、文の重み付けｈjp及び圧縮表現ベクトルＳjpを第２ニューラルネットワークに入力した出力ｖとを第３ニューラルネットワークに入力することで、文字列Ｓentjp-jpを取得する。 That is, when an English sentence Sent en is received by the input unit 10, as shown in the equation (7), an output u obtained by inputting the sentence weight h en and the compressed expression vector S en to the first neural network, and the sentence The character string Sent en is input to the third neural network by converting the weighted h jp of jp into the weight of the English sentence (setting value) and the output v obtained by inputting the compressed expression vector S en to the second neural network. Get -en . Also, when receiving a statement Sent uk of Japanese in the input unit 10, (7) as indicated by the expression, a transformation of the weighted h en statement to the weighting of the sentence in Japanese (set value) and compressed representation By inputting the output u obtained by inputting the vector S jp to the first neural network and the output v obtained by inputting the sentence weighting h jp and the compressed expression vector S jp to the second neural network, a character string is obtained. Get Sent jp-jp .
翻訳部２６も復元部２５と同じく、圧縮部２１で得られた圧縮表現ベクトルＳ#と、分類部２２で得られた、入力部１０で受け付けた文Ｓent#の文の重み付けｈ#と、文Ｓent#の言語と異なる予め定められた文の重み付けｈ#とを、学習装置１００によって既に学習された変換モデル２４に入力することで、圧縮表現ベクトルＳ#で表される言語の文を他の言語の文に翻訳する。 Similarly to the restoration unit 25, the translation unit 26 also uses the compressed expression vector S # obtained by the compression unit 21, the sentence weighting h # of the sentence Sent # received by the input unit 10 obtained by the classification unit 22, and the sentence. By inputting a predetermined sentence weight h # different from the language of Sent # into the conversion model 24 that has already been learned by the learning apparatus 100, the sentence in the language represented by the compressed expression vector S # Translate into language sentences.
すなわち、入力部１０で英語の文Ｓentenを受け付けた場合、（７）式で示したように、文の重み付けｈenを日本語の文の重み付けに変換したもの（設定値）及び圧縮表現ベクトルＳenを第１ニューラルネットワークに入力した出力ｕと、文の重み付けｈjp及び圧縮表現ベクトルＳenを第２ニューラルネットワークに入力した出力ｖとを第３ニューラルネットワークに入力することで、文字列Ｓenten-jpを取得する。また、入力部１０で日本語の文Ｓentjpを受け付けた場合、（７）式で示したように、文の重み付けｈen及び圧縮表現ベクトルＳjpを第１ニューラルネットワークに入力した出力ｕと、文の重み付けｈjpを英語の文の重み付けに変換したもの（設定値）及び圧縮表現ベクトルＳjpを第２ニューラルネットワークに入力した出力ｖとを第３ニューラルネットワークに入力することで、文字列Ｓentjp-enを取得する。 That is, when an English sentence Sent en is received by the input unit 10, as shown in the equation (7), the sentence weight h en converted into the Japanese sentence weight (setting value) and the compressed expression vector The character string Sent is input by inputting the output u obtained by inputting S en into the first neural network and the output v obtained by inputting the sentence weight h jp and the compressed expression vector S en into the second neural network. Get en-jp . Also, when receiving a statement Sent uk of Japanese in the input unit 10, and the output u input (7) as indicated by the equation, the weighting h en and compressed representation vector S uk sentence in the first neural network, Sentence weight h jp is converted into English sentence weight (setting value) and compressed expression vector S jp is input to the second neural network and input v is input to the third neural network, so that the character string Sent Get jp-en .
出力部３０は、復元部２５で復元された文字列Ｓenten-en及びＳentjp-jp、並びに、翻訳部２６で翻訳された文字列Ｓenten-jp及びＳentjp-enを、例えばハードディスク等の記憶媒体、又は液晶ディスプレイ等の表示媒体を含む出力装置に出力する。具体的には、入力部１０で英語の文Ｓentenを受け付けた場合、出力部３０は、復元部２５で復元された文字列Ｓenten-en、及び翻訳部２６で翻訳された文字列Ｓenten-jpの少なくとも一方を出力装置に出力する。また、入力部１０で日本語の文Ｓentjpを受け付けた場合、出力部３０は、復元部２５で復元された文字列Ｓentjp-jp、及び翻訳部２６で翻訳された文字列Ｓentjp-enの少なくとも一方を出力装置に出力する。 The output unit 30 receives the character strings Sent en-en and Sent jp-jp restored by the restoration unit 25, and the character strings Sent en-jp and Sent jp-en translated by the translation unit 26, such as a hard disk The data is output to an output device including a storage medium or a display medium such as a liquid crystal display. Specifically, when receiving a statement Sent en the English input unit 10, output unit 30, a character string Sent en-en restored in the restoration unit 25, and a character string Sent en translated in the translation section 26 Output at least one of -jp to the output device. When the Japanese sentence Sent jp is received by the input unit 10, the output unit 30 outputs the character string Sent jp-jp restored by the restoration unit 25 and the character string Sent jp-en translated by the translation unit 26. Is output to the output device.
なお、上記ではテキスト生成装置２００を学習装置１００と異なる装置として説明したが、テキスト生成装置２００に学習部２３を設け、学習装置１００とテキスト生成装置２００を１つの装置で実現してもよい。 In the above description, the text generation device 200 is described as a device different from the learning device 100. However, the learning unit 23 may be provided in the text generation device 200, and the learning device 100 and the text generation device 200 may be realized by one device.
＜本発明の実施の形態に係るテキスト生成装置の作用＞
次に、本発明の実施の形態に係るテキスト生成装置２００の作用について説明する。入力部１０において、英語の入力文Ｓenten、又は日本語の入力文Ｓentjpを受け付けると、テキスト生成装置２００は、図４に示すテキスト生成処理ルーチンを実行する。
<Operation of Text Generation Device According to Embodiment of Present Invention>
Next, the operation of the text generation device 200 according to the embodiment of the present invention will be described. When the input unit 10 receives an English input sentence Sent en or a Japanese input sentence Sent jp , the text generation apparatus 200 executes a text generation processing routine shown in FIG.
ここでは、入力部１０で英語の入力文Ｓentenを受け付けた場合について説明するが、日本語の入力文Ｓentjpを受け付けた場合であっても、以下に説明する処理と同じ処理が実行される。 Here, a case where an input sentence Sent en in English is received by the input unit 10 will be described. However, even when a Japanese input sentence Sent jp is received, the same process as described below is executed. .
まず、ステップＳ１００では、入力部１０で受け付けた英語の入力文Ｓentenを、圧縮表現ベクトルＳenに変換する。 First, in step S100, the English input sentence Sent en received by the input unit 10 is converted into a compressed expression vector S en .
ステップＳ１１０では、ステップＳ１００で得られた圧縮表現ベクトルＳenに対する文の重み付けｈenを算出する。 In step S110, the sentence weighting h en for the compressed expression vector S en obtained in step S100 is calculated.
ステップＳ１２０では、ステップＳ１１０で得られた文の重み付けｈenと、ステップＳ１００で得られた圧縮表現ベクトルＳenと、予め定めた文の重み付けｈjpを用いて、圧縮表現ベクトルＳenから復元した英語の文字列Ｓenten-enを求める。 In step S120, the sentence weight h en obtained in step S110, the compressed expression vector S en obtained in step S100, and the predetermined sentence weight h jp are used to restore the compressed expression vector S en . Find the English string Sent en-en .
ステップＳ１３０では、ステップＳ１１０で得られた文の重み付けｈenと、ステップＳ１００で得られた圧縮表現ベクトルＳenと、予め定めた文の重み付けｈjpを用いて、圧縮表現ベクトルＳenで表される文を翻訳した日本語の文字列Ｓenten-jpを求める。 In step S130, by using a weighting h en sentence obtained in step S110, the compressed representation vector S en obtained in step S100, the weighting h uk of a predetermined sentence is represented in a compressed representation vectors S en The Japanese character string Sent en-jp is translated.
ステップＳ１４０では、ステップＳ１２０で圧縮表現ベクトルＳenから復元した英語の文字列Ｓenten-en、及びステップＳ１３０で圧縮表現ベクトルＳenで表される文を翻訳した日本語の文字列Ｓenten-jpを出力装置に出力する。なお、必ずしも文字列Ｓenten-en及び文字列Ｓenten-jpを出力装置に出力する必要はなく、文字列Ｓenten-en及び文字列Ｓenten-jpの少なくとも一方を出力装置に出力すればよい。 In step S140, the English character string Sent en-en restored from the compressed expression vector S en in step S120 and the Japanese character string Sent en-jp obtained by translating the sentence represented by the compressed expression vector S en in step S130. Is output to the output device. It is not always necessary to output the character string Sent en-en and string Sent en-uk to the output device may output to the output device at least one of the strings Sent en-en and string Sent en-uk .
以上説明したように、本実施の形態に係るテキスト生成装置２００によれば、予め学習装置１００で学習された変換モデル２４を用いて、入力した文に対応する圧縮表現ベクトルから文を復元すると共に、入力した文を他の言語に翻訳することができる。 As described above, according to the text generation apparatus 200 according to the present embodiment, a sentence is restored from a compressed expression vector corresponding to an input sentence using the conversion model 24 learned in advance by the learning apparatus 100. , You can translate the input sentence into other languages.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、上述した実施の形態では、変換モデル２４にニューラルネットワークを用いる場合を例に説明したが、これに限定されるものではなく、文の翻訳及び文の復元が可能なモデルであれば、他の手法を適用してもよい。 For example, in the above-described embodiment, the case where a neural network is used for the conversion model 24 has been described as an example. However, the present invention is not limited to this, and any model can be used as long as it can translate sentences and restore sentences. The method may be applied.
また、上述した実施の形態では、学習処理ルーチン及びテキスト生成処理ルーチンをソフトウエアで実現する例について示したが、ＡＳＩＣ(Application Specific Integrated Circuit)等のハードウエアを用いて実現してもよい。 In the above-described embodiment, an example in which the learning processing routine and the text generation processing routine are realized by software has been described. However, the learning processing routine and the text generation processing routine may be realized by using hardware such as an ASIC (Application Specific Integrated Circuit).
１０・・・入力部
２０・・・演算部
２１・・・圧縮部
２２・・・分類部
２３・・・学習部
２４・・・変換モデル
２５・・・復元部
２６・・・翻訳部
３０・・・出力部
１００・・・学習装置
２００・・・テキスト生成装置
DESCRIPTION OF SYMBOLS 10 ... Input part 20 ... Operation part 21 ... Compression part 22 ... Classification part 23 ... Learning part 24 ... Conversion model 25 ... Restoration part 26 ... Translation part 30 ..Output unit 100 ... Learning device 200 ... Text generation device
Claims (5)
前記圧縮部で生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求め、前記第２言語の文の前記圧縮表現ベクトルを用いて、前記第２言語の文の重み付けを求める分類部と、
前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応し、かつ、
前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、
前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、
前記第１言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応するように、前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークの各々を学習する学習部と、
を備えた学習装置。 A compression unit that generates a compressed expression vector obtained by converting a sentence into a vector for each of the sentence in the first language and the sentence in the second language in the parallel translation sentence described in each of the first language and the second language. When,
Using the compressed expression vector of the first language sentence generated by the compression unit, weighting of the sentence of the first language is obtained, and using the compressed expression vector of the sentence of the second language, the first expression A classification unit for calculating weights of sentences in two languages;
The output of the first neural network and the weight of the sentence of the second language when the weight of the sentence of the first language and the compressed expression vector of the sentence of the first language are input. The output of the third neural network when the output of the second neural network when the sentence weighting converted and the compressed expression vector of the sentence of the first language are the inputs, Corresponding to the sentence in the first language, and
An output of the first neural network when the weight of the sentence of the first language is converted into the weight of the sentence of the second language and the compressed expression vector of the sentence of the first language are input; and The output of the third neural network when the input of the weight of the sentence of the second language and the output of the second neural network when the compressed expression vector of the sentence of the first language is the input, Corresponds to the sentence in the second language, and
An output of the first neural network when the weight of the sentence in the first language is converted to the weight of the sentence in the second language and the compressed expression vector of the sentence in the second language are input; and The output of the third neural network when the input of the weight of the second language sentence and the output of the second neural network when the compressed expression vector of the sentence of the second language is the input, Corresponds to the sentence in the second language, and
The output of the first neural network and the weight of the sentence in the second language when the weight of the sentence in the first language and the compressed expression vector of the sentence in the second language are input. The output of the third neural network when the output of the second neural network when the sentence weighting converted and the compressed expression vector of the sentence of the second language are the inputs, A learning unit for learning each of the first neural network, the second neural network, and the third neural network so as to correspond to the sentence of the first language;
A learning device.
前記圧縮部で生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求める分類部と、
請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を再現する復元部と、
請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を前記第２言語の文に翻訳する翻訳部と、
を備えたテキスト生成装置。 A compression unit that generates a compressed expression vector obtained by converting a sentence into a vector for the input sentence in the first language;
A classification unit that obtains a weight of the sentence in the first language by using the compressed expression vector of the sentence in the first language generated by the compression unit;
The weighting of the sentence of the first language and the sentence of the first language using the first neural network, the second neural network, and the third neural network learned by the learning device according to claim 1. An output of the first neural network when the compressed expression vector is input, and a weight of a predetermined sentence of a language different from the first language converted into a weight of the sentence of the first language; and Calculating the output of the third neural network when the output of the second neural network when the compressed expression vector of the sentence of the first language is input, and the sentence of the first language is calculated Reconstructing part to reproduce,
The sentence weight of the second language is weighted using the first neural network, the second neural network, and the third neural network learned by the learning device according to claim 1. An output of the first neural network when the compressed expression vector of the sentence in the first language and the compressed expression vector of the sentence in the first language are input, and weighting of a predetermined sentence in a language different from the first language, and Calculating the output of the third neural network when the output of the second neural network when the compressed expression vector of the sentence of the first language is input, and the sentence of the first language is calculated A translation unit that translates the sentence into the second language;
A text generation device comprising:
生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求め、前記第２言語の文の前記圧縮表現ベクトルを用いて、前記第２言語の文の重み付けを求めるステップと、
前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応し、かつ、
前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、
前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第２言語の文に対応し、かつ、
前記第１言語の文の重み付け、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第２言語の文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第２言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力が、前記第１言語の文に対応するように、前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークの各々を学習するステップと、
を含む学習方法。 Generating a compressed expression vector obtained by converting a sentence into a vector for each of the sentence in the first language and the sentence in the second language in the parallel translation sentence described in each of the first language and the second language; ,
A weight of the first language sentence is obtained using the compressed expression vector of the generated sentence in the first language, and a sentence in the second language is obtained using the compressed expression vector of the sentence in the second language. Determining the weight of
The output of the first neural network and the weight of the sentence of the second language when the weight of the sentence of the first language and the compressed expression vector of the sentence of the first language are input. The output of the third neural network when the output of the second neural network when the sentence weighting converted and the compressed expression vector of the sentence of the first language are the inputs, Corresponding to the sentence in the first language, and
An output of the first neural network when the weight of the sentence of the first language is converted into the weight of the sentence of the second language and the compressed expression vector of the sentence of the first language are input; and The output of the third neural network when the input of the weight of the sentence of the second language and the output of the second neural network when the compressed expression vector of the sentence of the first language is the input, Corresponds to the sentence in the second language, and
An output of the first neural network when the weight of the sentence in the first language is converted to the weight of the sentence in the second language and the compressed expression vector of the sentence in the second language are input; and The output of the third neural network when the input of the weight of the second language sentence and the output of the second neural network when the compressed expression vector of the sentence of the second language is the input, Corresponds to the sentence in the second language, and
The output of the first neural network and the weight of the sentence in the second language when the weight of the sentence in the first language and the compressed expression vector of the sentence in the second language are input. The output of the third neural network when the output of the second neural network when the sentence weighting converted and the compressed expression vector of the sentence of the second language are the inputs, Learning each of the first neural network, the second neural network, and the third neural network to correspond to the sentence in the first language;
Learning methods including.
生成された前記第１言語の文の前記圧縮表現ベクトルを用いて、前記第１言語の文の重み付けを求めるステップと、
請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付けを前記第１言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を再現するステップと、
請求項１記載の学習装置によって学習された前記第１ニューラルネットワーク、前記第２ニューラルネットワーク、及び前記第３ニューラルネットワークを用いて、前記第１言語の文の重み付けを前記第２言語の文の重み付けに変換したもの、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第１ニューラルネットワークの出力と、前記第１言語とは異なる言語の予め定められた文の重み付け、及び前記第１言語の文の前記圧縮表現ベクトルを入力としたときの、第２ニューラルネットワークの出力と、を入力としたときの、第３ニューラルネットワークの出力を計算し、前記第１言語の文を前記第２言語の文に翻訳するステップと、
を含むテキスト生成方法。 Generating a compressed expression vector obtained by converting the sentence into a vector for the input sentence in the first language;
Using the compressed representation vector of the generated sentence in the first language to determine the weight of the sentence in the first language;
The weighting of the sentence of the first language and the sentence of the first language using the first neural network, the second neural network, and the third neural network learned by the learning device according to claim 1. An output of the first neural network when the compressed expression vector is input, and a weight of a predetermined sentence of a language different from the first language converted into a weight of the sentence of the first language; and Calculating the output of the third neural network when the output of the second neural network when the compressed expression vector of the sentence of the first language is input, and the sentence of the first language is calculated Steps to reproduce,
The sentence weight of the second language is weighted using the first neural network, the second neural network, and the third neural network learned by the learning device according to claim 1. An output of the first neural network when the compressed expression vector of the sentence in the first language and the compressed expression vector of the sentence in the first language are input, and weighting of a predetermined sentence in a language different from the first language, and Calculating the output of the third neural network when the output of the second neural network when the compressed expression vector of the sentence of the first language is input, and the sentence of the first language is calculated Translating into a sentence in the second language;
Text generation method including
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017126728A JP6703964B2 (en) | 2017-06-28 | 2017-06-28 | Learning device, text generating device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017126728A JP6703964B2 (en) | 2017-06-28 | 2017-06-28 | Learning device, text generating device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019008744A true JP2019008744A (en) | 2019-01-17 |
| JP6703964B2 JP6703964B2 (en) | 2020-06-03 |
Family
ID=65029605
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017126728A Active JP6703964B2 (en) | 2017-06-28 | 2017-06-28 | Learning device, text generating device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6703964B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021005790A1 (en) * | 2019-07-11 | 2021-01-14 | 日本電信電話株式会社 | Machine translation device, machine translation method, machine translation program, and non-temporary storage medium |
| WO2023063569A1 (en) * | 2021-10-15 | 2023-04-20 | 삼성전자주식회사 | Electronic device and control method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229124A (en) * | 2013-05-23 | 2014-12-08 | 独立行政法人情報通信研究機構 | Learning method of deep neural network, storage medium storing parameter of subnetwork of deep neural network, and computer program |
-
2017
- 2017-06-28 JP JP2017126728A patent/JP6703964B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014229124A (en) * | 2013-05-23 | 2014-12-08 | 独立行政法人情報通信研究機構 | Learning method of deep neural network, storage medium storing parameter of subnetwork of deep neural network, and computer program |
Non-Patent Citations (2)
| Title |
|---|
| "３．４ 言語バリアフリーサービスのための言語処理", 研究年報 ２０１１, JPN6020003720, 31 May 2012 (2012-05-31), JP, pages 26 - 27, ISSN: 0004205841 * |
| 外山 翔平 他２名: "構文情報を利用した事前並べ替えとニューラルネットワーク機械翻訳の同時学習", 言語処理学会第２１回年次大会 発表論文集 ［ＯＮＬＩＮＥ］, JPN6020003719, 9 March 2015 (2015-03-09), JP, pages 1008 - 1011, ISSN: 0004205840 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021005790A1 (en) * | 2019-07-11 | 2021-01-14 | 日本電信電話株式会社 | Machine translation device, machine translation method, machine translation program, and non-temporary storage medium |
| JPWO2021005790A1 (en) * | 2019-07-11 | 2021-01-14 | ||
| JP7243832B2 (en) | 2019-07-11 | 2023-03-22 | 日本電信電話株式会社 | Machine translation device, machine translation method, machine translation program, and non-temporary storage medium |
| WO2023063569A1 (en) * | 2021-10-15 | 2023-04-20 | 삼성전자주식회사 | Electronic device and control method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6703964B2 (en) | 2020-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108460028B (en) | Domain adaptation method for integrating sentence weight into neural machine translation | |
| US10319368B2 (en) | Meaning generation method, meaning generation apparatus, and storage medium | |
| WO2022121150A1 (en) | Speech recognition method and apparatus based on self-attention mechanism and memory network | |
| WO2019154210A1 (en) | Machine translation method and device, and computer-readable storage medium | |
| US20220300718A1 (en) | Method, system, electronic device and storage medium for clarification question generation | |
| CN111738025B (en) | Artificial intelligence based translation method and device, electronic equipment and storage medium | |
| JP6832501B2 (en) | Meaning generation method, meaning generation device and program | |
| CN107729329A (en) | A kind of neural machine translation method and device based on term vector interconnection technique | |
| CN111144140B (en) | Zhongtai bilingual corpus generation method and device based on zero-order learning | |
| CN107766319B (en) | Sequence conversion method and device | |
| CN113590761B (en) | Training method of text processing model, text processing method and related equipment | |
| WO2018082569A1 (en) | Sequence conversion method and device | |
| JP2022058775A (en) | Target object generating method, apparatus therefor, electronic device, and storage medium | |
| CN112767959B (en) | Voice enhancement method, device, equipment and medium | |
| WO2020240709A1 (en) | Dialog processing device, learning device, dialog processing method, learning method, and program | |
| KR20180103671A (en) | Electronic apparatus for compressing language model, electronic apparatus for providing recommendation word and operation methods thereof | |
| WO2023061106A1 (en) | Method and apparatus for language translation, device, and medium | |
| JP2022173453A (en) | Deep learning model training method, natural language processing method and apparatus, electronic device, storage medium, and computer program | |
| JP6703964B2 (en) | Learning device, text generating device, method, and program | |
| JP6243072B1 (en) | Input / output system, input / output program, information processing device, chat system | |
| CN111401514A (en) | Semi-supervised symbol network embedding method and system based on improved graph convolutional network | |
| CN110913229B (en) | RNN-based decoder hidden state determination method, device and storage medium | |
| CN111178097B (en) | Method and device for generating Zhongtai bilingual corpus based on multistage translation model | |
| Saleem et al. | NSE-CATNet: deep neural speech enhancement using convolutional attention transformer network | |
| CN116108157B (en) | Method for training text generation model, text generation method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190620 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200428 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200511 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6703964 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |