JP2021128637A - 受話文に対する応答文を推論するプログラム、装置及び方法 - Google Patents
受話文に対する応答文を推論するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP2021128637A JP2021128637A JP2020023845A JP2020023845A JP2021128637A JP 2021128637 A JP2021128637 A JP 2021128637A JP 2020023845 A JP2020023845 A JP 2020023845A JP 2020023845 A JP2020023845 A JP 2020023845A JP 2021128637 A JP2021128637 A JP 2021128637A
- Authority
- JP
- Japan
- Prior art keywords
- bilingual
- encoder
- context vector
- decoder
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Machine Translation (AREA)
Abstract
Description
学習データベースは、単語列のセットからなる学習用受話文及び学習用応答文を対応付けて記憶している。
エンコーダは、学習用受話文からコンテキストベクトルを生成し、デコーダは、当該コンテキストベクトルから学習用応答文を生成する、ように学習する。
図1によれば、例えば以下のように、学習用受話文及び学習用応答文を対応付けて学習している。
(1)学習用受話文「最近、英会話を習い始めました」
学習用応答文「英会話が出来ないのですか?」
(2)学習用受話文「山登りが趣味です」
学習用応答文「どの山に登りましたか?」
<運用段階>
エンコーダは、対象受話文からコンテキストベクトルを生成し、デコーダは、当該コンテキストベクトルから応答文を生成する。
(事例1)発話の破綻
発話そのものが破綻している場合がある。例えば、構文が崩れていて、そもそも日本語として成立していない場合がある。
(事例2)応答の破綻
日本語としては正しいが、相手の発言に対する応答が破綻している場合がある。例えば、受話文「それでは、趣味はなんですか?」に対して、応答文「最後に旅行されたのはいつですか?」を返答する場合がある。
(事例3)文脈の破綻
1回のやりとりとしては成立しているものの、既に話した内容とかみ合わない場合がある。例えば、10秒前には応答文「お菓子が好き」と返答したにも拘わらず、直ぐに応答文「お菓子が嫌い」と返答する場合がある。
(事例4)環境の破綻
社会的(常識的)に不適切な発言をしてしまう場合がある。例えば、米国のMicrosoft社が公開した人工知能bot「Tay」(登録商標)のように、急に人種差別的な発言をする場合がある。
一般的に、事例2の破綻が約5割、事例3の破綻が約3割、事例1の破綻が1割強で、事例4の破綻が少数程度、発生すると認識されている。
また、事例1の発話の破綻について、その原因としては、デコーダの精度不足が考えられる。
注意機構とは、新たに「デコーダで生成しようとしているi番目のtargetの単語翻訳時の内部状態」と、「エンコーダでの各単語の隠れ層」とを用いて計算されるコンテキストベクトルを、デコーダの推論時に用いるものである。そのために、注意機構を含むモデルでは、i番目の単語を出力するときに、入力として(1)1つ前の翻訳単語結果と、(2)デコーダの内部状態と、(3)注意機構によって算出されたコンテキストベクトルとが与えられ、それを用いてi番目の単語を推論する。
このように、注意機構によって重要視すべき単語や語句が指定されるために、適切な自然言語処理が可能となる。
対象受話文「最近、山登りを始めました」
応答文 「山登りが出来ないのですか?」
ここで、応答文は日本語として問題は無いが、一般的に「山登りが出来ない」場合は限られており、受話文に対する応答文の文脈に不自然さや違和感を生じる。
これは、例えば訓練段階について、エンコーダが、例えば「〜を始めました」を重要視したことによって、応答文「〜が出来ないのですか?」の優先度が高まったものと考えられる。
このように、図1の例によれば、エンコーダの注意機構が重要視した単語が不適切であること(事例2の応答の破綻)や、デコーダの精度不足(事例1の発話の破綻)が考えられる。
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ようにコンピュータを機能させることを特徴とする。
対訳エンコーダは、注意(attention)機構を有しており、
対訳エンコーダから生成される第1のコンテキストベクトルと、ニューラルネットワークから生成される第2のコンテキストベクトルとは、潜在的に注意機構を含む
ようにコンピュータを機能させることも好ましい。
対訳エンコーダ及び対訳デコーダはそれぞれ、異なる言語数に応じて複数有し、
対訳エンコーダは、異なる言語の複数のコーパステキストをそれぞれ入力し、1つのコンテキストベクトルを生成し、及び/又は、
対訳デコーダは、1つのコンテキストベクトルを入力し、異なる言語の複数のコーパステキストをそれぞれ出力する
べく学習したものとなるようにコンピュータを機能させることも好ましい。
対訳エンコーダ及び対訳デコーダは、系列変換モデル(sequence-to-sequence)のニューラルネットワークに基づくものであり、
対訳エンコーダは、埋め込み層及び再帰層から構成され、
対訳デコーダは、埋め込み層、再帰層及び出力層から構成される
ようにコンピュータを機能させることも好ましい。
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ことを特徴とする。
装置は、
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ように実行することを特徴とする。
ここで、訓練は、第1の訓練段階と第2の訓練段階とに区分される。各訓練段階とも、エンコーダ−デコーダモデルとして、コンテキストベクトルを介して構成される。
第1の訓練段階では、対訳コーパスデータベース101に基づいて、対訳エンコーダ111及び対訳デコーダ112が訓練される。
対訳コーパスデータベース101は、異なる言語間で対訳となるコーパステキスト(corpus text)を蓄積したものである。これは、対訳エンコーダ111に入力すべき第1の言語のコーパステキストと、対訳デコーダ112で出力されるべき第2の言語のコーパステキストとを対応付けたものである。
コーパステキストは、例えばニューラル機械翻訳における多言語の対訳コーパスであってもよい。即ち、同じ意味を表す異なる言語を、対訳として用意する。
日本語:「私はあなたを愛している。」
英語 :「I love you.」
独語 :「Ich liebe dich.」
中国語:「我愛弥」
対訳エンコーダ111及び対訳デコーダ112は、対訳となる第1の言語のコーパステキスト及び第2の言語のコーパステキストを対応付けて入力し、エンコーダ−デコーダモデルとして学習する。
対訳エンコーダ111は、対訳コーパスデータベース101から入力した第1の言語のコーパステキストからコンテキストベクトルを生成する、ように学習する。ここで、対訳エンコーダは、注意(attention)機構を有する。
対訳デコーダ112は、当該コンテキストベクトルから、第2の言語のコーパステキストを出力する、ように学習する。
系列変換モデルは、系列Xを入力し、固定長の「コンテキストベクトル」を生成する対訳エンコーダ111と、その固定長のコンテキストベクトルから系列Yを出力する対訳デコーダ112とから構成される。
一般的に、受話文及び応答文が同一言語であれば、訓練段階及び運用段階も同一言語を用いる。当然、受話文及び応答文が日本語であれば、その他の言語間の対訳コーパスなど必要としない。もし、エンコーダ−デコーダのモデルで、日本語同士の対話のコーパスを用いたとしても、単なる恒等変換にしかならない。そのために、受話文及び応答文が同一言語であれば、対訳コーパステキストを用いることは全く想定されない。
これに対し、本発明によれば、あえて、受話文及び応答文が異なる言語となる「対訳コーパス」を用いて学習している。これによって、対訳エンコーダが生成するコンテキストベクトルに内在する注意機構の過学習を防ぐことができる。特に、対訳の言語種別が多いほど、個々の言語モデルの影響を受けないコンテキストベクトルの生成が可能となる。最終的に生成される応答文は、既存の言語モデルの影響をできる限り受けないものとなることが期待される。
日本語:「あなた/を/愛し/て/いる/<EOS>」
対訳デコーダ112には、第2の言語のコーパステキストに基づく形態素系列が入力される。
英語:「<BOS>/I/love/you/<EOS>」
第1の言語のコーパステキスト、第2の言語のコーパステキストとは、異なる言語であるが、同義文である。
「幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。」
これに対し、対訳デコーダ112は、コンテキストベクトルから、以下のような英語文を出力するように、対訳エンコーダ111及び対訳デコーダ112を学習する。
「The shogunate banished Portuguese in 1639, ordered Daimyo to guard
the coast.」
同様に、図3によれば、対訳エンコーダ111には、例えば以下の日本語文が入力されている。
「1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。」
これに対し、対訳デコーダ112は、コンテキストベクトルから、以下のような英語文を出力するように、対訳エンコーダ111及び対訳デコーダ112を学習する。
「In 1639, the Portuguese were expelled, and the shogunate was ordered
to protect the coast from Daimyo.」
埋め込み層は、入力テキストXの各単語xを、埋め込みベクトル(embedding vector)の分散表現(distribute representation)に変換する。
次に、再帰層は、埋め込みベクトルを入力し、コンテキストベクトルを出力するように、再帰型ニューラルネットワークとして機能する。
埋め込み層は、出力テキストYの各単語yを、埋め込みベクトルの分散表現に変換する。
次に、再帰層は、埋め込みベクトルとコンテキストベクトルとを入力し、再帰型ニューラルネットワークとして機能する。
出力層は、再帰層から出力された出力系列Yの単語yに対応する隠れ層状態ベクトルを入力し、テキストを出力する。
図4によれば、日本語に対応する対訳エンコーダ111と、中国語に対応する対訳エンコーダ111とからの出力となるコンテキストベクトルを、英語に対応する対訳デコーダ112と、独語に対応する対訳デコーダ112とに入力して学習している。これによって、4つの異なる言語について、同義文となる対訳コーパスに共通するコンテキストベクトルが生成されることとなる。
例えば、日本語に対応する対訳エンコーダ111とからの出力となるコンテキストベクトルを、英語に対応する対訳デコーダ112と、独語に対応する対訳デコーダ112とに入力して学習するものであってもよい。
また、例えば、日本語に対応する対訳エンコーダ111と、中国語に対応する対訳エンコーダ111とからの出力となるコンテキストベクトルを、英語に対応する対訳デコーダ112に入力して学習するものであってもよい。
図2に戻って、第2の訓練段階では、学習データベース102と、2つの対訳エンコーダ111と、ニューラルネットワーク12とによって訓練される。
学習データベース102は、学習用受話文及び学習用応答文を対応付けて蓄積したものである。これは、従来技術としての図1における学習データベースと同様のものである。
2つの対訳エンコーダ111は、第1の訓練段階で学習された対訳エンコーダ111をそのまま用いている。一方の対訳エンコーダ111は、対話となる学習用受話文を入力して、その学習用受話文からコンテキストベクトルを生成し、そのコンテキストベクトルをニューラルネットワーク12へ入力する。他方の対訳エンコーダ111は、対話となる学習用応答文を入力し、その学習用応答文からコンテキストベクトルを生成し、そのコンテキストベクトルをニューラルネットワーク12の出力側へ入力する。
(1)学習用受話文「最近、英会話を習い始めました」
学習用応答文「英会話が出来ないのですか?」
(2)学習用受話文「山登りが趣味です」
学習用応答文「どの山に登りましたか?」
ニューラルネットワーク12は、エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力する、ように学習する。
ニューラルネットワーク12は、例えば畳み込みニューラルネットワークであるのが好ましい。
また、2つの対訳エンコーダ111によって生成されたそれぞれのコンテキストベクトルは、潜在的に注意機構を含むこととなる。
本発明によれば、対訳コーパスデータベース101を用いることによって、対訳エンコーダ111の注意機構は、言語の種別に影響されず、意味的に重要な単語を重要視するようになるため、応答文の破綻を抑制することができる。ここで、複数の異なる言語の対訳コーパスを用いて対訳デコーダ112を訓練することによって、性能が改善し、応答文の破綻を更に抑制することができる。
図5は、本発明における推論装置の運用段階の機能構成図である。
図5によれば、運用段階では、対訳エンコーダ111と、ニューラルネットワーク12と、対訳デコーダ112とからなるエンコーダ−デコーダモデルによって推論される。対訳エンコーダ111及び対訳デコーダ112は、第1の訓練段階で訓練されたものであり、ニューラルネットワーク12は、第2の訓練段階で訓練されたものである。
次に、ニューラルネットワーク12は、第1のコンテキストベクトルから第2のコンテキストベクトルを生成する。
そして、対訳デコーダ112は、第2のコンテキストベクトルから応答文を生成する。
ここで、第1のコンテキストベクトル及び第2のコンテキストベクトルは、潜在的に注意機構を含むこととなる。
対象受話文「最近、山登りを始めました」
応答文 「どの山に登りましたか?」
ここで、応答文は、日本語として問題は無いだけでなく、文脈に不自然さや違和感も生じない。これは、エンコーダ−デコーダモデルのコンテキストベクトルに内在する注意機構が過学習を起こしていないことに基づくものである。この点で、従来技術における前述した図1と異なっている。
特に、深層学習が不得手とする「対話文生成」が可能となり、そのニューラルネットワークの適用範囲を広げることができる。
101 対訳コーパスデータベース
102 学習データベース
111 対訳エンコーダ
112 対訳デコーダ
12 ニューラルネットワーク
Claims (6)
- 受話文に対する応答文を推論する装置に搭載されたコンピュータを機能させるプログラムにおいて、
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ようにコンピュータを機能させることを特徴とするプログラム。 - 対訳エンコーダは、注意(attention)機構を有しており、
対訳エンコーダから生成される第1のコンテキストベクトルと、ニューラルネットワークから生成される第2のコンテキストベクトルとは、潜在的に注意機構を含む
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 対訳エンコーダ及び対訳デコーダはそれぞれ、異なる言語数に応じて複数有し、
対訳エンコーダは、異なる言語の複数のコーパステキストをそれぞれ入力し、1つのコンテキストベクトルを生成し、及び/又は、
対訳デコーダは、1つのコンテキストベクトルを入力し、異なる言語の複数のコーパステキストをそれぞれ出力する
べく学習したものとなるようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 - 対訳エンコーダ及び対訳デコーダは、系列変換モデル(sequence-to-sequence)のニューラルネットワークに基づくものであり、
対訳エンコーダは、埋め込み層及び再帰層から構成され、
対訳デコーダは、埋め込み層、再帰層及び出力層から構成される
ようにコンピュータを機能させることを特徴とする請求項1から3のいずれか1項に記載のプログラム。 - 受話文に対する応答文を推論する推論装置において、
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ことを特徴とする推論装置。 - 受話文に対する応答文を推論する装置の推論方法において、
装置は、
訓練段階として、
エンコーダ−デコーダモデルとして、第1の言語の第1のコーパステキストからコンテキストベクトルを生成する対訳エンコーダと、当該コンテキストベクトルから第1のコーパステキストの対訳となる第2の言語の第2のコーパステキストを出力する対訳デコーダとを学習し、
エンコーダ−デコーダモデルとして、学習用受話文から対訳エンコーダによって生成されたコンテキストベクトルを入力した際に、当該学習用受話文の対話となる学習用応答文から対訳エンコーダによって生成されたコンテキストベクトルを出力するようにニューラルネットワークを学習し、
運用段階として、
対象の受話文から対訳エンコーダによって第1のコンテキストベクトルを生成し、
第1のコンテキストベクトルからニューラルネットワークによって第2のコンテキストベクトルを生成し、
第2のコンテキストベクトルから対訳デコーダによって応答文を推論する
ように実行することを特徴とする推論方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023845A JP7200154B2 (ja) | 2020-02-14 | 2020-02-14 | 受話文に対する応答文を推論するプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020023845A JP7200154B2 (ja) | 2020-02-14 | 2020-02-14 | 受話文に対する応答文を推論するプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021128637A true JP2021128637A (ja) | 2021-09-02 |
JP7200154B2 JP7200154B2 (ja) | 2023-01-06 |
Family
ID=77488846
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020023845A Active JP7200154B2 (ja) | 2020-02-14 | 2020-02-14 | 受話文に対する応答文を推論するプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7200154B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028752A (ja) * | 2016-08-16 | 2018-02-22 | 国立研究開発法人情報通信研究機構 | 対話システム及びそのためのコンピュータプログラム |
JP2019020893A (ja) * | 2017-07-13 | 2019-02-07 | 国立研究開発法人情報通信研究機構 | ノン・ファクトイド型質問応答装置 |
-
2020
- 2020-02-14 JP JP2020023845A patent/JP7200154B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018028752A (ja) * | 2016-08-16 | 2018-02-22 | 国立研究開発法人情報通信研究機構 | 対話システム及びそのためのコンピュータプログラム |
JP2019020893A (ja) * | 2017-07-13 | 2019-02-07 | 国立研究開発法人情報通信研究機構 | ノン・ファクトイド型質問応答装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7200154B2 (ja) | 2023-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11507745B2 (en) | System and method for detecting undesirable and potentially harmful online behavior | |
JP2764343B2 (ja) | 節/句境界抽出方式 | |
Milhorat et al. | Building the next generation of personal digital assistants | |
AU2019219717B2 (en) | System and method for analyzing partial utterances | |
KR101130351B1 (ko) | 영숫자 개념용 음성 인식 문법 생성 | |
US11636272B2 (en) | Hybrid natural language understanding | |
CN111477216A (zh) | 一种用于对话机器人的音意理解模型的训练方法及系统 | |
WO2019229768A1 (en) | A bot engine for automatic dynamic intent computation | |
US11907665B2 (en) | Method and system for processing user inputs using natural language processing | |
CN114064865A (zh) | 在远程交互中检测词汇技能级别并校正未对准 | |
CN117725163A (zh) | 智能问答方法、装置、设备及存储介质 | |
WO2022249050A2 (en) | Method and system for processing multilingual user inputs using single natural language processing model | |
JP7200154B2 (ja) | 受話文に対する応答文を推論するプログラム、装置及び方法 | |
Dzakwan et al. | Comparative study of topology and feature variants for non-task-oriented chatbot using sequence to sequence learning | |
JP2022119430A (ja) | 未知語を考慮して文を推論するプログラム、装置及び方法 | |
Araki et al. | Generality of spoken dialogue system using SeGA-IL for different languages. | |
JP7191054B2 (ja) | マルチメディアデータからテキストを推論するプログラム、装置及び方法 | |
EP0903727A1 (en) | A system and method for automatic speech recognition | |
Bhandari | Prompting in Autoregressive Large Language Models | |
KR20150054045A (ko) | 연쇄 대화 패턴 기반 대화 시스템 | |
Horii et al. | Language modeling for spontaneous speech recognition based on disfluency labeling and generation of disfluent text | |
RU2021138713A (ru) | Способ и сервер для выполнения контекстно-зависимого перевода | |
Rose | Ethical Considerations in the Use of Disfluencies in AI-Generated Speech. | |
KR20220063661A (ko) | 자연어를 점진적으로 분석하는 장치 및 방법 | |
KR20240085415A (ko) | 외부 지식 데이터를 기반으로 대화 서비스를 제공하는 장치, 방법 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221221 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7200154 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |