JP2018190077A - 発話生成装置、発話生成方法及び発話生成プログラム - Google Patents
発話生成装置、発話生成方法及び発話生成プログラム Download PDFInfo
- Publication number
- JP2018190077A JP2018190077A JP2017090331A JP2017090331A JP2018190077A JP 2018190077 A JP2018190077 A JP 2018190077A JP 2017090331 A JP2017090331 A JP 2017090331A JP 2017090331 A JP2017090331 A JP 2017090331A JP 2018190077 A JP2018190077 A JP 2018190077A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- sentence
- representative word
- feature vector
- keyword
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 239000013598 vector Substances 0.000 claims abstract description 119
- 238000004364 calculation method Methods 0.000 claims abstract description 27
- 230000014509 gene expression Effects 0.000 claims description 47
- 238000004458 analytical method Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 5
- 238000004519 manufacturing process Methods 0.000 claims description 4
- 230000008451 emotion Effects 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000000877 morphologic effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 210000004556 brain Anatomy 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000002996 emotional effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000021438 curry Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
人工無脳は、人間の発言から応答文としてもっともらしいものを機械的に生成する方式を採用している。人工無脳の実装方法としては、発言と応答文とを会話のルールとして準備しておく辞書型、大量の会話のログから、ユーザの発言に最も近いものを探し、その応答ログを用いるログ型、大量の文章からマルコフ連鎖を作成し、文を生成するマルコフ文生成型等がある(例えば、非特許文献1,2参照)。
また、人工無脳は、人間からのアクション(発話)によって反応するが、人から積極的に、ロボットに日常的な会話を話し掛けることは少なく、発話内容が思いつかない点も長く使われない原因と考えられる。
例えば、特許文献1では、ユーザの嗜好とロボットの嗜好とからロボットの行動を決定し、番組の視聴中に一緒に応援させる技術が提案されている。特許文献2では、映像印象情報とユーザ感情情報とから、感情状態を決定し、ロボットが共感する感情表現をさせる技術が提案されている。
しかしながら、これらは、テレビを人と一緒に共感しながら見て楽しむロボットを目的とした技術であり、テレビを視聴して楽しんでいる人を対象としている。例えば、独居者の多くは、一人でテレビを見ていること、また、特にテレビが見たいわけではないが、部屋が静かすぎることを紛らわすためにテレビを付けたままにしていることも多い。
本実施形態に係る発話生成装置1は、「食べたい」、「話したい」、「行きたい」等の願望を表す動詞を含む語句と、「きれい」、「おいしそう」、「大きい」等の形容詞とを含む代表語に対して、これらの代表語を含むテンプレート文と、代表語を含む多数のキーワードの特徴ベクトルとを用意しておく。
これにより、発話生成装置1は、キーワードに対して、適切な動詞又は形容詞の代表語を選択し、例えば、キーワード「ラーメン」に対しては、代表語として「食べたい」、「おいしそう」等を選択し、テンプレートから「ラーメン食べたいな」、「おいしそうなラーメンだな」等の発話文を生成できる。
発話生成装置1は、制御部及び記憶部の他、各種インタフェースを備えた情報処理装置であり、記憶部に格納されたソフトウェア(発話生成プログラム)を制御部が実行することにより、本実施形態の各種機能が実現される。
また、発話生成装置1の記憶部は、キーワード辞書21と、代表語辞書22と、発話テンプレートデータベース(DB)23と、特徴ベクトルデータベース24とを備える。
発話生成装置1へは、テレビの放送番組に付加されている字幕文(クローズドキャプション)が入力文Iとして入力されることとして説明を行う。放送番組からの字幕文の抽出方法としては、例えば、ロボットがテレビ受像機と連動して、字幕情報を取得したり、放送連動サービスとして、インターネット等の通信設備を用いて配信された字幕情報を受信したりする方法が考えられる。
また、入力文Iは、字幕文に限ったものではなく、ロボットに装備されたカメラ又はマイクロフォンを用いて、テレビの画像から画像処理によりオープンキャプションが取得されてもよいし、音声から音声認識により文が抽出されてもよい。
図2は、本実施形態に係る代表語辞書22の登録例を示す図である。
この例では、代表語辞書22に、種別、代表語及び別表現の3つのフィールドのデータがリストとして保管されている。
代表語は、感情を表す動詞又は形容詞を含む語であり、例えば、動詞の代表語として「話したい」、「聞きたい」、「食べたい」が登録されており、形容詞の代表語として「きれい」、「おもしろい」、「好き」が登録されている。
さらに、「きれい」の別表現として「綺麗」、「おもしろい」の別表現として「面白い」、「好き」の別表現として「大好き」が登録されている。
なお、本実施形態では、代表語辞書22に、代表語と別表現とが予め登録されているものとする。
図3は、本実施形態に係る発話テンプレートデータベース23の登録例を示す図である。
ここで、「%key」は、何らかのキーワードに置き換えられる箇所を示している。
発話テンプレートデータベース23のデータは、予め準備されていてもよいし、後述するように、入力文Iを利用して、テンプレート登録部13によって新たにテンプレートが追加されてもよい。
図4は、本実施形態に係る特徴ベクトルデータベース24の登録例を示す図である。
特徴ベクトルデータベース24には、語と対応する特徴ベクトルとが登録される。
なお、特徴ベクトルの算出方法は、word2vecに限定されるものではなく、意味的に近い語の特徴ベクトルがベクトル空間上で近くに分布する演算方式であればよい。
特徴ベクトルデータベース24は、予め大量の文章を入力として学習した特徴ベクトルが登録されていてもよいし、後述するように、入力文Iを用いて、特徴ベクトル演算部15によって更新されてもよい。
前述の各データベースのうち、発話テンプレートデータベース23及び特徴ベクトルデータベース24は、形態素解析部11、過分割修正部12、テンプレート登録部13、表現統一部14、及び特徴ベクトル演算部15の一連の処理により更新される。
ここで、分かち書き文とは、形態素に分割された語の間に区切り文字(例えば、空白文字)を挿入した文である。
入力文Iとして、「このラーメンを食べてみたいですね。」という文が入力された場合、形態素解析部11の解析結果が分かち書きされ、「この/ラーメン/を/食べ/て/みたい/です/ね/。」と出力される。なお、ここでは、分かち書き文の区切り文字として、空白ではなく「/」を用いている。
テンプレート登録部13は、入力文Iに、キーワード辞書21に登録されているキーワード、及び代表語辞書22の代表語又は別表現が含まれている場合、この代表語に対応するテンプレートとして、入力文Iのうち、キーワードを一般化した文を登録する。
ステップS1において、テンプレート登録部13は、分かち書きされた入力文Iに対して、代表語辞書22に登録されている代表語又は別表現が含まれているか否かを判定する。この判定がYESの場合、処理はステップS2に移り、判定がNOの場合、処理は終了する。
ステップS4において、テンプレート登録部13は、分かち書き文を普通の文に戻すために、区切り文字である空白を削除する。
ステップS6において、テンプレート登録部13は、ステップS4の結果を、新たなテンプレートとして、発話テンプレートデータベース23に登録する。
例えば、図5に示すように、過分割修正部12の出力文が「この/ラーメン/を/食べてみたい/です/ね/。」の場合、代表語辞書22では「食べてみたい」の代表語は「食べたい」なので、表現統一部14は、「食べてみたい」を「食べたい」に置き換えた文「この/ラーメン/を/食べたい/です/ね/。」を出力する。
これにより、代表語の別表現として稀にしか出ない語(例えば、「食べたい」の別表現として「食っちゃいたい」等)が、「食べたい」の特徴ベクトルの学習に利用されると共に、この別表現はテンプレートとして登録されることになり、発話文のバリエーションが広がる。また、代表語にまとめることで、後述のベクトル距離演算部17の計算量が低減される。
発話生成装置1は、入力文Iに対して、キーワード抽出部16、ベクトル距離演算部17、代表語ランキング部18、発話文生成部19の一連の処理により、出力文O(発話文)を出力する。
ここで、キーワードkの特徴ベクトルをveck、代表語tの特徴ベクトルをvectとしたとき、ベクトル間の距離として、式1のコサイン類似度cos(veck,vect)が利用できる。
(式1) cos(veck,vect)=(veck・vect)/(|veck||vect|)
この例では、キーワードとして「ラーメン」(特徴ベクトルvec1)と「京都」(特徴ベクトルvecy)とが、代表語として「行きたい」(特徴ベクトルvecx)と「食べたい」(特徴ベクトルvec3)とが定義されている。
なお、発話文生成部19は、代表語に対して複数登録されたテンプレートをランダムに選択するものとして説明したが、これには限られない。発話生成装置1は、例えば、特定のテンプレートに重み付けをし、選択確率に偏りを持たせてもよいし、この選択確率を視聴番組に関連して適宜更新することで、発話文に個性を持たせてもよい。
代表語辞書22は、特徴ベクトルデータベース24に基づいて、自動更新されてもよい。
代表語辞書更新部20は、代表語辞書22の各代表語に対する別表現の単語を追加登録する。
前述のように、特徴ベクトルデータベース24に登録されている特徴ベクトルは、意味が近い単語が近くなる。これを利用し、代表語辞書更新部20は、代表語の特徴ベクトルとの距離が所定以内の特徴ベクトルのうち、未登録の語を代表語の別表現として登録する。
ステップS11において、代表語辞書更新部20は、ループ処理用の変数nを1にセットする。
ステップS12において、代表語辞書更新部20は、代表語辞書22に登録されている代表語のうち、n番目の代表語を取得する。
ステップS13において、代表語辞書更新部20は、特徴ベクトルデータベース24から、ステップS12で取得したn番目の代表語の特徴ベクトルに近い特徴ベクトルの用語のうち上位M個を取得する。
ステップS15において、代表語辞書更新部20は、ステップS13で取得したM個の用語のうちm番目の用語が、代表語辞書22のn番目の代表語の別表現として登録されているか否かを判定する。この判定がYESの場合、処理はステップS17に移り、判定がNOの場合、処理はステップS16に移る。
ステップS17において、代表語辞書更新部20は、変数mをカウントアップし、m=Mになるまでループ処理を繰り返す。
ステップS18において、代表語辞書更新部20は、代表語辞書22に登録されている代表語の数Nの全てに対して上記の処理を行うため、変数nをカウントアップし、n=Nになるまでループ処理を繰り返す。
したがって、発話生成装置1は、番組に関連するキーワードから、自発的に、感情を示す発話文を生成できる。これにより、発話生成装置1を組み込んだロボットがあたかも自立した感情を持っているように、視聴中のテレビ番組に合わせて、感情を表す言葉を発話でき、小さな子供がテレビを見て喜んでいる様子を、周囲の大人が微笑ましく眺めるような効果が期待できる。
複数の発話文を生成することにより、発話文生成部19は、例えば、後続の処理として設けられ得る発話文の選択処理に対して複数の選択肢を提供でき、発話内容のバリエーションを増やすことができる。
また、このとき、発話文生成部19は、後続の処理のために、発話文と共に特徴ベクトルの距離値を出力してもよい。
11 形態素解析部
12 過分割修正部
13 テンプレート登録部
14 表現統一部
15 特徴ベクトル演算部
16 キーワード抽出部
17 ベクトル距離演算部
18 代表語ランキング部
19 発話文生成部
20 代表語辞書更新部
21 キーワード辞書
22 代表語辞書
23 発話テンプレートデータベース
24 特徴ベクトルデータベース
Claims (9)
- 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶する発話テンプレートデータベースと、
キーワードの特徴ベクトルを記憶する特徴ベクトルデータベースと、
入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算部と、
前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成部と、を備える発話生成装置。 - 前記距離に基づいて、前記代表語の順位付けを行う代表語ランキング部を備え、
前記発話文生成部は、前記順位付けによるランキングが上位の代表語を優先して、当該上位の代表語に対応する前記テンプレートを選択する請求項1に記載の発話生成装置。 - 入力文から、キーワード辞書に登録されているキーワードを抽出するキーワード抽出部を備える請求項1又は請求項2に記載の発話生成装置。
- 前記入力文に、前記キーワード辞書に登録されているキーワード、及び前記代表語又は当該代表語の別表現が含まれている場合、当該代表語に対応するテンプレートとして、前記入力文のうち、前記キーワードを一般化した文を登録するテンプレート登録部を備える請求項3に記載の発話生成装置。
- 前記入力文を形態素解析し、分かち書き文に変換する形態素解析部と、
前記分かち書き文において、前記代表語又は前記代表語の別表現が複数の単語に分割されている場合、当該複数の単語を連結して前記代表語又は前記別表現に復元する過分割修正部と、
前記分かち書き文の各語の特徴ベクトルを演算し、前記特徴ベクトルデータベースを更新する特徴ベクトル演算部と、を備える請求項3又は請求項4に記載の発話生成装置。 - 前記分かち書き文において、前記別表現を前記代表語に置き換える表現統一部を備え、
前記特徴ベクトル演算部は、前記別表現が前記代表語に置き換えられた後に、前記特徴ベクトルを演算する請求項5に記載の発話生成装置。 - 前記特徴ベクトルデータベースから、前記代表語の特徴ベクトルとの距離が所定以内の単語を抽出し、前記別表現として辞書に登録する代表語辞書更新部を備える請求項4から請求項6のいずれかに記載の発話生成装置。
- 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータが、
入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、
前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行する発話生成方法。 - 発話の特徴を示す代表語に対応付けて、発話文のテンプレートを記憶し、キーワードの特徴ベクトルを記憶したコンピュータに、
入力されたキーワードの特徴ベクトルと前記代表語の特徴ベクトルとの距離を算出する距離演算ステップと、
前記距離に基づいて選択された前記テンプレートに対して、前記入力されたキーワードを組み合わせて発話文を生成する発話文生成ステップと、を実行させるための発話生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017090331A JP6914094B2 (ja) | 2017-04-28 | 2017-04-28 | 発話生成装置、発話生成方法及び発話生成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017090331A JP6914094B2 (ja) | 2017-04-28 | 2017-04-28 | 発話生成装置、発話生成方法及び発話生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018190077A true JP2018190077A (ja) | 2018-11-29 |
JP6914094B2 JP6914094B2 (ja) | 2021-08-04 |
Family
ID=64480396
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017090331A Active JP6914094B2 (ja) | 2017-04-28 | 2017-04-28 | 発話生成装置、発話生成方法及び発話生成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6914094B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353043A (zh) * | 2020-02-27 | 2020-06-30 | 浙江大学 | 一种基于轻量化卷积神经网络的细粒度观点挖掘方法 |
JP2020197957A (ja) * | 2019-06-04 | 2020-12-10 | コニカミノルタ株式会社 | 発想支援装置、発想支援システム及びプログラム |
JP2020201748A (ja) * | 2019-06-11 | 2020-12-17 | 日本放送協会 | 発話生成装置、発話生成方法及び発話生成プログラム |
JP2021114234A (ja) * | 2020-01-21 | 2021-08-05 | 株式会社東芝 | 情報処理装置、情報処理システム、および情報処理プログラム |
JP2022056638A (ja) * | 2020-09-30 | 2022-04-11 | Kddi株式会社 | ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009163620A (ja) * | 2008-01-09 | 2009-07-23 | Toyota Central R&D Labs Inc | 応答生成装置、及び応答生成プログラム |
JP2014222401A (ja) * | 2013-05-13 | 2014-11-27 | 日本電信電話株式会社 | 発話文抽出装置、方法、及びプログラム |
JP2017049471A (ja) * | 2015-09-03 | 2017-03-09 | カシオ計算機株式会社 | 対話制御装置、対話制御方法及びプログラム |
-
2017
- 2017-04-28 JP JP2017090331A patent/JP6914094B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009163620A (ja) * | 2008-01-09 | 2009-07-23 | Toyota Central R&D Labs Inc | 応答生成装置、及び応答生成プログラム |
JP2014222401A (ja) * | 2013-05-13 | 2014-11-27 | 日本電信電話株式会社 | 発話文抽出装置、方法、及びプログラム |
JP2017049471A (ja) * | 2015-09-03 | 2017-03-09 | カシオ計算機株式会社 | 対話制御装置、対話制御方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
今野陽子ほか: "特定の話題に関する対話エージェントの実現に向けた特徴語に基づく応答法の検討", 情報処理学会研究報告 [ONLINE], vol. Vol.2017-ICS-186, No.10, JPN6021003525, 24 February 2017 (2017-02-24), pages 1 - 6, ISSN: 0004439007 * |
加藤和樹ほか: "文のテンプレートの学習および感情を考慮した会話文の生成", 第77回(平成27年)全国大会講演論文集(2), JPN6021003526, 17 March 2015 (2015-03-17), pages 175 - 176, ISSN: 0004439008 * |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020197957A (ja) * | 2019-06-04 | 2020-12-10 | コニカミノルタ株式会社 | 発想支援装置、発想支援システム及びプログラム |
JP7363107B2 (ja) | 2019-06-04 | 2023-10-18 | コニカミノルタ株式会社 | 発想支援装置、発想支援システム及びプログラム |
JP2020201748A (ja) * | 2019-06-11 | 2020-12-17 | 日本放送協会 | 発話生成装置、発話生成方法及び発話生成プログラム |
JP7365791B2 (ja) | 2019-06-11 | 2023-10-20 | 日本放送協会 | 発話生成装置、発話生成方法及び発話生成プログラム |
JP2021114234A (ja) * | 2020-01-21 | 2021-08-05 | 株式会社東芝 | 情報処理装置、情報処理システム、および情報処理プログラム |
JP7305566B2 (ja) | 2020-01-21 | 2023-07-10 | 株式会社東芝 | 情報処理装置、情報処理システム、および情報処理プログラム |
CN111353043A (zh) * | 2020-02-27 | 2020-06-30 | 浙江大学 | 一种基于轻量化卷积神经网络的细粒度观点挖掘方法 |
JP2022056638A (ja) * | 2020-09-30 | 2022-04-11 | Kddi株式会社 | ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法 |
JP7426917B2 (ja) | 2020-09-30 | 2024-02-02 | Kddi株式会社 | ユーザ周辺のマルチモーダル情報に応じてユーザと対話するプログラム、装置及び方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6914094B2 (ja) | 2021-08-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | A persona-based neural conversation model | |
JP6914094B2 (ja) | 発話生成装置、発話生成方法及び発話生成プログラム | |
US20200395008A1 (en) | Personality-Based Conversational Agents and Pragmatic Model, and Related Interfaces and Commercial Models | |
JP6802005B2 (ja) | 音声認識装置、音声認識方法及び音声認識システム | |
JP6951712B2 (ja) | 対話装置、対話システム、対話方法、およびプログラム | |
Chen et al. | Deep Learning for Video Captioning: A Review. | |
CN111738025B (zh) | 基于人工智能的翻译方法、装置、电子设备和存储介质 | |
CN111819625A (zh) | 用于语言模型个性化的系统和方法 | |
JP6122792B2 (ja) | ロボット制御装置、ロボット制御方法及びロボット制御プログラム | |
KR102104294B1 (ko) | 디스플레이 장치로 읽을 수 있는 저장매체에 저장된 수화 영상 챗봇 애플리케이션 | |
CN118043885A (zh) | 用于半监督语音识别的对比孪生网络 | |
JP6320397B2 (ja) | 音声選択支援装置、音声選択方法、およびプログラム | |
JP7058588B2 (ja) | 会話システムおよび会話プログラム | |
KR20190074508A (ko) | 챗봇을 위한 대화 모델의 데이터 크라우드소싱 방법 | |
US20220253609A1 (en) | Social Agent Personalized and Driven by User Intent | |
CN116913278B (zh) | 语音处理方法、装置、设备和存储介质 | |
US20230290371A1 (en) | System and method for automatically generating a sign language video with an input speech using a machine learning model | |
Vörös et al. | Towards a smart wearable tool to enable people with SSPI to communicate by sentence fragments | |
Deena et al. | Exploring the use of acoustic embeddings in neural machine translation | |
KR102384165B1 (ko) | 가상공간 내 영상 음성 데이터 송수신을 통한 실시간 양방향 커뮤니케이션 방법 및 시스템 | |
KR102379730B1 (ko) | 대화 에이전트 시스템의 학습 방법 및 장치 | |
JP7365791B2 (ja) | 発話生成装置、発話生成方法及び発話生成プログラム | |
Schnelle-Walka et al. | Multimodal Fusion and Fission within the W3C MMI Architectural Pattern | |
JP6858721B2 (ja) | コンテンツに関する対話を実施可能な対話制御装置、プログラム及び方法 | |
JP7352491B2 (ja) | ユーザ周辺データに応じて雑談のような対話を進行させる対話装置、プログラム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200302 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6914094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |