JP2022500726A - タスク指向型対話のためのグローバル−ローカルメモリポインタネットワーク - Google Patents
タスク指向型対話のためのグローバル−ローカルメモリポインタネットワーク Download PDFInfo
- Publication number
- JP2022500726A JP2022500726A JP2021505373A JP2021505373A JP2022500726A JP 2022500726 A JP2022500726 A JP 2022500726A JP 2021505373 A JP2021505373 A JP 2021505373A JP 2021505373 A JP2021505373 A JP 2021505373A JP 2022500726 A JP2022500726 A JP 2022500726A
- Authority
- JP
- Japan
- Prior art keywords
- knowledge base
- sketch
- response
- memory
- dialogue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000015654 memory Effects 0.000 title claims abstract description 195
- 230000004044 response Effects 0.000 claims abstract description 75
- 238000000034 method Methods 0.000 claims abstract description 26
- 230000002452 interceptive effect Effects 0.000 claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims 2
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 241000282412 Homo Species 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 235000008694 Humulus lupulus Nutrition 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 238000011511 automated evaluation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000010410 layer Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/285—Memory allocation or algorithm optimisation to reduce hardware requirements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
- G06F40/35—Discourse or dialogue representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/335—Filtering based on additional data, e.g. user or group profiles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/041—Abduction
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Databases & Information Systems (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本願は、参照により全体がここに組み込まれる、2018年19月27日に出願した米国仮特許出願番号第62/737,234号、及び2018年10月30日に出願した米国特許出願番号第16/175,639号、の優先権を主張する。
本特許文書の開示の一部は、著作権保護を受ける内容を含む。著作権者は、特許商標庁の特許ファイル又は記録に記載されているように、本特許文書又は特許開示のいずれによる複製にも異議を唱えることがないが、それ以外の場合は全ての著作権を保留する。
本開示は、概して、対話システムに関し、より具体的には、タスク指向型対話のためのグローバル−ローカルメモリポインタネットワークの使用に関する。
図1は、幾つかの実施形態によるコンピューティング装置100の簡略図である。図1に示されるように、コンピューティング装置100は、メモリ120に接続されたプロセッサ110を含む。コンピューティング装置100の動作はプロセッサ110により制御される。そして、コンピューティング装置100は1つのプロセッサ110のみを有するよう示されるが、プロセッサ110は、コンピューティング装置100内の1つ以上の中央処理ユニット、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、FPGA(field programmable gate array)、ASIC(application specific integrated circuit)、GPU(graphics processing unit)、TPU(tensor processing unit)、等を表し得ることが理解される。コンピューティング装置100は、スタンドアロン型サブシステムとして、コンピューティング装置に追加される基板として、及び/又は仮想機械として実装されてよい。
図2は、幾つかの実施形態によるタスク指向型対話システムのためのグローバル−ローカルメモリポインタモデル又はネットワーク200の簡略図である。幾つかの実施形態では、グローバル−ローカルメモリポインタモデル又はネットワーク200は、図1のグローバル−ローカルメモリポインタモジュール130を実装できる。
図3は、幾つかの実施形態による外部知識メモリ300の簡略図である。外部知識メモリ300は、対話履歴及び知識ベースを格納する(図7のプロセス710)。幾つかの実施形態では、外部知識メモリ300は、図2のニューラルモデル200の外部知識メモリ230を実装できる。外部知識メモリ300は、KBメモリモジュール332と対話メモリモジュール224とを含み、幾つかの実施形態では、図2のニューラルモデル200のメモリ232及び234をそれぞれ実装できる。
幾つかの実施形態では、KBメモリモジュール332の中で、各要素bi∈Bは、(主語(Subject)、関係(Relation)、目的語(Object))構造のようなトリプレット形式で表現される。これは、KBノードを表すために使用される共通フォーマットである。例えば、図6のテーブル610の中の知識ベースBは、{(Toms house, distance, 3 miles),...,(Starbucks, address, 792 Bedoin St)}のように示される。一方で、対話コンテキストXは、対話メモリモジュール334に格納される。ここで、話者及び時間的符号化は、トリプレット形式のように含まれる。これは、参照によりここに組み込まれる、Boards et al., “Learning end−to−end goal−oriented dialog,” International Conference on Learning Representations, abs/1605.07683, 2017に更に詳細に記載されている。例えば、図6のテーブル620の中の運転手からの最初の発話は、{($user, turn1, I)),($user, turn1, need),($user, turn1, gas)}と示される。2つのメモリモジュールについて、語の袋(bag−of−word)が、メモリ埋め込み(memory embedding)として使用される。推定時間の間、メモリ位置がポイントされると、目的語の単語がコピーされる。例えば、トリプレット(Toms house, distance, 3 miles)が選択された場合、3 milesがコピーされる。Object(.)関数は、トリプレットから目的語の単語を得るものとして示される。
幾つかの実施形態では、外部知識は、トレーニング可能な埋め込み行列の集合C=(C1,...,CK+1)を含む。ここで、
図4は、幾つかの実施形態による符号化対話履歴X及び知識ベースBの符号化のためのエンコーダ400の簡略図である。エンコーダ400は、コンピューティング装置との対話中にユーザにより発せられた1つ以上の発話を受信してよい(図7のプロセス720)。幾つかの実施形態では、エンコーダ400は、図2のニューラルモデル200のエンコーダ210を実装できる。
幾つかの実施形態では、エンコーダ400のコンテキストRNNは、個別に又は一緒に(例えば、参照によりここに組み込まれるChung et al, 2014に記載されるような)1つ以上の双方向ゲート付き回帰型ユニット(gated recurrent units (GRUs)を含み得る複数の符号化要素402を含み又はそれらを実装され得る。各符号化要素402は、コンテキスト又は対話履歴Xの単語又はテキストに作用して、隠れ状態H=(h1 e,...,hn e)を生成してよい。最後の隠れ状態hn eは、符号化対話履歴として外部知識メモリにクエリするために使用される。更に、隠れ状態Hは、元のメモリ表現を対応する隠れ状態と共に加算することにより、外部知識300の中の対話メモリモジュール334に書き込まれる。式では、
エンコーダ400は、グローバルメモリポインタGを生成する(図7のプロセス730)。幾つかの実施形態では、グローバルメモリポインタG=(g1,...,gn+1)は、0と1の間の実数値を含むベクトルを含む。全部の重みが1つに加算される従来の注意メカニズムと異なり、グローバルメモリポインタGの中の各要素は、独立した確率であり得る。モデル20は、先ず、hn eを用いて最後のホップまで外部知識300をクエリし、(1)のようにSoftmax関数を適用する代わりに、モデルは内積を実行し、Sigmoid関数が続く。取得されるメモリ分布は、デコーダに渡されるグローバルメモリポインタGである。グローバルポイント能力を更に強化するために、グローバルメモリポインタをマルチラベル分類タスクとしてトレーニングするために補助損失(auxiliary loss)が追加される。アブレーション(ablation)の研究で示されるように、この追加管理の追加により、性能を向上できる。最後に、メモリ読み出しqK+1が、符号化KB情報として使用される。
図5は、幾つかの実施形態によるデコーダ500の簡略図である。幾つかの実施形態では、デコーダ500は、図2のニューラルモデル200のデコーダ220を実装できる。幾つかの実施形態では、デコーダ500は、回帰型ニューラルネットワーク(recurrent neural network (RNN))として実装される。
デコーダ500は、スケッチ応答を生成する(図7のプロセス740)。幾つかの実施形態では、エンコーダ500のスケッチRNNは、個別に又は一緒に1つ以上の双方向ゲート付き回帰型ユニット(gated recurrent units (GRUs))を含み得る複数の要素502を含み又はそれらを実装され得る。幾つかの実施形態では、スケッチRNNは、実際のスロット値を有しないで、スケッチ応答Ys=(ys 1,...,ys m)を生成するために使用される。スケッチRNNは、符号化対話(hn e)及びKB情報(qK+1)に基づき動的対話アクションテンプレートを生成することを学習する。各復号時間ステップtで、スケッチRNN隠れ状態ht d及びその出力分布pvocab tは、次式のように定められる。
デコーダ500は、1つ以上のローカルメモリポインタLを生成する(図7のプロセス760)。幾つかの実施形態では、ローカルメモリポインタL=(L1,...,Lm)は、ポインタのシーケンスを含む。グローバルメモリポインタGは、外部知識メモリ300の知識ベース情報をフィルタリングする(図7のプロセス750)。各時間ステップtで、グローバルメモリポインタGは、先ず、自身の注意重みを用いてグローバルコンテキスト表現を変更する。
幾つかの実施形態では、モデルを評価するために、2つの公開マルチターンタスク指向型対話データセットが使用できる:bAbI対話(参照によりここに組み込まれるBoards et al., “Learning end−to−end goal−oriented dialog,” International Conference on Learning Representations, abs/1605.07683,2017に更に詳細に記載される)、及びStanfordマルチドメイン対話(Stanford multi−domain dialogue (SMD))(参照によりここに組み込まれるEric et al., “A copy−augmented sequence−to−sequence architecture gives good performance on task−oriented dialogue,” In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics: Volume 2, Short Papers, pp. 468−473, Valencia, Spain, April 2017に更に詳細に記載される)。bAbI対話は、レストランドメインにおける5個のシミュレートされたタスクを含む。タスク1〜4は、それぞれ、API呼び出しの呼び出し、API呼び出しの変更、オプションの推奨、及び追加情報の提供に関する。タスク5は、タスク1〜4の結合である。各タスクについて2つのテストセットがある。1つはトレーニングセットと同じ分布に従い、もう1つはOOVエンティティ値を有する。一方で、SMDは、人間−人間のマルチドメイン対話データセットである。3つの異なるドメインを有する:カレンダスケジューリング、天気情報検索、及び関心点ナビゲーション。これら2つのデータセットの間の主な違いは、前者が長い対話ターンを有するが、規則的なユーザ及びシステムの振る舞いであり、後者がより少ない会話ターンを有するが、変化する応答を有し、KB情報が遙かに複雑であることである。
bAbI対話。図8のテーブルは、bAbI対話に従う評価の例である。このテーブルは、グローバル−ローカルメモリポインタ(global local memory pointer (GLMP))モデル又はネットワークの性能を、QRN(参照によりここに組み込まれるSeo et al., “Query−reduction networks for question answering,” International Conference on Learning Representations, 2017を参照)、MN(参照によりここに組み込まれるBordes et al., “Learning end−to−end goal−oriented dialog,” International Conference on Learning Representations, abs/1605.07683,2017を参照)、GMN(参照によりここに組み込まれるLiu et al., "Gated end−to−end memory networks,” In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics (Volume 1, Long Papers), pp.1−10, Valencia, Spain, April 2017, Association for Computational Linguistics, http://www.aclweb.org/anthology/E17−1001)、Ptr−Unk(参照によりここに組み込まれるGulcehre et al., “Pointing the unknown words,” In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp.140−149, Berlin, Germany, August 2016, Association for Computational Linguistics, http://www.aclweb.org/anthology/P16−1014)、及びMem2Seq(参照によりここに組み込まれるMadotto et al., “Mem2seq: Effectively incorporating knowledge bases into end−to−end task−oriented dialog systems,” In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume1: Long Papers), pp.1468−1478, Association for Computational Linguistics, 2018, URL http://aclweb.org/anthology/P18−1136)の基準に対して、bAbI対話上の種々のタスク(例えば、T1、T2、T3、T4、T5)の応答毎の正確さ及びタスク達成率(括弧内)に基づき、比較する。QRN、MN、及びGMNのような発話検索方法は、オプションを正しく推奨し及び追加情報を提供することができず、OOV設定ではT5において約30%の性能差を有する粗悪な汎用能力が観察されることに留意する。前の世代に基づくアプローチは、コピーメカニズムを組み込むことによりギャップを軽減したが、API呼び出しを生成し及び変更するような最も単純な場合(T1、T2)は依然として6〜17%のOOV性能低下に直面している。一方で、本開示のGLMPモデル又はネットワークは、完全な会話タスクにおいて最高90.5%のタスク達成率を達成し、特にOOV設定における実質的なマージンだけ他の基準を上回っている。更に、単一のホップのみを使用するT1、T2、T4では応答毎の正確さの損失がなく、タスク5では7〜9%しか低下しない。GLMPモデルは、最も少ない語彙不足による性能低下を達成する。
幾つかの実施形態によると、本開示のモデルは、Adam最適化器を用いてエンドツーエンドでトレーニングされ(参照によりここに組み込まれるKingma et al., “A method for stochastic optimization,” International Conference on Learning Representations, 2015)、学習率アニーリングは1e−3から1e−4までに開始する。ホップの数Kは、性能差を比較するために、1、3、6に設定される。全ての埋め込みは、ランダムに初期化され、復号段階の間にビームサーチを有しない単純な欲張りな戦略が使用される。隠れサイズ及びドロップアウト率のようなハイパーパラメータは、開発セットに渡りグリッドサーチにより調整される(bAbI対話の応答毎の正確さ、及びSMDのBLEUスコア)。更に、モデルの汎用性を増大し、OOV設定をシミュレートするために、少数の入力ソーストークンがランダムにマスクされて、未知のトークンにされた。モデルはPyTorchで実装され、各タスクT1、T2、T3、T4、T5について使用されたハイパーパラメータは図12のテーブルに列挙された。このテーブルは、異なるホップについて、各データセットの中の選択されたハイパーパラメータを示す。値は、埋め込み次元及びGRU隠れサイズであり、括弧内の値はそれぞれドロップアウト率である。全部のモデルについて、学習率は0.001に等しく、0.5の減衰率が使用された。
GLMPモデル及びMem2Seqの出力は、妥当性及び人間らしさ(自然さ)に関して、人間の評価に対して比較された。妥当性のレベルは、以下のように1〜5に格付けされた。
5:正確な文法、正確な論理、正確な対話の流れ、及び正確なエンティティが提供された。
4:正確な対話の流れ、論理、及び文法であるが、提供されたエンティティに僅かな誤りがある。
3:文法又は論理又はエンティティに顕著な誤りがあるが、許容可能である。
2:粗悪な文法、論理、及びエンティティが提供された。
1:誤った文法、誤った論理、誤った対話の流れ、及び誤ったエンティティが提供された。
人間らしさ(自然さ)のレベルは、以下のように1〜5に格付けされた。
5:発話は、100%、人間が言うことのようである。
4:発話は、75%、人間が言うことのようである。
3:発話は、50%、人間が言うことのようである。
2:発話は、25%、人間が言うことのようである。
1:発話は、0%、人間が言うことのようである。
Claims (20)
- ユーザとコンピュータとの間の対話に対する応答を生成する方法であって、前記方法は、
対話履歴と知識ベースとをメモリに格納するステップであって、前記対話履歴は、前記対話の間に交換されるユーザの発話とコンピュータの応答とのシーケンスについての情報を含み、前記知識ベースは、対話コンピュータ応答で使用可能な情報を含む、ステップと、
前記コンピュータにおいて、前記ユーザから新しい発話を受信するステップと、
前記新しい発話に基づき、グローバルメモリポインタを生成するステップと、
前記新しい発話に対するスケッチ応答を生成するステップであって、前記スケッチ応答は、前記メモリからの知識ベース情報により置き換えられるべき少なくとも1つのスケッチタグを含む、ステップと、
前記グローバルメモリポインタを用いて、前記メモリ内の前記知識ベース情報をフィルタリングするステップと、
少なくとも1つのローカルメモリポインタを生成するステップと、
前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中の前記少なくとも1つのスケッチタグを置き換えるべき単語を選択するために、前記ローカルメモリポインタを用いて前記対話コンピュータ応答を生成するステップと、
を含む方法。 - 前記対話履歴は、対話履歴情報の埋め込みマトリックスのセットを含む、請求項1に記載の方法。
- 前記知識ベースは、前記知識ベース情報の埋め込みマトリックスのセットを含む、請求項1又は2に記載の方法。
- 前記グローバルメモリポインタを生成するステップは、
前記新しい発話を符号化して、1つ以上の隠れ状態を生成するステップと、
前記1つ以上の隠れ状態を用いて、前記メモリ内の前記知識ベース情報をクエリするステップと、
を含む、請求項1〜3のいずれか一項に記載の方法。 - 前記グローバルメモリポインタは、複数の要素を有するベクトルを含み、各要素は独立した確率に関連付けられる、請求項1〜4のいずれか一項に記載の方法。
- 前記ローカルメモリポインタは、ポインタのシーケンスを含み、各ポインタは、前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中のそれぞれのスケッチタグを置き換えるべきそれぞれの単語を選択するためのものである、請求項1〜5のいずれか一項に記載の方法。
- 実行可能コードを有する非一時的コンピュータ可読媒体であって、前記実行可能コードは、コンピュータに関連付けられた1つ以上のプロセッサにより実行されると、前記1つ以上のプロセッサに方法を実行させるよう適応され、前記方法は、
対話履歴と知識ベースとをメモリに格納するステップであって、前記対話履歴は、対話の間に交換されるユーザの発話とコンピュータの応答とのシーケンスについての情報を含み、前記知識ベースは、対話コンピュータ応答で使用可能な情報を含む、ステップと、
前記コンピュータにおいて、前記ユーザから新しい発話を受信するステップと、
前記新しい発話に基づき、グローバルメモリポインタを生成するステップと、
前記新しい発話に対するスケッチ応答を生成するステップであって、前記スケッチ応答は、前記メモリからの知識ベース情報により置き換えられるべき少なくとも1つのスケッチタグを含む、ステップと、
前記グローバルメモリポインタを用いて、前記メモリ内の前記知識ベース情報をフィルタリングするステップと、
少なくとも1つのローカルメモリポインタを生成するステップと、
前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中の前記少なくとも1つのスケッチタグを置き換えるべき単語を選択するために、前記ローカルメモリポインタを用いて前記対話コンピュータ応答を生成するステップと、
を含む、非一時的コンピュータ可読媒体。 - 前記対話履歴は、対話履歴情報の埋め込みマトリックスのセットを含む、請求項7に記載の非一時的コンピュータ可読媒体。
- 前記知識ベースは、前記知識ベース情報の埋め込みマトリックスのセットを含む、請求項7又は8に記載の非一時的コンピュータ可読媒体。
- 前記グローバルメモリポインタを生成するステップは、
前記新しい発話を符号化して、1つ以上の隠れ状態を生成するステップと、
前記1つ以上の隠れ状態を用いて、前記メモリ内の前記知識ベース情報をクエリするステップと、
を含む、請求項7〜9のいずれか一項に記載の非一時的コンピュータ可読媒体。 - 前記グローバルメモリポインタは、複数の要素を有するベクトルを含み、各要素は独立した確率に関連付けられる、請求項7〜10のいずれか一項に記載の非一時的コンピュータ可読媒体。
- 前記ローカルメモリポインタは、ポインタのシーケンスを含み、各ポインタは、前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中のそれぞれのスケッチタグを置き換えるべきそれぞれの単語を選択するためのものである、請求項7〜11のいずれか一項に記載の非一時的コンピュータ可読媒体。
- ユーザとコンピュータとの間の対話に対する応答を生成するシステムであって、前記システムは、
対話履歴と知識ベースとを格納するメモリであって、前記対話履歴は、前記対話の間に交換されるユーザの発話とコンピュータの応答とのシーケンスについての情報を含み、前記知識ベースは、対話コンピュータ応答で使用可能な情報を含む、メモリと、
前記ユーザから新しい発話を受信し、前記新しい発話に基づき、グローバルメモリポインタを生成するエンコーダであって、前記グローバルメモリポインタは、前記メモリ内の知識ベース情報をフィルタリングするために使用される、エンコーダと、
少なくとも1つのローカルメモリポインタと、前記新しい発話に対するスケッチ応答とを生成するデコーダであって、前記スケッチ応答は、前記メモリからの知識ベース情報により置き換えられるべき少なくとも1つのスケッチタグを含む、デコーダと、
を含み、
前記システムは、前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中の前記少なくとも1つのスケッチタグを置き換えるべき単語を選択するために、前記ローカルメモリポインタを用いて前記対話コンピュータ応答を生成する、システム。 - 前記対話履歴は、対話履歴情報の埋め込みマトリックスのセットを含む、請求項13に記載のシステム。
- 前記知識ベースは、前記知識ベース情報の埋め込みマトリックスのセットを含む、請求項13又は14に記載のシステム。
- 前記グローバルメモリポインタは、複数の要素を有するベクトルを含み、各要素は独立した確率に関連付けられる、請求項13〜15のいずれか一項に記載のシステム。
- 前記ローカルメモリポインタは、ポインタのシーケンスを含み、各ポインタは、前記のフィルタリングされた知識ベース情報から、前記スケッチ応答の中のそれぞれのスケッチタグを置き換えるべきそれぞれの単語を選択するためのものである、請求項13〜16のいずれか一項に記載のシステム。
- 前記メモリは、エンドツーエンドメモリネットワークを含む、請求項13〜17のいずれか一項に記載のシステム。
- 前記エンコーダは、コンテキスト回帰型ニューラルネットワークを含む、請求項13〜18のいずれか一項に記載のシステム。
- 前記デコーダは、スケッチ回帰型ニューラルネットワークを含む、請求項13〜19のいずれか一項に記載のシステム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862737234P | 2018-09-27 | 2018-09-27 | |
US62/737,234 | 2018-09-27 | ||
US16/175,639 | 2018-10-30 | ||
US16/175,639 US11514915B2 (en) | 2018-09-27 | 2018-10-30 | Global-to-local memory pointer networks for task-oriented dialogue |
PCT/US2019/053008 WO2020069020A1 (en) | 2018-09-27 | 2019-09-25 | Global-to-local memory pointer networks for task-oriented dialogue |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022500726A true JP2022500726A (ja) | 2022-01-04 |
JP7209806B2 JP7209806B2 (ja) | 2023-01-20 |
JP7209806B6 JP7209806B6 (ja) | 2023-02-28 |
Family
ID=69946409
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021505373A Active JP7209806B6 (ja) | 2018-09-27 | 2019-09-25 | タスク指向型対話のためのグローバル-ローカルメモリポインタネットワーク |
Country Status (4)
Country | Link |
---|---|
US (1) | US11514915B2 (ja) |
EP (1) | EP3814978B1 (ja) |
JP (1) | JP7209806B6 (ja) |
WO (1) | WO2020069020A1 (ja) |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US11748414B2 (en) * | 2018-06-19 | 2023-09-05 | Priyadarshini Mohanty | Methods and systems of operating computerized neural networks for modelling CSR-customer relationships |
US11144542B2 (en) | 2018-11-01 | 2021-10-12 | Visa International Service Association | Natural language processing system |
US11822897B2 (en) | 2018-12-11 | 2023-11-21 | Salesforce.Com, Inc. | Systems and methods for structured text translation with tag alignment |
US10963652B2 (en) | 2018-12-11 | 2021-03-30 | Salesforce.Com, Inc. | Structured text translation |
US11003867B2 (en) | 2019-03-04 | 2021-05-11 | Salesforce.Com, Inc. | Cross-lingual regularization for multilingual generalization |
US11068773B2 (en) * | 2019-07-11 | 2021-07-20 | Capital One Services, Llc | Memory management in memory augmented deep neural networks |
KR102281581B1 (ko) * | 2019-07-17 | 2021-07-23 | 에스케이텔레콤 주식회사 | 목표지향 대화시스템에서의 대화상태 추적방법 및 장치 |
US11922303B2 (en) | 2019-11-18 | 2024-03-05 | Salesforce, Inc. | Systems and methods for distilled BERT-based training model for text classification |
US11481636B2 (en) | 2019-11-18 | 2022-10-25 | Salesforce.Com, Inc. | Systems and methods for out-of-distribution classification |
US11573957B2 (en) | 2019-12-09 | 2023-02-07 | Salesforce.Com, Inc. | Natural language processing engine for translating questions into executable database queries |
US11416688B2 (en) | 2019-12-09 | 2022-08-16 | Salesforce.Com, Inc. | Learning dialogue state tracking with limited labeled data |
US11640505B2 (en) | 2019-12-09 | 2023-05-02 | Salesforce.Com, Inc. | Systems and methods for explicit memory tracker with coarse-to-fine reasoning in conversational machine reading |
US11487999B2 (en) | 2019-12-09 | 2022-11-01 | Salesforce.Com, Inc. | Spatial-temporal reasoning through pretrained language models for video-grounded dialogues |
US11256754B2 (en) | 2019-12-09 | 2022-02-22 | Salesforce.Com, Inc. | Systems and methods for generating natural language processing training samples with inflectional perturbations |
US11669745B2 (en) | 2020-01-13 | 2023-06-06 | Salesforce.Com, Inc. | Proposal learning for semi-supervised object detection |
US11562147B2 (en) | 2020-01-23 | 2023-01-24 | Salesforce.Com, Inc. | Unified vision and dialogue transformer with BERT |
US11893060B2 (en) * | 2020-02-06 | 2024-02-06 | Naver Corporation | Latent question reformulation and information accumulation for multi-hop machine reading |
US20210249105A1 (en) | 2020-02-06 | 2021-08-12 | Salesforce.Com, Inc. | Systems and methods for language modeling of protein engineering |
US11263476B2 (en) | 2020-03-19 | 2022-03-01 | Salesforce.Com, Inc. | Unsupervised representation learning with contrastive prototypes |
US11328731B2 (en) | 2020-04-08 | 2022-05-10 | Salesforce.Com, Inc. | Phone-based sub-word units for end-to-end speech recognition |
JP7367609B2 (ja) | 2020-05-18 | 2023-10-24 | 日本電信電話株式会社 | 応答文生成装置、強化学習装置、応答文生成方法、モデル生成方法、プログラム |
US11669699B2 (en) | 2020-05-31 | 2023-06-06 | Saleforce.com, inc. | Systems and methods for composed variational natural language generation |
US11720559B2 (en) | 2020-06-02 | 2023-08-08 | Salesforce.Com, Inc. | Bridging textual and tabular data for cross domain text-to-query language semantic parsing with a pre-trained transformer language encoder and anchor text |
US11625436B2 (en) | 2020-08-14 | 2023-04-11 | Salesforce.Com, Inc. | Systems and methods for query autocompletion |
US11934952B2 (en) | 2020-08-21 | 2024-03-19 | Salesforce, Inc. | Systems and methods for natural language processing using joint energy-based models |
US11934781B2 (en) | 2020-08-28 | 2024-03-19 | Salesforce, Inc. | Systems and methods for controllable text summarization |
US11829442B2 (en) | 2020-11-16 | 2023-11-28 | Salesforce.Com, Inc. | Methods and systems for efficient batch active learning of a deep neural network |
US11941508B2 (en) * | 2021-02-26 | 2024-03-26 | Adobe Inc. | Dialog system with adaptive recurrent hopping and dual context encoding |
CN113076758B (zh) * | 2021-03-19 | 2023-03-14 | 中山大学 | 一种面向任务型对话的多域请求式意图识别方法 |
CN113705652B (zh) * | 2021-08-23 | 2024-05-28 | 西安交通大学 | 一种基于指针生成网络的任务型对话状态追踪系统及方法 |
CN114969292A (zh) * | 2022-05-31 | 2022-08-30 | 福州大学 | 一种基于多回复解码器的对话系统 |
CN116628160B (zh) * | 2023-05-24 | 2024-04-19 | 中南大学 | 一种基于多知识库的任务型对话方法、系统及介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0612445A (ja) * | 1992-06-25 | 1994-01-21 | Agency Of Ind Science & Technol | 対話処理制御装置 |
WO2016151700A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社 東芝 | 意図理解装置、方法およびプログラム |
JP2017224155A (ja) * | 2016-06-15 | 2017-12-21 | パナソニックIpマネジメント株式会社 | 対話処理方法、対話処理システム、及びプログラム |
US20180060301A1 (en) * | 2016-08-31 | 2018-03-01 | Microsoft Technology Licensing, Llc | End-to-end learning of dialogue agents for information access |
JP2019020995A (ja) * | 2017-07-14 | 2019-02-07 | Jeインターナショナル株式会社 | 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11113598B2 (en) | 2015-06-01 | 2021-09-07 | Salesforce.Com, Inc. | Dynamic memory network |
US20160350653A1 (en) | 2015-06-01 | 2016-12-01 | Salesforce.Com, Inc. | Dynamic Memory Network |
US20170140240A1 (en) | 2015-07-27 | 2017-05-18 | Salesforce.Com, Inc. | Neural network combined image and text evaluator and classifier |
US20170032280A1 (en) | 2015-07-27 | 2017-02-02 | Salesforce.Com, Inc. | Engagement estimator |
CN110688891B (zh) | 2015-08-15 | 2024-05-31 | 硕动力公司 | 采用3d批归一化的三维(3d)卷积 |
US20170243112A1 (en) * | 2016-02-24 | 2017-08-24 | International Business Machines Corporation | Deep learning approach to identify comparative reference incidents |
WO2017210613A1 (en) * | 2016-06-03 | 2017-12-07 | Maluuba Inc. | Natural language generation in a spoken dialogue system |
US10453074B2 (en) * | 2016-07-08 | 2019-10-22 | Asapp, Inc. | Automatically suggesting resources for responding to a request |
US10565493B2 (en) | 2016-09-22 | 2020-02-18 | Salesforce.Com, Inc. | Pointer sentinel mixture architecture |
US11222253B2 (en) | 2016-11-03 | 2022-01-11 | Salesforce.Com, Inc. | Deep neural network model for processing data through multiple linguistic task hierarchies |
US20180129937A1 (en) | 2016-11-04 | 2018-05-10 | Salesforce.Com, Inc. | Quasi-recurrent neural network |
US10963782B2 (en) | 2016-11-04 | 2021-03-30 | Salesforce.Com, Inc. | Dynamic coattention network for question answering |
US10558750B2 (en) | 2016-11-18 | 2020-02-11 | Salesforce.Com, Inc. | Spatial attention model for image captioning |
US11354565B2 (en) | 2017-03-15 | 2022-06-07 | Salesforce.Com, Inc. | Probability-based guider |
US10474709B2 (en) | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
US10565318B2 (en) | 2017-04-14 | 2020-02-18 | Salesforce.Com, Inc. | Neural machine translation with latent tree attention |
US10747761B2 (en) | 2017-05-18 | 2020-08-18 | Salesforce.Com, Inc. | Neural network based translation of natural language queries to database queries |
US11386327B2 (en) | 2017-05-18 | 2022-07-12 | Salesforce.Com, Inc. | Block-diagonal hessian-free optimization for recurrent and convolutional neural networks |
US10817650B2 (en) | 2017-05-19 | 2020-10-27 | Salesforce.Com, Inc. | Natural language processing using context specific word vectors |
US12014257B2 (en) | 2017-05-19 | 2024-06-18 | Salesforce, Inc. | Domain specific language for generation of recurrent neural network architectures |
US20190130896A1 (en) | 2017-10-26 | 2019-05-02 | Salesforce.Com, Inc. | Regularization Techniques for End-To-End Speech Recognition |
US10592767B2 (en) | 2017-10-27 | 2020-03-17 | Salesforce.Com, Inc. | Interpretable counting in visual question answering |
US11562287B2 (en) | 2017-10-27 | 2023-01-24 | Salesforce.Com, Inc. | Hierarchical and interpretable skill acquisition in multi-task reinforcement learning |
US11170287B2 (en) | 2017-10-27 | 2021-11-09 | Salesforce.Com, Inc. | Generating dual sequence inferences using a neural network model |
US10573295B2 (en) | 2017-10-27 | 2020-02-25 | Salesforce.Com, Inc. | End-to-end speech recognition with policy learning |
US11928600B2 (en) | 2017-10-27 | 2024-03-12 | Salesforce, Inc. | Sequence-to-sequence prediction using a neural network model |
US11604956B2 (en) | 2017-10-27 | 2023-03-14 | Salesforce.Com, Inc. | Sequence-to-sequence prediction using a neural network model |
US10346721B2 (en) | 2017-11-01 | 2019-07-09 | Salesforce.Com, Inc. | Training a neural network using augmented training datasets |
US10542270B2 (en) | 2017-11-15 | 2020-01-21 | Salesforce.Com, Inc. | Dense video captioning |
US11276002B2 (en) | 2017-12-20 | 2022-03-15 | Salesforce.Com, Inc. | Hybrid training of deep networks |
US11501076B2 (en) | 2018-02-09 | 2022-11-15 | Salesforce.Com, Inc. | Multitask learning as question answering |
US10929607B2 (en) | 2018-02-22 | 2021-02-23 | Salesforce.Com, Inc. | Dialogue state tracking using a global-local encoder |
US11227218B2 (en) | 2018-02-22 | 2022-01-18 | Salesforce.Com, Inc. | Question answering from minimal context over documents |
US10783875B2 (en) | 2018-03-16 | 2020-09-22 | Salesforce.Com, Inc. | Unsupervised non-parallel speech domain adaptation using a multi-discriminator adversarial network |
US11106182B2 (en) | 2018-03-16 | 2021-08-31 | Salesforce.Com, Inc. | Systems and methods for learning for domain adaptation |
US10909157B2 (en) | 2018-05-22 | 2021-02-02 | Salesforce.Com, Inc. | Abstraction of text summarization |
US11631009B2 (en) | 2018-05-23 | 2023-04-18 | Salesforce.Com, Inc | Multi-hop knowledge graph reasoning with reward shaping |
-
2018
- 2018-10-30 US US16/175,639 patent/US11514915B2/en active Active
-
2019
- 2019-09-25 EP EP19783906.1A patent/EP3814978B1/en active Active
- 2019-09-25 JP JP2021505373A patent/JP7209806B6/ja active Active
- 2019-09-25 WO PCT/US2019/053008 patent/WO2020069020A1/en unknown
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0612445A (ja) * | 1992-06-25 | 1994-01-21 | Agency Of Ind Science & Technol | 対話処理制御装置 |
WO2016151700A1 (ja) * | 2015-03-20 | 2016-09-29 | 株式会社 東芝 | 意図理解装置、方法およびプログラム |
JP2017224155A (ja) * | 2016-06-15 | 2017-12-21 | パナソニックIpマネジメント株式会社 | 対話処理方法、対話処理システム、及びプログラム |
US20180060301A1 (en) * | 2016-08-31 | 2018-03-01 | Microsoft Technology Licensing, Llc | End-to-end learning of dialogue agents for information access |
JP2019020995A (ja) * | 2017-07-14 | 2019-02-07 | Jeインターナショナル株式会社 | 自動応答サーバー装置、端末装置、応答システム、応答方法、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20200105272A1 (en) | 2020-04-02 |
CN112771531A (zh) | 2021-05-07 |
EP3814978A1 (en) | 2021-05-05 |
JP7209806B6 (ja) | 2023-02-28 |
JP7209806B2 (ja) | 2023-01-20 |
EP3814978B1 (en) | 2022-11-16 |
US11514915B2 (en) | 2022-11-29 |
WO2020069020A1 (en) | 2020-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7209806B6 (ja) | タスク指向型対話のためのグローバル-ローカルメモリポインタネットワーク | |
Li et al. | A user simulator for task-completion dialogues | |
US20210050014A1 (en) | Generating dialogue responses utilizing an independent context-dependent additive recurrent neural network | |
US11049500B2 (en) | Adversarial learning and generation of dialogue responses | |
Wu et al. | Global-to-local memory pointer networks for task-oriented dialogue | |
US11568000B2 (en) | System and method for automatic task-oriented dialog system | |
Perez et al. | Dialog state tracking, a machine reading approach using memory network | |
JP2021524623A (ja) | 質問応答としてのマルチタスク学習 | |
US11381651B2 (en) | Interpretable user modeling from unstructured user data | |
KR20210141320A (ko) | 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법 | |
CN108604311B (zh) | 利用层级式外部存储器的增强神经网络 | |
CN112860862B (zh) | 人机对话中智能体对话语句的生成方法和装置 | |
US20190130251A1 (en) | Neural question answering system | |
JP2019192246A (ja) | 自然言語質問回答システム用のトレーニングデータを提供する方法および装置 | |
US20230419964A1 (en) | Resolving unique personal identifiers during corresponding conversations between a voice bot and a human | |
KR20210141422A (ko) | 인공 지능 학습 기반의 사용자 지식 추적 시스템 및 그것의 동작 방법 | |
CN113157941A (zh) | 业务特征数据处理、文本生成方法、装置及电子设备 | |
Ilievski | Building advanced dialogue managers for goal-oriented dialogue systems | |
CN112771531B (zh) | 用于面向任务的对话的全局到本地存储器指针网络 | |
Kreyssig | Deep learning for user simulation in a dialogue system | |
Murayama et al. | Dialogue over context and structured knowledge using a neural network model with external memories | |
PHAM et al. | An Application of RASA Technology to Design an AI Virtual Assistant: A Case of Learning Finance and Banking Terms in Vietnamese | |
Perez | Dialog state tracking, a machine reading approach using a memory-enhanced neural network | |
JP7428245B2 (ja) | 応答文生成装置およびプログラム | |
JP6588936B2 (ja) | 雑音抑圧装置、その方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210323 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210323 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7209806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |