JP2018151786A - 分類装置、分類方法および分類プログラム - Google Patents
分類装置、分類方法および分類プログラム Download PDFInfo
- Publication number
- JP2018151786A JP2018151786A JP2017046629A JP2017046629A JP2018151786A JP 2018151786 A JP2018151786 A JP 2018151786A JP 2017046629 A JP2017046629 A JP 2017046629A JP 2017046629 A JP2017046629 A JP 2017046629A JP 2018151786 A JP2018151786 A JP 2018151786A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- utterance
- user
- response
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 230000004044 response Effects 0.000 claims abstract description 166
- 238000013145 classification model Methods 0.000 claims abstract description 138
- 230000002787 reinforcement Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 33
- 238000010187 selection method Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 230000002349 favourable effect Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 8
- 230000010365 information processing Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
まず、図1を用いて、分類装置の一例となる情報提供装置が実行する分類処理の一例について説明する。図1は、実施形態に係る情報提供装置が実行する処理の一例を示す図である。なお、以下の説明では、情報提供装置10が実行する処理として、利用者Uの発話を分類する分類処理と、発話に対する応答の内容を分類に応じて決定する決定処理と、決定した内容の応答を出力する出力処理との一例について説明する。すなわち、情報提供装置10は、利用者Uとの対話を実現する対話システムである。
情報提供装置10は、インターネット等の所定のネットワークN(例えば、図2を参照。)を介して、利用者端末100、ログサーバ200と通信可能な情報処理装置であり、例えば、サーバ装置やクラウドシステム等により実現される。なお、情報提供装置10は、ネットワークNを介して、任意の数の利用者端末100、及びログサーバ200と通信可能であってよい。
ここで、情報提供装置10は、利用者Uとの対話を実現するための対話モデルを用いて、利用者Uとの対話を行う。例えば、情報提供装置10は、内容が天気に関する内容であるか、アラームの設定に関する内容であるか、雑談に関する内容であるかというように、発話の内容が属するドメインを推定し、ドメインごとに生成された対話モデルを用いて、利用者Uの発話に対して自然な内容の応答を出力したり、利用者Uの発話に応じた処理を出力する技術が知られている。
ここで、特定の意図や目的を伴う発話(以下、「非雑談を意図した発話」と記載する。)のみならず、利用者Uとの雑談を実現する対話システムが考えられる。例えば、利用者Uの発話が雑談を意図したものであるか、天気の問合せ、アラームの設定、ウェブ検索、メールの読み上げ等といった非雑談を意図した発話であるかといった、利用者Uの発話が属するドメインを判定し、判定結果に応じた対話モデルを用いて、応答を行うといった処理が考えられる。
続いて、図1を用いて、情報提供装置10が実行する処理の一例について説明する。まず、情報提供装置10は、利用者端末100から発話#1を受付ける(ステップS1)。このような場合、情報提供装置10は、所定の分類モデル(例えば、教師あり学習を行った分類モデル)を用いて、発話の分類を行い、分類結果に応じた対話モデルを用いて生成した応答#1を出力する(ステップS2)。
ここで、応答の確度が中央値に近い場合、応答の分類精度が良かったのか悪かったのかを正しく選択に反映させることが難しいとも考えられる。情報提供装置10は、確度が所定の範囲内に収まる場合は、利用者Uに対して発話の意図を問い合わせてもよい。例えば、情報提供装置10は、確度の値が「0.3」未満であり、「−0.3」を超える場合は、利用者Uへの問い合わせを行う。
例えば、情報提供装置10は、分類モデルとして、発話と各ドメインの関係性を示すスコアを算出するモデルを用いてもよい。このような場合、例えば、情報提供装置10は、算出されたスコアが最も高いドメインを分類先としてもよい。また、例えば、情報提供装置10は、算出されたスコアが所定の閾値を超える複数のドメインを分類先としてもよい。このような場合、情報提供装置10は、分類先となる複数のドメインに対応する推定モデルを用いて、発話の内容の意味を推定し、推定結果の中から最も多くの推定モデルが共通して推定した意味を用いて、応答の生成を行ってもよい。
ここで、情報提供装置10は、発話が雑談であるか非雑談であるかを明確に区分できない場合は、雑談と非雑談との組合せを応答として出力してもよい。すなわち、情報提供装置10は、発話が雑談に関する度合および発話が所定の事象に関する度合が所定の条件を満たす場合は、発話を雑談のドメインおよび非雑談のドメインの両方に分類し、分類した各ドメインの対話モデルを用いて生成した応答を組み合わせて出力してもよい。例えば、情報提供装置10は、発話がドメイン「雑談」である確度と、ドメイン「天気」である確度とが同程度になる場合は、ドメイン「雑談」の対話モデルで生成した応答と、ドメイン「天気」の対話モデルで生成した応答とを組み合わせて出力してもよい。より具体的な例を挙げると、情報提供装置10は、「明日の天気は雨です。」といった非雑談の応答を出力するとともに、「晴れるといいねー」などといった雑談の応答を出力してもよい。
また、情報提供装置10は、推定モデルとして、利用者Uの属性に応じて発話の意味を推定する推定モデルを用いて、発話の意味を推定してもよい。例えば、情報提供装置10は、利用者Uのデモグラフィック属性、サイコグラフィック属性、各種のペルソナ、過去の会話履歴等を利用者Uの属性として取得し、推定モデルの強化学習の際に、強化学習におけるコントローラの状態観測の結果として、発話と利用者Uの属性とを採用する。そして、情報提供装置10は、例えば、発話#2から意味#2を推定する際に、属性モデルに発話#2と利用者Uの属性とを入力することで、利用者Uの属性に応じた意味の推定を実現してもよい。
ここで、情報提供装置10は、分類モデルと推定モデルとを同時に強化学習してもよい。例えば、情報提供装置10は、発話#1を分類モデルでドメイン#1に分類し、ドメイン#1の推定モデル#1を用いて発話#1の意味#1を推定し、意味#1に基づいて応答#1を生成する。そして、情報提供装置10は、応答#1に対する発話#2を得た場合は、発話#2が好意的であるか否か等に基づいて、分類モデルと推定モデル#1とを同時に強化学習してもよい。例えば、情報提供装置10は、発話#2が好意的である場合は、発話#1が入力された際に分類モデルが推定モデル#1を選択し、推定モデル#1が意味#1を推定するように、分類モデルと推定モデル#1とを1つのモデルと見做して、強化学習を行ってもよい。
以下、上記した情報提供装置10が有する機能構成の一例について説明する。図2は、実施形態に係る情報提供装置の構成例を示す図である。図2に示すように、情報提供装置10は、通信部20、記憶部30、および制御部40を有する。
続いて、図7、図8を用いて、情報提供装置10が実行する処理の流れの一例を説明する。図7は、実施形態に係る情報提供装置が実行する分類処理の流れの一例を示すフローチャートである。また、図8は、実施形態に係る情報提供装置が実行する強化学習の流れの一例を示すフローチャートである。
上記では、情報提供装置10による分類処理や強化学習の一例について説明した。しかしながら、実施形態は、これに限定されるものではない。以下、情報提供装置10が実行する提供処理や決定処理のバリエーションについて説明する。
情報提供装置10は、ドメインごとに複数の推定モデルを有し、推定モデルにより推定された意味に基づいてルールベースで応答を生成した。しかしながら、実施形態は、これに限定されるものではない。例えば、情報提供装置10は、ドメインごとに応答を生成する複数の対話モデルを用いて、応答の生成を行ってもよく、ドメインに応じた応答を生成する1つの対話モデルを用いて、応答の生成を行ってもよい。すなわち、情報提供装置10は、雑談を含むドメインのいずれかに発話を分類し、分類結果に基づいて応答を生成するのであれば、任意の構成により対話システムを実現してよい。
記憶部30に登録された各データベース31〜33は、外部のストレージサーバに保持されていてもよい。また、情報提供装置10は、発話を分類する分類サーバ、ドメインごとに発話の意味を推定する1台または複数台の推定サーバ、推定結果に基づいて応答の内容を決定する決定サーバ、推定モデルの強化学習を行う学習サーバとが連携して動作することにより、実現されてもよい。このような場合、分類サーバには、図2に示す選択部41および分類部42が配置され、推定サーバには、推定部43が配置され、決定サーバには、決定部44、生成部45、および出力部46が配置され、学習サーバには、学習部47が配置されていてもよい。また、ドメインに対応する複数の推定サーバが存在する場合、各推定サーバには、対応するドメインの推定モデルが保持されるとともに、各推定モデルの強化学習を行う学習部が配置されていてもよい。
また、上記実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、逆に、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
また、上述した実施形態に係る情報提供装置10は、例えば図9に示すような構成のコンピュータ1000によって実現される。図9は、ハードウェア構成の一例を示す図である。コンピュータ1000は、出力装置1010、入力装置1020と接続され、演算装置1030、一次記憶装置1040、二次記憶装置1050、出力IF(Interface)1060、入力IF1070、ネットワークIF1080がバス1090により接続された形態を有する。
上述したように、情報提供装置10は、内容に応じて発話を分類する複数の分類モデルであって、それぞれ学習手法が異なる分類モデルのいずれかを用いて、利用者Uから受付けた発話を分類する。そして、情報提供装置10は、発話に対する応答であって、分類結果に応じたモデルを用いて生成された応答に対する利用者Uの反応に基づき、分類に用いる分類モデルを選択する。このため、情報提供装置10は、発話の分類精度を向上させることができる。
20 通信部
30 記憶部
31 推定モデルデータベース
32 ルールデータベース
33 分類モデルデータベース
40 制御部
41 選択部
42 分類部
43 推定部
44 決定部
45 生成部
46 出力部
47 学習部
100 利用者端末
200 ログサーバ
Claims (13)
- 内容に応じて発話を分類する複数の分類モデルであって、それぞれ学習手法が異なる分類モデルのいずれかを用いて、利用者から受付けた発話を分類する分類部と、
前記発話に対する応答であって、前記分類部による分類結果に応じたモデルを用いて生成された応答に対する利用者の反応に基づき、前記分類部が分類に用いる分類モデルを選択する選択部と
を有することを特徴とする分類装置。 - 前記選択部は、前記利用者の反応に基づいて、前記応答の確度を推定し、当該推定した確度に応じて前記分類モデルを選択する
ことを特徴とする請求項1に記載の分類装置。 - 前記選択部は、前記確度が所定の閾値を超える場合は、教師あり学習により学習が行われた分類モデルを選択する
ことを特徴とする請求項2に記載の分類装置。 - 前記選択部は、前記確度が所定の閾値を下回る場合は、対話を通じて学習が行われる分類モデルを選択する
ことを特徴とする請求項2または3に記載の分類装置。 - 前記確度が所定の範囲内に収まる場合は、前記利用者に対して前記発話の意図を問い合わせる応答を出力する出力部
を有することを特徴とする請求項2〜4のうちいずれか1つに記載の分類装置。 - 前記分類部は、前記分類モデルを用いて、前記利用者から受付けた発話を雑談に関する発話、または、雑談以外の所定の事象に関する発話のいずれかに分類する
ことを特徴とする請求項1〜5のうちいずれか1つに記載の分類装置。 - 前記分類部は、前記利用者による所定のサービスの利用履歴、または、当該利用者の属性の少なくともいずれか一方に基づいて、当該利用者から受付けた発話が前記所定の事象に関する度合を推定し、推定した度合と前記分類モデルを用いた分類結果とに基づいて、当該発話を分類する
ことを特徴とする請求項6に記載の分類装置。 - 前記分類部は、前記利用者から受付けた発話の表現に基づいて、当該発話が雑談に関する度合または当該発話が前記所定の事象に関する度合を推定し、推定した度合と前記分類モデルを用いた分類結果とに基づいて、当該発話を分類する
ことを特徴とする請求項6または7に記載の分類装置。 - 前記分類部は、前記利用者から受付けた発話の表現が、前記利用者により投稿された投稿情報の表現と類似する場合は、当該発話が雑談に関する度合を上昇させ、前記利用者から受付けた発話の表現か、検索クエリの表現と類似する場合は、当該発話が前記所定の事象に関する度合を上昇させる
ことを特徴とする請求項8に記載の分類装置。 - 前記分類部は、前記発話が雑談に関する度合および当該発話が前記所定の事象に関する度合が所定の条件を満たす場合は、当該発話を前記雑談に関する発話および前記所定の事象に関する発話の両方に分類する
ことを特徴とする請求項6〜9のうちいずれか1つに記載の分類装置。 - 前記選択部により選択された分類モデルを用いて前記分類部が分類した結果に基づいて生成された応答に対する前記利用者の反応に基づいて、当該選択部により選択された分類モデルの強化学習を行う学習部
を有することを特徴とする請求項1〜10のうちいずれか1つに記載の分類装置。 - 分類装置が実行する分類方法であって、
内容に応じて発話を分類する複数の分類モデルであって、それぞれ学習手法が異なる分類モデルのいずれかを用いて、利用者から受付けた発話を分類する分類工程と、
前記発話に対する応答であって、前記分類工程による分類結果に応じたモデルを用いて生成された応答に対する利用者の反応に基づき、前記分類工程で分類に用いる分類モデルを選択する選択工程と
を含むことを特徴とする分類方法。 - 内容に応じて発話を分類する複数の分類モデルであって、それぞれ学習手法が異なる分類モデルのいずれかを用いて、利用者から受付けた発話を分類する分類手順と、
前記発話に対する応答であって、前記分類手順による分類結果に応じたモデルを用いて生成された応答に対する利用者の反応に基づき、前記分類手順で分類に用いる分類モデルを選択する選択手順と
をコンピュータに実行させるための分類プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046629A JP6224857B1 (ja) | 2017-03-10 | 2017-03-10 | 分類装置、分類方法および分類プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017046629A JP6224857B1 (ja) | 2017-03-10 | 2017-03-10 | 分類装置、分類方法および分類プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6224857B1 JP6224857B1 (ja) | 2017-11-01 |
JP2018151786A true JP2018151786A (ja) | 2018-09-27 |
Family
ID=60206005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017046629A Active JP6224857B1 (ja) | 2017-03-10 | 2017-03-10 | 分類装置、分類方法および分類プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6224857B1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020087352A (ja) * | 2018-11-30 | 2020-06-04 | 富士通株式会社 | 対話制御方法、対話制御プログラム、対話制御装置、情報提示方法および情報提示装置 |
JP2021089713A (ja) * | 2019-11-07 | 2021-06-10 | アクセンチュア グローバル ソリューションズ リミテッド | マルチメディア会話からの意図発見のためのシステムおよび方法 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6805112B2 (ja) * | 2017-11-08 | 2020-12-23 | 株式会社東芝 | 対話システム、対話方法および対話プログラム |
JP7043243B2 (ja) * | 2017-12-18 | 2022-03-29 | ヤフー株式会社 | 分類装置、分類方法、およびプログラム |
JP2019215728A (ja) * | 2018-06-13 | 2019-12-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP7452095B2 (ja) | 2020-02-27 | 2024-03-19 | 沖電気工業株式会社 | データ処理装置、データ処理方法およびプログラム |
GB2612984A (en) | 2021-11-17 | 2023-05-24 | Toshiba Kk | Reinforcement learning agent for multi-dimensional dialogue act selection |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014098844A (ja) * | 2012-11-15 | 2014-05-29 | Ntt Docomo Inc | 対話支援装置、対話システム、対話支援方法及びプログラム |
JP2015001888A (ja) * | 2013-06-17 | 2015-01-05 | 富士ゼロックス株式会社 | 情報処理プログラム及び情報処理装置 |
JP2015210342A (ja) * | 2014-04-25 | 2015-11-24 | 日本電信電話株式会社 | 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム |
JP2016085685A (ja) * | 2014-10-28 | 2016-05-19 | 日本電信電話株式会社 | 次発話候補スコアリング装置、方法、及びプログラム |
JP2016192020A (ja) * | 2015-03-31 | 2016-11-10 | 株式会社デンソーアイティーラボラトリ | 音声対話装置、音声対話方法及びプログラム |
JP2016206894A (ja) * | 2015-04-21 | 2016-12-08 | 日本電信電話株式会社 | 情報分類方法、装置、及びプログラム |
-
2017
- 2017-03-10 JP JP2017046629A patent/JP6224857B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014098844A (ja) * | 2012-11-15 | 2014-05-29 | Ntt Docomo Inc | 対話支援装置、対話システム、対話支援方法及びプログラム |
JP2015001888A (ja) * | 2013-06-17 | 2015-01-05 | 富士ゼロックス株式会社 | 情報処理プログラム及び情報処理装置 |
JP2015210342A (ja) * | 2014-04-25 | 2015-11-24 | 日本電信電話株式会社 | 発話生成手法学習装置、発話生成手法選択装置、発話生成手法学習方法、発話生成手法選択方法、プログラム |
JP2016085685A (ja) * | 2014-10-28 | 2016-05-19 | 日本電信電話株式会社 | 次発話候補スコアリング装置、方法、及びプログラム |
JP2016192020A (ja) * | 2015-03-31 | 2016-11-10 | 株式会社デンソーアイティーラボラトリ | 音声対話装置、音声対話方法及びプログラム |
JP2016206894A (ja) * | 2015-04-21 | 2016-12-08 | 日本電信電話株式会社 | 情報分類方法、装置、及びプログラム |
Non-Patent Citations (4)
Title |
---|
中野 幹生、外1名: "音声対話システムの言語・対話処理", 人工知能学会誌, vol. 第17巻,第3号, JPN6017033599, 1 May 2002 (2002-05-01), JP, pages 271 - 278, ISSN: 0003636051 * |
中野 幹生、外3名, 対話システム 初版, vol. 第1版, JPN6017033594, 13 February 2015 (2015-02-13), pages 148 - 153, ISSN: 0003636050 * |
大井 健治、外2名: "知能ロボットの意図理解と応答制御方式", 言語処理学会第8回年次大会発表論文集 PROCEEDINGS OF THE EIGHTH ANNUAL MEETING OF THE ASSOCIATION FO, JPN6017033597, 18 March 2002 (2002-03-18), JP, pages 275 - 278, ISSN: 0003636052 * |
西村 竜一、外4名: "10年間の長期運用を支えた音声情報案内システム「たけまるくん」の技術", 人工知能学会誌, vol. 第28巻,第1号, JPN6017033592, 1 January 2013 (2013-01-01), JP, pages 52 - 59, ISSN: 0003636049 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020087352A (ja) * | 2018-11-30 | 2020-06-04 | 富士通株式会社 | 対話制御方法、対話制御プログラム、対話制御装置、情報提示方法および情報提示装置 |
JP7115265B2 (ja) | 2018-11-30 | 2022-08-09 | 富士通株式会社 | 対話制御方法、対話制御プログラム、対話制御装置、情報提示方法および情報提示装置 |
JP2021089713A (ja) * | 2019-11-07 | 2021-06-10 | アクセンチュア グローバル ソリューションズ リミテッド | マルチメディア会話からの意図発見のためのシステムおよび方法 |
US11315551B2 (en) | 2019-11-07 | 2022-04-26 | Accent Global Solutions Limited | System and method for intent discovery from multimedia conversation |
JP7162648B2 (ja) | 2019-11-07 | 2022-10-28 | アクセンチュア グローバル ソリューションズ リミテッド | マルチメディア会話からの意図発見のためのシステムおよび方法 |
JP2022191422A (ja) * | 2019-11-07 | 2022-12-27 | アクセンチュア グローバル ソリューションズ リミテッド | マルチメディア会話からの意図発見のためのシステムおよび方法 |
JP7324354B2 (ja) | 2019-11-07 | 2023-08-09 | アクセンチュア グローバル ソリューションズ リミテッド | マルチメディア会話からの意図発見のためのシステムおよび方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6224857B1 (ja) | 2017-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6224857B1 (ja) | 分類装置、分類方法および分類プログラム | |
US11809829B2 (en) | Virtual assistant for generating personalized responses within a communication session | |
WO2019101083A1 (zh) | 一种语音数据处理方法、语音交互设备及存储介质 | |
US10692006B1 (en) | Crowdsourced chatbot answers | |
CN112313642A (zh) | 助理系统进行的用于代理匹配的意图识别 | |
JP6199517B1 (ja) | 決定装置、決定方法および決定プログラム | |
US11928985B2 (en) | Content pre-personalization using biometric data | |
JP6370962B1 (ja) | 生成装置、生成方法および生成プログラム | |
JP7488871B2 (ja) | 対話推薦方法、装置、電子機器、記憶媒体ならびにコンピュータプログラム | |
US20200250269A1 (en) | Interactively building a topic model employing semantic similarity in a spoken dialog system | |
US20210232972A1 (en) | Methods, mediums, and systems for an unsupervised predictive learning system | |
US11823082B2 (en) | Methods for orchestrating an automated conversation in one or more networks and devices thereof | |
JP6824795B2 (ja) | 修正装置、修正方法および修正プログラム | |
KR20200041199A (ko) | 챗봇 구동 방법, 장치 및 컴퓨터 판독가능 매체 | |
US20230315999A1 (en) | Systems and methods for intent discovery | |
JP2019215823A (ja) | 抽出装置、評価装置、抽出方法および抽出プログラム | |
US20220180865A1 (en) | Runtime topic change analyses in spoken dialog contexts | |
JP7013329B2 (ja) | 学習装置、学習方法および学習プログラム | |
JP7160571B2 (ja) | 評価装置、評価方法および評価プログラム | |
JP2021162997A (ja) | 情報処理装置及び情報処理方法 | |
JP2019215808A (ja) | 評価装置、評価方法および評価プログラム | |
CN115497482B (zh) | 一种语音对话方法及相关装置 | |
WO2023144872A1 (ja) | 文書分類装置、文書分類方法、および文書分類プログラム | |
JP7044642B2 (ja) | 評価装置、評価方法および評価プログラム | |
JP7042701B2 (ja) | 評価装置、評価方法および評価プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170816 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171005 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6224857 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |