JP2021071569A - キーワード評価装置、キーワード評価方法及びキーワード評価プログラム - Google Patents
キーワード評価装置、キーワード評価方法及びキーワード評価プログラム Download PDFInfo
- Publication number
- JP2021071569A JP2021071569A JP2019197588A JP2019197588A JP2021071569A JP 2021071569 A JP2021071569 A JP 2021071569A JP 2019197588 A JP2019197588 A JP 2019197588A JP 2019197588 A JP2019197588 A JP 2019197588A JP 2021071569 A JP2021071569 A JP 2021071569A
- Authority
- JP
- Japan
- Prior art keywords
- keyword
- utterance
- reaction
- user
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000006757 chemical reactions by type Methods 0.000 claims description 32
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000000605 extraction Methods 0.000 claims description 17
- 230000035484 reaction time Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 description 32
- 239000013598 vector Substances 0.000 description 32
- 238000012790 confirmation Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 4
- 241000282465 Canis Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 206010021703 Indifference Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Abstract
Description
例えば、特許文献1では、映像に関連するソーシャルメディアコメントを利用し、ロボットの内部的なパーソナリティ又は感情状態などに応じて、発話文を生成し、ロボットを動作させることで、ロボットがユーザと共に映像を視聴しているかのようなアクションを実現する技術が提案されている。
また、特許文献2では、ロボットが人からのチャンネル切り替えなどの命令に応じると共に、テレビの方向を向きながら自発的につぶやくことで、ロボットが自律してテレビを視聴しているかのような動作をするロボットの制御技術が提案されている。
例えば、ロボットと一緒にテレビを視聴している人が「A子さん」のファンであること、すなわち興味度が高いことが分かると、「A子さんってかわいいよね」というような共感する発話文や、「今、A子さんがテレビに出てるよ」といった情報提供の発話文などをロボットから発話することができるようになる。
しかし、このような番組推薦で使われる技術では、推定対象は番組であり、視聴中の番組に関連した興味のあるキーワードの推定には利用できない。
しかし、抽出されたキーワードはあくまで、複数の辞書によって興味が強いと推定されるキーワードであり、番組を視聴している個人の興味は反映されない。
しかし、推定された興味区間内にタグ付けされたキーワードが複数ある場合には、これらの中のどのキーワードに興味があるかという推定はできない。また、テレビ番組を視聴中の人の表情を撮影するためには、家庭内にカメラを設置する必要があり、現実的には困難である。たとえ、カメラが設置できたとしても、日常の生活では、例えば横になって視聴するなど、顔の位置と向きとは様々であるため、人の表情を精度よく抽出することは困難である。
本実施形態におけるキーワード評価方法は、キーワードに対する利用者の興味度を評価する方法である。特に、本実施形態では、テレビなどの放送番組の視聴者と一緒に番組を視聴するロボットが、視聴中の番組に関連するキーワードに対する視聴者の興味度を評価する方法を例示する。
なお、本実施形態では、キーワードに対する興味の指標値を興味度と呼び、値が大きいほど興味が高いものとする。
キーワード評価装置1は、制御部及び記憶部の他、各種インタフェースを備えた情報処理装置であり、記憶部に格納されたソフトウェア(キーワード評価プログラム)を制御部が実行することにより、本実施形態の各種機能が実現される。
また、キーワード評価装置1の記憶部は、キーワード評価プログラムの他、キーワード辞書17などの各種データベースを備えている。
なお、本実施形態では、入力文Tを字幕情報としているが、これには限定されない。例えば、ロボットに装備されたカメラ又はマイクロフォンを用いて、テレビ画像の画像処理、又はテレビ音声の音声認識などにより抽出された文であってもよい。
ここで、発話種別は、テレビ視聴時の人同士の会話における発話を分類したものであり、例えば、次の文献Aでは、「質問」「指示」「情報」「開示」「反射」「確認」「解釈」「応答」の8種類の種別が定義されている。
文献A: 星裕太、金子豊、萩尾勇太、村崎康博、上原道宏:「ロボット発話に向けたテレビ視聴時の人同士の対話解析」、電子情報通信学会、信学技報、CNR2019−1(2019−06)、pp.1−6
「質問」は、相手へ質問をする発話であり、例えば、「A子さんは好きですか?」などがこれにあたる。
「情報」は、相手へ何らかの情報を提供する発話であり、例えば、「A子さんは昔、〇〇ドラマに出てたんだ。」などがこれにあたる。
「開示」は、相手に自分の考えや気持ちを伝える発話であり、例えば、「A子さんって大好き。」などがこれにあたる。
「確認」は、相手に何かの確認をする発話であり、例えば、「A子さんはきれいですね。」などがこれにあたる。
具体的には、発話生成部13は、発話種別選択部12が選択した発話種別に応じた、キーワード抽出部11が抽出したキーワードを含む発話文を生成する。このため、発話生成部13は、4種類の発話種別のそれぞれに対応した発話文の生成手段を含んでいてよい。
文献B: 特開2018−190077号公報
発話生成部13は、テンプレート抽出部131と、ベクトル距離算出部132と、テンプレート選択部133、キーワード検索部134、情報文生成部135とを備える。
また、発話生成部13は、記憶部に格納されたテンプレートデータベース18A、特徴ベクトルデータベース18B、及びキーワード辞典18Cの各データベースを参照する。
ここで、発話種別Cが「質問」「開示」「確認」のいずれかの場合、キーワードKey及び発話種別Cはテンプレート抽出部131に、発話種別Cが「情報」の場合、キーワードKey及び発話種別Cはキーワード検索部134に、それぞれ入力される。
XXテンプレートは、「XX」文を生成するためのテンプレートが保管されたデータであり、代表語と、この代表語に対応したテンプレート文とが含まれる。
開示テンプレートは、代表語と、この代表語に対する「開示」文を生成するためのテンプレート文とが対になって登録されたデータである。
この例では、代表語として、「話したい」「行きたい」「食べたい」「きれい」「おもしろい」「大きい」の6つの代表語と、各代表語に対応するテンプレート文とが登録されている。例えば、動詞句の代表語「話したい」に対して、2つのテンプレート文「%keyと話したい」、「%keyとおしゃべりしたい」が登録されている。また、形容詞の代表語「きれい」に対して、「%keyってとっても綺麗」、「なんてきれいな%key」の2つのテンプレート文が登録されている。
なお、テンプレート文の%keyは、キーワードの挿入位置を示している。
質問テンプレートについても、開示テンプレートと同様の構造であり、代表語と共に、「質問」文を生成するためのテンプレート文が登録されている。
この例では、「話したい」「行きたい」「食べたい」の3つの動詞句の代表語に対するテンプレート文が登録されている。例えば、動詞句の代表語「話したい」に対して、「%keyと話したことある?」、「%keyとおしゃべりしたいですか?」の2つのテンプレート文が登録されている。
確認テンプレートについても、データの構造は開示テンプレート及び質問テンプレートと同様であり、代表語と共に、「確認」文を生成するためのテンプレート文が登録されている。
この例では、形容詞の代表語「きれい」「おもしろい」「おいしい」の3つの形容詞の代表語に対するテンプレート文が登録されている。例えば、形容詞の代表語「きれい」に対して、「%keyってとっても綺麗ですよね」、「きれいな%keyってすてきですよね」の2つのテンプレート文が登録されている。
特徴ベクトルデータベース18Bには、少なくともキーワード辞書17に記録されているキーワードと、各テンプレートに含まれている代表語とに関して、予め特徴ベクトルが記録されている。
なお、特徴ベクトルの算出方法は、word2vecには限られず、意味的に近い語の特徴ベクトルがベクトル空間上で近くに分布する演算方式であればよい。
例えば、発話生成部13にキーワードKeyとして「讃岐うどん」が、発話種別Cとして「確認」が入力された場合、テンプレート抽出部131は、図5の確認テンプレートを抽出する。続いて、ベクトル距離算出部132は、「讃岐うどん」の特徴ベクトルvec_讃岐うどんと、代表語の特徴ベクトルvec_きれい、vec_おもしろい、vec_おいしいとのベクトル距離をそれぞれ計算する。そして、テンプレート選択部133は、これらの計算結果から、vec_おいしいが最もベクトル距離が近かった場合には、「おいしい」に対するテンプレート文の中からランダムに1つを選択する。この結果、テンプレート文として「%keyっておいしいですよね」を選択した場合には、テンプレート選択部133は、「確認」文として、「讃岐うどんっておいしいですよね」という発話文を生成する。
キーワード辞典18Cには、キーワードの意味などの説明文が登録されている。
この例では、キーワードとして、「アンモナイト」「讃岐うどん」「シリウス」が登録され、キーワード「アンモナイト」の説明として「3億5000万年前に海に生息した巻貝みたいな殻をもった生物」が、キーワード「讃岐うどん」の説明として「香川県の特産うどん」が、「シリウス」の説明として「おおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星」が登録されている。
例えば、発話生成部13にキーワードとして「シリウス」、発話種別として「情報」が入力された場合、キーワード検索部134は、説明文「おおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星」を取得し、情報文生成部135は、「シリウスはおおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星なんだって」を出力する。
リアクション取得部14は、リアクション時間Trが予め決められた時間Thを超えて計測できない場合(Tr=0とする)、すなわち時間Th以内に応答文入力Iがない場合に、リアクション種別Crを「無反応」とする。また、リアクション取得部14は、リアクション時間Trが時間Th以内の場合、すなわち時間Th以内に応答文入力Iがあった場合には、応答文入力Iについて、「はい」又は「いいえ」のいずれの文であるかの2クラス分類を行う。
S_C_Key={α_C×n(Cr)−β_C×(1−n(Cr))}/Tr
(Tr≠0のとき)
=0 (Tr=0、すなわちCr=「無反応」のとき)
なお、n(Cr)は、Crが「はい」のとき1、「いいえ」のとき0となる2値関数であり、α_C及びβ_Cは、予め決めておく定数である。
この例では、キーワードとして「アンモナイト」「讃岐うどん」「シリウス」が記録されている。また、各キーワードには、発話種別ごとの、これまでに計算された嗜好度の合計が記録されている。
嗜好度演算部15は、発話文に対するリアクションを取得する度に、計算した嗜好度を、キーワード辞書17の該当するキーワード及び発話種別の欄に記録されている嗜好度に加算すると共に、発話回数を+1する。
この結果、ロボットは、利用者が好きなもの又は嫌いなものを選んで発話したり、キーワードへの興味度に応じて挙動を変化させたりといった、自然なコミュニケーションを実現できる。
これにより、キーワード評価装置1は、ロボットの発話に対する利用者の反応から、視聴中の放送番組に関連するキーワードそれぞれに対する利用者の興味度を評価できる。
なお、興味度の高いキーワードに関して発話する内容と、興味度を評価するために発話する内容とは、共通であってよい。この場合、前述の各種テンプレートは共用される。そして、いずれの場合にも、利用者の応答に応じて、嗜好度及び興味度が更新されてよい。
これにより、キーワード評価装置1は、キーワードに対して利用者が無関心であるような嗜好の種類を判別でき、興味度を適切に評価できる。
発話種別は、例えば「質問」のみでも興味度の評価は可能であるが、「質問」ばかりでは、利用者は、始めはロボットからの質問に応答していても、そのうちうっとうしいなどの理由で応答しなくなってしまうため、発話種別のバリエーションが必要である。文献Aでは、人同士の会話では、「開示」文で会話が始まることが多いこと、また、「質問」「情報」「確認」は、「開示」文に比べて多くの発話は行われていないが、相手の反応率が高いという結果が示されている。
したがって、ロボットから人への発話の種別も、人同士の会話に近い確率で選択することにより、キーワード評価装置1は、例えば質問ばかりするロボットや、情報ばかり読み上げるロボットなどによって、利用者を飽きさせてしまうことなく、人と同じような発話種別の割合でロボットに発話させ、自然な対話を実現できる。
例えば、キーワード評価装置1は、キーワード「A子さん」に対して、発話種別「質問」が選択された場合、「A子さんは好きですか?」と利用者に質問し、利用者からの「好きです」、「あまり好きではない」、「嫌い」などの応答により、「A子さん」に関する「質問」文に対する嗜好度を推定する。
これにより、キーワード評価装置1は、発話種別ごとに推定された嗜好度の統計情報により興味度を算出するので、例えば、「質問」文に対する嗜好度の値を大きくするなど、発話種別ごとの発話文に対する利用者の応答の信頼性を興味度へ反映させることができる。
また、複数人が同時に利用している場合、キーワード評価装置1は、例えば、発話文に応じて、人同士の会話が弾んだか否かといった反応によって、リアクション種別を取得してもよい。
また、各種のデータベースは、キーワード評価装置1が備える構成としたが、これには限られず、データベースは、クラウドなどの外部サーバに配置されてもよい。
2 音声合成装置
3 音声認識装置
11 キーワード抽出部
12 発話種別選択部
13 発話生成部
14 リアクション取得部
15 嗜好度演算部
16 興味度演算部
17 キーワード辞書
18A テンプレートデータベース
18B 特徴ベクトルデータベース
18C キーワード辞典
131 テンプレート抽出部
132 ベクトル距離算出部
133 テンプレート選択部
134 キーワード検索部
135 情報文生成部
Claims (9)
- 入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成部と、
前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得部と、
前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算部と、を備えるキーワード評価装置。 - 前記リアクション取得部は、前記リアクション種別として、ポジティブ及びネガティブを含む複数の種別のいずれかを取得する請求項1に記載のキーワード評価装置。
- 前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、当該リアクション時間が所定時間を超える場合、前記リアクション種別として無反応の種別を取得する請求項2に記載のキーワード評価装置。
- 前記発話文の種別を、所定数の発話種別の中から、予め定められた確率で選択する発話種別選択部を備える請求項1から請求項3のいずれかに記載のキーワード評価装置。
- 前記リアクション種別に基づいて、前記発話種別ごとに、前記キーワードを含む発話文に対する嗜好度を算出する嗜好度演算部を備え、
前記興味度演算部は、前記嗜好度の統計情報により前記興味度を算出する請求項4に記載のキーワード評価装置。 - 前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、
前記嗜好度演算部は、前記リアクション時間に基づいて、前記嗜好度に重み付けする請求項5に記載のキーワード評価装置。 - 放送番組から、所定のデータベースに含まれる前記キーワードを抽出するキーワード抽出部を備える請求項1から請求項6のいずれかに記載のキーワード評価装置。
- 入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成ステップと、
前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得ステップと、
前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算ステップと、をコンピュータが実行するキーワード評価方法。 - 請求項1から請求項7のいずれかに記載のキーワード評価装置としてコンピュータを機能させるためのキーワード評価プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019197588A JP7407560B2 (ja) | 2019-10-30 | 2019-10-30 | キーワード評価装置、キーワード評価方法及びキーワード評価プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019197588A JP7407560B2 (ja) | 2019-10-30 | 2019-10-30 | キーワード評価装置、キーワード評価方法及びキーワード評価プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021071569A true JP2021071569A (ja) | 2021-05-06 |
JP7407560B2 JP7407560B2 (ja) | 2024-01-04 |
Family
ID=75713244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019197588A Active JP7407560B2 (ja) | 2019-10-30 | 2019-10-30 | キーワード評価装置、キーワード評価方法及びキーワード評価プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7407560B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6601069B2 (ja) | 2015-09-01 | 2019-11-06 | カシオ計算機株式会社 | 対話制御装置、対話制御方法及びプログラム |
JP6889597B2 (ja) | 2017-04-21 | 2021-06-18 | 日本放送協会 | ロボット |
JP2019175432A (ja) | 2018-03-26 | 2019-10-10 | カシオ計算機株式会社 | 対話制御装置、対話システム、対話制御方法及びプログラム |
-
2019
- 2019-10-30 JP JP2019197588A patent/JP7407560B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7407560B2 (ja) | 2024-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108334583B (zh) | 情感交互方法及装置、计算机可读存储介质、计算机设备 | |
Tao et al. | End-to-end audiovisual speech recognition system with multitask learning | |
US10402501B2 (en) | Multi-lingual virtual personal assistant | |
CN108227932B (zh) | 交互意图确定方法及装置、计算机设备及存储介质 | |
Busso et al. | Iterative feature normalization scheme for automatic emotion detection from speech | |
US20150324352A1 (en) | Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics | |
US10836044B2 (en) | Robot control device and robot control method | |
JP2009139390A (ja) | 情報処理システム、処理方法及びプログラム | |
CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
US10770072B2 (en) | Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning | |
Samareh et al. | Detect depression from communication: How computer vision, signal processing, and sentiment analysis join forces | |
US20180336450A1 (en) | Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity | |
CN114676259A (zh) | 一种基于因果感知交互网络的对话情绪识别方法 | |
US20150127593A1 (en) | Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity | |
JP7407560B2 (ja) | キーワード評価装置、キーワード評価方法及びキーワード評価プログラム | |
Shalu et al. | Depression status estimation by deep learning based hybrid multi-modal fusion model | |
WO2022180860A1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
Sapru | Automatic social role recognition and its application in structuring multiparty interactions | |
Santos et al. | A domain-agnostic approach for opinion prediction on speech | |
JP2020201748A (ja) | 発話生成装置、発話生成方法及び発話生成プログラム | |
O'Dwyer et al. | Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction | |
US20220180871A1 (en) | Information processing device, information processing method, and program | |
Washington et al. | ABL-MICRO: Opportunities for Affective AI Built Using a Multimodal Microaggression Dataset. | |
JP7152825B1 (ja) | ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム | |
Kaushik | Conversational speech understanding in highly naturalistic audio streams |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220928 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230721 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230824 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407560 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |