JP2021071569A - キーワード評価装置、キーワード評価方法及びキーワード評価プログラム - Google Patents

キーワード評価装置、キーワード評価方法及びキーワード評価プログラム Download PDF

Info

Publication number
JP2021071569A
JP2021071569A JP2019197588A JP2019197588A JP2021071569A JP 2021071569 A JP2021071569 A JP 2021071569A JP 2019197588 A JP2019197588 A JP 2019197588A JP 2019197588 A JP2019197588 A JP 2019197588A JP 2021071569 A JP2021071569 A JP 2021071569A
Authority
JP
Japan
Prior art keywords
keyword
utterance
reaction
user
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019197588A
Other languages
English (en)
Other versions
JP7407560B2 (ja
Inventor
金子 豊
Yutaka Kaneko
金子  豊
祐太 星
Yuta Hoshi
祐太 星
勇太 萩尾
Yuta Hagio
勇太 萩尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2019197588A priority Critical patent/JP7407560B2/ja
Publication of JP2021071569A publication Critical patent/JP2021071569A/ja
Application granted granted Critical
Publication of JP7407560B2 publication Critical patent/JP7407560B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】キーワードそれぞれに対する、利用者の興味度を評価できるキーワード評価装置、キーワード評価方法及びキーワード評価プログラムを提供すること。【解決手段】キーワード評価装置1は、入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成部13と、発話文に対する利用者のリアクション種別を取得するリアクション取得部14と、リアクション種別に基づいて、利用者のキーワードに対する興味度を算出する興味度演算部16と、を備える。【選択図】図1

Description

本発明は、キーワードを評価する装置、方法及びプログラムに関する。
従来、人と一緒にテレビ番組などの映像を視聴するコミュニケーションロボットに関する技術が提案されている。
例えば、特許文献1では、映像に関連するソーシャルメディアコメントを利用し、ロボットの内部的なパーソナリティ又は感情状態などに応じて、発話文を生成し、ロボットを動作させることで、ロボットがユーザと共に映像を視聴しているかのようなアクションを実現する技術が提案されている。
また、特許文献2では、ロボットが人からのチャンネル切り替えなどの命令に応じると共に、テレビの方向を向きながら自発的につぶやくことで、ロボットが自律してテレビを視聴しているかのような動作をするロボットの制御技術が提案されている。
特許第6122792号公報 特開2018−180472号公報 特許第5194198号公報 特許第6486165号公報
山本誠、谷本浩昭、新田直子、馬場口登;「個人的選好獲得のための特定人物のテレビ視聴時における興味区間推定」、電子情報通信学会論文誌D、Vol.J90−D、No.8、pp.2202−2211、2007
ところで、人と一緒にテレビを視聴するコミュニケーションロボットに、視聴中の番組に関連する話題に対して、人と共感する動作などをさせるためには、ロボットと一緒にいる人がどのような事に興味があるかを知ることが重要である。このような情報の1つとして、固有名詞などのキーワードにその人がどの程度興味を持っているかの指標である興味度がある。
例えば、ロボットと一緒にテレビを視聴している人が「A子さん」のファンであること、すなわち興味度が高いことが分かると、「A子さんってかわいいよね」というような共感する発話文や、「今、A子さんがテレビに出てるよ」といった情報提供の発話文などをロボットから発話することができるようになる。
特許文献3では、過去の視聴履歴から、その人が興味を持ちそうな番組を推薦する技術が提案されている。これは、利用者が嗜好するコンテンツを提示する技術であり、特に他の人との関係性も含めた嗜好性の推定が行われる。
しかし、このような番組推薦で使われる技術では、推定対象は番組であり、視聴中の番組に関連した興味のあるキーワードの推定には利用できない。
特許文献4では、番組に関連する数多くのキーワードの中から、興味候補キーワードを抽出する技術が提案されている。これは、予め準備された複数の辞書を用いて、番組に関連した多くのキーワードの中から、一般的に興味が強いと推定されるキーワードを抽出する技術である。
しかし、抽出されたキーワードはあくまで、複数の辞書によって興味が強いと推定されるキーワードであり、番組を視聴している個人の興味は反映されない。
非特許文献1では、視聴中のテレビ番組の興味区間を推定する技術が提案されている。この技術は、テレビ視聴中の人の表情をカメラで撮り、その表情から興味区間を推定する手法である。これにより、番組内の興味区間にタグ付けされているキーワードを、興味のあるキーワードとして推定できる。
しかし、推定された興味区間内にタグ付けされたキーワードが複数ある場合には、これらの中のどのキーワードに興味があるかという推定はできない。また、テレビ番組を視聴中の人の表情を撮影するためには、家庭内にカメラを設置する必要があり、現実的には困難である。たとえ、カメラが設置できたとしても、日常の生活では、例えば横になって視聴するなど、顔の位置と向きとは様々であるため、人の表情を精度よく抽出することは困難である。
このように、番組に数多くの関連するキーワードがタグ付けされていた場合、番組視聴中の視聴者の興味の対象であるキーワードを推定するには、視聴中のユーザからの何らかのリアクションが情報として必要となる。しかし、カメラなどのセンサ機器を家庭内に設置すること、又は身体にセンサ類を装着して視聴者のリアクションを観測することは、現実的には困難な場合が多い。また、視聴履歴、又はリモコンの操作などにより取得できる情報は、番組単位の嗜好を推定するためには利用できるが、番組内の関連するキーワードに対する興味度を推定するには不十分であるという課題があった。
本発明は、キーワードそれぞれに対する、利用者の興味度を評価できるキーワード評価装置、キーワード評価方法及びキーワード評価プログラムを提供することを目的とする。
本発明に係るキーワード評価装置は、入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成部と、前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得部と、前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算部と、を備える。
前記リアクション取得部は、前記リアクション種別として、ポジティブ及びネガティブを含む複数の種別のいずれかを取得してもよい。
前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、当該リアクション時間が所定時間を超える場合、前記リアクション種別として無反応の種別を取得してもよい。
前記キーワード評価装置は、前記発話文の種別を、所定数の発話種別の中から、予め定められた確率で選択する発話種別選択部を備えてもよい。
前記キーワード評価装置は、前記リアクション種別に基づいて、前記発話種別ごとに、前記キーワードを含む発話文に対する嗜好度を算出する嗜好度演算部を備え、前記興味度演算部は、前記嗜好度の統計情報により前記興味度を算出してもよい。
前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、前記嗜好度演算部は、前記リアクション時間に基づいて、前記嗜好度に重み付けしてもよい。
前記キーワード評価装置は、放送番組から、所定のデータベースに含まれる前記キーワードを抽出するキーワード抽出部を備えてもよい。
本発明に係るキーワード評価方法は、入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成ステップと、前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得ステップと、前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算ステップと、をコンピュータが実行する。
本発明に係るキーワード評価プログラムは、前記キーワード評価装置としてコンピュータを機能させるためのものである。
本発明によれば、キーワードそれぞれに対する、利用者の興味度を評価できる。
実施形態におけるキーワード評価装置の機能構成を示すブロック図である。 実施形態における発話生成部の詳細な機能構成を示す図である。 実施形態における開示テンプレートの一例を示す図である。 実施形態における質問テンプレートの一例を示す図である。 実施形態における確認テンプレートの一例を示す図である。 実施形態におけるキーワード辞典の登録例を示す図である。 実施形態におけるキーワード辞書に記録される嗜好度の一例を示す図である。
以下、本発明の実施形態の一例について説明する。
本実施形態におけるキーワード評価方法は、キーワードに対する利用者の興味度を評価する方法である。特に、本実施形態では、テレビなどの放送番組の視聴者と一緒に番組を視聴するロボットが、視聴中の番組に関連するキーワードに対する視聴者の興味度を評価する方法を例示する。
なお、本実施形態では、キーワードに対する興味の指標値を興味度と呼び、値が大きいほど興味が高いものとする。
本実施形態では、人と一緒に番組を視聴するロボットに、キーワードの興味度を評価するキーワード評価装置が組み込まれ、ロボットは、視聴中の放送番組に関連するキーワードを含んだ発話文を視聴中の人に対して話しかけ、その反応を取得することによって、キーワードに対する興味度を評価する。
図1は、本実施形態におけるキーワード評価装置1の機能構成を示すブロック図である。
キーワード評価装置1は、制御部及び記憶部の他、各種インタフェースを備えた情報処理装置であり、記憶部に格納されたソフトウェア(キーワード評価プログラム)を制御部が実行することにより、本実施形態の各種機能が実現される。
キーワード評価装置1の制御部は、キーワード抽出部11と、発話種別選択部12と、発話生成部13と、リアクション取得部14と、嗜好度演算部15と、興味度演算部16とを備える。
また、キーワード評価装置1の記憶部は、キーワード評価プログラムの他、キーワード辞書17などの各種データベースを備えている。
本実施形態において、キーワード評価装置1は、利用者との間のインタフェースの一例として音声による入出力を行うこととする。キーワード評価装置1から出力された発話文出力Oは、音声合成装置2により音声出力OAとして利用者に音声として提示される。音声出力OAに対する利用者の応答である音声入力IAは、音声認識装置3によりテキスト文に変換され、キーワード評価装置1の応答文入力Iとして入力される。
なお、本実施形態では、利用者との間のインタフェースとして音声による方式を説明するが、これに限定されるものではなく、例えば、発話文出力Oをディスプレイに表示し、利用者がキーボードなどを使って応答文入力Iを入力する方法でもよい。
キーワード抽出部11は、キーワード評価装置1に入力される入力文Tから、キーワード辞書17に存在するキーワードを抽出する。本実施形態では、入力文Tは、視聴中の放送番組に含まれる字幕情報(クローズドキャプション)として説明する。例えば、「今日はこのお店のラーメンを食べに行ってみたいと思います。」という字幕文が入力文Tとして入力され、キーワード辞書17に「ラーメン」というキーワードが含まれている場合には、キーワード抽出部11は、キーワード「ラーメン」を抽出する。
なお、キーワード辞書17は、評価対象のキーワードが登録されたデータベースである。キーワードは、主に、人名、地名、施設などの固有名詞及び一般名詞などである。本実形態では、キーワード辞書17にキーワードが予め登録されているものとする。また、キーワード辞書17に登録されている各キーワードに対して、後述の発話文種別ごとに、嗜好の程度を示す嗜好度が保存される。
ここで、放送番組から字幕情報を抽出する方法は限定されないが、例えば、ロボットがテレビ受像機と連動して字幕情報を取得したり、放送連動サービスとして、インターネットなどの通信設備を用いて配信される字幕情報を取得したりといった方法がとられる。
なお、本実施形態では、入力文Tを字幕情報としているが、これには限定されない。例えば、ロボットに装備されたカメラ又はマイクロフォンを用いて、テレビ画像の画像処理、又はテレビ音声の音声認識などにより抽出された文であってもよい。
また、字幕情報などからキーワードを抽出する頻度は、一定時間を挟みながらランダムにサンプリングするなど、適宜調整されてよい。あるいは、キーワード抽出部11は、単語の出現頻度などに基づく重要度の高いキーワードを優先して、又は発話回数が少なく評価が十分に得られていないキーワードを優先して、抽出されるキーワードの数を絞ってもよい。
発話種別選択部12は、発話生成部13で生成する発話文の種別を、所定数の発話種別の中から、予め定められた確率で選択する。
ここで、発話種別は、テレビ視聴時の人同士の会話における発話を分類したものであり、例えば、次の文献Aでは、「質問」「指示」「情報」「開示」「反射」「確認」「解釈」「応答」の8種類の種別が定義されている。
文献A: 星裕太、金子豊、萩尾勇太、村崎康博、上原道宏:「ロボット発話に向けたテレビ視聴時の人同士の対話解析」、電子情報通信学会、信学技報、CNR2019−1(2019−06)、pp.1−6
本実施形態では、発話種別を、「質問」「情報」「開示」「確認」の4種類とし、発話種別選択部12は、これら4つの種別の中から1つを、所定の確率で選択する。
「質問」は、相手へ質問をする発話であり、例えば、「A子さんは好きですか?」などがこれにあたる。
「情報」は、相手へ何らかの情報を提供する発話であり、例えば、「A子さんは昔、〇〇ドラマに出てたんだ。」などがこれにあたる。
「開示」は、相手に自分の考えや気持ちを伝える発話であり、例えば、「A子さんって大好き。」などがこれにあたる。
「確認」は、相手に何かの確認をする発話であり、例えば、「A子さんはきれいですね。」などがこれにあたる。
文献Aによれば、テレビ視聴時の人同士の会話では、会話を始める際の発話種別は、「開示」が20〜40%と多く、次いで「確認」が14〜20%、「質問」が8〜16%、「情報」が4〜9%となっている。そこで、発話種別選択部12は、例えば、「開示」を45%、「確認」を30%、「質問」を15%、「情報」を10%の割合でランダムに選択する。
発話生成部13は、キーワード抽出部11により抽出されたキーワードと、発話種別選択部12により選択された発話種別とに基づいて、発話文を生成し、発話文出力Oとして出力する。
具体的には、発話生成部13は、発話種別選択部12が選択した発話種別に応じた、キーワード抽出部11が抽出したキーワードを含む発話文を生成する。このため、発話生成部13は、4種類の発話種別のそれぞれに対応した発話文の生成手段を含んでいてよい。
例えば、次の文献Bでは、過去の放送番組の字幕文を用いて、感情語が含まれる字幕文をテンプレート文として保管しておき、キーワードと組み合わせることで、このキーワードを含む感情を表す発話文を自動生成する技術が提案されている。この技術では、「食べたい」、「話したい」、「行きたい」などの願望を表す動詞句と、「きれい」、「おもしろい」、「大きい」などの形容詞とを代表語と呼び、対象のキーワードと特徴ベクトルの近い代表語が選択される。対象キーワードに対応する代表語が選択されると、この代表語を含むテンプレート文により発話文が生成される。本実施形態では、前述の4つの発話種別のうち、「開示」「質問」「確認」の各発話文を生成するために、この技術を応用する。
文献B: 特開2018−190077号公報
図2は、本実施形態における発話生成部13の詳細な機能構成を示す図である。
発話生成部13は、テンプレート抽出部131と、ベクトル距離算出部132と、テンプレート選択部133、キーワード検索部134、情報文生成部135とを備える。
また、発話生成部13は、記憶部に格納されたテンプレートデータベース18A、特徴ベクトルデータベース18B、及びキーワード辞典18Cの各データベースを参照する。
発話生成部13には、キーワード抽出部11により抽出されたキーワードKeyと、発話種別選択部12により選択された発話種別Cとが入力される。
ここで、発話種別Cが「質問」「開示」「確認」のいずれかの場合、キーワードKey及び発話種別Cはテンプレート抽出部131に、発話種別Cが「情報」の場合、キーワードKey及び発話種別Cはキーワード検索部134に、それぞれ入力される。
テンプレート抽出部131は、テンプレートデータベース18Aから、発話種別Cが「開示」の場合には開示テンプレートを、「質問」の場合には質問テンプレートを、「確認」の場合には確認テンプレートを抽出する。
XXテンプレートは、「XX」文を生成するためのテンプレートが保管されたデータであり、代表語と、この代表語に対応したテンプレート文とが含まれる。
図3は、本実施形態における開示テンプレートの一例を示す図である。
開示テンプレートは、代表語と、この代表語に対する「開示」文を生成するためのテンプレート文とが対になって登録されたデータである。
この例では、代表語として、「話したい」「行きたい」「食べたい」「きれい」「おもしろい」「大きい」の6つの代表語と、各代表語に対応するテンプレート文とが登録されている。例えば、動詞句の代表語「話したい」に対して、2つのテンプレート文「%keyと話したい」、「%keyとおしゃべりしたい」が登録されている。また、形容詞の代表語「きれい」に対して、「%keyってとっても綺麗」、「なんてきれいな%key」の2つのテンプレート文が登録されている。
なお、テンプレート文の%keyは、キーワードの挿入位置を示している。
図4は、本実施形態における質問テンプレートの一例を示す図である。
質問テンプレートについても、開示テンプレートと同様の構造であり、代表語と共に、「質問」文を生成するためのテンプレート文が登録されている。
この例では、「話したい」「行きたい」「食べたい」の3つの動詞句の代表語に対するテンプレート文が登録されている。例えば、動詞句の代表語「話したい」に対して、「%keyと話したことある?」、「%keyとおしゃべりしたいですか?」の2つのテンプレート文が登録されている。
図5は、本実施形態における確認テンプレートの一例を示す図である。
確認テンプレートについても、データの構造は開示テンプレート及び質問テンプレートと同様であり、代表語と共に、「確認」文を生成するためのテンプレート文が登録されている。
この例では、形容詞の代表語「きれい」「おもしろい」「おいしい」の3つの形容詞の代表語に対するテンプレート文が登録されている。例えば、形容詞の代表語「きれい」に対して、「%keyってとっても綺麗ですよね」、「きれいな%keyってすてきですよね」の2つのテンプレート文が登録されている。
ベクトル距離算出部132は、テンプレート抽出部131により抽出されたテンプレート群に対して、テンプレート内の各代表語の特徴ベクトルと、キーワード(Key)の特徴ベクトルとのベクトル距離を計算する。
特徴ベクトルデータベース18Bには、少なくともキーワード辞書17に記録されているキーワードと、各テンプレートに含まれている代表語とに関して、予め特徴ベクトルが記録されている。
特徴ベクトルの算出方法としては、例えばword2vecなどの方法がある。word2vecは、3層のニューラルネットワークを用いており、分かち書きされた大量の文章を入力することで算出された特徴ベクトルは、類似した語が距離の近いベクトルになることが経験的に知られている。
なお、特徴ベクトルの算出方法は、word2vecには限られず、意味的に近い語の特徴ベクトルがベクトル空間上で近くに分布する演算方式であればよい。
ここで、キーワードKeyの特徴ベクトルをvec_k、代表語tの特徴ベクトルをvec_tとしたとき、ベクトル間の距離として、例えば、コサイン類似度cos(vec_k,vec_t)=(vec_k・vec_t)/(|vec_k||vec_t|)が利用できる。
テンプレート選択部133は、ベクトル距離算出部132によるキーワードKeyの特徴ベクトルと各代表語の特徴ベクトルとのコサイン類似度の計算結果の中から、キーワードKeyの特徴ベクトルに最も近い、すなわちコサイン類似度の値が大きい特徴ベクトルを持つ代表語を選択する。
次に、テンプレート選択部133は、選択された代表語に対するテンプレート文の中から1つのテンプレートを選択し、テンプレート文の中の%keyをキーワードKeyで置換することにより発話文(「質問」文、「開示」文、又は「確認」文)を生成する。
例えば、発話生成部13にキーワードKeyとして「讃岐うどん」が、発話種別Cとして「確認」が入力された場合、テンプレート抽出部131は、図5の確認テンプレートを抽出する。続いて、ベクトル距離算出部132は、「讃岐うどん」の特徴ベクトルvec_讃岐うどんと、代表語の特徴ベクトルvec_きれい、vec_おもしろい、vec_おいしいとのベクトル距離をそれぞれ計算する。そして、テンプレート選択部133は、これらの計算結果から、vec_おいしいが最もベクトル距離が近かった場合には、「おいしい」に対するテンプレート文の中からランダムに1つを選択する。この結果、テンプレート文として「%keyっておいしいですよね」を選択した場合には、テンプレート選択部133は、「確認」文として、「讃岐うどんっておいしいですよね」という発話文を生成する。
キーワード検索部134は、キーワード辞典18Cから、入力されたキーワードKeyの説明文を取得する。
キーワード辞典18Cには、キーワードの意味などの説明文が登録されている。
図6は、本実施形態におけるキーワード辞典18Cの登録例を示す図である。
この例では、キーワードとして、「アンモナイト」「讃岐うどん」「シリウス」が登録され、キーワード「アンモナイト」の説明として「3億5000万年前に海に生息した巻貝みたいな殻をもった生物」が、キーワード「讃岐うどん」の説明として「香川県の特産うどん」が、「シリウス」の説明として「おおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星」が登録されている。
情報文生成部135は、キーワード検索部134により取得された説明文とキーワードKeyとを用い、発話文として「(Key)は(説明文)なんだって」「(key)は(説明文)なんだよ」などの「情報」文を生成する。
例えば、発話生成部13にキーワードとして「シリウス」、発話種別として「情報」が入力された場合、キーワード検索部134は、説明文「おおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星」を取得し、情報文生成部135は、「シリウスはおおいぬ座で最も明るい恒星で、太陽を除けば地球上から見える最も明るい恒星なんだって」を出力する。
リアクション取得部14は、発話生成部13が出力した発話文出力Oに対する利用者の反応である応答文入力Iから、利用者の嗜好を示すリアクション種別Crを取得する。また、発話文出力Oを出力してから応答文入力Iが入力されるまでの時間であるリアクション時間Trを計測する。
リアクション種別Crは、例えば、ポジティブな嗜好を示す「はい」、ネガティブな嗜好を示す「いいえ」、どちらでもない無関心を示す「無反応」の3種類であってよい。
リアクション取得部14は、リアクション時間Trが予め決められた時間Thを超えて計測できない場合(Tr=0とする)、すなわち時間Th以内に応答文入力Iがない場合に、リアクション種別Crを「無反応」とする。また、リアクション取得部14は、リアクション時間Trが時間Th以内の場合、すなわち時間Th以内に応答文入力Iがあった場合には、応答文入力Iについて、「はい」又は「いいえ」のいずれの文であるかの2クラス分類を行う。
文を2クラス分類する方法としては、例えば、予め学習データを用いた分類器を作成しておく方法があり、学習方法として、ニューラルネットワークを用いた方法、サポートベクタマシンを用いた方法などがある。なお、分類方法は、これらには限られない。
嗜好度演算部15は、リアクション取得部14により取得されたリアクション種別Crとリアクション時間Trとから、キーワードKeyに対する嗜好の度合いを数値データとして算出する。算出結果は、キーワードKeyを含む発話種別Cの発話文に対する嗜好度として、キーワードKey及び発話種別Cごとにキーワード辞書17に記録される。
ここで、キーワードKeyを含む発話種別Cの発話文に対する嗜好度をS_C_Keyとする。嗜好度の計算方法は限定されないが、嗜好度演算部15は、例えば、リアクション時間Trに基づいて重み付けし、次の式によりS_C_Keyを求める。
S_C_Key={α_C×n(Cr)−β_C×(1−n(Cr))}/Tr
(Tr≠0のとき)
=0 (Tr=0、すなわちCr=「無反応」のとき)
なお、n(Cr)は、Crが「はい」のとき1、「いいえ」のとき0となる2値関数であり、α_C及びβ_Cは、予め決めておく定数である。
α_C及びβ_Cは、発話種別Cごとに設定することができる。例えば、発話種別が「質問」の発話文は、キーワードに関して直接的に利用者に質問する発話文であり、利用者からの「はい」又は「いいえ」の回答は、他の発話種別の発話文に対する応答文から推定したリアクション種別に比べ、信頼できるデータである。このため、α_質問及びβ_質問の値を他の発話種別より大きく設定しておくことで、他の発話種別の嗜好度よりも興味度への影響を大きくすることができる。
なお、本実施形態では、n(Cr)を0又は1の2値関数として説明するが、これには限られず、n(Cr)は整数又は実数であってもよい。例えば、リアクション取得部14によるリアクション種別の分類時に信頼度などの値が取得できる場合、この値を用いることができる。また、リアクション取得部14の入力として心拍計などのセンサデータを使う場合、この値を用いることもできる。
図7は、本実施形態におけるキーワード辞書17に記録される嗜好度の一例を示す図である。
この例では、キーワードとして「アンモナイト」「讃岐うどん」「シリウス」が記録されている。また、各キーワードには、発話種別ごとの、これまでに計算された嗜好度の合計が記録されている。
嗜好度演算部15は、発話文に対するリアクションを取得する度に、計算した嗜好度を、キーワード辞書17の該当するキーワード及び発話種別の欄に記録されている嗜好度に加算すると共に、発話回数を+1する。
例えば、キーワード「アンモナイト」に関する「質問」の発話は、これまでに1回行われ、嗜好度は+1.2、「開示」の発話はこれまでに1回行われ、嗜好度は+0.2である。同様に、キーワード「讃岐うどん」に関する「開示」の発話は3回行われ、嗜好度の合計値が+0.3、「確認」の発話は1回行われ、嗜好度は−0.2である。
なお、発話文に対するリアクション種別が「無反応」だった場合、加算される嗜好度は0だが発話回数がカウントされるため、嗜好度の平均は、ポジティブ(好き)でもネガティブ(嫌い)でもない中立の状態へと近づく。
興味度演算部16は、キーワードが指定された際に、このキーワードを含む発話文に対して過去のリアクション種別及びリアクション時間に基づいて算出された嗜好度の統計情報により、キーワードに対する利用者の興味度Kを算出して出力する。
具体的には、興味度演算部16は、例えば、キーワード辞書17の該当するキーワードの嗜好度の平均値を興味度として計算する。図7の例では、キーワード「アンモナイト」の興味度は(1.2/1+0.2/1)/2=0.7、キーワード「讃岐うどん」の興味度は(0.3/3−0.2/1)/2=−0.1、キーワード「シリウス」の興味度は(0.4/2−0.2/1)/2=0と計算できる。
本実施形態によれば、キーワード評価装置1は、キーワード辞書17に保存されているキーワードに対して、利用者がどのような興味度を持っているかを推定するために、キーワード抽出部11により抽出したキーワードに対して、発話生成部13により発話文出力Oを生成する。キーワード評価装置1は、この発話文出力Oに対する利用者の応答である応答文入力Iから、リアクション取得部14によりリアクション種別を判別し、このリアクション種別に基づいて、興味度演算部16によりキーワードに対する興味度を算出する。
キーワード評価装置1は、例えば、ロボットに組み込まれることで、キーワードを含む発話文をロボットから人へ話しかけ、発話文への反応からキーワードに対する興味度を推定できる。従来の手法がテレビ視聴中の人からのパッシブな情報を収集して興味度を推定するのに対し、本実施形態では、ロボットから利用者に発話するというアクティブな手法により、キーワードそれぞれに対する利用者の反応の違いに基づいて、キーワードそれぞれに対する、利用者の興味度を評価できる。
この結果、ロボットは、利用者が好きなもの又は嫌いなものを選んで発話したり、キーワードへの興味度に応じて挙動を変化させたりといった、自然なコミュニケーションを実現できる。
また、キーワード評価装置1は、例えば、ロボットに組み込まれることで、利用者と一緒にテレビなどの放送番組を視聴中に、字幕文などからキーワード辞書17に含まれるキーワードを抽出し、このキーワードに関する発話をロボットにさせる。
これにより、キーワード評価装置1は、ロボットの発話に対する利用者の反応から、視聴中の放送番組に関連するキーワードそれぞれに対する利用者の興味度を評価できる。
この結果、ロボットは、キーワードが入力された際に、このキーワードへの利用者の興味度に応じて異なる動作をすることが可能となる。すなわち、ロボットは、あるキーワードで発話をすべきかどうかを判断し、動作内容を選択したり、適時に興味のある関連番組などの情報を利用者に提示したりできる。
なお、興味度の高いキーワードに関して発話する内容と、興味度を評価するために発話する内容とは、共通であってよい。この場合、前述の各種テンプレートは共用される。そして、いずれの場合にも、利用者の応答に応じて、嗜好度及び興味度が更新されてよい。
キーワード評価装置1は、リアクション種別として、ポジティブ及びネガティブを含む複数の種別のいずれかを取得することで、キーワードに対する利用者の興味度を、一定の尺度で数値化して評価できる。
キーワード評価装置1は、発話文に対する利用者のリアクション種別を計測し、リアクション時間が所定時間を超える場合、リアクション種別として無反応の種別を取得する。
これにより、キーワード評価装置1は、キーワードに対して利用者が無関心であるような嗜好の種類を判別でき、興味度を適切に評価できる。
キーワード評価装置1は、発話種別選択部12により、発話文の種別を所定数の発話種別の中から、予め定められた確率で選択する。
発話種別は、例えば「質問」のみでも興味度の評価は可能であるが、「質問」ばかりでは、利用者は、始めはロボットからの質問に応答していても、そのうちうっとうしいなどの理由で応答しなくなってしまうため、発話種別のバリエーションが必要である。文献Aでは、人同士の会話では、「開示」文で会話が始まることが多いこと、また、「質問」「情報」「確認」は、「開示」文に比べて多くの発話は行われていないが、相手の反応率が高いという結果が示されている。
したがって、ロボットから人への発話の種別も、人同士の会話に近い確率で選択することにより、キーワード評価装置1は、例えば質問ばかりするロボットや、情報ばかり読み上げるロボットなどによって、利用者を飽きさせてしまうことなく、人と同じような発話種別の割合でロボットに発話させ、自然な対話を実現できる。
キーワード評価装置1は、嗜好度演算部15により、リアクション種別に基づいて、発話種別ごとに、キーワードを含む発話文に対する嗜好度を算出し、キーワード辞書17を更新する。
例えば、キーワード評価装置1は、キーワード「A子さん」に対して、発話種別「質問」が選択された場合、「A子さんは好きですか?」と利用者に質問し、利用者からの「好きです」、「あまり好きではない」、「嫌い」などの応答により、「A子さん」に関する「質問」文に対する嗜好度を推定する。
これにより、キーワード評価装置1は、発話種別ごとに推定された嗜好度の統計情報により興味度を算出するので、例えば、「質問」文に対する嗜好度の値を大きくするなど、発話種別ごとの発話文に対する利用者の応答の信頼性を興味度へ反映させることができる。
キーワード評価装置1は、発話文に対するリアクション時間に基づいて、嗜好度に重み付けすることにより、キーワードに対する利用者の好き嫌いの度合いを嗜好度に反映し、興味度を適切に評価できる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
前述の実施形態では、発話文の生成時に、キーワードに対して選択した代表語のテンプレートを用いたが、キーワードに関する発話を生成する手法であれば、これには限られない。また、代表語の選択には、特徴ベクトルによるベクトル距離を利用したが、例えば、各キーワードに対して代表語を予め決めておき、これらの代表語の中から選択する方式でもよい。さらに、代表語を使用せずに、キーワード辞書17に登録されている各キーワードに対して、予め個別の発話文を準備しておき、これを直接用いる方式でもよい。
また、「情報」文を生成する際には、キーワード辞典18Cを使う方法を説明したが、これには限られない。例えば、インターネットに接続し、ウィキペディアなどのオンライン百科事典を参照してキーワードの説明文を取得する方法も適用可能である。
前述の実施形態では、利用者のリアクション種別の判定時に、音声認識装置3により音声入力IAをテキストデータに変換した応答文入力Iを用いたが、これには限られず、リアクションとして「はい」又は「いいえ」の判定、すなわち、発話文出力Oに対する利用者のポジティブ又はネガティブの判別が可能な方法であればよい。例えば、カメラにより利用者の顔を撮影した画像を入力としてもよいし、心電計、心拍計、脳波計などの身体データを取得する装置を利用者に装着する方法でもよい。
また、複数人が同時に利用している場合、キーワード評価装置1は、例えば、発話文に応じて、人同士の会話が弾んだか否かといった反応によって、リアクション種別を取得してもよい。
前述の実施形態では、利用者を一人として説明したが、これには限られない。複数の利用者それぞれを識別し、キーワード辞書17の嗜好度を利用者ごとに管理することで、利用者ごとの興味度を取得することができる。
前述の実施形態では、キーワード評価装置1は、ロボットに組み込まれるものとして説明したが、これには限られず、ロボットの外部に配置され、ロボットと有線又は無線にて、あるいはネットワークを介して通信接続されてもよい。
また、各種のデータベースは、キーワード評価装置1が備える構成としたが、これには限られず、データベースは、クラウドなどの外部サーバに配置されてもよい。
本実施形態では、主にキーワード評価装置1の構成と動作について説明したが、本発明はこれに限られず、各構成要素を備え、キーワードを評価するための方法、又はプログラムとして構成されてもよい。
さらに、キーワード評価装置1の機能を実現するためのプログラムをコンピュータで読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。
ここでいう「コンピュータシステム」とは、OSや周辺機器などのハードウェアを含むものとする。また、「コンピュータで読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体、コンピュータシステムに内蔵されるハードディスクなどの記憶装置のことをいう。
さらに「コンピュータで読み取り可能な記録媒体」とは、インターネットなどのネットワークや電話回線などの通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでもよい。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
1 キーワード評価装置
2 音声合成装置
3 音声認識装置
11 キーワード抽出部
12 発話種別選択部
13 発話生成部
14 リアクション取得部
15 嗜好度演算部
16 興味度演算部
17 キーワード辞書
18A テンプレートデータベース
18B 特徴ベクトルデータベース
18C キーワード辞典
131 テンプレート抽出部
132 ベクトル距離算出部
133 テンプレート選択部
134 キーワード検索部
135 情報文生成部

Claims (9)

  1. 入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成部と、
    前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得部と、
    前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算部と、を備えるキーワード評価装置。
  2. 前記リアクション取得部は、前記リアクション種別として、ポジティブ及びネガティブを含む複数の種別のいずれかを取得する請求項1に記載のキーワード評価装置。
  3. 前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、当該リアクション時間が所定時間を超える場合、前記リアクション種別として無反応の種別を取得する請求項2に記載のキーワード評価装置。
  4. 前記発話文の種別を、所定数の発話種別の中から、予め定められた確率で選択する発話種別選択部を備える請求項1から請求項3のいずれかに記載のキーワード評価装置。
  5. 前記リアクション種別に基づいて、前記発話種別ごとに、前記キーワードを含む発話文に対する嗜好度を算出する嗜好度演算部を備え、
    前記興味度演算部は、前記嗜好度の統計情報により前記興味度を算出する請求項4に記載のキーワード評価装置。
  6. 前記リアクション取得部は、前記発話文に対する前記利用者のリアクション時間を計測し、
    前記嗜好度演算部は、前記リアクション時間に基づいて、前記嗜好度に重み付けする請求項5に記載のキーワード評価装置。
  7. 放送番組から、所定のデータベースに含まれる前記キーワードを抽出するキーワード抽出部を備える請求項1から請求項6のいずれかに記載のキーワード評価装置。
  8. 入力されたキーワードを含む発話文を生成し、利用者に対して出力する発話生成ステップと、
    前記発話文に対する前記利用者のリアクション種別を取得するリアクション取得ステップと、
    前記リアクション種別に基づいて、前記利用者の前記キーワードに対する興味度を算出する興味度演算ステップと、をコンピュータが実行するキーワード評価方法。
  9. 請求項1から請求項7のいずれかに記載のキーワード評価装置としてコンピュータを機能させるためのキーワード評価プログラム。
JP2019197588A 2019-10-30 2019-10-30 キーワード評価装置、キーワード評価方法及びキーワード評価プログラム Active JP7407560B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019197588A JP7407560B2 (ja) 2019-10-30 2019-10-30 キーワード評価装置、キーワード評価方法及びキーワード評価プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019197588A JP7407560B2 (ja) 2019-10-30 2019-10-30 キーワード評価装置、キーワード評価方法及びキーワード評価プログラム

Publications (2)

Publication Number Publication Date
JP2021071569A true JP2021071569A (ja) 2021-05-06
JP7407560B2 JP7407560B2 (ja) 2024-01-04

Family

ID=75713244

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019197588A Active JP7407560B2 (ja) 2019-10-30 2019-10-30 キーワード評価装置、キーワード評価方法及びキーワード評価プログラム

Country Status (1)

Country Link
JP (1) JP7407560B2 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6601069B2 (ja) 2015-09-01 2019-11-06 カシオ計算機株式会社 対話制御装置、対話制御方法及びプログラム
JP6889597B2 (ja) 2017-04-21 2021-06-18 日本放送協会 ロボット
JP2019175432A (ja) 2018-03-26 2019-10-10 カシオ計算機株式会社 対話制御装置、対話システム、対話制御方法及びプログラム

Also Published As

Publication number Publication date
JP7407560B2 (ja) 2024-01-04

Similar Documents

Publication Publication Date Title
CN108334583B (zh) 情感交互方法及装置、计算机可读存储介质、计算机设备
Tao et al. End-to-end audiovisual speech recognition system with multitask learning
US10402501B2 (en) Multi-lingual virtual personal assistant
CN108227932B (zh) 交互意图确定方法及装置、计算机设备及存储介质
Busso et al. Iterative feature normalization scheme for automatic emotion detection from speech
US20150324352A1 (en) Systems and methods for dynamically collecting and evaluating potential imprecise characteristics for creating precise characteristics
US10836044B2 (en) Robot control device and robot control method
JP2009139390A (ja) 情報処理システム、処理方法及びプログラム
CN113380271B (zh) 情绪识别方法、系统、设备及介质
US10770072B2 (en) Cognitive triggering of human interaction strategies to facilitate collaboration, productivity, and learning
Samareh et al. Detect depression from communication: How computer vision, signal processing, and sentiment analysis join forces
US20180336450A1 (en) Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity
CN114676259A (zh) 一种基于因果感知交互网络的对话情绪识别方法
US20150127593A1 (en) Platform to Acquire and Represent Human Behavior and Physical Traits to Achieve Digital Eternity
JP7407560B2 (ja) キーワード評価装置、キーワード評価方法及びキーワード評価プログラム
Shalu et al. Depression status estimation by deep learning based hybrid multi-modal fusion model
WO2022180860A1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
Sapru Automatic social role recognition and its application in structuring multiparty interactions
Santos et al. A domain-agnostic approach for opinion prediction on speech
JP2020201748A (ja) 発話生成装置、発話生成方法及び発話生成プログラム
O'Dwyer et al. Affective computing using speech and eye gaze: a review and bimodal system proposal for continuous affect prediction
US20220180871A1 (en) Information processing device, information processing method, and program
Washington et al. ABL-MICRO: Opportunities for Affective AI Built Using a Multimodal Microaggression Dataset.
JP7152825B1 (ja) ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
Kaushik Conversational speech understanding in highly naturalistic audio streams

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231219

R150 Certificate of patent or registration of utility model

Ref document number: 7407560

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150