JP2015064826A - 感情検索装置、方法及びプログラム - Google Patents
感情検索装置、方法及びプログラム Download PDFInfo
- Publication number
- JP2015064826A JP2015064826A JP2013199557A JP2013199557A JP2015064826A JP 2015064826 A JP2015064826 A JP 2015064826A JP 2013199557 A JP2013199557 A JP 2013199557A JP 2013199557 A JP2013199557 A JP 2013199557A JP 2015064826 A JP2015064826 A JP 2015064826A
- Authority
- JP
- Japan
- Prior art keywords
- search
- emotion
- information
- person
- conversation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
記憶部501には、複数の人物による会話についての情報と、これらの複数の人物の中の2人の人物から構成される各ペアについてのその各ペアを構成する2人の人物の間のその会話における感情についての情報とが記憶されている。
入力部502には、感情に関する情報である検索感情情報がクエリとして入力される(ステップS1)。入力された検索感情情報は、検索部503に提供される。
検索部503は、クエリとして入力された検索感情情報をキーとして記憶部501を検索してその検索感情情報に対応する会話に関する情報を検索結果として得る(ステップS2)。検索結果は、表示部504に提供される。
表示部504は、検索部503による検索結果を表示する。表示部504は、CRT、液晶ディスプレイ等の表示装置である。
検索の他の例である感情の時間変化の検索について説明する。
二次微分値:sm,t’’=sm,t+1’-sm,t’
ここで、sm,tは時刻tにおける共感解釈の強度の移動平均であり、例えばsm,t=(1/L’)Σm’=-L’/2 L’/2st+m’である。ここで、L’は、時間スケールmに含まれるデータ数、すなわちL’=データのサンプリングレート×時間スケールmである。
検索の他の例である、3人以上の人物から構成されるグループにおけるそのグループを構成する人物の間の感情に基づく構造の検索について説明する。
上記の処理は、記載の順にしたがって時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
以下、共感解釈を求める対話状態推定装置の例について説明する。共感解釈は、例えば、図8に記載された対話状態推定装置1により求められる。
図8を参照して、この実施形態の対話状態推定装置1の構成例について説明する。対話状態推定装置1は入力部10と行動認識部20と共感解釈付与部30とパラメタ学習部40学習用映像記憶部70とモデルパラメタ記憶部74とを備える。学習用映像記憶部70は、例えば、RAM(Random Access Memory)などの主記憶装置、ハードディスクや光ディスクもしくはフラッシュメモリなどの半導体メモリ素子により構成される補助記憶装置、などにより構成することができる。モデルパラメタ記憶部74は、学習用映像記憶部70と同様に構成してもよいし、リレーショナルデータベースやキーバリューストアなどのミドルウェア、などにより構成してもよい。
図11を参照して、対話状態推定装置1の学習フェーズにおける動作例を説明する。
この実施形態のモデルについて詳述する。この実施形態では、外部観察者が与える共感解釈は対話二者の組み合わせ毎に独立であることを仮定する。よって、以下では対話者が二人のみの場合を想定する。なお、対話者が三人以上の場合には、それぞれの対話二者の組み合わせのみに注目して学習を行えばよい。
この実施形態における行動チャネルbについてのタイミングモデルは式(2)のように定義される。
時間差関数P(d~tt b|ct b,et)は、対話二者間の行動が行動チャネルbにおいて一致しているか否かを示す一致性cとその時間差dtによって共感解釈eがどの種類となりやすいかの尤度を表す。この実施形態では、外部観察者の共感解釈の時系列をヒストグラム化した際のビン番号d~tt bを使用している。ビンサイズについては例えば200ミリ秒とする。
変化タイミング関数πはどのタイミングで共感解釈eが変化するかを表す。別の見方をすると、変化タイミング関数πは時間差関数がどの範囲にわたってどの程度の強さで式(1)における共感解釈eの推定に寄与するかを決定する。
静的モデルP(bt|et)は、時刻tに行動チャネルbについて対話二者間で特定の行動が共起した場合に、共感解釈eがどの程度の尤度で生成されるかをモデル化したものである。
この実施形態では、いずれのモデルについても離散状態として記述されているため、学習フェーズではその離散状態が学習サンプル中に何回出現したかの頻度を取り、最後にその頻度を正規化(確率化)すればよい。
図11を参照して、対話状態推定装置1の推定フェーズにおける動作例を説明する。
502 入力部
503 検索部
Claims (10)
- 複数の人物による会話についての情報と、上記複数の人物の中の2人の人物から構成される各ペアについてのその各ペアを構成する2人の人物の間の上記会話における感情についての情報とが記憶されている記憶部と、
感情に関する情報である検索感情情報がクエリとして入力される入力部と、
上記クエリとして入力された検索感情情報をキーとして上記記憶部を検索してその検索感情情報に対応する会話に関する情報を検索結果として得る検索部と、
を含む感情検索装置。 - 請求項1の感情検索装置において、
上記検索部は、上記クエリとして入力された検索感情情報により特定される感情の度合いが所定の値以上である会話に関する情報を検索結果として得る、
感情検索装置。 - 請求項1の感情検索装置において、
上記検索部は、上記クエリとして入力された検索感情情報により特定される感情の度合いが高い又は低い会話に関する情報をその感情の度合いが高い又は低い会話順に優先的に検索結果として得る、
感情検索装置。 - 請求項1の感情検索装置において、
上記検索感情情報は、感情の時間変化についての情報であり、
上記検索部は、上記クエリとして入力された検索感情情報により特定される感情の時間変化をする会話に関する情報を検索結果として得る、
感情検索装置。 - 請求項4の感情検索装置において、
上記クエリとして入力された検索感情情報により特定される感情の時間変化をする会話に関する情報とは、上記感情が時間変化をした時刻における会話に関する情報である、
感情検索装置。 - 請求項1の感情検索装置において、
上記検索感情情報は、3人以上の人物から構成されるグループにおけるそのグループを構成する人物の間の感情に基づく構造についての情報であり、
上記検索部は、上記クエリとして入力された検索感情情報により特定される構造をしている会話に関する情報を検索結果として得る、
感情検索装置。 - 請求項1の感情検索装置において、
上記検索感情情報は、3人以上の人物から構成されるグループにおけるそのグループを構成する人物の間の感情に基づく構造の時間変化についての情報であり、
上記検索部は、上記クエリとして入力された検索感情情報により特定される構造の時間変化をする会話に関する情報を検索結果として得る、
感情検索装置。 - 請求項7の感情検索装置において、
上記クエリとして入力された検索感情情報により特定される構造の時間変化をする会話に関する情報とは、上記構造が時間変化をした時刻における会話に関する情報である、
感情検索装置。 - 複数の人物による会話についての情報と、上記複数の人物の中の2人の人物から構成される各ペアについてのその各ペアを構成する2人の人物の間の上記会話における感情についての情報とが記憶部に記憶されているとして、
入力部において、感情に関する情報である検索感情情報がクエリとして入力される入力ステップと、
検索部が、上記クエリとして入力された検索感情情報をキーとして上記記憶部を検索してその検索感情情報に対応する会話に関する情報を検索結果として得る検索ステップと、
を含む感情検索方法。 - 請求項1から8の何れかに記載された感情検索装置の各部としてコンピュータを機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013199557A JP5840186B2 (ja) | 2013-09-26 | 2013-09-26 | 感情検索装置、方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013199557A JP5840186B2 (ja) | 2013-09-26 | 2013-09-26 | 感情検索装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015064826A true JP2015064826A (ja) | 2015-04-09 |
JP5840186B2 JP5840186B2 (ja) | 2016-01-06 |
Family
ID=52832631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013199557A Active JP5840186B2 (ja) | 2013-09-26 | 2013-09-26 | 感情検索装置、方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5840186B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021250730A1 (ja) * | 2020-06-08 | 2021-12-16 | 日本電信電話株式会社 | メッセージ生成装置、メッセージ提示装置、メッセージ生成方法及びメッセージ生成プログラム |
WO2021250731A1 (ja) * | 2020-06-08 | 2021-12-16 | 日本電信電話株式会社 | メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム |
WO2023162009A1 (ja) * | 2022-02-22 | 2023-08-31 | Nttテクノクロス株式会社 | 感情情報活用装置、感情情報活用方法及びプログラム |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020002464A1 (en) * | 1999-08-31 | 2002-01-03 | Valery A. Petrushin | System and method for a telephonic emotion detection that provides operator feedback |
JP2008204193A (ja) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム |
US20110179003A1 (en) * | 2010-01-21 | 2011-07-21 | Korea Advanced Institute Of Science And Technology | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same |
JP2012113542A (ja) * | 2010-11-25 | 2012-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 感情推定装置、その方法、プログラム及びその記録媒体 |
JP2012185727A (ja) * | 2011-03-07 | 2012-09-27 | Nippon Telegr & Teleph Corp <Ntt> | 対話状態推定装置、方法、及びプログラム |
JP2012208630A (ja) * | 2011-03-29 | 2012-10-25 | Mizuho Information & Research Institute Inc | 発言管理システム、発言管理方法及び発言管理プログラム |
US20120290508A1 (en) * | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
-
2013
- 2013-09-26 JP JP2013199557A patent/JP5840186B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020002464A1 (en) * | 1999-08-31 | 2002-01-03 | Valery A. Petrushin | System and method for a telephonic emotion detection that provides operator feedback |
JP2008204193A (ja) * | 2007-02-20 | 2008-09-04 | Nippon Telegr & Teleph Corp <Ntt> | コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム |
US20110179003A1 (en) * | 2010-01-21 | 2011-07-21 | Korea Advanced Institute Of Science And Technology | System for Sharing Emotion Data and Method of Sharing Emotion Data Using the Same |
JP2012113542A (ja) * | 2010-11-25 | 2012-06-14 | Nippon Telegr & Teleph Corp <Ntt> | 感情推定装置、その方法、プログラム及びその記録媒体 |
JP2012185727A (ja) * | 2011-03-07 | 2012-09-27 | Nippon Telegr & Teleph Corp <Ntt> | 対話状態推定装置、方法、及びプログラム |
JP2012208630A (ja) * | 2011-03-29 | 2012-10-25 | Mizuho Information & Research Institute Inc | 発言管理システム、発言管理方法及び発言管理プログラム |
US20120290508A1 (en) * | 2011-05-09 | 2012-11-15 | Anurag Bist | System and Method for Personalized Media Rating and Related Emotional Profile Analytics |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021250730A1 (ja) * | 2020-06-08 | 2021-12-16 | 日本電信電話株式会社 | メッセージ生成装置、メッセージ提示装置、メッセージ生成方法及びメッセージ生成プログラム |
WO2021250731A1 (ja) * | 2020-06-08 | 2021-12-16 | 日本電信電話株式会社 | メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム |
JP7435768B2 (ja) | 2020-06-08 | 2024-02-21 | 日本電信電話株式会社 | メッセージ選択装置、メッセージ提示装置、メッセージ選択方法及びメッセージ選択プログラム |
WO2023162009A1 (ja) * | 2022-02-22 | 2023-08-31 | Nttテクノクロス株式会社 | 感情情報活用装置、感情情報活用方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5840186B2 (ja) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6023685B2 (ja) | 感情情報表示制御装置、その方法及びプログラム | |
US9900436B2 (en) | Coordinating voice calls between representatives and customers to influence an outcome of the call | |
US11836593B1 (en) | Devices, systems, and methods for learning and using artificially intelligent interactive memories | |
Han et al. | From hard to soft: Towards more human-like emotion recognition by modelling the perception uncertainty | |
US9635178B2 (en) | Coordinating voice calls between representatives and customers to influence an outcome of the call | |
US20210118424A1 (en) | Predicting personality traits based on text-speech hybrid data | |
US20150189233A1 (en) | Facilitating user interaction in a video conference | |
JP5437297B2 (ja) | 対話状態推定装置、方法、及びプログラム | |
CN113259780B (zh) | 全息多维音视频播放进度条生成、显示和控制播放方法 | |
CN113380271B (zh) | 情绪识别方法、系统、设备及介质 | |
WO2016123777A1 (zh) | 一种基于生物特征的对象呈现、推荐方法和装置 | |
Siddique et al. | Zara returns: Improved personality induction and adaptation by an empathetic virtual agent | |
Palmero et al. | Chalearn LAP challenges on self-reported personality recognition and non-verbal behavior forecasting during social dyadic interactions: Dataset, design, and results | |
JP5840186B2 (ja) | 感情検索装置、方法及びプログラム | |
Celiktutan et al. | Continuous prediction of perceived traits and social dimensions in space and time | |
Sun et al. | In your eyes: Modality disentangling for personality analysis in short video | |
Zhang et al. | Coin: Conversational interactive networks for emotion recognition in conversation | |
Agrawal et al. | Multimodal personality recognition using cross-attention transformer and behaviour encoding | |
JP6023684B2 (ja) | 感情情報表示制御装置、その方法及びプログラム | |
WO2020098669A1 (zh) | 一种表情输入的方法、装置、设备以及存储介质 | |
Gatica-Perez et al. | 25 Analysis of Small Groups | |
JP2015075906A (ja) | 感情情報表示制御装置、その方法及びプログラム | |
JP5909472B2 (ja) | 共感解釈推定装置、方法、プログラム | |
JP5931021B2 (ja) | 対人認知傾向モデル学習装置、対人認知状態推定装置、対人認知傾向モデル学習方法、対人認知状態推定方法及びプログラム | |
JP5930946B2 (ja) | 対話状態推定装置、対話状態推定方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150724 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151110 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5840186 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |