JP2010266522A - 対話状態分割装置とその方法、そのプログラムと記録媒体 - Google Patents
対話状態分割装置とその方法、そのプログラムと記録媒体 Download PDFInfo
- Publication number
- JP2010266522A JP2010266522A JP2009115499A JP2009115499A JP2010266522A JP 2010266522 A JP2010266522 A JP 2010266522A JP 2009115499 A JP2009115499 A JP 2009115499A JP 2009115499 A JP2009115499 A JP 2009115499A JP 2010266522 A JP2010266522 A JP 2010266522A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- frame
- unit
- dialog state
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】 この発明の対話状態分割装置は、発話区間検出部と、フレーム抽出部と、フレーム内発話時間比計算部と、対話状態分類部とを具備する。発話区間検出部は、二者が会話する音声データを入力として、その二者のそれぞれの発話区間を検出する。フレーム抽出部は、それぞれの発話区間を経過時間順に並べて所定数の発話区間を1フレームとして出力する。フレーム内発話時間比計算部は、フレーム毎のそれぞれの発話区間の時間比を計算する。フレーム代表スコア計算部は、発話区間の時間比から1フレーム内の代表スコアを発話区間の単位で決定する。対話状態分割部は、発話区間の時間比を少なくとも2個の閾値と比較することでフレームを少なくとも3つの対話状態にそれぞれ分割する。
【選択図】図2
Description
〔この発明の考え〕
この発明の対話状態分割方法は、二者の話者のどちらが会話の主導権を握っているか、に着目して対話状態を分割する考えである。図1に、例えばコールセンターにおける顧客とオペレータの対話状態の一例を示す。図1の横方向は経過時間であり、その経過時間を表す中心線の上側にオペレータの発話区間、下側に顧客の発話区間を示す。
図4に発話区間検出部10の機能構成例を示す。図4に示す例は、二者が会話する音声データが、それぞれ分離された2チャネルの(ステレオ信号)信号で与えられる場合の例である。
図6にフレーム抽出部11の機能構成例を示す。フレーム抽出部11は、発話時間順配列手段111と、フレーム生成手段112とを備える。発話時間順配列手段111は、二者のそれぞれの発話区間を発話開始時間順に配列する。
図8にフレーム内発話時間比計算部12の機能構成例を示す。フレーム内発話時間比計算部12は、発話者発話時間集計手段121と、発話時間比計算手段122とを備える。発話者発話時間集計手段121は、発話者毎に発話時間を集計する。図7に示したフレームF1の例では、オペレータの発話時間OPE1+OPE2を計算して、顧客の発話時間USR1と切り分ける動作を行う。
R1+OPE2)である。
客に対して長く話をしていることを意味する。0に近い値であれば顧客がオペレータに対
して長く話をしていることを意味する。0.5に近い値であればオペレータと顧客がほぼ
同じ時間話をしていることを意味する。
フレーム代表スコア計算部13は、1フレーム内の代表スコアを発話区間の単位で決定
する。図9にフレーム代表スコア計算部13の出力信号の一例を概念的に示す。図9の横
方向には発話区間Uiが経過時間順に並べられ、縦方向はフレームFjが経過時間順に並べられている。図9は1フレームが3個の発話区間から成る例である。
図12に対話状態分割部14の動作フローを示す。対話状態分割部14は、フレーム代表スコア計算部13が出力する代表スコアを、少なくとも2個の閾値X,Yと比較することで、各フレームを少なくとも3つの対話状態に分類する。
対話状態分割装置100は、発話区間検出部10で検出した発話区間を、フレーム抽出部11が経過時間順に所定数並べて1フレームとする。発話区間としては、「はい」や「えー」等の相槌も含まれる。
ることなく対話状態を少なくとも、「顧客が用件を述べている状態」、「オペレータが顧
客から情報を聞きだしている状態」、「オペレータが回答している状態」の3つの状態に
分割することができる。会話者の発話時間比を用いて対話状態を分割するので、会話情報
をテキスト情報に変換するコストがかからない。また、テキスト書き起こしに音声認識を
用いた場合の認識結果誤りの影響を受けない等の効果を奏する。
Claims (10)
- 二者が会話する音声データを入力として、その二者のそれぞれの発話区間を検出する発話区間検出部と、
上記それぞれの発話区間を経過時間順に並べて所定数の発話区間を1フレームとして出力するフレーム抽出部と、
上記1フレーム内のそれぞれの発話区間の時間比を上記1フレーム毎に計算するフレーム内発話時間比計算部と、
上記発話区間の時間比から上記1フレーム内の代表スコアを上記発話区間の単位で決定するフレーム代表スコア計算部と、
上記代表スコアを少なくとも2個の閾値と比較することで、各フレームを少なくとも3つの対話状態にそれぞれ分類する対話状態分割部と、
を具備する対話状態分割装置。 - 請求項1に記載の対話状態分割装置において、
上記発話区間検出部は、
上記二者が会話する音声データのそれぞれの音声パワーを計算するパワー計算手段と、
上記音声パワーを所定の閾値と比較し、その閾値以上の音声パワーが続いた区間を発話区間として出力する音声区間検出手段と、
を備えることを特徴とする対話状態分割装置。 - 請求項1又は2に記載した対話状態分割装置において、
上記フレーム抽出部は、
上記発話区間を入力として、その発話区間を経過時間順に配列する発話時間順配列手段と、
上記経過時間順に配列された発話区間を予め定めた数毎にまとめて1フレームとして出力するフレーム生成手段と、
を備えることを特徴とする対話状態分割装置。 - 請求項3に記載した対話状態分割装置において、
上記フレーム生成手段は、
所定時間幅に満たない上記発話単位を削除する相槌発話単位削除手段を更に備えること、
を特徴とする対話状態分割装置。 - 請求項1乃至4の何れかに記載した対話状態分割装置において、
上記フレーム内発話時間比計算部は、
上記1フレーム内の発話区間を二者の発話者毎に集計する発話者発話時間集計手段と、
上記集計した一方の発話者の発話時間を上記1フレーム全体の時間長で除した発話時間比を計算する発話時間比計算手段と、
を備えることを特徴とする対話状態分割装置。 - 請求項1乃至5の何れかに記載した対話状態分割装置において、
上記フレーム代表スコア計算部は、複数のフレームの発話区間の時間比の平均値を、上記代表スコアとして出力するものであること、
を特徴とする対話状態分割装置。 - 請求項1乃至6の何れかに記載した対話状態分割装置において、
上記対話状態分割部の上記2個の閾値の一方は0.5より小であり、他方の閾値は0.5より大であること、
を特徴とする対話状態分割装置。 - 発話区間検出部が、二者が会話する音声データを入力として、その二者のそれぞれの発話区間を検出する発話区間検出過程と、
フレーム抽出部が、上記それぞれの発話区間を経過時間順に並べて所定数の発話区間を1フレームとして出力するフレーム抽出過程と、
フレーム内発話時間比計算部が、上記フレーム毎の上記それぞれの発話区間の時間比を計算するフレーム内発話時間比計算過程と、
フレーム代表スコア計算部が、上記発話区間の時間比から上記1フレーム内の代表スコアを上記発話区間の単位で決定するフレーム代表スコア計算過程と、
対話状態分類部が、上記代表スコアを少なくとも2個の閾値と比較することで、各フレームを少なくとも3つの対話状態にそれぞれ分類する対話状態分類過程と、
を含む対話状態分割方法。 - 請求項1乃至7の何れかに記載した対話状態分割装置としてコンピュータを機能させるための装置プログラム。
- 請求項9に記載した何れかの装置プログラムを記録したコンピュータで読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009115499A JP5385677B2 (ja) | 2009-05-12 | 2009-05-12 | 対話状態分割装置とその方法、そのプログラムと記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009115499A JP5385677B2 (ja) | 2009-05-12 | 2009-05-12 | 対話状態分割装置とその方法、そのプログラムと記録媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010266522A true JP2010266522A (ja) | 2010-11-25 |
JP5385677B2 JP5385677B2 (ja) | 2014-01-08 |
Family
ID=43363568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009115499A Expired - Fee Related JP5385677B2 (ja) | 2009-05-12 | 2009-05-12 | 対話状態分割装置とその方法、そのプログラムと記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5385677B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013225002A (ja) * | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | データ分析装置、データ分析方法およびデータ分析プログラム |
JP2013225003A (ja) * | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 音声データ分析装置、音声データ分析方法および音声データ分析プログラム |
WO2015019662A1 (ja) * | 2013-08-07 | 2015-02-12 | 日本電気株式会社 | 分析対象決定装置及び分析対象決定方法 |
US9031841B2 (en) | 2011-12-28 | 2015-05-12 | Fujitsu Limited | Speech recognition apparatus, speech recognition method, and speech recognition program |
JP2015219480A (ja) * | 2014-05-21 | 2015-12-07 | 日本電信電話株式会社 | 対話状況特徴計算装置、文末記号推定装置、これらの方法及びプログラム |
US9536526B2 (en) | 2014-09-22 | 2017-01-03 | Kabushiki Kaisha Toshiba | Electronic device with speaker identification, method and storage medium |
EP3147903A2 (en) | 2015-09-24 | 2017-03-29 | Fujitsu Limited | Voice processing apparatus, voice processing method, and non-transitory computer-readable storage medium |
WO2019130816A1 (ja) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び評価方法 |
WO2019139101A1 (ja) * | 2018-01-12 | 2019-07-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252595A (ja) * | 2004-03-03 | 2005-09-15 | Hisatoku Ito | 会話支援システム |
JP2006267465A (ja) * | 2005-03-23 | 2006-10-05 | Tokyo Electric Power Co Inc:The | 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体 |
JP2007033754A (ja) * | 2005-07-26 | 2007-02-08 | Nec Corp | 音声監視システムと方法並びにプログラム |
JP2007184699A (ja) * | 2006-01-05 | 2007-07-19 | Fujitsu Ltd | 音声データの聞き出し部分特定処理プログラムおよび処理装置 |
WO2009107211A1 (ja) * | 2008-02-28 | 2009-09-03 | 富士通株式会社 | 音声データの質問発話部抽出処理プログラム,方法および装置,ならびに音声データの質問発話部を用いた顧客問い合わせ傾向推定処理プログラム,方法および装置 |
JP2009216840A (ja) * | 2008-03-07 | 2009-09-24 | Internatl Business Mach Corp <Ibm> | 2者間の対話の音声データを処理するシステム、方法およびプログラム |
-
2009
- 2009-05-12 JP JP2009115499A patent/JP5385677B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005252595A (ja) * | 2004-03-03 | 2005-09-15 | Hisatoku Ito | 会話支援システム |
JP2006267465A (ja) * | 2005-03-23 | 2006-10-05 | Tokyo Electric Power Co Inc:The | 発話状態評価装置、発話状態評価プログラム、プログラム格納媒体 |
JP2007033754A (ja) * | 2005-07-26 | 2007-02-08 | Nec Corp | 音声監視システムと方法並びにプログラム |
JP2007184699A (ja) * | 2006-01-05 | 2007-07-19 | Fujitsu Ltd | 音声データの聞き出し部分特定処理プログラムおよび処理装置 |
WO2009107211A1 (ja) * | 2008-02-28 | 2009-09-03 | 富士通株式会社 | 音声データの質問発話部抽出処理プログラム,方法および装置,ならびに音声データの質問発話部を用いた顧客問い合わせ傾向推定処理プログラム,方法および装置 |
JP2009216840A (ja) * | 2008-03-07 | 2009-09-24 | Internatl Business Mach Corp <Ibm> | 2者間の対話の音声データを処理するシステム、方法およびプログラム |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9031841B2 (en) | 2011-12-28 | 2015-05-12 | Fujitsu Limited | Speech recognition apparatus, speech recognition method, and speech recognition program |
JP2013225003A (ja) * | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | 音声データ分析装置、音声データ分析方法および音声データ分析プログラム |
JP2013225002A (ja) * | 2012-04-20 | 2013-10-31 | Nippon Telegr & Teleph Corp <Ntt> | データ分析装置、データ分析方法およびデータ分析プログラム |
JPWO2015019662A1 (ja) * | 2013-08-07 | 2017-03-02 | 日本電気株式会社 | 分析対象決定装置及び分析対象決定方法 |
WO2015019662A1 (ja) * | 2013-08-07 | 2015-02-12 | 日本電気株式会社 | 分析対象決定装置及び分析対象決定方法 |
US9875236B2 (en) | 2013-08-07 | 2018-01-23 | Nec Corporation | Analysis object determination device and analysis object determination method |
JP2015219480A (ja) * | 2014-05-21 | 2015-12-07 | 日本電信電話株式会社 | 対話状況特徴計算装置、文末記号推定装置、これらの方法及びプログラム |
US9536526B2 (en) | 2014-09-22 | 2017-01-03 | Kabushiki Kaisha Toshiba | Electronic device with speaker identification, method and storage medium |
EP3147903A2 (en) | 2015-09-24 | 2017-03-29 | Fujitsu Limited | Voice processing apparatus, voice processing method, and non-transitory computer-readable storage medium |
US9916843B2 (en) | 2015-09-24 | 2018-03-13 | Fujitsu Limited | Voice processing apparatus, voice processing method, and non-transitory computer-readable storage medium to determine whether voice signals are in a conversation state |
WO2019130816A1 (ja) * | 2017-12-25 | 2019-07-04 | 京セラドキュメントソリューションズ株式会社 | 情報処理装置及び評価方法 |
WO2019139101A1 (ja) * | 2018-01-12 | 2019-07-18 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
CN111542876A (zh) * | 2018-01-12 | 2020-08-14 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
JPWO2019139101A1 (ja) * | 2018-01-12 | 2021-01-28 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7276158B2 (ja) | 2018-01-12 | 2023-05-18 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
US11837233B2 (en) | 2018-01-12 | 2023-12-05 | Sony Corporation | Information processing device to automatically detect a conversation |
Also Published As
Publication number | Publication date |
---|---|
JP5385677B2 (ja) | 2014-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5385677B2 (ja) | 対話状態分割装置とその方法、そのプログラムと記録媒体 | |
US8676586B2 (en) | Method and apparatus for interaction or discourse analytics | |
JP6341092B2 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
CN111128223B (zh) | 一种基于文本信息的辅助说话人分离方法及相关装置 | |
US8412530B2 (en) | Method and apparatus for detection of sentiment in automated transcriptions | |
US20180218738A1 (en) | Word-level blind diarization of recorded calls with arbitrary number of speakers | |
US8306814B2 (en) | Method for speaker source classification | |
US7716048B2 (en) | Method and apparatus for segmentation of audio interactions | |
US9711167B2 (en) | System and method for real-time speaker segmentation of audio interactions | |
US8165874B2 (en) | System, method, and program product for processing speech ratio difference data variations in a conversation between two persons | |
WO2014069076A1 (ja) | 会話分析装置及び会話分析方法 | |
JP4972107B2 (ja) | 通話状態判定装置、通話状態判定方法、プログラム、記録媒体 | |
US20210306457A1 (en) | Method and apparatus for behavioral analysis of a conversation | |
US11270691B2 (en) | Voice interaction system, its processing method, and program therefor | |
JP6213476B2 (ja) | 不満会話判定装置及び不満会話判定方法 | |
JP6208794B2 (ja) | 会話分析装置、方法及びコンピュータプログラム | |
JP6365304B2 (ja) | 会話分析装置及び会話分析方法 | |
US9875236B2 (en) | Analysis object determination device and analysis object determination method | |
US11398239B1 (en) | ASR-enhanced speech compression | |
WO2014069443A1 (ja) | 不満通話判定装置及び不満通話判定方法 | |
CN113689886B (zh) | 语音数据情感检测方法、装置、电子设备和存储介质 | |
WO2014069444A1 (ja) | 不満会話判定装置及び不満会話判定方法 | |
Zhang et al. | An advanced entropy-based feature with a frame-level vocal effort likelihood space modeling for distant whisper-island detection | |
Zhang et al. | Frame-level vocal effort likelihood space modeling for improved whisper-island detection |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110720 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111108 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131004 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5385677 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |