JP2009003040A - 音声対話装置、音声対話方法及びロボット装置 - Google Patents
音声対話装置、音声対話方法及びロボット装置 Download PDFInfo
- Publication number
- JP2009003040A JP2009003040A JP2007161998A JP2007161998A JP2009003040A JP 2009003040 A JP2009003040 A JP 2009003040A JP 2007161998 A JP2007161998 A JP 2007161998A JP 2007161998 A JP2007161998 A JP 2007161998A JP 2009003040 A JP2009003040 A JP 2009003040A
- Authority
- JP
- Japan
- Prior art keywords
- timing
- speaker
- voice
- conflict
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【解決手段】音声入力部に入力された音声信号を基に計算した話者の音声特徴量に基づき、話者との対話中にスピーカから相槌音を出力させる相槌タイミングを推測し、話者との対話中に前記スピーカから相槌音を出力させる相槌タイミングがあるとの推測結果が得られると、相槌タイミング直前のパワーを基に相槌音を出力させるか否かを判定するようにしたことにより、対話者が相槌をする目安としている音声特徴量を基に相槌タイミングを推測することで、対話者が相槌をするであろうタイミングを相槌タイミングとして推測できる。また2段階の判定により仮に1度目で誤検出された相槌タイミングがあっても、当該相槌タイミングを棄却することにより、誤って推測した不自然な相槌音の出力を回避でき、かくして自然で円滑な対話を実現できる。
【選択図】図1
Description
竹内真士、北岡教英、中川聖一「韻律・表層的言語情報を発話タイミング制御に用いた雑談対話システム」情報処理学会研究報告、SLP-50、no.14、pp.87-92、2004年2月 藤江真也、福島健太、小林哲則、"言語/非言語情報を用いた相槌機能の実現," 日本音響学会春季研究発表会、pp.655-656、2005年3月
前記話者との対話中に前記相槌手段に相槌させる前記相槌タイミングがあるとの推測結果が得られると、前記相槌タイミング直前の前記音声信号を基に前記相槌手段に相槌させるか否かを最終的に判定する相槌判定ステップとを備えることを特徴とするものである。
図1において、1は本発明による音声対話装置を示し、この音声対話装置1は、話者の発音を集音し、音声信号として得る音声入力部2と、音声入力部2で得られた音声信号に基づいて話者の音声の韻律的特徴を示す情報(以下、これを韻律情報と呼ぶ)を計算するFO抽出・パワー計算部3と、韻律情報に基づいて少ない情報量で音声の特徴を表す情報(以下、これを音声特徴量と呼ぶ)を算出し、この音声特徴量を用いて相槌音を出力するタイミング(以下、これを相槌タイミングと呼ぶ)を推測する推測部4と、当該推測部4で推測した相槌タイミングで相槌音を出力するか否かを相槌判定部5で最終的に判定し、その判定結果により所定の相槌タイミングで相槌音を相槌手段としてのスピーカ6から出力する出力部7とから構成されている。
また、音声対話装置1では、パワーを見るのは相槌音を出力する相槌タイミング直前の一瞬だけなので、従来のポーズ検出手法のように無音区間を判断するために必要な間が生じることを確実に回避でき、かくして自然で円滑な対話を実現できる。
ここでは一般的な人達の相槌を行うタイミングについてデータを収集した。先ず始めに、昼食を話題とする人同士(1対1)の対面対話を収録した。各対話の参加者は6名で、そのうち任意に選んだ2名を1組とした。そして、各話者の音声は、パワーとゼロクロスとを元に発話単位に切り出され、計861発話、約50分のデータとした。
次に、上述したようにして得られたタイミングデータが被験者間でどの程度一致するかを調べた。図8に示すように、ある目的の被験者が相槌を打ったタイミングtg1の前後0.3[s]に注目し、その目的の被験者が相槌を打ったタイミングtg1の総数(Total)をTとし、そのうち注目する範囲ER1に他被験者が相槌を打っていないタイミングitg(Insertion)の数をIとした。
上述の実験により被験者から収集したタイミングデータを用いて、本発明の音声対話装置1における1段階判定しか行わない手法(以下、1段階判定手法と呼ぶ)と、従来のポーズ認識を用いた手法(以下、従来手法と呼ぶ)による相槌タイミング検出実験を行い、比較検討した。なお、従来手法による相槌タイミング検出は、予備実験で最も評価値の高かった0.45[s]ポーズが続いたら相槌音を出力するという音声対話装置を用いた。実際の性能の評価は次式のF値
図6に示したように、相槌タイミング検出の際、実際に相槌音を出力する相槌タイミングの0.7[s]前までの情報のみを用いて相槌タイミング検出を行った。上述した韻律情報を用いて1度相槌タイミングの検出を行い、その後実際に相槌音を出力するまでの0.7[s]間の情報を用いて2度目の判定を行い、相槌タイミング検出の精度について検証した。
次に、実際に人と音声対話装置とが対話したとき、音声対話装置が出力した相槌音をどのように感じるか調べるために聴取実験を行った。
なお、本発明は、本実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能であり、例えば、図1との対応部分に同一符号を付して示す図16のように、端末装置52とサーバ51とが無線通信接続された構成からなる音声対話システム50を構築するようにしても良い。
2 音声入力部
4 推測部(推測手段)
5 相槌判定部(相槌判定手段)
6 スピーカ(相槌手段、電気音響変換手段)
Claims (12)
- 入力された音声信号を基に計算した話者の音声特徴量に基づいて、前記話者との対話中に相槌手段に相槌させる相槌タイミングを推測する推測手段と、
前記話者との対話中に前記相槌手段に相槌させる前記相槌タイミングがあるとの推測結果が前記推測手段により得られると、前記相槌タイミング直前の前記音声信号を基に前記相槌手段に相槌させるか否かを最終的に判定する相槌判定手段と
を備えることを特徴とする音声対話装置。 - 前記相槌判定手段は、前記相槌タイミングの直前で前記話者が発話しているか否かを前記音声信号に基づき判定し、前記相槌タイミングの直前で前記話者が発話していないと判断したときにのみ前記相槌手段に相槌させる
ことを特徴とする請求項1記載の音声対話装置。 - 前記音声特徴量は、前記話者の韻律的特徴を示した韻律情報である
ことを特徴とする請求項1又は2記載の音声対話装置。 - 前記相槌判定手段は、前記相槌タイミングの直前の前記音声信号から得られる音声らしさを表す評価値が所定の閾値以下のときに、前記話者が発話していないと判断する
ことを特徴とする請求項2又は3記載の音声対話装置。 - 前記相槌手段は、前記相槌判定手段からの相槌信号により、前記相槌として所定の相槌音を出力する電気音響変換手段である
ことを特徴とする請求項1〜4のうちいずれか1項記載の音声対話装置。 - 入力された音声信号を基に計算した話者の音声特徴量に基づいて、前記話者との対話中に相槌手段に相槌させる相槌タイミングを推測する推測ステップと、
前記話者との対話中に前記相槌手段に相槌させる前記相槌タイミングがあるとの推測結果が得られると、前記相槌タイミング直前の前記音声信号を基に前記相槌手段に相槌させるか否かを最終的に判定する相槌判定ステップと
を備えることを特徴とする音声対話方法。 - 前記相槌判定ステップは、前記相槌タイミングの直前で前記話者が発話しているか否かを前記音声信号に基づき判定し、前記相槌タイミングの直前で前記話者が発話していないと判断したときにのみ前記相槌手段に相槌させる
を備えることを特徴とする請求項6記載の音声対話方法。 - 前記音声特徴量は、前記話者の韻律的特徴を示した韻律情報である
ことを特徴とする請求項6又は7記載の音声対話方法。 - 前記相槌判定ステップは、前記相槌タイミングの直前の前記音声信号から得られる音声らしさを表す評価値が所定の閾値以下のときに、前記話者が発話していないと判断する
ことを特徴とする請求項7又は8記載の音声対話方法。 - 前記相槌手段は、前記相槌判定手段からの相槌信号により、前記相槌として所定の相槌音を出力する電気音響変換手段である
ことを特徴とする請求項6〜9のうちいずれか1項記載の音声対話方法。 - 前記請求項1〜5に記載の音声対話装置を備えた
ことを特徴とするロボット装置。 - 前記相槌手段は可動部であって、
前記可動部は、前記相槌タイミングに相槌させるとの判定結果を前記相槌判定手段から得ると、前記相槌タイミングに相槌動作を行う
ことを特徴とする請求項11記載のロボット装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007161998A JP5051882B2 (ja) | 2007-06-20 | 2007-06-20 | 音声対話装置、音声対話方法及びロボット装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007161998A JP5051882B2 (ja) | 2007-06-20 | 2007-06-20 | 音声対話装置、音声対話方法及びロボット装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009003040A true JP2009003040A (ja) | 2009-01-08 |
JP5051882B2 JP5051882B2 (ja) | 2012-10-17 |
Family
ID=40319522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007161998A Expired - Fee Related JP5051882B2 (ja) | 2007-06-20 | 2007-06-20 | 音声対話装置、音声対話方法及びロボット装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5051882B2 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9653078B2 (en) | 2014-08-21 | 2017-05-16 | Toyota Jidosha Kabushiki Kaisha | Response generation method, response generation apparatus, and response generation program |
WO2017179262A1 (ja) * | 2016-04-12 | 2017-10-19 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP6400871B1 (ja) * | 2018-03-20 | 2018-10-03 | ヤフー株式会社 | 発話制御装置、発話制御方法、および発話制御プログラム |
JP2018200386A (ja) * | 2017-05-26 | 2018-12-20 | トヨタ自動車株式会社 | 音声対話装置 |
JP2019035897A (ja) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | 決定装置、決定方法、及び決定プログラム |
US10339930B2 (en) | 2016-09-06 | 2019-07-02 | Toyota Jidosha Kabushiki Kaisha | Voice interaction apparatus and automatic interaction method using voice interaction apparatus |
JP2019164321A (ja) * | 2018-08-28 | 2019-09-26 | ヤフー株式会社 | 発話制御装置、発話制御方法、および発話制御プログラム |
CN110473533A (zh) * | 2018-05-11 | 2019-11-19 | 丰田自动车株式会社 | 语音对话系统、语音对话方法以及程序 |
CN112232536A (zh) * | 2020-10-19 | 2021-01-15 | 合肥市嘉辉电子科技有限公司 | 一种银行用人脸识别引导系统 |
CN113436610A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 测试方法、装置及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03248268A (ja) * | 1990-02-26 | 1991-11-06 | Nec Corp | 音声対話処理方式 |
JPH08211986A (ja) * | 1995-02-08 | 1996-08-20 | Sharp Corp | あいづち応答のある対話装置 |
JP2003202895A (ja) * | 2002-01-10 | 2003-07-18 | Sony Corp | 対話装置及び対話制御方法、記憶媒体、並びにコンピュータ・プログラム |
JP2005196134A (ja) * | 2003-12-12 | 2005-07-21 | Toyota Central Res & Dev Lab Inc | 音声対話システム及び方法並びに音声対話プログラム |
-
2007
- 2007-06-20 JP JP2007161998A patent/JP5051882B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03248268A (ja) * | 1990-02-26 | 1991-11-06 | Nec Corp | 音声対話処理方式 |
JPH08211986A (ja) * | 1995-02-08 | 1996-08-20 | Sharp Corp | あいづち応答のある対話装置 |
JP2003202895A (ja) * | 2002-01-10 | 2003-07-18 | Sony Corp | 対話装置及び対話制御方法、記憶媒体、並びにコンピュータ・プログラム |
JP2005196134A (ja) * | 2003-12-12 | 2005-07-21 | Toyota Central Res & Dev Lab Inc | 音声対話システム及び方法並びに音声対話プログラム |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9653078B2 (en) | 2014-08-21 | 2017-05-16 | Toyota Jidosha Kabushiki Kaisha | Response generation method, response generation apparatus, and response generation program |
WO2017179262A1 (ja) * | 2016-04-12 | 2017-10-19 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US11100944B2 (en) | 2016-04-12 | 2021-08-24 | Sony Corporation | Information processing apparatus, information processing method, and program |
CN108885594A (zh) * | 2016-04-12 | 2018-11-23 | 索尼公司 | 信息处理装置、信息处理方法和程序 |
JPWO2017179262A1 (ja) * | 2016-04-12 | 2019-02-14 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10339930B2 (en) | 2016-09-06 | 2019-07-02 | Toyota Jidosha Kabushiki Kaisha | Voice interaction apparatus and automatic interaction method using voice interaction apparatus |
JP2018200386A (ja) * | 2017-05-26 | 2018-12-20 | トヨタ自動車株式会社 | 音声対話装置 |
JP2019035897A (ja) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | 決定装置、決定方法、及び決定プログラム |
JP2019164301A (ja) * | 2018-03-20 | 2019-09-26 | ヤフー株式会社 | 発話制御装置、発話制御方法、および発話制御プログラム |
JP6400871B1 (ja) * | 2018-03-20 | 2018-10-03 | ヤフー株式会社 | 発話制御装置、発話制御方法、および発話制御プログラム |
CN110473533A (zh) * | 2018-05-11 | 2019-11-19 | 丰田自动车株式会社 | 语音对话系统、语音对话方法以及程序 |
KR20190129731A (ko) * | 2018-05-11 | 2019-11-20 | 도요타 지도샤(주) | 음성대화 시스템, 음성대화 방법 및 프로그램 |
KR102217917B1 (ko) * | 2018-05-11 | 2021-02-19 | 도요타 지도샤(주) | 음성대화 시스템, 음성대화 방법 및 프로그램 |
US10971149B2 (en) | 2018-05-11 | 2021-04-06 | Toyota Jidosha Kabushiki Kaisha | Voice interaction system for interaction with a user by voice, voice interaction method, and program |
CN110473533B (zh) * | 2018-05-11 | 2023-03-10 | 丰田自动车株式会社 | 语音对话系统、语音对话方法以及程序 |
JP2019164321A (ja) * | 2018-08-28 | 2019-09-26 | ヤフー株式会社 | 発話制御装置、発話制御方法、および発話制御プログラム |
CN113436610A (zh) * | 2020-03-23 | 2021-09-24 | 阿里巴巴集团控股有限公司 | 测试方法、装置及系统 |
CN112232536A (zh) * | 2020-10-19 | 2021-01-15 | 合肥市嘉辉电子科技有限公司 | 一种银行用人脸识别引导系统 |
Also Published As
Publication number | Publication date |
---|---|
JP5051882B2 (ja) | 2012-10-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5051882B2 (ja) | 音声対話装置、音声対話方法及びロボット装置 | |
US8589167B2 (en) | Speaker liveness detection | |
RU2439716C2 (ru) | Детектирование автоответчика путем распознавания речи | |
CN107799126A (zh) | 基于有监督机器学习的语音端点检测方法及装置 | |
US8473282B2 (en) | Sound processing device and program | |
KR20060022156A (ko) | 분산 음성 인식 시스템 및 그 방법 | |
JP6585733B2 (ja) | 情報処理装置 | |
US20210118464A1 (en) | Method and apparatus for emotion recognition from speech | |
JP2014191029A (ja) | 音声認識システムおよび音声認識システムの制御方法 | |
CN110867197A (zh) | 语音交互过程中实时打断语音机器人的方法及设备 | |
JP2011248025A (ja) | チャネル統合方法、チャネル統合装置、プログラム | |
WO2023088083A1 (zh) | 语音增强方法和装置 | |
JP5385876B2 (ja) | 音声区間検出方法、音声認識方法、音声区間検出装置、音声認識装置、そのプログラム及び記録媒体 | |
JP6766675B2 (ja) | 音声対話装置 | |
EP2030195B1 (en) | Speech differentiation | |
JP4752516B2 (ja) | 音声対話装置および音声対話方法 | |
KR20210000802A (ko) | 인공지능 음성 인식 처리 방법 및 시스템 | |
CN112435669B (zh) | 一种机器人多轮对话语音交互方法、系统和终端设备 | |
JP2004252085A (ja) | 音声変換システム及び音声変換プログラム | |
JP2007086592A (ja) | 音声出力装置および音声出力方法 | |
JP3846500B2 (ja) | 音声認識対話装置および音声認識対話処理方法 | |
JP4449380B2 (ja) | 話者正規化方法及びそれを用いた音声認識装置 | |
KR20040082756A (ko) | 비음성 제거에 의한 음성 추출 방법 | |
Mital | Speech enhancement for automatic analysis of child-centered audio recordings | |
Kazemzadeh et al. | Acoustic correlates of user response to error in human-computer dialogues |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100601 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111003 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120702 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120723 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150803 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |