JP2017122815A - 会話支援システム、会話支援装置及び会話支援プログラム - Google Patents
会話支援システム、会話支援装置及び会話支援プログラム Download PDFInfo
- Publication number
- JP2017122815A JP2017122815A JP2016001342A JP2016001342A JP2017122815A JP 2017122815 A JP2017122815 A JP 2017122815A JP 2016001342 A JP2016001342 A JP 2016001342A JP 2016001342 A JP2016001342 A JP 2016001342A JP 2017122815 A JP2017122815 A JP 2017122815A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- utterance
- speaker
- conversation
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【解決手段】ロボットと利用者との会話を、又は、表示装置に表示される話者と利用者との会話を支援する会話支援システムであって、ロボットを、又は、表示装置に表示される話者を制御する動作制御部と、ロボット又は話者が発話するタイミングを制御する制御信号を出力する発話制御部とを備え、動作制御部は、発話制御部からの発話のタイミングに基づいて、発話の前にロボット又は話者が会話を支援する動作を行うよう制御する。
【選択図】図4
Description
図1は、本実施形態におけるロボット(会話支援システム)100が備える機能構成の概略を示す図である。ロボット100は、一人又は複数人の利用者と会話を行うことができるロボットである。
公知文献1:澤田 宏、外4名、"多人数多マイクでの発話区間検出〜ピンマイクでの事例〜"、日本音響学会 春季研究発表会、pp.679−680、2007年3月
(1)吸気音又はフィラーを発声する
(2)現話者に視線向ける
(3)現話者の会話に頷く
図3は、本実施形態における動作制御部109の構成の詳細の具体例を示す図である。動作制御部109は、発話制御部301と、動作パターン情報格納部302と、動作制御信号生成部303とを備える。発話制御部301は、ロボット100の発話の開始タイミングを指示する発話タイミング信号を出力する。この発話タイミング信号は、所定秒数後または任意の秒数後にロボット100が発話を開始するよう音制御部110へ指示する信号である。
図4は、本実施形態における音制御部110の構成の詳細の具体例を示す図である。音制御部110は、音声解析部401と、会話情報生成部402と、会話情報DB(データベース)403と、会話支援情報生成部404と、呼吸音情報格納部405と、フィラー情報格納部406と、発声情報生成部407と、音信号生成部408とを備える。ここで、フィラーとは、言い淀み時などに出現する場つなぎのための発声であり、例えば、「あのー」、「そのー」、「えっと」、等の音声である。
図6は、本実施形態におけるロボット100の会話動作を示すフロー図である。図6に示すように、ロボット100が会話モードに設定されることにより会話動作を開始する(ステップS100)。利用者の発話を集音したマイク101から音声信号が音声入力部104に入力され、利用者を撮影したカメラ102から映像信号が映像入力部105に入力され、利用者の位置を検出したセンサ103からセンサ信号がセンサ入力部106に入力される(ステップS101)。
なお、動作制御部109は、ステップS101において、ロボット100の動作を非話者の動作に制御する。ここで非話者とは、発話していない者のことであり、現話者の話を聞いている者のことでもある。また、非話者の動作とは、例えば、任意のタイミングで軽く頷いたり、任意のタイミングで瞬きしたり、任意のタイミングで相槌を打ったりする動作である。
たとえば、下記の公知文献2には、人間が現話者の発話末(次発話の直前)に行う視線移動のパターンについて調査結果が記載されている。図7は、公知文献2において、現話者が、話者継続時と話者交替時とで、どのような視線行動を行うかを、分析した結果を示す図である。
公知文献2:石井亮、外4名、“複数人対話における注視遷移パターンに基づく次話者と発話タイミングの予測”、人工知能学会研究会資料、SIG-SLUD-B301-06、pp.27-34、2013年
X:人物以外を注視
L1〜L2:非話者を注視(相互注視無)
L1M〜L2M:非話者と相互注視
S:現話者を注視(相互注視無)
SM:現話者と相互注視
L1〜L2:非話者を注視(相互注視無)
L1M〜L2M:非話者と相互注視
たとえば、下記の公知文献3には、人間の発話の直前に起こる頭部動作を分析した結果が記載されている。公知文献3では、人間の頭部の位置(X,Y,Z)、回転角(Azimuth, Elevation, Roll)を30Hzで計測している。また、現話者の発話末から前3秒間における、頭部の位置(X,Y,Z)及び回転角(Azimuth, Elevation, Roll)のそれぞれの1秒間の平均変化量(MO)、パラメータ変化を波系として捉えた時の平均振幅(AM)、1秒間の波形の平均周波数(FQ)を求めて分析している。
公知文献3:石井 亮、外3名、“複数人対話での話者交替に関する頭部動作の分析 〜次話者と発話開始タイミングの予測モデルの構築に向けて〜”、HCGシンポジウム、2014年
たとえば、下記の公知文献4には、人間の発話の直前に起こる呼吸動作の特徴が明らかにされている。公知文献4に記載されているように、現話者は話者継続時に、発話終了直後すぐに、短く、急激に吸気する。またその吸気開始のタイミングは、次発話開始から平均350ミリ秒前である。話者交替時の次話者の発話直前の呼気は、多く、急激に、深く、吸気を行う。またその吸気開始のタイミングは、次発話開始から平均900ミリ秒前である。
・MAX: 息の吸い込み終了時のRSP値、すなわち、息の吸い込み区間のRSP値の最大値
・AMP: 息の吸い込み区間のRSP値の波形の振幅
・DUR: 息の吸い込み区間の長さ
・SLO: 息の吸い込み区間におけるRSP値の波形の1秒間当たりの傾きの平均値
・INT1: 現話者のIPU(Inter-Pausal Unit)末から息の吸い込みが開始されるまでの間隔
・INT2: 息の吸い込み開始時から次話者のIPUが開始されるまでの間隔
・INT3: 息の吸い込み終了時から次話者のIPUが開始されるまでの間隔
これらのパラメータを利用すれば、ロボット100の肺気量(胸部、腹部の長さ)を制御することが可能である。
公知文献5には、フィラーが発生する局面の一つとしてとして、発話の冒頭や、発話と発話の合間に現れることが記載されている。このようなフィラーは、発話の開始の合図や、発話の継続を周囲の利用者に知らせる機能を有することも記載されている。
公知文献5:山根智恵(2002)『日本語の談話におけるフィラー』、日本語研究叢書15、くろしお出版
ロボット100は、早くとも発話開始の5秒前にフィラーを発生することによって、発話開始を事前に通知する。
公知文献6:特開2003−8974号公報
Claims (8)
- ロボットを、又は、表示装置に表示される話者を制御する動作制御部と、
前記ロボット又は前記話者が発話するタイミングを制御する制御信号を出力する発話制御部と、
を備え、
前記動作制御部は、前記発話制御部からの発話のタイミングに基づいて、前記発話の前に前記ロボット又は前記話者が会話を支援する動作を行うよう制御する会話支援システム。 - 前記会話を支援する動作は、呼吸音を発する動作である請求項1に記載の会話支援システム。
- 前記呼吸音は吸気音である請求項2に記載の会話支援システム。
- 前記ロボット又は前記話者は、眼部を備え、
前記ロボット又は前記表示装置は、前記眼部の視線を制御する視線制御部を備える構成であり、
前記会話を支援する動作は、前記眼部の前記視線を制御する動作である請求項1から請求項3のいずれか一項に記載の会話支援システム。 - 前記ロボット又は前記話者は、顔を有する頭部と、前記頭部を可動に支える頸部とを備える構成であり、
前記会話を支援する動作は、前記頭部の動きを制御する動作である請求項1から請求項4のいずれか一項に記載の会話支援システム。 - 前記会話を支援する動作は、フィラーを発する動作である請求項1から請求項4のいずれか一項に記載の会話支援システム。
- ロボットを、又は、表示装置に表示される話者を制御する動作制御部と、
前記ロボット又は前記話者が発話するタイミングを制御する制御信号を出力する発話制御部と、
を備え、
前記動作制御部は、前記発話制御部からの発話のタイミングに基づいて、前記発話の前に前記ロボット又は前記話者が会話を支援する動作を行うよう制御する会話支援装置。 - ロボットを、又は、表示装置に表示される話者を制御する会議支援プログラムであって、
前記ロボット又は前記話者が発話するタイミングを制御する制御信号を出力する発話制御ステップと、
前記発話制御ステップにおいて出力された発話のタイミングに基づいて、前記発話の前に前記ロボット又は前記話者が会話を支援する動作を行うよう制御する制御ステップと、
をコンピュータに実行させるための会話支援プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001342A JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016001342A JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018194434A Division JP6712303B2 (ja) | 2018-10-15 | 2018-10-15 | 会話支援システム、会話支援装置及び会話支援プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017122815A true JP2017122815A (ja) | 2017-07-13 |
JP6502865B2 JP6502865B2 (ja) | 2019-04-17 |
Family
ID=59305672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016001342A Active JP6502865B2 (ja) | 2016-01-06 | 2016-01-06 | 会話支援システム、会話支援装置及び会話支援プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6502865B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019035897A (ja) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | 決定装置、決定方法、及び決定プログラム |
JP2019130610A (ja) * | 2018-01-31 | 2019-08-08 | トヨタ自動車株式会社 | コミュニケーションロボットおよびその制御プログラム |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007160442A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 移動ロボット |
JP2009087328A (ja) * | 2007-09-10 | 2009-04-23 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
JP2015066624A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット制御プログラムおよび説明ロボット |
-
2016
- 2016-01-06 JP JP2016001342A patent/JP6502865B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007160442A (ja) * | 2005-12-12 | 2007-06-28 | Honda Motor Co Ltd | 移動ロボット |
JP2009087328A (ja) * | 2007-09-10 | 2009-04-23 | Advanced Telecommunication Research Institute International | リップシンクアニメーション作成装置、コンピュータプログラム及び顔モデル生成装置 |
JP2015066624A (ja) * | 2013-09-27 | 2015-04-13 | 株式会社国際電気通信基礎技術研究所 | ロボット制御システム、ロボット制御プログラムおよび説明ロボット |
Non-Patent Citations (3)
Title |
---|
綿貫 啓子、外2名: "発話時の人間の振舞い−マルチモーダル対話データの解析−", 第27回 言語・音声理解と対話処理研究会, JPN6018022856, 14 October 1999 (1999-10-14), pages 49 - 54, ISSN: 0003819865 * |
蔵田 洋平、外3名: "Talking−Ally:聞き手性をリソースとする発話生成システムの実現にむけて", ヒューマンインタフェース学会 論文誌, vol. 第17巻,第2号, JPN6018022852, 31 December 2015 (2015-12-31), JP, pages 75 - 86, ISSN: 0003819864 * |
金岡 利知、外4名: "親和的インタラクションに基づく人に優しい情報提供", 2012年度人工知能学会全国大会(第26回)論文集 [CD−ROM] 2012年度 人工知能学会全国, JPN6018022854, 12 June 2012 (2012-06-12), pages 1 - 4, ISSN: 0003819866 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019035897A (ja) * | 2017-08-18 | 2019-03-07 | ヤフー株式会社 | 決定装置、決定方法、及び決定プログラム |
JP2019130610A (ja) * | 2018-01-31 | 2019-08-08 | トヨタ自動車株式会社 | コミュニケーションロボットおよびその制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6502865B2 (ja) | 2019-04-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106992013B (zh) | 语音情感修改 | |
US10702991B2 (en) | Apparatus, robot, method and recording medium having program recorded thereon | |
JP6818280B2 (ja) | 対話システム、対話方法、対話装置、およびプログラム | |
JP5982840B2 (ja) | 対話装置、対話プログラムおよび対話方法 | |
JP2012510088A (ja) | 音声推定インタフェースおよび通信システム | |
JP2008139762A (ja) | プレゼンテーション支援装置および方法並びにプログラム | |
KR101598955B1 (ko) | 언어 치료용 게임 장치 및 게임 방법 | |
JP2017211596A (ja) | 音声対話システムおよび発話タイミング決定方法 | |
JP2017118364A (ja) | コミュニケーションシステム、コミュニケーション装置およびコミュニケーションプログラム | |
WO2021214065A1 (en) | Voice grafting using machine learning | |
JP2009178783A (ja) | コミュニケーションロボット及びその制御方法 | |
JP7120060B2 (ja) | 音声対話装置、音声対話装置の制御装置及び制御プログラム | |
JP6502865B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
JP6445473B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
JP2007155986A (ja) | 音声認識装置および音声認識装置を備えたロボット | |
JP6480351B2 (ja) | 発話制御システム、発話制御装置及び発話制御プログラム | |
Bilac et al. | Gaze and filled pause detection for smooth human-robot conversations | |
JP2004034273A (ja) | ロボット発話中の動作プログラム生成装置及びロボット | |
JP6874437B2 (ja) | コミュニケーションロボット、プログラム及びシステム | |
JP6363987B2 (ja) | 音声処理システム、音声処理装置および音声処理プログラム | |
JP6712303B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
JP6647636B2 (ja) | 対話方法、対話システム、対話装置、及びプログラム | |
JP6335157B2 (ja) | 会話支援システム、会話支援装置及び会話支援プログラム | |
EP3288035B1 (en) | Personal audio analytics and behavior modification feedback | |
JP2018149626A (ja) | コミュニケーションロボット、プログラム及びシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170828 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180607 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180619 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180815 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190319 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190322 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6502865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |