JP2018142280A - 対話支援装置及び対話装置 - Google Patents
対話支援装置及び対話装置 Download PDFInfo
- Publication number
- JP2018142280A JP2018142280A JP2017037648A JP2017037648A JP2018142280A JP 2018142280 A JP2018142280 A JP 2018142280A JP 2017037648 A JP2017037648 A JP 2017037648A JP 2017037648 A JP2017037648 A JP 2017037648A JP 2018142280 A JP2018142280 A JP 2018142280A
- Authority
- JP
- Japan
- Prior art keywords
- dialogue
- user
- operator
- reference value
- determination reference
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 47
- 230000003993 interaction Effects 0.000 title claims abstract description 6
- 238000004891 communication Methods 0.000 claims description 28
- 230000004044 response Effects 0.000 claims description 9
- 238000000034 method Methods 0.000 abstract description 12
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Toys (AREA)
- Manipulator (AREA)
Abstract
Description
図1は、第1実施形態の対話システム100の構成の概略を示す図である。対話システム100は、対話支援装置1、対話ロボット2及びオペレータ端末3を備える。対話支援装置1は、対話ロボット2と利用者との対話が円滑に進むように、現在の対話の状況を認識し、必要な支援を行う装置である。対話の状況の認識には、対話ロボット2の持つ内部状態、利用者の発する音声、利用者の画像およびその他のセンサーデータを利用する。対話支援装置が行う支援としては、現在の対話状況を対話ロボット2に送信して対話の流れを制御することや、対話が破綻したときに外部のオペレータに連絡をして利用者への対応を要請することなどが挙げられる。
参考文献1:千葉他「対話中のユーザ状態逐次推定のための多段階識別手法に関する検討」、情報処理学会研究報告 Vol.2013 No.21 1-6
図6は、第2実施形態の対話支援装置1aの機能構成の具体例を示すブロック図である。対話支援装置1aは、記憶部107に代えて記憶部107aを備える点、判定基準値設定部108に代えて判定基準値設定部108aを備える点で、第1実施形態の対話支援装置1aと異なる。対話支援装置1aのその他の機能部は、第1実施形態の対話支援装置1と同様であるため、図3と同じ符号を付すことによって図6での説明を省略する。
以下、上記実施形態の対話支援装置1及び1aに共通の変形例について説明する。以下では、簡単のため対話支援装置1についての変形例として記載するが、以下に記載する変形例は対話支援装置1aにも適用可能である。
Claims (5)
- 利用者と対話装置が対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置に用いられる対話支援装置であって、
対話装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、
前記画像特徴量及び前記音声特徴量に基づいて前記利用者と前記対話装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
を備え、
前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、
対話支援装置。 - 前記判定基準値設定部は、オペレータの要員計画に基づいて前記判定基準値を変更する、
請求項1に記載の対話支援装置。 - 前記介入用通知判定部は、オペレータの介入が必要であると判定した場合、前記オペレータの音声を前記対話装置に出力させる対話制御部をさらに備える、
請求項1又は2に記載の対話支援装置。 - 前記介入用通知判定部は、前記画像特徴量及び前記音声特徴量の各入力に対して前記利用者が前記対話装置と円滑に対話できているか否かを示す第1の指標値を取得し、前記各入力に対して取得した第1の指標値に基づいて前記対話装置と前記利用者との対話にオペレータを介入させるか否かを判定するための第2の指標値を取得し、取得した前記第2の指標値と前記判定基準値との大小関係に基づいて、前記対話にオペレータを介入させるか否かを判定する、
請求項1から3のいずれか一項に記載の対話支援装置。 - 利用者と対話し、利用者の音声と画像を用いて対話の成立又は不成立を判断し、対話不成立の場合には通信回線を介してオペレータが介入する対話装置であって、
自装置と対話する利用者の音声データを取得する音声データ取得部と、
前記利用者が撮像された画像データを取得する画像データ取得部と、
取得された前記音声データ及び前記画像データを認識し、前記利用者の発話の内容又は動作に応じた内容の音声を出力する応答部と、
前記音声データが示す音声の特徴量である音声特徴量を取得する音声特徴量取得部と、
前記画像データが示す画像の特徴量である画像特徴量を取得する画像特徴量取得部と、
前記対話装置と前記利用者との対話にオペレータを介入させる必要があるか否かを判定するための判定基準値を自装置に設定する判定基準値設定部と、
前記画像特徴量及び前記音声特徴量に基づいて前記利用者と自装置との対話の不成立の程度を示す指標値を算出し、算出した前記指標値が前記判定基準値を超えた場合、前記対話への介入が必要であることをオペレータに通知する介入用通知判定部と、
を備え、
前記判定基準値設定部は、前記判定基準値をより高い値又はより低い値に変更することで、オペレータの介入頻度をより低い頻度又はより高い頻度に調整する、
対話装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037648A JP7045020B2 (ja) | 2017-02-28 | 2017-02-28 | 対話支援装置及び対話装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017037648A JP7045020B2 (ja) | 2017-02-28 | 2017-02-28 | 対話支援装置及び対話装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018142280A true JP2018142280A (ja) | 2018-09-13 |
JP7045020B2 JP7045020B2 (ja) | 2022-03-31 |
Family
ID=63528148
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017037648A Active JP7045020B2 (ja) | 2017-02-28 | 2017-02-28 | 対話支援装置及び対話装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7045020B2 (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020066094A (ja) * | 2018-10-24 | 2020-04-30 | トヨタ自動車株式会社 | コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム |
CN111104494A (zh) * | 2018-10-25 | 2020-05-05 | 丰田自动车株式会社 | 对话装置及对话装置的控制程序 |
JP2020082246A (ja) * | 2018-11-20 | 2020-06-04 | 大日本印刷株式会社 | 姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法 |
CN111611359A (zh) * | 2019-02-26 | 2020-09-01 | 丰田自动车株式会社 | 对话系统、对话方法及程序 |
JP2020149264A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立ビルシステム | 音声案内システム及び音声案内方法 |
JP2020181348A (ja) * | 2019-04-24 | 2020-11-05 | セコム株式会社 | 警備システム及び監視表示装置 |
JP2020182092A (ja) * | 2019-04-24 | 2020-11-05 | セコム株式会社 | 警備システム及び監視表示装置 |
WO2021019787A1 (ja) * | 2019-08-01 | 2021-02-04 | オムロン株式会社 | タスク配信装置、タスク配信システム、方法、およびプログラム |
WO2022270603A1 (en) * | 2021-06-23 | 2022-12-29 | Hishab Japan Company Limited | A system and method for delivering domain or use-case switch suggestion for an ongoing conversation |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005046320A (ja) * | 2003-07-28 | 2005-02-24 | Okinaya:Kk | 要介護者監視システム及び要介護者監視方法 |
JP2007190641A (ja) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2007334841A (ja) * | 2006-06-19 | 2007-12-27 | Mitsubishi Electric Corp | 情報表示告知システム |
JP2015186018A (ja) * | 2014-03-24 | 2015-10-22 | 沖電気工業株式会社 | 通信装置、オペレータ選択方法及びプログラム |
-
2017
- 2017-02-28 JP JP2017037648A patent/JP7045020B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005046320A (ja) * | 2003-07-28 | 2005-02-24 | Okinaya:Kk | 要介護者監視システム及び要介護者監視方法 |
JP2007190641A (ja) * | 2006-01-19 | 2007-08-02 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
JP2007334841A (ja) * | 2006-06-19 | 2007-12-27 | Mitsubishi Electric Corp | 情報表示告知システム |
JP2015186018A (ja) * | 2014-03-24 | 2015-10-22 | 沖電気工業株式会社 | 通信装置、オペレータ選択方法及びプログラム |
Non-Patent Citations (1)
Title |
---|
千葉祐弥, 外1名: "対話中のユーザ状態逐次推定のための多段階識別手法に関する検討", 情報処理学会研究報告, JPN6020050883, 15 April 2013 (2013-04-15), pages 1 - 6, ISSN: 0004588333 * |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020066094A (ja) * | 2018-10-24 | 2020-04-30 | トヨタ自動車株式会社 | コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム |
JP7067414B2 (ja) | 2018-10-24 | 2022-05-16 | トヨタ自動車株式会社 | コミュニケーションロボットおよびコミュニケーションロボットの制御プログラム |
CN111104494A (zh) * | 2018-10-25 | 2020-05-05 | 丰田自动车株式会社 | 对话装置及对话装置的控制程序 |
JP2020082246A (ja) * | 2018-11-20 | 2020-06-04 | 大日本印刷株式会社 | 姿勢データ生成装置、学習器、コンピュータプログラム、学習データ、姿勢データ生成方法及び学習モデルの生成方法 |
CN111611359B (zh) * | 2019-02-26 | 2023-07-04 | 丰田自动车株式会社 | 对话系统、对话方法及计算机可读介质 |
CN111611359A (zh) * | 2019-02-26 | 2020-09-01 | 丰田自动车株式会社 | 对话系统、对话方法及程序 |
JP2020149264A (ja) * | 2019-03-13 | 2020-09-17 | 株式会社日立ビルシステム | 音声案内システム及び音声案内方法 |
JP7026066B2 (ja) | 2019-03-13 | 2022-02-25 | 株式会社日立ビルシステム | 音声案内システム及び音声案内方法 |
JP2020181348A (ja) * | 2019-04-24 | 2020-11-05 | セコム株式会社 | 警備システム及び監視表示装置 |
JP2020182092A (ja) * | 2019-04-24 | 2020-11-05 | セコム株式会社 | 警備システム及び監視表示装置 |
JP7308068B2 (ja) | 2019-04-24 | 2023-07-13 | セコム株式会社 | 警備システム及び監視表示装置 |
JP7074716B2 (ja) | 2019-04-24 | 2022-05-24 | セコム株式会社 | 警備システム及び監視表示装置 |
JPWO2021019787A1 (ja) * | 2019-08-01 | 2021-02-04 | ||
WO2021019787A1 (ja) * | 2019-08-01 | 2021-02-04 | オムロン株式会社 | タスク配信装置、タスク配信システム、方法、およびプログラム |
JP7331928B2 (ja) | 2019-08-01 | 2023-08-23 | オムロン株式会社 | タスク配信装置、タスク配信システム、方法、およびプログラム |
WO2022270603A1 (en) * | 2021-06-23 | 2022-12-29 | Hishab Japan Company Limited | A system and method for delivering domain or use-case switch suggestion for an ongoing conversation |
Also Published As
Publication number | Publication date |
---|---|
JP7045020B2 (ja) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018142280A (ja) | 対話支援装置及び対話装置 | |
US8701003B2 (en) | Methods and apparatus for controlling a user interface based on the emotional state of a user | |
JP7222938B2 (ja) | インタラクション装置、インタラクション方法、およびプログラム | |
WO2017210633A1 (en) | Technologies for monitoring interactions between customers and agents using sentiment detection | |
US20140214426A1 (en) | System and method for improving voice communication over a network | |
JP2005027283A (ja) | 自動化有効性の予測およびオペレータ負荷の予測に基づく自動システムから人間のオペレータへの呼処理の理想的な転送 | |
EP3739860A1 (en) | Call handling method and apparatus, server, storage medium, and system | |
CN1708782A (zh) | 用于操作语音识别系统的方法 | |
JP2019029984A (ja) | 情報処理装置、情報処理方法、映像データ、プログラム、及び情報処理システム | |
JP2014095753A (ja) | 音声自動認識・音声変換システム | |
CN113636421B (zh) | 用于发送信息的方法和装置 | |
JP2019088009A (ja) | 通訳サービスシステム、通訳依頼者端末、通訳サービス方法及び通訳サービスプログラム | |
US10924608B1 (en) | Communication volume level change detection | |
US9749386B1 (en) | Behavior-driven service quality manager | |
JP2019047170A (ja) | 顧客の苦情検知機能を備えたコールセンタシステム、コールセンタ装置、対話方法、およびそのプログラム | |
US20190304457A1 (en) | Interaction device and program | |
KR20180134339A (ko) | 정보 처리 장치, 정보 처리 방법 및 프로그램 | |
US20150163359A1 (en) | Aural Volume Feedback in Call Center | |
JP2012195863A (ja) | コールセンタシステム、コールセンタサーバ及びコールセンタプログラム、並びに、自動着信呼分配装置 | |
CN113382020A (zh) | 交互控制方法、装置、电子设备及计算机可读存储介质 | |
JP2018156522A (ja) | 情報処理装置、注意喚起方法、およびプログラム | |
WO2019163700A1 (ja) | 接客支援装置、接客支援方法、及び、接客支援プログラムが格納された記録媒体 | |
CN117813814A (zh) | Web会议系统、终端装置以及web会议方法 | |
US20230254411A1 (en) | Group calling system, group calling method, and program | |
KR20240011841A (ko) | 과거 인터렉션에 기초하여 세컨더리 자동화된 어시스턴트에 관련 쿼리 제공 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211004 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220308 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7045020 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |