JP2016062077A - 対話装置、対話システム、対話プログラム、サーバ、サーバの制御方法およびサーバ制御プログラム - Google Patents

対話装置、対話システム、対話プログラム、サーバ、サーバの制御方法およびサーバ制御プログラム Download PDF

Info

Publication number
JP2016062077A
JP2016062077A JP2014192653A JP2014192653A JP2016062077A JP 2016062077 A JP2016062077 A JP 2016062077A JP 2014192653 A JP2014192653 A JP 2014192653A JP 2014192653 A JP2014192653 A JP 2014192653A JP 2016062077 A JP2016062077 A JP 2016062077A
Authority
JP
Japan
Prior art keywords
response
unit
mood
server
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014192653A
Other languages
English (en)
Other versions
JP6391386B2 (ja
Inventor
新開 誠
Makoto Shinkai
誠 新開
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2014192653A priority Critical patent/JP6391386B2/ja
Publication of JP2016062077A publication Critical patent/JP2016062077A/ja
Application granted granted Critical
Publication of JP6391386B2 publication Critical patent/JP6391386B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Toys (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザとの自然な対話が可能な対話装置を提供する。
【解決手段】対話装置は、ユーザからの入力を受け付ける入力受付部と、装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、入力受付部で受け付けたユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、記憶部を参照して、パラメータ管理部で管理される機嫌パラメータに基づいて複数の応答情報の1つを選択する選択部と、選択部により選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える。
【選択図】図2

Description

本発明は、擬似的なコミュニケーションを提供する対話装置、対話システム、対話プログラム、サーバ、サーバの制御方法およびサーバ制御プログラムに関する。
対話装置として、ユーザと対話可能な音声対話装置が提案されている(特許文献1)。
当該装置では、人間同士のように自然な対話が可能なように感情パラメータを設けて、感情パラメータの値に従って応答内容を変更する方式が採用されている。
また、別の例として、人との対話が不自然になることを抑制する対話装置も提案されている(特許文献2)。当該装置では、対話の理解度に合わせて表出される態度を変更する方式が採用されている。
特開2002−123289号公報 特開2013−154458号公報
一方で、上記特許文献1に従う方式では、感情パラメータは、ユーザの感情に起因して調整されるが、自然な対話においてユーザの感情と対話装置とが関連している必要はなく、逆に不自然な対話となる可能性も考えられる。
特許文献2に従う方式では、理解度に応じた対応となるためユーザ側が装置の理解度に合わせることが必要となり、自然な対話とならない。
本開示は、上記課題を解決するためになされたものであって、ユーザとの自然な対話が可能な対話装置、対話システム、対話プログラム、サーバ、サーバの制御方法およびサーバ制御プログラムを提供することを目的とするものである。
本発明のある局面に従う対話装置は、ユーザからの入力を受け付ける入力受付部と、装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、入力受付部で受け付けたユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、記憶部を参照して、パラメータ管理部で管理される機嫌パラメータに基づいて複数の応答情報の1つを選択する選択部と、選択部により選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える。
本発明のある局面に従う対話システムは、ユーザからの入力を受け付ける入力受付部と、装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、入力受付部で受け付けたユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、記憶部を参照して、パラメータ管理部で管理される機嫌パラメータに基づいて複数の応答情報の1つを選択する選択部と、選択部により選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える。
本発明のある局面に従うコンピュータにおいて実行される対話プログラムであって、対話プログラムは、コンピュータに対して、ユーザからの入力を受け付けるステップと、装置の感情を示す機嫌パラメータを管理するステップと、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、受け付けたユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、機嫌パラメータに基づいて複数の応答情報の1つを選択するステップと、選択された応答情報に基づいて応答処理を実行するステップとを備える、処理を実行させる。
本発明のある局面に従う対話装置と通信可能に設けられたサーバとを備える対話システムであって、対話装置は、ユーザからの入力を受け付ける入力受付部と、サーバから指示に従って応答処理を実行する応答処理実行部とを備える。サーバは、装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、入力受付部で受け付けたユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、記憶部を参照して、パラメータ管理部で管理される機嫌パラメータに基づいて複数の応答情報の1つを選択する選択部と、選択部により選択された応答情報に基づいて対話装置に対して応答処理を実行するように指示する応答処理実行指示部とを含む。
本発明の別の局面に従うサーバと通信可能に設けられた対話装置であって、ユーザからの入力を受け付ける入力受付部と、入力受付部で受け付けたユーザからの入力に従って、サーバで管理されている装置の感情を示す機嫌パラメータに基づいてサーバで記憶されているユーザからの入力に対する応答に関する複数の応答情報の中から選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える。
本発明の別の局面に従うサーバと通信可能に設けられた対話装置のコンピュータにおいて実行される対話プログラムであって、対話プログラムは、コンピュータに対して、ユーザからの入力を受け付けるステップと、受け付けたユーザからの入力に従って、サーバで管理されている装置の感情を示す機嫌パラメータに基づいてサーバで記憶されているユーザからの入力に対する応答に関する複数の応答情報の中から選択された応答情報に基づいて応答処理を実行するステップとを備える、処理を実行させる。
本発明のある局面に従う対話装置と通信可能に設けられたサーバであって、対話装置で受け付けたユーザからの入力を受信する受信部と、装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、受信部で受信したユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、記憶部を参照して、パラメータ管理部で管理される機嫌パラメータに基づいて複数の応答情報の1つを選択する選択部と、選択部により選択された応答情報に基づいて対話装置に対して応答処理を実行するように指示する応答処理実行指示部とを備える。
好ましくは、パラメータ管理部は、機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、外部から取得した情報に基づいて機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、外部から取得した環境情報に基づいて機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、外部から取得した情報が所定条件を満たす場合に機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、受信部で受信したユーザからの入力態様に基づいて機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、受信部で受信したユーザからの音声入力内容に基づいて機嫌パラメータを更新する。
好ましくは、パラメータ管理部は、受信部で受信したユーザにより検知したセンサ入力情報に基づいて機嫌パラメータを更新する。
好ましくは、サーバは、ユーザからの入力の履歴を記憶する履歴記憶部をさらに備え、パラメータ管理部は、履歴記憶部を参照して、ユーザからの複数の入力態様に基づいて機嫌パラメータを更新する。
好ましくは、応答処理実行指示部は、対話装置に対して音声合成処理を実行するように指示し、複数の応答情報は、音声合成処理を実行する際のそれぞれが異なるパラメータ情報を含む。
好ましくは、応答処理実行指示部は、対話装置に対して音声出力処理を実行するように指示し、複数の応答情報は、音声出力処理を実行する際のそれぞれが異なる出力内容を含む。
本発明のある局面に従う対話装置と通信可能に設けられたサーバの制御方法であって、対話装置で受け付けたユーザからの入力を受信するステップと、装置の感情を示す機嫌パラメータを管理するステップと、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、受け付けたユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、機嫌パラメータに基づいて複数の応答情報の1つを選択するステップと、選択された応答情報に基づいて対話装置に対して応答処理を実行するように指示するステップとを備える。
本発明のある局面に従う対話装置と通信可能に設けられたサーバのコンピュータにおいて実行されるサーバ制御プログラムであって、サーバ制御プログラムは、コンピュータに対して、対話装置で受け付けたユーザからの入力を受信するステップと、装置の感情を示す機嫌パラメータを管理するステップと、各々が、選択される際の指標として機嫌パラメータの値と関連付けられ、受け付けたユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、機嫌パラメータに基づいて複数の応答情報の1つを選択するステップと、選択された応答情報に基づいて対話装置に対して応答処理を実行するように指示するステップとを備える、処理を実行させる。
本開示の一態様によれば、ユーザとの自然な対話が可能である。
実施形態に基づく対話システム1について説明する図である。 実施形態に係る対話システム1の要部構成について説明する図である。 実施形態1に基づく応答内容データベース232について説明する図である。 実施形態1に基づく履歴記憶部233について説明する図である。 実施形態1に基づくセンサ情報データベース234について説明する図である。 実施形態1に基づく変更テーブルデータベース231について説明する図である。 実施形態1に基づく対話システム1における応答処理の流れを示すシーケンス図である。 実施形態1に基づくサーバ20の対話出力処理を実行するフロー図である。 実施形態1に基づくサーバ20の機嫌パラメータ取得処理を実行するフロー図である。 実施形態2に基づく音声合成パラメータテーブルを説明する図である。 実施形態3に基づく応答内容データベース232Aについて説明する図である。 実施形態4に基づくキャラクタデータベースについて説明する図である。 実施形態5に基づくサーバの構成について説明する図である。
本実施の形態について、以下、図面を参照しながら説明する。実施の形態の説明において、個数および量などに言及する場合、特に記載がある場合を除き、本発明の範囲は必ずしもその個数およびその量などに限定されない。実施の形態の説明において、同一の部品および相当部品に対しては、同一の参照番号を付し、重複する説明は繰り返さない場合がある。特に制限が無い限り、実施の形態に示す構成に示す構成を適宜組み合わせて用いることは、当初から予定されていることである。
<実施形態1>
(対話システム1の構成)
図1は、実施形態に基づく対話システム1について説明する図である。
図1を参照して、実施形態に基づく対話システム1は、人形(対話装置)10、ネットワーク5、サーバ20とにより構成されている。
人形10は、ネットワーク5を介してサーバ20と通信可能に設けられている。なお、本例においては、ネットワーク5を介してサーバ20と通信する場合について説明するが、直接、サーバ20と通信する方式としてもよい。
対話システム1は、一例として人間(ユーザ)から人形10に対して音声が入力(以降では、「ユーザ発話」とも記載)されると、サーバ20において音声認識されて、入力された音声に対する応答内容を表す音声(以降では、「音声再生」とも記載)を、人形10から出力する。当該処理を繰り返すことにより、実施形態に係る対話システム1は、ユーザと、人形10との疑似的な会話を実現する。なお、本例においては、一例としてユーザから人形10に対して音声が入力される場合について説明するが、人形10からユーザに対して音声が出力され、これに対してユーザが人形10に対して音声を入力する場合であってもよく、特にその順序については限定されない。
なお、実施形態では、対話装置の一例として、音声を認識してユーザに対して音声応答を出力する人形10を例に挙げて説明するが、本発明はこれに限定されるものではない。例えば、対話機能を有する人形10以外の家電(例えば、テレビ、電子レンジなど)などを、対話装置として採用することもできる。
また、実施形態では、サーバ20が1つのサーバによって実現される構成を例に挙げて説明するが、本発明はこれに限定されるものではなく、サーバ20の備える各部(各機能)の少なくとも一部を、他のサーバにより実現する構成を採用してもよい。
(対話システム1の要部構成)
図2は、実施形態に係る対話システム1の要部構成について説明する図である。
図2を参照して、まず、人形10の構成について説明する。
実施形態に基づく人形10は、通信部101、制御部102、マイク103、スピーカ104、駆動部106、センサ108および記憶部109を含む。
通信部101は、外部との通信を行う手段である。具体的には、通信部101は、サーバ20と例えばインターネットなどのネットワーク5を介して通信する。なお、無線あるいは有線のいずれの通信も可能である。
マイク103は、外部から音の入力を受け付ける。なお、実施形態では、マイク103が入力を受け付ける音を示す音データには、主に人間の発する音声の周波数帯域に含まれる音のデータ(音声データとも称する)の入力を受け付ける場合について説明するが、音声データの周波数帯域以外の周波数帯域を含む音のデータが含まれていてもよい。マイク103は、入力された音を示す音声データを、制御部102に出力する。
スピーカ104は、制御部102から出力される応答内容を表す音声応答を出力する。以降では、人形10がスピーカ104を介して行う音声応答の出力を、「再生」とも記載する。なお、応答内容の詳細については、後述する。
駆動部106は、制御部102からの指示に基づいて、人形10を動作させる。たとえば、駆動部106により人形10に設けられた可動可能な手、足等のパーツを駆動することが可能である。
操作部107は、人形10に対して各種動作の実行を指示を受け付ける。
センサ108は、各種の情報を検出する。本例においては、一例として、環境情報として気温、湿度を検知することが可能な温度センサ、湿度センサが含まれるものとする。また、ユーザが人形10に触れたことを検知するセンサ(振動センサ等)も含まれるものとする。さらに、当該センサ108には撮像情報を取得するカメラも含まれ、カメラによりユーザの顔を撮像して、撮像情報に含まれるユーザの表情としての微笑みを検知することが可能なセンサも含まれるものとする。
記憶部109は、RAM(Random Access Memory)及びフラッシュメモリなどの記憶装置であり、人形10の各種機能を実現するためのプログラム等が格納されている。
制御部102は、主にCPU(Central Processing Unit)で構成され、記憶部109に格納されているプログラムを当該CPUが実行する各部の機能を実現する。
制御部102は、人形10の各部を統括的に制御する。具体的には、制御部102は、駆動部106を制御することにより、人形10の動作を制御する。また、制御部102は、マイク103によって外部から取得された音を示す音声データを、通信部101を介してサーバ20に送信する。
また、制御部102は、サーバ20に送信した音声データに関して、サーバ20で音声認識した回答フレーズデータを通信部101を介して受信する。そして、制御部102は、受信した回答フレーズデータに従って応答内容を表す音声応答をスピーカ104から出力することが可能である。
制御部102の主な機能構成について説明する。
制御部102は、応答処理実行部112と、音声入力受付部114と、情報取得部115とを含む。
音声入力受付部114は、音声データを検出(抽出)する。換言すれば、音声入力受付部114は、外部から受信した音データから、人間の発する音声の周波数帯域を抽出することによって、音データ(音声データ)を検出する。
音声入力受付部114における、音データから音声データを検出する方法としては、例えば、音データから人間の発する音声の周波数帯域(例えば、100Hz以上かつ1kHz以下の周波数帯域)を抽出することによって音声データを検出する方法を挙げることができる。この場合には、音声入力受付部114は、音データから人間の発する音声の周波数帯域を抽出するために、例えば、バンドパスフィルタ、又は、ハイパスフィルタ及びローパスフィルタを組み合わせたフィルタなどを備えていればよい。
音声入力受付部114は、音データから検出した音声データを通信部101を介してサーバ20に送信する。
応答処理実行部112は、サーバ20からの回答フレーズデータに基づいて、音声合成処理して一例としてスピーカ104を介してユーザに発話する。
情報取得部115は、センサ108で検知された温度、湿度等の情報およびユーザの接触や微笑みを検知した検出情報を取得して通信部101を介してサーバ20に送信する。
次に、実施形態に基づくサーバ20の構成について説明する。
実施形態に基づくサーバ20は、通信部201、制御部202および記憶部203を含む。
通信部201は、外部との通信を行う手段である。具体的には、通信部201は、人形10と、例えばインターネットなどのネットワーク5を介して通信する。また、人形10以外の外部装置とも通信可能に設けられている。なお、無線あるいは有線のいずれの通信でも可能である。
記憶部203は、RAM(Random Access Memory)及びフラッシュメモリなどの記憶装置であり、サーバ20の各種機能を実現するためのプログラム等が格納されている。また、記憶部203は、一例として機嫌パラメータを更新する際に利用される変更テーブルデータベース231と、音声入力に対する応答に関する情報(応答情報とも称する)である応答内容データベース232と、履歴を管理する履歴記憶部233と、センサ情報を記憶するセンサ情報データベース234とを有している。
制御部202は、主にCPU(Central Processing Unit)で構成され、記憶部203に格納されているプログラムを当該CPUが実行することによって実現される。
制御部202は、サーバ20の各部を統括的に制御する。具体的には、制御部202は、人形10からの通信部201を介して受信した音声データについて音声認識した結果、回答フレーズデータを通信部201を介して人形10に出力する。
次に、サーバ20の制御部202の主な機能構成について説明する。
制御部202は、音声入力受信部221、管理部222、音声認識部223、選択部224および応答処理実行指示部225を有する。
音声入力受信部221は、通信部201を介して人形10から送信された音声データを受信する。音声入力受信部221は、受信した音声データを音声認識部223に出力する。
管理部222は、人形10(装置)に関する機嫌パラメータを管理する。本例においては、管理部222は、一例として変更テーブルデータベース231等に基づいて人形10の機嫌パラメータを算出し、更新する。
音声認識部223は、音声入力受信部221によって受信した音声データの示す音声の内容(音声内容)を認識内容として認識する。具体的には、記憶部203に予め設けられている音声認識に利用される辞書を用いて音声データに対する認識フレーズを取得する。なお、当該音声認識に利用される辞書を用いて音声データに対する認識フレーズを取得できなかった場合には音声認識は失敗と判断する。
選択部224は、音声認識部223の音声内容の認識結果に基づいて、応答内容を決定する。具体的には、選択部224は、記憶部203に格納されている応答内容データベース232を参照して、管理部222で管理されている機嫌パラメータに基づいて音声データの示す音声内容に対応する応答内容(応答情報)を選択(決定)する。
応答処理実行指示部225は、選択部224により選択された応答内容(応答情報)である回答フレーズデータを通信部201を介して人形10に送信する。
(応答内容データベース)
図3は、実施形態1に基づく応答内容データベース232について説明する図である。
図3を参照して、当該応答内容データベース232は、一例として実施形態に基づくサーバ20の備える記憶部203に格納されている。
具体的には、応答内容データベース232には、複数の応答情報が登録されている。具体的には、認識内容(認識フレーズ)と応答内容(回答フレーズ)とが関連付けられて登録されている。本例においては、それぞれの認識フレーズと回答フレーズとの組み合わせに対して識別番号(応答ID)が割り当てられている。なお、一例として本例における応答内容データベース232に登録されている認識フレーズは、音声認識に利用される辞書にも同様に登録されているものとする。
一例として、ここでは認識フレーズとして、「おはよう」、「かわいいね」、「ダメだね」、「東京のことを教えて」、・・・に対応して回答フレーズがそれぞれ関連付けられて格納されている。
例えば、応答ID「1」の認識フレーズ「おはよう」に対応して回答フレーズ「おはよう!今日も1日頑張ろう!」が関連付けられて登録されている場合が示されている。
また、応答ID「2」の認識フレーズ「おはよう」に対応して回答フレーズ「おはよう」が関連付けられて登録されている場合が示されている。
また、応答ID「3」の認識フレーズ「おはよう」に対応して回答フレーズ「ふわぁー。まだ眠いよぉ」が関連付けられて登録されている場合が示されている。
また、応答ID「4」の認識フレーズ「かわいいね」に対応して回答フレーズ「ありがとう!嬉しいなぁ。」が関連付けられて登録されている場合が示されている。
また、応答ID「5」の認識フレーズ「かわいいね」に対応して回答フレーズ「ふーん。どうせお世辞でしょ?」が関連付けられて登録されている場合が示されている。
例えば、応答ID「6」の認識フレーズ「かわいいね」に対応して回答フレーズ「うん。お世辞はもういいから。」が関連付けられて登録されている場合が示されている。
また、応答ID「7」の認識フレーズ「ダメだね」に対応して回答フレーズ「ごめんね。勉強しておくよ。」が関連付けられて登録されている場合が示されている。
また、応答ID「8」の認識フレーズ「ダメだね」に対応して回答フレーズ「ごめんね。」が関連付けられて登録されている場合が示されている。
また、応答ID「9」の認識フレーズ「ダメだね」に対応して回答フレーズ「はぁ。もう寝ようかな。」が関連付けられて登録されている場合が示されている。
また、応答ID「10」の認識フレーズ「東京のことを教えて」に対応して回答フレーズ「東京と言えば、隅田川の花火大会が有名だよ。」が関連付けられて登録されている場合が示されている。
また、応答ID「11」の認識フレーズ「東京のことを教えて」に対応して回答フレーズ「東京には、初詣の参拝客第1位の明治神宮があるよ。」が関連付けられて登録されている場合が示されている。
また、応答ID「12」の認識フレーズ「東京のことを教えて」に対応して回答フレーズ「そのくらい自分で調べたら?」が関連付けられて登録されている場合が示されている。
そして、各認識フレーズに対応する回答フレーズに関して、本例においては機嫌範囲が対応付けられている。
当該機嫌範囲は、同じ認識フレーズに対して、複数の回答フレーズが有る場合に選択する指標として用いられる。本例においては、管理部222で管理されている機嫌パラメータPに基づいて回答フレーズが選択される。複数の回答フレーズの中から機嫌パラメータPに対応する機嫌範囲の回答フレーズが選択される。
なお、必ずしも機嫌範囲に含まれる回答フレーズを選択するものではなく、相対的に選択される確率を高くするようにしても良い。これにより、パターン化された回答内容になることなく、ユーザとの間での自然なコミュニケーションを図ることが可能である。
また、認識フレーズが無い場合(null)に対応して再応答を要求する回答フレーズ(再応答回答フレーズ)が設けられている。ここで、認識フレーズが無い場合とは、音声認識に失敗した場合を意味する。なお、音声認識に利用される辞書に登録されている認識フレーズが、応答内容データベース232に登録されていない場合、すなわち、音声認識は成功したが対応する認識フレーズが応答内容データベース232に登録されていない場合にも、認識フレーズが無い場合として処理するようにしても良い。
具体的には、応答ID「100」に関して、認識フレーズが無い場合(null)に回答フレーズ「なになに」が関連付けられて登録されている場合が示されている。
また、応答ID「101」に関して、認識フレーズが無い場合(null)に回答フレーズ「もう一度言って」が関連付けられて登録されている場合が示されている。当該認識フレーズが無い場合(null)の回答フレーズを複数設けることによりパターン化された応答となることを回避することが可能である。
本例においては、ユーザに対する発話、また、ユーザ発話に対するユーザへの回答等のユーザに対応する応答処理を実行する場合に、装置の機嫌パラメータPに基づいてユーザに対する発話あるいは回答等の応答を決定する方式について説明する。
そして、本例においては、各認識フレーズに対応して、会話種別と機嫌変化度が登録されている場合が示されている。会話種別は、会話における認識フレーズの種類を示すものであり、機嫌パラメータPを更新する際に利用される。また、機嫌変化度についても機嫌パラメータPを更新する際に利用されるパラメータである。
一例として、認識フレーズ「おはよう」に対応して会話種別「あいさつ」、機嫌変化度「0」がそれぞれ関連付けられて登録されている。
また、認識フレーズ「かわいいね」、「ダメだね」に対応して会話種別「評価」が関連付けられて登録されており、それぞれ認識フレーズの内容に従って異なる機嫌変化度がそれぞれ関連付けられて登録されている。
また、認識フレーズ「東京のことを教えて」に対応して会話種別「質問」、機嫌変化度「0」がそれぞれ関連付けられて登録されている。
他の認識フレーズについても基本的に同様に登録されている。
機嫌変化度に関して、認識フレーズの内容が積極的な内容であれば、機嫌パラメータPの値が大きくなるように機嫌変化度が付与される。一方、認識フレーズの内容が消極的な内容であれば、機嫌パラメータPの値が低くなるように機嫌変化度が付与される。
例えば、選択部224は、管理部222で管理される装置の機嫌パラメータPの値が大きい場合には、認識フレーズに対応して積極的あるいは快活な回答フレーズを選択する。
一方で、選択部224は、管理部222で管理される装置の機嫌パラメータPの値が低い場合には、認識フレーズに対応して消極的あるいは陰鬱な回答フレーズが選択される。
機嫌変化度等に基づく機嫌パラメータの算出処理により、機嫌パラメータの変化に応じた応答処理が実行される。これにより、ユーザとの間での自然なコミュニケーションを図ることが可能である。
(履歴記憶部)
図4は、実施形態1に基づく履歴記憶部233について説明する図である。
図4を参照して、当該履歴記憶部233は、一例として実施形態1に基づくサーバ20の記憶部203に格納されている。
具体的には、履歴記憶部233は、人形10等の履歴に関する情報を格納している。本例においては、応答処理実行指示部225が選択部224により選択した応答内容(応答情報)である回答フレーズデータを通信部201を介して人形10に送信した際に、当該履歴記憶部233に履歴に関する情報を格納するものとする。また、履歴記憶部233は、人形10の情報取得部115から送信されたセンサ情報の履歴に関する情報を格納する。さらに、外部装置から取得した情報の履歴に関する情報を格納する。
図4(A)を参照して、ここでは、履歴記憶部233で記憶されている応答内容の履歴情報が示されている。
サーバ20は、複数の人形についてそれぞれ管理することが可能であり、それぞれの人形に対して固有の識別番号が割り当てられている。本例においては、一例として、人形のID(装置ID)として「10」が割り当てられている人形の履歴がそれぞれ登録されている場合が示されている。
ここでは、発話された「時刻」、「応答ID」、「機嫌変化度」の情報が登録されている場合が示されている。
「時刻」は、サーバ20から人形10を介してユーザに対して発話した時刻を意味する。なお、本例においては、ユーザに対して発話した時刻を意味するが、当該時刻に限られず発話処理(応答処理)に関する時刻が特定できればどのような時間であっても良い。例えば、サーバ20がユーザからの音声データの入力を受け付けた時刻でも良いし、音声認識した時刻でも良い。
「応答ID」は、一例としてサーバ20が人形10を介してユーザに対して発話した応答情報を特定する情報であり、基本的に応答内容データベース232の応答IDに対応するものである。
「機嫌変化度」は、機嫌パラメータPを変更する際に利用するパラメータであり、応答IDに関連付けられた機嫌変化度が示されている。
本例においては、一例として、人形の装置ID「10」に関して、時刻「2014−07−01 06:30:42」に応答ID「2」に対応する応答情報に基づく発話が実行されたことが示されている。また、その際の機嫌変化度は「0」である
人形の装置ID「10」に関して、時刻「2014−07−01 06:31:05」に応答ID「110」に対応する応答情報に基づく発話が実行されたことが示されている。また、その際の機嫌変化度は「0」である
また、人形の装置ID「10」に関して、時刻「2014−07−01 06:31:20」に応答ID「130」に対応する応答情報に基づく発話が実行されたことが示されている。その際の機嫌変化度は「0」である。
また、人形の装置ID「10」に関して、時刻「2014−07−01 06:30:44」に応答ID「4」に対応する応答情報に基づく発話が実行されたことが示されている。ここで、応答ID「4」に対応する応答情報に基づく発話が実行されたことが示されている。また、その際の機嫌変化度は「+5」である。
図4(B)を参照して、ここでは、履歴記憶部233で記憶されている外部から取得した情報(センサ情報も含む)の履歴情報が示されている。
なお、人形10が通信部201を介して取得したセンサ情報は、センサ情報データベース234に格納される。センサ情報データベース234については後述する。
ここでは、取得した装置の「装置ID」、「時刻」、「内容」の情報が登録されている場合が示されている。
「装置ID」は、割り当てられた固有の識別番号であり、本例においては、「10」が割り当てられている人形の履歴がそれぞれ登録されている場合が示されている。
「時刻」は、サーバ20が人形10からの情報の入力を受けた時刻を意味する。なお、本例においては、情報の入力を受けた時刻を意味するが、当該時刻に限られず、取得に関する時刻が特定できればどのような時間であっても良い。例えば、人形10がセンサ108で検知した時刻でも良いし、情報取得部115が情報を送信した時刻でも良い。
「内容」は、一例としてサーバ20が人形10から受けたセンサ情報等を特定する情報であり、センサ情報の場合には、センサ情報データベース232のセンサIDに対応するものである。また、外部装置から取得した情報の場合には、当該取得情報が含まれていてもよい。
本例においては、一例として、人形の装置ID「10」に関して、時刻「2014−07−01 09:54:10」にセンサID「1」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 09:55:33」にセンサID「2」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 09:59:42」にセンサID「3」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 09:59:43」にセンサID「4」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 10:00:01」にセンサID「5」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 10:00:01」にセンサID「6」に対応するセンサ情報を取得したことが示されている。
また、人形の装置ID「10」に関して、時刻「2014−07−01 12:00:00」に「天気「晴れ」」の情報を取得したことが示されている。
他の履歴についても同様である。
(センサ情報データベース)
図5は、実施形態1に基づくセンサ情報データベース234について説明する図である。
図5を参照して、当該センサ情報データベース234は、一例として実施形態に基づくサーバ20の記憶部203に格納されている。
具体的には、センサ情報データベース234は、人形10等のセンサ108で検知されたセンサ情報を格納している。本例においては、通信部201を介して情報取得部115から送信されたセンサ情報を制御部202が受信した際に、記憶部203のセンサ情報データベース234に格納するものとする。
センサ情報データベースに格納する際に、それぞれのセンサ情報に対して固有の識別番号が割り当てられている。本例においては、一例として、センサIDが昇順的に割り当てられている場合が示されている。そして、当該割り当てらたセンサIDが図4(B)で説明したように履歴記憶部233の外部から取得した情報の履歴に格納される。
一例として、センサIDに対応して、「時刻」、「種別」、「値」がそれぞれ関連付けられて登録されている。
「時刻」は、サーバ20が人形10からのセンサ情報の入力を受けた時刻を意味する。なお、本例においては、センサ情報の入力を受けた時刻を意味するが、当該時刻に限られず、センサ取得に関する時刻が特定できればどのような時間であっても良い。例えば、人形10がセンサ108で検知した時刻でも良いし、情報取得部115がセンサ情報を送信した時刻でも良い。
「種別」は、センサ情報の種別を意味し、一例として、種別「touch」は、人形10に対するユーザの接触を検知したこと意味する。また、種別「smile」は、ユーザの微笑みを検知したことを意味する。また、種別「湿度」は、センサ108で取得した湿度を意味する。また、種別「温度」は、センサ108で取得した温度を意味する。
また、「値」は、種別「湿度」、「温度」の場合に検出された数値を意味する。
本例においては、一例として、センサID「1」として、時刻「2014−07−01 09:54:10」に種別「touch」のセンサ情報を取得したことが示されている。
また、センサID「2」として、時刻「2014−07−01 09:55:33」に種別「touch」のセンサ情報を取得したことが示されている。
また、センサID「3」として、時刻「2014−07−01 09:59:42」に種別「smile」のセンサ情報を取得したことが示されている。
また、センサID「4」として、時刻「2014−07−01 09:59:43」に種別「touch」のセンサ情報を取得したことが示されている。
また、センサID「5」として、時刻「2014−07−01 10:00:01」に種別「温度」のセンサ情報を取得したことが示されている。また、値は「28」を取得したことが示されている。
また、センサID「6」として、時刻「2014−07−01 10:00:01」に種別「湿度」のセンサ情報を取得したことが示されている。また、値は「52」を取得したことが示されている。
他のセンサ情報についても同様である。
(変更テーブルデータベース)
図6は、実施形態1に基づく変更テーブルデータベース231について説明する図である。
図6(A)には、会話種別連続回数と機嫌変化度との対応関係が示されている。
会話種別が連続する場合にはマイナスの機嫌変化度となるように設定されている。
一例として、会話種別としての連続回数が10回以上の場合には、機嫌変化度「−5」が対応付けられている。
また、連続回数が5回以上の場合には、機嫌変化度「−1」が対応付けられている。
また、連続回数が0回の場合には、機嫌変化度「0」が対応付けられている。
図6(B)には、不快指数と機嫌変化度との対応関係が示されている。
一例として、不快指数Qが高いほどマイナスの機嫌変化度となるように設定されている。
不快指数Qが75より大きく80以下(75<Q≦80)の場合に、機嫌変化度「−1」が対応付けられている。
不快指数Qが80より大きく85以下(80<Q≦85)の場合に、機嫌変化度「−5」が対応付けられている。
不快指数Qが85より大きい(85<Q)場合に、機嫌変化度「−10」が対応付けられている。
図6(C)には、時間帯と機嫌変化度との対応関係が示されている。
早朝や深夜の時間帯についてマイナスの機嫌変化度となるように設定されている。
一例として、時間帯「0:00〜3:59」の場合に、機嫌変化度「−10」が対応付けられている。
時間帯「4:00〜5:59」の場合に、機嫌変化度「−5」が対応付けられている。
時間帯「6:00〜6:59」の場合に、機嫌変化度「−2」が対応付けられている。
時間帯「23:00〜23:59」の場合に、機嫌変化度「−2」が対応付けられている。
図6(D)には、曜日と機嫌変化度との対応関係が示されている。
一例として、週の初めはマイナスの機嫌変化度、週末はプラスの機嫌変化度となるように設定されている。
月曜日の場合に、機嫌変化度「−10」が対応付けられている。
金曜日の場合に、機嫌変化度「+10」が対応付けられている。
土曜日の場合に、機嫌変化度「+10」が対応付けられている。
図6(E)には、天気と機嫌変化度との対応関係が示されている。
一例として、天気がいい日は、プラスの機嫌変化度、悪い日には、マイナスの機嫌変化度となるように設定されている。
晴れの場合に機嫌変化度「+10」が対応付けられている。
くもりの場合に機嫌変化度「0」が対応付けられている。
雨の場合に機嫌変化度「−10」が対応付けられている。
(応答処理)
図7は、実施形態1に基づく対話システム1における応答処理の流れを示すシーケンス図である。
図7に示されるように、ユーザは、人形10に対して発話(ユーザ発話とも称する)する(シーケンスsq0)。
人形10は、ユーザ発話に対して音声の入力を受け付ける(シーケンスsq1)。具体的には、音声入力受付部114は、マイク103を介して外部からの音の入力を受け付ける。
次に、人形10は、音声データをサーバ20に出力する(シーケンスsq2)。具体的には、音声入力受付部114は、通信部101を介してサーバ20に出力する。
次に、サーバ20は、人形10から送信された音声データを受信して音声認識を実行する(シーケンスsq3)。具体的には、音声入力受信部221は、通信部201を介して音声データを受信して、音声認識部223に出力する。そして、音声認識部223は、音声内容を認識する。そして、音声認識部223は、認識結果を選択部224に出力する。
次に、サーバ20は、認識結果に基づいて回答フレーズを決定する対話出力処理を実行する(シーケンスsq4)。具体的には、選択部224は、回答フレーズを決定して応答処理実行指示部225に出力する。対話出力処理については後述する。
そして、サーバ20は、決定した回答フレーズデータを人形10に送信する(シーケンスsq5)。具体的には、応答処理実行指示部225は、通信部201を介して選択部224により決定した回答フレーズデータを人形10に送信する。本例においては、回答フレーズは一例として音声ファイルであるものとする。なお、テキスト形式のファイルであっても良い。他の例においても同様である。
次に、人形10は、音声対話出力を実行する(シーケンスsq6)。具体的には、応答処理実行部112は、通信部201を介して受信した回答フレーズデータに基づいてスピーカ104を介してユーザに応答(音声対話)する。すなわち、応答処理実行部112は、回答フレーズデータである音声ファイルを再生してスピーカ104により音声をユーザに応答(発話)する(シーケンスsq6A)。
そして、ユーザは、人形10からの応答処理に対する反応として、人形10に対して発話(回答)する(シーケンスsq6B)。
人形10は、応答処理に対するユーザからの音声の入力を受け付ける(シーケンスsq7)。具体的には、音声入力受付部114は、マイク103を介して外部からの音の入力を受け付ける。
次に、人形10は、音声データをサーバ20に出力する(シーケンスsq8)。具体的には、音声入力受付部114は、通信部101を介してサーバ20に出力する。
次に、サーバ20は、人形10から送信された音声データを受信して音声認識を実行する(シーケンスsq9)。具体的には、音声入力受信部221は、通信部201を介して音声データを受信して、音声認識部223に出力する。そして、音声認識部223は、音声内容を認識する。そして、音声認識部223は、認識結果を選択部224に出力する。
次に、サーバ20は、認識結果に基づいて回答フレーズを決定する対話出力処理を実行する(シーケンスsq10)。具体的には、選択部224は、回答フレーズを決定して応答処理実行指示部225に出力する。対話出力処理については後述する。
そして、サーバ20は、決定した回答フレーズデータを人形10に送信する(シーケンスsq11)。具体的には、応答処理実行指示部225は、通信部201を介して選択部224により決定した回答フレーズデータを人形10に送信する。
次に、人形10は、音声対話出力を実行する(シーケンスsq12)。具体的には、応答処理実行部112は、通信部201を介して受信した回答フレーズデータに基づいてスピーカ104を介してユーザに応答(音声対話)する。すなわち、応答処理実行部112は、回答フレーズデータである音声ファイルを再生してスピーカ104により音声をユーザに応答(発話)する(シーケンスsq12A)。以降、同様の処理が繰り返される。
(対話出力処理)
図8は、実施形態1に基づくサーバ20の対話出力処理を実行するフロー図である。
図8を参照して、当該フロー図は、記憶部109に格納されているプログラムを実行して制御部102の各部が機能することにより実行される処理である。
まず、音声認識が成功したかどうかを判断する(ステップS1)。具体的には、選択部224は、音声認識部223から音声認識結果として認識フレーズが通知されたか否かを判断する。
ステップS1において、音声認識が成功したと判断した場合(ステップS1においてYES)には、次に、回答フレーズが複数有るかどうかを判断する(ステップS2)。具体的には、選択部224は、応答内容データベース232(図3)を参照して、認識フレーズに対応する回答フレーズが複数登録されているか否かを判断する。
ステップS2において、回答フレーズが複数有ると判断した場合(ステップS2においてYES)には、機嫌パラメータを取得する(ステップS3)。具体的には、選択部224は、管理部222に指示して機嫌パラメータを要求する。管理部222は、機嫌パラメータを算出して、算出結果を選択部222に出力する。機嫌パラメータの算出処理については後述する。
そして、次に、回答フレーズを選択する(ステップS4)。具体的には、一例として選択部224は、管理部222から出力された機嫌パラメータに基づいて応答内容データベース232(図3)を参照して認識フレーズに対応する回答フレーズを選択する。
そして、次に、出力処理を実行する(ステップS5)。具体的には、選択部224は、選択した回答フレーズを応答処理実行指示部225に出力する。応答処理実行指示部225は、選択部224が選択(決定)した回答フレーズデータを通信部201を介して人形10に出力する。
そして、処理を終了する(リターン)。
一方、ステップS2において、回答フレーズが複数無いと判断した場合(ステップS2においてNO)には、回答フレーズを決定する(ステップS7)。具体的には、選択部224は、応答内容データベース232(図3)を参照して認識フレーズに対応する回答フレーズを選択(決定)する。
そして、次に、出力処理を実行する(ステップS5)。具体的には、選択部224は、選択した回答フレーズを応答処理実行指示部225に出力する。応答処理実行指示部225は、選択部224が選択(決定)した回答フレーズデータを通信部201を介して人形10に出力する。
そして、処理を終了する(リターン)。
一方、ステップS1において、音声認識が成功しなかったと判断した場合(ステップS1においてNO)には、再応答回答フレーズを決定する(ステップS6)。
具体的には、選択部224は、音声認識が成功しなかったと判断した場合、応答内容データベース232(図3)を参照して認識フレーズが無い場合(null)に対応する再応答回答フレーズを選択(決定)する。例えば、再度、ユーザからの応答を得るために例えば「なになに」、「もう一度ゆって」等の再応答回答フレーズを選択(決定)する。また、特に当該再応答回答フレーズに限られず他のフレーズ、たとえば、「さっきの良かったでしょう」等でも良い。
そして、次に、出力処理を実行する(ステップS5)。具体的には、選択部224は、選択した回答フレーズを応答処理実行指示部225に出力する。応答処理実行指示部225は、選択部224が選択(決定)した回答フレーズデータを通信部201を介して人形10に出力する。
そして、処理を終了する(リターン)。
当該処理により、機嫌パラメータに基づいて応答内容データベース232から回答フレーズを選択して、サーバ20から回答フレーズデータが人形10に出力されて発話される。
これにより、機嫌パラメータの変化に応じた応答処理(発話)が実行されることにより、ユーザとの間での自然なコミュニケーションを図ることが可能である。
なお、上記においては、選択部224は、応答内容データベース232(図3)を参照して認識フレーズが無い場合(null)に対応する再応答回答フレーズを通信部201を介して人形10に出力する場合について説明したが、履歴記憶部233を参照して前回出力した回答フレーズデータを再出力するようにしても良い。
なお、音声認識部223は、音声内容の認識結果(音声認識結果)として得られる認識の確度(確からしさを示す度合)を示す信頼度を算出することも可能である。当該信頼度が低い場合には、認識フレーズが無いと判断するようにしても良い。なお、音声認識部223における音声認識結果の信頼度の判定方法としては、例えば、予め複数用意されている、所定の言葉(フレーズ)を示す音声波形モデル(音響モデル)と音声データの示す波形との一致度を判定し、最も高い一致度を信頼度とする判定方法などを用いることができる。なお、本発明はこれに限定されるものではなく、他の方式を用いることもできる。
また、サーバ20からの回答フレーズデータに基づいて人形10から応答処理を実行させる場合、応答処理に時間がかかることが想定される。したがって、「え〜っと」等の音声を発話させたり、他の応答処理をさせることで、ユーザに違和感を与えることを軽減し、人形10に対して親近感を抱かせることが可能となる。すなわち、より自然なコミュニケーションを図ることが可能である。このようなつなぎの音声を発話する等の応答処理を一定時間ごとに実行してもよい。このような応答処理は、予め定められた応答でもよいし、いくつかのパターンの中から選択されるものでもよく、また、その選択はランダムに選択されるものでもよい。このようなつなぎの音声を発話する等の応答処理は応答速度の面で人形10により実行させる方がより好ましいが、サーバ20の指示により実行する方式を採用することも可能である。具体的には、図7のシーケンス図のシーケンスsq2において、サーバ20が人形10からの音声データを受信した際に、当該つなぎの音声を発話する等の応答処理を実行するように、サーバ20から人形10に対して指示する構成を採用するようにしても良い。なお、以下の形態についても同様に適用可能である。
(機嫌パラメータ取得処理)
図9は、実施形態1に基づくサーバ20の機嫌パラメータ取得処理を実行するフロー図である。
図9を参照して、当該フロー図は、記憶部203に格納されているプログラムを実行して制御部202の管理部222により実行される処理である。
まず、機嫌パラメータPを算出するための評価値を算出する(ステップS10)。
まず、機嫌パラメータは1つのパラメータで表現することとし、ここでは一例として、−10〜+10の間の値で表現する。すなわち、−10が最も機嫌が悪い状態であり、+10が最も機嫌が良い状態となる。機嫌は多くの要因に影響を受けると考えられるため、一例として、機嫌パラメータは種々の要因の線形結合として算出する。
例えば、要因としては、直近の会話頻度、直近の会話内容、直近のセンサ情報、現在日時、外部情報の5つを用いる。直近の会話頻度、直近の会話内容、直近のセンサ情報、現在日時、外部情報のそれぞれの評価値をV1,V2,V3,V4,V5とする。
次に、評価値に基づいて機嫌パラメータPを算出する(ステップS12)。
本例においては、機嫌パラメータPは、次式で算出する。
機嫌パラメータP=K1×V1+K2×V2+K3×V3+K4×V4+K5×V5
ここで、K1〜K5は、それぞれの要因の重み付け値であり、この重み付け値については任意に変更することが可能である。
そして、算出結果に基づいて機嫌パラメータを更新する(ステップS14)。管理部222は、更新した機嫌パラメータPを選択部224に出力する。
そして、処理を終了する(エンド)。
管理部222の評価値V1〜V5の算出方法について説明する。
直近の会話頻度の評価値V1については、まず、履歴記憶部233を参照して、応答IDから記録されている直近(例えば72時間)の会話回数T1を取得する。
会話回数T1を用いて、会話頻度による評価値V1を次式により算出する。
評価値V1=T1/10−10
なお、V1の上限値は10、下限値は−10とする。他の評価値V2〜V5についても同様である。
すなわち、会話回数が200回以上であれば評価値V1=10となり、会話回数が0回であればV1=0となる。
直近の会話内容の評価値V2については、履歴記憶部233を参照して、記録されている直近(例えば24時間)の機嫌変化度の値(合計値)を取得する。
なお、履歴記憶部233を参照して、応答IDに対応する直近の会話種別を取得し、図6(A)の変更テーブルデータベース231を参照して同じ会話種別が連続している場合にはマイナス評価として先の合計値と加算するようにしても良い。
直近のセンサ情報の評価値V3については、履歴記憶部233およびセンサ情報データベース234を参照して、記録されている直近(例えば24時間)のセンサ情報を取得する。
撫でられた回数(種別「touch」)分だけプラス評価、笑顔を検出した回数(種別「smile」)分だけプラス評価を行う。また、検出された温度および湿度に基づいて不快指数Qを算出して、図6(B)の変更テーブルデータベース231を参照して、機嫌変化度を算出して、これらの値の合計値を取得する。
現在日時の評価値V4については、現在日時が特定の日付/時間帯に基づいて評価する。
図6(C)および(D)を参照して、対応する特定の日付/時間帯に基づいて、機嫌変化度を算出する。
外部情報の評価値V5については、履歴記憶部233を参照して、外部装置から取得した情報に基づいて算出する。本例においては、図6(E)を参照して、天気情報に基づく機嫌変化度を算出する。
上記評価値V1〜V5の算出結果に基づいて機嫌パラメータPを算出する。一例として、重み付け値K1〜K5を全て0.2とすれば、平均として機嫌パラメータPを算出することが可能である。
なお、機嫌パラメータPの算出方式は、上記方式に限られず、種々の方式を採用することが可能である。例えば、本例においては、評価値V1〜V5に基づいて機嫌パラメータPを算出する方式について説明したが、いずれか1つの評価値に基づいて機嫌パラメータPを算出するようにしても良く、その組み合わせも任意である。また、上記においては、機嫌パラメータPの算出方式として、各評価値を線形加算する方式について説明したが、各評価値をそれぞれ乗算し、乗算した値を機嫌パラメータの値として算出するようにしても良い。
なお、本例においては、人形10とサーバ20とが協働して動作する対話システム1の構成について説明したが、音声認識等のサーバ20の機能を人形10に含めてスタンドアローンで動作する対話装置を実現するようにしても良い。
また、本例においては、ユーザからの発話に対する応答処理に対して、機嫌パラメータPに基づく応答処理を実行する方式について説明したが、特にこれに限られず、ユーザからの発話ではなく、独り言のような所定周期における自動応答処理についても機嫌パラメータPに基づく応答処理を実行するようにしてもよい。
<実施形態2>
上記の実施形態1においては、機嫌パラメータに基づいて回答フレーズを変更する方式について説明した。
実施形態2においては、さらに、音声合成パラメータも変更する方式について説明する。
図10は、実施形態2に基づく音声合成パラメータテーブルを説明する図である。
当該テーブルは、一例として応答内容データベース232に格納されているものとする。
図10を参照して、「機嫌範囲」と、「音量」、「ピッチ」、「話速」とがそれぞれ対応付けられている場合が示されている。本例においては、機嫌パラメータが高いほど「音量」、「ピッチ」、「話速」が大きく、機嫌パラメータが低いほど「音量」、「ピッチ」、「話速」が小さくなるように設定されている。
本例においては、基準値を「1.0」としており、音量の値が小さいほど音が小さく、値が大きいほど音が大きくなるものとする。また、ピッチの値が小さいほど音程が低く、大きいほど音程が高くなるものとする。また、話速の値が小さいほど再生スピードが遅く、大きいほど再生スピードが速くなるものとする。
具体的には、機嫌パラメータPの機嫌範囲が−6未満の場合には、音量「0.9」、ピッチ「0.9」、話速「0.9」に設定されている場合が示されている。
また、機嫌パラメータPの機嫌範囲が−6以上であり、−2未満の場合には、音量「0.95」、ピッチ「0.95」、話速「1.0」に設定されている場合が示されている。
また、機嫌パラメータPの機嫌範囲Pが−2以上であり、2未満の場合には、音量「1.0」、ピッチ「1.0」、話速「1.0」に設定されている場合が示されている。
また、機嫌パラメータPの機嫌範囲が2以上であり、6未満の場合には、音量「1.05」、ピッチ「1.1」、話速「1.0」に設定されている場合が示されている。
また、機嫌パラメータPの機嫌範囲が6以上の場合には、音量「1.1」、ピッチ「1.2」、話速「1.1」に設定されている場合が示されている。
したがって、機嫌パラメータPが低い場合には、暗い感じのトーンの再生となり、機嫌パラメータPが高い場合には、明るい感じのトーンの再生となる。
実施形態2において、サーバ20の選択部224は、選択した回答フレーズを応答処理実行指示部225に出力するとともに、図10の音声合成パラメータテーブルを参照して、機嫌パラメタPに応じた音声合成パラメータ(音量、ピッチ、話速のデータ)を出力する。
応答処理実行指示部225は、選択部224が選択(決定)した回答フレーズデータとともに音声合成パラメータを通信部201を介して人形10に出力する。
人形10の応答処理実行部112は、通信部201を介して受信した回答フレーズデータおよび音声合成パラメータに基づいてスピーカ104を介してユーザに応答(音声対話)する。
当該処理により、機嫌パラメータに基づく回答フレーズが、機嫌パラメータに基づく音声合成パラメータにより人形10から再生出力されて発話される。
これにより、機嫌パラメータの変化に応じた応答処理(発話)が実行されることにより、ユーザとの間での自然なコミュニケーションを図ることが可能である。
なお、本例においては、機嫌パラメータに基づいて回答フレーズおよび音声合成パラメータがともに選択される場合について説明したが、特にこれに限られず、音声合成パラメータのみが選択され回答フレーズは共通のものを利用することも可能である。
<実施形態3>
上記の実施形態においては、ユーザの発話に対する応答内容として音声再生する場合について説明したが、特に音声再生する場合に限られず、他の方式による応答内容としても良い。
図11は、実施形態3に基づく応答内容データベース232Aについて説明する図である。
図11を参照して、当該応答内容データベース232Aは、一例として実施形態3に基づくサーバ20の備える記憶部203に格納されている。
具体的には、応答内容データベース232Aには、複数の応答情報が登録されている。具体的には、認識内容(認識フレーズ)と応答内容(回答フレーズ)とが関連付けられて登録されている。本例においては、それぞれの認識フレーズと回答フレーズとの組み合わせに対して識別番号(応答ID)が割り当てられている。なお、一例として本例における応答内容データベース232に登録されている認識フレーズは、音声認識に利用される辞書にも同様に登録されているものとする。
一例として、ここでは認識フレーズとして、「おはよう」・・・に対応dして回答フレーズがそれぞれ関連付けられて格納されている。
例えば、応答ID「1」の認識フレーズ「おはよう」に対応して応答態様「動作パターン1」が関連付けられて登録されている場合が示されている。
また、応答ID「2」の認識フレーズ「おはよう」に対応して応答態様「動作パターン2」が関連付けられて登録されている場合が示されている。
また、応答ID「3」の認識フレーズ「おはよう」に対応して応答態様「動作パターン3」が関連付けられて登録されている場合が示されている。
ここで、応答態様「動作パターン1」〜「動作パターン3」は、サーバ20が人形10に対して所定の動作パターンの動き(移動処理)を実行するように指示することを意味する。
例えば、「動作パターン1」は、駆動部106により人形10が手を所定期間動かす動きを実行するパターンを意味する。
「動作パターン2」は、駆動部106により人形10の足を所定期間動かす動きを実行するパターンを意味する。
「動作パターン3」は、駆動部106により人形10の頭を所定期間動かす動きを実行するパターンを意味する。
そして、各認識フレーズに対応する応答態様に関して、本例においては機嫌変化度が対応付けられている。
機嫌変化度に関して、認識フレーズの内容が積極的な内容であれば、機嫌パラメータPの値が大きくなるように機嫌変化度が付与される。一方、認識フレーズの内容が消極的な内容であれば、機嫌パラメータPの値が低くなるように機嫌変化度が付与される。上記したように機嫌変化度等に基づく機嫌パラメータの算出処理により、機嫌パラメータの変化に応じた応答処理が実行される。
そして、各認識フレーズに対応する回答フレーズに関して、本例においては機嫌範囲が対応付けられている。
当該機嫌範囲は、同じ認識フレーズに対して、複数の回答フレーズが有る場合に選択する指標として用いられる。本例においては、管理部222で管理されている機嫌パラメータPに基づいて回答フレーズが選択される。機嫌パラメータPがどの機嫌範囲に属するかが判断されて、対応する回答フレーズが選択される。
たとえば、機嫌範囲として機嫌パラメータQが5より大きい場合には、応答ID「1」が選択される。また、機嫌範囲として機嫌パラメータQが−5より大きく、5以下の場合には、応答ID「2」が選択される。また、機嫌範囲として機嫌パラメータQが−5以下の場合には、応答ID「3」が選択される。
なお、必ずしも機嫌範囲に含まれる回答フレーズを選択するものではなく、相対的に選択される確率を高くするようにしても良い。これにより、パターン化された回答内容になることなく、ユーザとの間での自然なコミュニケーションを図ることが可能である。
<実施形態4>
ユーザとの間での自然なコミュニケーションを図るために、画一的な音声再生ではなく、各装置毎にそれぞれ対応するキャラクタを割り当てることも可能である。
図12は、実施形態4に基づくキャラクタデータベースについて説明する図である。
図12を参照して、本例におけるキャラクタデータベースは、記憶部203に格納されているものとする。
キャラクタデータベースには、複数のキャラクタ情報が登録されている。具体的には、キャラクタIDに関連づけられたキャラクタ情報(名前、話者、音量、ピッチ、話速、応援チーム)が関連付けられて登録されている。
具体的には、キャラクタIDに対応して、「名前」、「話者」、「音量」、「ピッチ」、「話速」、「応援チーム」がそれぞれ関連付けられて登録されている。
一例として、キャラクタIDが「1」の場合には、名前「ココ」、話者「Woman1」、音量「1.0」、ピッチ「1.0」、話速「1.0」、応援チーム「Null」が登録されている場合が示されている。
キャラクタIDが「2」の場合には、名前「はなこ」、話者「Woman2」、音量「1.0」、ピッチ「1.05」、話速「0.9」、応援チーム「Null」が登録されている場合が示されている。
キャラクタIDが「3」の場合には、名前「げんき」、話者「man1」、音量「1.2」、ピッチ「1.0」、話速「1.1」、応援チーム「阪神」が登録されている場合が示されている。
装置IDが「10」の人形10のキャラクタIDが「1」に割り当てられている場合には、名前「ココ」、話者「Woman1」、音量「1.0」、ピッチ「1.0」、話速「1.0」、応援チーム「Null」のキャラクタ特性としてユーザと対話することが可能である。
名前は、自己紹介する際に用いられる。話者は、音声合成処理する際の基準となる音声パターンデータのことを意味する。話者「Woman1」は、女性パターンデータ1を指し示す。応援チームは、キャラクタの個性として有する野球球団の応援チームを指し示す。
本例においては、「Null」なので特になしとする。
一方、応援チームが「阪神」の場合には、阪神を応援チームとする。
サーバ20は、通信部201を介して所定のタイミングで野球球団の勝敗結果に関する情報を取得する。たとえば、前日の勝敗結果を取得して、応援チームが勝った場合に機嫌パラメータを上昇させる。あるいは、応援チームが負けた場合に、機嫌パラメータを下降させる。
当該処理により、画一的な音声再生ではなく、キャラクタ毎に個性を持たせることにより、キャラクタの機嫌パラメータの変化に応じた応答処理(発話)が実行されることにより、ユーザとの間での自然なコミュニケーションを図ることが可能である。
<実施形態5>
図13は、実施形態5に基づくサーバの構成について説明する図である。
図13を参照して、本例においては、サーバが複数設けられている場合が示されている。
本例においては、一例としてサーバ20Aと、サーバ20Bとが設けられている場合が示されている。
上記の構成においては、音声認識と音声認識に対する回答フレーズ(応答態様)とを決定する処理とを同じサーバで実行する場合について説明したが、一方で、当該処理をそれぞれ独立のサーバで実行することも可能である。
具体的には、サーバ20Aにおいて音声データに対する音声認識を実行し、サーバ20Bにおいて回答フレーズデータを人形10に出力する構成としてもよい。
例えば、人形10から音声データをサーバ20Aに送信する(1)。サーバ20Aが音声データの音声認識を実行する(2)。そして、サーバ20Aが人形10に対して認識フレーズを送信する(3)。
人形10がサーバ20Aから認識フレーズを受信して、別のサーバ20Bに当該認識フレーズを送信する(4)。
サーバ20Bは、人形10から認識フレーズを受信して、当該認識フレーズに対応する回答フレーズを決定する(5)。そして、サーバ20Bは、人形に対して回答フレーズデータを送信する(6)。
なお、本例においては、サーバ20Aが音声データの音声認識を実行した認識フレーズを人形10に対して送信する場合について説明したが、認識フレーズに限られず音声認識の結果を示す情報であればどのようなものでも良い。例えば、サーバ20Bに格納されている回答フレーズにアクセスするために必要なアクセス情報(URL(Uniform Resource Locator)等)であってもよい。例えば、当該アクセス情報(URL)を人形10は、サーバ20Aから受信して、サーバ20Bにアクセスすることにより回答フレーズをサーバ20Bから取得する構成としてもよい。また、アクセス情報に限られず、サーバ20Bに格納されている回答フレーズがファイル形式で保存されている場合には、サーバ20Aからの音声認識の結果を示す情報として、ファイル名を指定する情報であってもよい。例えば、当該ファイル名を人形10は、サーバ20Aから受信して、サーバ20Bに対してファイル名を指定して情報を要求することにより、回答フレーズに関連するファイルをサーバ20Bから取得することが可能である。
また、同様に、サーバ20Aからの音声認識の結果を示す情報として、認識フレーズをテキスト化したテキスト情報を送信するようにしてもよい。人形10は、当該テキスト情報から認識フレーズを抽出して、サーバ20Bにアクセスして回答フレーズを取得するようにしてもよいし、当該テキスト情報をサーバ20Bに送信して、サーバ20Bで認識フレーズを含むテキスト情報を解析して、解析結果に基づいて回答フレーズを決定して、人形10に送信する構成としてもよい。
また、サーバ20Bから人形10に回答フレーズデータを送信する構成について説明した。具体的には、回答フレーズデータである音声ファイルを送信して人形10が当該音声ファイルに従って発話する場合について説明したが、音声ファイルに限られず、回答フレーズデータとしてテキスト情報を送信して、人形10で当該テキスト情報を解析(いわゆる読み上げ機能等)して発話(応答処理)するようにしてもよい。
また、本例においては、サーバ20で音声認識する場合について説明したが、人形10で音声認識し、その結果に対する回答フレーズを人形10内で決定して、回答フレーズをサーバ20Bから取得するようにしてもよい。その場合、認識フレーズに対するサーバ20Bの回答フレーズにアクセスするアクセス情報(URL)が対応付けられたURL対応テーブルを記憶部109に設けることにより実現することが可能である。
また、人形10内に保存されている情報を利用して音声認識の結果に対する回答フレーズを取得することも可能である。
例えば、一時的に情報を格納することが可能なキャッシュメモリに以前に利用された認識フレーズに対する回答フレーズの情報が含まれている場合には、当該キャッシュメモリに格納されている回答フレーズの情報を利用することにより、例えば、サーバ20Bにアクセスすることなく回答フレーズを取得して人形10から発話(応答処理)することも可能である。これによりキャッシュメモリに格納されている情報を利用して早期に発話することが可能である。
また、人形10内に回答フレーズである音声ファイルが保存されている場合に、サーバ20Aが当該人形10内に保存されている音声ファイルを音声認識の結果を示す情報として指定するようにしても良い。当該処理により、サーバ20Bにアクセスすることなく、人形10内に保存されている音声ファイルを利用して早期に発話することが可能である。なお、当該音声ファイルが人形10内に保存されていない場合には、サーバ20Bに対して当該指定された音声ファイルを要求して、サーバ20Bから音声ファイルを取得して発話するようにしても良い。
実施形態5のサーバの構成については、上記の実施形態1〜4のいずれにも適用可能である。
<実施形態6>
人形10及びサーバ20等の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(Central Processing Unit)を用いてソフトウェアによって実現してもよい。
後者の場合、人形10及びサーバ20は、各機能を実現するソフトウェアであるプログラムの命令を実行するCPU、上記プログラムおよび各種データがコンピュータ(またはCPU)で読み取り可能に記録されたROM(Read Only Memory)または記憶装置(これらを「記録媒体」と称する)、上記プログラムを展開するRAM(Random Access Memory)などを備えている。そして、コンピュータ(またはCPU)が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体(通信ネットワークや放送波等)を介して上記コンピュータに供給されてもよい。なお、本発明は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
(まとめ)
今回開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施の形態の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
1 対話システム、5 ネットワーク、10 人形、20,20A,20B サーバ、101,201 通信部、102,202 制御部、103 マイク、104 スピーカ、106 駆動部、107 操作部、109,203 記憶部、112 応答処理実行部、114 音声入力受付部、221 音声入力受信部、222 管理部、223 音声認識部、224 選択部、225 応答処理実行部、231 変更テーブルデータベース、232 応答内容データベース、233 履歴記憶部、234 センサ情報データベース。

Claims (19)

  1. ユーザからの入力を受け付ける入力受付部と、
    装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、前記入力受付部で受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、
    前記記憶部を参照して、前記パラメータ管理部で管理される前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択する選択部と、
    前記選択部により選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える、対話装置。
  2. ユーザからの入力を受け付ける入力受付部と、
    装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、前記入力受付部で受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、
    前記記憶部を参照して、前記パラメータ管理部で管理される前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択する選択部と、
    前記選択部により選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える、対話システム。
  3. コンピュータにおいて実行される対話プログラムであって、
    前記対話プログラムは、前記コンピュータに対して、
    ユーザからの入力を受け付けるステップと、
    装置の感情を示す機嫌パラメータを管理するステップと、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択するステップと、
    選択された応答情報に基づいて応答処理を実行するステップとを備える、処理を実行させる、対話プログラム。
  4. 対話装置と通信可能に設けられたサーバとを備える対話システムであって、
    前記対話装置は、
    ユーザからの入力を受け付ける入力受付部と、
    前記サーバから指示に従って応答処理を実行する応答処理実行部とを備え、
    前記サーバは、
    装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、前記入力受付部で受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、
    前記記憶部を参照して、前記パラメータ管理部で管理される前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択する選択部と、
    前記選択部により選択された応答情報に基づいて前記対話装置に対して応答処理を実行するように指示する応答処理実行指示部とを含む、対話システム。
  5. サーバと通信可能に設けられた対話装置であって、
    ユーザからの入力を受け付ける入力受付部と、
    前記入力受付部で受け付けた前記ユーザからの入力に従って、前記サーバで管理されている装置の感情を示す機嫌パラメータに基づいて前記サーバで記憶されている前記ユーザからの入力に対する応答に関する複数の応答情報の中から選択された応答情報に基づいて応答処理を実行する応答処理実行部とを備える、対話装置。
  6. サーバと通信可能に設けられた対話装置のコンピュータにおいて実行される対話プログラムであって、
    前記対話プログラムは、前記コンピュータに対して、
    ユーザからの入力を受け付けるステップと、
    受け付けた前記ユーザからの入力に従って、前記サーバで管理されている装置の感情を示す機嫌パラメータに基づいて前記サーバで記憶されている前記ユーザからの入力に対する応答に関する複数の応答情報の中から選択された応答情報に基づいて応答処理を実行するステップとを備える、処理を実行させる、対話プログラム。
  7. 対話装置と通信可能に設けられたサーバであって、
    前記対話装置で受け付けたユーザからの入力を受信する受信部と、
    装置の感情を示す機嫌パラメータを管理するパラメータ管理部と、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、前記受信部で受信した前記ユーザからの入力に対する応答に関する複数の応答情報を記憶する記憶部と、
    前記記憶部を参照して、前記パラメータ管理部で管理される前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択する選択部と、
    前記選択部により選択された応答情報に基づいて前記対話装置に対して応答処理を実行するように指示する応答処理実行指示部とを備える、サーバ。
  8. 前記パラメータ管理部は、前記機嫌パラメータを更新する、請求項7記載のサーバ。
  9. 前記パラメータ管理部は、外部から取得した情報に基づいて前記機嫌パラメータを更新する、請求項8記載のサーバ。
  10. 前記パラメータ管理部は、外部から取得した環境情報に基づいて前記機嫌パラメータを更新する、請求項9記載のサーバ。
  11. 前記パラメータ管理部は、前記外部から取得した情報が所定条件を満たす場合に前記機嫌パラメータを更新する、請求項9記載のサーバ。
  12. 前記パラメータ管理部は、前記受信部で受信した前記ユーザからの入力態様に基づいて前記機嫌パラメータを更新する、請求項8記載のサーバ。
  13. 前記パラメータ管理部は、前記受信部で受信した前記ユーザからの音声入力内容に基づいて前記機嫌パラメータを更新する、請求項12記載のサーバ。
  14. 前記パラメータ管理部は、前記受信部で受信した前記ユーザにより検知したセンサ入力情報に基づいて前記機嫌パラメータを更新する、請求項12記載のサーバ。
  15. 前記サーバは、前記ユーザからの入力の履歴を記憶する履歴記憶部をさらに備え、
    前記パラメータ管理部は、前記履歴記憶部を参照して、前記ユーザからの複数の入力態様に基づいて前記機嫌パラメータを更新する、請求項8記載のサーバ。
  16. 前記応答処理実行指示部は、前記対話装置に対して音声合成処理を実行するように指示し、
    前記複数の応答情報は、前記音声合成処理を実行する際のそれぞれが異なるパラメータ情報を含む、請求項7記載のサーバ。
  17. 前記応答処理実行指示部は、前記対話装置に対して音声出力処理を実行するように指示し、
    前記複数の応答情報は、前記音声出力処理を実行する際のそれぞれが異なる出力内容を含む、請求項7記載のサーバ。
  18. 対話装置と通信可能に設けられたサーバの制御方法であって、
    前記対話装置で受け付けたユーザからの入力を受信するステップと、
    装置の感情を示す機嫌パラメータを管理するステップと、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択するステップと、
    選択された応答情報に基づいて前記対話装置に対して応答処理を実行するように指示するステップとを備える、サーバの制御方法。
  19. 対話装置と通信可能に設けられたサーバのコンピュータにおいて実行されるサーバ制御プログラムであって、
    前記サーバ制御プログラムは、前記コンピュータに対して、
    前記対話装置で受け付けたユーザからの入力を受信するステップと、
    装置の感情を示す機嫌パラメータを管理するステップと、
    各々が、選択される際の指標として前記機嫌パラメータの値と関連付けられ、受け付けた前記ユーザからの入力に対する応答に関する複数の応答情報が記憶された記憶部を参照して、前記機嫌パラメータに基づいて前記複数の応答情報の1つを選択するステップと、
    選択された応答情報に基づいて前記対話装置に対して応答処理を実行するように指示するステップとを備える、処理を実行させる、サーバ制御プログラム。
JP2014192653A 2014-09-22 2014-09-22 サーバ、サーバの制御方法およびサーバ制御プログラム Expired - Fee Related JP6391386B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014192653A JP6391386B2 (ja) 2014-09-22 2014-09-22 サーバ、サーバの制御方法およびサーバ制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014192653A JP6391386B2 (ja) 2014-09-22 2014-09-22 サーバ、サーバの制御方法およびサーバ制御プログラム

Publications (2)

Publication Number Publication Date
JP2016062077A true JP2016062077A (ja) 2016-04-25
JP6391386B2 JP6391386B2 (ja) 2018-09-19

Family

ID=55797777

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014192653A Expired - Fee Related JP6391386B2 (ja) 2014-09-22 2014-09-22 サーバ、サーバの制御方法およびサーバ制御プログラム

Country Status (1)

Country Link
JP (1) JP6391386B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
CN109684455A (zh) * 2018-12-27 2019-04-26 深圳前海微众银行股份有限公司 智能客服系统的实现方法及装置、设备、可读存储介质
CN109754794A (zh) * 2017-11-02 2019-05-14 株式会社日立制作所 机器人对话系统和机器人对话系统的控制方法
JP2019159121A (ja) * 2018-03-13 2019-09-19 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
CN112204654A (zh) * 2018-02-15 2021-01-08 得麦股份有限公司 用于基于预测的先发式对话内容生成的系统和方法
CN112433601A (zh) * 2019-08-26 2021-03-02 富士施乐株式会社 信息处理装置、存储介质及信息处理方法
JP2021135312A (ja) * 2020-02-21 2021-09-13 ジョイズ株式会社 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
WO2022215284A1 (ja) * 2021-04-09 2022-10-13 パナソニックIpマネジメント株式会社 発話機器を制御する方法、サーバ、発話機器、およびプログラム
JP7450692B1 (ja) 2022-11-21 2024-03-15 株式会社ポケモン プログラム、方法、情報処理装置、システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327765A (ja) * 1999-11-02 2001-11-27 Sega Toys:Kk 電子玩具及びその制御方法及び記憶媒体
JP2003271172A (ja) * 2002-03-15 2003-09-25 Sony Corp 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
JP2004029147A (ja) * 2002-06-21 2004-01-29 P To Pa:Kk 顔画像表示装置、顔画像表示方法及びプログラム
WO2013108532A1 (ja) * 2012-01-17 2013-07-25 シャープ株式会社 ロボット装置、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014075045A (ja) * 2012-10-04 2014-04-24 Sharp Corp 制御装置、制御装置の制御方法、被制御装置、サーバ、制御プログラム、および記録媒体
JP2014098962A (ja) * 2012-11-13 2014-05-29 Sharp Corp 行動制御装置、行動制御方法、および制御プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001327765A (ja) * 1999-11-02 2001-11-27 Sega Toys:Kk 電子玩具及びその制御方法及び記憶媒体
JP2003271172A (ja) * 2002-03-15 2003-09-25 Sony Corp 音声合成方法、音声合成装置、プログラム及び記録媒体、並びにロボット装置
JP2004029147A (ja) * 2002-06-21 2004-01-29 P To Pa:Kk 顔画像表示装置、顔画像表示方法及びプログラム
WO2013108532A1 (ja) * 2012-01-17 2013-07-25 シャープ株式会社 ロボット装置、制御プログラム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2014075045A (ja) * 2012-10-04 2014-04-24 Sharp Corp 制御装置、制御装置の制御方法、被制御装置、サーバ、制御プログラム、および記録媒体
JP2014098962A (ja) * 2012-11-13 2014-05-29 Sharp Corp 行動制御装置、行動制御方法、および制御プログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754794A (zh) * 2017-11-02 2019-05-14 株式会社日立制作所 机器人对话系统和机器人对话系统的控制方法
CN112204654A (zh) * 2018-02-15 2021-01-08 得麦股份有限公司 用于基于预测的先发式对话内容生成的系统和方法
JP2019159121A (ja) * 2018-03-13 2019-09-19 東芝映像ソリューション株式会社 音声対話端末、および音声対話端末制御方法
CN108847239A (zh) * 2018-08-31 2018-11-20 上海擎感智能科技有限公司 语音交互/处理方法、系统、存储介质、车机端及服务端
CN109684455A (zh) * 2018-12-27 2019-04-26 深圳前海微众银行股份有限公司 智能客服系统的实现方法及装置、设备、可读存储介质
CN112433601A (zh) * 2019-08-26 2021-03-02 富士施乐株式会社 信息处理装置、存储介质及信息处理方法
JP2021135312A (ja) * 2020-02-21 2021-09-13 ジョイズ株式会社 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
WO2022215284A1 (ja) * 2021-04-09 2022-10-13 パナソニックIpマネジメント株式会社 発話機器を制御する方法、サーバ、発話機器、およびプログラム
JPWO2022215284A1 (ja) * 2021-04-09 2022-10-13
JP7398683B2 (ja) 2021-04-09 2023-12-15 パナソニックIpマネジメント株式会社 発話機器を制御する方法、サーバ、発話機器、およびプログラム
JP7450692B1 (ja) 2022-11-21 2024-03-15 株式会社ポケモン プログラム、方法、情報処理装置、システム

Also Published As

Publication number Publication date
JP6391386B2 (ja) 2018-09-19

Similar Documents

Publication Publication Date Title
JP6391386B2 (ja) サーバ、サーバの制御方法およびサーバ制御プログラム
US9626964B2 (en) Voice recognition terminal, server, method of controlling server, voice recognition system, non-transitory storage medium storing program for controlling voice recognition terminal, and non-transitory storage medium storing program for controlling server
CN108701458B (zh) 话音识别
JP6502512B2 (ja) 動的パスワード音声に基づいた自己学習機能を有する身分認証システム及び方法
US9583102B2 (en) Method of controlling interactive system, method of controlling server, server, and interactive device
CN110534099A (zh) 语音唤醒处理方法、装置、存储介质及电子设备
US20150348538A1 (en) Speech summary and action item generation
CN112396182B (zh) 脸部驱动模型的训练和脸部口型动画的生成方法
CN108922525B (zh) 语音处理方法、装置、存储介质及电子设备
CN110399837A (zh) 用户情绪识别方法、装置以及计算机可读存储介质
CN114051639A (zh) 使用说话者基线进行情绪检测
US10789961B2 (en) Apparatus and method for predicting/recognizing occurrence of personal concerned context
JP2017107078A (ja) 音声対話方法、音声対話装置及び音声対話プログラム
CN112634897B (zh) 设备唤醒方法、装置和存储介质及电子装置
JP6585733B2 (ja) 情報処理装置
JP6915637B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN112863489B (zh) 语音识别方法、装置、设备及介质
KR20200025226A (ko) 전자 장치 및 그 제어 방법
US20220414472A1 (en) Computer-Implemented Method, System, and Non-Transitory Computer-Readable Storage Medium for Inferring Audience's Evaluation of Performance Data
WO2021134250A1 (zh) 情绪管理方法、设备及计算机可读存储介质
CN111506183A (zh) 一种智能终端及用户交互方法
US11393462B1 (en) System to characterize vocal presentation
CN117198335A (zh) 一种语音交互方法、装置、计算机设备及智能家居系统
CN111354351B (zh) 控制装置、语音交互装置、语音识别服务器以及存储介质
JP2005258235A (ja) 感情発話検知による対話修正機能を備えた対話制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180411

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180731

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180821

R150 Certificate of patent or registration of utility model

Ref document number: 6391386

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees