JP2018140477A - 発話制御装置、電子機器、発話制御装置の制御方法、および制御プログラム - Google Patents

Abstract

【課題】ユーザに対して発話するか否かをより適切に決定可能な発話制御装置などを提供する。【解決手段】電子機器（１）の発話を制御する制御部（１０）は、ユーザの感情を判定する感情判定部（１４）と、ユーザの行動状態を判定する行動状態判定部（１５）と、感情判定部および行動状態判定部の判定結果の組み合わせに応じて、電子機器がユーザに対して発話を行うか否かを決定する発話決定部（１６）と、を備える。【選択図】図１

Description

本開示は、ユーザに対して発話を行う電子機器の発話を制御する発話制御装置などに関する。

近年、音声認識および言語処理などを行うことでユーザと音声対話によるコミュニケーションが可能なロボットの開発が行われている。

一方で、このようなロボットの発言について、例えば発言の量が多すぎるなどの理由でユーザが煩わしく感じることがあるという問題がある。特許文献１には、このような問題を解決するため、ユーザが発話した時にユーザの顔画像データおよび発話音声データを取得して感情認識を行い、認識した感情に対応する行動を実行するロボットが開示されている。

特開２００６−１２３１３６号公報（２００６年５月１８日公開）

しかしながら、ユーザがロボットからの発話を煩わしく思うか否かは、必ずしもユーザの感情のみによって左右されるものではない。このため、特許文献１に開示されているロボットは、依然としてユーザにとって不適切なタイミングで発話を行う虞がある。

本発明の一態様は、上記の問題点に鑑みてなされたものであり、ユーザに対して発話するか否かをより適切に決定可能な発話制御装置などを提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る発話制御装置は、ユーザに対して発話を行う機能を有する電子機器の上記発話を制御する発話制御装置であって、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定部と、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定部と、上記感情判定部および上記行動状態判定部の判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定部と、を備える。

また、本発明の一態様に係る制御方法は、ユーザに対して発話を行う機能を有する電子機器の上記発話を制御する発話制御装置の制御方法であって、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定ステップと、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定ステップと、上記感情判定ステップおよび上記行動状態判定ステップの判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定ステップと、を含む。

本発明の一態様によれば、ユーザに対して発話するか否かをより適切に決定できる。

実施形態１に係る電子機器の構成を示すブロック図である。 実施形態１において発話決定部が参照する発話決定テーブルを示す図である。 実施形態１に係る制御部における処理を示すフローチャートである。 行動状態判定部による、ユーザの行動状態を判定する処理を示すフローチャートである。 実施形態２に係る電子機器の構成を示すブロック図である。 実施形態２に係る制御部における処理を示すフローチャートである。

〔実施形態１〕
以下、本発明の実施形態について、図１〜図４に基づいて詳細に説明する。

（電子機器１の概略）
図１は、本実施形態に係る電子機器１の構成を示すブロック図である。電子機器１は、ユーザに対して発話を行う機能を有する。図１に示すように、電子機器１は、制御部１０（発話制御装置）、マイク２０、カメラ３０、スピーカ４０、記憶部５０、およびタイマー６０を備える。

制御部１０は、ユーザに対して発話を行う機能を有する電子機器１の上記発話を制御する。制御部１０の具体的な構成については後述する。

マイク２０は、周囲の音声の入力を受け付ける音声入力装置である。カメラ３０は、周囲の状況およびユーザなどの画像を連続して撮像する撮像装置である。制御部１０は、マイク２０に入力される音声のデータ、およびカメラ３０が撮像した画像から、ユーザの言動および表情を示す情報を取得する。

スピーカ４０は、ユーザに対して発話するための音声出力装置である。タイマー６０は、上述したユーザの言動および表情を示す情報を取得する処理を制御部１０が実行する時の、時間の計測を行う。

記憶部５０は、制御部１０による電子機器１の制御に必要なデータを記憶する記憶媒体である。記憶部５０は、例えばフラッシュメモリ、ＳＳＤ（Solid State Drive）、またはハードディスクなどであってよい。記憶部５０は、例えばユーザの音声および画像を他の音声および画像と識別するためのデータ、後述する感情判定部１４および行動状態判定部１５による判定結果、ユーザに対して発話するか否かを決定するための発話決定テーブル、およびユーザに対する発話に用いる音声データ、などを記憶している。

なお、記憶部５０は、電子機器１ではなく別の外部装置に設けられていてもよい。この場合、電子機器１は、上記外部装置が備える記憶部５０と、有線または無線によりアクセス可能に接続されていてよい。

（制御部１０の構成）
制御部１０は、発話契機判定部１１、音声解析部１２、画像解析部１３、感情判定部１４、行動状態判定部１５、発話決定部１６、および発話制御部１７を備える。

発話契機判定部１１は、発話契機であるか否かを判定する。発話契機は、電子機器１がユーザに対して発話する契機である。発話契機は、例えばユーザに対して発話すべき情報である発話情報を電子機器１が取得した時であってもよく、また例えば予めユーザまたは電子機器１の製造者によって設定された所定の時刻であってもよい。発話情報を電子機器１が取得した時の具体例については、実施形態３で説明する。

音声解析部１２は、マイク２０に入力された音声の音声データを解析する。具体的には、音声解析部１２は、タイマー６０によって計測される所定の時間内に、マイク２０に入力された音声について、特定の情報（例えば、ユーザの言動を示す情報）を抽出して記憶部５０に記憶させる。

例えば、音声解析部１２は、抽出した特定の情報を用いて、マイク２０に入力された音声にユーザの声が含まれているか否かを判定する。この場合、例えば電子機器の使用開始時などに、ユーザが予めマイク２０に声を入力し、音声解析部１２が入力された声の特徴を抽出して、当該特徴を記憶部５０に保持（登録）していればよい。

画像解析部１３は、カメラ３０が撮像した画像を解析する。具体的には、画像解析部１３は、タイマー６０によって計測される所定の時間内にカメラ３０が撮像した画像について、特定の情報（例えば、ユーザの言動を示す情報、ユーザの表情を示す情報）を抽出して記憶部５０に記憶させる。

例えば、画像解析部１３は、抽出した特徴を用いて、ユーザ、ユーザの目の位置、およびユーザの視線が向けられている対象である対象物などを特定する。この場合、例えば電子機器の使用開始時などに、ユーザが予めカメラ３０によりユーザ自身の顔の画像を撮像し、画像解析部１３が当該顔の画像の特徴を抽出して、当該特徴を記憶部５０に保持（登録）していればよい。

感情判定部１４は、ユーザの言動および表情の少なくとも何れかを示す情報を用いて、ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する。本実施形態では、感情判定部１４は、音声解析部１２および画像解析部１３による解析の結果に基づいて、予め登録されているユーザの感情を判定する。

本実施形態では、感情判定部１４は、ユーザの感情について、予め定められた、（１）楽しんでいる、（２）怒っている、（３）悲しんでいる、または（４）その他（特に感情は見られない）、の４種類の感情のいずれであるかを判定する。ただし、本開示の一態様においては、感情判定部１４が判定する感情は上記の（１）〜（４）に限定されない。感情判定部１４による感情の判定の処理は、例えば特許文献１に開示されている通り公知であるため、本明細書においては当該処理についての説明を省略する。

行動状態判定部１５は、ユーザの言動および表情の少なくとも何れかを示す情報を用いて、ユーザの行動の状態（行動状態）が予め定められた複数の行動状態のいずれに該当するかを判定する。本実施形態では、行動状態判定部１５は、音声解析部１２および画像解析部１３による解析の結果に基づいて、ユーザの行動状態を判定する。

本実施形態では、行動状態判定部１５は、ユーザの行動状態について、予め定められた、（Ａ）他者と会話中、（Ｂ）テレビ視聴中または読書中、または（Ｃ）何もしていない、の３種類の行動状態のいずれであるかを判定する。ただし、本開示の一態様においては、行動状態判定部１５が判定する行動状態は上記の（Ａ）〜（Ｃ）に限定されない。行動状態判定部１５による判定の処理については後述する。

発話決定部１６は、感情判定部１４および行動状態判定部１５の判定結果の組み合わせに応じて、電子機器１がユーザに対して発話を行うか否かを決定する。具体的には、発話決定部１６は、電子機器１がユーザに対して発話を行うか否かを決定するための発話決定テーブルを参照し、感情判定部１４が判定した感情および行動状態判定部１５が判定した行動状態に対応する発話の可否を決定する。発話決定テーブルは、例えば予め記憶部５０に格納されていてよい。

図２は、本実施形態において発話決定部１６が参照する発話決定テーブルを示す図である。図２に示す発話決定テーブルにおいては、上記の（１）〜（４）の感情、および（Ａ）〜（Ｃ）の行動状態の、計１２通りの組み合わせのそれぞれについて、電子機器１がユーザに対して発話するか否かが規定されている。

例えば、感情判定部１４がユーザの感情について「（４）その他（特に感情は見られない）」と判定し、行動状態判定部１５がユーザの行動状態について「（Ｂ）テレビ視聴中または読書中」と判定した場合について考える。この場合、電子機器１がユーザに対して発話しても問題ないと考えられることから、図２に示した発話決定テーブルでは「発話する」と規定されている。

一方、感情判定部１４がユーザの感情について「（１）楽しんでいる」と判定し、行動状態判定部１５がユーザの行動状態について「（Ｂ）テレビ視聴中または読書中」と判定した場合について考える。この場合、電子機器１が発話することはユーザにとって邪魔になると考えられるため、図２に示した発話決定テーブルでは「発話しない」と規定されている。

このように、発話決定部１６は、ユーザの感情および行動状態の両方から、電子機器１がユーザに対して発話するか否かを決定することができる。したがって、電子機器１は、ユーザの状況に応じた発話、換言すればユーザが発話を望んでいないと考えられる不適切な場面における発話の抑制が可能になる。したがって、電子機器１は、従来の発話可能な電子機器と比較して、ユーザの満足度を向上させることができる。

なお、上述した通り、感情判定部１４が判定するユーザの感情は上記の（１）〜（４）に限定されず、行動状態判定部１５が判定するユーザの行動状態は上記の（Ａ）〜（Ｃ）に限定されない。このため、発話決定テーブルにおいて規定される感情と行動状態との組み合わせも図２に示した１２通りに限定されない。

発話制御部１７は、電子機器１がユーザに対して発話を行うと発話決定部１６が決定した場合に、発話の内容を制御する。発話制御部１７は、例えば記憶部５０に格納された音声のデータから、電子機器１が発話に用いる音声のデータを選択または合成し、スピーカ４０から発話する。

（制御部１０における処理）
図３は、制御部１０における処理（発話制御装置の制御方法）を示すフローチャートである。制御部１０においては、最初に発話契機判定部１１が、発話契機であるか否かを判定する（ＳＡ１）。発話契機でない場合（ＳＡ１でＮＯ）、発話契機判定部１１は、ステップＳＡ１の処理を繰り返す。

発話契機である場合（ＳＡ１でＹＥＳ）、感情判定部１４はユーザの感情を判定し（ＳＡ２、感情判定ステップ）、判定結果を記憶部５０に記憶させる。また、行動状態判定部１５はユーザの行動状態を判定し（ＳＡ３、行動状態判定ステップ）、判定結果を記憶部５０に記憶させる。ステップＳＡ２およびＳＡ３は、どちらが先に行われてもよい。ステップＳＡ３における処理については後述する。

発話決定部１６は、感情判定部１４および行動状態判定部１５における判定結果を記憶部５０から読み出し、当該判定結果の組み合わせに応じて、電子機器１がユーザに対して発話を行うか否かを決定する（ＳＡ４、発話決定ステップ）。発話を行わないと決定した場合（ＳＡ４でＮＯ）、制御部１０は、再度ステップＳＡ１からの処理を実行する。発話を行うと決定した場合（ＳＡ４でＹＥＳ）、発話制御部１７は、スピーカ４０によりユーザに対して発話を行う（ＳＡ５）。

（行動状態の判定の処理）
図４は、行動状態判定部１５による、ユーザの行動状態を判定する処理（ステップＳＡ３）を示すフローチャートである。ステップＳＡ３においては、行動状態判定部１５は最初に、音声解析部１２が解析した音声情報を予め登録されたユーザの声の音声情報と比較し、音声解析部１２が解析した音声に、登録されたユーザの声が含まれているか否かを判定する（ＳＢ１）。上記音声にユーザの声が含まれている場合（ＳＢ１でＹＥＳ）、続けて行動状態判定部１５は、上記音声にユーザ以外の他者の声が含まれているか否かを判定する（ＳＢ２）。

上記音声にユーザ以外の他者の声が含まれている場合（ＳＢ２でＹＥＳ）、さらに行動状態判定部１５は、ユーザと他者とが会話（掛け合い）をしているか否かを判定する（ＳＢ３）。ユーザと他者とが会話している場合（ＳＢ３でＹＥＳ）、行動状態判定部１５は、ユーザの行動状態が「（Ａ）他者と会話中」に該当すると判定し（ＳＢ４）、判定結果を記憶部５０に記憶させる。

一方、上述したステップＳＢ１〜ＳＢ３のいずれかでＮＯの場合、行動状態判定部１５は、カメラ３０が撮像した画像においてユーザの視線が向けられている物体であるとして画像解析部１３により解析された対象物を特定する（ＳＢ５）。続けて行動状態判定部１５は、特定した対象物がテレビであるか否かを判定する（ＳＢ６）。対象物がテレビである場合（ＳＢ６でＹＥＳ）、行動状態判定部１５は、ユーザの行動状態が「（Ｂ）テレビ視聴中または読書中」に該当すると判定し（ＳＢ７）、判定結果を記憶部５０に記憶させる。

対象物がテレビではない場合（ＳＢ６でＮＯ）、行動状態判定部１５は、対象物が本または雑誌であるか否かを判定する（ＳＢ８）。対象物が本または雑誌である場合（ＳＢ８でＹＥＳ）、行動状態判定部１５は、ユーザの行動状態が「（Ｂ）テレビ視聴中または読書中」に該当すると判定し（ＳＢ９）、判定結果を記憶部５０に記憶させる。対象物が本または雑誌ではない場合（ＳＢ８でＮＯ）、行動状態判定部１５は、ユーザの行動状態が「（Ｃ）何もしていない」に該当すると判定し（ＳＢ１０）、判定結果を記憶部５０に記憶させる。

上述したステップＳＢ１〜ＳＢ１０までの処理により、行動状態判定部１５は、ユーザの行動状態が上述した（Ａ）〜（Ｃ）のいずれに該当するかを判定する。なお、ステップＳＢ６およびＳＢ７と、ステップＳＢ８およびＳＢ９とは、どちらが先に実行されてもよい。

また、上述した通り、行動状態判定部１５が判定するユーザの行動状態は上記の（Ａ）〜（Ｃ）に限定されないため、行動状態判定部１５が判定する対象物の種類もテレビ、本または雑誌に限定されない。その場合、行動状態判定部１５は、ユーザの視線の対象物以外の物体、例えばユーザが手に持っている物体などを参照してユーザの行動状態を判定してもよい。

また、上述した例では、カメラ３０が撮像した画像にユーザの画像が含まれていることを前提として説明したが、電子機器１の使用態様などによっては発話契機においてカメラ３０が撮像した画像にユーザの画像が含まれていないことも考えられる。このような場合についても想定するのであれば、例えば画像解析部１３が最初に、カメラ３０が撮像した画像にユーザの画像が含まれているか否かを解析してもよい。そして、ユーザの画像が含まれていない場合には電子機器１が発話しないように、発話決定テーブルに規定されていてもよい。

以上の処理により、制御部１０は、ユーザの感情および行動状態を総合的に判定して電子機器１が発話を行うか否かを決定できる。

〔実施形態２〕
本発明の他の実施形態について、図５および図６に基づいて説明すれば、以下の通りである。なお、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。

図５は、本実施形態に係る電子機器２の構成を示すブロック図である。電子機器２は、制御部１０の代わりに制御部１０Ａを備える点で電子機器１と相違する。また、制御部１０Ａは、発話契機判定部１１を備えず、発話契機検出部１８を備える点で制御部１０と相違する。

発話契機検出部１８は、感情判定部１４が判定した感情が所定の感情であること、または行動状態判定部１５が判定した行動状態が所定の行動状態であることを発話契機として検出する。例えば、発話契機検出部１８は、感情判定部１４がユーザの感情について「（４）その他（特に感情は見られない）」に該当すると判定した時を発話契機として検出してよい。また例えば、発話契機検出部１８は、行動状態判定部１５がユーザの行動状態について「（Ｃ）何もしていない」に該当すると判定した時を発話契機として検出してもよい。また例えば、発話契機検出部１８は、ユーザの感情または行動状態が、さらに別の感情または行動状態、あるいはその組み合わせに該当すると感情判定部１４または行動状態判定部１５が判定した時を発話契機として検出してもよい。本実施形態の発話決定部１６は、発話契機検出部１８が発話契機を検出したときに、感情判定部１４および行動状態判定部１５の判定結果の組み合わせに応じて、電子機器２がユーザに対して発話を行うか否かを決定する。

図６は、制御部１０Ａにおける処理を示すフローチャートである。本実施形態においては、まず、感情判定部１４がユーザの感情を判定し（ＳＣ１、感情判定ステップ）、行動状態判定部１５がユーザの行動状態を判定する（ＳＣ２、行動状態判定ステップ）。ステップＳＣ１・ＳＣ２の処理は、それぞれ図３に示したステップＳＡ２・ＳＡ３の処理と同様である。そして、発話契機検出部１８は、感情判定部１４および行動状態判定部１５による判定結果について、発話契機の検出を行う（ＳＣ３）。発話契機を検出しなかった場合（ＳＣ３でＮＯ）、制御部１０Ａは再度ステップＳＣ１からの処理を繰り返す。ステップＳＣ１〜ＳＣ３の処理は、継続的に実行されることが好ましい。

発話契機を検出した場合（ＳＣ３でＹＥＳ）、発話決定部１６は、感情判定部１４および行動状態判定部１５の判定結果の組み合わせに応じて、電子機器２がユーザに対して発話を行うか否かを決定する（ＳＣ４、発話決定ステップ）。発話を行わないと決定した場合（ＳＣ４でＮＯ）、制御部１０Ａは、再度ステップＳＣ１からの処理を実行する。発話を行うと決定した場合（ＳＣ４でＹＥＳ）、発話制御部１７は、スピーカ４０によりユーザに対して発話を行う（ＳＣ５）。

なお、図６に示したフローチャートでは、ステップＳＣ１・ＳＣ２の両方がステップＳＣ３より前に実行される。しかし、本開示の一態様においては、ステップＳＣ１のみがステップＳＣ３より前に実行されてもよい。この場合、ステップＳＣ３において、発話契機検出部１８は、感情判定部１４の判定結果のみについて発話契機の検出を行う。またこの場合、行動状態判定部１５は、例えばステップＳＣ３でＹＥＳの場合に、ステップＳＣ４の前にステップＳＣ２を実行してもよい。

また、上記の例とは逆に、ステップＳＣ２のみがステップＳＣ３より前に実行されてもよい。この場合、ステップＳＣ３において、発話契機検出部１８は、行動状態判定部１５の判定結果のみについて発話契機の検出を行う。またこの場合、感情判定部１４は、例えばステップＳＣ３でＹＥＳの場合に、ステップＳＣ４の前にステップＳＣ１を実行してもよい。

以上の処理により、制御部１０Ａは、ユーザが発話に適した感情または行動状態になったことを契機として、電子機器２がユーザに対して発話を行うか否かを決定できる。

〔実施形態３〕
本発明の他の実施形態について、以下に説明する。

実施形態１における電子機器１は、例えば家電製品であってよい。具体的には例えば、電子機器１はエアコンであってよい。例えば発話契機判定部１１は、電子機器１の冷房運転中に室内の気温が設定温度を下回ったという情報を発話情報として取得した場合、発話契機であると判定してよい。この場合、制御部１０は、電子機器１がユーザに対して発話するか否かを決定する処理（すなわち図３に示したステップＳＡ２以降）を行う。また、この場合における電子機器１の発話内容は、例えば冷房の出力を小さくする旨の通知などであってよい。

また、実施形態２における電子機器２も、例えば家電製品であってよい。具体的には例えば、電子機器２は、エアコンであってよい。例えばユーザが何もしていないと行動状態判定部１５が判定した場合、発話契機検出部１８は当該判定を発話契機として検出する。そして、発話決定部１６は、電子機器２がユーザに対して発話するか否かを決定し、発話する場合には発話制御部１７が発話内容をスピーカ４０から発話する。この場合、電子機器２の発話内容は、例えばその時点における室内の気温の通知などであってよい。

また、電子機器１・２は、例えば冷蔵庫、またはテレビなどであってもよい。このように、本開示の一態様に係る電子機器１・２を家電製品とすることで、制御部１０・１０Ａは、ユーザの感情および行動状態を総合的に判定して、家電製品がユーザに対して発話するか否かを制御することができる。なお、電子機器１・２は、例えば電子機器１・２自体の動作不良など、緊急性の高い情報については、発話決定部１６による決定に無関係にユーザに対して発話してもよい。

〔ソフトウェアによる実現例〕
電子機器１・２の制御ブロック（特に感情判定部１４、行動状態判定部１５、発話決定部１６、および発話契機検出部１８）は、集積回路（ＩＣチップ）などに形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。

後者の場合、電子機器１・２は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の一態様の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波など）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔まとめ〕
本発明の態様１に係る発話制御装置（制御部１０・１０Ａ）は、ユーザに対して発話を行う機能を有する電子機器（１・２）の上記発話を制御する発話制御装置であって、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定部（１４）と、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定部（１５）と、上記感情判定部および上記行動状態判定部の判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定部（１６）と、を備える。

上記の構成によれば、発話制御装置は、感情判定部、行動状態判定部、および発話決定部を備える。発話決定部は、ユーザの感情についての感情判定部の判定結果と、ユーザの行動状態についての行動状態判定部の判定結果との組み合わせに応じて、電子機器が発話を行うか否か決定する。したがって、発話制御装置は、ユーザの感情および行動状態を把握して発話可能な状態か否かを総合的に判定することにより、ユーザに対して発話を行うか否かを適切に決定できる。

本発明の態様２に係る発話制御装置（制御部１０Ａ）は、上記態様１において、上記感情判定部が判定した感情が所定の感情であること、または上記行動状態判定部が判定した行動状態が所定の行動状態であることを発話契機として検出する発話契機検出部（１８）をさらに備え、上記発話決定部は、上記発話契機検出部が上記発話契機を検出したときに、上記感情判定部および上記行動状態判定部の判定結果の組み合わせに応じて、上記電子機器（２）が上記ユーザに対して発話を行うか否かを決定することが好ましい。

上記の構成によれば、発話契機検出部は、ユーザの感情または行動状態が所定の感情または行動状態である場合を、発話契機として検出する。そして、発話決定部は、発話契機におけるユーザの感情および行動状態の組み合わせに応じて、電子機器がユーザに対して発話を行うか否かを決定する。したがって、発話制御装置は、ユーザが発話に適した感情または行動状態になったことを契機とした発話を行うか否かを、そのときのユーザの行動状態または感情に応じて制御することができる。

本発明の態様３に係る電子機器は、上記態様１または２の発話制御装置を備える。

上記の構成によれば、電子機器がユーザに対して発話するか否かを発話制御装置により制御することができる。

本発明の態様４に係る電子機器は、上記態様３において、家電製品である。

上記の構成によれば、家電製品がユーザに対して発話するか否かを発話制御装置により制御することができる。

本発明の態様５に係る制御方法は、ユーザに対して発話を行う機能を有する電子機器（１・２）の上記発話を制御する発話制御装置（１０・１０Ａ）の制御方法であって、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定ステップと、上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定ステップと、上記感情判定ステップおよび上記行動状態判定ステップの判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定ステップと、を含む。

上記の構成によれば、態様１と同様の効果を奏する。

本発明の各態様に係る発話制御装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記発話制御装置が備える各部（ソフトウェア要素）として動作させることにより上記発話制御装置をコンピュータにて実現させる発話制御装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の一態様の範疇に入る。

本発明の一態様は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の一態様の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１・２ 電子機器
１０・１０Ａ 制御部（発話制御装置）
１４ 感情判定部
１５ 行動状態判定部
１６ 発話決定部
１８ 発話契機検出部

Claims (6)

1. ユーザに対して発話を行う機能を有する電子機器の上記発話を制御する発話制御装置であって、
   上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定部と、
   上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定部と、
   上記感情判定部および上記行動状態判定部の判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定部と、を備えることを特徴とする発話制御装置。
2. 上記感情判定部が判定した感情が所定の感情であること、または上記行動状態判定部が判定した行動状態が所定の行動状態であることを発話契機として検出する発話契機検出部をさらに備え、
   上記発話決定部は、上記発話契機検出部が上記発話契機を検出したときに、上記感情判定部および上記行動状態判定部の判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定することを特徴とする請求項１に記載の発話制御装置。
3. 請求項１または２に記載の発話制御装置を備えることを特徴とする電子機器。
4. 上記電子機器は、家電製品であることを特徴とする請求項３に記載の電子機器。
5. ユーザに対して発話を行う機能を有する電子機器の上記発話を制御する発話制御装置の制御方法であって、
   上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの感情が予め定められた複数の感情のいずれに該当するかを判定する感情判定ステップと、
   上記ユーザの言動および表情の少なくとも何れかを示す情報を用いて、上記ユーザの行動状態が予め定められた複数の行動状態のいずれに該当するかを判定する行動状態判定ステップと、
   上記感情判定ステップおよび上記行動状態判定ステップの判定結果の組み合わせに応じて、上記電子機器が上記ユーザに対して発話を行うか否かを決定する発話決定ステップと、を含むことを特徴とする制御方法。
6. 請求項１に記載の発話制御装置としてコンピュータを機能させるための制御プログラムであって、上記感情判定部、上記行動状態判定部、および上記発話決定部としてコンピュータを機能させるための制御プログラム。

Images