JP2018189720A - 情報出力制御装置、情報出力制御方法、情報出力システム、およびプログラム - Google Patents

Abstract

【課題】ユーザの感情に応じた適切な情報を出力するように制御できる情報出力制御装置を提供する。【解決手段】情報出力制御装置を、ユーザの状態に関する情報に基づいて、ユーザの感情の推定に対する信頼度を決定する信頼度決定部と、決定された信頼度に基づいてユーザの感情を決定する感情決定部と、決定された感情に応じた情報を出力するように、出力装置を制御する制御部と、を備え、感情決定部は、信頼度が高い場合下位概念の感情を、信頼度が低い場合上位概念の感情を、ユーザの感情として決定するように構成する。【選択図】図１

Description

本開示は、情報出力制御装置、情報出力制御方法、情報出力システム、およびプログラムに関する。

近年、人（以下、ユーザという。）と機械（例えばロボット・車載機器など。）とが、音声またはメッセージなどを介して対話する情報出力装置が開発されている。

この種の情報出力装置として、特許文献１には、ユーザの音声から推定された感情またはユーザの音声から抽出した単語に基づいて、ユーザへの応答を生成する音声対話装置が開示されている。このような音声対話装置は、単語の信頼度および感情の信頼度を算出する。そして、音声対話装置は、単語と感情とのうち信頼度が高い方に基づいて決定された応答を出力する。

特開２０１０−２２４１５３号公報

ところで、上述のような特許文献１に開示された音声対話装置の場合、単語の信頼度と感情の信頼度との比較により、ユーザへの応答が決定される。このため、いずれの信頼度も低い場合には、ユーザへの応答が不適切になってしまう。

本開示の目的は、ユーザの感情に応じた適切な情報を出力するように制御できる情報出力制御装置、情報出力制御方法、情報出力システム、およびプログラムを提供することである。

本開示の一態様に係る情報出力制御装置は、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する信頼度決定部と、上記決定された信頼度に基づいて、上記ユーザの感情を決定する感情決定部と、上記決定された感情に応じた情報を出力するように、出力装置を制御する制御部と、を備え、上記感情決定部は、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定する。

また、本開示の一態様に係る情報出力制御方法は、情報出力制御装置が実施する情報出力制御方法であって、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定し、上記決定された感情に応じた情報を出力するように、出力装置を制御する。

また、本開示の一態様に係る情報出力システムは、ユーザの状態に関するユーザ情報を取得する取得部と、上記ユーザ情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、上記信頼度に対応する１つの感情集合を複数の感情集合から選択し、上記選択された感情集合に含まれる１つの感情要素を上記ユーザの感情として決定する決定部と、上記決定されたユーザの感情に応じた情報を出力する出力部と、を備え、上記決定部は、上記信頼度が高い場合下位概念の感情集合を選択し、上記信頼度が低い場合上位概念の感情集合を選択する。

また、本開示の一態様に係るプログラムは、情報出力制御装置が備えるコンピュータが実行するプログラムであって、上記コンピュータに、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する処理と、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定する処理と、上記決定された感情に応じた情報を出力するように、出力装置を制御する処理と、を実行させる。

本開示によれば、ユーザの感情に応じた適切な情報を出力するように制御できる情報出力制御装置、情報出力制御方法、情報出力システム、およびプログラムを提供できる。

本開示に係る実施形態１の情報出力制御装置を含む情報出力システムのブロック図である。 顔の向きと輝度とにより定義される信頼度の一例を示す図である。 音声により定義される信頼度の一例を示す図である。 生体データの計測信号における特定周波数により定義される信頼度の一例を示す図である。 Ｒｕｓｓｅｌｌの感情円環モデルにおける原点から推定された感情までの距離により定義される信頼度の一例を示す図である。 感情群の一例を示す図である。 図３Ａの感情群を表で表した図である。 推定感情および信頼度に対応する出力情報の一例を示す図である。 実施形態１に係る動作フローの一例を示すフローチャートである。 本開示に係る実施形態２の情報出力制御装置を含む情報出力システムのブロック図である。 実施形態２に係る動作フローの一例を示すフローチャートである。 感情群の第一感情集合を示す図である。 感情群の第二感情集合を示す図である。 感情群の第三感情集合を示す図である。 本開示に係る実施形態３の動作フローを示すフローチャートである。

以下、本開示の実施の形態を図面に基づいて詳細に説明する。

[１．実施形態１]
図１は、本開示に係る情報出力制御装置１３を含む情報出力システム１のブロック図である。情報出力システム１は、例えば乗用車などの車両に搭載される。ただし、情報出力システム１は、車両に限らず、例えば、飛行機、電車などの乗り物、テレビ、ゲーム機などに搭載されてもよい。

情報出力システム１は、情報取得装置１１、出力装置１２、および情報出力制御装置１３を備える。

[１．１ 情報取得装置について]
情報取得装置（単に取得部ともいう。）１１は、ユーザ（例えば、運転者、同乗者。）の顔画像データ、音声データなどから感情に応じて変化するユーザの状態（特に、身体の状態）に関する情報（以下、ユーザ情報という。）を取得する。ユーザ情報は、ユーザの顔画像データ、音声データ、生体データ（脈波、脳波などの生体活動を反映するデータ）などである。

ユーザ情報が顔画像データの場合には、情報取得装置１１は、例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの公知の撮像装置である。また、ユーザ情報がユーザの音声データから取得する場合には、情報取得装置１１は、例えばマイクなどの公知の集音装置である。また、ユーザ情報が生体データの場合には、情報取得装置１１は、脈波計、心電計、脳波計といった、ユーザの生体情報を電気信号として取得するセンサなどである。

[１．２ 出力装置について]
出力装置（単に出力部ともいう。）１２は、後述する情報出力制御装置１３からの出力情報を、例えば、音声、画像として出力する。このような出力装置１２は、表示手段（以下、視覚表示手段という。）、音を出力する手段（以下、聴覚表示手段という。）などを含んでいる。

視覚表示手段は、情報出力システム１が車両に搭載される場合には、例えば、車速、エンジン回転数などの車両の状態に関する情報を表示する計器板である。他の例として、表示手段は、車両のカーナビゲーションシステムのディスプレイ、またはヘッドアップディスプレイなどあってもよい。また、視覚表示手段は、テレビ、ディスプレイなどであってもよい。

一方、聴覚表示手段は、情報出力システム１が車両に搭載される場合には、車載オーディオからのオーディオ信号を音に変換する車載スピーカなどである。また、聴覚表示手段は、テレビ、ディスプレイなどが備えるスピーカでもよい。

[１．３ 情報出力制御装置について]
以下、本実施形態に係る情報出力制御装置１３について説明する。先ず、情報出力制御装置１３の概要について説明する。情報出力制御装置１３は、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する信頼度決定部１３１と、上記決定された信頼度に基づいて上記ユーザの感情を決定する感情推定部（あるいは感情決定部、または単に決定部ともいう。）１３３と、上記決定された感情に応じた情報を出力するように、出力装置を制御する出力制御部（単に制御部ともいう。）１３４と、を備え、感情決定部１３３は、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定する。

次に、情報出力制御装置１３の具体的構成について説明する。情報出力制御装置１３は、上述の信頼度決定部１３１、感情推定部１３３、および出力制御部１３４とともに、集合選択部（単に選択部ともいう）１３２を一部の機能ブロックとして備える。なお、集合選択部１３２が有する一部の機能ブロックを信頼度決定部１３１または感情推定部１３３に含める場合には、集合選択部１３２は省略されてもよい。

以下、情報出力制御装置１３が備える各機能ブロックは、一体のハードウェアである電子制御ユニット（以下、「ＥＣＵ」という。）に含まれるものとして説明するが、一部の機能ブロックを別体のＥＣＵに設けてもよい。

このような情報出力制御装置１３は、公知のＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入力ポート、および出力ポートなどを備える。

ＣＰＵは、例えばＲＯＭから処理内容に応じたプログラムを読み出してＲＡＭに展開する。そして、ＣＰＵは、展開したプログラムと協働して、情報出力制御装置１３の各機能ブロックの動作を集中制御する。以下、情報出力制御装置１３が備える各機能について説明する。

[１．３．１ 信頼度決定部について]
信頼度決定部１３１は、情報取得装置１１から取得したユーザ情報に基づいて、信頼度を決定する。信頼度は、一例として後述する感情推定部１３３が実施する感情推定処理の推定精度の尺度として決定される。このような信頼度は、情報出力制御装置１３の動作フローに応じて適宜設定される。

信頼度は、例えば、０〜１００％の範囲から選択される数値、あるいは、高・中・低のような段階で示される。

信頼度は、情報取得装置１１がユーザ情報を取得する際の、ユーザの状態、または、周囲環境との関係から決定される。具体的には、ユーザ情報がユーザの顔画像データである場合には、信頼度は、照明変動（例えば、平均輝度など。）、顔の向き、顔の露出度、または顔ブレなどに基づいて決定される。

一方、ユーザ情報がユーザの音声データである場合には、信頼度は、ユーザの音声の大きさ、ユーザの音声とノイズ（つまり、背景音。）とのＳ／Ｎ比（以下、単に「Ｓ／Ｎ比」という。）などに基づいて決定される。

また、ユーザ情報がユーザの生体データである場合には、信頼度は、計測された電気信号の中で、生体データが該当する特定周波数成分の強度に基づいて決定される。特定周波数成分とは、例えば生体データが脈波データの場合には、心拍数が取りうる範囲である３０拍／分〜１８０拍／分に該当する周波数として、３０Ｈｚ〜１８０Ｈｚとすればよい。

また、信頼度は、図３Ａに示すＲｕｓｓｅｌｌの感情円環モデルにおける原点Ｏと、推定された感情（例えば、図３ＡのＡ１〜Ａ３。）との距離（例えば、ユークリッド距離、マハラノビス距離など）に基づいて決定されてもよい。

Ｒｕｓｓｅｌｌの感情円環モデルは、感情推定部１３３がユーザの感情を推定する際に使用される。Ｒｕｓｓｅｌｌの感情円環モデルにおいて、上記距離の大きさは感情の度合いを示す。

以下、いくつかの信頼度の例について説明する。図２Ａは、ユーザ情報が顔画像データである場合の、照明変動および顔の向きと信頼度との関係を示している。なお、図２Ａには、照明変動の一例として顔画像データにおける平均輝度が示されている。なお、照明変動として輝度を採用する場合には、平均輝度に限定されず、例えば、ユーザの顔などの特定部分の輝度であってもよい。

また、顔の向きとは、ユーザ情報におけるユーザの顔の角度（例えば、上下方向または左右方向の角度。）である。図２Ａには、顔の向きの一例として左右方向の角度が示されている。

図２Ａにおいて、信頼度は、高・中・低の三段階で定義される。なお、信頼度は、０〜１００％の範囲から選択される数値であってもよい。

例えば、顔画像データ全体の平均輝度が所定範囲内（つまり、適切な明るさ。）であり、かつ、ユーザの顔の向き（図示の場合、横方向の角度。）が所定範囲（例えば、±１０度。）内である場合には、信頼度は「高」となる。

また、顔画像データ全体の平均輝度が所定範囲内（つまり、適切な明るさ。）であるが、ユーザの顔の向き（図示の場合、横方向の角度。）が所定範囲（例えば、±１０度。）外である場合には、信頼度は「中」となる。あるいは、顔画像データ全体の平均輝度が所定範囲外（つまり、明るすぎまたは暗すぎ。）であるが、ユーザの顔の向き（図示の場合、横方向の角度。）が所定範囲（例えば、±１０度。）内である場合には、信頼度は「中」となる。

その他、信頼度は、例えば、顔の露出度が小さいと低くなる。顔の露出度は、例えば、ユーザが顔を手で覆っていたり、メガネ・マスクなどを装着していると小さくなる。

なお、図２Ａには、複数の観点から（本実施形態の場合、照明変動および顔の向き。）信頼度を決定した場合の一例が示されている。ただし、信頼度は、一つの観点から決定されてもよい。例えば、信頼度は、照明変動（例えば、輝度。）および顔の向き（例えば、顔の角度。）のうちの何れか一方に基づいて決定されてもよい。

また、図２Ｂは、ユーザ情報が音声データである場合の、ユーザの音声またはＳ／Ｎ比と、信頼度との関係を示している。例えば、ユーザの音声またはＳ／Ｎ比が「大」の場合には、信頼度は「高」となる。一方、ユーザの音声またはＳ／Ｎ比が「小」の場合には、信頼度は「低」となる。

また、図２Ｃは、ユーザ情報が生体データである場合の、計測された電気信号の中で、生体データが該当する特定周波数成分の強度と、信頼度との関係を示している。例えば、特定周波数成分が「大」の場合には、信頼度は「高」となる。一方、特定周波数成分が「小」の場合には、信頼度は「低」となる。

次に、信頼度が、図３Ａに示されるＲｕｓｓｅｌｌの感情円環モデルにおける原点Ｏと、推定された感情（例えば、図３ＡのＡ１〜Ａ３。）との距離に基づいて決定される場合について説明する。

Ｒｕｓｓｅｌｌの感情円環モデルにおいて上記距離の大きさは感情の度合いを示す。そこで、信頼度決定部１３１は、図２Ｄに示すように、推定された感情の上記距離が大きい場合には、信頼度を「高」とする。一方、上記距離が小さい場合には信頼度を「低」とする。なお、上記距離の値をそのまま信頼度としてもよい。

一例として、Ｒｕｓｓｅｌｌの感情円環モデルにおいて推定された感情が図３ＡのＡ１の場合には、信頼度は「高」となる。また、推定された感情が図３ＡのＡ２の場合には、信頼度は「中」となる。さらに、推定された感情が図３ＡのＡ３の場合には、信頼度は「低」となる。

[１．３．２ 集合選択部について]
集合選択部１３２は、ユーザ情報に基づいて、複数の感情集合を有する感情群から一つの感情集合を出力用感情集合として選択する。具体的には、集合選択部１３２は、信頼度決定部１３１が決定した信頼度に応じて出力用感情集合を選択する。

以下、図３Ａおよび図３Ｂを参照して、感情群および感情集合について説明する。まず、感情集合は、少なくとも二つの感情要素（例えば、図３Ａの「喜び」、「怒り」、「悲しみ」、「楽しみ」など。）を有する。

例えば、一つの感情集合に含まれる感情要素同士は、並列の概念（換言すれば、同位概念。）であってもよい。並列の概念の中には、概念の上下関係が多少ずれている感情も含まれる。なお、一つの感情集合に含まれる感情要素同士は、同位概念でなくてもよい。

感情群は、例えば、上位概念から下位概念にわたって階層的に分類された複数個の感情集合により構成されている。すなわち、感情群に含まれる感情集合同士は、上位概念と下位概念の関係にある。なお、感情群に含まれる感情集合同士は、上位概念と下位概念の関係ではなく、同位概念の関係であってもよい。また、感情群に含まれる感情集合同士は、所定の法則で対応付けられた関係であってもよい。

図３Ａには、感情群の一例として、いわゆるＲｕｓｓｅｌｌの感情円環モデルが示されている。図３Ａにおいて、原点Ｏで交叉する横軸および縦軸は、それぞれ快適軸および覚醒軸である。なお、図３Ｂは、図３Ａに示される感情群から抽出できる感情集合の一例を示している。

図３Ａに示される感情群は、第一感情集合、第二感情集合、第三感情集合、及び第四感情集合を有する。第一感情集合は、図３Ａに示される感情群の中で最も下位概念の（換言すれば、最も高い分解能で分類された感情要素からなる。）感情集合である。第一感情集合には、例えば、驚き・興奮・幸福などからなる１９個の感情要素が含まれる（図３Ｂの右列参照。）。

第二感情集合は、第一感情集合よりも上位概念の感情要素を有する。具体的には、第二感情集合は、快適軸および覚醒軸で区切られた図３Ａの第一象限Ｇ_１、第二象限Ｇ_２、第三象限Ｇ_３、および第四象限Ｇ_４で分類されている。

具体的には、第二感情集合は、図３Ａの第一象限Ｇ_１に対応する「活発」、第二象限Ｇ_２に対応する「緊張」、第三象限Ｇ_３に対応する「だるい」、第四象限Ｇ_４に対応する「ゆったり」の４個の感情を有する（図３Ｂの中列参照。）。

第三感情集合は、第一感情集合および第二感情集合よりも上位概念の感情要素を有する。具体的には、第三感情集合は、快適軸よりも上側（つまり、図３Ａの第一象限Ｇ_１および第二象限Ｇ_２。）の「覚醒」と、同じく下側（つまり、図３Ａの第一象限Ｇ_３および第二象限Ｇ_４。）の「眠気」との２個の感情要素を有する（図３Ｂの左列参照。）。

第四感情集合は、上述の第三感情集合とともに図３Ａに示される感情群の中で最も上位概念（換言すれば、最も低い分解能で分類された感情要素からなる。）の感情集合である。すなわち、第四感情集合は、第一感情集合および第二感情集合よりも上位概念、かつ、第三感情集合と同位概念の感情要素を有する。

具体的には、第四感情集合は、覚醒軸よりも右側（つまり、図３Ａの第一象限Ｇ_１および第三象限Ｇ_４。）の「快適」と、同じく左側（つまり、図３Ａの第二象限Ｇ_２および第三象限Ｇ_３。）の「不快」との２個の感情要素を有する（図３Ｂの左列参照。）。

次に、信頼度と集合選択部１３２により選択される出力用感情集合との関係の一例について説明する。以下の説明では、信頼度は、図２Ａに示される高・中・低の三段階で定義されている。

信頼度が「高」の場合には、集合選択部１３２は、感情群において最も下位概念の第一感情集合を出力用感情集合として選択する。

また、信頼度が「中」の場合には、集合選択部１３２は、感情群において中位概念の第二感情集合を出力用感情集合として選択する。

さらに、信頼度が「低」の場合には、集合選択部１３２は、感情群において最も上位概念の第三感情集合または第四感情集合の何れか一方の感情集合を出力用感情集合として選択する。なお、集合選択部１３２は、例えばユーザの状況に応じて、第三感情集合および第四感情集合から一つの感情集合を選択してもよい。

以下、第三感情集合および第四感情集合から択一的に出力用感情集合を選択する際の判定条件について説明する。当該判定条件としては、例えばユーザの状況が安全運転に注意すべき状況（以下、「運転注意状況」という。）であるか否かが挙げられる。

ユーザの状況は、例えば走行状態または地図情報に基づいて判定される。例えば、ユーザによるハンドル、アクセル、またはブレーキなどの操作状況によって、ユーザの状況が運転注意状況であるかどうかを判定する。また、例えば、地図情報から、ユーザが乗車する車両が市街地あるいは渋滞エリアにいるのかどうかによって、ユーザの状況が運転注意状況であるかどうかを判定する。ユーザの状況が運転注意状況である場合には、「覚醒」および「眠気」といった安全運転のために重要となる感情を含む第三感情集合を選択する。一方、ユーザの状況が運転注意状況ではない場合には第四感情集合を選択する。

なお、運転注意状況であるか否かの判定は、公知の各種方法により行われる。運転注意状況と判定される例として、例えば手動運転中、高速道路走行中、カーブ・坂道を走行中、悪天候（例えば、晴れ以外。）での走行中、夜間走行中、速度が所定値よりも高い状況、または走行時間が所定時間を超えている状況が挙げられる。

以上のように、信頼度が高い場合には、集合選択部１３２は下位概念の感情集合を選択する。また、信頼度が低い場合には、集合選択部１３２は上位概念の感情集合を選択する。以上のように、集合選択部１３２は、信頼度に応じて適切な出力用感情集合を選択できる。

[１．３．３ 感情推定部について]
感情推定部１３３は、信頼度決定部１３１が決定した信頼度に応じたユーザの感情を決定する。一例として、感情推定部１３３は、情報取得装置１１から取得したユーザ情報に基づいて、集合選択部１３２が選択した出力用感情集合からユーザの感情を推定する。そして、感情推定部１３３は、推定したユーザの感情に基づいて出力するための感情を決定する。決定された感情は、出力用感情集合を構成する複数の感情要素のうちの一つである。

以下、感情推定部１３３がユーザの感情を推定する方法について簡単に説明する。なお、以下の説明において、信頼度は図２Ａに示す信頼度である。また、感情群は図３Ａおよび図３Ｂに示す感情群である。

信頼度が「高」の場合には、集合選択部１３２が選択した出力用感情集合は第一感情集合である。よって、感情推定部１３３は、第一感情集合に含まれる１９個の感情要素からユーザの感情を選択する。

信頼度が「中」の場合には、集合選択部１３２が選択した出力用感情集合は第二感情集合である。よって、感情推定部１３３は、第二感情集合に含まれる４個の感情要素からユーザの感情を選択する。

さらに、信頼度が「低」の場合には、集合選択部１３２が選択した出力用感情集合は第三感情集合および第四感情集合の何れか一方の感情集合である。よって、感情推定部１３３は、上記一方の感情集合に含まれる２個の感情要素からユーザの感情を選択する。

[１．３．４ 出力制御部について]
出力制御部１３４は、推定された感情に応じた出力情報を出力する。出力制御部１３４は、先ず、感情推定部１３３が推定した感情に基づいて出力情報を生成する。

出力情報の例として、例えば、音声、文字、色（色の種類、コントラストなど。）、または画像（例えば、アイコン。）などが挙げられる。出力情報は、１種類（例えば、音声のみ。）であってもよいし、複数種類の組み（例えば、音声と文字の組。）であってもよい。

以下、出力情報の例について説明する。図４は、信頼度および推定感情に応じた出力情報の一例を示している。まず、信頼度が「高」の場合には、感情推定部１３３が推定した推定感情は、第一感情集合に含まれる感情要素である。

例えば、推定感情が「怒り」である場合には、出力情報の一例として「怒っていますか？」が挙げられる。この例の場合には、出力制御部１３４は、出力情報を音声または文字表示として出力するように出力装置１２を制御する。

なお、信頼度が「高」の場合には、感情推定部１３３が推定した推定感情の精度が高いため、出力情報を断定的な表現としてもよい。断定的な表現としては、例えば「怒っていますね」などが挙げられる。このように出力情報の語尾の表現を信頼度に応じて変更してもよい。

信頼度が「中」の場合には、感情推定部１３３が推定した推定感情は、第二感情集合に含まれる感情要素である。例えば、推定感情が「緊張」である場合には、出力情報の一例として「緊張していますか？」が挙げられる。この場合も、出力制御部１３４は、出力情報を音声または文字表示として出力するように出力装置１２を制御する。

なお、信頼度が「中」の場合には、感情推定部１３３が推定した推定感情の精度がそれほど高くないため、出力情報を疑問文または推定した情報について述べた文としてもよい。疑問文の例は上述の通りである。一方、推定した情報について述べた文の例としては、例えば「緊張しているように見えます」などが挙げられる。

また、推定感情が「緊張」と推定された場合に、出力情報を、例えば図４に示すようなアイコンで出力することもできる。図示の場合には、アイコンは、所定の色（図示の場合ハッチング。）で塗りつぶされた楕円の中央に文字情報が付されている。

出力情報が上述のようなアイコンの場合には、感情要素毎に、楕円の色（例えば、色の種類、コントラストなど。）および文字情報を異ならせてもよい。この場合には、出力制御部１３４は、出力情報を画像表示として出力するように出力装置を制御する。なお、出力制御部１３４は、画像表示とともに音声を出力するように出力装置１２を制御してもよい。

次に、信頼度が「低」であり、かつ、出力用感情集合が第四感情集合である場合の出力情報の一例を説明する。この場合には、感情推定部１３３が推定した推定感情は、第四感情集合に含まれる感情要素である。

例えば、推定感情が「不快」である場合には、出力情報の一例として「ご気分が優れないようですが大丈夫ですか？」が挙げられる。この場合も、出力制御部１３４は、出力情報を音声または文字表示として出力するように出力装置１２を制御する。

信頼度が「低」の場合には、感情推定部１３３が推定した推定感情の精度が低いため、出力情報を疑問的な表現または抽象的な表現にするとよい。

また、推定感情が「不快」である場合に、出力情報を、例えば図４に示すような色の表示として出力することもできる。図示の場合には、色をハッチングで示している。出力情報に応じて色（例えば、色の種類、コントラストなど。）を変更することで、ユーザは、出力情報の意味を直感的に理解できる。

この場合には、出力制御部１３４は、出力情報を色画像表示として出力するように出力装置を制御する。なお、出力制御部１３４は、色画像表示とともに音声を出力するように出力装置１２を制御してもよい。

なお、出力情報は、上述の例に限定されない。上述の例以外にも、音声、文字、色（例えば、色の種類、コントラストなど。）、およびアイコンを適宜組み合わせた出力情報を採用できる。また、出力情報は、ユーザ毎に異ならせても良い。

例えば、ユーザが運転者である場合には、出力情報の内容を運転者に適した内容とする。この場合に、出力制御部１３４は、運転の邪魔にならないような出力態様を選択して出力装置１２を制御してもよい。出力態様には、出力に関する種類（例えば、音声、文字、画像など。）、位置、大きさ、範囲などが含まれる。

一方、ユーザが同乗者である場合には、出力情報の内容を同乗者に適した内容とする。この場合に、出力制御部１３４は、同乗者に適した出力態様を選択して出力装置１２を制御してもよい。

[１．４ 情報出力システムの動作について]
以下、図５を参照して、本実施形態に係る情報出力システム１の動作フローについて説明する。図５は、実施形態１に係る情報出力システム１の動作フローの一例を示すフローチャートである。

この処理は、例えば車両のエンジンが起動されることに伴い、情報出力制御装置１３のＣＰＵがＲＯＭに格納されているプログラムを読み出して実行することにより実現される。図５に示される動作フローは、繰り返し実行される。

以下の説明において、信頼度は図２Ａに示す信頼度である。また、感情群は図３Ａおよび図３Ｂに示す感情群である。さらに、ユーザ情報はユーザの顔画像データである。ただし、以下の説明は、上述の信頼度、感情群およびユーザ情報以外の場合にも適用できる。

図５に示すフローチャートでは、ステップＳ１０１において、情報取得装置１１は、ユーザ（例えば、運転者、同乗者。）の顔画像データをユーザ情報として取得する。そして、制御処理は次のステップＳ１０２に移行する。

ステップＳ１０２において、信頼度決定部１３１は、情報取得装置１１から取得したユーザ情報に基づいて信頼度を決定する。この場合の信頼度は、ユーザ情報が感情推定処理に適した情報であるか否かの尺度である。

一例として、信頼度決定部１３１は、図２Ａに示すように、ユーザ情報における照明変動およびユーザの顔の向きから信頼度（ここでは、高・中・低の三段階。）を決定する。そして、制御処理は次のステップＳ１０３に移行する。

ステップＳ１０３では、集合選択部１３２は、ステップＳ１０２において決定された信頼度に応じて、感情群（図３Ａ、３Ｂ参照。）から一つの感情集合を出力用感情集合として選択する。

一例として、集合選択部１３２は、信頼度が「高」の場合には、第一感情集合（図３Ａ、３Ｂ参照。）を出力用感情集合として選択する。

また、集合選択部１３２は、信頼度が「中」の場合には、第二感情集合（図３Ａ、３Ｂ参照。）を出力用感情集合として選択する。

また、集合選択部１３２は、信頼度が「低」の場合には、第三感情集合および第四感情集合（図３Ａ、３Ｂ参照。）の何れか一方の感情集合を出力用感情集合として選択する。集合選択部１３２が出力用感情集合を選択した後、制御処理は次のステップＳ１０４に移行する。

ステップＳ１０４において、感情推定部１３３は、ユーザ情報に基づいて出力用感情集合からユーザの感情を選択する。そして、推定した感情を出力するための感情として取得する。

本実施形態の場合、ステップＳ１０４の時点で、感情推定部１３３により推定される感情の種類が、出力用感情集合に含まれる感情要素に限定されている。すなわち、感情推定部１３３が推定するユーザの感情を、ユーザ情報の信頼度に応じた感情要素とできる。

以下、感情推定部１３３が推定する推定感情と、出力用感情集合との関係について簡単に説明する。まず、ステップＳ１０２において信頼度決定部１３１が決定した信頼度が「高」の場合には、ステップＳ１０３において選択される出力用感情集合は第一感情集合（図３Ａ、３Ｂ参照。）である。従って、感情推定部１３３は、ユーザ情報に基づいて、第一感情集合に含まれる感情要素（本実施形態の場合、全部で１９個の感情要素。）からユーザの感情を推定する。

一方、信頼度が「中」の場合には、出力用感情集合は第二感情集合（図３Ａ、３Ｂ参照。）である。従って、感情推定部１３３は、ユーザ情報に基づいて、第二感情集合に含まれる感情要素（本実施形態の場合、全部で４個の感情要素。）からユーザの感情を推定する。このため、信頼度が「中」の場合の推定感情は、信頼度が「高」の場合の推定感情よりも上位概念となる。

また、信頼度が「低」の場合には、出力用感情集合は第三感情集合および第四感情集合（図３Ａ、３Ｂ参照。）の何れか一方の感情集合である。従って、感情推定部１３３は、ユーザ情報に基づいて、上記一方の感情集合に含まれる感情要素（本実施形態の場合、全部で２個の感情要素。）からユーザの感情を推定する。このため、信頼度が「低」の場合の推定感情は、信頼度が「高」および「中」の場合の推定感情よりも上位概念となる。感情推定部１３３がユーザの感情を推定した後、制御処理は次のステップＳ１０５に移行する。

ステップＳ１０５において、出力制御部１３４は、推定感情に応じた出力情報を生成する。推定感情と出力情報との関係は上述した通りである。一例として、信頼度が「高」かつ推定感情が「怒り」の場合には、出力情報は「怒っていますか？」となる（図４参照。）。そして、出力制御部１３４が出力情報を生成した後、制御処理は次のステップＳ１０６に移行する。

ステップＳ１０６において、出力制御部１３４は、生成した出力情報を出力するように出力装置１２を制御する。一例として、出力情報が「怒っていますか？」の場合には、当該出力情報は、出力装置１２のスピーカから音声として出力される。そして、図５に示す動作フローは終了する。上述したように図５に示す動作フローは所定間隔で定期的に繰り返し実行される。

［１．５ 本実施形態の作用・効果について］
以上のような本実施形態の場合、ユーザ情報に基づいて決定された信頼度に応じて、ユーザに提示される出力情報が変わる。このため、ユーザの感情との関係が適切な出力情報が、ユーザに提示される。これにより、本実施形態に係る情報出力システム１は、ユーザからの信頼を得られる。

以下、上述の作用・効果を得られる理由について説明する。ユーザ情報の信頼度が低い場合に、上述の第一感情集合（図３Ａ、３Ｂ参照。）のように細かく（換言すれば、高い分解能で。）分類された感情要素からユーザの感情を推定すると、推定感情が、ユーザの実際の感情からずれる可能性が高くなる。つまり、推定感情の推定精度が低くなる。このような推定精度が低い推定感情に基づいて生成された出力情報は、ユーザの望む情報からずれてしまう。そして、適切ではない出力情報がユーザに提示されると、ユーザは、情報出力システムに対して不信感を抱く可能性がある。

そこで、本実施形態の場合、ユーザ情報の信頼度が低い場合には、信頼度に応じて、第一感情集合よりも上位概念の感情要素（つまり、抽象的な感情要素。）を含む第二感情集合乃至第四感情集合からユーザの感情を推定する。

これにより得られた推定感情は、実際のユーザの感情を抽象化した感情となる。また、このような推定感情に基づいて生成される出力情報は、ユーザが望む情報を抽象化した情報となる。このため、ユーザに提示される出力情報が、実際にユーザの望む情報から大きく乖離することはない。

以上のように、本実施形態の場合、信頼度が高い場合には、ユーザの実際の感情との関係で具体的な情報を出力し、信頼度が低い場合には、ユーザの実際の感情との関係で抽象的な情報を提示できる。このように、本実施形態の場合、ユーザの感情に応じた適切な情報を提示できる。ゆえに、本実施形態によれば、ユーザの信頼を得られる。

[２．実施形態２]
図６および図７を参照して、本開示に係る実施形態２について説明する。図６は、本実施形態に係る情報出力システム１のブロック図である。本実施形態の情報出力システム１が備える各機能ブロックの機能は、上述の実施形態１の場合とほぼ同様である。

図７は、本実施形態に係る情報出力システム１の動作フローを示すフローチャートである。以下の説明では、信頼度は図２Ａに示す信頼度である。また、感情群は図３Ａおよび図３Ｂに示す感情群である。さらに、ユーザ情報はユーザの顔画像データである。ただし、以下の説明は、上述の信頼度、感情群、およびユーザ情報以外の場合にも適用できる。

図７に示すフローチャートでは、ステップＳ２０１において、情報取得装置１１は、ユーザ（例えば、運転者、同乗者。）の顔画像データをユーザ情報として取得する。そして、制御処理は次のステップＳ２０２に移行する。

ステップＳ２０２において、感情推定部１３３は、情報取得装置１１から取得したユーザ情報に基づいてユーザの感情を仮推定感情として推定する。ステップＳ２０２では、感情推定部１３３は、信頼度を考慮せずにユーザの感情を推定する。仮推定感情の推定方法は、公知の感情推定方法であってよい。

以下、感情推定部１３３が仮推定感情を推定する方法の一例を説明する。感情推定部１３３は、仮推定感情を下位概念の感情（つまり、具体的な感情。）として推定する。

具体的な例として、仮推定感情を推定する際に図３Ａの感情群を使用する場合には、感情推定部１３３は、最も下位概念の第一感情集合（図３Ａ参照。）に含まれる感情要素から一つの感情要素（例えば、「怒り」。）を仮推定感情として推定する。感情推定部１３３が仮推定感情を推定した後、制御処理は次のステップＳ２０３に移行する。

ステップＳ２０３において、信頼度決定部１３１は、情報取得装置１１から取得したユーザ情報に基づいて信頼度を決定する。信頼度を決定する方法は、上述の実施形態１の場合と同様である。

一例として、信頼度決定部１３１は、図２Ａに示すように、ユーザ情報における照明変動およびユーザの顔の向きからユーザ情報の信頼度（ここでは、高・中・低の三段階。）を決定する。信頼度決定部１３１が信頼度を決定した後、制御処理は次のステップＳ２０４に移行する。

ステップＳ２０４において、集合選択部１３２は、ステップＳ２０３において決定された信頼度と所定の信頼度閾値とを比較する。信頼度が、信頼度閾値より小さい場合には（ステップＳ２０４において“ＮＯ” 。）、制御処理はステップＳ２０５に移行する。

なお、信頼度が、信頼度閾値より小さい場合とは、例えば信頼度閾値を「高」とした場合には、信頼度が「中」または「低」の場合である。

ステップＳ２０５では、集合選択部１３２は、ステップＳ２０３において決定された信頼度に応じて、図３Ａおよび図３Ｂに示す感情群から一つの感情集合を出力用感情集合として選択する。

ここで選択される感情集合は、ステップＳ２０２において感情推定部１３３が仮推定感情を推定する際に使用した感情集合（本実施形態の場合、第一感情集合。）よりも上位概念の感情集合となる。

集合選択部１３２が、信頼度に応じて出力用感情集合を選択する方法は上述の実施形態１と同様である。集合選択部１３２が出力用感情集合を選択した後、制御処理は次のステップＳ２０６に移行する。

ステップＳ２０６では、感情推定部１３３は、ステップＳ２０５において選択された出力用感情集合およびユーザ情報に基づいてユーザの感情を推定する。

そして、推定した感情を推定感情として取得する。このような推定感情は、ステップＳ２０５において選択された出力用感情集合に含まれる感情要素から選択される。以上のように、ステップＳ２０４において、信頼度が、信頼度閾値より小さいと判定された場合には、仮推定感情ではなくステップＳ２０６で推定されたユーザの感情が推定感情となる。

なお、ステップＳ２０６では、感情推定部１３３は、仮推定感情を取得した際の感情集合と、ステップＳ２０５において選択された出力用感情集合との対応関係から推定感情を推定してもよい。

上述の対応関係から推定感情を推定する方法について図３Ａおよび図３Ｂを参照して説明する。まず、仮推定感情を取得した際の感情集合を第一感情集合とする。また、ステップＳ２０５において選択された出力用感情集合を第二感情集合とする。この場合には、仮推定感情が「怒り」であれば、推定感情は「緊張」となる。また、仮推定感情が「喜び」の場合には、推定感情は「活発」となる。

上述のように感情推定部１３３が推定感情を推定した後、制御処理は次のステップＳ２０８に移行する。

一方、上述のステップＳ２０４において、信頼度が、信頼度閾値以上と判定された場合には（ステップＳ２０４において“ＹＥＳ”。）、制御処理はステップＳ２０７に移行する。

ステップＳ２０７において、感情推定部１３３は、ステップＳ２０２で取得した仮推定感情を推定感情として取得する。そして、制御処理はステップＳ２０８に移行する。

ステップＳ２０８において、出力制御部１３４は、推定感情に応じた出力情報を生成する。そして、制御処理は、次のステップＳ２０９に移行する。ステップＳ２０８およびステップＳ２０９における出力制御部１３４の動作は上述の実施形態１の場合と同様である。その他の構成および作用・効果は上述の実施形態１と同様である。

[３．実施形態３]
図８Ａ乃至図９を参照して、本開示に係る実施形態３について説明する。図９は、本実施形態に係る情報出力システム１の動作フローを示すフローチャートである。なお、本実施形態の情報出力システム１が備える各機能ブロックの機能は、上述の実施形態１の場合とほぼ同様である。

また、図８Ａ乃至図８Ｃは、本実施形態で使用される感情群の第一感情集合乃至第三感情集合を示す図である。

まず、図８Ａ乃至図８Ｃを参照して、本実施形態で使用される感情群の構成について説明する。本実施形態で使用される感情群は、図８Ａに示す第一感情集合、図８Ｂに示す第二感情集合、および図８Ｃに示す第三感情集合を有する。

第一感情集合は１９個の感情要素からなるＲｕｓｓｅｌｌの感情円環モデルである。第二感情集合は６個の感情要素からなる。第三感情集合は２個の感情要素からなる。なお、感情要素の数は図示の場合と異なってもよい。

また、本実施形態の場合、信頼度は、図８Ａに示すＲｕｓｓｅｌｌの感情円環モデルにおける原点Ｏと、推定された感情（例えば、図８ＡのＡ１〜Ａ３。）との距離に基づいて決定される。

ここで、Ｒｕｓｓｅｌｌの感情円環モデルについて簡単に説明する。図８Ａにおいて、任意の感情点は、快適軸における所定範囲（例えば、−１．０以上＋１．０以下。）の座標値と、覚醒軸における所定範囲（例えば、−１．０以上＋１．０以下）の座標値とを成分にもつ２次元ベクトルとして表される。以下において、当該２次元ベクトルを、感情ベクトルと呼ぶことにする。

感情ベクトルは、感情の種類および度合いを示す。図８Ａにおいて、感情ベクトルの方向は、感情の種類を示す。また、感情ベクトルの大きさは、感情の度合いを示す。

次に、図９を参照して、本実施形態に係る情報出力制御装置１３が組み込まれた情報出力システム１の動作フローを説明する。

図９に示すフローチャートでは、ステップＳ３０１において、情報取得装置１１は、ユーザ（例えば、運転者、同乗者。）の顔画像データをユーザ情報として取得する。そして、制御処理は次のステップＳ３０２に移行する。

ステップＳ３０２において、感情推定部１３３は、ユーザ情報およびＲｕｓｓｅｌｌの感情円環モデルを用いてユーザの感情を推定する。そして、感情推定部１３３は、推定した感情を仮推定感情として取得する。

ステップＳ３０２においては、公知の推定方法を用いて、Ｒｕｓｓｅｌｌの感情円環モデルから感情を推定できる。感情推定部１３３が仮推定感情を取得した後、制御処理は次のステップＳ３０３に移行する。

ステップＳ３０３において、信頼度決定部１３１は、ユーザ情報に基づいて推定された仮推定感情（例えば、図８ＡのＡ１〜Ａ３。）と、図８Ａに示すＲｕｓｓｅｌｌの感情円環モデルにおける原点Ｏとの距離を決定する。

本実施形態の場合、上記距離が信頼度である。信頼度決定部１３１が信頼度（つまり、上記距離。）を決定した後、制御処理は次のステップＳ３０４に移行する。

以下の説明では、上記距離がそのまま信頼度である場合について説明する。ただし、ステップＳ３０３において、信頼度決定部１３１は、上記距離を所定の条件に基づいて変換して信頼度（例えば、高・中・低の三段階。）を決定してもよい。

ステップＳ３０４において、集合選択部１３２は、上記距離（つまり、信頼度。）と、第一閾値とを比較する。上記距離が、第一閾値より小さい場合には（ステップＳ３０４において“ＮＯ”。）、制御処理は次のステップＳ３０５に移行する。

ステップＳ３０５において、集合選択部１３２は、上記距離と、所定の第二閾値とを比較する。第二閾値は、第一閾値よりも小さい。上記距離が、第二閾値より小さい場合には（ステップＳ３０５において“ＮＯ”。）、制御処理はステップＳ３０６に移行する。

ステップＳ３０６において、集合選択部１３２は、図８Ｃに示す第三感情集合を出力用感情集合として選択する。集合選択部１３２が出力用感情集合を選択した後、制御処理は次のステップＳ３０８に移行する。

一方、ステップＳ３０５において、上記距離が第二閾値以上であると判定された場合には（ステップＳ３０５において“ＹＥＳ”。）、制御処理はステップＳ３０７に移行する。

ステップＳ３０７において、集合選択部１３２は、図８Ｂに示す第二感情集合を出力用感情集合として選択する。集合選択部１３２が出力用感情集合を選択した後、制御処理は次のステップＳ３０８に移行する。

ステップＳ３０８において、感情推定部１３３は、ステップＳ３０６またはステップＳ３０７において選択された出力用感情集合およびユーザ情報に基づいてユーザの感情を推定する。そして、推定した感情を推定感情として取得する。

なお、ステップＳ３０８では、感情推定部１３３は、仮推定感情を取得した際の感情集合（つまり、第一感情集合。）と、ステップＳ３０６またはステップＳ３０７において選択された出力用感情集合（つまり、第三感情集合または第二感情集合。）との対応関係から推定感情を推定してもよい。このような対応関係から推定感情を推定する方法は、上述した実施形態２で説明した方法と同様である。感情推定部１３３が推定感情を推定した後、制御処理はステップＳ３１０に移行する。

また、ステップＳ３０４において、上記距離が、第一閾値以上であると判定された場合には（ステップＳ３０４において“ＹＥＳ”。）、制御処理は次のステップＳ３０９に移行する。

ステップＳ３０９において、感情推定部１３３は、ステップＳ３０２で取得した仮推定感情を推定感情として取得する。そして、制御処理はステップＳ３１０に移行する。

ステップＳ３１０において、出力制御部１３４は、推定感情に応じた出力情報を生成する。そして、制御処理は、次のステップＳ３１１に移行する。ステップＳ３１０およびステップＳ３１１における出力制御部１３４の動作は上述の実施形態１の場合と同様である。その他の構成および作用・効果は上述の実施形態１と同様である。

[３．付記]
本開示には、上述の各実施形態以外にも以下の各態様が含まれる。

［第１態様］
ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する信頼度決定部と、上記決定された信頼度に基づいて、上記ユーザの感情を決定する感情決定部と、上記決定された感情に応じた情報を出力するように、出力装置を制御する制御部と、を備え、上記感情決定部は、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定する、情報出力制御装置。

［第２態様］
上記決定された信頼度に基づいて、複数の感情集合から一つの感情集合を選択する選択部をさらに備え、上記選択部は、上記信頼度が高い場合、上記複数の感情集合から下位概念の感情集合を選択し、上記信頼度が低い場合、上記複数の感情集合から上位概念の感情集合を選択し、上記感情決定部は、上記選択された感情集合に含まれる感情要素の一つを上記ユーザの感情として決定する、上記第１態様に係る情報出力制御装置。

［第３態様］
上記下位概念の感情集合に含まれる感情要素の数は、上記上位概念の感情集合に含まれる感情要素の数よりも多い、上記第２態様に係る情報出力制御装置。

［第４態様］
上記複数の感情集合はそれぞれ、同位概念の感情要素を含む、上記第３態様に係る情報出力制御装置。

［第５態様］
上記ユーザの状態に関する情報が、上記ユーザの顔画像データにおける当該ユーザの表情の情報であって、上記信頼度決定部は、上記顔画像データにおける輝度および上記顔画像データにおける上記ユーザの顔の角度の少なくとも１つに基づいて、上記信頼度を決定する、上記第１態様〜第４態様の何れか１態様に係る情報出力制御装置。

［第６態様］
上記ユーザの状態に関する情報が、上記ユーザの音声データにおける当該ユーザの音声の情報であって、上記信頼度決定部は、上記音声データにおける上記ユーザの音声の大きさまたはノイズの大きさに基づいて、上記信頼度を決定する、上記第１態様〜第４態様の何れか１態様に係る情報出力制御装置。

［第７態様］
情報出力制御装置が実施する情報出力制御方法であって、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定し、上記決定された感情に応じた情報を出力するように、出力装置を制御する、情報出力制御方法。

［第８態様］
ユーザの状態に関するユーザ情報を取得する取得部と、上記ユーザ情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、上記信頼度に対応する１つの感情集合を複数の感情集合から選択し、上記選択された感情集合に含まれる１つの感情要素を上記ユーザの感情として決定する決定部と、上記決定されたユーザの感情に応じた情報を出力する出力部と、を備え、上記決定部は、上記信頼度が高い場合下位概念の感情集合を選択し、上記信頼度が低い場合上位概念の感情集合を選択する、情報出力システム。

［第９態様］
情報出力制御装置が備えるコンピュータが実行するプログラムであって、上記コンピュータに、ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する処理と、上記信頼度が高い場合下位概念の感情を、上記信頼度が低い場合上位概念の感情を、上記ユーザの感情として決定する処理と、上記決定された感情に応じた情報を出力するように、出力装置を制御する処理と、を実行させるプログラム。

本開示に係る情報出力制御装置、情報出力制御方法、情報出力システム、およびプログラムは、車両に限らず、例えば飛行機、電車などの乗り物、テレビ、ゲーム機などに適用できる。

１ 情報出力システム
１１ 情報取得装置
１２ 出力装置
１３ 情報出力制御装置
１３１ 信頼度決定部
１３２ 集合選択部
１３３ 感情推定部
１３４ 出力制御部

Claims (9)

1. ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する信頼度決定部と、
   前記決定された信頼度に基づいて、前記ユーザの感情を決定する感情決定部と、
   前記決定された感情に応じた情報を出力するように、出力装置を制御する制御部と、
   を備え、
   前記感情決定部は、前記信頼度が高い場合下位概念の感情を、前記信頼度が低い場合上位概念の感情を、前記ユーザの感情として決定する、
   情報出力制御装置。
2. 前記決定された信頼度に基づいて、複数の感情集合から一つの感情集合を選択する選択部をさらに備え、
   前記選択部は、前記信頼度が高い場合、前記複数の感情集合から下位概念の感情集合を選択し、前記信頼度が低い場合、前記複数の感情集合から上位概念の感情集合を選択し、
   前記感情決定部は、前記選択された感情集合に含まれる感情要素の一つを前記ユーザの感情として決定する、
   請求項１に記載の情報出力制御装置。
3. 前記下位概念の感情集合に含まれる感情要素の数は、前記上位概念の感情集合に含まれる感情要素の数よりも多い、
   請求項２に記載の情報出力制御装置。
4. 前記複数の感情集合はそれぞれ、同位概念の感情要素を含む、
   請求項３に記載の情報出力制御装置。
5. 前記ユーザの状態に関する情報が、前記ユーザの顔画像データにおける当該ユーザの表情の情報であって、
   前記信頼度決定部は、前記顔画像データにおける輝度および前記顔画像データにおける前記ユーザの顔の角度の少なくとも１つに基づいて、前記信頼度を決定する、
   請求項１〜４の何れか１項に記載の情報出力制御装置。
6. 前記ユーザの状態に関する情報が、前記ユーザの音声データにおける当該ユーザの音声の情報であって、
   前記信頼度決定部は、前記音声データにおける前記ユーザの音声の大きさまたはノイズの大きさに基づいて、前記信頼度を決定する、
   請求項１〜４の何れか１項に記載の情報出力制御装置。
7. 情報出力制御装置が実施する情報出力制御方法であって、
   ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、
   前記信頼度が高い場合下位概念の感情を、前記信頼度が低い場合上位概念の感情を、前記ユーザの感情として決定し、
   前記決定された感情に応じた情報を出力するように、出力装置を制御する、
   情報出力制御方法。
8. ユーザの状態に関するユーザ情報を取得する取得部と、
   前記ユーザ情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定し、前記信頼度に対応する１つの感情集合を複数の感情集合から選択し、前記選択された感情集合に含まれる１つの感情要素を前記ユーザの感情として決定する決定部と、
   前記決定されたユーザの感情に応じた情報を出力する出力部と、
   を備え、
   前記決定部は、前記信頼度が高い場合下位概念の感情集合を選択し、前記信頼度が低い場合上位概念の感情集合を選択する、
   情報出力システム。
9. 情報出力制御装置が備えるコンピュータが実行するプログラムであって、前記コンピュータに、
   ユーザの状態に関する情報に基づいて、当該ユーザの感情の推定に対する信頼度を決定する処理と、
   前記信頼度が高い場合下位概念の感情を、前記信頼度が低い場合上位概念の感情を、前記ユーザの感情として決定する処理と、
   前記決定された感情に応じた情報を出力するように、出力装置を制御する処理と、
   を実行させるプログラム。

Images