JP2017073107A - 情報提示装置の制御方法、及び、情報提示装置 - Google Patents

Abstract

【課題】推定した感情を、より適切に提示する。【解決手段】複数のユーザにより視認される提示部に情報を提示する情報提示装置の制御方法では、センサにより取得した物理量に基づいて、複数のユーザのうちの第一ユーザの感情を推定し（Ｓ１０１）、取得した物理量、又は、推定した感情を用いて、推定した感情の提示を行うか否かについての判定処理を実行し（Ｓ１０３）、推定した感情の提示部による提示を、判定処理の結果に従って制御する（Ｓ１０４）。【選択図】図２

Description

本発明は、情報提示装置の制御方法、及び、情報提示装置に関する。

人の感情を推定し、推定した感情を提示する装置が開示されている（例えば特許文献１参照）。

特開２０１３−２１６２４１号公報

しかしながら、特許文献１に開示される装置によって被験者の感情を推定して提示すると、この装置による提示の内容を、被験者自身を含む複数の人が視認し得る。そのため、提示される感情によっては、被験者が恥ずかしさを感じることがある。被験者は、感情の提示により恥ずかしさを感じるなどの精神的負担を負うことで感情が変化し、その後、被験者の本来推定されるべき感情と異なる感情が推定されることが生じ得るという問題がある。

そこで、本発明は、推定した感情を、より適切に提示する感情推定装置の制御方法等を提供する。

本発明の一態様に係る情報提示装置の制御方法は、複数のユーザにより視認される提示部に情報を提示する情報提示装置の制御方法であって、センサにより取得した物理量に基づいて、前記複数のユーザのうちの第一ユーザの感情を推定し、取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行し、推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本発明の情報提示装置の制御方法によれば、推定した感情を、より適切に提示することができる。

図１は、実施の形態１における情報提示装置の機能ブロックを示すブロック図である。 図２は、実施の形態１における情報提示装置の制御方法を示すフロー図である。 図３は、実施の形態２における情報提示装置の利用場面を示す説明図である。 図４は、実施の形態２における情報提示装置の機能ブロックを示すブロック図である。 図５は、実施の形態２における情報提示装置の制御方法を示すフロー図である。 図６は、実施の形態２の変形例１における情報提示装置の利用場面を示す説明図である。 図７は、実施の形態２の変形例１における情報提示装置の機能ブロックを示すブロック図である。 図８は、実施の形態２の変形例１における情報提示装置の制御方法を示すフロー図である。 図９は、実施の形態２の変形例１における情報提示装置によるデューティ比の例を示す説明図である。 図１０は、実施の形態２の変形例２における情報提示装置の機能ブロックを示す構成図である。 図１１は、実施の形態２の変形例３における情報提示装置の機能ブロックを示す構成図である。 図１２は、実施の形態３における情報提示装置の機能ブロックを示すブロック図である。 図１３は、実施の形態３の変形例における情報提示装置の機能ブロックを示すブロック図である。 図１４は、実施の形態４における情報提示装置の第一例の機能ブロックを示すブロック図である。 図１５は、実施の形態４における情報提示装置の第二例の機能ブロックを示すブロック図である。 図１６は、実施の形態４における情報提示装置の第三例の機能ブロックを示すブロック図である。 図１７は、実施の形態４における情報提示装置の第四例の機能ブロックを示すブロック図である。 図１８は、実施の形態４における情報提示装置の第五例の機能ブロックを示すブロック図である。

本発明の一態様に係る情報提示装置の制御方法は、複数のユーザにより視認される提示部に情報を提示する情報提示装置の制御方法であって、センサにより取得した物理量に基づいて、前記複数のユーザのうちの第一ユーザの感情を推定し、取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行し、推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する。

上記態様によれば、情報提示装置は、第一ユーザの感情を推定した後に、その感情を提示するか否かの判定処理を行う。この判定処理は、推定した感情を提示部により提示する前に行われ、その提示をするか、又は、しないかの制御につながるものである。この判定処理により、推定した感情を提示することが適切でない場合に、その提示を禁止することができる。よって、情報提示装置は、推定した感情を、より適切に提示することができる。

例えば、前記判定処理では、前記提示部を前記第一ユーザが見ているか否かを判定し、前記提示の制御では、（ａ）前記提示部を前記第一ユーザが見ていると判定した場合には、前記提示を禁止し、（ｂ）前記提示部を前記第一ユーザが見ていないと判定した場合には、前記提示を許可してもよい。

上記態様によれば、情報提示装置は、第一ユーザが提示部を見ているか否かに応じて、提示をするか、又は、しないかを制御する。第一ユーザが提示部を見ているときに第一ユーザの推定された感情が提示されると、この提示によって第一ユーザの感情が変化することがある。このように第一ユーザの感情が変化してしまうと、その後に推定される感情は、本来第一ユーザが抱いていた、又は、抱くはずの感情とは異なるものとなり、妥当な推定結果とはいえないものとなる。上記のように第一ユーザが提示部を見ているときに提示を禁止することで、提示により第一ユーザの感情が変化することを回避することができる。

例えば、前記判定処理では、前記提示の頻度として、取得した前記物理量、又は、推定した前記感情に応じた頻度を決定し、前記提示の制御では、前記判定処理で決定した前記頻度で前記提示を行うよう制御してもよい。

上記態様によれば、情報提示装置は、第一ユーザの推定された感情に基づいて、提示の頻度を変化させる。これにより、情報提示装置は、第一ユーザの推定された感情を直観的に提示することができる。

例えば、前記判定処理では、推定した前記感情の強度が高いほど、前記提示の頻度をより高い頻度に決定してもよい。

上記態様によれば、情報提示装置は、第一ユーザの推定された感情の強度に基づいて、提示の頻度を変化させる。これにより、情報提示装置は、第一ユーザの推定された感情を、より直観的に提示することができる。

例えば、前記判定処理では、推定した前記感情が、前記提示部による提示を禁止するものとして予め定められた感情であるか否かを判定し、前記提示の制御では、前記予め定められた感情の前記提示を禁止してもよい。

上記態様によれば、情報提示装置は、第一ユーザの推定された感情が所定のものである場合に提示を禁止することで、適切でない提示を抑制することができる。

例えば、前記判定処理では、推定した前記感情を前記ユーザに事前提示し、前記事前提示した前記感情を前記提示部により提示するか否かについての前記ユーザによる指示を受け、前記提示の制御では、前記事前提示に対する前記ユーザによる指示に従って、前記提示部による提示を制御してもよい。

上記態様によれば、情報提示装置は、第一ユーザの推定された感情を提示するか否かについて、第一ユーザによる指示に従って提示するか、又は、提示を禁止するかを制御する。よって、第一ユーザが提示してほしくないと思う感情を提示することを抑制することができる。

例えば、前記判定処理では、前記センサとしてのカメラが取得した画像に含まれるユーザの人数を判定し、前記複数のユーザが３人以上であるか否かを判定し、前記提示の制御では、前記複数のユーザが３人以上であると判定された場合には、前記提示を許可してもよい。

上記態様によれば、情報提示装置は、提示する感情が複数のユーザのうちのどのユーザの感情であるかを特定できない態様で、つまり匿名で、第一ユーザの推定された感情を提示することができる。誰が抱いている感情かが特定できない場合、推定された感情が提示されるときの第一ユーザの恥ずかしさなどの精神的負担が比較的軽いと考えられるからである。

例えば、前記感情の推定では、前記センサとしてのカメラが取得した前記第一ユーザの顔を含む画像に基づいて、覚醒、驚き、喜び、快適、気楽、眠気、退屈、悲しみ、深い、イライラ、怒り、恐れ、又は、平静の感情を、前記第一ユーザの感情として推定してもよい。

上記態様によれば、情報提示装置は、第一ユーザの感情をより具体的に推定することができる。

例えば、前記第一ユーザは、一の車両の運転者であり、前記複数のユーザのうち前記第一ユーザを除くユーザは、前記一の車両に乗車していない人であり、前記感情を推定する際には、前記運転者のイライラ又は怒りの感情を推定してもよい。

上記態様によれば、情報提示装置は、車両に乗車している第一ユーザの感情を、車両に乗車していないユーザに提示することができる。

例えば、前記第一ユーザは、トイレ室内でトイレを使用している使用者であり、前記複数のユーザのうち前記第一ユーザを除くユーザは、前記トイレ室外で前記トイレを使用するために待機している待機者であり、前記感情を推定する際には、前記使用者の不快又は気楽の感情を推定してもよい。

上記態様によれば、情報提示装置は、トイレ室内でトイレを使用している第一ユーザの感情を、トイレ室外でトイレを使用するために待機しているユーザに提示することができる。

例えば、前記第一ユーザは、前記トイレ室外で前記トイレを使用するために待機している待機者であり、前記複数のユーザのうち前記第一ユーザを除くユーザは、トイレ室内でトイレを使用している使用者であり、前記感情を推定する際には、前記待機者の不快又はイライラの感情を推定してもよい。

上記態様によれば、情報提示装置は、トイレ室外でトイレを使用するために待機している第一ユーザの感情を、トイレ室内でトイレを使用しているユーザに提示することができる。

また、本発明の一態様に係る情報提示装置は、複数のユーザにより視認される提示部に情報を提示する情報提示装置であって、センサにより取得した物理量に基づいて、複数のユーザのうちの第一ユーザの感情を推定する感情推定部と、取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行する判定部と、推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する提示制御部とを備える。

これにより、上記と同様の効果を奏する。

また、本発明の一態様に係るプログラムは、上記の制御方法をコンピュータにより実行させるためのプログラムである。

これにより、上記と同様の効果を奏する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
本実施の形態において、推定した感情を、より適切に提示する情報提示装置等について説明する。より具体的には、この情報提示装置は、被験者の感情を推定して提示する一方で、被験者の感情を変化させずに維持させることで継続的な感情の推定を適切に実現し得るものである。

図１は、本実施の形態における情報提示装置１の機能ブロックを示すブロック図である。

図１に示されるように、情報提示装置１は、感情推定部１２と、判定部１４と、提示制御部１６とを備える。また、情報提示装置１は、センサ１０と提示部１７とを備えてもよい。提示部１７は、複数のユーザに視認され得る。図１には、複数のユーザとしてユーザＵ１及びＵ２の２人を示しているが、３人以上のユーザがあってもよい。

センサ１０は、感情推定部１２が用いるセンサの一例であり、具体例は、可視光線又は赤外線による撮像により画像を取得するカメラ、心拍計、血圧計などである。なお、センサ１０は、情報提示装置１に必須の構成ではない。

感情推定部１２は、センサにより取得した物理量に基づいて、複数のユーザのうちの被験者であるユーザＵ１の感情を推定する処理部である。感情推定部１２が上記で用いるセンサは、例えばセンサ１０であるが、これに限られない。感情推定部１２は、センサにより取得した物理量を情報提示装置１の外部から取得してもよい。感情推定部１２は、例えば、センサとしてのカメラによる撮像により取得した物理量としての画像におけるユーザＵ１の表情を分析することで、ユーザＵ１が抱いている感情を推定し得る。ここで、表情（より具体的には、目、口及び鼻などのパーツの特徴点の位置）を分析することで感情を得る方法は周知技術を採用し得る。

判定部１４は、センサが取得した物理量、又は、感情推定部１２が推定した感情を用いて、推定した感情の提示を行うか否かについての判定処理を実行する処理部である。また、判定部１４は、センサが取得した物理量、又は、感情推定部１２が推定した感情に応じて、提示部１７による提示の頻度を決定してもよい。ここで、判定部１４は、感情推定部１２が推定した感情の強度が高いほど、提示部１７による提示の頻度をより高い頻度に決定してもよい。また、判定部１４は、感情推定部１２が推定した感情が、提示部１７による提示を禁止するものとして予め定められた感情であるか否かを判定してもよい。その場合、提示制御部１６及び提示部１７により、その予め定められた感情の提示が禁止される。

提示制御部１６は、推定した感情の提示部１７による提示を、判定部１４による判定処理の結果に従って制御する処理部である。

提示部１７は、提示制御部１６による制御に従って情報を提示する提示部である。提示部１７は、例えば、液晶ディスプレイである。

なお、感情推定部１２、判定部１４及び提示制御部１６の一部又は全部は、情報提示装置１が備えるプロセッサ（不図示）がプログラムを実行することでソフトウェア的に実現されてもよいし、専用回路によりハードウェア的に実現されてもよい。また、上記構成要素が処理に用いる情報は、情報提示装置１が備えるメモリ（不図示）又はストレージ（不図示）に格納されているとする。

図２は、本実施の形態における情報提示装置１の制御方法を示すフロー図である。

ステップＳ１０１において、センサ１０が物理量を取得する。なお、センサ１０の代わりに、情報提示装置１の外部のセンサを用いてもよく、その場合には、本ステップにおいて、情報提示装置１は、外部のセンサにより取得された物理量を取得する。

ステップＳ１０２において、感情推定部１２は、センサ１０（又は外部のセンサ）により取得した物理量に基づいてユーザＵ１が抱いている感情を推定する。

ステップＳ１０３において、判定部１４は、センサ１０（又は外部のセンサ）が取得した物理量、又は、感情推定部１２が推定した感情を用いて、推定した感情の提示を行うか否かについての判定処理を実行する。例えば、判定部１４は、ユーザＵ１の視線の向きを判定する処理、又は、感情推定部１２が推定した感情が所定の感情と一致するか否かを判定する処理を、上記判定処理として実行する。

ステップＳ１０４において、提示制御部１６は、ステップＳ１０２で感情推定部１２が推定した感情の提示部１７による提示を、判定部１４による判定処理の結果に従って制御する。

なお、判定部１４による判定処理では、感情推定部１２が推定した感情をユーザＵ１に事前提示し、事前提示した感情を提示部１７により提示するか否かについてのユーザＵ１による指示を受けてもよい。その場合、提示制御部１６は、事前提示に対するユーザＵ１による指示に従って、提示部１７による提示を制御する。

また、判定部１４による判定処理では、センサとしてのカメラが取得した画像に含まれるユーザの人数を判定してもよい。その場合、提示制御部１６は、ユーザが３人以上であると判定された場合に、提示部１７による提示を許可してもよい。

以上の一連の処理により、情報提示装置１は、推定した感情を、より適切に提示することができる。より具体的には、情報提示装置１は、被験者の感情を推定して提示する一方で、被験者の感情を変化させずに維持させることで継続的な感情の推定を適切に実現し得る。

このように、本実施の形態の情報提示装置１は、第一ユーザの感情を推定した後に、その感情を提示するか否かの判定処理を行う。この判定処理は、推定した感情を提示部１７により提示する前に行われ、その提示をするか、又は、しないかの制御につながるものである。この判定処理により、推定した感情を提示することが適切でない場合に、その提示を禁止することができる。よって、情報提示装置１は、推定した感情を、より適切に提示することができる。

なお、判定部１４による判定処理では、上記以外のセンサから得られた物理量や、上記以外の根拠を元に、推定した感情の提示を行うか否かについての判定処理を実行してもよい。

（実施の形態２）
本実施の形態において、推定した感情を、より適切に提示する情報提示装置についてより具体的に説明する。

図３は、本実施の形態における情報提示装置２の利用場面を示す説明図である。

図３に示されるように、情報提示装置２は、例えば、車両（自動車）の居住空間内において、運転者であるユーザＵ１と、同乗者であるユーザＵ２とが、車両のナビゲーション装置として構成された情報提示装置２の提示部１７を視認し得る状況を示している。

情報提示装置２は、ユーザＵ１の感情を推定し、推定した感情を提示する。しかしながら、情報提示装置２による感情の提示が常に行われるとすれば、ユーザＵ１は、自身の推定された感情がユーザＵ２に伝えられる様子を見ることになる。このことによりユーザＵ１は、恥ずかしさなどの精神的負担を感じて感情が変化することがあり、ユーザＵ１の感情の推定が適切に行われないという問題が生ずる。

そこで、情報提示装置２は、ユーザＵ１の視線の向きに基づいて提示の制御をする。具体的には、ユーザＵ１が情報提示装置２の提示部１７を見ていないとき（図３の（ａ））には、推定された感情を提示し、ユーザＵ１が情報提示装置２の提示部１７を見ているとき（図３の（ｂ））には、推定された感情を提示しないこととする。ユーザＵ１は、自身の推定された感情がユーザＵ２に伝えられる様子を見ることがなくなる。このように、情報提示装置２は、ユーザＵ１の感情を維持するように、推定したユーザＵ１の感情を適切に提示することができる。

以降において、情報提示装置２の機能及び処理について詳細に説明する。

図４は、本実施の形態における情報提示装置２の機能ブロックを示すブロック図である。

図４に示されるように、情報提示装置２は、カメラ１１と、感情推定部１２と、判定部１４と、提示制御部１６と、提示部１７とを備える。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

カメラ１１は、ユーザＵ１の顔を撮像する可視光線カメラ又は赤外線カメラである。カメラ１１は、物理量としての画像を取得するセンサとして機能する。

感情推定部１２は、センサとしてのカメラ１１が取得した画像におけるユーザＵ１の表情に基づいて、ユーザＵ１が抱いている感情を推定する処理部である。ここで、ユーザＵ１が抱いている感情は、さまざまなものがあり、その推定方法は周知技術を採用し得る。感情は、例えば、ポジティブ感情又はネガティブ感情のいずれかであってもよいし、感情のポジティブさ（又はネガティブさ）の程度を示す指標に基づいて決定されるものでもよい。ここで、ポジティブ感情とは、元気で生き生きとした状態を示す感情であり、具体的には、覚醒、興奮、又は、幸福のような感情である。ネガティブ感情とは、ポジティブ感情の反対の感情であり、元気がなく消極的な状態を示す感情である。

また、感情は、感情の種別（例えば、覚醒、驚き、喜び、快適、気楽、眠気、退屈、悲しみ、不快、イライラ、怒り、恐れ、又は、平静など）と感情の強度とで表わされる、感情の二次元モデル（例えばラッセル円環モデル）上で表現されるものであってもよい。

判定部１４は、センサとしてのカメラ１１が取得した物理量としての画像におけるユーザＵ１の視線の向きに基づいて、推定した感情の提示を行うか否かについての判定処理を実行する処理部である。判定部１４は、カメラ１１が取得した画像からユーザＵ１の視線の向きを解析する視線解析部１５を有する。なお、視線の向きの解析は、画像におけるユーザＵ１の顔面の向き、及び、眼球の位置から周知技術によりなされ得る。

判定部１４は、上記判定処理において、視線解析部１５による解析の結果である、ユーザＵ１の視線の向きを取得し、ユーザＵ１の視線が提示部１７を向いているか否かを判定することで、ユーザＵ１が提示部１７又はその周辺を見ているか否かを判定する。なお、ユーザＵ１の視線が提示部１７を向いているか否かの判定は、ユーザＵ１の顔面の位置及び向き、提示部１７の位置及び向き等を示す情報に基づいて周知技術によりなされ得る。

提示制御部１６は、感情推定部１２が推定した感情の提示部１７による提示を、判定部１４による判定処理の結果に従って制御する処理部である。具体的には、提示制御部１６は、（ａ）提示部１７をユーザＵ１が見ていると判定部１４が判定した場合には、提示部１７による提示を禁止するための制御情報を生成する。一方、（ｂ）提示部１７をユーザＵ１が見ていないと判定部１４が判定した場合には、提示部１７による提示を許可するための制御情報を生成する。そして、提示制御部１６は、生成した制御情報に従って、提示部１７による提示を制御する。

以降において、情報提示装置２の制御方法について説明する。

図５は、本実施の形態における情報提示装置２の制御方法を示すフロー図である。

ステップＳ２０１において、カメラ１１が画像を取得する。

ステップＳ２０２において、ステップＳ２０１で取得した画像に基づいて、感情推定部１２がユーザＵ１の感情を推定する。

ステップＳ２０３において、ステップＳ２０１で取得した画像に基づいて、視線解析部１５が、ユーザＵ１の視線の向きを取得する。

ステップＳ２０４において、判定部１４は、ステップＳ２０３で取得したユーザＵ１の視線の向きに基づいて、ユーザＵ１が提示部１７又はその周辺を見ているか否かを判定する。ユーザＵ１が提示部１７を見ていると判定した場合（ステップＳ２０４でＹｅｓ）にはステップＳ２０５に進み、そうでない場合（ステップＳ２０４でＮｏ）には、ステップＳ２０６に進む。

ステップＳ２０５において、提示制御部１６は、ユーザＵ１の推定された感情の提示部１７による提示を禁止する。このとき、提示制御部１６は、他の情報（例えば現在地周辺の地図の画像）を提示部１７に提示してもよい（図３の（ｂ）参照）。

ステップＳ２０６において、提示制御部１６は、ユーザＵ１の推定された感情の提示部１７による提示を許可する（図３の（ａ）参照）。

以上の一連の処理により、情報提示装置２は、ユーザＵ１の感情の提示をユーザＵ１に視認されないようにすることでユーザＵ１の感情を維持しながら、推定したユーザＵ１の感情を適切に提示することができる。

なお、感情推定部１２による感情推定の具体的方法については以下のようにすることもできる。感情推定部１２は、センサとしてカメラ１１を用いる場合、カメラ１１により取得した画像、又は、その画像の緑色成分画像の変動から脈拍を検出し、検出した脈拍の脈拍間隔時間（ＲＲＩ，Ｒ−Ｒ Ｉｎｔｅｒｖａｌ）の時間変動から、ＲＲＩの周波数成分のパワースペクトルを求める。そして、感情推定部１２は、周波数成分のパワースペクトルのＬＦ（Ｌｏｗ Ｆｒｅｑｕｅｎｃｙ）成分（例えば０．０５〜０．１５Ｈｚ）と、ＨＦ（Ｈｉｇｈ Ｆｒｅｑｕｅｎｃｙ）成分（例えば、０．１５Ｈｚ〜０．４Ｈｚ）との比ＬＦ／ＨＦから、ユーザＵ１がリラックスしているか緊張しているかを判断する。なお、カメラ１１により取得した画像から、瞼の開き具合、又は、単位時間における瞼の閉じている時間割合を測定して、眠気の度合いを判断することもできる。センサとしてサーモカメラを用いる場合、感情推定部１２は、主に末梢の皮膚温から緊張を検出することもできる。人が緊張すると抹消の皮膚温が低下するという性質を利用したものである。

なお、センサが取得する物理量は、例えば、心拍数、心拍波形、脈波、脈波波形、ＬＦ／ＨＦ、瞼開度、瞳孔径、血流量、酸素飽和度、顔色、視線、発汗量、呼吸数、呼吸量、皮膚温、又は、体温等の生体情報である。

なお、提示制御部１６による提示の制御の具体的方法については、以下のようにすることもできる。センサとしてカメラ１１を用いる場合、カメラ１１により取得した画像からユーザＵ１の瞼の開度を検出し、例えば瞼が所定時間以上閉じた場合にはユーザＵ１が寝たと判断し、提示制御部１６は、提示部１７に「眠い」との感情を提示してもよい。また、推定された感情が、情報提示装置２よる提示をしないものとして予め定められた感情であった場合、提示制御部１６は、その感情を提示することを禁止してもよい。例えば、推定された感情が「退屈」というように、あまり他人に知られたくない感情であった場合、感情の提示を禁止するように制御してもよい。また、センサとしてカメラ１１を用いる場合、カメラ１１により取得した画像に含まれる人の人数が、複数であった場合にのみ、感情を提示するように制御してもよい。また、この場合、提示する感情は、複数人の感情の平均値としてもよいし、複数人のうちの所定の１人以上、又は、任意の１人以上の感情であってもよい。

なお、感情推定部１２は、推定された感情の補正を行ってもよい。例えば、操作量（アクセル、ブレーキ又はステアリング）により補正してもよい。具体的には、急発進や急ブレーキの程度に応じて、イライラの感情の強度を補正してもよい。急発進や急ブレーキの頻度が多くなったり、程度がきつくなったりすると、イライラの感情の強度を強めに補正することにより、イライラの感情を強く運転者に認識させることで、安全に対する意識をより強く促したり、スロットルを弱めに制御したりして、危険運転の低減や燃費の向上に繋げることができる。また、ステアリングの保舵力や保舵する面積（手がステアリングに対して所定値以上の圧力で接触している面積）に応じて、眠気の感情の強度を補正してもよい。保舵力や保舵する面積が低下すると眠気レベルをより高めに補正することで、早期に運転者に覚醒レベルの低下を伝えたり、シートベルト等により覚醒を促したりすることができ、安全性向上に繋げることができる。また、周囲の交通量や車間距離等に応じて、感情を補正してもよい。例えば交通量が多い場合、又は、車間距離が短い場合、イライラの感情の強度を強めに補正して、安全運転を促したり、ブレーキやスロットルの制御を緩やかにしたりしてもよい。もちろん、意図的に車間距離が取りやすい位置に移動してもよい。

また、感情推定部１２は、運転者に対して問いかけをした際の表情の変化や返答から、感情を推定することもできる。例えば問いかけに対して関係のない返事をすると、漫然状態や眠気があると推定する。他にも、感情推定部１２は、問いかけに対して語気が荒かったり眉間にシワがよったりすると、イライラの感情を抱いていると推定してもよい。わずかな表情の変化（微表情）から推定してもよいし、定常的な変化から推定してもよい。問いかけがなくても、脈絡のない発話ばかりであれば、漫然状態と推定してもよい。

また、情報提示装置２は、推定した感情に基づいて、難易度が異なる駐車場又は駐車スペースへの駐車（いわゆる車庫入れ）のうちのどの駐車スペースへの駐車を案内するかを変えてもよい。駐車時に不安感を感じていなければ、駐車の難易度の高い駐車場又は駐車スペースを案内してもよい。駐車の難易度が高い駐車場にうまく停めることに面白さを感じる人もいるからである。一般に、駐車の難易度が比較的高い駐車スペースは、その難易度ゆえ、駐車されずに空いていることが多い。そこで、難易度が比較的高くても駐車に不安を感じない人に難易度の比較的高い駐車スペースを案内することで、駐車場をより有効的に利用することができるという利点もある。

また、感情推定部１２は、温度、気圧、騒音、天候、明るさ等によって、感情を補正しても構わない。具体的には、気温が低くもなく高くもなければ、例えば喜びの感情が強くなるように補正してもよい。気圧が低ければ、不快な感情が強くなるように補正してもよい。騒音が比較的大きければ、イライラの感情が強くなるように補正してもよい。天候がよければ、喜びの感情が強くなるように補正しても構わない。逆に天候が悪ければ喜びの感情を低めにしてもよい。明るさが高ければ喜びの感情を多めに補正してもよい。もちろんこれ以外の補正を行っても構わない。

また、情報提示装置２は、スマートフォン又はＰＣ上のアプリケーションとして実現することもできる。その場合、当該アプリケーションを使用中に所定の感情を検出した時に、スマートフォン又はＰＣの所定の操作ができなくなるようにしてもよい。例えば、コミュニケーションツールのアプリケーション（いわゆるＳＮＳ（Ｓｏｃｉａｌ Ｎｅｔｗｏｒｋｉｎｇ Ｓｅｒｖｉｃｅ）など）を操作しているときに、ユーザのイライラの感情を推定した場合、投稿ボタンの操作をできなくしてもよい。入力そのものをできないようにしてもよいし、他の操作（又は処理）に置き換えてもよい。こうすることで、ユーザＵ１が感情にまかせた投稿をしたことにより後に友好関係にヒビが入ることを防止でき、後から見返した時に後悔したり、Ｗｅｂサイトが炎上したりすることを防止することができる。また、同様に攻撃的な感情下での投稿により、相手を傷つけることや、いじめ等の防止に繋がる。

また、クラウドコンピューティングを活用すると以下のようなことも可能である。

例えば、情報提示装置２が、周囲の１以上の運転者の感情を、レーダーチャート等で運転者に表示してもよい。イライラの感情を有している人が多いと、その周辺を走行することを避けるようにできる。また、情報提示装置２は、感情をクラウド上のサーバにあげて、イライラの感情を有している人が多い場所ではスピードを低減させるようにアクセルやブレーキを制御してもよい。特に自動運転で効果が大きいと考えられる。また、情報提示装置２は、感情をクラウド上のサーバにあげて、例えば雪道等で驚きやヒヤリハットが多い場所が近づいてきたら、チェーン脱着場を案内することで、より安全に運転することが可能になる。また、情報提示装置２は、クラウド上のサーバにあげられたビッグデータやナビ情報を元に、運転者が今後に抱く感情を予測し、好ましくない感情を運転者が抱くことのないように、未然に緩和するようにしてもよい。例えば、過去に運転者がイライラの感情を抱いた地点に近づくときに、情報提示装置２は、イライラの感情を緩和させる音楽を再生してもよい。そもそもナビゲーション装置による案内情報により、過去に運転者がイライラの感情を抱いた地点を経由しない経路を案内してもよい。また、情報提示装置２は、現在地から目的地までの感情の推移を推定し、イライラの感情を抱くことが最も少ない道を提案してもよく、ルート選択の際にイライラの感情を抱くことが少ないルートを選択できるようにしてもよい。これにより、情報提示装置２は、イライラの感情を抱くことが低減された安全な運転を運転者に促すことができる。

また、情報提示装置２は、周囲の自動運転車両の割合を運転者に表示してもよい。この情報は、自動運転に切り替えるかどうかの目安になる。また、情報提示装置２は、個人の運転好みを学習し、自動運転中に退屈な感情を推定したら、自動運転から手動運転への切り替えを促してもよい。これにより、運転者は、運転する楽しさを感じることができる。また、情報提示装置２は、個人の運転の好みを学習し、運転者が好みの道を伝えてもよい。運転者本人は自分の好みの道を認識することがあまりないので、自分の運転の好みや癖を自覚することができ、安全に対する意識を向上させることができる。

（実施の形態２の変形例１）
本変形例において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。

図６は、本変形例における情報提示装置２Ａの利用場面を示す説明図である。

図６に示されるように、情報提示装置２Ａは、例えば、車両を運転しているユーザＵ１の感情を車外に提示する状況を示している。つまり、ユーザＵ１は、車両の運転者であり、ユーザＵ１の推定された感情が、ユーザＵ１を除く他のユーザ（例えば、他の車両の運転者、又は、歩行者など）に提示され得る。ユーザＵ１の感情が他のユーザに提示されることで、例えば他の運転手又は歩行者がユーザＵ１の車両に接近することで危険が予測される場合に接近を避けるなどの安全行動をとることができる。

以降において、情報提示装置２Ａの機能及び処理について詳細に説明する。

図７は、本実施の形態における情報提示装置２Ａの機能ブロックを示すブロック図である。

図７に示されるように、情報提示装置２Ａは、カメラ１１と、感情推定部１２と、判定部１４Ａと、提示制御部１６Ａと、提示部１７とを備える。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

感情推定部１２は、ユーザＵ１の感情を、その感情の強度とともに推定する。例えば、感情推定部１２は、比較的強いイライラ、又は、比較的弱い快適、などの感情を推定する。

判定部１４Ａは、感情推定部１２が推定したユーザＵ１の感情の強度に基づいて、推定した感情を提示する時間長についての判定処理を実行する処理部である。判定部１４Ａは、具体的には、感情推定部１２が推定した感情を提示部１７により提示する状態（オン）と、提示しない状態（オフ）とを周期的に繰り返す場合の、オン時間（オンデューティ時間）及びオフ時間（オフデューティ時間）、又は、そのデューティ比を、感情の強度に応じて決定する。例えば、判定部１４Ａは、推定された感情の強度が強いほど、より長いオン時間を決定する。

提示制御部１６Ａは、感情推定部１２が推定した感情の提示部１７による提示を、判定部１４Ａによる判定処理の結果に従って制御する処理部である。具体的には、提示制御部１６Ａは、判定部１４Ａが決定したオン時間及びオフ時間、又は、デューティ比に従って、提示部１７による提示を制御する。

以降において、情報提示装置２Ａの制御方法について説明する。

図８は、本実施の形態における情報提示装置２Ａの制御方法を示すフロー図である。図９は、本変形例における情報提示装置２Ａによるデューティ比の例を示す説明図である。

図８のステップＳ２０１及びＳ２０２は、図５の同一符号のステップと同じである。

ステップＳ３０１において、判定部１４Ａは、感情推定部１２が推定したユーザＵ１の感情の強度に応じたデューティ比を決定する。判定部１４Ａは、例えば、推定された感情の強度が強いほど、より長いオン時間を決定する。より具体的には、ユーザＵ１の感情の強度が比較的弱い場合には、比較的小さなデューティ比を決定する（図９の（ａ）参照）。一方、ユーザＵ１の感情の強度が比較的強い場合には、比較的大きなデューティ比を決定する（図９の（ｂ）参照）。

ステップＳ３０２において、提示制御部１６Ａは、ステップＳ３０１で判定部１４Ａが決定したデューティ比でユーザＵ１の感情を提示する。

このようにすることで、情報提示装置２Ａは、車両内にいるユーザＵ１から見えない車外の位置にユーザＵ１の推定された感情を提示し、また、その提示の時間長は、推定された感情の強度に応じて定められる。この提示は、ユーザＵ１が視認することができない位置にあるので、ユーザＵ１自身がこの提示を見て恥ずかしいと思うこともないし、その結果ユーザＵ１の感情が変化してしまうこともない。

なお、判定部１４Ａは、ユーザＵ１の感情が「平静」である場合には、感情の提示を禁止するようにしてもよい。ユーザＵ１にとって、常に感情を提示していることによる恥ずかしさなどの精神的負担を軽減するためである。また、周囲の車両は、「怒り」又は「焦り」を感じている運転者の車両には近づかないようにすることができるので、交通安全に繋がる利点がある。この場合、感情のログにおける特定の感情の比率に応じて保険料が変動する自動車保険の制度が構築され得る。

また、提示部１７による提示のタイミングを、インジケータ等を点滅させることで運転者自身に知らせるようにしてもよい。これにより、ユーザＵ１は、自身の感情がいつ提示されたかを知ることができ、恥ずかしさなどの精神的負担が軽減され得る。また、提示する感情を事前にユーザＵ１に示し、提示するか否かについてのユーザＵ１による指示を受け、指示に従って提示を制御してもよい。また、この場合、判定部１４Ａは、怒りや焦りなどの所定の感情については、提示するか否かについての指示を受けずに、常に提示する、又は、常に提示しないと判定してもよい。

このようにして、情報提示装置２Ａは、ユーザＵ１の感情を、その感情の強度に応じた時間長で車外に提示することができ、例えば他の運転者への安全行動につなげることができる。

また、ここでは感情により表示するデューティを調整する例を示したが、デューティではなく、例えば表示する輝度を調整してもよく、その他にも表示する色を変化させてもよく、周囲のドライバーの視認しやすさを調整できるのであれば他の方法でも構わない。

（実施の形態２の変形例２）
本変形例において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。本変形例における情報提示装置３は、運転者であるユーザＵ１の感情に基づいて車両及び交通信号機の制御を行うものである。

図１０は、本変形例における情報提示装置３の機能ブロックを示す構成図である。

図１０に示されるように、情報提示装置３は、センサ１０と、感情推定部１２と、制御部１８とを備える。なお、上記実施の形態又は変形例における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

制御部１８は、感情推定部１２が推定したユーザＵ１の感情に基づいて、車両４０が備える機器（例えば、シフト４１、車内照明４２、エンジン回転数４３、ブレーキ４４、ステアリング４５、又は、ナビゲーション装置４６）、若しくは、交通信号機４７を制御する処理部である。

例えば、情報提示装置３は、車両がタクシーである場合、乗客の感情を推定し、乗客が恐怖の感情を抱いたら、運転手に通知することなくスピード制限をかける、アクセルを重くする、又は、自動運転に切り替えるなどの制御を行う。また、情報提示装置３は、自動運転で、例えば眠そうな人がいたらソフト運転モード（加減速を少なくする）にしたりしてもよい。また、静音モード（シフトをなるべく高めにする）にしたり、焦っている人がいたら追い越し車線に車線変更したり、乗り物酔い（末梢の血流が減る）をしている人がいたらスピード制限を掛けたりしてもよい。これらにより、乗客の感情が、運転者に知られることなく、乗客にとって快適な運転に近づけることができる。もちろん、推定された感情に応じて自動で運転モードを切り替えてもよいし、運転者に提示して運転者が選択してもよい。なお、同乗者が複数いる場合には、運転者に感情を提示してもよい。その場合、どの同乗者の感情であるのかを特定できないようにしてもよい。運転者には、誰の感情かがわからないので、同乗者が恥ずかしさなどの精神的負担を感じにくい利点がある。

また、情報提示装置３は、眠気の低減又は覚醒につながる音楽を学習してもよい。個人によって、音楽の好みや覚醒し易い曲が違うので、より覚醒に効果的な音楽又は曲を学習して、眠い時にかけることができる。

また、情報提示装置３は、運転手の感情にあわせて交通信号機４７のシグナルのタイミングの制御をしてもよい。交通信号機４７の制御により、運転者が焦りを感じている車両は、交通信号機４７に止められる回数が減るようにしてもよい。また、楽しい感情を抱いている運転者の車両は、交通信号機４７により止められる回数を増やして、その状態を継続させることで、運転者が幸せを感じている時間を延長するよう制御することもできる。異性とのデート中などに効果が大きいといえる。

また、情報提示装置３は、タクシーの乗客や同乗者がトイレに行きたい感情を推定してもよい。このような感情を推定したら、最寄りのトイレをナビゲーション装置に表示させてもよい。また、タクシーの乗客や同乗者の空腹の度合いを感情として推定して、緊急度が高い場合には車内照明４２を青色にして空腹感を抑制するようにしてもよい。また、食事ができる余裕があれば、赤色照明で空腹感を増幅して、レストランをリコメンドしてもよい。また、タクシー検索サイトに運転者の現時点の感情を表示し、タクシーを利用しようとする人が、表示された感情に基づいて、自身の気分にあったタクシーを選べるようにしてもよい。例えば、タクシーを利用しようとする人が、眠気を感じている時は静かな運転手を選択し、急いで目的地に到着したいときは集中力が高まっている運転手を選択するようにしてもよい。

また、情報提示装置３は、同乗者又は運転者の眩しそうな表情をセンシングして、日陰の多い道路を案内することで、快適なタクシー移動を演出してもよい。また、同乗者又は運転者が眠気を感じている場合には、日向の多い道路を案内することで、快適な運転を演出してもよい。

また、情報提示装置３は、運転手の感情を同乗者に提示することで、運転者が眠気を感じていたら同乗者が会話を盛り上げる努力をすることができる。運転手が「眠いから休憩したい」と言い出しにくいことから有用である。

また、情報提示装置３は、運転者のカメラ画像から、運転者がルームミラー越しに車両内をみていないタイミングでのみ、推定された感情を提示するようにしてもよい。運転者が、自身の心が見られている感覚を有することを回避することができる。

また、情報提示装置３は、運転者の感情を、感情以外の言葉で表現して、表示してもよい。例えば、運転中であれば、眠い顔やイライラしている時に、事故発生確率等で表現して運転者に示してもよい。また、運転者の感情をモニタし、その感情から事故率が高いと思われる場合は、休憩を促したり、遠隔操作で車両を停めたりしてもよい。

（実施の形態２の変形例３）
本変形例において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。本変形例における情報提示装置４は、運転者であるユーザＵ１の感情としての眠気レベルに基づいて、ユーザＵ１による運転の危険度を提示するものである。

図１１は、本変形例における情報提示装置４の機能ブロックを示す構成図である。

図１１に示されるように、情報提示装置４は、センサ１０と、感情推定部１２と、危険度判定部１４Ｂと、提示制御部１６と、提示部１７とを備える。なお、上記実施の形態又は変形例における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

危険度判定部１４Ｂは、感情推定部１２が推定したユーザＵ１の感情としての眠気の度合いに基づいて、ユーザＵ１による運転の危険度を判定する処理部である。危険度判定部１４Ｂは、ユーザＵ１の推定された眠気の度合いが大きいほど、危険度がより高いと判定する。なお、危険度判定部１４Ｂは、感情推定部１２が推定した感情の他にも、車両センサ５０（例えば、車速センサ５１、路面摩擦センサ５２、車間距離センサ５３、又は、ブレーキセンサ５４及びカメラ５５に基づいて反応時間を算定する反応時間センサ５６）が提供する各種データを取得し、取得した各種データに基づいて、危険度を判定してもよい。

また、危険度判定部１４Ｂは、さらに、衝突時間及び反応時間を算定してもよい。ここで、衝突時間とは、前方に危険事象が発生してから、自車が衝突するまでの推定時間である。衝突時間は、車間距離、相対速度及び相対加速度等から計算してもよい。相対速度又は相対加速度の算出には、前方車両が危険状態に陥った時の速度や加速度が必要になるが、それらは、走行時の前方車両の速度、加速度又は路面摩擦係数等から推定して求めても構わない。また、反応時間とは、前方に危険事象が発生してから運転者がブレーキを踏むまでの時間である。反応時間は、例えば、前方車両のドライバーがブレーキを踏みテールランプが点灯してから、自車のドライバーがブレーキを踏むまでの時間等に基づいて求めることができる。

危険度判定部１４Ｂは、推定した眠気の度合いを示す情報、危険度を示す情報を提示制御部１６に提供する。

提示制御部１６は、危険度判定部１４Ｂが判定した危険度などの情報を提示部１７に提示するよう制御する。

例えば、情報提示装置４は、運転者に運転の危険度を、眠気等の感情の要素以外を交えて知らせてもよい。具体的には、車速、路面摩擦係数、車間距離から、前方車両が急停車した場合の衝突時間を求めて表示してもよい。また、眠気の定量化には、カメラで前方を撮影し、前方車両がブレーキを踏んでから、運転者がブレーキを踏むまでの時間から反応時間を求めてもよい。眠くなると反応時間が大きくなる、という周知の関係を利用したものである。さらにそれらの全部もしくは一部を元に、運転の危険度を定量化して表示して運転者に知らせてもよい。

（実施の形態３）
本変形例において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。本変形例における情報提示装置５は、トイレ室内でトイレを使用しているユーザＵ１の感情を、トイレ室外でトイレを使用するために待機しているユーザＵ２に提示するものである。

図１２は、本実施の形態における情報提示装置５の機能ブロックを示すブロック図である。

図１２に示されるように、情報提示装置５は、センサ１０と、感情推定部１２と、判定部１４と、提示制御部１６と、提示部１７とを備える。情報提示装置５の構成要素のうち、少なくともセンサ１０がトイレ室内にあり、少なくとも提示部１７がトイレ室外にある。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

感情推定部１２は、トイレ室内でトイレを使用して用を足しているユーザＵ１の感情を、センサ１０が取得した物理量に基づいて推定する。

判定部１４は、感情推定部１２が推定した感情に基づいて、ユーザＵ１によるトイレの使用が間もなく終わるか、又は、そうでないかを判定する。

提示制御部１６は、判定部１４による判定結果を提示部１７によりユーザＵ２に提示する。具体的には、提示制御部１６は、判定部１４による判定結果に基づいて、トイレの使用が間もなく終わることを示すメッセージ（例えば図１２の（ａ））を提示し、そうでない場合にはトイレの使用がまだ継続することを示すメッセージ（例えば図１２の（ｂ））を提示する。ユーザＵ２は、提示される情報により、トイレを間もなく使用できそうか、又は、そうでないかを知ることができ、いつまで待たされるのかという不安又はイライラの感情が軽減される。

なお、判定部１４は、感情推定部１２が推定したユーザＵ１の感情が、「気楽（リラックス）」になったら、自動的に便座装置６０（シャワー６１又は便座洗浄６２）を動作させてもよい。これによりトイレを使用した人の利便性が向上し、便座洗浄６２の動作忘れを防止し、また、ユーザＵ１の退室を促すことができる。また、判定部１４は、ユーザＵ１の感情が、「気楽」になったら、提示部１７において、ドア開放までのカウントダウンを開始してもよい。これにより、トイレ室外で待機しているユーザＵ２の不安又はイライラの感情が軽減される。

（実施の形態３の変形例）
本変形例において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。本変形例における情報提示装置６は、トイレ室外でトイレを使用するために待機しているユーザＵ１の感情を、トイレ室内でトイレを使用しているユーザＵ２に提示するものである。つまり、実施の形態３のユーザＵ１とユーザＵ２との立場が入れ替わったものである。

図１３は、本変形例における情報提示装置の機能ブロックを示すブロック図である。

図１３に示されるように、情報提示装置６は、センサ１０と、感情推定部１２と、判定部１４と、提示制御部１６と、提示部１７とを備える。情報提示装置６の構成要素のうち、少なくともセンサ１０がトイレ室外にあり、少なくとも提示部１７がトイレ室内にある。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

感情推定部１２は、トイレ室外でトイレを使用するために待機しているユーザＵ１の感情を、センサ１０が取得した物理量に基づいて推定する。

判定部１４は、感情推定部１２が推定した感情が、ユーザＵ１に提示するものとして定められた感情であるか否かを判定する。なお、判定部１４は、感情推定部１２が推定した感情の強度が、所定の強度を超えているかを判定してもよい。

提示制御部１６は、判定部１４による判定結果に基づいて、提示部１７による提示を制御する。具体的には、提示制御部１６は、推定した感情が、ユーザＵ２に提示するものとして定められた感情であると判定部１４が判定した場合、及び、推定した感情の強度が所定の強度を超えていると判定部１４が判定した場合に、その感情を提示する。

ユーザＵ１の感情を提示されたユーザＵ２は、例えばトイレを使用し終わってリラックスしている場合には、速やかに退室する行動をとることができる。また、ユーザＵ２が比較的強い感情（例えば、我慢の限界に近いことにより、怒り又はイライラの強い感情）を有している場合には、ユーザＵ２は、より一層急いで退室することもできる。なお、情報提示装置６に、実施の形態３の情報提示装置５の機能を加えれば、トイレ室内とトイレ室外とで双方向に感情の提示をすることができ、トイレ室内とトイレ室外とのそれぞれのユーザに利点がある。

（実施の形態４）
本実施の形態において、推定した感情を、より適切に提示する情報提示装置の別形態について、より具体的に説明する。本実施の形態における情報提示装置７は、例えば学校の教室において、複数の生徒それぞれの感情を教師に提示するものである。なお、情報提示装置７は、上記に限らず、塾、セミナー又は会議などにおいて、複数の出席者それぞれの感情を講師又はファシリテータに提示する用途にも適用可能である。

図１４は、本実施の形態における情報提示装置の第一例（情報提示装置７）の機能ブロックを示すブロック図である。

図１４に示されるように、情報提示装置７は、複数のセンサ１０Ａ、１０Ｂ及び１０Ｃ（以降、「センサ１０Ａ等」ともいう）と、複数の感情推定部１２Ａ、１２Ｂ及び１２Ｃ（以降、「感情推定部１２Ａ等」ともいう）と、判定部１４と、提示制御部１６と、提示部１７とを備える。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

センサ１０Ａ等それぞれは、生徒であるユーザＵＡそれぞれの感情を推定するために感情推定部１２Ａ等が用いるセンサの一例であり、具体例はカメラである。

感情推定部１２Ａ等それぞれは、センサ１０Ａが取得した物理量に基づいて、生徒であるユーザＵＡ等それぞれが抱いている感情を推定する。

判定部１４は、感情推定部１２Ａ等が推定した感情を集計することで情報を生成し、生成した情報を提示部１７により提示するか否かを判定する。

例えば、感情推定部１２Ａ等は、授業の内容を生徒が理解できないという感情を推定し、提示部１７を通じて教師に提示する。このようにすると、授業の内容を理解することができていない生徒が手を挙げる等の行動を行わなくても、教師がそのことを知ることができる利点がある。教師は、複数の生徒について、授業の内容を理解することができているか否か、及び、その人数等の統計情報を知ることもできる利点がある。その結果、一定数以上の生後が授業の内容を理解できていない場合には、教師は、再度授業を行う、補習を行うなどの対処を行うことができる。このとき、生徒は、自身が授業を理解できなかったことを教師に明確に伝えることなく、再度授業を受けられるので、精神的負担が軽減され得る。特に、教師に明確に伝えることが難しい生徒にとって、大きな効果を奏する。また、授業の内容を理解できていない生徒数を、生徒全員に提示するようにしてもよい。授業の内容を理解できていない生徒が複数人いれば、生徒は、授業を理解できなかったことを、自信をもって教師に伝えることができることもあるからである。

なお、情報提示装置７は、授業を理解できなかった感情の代わりに、授業が面白くないという感情を推定してもよい。その場合、教師は、授業の改善をするなどの対処を行うことができる。

図１５は、本実施の形態における情報提示装置の第二例（情報提示装置８）の機能ブロックを示すブロック図である。情報提示装置８は、店舗等における顧客と店員との適切なやりとりを支援するものである。

図１５に示されるように、情報提示装置８は、センサ１０と、感情推定部１２と、判定部１４と、提示制御部１６と、提示部１７とを備える。

例えば、感情推定部１２は、店舗の試着室内における顧客の感情を推定する。判定部１４は、感情推定部１２が推定した感情を試着室外又は店員に提示すべきか否かを判定し、その判定結果に基づいて、推定された感情を提示制御部１６が提示部１７により提示する。これにより、顧客が本当に気に入って商品を購入したのか、あまり気に入らなかったが購入したのかという情報を店員が知ることができ、店員の接客能力の判定をすることができる。

例えば、飛行機内では、感情推定部１２が乗客の感情を推定して、提示部１７により提示することで、乗務員は、乗客の感情、及び、その感情から推測される体調を知ることができる。これにより、乗務員は、体調の比較的悪い人に対してより優先的にサービスを提供することができる。体調が悪いことを言い出しにくい人にとっては、明示的に体調が悪いことを伝えなくても乗務員に知ってもらえる利点がある。

例えば、居酒屋又はレストランでは、感情推定部１２が、客の酒酔いの度合いを推定して、提示部１７により提示することで、店員は、それ以上の酒（アルコール類）の提供をすべきか、又は、すべきでないかという判断をすることができる。例えば、客の体内のアルコール量が適切であるときにもっともリラックスの度合いが高まると仮定される。これを利用して、提示部１７がリラックスの度合いの推移を提示し、提示されたその推移を店員が確認することで上記判断を行うことができる。なお、酒の提供をすべきでない場合、アルコールの濃度を下げた酒（例えば薄くした水割り）を提供する、又は、悪酔いしにくい料理を勧めるなどしてもよい。

例えば、オフィスでは、感情推定部１２は、テキスト送受信、音声通話又はプレゼンスの通知などを行うコミュニケーションツールにおいて、社員の感情を推定し提示部１７に提示してもよい。これにより、社員は、他の社員への問い合わせを行うタイミングを見計らうことができる。また、自身の感情を自身には提示しないようにしておくことで、無理に感情を良くしたり、悪くしたりできないようにして、感情の推定の精度を向上させることができる。また、社員の推定される感情にあわせて、会議等の日程調整の優先度を変えてもよい。例えば、イライラしている社員の予定に、そうでない社員の予定を合わせるように日程調整してもよい。イライラの度合いに応じて日付の調整の優先度を決定してもよい。イライラしている社員は、多忙であることが多いので、多忙な社員の日程を優先することで、オフィス又は会社全体としての労働生産性を上げることにつながる。また、イライラしている社員の残業時間制限をかけて、メンタルヘルスに役立ててもよい。また、情報提示装置８が、ストレスが少ない社員に業務を優先的に振り分けることを上司に自動的に提案することで、労働生産性を上げることも可能である。また、感情推定部１２は、工場など危険な作業を行う作業員の「焦り」の感情を推定してもよい。「焦り」の感情があるときは事故が起こりやすいので、責任者などに警告をだして事故を未然に防ぐことができる。特に、飛行機整備場など、ヒューマンエラーが重大な事故につながる職場での効果が大きいと考えられる。

例えば、ゲームを行う場面では、感情推定部１２がプレイヤのイライラの度合いを推定する。また、プレイヤの感情に合わせてゲームのストーリを変えてもよい。具体的には、プレイヤがイライラしているときにはゲームに手こずっていると判断して、ゲームの難易度を下げることができる。また、プレイヤが退屈な感情を抱いている時には、ゲームの難易度を上げることができる。また、プレイヤの性的興奮度が高まっている時には、性的なシナリオを多めに挿入することもできる。また、プレイヤが抱いている感情に合わせてゲームのキャラクタの身体能力が変化するようにすることもできる。これらによって、適度な達成感をユーザに味わわせることができる。

例えば、情報提示装置８は、施設への来客の感情を推定し、推定した感情にあわせて施設における表示の色又はチケットの色が変わるようにしてもよい。

例えば、情報提示装置８は、集団の感情にあわせて警備方式を変えてもよい。怒っている人、興奮している人が多いところには警備を増やすようにすることもできる。

例えば、情報提示装置８は、店内の客の推定された感情を、感情マップとして見える化することもできる。具体的には、情報提示装置８は、眠そうな客が増えたら、照明の輝度を高くするとともに、冷房を強めることができる。また、電車内で性的興奮度が高まっている人を検知して監視することができ、現行犯逮捕につなげることができる。さらに、警察などを見たときの驚きの感情を推定することで、その人が犯罪を犯した、又は、犯そうとしていることを検知することもできる。また、介護施設又はオフィスにおいて、ストレス状態が高い人を監視することができる。

例えば、情報提示装置８は、うつ病対策に利用され得る。感情の状態が良かったときの思い出をログにしておいて、ネガティブな感情に陥った時に、感情の状態が良かったときの思い出を提示してポジティブな感情状態に誘導することができる。また、電話の相手の感情に合わせて、電話の相手に気持ちを伝えることができる。感情を色としてディスプレイに表示するようにしてもよい。怒りの感情を抱いていたら振動して知らせたり、感情に応じて語尾を変化させたりしてもよい。

図１６は、本実施の形態における情報提示装置の第三例（情報提示装置９）の機能ブロックを示すブロック図である。

図１６に示されるように、情報提示装置９は、複数のセンサ１０Ａ、１０Ｂ及び１０Ｃ（以降、「センサ１０Ａ等」ともいう）と、複数の感情推定部１２Ａ、１２Ｂ及び１２Ｃ（以降、「感情推定部１２Ａ等」ともいう）と、判定部１４と、提示制御部１６と、提示部１７と、施設制御装置７０とを備える。情報提示装置９の構成要素のうち、少なくともセンサ１０Ａ等が施設内にあり、少なくとも提示部１７が施設外にある。なお、実施の形態１における構成要素と同じ構成要素には、同じ符号を付し、詳細な説明を省略することがある。

例えば、イベント施設等では、感情推定部１２Ａ等それぞれは、客であるユーザＵ１の感情を推定する。ユーザＵ１が退屈な感情のようなネガティブな感情を抱いているか否かを推定して、提示部１７により施設の運営者又は管理者等に提示する。施設の運営者等は、ネガティブな感情を抱く客が多い場所は、よりポジティブな感情を抱くように改善する検討を行うことができる。具体的には、楽しい店を配置する、キャラクタを設置する、イベントを設置するなどの検討を行うことができる。また、客の感情がポジティブになった商品をよく見える位置に設置することで、購入を加速するようにしてもよい。また、売り文句として、例えば「悲しい気持ちの人に人気です」というように、購入時の客の感情を利用することもできる。

また、映画館やアミューズメント施設で、情報提示装置９により複数の観客の感情を推定し、推定された感情に基づいて映画のストーリを変化させる、又は、照明や効果音を変更することもできる。

また、映画館やアミューズメント施設で、情報提示装置９は、複数の観客の推定される感情を入口に表示してもよい。例えば、何人が感動した、又は、何人が涙した、という情報を施設の外に表示することで、外の顧客への宣伝効果を高めることができる。

図１７は、本実施の形態における情報提示装置の第四例（情報提示装置Ａ）の機能ブロックを示すブロック図である。

図１７に示されるように、情報提示装置Ａは、センサ１０と、感情推定部１２と、判定部１４と、提示制御部１６とを備える。情報提示装置Ａは、ロボット８０の一部機能として実現されており、提示制御部１６は、ロボット制御装置８２の提示部１７Ａによる提示を制御する。

例えば、感情推定部１２は、ユーザＵ１がトイレに行きたい感情を有しているか否かを推定する。判定部１４は、感情推定部１２が推定した感情に基づいて、ユーザＵ１にトイレの場所を示す案内情報を提供すべきか否かを判定し、その結果に基づいて、推定された感情を提示制御部１６が提示部１７Ａにより提示する。ここで、人がトイレに行きたいかどうかは、センサ１０により取得される、首の筋肉の痙攣や発汗、又は、肩の上がり具合に基づいて判断可能である。これにより、トイレに行きたい人は、周りの人に気付かれずにトイレに行くことができる。なお、案内情報とは、「トイレはこちら」というようなトイレの位置を示す情報、トイレの位置を示す矢印などである。

なお、トイレに行きたいかどうかの判断は、上記以外でもよく、例えば血圧から推定してもよく、発汗量でもよく、その手法は限定しない。トイレに行きたくなると血圧が上昇する、及び、トイレに行きたくなると発汗量があがる、という人間の特徴を利用したものである。

また、感情推定部１２は、ユーザＵ１の性的興奮度が高まっているか否かを判定する。これにより、提示部１７により、風俗店などの場所を示す情報を提供する、又は、パートナーに携帯電話等で伝えるなどの提示を行うことができる。また、お年寄りの性的興奮度が高まっている場合には、トイレに入ると自動で、性的な映像を提示することも可能である。

また、感情推定部１２は、スポーツ観戦が終わって会場から出てきた複数の観客の感情を推定することで、どのチームの応援をしていたのかを判断することができる。そして、どのチームを応援していたかに応じて、その観客に投げかける言葉を変化させることもできる。例えば、喜びの感情が多い場合には、その喜びをより大きくするような言葉を投げかけ、悔しさの感情が多い場合には、ともに愚痴ることで、悔しさを和らげることができる。

図１８は、実施の形態４における情報提示装置の第五例（情報提示装置Ｂ）の機能ブロックを示すブロック図である。

図１８に示されるように、情報提示装置Ｂは、センサ１０と、感情推定部１２と、判定部１４と、提示制御部１６と、提示部１７と、マイク９０と、音声認識部９２とを備える。情報提示装置Ｂは、取調官が容疑者であるユーザＵ１から情報を聞き出す際に有用な、容疑者の「焦り」の度合いを推定して提示するものである。

マイク９０は、取調官及び容疑者の対話の音声を収音して電気信号を生成するマイク装置である。

音声認識部９２は、マイク９０が生成した電気信号を取得し、取調官及び容疑者の対話の音声をテキスト化する処理部である。音声のテキスト化は、周知技術により実現され得る。

判定部１４は、感情推定部１２が推定したユーザＵ１の感情を提示部１７により提示するか否かを、音声認識部９２による音声認識結果も合わせて判断する。

例えば、感情推定部１２は、取り調べを受けている容疑者であるユーザＵ１の「焦り」の感情を推定し、容疑者に分からないように室外で警察側の人に提示する。また、マイク９０により、室内の対話を同時にモニタしてもよい。情報提示装置Ｂは、「焦り」の感情と対話とを紐付けることで、容疑者が何に対して焦りの感情等を抱いているかを提示することができる。また、容疑者が黙秘していても、感情から何に対して焦りを感じているかが分かり、調査方針の参考にすることができる。質疑内容はスピーカ等で音声出力するだけでもよいが、文字情報として記載すると、対話の進行が、より分かりやすくなる利点がある。また、情報提示装置Ｂは、推定した感情や対話内容を、容疑者にわからないように、提示部１７により取調官に直接提示してもよい。

例えば、入国審査の場面において、審査中の人の感情を感情推定部１２が推定し、審査官に提示する。審査中の人が「焦り」又は「恐れ」の感情を抱いていると、審査官が質問して追及し、その時の感情を踏まえて対応を判断することができる。情報提示装置Ｂは、その感情を審査中の人からは見えないモニタ等により提示してもよい。情報提示装置Ｂは、「緊張」、「焦り」又は「恐れ」の感情を抱いている人に対しては、審査官による質問を続ける様に指示し、感情の変動をモニタすることで、さらに深くスクリーニングしてもよい。また、「緊張」等の感情が推定されない人、又は、楽しい感情を抱いている人は、入国審査を簡易的にすることで、審査時間を短縮することもできる。また、情報提示装置Ｂは、指紋を写しながら、同時に脈波や皮膚温を検出することで、緊張や体調不良を見分けてもよい。情報提示装置Ｂは、出国時のゲートでブザーがなった時の感情の変化の度合いから、犯罪を犯した、又は、犯罪を犯そうとしている可能性を検知することもできる。

例えば、裁判所において、情報提示装置Ｂは、証言人、被告人及び原告人が、証言において発している言葉や、それぞれの焦り等の感情から、ウソの証言がないかどうかを検証することもできる。弁護士は、その感情を元に質問することができる。情報提示装置Ｂは、「反省している」という時の感情や、泣いている時の感情から、情状酌量の余地を推定することもできる。

なお、上記各実施の形態において、感情をセンシングするためにＬＦ／ＨＦ等に基づき推定する例を示したが、センシング手段はこれに限定するものではなく、心拍数、心拍波形、脈波、脈波波形、瞼開度、瞳孔径、血流量、酸素飽和度、顔色、視線、発汗量、呼吸数、呼吸量、皮膚温、体温等の生体情報から得て判断する手法もあり、その方法は限定しない。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態の情報提示装置などを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、複数のユーザにより視認される提示部に情報を提示する情報提示装置の制御方法であって、センサにより取得した物理量に基づいて、前記複数のユーザのうちの第一ユーザの感情を推定し、取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行し、推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する制御方法を実行させる。

以上、一つまたは複数の態様に係る情報提示装置などについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本発明は、推定した感情を、より適切に提示する情報提示装置に利用可能である。具体的には、車両のナビゲーション装置などに利用可能である。

１、２、２Ａ、３、４、５、６、７、８、９、Ａ、Ｂ 情報提示装置
１０、１０Ａ、１０Ｂ、１０Ｃ センサ
１１、５５ カメラ
１２、１２Ａ、１２Ｂ、１２Ｃ 感情推定部
１４、１４Ａ 判定部
１４Ｂ 危険度判定部
１５ 視線解析部
１６、１６Ａ 提示制御部
１７、１７Ａ 提示部
１８ 制御部
４０ 車両
４１ シフト
４２ 車内照明
４３ エンジン回転数
４４ ブレーキ
４５ ステアリング
４６ ナビゲーション装置
４７ 交通信号機
５０ 車両センサ
５１ 車速センサ
５２ 路面摩擦センサ
５３ 車間距離センサ
５４ ブレーキセンサ
５６ 反応時間センサ
６０ 便座装置
６１ シャワー
６２ 便座洗浄
７０ 施設制御装置
８０ ロボット
８２ ロボット制御装置
９０ マイク
９２ 音声認識部
Ｕ１、Ｕ２、ＵＡ、ＵＢ、ＵＣ ユーザ

Claims (13)

1. 複数のユーザにより視認される提示部に情報を提示する情報提示装置の制御方法であって、
   センサにより取得した物理量に基づいて、前記複数のユーザのうちの第一ユーザの感情を推定し、
   取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行し、
   推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する
   制御方法。
2. 前記判定処理では、
   前記提示部を前記第一ユーザが見ているか否かを判定し、
   前記提示の制御では、
   （ａ）前記提示部を前記第一ユーザが見ていると判定した場合には、前記提示を禁止し、
   （ｂ）前記提示部を前記第一ユーザが見ていないと判定した場合には、前記提示を許可する
   請求項１に記載の制御方法。
3. 前記判定処理では、
   前記提示の頻度として、取得した前記物理量、又は、推定した前記感情に応じた頻度を決定し、
   前記提示の制御では、
   前記判定処理で決定した前記頻度で前記提示を行うよう制御する
   請求項１又は２に記載の制御方法。
4. 前記判定処理では、
   推定した前記感情の強度が高いほど、前記提示の頻度をより高い頻度に決定する
   請求項３に記載の制御方法。
5. 前記判定処理では、
   推定した前記感情が、前記提示部による提示を禁止するものとして予め定められた感情であるか否かを判定し、
   前記提示の制御では、前記予め定められた感情の前記提示を禁止する
   請求項３に記載の制御方法。
6. 前記判定処理では、
   推定した前記感情を前記ユーザに事前提示し、前記事前提示した前記感情を前記提示部により提示するか否かについての前記ユーザによる指示を受け、
   前記提示の制御では、
   前記事前提示に対する前記ユーザによる指示に従って、前記提示部による提示を制御する
   請求項３に記載の制御方法。
7. 前記判定処理では、
   前記センサとしてのカメラが取得した画像に含まれるユーザの人数を判定し、前記複数のユーザが３人以上であるか否かを判定し、
   前記提示の制御では、
   前記複数のユーザが３人以上であると判定された場合には、前記提示を許可する
   請求項１〜６のいずれか１項に記載の制御方法。
8. 前記感情の推定では、
   前記センサとしてのカメラが取得した前記第一ユーザの顔を含む画像に基づいて、覚醒、驚き、喜び、快適、気楽、眠気、退屈、悲しみ、深い、イライラ、怒り、恐れ、又は、平静の感情を、前記第一ユーザの感情として推定する
   請求項１〜７のいずれか１項に記載の制御方法。
9. 前記第一ユーザは、一の車両の運転者であり、
   前記複数のユーザのうち前記第一ユーザを除くユーザは、前記一の車両に乗車していない人であり、
   前記感情を推定する際には、前記運転者のイライラ又は怒りの感情を推定する
   請求項１〜８のいずれか１項に記載の制御方法。
10. 前記第一ユーザは、トイレ室内でトイレを使用している使用者であり、
    前記複数のユーザのうち前記第一ユーザを除くユーザは、前記トイレ室外で前記トイレを使用するために待機している待機者であり、
    前記感情を推定する際には、前記使用者の不快又は気楽の感情を推定する
    請求項１〜７のいずれか１項に記載の制御方法。
11. 前記第一ユーザは、トイレ室外でトイレを使用するために待機している待機者であり、
    前記複数のユーザのうち前記第一ユーザを除くユーザは、トイレ室内でトイレを使用している使用者であり、
    前記感情を推定する際には、前記待機者の不快又はイライラの感情を推定する
    請求項１〜７のいずれか１項に記載の制御方法。
12. 複数のユーザにより視認される提示部に情報を提示する情報提示装置であって、
    センサにより取得した物理量に基づいて、複数のユーザのうちの第一ユーザの感情を推定する感情推定部と、
    取得した前記物理量、又は、推定した前記感情を用いて、推定した前記感情の提示を行うか否かについての判定処理を実行する判定部と、
    推定した前記感情の前記提示部による提示を、前記判定処理の結果に従って制御する提示制御部とを備える
    情報提示装置。
13. 請求項１〜１１のいずれか１項に記載された制御方法をコンピュータにより実行させるためのプログラム。

Images