JP2020160598A - 情報処理装置、制御システム、情報処理装置の制御方法 - Google Patents

Abstract

【課題】所定空間に滞在している複数人のうち少なくとも一名の感情をポジティブ側に変化させ、所定空間内における会話を活性化する。【解決手段】情報処理装置（１）は、所定空間に滞在している人数を判定する人数判定部（１２）と、複数人それぞれの表情を特定する表情特定部（１５）と、表情から複数人それぞれの感情を推定する感情推定部（１６）と、複数人それぞれの感情の組合せに応じて出力装置（４）を制御し、複数人のうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行させる出力制御部（１９）と、を備える。【選択図】図１

Description

本発明は、感情に作用する情報処理装置等に関する。

従来、車両の乗員全員に対し、サービスを提供する技術が知られている。例えば、特許文献１に記載のサービス提供装置は、乗員全体の感情である全体感情を推定し、推定された全体感情に基づいて、乗員に提供するサービスを決定する。

特開２０１８−６３４８６号公報（２０１８年４月１９日公開）

特許文献１に記載のサービス提供装置は、車内が盛り上がった雰囲気のときには、その盛り上がりを継続するような話題を音声によって提供し、車内が静かな雰囲気の時には、その静けさに見合った音楽を提供する。

すなわち、特許文献１に記載のサービス提供装置は、車内の雰囲気に適したサービスを提供するものであって、乗員間の会話を活性化するものではない。

本発明の一態様は、所定空間に滞在している複数人のうち少なくとも一名の感情をポジティブ側に変化させ、所定空間内における会話を活性化することを目的とする。

上記の課題を解決するために、本発明の態様１に係る情報処理装置は、所定空間に配置されたカメラの撮像画像に基づいて、該所定空間に滞在している人数を判定する人数判定部と、前記人数判定部により前記所定空間に複数人が滞在していると判定された場合、前記撮像画像に基づいて、前記複数人それぞれの表情を特定する表情特定部と、前記表情から前記複数人それぞれの感情を推定する感情推定部と、前記複数人それぞれの感情の組合せに応じて出力装置を制御する出力制御部と、を備え、前記出力制御部は、前記出力装置に、前記複数人のうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行させる。

上記の構成によれば、所定空間に滞在している複数人それぞれの感情の組合せに応じて、そのうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行する。これにより、所定空間に滞在している複数人の会話などのコミュニケーションを効果的に活性化するように出力装置を制御することができる。

本発明の態様２に係る情報処理装置は、上記態様１において、前記感情推定部は、前記複数人それぞれが抱いている感情が、ポジティブ、ネガティブ、および中立のいずれであるかを特定する構成であってもよい。

所定空間に滞在している複数人の会話などのコミュニケーションを活性化するためには、感情がネガティブおよび中立である人の感情をポジティブ側に変化させる必要がある。上記の構成によれば、所定空間に滞在している複数人のうち、感情を現在よりポジティブ側に変化させるべき人を特定することができる。

本発明の態様３に係る情報処理装置は、上記態様１または２において、前記カメラの撮像画像、および前記所定空間に配置されたマイクの取得音声の少なくともいずれかから、前記複数人の間の、会話の弾み度合いを示す指標値を算出する、指標値算出部を備え、前記出力制御部は、前記複数人それぞれの感情の組合せおよび前記指標値に応じて、前記出力装置を制御してもよい。

複数人の間の会話の弾み度合いは、表情および発している声の音圧などによって判定できる。上記の構成によれば、複数人の間の会話の弾み度合いを示す指標値を適切に算出し、複数人それぞれの感情の組合せおよび指標値に応じて少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行する。これにより、所定空間に滞在している複数人の会話の弾み度合いに応じて、該会話を活性化するために有効な態様で出力するよう出力装置を制御することができる。

本発明の態様４に係る情報処理装置は、上記態様１から３のいずれかにおいて、前記所定空間に配置されたマイクの取得音声から、前記複数人の少なくとも二名が会話中か否かを判定する会話処理部を備え、前記感情推定部は、前記会話処理部により前記複数人の少なくとも二名が会話中と判定された場合に、前記複数人それぞれの感情を推定する構成であってもよい。

上記の構成によれば、会話中の複数人それぞれの感情を推定する。これにより、会話をしている状態において、感情を現在よりポジティブ側に変化させるべき人を特定することができる。

本発明の態様５に係る情報処理装置は、上記態様１から４のいずれかにおいて、前記表情特定部が特定した表情から、前記複数人それぞれが開眼しているか否かを判定する開眼判定部を備え、前記出力制御部は、前記開眼判定部により前記複数人のいずれかが開眼していないと判定された場合、前記出力装置からの前記出力を停止する構成であってもよい。

上記の構成によれば、複数人のうちのいずれかが開眼していない場合、出力装置からの出力を停止する。ここで、開眼とは、瞼が所定時間（例えば、１０秒）継続して閉じていない状態を意図している。すなわち、複数人のうちのいずれかが眠っている場合には、眠っている人の眠りを邪魔しないように、出力装置から、感情を現在よりポジティブ側に変化させるための出力を停止することができる。

本発明の態様６に係る情報処理装置は、上記態様１から５のいずれかにおいて、前記所定空間は移動体の内部空間であって、前記内部空間の滞在者は前記移動体の乗員であり、前記出力装置は、前記移動体に搭載された出力装置であってもよい。

上記の構成によれば、移動体の内部空間に滞在している複数人それぞれの感情の組合せに応じて、そのうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行する。これにより、移動体の内部空間に滞在している複数人の会話などのコミュニケーションを効果的に活性化し、移動体の内部空間の雰囲気をより良くすることができる。

上記の課題を解決するために、本発明の一態様に係る制御システムは、前記態様１から６のいずれかに記載の情報処理装置と、前記カメラと、前記出力装置と、を含む。上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果を奏する。

上記の課題を解決するために、本発明の一態様に係る情報処理装置の制御方法は、所定空間に配置されたカメラの撮像画像に基づいて、該所定空間に滞在している人数を判定する人数判定ステップと、前記人数判定ステップにおいて、前記所定空間に複数人が滞在していると判定された場合、前記撮像画像に基づいて、前記複数人それぞれの表情を特定する表情特定ステップと、前記表情から前記複数人それぞれの感情を推定する感情推定ステップと、前記複数人それぞれの感情の組合せに応じて出力装置を制御する出力制御ステップと、を含み、前記出力制御ステップでは、前記出力装置に、前記複数人のうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行させる。上記の構成によれば、本発明の一態様に係る情報処理装置と同様の効果を奏する。

また、本発明の各態様に係る情報処理装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記情報処理装置が備える各部（ソフトウェア要素）として動作させることにより前記情報処理装置をコンピュータにて実現させる制御プログラムおよびそれを記録したコンピュータ読取り可能な記録媒体も、本発明の範疇に入る。

本発明の一態様によれば、所定空間に滞在している複数人のうち少なくとも一名の感情をポジティブ側に変化させ、所定空間内における会話を活性化することができる。

本発明の一実施形態に係る制御システムの構成例を示す図である。 車室を上方から見た模式図である。 センサ群および出力装置の配置例を示す模式図である。 情報処理装置が行う処理の流れの一例を示すフローチャートである。 乗員毎の指標値を算出する処理の流れの一例を示すフローチャートである。 乗員間の感情の組み合わせに応じた出力装置および該出力装置に実行させる処理を決定する処理の流れの一例を示すフローチャートである。 出力態様テーブルの一例を示す図である。 笑い増幅処理の流れの一例を示すフローチャートである。 手振り反応処理の流れの一例を示すフローチャートである。 キーワード反応処理の流れの一例を示すフローチャートである。 頷き反応処理の流れの一例を示すフローチャートである。 振向き反応処理の流れの一例を示すフローチャートである。 乗員に対して笑顔誘導プログラムに基づく映像および音声を出力する処理の流れの一例を示すフローチャートである。 乗員に対して音楽コンテンツを出力する処理の流れの一例を示すフローチャートである。

〔実施形態１〕
以下、本発明の一実施形態について、詳細に説明する。

（制御システム１００の概要）
本発明の一態様に係る制御システム１００は、概すれば、所定空間に滞在している複数の人の各々の表情から、各人の感情を推定し、各人の感情の組合せに応じて、該複数の人のうち、少なくとも一名の感情を現在よりポジティブ側に変化させるための処理を出力装置４に実行させるシステムである。

ここで、「所定空間」は、複数の人が滞在可能であり、その中で会話することが可能な任意の空間であればよく、移動体内に限定されない。制御システム１００は、例えば、複数の人が利用する娯楽施設内の空間、会議室および待合室などの室内においても適用され得る。

本明細書では、「所定空間」として、移動体である車両２００の車室の内部空間Ｒを例に挙げ、「所定空間に滞在している人」として、車両２００の乗員を例に挙げて説明する。乗員は、車両２００の車室の内部空間Ｒに滞在している滞在者である。乗員には、車両２００の運転者が含まれていてもよい。図２は、車室を上方から見た模式図である。

図２において、車室の内部空間Ｒには乗員Ａ〜Ｃの３名が滞在している。乗員Ａは後方のシート４００ａに着座しており、乗員ＢおよびＣは前方のシート４００ｂ、および４００ｃに着座している。乗員Ｂは車両２００のハンドルＨを操作する運転者である。

図２に示すように、車室の内部空間Ｒに複数の乗員が滞在している場合、車室の内部空間Ｒの雰囲気は、乗員間の会話の有無および会話の弾み度合いによって影響される。制御システム１００は、乗員の少なくとも一名の感情がポジティブ側に変化するよう働きかけることによって、乗員間の会話が弾むように誘導し、車室の内部空間Ｒの雰囲気をより良くするシステムである。ここで、ポジティブな感情とは、喜び、および驚きなどの感情である。一方、ネガティブな感情とは、怒り、悲しみ、嫌悪、および恐れなどの感情である。

（制御システム１００の構成）
次に、制御システム１００の構成について、図３を参照しながら、図１を用いて説明する。図１は、制御システム１００の構成例を示す図である。図３は、センサ群３および出力装置４の配置例を示す模式図である。制御システム１００は、センサ群３、出力装置４、および情報処理装置１を備えている。

＜センサ群３＞
センサ群３は、各乗員の顔の表情、頷き、および手振りなどの動作を撮像するカメラ３１、および、各乗員が発する声などを取得するマイク３２などを含んでいる。カメラ３１は、デジタルカメラまたはデジタルビデオである。図３に示すように、カメラ３１は、例えば、各乗員の前方に配置されており、各乗員を撮像する。マイク３２は、カメラ３１と同様の位置に配置されている。カメラ３１によって撮像された撮像画像のデータ、およびマイク３２によって取得された取得音声のデータは、検知情報として情報処理装置１に送信される。なお、センサ群３は、乗員Ａ〜Ｃの少なくとも一名の状態および動作などを検知可能な任意の装置であればよく、これらに限定されない。

＜出力装置４＞
出力装置４は、情報処理装置１の制御部１０からの駆動指示に応じて、車室の内部空間Ｒに滞在する乗員Ａ〜Ｃの少なくとも一名に対して駆動する各種出力装置である。出力装置４は、例えば、表示装置４１、シートスピーカ４２、シート送風装置４３、シート駆動装置４４、シート振動装置４５、およびアームレスト駆動装置４６などを含んでいてもよい。なお、出力装置４は、駆動したときに乗員Ａ〜Ｃの少なくとも一名に対して何らかの刺激を与える任意の装置であればよく、これらに限定されない。

表示装置４１は、車室の内部空間Ｒに設けられた表示装置であり、図３に示すように、着座している乗員が表示画面４１ａを視認可能な位置に設置されている。なお、乗員毎に個別の表示装置４１が設けられていてもよい。この場合、表示装置４１は、例えば、映像を乗員毎に出力可能である。

シートスピーカ４２は、車室の内部空間Ｒに設けられたシート４００ａ〜４００ｃに配され、着座している各乗員の耳元に向けた音声および音楽コンテンツの出力を個別に制御可能なスピーカである。シートスピーカ４２は、図３に示すように、シート４００ａ〜４００ｃの背凭れに配されていてもよい。

シート送風装置４３は、車室の内部空間Ｒに設けられたシート４００ａ〜４００ｃに配され、着座している各乗員の両耳から首あたりに向けて送風することが可能な送風装置である。シート送風装置４３は、着座した乗員の右側および左側に１つずつ送風口を備えている。シート送風装置４３の送風口は、図３に示すように、シート４００ａ〜４００ｃの背凭れの、乗員の肩口付近に配されていてもよい。シート送風装置４３は、出力制御部１９によって各乗員に対して個別に駆動させることが可能である。また、シート送風装置４３は、出力制御部１９によって乗員の左右のいずれかの送風口から送風するかを制御することが可能である。なお、シート送風装置４３は、出力制御部１９によって、送風口からの空気に芳香を含ませるように制御され得る。

シート駆動装置４４は、車室の内部空間Ｒに設けられたシート４００ａ〜４００ｃに配され、着座している各乗員の身体を押したり叩いたりすることによる刺激を個別に制御可能な装置である。シート駆動装置４４が刺激を与える部位は、頭、肩、首、背中、腰、および足などであってもよい。乗員の頭および肩に刺激を与える場合、例えば、乗員のシート駆動装置４４は、図３に示すように、シート４００ａ〜４００ｃの背凭れの、乗員の後頭部から肩のあたりに埋め込まれていてもよい。

シート振動装置４５は、車室の内部空間Ｒに設けられたシート４００ａ〜４００ｃに配され、着座している各乗員の身体に振動刺激を個別に与えることが可能な装置である。シート振動装置４５が振動を与える部位は、頭、肩、首、背中、腰、および足などであってもよい。乗員の腰および太ももに振動刺激を与える場合、例えば、シート振動装置４５は、図３に示すように、シート４００ａ〜４００ｃの、乗員の腰から太もも付近に埋め込まれていてもよい。

アームレスト駆動装置４６は、図３に示すように、車室の内部空間Ｒに設けられたシート４００ａ〜４００ｃに配されたアームレストを備え、アームレストに戴置されている各乗員の腕に作用し、手振り動作などを個別に行わせることが可能な装置である。

＜情報処理装置１＞
情報処理装置１は、センサ群３および出力装置４と通信可能に接続されているコンピュータであり、制御部１０および記憶部２を備えている。制御部１０はＣＰＵであり、制御部１０は、情報処理装置１が備える各機能の処理を実行するように制御する。記憶部２は、制御部１０によって読み出される各種コンピュータプログラム、および、制御部１０が実行する各種処理において利用されるデータなどが格納されている記憶装置である。

制御部１０は、カメラ制御部１１、人数判定部１２、開眼判定部１３、会話処理部１４、表情特定部１５、感情推定部１６、指標値算出部１７、出力態様決定部１８、および出力制御部１９を備えている。

カメラ制御部１１は、乗員Ａ〜Ｃの顔、腕、および上半身が適切に撮像されるようにカメラ３１の向きを調節する。また、カメラ制御部１１は、カメラ３１に装着されているレンズを制御し、画角、絞り、および焦点などを調節する。

人数判定部１２は、カメラ３１によって撮像された撮像画像に基づいて、車室の内部空間Ｒの乗員の人数を判定する。

開眼判定部１３は、カメラ３１によって撮像された撮像画像に基づいて、各乗員が開眼しているか否かを判定する。ここで、開眼とは、瞼が所定時間（例えば、１０秒）継続して閉じていない状態を意図しており、まばたきをしている状態を含んでいる。すなわち、開眼判定部１３は、乗員が眠っているか否かを判定する。眠っている乗員が車室の内部空間Ｒに存在しているときには、乗員間のコミュニケーションを活性化することより、該乗員の眠りを妨げない方が優先され得る。開眼判定部１３は、眠っている乗員が存在する場合に情報処理装置１の機能を停止させるためのものであり、情報処理装置１の必須の構成ではない。

会話処理部１４は、マイク３２が取得する音声に基づいて、各乗員の少なくとも二名が会話をしているか否かを判定する。会話処理部１４は、記憶部２に格納されている話題素材データベース２２を参照して話題を提供するための音声を生成してもよい。話題素材データベース２２は、乗員に対して、マイク３２から音声として出力させる問いかけ文およびフレーズに盛り込む話題の候補を含んでいてもよい。話題素材データベース２２には、例えば、話題素材データベース２２には、最近のニュースに関連するキーワード、天候、および車両２００の現在位置及びその周辺に関する情報など、乗員の関心を惹く任意の話題が含まれていてもよい。あるいは、話題素材データベース２２には、乗員への声かけ文（例えば、「いい天気ですね。」など）、および質問文（例えば、「起きてますか？」、および「目的地はどこですか？」など）が含まれていてもよい。会話処理部１４は、生成した音声を聞かせた乗員からの返事をマイク３２が検知しない場合、話題提供を再度行う。なお、会話処理部１４は乗員が会話をしていることを検知できればよく、話題を提供するための音声を生成する機能は必須ではない。

表情特定部１５は、カメラ３１によって撮像された撮像画像から、各乗員の顔の画像を検出し、表情を特定する。

感情推定部１６は、表情特定部１５によって特定された表情に基づいて、記憶部２に記憶されている感情推定基準２１を参照して、各乗員の感情を推定する。

［表情から推定される感情］
感情推定基準２１は、感情を推定するために利用される顔の表情および表情の変化に関する基準である。ここで、表情解析によって推定可能な感情について説明する。顔の表情に表れる感情としては、喜び（Happiness）、悲しみ（Sadness）、怒り（Anger）、嫌悪（Disgust）、恐れ（Fear）、驚き（Surprise）、および軽蔑（Contempt）が知られている。すなわち、各乗員の下記のような表情を検知した場合、各乗員が抱いている感情を推定することが可能である。
・喜びの感情を抱いている乗員の顔では、頬が押し上げられ、両唇が上に上がる。
・悲しみの感情を抱いている乗員の顔では、眉毛の下隅がつり上がり、上瞼が垂れ下がり、わずかに唇の両端が引き下がる。
・怒りの感情を抱いている乗員の顔では、眉毛が左右同時に引き下がり、上瞼がつり上がる。口が閉じている場合、唇が緊張してきつく結ばれる。一方、口が開いている場合、唇が緊張して薄くなっている。
・嫌悪の感情を抱いている乗員の顔では、眉毛が引き下がり、目が細くなり、鼻孔から唇にかけてＵ字型の皺が見られる。
・恐れの感情を抱いている乗員の顔では、眉毛がつり上がり額に対して水平に波上の形状となり、上瞼が強く引き下がり、唇が水平方向に引き延びる。
・驚きの感情を抱いている乗員の顔では、眉毛が上がりアーチ状に丸い形になり、上瞼が上がり、口がリラックスして丸く開く。
・軽蔑の感情を抱いている乗員の顔は、唇の片側の端がつり上がる。

感情推定部１６は、喜び、および驚きと推定される感情に対しては「ポジティブ（Ｐ）」と特定し、悲しみ、怒り、嫌悪、および恐れと推定される感情に対しては「ネガティブ（Ｎ）」と特定し、軽蔑などと推定される感情に対しては「中立（Ｔ）」と特定する。

指標値算出部１７は、乗員毎に特定された感情を用いて、乗員間の会話の弾み度合いを示す指標値Ｗを乗員毎に算出する。指標値算出部１７が指標値を乗員毎に算出する処理の詳細は後に具体例を挙げて説明する。なお、情報処理装置１において、乗員間の会話の弾み度合いを示す指標値Ｗを算出することは必須の構成ではない。なぜなら、乗員間の会話の弾み度合いは、指標値Ｗの算出以外によっても評価され得るからである。例えば、会話中の乗員の声の音圧、および各乗員が声を発するタイミングが早いか遅いか（すなわち、会話のテンポ）などに基づいて、乗員間の会話の弾み度を評価し得る。

出力態様決定部１８は、記憶部２に格納されている出力態様テーブル２３を参照して、乗員間の感情の組み合わせに応じた出力装置４および該出力装置４に実行させる処理を決定する。

出力制御部１９は、出力装置を駆動させ、後述の笑い増幅処理、手振り反応処理、キーワード反応処理、頷き反応処理、振向き反応処理、笑顔誘導処理、音楽出力処理、および芳香出力処理の少なくともいずれかの処理を実行させる。

なお、情報処理装置１は、車両２００の車体の任意の位置に配置され得るが、これに限定されない。例えば、情報処理装置１が無線通信を介して、センサ群３からの検知情報を取得したり、出力装置４への駆動指示を送信したりする機能を備えていてもよい。この場合、情報処理装置１は車両２００の車体とは異なる場所に配置可能である。

また、情報処理装置１が、複数の車両２００のセンサ群３および出力装置４と通信可能であり、複数のセンサ群３からの検知情報を各センサ群の機器に固有の識別情報とともに取得したり、複数の出力装置４への駆動指示を各出力機器に固有の識別情報とともに送信したりする機能を備えていてもよい。ここで、機器に固有の識別情報とは、例えば、ＭＡＣ（Media Access Control）アドレスなどである。このように構成すれば、情報処理装置１は、複数の車両２００の車室の内部空間Ｒの各々において、乗員の少なくとも一名の感情がポジティブ側に変化するよう働きかけ、各車両２００の車室の内部空間Ｒにおいて乗員間の会話が弾むように誘導することができる。

（情報処理装置１の処理の流れ）
続いて、情報処理装置１の処理の流れについて図４を用いて説明する。図４は、情報処理装置１が行う処理の流れの一例を示すフローチャートである。

まずカメラ制御部１１は、乗員の撮像をカメラ３１が開始するよう制御する（ステップＳ１１）。

次に、人数判定部１２は、カメラ３１によって撮像された撮像画像に基づいて、車室の内部空間Ｒの乗員の人数を判定する（ステップＳ１２：人数判定ステップ）。人数判定部１２が、車室の内部空間Ｒの乗員が一人であると判定した場合（ステップＳ１２にてＮＯ）、情報処理装置１は動作を終了する。

一方、人数判定部１２が、車室の内部空間Ｒの乗員が複数人であると判定した場合（ステップＳ１２にてＹＥＳ）、表情特定部１５は、カメラ３１によって撮像された撮像画像から、各乗員の顔の画像を検出し、表情を特定する（ステップＳ１３）。

続いて、開眼判定部１３は、カメラ３１によって撮像された撮像画像に基づいて、各乗員が開眼しているか否かを判定する（ステップＳ１４）。開眼判定部１３が、車室の内部空間Ｒの乗員のいずれかが開眼していないと判定した場合（ステップＳ１４にてＮＯ）、情報処理装置１は動作を停止する。

一方、開眼判定部１３が、車室の内部空間Ｒの乗員がいずれも開眼していると判定した場合（ステップＳ１４にてＹＥＳ）、会話処理部１４は、乗員が会話をしているか否かを判定する（ステップＳ１５）。

乗員が会話をしていないと判定した場合（ステップＳ１５にてＮＯ）、会話処理部１４は、任意の話題を乗員に提供してもよい（ステップＳ１６）。この場合、会話処理部１４は、記憶部２に格納されている話題素材データベース２２を参照して話題を提供するための音声を生成する。出力制御部１９は、会話処理部１４によって生成された音声をシートスピーカ４２から出力させる。

会話処理部１４は、提供した話題に対する乗員からの返事を検知しない場合（ステップＳ１７にてＮＯ）、ステップＳ１６に戻り、話題提供を再度行う。ただし、会話処理部１４が、話題提供を既にＱ回行っている場合（ステップＳ１８にてＹＥＳ）、情報処理装置１は動作を終了する。

会話処理部１４が、乗員が会話をしていると判定した場合（ステップＳ１５にてＹＥＳ）、および、提供した話題に対する乗員からの返事を検知した場合（ステップＳ１７にてＹＥＳ）、指標値算出部１７は、乗員間の会話の弾み度合いを示す指標値を乗員毎に算出する（ステップＳ１９）。

次に、出力態様決定部１８は、記憶部２に格納されている出力態様テーブル２３を参照して、乗員間の感情の組み合わせに応じた出力装置４および該出力装置４に実行させる処理を決定する（ステップＳ２０）。出力態様決定部１８は、例えば、笑い増幅処理、手振り反応処理、キーワード反応処理、頷き反応処理、振向き反応処理、笑顔誘導処理、音楽出力処理、および芳香出力処理のうちの１つの処理を決定してもよいし、複数の処理を決定してもよい。出力態様決定部１８が、出力装置４および該出力装置４に実行させる処理を決定する処理の詳細は後に具体例を挙げて説明する。

出力制御部１９は、出力態様決定部１８によって決定された出力装置を駆動させ、出力態様決定部１８によって決定された処理を実行させる（ステップＳ２１：出力制御ステップ）。

（乗員間の会話の弾み度合いを示す指標値を乗員毎に算出する処理）
次に、指標値算出部１７が、乗員間の会話の弾み度合いを示す指標値を乗員毎に算出する処理の流れについて、図５を用いて説明する。図５は、乗員毎の指標値を算出する処理の流れの一例を示すフローチャートである。

＜音声解析＞
会話が弾んでいるとき、会話している乗員が発する声の音圧は高くなる傾向がある。そこで、指標値算出部１７は、乗員毎の指標値を算出するために、会話をしている各乗員が発する声の音圧を利用する。

指標値算出部１７は、乗員間の会話においてマイク３２によって取得された各乗員の発言時の声の音圧を計測する（ステップＳ９０１）。また、指標値算出部１７は、各乗員が発声した発声時間の長さを計測する（ステップＳ９０２）。指標値算出部１７は、計測した音圧、および発声時間の長さに基づいて、発話レベル値Ｓを算出する（ステップＳ９０３）。

指標値算出部１７は、これに限定されるものではないが、例えば、計測した音圧のデータから、各乗員の発言における平均音圧およびピーク音圧を算出し、下記の式Ｉによって発話レベル値Ｓを算出する。なお、下記の式Ｉにおいて、（発声時間）および（単位時間）の単位は「分」であってもよく、（平均音圧）および（ピーク音圧）の単位は「デシベル（ｄＢ）」であってもよい。

Ｓ＝（発声時間）×（平均音圧）×（ピーク音圧）／（単位時間） （式Ｉ）
指標値算出部１７は、算出した発話レベル値Ｓの大きさに応じて５段階に評価した結果を、例えば、Ｓ１〜Ｓ５として出力してもよい。「Ｓ１」から「Ｓ５」になるにつれて発話レベル値が大きいことを示している。

＜動作解析＞
会話が弾んでいるとき、会話中の乗員の動作の回数は増える傾向があり、また、その動作は大きくなる傾向がある。そこで、指標値算出部１７は、乗員毎の指標値を算出するために、会話をしている各乗員の動作の回数と大きさとを利用する。ここでは、各乗員の頷き動作、手振り動作、および振向き動作に関するレベル値を算出する場合を例に挙げて説明するが、これに限定されない。

［頷き動作解析］
指標値算出部１７は、乗員間の会話においてカメラ３１によって撮像された各乗員の頷き回数を計測する（ステップＳ９０４）。また、指標値算出部１７は、各乗員が頷いたときの頷き動作の大きさを計測する（ステップＳ９０５）。頷き動作の大きさとは、例えば、乗員が縦に首を振って頷くときの顔（または視線）の向きの変位量などである。指標値算出部１７は、計測した頷き回数、および頷き動作の大きさに基づいて、頷き動作レベル値Ｕを算出する（ステップＳ９０６）。

指標値算出部１７は、これに限定されるものではないが、例えば、計測した回数、および頷き動作に伴う顔の向きの平均変位量および最大変位量を算出し、下記の式ＩＩによって頷きレベル値Ｕを算出する。なお、下記の式ＩＩにおいて、（平均変位量）および（最大変位量）の単位は「度（°）」または「ｃｍ」であってもよい。（単位時間）の単位は「分」であってもよい。

Ｕ＝（頷き回数）×（平均変位量）×（最大変位量）／（単位時間） （式ＩＩ）
指標値算出部１７は、算出した頷きレベル値Ｕの大きさに応じて５段階に評価した結果を、例えば、Ｕ１〜Ｕ５として出力してもよい。「Ｕ１」から「Ｕ５」になるにつれて頷きレベル値が大きいことを示している。

［手振り動作解析］
指標値算出部１７は、乗員間の会話においてカメラ３１によって撮像された各乗員の手振り回数を計測する（ステップＳ９０７）。また、指標値算出部１７は、各乗員が手を振ったときの手振り動作の大きさを計測する（ステップＳ９０８）。手振り動作の大きさとは、例えば、乗員の手の位置の変位量などである。指標値算出部１７は、計測した手振り回数、および手振り動作の大きさに基づいて、手振り動作レベル値Ｇを算出する（ステップＳ９０９）。

指標値算出部１７は、これに限定されるものではないが、例えば、計測した回数、および手振り動作に伴う手の位置の平均変位量および最大変位量を算出し、下記の式ＩＩＩによって手振りレベル値Ｇを算出する。なお、下記の式ＩＩＩにおいて、（平均変位量）および（最大変位量）の単位は「ｃｍ」であってもよい。（単位時間）の単位は「分」であってもよい。

Ｇ＝（手振り回数）×（平均変位量）×（最大変位量）／（単位時間） （式ＩＩＩ）
指標値算出部１７は、算出した手振りレベル値Ｇの大きさに応じて５段階に評価した結果を、例えば、Ｇ１〜Ｇ５として出力してもよい。「Ｇ１」から「Ｇ５」になるにつれて手振りレベル値が大きいことを示している。

［振向き動作解析］
指標値算出部１７は、乗員間の会話においてカメラ３１によって撮像された各乗員の振向き回数を計測する（ステップＳ９１０）。また、指標値算出部１７は、各乗員が振向いたときの動作の大きさを計測する（ステップＳ９１１）。振向き動作の大きさとは、例えば、乗員の顔（または視線）の向きの変位量などである。指標値算出部１７は、計測した振向き回数、および振向き動作の大きさに基づいて、振向き動作レベル値Ｌを算出する（ステップＳ９１２）。

指標値算出部１７は、これに限定されるものではないが、例えば、計測した回数、および振向き動作に伴う顔の向きの平均変位量および最大変位量を算出し、下記の式ＩＶによって振向きレベル値Ｌを算出する。なお、下記の式ＩＶにおいて、（平均変位量）および（最大変位量）の単位は「度（°）」または「ｃｍ」であってもよい。（単位時間）の単位は「分」であってもよい。

Ｌ＝（振向き回数）×（平均変位量）×（最大変位量）／（単位時間） （式ＩＶ）
指標値算出部１７は、算出した振向きレベル値Ｌの大きさに応じて５段階に評価した結果を、例えば、Ｌ１〜Ｌ５として出力してもよい。「Ｌ１」から「Ｌ５」になるにつれて振向きレベル値が大きいことを示している。

＜表情解析＞
各乗員の顔の表情から、各乗員の感情を推定することができる。そこで、指標値算出部１７は、乗員毎の指標値を算出するために、会話をしている各乗員の顔の表情から推定した各乗員の感情を利用する。

乗員間の会話の弾み度合いは、各乗員の感情がポジティブか、ネガティブかに影響される。具体的には、会話において乗員が喜び、および驚きを感じている場合、会話は弾む傾向があり、乗員が悲しみ、嫌悪などを感じている場合、会話は弾みにくい傾向がある。

表情特定部１５は、乗員間の会話中にカメラ３１によって撮像された各乗員の顔の表情を特定する（ステップＳ９１３：表情特定ステップ）。次に、感情推定部１６は、記憶部２に記憶されている感情推定基準２１を参照して、各乗員の感情を推定する。指標値算出部１７は、推定した感情を、ポジティブ（Ｐ）、ネガティブ（Ｎ）、および中立（Ｔ）のいずれかに特定する（ステップＳ９１４：感情推定ステップ）。

なお、これは一例にすぎず、感情推定部１６が、各乗員の感情をより詳細に特定してもよい。例えば、感情推定部１６が、ポジティブ（Ｐ）な感情をさらに、完全なポジティブ（ＰＰ）と中立に近いポジティブ（ＰＴ）とを区別してもよい。完全なポジティブ（ＰＰ）か中立に近いポジティブ（ＰＴ）かは、感情推定部１６が推定する感情の確からしさに応じて区別され得る。

＜指標値算出＞
次に、指標値算出部１７は、音声解析において算出した音圧レベル値Ｓ、動作解析において算出した頷きレベル値Ｕ、手振りレベル値Ｇ、および振向きレベル値Ｌに基づいて、パフォーマンスレベル値ｎを算出する（ステップＳ９１５）。

指標値算出部１７は、パフォーマンスレベル値ｎを、音圧レベル値Ｓ、頷きレベル値Ｕ、手振りレベル値Ｇ、および振向きレベル値Ｌを５段階に評価した結果を用いて算出してもよい。例えば、ある乗員の音圧レベル値がＳ４、頷きレベル値がＵ４、手振りレベル値がＧ４、および振向きレベル値がＬ４であれば、指標値算出部１７は、この乗員のパフォーマンスレベル値ｎを「１６」（＝４＋４＋４＋４）と算出すればよい。例えば、ある乗員の音圧レベル値がＳ３、頷きレベル値がＵ１、手振りレベル値がＧ１、および振向きレベル値がＬ１であれば、指標値算出部１７は、この乗員のパフォーマンスレベル値ｎを「６」（＝３＋１＋１＋１）と算出すればよい。

なお、指標値算出部１７は、音圧レベル値Ｓ、頷きレベル値Ｕ、手振りレベル値Ｇ、および振向きレベル値Ｌの少なくともいずれかを用いてパフォーマンスレベル値ｎを算出すればよく、各レベル値の総和を算出する構成に限定されない。例えば、指標値算出部１７は、音圧レベル値Ｓ、頷きレベル値Ｕ、手振りレベル値Ｇ、および振向きレベル値Ｌの少なくともいずれかを用いた任意の関数に基づいてパフォーマンスレベル値ｎを算出してもよい。

次に、指標値算出部１７は、パフォーマンスレベル値ｎと特定した感情とを組み合わせて、会話の弾み度合いを示す指標値Ｗを乗員毎に算出する（ステップＳ９１６）。すなわち、指標値算出部１７によって算出される指標値Ｗは、（Ｐ×ｎ）、（Ｔ×ｎ）、および（Ｎ×ｎ）のいずれかである。

（出力態様を決定する処理）
次に、出力態様決定部１８が、乗員間の感情の組み合わせに応じて出力態様を決定する処理の流れについて、図６を用いて説明する。図６は、乗員間の感情の組み合わせに応じた出力装置４および該出力装置４に実行させる処理を決定する処理の流れの一例を示すフローチャートである。

乗員間の会話の弾み度合いを示す指標値Ｗの組み合わせを判定する（ステップＳ１００１）。２乗員間の会話の場合、指標値Ｗの組み合わせは、（Ｐ×ｎ）と（Ｐ×ｎ）、（Ｔ×ｎ）と（Ｐ×ｎ）、（Ｐ×ｎ）と（Ｎ×ｎ）、（Ｔ×ｎ）と（Ｔ×ｎ）、（Ｔ×ｎ）と（Ｎ×ｎ）、および（Ｎ×ｎ）と（Ｎ×ｎ）の６通りである。

出力態様決定部１８は、例えば、記憶部２の出力態様テーブル２３を参照して、指標値Ｗの組み合わせに応じた、出力装置および実行する処理を決定する。

指標値Ｗの組み合わせが、（Ｐ×ｎ）と（Ｐ×ｎ）または（Ｔ×ｎ）と（Ｐ×ｎ）であれば、出力態様決定部１８は、乗員の少なくとも一名の指標値Ｗを、さらにポジティブ側へと変化させる出力装置および処理を決定する（ステップＳ１００２）。

指標値Ｗの組み合わせが、（Ｐ×ｎ）と（Ｎ×ｎ）または（Ｔ×ｎ）と（Ｔ×ｎ）であれば、出力態様決定部１８は、乗員の少なくとも一名の指標値Ｗを、ポジティブ側へと変化させる出力装置および処理を決定する（ステップＳ１００３）。

指標値Ｗの組み合わせが、（Ｔ×ｎ）と（Ｎ×ｎ）または（Ｎ×ｎ）と（Ｎ×ｎ）であれば、出力態様決定部１８は、乗員の少なくとも一名の指標値Ｗを、中立へ変化させる出力装置および処理を決定する（ステップＳ１００４）。

（出力態様テーブル２３）
ここで、出力態様テーブル２３について、図７を用いて説明する。図７は、出力態様テーブル２３の一例を示す図である。

出力態様テーブル２３は、出力装置４および該出力装置４によって実行させる処理が、会話における各乗員の指標値Ｗの組み合わせに対応付けられている。以下、各処理について、具体例を挙げて説明する。

［笑い増幅処理］
会話が弾んでいるときの笑い声には、当該会話の楽しさを増し、会話をしている乗員間の共感度を向上させる効果がある。笑い増幅処理は、会話中に生じた笑いを増幅し、会話をしている乗員間の共感度を向上させる処理である。

ここでは、乗員Ａと乗員Ｂとが会話している場合を例に挙げて、笑い増幅処理について図８を用いて説明する。図８は、笑い増幅処理の流れの一例を示すフローチャートである。

出力制御部１９は、マイク３２によって取得された乗員Ｂの音声を解析し、乗員Ｂが笑ったことを検知する。乗員Ｂが笑ったことを検知した場合（ステップＳ１１１１にてＹＥＳ）、出力制御部１９は、疑似笑い声を生成する（ステップＳ１１１２）。次に、出力制御部１９は、生成した疑似笑い声を乗員Ａおよび乗員Ｂのシートスピーカ４２から出力させる（ステップＳ１１１３）。出力制御部１９は、疑似笑い声を所定回出力した場合（ステップＳ１１１４にてＹＥＳ）、笑い増幅処理を終了する。これにより、情報処理装置１は、乗員Ａと乗員Ｂの会話を活性化し、両者のうちの少なくとも一方の感情をより一層ポジティブ側へ変化するように促すことができる。

疑似笑い声は、ステップＳ１１１１において検知した乗員Ｂの笑い声の音声データを用いて、その周波数および音圧を変更した笑い声の音声データを複数準備し、それらを重ねあわせることによって生成され得る。複数の笑い声の音声データを重ね合せるときに、各音声データの最初の時間をずらして重ね合わせてもよい。このように生成された疑似笑い声は、大勢の人の笑い声のような音声となる。

出力制御部１９は、ステップＳ１１１１において、マイク３２によって取得された乗員Ｂの笑い声の音圧、およびカメラ３１によって撮像された乗員Ｂの撮像画像を解析してもよい。この場合、出力制御部１９は、ステップＳ１１１２において、例えば、乗員Ｂの笑い声の音圧、および乗員Ｂの感情に応じて、生成する疑似笑い声のレベルを調節してもよい。疑似笑い声のレベルの調節は、例えば、重ね合わせる笑い声の音声の数を調節したり、疑似笑い声を出力するときの音量を調節したりすることによって行われる。

なお、ステップＳ１１１３において、出力制御部１９は、乗員Ａおよび乗員Ｂの何れか一方のシートスピーカ４２から疑似笑い声を出力させてもよい。

［手振り反応処理］
会話が弾んでいるとき、会話中の乗員は、会話中に手振りを加える傾向がある。しかし、例えば、図２に示す乗員Ｃと乗員Ａとが会話している場合、助手席に着座している乗員Ｃは前方を向いているため、後部座席に着座している乗員Ａが手振りを加えていてもそれに気付くことができない。それゆえ、乗員Ｃには、乗員Ａが乗員Ｃとの会話にどれだけ共感しているかが伝わりにくい。手振り反応処理は、このような場合に、乗員Ａが乗員Ｃとの会話中に頷いたことを、乗員Ｃに知らせる効果がある処理である。

ここでは、乗員Ａと乗員Ｃとが会話している場合を例に挙げて、手振り反応処理について図９を用いて説明する。図９は、手振り反応処理の流れの一例を示すフローチャートである。

出力制御部１９は、カメラ３１によって撮像された乗員Ａの撮像画像を解析し、会話中の乗員Ａの手振り動作を検知する。乗員Ａの手振り動作を検知した場合（ステップＳ１１２１にてＹＥＳ）、出力制御部１９は、乗員Ａの手振り動作の大きさを計測する（ステップＳ１１２２）。次に、出力制御部１９は、乗員Ｃが着座しているシート４００ｃのアームレスト駆動装置４６を駆動させる（ステップＳ１１２３）。このとき、アームレスト駆動装置４６は、アームレストに載せられている乗員Ｃの腕を、乗員Ａの手振り動作および該動作の大きさに合わせて動かす。このアームレスト駆動装置４６の動作によって、乗員Ａが手振り動作を行っていることを乗員Ｃに知らせることができる。出力制御部１９は、アームレスト駆動装置４６を所定回駆動した場合（ステップＳ１１２４にてＹＥＳ）、頷き反応処理を終了する。これにより、情報処理装置１は、乗員Ａと乗員Ｃの会話を活性化し、両者のうちの少なくとも一方の感情をより一層ポジティブ側へ変化するように促すことができる。

出力制御部１９は、ステップＳ１１２１において、カメラ３１によって撮像された乗員Ａの撮像画像に加え、会話中に乗員Ａが発する声を解析してもよい。この場合、ステップＳ１１２３において、例えば、乗員Ａの手振り動作が検知され、かつ、乗員Ａが発話している場合にのみ、出力制御部１９がアームレスト駆動装置４６を駆動させる構成であってもよい。

なお、運転者である乗員Ｂが対象となる場合、乗員Ｂの腕に作用するアームレスト駆動装置４６を駆動させるのではなく、シート振動装置４５などの他の出力装置４を代用させて、手振り反応処理を行うことが望ましい。

［キーワード反応処理］
他の乗員に共感して欲しい話題およびキーワードが会話に含まれる場合、当該会話に対して他の乗員の共感を得ることができれば、会話はより一層弾み、会話から満足感および幸福感が得られる。例えば、乗員Ａ、Ｂ、およびＣが会話している場合、乗員Ａが発した話題の中に乗員Ａが乗員ＢおよびＣに共感して欲しい話題が含まれていても、乗員ＢおよびＣが、そのことに気付かない場合があり得る。そのような場合、乗員Ａは落胆し、それ以降の会話を楽しむことができなくなるかもしれない。キーワード反応処理は、乗員Ａが共感を得たいと所望するキーワードを、乗員Ａが発したことを他の乗員に知らせる効果がある処理である。キーワード反応処理は、乗員Ｂと乗員Ｃとの会話においても適用され得る。

ここでは、乗員Ａと乗員Ｂとが会話している場合を例に挙げて、キーワード反応処理について図１０を用いて説明する。図１０は、キーワード反応処理の流れの一例を示すフローチャートである。

出力制御部１９は、マイク３２によって取得された乗員Ａの音声を解析し、乗員Ａが共感を望むキーワードを発話したことを検知する。乗員Ａが当該キーワードを発話したことを検知した場合（ステップＳ１１３１にてＹＥＳ）、出力制御部１９は、乗員Ｂのシート送風装置４３、およびシート振動装置４５を駆動させる（ステップＳ１１３２）。シート送風装置４３は乗員Ｂに向けて送風し、シート振動装置４５は乗員Ｂに振動刺激を与えることによって、乗員Ａが共感を望むキーワードを発話したことを乗員Ｂに知らせる。出力制御部１９は、シート送風装置４３、およびシート振動装置４５を所定回駆動した場合（ステップＳ１１３３にてＹＥＳ）、キーワード反応処理を終了する。

なお、ステップＳ１１３２において、出力制御部１９は、乗員Ａのシート送風装置４３、およびシート振動装置４５も駆動させてもよい。

ステップＳ１１３１において検知するキーワードは、乗員Ａによって予め登録されたキーワードである。登録されたキーワードは、登録した乗員毎に共感キーワード２４に記憶される。

なお、共感キーワード２４に登録されるキーワードは、人物名および食べ物などの事象を表す任意の単語であってもよい。あるいは、共感キーワード２４に登録されるキーワードとして、「・・・ですよね。」および「・・・ですか？」などの問いかけおよび質問の一部分であってもよい。このように構成すれば、情報処理装置１は、乗員Ａが他の乗員に対して問いかけたり、質問したりした場合に、他の乗員が着実に該問いかけおよび質問に応答するよう促すことができる。これにより、情報処理装置１は、乗員Ａと乗員Ｃの会話を活性化し、両者のうちの少なくとも一方の感情をよりポジティブ側へ変化するように促すことができる。

［頷き反応処理］
会話中の乗員は、会話中に頷く場合がある。しかし、例えば、図２に示す乗員Ｃと乗員Ａとが会話している場合、助手席に着座している乗員Ｃは前方を向いているため、後部座席に着座している乗員Ａが自分の話に頷いていてもそれに気付くことができない。それゆえ、乗員Ｃには、乗員Ａが乗員Ｃとの会話にどれだけ共感しているかが伝わりにくい。頷き反応処理は、このような場合に、乗員Ａが乗員Ｃとの会話中に頷いたことを、乗員Ｃに知らせる効果がある処理である。頷き反応処理は、乗員Ｂと乗員Ｃとの会話においても、乗員Ａと乗員Ｂとの会話においても適用され得る。

ここでは、乗員Ａと乗員Ｃとが会話している場合を例に挙げて、頷き反応処理について図１１を用いて説明する。図１１は、頷き反応処理の流れの一例を示すフローチャートである。

出力制御部１９は、カメラ３１によって撮像された乗員Ａの撮像画像を解析し、会話中の乗員Ａの頷き動作を検知する。乗員Ａの頷き動作を検知した場合（ステップＳ１１４１にてＹＥＳ）、出力制御部１９は、乗員Ｃが着座しているシート４００ｃのシート駆動装置４４を駆動させる（ステップＳ１１４２）。このとき、シート駆動装置４４は、例えば、乗員Ｃの肩口付近を後方から押したり、振動を与えたりする。このシート駆動装置４４の動作によって、乗員Ａが頷いていることを乗員Ｃに知らせることができる。出力制御部１９は、シート駆動装置４４を所定回駆動した場合（ステップＳ１１４３にてＹＥＳ）、頷き反応処理を終了する。これにより、情報処理装置１は、乗員Ａと乗員Ｃの会話を活性化し、両者のうちの少なくとも一方の感情をポジティブ側へ変化するように促すことができる。

なお、ステップＳ１１４２において、出力制御部１９は、乗員Ａが着座しているシート４００ａのシート駆動装置４４を駆動させてもよい。

出力制御部１９は、ステップＳ１１４１において、カメラ３１によって撮像された乗員Ａの撮像画像に加え、会話中に乗員Ａが発する声を解析してもよい。この場合、ステップＳ１１４２において、例えば、乗員Ａの頷きが検知され、かつ、乗員Ａが発話している場合にのみ、出力制御部１９がシート駆動装置４４を駆動させる構成であってもよい。

［振向き反応処理］
会話中の乗員は、会話の相手の方に顔を向けて話を聞いたり、発話したりする場合がある。しかし、例えば、図２に示す乗員Ｃと乗員Ａとが会話している場合、助手席に着座している乗員Ｃは前方を向いているため、後部座席に着座している乗員Ａが自分の方を振向いてもそれに気付くことができない。それゆえ、乗員Ｃには、乗員Ａが乗員Ｃとの会話にどれだけ共感しているかが伝わりにくい。振向き反応処理は、このような場合に、乗員Ａが乗員Ｃの方に振向いたことを、乗員Ｃに知らせる効果がある処理である。振向き反応処理は、乗員Ｂと乗員Ｃとの会話においても、乗員Ａと乗員Ｂとの会話においても適用され得る。

ここでは、乗員Ａと乗員Ｃとが会話している場合を例に挙げて、振向き反応処理について図１２を用いて説明する。図１２は、振向き反応処理の流れの一例を示すフローチャートである。

出力制御部１９は、カメラ３１によって撮像された乗員Ａの撮像画像を解析し、会話中の乗員Ａの振向き動作を検知する。乗員Ａの振向き動作を検知した場合（ステップＳ１１５１にてＹＥＳ）、出力制御部１９は、乗員Ｃが着座しているシート４００ｃのシート送風装置４３を駆動させる（ステップＳ１１５２）。このとき、乗員Ａが着座している側の送風口から送風してもよい。例えば、出力制御部１９は、乗員Ａが乗員Ｃの右または右後方に着座している場合には、右側の送風口から送風し、乗員Ａが乗員Ｃの左または左後方に着座している場合には、左側の送風口から送風する。このシート送風装置４３の動作によって、乗員Ａが振向いたことを乗員Ｃに知らせることができる。これにより、情報処理装置１は、乗員Ａと乗員Ｃの会話を活性化し、両者のうちの少なくとも一方の感情をポジティブ側へ変化するように促すことができる。出力制御部１９は、シート送風装置４３を所定回駆動した場合（ステップＳ１１５３にてＹＥＳ）、振向き反応処理を終了する。

出力制御部１９は、乗員Ａの振向き動作の大きさに応じて、シート送風装置４３から送風する風量を調節してもよい。例えば、出力制御部１９は、乗員Ａが大きく振向いた場合にはシート送風装置４３から強い風を送風し、小さく振向いた場合には弱い風を送風する。出力制御部１９は、乗員Ａによる振向き動作の大きさに応じて、シート送風装置４３から送風する風量を調節してもよい。例えば、乗員Ａが大きく振向いた場合にはシート送風装置４３から強い風を送風し、小さく振向いた場合には弱い風を送風する。

出力制御部１９は、ステップＳ１１５１において、カメラ３１によって撮像された乗員Ａの撮像画像に加え、会話中に乗員Ａが発する声を解析してもよい。この場合、ステップＳ１１５２において、例えば、乗員Ａの振向きが検知され、かつ、乗員Ａが発話している場合にのみ、出力制御部１９がシート送風装置４３を駆動させる構成であってもよい。

［笑顔誘導処理］
人は、ネガティブな感情のときであっても、笑顔になることによって、ストレスが軽減したり、不安が和らいだりすることが知られている。また、笑顔には、他の人の感情をポジティブ側に変化させる効果もある。

そこで、情報処理装置１は、乗員に対して笑顔になることを誘導するための笑顔誘導プログラム２５を記憶部２に格納している。図１３は、乗員に対して笑顔誘導プログラム２５に基づく映像および音声を出力する処理の流れの一例を示すフローチャートである。ここで、笑顔誘導プログラムは、笑顔誘導用の映像および音声を含むコンテンツを含んでいる。笑顔誘導プログラムは、例えば、子供および動物などの映像コンテンツを含んでいてもよいし、笑顔になるための表情筋のエクササイズなどをキャラクターが解説する映像コンテンツを含んでいてもよい。

乗員Ａがネガティブな感情を抱いている場合、出力制御部１９は、記憶部２から笑顔誘導プログラム２５を読み出し（ステップＳ１１６１）、乗員Ａが表示画面４１ａを視認可能な表示装置４１および着座しているシート４００ａのシートスピーカ４２を駆動して、笑顔誘導用の映像および音声を出力する（ステップＳ１１６２）。これにより、情報処理装置１は、乗員Ａの感情が中立へ変化するように促すことができる。

なお、ステップＳ１１６２において、出力制御部１９は、乗員Ａの顔を撮像した撮像画像に基づいてアバターを生成し、笑顔のアバターを表示画面４１ａに表示させてもよい。また、出力制御部１９は、映像および音声の出力に加えて、シート振動装置４５などを駆動させてもよい。あるいは、出力制御部１９は、笑顔誘導プログラムを実行しているときにカメラ３１によって撮像された乗員Ａの顔の表情を特定し、特定した表情に応じたコメントをシートスピーカ４２から出力させてもよい。

［音楽出力処理］
音楽には、人の感情および行動を誘導する効果があることが知られている。乗員に対して音楽コンテンツを出力する処理の流れについて図１４を用いて説明する。図１４は、乗員に対して音楽コンテンツを出力する処理の流れの一例を示すフローチャートである。

そこで、乗員Ａがネガティブな感情を抱いている場合、出力制御部１９は、記憶部２の音楽コンテンツ２６に格納されている音楽コンテンツを読み出し（ステップＳ１１７１）、乗員Ａが着座しているシート４００ａのシートスピーカ４２から該音楽コンテンツを出力する（ステップＳ１１７２）。これにより、情報処理装置１は、乗員Ａの感情が中立へ変化するように促すことができる。

ただし、音楽の好みは乗員毎に異なっている可能性がある。そこで、情報処理装置１は、予め各乗員の好みの音楽を登録させ、各乗員用の音楽を音楽コンテンツ２６に記憶してもよい。乗員Ａがネガティブな感情を抱いている場合、出力制御部１９は、乗員Ａに対して、乗員Ａによって予め登録された音楽を音楽コンテンツ２６から読み出して、乗員Ａが着座しているシート４００ａのシートスピーカ４２から出力すればよい。

［芳香出力処理］
人の感情および行動をポジティブ側に変化させる効果が期待されるさまざまな芳香が知られている。芳香には、緊張状態を緩和し、不安を軽減し、落ち込んだ気分を浮上させる効果がある。このような芳香の例としては、レモン、オレンジ、およびグレープフルーツなどの柑橘系の芳香、ローズなどのフローラル系の芳香、および樹木系の芳香などが挙げられる。

そこで、乗員Ａがネガティブな感情を抱いている場合、出力制御部１９は、乗員Ａに対して、乗員Ａが着座しているシート４００ａのシート送風装置４３から芳香を出力し、乗員Ａのネガティブな感情が中立側（または、ポジティブ側）へと変化するように促す。

〔ソフトウェアによる実現例〕
情報処理装置１の制御ブロック（特に、制御部１０）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、情報処理装置１は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば１つ以上のプロセッサを備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

１ 情報処理装置
２ 記憶装置
３ センサ群
４ 出力装置
１０ 制御部
１１ カメラ制御部
１２ 人数判定部
１３ 開眼判定部
１４ 会話処理部
１５ 表情特定部
１６ 感情推定部
１７ 指標値算出部
１８ 出力態様決定部
１９ 出力制御部
２１ 感情推定基準
２２ 話題データベース
２３ 出力態様テーブル
２４ 共感キーワード
２５ 笑顔誘導プログラム
２６ 音楽コンテンツ
３１ カメラ
３２ マイク
４１ 表示装置
４２ シートスピーカ
４３ シート送風機
４４ シート駆動装置
４５ シート振動装置
４６ アームレスト駆動装置
１００ 制御システム
２００ 車両
４００ａ〜４００ｄ シート
Ｓ１２ 人数判定ステップ
Ｓ９１３ 表情特定ステップ
Ｓ９１４ 感情推定ステップ
Ｓ２１ 出力制御ステップ

Claims (8)

1. 所定空間に配置されたカメラの撮像画像に基づいて、該所定空間に滞在している人数を判定する人数判定部と、
   前記人数判定部により前記所定空間に複数人が滞在していると判定された場合、前記撮像画像に基づいて、前記複数人それぞれの表情を特定する表情特定部と、
   前記表情から前記複数人それぞれの感情を推定する感情推定部と、
   前記複数人それぞれの感情の組合せに応じて出力装置を制御する出力制御部と、を備え、
   前記出力制御部は、前記出力装置に、前記複数人のうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行させることを特徴とする、情報処理装置。
2. 前記感情推定部は、前記複数人それぞれが抱いている感情が、ポジティブ、ネガティブ、および中立のいずれであるかを特定することを特徴とする、請求項１に記載の情報処理装置。
3. 前記カメラの撮像画像、および前記所定空間に配置されたマイクの取得音声の少なくともいずれかから、前記複数人の間の、会話の弾み度合いを示す指標値を算出する、指標値算出部を備え、
   前記出力制御部は、前記複数人それぞれの感情の組合せおよび前記指標値に応じて、前記出力装置を制御することを特徴とする、請求項１または２に記載の情報処理装置。
4. 前記所定空間に配置されたマイクの取得音声から、前記複数人の少なくとも二名が会話中か否かを判定する会話処理部を備え、
   前記感情推定部は、前記会話処理部により前記複数人の少なくとも二名が会話中と判定された場合に、前記複数人それぞれの感情を推定することを特徴とする、請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記表情特定部が特定した表情から、前記複数人それぞれが開眼しているか否かを判定する開眼判定部を備え、
   前記出力制御部は、前記開眼判定部により前記複数人の全てが開眼していないと判定された場合、前記出力装置からの前記出力を停止することを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
6. 前記所定空間は移動体の内部空間であって、
   前記内部空間の滞在者は前記移動体の乗員であり、
   前記出力装置は、前記移動体に搭載された出力装置であることを特徴とする、請求項１〜５のいずれか１項に記載の情報処理装置。
7. 請求項１〜６のいずれか１項に記載の情報処理装置と、
   前記カメラと、
   前記出力装置と、を含むことを特徴とする、制御システム。
8. 所定空間に配置されたカメラの撮像画像に基づいて、該所定空間に滞在している人数を判定する人数判定ステップと、
   前記人数判定ステップにおいて、前記所定空間に複数人が滞在していると判定された場合、前記撮像画像に基づいて、前記複数人それぞれの表情を特定する表情特定ステップと、
   前記表情から前記複数人それぞれの感情を推定する感情推定ステップと、
   前記複数人それぞれの感情の組合せに応じて出力装置を制御する出力制御ステップと、を含み、
   前記出力制御ステップでは、前記出力装置に、前記複数人のうち少なくとも一名の感情を現在よりポジティブ側に変化させるための出力を実行させることを特徴とする、情報処理装置の制御方法。

Images