JP2020068973A - 感情推定統合装置、感情推定統合方法およびプログラム - Google Patents

Abstract

【課題】車内環境を考慮し、より精度良くユーザの感情を推定することができる。【解決手段】 ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出された重み値と、が対応付けられた統合用重み付け情報を記憶した記憶部と、前記ユーザの周囲の環境を推定する環境推定部と、相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、前記感情推定部が用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境と、に基づき前記重み値を特定し、前記感情推定部による推定結果に該重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合部と、を備える。【選択図】図１

Description

本発明は、感情推定統合装置、感情推定統合方法およびプログラムに関する。

特許文献１には、音声対話装置に関し、「ユーザが発した音声と、当該音声を認識した結果を取得する音声処理手段と、それぞれ異なる方法によってユーザの感情を推定する複数の推定手段と、推定したユーザの感情に基づいて応答文を生成し、前記ユーザに提供する応答手段と、を有し、前記応答手段は、前記複数の推定手段がそれぞれ推定したユーザの感情が一致しない場合に、前記ユーザに対して問い掛けを行い、得られた応答の内容に基づいて、いずれの推定結果を採用するかを決定する」と記載されている。

特開２０１７−２１５４６８号公報

特許文献１の音声対話装置は、複数の要素に基づいてユーザの感情推定を行う。しかしながら、音声対話装置では、時々刻々と装置を取り巻く環境が変化した場合の影響が考慮されていない。そのため、音声対話装置では、周囲の環境の影響によって適切な推定結果を得られないという懸念がある。

そこで、本発明は、ユーザの周囲の環境を考慮し、より精度良くユーザの感情を推定することができる感情推定統合装置の提供を目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。上記の課題を解決する本発明の一態様に係る感情推定統合装置は、ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出された重み値と、が対応付けられた統合用重み付け情報を記憶した記憶部と、前記ユーザの周囲の環境を推定する環境推定部と、相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、前記感情推定部が用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境と、に基づき前記重み値を特定し、前記感情推定部による推定結果に該重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合部と、を備える。

本発明に係る感情推定統合装置によれば、ユーザの周囲の環境を考慮し、より精度良くユーザの感情を推定することができる。

なお、上記以外の課題、構成および効果等は、以下の実施形態の説明により明らかにされる。

第一実施形態に係る感情推定統合装置の機能構成および感情推定統合システムの概略構成の一例を示した図である。 第一実施形態に係る重み値算出用情報の一例を示した図である。 第一実施形態に係る統合用重み付け情報の一例を示した図である。 第一実施形態に係る感情推定統合装置のハードウェア構成の一例を示した図である。 第一実施形態に係る感情推定統合装置で実行される重み値算出処理の一例を示したフロー図である。 第一実施形態に係る感情推定結果統合処理の一例を示したフロー図である。 第二実施形態に係る実施形態に係る統合用重み付け情報の一例を示した図である。 第三実施形態に係る感情推定結果統合処理の一例を示した図である。

以下、本発明の各実施形態について図面を用いて説明する。

［第一実施形態］
図１は、本実施形態に係る感情推定統合装置１００の機能構成および感情推定統合システムの概略構成の一例を示した図である。感情推定統合システムは、車両１０００内に搭載された感情推定統合装置１００と、車載装置２００とから構成されるシステムである。また、感情推定統合装置１００および車載装置２００は、ネットワークＮを介して相互通信可能に接続されている。なお、ネットワークＮは、基本的には所定の車内ネットワーク（例えば、ＣＡＮ：Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋあるいは車載用のイーサネットなど）であるが、感情推定統合装置１００および車載装置２００は、例えばインターネット等の公衆網やＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを介して相互通信可能に接続されていても良い。

車載装置２００の一例としては、例えば、出発地から目的地までを結ぶ推奨経路の探索や、地図情報および交通情報の表示など、いわゆるナビゲーション機能を備えた車載のナビゲーション装置が挙げられる。なお、車載装置２００は、車載のナビゲーション装置に限られるものではなく、例えばナビゲーション機能を実現するためのソフトウェアがインストールされたタブレット端末やスマートフォンなどの電子機器であっても良い。

感情推定統合装置１００は、ユーザ（主に運転者）の生体情報を用いてユーザの感情を推定する装置である。具体的には、感情推定統合装置１００は、ユーザの発話や表情などを観測／測定したモニタリング情報を用いてユーザの感情を推定する。

また、感情推定統合装置１００は、推定したユーザの感情に関する情報（後述する推定結果統合情報）を車載装置２００に送信する。なお、車載装置２００では、かかる情報により示されるユーザの感情に応じた様々な処理が実行される。

なお、感情推定統合装置１００が推定する感情には、平静や怒りなどの感情に加え、眠気や疲れなどのユーザの身体的な状態も含み、以下で感情推定という場合、ユーザの身体的な状態の推定も含むものである。

図１に示すように、感情推定統合装置１００は、演算部１１０と、記憶部１２０と、通信部１３０とを有している。演算部１１０は、感情推定統合装置１００の様々な処理を実行する機能部である。具体的には、演算部１１０は、入力受付部１１１と、出力処理部１１２と、重み値算出部１１３と、感情推定部ａ１１４と、感情推定部ｂ１１５と、環境推定部１１６と、推定結果統合部１１７とを有している。

入力受付部１１１は、他の装置や機能部から様々な情報の入力やユーザ指示を受け付ける機能部である。具体的には、入力受付部１１１は、ユーザのモニタリング情報を受け付ける。より具体的には、入力受付部１１１は、車内の音声情報をマイクロフォンから受け付ける。なお、マイクロフォンは、車内の音声を取得できる場所に設置されていれば良く、例えば感情推定統合装置１００に内蔵されていても、感情推定統合装置１００とは別体に設けられていても良い。また、入力受付部１１１は、受け付けた音声情報を感情推定部ａ１１４に出力する。

また、入力受付部１１１は、ユーザを撮像した映像情報を車内カメラから受け付ける。なお、車内カメラは、ユーザを含む車内の様子を撮像可能な場所に設置されていれば良く、例えば感情推定統合装置１００に内蔵されていても、感情推定統合装置１００とは別体（例えば、ドライブレコーダーなど）に設けられていても良い。また、入力受付部１１１は、受け付けた映像情報を感情推定部ｂ１１５に出力する。また、入力受付部１１１は、音声情報および映像情報を環境推定部１１６に出力する。

なお、入力受付部１１１は、常時、車内の音声情報をマイクロフォンから取得する。また、入力受付部１１１は、常時、ユーザの表情を含む車内の映像情報を車内カメラから取得する。

出力処理部１１２は、他の装置や機能部に種々の情報を出力する機能部である。具体的には、出力処理部１１２は、通信部１３０を介して感情の推定結果に関する情報（推定結果統合情報）を車載装置２００に送信する。

重み値算出部１１３は、複数の感情推定部から出力される推定結果に重み付けを行うための重み値を算出する機能部である。具体的には、重み値算出部１１３は、重み値算出処理の実行により重み値を算出（あるいは更新）する。なお、重み値算出処理の詳細は後述する。

感情推定部ａ１１４は、車内の音声情報を用いてユーザの感情を推定する機能部である。具体的には、感情推定部ａ１１４は、入力受付部１１１を介して取得した車内の音声情報を用いてユーザの感情を推定し、推定した感情毎の検知レベルを算出する。また、感情推定部ａ１１４は、検知レベルが所定の閾値を超えた感情を推定結果として出力する。

より具体的には、感情推定部ａ１１４は、音声情報からユーザの発話部分を抽出する。また、感情推定部ａ１１４は、発話音声の高さ（周波数）や大きさ（パワー）など所定の要素に基づきユーザの発話音声についてその特徴量を抽出する。また、感情推定部ａ１１４は、抽出した特徴量を用いて特徴量ベクトルを求め、怒りや疲れといった所定の感情カテゴリの中で特徴量ベクトルが属するカテゴリを特定することによりユーザの感情を推定し、推定した感情毎の検知レベルを算出する。また、感情推定部ａ１１４は、検知レベルが所定の閾値を超えた感情を推定結果として出力する。なお、音声情報を用いた感情推定の方法は、このような方法に限定されるものではなく、公知の技術が用いられれば良い。

なお、感情推定部ａ１１４は、感情の推定結果に感情ごとの確信度を対応付けて出力する。確信度は、推定した感情の推定精度の度合いを示すものである。一例を示すならば、感情推定部ａ１１４は、音声情報を用いて感情推定を行い、検知レベルが閾値を超えた「平静」（確信度＝０．７）と「疲れ」（確信度＝０．３）という推定結果を出力する。

感情推定部ｂ１１５は、ユーザの表情などを撮像した映像情報を用いてユーザの感情を推定する機能部である。具体的には、感情推定部ｂ１１５は、入力受付部１１１を介して取得した車内の映像情報を用いてユーザの感情を推定し、推定した感情毎の検知レベルを算出する。また、感情推定部ｂ１１５は、検知レベルが所定の閾値を超えた感情を推定結果として出力する。

より具体的には、感情推定部ｂ１１５は、映像情報からユーザの表情を形成する特徴点を抽出する。例えば、感情推定部ｂ１１５は、ユーザの目や眉、口などの動きに応じてユーザの表情を形成する複数の特徴点を抽出する。そして、感情推定部ｂ１１５は、抽出した特徴点に基づきユーザの感情を推定し、推定した感情毎の検知レベルを算出する。また、感情推定部ｂ１１５は、検知レベルが所定の閾値を超えた感情を推定結果として出力する。なお、映像情報を用いた感情推定の方法は、このような方法に限定されるものではなく、公知の技術が用いられれば良い。

なお、感情推定部ｂ１１５は、感情の推定結果に感情ごとの確信度を対応付けて出力する。一例を示すならば、感情推定部ａ１１４は、映像情報を用いて感情推定を行い、検知レベルが閾値を超えた「怒り」（確信度＝０．６）と「喜び」（確信度＝０．４）という推定結果を出力する。

環境推定部１１６は、自動車の車内環境を推定する機能部である。具体的には、環境推定部１１６は、騒音レベルおよび光の種別に関する車内環境を推定する。より具体的には、環境推定部１１６は、入力受付部１１１から取得した音声情報を用いて、車内の騒音レベル（例えば、大、中、小）を算出する。

また、環境推定部１１６は、入力受付部１１１から取得した情報を用いて、車内の光の種別を特定する。具体的には、環境推定部１１６は、映像情報から車内の輝度や色温度など所定の要素ごとにそれらの大きさを算出し、総合的に車内の光種別を特定する。ここで、特定される光の種別には、例えば標準と、逆光と、トンネル照明と、夜間などがある。

なお、環境推定部１１６が推定する車内環境は、前述のような評価方式に限られるものではない。例えば、環境推定部１１６は、所定情報（現在地を示す情報や、騒音量を示す情報など）を用いて、トンネルや高速道路など具体的な走行場所や＊＊ｄＢ（デシベル）のような具体的な騒音の大きさによって車内環境を評価しても良い。

推定結果統合部１１７は、感情推定統合処理を実行し、各感情推定部から出力された感情の推定結果を統合する機能部である。具体的には、推定結果統合部１１７は、感情推定部ａ１１４および感情推定部ｂ１１５から出力された推定結果の確信度に対して所定の重み値を乗算する。また、推定結果統合部１１７は、感情ごとに重み付け後の確信度を加算し、最も大きい値の確信度に対応付けられた感情をユーザの感情として推定する。また、推定結果統合部１１７は、かかるユーザの感情を推定結果統合情報として車載装置２００に送信する。

次に、記憶部１２０について説明する。記憶部１２０は、感情推定統合装置１００が実行する処理に用いられる様々な情報を記憶した機能部である。具体的には、記憶部１２０は、重み値算出用情報１２１と、統合用重み付け情報１２２とを記憶している。

図２は、重み値算出用情報１２１の一例を示した図である。重み値算出用情報１２１は、統合用重み付け情報１２２の重み値を算出するために用いられる学習用のサンプル情報である。重み値算出用情報１２１は、例えば定期的（例えば、１週間に１回あるいは１ヶ月に１回など）に外部装置（例えば、情報センタのサーバ装置など）から感情推定統合装置１００に送信され記憶部１２０に格納される。

重み値算出用情報１２１には、車内環境を示す所定の項目と、その環境下において出力された音声情報と、映像情報と、かかる音声情報および映像情報を用いて評価者が正しく評価したユーザの感情とが含まれている。

なお、これらの情報を含む重み値算出用情報１２１は、図示するように、サンプルＮｏ１２１ａと、入力情報１（１２１ｂ）と、入力情報２（１２１ｃ）と、環境１２１ｄと、感情ラベル１２１ｅといった各項目が対応付けられたレコードを有している。

サンプルＮｏ１２１ａは、重み値算出用情報１２１の各レコードを一意に識別する情報である。入力情報１（１２１ｂ）および入力情報２（１２１ｃ）は各々、感情推定部ａ１１４および感情推定部ｂ１１５が感情推定を行うために用いるサンプル情報を特定する情報である。例えば、入力情報１（１２１ｂ）には感情推定部ａ１１４へ入力されるサンプル情報（例えば、音声情報１〜ｎ）が対応付けられている。また、例えば、入力情報２（１２１ｃ）には感情推定部ｂ１１５へ入力されるサンプル情報（例えば、映像情報１〜ｎ）が対応付けられている。

環境１２１ｄは、入力情報１（１２１ｂ）に対応付けられた音声情報および入力情報２（１２１ｃ）に対応付けられた映像情報が生成されたタイミングにおける車内環境を示す情報である。例えば、環境１２１ｄには、騒音レベルと光種別とがある。また、騒音レベルの種類には、例えば大、中、小がある。また、光の種別には、例えば標準、逆光、トンネル照明および夜間などがある。

感情ラベル１２１ｅは、対応付けられた音声情報および画像情報を用いて評価者が評価したユーザの感情種類を示す情報である。すなわち、感情ラベル１２１ｅに対応付けられた感情は、その環境下において正しく評価されたユーザの感情である。

このような重み値算出用情報１２１は、重み値算出処理に用いられる。重み値算出処理の詳細は後述する。

図３は、統合用重み付け情報１２２の一例を示した図である。統合用重み付け情報１２２は、感情推定部ａ１１４および感情推定部ｂ１１５による推定結果を統合する際に用いられる重み値を含む情報である。具体的には、統合用重み付け情報１２２は、環境１２２ａと、重み値１（１２２ｂ）と、重み値２（１２２ｃ）とが対応付けられたレコードを有している。

環境１２２ａは、車内環境を示す情報である。重み値１（１２２ｂ）は、対応付けられた環境下において感情推定部ａ１１４が出力した感情推定結果に対する重み値を示す情報である。重み値２（１２２ｃ）は、対応付けられた環境下において感情推定部ｂ１１５が出力した感情推定結果に対する重み値を示す情報である。

なお、後述するように、感情推定部ａ１１４および感情推定部ｂ１１５は各々、音声情報および映像情報を用いて感情推定を行うため、各環境１２２ａは、音声情報および映像情報といったモニタリング情報の種類ごとに対応付けられていることになる。

このような統合用重み付け情報１２２は、感情推定結果統合処理に用いられる。感情推定結果統合処理の詳細は後述する。

図１に戻って説明する。通信部１３０は、外部装置との間で情報通信を行う機能部である。具体的には、通信部１３０は、推定結果統合部１１７により生成された推定結果統合情報を車載装置２００に送信する。また、通信部１３０は、例えば外部装置（例えば、後述の車内カメラやマイクロフォン）から取得した映像情報や音声情報を入力受付部１１１に出力する。

以上、感情推定統合装置１００の機能構成について説明した。

図４は、感情推定統合装置１００のハードウェア構成の一例を示した図である。感情推定統合装置１００は、例えば高性能な情報処理装置により実現される。なお、感情推定統合装置１００は、例えば車内の所定の場所に設置して使用しても良く、全部または一部の機能を車外（例えば、情報センタなど）に設置されたサーバ装置上で実現しても良い。また、感情推定統合装置１００は、車載のナビゲーション装置に搭載されていても良い。

図示するように、感情推定統合装置１００は、演算装置３０１と、主記憶装置３０２と、外部記憶装置３０３と、通信装置３０４と、入出力インターフェース３０５と、これらを電気的に相互接続するバス３０６とを有している。

演算装置３０１は、例えばＣＰＵなどの処理装置である。主記憶装置３０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などのメモリ装置である。

外部記憶装置３０３は、例えばデジタル情報を記憶可能なフラッシュメモリやＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカードなどの不揮発性記憶装置である。通信装置３０４は、ネットワークを介して外部装置（例えば、車載装置２００）との間で情報通信（無線通信または有線通信）を行うための通信モジュールなどである。

入出力インターフェース３０５は、感情推定統合装置１００と車内カメラ１５０およびマイクロフォン１６０とを電気的に接続し、車内カメラ１５０およびマイクロフォン１６０から映像情報および音声情報を取得することを可能とするコネクタ端子などである。なお、車内カメラ１５０およびマイクロフォン１６０から出力される映像情報および音声情報は、例えば通信装置３０４を経由して感情推定統合装置１００に入力されても良い。

なお、車内カメラ１５０は、ユーザを含む車内の様子を撮像可能な場所に設置されていれば良く、例えば感情推定統合装置１００に内蔵されていても、感情推定統合装置１００とは別体（例えば、ドライブレコーダなど）に設けられていても良い。また、マイクロフォン１６０は、車内の音声を取得できる場所に設置されていれば良く、例えば感情推定統合装置１００に内蔵されていても、感情推定統合装置１００とは別体に設けられていても良い。

また、図示しないものの、感情推定統合装置１００は、タッチパネルやテンキーなどのポインティングデバイスを入力装置として備えていても良い。また、感情推定統合装置１００は、ディスプレイやスピーカを出力装置として備えていても良い。

なお、感情推定統合装置１００の演算部１１０に含まれる各機能部は、ＣＰＵに処理を行わせるプログラムによって実現される。これらのプログラムは、ＲＯＭあるいは外部記憶装置３０３に格納されており、実行にあたってＲＡＭ上にロードされ、ＣＰＵにより実行される。また、記憶部１２０は、ＲＡＭ、ＲＯＭまたは外部記憶装置３０３によって実現されても良く、これらの組み合わせによって実現されても良い。また、通信部１３０は、通信装置３０４によって実現される。

また、感情推定統合装置１００の機能ブロックは、本実施形態に係るこれらの装置の機能を理解容易にするために、主な処理内容に応じて分類したものである。したがって、各機能の分類の仕方やその名称によって、本発明が制限されることはない。また、感情推定統合装置１００の各構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素がさらに多くの処理を実行するように分類することもできる。

また、各機能部の全部または一部は、コンピュータに実装されるハードウェア（ＡＳＩＣといった集積回路など）により構築されてもよい。また、各機能部の処理が１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。

［動作の説明］
図５は、感情推定統合装置１００で実行される重み値算出処理の一例を示したフロー図である。かかる処理は、所定のタイミング（例えば、毎月１回あるいは感情推定統合装置１００が重み値算出用情報１２１を取得した時など）で実行される。なお、重み値算出処理は、現在の重み値を更新するための処理である。

処理が開始されると、入力受付部１１１は、重み値算出用情報１２１からサンプル番号ｎのレコードに含まれる音声情報および映像情報を取得する（ステップＳ００１）。また、入力受付部１１１は、取得した音声情報および映像情報を各々、感情推定部ａ１１４および感情推定部ｂ１１５に出力する。

次に、感情推定部ａ１１４は、音声情報を用いて所定の方法によりユーザの感情を推定する（ステップＳ００２ａ）。また、感情推定部ｂ１１５は、映像情報を用いて所定の方法によりユーザの感情を推定する（ステップＳ００２ｂ）。

なお、ステップＳ００２ａおよびＳ００２ｂでは、感情推定部ａ１１４および感情推定部ｂ１１５は各々、推定したユーザの感情が複数ある場合、最も確信度の高い感情を推定結果として出力する。例えば、感情推定部ａ１１４が推定したユーザの感情が「平静」および「喜び」である場合、確信度（例えば、「平静」の確信度が０．８、「喜び」の確信度が０．２）のより大きい感情（この場合、「平静」）を推定結果として出力する。

次に、重み値算出部１１３は、感情推定部ａ１１４および感情推定部ｂ１１５が出力した推定結果と、サンプル番号ｎのレコードに対応付けられた感情ラベルとが一致するか否かを判定する（ステップＳ００３ａおよびＳ００３ｂ）。そして、一致すると判定した場合（ステップＳ００３ａおよびＳ００３ｂでＹｅｓ）、重み値算出部１１３は、処理をステップＳ００４ａおよびＳ００４ｂに移行する。

一方で、一致しないと判定した場合（ステップＳ００３ａおよびＳ００３ｂでＮｏ）、重み値算出部１１３は、処理をステップＳ００５およびＳ００５ｂに移行する。

ステップＳ００４ａでは、重み値算出部１１３は、現在の重み値ｗ１に所定値δｗ（δｗは正数）を加算することにより更新後の新たな重み値ｗ１を算出する。これは、対応付けられた環境下において感情推定部ａ１１４が出力した推定結果が正しい場合、その結果の比重が大きくなるようするためである。重み値算出部１１３は、ｗ１の算出後、処理をステップＳ００６に移行する。

同様に、ステップＳ００４ｂでも、重み値算出部１１３は、現在の重み値ｗ２に所定値δｗ（δｗは正数）を加算することにより更新後の新たな重み値ｗ２を算出する。また、重み値算出部１１３は、ｗ２の算出後、処理をステップＳ００６に移行する。

一方で、推定結果と感情ラベルとが一致しない場合に移行されるステップＳ００５ａでは、重み値算出部１１３は、現在の重み値ｗ１から所定値δｗ（δｗは正数）を減算することにより更新後の新たな重み値ｗ１を算出する。これは、対応付けられた環境下において感情推定部ａ１１４が出力した推定結果が誤っている場合、その結果の比重が小さくなるようするためである。重み値算出部１１３は、ｗ１の算出後、処理をステップＳ００６に移行する。

同様に、ステップＳ００５ｂでも、重み値算出部１１３は、現在の重み値ｗ２から所定値δｗ（δｗは正数）を減算することにより更新後の新たな重み値ｗ２を算出する。また、重み値算出部１１３は、ｗ２の算出後、処理をステップＳ００６に移行する。

次に、重み値算出部１１３は、算出された重み値ｗ１およびｗ２の各々について正規化を行う（ステップＳ００６）。具体的には、重み値算出部１１３は、重み値の和（ｗ１＋ｗ２）が１になるように正規化を行う。より具体的には、重み値算出部１１３は、ｗ１／（ｗ１＋ｗ２）を計算することにより、ｗ１を正規化する。同様に、重み値算出部１１３は、ｗ２／（ｗ１＋ｗ２）を計算することにより、ｗ２を正規化する。

次に、重み値算出部１１３は、正規化した重み値ｗ１およびｗ２の各々を所定の環境に対応付けることで統合用重み付け情報１２２を更新する（ステップＳ００７）。具体的には、重み値算出部１１３は、ステップＳ００１で取得した音声情報等が含まれるレコードの環境を特定し、これに正規化後のｗ１およびｗ２を各々、重み値１および重み値２として対応付けることで統合用重み付け情報１２２を更新する。

次に、重み値算出部１１３は、全てのサンプルについて前述の処理を実施したか否かを判定する（ステップＳ００８）。そして、全てのサンプルについて処理を行っていない、すなわち未処理のサンプルがあると判定した場合（ステップＳ００８でＮｏ）、重み値算出部１１３は、処理をステップＳ００１に戻し、再びステップＳ００１〜ステップＳ００８の処理を行う。なお、重み値算出部１１３は、ステップＳ００１で取得した音声情報および映像情報が対応付けられているレコードの環境と同一の環境における重み値ｗ１およびｗ２を用いてステップＳ００４ａおよびステップＳ００４ｂの処理を行う。同一の環境下で推定された感情毎に重み値を更新するためである。

一方で、全てのサンプルについて処理を実施したと判定した場合（ステップＳ００８でＮｏ）、重み値算出部１１３は、本フローの処理を終了する。

以上、重み値算出処理について説明した。このような重み値算出処理によれば、車内環境によるモニタリング情報の得手不得手を反映した重み値を算出することができる。例えば、音声情報を用いた感情推定では、車内の騒音が推定性能に影響する。その一方で、音声情報による感情推定は、逆光など車内の光の影響を受けることはない。また、映像情報を用いた感情推定では、逆光など車内の光が推定性能に影響する。その一方で、映像情報を用いた感情推定では、車内の騒音が推定性能に影響することはない。本実施形態に係る重み値算出処理では、このような感情推定における車内環境とモニタリング情報との相性を考慮し、車内環境毎にモニタリング情報の種類に応じた重み値を算出することができる。

図６は、感情推定結果統合処理の一例を示したフロー図である。かかる処理は、例えば感情推定統合装置１００の起動と共に開始される。なお、感情推定統合装置１００が起動されると、感情推定部ａ１１４および感情推定部ｂ１１５は各々、入力受付部１１１を介して音声情報および映像情報を取得し、常時ユーザの感情推定を行っているものとする。

感情推定結果統合処理が開始されると、感情推定統合部１１７は、感情の推定結果が出力されたか否かを判定する（ステップＳ０２１）。具体的には、感情推定統合部１１７は、感情推定部ａ１１４および感情推定部ｂ１１５のうち、少なくとも一方から感情の推定結果が出力されたか否かを判定する（ステップＳ０２１）。そして、推定結果が出力されていないと判定した場合（ステップＳ０２１でＮｏ）、推定結果統合部１１７は、再度ステップＳ０２１の処理を行う。一方で、推定結果が出力されたと判定した場合（ステップＳ０２１でＹｅｓ）、推定結果統合部１１７は、処理をステップＳ０２２に移行する。

ステップＳ０２２では、推定結果統合部１１７は、推定結果を出力していない他方の感情推定部が推定したユーザの感情を取得する。具体的には、推定結果統合部１１７は、他方の感情推定部が推定した感情のうち、検知レベルが所定の閾値に最も近い感情を推定結果として取得する。

次に、推定結果統合部１１７は、環境推定部１１６から環境の推定結果を取得する（ステップＳ０２３）。具体的には、推定結果統合部１１７は、感情推定部ａ１１５および感情推定部ｂ１１６から各々、感情の推定結果を取得したタイミングにおける車内環境の推定結果を環境推定部１１６から取得する。

次に、推定結果統合部１１７は、感情推定部ａ１１４および感情推定部ｂ１１５が各々出力した推定結果を統合し、推定されるユーザの感情を確定する（ステップＳ０２４）。なお、本例では、感情推定部ａ１１４が「平静」（確信度＝０．７）および「喜び」（確信度＝０．３）という推定結果を出力し、感情推定部ｂ１１５が「平静」（確信度＝０．５）、「喜び」（確信度＝０．３）および「怒り」（確信度＝０．２）という推定結果を出力したものとして以下の説明を行う。

まず、推定結果統合部１１７は、統合用重み付け情報１２２を用いて、ステップＳ０２３で推定された環境に対応付けられている重み値ｗ１およびｗ２を特定する。次に、推定結果統合部１１７は、感情推定部ａ１１４の出力結果である「平静」および「喜び」の各確信度に対して重み値ｗ１を乗算し、感情推定部ｂ１１５の出力結果である「平静」、「喜び」および「怒り」の各確信度に対して重み値ｗ２を乗算する。そして、推定結果統合部１１７は、重み値を乗算した値を感情ごとに加算することにより、感情ごとの確信度の合計値を算出する。なお、本例では、「平静」の確信度＝０．７×ｗ１＋０．５×ｗ２、「喜び」の確信度＝０．３×ｗ１＋０．３×ｗ２、「怒り」の確信度＝０．２×ｗ２となる。

そして、推定結果統合部１１７は、確信度の値が最も大きい感情を、推定されるユーザの感情として確定する。

次に、出力処理部１１２は、通信部１３０を介して、推定されるユーザの感情（例えば、「喜び」）を所定装置（例えば、車載装置２００）に送信し（ステップＳ０２５）、本フローの処理を終了する。

なお、推定結果を取得した車載装置２００は、ユーザの感情に応じて様々な処理を行う。例えば、推定結果が「疲れ」の場合、車載装置２００は、「少し休憩しませんか？」など所定のメッセージを車載のスピーカから出力する。また、推定結果が「怒り」の場合、車載装置２００は、例えばクラシック音楽などユーザがリラックスする音楽を出力する。

以上、推定結果統合処理について説明した。このような感情推定統合装置１００によれば、車内環境を考慮し、より精度良くユーザの感情を推定することができる。特に、感情推定統合装置１００は、車内環境を考慮してモニタリング情報の種類ごとに算出された重み値を用いてユーザの感情を推定する。そのため、感情推定統合装置１００は、より精度良くユーザの感情を推定することができる。

［第二実施形態］
次に、本発明の第二実施形態に係る感情推定統合装置１００について説明する。前述の第一実施形態に係る感情推定統合装置１００は、環境毎に各感情推定部による推定結果に対する重み値（ｗ１、ｗ２）を算出したが、感情毎に推定のし易さが異なることもある。そこで、第二実施形態に係る感情推定統合装置１００は、環境毎および感情毎の重み値を用いて各感情推定部から出力された推定結果を統合し、ユーザの感情を推定する。

図７は、本実施形態に係る統合用重み付け情報１２２の一例を示した図である。図示するように、統合用重み付け情報１２２は、環境１２２ａａと、感情１２２ｂｂと、重み値１（１２２ｃｃ）と、重み値２（１２２ｄｄ）とが対応付けられたレコードを有している。

環境１２２ａａは、車内環境を示す情報である。感情１２２ｂｂは、ユーザの複数の感情を示す情報である。重み値１（１２２ｃｃ）は、対応付けられた環境下における感情推定部ａ１１４の出力結果に対する重み値を示す情報である。重み値２（１２２ｄｄ）は、対応付けられた環境下における感情推定部ｂ１１５の出力結果に対する重み値を示す情報である。

例えば、レコード１２２ｅｅの重み値１（１２２ｃｃ）には、「平静」、「怒り」、「疲れ」および「喜び」などの感情ごとに算出された重み値ｗ（平）１１、ｗ（怒）１１、ｗ（疲）１１およびｗ（喜）１１が対応付けられている。また、レコード１２２ｅｅの重み値２（１２２ｄｄ）には、「平静」、「怒り」、「疲れ」および「喜び」などの感情ごとに算出された重み値ｗ（平）１２、ｗ（怒）１２、ｗ（疲）１２およびｗ（喜）１２が対応付けられている。

このような統合用重み付け情報１２２を用いて感情推定結果統合処理が行われることにより、より精度良くユーザの感情を推定することができる。具体的には、前述の感情推定結果統合処理のステップＳ０２４において、推定結果統合部１１７は、感情推定部ａ１１４および感情推定部ｂ１１５から各々取得した推定結果の感情ごとに重み値を特定する。

例えば、騒音：大、光種別：標準といった環境下において、感情推定部ａ１１４が出力した推定結果が「平静」（確信度：０．７）および「喜び」（確信度：０．３）であって、感情推定部ｂ１１５が出力した推定結果が「平静」（確信度：０．６）および「怒り」（確信度：０．４）の場合、推定結果統合部１１７は、統合用重み付け情報１２２を用いて、ｗ（平）１１およびｗ（喜）１１という重み値１と、ｗ（平）１２およびｗ（怒）１２という重み値２とを特定する。

また、推定結果統合部１１７は、感情推定部ａ１１４の出力結果である「平静」の確信度に対してｗ（平）１１を乗算し、「喜び」の確信度に対してｗ（喜）１１を乗算する。また、推定結果統合部１１７は、感情推定部ｂ１１５の出力結果である「平静」の確信度に対してｗ（平）１２を乗算し、「怒り」の確信度に対してｗ（怒）１２を乗算する。そして、推定結果統合部１１７は、確信度の値が最も大きい感情を、推定されるユーザの感情として確定する。

このような第二実施形態に係る感情推定統合装置１００によれば、感情推定の精度をより高めることができる。例えば、ユーザが怒っている場合の発話音声は大きくなる傾向があり、騒音の影響を比較的受けにくいと考えられる。一方で、ユーザが疲れている場合の発話音声は小声になる傾向があり、騒音の影響を比較的受けやすいと考えられる。

このように、本実施形態に係る感情推定統合装置１００は、車内環境とモニタリング情報との関係のみならず、モニタリング情報とユーザの感情との関係についても考慮して算出された重み値を用いた感情推定を行う。これにより、感情推定統合装置１００は、より精度よくユーザの感情を推定することができる。

［第三実施形態］
次に、本発明の第三実施形態に係る感情推定統合装置１００について説明する。本実施形態に係る感情推定統合装置１００は、一方の感情推定部から感情の推定結果が出力された場合、他方の感情推定部が推定したユーザの感情を取得せず、確信度を用いたスコア（以下、確信度スコアという）を用いてユーザの感情を確定する。

図８は、本実施形態に係る感情推定結果統合処理の一例を示した図である。かかる処理は、感情推定統合装置１００の起動と共に開始される。なお、感情推定統合装置１００が起動されると、第一実施形態と同様、感情推定部ａ１１４および感情推定部ｂ１１５は各々、入力受付部１１１を介して音声情報および映像情報を取得し、常時ユーザの感情推定を行っているものとする。

処理が開始されると、推定結果統合部１１７は、感情の推定結果が出力されたか否かを判定する（ステップＳ０３１）。具体的には、感情推定統合部１１７は、感情推定部ａ１１４および感情推定部ｂ１１５のうち、少なくとも一方から感情の推定結果が出力されたか否かを判定する。そして、推定結果が出力されていないと判定した場合（ステップＳ０３１でＮｏ）、推定結果統合部１１７は、再度ステップＳ０３１の処理を行う。一方で、推定結果が出力されたと判定した場合（ステップＳ０３１でＹｅｓ）、推定結果統合部１１７は、処理をステップＳ０３２に移行する。

次に、推定結果統合部１１７は、環境推定部１１６から環境の推定結果を取得する（ステップＳ０３２）。具体的には、推定結果統合部１１７は、感情推定部ａ１１５または感情推定部ｂ１１６から感情の推定結果を取得したタイミングにおける車内環境の推定結果を環境推定部１１６から取得する。

次に、推定結果統合部１１７は、確信度スコアが所定の閾値よりも大きいか否かを判定する（ステップＳ０３３）。具体的には、推定結果統合部１１７は、ステップＳ０３２の推定結果が示す環境に対応付けられた重み値１を統合用重み付け情報１２２から特定する。

また、推定結果統合部１１７は、ステップＳ０３１で出力されたユーザの感情（例えば、「平静」および「喜び」）に対応付けられている確信度（例えば、平静＝０．７、喜び＝０．３）のうち、より大きい値の確信度に重み値１を乗算することにより確信度スコアを算出する（例えば、確信度スコア＝０．７（平静）×ｗ１１）。

そして、算出した確信度スコアが所定の閾値よりも小さいと判定した場合（ステップＳ０３３でＮｏ）、推定結果統合部１１７は、処理をステップＳ０３１に戻す。

一方で、算出した確信度スコアが所定の閾値よりも大きいと判定した場合（ステップＳ０３３でＹｅｓ）、推定結果統合部１１７は、処理をステップＳ０３４に移行する。

ステップＳ０３４では、推定結果統合部１１７は、出力された感情の推定結果に基づき、推定されるユーザの感情を確定する。本例では、推定結果統合部１１７は、ユーザの感情が「平静」であることを確定する。また、推定結果統合部１１７は、推定されるユーザの感情を確定すると、処理をステップＳ０３５に移行し、前述のステップＳ０２５と同様、推定した（確定した）ユーザの感情を通信部を介して所定装置に送信する。

以上、本実施形態に係る感情推定結果統合処理について説明した。

このような感情推定統合装置１００によれば、車内環境を考慮し、より精度良くユーザの感情を推定することができる。特に、本実施形態に係る感情推定統合装置１００では、所定の検知レベルを超えている感情の推定結果のみを用いてユーザの感情を推定および確定する。すなわち、検知レベルに達していない推定のユーザ感情を用いず、検知レベルに達して出力された推定結果の確信度をスコアとして用いることで、推定されるユーザの感情を確定する。このような感情推定統合装置１００によってもユーザの感情を精度良く推定することができる。

なお、前述の実施形態では、演算部１１０が感情推定部ａおよび感情推定部ｂを有している場合について説明したが、本発明はこれに限られるものではなく、演算部１１０は、３つ以上の感情推定部を有していても良い。

また、前述の実施形態では、音声情報および映像情報をモニタリング情報の例に説明したが、ユーザの心拍数、呼吸数および発汗量といったその他ユーザの生体情報をモニタリング情報として取得し、感情推定に用いても良い。

また、感情推定統合装置１００は、複数ある感情推定部の全ての機能を備えている必要はなく、例えば感情推定部ａ（または感情推定部ｂ）の機能が実現されたサーバ装置（外部装置）から推定結果を取得し、感情推定部ｂ（または感情推定部ａ）の推定結果と統合することでユーザの感情を推定するようにしても良い。

また、本発明は、上記の実施形態や変形例などに限られるものではなく、これら以外にも様々な実施形態および変形例が含まれる。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態や変形例の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００・・・感情推定統合装置、１１０・・・演算部、１２０・・・記憶部、１３０・・・通信部、１１１・・・入力受付部、１１２・・・出力処理部、１１３・・・重み値算出部、１１４・・・感情推定部ａ、１１５・・・感情推定部ｂ、１１６・・・環境推定部、１１７・・・推定結果統合部、１２１・・・重み値算出用情報、１２２・・・統合用重み付け情報、２００・・・車載装置、３０１・・・演算装置、３０２・・・主記憶装置、３０３・・・外部記憶装置、３０４・・・通信装置、３０５・・・入出力インターフェース、３０６・・・バス、１５０・・・車内カメラ、１６０・・・マイクロフォン、Ｎ・・・ネットワーク

Claims (9)

1. ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出された重み値と、が対応付けられた統合用重み付け情報を記憶した記憶部と、
   前記ユーザの周囲の環境を推定する環境推定部と、
   相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、
   前記感情推定部が用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境と、に基づき前記重み値を特定し、前記感情推定部による推定結果に該重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合部と、を備える
   ことを特徴とする感情推定統合装置。
2. 請求項１に記載の感情推定統合装置であって、
   前記感情推定部は、
   前記モニタリング情報を用いて推定したユーザの感情にその確信度を対応付けた前記推定結果を出力する
   ことを特徴とする感情推定統合装置。
3. 請求項２に記載の感情推定統合装置であって、
   前記推定結果統合部は、
   前記複数の感情推定部から前記推定結果として取得したユーザの感情に対応付けられた前記確信度に前記重み値を用いた重み付けを行い、
   前記各推定結果が示すユーザの感情のうち、同一の感情ごとに前記重み付け後の確信度を加算して比較することによりユーザの感情を推定する
   ことを特徴とする感情推定統合装置。
4. 請求項１に記載の感情推定統合装置であって、
   前記モニタリング情報には、ユーザの発話音声を含む車内の音声情報と、ユーザの表情を含む車内の映像情報とが含まれる
   ことを特徴とする感情推定統合装置。
5. ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出されたユーザの感情毎の重み値とが対応付けられた統合用重み付け情報を記憶した記憶部と、
   前記ユーザの周囲の環境を推定する環境推定部と、
   相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、
   前記感情推定部が用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境と、前記推定結果が示すユーザの感情とに基づき前記重み値を特定し、前記感情推定部による前記推定結果に特定した前記重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合部と、を備える
   ことを特徴とする感情推定統合装置。
6. ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報の種類毎に算出された重み値と、が対応付けられた統合用重み付け情報を記憶した記憶部と、
   前記ユーザの周囲の環境を推定する環境推定部と、
   相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、
   いずれかの前記感情推定部が前記推定結果を出力した場合、当該推定結果と、所定の閾値との比較に基づき、前記感情推定部による推定結果をユーザの感情として確定する推定結果統合部と、を備える
   ことを特徴とする感情推定統合装置。
7. 請求項１に記載の感情推定統合装置であって、
   前記統合用重み付け情報を生成する重み値算出部をさらに備え、
   前記重み値算出部は、
   前記ユーザの周囲の環境が対応付けられた前記モニタリング情報のサンプルを用いた前記感情推定部による推定結果の正否に基づき、該環境下における該モニタリング情報の種類ごとに前記重み値を算出する
   ことを特徴とする感情推定統合装置。
8. ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出された重み値とが対応付けられた統合用重み付け情報を記憶する記憶ステップと、
   前記ユーザの周囲の環境を推定する環境推定ステップと、
   相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する感情推定ステップと、
   前記感情推定ステップで用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境と、に基づき前記重み値を特定し、前記感情推定ステップによる推定結果に該重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合ステップと、を行う
   ことを特徴とする感情推定統合方法。
9. コンピュータを、感情推定統合装置として機能させるプログラムであって、
   前記コンピュータを、
   ユーザの周囲の環境と、ユーザの生体情報を観測したモニタリング情報毎に算出された重み値とが対応付けられた統合用重み付け情報を記憶した記憶部と、
   前記ユーザの周囲の環境を推定する環境推定部と、
   相互に異なる種類の前記モニタリング情報を用いてユーザの感情を推定した推定結果を出力する複数の感情推定部と、
   前記感情推定部が用いた前記モニタリング情報と、前記推定結果を取得したタイミングにおける前記ユーザの周囲の環境とに基づき前記重み値を特定し、前記感情推定部による推定結果に該重み値を用いた重み付けを行うことによりユーザの感情を推定する推定結果統合部として機能させる
   ことを特徴とするプログラム。

Images